CN110634329A - 空中交通管理电子系统的测试方法、相关电子设备和平台 - Google Patents
空中交通管理电子系统的测试方法、相关电子设备和平台 Download PDFInfo
- Publication number
- CN110634329A CN110634329A CN201910541681.5A CN201910541681A CN110634329A CN 110634329 A CN110634329 A CN 110634329A CN 201910541681 A CN201910541681 A CN 201910541681A CN 110634329 A CN110634329 A CN 110634329A
- Authority
- CN
- China
- Prior art keywords
- air traffic
- instructions
- electronic
- traffic control
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 100
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0043—Traffic management of multiple aircrafts from the ground
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0082—Surveillance aids for monitoring traffic from a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0091—Surveillance aids for monitoring atmospheric conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0095—Aspects of air-traffic control not provided for in the other subgroups of this main group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Atmospheric Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种空中交通管理电子系统(2)的测试方法，包括以下步骤：‑由系统(2)接收表示空中交通状态的输入数据；‑由系统根据输入数据建立与空中交通有关的信息，并由系统将信息传递至系统的电子测试设备(6)；‑由电子测试设备(6)根据所传递的信息确定空中交通管制指令并向系统提供指令；‑由系统接收并处理指令；电子设备(6)包括算法模型(63)，用于根据与空中交通有关的信息自动地确定指令，该模型是在由计算机执行的深度学习神经网络的学习阶段期间，根据由至少一个空中交通管制员先前提供给系统的指令集合和与指令相关联的与空中交通有关的信息而获得的。
Description
技术领域
本发明涉及电子空中交通管制系统领域，通常是电子空中交通管理(ATM)系统。这种系统提供一方面例如负责给定地理扇区的空中交通管制员与另一方面位于地理扇区内的飞机或其他空中交通管制员、特别是负责相邻地理扇区的那些交通管制员之间的对接。
背景技术
这种系统接收来自外部系统的数据(天气数据、飞机飞行计划、雷达检测、来自相邻扇区的空中交通管制员的消息等)，处理该数据，可选地将其组合等，然后经由MMI(人机界面)检索该数据或由用于空中交通管制员的处理操作而得到的信息。空中交通管制员基于该数据和信息确定空中交通管制指令(旨在用于飞机的命令、用于相邻管制员的包括信息和数据等的消息)，并经由MMI输入。该系统接下来处理这些命令。
这种系统要定期地接受验证和集成测试。以已知的方式，这种验证和集成测试试图验证系统的正确运行，并且首先在系统的构建者处检测任何缺陷，然后一旦在作业现场安装了系统就检测任何缺陷。例如，这种验证和集成测试使得能够验证系统行为与说明书的一致性，包括内部接口和根据其与外部接口的交换，以测试其性能，例如响应时间及其稳健性。这些验证和集成测试使用可能预定义或未预定义的输入数据来进行。这些测试必须在将新功能引入到空中交通管制员的电子控制系统中或用来测试现有功能的非回归的期间执行。这些测试要求空中交通管制员参与数天甚至数周的时间，以便以与传统的操作使用期间相同的方式与系统互动，这是对实施完整且密集的测试的抑制，并且这样做以便快速部署对这些系统的技术升级。
作为示例，空中交通管制系统的已知功能是冲突的检测，其中如果系统在接下来的n分钟内(例如，n＝3)检测到两架飞机之间的碰撞风险，则发出警报。在这种情况下，当这样由警报通知时，并且鉴于由系统提供的关于空中交通的当前状态和空中交通环境的其他数据，管制员向所述飞机发出命令，并且如果适用的话，则经由各自的ATM系统与相邻扇区的管制员通信。
当例如通过使用新的冲突检测算法使得冲突检测方法发生变化时，执行测试，包括向ATM系统供应接下来被处理和/或显示的输入数据，经由空中交通管制员分析输入数据，经由空中交通管制员提供指令，然后经由ATM系统处理这些指令，对系统的行为进行监督，以便检测不一致、偏航、回归等。
ATM系统的另一个功能是例如监控飞机之间的安全距离。当该功能的检索形式发生变化时，也必须执行测试。
因此，需要促进用于空中交通管制电子控制系统的测试的实施。
发明内容
为此，根据第一方面，本发明提出了一种用于空中交通管制电子控制系统的测试方法，所述系统传递与空中交通管制有关的信息，该信息根据表示由所述系统接收的空中交通管制状态的输入数据而建立，所述系统在运行阶段进一步接收和处理由至少一个空中交通管制员提供给该系统的来自空中交通管制的控制指令，所述方法的特征在于，
在所述系统的测试阶段，所述方法包括以下步骤：
-由所述系统接收表示空中交通状态的输入数据；
-由所述系统根据所述输入数据建立与空中交通有关的信息，并由所述系统将所述信息传递至所述系统的电子测试设备；
-由所述系统的所述电子测试设备根据所传递的信息确定空中交通管制指令并向所述系统提供所述指令；
-由所述系统接收并处理所述指令；
根据所述方法，所述电子测试设备包括算法模型，用于根据与空中交通有关的信息自动地确定指令，所述模型是在由计算机执行的深度学习神经网络的学习阶段期间，根据由至少一个空中交通管制员先前提供给所述系统的指令集合和与所述指令相关联的与空中交通有关的信息而获得的。
因此，本发明使得能够对更长持续时间和更大强度的空中交通进行电子控制测试，这使得能够加速和可靠地实现新功能的运行调试，或更通常地是这些系统的新版本的运行调试。
在一些实施例中，根据本发明的测试方法还包括以下特征中的一个或多个：
-所述测试方法包括在测试阶段期间根据所述系统的行为来检测所述系统的一种或多种异常。
-已经学习了用于自动地确定指令的算法模型(63)，以便在学习由至少一个空中交通管制员先前提供给所述系统的指令和与所述指令相关联的与空中交通管制有关的信息期间，根据从相同类型的若干元素中确定的元素，来确定针对至少一个元素特定的指令，来自相同类型的若干元素中的所述元素是来自若干地理扇区中的一个地理扇区和/或来自若干空中交通管制员角色中的一个角色和/或来自用于空中交通管制的电子控制系统(2)的若干功能中的所述系统的一个功能。
-所述测试方法包括以下步骤：
-确定适于识别不符合空中交通管制员的规则的指令的算法约束模块；
-将所述算法模块应用于由至少一个空中交通管制员先前提供给所述系统的指令集合，并从用于学习神经网络的集合中移除被识别为不符合的所述指令；
-将所述算法模块应用于由所述电子测试设备确定的、并且在用于测试被识别为不符合的指令的阶段中不予考虑的指令。
-所述测试方法在测试之前的阶段中包括以下步骤：
-收集和存储由至少一个空中交通管制员先前提供给所述系统的指令集合和由所述系统传递的与所述指令相关联的与空中交通管制员有关的信息；
-根据所述存储的指令集合和所述存储的与空中交通有关并与所述指令相关联的信息，确定所述算法模型用于通过由计算机执行的神经网络的学习，来根据与空中交通管制员有关的信息，自动地确定指令。
根据第二方面，本发明提出了一种空中交通管制电子控制系统的电子测试设备，所述系统传递与空中交通管制有关的信息，所述信息根据表示由所述系统接收的空中交通管制状态的输入数据而建立，所述系统进一步接收和处理由至少一个空中交通管制员提供给该系统的空中交通管制指令，
所述电子测试设备的特征在于，所述电子测试设备适于接收由系统传递的与空中交通有关的信息，并且所述电子测试设备包括用于根据与空中交通有关的信息自动地确定指令的算法模型，所述模型是在由计算机执行的深度学习神经网络的学习阶段期间，根据由至少一个空中交通管制员先前提供给所述系统的指令集合和与所述指令相关联的与空中交通有关的信息而获得的。
在一些实施例中，根据本发明的电子测试设备还包括以下特征中的一个或多个：
所述电子测试设备适于根据所述系统的行为来检测所述系统的异常。
已经学习了用于自动地确定指令的算法模型，以便在学习由至少一个空中交通管制员先前提供给所述系统的指令和与所述指令相关联的与空中交通管制有关的信息期间，根据从相同类型的若干元素中确定的元素，来确定针对至少一个元素特定的指令，来自相同类型的若干元素中的所述元素是来自若干地理扇区中的一个地理扇区和/或来自若干空中交通管制员角色中的一个角色和/或来自空中交通管制电子控制系统的若干功能中的所述系统的一个功能。
根据第三方面，本发明提出了一种用于空中交通管制电子控制系统的测试平台，所述系统传递与空中交通管制有关的信息，该信息根据表示由所述系统接收的空中交通管制状态的输入数据而建立，所述系统在运行阶段进一步接收和处理由至少一个空中交通管制员提供给该系统的空中交通管制指令，
所述平台适于收集和存储由至少一个空中交通管制员先前提供给所述系统的指令集合、以及由所述系统传递的与所述指令相关联的与空中交通管制员有关的信息；
-根据所述存储的指令集合和所述存储的与空中交通有关并与所述指令相关联的信息，确定所述算法模型，所述算法模型用于通过由计算机执行的神经网络的学习，来根据与空中交通管制员有关的信息，自动地确定指令；
-获得包括用于自动地确定指令的所述算法模型的所述系统的电子测试设备；
-经由所述电子测试设备测试所述系统。
根据第四方面，本发明提出了一种测试平台，包括：
-空中交通管制电子控制系统，传递根据表示由所述系统接收的空中交通管制状态的输入数据而建立的与空中交通管制有关的信息，所述系统进一步接收和处理由至少一个空中交通管制员提供给该系统的来自空中交通管制的控制指令；和
-根据本发明第二方面的任一项技术方案所述的电子控制系统的电子测试设备。
附图说明
本发明的这些特征和优点将在阅读以下描述时体现，该描述仅作为示例提供并且参考附图进行说明，其中：
-图1示出了本发明的一个实施例中的测试平台的视图；
-图2是在本发明的一个实施例中实施的步骤的流程图。
具体实施方式
图1示出了空中交通管制电子控制系统的测试平台1。在所考虑的示例中，测试平台1包括空中交通管制电子控制系统2，在下文中称为ATM系统2，以及电子测试设备6。
ATM系统2包括存储器20、MMI单元21和处理器22。
MMI单元21例如包括显示屏，例如触控显示屏、扬声器系统、键盘、麦克风等。
进而，ATM系统2通过远程通信链路而连接到外部系统4_1、4_2、...、4_n的集合4。
这些外部系统例如包括飞机、雷达、气象站、其他空中交通管制员的远程通信设备、机场控制室等。
ATM系统2适于接收输入数据并将输入数据存储在其存储器20中(以及这种数据的时间戳)。
该输入数据包括外部数据，即由集合4的外部系统4_1、4_2、...、4_n传递给ATM系统2的外部数据，表示空域(或空域的给定扇区)的当前状态或未来状态，示例而非详尽地包括：
-对于该扇区中目前或即将出现的每架飞机：三维(3D)坐标、飞机类型、其航向、其速度、其飞行计划；
-当前和未来的天气信息；
-空中交通密度指标(如该扇区中的飞机数量、气流)，限定空域的当前结构和未来结构的数据(如军事禁飞区的存在、空中走廊、机场的当前配置和未来配置(开放式跑道、风向、可用的滑行道等、监视数据(源自一次和二次雷达、ADS-B、WAM等数据)；
-与在邻近扇区相关的ATM系统上操作的空中交通管制员的协调消息。
ATM系统2还适于经由MMI单元21为空中交通管制员检索该数据。
在检索之前，可以对外部数据进一步处理(例如平均、验证、组合、分析等)。
输入数据通常包括该处理过的数据及其时间戳。
ATM系统2还适于生成表示其当前状态的ATM系统2的内部数据。尤其是使用安装在ATM系统2中的探针或功能来生成该内部数据，例如并且非详尽地包括：
消息队列、共享数据、日志、技术布局、飞行标签上的焦点动作、给定区域上的放大或缩小因子、管制员和飞机驾驶员之间的语音对话录音等。内部数据对于操作ATM系统2的空中交通管制员而言是可以经由MMI 21访问的。在一个实施例中，存储在存储器20中的输入数据还包括该内部数据，其中时间戳对应于所述数据。
在一个实施例中，ATM系统2适于使用外部件实施升级功能并生成内部数据。这些功能例如使用实施该功能的计算机程序来执行，其存储在存储器20中并在处理器22上执行。这些功能例如包括检测冲突、识别一架飞机与另一架飞机之间的碰撞风险、或在区域中的着陆期间有飞机进入该区域的风险等、或者确定使得能够解决冲突的解决方案。对于空中交通管制员而言，这些功能的结果经由MMI 21检索得到。
以已知的方式，操作ATM系统2的空中交通管制员因此能够在每个时刻根据外部数据和/或根据内部数据，经由MMI 21得知当前或未来的空中交通状况，包括升级功能的结果。这些数据和结果经由MMI 21提供给空中交通管制员。基于这些元素，空中交通管制员然后经由MMI 21(以文本或视觉或语音等形式)做出他提供给ATM系统2的决定。
这些决定包括旨在用于邻近扇区的飞机和/或管制员的ATM系统的指令。因此，这些决定可以包括目标飞行高度命令、目标速度命令(水平的、垂直的)、目标航向命令、目标声明或下降梯度命令等。
电子测试设备6包括存储器61和处理器62。在存储器61中，特别地存储有人工神经网络63。
图2是在本发明的一个实施例中实施的步骤的流程图。
神经网络63适于在初始阶段101_0中获得编程网络，用于根据包括ATM系统的外部数据(并且在一些实施例中，包括ATM系统的内部数据和/或功能结果)的输入元素的历史，以及根据包括由空中交通管制员鉴于这些相应的输入元素而做出的决定的输出元素的历史，来执行(一个或多个)空中交通管制员的行为的学习。
例如，该历史从ATM系统2、或类似于ATM系统2的另一ATM系统、或从所有这些元素及其存储的若干操作性ATM系统，通过跨越若干个月的收集而形成。在一个实施例中，所述存储在存储器20中完成。
将注意的是，根据多个实施例，用于学习神经网络63的该初始阶段101_0：
-在电子测试设备6内通过使用存储器61和处理器62来执行，
-在特定学习平台(未示出)上执行，配备有其自身的存储器和计算资源。
在一个实施例中，对于每种测试配置，初始阶段101_0包括用于输入和输出元素的准备阶段101_01，用于识别在决策中哪些是对测试有用的输入和输出元素(的摘录)，以及例如最小收集持续时间。
以已知的方式，这些元素的准备可以包括所收集的元素的分割、缺失元素和操作的检测、元素的维度的减少、组的提取、原因和关系的识别、以及完成包括输入训练元素和相关联的输出元素的训练元素集合的定义。对于每种测试配置，初始阶段101_0包括根据与训练元素集合相关联的输入和输出训练元素严格地为神经网络63代言的训练阶段101_02。由此确定每种测试配置的一个神经网络。
训练数据集合的定义、神经网络的学习和使用的这些原理是众所周知的，例如参见：
-Tolk,A.(2015,July).The next generation of modeling&simulation:integrating big data and deep learning.In Proceedings of the Conference onSummer Computer Simulation(pp.1-8).Society for Computer SimulationInternational；
-Akerkar,R.(2014).Analytics on Big Aviation Data:Turning Data intoInsights.IJCSA,11(3),116-127；
-Boci,E.,&Thistlethwaite,S.(2015,April).A novel big data architecturein support of ADS-B data analytic.In Integrated Communication,Navigation,andSurveillance Conference(ICNS),2015(pp.C1-1).IEEE；
-Bengio,Y.(2009).Learning deep architectures for AI.Foundations and
in Machine Learning,2(1),1-127。
训练阶段101_02的结果是训练后的神经网络63的传递101_1，也称为(算法)模型空中交通控制器。接下来将该模型记录在电子设备6中，然后能够在测试阶段101_2中使用该模型，以便测试ATM系统2。
在一些实施例中，输入和输出元素由地理空中扇区构成，神经网络的训练然后也按扇区区分，并且在步骤101_1中获得的空中交通管制员算法模型63的行为针对每个扇区特定。
类似地，在一些实施例中，训练元素集合由ATM系统的技术功能(例如，冲突的检测或飞行高度命令或多个管制员之间的协调)或空中交通管制员的特定角色(例如，命令角色或规划角色和与邻近扇区的交换)来构成。在这种情况下，然后将所获得的训练模型针对角色或功能特定。可以进一步生成针对扇区、功能和角色方面中的至少两个方面特定的混合模式。
可以使用任何类型的人工神经网络。例如，使用深度学习网络，卷积神经网络(CNN)。输入节点的数量将被选择为等于输入元素的数量，并且输出节点的数量将被选择为等于每个测试配置的输出元素的数量。
在ATM系统2的测试阶段101_2期间，执行并重复以下步骤：
-由ATM系统2接收表示空中交通的当前状态的外部数据；
-由所述ATM系统2根据包括至少一些外部数据以及更新的内部数据(例如ATM系统2的功能结果)在内的所述数据，而建立与空中交通有关的信息，利用所述系统2经由通过MMI 21将信息传递至电子测试设备6；
-由电子测试设备6的神经网络63根据所传递的信息来确定包括空中交通管制决定在内的输出元素；这些决定包括旨在用于邻近扇区的飞机和/或管制员的ATM系统的指令；
-并且利用测试设备6经由MMI 21将所述输出元素提供给所述ATM系统2；
-由所述系统2接收和处理所述输出元素，包括将决定传输到邻近扇区的飞机和/或管制员的ATM系统。
在测试阶段期间，通过分析系统2的行为来检测系统的不符合性。该检测例如通过测试设备6或任何其他方式来完成。
可以在现有的测试阶段101_2中实施针对不同目的的若干类型的测试。
一种类型的测试例如是基于ATM系统2的实际输入数据(即，内部数据或甚至还有外部数据)的广泛验证测试活动，从中随机地生成管制员模型的输入数据测试集合(一些在可接受的范围内，其他在可接受的范围之外以测试稳健性)。管制员模型63的决定将与所学习的人类管制员的行为相符合。
另一种类型的测试阶段是例如非回归测试活动：在这种情况下，基于在ATM系统2升级之前生成的管制员模型63使用测试设备6，ATM系统2通过向ATM系统2提供与先前允许该管制员模型学习的数据相等的外部输入数据,而考虑升级。如果没有向ATM系统2注入说明书的功能偏差(软件缺陷、诸如硬件更新等技术变化的边缘效应等)，则预期测试设备6将传递完全相同的输出决定。否则，在ATM系统2中将潜在地出现回归，并且必须施行额外的调查。
另一种类型的测试阶段是例如耐力测试活动：除了目标不同之外，这种活动类似于非回归活动。耐力测试活动的目的是利用非回归测试的先前状态来构建服务体验，其将是：
-在ATM系统2的生命周期的早期阶段完成，即在操作过渡期之前，
-通过复制要验证的ATM系统2的多个实例以及管制员模型和测试输入数据集合的多个实例，而以加速方式完成。
定期演变的ATM系统2，在测试中应考虑功能的(引入新功能或修改的功能)和技术的(硬件、操作系统等的变化)二者的更新。在这种情形下，在一个实施例中，在完成更新之前，对应于ATM系统2的算法模型63，对这些更新作出解释。因此，参考图2，在步骤102_0中，在由空中交通管制员在代表与已更新的ATM系统2的部分相关的操作平台的测试平台上完成的验证会话期间，记录并存储包括ATM系统的内部数据和ATM系统的外部数据的输入元素，以及包括由空中交通管制员鉴于这些相应的输入元素做出的决定的输出元素。然后，基于这些输入元素和输出元素执行用于获得编程的神经网络的步骤101_0，并且引起以更新的ATM系统2的部分为目标的空中交通网络管制员模型的传递。在步骤101_1中，完成了在更新之前对应于ATM系统2的算法模型和以更新方面为目标的ATM系统2的算法模型的组合(例如，在一些实施例中，通过串联)，从而使得能够传递与更新的ATM系统2对应的完整的算法模型。进而，在一个实施例中，在安全步骤100_0中，以算法的形式来规范由空中交通管制员在其营运(例如对应于在文件4444中定义的ICAO标准)的应用中实施的规则、原理、约束、条件和禁令。
例如，这些规则包括：
-a1/空中交通管制员不能提供与其负责的扇区之外的飞机相关的命令，
-a2/除了由条件Cond1、Cond2、Cond3明确定义的某些例外情况；
-a3/在对应于给定飞机速度和高度的给定情形下，飞行高度的命令变化必须低于随所述速度和高度而定的给定阈值。
在一个实施例中，在构建空中交通管制员模型之前，在步骤100_1中，在与训练元素集合相关联的输入元素和输出训练元素上实施所得到的安全算法，这使得能够检测不符合标准化实践的元素，并且接下来要么从训练元素集合中消除它们，要么将它们分配给“不良实践”类别，从而允许模型根据“良好实践”更好地学习管制员的行为。
在一个实施例中，在步骤100_1中，由空中交通管制员在其运营的应用中实施的这些规则、原理、约束、条件和禁令也作为学习数据提供给人工神经网络，并且在学习阶段结束时，传递包含这些规则的模型，下文称为安全模型。在步骤101_3中，将接下来由管制员模型63在测试阶段101_2期间做出的每个决定提供给该安全模型，该模型要么将该决定验证为符合良好实践(特别是验证其对于输出决定处于可接受的动态范围内)，或者使决定无效，然后在测试的背景下不予考虑，并且随后例如丰富了“不良实践”的类别，从而加强了空中交通管制员模型。
因此，本发明使得能够获得基于由神经网络学习的空中交通管制员模型63的电子测试设备6。
在测试阶段中，可以复制所获得的空中交通管制员模型63，并且每个副本可以安装在同一电子设备6中或安装在类似于设备6的各自测试设备中；这使得能够增加在ATM系统2上并行地进行的测试的数量和范围，或甚至也复制ATM系统2(例如，在云上)的实例。在使用这些设备实施的测试阶段的实施例中，输入数据可以在不同的模型或设备之间分布，每个模型分配到单独的特定扇区，或者单独的时间段(高峰时段、非高峰时段、每周时段或每月时段等)。
在另一实施例中，神经网络模型63以可编程逻辑部件的形式做成，例如GPU(图形处理单元)或多GPU。
Claims (10)
1.一种用于空中交通管制电子控制系统(2)的测试方法，所述系统传递与空中交通管制有关的信息，所述信息根据表示由所述系统接收的空中交通管制状态的输入数据而建立，所述系统在运行阶段进一步接收和处理由至少一个空中交通管制员提供给所述系统的空中交通管制指令，所述方法的特征在于，
在所述系统的测试阶段，所述方法包括以下步骤：
-由所述系统(2)接收表示空中交通状态的输入数据；
-由所述系统根据所述输入数据建立与空中交通有关的信息，并由所述系统将所述信息传递至所述系统的电子测试设备(6)；
-由所述系统的所述电子测试设备(6)根据所传递的信息确定空中交通管制指令并向所述系统提供所述指令；
-由所述系统接收并处理所述指令；
根据所述方法，所述电子测试设备(6)包括算法模型(63)，用于根据与空中交通有关的信息自动地确定指令，所述模型是在由计算机执行的深度学习神经网络的学习阶段期间，根据由至少一个空中交通管制员先前提供给所述系统的指令集合和与所述指令相关联的与空中交通有关的信息而获得的。
2.根据权利要求1所述的用于空中交通管制电子控制系统(2)的测试方法，其特征在于，
所述方法包括在测试阶段期间根据所述系统的行为来检测所述系统的一种或多种异常。
3.根据权利要求1或2所述的用于空中交通管制电子控制系统(2)的测试方法，其特征在于，
已经学习了用于自动地确定指令的算法模型(63)，以便在学习由至少一个空中交通管制员先前提供给所述系统的指令和与所述指令相关联的与空中交通管制有关的信息期间，根据从相同类型的若干元素中确定的元素，来确定针对至少一个元素特定的指令，来自相同类型的若干元素中的所述元素是来自若干地理扇区中的一个地理扇区和/或来自若干空中交通管制员角色中的一个角色和/或来自用于空中交通管制的电子控制系统(2)的若干功能中的所述系统的一个功能。
4.根据权利要求1或2所述的用于空中交通管制电子控制系统(2)的测试方法，包括以下步骤：
-确定适于识别不符合空中交通管制员的规则的指令的算法约束模块；
-将所述算法模块应用于由至少一个空中交通管制员先前提供给所述系统的指令集合，并从用于学习神经网络的集合中移除被识别为不符合的所述指令；
-将所述算法模块应用于由所述电子测试设备确定的、并且在用于测试被识别为不符合的指令的阶段中不予考虑的指令。
5.根据权利要求1或2所述的用于空中交通管制电子控制系统(2)的测试方法，其特征在于，
所述方法在测试之前的阶段中包括以下步骤：
-收集和存储由至少一个空中交通管制员先前提供给所述系统的指令集合和由所述系统传递的与所述指令相关联的与空中交通管制员有关的信息；
-根据所述存储的指令集合和所述存储的与空中交通有关并与所述指令相关联的信息，确定所述算法模型(63)，所述算法模型(63)用于通过由计算机执行的神经网络(63)的学习，来根据与空中交通管制员有关的信息，自动地确定指令。
6.一种空中交通管制电子控制系统(2)的电子测试设备(6)，所述系统传递与空中交通管制有关的信息，所述信息根据表示由所述系统接收的空中交通管制状态的输入数据而建立，所述系统进一步接收和处理由至少一个空中交通管制员提供给该系统的空中交通管制指令，所述电子测试设备(6)的特征在于，
所述电子测试设备(6)适于接收由系统(2)传递的与空中交通有关的信息，并且所述电子测试设备(6)包括用于根据与空中交通有关的信息自动地确定指令的算法模型(63)，所述模型是在由计算机执行的深度学习神经网络的学习阶段期间，根据由至少一个空中交通管制员先前提供给所述系统的指令集合和与所述指令相关联的与空中交通有关的信息而获得的。
7.根据权利要求6所述的电子测试设备(6)，其特征在于，
所述电子测试设备(6)适于根据所述系统的行为来检测所述系统的异常。
8.根据权利要求6或7所述的电子测试设备(6)，其特征在于，
已经学习了用于自动地确定指令的算法模型(63)，以便在学习由至少一个空中交通管制员先前提供给所述系统的指令和与所述指令相关联的与空中交通管制有关的信息期间，根据从相同类型的若干元素中确定的元素，来确定针对至少一个元素特定的指令，来自相同类型的若干元素中的所述元素是来自若干地理扇区中的一个地理扇区和/或来自若干空中交通管制员角色中的一个角色和/或来自空中交通管制电子控制系统(2)的若干功能中的所述系统的一个功能。
9.一种用于空中交通管制电子控制系统(2)的测试平台，所述系统传递与空中交通管制有关的信息，该信息根据表示由所述系统接收的空中交通管制状态的输入数据而建立，所述系统在运行阶段进一步接收和处理由至少一个空中交通管制员提供给该系统的空中交通管制指令，其特征在于，
所述平台适于收集和存储由至少一个空中交通管制员先前提供给所述系统的指令集合、以及由所述系统传递的与所述指令相关联的与空中交通管制员有关的信息；
-根据所述存储的指令集合和所述存储的与空中交通有关并与所述指令相关联的信息，确定所述算法模型(63)，所述算法模型(63)用于通过由计算机执行的神经网络(63)的学习，来根据与空中交通管制员有关的信息，自动地确定指令；
-获得包括用于自动地确定指令的所述算法模型(63)的所述系统(2)的电子测试设备(6)；
-经由所述电子测试设备(6)测试所述系统(2)。
10.一种测试平台(1)，其特征在于，包括：
-空中交通管制电子控制系统(2)，传递根据表示由所述系统接收的空中交通管制状态的输入数据而建立的与空中交通管制有关的信息，所述系统进一步接收和处理由至少一个空中交通管制员提供给该系统的来自空中交通管制的控制指令；和
-根据权利要求6至8中任一项所述的电子控制系统的电子测试设备。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1800642A FR3082965B1 (fr) | 2018-06-21 | 2018-06-21 | Procede de test d'un systeme electronique de controle du trafic aerien, dispositif electronique et plate-forme associes |
| FR1800642 | 2018-06-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110634329A true CN110634329A (zh) | 2019-12-31 |
Family
ID=65031126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910541681.5A Pending CN110634329A (zh) | 2018-06-21 | 2019-06-21 | 空中交通管理电子系统的测试方法、相关电子设备和平台 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US11823040B2 (zh) |
| EP (1) | EP3588387B1 (zh) |
| JP (1) | JP2020024678A (zh) |
| KR (1) | KR20190143832A (zh) |
| CN (1) | CN110634329A (zh) |
| AU (1) | AU2019204291A1 (zh) |
| BR (1) | BR102019012735A2 (zh) |
| CA (1) | CA3047430A1 (zh) |
| FR (1) | FR3082965B1 (zh) |
| RU (1) | RU2019119152A (zh) |
| SG (1) | SG10201905716VA (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047915A (zh) * | 2019-12-13 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 停机位分配方法、装置及终端设备 |
| CN115660446A (zh) * | 2022-12-13 | 2023-01-31 | 中国民用航空飞行学院 | 一种空中交通管制预案智能生成方法、装置及系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11189177B2 (en) * | 2018-11-06 | 2021-11-30 | Vianair Inc. | Airspace information modeling and design |
| US20230056489A1 (en) * | 2020-02-14 | 2023-02-23 | Nec Corporation | Learning device, learning method, recording medium, and radar device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10684350B2 (en) * | 2000-06-02 | 2020-06-16 | Tracbeam Llc | Services and applications for a communications network |
| JP4562533B2 (ja) * | 2005-01-20 | 2010-10-13 | 株式会社エヌ・ティ・ティ・データ | 管制指示生成装置及びプログラム |
| KR20140111467A (ko) * | 2013-03-11 | 2014-09-19 | 한국전자통신연구원 | 비행계획 상태관리 시스템의 상태 검사 방법 및 그 장치 |
| US9691286B2 (en) * | 2015-04-22 | 2017-06-27 | The Boeing Company | Data driven airplane intent inferencing |
| CN105225007A (zh) | 2015-09-30 | 2016-01-06 | 中国民用航空总局第二研究所 | 一种基于gabp神经网络的扇区运行性能综合检测方法及系统 |
| CN105894862B (zh) | 2016-05-05 | 2018-05-04 | 中国民用航空华东地区空中交通管理局 | 一种空中交通管制智能化指挥系统 |
| CN107944472B (zh) | 2017-11-03 | 2019-05-28 | 北京航空航天大学 | 一种基于迁移学习的空域运行态势计算方法 |
-
2018
- 2018-06-21 FR FR1800642A patent/FR3082965B1/fr active Active
-
2019
- 2019-06-19 BR BR102019012735A patent/BR102019012735A2/pt unknown
- 2019-06-19 CA CA3047430A patent/CA3047430A1/fr active Pending
- 2019-06-19 AU AU2019204291A patent/AU2019204291A1/en active Pending
- 2019-06-20 SG SG10201905716VA patent/SG10201905716VA/en unknown
- 2019-06-20 US US16/447,612 patent/US11823040B2/en active Active
- 2019-06-20 JP JP2019114553A patent/JP2020024678A/ja active Pending
- 2019-06-20 EP EP19181533.1A patent/EP3588387B1/fr active Active
- 2019-06-20 RU RU2019119152A patent/RU2019119152A/ru unknown
- 2019-06-21 KR KR1020190074160A patent/KR20190143832A/ko not_active Application Discontinuation
- 2019-06-21 CN CN201910541681.5A patent/CN110634329A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047915A (zh) * | 2019-12-13 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 停机位分配方法、装置及终端设备 |
| CN111047915B (zh) * | 2019-12-13 | 2020-11-27 | 中国科学院深圳先进技术研究院 | 停机位分配方法、装置及终端设备 |
| CN115660446A (zh) * | 2022-12-13 | 2023-01-31 | 中国民用航空飞行学院 | 一种空中交通管制预案智能生成方法、装置及系统 |
| CN115660446B (zh) * | 2022-12-13 | 2023-07-18 | 中国民用航空飞行学院 | 一种空中交通管制预案智能生成方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2019119152A (ru) | 2020-12-21 |
| CA3047430A1 (fr) | 2019-12-21 |
| AU2019204291A1 (en) | 2020-01-16 |
| SG10201905716VA (en) | 2020-01-30 |
| FR3082965A1 (fr) | 2019-12-27 |
| BR102019012735A2 (pt) | 2019-12-24 |
| KR20190143832A (ko) | 2019-12-31 |
| EP3588387B1 (fr) | 2023-09-06 |
| US20190391909A1 (en) | 2019-12-26 |
| FR3082965B1 (fr) | 2022-01-28 |
| TW202001559A (zh) | 2020-01-01 |
| US11823040B2 (en) | 2023-11-21 |
| EP3588387C0 (fr) | 2023-09-06 |
| JP2020024678A (ja) | 2020-02-13 |
| EP3588387A1 (fr) | 2020-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11823040B2 (en) | Method for testing air traffic management electronic system, associated electronic device and platform | |
| US11508254B2 (en) | Training and/or assistance platform for air management via air traffic management electronic system, associated method | |
| CN103444151B (zh) | 机场安全系统 | |
| CN112783195B (zh) | 多无人机的巡检路线规划方法、装置和计算机设备 | |
| CN113470439B (zh) | 基于人工智能的中小机场管制冲突解决方法及系统 | |
| CN111627257B (zh) | 基于航空器运动趋势预判的管制指令安全预演与校验方法 | |
| CN113408907A (zh) | 空中交通管制系统威胁影响分析方法、系统及设备 | |
| US11330458B2 (en) | Systems and methods for detecting an unauthorized airborne device | |
| CN111739376A (zh) | 一种机场管制员模拟训练系统 | |
| Liang et al. | RLaGA: A Reinforcement Learning Augmented Genetic Algorithm For Searching Real and Diverse Marker-Based Landing Violations | |
| CN116777008B (zh) | 面向无人飞行器逃逸预测建模的数据样本生成方法和系统 | |
| BR102019012774B1 (pt) | Plataforma de treinamento e/ou assistência para gerenciamento aéreo e método de treinamento e/ou assistência para gerenciamento de tráfego aéreo | |
| Ryan | Crossing the Chasm: Technology in Aviation | |
| CN115471347A (zh) | 车险报案风险预测方法、装置、电子设备及存储介质 | |
| Callantine et al. | Concept Investigation via Air-Ground Simulation with Embedded Agents | |
| JP2021025775A (ja) | 軌跡データ分析システム | |
| CN117061546A (zh) | 一种人居空间监测分析系统及方法 | |
| Bruzzone et al. | Demonstration for human behavior modeling within civil disorder scenarios | |
| Hosket | A Methodology Using Simulation Results for Test and Evaluation | |
| Leva et al. | Human Error Prediction in ATM via cognitive simulation: Preliminary study | |
| Al-Hindi¹ et al. | 4NS, UK | |
| Leiden et al. | 10 A Cross-Model Comparison | |
| Bangen | Validation problems in air traffic control systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191231 |