CN114930429A - 用于飞机监控软件的安全测试的模拟架构 - Google Patents

Abstract

一种模拟测试架构可以应用于针对飞机的飞机监控系统，其包括用于感测飞机周围的物体并控制飞机规避这些物体的复杂算法(例如机器学习算法)。基于一组所需的飞机安全标准从多个存储的场景选择参考场景。在模拟环境中应用随机过程以产生大量的条件变化，包括变化的天气、空域中的物体、故障点等等，以提供在选定的参考场景中的可能的飞机任务和遭遇的代表性样本。将综合环境输入馈送到飞机监控系统软件中，并以日志记录由此引发的该软件的动作。这些日志可用于按照遭遇级别、场景级别或横跨一系列场景而生成指标。

Description

用于飞机监控软件的安全测试的模拟架构

背景技术

飞机在飞行期间可能会遇到各种各样的风险，例如与其它飞机、设备、建筑物、鸟类、碎片、地形和其它物体碰撞。在自动驾驶飞机中，可以使用传感器数据来检测飞机周围空间中的造成碰撞风险或者可能对飞机或其乘员造成损害或伤害的物体。在一些情况下，被感测的物体的检测、识别和/或规避可以包括一个或更多个智能(例如自主)组件，这些组件能够独立地适应感测到的数据并确定飞机应遵循的适当路径，以便避免与物体碰撞。

为了使飞机适航，飞机必须包含能够在各种环境条件下可靠地检测、评估和规避在所述飞机外部的物体的系统。证明这种检测和规避的可靠性可能是具有挑战性的。为了表明这种适航性，可能需要表明飞机的与安全操作(例如碰撞规避)相关的软件和电子硬件符合某些安全标准。在某些情况下，相关的安全标准是由诸如联邦航空管理局(FAA)、欧盟航空安全管理局(EASA)、国际标准化组织(ISO)等认证机构和/或其他标准制定机构颁布的。但是，由于执行飞行序列的成本和在飞行期间遇到的条件的不可预测性，仅通过飞行测试来验证飞机具有符合碰撞规避的严格安全标准的能力可能过于繁重。

附图说明

通过参考以下附图，能更好地理解本公开。附图的各元件不一定是相对于彼此成比例的，附图的重点在于清晰地示出本公开的原理。

图1是具有根据本公开的一些实施例的飞机监控系统的飞机的俯视透视图；

图2是根据本公开的一些实施例的飞机监控系统的一部分的框图；

图3是根据本公开的一些实施例的模拟系统300的架构的示意图；

图4是根据本公开的一些实施例的迭代模拟测试的过程的示意图；

图5是根据本公开的一些实施例的模拟系统架构的示意图；

图6是根据本公开的一些实施例的用于迭代模拟测试的方法的流程图。

在各附图中，附图标记的最左边的数字可以标识首次出现该附图标记的附图。在不同附图中使用相同的附图标记表示相似或相同的项目或特征。附图不是按比例绘制的。

具体实施方式

本公开总体上涉及一种用于模拟针对飞机的用于检测和规避外部物体的自主方案的执行的架构。该模拟可以按随机(或部分随机)的方式进行，从而能够模拟空中遭遇的代表性样本，并评估对这种遭遇的处理。可以聚合来自所述遭遇的数据以生成关于遭遇级别和各种飞行场景的指标，以验证和确认所述检测和规避方案的可靠性。

在一些实施例中，模拟系统验证和确认包括具有传感器的飞机监控系统的飞机的动作，所述传感器用于感测在所述飞机周围的物体的存在，以达到碰撞规避、导航或其它目的。所述传感器中的至少一个可以配置成感测在所述传感器的视野内的物体，并提供用于指示感测到的物体的传感器数据。所述飞机包括一个或更多个系统，所述系统用于收集和解释传感器数据，以确定物体是否是碰撞威胁，从而提供关于飞机将要采取的动作的推荐或建议，以避免与感测到的物体碰撞，并在必要时控制飞机以避免碰撞。在一些情况下，被感测的物体的检测、识别和/或规避可以包括一个或更多个能够独立地适应新数据和先前进行的计算的智能(例如自主)组件。这样的组件可以不依赖于明确编程的指令，而是应用机器学习技术逐渐生成用于感知和决策的经过修改、改进的模型和算法。

在一个示例性实施例中，模拟系统是飞行测试安全模拟系统，该系统生成和/或存储一系列参考场景，这些参考场景代表飞机监控系统和其它飞机系统组件要解决的一个或更多个挑战(例如接近物体、系统故障)和/或一个或更多个目标(例如成功着陆，导航至给定点，一次避免大量的威胁)。对于每个参考场景，模拟系统在定义的场景挑战或目标内产生多种条件变化。这些条件变化被随机化以包括可能的条件的任何组合，例如接近物体的数量和/或类型、飞机或在飞机周围空间中的物体的运动状况(例如速度/高度/方向)、天气条件、在飞机内或在支持系统(例如通信系统)内的故障点、拓扑或地理条件、照明/能见度/噪声条件等等。在一个示例性实施例中，所述系统可以生成数百或数千种潜在的变化，所述变化在本文中称为遭遇，每种遭遇由用于生成传感器数据模型的一系列向量输入表示。这些传感器数据模型被输入到飞机的监控系统和飞行计算元件中，由此产生的关于飞机动作的指令被评估和以日志记录。模拟系统使用发送给物理飞机组件的命令来计算飞机和周围物体的更新位置(和相对位置)，而不是实际操纵这些组件。然后，该数据被以循环模式再次输入到飞机监控系统中，直到该场景的挑战或目标被解决或完成，不论所述解决或完成是否成功。对于给定的参考场景，依次执行每个随机化的遭遇，直到所有的遭遇都执行完成。在一些实施例中，模拟系统然后可以对所生成或存储的参考场景(或其子集)中的每一个执行相同的迭代过程。

收集关于所述模拟测试的执行的日志记录数据(例如位置数据、时间标记数据)，并且可以按不同的聚合级别从其中导出指标。可以按遭遇级别收集指标。还可以按所述一系列执行的参考场景收集指标。这些指标可用于将飞机系统的响应与一个或更多个定义的安全标准进行比较。在一些实施例中，所述安全标准可以是从由监管机构(例如FAA、FASA或ISO)设定的风险因素定义或导出的。

在用于证明飞机安全性的常规方案中，飞机可能需要经受一系列物理测试。当飞机在真实环境中飞行时，测试人员几乎无法控制环境或外部因素，并且可能无法安全地实现他们可能希望测试的条件的多样性或复杂性。利用预定义的类似于决策树的软件代码，可以使用代码的形式分析来表明飞机可能采取的具体动作。但是，与检测和规避系统相关联的感知和决策任务过于复杂，无法通过这种简单的软件代码来解决，且需要使用更高级的途径，例如由机器学习算法使用的途径。此外，可由飞机软件解决的潜在情况的数量多到无法通过常规的测试方法来解决。实际产生和操作飞机以涵盖足够数量的情况的成本在时间或资源方面可能昂贵到无法承受。

与常规系统不同的是，通过本文中说明的系统和方法，模拟系统能够验证和确认用于检测、评估和规避的飞机监控系统的性能和安全性。可以测试在飞机监控系统中使用的整个软件栈，并且通过在一系列目标代表性场景中针对全部或多个随机生成的条件(即，通过随机过程)进行由软件执行的测试来产生关于其执行和安全级别的证据。除了执行证据之外，还可以按各种测试级别(例如按遭遇级别、场景级别或者横跨多个场景)来产生性能证据。这种性能可以与符合任何适当的监管标准的一组期望的安全和性能目标相比较。此外，本文中所述的模拟系统提供的益处优于并超过通过在实际或真实的环境中的飞行性能测试所能达到的益处，因为所述系统可以产生各种各样的可能遭遇，其中的一些遭遇过于不安全而不能在模拟环境之外测试。所述变化能够代表几乎所有的遭遇，并且/或者可能是非常复杂的，以模拟在现实生活中极不可能发生但具有潜在的严重后果的“极端”情况、遭遇或场景，从而允许进行在实际飞机实施中无法进行的测试。

图1示出了根据本公开的一些实施例的具有飞机监控系统5的飞机10的俯视透视图。图1将飞机10示为自主垂直起降(VTOL)飞机10，但是，飞机10可以是各种类型中的任何一种。飞机10可以配置成运载各种类型的有效载荷(例如乘客、货物等)。在其它实施例中，具有类似功能性的系统可以与其它类型的运载工具10(例如汽车或船只)一起使用。在图1的实施例中，飞机10配置成自动驾驶(例如自主)飞行。举例来说，飞机10可以在位于飞机10上或可与飞机10可通信地连接的飞行控制器(在图1中未示出)的监管下沿着预定航线自主地飞行到其目的地。在其它实施例中，飞机10可以配置成在远程控制下操作，例如通过与远程飞行员的无线(例如无线电)通信操作。替换地或另外地，飞机10可以是有人驾驶或部分有人驾驶/部分自主的运载工具。

飞机10具有一个或更多个用于监测飞机周围空间的第一类型的传感器20、以及一个或更多个用于感测该空间和/或另外的空间的第二类型的传感器30。任何数量的传感器和任何数量的类型的传感器可以包括所示的传感器20、30。在各种实施例中，这些传感器可以是用于检测物体的存在的任何适当的光学或非光学传感器，例如电光或红外(EO/IR)传感器(例如摄像机)、光检测和测距(LIDAR)传感器、无线电检测和测距(雷达)传感器、应答器、惯性导航系统和/或全球导航卫星系统(INS/GNSS)、或者任何其它适当的传感器类型。例如，传感器可以配置成从物体接收用于指示该物体的飞行路径的广播信号(例如通过广播式自动相关监视(ADS-B)技术)。

为了便于示图，图1仅示出了位于飞机10的前部的传感器20、30，但是，在一个优选实施例中，传感器20、30可以位于飞机10上的各种位置，并且可以具有在所述飞机周围的所有方向的全部或部分视野。图1的飞机监控系统5配置成使用传感器20、30来检测在飞机10的某个附近区域内的物体15，例如在飞机10的飞行路径附近的物体15。然后可以处理这种传感器数据，以确定物体15是否对运载工具10构成碰撞威胁。就这一点而言，飞机监控系统5可以配置成确定关于飞机10及其航线的信息。飞机监控系统5例如可以确定飞机10应遵循的安全逃离路径，该安全逃离路径会规避与物体15的碰撞。

物体15可以是飞机10在飞行期间可能遭遇的各种类型的物体，例如另一架飞机(例如无人机、固定翼飞机或直升机)、鸟类、碎片或地形，或者可以是如果与飞机10碰撞的话可能损坏飞机10或影响其飞行的任何其它类型的物体。虽然物体15在图1中被示为具有特定尺寸和形状的单个物体，但是应理解，物体15可以代表可采取各种形状或尺寸中的任何一种并且可具有各种特性(例如静止或移动、合作或不合作)的一个或多个物体。在一些情况下，物体15可以是智能的、反应型的和/或高度机动的，例如另一架在运动中的有人驾驶或无人驾驶的飞机。

图1还示出了如何规避检测到的物体15的一个示例性过程。飞机监控系统5可以使用关于飞机10的信息(例如飞机的当前操作状况(例如空速、高度、方位(例如俯仰、滚转或偏航)、油门设置、可用的电池电量、已知的系统故障等)、飞机在当前操作状况下的能力(例如机动性)、天气、空域限制等)来生成飞机在其当前操作状况下能够飞行的一条或多条路径。在一些实施例中，这可以采取生成逃离包线25的形式，逃离包线25定义用于代表飞机10可以安全地遵循的路径的可能范围的区域边界。逃离包线25(被示为“漏斗”形状)可以理解为可能的规避机动的包线或范围。该逃离包线可以采取任何形状，但是通常在远离飞机10的点处变宽，这表明飞机10能够随着行进而进一步转离其当前路径。飞机监控系统5然后可以在逃离包线25内选择飞机10应遵循的逃离路径35，从而规避检测到的物体15。

在识别逃离路径35时，飞机监控系统5可以使用来自传感器20、30的关于感测到的物体15的信息，例如其地点、速度和/或可能的分类(例如该物体是鸟类、飞机、碎片、建筑物等)。传感器20、30能够检测在其视野内的任何地方的物体。如上文所述，传感器具有在所述飞机周围(未具体示出)的所有方向的全部或部分视野；所述视野不限于图1所示的逃离包线25。逃离路径35也可以定义成使得飞机会返回到飞机在进行规避机动之前所遵循的近似航向。随着飞机10遵循逃离路径35并改变位置，可以通过传感器20、30接收附加的感测信息，并且可以基于对附加的感测信息的评估来确定和/或遵循备选逃离路径或对逃离路径35的改变。

图2示出了可以安装在飞机上的示例性飞机监控系统5的选定组件，包括一个或更多个传感器20、一个或更多个传感器30、感测系统205、规划和规避系统220(该系统例如可以包括规避系统224和飞行规划系统228以及其它组件)、以及飞机控制系统240，该飞机控制系统240例如可以包括任务处理元件242、飞机控制器245、推进系统247、以及一个或更多个执行机构246和其它组件。飞机监控系统5的组件可以位于运载工具10上，也可以位于一个不同的地点，同时可被其它组件可通信地访问。系统5的组件可以通过有线通信(例如导线)和/或无线通信(例如无线网络或短程无线协议，例如蓝牙)相互通信，但是，在不同的实施例中可以使用替代实施方案。

图2中示出的组件仅是示例性的，并且飞机监控系统5可以包括未示出的各种组件，以实现在本文中说明的功能性，以及用于总体执行碰撞威胁感测操作和运载工具控制。类似地，虽然特定功能性可以归于如本文所论述的飞机监控系统5的各种组件，但是应理解，在其它替代实施例中，这样的功能性可以由不同的组件或者由一个或更多个组件执行。

传感器20、30、感测系统205以及规划和规避系统220的一些组件的组合一起用作“检测和规避”元件210。检测和规避元件210可以执行对传感器数据(以及其它数据，例如飞行规划数据(例如地形和天气信息等)和/或从飞机控制系统240接收的关于逃离包线的数据)的处理，以生成对于飞机控制器245要采取的动作的规避推荐(或建议)。支持该规避推荐的数据可以从感测系统205发送到(规划和规避系统220的)规避元件224，该规避元件224对这些数据应用一个或更多个规避算法，以生成优化的逃离路径。在一些实施例中，一种这样的算法(例如机载防撞系统(ACAS)，例如ACAS X或Daedalus(代达罗斯))可以用于避免与空中飞机的遭遇。在一些实施例中，所述规避算法在本质上可以是确定性的。在一些实施例中，规避元件224可以采用机器学习算法来分类和检测物体15的地点，以便更好地评估其可能的飞行性能(例如速度和机动性)以及威胁风险。就这一点而言，系统5可以存储用于指示各种类型的物体的物体数据，例如飞机10在飞行期间可能遭遇的鸟类或其它飞机，并且可以识别和/或分类感测到的物体。不仅能够识别物体的类别(例如鸟类、无人机、固定翼飞机、直升机等)，而且能够识别在类别中的具体物体类型。

在一些实施例中，所述规避算法还可以考虑来自飞行规划系统228的信息。这样的信息例如可以包括先验数据222，例如关于建筑物的布局或其它已知的静态特征的地形信息、关于天气的信息、空域信息，包括其它飞机(例如机群中的其它飞机)的已知飞行路径、和/或其它相关的预定(或可预知的)信息。这样的信息还可以包括远程操作数据226，该远程操作数据226可以包括从远程系统接收的信息(例如空中交通管制、操作员信息等)。

规划和规避系统220可以向飞机控制系统240的任务处理元件242提供其生成的路径信息和/或其它信号。作为许多例子中的一个，规划和规避系统可以产生逃离动作，例如“以500英尺/分钟的速度爬升并保持状态，直到咨询警报关闭”，当然，也可以使用任何适当类型的逃离路径或动作。在一些实施例中，所述逃离路径或动作可以作为咨询意见传递给飞机控制系统，该飞机控制系统例如通过控制飞机的速度或方向来实施该咨询意见，以避免与感测到的物体碰撞，将飞机导航到相对于感测到的物体的期望地点，或者为了其它目的控制飞机。在一些实施例中，飞机控制器245可以通过提供信号或以其它方式控制多个执行机构246来执行飞机10的适当控制操作，所述多个执行机构246可以分别耦接至一个或更多个飞行操纵面248，例如方向舵、副翼、升降舵、襟翼、扰流板、制动器或通常用于控制飞机的其它类型的空气动力装置。虽然在图2中示出了单个执行机构246和单个飞行操纵面248以简化示图，但是可以实施任何实际数量的执行机构246和飞行操纵面248来实现飞机10的飞行操作。推进系统247可以包括用于向飞机10提供推进或推力的各种组件，例如发动机和螺旋桨。一个或更多个飞机传感器249可以监测飞机10的各种组件的操作和性能，并且可以向飞机控制器245发送用于指示这样的操作和性能的反馈。响应于由飞机传感器249提供的关于飞机10的系统性能的信息，飞机控制器245可以控制飞机10以执行飞行操作。

应理解，飞机控制器245是接收检测和规避系统210的建议并对其做出反应的反应型系统。任务处理元件242可以配置成响应于接收到建议而向飞机控制器245提供信号，以采取行动对威胁做出反应，例如向用户(例如飞行员或乘客)提供警告，或者控制飞机控制系统240(例如执行机构246和推进系统247)以改变飞机10的速度(速率和/或方向)。作为一个例子，飞机控制器245可以控制飞机10的速度，以努力遵循逃离路径35，从而规避感测到的物体15。或者，飞机控制器245可以基于感测到的物体15导航到期望的目的地或其它地点。

飞机监控系统5的各种组件可以用硬件或者硬件和软件/固件的组合来实现。作为一个例子，飞机监控系统5可以包括一个或更多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或用软件或固件编程的微处理器、或者用于执行所述功能性的其它类型的电路。在一些实施例中，系统210、220和240可以在分立的计算硬件和/或软件上实现，或者，在替代实施例中，一些组件可以用相同的计算硬件实现，或者可以共享处理器或其它资源。可以使用任何适当的配置，例如基于诸如重量和功耗、通信延迟、处理和/或计算限制、或对于不同系统的不同安全要求等考虑因素来使用。

图3示出了根据本公开的一些实施例的模拟系统300的某些组件的示例性示意图。模拟系统300可以理解为用于测试由飞机监控系统5使用的软件栈的性能、准确性和/或效率的飞行安全测试系统。也就是说，可以在不需要飞机10的机械组件的实际飞行或其它操作的模拟环境中分开测试(由系统210、220和240不同地执行的)一组软件，这组软件一起工作以获得和处理来自传感器20、30的传感器数据，以识别物体或其它碰撞条件，应用一种或多种规避算法来产生规避建议，并按照这些建议来动作以控制飞机10。模拟系统300可用于运行大量生成的场景，这些场景反映飞机10在飞行期间可能经历的挑战或目标。如在下文中参照图3至图6所述，系统300获取存储在数据库中的所有参考场景或其子集，并且，对于每个场景，生成大量不同的运动学、地理、天气、机械和/或故障条件，每种变化代表一种“遭遇”。所述遭遇的总和被设计成构成对于特定参考场景的统计学上的代表性集合。在示例性实施例中，所述条件的生成遵循一种随机方法，以获得飞机10在参考场景中的可能条件的有代表性的大样本。对于所述一个或更多个参考场景中的每一个，在飞机监控系统5的软件栈中运行所述一种或更多种遭遇中的每一种，以生成用于反映飞机监控系统5在所有场景中的性能和行为的输出数据。模拟系统400的这一过程是一种用于为各种级别的认证确认和验证飞机监控系统5的功能的数据驱动方案，提供了一种符合由相关认证机构(例如FAA、EASA等)发布的安全标准或要求的手段。

在图3的示例性实施例中，模拟系统300在物理上和/或逻辑上是与飞机监控系统5的各种组件分开的，它被整体或部分地分布到不同的计算硬件中(例如在不同的印刷电路板(PCB)上或在独立的处理单元上)。在这样的实施例中，系统300可以通过数据接口370(例如端口或引脚)与这样的组件通信。在其它实施例中，系统300和飞机监控系统5的组件(或其任何子集)可以容纳在一个或更多个共享硬件上和/或可以共享一个或更多个处理单元的能力。模拟系统300可以用硬件、软件、固件或它们的任何组合来实现。

模拟系统300中的数据处理可以通过一个或更多个处理器360来实现。处理器360可以包括中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、FPGA、ASIC、或其它类型的电路或处理硬件中的任何一种、或者它们的任何组合。此外，处理器360可以包括任何数量的处理单元，以提供更快的处理速度和/或冗余，这样的处理器是本地的和/或地理上分布式的。系统300还可以访问一个或更多个共享存储器或数据储存库，该共享存储器或数据储存库在图3中被示为存储器310。虽然在此使用了术语“数据库”或“储存库”，但是这样的结构可以不同地例如是高速缓存、数据库、其它数据结构或任何适当类型的储存库。存储器310可以是存储可由处理器360访问的信息的任何适当的易失性或非易失性存储介质(例如RAM、ROM、EPROM、EEPROM、SRAM、闪存、磁盘或光存储装置、磁性存储装置、或任何其它有形的或非暂时性的介质)。虽然图3示出了单个分立的存储器310，但是本文中说明的实施例不限于任何特定的布置，并且其它实施例可以将信息存储在一个组合的存储器中，或者将信息以不同的配置存储在一个或更多个存储器中，一些存储器对于图3所示的其它组件是本地的，并且/或者一些存储器是与其它计算系统共享的，或者在地理上位于其它计算系统附近。在一些情况下，存储器310可以是经过生命安全认证的，当然，在其它实施例中，其它配置也是可能的。

此外，存储器310可以存储用于实现模拟系统300的功能的指令或逻辑，该逻辑可以用硬件、软件、固件、或者它们的任何组合来实现。所示的系统300示出了存储在存储器310中的多个模块，包括控制逻辑312、模拟逻辑314和标准逻辑316。这些示出的模块可以不同地表示实现为软件代码或计算机可执行指令(即，例程、程序、对象、组件、数据结构等)的一个或更多个算法、计算模型、决策规则或指示等，所述软件代码或计算机可执行指令在由一个或更多个处理器360执行时对所述处理器编程，以执行它们各自的逻辑的特定功能。这些模块在图3中被示为多个分立的组件，每个组件被标记为单独的“逻辑”，但是，在多种实施例中，每个相应逻辑的功能可以独立执行，或者可以作为一个或更多个其它模块的一部分执行；也就是说，可以使用所示的逻辑组件的任何配置，无论该配置是通过硬件、软件、固件还是它们的任何组合实现的。

模拟系统300可以包括控制逻辑312，该控制逻辑312包括用于总体地控制系统300的操作的一个或更多个算法或模型。在一个实施例中，控制逻辑312还可以包括通信逻辑，例如用于从飞机监控系统5(图2)的一个或更多个组件获得信息或向其传送信息的一个或更多个算法或模型。还可以使用本地接口370和控制逻辑312(例如由模拟逻辑314和标准逻辑316使用)通过一个或更多个网络进行通信。

模拟逻辑314(在下文中进一步说明)可以包含一个或更多个算法或模型，以生成一组参考场景，生成各种随机条件(每种独特的条件变化在本文中被称为“遭遇”)，并在飞机监控系统5的软件栈中运行这些遭遇。就这一点而言，在一些实施例中，模拟逻辑314可以从存储器310中的包含场景数据320的一个或更多个数据库读取数据和/或向所述数据库写入数据。场景数据320存储用于反映一组参考系列的信息。在一个示例性实施例中，参考场景是由管理所述模拟系统300的一个或更多个实体预先确定或预先定义的。在一些实施例中，参考场景可以从由第三方系统(例如适当的监管机构)设置的一组安全标准或条件中获得或导出。参考场景反映将由飞机监控系统5解决或处理的挑战或目标。在一些实施例中，参考场景可以附加地或替代地反映将由飞机执行的任务(例如起飞和着陆点、待运输的货物等)。在一些实施例中，所述挑战或目标可以是较高级的，仅举一个例子，从飞机10的左侧接近的飞机或物体。当然，上述场景仅是示例性的，且可以应用任何适当的场景。在一些实施例中，可以定义分立的多组场景并将其存储在场景数据320中，每组场景与一组不同的监管标准对应。在一些实施例中，这种监管数据可以作为标准数据326保存在存储器310中。

存储器310还可以存储遭遇数据322。在一个示例性实施例中，存储器310可以包括一个或更多个状态变量，这些状态变量代表在飞机10的模拟遭遇的环境中可能出现的不同条件。在一个实施例中，遭遇数据322存储在高速缓存中，并且随着新的随机条件数据的生成和/或随着条件数据在飞机监控系统5的软件执行遭遇的过程中的改变被更新或重写。遭遇数据322中的遭遇可以由一系列反映条件的向量来反映，所述条件例如反映飞机10和/或一个或更多个物体或飞机的运动学因素(位置、速度、高度、方向)、天气(温度、降水、光照、能见度)、一天中的时间、地理或拓扑条件(例如在飞机10的飞行空间内的地形或建筑物)、硬件(例如飞机10上的传感器或设备类型、飞机10的类型)、飞机10上的故障点(例如硬件、软件、通信、飞行操纵面的故障)、飞机10外部的故障点(例如由空中交通管制、第三方实体的恶意干扰造成的故障)、或者可能影响飞机10感测和/或处理数据并相应地响应的能力的任何其它因素。在一些实施例中，遭遇可以包括在场景的执行过程中可由系统5的一个或更多个组件(和/或在一个或更多个时间标记处)识别的一个或更多个命令或事件数据。

用于限定在遭遇数据322中的遭遇的每组条件数据与足以标识在场景数据320中的参考场景的信息(例如标识符、唯一字符串等)相关联。参考场景和遭遇以一对多或一对一的关系相关联，即，在场景数据320中的特定总括场景中，一个或更多个(在一些实施例中是数百或数千个)随机化条件变化被生成并存储，每种变化被存储为一组遭遇数据322，作为可以由模拟架构处理的独特遭遇。这些变化是以随机方式从用于不同条件的可能值的范围产生的，从而具有可以统计分析但不能精确预测的随机概率分布或模式。

标准逻辑316(在下文中进一步说明)可以包含一个或更多个算法或模型，以通过模拟逻辑314从遭遇数据322中的遭遇的执行生成日志或记录。这样的日志可以作为日志数据324存储在存储器310中。日志数据324例如可以包括足以与它们各自的时间标记相关联地标识在每架飞机10和在所述遭遇的执行期间遇到的一个或更多个物体或其它物理实体的位置或运动学数据中的变化的信息。在一些实施例中，日志数据324还可以包括关于飞机10的各种组件的状况(例如损坏或故障)的信息、关于货物(例如人或物品)的飞行状况的信息，例如施加的G力(重力)、飞机10的运动的陡峭性或突然性和/或其它相关信息。标准逻辑316可以基于日志数据324生成指标，以在场景级别中(即，针对每个场景)或者横跨一组场景聚合所述数据。所生成的指标例如可以反映飞机监控系统5在保持与其它飞机或物体的间隔、响应速度、计算速度方、以及任何其它适当的衡量基准方面的性能。标准逻辑316还可以从标准数据326获取数据，可以将该数据与生成的指标进行比较，以确定飞机监控系统5在一组应用场景中的性能是否满足一个或更多个安全标准。

图4和图5示出了由模拟逻辑314用于执行其模拟测试的示例性机制。虽然图4和图5反映了由模拟逻辑314执行的逻辑过程的某些配置，但是在这些附图中反映的各个框不一定反映分立的算法，而是用于总体解释由模拟逻辑314执行的数据处理。在其它实施例中，其它的配置也是可能的。

图4示出了包括场景选择器组件410-1和条件变化生成器410-2的遭遇生成器410。场景选择器组件可以从场景数据320中的一组预定义场景选择要测试的场景。在一个示例性实施例中，所述选择是非随机选择，可以按顺序地选择存储在场景数据320或其子集中的一个或更多个场景中的每一个。在计算资源允许的情况下，对于相同的软件栈，模拟逻辑314有可能并行处理一个以上的场景。在一些实施例中，场景选择器410-1还可以用于基于存储在标准数据326中的信息来生成场景数据。图4示出了选择场景1-100之一，当然，在其它实施例中，可以使用任何非零数量的参考场景。反映所选场景的向量信息被传递至条件变化生成器410-2，该条件变化生成器410-2用于随机地生成该场景的x种变化(例如1000种变化，当然，也可以使用任何数量)，每种变化彼此稍有不同，同时仍然满足所述场景的的所限定的目标/挑战。所述变化例如可以反映运动学条件随机化、天气或温度随机化(例如云的位置)、降雨、光照的变化(光的方向和来源)、一天中的时间(白天/夜间)、地理条件、运载工具的类型、遭遇的物体的类型和/或智能、传感器条件和类型、和/或在所述系统内的故障点(包括硬件故障)、或者可能对传感器的雷达(RADAR)模型、仪器或其它飞机条件有正面或负面影响的任何因素。条件变化生成器410-2随机地生成这些条件，并且相应地在场景内产生一组变化的遭遇，这些遭遇构成所述飞机10可能在其中操作的一组统计学上的代表性样本条件。

条件变化生成器410-2为每种变化生成一系列向量信息，所述变化在本文中又被称为遭遇数据，当然，这些变化不限于其中飞机经历与一个或更多个物体的模拟遭遇的变化。条件变化生成器410-2将该信息传递给执行组件420，执行组件420以图5所示的方式工作，以迭代方式处理该数据(在下文中更详细地说明)，直到遭遇的条件已经被处理或解决。在其它实施例中，执行组件420可以继续以迭代的方式处理数据，直到经过预定的时间量，或者直到经过了设定的时间量而没有任何环境条件变化。所述向量信息可以代表一个或更多个环境状态值，每个环境状态值代表用于构成虚拟世界的条件。随着过程的每次迭代，环境状态值被更新(例如以反映更新的位置数据、天气数据、飞机状况数据等等)。

在执行组件420完成其对遭遇的处理时，条件变化生成器410-2提供来自下一个生成的遭遇的信息，以在所选场景内循环通过x个(在此为1000个)生成的遭遇中的每一个。该过程然后返回到场景选择器410-1，场景选择器410-1从场景数据320中选择下一个场景，并将这样的信息传递给条件变化生成器410-2。所述过程继续进行，直到处理了所有预期的参考场景的所有不同遭遇。每种遭遇的结果被以日志记录(未示出)。换句话说，场景选择器410-1用于选择种子场景，且条件变化生成器410-2定义遭遇，以在“所有”可能条件的代表性集合中尝试该种子场景。在一些实施例中，条件变化生成器410-2可以应用蒙特卡罗模拟技术来生成遭遇，所述遭遇在被应用于所述飞机的任务(通常是导航到期望的目的地和/或在期望的目的地安全着陆，当然，在其他实施例中，可以使用其他任务)时反映所选场景的所有或大部分潜在结果。这种解决方案远比飞机10的实际飞行测试更全面，实际飞行测试需要花费无限量的时间来确定在由遭遇生成器410生成的条件的规模上的解决方案。

作为一个例子，场景数据320中的场景1可能反映一架飞机从左侧接近飞机10。条件变化生成器410-2例如可以在保持飞机正在从左侧接近的场景1的总括条件的前提下生成正在接近飞机10的飞机的具有随机变化的位置、速度或飞机类型数据的遭遇(在可能的位置、速度、类型的相应范围内随机变化)。条件变化生成器410-2可以附加地或替代地随机改变环境数据、通信数据和/或故障数据的特定条件。在其它实施例中，场景可能在范围上更受限制。仅作为较窄场景的一个例子，场景数据320中的场景2可能反映某个物体正在1000英尺的高度以100节的速度从右侧以45度角接近。在另一个实施例中，场景3可能反映飞机10从某个地理位置起飞，携带一个人的有效载荷，并且在某个时间标记处遇到位于距飞机10的右侧2公里远的Cessna(塞斯纳)飞机。作为另一个例子，场景4可能反映与飞鸟的遭遇，并且条件变化生成器例如可以随机地生成在预定的数量范围内(例如1-20只鸟)、预定的大小范围内、预定的高度范围内的每只相应的鸟的数量和位置等。当然，前述内容仅是示例性的，旨在反映可以由遭遇生成器410定义的范围的变化。

图5是示出执行组件420对于遭遇的示例性迭代处理的框图。虽然在不同的实施例中可能存在不同的配置，但是示例性的图5示出了内层(由飞机10功能的内部组件组成)、外层(由用于模拟对飞机10外部的环境的影响的组件组成)、以及交换层(由用于模拟外层和内层的相互影响的组件组成)。一般来说，在外层和交换层中的活动是由模拟逻辑314执行的模拟活动，并且，在内层中的活动是由飞机监控系统5的软件所执行的模拟活动。

如上文所述，遭遇生成器410产生定义遭遇的一系列向量，所述遭遇设定物体在模拟环境中所处位置的初始条件，包括飞机10的位置、高度、速度和其它条件(即，运动学和动力学条件)、以及如上文所述的描述所有物体的状态的其它条件。该信息被传递至世界状态510，世界状态510将向量信息转换成一系列参数(例如描述飞机10以及在所述环境中任何其他物体或飞机的状态的(x,y,z)参数)。根据遭遇的特点，虚拟环境中的一个或多个物体可能是能够与飞机10的飞机监控系统通信的智能飞机和/或运载工具或物体(又称为“合作物体”)。例如，所述物体可能能够广播用于指示该物体的飞行路径的信号(例如通过ADS-B技术)。定位传感器模型516生成这种接收到的用于定位在虚拟世界中的其它物体的数据。这种接收的数据被传递至世界状态估计518(如下文所述)。

可以将虚拟世界生成模型512和感知传感器模型514一起理解为感知系统514，该感知系统514用于生成关于飞机10的传感器20、30(例如摄像机、RADAR)所感测的信息的合成数据。这些感测数据例如可以包括关于感测的物体的位置信息以及时间标记。更具体地说，虚拟世界生成器512从以数学方式描述的世界状态510中获取参数数据，并创建被图像传感器20、30看到的图像的投影。在一个示例性实施例中，虚拟世界生成器512可以被理解为产生“完美的”无阻碍传感器数据，输出感测的图像和/或雷达回波的投影，反映在图像帧内的感测物体的位置，并考虑到传感器相对于飞机10和其它已知物体的位置。通常可以将感知传感器模型514理解为向传感器数据添加真实世界的效果，以产生一组更具代表性的图像和原始传感器数据。例如，这可能涉及向数据添加噪声、失真和其它缺陷。在一些实施例中，由感知传感器模型514施加的缺陷可能取决于传感器的类型(例如，摄像机的类型、镜头的类型)和/或由遭遇数据所设置的天气条件。感知系统240的输出是合成传感器数据(或模拟传感器数据)，例如被建模为不完美的图像数据或原始雷达数据，这些数据被馈送到飞机系统545中。

可以将飞机系统545的组件518和520理解为飞机监控系统5(图2)的实际软件系统和由该系统实现的处理算法，即，待测试的软件栈。组件522和524代表与监控系统相互作用的模拟飞机系统。世界状态估计518可包括一个或多个感知算法，这些算法可以接受感知系统540的输出和定位传感器模型516的输出，并生成在飞机10周围的环境中的所有物体所处的位置及其预期的运动方向和速度的表示。在一些实施例中，可以将世界状态估计518理解为飞机监控系统5(图2)的传感系统205。基于该信息(向量和位置数据)，规避算法520(例如由图2中的规避元件224执行)生成路径和/或机动的建议，以规避与任何感测到的物体碰撞。规避逻辑可以考虑各种信息，例如飞行规划数据、天气数据和其它条件数据。规避算法520可以通过其自身或者与飞机系统的其它组件相结合来验证由世界状态估计518发送的位置和向量数据。在遭遇数据指定了飞机上的有效载荷(例如乘客)的一些实施例中，规避逻辑会考虑其动作对这种有效载荷的影响，例如，根据动作的紧急程度(从预防性动作到立即动作)，考虑所推荐的转弯的陡峭度或加速度的大小(动作的平滑度)。规避算法520然后向任务计算机522提供飞行路径(推荐或建议)。

传统上(如图2所示)，规避系统224不控制飞机10、执行机构246或推进系统247。而是，它们提供关于飞机控制系统240应采取的动作的建议。该建议信息被发送至任务处理元件242(在图5中与任务计算机522对应)以计算优化路径，该优化路径最终被传递至飞机控制器245(在图5中与飞行控制计算机524对应)。飞机控制器245然后可以根据所述建议控制飞机的执行机构和推进。在模拟中，不执行所述飞机10、执行机构246或推进系统247的实际操纵；而是，这样的动作是模拟的。具体而言，飞机系统的功能可以通过任务计算机522和飞行控制计算机524处理规避算法520的建议，以在模拟中向飞机10发送命令，从而修改飞机10相对于任何其它物体的位置和/或条件。作为正常规避操作的一部分，任务计算机522可以尝试经由数据链路528与其它实体交互，例如空中交通管制(ATC)系统、一架或更多架感测到的飞机、和/或其它计算和通信系统，并且这种交互可以被处理并传送至空域管理530。

基于飞机系统545的动作、以及由其中的组件所做出的相应的位置、状态和/或通信改变，可以相应地改变在虚拟世界中的其它物体的相对位置和状态。例如，随着飞行控制计算机524改变飞机10的位置，动力学引擎526生成由此导致的在虚拟世界中的其它物体的位置数据，并将这些数据发送至空域管理530。空域管理530将空域的总体情况传送给交通模型532，该交通模型532模拟所述飞机10和/或该世界中的改变其路线的物体的任何路线变化。然后根据这样的信息更新世界状态510，并且执行组件420在整个遭遇中在元件510-532上重复循环。在解决了所述遭遇时，当所述过程接下来返回到世界状态510的更新时，可以结束模拟。在一个示例性实施例中，遭遇的目标可能是有限的(例如避免碰撞)，因此，解决遭遇的整个过程例如可能仅花费几分钟。在其它实施例中，目标可能更大(例如模拟整个飞行)，并且可能需要更长时间来达到。在其它实施例中，遭遇数据可能不包含具体目标，而是，执行组件420可以继续用更新的环境状态信息在元件510-532上迭代，直到经过了预定的时间量，或者直到经过了设定的时间量而没有任何环境条件改变。

虽然遭遇数据在图5中被示为馈送到世界状态510和定位传感器模型516中，但是遭遇数据可能包含关于执行组件420的所有元件的状态的数据，并且执行组件420的不同元件可能被馈送到其中的遭遇数据不同地影响。仅作为一个例子，遭遇数据可能包括不影响传感器输出但会影响另一个组件(例如数据链路528)的功能(例如限制在飞机10周围的塔台的可用性)的命令数据。遭遇数据还可能包括限制飞机系统545的某些动作的条件或命令数据。作为一个例子，遭遇数据可能限制(例如通过拓扑条件、天气条件或硬件条件)飞机能够降落的位置。

在一些实施例中，遭遇数据可能包括或引入事件数据以模拟故障场景，包括硬件故障。在该示例性实施例中，由条件变化生成器410-2生成的变化的范围会包括涉及在飞机监控系统5中的每个关键点和/或飞机10的每个硬件、通信或架构组件(例如一个或更多个摄像机、电动机等)、或它们的任何组合的故障的遭遇。此外，所述遭遇数据可以包括事件数据，以模拟虚假或恶意通信(敌对消息)、丢失与空域管理的通信，或者模拟在飞机系统545的组件之间的通信延迟或中断(例如任务计算机522上的x秒延迟)。在一些实施例中，遭遇可能是不可解决的，并且执行组件420可以简单地用于以日志记录飞机监控系统5将对所述遭遇的状况所做出的反应。

从上文能够理解，在遭遇数据中可以包括两大类型的数据：在执行过程420开始时存在的条件数据(例如运动学数据、天气数据)、以及可以在执行过程420期间的任何点引入的数据(例如由不同组件执行的命令数据、在特定时间标记、地点/位置或其它条件下触发的事件数据)，所述引入的数据触发在所述遭遇的定义脚本内的模拟代码的实施(例如在任务中的某个点处经历的遭遇、故障、外部条件等)。在一个示例性实施例中，条件是按照在模拟时间发生的事件(即，在时间标记处触发)给出的，并且时间标记可以在组件510-532的迭代过程中基于事件在模拟中的该点处的当前世界状态下发生的概率来生成。也就是说，某个事件不会变得可能或有可能，直到并且除非在遭遇的迭代执行期间世界状态被改变，并且用于模拟该事件的代码可以由向可能性的状态改变触发而不是由特定时间标记触发。

标准逻辑316用于从遭遇的执行420生成日志或记录。记录的数据可以包括所述飞机10和在所述遭遇的执行期间遇到的一个或更多个物体或其它物理实体中每一个的位置或运动学数据的变化。位置的每次变化可以与该变化的时间标记相关联地被日志记录。这样的日志可以作为日志数据324存储在存储器310中。在一些实施例中，日志记录的数据324还可以包括关于飞机10的各种组件的状况(例如损坏或故障)的信息、关于货物(例如人或物品)的飞行状况的信息，例如施加的重力、飞机10的运动的陡峭性或突然性和/或其它相关信息。在一些实施例中，在执行组件420的一次迭代完成时被馈送至世界状态510的所有信息都被与相关时间标记数据相关联地以日志记录。日志记录的数据还与所运行的特定独特遭遇(在一些情况下由遭遇数据322中的唯一遭遇标识符标识)相关联地存储。在针对所有场景运行了所有随机生成的遭遇之后，可以按不同的粒度级别聚合所述数据。例如，标准逻辑316可以使用场景级别的日志记录数据(即，在参考场景内的相关联的所有生成的遭遇的聚合)来生成指标。在一些实施例中，可以横跨一组场景生成指标，即，可以聚合所生成的场景级别的指标，以用于对存储在场景数据320中的场景的全部子集进行分析。在一些实施例中，可以仅为在一个或更多个场景中的符合准则的遭遇来生成指标。作为一个例子，可以横跨其中通信链路不工作或受损的特定遭遇的多个场景来生成指标，而不论相应的高级参考场景是否要求这样的条件。各种生成的指标可以反映飞机监控系统5在保持与其它飞机或物体的间隔(例如规避距离)、响应速度、计算速度、在系统的性能与最低标准性能之间的差异程度、和/或任何其它适当的衡量基准方面的性能。标准逻辑316可以使用这些指标来得出关于飞机监控系统5的性能的总体结论。例如，它可以确定系统5是否满足一组或更多组监管标准数据326。此外，标准逻辑316可以执行比较计算以参照任何预设基准为系统5的性能赋分，而不是进行二元的符合/不符合确定。作为一个例子，对于给定的参考场景，标准逻辑316可以确定避免与感测到的物体碰撞所需的最小最近距离、以及在模拟的性能与最小距离之间的差异。作为另一个例子，模拟系统300能够生成统计值，该统计值表明以情况的特定百分比满足了特定基准。这种评分系统可以用于验证所述系统是否满足或超过性能要求，评价或评估学习系统的性能改善或劣化，和/或验证飞机监控系统5所采取的动作。

在一个实施例中，标准逻辑316可以使用生成的指标将飞机监控系统5的动作与一个或更多个定义的安全标准进行比较。这种安全标准可以基于由监管机构提供的风险因素和它们的相应阈值、运载工具的类型或类别、运载工具运送的人数、飞行的地理位置、或任何其它相关的考虑而变化。在一个实施例中，安全标准可以基于或源自认证机构使用的类别，例如设计保障等级(DAL)“A”到“E”，这些级别的严格度依次降低。在一些实施例中，标准逻辑316可以用于确认飞机监控系统5的一个或更多个组件在任何相关规定下能够通过高安全标准的认证。标准逻辑316可以确认飞机监控系统5的软件组件和/或软件所依赖的或从其接收信息的其它组件(包括传感器)能够通过适当安全标准的认证。由于这样的标准可能随着时间的推移而修改，变得更加严格或不那么严格或者增加另外的测试，因此标准逻辑316可以通过数据接口370与一个或更多个第三方系统通信，以一致地更新标准信息。模拟系统300可以根据更新的标准生成另外的参考场景。通过这些手段，能够针对可能适用于不同的地理位置的不同安全标准、针对不同类型的飞机、在不同的高度等高效地进行模拟测试。

图6示出了模拟系统300可以在其中工作的一个示例性过程600。遭遇生成器410从数据库生成或获得一组参考场景。可使用所有场景或场景的选定子集进行测试，该测试是通过依次地对在步骤605中从数据库中选择的各个参考场景进行来完成的。在步骤610中，遭遇生成器410使用所选择的场景，在该场景的范围内随机改变环境条件，以生成多种变化(遭遇)。在步骤615中，执行组件420获得代表遭遇输入的一组向量，并使用遭遇输入运行飞机监控系统5的软件栈的一次迭代(步骤620)。将环境(位置、飞机状态、空域交通等)的任何变化与相应的变化发生的时间标记相关联地以日志记录(步骤625)。若遭遇未被解决(步骤630中的"否")，则使用相关的改变来更新遭遇输入(步骤635)，并反馈到飞机监控系统5的软件中(步骤620)。这个过程(步骤620-635)以迭代的方式继续，直到所述遭遇被解决(步骤630中的"是")。如果在所选场景内存在附加变化，即，生成了未被测试的附加遭遇(步骤640中的"否")，则以日志记录该场景的结论(步骤645)。更新遭遇输入以反映全新的遭遇模拟(步骤635)，并且所述过程返回到步骤620，以使用新的环境输入执行飞机软件。一旦循环执行了每种变化(步骤640中的"是")，就确定是否应该考虑附加的参考场景。如果是这样(步骤650中的"是")，那么在步骤605中选择新的场景。如果已经模拟了所有相关场景(步骤650中的"否")，则终结日志，并且可以在步骤655中按场景级别和模拟级别(例如横跨多个场景)之一或这两者生成指标。在一些实施例中，可以在步骤660中使用这些指标来验证飞机软件是否符合一个或更多个定义的安全标准。

上文仅说明了本公开的原理，本领域技术人员能够做出各种修改，而不会脱离本公开的范围。上述实施例是出于示例性目的而非限制性目的呈现的。除了在本文中明确说明的形式之外，本公开还可以采取许多形式。因此，需要强调的是，本公开不限于明确公开的方法、系统和装置，而是意图包括在所附权利要求的精神之内对其做出的各种变化和修改。

作为另一个例子，可以对装置或过程参数(例如尺寸、配置、组件、过程步骤的顺序等)进行变化，以进一步优化所提供的结构、装置和方法，正如本文所示和所述。在任何情况下，本文中说明的结构和装置以及相关方法具有许多应用。因此，所公开的主题不应限于在本文中说明的任何单个实施例，而是应根据所附权利要求的广度和范围来解释。

Claims (20)

1.一种用于在模拟环境中评估飞机的监控系统的性能的方法，包括：

从存储器获得与所述飞机相关联的参考场景；

为所述参考场景生成多种条件场景变化，所述条件场景变化中的每一种包括与所述模拟环境相关的一组环境状态值，其中所述环境状态值是基于一个或更多个可能值范围而随机选择的；

对于所述多种条件场景变化中的每一种，执行：(a)基于所述一组环境状态值生成模拟传感器数据，(b)向所述监控系统输入所述模拟传感器数据，(c)从所述监控系统接收用于基于所述模拟传感器数据来控制所述飞机的指令，(d)基于接收的指令更新用于相应条件场景变化的所述一组环境状态值，以及(e)根据所述一组更新的环境状态值在所述存储器中存储日志数据；以及

基于为所述多种条件场景变化中的每一种所存储的日志数据而生成指标。

2.根据权利要求1所述的方法，其中所述条件场景变化代表与在所述飞机周围的空间中的物体的遭遇，并且

其中重复所述步骤(a)到(e)，直到所述一组更新的环境状态值指示所述遭遇已被解决。

3.根据权利要求1所述的方法，其中重复所述步骤(a)至(e)，直到经过了预定的时间量。

4.根据权利要求1所述的方法，其中多个参考场景存储在所述存储器中，

其中，对于所述多个参考场景中的每一个，以串行方式执行获得、生成所述多个条件场景变化、以及执行所述步骤(a)至(e)，并且

其中所生成的指标被聚合，以包括用于所述多个参考场景中的每一个的指标。

5.根据权利要求1所述的方法，其中所生成的指标代表所述飞机的监控系统相对于一个或更多个预定义的安全标准的性能。

6.根据权利要求1所述的方法，其中所述多种条件场景变化中的每一种包括多个向量，每个向量代表相应的环境状态值。

7.根据权利要求1所述的方法，其中所述模拟传感器数据包括用于指示在所述飞机外部的物体的数据，并且

其中所述用于指示在所述飞机外部的物体的数据包括所述物体的位置数据和运动学数据。

8.根据权利要求1所述的方法，其中所述模拟传感器数据包括图像数据和雷达数据中的至少一种。

9.根据权利要求1所述的方法，还包括：

基于所述一组环境状态值为所述多种条件场景变化中的每一种生成事件数据，以及

向所述监控系统输入所述事件数据。

10.根据权利要求9所述的方法，其中所述事件数据包括模拟以下状况中的一种或更多种的数据：硬件故障状况、通信故障状况和延迟状况。

11.一种用于在模拟环境中评估飞机的监控系统的性能的模拟系统，所述模拟系统包括：

存储器；以及

耦接至所述存储器的至少一个处理器，所述至少一个处理器配置成执行存储在所述存储器中的指令，以执行以下步骤：

从所述存储器获得与所述飞机相关联的参考场景；

为所述参考场景生成多种条件场景变化，所述条件场景变化中的，每一种包括与所述模拟环境相关的一组环境状态值，其中所述环境状态值是基于一个或更多个可能值范围而随机选择的；

对于所述多种条件场景变化中的每一种，执行：(a)基于所述一组环境状态值生成模拟环境数据，(b)向所述监控系统输入所述模拟环境数据，(c)从所述监控系统接收用于基于所述模拟环境数据来控制所述飞机的指令，(d)基于所接收的指令更新用于相应条件场景变化的所述模拟环境数据，以及(e)根据所述更新的模拟环境数据在存储器中存储日志数据；以及

基于为所述多种条件场景变化中的每一种存储的所述日志数据而生成指标。

12.根据权利要求11所述的模拟系统，其中所述条件场景变化代表与在所述飞机周围的空间中的物体的遭遇，并且

其中重复所述步骤(a)到(e)，直到所述更新的环境状态值指示该遭遇已被解决。

13.根据权利要求11所述的模拟系统，其中重复步骤(a)至(e)，直到经过了预定的时间量。

14.根据权利要求11所述的模拟系统，其中多个参考场景存储在所述存储器中，

其中，对于所述多个参考场景中的每一个，至少一个处理器以串行方式执行获得、生成所述多个条件场景变化、以及执行步骤(a)至(e)，并且

其中所生成的指标被聚合，以包括用于所述多个参考场景中的每一个的指标。

15.根据权利要求11所述的模拟系统，其中所生成的指标代表所述飞机的监控系统相对于一个或更多个预定义的安全标准的性能。

16.根据权利要求11所述的模拟系统，其中所述多种条件场景变化中的每一种包括多个向量，每个向量代表相应的环境状态值。

17.根据权利要求11所述的模拟系统，其中所述模拟环境数据包括模拟传感器数据和事件数据中的一种或更多种。

18.根据权利要求17所述的模拟系统，其中所述模拟传感器数据包括用于指示在所述飞机外部的物体的数据，并且

其中所述用于指示在所述飞机外部的物体的数据包括所述物体的位置数据和运动学数据。

19.根据权利要求17所述的模拟系统，其中所述模拟传感器数据包括图像数据和雷达数据中的至少一种。

20.根据权利要求17所述的模拟系统，其中所述事件数据包括用于模拟以下状况中的一种或更多种的数据：硬件故障状况、通信故障状况和延迟状况。

Images