CN115345911A - 一种飞机出入库碰撞预警方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种飞机出入库碰撞预警方法、装置、设备及介质，基于物理场景中目标机库的第一图像，确定目标飞机及各个目标对象各自的物理位置信息，并建立数字孪生场景模型。确定数字孪生场景模型中目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息。根据目标飞机对应的模型和各个目标对象各自对应的模型进行碰撞检测，并在检测将要出现碰撞时输出第一预警提示信息。基于数字孪生场景模型实现飞机出入库防撞的方案，避免了因为盲区的存在，容易发生因引导错误而碰撞的问题，提高了防撞的安全性和有效性，并且不需要很多的地勤人员协同工作，降低了人力物力的消耗，同时提高了飞机出入库的效率。

Description

一种飞机出入库碰撞预警方法、装置、设备及介质

技术领域

本申请涉及智慧民航技术领域，尤其涉及一种飞机出入库碰撞预警方法、装置、设备及介质。

背景技术

为保障民航飞机的安全运行，每次飞机降落后都需要对飞机的安全状况进行检查，相对复杂的检查飞机需要推入机库进行。飞机在出入机库的时候有概率会碰到周围的环境，容易给飞机造成损伤。机库内飞机与飞机之间、飞机与维修工作台之间、飞机与机库天车之间间距较小，牵引车在牵引飞机过程中，牵引车驾驶员有很大的盲区。

为了避免飞机在出入库过程中发生碰撞，相关技术中使用多个地勤人员协同地进行人工观察和对讲机沟通，来实现飞机的防碰撞和泊位引导。飞机出入库时，多名引导员进行引导，观察飞机周围环境，通过无线电对讲机通知驾驶员。然而由于飞机庞大，机翼较高，人工在地面观察有视差，容易误判，导致飞机刮蹭事故造成经济损失，需大量人力，影响效率。

发明内容

本申请实施例提供了一种飞机出入库碰撞预警方法、装置、设备及介质，用以解决相关技术在进行飞机出入库时，由多名地勤人员协同沟通引导，消耗人力物力较大，效率较低，并且因为盲区的存在，容易发生因引导错误而碰撞的问题。

本申请提供了一种飞机出入库碰撞预警方法，所述方法包括：

在目标飞机出入库的过程中，实时获取物理场景中目标机库的第一图像，基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息；

根据所述目标飞机及各个目标对象各自的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息；

实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离，当最小的物理距离小于预设的距离阈值时，输出第一预警提示信息。

进一步地，所述基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息包括：

基于所述第一图像，通过目标识别算法，识别所述目标飞机及各个目标对象，并确定所述目标飞机及所述各个目标对象各自的物理二维坐标信息；

获取所述物理场景中布置的三维激光设备采集的三维点云数据，根据所述三维点云数据确定所述目标飞机及所述各个目标对象各自的物理深度坐标信息；

其中，所述物理位置信息包括所述物理二维坐标信息和所述物理深度坐标信息。

进一步地，所述实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离包括：

实时确定所述目标飞机对应的模型的第一最小外接包围盒及所述各个目标对象各自对应的模型的第二最小外接包围盒；

获取所述第一最小外接包围盒分别与各个第二最小外接包围盒之间对应的物理距离。

进一步地，所述实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离包括：

在所述数字孪生场景模型中，实时确定所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间的模拟距离，根据所述模拟距离，以及所述数字孪生场景模型与物理场景的映射关系，确定所述模拟距离对应的物理距离；或

实时获取所述物理场景中布置的一维测距设备采集的所述目标飞机分别与所述各个目标对象之间的距离，将所述距离作为所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离。

进一步地，根据所述目标飞机的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型的模拟位置信息包括：

根据所述三维点云数据，确定所述目标飞机的物理角度姿态信息；

根据所述目标飞机的物理位置信息和物理角度姿态信息，确定数字孪生场景模型中所述目标飞机对应的模型的模拟位置信息和模拟角度姿态信息。

进一步地，所述方法还包括：

基于所述数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息、所述目标飞机对应的模型的模拟角度姿态信息，确定所述目标飞机出入库的行进轨迹信息。

进一步地，所述方法还包括：

当所述目标飞机在进入维修机位时，基于所述数字孪生场景模型，判断所述目标飞机对应的模型是否居中进入所述维修机位对应的模型；

如果否，根据所述目标飞机对应的模型的模拟位置信息和所述维修机位对应的模型的模拟位置信息，确定偏离方向，并输出携带所述偏离方向的第二预警提示信息；

如果是，获取所述维修机位处的第二图像，基于所述第二图像和预先训练完成的碰撞识别模型，二次判断是否存在碰撞风险，若存在碰撞风险，输出第三预警提示信息，若不存在碰撞风险，指示所述目标飞机进入维修机位。

另一方面，本申请提供了一种飞机出入库碰撞预警装置，所述装置包括：

第一确定模块，用于在目标飞机出入库的过程中，实时获取物理场景中目标机库的第一图像，基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息；

第二确定模块，用于根据所述目标飞机及各个目标对象各自的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息；

预警模块，用于实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间的物理距离，当最小的物理距离小于预设的距离阈值时，输出第一预警提示信息。

所述第一确定模块，具体用于基于所述第一图像，通过目标识别算法，识别所述目标飞机及各个目标对象，并确定所述目标飞机及所述各个目标对象各自的物理二维坐标信息；获取所述物理场景中布置的三维激光设备采集的三维点云数据，根据所述三维点云数据确定所述目标飞机及所述各个目标对象各自的物理深度坐标信息；其中，所述物理位置信息包括所述物理二维坐标信息和所述物理深度坐标信息。

所述预警模块，具体用于实时确定所述目标飞机对应的模型的第一最小外接包围盒及所述各个目标对象各自对应的模型的第二最小外接包围盒；获取所述第一最小外接包围盒分别与各个第二最小外接包围盒之间对应的物理距离。

所述预警模块，具体用于在所述数字孪生场景模型中，实时确定所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间的模拟距离，根据所述模拟距离，以及所述数字孪生场景模型与物理场景的映射关系，确定所述模拟距离对应的物理距离；或实时获取所述物理场景中布置的一维测距设备采集的所述目标飞机分别与所述各个目标对象之间的距离，将所述距离作为所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离。

所述第二确定模块，具体用于根据所述三维点云数据，确定所述目标飞机的物理角度姿态信息；根据所述目标飞机的物理位置信息和物理角度姿态信息，确定数字孪生场景模型中所述目标飞机对应的模型的模拟位置信息和模拟角度姿态信息。

所述装置还包括：

第三确定模块，用于基于所述数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息、所述目标飞机对应的模型的模拟角度姿态信息，确定所述目标飞机出入库的行进轨迹信息。

所述预警模块，还用于当所述目标飞机在进入维修机位时，基于所述数字孪生场景模型，判断所述目标飞机对应的模型是否居中进入所述维修机位对应的模型；如果否，根据所述目标飞机对应的模型的模拟位置信息和所述维修机位对应的模型的模拟位置信息，确定偏离方向，并输出携带所述偏离方向的第二预警提示信息；如果是，获取所述维修机位处的第二图像，基于所述第二图像和预先训练完成的碰撞识别模型，二次判断是否存在碰撞风险，若存在碰撞风险，输出第三预警提示信息，若不存在碰撞风险，指示所述目标飞机进入维修机位。

另一方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。

另一方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。

本申请提供了一种飞机出入库碰撞预警方法、装置、设备及介质，所述方法包括：在目标飞机出入库的过程中，实时获取物理场景中目标机库的第一图像，基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息；根据所述目标飞机及各个目标对象各自的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息；实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间的物理距离，当最小的物理距离小于预设的距离阈值时，输出第一预警提示信息。

上述的技术方案具有如下优点或有益效果：

由于在申请中，基于物理场景中目标机库的第一图像，确定目标飞机及各个目标对象各自的物理位置信息，并建立数字孪生场景模型。确定数字孪生场景模型中目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息。根据目标飞机对应的模型和各个目标对象各自对应的模型进行碰撞检测，并在检测将要出现碰撞时输出第一预警提示信息。基于数字孪生场景模型实现目标飞机出入库防撞的方案，相较于名地勤人员协同沟通引导的方案，避免了因为盲区的存在，容易发生因引导错误而碰撞的问题，提高了防撞的安全性和有效性，并且不需要很多的地勤人员协同工作，降低了人力物力的消耗，同时提高了目标飞机出入库的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的飞机出入库碰撞预警过程示意图；

图2为本申请提供的飞机出入库碰撞预警架构图；

图3为本申请提供的传感器布置可视化示意图；

图4为本申请提供的飞机出入库碰撞预警流程图；

图5为本申请提供的维修架处传感器部署示意图；

图6为本申请提供的飞机出入库碰撞预警装置结构示意图；

图7为本申请提供的电子设备结构示意图。

具体实施方式

下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

图1为本申请提供的飞机出入库碰撞预警过程示意图，该过程包括以下步骤：

S101：在目标飞机出入库的过程中，实时获取物理场景中目标机库的第一图像，基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息。

S102：根据所述目标飞机及各个目标对象各自的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息。

S103：实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离，当最小的物理距离小于预设的距离阈值时，输出第一预警提示信息。

本申请提供的飞机出入库碰撞预警方法应用于电子设备，该电子设备可以是PC、平板电脑等设备，也可以是服务器。

在飞机出入库物理场景中，布置至少一个图像采集设备，至少一个图像采集设备采集的所有图像结合的视场角能够覆盖整个飞机出入库物理场景。至少一个图像实时采集整个飞机出入库物理场景的图像，本申请中，将实时采集整个飞机出入库物理场景的图像称为第一图像。将正在进行出入库的飞机称为目标飞机。电子设备分别与至少一个图像采集设备连接，电子设备实时获取至少一个图像采集设备将采集的至少一个第一图像。通过对第一图像进行智能分析，确定目标飞机及各个目标对象各自的物理位置信息。物理位置信息指的是在飞机出入库物理场景中的位置信息。各个目标对象例如是机库内部静态物体、机库中停放的各型号飞机、可移动障碍物、人员、传感器和机位维修架等等。

对第一图像进行智能分析例如是采用目标识别算法识别第一图像中的目标飞机及各个目标对象。或者预先训练目标识别模型，将第一图像输入目标识别模型，得到第一图像中的目标飞机及各个目标对象。其中，目标识别模型是根据目标机库物理场景中的图像采集设备采集的样本图像和标注的样本图像中各个样本对象及样本飞机的位置信息训练得到的。识别出第一图像中的目标飞机及各个目标对象之后，可以确定目标飞机及各个目标对象在图像中的位置信息，根据目标飞机及各个目标对象在图像中的位置信息以及各个图像采集设备的标定信息，可以确定出目标飞机及各个目标对象各自的物理位置信息。其中，目标识别模型一方面可以识别出每个目标对象的位置信息，另一方面可以识别出目标对象的类别信息，例如识别是目标对象是飞机、传感器、静态物体等等。

本申请中，根据物理场景中目标机库的第一图像，利用数字孪生技术，可以建立目标机库对应的数字孪生场景模型。并根据目标飞机及各个目标对象各自的物理位置信息，确定数字孪生场景模型中目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息。其中，物理场景中目标机库和对应的数字孪生场景模型存在映射关系，目标飞机及各个目标对象各自的物理位置信息，与数字孪生场景模型中目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息存在上述同样的映射关系。确定数字孪生场景模型中目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息之后，根据模拟位置信息将目标飞机对应的模型及各个目标对象各自对应的模型建立在数字孪生场景模型中。

实时获取目标飞机对应的模型分别与各个目标对象各自对应的模型之间对应的物理距离，当最小的物理距离小于预设的距离阈值时，输出第一预警提示信息。预设的距离阈值可以根据需求进行设置，例如是10厘米、20厘米等。数字孪生场景模型，以及目标飞机对应的模型分别与各个目标对象各自对应的模型之间对应的物理距离可以实时显示在电子设备的显示屏上。第一预警提示信息可以是声音信息或者是文字信息或者是警示图片信息，也可以是声音信息、文字信息、警示图片信息的结合。声音信息可以由电子设备发出，也可以在场景中布置报警器，电子设备控制报警器发出声音信息作为第一预警提示信息。文字信息或者是警示图片信息可以显示在电子设备的显示器上。

由于在申请中，基于物理场景中目标机库的第一图像，确定目标飞机及各个目标对象各自的物理位置信息，并建立数字孪生场景模型。确定数字孪生场景模型中目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息。根据目标飞机对应的模型和各个目标对象各自对应的模型进行碰撞检测，并在检测将要出现碰撞时输出第一预警提示信息。基于数字孪生场景模型实现目标飞机出入库防撞的方案，相较于名地勤人员协同沟通引导的方案，避免了因为盲区的存在，容易发生因引导错误而碰撞的问题，提高了防撞的安全性和有效性，并且不需要很多的地勤人员协同工作，降低了人力物力的消耗，同时提高了目标飞机出入库的效率。

为了使确定目标飞机及各个目标对象各自的物理位置信息更准确，本申请中，所述基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息包括：

基于所述第一图像，通过目标识别算法，识别所述目标飞机及各个目标对象，并确定所述目标飞机及所述各个目标对象各自的物理二维坐标信息；

获取所述物理场景中布置的三维激光设备采集的三维点云数据，根据所述三维点云数据确定所述目标飞机及所述各个目标对象各自的物理深度坐标信息；

其中，所述物理位置信息包括所述物理二维坐标信息和所述物理深度坐标信息。

基于第一图像，通过目标识别算法，识别目标飞机及各个目标对象，并确定目标飞机及所述各个目标对象各自的在图像中的坐标信息，该坐标信息为二维坐标信息。根据目标飞机及所述各个目标对象各自的在图像中的坐标信息和图像采集设备的标定信息所得出的物理坐标信息也是物理二维坐标信息。

本申请中，在飞机出入库物理场景中，布置至少一个三维激光设备，至少一个三维激光设备采集的三维点云数据能够覆盖整个飞机出入库物理场景。获取物理场景中布置的三维激光设备采集的三维点云数据，根据三维点云数据确定目标飞机及各个目标对象各自的物理深度坐标信息。目标飞机及各个目标对象各自的物理二维坐标信息和物理深度坐标信息构成了物理位置信息。这样可以使得确定的物理位置信息更准确，进而使得飞机出入库碰撞预警更准确。

为了进一步使飞机出入库碰撞预警更准确，本申请中，所述实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离包括：

实时确定所述目标飞机对应的模型的第一最小外接包围盒及所述各个目标对象各自对应的模型的第二最小外接包围盒；

获取所述第一最小外接包围盒分别与各个第二最小外接包围盒之间对应的物理距离。

具体的，实时确定目标飞机对应的模型的最小外接立方体，将目标飞机对应的模型的最小外接立方体作为第一最小外接包围盒。实时确定各个目标对象各自对应的模型的最小外接立方体，将各个目标对象各自对应的模型的最小外接立方体作为各个第二最小外接包围盒。

第一最小外接包围盒和各个第二最小外接包围盒用于目标飞机对应的模型分别与各个目标对象各自对应的模型之间对应的物理距离的计算，在电子设备的显示屏上，可以显示第一最小外接包围盒和各个第二最小外接包围盒，也可以仅显示目标飞机对应的模型及各个目标对象各自对应的模型。电子设备中可以配置不同的显示功能，根据显示功能显示相应的内容，满足用户的不同需求。本申请中，将第一最小外接包围盒分别与各个第二最小外接包围盒之间对应的距离作为目标飞机对应的模型分别与各个目标对象各自对应的模型之间对应的物理距离。只要第一最小外接包围盒分别与各个第二最小外接包围盒之间对应的最小的物理距离不小于预设的距离阈值，那么目标飞机与各个目标对象的物理距离也是不小于预设的距离阈值。本申请中，基于第一最小外接包围盒与各个第二最小外接包围盒之间的物理距离进行飞机出入库碰撞预警，能够进一步保证飞机出入库碰撞预警的准确性。

本申请中，所述实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离包括：

在所述数字孪生场景模型中，实时确定所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间的模拟距离，根据所述模拟距离，以及所述数字孪生场景模型与物理场景的映射关系，确定所述模拟距离对应的物理距离；或

实时获取所述物理场景中布置的一维测距设备采集的所述目标飞机分别与所述各个目标对象之间的距离，将所述距离作为所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离。

本申请获取目标飞机对应的模型分别与各个目标对象各自对应的模型之间对应的物理距离的过程，提供了以下两种方式：

方式一：根据数字孪生场景模型，实时确定目标飞机对应的模型分别与各个目标对象各自对应的模型之间的模拟距离，然后根据数字孪生场景模型与目标机库物理场景之间的映射关系，确定出模拟距离对应的物理距离。例如，数字孪生场景模型与目标机库物理场景之间的映射关系为数字孪生场景模型中的1厘米，表示目标机库物理场景中的20厘米，也就是映射关系是1∶20。如果确定目标飞机对应的模型分别与某个目标对象A对应的模型之间的模拟距离为2厘米，则确定模拟距离对应的物理距离为2*20＝40厘米。

方式二：在物理场景中布置的多个一维测距设备，通过一维测距设备采集的目标飞机分别与各个目标对象之间的距离，将一维测距设备采集到的距离作为物理距离，并显示在数字孪生场景模型中。

为了使确定目标飞机对应的模型的模拟位置信息更准确，本申请中，根据所述目标飞机的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型的模拟位置信息包括：

根据所述三维点云数据，确定所述目标飞机的物理角度姿态信息；

根据所述目标飞机的物理位置信息和物理角度姿态信息，确定数字孪生场景模型中所述目标飞机对应的模型的模拟位置信息和模拟角度姿态信息。

根据三维点云数据，确定目标飞机的物理角度姿态信息，物理角度姿态信息包括水平角度信息、俯仰角度信息和侧滚角度信息。根据目标飞机的物理位置信息和物理角度姿态信息，确定数字孪生场景模型中目标飞机对应的模型的模拟位置信息和模拟角度姿态信息。结合模拟位置信息和模拟角度姿态信息，可以使得目标飞机对应的模型的模拟位置信息更准确，进而可以使飞机出入库碰撞预警更准确。

为了便于指导飞机出入库，本申请中，所述方法还包括：

基于所述数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息、所述目标飞机对应的模型的模拟角度姿态信息，确定所述目标飞机出入库的行进轨迹信息。

本申请中，根据数字孪生场景模型中目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息和目标飞机对应的模型的模拟角度姿态信息，可以确定出数字孪生场景模型中能够完全容纳目标飞机对应的模型的区域，该区域对应的轨迹也就是能够保证目标飞机安全行进的轨迹。需要说明的是，本申请可以确定出多条能够保证目标飞机安全行进的轨迹，将该多条轨迹作为候选轨迹。然后根据设定的筛选规则从各个候选轨迹中选取出目标轨迹，作为目标飞机出入库的行进轨迹信息。设定的筛选规则例如是距离最短、区域空间最大也就是安全性最高、目标出入口最便捷等。另外，对于一些飞机入库场景下，需要指定入库机位，则可以首先指定入库机位，入库机位作为轨迹的终点，根据入库机位确定出各个候选轨迹，各个候选轨迹中包含入库机位，然后再根据设定的筛选规则从各个候选轨迹中选取出目标轨迹，作为目标飞机出入库的行进轨迹信息。目标飞机出入库的行进轨迹信息可以显示在电子设备的显示屏上，用于指导工作人员控制目标飞机出入库。

为了进一步保证飞机出入库的安全性，本申请中，所述方法还包括：

当所述目标飞机在进入维修机位时，基于所述数字孪生场景模型，判断所述目标飞机对应的模型是否居中进入所述维修机位对应的模型；

如果否，根据所述目标飞机对应的模型的模拟位置信息和所述维修机位对应的模型的模拟位置信息，确定偏离方向，并输出携带所述偏离方向的第二预警提示信息；

如果是，获取所述维修机位处的第二图像，基于所述第二图像和预先训练完成的碰撞识别模型，二次判断是否存在碰撞风险，若存在碰撞风险，输出第三预警提示信息，若不存在碰撞风险，指示所述目标飞机进入维修机位。

在维修机位处飞机碰撞的风险是最大的，本申请中，当目标飞机在进入维修机位时，首先基于数字孪生场景模型，判断目标飞机对应的模型是否居中进入维修机位对应的模型。其中，可以基于数字孪生场景模型确定出目标飞机对应的模型的中轴线，以及维修机位的中轴线，判断目标飞机对应的模型的中轴线和维修机位的中轴线是否吻合，吻合指的是中轴线完全重合或者中轴线偏差在允许范围内。数字孪生场景模型中允许范围例如是1毫米、2毫米等。如果目标飞机对应的模型的中轴线和维修机位的中轴线吻合，则确定目标飞机对应的模型居中进入所述维修机位对应的模型，否则确定目标飞机对应的模型未居中进入所述维修机位对应的模型。

如果确定目标飞机对应的模型未居中进入所述维修机位对应的模型，则根据目标飞机对应的模型的模拟位置信息和维修机位对应的模型的模拟位置信息，确定偏离方向。较佳的，可以根据目标飞机对应的模型的中轴线和维修机位的中轴线的偏离位置确定出偏离方向。输出携带偏离方向的第二预警提示信息，第二预警提示信息一方面提示工作人员飞机存在碰撞风险，另一方面提示工作人员根据偏离方向调整目标飞机的入库位置。

如果确定目标飞机对应的模型居中进入所述维修机位对应的模型，此时为了保证目标飞机入库安全性，在维修机位处安装多个图像采集设备，本申请中，将维修机位处安装的多个图像采集设备采集的图像作为第二图像。电子设备保存有预先训练完成的碰撞识别模型，该碰撞识别模型是根据维修机位处安装的多个图像采集设备采集的样本图像和对应的是否碰撞的标注信息训练完成的。基于第二图像和预先训练完成的碰撞识别模型，二次判断是否存在碰撞风险，若存在碰撞风险，输出第三预警提示信息，若不存在碰撞风险，指示目标飞机进入维修机位。

本申请提出的方法是为了帮助飞机在进出机库的时候实时监测是否会有碰撞发生，在有碰撞风险的时候及时给出提示预警，减少事故，提高效率。进一步提高服务水平和运营体验，提升机务公司整体运行效率和智能化水平。

本申请通过数字孪生技术实现了飞机出入库过程中的实时的飞机防碰撞预警，相比于传统的多人协同指引方式，节省了大量人力，提高了安全性。同时由于采用了预数字化建模，基于视觉算法智能分析结果动态生成孪生模型的方式，相比于基于三维视觉算法的技术路线计算成本大大降低。本申请可以对飞机入库的过程进行事前的模拟推演，推荐可行的出入库行进路径，并通过孪生动画进行展示。也可以在孪生系统中记录飞机出入库的实际路线，方便在事后追溯安全责任。

本申请基于数字孪生和人机交互技术，融合多种传感器的数据，实时生成飞机出入库孪生动画，可以实现飞机出入库的自动碰撞检测。图2为本申请提供的飞机出入库碰撞预警架构图。具体步骤包括：

1、目标机库预数字化建模。

通过图像获得目标机库的具体情况，通过三维建模软件进行建模，在数字世界搭建三维化的数字孪生场景，包括机库周围跑道模型、机库内部静态模型、多型号飞机模型、障碍物模型，人员模型，传感器模型等，实现飞机入库过程的一比一还原，利用光线追踪等实时渲染技术，实现逼真的展示效果。

2、多传感器实时数据获取。

多维感知是本申请运行的数据基础，传感器数据包括但不限于入库前的机库内景三维激光扫描、二维高清图像，入库时大门和机位铁架的局部场景三维激光扫描，一维超声距离探测、机翼与尾翼重点防护区域的近距离三维扫描和一维距离探测，这些数据可以用于后续防撞识别与决策环节。

3、数据分析。

3.1、目标识别：

通过各种传感器获取的数据需要通过算法进行智能分析，如分析激光雷达三维点云数据和高清摄像机的二维图像信息，实现场景解析，分析场景中的多种类目标，例如：飞机、工作人员、障碍物等。针对潜在障碍物，进行更细粒的目标识别，通过构建各目标的全局特征，进行障碍物分类。

3.2、飞机位姿估计：

检测飞机的位置和姿态，可以帮助后续进行碰撞分析。

3.3、飞机和障碍物外包围盒生成：

基于传感器数据实时识别障碍物的位置和长宽高信息，进而生成一个最小外包围盒(如AABB包围盒)。

4、动态生成模型。

基于识别的对象类型，从预数字化模型库中选取对应的模型，在数字孪生场景中实时生成对应的对象模型，并根据其动态位姿信息实时更新其状态。

5、碰撞检测。

根据飞机入库前的位置信息和角度信息，结合机库的精确尺寸，在数字孪生空间进行事前碰撞检测分析，自动计算出飞机入库的最佳路线，并以线路预测的形式展现。此外，根据前一阶段获取的飞机实时位姿信息与障碍物的信息，进行实时碰撞检测，分析实际路径上的风险情况并进行碰撞预警，给出相应的调整策略。

6、可视化交互反馈。

为相关工作人员提供高质量的人机交互界面，实现飞机出入库孪生动画，传感器数据可视化与碰撞预警。基于TCP的全双工通信协议web socket实时更新飞机状态信息，结合实时音视频通信技术实现与实际入库过程1：1还原的低延迟动画和监控视频的回传显示。可以对机库内的多维的传感器装置(包括但不限于三维激光雷达，二维高清摄像机，一维超声测距仪)进行数字孪生复现，可视化展示其工作范围、工作性能、型号数据等信息，帮助相关工作人员了解各种传感器在实际工作场景下的工作内容。图3为本申请提供的传感器布置可视化示意图，需要说明的是，图3仅为示例，本申请不对传感器的实际布置位置和数量进行限定。碰撞预警通过界面展示3D场景下飞机以及它所在的机库区域、周围物体模型的全局视图，会标注飞机周围X米(X可以设定，如0.5)范围内所有潜在碰撞物与其的距离，如果距离小于安全距离，那么会立即在屏幕中展示风险警告信息和机身与碰撞物间的实时最小距离，便于操作人员及时的进行调整。

图4为本申请提供的飞机出入库碰撞预警流程图，如图4所示，基于数字孪生的飞机出入库防碰撞包括如下步骤：

1、视觉系统启动：高清摄像机和三维激光雷达启动。

2、系统数据初始化：加载相机内外参数等初始化数据。

3、入库状态获取：获取飞机的实时位置和姿态。

4、异物检测：通过视频监控检测飞机前方入库路径上是否有障碍物，并识别障碍物类型，如果无障碍物则提示飞机可以入库。否则发出预警，建议停止入库，进行人工障碍物清理。

5、通过摄像机或激光雷达传感器跟踪飞机行进轨迹。

6、雷达机架距离监测：在墙面部署三维激光雷达，在维修架上部署超声测距雷达，对飞机进行粗粒度和细粒度的距离检测，将距离数据反馈到数字孪生系统中，在数字孪生系统中进行基于图形对象的碰撞检测。图5为本申请提供的维修架处传感器部署示意图，需要说明的是，图5仅为示例，本申请不对传感器的实际布置位置和数量进行限定。图5中的雷达包括三维激光设备。

7、判断飞机的位置是否有碰撞风险：如果飞机在推入维修架的过程中位置居中，则正常完成入库推进，并通过部署于墙面摄像机获取视频监控，通过人工方式或预训练的深度学习模型进行二次确认。

8、指导驾驶员调整：如果飞机位置偏离中心位置超过一个阈值(如5cm)，则在人机交互界面发出预警，通知驾驶员进行调整，也可通知其他现场协作的引导人员，如通过AR眼镜界面进行通知。

图6为本申请提供的飞机出入库碰撞预警装置结构示意图，该装置包括：

第一确定模块61，用于在目标飞机出入库的过程中，实时获取物理场景中目标机库的第一图像，基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息；

第二确定模块62，用于根据所述目标飞机及各个目标对象各自的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息；

预警模块63，用于实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间的物理距离，当最小的物理距离小于预设的距离阈值时，输出第一预警提示信息。

所述第一确定模块61，具体用于基于所述第一图像，通过目标识别算法，识别所述目标飞机及各个目标对象，并确定所述目标飞机及所述各个目标对象各自的物理二维坐标信息；获取所述物理场景中布置的三维激光设备采集的三维点云数据，根据所述三维点云数据确定所述目标飞机及所述各个目标对象各自的物理深度坐标信息；其中，所述物理位置信息包括所述物理二维坐标信息和所述物理深度坐标信息。

所述预警模块63，具体用于实时确定所述目标飞机对应的模型的第一最小外接包围盒及所述各个目标对象各自对应的模型的第二最小外接包围盒；获取所述第一最小外接包围盒分别与各个第二最小外接包围盒之间对应的物理距离。

所述预警模块63，具体用于在所述数字孪生场景模型中，实时确定所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间的模拟距离，根据所述模拟距离，以及所述数字孪生场景模型与物理场景的映射关系，确定所述模拟距离对应的物理距离；或实时获取所述物理场景中布置的一维测距设备采集的所述目标飞机分别与所述各个目标对象之间的距离，将所述距离作为所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离。

所述第二确定模块62，具体用于根据所述三维点云数据，确定所述目标飞机的物理角度姿态信息；根据所述目标飞机的物理位置信息和物理角度姿态信息，确定数字孪生场景模型中所述目标飞机对应的模型的模拟位置信息和模拟角度姿态信息。

所述装置还包括：

第三确定模块64，用于基于所述数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息、所述目标飞机对应的模型的模拟角度姿态信息，确定所述目标飞机出入库的行进轨迹信息。

所述预警模块63，还用于当所述目标飞机在进入维修机位时，基于所述数字孪生场景模型，判断所述目标飞机对应的模型是否居中进入所述维修机位对应的模型；如果否，根据所述目标飞机对应的模型的模拟位置信息和所述维修机位对应的模型的模拟位置信息，确定偏离方向，并输出携带所述偏离方向的第二预警提示信息；如果是，获取所述维修机位处的第二图像，基于所述第二图像和预先训练完成的碰撞识别模型，二次判断是否存在碰撞风险，若存在碰撞风险，输出第三预警提示信息，若不存在碰撞风险，指示所述目标飞机进入维修机位。

本申请还提供了一种电子设备，如图7所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；

所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行以上任一方法步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口302用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

本申请还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现以上任一方法步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种飞机出入库碰撞预警方法，其特征在于，所述方法包括：

在目标飞机出入库的过程中，实时获取物理场景中目标机库的第一图像，基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息；

根据所述目标飞机及各个目标对象各自的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息；

实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离，当最小的物理距离小于预设的距离阈值时，输出第一预警提示信息。

2.如权利要求1所述的方法，其特征在于，所述基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息包括：

基于所述第一图像，通过目标识别算法，识别所述目标飞机及各个目标对象，并确定所述目标飞机及所述各个目标对象各自的物理二维坐标信息；

获取所述物理场景中布置的三维激光设备采集的三维点云数据，根据所述三维点云数据确定所述目标飞机及所述各个目标对象各自的物理深度坐标信息；

其中，所述物理位置信息包括所述物理二维坐标信息和所述物理深度坐标信息。

3.如权利要求1所述的方法，其特征在于，所述实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离包括：

实时确定所述目标飞机对应的模型的第一最小外接包围盒及所述各个目标对象各自对应的模型的第二最小外接包围盒；

获取所述第一最小外接包围盒分别与各个第二最小外接包围盒之间对应的物理距离。

4.如权利要求1所述的方法，其特征在于，所述实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离包括：

在所述数字孪生场景模型中，实时确定所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间的模拟距离，根据所述模拟距离，以及所述数字孪生场景模型与物理场景的映射关系，确定所述模拟距离对应的物理距离；或

实时获取所述物理场景中布置的一维测距设备采集的所述目标飞机分别与所述各个目标对象之间的距离，将所述距离作为所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离。

5.如权利要求2所述的方法，其特征在于，根据所述目标飞机的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型的模拟位置信息包括：

根据所述三维点云数据，确定所述目标飞机的物理角度姿态信息；

根据所述目标飞机的物理位置信息和物理角度姿态信息，确定数字孪生场景模型中所述目标飞机对应的模型的模拟位置信息和模拟角度姿态信息。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

基于所述数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息、所述目标飞机对应的模型的模拟角度姿态信息，确定所述目标飞机出入库的行进轨迹信息。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

当所述目标飞机在进入维修机位时，基于所述数字孪生场景模型，判断所述目标飞机对应的模型是否居中进入所述维修机位对应的模型；

如果否，根据所述目标飞机对应的模型的模拟位置信息和所述维修机位对应的模型的模拟位置信息，确定偏离方向，并输出携带所述偏离方向的第二预警提示信息；

如果是，获取所述维修机位处的第二图像，基于所述第二图像和预先训练完成的碰撞识别模型，二次判断是否存在碰撞风险，若存在碰撞风险，输出第三预警提示信息，若不存在碰撞风险，指示所述目标飞机进入维修机位。

8.一种飞机出入库碰撞预警装置，其特征在于，所述装置包括：

第一确定模块，用于在目标飞机出入库的过程中，实时获取物理场景中目标机库的第一图像，基于所述第一图像确定所述目标飞机及各个目标对象各自的物理位置信息；

第二确定模块，用于根据所述目标飞机及各个目标对象各自的物理位置信息，确定数字孪生场景模型中所述目标飞机对应的模型及各个目标对象各自对应的模型的模拟位置信息；

预警模块，用于实时获取所述目标飞机对应的模型分别与所述各个目标对象各自对应的模型之间对应的物理距离，当最小的物理距离小于预设的距离阈值时，输出第一预警提示信息。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。

Images