CN115167431A - 一种飞机入库的控制方法及装置 - Google Patents
一种飞机入库的控制方法及装置 Download PDFInfo
- Publication number
- CN115167431A CN115167431A CN202210863612.8A CN202210863612A CN115167431A CN 115167431 A CN115167431 A CN 115167431A CN 202210863612 A CN202210863612 A CN 202210863612A CN 115167431 A CN115167431 A CN 115167431A
- Authority
- CN
- China
- Prior art keywords
- airplane
- aircraft
- hangar
- point cloud
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012423 maintenance Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请公开了一种飞机入库的控制方法及装置，用于降低飞机进入机库过程中发生碰撞事件的几率。该方法包括：在飞机的机身全部进入机库时，获取机库内障碍物的点云数据；根据飞机在机库内移动过程中的速度和位姿数据，确定飞机在未来设定时间内的移动轨迹；在根据点云数据确定移动轨迹上不存在障碍物时，实时计算飞机的尾翼与机库中的维修台之间的第一距离；在第一距离小于或等于第一设定阈值时，指示牵引车停止移动飞机。
Description
技术领域
本申请涉及数据处理技术领域，特别涉及一种飞机入库的控制方法及装置。
背景技术
飞机在起落和飞行过程中气流和空中的小型障碍物会对飞机的表面造成损伤，因此为了保障飞机的安全飞行，每一次飞机降落后都需要通过牵引车将飞机拖入机库中进行飞机安全状况的检查。但是飞机入库时，由于牵引车的驾驶员存在视线盲区，因此可能会出现飞机和飞机之间、飞机与机库内的维修台或者障碍物之间的碰撞。
相关技术中，为了避免飞机入库过程中发生碰撞，会通过多名地勤人员协同进行人工观察，并将观察到的可能会引起碰撞的问题通过无线电对讲机反馈给牵引车的驾驶员，以此来实现飞机无碰撞的入库。但是这种方式人工成本较大，且由于飞机庞大，机翼较高，因此地勤人员在地面观察存在视线误差，容易误判。
发明内容
本申请实施例提供了一种飞机入库的控制方法及装置，所述飞机由牵引车带动入库，用于降低飞机进入机库过程中发生碰撞事件的几率。
第一方面，本申请提供了一种飞机入库的控制方法，包括：
在飞机的机身全部进入机库时，获取所述机库内障碍物的点云数据；
根据所述飞机在所述机库内移动过程中的速度和位姿数据，确定所述飞机在未来设定时间内的移动轨迹；
在根据所述点云数据确定所述移动轨迹上不存在所述障碍物时，实时计算所述飞机的尾翼与所述机库中的维修台之间的第一距离；
在所述第一距离小于或等于第一设定阈值时，指示所述牵引车停止移动所述飞机。
在一些实施例中，所述方法还包括：
获取所述飞机的点云数据和所述维修台的点云数据；
根据所述飞机的点云数据和所述维修台的点云数据，确定所述飞机的标准泊机位置数据；
在指示所述牵引车停止移动所述飞机之后，获取所述飞机的位置数据；
在所述飞机的位置数据与所述标准泊机位置数据之间的差距大于预设值时，调整所述飞机的位置，直至所述飞机的位置数据与所述标准泊位置的位置数据之间的差距小于或等于所述预设值。
在一些实施例中，所述获取机库内障碍物的点云数据，包括：
获取相机拍摄的所述机库内各个区域的多个图像，以及获取所述各个区域包含的物体的点云数据；
将所述多个图像输入到预先训练好的障碍物识别模型中，确定所述多个图像中包括的障碍物的位置；
根据所述多个图像中包括的障碍物的位置，从所述各个区域包含的物体的点云数据中提取出所述障碍物的点云数据。
在一些实施例中，在所述飞机的机身全部进入所述机库之前，所述方法还包括：
根据所述机库的门上配置的距离传感器，确定所述机库的门与所述飞机的机身上的目标位置点之间的第二距离；所述目标位置点为所述飞机的机身上与所述机库的门距离最近的点；
若所述第二距离大于第二设定阈值，则继续移动所述飞机；
若所述第二距离小于或等于所述第二设定阈值，则指示所述牵引车停止移动所述飞机，并指示所述牵引车调整所述飞机的移动轨迹。
第二方面，本申请实施例提供了一种飞机入库的控制装置，所述飞机由牵引车带动入库，包括：
获取单元，用于在飞机的机身全部进入机库时，获取所述机库内障碍物的点云数据；
处理单元，被配置为执行：
根据所述飞机在所述机库内移动过程中的速度和位姿数据，确定所述飞机在未来设定时间内的移动轨迹；
在根据所述点云数据确定所述移动轨迹上不存在所述障碍物时，实时计算所述飞机的尾翼与所述机库中的维修台之间的第一距离；
在所述第一距离小于或等于第一设定阈值时，指示所述牵引车停止移动所述飞机。
在一些实施例中，所述获取单元，还用于获取所述飞机的点云数据和所述维修台的点云数据；
所述处理单元，还用于执行：
根据所述飞机的点云数据和所述维修台的点云数据，确定所述飞机的标准泊机位置数据；
在指示所述牵引车停止移动所述飞机之后，通过所述获取单元获取所述飞机的位置数据；
在所述飞机的位置数据与所述标准泊机位置数据之间的差距大于预设值时，调整所述飞机的位置，直至所述飞机的位置数据与所述标准泊位置的位置数据之间的差距小于或等于所述预设值。
在一些实施例中，所述处理单元，具体用于：
通过所述获取单元获取相机拍摄的所述机库内各个区域的多个图像，以及获取所述各个区域包含的物体的点云数据；
将所述多个图像输入到预先训练好的障碍物识别模型中，确定所述多个图像中包括的障碍物的位置；
根据所述多个图像中包括的障碍物的位置，从所述各个区域包含的物体的点云数据中提取出所述障碍物的点云数据。
在一些实施例中，所述处理单元，还用于：
根据所述机库的门上配置的距离传感器，确定所述机库的门与所述飞机的机身上的目标位置点之间的第二距离；所述目标位置点为所述飞机的机身上与所述机库的门距离最近的点；
在所述第二距离大于第二设定阈值时，继续移动所述飞机；
在所述第二距离小于或等于所述第二设定阈值时，指示所述牵引车停止移动所述飞机，并指示所述牵引车调整所述飞机的移动轨迹。
第三方面，提供了一种电子设备，所述电子设备包括控制器和存储器。存储器用于存储计算机执行指令，控制器执行存储器中的计算机执行指令以利用控制器中的硬件资源执行第一方面任一种可能实现的方法的操作步骤。
第四方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
本申请提出通过传感器与相机采集机库、机库内的障碍物、飞机以及飞机的移动参数等数据，基于采集到的数据进行数字孪生，预测飞机的移动轨迹，并确定飞机未来的移动轨迹上是否存在障碍物。从而可以及时移开障碍物或者及时变更移动轨迹，避免发生碰撞事件。相较于现有技术，本申请的方案不仅可以节约人工成本，还可以提升飞机入库的效率，以及降低飞机入库过程中碰撞事件发生的几率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种飞机入库的场景示意图；
图2为本申请实施例提供的一种飞机入库的控制方法流程图；
图3为本申请实施例提供的一种飞机通过机库门的控制方法流程图；
图4为本申请实施例提供的另一种飞机入库的控制方法流程图；
图5为本申请实施例提供的一种飞机入库的控制装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了便于理解本申请提出的方案，首先对本申请涉及的技术用语进行介绍：
(1)数字孪生：是一种利用物理模型、传感器更新和运行历史等数据，集成多学科、多物理量、多尺度以及多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。数字孪生目前常用于产品设计、产品制造、医学分析、工程建设等领域。
(2)位姿数据：一个物体的位姿数据包括该物体的欧拉角、轴角、旋转矩阵和四元数，一般欧拉角、轴角是三个数据组成一个向量，旋转矩阵是九个数据组成一个向量，四元数是四个数据组成一个向量。
(3)超声传感器：通过发射具有特定频率的超声波探测与被摄目标之间的距离，通过发射出特定频率的超声波和接收到的被摄目标反射回的特定频率的超声波所用的时间，换算出与被摄目标之间的距离。目前的超声波传感器在空气中一般作用距离较短，普通的有效探测距离在5-10m之间。
(4)激光雷达传感器：用于发射激光，以及根据目标反射回的激光实现测距。并且可以实现对目标进行激光扫描，生成目标的三维点云数据。
目前，由于飞机在起落和飞行的过程中气流和空中的小型障碍物会对飞机的机身表面造成损伤，因此为了保障飞机的安全运行，减少空难的发生，每次飞机降落后都需要对飞机的安全状况进行检查，一些详细的检查需要采用牵引车将飞机拖进机库进行。由于牵引车的驾驶员存在视线盲区，因此飞机入库的过程可能会与周围环境中的障碍物发生碰撞，容易给飞机造成损伤。为了避免此类碰撞的发生，相关技术中提出了通过多个地勤人员协同指挥牵引车的驾驶员，避免牵引车带动飞机发生碰撞问题。但是，飞机的体型较大，机翼较高，人工在地面观察可能存在视线误差，容易发生误判。因此人工引导的方式不仅耗费人力资源，成功率还比较低。
为了解决这种问题，本申请实施例提供了一种飞机入库的控制方法，提出了通过数字孪生的方式判断飞机入库到泊停的过程中是否存在障碍物，从而可以及时避开障碍物运行，避免人眼实现误差的问题。相较于现有的人工观察的方式，本申请的方式效率和准确率都更高。
为了便于理解本申请实施例提供的飞机入库的控制方法，首先对本申请的应用场景进行介绍，参见图1，为本申请实施例提供的一种飞机入库的场景图。图1示出了飞机停泊在设定机位的场景，可以看到，在机库中部署有多个超声传感器、相机和激光雷达传感器，用以采集飞机以及飞机移动过程中的相关数据，根据采集到的数据实现数字孪生，从而可以根据数字孪生构建的模型以及预测的飞机的移动轨迹实现碰撞事件的预测，从而可以避免碰撞事件的发生。
需要说明的是，图1仅作为一种示例，本申请对于飞机入库场景中包括的超声传感器、相机和激光雷达传感器的数量均不做限定。
下面，结合图1所示的场景图具体介绍本申请提出的飞机入库的控制方法及装置。本申请下述实施例中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。以及，除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一任务执行设备和第二任务执行设备，只是为了区分不同的任务执行设备，而并不是表示这两种任务执行设备的优先级或者重要程度等的不同。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
下面，具体介绍本申请提供的方案，参见图2，为本申请实施例提供的一种飞机入库的控制方法流程图。该方法流程由飞机的机库内的控制系统执行，需要说明的是，本申请对于执行该方法的系统的具体实现方式不作限定。比如，该系统可以为处理芯片、处理器或者其他具有计算资源的电子设备或服务器等，也可以为多个计算平台的集合。图2所示的方法流程具体包括：
201，在飞机的机身全部进入机库时，获取机库内障碍物的点云数据。
可选地，可以通过摄像机或者超声传感器检测飞机的机身是否全部进入机库中。在飞机的全部机身进入机库中之后，可以获取机库内的障碍物的点云数据。障碍物的点云数据可以用于表征障碍物的位置和障碍物的大小。
在一种可能实现的方式中，可以在飞机全部进入机库时，通过相机采集机库内各个区域的图像，并采用图像识别算法识别采集到的图像中包括的障碍物的位置。进一步地，可以通过激光雷达传感器获取对应位置上的障碍物的点云数据。
在另一种可能实现的方式中，可以直接采用激光雷达传感器扫描机库内的各个区域，获取各个区域中包括的障碍物的点云数据。
202，根据飞机在机库内移动过程中的速度和位姿数据，确定飞机在未来设定时间内的移动轨迹。
可选地，可以通过相机采集飞机移动过程中的图像，并根据连续两帧或多帧图像中飞机的位置来计算飞机的速度。或者还可以将带动飞机的牵引车的速度作为飞机的移动速度。可选地，飞机的位姿数据也可以通过相机采集的图像获取。
进一步地，可以根据飞机的速度和位姿数据，预测出飞机在未来设定时间内的移动轨迹。比如，飞机的速度为1米/秒，飞机的位姿数据表征飞机处于直行状态，则可以确定飞机未来5秒内的移动轨迹为飞机正前方5米的路程。
203，在根据障碍物的点云数据确定未来设定时间内的移动轨迹上不存在障碍物时，实时计算飞机的尾翼与机库中的维修台之间的第一距离。
其中，障碍物的点云数据开表征出障碍物的位置和大小。在确定飞机未来设定时间内的移动轨迹之后，可以基于障碍物的位置确定预测出的移动轨迹上是否存在障碍物。
继续上述举例，飞机未来5秒内的移动轨迹为飞机正前方5米的路程，可以确定这5米路程的位置坐标范围，比如该位置坐标范围的四个顶点为：(2，3)、(2，7)、(5，3)和(5，7)，则可以进一步确定任意一个障碍物的位置坐标是否落在该范围内。若在，则说明飞机未来设定时间内的移动轨迹上存在障碍物。若不在，则说明飞机未来设定时间内的移动轨迹上不存在障碍物。
可选地，在确定飞机未来设定时间内的移动轨迹上不存在障碍物时，可以实时采集飞机的尾翼与机库中的维修台之间的第一距离。比如，可以通过位于维修台的超声传感器采集与尾翼之间的第一距离。也就是说，当确定不会发生碰撞事件时，可以实时获取飞机尾翼与维修台之间的距离，用于确定飞机是否停到了指定位置。
204，在第一距离小于或等于第一设定阈值时，指示牵引车停止移动飞机。
在确定采集到的第一距离小于或等于第一设定阈值时，即可以确定飞机已经停到了设定位置，则可以指示停止移动飞机。可选地，可以通过向牵引车的通信模块发送用于指示停止移动飞机的指示信息，牵引车的驾驶员在查收到该指示信息之后，可以停止牵引车，从而停止移动飞机。
基于上述方案，本申请提出通过传感器与相机采集机库、机库内的障碍物、飞机以及飞机的移动参数等数据，基于采集到的数据进行数字孪生，预测飞机的移动轨迹，并确定飞机未来的移动轨迹上是否存在障碍物。从而可以及时移开障碍物或者及时变更移动轨迹，避免发生碰撞事件。相较于现有技术，本申请的方案不仅可以节约人工成本，还可以提升飞机入库的效率，以及降低飞机入库过程中碰撞事件发生的几率。
在一些场景下，可以在机库的门上配置距离传感器，比如可以配置超声传感器，可以参见图1所示的场景图。在门上配置超声传感器，可以采集到机库的门与飞机之间的距离，避免飞机入库过程中与机库的门发生碰撞。可选地，可以根据机库的门上配置的超声传感器，确定机库的门与飞机的机身上的目标位置点之间的第二距离。其中目标位置点并不是执行的点，而是飞机的机身长与机库的门距离最近的点，比如，飞机进库的过程中，最开始是机头上的某一个位置点与机库的门距离最近，那么该点即为目标位置点。一段时间后，飞机的机翼通过机库的门时，机翼上的某一个点距离机库的门最近，那么该点即为目标位置点。
可选地，在确定第二距离之后，可以进行判断第二距离是否大于第二设定阈值。若大于，则继续移动飞机。若不大于，说明存在飞机碰撞机库的门的风险，则可以指示牵引车停止移动飞机，并指示牵引车调整飞机的移动轨迹，避免飞机碰撞机库的门。
为了便于理解本申请提出的控制飞机入库过程中避免碰撞机库的门的方案，下面结合具体的实施例进行介绍。参见图3，为本申请实施例提出的飞机通过机库门的控制方法流程图，具体包括：
301，在飞机起始移动时，检测机库的门与飞机的机身上的目标位置点之间的第二距离。
具体地，可以通过配置在机库门上的超声传感器检测机库门与目标位置点之间的距离。其中目标位置点的解释可以参见上述实施例中的介绍，在此不再重复。
302，判断第二距离是否大于第二设定阈值。
若是，则返回执行步骤301。
若否，则继续执行步骤303。
303，根据第二距离的大小生成不同等级的警报信息，并将生成的警报信息发送至牵引车。
可选地，警报信息用于指示牵引车停止移动飞机，以及根据目标位置点位于机身的位置以及第二距离的大小对飞机的移动轨迹进行调整。
在一种可选的方式中，在完成步骤303之后，确定飞机重新移动时，可以返回执行步骤301，继续检测机库的门与目标位置点之间的第二距离。
在一些实施例中，在确定飞机入库通过机库门的过程中不会与机库的门发生碰撞之后，牵引车带动飞机入库。在飞机的机身全部入库之后，可以获取机库内障碍物的点云数据。
在一种可能实现的方式中，可以获取相机拍摄的机库内各个区域的图像。进一步地，可以将获取到的图像输入到预先训练好的障碍物识别模型中，确定图像中包括的障碍物的位置。再进一步地，可以根据各个障碍物的位置，通过激光雷达传感器检测各个位置上的障碍物的点云数据。
在另一种可能实现的方式中，还可以在获取相机拍摄的机库内各个区域的图像的基础上，继续通过激光雷达传感器检测各个区域内包含的物体的点云数据。进而在基于预先训练好的障碍物识别模型识别出障碍物的位置之后，可以从检测出的多个物体的点云数据中提取出障碍物的点云数据。
可选地，在通过障碍物识别模型识别相机采集到的图像时，模型可以准确地识别出已知的障碍物，但是对于一些新增的障碍物，模型并不能直接识别出来。也就是说，在出现在训练模型过程中训练集中不存在的障碍物时，模型并不能直接识别出这些新增的障碍物。在这种情况下，可以采用图像识别算法，将图像中所有的物体全部识别出来，在剔除已知的障碍物之后，可以将剩余的物体作为潜在障碍物，在进行障碍物点云数据的获取时，潜在障碍物的点云数据也需要获取。
一种可能实现的方式中，在确定存在潜在障碍物时，还可以将潜在障碍物添加至用于训练障碍物识别模型的训练集中，再基于更新后的训练集训练障碍物识别模型，以使障碍物识别模型的识别精度更高。
在另一些实施例中，在确定机身全部进入机库，并且获取到机库内包括的障碍物的点云数据后，可以根据过往飞机移动的历史轨迹，确定历史轨迹上是否存在障碍物。若存在，可以先将障碍物的位置指示给工作人员，由工作人员预先清除障碍物。从而可以更进一步地降低碰撞事件发生的几率。
以上，在确定了机库内包括的障碍物的点云数据之后，可以进一步基于获取的点云数据判断飞机未来设定时间内的移动轨迹上是否存在障碍物。
一种可能的情况下，若飞机未来设定时间内的移动轨迹上存在障碍物，则可以停止移动飞机，清除障碍物或者调整飞机的移动轨迹，以避免发生碰撞事件。
另一种可能的情况下，若飞机未来设定时间内的移动轨迹上不存在障碍物，则可以实时计算飞机的尾翼与机库中的维修台之间的第一距离。若第一距离大于第一设定阈值，说明飞机未停到指定位置，则返回计算第一距离的步骤，直至第一距离小于或等于第一设定阈值。在确定计算得到的第一距离小于或等于第一设定阈值时，说明飞机已经停到指定位置，则可以指示牵引车停止移动飞机。
在一些场景下，在确定飞机的尾翼与维修台之间的第一距离小于或等于第一设定阈值之后，还可以确定飞机有没有停到标准泊机位置，若没有停到标准泊机位置，还可以进一步对飞机的位置进行调整。其中飞机停到标准泊机位置可以便于维修台对飞机进行检修。
在一种可能实现的方式中，在确定标准泊机位置时，可以采用如下方法：
可选地，可以获取飞机的点云数据和维修台的点云数据。飞机的点云数据即为飞机的机身的三维数据，与飞机的型号有关，不同型号或者大小的飞机的点云数据不相同。维修台的点云数据用于表征维修台每一个点的位置。进一步地，可以根据飞机的点云数据和维修台的点云数据确定飞机的标准泊机位置。示例性地，参见图1所示的场景图，标准泊机位置可以为两个维修台的正中央，也就是说，当飞机停在标准泊机位置时，飞机的机身的水平线与两个维修台之间的连线垂直。
在确定飞机的尾翼与维修台之间的第一距离小于或者等于第一设定阈值，停止移动飞机之后，可以获取飞机当前的位置数据。进一步地，可以判断飞机当前的位置数据与标准泊机位置之间的距离是否大于预设值。若大于，说明飞机当前停机位置相较于标准泊机位置偏移较大，需要调整飞机的位置，则可以基于标准泊机位置来调整飞机的位置。若不大于，说明飞机当前的位置相较于标准泊机位置偏移较小，可以不调整飞机位置。
下面，为了更进一步理解本申请提出的飞机入库的控制方法，结合具体的实施例进行介绍。参见图4，为本申请实施例提供的另一种飞机入库的控制方法流程图，包括：
401，飞机启动入库时，实时检测飞机的目标位置点与机库的门之间的第二距离。
可选地，可以通过机库的门上配置的超声传感器检测机库门与飞机的目标位置点之间的第二距离。关于目标位置点的介绍可以参见上述实施例，在此不再进行赘述。
402，判断第二距离是否大于第二设定阈值。
若是，则继续执行步骤403。
若否，则根据目标位置点以及第二距离指示牵引车调整飞机的移动轨迹，并返回执行步骤401。
403，在飞机的机身全部进入机库之后，获取机库内障碍物的点云数据。
可选地，获取机库内的点云数据的步骤可以参见上述实施例中的介绍，在此不再重复介绍。
404，根据飞机移动的速度和位姿数据，预测飞机在未来设定时间内的移动轨迹。
405，判断移动轨迹上是否存在障碍物。
若是，则停止移动飞机，清除障碍物或者调整飞机的移动轨迹，并返回执行步骤404。
若否，则继续执行步骤406。
406，实时计算飞机的尾翼与机库中的维修台之间的第一距离。
407，判断第一距离是否小于或等于第一设定阈值。
若是，则继续执行步骤408。
若否，则返回执行步骤406。
408，获取飞机当前的位置数据，以及预先配置的标准泊机位置数据。
409，判断位置数据与标准泊机数据之间的距离是否大于预设值。
若是，则基于标准泊机数据调整飞机的位置，并返回执行步骤408。
若否，则继续执行步骤410。
410，指示牵引车停止移动飞机。
基于与上述方法的同一构思，参见图5，为本申请实施例提供的一种飞机入库的控制装置500，装置500用于执行上述方法中的各个步骤，为了避免重复，此处不再进行赘述。装置500包括：获取单元501和处理单元502。
获取单元501，用于在飞机的机身全部进入机库时，获取所述机库内障碍物的点云数据；
处理单元502，被配置为执行：
根据所述飞机在所述机库内移动过程中的速度和位姿数据，确定所述飞机在未来设定时间内的移动轨迹；
在根据所述点云数据确定所述移动轨迹上不存在所述障碍物时，实时计算所述飞机的尾翼与所述机库中的维修台之间的第一距离；
在所述第一距离小于或等于第一设定阈值时，指示所述牵引车停止移动所述飞机。
在一些实施例中，所述获取单元501，还用于获取所述飞机的点云数据和所述维修台的点云数据；
所述处理单元502，还用于执行：
根据所述飞机的点云数据和所述维修台的点云数据，确定所述飞机的标准泊机位置数据；
在指示所述牵引车停止移动所述飞机之后，通过所述获取单元501获取所述飞机的位置数据；
在所述飞机的位置数据与所述标准泊机位置数据之间的差距大于预设值时，调整所述飞机的位置，直至所述飞机的位置数据与所述标准泊位置的位置数据之间的差距小于或等于所述预设值。
在一些实施例中，所述处理单元502，具体用于：
通过所述获取单元501获取相机拍摄的所述机库内各个区域的多个图像，以及获取所述各个区域包含的物体的点云数据；
将所述多个图像输入到预先训练好的障碍物识别模型中，确定所述多个图像中包括的障碍物的位置；
根据所述多个图像中包括的障碍物的位置，从所述各个区域包含的物体的点云数据中提取出所述障碍物的点云数据。
在一些实施例中，所述处理单元502，还用于：
根据所述机库的门上配置的距离传感器，确定所述机库的门与所述飞机的机身上的目标位置点之间的第二距离；所述目标位置点为所述飞机的机身上与所述机库的门距离最近的点；
在所述第二距离大于第二设定阈值时，继续移动所述飞机；
在所述第二距离小于或等于所述第二设定阈值时，指示所述牵引车停止移动所述飞机，并指示所述牵引车调整所述飞机的移动轨迹。
图6示出了本申请实施例提供的电子设备600结构示意图。本申请实施例中的电子设备600还可以包括通信接口603，该通信接口603例如是网口，电子设备可以通过该通信接口603传输数据。
在本申请实施例中，存储器602存储有可被至少一个控制器601执行的指令，至少一个控制器601通过执行存储器602存储的指令，可以用于执行上述方法中的各个步骤，例如，控制器601可以实现上述图5中的获取单元501和处理单元502的功能。
其中，控制器601是电子设备的控制中心，可以利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据。可选的，控制器601可包括一个或多个处理单元，控制器601可集成应用控制器和调制解调控制器，其中，应用控制器主要处理操作系统和应用程序等，调制解调控制器主要处理无线通信。可以理解的是，上述调制解调控制器也可以不集成到控制器601中。在一些实施例中，控制器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
控制器601可以是通用控制器，例如中央控制器(英文：Central ProcessingUnit，简称：CPU)、数字信号控制器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用控制器可以是微控制器或者任何常规的控制器等。结合本申请实施例所公开的数据统计平台所执行的步骤可以直接由硬件控制器执行完成，或者用控制器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(英文：Random AccessMemory，简称：RAM)、静态随机访问存储器(英文：Static Random Access Memory，简称：SRAM)、可编程只读存储器(英文：Programmable Read Only Memory，简称：PROM)、只读存储器(英文：Read Only Memory，简称：ROM)、带电可擦除可编程只读存储器(英文：Electrically Erasable Programmable Read-Only Memory，简称：EEPROM)、磁性存储器、磁盘、光盘等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对控制器601进行设计编程，例如，可以将前述实施例中介绍的神经网络模型的训练方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的神经网络模型训练方法的步骤，如何对控制器601进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的控制器以产生一个机器，使得通过计算机或其它可编程数据处理设备的控制器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种飞机入库的控制方法，所述飞机由牵引车带动入库，其特征在于，所述方法包括：
在飞机的机身全部进入机库时，获取所述机库内障碍物的点云数据；
根据所述飞机在所述机库内移动过程中的速度和位姿数据，确定所述飞机在未来设定时间内的移动轨迹；
在根据所述点云数据确定所述移动轨迹上不存在所述障碍物时，实时计算所述飞机的尾翼与所述机库中的维修台之间的第一距离；
在所述第一距离小于或等于第一设定阈值时，指示所述牵引车停止移动所述飞机。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述飞机的点云数据和所述维修台的点云数据；
根据所述飞机的点云数据和所述维修台的点云数据，确定所述飞机的标准泊机位置数据；
在指示所述牵引车停止移动所述飞机之后，获取所述飞机的位置数据；
在所述飞机的位置数据与所述标准泊机位置数据之间的差距大于预设值时，调整所述飞机的位置，直至所述飞机的位置数据与所述标准泊位置的位置数据之间的差距小于或等于所述预设值。
3.根据权利要求1或2所述的方法，其特征在于，所述获取机库内障碍物的点云数据，包括：
获取相机拍摄的所述机库内各个区域的多个图像，以及获取所述各个区域包含的物体的点云数据；
将所述多个图像输入到预先训练好的障碍物识别模型中，确定所述多个图像中包括的障碍物的位置；
根据所述多个图像中包括的障碍物的位置，从所述各个区域包含的物体的点云数据中提取出所述障碍物的点云数据。
4.根据权利要求1或2所述的方法，其特征在于，在所述飞机的机身全部进入所述机库之前，所述方法还包括：
根据所述机库的门上配置的距离传感器，确定所述机库的门与所述飞机的机身上的目标位置点之间的第二距离；所述目标位置点为所述飞机的机身上与所述机库的门距离最近的点；
若所述第二距离大于第二设定阈值，则继续移动所述飞机；
若所述第二距离小于或等于所述第二设定阈值，则指示所述牵引车停止移动所述飞机，并指示所述牵引车调整所述飞机的移动轨迹。
5.一种飞机入库的控制装置，所述飞机由牵引车带动入库，其特征在于，包括：
获取单元，用于在飞机的机身全部进入机库时，获取所述机库内障碍物的点云数据；
处理单元，被配置为执行：
根据所述飞机在所述机库内移动过程中的速度和位姿数据，确定所述飞机在未来设定时间内的移动轨迹；
在根据所述点云数据确定所述移动轨迹上不存在所述障碍物时，实时计算所述飞机的尾翼与所述机库中的维修台之间的第一距离；
在所述第一距离小于或等于第一设定阈值时，指示所述牵引车停止移动所述飞机。
6.根据权利要求5所述的装置，其特征在于，所述获取单元，还用于获取所述飞机的点云数据和所述维修台的点云数据；
所述处理单元，还用于执行：
根据所述飞机的点云数据和所述维修台的点云数据，确定所述飞机的标准泊机位置数据；
在指示所述牵引车停止移动所述飞机之后，通过所述获取单元获取所述飞机的位置数据；
在所述飞机的位置数据与所述标准泊机位置数据之间的差距大于预设值时，调整所述飞机的位置，直至所述飞机的位置数据与所述标准泊位置的位置数据之间的差距小于或等于所述预设值。
7.根据权利要求5或6所述的装置，其特征在于，所述处理单元，具体用于：
通过所述获取单元获取相机拍摄的所述机库内各个区域的多个图像，以及获取所述各个区域包含的物体的点云数据；
将所述多个图像输入到预先训练好的障碍物识别模型中，确定所述多个图像中包括的障碍物的位置；
根据所述多个图像中包括的障碍物的位置，从所述各个区域包含的物体的点云数据中提取出所述障碍物的点云数据。
8.根据权利要求5或6所述的装置，其特征在于，所述处理单元，还用于：
根据所述机库的门上配置的距离传感器，确定所述机库的门与所述飞机的机身上的目标位置点之间的第二距离；所述目标位置点为所述飞机的机身上与所述机库的门距离最近的点；
在所述第二距离大于第二设定阈值时，继续移动所述飞机；
在所述第二距离小于或等于所述第二设定阈值时，指示所述牵引车停止移动所述飞机，并指示所述牵引车调整所述飞机的移动轨迹。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机指令；
控制器，与所述存储器连接，用于执行所述存储器中的计算机指令，且在执行所述计算机指令时实现如权利要求1～4中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如权利要求1～4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210863612.8A CN115167431A (zh) | 2022-07-21 | 2022-07-21 | 一种飞机入库的控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210863612.8A CN115167431A (zh) | 2022-07-21 | 2022-07-21 | 一种飞机入库的控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115167431A true CN115167431A (zh) | 2022-10-11 |
Family
ID=83497013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210863612.8A Pending CN115167431A (zh) | 2022-07-21 | 2022-07-21 | 一种飞机入库的控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115167431A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778760A (zh) * | 2023-08-22 | 2023-09-19 | 中国科学院空天信息创新研究院 | 一种大型飞机入库的引导装置及方法 |
| WO2024078557A1 (en) * | 2022-10-12 | 2024-04-18 | Airbus (Beijing) Engineering Centre Company Limited | Method and device for detecting obstacle, medium and electronic device |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05179863A (ja) * | 1992-01-08 | 1993-07-20 | Shin Meiwa Ind Co Ltd | 航空機格納庫用大扉の衝突防止装置 |
| CN103786893A (zh) * | 2014-01-24 | 2014-05-14 | 中国民用航空总局第二研究所 | 一种基于激光测距技术的飞机泊位自动引导方法及装置 |
| EP3216021A1 (fr) * | 2014-11-03 | 2017-09-13 | Safran Electronics & Defense | Procédé et dispositif de guidage d'un aéronef |
| US20170294132A1 (en) * | 2016-04-06 | 2017-10-12 | Gulfstream Aerospace Corporation | Wearable aircraft towing collision warning devices and methods |
| CN107703944A (zh) * | 2017-10-23 | 2018-02-16 | 中国民用航空飞行学院 | 一种机场地面飞机自动智能牵引系统及方法 |
| CN109116867A (zh) * | 2018-09-28 | 2019-01-01 | 拓攻（南京）机器人有限公司 | 一种无人机飞行避障方法、装置、电子设备及存储介质 |
| US20190108763A1 (en) * | 2017-10-06 | 2019-04-11 | Airbus Operations Gmbh | System and method for navigating an aircraft in a hangar |
| CN109631878A (zh) * | 2017-10-06 | 2019-04-16 | 空中客车德国运营有限责任公司 | 用于在机库中导航飞行器的系统和方法 |
| CN111427374A (zh) * | 2020-02-25 | 2020-07-17 | 深圳市镭神智能系统有限公司 | 飞机泊位引导方法、装置及设备 |
| CN111846270A (zh) * | 2020-07-19 | 2020-10-30 | 广州白云空港设备技术发展有限公司 | 一种基于爬行机器人技术的飞机地面牵引防撞系统 |
| US20210304390A1 (en) * | 2020-03-25 | 2021-09-30 | The Boeing Company | Inspection and imaging system and method of use |
| CN113807767A (zh) * | 2021-07-28 | 2021-12-17 | 甘肃光轩高端装备产业有限公司 | 仓库内人员安全保障系统及方法 |
| CN113988213A (zh) * | 2021-11-12 | 2022-01-28 | 中远海运科技股份有限公司 | 一种船舶在坞修理识别方法及系统 |
-
2022
- 2022-07-21 CN CN202210863612.8A patent/CN115167431A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05179863A (ja) * | 1992-01-08 | 1993-07-20 | Shin Meiwa Ind Co Ltd | 航空機格納庫用大扉の衝突防止装置 |
| CN103786893A (zh) * | 2014-01-24 | 2014-05-14 | 中国民用航空总局第二研究所 | 一种基于激光测距技术的飞机泊位自动引导方法及装置 |
| EP3216021A1 (fr) * | 2014-11-03 | 2017-09-13 | Safran Electronics & Defense | Procédé et dispositif de guidage d'un aéronef |
| US20170294132A1 (en) * | 2016-04-06 | 2017-10-12 | Gulfstream Aerospace Corporation | Wearable aircraft towing collision warning devices and methods |
| US20190108763A1 (en) * | 2017-10-06 | 2019-04-11 | Airbus Operations Gmbh | System and method for navigating an aircraft in a hangar |
| CN109631878A (zh) * | 2017-10-06 | 2019-04-16 | 空中客车德国运营有限责任公司 | 用于在机库中导航飞行器的系统和方法 |
| CN109634298A (zh) * | 2017-10-06 | 2019-04-16 | 空中客车德国运营有限责任公司 | 用于在机库中导航飞行器的系统和方法 |
| CN107703944A (zh) * | 2017-10-23 | 2018-02-16 | 中国民用航空飞行学院 | 一种机场地面飞机自动智能牵引系统及方法 |
| CN109116867A (zh) * | 2018-09-28 | 2019-01-01 | 拓攻（南京）机器人有限公司 | 一种无人机飞行避障方法、装置、电子设备及存储介质 |
| CN111427374A (zh) * | 2020-02-25 | 2020-07-17 | 深圳市镭神智能系统有限公司 | 飞机泊位引导方法、装置及设备 |
| US20210304390A1 (en) * | 2020-03-25 | 2021-09-30 | The Boeing Company | Inspection and imaging system and method of use |
| CN111846270A (zh) * | 2020-07-19 | 2020-10-30 | 广州白云空港设备技术发展有限公司 | 一种基于爬行机器人技术的飞机地面牵引防撞系统 |
| CN113807767A (zh) * | 2021-07-28 | 2021-12-17 | 甘肃光轩高端装备产业有限公司 | 仓库内人员安全保障系统及方法 |
| CN113988213A (zh) * | 2021-11-12 | 2022-01-28 | 中远海运科技股份有限公司 | 一种船舶在坞修理识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 赵旺;郝佳;吴其俊;: "飞机牵引车操作培训模拟器研究", 机械设计与制造工程, no. 06, 15 June 2018 (2018-06-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024078557A1 (en) * | 2022-10-12 | 2024-04-18 | Airbus (Beijing) Engineering Centre Company Limited | Method and device for detecting obstacle, medium and electronic device |
| CN116778760A (zh) * | 2023-08-22 | 2023-09-19 | 中国科学院空天信息创新研究院 | 一种大型飞机入库的引导装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115167431A (zh) | 一种飞机入库的控制方法及装置 | |
| US11710303B2 (en) | Systems and methods for prioritizing object prediction for autonomous vehicles | |
| US11783180B1 (en) | Object detection neural network | |
| Laugier et al. | Probabilistic analysis of dynamic scenes and collision risks assessment to improve driving safety | |
| CN107031650A (zh) | 基于驾驶员肢体语言来预测车辆运动 | |
| CN106291506A (zh) | 基于单线点云数据机器学习的车辆目标识别方法及装置 | |
| CN113002562B (zh) | 车辆控制装置以及存储介质 | |
| US20230282000A1 (en) | Multi-object tracking | |
| CN109814594A (zh) | 无人机群防碰撞控制方法、装置及计算机可读存储介质 | |
| EP4052190A1 (en) | Spatio-temporal-interactive networks | |
| US20230334842A1 (en) | Training instance segmentation neural networks through contrastive learning | |
| WO2024027082A1 (zh) | 一种飞机出入库碰撞预警方法、装置、设备及介质 | |
| Qi et al. | Detection and tracking of a moving target for UAV based on machine vision | |
| CN115311580A (zh) | 基于图像识别的无人机威胁判定方法及相关设备 | |
| CN114581863A (zh) | 车辆危险状态识别方法及系统 | |
| CN111665839A (zh) | 无人车自动驾驶接管方法、装置、终端设备和存储介质 | |
| Khazaal Abbas Maaroof et al. | A Survey of Deep Learning Techniques and Computer Vision in Robotic and Drone with Applications | |
| Wu et al. | aUToLights: A Robust Multi-Camera Traffic Light Detection and Tracking System | |
| Pathak et al. | Autonomous Obstacle Detection and Avoidance in Drones | |
| CN112659826B (zh) | 设施农业路轨两用机器人专用底盘 | |
| EP4325251A1 (en) | High throughput point cloud processing | |
| EP3779925A1 (en) | Camera-based angle tracking of swarms for collision avoidance | |
| US20230280753A1 (en) | Robust behavior prediction neural networks through non-causal agent based augmentation | |
| Sahal et al. | MPC Integration with Lane and Vehicle Detection Systems for Lane Following and Maintaining Safe Driving Distance in Autonomous Cars | |
| CN115728782A (zh) | 判断障碍物危险性的方法、系统、电子设备、车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |