CN115329932A - 基于数字孪生的飞机着陆姿态监视方法 - Google Patents
基于数字孪生的飞机着陆姿态监视方法 Download PDFInfo
- Publication number
- CN115329932A CN115329932A CN202210938221.8A CN202210938221A CN115329932A CN 115329932 A CN115329932 A CN 115329932A CN 202210938221 A CN202210938221 A CN 202210938221A CN 115329932 A CN115329932 A CN 115329932A
- Authority
- CN
- China
- Prior art keywords
- aircraft
- airplane
- target
- attitude
- landing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000001931 thermography Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000005096 rolling process Methods 0.000 claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 16
- 230000005484 gravity Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000011426 transformation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0082—Surveillance aids for monitoring traffic from a ground station
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于数字孪生的飞机着陆姿态监视方法，包括步骤：从多个红外热成像监视器采集的着陆飞机视频数据中提取飞机目标，并基于卷积神经网络对飞机目标进行轮廓提取；同时通过ADS‑B系统获取飞机目标的位置数据；基于飞机目标的轮廓，确定飞机着陆过程中的姿态数据；所述姿态数据包括滚转姿态参数、偏航姿态参数、俯仰姿态参数；将位置数据和姿态数据进行时空同步融合，构建飞机目标的数字孪生模型；将飞机目标的数字孪生模型映射到虚拟场景中。本发明的目的在于针对飞机着陆姿态的监视对空中交通管理进行优化以及保障飞行安全。
Description
技术领域
本发明涉及飞机姿态监视技术领域，特别涉及一种基于数字孪生的飞机着陆姿态监视方法。
背景技术
当前，飞机着陆姿态的监视多依靠地面红外摄像机、地面/机载传感器、ILS仪表着陆系统、雷达系统、激光扫描系统等设备进行。但其监视精度受航空器位置、监视设备精度、多源设备数据融合以及监视信号处理等因素制约，故不能对飞机机身整体及其关键部位(如机头/机尾/机翼定位点等)进行有效、实时、全面的姿态监视与虚实映射。
飞行实施过程中，任何一个潜在的飞行安全隐患都可能造成飞行不安全事故，从而造成人员伤亡、航空器损毁，甚至对机场造成灾难性事故。而飞机不安全事故多发生于飞机着陆的阶段，所以可将飞机着陆姿态作为判断飞机是否能够安全着陆的标准之一，并衍生出对飞行员操纵技能的评价以及对飞行只会的辅助决策。因此，针对飞机着陆姿态的监视对优化空中交通管理以及保障飞行安全至关重要。
发明内容
本发明的目的在于针对飞机着陆姿态的监视对空中交通管理进行优化以及保障飞行安全，提供一种基于数字孪生的飞机着陆姿态监视方法。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
基于数字孪生的飞机着陆姿态监视方法，包括以下步骤：
步骤S1，从多个红外热成像监视器采集的着陆飞机视频数据中提取飞机目标，并基于卷积神经网络对飞机目标进行轮廓提取；同时通过ADS-B系统获取飞机目标的位置数据；
步骤S2，基于飞机目标的轮廓，确定飞机着陆过程中的姿态数据；所述姿态数据包括滚转姿态参数、偏航姿态参数、俯仰姿态参数；
步骤S3，将位置数据和姿态数据进行时空同步融合，构建飞机目标的数字孪生模型；
步骤S4，将飞机目标的数字孪生模型映射到虚拟场景中。
更进一步地，所述红外热成像监视器包括五个，其中一个设置在机场塔台顶端，两个分别设置在机场跑道两端，剩余两个分别设置在机场跑道两侧。
更进一步地，所述从多个红外热成像监视器采集的着陆飞机视频数据中提取飞机目标的步骤，包括：
采用滤波算法对着陆飞机视频数据进行预处理，将着陆飞机从机场着陆环境中提取出来，并利用已标注好的飞机机型数据库在DarkNet-53网络下对飞机目标进行特征图提取；
将飞机目标的特征图输入FPT特征融合网络，生成K-Means聚类选取的先验框，将先验框输入回归预测层，得到最终的飞机目标。
更进一步地，所述并基于卷积神经网络对飞机目标进行轮廓提取的步骤，包括：基于提取的飞机目标进行关键部位标注定点，提取飞机目标的特征点，所述特征点包括机头定位点、机尾定位点、机翼定位点；对识别的飞机目标进行图像预处理，得到二值化图像，设定阈值，对二值化图像进行边缘检测；再使用Hough变换定位方法得到特征点基于亚像素的坐标，使用平滑曲线连接各特征点，从而完成对飞机目标的轮廓提取。
更进一步地，所述基于飞机目标的轮廓，确定飞机着陆过程中的姿态数据的步骤，包括：
确定飞机目标的重心和机体轴，构建机体轴坐标系OXYZ，将飞机目标的重心作为机体轴坐标系OXYZ的原点O；横轴X轴平行于机翼，指向飞机右侧方向(此时以机头为前方作为标准判断左右)，所述机翼为平均空气动力弦，机身向右侧滚动为正，向左侧滚动为负；纵轴Y轴平行于机体轴，并指向机头方向，机头向左侧偏转为正，向右侧偏转为负；立轴Z轴与飞机升力方向平行且垂直于横轴X轴和纵轴Y轴，机头向上仰为正，向下俯为负；
其中，机翼方向与OXY平面的夹角为滚转姿态参数β，机头方向与OXZ平面的夹角为偏航姿态参数γ，机身升力方向与OYZ平面的夹角为俯仰姿态参数θ。
更进一步地，所述将位置数据和姿态数据进行时空同步融合的步骤，包括：
利用时间点对姿态数据和位置数据进行标记，使得每个数据赋予对应的时间标签；将同一时刻对应的姿态数据与位置数据相匹配，形成包含了飞机着陆过程中每个时刻对应的姿态、位置的多源融合数据集，所述多源融合数据中包括航班号、起降时间、飞机机型、经度、纬度、高度、速度、姿态；
利用所述多源融合数据集对着陆飞机映射实时综合飞机信息标牌，并按照时序数据的方式存储在云端。
更进一步地，所述将同一时刻对应的姿态数据与位置数据相匹配，形成包含了飞机着陆过程中每个时刻对应的姿态、位置的多源融合数据集的步骤之后，还包括步骤；
将飞机目标的特征点的经度、纬度坐标转换到WGS-84坐标系上，使用卡尔曼滤波法对不连续、抖动的姿态数据与位置数据进行平滑处理；采用基于视野分界线的直接全景拼接方法，对着陆飞机视频数据进行拼接融合，得到互补融合后的多源融合数据集。
更进一步地，所述构建飞机目标的数字孪生模型的步骤，包括：基于多源融合数据集采集飞机目标三维点云，使用透视变换法对飞机目标三维点云坐标进行归一化处理得到校正后的齐次坐标，从而构建飞机目标的数字孪生模型。
更进一步地，所述使用透视变换法对飞机目标三维点云坐标进行归一化处理得到校正后的齐次坐标的步骤，包括：
将飞机目标的特征点作为基础点定义透视变换，透视变换通过映射矩阵T表示：
其中，T1＝[a11 a12 a21 a22]表示飞机目标三维点云的图像线性变换；T2＝[a13a23]用于产生图像透视变换；T3＝[a31 a32]表示图像平移；计算时通常令a33＝1；
采集的飞机目标三维点云通过映射矩阵T得到变换后的校正图像：
对校正图像进行归一化处理得到飞机目标三维点云的齐次坐标：
其中，(x,y,z)为飞机目标三维点云进行透视变换之前的齐次坐标，(X`,Y`,Z`)为飞机目标三维点云进行透视变换之后的齐次坐标。
更进一步地，所述将飞机目标的数字孪生模型映射到虚拟场景中的步骤，包括：
通过步骤S1-步骤S3得到多种机型的飞机目标的数字孪生模型，结合多源融合数据集确定数字孪生模型的姿态数据和位置数据，使用K-Means聚类法将多源融合数据集、综合飞机信息标牌以及数字孪生模型相关联；
将空管信息、机场信息、着陆飞机视频数据协同响应叠加到虚拟场景中，将着陆飞机的数字孪生模型嵌入虚拟场景中，完成机场着陆区域的数字化场景构建。
与现有技术相比，本发明的有益效果：
本方案利用卷积神经网络对着陆飞机视频数据进行智能分析，自动完成飞机目标的检测、跟踪、识别、定位、姿态判定等功能，从而提高空管监视的智能化水平，并利用多源数据融合技术将姿态数据与位置数据融合，形成包含了机场场面上的飞机目标状态信息与空管、机场等业务信息进行匹配融合处理，实现视频数据与业务数据之间的智能匹配与融合。
为了更好地进行飞机着陆姿态的监视，解决飞机着陆时俯仰、滚转、偏航等参数的主动无源监视，弥补现如今机场仅通过广播式自动相关监视设备(ADS-B)监视飞机姿态的能力不足，本方案将多点位分布的红外热成像监视器与ADS-B系统的监视数据二者相结合，通过图像处理与机器学习的技术，结合数字孪生技术，实现对飞机着陆姿态的实时监控，保证了对飞机着陆时轨迹、姿态、速度、飞机偏航、位移等参数在数字孪生虚拟场景中的精准映射。
本方案基于飞机目标的姿态数据、位置数据，构建飞机目标的数字孪生模型，实时将机场运行情况映射到数字环境的虚拟场景中，并将空管信息、机场信息、着陆飞机视频数据叠加到虚拟场景中，直观地呈现机场运行状况。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明方法流程图；
图2为本发明实施例红外热成像监视器布置位置示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
实施例：
本发明通过下述技术方案实现，如图1所示，基于数字孪生的飞机着陆姿态监视方法，包括以下步骤：
步骤S1，从多个红外热成像监视器采集的着陆飞机视频数据中提取飞机目标，并基于卷积神经网络对飞机目标进行轮廓提取；同时通过ADS-B系统获取飞机目标的位置数据。
需要监测的数据包括飞机的姿态数据和位置数据，其中姿态数据由多个红外热成像监视器提取到飞机目标的轮廓后，确定姿态数据；位置数据由ADS-B系统、GPS系统获取，位置数据包括着陆飞机的经度、纬度、速度、高度等。
红外热成像监视器具有运动目标跟踪能力，使当前航空器在监视区域时自动锁定并跟踪，能实现对着陆飞机进行动态实时感知的采集要求。本方案中在机场终端区安装5处红外热成像监视器，用于监测近着陆期间的飞机姿态，分别位于塔台顶端、跑道两端、跑道两侧，请参见图2。其中，机场终端区的塔台顶端安装1处红外热成像监视器用于监测着陆飞机的俯仰姿态，跑道两端各安装1处红外热成像监视器用于监测着陆飞机的偏航姿态，跑道两侧各安装1处红外热成像监视器用于监测着陆飞机的滚转姿态。
在机场终端区建立数个5G基站，基本实现机场终端区5G网络覆盖，使监测的数据能通过5G数据传输技术快速地进行实时传输。
多个红外热成像监视器采集着陆飞机视频数据后，采用滤波算法对着陆飞机视频数据进行预处理，将着陆飞机从机场着陆环境中提取出来，并利用已标注好的飞机机型数据库在DarkNet-53网络下对飞机目标进行特征图提取；将飞机目标的特征图输入FPT特征融合网络，生成K-Means聚类选取的先验框，将先验框输入回归预测层，得到最终的飞机目标。
提取到飞机目标后，利用卷积神经网络对飞机目标进行轮廓提取，首先基于提取的飞机目标进行关键部位标注定点，提取飞机目标的特征点，所述特征点包括机头定位点、机尾定位点、机翼定位点；对识别的飞机目标进行图像预处理，得到二值化图像，设定阈值，对二值化图像进行边缘检测；再使用Hough变换定位方法得到特征点基于亚像素的坐标，使用平滑曲线连接各特征点，从而完成对飞机目标的轮廓提取。
使用的卷积神经网络在对飞机目标进行轮廓提取之前，需要对卷积神经网络进行训练，训练过程为：
获取海量的历史着陆飞机视频数据，对这些着陆飞机视频数据的图像进行标注，标注的内容包括飞机机型类别、特征点坐标(机头定位点坐标、机尾定位点坐标、机翼定位点坐标)。对标注后的图像进行预处理，预处理包括二值化处理、旋转、裁剪等，对预处理后的图像进行边缘检测，将边缘检测结果加入标注内容，完成最终的标注。
将标注好的图像输入卷积神经网络，经过几层卷积层和池化层得到图像的多维特征图，对特征图进行训练，使得卷积神经网络能很好的学习图像中飞机机型类别、特征点坐标以及边缘检测结果的内容。
所述卷积神经网络的损失函数L为：
L＝αLcategory+βLcoor+γLedge
其中，L表示卷积神经网络的总损失函数；Lcategory表示对飞机机型类别进行训练的损失函数，α表示Lcategory的权重；Lcoor表示对特征点坐标进行训练的损失函数，β表示Lcoor的权重；Ledge表示对边缘检测结果进行训练的损失函数，γ表示Ledge的权重。
其中，xi表示第i个特征图，i∈M1；yi,j(1)表示第i个特征图标注的飞机机型类别，属于第j个类别，j∈N1；
表示yi,j(1)的权重参数，
表示yi,j(1)的偏置；
表示第j个类别的权重参数，bj(1)表示第j个类别的偏置；λ表示平衡参数；
表示预测的第i个特征图的类别。需要解释的是，j(1)即表示j，“(1)”仅为区分Lcoor、Ledge中的参数。
其中，
表示第i个特征图中第j(2)个特征点标注的坐标偏移量，i∈M1，j(2)∈N2，N2表示机头定位点坐标、机尾定位点坐标、机翼定位点坐标(可以理解为j(2)＝1,2,3，j(2)＝1时表示机头定位点坐标，j(2)＝2时表示机尾定位点坐标，j(2)＝3时表示机翼定位点坐标)；
表示预测的第i个特征图中第j(2)个特征点的坐标偏移量。需要解释的是，该式以真实值和预测值的偏差平方和表示。
其中，yi,j(3)表示第i个特征图中第j(3)个像素；N3+表示属于图像边缘的像素，N3-表示不属于图像边缘的像素；F(W,b)表示训练过程中的参数；δ表示二值化度；σ表示平衡参数。
ADS-B系统由地面、机载、星载和数据链路四部分构成，根据信息相对于航空器的传输方向，机载部分可以分为ADS-B OUT(发射)和ADS-B IN(接收)两种模式。机载部分通过机载GPS和北斗卫星导航等设备来获得本机的精确位置信息，通过飞行管理计算机和机载惯导、气压高度表等系统获得航空器的速度、高度等信息，并依据协议将这些信息转换成数字信息，通过ADS-B OUT向机外实施广播。
ADS-B系统采集的位置数据具有高精度、高更新率、灵活部署等优势，其水平定位精度达到10米量级，数据更新速率最快为0.5秒/次，地面站的建设成本仅为二次雷达的十分之一，且ADS-B系统的维护成本较低，使用寿命更长。
步骤S2，基于飞机目标的轮廓，确定飞机着陆过程中的姿态数据；所述姿态数据包括滚转姿态参数、偏航姿态参数、俯仰姿态参数。
从飞机目标的轮廓获取飞机着陆过程中的姿态数据时，首先确定飞机目标的重心和机体轴，构建机体轴坐标系OXYZ，建立依据为：
(1)原点O在飞机目标的重心上；
(2)横轴X轴平行于机翼(此时机翼为假想的平均空气动力选MAC)，指向飞机右侧方向，机身向右滚动为正，向左滚动为负；或者横轴X轴平行于机翼，指向飞机左侧方向，机身向左滚动为正，向右滚动为负；
(3)纵轴Y轴平行于机体轴，指向飞机着陆方向(机头方向)，机头向左偏转为正，向右偏转为负；或者纵轴Y轴平行于机体轴，指向飞机尾部，机头向右偏转为正，向左偏转为负；
(4)立轴Z轴与飞机升力方向平行且垂直于横轴X轴和纵轴Y轴，机头向上仰为正，向下俯为负。
随着飞机目标姿态改变，传统方式下坐标轴在空间的位置和方向都发生改变，本方案基于重心和机体轴的引入，可将飞机目标在着陆过程中的运动分解为飞机各部分随飞机重心一起的移动和飞机各部分绕飞机重心的转动。以飞机目标水平状态为基础建立机体轴坐标系OXYZ，飞行过程中始终保持机体轴坐标系OXYZ固定，当着陆过程中飞机目标姿态变化，特征点位置在机体轴坐标系OXYZ中位置也相应改变，以此判定变化角度。
滚转姿态判断：飞机的滚转运动指在飞行中，飞机在人为操作或相对气流影响下，飞机机身相对于地面的坡度姿态变化，机翼方向与OXY平面的夹角为滚转姿态参数β。
偏航姿态判断：飞机着陆时相对于跑道中心线的左右偏移程度，机头方向与OXZ平面的夹角为偏航姿态参数γ。
俯仰姿态判断：飞机相对于着陆地面的前后倾斜程度，机身升力方向与OYZ平面的夹角为俯仰姿态参数θ。
步骤S3，将位置数据和姿态数据进行时空同步融合，构建飞机目标的数字孪生模型。
利用时间点对姿态数据和位置数据进行标记，使得每个数据赋予对应的时间标签；将同一时刻对应的姿态数据与位置数据相匹配，形成包含了飞机着陆过程中每个时刻对应的姿态、位置的多源融合数据集，所述多源融合数据中包括航班号、起降时间、飞机机型、经度、纬度、高度、速度、姿态。
利用所述多源融合数据集对着陆飞机映射实时综合飞机信息标牌，并按照时序数据的方式存储在云端。
更进一步地，在形成多源融合数据集之后，还可以将飞机目标的特征点的经度、纬度坐标转换到WGS-84坐标系上，使用卡尔曼滤波法对不连续、抖动的姿态数据与位置数据进行平滑处理；采用基于视野分界线的直接全景拼接方法，对着陆飞机视频数据进行拼接融合，得到互补融合后的多源融合数据集。
接着，基于多源融合数据集(如飞机机型、航班号、位置数据、姿态数据)采集飞机目标三维点云，使用透视变换法对飞机目标三维点云坐标进行归一化处理得到校正后的齐次坐标，从而构建飞机目标的数字孪生模型。
详细来说，将飞机目标的特征点作为基础点定义透视变换，透视变换通过映射矩阵T表示：
其中，T1＝[a11 a12 a21 a22]表示飞机目标三维点云的图像线性变换；T2＝[a13a23]用于产生图像透视变换；T3＝[a31 a32]表示图像平移；计算时通常令a33＝1；
采集的飞机目标三维点云通过映射矩阵T得到变换后的校正图像：
对校正图像进行归一化处理得到飞机目标三维点云的齐次坐标：
其中，(x,y,z)为飞机目标三维点云进行透视变换之前的齐次坐标，(X`,Y`,Z`)为飞机目标三维点云进行透视变换之后的齐次坐标。
步骤S4，将飞机目标的数字孪生模型映射到虚拟场景中。
结合飞机目标在机场的地理位置、预设自由度、时间和历史运行轨迹等多元信息(由ADS-B系统获取飞机经纬度和飞行时间，从FMS飞行管理系统获取历史运行轨迹，由飞机制造手册得出预设自由度，预设自由度即为飞机能安全飞行的滚转角、偏航角、俯仰角的大小范围)，将飞机目标的数字孪生模型嵌入到虚拟场景中进行高效表征和索引。
通过步骤S1-步骤S3得到多种机型的飞机目标的数字孪生模型，结合多源融合数据集确定数字孪生模型的姿态数据和位置数据，使用K-Means聚类法将多源融合数据集、综合飞机信息标牌以及数字孪生模型相关联。
将空管信息、机场信息、着陆飞机视频数据协同响应叠加到虚拟场景中，将着陆飞机的数字孪生模型嵌入虚拟场景中，完成机场着陆区域的数字化场景构建，实现虚拟实体综合飞机信息标牌在数字孪生模型中的数据可视化，以及姿态数据、位置数据的实时更新，使本方案具有普适性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.基于数字孪生的飞机着陆姿态监视方法，其特征在于：包括以下步骤：
步骤S1，从多个红外热成像监视器采集的着陆飞机视频数据中提取飞机目标，并基于卷积神经网络对飞机目标进行轮廓提取；同时通过ADS-B系统获取飞机目标的位置数据；
步骤S2，基于飞机目标的轮廓，确定飞机着陆过程中的姿态数据；所述姿态数据包括滚转姿态参数、偏航姿态参数、俯仰姿态参数；
步骤S3，将位置数据和姿态数据进行时空同步融合，构建飞机目标的数字孪生模型；
步骤S4，将飞机目标的数字孪生模型映射到虚拟场景中。
2.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述红外热成像监视器包括五个，其中一个设置在机场塔台顶端，两个分别设置在机场跑道两端，剩余两个分别设置在机场跑道两侧。
3.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述从多个红外热成像监视器采集的着陆飞机视频数据中提取飞机目标的步骤，包括：
采用滤波算法对着陆飞机视频数据进行预处理，将着陆飞机从机场着陆环境中提取出来，并利用已标注好的飞机机型数据库在DarkNet-53网络下对飞机目标进行特征图提取；
将飞机目标的特征图输入FPT特征融合网络，生成K-Means聚类选取的先验框，将先验框输入回归预测层，得到最终的飞机目标。
4.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述并基于卷积神经网络对飞机目标进行轮廓提取的步骤，包括：基于提取的飞机目标进行关键部位标注定点，提取飞机目标的特征点，所述特征点包括机头定位点、机尾定位点、机翼定位点；对识别的飞机目标进行图像预处理，得到二值化图像，设定阈值，对二值化图像进行边缘检测；再使用Hough变换定位方法得到特征点基于亚像素的坐标，使用平滑曲线连接各特征点，从而完成对飞机目标的轮廓提取。
5.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述基于飞机目标的轮廓，确定飞机着陆过程中的姿态数据的步骤，包括：
确定飞机目标的重心和机体轴，构建机体轴坐标系OXYZ，将飞机目标的重心作为机体轴坐标系OXYZ的原点O；横轴X轴平行于机翼，指向飞机右侧方向，所述机翼为平均空气动力弦，机身向右侧滚动为正，向左侧滚动为负；纵轴Y轴平行于机体轴，并指向机头方向，机头向左侧偏转为正，向右侧偏转为负；立轴Z轴与飞机升力方向平行且垂直于横轴X轴和纵轴Y轴，机头向上仰为正，向下俯为负；
其中，机翼方向与OXY平面的夹角为滚转姿态参数β，机头方向与OXZ平面的夹角为偏航姿态参数γ，机身升力方向与OYZ平面的夹角为俯仰姿态参数θ。
6.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述将位置数据和姿态数据进行时空同步融合的步骤，包括：
利用时间点对姿态数据和位置数据进行标记，使得每个数据赋予对应的时间标签；将同一时刻对应的姿态数据与位置数据相匹配，形成包含了飞机着陆过程中每个时刻对应的姿态、位置的多源融合数据集，所述多源融合数据中包括航班号、起降时间、飞机机型、经度、纬度、高度、速度、姿态；
利用所述多源融合数据集对着陆飞机映射实时综合飞机信息标牌，并按照时序数据的方式存储在云端。
7.根据权利要求6所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述将同一时刻对应的姿态数据与位置数据相匹配，形成包含了飞机着陆过程中每个时刻对应的姿态、位置的多源融合数据集的步骤之后，还包括步骤；
将飞机目标的特征点的经度、纬度坐标转换到WGS-84坐标系上，使用卡尔曼滤波法对不连续、抖动的姿态数据与位置数据进行平滑处理；采用基于视野分界线的直接全景拼接方法，对着陆飞机视频数据进行拼接融合，得到互补融合后的多源融合数据集。
8.根据权利要求6所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述构建飞机目标的数字孪生模型的步骤，包括：基于多源融合数据集采集飞机目标三维点云，使用透视变换法对飞机目标三维点云坐标进行归一化处理得到校正后的齐次坐标，从而构建飞机目标的数字孪生模型。
9.根据权利要求8所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述使用透视变换法对飞机目标三维点云坐标进行归一化处理得到校正后的齐次坐标的步骤，包括：
将飞机目标的特征点作为基础点定义透视变换，透视变换通过映射矩阵T表示：
其中，T1＝[a11 a12 a21 a22]表示飞机目标三维点云的图像线性变换；T2＝[a13a23]用于产生图像透视变换；T3＝[a31 a32]表示图像平移；计算时通常令a33＝1；
采集的飞机目标三维点云通过映射矩阵T得到变换后的校正图像：
对校正图像进行归一化处理得到飞机目标三维点云的齐次坐标：
其中，(x,y,z)为飞机目标三维点云进行透视变换之前的齐次坐标，(X`,Y`,Z`)为飞机目标三维点云进行透视变换之后的齐次坐标。
10.根据权利要求6所述的基于数字孪生的飞机着陆姿态监视方法，其特征在于：所述将飞机目标的数字孪生模型映射到虚拟场景中的步骤，包括：
通过步骤S1-步骤S3得到多种机型的飞机目标的数字孪生模型，结合多源融合数据集确定数字孪生模型的姿态数据和位置数据，使用K-Means聚类法将多源融合数据集、综合飞机信息标牌以及数字孪生模型相关联；
将空管信息、机场信息、着陆飞机视频数据协同响应叠加到虚拟场景中，将着陆飞机的数字孪生模型嵌入虚拟场景中，完成机场着陆区域的数字化场景构建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210938221.8A CN115329932A (zh) | 2022-08-05 | 2022-08-05 | 基于数字孪生的飞机着陆姿态监视方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210938221.8A CN115329932A (zh) | 2022-08-05 | 2022-08-05 | 基于数字孪生的飞机着陆姿态监视方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115329932A true CN115329932A (zh) | 2022-11-11 |
Family
ID=83920901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210938221.8A Pending CN115329932A (zh) | 2022-08-05 | 2022-08-05 | 基于数字孪生的飞机着陆姿态监视方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115329932A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116880538A (zh) * | 2023-09-06 | 2023-10-13 | 杭州牧星科技有限公司 | 高亚音速无人机大机动飞行控制系统及其方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701261A (zh) * | 2014-11-26 | 2016-06-22 | 沈阳飞机工业（集团）有限公司 | 近场飞机自动跟踪与监测方法 |
| CN108052942A (zh) * | 2017-12-28 | 2018-05-18 | 南京理工大学 | 一种飞机飞行姿态的视觉图像识别方法 |
| CN109613929A (zh) * | 2018-12-12 | 2019-04-12 | 北京卫星信息工程研究所 | 一种航班精密进近与着陆方法及系统 |
| CN110223310A (zh) * | 2019-05-22 | 2019-09-10 | 上海大学 | 一种基于深度学习的线结构光中心线和箱体边缘检测方法 |
| CN110688999A (zh) * | 2019-10-08 | 2020-01-14 | 郑州迈拓信息技术有限公司 | 马赫带效应模拟的点光源金属钢印文字检测方法 |
| CN110866871A (zh) * | 2019-11-15 | 2020-03-06 | 深圳市华云中盛科技股份有限公司 | 文本图像矫正方法、装置、计算机设备及存储介质 |
| CN110968107A (zh) * | 2019-10-25 | 2020-04-07 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
| US20200202559A1 (en) * | 2018-12-20 | 2020-06-25 | The Boeing Company | Computer-vision-based autonomous or supervised-autonomous landing of aircraft |
| CN112037282A (zh) * | 2020-09-04 | 2020-12-04 | 北京航空航天大学 | 一种基于关键点以及骨架的飞机姿态估计方法及系统 |
| CN113362274A (zh) * | 2021-02-19 | 2021-09-07 | 西北工业大学 | 一种雨量监测计算方法 |
| CN113568435A (zh) * | 2021-09-24 | 2021-10-29 | 深圳火眼智能有限公司 | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 |
| CN113781510A (zh) * | 2021-09-15 | 2021-12-10 | 上海金仕达软件科技有限公司 | 边缘检测方法、装置及电子设备 |
| CN114036640A (zh) * | 2021-11-08 | 2022-02-11 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 飞机姿态确定系统和飞行器 |
| WO2022040920A1 (zh) * | 2020-08-25 | 2022-03-03 | 南京翱翔智能制造科技有限公司 | 一种基于数字孪生 ar 交互系统和方法 |
| CN114283391A (zh) * | 2021-11-17 | 2022-04-05 | 上海智能网联汽车技术中心有限公司 | 一种融合环视图像与激光雷达的自动泊车感知方法 |
| CN114332385A (zh) * | 2021-11-23 | 2022-04-12 | 南京国图信息产业有限公司 | 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法 |
| CN114756046A (zh) * | 2022-05-20 | 2022-07-15 | 徐松言 | 一种垂直起降飞行器起降定位控制方法及系统 |
-
2022
- 2022-08-05 CN CN202210938221.8A patent/CN115329932A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701261A (zh) * | 2014-11-26 | 2016-06-22 | 沈阳飞机工业（集团）有限公司 | 近场飞机自动跟踪与监测方法 |
| CN108052942A (zh) * | 2017-12-28 | 2018-05-18 | 南京理工大学 | 一种飞机飞行姿态的视觉图像识别方法 |
| CN109613929A (zh) * | 2018-12-12 | 2019-04-12 | 北京卫星信息工程研究所 | 一种航班精密进近与着陆方法及系统 |
| US20200202559A1 (en) * | 2018-12-20 | 2020-06-25 | The Boeing Company | Computer-vision-based autonomous or supervised-autonomous landing of aircraft |
| CN111352434A (zh) * | 2018-12-20 | 2020-06-30 | 波音公司 | 支持接近机场的机场跑道的飞机的设备及方法 |
| CN110223310A (zh) * | 2019-05-22 | 2019-09-10 | 上海大学 | 一种基于深度学习的线结构光中心线和箱体边缘检测方法 |
| CN110688999A (zh) * | 2019-10-08 | 2020-01-14 | 郑州迈拓信息技术有限公司 | 马赫带效应模拟的点光源金属钢印文字检测方法 |
| CN110968107A (zh) * | 2019-10-25 | 2020-04-07 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
| CN110866871A (zh) * | 2019-11-15 | 2020-03-06 | 深圳市华云中盛科技股份有限公司 | 文本图像矫正方法、装置、计算机设备及存储介质 |
| WO2022040920A1 (zh) * | 2020-08-25 | 2022-03-03 | 南京翱翔智能制造科技有限公司 | 一种基于数字孪生 ar 交互系统和方法 |
| CN112037282A (zh) * | 2020-09-04 | 2020-12-04 | 北京航空航天大学 | 一种基于关键点以及骨架的飞机姿态估计方法及系统 |
| CN113362274A (zh) * | 2021-02-19 | 2021-09-07 | 西北工业大学 | 一种雨量监测计算方法 |
| CN113781510A (zh) * | 2021-09-15 | 2021-12-10 | 上海金仕达软件科技有限公司 | 边缘检测方法、装置及电子设备 |
| CN113568435A (zh) * | 2021-09-24 | 2021-10-29 | 深圳火眼智能有限公司 | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 |
| CN114036640A (zh) * | 2021-11-08 | 2022-02-11 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 飞机姿态确定系统和飞行器 |
| CN114283391A (zh) * | 2021-11-17 | 2022-04-05 | 上海智能网联汽车技术中心有限公司 | 一种融合环视图像与激光雷达的自动泊车感知方法 |
| CN114332385A (zh) * | 2021-11-23 | 2022-04-12 | 南京国图信息产业有限公司 | 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法 |
| CN114756046A (zh) * | 2022-05-20 | 2022-07-15 | 徐松言 | 一种垂直起降飞行器起降定位控制方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| FUYANG LI ET AL.: "A Multi-Step CNN-Based Estimation of Aircraft Landing Gear Angles", pages 1 - 17 * |
| 王永庆 等: "PAR 辅助光电设备的飞机着陆监测与评估系统设计", vol. 37, no. 37, pages 3803 - 3810 * |
| 谷虹娴: "基于深度卷积神经网络的空中飞行器图像识别" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116880538A (zh) * | 2023-09-06 | 2023-10-13 | 杭州牧星科技有限公司 | 高亚音速无人机大机动飞行控制系统及其方法 |
| CN116880538B (zh) * | 2023-09-06 | 2024-01-09 | 杭州牧星科技有限公司 | 高亚音速无人机大机动飞行控制系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104166854B (zh) | 针对小型无人机自主降落的视觉分级地标定位识别方法 | |
| EP3901728B1 (en) | Methods and system for autonomous landing | |
| CN109992006A (zh) | 一种电力巡检无人机的精准回收方法和系统 | |
| McGee et al. | Obstacle detection for small autonomous aircraft using sky segmentation | |
| CN109885086B (zh) | 一种基于复合多边形标志引导的无人机垂直降落方法 | |
| CN113031633B (zh) | 一种无人机的降落方法、装置、无人机及介质 | |
| CN108153334B (zh) | 无合作目标式无人直升机视觉自主返航与着降方法及系统 | |
| CN106813900B (zh) | 一种基于无人机技术的民用机场助航灯光飞行校验方法 | |
| JP2019520719A (ja) | 無人航空機用視野ベース較正システム | |
| CN113359810A (zh) | 一种基于多传感器的无人机着陆区域识别方法 | |
| CN104808685A (zh) | 用于无人机自主降落的视觉辅助装置及视觉辅助方法 | |
| CN105644785A (zh) | 一种基于光流法和地平线检测的无人机着陆方法 | |
| CN107063261A (zh) | 用于无人机精准着陆的多特征信息地标检测方法 | |
| CN109613926A (zh) | 多旋翼无人机自动降落高精度自动识别降落区域的方法 | |
| Minghui et al. | Deep learning enabled localization for UAV autolanding | |
| CN115329932A (zh) | 基于数字孪生的飞机着陆姿态监视方法 | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
| CN115272458A (zh) | 用于固定翼无人机着陆阶段的视觉定位方法 | |
| CN111399084A (zh) | 一种基于三维风场数据的高空急流提取方法 | |
| CN112797982A (zh) | 一种基于机器视觉的无人机自主着陆测量方法 | |
| CN112560751A (zh) | 一种阳台高空坠物风险检测方法及系统 | |
| CN114594789B (zh) | 一种无人机回收引导方法、装置及电子设备 | |
| US11987382B2 (en) | Method for aircraft localization and control | |
| Lee | On the Complete Automation of Vertical Flight Aircraft Ship Landing | |
| CN115144879A (zh) | 一种多机多目标动态定位系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221111 |
|
| RJ01 | Rejection of invention patent application after publication |