CN111009008A - 一种基于自学习策略的机场飞机自动挂标方法 - Google Patents

Abstract

本发明提供了一种基于自学习策略的机场飞机自动挂标方法，解决了机场场面4k视频图像中飞机自动挂标问题。包括：计算出地理位置信息与视频图像坐标位置之间的转换矩阵；接入场间信息，利用转换矩阵将场间信息转换为对应的视频图像位置信息；对输入视频图像进行运动目标检测，实现对场面运动目标的检测定位；利用目标信息关联算法将自动化信息与运动目标进行关联，同时记录下目标的位置信息和视频图像的经纬度信息，完成初步挂标；利用记录下的目标位置信息和相对应的自动化信息制作成为映射表并自动更新转换矩阵，对视频图像中难以进行目标检测的位置进行手动标注，记录位置信息，更新映射表；基于映射表和目标检测信息二者融合算法实现机场飞机自动挂标。

Description

一种基于自学习策略的机场飞机自动挂标方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于自学习策略的机场飞机自动挂标方法。

背景技术

传统的场面监视利用机场塔台，管制员通过肉眼观察场面航空器、车辆及保障人员的位置信息，塔台管制受恶劣环境(低能见度、复杂天气状况等)、场地遮挡、人眼疲劳等因素影响，航空器、车辆及人员在场面运行安全与效率得不到有效保障。机场飞机自动挂标技术，融合机场自动化系统、雷达、全景监控设备、ADS-B设备等信息、以实现机场场面飞机的自动发现、自动跟踪和自动识别，提高航空器场面运行安全、效率。

目前，多数机场飞机自动挂标算法都是单纯依靠目标检测来实现，在良好环境、简单场景下，能够实现机场飞机自动挂标，但是这一类算法受环境影响很大，鲁棒性差。在场面运行时容易出现误挂、漏挂等问题，在黑夜、光照较强、天气状况差等情况下，无法正确检测识别，挂标正确率低，漏挂率高，不能够满足实际产品需求。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于自学习策略的机场飞机自动挂标方法，包括如下步骤：

步骤1，计算视频图像和对应地理位置信息的转换矩阵；

步骤2，接入场间自动化信息，利用转换矩阵将其转化为对应的视频图像位置信息；

步骤3，接入机场场面视频图像，利用改进ViBe(一种通用的视频序列背景细分算法)算法(Olivier Barnich,MarcVan Droogenbroeck.ViBe:AUniversal BackgroundSubtraction Algorithm for Video Sequences[J].IEEE Transactions on ImageProcessing,2011,20(6):1709-1724.)对场面上的运动目标进行检测；

步骤4，利用目标信息关联算法完成运动目标与自动化信息的初次关联；

步骤5，记录关联信息，制作机场场面实际位置和对应视频图像坐标位置的转化映射表；

步骤6，基于自学习更新策略，依据关联信息随时间的更新，不断自动更新映射表；

步骤7，对视频图像中难以进行目标检测的位置进行手动标注，记录位置信息，更新映射表；

步骤8，将映射表、步骤3中生成的目标检测信息进行融合，形成综合航迹信息，完成机场场面视频图像中飞机的自动挂标。

步骤1包括：

步骤1-1，在大小为3840*2160的视频图像对角线上随机取5个不同位置点，分别记为A(u₁，v₁)、B(u₂，v₂)、C(u₃，v₃)、D(u₄，v₄)、E(u₅，v₅)，其中u₁～u₅分别代表5个不同位置点在视频图像中的横向坐标位置，v₁～v₅分别代表5个不同位置点在视频图像中的纵向坐标位置；

步骤1-2，地理位置信息主要是指经纬度和高度信息，利用差分GPS和谷歌地图位置测量工具(王军，于洪喜，曹桂兴.差分GPS定位技术[J].空间电子技术，2001(1)：107-110.)，测量步骤1-1中5个点的实际经纬度坐标及高度信息，分别记为A(la₁，lon₁，height₁)、B(la₂，lon₂，height₂)、C(la₃，lon₃，height₃)、D(la₄，lon₄，height₄)、E(la₅，lon₅，height₅)，其中la₁～la₅分别代表选取5个不同位置点的纬度值，lon₁～lon₅分别代表选取5个不同位置点的经度值，height₁～height₅分别代表选取5个不同位置点的高度值；

步骤1-3，利用步骤1-2中的差分GPS测量相机所在位置的经纬度，记为S(la_source，lon_source，)，其中la_source为纬度信息，la_source为经度信息。利用经纬度位置信息，分别计算步骤1-1中5个位置点相对相机位置之间的水平偏向角和竖直俯仰角；

其中角度计算公式如下：

水平方向偏转角：

竖直方向俯仰角：

distace＝2*asin(abs(sin²((la-la_source)/2)+Cos(la_source)*cos(la_source)

*sin²((lon-lon_source)/2)))

pitch＝asin(h-h_source)/(distace*6378.137*10³)

其中bear为偏转角，distance为待测点到相机的距离，pitch为俯仰角度，lon和la分别为待求位置的经度和纬度值，h为待求位置的高度，la_source和lon_source分别表示相机的纬度和经度值，h_source为相机高度。步骤1-2中5个点经计算后的偏转角和水平角分别为A(bear1,pitch1)、B(bear₂,pitch₂)、C(bear₃,pitch₃)、D(bear₄,pitch₄)、E(bear₅,pitch₅)；

步骤1-4，使用最小二乘法(孙彦清.最小二乘法线性拟合应注意的两个问题[J].汉中师范大学学院学报，2002(3)：58-61.)将步骤1-1中5个位置点的u像素坐标位置u₁～u₅和步骤1-3中对应的偏转角bear₁～bear₅进行二次拟合，得出偏转角和视频图像u像素之间的偏转映射转换矩阵T_BeartoU，使用最小二乘法将步骤1-1中5个位置点的v像素坐标位置v₁～v₂和步骤1-3中对应的俯仰角pitch₁～pitch₅进行二次拟合，得出俯仰角和视频图像v像素之间的俯仰映射转换矩阵T_PitchtoV；

步骤2包括：

步骤2-1，根据标准CAT062空管自动化报文(陈洋，卢萍，王平良等.一种空管雷达数据自动解析系统设计[J].科技创新与应用，2017(19):97-98.)，接收场面上的空管自动化信息，包括接收自动化系统送出来的航空器的综合航迹信息，所述综合航迹信息包括航迹批号、高度、经纬度、航班号、二次代码、目的机场和起飞机场等；

步骤2-2，利用1-3步骤中的经纬度转角度的计算方式，计算出各航迹距离相机位置的距离Dis，当Dis≤Dis_Val时，此时将计算出航迹中经纬度对应的偏转角bear和俯仰角pitch；当Dis>Dis_Val时，舍弃该条自动化航迹；其中Dis_Val为设定的距离阈值，一般取值为10000；

步骤2-3，根据步骤1-4中的偏转映射矩阵T_BeartoU和俯仰映射转换矩阵T_PitchtoV，将步骤2-2中计算出的偏转角bear和俯仰角pitch转化为对应的视频图像像素坐标(u₀,v₀)，当0＜u₀≤3840且0＜v₀≤2160时，则保留航迹信息，否则删除航迹信息，得出最终自动化信息转换成视频图像坐标位置的综合航迹信息。

步骤3包括：

步骤3-1，接入视频图像，对其做降分辨率处理，将输入为3840*2160的相机视频图像缩小为原图的0.3倍，得到分辨率1152*648的视频图像img；

步骤3-2，对于步骤3-1中降分辨率处理后的视频图像img，利用中值滤波(田泽，罗忠.快速中值滤波[J].西安工程大学学报，1996(4):381-384.)对视频图像img进行降噪处理，得到视频图像img1；

步骤3-3，利用ViBe算法(Olivier Barnich,MarcVan Droogenbroeck.ViBe:AUniversal Background Subtraction Algorithm for Video Sequences[J].IEEETransactions on Image Processing,2011,20(6):1709-1724.对视频图像img1进行前景目标检测，得到前景图像img2；

步骤3-4，利用步骤3-2中的中值滤波对前景图像img2进行降噪处理，得到视频图像img3；

步骤3-5，将视频图像img3向外膨胀(陆宗骐，朱煜.数字形态学腐蚀膨胀运算的快速算法[J].全国图像图形学术会议，2006(13):306-311.)n个像素，n一般取值为10～20，得到视频图像img4，然后将视频图像img4与前景图像img3做逻辑与操作，得到视频图像img5，也即是img5＝img3&img4；

步骤3-6，利用联合双边滤波算法(刘金荣，李淳梵，欧阳建权等.基于联合双边滤波的深度图像增强算法[J].计算机工程，2014,40(3):249-252.)完成视频图像img5的降噪和增强，得到视频图像img6；

步骤3-7，使用闭运算(陈涛，李林，司锡才.基于数学形态学的图像边缘检测[J].弹箭与制导学报，2004(s3):194-195.)完成视频图像img6的目标断裂处的连结，同时去除干扰噪声，最后通过轮廓查找，完成视频图像运动目标的检测和定位。

步骤4包括：

步骤4-1：将步骤3-7中检测到的视频图像的前景目标的位置经数据处理算法形成航迹，具体是通过判断新一帧视频图像的各个前景目标的位置和当前航迹之间的关系，进行关联，判别原理公式如下：

其中Plot_Distance为新一帧视频图像前景目标位置和航迹的距离，(u_x，v_x)为新一帧视频图像前景目标位置，(u_s，v_s)为航迹在视频图像中的位置，speed_x为航迹在视频图像中水平方向的速度，speed_y为航迹在视频图像中竖直方向的速度，

为方向角度，当Plot_Distance<val_plot，

时，此时对航迹进行更新并求取航迹新的速度，否则停止更新航迹位置，其中val_plot为距离判定阈值，一般取值为10～20个像素值，

为方向角度阈值，一般取值为15°～20°，依据步骤4-1的方法，将检测到的前景运动目标形成稳定的航迹信息；

步骤4-2：将经步骤2-3转换后的自动化信息和步骤4-1形成的稳定航迹进行比对，找出距离最近的一组，完成自动化信息的关联，将自动化信息中的航班信息，如航迹批号、高度、经纬度、航班号、二次代码、目的机场和起飞机场等和目标的航迹信息进行绑定，完成初步挂标。

步骤5包括：将步骤4-2中绑定后的目标位置和经纬度信息统计并存储下来，机场场面实际位置和对应视频图像坐标位置的转化映射表AirMap，AirMap的大小为1152*648，每个位置的元素为(u,v,la,lon),其中u、v、la、lon分别代表视频图像横向坐标、纵向坐标、经度和纬度。

步骤6包括：

步骤6-1，随着视频图像关联的自动化信息的增多，不断记录下经纬度信息和对应的视频图像位置信息；

步骤6-2，基于自学习更新策略，依据步骤6-1记录的关联的自动化信息，不断更新步骤5中的映射表AirMap；

步骤6-2包括：

步骤6-2-1，采用快速排序算法，首先基于AirMap中的视频图像横向位置u按照从小到大排序；

步骤6-2-2，采用快速排序算法，基于AirMap中的视频图像纵向位置v按照从小到大排序；

步骤6-2-3，接入新的经纬度和对应视频图像位置信息，将现有的位置信息和AirMap中的元素做比较，利用步骤4-1中距离计算公式计算二者之间的地理位置距离Dis_Truth，同时计算二者在视频图像中的像素位置距离Dis_Img；

步骤6-2-4，当Dis_Truth>5，且Dis_Img！＝0，将新的视频图像位置信息加入AirMap中，更新AirMap，否则舍弃新的视频图像位置信息，完成AirMap的更新。

步骤7包括：针对视频图像难以检测到的位置，利用手动标绘，取出目标在视频图像中的位置，同时将距离最近的自动化信息手动关联，记录视频图像位置信息和对应的经纬度信息，添加到步骤5中的映射表AirMap中。

步骤8包括：

步骤8-1，在映射表AirMap中查找接入的新的自动化信息，当接入的自动化信息和映射表中的自动化信息的实际地理距离Dis_Air<5时，此时将映射表AirMap中的元素中的视频图像位置与自动化信息进行绑定，形成场面航空器的初始航迹信息, 如步骤2-1所述，此时初始航迹信息中包含有航迹批号、高度、经纬度、航班号、二次代码、目的机场和起飞机场及通过映射表查找生成的视频图像位置信息；；

步骤8-2，将初始航迹信息中的视频图像位置信息与视频图像检测到的运动目标的位置信息进行关联， 具体使用初始航迹信息中在视频图像中的位置和运动目标的位置之间的距离关系进行关联，判别公式如下：

其中Plot_Distance_Jduge为运动目标和初始航迹信息在视频图像中的位置距离，(u_t，v_t)为初始航迹信息在视频图像中的位置，(u_p，v_p)为运动目标在视频图像中的位置，当Plot_Distance_Jduge≤value_distance，则将初始航迹信息更新为运动目标在视频图像中的位置，否则不更新，其中value_distance为设定的阈值，一般取值为30或50。

完成航迹位置更新后，开始计算航迹速度，具体是将历史的航迹位置信息和当前航迹位置进行进行比较，分别计算其在视频图像水平和竖直方向的速度，速度计算公式如下：

speed_u＝(u_new-u_old)/(N-M)

speed_v＝（v_new-v_old)/(N-M)

其中speed_u为航迹在视频图像中水平方向的速度，speed_v为航迹在视频图像中竖直方向的速度，u_new和v_new分别为航迹在最新的第N帧的视频图像中的横坐标和纵坐标，u_old和v_old分别为航迹在历史上第M帧视频图像中的横坐标和纵坐标。

步骤8-3，每一帧视频图像位置信息与步骤8-2的航迹位置信息进行关联，未关联上的不更新的自动化航迹信息采用速度递推的方式，变换其位置，具体是将其当前位置信息与其速度求和，得到的值即为递推出来的最新位置。

步骤8-4，如步骤8-1所述，将航迹信息中的航班号根据其对应在视频图像中的位置信息进行显示，完成机场场面飞机的自动挂标。有益效果：本发明公开了一种基于自学习策略的机场飞机自动挂标方法，解决了机场飞机自动挂标误挂、漏挂率高、鲁棒性低的问题。首先通过选取视频图像位置点，利用最小二乘法线性拟合，计算出场面经纬度和对应视频图像位置之间的映射矩阵；然后将接入的自动化信息通过映射矩阵转换到对应的视频图像位置；接着，利用改进ViBe算法对视频图像进行前景目标检测，分割提取出前景运动目标，同时形成航迹信息；利用关联算法将自动化信息与运动目标航迹进行关联，同时记录对应信息，形成映射表；随着视频图像新一帧的信息的导入，不断更新映射表；最后，基于更新完成的映射表和场面的运动目标，实现飞机的自动挂标。本发明在多种场景下进行了性能测试，飞机可在黑夜、强光等环境下实现正确的自动挂标，视频图像的单帧平均运行时间在40ms，充分验证了本发明的有效性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的系统流程示意图。

图2是本发明的目标检测关联示意图。

图3是本发明的映射表更新示意图。

图4是本发明的飞机自动挂标效果图。

具体实施方式

本发明公开了一种基于自学习策略的机场飞机自动挂标算法方法，如图1所示，包括以下步骤：

S1:计算视频图像像素位置与实际地理位置信息的转换矩阵：

转换矩阵是自动化信息与视频图像位置进行初始关联的关键，只有计算出经度较高的转换矩阵，才能保证后面自动化信息与运动目标的准确关联。首先在视频图像对角线上随机取5个不同位置点，测量5个点的实际经纬度坐标及高度信息，同时测量相机所在位置的经纬度和高度信息，首先，将经纬度和高度信息转化为方位信息，转换算法的核心公式如下：

水平方向偏转角：

竖直方向俯仰角：

distace＝2*asin(abs(sin²((la-la_souurce)/2)+cos(la_source)*cos(la_souurce)*sin²((lon-lon_source)/2)))

pitch＝asin(h-h_source)/(distance*6378.137*10³)

其中bear为偏转角，distance为待测点到相机的距离，pitch为俯仰角度，lon和la分别为待求位置的经度和纬度值，h为待求位置的高度，la_source和lon_source分别相机的纬度和经度值，h_source为相机高度，然后使用最小二乘法，将水平偏向角和视频图像像素位置的水平方向的值进行拟合，将俯仰角与视频图像像素位置的值竖直方向像素值进行拟合，得到转换矩阵。

S2：转换场面自动化信息：

依据标准CAT062空管自动化报文格式接收场面上的空管自动化信息，计算出各航迹距离相机位置的距离，利用计算的距离，剔除无用的自动化信息，然后将剩余自动化信息的经纬度和高度信息转化对应的方位信息，利用所求的转换矩阵，计算自动化信息在视频图像中对应的像素位置信息，利用视频图像大小的边界条件进行筛选，完成自动化信息的转换，便于后续关联使用。

S3：运动目标检测：

运动目标检测提供场面运动目标的视频图像位置。首先，接入视频图像，未提高处理速度，对其做降分辨率处理，利用中值滤波对视频图像进行降噪处理；接着利用ViBe算法完成视频图像的前景目标检测；利用中值滤波对前景图像进行降噪处理；接着将视频图像向外膨胀，并与ViBe检测出来的前景图像做与操作；然后利用联合双边滤波算法完成对视频图像降噪和增强；最后利用形态学操作中的闭运算连接前景图像的断裂处，去除细小噪声干扰，通过轮廓查找，完成视频图像运动目标的检测与定位。

S4：目标信息关联：

目标信息关联原理如图2所示。检测到的视频图像的前景目标的位置经数据处理算法形成航迹，具体是通过判断取新一帧的各个前景目标的位置和当前航迹之间的关系，进行关联，判别原理公式如下：

其中Plot_Distance为新一帧视频图像前景目标位置和航迹的距离，(u_s，v_x)为新一帧视频图像前景目标位置，(u_s，v_s)为航迹在视频图像中的位置，speed_x为航迹在视频图像中水平方向的速度，speed_y为航迹在视频图像中竖直方向的速度，

为方向角度。当满足设定条件时，对航迹进行更新并求取航迹新的速度，将检测到的前景运动目标形成稳定的航迹信息，便于后续自动化信息关联。

转换后的自动化信息和形成的目标稳定航迹进行比对，找出距离最近的一组，完成自动化信息的关联，将自动化信息中的航班信息，如航迹批号、高度、经纬度、航班号、二次代码、目的机场和起飞机场等和目标的航迹信息进行绑定，实现自动化信息的关联。

S5：初步建立映射表：

映射表的建立是自动挂标的主要依据。主要是将关联成功的目标位置和经纬度信息统计并存储下来，以此形成机场场面实际位置和对应视频图像坐标位置的转化映射表。

S6：映射表自动更新：

映射表自动更新是自学习策略的核心，是保证机场飞机自动挂标的准确的关键，具体原理如图3所示。随着视频图像检测关联数据的增多，不断记录下经纬度信息和对应的视频图像位置信息；基于自学习更新策略，具体是采用快速排序算法，首先按照映射表中的视频图像横向像素位置按照从小到大的顺序对映射表排序，再按照视频图像纵向像素位置按照从小到大的顺序对映射表排序，以此提高后续更新映射表的速度；接着将新的关联成功的航迹信息与映射表中的元素进行比较，当出现满足条件的关联信息时，停止查找映射表，如果未找到，则增加步长，加速遍历映射表，直达找到符合的位置，则停止，并将信息更新在映射表指定的位置，完成映射表的自动更新。

S7：手动更新映射表：

主要是针对视频图像难以检测到的位置，以此方法丰富映射表，保证挂标的全覆盖。具体是利用手动标绘，取出目标在视频图像中的位置，同时将距离最近的自动化信息手动关联，记录视频图像位置信息和对应的经纬度信息，更新映射表。

S8：自动挂标：

映射表更新到稳定时，此时即可利用映射表实现机场飞机的自动挂标，挂标效果如图4所示。具体是接入的新的自动化信息在映射表中查找，满足条件后，将元素中的视频图像位置与自动化信息进行绑定，形成场面航空器的初始航迹信息；接着将航迹信息与视频图像检测到的运动目标进行关联，关联成功后，使用检测位置更新航迹位置，计算速度；视频图像位置信息与航迹信息逐帧进行关联，未关联上的自动化航迹信息采用速度递推的方式，逐帧更新位置，形成机场场面的综合航迹信息；最后将综合航迹信息按位置赋值航班号等其他飞行器信息，完成机场场面飞机挂标。

本发明提供了一种基于自学习策略的机场飞机自动挂标方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于自学习策略的机场飞机自动挂标方法，其特征在于，包括如下步骤：

步骤1，计算视频图像和对应位置实际经纬度信息的转换矩阵；

步骤2，接入场间自动化信息，利用转换矩阵将其转化为对应的视频图像位置信息；

步骤3，接入机场场面视频图像，利用改进ViBe算法对场面上的运动目标进行检测，生成目标检测信息；

步骤4，利用目标信息关联算法完成运动目标与自动化信息的初次关联；

步骤5，记录关联信息，制作机场场面实际位置和对应视频图像坐标位置的转化映射表；

步骤6，基于自学习更新策略，依据关联信息随时间的更新，不断自动更新映射表；

步骤7，对视频图像中难以进行目标检测的位置进行手动标注，记录位置信息，更新映射表；

步骤8，将映射表、目标检测信息进行融合，形成综合航迹信息，完成机场场面视频图像中飞机的自动挂标。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

步骤1-1，在大小为3840*2160的视频图像对角线上随机取5个不同位置点，分别记为A(u₁,v₁)、B(u₂,v₂)、C(u₃,v₃)、D(u₄,v₄)、E(u₅,v₅)，其中u₁～u₅分别代表5个不同位置点在视频图像中的横向坐标位置，v₁～v₅分别代表5个不同位置点在视频图像中的纵向坐标位置；

步骤1-2，利用差分GPS和谷歌地图位置测量工具，测量步骤1-1中5个点的实际经纬度坐标及高度信息，分别记为A(la₁,lon₁,height₁)、B(la₂,lon₂,height₂)、C(la₃,lon₃,height₃)、D(la₄,lon₄,height₄)、E(la₅,lon₅,height₅)，其中la₁～la₅分别代表选取5个不同位置点的纬度值，lon₁～lon₅分别代表选取5个不同位置点的经度值，height₁～height₅分别代表选取5个不同位置点的高度值；

步骤1-3，利用差分GPS测量相机所在位置的经纬度，记为S(la_source,lon_source，)，其中la_source为纬度信息，la_source为经度信息，利用经纬度位置信息，分别计算步骤1-1中5个位置点相对相机位置之间的水平偏向角和竖直俯仰角，其中角度计算公式如下：

水平方向偏转角：

竖直方向俯仰角：

distace＝2*asin(abs(sin²((la-la_source)/2)+cos(la_source)*cos(la_source)

*sin²((lon-lon_source)/2)))

pitch＝asin(h-h_source)/(distance*6378.137*10³)

其中bear为偏转角，distance为待测点到相机的距离，pitch为俯仰角度，lon和la分别为待求位置的经度和纬度值，h为待求位置的高度，la_source和lon_source分别表示相机的纬度和经度值，h_source为相机高度；步骤1-2中5个点经计算后的偏转角和水平角分别为A(bear₁，pitch₁)、B(bear₂，pitch₂)、C(bear₃，pitch₃)、D(bear₄，pitch₄)、E(bear₅，pitch₅)；

步骤1-4，使用最小二乘法将步骤1-1中5个位置点的u像素坐标位置u₁～u₅和步骤1-3中对应的偏转角bear₁～bear₅进行二次拟合，得出偏转角和视频图像u像素之间的偏转映射转换矩阵T_BeartoU，使用最小二乘法将步骤1-1中5个位置点的v像素坐标位置v₁～v₂和步骤1-3中对应的俯仰角pitch₁～pitch₅进行二次拟合，得出俯仰角和视频图像v像素之间的俯仰映射转换矩阵T_PitchtoV。

3.根据权利要求2所述的方法，其特征在于，步骤2包括：

步骤2-1，根据标准CAT062空管自动化报文，接收场面上的空管自动化信息，包括接收自动化系统送出来的航空器的综合航迹信息，所述综合航迹信息包括航迹批号、高度、经纬度、航班号、二次代码、目的机场和起飞机场；

步骤2-2，利用1-3步骤中的经纬度转角度的计算方式，计算出各航迹距离相机位置的距离Dis，当Dis≤Dis_Val时，计算出航迹中经纬度对应的偏转角bear和俯仰角pitch；当Dis＞Dis_Val时，舍弃该条自动化航迹；其中Dis_Val为设定的距离阈值；

步骤2-3，根据步骤1-4中的偏转映射矩阵T_BeartoU和俯仰映射转换矩阵T_PitchtoV，将步骤2-2中计算出的偏转角bear和俯仰角pitch转化为对应的视频图像像素坐标(u₀，v₀)，当0＜u₀≤3840且0＜v₀≤2160时，则保留航迹信息，否则删除航迹信息，得出最终自动化信息转换成视频图像坐标位置的综合航迹信息。

4.根据权利要求3所述的方法，其特征在于，步骤3包括：

步骤3-1，接入视频图像，对其做降分辨率处理，将输入为3840*2160的视频图像缩小为原图的0.3倍，得到分辨率1152*648的视频图像img；

步骤3-2，利用中值滤波对视频图像img进行降噪处理，得到视频图像img1；

步骤3-3，利用ViBe算法对视频图像img1进行前景目标检测，得到前景图像img2；

步骤3-4，利用中值滤波对前景图像img2进行降噪处理，得到视频图像img3；

步骤3-5，将视频图像img3向外膨胀n个像素，得到视频图像img4，然后将视频图像img4与前景图像img3做逻辑与操作，得到视频图像img5，也即是img5＝img3&img4；

步骤3-6，利用联合双边滤波算法完成视频图像img5的降噪和增强，得到视频图像img6；

步骤3-7，使用闭运算完成视频图像img6的目标断裂处的连结，同时去除干扰噪声，最后通过轮廓查找，完成视频图像运动目标的检测和定位。

5.根据权利要求4所述的方法，其特征在于，步骤4包括：

步骤4-1：将步骤3-7中检测到的视频图像的前景目标的位置经数据处理算法形成航迹，具体是通过判断新一帧视频图像的各个前景目标的位置和当前航迹之间的关系，进行关联，判别原理公式如下：

其中Plot_Distance为新一帧视频图像前景目标位置和航迹的距离，(u_x，v_x)为新一帧视频图像前景目标位置，(u_s，v_s)为航迹在视频图像中的位置，speed_x为航迹在视频图像中水平方向的速度，speed_y为航迹在视频图像中竖直方向的速度，

为方向角度，当Plot_Distance<val_plot，

时，此时对航迹进行更新并求取航迹新的速度，否则停止更新航迹位置，其中val_plot为距离判定阈值，

为方向角度阈值，依据步骤4-1的方法，将检测到的前景运动目标形成稳定的航迹信息；

步骤4-2：将经步骤2-3转换后的自动化信息和步骤4-1形成的稳定航迹进行比对，找出距离最近的一组，完成自动化信息的关联，将自动化信息中的航班信息和目标的航迹信息进行绑定，完成初步挂标。

6.根据权利要求5所述的方法，其特征在于，步骤5包括：将步骤4-2中绑定后的目标位置和经纬度信息统计并存储下来，机场场面实际位置和对应视频图像坐标位置的转化映射表AirMap，AirMap的大小为1152*648，每个位置的元素为(u,v,la,lon),其中u、v、la、lon分别代表视频图像横向坐标、纵向坐标、经度和纬度。

7.根据权利要求6所述的方法，其特征在于，步骤6包括：

步骤6-1，随着视频图像关联的自动化信息的增多，不断记录下经纬度信息和对应的视频图像位置信息；

步骤6-2，基于自学习更新策略，依据步骤6-1记录的关联的自动化信息，不断更新步骤5中的映射表AirMap。

8.根据权利要求7所述的方法，其特征在于，步骤6-2包括：

步骤6-2-1，采用快速排序算法，首先基于AirMap中的视频图像横向位置u按照从小到大排序；

步骤6-2-2，采用快速排序算法，基于AirMap中的视频图像纵向位置v按照从小到大排序；

步骤6-2-3，接入新的经纬度和对应视频图像位置信息，将现有的位置信息和AirMap中的元素做比较，利用步骤4-1中距离计算公式计算二者之间的地理位置距离Dis_Truth，同时计算二者在视频图像中的像素位置距离Dis_Img；

步骤6-2-4，当Dis_Truth>5，且Dis_Img！＝0，将新的视频图像位置信息加入AirMap中，更新AirMap，否则舍弃新的视频图像位置信息，完成AirMap的更新。

9.根据权利要求8所述的方法，其特征在于，步骤7包括：针对视频图像难以检测到的位置，利用手动标绘，取出目标在视频图像中的位置，同时将距离最近的自动化信息手动关联，记录视频图像位置信息和对应的经纬度信息，添加到映射表AirMap中。

10.根据权利要求9所述的方法，其特征在于，步骤8包括：

步骤8-1，在映射表AirMap中查找接入的新的自动化信息，当接入的自动化信息和映射表中的自动化信息的实际的地理距离Dis_Air<5时，此时将映射表AirMap中的元素中的视频图像位置与自动化信息进行绑定，形成场面航空器的初始航迹信息，此时初始航迹信息中包含有航迹批号、高度、经纬度、航班号、二次代码、目的机场和起飞机场及通过映射表查找生成的视频图像位置信息；

步骤8-2，将初始航迹信息中的视频图像位置信息与视频图像检测到的运动目标的位置信息进行关联，具体使用初始航迹信息中在视频图像中的位置和运动目标的位置之间的距离关系进行关联，判别公式如下：

其中Plot_Distance_Jduge为运动目标和初始航迹信息在视频图像中的位置距离，(u_t，v_t)为初始航迹信息在视频图像中的位置，(u_p，v_p)为运动目标在视频图像中的位置，当Plot_Distance_Jduge≤value_distance，则将初始航迹信息更新为运动目标在视频图像中的位置，否则不更新，其中value_distance为设定的阈值；

完成航迹位置更新后，开始计算航迹速度，具体是将历史的航迹位置信息和当前航迹位置进行进行比较，分别计算其在视频图像水平和竖直方向的速度，速度计算公式如下：

speed_u＝(u_new-u_old)/(N-M)

speed_v＝(v_new-v_old)/(N-M)

其中speed_u为航迹在视频图像中水平方向的速度，speed_v为航迹在视频图像中竖直方向的速度，u_new和v_new分别为航迹在最新的第N帧的视频图像中的横坐标和纵坐标，u_old和v_old分别为航迹在历史上第M帧视频图像中的横坐标和纵坐标。

步骤8-3，每一帧视频图像位置信息与步骤8-2的航迹位置信息进行关联，未关联上的不更新的自动化航迹信息采用速度递推的方式变换其位置，具体是将其当前位置信息与其速度求和，得到的值即为递推出来的最新位置；

步骤8-4，将航迹信息中的航班号根据其对应在视频图像中的位置信息进行显示，完成机场场面飞机的自动挂标。

Images