CN103544852B - 一种在机场场面监视视频中实现飞机自动挂标牌的方法 - Google Patents

Abstract

本发明公开了一种在机场场面监视视频中实现飞机自动挂标牌的方法。该方法包括：通过图像跟踪技术获取视频中的飞机图像坐标，在机场电子地图与视频图像上分别选取4个及以上点特征和/或线特征来计算出机场地理平面与视频图像平面之间的单应矩阵；对机场场面监视视频中的飞机进行目标监测与跟踪，并利用单应矩阵将飞机位置映射成实时位置坐标；利用数据融合技术将飞机位置坐标与机场场面监视视频中的实时图像跟踪坐标关联；提取ADS-B数据中航班标牌信息，把标牌信息叠加到视频图像中，实现自动挂标牌。本发明的有益效果是：实时跟踪飞机的位置并将航班标牌信息自动关联并叠加到机场场面监视视频中的视频图像中，使用者可以直观地了解场面活动情况。

Description

一种在机场场面监视视频中实现飞机自动挂标牌的方法

技术领域

本发明涉及机场数据处理技术领域，特别是一种在机场场面监视视频中实现飞机自动挂标牌的方法。

背景技术

视频监视已经在机场场面得到广泛应用，通过在跑道、滑行道、停机位等重要区域安装监视摄像头实现对场面飞机活动的监视，能有效帮助场面管制员管理场面交通情况，是机场场面运行管理不可或缺的监视手段。

一些大型机场往往有多条跑道，场面布局复杂，常出现一些在塔台无法直接肉眼观察的死角，此时摄像头是管制员直观掌握场面活动情况的必要手段。作为一种非协作传感器，监视视频上只能提供目标图像信息，无法提供目标标牌信息。场面管制员还需要通过查看飞行计划、ATC监视画面等来确定视频中的飞机标牌信息，目前只能采用人工方式对飞机进行手动挂标牌。而ADS-B作为一种协作传感器也只能提供目标位置、速度等定位信息以及航班号、起降机场等标牌信息，无法提供飞机图像信息。因此，视频挂标牌方面的技术还需要进一步的改进。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种在机场场面监视视频中实现飞机自动挂标牌的方法，通过数据融合技术把ADS-B的标牌信息叠加到视频监视中，以实现场面监视视频中的飞机自动挂标牌。

本发明涉及的一种在机场场面监视视频中实现飞机自动挂标牌的方法，包括以下几个步骤：

一、从摄像头摄下的机场场面监视视频中截取一帧视频图像，在图像上选取四个以上的点特征和/或线特征并确定图像坐标；在机场电子地图上找出对应的点标志和/或线标志并确定地理坐标；

二、利用找到的图像坐标和地理坐标来计算视频图像平面与机场地图平面之间的单应矩阵；

三、通过图像跟踪技术对机场场面监视视频中的飞机进行目标监测与跟踪确定飞机的实时图像跟踪坐标，并利用单应矩阵将其映射成实时地理坐标；

四、利用ADS-B数据处理技术获取飞机的实时位置坐标，再利用数据融合技术将其与机场场面监视视频中的实时图像跟踪坐标关联；

五、提取ADS-B数据中与机场场面监视视频中的飞机关联上的航班标牌信息，把标牌信息叠加到视频图像中，实现自动挂标牌。

综上所述，由于采用了上述技术方案，本发明的有益效果是：实时跟踪飞机的位置并将航班标牌信息自动关联并叠加到机场场面监视视频中的视频图像中，使用者可以更加方便直观地了解场面活动情况。

附图说明

图1是本发明实现机场场面监视视频飞机自动挂标牌的基本流程图。

图2是本发明中由单应矩阵决定的机场地理平面与视频图像平面之间的投影关系。

图中标记：1为投影中心，2为视频图像平面，3为单应矩阵，4为机场地图平面。

具体实施方式

下面结合附图，对本发明作详细的说明。

实施例

如图1所示，本发明涉及的一种在机场场面监视视频中实现飞机自动挂标牌的方法，包括以下几个步骤：

一、从摄像头摄下的机场场面监视视频中截取一帧视频图像，在图像上选取四个以上的点特征和/或线特征并确定图像坐标；在机场电子地图上找出对应的点标志和/或线标志并确定地理坐标；

二、利用找到的图像坐标和地理坐标来计算视频图像平面与机场地图平面之间的单应矩阵；

三、通过图像跟踪技术对机场场面监视视频中的飞机进行目标监测与跟踪确定飞机的实时图像跟踪坐标，并利用单应矩阵将其映射成实时位置坐标；

四、利用ADS-B数据处理技术获取飞机的实时位置坐标，再利用数据融合技术将其与机场场面监视视频中的实时图像跟踪坐标关联；

五、提取ADS-B数据中与机场场面监视视频中的飞机关联上的航班标牌信息，把标牌信息叠加到视频图像中，实现自动挂标牌。

在本方法第一步骤中，机场场面监视视频的图像上的点特征或险特征选取可以采用人工方式或机器自动识别方式，应选取易于识别、易于获取地图坐标的点特征或线特征，并具有较好的几何分布以减小坐标转换误差。

在本方法第二步骤中，单应矩阵计算是为了实现被跟踪飞机的图像坐标与实际的机场地图坐标间的相互转换，是实现视频自动挂标牌的关键一步。如果把机场地图看作一个投影面即机场地图平面4，视频图像看作另一个投影面即视频图像平面2，那么这两个平面之间的投影变换关系可用一个                                                的单应矩阵来描述。

针对点特征，机场地图与视频图像上的一对点存在如下坐标变换关系：

                 （1）

 把地图坐标和图像坐标写为三维齐次列矢量，，则方程（1）可写为：

            （2）

对于单应矩阵有意义的仅仅是矩阵元素的比率，在的9个元素中有8个独立比率，因此单应矩阵有8个自由度。此方程中的单应矩阵乘以一个非零尺度因子不会改变投影变换关系，即单应矩阵仅能确定到相差一个非零尺度因子。

在方程（2）中消去得到关于元素的两个线性方程：

    （3）

    （4）

   把方程（3）和（4）写成矩阵形式有：

                                 （5）

式中：

；

。

即是说每对点特征可以提供两个独立线性方程，那么4对点特征能提供8个独立线性方程，把4个矩阵叠在一起构成一个矩阵，唯一的限制是4个点对应中任意3点不共线。的秩为8，方程组，因而有1维零空间，从而能解出只相差一个尺度因子的确定解。一旦得到了单应矩阵，通过（2）式便能实现任意点的图像坐标与地图坐标之间的相互转换。

当有超过4组以上的点特征，那么是一个超定方程组。如果所有点特征的测量值都是精确的，那么的秩依然为8，有一维零空间可以得到的精确解。但实际上点特征的坐标测量受噪声影响值存在误差，导致超定矩阵没有精确解。此时我们只能定义一个代价函数，求一个使代价函数取最小值的近似解。通常选择代数距离作为代价函数，为确保不为矢量，附加范数条件。

有时在机场地图和视频图像上选取足够多的点特征比较困难，除了选择点特征来计算单应矩阵，还可以使用线对应计算单应矩阵；基于线对应的单应矩阵估计方法比基于点对应估计有更高的精度和更好的鲁棒性。根据二维射影几何的对偶原理，对点成立的定理对线也成立，点线可以互换。因此除了点对特征，还可以选择线特征计算单应矩阵。

针对线特征，平面上的直线方程为，,,为直线参数。因此，和点的齐次矢量表示一样，直线也可以表示成齐次矢量。设机场地图平面和视频图像平面上的一对线对应、，那么点在直线上，点在直线上可表示分别为：

                                    （6）

                                   （7）

由（1）式可知带入（7）式有：

                                  （8）

比较（7），（8）两式有：

                                   （9）

设，，则

     (10)

消去方程（10）中的同样可得矩阵如下：

设有个点特征，个线特征，则可以得到矩阵，解超定方程组得到最优解。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种在机场场面监视视频中实现飞机自动挂标牌的方法，其特征在于包括以下几个步骤：

一、从摄像头摄下的机场场面监视视频中截取一帧视频图像，在图像上选取四个以上的点特征和/或线特征并确定图像坐标；在机场电子地图上找出对应的点标志和/或线标志并确定地理坐标；

二、利用找到的图像坐标和地理坐标来计算视频图像平面与机场地图平面之间的单应矩阵；

三、通过图像跟踪技术对机场场面监视视频中的飞机进行目标监测与跟踪确定飞机的实时图像跟踪坐标，并利用单应矩阵将其映射成实时位置坐标；

四、利用ADS-B数据处理技术获取飞机的实时位置坐标，再利用数据融合技术将其与机场场面监视视频中的实时图像跟踪坐标关联；

五、提取ADS-B数据中与机场场面监视视频中的飞机关联上的航班标牌信息，把标牌信息叠加到视频图像中，实现自动挂标牌。