CN107770496A - 全景视频上的飞机智能监视方法、装置及系统 - Google Patents

Abstract

本发明涉及一种全景视频上的飞机智能监视方法、装置及系统，所述方法包括：实时获取航班的标牌信息和GPS坐标；通过预先确定的单应变换矩阵将GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，单应变换矩阵为GPS坐标和单路视频的像素坐标之间的变换关系；对单路视频上的飞机作检测和跟踪，得到位置坐标集；融合像素坐标集和位置坐标集，得到航班在单路视频中唯一的坐标位置；利用全景拼接算法得到航班的坐标位置在全景视频中对应的像素位置，在像素位置处显示航班的标牌信息。本发明提供了一种全景视频上的飞机智能监视方法、装置及系统，利用分布式处理，提高了在全景视频中添加标牌信息的精度和效率。

Description

全景视频上的飞机智能监视方法、装置及系统

技术领域

本发明涉及机场场面监视技术领域，具体涉及全景视频上的飞机智能监视方法、装置及系统。

背景技术

机场场面的准确监视对保证飞机安全、高效运行，降低航班延误率有着重要意义，由单个独立摄像机的简单监视到多个摄像机的全景监视已成为趋势，作为补盲或辅助决策的一个重要工具，越来越多的机场已经开始使用全景视频来做场面监视。机场场面具有视野宽的特点，全景视频能很好的发挥优势，使工作人员更容易掌握当前的整体态势，但现在已经使用的全景视频技术更多地只是几个固定摄像机的无缝拼接，只作为画面的显示手段，无法提供更多的有用信息。

对于单路视频，已存在飞机挂标牌技术。利用视频的检测和跟踪得到飞机在视频画面上的像素位置，通过ADS-B得到飞机当前的地理位置坐标，再利用单应变换得到像素位置和地理位置的一一对应关系，从而可以把ADS-B上的其他重要信息，如航班号、飞行计划等以标牌的形式挂在视频上，以提供更多有用信息，对场面的有效监视起着巨大作用。

单路视频挂标牌技术理论上可直接用于全景视频的挂标牌，但实际运用中，存在以下缺陷：(1)全景画面都会有一定程度的畸变，这会导致单应变换不准确，对于远距离的场面位置映射将会产生很大的误差，甚至可直接使得标牌位置挂不准确；(2)全景视频画面分辨率高，对其的检测跟踪计算量巨大，导致很难实际运用；(3)ADS-B自身的误差相对较高，如果只用ADS-B，可能导致相邻飞机的标牌信息挂错。

发明内容

针对现有技术中的缺陷，本发明提供了一种全景视频上的飞机智能监视方法、装置及系统，利用分布式处理，提高了在全景视频中添加标牌信息的精度和效率，方便了管制员对机场场面进行监视，保证了飞机安全、高效运行。

第一方面，本发明提供了一种全景视频上的飞机智能监视方法，包括：

步骤S1，实时获取航班的标牌信息和GPS坐标；

步骤S2，通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

步骤S3，对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

步骤S4，融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

步骤S5，利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息。

进一步的，所述步骤S1包括：利用网络模块实时接收A-SMGCS数据，从所述A-SMGCS数据中获取航班的标牌信息和GPS坐标。

其中，A-SMGCS(Advanced Surface Movement Guidance Control System)为场面监视与引导控制的一个重要系统，融合了ADS-B、多点定位、场面监视雷达等多种传感器的数据，能得到更为准确的场面飞机信息。

进一步的，所述A-SMGCS数据融合了ADS-B、多点定位、场面监视雷达数据中的一种或多种数据。

进一步的，所述步骤S4包括：

通过计算所述像素坐标集中的像素坐标和所述位置坐标集中的位置坐标的欧式距离，根据欧式距离将与所述像素坐标最近的位置坐标作为所述航班在所述单路视频中唯一的坐标位置。

进一步的，所述步骤S4和步骤S5之间还包括：利用所述航班的标牌信息检测同一航班是否存在多个对应的坐标位置，若是，则删除重复出现的坐标位置。

进一步的，所述步骤S3包括：利用检测跟踪算法对所述单路视频上的飞机作检测和跟踪，得到位置坐标集，其中，所述检测跟踪算法为采用基于统计模型的检测跟踪算法或者基于深度学习的检测跟踪算法。

进一步的，所述单应变换矩阵的生成步骤包括：在机场场面内选取标定点，获取所述标定点的GPS坐标，并记下所述标定点的像素坐标，计算出所述标定点的像素坐标和GPS坐标之间的变化矩阵作为单应变换矩阵。

进一步的，所述在机场场面内选取标定点，包括：在机场场面内选取至少四个标定点，且任意三个所述标定点不共线。

第二方面，本发明提供了一种全景视频上的飞机智能监视装置，包括：

航班信息获取模块，用于实时获取航班的标牌信息和GPS坐标；

坐标变换模块，用于通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

跟踪模块，用于对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

融合模块，用于融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

全景坐标变换模块，用于利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息。

第三方面，本发明提供了一种全景视频上的飞机智能监视系统，包括摄像机，跟踪服务器，全景拼接服务器和显示设备；

多台所述摄像机均与所述全景拼接服务器连接，每台所述摄像机连接一台所述跟踪服务器，每台所述跟踪服务器均与所述全景拼接服务器连接，所述全景拼接服务器与显示设备连接；

所述摄像机用于获取实时的视频；

所述跟踪服务器包括跟踪模块，用于对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

所述全景拼接服务器包括全景拼接模块，航班信息获取模块，坐标变换模块，融合模块和全景坐标变换模块；

所述全景拼接模块用于拼接多台所述摄像机获取的视频得到全景视频；

所述航班信息获取模块，用于实时获取航班的标牌信息和GPS坐标；

所述坐标变换模块，用于通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

所述融合模块，用于融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

所述全景坐标变换模块，用于利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息；

所述显示设备用于显示带标牌信息的全景视频。

本实施例的全景视频上的飞机智能监视方法、装置及系统，采用分布式架构，先对单路摄像机获取的视频中的运动目标做检测和跟踪，在单路摄像机上融合来自A-SMGCS的标牌信息，然后，利用单路摄像机到全景上的映射关系，实现标牌信息到全景的映射，最后，在全景上融合各标牌信息，得到具有准确标牌信息的全景视频画面，且提高了标牌信息挂接位置的精度和准确度。

附图说明

图1为本发明实施例一所提供的全景视频上的飞机智能监视方法的流程图；

图2为本发明实施例二所提供的全景视频上的飞机智能监视装置的结构框图；

图3为本发明实施例三所提供的全景视频上的飞机智能监视系统的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例一

如图1所示，本实施例提供了一种全景视频上的飞机智能监视方法，包括：

步骤S1，实时获取航班的标牌信息和GPS坐标；

步骤S2，通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

步骤S3，对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

步骤S4，融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

步骤S5，利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息。

其中，全景拼接算法有很多，本实施例适合任意的全景拼接算法，比如，一种典型的全景拼接算法为：对各摄像机的画面作柱面投影，利用SURF算法找特征点，通过RANSAC算法融合重合带得到无缝全景拼接画面。

进一步的，所述步骤S1包括：利用网络模块实时接收A-SMGCS数据，从所述A-SMGCS数据中获取航班的标牌信息和GPS坐标。其中，所述A-SMGCS数据融合了ADS-B、多点定位、场面监视雷达数据中的一种或多种数据。

进一步的，所述步骤S4包括：通过计算所述像素坐标集中的像素坐标和所述位置坐标集中的位置坐标的欧式距离，根据欧式距离将与所述像素坐标最近的位置坐标作为所述航班在所述单路视频中唯一的坐标位置。

进一步的，所述步骤S4和步骤S5之间还包括：利用所述航班的标牌信息检测同一航班是否存在多个对应的坐标位置，若是，则删除重复出现的坐标位置。本实施例的方法最终会融合多路视频的监测结果，当飞机出现在多路视频重叠的区域时会被多台摄像机获取，此时通过上述步骤可以去除多路视频重叠区域中的重复信息，保证全景视频中目标的单一性。其中，可利用相同飞机具有相同航班号来去除重叠区域的重复标牌信息。

进一步的，所述步骤S3包括：利用检测跟踪算法对所述单路视频上的飞机作检测和跟踪，得到位置坐标集，其中，所述检测跟踪算法采用现有的主流检测跟踪算法即可，比如：混合高斯与KLT结合的跟踪算法，TLD跟踪算法，KCF跟踪算法，基于深度学习的跟踪算法。以上算法都为现有技术，在此不再赘述。

进一步的，所述单应变换矩阵的生成步骤包括：在机场场面内选取标定点，获取所述标定点的GPS坐标，并记下所述标定点的像素坐标，计算出所述标定点的像素坐标和GPS坐标之间的变化矩阵作为单应变换矩阵。其中，选取的标定点的数量可以选为四个，只要保证其中的任意三个点不共线，即可计算出单应变换矩阵。实际使用中可选择超过四个的标定点，用于验证测试和提高单应变换矩阵的准确率。

设GPS坐标对应的齐次坐标为(x₁,y₁,1)^T，像素坐标对应的齐次坐标(x₂,y₂,1)^T，则单应变换矩阵的形式如下：

因为点对采用齐次坐标，齐次坐标可相差一个常数，因此，整个单应变换矩阵可相差一个常数，例如可设h₃₃＝1，所以，单应变换矩阵只有8个自由度，利用任意3点不共线的4个点对应即可求解出单应变换矩阵。

本实施例的方法采用分布式架构，先对单路摄像机获取的视频中的运动目标做检测和跟踪，在单路摄像机上融合来自A-SMGCS的标牌信息，然后，利用单路摄像机到全景上的映射关系，实现标牌信息到全景的映射，最后，在全景上融合各标牌信息，得到具有准确标牌信息的全景视频画面，且提高了标牌信息挂接位置的精度和准确度。

实施例二

基于与实施例一中的方法相同的发明构思，本实施例提供了一种全景视频上的飞机智能监视装置，如图2所示，包括：

航班信息获取模块，用于实时获取航班的标牌信息和GPS坐标；

坐标变换模块，用于通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

跟踪模块，用于对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

融合模块，用于融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

拼接模块，用于利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息。

进一步的，所述航班信息获取模块具体用于：利用网络模块实时接收A-SMGCS数据，从所述A-SMGCS数据中获取航班的标牌信息和GPS坐标。其中，所述A-SMGCS数据融合了ADS-B、多点定位、场面监视雷达数据中的一种或多种数据。

进一步的，所述融合模块具体用于：通过计算所述像素坐标集中的像素坐标和所述位置坐标集中的位置坐标的欧式距离，根据欧式距离将与所述像素坐标最近的位置坐标作为所述航班在所述单路视频中唯一的坐标位置。

进一步的，所述融合模块和拼接模块之间还包括滤波模块，所述滤波模块用于：利用所述航班的标牌信息检测同一航班是否存在多个对应的坐标位置，若是，则删除重复出现的坐标位置。本实施例的装置最终会融合多路视频的监测结果，当飞机出现在多路视频重叠的区域时会被多台摄像机获取，此时通过上述步骤可以去除多路视频重叠区域中的重复信息，保证全景视频中目标的单一性。其中，可利用相同飞机具有相同航班号来去除重叠区域的重复标牌信息。

进一步的，所述跟踪模块具体用于：利用检测跟踪算法对所述单路视频上的飞机作检测和跟踪，得到位置坐标集，其中，所述检测跟踪算法为采用基于统计模型的检测跟踪算法或者基于深度学习的检测跟踪算法。

进一步的，所述单应变换矩阵的生成步骤包括：在机场场面内选取标定点，获取所述标定点的GPS坐标，并记下所述标定点的像素坐标，计算出所述标定点的像素坐标和GPS坐标之间的变化矩阵作为单应变换矩阵。其中，选取的标定点的数量可以选为四个，只要保证其中的任意三个点不共线，即可计算出单应变换矩阵。实际使用中可选择超过四个的标定点，用于验证测试和提高单应变换矩阵的准确率。

本实施例的装置采用分布式架构，先对单路摄像机获取的视频中的运动目标做检测和跟踪，在单路摄像机上融合来自A-SMGCS的标牌信息，然后，利用单路摄像机到全景上的映射关系，实现标牌信息到全景的映射，最后，在全景上融合各标牌信息，得到具有准确标牌信息的全景视频画面，且提高了标牌信息挂接位置的精度和准确度。

实施例三

如图3所示，基于与实施例一中的方法相同的发明构思，本实施例提供了一种全景视频上的飞机智能监视系统，包括摄像机，跟踪服务器，全景拼接服务器和显示设备；

多台所述摄像机均与所述全景拼接服务器连接，每台所述摄像机连接一台所述跟踪服务器，每台所述跟踪服务器均与所述全景拼接服务器连接，所述全景拼接服务器与显示设备连接；

所述摄像机用于获取实时的视频；

所述跟踪服务器包括跟踪模块，用于对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

所述全景拼接服务器包括全景拼接模块，航班信息获取模块，坐标变换模块，融合模块和全景坐标变换模块；

所述全景拼接模块用于拼接多台所述摄像机获取的视频得到全景视频；

所述航班信息获取模块，用于实时获取航班的标牌信息和GPS坐标；

所述坐标变换模块，用于通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

所述融合模块，用于融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

所述全景坐标变换模块，用于利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息；

所述显示设备用于显示带标牌信息的全景视频。

进一步的，所述航班信息获取模块具体用于：利用网络模块实时接收A-SMGCS数据，从所述A-SMGCS数据中获取航班的标牌信息和GPS坐标。其中，所述A-SMGCS数据融合了ADS-B、多点定位、场面监视雷达数据中的一种或多种数据。

进一步的，所述融合模块具体用于：通过计算所述像素坐标集中的像素坐标和所述位置坐标集中的位置坐标的欧式距离，根据欧式距离将与所述像素坐标最近的位置坐标作为所述航班在所述单路视频中唯一的坐标位置。

进一步的，所述融合模块和拼接模块之间还包括滤波模块，所述滤波模块用于：利用所述航班的标牌信息检测同一航班是否存在多个对应的坐标位置，若是，则删除重复出现的坐标位置。本实施例的装置最终会融合多路视频的监测结果，当飞机出现在多路视频重叠的区域时会被多台摄像机获取，此时通过上述步骤可以去除多路视频重叠区域中的重复信息，保证全景视频中目标的单一性。其中，可利用相同飞机具有相同航班号来去除重叠区域的重复标牌信息。

进一步的，所述跟踪模块具体用于：利用检测跟踪算法对所述单路视频上的飞机作检测和跟踪，得到位置坐标集，其中，所述检测跟踪算法为采用基于统计模型的检测跟踪算法或者基于深度学习的检测跟踪算法。

进一步的，所述单应变换矩阵的生成步骤包括：在机场场面内选取标定点，获取所述标定点的GPS坐标，并记下所述标定点的像素坐标，计算出所述标定点的像素坐标和GPS坐标之间的变化矩阵作为单应变换矩阵。其中，选取的标定点的数量可以选为四个，只要保证其中的任意三个点不共线，即可计算出单应变换矩阵。实际使用中可选择超过四个的标定点，用于验证测试和提高单应变换矩阵的准确率。

本实施例的系统，采用分布式架构，先对单路摄像机获取的视频中的运动目标做检测和跟踪，在单路摄像机上融合来自A-SMGCS的标牌信息，然后，利用单路摄像机到全景上的映射关系，实现标牌信息到全景的映射，最后，在全景上融合各标牌信息，得到具有准确标牌信息的全景视频画面，且提高了标牌信息挂接位置的精度和准确度。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种全景视频上的飞机智能监视方法，其特征在于，包括：

步骤S1，实时获取航班的标牌信息和GPS坐标；

步骤S2，通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

步骤S3，对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

步骤S4，融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

步骤S5，利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：利用网络模块实时接收A-SMGCS数据，从所述A-SMGCS数据中获取航班的标牌信息和GPS坐标。

3.根据权利要求2所述的方法，其特征在于，所述A-SMGCS数据融合了ADS-B、多点定位、场面监视雷达数据中的一种或多种数据。

4.根据权利要求1所述的方法，其特征在于，所述步骤S4包括：

通过计算所述像素坐标集中的像素坐标和所述位置坐标集中的位置坐标的欧式距离，根据欧式距离将与所述像素坐标最近的位置坐标作为所述航班在所述单路视频中唯一的坐标位置。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4和步骤S5之间还包括：利用所述航班的标牌信息检测同一航班是否存在多个对应的坐标位置，若是，则删除重复出现的坐标位置。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：利用检测跟踪算法对所述单路视频上的飞机作检测和跟踪，得到位置坐标集，其中，所述检测跟踪算法为采用基于统计模型的检测跟踪算法或者基于深度学习的检测跟踪算法。

7.根据权利要求1所述的方法，其特征在于，所述单应变换矩阵的生成步骤包括：在机场场面内选取标定点，获取所述标定点的GPS坐标，并记下所述标定点的像素坐标，计算出所述标定点的像素坐标和GPS坐标之间的变化矩阵作为单应变换矩阵。

8.根据权利要求7所述的方法，其特征在于，所述在机场场面内选取标定点，包括：在机场场面内选取至少四个标定点，且任意三个所述标定点不共线。

9.一种全景视频上的飞机智能监视装置，其特征在于，包括：

航班信息获取模块，用于实时获取航班的标牌信息和GPS坐标；

坐标变换模块，用于通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

跟踪模块，用于对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

融合模块，用于融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

全景坐标变换模块，用于利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息。

10.一种全景视频上的飞机智能监视系统，其特征在于，包括摄像机，跟踪服务器，全景拼接服务器和显示设备；

多台所述摄像机均与所述全景拼接服务器连接，每台所述摄像机连接一台所述跟踪服务器，每台所述跟踪服务器均与所述全景拼接服务器连接，所述全景拼接服务器与显示设备连接；

所述摄像机用于获取实时的视频；

所述跟踪服务器包括跟踪模块，用于对所述单路视频上的飞机作检测和跟踪，得到位置坐标集；

所述全景拼接服务器包括全景拼接模块，航班信息获取模块，坐标变换模块，融合模块和全景坐标变换模块；

所述全景拼接模块用于拼接多台所述摄像机获取的视频得到全景视频；

所述航班信息获取模块，用于实时获取航班的标牌信息和GPS坐标；

所述坐标变换模块，用于通过预先确定的单应变换矩阵将所述GPS坐标转换为单路视频中的像素坐标，得到像素坐标集，其中，所述单应变换矩阵为所述GPS坐标和所述单路视频的像素坐标之间的变换关系；

所述融合模块，用于融合所述像素坐标集和所述位置坐标集，得到所述航班在所述单路视频中唯一的坐标位置；

所述全景坐标变换模块，用于利用全景拼接算法得到所述航班的坐标位置在全景视频中对应的像素位置，在所述像素位置处显示所述航班的所述标牌信息；

所述显示设备用于显示带标牌信息的全景视频。