CN105847750B - 基于地理编码的无人机视频影像实时显示的方法及装置 - Google Patents

Abstract

本发明提供了基于地理编码的无人机视频影像实时显示的方法及装置，该方法包括：通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取待观测现场的地理信息后，先对获取的现场视频信息和地理信息进行时间同步操作；按照预设时间间隔自动对同步后的现场视频信息进行关键帧提取；然后，基于共线方程的地理编码方式对提取到的关键帧进行地理编码；再在三维显示平台上逐帧播放地理编码后的关键帧影像。本发明实施例通过基于共线方程的方式对提取到的关键帧进行地理编码，并将地理编码后的关键帧在三维显示平台上实时逐帧动态展示，便于观察者实时了解某一具体地理位置的实际现场情况。

Description

基于地理编码的无人机视频影像实时显示的方法及装置

技术领域

本发明涉及影像处理技术领域，具体而言，涉及基于地理编码的无人机视频影像实时显示的方法及装置。

背景技术

目前，无人机是一种利用无线电遥控设备和机载飞控系统操纵的不载人飞机，无人机被广泛应用于现场侦察、地形测绘等领域。近年来，我国自然灾害频发，随着无人机技术的快速发展，无人机遥感为灾情信息获取、决策指挥、抢险救灾、灾后恢复重建等工作提供了新的技术手段。加之，无人机遥感具有机动灵活、针对性强、效率高、成本低、适用范围广等有点，因而，无人机遥感越来越多广泛地被应用于各个行业领域，逐步成为航空、航天遥感的重要补充手段。

当前，相关技术中提供了一种无人机视频影像的显示方法，该方法主要是在无人机飞行过程中，采用无人机搭载的数码相机作为传感器采集现场数码像片，同时通过GPS模块获取地理信息，然后，当无人机降落后，先取出无人机飞行过程中采集的现场数码像片和获取的地理信息，再将现场数码像片和地理信息进行关联显示，即在相关技术中需要在无人机飞行过程中事先获取现场数码像片和现场地理信息，再在无人机落地后才采用传统的空中三角测量的方法进行现场数码像片的地理编码处理，其中，对获取的现场数码像片进行地理编码的过程包括：首先，通过数码相机检校，获取相机检校参数；对获取的数码像片进行内定向；然后，通过对相邻像片进行特征提取、影像匹配获取相邻像片的同名像点，进行相对定向；通过核线重采样，进行影像匹配，人工选取地面控制点，进行绝对定向；最后，通过微分纠正生成单片数字正射影像，完成影像地理编码，从而实现现场影像数据和地理信息的关联显示。

在实现本发明的过程中，发明人发现相关技术中至少存在以下问题：相关技术中采用传统的空中三角测量的方法对现场数码像片进行地理编码，整个处理过程比较专业和复杂，且在无人机飞行过程中，无法进行现场视频影像与地理信息的关联处理，视频影像是以视频流播放的形式进行动态展示，此时视频影像不具有任何地理信息，观察者只能目测现场情况，不能进行量算，分析；并且主要是针对数码相机影像的而不是针对视频关键帧影像，且必须先获取影像，无人机降落后，进行影像的地理编码处理，实时性差，不利于观察者实时了解某一具体地理位置的实际现场情况。

发明内容

有鉴于此，本发明实施例的目的在于提供基于地理编码的无人机视频影像实时显示的方法及装置，以实现在无人机飞行过程中将现场视频影像与地理信息实时关联显示，便于观察者更加直观地了解待观测现场的实况信息并可以对采集的视频影像实时进行准确定位，提高了物像关联显示的实时性。

第一方面，本发明实施例提供了一种基于地理编码的无人机视频影像实时显示的方法，该方法包括：

通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取上述待观测现场的地理信息，其中，该地理信息包括：上述现场视频信息中视频影像的像主点所对应的经纬度坐标；

对获取的上述现场视频信息和上述地理信息进行时间同步操作；

按照预设时间间隔自动对同步后的上述现场视频信息进行关键帧提取；

基于共线方程的地理编码方式对提取到的上述关键帧进行地理编码；

在三维显示平台上逐帧播放地理编码后的关键帧影像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述基于共线方程的地理编码方式对提取到的上述关键帧进行地理编码包括：

在提取到的上述关键帧中，选取至少三张关键帧，对选取的上述关键帧进行像方坐标系转换，以使选取的上述关键帧中各个像素点的像方坐标统一至同一像方坐标系下；

由像素点的像方坐标和上述像素点所对应的经纬度坐标组成共线方程组；

在统一的坐标系下，根据选取的上述关键帧中像主点的像方坐标和上述像主点所对应的经纬度坐标求解上述共线方程组中的转换系数；

根据计算得到的上述转换系数和提取到的上述关键帧中各个像素点的像方坐标计算各个上述像素点所对应的经纬度坐标。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述对选取的上述关键帧进行像方坐标系转换包括：

根据尺度不变特征转换算法对选取的相邻关键帧进行特征提取和特征匹配处理，确定相邻关键帧中影像重叠区域的多个同名点；

在确定的多个上述同名点中，根据随机抽样一致性算法剔除特征匹配过程中误差大的同名点；

根据剔除后剩余的同名点求解相邻关键帧之间的变换关系；

根据上述变换关系将上述相邻关键帧中的待坐标系转换的关键帧转换到已坐标系转换的关键帧的坐标系下，直到选取的上述关键帧均转换到同一坐标系下。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述对获取的上述现场视频信息和上述地理信息进行时间同步操作包括：

当上述地理信息为单频GPS数据时，解析上述地理信息，获得GPS时间信息；将上述GPS时间信息插入上述现场视频信息；

当上述地理信息为双频GPS数据时，通过三维显示平台接收所述地理信息，并获取所述三维显示平台的统一时标系统中的时间信息；通过插值计算确定所述地理信息中的GPS时间信息和统一时标系统中的时间信息的时间差值，利用所述时间差值对所述现场视频信息进行时间同步。

结合第一方面至第一方面的第三种可能的实施方式中的任一种，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述基于共线方程的地理编码方式对提取到的上述关键帧进行地理编码之后，上述在三维显示平台上逐帧播放地理编码后的关键帧影像之前还包括：

当地理编码后的关键帧影像与三维显示平台中的高分辨率影像的坐标系不一致时，利用空间坐标匹配技术，对地理编码后的所述关键帧与三维显示平台中的高分辨率影像进行坐标系转换，以使地理编码后的关键帧影像的坐标系统与三维显示平台的坐标系统统一至同一坐标系下。

第二方面，本发明实施例还提供了一种基于地理编码的无人机视频影像实时显示的装置，该装置包括：

信息获取模块，用于通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取上述待观测现场的地理信息，其中，该地理信息包括：上述现场视频信息中视频影像的像主点所对应的经纬度坐标；

时间同步模块，用于对获取的上述现场视频信息和上述地理信息进行时间同步操作；

关键帧提取模块，用于按照预设时间间隔自动对同步后的上述现场视频信息进行关键帧提取；

地理编码模块，用于基于共线方程的地理编码方式对提取到的上述关键帧进行地理编码；

显示模块，用于在三维显示平台上逐帧播放地理编码后的关键帧影像。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述地理编码模块包括：

坐标系转换单元，用于在提取到的上述关键帧中，选取至少三张关键帧，对选取的上述关键帧进行像方坐标系转换，以使选取的上述关键帧中各个像素点的像方坐标统一至同一像方坐标系下；

共线方程组建立单元，用于由像素点的像方坐标和上述像素点所对应的经纬度坐标组成共线方程组；

共线方程组解算单元，用于在统一的坐标系下，根据选取的上述关键帧中像主点的像方坐标和上述像主点所对应的经纬度坐标求解上述共线方程组中的转换系数；

地理编码单元，用于根据计算得到的上述转换系数和提取到的上述关键帧中各个像素点的像方坐标计算各个上述像素点所对应的经纬度坐标。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述坐标系转换单元包括：

同名点确定子单元，用于根据尺度不变特征转换算法对选取的相邻关键帧进行特征提取和特征匹配处理，确定相邻关键帧中影像重叠区域的多个同名点；

误差点剔除子单元，用于在确定的多个上述同名点中，根据随机抽样一致性算法剔除特征匹配过程中误差大的同名点；

变换关系确定子单元，用于根据剔除后剩余的同名点求解相邻关键帧之间的变换关系；

坐标系转换子单元，用于根据上述变换关系将上述相邻关键帧中的待坐标系转换的关键帧转换到已坐标系转换的关键帧的坐标系下，直到选取的上述关键帧均转换到同一坐标系下。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述时间同步模块包括：

第一时间同步单元，用于当上述地理信息为单频GPS数据时，解析上述地理信息，获得GPS时间信息；将上述GPS时间信息插入上述现场视频信息；

第二时间同步单元，用于当上述地理信息为双频GPS数据时，通过三维显示平台接收所述地理信息，并获取所述三维显示平台的统一时标系统中的时间信息；通过插值计算确定所述地理信息中的GPS时间信息和统一时标系统中的时间信息的时间差值，利用所述时间差值对所述现场视频信息进行时间同步。

结合第二方面至第二方面的第三种可能的实施方式中的任一种，本发明实施例提供了第二方面的第四种可能的实施方式，其中，上述装置还包括：

坐标系转换模块，用于当地理编码后的关键帧影像与三维显示平台中的高分辨率影像的坐标系不一致时，利用空间坐标匹配技术，对地理编码后的所述关键帧与三维显示平台中的高分辨率影像进行坐标系转换，以使地理编码后的关键帧影像的坐标系统与三维显示平台的坐标系统统一至同一坐标系下。

在本发明实施例提供基于地理编码的无人机视频影像实时显示的方法及装置中，该方法包括：通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取待观测现场的地理信息后，首先，对获取的现场视频信息和地理信息进行时间同步操作；按照预设时间间隔自动对同步后的现场视频信息进行关键帧提取；然后，基于共线方程的地理编码方式对提取到的关键帧进行地理编码；最后，在三维显示平台上逐帧播放地理编码后的关键帧影像。本发明实施例通过基于共线方程的方式对提取到的关键帧进行地理编码，并将地理编码后的关键帧在三维显示平台上实时逐帧动态展示，解决了在无人机飞行过程中无法实现实时对关键帧进行地理编码的问题，从而便于观察者实时了解某一具体地理位置的实际现场情况。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的基于地理编码的无人机视频影像实时显示的方法的流程图示意图；

图2示出了本发明实施例所提供的基于地理编码的无人机视频影像实时显示的装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中采用传统的空中三角测量的方法对现场数码像片进行地理编码，整个处理过程比较专业和复杂，且在无人机飞行过程中，无法进行现场视频影像与地理信息的关联处理，视频影像是以视频流播放的形式进行动态展示，此时视频影像不具有任何地理信息，观察者只能目测现场情况，不能进行量算，分析；并且主要是针对数码相机影像的而不是针对视频关键帧影像，且必须先获取影像，无人机降落后，进行影像的地理编码处理，实时性差，不利于观察者实时了解某一具体地理位置的实际现场情况。基于此，本发明实施例提供了基于地理编码的无人机视频影像实时显示的方法及装置，下面通过实施例进行描述。

如图1所示，本发明实施例提供了基于地理编码的无人机视频影像实时显示的方法，该方法包括步骤S102-S110，具体如下：

步骤S102：通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取上述待观测现场的地理信息，其中，上述地理信息包括：上述现场视频信息中视频影像的像主点所对应的经纬度坐标；

其中，上述地理信息为一张视频影像像主点的地理坐标，每张视频影像由多个像素点组成，视频影像的中间的像素点称为像主点或者曝光点，从GPS卫星处获得的地理信息为像主点的地理坐标，而其余像素点的地理坐标是未知的，因此，需要确定每张关键帧中各个像素点的地理坐标，才能实现对关键帧的地理编码。

在本发明实施例中，选用无人机搭载视频摄像头作为采集现场视频信息的传感器，利用无线通讯和视频流传输技术实时获取现场视频信息，并且利用GPS定位技术实时获取地理信息，另外，采用3G视频传输链路，保证了数据传输的实时性。

步骤S104：对获取的上述现场视频信息和上述地理信息进行时间同步操作；

具体的，为了保证现场视频信息中的每张视频影像与地理信息是一一对应的，需要对现场视频信息和地理信息进行时间同步操作，从而提高视频影像像主点的地理坐标的准确度。

步骤S106：按照预设时间间隔自动对同步后的上述现场视频信息进行关键帧提取；

步骤S108：基于共线方程的地理编码方式对提取到的上述关键帧进行地理编码；

其中，在本发明实施例中，采用共线方程求解的方式来确定关键帧中所有像素点所对应的地理信息(地理坐标)，将相应的地理信息赋予关键帧，即对关键帧进行地理编码，从而实现快速地将获取的现场视频影像信息与地理信息进行实时关联，利用基于共线方程的地理编码方式提高了对关键帧的地理编码速度，保证了将获取的现场视频影像信息与地理信息进行地理编码的实时性。

步骤S110：在三维显示平台上逐帧播放地理编码后的关键帧影像，利用三维地理信息显示平台同步显示视频流和地理空间下的关键帧影像，实现地理坐标系下关键帧影像的动态展示，该展示模式生动、形象、直观，且能实时三维量算分析。

其中，上述三维显示平台设置于地面站，地面站通过无线通讯网络与无人机中机载视频发射器相连接，该机载视频发射器分别与设置在无人机上的视频摄像装置和GPS天线相连接，该机载视频发射器中内置GPS接收器，设置在无人机上的视频摄像装置通过视频流数据包的方式将获取的待观测现场的现场视频信息传输至上述机载视频发射器，该机载视频发射器用于将上述现场视频信息、以及通过GPS接收器获取的待观测现场的地理信息实时传输至地面站。最终，将地理编码后的关键帧在三维地图上相应的位置动态呈现，实现无人机空中获取现场视频信息的同时，在三维地理信息系统显示平台上同步显示视频流和地理空间下的关键帧影像，实现地理坐标系下视频影像的动态展示，从而满足观察者对现场情况实时观测的需求，进而为灾害现场救援抢险、合理安置灾民、科学评估损失、恢复重建规划等提供技术保障。

在本发明实施例提供的基于地理编码的无人机视频影像实时显示的方法及装置中，该方法包括：通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取待观测现场的地理信息后，首先，对获取的现场视频信息和地理信息进行时间同步操作；按照预设时间间隔自动对同步后的现场视频信息进行关键帧提取；然后，基于共线方程的地理编码方式对提取到的关键帧进行地理编码；最后，在三维显示平台上逐帧播放地理编码后的关键帧影像。本发明实施例通过基于共线方程的方式对提取到的关键帧进行地理编码，并将地理编码后的关键帧在三维显示平台上实时逐帧动态展示，解决了在无人机飞行过程中无法实现实时对关键帧进行地理编码的问题，从而便于观察者实时了解某一具体地理位置的实际现场情况，进而帮助观察者及时作出针对性的决策。

具体的，上述基于共线方程的地理编码方式对提取到的上述关键帧进行地理编码包括：

在提取到的上述关键帧中，选取至少三张关键帧，对选取的上述关键帧进行像方坐标系转换，以使选取的上述关键帧中各个像素点的像方坐标统一至同一像方坐标系下；

由像素点的像方坐标和上述像素点所对应的经纬度坐标组成共线方程组；

在统一的坐标系下，根据选取的上述关键帧中像主点的像方坐标和上述像主点所对应的经纬度坐标求解上述共线方程组中的转换系数；

根据计算得到的上述转换系数和提取到的上述关键帧中各个像素点的像方坐标计算各个上述像素点所对应的经纬度坐标，即将各个像素点由像方坐标系转换至物方坐标系下。

其中，在本发明实施例中，在选取三张关键帧影像的情况下，即可通过求解共线方程组来确定转换系数，该转换系数为像素点的像方坐标与物方坐标(地理坐标)之间的转换关系，然后，利用计算得到的转换系数确定关键帧中像素点所对应的经纬度坐标，进而实现对关键帧进行地理编码，另外，为了进一步提高计算得到的转换系数，可以选取四张关键帧影像，在本发明提供的实施例中优选地选取四张关键帧。

具体的，上述对选取的上述关键帧进行像方坐标系转换包括：

根据尺度不变特征转换算法对选取的相邻关键帧进行特征提取和特征匹配处理，确定相邻关键帧中影像重叠区域的多个同名点；

在确定的多个上述同名点中，根据随机抽样一致性算法剔除特征匹配过程中误差大的同名点；

根据剔除后剩余的同名点求解相邻关键帧之间的变换关系；

根据上述变换关系将上述相邻关键帧中的待坐标系转换的关键帧转换到已坐标系转换的关键帧的坐标系下，直到选取的上述关键帧均转换到同一坐标系下。

具体的，以选取的关键帧中第一张关键帧的坐标系作为参考坐标系为例(第一张关键帧是指选取的关键帧中提取时间在前的关键帧)，通过对选取的关键帧进行坐标系转换，使得选取的关键帧均转换至第一张关键帧的坐标系下，具体包括：

(1)对第一张关键帧与第二张关键帧进行坐标系转换，首先，根据尺度不变特征转换算法对第一张关键帧与第二张关键帧进行特征提取和特征匹配处理，确定第一张关键帧与第二张关键帧中影像重叠区域的多个同名点；在确定的多个同名点中，根据随机抽样一致性算法剔除特征匹配过程中误差大的同名点；然后，根据剔除后剩余的同名点求解第一张关键帧与第二张关键帧之间的变换关系；最后，根据该变换关系将第二张关键帧转换到第一张关键帧的坐标系下；

(2)对第二张关键帧与第三张关键帧进行坐标系转换，此时，第二张关键帧已经转换至第一张关键帧的坐标系下，按照(1)中的方法将第三张关键帧转换到第一张关键帧的坐标系下；依次类推，直到选取的关键帧均转换至第一张坐标系下。

进一步的，考虑到地理信息的获取来源不同即发射地理信息的硬件的配置不同，地理信息可以是单频GPS数据，还可以是双频GPS数据，为了进一步保证现场视频信息与地理信息时间的同步性，针对于不同的地理信息的格式需要采用相应的时间同步的操作方式，基于此，上述对获取的上述现场视频信息和上述地理信息进行时间同步操作包括：

当上述地理信息为单频GPS数据时，解析上述地理信息，获得GPS时间信息；将上述GPS时间信息插入上述现场视频信息；

当上述地理信息为双频GPS数据时，通过三维显示平台接收所述地理信息，并获取所述三维显示平台的统一时标系统中的时间信息；通过插值计算确定所述地理信息中的GPS时间信息和统一时标系统中的时间信息的时间差值，利用所述时间差值对所述现场视频信息进行时间同步。

进一步的，为了使地理编码后的上述关键帧在三维显示平台的视频显示坐标系下进行准确地定位，实现将赋予地理信息的关键帧与三维显示平台中的高分辨率影像进行精准套合显示，基于此，上述基于共线方程的地理编码方式对提取到的上述关键帧进行地理编码之后，上述在三维显示平台上逐帧播放地理编码后的关键帧影像之前还包括：

当地理编码后的关键帧影像与三维显示平台中的高分辨率影像的坐标系不一致时，利用空间坐标匹配技术，对地理编码后的所述关键帧与三维显示平台中的高分辨率影像进行坐标系转换，以使地理编码后的关键帧影像的坐标系统与三维显示平台的坐标系统统一至同一坐标系下。其中，根据共线方程解算过程中确定的物方坐标系和要套合显示的坐标系来决定是否需要进行空间坐标匹配，当确定的物方坐标系和要套合显示的坐标系不一致时，则需要对确定的物方坐标系和要套合显示的坐标系进行坐标系转换。

在本发明实施例提供的基于地理编码的无人机视频影像实时显示的方法及装置中，该方法包括：通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取待观测现场的地理信息后，首先，对获取的现场视频信息和地理信息进行时间同步操作；按照预设时间间隔自动对同步后的现场视频信息进行关键帧提取；然后，基于共线方程的地理编码方式对提取到的关键帧进行地理编码；最后，在三维显示平台上逐帧播放地理编码后的关键帧影像。本发明实施例通过基于共线方程的方式对提取到的关键帧进行地理编码，并将地理编码后的关键帧在三维显示平台上实时逐帧动态展示，解决了在无人机飞行过程中无法实现实时对关键帧进行地理编码的问题，从而便于观察者实时了解某一具体地理位置的实际现场情况。

对应于上述实时显示的方法，本发明实施例还提供了基于地理编码的无人机视频影像实时显示的装置，如图2所示，该装置包括：

信息获取模块202，用于通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取上述待观测现场的地理信息，其中，上述地理信息包括：上述现场视频信息中视频影像的像主点所对应的经纬度坐标；

时间同步模块204，用于对获取的上述现场视频信息和上述地理信息进行时间同步操作；

关键帧提取模块206，用于按照预设时间间隔自动对同步后的上述现场视频信息进行关键帧提取；

地理编码模块208，用于基于共线方程的地理编码方式对提取到的上述关键帧进行地理编码；

显示模块210，用于在三维显示平台上逐帧播放地理编码后的关键帧影像。

进一步的，上述地理编码模块208包括：

坐标系转换单元，用于在提取到的上述关键帧中，选取至少三张关键帧，对选取的上述关键帧进行像方坐标系转换，以使选取的上述关键帧中各个像素点的像方坐标统一至同一像方坐标系下；

共线方程组建立单元，用于由像素点的像方坐标和上述像素点所对应的经纬度坐标组成共线方程组；

共线方程组解算单元，用于在统一的坐标系下，根据选取的上述关键帧中像主点的像方坐标和上述像主点所对应的经纬度坐标求解上述共线方程组中的转换系数；

地理编码单元，用于根据计算得到的上述转换系数和提取到的上述关键帧中各个像素点的像方坐标计算各个上述像素点所对应的经纬度坐标。

进一步的，上述坐标系转换单元包括：

同名点确定子单元，用于根据尺度不变特征转换算法对选取的相邻关键帧进行特征提取和特征匹配处理，确定相邻关键帧中影像重叠区域的多个同名点；

误差点剔除子单元，用于在确定的多个上述同名点中，根据随机抽样一致性算法剔除特征匹配过程中误差大的同名点；

变换关系确定子单元，用于根据剔除后剩余的同名点求解相邻关键帧之间的变换关系；

坐标系转换子单元，用于根据上述变换关系将上述相邻关键帧中的待坐标系转换的关键帧转换到已坐标系转换的关键帧的坐标系下，直到选取的上述关键帧均转换到同一坐标系下。

进一步的，上述时间同步模块204包括：

第一时间同步单元，用于当上述地理信息为单频GPS数据时，解析上述地理信息，获得GPS时间信息；将上述GPS时间信息插入上述现场视频信息；

第二时间同步单元，用于当上述地理信息为双频GPS数据时，通过三维显示平台接收所述地理信息，并获取所述三维显示平台的统一时标系统中的时间信息；通过插值计算确定所述地理信息中的GPS时间信息和统一时标系统中的时间信息的时间差值，利用所述时间差值对所述现场视频信息进行时间同步。

进一步的，上述装置还包括：

坐标系转换模块，用于当地理编码后的关键帧影像与三维显示平台中的高分辨率影像的坐标系不一致时，利用空间坐标匹配技术，对地理编码后的所述关键帧与三维显示平台中的高分辨率影像进行坐标系转换，以使地理编码后的关键帧影像的坐标系统与三维显示平台的坐标系统统一至同一坐标系下。

基于上述分析可知，在本发明实施例提供的基于地理编码的无人机视频影像实时显示的装置中，上述装置利用信息获取模块202通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取待观测现场的地理信息后，首先，利用时间同步模块204对获取的现场视频信息和地理信息进行时间同步操作；利用关键帧提取模块206按照预设时间间隔自动对同步后的现场视频信息进行关键帧提取；然后，利用地理编码模块208基于共线方程的地理编码方式对提取到的关键帧进行地理编码；最后，利用显示模块210在三维显示平台上逐帧播放地理编码后的关键帧影像。本发明实施例通过基于共线方程的方式对提取到的关键帧进行地理编码，并将地理编码后的关键帧在三维显示平台上实时逐帧动态展示，解决了在无人机飞行过程中无法实现实时对关键帧进行地理编码的问题，从而便于观察者实时了解某一具体地理位置的实际现场情况。

本发明实施例所提供的基于地理编码的无人机视频影像实时显示的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.基于地理编码的无人机视频影像实时显示的方法，其特征在于，所述方法包括：

通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取所述待观测现场的地理信息，其中，所述地理信息包括：所述现场视频信息中视频影像的像主点所对应的经纬度坐标；

对实时获取的所述现场视频信息和所述地理信息进行时间同步操作；

按照预设时间间隔自动对同步后的所述现场视频信息进行关键帧提取；

基于共线方程的地理编码方式对提取到的所述关键帧进行地理编码；

在三维显示平台上逐帧播放地理编码后的关键帧影像。

2.根据权利要求1所述的基于地理编码的无人机视频影像实时显示的方法，其特征在于，所述基于共线方程的地理编码方式对提取到的所述关键帧进行地理编码包括：

在提取到的所述关键帧中，选取至少三张关键帧，对选取的所述关键帧进行像方坐标系转换，以使选取的所述关键帧中各个像素点的像方坐标统一至同一像方坐标系下；

由像素点的像方坐标和所述像素点所对应的经纬度坐标组成共线方程组；

在统一的坐标系下，根据选取的所述关键帧中像主点的像方坐标和所述像主点所对应的经纬度坐标求解所述共线方程组中的转换系数；

根据计算得到的所述转换系数和提取到的所述关键帧中各个像素点的像方坐标计算各个所述像素点所对应的经纬度坐标。

3.根据权利要求2所述的基于地理编码的无人机视频影像实时显示的方法，其特征在于，所述对选取的所述关键帧进行像方坐标系转换包括：

根据尺度不变特征转换算法对选取的相邻关键帧进行特征提取和特征匹配处理，确定相邻关键帧中影像重叠区域的多个同名点；

在确定的多个所述同名点中，根据随机抽样一致性算法剔除特征匹配过程中误差大的同名点；

根据剔除后剩余的同名点求解相邻关键帧之间的变换关系；

根据所述变换关系将所述相邻关键帧中的待坐标系转换的关键帧转换到已坐标系转换的关键帧的坐标系下，直到选取的所述关键帧均转换到同一坐标系下。

4.根据权利要求1所述的基于地理编码的无人机视频影像实时显示的方法，其特征在于，所述对获取的所述现场视频信息和所述地理信息进行时间同步操作包括：

当所述地理信息为单频GPS数据时，解析所述地理信息，获得GPS时间信息；将所述GPS时间信息插入所述现场视频信息；

当所述地理信息为双频GPS数据时，通过三维显示平台接收所述地理信息，并获取所述三维显示平台的统一时标系统中的时间信息；通过插值计算确定所述地理信息中的GPS时间信息和统一时标系统中的时间信息的时间差值，利用所述时间差值对所述现场视频信息进行时间同步。

5.根据权利要求1-4任一项所述的基于地理编码的无人机视频影像实时显示的方法，其特征在于，所述基于共线方程的地理编码方式对提取到的所述关键帧进行地理编码之后，所述在三维显示平台上逐帧播放地理编码后的关键帧影像之前还包括：

当地理编码后的关键帧影像与三维显示平台中的高分辨率影像的坐标系不一致时，利用空间坐标匹配技术，对地理编码后的所述关键帧与三维显示平台中的高分辨率影像进行坐标系转换，以使地理编码后的关键帧影像的坐标系统与三维显示平台的坐标系统统一至同一坐标系下。

6.基于地理编码的无人机视频影像实时显示的装置，其特征在于，所述装置包括：

信息获取模块，用于通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取所述待观测现场的地理信息，其中，所述地理信息包括：所述现场视频信息中视频影像的像主点所对应的经纬度坐标；

时间同步模块，用于对实时获取的所述现场视频信息和所述地理信息进行时间同步操作；

关键帧提取模块，用于按照预设时间间隔自动对同步后的所述现场视频信息进行关键帧提取；

地理编码模块，用于基于共线方程的地理编码方式对提取到的所述关键帧进行地理编码；

显示模块，用于在三维显示平台上逐帧播放地理编码后的关键帧影像。

7.根据权利要求6所述的基于地理编码的无人机视频影像实时显示的装置，其特征在于，所述地理编码模块包括：

坐标系转换单元，用于在提取到的所述关键帧中，选取至少三张关键帧，对选取的所述关键帧进行像方坐标系转换，以使选取的所述关键帧中各个像素点的像方坐标统一至同一像方坐标系下；

共线方程组建立单元，用于由像素点的像方坐标和所述像素点所对应的经纬度坐标组成共线方程组；

共线方程组解算单元，用于在统一的坐标系下，根据选取的所述关键帧中像主点的像方坐标和所述像主点所对应的经纬度坐标求解所述共线方程组中的转换系数；

地理编码单元，用于根据计算得到的所述转换系数和提取到的所述关键帧中各个像素点的像方坐标计算各个所述像素点所对应的经纬度坐标。

8.根据权利要求7所述的基于地理编码的无人机视频影像实时显示的装置，其特征在于，所述坐标系转换单元包括：

同名点确定子单元，用于根据尺度不变特征转换算法对选取的相邻关键帧进行特征提取和特征匹配处理，确定相邻关键帧中影像重叠区域的多个同名点；

误差点剔除子单元，用于在确定的多个所述同名点中，根据随机抽样一致性算法剔除特征匹配过程中误差大的同名点；

变换关系确定子单元，用于根据剔除后剩余的同名点求解相邻关键帧之间的变换关系；

坐标系转换子单元，用于根据所述变换关系将所述相邻关键帧中的待坐标系转换的关键帧转换到已坐标系转换的关键帧的坐标系下，直到选取的所述关键帧均转换到同一坐标系下。

9.根据权利要求6所述的基于地理编码的无人机视频影像实时显示的装置，其特征在于，所述时间同步模块包括：

第一时间同步单元，用于当所述地理信息为单频GPS数据时，解析所述地理信息，获得GPS时间信息；将所述GPS时间信息插入所述现场视频信息；

第二时间同步单元，用于当所述地理信息为双频GPS数据时，通过三维显示平台接收所述地理信息，并获取所述三维显示平台的统一时标系统中的时间信息；通过插值计算确定所述地理信息中的GPS时间信息和统一时标系统中的时间信息的时间差值，利用所述时间差值对所述现场视频信息进行时间同步。

10.根据权利要求6-9任一项所述的基于地理编码的无人机视频影像实时显示的装置，其特征在于，所述装置还包括：

坐标系转换模块，用于当地理编码后的关键帧影像与三维显示平台中的高分辨率影像的坐标系不一致时，利用空间坐标匹配技术，对地理编码后的所述关键帧与三维显示平台中的高分辨率影像进行坐标系转换，以使地理编码后的关键帧影像的坐标系统与三维显示平台的坐标系统统一至同一坐标系下。