CN111582022B

CN111582022B - 一种移动视频与地理场景的融合方法、系统及电子设备

Info

Publication number: CN111582022B
Application number: CN202010224118.8A
Authority: CN
Inventors: 汤圣君; 赵维淞; 王伟玺; 李晓明; 郭仁忠
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2023-08-29
Anticipated expiration: 2040-03-26
Also published as: CN111582022A

Abstract

本发明提供了一种移动视频与地理场景的融合方法、系统及电子设备，根据无人机相机的位置信息确定出的地形影像数据中选取视频关键帧；提取视频关键帧与地形影像的匹配点；根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。本方法以无人机视频和地理场景图像作为原始数据，并且根据ASIFT算法得到关键帧与地理图像的高精度匹配点，利用该匹配点实现基于无人机视频得到对应视频区域的动态场景模型动态场景的融合，具有较高的精度和实用性。

Description

一种移动视频与地理场景的融合方法、系统及电子设备

技术领域

本发明涉及虚拟现实技术领域，尤其涉及的是一种移动视频与地理场景的融合方法、系统及电子设备。

背景技术

随着视频技术的不断发展，在不同领域的应用越来越多，比如应急灾害等等，在发生地震，塌方、泥石流等自然灾害的时候，由于无人机具有成本低、机动性强、安全风险系数小等优点被广泛应用在地形测绘、倾斜摄影、侦测现场等领域。然而目前常规监控系统，由于存在海量视频分散、孤立、视角不完整、位置不明确等问题，尤其是移动视频与地理场景融合、面向安防视频监控以及应急减灾等领域正是从解决此现状问题的角度而衍生。

视频地理场景融合可以更直观、更明确的管理摄像机和掌控视频动态，但是目前还难以将无人机视频与实际的地理场景联系起来，具体位置不明确、视角不完整等问题，因此无法提供更为准确的动态画面。

因此，现有技术有待于进一步的改进。

发明内容

鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种移动视频与地理场景的融合方法、系统及电子设备，克服现有技术中的无人机视频不能实现与地理场景精确融合的缺陷。

本发明解决技术问题所采用的技术方案如下：

第一方面，本实施例公开了一种移动视频与地理场景的融合方法，其中，包括步骤：

根据无人机相机的位置信息确定场景融合区域的地形影像数据，以及从无人机采集的视频图像中选取视频关键帧；

根据ASIFT算法提取视频关键帧与地形影像的匹配点；

根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；

根据视频关键帧角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。

可选的，所述根据无人机相机的位置信息确定场景融合区域的地形影像数据的步骤包括：

获取所述无人机相机的初始位置定位场景融合区域的区域信息；

查找是否含有与所述区域信息对应的数字地表模型；

若否，则查找与所述区域信息对应的数字正射影像。

可选的，所述根据ASIFT算法提取视频关键帧与地形影像的匹配点的步骤包括：

从视频关键帧的原始图像中选取采样参数，并使用采样参数模拟不同经度角和纬度角的图像，得到模拟图像；

计算模拟图像的特征；

根据所有模拟图像的特征进行图像匹配。

可选的，所述根据ASIFT算法提取视频关键帧与地形影像的匹配点的步骤之后，还包括：

使用RANSAC算法剔除错误的匹配点。

可选的，所述使用RANSAC算法剔除错误的匹配点的步骤包括：

从所述匹配点中抽取四对不共线的匹配点，计算出仿射变换矩阵的模型，以及计算所有匹配点与模型的投影误差；

判断所投影误差是否大于预设阈值，若大于，则将该匹配点剔除。

可选的，所述根据所述匹配点坐标和透视变换公式计算出视频关键帧的角点对应在地形影像中的像素坐标，并将所述像素坐标转换为经纬度坐标的步骤包括：

根根匹配点坐标计算出视频帧投影到地形影像中的透视变换矩阵；

根据所述透视变换矩阵反算出视频关键帧四个角点在地形影像上对应的像素坐标；

利用坐标转换公式将所述像素坐标转换为经纬度坐标。

可选的，所述根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型的步骤包括：

根据视频关键帧的角点对应的经纬度坐标，通过内插法得到所有处于所述视频关键帧中间的中间帧的角点坐标；

根据得到的各个中间帧的角点坐标和视频关键帧的角点坐标，完成视频与地理场景的融合，得到所述三维场景模型。

第三方面，本实施例公开了一种移动视频与地理场景的融合系统，其中，包括：

关键帧选取模块，用于根据无人机相机的位置信息确定场景融合区域的地形影像数据，以及从无人机采集的视频图像中选取视频关键帧；

匹配点提取模块，用于根据ASIFT算法提取视频关键帧与地形影像的匹配点；

坐标转换模块，用于根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；

模型建立模块，用于根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。

第三方面，本实施例公开了一种电子设备，其中，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的移动视频与地理场景的融合方法的步骤。

第四方面，本实施例公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的移动视频与地理场景的融合方法的步骤。

有益效果，本发明提供了一种移动视频与地理场景的融合方法、系统及电子设备，根据无人机相机的位置信息确定场景融合区域的地形影像数据，从确定出的地形影像数据中选取视频关键帧；根据ASIFT算法提取视频关键帧与地形影像的匹配点；根据所述匹配点坐标和透视变换公式计算出视频关键帧的角点对应在地形影像中的像素坐标，并将所述像素坐标转换为经纬度坐标；根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。本发明以无人机视频和地理场景图像作为原始数据，首先实现单帧视频与地理场景的融合，再实现所有视频帧与地理场景的融合，具有极高的精度和实用性。

附图说明

图1是本发明实施例提供的移动视频与地理场景的融合方法的步骤流程图；

图2是本发明实施例中移动视频与地理场景的融合具体应用示意图；

图3是本发明实施例中求解匹配点过程中仿射参数的几何解释图；

图4是本发明实施例中求解所有视频帧角点坐标的参数解释图；

图5是本发明实施例中移动视频与地理场景的融合系统的原理结构框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

视频地理空间融合指把一个或多个由摄像机图像序列视频(比如无人机的相机拍摄的视频)和与之相关的地理场景加以匹配和融合，生成一个新的关于此场景的动态虚拟场景或模型，实现地理场景与实时视频的融合。视频地理空间融合是虚拟现实技术的分支，也是虚拟现实的一个发展阶段。由于将无人机视频与实际的地理场景相融合时，视频中图像帧的具体位置不明确、视角不完整等问题，当需要查看该区域图像时，无法获取到精确直观的动态区域画面。

为了解决上述问题，本实施例提供了一种移动视频与地理场景相融合的方法。本方法在实现移动视频地理空间融合时，通过相机或云台提供的初始位置，获取与视频位置相符的地形与影像数据，通过图像自动匹配算法获得足够的匹配点，根据匹配点求出视频与地理场景的转换关系进而得到匹配后的视频角点经纬度坐标，根据这些位置信息将移动视频融合到地理场景中，从而得到含有精确动态区域场景信息的三维模型。

下面结合附图，详细说明本发明的各种非限制性实施方式。

示例性方法

本实施例公开了一种移动视频与地理场景的融合方法，如图1所示，所述方法包括以下步骤：

步骤S1、根据无人机相机的位置信息确定场景融合区域的地形影像数据，以及从无人机采集的视频图像中选取视频关键帧。

本方法为利用无人机相机拍摄的移动视频与无人机拍摄的移动视频所在区域的地理场景相融合，得到该区域的三维动态场景模型。因此本方法首先需要确定待地理场景融合的区域范围及得到与该区域范围相对应的地形影像。

为了获取与该区域对应的地理场景信息，本步骤中包括：

获取所述无人机相机的初始位置定位场景融合区域的区域信息；查找是否含有出与所述区域信息对应的数字地表模型；若否，则查找与所述区域信息对应的数字正射影像。

具体的，首先根据无人机的相机初始位置信息和无人机视频在谷歌地图上的拍摄区域获取对应的地形影像数据。获取地形影像数据的区域范围大于视频拍摄区域的区域范围。结合图2所示，首先根据无人机的相机初始位置，对区域区域的地理位置进行初步定位，再根据无人机视频的拍摄范围寻找该区域的DSM(数字地表模型)，若查找不到该区域相应的DSM，则获取该区域对应的DOM(数字正射影像)；数字正射影像是利用数字高程模型对扫描处理的数字化的航空像片，经逐个像元进行投影差改正，再按影像镶嵌，根据图幅范围剪裁生成的影像数据，因此数字正射影像中含有地理区域信息，将对应同一区域的所述DOM和视频帧进行匹配，可获取匹配点。

本步骤还包括：根据无人机相机拍摄的视频时长及融合精度要求，选取视频关键帧。视频时长越长，则选取视频关键帧中采样的时长间隔越大，若融合精度要求越高，则视频关键帧的选取时所采样的时长间隔就越小，因此综合考虑视频时长和融合精度，从视频图像中选取视频关键帧。具体的，间隔帧数可以设为100、200、400或800。

步骤S2、根据ASIFT算法提取视频关键帧与地形影像的匹配点。

使用ASIFT算法获得关键帧与地形影像的匹配点，ASIFT通过模拟经度角和纬度角实现完全的仿射不变，原理是相机拍摄相片时，由于相机光轴方向的变化会产生扭曲，扭曲的幅度由相机与图像法线的倾斜角θ和旋转角来表示，如图3所示，通过模拟倾斜角θ和旋转角/>生成模拟图像，对模拟图像进行图像匹配得到匹配点。所述匹配点为两张图像中具有相同特征的像素点。

利用ASIFT算法进行特征匹配的步骤主要为三步：选取采样参数，模拟不同经度角和纬度角的图像；计算模拟图像的特征；根据所有模拟图像的特征进行图像匹配。具体步骤如下：

原始图像与模拟图像的坐标转换公式由仿射变换矩阵组成：

任何一个矩阵A都可以分解为：

仿射变换矩阵A的参数结合图3做进一步的解释，其中，H_λ＝λ，λ为相机焦距，R_i和T_i分别代表旋转变化对应的转换矩阵和倾斜变化对应的转换矩阵，角度ψ为相机绕光轴的旋转角，角度/>为相机和图像法线之间的旋转角，t代表倾斜系数，由高斯滤波器获得，采样服从/>k＝1,2,3…。设原始图像的坐标为F(x,y)，原始图像在x方向上的倾斜度为t的变换为F(x,y)→F(tx,y)，tx表示经过倾斜度为t的变换后x方向上的新坐标，在x方向对图像进行模糊，得到的标准差为/>在一种实施方式中，参数c的最佳取值为0.8。

在一种实现方式中，旋转角的采样相对于倾斜系数t取等差数列：0,b/t,2b/t,3b/t…nb/t，b＝72°，n为nb/t<π时的最大值。

倾斜角θ的采样服从如下的几何级数：1,a,a²,…,a^m，其中，选取时，效果最好。

使用梯度直方图为每个特征点分配方向，把图像的尺度、方向、位置、相机绕光轴的旋转角以及上述求得的相机与图像法线的倾斜角和旋转角这六个参数用来描述特征向量，构建描述算子，生成特征描述符，比较描述符获取匹配点。

为了提高图像融合的精度，本步骤之后，还包括步骤：

步骤S21、使用RANSAC算法剔除错误的匹配点。RANSAC算法(随机抽样一致算法)根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

使用RANSAC算法剔除错误的匹配点的方法包括：从所述匹配点中抽取四对不共线的匹配点，计算出仿射变换矩阵的模型，以及计算所有匹配点与模型的投影误差。

使用RANSAC算法剔除错误的匹配点，假设两幅图像之间的仿射变换矩阵H为两幅图像的匹配点(x,y)与(x′,y′)的关系为：

其中，s为尺度系数。

RANSAC算法在匹配点集中随机抽取四对不共线的匹配点，计算出仿射变换矩阵的模型H，计算所有匹配点与模型H的投影误差。

步骤S22、判断所投影误差是否大于预设阈值，若大于，则将该匹配点剔除。

设置一个预设阈值J，若误差小于预设阈值J，则认为此对匹配点为正确的匹配点，统计正确匹配点的数目，若误差大于预设阈值J，则认为此对匹配点为错误的匹配点，将其进行剔除，重复上述操作，正确点数量最多时的模型为最优模型，符合最优模型的匹配点即为所求的正确匹配点。

步骤S3、根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标。

视频关键帧与地形影像的融合需要确定视频帧四个角点在地形影像上对应的坐标，通过透视变换恢复两幅图像的转换关系。

透视变换又名投影映射，作用是将视频帧投影到地形影像上。通用的透视变换公式为

其中，[u,v,w]是视频关键帧中的像素坐标，[x′，y′,w′]是变换之后的坐标，因为视频关键帧和地形影像都是二维图像，所以w恒等于1，表示旋转和缩放等线性变换，，[a₁₃a₂₃]^T用于表示透视变换，[a₃₁a₃₂]用于平移，a₃₃＝1。透视变换是二维空间到三维空间的变换，由于地形影像为二维图像，所以除以w′才是对应的地形影像坐标(x,y)，重新整理可以得到：

根据上述步骤S2中得到的匹配点和透视变换公式，已知a₃₃＝1，可以求出a₁₁，a₁₂，a₁₃，a₂₁，a₂₂，a₂₃，a₃₁，a₃₂，反算出视频四个角点在地形影像上的像素坐标。

最后把像素坐标转换为经纬度坐标，地形影像中的tfw格式文件包含六个参数，设为A，B，C，D，E，F，A和D分别代表x方向和y方向的像素分辨率，E和F为地形影像左上角点中心点的经纬度坐标，B和C为旋转系数，地形影像为正射影像，所以B，C为0。将像素坐标转换为经纬度坐标的坐标转换公式如下：

X＝Ax+Cy+E

Y＝Bx+Dy+F

式中x和y代表像素坐标，X和Y代表对应的地理经纬度坐标，则根据坐标转换公式可以实现将像素坐标转换成地理经纬度坐标。

步骤S4、根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。

根据视频关键帧融合后的视频帧在地理场景上的四个角点坐标，通过内插法的求出所有视频帧的角点坐标。

具体的，首先设视频关键频的第a帧的右上角点RightTop的坐标为(X_a，Y_a)，第b帧的右上角点RightTop的坐标为(X_b，Y_b)，结合图4所示，当a<n<b时，第n帧的右上角点RightTop的同样可求出/>

其次，根据上述求取右上角点的方法，求出另外三个角点的坐标。

最后，根据得到的所有视频帧的角点坐标，把移动视频在地形影像上显示，完成移动视频与地理场景的融合。

本方法以无人机视频和地理场景图像作为原始数据，并且根据ASIFT算法得到关键帧与地理图像的高精度匹配点，利用该匹配点实现基于无人机视频得到对应视频区域的动态场景模型动态场景的融合，具有较高的精度和实用性。

示例性设备

本实施例还公开了一种移动视频与地理场景的融合系统，如图5所示，包括：

关键帧选取模块510，用于根据无人机相机的位置信息确定场景融合区域的地形影像数据，从确定出的地形影像数据中选取视频关键帧；其功能如步骤S1所述。

匹配点提取模块520，用于根据ASIFT算法提取视频关键帧与地形影像的匹配点；其功能如步骤S2所述。

坐标转换模块530，用于根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；其功能如步骤S3所述。

模型建立模块540，用于根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。其功能如步骤S4所述。

本实施例还公开了一种电子设备，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的移动视频与地理场景的融合方法的步骤。

具体的，所述电子设备包括至少一个处理器(processor)以及存储器(memory)，还可以包括显示屏、通信接口(Communications Interface)和总线。其中，处理器、显示屏、存储器和通信接口可以通过总线完成相互间的通信。显示屏设置为显示初始设置模式中预设的用户引导界面。通信接口可以传输信息。处理器可以调用存储器中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器通过运行存储在存储器中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

本实施例还公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的移动视频与地理场景的融合方法的步骤。

上述存储介质以及终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

本发明涉及一种移动视频与地理场景的融合方法、系统及电子设备，根据特定的匹配算法找到同一场景下视频与地理场景的重叠部分，经过变换和融合，把视频在地理场景上显示出来，实现地理场景与移动视频的融合。具体的，该方法包括以下步骤：无人机视频关键帧的选取以及地理场景影像数据的获取方法；视频关键帧与地形影像匹配点的提取方法；视频关键帧与地形影像的融合方法；移动视频与地形影像的融合方法。本发明以无人机视频和地理场景图像作为原始数据，首先按照一定间隔选取视频关键帧，根据ASIFT算法和RANSAC算法得到关键帧与地理图像的高精度匹配点，之后根据透视变换模型恢复视频关键帧角点在地理图像上的坐标，实现单帧视频与地理场景的融合，最后基于内插算法实现所有视频帧与地理场景的融合，该方法具有极高的精度和实用性。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims

1.一种移动视频与地理场景的融合方法，其特征在于，包括步骤：

根据ASIFT算法提取视频关键帧与地形影像的匹配点；

根据视频关键帧角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型；

所述根据ASIFT算法提取视频关键帧与地形影像的匹配点的步骤包括：

计算模拟图像的特征；

根据所有模拟图像的特征进行图像匹配得到匹配点；所述匹配点为两张图像中具有相同特征的像素点；

使用梯度直方图为每个特征点分配方向，把图像的尺度、方向、位置、相机绕光轴的旋转角以及上述求得的相机与图像法线的倾斜角和旋转角这六个参数用来描述特征向量，构建描述算子，生成特征描述符，比较描述符获取匹配点；

所述根据ASIFT算法提取视频关键帧与地形影像的匹配点的步骤之后，还包括：

使用RANSAC算法剔除错误的匹配点；

所述使用RANSAC算法剔除错误的匹配点的步骤包括：

2.根据权利要求1所述的移动视频与地理场景的融合方法，其特征在于，所述根据无人机相机的位置信息确定场景融合区域的地形影像数据的步骤包括：

查找是否含有与所述区域信息对应的数字地表模型；

若否，则查找与所述区域信息对应的数字正射影像。

3.根据权利要求1所述的移动视频与地理场景的融合方法，其特征在于，所述根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标的步骤包括：

利用坐标转换公式将所述像素坐标转换为经纬度坐标。

4.根据权利要求1所述的移动视频与地理场景的融合方法，其特征在于，所述根据视频关键帧角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型的步骤包括：

5.一种移动视频与地理场景的融合系统，其特征在于，包括：

模型建立模块，用于根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型；

计算模拟图像的特征；

使用RANSAC算法剔除错误的匹配点；

所述使用RANSAC算法剔除错误的匹配点的步骤包括：

6.一种电子设备，其特征在于，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-4任一项所述的移动视频与地理场景的融合方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～4任一项所述的移动视频与地理场景的融合方法的步骤。