CN111753856A - 一种基于中心自适应的视频快速拼接方法 - Google Patents

Abstract

本发明公开了一种基于中心自适应的视频快速拼接方法。本发明主要针对提高无人机侦察视频的拼接速度与效果的问题，提出一种基于中心自适应的视频快速拼接方法。首先，基于自适应鲁棒性尺度不变的特征检测子对视频各帧进行基于点的特征匹配。其次，提出改进的随机抽样一致性算法进行模型估计，并去除误匹配点。最后，提出侦察影像快速拼接算法，计算各影像变换到正射拼接图的单应性矩阵，完成视频序列拼接。该方法在保证鲁棒性的同时，提高了拼接速度，并改善了拼接效果。

Description

一种基于中心自适应的视频快速拼接方法

技术领域

本发明涉及的是一种视频快速拼接方法，具体涉及一种基于中心自适应的视频快速拼接方法。

背景技术

近年来，无人机摄像技术得到飞速发展，特别是在军事侦察与情报处理等领域被广泛应用。但由于侦察视频图幅较小，无法完整呈现有用信息；在战时，机体抖动、噪声与光照变化，以及地面控制点难以获取等因素，严重制约了视频拼接效果与速度。因此，研究一种无人机侦察视频快速拼接方法具有重要的应用价值。由于视频帧间重叠度较大，特征匹配的鲁棒性相对于航片拼接要求较低。其技术难点偏重于图像变换模型估计与拼接策略的快速实现。对于以上两种技术，国内外学者做了大量研究。

在模型估计方面：随机抽样一致性(Random Sample Consensus，RANSAC)算法是通过随机抽样来确定最优模型的。该算法可以处理数据中存在大量异常值的情况，但算法的执行效率较低。Randomized RANSAC算法是由Chum等人提出的。该算法预先对模型了筛选，起到了很好的提速作用，但算法实时性还是有待加强。基于预检验的快速随机抽样一致性算法是由陈付幸等人提出的。该算法对预处理环节进行了优化，节约了计算样本误差的时间，但算法对预判条件的设置的依赖性较强，对于不同样本的自适应性较弱。RANSAC算法的自适应Tc，d预检验算法是由田文等人提出的。该算法实现了自适应调整预检验参数。虽然该算法增强了适用性，但处理正确率较低的样本集时，实时性较差。

在拼接策略方面：周国清首先在数字正射影像图上选取地面控制点，然后利用光束法平差得到正射影像，最后通过地理坐标进行镶嵌，但拼接效果与实时性仍待提高。程咏梅等提出SIFT的航拍视频图像镶嵌。该方法首先通过SIFT特征匹配算法检测并描述特征，然后利用双向匹配算法完成拼接，该方法鲁棒性较强，但由于SIFT计算过于复杂，实时性不高。刘善磊等提出一种无人机视频帧自动拼接方法，该方法以帧间重叠度作为拼接帧提取依据，利用SURF实现了视频的拼接，然后利用光束法平差消除匹配误差，但由于视频没有进行正射矫正，使得拼接结果不具有量测的功能，且该方法实时性不高。郑晖等提出了一种无人机视频帧自动拼接方法。该方法利用透视投影法消除几何形变，然后利用CUDA加速的ORB算法得到帧间变换模型，最后应用LM算法优化单应性矩阵，该方法减小了拍摄带来的误差影像，增强了拼接效果，但拼接执行效率不高，同时该方法未讨论多行带间的拼接问题。杨涛等提出基于场景复杂度与不变特征的航拍视频实时配准方法。该方法首先通过多尺度角点检测和SIFT描述子进行特征匹配，然后利用RANSAC去除误匹配，利用LM算法优化估计帧间变换模型。该方法增强了复杂度场景下，短时长、小分辨率的航拍视频的拼接效果与实时性，但RANSAC执行效率不高，特征匹配算法的鲁棒性与实时性有待加强。

由于上述算法在无人机视频拼接的不同步骤仍存在以下问题：

1.传统模型估计算法：基于样本集的随机抽样与算法的运算结果之间是独立的，没有充分利用循环间的相关性；置信度计算复杂，根据置信度判断是否跳出循环会降低运行效率。

2.传统拼接算法：帧间特征匹配算法的鲁棒性与实时性有待加强；过大的视频帧图幅会降低特征匹配的运行效率，但降采样后的视频帧拼接会造成拼接图分辨力较弱；拼接图难以自动置于图像中心，并且未考虑多行带间的拼接问题。

综上所述，本发明提出了一种基于中心自适应的视频快速拼接方法。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种基于中心自适应的视频快速拼接方法，在保证鲁棒性的同时，提高了拼接速度，并改善了拼接效果。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于中心自适应的视频快速拼接方法，包括以下步骤：

1、利用特征匹配算法对视频各帧进行特征检测与描述；

2、利用改进的随机抽样一致性算法来改善模型估计中循环间的相关性及循环跳出方式；

3、通过侦察影像快速拼接算法来提高拼接速度，同时保证拼接图分辨力，并实现了拼接图自动置于图像中心。

所述的视频快速拼接方法的具体步骤如下：

首先，利用降采样算法分别对全部待匹配帧进行降采样处理，得到图像尺寸缩小Z倍的视频帧，Z是指图像尺寸缩小倍数，总帧数为n(包括起始帧)；

对起始帧进行正射矫正，然后将降采样后的视频相邻帧进行两两特征匹配，得到降采样后相邻帧间的单应性矩阵组Ha，其中Ha如公式(1)所示：

H_a＝{a₁，a₂，…，a_n-1} (1)

式中：a1，a2，…，an-1分别为降采样后相邻帧间的单应性矩阵。

计算相邻待匹配帧间的单应性矩阵组Hb，如公式(2)所示：

式中：b1，b2，…，bn-1分别为相邻待匹配帧间的单应性矩阵。

计算全部视频帧向起始帧透射变换的单应性矩阵组Hc，如公式(3)所示：

式中：c1，c2，…，cn分别为全部视频帧向起始帧透射变换的单应性矩阵。

计算视频帧以起始帧为基准透射变换后图像的4个角点坐标，如公式(4)所示：

式中：

分别为第i帧视频帧以起始帧为基准透射变换后图像的4个角点坐标；(X_k，Y_k)分别为视频帧4个角点坐标。

计算拼接图尺寸(X，Y)，如公式(5)所示：

式中：X_max，X_min，Y_max，Y_min分别为变换后图像角点横纵坐标最大值与最小值。

计算全部视频帧以拼接图为基准的平移矩阵D，如公式(6)所示：

计算全部视频帧以拼接图为基准透射变换的单应性矩阵组He，如公式(7)所示：

式中：e1，e2，…，en分别为视频帧以拼接图为基准透射变换的单应性矩阵。

最后，将拼接图尺寸设定为(X，Y)，利用LM算法优化He，将全部待匹配帧进行透射变换，得到视频帧拼接图。

本发明的有益效果：

本发明在保证鲁棒性的同时，提高了拼接速度，并改善了拼接效果。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本具体实施方式采用以下技术方案：一种基于中心自适应的视频快速拼接方法，具体包括以下步骤：

首先，利用降采样算法分别对全部待匹配帧进行降采样处理，得到图像尺寸缩小Z倍的视频帧，Z是指图像尺寸缩小倍数，总帧数为n(包括起始帧)；

对起始帧进行正射矫正，然后将降采样后的视频相邻帧进行两两特征匹配，得到降采样后相邻帧间的单应性矩阵组Ha，其中Ha如公式(1)所示：

H_a＝{a₁，a₂，…，a_n-1} (1)

式中：a1，a2，…，an-1分别为降采样后相邻帧间的单应性矩阵。

计算相邻待匹配帧间的单应性矩阵组Hb，如公式(2)所示：

式中：b1，b2，…，bn-1分别为相邻待匹配帧间的单应性矩阵。

计算全部视频帧向起始帧透射变换的单应性矩阵组Hc，如公式(3)所示：

式中：c1，c2，…，cn分别为全部视频帧向起始帧透射变换的单应性矩阵。

计算视频帧以起始帧为基准透射变换后图像的4个角点坐标，如公式(4)所示：

式中：

分别为第i帧视频帧以起始帧为基准透射变换后图像的4个角点坐标；(X_k，Y_k)分别为视频帧4个角点坐标。

计算拼接图尺寸(X，Y)，如公式(5)所示：

式中：X_max，X_min，Y_max，Y_min分别为变换后图像角点横纵坐标最大值与最小值。

计算全部视频帧以拼接图为基准的平移矩阵D，如公式(6)所示：

计算全部视频帧以拼接图为基准透射变换的单应性矩阵组He，如公式(7)所示：

式中：e1，e2，…，en分别为视频帧以拼接图为基准透射变换的单应性矩阵。

最后，将拼接图尺寸设定为(X，Y)，利用LM算法优化He，将全部待匹配帧进行透射变换，得到视频帧拼接图。

上述图像预处理、特征检测(基于快速自适应鲁棒性尺度不变的特征检测子(FastAdaptive Robust Invariant Scalable Feature Detector，FARISFD)、特征描述(M-SURF64描述子)、特征匹配与模型估计进行并行处理。

本具体实施方式侦察影像快速拼接算法通过先降低视频分辨率进行预处理与特征匹配，再将降低倍数考虑到单应性矩阵中，从而满足原始视频帧的拼接；为将拼接图自动置于图像中心，并尽可能地节约图幅，所提出的方法根据已求得的视频帧间的几何关系，计算拼接图尺寸与拼接图平移量，然后将平移量计算在视频帧透射变换的单应性矩阵中实现拼接。该方法简便快捷，易于实现，并适用于航迹较为复杂的无人机侦察视频拼接；通常，特征匹配将占用大部分拼接时间，而待匹配视频的图幅大小将较大程度地影响特征匹配时间，虽然通过降采样可以提高视频帧帧特征的匹配速度，但会使拼接图的分辨率降低，图像细节流失。侦察影像快速拼接算法缩小了待匹配视频的图幅，又根据几何关系计算出原始视频帧的单应性矩阵，这样既保证了拼接图的纹理细节，又提高了拼接速度。若Z越小，视频帧细节保留越完整，则对拼接的准确性越有利，但速度相应减慢。

本具体实施方式首先利用特征匹配算法对视频各帧进行特征检测与描述。其次提出改进的随机抽样一致性算法来改善模型估计中循环间的相关性及循环跳出方式。然后提出侦察影像快速拼接算法来提高拼接速度，同时保证拼接图分辨力，并实现了拼接图自动置于图像中心。

本具体实施方式

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种基于中心自适应的视频快速拼接方法，其特征在于，包括以下步骤：

(1)、利用特征匹配算法对视频各帧进行特征检测与描述；

(2)、利用改进的随机抽样一致性算法来改善模型估计中循环间的相关性及循环跳出方式；

(3)、通过侦察影像快速拼接算法来提高拼接速度，同时保证拼接图分辨力，并实现了拼接图自动置于图像中心。

2.根据权利要求1所述的一种基于中心自适应的视频快速拼接方法，其特征在于，所述的视频快速拼接方法的具体步骤如下：

首先，利用降采样算法分别对全部待匹配帧进行降采样处理，得到图像尺寸缩小Z倍的视频帧，Z是指图像尺寸缩小倍数，总帧数为n(包括起始帧)；

对起始帧进行正射矫正，然后将降采样后的视频相邻帧进行两两特征匹配，得到降采样后相邻帧间的单应性矩阵组Ha，其中Ha如公式(1)所示：

H_a＝{a₁，a₂，…，a_n-1} (1)

式中：a1，a2，…，an-1分别为降采样后相邻帧间的单应性矩阵；

计算相邻待匹配帧间的单应性矩阵组Hb，如公式(2)所示：

式中：b1，b2，…，bn-1分别为相邻待匹配帧间的单应性矩阵；

计算全部视频帧向起始帧透射变换的单应性矩阵组Hc，如公式(3)所示：

式中：c1，c2，…，cn分别为全部视频帧向起始帧透射变换的单应性矩阵；

计算视频帧以起始帧为基准透射变换后图像的4个角点坐标，如公式(4)所示：

式中：

分别为第i帧视频帧以起始帧为基准透射变换后图像的4个角点坐标；(X_k，Y_k)分别为视频帧4个角点坐标；

计算拼接图尺寸(X，Y)，如公式(5)所示：

式中：X_max，X_min，Y_max，Y_min分别为变换后图像角点横纵坐标最大值与最小值；

计算全部视频帧以拼接图为基准的平移矩阵D，如公式(6)所示：

计算全部视频帧以拼接图为基准透射变换的单应性矩阵组He，如公式(7)所示：

式中：e1，e2，…，en分别为视频帧以拼接图为基准透射变换的单应性矩阵；

最后，将拼接图尺寸设定为(X，Y)，利用LM算法优化He，将全部待匹配帧进行透射变换，得到视频帧拼接图。