CN109887011A - 视频稳像方法及装置 - Google Patents

Abstract

本发明公开了一种视频稳像方法及装置。本发明通过优秀的匹配点方法确保了匹配正确率，利用特殊局部匹配区域方式减少计算量，缩短时间，利用最小乘法获得最优解，最终利用全局运动补偿和光流法相结合的算法，获得匹配帧，具有非常强的准确性和鲁棒性。

Description

视频稳像方法及装置

技术领域

本发明涉及视频处理技术领域，具体涉及一种视频稳像方法及装置。

背景技术

移动摄像机用于目标检测、跟踪或者侦察等任务时，由于摄像机的抖动，造成背景下存在有两种运动矢量，相邻帧间图像坐标系一致，使得输出的图像没有很好的稳定性，导致在对视频图像做进一步观察时带来误差，无法提取有效正确的信息。

在相关技术中，需要利用稳像过程来提升输出图像的稳定性，所述稳像过程通常包含图像预处理(如：原始噪声滤除)、运动估计、运动决定、运动补偿等步骤，其中较关键的步骤在于运动估计和运动补偿。常用算法包括：基于特征点匹配技术的稳像算法、基于灰度投影与块匹配的快速稳像算法、基于Harris角点特征的稳像算法等。然而，现有算法复杂、匹配精度不高且鲁棒性不佳，影响到图像的动态捕获识别效率。

发明内容

针对上述技术问题，本发明提出一种视频稳像方法及装置。

技术方案如下：

在一个方面，提出的一种视频稳像方法，包括：

读入视频数据源，并将所述视频数据源的第1帧图像作为基准帧；

选取所述基准帧的局部匹配区域并根据所述基准帧的局部匹配区域提取第一特征点，计算与所述第一特征点对应的第一描述符；

读取所述视频数据源的第n帧图像，其中，2≤n≤m，所述m为所述视频数据源的总帧数；

选取所述第n帧图像的局部匹配区域并根据所述第n帧图像的局部匹配区域提取第二特征点，计算与所述第二特征点对应的第二描述符；

根据所述第一描述符和所述第二描述符，利用快速最邻近算法对所述基准帧和所述第n帧图像进行局部特征点匹配，确定出最佳匹配点；

计算全局运动矢量，建立摄像机运动模型；

根据所述第一描述符和所述第二描述符，并利用仿射变换模型来求解仿射变换参数；

利用光流场算法进行全局运动补偿；

以所述第n帧为基准对参考帧背景进行配准，并根据配准图像和第n帧图像，运用光流法计算局部运动矢量。

在另一方面，提出了一种视频稳像装置，包括：

读入单元，用于读入视频数据源，并将所述视频数据源的第1帧图像作为基准帧；

第一特征点提取单元，用于选取所述基准帧的局部匹配区域并根据所述基准帧的局部匹配区域提取第一特征点，计算与所述第一特征点对应的第一描述符；

第二读取单元，用于读取所述视频数据源的第n帧图像，其中，2≤n≤m，所述m为所述视频数据源的总帧数；

第二特征点提取单元，用于选取所述第n帧图像的局部匹配区域并根据所述第n帧图像的局部匹配区域提取第二特征点，计算与所述第二特征点对应的第二描述符；

最佳匹配点确定单元，用于根据所述第一描述符和所述第二描述符，利用快速最邻近算法对所述基准帧和所述第n帧图像进行局部特征点匹配，确定出最佳匹配点；

模型建立单元，用于计算全局运动矢量，建立摄像机运动模型；

仿射变换参数计算单元，用于根据所述第一描述符和所述第二描述符，并利用仿射变换模型来求解仿射变换参数；

运动补偿单元，用于利用光流场算法进行全局运动补偿；

图像配准单元，用于以所述第n帧为基准对参考帧背景进行配准，并根据配准图像和第n帧图像，运用光流法计算局部运动矢量。

本发明实施例所提供的技术方案所产生的效果包括：

航拍视频的抖动，使得未处理前的视频帧与前一帧的差分图不仅有运动车辆、行人、光照等自身背景的变化，还造成了场景内大部分区域发生变化。通过本发明的视频稳像算法处理后，由视频抖动造成的影响则大大减小，只存在车辆和行人等运动物体，与现有技术相比，本发明提出的算法在处理复杂背景的视频抖动问题上有良好的效果，算法具有实时性、有效性，较为稳定，并且，鲁棒性强，速度快、精度高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种视频稳像方法的流程示意图；

图2为本发明实施例的一种视频稳像装置的模块示意图。

具体实施方式

以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为局限于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。

本发明的目的是提供一种鲁棒性强，速度快、精度高的用于空基宽视场的高精度实时稳像方法。由于航拍视频的抖动，使得未处理前的视频帧与前一帧的差分图不仅有运动车辆、行人、光照等自身背景的变化，还造成了场景内大部分区域发生变化。而通过本发明的视频稳像算法处理后，由视频抖动造成的影响则大大减小，通过多步骤有效筛选，确保了匹配点的正确性。同时对算法进行优化，以及通过局部区域进行匹配，使得处理时间大大改善，确保了算法的实时有效性。

参照图1，在本发明一实施例中，一种视频稳像方法，可以包括如下步骤：

步骤101：读入视频数据源，并将所述视频数据源的第1帧图像作为基准帧；

步骤102：选取所述基准帧的局部匹配区域并根据所述基准帧的局部匹配区域提取第一特征点，计算与所述第一特征点对应的第一描述符；

在一可选的实施例中，该步骤102可以具体通过如下过程来实现：

首先将所述基准帧进行高斯滤波，构建出海森矩阵；其中，并引入权值系数来减小近似值与实际值的误差。设定基准帧图像和方框滤波卷积后分别为：D_xx、D_yy、D_xy，则可以将海森矩阵的判别式表示为：

det(H)＝D_xx D_yy-(0.9D_xy)²

利用上述判别式确定极值点，利用非极大值抑制确定特征点；

选取特征点的方向，构造SURF特征点描述符作为第一描述符。

步骤103：读取所述视频数据源的第n帧图像，其中，2≤n≤m，所述m为所述视频数据源的总帧数；

步骤104：选取所述第n帧图像的局部匹配区域并根据所述第n帧图像的局部匹配区域提取第二特征点，计算与所述第二特征点对应的第二描述符；

其中，该步骤104的计算方法上述步骤102的方法相同。

步骤105：根据所述第一描述符和所述第二描述符，利用快速最邻近算法对所述基准帧和所述第n帧图像进行局部特征点匹配，确定出最佳匹配点；

在一可选的实施例中，该步骤105可以采用如下过程a～e来实现：

a)训练一个匹配器，选取最优的索引类型随机KD树和层次K-means树为特征描述子建立索引树；

b)计算所述第1帧图像的特征点和所述第n帧图像的特征点之间的欧式距离；

c)当所述欧式距离小于阈值L时，保留匹配点，否则剔除；其中，选取最小的距离l，设定阈值L＝u*l；优选地，u可以等于2。

d)将两帧图像进行双向匹配，通过重复步骤b和步骤c，当匹配的特征点与上一步骤得到的结果一样时，得到最终的匹配点；

e)筛选优秀匹配点。

其中，所述筛选优秀匹配点的步骤e可以包括：

采用K-近邻算法对每个特征描述子寻找K个最邻近的匹配点(当查询描述子的总数量少于个的时候，则取总数量，本发明取K＝2。)，其中两个最邻近的点中的一个是最优匹配点，另一个则是次优匹配点。本发明实施例中，只有当最优点的测量距离非常小，远远小于次优点时，保留最优匹配点。当两个匹配点距离较为相近时，则该最优匹配点有可能出错，故将其剔除。根据两个匹配点之间的距离，确定将最优匹配点剔除还是保留。

步骤106：计算全局运动矢量，建立摄像机运动模型；

可选地，可以采用六参数仿射模型来计算全局运动矢量。六参数仿射模型可以描述摄像机的平移、缩放、旋转变换，能够满足弹上摄像机搜索捕获目标的任务，并且其在模型复杂度和建模能力之间取得了很好的折中，因此论文选择采用六参数仿射变换模型。

步骤107：根据所述第一描述符和所述第二描述符，并利用仿射变换模型来求解仿射变换参数(如采用最小二乘法)。

在一实施例中，根据仿射变换模型，设定第1帧图像和第n帧图像对应的像素点位置分别为：

用2*3的矩阵来表示仿射变换，设则X_n+1＝A*X_n+B，其中A表示水平和垂直尺度，B为平移参数；则，

通过上述方法，通过相邻帧图像来求解变换参数。

步骤108：利用光流场算法进行全局运动补偿；

一个视频序列包含一定数量的图片--通常称为帧。相邻的图片通常很相似，也就是说，包含了很多冗余。使用运动补偿的目的是通过消除这种冗余，来提高压缩比。运动模型基本上就是反映摄像机的各种运动，包括平移，旋转，变焦等等。这种模型特别适合对没有运动物体的静止场景的编码。全局运动补偿仅仅使用少数的参数对全局的运行进行描述，参数所占用的码率基本上可以忽略不计。该方法不对帧进行分区编码，这避免了分区造成的块效应。采用Horn-Schunck光流法，利用光流场的全局平滑约束，在给定的领域内尽可能的小，再利用高斯-赛德尔方法就行求解其相应的拉格郎日方程，最后利用迭代公式求解光流场的速度矢量。

步骤109：以所述第n帧为基准对参考帧背景进行配准，并根据配准图像和第n帧图像，运用光流法计算局部运动矢量。

本发明一实施例中，在利用六参数仿射模型得到全局运动矢量场后，以当前帧为基准对参考帧背景进行配准，最后利用配准图像和当前帧图像运用光流法计算局部运动矢量。由于得到的全局运动矢量场的矢量坐标值为非整数，采用双线性内插法实现图像配准技术，通过双线性算法计算得出。

本发明通过优秀的匹配点方法确保了匹配正确率，利用特殊局部匹配区域方式减少计算量，缩短时间，利用最小乘法获得最优解，最终利用全局运动补偿和光流法相结合的算法，获得匹配帧，整个发明具有非常强的准确性和鲁棒性。

航拍视频的抖动，使得未处理前的视频帧与前一帧的差分图不仅有运动车辆、行人、光照等自身背景的变化，还造成了场景内大部分区域发生变化。通过本发明的视频稳像算法处理后，由视频抖动造成的影响则大大减小，只存在车辆和行人等运动物体，与现有技术相比，本发明提出的算法在处理复杂背景的视频抖动问题上有良好的效果，算法具有实时性、有效性，较为稳定。本发明中，建立了失步映象区对象用于描述对应表对象的变化信息，仅用了较小的空间来记录变化，避免了开辟缓冲区来直接存储变化记录时的如何开辟缓冲区大小的难题。在这种机制下我们用较小的空间可以存储所有变化信息，从而避免因数据同步时数据丢失导致的掉话。

图2为本发明实施例的一种视频稳像装置的模块示意图，如图2所示，在发明一种实施例中，视频稳像装置可以包括：

读入单元201，用于读入视频数据源，并将所述视频数据源的第1帧图像作为基准帧；

第一特征点提取单元202，用于选取所述基准帧的局部匹配区域并根据所述基准帧的局部匹配区域提取第一特征点，计算与所述第一特征点对应的第一描述符；

第二读取单元203，用于读取所述视频数据源的第n帧图像，其中，2≤n≤m，所述m为所述视频数据源的总帧数；

第二特征点提取单元204，用于选取所述第n帧图像的局部匹配区域并根据所述第n帧图像的局部匹配区域提取第二特征点，计算与所述第二特征点对应的第二描述符；

最佳匹配点确定单元205，用于根据所述第一描述符和所述第二描述符，利用快速最邻近算法对所述基准帧和所述第n帧图像进行局部特征点匹配，确定出最佳匹配点；

模型建立单元206，用于计算全局运动矢量，建立摄像机运动模型；

仿射变换参数计算单元207，用于根据所述第一描述符和所述第二描述符，并利用仿射变换模型来求解仿射变换参数；

运动补偿单元208，用于利用光流场算法进行全局运动补偿；

图像配准单元209，用于以所述第n帧为基准对参考帧背景进行配准，并根据配准图像和第n帧图像，运用光流法计算局部运动矢量。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (10)

1.一种视频稳像方法，其特征在于，包括：

读入视频数据源，并将所述视频数据源的第1帧图像作为基准帧；

选取所述基准帧的局部匹配区域并根据所述基准帧的局部匹配区域提取第一特征点，计算与所述第一特征点对应的第一描述符；

读取所述视频数据源的第n帧图像，其中，2≤n≤m，所述m为所述视频数据源的总帧数；选取所述第n帧图像的局部匹配区域并根据所述第n帧图像的局部匹配区域提取第二特征点，计算与所述第二特征点对应的第二描述符；

根据所述第一描述符和所述第二描述符，利用快速最邻近算法对所述基准帧和所述第n帧图像进行局部特征点匹配，确定出最佳匹配点；

计算全局运动矢量，建立摄像机运动模型；

根据所述第一描述符和所述第二描述符，并利用仿射变换模型来求解仿射变换参数；

利用光流场算法进行全局运动补偿；

以所述第n帧为基准对参考帧背景进行配准，并根据配准图像和第n帧图像，运用光流法计算局部运动矢量。

2.根据权利要求1所述的方法，其特征在于，所述根据所述基准帧的局部匹配区域提取第一特征点，计算与所述第一特征点对应的第一描述符，包括：

将所述基准帧进行高斯滤波，构建出海森矩阵；其中，设定基准帧图像和方框滤波卷积后分别为：D_xx、D_yy、D_xy，则可以将海森矩阵的判别式表示为：

det(H)＝D_xxD_yy-(0.9D_xy)²

利用上述判别式确定极值点，利用非极大值抑制确定特征点；

选取特征点的方向，构造SURF特征点描述符作为第一描述符。

3.根据权利要求1所述的方法，其特征在于，所述利用快速最邻近算法对所述基准帧和所述第n帧图像进行局部特征点匹配，确定出最佳匹配点，包括：

a)训练一个匹配器，选取最优的索引类型随机KD树和层次K-means树为特征描述子建立索引树；

b)计算所述第1帧图像的特征点和所述第n帧图像的特征点之间的欧式距离；

c)当所述欧式距离小于阈值L时，保留匹配点，否则剔除；其中，选取最小的距离l，设定阈值L＝u*l；

d)将两帧图像进行双向匹配，通过重复步骤b和步骤c，当匹配的特征点与上一步骤得到的结果一样时，得到最终的匹配点；

e)筛选优秀匹配点。

4.根据权利要求1所述的方法，其特征在于，所述筛选优秀匹配点的步骤包括：

采用K-近邻算法对每个特征描述子寻找K个最邻近的匹配点，其中两个最邻近的点中的一个是最优匹配点，另一个则是次优匹配点；

根据两个匹配点之间的距离，确定将最优匹配点剔除还是保留。

5.根据权利要求1所述的方法，其特征在于，所述计算全局运动矢量，建立摄像机运动模型，包括：

采用六参数仿射模型来计算全局运动矢量。

6.根据权利要求1所述的方法，其特征在于，所述利用仿射变换模型来求解仿射变换参数，包括：

设定第1帧图像和第n帧图像对应的像素点位置分别为：

用2*3的矩阵来表示仿射变换，设则X_n+1＝A*X_n+B，其中A表示水平和垂直尺度，B为平移参数；

则，

通过上述方法，通过相邻帧图像来求解变换参数。

7.一种视频稳像装置，其特征在于，包括：

读入单元，用于读入视频数据源，并将所述视频数据源的第1帧图像作为基准帧；

第一特征点提取单元，用于选取所述基准帧的局部匹配区域并根据所述基准帧的局部匹配区域提取第一特征点，计算与所述第一特征点对应的第一描述符；

第二读取单元，用于读取所述视频数据源的第n帧图像，其中，2≤n≤m，所述m为所述视频数据源的总帧数；

第二特征点提取单元，用于选取所述第n帧图像的局部匹配区域并根据所述第n帧图像的局部匹配区域提取第二特征点，计算与所述第二特征点对应的第二描述符；

最佳匹配点确定单元，用于根据所述第一描述符和所述第二描述符，利用快速最邻近算法对所述基准帧和所述第n帧图像进行局部特征点匹配，确定出最佳匹配点；

模型建立单元，用于计算全局运动矢量，建立摄像机运动模型；

仿射变换参数计算单元，用于根据所述第一描述符和所述第二描述符，并利用仿射变换模型来求解仿射变换参数；

运动补偿单元，用于利用光流场算法进行全局运动补偿；

图像配准单元，用于以所述第n帧为基准对参考帧背景进行配准，并根据配准图像和第n帧图像，运用光流法计算局部运动矢量。

8.根据权利要求7所述的装置，其特征在于，所述第一特征点提取单元，具体被配置为：

将所述基准帧进行高斯滤波，构建出海森矩阵；其中，设定基准帧图像和方框滤波卷积后分别为：D_xx、D_yy、D_xy，则可以将海森矩阵的判别式表示为：

det(H)＝D_xxD_yy-(0.9D_xy)²

利用上述判别式确定极值点，利用非极大值抑制确定特征点；

选取特征点的方向，构造SURF特征点描述符作为第一描述符。

9.根据权利要求7所述的装置，其特征在于，所述最佳匹配点确定单元具体用于：

a)训练一个匹配器，选取最优的索引类型随机KD树和层次K-means树为特征描述子建立索引树；

b)计算所述第1帧图像的特征点和所述第n帧图像的特征点之间的欧式距离；

c)当所述欧式距离小于阈值L时，保留匹配点，否则剔除；其中，选取最小的距离l，设定阈值L＝u*l；

d)将两帧图像进行双向匹配，通过重复步骤b和步骤c，当匹配的特征点与上一步骤得到的结果一样时，得到最终的匹配点；

e)筛选优秀匹配点。

10.根据权利要求7所述的装置，其特征在于，所述最佳匹配点确定单元具体用于：

采用K-近邻算法对每个特征描述子寻找K个最邻近的匹配点，其中两个最邻近的点中的一个是最优匹配点，另一个则是次优匹配点；

根据两个匹配点之间的距离，确定将最优匹配点剔除还是保留。