CN106412381B - 一种快速高效的视频稳定方法 - Google Patents

Abstract

本发明提出了一种快速高效的视频稳定方法，通过一种改进的粒子滤波方法对运动模型的参数进行精确估计，对每个粒子进行操作时，采用了三对图像进行计算，因此每个粒子能够提高更多的信息，本发明方法在不需要太多数目粒子的条件下依然可以达到很好的计算精度。本发明提出的方法复杂度小，实时性强，能够有效的对视频进行稳定补偿，适用于车载、船载、机载等摄像系统。

Description

一种快速高效的视频稳定方法

技术领域

本发明属于图像处理技术领域，涉及图像的稳定处理，特指一种快速高效的视频稳定方法。

背景技术

近年来，随着拍照手机、摄像机、行车记录仪等摄像产品在民用消费电子领域的普及，人们越来越多地采用视频来满足生活和工作的各种需要。然而，无论是手持拍摄设备，还是其他装载摄像设备，常会因为载体的抖动，使得拍摄的画面不稳定、模糊。这种不稳定的视频会使观察者感觉疲劳，影响观察者的判断力和观察的精度。如何将这些不稳定的视频信号转化成稳定的高质量的视频图像序列具有重要的理论意义和实用价值。

稳像技术就是为了解决上述应用场景的需求而产生的。以稳像技术的手段划分，稳像技术可以分为机械稳像、光学稳像和电子稳像。与机械或光学稳像技术相比，电子稳像具有成本低、硬件结构简单、功耗低等特点，是目前视频稳像技术研究的重点方向。

现有的电子稳像系统一般包括运动估计模块和运动平滑补偿模块两个部分。运动估计模块是通过数字图像处理技术，计算出相邻两帧视频图像的相对运动偏移量，从而得到视频图像序列的运动轨迹。常用的方法有块匹配法、位平面匹配法、灰度投影法以及特征点匹配法等。运动平滑补偿模块是根据运动估计所得到的偏移量确定图像的抖动量，利用图像处理的方法对图像的像素点进行处理，补偿掉抖动矢量，从而实现输出稳定视频图像序列的过程。常见的方法有均值滤波、高斯滤波、卡尔曼滤波、曲线拟合法等。

为了取得较好的稳像效果，现有的电子稳像系统大都采用特征匹配加运动滤波的方式。然而，特征点提取和描述子的匹配时间过长会严重影响运动估计的速度，然后再通过运动滤波对运动估计矢量进行分离，导致整个系统处理时间较长，很难满足一些实时处理系统的需要。

发明内容

针对现有电子稳像方法的不足，本发明提出一种快速高效的视频稳定方法。本发明通过一种改进的粒子滤波方法对运动模型的参数进行精确估计，对每个粒子进行操作时，采用了三对图像进行计算，因此每个粒子能够提高更多的信息，本发明方法在不需要太多数目粒子的条件下依然可以达到很好的计算精度。

为实现上述技术目的，本发明的技术方案是，

一种快速高效的视频稳定方法，包括以下步骤：

(1)对于视频序列图像{P_n(x,y)|n＝1,2,…N}，采用下述运动模型表示视频序列图像中相邻两帧图像的映射关系：

其中(x_n,y_n)表示第n帧的一个像素点所在的位置坐标，(x_n+1,y_n+1)是其对应的第n+1帧的像素点所在的位置坐标，θ_n是旋转角度，(Tx_n,Ty_n)为运动补偿参数。

(2)求解相邻两帧图像的运动模型，也即求解公式(1)中的3个参数(θ_n,Tx_n,Ty_n)。

2.1选取粒子数量M，本发明中选取M＝50；每个粒子都有3个参数和一个权重其中标号m∈{1,…,M}表示粒子的序号。

首先给每个粒子的权重赋初值，初始权重设为1/M；然后对粒子的三个参数进行初始化：

其中ε₁,ε₂,ε₃均为[-1,1]内的随机数，β是一个常数，表示单帧旋转角度范围，这里取值10，α是一个常数，表示单帧补偿范围，这里取值30。

根据步骤2.1，每个粒子的初始权重和参数信息都已经得到。

2.2计算每个粒子的观测概率密度，然后根据该密度计算出新的权重；

对每个粒子进行观测，观察每个粒子所代表的可能状态和真实状态之间的相似程度，接近真实状态的粒子赋予较大的权值，反之权值较小。

任取M个粒子中一个粒子为例说明本发明的具体求得相似程度和权重的步骤。

2.2.1从第n帧图像里面随机选择3幅大小为50×50的子图像{H_i(x,y)|i＝1,2,3}，然后计算每个子图像在第n+1帧对应的子图像，这里记为{Q_i(x,y)|i＝1,2,3}。具体计算方法如下：

对于任一子图像H_i(x,y)，在第n帧图像上有4个顶点坐标{(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)}，将当前粒子信息代入公式1，可以得到第n帧和第n+1帧的坐标映射关系，于是可以求得这4个顶点坐标在第n+1帧对应的坐标{(x₁′,y₁′),(x₂′,y₂′),(x₃′,y₃′),(x₄′,y₄′)}，即得到对应在第n+1帧的子图像Q_i(x,y)。

2.2.2分别计算三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度。

以其中一对H_i(x,y),Q_i(x,y)为例，将空间划分成16份，分别计算H_i(x,y)和Q_i(x,y)的直方图，记为HistA_i和HistB_i。则直方图HistA_i和HistB_i均为一个长度为16的一维向量，记为HistA_i＝{p_j|j＝1,2,…,16}，HistB_i＝{q_j|j＝1,2,…,16}。

定义两个直方图的相似度dist_i：

采用上述方法分别计算三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度，得到三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度分别为dist₁,dist₂,dist₃；然后进行平均，得到最终的相似度

由于相似度是通过三对子图像信息获得的，所以准确度较高，使得单个粒子能够表征更多的信息，这样是的本发明算法在不需要太多数目的粒子的条件下依然可以达到很好的计算精度。

2.2.3根据2.2.2中得到的最终相似度dist计算当前粒子的观测概率密度其中δ是个常数。然后更新当前粒子的权重：

对于所有的50个粒子都进行上述操作，计算出新的权重，然后再进行归一化得到最终权重

2.3根据新的权重对所有粒子的3个参数进行加权求和，即得到相邻两帧图像的映射关系，也即为公式1中的3个参数(θ_n,Tx_n,Ty_n)；

所有粒子的权重都进行更新后，就可以计算从第n帧图像到第n+1帧图像的映射关系，也即为公式1中的3个参数(θ_n,Tx_n,Ty_n)。3个参数可以由所有粒子的加权和来表示：

通过上述方法，可以计算出相邻两帧图像之间的映射关系，也即为公式1中的3个参数。

这样从第2帧开始，每一帧都可以通过步骤2中的方法计算出与之相邻的前一帧对应的运动参数{(θ_n,Tx_n,Ty_n)|n＝1,…,N-1}。

(3)依次对每一帧图像进行视频稳定，获得稳定视频序列图像。

从第2帧开始，每一帧都通过步骤2中的方法计算出与之相邻的前一帧对应的运动参数{(θ_n,Tx_n,Ty_n)|n＝1,…,N-1}。

最后根据每一帧的运动参数对视频图像进行稳定，以第n帧为例，通过累加获得第n帧相对于第1帧的运动补偿：

根据旋转角度对对第n帧图像进行旋转，然后根据对旋转后的图像进行平移，获得稳定视频序列图像。

本发明提出了一种快速高效的视频稳定方法，通过一种改进的粒子滤波方法对运动模型的参数进行精确估计，对每个粒子进行操作时，采用了三对图像进行计算，因此每个粒子能够提高更多的信息，本发明方法在不需要太多数目粒子的条件下依然可以达到很好的计算精度。本发明提出的方法复杂度小，实时性强，能够有效的对视频进行稳定补偿，适用于车载、船载、机载等摄像系统。

附图说明

图1为本发明的流程图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

理论上当载体的运动反映到视频图像上时，连续两帧间发生的全局运动可以分解为整体的平移、绕某个定点的旋转等。因此对于视频序列图像{P_n(x,y)|n＝1,2,…N}，本发明采用下述模型表示相邻两帧图像的映射关系：

其中(x_n,y_n)表示第n帧的一个像素点所在的位置坐标，(x_n+1,y_n+1)是其对应的第n+1帧的像素点所在的位置坐标，θ_n是旋转角度，(Tx_n,Ty_n)为运动补偿参数，本模型一共有3个参数(θ_n,Tx_n,Ty_n)。

粒子滤波器具有较好的平滑性、收敛性和鲁棒性，能逼近状态的最优估计，且使用于任何非线性非高斯的动态系统。理论上，当粒子的数目为无穷多时，精度达到最优。但与此同时，粒子的数目太多会严重影响计算的效率。本发明借鉴了粒子滤波的思想，对其进行一定的改进，在不需要太多数目的粒子的条件下依然可以达到很好的计算精度。

下面以相邻两帧图像第n帧和第n+1帧为例，详细介绍如何用粒子滤波的思想求解公式(1)中的3个参数(θ_n,Tx_n,Ty_n)。

为了提高效率，本实施例选取粒子数量M＝50，每个粒子都有3个参数和一个权重其中标号m∈{1,…,M}表示粒子的序号。

首先给每个粒子的权重赋初值，初始权重设为1/M；然后对粒子的三个参数进行初始化：

其中ε₁,ε₂,ε₃均为[-1,1]内的随机数，β是一个常数，表示单帧旋转角度范围，这里取值10，α是一个常数，表示单帧补偿范围，这里取值30。

根据上述方法，每个粒子的初始权重和参数信息都已经得到。

然后对每个粒子进行观测，观察每个粒子所代表的可能状态和真实状态之间的相似程度，接近真实状态的粒子赋予较大的权值，反之权值较小。下面任取一个粒子为例说明本发明的具体求得相似程度和权重的步骤。

从第n帧图像里面随机选择3幅大小为50×50的子图像{H_i(x,y)|i＝1,2,3}，然后计算每个子图像在第n+1帧对应的子图像，这里记为{Q_i(x,y)|i＝1,2,3}。具体计算方法如下：

对于任一子图像H_i(x,y)，在第n帧图像上有4个顶点坐标{(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)}，将当前粒子信息代入公式(1)，可以得到第n帧和第n+1帧的坐标映射关系，于是可以求得这4个顶点坐标在第n+1帧对应的坐标{(x₁′,y₁′),(x₂′,y₂′),(x₃′,y₃′),(x₄′,y₄′)}，即得到对应在第n+1帧的子图像Q_i(x,y)。

接下来分别计算三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度。以其中一对H_i(x,y),Q_i(x,y)为例，将空间划分成16份，分别计算H_i(x,y)和Q_i(x,y)的直方图，记为HistA_i和HistB_i。则直方图HistA_i和HistB_i均为一个长度为16的一维向量，记为HistA_i＝{p_j|j＝1,2,…,16}，HistB_i＝{q_j|j＝1,2,…,16}。

在此定义两个直方图的相似度dist_i如下：

根据上述方法，计算三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度分别为dist₁,dist₂,dist₃，然后进行平均，得到最终的相似度

由于相似度是通过三对子图像信息获得的，所以准确度较高，使得单个粒子能够表征更多的信息，这样是的本发明方法在不需要太多数目的粒子的条件下依然可以达到很好的计算精度。

接着根据相似度计算当前粒子的观测概率密度其中δ是个常数。然后更新当前粒子的权重：

对于所有的50个粒子都进行上述操作，计算出新的权重，然后再进行归一化得到最终权重

所有粒子的权重都进行更新后，就可以计算从第n帧图像到第n+1帧图像的映射关系，也即为公式(1)中的3个参数(θ_n,Tx_n,Ty_n)。3个参数可以有所有粒子的加权和来表示：

通过上述方法，可以计算出相邻两帧图像之间的映射关系，也即为公式(1)中的3个参数。这样从第2帧开始，每一帧都通过上述步骤计算出与之相邻的前一帧对应的运动参数{(θ_n,Tx_n,Ty_n)|n＝1,…,N-1}。

最后根据每一帧的运动参数对视频图像进行稳定，以第n帧为例，通过累加获得第n帧相对于第1帧的运动补偿：

根据旋转角度对对第n帧图像进行旋转，然后根据对旋转后的图像进行平移，获得稳定视频序列图像。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。

Claims (5)

1.一种快速高效的视频稳定方法，其特征在于，包括以下步骤：

(1)对于视频序列图像{P_n(x,y)|n＝1,2,…N}，采用下述运动模型表示视频序列图像中相邻两帧图像的映射关系：

其中(x_n,y_n)表示第n帧的一个像素点所在的位置坐标，(x_n+1,y_n+1)是其对应的第n+1帧的像素点所在的位置坐标，θ_n是旋转角度，(Tx_n,Ty_n)为运动补偿参数；

(2)求解相邻两帧图像的运动模型，也即求解公式(1)中的3个参数(θ_n,Tx_n,Ty_n)；

2.1选取粒子数量M，每个粒子都有3个参数和一个权重其中标号m∈{1,…,M}表示粒子的序号；

首先给每个粒子的权重赋初值，初始权重设为1/M；然后对粒子的三个参数进行初始化：

其中ε₁,ε₂,ε₃均为[-1,1]内的随机数，β是一个常数，表示单帧旋转角度范围，α是一个常数，表示单帧补偿范围；

2.2对每个粒子进行观测，计算每个粒子所代表的可能状态和真实状态之间的相似度，根据相似度计算每个粒子的观测概率密度，然后根据该密度计算出新的权重；

任取M个粒子中一个粒子计算其相似度和权重的方法如下：

2.2.1从第n帧图像里面随机选择3幅大小为50×50的子图像{H_i(x,y)|i＝1,2,3}，然后计算每个子图像{H_i(x,y)|i＝1,2,3}在第n+1帧对应的子图像，记为{Q_i(x,y)|i＝1,2,3}；

2.2.2分别计算三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度，得到三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度分别为dist₁,dist₂,dist₃，然后进行平均，得到最终的相似度

2.2.3根据2.2.2中得到的最终相似度dist计算当前粒子的观测概率密度其中δ是个常数；

然后更新当前粒子的权重：

对于所有的M个粒子按步骤2.2.1至2.2.4的方法计算出新的权重，然后再进行归一化得到最终权重

2.3根据新的权重对所有粒子的3个参数进行加权求和，即得到相邻两帧图像的映射关系，也即为公式(1)中的3个参数(θ_n,Tx_n,Ty_n)；

所有粒子的权重都进行更新后，就可以计算从第n帧图像到第n+1帧图像的映射关系，也即为公式1中的3个参数(θ_n,Tx_n,Ty_n)，3个参数(θ_n,Tx_n,Ty_n)可以由所有粒子的加权和来表示：

(3)依次对每一帧图像进行视频稳定，获得稳定视频序列图像；

从第2帧开始，每一帧都通过步骤2中的方法计算出与之相邻的前一帧对应的运动参数{(θ_n,Tx_n,Ty_n)|n＝1,…,N-1}；

最后根据每一帧的运动参数对视频图像进行稳定，以第n帧为例，通过累加获得第n帧相对于第1帧的运动补偿：

根据旋转角度对对第n帧图像进行旋转，然后根据对旋转后的图像进行平移，获得稳定视频序列图像。

2.根据权利要求1所述的快速高效的视频稳定方法，其特征在于，步骤2.1中，选取粒子数量M＝50。

3.根据权利要求1所述的快速高效的视频稳定方法，其特征在于，步骤2.1中，β取值10，α取值30。

4.根据权利要求1、2或3所述的快速高效的视频稳定方法，其特征在于，步骤2.2.1中，计算每个子图像{H_i(x,y)|i＝1,2,3}在第n+1帧对应的子图像{Q_i(x,y)|i＝1,2,3}，计算方法如下：

对于任一子图像H_i(x,y)，在第n帧图像上有4个顶点坐标{(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)}，将当前粒子信息代入公式(1)，可以得到第n帧和第n+1帧的坐标映射关系，于是可以求得这4个顶点坐标在第n+1帧对应的坐标{(x′₁,y′₁),(x′₂,y′₂),(x′₃,y′₃),(x′₄,y′₄)}，即得到对应在第n+1帧的子图像Q_i(x,y)。

5.根据权利要求4所述的快速高效的视频稳定方法，其特征在于，步骤2.2.2中，H_i(x,y),Q_i(x,y)为三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}中的一对子图像，其相似度的计算方法为：

将空间划分成16份，分别计算H_i(x,y)和Q_i(x,y)的直方图，记为HistA_i和HistB_i；则直方图HistA_i和HistB_i均为一个长度为16的一维向量，记为HistA_i＝{p_j|j＝1,2,…,16}，HistB_i＝{q_j|j＝1,2,…,16}；

定义两个直方图的相似度dist_i：

采用上述方法分别计算三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度，得到三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度分别为dist₁,dist₂,dist₃。