CN106454013A - 一种基于粒子滤波的视频稳定方法 - Google Patents

Abstract

本发明提出了一种基于粒子滤波的视频稳定方法，不需要进行单独的运动估计，而是把运动估计和运动补偿都归纳进一个粒子滤波的框架下，直接通过粒子加权的方式获得运动补偿向量。本发明提出的方法复杂度小，能够有效的对视频进行稳定补偿，适用于车载、船载、机载等摄像系统。

Description

一种基于粒子滤波的视频稳定方法

技术领域

本发明属于图像处理技术领域，涉及图像的稳定处理，特指一种基于粒子滤波的视频稳定方法。

背景技术

摄像系统已广泛应用在舰船的光电设备、无人机的侦察系统以及侦察车的监视系统等领域中。在实际应用中,摄像平台的不稳定会造成摄像机存在随机抖动,这种随机抖动使得拍摄的画面不稳定、模糊。拍摄得到的这种不稳定的图像会使观察者产生疲劳感，从而导致误判和漏判。为了克服摄像系统的这种缺点,需要对摄像系统进行稳像处理。

电子稳像是综合电子、计算机、图像处理等技术为一体的新一代实现图像序列稳定的技术。现有的电子稳像系统都是分为两部分：运动估计模块和运动补偿模块。运动估计模块是利用运动估计相关算法处理视频序列，计算出视频序列相邻两帧的全局运动矢量。运动补偿模块则从全局运动矢量中分离出抖动矢量，利用图像处理的方法对图像的像素点进行处理，补偿掉抖动矢量，然后获得稳定视频序列。

为了获得准确的运动估计矢量，往往采用比较耗时的特征匹配法；然后再通过运动滤波对运动估计矢量进行分离，整个系统处理时间较长，很难满足一些实时处理系统的需要。

发明内容

针对现有电子稳像方法的不足，本发明提出一种基于粒子滤波的视频稳定方法。本发明不再进行单独的运动估计，而是把运动估计和运动补偿都归纳进一个粒子滤波的框架下，直接通过粒子加权的方式获得运动补偿向量。

为实现上述技术目的，本发明的技术方案是，

一种基于粒子滤波的视频稳定方法，包括以下步骤：

(1)对于视频序列图像{P_n(x,y)|n＝1,2,…N}，采用下述模型表示视频序列图像中相邻两帧图像的映射关系：

其中(x_n,y_n)表示第n帧的一个像素点所在的位置坐标，(x_n+1,y_n+1)是其对应的第n+1帧的像素点所在的位置坐标，(Δx,Δy)为运动补偿参数。

选取粒子数量M，本发明中选取M＝100；每个粒子的都有一个权重记为每个粒子的初始权重均设为1/M，每个粒子对应的运动补偿参数为对所有的粒子进行初始化：

其中ε为[-1,1]内的随机数，每个粒子对应的运动补偿参数的初始值(Δx^init,Δy^init)均取0，b是一个常数，表示单帧补偿范围，本发明b取值为30。根据公式(2)，可以获得M个粒子的在第一帧的初始取值(也即状态)。

(2)对每个粒子进行状态预测，考虑摄像机的实际扫描状态，故构造线性离散系统模型作为状态转移方程：

其中G₁、G₂分别是一维高斯噪声。从上述公式可以看到，第n帧图像的粒子是第n-1帧图像粒子的一阶方程。

从第n帧(n≥2)开始，根据公式(3)，获得M个粒子在对应的运动补偿参数上新的取值(也即状态)。

(3)然后对每个粒子进行观测，观察每个粒子所代表的可能状态和真实状态之间的相似程度，接近真实状态的粒子赋予较大的权值，反之权值较小。

任取M个粒子中一个粒子为例说明本发明的具体求得相似程度和权重的步骤。

a.从第n-1帧图像里面随机选择5幅大小为50×50的子图像{H_i(x,y)|i＝1,2,…5}，从这5幅子图像中间最终选取一幅梯度信息最大的子图像用于后续处理。其中本发明提出的梯度信息的计算步骤如下：

其中 是卷积运算，TH是二值化的阈值，这里取值为5。

{θ_i(x,y)|i＝1,2,…,5}是一个二值化图像，其中非零像素代表梯度信息，因此在这5幅子图像中选择非零像素数量最多的那幅，假定为θ_i0(x,y)，那么对应的H_i0(x,y)就是梯度信息最大的子图像。

b.根据当前的粒子计算第n-1帧的子图像H_i0(x,y)在第n帧对应的子图像，这里记为H′_i0(x,y)。

根据公式(1)，分别将子图像H_i0(x,y)在第n-1帧图像上四个顶点坐标平移就可以得到其在第n帧图像上的四个顶点的坐标位置，也即得到对应的子图像H′_i0(x,y)。

c.通过直方图计算H_i0(x,y)和H′_i0(x,y)的相似度。

为了简化计算，将空间划分成32份，分别计算H_i0(x,y)和H′_i0(x,y)的直方图，记为HistA和HistB。HistA和HistB均为长度为32的一维的向量，然后我们采用欧式距离计算它们的相似度：

d.根据相似度计算观察概率密度其中δ是个常数。

e.更新当前粒子的权重：

对于100个粒子都进行上述操作，计算出新的权重，然后再进行归一化得到最终权重

(4)当前帧(也即第n帧)所期望的运动补偿参数可以用每个粒子的加权和来表示：

(5)为解决粒子退化的问题，避免大量的计算浪费在权值小的粒子上，对粒子进行重新采样，复制权重较大的粒子，剔除权重较小的粒子。具体做法如下：定义两个阈值ε₁和ε₂，其中ε₁＞ε₂，ε₁和ε₂分别表示粒子权值的大小范围，当某个粒子的权值小于阈值ε₂时，需要在权值大于ε₁的粒子中任意选择粒子替换该权值小于阈值ε₂的粒子，并给该粒子赋予1/M的初始权重；对所有权值小于阈值ε₂的粒子都进行替换后，对M个粒子的权重进行归一化，作为第n帧的最终粒子信息。实质上就是，把权重较小的粒子用一个权重较大的粒子进行替换，并给于一个新的初始权重。

计算完第n帧的运动补偿参数(Δx_n,Δy_n)和粒子信息后，然后转到步骤(2)，开始计算第n+1帧的运动补偿参数(Δx_n+1,Δy_n+1)和粒子信息。这样从第2帧开始，每一帧都通过步骤(2)-步骤(5)计算出对应的运动补偿参数{(Δx_n,Δy_n)|n＝2,…,N}。

最后根据每一帧的运动补偿参数对视频图像进行稳定，以第n帧为例，通过累加获得第n帧相对于第1帧的运动补偿：

根据对第n帧图像进行平移，获得稳定视频序列图像。

本发明提出了一种基于粒子滤波的视频稳定方法，不需要进行单独的运动估计，而是把运动估计和运动补偿都归纳进一个粒子滤波的框架下，直接通过粒子加权的方式获得运动补偿向量。本发明提出的方法复杂度小，能够有效的对视频进行稳定补偿，适用于车载、船载、机载等摄像系统。

附图说明

图1为本发明的流程图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

作为一个滤波工具，粒子滤波器具有较好的平滑性、收敛性和鲁棒性，能逼近状态的最优估计，且使用于任何非线性非高斯的动态系统。因此本发明提出了一种基于粒子滤波的视频稳定方法，采用粒子滤波作为整体框架，把运动估计和运动补偿结合成一个有机的整体。

如图1所示，本发明包括如下步骤：

(1)对于视频序列图像{P_n(x,y)|n＝1,2,…N}，本发明采用下述模型表示相邻两帧图像的映射关系：

其中(x_n,y_n)表示第n帧的一个像素点所在的位置坐标，(x_n+1,y_n+1)是其对应的第n+1帧的像素点所在的位置坐标，(Δx,Δy)为运动补偿参数。

根据精度和速度要求确定粒子的数量M，经过实验论证，本实施例选取粒子数量M＝100。每个粒子的都有一个权重记为每个粒子的初始权重均设为1/M，每个粒子对应的运动补偿参数为对所有的粒子进行初始化：

其中ε为[-1,1]内的随机数，每个粒子对应的运动补偿参数的初始值(Δx^init,Δy^init)均取0，b是一个常数，表示单帧补偿范围，这里取值30。

根据公式2，获得100个粒子的在第一帧的初始取值(也即状态)。

(2)根据粒子滤波框架，对每个粒子进行状态预测，考虑摄像机的实际扫描状态，故构造线性离散系统模型作为状态转移方程：

其中G₁、G₂分别是一维高斯噪声。从上述公式可以看到，第n帧图像的粒子是第n-1帧图像粒子的一阶方程。

从第n帧(n≥2)开始，根据公式3，获得100个粒子在两个参数上新的取值(也即状态)。

(3)然后对每个粒子进行观测，观察每个粒子所代表的可能状态和真实状态之间的相似程度，接近真实状态的粒子赋予较大的权值，反之权值较小。

下面任取其中的一个粒子为例说明本发明的具体求得相似程度和权重的步骤。

a.从第n-1帧图像里面随机选择5幅大小为50×50的子图像{H_i(x,y)|i＝1,2,…5}，从中间最终选取一幅梯度信息最大的子图像用于后续处理。其中本发明提出的梯度信息的计算步骤如下：

其中 是卷积运算，TH是二值化的阈值，这里取值为5。

{θ_i(x,y)|i＝1,2,…,5}是一个二值化图像，其中非零像素代表梯度信息，因此在这5幅图像中选择非零像素数量最多的那幅，假定为θ_i0(x,y)，那么对应的H_i0(x,y)就是梯度信息最大的子图像。

b、根据当前的粒子计算第n-1帧的子图像H_i0(x,y)在第n帧对应的子图像，这里记为H′_i0(x,y)。

根据公式1，分别将子图像H_i0(x,y)在第n-1帧图像上四个顶点坐标平移就可以得到其在第n帧图像上的四个顶点的坐标位置，也即得到对应的子图像H′_i0(x,y)。

c.通过直方图计算H_i0(x,y)和H′_i0(x,y)的相似度。

为了简化计算，将空间划分成32份，分别计算H_i0(x,y)和H′_i0(x,y)的直方图，记为HistA和HistB。HistA和HistB均为长度为32的一维的向量，然后采用欧式距离计算它们的相似度：

d.根据相似度计算观察概率密度其中δ是个常数。

e.更新当前粒子的权重：

对于100个粒子都进行上述操作，计算出新的权重，然后再进行归一化得到最终权重

(4)当前帧(也即第n帧)所期望的运动补偿参数可以用每个粒子的加权和来表示：

(5)为解决粒子退化的问题，避免大量的计算浪费在权值小的粒子上，对粒子进行重新采样，复制权重较大的粒子，剔除权重较小的粒子。具体做法如下：

定义两个阈值ε₁和ε₂，其中ε₁＞ε₂，ε₁和ε₂分别表示粒子权值的大小范围，当某个粒子的权值小于阈值ε₂时，需要在权值大于ε₁的粒子中任意选择粒子替换该权值小于阈值ε₂的粒子，并给该粒子赋予1/M的初始权重；对所有权值小于阈值ε₂的粒子都进行替换后，对M个粒子的权重进行归一化，作为第n帧的最终粒子信息。实质上就是，把权重较小的粒子用一个权重较大的粒子进行替换，并给于一个新的初始权重。

定义一个阈值，当某个粒子的权值小于该阈值就删掉，然后复制一个权重较大的粒子，并给该粒子赋予1/M的初始权重。判断完所有粒子后，对100个粒子(包括原有权重较大的粒子和新复制的粒子)的权重进行归一化，作为第n帧的最终粒子信息。

计算完第n帧的运动补偿参数(Δx_n,Δy_n)和粒子信息后，然后转到步骤(2)，开始计算第n+1帧的运动补偿参数(Δx_n+1,Δy_n+1)和粒子信息。这样从第2帧开始，每一帧都通过步骤(2)-步骤(5)计算出对应的运动补偿参数{(Δx_n,Δy_n)|n＝2,…,N}。

最后根据每一帧的运动补偿参数对视频图像进行稳定，以第n帧为例，通过累加获得第n帧相对于第1帧的运动补偿：

根据对第n帧图像进行平移，获得稳定视频序列图像。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (5)

1.一种基于粒子滤波的视频稳定方法，其特征在于，包括以下步骤：

(1)对于视频序列图像{P_n(x,y)|n＝1,2,…N}，采用下述模型表示视频序列图像中相邻两帧图像的映射关系：

$\left\{\begin{array}{c}{x}_{n+1}=x_n+\mathrm{\Δ}x\\ y_{n+1}=y_n+\mathrm{\Δ}y\end{array}\right.---\left(1\right)$

其中(x_n,y_n)表示第n帧的一个像素点所在的位置坐标，(x_n+1,y_n+1)是其对应的第n+1帧的像素点所在的位置坐标，(Δx,Δy)为运动补偿参数；

选取粒子数量M，每个粒子的都有一个权重记为每个粒子的初始权重均设为1/M，每个粒子对应的运动补偿参数为对所有的粒子进行初始化：

$\left\{\begin{array}{c}{\mathrm{\Δx}}_1^m={\mathrm{\Δx}}^{init}+b\mathrm{\ϵ}\\ {\mathrm{\Δy}}_1^m={\mathrm{\Δy}}^{init}+b\mathrm{\ϵ}\end{array}\right.---\left(2\right)$

其中ε为[-1,1]内的随机数，每个粒子对应的运动补偿参数的初始值(Δx^init,Δy^init)均取0，b是一个常数，表示单帧补偿范围；

根据公式(2)，可以获得M个粒子的在第一帧的初始取值；

(2)对每个粒子进行状态预测，考虑摄像机的实际扫描状态，故构造线性离散系统模型作为状态转移方程：

$\left\{\begin{array}{c}{\mathrm{\Δx}}_n^m={\mathrm{\Δx}}_{n-1}^m+G_1\\ {\mathrm{\Δy}}_n^m={\mathrm{\Δy}}_{n-1}^m+G_2\end{array}\right.---\left(3\right)$

其中G₁、G₂分别是一维高斯噪声；

从第n帧开始，其中n≥2，根据公式(3)，获得M个粒子在对应的运动补偿参数上新的取值；

(3)然后对每个粒子进行观测，观察每个粒子所代表的可能状态和真实状态之间的相似程度，接近真实状态的粒子赋予较大的权值，反之权值较小；

(4)当前帧即第n帧所期望的运动补偿参数可以用每个粒子的加权和来表示；

(5)对粒子进行重新采样，复制权重较大的粒子，剔除权重较小的粒子，做法如下：定义两个阈值ε₁和ε₂，其中ε₁＞ε₂，ε₁和ε₂分别表示粒子权值的大小范围，当某个粒子的权值小于阈值ε₂时，需要在权值大于ε₁的粒子中任意选择一个进行替换，并给该粒子赋予1/M的初始权重；对所有权值小于阈值ε₂的粒子都进行替换后，对M个粒子的权重进行归一化，作为第n帧的最终粒子信息；

计算完第n帧的运动补偿参数(Δx_n,Δy_n)和粒子信息后，然后转到步骤(2)，开始计算第n+1帧的运动补偿参数(Δx_n+1,Δy_n+1)和粒子信息；这样从第2帧开始，每一帧都通过步骤(2)-步骤(5)计算出对应的运动补偿参数{(Δx_n,Δy_n)|n＝2,…,N}；

最后根据每一帧的运动补偿参数对视频图像进行稳定，以第n帧为例，通过累加获得第n帧相对于第1帧的运动补偿：

$\left\{\begin{array}{c}{\mathrm{\Δx}}_n^{all}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\Δx}}_j\\ {\mathrm{\Δy}}_n^{all}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\Δy}}_j\end{array}\right.$

根据对第n帧图像进行平移，获得稳定视频序列图像。

2.根据权利要求1所述的基于粒子滤波的视频稳定方法，其特征在于，步骤(1)中，选取粒子数量M＝100。

3.根据权利要求1所述的基于粒子滤波的视频稳定方法，其特征在于，步骤(1)中，公式(2)中的b取值为30。

4.根据权利要求1、2或3所述的基于粒子滤波的视频稳定方法，其特征在于，步骤(3)中，任取M个粒子中的一粒子其相似似程度和权重的获得方法如下：

a.从第n-1帧图像里面随机选择5幅大小为50×50的子图像{H_i(x,y)|i＝1,2,…5}，从这5幅子图像中间选取一幅梯度信息最大的子图像；其中梯度信息的计算方法如下：

${\mathrm{\θ}}_i(x,y)=\sqrt{S_x^2(x,y)+S_y^2(x,y)}>TH$

其中 是卷积运算，TH是二值化的阈值；

{θ_i(x,y)|i＝1,2,…,5}是一个二值化图像，其中非零像素代表梯度信息，因此在这5幅子图像中选择非零像素数量最多的那幅，假定为θ_i0(x,y)，那么其所对应的H_i0(x,y)就是梯度信息最大的子图像；

b.根据当前的粒子计算第n-1帧的子图像H_i0(x,y)在第n帧对应的子图像，这里记为H_i′₀(x,y)；

根据公式(1)，分别将子图像H_i0(x,y)在第n-1帧图像上四个顶点坐标平移就可以得到其在第n帧图像上的四个顶点的坐标位置，也即得到对应的子图像H_i′₀(x,y)；

c.通过直方图计算H_i0(x,y)和H_i′₀(x,y)的相似度；

将空间划分成32份，分别计算H_i0(x,y)和H_i′₀(x,y)的直方图，记为HistA和HistB；

HistA和HistB均为长度为32的一维的向量，然后采用欧式距离计算两者的相似度：

$dist=\sqrt{\underset{x=1}{\overset{32}{\Σ}}{\[HistA\left(x\right)-HistB\left(x\right)\]}^2}$

d.根据相似度计算观察概率密度其中δ是个常数；

e.更新当前粒子的权重：

${\mathrm{\ω}}_n^m=PF\×{\mathrm{\ω}}_{n-1}^m$

对于100个粒子都进行步骤a至e的操作，计算出新的权重，然后再进行归一化得到最终权重

5.根据权利要求4所述的基于粒子滤波的视频稳定方法，其特征在于，步骤(4)中，当前帧即第n帧所期望的运动补偿参数用每个粒子的加权和来表示，如下：

$\left\{\begin{array}{c}{\mathrm{\Δx}}_n={\mathrm{\ω}}_n^m{\mathrm{\Δx}}_n^m\\ {\mathrm{\Δy}}_n={\mathrm{\ω}}_n^m{\mathrm{\Δy}}_n^m\end{array}\right..$