CN102202164B - 基于运动估计的道路视频稳定方法 - Google Patents

Abstract

本发明涉及一种基于运动估计的道路视频稳定方法，其包括以下步骤：对输入图像进行非线性平滑去除噪声；根据系统要求精度确定特征搜索范围，获取最佳特征信息；对模板和待匹配块进行十字灰度投影，根据其差异找到最佳匹配区域；采用运动方程为匀速的卡尔曼滤波器，采用递推式的方法构造动态运动模型，获得摄像机运动参数，用以描述由于摄像机运动所造成的帧间运动，将运动估计得到的偏移序列中的随机抖动进行辨识和滤除；对因为视频抖动而丢失图像区域进行填补，利用图像序列之间的时间相关性，对相邻帧采用混合高斯模型对其进行重建。

Description

基于运动估计的道路视频稳定方法

技术领域

本发明涉及在交通视频监控系统中的数字视频稳定方法，特别涉及一种基于运动估计的道路视频稳定方法。

背景技术

交通流参数信息自动采集和处理是智能交通系统中一项重要的研究课题，是进行公路交通管理的基础。它可以用于检测道路的车流量、车型、车速、占有率等交通数据，是控制车流出入，确保道路安全畅通的重要手段。同时它也为交通管理统计有关数据，为管理者的决策提供有效的数字依据。目前交通流参数检测广泛应用于交通疏导、道路资源配置、道路建设评估等领域。随着计算机视觉理论和以视频采集设备为基础的车辆识别与交通流检测技术的成熟，基于数字视频的交通流参数信息采集已经可以自动采集和处理，在不需要人工干预或很少干预的情况下，通过对视频序列中车辆的检测、分割、识别和跟踪完成交通信息的提取。道路中架设的监控摄像机一般安装在8～12米的空中，周围无遮挡物，往往会因为风力等因素影响而出现摄像机晃动，这种不稳定的视频图像容易使观察者产生视疲劳感，从而导致误判或漏判；对于视频监控和视频跟踪系统，由于拍摄平台的不稳定，会带来跟踪误差，在某些情况下甚至导致跟踪目标的丢失或错误。因此，摄像系统的稳定化是交通信息有效提取的前提和基本保证。

电子视频稳定技术是将视频序列中因为摄像机抖动而带来的图像扰动去除，从而实现视频序列稳定化的过程。其中运动估计是视频稳定中一项重要的技术环节，运动估计算法的有效性会直接影响视频稳定的效果与效率。针对各种具体的应用场合，目前常用的运动估计算法大致可以分为：基于图像块、基于灰度值和基于特征的运动估计方法。基于图像块的方法是最常见的一种运动矢量估计方法，在进行运动矢量估计时，块的大小、搜索范围和搜索方法都将影响结果的精确性和计算的复杂性；基于灰度信息的方法算法较简单，易于实现，对于仅存在平移运动的图像序列，能够较为准确、快速地实现运动矢量的估计；基于特征的方法，可以较为准确、快速地实现目标特征量的识别与配准，对于配准得到的目标图像偏移信息，通过运动滤波和补偿等技术可以实现图像序列的稳定化，但适应性较差。在道路监控中为了保证系统的实时性和准确性，要求视频稳定系统应该具有较高的运算速度和较强的抗干扰能力。为此需要采用合理的技术保证运动估计的准确性和实时性。现有运动估计算法在实际应用中存在不足，需要研究一种能够在实时视频中保证稳定精度和具有一定抗干扰能力的运动估计算法。

发明内容

本发明的目的在于针对现有道路监控视频稳定系统的不足，提出一种基于运动估计的道路视频稳定方法，在道路视频监控环境下能够保证系统的时间代价、稳定精度和鲁棒性，并且容易实现，能够满足道路交通视频监控系统对于交通流参数数据的有效提取。

为实现上述目的，本发明提供一种基于运动估计的道路视频稳定方法，其包括以下步骤：

步骤1)对输入图像进行非线性平滑去除噪声，增强图像细节；

步骤2)图像中的信息很多，但不是所有的信息都需要关注或能为工作提供帮助，所以需要对这些信息进行筛选，将能够提供稳定的特征信息提取出来。本发明根据视频监控系统稳定精度要求确定特征搜索范围，获取最佳特征信息；

步骤3)在相邻帧之间对模板和待匹配块进行十字灰度投影，在一定范围内对特征信息进行配准，根据其差异找到最佳匹配区域；

步骤4)图像间的运动有两种情况，一种是图像中物体本身的运动；另一种是由于摄像机的移动造成的图像间物体的相对移动。因此需要将这两种运动区分出来，本发明中采用运动方程为匀速的卡尔曼滤波器，采用递推式的方法构造动态运动模型，获得摄像机运动参数，用以描述由于摄像机运动所造成的帧间运动，将运动估计得到的偏移序列中的随机抖动进行辨识和滤除；

步骤5)对因为视频抖动而丢失图像区域进行修补，填充未知区域，利用图像序列之间的时间相关性，对相邻帧采用混合高斯模型对其进行重建。

本发明针对监控需要，建立了完整的视频稳定模型，利用视频序列前后帧的相关特征信息，根据道路监控的特点，对图像配准采用分级比对，特征信息采用由粗到细，由局部配准到全局配准的原则进行，利用特征灰度投影算法快速、准确地完成运动矢量的估计，对于运动估计得到的偏移序列，通过动态滤波技术对视频序列中的随机抖动进行辨识和滤除，提高了稳像精度和稳像效率，得到了满意的道路视频监控稳定图像。本发明的有益效果具体如下：

1)道路监控视频受外界各种噪声干扰严重，通常采集到的图像质量较差，因此首先需要对噪声污染的图像进行去噪处理。图像去噪采用基于十字滑动窗口的快速自适应图像中值滤波方法，它可以在有效地滤除图像中的脉冲噪声的同时保留图像细节，保证图像特征提取的准确性。

2)根据监控平台要求的稳定精度设定特征匹配的初始搜索范围，将获取的特征信息作为模板，在搜索范围内进行特征匹配，得到最佳的匹配特征。搜索过程中为了避免出现运动目标较大范围移动时特征点移出搜索区域造成特征点无法匹配的情况，需要建立图像金字塔结构，利用图像金字塔从最高层图像细节最少向金字塔底层图像细节丰富进行递进搜索，以保证在较小的搜索区域能捕获较大范围的运动。

3)道路视频监控中，摄像机为固定架设，摄像机的晃动通常是由于风力的影响而产生，因此摄像机的晃动通常是平移运动，所以对特征模型匹配可以只考虑平移运动，不考虑旋转、缩放运动。在连续视频图像序列中，图像灰度会逐帧变化，但在相邻两帧间，图像重合区域内的灰度分布基本相同。利用这一原理，对模板和待匹配块进行十字灰度投影，根据其差异找到最佳匹配区域。

4)利用数字滤波技术完成图像运动补偿，视频稳定中需要保留图像序列中存在的主动运动，减少或消除由于摄像机抖动所造成图像序列中的有害运动，因此需要采用相应的稳定技术实现失真图像序列的稳定化和校正。视频序列中抖动失真是图像偏移的一种高频变化，平动偏移是图像偏移的一种低频变化，对于一个失真图像序列进行运动滤波之前，需要对估计得到的偏移序列进行分析和辨识，根据辨识的失真模式和频率来设定运动滤波器的参数，我们采用Kalman算法，通过适当选取参数，可以得到满意的视频稳定序列。

5)对于由于视频稳定后图像信息丢失的区域，利用图像序列之间的时间相关性，对相邻帧采用混合高斯模型对其进行重建，以修补因为抖动而丢失的图像信息。混合高斯模型对一段时间内图像灰度信息的特征值进行建模，根据模型参数反映信息丢失区域内的像素分配情况，如果已有分布与样本匹配则更新模型参数，否则建立新的样本分布模型，这样可以建立自适应的匹配模型达到目标帧填补的目的。

本发明针对性好，利用本发明可以完成视频监控的实时稳定，适用于诸多交通视频监控场合下的视频稳定工作，能够满足道路视频监控的要求。

附图说明

图1本发明获得的图像偏移矢量；其中(a)为参考图像，(b)为因摄像机抖动而发生偏移的图像，(c)为计算获得的图像偏移矢量；

图2本发明采用的递推式滤波算法实验结果；

图3本发明的实验结果图；其中(a)为原始图像，(b)为去除抖动后的图像。

以下结合附图对本发明作进一步的详细说明。

具体实施方式

下面将结合附图对本发明作进一步说明。但本发明的内容不仅仅局限如此。

视频稳定系统由图像预处理、运动检测、运动滤波和运动补偿四部分组成。图像预处理完成对噪声干扰的去处，保留图像内容的细节，保证图像特征提取的准确性；运动检测完成摄像系统与监控目标相对运动矢量的检测，包括运动估计和运动决策两部分；运动滤波通过对运动检测单元提供的运动参数进行滤波处理，分辨出有意运动和无意运动；运动补偿则是通过运动滤波后得到的运动参数实现图像顺序重组，补偿图像帧间存在图像抖动，完成图像的稳定输出。

视频稳定系统输入为摄像机所拍摄的高速公路外场抖动视频，视频稳定具体实施过程如下：

对输入图像进行去噪处理，图像噪声去除采用自适应快速十字滑动窗口中值滤波方法，滑动窗口为H行、W列，窗口中心坐标为(i，j)。十字窗口对应的矩阵M(i，j)与窗口选取的权值(i，j)之间的关系由公式(1)表示：

$M(i,j)=\left[\begin{array}{ccccc}& & f(i-\frac{H-1}{2},j)& & \\ & & .& & \\ & & .& & \\ & & .& & \\ f(i,j-\frac{W-1}{2})& ...& f(i,j)& ...& f(i,j+\frac{W-1}{2})\\ & & ...& & \\ & & f(i+\frac{H-1}{2},j)& & \end{array}\right]---\left(1\right);$

对初始十字窗口进行计算，计算图像窗口的最大值滤波值Rmax、最小值滤波值Rmin和中值滤波值Rmid。若Rmid不在Rmax和Rmin之间自动增加十字窗口的大小，然后重复以上的过程；若Rmid在Rmax和Rmin之间，先用原始像素值与最大滤波值和最小滤波值进行比较，如果在Rmax和Rmin之间，原值保持不变，反之使用Rmid取代原值。十字滑动窗口大小一般采用奇数，窗口大小会直接影响滤波效率，建议窗口初始大小采用3×3。

对输入图像进行非线性平滑后，根据视频监控系统稳定精度要求确定特征搜索范围。设dx、dy为图像在水平方向x和垂直方向y上的最大可能位移，则图像中一点(i，j)的搜索范围为(i-dx，i+dx)，(j-dy，j+dy)。图像特征匹配利用视频图像序列中，图像灰度在相邻两帧间，图像重合区域内的灰度分布是相同的原理进行。

首先，将二维图像信息映射为两个独立的一维灰度曲线，分别表示图像的行和列。投影方法由公式(2)和(3)表示：

$G_{\mathrm{kh}}\left(i\right)=\underset{j}{\mathrm{\Σ}}{G}_k(i,j)---\left(2\right);$

$G_{\mathrm{kw}}\left(j\right)=\underset{i}{\mathrm{\Σ}}{G}_k(i,j)---\left(3\right).$

其中，G_k(i，j)为第k帧图像上(i，j)处像素的灰度值，G_kh(i)和G_kw(j)为第k帧图像在第i行和第j列的投影灰度值。

将所得到的投影曲线形与参考图像的投影曲线进行比较运算，所得的峰值即为运动矢量的位移值，计算公式为公式(4)和(5)：

$\begin{array}{cc}{G}_m\left(w_m\right)=\underset{i=1}{\overset{W}{\mathrm{\Σ}}}{[G_{\mathrm{km}}(i+w_m-1)-g_m(i+t)]}^2& 1\≤w_m\≤2t+1---\left(4\right);\end{array}$

$\begin{array}{cc}{G}_n\left(w_n\right)=\underset{j=1}{\overset{H}{\mathrm{\Σ}}}{[G_{\mathrm{kn}}(j+w_n-1)-g_n(j+t)]}^2& 1\≤w_n\≤2t+1---\left(5\right).\end{array}$

其中，g_m，g_n为参考图像在第i行、第j列的灰度投影值，W为图像行数，H为图像列数，t为搜索宽度。当以上公式取得最小值时可以得到当前图像相对于参考图像的位移矢量。参考图像一般选择原始稳定图像或前一帧图像。根据绝对偏移或帧间累加偏移，可以计算出像素点的位移矢量，将其反方向运动就可以对图像进行平移校正。图1(a)为参考图像，图1(b)为因摄像机抖动而发生偏移的图像，图1(c)为计算获得的图像偏移矢量。

运动滤波可以将运动估计得到的偏移序列中的随机抖动进行辨识和滤除。卡尔曼滤波(Kalman Filtering)技术是一种实时的参数估计方法，可以动态的估计和补偿摄像机抖动带来的运动。本发明中采用运动方程为匀速的卡尔曼滤波器，采用递推式的方法构造动态运动模型，获得摄像机运动参数，用以描述由于摄像机运动所造成的帧间运动。设图像中一像素的位置x_n的估值输出为x′_n，摄像机抖动频率y_n的估值输出为y′_n，经过一个采样周期后图像像素可能到达的预测位置为x′_n+1。，抖动频率为y′_n+1。滤波方程和预测方程如下所示：

滤波方程由公式(6)和(7)表示：

x′_n＝x′_n+1+α_n[x_n-x′_n+1]    (6)；

${y^{\′}}_n={y^{\′}}_{n+1}+\frac{{\mathrm{\β}}_n}{T}[x_n-{x^{\′}}_{n+1}]---\left(7\right).$

预测方程由公式(8)和(9)表示：

x′_n＝x′_n+y′_nT    (8)；

y′_n+1＝y′_n        (9)。

方程中α_n、β_n通常为了减少计算量设为常量，T为采样周期，运动滤波得到的参数曲线与观察曲线对比如图2所示。

完成运动补偿后，需要对因为视频抖动而丢失图像区域进行填补，可以利用图像序列之间的时间相关性，对相邻帧采用混合高斯模型对其进行重建。视频监控图像中任意一点在一段时间内灰度样本构成的时间序列符合高斯分布的加权和。因此可以使用混合高斯模型来描述一段时间内样本灰度值时间序列的特征分布情况，通过图像信息丢失区域与模型进行配准，利用配准后的参数对图像信息丢失区域进行填充，达到图像修补的目的。发明的实验结果如图3所示，图3(a)为原始图像，图3(b)为去除抖动后的图像，图中水平横线为抖动参考线。

以上具体实施方式仅用于说明本发明，而非用于限定本发明。

Claims (5)

1.一种基于运动估计的道路视频稳定方法，其特征在于：包括以下步骤：

步骤1）：对输入图像进行非线性平滑去除噪声；

步骤2）：根据系统要求精度确定特征搜索范围，获取最佳特征信息；

步骤3）对模板和待匹配块进行十字灰度投影，根据其差寻找到最佳匹配区域，具体包括以下步骤：

a）将二维图像信息映射为两个独立的一维灰度曲线，分别表示图像的行和列，投影方法由公式（1）和（2）表示：

$G_{\mathrm{kh}}\left(i\right)=\underset{j}{\mathrm{\Σ}}{G}_k(i,j)---\left(1\right);$

$G_{\mathrm{kw}}\left(j\right)=\underset{j}{\mathrm{\Σ}}{G}_k(i,j)---\left(2\right);$

其中，G_k(i，j)为第k帧图像上(i，j)处像素的灰度值，G_kh(i)和G_kw(j)为第k帧图像在第i行和第j列的投影灰度值；

b）将所得到的投影曲线与参考图像的投影曲线进行比较运算，所得的峰值即为运动矢量的位移值，计算公式为公式（3）和公式（4）：

$G_m\left(w_m\right)=\underset{i=1}{\overset{W}{\mathrm{\Σ}}}{[G_{\mathrm{km}}(i+w_m-1)-g_m(i+t)]}^2,1\≤w_m\≤2t+1---\left(3\right);$

$G_n\left(w_n\right)=\underset{j=1}{\overset{H}{\mathrm{\Σ}}}{[G_{\mathrm{kn}}(j+w_n-1)-g_n(j+t)]}^2,1\≤w_n\≤2t+1---\left(4\right);$

其中，G_km为第k帧图像在第i行灰度投影值，G_kn为第k帧图像在第j列的灰度投影值；g_m，g_n为参考图像在第i行、第j列的灰度投影值，W为图像行数，H为图像列数，t为搜索宽度；当以上公式取得最小值时得到当前图像相对于参考图像的位移矢量；参考图像选择原始稳定图像或前一帧图像，根据绝对偏移或帧间累加偏移，计算出像素点的位移矢量，将其反方向运动，对图像进行平移校正；

步骤4）：采用运动方程为匀速的卡尔曼滤波器，采用递推式的方法构造动态运动模型，获得摄像机运动参数，用以描述由于摄像机运动所造成的帧间运动，将运动估计得到的偏移序列中的随机抖动进行辨识和滤除；

步骤5）：对因为视频抖动而丢失图像区域进行填补，利用图像序列之间的时间相关性，对相邻帧采用混合高斯模型对其进行重建。

2.如权利要求1所述的基于运动估计的道路视频稳定方法，其特征在于：所述的步骤1）包括：采用自适应快速十字滑动窗口中值滤波方法，滑动窗口为H行、W列，窗口中心坐标为（i，j），十字窗口对应的矩阵M(i，j)与窗口选取的权值f(i，j)的关系由公式（5）表示：

$M(i,j)=\left[\begin{array}{ccccc}& & f(i-\frac{H-1}{2},j)& & \\ & & .& & \\ & & .& & \\ & & .& & \\ f(i,j-\frac{W-1}{2})& ...& f(i,j)& ...& f(i,j+\frac{W-1}{2})\\ & & ...& & \\ & & f(i+\frac{H-1}{2},j)& & \end{array}\right]---\left(5\right);$

对初始十字窗口进行计算，计算图像窗口的最大值滤波值Rmax、最小值滤波值Rmin和中值滤波值Rmid；若Rmid不在Rmax和Rmin之间自动增加十字窗口的大小，然后重复以上的过程；若Rmid在Rmax和Rmin之间，先用原始像素值与最大值滤波值Rmax和最小值滤波值Rmin进行比较，如果原始像素值在Rmax和Rmin之间，原始像素值保持不变，反之使用Rmid取代原值。

3.如权利要求1所述的基于运动估计的道路视频稳定方法，其特征在于：所述步骤2）包括：设dx、dy为图像在水平方向x和垂直方向y上的最大可能位移，则图像中一点(i，j)的搜索范围为(i-dx，i+dx)，(j-dy,j+dy)，建立图像金字塔结构，从高层图像细节向金字塔底层图像细节进行递进搜索，获取最佳特征信息。

4.如权利要求1所述的基于运动估计的道路视频稳定方法，其特征在于：所述步骤4）包括：设图像中一像素的位置x_n的估值输出为x′_n，摄像机抖动频率y_n的估值输出为y′_n，经过一个采样周期后图像像素可能到达的预测位置为x′_n+1，抖动频率为y′_n+1，滤波方程由公式（6）、（7）表示；预测方程由公式（8）、（9）表示：

x′_n=x′_n+1+α_n[x_n-x′_n+1]（6）；

${y^{\′}}_n={y^{\′}}_{n+1}+\frac{{\mathrm{\β}}_n}{T}[x_n-{x^{\′}}_{n+1}]---\left(7\right);$

x′_n=x′_n+y′_nT（8）

y′_n+1＝y′_n（9）

方程中α_n、β_n为了减少计算量设为常量，T为采样周期。

5.如权利要求1所述的基于运动估计的道路视频稳定方法，其特征在于：所述步骤5）包括：视频监控图像中任意一点在一段时间内灰度样本构成的时间序列符合高斯分布的加权和，使用混合高斯模型来描述一段时间内样本灰度值时间序列的特征分布情况，通过图像信息丢失区域与模型进行配准，利用配准后的参数对图像信息丢失区域进行填充，达到图像修补的目的。

Images