CN101247472B - 一种基于运动补偿的去隔行处理方法 - Google Patents

Abstract

一种基于运动补偿的去隔行处理方法，其特征在于包括以下三个主要部分：一为运动检测，即通过对所捕获的图像与无运动物体时的静态的背景图像进行的像素级的比对确定运动的物体，并得到初步的运动矢量；二为运动估计，在第一步确定运动物体的基础上，通过对奇偶场图像的对比分析，确定运动物体的精确运动矢量，即其运动的方向信息；最后一步恢复过程中根据得到的运动矢量，采用中值滤波的方法将运动物体的在相邻两幅场中的相同像素点精确恢复到一帧图像中；本发明所采用的方法不仅降低了对图像的运动部分进行处理的计算量，还能充分利用奇偶场信息从而提高了运动物体的分辨率。

Description

一种基于运动补偿的去隔行处理方法

技术领域

本发明涉及一种视频图像处理，特别涉及一种基于运动补偿的去隔行处理的方法。

背景技术

基于隔行扫描的视频信号的传统的电视系统从20世纪30年代出现到现在已沿用了数十年，现在大部分的视频系统都以PAL或NTSC的制式来记录或者转换视频。所谓的隔行扫描，即摄像机将图像沿横向划分为若干行，一个时刻摄像机只记录比方说偶数行的图像，然后几毫秒之后再记录奇数行，这样每次捕获的图像成为一个场。之所以采用这样的技术，主要是出于硬件性能与视频效果的考虑，因为就算利用今天的技术，摄像机也无法达到保证画面流畅的前提下记录全部图像信息的速度，而采用隔行扫描的技术，虽然降低了图像的质量，但可以在减少一半带宽的情况下获得较为流畅的画面。然而在一些情况下，从相邻两幅场中合成出一帧完整的图像是有必要的，这一过程称为去隔行处理。比如说在交通监视和车辆牌照识别系统中，需要从视频中提取出运动车辆的牌照信息。由于相邻场拍摄时的时间差，运动车辆在两幅场上的位置会有微小的变化，若直接由两幅场插接在一起的图像就会出现边缘交错的锯齿效果，影响车辆牌照信息的正确提取。在现有的技术中，去隔行的处理主要分为两类：基于运动补偿的技术和无运动补偿的技术；无运动补偿的技术即舍弃两幅场中的一帧，从另一场中恢复出图像信息，这种方法简单易行，计算量小，但是它相当于舍弃了一半的有用信息，特别是一些重要的运动区域的信息。另一种基于运动补偿的技术是充分利用两幅场的信息来恢复图像，但是这种技术的计算量相当大，往往需要专门的计算机硬件支持。

发明内容

本发明要解决的技术问题是：克服现有的基于运动补偿的技术和无运动补偿的技术的去隔行处理方法的不足，本发明提出了一种基于运动补偿的去隔行处理方法，本方法采用运动物体检测和运动估计的方法，可以有效地区分图像中运动的物体和静止的背景，从而只对运动物体的部分进行处理，通过运动估计的方法可以对物体的运动特征做出判断，从而可以更精确地恢复出完整的图像。

本发明解决其技术问题所采用的技术方案是：一种基于运动补偿的去隔行处理方法，其特征在于包括以下步骤：

(1)通过对捕获的图像与静态背景的比对检测出运动物体，并得到初步的运动矢量；

(2)通过基于分块的图像匹配，选择一幅场中包含运动物体的分块作为目标分块，再根据候选分块确定匹配分块，进而得到精确的运动矢量；

(3)利用所述精确的运动矢量从两幅场中得到完整的一帧图像。

所述步骤(1)中静态背景采用分别对奇偶场各N幅图像进行平均得到的背景图像。

所述步骤(1)中运动矢量应包括运动物体运动的方向及相应的距离信息。

所述步骤(2)中采用分块的图像匹配，分块大小根据图像大小及用户感兴趣的区域确定，计算目标分块与候选分块各个对应像素点的灰度值之差的绝对值之和，选择计算所得值最小的候选分块作为匹配分块。

所述步骤(2)中候选分块根据由步骤(1)得到的初步的运动矢量和设定的搜索范围确定，有效地提高了匹配的精度和减少了计算复杂度。

所述步骤(3)中根据精确的运动矢量得到物体的同一部分在相邻两幅场中的不同像素点位置，采用中值滤波的方式，得到一幅场中缺少的像素点信息，从而在这幅场的基础上恢复出一幅完整的帧。

本发明与现有技术相比所具有的优点：本发明所采用的方法一个方面根据运动图像提取中假设的运动矢量，只针对图像的运动部分进行处理从而大大降低了计算量；另一个方面通过由假设的运动矢量得到精确运动的矢量，并且根据此精确的运动矢量来恢复图像，有效的提高了图像恢复的准确度，使恢复出的图像具有比传统方式更高的分辨率。

附图说明

图1为基于运动补偿的去隔行处理方法的流程图；

图2为对道路车辆的隔行扫描的图像效果；

图3为本发明方法中运动物体检测部分的结果效果图；

图4为应用本发明方法与其它方法得到的图像的效果比较图；

图5为应用本发明方法与其它方法得到的图像的细节效果比较图。

具体实施方式

下面结合附图及具体实施方式进一步详细介绍本发明。

本发明为一种基于运动补偿的去隔行处理方法，具体流程图如图1所示；大致可以分为以下三个步骤：

(1)通过对捕获的图像与静态背景的比对检测出运动物体，并得到初步的运动矢量；

先提取出两幅相邻的“场”图像，为了提取出运动物体部分，采用背景减除的方法；背景减除的方法是广泛应用于视频监视系统的一种将运动的物体从静态背景中提出的方法。因此首先需要获得去除运动物体后的静态背景图像，为了避免因奇偶场捕获时的空间位置差异造成的不精确，分别对奇偶场的各N幅图像进行平均处理后分别作为奇偶场图像的静态背景；

具体计算公式为：

$B_0\left(\stackrel{\→}{x}\right)=\frac{1}{N}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}f(\stackrel{\→}{x},2k)$

$B_1\left(\stackrel{\→}{x}\right)=\frac{1}{N}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}f(\stackrel{\→}{x},2k+1)$

其中

是对应于偶数场的静态背景图像的在 $\stackrel{\→}{x}={\[x,y\]}^t$ 位置处的灰度值，

对应奇数场的静态背景图像的在 $\stackrel{\→}{x}={[x,y]}^t$ 位置处的灰度值。

然后对运动物体的检测通过用实际的场的图像与对应背景图像相减实现，具体计算公式为：

$D_0\left(\stackrel{\→}{x}\right)=|f(\stackrel{\→}{x},n)-B_0\left(\stackrel{\→}{x}\right)|n\mathrm{mod}2=0$

$D_1\left(\stackrel{\→}{x}\right)=|f(\stackrel{\→}{x},n)-B_1\left(\stackrel{\→}{x}\right)|\mathrm{otherwise}$

与

分别代表相减后位置

处的像素点灰度值，若其大于一定阈值，则表示此像素点属于运动物体，否则，此像素点属于静态背景，然后根据对比相邻场中运动物体的位置变化可以得到一个估计的运动矢量

(2)通过基于分块的图像匹配，选择一幅场中包含运动物体的分块作为目标分块，再根据候选分块确定匹配分块，进而得到精确的运动矢量；

此方法的关键部分是精确地确定运动矢量

这也是这一部分的核心工作：采用一种基于图像分块的匹配方法得到更精确的运动矢量

为减少计算的复杂度，只在奇数场中选择一个图像分块，而这个分块的运动通过将它与偶数场中的候选分块进行的比对来确定，分块的大小和位置依图像大小及用户的关注区域来确定；为减少搜索的范围，搜索位置按照步骤(1)中估计的运动矢量来取定，即根据此矢量计算选定的分块在偶数场中的位置，以此位置为基准选定若干候选分块，之后通过计算选定的目标分块与一个候选分块的所有像素点的差异总和，选择差异和最小的分块确定为要找的分块，进而得到精确的运动矢量。

匹配分块的方法可以用如下公式表示：

$\mathrm{SAD}(x,y)=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}|f({[i,j]}^t,n+1)-f({[i+x,j+y]}^t,n)|$

nmod2＝0

x_a-p≤x≤x_a+p-1

y_a-p≤y≤y_a+p-1

$\stackrel{\→}{d}(\stackrel{\→}{x},n+1)=\min \left(\mathrm{SAD}(x,y)\right),$

SAD(x，y)为奇数场中选定的目标分块与候选分块的所有像素点的灰度值之差的绝对值的总和，体现了两个分块的差异程度，(x，y)为搜索位置，分块大小为M×N，{f([i，j]^t，n+1)|0≤i≤M-1，0≤j≤N-1}表示在奇数场中选定分块的像素信息，{f([i+x，j+y]^t，n)|0≤i≤M-1，0≤j≤N-1}表示偶数场中在搜索位置(x，y)的分块的像素信息，即当前正在与选定分块进行比对的分块的信息，[-p，p-1]为搜索范围，[x_a，y_a]为第一步中假定的方向矢量，

为根据在搜索范围内SAD值最小的分块而得到的精确的运动矢量。

(3)利用所述精确的运动矢量从两幅场中得到完整的一帧图像；

根据步骤(2)所确定的运动矢量，恢复图像时采用中值滤波的方式，保留一个偶数场的全部内容，对于缺失的部分，通过对其上下像素点以及根据运动矢量

确定的其对应于相邻奇数场中的像素点进行中值滤波而得到，这样就从相邻的两幅奇偶场中恢复出了一帧完整图像。

具体的图像恢复的方法可以表示为：

$F(\stackrel{\→}{x},n)=\left\{\begin{array}{cc}f(\stackrel{\→}{x},n),& y\mathrm{mod}2=0,n\mathrm{mod}2=0\\ \mathrm{median}\left\{\begin{array}{c}f(\stackrel{\→}{x}-\left[\begin{array}{c}0\\ 1\end{array}\right],n)\\ f(\stackrel{\→}{x}+\left[\begin{array}{c}0\\ 1\end{array}\right],n)\\ f(\stackrel{\→}{x}-\stackrel{\→}{d}(\stackrel{\→}{x},n+1),n+1)\end{array}\right\},& y\mathrm{mod}2=1,n\mathrm{mod}2=0\end{array}\right.$

通过隔行扫描得到的图像，由于运动物体在其奇偶场上存在运动方向上的差异，导致运动物体部分模糊，尤其是其中一些数字或文字信息无法识别，如图2为对道路车辆监控视频中采用隔行扫描所得的图像，图像中车辆的车牌号码无法识别，然后采用本发明方法对此运动车辆进行处理，图3为采用本方法中的运动物体检测处理后奇偶场图像的效果图，即对奇偶场分别建立背景模型后将原图像与背景相减后得到的结果。图4和图5均为图1中车辆的车牌部分利用本发明方法进行去隔行后的效果图，图中添加了利用其他方法进行去隔行处理的效果图以作对比；图4中(a)为未经处理的原图，(b)为直接进行线性平均处理后的效果，(c)为直接进行中值滤波处理后的效果，(d)为采用本发明方法处理的效果；图5为车牌部分放大的效果图，(a)为直接进行线性平均处理后的效果，(b)为直接进行中值滤波处理后的效果，(c)为采用本发明方法处理的效果。通过图4和图5的比较，可以知道本发明方法所恢复的图像具有更高的分辨率。

Claims (6)

1.一种基于运动补偿的去隔行处理方法，其特征在于包括以下步骤：

(1)通过对捕获的图像与静态背景的比对检测出运动物体，并得到初步的运动矢量；

(2)通过基于分块的图像匹配，选择一幅场中包含运动物体的分块作为目标分块，再根据候选分块确定匹配分块，进而得到精确的运动矢量；

(3)利用所述精确的运动矢量从两幅场中得到完整的一帧图像。

2.根据权利要求1所述的一种基于运动补偿的去隔行处理方法，其特征在于：所述步骤(1)中静态背景采用分别对奇偶场各N幅图像进行平均得到的背景图像。

3.根据权利要求1所述的一种基于运动补偿的去隔行处理方法，其特征在于：所述步骤(1)中运动矢量应包括运动物体运动的方向及相应的距离信息。

4.根据权利要求1所述的一种基于运动补偿的去隔行处理方法，其特征在于：所述步骤(2)中采用分块的图像匹配，分块大小根据图像大小及用户感兴趣的区域确定，计算目标分块与候选分块对应各个像素点的灰度值之差的绝对值之和，选择计算所得值最小的候选分块作为匹配分块。

5.根据权利要求1所述的一种基于运动补偿的去隔行处理方法，其特征在于：所述步骤(2)中候选分块根据由步骤(1)得到的初步的运动矢量和设定的搜索范围确定，有效地提高了匹配的精度和减少了计算复杂度。

6.根据权利要求1所述的一种基于运动补偿的去隔行处理方法，其特征在于：所述步骤(3)中根据精确的运动矢量得到物体的同一部分在相邻两幅场中的不同像素点位置，采用中值滤波的方式，在一幅场基础上插值得到缺少的像素点信息，从而恢复出一幅完整的帧。

Images