CN1215286A - 利用梯度模式匹配的运动补偿装置和方法 - Google Patents

Abstract

通过将输入图像变换成梯度模式信息并将当前场的运动检测区中梯度模式信息与先前场代表模式信息比较而检测运动矢量的装置和方法。梯度模式变换器通过将象素灰度级与相邻象素灰度级的差值与一任意阀值比较将每个象素灰度级变换成梯度位模式。运动矢量检测器在运动检测区中形成搜索区,将该搜索区梯度位模式与先前图像代表位模式比较,以计算和累加相关值,并确定产生最大相关值的搜索区坐标和运动矢量代表位模式的坐标间差值。

Description

利用梯度模式匹配的运动 补偿装置和方法

本发明涉及视频记录系统，尤其涉及补偿该视频记录系统的运动的装置和方法。

当使用图像记录系统例如摄录一体机(camcoder)拍摄一个目标时，稳定地拍摄该目标而手不抖动是困难的。当该图像捕获系统小而轻而使用户仅用一只手拍摄时这种手的抖动可能是严重的。另外，当摄录一体机的变焦镜头的放大倍数增加时，摄录一体机的微小移动会严重摇动拍摄的图像。

为了稳定捕获的图像，视频摄像机的系统控制器检测输入视频信号的一个局部运动矢量(local motion vector)，估计被检测的运动矢量中由于手的抖动引起的运动，并且确定用于补偿摄像机的移动的图像的运动。

通常，传统的运动矢量检测方法采用带提取代表点(band extractrepresentative pointsm,BERP)或边缘模式匹配。

在利用BERP的运动检测方法中，在运动检测区中设定预定数目的代表点。该代表点通过一带通滤波器以提取特征点。然后，利用该特征点检测图像的运动。然而，此方法的缺点在于必须使用一滤波器以提取特征点，并且所需的存储容量可能增加。

利用边缘模式匹配技术的运动检测方法是通过将图像的边缘信号转化成二进制图像信号来检测图像的运动。这种方法能通过简单的硬件实现，并且通过从图像中提取边缘模式而减小了所需存储容量，也可克服利用BERP方法的问题。然而，依照这种方法，当光照不足时检测精度可能会低。另外，检测图像边缘是困难的。

因此，需要一种能减少所需存储容量而又保持运动检测精度的检测方法。

为了解决以上问题，本发明的一个目的是提供一种用于通过将输入图像变换成为梯度模式(gradient pattern)信息并且将当前场的运动检测区中的梯度模式信息与先前场的代表模式(representative pattern)信息比较而检测运动矢量的装置。

本发明的另一个目的是提供一种通过将输入图像变换成为梯度模式信息并且将当前场的运动检测区中的梯度模式信息与先前场的代表模式信息相比较而检测运动矢量的方法。

为了达到上述目的之一，在按照本发明检测图像的运动的装置中，一个梯度模式变换器将输入图像中的运动检测区中的每个象素的灰度级变换成一个梯度位模式，这是通过将象素的灰度级与它的相邻象素的灰度级之间的差值与任一阀值相比较来实现的。运动矢量检测器在运动检测区内依次形成一个搜索区，将该搜索区的一个梯度位模式与先前图像的一个代表位模式相比较以计算和累加相关值，并且确定产生最大相关值的一个搜索区的坐标与作为一个运动矢量的代表位模式的坐标之差值。

为达到上述目的的另一个目的，提供了一种检测图像运动的方法，包括以下几步：在输入图像中设定一个运动检测区；将运动检测区中的每个象素的灰度级与其相邻象素的灰度级比较，以提取一个梯度位模式；执行当前图像的一个位模式与先前图像的一个代表位模式之间的位模式匹配，以获得具有与代表位模式相同形状和大小的预定搜索区单元中的相关值；和确定产生最大相关值的搜索区的坐标和作为一个运动矢量的代表位模式的坐标之间的差值。

通过参照附图详细描述优选实施例，本发明的上述目的和优点将更清楚：

图1是依据本发明的运动校正装置的方框图；

图2是图1的运动矢量检测器的详细方框图；

图3示出了图像的一场中运动矢量检测区的例子；

图4示出了本发明中梯度代表模式的一个例子；

图5示出了图2的梯度模式变换器中梯度位模式变换的例子；

图6示出了本发明中用于将一个任意象素的图像数据变换成梯度模式数据的象索的另一个例子；和

图7是依据本发明表示运动检测方法的流程图。

参照图1，运动补偿装置包括：用于从输入视频数据中检测一个运动矢量的运动矢量检测器110；用于接收由运动矢量检测器110输出的运动矢量和按照该运动矢量产生存储控制信号的运动补偿控制器120；及用于存储以场为单位的输入图像数据和响应于存储器控制信号输出运动补偿的图像数据的场存储器130。

数字图像数据输入到运动矢量检测器110及场存储器130。运动矢量检测器110利用设定于一场中某些运动矢量检测区中的象素的梯度值来检测运动矢量。即，本发明中，输入的力图像数据被转化成梯度模式信息，并且仅利用梯度模式信息检测运动矢量，这样，减少了存储器容量和计算量。

运动补偿控制器120产生存储器控制信号用于从场存储器130中读取基于运动矢量检测器110检测的运动矢量的图像数据。场存储器130响应于来自运动补偿控制器120的存储器控制信号而输出在一个场单元中的运动补偿图像数据。

图2是运动矢量检测器110的详细方框图。该运动矢量检测器110包括梯度模式变换器210、梯度代表模式存储器220和运动矢量确定单元260。运动矢量确定部分260包括相关值检测器230、相关值累加器240和最大值坐标提取器250。梯度模式变换器210接收一场中的多个运动检测区中的像素的图像数据，并且将每个象素的图像数据与其相邻象素的图像数据比较，以将图像数据变换成为梯度模式信息。图3示出了在一场中运动矢量检测区的例子。每个运动矢量检测区被划分成多个运动矢量检测块。以下将描述的图4示出了图3的运动矢量检测块中的梯度代表模式。

图5示出了图2的梯度模式变换器210中的梯度位模式变换的例子。当每个象素的图像数据由8位构成且表示256个灰度级之一时，每个象素的该图像数据被变换成4位梯度模式数据。如图5所示，任意象素的图像数据由S(i,j)表示及相邻象素的数据由S(i,j-1),S(i-1,j),S(i,j+1)和S(i+1,j)表示。

为了将一个象素的图像数据变换成梯度模式数据，如等式1所示象素的图像数据与水平和垂直相邻象素比较：

G₁=S(i,j-1)-S(i,j)

G₂=S(i-1,j)-S(i,j)    (1)

G₃=S(i+1,j)-S(i,j)

G₄=S(i,j+1)-S(i,j)

由等式1得到的梯度大小G₁、G₂、G₃和G₄与一个阀值T_g比较并且变换成各个方向的(西、东、北和南)梯度数据位B^w,B^e,Bⁿ和B^s。

即，如果一个象素的图像数据和一个相邻象素之差值大于阀值，梯度数据位确定为“1”，如果该差值不大于阀值，则梯度数据位确定为“0”。梯度数据位是4位，每位表示一个方向。能够得到反映一个象素和它的四个相邻象素之间特性的模式信息。

等式3和4示出了将一个象素的图像数据变换成为梯度模式数据的例子。

S₀=S(i,j)

S₁=S(i+1,j)

S₂=S(i-1,j)                 (3)

S₃=S(i,j-1)

S₄=S(i,j+1)

(S₀S₁S₂S₃S₄)→(B^wB^eBⁿB^s)    (4)

(203 198 207 195 210)→(0 1 0 1)

等式3示出了为简化表达式的象素S(i,j)和其相邻象素的图像数据的另一种表示。例如，当象素S(i,j)的灰度级是“203”且其相邻象素分别具有灰度级“198”、“207”、“195”和“210”时，象素S(i,j)的灰度级值由梯度模式变换器210变换成位模式“0 1 0 1”。

另外，在本发明的另一实施例中，如图6所示，为得到更精确运动矢量梯度模式变换器210通过利用八个相邻象素S(i,j-1),S(i-1,j-1),S(i-1,j),S(i-1,j+1),S(i,j+1),S(i+1,j+1),S(i+1,j)和S(i+1,j-1)的图像数据将一个任意象素的图像数据变换成为梯度模式信息。在这个实施例中，梯度模式变换通过与利用相邻于象素位置S(i,j)的四个相邻象素相同的方法来执行。然而，获得信息量成倍的八位模式信息。

梯度代表模式存储器220仅存储由梯度模式变换器210输出的一个先前场的模式数据中的梯度代表模式数据，这样减少了存储容量。即，对于在每个运动检测区中的每个运动矢量检测块，代表模式存储器220仅存储梯度代表模式数据，即，本实施例中5个象素的模式数据。

相关值检测器230将由梯度模式变换器210输出的当前场的梯度模式与存储在梯度模式存储器220中的先前场的梯度代表模式比较，并且检测一个相关值。为了检测该相关值，相关值检测器230顺序地产生一个与每个运动矢量检测块中的梯度代表模式的形状和尺寸相同的搜索窗，并且执行该搜索窗与先前场的相应的运动矢量检测块的梯度代表模式之间的梯度模式匹配操作。梯度模式匹配操作由一个简单位操作来执行。即，通过利用先前场的代表模式位(B^w _prev,B^e _prev,Bⁿ _prev,B^s _prev)与当前场的模式位(B^w _curr,B^e _curr,Bⁿ _curr,B^s _curr)来执行水平和垂直逻辑与(logic AND)操作并且分别得到如下的水平和垂直方向上被匹配位MC_h和MC_v数值，进行梯度模式匹配。

相关值累加器240累加由相关值检测器230输出的搜索窗中象素的相关值，如下式所述： $\mathrm{ACC}(i,j)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\mathrm{MC}}_h(i,j)+{\mathrm{MC}}_v(i,j),-N\≤i\≤N,-M\≤j\≤M------\left(6\right)$

此时，累加的相关值随搜索窗位置的变化具有不同的值，并且反映搜索窗与先前场的梯度代表模式之间的匹配电平(matched level)。最大累加值产生于匹配执行较好的地方。

最大值坐标提取器250提取搜索窗的坐标，在此搜索窗中，相关值累加器240累加的相关值具有其最大值。最大值坐标提取器250确定产生最大累加相关值的搜索窗的坐标和作为区域运动矢量的梯度代表模式的坐标之间的差值。即，累加值ACC(i,j)具有最大值的位置(i,j)被确定为相对于一个运动检测块的移动量，如同下式描述的

(i,j)=arg^max _ij[ACC(i,j)]    (7)

最大值坐标提取器250通过平均运动矢量检测区中相应于运动矢量检测块的运动矢量来确定相应于一个运动矢量检测区的一个运动矢量。通过将相应于运动矢量检测块的运动矢量相加并且标准化相加的矢量而得到相应于运动矢量检测块的运动矢量的平均值。另外，在本发明的另一个实施例中，零矢量或明显不同于其它矢量的矢量在平均值的计算中可被排除。

最后，最大值坐标提取器250通过平均相对于运动矢量检测区的运动矢量来确定相对于一场的运动矢量。通过将相应于运动矢量检测区的运动矢量相加并且标准化相加的矢量而得到相应于该场的运动矢量。在本发明的另一个实施例中，在一定准则下确定的某些矢量在相应于该场的运动矢量的计算中可被排除。

图7是依据本发明的检测图像运动的方法的流程图。在步骤710，在图像中设定运动检测区。在步骤720，通过将一象素与其相邻象素比较来提取预定运动检测区中每个象素的梯度模式数据。之后，在步骤730，执行先前场的梯度代表模式和当前场的梯度模式之间的模式匹配，同时，获得每个搜索窗和先前场的梯度代表模式之间的一个相关值。在步骤740，从产生最大累加相关值的搜索窗的位置和梯度代表模式的位置之间的差值确定运动矢量。

如上所述，依据本发明，通过将输入数据变换成梯度模式信息及利用该梯度信息检测由于手的摇动引起的运动矢量，减少了所需存储器的存储容量。

Claims (9)

1．一种用于检测图像运动的装置，包括：

梯度模式变换器，用于通过将一个象素的灰度级与它的相邻象素的灰度级之间的差值与一个任意阀值比较，将输入图像中的运动检测区中每个象素的灰度级变换成梯度位模式；和

运动矢量检测器，用于在运动检测区中顺序地形成一个搜索区，将该搜索区的一个梯度位模式与一个先前图像的一个代表位模式进行比较，以计算累加相关值，并且确定产生最大相关值的一个搜索区的坐标与作为一个运动矢量的代表位模式的坐标之间的差值。

2．如权利要求1所述的装置，其中所述梯度模式变换器计算所述象素的灰度级和其四个相邻象素的灰度级之间的差值。

3．如权利要求1所述的装置，其中所述梯度模式变换器计算所述象素的灰度级和其八个相邻象素的灰度级之间的差值。

4．如权利要求1所述的装置，其中所述运动矢量检测器包括：

代表模式存储器，用于存储所述先前图像的代表位模式；

相关值检测器，用于执行在存储在所述代表模式存储器中所述先前图像的代表位模式和当前图像的位模式之间的位模式匹配操作，以计算每个搜索区中每个象素的一个相关值；

相关值累加器，用于累加来自所述相关值检测器的相关值，以输出以搜索区为单位的累加相关值；和

最大值检测器，用于检测产生来自所述相关值累加器的累加相关值中的最大值的所述搜索区的坐标。

5．如权利要求4所述的装置，其中所述相关值检测器是一个与操作符，用于对先前图像的代表位模式和当前图像中搜索区中的位模式执行与操作。

6．如权利要求4所述的装置，其中所述相关值是所述当前图像的搜索区的位模式与所述先前图像的代表模式之间匹配的位数值(number)。

7．如权利要求6的所述装置，其中在水平和垂直方面上各匹配位MC_h和MC_v的数值分别由以下计算：

其中，(B^w _prev,B^e _prev,Bⁿ _prev,B^s _prev)是所述先前图像的代表位模式和(B^w _curr,B^e _curr,Bⁿ _curr,B^s _curr)是所述当前图像搜索区的位模式。

8．如权利要求7所述的装置，其中所述累加值ACC(i,j)由下式计算： $\mathrm{ACC}(i,j)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\mathrm{MC}}_h(i,j)+{\mathrm{MC}}_v(i,j),-N\≤i\≤N,-M\≤j\≤M$

9．一种用于检测图像的运动的方法，包括以下步骤：

在输入图像中设定一个运动检测区；

将该运动检测区中每个象素的灰度级与它的相邻象素的灰度级比较，以提取一个梯度位模式；

执行当前图像的一个位模式与先前图像的一个代表位模式之间的位模式匹配，以获得以一预定搜索区为单位的与代表模式有相同形状和大小的相关值；和

确定产生最大相关值的一搜索区的坐标和作为一个运动矢量的代表位模式的坐标之间的差值。

Images