CN1133535A

CN1133535A - 分割与估算移动目标的运动的方法

Info

Publication number: CN1133535A
Application number: CN95109996A
Authority: CN
Inventors: 张圭焕; 丁海默; 金成大; 崔在觉; 李时雄
Original assignee: Daewoo Electronics Co Ltd
Current assignee: Fengye Vision Technology Co., Ltd.
Priority date: 1995-04-08
Filing date: 1995-07-21
Publication date: 1996-10-16
Anticipated expiration: 2015-07-21
Also published as: JPH08294124A; EP0737012A2; DE69523441T2; DE69523441D1; CN1107415C; KR0181036B1; EP0737012B1; KR960039982A; JP3881709B2; US5748761A; EP0737012A3

Abstract

一种分割与估算移动目标的运动的方法，包括(a)将当前帧与前一帧比较以检测出一运动矢量场；(b)在该运动矢量场上滑动窗口块并计算其一致性度以生成一种子块；(c)根据该种子块为该组运动参数确定初始值；(d)评估各运动矢量是否能用该组初始值描述以检测出一修正区；(e)为该组运动参数确定修正值；(f)评估所述各运动矢量是否能用该组修正值描述，检测出一新的修正区；(g)重复步骤(e)与(f)直到为该组运动参数确定一组最终值。

Description

分割与估算移动目标的运动的方法

本发明涉及用于编码图象信号的面向目标的分析-综合编码技术；更具体地，涉及根据在其中移动的目标分割图象及估算这些移动目标的各个运动的方法。

在诸如视频电话、电话会议及高清晰度电视系统等数字电视系统中，由于视频帧信号中的一个视频行信号包含一系列称作象素值的数字数据，而需要大量的数字数据来定义各视频帧信号。然而，由于一条传统的传输信道的可资利用的频带宽度是有限的，为了通过它来传输大量的数字数据，不可避免地要通过某种数据压缩技术来压缩或减少数据量，尤其是在诸如视频电话或电话会议系统之类的低比特率视频信号编码器中。

用于编码低比特率编码系统的视频信号的方法之一便是称作面向目标的分析-综合编码技术，在这一方法中，其中包含移动目标的一个输入视频图象是根据这些移动目标划分的；并且各目标是用三组定义该目标的运动、轮廓(或形状)与象素数据的参数描述的。

为了达到面向目标的分析-综合编码技术的主要目的，即恰当地将输入视频图象分成移动目标并精确地估算这些移动目标的各个运动，已经提出过若干种方法。其中之一便是分层结构的分割技术(见MichaelHotter等人的“根据面向目标的映射参数估算的图象分割”，Signal Processing(信号处理)，15，第三号，315-334页(1988年10月))。

按照分层结构的分割技术，要分割的输入视频图象的一个区是由一组作为映射参数的均匀运动与位置参数定义的。例如，用8个参数来描述一个平面刚体的任意三维运动。在第一步骤中，一个变化检测器鉴别两个相继的场中的暂时改变的与不改变的区。将各个改变的图象区看作一个目标。用一组映射参数来描述各个目标的运动与位置。根据这些映射参数与暂时在前场的信息，便能得到暂时接至场的重构。在分层结构的下一步骤中，图象中并未在映射中正确地描述的区再一次受到变化检测器的检测，并按照在分层结构的第一步骤中所检测到的改变部分加以处理。然而，在这一技术中，如果在一个改变区中包含大量的移动目标，便难于适当地将它们分割。

因此，本发明的主要目的为提供一种根据其中的移动目标恰如其分地分割一个图象并精确地估算该目标的各个运动的改进的方法。

按照本发明，提供了一种用于一个面向目标的分析-综合编码器中的将当前帧的一个图象分割成移动目标并用一组运动参数描述这些移动目标的各个运动的方法，该方法包括下述步骤：

(a)将当前帧与一个前面的帧进行比较以检测出当前帧中的一个移动区；

(b)进一步将当前帧与前面的帧进行比较，为该移动区中的各象素检测一个运动矢量，从而生成一个运动矢量场；

(c)在该运动矢量场上滑动大小为N×N个象素的窗口块，N为一个正整数，并计算各窗口块的一致性度，以选择一个最一致的窗口块作为种子块；

(d)根据该种子块确定其运动参数组的一组初始值；

(e)评估包含在该种子块内及其周围的各运动矢量是否能用该组初始值描述，从而检测出一个用该组初始值描述的运动矢量所定义的一个修正的区；

(f)为来自该修正区的该组运动参数确定一组修正值；

(g)评估包含在该修正区内及其周围的各运动矢量是否能用该组修正值描述，从而检测出一个用该组修正值描述的运动矢量所定义的一个新的修正区；

(h)重复步骤(f)与(g)直到当前修正区与前一修正区之间的差小于一个预定值为止，从而为该组运动参数确定一组最终值；以及

(i)重复步骤(c)至(h)直到确定了各该移动目标的各组运动参数为止。

从下面结合附图给出的较佳实施例的描述中，本发明的上述与其它目的及特征将是显而易见的，附图中：

图1为按照本发明将一个图象分割成移动目标及用一组运动参数描述这些移动目标的各个运动的方框图；以及

图2为展示图1中所示的种子块检测与区增长电路的操作流程的流程图。

图1描述按照本发明分割移动目标及用一组运动参数描述这些移动目标的各个运动的方框图。

如图1中所示，分别将两个输入信号，即一个当前帧信号及一个重构的前一帧信号馈送给一个变化检测器100及一个运动估算器102。

变化检测器100将当前帧信号与重构的前一帧信号进行比较，以从当前帧的背景中检测出一个改变的区。将检测到的改变区的信息送至运动估算器102及一个运动矢量场检测器103。

运动估算器102检测该改变区中一组选定的象素，即特征点的运动矢量，其中各该特征点为能够代表其相邻象素的一个象素。这便是，首先从包含在该改变区中的所有象素中选择若干个特征点。然后，通过在各该选定的特征点上形成具有预定大小的一个块及通过采用一种块匹配算法(参见诸如J.R.Jain等人的“位移测量及其在帧间图象编码中的应用”，IEEE通信学报，COM-29，第12号，1799-1808页(1981年12月))，确定各该选定的特征点的运动矢量，其中各该运动矢量代表当前帧中的一个特征点与重构的前一帧中的一个对应匹配点(即一个最相似的象素)之间的空间位移。

运动矢量场检测器103通过求出特征点的运动矢量的平均值而确定该改变区中的非特征点的运动矢量，从而检测出该改变区中所有象素的运动矢量。用其中的所有象素的运动矢量定义的改变区称作一个运动矢量场。将有关运动矢量场的信息送至一个种子块检测及区增长电路104。

种子块检测与区增长电路104将运动矢量场分割成移动目标并用一组运动参数描述这些移动目标的各个运动。按照本发明，为了描述这些移动目标的各个运动，采用了一种8参数运动模型(参见诸如Gilad Adiv的“从若干移动目标生成的光流确定三维运动与结构”，IEEE Transactions onPatent Analysis and Machine Intellgence，PAMI-7，第4号，384-401页，(1985年7月))，该模型可表述如下：Vx(x，y)＝a₁＋a₂x＋a₃y＋a₇x²＋a₈xy 式(1)Vy(x，y)＝a₄＋a₅x＋a₆y＋a₇xy＋a₈y² 式(2)其中Vx(x，y)为在位置(x，y)上的一个运动矢量的水平分量，而Vy(x，y)则为在位置(x，y)上的运动矢量的垂直分量。

参见图2，运动矢量场中的各移动目标的8个运动参数是通过两个过程确定的：一个种子块检测过程10及一个区增长过程20。

种子块检测过程10为了确定8个运动参数的一组初始值而检测一个种子块，而区增长过程20则通过采用一种迭代区增长算法增加该种子块的大小，从而为该8个运动参数估算一组实际值。

在种子块检测过程10中有两个步骤10与12。在步骤10中，一个W×W个象素大小的窗口块在运动矢量场上滑动；并计算该窗口块的各位置的一致性度。此后，在步骤12中，选择一个最一致的窗口块作为种子块。一致性度可确定如下：

D (m, n) = \frac{1}{E ({a_{1}}^{*}, \cdot \cdot \cdot, {a_{8}}^{*})}

式(3)

E (a_{1}, \cdot \cdot \cdot, a_{8}) = Σ_{x = m}^{m + W - 1} Σ_{y = n}^{n + W - 1} &Element; (x, y; a_{1}, \cdot \cdot \cdot, a_{8})

式(4)

&Element; (x, y; a_{1}, \cdot \cdot \cdot, a_{8}) = {(V_{x} (x, y) - {\hat{V}}_{x} (x, y))}^{2} + {(V_{y} (x, y) - {\hat{V}}_{y} (x, y))}^{2}

式(5)

{\hat{V}}_{x} (x, y) = a_{1} + a_{2} x + a_{3} y + a_{7} x^{2} + a_{8} xy

式(6)

{\hat{V}}_{y} (x, y) = a_{4} + a_{5} x + a_{6} y + a_{7} xy + a_{8} y^{2}

式(7)其中D(m，n)表示在一个窗口位置(m，n)上的一致性度，W为一个窗口大小而(a₁*，a₂*，…，a₈*)则为一个窗口块的一组最佳运动参数。该组最佳运动参数是一组8个方程的解，各方程是式(4)对a₁，a₂，…，a₈取偏导数并令其等于0导出的。如式(3)至(7)中所示，一个窗口块的一致性度是通过采用一个窗口块中的一组给定的运动矢量与从该组最佳运动参数得出的一组估算的运动矢量之间的一个误差函数确定的。

检测出种子块之后，过程20开始为一组运动参数确定一组初始值。然后，为了将这些初始值校正为一组实际的运动参数，便通过采用下面描述的区增长技术执行一个收敛过程。

在步骤14中，根据步骤12中检测到的种子块确定一组运动参数的一组初始值，或根据在下面步骤16中检测到的一个修正区确定该组运动参数的一组修正值。

运动参数组的初始值是通过取得种子块的最佳运动参数组确定的。而运动参数组的修正值组是象检测种子块的最佳运动矢量组那样根据修正区中所包含的所有运动矢量确定的。

在步骤16中，为了将初始值或修正值校正成一组实际的运动参数，通过估算包含在种子块或修正区内或它们周围的各运动矢量是否能用这些初始值或修正值来描述而执行一个区增长过程，从而检测出修正区或定义一个新的修正区。

在步骤18中，将一个当前修正区与前一修正区之间的差与一个预定值进行比较，以决定是否继续进行区增长迭代。区增长迭代重复进行到当前修正区与前一修正区之间的差小于该预定值为止，从而为该组运动参数确定一组最终值。

检测到该组运动参数的最终值之后，便通过重复步骤10至18检测另一组运动矢量，一直进行到确定了各移动目标的各组运动参数为止。

虽然已相对于特定的实施例展示与描述了本发明，但对于熟悉本技术的人员而言，显然可以在不脱离所附的权利要求书所定义的发明精神与范围下，作出许多改变与修正。

Claims

1、一种用于在一个面向目标的分析-综合编码器中将一个当前帧的一个包含移动目标的一个图象分割成其中的移动目标并用一组运动参数来描述这些移动目标的各个运动的方法，包括下述步骤：

(a)将当前帧与前一帧进行比较以检测出当前帧中的一个移动区；

(b)进一步将当前帧与前一帧进行比较而为该移动区中的各象素检测出一个运动矢量，从而生成一个运动矢量场；

(c)在该运动矢量场上滑动大小为N×N个象素的窗口块，N为一个正整数，并计算各该窗口块的一致性度以选择一个最一致的窗口块作为一个种子块；

(d)根据该种子块为该组运动参数确定一组初始值；

(e)评估包含在该种子块内及其周围的各运动矢量是否能用该组初始值描述，从而检测出用该组初始值描述的运动矢量所定义的一个修正区；

(f)为来自该修正区的该组运动参数确定一组修正值；

(g)评估包含在该修正区内及其周围的各运动矢量是否能用该组修正值描述，从而检测出一个由用该组修正值描述的运动矢量定义的新的修正区；

(i)重复步骤(c)至(h)直到确定各该移动目标的各组运动参数为止。