CN1110957C - 用运动模型的分层结构分割与估算移动目标的运动的方法 - Google Patents
用运动模型的分层结构分割与估算移动目标的运动的方法 Download PDFInfo
- Publication number
- CN1110957C CN1110957C CN95109992A CN95109992A CN1110957C CN 1110957 C CN1110957 C CN 1110957C CN 95109992 A CN95109992 A CN 95109992A CN 95109992 A CN95109992 A CN 95109992A CN 1110957 C CN1110957 C CN 1110957C
- Authority
- CN
- China
- Prior art keywords
- sticking patch
- motion
- motion vector
- frame
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
一种利用运动模型的分层结构分割与估算移动目标的运动的方法，包括下述步骤：(a)将当前帧与其先前帧进行比较以检测出当前帧中的一个移动区；(b)进一步将当前帧与先前帧进行比较而检测出移动区中的各象素的运动矢量，即一个运动矢量场；(c)用一个二维平移补片模型分割该运动矢量场；(d)用一个平面补片模型分割第一阶段的分割结果；以及(e)用一个抛物线型补片模型分割第二阶段的分割结果。
Description
发明领域
本发明涉及用于编码图象信号的面向目标的分析-综合编码技术；更具体地，涉及按照其中的移动目标分割一个图象及估算这些移动目标的各个运动的方法。
背景技术
在诸如视频电话、电话会议及高清晰度电视系统等数字电视系统中，由于视频帧信号中的一个视频行信号包括一序列称作象素值的数字数据，而需要大量的数字数据来定义各视频帧信号。然而，由于常规的传输信道的可利用的频带宽度是有限的，为了通过它来传输大量的数字数据，不可避免地要通过采用数据压缩技术来压缩或减少数据量，尤其是在诸如视频电话或电话会议系统等低比特率视频信号编码器的情况中。
用于编码低比特率编码系统的视频信号的方法之一是称作面向目标的分析-综合编码技术，在该技术中，将一个其中包含移动目标的输入视频图象按照这些移动目标进行划分；并用三组定义该目标的运动、轮廓(或形状)与象素数据的参数来描述各目标。
为了达到面向目标的分析-综合技术的主要目的，即恰当地将输入视频图象分成其中的移动目标并精确地估算这些移动目标的各个运动的任务，已经提议过若干种方法。基中之一是一种分层结构的分割技术(参见Michacl Hatter等人的“基于面向目标的映射参数估算的图象分割”(″image segmentation based on objectoriented mapping parameter estimation″)，信号处理(Signal processing)，15，第3号，315-334页(1988年10月))。
按照分层结构的分割技术，待被分割的输入视频图象的一个区是由表示为映射参数的一组均匀运动与位置参数定义的。例如，用8个参数来描述一个平面刚体的任意三维运动。在第一步骤中，一个变化检测器判别两个相继的场中的暂时改变与非改变区。将各改变的图象区看作为一个目标。各目标的运动与位置是用一组映射参数描述的。根据这些映射参数及关于暂时在前场的信息，便能得到一个暂时接至场的重构。在分层结构的下一步骤中，用变化检测器重新检测在映射中未正确地描述的图象中的那些区，并按照在分层结构的第一步骤中检测到的改变部分进行处理，然而，在这一技术中，如果在一个改变区内包含大量的移动目标，便十分难于适当地分割与精确地估算它们。
发明内容
因此，本发明的主要目的为提供一种通过采用一种多阶段分割方案将一个图象信号恰当地分割成其中的移动目标并用一组运动参数精确地估算这些移动目标的各个运动的改进的方法。
按照本发明，提供了一种用在一个面向目标的分析-综合编码器中的，根据运动模型的分层结构将一个当前帧的其中包含移动目标的一个图象信号按照其中的移动目标分割成区并用一组运动参数描述这些移动目标的各个运动的方法，包括下述步骤：
(a)将当前帧与一个先前帧进行比较以检测出当前帧中的一个移动区；
(b)进一步将当前帧与先前帧进行比较以检测出移动区中的各象素的运动矢量，从而生成一个运动矢量场；
(c)将运动矢量场分割成称作平移补片(translational patches)的部分，各该平移补片具有用一组两个运动参数如下定义的一个二维平移运动：
u(x，y)＝a1，V(x，y)＝a2；
(d)将这些平移补片合并成称作平面补片(planar patches)的较大部分，各该平面补片用一组6个运动参数描述的一个平面补片模型表示如下：
u(x，y)＝a1+a2x+a3y，
v(x，y)＝b1+b2x+b3y；以及
(e)将这些平面补片组合成称为抛物线型补片(parabolicpatches)的更大部分，各该抛物线型补片用一组12个运动参数描述的一种抛物线型补片模型表示如下：
u(x，y)＝a1+a2x+a3y+a4x2
+a5y2+a6xy，
v(x，y)＝b1+b2x+b3y+b4x2
+b5y2+b6xy；
其中u(x，y)与v(x，y)分别为位于运动矢量场中的一个象素位置(x，y)上的一个运动矢量的x方向与y方向的分量，而a1至a6及b1至b6为实数。
附图说明
从下面结合附图给出的较佳实施例的描述中，本发明的上述与其它目的及特征将是显而易见的，其中：
图1为按照本发明将一个图象分割成其中的移动目标并用一组运动参数描述这些移动目标的各个运动的方框图；以及
图2至6为展示按照本发明将一个图象分割成移动目标的处理过程的说明图。
具体实施方式
如图1中所示，分别将两个输入信号，即一个当前帧信号及一个重构的先前帧信号馈送给一个变化检测器100及一个运动估算器102。
变化检测器100将当前帧信号与重构的先前帧信号进行比较，从当前帧中的背景中检测出一个改变区。将检测到的改变区信息送至运动估算器102及一个运动矢量场检测器103。
运动估算器102检测改变区中一组选取的象素，即特征点，的运动矢量，其中各特征点为能够代表其相邻象素的一个象素。这便是，首先从包含在改变区中的所有象素中选取若干特征点。然后，通过在各选取的特征点上形成预定大小的一个块及通过采用一种块匹配算法(参见诸如J.R.Jain等人的“位移测量及其在帧间图象编码中的应用”(″displacement measurement and its application ininterframe image coding″)，IEEE Transactionson Communications，COM-29，第12号，1799-1808页(1981年12月))确定各选取的特征点的运动矢量，其中各运动矢量表示当前帧中的一个特征点与重构的先前帧中的一个对应匹配点，即一个最相似的象素，之间的空间位移。
运动矢量场检测器103通过求出这些特征点的运动矢量的平均值而确定改变区中的非特征点的运动矢量，从而确定改变区中所有象素的运动矢量。由其中的所有象素的运动矢量所定义的改变区称作一个运动矢量场。如图2中所示，其中描绘了从两个连续的头与肩部图象帧得到的一个示例性运动矢量场。
为了按照移动目标将运动矢量场分成区，按照本发明采用了一种多阶段，诸如3阶段的分割方案。这三个阶段是分别在第一、第二及第三分割单元104、106及108中作出的。
第一分割单元104将运动矢量场分割成具有相似运动矢量的部分。各部分具有一种二维运动，并表示为一块二维平移补片，该补片可用一组两个运动参数描述如下：
u(x，y)＝a1式(1a)
v(x，y)＝a2 式(1b)
其中u(x，y)＝a1与v(x，y)＝a2分别为位于运动矢量场中一个象素位置(x，y)上的一个运动矢量的x方向与y方向分量，且a1与a2为实数。为了将运动矢量场分割成具有相似运动矢量的部分，采用了一种相似性测度Mi，其定义如下：
Mi＝|dx，nR-dx，i|+|dy，R-dy，i| 式(2)
其中dx，R及dy，R分别表示包含在一个区R中的运动矢量的x方向与y方向分量的平均值；而dx，i与dy，i则分别为区R内部或周围的一个运动矢量di的x方向与y方向分量。如果相似性测度Mi小于一个预定值，则运动矢量Mi属于区R。在第一阶段分割以后，将结果，即图3中所示的二维平移补片，提供给第二分割单元106。
在第二分割单元106中，将二维平移补片合并成区，各区是与一个平面表面的三维刚体运动一致的，并称作一个平面补片。三维刚体运动能用6个运动参数描述如下：
u(x，y)＝a1+a2x+a3y 式(3a)
v(x，y)＝b1+b2x+b3y 式(3b)
其中u(x，y)与v(x，y)分别为位于象素位置(x，y)上的一个运动矢量的x方向各与y方向分量，而a1至a3及b1至b3为实数。
为了将二维平移补片合并成一块平面补片，执行下述区增长进程，在第一步骤中，从这些二维平移补片中选取一块种子平移补片。一块种子平移补片便是尚未分配给已建立的平面补片的平移补片中最大的一块Ri。在第二步骤步中，将邻接在种子补片周围的那些平移补片定为其候选补片(Rj：j＝1，……，n)，在第三步骤中，检验是否将各候选补片合并进种子补片。例如，通过式(4)确定用于组合补片Ri∪Rj的一组最佳的6个运动参数：
E(a1，…，b3)＝∑k[(u(xk，yk)-a1-a2xk-a3yk)2+(V(xk，yk)-b1-b2xk-b3yk)2] 式(4)
其中K表示组合补片RiURj中的一个元素，而u(x，y)与V(x，y)分别为位于象素位置(x，y)上的一个给定的运动矢量的x方向与y方向分量。该组最佳的6个运动参数是一组6个方程的一组解，各方程是通过相对于a1，…，b3取式(4)的偏导数并使它们等于零而导出的。此后，确定一个候选补片Rj中的一个给定的运动矢量组与从该最佳的6个运动参数组得出的其中一个估算的运动矢量组之间的一个误差值。然后，如果该误差值小于一个预定值，便将一块候选补片合并进该种子补片中。在最后的步骤中，重复第二与第三步骤直到只在种子补片或组合的种子与前面合并的补片周围找不到任何候选补片为止。在第二分割单元106中的第二阶段分割之后，便将分割结果，即图4中所示的平面补片，提供给一个第三分割单元108。在第三分割单元108中，通过利用抛物线型补片模型将平面补片合并成块，该模型可用一组12个运动参数描述如下：
u(x，y)＝a1+a2x+a3y+a4x2+a5y2+a6xy式 (5a)
v(x，y)＝b1+b2x+b3y+b4x2+b5y2+b6xy式 (5b)
其中u(x，y)与v(x，y)分别为位于象素位置(x，y)上的一个运动矢量的x方向与y方向分量，而a1至a6及b1至b6为实数。第三分割方法与第二分割单元106的分割方法相同，但除了用抛物线型补片模型替代了平面补片运动模型以外。从而，运动矢量场被紧凑地分割成图5中所示的抛物线型补片，并生成与各该抛物线型补片对应的一组12个运动参数。
此外，在确定了与当前帧中所有的抛物线型补片对应的各组12个运动参数之后，便用各组12个运动参数补偿先前帧以提供一个运动补偿的帧。然后，通过从当前帧中减去该运动补偿的帧而抽取一个运动失误区。图6中所示的运动失误区需要特殊的图象编码。
虽然已经相对于特定的实施例展示与描述了本发明，对于熟悉本技术的人员显而易见可以在不脱离所附的权利要求书中所定义的发明精神与范围下作出许多改变与修正。
Claims (2)
1、一种在面向目标的分析-综合编码器中将当前帧中包含移动目标的图象信号分割成区并描述这些移动目标的各个运动的方法，其中该分割是按照这些移动目标来进行，并且所述的描述是根据运动模型的分层结构利用一组运动参数来完成，所述方法包括下述步骤：
(a)将当前帧与一个先前帧进行比较以检测出当前帧中的一个移动区；
(b)进一步将当前帧与先前帧进行比较以检测出移动区中的各象素的运动矢量，从而生成一个运动矢量场；
(c)将该运动矢量场分割成称作平移补片的部分，各该平移补片具有用一组两个运动参数如下定义的一个二维平移运动：
u(x，y)＝a1，V(x，y)＝a2；
(d)将这些平移补片合并成称作平面补片，各该平面补片用一组6个运动参数描述的一个平面补片模型表示如下：
u(x，y)＝a1+a2x+a3y，
v(x，y)＝b1+b2x+b3y；以及
(e)将这些平面补片组合成称为抛物线型补片，各该抛物线型补片用一组12个运动参数描述的一种抛物线型补片模型表示如下：
u(x，y)＝a1+a2x+a3y+a4x2+a5y2+a6xy，
v(x，y)＝b1+b2x+b3y+b4x2+b5y2+b6xy；
其中u(x，y)与v(x，y)分别为位于运动矢量场中的一个象素位置(x，y)上的一个运动矢量的x方向与y方向的分量，而a1至a6及b1至b6为实数。
2、按照权利要求1的方法，还包括下述步骤：
(f)用各该组12个运动参数运动补偿先前帧以提供一个经过运动补偿的帧；
(g)从当前帧中减去经过运动补偿的帧而为各象素生成一个误差信号；以及
(h)将这些误差信号与一个预定值进行比较而抽取一个运动补偿失误区。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN95109992A CN1110957C (zh) | 1995-07-21 | 1995-07-21 | 用运动模型的分层结构分割与估算移动目标的运动的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN95109992A CN1110957C (zh) | 1995-07-21 | 1995-07-21 | 用运动模型的分层结构分割与估算移动目标的运动的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1142163A CN1142163A (zh) | 1997-02-05 |
| CN1110957C true CN1110957C (zh) | 2003-06-04 |
Family
ID=5077431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN95109992A Expired - Lifetime CN1110957C (zh) | 1995-07-21 | 1995-07-21 | 用运动模型的分层结构分割与估算移动目标的运动的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1110957C (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105361697B (zh) * | 2015-11-30 | 2018-02-13 | 珠海格力电器股份有限公司 | 底座及煮水装置 |
| CN111866484B (zh) * | 2019-04-30 | 2023-06-20 | 华为技术有限公司 | 点云编码方法、点云解码方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4138517A1 (de) * | 1991-11-23 | 1993-05-27 | Univ Hannover | Einrichtung zur objekt-orientierten codierung von bildsignalen |
| EP0614318A2 (en) * | 1993-03-04 | 1994-09-07 | Kabushiki Kaisha Toshiba | Video encoder, video decoder, and video motion estimation apparatus |
| EP0625853A2 (en) * | 1993-05-21 | 1994-11-23 | Nippon Telegraph And Telephone Corporation | Moving image encoder and decoder |
| JPH0795592A (ja) * | 1993-03-15 | 1995-04-07 | Massachusetts Inst Of Technol <Mit> | 画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステム |
-
1995
- 1995-07-21 CN CN95109992A patent/CN1110957C/zh not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4138517A1 (de) * | 1991-11-23 | 1993-05-27 | Univ Hannover | Einrichtung zur objekt-orientierten codierung von bildsignalen |
| EP0614318A2 (en) * | 1993-03-04 | 1994-09-07 | Kabushiki Kaisha Toshiba | Video encoder, video decoder, and video motion estimation apparatus |
| JPH0795592A (ja) * | 1993-03-15 | 1995-04-07 | Massachusetts Inst Of Technol <Mit> | 画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステム |
| EP0625853A2 (en) * | 1993-05-21 | 1994-11-23 | Nippon Telegraph And Telephone Corporation | Moving image encoder and decoder |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1142163A (zh) | 1997-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1107415C (zh) | 分割与估算移动目标的运动的方法 | |
| Wang et al. | Fast algorithms for the estimation of motion vectors | |
| US6636565B1 (en) | Method for concealing error | |
| JP3612360B2 (ja) | 移動物体分割法を用いた動画像の動き推定方法 | |
| Rongfu et al. | Content-adaptive spatial error concealment for video communication | |
| CN1130919C (zh) | 用于编码包含在视频信号中的区域的轮廓的装置 | |
| US6560371B1 (en) | Apparatus and method for employing M-ary pyramids with N-scale tiling | |
| US5748247A (en) | Refinement of block motion vectors to achieve a dense motion field | |
| EP0579319B1 (en) | Tracking moving objects | |
| CN1139253C (zh) | 用于在基于分段的编码系统中检测运动矢量的方法 | |
| CN1537299A (zh) | 利用块增大和变化检测掩码识别视频中的运动对象 | |
| CN1103164C (zh) | 利用逐个像素的运动估算和跳帧方法的图像处理系统 | |
| CN1110957C (zh) | 用运动模型的分层结构分割与估算移动目标的运动的方法 | |
| CN1159275A (zh) | 检测遮挡的方法和装置 | |
| CN1628323A (zh) | 用于分割的装置和方法 | |
| Kwon et al. | Motion compensated subband coding of video acquired from a moving platform | |
| Csillag et al. | Frame-rate conversion based on acceleration and motion-based segmentation | |
| Kim et al. | Stochastic approach for motion vector estimation in video coding | |
| Aldahdooh et al. | Inpainting-based error concealment for low-delay video communication | |
| CN1169371C (zh) | 用于为形状自适应变换填充视频信号的方法和装置 | |
| KR100367409B1 (ko) | 대칭 특성을 이용한 ｍｐｅｇ-4의 객체 분할장치 및 그방법 | |
| JPH07274175A (ja) | 動的動き評価による低伝送率の動映像符号化方法及び装置 | |
| Herodotou et al. | Temporal prediction of video sequences using an image warping technique based on color segmentation | |
| KR0171117B1 (ko) | 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법 | |
| Csillag et al. | Iterative motion-based segmentation for object-based video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20030822 Patentee after: Daewoo Electronics Co., Ltd. Patentee before: Daewoo Electronics Co., Ltd. |
|
| ASS | Succession or assignment of patent right |
Owner name: FENGYE VISION TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: DAEWOO ELECTRONICS CO., LTD. Effective date: 20130417 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20130417 Address after: Ontario Patentee after: Fengye Vision Technology Co., Ltd. Address before: Seoul, South Kerean Patentee before: Daewoo Electronics Co., Ltd. |
|
| CX01 | Expiry of patent term |
Expiration termination date: 20150721 Granted publication date: 20030604 |
|
| EXPY | Termination of patent right or utility model |