CN1316828C - 用于分割压缩的活动图像的活动对象的方法 - Google Patents

用于分割压缩的活动图像的活动对象的方法 Download PDF

Info

Publication number
CN1316828C
CN1316828C CNB2004100644522A CN200410064452A CN1316828C CN 1316828 C CN1316828 C CN 1316828C CN B2004100644522 A CNB2004100644522 A CN B2004100644522A CN 200410064452 A CN200410064452 A CN 200410064452A CN 1316828 C CN1316828 C CN 1316828C
Authority
CN
China
Prior art keywords
piece
motion
external block
compression
local motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100644522A
Other languages
English (en)
Other versions
CN1592420A (zh
Inventor
金真熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN1592420A publication Critical patent/CN1592420A/zh
Application granted granted Critical
Publication of CN1316828C publication Critical patent/CN1316828C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于对压缩的活动图像编码的方法，其包括从压缩的活动图像分割局部运动块；处理该局部运动块的外部块；根据该处理的外部块来确定该局部运动块的最终轮廓；以及通过解码最终轮廓内的块来恢复该最终轮廓内的颜色。其中，处理外部块的步骤包括：提取局部运动块的外部块；以及描述提取的块之间的连接。

Description

用于分割压缩的活动图像的活动对象的方法
技术领域
本发明涉及对压缩的移动图像的编码，并且具体的说涉及分割压缩的活动图像的活动对象和根据运动图象专家组4(MPEG-4)标准对压缩的活动图像进行转换和编码。
背景技术
通常，多媒体数据具有大容量但是在通信带宽上受限。因此，使用数据压缩来发送/接收多媒体数据。数据压缩意味着采用用于以较小尺寸表示信息的方法，并且恢复意味着采用用于解压数据的方法。
MPEG-4标准是为多媒体通信创建的基于内容的编码压缩方法。另外，因为MPEG-4具有高压缩效率并且以非常低的比特速率发送数据，所以移动多媒体应用使用MPEG-4。此外，使用MPEG-4来发送或存储大容量数字音频/视频数据。但是，MPEG-4标准仍然处于起步阶段。
基于对象的编码是MPEG-4的一个特性。基于对象的编码处理分割对象，并且分配一些比特给较为重要的对象，由此高效地压缩视频数据。
现有的压缩/解压方法恢复整个图像，并且组合运动信息和颜色及亮度信息。但是，解压整个图像需要很长时间。另外，处理整个图像需要的计算量被不利地增加了。
发明内容
因此，本发明的一个目的是解决上述问题和其它的问题。
本发明的另一目的是自动分割压缩的活动图像的活动对象，从而使用MPEG-4对压缩的活动图像进行转换和编码。
为了这些这些和其它优点并与本发明的目的一致，如在这里体现和广泛地描述的，本发明提供了一种用于分割压缩的活动图像的活动对象的新颖方法，其包括从压缩的活动图像分割局部运动块；处理该局部运动块的外部块；根据该处理的外部块来确定该局部运动块的最终轮廓；以及通过解码最终轮廓内的块来恢复该最终轮廓内的颜色。其中，处理外部块的步骤包括：提取局部运动块的外部块；以及描述提取的块之间的连接。
本发明的其它优点、目的和特征将在随后的说明中部分地描述，经过以下检验或从本发明的实践中学习，上述优点、目的和特征对于本领域的普通技术人员来说是显而易见的。本发明的目的和优点可以如所附权利要求书中所特别指出的来实现和获得。
附图说明：
将参考附图详细描述本发明，在附图中相似的数字表示相似的元素，其中：
图1是一流程图，示出了用于根据本发明分割压缩的活动图像的活动对象的方法；
图2是一总体视图，示出了由图1的方法处理的图像；
图3是一详细流程图，示出了用于根据本发明分割压缩的活动图像的活动对象的方法；
图4是一总体视图，示出了在根据本发明的多个块之间的连接。
具体实施方式
下面将详细描述本发明的优选实施例，在附图中示出了其实例。
图像的对象分割信息，即，在不同对象之间的边界表面或对象轮廓的信息可以产生三维模型表示单元。根据在对象之间的同质性或异质性来分割图像的对象可以从该图像中获得目标对象。另外，可以对包括多种信息的活动图像编码。例如，可以合成多种对象-单元多媒体元素来组成活动图像。
根据本发明，首先以特定间隔使用帧的运动向量来确定活动对象的轮廓，并且之后对部分运动块解码。
更为详细地说，图1是一流程图，示出了用于根据本发明分割压缩的活动图像的活动对象的方法。如图所示，分割局部运动块(步骤S10)，处理外部块(步骤S20)，确定最终轮廓(步骤S30)，并且恢复在最终轮廓内的颜色(步骤S40)。图3更详细地示出了这些特征。
现在转到图2，其示出了由图1的方法处理的图像。
如图2所示，通过在一图像中将预先确定尺寸的运动区域分割为局部运动块来形成第一图像10，其中通过从压缩的活动图像解码特定帧来获得该图像。随着分割该运动区域的开始，分割出无运动的背景块和活动的人物(对象)块。
之后，通过从该局部运动块中提取外部块而获得第二图像20。根据外部块处理指定多个外部块之间的连接，比如垂直的、水平的、上右下左对角的、以及上左下右对角的连接。结果，以阶梯的形状显示外部块。第三图像30是从外部块提取的轮廓。该轮廓指示人物(对象)的形状。
第四图像40是最终对象，即，通过恢复轮廓内的颜色获得的目标活动对象。该人物实际上除了无运动的背景以外从第一图像中提取出来的。
接下来，图3是一详细流程图，示出了用于根据本发明分割压缩的活动图像的活动对象的方法。
如图所示，通过以特定间隔来解码帧的方式，从压缩的活动图像提取运动向量(S100)。之后，通过对提取的运动向量进行预处理和照相机运动补偿处理来提取运动区域(S110)。
预处理过程限制了过度分割并且使用例如高斯滤波或由Perona和Malik提出的各向异性扩散来平滑图像，以减少噪声。高斯滤波是用于平滑图像以减少噪声的预处理过程。但是，高斯滤波还平滑边沿，使得可以移去边沿或改变它的位置。Perona和Malik的各向异性扩散平滑内部区域并且移去噪声而不平滑边沿。补偿过程区分照相机的运动与对象的运动，以改进向量的可靠性。
另外，将预先确定尺寸的运动区域确定为局部运动块(S120)并且提取该局部运动块的外部块(S130)。此外，恢复提取的外部块的原始图像并且描述多个块之间的连接(S140)。这里，将连接描述为链条形式的垂直的、水平的、上右下左对角的和上左下右对角的连接。
使用链条链接组合多个块并设置多个外部块之间的连接，并且提取对应于连接方向的边缘。实质上通过外部块处理来显示对象的形状。
为了描述在多个块之间的连接，检查和相应块相邻的八个块的连接方向。如果如图4所示的外部运动块存在，则通过组合四个比特值来描述每个块的连接信息。
如果相邻块的数量和方向大于二，则可以通过比特组合来设置多个块连接方向。仅使用所描述的信息来检测相应块在所描述方向上的边缘。例如，当多个块之间的连接是0×06(00000110)时，意味着该块和相邻的块在垂直和上右下左对角方向上连接。当检测到块内的边缘时，仅在垂直和上右下左对角方向上提取该边缘。
根据在多个外部块之间的连接来提取对应于多个块的连接方向的方向边缘(directional edge)(S150)。之后通过选择提取的边缘作为ACM(主动轮廓模型)理论的起始点并且对对象轮廓做ACM逼近(ACM-approximating)来确定最终轮廓(S160)。通过以解码最终轮廓内的块来恢复最终轮廓内的颜色，确定并分割具有完整形状和颜色的活动对象(S170)。
ACM被称为蛇形模型，因为它的搜索形状类似于蛇的运动。它是可以跟踪对象的轮廓的可变形模型。此外，ACM是平衡内部力和外部力的能量函数类型，并且使用公式将对象的轮廓显示为一组表示图像的轮廓的点。在起始阶段预先指定搜索区域。
因此，根据本发明，通过分割活动对象和通过以特定间隔解码帧中的运动向量以及通过处理部分获得的块的图像，该用于分割压缩的活动图像的活动对象的方法减少了对象分割时间。
此外，对于提取边缘以选择ACM起始点，在多个块的连接方向上提取方向边缘，从而改进了对象轮廓提取的精确性。
对于计算机领域的普通技术人员来说很明显，可以使用通用数字计算机或根据本说明书的教导而编程的微处理器来实现本发明。对于软件领域的普通技术人员来说很明显，根据本公开的教导，熟练的编程者可以很容易的制备合适的软件编码。
对于本领域的普通技术人员来说很明显，还可以通过制备特定用途集成电路或通过互联现有组成电路的合适网络来实现本发明。本发明包括计算机程序产品，该计算机程序产品是包括用于对计算机编程以执行本发明的处理的指令的存储介质。该存储介质可以包括(但是不限于)任意类型的盘，包括软盘、光盘、CD-ROM以及磁-光盘、ROM、RAM、EPROM、EEPROM、磁或光卡，或任意类型的适于存储电子指令的介质。
前述实施例和优点仅是示例性的并且不是限制本发明。本教导可以很容易的应用到其它类型的设备。本发明的说明只是示意性的，并且不限制权利要求的范围。对于本领域普通技术人员来说很明显可以有很多替代、修改和变更。

Claims (10)

1.一种对压缩的活动图象编码的方法，其包括：
从压缩的活动图像分割局部运动块；
处理该局部运动块的外部块；
根据该处理的外部块来确定该局部运动块的最终轮廓；以及
通过解码最终轮廓内的块来恢复该最终轮廓内的颜色，
其中，处理外部块的步骤包括：
提取局部运动块的外部块；以及
描述提取的块之间的连接。
2.如权利要求1所述的方法，进一步包括：
根据运动图像专家组4标准转换该压缩的活动图像。
3.如权利要求1所述的方法，其中，分割该局部运动块的步骤包括：
通过以特定的间隔解码压缩的活动图象的帧来提取运动向量；
通过对该提取的运动向量进行预处理和照相机运动补偿处理来检测运动区域；
在该检测的运动区域中确定和分割局部运动块。
4.如权利要求3所述的方法，其中，所述预处理步骤使用高斯滤波或各向异性扩散。
5.如权利要求3所述的方法，其中，该照相机运动补偿处理包括：
区分照相机的运动与对象的运动，以改进提取的运动向量的可靠性。
6.如权利要求1所述的方法，其中，通过恢复该外部块的原始图像，将该连接描述为垂直的、水平的、上右下左对角的和上左下右对角的连接。
7.如权利要求1所述的方法，其中，根据在多个块之间的所描述的连接，以链条的形式连接该多个块。
8.如权利要求1所述的方法，其中确定该最终轮廓的步骤包括：
提取外部块内的方向边缘；以及
选择提取的边缘作为主动轮廓模型ACM理论的起始点，并且对方向边缘进行ACM逼近。
9.如权利要求8所述的方法，其中，从在该多个外部块之间的连接提取出该方向边缘。
10.如权利要求8所述的方法，其中，该方向边缘是对应于多个块的连接方向的边缘。
CNB2004100644522A 2003-08-26 2004-08-26 用于分割压缩的活动图像的活动对象的方法 Expired - Fee Related CN1316828C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20030059175A KR100575733B1 (ko) 2003-08-26 2003-08-26 압축 동영상의 움직임 객체 분할 방법
KR59175/2003 2003-08-26

Publications (2)

Publication Number Publication Date
CN1592420A CN1592420A (zh) 2005-03-09
CN1316828C true CN1316828C (zh) 2007-05-16

Family

ID=34101847

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100644522A Expired - Fee Related CN1316828C (zh) 2003-08-26 2004-08-26 用于分割压缩的活动图像的活动对象的方法

Country Status (5)

Country Link
US (1) US20050047665A1 (zh)
EP (1) EP1511322A1 (zh)
JP (1) JP2005073280A (zh)
KR (1) KR100575733B1 (zh)
CN (1) CN1316828C (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133685A (ja) * 2005-11-10 2007-05-31 Toshiba Corp 移動体輪郭抽出装置および方法
KR20130056998A (ko) * 2011-11-23 2013-05-31 엘지전자 주식회사 디지털 비디오 레코더 및 이를 이용한 객체 추적 방법
JP5826730B2 (ja) 2012-09-20 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
JP6599697B2 (ja) * 2015-08-31 2019-10-30 株式会社ミツトヨ 画像測定装置及びその制御プログラム
WO2017037900A1 (ja) * 2015-09-02 2017-03-09 三菱電機株式会社 情報処理装置及び情報処理方法及び情報処理プログラム
CN105469361B (zh) * 2015-12-24 2018-12-04 努比亚技术有限公司 一种局部图像处理方法和装置
KR101995411B1 (ko) * 2017-12-14 2019-07-02 주식회사 아이미마인 신체 모델 생성 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557684A (en) * 1993-03-15 1996-09-17 Massachusetts Institute Of Technology System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5819035A (en) * 1995-10-20 1998-10-06 Matsushita Electric Industrial Co., Ltd. Post-filter for removing ringing artifacts of DCT coding
JP2000013643A (ja) * 1998-06-18 2000-01-14 Sony Corp ノイズ低減装置および方法、映像信号処理装置、並びに動き検出方法
KR100301113B1 (ko) * 1998-08-05 2001-09-06 오길록 윤곽선 추적에 의한 동영상 객체 분할 방법
US6377710B1 (en) * 1998-11-25 2002-04-23 Xerox Corporation Method and apparatus for extracting the skeleton of a binary figure by contour-based erosion
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
CN1311409C (zh) * 2002-07-31 2007-04-18 皇家飞利浦电子股份有限公司 用于分割的系统和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557684A (en) * 1993-03-15 1996-09-17 Massachusetts Institute Of Technology System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Compressed Domain Motion Segmentation For VideoObjectExetraction" Babu,R.V.；Ramakrishnan,K.R,IEEE International Conference on Acoustics,Speec,and Signal Processing,2002,ISBN：0.7803.7402.9,Vol.4 2002 *
"Compressed Domain Motion Segmentation For VideoObjectExetraction" Babu,R.V.；Ramakrishnan,K.R,IEEE International Conference on Acoustics,Speec,and Signal Processing,2002,ISBN：0.7803.7402.9,Vol.4 2002;"Detection and Location of People in Video Streams byFusion of Color,Edge and Motion Information" Zhangping Wu ET AL,Proceedings 2002 International Conference on Image Processing. ICIP 2002. Rochester,NY,SEPT. 22.25，2002,International Conference on Image Processing,NEW York,NY：IEEE,US,ISBN：0.7803.7622.6 2002;"Real-time Recursive Motion Segmentation of Video Data ona Programmable Device" Wittebrood,R.B.；De Haan,G,IEEE Transactions on Consumer Electronics,ISSN：0098.3063,Vol.47 No.3 2001;"Region-based Active Contours for Video ObjectSegmentation With Camera Compensation" Jehan.Besson S ET AL,Proceedings 2001,International Conference on Image Processing. ICIP 2001. Thessaloniki,Greece,OCT. 7.10,2001,International Conference on Image Processing,New York,NY：IEEE,US,vol.VOL.1 of 3. CONF.8,ISBN：0. *
"Detection and Location of People in Video Streams byFusion of Color,Edge and Motion Information" Zhangping Wu ET AL,Proceedings 2002 International Conference on Image Processing. ICIP 2002. Rochester,NY,SEPT. 22.25，2002,International Conference on Image Processing,NEW York,NY：IEEE,US,ISBN：0.7803.7622.6 2002 *
"Real-time Recursive Motion Segmentation of Video Data ona Programmable Device" Wittebrood,R.B.；De Haan,G,IEEE Transactions on Consumer Electronics,ISSN：0098.3063,Vol.47 No.3 2001 *
"Region-based Active Contours for Video ObjectSegmentation With Camera Compensation" Jehan.Besson S ET AL,Proceedings 2001,International Conference on Image Processing. ICIP 2001. Thessaloniki,Greece,OCT. 7.10,2001,International Conference on Image Processing,New York,NY：IEEE,US,vol.VOL.1 of 3. CONF.8,ISBN：0.7803.6725.1 2001 *
"Robust Region-based Motion Estimation for VideoCompression" Teh J S Y ET AL,IEEE,ISBN：0.7803.6297.7 2000 *

Also Published As

Publication number Publication date
CN1592420A (zh) 2005-03-09
EP1511322A1 (en) 2005-03-02
KR20050021086A (ko) 2005-03-07
JP2005073280A (ja) 2005-03-17
US20050047665A1 (en) 2005-03-03
KR100575733B1 (ko) 2006-05-03

Similar Documents

Publication Publication Date Title
CN106031169B (zh) 深度区块编码方法及其装置
US6600786B1 (en) Method and apparatus for efficient video processing
KR100556832B1 (ko) 영상정보 검색을 위한 비선형 양자화 및 유사도 매칭 방법
US20020176625A1 (en) Method for segmenting multi-resolution video objects
CN108513131B (zh) 一种自由视点视频深度图感兴趣区域编码方法
WO2007124084A1 (en) Vision-based compression
CN110383696B (zh) 用于对超像素边界进行编码和解码的方法和装置
CN1316828C (zh) 用于分割压缩的活动图像的活动对象的方法
CN112954393A (zh) 一种基于视频编码的目标跟踪方法、系统、存储介质及终端
CN103402087A (zh) 一种基于可分级位流的视频编解码方法
CN103020138A (zh) 一种视频检索的方法和装置
CN107103632B (zh) 图像压缩方法及装置
CN101174328B (zh) 一种二值图像编解码方法
CN1926879A (zh) 视频信号编码器、视频信号处理器、视频信号分发系统及其操作方法
CN107682699B (zh) 一种近无损图像压缩方法
EP0853435B1 (en) Method and apparatus for encoding a contour image of an object in a video signal
CN103544717A (zh) 一种基于sift特征的二阶段三维图像压缩编码方法
EP1180308A1 (en) Method and apparatus for efficient video processing
CN113613017B (zh) 一种三维帧间预测改进v-pcc帧间预测的方法
Hesseler et al. Mpeg-2 compressed-domain algorithms for video analysis
Zhang et al. A compact stereoscopic video representation for 3D video generation and coding
JP3854721B2 (ja) 画像処理装置及びその方法
Ntalianis et al. A feature point based scheme for unsupervised video object segmentation in stereoscopic video sequences
US20230306643A1 (en) Mesh patch simplification
US20230306684A1 (en) Patch generation for dynamic mesh coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070516

Termination date: 20170826

CF01 Termination of patent right due to non-payment of annual fee