CN1177259A - 包含随机目标对象的活动图象的编码和解码系统 - Google Patents
包含随机目标对象的活动图象的编码和解码系统 Download PDFInfo
- Publication number
- CN1177259A CN1177259A CN97112906A CN97112906A CN1177259A CN 1177259 A CN1177259 A CN 1177259A CN 97112906 A CN97112906 A CN 97112906A CN 97112906 A CN97112906 A CN 97112906A CN 1177259 A CN1177259 A CN 1177259A
- Authority
- CN
- China
- Prior art keywords
- data
- grid
- image
- order
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种活动图象编码装置,包括:目标提取器,提取当前图象中包含的目标并输出目标轮廓数据;预测编码器,实现预测编码操作并产生运动信息、当前图象与参考图象的差值数据以及预测图象数据;目标差值生成器,在差值数据中选择目标区域内的差值数据从而对其进行编码,并产生被选差值数据和编码后的差值数据;加法器,接收预测图象数据和差值数据,并将二者相加从而根据相加结果更新参考图象数据。
Description
本发明涉及包含随机目标对象的活动图象的编码和解码系统。
近来,为了适用于可视电话和电视会议系统以极低比特率发送活动图象的国际标准取得进展。为以极低比特率发送电视图象,人们广泛研究使用面向对象的编码技术,这种编码技术将活动图象中的有意义的目标分割然后将分割后的目标发送出去。面向对象的编码技术被认为是以极低比特率发送活动图象的一项基本技术。在活动图象的面向对象的编码中,需要运动预测技术以去掉关于目标的时间相关性并且为了提高编码效率还需要更精确的运动预测技术。
本发明的一个目的是为包含随机目标的活动图象提供一种编码装置,在该装置中,从图象中提取的随机目标被表示为网格,并且各网格的控制点被用作图象的运动预测编码。
本发明的另一个目的是提供一种解码装置,该解码装置将上述编码装置编得的数据解码。
为实现本发明的上述目的,提供一种用于将包含目标对象的当前图象进行编码的活动图象编码装置,该活动图象编码装置包括;目标对象提取单元,用以从接收到的当前图象数据中提取包含在当前图象中的目标对象并且输出表示所提取目标轮廓的目标轮廓数据;预测编码单元,利用当前图象数据、参考图象的预存数据、划分一个当前图象和参考图象的网格的各控制点实现预测编码操作并且产生涉及控制点的运动信息,当前图象和参考图象之间的差值数据以及预测图象数据;目标差值产生器,用以从来自预测编码单元的差值数据中选择目标区域内的差值数据从而根据目标提取单元输出的目标轮廓数据对被选差值数据进行编码并且输出被选差值数据和编码后的差值数据;以及加法单元,用以接收预测图象数据和被选差值数据,并将它们相加,同时利用加法结果得到的图象数据更新预存在预测编码单元中的参考图象数据,其中预测图象数据是从预测编码单元输出的,被选差值数据是从目标差值产生器选择的。
为了实现本发明的其他目的,还提供了一种用于将活动图象编码装置的输出进行解码的活动图象解码装置,该活动图象解码装置包括:目标轮廓恢复单元,用以将接收到的编码后目标轮廓数据解码并恢复表示当前图象中所包含目标轮廓的目标轮廓数据;差值数据解码单元,用以将接收到的编码后差值数据进行解码并输出差值数据;运动补偿解码单元,用以利用目标轮廓数据、预存参考图象数据、划分一个目标轮廓和参考图象的网格的控制点和有关控制点的运动信息实现运动补偿操作;加法单元,用于将由目标轮廓数据选择的预测图象数据和差值数据相加,并且利用相加结果得到的图象数据更新预存在运动补偿解码单元中的参考图象数据。
参照附图描述本发明的优先实施例,其中;
图1为按照本发明的优先实施例的活动图象编码装置的框图;
图2为图1中网格产生器的详细框图;
图3为对图1中装置所编码的数据进行解码的活动图象解码装置框图;
图4为按照本发明的另一优先实施例的活动图象编码装置框图;
图5为对图4装置所编码的数据进行解码的活动图象解码装置的框图。
参照附图详细描述本发明的优先实施例。
图1所示为按照本发明的优先实施例的活动图象编码装置,目标提取器10接收来自外部源的数字图象数据并从由接收的图象数据所表示的当前图象中提取随机目标。然后,该目标提取器10产生代表被提取目标轮廓信息的目标轮廓数据。该目标轮廓数据被提供给差值数据编码器20和后面将要描述的图3的解码装置。该目标轮廓数据包含确定该目标轮廓的各象素的空间位置或象素组成的段的空间位置。该目标提取器10将目标轮廓数据和接收到的当前图象数据输出到网格产生器12。该网格产生器12根据目标轮廓数据从当前图象中识别出目标区域并且对有关目标区域内的图象进行规则网格表示的信号处理。该网格产生器12的详细结构和操作将参照图2描述。
网格产生器12中的块形成器121(block former)接收从目标提取器10输出的当前图象数据和目标轮廓数据。该块形成器121将收到的图象数据所表示的当前图象划分为各具有预定大小的图象块,并且将代表图象块的图象块数据和目标轮廓数据加到块选择器123。该块选择器123根据目标轮廓数据在构成当前图象的全部图象块中选择包含目标区域中图象数据的图象块。代表被选图象块的数据和目标轮廓数据一起输出到目标图象生成器125(objectimage composer)。此处,只具有不属于目标区域的图象数据的图象块不被选择。因此代表未被选择的图象块的数据不被选到目标图象生成器125。接收被选图象块数据的目标图象生成器125合并各被选图象块,并把合并结果产生的代表目标图象的数据与目标轮廓数据一起送到网格生成器127。接收目标图象数据的网格生成器127将该目标图象划分为规则的矩形网格或规则的三解形网格。
在采用规则的矩形网格划分图象的情况下,网格生成器127将目标图象划分为各具有与块尺寸不同的预定尺寸的栅格。此处栅格的尺寸比块尺寸小。然后该网格生成器127在由划分得到的栅格的各顶点中将包含在目标区域中的各顶点确定为控制点,并且将具有控制点的栅格确定为规则的矩形栅格。该栅格生成器127将包含有关规则矩形栅格的控制点的图象数据的矩形网格数据输出到图1中所示的运动估计和补偿部件14。这里,涉及每一控制点的图象数据包括控制点的位置和在该控制点的位置处的灰度值。以及与该控制点相邻位置的各象素的位置及其灰度值。该网格生成器127还输出当前图象数据到差值计算器18。
在采用规则的三角形网格划分图象的情况下,该网格生成器127将通过上述过程得到的每一规则矩形网格根据网格中图象数据的相似性划分为两个规则的三角形网格。为了判断每一规则矩形网格的图象数据的相似性,该网格控制器127将对应于位于规则矩形网格中45°对角线方向上的两个控制点的象素值之间的差值与对应于其尺寸内-45°对角线方向上的两个控制点的象素值之间的差值进行比较。该网格生成器127按照较小差值的对角线方向划分矩形网格。其结果是每一矩形网格产生两个规则三角形网格。该网格生成器127将包含涉及规则三角形网格的控制点的图象数据的三角形网格数据输出到运动估计和补偿部件14。该网格生成器127还输出当前图象数据到差值计算器18。
该运动估计和补偿部件14利用存储器16中存储的参考图象数据和涉及来自网格生成器12的当前图象中目标图象的网格数据进行运动估计和补偿操作。该运动估计和补偿部件14首先将与每一网格的控制点有关的图象数据与存储器16中存储的参考图象数据作幅度的比较。理想情况下,每一控制点对应于单一象素。即:一个控制点由一个象素的空间位置和灰度值表示。然而,实际中只通过象素与象素比较很难恰好找到与参考图象中控制点相似的图象数据的位置。因此,涉及每一控制点的图象数据是与对应该控制点有关的象素和与对应该控制点邻近的多个象素的图象数据,如网格生成器127中所描述的。该运动估计与补偿部件14根据数据幅度比较结果确定具有与控制点的图象数据最近似的图象数据的参考图象中的位置。然后,运动估计和补偿部件14确定代表控制点及参考图象中相应位置之间的位移的运动矢量。如果对所有控制点确定各运动矢量,运动估计和补偿部件14利用所确定的各运动矢量进行空间变换如图象弯曲(image warping),并产生当前图象的预测图象。代表预测图象的数据输出到差值计算器18和加法器24。代表对应所有控制点运动矢量的运动信息加到图3所示的装置。由于上述的空间变换在数字图象处理领域已广为人知,所以与之有关的详细描述将被省略。
差值计算器18计算从网格产生器12接收的当前图象与运动估计和补偿部件14输出的预测图象数据之间的差值。在当前图象和预测图象的各对应位置的各象素之间完成差值计算,并且该差值数据结果输出到差值数据编码器20。该差值数据编码器20对差值计算器18送来的差值数据中由目标提取器10的目标轮廓数据所确定的目标区域中的差值数据进行编码。如果由差值数据编码器20所编码的数据被规定为目标区域中的差值数据,则只有有关当前图象的目标的差值数据被编码。因此,差值数据编码器20能够对当前图象进行更有效的编码操作。该差值数据编码器20还对从目标提取器10接收的目标轮廓数据进行编码。为了对目标区域中的差值数据和目标轮廓数据进行编码,该差值数据编码器20使用的是熟为人知的包括离散余弦变换(DCT)等在内的正交变换编码方法。该编码后的目标轮廓数据、编码后的差值数据和运动信息经传送信道(未示出)被传送到后文中将要描述的图3中的解码装置,或者被记录在图3解码装置中使用的存储介质里。
差值数据解码器22接收来自差值数据编码器20的编码后差值数据并通过与差值数据编码器20的信号处理的相反过程恢复差值数据。加法器24将运动估计和补偿部件14输出的预测图象数据与差值数据解码器22的差值数据相加,并将相加结果输出到存储器16中。从加法器24输出的数据是已经完成运动估计和补偿的当前图象的数据,并且该数据被存储在存储器16中作为下一幅图象的运动估计和补偿用的参考图象数据。
如图3所示的活动图象解码装置接收编码后的差值数据、编码后的目标轮廓数据和由图1所示装置产生的运动信息。一目标轮廓恢复器30将编码后的目标轮廓数据解码。该目标轮廓数据输出到网格产生器34。接收该目标轮廓数据的该网格产生器34将整幅图象划分成各具有预定尺寸的栅格,并在由划分得到的栅格的各顶点中确定存在于由目标轮廓数据所确定的目标区域中的顶点作为控制点,以及确定具有控制点的栅格为矩形网格。在图1的网格生成器12被设计成产生代表矩形网格的网格数据的情况下,网格生成器34还产生代表矩形网格的网格数据。同时,在图1的网格生成器12被设计成产生有关三角形网格的网格数据的情况下,该网格生成器34产生关于三角形网格的网格数据。该网格生成器34将产生的网格数据加到运动补偿器38并且将目标轮廓数据加到加法器36。
同时,差值数据解码器32将图1装置产生的编码后的差值数据解码。该差值数据输出到加法器36。运动补偿器38接收网格生成器34输出的网格数据和由图1装置产生的运动信息。运动补偿器38利用包含在对应于当前图象的网格中的控制点、包含在运动信息中的对应于所有控制点的运动矢量以及存储在存储器40中的参考图象数据产生预测图象数据。为了产生预测图象数据,运动补偿器38利用对应于每一控制点的运动矢量找到最近似于该控制点的参考图象中的位置,然后利用空间变换(如图象弯曲)来产生当前图象的预测图象。该运动补偿器38输出产生的预测图象到加法器36。
该加法器36接收从运动补偿器38输出的预测图象数据和从差值数据解码器32输出的差值数据。该加法器36只将全部预测图象数据中由网格生成器34提供的目标轮廓数据所确定的目标区域中的预测图象数据与对应的差值数据相加。经过这样的运算有关当前图象中的目标的图象数据能被恢复。加法器36的输出数据存储在存储器40中用作下一幅图象运动补偿的参考图象数据。
图4所示为按照本发明另一优先实施例的活动图象编码装置。由于图4中与图1相同参考号的方块完成的是同样的功能,所以有关的详细描述被省略。图1装置使用当前图象得到的网格和存储在存储器16中的参考图象数据以产生预测图象数据。与之相反图4装置使用从存储器48中存储的参考图象数据得到的网格和外部输入的当前图象数据以产生预测图象数据。
外部的当前图象数据输入到目标提取器10以及运动估计和补偿部件44。该目标提取器10利用当前图象数据产生目标轮廓数据。该目标轮廓数据输出到差值数据编码器20。网格生成器42读取存储在存储器48中的参考图象数据并且将全部参考图象划分为规则的网格。对于这种划分,该网格生成器42将参考图象划分为规则矩形网格且再次将规则矩形网格划分为规则三角形网格。由于生成规则矩形网格和规则三角形网格的方法与图1中网格生成器12的信号处理相同,因此详细的描述被省略。
该网格生成器42的另一功能是从规则矩形网格或规则三角形网格产生不规则网格。产生不规则网格的过程如下:该网格生成器42从规则三角形网格的控制点中移去一个被选中的控制点,并且对移去该控制点的区域实现三角化。由三角化生成的三角形网格具有不规则的三角形状。这种移去控制点并进行三角化的过程重复进行直到剩余控制点的数量等于预定值。为了移去一个特定的控制点,需要提供当该控制点已经被从该控制点的支撑区(supportregion)去除时得到的图象图形(image descriptiveness)与当该控制点没有被去除时得到的图象图形之间的量化差值。这里,该支撑区是由对应控制点的各邻近控制点和连接这些邻近控制点的线所围绕的区域。在图象图形的各量化差值中对应最小差值的控制点对图象描述没有什么用处,因此被去除。不规则网格生成技术公开在题目名称为“基于去除自适应控制点的不规则三角形网格表示(Irregular Triangular Mesh Representation Based on Adaptive ControlPoint Removal)”的文章中,该文章发表在SPIE的1996年论文集的“可视通信和图象处理”(Visual Communications and Image Processing)中,作者KangW.Chun,Byung Woo Jean和Jae M.Jo。网格生成器42将有关最后生成的不规则三角形网格的信息(即代表剩余控制点和由该控制点围绕的不规则网格的不规则网格数据)输出到运动估计和补偿部件44。该网格生成器42还将从存储器48读取的参考图象数据输出到差值计算器46。
运动估计和补偿部件44接收外部输入的当前图象数据和网格生成器42产生的不规则网格数据并读取存储在存储器48中的参考图象数据。该运动估计和补偿部件44确定在具有最近似于不规则网格的控制点的图象数据在当前图象中的对应位置。在对应位置确定之后,该运动估计和补偿部件44产生控制点及相应位置之间的运动矢量并且利用当前图象使用空间变换产生预测图象。该预测图象数据加到差值计算器46和加法器24,并且代表运动矢量的运动信息经传送信道发送出去或被记录在存储介质中以供解码装置使用。
该差值计算器46产生来自网格生成器42的参考图象数据和来自运动估计和补偿部件44的预测图象数据之间的差值数据,并将该差值数据提供给差值数据编码器20。该差值数据编码器20对目标提取器10输出的目标轮廓数据和差值计算器46输出的差值数据进行编码。该差值数据编码器20以与图1中对应部分相同的方式处理输入数据。因此,从差值数据编码器20输出的编码后数据包括对目标区域中差值数据进行编码得到的数据和编码后的轮廓数据。编码后的数据经传送信道发送到接收端(图中未示)或记录在记录介质中(未示)。在编码后数据中的编码后差值数据被传送到差值数据解码器22。
该差值数据解码器22将在差值数据编码器中编码的差值数据解码,并将解码后的差值数据提供给加法器24。该加法器24将运动估计和补偿部件44提供的预测图象数据和差值数据解码器22的差值数据相加,其结果存储在存储器48中作为下一幅图象的运动估计和运动补偿的参考图象数据。
图5所示为对应图4装置的活动图象解码装置。由于图5中与图3中具有相同参考号的各方块完成的是相同的功能,所以其详细描述被忽略。该编码后的目标轮廓数据输入到目标轮廓恢复器30,同时运动信息输入到运动补偿器52。另外,编码后的差值数据输入到差值数据解码器32。该差值数据解码器32将编码后的差值数据解码并将解码后的差值数据输出到加法器56。该目标轮廓恢复器30将编码后的目标轮廓数据解码并将解码后的目标轮廓数据输出到网格生成器34。该网格生成器34读取存储在存储器54中的参考图象数据,并且将目标轮廓数据确定的参考图象中的目标区经与图4中网格生成器42同样的信号处理过程划分为不规则网格,网格生成器5 1输出的网格数据送到运动补偿器52。该运动补偿器52利用网格数据、运动信息和存储在存储器54中的参考图象数据产生预测图象数据。该加法器56将预测图象数据和差值数据解码器32输出的差值数据相加。其产生的当前图象存储在存储器54中以作为下一幅图象的运动补偿的参考图象数据。
如上所述,按照本发明的编码和解码系统根据包含于图象中随机目标的网格表示实现运动估计和运动补偿。其结果是:与对整幅图象进行运动估计和运动补偿相比能够实现更有效的编码。因此,可以设计出适于应用极低比特率的装置。
虽然这里仅仅描述了本发明的某些实施例,而很明显在不脱离本发明的要旨和范围的情况下可以对本发明做许多修改。
Claims (18)
1.用于对包含目标的当前图象进行编码的活动图象编码装置,该活动图象编码装置包括:
目标提取装置,用以从收到的当前图象数据中提取其中包含的目标并输出表示所提取目标的轮廓的目标轮廓数据;
预测编码装置,它利用所述当前图象数据、预先存储的参考图象数据以及划分其中一幅当前图象和参考图象的网格的控制点实现预测编码操作,并产生涉及该控制点的运动信息、所述当前图象与所述参考图象之间的差值数据和预测图象数据;
目标差值生成器装置,用以在所述预测编码装置提供的所述差值数据中选择目标区内的差值数据从而根据目标提取装置输出的所述目标轮廓数据对所选差值数据据进行编码,并输出所述所选差值数据和所述编码后差值数据;和
加法装置,用以接收所述预测编码装置输出的所述预测图象数据和所述目标差值生成器装置输出的所述所选差值数据,并将所述预测图象数据和所述被选差值数据相加以及利用相加得到的图象数据对预存储在所述预测编码装置中的参考图象数据进行更新。
2.如权利要求1所述的活动图象编码装置,其中所述预测编码装置利用空间变换进行预测编码操作以产生所述预测图象数据。
3.如权利要求1所述的活动图象编码装置,其中所述预测编码装置包括:
存储器,用以存储参考图象数据;
网格生成器,用以根据来自所述目标提取装置的所述目标轮廓数据确定规则网格并输出代表该确定的规则网格的网格数据,其中该规则网格是在将整幅图象划分为预定尺寸的网格中具有位于所述当前图象的目标区内的顶点为控制点的规则网格;
运动估计和补偿部件,用以根据对有关该控制点的参考图象的运动估计生成运动信息,并利用存储在所述存储器中的所述参考图象数据和所述网格生成器输出的所述网格数据生成其控制点的运动被补偿的预测图象数据;及
差值数据生成器,用以生成所述当前图象数据与所述预测图象数据之间的差值数据。
4.如权利要求3所述的活动图象编码装置,其中所述网格生成器包括;
块生成器,用以输出代表多个块的图象块数据,其中这些块是划分与收到的所述当前图象数据有关的当前图象得到的,且每一块具有预定尺寸;
块选择器,用以在所述块生成器输出的所述图象块数据中选择包含由所述目标轮廓数据确定的目标区域的图象数据的图象块数据;
目标图象生成器,用以通过将所选图象块数据的图象块合并生成目标图象;以及
网格生成器,用以在以一定尺寸划分整幅图象的大量栅格的顶点中确定由所述目标图象生成器构成的目标区域内所包含的顶点作为控制点,并且确定具有这些控制点的栅格作为矩形网格。
5.如权利要求4所述的活动图象编码装置,其中所述网格生成器输出代表规则三角形网格的网格数据,该规则三角形网格是由规则矩形网格得到的。
6.如权利要求5所述的活动图象编码装置,其中所述规则三角形网格是根据每个规则矩形网格的控制点之间的数据相似性通过沿着45°或-45°对角方向划分网格得到的。
7.如权利要求1所述的活动图象编码装置,其中所述预测编码装置包括:
存储器,用以存储参考图象数据;
网格生成器,用以利用存储在所述存储器中的所述参考图象数据,确定具有位于该参考图象中作为控制点的顶点的不规则网格,并输出代表已确定的不规则网格的网格数据;
运动估计和补偿部件,用以根据对应控制点的当前图象的运动估计生成运动信息,以及利用所述当前图象数据和所述网格生成器输出的所述网格数据生成其控制点运动被补偿的预测图象数据;以及
差值数据生成器,用以生成所述参考图象数据和所述预测图象数据之间的差值数据。
8.如权利要求7所述的活动图象编码装置,其中所述网格生成器生成代表不规则网格的网格数据,该不规则网格是根据自适应控制点的去除由不规则三角形网格表示产生的。
9.根据权利要求1所述的活动图象编码装置,其中所述目标差值生成器装置对被选差值数据完成正交变换编码。
10.如权利要求1所述的活动图象编码装置,其中所述目标差值生成器装置包括:
差值数据编码器,用以从所述预测编码装置输出的差值数据中选择属于所述目标轮廓数据所确定的目标区域的差值数据,并且对被选的该差值数据和该目标轮廓数据进行编码从而输出编码后的差值数据和编码后的目标轮廓数据;以及
差值数据解码器,用以将所述差值编码器输出的编码后差值数据进行解码并输出被选差值数据。
11.为活动图象编码装置输出用的活动图象解码装置,该活动图象解码装置包括:
目标轮廓恢复装置,用以将接收到的编码后的目标轮廓数据进行解码,并恢复表示当前图象中包含的目标轮廓的目标轮廓数据;
差值数据解码装置,用以将接收到的编码后的差值数据进行解码并输出差值数据;
运动补偿解码装置,用以利用目标轮廓数据、预先存储的参考图象数据和划分其中一个目标轮廓和参考图象的网格的控制点以及有关该控制点的运动信息进行运动补偿操作;
加法装置,用以将所述目标轮廓数据所选择的预测图象数据与差值数据相加,并利用相加结果得到的图象数据更新预先存储在运动补偿解码装置中的参考图象数据。
12.如权利要求11所述的活动图象解码装置,其中所述差值数据解码装置对编码后的差值数据完成正交变换解码。
13.如权利要求11所述的活动图象解码装置,其中所述运动补偿解码装置利用空间变换实现运动补偿以产生预测图象数据。
14.如权利要求11所述的活动图象解码装置,其中所述运动补偿解码装置包括:
存储器,用以存储参考图象数据;
网格生成器,用以在以预定尺寸划分整幅图象的网格中确定具有位于由所述目标轮廓恢复装置输出的目标轮廓数据所确定的目标区域作为控制点的顶点的网格,并将代表所确定网格的网格数据和目标轮廓数据输出;以及
运动补偿部件,它利用存储在存储器中的所述参考图象数据和所述网格数据生成其相对于控制点的参考图象的运动被补偿的预测图象数据。
15.如权利要求14所述的活动图象解码装置,其中所述网格生成器输出的网格数据包括属于该所确定网格的顶点的位置信息。
16.如权利要求14所述的活动图象解码装置,其中所述网格生成器输出与规则矩形网格有关的网格数据。
17.如权利要求11所述的活动图象解码装置,其中所述活动图象解码装置包括:
存储器,用以存储参考图象数据;
网格生成器,用以确定网格和输出代表所确定网格的网格数据,其中该网格用以在存储于所述存储器中的参考图象数据中划分属于由目标轮廓数据确定的目标区的参考图象;以及
运动估计和补偿部件用以生成预测图象数据,该预测图象数据相对于属于该网格的控制点的参考图象的运动利用收到的运动信息、存储在存储器中的所述参考图象数据和所述网格数据被补偿。
18.如权利要求17所述的活动图象解码装置,其中所述网格生成器根据相对于属于目标区的参考图象的自适应控制点去除生成由不规则三角形网格表示所产生的代表该不规则网格的网格数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019960018612A KR100215451B1 (ko) | 1996-05-29 | 1996-05-29 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
KR18612/1996 | 1996-05-29 | ||
KR18612/96 | 1996-05-29 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB991215907A Division CN1146242C (zh) | 1996-05-29 | 1997-05-29 | 用于活动图像解码的运动补偿方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1177259A true CN1177259A (zh) | 1998-03-25 |
CN1134988C CN1134988C (zh) | 2004-01-14 |
Family
ID=37402254
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB991215907A Expired - Fee Related CN1146242C (zh) | 1996-05-29 | 1997-05-29 | 用于活动图像解码的运动补偿方法及其装置 |
CNB971129061A Expired - Fee Related CN1134988C (zh) | 1996-05-29 | 1997-05-29 | 用于活动图像编码、解码的运动估计和补偿装置及其方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB991215907A Expired - Fee Related CN1146242C (zh) | 1996-05-29 | 1997-05-29 | 用于活动图像解码的运动补偿方法及其装置 |
Country Status (7)
Country | Link |
---|---|
US (3) | US6038258A (zh) |
EP (3) | EP1523196A3 (zh) |
JP (1) | JPH1056643A (zh) |
KR (1) | KR100215451B1 (zh) |
CN (2) | CN1146242C (zh) |
DE (1) | DE69736852T2 (zh) |
ES (1) | ES2277350T3 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100369490C (zh) * | 2003-12-22 | 2008-02-13 | 佳能株式会社 | 图像处理设备 |
CN101273641B (zh) * | 2005-09-26 | 2013-03-06 | 三菱电机株式会社 | 运动图像编码装置以及运动图像译码装置 |
CN104871213A (zh) * | 2012-11-13 | 2015-08-26 | 谷歌公司 | 对于对象的全方位视图的视频编码 |
CN106331722A (zh) * | 2015-07-03 | 2017-01-11 | 华为技术有限公司 | 图像预测方法和相关设备 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100215451B1 (ko) * | 1996-05-29 | 1999-08-16 | 윤종용 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
KR100620715B1 (ko) * | 1998-06-30 | 2007-04-25 | 주식회사 팬택앤큐리텔 | 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법 |
KR100535630B1 (ko) * | 1998-06-30 | 2006-06-23 | 주식회사 팬택앤큐리텔 | 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법 |
WO2000025232A1 (de) * | 1998-10-23 | 2000-05-04 | Siemens Aktiengesellschaft | Verfahren und anordnung zur codierung, decodierung und übertragung eines digitalisierten bildes |
US6351267B1 (en) * | 1998-12-10 | 2002-02-26 | Gizmoz Ltd | Fast transmission of graphic objects |
JP4126126B2 (ja) * | 1998-12-11 | 2008-07-30 | 株式会社日立製作所 | 送信システム、送信方法 |
JP3897476B2 (ja) * | 1999-02-15 | 2007-03-22 | キヤノン株式会社 | 画像処理装置及びその方法、コンピュータ可読メモリ |
KR100611999B1 (ko) | 1999-08-27 | 2006-08-11 | 삼성전자주식회사 | 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법 |
FR2802377B1 (fr) * | 1999-12-09 | 2002-03-08 | France Telecom | Procede d'estimation de mouvement entre deux images avec gestion des retournements de mailles et procede de codage correspondant |
US6909746B2 (en) | 2001-03-30 | 2005-06-21 | Koninklijke Philips Electronics N.V. | Fast robust data compression method and system |
WO2003021970A1 (en) * | 2001-09-04 | 2003-03-13 | Faroudja Cognition Systems, Inc. | Low bandwidth video compression |
CN1838775B (zh) * | 2001-11-30 | 2011-11-23 | 株式会社Ntt都科摩 | 移动图像编码设备及方法、移动图像解码设备及方法 |
FI114679B (fi) * | 2002-04-29 | 2004-11-30 | Nokia Corp | Satunnaisaloituspisteet videokoodauksessa |
US7383275B2 (en) * | 2002-05-10 | 2008-06-03 | International Business Machines Corporation | Methods to improve indexing of multidimensional databases |
US7143098B2 (en) * | 2002-05-10 | 2006-11-28 | International Business Machines Corporation | Systems, methods, and computer program products to reduce computer processing in grid cell size determination for indexing of multidimensional databases |
US7373353B2 (en) * | 2002-05-10 | 2008-05-13 | International Business Machines Corporation | Reducing index size for multi-level grid indexes |
US7095786B1 (en) | 2003-01-11 | 2006-08-22 | Neo Magic Corp. | Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low |
US20050198008A1 (en) * | 2004-03-02 | 2005-09-08 | Adler David W. | Index exploitation for spatial data |
US7389283B2 (en) * | 2004-12-07 | 2008-06-17 | International Business Machines Corporation | Method for determining an optimal grid index specification for multidimensional data |
US8144950B2 (en) * | 2005-12-19 | 2012-03-27 | Koninklijke Philips Electronics N.V. | Method for facilitating post-processing of images using deformable meshes |
KR20080107965A (ko) * | 2007-06-08 | 2008-12-11 | 삼성전자주식회사 | 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치 |
JP5230372B2 (ja) * | 2008-11-25 | 2013-07-10 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5558949B2 (ja) * | 2010-07-16 | 2014-07-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5661359B2 (ja) * | 2010-07-16 | 2015-01-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN111526361B (zh) * | 2016-02-06 | 2022-05-13 | 华为技术有限公司 | 图像编解码方法及装置 |
KR102660416B1 (ko) | 2024-02-02 | 2024-04-23 | 박흥순 | 대형 철재 구조물 제작을 위한 철판 연속 가공 방법 및 시스템 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3037383B2 (ja) * | 1990-09-03 | 2000-04-24 | キヤノン株式会社 | 画像処理システム及びその方法 |
JP3405788B2 (ja) * | 1993-03-04 | 2003-05-12 | 株式会社東芝 | 動画像符号化装置と動画像復号化装置 |
DE69416717T2 (de) * | 1993-05-21 | 1999-10-07 | Nippon Telegraph And Telephone Corp., Tokio/Tokyo | Bewegtbildkoder und -dekoder |
JPH08297692A (ja) * | 1994-09-16 | 1996-11-12 | Mitsubishi Electric Corp | 光近接補正装置及び方法並びにパタン形成方法 |
KR0159575B1 (ko) * | 1994-10-31 | 1999-01-15 | 배순훈 | 영역 분할 부호화 방식의 인접 영역간 불연속 처리 장치 |
KR100235343B1 (ko) * | 1994-12-29 | 1999-12-15 | 전주범 | 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치 |
EP0721287A1 (en) * | 1995-01-09 | 1996-07-10 | Daewoo Electronics Co., Ltd | Method and apparatus for encoding a video signal |
US5635929A (en) * | 1995-02-13 | 1997-06-03 | Hughes Aircraft Company | Low bit rate video encoder and decoder |
JP3086396B2 (ja) * | 1995-03-10 | 2000-09-11 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
KR0159370B1 (ko) * | 1995-03-20 | 1999-01-15 | 배순훈 | 물체의 경계를 고려한 영상 부호화방법 및 장치 |
US5819070A (en) * | 1995-04-27 | 1998-10-06 | Canon Kabushiki Kaisha | Method and apparatus for processing finite element meshing model |
US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
JP2701795B2 (ja) * | 1995-06-28 | 1998-01-21 | 日本電気株式会社 | プロセスシミュレーション方法 |
US5646867A (en) * | 1995-07-24 | 1997-07-08 | Motorola Inc. | Method and system for improved motion compensation |
JP2798120B2 (ja) * | 1995-08-04 | 1998-09-17 | 日本電気株式会社 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
US5691769A (en) * | 1995-09-07 | 1997-11-25 | Daewoo Electronics Co, Ltd. | Apparatus for encoding a contour of an object |
KR100208375B1 (ko) * | 1995-12-27 | 1999-07-15 | 윤종용 | 동화상 부호화 방법 및 장치 |
JP2798035B2 (ja) * | 1996-01-17 | 1998-09-17 | 日本電気株式会社 | 適応動きベクトル補間による動き補償フレーム間予測方法 |
US5736987A (en) * | 1996-03-19 | 1998-04-07 | Microsoft Corporation | Compression of graphic data normals |
DE69724899T2 (de) * | 1996-05-06 | 2004-07-08 | Koninklijke Philips Electronics N.V. | Verfahren und system zur kodierung und dekodierung von segmentierten videodaten |
KR100215451B1 (ko) * | 1996-05-29 | 1999-08-16 | 윤종용 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
US5936671A (en) * | 1996-07-02 | 1999-08-10 | Sharp Laboratories Of America, Inc. | Object-based video processing using forward-tracking 2-D mesh layers |
US5907626A (en) * | 1996-08-02 | 1999-05-25 | Eastman Kodak Company | Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh |
US6047088A (en) * | 1996-12-16 | 2000-04-04 | Sharp Laboratories Of America, Inc. | 2D mesh geometry and motion vector compression |
US6148026A (en) * | 1997-01-08 | 2000-11-14 | At&T Corp. | Mesh node coding to enable object based functionalities within a motion compensated transform video coder |
US5818463A (en) * | 1997-02-13 | 1998-10-06 | Rockwell Science Center, Inc. | Data compression for animated three dimensional objects |
-
1996
- 1996-05-29 KR KR1019960018612A patent/KR100215451B1/ko not_active IP Right Cessation
-
1997
- 1997-05-20 JP JP12993397A patent/JPH1056643A/ja active Pending
- 1997-05-27 ES ES97303590T patent/ES2277350T3/es not_active Expired - Lifetime
- 1997-05-27 EP EP20050000322 patent/EP1523196A3/en not_active Withdrawn
- 1997-05-27 EP EP19970303590 patent/EP0810792B1/en not_active Expired - Lifetime
- 1997-05-27 EP EP20060117952 patent/EP1715695A3/en not_active Withdrawn
- 1997-05-27 DE DE1997636852 patent/DE69736852T2/de not_active Expired - Lifetime
- 1997-05-29 CN CNB991215907A patent/CN1146242C/zh not_active Expired - Fee Related
- 1997-05-29 US US08/864,992 patent/US6038258A/en not_active Expired - Lifetime
- 1997-05-29 CN CNB971129061A patent/CN1134988C/zh not_active Expired - Fee Related
-
2000
- 2000-02-16 US US09/504,934 patent/US6236680B1/en not_active Expired - Lifetime
-
2001
- 2001-04-26 US US09/842,405 patent/US6744817B2/en not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100369490C (zh) * | 2003-12-22 | 2008-02-13 | 佳能株式会社 | 图像处理设备 |
CN101273641B (zh) * | 2005-09-26 | 2013-03-06 | 三菱电机株式会社 | 运动图像编码装置以及运动图像译码装置 |
CN104871213A (zh) * | 2012-11-13 | 2015-08-26 | 谷歌公司 | 对于对象的全方位视图的视频编码 |
CN104871213B (zh) * | 2012-11-13 | 2018-05-11 | 谷歌有限责任公司 | 对于对象的全方位视图的视频编码 |
CN106331722A (zh) * | 2015-07-03 | 2017-01-11 | 华为技术有限公司 | 图像预测方法和相关设备 |
CN106331722B (zh) * | 2015-07-03 | 2019-04-26 | 华为技术有限公司 | 图像预测方法和相关设备 |
US10560714B2 (en) | 2015-07-03 | 2020-02-11 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
US10771809B2 (en) | 2015-07-03 | 2020-09-08 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
US11240529B2 (en) | 2015-07-03 | 2022-02-01 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
US11831902B2 (en) | 2015-07-03 | 2023-11-28 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR100215451B1 (ko) | 1999-08-16 |
KR970078652A (ko) | 1997-12-12 |
EP1523196A2 (en) | 2005-04-13 |
ES2277350T3 (es) | 2007-07-01 |
DE69736852D1 (de) | 2006-12-07 |
EP0810792A3 (en) | 2000-12-13 |
EP1523196A3 (en) | 2006-01-18 |
US20010014119A1 (en) | 2001-08-16 |
CN1134988C (zh) | 2004-01-14 |
EP1715695A2 (en) | 2006-10-25 |
CN1254238A (zh) | 2000-05-24 |
EP0810792A2 (en) | 1997-12-03 |
EP1715695A3 (en) | 2008-10-22 |
EP0810792B1 (en) | 2006-10-25 |
US6236680B1 (en) | 2001-05-22 |
US6038258A (en) | 2000-03-14 |
CN1146242C (zh) | 2004-04-14 |
JPH1056643A (ja) | 1998-02-24 |
DE69736852T2 (de) | 2007-09-06 |
US6744817B2 (en) | 2004-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1134988C (zh) | 用于活动图像编码、解码的运动估计和补偿装置及其方法 | |
JP3277111B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
EP1762101B1 (en) | Methods and apparatus for image encoding/decoding, and extended image compression/expansion | |
EP0765087B1 (en) | Video coding device | |
KR100809354B1 (ko) | 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법 | |
JP3242409B2 (ja) | 対象物映像のグリッド移動方法及びこれを利用した装置、これを利用した圧縮/動き推定方法及びその装置 | |
CN107852500B (zh) | 运动矢量场编码方法和解码方法、编码和解码装置 | |
WO1999053438A2 (en) | Motion estimation system and method | |
KR100215450B1 (ko) | 불규칙메쉬들을 이용한 대상물 지향 화상표현방법및그장치 | |
JPH09233477A (ja) | 動きベクトル生成方法 | |
CN1739121A (zh) | 用于运动估计的视频帧相关 | |
JP2007527126A (ja) | 画像部分の圧縮方法および装置 | |
JP3432039B2 (ja) | 画像符号化方法及びその装置 | |
JP4228705B2 (ja) | 動きベクトル探索方法および装置 | |
Paul et al. | Efficient video coding considering a video as a 3D data cube | |
KR0153992B1 (ko) | 컬러 그래픽 병렬처리를 위한 아핀변환 장치 | |
WO2003015418A2 (en) | Method of preparing polynucleotide fragments for use in shuffling | |
EP1472886A1 (en) | Computation of compressed video information | |
Idris et al. | Detection of camera operations in compressed video sequences | |
JP4264606B2 (ja) | データ処理装置およびデータ処理方法 | |
KR0181053B1 (ko) | 3차원 컬러 그래픽 병렬처리를 위한 아핀 변환 장치 | |
KR0154937B1 (ko) | 3차원 컬러 그래픽 처리를 위한 아핀변환 장치 | |
KR0181058B1 (ko) | 3 차원 그래픽 병렬처리를 위한 아핀변환 장치 | |
JPH0965341A (ja) | 動画像符号化・復号方法および装置 | |
JPH06311503A (ja) | 動画符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20040114 Termination date: 20140529 |