CN101796844A - 用于估计和补偿图像的时空运动的方法和设备 - Google Patents

用于估计和补偿图像的时空运动的方法和设备 Download PDF

Info

Publication number
CN101796844A
CN101796844A CN200880105093A CN200880105093A CN101796844A CN 101796844 A CN101796844 A CN 101796844A CN 200880105093 A CN200880105093 A CN 200880105093A CN 200880105093 A CN200880105093 A CN 200880105093A CN 101796844 A CN101796844 A CN 101796844A
Authority
CN
China
Prior art keywords
zone
piece
estimation
pixel
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880105093A
Other languages
English (en)
Other versions
CN101796844B (zh
Inventor
金壹求
韩宇镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101796844A publication Critical patent/CN101796844A/zh
Application granted granted Critical
Publication of CN101796844B publication Critical patent/CN101796844B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种在图像解码中估计和补偿运动的方法。所述方法涉及：确定正被解码的当前帧的当前块的运动矢量所指示的参考帧的参考块；当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生当前块的时空估计块。

Description

用于估计和补偿图像的时空运动的方法和设备
技术领域
本发明涉及一种在图像编码和解码中估计和补偿运动的方法，更具体地讲，涉及一种在图像编码和解码中在当前块参考参考帧之外的区域时通过使用运动矢量估计和补偿运动的方法。
背景技术
视频编解码器(例如，H.263、运动图像专家组2(MPEG2)、MPEG 4、H.264/高级视频编码(AVC)等)使用帧之间的相关性，执行估计和补偿运动的方法，从而即使在图像中出现目标的运动时也能增强压缩效率。
估计和补偿运动的方法参考参考帧的参考块，以重构当前帧的块。然而，通过运动矢量确定的参考块的一部分可能在参考帧之外。传统的视频编解码器(例如，H.263、MPEG2、MPEG 4、H.264/AVC等)通过使用参考帧的边界像素扩展了参考帧的外部区域，从而估计在参考帧之外的参考块的所述一部分。
图1是当参考块在参考帧之外时估计和补偿运动的传统方法的示图。
当前帧110的当前块120通过运动矢量参考参考帧150的参考块160。参考帧150中包括的区域170被插入到当前块120的等效区域130。然而，当参考块160的部分180在参考帧150之外时，用参考帧150的边界像素190的像素值来填充参考位于参考帧150之外的部分180的当前块120的等效区域140。该传统技术被称为填充方法。
当帧的外部区域发生运动时，块的压缩效率被降低，所述块通过使用传统的简单的填充方法参考帧的外部。具体地讲，具有摇摄、倾斜、缩放、快速相机运动和快速对象运动的活动图像序列的压缩效率被明显降低。
传统的填充方法在执行补偿运动的方法之前扩展了帧的外部区域，从而在填充方法中仅使用有限的信息。因此，与运动有关并在帧外面的区域没有被准确地估计。
发明内容
技术方案
本发明提供了这样一种方法和设备，当通过当前块的运动矢量选择的参考块具有在参考帧之外的区域时，所述方法和设备通过使用参考帧和当前块的邻近块中包括的区域的信息来准确地估计和补偿运动。
本发明还提供了一种估计和补偿运动的方法和设备，其中，所述方法和设备使用邻近块和参考帧的相关性，从而可显著增强具有摇摄、倾斜、缩放、快速相机运动和快速对象运动的活动图像序列的压缩效率。
有益效果
传统技术使用依据与参考帧的边界像素相应的有限信息的填充方法，而根据本发明的在图像解码中估计和补偿运动的方法和设备使用参考帧和邻近块中包括的区域的信息。由此，所述方法和设备反映了与参考帧的相关性，从而具有高压缩效率。具体地讲，具有摇摄、倾斜、缩放、快速相机运动和快速对象运动的活动图像序列的压缩效率被显著提高。
在本发明的示例性实施例中，在计算时间方面，在图像解码中估计和补偿运动的方法的效果比在图像编码中估计和补偿运动的方法的效果高。
可将本发明应用于基于时域运动估计的视频编解码器，或所有能够使用视频编解码器的方法和设备，例如，移动电话、可携式摄像机、数码相机、便携式多媒体播放器(PMP)、下一代数字视频盘(DVD)、软件视频编码等。
附图说明
通过参照附图详细描述本发明的示例性实施例，本发明的以上和其他特征以及优点将变得更清楚，其中：
图1是当参考块在参考帧之外时估计和补偿运动的传统方法的示图；
图2是示出根据本发明示例性实施例的用于图像解码的运动估计和补偿设备的框图；
图3是示出根据本发明另一示例性实施例的用于图像编码的运动估计和补偿设备的框图；
图4是示出根据本发明示例性实施例的当参考块在参考帧之外时产生估计块的方法的示图；
图5是示出用于估计在参考帧之外的区域的搜索图案的类型的示例的示图；
图6A提供用于示出估计在参考帧之外的区域的各种方法中的一种方法的示图；
图6B提供用于示出估计在参考帧之外的区域的各种方法中的另一方法的示图；
图6C提供用于示出估计在参考帧之外的区域的各种方法中的另一方法的示图；
图7是根据本发明另一示例性实施例的在图像解码中估计和补偿运动的方法的流程图；
图8是根据本发明另一示例性实施例的在图像编码中估计和补偿运动的方法的流程图。
最佳实施方式
根据本发明的一方面，提供了一种在图像解码中估计和补偿运动的方法，所述方法包括以下操作：确定由正被解码的当前帧的当前块的运动矢量所指示的参考帧的参考块；当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生当前块的时空估计块。
当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，产生时空估计块的操作可包括以下操作：将参考块的第一块区域确定为时空估计块的第一块区域的估计区域；通过使用当前块的邻近块的像素值和第一块区域的估计区域的像素值中的至少一个来产生时空估计块的第二块区域的估计区域。
当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，产生时空估计块的操作可包括以下操作：当时空估计块被分配给当前块时，将当前块的邻近块的像素和第二块区域周围的像素确定为搜索图案区域，其中，所述邻近块来自在当前块之前重构的区域，第二块区域周围的像素是时空估计块的第一块区域的一部分；在当前块之前重构的区域中搜索由与搜索图案区域相比具有最小差的相似图案区域围绕的外部估计区域；将所述外部估计区域确定为时空估计块的第二块区域的估计区域。
搜索外部估计区域的操作可包括以下操作：在当前块之前重构的区域中搜索与搜索图案区域具有相同形式并且在搜索图案区域的像素值和相似图案区域的像素值之间具有最小SAD(绝对差之和)的相似图案区域。
确定时空估计块的第二块区域的估计区域的操作可包括以下操作：当时空估计块被分配给当前块时，选择当前块的邻近块的像素行和第二块区域周围的像素行中的至少一个，其中，第二块区域周围的像素行是时空估计块的第一块区域的一部分；将选择的像素行的像素确定为与第二块区域的像素有关的估计像素，所述第二块区域的像素被垂直地或对角地定位到选择的像素行。
确定时空估计块的第二块区域的估计区域的操作可包括以下操作：当时空估计块被分配给当前块时，将当前块的邻近块的像素值和第二块区域周围的像素值的平均值确定为第二块区域的估计像素值，其中，第二块区域周围的像素值是时空估计块的第一块区域的一部分。
根据本发明的另一方面，提供了一种在图像编码中估计和补偿运动的方法，所述方法包括以下操作：在参考帧中搜索与当前块相比具有最小差的参考块，计算运动矢量，从而执行运动估计；当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生当前块的估计块；通过使用估计块和运动矢量来对图像编码。
将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，产生估计块的操作可包括以下操作：将参考块的第一块区域确定为估计块的第一块区域的估计区域；通过使用当前块的邻近块的像素和第一块区域的估计区域的像素中的至少一个来产生估计块的第二块区域的估计区域。
产生估计块的第二块区域的估计区域的操作可包括以下操作：当估计块被分配给当前块时，将当前块的邻近块的像素和第二块区域周围的像素确定为搜索图案区域，其中，所述邻近块来自在当前块之前重构的区域，第二块区域周围的像素是估计块的第一块区域的一部分；在当前块之前重构的区域中搜索由与搜索图案区域相比具有最小差的相似图案区域围绕的外部估计区域；将所述外部估计区域确定为时空估计块的第二块区域的估计区域。
搜索外部估计区域的操作可包括以下操作：在当前块之前重构的区域中搜索与搜索图案区域具有相同形式并且在搜索图案区域的像素值和相似图案区域的像素值之间具有最小SAD的相似图案区域。
产生估计块的第二块区域的估计区域的操作可包括以下操作：当估计块被分配给当前块时，选择当前块的邻近块的像素行和第二块区域周围的像素行中的至少一个，其中，第二块区域周围的像素行是估计块的第一块区域的一部分；将选择的像素行的像素确定为与第二块区域的像素有关的估计像素，所述第二块区域的像素被垂直地或对角地定位到选择的像素行。
产生估计块的第二块区域的估计区域的操控可包括以下操作：当估计块被分配给当前块时，将当前块的邻近块的像素值和第二块区域周围的像素值的平均值确定为第二块区域的估计像素值，其中，第二块区域周围的像素值是估计块的第一块区域的一部分。
根据本发明的另一方面，提供了一种在图像解码中的运动估计和补偿设备，所述运动估计和补偿设备包括：参考块确定单元，确定用于正被解码的当前帧的当前块的参考帧的参考块；时空估计块产生单元，当参考块的一些像素在参考帧之外时，所述时空估计块产生单元通过使用当前帧和参考帧来产生当前块的时空估计块。
根据本发明的另一方面，提供了一种在图像编码中的运动估计和补偿设备，所述运动估计和补偿设备包括：运动估计执行单元，参考帧中搜索与当前块相比具有最小差的参考块，计算运动矢量，从而执行运动估计；估计块产生单元，当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生当前块的估计块；编码单元，通过使用估计块和运动矢量来对图像编码。
根据本发明的另一方面，提供了一种记录有用于执行在图像解码中估计和补偿运动的方法的程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种记录有用于执行在图像编码中估计和补偿运动的方法的程序的计算机可读记录介质。
具体实施方式
本申请要求于2007年8月28日在韩国知识产权局提交的第10-2007-0086549号韩国专利申请的优先权，该申请的公开通过引用完全包含于此。
以下，将参照附图更全面地描述根据本发明示例性实施例的在图像解码中估计和补偿运动的方法和设备以及对图像编码的方法和设备，其中，在所述附图中显示了本发明的示例性实施例。
图2是示出根据本发明实施例的用于图像解码的运动估计和补偿设备200的框图。
根据本发明的当前实施例的用于图像解码的运动估计和补偿设备200包括参考块确定单元210和时空估计块产生单元220。时空估计块产生单元220包括第一块区域确定单元230和第二块区域确定单元240。
参考块确定单元210确定用于正被解码的当前帧的当前块的参考帧的参考块。
当参考块的一些像素在参考帧之外时，时空估计块产生单元220通过使用当前帧和参考帧产生当前块的时空估计块。
为了便于描述，假设将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，块区域是参考块的一部分，将与参考帧之外的区域在相同位置的块区域定义为第二区域，其中，块区域是参考块的一部分。
第一块区域确定单元230将参考块的第一块区域确定为时空估计块的第一块区域的估计区域。
第二块区域确定单元240通过使用当前块的邻近块的像素值和第一块区域的估计区域的像素值中的至少一个来产生时空估计块的第二块区域的估计区域。
稍后将参照图4至图6C详细描述与第二块区域确定单元240有关的实施例。
本发明的一方面将通过参考块估计的块(具体地讲，当参考块在参考帧之外时由时空估计块产生单元220产生的时空估计块)确定为当前块，从而在图像解码期间重构图像。
图3是示出根据本发明另一实施例的运动估计和补偿设备300的框图。
根据本发明当前实施例的用于图像编码的运动估计和补偿设备300包括运动估计执行单元310、估计块产生单元320和编码单元330。
运动估计执行单元310在参考帧中搜索参考块，其中，参考块与当前块相比具有最小差，计算运动矢量，从而执行运动估计。
运动估计执行单元310可将这样的块确定为参考块，其中，所述块具有参考帧中的块的每个像素值和当前块的每个像素值之间的最小绝对差之和(SAD)。运动矢量可表示当前块和参考块之间的位置距离。
当参考块的一些像素在参考帧之外时，估计块产生单元320通过使用当前帧和参考帧来产生用于当前块的估计块。
没有示出用于估计块产生单元320的实施例。然而，与用于图像解码的运动估计和补偿设备200类似，估计块产生单元320包括分别用于估计块的第一块区域和第二块区域的第一块区域确定单元和第二块区域确定单元。估计块产生单元320的第一块区域确定单元和第二块区域确定单元分别具有与时空估计块产生单元220的第一块区域确定单元和第二块区域确定单元相同的操作原理。因此，稍后将参照图4和图6C描述估计块产生单元320的第一块区域确定单元和第二块区域确定单元的操作原理。
编码单元330通过使用估计块和运动矢量来对图像编码。
编码单元330可确定估计块为当前块，并通过使用当前块和参考块之间的差值来对图像编码。
图4是示出根据本发明实施例的当参考块在参考帧之外时产生估计块的方法的示图。
参照图4，现在将详细描述操作用于图像解码的运动估计和补偿设备200的时空估计块产生单元220和用于图像编码的运动估计和补偿设备300的估计块产生单元320的方法。具体地讲，现在将详细描述操作时空估计块产生单元220和估计块产生单元320的第一块区域确定单元和第二块区域确定单元的方法。
帧110、帧150和块160分别表示当前帧、参考帧和参考块。
参考块160的区域170表示参考帧150中包括的区域。参考块160的区域180表示参考帧150之外的区域。
块420表示时空估计块。由于通过本发明产生的时空估计块被确定为当前块，所以块420最终成为当前块120。
区域430表示时空估计块420的第一块区域。
区域440表示时空估计块420的第二块区域。
区域450表示当前块120周围的像素，其中，所述像素来自当前块120的邻近块。
当与当前块120有关的参考块160在参考帧150之内时，可通过本领域的普通技术人员中的任何一个已知的运动估计/补偿方法来确定与当前块120有关的估计块。以下，马上将详细描述参考块160在参考帧150之外的情况。
如上所述，假设将与参考帧150中包括的区域170在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块160的一部分，将与参考帧150之外的区域180在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块160的一部分。因此，区域430和区域440分别成为将被插入到当前块120中的时空估计块420的第一块区域和第二块区域。
第一块区域确定单元230可将参考块160的第一块区域170确定为时空估计块420的第一块区域430的估计区域。
第二块区域确定单元240可通过使用当前块120的邻近块的像素值和时空估计块420的第一块区域430的估计区域的像素值中的至少一个，来产生时空估计块420的第二块区域440的估计区域。
第二块区域确定单元240可没有改变地使用包括像素450的搜索图案的方法和使用像素450的一些值的方法，其中，当前块120周围的像素450来自邻近块和第一块区域430的像素，从而使用当前块120的邻近块和时空估计块420的第一块区域430的估计区域。稍后将参照图5描述使用搜索图案的方法，稍后将参照图6A至图6C描述使用像素450的方法。
用于图像编码的估计块产生单元320的第一块区域确定单元和第二块区域确定单元分别与用于图像解码的时空估计块产生单元220的第一块区域确定单元230和第二块区域确定单元240具有相同的操作原理。
图5是示出用于估计在参考帧之外的区域的搜索图案的类型的示例的示图。
现在参照图5详细描述操作用于图像解码的时空估计块产生单元220的第二块区域确定单元240的示例和用于图像解码的估计块产生单元320的第二块区域估计单元的示例的方法。
区域510表示用于确定第二块区域440的搜索图案区域。
区域520表示通过搜索图案区域510搜索到的相似图案区域。
区域530表示外部估计区域。
第二块区域确定单元240可将当前块120的邻近块的像素和第二块区域440周围的像素确定为搜索图案区域510，其中，所述邻近块来自在当前块120之前重构的区域，第二块区域440周围的像素是时空估计块(估计块)420的第一块区域430的一部分。
另外，第二块区域确定单元240可在当前块120之前重构的区域中搜索与搜索图案区域510相比具有最小差的相似图案区域520。相似图案区域520与搜索图案区域510具有相同形式，并将在当前块120之前重构的区域中具有最小SAD(其为搜索图案区域510的像素值和相似图案区域520的像素值之差的绝对值之和)的区域确定为相似图案区域520。
外部估计区域530与通过搜索图案区域510确定的相似图案区域520包围的区域相应。第二块区域确定单元240将外部估计区域530确定为第二块区域440的估计区域，从而完成时空估计块(估计块)420。
图6A至图6C是示出根据本发明另一实施例的估计在参考帧之外的区域的各种方法的示图。
现在将参照图6A至图6C详细描述操作用于图像解码的时空估计块产生单元220的第二块区域确定单元240的示例和用于图像编码的估计块产生单元320的第二块区域确定单元的示例的方法。具体地讲，所述方法与通过使用前面提到的像素450确定第二块区域440的方法有关。
图6A提供示出用于估计在参考帧之外的区域的各种方法中的一种方法的示图。
块610表示这样的时空估计块(估计块)420，在所述时空估计块(估计块)420中，第一块区域430的每个像素值被垂直插入到第二块区域440的边界行和每个像素。
块620表示这样的时空估计块(估计块)420，在所述时空估计块(估计块)420中，先前重构的邻近块的每个像素值被垂直插入到第二块区域440的边界行和每个像素。
块630表示这样的时空估计块(估计块)420，在所述时空估计块(估计块)420中，先前重构的邻近块的每个像素值被水平插入到第二块区域440的边界行和每个像素。
先前重构的邻近块(其为与当前块120的第二块区域440最近的块)的像素值被垂直和水平地从当前块120和先前重构的邻近块之间的边界行插入到第二块区域440的边界行和每个像素，从而产生估计块620和630。
作为与第二块区域440最近的块区域的第一块区域430的像素值被垂直地从第一块区域430和第二块区域440之间边界行插入到第二块区域440的每个像素，从而产生估计块610。
图6B提供用于示出估计在参考帧之外的区域的各种方法的另一方法的示图。
块640表示这样的时空估计块(估计块)420，在所述时空估计块(估计块)420中，先前重构的块的像素值被左对角地插入到第二块区域440的每个像素。
块650表示这样的时空估计块(估计块)420，在所述时空估计块(估计块)420中，先前重构的邻近块的像素值被右对角地插入到第二块区域440的每个像素。
块660表示这样的时空估计块(估计块)420，在所述时空估计块(估计块)420中，第一块区域430的每个像素值被右对角地插入到第二块区域440的每个像素。
块670表示这样的时空估计块(估计块)420，在所述时空估计块(估计块)420中，第一块区域430的每个像素值被左对角地插入到第二块区域440的每个像素。
先前重构的邻近块(其为与当前块120的第二块区域440最近的块)的像素值对角地从当前块120和先前重构的邻近块之间的边界行插入到第二块区域440的边界行和每个像素，从而产生估计块640和650。
作为与第二块区域440最近的块区域的第一块区域430的像素值被对角地从第一块区域430和第二块区域440之间边界行插入到第二块区域440的每个像素，从而产生估计块660和670。
图6C提供示出用于估计在参考帧之外的区域的各种方法的另一方法的示图。
块680表示这样的时空估计块(估计块)420，在所述时空估计块(估计块)420中，通过第二块区域440的估计像素值来确定区域510中包括的像素值的平均值。
估计块680从当前块120的邻近块确定先前重构的邻近块的像素值的平均值，并将与包括第一块区域430的像素的搜索图案区域510相同的区域确定为估计区域，其中，第一块区域430的像素是与第二块区域440最近的像素。
图7是根据本发明另一实施例的在图像解码中估计和补偿运动的方法的流程图。
在操作710，通过使用接收的帧和运动矢量来确定用于当前帧的当前块的参考帧的参考块。
在操作720，当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生用于当前块的时空估计块。
在当前实施例中，将时空估计块划分成与参考帧中包括的区域相应的第一块区域(其中，所述区域是参考块的一部分)和与在参考帧之外的区域相应的第二块区域(其中，所述区域是参考块的一部分)，从而产生与各个区域相应的时空估计块。即，使用参考块的像素值对时空估计块的第一块区域执行时域估计，使用当前块的邻近块的像素值对时空估计块的第二块区域执行空域估计。
图8是根据本发明另一实施例的在图像编码中估计和补偿运动的方法的流程图。
在操作810，在参考帧中搜索与当前块相比具有最小差的参考块，计算运动矢量，从而执行运动估计。
在操作820，当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生当前块的估计块。
在当前实施例中，将时空估计块划分成与参考帧中包括的区域相应的第一块区域(其中，所述区域是参考块的一部分)和与在参考帧之外的区域相应的第二块区域(其中，所述区域是参考块的一部分)，从而产生与各个区域相应的时空估计块。即，使用参考块的像素值对时空估计块的第一块区域执行时域估计，使用当前块的邻近块的像素值对时空估计块的第二块区域执行空域估计。
在操作830，通过使用估计块和运动矢量来对图像编码。以这样的方式，在图像编码期间执行运动补偿，然后重构将被编码的图像。因此，可使用更准确地反映关于运动的信息的图像。
当通过运动矢量为当前块选择的参考块具有在参考帧之外的区域时，根据本发明的在图像解码中估计和补偿图像中的运动的方法和设备使用参考帧和当前块的邻近块中包括的区域的信息。因此，与传统技术相比，所述方法和设备可准确地估计和补偿运动。
尽管传统技术使用依据与参考帧的边界像素相应的有限信息的填充方法，根据本发明的在图像解码中估计和补偿运动的方法和设备使用参考帧和邻近块中包括的区域的信息。由此，所述方法和设备反映了与参考帧的相关性，从而具有高压缩效率。具体地讲，具有摇摄、倾斜、缩放、快速相机运动和快速对象运动的活动图像序列的压缩效率被显著提高。
在本发明的示例性实施例中，在计算时间方面，在图像解码中估计和补偿运动的方法的效果和设备比在图像编码中估计和补偿运动的方法的效果更好。
可将本发明应用于基于时域运动估计的视频编解码器，或所有能够使用视频编解码器的方法和设备，例如，移动电话、可携式摄像机、数码相机、便携式多媒体播发器(PMP)、下一代数字视频盘(DVD)、软件视频编码等。
可将本发明的示例性实施例编写为计算机程序，并可在通过使用计算机可读记录介质和其他介质执行程序的通用数字计算机中被实现。另外，可通过各种方式在计算机可读记录介质中写入本发明的实施例中使用的数据结构。所述计算机可读记录介质的示例包括：磁性存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或DVD)。其他介质的示例是载波(例如，通过互联网的传输)。
尽管已参照本发明的示例性实施例具体显示和描述了本发明，但本领域的普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可在形式和细节方面进行各种改变。所述示例性实施例应该被认为仅仅是描述目的，而不是限制目的。因此，本发明的范围不是由本发明的详细描述限定，而是由权利要求限定，在所述范围内的所有不同将被解释为包括在本发明中。

Claims (20)

1.一种在图像解码中估计和补偿运动的方法，所述方法包括：
确定由正被解码的当前帧的当前块的运动矢量所指示的参考帧的参考块；
当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生当前块的时空估计块。
2.如权利要求1所述的方法，其中，当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，产生时空估计块的步骤包括：
将参考块的第一块区域确定为时空估计块的第一块区域的估计区域；
通过使用当前块的邻近块的像素值和第一块区域的估计区域的像素值中的至少一个来产生时空估计块的第二块区域的估计区域。
3.如权利要求1所述的方法，其中，当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，产生时空估计块的步骤包括：
当时空估计块被分配给当前块时，将当前块的邻近块的像素和第二块区域周围的像素确定为搜索图案区域，其中，所述邻近块来自在当前块之前重构的区域，第二块区域周围的像素是时空估计块的第一块区域的一部分；
在当前块之前重构的区域中搜索由与搜索图案区域相比具有最小差的相似图案区域围绕的外部估计区域；
将所述外部估计区域确定为时空估计块的第二块区域的估计区域。
4.如权利要求3所述的方法，其中，搜索外部估计区域的步骤包括：由在当前块之前重构的区域中搜索与搜索图案区域具有相同形式并且在搜索图案区域的像素值和相似图案区域的像素值之间具有最小SAD(绝对差之和)的相似图案区域。
5.如权利要求3所述的方法，其中，确定时空估计块的第二块区域的估计区域的步骤包括：
当时空估计块被分配给当前块时，选择当前块的邻近块的像素行和第二块区域周围的像素行中的至少一个，其中，第二块区域周围的像素行是时空估计块的第一块区域的一部分；
将选择的像素行的像素确定为与第二块区域的像素有关的估计像素，所述第二块区域的像素被垂直地或对角地定位到选择的像素行。
6.如权利要求3所述的方法，其中，确定时空估计块的第二块区域的估计区域的步骤包括：当时空估计块被分配给当前块时，将当前块的邻近块的像素值和第二块区域周围的像素值的平均值确定为第二块区域的估计像素值，其中，第二块区域周围的像素值是时空估计块的第一块区域的一部分。
7.一种在图像编码中估计和补偿运动的方法，所述方法包括：
在参考帧中搜索与当前块相比具有最小差的参考块，计算运动矢量，从而执行运动估计；
当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生当前块的估计块；
通过使用估计块和运动矢量来对图像编码。
8.如权利要求7所述的方法，其中，当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，产生估计块的步骤包括：
将参考块的第一块区域确定为估计块的第一块区域的估计区域；
通过使用当前块的邻近块的像素和第一块区域的估计区域的像素中的至少一个来产生估计块的第二块区域的估计区域。
9.如权利要求8所述的方法，其中，产生估计块的第二块区域的估计区域的步骤包括：
当估计块被分配给当前块时，将当前块的邻近块的像素和第二块区域周围的像素确定为搜索图案区域，其中，所述邻近块来自在当前块之前重构的区域，第二块区域周围的像素是估计块的第一块区域的一部分；
在当前块之前重构的区域中搜索由与搜索图案区域相比具有最小差的相似图案区域围绕的外部估计区域；
将所述外部估计区域确定为时空估计块的第二块区域的估计区域。
10.如权利要求9所述的方法，其中，搜索外部估计区域的步骤包括：在当前块之前重构的区域中搜索与搜索图案区域具有相同形式并且在搜索图案区域的像素值和相似图案区域的像素值之间具有最小SAD的相似图案区域。
11.如权利要求8所述的方法，其中，产生估计块的第二块区域的估计区域的步骤包括：
当时空估计块被分配给当前块时，选择当前块的邻近块的像素行和第二块区域周围的像素行中的至少一个，其中，第二块区域周围的像素行是估计块的第一块区域的一部分；
将选择的像素行的像素确定为与第二块区域的像素有关的估计像素，所述第二块区域的像素被垂直地或对角地定位到选择的像素行。
12.如权利要求8所述的方法，其中，产生估计块的第二块区域的估计区域的步骤包括：当估计块被分配给当前块时，将当前块的邻近块的像素值和第二块区域周围的像素值的平均值确定为第二块区域的估计像素值，其中，第二块区域周围的像素值是估计块的第一块区域的一部分。
13.一种在图像解码中的运动估计和补偿设备，所述运动估计和补偿设备包括：
参考块确定单元，确定用于正被解码的当前帧的当前块的参考帧的参考块；
时空估计块产生单元，当参考块的一些像素在参考帧之外时，所述时空估计块产生单元通过使用当前帧和参考帧来产生当前块的时空估计块。
14.如权利要求13所述的运动估计和补偿设备，其中，当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，时空估计块产生单元包括：
第一块区域确定单元，将参考块的第一块区域确定为时空估计块的第一块区域的估计区域；
第二块区域确定单元，当时空估计块被分配给当前块时，所述第二块区域确定单元将当前块的邻近块的像素和第二块区域周围的像素确定为搜索图案区域，其中，第二块区域周围的像素是时空估计块的第一块区域的一部分，并通过使用确定的搜索图案区域来确定与当前帧中的时空估计块的第二块区域相应的区域。
15.如权利要求13所述的运动估计和补偿设备，其中，当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，时空估计块产生单元包括：
第一块区域确定单元，将参考块的第一块区域确定为时空估计块的第一块区域的估计区域；
第二块区域确定单元，当时空估计块被分配给当前块时，所述第二块区域确定单元选择当前块的邻近块的像素行和第二块区域周围的像素行中的至少一个，其中，第二块区域周围的像素行是时空估计块的第一块区域的一部分，并通过使用选择的像素行来确定当前帧中的时空估计块的第二块区域的估计区域。
16.一种在图像编码中的运动估计和补偿设备，所述运动估计和补偿设备包括：
运动估计执行单元，在参考帧中搜索与当前块相比具有最小差的参考块，计算运动矢量，从而执行运动估计；
估计块产生单元，当参考块的一些像素在参考帧之外时，通过使用当前帧和参考帧来产生当前块的估计块；
编码单元，通过使用估计块和运动矢量来对图像编码。
17.如权利要求16所述的运动估计和补偿设备，其中，当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，估计块产生单元包括：
第一块区域确定单元，将参考块的第一块区域确定为估计块的第一块区域的估计区域；
第二块区域确定单元，当估计块被分配给当前块时，所述第二块区域确定单元将当前块的邻近块的像素和第二块区域周围的像素确定为搜索图案区域，其中，第二块区域周围的像素是时空估计块的第一块区域的一部分，并通过使用确定的搜索图案区域来确定与当前帧中的时空估计块的第二块区域相应的区域。
18.如权利要求16所述的运动估计和补偿设备，其中，当将与参考帧中包括的区域在相同位置的块区域定义为第一块区域，其中，所述块区域是参考块的一部分，并将与参考帧之外的区域在相同位置的块区域定义为第二块区域，其中，所述块区域是参考块的一部分时，估计块产生单元包括：
第一块区域确定单元，将参考块的第一块区域确定为时空估计块的第一块区域的估计区域；
第二块区域确定单元，当时空估计块被分配给当前块时，所述第二块区域确定单元选择当前块的邻近块的像素行和第二块区域周围的像素行中的至少一个，其中，第二块区域周围的像素行是时空估计块的第一块区域的一部分，并通过使用选择的像素行来确定当前帧中的时空估计块的第二块区域的估计区域。
19.一种记录有用于执行如权利要求1所述的方法的程序的计算机可读记录介质。
20.一种记录有用于执行如权利要求7所述的方法的程序的计算机可读记录介质。
CN2008801050937A 2007-08-28 2008-04-23 用于估计和补偿图像的时空运动的方法和设备 Expired - Fee Related CN101796844B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020070086549A KR101396365B1 (ko) 2007-08-28 2007-08-28 영상의 시공간적 움직임 추정/보상 방법 및 장치
KR10-2007-0086549 2007-08-28
PCT/KR2008/002274 WO2009028780A1 (en) 2007-08-28 2008-04-23 Method and apparatus for estimating and compensating spatiotemporal motion of image

Publications (2)

Publication Number Publication Date
CN101796844A true CN101796844A (zh) 2010-08-04
CN101796844B CN101796844B (zh) 2012-08-22

Family

ID=40387466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801050937A Expired - Fee Related CN101796844B (zh) 2007-08-28 2008-04-23 用于估计和补偿图像的时空运动的方法和设备

Country Status (5)

Country Link
US (2) US8229233B2 (zh)
EP (1) EP2186341A4 (zh)
KR (1) KR101396365B1 (zh)
CN (1) CN101796844B (zh)
WO (1) WO2009028780A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
JP2005517257A (ja) * 2002-02-06 2005-06-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ セグメント化装置及び方法
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US8462852B2 (en) 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US20110002387A1 (en) * 2009-07-03 2011-01-06 Yi-Jen Chiu Techniques for motion estimation
EP2497273A4 (en) * 2009-11-05 2016-07-27 Ericsson Telefon Ab L M PREDICTING PIXELS IN PICTURE CODING
US9781446B2 (en) 2009-12-10 2017-10-03 Thomson Licensing Dtv Method for coding and method for decoding a block of an image and corresponding coding and decoding devices
EP2656610A4 (en) 2010-12-21 2015-05-20 Intel Corp SYSTEM AND METHOD FOR EXTENDED DMVD PROCESSING
WO2013009104A2 (ko) 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
US9325581B2 (en) * 2013-04-02 2016-04-26 International Business Machines Corporation Context-aware management of applications at the edge of a network
US10341682B2 (en) * 2016-01-19 2019-07-02 Peking University Shenzhen Graduate School Methods and devices for panoramic video coding and decoding based on multi-mode boundary fill
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
KR100249223B1 (ko) * 1997-09-12 2000-03-15 구자홍 엠팩(mpeg)-4의움직임벡터코딩방법
EP0986262A3 (en) 1998-08-31 2004-04-07 Texas Instruments Incorporated Unrestricted motion compensation
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7440500B2 (en) * 2003-07-15 2008-10-21 Lsi Logic Corporation Supporting motion vectors outside picture boundaries in motion estimation process
US7822123B2 (en) 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
EP1585326A1 (en) 2004-03-30 2005-10-12 Matsushita Electric Industrial Co., Ltd. Motion vector estimation at image borders for frame rate conversion
KR100624304B1 (ko) 2004-06-04 2006-09-18 주식회사 대우일렉트로닉스 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법
US7623682B2 (en) 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
WO2006086039A1 (en) 2004-11-22 2006-08-17 Midé Technology Corporation Fluid-activated shaft seal
KR100716992B1 (ko) * 2005-02-04 2007-05-10 삼성전자주식회사 스테레오 영상 부호화 및 복호화 방법과 그 장치
FR2881898A1 (fr) 2005-02-10 2006-08-11 Thomson Licensing Sa Procede et dispositif de codage d'une image video en mode inter ou intra
KR20060123939A (ko) * 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치

Also Published As

Publication number Publication date
US20120263239A1 (en) 2012-10-18
EP2186341A1 (en) 2010-05-19
KR101396365B1 (ko) 2014-05-30
US8229233B2 (en) 2012-07-24
EP2186341A4 (en) 2012-04-11
KR20090021758A (ko) 2009-03-04
US20090060359A1 (en) 2009-03-05
WO2009028780A1 (en) 2009-03-05
CN101796844B (zh) 2012-08-22

Similar Documents

Publication Publication Date Title
CN101796844B (zh) 用于估计和补偿图像的时空运动的方法和设备
CN112887716B (zh) 一种编解码方法、装置及其设备
US8437401B2 (en) Refinement of motion vectors in hierarchical motion estimation
US9351014B2 (en) Moving image encoding and decoding system
US8634471B2 (en) Moving image encoding apparatus, control method thereof and computer-readable storage medium
US6377623B1 (en) High speed motion estimating method for real time moving image coding and apparatus therefor
US20080002772A1 (en) Motion vector estimation method
US20050123039A1 (en) Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method
US20240073437A1 (en) Encoding and decoding method and apparatus, and devices
KR100378339B1 (ko) 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체
GB2348559A (en) Motion vector estimation using multi-resolution techniques
JP4898415B2 (ja) 動画像符号化装置及び動画像符号化方法
CN112135145B (zh) 一种编解码方法、装置及其设备
JP3979768B2 (ja) デジタル映像分割方法及びその装置
US20050141615A1 (en) Motion vector estimating method and motion vector estimating apparatus using block matching process
JP3615963B2 (ja) リアルタイム動映像符号化のための高速動き推定方法及びその装置
JP5247210B2 (ja) 動画像符号化装置及び動画像符号化方法
KR100787954B1 (ko) 십자형 다이아몬드 탐색을 이용한 블록 정합 방식의 고속움직임 추정 방법 및 그 방법을 실행하기 위한 프로그램이기록된 기록매체
CN110365987B (zh) 一种运动矢量确定方法、装置及其设备
JP4590337B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2008154085A (ja) 動画像符号化装置及び動画像符号化方法
JP3957123B2 (ja) 形状情報符号化方法
JP2010103864A (ja) 動画像符号化装置及び動画像符号化方法
JP2007243287A (ja) 動きベクトル検出方法、動きベクトル検出装置及び動きベクトル検出用プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120822

Termination date: 20170423