CN101682752B - 使用残差块的修改对图像编码和解码的方法和设备 - Google Patents

使用残差块的修改对图像编码和解码的方法和设备 Download PDF

Info

Publication number
CN101682752B
CN101682752B CN2008800190278A CN200880019027A CN101682752B CN 101682752 B CN101682752 B CN 101682752B CN 2008800190278 A CN2008800190278 A CN 2008800190278A CN 200880019027 A CN200880019027 A CN 200880019027A CN 101682752 B CN101682752 B CN 101682752B
Authority
CN
China
Prior art keywords
dct
residual
block
residual block
gradient map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800190278A
Other languages
English (en)
Other versions
CN101682752A (zh
Inventor
李再出
韩宇镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101682752A publication Critical patent/CN101682752A/zh
Application granted granted Critical
Publication of CN101682752B publication Critical patent/CN101682752B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供一种对图像进行编码和解码的方法和设备。在编码方法中，使用当前块的预测块变换当前块的残差块，以增加残差值之间的空间相关性，对变换的残差块执行DCT，因此提高了具有很难精确预测的区域的块的变换效率。

Description

使用残差块的修改对图像编码和解码的方法和设备
技术领域
与本发明一致的设备和方法涉及对图像编码和解码，更具体地说，涉及对如下所述的包含区域(诸如边缘或纹理)的块进行编码和解码以保证高压缩效率，所述块很难精确预测因此降低了编码的压缩效率。
背景技术
在视频压缩方法(诸如运动图像专家组(MPEG)-1、MPEG-2和H.264/MPEG-4先进视频编码(AVC))中，将图像划分为多个宏块以对图像进行编码。然后，通过对每个宏块执行帧间预测或帧内预测来对每个宏块进行预测编码。具体地讲，使用帧间预测或帧内预测产生将被编码的当前块的预测块，仅对通过从当前块减去预测块而获得的残差块进行编码，并且发送编码的残差块。也就是说，不直接对当前块中包括的像素的值进行编码，而是对从当前块的各像素的值减去预测块的相应像素的值而获得的结果进行编码，从而提高编码的压缩效率，如将参照图1所详细描述的。
图1是现有技术的图像编码设备100的框图。所述图像编码设备100包括：预测单元102、帧存储器104、变换单元106、量化单元108、熵编码单元110、逆量化单元112、逆变换单元114和滤波器116。
预测单元102执行帧间预测或帧内预测，以产生将被编码的当前块的预测块。在帧间预测的情况下，从帧存储器104中存储的一个或多个参考图像中搜索与当前块相似的块。搜索的块作为当前块的预测块。在帧内预测的情况下，使用与当前块邻近的先前编码的块的像素来执行帧内定向预测，以产生当前块的预测块。
通过从当前块减去预测块来获得残差块，并且通过变换单元106将残差块正交变换到频域。变换单元106通过对残差块的每个像素的残差值执行离散余弦变换(DCT)产生DCT系数来将残差块正交变换到频域。
量化单元108通过使用预定量化系数Qp对从变换单元106接收的DCT系数进行量化。熵编码单元110对量化的DCT系数进行熵编码，并且将编码结果插入比特流。
另外，逆量化单元112对量化的DCT系数进行逆量化，逆变换单元114再将其恢复为残差块。将恢复的残差块添加到预测单元102产生的预测块。
滤波器116对合成块进行去块滤波，并将其存储到帧存储器104中，从而能够用于对随后的块执行帧间预测或帧内预测。
如上面参照图1所描述的，当前块的预测块必须与当前块尽可能相似，以使用现有技术的图像编码设备以高压缩效率对当前块进行预测编码。然而，如果当前块包含边缘区域或文本区域的像素，则很难对当前块进行精确地预测。
因此，需要开发一种即使对很难精确预测的图像块也能以高压缩效率进行编码和解码的方法和设备。
发明内容
技术解决方案
本发明提供一种通过变换残差块以使残差块的像素之间的空间相关性能够提高并对变换的块执行DCT来以高压缩效率对图像进行编码和解码的方法和设备。
本发明还提供一种记录有用于执行上述方法的程序的计算机可读介质。
有益效果
根据本发明，基于预测块创建用于增加包括在残差块中的残差值之间的空间相关性的信息，基于所述信息变换残差块，对变换的残差块部分地执行DCT，并且对执行DCT的结果进行编码，从而提高编码的压缩率。
另外，基于用于增加空间相关性的信息部分地执行熵编码。也就是说，仅对必要的DCT系数执行熵编码，因此提高编码的压缩率。
本发明可实现为计算机可读介质上的计算机可读代码。这里，所述计算机可读介质是能够存储其后由计算机系统读取的数据的任何记录设备，例如，只读存储器(ROM)、随机存取存储器(RAM)、压缩盘(CD)-ROM、磁带、软盘、光学数据存储装置等。所述计算机可读介质可分布于联网的计算机系统上，本发明可被存储并实现为分布式系统中计算机可读代码。
根据本发明的一方面，提供一种对图像编码的方法，所述方法包括：产生当前块的预测块，从当前块减去预测块以产生当前块的残差块；基于预测块产生用于增加残差块中包括的残差值之间的空间相关性的信息，并且基于所述信息对残差块进行变换；基于所述信息对变换的残差块的一部分执行DCT。
执行DCT的步骤可包括：对变换的残差块执行形状自适应DCT。
产生所述信息并对残差块进行变换的步骤可包括：产生残差块的梯度图；基于梯度图从残差块的残差值中选择将被执行DCT的残差值；将选择的残差值移位到残差块的左上方。
所述方法还可包括：根据梯度图仅对通过执行形状自适应DCT而获得的系数执行熵编码。
根据本发明的另一方面，提供一种对图像编码的设备，所述设备包括：预测单元，产生当前块的预测块；减法单元，通过从当前块减去预测块来产生当前块的残差块；预处理器，基于预测块产生用于增加残差块中包括的残差值之间的空间相关性的信息，并且基于所述信息对残差块进行变换；变换单元，基于所述信息对变换的残差块的一部分执行DCT。
变换单元可对变换的残差块执行形状自适应DCT。
所述设备还可包括：熵编码单元，根据梯度图仅对通过执行形状自适应DCT而获得的系数执行熵编码。
根据本发明的另一方面，提供一种对图像解码的方法，所述方法包括：产生当前块的预测块，并且基于预测块产生用于增加当前块的残差块中包括的残差值之间的空间相关性的信息；使用所述信息仅对残差块的DCT系数的一部分执行逆DCT；使用所述信息重新排列通过执行逆DCT而获得的残差块的残差值；将重新排列的残差块和预测块合并，以恢复当前块。
产生预测块和信息的步骤可包括：产生预测块的梯度图。
根据本发明的另一方面，提供一种用于对图像解码的设备，所述设备包括：预测单元，产生当前块的预测块；预处理器，基于预测块产生用于增加当前块的残差块中包括的残差值之间的空间相关性的信息；逆变换单元，使用所述信息仅对残差块的DCT系数的一部分执行逆DCT；加法单元，使用所述信息重新排列通过执行逆DCT而获得的残差块的残差值，并且将重新排列的残差块和预测块合并，以恢复当前块。
预处理器可产生预测块的梯度图。
根据本发明的另一方面，提供一种记录有用于执行上述对图像进行编码和解码的方法的程序的计算机可读介质。
尽管已经参照本发明的示例性实施例具体显示并描述了本发明，但是本领域的技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。
附图说明
通过下面参照附图对本发明的示例性实施例进行的详细描述，本发明的上述和其它特点将会变得更加明显，其中：
图1是现有技术的图像编码设备的框图；
图2是根据本发明的示例性实施例的图像编码设备的框图；
图3是根据本发明的示例性实施例的图2示出的预处理器的框图；
图4A示出根据本发明的示例性实施例的预测块；
图4B示出根据本发明的示例性实施例的梯度图；
图4C示出根据本发明的示例性实施例的移位的梯度图；
图5A示出根据本发明的示例性实施例的残差块；
图5B示出根据本发明的示例性实施例的选择的残差块；
图5C示出根据本发明的示例性实施例的移位的残差块；
图6示出根据本发明的示例性实施例的量化的DCT系数；
图7是示出根据本发明的示例性实施例的对图像进行编码的方法的流程图；
图8是根据本发明的示例性实施例的用于对图像进行解码的设备的框图；以及
图9是根据本发明的示例性实施例的用于对图像解码的方法的流程图。
具体实施方式
以下，将参照附图来描述说明本发明的示例性实施例。
图2是根据本发明的示例性实施例的对图像进行编码的设备200的框图。参照图2，编码设备200包括：预测单元202、帧存储器204、减法单元206、预处理器208、变换单元210、量化单元212、熵编码单元214、后处理器216、逆量化单元218、逆变换单元220、加法单元222和滤波器224。这里，预处理器208、变换单元210和熵编码单元214与根据本发明的图像编码设备相应。
预测单元202通过对当前块执行帧间预测或帧内预测来产生当前块的预测块。例如，通过使用存储在帧存储器204中的参考图像对当前块执行帧间预测，使用存储在帧存储器204中的与当前块邻近的先前编码区域的像素执行帧内预测。
减法单元206通过从当前块减去预测块来产生残差块。也就是说，从当前块减去通过执行帧间预测或帧内预测的预测单元202获得预测块。
预处理器208基于预测块产生用于增加减法单元206产生的残差块的残差值之间的空间相关性的信息，接着基于所述信息变换残差块。
也就是说，产生预测块的梯度图，选择区域中包括的与梯度值相似的残差值，接着使用选择的值对残差块执行编码，从而增加残差块的残差值之间的空间相关性。
图3是根据本发明的实施例的图2示出的预处理器208的框图。参照图3，预处理器208包括：梯度图产生器310、选择单元320和移位单元330。预处理器208产生预测块的梯度图作为用于增加残差块的残差值之间的空间相关性的信息，并且使用该梯度图变换残差块。
梯度图产生单元310产生预测块的梯度图和移位的梯度图。产生梯度图的方法不受限制，且对于本发明所属技术领域的普通技术人员将是明显的。可通过对预测块执行索贝尔操作来产生梯度图，如将参照图4A至图4C所详细描述的，其中，索贝尔操作是用于边缘检测的图像处理方法。
图4A至图4C分别示出根据本发明的示例性实施例的预测块、梯度图和移位的梯度图。
如果图4A中示出的4×4块是预测单元202产生的预测块，则4×4块的梯度图如图4B所示。参照图4B，以“0”表示的像素包括在没有梯度的平面区域中，以“1”表示的像素包括在具有梯度的区域中。换句话说，在图4B中，很可能是：区域中包括的以“0”表示的像素被包括在图像的平面区域中，区域中包括的以“1”表示的像素被包括在图像的边缘区域或纹理区域中。
因此，具有梯度值“0”的区域410中的像素可能比具有梯度值“1”的区域420中的像素更加精确地被预测。
产生图4B示出的梯度图的梯度图产生单元310通过将梯度图的区域中以“1”表示的像素移位来产生图4C示出的移位的梯度图。也就是说，通过将以“1”表示的像素移位到残差块的顶部接着移位到残差块的左侧来产生图4C的移位的梯度图。
参照图3，选择单元320根据图4B的梯度图从残差块的残差值中选择将被执行DCT的残差值。也就是说，在图4B的梯度图中，与很可能被错误预测的区域(即，具有梯度值“1”的区域420)相应的残差块的区域520的“1”残差值被选择作为将被执行DCT的残差值。
基于预测块，从残差块中选择“1”彼此具有高空间相关性的残差值(例如，与具有梯度值“1”的区域420相应的区域520中的残差值)作为将被执行DCT的残差值。
残差块的另一区域510中具有梯度值“0”的残差值与预测块的平面区域相应，因此所述另一区域510能被精确地预测。为此，对残差块的所述另一区域510不执行DCT。
如图5B所示，选择单元320选择的将被执行DCT的块不包括区域510中具有梯度值“0”的残差值。
移位单元330移位选择单元320选择的区域520的残差值。也就是说，将基于图4C所示的移位的梯度图选择的区域520的残差值移位到残差块左上方。将区域520的残差值移位的原因在于执行形状自适应DCT，稍后将对其进行描述。
参照图2，预处理器208对将被执行DCT的残差块进行变换。然后，基于用于增加残差块的残差值之间的空间相关性的信息，对预处理器208产生的变换的残差块执行DCT。
优选地，对通过将图5B所示的选择的残差值移位而获得的图5C的块执行形状自适应DCT。
如图5C所示，在列方向上，仅对移位的残差值中具有除了“0”之外的残差值的区域540执行一维(1D)DCT。然后，在行方向上，对通过执行1D DCT获得的DCT系数执行1D DCT。或者，可以按行方向和列方向的顺序执行1DDCT，而不是按列方向和行方向的顺序执行1D DCT。
量化单元212对变换单元210执行DCT而获得的DCT系数进行量化。如果变换单元210执行形状自适应DCT，则仅获得图5C所示的具有除了“0”之外的残差值的区域540的DCT系数。因此，仅对区域540的DCT系数执行量化。
图6示出根据本发明的示例性实施例的对通过执行形状自适应DCT而获得的DCT系数进行量化得到的结果。详细地，图6示出对图5C的移位的残差值执行形状自适应DCT以获得DCT系数并对DCT系数进行量化的结果。有除了“0”之外的值的量化的DCT系数仅包括在特定区域610中，与图4C的移位的梯度图的以值“1”表示的区域430以及通过对选择的残差值移位而获得的图5C的区域540相似。
另外，与以值“0”表示的图4C的区域440和以值“0”表示的图5C的区域550相应的区域620的量化的DCT系数都为“0”。
参照图2，熵编码单元214对量化单元212量化的DCT系数执行熵编码。
根据本发明的当前示例性实施例，熵编码单元214基于预处理器208产生的信息(例如，梯度图)执行熵编码。如参照图6所描述的，移位的梯度图的具有梯度值“0”的区域440与量化的DCT系数为“0”的区域620相同。因此不需要对DCT系数为“0”的区域620执行熵编码。
现有技术的编码设备的熵编码单元根据现有技术的上下文模型产生量化单元212量化的DCT系数的有效图，并且对有效图值“1”的绝对值和符号分别进行熵编码。
然而，根据本发明的当前示例性实施例，熵编码单元214不需要对DCT系数为“0”的区域620执行熵编码，原因是预处理器208已经确定了区域620。因此，可以增加编码的压缩率。
与预处理器208相似，后处理器216基于预测单元202产生的预测块产生用于增加预测块的预测值之间的相关性的信息。也就是说，产生预测块的梯度图和移位的梯度图。
逆量化单元218对量化单元212量化的DCT系数进行逆量化。
逆变换单元220对逆量化的DCT系数执行逆DCT。使用后处理器216产生的信息(即，移位的梯度图)仅对DCT系数中包括在特定区域610中的系数部分地执行逆DCT。
例如，可对特定区域610中包括的DCT系数执行形状自适应逆DCT。
加法单元220基于信息(例如，梯度图)重新排列通过执行逆DCT而获得残差值。也就是说，将根据移位的梯度图移位的残差值被重新移位，以根据梯度图重新排列。
将重新排列的残差值添加到预测单元202产生的预测块，从而恢复当前块。滤波器224对恢复的块进行去块滤波，接着恢复的块被存储在帧存储器204中，从而可用于随后的图像或随后的块的预测。
图7是示出根据本发明的示例性实施例的对图像进行编码的方法的流程图。参照图7，在操作710，根据本发明的示例性实施例的图像编码设备产生当前块的预测块和残差块。通过对当前块执行帧间预测或帧内预测来产生预测块，从当前块减去预测块来产生残差块。
在操作720，图像编码设备基于操作710产生的预测块产生用于增加残差块的残差值之间的相关性的信息。所述信息可以是预测块的梯度图和移位的梯度图。
然后，基于该信息变换残差块。也就是说，在梯度图中，具有相同梯度值的区域的残差值彼此紧密相关，通过仅对这些残差值移位对残差块进行变换。
在操作730，图像编码设备对使用在操作720产生的信息变换的残差块部分地执行DCT。可仅对彼此紧密相关的残差值执行形状自适应DCT。
在操作740，图像编码设备对通过在操作730执行DCT而获得的DCT系数执行熵编码。也就是说，基于操作720产生的移位梯度图，仅对包括在特定区域610中的DCT系数执行熵编码。
根据本发明的示例性实施例的上述图像编码方法用作图像编码的多个模式之一。也就是说，图像编码方法是根据计算率失真(R-D)代价的结果选择性地执行的多个编码模式之一。如果当如现有技术的方法中提出的仅执行DCT、量化和熵编码时的R-D代价低于根据本发明的示例性实施例还对残差块执行变换的预处理时的R-D代价，则根据现有技术的方法对当前块进行编码。
图8是根据本发明的示例性实施例的图像解码设备800的框图。参照图8，解码设备800包括：预测单元802、帧存储器804、预处理器806、熵解码单元808、逆量化单元810、逆变换单元812、加法单元814和滤波器816。这里，预处理器806、熵解码单元808和逆变换单元812与根据本发明的示例性实施例的图像解码设备相应。
预测单元802通过执行帧间预测或帧内预测产生将被解码的当前块的预测块。在这种情况下，使用存储在帧存储器804中的参考图像或者与当前块邻近的先前编码的块中包括的像素执行帧间预测或帧内预测。
预处理器806基于预测块产生用于增加残差块的残差值之间的空间相关性的信息。所述信息可以是预测块的梯度图和移位的梯度图。在梯度图中，具有相似梯度值的区域中包括的残差值空间上彼此紧密相关。
熵解码单元808使用预处理器806产生的信息(即，梯度图和移位的梯度图)执行熵解码以产生当前块的DCT系数。
在根据本发明的示例性实施例的图像编码方法中，预测块的移位的梯度图(诸如，图4C所示的移位的梯度图)用于执行熵编码。因此，预测单元802产生的预测块的移位的梯度图还用于执行用于图像解码的熵解码。对图6的区域602不执行熵解码，其中，对图6的区域602没有执行根据移位的梯度图的熵编码。
逆量化单元810对作为执行熵解码的熵解码单元808的结果获得的DCT系数进行逆量化。
逆变换单元812对逆量化的DCT系数执行逆DCT。可以执行形状自适应逆DCT。
基于预处理器806产生的移位的梯度图仅对图6的特定区域610中包括的DCT系数部分地执行逆DCT。
以列方向执行1D逆DCT。然后，在行方向对通过执行1D逆DCT获得的DCT系数执行1D逆DCT。或者可以按先行方向再按列方向的顺序执行1D逆DCT。
加法单元814将逆变换单元812执行逆DCT获得的残差值进行重新排列。如图5C所示移位获得的残差值。因此，为了恢复已经如图5B所示移位的原始残差块，根据预处理器806产生的梯度图重新排列残差值。
将重新排列的残差值与预测单元802产生的预测块合并以恢复当前块。滤波器816对恢复的块进行去块滤波，并将其存储在帧存储器804中，以用于随后的图像或随后的块的预测。
图9是根据本发明的示例性实施例的对图像进行解码的方法900的流程图。参照图9，在操作910，根据本发明的示例性实施例的图像解码设备产生当前块的预测块，并且基于预测块产生用于增加当前块的残差块中包括的残差值之间的空间相关性的信息。所述信息可包括预测块的梯度图和移位的梯度图。
在操作920，图像解码设备基于操作910中产生的信息对残差块的DCT系数部分地执行逆DCT。也就是说，根据操作910产生的移位的梯度图对部分DCT系数执行形状自适应逆DCT。
在操作930，图像解码设备基于操作910产生的信息对在操作920执行逆DCT获得的残差值进行重新排列。也就是说，将残差值移位以根据操作910产生的梯度图进行重新排列。
在操作940，图像解码设备将重新排列的残差块和预测块合并以恢复当前块。

Claims (14)

1.一种对图像编码的方法，包括：
产生当前块的预测块，从当前块减去预测块以产生当前块的残差块；
基于预测块产生用于增加残差块中包括的残差值之间的空间相关性的信息，并且基于所述信息对残差块进行变换；
基于所述信息对变换的残差块的一部分执行离散余弦变换DCT，
其中，产生所述信息并对残差块进行变换的步骤包括：
产生预测块的梯度图和移位的梯度图；
基于梯度图从残差块的残差值中选择将被执行DCT的残差值；
将选择的残差值移位到残差块的左上方。
2.如权利要求1所述的方法，其中，执行DCT的步骤包括：对变换的残差块执行形状自适应DCT。
3.如权利要求1所述的方法，其中，执行DCT的步骤包括：对移位的残差值执行形状自适应DCT。
4.如权利要求3所述的方法，还包括：根据移位的梯度图仅对通过执行形状自适应DCT而获得的系数执行熵编码。
5.如权利要求4所述的方法，其中，执行熵编码的步骤包括：仅产生通过执行形状自适应DCT而获得的系数的有效图。
6.一种对图像编码的设备，所述设备包括：
预测单元，产生当前块的预测块；
减法单元，通过从当前块减去预测块来产生当前块的残差块；
预处理器，基于预测块产生用于增加残差块中包括的残差值之间的空间相关性的信息，并且基于所述信息对残差块进行变换；
变换单元，基于所述信息对变换的残差块的一部分执行离散余弦变换DCT，
其中，所述预处理器包括：
梯度图产生单元，产生预测块的梯度图和移位的梯度图；
选择单元，基于梯度图从残差块的残差值中选择将被执行DCT的残差值；
移位单元，将选择的残差值移位到残差块的左上方。
7.如权利要求6所述的设备，其中，变换单元对变换的残差块执行形状自适应DCT。
8.如权利要求6所述的设备，其中，变换单元对移位的残差值执行形状自适应DCT。
9.如权利要求6所述的设备，还包括：熵编码单元，根据移位的梯度图仅对通过执行形状自适应DCT而获得的系数执行熵编码。
10.权利要求9所述的设备，其中，熵编码单元仅产生通过执行形状自适应DCT而获得的系数的有效图。
11.一种对图像解码的方法，所述方法包括：
产生当前块的预测块，并且基于预测块产生用于增加当前块的残差块中包括的残差值之间的空间相关性的信息，其中，产生的信息是预测块的梯度图和移位的梯度图；
基于所述信息仅对残差块的离散余弦变换DCT系数的一部分执行逆DCT；
通过根据梯度图移位包括在残差块中的残差值来重新排列通过执行逆DCT而获得的残差块的残差值；
将重新排列的残差块和预测块合并，以恢复当前块。
12.如权利要求11所述的方法，其中，执行逆DCT的步骤包括：基于梯度图，仅对残差块的DCT系数的一部分执行形状自适应逆DCT。
13.一种用于对图像解码的设备，所述设备包括：
预测单元，产生当前块的预测块；
预处理器，基于预测块产生用于增加当前块的残差块中包括的残差值之间的空间相关性的信息，其中，产生的信息是预测块的梯度图和移位的梯度图；
逆变换单元，基于所述信息仅对残差块的离散余弦变换DCT系数的一部分执行逆DCT；
加法单元，通过根据梯度图移位包括在残差块中的残差值来重新排列通过执行逆DCT而获得的残差块的残差值，并且将重新排列的残差块和预测块合并，以恢复当前块。
14.如权利要求13所述的设备，其中，逆变换单元基于梯度图对残差块的DCT系数执行形状自适应DCT。
CN2008800190278A 2007-04-06 2008-02-18 使用残差块的修改对图像编码和解码的方法和设备 Expired - Fee Related CN101682752B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020070034418A KR101370286B1 (ko) 2007-04-06 2007-04-06 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치
KR10-2007-0034418 2007-04-06
KR1020070034418 2007-04-06
PCT/KR2008/000926 WO2008123657A1 (en) 2007-04-06 2008-02-18 Method and apparatus for encoding and decoding image using modification of residual block

Publications (2)

Publication Number Publication Date
CN101682752A CN101682752A (zh) 2010-03-24
CN101682752B true CN101682752B (zh) 2012-11-07

Family

ID=39826958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800190278A Expired - Fee Related CN101682752B (zh) 2007-04-06 2008-02-18 使用残差块的修改对图像编码和解码的方法和设备

Country Status (5)

Country Link
US (1) US8194989B2 (zh)
EP (1) EP2153655B1 (zh)
KR (1) KR101370286B1 (zh)
CN (1) CN101682752B (zh)
WO (1) WO2008123657A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2271102A1 (en) * 2009-06-29 2011-01-05 Thomson Licensing Adaptive residual image coding
WO2011010959A1 (en) * 2009-07-23 2011-01-27 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for encoding and decoding of images
JP5700970B2 (ja) * 2009-07-30 2015-04-15 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法
KR101675116B1 (ko) 2009-08-06 2016-11-10 삼성전자 주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8705623B2 (en) * 2009-10-02 2014-04-22 Texas Instruments Incorporated Line-based compression for digital image data
CN101895757A (zh) * 2010-07-15 2010-11-24 北京大学 预测残差块的重排序、逆重排序方法及系统
KR101530284B1 (ko) 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR20120009618A (ko) * 2010-07-19 2012-02-02 에스케이 텔레콤주식회사 주파수변환단위 분할부호화 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
FR2993740B1 (fr) * 2012-07-20 2015-10-02 Univ Nice Sophia Antipolis Procede et systeme d'encodage et de decodage video comportant une etape d'elimination de la redondance de pixellisation lors de l'encodage et une etape de repixellisation lors du decodage
US10015506B2 (en) 2013-05-20 2018-07-03 Cinova Media Frequency reduction and restoration system and method in video and image compression
US10462477B2 (en) 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
GB2554065B (en) * 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
CN111713110B (zh) * 2017-12-08 2024-08-23 松下电器（美国）知识产权公司 图像编码设备、图像解码设备、图像编码方法以及图像解码方法
WO2020009460A1 (ko) * 2018-07-04 2020-01-09 에스케이텔레콤 주식회사 잔차신호 재배열 방법 및 영상 복호화 장치
CN109191411B (zh) * 2018-08-16 2021-05-18 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2320989A (en) * 1996-12-30 1998-07-08 Daewoo Electronics Co Ltd Padding image blocks using substitute pixels for shape adaptive discrete cosine transform

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW224553B (en) 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
JPH09121358A (ja) 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
EP0779744A3 (en) 1995-12-06 1997-08-20 Thomson Multimedia Sa Method and device for coding digital video signals
AU721588B2 (en) * 1996-01-29 2000-07-06 Matsushita Electric Industrial Co., Ltd. Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
EP0817499A3 (en) 1996-06-28 2002-05-22 Matsushita Electric Industrial Co., Ltd. Image coding method using extrapolated pixels in insignificant areas of blocks
EP0831658A3 (en) * 1996-09-24 1999-09-15 Hyundai Electronics Industries Co., Ltd. Encoder/decoder for coding/decoding gray scale shape data and method thereof
TW366648B (en) * 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
US6687405B1 (en) 1996-11-13 2004-02-03 Koninklijke Philips Electronics N.V. Image segmentation
GB9623573D0 (en) * 1996-11-13 1997-01-08 Philips Electronics Nv Image segmentation
CN1216199A (zh) * 1997-01-30 1999-05-05 松下电器产业株式会社 数字图象填补方法、图象处理装置及数据记录媒体
JPH11341496A (ja) * 1998-05-28 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体
US6600786B1 (en) 1999-04-17 2003-07-29 Pulsent Corporation Method and apparatus for efficient video processing
US7216140B1 (en) * 2000-09-30 2007-05-08 Intel Corporation Efficient implementation of n-point DCT, n-point IDCT, SA-DCT and SA-IDCT algorithms
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100664932B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
EP1761069A1 (en) 2005-09-01 2007-03-07 Thomson Licensing Method and apparatus for encoding video data using block skip mode
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2320989A (en) * 1996-12-30 1998-07-08 Daewoo Electronics Co Ltd Padding image blocks using substitute pixels for shape adaptive discrete cosine transform

Also Published As

Publication number Publication date
KR20080090936A (ko) 2008-10-09
US8194989B2 (en) 2012-06-05
EP2153655A1 (en) 2010-02-17
US20080247658A1 (en) 2008-10-09
EP2153655A4 (en) 2011-03-09
EP2153655B1 (en) 2015-01-28
WO2008123657A1 (en) 2008-10-16
KR101370286B1 (ko) 2014-03-06
CN101682752A (zh) 2010-03-24

Similar Documents

Publication Publication Date Title
CN101682752B (zh) 使用残差块的修改对图像编码和解码的方法和设备
CN103430545B (zh) 用于高效视频编码的内容适应性运动补偿滤波
CN103370939B (zh) 用于对图像进行编码/解码的方法和装置
US10034024B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
CN101960855B (zh) 通过使用连续运动估计对图像进行编码和解码的方法和设备
CN103220528B (zh) 通过使用大型变换单元编码和解码图像的方法和设备
CN102598670B (zh) 参考多个帧对图像进行编码/解码的方法和设备
KR101818997B1 (ko) 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
US20120269268A1 (en) Motion vector encoding/decoding method and device and image encoding/decoding method and device using same
US8285064B2 (en) Method for processing images and the corresponding electronic device
CN102640492A (zh) 对图像边界的编码单元进行编码和解码的方法和设备
KR20090095014A (ko) 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
CN104094600A (zh) 用于包括量化参数预测的基于分层数据单元的视频编码和解码的方法和设备
CN101009839A (zh) 基于正交变换和向量量化的视频编码/解码的方法和设备
CN103621096A (zh) 用于使用自适应滤波对图像进行编码和解码的方法和设备
CN1523893A (zh) 视频编码和解码方法、设备及程序
CN105723709A (zh) 用于编码和解码图像的方法、用于编码和解码图像的装置及对应计算机程序
JP4939273B2 (ja) 画像符号化装置及び画像符号化方法
CN105828085A (zh) 视频解码方法
CN101554058A (zh) 基于帧内预测进行编码和解码的方法和装置
JP2014007469A (ja) 画像符号化装置及び画像符号化方法
KR20100044333A (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
CN113132734B (zh) 一种编码、解码方法、装置及其设备
CN102907099A (zh) 适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性运动检索区域的决定方法
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121107

Termination date: 20210218