CN102934445B - 基于分段对图像编码和解码的方法和设备 - Google Patents

基于分段对图像编码和解码的方法和设备 Download PDF

Info

Publication number
CN102934445B
CN102934445B CN201180027601.6A CN201180027601A CN102934445B CN 102934445 B CN102934445 B CN 102934445B CN 201180027601 A CN201180027601 A CN 201180027601A CN 102934445 B CN102934445 B CN 102934445B
Authority
CN
China
Prior art keywords
block
color component
pixel
segmentation
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180027601.6A
Other languages
English (en)
Other versions
CN102934445A (zh
Inventor
范迪姆·谢廖金
陈建乐
韩宇镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102934445A publication Critical patent/CN102934445A/zh
Application granted granted Critical
Publication of CN102934445B publication Critical patent/CN102934445B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

可通过基于第一颜色分量块的像素值设置第二颜色分量块的多个分段来对图像执行编码和解码。可通过使用不同的相关像素来预测多个分段，并可基于预测的多个分段对第二颜色分量块进行编码和解码。

Description

基于分段对图像编码和解码的方法和设备
技术领域
示例性实施例的一个或多个方面涉及对图像进行预测编码和解码的方法和设备，更具体地，涉及对作为多个颜色分量的图像进行预测编码和解码方法和设备。
背景技术
在图像压缩方法(诸如，运动图像专家组(MPEG)-1、MPEG-2、MPEG-4或H.264/MPEG-4先进视频编码(AVC))中，图像被划分为用于对图像编码的具有预定尺寸的块，然后通过使用帧间预测或帧内预测对每个块进行预测编码。
通过减去作为帧间预测或帧内预测结果而产生的预测块来产生残差块，通过对产生的残差块执行离散余弦变换(DCT)并对产生的残差块执行量化和熵编码来产生比特流。
另外，在现有图像编码方法中，通过使用多个颜色分量来对图像编码。单个像素被实现为亮度分量和色度分量，亮度分量和色度分量被编码。色度分量可包括蓝色色度分量(Cb)和红色色度分量(Cr)。
发明内容
技术方案
示例性实施例的一个或多个方面提供用于对作为多个颜色分量的图像进行预测编码和解码的方法和设备，以及存储执行所述方法的计算机可读程序的计算机可读记录介质。
有益效果
根据一个或多个示例性实施例，可通过基于颜色分量之间的相似度预测当前块来执行精确的预测，从而增加在对图像编码时的压缩率。
附图说明
通过参照附图详细描述示例性实施例，以上和其它特征和优点将变得更清楚，其中：
图1是根据示例性实施例的用于对图像编码的设备的框图；
图2是根据示例性实施例的用于对图像解码的设备的框图；
图3示出描述根据示例性实施例的分层编码单元；
图4是根据本发明示例性实施例的图像编码器的框图；
图5是根据示例性实施例的图像解码器的框图；
图6示出根据示例性实施例的分层编码单元结构；
图7示出根据示例性实施例的编码单元和变换单元；
图8A到图8D示出根据示例性实施例的编码单元、预测单元和变换单元；
图9是根据示例性实施例的对图像编码的设备的框图；
图10A和图10B分别是根据示例性实施例的第一颜色分量块的像素值和基于第一颜色分量块的像素值的第二颜色分量块的分段的示图；
图11是根据示例性实施例的通过使用具有比当前块更大的尺寸的块进行分段的示图；
图12是用于解释根据示例性实施例的产生具有比当前块更大的尺寸的第一颜色分量块的方法的示图；
图13是根据示例性实施例的具有比第一颜色分量块更小的尺寸的第二颜色分量块的分段的示图；
图14A和图14B是用于解释根据示例性实施例的预测第二颜色分量块的方法的示图；
图15是根据示例性实施例的对图像解码的设备的框图；
图16是根据示例性实施例的对图像编码的方法的流程图；
图17是根据示例性实施例的对图像解码的方法的流程图。
最佳模式
根据示例性实施例，一种对图像编码的方法可包括：基于当前块的第一颜色分量块的像素值将当前块的第二颜色分量块分为多个分段；基于靠近所述多个分段中的第一分段且包括在先于当前块被编码的区域中的第二颜色分量像素的第一像素值预测第一分段，并基于靠近所述多个分段中的第二分段且包括在先于当前块被编码的区域中的第二颜色分量像素的第二像素值预测第二分段；基于预测的第一分段和预测的第二分段对第二颜色分量块进行编码。
分段的步骤可包括：基于第一颜色分量块的像素值设置预定的参考值；基于第一部分和第二部分设置第二颜色分量块的多个分段，其中，第一颜色分量块的多个像素中，像素值等于或小于所述预定的参考值的像素被设置为第一部分，像素值大于所述预定的参考值的像素被设置为第二部分。
设置预定的参考值的步骤可包括：确定关于第一颜色分量的4N×4M尺寸的块，所述4N×4M尺寸的块包括尺寸为2N×2M的第一颜色分量块；对所述4N×4M尺寸的块进行下采样，基于下采样的4N×4M尺寸的块产生下采样的2N×2M尺寸的块；将下采样的2N×2M尺寸的块的像素值的平均值设置为参考值。
确定关于第一颜色分量块的4N×4M尺寸的块的步骤可包括：基于靠近第一颜色分量块的边界的像素的像素值填充所述4N×4M尺寸的块的至少一部分。
基于第一部分和第二部分设置第二颜色分量块的多个分段的步骤可包括：将在下采样的2N×2M尺寸的块中包括的像素中像素值等于或小于参考值的像素设置为第一部分，将在下采样的2N×2M尺寸的块中包括的像素中像素值大于参考值的像素设置为第二部分；基于下采样的2N×2M尺寸的块的第一部分和第二部分设置第二颜色分量块的所述多个分段。
基于下采样的块的第一部分和第二部分设置第二颜色分量块的多个分段的步骤可包括：将第二颜色分量块的所述多个分段设置为与位于下采样的具有2N×2M尺寸的块的中央部分的N×M尺寸的块的第一部分和第二部分相同。
预测步骤可包括：基于包括在先于当前块被编码且靠近当前块的第二颜色分量块的第一分段和第二分段的区域中的第二颜色分量的多个像素值的平均值来预测第一分段和第二分段。
根据示例性实施例，一种对图像解码的方法可包括：基于当前块的第一颜色分量块的像素值将当前块的第二颜色分量块分为多个分段；基于靠近所述多个分段中的第一分段且包括在先于当前块被解码的区域中的第二颜色分量像素的第一像素值预测第一分段，并基于靠近所述多个分段中的第二分段且包括在先于当前块被解码的区域中的第二颜色分量像素的第二像素值预测第二分段；基于预测的第一分段和预测的第二分段对第二颜色分量块进行解码。
根据示例性实施例，一种对图像编码的设备可包括：预测单元，基于当前块的第一颜色分量块的像素值将当前块的第二颜色分量块分为多个分段，基于靠近所述多个分段中的第一分段且包括在先于当前块被编码的区域中的第二颜色分量像素的第一像素值预测第一分段，并基于靠近所述多个分段中的第二分段且包括在先于当前块被编码的区域中的第二颜色分量像素的第二像素值预测第二分段；编码器，基于预测的第一分段和预测的第二分段对第二颜色分量块进行编码。
根据示例性实施例，一种对图像解码的设备可包括：预测单元，基于当前块的第一颜色分量块的像素值将当前块的第二颜色分量块分为多个分段，基于靠近所述多个分段中的第一分段且包括在先于当前块被解码的区域中的第二颜色分量像素的第一像素值预测第一分段，并基于靠近所述多个分段中的第二分段且包括在先于当前块被解码的区域中的第二颜色分量像素的第二像素值预测第二分段；解码器，基于预测的第一分段和预测的第二分段对第二颜色分量块进行解码。
根据示例性实施例，一种计算机可读记录介质可存储用于执行对图像编码的方法的计算机可读程序，一种计算机可读记录介质可存储用于执行对图像解码的方法的计算机可读程序。
具体实施方式
以下将参照附图更详细地描述特定示例性实施例。当诸如“...中的至少一个”的表达出现在列出的元件之后时，其修饰列出的全部元件而不是修饰列出的单个元件。在本说明书中，“图像”可表示视频的静止图像或运动图像，即，视频本身。
在以下描述中，相同的附图标号即使在不同的附图中也用于相同的元件。在说明书中限定的内容(诸如，详细结构和元件)被提供用于帮助对示例性实施例的全面理解。然而，可不使用这些特别限定的内容来实践示例性实施例。图1是根据示例性实施例的用于对图像编码的图像编码设备100的框图。图像编码设备100可实现为硬件设备，例如，计算机或计算机系统的处理器。图像编码设备100还可实现为驻留在计算机系统上的软件模块。
参照图1，图像编码设备100包括最大编码单元划分器110、编码深度确定器120、图像数据编码器130和编码信息编码器140。最大编码单元划分器110、编码深度确定器120、图像数据编码器130和编码信息编码器140可被实现为例如集成在图像编码设备100内的硬件或软件模块，或者实现为与图像编码设备100分离的硬件或软件模块。
最大编码单元划分器110可基于作为最大尺寸的编码单元的最大编码单元划分当前帧或条带。也就是说，最大编码单元划分器110可将当前帧或条带划分为至少一个最大编码单元。
根据示例性实施例，可使用最大编码单元和深度来表示编码单元。如上所述，最大编码单元指示当前帧的编码单元中的具有最大尺寸的编码单元，深度指示分层地减小编码单元的程度。随着深度增加，编码单元可从最大编码单元减小到最小编码单元，其中，最大编码单元的深度被定义为最小深度，最小编码单元的深度被定义为最大深度。由于编码单元的尺寸随着深度增加从最大编码单元减小，因此第k深度的子编码单元可包括多个第(k+n)深度的子编码单元(k和n是等于或大于1的整数)。
根据将被编码的帧的尺寸的增加，以较大编码单元对图像编码会导致较高的图像压缩率。然而，如果固定了较大的编码单元，则不能通过反映连续改变的图像特征来对图像进行有效的编码。
例如，当对诸如海或天空的平滑区域进行编码时，编码单元越大则压缩率越会增加。然而，当对诸如人或建筑的复杂区域编码时，编码单元越小则压缩率越会增加。
因此，在示例性实施例中，针对每个帧或条带设置最大图像编码单元和最大深度。由于最大深度表示编码单元可减小的最大次数，因此包括在最大编码单元中的每个最小编码单元的尺寸可根据最大深度被变化地设置。可针对每个最大编码单元或针对每个帧或条带不同地确定最大深度。
编码深度确定器120确定最大编码单元的划分形状。可基于率失真(RD)代价的计算来确定划分形状。确定的最大编码单元的划分形状被提供给编码信息编码器140，根据最大编码单元的图像数据被提供给图像数据编码器130。
可将最大编码单元划分为具有根据不同的深度的不同尺寸的子编码单元。可基于具有不同尺寸的处理单元对包括在最大编码单元中的具有不同尺寸的子编码单元进行预测或频率变换。换句话说，图像编码设备100可基于具有多种尺寸和多种形状的处理单元执行多个用于图像编码的处理操作。为了对图像数据编码，执行诸如预测、变换和熵编码的处理操作，其中，具有相同尺寸或不同尺寸的处理单元可用于每个操作。
例如，图像编码设备100可选择与编码单元不同的处理单元来预测编码单元。
当编码单元的尺寸为2N×2N(其中，N是正整数)时，用于预测的处理单元可以是2N×2N、2N×N、N×2N和N×N。换句话说，可基于通过具有将编码单元的高度和宽度中的至少一个二等分的形状的处理单元来执行运动预测。以下，作为预测的基础的处理单元被定义为预测单元。
预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个，并且可仅对具有特定尺寸或特定形状的预测单元执行特定预测模式。例如，可仅对具有2N×2N或N×N的尺寸的正方形的预测单元执行帧内模式。另外，可仅对具有2N×2N的尺寸的预测单元执行跳过模式。如果在编码单元中存在多个预测单元，则可在对每个预测单元执行预测之后选择具有最小编码误差的预测模式。
可选择地，图像编码设备100可基于与编码单元的尺寸不同尺寸的处理单元对图像数据执行频率变换。为了在编码单元中进行频率变换，可基于具有小于或等于编码单元的尺寸的处理单元执行频率变换。以下，作为频率变换的基础的处理单元被定义为变换单元。频率变换可以是离散余弦变换(DCT)或KarhunenLoeve变换(KLT)。
编码深度确定器120可通过使用基于拉格朗日乘子(Lagrangianmultiplier)的RD最优化来确定包括在最大编码单元中的子编码单元。换句话说，编码深度确定器120可确定从最大编码单元划分的多个子编码单元的形状，其中，子编码单元具有根据子编码单元的深度的尺寸。图像数据编码器130通过基于由编码深度确定器120确定的划分形状对最大编码单元编码来输出比特流。
编码信息编码器140对关于编码深度确定器120确定的最大编码单元的编码模式的信息编码。换句话说，编码信息编码器140通过对关于最大编码单元的划分形状的信息、关于最大深度的信息和关于每个深度的子编码单元的编码模式的信息进行编码来输出比特流。关于子编码单元的编码模式的信息可包括关于子编码单元的预测单元的信息、关于每个预测单元的预测模式的信息和关于子编码单元的变换单元的信息。
关于最大编码单元的划分形状的信息可以是标志信息，其指示每个编码单元是否被划分。例如，当最大编码单元被划分和编码时，指示最大编码单元是否被划分的信息被编码。另外，当从最大编码单元划分的子编码单元被划分和编码时，指示子编码单元是否被划分的信息被编码。
由于针对每个最大编码单元存在具有不同尺寸的子编码单元并且针对每个子编码单元确定关于编码模式的信息，因此可针对一个最大编码单元确定关于至少一个编码模式的信息。
图像编码设备100可通过根据深度的增加将最大编码单元的高度和宽度二等分来产生子编码单元。也就是说，当第k深度的编码单元的尺寸为2N×2N时，第(k+1)深度的编码单元的尺寸是N×N。
因此，图像编码设备100可基于最大编码单元的尺寸和考虑图像特性的最大深度，针对每个最大编码单元确定最佳划分形状。通过考虑图像特性可变地调整最大编码单元的尺寸并对通过将最大编码单元划分为不同尺寸的子编码单元来对图像编码，可更有效地对具有多种分辨率的图像编码。
图2是根据示例性实施例的用于对图像解码的图像解码设备200的框图。图像解码设备200可被实现为诸如计算机或计算机系统的处理器的硬件设备。图像解码设备200还可被实现为驻留在计算机系统上的软件模块。
参照图2，视频解码设备200包括图像数据获取单元210、编码信息提取器220以及图像数据解码器230。图像数据获取单元210、编码信息提取器220以及图像数据解码器230可被实现为例如集成在图像解码设备200内或与图像解码设备200分离的硬件模块或软件模块。
图像数据获取单元210通过分析由图像解码设备200接收的比特流来获取根据最大编码单元的图像数据，并将图像数据输出到图像数据解码器230。图像数据获取单元210可从当前帧或条带的头提取关于当前帧或条带的最大编码单元的信息。换句话说，图像数据获取单元210以最大编码单元划分比特流，从而使图像数据解码器230可根据最大编码单元对图像数据解码。
编码信息提取器220通过解析图像解码设备200接收的比特流，从当前帧的头提取关于最大编码单元、最大深度、最大编码单元的划分形状、子编码单元的编码模式的信息。关于划分形状的信息和关于编码模式的信息被提供给图像数据解码器230。
关于最大编码单元的划分形状的信息可包括关于根据深度具有不同尺寸且包括在最大编码单元中的子编码单元的信息，并且可以是指示每个编码单元是否被划分的标志信息。
关于编码模式的信息可包括关于根据子编码单元的预测单元的信息、关于预测模式的信息和关于变换单元的信息。
图像数据解码器230通过基于编码信息提取器220提取的信息对每个最大编码单元的图像数据解码来恢复当前帧。
图像数据解码器230可基于关于最大编码单元的划分形状的信息对包括在最大编码单元中的子编码单元解码。解码处理可包括预测处理和反变换处理，预测处理包括帧内预测和运动补偿。
图像数据解码器230可基于关于预测单元的信息和关于预测模式的信息执行帧内预测或帧间预测，从而对预测单元进行预测。图像数据解码器230还可基于关于子编码单元的变换单元的信息对每个子编码单元执行反变换。
图3示出根据示例性实施例的分层编码单元。
参照图3，分层编码单元可包括宽度和高度为64×64、32×32、16×16、8×8和4×4的编码单元。除了具有完美正方形形状的这些编码单元，也可存在宽度和高度为64×32、32×64、32×16、16×32、16×8、8×16、8×4、4×8的编码单元。
参照图3，对于分辨率是1920×1080的图像数据组310，最大编码单元的尺寸被设置为64×64，最大深度被设置为2。
对于分辨率是1920×1080的图像数据组320，最大编码单元的尺寸被设置为64×64，最大深度被设置为3。对于分辨率是352×288的图像数据组330，最大编码单元的尺寸被设置为16×16，最大深度被设置为1。
当分辨率高或者数据量大时，编码单元的最大尺寸可被设置为相对较大以增加压缩率并更准确地反映图像特性。因此，对于具有比图像数据组330更高的分辨率的图像数据组310和图像数据组320，64×64可被选择为最大编码单元的尺寸。
最大深度表示分层编码单元中的总层数。由于图像数据组310的最大深度是2，所以图像数据组310的编码单元315可包括具有64的长轴(longaxis)尺寸的最大编码单元，还包括根据深度的增加而具有32和16的长轴尺寸的子编码单元。
另一方面，因为图像数据组330的最大深度是1，所以图像数据组330的编码单元335可包括具有16的长轴尺寸的最大编码单元和根据深度的增加而具有8的长轴尺寸的编码单元。
然而，因为图像数据320的最大深度是3，所以图像数据组320的编码单元325可包括具有64的长轴尺寸的最大编码单元，并且还包括根据深度的增加而具有32、16、8和4的长轴尺寸的子编码单元。由于随着深度的增加基于较小的子编码单元对图像编码，因此示例性实施例适合于对包括多个更细小场景的图像编码。
图4是根据示例性实施例的图像编码器400的框图。图像编码器400可被实现为例如计算机的处理器的硬件装置，或实现为驻留在计算机系统上的软件模块。图像编码器400可包括帧内预测单元410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480和环路滤波单元490。
帧内预测单元410对当前帧405中的帧内模式的预测单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，对帧间模式的编码单元执行帧间估计和运动补偿。帧内预测单元410、运动估计器420、运动补偿器425和参考帧495可被实现为例如集成在图像编码器400内的硬件或软件模块，或被实现为与图像编码器400分离的硬件或软件模块。
基于从帧内预测单元410、运动估计器420和运动补偿器425输出的预测单元产生残差值。产生的残差值经过变换器430和量化器440被输出为量化的变换系数。
量化的变换系数经过反量化器460和反变换器470被恢复为残差值。恢复的残差值经过去块单元480和环路滤波单元490被后处理并输出为参考帧495。量化的变换系数可经过熵编码器450输出为比特流455。
为了基于根据示例性实施例的编码方法执行编码，图像编码器400的帧内预测单元410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480和环路滤波单元490基于最大编码单元、根据深度的子编码单元、预测单元和变换单元执行图像编码处理。
图5是根据示例性实施例的图像解码器500的框图。图像解码器500可被实现为例如计算机的处理的硬件装置，或实现为驻留在计算机系统上的软件模块。图像解码器500可包括解析器510、熵解码器520、反量化器530、反变换器540、帧内预测单元550、运动补偿器560、去块单元570和环路滤波单元580。
比特流505经过解析器510，解析器510对将被解码的编码图像数据和解码所需的编码信息进行解析。编码图像数据经过熵解码器520和反量化器530被输出为反量化的数据，并且经过反变换器540被恢复为残差值。通过将残差值与帧内预测单元550的帧内预测结果或运动补偿器560的运动补偿结果相加来根据编码单元恢复残差值。恢复的编码单元通过经过去块单元570和环路滤波单元580用于预测后续的编码单元或下一帧。解析器510、熵解码器520、反量化器530、反变换器540、帧内预测单元550、补偿器560、去块单元570和环路滤波单元580可被实现为例如集成在图像解码器500内的硬件或软件模块，或被实现为与图像解码器500分离的硬件或软件模块。
为了基于根据示例性实施例的解码方法执行解码，图像解码器500的解析器510、熵解码器520、反量化器530、反变换器540、帧内预测单元550、运动补偿器560、去块单元570和环路滤波单元580基于最大编码单元、根据深度的子编码单元、预测单元和变换单元执行图像解码处理。
具体地，帧内预测单元550和运动补偿器560通过考虑最大编码单元和深度确定子编码单元中的预测单元和预测模式，反变换器540通过考虑变换单元的尺寸执行反变换。
图6示出根据示例性实施例的分层编码单元结构。
图1中示出的图像编码设备100和图2中示出的图像解码设备200使用分层的编码单元以考虑图像的特性执行编码和解码。根据图像的特性可自适应地设置最大编码单元和最大深度，或可根据用户的需求不同地设置最大编码单元和最大深度。
在图6中，分层编码单元结构600具有最大编码单元610，最大编码单元610是高度和宽度为64，最大深度为4的最大编码单元。深度随分层编码单元结构600的垂直轴加深，并且随着深度加深，子编码单元620到650的高度和宽度减小。最大编码单元610和子编码单元620到650的预测单元沿着分层编码单元结构600的水平轴被显示。
最大编码单元610具有深度0以及64×64的编码单元的尺寸(或高度×宽度)。深度沿着垂直轴增加，并存在尺寸为32×32和深度为1的第一子编码单元620、尺寸为16×16和深度为2的第二子编码单元630、尺寸为8×8和深度为3的第三子编码单元640以及尺寸为4×4和深度为4的最小编码单元650。尺寸为4×4和深度为4的最小编码单元650是最小编码单元，并且最小编码单元可划分为多个预测单元，每个预测单元小于最小编码单元。
参照图6，根据每个深度沿水平轴显示了预测单元的示例。也就是说，深度为0的最大编码单元610的预测单元可以是尺寸等于最大编码单元的尺寸64×64的预测单元，或者是尺寸小于尺寸为64×64的最大编码单元的、尺寸为64×32的预测单元612、尺寸为32×64的预测单元614和尺寸为32×32的预测单元616。
深度为1且尺寸为32×32的第一子编码单元620的预测单元可以是尺寸等于第一子编码单元的尺寸32×32的预测单元，或者是尺寸小于尺寸为32×32的第一子编码单元620的、尺寸为32×16的预测单元622、尺寸为16×32的预测单元624或尺寸为16×16的预测单元626。
深度为2且尺寸为16×16的第二子编码单元630的预测单元可以是尺寸等于第二子编码单元630的尺寸为16×16的预测单元，或者是尺寸小于尺寸为16×16的第二子编码单元630的、尺寸为16×8的预测单元632、尺寸为8×16的预测单元634或尺寸为8×8的预测单元636。
深度为3且尺寸为8×8的第三子编码单元640的预测单元可以是尺寸等于第三子编码单元640的尺寸为8×8的预测单元，或者是尺寸小于尺寸为8×8的第三子编码单元640的、尺寸为8×4的预测单元642、尺寸为4×8的预测单元644或尺寸为4×4的预测单元646。
深度为4且尺寸为4×4的最小编码单元650是最小编码单元和最大深度的编码单元。最小编码单元650的预测单元可以是尺寸为4×4的预测单元650、尺寸为4×2的预测单元652、尺寸为2×4的预测单元654或者尺寸为2×2的预测单元656。
图7示出根据示例性实施例的编码单元和变换单元。
图1中示出的图像编码设备100和图2中示出的图像解码设备200用最大编码单元或从最大编码单元划分的具有等于或小于最大编码单元的尺寸的子编码单元执行编码和解码。在编码和解码处理中，频率变换的变换单元的尺寸被选择为不大于相应的编码单元的尺寸。例如，如果当前编码单元710的尺寸为64×64，则可使用尺寸为32×32的变换单元720执行频率变换。
图8A、图8B、图8C和图8D示出根据示例性实施例的编码单元、预测单元和变换单元的划分形状。
图8A和图8B示出根据示例性实施例的编码单元和预测单元。
图8A示出图1中示出的图像编码设备100选择的划分形状以对最大编码单元810进行编码。图像编码设备100将最大编码单元810划分为多种形状，执行编码，并通过基于RD代价对各种划分形状的编码结果彼此进行比较来选择最优的划分形状。当最优的是对最大编码单元810进行编码时，可不划分如图8A到图8D所示的最大编码单元810来对最大编码单元810进行编码。
参照图8A，通过将最大编码单元810划分为深度等于或大于1的多个子编码单元来对深度为0的最大编码单元810进行编码。也就是说，最大编码单元810被划分为4个深度为1的子编码单元，所有或者部分的这些深度为1的子编码单元被划分为深度为2的子编码单元814、816、818、828、850和852。
深度为1的子编码单元中的位于右上侧的子编码单元和位于左下侧的子编码单元被进一步分为深度等于或大于2的子编码单元。深度等于或大于2的子编码单元中的一些子编码单元可被划分为深度等于或大于3的子编码单元820、822、824、826、830、832、840、842、844、846和848。
图8B示出最大编码单元的预测单元的划分形状。
参照图8B，最大编码单元810的预测单元860可被划分为与最大编码单元810不同。换句话说，每个子编码单元的预测单元可小于相应的子编码单元。
例如，深度为1的子编码单元812、854中的位于右下侧的子编码单元854的预测单元可小于子编码单元854。另外，深度为2的子编码单元814、816、818、828、850和852中的子编码单元814、816、850和852的预测单元可分别小于子编码单元814、816、850和852。
另外，深度为3的子编码单元822、832和848的预测单元可分别小于子编码单元822、832和848。预测单元可具有各个子编码单元在高度或宽度的方向被二等分的形状，或者具有各个子编码单元在高度和宽度的方向被四等分的形状。
图8C和图8D示出根据示例性实施例的预测单元和变换单元。
图8C示出图8B中显示的最大编码单元810的预测单元的划分形状，图8D示出最大编码单元810的变换单元的划分形状。
参照图8D，变换单元870的划分形状可被设置为与预测单元860不同。
例如，尽管深度为1的子编码单元854的预测单元被选择为具有子编码单元854的高度被二等分的形状，变换单元可被选择为具有子编码单元854的原始尺寸。同样地，尽管深度为2的子编码单元814和子编码单元850的预测单元被选择为具有子编码单元814和850中的每一个的高度被二等分的形状，变换单元可被选择为具有与子编码单元814和850中的每一个的原始尺寸相同的尺寸。
变换单元可被选择为具有比预测单元更小的尺寸。例如，当深度为2的子编码单元852的预测单元被选择为具有子编码单元852的宽度被二等分的形状，变换单元可被选择为具有子编码单元852在高度和宽度的方向上被四等分的形状，这具有比预测单元的形状更小的尺寸。
图9是根据示例性实施例的用于对图像编码的设备900的框图。
参照图9，图像编码设备900包括预测单元910和编码器920。另外，预测单元910包括分段单元912和预测执行单元914。
预测单元910通过基于当前块的第一颜色分量块的像素值设置当前块的第二颜色分量块的多个分段，并随后单独地预测分段来预测第二颜色分量块。当前块可对应于上述的预测单元。另外，当编码单元和预测单元相同时，当前块可对应于编码单元。
在一般的图像编码/解码方法中，图像被划分为多个颜色分量，并被编码/解码。图像根据RGB格式被划分为红色(R)像素值、绿色(G)像素值和蓝色(B)像素值(其中，通过RGB格式，根据颜色的种类划分图像)，然后被编码/解码，或者图像根据YUV格式被划分为亮度(Y)像素值、蓝色差色度(Cb)像素值和红色差色度(Cr)像素值(其中，通过YUV格式将图像划分为亮度分量和色度分量)，然后被编码/解码。
像素的多个颜色分量有可能分别类似于邻近像素的颜色分量。例如，当像素的R像素值类似于邻近像素的R像素值时，该像素的G像素值和B像素值有可能分别类似于邻近像素的G像素值和B像素值。另外，当像素的Y像素值类似于邻近像素的Y像素值时，该像素的Cb像素值和Cr像素值有可能分别类似于邻近像素的Cb像素值和Cr像素值。
因此，根据本示例性实施例的预测单元910基于在当前颜色分量之前被编码的另一颜色分量块的像素值，将当前被编码的当前颜色分量块划分为多个分段，并预测当前颜色分量块。可选择地，可基于在当前颜色分量块之前的另一颜色分量块被编码时产生的预测值或残差值来划分当前颜色分量块。通过将当前颜色分量块划分为多个分段并通过使用不同的相关像素值来预测分段，来预测当前颜色分量块(不是将当前颜色分量块预测为单个块)，从而提高了预测的精确度。随着预测的精确度提高，可以以更高的压缩率压缩图像。以下，将参照附图更详细地描述预测单元910的分段和预测。
图10A和图10B分别显示根据示例性实施例的第一颜色分量块1010和基于第一颜色分量块1010的像素值的第二颜色分量块的分段。
参照图10A，当假设第一颜色分量是亮度分量且当前块是4×4块时，当前块的第一颜色分量块1010包括从Y0到Y15的16个Y像素值。当前块的第一颜色分量块1010是在第二颜色分量块之前被编码并随后被再次恢复的块。第二颜色分量块可以是色度分量。
预测单元910的分段单元912基于第一颜色分量块1010的像素值设置当前块的第二颜色分量块的多个分段。分段单元912设置预定参考值并将设置的参考值与第一颜色分量块1010的像素值比较，以设置第一颜色分量块的多个分段。基于第一颜色分量块1010的多个分段设置第二颜色分量块的多个分段。关于参考值的信息可被明确地编码并发送到解码端。然而，当根据编码端和解码端共享的规则设置参考值时，可不明确地对关于参考值的信息进行编码。
例如，分段单元912计算第一颜色分量块1010的像素值的平均值，并将参考值设置为平均值。当像素具有的像素值等于或小于平均值时，该像素可被设置为第一部分。当像素具有的像素值大于平均值时，该像素可被设置为第二部分。当像素值的平均值不是整数时，通过对平均值进行四舍五入、向上进位或向下退位来获得整数，并随后将整数与像素值进行比较。第一部分可对应于图10B的像素“Seg0”或像素“Seg1”。如果第一部分对应于像素“Seg0”，则第二部分对应于像素“Seg1”。如果第一部分对应于像素“Seg1”，则第二部分对应于像素“Seg0”。
在设置了第一颜色分量块1010的多个分段之后，提炼多个分段。通过对像素“Seg0”的像素值求平均来计算像素“Seg0”的平均值，并通过对像素“Seg1”的像素值求平均来计算像素“Seg1”的平均值。然后，第一颜色分量块1010的像素值与像素“Seg0”的平均值和像素“Seg1”的平均值中的每一个进行比较。
对于预定像素，当该像素的像素值与像素“Seg0”的平均值之间的差的绝对值小于该像素的像素值与像素“Seg1”的平均值之间的差的绝对值时，该像素被设置为“Seg0”。当该像素的像素值与像素“Seg0”的平均值之间的差的绝对值等于或大于该像素的像素值与像素“Seg1”的平均值之间的差的绝对值时，该像素被设置为“Seg1”。同样地，提炼第一颜色分量块1010的多个分段。可通过多次提炼多个分段来执行准确的分段。
如图10B所示，在设置了第一颜色分量块1010的多个分段之后，分段单元912基于第一颜色分量块1010的多个分段来设置第二颜色分量块的多个分段。如图10B所示被设置的，第二颜色分量块的多个分段可被设置为与第一颜色分量块1010的多个分段相同。
在图10B中，第一颜色分量块1010被划分为两种类型的像素部分“Seg0”和“Seg1”。然而，本领域的普通技术人员将理解，第一颜色分量块1010可被划分为至少三种类型的部分。根据图10A和图10B，第一颜色分量块1010隐含地基于第二颜色分量块被划分。因此，关于分段的信息不被编码和发送到解码端。然而，根据另一示例性实施例，关于分段的信息可被明确地编码和发送到解码端。
图11是根据示例性实施例的通过使用具有大于当前块的尺寸的块进行分段的示图。
参照图11，当分段单元912设置第二颜色分量块的多个分段时，可使用比当前块更大的尺寸的第一颜色分量块1110。由于在设置第二颜色分量块的多个分段时可通过使用更多参考来执行更准确的分段，因此使用具有比当前块的第一颜色分量块1010更大的尺寸的第一颜色分量块1110来设置第二颜色分量块的多个分段。
分段单元912通过使用具有比图10A示出的当前块的第一颜色分量块1010更大的尺寸的第一颜色分量块1110来设置第二颜色分量块的多个分段。当第一颜色分量块1010具有的尺寸为2N×2M时，分段单元912可使用在水平方向和垂直方向上尺寸为第一颜色分量块1010的两倍的、尺寸为4N×4M的第一颜色分量块1110。N和M是正整数，并且可以相同。
可通过以4个像素为单位对第一颜色分量块1110进行下采样来产生下采样块1120，并且可基于下采样块1120的像素值设置第二颜色分量块的多个分段。
例如，分段单元912计算下采样块1120的像素值的平均值，并将参考值设置为平均值。关于预定像素，当像素的像素值等于或小于平均值时，该像素被设置为第一部分。当该像素的像素值大于平均值时，该像素被设置为第二部分。作为设置的结果，如图10B所示，可设置尺寸为2N×2M的下采样块1120的多个分段。然后，分段单元912可将第二颜色分量块的多个分段设置为与下采样块1120的多个分段相同。如参照图10A和图10B所示，当像素值的平均值不是整数时，可通过对平均值进行四舍五入、向上进位或向下退位来获得整数，并可随后与像素值进行比较。另外，当下采样块1120的多个分段被设置时，可通过将多个分段提炼至少一次来执行准确的分段。
图12是用于解释根据示例性实施例的产生具有比当前块更大的尺寸的第一颜色分量块1110的方法的示图。
如参照图11所述，为了通过使用具有比当前块更大的尺寸的第一颜色分量块1110来设置第二颜色分量块的多个分段，分段单元912可首先确定第一颜色分量块1110。
然而，有可能不可以为了对当前块编码而使用当前块的第一颜色分量块1010的某些邻近像素。当通过以从左上侧到右下侧的方向对图像值的块执行光栅扫描(rasterscanning)来对图像编码时，不可以为了对当前块编码使用靠近当前块的右侧、右下侧和下侧的像素。换而言之，由于第一颜色分量块1010的右侧、右下侧和下侧的像素还未被编码，因此分段单元912不可以使用这些像素来确定具有比当前块更大的尺寸的第一颜色分量块1110。
另外，当当前块位于图像帧的左边界时，由于靠近当前块的左侧的像素脱离了该图像帧，因此分段单元912不可以使用这些像素来确定具有比当前块更大的尺寸的第一颜色分量块1110。同样地，当当前块位于图像帧的上边界、右边界或下边界时，靠近预定部分的像素不可用于确定具有比当前块更大的尺寸的第一颜色分量块1110。
因此，为了克服此问题，分段单元912可通过使用包括在当前块的第一颜色分量块1010的像素的像素值中的、靠近第一颜色分量块1010的边界的像素的像素值，来确定具有比当前块更大的尺寸的第一颜色分量块1110。
靠近第一颜色分量1010的边界的像素的像素值Y0、Y1、Y2、Y3、Y4、Y7、Y8、Y9、Y11、Y12、Y13、Y14和Y15可被复制并以图12的箭头所指示的方向被描绘，以确定具有比当前块更大的尺寸的第一颜色分量块1110。可通过用靠近第一颜色分量块1010的边界的像素填充不能用于对当前块编码的当前块的第一颜色分量块1010的某些邻近像素，来确定具有比当前块更大的尺寸的第一颜色分量块1110。
图13是根据示例性实施例的具有比第一颜色分量块1010更小的尺寸的第二颜色分量块的分段的示图。
当图像被编码/解码时，多个颜色分量块可被编码为具有不同尺寸。当根据YUV格式对图像编码/解码时，Y:Cb:Cr可被设置为4:2:2、4:2:0或4:0:2，但不是4:4:4，并且图像可被编码。由于色度分量的像素值之间的差很小，因此用户感知的图像质量不会由于色度分量的误差而严重恶化，以具有比当前编码单元更小的尺寸的编码单元对色度分量编码。
同样地，当对具有比第一颜色分量块1010更小的尺寸的第二颜色分量块编码时，分段单元912通过使用与图10B中显示的方法不同的方法来设置第二颜色分量块的多个分段。
参照图13，首先，分段单元912基于如图10B所示的第一颜色分量块1010或下采样块1120的像素值设置第一颜色分量块1010的多个分段1020。然后，位于第一颜色分量块1010的多个分段的中央部分的小块的多个分段1310被设置为第二颜色分量块的多个分段。
当第一颜色分量块1010的尺寸是2N×2M，第二颜色分量块的尺寸是N×M时，位于第一颜色分量块1010的中央部分的N×M尺寸块的多个分段1310被设置为第二颜色分量块的多个分段。同样地，本领域的普通技术人员将理解，当使用具有比当前块更大的尺寸的第一颜色分量块1110执行分段时，和图11相同，位于尺寸为2N×2M的下采样块1120的中央部分的N×M尺寸块的多个分段被设置为第二颜色分量块的多个分段。
参照回图9，当分段单元912设置第二颜色分量块的多个分段时，预测执行单元914预测由分段单元912所设置的第二颜色分量块的多个分段。使用靠近第二颜色分量块的各个分段的相关像素单独地预测第二颜色分量块的多个分段，而不使用相同的邻近像素将当前块预测为单个块。相关像素是靠近当前块的像素并且被包括在先于当前块被编码的区域中。相关像素是在当前块之前被编码并随后被再次恢复的像素。将参照图14A和图14B详细描述单独地对多个分段编码的方法。
图14A和图14B是用于解释根据示例性实施例的预测第二颜色分量块的方法的示图。
参照图14A，当如图10B所示设置第二颜色分量块的多个分段时，可通过使用相关像素的像素值(即，靠近第二颜色分量块并且包括在先于当前块被编码的区域中的第二颜色分量像素的像素值N0到N10)来预测第二颜色分量块。在这种情况下，使用不同的相关像素预测像素“Seg0”和“Seg1”。
在图14A，当预测像素“Seg0”时，使用第二颜色分量像素的像素值N0到N7。当预测像素“Seg1”时，使用第二颜色分量像素的像素值N8到N10。基于分段隐含地确定像素值N0到N7以及像素值N8到N10。可选择地，用于说明像素值N0到N7的信息和用于说明像素值N8到N10的信息中的至少一个可被明确地编码并发送到解码端。像素值N0到N7的平均值可用作像素“Seg0”的预测值，像素值N8到N10的平均值可用作“Seg1”的预测值。
用于预测的每个平均值可以是算术平均值、几何平均值和调和平均值中的任意一个，或者可以是通过将不同的权值与各个像素值N0到N10相加计算的平均值。当像素值的平均值不是整数时，可通过对平均值进行四舍五入、向上进位或向下退位来获得整数，然后可将整数用作预测值。
用作预测值的平均值仅是示例，因此任意的通过使用基于像素值N0到N10的各种不同方法预测多个分段的方法可用于执行根据一个或多个示例性实施例的预测。例如，像素值N0到N7的中间值可用作像素“Seg0”的预测值，像素值N8到N10的中间值可用作像素“Seg1”的预测值。另外，仅提取像素值N0到N7的最大值和最小值，并且最大值和最小值的中间值用作像素“Seg0”的预测值。仅提取像素值N8到N10的最大值和最小值，并且最大值和最小值的中间值用作像素“Seg1”的预测值。如果基于编码端和解码端共享的规则计算用作预测值的代表值，则关于代表值的信息不被编码。然而，根据另一示例性实施例，关于代表值的信息可被明确地编码并发送到解码端。
图14B是用于解释当因为如图13所示第二颜色分量块具有小于第一颜色分量块的尺寸，所以基于位于第一颜色分量块的中央位置的块的多个分段设置第二颜色分量块的多个分段时，预测第二颜色分量块的方法的示图。
如图13所示，当第二颜色分量块具有小于第一颜色分量块的尺寸时，靠近第二颜色分量块的像素的数量少于图14A中的数量。然而，通过使用靠近第二颜色分量块的各个分段的像素的像素值来单独地预测第二颜色分量块的多个分段的方法对于图13和图14A来说是共同的，因此，使用像素值N0到N4预测像素“Seg0”，使用像素值N6到N7预测像素“Seg1”。
参照回到图9，编码器920基于预测单元910的预测结果对第二颜色分量块进行编码。通过从当前块的第二颜色分量块减去作为对第二颜色分量块的预测结果产生的第二颜色分量块的预测块来产生残差块。通过将产生的残差块变换到频域来产生频域系数，产生的频域系数被量化和熵编码。可使用离散余弦变换或Hadamard变换或KLT执行频域变换。
图15是根据示例性实施例的用于对图像解码的设备1500的框图。
参照图15，图像解码设备1500包括预测单元1510和解码器1520。另外，预测单元1510包括分段单元1512和预测执行单元1514。
预测单元1510通过基于当前块的第一颜色分量块的像素值设置当前块的第二颜色分量块的多个分段并随后单独地预测这些分段来预测第二颜色分量块。
分段单元1520基于第一颜色分量块1010的像素值设置当前块的第二颜色分量块的多个分段。分段单元1520将预定的参考值与第一颜色分量块1010的像素值比较以设置第一颜色分量块1010的多个分段，并基于第一颜色分量块1010的多个分段设置第二颜色分量块的多个分段。设置多个分段的方法与参照图10A、图10B、图11、图12和图13描述的方法相同。
预测执行单元1514单独地预测由分段单元1520设置的第二颜色分量块的多个分段。通过使用靠近每个分段的相关像素来单独地预测多个分段。相关像素靠近当前块并且包括在先于当前块被解码的区域中。相关像素在当前块之前被解码，随后被再次恢复。作为预测结果，产生当前块的第二颜色分量块的预测块。已经参照图14A和图14B描述了单独地预测多个分段的方法。
解码器1520基于预测单元1510的预测结果对第二颜色分量块解码。通过对当前块的第二颜色分量块的比特流进行熵解码来产生频域系数。通过反量化频域系数并随后基于频域系数执行反变换来恢复频域的像素值。通过将作为恢复结果而产生的第二颜色分量块的残差块与在预测单元1510产生的预测值相加来恢复当前块的第二颜色分量块。可使用离散余弦变换或Hadamard变换或KLT执行反变换。
图16是根据示例性实施例的对图像编码的方法的流程图。
参照图16，在操作1610，根据示例性实施例的图像编码设备基于当前块的第一颜色分量块的像素值设置当前块的第二颜色分量块的多个分段。
基于第一颜色分量块的像素值设置第一颜色分量块的多个分段，并基于第一颜色分量块的多个分段设置第二颜色分量块的多个分段，其中，所述第一颜色分量块在当前块的第二颜色分量块之前被编码并随后被再次恢复。为了准确地设置第二颜色分量块的多个分段，确定具有比当前块更大的尺寸的第一颜色分量块，通过对第一颜色分量块进行下采样来产生下采样块，并基于下采样块的多个分段设置第二颜色分量块的多个分段。
可通过设置第一部分和第二部分来设置第二颜色分量块的多个分段，其中，通过将当前块的第一颜色分量块的像素值或下采样块的像素值与预定参考值分别进行比较来获得第一部分和第二部分。另外，可通过提炼第一颜色分量块或下采样块的多个分段来准确地划分第二颜色分量块的多个分段。
当第二颜色分量块具有比第一颜色分量块更小的尺寸时，可将位于当前块的第一颜色分量块或下采样块的中央部分的块的多个分段设置为第二颜色分量块的多个分段。已经参照图10A、图10B、图11、图12和图13描述了设置多个分段的方法。
在操作1620，图像编码设备单独地对在操作1610设置的多个分段进行预测。基于靠近当前块的第二颜色分量块的各个分段并且在当前块之前被编码的区域中的第二颜色分量的像素值单独地预测当前块的第二颜色分量块的多个分段。可通过使用不同的相关像素值来预测多个分段。已经参照图14A和图14B描述了单独地预测多个分段的方法。
在操作1630，图像编码设备基于操作1620的预测结果对当前块的第二颜色分量块编码。通过从当前块的第二颜色分量块减去通过单独地预测多个分段产生的第二颜色分量块的预测块来产生残差块，通过将产生的残差块变换到频域来产生频域系数，并通过对产生的频域系数进行量化和熵编码来产生比特流。
图17是根据示例性实施例的对图像解码的方法的流程图。
参照图17，在操作1710，根据示例性实施例的图像解码设备基于当前块的第一颜色分量块的像素值设置当前块的第二颜色分量块的多个分段。
基于在当前块的第二颜色分量块之前被解码的第一颜色分量块的像素值来设置第一颜色分量块的多个分段，并基于第一颜色分量块的多个分段设置第二颜色分量块的多个分段。可使用与对图像编码的方法中相同的方法设置多个分段。已经参照图10A、图10B、图11、图12和图13描述了设置多个分段的方法。
在操作1720，图像解码设备单独地预测在操作1710设置的多个分段。基于靠近当前块的第二颜色分量块的各个分段并且在当前块之前被解码的区域中的第二颜色分量块的像素值来单独地预测当前块的第二颜色分量块的多个分段。预测方法与参照图14A和图14B描述的对图像编码的方法相同。
在操作1730，图像解码设备基于操作1720的预测结果对当前块的第二颜色分量块解码。通过对当前块的第二颜色分量块的比特流进行熵解码来产生频域系数，通过对频域系数进行反量化并基于频域系数执行反变换来恢复像素域的像素值。通过将作为恢复结果产生的第二颜色分量块的残差块与作为操作1720的预测结果而产生的预测块相加来恢复当前块的第二颜色分量块。
根据一个或多个示例性实施例，可通过基于颜色分量之间的相似性预测当前块来执行准确的预测，从而提高了在对图像编码时的压缩率。
虽然已经参照其示例性实施例具体示出和描述了本发明，但是本领域的普通技术人员将理解，在不脱离权利要求及其等同物限定的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。另外，编码和解码方法以及设备可实施为计算机可读记录介质上的计算机可读代码。
图1、图2、图4、图5、图9或图15中示出的图像编码设备或图像解码设备或者图像编码器或图像解码器可包括连接到设备或编码器的每个单元的总线、与总线连接并用于执行命令的至少一个处理器以及与总线连接以存储命令、接收的消息和产生的消息的存储器。
计算机可读记录介质是能够存储其后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可分布于联网的计算机系统，从而以分布的方式存储和执行计算机可读代码。

Claims (12)

1.一种对图像编码的方法，所述方法包括：
基于当前块的第一颜色分量块的像素值将当前块的第二颜色分量块分为多个分段；
基于靠近所述多个分段中的第一分段且包括在先于当前块被编码的区域中的第二颜色分量像素的第一像素值预测第一分段，并基于靠近所述多个分段中的第二分段且包括在先于当前块被编码的区域中的第二颜色分量像素的第二像素值预测第二分段；
基于预测的第一分段和预测的第二分段对第二颜色分量块进行编码，
其中，分段的步骤包括：
基于第一颜色分量块的像素值设置参考值；
基于第一部分和第二部分设置第二颜色分量块的所述多个分段，
其中，在第一颜色分量块的多个像素中，像素值等于或小于参考值的像素被设置为第一部分，像素值大于参考值的像素被设置为第二部分。
2.如权利要求1所述的方法，其中，设置参考值的步骤包括：
确定关于第一颜色分量的4N×4M尺寸的块，所述4N×4M尺寸的块包括尺寸为2N×2M的第一颜色分量块；
对所述4N×4M尺寸的块进行下采样，基于下采样的4N×4M尺寸的块产生下采样的2N×2M尺寸的块；
将下采样的2N×2M尺寸的块的像素值的平均值设置为参考值，
其中，N和M是正整数。
3.如权利要求2所述的方法，其中，确定关于第一颜色分量块的4N×4M尺寸的块的步骤包括：基于靠近第一颜色分量块的边界的像素的像素值填充所述4N×4M尺寸的块的至少一部分。
4.如权利要求2所述的方法，其中，基于第一部分和第二部分设置第二颜色分量块的多个分段的步骤包括：
将在下采样的2N×2M尺寸的块中包括的像素中的像素值等于或小于参考值的像素设置为第一部分，将在下采样的2N×2M尺寸的块中包括的像素中像素值大于参考值的像素设置为第二部分；
基于下采样的2N×2M尺寸的块的第一部分和第二部分设置第二颜色分量块的所述多个分段。
5.如权利要求4所述的方法，其中，基于下采样的块的第一部分和第二部分设置第二颜色分量块的多个分段的步骤包括：
将第二颜色分量块的所述多个分段设置为与位于下采样的具有2N×2M尺寸的块的中央部分的N×M尺寸的块的第一部分和第二部分相同。
6.一种对图像解码的方法，所述方法包括：
基于当前块的第一颜色分量块的像素值将当前块的第二颜色分量块分为多个分段；
基于靠近所述多个分段中的第一分段且包括在先于当前块被解码的区域中的第二颜色分量像素的第一像素值预测第一分段，并基于靠近所述多个分段中的第二分段且包括在先于当前块被解码的区域中的第二颜色分量像素的第二像素值预测第二分段；
基于预测的第一分段和预测的第二分段对第二颜色分量块进行解码，
其中，分段的步骤包括：
基于第一颜色分量块的像素值设置参考值；
基于第一部分和第二部分设置第二颜色分量块的所述多个分段，
其中，在第一颜色分量块的多个像素中，像素值等于或小于参考值的像素被设置为第一部分，像素值大于参考值的像素被设置为第二部分。
7.如权利要求6所述的方法，其中，设置参考值的步骤包括：
确定关于第一颜色分量的4N×4M尺寸的块，所述4N×4M尺寸的块包括尺寸为2N×2M的第一颜色分量块；
对所述4N×4M尺寸的块进行下采样，基于下采样的4N×4M尺寸的块产生下采样的2N×2M尺寸的块；
将下采样的2N×2M尺寸的块的像素值的平均值设置为参考值,
其中，N和M是正整数。
8.如权利要求7所述的方法，其中，确定关于第一颜色分量块的4N×4M尺寸的块的步骤包括：基于靠近第一颜色分量块的边界的像素的像素值填充所述4N×4M尺寸的块的至少一部分。
9.如权利要求7所述的方法，其中，基于第一部分和第二部分设置第二颜色分量块的多个分段的步骤包括：
将在下采样的2N×2M尺寸的块中包括的像素中像素值等于或小于参考值的像素设置为第一部分，将在下采样的2N×2M尺寸的块中包括的像素中像素值大于参考值的像素设置为第二部分；
基于下采样的2N×2M尺寸的块的第一部分和第二部分设置第二颜色分量块的所述多个分段。
10.如权利要求9所述的方法，其中，基于下采样的块的第一部分和第二部分设置第二颜色分量块的多个分段的步骤包括：
将第二颜色分量块的所述多个分段设置为与位于下采样的具有2N×2M尺寸的块的中央部分的N×M尺寸的块的第一部分和第二部分相同。
11.一种对图像编码的设备，所述设备包括：
预测单元，基于当前块的第一颜色分量块的像素值将当前块的第二颜色分量块分为多个分段，基于靠近所述多个分段中的第一分段且包括在先于当前块被编码的区域中的第二颜色分量像素的第一像素值预测第一分段，并基于靠近所述多个分段中的第二分段且包括在先于当前块被编码的区域中的第二颜色分量像素的第二像素值预测第二分段；
编码器，基于预测的第一分段和预测的第二分段对第二颜色分量块进行编码，
其中，预测单元基于第一颜色分量块的像素值设置参考值，基于第一部分和第二部分设置第二颜色分量块的所述多个分段，
其中，在第一颜色分量块的多个像素中，像素值等于或小于参考值的像素被设置为第一部分，像素值大于参考值的像素被设置为第二部分。
12.一种对图像解码的设备，所述设备包括：
预测单元，基于当前块的第一颜色分量块的像素值将当前块的第二颜色分量块分为多个分段，基于靠近所述多个分段中的第一分段且包括在先于当前块被解码的区域中的第二颜色分量像素的第一像素值预测第一分段，并基于靠近所述多个分段中的第二分段且包括在先于当前块被解码的区域中的第二颜色分量像素的第二像素值预测第二分段；
解码器，基于预测的第一分段和预测的第二分段对第二颜色分量块进行解码，
其中，预测单元基于第一颜色分量块的像素值设置参考值，基于第一部分和第二部分设置第二颜色分量块的所述多个分段，
其中，在第一颜色分量块的多个像素中，像素值等于或小于参考值的像素被设置为第一部分，像素值大于参考值的像素被设置为第二部分。
CN201180027601.6A 2010-04-05 2011-04-05 基于分段对图像编码和解码的方法和设备 Expired - Fee Related CN102934445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020100031144A KR20110111853A (ko) 2010-04-05 2010-04-05 복수의 부분에 기초한 영상 부호화, 복호화 방법 및 장치
KR10-2010-0031144 2010-04-05
PCT/KR2011/002374 WO2011126274A2 (en) 2010-04-05 2011-04-05 Methods and apparatuses for encoding and decoding image based on segments

Publications (2)

Publication Number Publication Date
CN102934445A CN102934445A (zh) 2013-02-13
CN102934445B true CN102934445B (zh) 2016-03-23

Family

ID=44709746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180027601.6A Expired - Fee Related CN102934445B (zh) 2010-04-05 2011-04-05 基于分段对图像编码和解码的方法和设备

Country Status (5)

Country Link
US (2) US8472710B2 (zh)
EP (1) EP2545712A4 (zh)
KR (1) KR20110111853A (zh)
CN (1) CN102934445B (zh)
WO (1) WO2011126274A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120314767A1 (en) 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
CN103164848B (zh) * 2011-12-09 2015-04-08 腾讯科技（深圳）有限公司 图像处理方法和系统
JP6151909B2 (ja) * 2012-12-12 2017-06-21 キヤノン株式会社 動画像符号化装置、方法およびプログラム
CN105556968B (zh) * 2014-06-23 2018-09-04 联发科技（新加坡）私人有限公司 三维或多视图视频编码系统中预测编码的装置及方法
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
CN116915985A (zh) * 2016-10-04 2023-10-20 Lx 半导体科技有限公司 图像编码/解码方法和发送方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325713A (zh) * 2007-06-11 2008-12-17 三星电子株式会社 使用彩色间补偿来编码和解码图像的方法和装置
CN101494782A (zh) * 2008-01-25 2009-07-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
WO2010036772A2 (en) * 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333544B2 (en) * 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325713A (zh) * 2007-06-11 2008-12-17 三星电子株式会社 使用彩色间补偿来编码和解码图像的方法和装置
CN101494782A (zh) * 2008-01-25 2009-07-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
WO2010036772A2 (en) * 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications

Also Published As

Publication number Publication date
WO2011126274A2 (en) 2011-10-13
US20110243436A1 (en) 2011-10-06
KR20110111853A (ko) 2011-10-12
US8849022B2 (en) 2014-09-30
EP2545712A2 (en) 2013-01-16
US8472710B2 (en) 2013-06-25
EP2545712A4 (en) 2013-08-07
CN102934445A (zh) 2013-02-13
US20130279574A1 (en) 2013-10-24
WO2011126274A3 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
CN102640492B (zh) 对图像边界的编码单元进行编码和解码的方法和设备
TWI669955B (zh) 視訊解碼/編碼裝置與方法、儲存位元串流的記錄媒體
CN104396245B (zh) 用于对图像进行编码或解码的方法和装置
KR101266168B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US11418786B2 (en) Image encoding and decoding apparatus, and image encoding and decoding method
CN102934446A (zh) 确定图像编码单元和图像解码单元的帧内预测模式
KR102127380B1 (ko) 적중률이 높은 ｍｐｍ을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
TW201309036A (zh) 使用亮度成分影像的預測色度成分影像用的裝置與方法
CN102934445B (zh) 基于分段对图像编码和解码的方法和设备
CN103238334A (zh) 图像帧内预测方法和设备
CN105264888A (zh) 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
CN102150427A (zh) 用于使用自适应环路滤波器进行视频编码的系统和方法
CN103299637A (zh) 运动图像编码装置、运动图像译码装置、运动图像编码方法以及运动图像译码方法
CN105284112A (zh) 用于确定量化参数的值的方法和装置
CN113810688B (zh) 视频编码方法、视频解码方法以及计算机可读介质
TWI790662B (zh) 一種編解碼方法、裝置及其設備
CN102187668A (zh) 消除一个或多个预定预测器的编码和解码
US20240089438A1 (en) Image encoding and decoding apparatus, and image encoding and decoding method
CN103313055B (zh) 一种基于分割的色度帧内预测方法、及视频编码解码方法
CN109889831A (zh) 基于cu尺寸的360度视频帧内模式选择
KR101767950B1 (ko) 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160323

Termination date: 20170405