CN103782596A - 使用图像的亮度分量的对图像的色度分量的预测方法和设备 - Google Patents

使用图像的亮度分量的对图像的色度分量的预测方法和设备 Download PDF

Info

Publication number
CN103782596A
CN103782596A CN201280042364.5A CN201280042364A CN103782596A CN 103782596 A CN103782596 A CN 103782596A CN 201280042364 A CN201280042364 A CN 201280042364A CN 103782596 A CN103782596 A CN 103782596A
Authority
CN
China
Prior art keywords
prediction unit
recl
unit
sampling
luma prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280042364.5A
Other languages
English (en)
Inventor
李泰美
陈建乐
范迪姆·谢廖金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103782596A publication Critical patent/CN103782596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Systems (AREA)

Abstract

提供一种用于通过使用亮度信号与色度信号之间的相关性从亮度信号预测色度信号的方法和设备。对色度分量图像进行预测的方法在考虑根据色度格式彼此相应的亮度预测单元的尺寸和色度预测单元的尺寸的同时，通过根据亮度信号的位置独立地应用各种下采样方法来产生与色度信号匹配的下采样的亮度信号，并从下采样的亮度信号预测色度信号。

Description

使用图像的亮度分量的对图像的色度分量的预测方法和设备
技术领域
本发明涉及对图像进行帧内预测，更具体地，涉及一种用于通过使用亮度信号和色度信号之间的相关性从先前恢复的亮度信号对色度信号进行预测的方法和设备。
背景技术
在图像压缩方法（诸如，运动图像专家组（MPEG）-1、MPEG-2、MPEG-4或H.264/MPEG-4高级视频编码（AVC））中，图像被划分为用于对图像进行编码的具有预定尺寸的块。随后，通过使用帧间预测或帧内预测对每个块进行预测编码。
通过从原始块减去经由帧间预测或帧内预测产生的预测块来产生残差块，并对产生的残差块进行离散余弦变换、量化和熵编码以产生比特流。
可选择地，以亮度分量和色度分量表示一个像素，随后亮度分量和色度分量均被编码和解码。
发明内容
本发明的技术目的
本发明提供一种方法和设备，所述方法和设备用于对亮度块进行下采样，并通过考虑根据色度格式（color format）的亮度块和色度块的尺寸差，通过使用下采样的亮度块对与亮度块相应的色度块进行预测。
实现技术目的的手段
根据本发明的实施例，对亮度信号进行下采样，获得下采样的亮度信号和色度信号之间的相关性，通过使用先前恢复的亮度信号对色度信号进行预测。
本发明的效果
根据本发明的实施例，可通过使用亮度信号和色度信号之间的相关性提高预测效率。
此外，根据本发明的实施例，在不需执行划分操作的情况下，通过获得用于定义亮度信号和色度信号之间的线性关系的参数，可减少预测所需的吞吐量，同时提高运算速度。
另外，根据本发明的实施例，可在保持数据精确性的同时防止在获得参数时可能产生的溢出。
附图说明
图1是根据本发明的实施例的用于对视频进行编码的设备的框图；
图2是根据本发明的实施例的用于对视频进行解码的设备的框图；
图3是用于描述根据本发明的实施例的编码单元的概念的示图；
图4是根据本发明的实施例的基于编码单元的图像编码器的框图；
图5是根据本发明的实施例的基于编码单元的图像解码器的框图；
图6是示出根据本发明的实施例的根据深度的较深层编码单元和分区（partition）的示图；
图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；
图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图；
图9是根据本发明的实施例的根据深度的较深层编码单元的示图；
图10至图12是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图；
图13是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图；
图14是根据本发明的实施例的帧内预测设备的框图；
图15A至图15C是色度格式的参考示图；
图16A和图16B是根据色度格式的亮度预测单元和色度预测单元的参考示图；
图17A至图17C是用于描述根据本发明的实施例的根据亮度像素的位置执行下采样的处理的示图；
图18A和图18B是用于描述根据本发明的实施例的获得指示亮度信号与色度信号之间相关性的参数的处理以及对色度信号进行预测的处理的参考示图；
图19是用于描述根据本发明的实施例的获得近似值的处理的示图；
图20是根据本发明的实施例的查找表的参考示图；
图21是示出根据本发明的实施例的对色度分量图像进行预测的方法的流程图。
实现本发明的最佳模式
根据本发明的一方面，提供一种通过使用亮度分量图像对色度分量图像进行预测的方法，所述方法包括：考虑根据色度格式彼此相应的亮度预测单元的尺寸和色度预测单元的尺寸，对已预先编码和预先恢复的亮度预测单元的内部像素以及所述亮度预测单元的邻近像素进行下采样；基于所述亮度预测单元的下采样的邻近像素以及预测的色度预测单元的恢复的邻近像素，获得指示所述亮度预测单元和预测的色度预测单元之间的相关性的参数；通过使用获得的参数从下采样的亮度预测单元获得与所述下采样的亮度预测单元相应的色度预测单元的预测值，其中，下采样的步骤包括：选择用于针对亮度预测单元的内部像素进行下采样的将从预定亮度像素组选择的亮度像素的第一位置或亮度像素的第一滤波方法；选择用于针对亮度预测单元的邻近的上部像素进行下采样的将从预定亮度像素组选择的亮度像素的第二位置或亮度像素的第二滤波方法；选择用于针对亮度预测单元的邻近的左侧像素进行下采样的将从预定亮度像素组选择的亮度像素的第三位置或亮度像素的第三滤波方法。
根据本发明的另一方面，提供一种用于通过使用亮度分量图像对色度分量图像进行预测的设备，所述设备包括：采样单元，用于考虑根据色度格式彼此相应的亮度预测单元的尺寸和色度预测单元的尺寸，对已预先编码和预先恢复的亮度预测单元的内部像素以及所述亮度预测单元的邻近像素进行下采样；参数获得单元，用于基于所述亮度预测单元的下采样的邻近像素以及预测的色度预测单元的恢复的邻近像素，获得指示所述亮度预测单元和预测的色度预测单元之间的相关性的参数；预测执行单元，用于通过使用获得的参数从下采样的亮度预测单元获得与所述下采样的亮度预测单元相应的色度预测单元的预测值，其中，采样单元选择用于针对亮度预测单元的内部像素进行下采样的将从预定亮度像素组选择的亮度像素的第一位置或亮度像素的第一滤波方法，选择用于针对亮度预测单元的邻近的上部像素进行下采样的将从预定亮度像素组选择的亮度像素的第二位置或亮度像素的第二滤波方法，选择用于针对亮度预测单元的邻近的左侧像素进行下采样的将从预定亮度像素组选择的亮度像素的第三位置或亮度像素的第三滤波方法。
具体实施方式
以下，将参照示出本发明的示例性实施例的附图来更充分地描述本发明。
图1是根据本发明的实施例的视频编码设备100的框图。
视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。
最大编码单元划分器110可基于针对图像的当前画面的最大编码单元来划分当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据本发明的实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是具有2的若干次方的宽度和长度的正方形。图像数据可根据至少一个最大编码单元被输出到编码单元确定器120。
根据本发明的实施例的编码单元可由最大尺寸和深度来表征。深度表示从最大编码单元空间划分编码单元的次数，并且随着深度加深，可将根据深度的较深层编码单元从最大编码单元划分为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此，与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据本发明的实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。
可预先确定编码单元的最大深度和最大尺寸，其中，编码单元的最大深度和最大尺寸限制最大编码单元的高度和宽度被分层地划分的总次数。
编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于输出最终编码的图像数据的深度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元对根据深度的较深层编码单元中的图像数据进行编码并选择具有最小编码误差的深度，来确定编码深度。确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。
基于与等于或低于最大深度的至少一个深度相应的较深层编码单元对最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
随着编码单元根据深度被分层地划分，并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中多个编码单元相应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中的每个编码单元划分至更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，在一个最大编码单元中编码误差可根据区域而不同，因此编码深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或多个编码深度，并且可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。
因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据本发明的实施例的“具有树结构的编码单元”包括最大编码单元中所包括的所有较深层编码单元中的与确定为编码深度的深度相应的编码单元。在最大编码单元的相同区域中，编码深度的编码单元可根据深度被分层地确定，在不同的区域中，具有该编码深度的编码单元可被独立地确定。类似地，当前区域中的编码深度可独立于另一区域中的编码深度被独立确定。
根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元执行划分次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单元的划分的总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度是0时，最大编码单元被划分一次的编码单元的深度可被设置为1，并且最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度为0、1、2、3和4的5个深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。
可根据最大编码单元执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的多个深度的较深层编码单元来执行预测编码和变换。
由于每当最大编码单元根据深度被划分时，较深层编码单元的数量增加，因此对随着深度的加深而产生的所有的较深层编码单元执行包括预测编码和变换的编码。为了便于描述，现在将基于在最大编码单元中的当前深度的编码单元来描述预测编码和变换。
视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行多个操作(诸如，预测编码、变换和熵编码)，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择与该编码单元不同的数据单元，以便对编码单元中的图像数据执行预测编码。
为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的多个编码单元的编码单元)执行预测编码。以下，不再被划分并且变为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元而获得的分区可包括：通过划分预测单元的高度和宽度中的至少一个而获得的预测单元或数据单元。
例如，当2N×2N(其中，N是正整数)的编码单元不再被划分并且变为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高度或宽度进行对称划分而获得的对称分区、通过对预测单元的高度或宽度进行不对称划分(诸如，1:n或n:1)而获得的分区、通过对预测单元进行几何划分而获得的分区以及具有任意形状的分区。
预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可基于与该编码单元不同的数据单元，对编码单元中的图像数据执行变换。
为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，用于变换的数据单元可包括用于帧内模式的数据单元以及用于帧间模式的数据单元。
用作变换的基础的数据单元现将被称为“变换单元”。与编码单元类似，编码单元中的变换单元可被递归地划分为更小尺寸的区域，从而变换单元可以以区域为单位被独立地确定。因此，编码单元中的残差数据可根据具有根据变换深度的树结构的变换单元被划分。
还可在变换单元中设置指示通过对编码单元的高度和宽度进行划分以达到变换单元的划分次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，因此变换深度可以是1，当变换单元的尺寸是N/2×N/2时，因此变换深度可以是2。换句话说，可根据变换深度设置具有树结构的变换单元。
根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
稍后将参照图3至图12来详细地描述根据本发明的实施例的最大编码单元中的根据树结构的编码单元以及确定分区的方法。
编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangian multiplier)的率失真优化来测量根据深度的较深层编码单元的编码误差。
输出单元130在比特流中输出最大编码单元的图像数据以及关于根据编码深度的编码模式的信息，其中，所述图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。
编码的图像数据可通过对图像的残差数据进行编码来获得。
关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元中的分区类型的信息、预测模式以及变换单元的尺寸。
可通过使用根据深度的划分信息来定义关于编码深度的信息，所述划分信息指示是否针对更低深度而非当前深度的编码单元来执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出，因此划分信息可被定义为不将当前编码单元划分为更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，因此划分信息可被定义为划分当前编码单元以获得更低深度的编码单元。
如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复地执行编码，因而可对具有相同深度的编码单元递归地执行编码。
由于对一个最大编码单元确定具有树结构的编码单元，并且对编码深度的编码单元确定关于至少一个编码模式的信息，因此可对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于图像数据根据深度被分层地划分，因此最大编码单元的图像数据的编码深度可根据位置而不同，因而可对图像数据设置关于编码深度以及编码模式的信息。
因此，输出单元130可将关于相应编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
根据本发明的实施例的最小单元是通过将组成最低深度的最小编码单元划分为4份而获得的正方形的数据单元。可选择地，最小单元可以是可被包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大正方形的数据单元。
例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息以及根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息以及关于分区的尺寸的信息。根据预测单元的编码信息可包括关于以下内容的信息：帧间模式的估计方向、帧间模式的参考图像索引、运动矢量、帧内模式的色度分量以及帧内模式的插值方法。此外，关于根据画面、条带或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入到比特流的头。
在视频编码设备100中，较深层编码单元可以是通过将作为上一层的更高深度的编码单元的高度或宽度除以二而获得的编码单元。换句话说，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，尺寸为2N×2N的当前深度的编码单元可包括最多4个更低深度的编码单元。
因此，视频编码设备100可通过基于考虑当前画面的特性所确定的最大编码单元的尺寸和最大深度，针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。另外，由于通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。
因此，如果在传统的宏块中对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量过度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩信息并且数据压缩效率降低。然而，通过使用视频编码设备100，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，同时在考虑图像的特征的同时调整编码单元，因此图像压缩效率会增加。
图2是根据本发明的实施例的视频解码设备200的框图。
视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。用于视频解码设备200的各种操作的各种术语（诸如，编码单元、深度、预测单元、变换单元和关于各种编码模式的信息）的定义与以上参照图1和视频编码设备100描述的那些定义一致。
接收器210接收编码视频的比特流以对其进行解析。图像数据和编码信息提取器220从解析的比特流提取用于每个编码单元的编码的图像数据，其中，编码单元具有根据每个最大编码单元的树结构，并将提取的图像数据输出到图像数据解码器230。图像数据和编码信息提取器220可从关于当前画面的头提取关于当前画面的编码单元的最大尺寸的信息。
另外，图像数据和编码信息提取器220从解析的比特流针对根据每个最大编码单元的具有树结构的编码单元提取关于编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。
可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，并且关于编码模式的信息可包括关于以下内容的信息：与编码深度相应的相应编码单元的分区类型、预测模式以及变换单元的尺寸。另外，根据深度的划分信息可被提取为关于编码深度的信息。
由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息：所述编码深度和编码模式被确定用于当编码器(诸如，视频编码设备100)根据每个最大编码单元针对根据深度的每个较深层编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。
由于关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元以及最小单元中的预定数据单元，因此，图像数据和编码信息提取器220可根据预定数据单元提取关于编码深度和编码模式的信息。如果根据预定数据单元记录关于相应的最大编码单元的编码深度和编码模式的信息，可将被分配相同的关于编码深度和编码模式的信息的预定数据单元推断为包括在相同的最大编码单元中的数据单元。
图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码来恢复当前画面。换句话说，图像数据解码器230可基于提取的关于包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的分区类型、预测模式和变换单元的信息来对编码图像数据进行解码。解码处理可包括预测（所述预测包括帧内预测和运动补偿）和反变换。
图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型以及预测模式的信息，根据每个编码单元的分区和预测模式来执行帧内预测或运动补偿。
另外，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的尺寸的信息，根据编码单元中的每个变换单元执行反变换，以便根据最大编码单元执行反变换。
图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的至少一个编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于与编码深度相应的每个编码单元的预测单元的分区类型、预测模式以及变换单元的尺寸的信息，来对当前最大编码单元中的与每个编码深度相应的至少一个编码单元的编码数据进行解码。
换句话说，可通过观察针对编码单元、预测单元和最小单元之中的预定数据单元分配的编码信息集，来收集包含包括相同划分信息的编码信息的数据单元，收集的数据单元可被认为是将由图像数据解码器230以相同的编码模式进行解码的一个数据单元。
视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并可使用所述信息来对当前画面进行解码。换句话说，可对每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。
因此，即使图像数据具有高分辨率和大数据量，也可通过使用从编码器接收的关于最佳编码模式的信息，通过使用根据图像数据的特性自适应地确定的编码单元的尺寸和编码模式来有效地对图像数据进行解码和恢复。
现将参照图3至图13描述根据本发明的实施例的确定具有树结构的编码单元、预测单元和变换单元的方法。
图3是用于描述根据本发明的实施例的编码单元的概念的示图。
编码单元的尺寸可按照宽度×高度来表示，并可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，并且最大深度是1。图3中示出的最大深度表示从最大编码单元到最小解码单元的划分总数。
如果分辨率高或者数据量大，则编码单元的最大尺寸可以较大以便不仅提高编码效率还准确地反映图像的特性。因此，分辨率比视频数据330更高的视频数据310和视频数据320的编码单元的最大尺寸可以是64。
由于视频数据310的最大深度是2，因此由于通过划分最大编码单元两次深度被加深到两层，视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32和16的编码单元。同时，由于视频数据330的最大深度是1，因此由于通过划分最大编码单元一次深度被加深到一层，视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元以及长轴尺寸为8的编码单元。
由于视频数据320的最大深度是3，因此由于通过划分最大编码单元三次深度被加深到3层，视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32、16和8的编码单元。随着深度的加深，可精确地表示详细的信息。
图4是根据本发明的实施例的基于编码单元的图像编码器400的框图。
图像编码器400执行视频编码设备100的编码单元确定器120的操作以对图像数据进行编码。换句话说，帧内预测器410在当前帧405中，在帧内模式下对编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，在当前帧405中在帧间模式下对编码单元执行帧间估计和运动补偿。
从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和反变换器470被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元480和环路滤波单元490被后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。
为了使图像编码器400被应用到视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480和环路滤波单元490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的多个编码单元中的每个编码单元执行操作。
具体地讲，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树结构的多个编码单元中的每个编码单元的分区和预测模式，并且变换器430确定具有树结构的多个编码单元的每个编码单元中的变换单元的尺寸。
图5是根据本发明的实施例的基于编码单元的图像解码器500的框图。
解析器510从比特流505解析将被解码的编码图像数据以及解码所需的关于编码的信息。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，并且反量化的数据通过反变换器540被恢复为空间域中的图像数据。
帧内预测器550针对空间域中的图像数据在帧内模式下对编码单元执行帧内预测，运动补偿器560通过使用参考帧585在帧间模式下对编码单元执行运动补偿。
经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和环路滤波单元580被后处理之后被输出为恢复的帧595。另外，经过去块单元570和环路滤波单元580被后处理的图像数据可被输出为参考帧585。
为了对视频解码设备200的图像数据解码器230中的图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。
为了使图像解码器500被应用到图像解码设备200中，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、反变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580)基于每个最大编码单元的具有树结构的编码单元执行操作。
具体地讲，帧内预测550和运动补偿器560针对每个具有树结构的编码单元基于分区和预测模式执行操作，并且反变换器540针对每个编码单元基于变换单元的尺寸执行操作。
图6是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图。
视频编码设备100和视频解码设备200使用分层的编码单元以考虑图像的特性。编码单元的最大高度、最大宽度和最大深度可根据图像的特性被自适应地确定，或者可由用户不同地设置。根据深度的较深层编码单元的尺寸可根据编码单元的预定最大尺寸被确定。
根据本发明的实施例，在编码单元的分层结构600中，编码单元的最大高度和最大宽度都是64，并且最大深度是4。由于深度沿着分层结构600的纵轴加深，因此较深层编码单元的高度和宽度都被划分。另外，作为用于每个较深层编码单元的预测编码的基础的预测单元和分区沿分层结构600的横轴被显示。
换句话说，编码单元610是分层结构600中的最大编码单元，其中，深度是0，尺寸(即，高度乘宽度)是64×64。深度沿纵轴加深，并且存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630、尺寸为8×8且深度为3的编码单元640以及尺寸为4×4且深度为4的编码单元650。尺寸为4×4且深度为4的编码单元650是最小编码单元。
编码单元的预测单元和分区根据每个深度沿横轴排列。换句话说，如果尺寸为64×64且深度为0的编码单元610是预测单元，则该预测单元可被划分为包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614、或者尺寸为32×32的分区616。
类似地，尺寸为32×32且深度为1的编码单元620的预测单元可被划分为包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624以及尺寸为16×16的分区626。
类似地，尺寸为16×16且深度为2的编码单元630的预测单元可被划分为包括在编码单元630中的分区，即，包括在编码单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634以及尺寸为8×8的分区636。
类似地，尺寸为8×8且深度为3的编码单元640的预测单元可被划分为包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644以及尺寸为4×4的分区646。
尺寸为4×4且深度为4的编码单元650是最小编码单元以及最低深度的编码单元。编码单元650的预测单元仅被分配给尺寸为4×4的分区。
为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
随着深度加深，包括相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元以覆盖包括在一个与深度1相应的编码单元中的数据。因此，为了对相同数据的根据深度的多个编码结果进行比较，与深度1相应的编码单元以及与深度2相应的四个编码单元都被编码。
为了针对多个深度中的当前深度执行编码，可通过沿分层结构600的横轴，对与当前深度相应的多个编码单元中的每个预测单元执行编码来针对当前深度选择最小编码误差。可选择地，随着深度沿分层结构600的纵轴加深，可通过针对每个深度执行编码以比较根据深度的最小编码误差，来搜索最小编码误差。在编码单元610中的具有最小编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。
图7是用于描述根据本发明的实施例的编码单元710和变换单元720之间的关系的示图。
视频编码设备100或视频解码设备200针对每个最大编码单元根据尺寸小于或等于最大编码单元的编码单元来对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择在编码期间用于变换的变换单元的尺寸。
例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。
另外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行变换，来对尺寸为64×64的编码单元710的数据进行编码，并且随后可选择具有最小编码误差的变换单元。
图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图。
视频编码设备100的输出单元130可对关于分区类型的信息800、关于预测模式的信息810以及关于与编码深度相应的每个编码单元的变换单元的尺寸的信息820进行编码和发送，作为关于编码模式的信息。
信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可被划分为如下分区中的任何一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。这里，关于分区类型的信息800被设置为指示尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808中的一个。
信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式（即，帧内模式812、帧间模式814或跳过模式816）。
信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。
视频解码设备200的图像数据和编码信息提取器210可根据每个较深层编码单元来提取并使用用于解码的信息800、信息810和信息820。
图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
划分信息可用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。
用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括如下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916以及尺寸为N_0×N_0的分区类型918。图9仅示出通过对预测单元910进行对称划分而获得的分区类型912至918，但是分区类型不限于此，并且预测单元910的分区可包括不对称分区、具有预定形状的分区以及具有几何形状的分区。
根据每个分区类型对如下分区重复地执行预测编码：尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区以及尺寸为N_0×N_0的四个分区。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
如果在分区类型912至916之一中的编码误差最小，则预测单元910可不被划分为更低深度。
如果在分区类型918中的编码误差最小，则在操作920，深度从0改变为1以划分分区类型918，并且对深度为2且尺寸为N_0×N_0的编码单元930重复地执行编码以搜索最小编码误差。
用于对深度为1且尺寸为2N_1×2N_1(=N_0×N_0)的编码单元930进行预测编码的预测单元940可包括如下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946以及尺寸为N_1×N_1的分区类型948。
如果在分区类型948中编码误差最小，则在操作950，深度从1改变为2以划分分区类型948，并且对深度为2且尺寸为N_2×N_2的编码单元960重复地执行编码以搜索最小编码误差。
当最大深度是d时，根据每个深度的划分操作可被执行直到深度变为d-1，并且划分信息可被编码直到深度是0至d-2之一。换句话说，当执行编码直到在操作970与深度d-2相应的编码单元被划分之后深度是d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括如下分区类型的分区：尺寸为2N_(d-1)×2N_(d-1)的分区类型992、尺寸为2N_(d-1)×N_(d-1)的分区类型994、尺寸为N_(d-1)×2N_(d-1)的分区类型996以及尺寸为N_(d-1)×N_(d-1)的分区类型998。
可对分区类型992至998中的如下分区重复地执行预测编码以搜索具有最小编码误差的分区类型：尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区。
即使在分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)不再被划分到更低深度，并且构成当前最大编码单元900的编码单元的编码深度被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。另外，由于最大深度是d并且具有最低深度d-1的最小编码单元980不再被划分为更低深度，因此最小编码单元980的划分信息不被设置。
数据单元999可以是当前最大编码单元的“最小单元”。根据本发明的实施例的最小单元可以是通过将最小编码单元980划分为4份而获得的正方形的数据单元。通过重复地执行编码，视频编码设备100可通过比较根据编码单元900的多个深度的多个编码误差来选择具有最小编码误差的深度以确定编码深度，并且将相应分区类型以及预测模式设置为编码深度的编码模式。
这样，根据深度的最小编码误差在所有的深度1至d中被比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型以及预测模式可被编码并作为关于编码模式的信息被发送。另外，由于编码单元从深度0被划分到编码深度，因此仅该编码深度的划分信息被设置0，除了编码深度之外的深度的划分信息被设置为1。
视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度以及预测单元的信息以对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息来将划分信息是0的深度确定为编码深度，并且使用关于相应深度的编码模式的信息用于解码。
图10至图12是用于描述根据本发明的实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。
编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。
当在编码单元1010中最大编码单元的深度是0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。
在预测单元1060中，一些编码单元1014、1016、1022、1032、1048、1050、1052和1054通过划分编码单元1010中的编码单元而获得。换句话说，编码单元1014、1022、1050和1054中的分区类型的尺寸为2N×N，编码单元1016、1048和1052中的分区类型的尺寸为N×2N，编码单元1032的分区类型的尺寸为N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。
以小于编码单元1052的数据单元对变换单元1070中的编码单元1052的图像数据执行变换或反变换。另外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052在尺寸和形状上与预测单元1060中的编码单元1014、1016、1022、1032、1048、1050、1052不同。换句话说，视频编码设备100和视频解码设备200可对相同编码单元中的数据单元独立地执行帧内预测、运动估计、运动补偿、变换和反变换。
因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码，以确定最佳编码单元，因此可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1显示可由视频编码设备100和视频解码设备200设置的编码信息。
表1
视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，并且视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。
划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分为更低深度的深度是编码深度，因此可针对编码深度定义关于分区类型、预测模式以及变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一个。可在所有分区类型中定义帧内模式和帧间模式，并且可仅在尺寸为2N×2N的分区类型中定义跳过模式。
关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型、以及通过不对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的不对称分区类型。可通过以1:3和3:1划分预测单元的高度来分别地获得尺寸为2N×nU和2N×nD的不对称分区类型，可通过以1:3和3:1划分预测单元的宽度来分别地获得尺寸为nL×2N和nR×2N的不对称分区类型。
变换单元的尺寸可被设置为帧内模式中的两种类型以及帧间模式中的两种类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是作为当前编码单元的尺寸的2N×2N。如果变换单元的划分信息是1，则可通过划分当前编码单元来获得变换单元。另外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是不对称分区类型，则变换单元的尺寸可以是N/2×N/2。
关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测单元以及最小单元中的至少一个。与编码深度相应的编码单元可包括：包含相同编码信息的预测单元和最小单元中的至少一个。
因此，通过对邻近数据单元的编码信息进行比较，来确定邻近数据单元是否被包括在与编码深度相应的相同编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，因此最大编码单元中的编码深度的分布可被确定。
因此，如果基于邻近数据单元的编码信息预测当前编码单元，则与当前编码单元邻近的较深层编码单元中的数据单元的编码信息可被直接参考和使用。
可选择地，如果基于邻近数据单元的编码信息来预测当前编码单元，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并且搜索到的邻近编码单元可被参考以用于预测当前编码单元。
图13是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图。
最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可被设置为0。关于尺寸为2N×2N的编码单元1318的分区类型的信息可被设置为以下分区类型之一：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336和尺寸为nR×2N的分区类型1338。
当分区类型被设置为对称（即，分区类型1322、1324、1326或1328）时，如果变换单元的划分信息(TU尺寸标记)为0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标记为1，则设置尺寸为N×N的变换单元1344。
当分区类型被设置为不对称（即，分区类型1332、1334、1336或1338）时，如果TU尺寸标记为0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标记为1，则设置尺寸为N/2×N/2的变换单元1354。
以下，将详细描述由图4的图像编码器400和图5的图像解码器500执行的预测操作。可在新的帧内预测模式下由图4的帧内预测器410和图5的帧内预测器550执行根据本发明的实施例的从亮度分量预测单元对色度分量预测单元进行预测的处理。从亮度分量预测单元对色度分量预测单元进行预测的帧内预测模式可被称为Intra_FromLuma模式。
一般来说，彩色视频信号的每个像素需要至少三个颜色分量来表示颜色。色彩空间包括各种类型，诸如，RGB色彩空间、YCbCr色彩空间和YUV色彩空间，其中，在RGB色彩空间中通过显示红、绿和兰的相对比例的三个像素值指示彩色视频信号的每个采样点，在YCbCr色彩空间和YUV色彩空间中，考虑到人类视觉系统（HVS）对亮度分量比对色度分量更加敏感，在彩色视频信号中将亮度分量和色度分量彼此分离。一般的视频编码/解码方法通过将视频信号划分为多个颜色分量来对视频信号进行编码和解码。在这样的包括多个颜色分量的视频信号中，在表示相同像素的颜色分量之间会存在统一的相关性。例如，在相同的块中的像素的亮度分量（Y）的值和色度分量（Cb和Cr）的值可具有类似的样式。
因此，根据本发明的实施例的预测设备在执行当前色度预测单元的处理之前，通过使用编码和恢复的邻近亮度像素和恢复的邻近色度像素，获得指示亮度信号与色度信号之间的线性相关性的参数，并通过使用获得的参数从先前编码和恢复的邻近亮度像素单元产生当前色度预测单元的预测值。根据本发明的实施例，在考虑根据色度格式的亮度预测单元与色度预测单元之间的尺寸差的同时，将不同的下采样方法应用于亮度预测单元的内部像素、邻近的上部像素和邻近的左侧像素来对与色度像素相应的亮度像素进行采样。本发明的实施例提供一种通过避免对硬件造成负担的划分操作并仅使用移位运算、乘法运算、加法运算、减法运算并访问查找表，来有效地获得指示亮度信号与色度信号之间的线性相关性的参数的方法。此外，本发明的实施例提供一种通过将在获得参数时所需的值与存储在查找表中并通过参考查找表来获得参数，来减少吞吐量的方法。以下，虽然从亮度分量的像素对相应的色度分量的像素进行预测，但对于本领域的普通技术人员而言显然的是可将本发明的实施例应用于除了YCbCr色彩空间之外的其他色彩空间（诸如，RGB色彩空间）。
图14是根据本发明的实施例的帧内预测设备1400的框图。
参照图14，帧内预测设备1400包括采样单元1410、参数获得单元1420和预测执行单元1430。
当亮度预测单元的尺寸大于色度预测单元的尺寸时，采样单元1410通过对恢复的亮度预测单元的像素和邻近像素进行下采样，来对亮度信号进行下采样，使得亮度预测单元的尺寸和色度预测单元的尺寸相同。稍后将详细描述对亮度信号进行下采样的处理。以下，亮度分量的像素被称为亮度像素，色度分量的像素被称为色度像素。
参数获得单元1420基于色度预测单元的恢复的邻近像素和与色度预测单元相应的亮度预测单元的恢复的邻近像素，获得指示色度预测单元与亮度预测单元之间的相关性的参数。具体地讲，参数获得单元1410执行改变比特深度的缩放操作，以便防止在计算查找表的大小并获得参数时产生溢出。稍后将描述参数获得单元1410的详细操作。
预测执行单元1430通过使用获得的参数从恢复的亮度像素对相应的色度像素进行预测。
图15A至图15C是包括多个颜色分量色度格式的参考示图，图16A和图16B是根据色度格式的亮度预测单元和色度预测单元的参考示图。
图15A至图15C的4:2:0色度格式、4:2:2色度格式和4:4:4色度格式中的每个数值分别显示沿水平方向的相对采样率。例如，在4:4:4色度格式中，对于四个Y亮度像素1530，存在四个Cb色度像素和四个Cr色度像素。参照图16A，当在4:4:4色度格式中Y亮度预测单元的尺寸是2N×2M（其中，N和M是整数）时，与Y亮度预测单元相应的Cb色度预测单元和Cr色度预测单元也具有2N×2M的尺寸。在4:2:2色度格式中，Cb色度分量和Cr色度分量沿垂直方向具有与Y亮度分量相同的分辨率，而沿水平方向具有Y亮度分量的一半的分辨率。换句话说，在4:2:2色度格式中，沿水平方向每四个Y亮度像素1510存在两个Cb色度像素和两个Cr色度像素。此外，在4:2:0色度格式中，Cb色度分量和Cr色度分量沿水平方向和垂直方向具有Y亮度分量的一半的分辨率。换句话说，在4:2:0色度格式中，Cb色度分量和Cr色度分量与Y亮度分量的像素数量相比具有1/4的像素，并且如图16B所示，相应的Cb色度预测单元和Cr色度预测单元具有尺寸N×M，其中，尺寸N×M与具有尺寸2N×2M的Y亮度预测单元相比是沿水平方向和垂直方向的1/2的分辨率。
因此，当如在4:2:2色度格式或4:2:0色度格式中亮度预测单元大于色度预测单元时，采样单元1410对恢复的亮度预测单元以及恢复的亮度预测单元的邻近像素进行下采样使得亮度信号和色度信号匹配为1:1。
具体地讲，根据本发明的实施例的采样单元1410通过对亮度预测单元的内部像素、亮度预测单元的邻近的上部像素以及亮度预测单元的邻近的左侧像素分别应用独立的下采样方法来执行下采样。下采样方法的示例包括从具有预定尺寸的亮度像素组（例如，2×2亮度像素组）选择一个像素的方法、以及对于预定亮度像素组中的亮度像素独立地确定滤波方向（水平方向或垂直方向）、滤波器抽头的数量以及滤波器系数，并执行滤波以将一个经过滤波的亮度像素选作下采样的像素的方法。这样，采样单元1410对亮度像素进行下采样，以便通过使用如下的各种下采样方法之一来将色度像素匹配为1:1：诸如，使用从具有预定尺寸的亮度像素组选择的在沿预定方向的线上的多个邻近亮度像素的均值（2抽头滤波器）的下采样方法、使用从具有预定尺寸的亮度像素组选择的沿预定方向的多个邻近亮度像素的加权均值（n抽头滤波器）的下采样方法、以及选择具有预定尺寸的亮度像素组中的预定位置的亮度像素的下采样方法。例如，采样单元1410选择用于对亮度预测单元的内部像素进行下采样的将从预定亮度像素组选择的亮度像素的第一位置或亮度像素的第一滤波方法，选择用于对亮度预测单元的邻近的上部像素进行下采样的将从预定亮度像素组选择的亮度像素的第二位置或亮度像素的第二滤波方法，并选择用于对亮度预测单元的邻近的左侧像素进行下采样的将从预定亮度像素组选择的亮度像素的第三位置或亮度像素的第三滤波方法。这里，独立地确定用于对亮度预测单元的内部像素进行下采样的第一位置和第一滤波方法、用于对亮度预测单元的邻近的上部像素进行下采样的第二位置和第二滤波方法以及用于对亮度预测单元的邻近的左侧像素进行下采样的第三位置和第三滤波方法，因此它们可彼此相同或彼此不同。此外，采样单元1410通过对亮度预测单元的内部像素、邻近的上部像素和邻近的左侧像素独立地应用滤波方法来执行下采样。
以下，将描述根据本发明的实施例的对亮度像素进行下采样的各种方法。
图16A是用于描述根据本发明的实施例的对亮度信号进行下采样的处理的参考示图。
参照图16A，采样单元1410可将亮度像素组1610（包括四个亮度像素PLM(2x,2y)、PLM(2x+1,2y)、PLM(2x,2y-1)和P(2x+1,2y-1)）下采样为一个亮度像素。详细地，采样单元1410通过使用三个像素（即，位于亮度像素组1610的左下侧的亮度像素PLM(2x,2y)、以及位于亮度像素PLM(2x,2y)的右侧和左侧的亮度像素PLM(2x-1,2y)和PLM(2x+1,2y)）计算加权均值，来获得与位置（x，y）处的色度像素相应的下采样的亮度像素，其中，x和y均是整数。例如，与位置（x，y）处的色度像素相应的下采样的亮度像素pr'(x,y)可根据等式pr'(x,y)=(PLM(2x-1,2y)+2×PLM(2x,2y)+PLM(2x+1,2y)+2)>>2来获得。
类似地，采样单元1410可将亮度像素组1620（包括四个亮度像素PLM(2x+2,2y)、PLM(2x+3,2y)、PLM(2x+2,2y-1)和P(2x+3,2y-1)）下采样为一个亮度像素。详细地，采样单元1410通过使用三个亮度像素（即，位于亮度像素组1620的左下侧的亮度像素PLM(2x+2,2y)以及位于亮度像素PLM(2x+2,2y)的左侧和右侧的亮度像素PLM(2x+1,2y)和PLM(2x+3,2y)）计算加权均值，来获得与位置（x，y）处的色度像素相应的下采样的亮度像素，其中，x和y均是整数。例如，与位置（x+1,y）处的色度像素相应的下采样的亮度像素pr'(x+1,y)可根据等式pr'(x+1,y)=(PLM(2x+1,2y)+2×PLM(2x+2,2y)+PLM(2x+3,2y)+2)>>2来获得。
在以上实施例中，虽然采样单元1410通过将权值2设置到中心亮度像素并将权值1设置到中心亮度像素的左侧和右侧的亮度像素中的每个亮度像素来计算加权均值，以执行下采样，但所述权值可改变，并且用于计算加权均值的中心像素和邻近像素的位置和数量可改变。
图16B是用于描述根据本发明的另一实施例的亮度信号下采样的处理的参考示图。
参照图16B，采样单元1410可通过使用从四个亮度像素PLM(2x,2y)、PLM(2x+1,2y)、PLM(2x,2y-1)和P(2x+1,2y-1)选择的在沿预定方向的线上的亮度像素的均值，或通过选择预定位置处的亮度像素，来获得与位置（x，y）处的色度像素相应的下采样的亮度像素pr'(x,y)，其中，x和y均是整数。
详细地，采样单元1410可通过从四个亮度像素PLM(2x,2y)、PLM(2x+1,2y)、PLM(2x,2y-1)和P(2x+1,2y-1)选择预定位置处的一个亮度像素来获得下采样的亮度像素pr'(x,y)。可选择地，采样单元1410可将沿水平方向邻近的亮度像素PLM(2x,2y)和PLM(2x+1,2y)或亮度像素PLM(2x,2y-1)和P(2x+1,2y-1)的均值确定为下采样的亮度像素pr'(x,y)。可选择地，采样单元1410可将沿垂直方向相邻的亮度像素PLM(2x,2y)和PLM(2x,2y-1)或亮度像素PLM(2x+1,2y)和P(2x+1,2y-1)的均值确定为下采样的亮度像素pr'(x,y)。
采样单元1410通过根据亮度像素的位置不同地应用各种下采样方法来执行下采样使得亮度像素和色度匹配为1:1。
图17A至图17C是用于描述根据本发明的实施例的根据亮度像素的位置执行下采样的处理的示图。
参照图17A，当亮度预测单元1710的尺寸是2nSx2nS并且色度预测单元1720的尺寸时nS×nS（其中，nS是正整数）时，采样单元1410对亮度预测单元1710和邻近像素执行下采样，从而下采样的亮度预测单元和下采样的邻近像素与色度预测单元1720和邻近像素匹配。
详细地，当RecL（x,y）(x和y是从0到2nS-1)表示亮度预测单元1710的内部亮度像素时，RecL（x,-1）(x是从0到2nS-1)表示亮度预测单元1710的上部亮度像素，RecL（-1,y）（y是从0到2nS-1）表示亮度预测单元1710的左侧亮度像素，RecL'(x,y)表示与位置(x,y)处的色度像素相应的下采样的亮度像素，采样单元1410可针对亮度预测单元1710的邻近的上部像素，根据等式RecL'(x,-1)=(RecL(2x,-2)+RecL(2x,-1))>>1，获得与色度预测单元1720的邻近的上部像素Pc（x,-1）相应的下采样的亮度像素RecL'(x,-1)。例如，采样单元1410可通过使用亮度预测单元1710上面的亮度像素组171中的位置(2x,-2)和(2x,-1)处的亮度像素的均值执行下采样。
此外，采样单元1410可针对亮度预测单元1710的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-2,2y)+RecL(-2,2y+1))>>1，获得与色度预测单元1720的邻近的左侧像素Pc（-1,y）相应的下采样的亮度像素RecL'(-1,y)。
此外，采样单元1410可针对亮度预测单元1710的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，获得与色度预测单元1720的内部像素Pc(x,y)相应的下采样的亮度像素RecL'(x,y)。
参照图17B，根据本发明的另一实施例的采样单元1410可针对亮度预测单元1730的邻近的上部像素，根据等式RecL'(x,-1)=RecL(2x,-1)，获得与色度预测单元的邻近的上部像素Pc（x,-1）相应的下采样的亮度像素RecL'(x,-1)。例如，采样单元1410可通过选择亮度预测单元1730上面的亮度像素组1731中的位置（2x,-1）处的亮度像素来执行下采样。
此外，采样单元1410可针对亮度预测单元1730的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1，获得与色度预测单元的邻近的左侧像素Pc（-1,y）相应的下采样的亮度像素RecL'(-1,y)。例如，采样单元1410可通过使用包括在亮度预测单元1730的左侧的亮度像素组1732中的亮度像素RecL(-1,2y)和RecL(-1,2y+1)的均值来执行下采样。
此外，采样单元1410可针对亮度预测单元1730的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，获得与色度预测单元的内部像素Pc(x,y)相应的下采样的亮度像素RecL'(x,y)。
参照图17C，根据本发明的另一实施例的采样单元1410可针对亮度预测单元1740的邻近的上部像素，根据等式RecL'(x,-1)=RecL(2x,-1)，获得与色度预测单元的邻近的上部像素Pc(x,-1)相应的下采样的亮度像素RecL'(x,-1)。例如，采样单元17410可通过选择包括在亮度预测单元1740上面的亮度像素组1741中的在(2x,-1)处的亮度像素来执行下采样。
此外，采样单元1410可针对亮度预测单元1740的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-2,2y)+RecL(-2,2y+1))>>1，获得与色度预测单元的邻近的左侧像素Pc(-1,y)相应的下采样的亮度像素RecL'(-1,y)。例如，采样单元1410可通过使用包括在亮度预测单元1740的左侧的亮度像素组1742中的亮度像素RecL（-2,2y）和RecL（-2,2y+1）的均值来执行下采样。
此外，采样单元1410可针对亮度预测单元1740的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，获得与色度预测单元的内部像素Pc（x,y）相应的下采样的亮度像素RecL'(x,y)。
根据本发明的另一示例性实施例的采样单元1410可针对亮度预测单元的邻近的上部像素，根据等式RecL'(x,-1)=(RecL(2x-1,-1)+2×RecL(2x,-1)+RecL(2x+1,-1)+2)>>2，获得与色度预测单元的邻近的上部像素Pc（x,-1）相应的下采样的亮度像素RecL'(x,-1)。如以上参照图16A所述，采样单元1410可针对亮度预测单元的邻近的上部亮度像素，通过将权值2设置到中心亮度像素并将权值1设置到中心亮度像素的左侧和右侧处亮度像素中的每个亮度像素来计算加权均值，以执行下采样。
此外，采样单元1410可针对亮度预测单元的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1，获得与色度预测单元的邻近的左侧像素Pc(-1,y)相应的下采样的亮度像素RecL'(-1,y)，并且针对亮度预测单元的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，获得与色度预测单元的邻近的内部像素Pc(x,y)相应的下采样的亮度像素RecL'(x,y)。
这样，根据本发明的实施例的采样单元1410通过根据亮度像素的位置应用各种采样方法来获得与色度像素相应的下采样的亮度像素。
由于亮度像素和色度像素匹配为1:1，因此上述采样单元1410可仅在4:2:2或4:2:0色度格式下执行下采样，并在4:4:4色度格式下跳过下采样。
在4:4:4色度格式下，由于U分量信号和V分量信号具有比Y分量信号相对更窄的频带，因此可额外地将低通滤波器而不是下采样滤波器应用于恢复的亮度信号以提高预测效率。
以下，现将描述通过使用经由下采样与色度信号匹配为1:1的亮度信号来对色度信号进行预测的处理。假设对亮度信号进行下采样以便与色度信号匹配为1:1。
图18A和图18B是用于描述根据本发明的实施例的获得指示亮度信号和色度信号之间的相关性的参数的处理和对色度信号进行预测的处理的参考示图。
彼此相应的亮度像素和色度像素具有预定相关性，例如，线性相关性。参照图18A和图18B，当Rec_L'(x,y)表示预先恢复的亮度预测单元1820中的位置(x,y)处的像素时，预测执行单元1430可根据下面的等式1，通过使用亮度信号和色度信号之间的线性关系获得色度预测单元1810的位置(x,y)处的预测值Pred_c(x,y)。
[等式1]
Pred_c(x，y)＝a·Rec_L′(x，y)+b
在等式1中，a表示指示权值的参数，b表示指示偏移的参数。如等式2和等式3所示，可通过使用色度预测单元1810的邻近的像素Rec_c(i)1811和1812以及预存储的亮度预测单元1820的邻近像素Rec_L'(i)1821和1822（其中，i是从0到2nS-1）进行计算，来获得a和b的值。
[等式2]
a = I · Σ i = 0 I - 1 Rec _ c ( i ) · Rec _ L ′ ( i ) - Σ i = 0 I - 1 Rec _ c ( i ) · Σ i = 0 I - 1 Rec _ L ′ ( i ) I · Σ i = 0 I - 1 Rec _ L ′ ( i ) · Rec _ L ′ ( i ) - ( Σ i = 0 I - 1 Rec _ L ′ ( i ) ) 2 = A 1 A 2
[等式3]
b = Σ i = 0 I - 1 Rec _ c ( i ) - a · Σ i = 0 I - 1 Rec _ L ′ ( i ) I
在等式2和等式3中，I表示色度预测单元1810或预存储的亮度预测单元1820的邻近的上部像素和邻近的左侧像素的数量，并且如图18A和图18B所示，当色度预测单元1810和预存储的亮度预测单元1820的尺寸是nSxnS时，I是2nS。图18A和图18B示出将上部像素和左侧像素用作邻近像素的情况下，但是如果邻近的右侧像素或底部像素在当前预测单元之前被处理和恢复，则也可将邻近的右侧像素或底部像素用于获得a和b的值。此外，为了将乘法运算或除法运算替换为移位运算，邻近像素的数量I可以是2的幂次方。一般来说，由于定义预定单元的尺寸的值nS是2的幂次方，因此I也具有2的幂次方的值。
同时，浮点运算用于通过使用等式2以高数据精确度计算a的值。然而，当a的值具有浮点值时，等式2包括浮点除法，因此运算的复杂度增加。因此，根据本发明的实施例的参数获得单元1420计算根据通过改变等式2和等式3获得的整数运算算法缩放的参数a'和参数b'，以在简化运算的同时防止溢出。
详细地，为了防止浮点运算，如下面的等式4所示，使用通过按照na比特将值a放大（upscaling）并进行四舍五入而获得的整数a'来代替等式2中的值a。
[等式4]
a &prime; = a &CenterDot; ( 1 < < n a ) = A 1 A 2 &CenterDot; ( 1 < < n a )
根据等式4，可通过经由左移运算（<<）将组成浮点数的值放大和四舍五入来将其改变为整数a'。可通过考虑数据精确度和计算复杂度来设置na比特。例如，na可以是13。此外，也可将根据等式3的值b改变为通过对等式4中的值a'进行改变和四舍五入而获得的整数b'。当使用整数a'和b'时，可将等式1改变为下面的等式5。
[等式5]
Pred_c(x，y)＝(a′·Rec_L′(x，y)＞＞na)+b′
同时，为了基于等式4计算整数a'，需要计算A1/A2。可使用近似值A1'和A2'来代替A1和A2，其中，通过将除A1和A2的预定数量的上部比特以外的比特改变为0来产生近似值A1'和A2'。详细地，可分别通过下面的等式6和等式7来表示近似值A1'和近似值A2'，其中，通过将除A1的上部的nA1比特以外的比特改变为0来产生近似值A1'，通过将除A2的上部的nA2比特以外的比特改变为0来产生近似值A2'。
[等式6]
A 1 &prime; = [ A 1 > > r A 1 ] &CenterDot; 2 r A 1
[等式7]
A 2 &prime; = [ A 2 > > r A 2 ] &CenterDot; 2 r A 2
在等式6中，a[.]运算指示向下取整（floor）运算，即，选择比在[]内的值小的最大整数的运算，rA1=max(bdepth(A1)-nA1,0)并且rA2=max(bdepth(A2)-nA2,0)。bdepth(A1)和bdepth(A2)分别指示A1和A2的比特深度。此外，可在设置nA1的同时考虑在乘法期间产生的比特的数量，以便防止溢出，例如，nA1可以是15。此外，nA2与稍后将描述的查找表的大小相关，例如，在基于64个变量的查找表中，nA2可以是6。
图19是用于描述根据本发明的实施例的获得近似值A2'的处理的示图。
如图19所示，假设A2的比特深度是27，整个比特深度是32。当nA2=6并且rA2=max(27-6,0)=21时，经由运算[A2>>21]提取作为A2的上部的6比特的'101011'1910。当2rA2(即，221)再次乘以值[A2>>21]时，除上部的6比特以外的剩余的21比特具有值0，因此获得A2'的近似值。
当将等式6和等式7应用于等式4时，获得等式8。
[等式8]
a &prime; &ap; [ A 1 > > r A 1 ] &CenterDot; 2 r A 1 [ A 2 > > r A 2 ] &CenterDot; 2 r A 2 &CenterDot; 2 n a = 2 n table &CenterDot; [ A 1 > > r A 1 ] &CenterDot; 2 r A 1 + n a [ A 2 > > r A 2 ] &CenterDot; 2 r A 2 + n table &ap; [ 2 n table A 2 > > r A 2 ] &CenterDot; [ A 1 > > r A 1 ] &CenterDot; 2 r A 1 + n a - ( r A 2 + n table )
在等式8中，可考虑数据精确度和运算复杂度来确定ntable，例如，ntable可以是15。
在等式8中，包括除法运算。为了避免除法运算，可将
Figure BDA0000471114180000294
的结果值存储在预定查找表中而不进行除法运算，值a'通过参考预定查找表根据等式8来获得。当像这样使用预定查找表时，在基于等式8计算a'时，可仅经由乘法运算和移位运算来获得值a'，而不必执行除法运算。
图20是根据本发明的实施例的查找表的参考示图。
当nA2=6时，
Figure BDA0000471114180000295
的情况的数量与A2的上部的6比特的情况的数量相同。换句话说，可通过使用具有2^(nA2)=2^6（即，总共64个元素）的查找表来确定
Figure BDA0000471114180000301
因此，如图20所示，参数获得单元1420可通过使用存储与A2的上部的6比特的64个变量相应的
Figure BDA0000471114180000302
的查找表来获得
Figure BDA0000471114180000303
当获得
Figure BDA0000471114180000304
时，参数获得单元1420可基于等式8通过使用乘法运算和移位运算来计算值a'。
此外，参数获得单元1420可根据等式9通过使用获得的值a'来计算值b'。
[等式9]
b &prime; = &Sigma; i = 0 I - 1 Rec _ c ( i ) - ( a &prime; &CenterDot; ( &Sigma; i = 0 I - 1 Rec _ L &prime; ( i ) ) > > n a ) I
当I是2的幂次方时，可计算基于等式9的值b'，而不需进行除法运算。如果由于将上部左侧或上部右侧的邻近的像素而非如图18A和图18B所示的邻近像素用作邻近像素，因此I不是2的幂次方，则可将值（1/I）存储在查找表中并且可通过将根据查找表的值（1/I）乘以等式9的分子来获得值b'。
可剪切（clip）基于等式8的值a'，使得在预定比特内执行根据等式5的乘法运算。例如，当以16比特执行根据等式5的乘法运算时，将值a'剪切在[-2-15,215-1]的范围内。当na是13时，a的实际值可限制在[-4,4]的范围内以便避免误差。
同时，为了在参数获得单元1420基于等式8计算值a'时减少取整误差，可根据值A1和值A2适应性地确定na，而na并非常数。例如，可根据下面的等式10来确定na。
[等式10]
na＝rA2+ntable-rA1
当等式10被代入等式8时，可获得下面的等式11。
a &prime; &ap; [ 2 n table A 2 > > r A 2 ] &CenterDot; A 1 > > r A 1 ]
为了将值a'保持为预定比特，a'的比特深度必需被调整。例如，为了将a'的比特深度保持为(a_bits)比特，当根据等式bitAdjust=max(0,bdepth(abs(a'))-(a_bits-1))获得用于调整a'的比特深度的变量bitAdjust时，参数获得单元1420经由a'=a'>>bitAdjust减少a'的比特深度。为了将值a'保持为低于8比特，a_bits的典型值可以是7或8。可在通过将下面的等式12的na而不是等式11的na应用于等式5来将值a'保持在预定比特内的同时，减少值a'的取整误差。
[等式12]
na＝rA2+ntalbe-rA1-bitAdjust
这样，根据本发明的实施例的参数获得单元1420根据等式8和等式9获得用于定义亮度信号和色度信号之间的相关性的值a'和值b'。当获得值a'和值b'时，预测执行单元1430基于等式5从恢复的亮度像素产生相应的色度像素的预测值。
同时，上面的等式2可被表示为下面的等式13。
[等式13]
a = A 1 A 2 = I &CenterDot; CL - C &CenterDot; L I &CenterDot; LL - L &CenterDot; L
在等式13中，可根据下面的等式14计算值CL、C、L和LL。
[等式14]
CL = &Sigma; i = 0 I - 1 Rec _ c ( i ) &CenterDot; Rec _ L &prime; ( i )
C = &Sigma; i = 0 I - 1 Rec _ c ( i )
LL = &Sigma; i = 0 I - 1 Rec _ L &prime; ( i ) &CenterDot; Rec _ L &prime; ( i )
L = &Sigma; i = 0 I - 1 Rec _ L &prime; ( i )
为了在根据等式13计算值a时防止溢出，参数获得单元1420执行去缩放（de-scaling）以减少值CL、C、L和LL的比特的数量。
例如，当采样点（诸如，Rec_L'(i)或Rec_c(i)）的比特的数量是ns时，可根据下面的等式15计算A1和A2的最大比特bitsmax。
[等式15]
bitsmax＝(ns+bdepth(I))·2+1
为了将最大比特bitsmax保持为预定A比特（其中，A是整数），比特深度需要减少超过预定A比特的比特的数量。例如，当A=32时，比特调整参数bitAdjustA可通过下面的等式16来表示。
[等式16]
bitAdjustA＝max(bitsmax-32，0)
通过应用等式16，参数获得单元1420根据下面的等式17对值A1和值A2进行缩放。
[等式17]
A1＝I·[CL＞＞bitAdjustA]-[L＞＞bitAdjustA/2]·[C＞＞bitAdjustA/2]
A2＝I·[LL＞＞bitAdjustA]-L＞＞bitAdjustA/2]·[L＞＞bitAdjustA/2]
如果I是2的幂次方，则可根据下面的等式18重新定义比特调整参数bitAdjust2A。
[等式18]
bitAdjust2A＝(bitAdjustA+1)/2
通过使用等式18的比特调整参数bitAdjust2A，在计算值A1和值A2之前，参数获得单元1420可根据下面的等式19对值CL、C、LL、L和I进行去缩放。
[等式19]
CL＝[CL＞＞bitAdjust2A]
C＝[C＞＞bitAdjust2A]
LL＝[LL＞＞bitAdjust2A]
L＝[L＞＞bitAdjust2A]
I＝[I＞＞bitAdjust2A]
这样，根据本发明的另一实施例的参数获得单元1420在考虑值A1和值A2的范围的同时通过根据等式19对用于计算值A1和值A2的值CL、C、LL、L和I进行去缩放来减少比特深度，从而溢出不被产生。
同时，根据本发明的另一实施例的参数获得单元1420基于nS和Rec_C(i)的比特深度BitDepthC获得由下面的等式20定义的参数k3，其中，nS定义色度预测单元1810和预存储的亮度预测单元1820的尺寸。
[等式20]
k3＝Max(0，BitDepthC+log2(nS)-14)
在计算值A1和值A2时，参数获得单元1420根据等式21对值CL、C、LL和L进行去缩放，以便避免溢出。
[等式21]
CL＝CL＞＞k3
C＝C＞＞k3
LL＝LL＞＞k3
L＝L＞＞k3
此外，参数获得单元1420基于参数k3和nS获得由下面的等式22定义的参数k2。
[等式22]
k2＝log2(nS＞＞k3)
此外，参数获得单元1420可通过使用根据上面的等式21去缩放的值CL、C、LL和L以及根据等式21的参数k2，根据下面的等式23获得值A1和值A2。
[等式23]
A1＝(LC＜＜k2)-L*C
A2＝(LL＜＜k2)-L*L
参数获得单元1420可产生通过根据下面的等式24对值A1和值A2进行去缩放获得的值A1'和A2'，使得A1和A2的值被表示在预定范围的比特内。
[等式24]
A1′＝A1＞＞Max(0，log2(abs(A1))-14)
A2′＝abs(A2＞＞Max(0，log2(abs(A2))-5))
这样，当获得值A1'和A2'时，参数获得单元1420根据下面的算法获得指示亮度信号和色度信号之间的线性相关性的权值a和偏移b的值。
{
k1=Max(0,log2(abs(A2))-5)-Max(0,log2(abs(A1))-14)+2;
a=A2'<1?0:Clip3(-215,215-1,A1'*lmDiv+(1<<(k1-1))>>k1;
a=a>>Max(0,log2(abs(a))-6);
k=13-Max(0,log2(abs(a))-6);
b=(L-((a*C)>>k1)+(1<<(k2-1)))>>k2;
}
在以上算法中，可确定常数，使得权值a的值被表示在7比特数据中。ImDiv表示根据等式23的A2'确定的预定值。
当根据以上算法确定权值a和偏移b的值时，根据本发明的另一实施例的预测执行单元1430根据下面的等式25获得与恢复的亮度信号Rec_L'(x,y)相应的色度信号的预测值Pred_C(x,y)。
[等式25]
Pred_C(x，y)＝(a·Rec_L′(x，y))＞＞k)+b
这里，k可以是13。如下面的等式26所示，预测执行单元1430通过考虑色度信号的比特深度，根据等式25剪切色度信号的预测值Pred_C(x,y)，使得预测值Pred_C(x,y)存在于色度信号的值的范围内。
[等式26]
Pred_C(x，y)＝CliplC(a·Rec_L′(x，y))＞＞k)+b
图21是示出根据本发明的实施例的对色度分量图像进行预测的方法的流程图。
参照图21，在操作2110，采样单元1410在考虑根据色度格式彼此相应的亮度预测单元和色度预测单元的尺寸的同时，对预先编码和恢复的亮度预测单元以及该预先编码和恢复的亮度预测单元的邻近像素进行下采样。如上所述，采样单元1410通过针对亮度预测单元的内部像素、亮度预测单元的邻近的上部像素以及亮度预测单元的邻近的左侧像素中的每个应用各种下采样方法来将亮度像素下采样为与色度像素1:1匹配，所述各种下采样方法诸如：使用从具有预定尺寸的亮度像素组选择的在沿预定方向的线上的多个邻近亮度像素的均值的方法、使用从具有预定尺寸的亮度像素组选择的位于预定方向上的多个邻近亮度像素的加权均值的下采样方法、以及选择具有预定尺寸的亮度像素组中的预定位置处的亮度像素的下采样方法。
在操作2120，基于亮度预测单元的下采样的邻近像素和预测的色度预测单元的恢复的邻近像素获得指示亮度预测单元和色度预测单元之间的相关性的参数。如上所述，参数获得单元1420通过使用色度预测单元的恢复的邻近像素和亮度预测单元的恢复的邻近像素，根据等式2和等式3计算权值a和偏移b的值。具体地讲，参数获得单元1420可改变权值a和偏移b的比特深度，以便提高数据精确度并防止可在计算运算期间产生的溢出。此外，参数获得单元1420通过对在计算权值a和偏移b的值时使用的变量进行缩放或将变量替换为近似值而仅使用除了除法运算之外的乘法运算、减法运算和移位运算，来获得权值a和偏移b的值。
在操作2130，预测执行单元通过使用获得的参数从下采样的亮度预测单元，获得与下采样的预测单元相应的色度预测单元的预测值。如上所述，预测执行单元1430从基于等式1恢复的亮度信号预测相应色度信号。此外，预测执行单元1430可通过如等式7所示对权值a和偏移b的值执行放大以便执行整数运算来代替使用浮点的运算，来执行预测。
根据本发明的实施例，可通过使用亮度信号和色度信号之间的相关性来提高预测效率。
此外，根据本发明的实施例，可在不需执行除法运算的情况下，通过获得用于定义亮度信号和色度信号之间的线性关系的参数提高运算速度的同时减少预测所需的吞吐量。
另外，根据本发明的实施例，可在保持数据精确度的同时防止在获得参数时会产生的溢出。
本发明的实施例可被编写为计算机程序，并可被实现在通过使用计算机可读记录介质执行程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质（例如，ROM、软盘、硬盘等）、光记录介质（例如，CD-ROM或DVD）和存储介质。
虽然已参照本发明的优选实施例具体地示出和描述了本发明，但本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。优选实施例应仅看作描述性意义，而不是限制的目的。因此，本发明的范围不由本发明的详细描述而由权利要求来限定，所述范围内的所有不同将被解释为包括在本发明中。

Claims (15)

1.一种通过使用亮度分量图像对色度分量图像进行预测的方法，所述方法包括：
考虑根据色度格式彼此相应的亮度预测单元的尺寸和色度预测单元的尺寸，对已预先编码和预先恢复的亮度预测单元的内部像素以及所述亮度预测单元的邻近像素进行下采样；
基于所述亮度预测单元的下采样的邻近像素以及预测的色度预测单元的恢复的邻近像素，获得指示所述亮度预测单元和预测的色度预测单元之间的相关性的参数；
通过使用获得的参数从下采样的亮度预测单元获得与所述下采样的亮度预测单元相应的色度预测单元的预测值，
其中，下采样的步骤包括：
选择用于针对亮度预测单元的内部像素进行下采样的将从预定亮度像素组选择的亮度像素的第一位置或亮度像素的第一滤波方法；
选择用于针对亮度预测单元的邻近的上部像素进行下采样的将从预定亮度像素组选择的亮度像素的第二位置或亮度像素的第二滤波方法；
选择用于针对亮度预测单元的邻近的左侧像素进行下采样的将从预定亮度像素组选择的亮度像素的第三位置或亮度像素的第三滤波方法。
2.如权利要求1所述的方法，其中，独立地选择用于针对亮度预测单元的内部像素进行下采样的第一位置和第一滤波方法、用于针对亮度预测单元的邻近的上部像素进行下采样的第二位置和第二滤波方法以及用于针对亮度预测单元的邻近的左侧像素进行下采样的第三位置和第三滤波方法。
3.如权利要求1所述的方法，其中，第一位置至第三位置均指示从2×2的亮度像素组中的亮度像素独立地选择的亮度像素的相对位置，
第一滤波方法至第三滤波方法均是滤波方向、滤波器抽头的数量和滤波器系数独立地被选择的滤波方法。
4.如权利要求2所述的方法，其中，当亮度预测单元的尺寸是2nS×2nS，与所述亮度预测单元相应的色度预测单元是nS×nS，其中，nS是正整数，亮度预测单元的内部像素是RecL(x,y)，其中，x和y均是从0到2nS-1，亮度预测单元的上部像素是RecL(x,-1)，其中，x是从0到2nS-1，亮度预测单元的左侧像素是RecL(-1,y)，其中，y是从0到2nS-1，与（x,y）处的色度像素相应的下采样的亮度像素是RecL'(x,y)时，
针对亮度预测单元的邻近的上部像素，根据等式RecL'(x,-1)=(RecL(2x-1,-1)+2×RecL(2x,-1)+RecL(2x+1,-1)+2)>>2，获得与色度预测单元的邻近的上部像素Pc(x,-1)相应的下采样的亮度像素RecL(x,-1)，
针对亮度预测单元的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1，获得与色度预测单元的邻近的左侧像素Pc(-1,y)相应的下采样的亮度像素RecL'(-1,x)，
针对亮度预测单元的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，获得与色度预测单元的内部像素Pc(x,y)相应的下采样的亮度像素RecL'(x,y)。
5.如权利要求2所述的方法，其中，当亮度预测单元的尺寸是2nS×2nS，与所述亮度预测单元相应的色度预测单元是nS×nS，其中，nS是正整数，亮度预测单元的内部像素是RecL(x,y)，其中，x和y均是从0到2nS-1，亮度预测单元的上部像素是RecL(x,-1)，其中，x是从0到2nS-1，亮度预测单元的左侧像素是RecL(-1,y)，其中，y是从0到2nS-1，与（x,y）处的色度像素相应的下采样的亮度像素是RecL'(x,y)时，
针对亮度预测单元的邻近的上部像素，根据等式RecL'(x,-1)=RecL(2x,-1)，获得与色度预测单元的邻近的上部像素Pc(x,-1)相应的下采样的亮度像素RecL'(x,-1)，
针对亮度预测单元的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1，获得与色度预测单元的邻近的左侧像素Pc(-1,y)相应的下采样的亮度像素RecL'(-1,y)，
针对亮度预测单元的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，获得与色度预测单元的内部像素Pc(x,y)相应的下采样的亮度像素RecL'(x,y)。
6.如权利要求2所述的方法，其中，当亮度预测单元的尺寸是2nS×2nS，与所述亮度预测单元相应的色度预测单元是nS×nS，其中，nS是正整数，亮度预测单元的内部像素是RecL(x,y)，其中，x和y均是从0到2nS-1，亮度预测单元的上部像素是RecL(x,-1)，其中，x是从0到2nS-1，亮度预测单元的左侧像素是RecL(-1,y)，其中，y是从0到2nS-1，与（x,y）处的色度像素相应的下采样的亮度像素是RecL'(x,y)时，
针对亮度预测单元的邻近的上部像素，根据等式RecL'(x,-1)=RecL(2x,-1)，获得与色度预测单元的邻近的上部像素Pc(x,-1)相应的下采样的亮度像素RecL'(x,-1)，
针对亮度预测单元的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-2,2y)+RecL(-2,2y+1))>>1，获得与色度预测单元的邻近的左侧像素Pc(-1,y)相应的下采样的亮度像素RecL'(-1,y)，
针对亮度预测单元的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，获得与色度预测单元的内部像素Pc(x,y)相应的下采样的亮度像素RecL'(x,y)。
7.如权利要求2所述的方法，其中，当亮度预测单元的尺寸是2nS×2nS，与所述亮度预测单元相应的色度预测单元是nS×nS，其中，nS是正整数，亮度预测单元的内部像素是RecL(x,y)，其中，x和y均是从0到2nS-1，亮度预测单元的上部像素是RecL(x,-1)，其中，x是从0到2nS-1，亮度预测单元的左侧像素是RecL(-1,y)，其中，y是从0到2nS-1，与（x,y）处的色度像素相应的下采样的亮度像素是RecL'(x,y)时，
针对亮度预测单元的邻近的上部像素，根据等式RecL'(x,-1)=(RecL(2x,-2)+RecL(2x,-1))>>1，获得与色度预测单元的邻近的上部像素Pc(x,-1)相应的下采样的亮度像素RecL'(x,-1)，
针对亮度预测单元的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-2,2y)+RecL(-2,2y+1))>>1，获得与色度预测单元的邻近的左侧像素Pc(-1,y)相应的下采样的亮度像素RecL'(-1,y)，
针对亮度预测单元的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，获得与色度预测单元的内部像素Pc(x,y)相应的下采样的亮度像素RecL'(x,y)。
8.如权利要求1所述的方法，其中，所述参数包括用于定义亮度预测单元的恢复的像素与色度预测单元的相应的像素之间的线性关系的权值和偏移值。
9.如权利要求8所述的方法，其中，当在亮度预测单元的下采样的位置（x,y）处恢复的像素是Rec_L'(x,y)，色度预测单元的位置（x,y）处的像素的预测值是Pred_C(x,y)，权值是a并且偏移值是b时，
根据等式Pred_C(x,y)=a×Rec_L'(x,y)+b来定义相关性。
10.如权利要求9所述的方法，其中，当亮度预测单元的I个邻近的恢复的像素是Rec_L'(i)，其中，I是从0到I-1的整数，并且色度预测单元的I个邻近的恢复的像素是Rec_C(i)时，
根据如下等式确定权值a：
a = I &CenterDot; &Sigma; i = 0 I - 1 Rec _ c ( i ) &CenterDot; Rec _ L &prime; ( i ) - &Sigma; i = 0 I - 1 Rec _ c ( i ) &CenterDot; &Sigma; i = 0 I - 1 Rec _ L &prime; ( i ) I &CenterDot; &Sigma; i = 0 I - 1 Rec _ L &prime; ( i ) &CenterDot; Rec _ L &prime; ( i ) - ( &Sigma; i = 0 I - 1 Rec _ L &prime; ( i ) ) 2 = A 1 A 2 .
11.如权利要求9所述的方法，其中，根据如下等式确定偏移值b：
b = &Sigma; i = 0 I - 1 Rec _ c ( i ) - a &CenterDot; &Sigma; i = 0 I - 1 Rec _ L &prime; ( i ) I .
12.一种用于通过使用亮度分量图像对色度分量图像进行预测的设备，所述设备包括：
采样单元，用于考虑根据色度格式彼此相应的亮度预测单元的尺寸和色度预测单元的尺寸，对已预先编码和预先恢复的亮度预测单元的内部像素以及所述亮度预测单元的邻近像素进行下采样；
参数获得单元，用于基于所述亮度预测单元的下采样的邻近像素以及预测的色度预测单元的恢复的邻近像素，获得指示所述亮度预测单元和预测的色度预测单元之间的相关性的参数；
预测执行单元，用于通过使用获得的参数从下采样的亮度预测单元获得与所述下采样的亮度预测单元相应的色度预测单元的预测值，
其中，采样单元选择用于针对亮度预测单元的内部像素进行下采样的将从预定亮度像素组选择的亮度像素的第一位置或亮度像素的第一滤波方法，选择用于针对亮度预测单元的邻近的上部像素进行下采样的将从预定亮度像素组选择的亮度像素的第二位置或亮度像素的第二滤波方法，选择用于针对亮度预测单元的邻近的左侧像素进行下采样的将从预定亮度像素组选择的亮度像素的第三位置或亮度像素的第三滤波方法。
13.如权利要求12所述的设备，其中，采样单元独立地选择用于针对亮度预测单元的内部像素进行下采样的第一位置和第一滤波方法、用于针对亮度预测单元的邻近的上部像素进行下采样的第二位置和第二滤波方法以及用于针对亮度预测单元的邻近的左侧像素进行下采样的第三位置和第三滤波方法。
14.如权利要求12所述的设备，其中，第一位置至第三位置均指示从2×2的亮度像素组中的亮度像素独立地选择的亮度像素的相对位置，
第一滤波方法至第三滤波方法均是滤波方向、滤波器抽头的数量和滤波器系数独立地被选择的滤波方法。
15.如权利要求13所述的方法，其中，当亮度预测单元的尺寸是2nS×2nS，与所述亮度预测单元相应的色度预测单元是nS×nS，其中，nS是正整数，亮度预测单元的内部像素是RecL(x,y)，其中，x和y均是从0到2nS-1，亮度预测单元的上部像素是RecL(x,-1)，其中，x是从0到2nS-1，亮度预测单元的左侧像素是RecL(-1,y)，其中，y是从0到2nS-1，与（x,y）处的色度像素相应的下采样的亮度像素是RecL'(x,y)时，
采样单元针对亮度预测单元的邻近的上部像素，根据等式RecL'(x,-1)=(RecL(2x-1,-1)+2×RecL(2x,-1)+RecL(2x+1,-1)+2)>>2获得与色度预测单元的邻近的上部像素Pc(x,-1)相应的下采样的亮度像素RecL(x,-1)，针对亮度预测单元的邻近的左侧像素，根据等式RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1获得与色度预测单元的邻近的左侧像素Pc(-1,y)相应的下采样的亮度像素RecL'(-1,y)，针对亮度预测单元的内部像素，根据等式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1获得与色度预测单元的内部像素Pc(x,y)相应的下采样的亮度像素RecL'(x,y)。
CN201280042364.5A 2011-06-28 2012-06-28 使用图像的亮度分量的对图像的色度分量的预测方法和设备 Pending CN103782596A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161501985P 2011-06-28 2011-06-28
US61/501,985 2011-06-28
PCT/KR2012/005151 WO2013002589A2 (ko) 2011-06-28 2012-06-28 휘도 성분 영상을 이용한 색차 성분 영상의 예측 방법 및 예측 장치

Publications (1)

Publication Number Publication Date
CN103782596A true CN103782596A (zh) 2014-05-07

Family

ID=47424693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280042364.5A Pending CN103782596A (zh) 2011-06-28 2012-06-28 使用图像的亮度分量的对图像的色度分量的预测方法和设备

Country Status (14)

Country Link
US (1) US9674521B2 (zh)
EP (1) EP2725794A4 (zh)
JP (1) JP5890520B2 (zh)
KR (1) KR101756843B1 (zh)
CN (1) CN103782596A (zh)
AU (1) AU2012276410A1 (zh)
BR (1) BR112013033707A2 (zh)
CA (1) CA2840488A1 (zh)
MX (1) MX2014000163A (zh)
MY (1) MY160463A (zh)
RU (1) RU2604669C2 (zh)
SG (1) SG10201408745YA (zh)
TW (1) TW201309036A (zh)
WO (1) WO2013002589A2 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306944A (zh) * 2015-11-30 2016-02-03 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
WO2016029515A1 (zh) * 2014-08-27 2016-03-03 深圳市华星光电技术有限公司 一种基于缩减像素采样处理的显示方法及设备
WO2018064948A1 (en) * 2016-10-04 2018-04-12 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
WO2018166490A1 (en) * 2017-03-15 2018-09-20 Mediatek Inc. Method and apparatus of video coding
CN109005408A (zh) * 2018-08-01 2018-12-14 北京奇艺世纪科技有限公司 一种帧内预测方法、装置及电子设备
WO2020048507A1 (zh) * 2018-09-05 2020-03-12 华为技术有限公司 色度块预测方法以及设备
WO2020083328A1 (en) * 2018-10-26 2020-04-30 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
WO2020094057A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
US10939128B2 (en) 2019-02-24 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CN112789863A (zh) * 2018-10-05 2021-05-11 华为技术有限公司 帧内预测方法及设备
US11057642B2 (en) 2018-12-07 2021-07-06 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
CN113329228A (zh) * 2021-05-27 2021-08-31 杭州朗和科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质
US11115655B2 (en) 2019-02-22 2021-09-07 Beijing Bytedance Network Technology Co., Ltd. Neighboring sample selection for intra prediction
CN113491115A (zh) * 2019-03-06 2021-10-08 Lg 电子株式会社 基于cclm预测的图像解码方法及其装置
WO2022088101A1 (zh) * 2020-10-30 2022-05-05 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器及存储介质
US11438581B2 (en) 2019-03-24 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
CN116456102A (zh) * 2023-06-20 2023-07-18 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
CN113329228B (zh) * 2021-05-27 2024-04-26 杭州网易智企科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
WO2013102293A1 (en) * 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
TWI597968B (zh) 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
US20140198855A1 (en) * 2013-01-14 2014-07-17 Qualcomm Incorporated Square block prediction
WO2014163462A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
US10334253B2 (en) 2013-04-08 2019-06-25 Qualcomm Incorporated Sample adaptive offset scaling based on bit-depth
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
US9743092B2 (en) * 2015-10-13 2017-08-22 Nokia Technologies Oy Video coding with helper data for spatial intra-prediction
WO2017143467A1 (en) * 2016-02-22 2017-08-31 Mediatek Singapore Pte. Ltd. Localized luma mode prediction inheritance for chroma coding
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
US11277604B2 (en) 2016-07-14 2022-03-15 Samsung Electronics Co., Ltd. Chroma intra prediction method and device therefor
US20190200021A1 (en) * 2016-09-22 2019-06-27 Lg Electronics Inc. Illumination compensation-based inter-prediction method and apparatus in image coding system
CN109804625A (zh) 2016-10-04 2019-05-24 韩国电子通信研究院 对图像编码/解码的方法和装置及存储比特流的记录介质
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
WO2018221631A1 (ja) * 2017-06-02 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
WO2018236028A1 (ko) * 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
GB2564466B (en) * 2017-07-13 2020-01-08 Advanced Risc Mach Ltd Storing YUV texture data in a cache in a graphics processing system
CN109274969B (zh) 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
WO2019054200A1 (ja) * 2017-09-15 2019-03-21 ソニー株式会社 画像処理装置および方法
US10726519B2 (en) 2017-09-25 2020-07-28 Arm Limited Cache arrangement for graphics processing systems
CN111602400B (zh) 2018-01-15 2024-04-19 有限公司B1影像技术研究所 用于色度分量的帧内预测编码/解码方法和装置
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
WO2019194500A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
KR101956756B1 (ko) * 2018-06-12 2019-03-11 광운대학교 산학협력단 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
DK3707898T3 (da) 2018-07-13 2021-05-03 Ericsson Telefon Ab L M Valg af transformation i en videokoder og/eller videoafkoder
EP3815377B1 (en) * 2018-07-16 2022-12-28 Huawei Technologies Co., Ltd. Video encoder, video decoder, and corresponding encoding and decoding methods
WO2020060256A1 (ko) 2018-09-22 2020-03-26 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측을 사용하는 영상 디코딩 방법 및 그 장치
CN116708834A (zh) * 2018-10-04 2023-09-05 Lg电子株式会社 图像编码/解码设备和用于发送图像的数据的设备
KR102524061B1 (ko) * 2018-11-23 2023-04-21 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
KR102556960B1 (ko) * 2018-12-20 2023-07-18 엘지디스플레이 주식회사 샘플링 된 색차 성분의 복원 장치
CA3125393A1 (en) * 2018-12-31 2020-07-09 Huawei Technologies Co., Ltd. Method and apparatus of cross-component linear modeling for intra prediction
CN113273212A (zh) * 2019-01-02 2021-08-17 夏普株式会社 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN117041552A (zh) * 2019-02-22 2023-11-10 华为技术有限公司 使用线性模型进行帧内预测的方法及装置
EP3941046A4 (en) 2019-03-14 2022-12-21 LG Electronics Inc. IMAGE CODING/DECODING METHOD AND APPARATUS FOR PERFORMING INTRA PREDICTION, AND BITSTREAM TRANSMISSION METHOD
MX2022003836A (es) * 2019-10-05 2022-05-12 Beijing Bytedance Network Tech Co Ltd Se?alizacion basada en los niveles de las herramientas de codificacion de video.
KR20230107417A (ko) * 2019-12-30 2023-07-14 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 데이터의 크로마 및 루마 성분의 교차 성분결정
US11625332B2 (en) 2020-01-14 2023-04-11 Arm Limited Cache miss handling for read operations in data processing systems
US11205243B2 (en) 2020-01-14 2021-12-21 Arm Limited Data processing systems
US11789867B2 (en) 2020-01-14 2023-10-17 Arm Limited Cache arrangement for data processing systems
US11443142B2 (en) 2020-02-14 2022-09-13 Samsung Electronics Co., Ltd. In-storage-based data processing using machine learning
US20220392114A1 (en) 2021-06-08 2022-12-08 Tencent America LLC Method and apparatus for calculating distance based weighted average for point cloud coding
WO2023056360A1 (en) * 2021-09-30 2023-04-06 Bytedance Inc. Method, apparatus and medium for video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394565A (zh) * 2008-10-20 2009-03-25 成都九洲电子信息系统有限责任公司 一种帧内预测方法
CN101494792A (zh) * 2009-01-15 2009-07-29 北京航空航天大学 一种基于边缘特征的h.264/avc帧内预测方法
US8111756B2 (en) * 2006-08-30 2012-02-07 Jiun-In Guo Method for reducing computational complexity of video compression standard

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US7236524B2 (en) 2002-05-28 2007-06-26 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode communication
JP2004056786A (ja) * 2003-06-16 2004-02-19 Sony Corp 画像情報符号化装置および復号装置
US7970219B2 (en) 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
KR101424969B1 (ko) 2005-07-15 2014-08-04 삼성전자주식회사 영상 복호화 방법
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
TW200845758A (en) 2007-05-03 2008-11-16 Nat Univ Chung Cheng Fast intra coding algorithms for dynamic definition adjustment
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
KR101601840B1 (ko) 2009-02-23 2016-03-22 에스케이 텔레콤주식회사 채널 상관 관계를 이용한 영상 부호화/복호화 장치 및 방법과 그를 위한 컴퓨터로 읽을 수 있는 기록매체
US10291938B2 (en) 2009-10-05 2019-05-14 Interdigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
CN105635737B (zh) 2010-04-09 2019-03-15 Lg电子株式会社 处理视频数据的方法和装置
CN101902653B (zh) * 2010-06-25 2013-04-24 杭州爱威芯科技有限公司 一种基于亮度样本的方向预测的场内yc分离方法
US9467689B2 (en) * 2010-07-08 2016-10-11 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
AU2011308105A1 (en) 2010-10-01 2013-05-02 Samsung Electronics Co., Ltd. Image intra prediction method and apparatus
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111756B2 (en) * 2006-08-30 2012-02-07 Jiun-In Guo Method for reducing computational complexity of video compression standard
CN101394565A (zh) * 2008-10-20 2009-03-25 成都九洲电子信息系统有限责任公司 一种帧内预测方法
CN101494792A (zh) * 2009-01-15 2009-07-29 北京航空航天大学 一种基于边缘特征的h.264/avc帧内预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN: "CE6.a.4: Chroma intra prediction by reconstructed luma samples", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
JIANLE CHEN: "Chroma intra prediction by reconstructed luma samples", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
JUNGSUN KIM: "New intra chroma prediction using inter-channel correlation", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029515A1 (zh) * 2014-08-27 2016-03-03 深圳市华星光电技术有限公司 一种基于缩减像素采样处理的显示方法及设备
CN105306944B (zh) * 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
CN105306944A (zh) * 2015-11-30 2016-02-03 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
TWI650003B (zh) * 2016-10-04 2019-02-01 聯發科技股份有限公司 圖像和視訊編解碼中用於畫面內色度編解碼的方法及裝置
WO2018064948A1 (en) * 2016-10-04 2018-04-12 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
WO2018166490A1 (en) * 2017-03-15 2018-09-20 Mediatek Inc. Method and apparatus of video coding
CN109005408A (zh) * 2018-08-01 2018-12-14 北京奇艺世纪科技有限公司 一种帧内预测方法、装置及电子设备
CN109005408B (zh) * 2018-08-01 2020-05-29 北京奇艺世纪科技有限公司 一种帧内预测方法、装置及电子设备
WO2020048507A1 (zh) * 2018-09-05 2020-03-12 华为技术有限公司 色度块预测方法以及设备
US11962787B2 (en) 2018-09-05 2024-04-16 Huawei Technologies Co., Ltd. Chroma block prediction method and device
US11431991B2 (en) 2018-09-05 2022-08-30 Huawei Technologies Co., Ltd. Chroma block prediction method and device
CN112789863A (zh) * 2018-10-05 2021-05-11 华为技术有限公司 帧内预测方法及设备
US11743451B2 (en) 2018-10-05 2023-08-29 Huawei Technologies Co., Ltd. Intra prediction method and device
WO2020083328A1 (en) * 2018-10-26 2020-04-30 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
US10939118B2 (en) 2018-10-26 2021-03-02 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
US11019344B2 (en) 2018-11-06 2021-05-25 Beijing Bytedance Network Technology Co., Ltd. Position dependent intra prediction
US11025915B2 (en) 2018-11-06 2021-06-01 Beijing Bytedance Network Technology Co., Ltd. Complexity reduction in parameter derivation intra prediction
WO2020094057A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
US10999581B2 (en) 2018-11-06 2021-05-04 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
US10979717B2 (en) 2018-11-06 2021-04-13 Beijing Bytedance Network Technology Co., Ltd. Simplified parameter derivation for intra prediction
US11438598B2 (en) 2018-11-06 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Simplified parameter derivation for intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
US11595687B2 (en) 2018-12-07 2023-02-28 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
US11057642B2 (en) 2018-12-07 2021-07-06 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
US11115655B2 (en) 2019-02-22 2021-09-07 Beijing Bytedance Network Technology Co., Ltd. Neighboring sample selection for intra prediction
US11729405B2 (en) 2019-02-24 2023-08-15 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
US10939128B2 (en) 2019-02-24 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CN113491115A (zh) * 2019-03-06 2021-10-08 Lg 电子株式会社 基于cclm预测的图像解码方法及其装置
US11438581B2 (en) 2019-03-24 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
WO2022088101A1 (zh) * 2020-10-30 2022-05-05 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器及存储介质
CN113329228A (zh) * 2021-05-27 2021-08-31 杭州朗和科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质
CN113329228B (zh) * 2021-05-27 2024-04-26 杭州网易智企科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质
CN116456102A (zh) * 2023-06-20 2023-07-18 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质
CN116456102B (zh) * 2023-06-20 2023-10-03 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Also Published As

Publication number Publication date
EP2725794A2 (en) 2014-04-30
WO2013002589A2 (ko) 2013-01-03
US20140140401A1 (en) 2014-05-22
KR101756843B1 (ko) 2017-07-11
RU2604669C2 (ru) 2016-12-10
CA2840488A1 (en) 2013-01-03
RU2014102591A (ru) 2015-08-10
EP2725794A4 (en) 2015-03-04
US9674521B2 (en) 2017-06-06
TW201309036A (zh) 2013-02-16
WO2013002589A3 (ko) 2013-03-14
JP2014523698A (ja) 2014-09-11
SG10201408745YA (en) 2015-02-27
BR112013033707A2 (pt) 2017-06-27
MY160463A (en) 2017-03-15
AU2012276410A1 (en) 2014-02-06
JP5890520B2 (ja) 2016-03-22
MX2014000163A (es) 2014-02-19
KR20130004133A (ko) 2013-01-09

Similar Documents

Publication Publication Date Title
CN103782596A (zh) 使用图像的亮度分量的对图像的色度分量的预测方法和设备
CN103238334A (zh) 图像帧内预测方法和设备
CN103765901B (zh) 用于使用帧内预测进行图像编码和解码的方法和设备
CN102474612B (zh) 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN103152577B (zh) 对视频编码的方法和设备以及对视频解码的方法和设备
CN102474599B (zh) 用于对图像进行编码的方法和设备,用于对编码图像进行解码的方法和设备
CN102934443B (zh) 用于对视频进行编码和解码的方法和设备
CN102934446A (zh) 确定图像编码单元和图像解码单元的帧内预测模式
CN103392341A (zh) 用于对图像预测单元的帧内预测模式进行编码的方法和装置，以及用于对图像预测单元的帧内预测模式进行解码的方法和装置
CN104980745A (zh) 通过使用去块滤波对视频进行解码的方法和设备
CN102474615B (zh) 使用自适应环路滤波的视频编码和解码方法以及视频编码和解码装置
CN103765884A (zh) 使用非对称插值滤波器的图像插值的方法及其设备
US20130051468A1 (en) Method and device for video predictive encoding
CN102939753A (zh) 用于通过根据像素组补偿像素值来对视频进行编码的方法和设备以及用于通过根据像素组补偿像素值来对视频进行解码的方法和设备
CN102934444A (zh) 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN105049864A (zh) 根据像素分类使用偏移调整的视频解码方法及其设备
CN103765893A (zh) 使用用于定点变换的比特深度调整的视频编码方法及其设备，以及视频解码方法及其设备
CN103220522A (zh) 对视频编码的方法和设备及对视频解码的方法和设备
CN103765894A (zh) 伴随使用共同定位的图像的帧间预测的对视频编码的方法和设备以及对视频解码的方法和设备
CN104322067A (zh) 基于树结构的编码单元对可伸缩视频进行编码的方法和装置以及基于树结构的编码单元对可伸缩视频进行解码的方法和装置
CN104094600A (zh) 用于包括量化参数预测的基于分层数据单元的视频编码和解码的方法和设备
CN103141096A (zh) 自适应滤波方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140507

WD01 Invention patent application deemed withdrawn after publication