CN105100808B - 用于使用帧内预测进行图像编码和解码的方法和设备 - Google Patents

用于使用帧内预测进行图像编码和解码的方法和设备 Download PDF

Info

Publication number
CN105100808B
CN105100808B CN201510450555.0A CN201510450555A CN105100808B CN 105100808 B CN105100808 B CN 105100808B CN 201510450555 A CN201510450555 A CN 201510450555A CN 105100808 B CN105100808 B CN 105100808B
Authority
CN
China
Prior art keywords
unit
prediction
current
adjacent
pixel
Prior art date
Application number
CN201510450555.0A
Other languages
English (en)
Other versions
CN105100808A (zh
Inventor
李泰美
陈建乐
Original Assignee
三星电子株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201161501969P priority Critical
Priority to US61/501,969 priority
Application filed by 三星电子株式会社 filed Critical 三星电子株式会社
Priority to CN201280042446.XA priority patent/CN103765901B/zh
Publication of CN105100808A publication Critical patent/CN105100808A/zh
Application granted granted Critical
Publication of CN105100808B publication Critical patent/CN105100808B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

种用于使用帧内预测进行图像编码和解码的方法和设备,所述方法和设备经由沿当前预测单元的水平和垂直方向的线性插值来产生预测值。所述方法包括:通过使用位于当前预测单元右上侧和左下侧的至少个邻近像素来产生第虚拟像素和第二虚拟像素;经由使用位于与第虚拟像素相同行上的邻近左侧像素和当前像素的线性插值来获取当前像素的第预测值;经由使用位于与第二虚拟像素相同列上的邻近上侧像素和当前像素的线性插值来获取当前像素的第二预测值;通过使用第预测值和第二预测值获取当前像素的预测值。

Description

用于使用帧内预测进行图像编码和解码的方法和设备

[0001] 本申请是申请日为2012年6月28日、申请号为201280042446.X、题为“用于使用帧 内预测进行图像编码和解码的方法和设备”的专利申请的分案申请。

技术领域

[0002] 本发明涉及图像的编码和解码,更具体地,涉及一种用于图像的帧内预测编码和 帧内预测解码的方法和设备,其中,通过使用各种方向和新的帧内预测模式提高了图像的 压缩效率。

背景技术

[0003] 在图像压缩方法储如,运动图像专家组(MPEG) -l、MPEG-2、MPEG-4或H. 264/MPEG-4先进的视频编码(AVC))中,为了对图像进行编码,画面被划分为宏块。按照所有编码模式 (其中,所有编码模式可被用于帧间预测或帧内预测)对每个宏块进行编码,并随后按照根 据用于对宏块进行编码的比特率和基于原始宏块的解码宏块的失真程度来选择的编码模 式对每个宏块进行编码。

[0004] 随着用于再现和存储高分辨率或高质量视频内容的硬件的发展和提供,对于能够 有效对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需要日益增加。在传 统的视频编解码器中,以每个具有预定尺寸的宏块为单位对视频进行编码。

发明内容

[0005] 本发明的技术目标

[0006] 本发明提供一种用于图像的帧内预测编码和帧内预测解码的方法和设备,其中, 经由使用与当前预测单元邻近的像素的新的帧内预测方法,来根据图像特征提高了编码效 率。

[0007] 实现本发明目标的方法

[0008] 本发明还提供一种使用与当前预测单元邻近的像素的新的帧内预测模式。

[0009] 有益效果

[0010] 根据本发明的一个或多个方面,通过经由使用邻近像素的各种帧内预测方法,根 据图像特征来应用最优帧内预测方法,图像的编码效率可被提高。

附图说明

[0011] 图1是示出根据本发明的实施例的用于对视频进行编码的设备的框图;

[0012] 图2是示出根据本发明的实施例的用于对视频进行解码的设备的框图;

[0013] 图3是用于描述根据本发明的实施例的编码单元的构思的示图;

[0014] 图4是示出根据本发明的实施例的基于编码单元的图像编码器的框图;

[0015] 图5是示出根据本发明的实施例的基于编码单元的图像解码器的框图;

[0016] 图6是示出根据本发明的实施例的根据深度的更深层编码单元和分区的更深层编 码单元的示图;

[0017] 图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图;

[0018] 图8是用于描述据本发明的实施例的与编码深度相应的编码单元的编码信息的示 图;

[0019] 图9是示出根据本发明的实施例的根据深度的更深层编码单元的示图;

[0020] 图10至图12是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之 间的关系的不图;

[0021] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间 的关系的不图;

[0022] 图14是示出根据本发明的实施例的根据预测单元的尺寸的帧内预测模式的数量 的表格;

[0023] 图15是用于描述根据本发明的实施例的具有各种方向的帧内预测模式的参考示 图;

[0024] 图16是用于描述根据本发明的实施例的当前像素和具有(dx,dy)的方向性的延长 线上的邻近像素之间的关系的示图;

[0025] 图17和图18是示出根据本发明的实施例的帧内预测模式方向的示图;

[0026] 图19是用于示出本发明的实施例的具有33个方向性的帧内预测模式的方向;

[0027] 图20A和图20B是用于描述根据本发明的实施例的平面模式的示图;

[0028] 图21是示出根据本发明的实施例的在当前预测单元周围滤波的邻近像素的示图;

[0029] 图22是用于描述邻近像素的滤波处理的参考示图;

[0030] 图23是示出根据本发明的实施例的根据平面模式的帧内预测方法的流程图。

[0031] 最佳模式

[0032] 根据本发明的一方面,提供一种对图像进行帧内预测的方法,所述方法包括:通过 使用位于当前预测单元的右上侧的至少一个邻近像素,来获取位于与当前预测单元的当前 预测像素相同行上同时与位于当前预测单元的最右侧的像素相应的第一虚拟像素;通过使 用位于当前预测单元的左下侧的至少一个邻近像素,来获取位于与当前预测像素相同列上 同时与位于当前预测单元最下侧的像素相应的第二虚拟像素;经由使用第一虚拟像素和与 当前预测像素相同行上的邻近左侧像素的线性插值获取当前预测像素的第一预测值;经由 使用第二虚拟像素和与当前预测像素相同列上的邻近上侧像素的线性插值获取当前预测 像素的第二预测值;通过使用第一预测值和第二预测值获取当前预测像素的预测值。

[0033] 根据本发明的另一方面,提供一种用于对图像进行帧内预测的设备,所述设备包 括:帧内预测器,用于通过使用位于当前预测单元的右上侧的至少一个邻近像素,来获取位 于与当前预测单元的当前预测像素相同行上同时与位于当前预测单元的最右侧的像素相 应的第一虚拟像素,通过使用位于当前预测单元的左下侧的至少一个邻近像素,来获取位 于与当前预测像素相同列上同时与位于当前预测单元最下侧的像素相应的第二虚拟像素, 经由使用第一虚拟像素和与当前预测像素相同行上的邻近左侧像素的线性插值获取当前 预测像素的第一预测值,经由使用第二虚拟像素和与当前预测像素相同列上的邻近上侧像 素的线性插值获取当前预测像素的第二预测值,通过使用第一预测值和第二预测值获取当 前预测像素的预测值。

具体实施方式

[0034] 以下,将参照示出本发明的示例性实施例的附图更充分地描述本发明。

[0035] 图1是示出根据本发明的实施例的视频编码设备100的框图。

[0036] 视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元 130〇

[0037] 最大编码单元划分器110可基于用于图像的当前画面的最大编码单元,来对当前 画面进行划分。如果当前画面大于最大编码单元,则当前画面的图像数据可被划分为至少 一个最大编码单元。根据本发明的实施例的最大编码单元可以是具有32 X 32、64 X 64、128 X 128或256X256等尺寸的数据单元,其中,数据单元的形状是具有宽度和长度为2的幂次 方的正方形。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。

[0038] 根据本发明的实施例的编码单元特点在于最大尺寸和深度。深度表示编码单元从 最大编码单元空间划分的次数,并且随着深度加深,根据深度的更深层编码单元可从最大 编码单兀被划分为最小编码单兀。最大编码单兀的深度是最更尚深度,最小编码单兀的深 度是最更低深度。由于随着最大编码单元的深度加深,与每个深度相应的编码单元的尺寸 减小,因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。

[0039] 如上所述,当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单 元,并且每个最大编码单元可包括根据深度被划分的更深层编码单元。由于根据深度对根 据本发明的实施例的最大编码单元进行划分,因此包括在最大编码单元中的空间域的图像 数据可根据深度分层划分。

[0040] 可预先确定编码单元的最大深度和最大尺寸,所述最大深度和最大尺寸限制对最 大编码单元的高度和宽度进行分层划分的次数。

[0041] 编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获取的至 少一个划分区域进行编码,并且根据所述至少一个划分区域来确定最终编码结果将被输出 的深度。也就是说,编码单元确定器120根据当前画面的每个最大编码单元,根据深度对根 据更深层编码单元的图像数据进行编码,选择具有最小编码误差的深度。确定的编码深度 和根据确定的编码深度的图像数据被输出到输出单元130。

[0042] 基于与等于或低于最大深度的至少一个深度相应的更深层编码单元对在最大编 码单元中的图像数据进行编码,并且基于每个更深层编码单元中的每一个将对图像数据进 行编码的结果进行比较。在将更深层编码单元的编码误差进行比较之后,可选择具有最小 编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。

[0043] 随着编码单元根据深度而被分层划分,并且随着编码单元的数量增加,最大编码 单元的尺寸被划分。另外,即使在一个编码单元中编码单元相应于相同的深度,也通过分别 测量每个编码单元的图像数据的编码误差来确定是否将与相同的深度相应的每个编码单 元划分为更低深度。因此,即使当图像数据被包括在一个最大编码单元中时,由于编码误差 可根据一个最大编码单元中的区域而不同,因此编码深度可根据在图像数据中的区域而不 同。因此,在一个最大编码单元中可确定一个或多个编码的深度,并且可根据至少一个编码 深度的编码单元来划分最大编码单元的图像数据。

[0044] 因此,编码单元确定器120可确定具有包括在当前最大编码单元中的树结构的编 码单元。根据本发明的实施例的“具有树结构的编码单元”包括与具有从包括在当前最大编 码单元中的所有更深层编码单元中确定的编码深度的深度相应的编码单元。可根据在最大 编码单元中的相同区域中的深度来分层确定编码深度的编码单元。类似地,可与另一区域 的编码深度独立地确定当前区域的编码深度。

[0045] 根据本发明的实施例的最大深度是关于从最大编码单元到最小编码单元的划分 次数的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单元 的总划分次数。根据本发明实施例的第二最大深度可表示从最大编码单元到最小编码单元 的深度等级的总数量。例如,当最大编码单元的深度是〇时,通过对最大编码单元进行一次 划分的编码单元的深度可被设置为1,通过对最大编码单元进行两次划分的编码单元的深 度可被设置为2。这里,如果最小编码单元是通过对最大编码单元进行四次划分的编码单 元,深度0、1、2、3和4的深度等级存在,并且因此第一最大深度可被设置为4,并且第二最大 深度可被设置为5。

[0046] 可根据最大编码单元执行预测编码和变换。还根据每个最大编码单元,基于根据 深度等于或小于最大深度的更深层编码单元,来执行预测编码和变换。

[0047] 由于无论何时根据深度对最大编码单元进行划分,更深层编码单元的数量均增 加,因此对所有随着深度加深产生的更深层编码单元执行包括预测编码和变换的编码。为 了方便描述,将基于最大编码单元中的当前深度的编码单元来描述预测编码和变换。

[0048] 视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸和形 状。为了对图像数据进行编码,执行诸如预测编码、变换和熵编码的操作,同时,相同的数据 单元可被用于所有操作,或者不同数据单元可被用于不同操作。

[0049] 例如,视频编码设备100可不仅选择用于对图像数据进行编码的编码单元,还可选 择不同于编码单元的数据单元,以对在编码单元中的图像数据执行预测编码。

[0050] 为了在最大编码单元中执行预测编码,可基于与编码深度相应的编码单元(即,不 再划分到与较低层深度相应的编码单元的编码单元)来执行预测编码。以下,不再划分且成 为用于预测编码的基本单元的编码单元被称为“预测单元”。通过划分预测单元获取的分区 可包括预测单元和通过对预测单元的高度和宽度中的至少一个进行划分而获取的数据单 J L 〇

[0051] 例如,当2NX2N(N是正整I^)的尺寸的编码单元不再被划分并成为2NX2N的预测 单元时,分区的尺寸可以是2NX 2N、NXN、NX 2N或NXN。分区类型的示例可包括通过对预测 单元的高度和宽度进行对称地划分而获取的对称分区、通过对预测单元的高度和宽度进行 非对称地划分(诸如,按照l:n或η: 1)而获取的分区、通过对预测单元进行几何地划分而获 取的分区、以及具有任意形状的分区。

[0052] 预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如, 可对2Ν X 2Ν、2Ν X N、N X 2Ν或N X N的分区执行帧内模式和帧间模式。另外,可仅对2Ν X 2Ν的 分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码,从而选择具有最小 编码误差的预测模式。

[0053] 视频编码设备100还可不仅基于用于对图像数据进行编码的编码单元,还基于不 同于编码单元的数据单元,对编码单元中的图像数据执行变换。

[0054] 为了在编码单元中执行变换,可基于具有小于或等于编码单元的尺寸的数据单元 来执行变换。例如,用于变换的数据单元可包括帧间模式的数据单元和帧内模式的数据单 J L 〇

[0055] 用作变换的基础的数据单元现在可被称为“变换单元”。与编码单元相似,在编码 单元中的变换单元可被递归地划分为更小尺寸的区域,使得可以以区域为单元独立地确定 变换单元。因此,可根据具有基于变换深度的树结构的变换单元对编码单元的残差数据进 行划分。

[0056] 还可在变换单元中设置变换深度,所述变换深度指示通过对编码单元的高度和宽 度进行划分而到达变换单元的划分次数。例如,在2NX2N的当前编码单元中,当变换单元的 尺寸是2NX2N时,变换深度可以是0,当变换单元的尺寸是NXN时,变换深度可以是0,当变 换单元的尺寸是NXN时,变换深度可以是1,并且当变换单元的尺寸是N/2XN/2时,变换深 度可以是2。换言之,可根据变换深度设置具有树结构的变换单元。

[0057] 根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息,还需 要关于与预测编码和变换相关的信息。因此,编码单元确定器120不仅确定确定具有最小编 码误差的编码深度,还确定预测单元中的分区类型、根据预测单元的预测模式和用于变换 的变换单元的尺寸。

[0058] 稍后将参照图3到图12详细解释根据本发明的实施例的最大编码单元中的根据树 结构的编码单元和确定分区的方法。

[0059] 编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化,来测量更深层 编码单元的编码误差。

[0060] 图像数据输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码 深度的编码模式的信息,其中,所述最大编码单元的图像数据基于由编码单元确定器120确 定的所述至少一个编码深度被编码。

[0061] 可通过对图像的残差数据进行编码而获取编码图像数据。

[0062] 关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于在预测单 元中的分区类型的信息、关于预测模式的信息和关于变换单元的大小的信息。

[0063] 可通过使用指示是否对较低层深度而不是当前深度的编码单元执行编码的根据 深度的划分信息来定义关于编码深度的信息。如果当前编码单元的当前深度是编码深度, 则当前编码单元中的图像数据被编码和输出,因此划分信息可被定义为不将当前编码单元 划分到较低层深度。可选择地,如果当前编码单元的当前深度不是编码深度,对较低层深度 的编码单元执行编码,因此划分信息可被定义为对当前编码单元进行划分来获取较低层深 度的编码单元。

[0064] 如果当前深度不是编码深度,则对被划分为较低层深度的编码单元执行编码。由 于较低层深度的至少一个编码单元存在于当前深度的一个编码单元中,因此可对较低层深 度的每个编码单元重复执行编码,并因此可对具有相同深度的编码单元递归地执行编码。

[0065] 由于针对一个最大编码单元确定具有树结构的编码单元,并且针对编码深度的编 码单元确定关于至少一个编码模式的信息,所以可针对一个最大编码单元确定关于至少一 个编码模式的信息。另外,由于可根据深度分层地对最大编码单元的图像数据进行划分,并 因此最大编码单元的图像数据的编码深度可根据位置而不同,因此可针对图像数据设置关 于编码深度和编码模式的信息。

[0066] 因此,输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括 在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。

[0067] 根据本发明的实施例的最小单元是通过将构成最低层深度的最小编码单元划分4 次而获取正方形数据单元。可选择地,最小单元可以是可被包括在最大编码单元中所包括 的所有编码单元、预测单元和变换单元中的最大正方形数据单元中。

[0068] 例如,通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息和 根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息和关于分 区的尺寸的信息。关于预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于 帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息, 以及关于帧内模式的插值方法的信息。另外,根据画面、像条或GOP定义的关于编码单元的 最大尺寸的信息和关于最大深度的信息可被插入比特流的头部。

[0069] 根据视频编码设备100中,更深层编码单元可以是通过将作为上一层的更高深度 的编码单元的高度或宽度除以二而获取的编码单元。换言之,当当前深度的编码单元的尺 寸是2NX 2N时,较低层深度的编码单元的尺寸是NX N。另外,当前深度的具有2NX 2N的尺寸 的编码单元可包括最多4个较低层深度的编码单元。

[0070] 因此,视频编码设备100可通过基于考虑当前画面的特点而确定的最大编码单元 的尺寸和最大深度,针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形 成具有树结构的编码单元。另外,由于可通过使用任意不同预测模式和变换对每个最大编 码单元执行编码,因此可考虑不同图像尺寸的编码单元的特点来确定最优编码模式。

[0071] 因此,如果按照传统宏块对具有高分辨率或大数据量的图像进行编码,则每个画 面的宏块的数量极度增加。因此,针对每个宏块产生的压缩信息的条数增加,因此难以发送 压缩的信息,并且数据压缩效率降低。然而,通过使用视频编码设备100,由于在考虑图像的 特点时,在增加编码单元的最大尺寸时,在考虑图像的尺寸时调整编码单元,所以可提高图 像压缩效率。

[0072] 图2是根据本发明的实施例的视频解码设备200的框图。

[0073] 视频解码设备200包括接收器210、图像数据和编码信息提取器220和图像数据解 码器230。用于视频解码设备200的各种操作的各种术语(诸如编码单元、深度、预测单元、变 换单元和关于各种编码模式的信息)的定义与参照图1和视频编码设备100的描述相同。

[0074] 接收器210接收和解析编码视频的比特流。图像数据和编码信息提取器220针对从 解析的比特流提取用于每个编码单元的编码图像数据,并将提取的图像数据输出到图像数 据解码器230,其中,所述编码单元具有根据每个最大编码单元的树结构。图像数据和编码 信息提取器220可从关于当前画面的头提取当前画面的编码单元的最大尺寸的信息。

[0075] 另外,图像数据和编码信息提取器220从解析的比特流提取关于用于具有根据每 个最大编码单元的树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度 和编码模式的信息被输出到图像数据解码器230。换言之,比特流中的图像数据被划分为最 大编码单元,使得图像数据解码器230针对每个最大编码单元对图像数据进行解码。

[0076] 可针对关于与编码深度相应的至少一个编码单元的信息设置关于根据最大编码 单元的编码深度和编码模式的信息,关于编码模式的信息可包括关于与编码深度相应的相 应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外, 根据深度的划分信息可被提取为关于编码深度的信息。

[0077] 由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度 和编码模式的信息是关于编码深度和编码模式的信息,其中,所述编码深度和编码模式被 确定为在编码端(诸如,设备100)通过重复对根据最大编码单元的每个更深层编码单元重 复执行编码时产生最小编码误差。因此,视频解码设备200可通过根据产生最小编码误差的 编码深度和编码模式对数据进行解码来恢复图像。

[0078] 由于关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元 和最小单元中的预定数据单元,因此图像数据和编码信息提取器220可根据预定数据单元 提取关于编码深度和编码模式的信息。如果根据预定数据单元记录了关于相应的最大编码 单元的编码深度和编码模式的信息,则分配了关于编码深度和编码模式的相同信息的预定 数据单元可被推断为是包括在相同的最大编码单元中的数据单元。

[0079] 图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信 息对每个最大编码单元中的图像数据进行解码来恢复当前画面。换言之,图像数据解码器 230可基于提取的关于包括在每个最大编码单元中的具有树结构的编码单元中的每个编码 单元的分区类型、预测模式和变换单元的信息,对编码的图像数据进行解码。解码处理可包 括包含帧内预测和运动补偿的预测和反变换。

[0080] 编码数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型 预测模式的信息,根据每个编码单元的每个分区和预测模式,执行帧内预测或运动补偿。

[0081] 另外,图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的尺 寸的信息,根据编码单元中的每个变换单元来执行反变换,以执行根据最大编码单元的反 变换。

[0082] 图像数据解码器器230可通过使用根据每个深度的划分信息来确定当前最大编码 单元的至少一个编码深度。如果划分信息指示图像数据在当前深度中不再划分,则当前深 度是编码深度。因此,图像数据解码器230可通过使用关于与编码深度相应的每个编码单元 的预测单元的分区类型、预测模式和变换单元的尺寸的信息,对与当前最大编码单元中的 每个编码深度相应的至少一个编码单元的编码数据进行解码。

[0083] 换言之,可通过观察分配给编码单元、预测单元和最小单元中的预定数据单元的 编码信息来收集包含包括相同划分信息的编码信息的数据单元,并且收集的数据单元可被 认为是将由图像数据解码器230按照相同编码模式进行解码的一个数据单元。

[0084] 视频解码设备200可获取关于当递归地对每个最大编码单元执行编码时产生最小 编码误差的编码单元的信息,并且可使用所述信息来对当前画面进行解码。换言之,确定为 每个最大编码单元中的最优编码单元的具有树结构的编码单元的可被解码。

[0085] 因此,即使图像数据具有高分辨率或大数据量,也可通过使用从编码器接收的关 于最优编码模式的信息,使用根据图像的特点而自适应确定的编码单元的尺寸和编码模式 来有效地解码和恢复图像数据。

[0086] 现在将参照图3到图13详细描述确定具有树结构的编码单元、预测单元和变换单 元的方法。

[0087] 图3是用于描述根据本发明的实施例的编码单元的概念的示图。

[0088] 编码单元的尺寸可被表示为宽X高,并可以是64\64、32\32、16\16和8父8。64 X 64的编码单元可被划分为64 X 64、64 X 32、32 X 64和32 X 32的分区,32 X 32的编码单元可 被划分为32 X 32、32 X 16、16 X 32和16 X 16的分区,16 X 16的编码单元可被划分为16 X 16、 16 X 8、8 X 16和8 X 8的分区,8 X 8的编码单元可被划分为8 X 8、8 X 4、4 X 8和4 X 4的分区。

[0089] 在视频数据310中,分辨率是1920X 1080,编码单元的最大尺寸是64,最大深度是 2。在视频数据320中,分辨率是1920X 1080,编码单元的最大尺寸是64,最大深度是3。在视 频数据330中,分辨率是352 X 288,编码单元的最大尺寸是16,最大深度是1。图3中的最大深 度表示从最大编码单元到最小编码单元的划分总次数。

[0090] 如果分辨率高或数据量大,则编码单元的最大尺寸可以是大的,使得不仅提高编 码效率,而且准确地反映图像的特点。因此,具有比视频数据330更高分辨率的视频数据310 和视频数据320的编码单元的最大尺寸可以是64。

[0091] 由于视频数据310的最大深度是2,因此由于通过对最大编码单元进行两次划分, 深度加深两层,因此视频数据310的编码单元315可包括具有64的长轴尺寸的最大编码单元 和具有32和16的长轴尺寸的编码单元。同时,由于视频数据330的最大深度是1,因此由于通 过对最大编码单元进行一次划分,深度被加深一层,因此视频数据330的编码单元335可包 括具有16的长轴尺寸的最大编码单元和具有8的长轴尺寸的编码单元。

[0092] 由于视频数据320的最大深度是3,因此由于通过对最大编码单元进行三次划分, 深度被加深3层,因此视频数据320的编码单元325可包括具有64的长轴尺寸的最大编码单 元和具有32、16和8的长轴尺寸的编码单元。随着深度加深,详细信息可被精确地表示。

[0093] 图4是示出根据本发明的实施例的基于编码单元的图像编码器400的框图。

[0094] 图像编码器400执行视频编码设备100的编码单元确定器120的操作来对图像数据 进行编码。换言之,帧内预测器410对当前帧405中的帧内模式的编码单元执行帧内预测,运 动估计器420和运动补偿器425通过使用当前帧405和参考帧495对帧间模式的编码单元执 行帧间预测和运动补偿。

[0095] 从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和 量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和反变换器470被 恢复为空间域中的数据,恢复的空间域中的数据在通过去块滤波单元408和环路滤波单元 490后处理之后被输出为参考帧495。量化的变换系数可通过熵编码编码器450被输出为比 特流455。

[0096] 为了将图像编码器400应用于视频编码设备100,图像编码器400的所有元件,也就 是说,帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器 450、反量化器460、反变换器470、去块滤波单元480和环路滤波单元490在考虑每个最大编 码单元的最大深度时,执行基于具有树结构的编码单元中的每个编码单元的操作。

[0097] 具体地,帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单 元的最大深度和最大尺寸时,来确定具有树结构的编码单元中的每个编码单元的预测单元 和分区,变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。

[0098] 图5是根据本发明的实施例的基于编码单元的图像解码器500的框图。

[0099] 解析器510从比特流505中解析将被解码的编码图像数据和关于解码所需的编码 的信息。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据,反量化 的数据通过反变换器540被恢复为空间域中的图像数据。

[0100] 针对空域中的图像数据,帧内预测器550对帧内模式的编码单元执行帧内预测,运 动补偿器560通过使用参考帧585对帧间模式的编码单元执行运动补偿。

[0101] 通过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元 570和环路滤波单元580后处理之后,被输出为恢复帧595。另外,通过去块单元570和环路滤 波580后处理的图像数据被输出为参考帧585。

[0102] 为了在视频解码设备200的图像数据解码器230中对图像数据进行解码,图像解码 器500可执行在解析器510之后执行的操作。

[0103] 为了将图像解码器500应用于视频解码设备200,图像解码器500的所有元件(即, 解析器510、熵解码器520、反量化器530、反变换器540、这内预测器550、运动补偿器560、块 解码单元570和环路滤波单元580)对每个最大编码单元执行基于具有树结构的编码单元的 操作。

[0104] 具体地,帧内预测器550和运动补偿器560基于针对每个具有树结构的编码单元的 分区和预测模式执行操作,反变换器540基于每个编码单元的变换单元的尺寸执行操作。

[0105] 图6是示出根据本发明的实施例的根据深度的更深层编码单元和分区的示图。

[0106] 视频编码设备100和视频解码设备200使用分层编码单元,从而考虑图像的特点。 可根据图像的特点自适应地确定编码单元的最大高度、最大宽度和最大深度,或可由用户 不同地设置它们。可根据编码单元的预设最大尺寸来确定根据深度的更深层编码单元的尺 寸。

[0107] 在根据本发明的实施例的编码单元的分层结构600中,编码单元的最大高度和最 大宽度均是64,最大深度是4。由于沿着分层结构600的垂直轴深度加深,因此更深层编码单 元的高度和宽度均被划分。另外,作为每个更深层编码单元的预测编码的基础的预测单元 和分区沿着分层结构600的横轴被不出。

[0108] 换句话说,编码单元610是在分层结构600中的最大编码单元,其中,深度是0,尺寸 (即,长乘宽)是64X64。沿着纵轴深度加深,存在具有32X32的尺寸和1的深度的编码单元 620、具有16 X 16的尺寸和2的深度的编码单元630和具有8 X 8的尺寸和3的深度的编码单元 640和具有4X4的尺寸和4的深度的编码单元650。具有4X4的尺寸和4的深度的编码单元 650是最小编码单兀。

[0109] 根据每个深度沿着横轴布置编码单元的预测单元和分区。换句话说,如果具有64 X64的尺寸和0的深度的编码单元610是预测单元,则预测单元可被划分为包括在编码单元 610中的分区,S卩,具有64X64的尺寸的分区610、具有64X32的尺寸的分区612、具有32 X 64 的尺寸的分区614或具有32 X 32的尺寸的分区616。

[0110] 相似地,具有32X32的尺寸和1的深度的编码单元620的预测单元可被划分为包括 在编码单元620中的分区,S卩,具有32 X 32的尺寸的分区620、具有32 X 16的尺寸的分区622、 具有16 X 32的尺寸的分区624和具有16 X 16的尺寸的分区626。

[0111] 相似地,具有16 X 16的尺寸和2的深度的编码单元630的预测单元可被划分为包括 在编码单元630中的分区,即包括在编码单元630中的16 X 16的尺寸的分区、具有16 X 8的尺 寸的分区632、具有8 X 16的尺寸的分区634和具有8 X 8的尺寸的分区636。

[0112] 类似地,具有8X8的尺寸和3的深度的编码单元640的预测单元可被划分为包括在 编码单元640中的分区,即包括在编码单元640中的8X8的尺寸的分区、具有8X4的尺寸的 分区642、具有4 X 8的尺寸的分区644和具有4 X 4的尺寸的分区646。

[0113]具有4 X 4的尺寸和4的深度的编码单兀650是最小编码单兀和最低层深度的编码 单元。编码单元650的预测单元仅被分配给具有4 X 4的尺寸的分区。

[0114] 为了确定构成最大编码单元610的编码单元的至少一个编码深度,视频编码设备 100的编码单元确定器120对与包括在最大编码单元610中的与每个深度相应的编码单元执 行编码。

[0115] 根据深度的包括在相同范围和相同尺寸的更深层编码单元的数量随着深度加深 而增加。例如,与2的深度相应的四个编码单元被要求覆盖包括在与1的深度相应的一个编 码单元中的数据。因此,为了比较根据深度的相同数据的编码结果,与1的深度相应的编码 单元和与2的深度相应的四个编码单元均被编码。

[0116] 为了针对多个深度中的当前深度执行编码,可通过沿着分层结构600的横轴,对与 当前深度相应的编码单元中的每个预测单元执行编码,来针对当前深度选择最小编码误 差。可选择地,可通过随着深度沿着分层结构600的纵轴加深对每个深度执行编码来比较根 据深度的最小编码误差,来搜索最小编码误差。在编码单兀610中的具有最小编码误差的深 度和分区可被选择为编码单元610的编码深度和分区类型。

[0117] 图7是用于描述根据本发明的实施例的编码单元710的变换单元720之间的关系的 示图。

[0118] 视频编码设备100或视频解码设备200针对每个最大编码单元根据具有小于或等 于最大编码单元的尺寸的编码单元对图像进行编码或解码。可基于不大于相应的编码单元 的数据单元来选择用于在编码期间变换的变换单元的尺寸。

[0119] 例如,在视频编码设备100或视频解码设备200中,如果编码单元710的尺寸是64 X 64,则可通过使用具有32 X 32的尺寸的变换单元720来执行变换。

[0120] 另外,可通过对具有小于64 X 64的32 X 32、16 X 16、8 X 8和4 X 4的尺寸的每个变换 单元执行变换来对具有64X64的尺寸的编码单元710的数据进行编码,并随后选择具有最 小编码误差的变换单元。

[0121] 图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的 示图。

[0122] 视频编码设备100的输出单元130可对与编码深度相应的每个编码单元的关于分 区类型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820进行编码并 发送为关于编码模式的信息。

[0123] 信息800指示关于通过对当前编码单元的预测单元进行划分而获取的分区的形状 的信息,其中,所述分区作为用于对当前编码单元进行预测编码的数据单元。例如,具有2N X2N的尺寸的当前编码单元CU_0可被划分为具有2NX2N的尺寸的分区802、具有2NXN的尺 寸的分区804、具有NX 2N的尺寸的分区806和具有NXN的尺寸的分区808中的任意一个。这 里,关于分区类型的信息800被设置为指示具有2NXN的尺寸的分区804、具有NX 2N的尺寸 的分区806和具有NXN的尺寸的分区808中的一个。

[0124] 信息810指示每个分区的预测模式。例如,信息810可指示对由信息800指示的分区 执行预测编码的模式(即,帧内模式812、帧间模式814或跳过模式816)。

[0125] 信息820指示当对当前编码单元执行变换时所基于的变换单元。例如,变换单元可 以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换 单元828。

[0126] 视频解码设备200的图像数据和编码信息提取器220可根据每个更深层编码单元 提取并使用用于编码的ί目息800、彳目息810和彳目息820。

[0127] 图9是示出根据本发明的实施例的根据深度的更深层编码单元的示图。

[0128] 划分信息可被用于指示深度的变化。划分信息指示当前深度的编码单元是否被划 分为更低深度的编码单元。

[0129] 用于对具有0的深度和2Ν_0 X 2Ν_0的尺寸的编码单元900进行预测编码的预测单 元910可包括具有2Ν_0Χ2Ν_0的尺寸的分区类型912、具有2Ν_0ΧΝ_0的尺寸的分区类型 914、具有Ν_0Χ2Ν_0的尺寸的分区类型916和具有Ν_0ΧΝ_0的尺寸的分区类型918的分区。 图9仅示出通过对预测单元910进行对称划分而获取的分区类型912至918,但是分区类型并 不限于此,并且预测单元910的分区可包括非对称分区、具有预定形状的分区或具有几何形 状的分区。

[0130] 根据每个划分类型对具有2Ν_0 X 2Ν_0的尺寸的一个分区、具有2Ν_0 X Ν_0的尺寸 的两个分区、具有Ν_0 X 2Ν_0的尺寸的两个分区和具有Ν_0 X Ν_0的尺寸的四个分区重复执 行预测编码。可对具有2Ν_0 X 2Ν_0、Ν_0 X 2Ν_0、2Ν_0 ΧΝ_0和Ν_0 ΧΝ_0的尺寸的分区执行帧 内模式和帧间模式的预测编码。仅对具有2Ν_0 X 2Ν_0的尺寸的分区执行跳过模式的预测编 码。

[0131] 如果编码误差在分区类型912至916中的一个中是最小的,则预测单元910可划分 至较低层深度。

[0132] 如果编码误差在划分类型918中是最小的,则在操作920中,深度从0被改变为1来 对分区类型918进行划分,对具有2的深度和Ν_0ΧΝ_0的尺寸的编码单元930重复执行编码 来搜索最小编码误差。

[0133] 用于对具有1的深度和2Ν_1 Χ2Ν_1 (=Ν_0ΧΝ_0)的尺寸的编码单元930执行预测 编码的预测单元940可包括具有2Ν_1Χ2Ν_1的尺寸的分区类型942、具有2Ν_1ΧΝ_1的尺寸 的分区类型944、具有Ν_1Χ2Ν_1的尺寸的分区类型946和具有Ν_1ΧΝ_1的分区类型948的分 区。

[0134] 如果编码误差在分区类型948中是最小的,则在操作950中,深度从1改变为2来对 分区类型948进行划分,并且对具有2的深度*Ν_2ΧΝ_2的尺寸的编码单元960重复执行编 码来搜索最小编码误差。

[0135] 当最大深度是d时,根据每个深度的划分信息可被执行直到深度变为d-Ι位置,并 且划分信息可被编码直到深度变为d-2为止。也就是说,在操作970中,在与d-2的深度相应 的编码单元被划分之后,当编码被执行直到深度是d-Ι时,用于对具有d-Ι的深度和2N_ (d-1) X2N_(d-l)的尺寸的编码单元980执行预测编码的预测单元990可包括具有2N_(d-l) X 2N_(d-l)的尺寸的分区类型992、具有2N_(d-l) XN_(d-l)的尺寸的分区类型994、具有N_ (d-1) X2N_(d-l)的尺寸的分区类型996和具有N_(d-1) XN_(d-l)的尺寸的分区类型998。

[0136] 可对分区类型992至998中的具有2N_(d-l) X2N_(d-l)的尺寸的一个分区、具有 2N_ (d-1) XN_ (d-Ι)的尺寸的两个分区和具有N_ (d-1) XN_ (d-Ι)的尺寸的四个分区重复执 行预测编码,来搜索具有最小编码误差的分区类型。

[0137] 即使分区类型998具有最小编码误差,但是由于最大深度是d,因此具有d-1的深度 的编码单元CU_(d-l)不再被划分至更低深度,并且构成当前最大编码单元900的编码单元 的编码深度可被确定为d-Ι,当前最大编码单元900的分区类型可被确定为【(d-1) X N_ (d-1)。另外,由于最大深度是d,并且具有d-1的最低深度的最小编码单元980不再划分为更低 深度,因此不再设置用于最小编码单元980的划分信息。

[0138] 数据单元999可以是当前最大编码单元的“最小单元”。根据本发明的实施例的最 小单元可以是通过将最小编码单元划分为4个而获取的正方形数据单元。通过重复执行编 码,视频编码设备100可通过对根据编码单元900的深度的编码误差进行比较,选择产生最 小编码误差的深度,来确定编码深度,并且将相应的分区类型和预测模式设置为编码深度 的编码模式。

[0139] 这样,可在1至d的所有深度中比较根据深度的最小编码误差,并且具有最小编码 误差的深度可被确定为编码深度。预测单元的编码深度、分区类型和预测模式可被编码并 发送为关于编码模式的信息。另外,由于编码单元从〇的深度到编码深度被划分,因此仅编 码深度的划分信息被设置为〇,并且根据除了编码深度以外的深度的划分信息被设置为 “1”。

[0140] 视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元 900的编码深度和预测单元的信息信息来对分区类型912进行解码。视频解码设备200可通 过使用根据深度的划分信息将划分信息是“〇”的深度确定为编码深度,并且使用关于相应 的深度的编码模式的信息,来进行解码。

[0141] 图10至图12是用于描述根据本发明的实施例的编码单元1010、预测单元1060和变 换单兀1070之间的关系的不图。

[0142] 编码单元1010是最大编码单元1000中的与由视频编码设备100确定的编码深度相 应的具有树结构的编码单元。预测单元1060是每个编码单元1010的预测单元的分区,变换 单元1070是每个编码单元1010的变换单元。

[0143] 当编码单兀1010中最大编码单兀的深度是0时,编码单兀1012和1054的深度是1, 编码单元 1014、1016、1018、1028、1050 和 1052 的深度是 2,编码单元 1020、1022、1024、1026、 1030、1032和1048的深度是3,编码单元1040、1042、1044和1046的深度是4。

[0144] 在预测单元1060中,通过对编码单元1010中的编码单元进行划分来获取一些编码 单元 1014、1016、1022、1032、1048、1050、1052 和 1054。换句话说,编码单元 1014、1022、1050 和1054中的分区类型具有2NXN的尺寸,编码单元1016、1048和1052的分区类型具有NX 2N 的尺寸,编码单元1032的分区类型具有NXN的尺寸。编码单元1010的预测单元和分区小于 或等于每个编码单元。

[0145] 对小于编码单元1052的数据单元中的变换单元1070中的编码单元1052的图像数 据执行变换或反变换。另外,在尺寸和形状方面,变换单元1070中的变换单元1014、1016、 1022、1032、1048、1050和1052不同于预测单元1060中的变换单元。换句话说,视频编码设备 100和视频解码设备200可对相同编码单元中的数据单元独立地执行帧内预测、运动估计、 运动补偿、变换和反变换。

[0146] 因此,由于通过对最大编码单元的每个区域中的具有分层结构的编码单元递归地 执行编码来确定最优编码单元,因此可获取具有递归树结构的编码单元。编码信息可包括 关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的 尺寸的信息。表1示出可由视频编码设备100和视频解码设备200设置的编码信息。

[0147]表1

Figure CN105100808BD00151

[0150] 视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息, 视频解码设备200的图像数据和编码信息提取单元220可从接收到的比特流中提取关于具 有树结构的编码单元的编码信息。

[0151] 划分信息指示当前编码单元是否被划分为较低层深度的编码单元。如果d的当前 深度的划分信息是〇,则由于不再被划分为更低编码单元的当前编码单元的深度是编码深 度,因此可针对编码深度定义关于分区类型的信息、关于预测模式的信息和关于变换单元 的尺寸的信息。如果当前编码单元根据划分信息需要进一步被划分时,对较低层深度的4个 划分编码单元独立地执行编码。

[0152] 预测模式可以是帧内模式、帧间模式和跳过模式中的一个。可在所有分区类型中 定义帧内模式和帧间模式,可仅在具有2N X 2N的尺寸的分区类型中定义跳过模式。

[0153] 关于分区类型的信息可指示通过对称地对预测单元的高和宽进行划分而获取的 具有2N X 2N、2N X N、N X 2N和N X N的尺寸的对称分区类型,和通过非对称地对预测单元的高 或宽进行划分而获取的具有2^111]、2以11〇、111^2财卩111^2_勺尺寸的非对称分区类型。通 过按照1:3和3:1对高进行划分分别获取具有2NXnU和2NXnD的尺寸的非对称分区类型,通 过按照1:3和3:1对宽进行划分而分别获取的具有nL X 2N和nR X 2N的尺寸的非对称分区类 型。

[0154] 变换单元的尺寸可被设置为帧内模式下的两种类型,和帧间模式下的两种类型。 也就是说,如果关于变换单元的划分信息是〇,则变换单元的尺寸被设置为作为当前编码单 元的尺寸的2NX2N。如果变换单元的划分信息是1,则可通过对当前编码单元进行划分来获 取变换单元。另外,如果具有2NX2N的尺寸的当前编码单元的分区类型是非对称分区类型, 则变换单元的尺寸可以是NXN,如果当前编码单元的分区类型是对称分区类型,则变换单 元的尺寸可以是N/2XN/2。

[0155] 具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测单元 和最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的预测单 元和最小单元中的至少一个。

[0156] 因此,通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编 码深度相应的相同编码单元中。另外,由于通过使用数据单元的编码信息来确定与编码深 度相应的相应编码单元,因此可确定在最大编码单元中的编码深度的分布。

[0157] 因此,如果基于邻近数据单元的编码信息预测当前编码单元,则可直接参照并使 用与当前编码单元邻近的更深层编码单元中的数据单元的编码信息。

[0158] 可选择地,如果基于邻近编码单元的编码信息预测当前编码单元,则使用数据单 元的编码信息来搜索与当前编码单元邻近的数据单元,搜索的邻近编码单元可被参考用于 预测当前编码单元。

[0159] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单 元之间的关系的示图。

[0160] 最大编码单元1300包括编码深度的编码单元1302、编码单元1304、编码单元1306、 编码单元1312、编码单元1314、编码单元1316和编码单元1318。这里,由于编码单元1318是 编码深度的编码单元,因此划分信息可被设置为0。具有2NX2N的尺寸的编码单元1318的分 区类型信息可被设置为具有2NX2N的尺寸的分区类型1322、具有2NXN的尺寸的分区类型 1324、具有NX 2N的尺寸的分区类型1326、具有NXN的尺寸的分区类型1328、具有2NXnU的 尺寸的分区类型1332、具有2NXnD的尺寸的分区类型1334、具有nLX2N的尺寸的分区类型 1336和具有nRX2N的尺寸的分区类型1338中的一个。

[0161] 当分区类型被设置为对称(S卩,分区类型1322、具有2NXN的尺寸的分区类型1324、 1326或1328)时,如果变换单元的划分信息(TU尺寸标记)是0,则具有2NX 2N的尺寸的变换 类型1342被设置,如果变换单元的划分信息是1,则具有NXN的尺寸的变换单元1344被设 置。

[0162] 当分区类型被设置为非对称(S卩,分区类型1332、1334、1366或1338)时,如果TU尺 寸标记是0,则具有2N X 2N的尺寸的变换单元1352可被设置,如果TU尺寸标记是1,则具有N/ 2 X N/2的尺寸的变换单元1354被设置。

[0163] 以下,将详细描述由图4的视频编码设备100的帧内预测器410和图5的视频解码设 备200的帧内预测器550对预测单元执行的帧内预测。

[0164] 帧内预测器410和550执行通过使用当前预测单元的邻近像素来执行用于获取当 前预测单元的预测因子的帧内预测。考虑预测单元具有等于或大于16X16的尺寸,帧内预 测器410和550使用(dx,dy)参数以及根据相关技术的具有有限方向性的帧内预测模式额外 地执行具有不同方向性的帧内预测模式。将稍后详细描述根据本发明的实施例的具有不同 方向性的帧内预测模式。

[0165] 此外,为了获取当前像素的预测因子,帧内预测器410和550可经由沿着当前像素 的水平方向的线性插值产生预测因子P1,经由沿着当前像素的垂直方向的线性插值产生预 测因子P2,并将预测因子Pl和P2的平均值用作当前像素的预测因子。通过组合经由沿水平 方向的线性插值和沿垂直方向的线性差值获取的预测因子来产生当前像素的预测因子的 帧内预测模式被定义为平坦模式。具体地,帧内预测器410和550通过使用位于当前预测单 元右上侧的至少一个邻近像素来产生用于沿水平方向的线性插值的虚拟像素,并通过使用 位于平坦模式中的当前预测单元左下侧的至少一个邻近像素来产生用于沿着垂直方向的 线性插值的虚拟像素。将稍后描述根据本发明的实施例的平坦模式。

[0166] 图14是示出根据本发明的实施例的根据预测单元的尺寸的帧内预测模式的数量 的表格。

[0167] 帧内预测器410和550可不同地设置将应用于根据预测单元的尺寸的预测单元的 帧内预测模式的数量。例如,参照图14,在示例2中,当将被帧内预测的预测单元的尺寸是N XN时,则对具有2 X 2、4 X 4、8 X 8、16 X 16、32 X 32、64 X 64和128 X 128尺寸的预测单元实际 执行的帧内预测模式的数量可分别被设置为5、9、9、17、33和5。因为用于对预测模式信息进 行编码的开销根据预测单元的尺寸而不同,所以实际执行的帧内预测模式的数量根据预测 单元的尺寸而不同。换句话说,即使占据整个图像的预测单元的部分小,但是用于发送附加 信息(诸如,这样的小预测单元的预测模式)的开销可以是大的。因此,当以很多预测模式对 具有小的尺寸的预测单元进行编码时,比特的数量会增加,并因此压缩效率会降低。另外, 由于具有大的尺寸的预测单元(例如,具有等于或大于64X64的尺寸的预测单元)一般地被 主要选择为图像的平坦单元的预测单元,因此在很多预测模式下,在对主要选为对平坦区 域进行编码的具有大尺寸的预测单元进行编码的压缩效率方面会不足。因此,当预测单元 的尺寸相比于预定尺寸过大或过小时,仅可应用相对少量的帧内预测模式。然而,根据预测 单元的尺寸应用的帧内预测模式的数量不限于图14,并且可不同。根据如图14所示的预测 单元的尺寸应用的帧内预测模式的数量仅是示例,并且可不同。可选择地,无论预测单元的 尺寸如何,应用于预测单元的帧内预测模式的数量可总是统一的。

[0168] 如帧内预测模式应用于预测单元,帧内预测器410和550可包括这样的帧内模式: 通过使用基于在预测单元中的像素具有预定角度的线并使用确定的邻近参考像素作为像 素的预测因子来确定邻近参考像素。可通过使用参数(dx,dy)(其中,dx和dy均是整数)设置 这样的线的角度。例如,当33个预测模式被定义为模式N(其中,N是从0到32的整数)时,模式 〇被设置为垂直模式、模式1被设置为水平模式、模式2被设置为DC模式、模式3被设置为平面 模式,模式32被设置为平坦模式。另外,模式4至模式31可被定义为这样的帧内模式:通过使 用具有tarT1 (dy/dx)的方向性的线并且使用用于帧内预测的确定的邻近参考像素来确定邻 近参考像素,其中,tarT1 (dy/dx)使用的(dx,dy)被分别表示为表1的(1,-1)、(1,1)、(1,2)、 (2,1)、(1,-2)、(2,1)、(1,-2)、(2,-1)、(2,-11)、(5,-7)、(10,-7)、(11,3)、(4,3)、(1,11)、 (1,-1)、(12,-3)、、(1,-7)、(3,-10)、(5,-6)、(7,-6)、(7,-4)、(11,1)、(6,1)、(8, 3)、(5,3)、(5,7)、(2,7)、(5,-7)和(4,-3)。

[0169]表2

Figure CN105100808BD00181

[0172]帧内预测器410和550使用的帧内预测模式的数量不限于表2,并可基于当前预测 单元是色度分量还是亮度分量或基于当前预测单元的尺寸变化。另外,每个模式N可表示不 同于上述的帧内预测模式。例如,帧内预测模式的数量可以是36,其中,模式0是稍后描述的 平坦模式,模式1是DC模式,模式2至34是具有稍后描述的33种方向性的帧内预测模式,并且 模式35是使用与色度分量中的预测单元相应的亮度分量中的预测单元的帧内预测模式 Intra_FromLuma。模式35 (S卩,使用与色度分量中的预测单元相应的亮度分量中的预测单元 的帧内预测模式Intra_Fr〇mLUma)仅被应用于色度分量中的预测单元,并且不被用于对亮 度分量中的预测单元进行帧内预测。

[0173]图15是用于描述根据本发明的实施例的具有各种方向性的帧内预测模式的参考 示图。

[0174] 如上所述,桢内预测器410和550可通过使用由多个(dx,dy)参数确定的具有tarT1 (dy/dx)的角度的线来确定邻近参考像素,并通过使用确定的邻近参考像素来执行帧内预 测。

[0175] 参照图15,位于基于当前预测单元中的将被预测的当前像素P的延长线150上的邻 近像素A和邻近像素B可被用作当前像素P的预测因子,其中,所述延长线150具有根据符合 表2的帧内预测模式的值确定的tarT1 (dy/dx)的角度。这里,用作预测因子的邻近像素可以 是先前预测单元的像素,所述先前预测单元被预编码和预恢复,并位于当前编码单元的上 侦叭左侧、左上或右下。这样,通过执行根据具有各种方向性的帧内预测模式的预测编码,压 缩可根据图像的特征被有效地执行。

[0176] 在图15中,当通过使用位于延长线150上或接近延长线150的邻近像素产生了当前 像素P的预测因子时,延长线150实际具有tarT1 (dy/dx)的方向性,并且需要(dx,dy)的除法 来确定使用延长线150的邻近像素,因此硬件或软件可包括小数点操作,从而增加计算量。 因此,当通过使用(dy,dx)参数设置了用于选择参考像素的预测方向时,dx和dy可被设置以 减少计算量。

[0177] 图16是用于描述根据本发明的实施例的当前像素和布置在具有(dx,dy)的方向性 的延长线上的邻近像素之间的关系的示图。

[0178] 参照图16,P 1610表示位于(j,i)的当前像素,A 1611和B 1612分别表示位于穿过 当前像素P 1610的具有方向性(S卩,tarT1 (dy/dx)的角度)的延长线上的邻近上侧像素和邻 近左侧像素。假设包括当前像素P 1610的预测单元的尺寸是nSXnS(其中,nS是正整数),预 测单元的像素的位置是从(〇,〇)到(nS-l,nS-l)中的一个,X轴上的邻近上侧像素A 1611的 位置是(m,_l)(其中,m是整数),y轴上的邻近左侧像素B 1612的位置是(_l,n)(其中,η是整 数)。与穿过当前像素P 1610的延长线相遇的邻近上侧像素A 1611的位置是(j+iXdx/dy,-1),邻近左侧像素B 1612的位置是(_l,i+jXdy/dx)。因此,为了确定邻近上侧像素A 1611 或邻近左侧像素B 1612来预测当前像素P1610,需要诸如dx/dy或dy/dx的除法运算。如上所 述,由于除法运算的运算复杂度高,因此软件或硬件中的运算速度会降低。因此,表示用于 确定邻近像素的预测模式的方向性的dx和dy中的至少一个的值可被确定为是2的指数幂。 也就是,当η和m是整数时,dx和dy可分别是2~n和2~m。

[0179] 当邻近左侧像素B 1612被用作当前像素P 1610的预测因子并且dx具有2~n的值 时,确定(-1,i+j X dy/dx) (S卩,邻近左侧像素B 1612的位置)所需要的j X dy/dx运算可以是 (i X dy) / (2~n),并且可通过移位运算(诸如(i X dy) >>n)实现使用2的指数幂的除法运算, 从而减少计算量。

[0180] 类似地,当邻近上侧像素A 1611被用作当前像素P 1610的预测因子,并且dy具有2 的值时,确定(j+i Xdx/dy,_l) (S卩,邻近上侧像素A 1611的位置)的所需要的i Xdx/dy运 算可以是(i Xdx) Λ2Ίϋ),可通过移位运算(诸如,(i Xdx) >>m)来实现使用2的指数幂的除 法运算。

[0181] 图17和图18是示出根据本发明的实施例的帧内预测模式的方向的示图。

[0182] —般地,在图像或视频信号中的线性模式主要是垂直或水平的。因此,当通过使用 (dx,dy)参数定义具有不同方向性的帧内预测模式时,通过如下定义dx和dy的值可提高图 像的编码效率。

[0183] 详细地,当dy具有2~m的固定值时,可设置dx的绝对值,使得接近垂直方向的预测 方向之间的间隔窄,并且预测模式之间的间隔朝向接近水平方向的预测方向增加。例如,参 照图 17,当dy是2~5(即,32)时,dx可被设置为2、5、9、13、17、21、26、32、-2、-5、-9、-13、-17、-21、-26和-32,使得接近垂直方向的预测方向之间的间隔相对窄,并且预测模式之间的间隔 朝向接近水平方向的预测方向增加。

[0184] 类似地,当dx具有2~n的固定值时,可设置dy的绝对值,使得接近水平方向的预测 方向之间的间隔窄,预测模式之间的间隔朝向接近垂直方向的预测方向增加。例如,参照图 18,当(1叉是2~5(即,32)时,(^可被设置为2、5、9、13、17、21、26、32、-2、-5、-9、-13、-17、-21、-26和-32,使得接近水平方向的预测方向之间的间隔相对窄,预测模式之间的间隔朝向接近 垂直方向的预测方向增加。

[0185] 另外,当dx和dy中的一个被固定时,另一值可被设置为根据预测模式增加。例如, 当dy的值被固定时,dx的值之间的间隔可被设置为根据预定值增加。可根据在水平方向和 垂直方向之间划分的角度设置这样的增量。例如,当dy被固定时,dx可具有垂直轴的角度小 于15°的区间中的增量a、角度在15°和30°之间的区间中的增量b、以及角度大于30°的区间 中的增量Co

[0186] 例如,具有使用(dx,dy)的tarTydy/dx)的方向性的预测模式可由表3到表5中示出 的(dx,dy)参数定义。

[0187] 表3

Figure CN105100808BD00201

[0190]表4

Figure CN105100808BD00211

[0195]如上所述,使用(dx,dy)参数的桢内预测模式使用邻近左侧像素(_l,i+jXdy/dx) 或邻近上侧像素(j+i X dx/dy,-1)作为位于(j,i)的像素的预测因子。如表2中所示,当dx和 dy的值中的至少一个具有2的指数幂时,无需使用除法运算,可仅通过乘法和移位运算获取 邻近左侧像素的位置(-1,i+j Xdy/dx)和邻近上侧像素的位置(j+i Xdx/dy,-1)。当表2所 示的(dx,dy)中的dx是2~n(S卩,32)时,由于使用dx的除法可被右移运算代替,因此无需除法 运算,可基于(i Xdy) >>n获取邻近左侧像素的位置。相似地,当如表2所示的(dx,dy)中的dy 是2~m (S卩,32)时,由于使用2~m的除法运算可被右移运算代替,因此可无需除法运算,基于 (i X dx) >>m可获取邻近上侧像素的位置。

[0196] 图19是用于描述根据本发明的实施例的具有33种方向性的帧内预测模式的方向 的示图。

[0197] 帧内预测器410和550可根据如图19中所示的具有33种方向性的帧内预测模式,确 定将被用作当前像素的预测因子的邻近像素。如上所述,帧内模式的方向可被设置,使得预 测模式之间的间隔朝向水平或垂直方向减少,并远离垂直或水平方向增加。

[0198] 图20A和图20B是用于描述根据本发明的实施例的平坦模式的示图。

[0199] 如上所述,在平坦模式下,帧内预测器410和550通过使用位于当前预测单元右上 侧的至少一个邻近像素来产生在沿水平方向的线性插值中使用的虚拟像素,通过使用位于 当前预测单元的左下侧的至少一个邻近像素来产生在沿垂直方向的线性插值中使用的虚 拟像素。另外,帧内预测器410和550通过使用经由使用虚拟像素和邻近像素沿水平和垂直 方向的线性插值产生的两个预测因子的平均值来产生当前像素的预测值。

[0200] 参照图20A,帧内预测器410和550通过使用当前预测单元2010右上侧的至少一个 邻近像素2020,获取位于与当前预测单元2010中的当前预测像素2011相同行上并与位于当 前预测单元2010的最远右侧的像素相应的第一虚拟像素2012。用于获取第一虚拟像素2012 的邻近像素2020的数量可被预先确定。例如,帧内预测器410和550可将通过使用作为最初 的两个右上侧邻近像素的T12021和T22022的平均值或加权平均值产生的值确定为第一虚 拟像素2012。

[0201] 另外,帧内预测器410和550可基于当前预测单元2010的尺寸,确定用于获取第一 虚拟像素2012的邻近像素2020的数量。例如,当当前预测单元2010的尺寸是nSXnS (其中, nS是整数)时,帧内预测器410和550可从用于获取第一虚拟像素2012的邻近像素2020中选 择nSA2~m)(其中,m是满足2~m不高于nS的条件的整数)右上侧邻近像素,并通过选择的右 上侧邻近像素的平均值或加权平均值获取第一虚拟像素2012。换句话说,帧内预测器410和 550可从邻近像素2020中选择nS/2、nS/4、nS/8等像素。例如,当当前预测单元2010的尺寸是 32父32时,帧内预测器410和550可选择32/2、32/4、32/8、32/16、32/32,8卩,1至16右上侧邻 近像素。

[0202] 相似地,参照图20B,帧内预测器410和550通过使用位于当前预测单元2011左下侧 的至少一个邻近像素2030,获取位于与当前预测单元2010中的当前预测像素相同列上并与 位于当前预测单元2010下方最远的像素相应的第二虚拟像素2014。用于获取第一虚拟像素 2014的邻近像素2030的数量可被预先确定。例如,可将通过使用作为最初的两个左下侧邻 近像素的L12031和L22032的平均值或加权平均值产生的值确定为第二虚拟像素2014。

[0203] 另外,帧内预测器410和550可基于当前预测单元2010的尺寸,确定用于获取第二 虚拟像素2014的邻近像素2030的数量。如上所述,当当前预测单元2010的尺寸是nS XnS (其 中,nS是整数)时,帧内预测器410和550可从用于获取第二虚拟像素2014的邻近像素2030中 选择nSA2~m)(其中,m是满足2~m不高于nS的条件的整数)左下侧邻近像素,并通过选择的 左下侧邻近像素的平均值或加权平均值获取第二虚拟像素2014。

[0204] 同时,如果邻近像素2020由于被包括在当前预测单元2010之后被编码的预测单元 中而不可使用,则帧内预测器410和550可使用刚好在邻近像素2020左边的像素TO作为第一 虚拟像素2012。另一方面,如果邻近像素2030因为被包括在当前预测单元2010之后被编码 的预测单元中而不可使用,则帧内预测器410和550可使用刚好在邻近像素2030的上边像素 LO作为第二虚拟像素2014。

[0205] 返回参照图20A,考虑当前预测像素2011和从邻近像素2020获取的第一虚拟像素 2012之间的距离以及当前预测像素2011和与当前预测像素2011在相同行上的邻近左侧像 素2013之间的距离,帧内预测器410和550通过使用以上距离的几何平均值执行线性插值来 产生当前预测像素2011的第一预测值pi。

[0206] 当邻近左侧像素2013的像素值是reC(-l,y)时,位于(nS_l,y)的第一虚拟像素 2012的像素值为T (其中T是实数),当前预测像素2011的预测值是p (x,y),其中x,y = 0至β-ΐ ,其中 (x,y) 表示当前预测单元 2010 的当前预测像素 2011 的位置, rec(x,y) 表示当前预测 单元2010的邻近像素,其中&,7 = -1至2\115-1),第一预测值口1&,7)可根据等式口1&,7) =(nS-l-x) Xrec (-1,y) + (x+1) XT。这里,(ns-1-x)与当前预测像素2011和第一虚拟像素 2012之间的距离相应,并且(x+1)与当前预测像素2011和邻近左侧像素2013之间的距离相 应。这样,帧内预测器410和550通过使用第一虚拟像素2012和当前预测像素2011之间的距 离、当前预测像素2011和与当前预测像素2011在相同行上的邻近左侧像素2013之间的距 离、第一虚拟像素2012的像素值以及邻近左侧像素2013的像素值的线性插值来产生第一预 测值pl。

[0207] 返回参照图20B,考虑当前预测像素2011和从邻近像素2030获取的第二虚拟像素 2014之间的距离以及当前预测像素2011和与当前预测像素2011在相同列上的邻近上侧像 素2015之间的距离,帧内预测器410和550通过使用以上距离的几何平均值执行线性插值来 产生当前预测像素2011的第二预测值p2。

[0208] 当邻近上侧像素2015的像素值是rec (x,-l)时,位于(x,nS-l)的第二虚拟像素 2014的像素值为L (其中L是实数),当前预测像素2011的预测值是p (x,y),其中x,y = 0至β-ΐ ,其中 (x,y) 表示当前预测单元 2010 的当前预测像素 2011 的位置, rec(x,y) 表示当前预测 单元2010的邻近像素,其中(x,y = -l至2 XnS-I),可根据等式p2 (x,y) = (nS-l-y) Xrec (x,-l) + (y+l) XL来获得第二预测值p2(x,y)。这里,(ns-1-y)与当前预测像素2011和第二 虚拟像素2014之间的距离相应,并且(y+Ι)与当前预测像素2011和邻近上侧像素2015之间 的距离相应。这样,帧内预测器410和550通过使用第二虚拟像素2014和当前预测像素2011 之间的距离、当前预测像素2011和与当前预测像素2011在相同列上的邻近上侧像素2015之 间的距离、第二虚拟像素2014的像素值和邻近上侧像素2015的像素值的线性插值来产生第 二预测值P2。

[0209] 这样,当经由水平和垂直方向的线性插值获取了第一预测值pi (x,y)和第二预测 值p2 (x,y)时,桢内预测器410和550通过使用第一预测值pi (x,y)和第二预测值p2 (x,y)的 平均值来获取当前预测像素2011的预测值p (x,y)。详细地,帧内预测器410和550可通过使 用等式P (x,y) = {pl (x,y) +p2 (x,y) +nS} >> (k+Ι)来获取当前预测像素2011的预测值P (X, y),其中k是log2nS。

[0210] 可选择地,帧内预测器410和550可通过使用滤波的邻近右上侧像素和滤波的邻近 左下侧像素,而不是使用邻近右上侧像素和邻近左下侧像素本身,来获取第一虚拟像素和 第二虚拟像素。

[0211] 图21是示出根据本发明的实施例的在当前预测单元2100周围的被滤波的邻近像 素2110和2120。

[0212] 参照图21,帧内预测器410和550通过对被当前帧内预测的当前预测单元2100上方 的X邻近像素2110和当前预测单元2100的左侧的Y邻近像素2120执行至少一次滤波来产生 滤波的邻近像素。这里,当当前预测单元2100的尺寸是nSXnS时,X可以是2ns并且Y可以为 2ns 〇

[0213] 当ContextOrg [η]表示具有nS X nS尺寸的当前预测单元2100的上方和左侧的X+Y 原始邻近像素,其中η是从0至X+Y-1的整数,在邻近左侧像素中的邻近最下侧像素中η是0, (即,Context0rg[0]),并且在邻近上侧像素中的邻近最右侧像素中η是Χ+Υ-1,(即, ContextOrg[Χ+Υ-1])〇

[0214]图22是用于描述邻近像素的滤波处理的参考示图。

[0215] 参照图22,当ContextOrg [η]表示当前预测单元的上侧和左侧的原始邻近像素,其 中,η是从0到为4nS-l的整数,原始邻近像素可经由原始邻近像素之间的加权平均值被滤 波。当ContextFilteredl [η]表示一次滤波的邻近像素时,通过对原始邻近像素应用3抽头 滤波器的邻近像素ContextOrg [η]可根据等式ContextFilteredl [n] = (ContextOrg [η-1] + 2 X ContextOrg [n] +ContextOrg [η + 1 ]) / 4被获取。类似地,两次滤波的邻近像素 ContextFiltered2 [η]可通过再次计算一次滤波的邻近像素ContextFiIteredl [η]之间的 加权平均值来产生。例如,通过对滤波的邻近像素应用3抽头滤波器滤波的邻近像素可根据 等式ContextFi Itered2 [n] = (ContextFilteredl [η-1] +2 X ContextFilteredl [η] + ContextFilteredl [η+1]) /4来产生。

[0216] 可选择地,可通过使用各种方法中的任意一个对邻近像素滤波,并随后如上所述, 帧内预测器410和550可从至少一个邻近滤波的右上侧像素获得第一虚拟像素,从至少一个 邻近滤波的左下侧像素获取第二虚拟像素,并随后经由如上所述的线性差值产生当前像素 的预测值。邻近滤波像素的使用可基于当前预测单元的尺寸被确定。例如,仅当当前预测单 元的尺寸等于或大于16 X 16时,邻近滤波的像素可被使用。

[0217] 图23是根据本发明的实施例的根据平坦模式的帧内预测方法的流程图。

[0218] 在操作2310,帧内预测器410和550通过使用位于当前预测单元的右上侧的至少一 个邻近像素来获取位于与当前预测单元的当前预测像素相同行上并与位于当前预测单元 的最右侧的像素相应的第二虚拟像素。如上所述,用于获取第一虚拟像素的邻近像素的数 量可被预确定,或基于当前预测单元的尺寸被确定。

[0219] 在操作2320,帧内预测器410和550通过使用位于当前预测单元的左下侧的至少一 个邻近像素来获取位于与当前预测像素相同行上并与位于当前预测像素的最下侧的像素 相应的第一虚拟像素。如上所述,用于获取第二虚拟像素的邻近像素的数量可被预确定,或 基于当前预测单元的尺寸被确定。

[0220] 在操作2330,帧内预测器410和550经由使用第一虚拟像素和位于与当前预测像素 的相同行上的邻近左侧像素的线性插值来获取当前预测像素的第一预测值。如上所述,当 当前预测像素的位置是(x,y)时,其中,X和y均是从〇至nS-Ι,当前预测单元的邻近像素是 rec (x,y),其中X和y均是从-1到2XnS-l,邻近左侧像素的像素值是rec (_l,y),位于(nS-1, y)的第一虚拟像素的像素值为T,其中T是实数,当前预测像素的预测值是p (x,y),其中X和y 均是从O到nS-Ι,可根据等式pi (x,y) = (nS-l-x) Xrec(-l,y) + (x+l) XT来获取第一预测值 pl (x,y) 〇

[0221] 在操作2340,帧内预测器410和550使用第二虚拟像素和位于与当前预测像素相同 列上的邻近上侧像素的线性插值来获取当前预测像素的第二预测值。当邻近上侧像素的像 素值是rec (x,-l)并且位于(x,nS-l)的第二虚拟像素的像素值为L时,其中L是实数,可根据 等式p2 (X,y) = (nS-l-y) Xrec (X,-I) + (y+1) X L获取第二预测值p2 (X,y)。

[0222] 在操作2350,帧内预测器410和550通过使用第一和第二预测值来获取当前预测像 素的预测值。如上所述,当第一预测值Pl (x,y)和第二预测值P2(x,y)经由沿水平和垂直方 向的线性插值被获取时,帧内预测器410和550通过使用第一pi (x,y)和第二预测值p2(x,y) 的平均值来获取当前预测的像素的预测值P (x,y)。详细地,帧内预测器410和550可根据等 式口&,7) = {口1&,7)+口2&,7)+115}>>(1^+1)来获取预测值?&,7),其中,1^是1(^2115。

[0223] 根据本发明的一个或多个实施例,通过经由使用邻近像素的各种帧内预测,应用 根据图像特征的最优帧内预测方法可提高图像的编码效率。

[0224] 本发明的实施例可被编写为计算机程序,并可被实现为通过使用计算机可读记录 介质执行程序的通用数字计算机。计算机可读记录介质的示例包括磁存储介质(例如,R0M、 软盘、硬盘等)、光学记录介质(例如,CD-ROM或DVD)以及存储介质。

[0225] 虽然参照本发明的优选实施例具体地示出和描述了本发明,但是本领域的普通技 术人员将理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可在其中进行 各种形式和细节的改变。优选实施例应该仅被认为是描述性的意义而不是为了限制的目 的。因此,本发明的范围不是由本发明的详细描述限定,而是由权利要求限定,并且所述范 围内的所有差别将被解释为包括在本发明中。

Claims (1)

  1. I. 一种对图像进行帧内预测的设备,包括: 编码信息获取器,被配置为获取包括第一角邻近样本、第二角邻近样本、第一侧邻近样 本和第二侧邻近样本的参考样本,其中,所述参考样本用于当前样本的预测; 预测值确定器,被配置为基于第一角邻近样本、第二角邻近样本、第一侧邻近样本和第 二侧邻近样本的加权和来确定当前样本的预测值, 恢复器,被配置为通过使用当前样本的预测值以及指示当前样本的原始值和预测值之 间的差的残差数据来恢复当前样本的原始值, 其中, 第一角邻近样本、第二角邻近样本、第一侧邻近样本和第二侧邻近样本的权重是基于 当前样本的位置和当前块的尺寸确定的, 第一角邻近样本位于与当前块的上侧邻近的行和与当前块的右侧邻近的列的交叉点, 第二角邻近样本位于与当前块的下侧邻近的行和与当前块的左侧邻近的列的交叉点, 第一侧邻近样本位于当前样本所在的行和与当前块的左侧邻近的列的交叉点, 第二侧邻近样本位于与当前块的上侧邻近的行和当前样本所在的列的交叉点。
CN201510450555.0A 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备 CN105100808B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201161501969P true 2011-06-28 2011-06-28
US61/501,969 2011-06-28
CN201280042446.XA CN103765901B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备

Publications (2)

Publication Number Publication Date
CN105100808A CN105100808A (zh) 2015-11-25
CN105100808B true CN105100808B (zh) 2018-06-15

Family

ID=47424690

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201510449585.XA CN104954805B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备
CN201510237934.1A CN104918055B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备
CN201510450555.0A CN105100808B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备
CN201510452250.3A CN105100809B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备
CN201280042446.XA CN103765901B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备
CN201810167413.7A CN108282659A (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201510449585.XA CN104954805B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备
CN201510237934.1A CN104918055B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201510452250.3A CN105100809B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备
CN201280042446.XA CN103765901B (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备
CN201810167413.7A CN108282659A (zh) 2011-06-28 2012-06-28 用于使用帧内预测进行图像编码和解码的方法和设备

Country Status (15)

Country Link
US (7) US9813727B2 (zh)
EP (6) EP2919466A3 (zh)
JP (5) JP5956572B2 (zh)
KR (7) KR101654673B1 (zh)
CN (6) CN104954805B (zh)
AU (3) AU2012276407B2 (zh)
BR (1) BR112013033710A2 (zh)
CA (2) CA2840486C (zh)
MX (3) MX337647B (zh)
MY (1) MY165859A (zh)
PH (4) PH12016500450A1 (zh)
RU (4) RU2594291C2 (zh)
TW (4) TWI642299B (zh)
WO (1) WO2013002586A2 (zh)
ZA (1) ZA201400651B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI642299B (zh) 2011-06-28 2018-11-21 三星電子股份有限公司 對影像做畫面內預測的解碼裝置及編碼裝置以及包括位元串流的非暫態電腦可讀取媒體
US9571809B2 (en) 2013-04-12 2017-02-14 Intel Corporation Simplified depth coding with modified intra-coding for 3D video coding
EP2984825A4 (en) * 2013-04-12 2016-09-07 Intel Corp Simplified depth coding with modified intra-coding for 3d video coding
US9497485B2 (en) 2013-04-12 2016-11-15 Intel Corporation Coding unit size dependent simplified depth coding for 3D video coding
WO2014178563A1 (ko) * 2013-04-29 2014-11-06 인텔렉추얼 디스커버리 주식회사 인트라 예측 방법 및 장치
KR20180075517A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20180075558A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치
KR20180014675A (ko) * 2016-08-01 2018-02-09 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3496399A1 (en) * 2016-08-03 2019-06-12 KT Corporation Video signal processing method and device
KR20180031614A (ko) * 2016-09-20 2018-03-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018062702A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2018105759A1 (ko) * 2016-12-05 2018-06-14 엘지전자(주) 영상 부호화/복호화 방법 및 이를 위한 장치
WO2018124653A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 인트라 예측에서 참조 샘플을 필터링하는 방법 및 장치
WO2018125972A1 (en) 2016-12-28 2018-07-05 Arris Enterprises Llc Adaptive unequal weight planar prediction
CA3048242A1 (en) * 2016-12-28 2018-07-05 Arris Enterprises Llc Improved video bitstream coding
WO2018174354A1 (ko) * 2017-03-21 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2018174371A1 (ko) * 2017-03-21 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2018221817A1 (ko) * 2017-05-31 2018-12-06 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
EP3410721A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for bi-directional intra prediction in video coding
EP3410722A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
WO2019009622A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010123056A1 (ja) * 2009-04-24 2010-10-28 ソニー株式会社 画像処理装置および方法
KR20110036401A (ko) * 2009-10-01 2011-04-07 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085763B1 (en) * 1996-05-28 2003-01-22 Matsushita Electric Industrial Co., Ltd. Image predictive coding apparatus and method.
CN100459715C (zh) 1997-07-31 2009-02-04 日本胜利株式会社 数字视频信号块间预测编码/解码装置及编码/解码方法
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US6418166B1 (en) * 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US6882637B1 (en) * 1999-10-14 2005-04-19 Nokia Networks Oy Method and system for transmitting and receiving packets
WO2003021971A1 (en) * 2001-08-28 2003-03-13 Ntt Docomo, Inc. Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method, decoding method, and program usable for the same
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US7269730B2 (en) * 2002-04-18 2007-09-11 Nokia Corporation Method and apparatus for providing peer authentication for an internet key exchange
US7289672B2 (en) * 2002-05-28 2007-10-30 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode estimation
WO2004049726A1 (ja) * 2002-11-25 2004-06-10 Matsushita Electric Industrial Co., Ltd. 動き補償方法、画像符号化方法および画像復号化方法
CN1224270C (zh) 2003-09-30 2005-10-19 清华大学 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法
CN100534192C (zh) * 2003-10-28 2009-08-26 松下电器产业株式会社 帧内预测编码方法
CN100536573C (zh) * 2004-01-16 2009-09-02 北京工业大学 基于方向的dc预测方法及用于视频编码的帧内预测方法
CN100479527C (zh) 2004-02-26 2009-04-15 联合信源数字音视频技术(北京)有限公司 一种帧内预测模式选取方法
CN100401789C (zh) * 2004-06-11 2008-07-09 上海大学 H.264/avc帧内预测模式的快速选择方法
CN1589028B (zh) * 2004-07-29 2010-05-05 展讯通信(上海)有限公司 基于像素流水的帧内预测装置及预测方法
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN100348051C (zh) 2005-03-31 2007-11-07 华中科技大学 一种增强型帧内预测模式编码方法
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4791129B2 (ja) 2005-10-03 2011-10-12 ルネサスエレクトロニクス株式会社 画像符号化装置、画像符号化方法及び画像編集装置
JP2007116351A (ja) 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
KR100977101B1 (ko) 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
TWI315962B (zh) 2006-07-31 2009-10-11 Univ Nat Cheng Kung
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
US20100027615A1 (en) * 2006-10-24 2010-02-04 Purvin Bibhas Pandit Picture identification for multi-view video coding
TWI327866B (en) 2006-12-27 2010-07-21 Realtek Semiconductor Corp Apparatus and related method for decoding video blocks in video pictures
CN101217669A (zh) * 2008-01-15 2008-07-09 北京中星微电子有限公司 帧内预测方法及装置
US8328109B2 (en) * 2008-10-02 2012-12-11 Silverbrook Research Pty Ltd Coding pattern comprising registration symbols for identifying the coding pattern
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
TWI442777B (en) * 2009-06-23 2014-06-21 Acer Inc Method for spatial error concealment
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102972028B (zh) * 2010-05-17 2015-08-12 Lg电子株式会社 新的帧内预测模式
KR20180118254A (ko) * 2010-05-25 2018-10-30 엘지전자 주식회사 신규한 평면 예측 모드
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
TWI642299B (zh) * 2011-06-28 2018-11-21 三星電子股份有限公司 對影像做畫面內預測的解碼裝置及編碼裝置以及包括位元串流的非暫態電腦可讀取媒體

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010123056A1 (ja) * 2009-04-24 2010-10-28 ソニー株式会社 画像処理装置および方法
KR20110036401A (ko) * 2009-10-01 2011-04-07 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Also Published As

Publication number Publication date
EP2919466A2 (en) 2015-09-16
TW201639373A (en) 2016-11-01
CN103765901A (zh) 2014-04-30
JP6101734B2 (ja) 2017-03-22
BR112013033710A2 (pt) 2017-06-27
JP6101735B2 (ja) 2017-03-22
WO2013002586A2 (ko) 2013-01-03
ZA201400651B (en) 2017-08-30
CN104918055A (zh) 2015-09-16
US10085037B2 (en) 2018-09-25
US10045042B2 (en) 2018-08-07
US9813727B2 (en) 2017-11-07
KR101600061B1 (ko) 2016-03-14
CN105100809A (zh) 2015-11-25
US20150264381A1 (en) 2015-09-17
KR20150059146A (ko) 2015-05-29
JP2015167388A (ja) 2015-09-24
RU2660956C1 (ru) 2018-07-11
CN103765901B (zh) 2018-03-30
CA3017176A1 (en) 2013-01-03
EP2728884A2 (en) 2014-05-07
KR20150059144A (ko) 2015-05-29
CN104918055B (zh) 2019-07-26
TW201309037A (en) 2013-02-16
EP2728884A4 (en) 2015-03-18
TWI642299B (zh) 2018-11-21
JP6101737B2 (ja) 2017-03-22
AU2016201361B2 (en) 2016-12-22
AU2012276407B2 (en) 2016-02-18
US20150288980A1 (en) 2015-10-08
KR20150059143A (ko) 2015-05-29
KR20150059145A (ko) 2015-05-29
KR20130002297A (ko) 2013-01-07
CN108282659A (zh) 2018-07-13
KR20180061099A (ko) 2018-06-07
JP6101736B2 (ja) 2017-03-22
AU2016201361A1 (en) 2016-03-24
KR101564422B1 (ko) 2015-10-29
PH12016500451B1 (en) 2016-06-06
CN104954805B (zh) 2019-01-04
CN105100808A (zh) 2015-11-25
KR20150009500A (ko) 2015-01-26
JP2015167389A (ja) 2015-09-24
US20150264380A1 (en) 2015-09-17
RU2594291C2 (ru) 2016-08-10
JP2014523187A (ja) 2014-09-08
PH12016500450A1 (en) 2016-06-06
US10075730B2 (en) 2018-09-11
MY165859A (en) 2018-05-18
TW201743618A (en) 2017-12-16
EP2919468A3 (en) 2016-02-17
MX337647B (es) 2016-03-14
JP2015181254A (ja) 2015-10-15
CA2840486A1 (en) 2013-01-03
US20150264379A1 (en) 2015-09-17
WO2013002586A3 (ko) 2013-03-14
EP2919468A2 (en) 2015-09-16
MX349194B (es) 2017-07-18
US20190028733A1 (en) 2019-01-24
JP5956572B2 (ja) 2016-07-27
US9788006B2 (en) 2017-10-10
US20140133565A1 (en) 2014-05-15
MX2014000171A (es) 2014-02-19
PH12016500451A1 (en) 2016-06-06
KR101855293B1 (ko) 2018-06-20
EP2919469A2 (en) 2015-09-16
PH12016500448A1 (en) 2016-06-06
AU2012276407A1 (en) 2014-02-06
RU2687294C1 (ru) 2019-05-13
CN104954805A (zh) 2015-09-30
AU2017201660A1 (en) 2017-03-30
RU2014102592A (ru) 2015-08-10
CN105100809B (zh) 2018-08-10
EP2919469A3 (en) 2015-10-14
KR101654673B1 (ko) 2016-09-22
TWI552583B (en) 2016-10-01
EP2919467A2 (en) 2015-09-16
KR101564423B1 (ko) 2015-10-29
RU2627033C1 (ru) 2017-08-03
CA2840486C (en) 2018-10-23
TWI603613B (en) 2017-10-21
AU2017201660B2 (en) 2018-07-19
TW201907729A (zh) 2019-02-16
US10045043B2 (en) 2018-08-07
EP2919467A3 (en) 2015-10-14
JP2015181255A (ja) 2015-10-15
PH12016500446A1 (en) 2016-06-06
EP2919466A3 (en) 2016-02-17
EP3247115A1 (en) 2017-11-22
US20150264382A1 (en) 2015-09-17
KR101600063B1 (ko) 2016-03-14

Similar Documents

Publication Publication Date Title
CN104768002B (zh) 确定图像编码单元和图像解码单元的帧内预测模式
CN104506862B (zh) 用于对视频进行解码的方法和设备
CA2857392C (en) Method and apparatus for encoding and decoding video, using directional intra predication and pixels in neighboring upper and left blocks
CN100568976C (zh) 用于图像的帧内预测编码和解码的方法以及装置
CN104853190B (zh) 对视频数据进行解码的方法
RU2615323C2 (ru) Способ и устройство для кодирования видео и способ и устройство для декодирования видео
KR101676790B1 (ko) 트리 구조 부호화 단위에 기반한 디블록킹 필터링을 수행하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
CN102939752B (zh) 通过基于树结构的数据单元执行环路滤波来对视频进行编解码的方法和设备
CN104539960B (zh) 用于对视频进行解码的方法和设备
CN104768006B (zh) 用于确定运动矢量的设备
CA2822800C (en) Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
CN105100797B (zh) 对视频解码的设备
KR101703327B1 (ko) 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102144393A (zh) 图像编码方法及装置以及其解码方法及装置
CN104247425A (zh) 用于视频编码的非序列变换单元
CN103096066B (zh) 视频数据的解码设备
KR101457396B1 (ko) 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
CN103220526A (zh) 对图像边界的编码单元进行编码和解码的方法和设备
CN104796719B (zh) 对视频进行解码的方法和设备
AU2016201361B2 (en) Method and apparatus for image encoding and decoding using intra prediction
KR101675118B1 (ko) 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN106067978B (zh) 用于对图像进行解码的装置
CN103931184B (zh) 用于对视频进行编码和解码的方法和装置
CN104980741B (zh) 视频解码设备
ES2691983T3 (es) Aparato para decodificar imágenes

Legal Events

Date Code Title Description
C06 Publication
C10 Entry into substantive examination
GR01