CN116016949A - 用于解码的方法和装置以及用于编码的方法和装置 - Google Patents

用于解码的方法和装置以及用于编码的方法和装置 Download PDF

Info

Publication number
CN116016949A
CN116016949A CN202310006355.0A CN202310006355A CN116016949A CN 116016949 A CN116016949 A CN 116016949A CN 202310006355 A CN202310006355 A CN 202310006355A CN 116016949 A CN116016949 A CN 116016949A
Authority
CN
China
Prior art keywords
image
region
prediction directions
candidate prediction
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310006355.0A
Other languages
English (en)
Inventor
卡尔·詹姆斯·沙曼
尼古拉斯·伊安·桑德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN116016949A publication Critical patent/CN116016949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于解码的方法和装置以及用于编码的方法和装置。用于解码的方法包括：检测指示最可能模式的短数据代码并将先前图像区域的亮度帧内预测解码模式应用于当前区域的样本，以及如果要应用的模式不是最可能模式，则：根据给定图像区域的样态，针对当前样本，对给定图像区域应用候选预测方向的两个以上不同集合中的一者，样态为以下的一个或多个：给定图像区域的区域形状和位置；以及从能应用于给定图像区域的候选预测方向的集合中选择样本的预测方向；其中，取决于非正方形块的尺寸，针对非正方形块应用候选预测方向的更小集合，以反映非正方形块的左侧比上方更大数目的潜在参考样本或者非正方形块上方比其左侧更大数目的潜在参考样本。

Description

用于解码的方法和装置以及用于编码的方法和装置
本申请是国际申请日2017年4月20日、国际申请号PCT/GB2017/051096的国际申请于2018年11月22日进入国家阶段的申请号为201780031794.X、发明名称为“利用可变内预测方向集合进行内编码和解码”的专利申请的分案申请，其全部内容结合于此作为参考。
技术领域
本公开涉及图像数据编码和解码。
背景技术
本文中提供的“背景”描述用于整体呈现本公开内容的上下文的目的。目前署名的发明人的工作(在此背景技术部分中所描述的程度)以及在提交时不能以其他方式成为现有技术的描述的方面不被明确地或暗示性地承认为相对本公开的现有技术。
有数种视频数据编码及解码系统，其涉及将视频数据变换为频域表示、将频域系数量化及然后将熵(entropy)编码的某形式应用至已量化的系数。如此可获得视频数据的压缩。相应的解码或解压缩技术被应用以恢复原始视频数据的重构版本。
诸如于H.264/MPEG-4高阶视频编码(AVC)中所使用的那些的当前的视频编解码器(编码器-解码器)主要通过仅将连续视频帧之间的差异编码来获得数据压缩。这些编解码器使用所谓宏块的规律阵列，每个宏块被用作与先前视频帧中的相应宏块相对比的区域，且接着，宏块内的图像区依据介于视频序列中的相应当前宏块与先前宏块间、或者介于视频序列的单个帧内的相邻宏块间所发现的运动程度而被编码。
高效率视频编码(HEVC)，亦已知为H.265或MPEG-H Part 2，是H.264/MPEG-4AVC的一种提议的后继者。期望HEVC相较于H.264得以增进视频质量及加倍数据压缩比，并期望其可从128×96像素分辨率缩放至7680×4320像素分辨率，约略等于从128kbit/s至800Mbit/s的比特率。
发明内容
本公开应对或减缓由此处理所发生的问题。
本公开的各个方面及特征限定于所附权利要求中。
应理解，之前的一般性描述及之后的详细描述为示例性的，而非限制本技术。
附图说明
本公开内容的更完整的理解和其许多附带的优点将容易地被获得，因为参考结合附图考虑时的以下具体实施方式，本公开内容的更完整的理解和其许多附带的优点变得更好地理解，其中：
图1示意性地示出了使用视频数据压缩和解压缩的音频/视频(A/V)数据传输和接收系统；
图2示意性地示出了利用视频数据解压缩的视频显示系统；
图3示意性地示出了利用视频数据压缩和解压缩的音频/视频存储系统；
图4示意性地示出了利用视频数据压缩的摄影机；
图5和图6示意性地示出了存储介质；
图7提供视频数据压缩和解压缩装置的示意图；
图8示意性地示出了预测器；
图9示意性地示出了部分编码图像；
图10示意性地示出了可能的帧内预测方向的集合；
图11示意性地示出了预测模式的集合；
图12示意性地示出了帧内预测过程；
图13是示出了模式选择方法的示意性流程图；
图14是示出了模式子集选择方法的示意性流程图；
图15和图16示意性地示出了非方形块；
图17是示出了使用最可能模式(MPM)的方法的示意性流程图；
图18是示出了MPM选择方法的示意性流程图；
图19是示出编码技术的示意性流程图；
图20是示出编码技术的示意性流程图；
图21是示出编码技术的示意性流程图；
图22是示出编码技术的示意性流程图；
图23示意性地示出编码块；
图24示意性地示出图像；以及
图25至图28是示出了方法的示意性流程图。
具体实施方式
现参考附图，提供图1-图4以给出利用下面结合本技术的实施方式描述的压缩和/或解压缩装置的装置或者系统的示意图。
下面将要描述的所有数据压缩和/或解压缩装置可以以硬件、运行在诸如通用计算机、如专用集成电路(ASIC)或者现场可编程门阵列(FPGA)或者其组合的可编程硬件的通用数据处理装置上的软件实施。在由软件和/或固件实现实施方式的情况下，应当理解，这样的软件和/或固件以及存储或以其他方式提供这样的软件和/或固件的非临时性数据存储介质被视为本技术的实施方式。
图1示意性地示出了利用视频数据压缩和解压缩的音频/视频数据传输和接收系统。
输入音频/视频信号10被提供给视频数据压缩装置20，视频数据压缩装置压缩音频/视频信号10的至少视频分量以用于沿着诸如电缆、光纤、无线链路等传输路线30进行传输。压缩信号被解压缩装置40处理以提供输出的音频/视频信号50。对于返回路径，压缩装置60压缩音频/视频信号以沿着传输路线30传输到解压缩装置70。
压缩装置20和解压缩装置70由此能够形成传输链路的一个节点。解压缩装置40和解压缩装置60能够形成传输链路的另一节点。当然，在传输链路为单向的情况下，仅一个节点需要压缩装置并且另一节点仅需要解压缩装置。
图2示意性地示出了使用视频数据解压缩的视频显示系统。具体地，压缩的音频/视频信号100被解压缩装置110处理以提供能够在显示器120上显示的解压缩信号。解压缩装置110可以实施为显示器120的组成部分，例如，与显示设备设置在同一壳体内。另一方面，解压缩装置110可被提供为(例如)所谓的机顶盒(STB)，注意：用词「机顶」并非暗示机盒需相对于显示器120设置在任何特定方位或位置；其仅为在本技术中所使用的术语，用以指示作为外围设备可连接至显示器的设备。
图3示意性地示出了使用视频数据压缩和解压缩的音频/视频存储系统。输入音频/视频信号130被提供给压缩装置140，压缩装置生成压缩信号用于由存储设备150存储，存储设备150诸如磁盘设备、光盘设备、磁带设备、例如半导体存储器的固态存储设备或者其他存储设备。在重放时，从存储设备150读取压缩数据并且压缩数据被传送到解压缩装置160以进行解压缩，从而提供输出的音频/视频信号170。
将理解的是，压缩或编码信号和存储介质(诸如，存储该信号的机器可读非临时性存储介质)被认为是本技术的实施方式。
图4示意性地示出了使用视频数据压缩的摄影机。在图4中，诸如电荷耦合器件(CCD)图像传感器及相关的控制和读出电子设备等图像捕获设备180生成视频信号，视频信号被传送给压缩装置190。麦克风(或者多个麦克风)200生成被传送给压缩装置190的音频信号。压缩装置190生成将被存储和/或传输(通常示出为示意性阶段220)的压缩的音频/视频信号210。
以下描述的技术主要有关于视频数据压缩及解压缩。应当理解，许多现有技术可结合将要描述的视频数据压缩技术来用于音频数据压缩以生成压缩的音频/视频信号。因此，将不提供对音频数据压缩的单独讨论。还应理解，与视频数据相关联的数据速率，尤其是广播质量视频数据，通常比与(无论是压缩或者未压缩)音频数据相关联的数据速率高很多。因此，应当理解，未压缩的音频数据可与压缩的视频数据一起形成压缩的音频/视频信号。进一步应当理解，尽管本实例(图1至图4中示出)涉及音频/视频数据，然而，下面将要描述的技术中可以发现在只处理(即，压缩、解压缩、存储、显示和/或传输)视频数据的系统中使用。即，实施方式能够应用于视频数据压缩，而不必具有任何相关的音频数据处理。
图5和图6示意性地示出了存储(例如)由装置20、60生成的压缩数据、输入至装置110或者存储介质或者阶段150、220的压缩数据的存储介质。图5示意性地示出了磁盘存储介质(诸如，磁盘或光盘)，以及图6示意性地示出了固态存储介质(诸如，闪存)。应注意，图5和图6也可以提供存储计算机软件的非临时性计算机可读存储介质的实例，所述计算机软件在由计算机执行时使得所述计算机执行下面论述的一个或多个方法。
图7提供视频数据压缩和解压缩装置的示意图。
控制器343控制装置的整体操作；具体地，当涉及压缩模式时，控制器343通过用作选择器以选择各种操作模式来控制试验编码过程，各种操作模式诸如块尺寸以及形状以及是否无损地或以其他方式将视频数据编码。控制器被认为是图像编码器或图像解码器的一部分(视情况而定)。输入的视频信号300的连续图像被提供给加法器310和图像预测器320。下面将参考图8更为详细地描述图像预测器320。图像编码器或解码器(视情况而定)加上图8的图像内预测器形成图7的装置。然而，这并不意味着图像编码器或解码器必须需要图7的每个特征。
事实上，加法器310执行减法(负加法)运算，即，在“+”输入端接收输入视频信号300并且在“-”输入端接收图像预测器320的输出，这样使得从输入图像中减去预测图像。结果是生成表示实际图像与投影图像之间的差的所谓残差图象信号330。
生成残差图象信号的原因之一如下。将描述的数据编码技术(亦即将应用于残差图像信号的技术)倾向于在待编码的图像中有较少「能量」时更有效率地起作用。此处，术语“有效地”指少量的编码数据的生成；对于特定的图像质量等级，期望(并且视为“有效地”)实际上生成尽可能少的数据。提及的残差图象中的“能量”指包含在残差图象中的信息量。如果预测图像与实际图像一致，两者之间的差(即，残差图象)将包含零信息(零能量)并且非常容易编码成少量的编码数据。通常，如果可使预测处理相当良好地工作，以使得预测图像内容与待编码的图像内容相似，则期望是残差图像数据与输入图像数据相比包含很少的信息(很少的能量)并且因此将更容易编码成少量的编码数据。
现在将描述用作编码器(用于将残差或差异图像进行编码)的装置的剩余部分。残差图像数据330被提供给变换单元340，变换单元生成残差图像数据的块或区域的离散余弦变换(DCT)表示。DCT技术本身是公知的并且此处将不作详细描述。还应注意，DCT的使用仅仅是一个示例性布置的示意性的。可能使用的其他变换包括例如离散正弦变换(DST)。变换还可以包括单独变换的序列或级联，诸如，一个变换之后跟着(是否直接)另一变换的布置。变换的选择可以明确地确定和/或取决于用于配置编码器和解码器的辅助信息。
变换单元340的输出(亦即，针对图像数据的各变换块的DCT系数集合)被供应至量化器350。各种量化技术在视频数据压缩的领域中是公知的，视频数据压缩的领域的范围从简单乘以量化比例因子至在量化参数控制下的复杂查找表的应用。总的目标是双重的。首先，量化过程减少了变换数据的可能值的数目。其次，量化过程能够增加变换数据的值为零的可能性。这两者可使得以下将描述的熵编码过程在产生少量的压缩视频数据中将更有效率地起作用。
通过扫描单元360应用数据扫描过程。扫描过程的目的是对量化变换数据重新排序，从而使尽可能多的非零量化变换系数聚集在一起，当然，由此使尽可能多的零值系数聚集在一起。这些特征可以使得所谓的游程编码(run-length coding)或类似的技术高效地应用。因此，扫描过程涉及根据“扫描顺序”从量化变换数据选择系数，具体地，从对应于经变换和量化的图像数据的块的系数块中选择系数，使得(a)一次选择所有系数作为扫描的一部分；以及(b)扫描趋向于提供期望的重新排序。一种可趋于提供有用结果的示例扫描顺序是一种所谓的直立对角扫描顺序。
然后，扫描系数被传送给熵编码器(EE)370。再次，可使用各种类型的熵编码。两个实例是所谓的CABAC(上下文自适应二进制算数编码)系统的变形和所谓的CAVLC(上下文自适应可变长度编码)系统的变形。总体而言，CABAC被视为提供更佳的效率，在一些研究中已经示出，与CAVLC相比较，对于可相当的图像质量提供编码输出数据的量有10-20％减少。然而，CAVLC被认为表示(在其实施方面)比CABAC更低的复杂度。应注意，扫描过程和熵编码过程示出为单独的过程，但事实上，可以进行组合或者一起处理。即，读入到熵编码器的数据可以以扫描顺序来进行。相应的考虑适于以下将描述的各自的反向过程。
熵编码器370的输出与例如定义预测器320生成预测图像的方式的(以上提及和/或下面所讨论的)附加数据一起提供压缩的输出视频信号380。
然而，因为预测器320自身的操作取决于压缩的输出数据的解压缩版本，所以还提供返回路径。
该特征的原因如下。在(下面将要描述的)解压缩过程的适当阶段生成残差数据的解压缩版本。此解压缩的残差数据被添加到预测图像中以生成输出图像(因为原始残差数据为输入图像与预测图像之间的差)。为了使作为压缩侧与解压缩侧之间的该过程具有可比较性，在压缩过程期间和在解压缩过程期间由预测器320生成的预测图像应相同。当然，在解压缩时，该装置并不访问原始输入图像，而仅访问解压缩图像。因此，在压缩时，预测器320基于压缩图像的解压缩版本(至少，对图像间编码)进行预测。由熵编码器370执行的熵编码过程被视为(在至少一些实例中)“无损耗”，即，熵编码过程可以逆转以精确达到与最先提供给熵编码器370的数据相同。因此，在这样的实例中，在熵编码阶段之前可以实施返回路径。事实上，由扫描单元360执行的扫描过程也被视为无损耗，而在本实施方式中，返回路径390为从量化器350的输出至互补逆量化器420的输入。在阶段引入损耗或潜在损耗的情况下，该阶段可包括在由返回路径形成的反馈回路中。例如，可通过例如将比特编码在奇偶信息内的技术使熵编码阶段至少在原则上是有损耗的。在这种情况下，熵编码和解码应当构成反馈回路的一部分。
总体而言，熵解码器410、逆扫描单元400、逆量化器420和逆变换单元430提供熵编码器370、扫描单元360、量化器350和变换单元340的相应逆功能。目前，将通过压缩过程继续讨论；将在下文分开讨论解压缩输入压缩视频信号的过程。
在压缩过程中，通过执行扫描单元360的逆操作的返回路径390将扫描系数从量化器350传送至逆量化器420。由单元420和430执行逆量化和逆变换过程以生成压缩-解压缩残差图像信号440。
在加法器450中，图像信号440与预测器320的输出相加以生成重构的输出图像460。如下所述，这形成了到图像预测器320的一个输入。
现转向应用于解压缩接收的压缩视频信号470的过程，在由加法器450将信号加到图像预测器320的输出之前，信号被提供给熵编码器410并且从此处到逆扫描单元400、逆量化器420以及逆变换单元430的链。因此，在解码器侧，解码器重构残差图像的版本，然后将其(通过加法器450)(逐块地)应用于图像的预测版本，以便将每个块解码。简言之，加法器450的输出460形成输出解压缩视频信号480。实际上，在信号输出之前，可以任选地应用进一步的滤波(例如，滤波器560，通过图8所示但图7中省去以使图7的更高级别的示图清楚)。
图7和图8的装置可以起压缩装置或解压缩装置的作用。两种类型的装置的功能大致重迭。扫描单元360及熵编码器370未被用于解压缩模式，而预测器320(其在以下将被详细地描述)及其他单元的操作依据所接收的压缩比特流中所含有的模式及参数，而非其本身产生此类信息。
图8示意性地示出了预测图像的生成，具体地，示出了图像预测器320的操作。
存在通过图像预测器320进行的两种基本预测模式：所谓的图像内预测及所谓的图像间(或运动补偿(MC))预测。在编码器侧，每个预测包括检测要预测的当前块的预测方向，并且根据其他样本(在相同(内)或另一个(间)图像中)生成样本的预测块。鉴于单元310或450，编码或应用预测块与实际块之间的差异，以便分别编码或解码该块。
在解码器，或者在编码器的逆解码侧，可响应于与编码器编码的数据相关联的数据检测预测方向，预测方向表示在编码器中使用哪个方向。或者，检测可响应于与在编码器中做出决定的那些因素相同的因素。
图像内预测将图像的块或区域的内容的预测基于来自相同图像内的数据。这对应于其他视频压缩技术中的所谓I帧编码。然而，与I帧编码相比，其中I帧编码涉及通过内编码对整个图像进行编码，在本实施方式中，可以逐块的方式来进行内编码与间编码之间的选择，但是在其他实施方式中仍以逐图像的方式进行选择。
运动补偿预测为图像间预测的实例且利用运动信息，运动信息尝试在另一相邻或附近的图像中定义在当前图像中要编码的图像细节的源。因此，在理想实例中，可以很简单地编码预测图像中的图像数据的块的内容，作为指向相邻图像中的相同的或稍有不同的位置处的相应块的参考(运动矢量)。
已知为“块复制”预测的技术在一些方面为两种的混合，由于其使用向量指示从相同的图像内的当前预测块偏移的位置处的样本的块，其应当被复制以形成当前预测块。
返回图8，示出了两种图像预测布置(对应于图像内和图像间预测)，其结果在模拟信号510(例如，来自控制器343)的控制下由多路转换器500选择，以提供用于供给加法器310和450的预测图像的块。根据哪个选项给出最低“能量”(如上所述，可被视为要求编码的信息内容)做出选择，并且将该选择信号通知给编码输出数据流中的解码器。例如，在这样的背景下，通过从输入图像中试验减去预测图像的两个版本的区域(area)，对差分图像的每个像素值求平方，对平方值求和，以及识别两个版本中的哪一个产生了有关该图像区域的差分图像的较低均方值，来检测图像能量。在其他实例中，可以针对每个选择或潜在选择执行试验编码，就图片进行编码和失真所需的比特数量中的一者或两者而言，可根据每个潜在选择的成本进行选择。
内编码系统中的实际预测基于作为信号460的一部分接收的图像块进行，即，预测基于编码-解码图像块，从而使得在解压缩装置中能够做出精确地相同预测。然而，通过内模式选择器520能够从输入视频信号300中得出数据以控制图像内预测器530的操作。
对于图像间预测，运动补偿(MC)预测器540使用诸如由运动估测器550从输入视频信号300得出的运动矢量等运动信息。那些运动矢量由运动补偿预测器540应用于重构图像460的处理版本以生成图像间预测的块。
因此，根据由预测方向限定的其他样本，每个单元530和540(使用估测器550进行操作)用作用于检测要预测的当前块的预测方向的检测器，并且用作用于生成样本的预测块的生成器(形成传递给单元310和450的一部分预测)。
现将描述应用于信号460的处理。首先，信号可选地由滤波器单元560进行滤波，其将在下文更详细地描述。这涉及应用“解块”滤波器以去除或者至少趋向于减少由变换单元340执行的基于块处理的及后续操作的效应。同样可以使用采样自适应偏移(SAO)滤波器。此外，可选地使用通过处理重构信号460和输入视频信号300得到的系数应用自适应环路滤波器。自适应环路滤波器是使用已知技术将自适应滤波器系数应用到要被滤波的数据的滤波器类型。即，滤波器系数可根据各种因素而变化。定义将要使用哪个滤波器系数的数据被包括作为编码输出数据流的一部分。
当装置作为解压缩装置操作时，来自滤波器单元560的滤波器输出实际上形成输出视频信号480。其还缓存在一个或者多个图像或帧存储器570中；连续图像的存储是运动补偿预测处理的要求，并具体为运动矢量的生成。为了节省存储要求，图像存储器570中的存储图像可保持成压缩形式并且然后解压缩以用于生成运动矢量。对于这个特定的目的，可使用任何已知的压缩/解压缩系统。存储图像被传送给内插滤波器580，其生成存储图像的更高分辨率版本；在该实例中，中间样本(次样本)被产生，以使得：由内插滤波器580所输出的内插图像的分辨率为针对4：2：0的亮度通道而储存于图像储存器570中的图像的分辨率的4倍(于各维度)；以及为针对4：2：0的色彩通道而储存于图像储存器570中的图像的分辨率的8倍(在各维度)。内插图像作为输入被传送至运动估测器550以及运动补偿预测器540。
现将描述将图像分割以用于压缩处理的方式。在基本水平，将要压缩的图像被视为样本的块或区域的阵列。可通过决策树执行将图像划分成这种块或区域，诸如在Bross等人中描述的：“高效视频编码(HEVC)文本规范草案6”，JCTVC-H1003_d0(2011年11月)，通过引证将其内容结合在本文中。在一些实例中，所得到的块或区域借助于决策树具有通常可以遵循图像内的图像特征的布置的尺寸和(在一些情况下)形状。这本身可允许改善的编码效率，因为表示或者遵循类似的图像特征的样本趋于通过这样一个布置被组合到一起。在一些实例中，不同尺寸(诸如，4x4样本，最多64x64或更大的块)的方形块或区域可用于选择。在其他示例性布置中，可以使用不同形状(诸如，垂直或水平定位的矩形方块)的块或区域。设想其他非正方形和非矩形块。将图像划分成这种块或区域的结果是(在至少本实例中)将图像的每个样本分配给一个且仅一个这种块或区域。
现在将讨论帧内预测过程。一般地说，帧内预测包括由相同的图像中先前编码和解码的样本生成样本的当前块的预测。
图9示意性地示出了部分编码图像800。此处，图像以逐个块为基础从左上至右下进行编码。在整个图像的处理的过程中途编码的示例块示出为块810。块810上方和左侧的阴影区820已被编码。块810的内容的图像内预测能够利用任一阴影区域820，但是不能利用下方的非阴影区域。
在一些实例中，图像以逐块为基础进行编码，以使得更大的块(称为编码单元或CU)按顺序(诸如，参照图9论述的顺序)编码。在每个CU内，CU很可能被处理为(取决于已进行的块分裂过程)两个或更多个更小的块或变换单元(TU)的集合。这可以给出编码的阶层顺序，使得以CU为基础编码图像，并且很可能逐个TU编码每个CU。然而，注意，针对当前编码树单元(块划分的树状结构中的最大节点)内各个TU，以上所讨论的编码的阶层顺序(逐个CU，然后逐个TU)表示可能于当前CU中存在先前编码的样本并可用于该TU的编码，其为(例如)该TU的右上或左下。
块810表示CU；如上所述，对于图像内预测处理的目的，其可以细分为更小的预测单元的集合。当前TU 830的实例被显示在CU 810内。一般地说，将图片分成样本的区域或组，以允许信令信息和变换数据的高效编码。信息的信令可能需要细分的不同的树状结构，即与变换的树状结构以及实际上与预测信息或预测本身的树状结构不同。由于这个原因，编码单元可具有与变换块或区域、预测块或区域和预测信息的树状结构不同的树状结构。在一些实例中(诸如HEVC)，结构可以是所谓的编码单元的四叉树，编码单元的叶节点包含一个或多个预测单元和一个或多个变换单元；变换单元可以包含与图片的亮度和色度表示相对应的多个变换块，并且预测可被视为可用在变换块级别。在实例中，应用于特定样本组的参数可被视为主要限定在块级别，其可能与变换结构具有不同的粒度。
图像内预测考虑在考虑当前TU之前被编码的样本，诸如当前TU的上方和/或左方的那些。源样本(从这些样本预测所需样本)可相对于当前TU被置于不同位置或者方向。为了判定哪个方向适于当前预测单元，示例性编码器的模式选择器520可测试各候选方向的可用TU结构的所有组合并选择具有最佳压缩效率的预测方向及TU结构。
还可以以“片(slice)”为基础编码图片。在一个实例中，片是水平相邻于CU组。但是更一般而言，整个残差图像可以形成片，或者片可以是单个CU，或片可以是一行CU等。片可提供对错误的一些适应力(resilience，恢复)，因为其被编码为独立单元。编码器及解码器被完全地重设于片边界。例如，帧内预测不越过片的边界进行；为此目的将片的边界视作图像边界。
图10示意性地示出了可能的(候选)预测方向的集合。候选方向的完整集合可用于预测单元。这些方向由相对于当前块位置的水平及垂直位移所决定，但被编码为预测“模式”，其集合在图11示出。应注意，所谓的DC模式表示周围上部和左侧样本的简单算术平均。还应注意，图10所示的方向的集合仅是一个实例；在其他实例中，(例如)65个角度模式的集合加上DC和平面(67个模式的完整集合)组成完整集合。可以使用其他许多模式。
一般而言，在检测了预测方向之后，根据由预测方向限定的其他样本，这些系统可操作以生成样本的预测块。在实例中，图像编码器被配置为对识别针对图像的每个样本或者区域选择的预测方向的数据进行编码。
图12示意性地示出帧内预测过程，在该过程中，根据与该样本相关联的帧内预测模式定义的方向930，样本的块或区域910中的样本900得自于相同图像的其他参考样本920。该实例中的参考样本920来自所讨论的块910的上方和左侧并且通过沿着参考样本920的方向930进行跟踪获得样本900的预测值。方向930可能指向单个单独的参考样本，但在更普通的情况下，将周围的参考样本之间的内插值用作预测值。应注意，块910可以是如图12所示的正方形或者可以是另一形状(诸如，矩形)。
代替允许任何块中的任何样本从图11中示出的可能的帧内预测模式的整个集合中选择，下面将描述的技术用于针对至少一些情况而不是其他情况，限制可以从其中选择的帧内预测模式的集合。图13中示出这类基本示例过程，图13是示出了模式选择方法的示意性流程图。图13构成更广泛预测、压缩或解压缩算法的一部分并且仅涉及与选择模式相关联的过程的一部分。
在步骤940中，确定包含所讨论的样本的块(诸如，块910)是否是所谓的“小”块。此处，所讨论的块是应用了帧内预测的块，诸如，称为以上讨论的TU的块。例如，“小”块可以定义为样本的4x4块，或者可以使用不同的定义(诸如，8x8块或更小)。在非方形块的情况下，“小”块可以定义为(例如)至少一个维度为4个或更少的样本的块。经验性试验已示出在方形块的情况下，可以使用用于将至少“小块”定义为样本的4x4块的本技术获得优点。
如果当前块被分类为小块，则控制转到步骤950，在该步骤中提供可用模式的第一集合以在模式选择过程期间进行选择。如果不，则控制转到步骤960，在该步骤中，提供模式的第二集合以供选择。控制然后转到步骤970，在该步骤，以正常的方式但从相应集合选择合适的预测模式。
第一集合(可适用于“小块”)包含比可适用于非小块的第二集合更少的可用模式。
在一些实施方式中，可以通过仅允许较小的模式集合用于小块而得到比特率益处，因为当模式的可用集合较小时，对当前选择的模式(在可能的模式集合中)的标识进行编码的数据量可以较小。然而，对于小块，也要注意，使用可用模式的较大或较小集合之间的预测准确度的差异可以为零或无关紧要。换言之，对于小块，可能不需要在方向上给出很高分辨率的可用预测模式的集合，因为对于高分辨率集合中的邻近模式，结果可能相同或者非常相似。因此，在小块的情况下，可通过限制可用预测模式的集合潜在获得比特率节省，且不一定会导致准确性较低(或准确性显著降低)的预测。
图14是示出了比图13的情况更为一般的情况的示意性流程图，其中，在步骤1000中，检测块尺寸和/或形状的方面(或多个方面)，并且作为响应，在步骤1010中，选择可用预测模式的合适子集，使得在步骤1020中可适用于该块内的样本的模式可选自所选择的子集。图14的更为一般的过程包括根据所检测的块方面(而不是仅图13中的两个集合)可使模式的多个不同集合或子集可用的可能性。
在这些实例中，子集的选择适用于整个块(尽管随后将给出不适用的情况的实例)，并且以足够确定性的方式执行，在这种方式下，在编码器和在解码器可执行相同的选择过程，而不需要传输指示所选择的子集的独立数据。所以，例如，在以上论述的简单实例中，(比方说)4x4的任何块尺寸将具有某个子集，然而其他块尺寸将具有可用预测模式的不同集合等。该信息在编码器和解码器两者处都是可得到的，不需要将附加信息作为比特流的一部分发送来限定使用哪个子集。例如，在示例性情形中，其中(比方说)4x4块使用比其他块小的可用模式集合，编码器和解码器两者将基于预定或预共享配置信息针对任何4x4块使用较小子集，而不需要每当处理4x4块时从编码器到解码器明确指示要使用较小的集合。类似的考虑适用于下面要讨论的其他实例，在每种情况下，关于块的可用模式集合来源于在对该块进行编码或解码(如可应用)时编码器和解码器可获得的信息。
根据图13和图14的流程图操作的图7和图8的编码布置提供装置的实例，其包括：图像编码器，作为多个图像区域对图像进行编码，图像编码器选择每个图像区域的尺寸和形状中的至少一个；以及图像内预测器，根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个参考样本预测图像的当前区域的当前样本；其中预测方向选自候选预测方向集合；图像内预测器被配置为根据图像区域的样态(aspect)应用候选预测方向的两个或更多个不同集合，样态为以下的一个或多个：区域形状和区域在图像内的位置。可选地，样态进一步包括区域尺寸。
类似地，根据图13和图14的流程图操作的图7和图8的解码布置提供装置的实例，其包括：图像解码器，作为多个图像区域对图像进行解码，每个图像区域各自具有相应尺寸和形状；以及图像内预测器，根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个参考样本预测图像的当前区域的当前样本；其中预测方向选自候选预测方向的集合；图像内预测器被配置为根据图像区域的样态应用候选预测方向的两个或更多个不同集合，样态为以下的一个或多个：区域形状和图像内的区域的位置。可选地，样态进一步包括区域尺寸。
在图13和图14的示例性讨论中，样态进一步包括至少区域尺寸；图像内预测器被配置为将候选预测方向的较小集合应用于较小图像区域并将候选预测方向的较大集合应用于较大图像区域。例如，图像预测器可被配置为将候选预测方向的较小集合应用于具有阈值尺寸或更低的至少一个维度的图像区域(诸如，4x4块，或至少一个维度具有4个样本或更少的非方形块)。可以使用多个不同尺寸的阈值，且可用方向的相应集合。
图15和图16示意性地示出非方形块的实例。非方形块可用于一般的编码系统中，作为块尺寸和形状选择过程的一部分，该过程被执行以尝试5将图像所被划分成的块的尺寸和形状与图像内的图像特征的布置相匹配。
非方形块还可以用于水平和竖直方向上具有不同样本分辨率的情况，如某些视频采样方案的情况。
参照图15，提供竖直非方形块，并且在这种情况下，可以选择模式的子集，以使得(a)与方形块相比可用模式的整体数目减少(或者至少与0适于(例如)“大”(非小)方形块的完整集合相比)，但(b)在该数目减
少的模式中，相比于象限1040，在象限1030中提供更大比例的数目，反映了块左侧比块上方更大数目的潜在参考样本。类似地，在图16中，提供横长的矩形块并且模式的数目整体减少，相比在象限1060中，在象限
1050中提供其余模式具有更大的优势。
5因此，在图16和图17中，(尽管其可能还包括诸如尺寸的其他特征)，
提供包括至少区域形状的样态的实例，图像内预测器被配置为将候选预测方向的较小集合应用于非方形图像区域并将候选预测方向的更大集合应用于方形图像区域。例如，非方形图像区域的候选预测方向的更小集合可以朝向预测方向的范围进行加权，取决于非方形图像区域的方位。
0图17是示出了使用最可能模式(MPM)的方法的示意性流程图。
在某些示例性布置中，所谓的最可能模式可得自于可用于先前编码/
解码块的模式。该过程的目的是：(a)可以与编码期间在编码器处和解码期间咋解码器处相同的方式执行MPM的推导，以便两者对于任何特定样
本均处理相同的MPM，(b)如果在当前块与用于推导MPM的先前编码5块之间的图像内容相似，存在当前块的样本也会使用MPM的至少一个好
机会，和(c)与MPM的完整集合中的任意一个相比，可用比特流中潜在较小量的数据对MPM进行编码。因此，对于当前块的样本，如果其为从一个或多个先前(例如，在前的)编码块导出的MPM，则可用更短数量
的数据对选择模式进行编码。这是因为短数据代码可用于简单地指示“该0样本使用由预配置过程从先前块导出的最可能模式”，而不是必须指定例如一组67个模式中的一个模式。因此，假如在图像区域内模式选择常常相似，这可提供比特率的总的节省。
术语“最可能模式”是本领域使用的术语，因此为了方便在此采用。“更普遍使用的模式”将是与这些模式结合使用的另一个可能的术语。术语MPM并非暗示对于特定样本得自先前样本的模式将是最可能选择的绝对最高可能性。然而，所谓MPM倾向于先前样本普遍使用的模式，或源自先前样本普遍使用的模式，因此通常存在它们将适于当前样本的较高的可能性。
也要注意，可以导出不止一个MPM。术语“MPM”并不暗示(不止一个)模式很可能等同，但作为两个或更多个MPM的集合，它们旨在具有可应用于当前样本的增加的可能性。
最可能模式源自先前的块并且具体地源自针对那些块内的样本选择的模式。参考图17，在步骤1100中，导出候选模式(可应用于先前编码块的样本的模式)的集合并且在步骤1110中产生一个或多个最可能模式组成的组，例如，最普遍的一个或多个候选模式或源自最普遍的一个或多个候选模式的模式。在步骤1120中，为当前样本选择模式。在步骤1130中，检测所选择的模式是否是一个或多个最可能模式之一。如果答案是肯定的，那么在步骤1140中，使用短数据代码对当前模式进行编码作为最可能模式。
应注意，在步骤1120中的过程可以包括例如通过试验编码或导出指示每个模式的编码效率的信息，在可用模式的整个集合中进行选择。但是在编码器的一些实例中，被识别为MPM的模式可以借助于在步骤1120中使用的测试算法，可能更有可能被选择为针对该样本而非其他样本的模式，非最可能模式。因此，MPM的选择本身对在步骤1120中选择的模式产生影响。
在一些实例中，在步骤1110中，可能选择一个MPM。在其他实例中，可以选择两个或更多个MPM，例如，“上”模式和“左”模式，其中“左”模式可能在图11中的范围2-18内并且“上”模式可能是在图11中的范围18-34内的不同的模式。各种规则可应用于MPM的选择；只要这些规则在编码器侧和解码器侧同样应用，一般层次上，特定规则对本实例并非在技术上显著。然而，下面将讨论潜在规则的一些实例和变型。
返回到图17，如果特定样本的当前所选模式不是最可能模式，那么控制转到步骤1150，在该步骤中67个模式的集合中的剩余模式被分成两个子集，这里称为子集“X”和子集“Y”。例如，子集X可能是按照数字模式顺序排列的剩余(非最可能)模式中的每个第四模式(图11)，并且子集Y将由按数字顺序的其他剩余非最可能模式形成。
在步骤1160中，对于所选择的模式是在子集X还是子集Y中进行检测，并且控制转到步骤1170或步骤1180以根据其所属于的子集对该模式进行编码。
因此，图17的布置提供图像编码器的实例，图像编码器被布置为响应于针对一个或多个先前编码图像区域普遍使用的那些，检测一个或多个可能预测方向，并且对识别预测方向的数据进行编码，数据为：(i)指示预测方向是所检测的可能预测方向的数据，或(ii)识别剩余的候选预测方向中的预测方向的数据。
结合先前讨论的操作考虑图17的最可能模式操作，应注意，在至少一些实例中，如果先前块为大(非小)块，“最可能模式”检测将会倾向于检测“大块”模式。这可能是因为由先前大块中的更大数目的样本施加的统计权重同样简单的原因。在任何情况下，注意，对于比预测模式的整个集合少的至少一些块尺寸和/或块形状可应用的情况下，图18提供示出了处理最可能模式(如从先前块检测的)可能实际上不在可用于当前块中的子集中的情况的方式的示意性流程图。在实例中，如果最可能模式源自可适用于先前大块中的样本的模式，可能发生这种情况，然而当前样本在小块中，使得特定模式并非供小块使用的可用模式。
参考图18，在步骤1200中，检测候选模式(来自步骤1100)是否处于可适用于(就是说，可结合当前块尺寸加以应用)当前块尺寸的子集中。如果是，那么在步骤1210中选择候选模式(假定其满足变为最可能模式的其他要求)作为最可能模式。如果不，则在步骤1220中，选择邻近(在角度域中)该候选模式的模式作为最可能模式，再次假定该候选将满足选择要求。假定最可能模式具有两个邻居，规则可用于选择邻居。例如，如果一个可用模式比任何其他模式更近，则可以选择最近的可用模式，或者如果不，则在步骤1220中可以选择下一最低编号的可用模式。
换言之，在实例中，对于比一个或多个其他图像区域小的候选预测方向的集合的给定图像区域，当所检测的可能预测方向不是可用于给定图像区域的候选预测方向的集合的一部分时，图像编码器被配置为将检测到的可能预测方向映射到给定图像区域可用的集合内的相邻预测方向。
参照子集X和Y的讨论，在实例中，识别剩余的候选预测方向中的预测方向的数据(ii)包括预测方向是否为剩余的候选预测方向的两个或更多个不同尺寸的互补子组中的一个的指示。
在小块的情况下或在与其他可用模式的完整集合相比减少了模式的选择的其他情况下，实现可用模式的数目的这种限制的一种方式仅仅是防止使用图17中提及的子集Y。然而，为了做到这一点，再一次需要提供机构以解决所选择的模式(在步骤1120中选择的)实际上可能不在子集X中的事实。换言之，在实例中，图像编码器被配置为(根据图像区域的样态)抑制互补子组中的部分而不是全部中的预测方向的编码，并且在预测方向不在要编码的一个或多个子组中的情况下，将预测方向映射至在图像区域的样态上最近的预测方向。图19提供实现这种情况的技术的一个实例。
参照图19，步骤1230代替图17中的步骤1160。在步骤1230中，确定在步骤1120中选择的模式(不是最可能模式，如通过步骤1130检测的)是否在子集X中。如果是，那么在对应于图17的步骤1170的步骤1240中对模式进行编码。如果答案为否，那么将所选择的模式改变为子集X内最近的可用模式(在角度域中)，在步骤1250中(例如)，如果存在单个最近相邻点，通过选择子集X中最近的可用相邻点，或者如果存在两个等距离模式，通过选择(例如)子集X中下一最低编号的模式。然后，在步骤1260中，对重新选择的模式进行编码。
图20是在仅使用子集X的系统的背景下的示意性流程图，该示意性流程图提供了一种技术以允许包含在子集X内的模式比针对另外将给出的子集X的模式的起点的简单任意选择可能更有用。
如上所述，在实例中，子集X包括按数字顺序布置的剩余(非最可能的)模式中每个第四个(或每个第n个)模式。虽然可以任意设置该n个中选择一个的起点(只要以与在编码器和解码器处相同的方式设置)，在图20中，将起点设置为提供最大的距离(例如，角距离)，或者从被选择为最可能模式的一个或多个那些模式至少实现最小所需角距离。这意味着即使通过限制为子集X而提供的数目减少的可用模式，仍可提供有用范围的角度。
图20中示出的步骤包括图17的步骤1150的功能的一部分。在步骤1270中，检测到一个或多个(在步骤1110中先前选择的)最可能模式。在可选步骤1280中，根据当前块的块尺寸建立最小距离。例如，更大的最小距离可以应用于所谓小块。然后，在步骤1290中，得出子集X以便给出最可能模式与子集X的任何成员之间的至少最小距离。
因此，在实例中，图像编码器被配置为选择互补子组，如此待编码的一个或多个子组中的预测方向相对于所检测的可能预测方向具有至少阈值角距。阈值角距可选地可以取决于(在步骤1280中)图像区域的样态。
图21是与在图17的步骤1110中选择最可能模式有关的示意性流程图。从在步骤1100中建立的候选最可能模式开始，如果候选最可能模式的集合中存在相邻模式，则从步骤1300中设置的候选中忽视每一对相邻模式中的一个，并且在步骤1310中(部分对应于图17的步骤1110)从如通过步骤1300改变的修改的候选列表中选择最可能模式。该技术可以避免选择非常类似的角度模式作为两个或更多个最可能模式。因此，在实例中，在可能预测方向的检测中，图像编码器被配置为在可能预测方向之间施加最小角度距离。
图22是与在图17的步骤1110中的最可能模式的选择有关的示意性流程图。从在步骤1100中建立的候选最可能模式开始，在步骤1320中，检测角度最近的MPM候选并且对它们的两个角度取平均值。例如，这可通过采用它们的模数的算术平均值(使用图11的示例性编码制)实现并且然后四舍五入为最近的整数，或者(在另一个实例中)四舍五入为下一更高或下一更低的整数。该平均的模式然后形成候选MPM，来代替从得出该模式的两个模式。其被转到模式选择步骤1330(其部分对应于图17的步骤1110)。
在其他实例中，其可以或者可能不与该文档中其他地方讨论的实例相结合，样本的候选预测方向的集合可随着块或区域内的样本脉动而变化。举例来说，图23示意性地示出了具有子区域(示意性地示出为子区域1410、1420)的块1400，其中，与块的另一子区域和中心部分(或者不属于子区域)中的一者或两者相比，可用预测方向的集合可以在它们的数目和/或它们的分布或者可能的方向的分布的加权方面不同。例如，如图23所示的子区域可以借助于它们在块中的位置，而很可能与某些范围的预测方向相关联，因此可按与以上论述的图15和图16类似方式，在每个情况下可以提供根据可能角度范围加权的预测方向的子集。因此，这提供图像编码器被配置为根据该样本在图像区域内的位置改变可适用于该样本的候选预测方向集合的实例。
在其他实例中，可能或可能不与该文档中其他地方论述的实例结合，可根据图像内的块或区域的位置改变可用预测方向集合。图24示意性地示出图像1430。首行1440中的块针对在它们上方的样本使用相同的或虚设的参考样本，因为实像样本在图像的范围之外不可用，并且左列1450中的块对于它们左侧的样本使用相同的或虚设的参考样本。因此，在行1440的情况下，几乎没有向上指向的预测方向的高分辨率的点，并且对于列1450，几乎没有具有向左指向的预测方向的高分辨率的点。在这些示例性情况中的每一个中，可用预测方向集合可减少，以便减少行1440中的块的向上指向方向的数目和列1450中的块的向左指向的区域的数目)。
因此，图24提供样态包括图像内的至少区域位置的实例。例如，对于在图像的外围并且使用虚设或重复的参考样本的图像区域，候选预测方向集合朝向未指向虚设或重复的参考样本的预测方向的范围加权。
图25是示出方法的示意性流程图，该方法包括：
选择(在步骤1500中)图像的多个图像区域的每个图像区域的尺寸和形状中的至少一个；
将图像编码(在步骤1510中)为多个图像区域；以及
根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个参考样本，对图像的当前区域的当前样本进行图像内预测(在步骤1520中)。
根据图26的示意性流程图，在至少实例中，预测步骤1520包括：
(在步骤1530中)根据给定图像区域的样态，将候选预测方向的两个或更多个不同集合应用于给定图像区域，样态为以下中的一个或多个：图像内的给定图像区域的区域形状和位置(以及可选地区域尺寸)；以及
(在步骤1540中)从可适用于该图像区域的候选预测方向集合中选择给定图像区域中的样本的预测方向。
图27是示出方法的示意性流程图，该方法包括：
(在步骤1550中)解码图像作为多个图像区域，每个图像区域具有相应尺寸与形状；以及
根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个参考样本，对图像的当前区域的当前样本进行图像内预测(在步骤1560中)。
根据图28的示意性流程图，在至少实例中，预测步骤1560包括：
(在步骤1570中)根据给定图像区域的样态，将两个或更多个不同候选预测方向集合应用于给定图像区域，样态为以下中的一个或多个：图像内的给定图像区域的区域形状和位置(以及可选地区域尺寸)；以及
(在步骤1580中)从可适用于该图像区域的候选预测方向集合中选择给定图像区域中的样本的预测方向。
本公开的实施方式的相应特征由以下编号的项来定义：
1.一种装置，包括：
图像编码器，将图像作为多个图像区域的进行编码，图像编码器选择每个图像区域的尺寸和形状中的至少一个；以及
图像内预测器，根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个参考样本，预测图像的当前区域的当前样本；
其中，预测方向选自候选预测方向的集合；
图像内预测器被配置为根据图像区域的样态应用候选预测方向的两个或更多个不同集合，样态为以下的一个或多个：图像内的区域形状和区域的位置。
2.根据项1所述的装置，其中，样态进一步包括至少区域尺寸；
图像内预测器被配置为将候选预测方向的较小集合应用于较小的图像区域并将候选预测方向的较大集合应用于较大的图像区域。
3.根据项2所述的装置，其中图像预测器被配置为将较小的候选预测方向集合应用于具有阈值尺寸或更小的至少一个维度的图像区域。
4.根据项1至3中任一项所述的装置，其中样态包括至少区域形状；
图像内预测器被配置为将较小的候选预测方向集合应用于非方形图像区域并将较大的候选预测方向集合应用于方形图像区域。
5.根据项4所述的装置，其中，根据非方形图像区域的方位，针对预测方向的范围，对非方形图像区域的较小的候选预测方向集合进行加权。
6.根据前项中任一项所述的装置，其中图像编码器被配置为对识别针对每个样本或图像的区域选择的预测方向的数据进行编码。
7.根据项6所述的装置，其中，图像编码器被配置为响应于通常用于一个或多个先前编码的图像区域的那些检测一个或多个可能预测方向，并对识别预测方向的数据进行编码，数据为：(i)指示预测方向是所检测的可能预测方向的数据，或(ii)识别剩余的候选预测方向中的预测方向的数据。
8.根据项7所述的装置，其中，对于与一个或多个其他图像区域相比，具有较小的候选预测方向集合的给定图像区域，图像编码器被配置为当所检测的可能预测方向不是可适用于给定图像区域的候选预测方向集合的一部分时，将所检测的可能预测方向映射至可适用于给定图像区域的集合内的相邻预测方向。
9.根据项7或项8所述的装置，其中，识别剩余的候选预测方向中的预测方向的数据(ii)包括对预测方向是否为两个或更多个不同尺寸的互补子组的剩余的候选预测方向中的一个的指示。
10.根据项9所述的装置，其中，图像编码器被配置为根据图像区域的样态，抑制互补子组中的部分而不是全部的预测方向的编码，并且在预测方向不在要编码的一个或多个子组中的情况下，将预测方向映射至图像区域的样态上最近的预测方向。
11.根据项9或项10所述的装置，其中，图像编码器被配置为选择互补子组，因此在要编码的一个或多个子组中的预测方向与所检测的可能预测方向具有至少阈值角距。
12.根据项11所述的装置，其中阈值角距取决于图像区域的样态。
13.根据项7至12中的任一项所述的装置，其中图像编码器被配置为在检测可能预测方向时在可能预测方向之间施加最小角距。
14.根据前项中的任一项所述的装置，其中样态包括图像内的至少区域位置。
15.根据项14所述的装置，其中对于在图像的外围并且使用虚设或重复的参考样本的图像区域，针对未指向虚设或重复的参考样本的预测方向的范围，对候选预测方向集合进行加权。
16.根据前项中的任一项所述的装置，其中图像编码器被配置为根据图像区域内的该样本的位置，改变可适用于样本的候选预测方向集合。
17.视频存储、捕获、传输或接收装置，包括根据前项中的任一项所述的装置。
18.一种装置，包括：
图像解码器，将图像作为多个图像区域进行解码，每个图像区域各自具有相应尺寸和形状；以及
图像内预测器，根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个参考样本，预测图像的当前区域的当前样本；
其中预测方向选自候选预测方向的集合；
图像内预测器被配置为根据图像区域的样态应用两个或更多个不同的候选预测方向集合，样态为以下的一个或多个：图像内的区域形状和区域的位置。
19.包括根据项18所述的装置的视频存储、捕获、传输或接收装置。
20.一种方法，包括：
选择图像的多个图像区域的每个图像区域的尺寸和形状中的至少一个；
将图像作为多个图像区域进行编码；以及
根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个参考样本，对图像的当前区域的当前样本进行图像内预测，预测步骤包括：
根据给定图像区域的样态将两个或更多个不同的候选预测方向集合应用于给定图像区域，样态为以下的一个或多个：图像内的给定图像区域的区域形状和位置；以及
从可适用于该图像区域的候选预测方向集合中选择用于给定图像区域中的样本的预测方向。
21.一种计算机软件，当被计算机执行时使计算机执行根据项20所述的方法。
22.一种机器可读非临时性储存介质，其储存根据项21所述的软件。
23.一种方法，包括：
将图像作为多个图像区域进行解码，每个图像区域具有相应尺寸与形状；以及
根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个参考样本，对图像的当前区域的当前样本进行图像内预测，预测步骤包括：
根据给定图像区域的样态将两个或更多个不同的候选预测方向集合应用于给定图像区域，样态为以下的一个或多个：区域形状和图像内的给定图像区域的位置；以及
从可适用于该图像区域的候选预测方向集合中选择用于给定图像区域中的样本的预测方向。
24.一种计算机软件，当被计算机执行时使计算机执行根据项23所述的方法。
25.一种机器可读非临时性储存介质，其储存根据项24所述的软件。
26.一种包括根据项20所述的方法生成的编码数据的数据信号。
例如，当对亮度和或色度和/或色度采样的分量进行不同地采样时，可将上述讨论的技术单独应用于视频采样方案的一个或多个组件。
此外，技术不是必须应用于图像内所有的4x4(或“小”)块。在一些实例中，对于任一具体图像，图像内预测器并不需要将相同的候选预测方向集合应用于具有共同样态(诸如，尺寸或形状)的所有那些图像区域。在实施方式中，可以将不同的候选预测方向集合应用于具有共同尺寸或形状的图像中的那些图像区域的子集。
将理解的是，所描述的各种不同的技术可以组合使得可以考虑上述讨论的一个或多个(为子集或整个组)考虑或方面的任何排列选择可适用于样本或块或样本的区域的候选模式集合。
在到目前为止已被描述为通过软件控制的数据处理装置实施(至少部分)的本公开内容的实施方式中，应当理解，诸如光盘、磁盘、半导体存储器等承载这样的软件的非临时性机器可读介质也被认为是表示本公开内容的实施方式。
显而易见的是，按照上述教导，本发明的大量修改和变化是可以的。因此应了解在后附条款之范围内，此技术可被实行以如文中所明确描述者之外的方式。

Claims (19)

1.一种用于解码的方法，包括：
将图像解码为多个图像区域，每个图像区域具有相应尺寸与形状；以及
根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个所述参考样本，对所述图像的当前区域的当前样本进行图像帧内预测，所述方法包括：
检测指示最可能模式的短数据代码并将先前图像区域的亮度帧内预测解码模式应用于所述当前区域的样本，以及如果要应用的模式不是最可能模式，则：
根据给定图像区域的样态，针对当前样本，对所述给定图像区域应用候选预测方向的两个以上不同集合中的一者，所述样态为以下的一个或多个：所述图像内的所述给定图像区域的区域形状和位置；以及
从能应用于所述给定图像区域的所述候选预测方向的所述集合中选择所述给定图像区域中的样本的所述预测方向；
其中，所述图像帧内预测进一步包括取决于非正方形块的尺寸，针对所述非正方形块应用候选预测方向的更小集合，以反映所述非正方形块的左侧比上方更大数目的潜在参考样本或者所述非正方形块上方比其左侧更大数目的潜在参考样本。
2.根据权利要求1所述的方法，其中，所述短数据代码包含比指定模式的情况少的数据。
3.根据权利要求1所述的方法，其中，所述最可能模式从用于对所述当前样本之前的样本进行编码所使用的可能性较高的模式中导出。
4.根据权利要求1所述的方法，其中，应用所述候选预测方向的所述更小集合取决于具有阈值尺寸的所述非正方形块的至少一个维度。
5.根据权利要求1所述的方法，其中，将所述候选预测方向的所述两个以上不同集合中一者应用于图像区域的亮度样本。
6.根据权利要求1所述的方法，其中，将所述候选预测方向的所述两个以上不同集合中的一者应用于图像区域的亮度和色度样本。
7.根据权利要求1所述的方法，其中，如果要应用的所述模式不是最可能模式，则抑制所述预测方向的两个以上不同大小的互补子组中的候选预测方向的组。
8.根据权利要求1所述的方法，其中，所述候选预测方向的所述更小集合选自所述候选预测方向的两个以上不同集合。
9.根据权利要求1所述的方法，其中，所述候选预测方向的两个以上不同集合包括所述候选预测方向的抑制集合。
10.根据权利要求1所述的方法，其中，所述候选预测方向的所述更小集合小于65个候选预测方向的完整集合。
11.一种机器可读非暂时性存储介质，存储计算机可读指令，所述计算机可读指令在由计算机执行时使所述计算机执行根据权利要求1至10中任一项所述的方法。
12.一种用于解码的装置，包括：
图像解码器，将图像解码为各自具有相应尺寸和形状的多个图像区域；以及
图像帧内预测器，用于根据当前样本和参考样本之中的参考位置之间的预测方向，相对于相同图像的一个或多个所述参考样本来预测所述图像的当前区域的当前样本，所述图像解码器包括：
短数据代码检测器，用于检测指示最可能模式的短数据代码并将先前图像区域的亮度帧内预测解码模式应用到所述当前区域的样本，并且如果要应用的模式不是最可能模式，则：
所述图像帧内预测器进一步用于：
根据给定图像区域的样态，针对当前样本，将候选预测方向的两个以上不同集合中的一者应用于所述给定图像区域，所述样态为以下的一个或多个：所述图像内的所述给定图像区域的区域形状和位置；以及
从能应用于所述给定图像区域的所述候选预测方向的所述集合中选择用于所述图像区域中的样本的所述预测方向；
取决于非正方形块的尺寸，针对所述非正方形块应用候选预测方向的更小集合，以反映所述非正方形块的左侧比上方更大数目的潜在参考样本或所述非正方形块的上方比左上方更大数目的潜在参考样本。
13.根据权利要求12所述的装置，其中，所述候选预测方向的所述更小集合小于所述装置被配置为应用于超过阈值大小的正方形块的65个候选预测方向的全集。
14.根据权利要求12所述的装置，其中，所述候选预测方向的两个以上不同集合包括候选预测方向的禁止集合。
15.一种视频存储、捕获、传输或接收设备，包括根据权利要求12至14所述的装置。
16.一种用于编码的方法，包括：
将图像编码为各自具有相应尺寸和形状的多个图像区域；以及
根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个所述参考样本，对所述图像的当前区域的当前样本进行图像帧内预测，所述编码包括：
应用指示最可能模式的短数据代码，并将先前图像区域的亮度帧内预测解码模式应用于所述当前区域的样本，如果要应用的模式不是最可能模式，则所述预测包括：
根据给定图像区域的样态，针对当前样本，将候选预测方向的两个以上不同集合中的一者应用于所述给定图像区域，所述样态为以下的一个或多个：所述图像内的所述给定图像区域的区域形状和位置；以及
从能应用于所述给定图像区域的所述候选预测方向的所述集合中选择所述给定图像区域中的样本的所述预测方向；
其中，所述图像帧内预测进一步包括：取决于非正方形块的尺寸，针对所述非正方形块应用候选预测方向的更小集合，以反映所述非正方形块左侧比其上方更大数目的潜在参考样本或者所述非正方形块上方比左上方更大数目的潜在参考样本。
17.一种机器可读非易失性储存介质，储存计算机可读指令，所述计算机可读指令在由计算机执行时使所述计算机执行根据权利要求16所述的方法。
18.一种用于编码的装置，包括：
图像编码器，用于将图像编码为各自具有相应尺寸和形状的多个图像区域；以及
图像帧内预测器，用于根据当前样本与参考样本中的参考位置之间的预测方向，相对于相同图像的一个或多个所述参考样本，对所述图像的当前区域的当前样本进行图像帧内预测，所述图像编码器被配置为：
应用指示最可能模式的短数据代码且将先前图像区域的亮度帧内预测解码模式应用于所述当前区域的样本，且如果要应用的模式不是最可能模式，则所述图像帧内预测器被配置以：
根据给定图像区域的样态，针对当前样本，将候选预测方向的两个以上不同集合中的一者应用于所述给定图像区域，所述样态为以下的一个或多个：所述图像内的所述给定图像区域的区域形状和位置；以及
从能应用于所述给定图像区域的所述候选预测方向的所述集合中选择所述给定图像区域中的样本的所述预测方向；
其中，所述图像帧内预测进一步包括：取决于非正方形块尺寸，针对所述非正方形块应用候选预测方向的更小集合，以反映所述非正方形块左侧比其上方更大数目的潜在参考样本或者所述非正方形块上方比左上方更大数目的潜在参考样本。
19.一种视频存储、捕获、传输或接收设备，包括根据权利要求18所述的装置。
CN202310006355.0A 2016-05-23 2017-04-20 用于解码的方法和装置以及用于编码的方法和装置 Pending CN116016949A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB1609015.1A GB2550579A (en) 2016-05-23 2016-05-23 Image data encoding and decoding
GB1609015.1 2016-05-23
PCT/GB2017/051096 WO2017203203A1 (en) 2016-05-23 2017-04-20 Intra encoding and decoding with variable intra prediction direction sets
CN201780031794.XA CN109155852B (zh) 2016-05-23 2017-04-20 利用可变内预测方向集合进行内编码和解码

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780031794.XA Division CN109155852B (zh) 2016-05-23 2017-04-20 利用可变内预测方向集合进行内编码和解码

Publications (1)

Publication Number Publication Date
CN116016949A true CN116016949A (zh) 2023-04-25

Family

ID=56369791

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310006355.0A Pending CN116016949A (zh) 2016-05-23 2017-04-20 用于解码的方法和装置以及用于编码的方法和装置
CN201780031794.XA Active CN109155852B (zh) 2016-05-23 2017-04-20 利用可变内预测方向集合进行内编码和解码

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780031794.XA Active CN109155852B (zh) 2016-05-23 2017-04-20 利用可变内预测方向集合进行内编码和解码

Country Status (6)

Country Link
US (1) US10863176B2 (zh)
EP (1) EP3466073A1 (zh)
JP (1) JP7047777B2 (zh)
CN (2) CN116016949A (zh)
GB (1) GB2550579A (zh)
WO (1) WO2017203203A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810704A (zh) * 2016-04-29 2021-12-17 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
JP6956543B2 (ja) * 2017-07-03 2021-11-02 日本放送協会 決定装置、符号化装置、復号装置及びプログラム
US10778971B2 (en) * 2018-06-01 2020-09-15 Tencent America LLC Method and apparatus for video coding
WO2020017987A1 (en) * 2018-06-29 2020-01-23 Huawei Technologies Co., Ltd Intra-prediction apparatus, encoding apparatus, decoding apparatus and methods
US11956460B2 (en) 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
WO2011127964A2 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
KR101530284B1 (ko) * 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
CN103748877B (zh) * 2011-08-17 2017-05-10 联发科技（新加坡）私人有限公司 帧内预测方法和装置
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
GB2496194A (en) * 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
JP2014075652A (ja) * 2012-10-03 2014-04-24 Canon Inc 画像符号化装置及び方法

Also Published As

Publication number Publication date
EP3466073A1 (en) 2019-04-10
WO2017203203A1 (en) 2017-11-30
US10863176B2 (en) 2020-12-08
CN109155852B (zh) 2023-01-24
GB201609015D0 (en) 2016-07-06
CN109155852A (zh) 2019-01-04
JP7047777B2 (ja) 2022-04-05
US20200029076A1 (en) 2020-01-23
GB2550579A (en) 2017-11-29
JP2019520743A (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
EP2777263B1 (en) Signaling quantization matrices for video coding
CN109155852B (zh) 利用可变内预测方向集合进行内编码和解码
US11290709B2 (en) Image data encoding and decoding
US11949882B2 (en) Image data encoding and decoding
CN111164975B (zh) 图像数据编码和解码
GB2577337A (en) Image data encoding and decoding
WO2019081925A1 (en) CODING AND DECODING IMAGE DATA
US20200413039A1 (en) Image data encoding and decoding apparatus and method
WO2019081928A1 (en) CODING AND DECODING IMAGE DATA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination