CN111164975B - 图像数据编码和解码 - Google Patents

图像数据编码和解码 Download PDF

Info

Publication number
CN111164975B
CN111164975B CN201880063490.6A CN201880063490A CN111164975B CN 111164975 B CN111164975 B CN 111164975B CN 201880063490 A CN201880063490 A CN 201880063490A CN 111164975 B CN111164975 B CN 111164975B
Authority
CN
China
Prior art keywords
prediction
directions
image
prediction directions
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880063490.6A
Other languages
English (en)
Other versions
CN111164975A (zh
Inventor
斯蒂芬·马克·凯汀
卡尔·詹姆斯·沙曼
马加利·基姆利·米里·菲利普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202311191019.4A priority Critical patent/CN117278755A/zh
Publication of CN111164975A publication Critical patent/CN111164975A/zh
Application granted granted Critical
Publication of CN111164975B publication Critical patent/CN111164975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

一种图像编码设备，包括：控制器，被配置为根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为当前图像的当前图像区域选择一组候选预测方向，作为一组预测方向的子集；以及帧内图像预测器，被配置为根据当前样本和参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来预测当前图像区域的样本；其中，所述帧内图像预测器被配置为从一组候选预测方向中为当前图像区域选择预测方向。

Description

图像数据编码和解码
技术领域
本公开涉及图像数据编码和解码。
背景技术
本文提供的“背景”描述是为了总体上呈现本公开的上下文。在本背景部分中描述的程度上，当前命名的发明人的工作以及在提交时可能不符合现有技术的描述的方面既不明示也不暗示地被认为是本公开的现有技术。
有几种视频数据编码和解码系统，包括；将视频数据转换成频域表示，量化频域系数，并且然后对量化的系数应用某种形式的熵编码。这可以实现视频数据的压缩。应用相应的解码或解压缩技术来恢复原始视频数据的重建版本。
当前的视频编解码器(编码器-解码器)(例如，在H.264/MPEG-4高级视频编码(AVC)中使用的那些)主要通过仅编码连续视频帧之间的差异来实现数据压缩。这些编解码器使用所谓的宏块的规则阵列，每个宏块用作与前一视频帧中的对应宏块进行比较的区域，然后根据在视频序列中的对应当前宏块和前一宏块之间或者在视频序列的单个帧中的相邻宏块之间找到的运动程度，对宏块内的图像区域进行编码。
高效视频编码(HEVC)也称为H.265或MPEG-H第2部分，是针对H.264/MPEG-4AVC提议的后继(proposed successor)。旨在针对HEVC提高视频质量并使数据压缩率比H.264高一倍，并且像素分辨率可从128×96扩展到7680×4320，大约相当于128kbit/s到800Mbit/s的比特率。
发明内容
本公开解决或减轻了由该处理引起的问题。
在所附权利要求中定义本公开的相应方面和特征。
应当理解，前面的一般描述和下面的详细描述都是本技术的示例性的，而不是限制性的。
附图说明
当结合附图考虑时，通过参考以下详细描述，可以更好地理解本公开，从而更全面地理解本公开及其许多附带的优点，其中：
图1示意性地示出了使用视频数据压缩和解压缩的音频/视频(A/V)数据传输和接收系统；
图2示意性地示出了使用视频数据解压缩的视频显示系统；
图3示意性地示出了使用视频数据压缩和解压缩的音频/视频存储系统；
图4示意性地示出了使用视频数据压缩的摄像机；
图5和图6示意性地示出了存储介质；
图7提供了视频数据压缩和解压缩设备的示意图；
图8示意性地示出了预测器；
图9示意性地示出了部分编码的图像；
图10示意性地示出了一组可能的帧内预测方向；
图11示意性地示出了一组预测模式；
图12示意性地示出了另一组预测模式；
图13示意性地示出了帧内预测过程；
图14和图15示意性地示出了参考样本投影过程；
图16示意性地示出了预测器；
图17和图18示意性地示出了预测方向的示例；
图19和图20示意性地示出了投影参考样本的使用；
图21和图22分别示意性地示出了直线和曲线预测模式；
图23示意性地示出了帧内预测器的一部分；
图24和图25示意性地示出了预测模式的子集；
图26至图28示意性地示出了预测模式的候选组；
图29和图30示意性地示出了控制器的操作；
图31示意性地示出了最可能模式的使用；
图32示意性地示出了编码电路；
图33示意性地示出了解码电路；
图34至图37是示出相应方法的示意流程图；
图38示出了失真图像的示例；以及
图39a和39b示意性地示出了多组预测模式。
具体实施方式
现在参考附图，提供图1至图4，以给出利用将在下面结合本技术的实施方式描述的压缩和/或解压缩设备的设备或系统的示意图。
下面将要描述的所有数据压缩和/或解压缩设备可以用硬件、在通用数据处理设备(例如，通用计算机)上运行的软件、作为可编程硬件(例如，专用集成电路(ASIC)或现场可编程门阵列(FPGA))或作为其组合来实现。在实施方式由软件和/或固件实现的情况下，应当理解，这种软件和/或固件以及存储或以其他方式提供这种软件和/或固件的非暂时性数据存储介质被认为是本技术的实施方式。
图1示意性地示出了使用视频数据压缩和解压缩的音频/视频数据传输和接收系统。
输入音频/视频信号10提供给视频数据压缩设备20，该设备至少压缩音频/视频信号10的视频分量，以便沿着传输路径30(例如，电缆、光纤、无线链路等)传输。压缩信号由解压缩设备40处理，以提供输出音频/视频信号50。对于返回路径，压缩设备60压缩音频/视频信号，以便沿着传输路径30传输到解压缩设备70。
压缩设备20和解压缩设备70因此可以形成传输链路的一个节点。解压缩设备40和压缩设备60可以形成传输链路的另一节点。当然，在传输链路是单向的情况下，只有一个节点需要压缩设备，而另一节点只需要解压缩设备。
图2示意性地示出了使用视频数据解压缩的视频显示系统。特别地，压缩的音频/视频信号100由解压缩设备110处理，以提供可以在显示器120上显示的解压缩信号。解压缩设备110可以被实现为显示器120的整体部分，例如，在与显示装置相同的外壳内提供。可选地，解压缩设备110可以被设置为(例如)所谓的机顶盒(STB)，注意“机顶盒”这一表述并不意味着要求该机顶盒相对于显示器120位于任何特定的方向或位置；这只是本领域中用来表示可作为外围装置连接到显示器的装置的术语。
图3示意性地示出了使用视频数据压缩和解压缩的音频/视频存储系统。输入音频/视频信号130提供给压缩设备140，压缩设备140产生压缩信号，用于由存储装置150(例如，磁盘装置、光盘装置、磁带装置、固态存储装置(例如，半导体存储器)或其他存储装置)存储。为了重放，从存储装置150读取压缩数据，并将其传送到解压缩设备160进行解压缩，以提供输出音频/视频信号170。
应当理解，压缩或编码的信号以及存储该信号的存储介质(例如，机器可读非暂时性存储介质)被认为是本技术的实施方式。
图4示意性地示出了使用视频数据压缩的摄像机。在图4中，图像捕捉装置180(例如，电荷耦合器件(CCD)图像传感器和相关的控制和读出电子器件)产生传送到压缩设备190的视频信号。麦克风(或多个麦克风)200生成要传送给压缩设备190的音频信号。压缩设备190生成要存储和/或传输的压缩音频/视频信号210(一般显示为示意阶段220)。
下面将要描述的技术主要涉及视频数据压缩和解压缩。应当理解，许多现有技术可以结合将描述的视频数据压缩技术用于音频数据压缩，以产生压缩的音频/视频信号。因此，将不提供音频数据压缩的单独讨论。还应当理解，与视频数据(特别是广播质量视频数据)相关联的数据速率通常比与音频数据(无论是压缩的还是未压缩的)相关联的数据速率高得多。因此，应当理解，未压缩的音频数据可以伴随压缩的视频数据，以形成压缩的音频/视频信号。还应当理解，尽管本示例(如图1-4所示)涉及音频/视频数据，但是下面描述的技术可以用于简单处理(即，压缩、解压缩、存储、显示和/或传输)视频数据的系统中。即，这些实施方式可以应用于视频数据压缩，而根本不需要任何相关的音频数据处理。
因此，图4提供了包括图像传感器和将在下面讨论的类型的编码设备的视频捕捉装置的示例。因此，图2提供了下面将要讨论的解码设备和输出解码图像的显示器的示例。
图2和图4的组合可以提供包括图像传感器180和编码设备190的视频捕捉装置、解码设备110以及显示器120，解码图像输出到显示器120。
图5和图6示意性地示出了存储介质，其存储(例如)由设备20、60生成的压缩数据、输入到设备110或者存储介质或阶段150、220的压缩数据。图5示意性地示出了光盘存储介质(例如，磁盘或光盘)，而图6示意性地示出了固态存储介质(例如，闪存)。注意，图5和图6还可以提供存储计算机软件的非暂时性机器可读存储介质的示例，当计算机执行该计算机软件时，使计算机执行下面将要讨论的一个或多个方法。
因此，上述设置提供了体现任何本技术的视频存储、捕捉、传输或接收设备的示例。
图7提供了视频数据压缩和解压缩设备的示意图。
控制器343控制设备的整体操作，并且特别是当涉及压缩模式时，通过充当选择器来选择各种操作模式(例如，块大小和形状)并且选择是否以无损或以其他方式编码视频数据，来控制试验编码过程。控制器被认为是图像编码器或图像解码器(视情况而定)的一部分。输入视频信号300的连续图像提供给加法器310和图像预测器320。下面将参考图8更详细地描述图像预测器320。图像编码器或解码器(视情况而定)加上图8的帧内图像预测器可以使用来自图7的设备的特征。然而，这并不意味着图像编码器或解码器一定需要图7的每个特征。
加法器310实际上执行减法(负加法)操作，因为在“+”输入端接收输入视频信号300，并且在“-”输入端接收图像预测器320的输出，从而从输入图像中减去预测图像。结果是产生一个表示实际图像和投影图像之间的差异的所谓的残留图像信号330。
产生残留图像信号的一个原因如下。当在要编码的图像中有较少的“能量”时，将描述的数据编码技术(即，将应用于残留图像信号的技术)倾向于更有效地工作。在此处，术语“有效地”是指生成少量编码数据；对于特定的图像质量水平，希望(并且被认为是“有效的”)生成尽可能少的数据。残留图像中的“能量”涉及残留图像中包含的信息量。如果预测图像与真实图像相同，则两者之间的差异(即，残留图像)将包含零信息(零能量)，并且非常容易编码成少量编码数据。一般而言，如果预测过程能够合理地工作，使得预测的图像内容类似于要编码的图像内容，则期望残留图像数据将包含比输入图像更少的信息(更少的能量)，并且因此将更容易编码成少量的编码数据。
现在将描述用作编码器(对残留或差异图像进行编码)的设备的其余部分。残留图像数据330提供给变换单元或电路340，变换单元或电路340生成残留图像数据的块或区域的离散余弦变换(DCT)表示。DCT技术本身是众所周知的，并且此处不再详细描述。还要注意，DCT的使用仅仅示出一个示例设置。可以使用的其他变换包括例如离散正弦变换(DST)。变换也可以包括单个变换的序列或级联，例如，一个变换之后跟随另一变换(无论是否直接)的设置。变换的选择可以明确地确定和/或变换的选择可以取决于用于配置编码器和解码器的辅助信息。
变换单元340(即，图像数据的每个变换块的一组DCT系数)的输出提供给量化器350。在视频数据压缩领域中，各种量化技术是已知的，从简单乘以量化比例因子到在量化参数的控制下应用复杂的查找表。总的目标是双重的。首先，量化过程减少了变换数据的可能值的数量。第二，量化过程可以增加变换数据值为零的可能性。这两者都可以使熵编码过程(将在下面描述)在生成少量压缩视频数据时更有效地工作。
扫描单元360应用数据扫描过程。扫描过程的目的是对量化的变换数据进行重新排序，以便将尽可能多的非零量化的变换系数聚集在一起，并且当然也是为了将尽可能多的零值系数聚集在一起。这些特征可以允许有效地应用所谓的游程编码或类似技术。因此，扫描过程包括根据“扫描顺序”从量化的变换数据中选择系数，特别是从对应于已经变换和量化的图像数据块的系数块中选择系数，使得(a)选择一次所有系数作为扫描的一部分，以及(b)扫描倾向于提供期望的重新排序。倾向于给出有用结果的一个示例扫描顺序是所谓的右上对角线扫描顺序。
扫描的系数然后传递到熵编码器(EE)370。同样，可以使用各种类型的熵编码。两个示例是所谓的CABAC(上下文自适应二进制算术编码)系统的变体和所谓的CAVLC(上下文自适应可变长度编码)系统的变体。总的来说，CABAC被认为提供了更好的效率，并且在一些研究中已经显示与CAVLC相比，对于可比较的图像质量，CABAC提供了10-20％的编码输出数据量的减少。然而，CAVLC被认为表示比CABAC低得多的复杂性(就其实现而言)。注意，扫描过程和熵编码过程显示为单独的过程，但实际上可以组合在一起或一起处理。即，可以按扫描顺序将数据读入熵编码器。相应的考虑适用于下面将要描述的相应逆过程。
熵编码器370的输出以及额外数据(上文提及和/或下文讨论)(例如，定义预测器320生成预测图像的方式)提供压缩输出视频信号380。
然而，还提供了返回路径，因为预测器320本身的操作取决于压缩输出数据的解压缩版本。
该特征的原因如下。在解压缩过程的适当阶段(将在下面描述)生成残留数据的解压缩版本。该解压缩的残留数据必须添加到预测图像，以生成输出图像(因为原始残留数据是输入图像和预测图像之间的差异)。为了可比较该过程，在压缩侧和解压缩侧之间，由预测器320生成的预测图像在压缩过程期间和解压缩过程期间应该是相同的。当然，在解压缩时，该设备不能访问原始输入图像，而只能访问解压缩的图像。因此，在压缩时，预测器320将其预测(至少对于帧间图像编码)基于压缩图像的解压缩版本。
熵编码器370执行的熵编码过程被认为(至少在一些示例中)是“无损的”，即，可以反转为得到与最初提供给熵编码器370的数据完全相同的数据。因此，在这样的示例中，返回路径可以在熵编码阶段之前实现。实际上，由扫描单元360执行的扫描过程也被认为是无损的，但是在本实施方式中，返回路径390是从量化器350的输出到互补的反向量化器420的输入。在由一个阶段引入损耗或可能损耗的情况下，该阶段可以包括在由返回路径形成的反馈回路中。例如，熵编码阶段至少在原则上可以是有损的，例如，通过在奇偶信息内编码比特的技术。在这种情况下，熵编码和解码应该形成反馈回路的一部分。
一般而言，熵解码器410、反向扫描单元400、反向量化器420和反向变换单元或电路430提供熵编码器370、扫描单元360、量化器350和变换单元340的相应的反向功能。目前，讨论将通过压缩过程继续进行；将在下面单独讨论解压缩输入的压缩视频信号的过程。
在压缩过程中，扫描的系数通过返回路径390从量化器350传递到执行扫描单元360的逆运算的反向量化器420。单元420、430执行反向量化和反向变换过程，以生成压缩-解压缩的残留图像信号440。
在加法器450处，图像信号440添加到预测器320的输出，以生成重建的输出图像460。这形成了对图像预测器320的一个输入，如下所述。
现在转到用于对接收的压缩视频信号470进行解压缩的过程，该信号提供给熵解码器410，并从此处提供给反向扫描单元400、反向量化器420和反向变换单元430的链，然后被加法器450添加到图像预测器320的输出。因此，在解码器侧，解码器重建残留图像的版本，并且然后(通过加法器450)将其应用于图像的预测版本(逐块地)，以便解码每个块。简单地说，加法器450的输出460形成输出的解压缩视频信号480。实际上，在输出信号之前，可以可选地应用进一步的滤波(例如，通过图8中所示的滤波器560，但是为了图7的更高级别图的清晰起见，从图7中省略)。
图7和图8的设备可以充当压缩(编码)设备或解压缩(解码)设备。这两种设备的功能基本上重叠。扫描单元360和熵编码器370不用于解压缩模式，并且预测器320(将在下面详细描述)和其他单元的操作遵循包含在接收的压缩比特流中的模式和参数信息，而不是自己生成这样的信息。
图8示意性地示出了预测图像的生成，特别是图像预测器320的操作。
由图像预测器320执行的预测有两种基本模式：所谓的帧内图像预测和所谓的帧间图像或运动补偿(MC)预测。在编码器侧，每一个都涉及检测关于待预测的当前块的预测方向，并且根据其他样本(在同一(帧内)或另一(帧间)图像中)生成样本的预测块。借助于单元310或450，对预测块和实际块之间的差异进行编码或应用，以便分别编码或解码该块。
(在解码器处或者在编码器的反向解码侧，预测方向的检测可以响应于与编码器编码的数据相关联的数据，指示在编码器处使用了哪个方向。或者检测可以响应于与在编码器做出决定的因素相同的因素)。
帧内图像预测基于来自同一图像内的数据来预测图像的块或区域的内容。这对应于其他视频压缩技术中的所谓的I帧编码。然而，与涉及通过帧内编码对整个图像进行编码的I帧编码相比，在本实施方式中，可以在逐块的基础上在帧内编码和帧间编码之间进行选择，尽管在其他实施方式中，仍然在逐图像的基础上进行选择。
运动补偿预测是帧间图像预测的一个示例并且利用运动信息，该运动信息试图在另一相邻或邻近图像中定义要在当前图像中编码的图像细节的源。因此，在理想的示例中，预测图像中的图像数据块的内容可以被非常简单地编码为指向相邻图像中相同或稍微不同位置的对应块的参考(运动矢量)。
称为“块复制”预测的技术在某些方面是两者的混合，因为它使用向量来指示在同一图像内从当前预测的块移位的位置处的样本块，应该复制该样本块，以形成当前预测的块。
返回图8，示出了两种图像预测设置(对应于帧内图像和帧间图像预测)，由多路复用器500在模式信号510(例如，来自控制器343)的控制下选择其结果以便提供预测图像的块，以提供给加法器310和450。根据哪个选择给出最低的“能量”(如上所述，该“能量”可以被认为是需要编码的信息内容)来做出选择，并且将该选择信令给编码输出数据流内的解码器。在这种情况下，可以检测图像能量，例如，通过从输入图像执行预测图像的两个版本的区域的试验减法，对差分图像的每个像素值求平方，对平方值求和，并识别两个版本中的哪一个产生与该图像区域相关的差分图像的较低均方值。在其他示例中，可以对每个选择或可能的选择执行试验编码，然后根据每个可能的选择的成本，根据编码和图片失真所需的比特数中的一者或两者来进行选择。
在帧内编码系统中，基于作为信号460的一部分接收的图像块进行实际预测，即，预测是基于编码解码的图像块，以便在解压缩设备中可以进行完全相同的预测。然而，帧内模式选择器520可以从输入视频信号300中导出数据，以控制帧内图像预测器530的操作。
对于帧间图像预测，运动补偿(MC)预测器540使用运动信息，例如，由运动估计器550从输入视频信号300导出的运动矢量。运动补偿预测器540将这些运动矢量应用于重建图像460的处理版本，以生成帧间图像预测的块。
因此，单元530和540(与估计器550一起操作)均用作检测器，以检测关于待预测的当前块的预测方向，并用作生成器以根据由预测方向定义的其他样本来生成预测样本块(形成传递给单元310和450的预测的一部分)。
现在将描述应用于信号460的处理。首先，信号被滤波单元560可选地过滤，这将在下面更详细地描述。这包括应用“去块”滤波器来移除或至少倾向于减少由变换单元340执行的基于块的处理和后续操作的影响。也可以使用样本自适应偏移(SAO)滤波器。此外，可选地使用通过处理重建信号460和输入视频信号300获得的系数来应用自适应环路滤波器。自适应环路滤波器是一种使用已知技术将自适应滤波器系数应用于待滤波数据的滤波器。即，滤波器系数可以根据各种因素而变化。将包括定义要使用的滤波器系数的数据，作为编码输出数据流的一部分。
当设备作为解压缩设备操作时，由滤波单元560所过滤的输出事实上形成输出视频信号480。还在一个或多个图像或帧存储器570中缓冲；连续图像的存储是运动补偿预测处理的要求，并且尤其是运动矢量的生成。为了保存存储需求，图像存储器570中存储的图像可以以压缩形式保存，并且然后解压缩以用于生成运动矢量。为了这个特定的目的，可以使用任何已知的压缩/解压缩系统。存储的图像传递到插值滤波器580，插值滤波器580生成存储图像的更高分辨率版本；在该示例中，生成中间样本(子样本)，使得由插值滤波器580输出的插值图像的分辨率是4:2:0亮度通道的图像存储器570中存储的图像的4倍(在每个维度上)，并且是4:2:0色度通道的图像存储器570中存储的图像的8倍(在每个维度上)。插值图像作为输入传递给运动估计器550以及运动补偿预测器540。
现在将描述为了压缩处理而分割图像的方式。基本上，要压缩的图像被认为是样本的块或区域的阵列。可以通过决策树将图像分割成这样的块或区域，例如，在Bross等人的“高效视频编码(HEVC)文本规范草案6”，JCTVC-H1003_d0(2011年11月)中描述的决策树，其内容通过引用结合于此。在一些示例中，所得到的块或区域具有大小，并且在一些情况下具有形状，这些形状借助于决策树通常可以遵循图像内的图像特征的设置。这本身可以提高编码效率，因为表示或跟随相似图像特征的样本将倾向于通过这种设置分组在一起。在一些示例中，不同大小的正方形块或区域(例如，4x4样本直到例如64x64或更大的块)可用于选择。在其他示例设置中，可以使用不同形状的块或区域，例如，矩形块(例如，垂直或水平取向)。设想了其他非正方形和非矩形块。将图像划分成这样的块或区域的结果在于(至少在本示例中)，图像的每个样本分配给一个且仅一个这样的块或区域。
现在将讨论帧内预测过程。一般而言，帧内预测包括从同一图像中先前编码和解码的样本生成当前样本块的预测。
图9示意性地示出了部分编码的图像800。在此处，图像是从左上方到右下方逐块编码的。在处理整个图像的中途编码的示例块被示为块810。块810上方和左侧的阴影区域820已经编码。块810的内容的帧内图像预测可以利用任何阴影区域820，但是不能利用阴影区域之下的非阴影区域。
在一些示例中，图像在逐块的基础上编码，使得较大的块(称为编码单元或CU)以例如参考图9讨论的顺序编码。在每个CU中，存在作为一组两个以上较小的块或变换单元(TU)的要处理的CU的可能性(取决于已经发生的块分割过程)。这可以给出编码的分层顺序，使得图像在逐个CU的基础上编码，并且每个CU可能地在逐个TU的基础上编码。然而，注意，对于当前编码树单元(块划分的树结构中的最大节点)内的单个TU，上面讨论的编码的分层顺序(逐CU，然后逐TU)意味着在当前CU中可能存在先前编码的样本，并且可用于编码该TU，例如，在该TU的右上方或左下方。
块810表示CU；如上所述，为了帧内图像预测处理的目的，这可以细分成一组更小的单元。在CU 810中示出了当前TU 830的示例。更一般地，图像被划分成样本的区域或组，以允许信令信息和变换数据的有效编码。信息的信令可需要不同于变换的细分的树结构，实际上是预测信息或预测本身的细分的树结构。为此，编码单元可以具有与变换块或区域、预测块或区域以及预测信息不同的树结构。在一些示例中，例如，HEVC，该结构可以是所谓的编码单元的四叉树，其叶节点包含一个或多个预测单元和一个或多个变换单元；变换单元可以包含对应于图片的亮度和色度表示的多个变换块，并且可以认为预测适用于变换块级别。在示例中，可以认为主要在块级别定义应用于特定样本组的参数，这可与变换结构的粒度不同。
帧内图像预测对在考虑的当前TU之前编码的样本进行考虑，例如，当前TU之上和/或左侧的样本。预测所需样本的源样本可以位于相对于当前TU的不同位置或方向。为了决定哪个方向适合当前预测单元，示例编码器的模式选择器520可以测试每个候选方向的可用TU结构的所有组合，并选择具有最佳压缩效率的预测方向和TU结构。
图片也可以在“切片(slice)”的基础上进行编码。在一个示例中，切片是水平相邻的CU组。但是更一般地，整个残留图像可以形成一个切片，或者一个切片可以是单个CU，或者一个切片可以是一行CU，诸如此类。由于切片被编码为独立的单元，因此切片可以对错误提供一定的弹性。编码器和解码器状态在切片边界完全复位。例如，不在切片边界上执行帧内预测；为此，切片边界被视为图像边界。
图10示意性地示出了一组可能的(候选)预测方向。候选方向的完整组可用于预测单元。方向由相对于当前块位置的水平和垂直位移确定，但被编码为预测“模式”，其组如图11所示。注意，所谓的DC模式表示周围左上样本的简单算术平均值。还要注意，图10所示的一组方向只是一个示例；在其他示例中，如图12中示意性所示的一组(例如)65个角模式加上DC和平面(完整的一组67个模式)构成了完整的一组。可以使用其他数量的模式。
一般而言，在检测到预测方向之后，系统可进行操作以根据由预测方向定义的其他样本来生成预测样本块。在示例中，图像编码器被配置为对识别为图像的每个样本或区域选择的预测方向的数据进行编码。
图13示意性地示出了帧内预测过程，其中，根据与该样本相关联的帧内预测模式所定义的方向930，从同一图像的其他参考样本920中导出样本块或区域910的样本900。该示例中的参考样本920来自所讨论的块910的上方和左侧的块，并且通过沿着方向930跟踪到参考样本920来获得样本900的预测值。方向930可指向单个单独的参考样本，但是在更一般的情况下，周围参考样本之间的插值用作预测值。注意，块910可以是如图13所示的正方形，或者可以是诸如矩形等其他形状。
图14和图15示意性地示出了先前提出的参考样本投影过程。
在图14和图15中，待预测的样本的块或区域1400被参考样本的线性阵列包围，从参考样本的线性阵列中发生预测样本的帧内预测。参考样本1410在图14和图15中被显示为阴影块，而待预测的样本被显示为非阴影块。注意，在该示例中使用了待预测的8×8块或样本区域，但是这些技术适用于可变的块大小和实际上的块形状。
如上所述，参考样本包括相对于待预测的样本的当前图像区域在相应方向上的至少两个线性阵列。例如，线性阵列可以是待预测的样本块上方的样本的阵列或行1420以及待预测的样本块左侧的样本的阵列或列1430。
如上面参考图13所讨论的，参考样本阵列可以延伸到待预测的块的范围之外，以便在图10至图12所示的范围内提供预测模式或方向。必要时，如果先前解码的样本在特定参考样本位置处不可用作参考样本，则其他参考样本可以在那些缺失的位置处重新使用。参考样本过滤过程可用于参考样本上。
样本投影过程用于以图14和图15所示的方式将至少一些参考样本投影到相对于当前图像区域的不同的相应位置。换言之，在实施方式中，对投影过程和电路进行操作，以在相对于当前图像区域的不同空间位置表示至少一些参考样本，例如，如图14和图15所示。因此，至少一些参考样本可以相对于其相对于当前图像区域的位置而移动(至少为了定义从中预测样本的参考样本阵列的目的)。具体而言，图14涉及对通常在对角模式(图11中的18)的左侧的模式(主要是模式2…17)执行的投影过程，并且图15示意性地示出了模式19…34所携带的参考样本投影，即通常在待预测的块的上方(对角模式18的右侧)。对角模式18可以作为任意选择分配给这两组中的任何一组，例如，分配给对角线右侧的一组模式。因此，在图14中，当前预测模式在模式2和17之间时(或在例如图12的具有不同数量的可能预测模式的系统中的等效模式)，当前块上方的样本阵列1420被投影，以在左手列中形成额外参考样本1440。然后，相对于由原始左手列1430和投影样本1440形成的线性投影阵列1450进行预测。在图15中，对于图11的18和34之间的模式(或者其在例如图12所示的其他组预测模式中的等效模式)，左手列中的参考样本1500被投影，以便延伸到当前块上方的参考样本1510的左侧。这形成了投影阵列1520。
执行这种性质的投影的一个原因是为了降低帧内预测过程的复杂性，因为所有待预测的样本都参考参考样本的单个线性阵列，而不是参考两个正交线性阵列。
图16示意性地示出了先前提出的预测电路600，其被设置为执行图14和图15的投影过程，具体地，通过提供投影电路1610而进行，投影电路1610被配置为对当前为待预测的区域块选择的参考样本执行投影过程。投影的参考样本存储在缓冲器1620中以由帧内预测器1630进行访问，从投影的参考样本生成预测样本。使用结合图14和图15讨论的技术，根据与待预测的当前块相关联的预测模式来执行投影过程。
在实施方式中，在解码器和编码器中执行相同的投影过程，使得预测样本在每个实例中是相同的。
现在将讨论将称为“直线模式”的预测模式和将称为“曲线模式”的预测模式的使用之间的操作的可能变化。
例如，图10至图12中示意性示出的预测模式的类型是所谓的直线模式，因为特定的预测方向与每个模式相关联，并且该方向具有相关联的角度(在待预测的当前样本与要从中预测当前样本的参考样本的参考位置之间)，该角度与待预测的当前样本在当前区域或块内的位置无关。在图17中示意性地示出这种设置，图17表示各种直线预测模式。在图17的情况下，为了图的清晰起见，示出了图10至图12中所示的完整组直线预测模式的简化版本。
图18示意性地示出了一组预测模式的另一示例。同样，纯粹为了图的清晰起见，显示的预测模式的数量比图10至图12中可用的数量少，但是要描述的技术适用于35、67或其他数量的预测模式的集合。从图18中可以看出，与预测模式相关的一些方向没有用直线表示。这些所谓的曲线预测模式定义了预测方向，该预测方向具有待预测的当前样本和参考样本中的参考位置之间的角度，该角度在待预测的当前样本的当前区域内的位置内变化。在实施方式中，曲线模式可以为一些图像区域提供改进的预测。在实施方式中，曲线模式可以为一些图像类型提供改进的预测，例如，可以用于表示全方位图像的等矩形投影(ERP)图像，并且在进一步的实施方式中，各个模式的曲率范围可以针对图像上的不同位置而变化。下面将参考图38至图39b更详细地描述这种设置的各种示例。
图18实际上表示一组示例混合预测模式，包括一些直线预测模式(例如，对角模式以及水平和垂直模式)以及一些曲线预测模式。曲率的感测或极性可以在任一方向，因此，如图18所示，一些曲线模式顺时针弯曲(如图所示)，一些曲线模式逆时针弯曲(如图所示)。这些模式可以被认为是抛物线的一部分，即本质上具有凸或凹拐点的抛物线，尽管也可以使用其他曲线形式。应当理解，图18中示意性示出的一组模式不仅表示比示例系统中可使用的模式数量更少的预测模式，而且纯粹是为了解释和举例。
因此，图18提供了一组预测模式的示例，该一组预测模式包括定义预测方向的至少一个直线预测模式，该预测方向具有当前样本和参考位置之间的角度，该角度与待预测的当前样本在当前区域内的位置无关。例如，一组候选预测方向可以至少包括水平预测方向和垂直预测方向。
作为直线和曲线预测模式的解释的进一步背景，图19和图20示意性地示出了一种示例性技术，通过该技术从参考样本1920中预测当前区域1910或要预测的块的样本1900。在这个示例中，参考样本已经使用上面参考图14至图16描述的技术投影成线性阵列。
为方便起见，使用了(x，y)坐标系统以识别单个参考或预测样本位置。在图19的示例中，x坐标由1930行数字表示，y坐标由1940列数字表示。因此，每个参考或预测样本位置都有使用坐标系的相关(x，y)名称。
在图19的示例中，已经选择一般垂直模式(即，比水平模式更垂直的模式)1950，例如，图11的名称中的模式23用于块或区域1910的样本1900的预测，注意，如果采用图12中所示的一组模式，则可以使用不同的模式编号。如以上参考图14至图16所讨论的，由图16的电路通过将左列参考样本投影到块或区域1910上方的参考样本的扩展1960中来处理这种一般垂直的预测模式。
如下预测要预测的每个样本1900。对于要预测的每个样本，存在相关联的(x，y)位置，例如，样本1970的位置(0，5)或样本1972的位置(0，4)。这两个样本仅作为示例使用，并且相同的技术适用于要预测的每个样本1900。
要预测的样本1970、1972的样本位置根据与当前预测模式相关联的方向1950映射到参考样本中的相应位置或参考位置1974、1976。可以使用如下所示的表达式来执行该映射，注意，这是相对于坐标系(x，y)的线性表达式：
对于图11符号中的水平模式2-17：
预测值(x.y)＝{1-f(p)}×ref[y+i(p)]+f(p)×ref[y+i(p)+1]
其中，p＝A×(x+1)。
对于图11符号中的垂直模式18-34：
预测值(x.y)＝{1-f(p)}×ref[x+i(p)]+f(p)×ref[x+i(p)+1]
其中，p＝A×(y+1)
其中，i(p)＝floor(p)是向下舍入到最接近整数的值p(朝向负无穷大)，f(p)＝p-i(p)r表示值p的小数部分。
A是一个角度参数，表示当前模式的角度。举例来说，例如，对于水平线或垂直线，A将是0；对于45°的对角线，A将是±1。
本领域技术人员将会理解，整数近似可以用于简化线性方程，例如，将角度参数A表示为分数固定精度数。在HEVC，角度精度为5位小数。
在示例设置中，参考位置1974、1976被检测到小于一个样本的精度或分辨率，即参考参考样本位置(-5，-1)…(15，-1)，一个分数值用于参考样本1920的投影组内的参考位置的x坐标。例如，参考位置可以被检测到样本分离的1/32的分辨率，使得参考位置1974、1976的x坐标被识别到该分辨率。参考位置的y坐标在每种情况下都是-1，但是这实际上与随后发生的计算无关，该计算涉及沿着参考样本1920的x轴的插值。
预测值1970、1972的预测是适用于参考样本位置1974、1976的检测x坐标的值的插值，例如，如前面所示的公式中所述。
在图20中示意性地示出了类似的设置，除了使用具有预测方向2000的通常水平的预测模式，即，比垂直更水平的预测模式，例如，图11所示的组的(例如)模式14(或者图12所示的组中类似模式的对应数字)。特定预测模式的选择适用于要预测的样本2020的整个块或区域2010，并且此处选择的特定示例纯粹是为了本说明的目的。
在一般水平模式的情况下，如上所述，图16所示的投影电路从块或区域2010上方进行投影那些参考样本，以形成参考样本向该区域左侧的延伸2030。再次，示出了要预测的两个示例样本(样本2032、2034)的导出，使得使用方向2000将样本位置2032、2034映射到一组参考样本2040中的参考位置2036、2038。再次使用类似的(x，y)坐标系，参考位置2036、2038表示为y方向上1/32样本分辨率。参考样本位置的x坐标为-1，但这与随后的过程无关。以上述方式获得要预测的样本的样本值。
使用图19和图20讨论的背景，现在将参考图21和22讨论关于直线和曲线预测模式的操作。在这些设置中，帧内预测器530提供检测器的示例，该检测器被配置为检测参考位置来作为相对于参考样本阵列的阵列位置，该阵列位置由适用于要预测的当前样本的预测方向所指向；以及提供滤波器，滤波器被配置为通过在检测到的阵列位置对参考样本阵列进行插值来生成预测样本。检测器可以被配置为检测阵列位置，其精度小于一个样本，例如，1/32样本。
帧内模式选择器520可以被配置为执行至少部分编码，以选择预测模式。
图21示出了与图19中使用的设置类似的设置，涉及关于直线预测模式的操作。在此处，在待预测的样本2110的块2100中，考虑了三个示例样本位置2120、2130、2140，但是相同的原理适用于每个样本2110块或区域2100的每个样本位置。
考虑当前选择的预测模式的方向2150，使用上述技术将待预测的样本2120、2130、2140的位置映射到与当前块或区域2100相关联的参考样本2190中的参考位置2160、2170、2180。如前所述，这些参考位置2160、2170、2180可以表示为子样本分辨率，例如，相对于参考样本2190在x方向上的1/32样本。
在每种情况下，角度2122、2132、2142是相同的，所述角度2122、2132、2142定义了参考位置2160…2180和待预测样本的位置2120…2140之间的方向或角度。换言之，独立于待预测的样本在块或区域2100中的位置。对于块2100内待预测的每个样本，角度2122…2142都是相同的，这一特征源于上述用于描述参考样本2190内的参考位置的线性表达。
图22示出了待预测的样本2210的块2200和参考样本的组2290的类似设置，但是使用了由方向2250示意性示出的所谓曲线预测模式。再次，描述了应用于待预测的样本2210的三个示例样本位置(即样本位置2220、2230、2240)的情况。这些位置2220…2240由预测过程映射到参考样本2290中的参考位置2260、2270、2280。然而，位置2220…2240和映射参考位置2260…2280之间的角度2222、2232、2242根据块2200内待预测的相应样本的位置而变化。在本示例中，角度2222…2242随着与投影的一组参考样本2290的间隔(在本示例中在y方向)的增加而变得更尖锐(即相对于任意垂直方向更小)。角度的这种变化也可以由名义位置2262、2272(将由适用于样本2240的角度2242处的方向指示)和实际参考位置2260、2270之间的间隔2264、2274的变化来表示。x方向上的位置差异随着从参考样本到待预测样本位置的y间隔而增加。
一般而言，对于曲线模式，每个待预测样本与当前区域2200内的坐标位置相关联，并且在参考样本2290的组或阵列内检测阵列或参考位置，作为待预测的给定样本的坐标位置的函数，该函数取决于所选择的预测模式。对于曲线模式，待预测样本的坐标位置的函数是非线性函数。
用于定义曲线预测模式的合适的非线性函数的示例如下：
位置＝r*tan(角度)
位置＝(r*r/5)*tan(角度)
其中，r＝垂直模式的行数，例如，16×16的块大小(对于其他块大小，因子5可能会改变)
这种性质的分析功能不是必需的；相反，可以使用将样本位置连接到预测(或位置组或分类)的参考位置的查找表。在示例中，可以为每个块大小采用不同的查找表。
因此，在这些示例中，每个待预测的样本与当前区域内的坐标位置相关联；并且(帧内预测器530的)检测器被配置为检测待预测的给定样本的阵列位置来作为待预测的给定样本的坐标位置的函数，该函数取决于所选择的预测模式。例如，对于曲线模式，待预测样本的坐标位置的函数是非线性函数。在示例中，非线性函数可以取决于当前图像中当前区域的位置，例如，对应于图像中已知或检测到的失真类型，并且类似地，一组预测模式可以取决于当前图像中当前区域的位置，再次例如对应于图像中已知或检测到的失真类型。
图23示意性地示出了形成帧内预测电路(例如，帧内预测器530和/或帧内模式选择器520)的一部分的设置，以允许使用一组广义的直线和/或曲线预测模式。函数存储器2300存储将待预测样本的位置与相应参考位置相关联的函数，无论是线性的还是非线性的，并且模式生成器2310根据预测模式指定或编号2320将当前选择的函数应用于参考样本2330和待预测样本的位置2340，以便生成预测的样本值2350。
图24和图25示意性地示出了在编码或解码真实图像时可能出现的情况。在此处，示出了可由帧内模式选择器520选择的一组预测模式，注意，一组是比图10至图12所示的更小的一组，主要是为了图的清晰起见。
参考图24，待预测的样本的块或区域2400具有相关联的参考样本2410。然而，由于适用于所讨论的图像的特定块编码顺序，所以可能存在一些参考样本(例如，一组样本2420)不可用于预测当前块或区域2400的样本的情况。
一些视频编码或解码系统提供所谓的参考样本替换过程，其中，样本2420被例如重复的最接近的可用参考样本(例如，样本2430)所替换(当不可用时)。然而，在下面将要讨论的技术中，可以从中选择适用于当前区域2400的模式的一组预测模式是变化的，以解决样本2420的不可用性。例如，在样本2420不可用的情况下，一组预测模式2440可能被认为是不太有用的，因为通过根据一个预测模式2440进行预测而获得的信息可能非常有限，例如，纯粹基于块2400中待预测的大量样本的参考样本2440的样本值。
在图25中，考虑参考样本本身的属性，例如，参考样本的所谓图像活动性。图像活动性是参考一组样本所携带的信息量的术语。如果样本通常彼此不同，表示较大量的局部图像细节，则这些样本据说具有大的图像活动性。如果一组样本彼此相似或相同，使得一组样本表示缺少局部图像细节，则这些样本据说具有低图像活动性。可以分析地应用于一组样本的图像活动性的示例测量由以下公式给出：
对于样本0至m(任意一组m+1个样本，例如，组2510、2520、2512、2514、2524、2526等)，其中，p是样本值，例如，亮度值：
假设deltam＝pm-1-pm
应当理解，为了降低计算的复杂性，平方和通常被绝对值之和代替，并且也可以去除平方根运算。
在图25所示的示例情况下，通过针对那些参考样本而绘制的阴影中的变化，相对于待预测的样本块或区域2500的参考样本2510具有更高的图像活动性(在图25中示意性示出)。参考样本2520通常具有较低的图像活动性，如图25中示意性所示，相同的阴影应用于图中那些参考样本中应用的表示。这意味着对于指向具有较低图像活动性的参考样本的一组预测模式2530与使用一组2540预测模式中的一个相比，将获得设置块2500上的预测样本值的变化的可能不太有用的信息。
下面将要讨论的示例性实施方式利用控制器(例如，由帧内模式选择器实施和/或如下面参考图29至图33所讨论的)来根据能够应用于当前图像区域的当前图像的一组参考样本的当前属性，为当前图像的当前图像区域选择(从一组预测方向，例如，如图10至图12所示的完整组)一组候选预测方向，作为一组(完整)预测方向的子集。例如，一个或多个属性可以至少表示一组参考样本的图像活动性，并且预测方向子集的选择可以朝着具有高图像活动性的一组参考样本中的参考样本加权。
现在将参考图26至图28来讨论示例性设置，其中，纯粹为了本讨论的目的，将假设这样一种情况，其中，一组候选预测方向至少朝向大致垂直的预测方向加权，例如，因为与当前区域左侧的参考样本2520的图像活动相比，在当前区域2500上方的参考样本(例如，图25中的参考样本2510)中检测到更大的图像活动。
在图26中，三种类型的线用来示意性地表示不同的预测模式，参考图24的完整组预测模式(纯粹为了清晰起见，这通常比图10至图12中所示的数量小)。这些不同的表示在图26的右侧显示，其中，实线表示在当前过程下保留的原始完整组的预测模式；虚线表示额外的模式(将在下面讨论)，由交替的虚线和点(─·─·)形成的线表示原始组的模式，在选择用于待预测的当前样本块的预测模式时没有使用该模式(或可供使用)。
就在当前过程下保留的原始组的模式而言，在当前块2500上方具有活动性的参考样本2510的当前示例中，保留了从左上角对角模式2600(图11的表示中的模式18或者图12的表示中的等效编号)到对角线右侧模式2610(图11的表示中的模式34或者图12的表示中的等效编号)的那些模式。在一些示例中，具有比模式2600更大水平分量的模式不用作当前块的候选模式。
然而，这种设置的一个可选例外是保留水平模式2620(图11表示中的模式编号10或图12表示中的等效编号)。这是因为水平模式(在从候选组中排除垂直模式的其他示例情况下，垂直模式2630)可以部分地用于信令扫描顺序，即，以下中的一个或两个的处理顺序：块内待预测的样本；以及待预测的样本块或子块。这样，将水平模式2620和垂直模式2630保留为候选模式可能是有用的，可以针对待预测的当前块来选择所述候选模式，即使其中的一个由于与一组参考样本的属性相关的标准而不会保留。因此，在示例中，一组候选预测方向可以至少包括水平预测方向和垂直预测方向。更一般地，由于熵解码过程通常与图像的重建(即，变换和预测过程)分离，所以在熵解码器使用信令的帧内预测模式来调整熵编码过程的情况下，帧内预测模式通过信令的方式使用，而不是如以后通过考虑参考样本而重新映射的方式使用。
到目前为止描述的过程导致生成或选择一组候选预测方向，来作为用于当前图像区域的(整)组预测方向的子集。这种技术本身可能导致更有效的编码，因为需要编码更少的模式编号，因此，可能地，可以使用更少的比特来编码模式编号。
然而，在其他示例设置中，也使用所谓的额外模式。
额外模式(例如图26中的额外模式2640)的示例包括：(i)位于一组候选预测方向中的相应一对预测方向之间的预测方向；和/或(ii)具有或表示在待预测样本的样本位置和相应参考位置之间的角度的预测方向，该角度随着待预测的样本在当前块或区域内的位置而变化。换言之，使用上述采用的术语，第一类别涉及额外的直线预测模式，第二类别涉及额外的曲线预测模式。
图26示出了一个示例，其中，提供了额外的直线预测模式，下面将要讨论的图28涉及额外的曲线预测模式。也可以使用两者的组合。
因此，在图26中，在模式2600和模式2610之间的原始(整)组的原始预测模式中，额外模式散布(例如，均匀地散布)在成对的相邻原始模式之间。
在使用与图26相同的符号并且参考在上面的参考样本中高活动性的相同示例情况的图27中，保留了模式2600和下面的对角模式2700之间的原始模式子集，例如，图11中的模式2或图12符号中的等效编号。例如，保留替代的原始模式2710、2720(其可以被保留为水平模式)、2730，并且在候选组中不使用中间原始模式。在所示的示意性示例中，这意味着没有使用四种原始模式，因此在不超过原始模式编号的情况下，可以引入四种额外模式2740、2750、2760、2770。
可以通过使用未保留在候选子集中的这些模式的原始模式编号和额外模式之间的映射来实现这种设置，例如，如下表所示，该表使用基于图11的编号的示例性符号，尽管可以理解类似的设置可以采用不同的编号，例如，适合于图12的编号。该示例涉及一种示例情况，其中，通过移除替代模式而减少除模式10之外的水平模式，其方式大致类似于图27所示的方式：
图28提供了另一示例，涉及与图26所示相同的示例情况，并对保留的、额外的和未使用的模式使用相同的符号。在此处，模式2800、2810不用作候选预测模式，这允许在不超过原始模式编号的情况下引入七个额外模式。在图28的示例中，如上所述，这七个额外模式是所谓的曲线(或非线性或非直线)模式。
因此，基于适用于当前块的参考样本的属性，在图26至图28的示例中导出的候选模式的子集可以用于当前块。
如图28所示，一个或多个额外预测方向可以包括以下项中的一项或多项：(i)位于一组候选预测方向中的相应一对预测方向之间的预测方向；以及(ii)具有在待预测的当前样本和参考样本中的参考位置之间的角度的预测方向，该角度随着待预测的当前样本在当前区域内的位置而变化。在相应的一对预测方向之间可以有一个或多个额外方向。额外预测方向可以与其相应的对具有等距，或者可以不与其相应的对具有等距。
图29示意性地示出了控制器的示例，该控制器根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为当前图像的当前图像区域选择一组候选预测方向，作为一组预测方向的子集。
具体而言，在图29的示例中，活动检测器2900响应于能够应用于当前区域的参考样本2920，并将活动数据提供给选择器2910，选择器2910生成一组候选预测模式2930。如上所述，这可以(例如)是结合图26讨论的原始完整组预测模式的简单子集。活动检测器2900可以相对于例如第一组参考样本(例如，当前区域2500上方的图25的组2510)以及当前区域2500左侧的第二组参考样本进行操作(其中，拐角参考样本2522任意分配给这些组中的任一个或者实际的两个)。在其他示例中，可以考虑参考样本的子组，例如，一对子组2512、2514来代替组2510(或者实际上补充组2510)并且一对子组2524、2526来补充或代替子组2520。
在多组参考样本可用的实施方式中，可以检查这些组，以选择可用模式。例如，如果有多行参考样本可用，则这些行可以相互关联，以控制模式的可用性。对于曲线模式，多行参考样本可用于控制边缘处的曲率，而帧内预测模式可用于控制块的平均角度。对于直线模式，对于指定的帧内预测模式并且通过该预测模式的子分数偏移，可以将一行投影到另一行上，根据两行的相关方式来选择子分数(或零)偏移。对于后一种情况，由于变换/量化过程通常倾向于将残差控制到正交方向，所以子分数偏移最好偏向默认模式的特定一侧，而不是均匀地围绕该侧。
具有高(或最高)活动性的参考样本可能导致只有指向该方向的预测方向或在候选模式中可用的那些方向。在其他示例中，可以在“低活动性”方向上排除子集(例如，替代)预测模式，并且可选地，可以在“高活动”方向上插入额外模式。这种设置提供了一个示例，其中，一个或多个属性至少表示一组参考样本的图像活动性；并且预测方向子集的选择朝着具有高图像活动性的一组参考样本中的参考样本加权。更一般地，所述一个或多个属性可以表示由以下项组成的列表中的至少一项：一组参考样本的图像活动性，预测方向子集的选择朝着具有高图像活动性的一组参考样本中的参考样本加权；以及图片中当前图像区域的位置。例如，如果因为使用中的一组参考样本延伸到当前解码区域之外和/或没有缓冲，从而需要外推或重复参考样本，则一组候选模式可以主要包括那些指向没有外推或重复的参考样本的模式。图片或图像部分(例如，切片)内的位置可以对参考样本的可用性具有类似的影响，使得(例如)一些参考样本位置可能由于块的位置而落在当前图片或图像部分之外，从而再次将一组候选模式引向实际存在的参考样本。在一些示例中，从可使用的一组模式中移除指向当前编码树单元之外的参考样本的模式。
如上所述，选择器的操作可以是简单地选择原始的完整组模式的子集，作为一组候选预测方向。然而，在其他示例中，选择器可以包括如图30所示的功能，其中，额外模式选择器3000响应于作为完整组的子集选择的模式的临时一组候选3010，向作为临时候选组选择的子集添加额外模式，并且模式编号映射器3020使用上述技术应用额外模式和原始但未使用的模式编号之间的映射，以生成能够应用于当前图像区域的预测模式的候选组3030。这提供了一个示例，其中，控制器被配置为利用不形成一组预测方向的一部分的一个或多个额外预测方向来补充一组候选预测方向。映射过程提供了一个示例，其中，一组预测方向均具有相关联的方向标识符；并且控制器被配置为将一个或多个额外预测方向分配给与在一组预测方向中但不在预测方向的子集中的预测方向相关联的相应方向标识符。
图31涉及使用最可能模式(MPM)检测器3100和编码器3110除了上述技术之外还可以执行的过程。
在一些示例设置中，从适用于先前编码/解码的块的模式中导出所谓的最可能模式。该过程的目的是(a)可以在编码期间在编码器和在解码期间在解码器以相同的方式执行MPM导出，使得两者对于任何特定样本都处理相同的MPM，(b)如果当前块和从中导出MPM的先前编码块之间的图像内容相似，则当前块的样本至少很有可能也将使用MPM，并且(c)与完整组MPM中的任意一个相比，可以用比特流中可能更少量的数据来编码MPM。因此，对于当前块的样本，如果该样本是从一个或多个先前(例如，前面的)编码的块导出的MPM，则可以使用更少量的数据来编码所选择的模式。这是因为一个简短的数据代码可以用来简单地指示“这个样本使用的是通过预先配置的过程从先前的块中导出的最可能的模式”，而不是必须指定一组模式(例如，67个模式)中的一个模式。因此，假设图像区域内的模式选择通常是相似的，这可以提供比特率的整体节省。
术语“最可能模式”是本领域中使用的一种模式，因此在此使用是为了方便起见。“更常用的模式”是与这些模式结合使用的另一可能的术语。术语MPM并不意味着最有可能选择从前面的样本中导出的模式用于特定样本的绝对最高概率。然而，所谓的MPM往往是通常用于前面的样本的模式，或者从通常用于前面的样本的模式导出，因此通常更有可能适用于当前样本。
还注意到，可以导出不止一个MPM。术语“MPM”并不意味着(多于一个)模式同样是最有可能的，但是作为一组两个或更多个MPM，旨在提高适用于当前样本的可能性。
在本示例中，控制器被配置为响应于通常用于一个或多个先前编码的图像区域的预测方向，检测一个或多个可能的预测方向来作为另外的候选预测方向，并且将识别所述预测方向的数据编码为：(i)指示所述预测方向是检测到的可能的预测方向的数据，或者(ii)识别剩余的候选预测方向中的预测方向的数据。
图32示意性地示出了上面讨论的技术能够适合上面参考图1到图8描述的设置的方式。特别参考图8。参考样本缓冲器3200用于存储从加法器450接收的作为样本460的参考样本。使用缓冲的参考样本，候选模式选择器3210根据图29以及可选的图30操作，选择一组候选预测模式3220作为原始(完整)一组预测模式集合的子集，可具有一些额外模式。这些提供给帧内模式选择器520，帧内模式选择器520选择针对待预测的当前样本块使用的预测模式，并将其作为选择的预测模式提供给帧内预测器530。帧内预测器530根据参考样本缓冲器中的参考样本3240使用选择的预测模式3230来生成预测样本3250。
帧内模式选择器520还提供与所选择的模式相关的信息(作为信息3260提供给控制器343)。控制器343还可以从候选模式选择器3210接收信息3270，该信息3270定义候选模式的选择和/或额外模式和未使用的原始模式之间的任何映射。控制器343编码信息3280，以包含在编码数据中，以通过帧内选择器和/或候选模式选择器执行的任何映射来表示模式选择器。
因此，图32提供了图像编码设备的示例，包括：
控制器(343、2900、2910、3000、3020)，被配置为根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为当前图像的当前图像区域选择一组候选预测方向，作为一组预测方向的子集；以及
帧内图像预测器(530)，被配置为根据当前样本与参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来预测当前图像区域的样本；
其中，所述帧内图像预测器被配置为从一组候选预测方向中为当前图像区域选择预测方向。
例如，控制器可以被配置为对识别针对图像的每个样本或区域而选择的预测方向的数据进行编码。
图33示出了解码设备环境中的类似设置，其中，控制器343响应于定义预测模式和一组候选预测模式中的一者或两者的编码信息。控制器将该信息传递给帧内模式选择器520和候选模式选择器。然后，帧内模式选择器520从候选模式选择器提供的候选组选择合适的模式。设备操作的其他方面类似于上面参考图32描述的那些。
因此，图33提供了图像解码设备的示例，包括：
控制器(343、2900、2910、3000、3020)，被配置为根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为当前图像的当前图像区域选择一组候选预测方向，作为一组预测方向的子集；以及
帧内图像预测器(530)，被配置为根据当前样本和参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个来预测当前图像区域的样本；
其中，所述帧内图像预测器被配置为从一组候选预测方向中为当前图像区域选择预测方向。
例如，控制器可以被配置为对识别针对图像的每个样本或区域而选择的预测方向的编码数据进行检测。
图34是示出图像编码方法的示意流程图，包括：
根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为当前图像的当前图像区域选择(在步骤3400)一组候选预测方向，作为一组预测方向的子集；
从一组候选预测方向中为当前图像区域选择预测方向(在步骤3410)；以及
根据当前样本和参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来对当前图像区域的样本进行帧内图像预测(在步骤3420)。
图35是示出图像解码方法的示意流程图，包括：
根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为当前图像的当前图像区域选择(在步骤3500)一组候选预测方向，作为一组预测方向的子集；
从一组候选预测方向中为当前图像区域选择预测方向(在步骤3510)；并且
根据当前样本和参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来对当前图像区域的样本进行帧内图像预测(在步骤3520)。
图36是示出图像编码方法的示意流程图，包括：
从一组预测模式中选择(在步骤3600)用于预测当前图像的当前区域的预测模式；以及
根据在待预测的当前样本和参考样本中的参考位置之间的由所选择的预测模式定义的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来对当前区域的样本进行帧内图像预测(在步骤3610)；
其中，一组预测模式包括定义预测方向的至少一个曲线预测模式，该预测方向具有当前样本和参考位置之间的角度，该角度随着待预测的当前样本在当前区域内的位置而变化。
根据该方法操作的图1至图8和图23的设备提供了图像编码设备的示例，包括：
控制器，被配置为从一组预测模式中选择用于预测当前图像的当前区域的预测模式；以及
帧内图像预测器，被配置为根据在待预测的当前样本和参考样本中的参考位置之间的由所选择的预测模式定义的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来预测当前区域的样本；
其中，一组预测模式包括定义预测方向的至少一个曲线预测模式，该预测方向具有当前样本和参考位置之间的角度，该角度随着待预测的当前样本在当前区域内的位置而变化。
图37是示出图像解码方法的示意流程图，包括：
从一组预测模式中选择用于预测当前图像的当前区域的预测模式(在步骤3700)；以及
根据在待预测的当前样本和参考样本中的参考位置之间的由所选择的预测模式定义的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来对当前区域的样本进行帧内图像预测(在步骤3710)；
其中，一组预测模式包括定义预测方向的至少一个曲线预测模式，该预测方向具有当前样本和参考位置之间的角度，该角度随着待预测的当前样本在当前区域内的位置而变化。
根据该方法操作的图1至图8和图23的设备提供了图像解码设备的示例，包括：
控制器，被配置为从一组预测模式中选择用于预测当前图像的当前区域的预测模式；以及
帧内图像预测器，被配置为根据在待预测的当前样本和参考样本中的参考位置之间的由所选择的预测模式定义的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来预测当前区域的样本；
其中，一组预测模式包括定义预测方向的至少一个曲线预测模式，该预测方向具有当前样本和参考位置之间的角度，该角度随着待预测的当前样本在当前区域内的位置而变化。
图38示意性地表示失真图像的示例，例如，所谓的等矩形投影(ERP)图像。这具有已知的或可检测的曲率失真，这些曲率失真可以由图39a的一组曲线模式适当地适用于图像的上部，并且由图39b的一组曲线模式适用于图像的下部。例如，非线性函数(指示曲率的量)可以根据当前区域与图像的水平中心线的距离而变化，以便增加朝向图像的上和下边缘的曲率。
就本公开的实施方式已经被描述为至少部分地由软件控制的数据处理设备来实现而言，应当理解，承载这种软件的非暂时性机器可读介质(例如，光盘、磁盘、半导体存储器等)也被认为表示本公开的实施方式。类似地，包括根据上述方法生成的编码数据的数据信号(无论是否包含在非暂时性机器可读介质上)也被认为表示本公开的实施方式。
显然，根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在所附条款的范围内，该技术可以以不同于本文具体描述的方式实施。
由以下编号条款定义进一步的相应方面和特征：
1.一种图像编码设备，包括：
控制器，被配置为根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为所述当前图像的所述当前图像区域选择一组候选预测方向，作为所述一组预测方向的子集；以及帧内图像预测器，被配置为根据当前样本与参考样本中的参考位置之间的预测方向，相对于同一图像的所述一组参考样本中的一个或多个参考样本来预测所述当前图像区域的样本；
其中，所述帧内图像预测器被配置为从所述一组候选预测方向中为所述当前图像区域选择预测方向。
2.根据条款1所述的设备，其中，所述一个或多个属性表示由以下项组成的列表中的至少一项：
iv.所述一组参考样本的图像活动性，预测方向的子集的选择朝着具有高图像活动性的一组参考样本中的参考样本加权；
v.图片中所述当前图像区域的位置；以及
vi.用于预测所述当前图像区域的参考样本的可用性。
3.根据条款1或2所述的设备，其中，所述控制器被配置为利用不形成所述一组预测方向的一部分的一个或多个额外预测方向来补充所述一组候选预测方向。
4.根据条款3所述的设备，其中：
所述一组预测方向均具有相关联的方向标识符；并且
所述控制器被配置为将所述一个或多个额外预测方向分配给与在所述一组预测方向中但不在预测方向的子集中的预测方向相关联的相应方向标识符。
5.根据条款3或4所述的设备，其中，所述一个或多个额外预测方向包括以下项中的一项或多项：
(i)位于所述一组候选预测方向中的相应一对预测方向之间的预测方向；以及
(ii)具有在待预测的当前样本和参考样本中的参考位置之间的角度的预测方向，该角度随着所述待预测的当前样本在当前区域内的位置而变化。
6.根据前述条款中任一项所述的设备，其中，所述一组候选预测方向至少包括水平预测方向和垂直预测方向。
7.根据前述条款中任一项所述的设备，其中，所述控制器被配置为对识别针对图像的每个样本或区域而选择的预测方向的数据进行编码。
8.根据条款7所述的设备，其中，所述控制器被配置为响应于通常用于一个或多个先前编码的图像区域的预测方向，检测一个或多个可能的预测方向来作为另外的候选预测方向，并且将识别预测方向的数据编码为：(i)指示预测方向是检测到的所述可能的预测方向的数据，或者(ii)识别剩余的候选预测方向中的预测方向的数据。
9.一种视频存储、捕捉、传输或接收设备，包括根据条款1所述的设备。
10.一种图像解码设备，包括：
控制器，被配置为根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为当前图像的当前图像区域选择一组候选预测方向，作为所述一组预测方向的子集；以及
帧内图像预测器，被配置为根据当前样本和参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来预测所述当前图像区域的样本；
其中，所述帧内图像预测器被配置为从一组候选预测方向中为所述当前图像区域选择预测方向。
11.根据条款10所述的设备，其中，所述一个或多个属性表示由以下项组成的列表中的至少一项：
iv.所述一组参考样本的图像活动性，预测方向子集的选择朝着具有高图像活动性的一组参考样本中的参考样本加权；
v.图片中所述当前图像区域的位置；以及
vi.用于预测所述当前图像区域的参考样本的可用性。
12.根据条款10或11所述的设备，其中，所述控制器被配置为利用不形成所述一组预测方向的一部分的一个或多个额外预测方向来补充所述一组候选预测方向。
13.根据条款12所述的设备，其中：
所述一组预测方向均具有相关联的方向标识符；并且
所述控制器被配置为将所述一个或多个额外预测方向分配给与在所述一组预测方向中但不在预测方向的子集中的预测方向相关联的相应方向标识符。
14.根据条款12所述的设备，其中，所述一个或多个额外预测方向包括以下项中的一项或多项：
(i)位于所述一组候选预测方向中的相应一对预测方向之间的预测方向；以及
(ii)具有在待预测的当前样本和参考样本中的参考位置之间的角度的预测方向，该角度随着所述待预测的当前样本在当前区域内的位置而变化。
15.根据条款10至14中任一项所述的设备，其中，所述一组候选预测方向至少包括水平预测方向和垂直预测方向。
16.根据条款10至15中任一项所述的设备，其中，所述控制器被配置为对识别针对图像的每个样本或区域而选择的预测方向的编码数据进行检测。
17.根据条款16所述的设备，其中，所述控制器被配置为响应于通常用于一个或多个先前编码的图像区域的预测方向，检测一个或多个可能的预测方向来作为另外的候选预测方向，并且将识别所述预测方向的数据编码为：(i)指示所述预测方向是检测到的所述可能的预测方向的数据，或者(ii)识别剩余的候选预测方向中的预测方向的数据。
18.一种视频存储、捕捉、传输或接收设备，包括根据条款10至17中任一项所述的设备。
19.一种图像编码方法，包括：
根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为所述当前图像的所述当前图像区域选择一组候选预测方向，作为所述一组预测方向的子集；
从所述一组候选预测方向中为所述当前图像区域选择预测方向；并且根据当前样本与参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来对所述当前图像区域的样本进行帧内图像预测。
20.一种计算机软件，当由计算机执行时，使计算机执行根据条款19所述的方法。
21.一种机器可读非暂时性存储介质，其存储根据条款20所述的软件。
22.一种图像解码方法，包括：
根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为所述当前图像的所述当前图像区域选择一组候选预测方向，作为所述一组预测方向的子集；
从一组候选预测方向中为所述当前图像区域选择预测方向；以及
根据当前样本和参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来对所述当前图像区域的样本进行帧内图像预测。
23.一种计算机软件，当由计算机执行时，使计算机执行根据条款22所述的方法。
24.一种机器可读非暂时性存储介质，其存储根据条款23所述的软件。
25.一种数据信号，包括根据条款19所述的方法生成的编码数据。
26.一种视频捕捉设备，包括图像传感器和条款1-8中任一项所述的编码设备、条款10-17中任一项所述的解码设备以及输出解码图像的显示器。

Claims (14)

1.一种图像编码设备，包括：
控制器，被配置为根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为所述当前图像的所述当前图像区域选择一组候选预测方向，作为所述一组预测方向的子集；以及
帧内图像预测器，被配置为根据当前样本与参考样本中的参考位置之间的预测方向，相对于同一图像的所述一组参考样本中的一个或多个参考样本来预测所述当前图像区域的样本；
其中，所述帧内图像预测器被配置为从所述一组候选预测方向中为所述当前图像区域选择预测方向，
其中，所述控制器被配置为利用不形成所述一组预测方向的一部分的一个或多个额外预测方向来补充所述一组候选预测方向，所述一个或多个额外预测方向由模式编号映射器通过从与所述一组预测方向中未使用的第一预测方向相对应的原始模式的映射来分配额外模式编号，
并且其中，所述第一预测方向的数量对应于所述一个或多个额外预测方向，使得预测模式的数量与模式的预定数量相同。
2.根据权利要求1所述的设备，其中，所述一个或多个属性表示由以下项组成的列表中的至少一项：
i.所述一组参考样本的图像活动性，预测方向的子集的选择朝着具有高图像活动性的一组参考样本中的参考样本加权；
ii.图片中所述当前图像区域的位置；以及
iii.用于预测所述当前图像区域的参考样本的可用性。
3.根据权利要求1所述的设备，其中：
所述一组预测方向均具有相关联的方向标识符；并且
所述控制器被配置为将所述一个或多个额外预测方向分配给与在所述一组预测方向中但不在预测方向的子集中的预测方向相关联的相应方向标识符。
4.根据权利要求1所述的设备，其中，所述一个或多个额外预测方向包括以下项中的一项或多项：
(i)位于所述一组候选预测方向中的相应一对预测方向之间的预测方向；以及
(ii)具有在待预测的当前样本和参考样本中的参考位置之间的角度的预测方向，该角度随着所述待预测的当前样本在当前区域内的位置而变化。
5.根据权利要求1所述的设备，其中，所述一组候选预测方向至少包括水平预测方向和垂直预测方向。
6.一种图像解码设备，包括：
控制器，被配置为根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为当前图像的当前图像区域选择一组候选预测方向，作为所述一组预测方向的子集；以及
帧内图像预测器，被配置为根据当前样本和参考样本中的参考位置之间的预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来预测所述当前图像区域的样本；
其中，所述帧内图像预测器被配置为从一组候选预测方向中为所述当前图像区域选择预测方向；
其中，所述控制器被配置为利用不形成所述一组预测方向的一部分的一个或多个额外预测方向来补充所述一组候选预测方向，所述一个或多个额外预测方向由模式编号映射器通过从与所述一组预测方向中未使用的第一预测方向相对应的原始模式的映射来分配额外模式编号；
并且其中，所述第一预测方向的数量对应于所述一个或多个额外预测方向，使得预测模式的数量与模式的预定数量相同。
7.根据权利要求6所述的设备，其中，所述一个或多个属性表示由以下项组成的列表中的至少一项：
i.所述一组参考样本的图像活动性，预测方向子集的选择朝着具有高图像活动性的一组参考样本中的参考样本加权；
ii.图片中所述当前图像区域的位置；以及
iii.用于预测所述当前图像区域的参考样本的可用性。
8.根据权利要求6所述的设备，其中：
所述一组预测方向均具有相关联的方向标识符；并且
所述控制器被配置为将所述一个或多个额外预测方向分配给与在所述一组预测方向中但不在预测方向的子集中的预测方向相关联的相应方向标识符。
9.根据权利要求6所述的设备，其中，所述一个或多个额外预测方向包括以下项中的一项或多项：
(i)位于所述一组候选预测方向中的相应一对预测方向之间的预测方向；以及
(ii)具有在待预测的当前样本和参考样本中的参考位置之间的角度的预测方向，该角度随着所述待预测的当前样本在当前区域内的位置而变化。
10.根据权利要求6所述的设备，其中，所述一组候选预测方向至少包括水平预测方向和垂直预测方向。
11.一种视频存储、捕捉、传输或接收设备，包括根据权利要求1或6所述的设备。
12.一种图像编码方法，包括以下步骤：
根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为所述当前图像的所述当前图像区域选择一组候选预测方向，作为所述一组预测方向的子集；
利用不形成所述一组预测方向的一部分的一个或多个额外预测方向来补充所述一组候选预测方向；
从所述一组候选预测方向中为所述当前图像区域选择预测方向；并且
根据当前样本与参考样本中的参考位置之间的所述预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来对所述当前图像区域的样本进行帧内图像预测；
所述一个或多个额外预测方向由模式编号映射器通过从与所述一组预测方向中未使用的第一预测方向相对应的原始模式的映射来分配额外模式编号，
其中，所述第一预测方向的数量对应于所述一个或多个额外预测方向，使得预测模式的数量与模式的预定数量相同。
13.一种图像解码方法，包括以下步骤：
根据能够应用于当前图像区域的当前图像的一组参考样本的一个或多个属性，从一组预测方向中为所述当前图像的所述当前图像区域选择一组候选预测方向，作为所述一组预测方向的子集；
利用不形成所述一组预测方向的一部分的一个或多个额外预测方向来补充所述一组候选预测方向；
从一组候选预测方向中为所述当前图像区域选择预测方向；以及
根据当前样本和参考样本中的参考位置之间的所述预测方向，相对于同一图像的一组参考样本中的一个或多个参考样本来对所述当前图像区域的样本进行帧内图像预测；
所述一个或多个额外预测方向由模式编号映射器通过从与所述一组预测方向中未使用的第一预测方向相对应的原始模式的映射来分配额外模式编号，
其中，所述第一预测方向的数量对应于所述一个或多个额外预测方向，使得预测模式的数量与模式的预定数量相同。
14.一种机器可读非暂时性存储介质，存储计算机软件，所述计算机软件在由计算机执行时，使所述计算机执行根据权利要求12或13所述的方法。
CN201880063490.6A 2017-10-27 2018-10-24 图像数据编码和解码 Active CN111164975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311191019.4A CN117278755A (zh) 2017-10-27 2018-10-24 图像编码设备和图像解码设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1717683.5A GB2567860A (en) 2017-10-27 2017-10-27 Image data encoding and decoding
GB1717683.5 2017-10-27
PCT/GB2018/053076 WO2019081926A1 (en) 2017-10-27 2018-10-24 CODING AND DECODING IMAGE DATA

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311191019.4A Division CN117278755A (zh) 2017-10-27 2018-10-24 图像编码设备和图像解码设备

Publications (2)

Publication Number Publication Date
CN111164975A CN111164975A (zh) 2020-05-15
CN111164975B true CN111164975B (zh) 2023-09-01

Family

ID=60580179

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880063490.6A Active CN111164975B (zh) 2017-10-27 2018-10-24 图像数据编码和解码
CN202311191019.4A Pending CN117278755A (zh) 2017-10-27 2018-10-24 图像编码设备和图像解码设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311191019.4A Pending CN117278755A (zh) 2017-10-27 2018-10-24 图像编码设备和图像解码设备

Country Status (5)

Country Link
US (2) US20200260074A1 (zh)
EP (2) EP4340358A3 (zh)
CN (2) CN111164975B (zh)
GB (1) GB2567860A (zh)
WO (1) WO2019081926A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3759928A1 (en) * 2018-02-26 2021-01-06 InterDigital VC Holdings, Inc. Gradient based boundary filtering in intra prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103238333A (zh) * 2010-11-29 2013-08-07 Sk电信有限公司 进行图像编码/解码以使帧内预测模式的冗余最小化的方法和设备
WO2016159631A1 (ko) * 2015-03-29 2016-10-06 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2016204478A1 (ko) * 2015-06-15 2016-12-22 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
WO2014171713A1 (ko) * 2013-04-15 2014-10-23 인텔렉추얼 디스커버리 주식회사 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR101713250B1 (ko) * 2016-05-19 2017-03-08 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
EP3301915A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103238333A (zh) * 2010-11-29 2013-08-07 Sk电信有限公司 进行图像编码/解码以使帧内预测模式的冗余最小化的方法和设备
WO2016159631A1 (ko) * 2015-03-29 2016-10-06 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2016204478A1 (ko) * 2015-06-15 2016-12-22 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
EP3701717B1 (en) 2023-11-29
US20230217020A1 (en) 2023-07-06
EP3701717A1 (en) 2020-09-02
EP4340358A2 (en) 2024-03-20
CN117278755A (zh) 2023-12-22
CN111164975A (zh) 2020-05-15
GB201717683D0 (en) 2017-12-13
EP4340358A3 (en) 2024-04-10
GB2567860A (en) 2019-05-01
US20200260074A1 (en) 2020-08-13
WO2019081926A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
KR102645310B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102424240B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
AU2012335896B2 (en) Signaling quantization matrices for video coding
TW201408081A (zh) 資料編碼及解碼
US11290709B2 (en) Image data encoding and decoding
CN111279704B (zh) 图像数据编码和解码
CN109155852B (zh) 利用可变内预测方向集合进行内编码和解码
US20230217020A1 (en) Image data encoding and decoding
WO2019081925A1 (en) CODING AND DECODING IMAGE DATA
WO2019081930A1 (en) CODING AND DECODING IMAGE DATA
US20200413039A1 (en) Image data encoding and decoding apparatus and method
WO2019081928A1 (en) CODING AND DECODING IMAGE DATA
CN114788276A (zh) 图像数据编码和解码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant