CN107810632A - 具有降低代价的块分割和细化的帧内模式选择的帧内预测处理器 - Google Patents

具有降低代价的块分割和细化的帧内模式选择的帧内预测处理器 Download PDF

Info

Publication number
CN107810632A
CN107810632A CN201680032990.4A CN201680032990A CN107810632A CN 107810632 A CN107810632 A CN 107810632A CN 201680032990 A CN201680032990 A CN 201680032990A CN 107810632 A CN107810632 A CN 107810632A
Authority
CN
China
Prior art keywords
block
hardware processor
processor according
coefficient
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680032990.4A
Other languages
English (en)
Other versions
CN107810632B (zh
Inventor
K.乌古尔
A.迪纳斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ng Codec Ltd By Share Ltd
Original Assignee
Ng Codec Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ng Codec Ltd By Share Ltd filed Critical Ng Codec Ltd By Share Ltd
Publication of CN107810632A publication Critical patent/CN107810632A/zh
Application granted granted Critical
Publication of CN107810632B publication Critical patent/CN107810632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

硬件处理器，具有每块尺寸帧内模式处理器以针对不同的块尺寸执行对最佳帧内模式的帧内模式搜索。代价处理器针对不同的块尺寸计算代价值，其中所述代价值基于简化的失真估计或简化的比特率估计中的至少一个。选择性块合并处理器建立块的最终分割。

Description

具有降低代价的块分割和细化的帧内模式选择的帧内预测处 理器
相关申请的交叉引用
本申请要求于2015年5月6日提交的美国临时申请No.62/157,916的优先权，其内容通过引用合并于此。
技术领域
本发明一般涉及视频压缩。更具体地，本发明涉及配置用于降低代价的块分割和细化的帧内模式选择的帧内(即，图片内或帧内)预测处理器。
背景技术
高效率视频编码(HEVC)是H.264/AVC视频压缩标准的后续版本的视频压缩标准。HEVC相比于H.264/AVC实现了图片内(帧内)编码和图片间(帧间)编码两者的显著改进。对于帧内编码的情况而言，HEVC和H.264/AVC之间的主要区别在于更多数量的定向模式(35个预测模式代替9个预测模式)以及更多数量的块尺寸(从4×4到32×32代替从4×4到16×16)。图1示出HEVC中使用的33个预测角度。每个预测角度对应于定向模式或帧内模式。
HEVC还支持两种附加模式：平面(planar)和DC。如图1所示，这些角度被定义为使得：接近水平方向和垂直方向，角度之间的位移较小，并且朝向对角线方向，角度之间的位移较粗略。
典型的HEVC编码器执行帧内预测搜索，以确定要由当前块使用的帧内模式。在选择最佳帧内模式之后，使用同一图片的先前处理过的块的像素来生成当前块的预测信号。然后通过取得原始块与预测块之间的差形成残差信号，由此提取空间冗余以减少需要被传输来代表该图片的数据的量。
利用三条目最可能模式(most probable mode,MPM)列表，将当前块的帧内模式编码成比特流。H.264/AVC使用单个运动矢量预测器(除非使用直接模式)和单个MPM。HEVC使用多个候选预测器或MPM以及用于分别发出所选预测器或MPM的信号的索引或标志。该列表是使用以HEVC标准定义的、并且利用左模式和上模式并且包括三个独特的帧内模式的处理而生成的。如果期望的模式在该列表中，则发送该列表的索引，否则显式地发送该模式。
参考图2，帧内预测是从先前处理过的块A、B、C、D和E来预测块M的处理。如图3所示，使用来自先前处理过的块的相邻像素和角度偏移(帧内模式)构建用来预测M的参考数据。帧内预测的基本假设是：任何块的纹理(texture)与相邻块的纹理相似，因此能够从相邻块进行预测。
在编码器中，当执行块M的完全预测时，先前的块数据需要是可利用的，否则，将在编码器和解码器之间存在失配，这是由于解码器使用来自那些块的重构数据来重构块M。
除了确定每个块的最佳模式外，HEVC编码器还需要确定对各块进行的分割(partition)。在HEVC中，可以以四叉树的方式，将编码树单元(CodingTree Unit,CTU)拆分成更小的块。例如，一个64×64的CTU可以先拆分成4个32×32块，并且每个32×32块可以进一步被拆分。
图4举例说明了对一个块的示例拆分，其中一个64×64块首先被拆分成4个32×32块(包括显示的块A和M)。然后将右上角和左下角的32×32块分割成4个16×16块(例如，16×16块B、C、D、E)。此外，左下角的16×16块之一被拆分成4个8×8块(即，G、H、I、J)。
用于预测的样本确定各块是如何被拆分的。例如，如图4所示，属于块H的像素使用来自邻近块A、D、E、G、I、K的样本。然而，如果块G、H、I、J未被分割，而是尺寸为16×16的单个块，那么来自块A、D、E、F、K的像素将被用于预测。
因为当使用较小的块尺寸时，预测像素与原始像素之间的距离总是较小，所以通常使用较小的块的情况下产生更好的预测。然而，由于与传输所增加数量的块的信息相关联的增加的开销，编码较小的块通常开销更高。
为此，确定用于HEVC的块分割的有效算法是非常重要的。更具体地，在预测的准确性与所使用的比特数之间提供一个良好的折衷是很重要的。
发明内容
硬件处理器，具有每块尺寸帧内模式处理器以针对不同的块尺寸执行对最佳帧内模式的帧内模式搜索。代价处理器针对不同的块尺寸计算代价值，其中所述代价值基于简化的失真估计或简化的比特率估计中的至少一个。选择性块合并处理器建立块的最终分割。
附图说明
联系以下结合附图进行的详细描述，本发明将被更充分地理解，其中：
图1示出HEVC支持的预测角度或帧内模式。
图2示出基于先前的块A、C、B、D和E的、块M的帧内预测。
图3示出用来构建块M的相邻块像素和偏移角或帧内模式。
图4示出拆分成较小块的64×64块。
图5示出与本发明实施例相关联的处理操作。
图6示出根据本发明实施例执行的渐进块尺寸处理。
图7示出根据本发明实施例执行的代价计算。
图8示出根据本发明实施例配置的编码器。
图9A-图9F示出根据本发明实施例执行的块拆分选择。
图10示出被配置为实施所公开的操作的半导体。
贯穿上述附图的多个视图，相似的附图标记指代对应的部分。
具体实施方式
图5示出与本发明实施例相关联的处理操作。对于每种候选尺寸下的每个块，对每块尺寸执行帧内搜索处理以找出的最佳帧内模式(500)。该步骤的结果是每个候选模式的失真值和给出最小失真值的最佳帧内模式。使用这些结果，对于每种候选块尺寸下的每个块计算代价值(502)。使用不同尺寸的块的代价值，选择性地将较小的块合并成较大的块(504)。该步骤的输出是该帧的最终块分割信息。使用该块分割信息，对属于所决定的分割的块的帧内模式进行细化(refine)并且潜在地对其修改(506)。与这些操作中的每一个相关联的细节如下。
图6示出与图5中的方框500相关联的处理操作。执行越来越大的块尺寸计算。每个随后的计算集合是依据之前计算中收集到的信息。在一个实施例中，执行4×4块计算(600)，接着是8×8块计算(602)，接着是16×16块计算(604)，然后是32×32块计算(606)。
更具体地，4×4块计算(600)计算指定块尺寸的帧内模式(即，指定块尺寸的最佳图片内预测模式)。基于这些结果，渐进地对于较大的块计算帧内模式。4×4块计算(600)可以被表征为包括步骤1(a)，在该步骤1(a)中搜索4×4块的帧内模式的预定义集合。在步骤1(b)中，搜索4×4块的帧内模式的集合，其中该集合取决于步骤1(a)的结果。在一个实施例中，对于步骤1(a)，该预定义集合被定义为DC、水平、垂直以及选择的对角线模式(例如，模式18和34)。对于步骤1(b)，搜索离步骤1(a)中找到的最佳角度最接近的8个角度(+-4)。
8×8块计算(602)可以被认为是下一步骤。搜索8×8块的帧内模式的集合，其中该集合取决于来自方框600的结果。搜索DC、水平、垂直以及选择的对角线角度(例如，模式18和34)。使用来自较小块尺寸的、对应于该块的左上角的最佳角度和两个最接近的角度。
16×16块计算(604)可以被认为是下一步骤。搜索16×16块的帧内模式的集合，其中该集合取决于方框600和602的结果。搜索DC、水平、垂直以及选择的对角线角度(例如，模式18和34)。使用来自较小块尺寸的、对应于该块的左上角的最佳角度和两个最接近的角度。
32×32块计算(606)可以被认为是最后一个步骤。搜索32×32块的帧内模式的集合，其中该集合取决于每个进行的步骤的结果。搜索DC、水平、垂直以及选择的对角线角度(例如，模式18和34)。使用来自较小块尺寸的、对应于该块的左上角的最佳角度和两个最接近的角度。在这一点上，角度信息对于每个级别下的每个块是已知的。换言之，每个级别下的每个块具有相关联的候选帧内模式。
在一个实施例中，用来选择最佳角度或模式的代价函数是重构图像与原始像素之间的失真测量。如果所选角度未包含于给定块的最可能模式中，则可能存在额外的代价参数。该搜索集合的构建可以取决于比特率。更具体地，对于较高比特率，可以搜索较少数量的角度。
基于一些测量，可以动态地更新该搜索集合的构建。例如，如果需要动态地去降低复杂度操作级别，则大的块尺寸可以使用从较小的块尺寸中找到的相同角度。对于方框602、604和606，可以使用来自所有4个较小块的角度来构建该搜索集合，而不是仅使用对应的左上角位置。例如，4个子块之中最常出现的角度可以包含于该集合中。替代地，4个子块及其对应的邻近块之中的两个角度可以包含于该集合中。
所有的处理步骤都不需要执行。计算约束(constraint)或比特率要求可以规定仅执行几个渐进块尺寸计算。帧的大分段中的低频数据(大部分是一致的像素)将便利于较大块尺寸的计算，而高频数据(大部分是可变的像素)可以降低进行较大块尺寸的计算的实践性。本发明的实施例基于系统参数和数据参数适应性地确定要执行的块尺寸计算的数量。
回到图5，接下来是502，其中对于每个级别下的块来计算代价值。这些操作在图7中被更全面地表征。角度信息被用来形成对于块的帧内预测(702)。也就是说，图6中的处理的结果是不同的块尺寸和相关联的帧内模式。基于这个信息来选择帧内预测。使用该预测信号和原始信号，形成残差(residual)，该残差被变换和量化(704)。使用残差信号的量化的变换系数来计算代价(706)。
图8示出具有图片内预测处理器802的编码器，用来产生应用于减法器804的图片内预测信号，减法器804还接收原始像素的输入块806。减法器804的输出是残差信号。该残差信号被拆分成尺寸为N×N的正方块，其中N＝2M且M为整数。每个残差块被输入到二维N×N正向变换块808。该二维变换可以通过将N点一维变换单独地应用于每行和每列而被实现为单独的变换。然后将得到的N×N变换系数应用于量化器810以获得量化的变换系数。量化的变换系数被应用于产生比特流的熵编码器812。
本发明的实施例基于变换块808和量化器810的不同实现方案来计算代价值。各种实施例采用近似(approximation)技术；近似技术提供了简化的计算，这允许了为最优结果而可探寻的更多选项。这对于提供如此多的编码选项的HEVC尤其重要。因此，本发明的实施例基于简化的失真估计或简化的比特率估计中的至少一个来计算代价值。这些简化的估计降低了任何给定计算的计算代价。作为结果，更多的计算可被执行，以识别预测的准确度与使用的比特数之间的最优折衷。本文中提到的降低代价的块分割是指基于各个估计的各个计算代价。用于配置任何给定帧的整体计算代价可能不会降低，这是由于可能会探寻更多替代的配置，但是每个替代的配置是基于降低代价的参数(例如，简化的失真估计或简化的比特率估计)。
举例来说，代价值可以是Jl(x,y)，其中l确定块的级别(例如，如果块是4×4，l为0；如果块是8×8块，则l为1诸如此类)。在这个方案下，x，y确定该块在CTU内的位置，其中从作为左上角的0,0开始。下文结合图9A-9F更全面地讨论该操作。
该代价函数具有若干元素，这些元素被组合以获得对每个级别下的每个块编码的整体代价。对代价做出贡献的主要元素是比特数和重构图像的失真。速率失真优化试图以最低的比特率找到最低的失真(视频质量的损失)。最高质量的图像将与高比特率相关联。但是，在某些时候，与高比特率相关联的额外的比特提供相对少的质量益处。也就是说，额外的质量不值得花费额外的比特。速率失真优化的通用方法是将比特代价乘以拉格朗日算子(Lagranian)，该拉格朗日算子代表比特代价与特定质量级别下的质量之间的关系的值。为了最大化峰值信噪比视频质量度量，通常测量与源的偏差作为均方误差。
可以用λ参数对代价函数加权，以调整速率-失真的折衷。该λ参数可以取决于用来编码序列的量化参数。在图像质量(Y轴)作为比特率(X轴)的函数的二维图中，图像质量曲线典型地快速上升然后变平坦。λ参数是图像质量曲线上最优质量/比特率位置处的斜率的测量。在一个实施例中，计算代价的公式可以如下表示：
Jl(x,y)＝对重构图像的失真的估计+λ参数*比特数的估计
可以通过首先使用预测和信号原始信号来估计比特数。如图8中所示，从预测802和输入块806形成残差信号。然后将该信号应用于变换块808，其中所得到的量化系数被应用于量化器810。使用残差信号的量化的变换系数并且估计比特数和重构图像的失真，来计算代价。
在一个实施例中，为了估计比特数，代价函数包括至少一个通过对级别l下、位置x,y处的对应块的量化且变换后的残差信号的非零系数的数量计数而计算的项。
在一个实施例中，正向变换块808被配置为生成实际变换的近似。例如，代替于使用离散正弦变换，可以使用离散余弦变换。替代地，可以使用更低复杂度的变换，诸如Hadamard变换。
在另一个实施例中，正向变换块808利用具有较低比特精度的样本。另一个较低复杂度的替代方案是使用具有更容易实施的系数的变换，诸如需要较少数量的乘法和加法。
在另一个实施例中，省略正向变换块808。即，残差信号被直接应用于量化器810，并且量化的残差信号的非零系数被计数。该方法是可行的，因为HEVC允许对于小块尺寸的变换旁路(bypass)。借助这个选项可以提高编码效率。
在另一个实施例中，正向变换块808被配置为估计非零系数的数量，而不是对非零系数的数量进行计数。例如，可以仅使用系数的子集(例如，变换块内的系数的一半)来估计该块中的总的非零系数。
在另一个实施例中，正向变换块808被配置为执行更高级的计算。例如，除了对多个非零系数进行计数之外，正向变换块还可以对大于1、大于2等诸如此类的系数的数量计数。这样，块的熵编码可以被模拟的更好，并且可以执行更精确的估计，因为这更接近于熵编码器812处理信息的方式，并且将导致与执行熵编码处理之后使用的实际比特数相比较而言更精确的比特数的估计。
在另一个实施例中，可以基于来自先前块或先前图片的结果、或取决于正在处理的视频的特性，动态地调整用来对代价函数内的不同项进行加权的λ参数。
在另一个实施例中，包括额外的项以补偿传输较小块的开销。例如，当相比于传输单个8×8块，传输4个4×4块将会包括对4个帧内模式信息进行编码(相比于单个帧内模式信息)。可以取决于量化参数(QP)的值对该项加权。
为了估计失真1002，代价函数可以包括通过取得量化变换系数与非量化的变换系数之间的差而计算的项，以估计重构图像的失真。
本发明的实施例以不同方式计算失真项。例如，代替于使用量化变换系数与非量化的变换系数之间的差，可以基于块的预测误差来计算失真，而不经任何变换操作。当使用非平坦量化矩阵对视频进行编码时，可以使用平坦量化矩阵来计算失真。代替于取得每个系数之间的失真，可以计算块的子集之间的失真，然后可以从该数据中外推该块的总失真。
返回图5，下一个操作是选择性块合并器(504)。例如，从8×8的块尺寸开始，通过至少使用在方框502中计算的代价函数来决定是否将较小的块合并成大的块。考虑图9A的示例。图9A中的每个块900代表4×4块。考虑算法正在决定是否将4个4×4块合并成1个8×8块的情况。这可以在索引(0,0)(图9A中的902)、(0,1)(图9B中的904)、(1,0)(图9C中的906)，(1,1)(图9D中的908)处完成。如图9E所示，可以对16×16块作类似的决定，以及如图9F所示，对32×32块作类似的决定。
代价函数可以如下计算：
J8×8＝J1(0,0)；其中J1(0,0)指8×8块的代价函数，并且其通过如上所述使用估计的比特数和失真来计算。
J4×4＝J0(0,0)+J0(0,1)+J0(1,0)+J0(1,1)；其中J0(0..1,0..1)是4×4块中的每一个块的相应代价函数，并且其通过如上所述使用估计的比特数和失真来计算。
如果发现以4×4块(由J4×4给出)对8×8区域编码的代价小于使用单个8×8块(由J8×8给出)的代价，则对应的区域被拆分成4个4×4块。
考虑32×32块被分成16×16、8×8或4×4块的情况。对于4个4×4块的每个集合，决定将这些块组合成单个8×8块或者将其保持为各个4×4块。在此之后，一些块被组合成8×8块，一些块仍然保持为4×4块。之后，对于每个8×8块，作出是否将底层块组合成16×16块的决定。取决于之前步骤的结果，底层块可以是所有4×4块、所有8×8块或某些4×4块和某些8×8块。类似地，对于32×32区域作出决定。特别地，作出是否将底层块组合成单个32×32块的决定。
返回图5，最后的操作是帧内模式的细化(refine)(506)。基于选择性块合并器504的结果，来细化帧内模式。如前所述，块尺寸确定了哪些相邻像素被用于帧内预测。例如，在决定了对于CTU的分割信息之后，由于HEVC中的最可能模式列表机制，因此更准确地知道传输帧内模式的代价。这是因为构建最可能模式列表需要知道邻近块帧内模式信息，并且该邻近块帧内模式信息仅在对于CTU计算了块分割之后才可用。
在一个实施例中，利用最可能模式候选列表重新计算每个帧内模式的代价，并且可以对于块使用不同的帧内模式。更具体地，作为最可能模式列表的一部分的模式将是有利的，这是因为与对不是最可能模式列表的一部分的编码模式相比，那些模式占用较少的比特。
在另一个实施例中，色度(chroma)模式在该细化步骤中从不被修改。也就是说，只有亮度(luma)模式被修改。在另一实施例中，当发现给定块的亮度模式改变时，再次搜索色度模式。
所公开的操作以硬件实施。特别地，利用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或类似的硬件架构来实施所公开的操作。图10示出了具有每块尺寸帧内模式计算器1002的半导体基板1000，以实施图5中的方框500的操作。
半导体1000还包括代价计算器1004以实施图5中的方框502的操作，选择性块合并器处理器1006被配置为实现图5中的框504的操作，并且最终帧内预测模式细化处理器1008被配置为实现图5的方框506。与半导体1000相关联的附加资源可用于实施全功能编码器，诸如图8所示。
出于解释的目的，前述描述使用特定的术语以提供对本发明的全面理解。然而，对于本领域技术人员来说显而易见的是，不需要具体细节来实践本发明。因此，出于说明和描述的目的，呈现了本发明的特定实施例的前述描述。它们不意图是穷尽的或者将本发明限制到所公开的精确形式；显然，有鉴于上述教导，许多修改和变化是可能的。为了最好地解释本发明的原理及其实践应用，甄选并描述了这些实施例，从而使得本领域的其他技术人员可以最好地利用本发明以及具有适合于预期的特定用途的各种修改的各种实施例。所意图是本文所附权利要求及其等价物限定本发明的范围。

Claims (16)

1.一种硬件处理器，包括：
每块尺寸帧内模式处理器，用来针对不同的块尺寸执行对最佳帧内模式的帧内模式搜索；
代价处理器，用来针对所述不同的块尺寸计算代价值，其中所述代价值基于简化的失真估计或简化的比特率估计中的至少一个；以及
选择性块合并处理器，用来建立块的最终分割。
2.根据权利要求1所述的硬件处理器，其中所述简化的失真估计基于量化变换系数与非量化的变换系数之间的差。
3.根据权利要求1所述的硬件处理器，其中所述简化的失真估计基于未经正向变换的预测误差信号。
4.根据权利要求1所述的硬件处理器，其中所述简化的失真估计基于采样值。
5.根据权利要求1所述的硬件处理器，其中所述简化的比特率估计基于对残差信号的量化的变换系数的处理。
6.根据权利要求5所述的硬件处理器，其中所述对量化的变换系数的处理包括对非零系数的数量进行计数。
7.根据权利要求5所述的硬件处理器，其中所述对量化的变换系数的处理包括对幅值大于1的非零系数的数量和幅值大于2的系数的数量进行计数。
8.根据权利要求5所述的硬件处理器，其中所述对量化的变换系数的处理包括对量化的系数块的所选择的子集进行操作。
9.根据权利要求5所述的硬件处理器，其中用来获得所述量化的变换系数的变换是高效视频编码变换的低复杂度近似。
10.根据权利要求1所述的硬件处理器，其中所述简化的失真估计基于二维量化矩阵的单个维度。
11.根据权利要求1所述的硬件处理器，其中所述代价值进一步基于代价函数内的加权项。
12.根据权利要求11所述的硬件处理器，其中所述加权项是图像质量曲线上的最佳质量/比特率位置处的斜率的测量。
13.根据权利要求1所述的硬件处理器，还包括帧内预测模式细化处理器，用来基于所述块的最终分割来选择最终帧内模式。
14.根据权利要求13所述的硬件处理器，其中所述帧内预测模式细化处理器利用最可能模式候选列表、基于帧内模式代价计算来选择最终帧内预测模式。
15.根据权利要求13所述的硬件处理器，其中所述帧内预测模式细化处理器仅从亮度模式选择最终预测模式。
16.根据权利要求13所述的硬件处理器，其中所述帧内预测模式细化处理器被配置为响应于识别到亮度模式的改变来搜索色度模式。
CN201680032990.4A 2015-05-06 2016-04-27 具有降低代价的块分割和细化的帧内模式选择的帧内预测处理器 Active CN107810632B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562157916P 2015-05-06 2015-05-06
US62/157,916 2015-05-06
PCT/US2016/029595 WO2016178880A1 (en) 2015-05-06 2016-04-27 Intra prediction processor with reduced cost block partitioning and refined intra mode selection

Publications (2)

Publication Number Publication Date
CN107810632A true CN107810632A (zh) 2018-03-16
CN107810632B CN107810632B (zh) 2020-06-23

Family

ID=57218303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032990.4A Active CN107810632B (zh) 2015-05-06 2016-04-27 具有降低代价的块分割和细化的帧内模式选择的帧内预测处理器

Country Status (4)

Country Link
US (1) US10070128B2 (zh)
EP (1) EP3292687A4 (zh)
CN (1) CN107810632B (zh)
WO (1) WO2016178880A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805635B1 (en) * 2016-03-22 2020-10-13 NGCodec Inc. Apparatus and method for coding tree unit bit size limit management
CN113810697A (zh) * 2016-04-29 2021-12-17 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
US10621731B1 (en) * 2016-05-31 2020-04-14 NGCodec Inc. Apparatus and method for efficient motion estimation for different block sizes
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN111316640B (zh) * 2017-11-17 2023-09-26 鸿颖创新有限公司 基于调整的帧内模式列表以编码视频数据的设备及方法
CN112789853A (zh) 2018-06-21 2021-05-11 交互数字Vc控股公司 视频编码和解码中的细化模式处理
KR20210100741A (ko) * 2019-02-21 2021-08-17 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치
CN114731430A (zh) * 2019-12-05 2022-07-08 交互数字Vc控股法国有限公司 与多个变换选择、矩阵加权帧内预测或多参考线帧内预测结合的用于视频编码和解码的帧内子分区
CN116114245A (zh) * 2021-09-02 2023-05-12 辉达公司 在视频编码过程中视频帧的并行处理

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010118780A1 (en) * 2009-04-17 2010-10-21 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for rate distortion optimisation
US20100290521A1 (en) * 2007-07-31 2010-11-18 Peking University Founder Group Co., Ltd. Method and Device For Selecting Best Mode Of Intra Predictive Coding For Video Coding
CN102065298A (zh) * 2011-01-05 2011-05-18 西安电子科技大学 高性能宏块编码实现方法
CN102186081A (zh) * 2011-05-11 2011-09-14 北京航空航天大学 一种基于梯度向量的h.264帧内模式选择方法
CN102665079A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的自适应快速帧内预测模式决策
CN102740077A (zh) * 2012-07-04 2012-10-17 西安电子科技大学 基于h.264/avc标准的帧内预测模式选择方法
US20120287995A1 (en) * 2011-05-12 2012-11-15 Madhukar Budagavi Luma-Based Chroma Intra-Prediction for Video Coding
WO2014036848A1 (en) * 2012-09-05 2014-03-13 Lg Electronics (China) R & D Center Co., Ltd. Depth picture intra coding /decoding method and video coder/decoder

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864554A (en) * 1993-10-20 1999-01-26 Lsi Logic Corporation Multi-port network adapter
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
US20120183064A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Codeword assignment for intra chroma mode signaling for hevc
CN107529708B (zh) * 2011-06-16 2019-05-07 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
WO2013006986A1 (en) * 2011-07-12 2013-01-17 Intel Corporation Luma-based chroma intra prediction
EP2805496B1 (en) * 2012-01-19 2016-12-21 Huawei Technologies Co., Ltd. Reference pixel reduction for intra lm prediction
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
US9271010B2 (en) * 2012-10-02 2016-02-23 Futurewei Technologies, Inc. System and method for motion estimation for large-size block
US20140269901A1 (en) * 2013-03-13 2014-09-18 Magnum Semiconductor, Inc. Method and apparatus for perceptual macroblock quantization parameter decision to improve subjective visual quality of a video signal
US9154782B2 (en) * 2013-09-16 2015-10-06 Magnum Semiconductor, Inc. Apparatuses and methods for adjusting coefficients using dead zones
US9948934B2 (en) * 2014-07-02 2018-04-17 Apple Inc. Estimating rate costs in video encoding operations using entropy encoding statistics

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290521A1 (en) * 2007-07-31 2010-11-18 Peking University Founder Group Co., Ltd. Method and Device For Selecting Best Mode Of Intra Predictive Coding For Video Coding
WO2010118780A1 (en) * 2009-04-17 2010-10-21 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for rate distortion optimisation
CN102065298A (zh) * 2011-01-05 2011-05-18 西安电子科技大学 高性能宏块编码实现方法
CN102186081A (zh) * 2011-05-11 2011-09-14 北京航空航天大学 一种基于梯度向量的h.264帧内模式选择方法
US20120287995A1 (en) * 2011-05-12 2012-11-15 Madhukar Budagavi Luma-Based Chroma Intra-Prediction for Video Coding
CN102665079A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的自适应快速帧内预测模式决策
CN102740077A (zh) * 2012-07-04 2012-10-17 西安电子科技大学 基于h.264/avc标准的帧内预测模式选择方法
WO2014036848A1 (en) * 2012-09-05 2014-03-13 Lg Electronics (China) R & D Center Co., Ltd. Depth picture intra coding /decoding method and video coder/decoder

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K.SAURTY ET AL: "Early CU Size Determination in HEVC Intra Prediction Using Average Pixel Cost", 《2014 FOURTH INTERNATIONAL CONFERENCE ON DIGITAL INFORMATION AND COMMUNICATION TECHNOLOGY AND ITS APPLICATIONS,IEEE》 *

Also Published As

Publication number Publication date
US10070128B2 (en) 2018-09-04
EP3292687A1 (en) 2018-03-14
WO2016178880A1 (en) 2016-11-10
US20160330445A1 (en) 2016-11-10
EP3292687A4 (en) 2019-07-03
CN107810632B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN107810632A (zh) 具有降低代价的块分割和细化的帧内模式选择的帧内预测处理器
JP6675289B2 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
CN105847792B (zh) 运动图像编码装置以及图像编码方法
JP6091583B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法および符号化データ
CN100566426C (zh) 视频编码/解码的方法和设备
CN106067979B (zh) 用于对图像进行解码的装置
CN104320666B (zh) 图像处理设备和方法
JP2018157580A (ja) 映像符号化単位に係わるイントラ予測モード決定方法及びその装置、並びに映像復号化単位に係わるイントラ予測モード決定方法及びその装置
CN109417623A (zh) 视频编码的色度分量的增强帧内预测的方法与装置
CN103248895B (zh) 一种用于hevc帧内编码的快速模式估计方法
CN103179403A (zh) 对视频编码的方法和设备以及对视频解码的方法和设备
CN108462874A (zh) 运动图像编码装置以及运动图像解码装置
CN102077598A (zh) 用于视频编码器中的计算有效的帧内模式预测的设备和方法
CN102396231A (zh) 图像处理设备及方法
CN110062228A (zh) 基于wmse的360度视频快速帧内预测算法
JP2006157214A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant