CN117044196A - 编码设备和方法 - Google Patents

Abstract

用于对输入图像的各块进行编码处理的编码设备包括：编码部件，用于使用帧间预测模式、帧内预测模式和多参考预测模式之一对各块执行编码处理；输出部件，用于输出编码处理的结果作为编码数据；以及计算部件，用于使用预定函数来计算在以所述帧间预测模式对块进行编码的情况下的第一编码成本、以及在以所述帧内预测模式对块进行编码的情况下的第二编码成本，其中，在第一编码成本和第二编码成本之间的差等于或小于阈值的情况下，编码部件使用多参考预测模式执行编码处理，并且在该差大于阈值的情况下，编码部件使用具有第一编码成本和第二编码成本中的较小的一者的预测模式执行编码处理。

Description

编码设备和方法

技术领域

本发明涉及编码设备和方法，并且更特别地涉及预测编码技术。

背景技术

为了高效传输、记录和再现运动图像，使用用于对运动图像数据进行压缩和编码的运动图像编码设备以及用于对运动图像数据进行解码和解压缩的运动图像解码设备。作为运动图像编码方法，目前主要使用H.264/AVC(Advanced Video Coding，高级视频编码)和H.265/HEVC(High efficient Video Coding，高效视频编码)，这两者利用减少了运动图像数据的空间和时间冗余度的混合编码。此外，作为下一代的运动图像编码方法，正在进行H.266/VVC(Versatile Video Coding，通用视频编码)的国际标准化(参见非专利文献1)。

在该运动图像编码方法中，一个画面被分割成被称为CU(编码单元)的小块，并且对各块进行编码/解码处理。此外，在这样的视频编码方法中，通常基于通过对输入图像进行编码/解码而获得的局部解码图像来生成预测图像，并且对通过从该输入图像中减去该预测图像而获得的预测误差(有时被称为“差分图像”或“残差图像”)进行编码。可以选择帧间预测和帧内预测作为用于生成预测图像的方法。

在帧间切片(inter-slicing)中，通常通过将使用基于预测误差值和预测误差的编码量的成本函数所获得的成本值(编码成本)进行比较来确定在编码中使用帧内预测和帧间预测中的哪一个。这里，由于通过帧内预测和帧间预测所获得的预测图像不同，因此如果通过帧内预测和帧间预测所编码的块在要编码的图像的画面中彼此相邻，则可以将块的预测图像之间的差在视觉上识别为图像质量的差。通常，人们具有趋于注意平坦区域中的变化的视觉特性，因此在图像的平坦区域中，由于上述预测图像的差所导致的通过帧内预测和帧间预测所编码的块之间的图像质量的差更明显，并且可以被认为是图像质量的劣化。

为了解决该问题，专利文献1提出了如下技术。即，对成本值进行校正，使得指示各块的平坦度的活动越低，帧内预测模式越不可能被选择，从而防止通过帧内预测和帧间预测所编码的块在图像的平坦部分中彼此相邻。

引文列表

专利文献

专利文献1：日本特开2006-094081

非专利文献

非专利文献1："Versatile Video Coding(Draft 10)",JVET-S2001-vH,JointVideo Experts Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,2020

非专利文献2："Algorithm description for Versatile Video Coding andTest Mode 10(VTM10)",JVET-S2002-v1,Joint Video Experts Team(JVET)of ITU-T SG16WP 3and ISO/IEC JTC 1/SC 29/WG 11,2020

发明内容

发明要解决的问题

然而，专利文献1中描述的技术并未完全防止帧内预测和帧间预测的块彼此相邻。换句话说，即使使用专利文献1中描述的技术，帧内预测和帧间预测的块也可能根据图像的平坦度而彼此相邻。在这种情况下，帧内预测和帧间预测的块之间的图像质量的差可以被认为是图像质量的劣化。

本发明是考虑了上述问题而做出的，并且旨在使得在使用不同预测图像来编码一个图像的情况下由于预测图像的差所导致的图像质量劣化不明显。

用于解决问题的方案

为了实现以上目的，提供了一种编码设备，用于将输入图像分割成块并对所述输入图像的各块进行编码处理，所述编码设备包括：编码部件，用于使用如下预测模式之一对各块执行编码处理：帧间预测模式，用于通过对块进行帧间预测来生成帧间预测图像，并且对该块与所述帧间预测图像之间的差进行编码，帧内预测模式，用于通过对块进行帧内预测来生成帧内预测图像，并且对该块与所述帧内预测图像之间的差进行编码，以及多参考预测模式，用于通过将从块生成的帧间预测图像和帧内预测图像进行合成来生成多预测图像，并且对该块与所述多预测图像之间的差进行编码；输出部件，用于输出所述编码处理的结果作为编码数据；以及计算部件，用于使用预定函数来计算在以所述帧间预测模式对块进行编码的情况下的第一编码成本、以及在以所述帧内预测模式对块进行编码的情况下的第二编码成本，其中，在所述第一编码成本与所述第二编码成本之间的差等于或小于阈值的情况下，所述编码部件使用所述多参考预测模式对块执行所述编码处理，以及在所述第一编码成本与所述第二编码成本之间的差大于所述阈值的情况下，所述编码部件使用具有所述第一编码成本和所述第二编码成本中的较小的一者的预测模式对块执行所述编码处理。

发明的效果

根据本发明，可以使得在使用不同预测图像来编码一个图像的情况下由于预测图像的差所导致的图像质量劣化不明显。

从下面结合附图进行的描述中，本发明的其他特征和优点将是清楚的。注意，在整个附图中相同附图标记表示相同或相似的组件。

附图说明

并入说明书中并构成说明书的一部分的附图示出本发明的实施例，并且与说明书一起用于说明本发明的原理。

图1是示出根据本发明实施例的图像编码设备的配置的框图。

图2是示出帧内预测模式的类型(模式编号)的示意图。

图3是示出根据第一实施例的运动补偿单元的操作的流程图。

图4是示出根据第一实施例的多参考预测单元中的权重系数的确定方法的流程图。

图5是示出根据第一实施例的特征检测单元的内部配置的示例的框图。

图6是示出根据第一实施例的预测模式选择单元中的预测模式确定方法的流程图。

图7A是示出HDR记录时的伽玛曲线的示例的图。

图7B是示出HDR显示时的伽玛曲线的示例的图。

图8是示出根据第二实施例的特征检测单元的内部配置的示例的框图。

图9是示出根据第二实施例的预测模式选择单元中的预测模式确定方法的流程图。

图10是示出根据第一实施例的变型例的预测模式选择单元中的预测模式确定方法的流程图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例并不旨在限制所要求保护的本发明的范围。在实施例中描述了多个特征，但是不限制为需要所有这样的特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，对相同或类似的配置给出相同的附图标记，并且省略其冗余描述。

[第一实施例]

图1是示出根据本实施例的用于进行预测编码的图像编码设备100的配置的框图。图像编码设备100例如可以布置在摄像设备中所包含的图像处理引擎中。

帧缓冲器101存储要编码的输入图像，并将所需块大小的像素的图像数据输出到加法器102、帧内预测单元112、运动补偿单元114和特征检测单元116。

加法器102生成从帧缓冲器101输出的图像数据和从稍后描述的预测模式选择单元117输出的预测图像数据之间的差分图像数据，并将该差分图像数据输出到正交变换单元103。

正交变换单元103对该差分图像数据进行诸如离散余弦变换(DCT)和离散正弦变换(DST)等的正交变换，生成变换系数，并将该变换系数输出到量化单元104。

量化单元104根据量化控制单元106所输出的量化步长大小(或量化参数)对从正交变换单元103输出的变换系数进行量化，并将结果输出到熵编码单元105和逆量化单元107。

熵编码单元105对量化后的变换系数、运动矢量和解码处理所需的参数等进行可变长度编码，将它们格式化为预定格式并作为编码流输出。此外，熵编码单元105针对各块计算生成编码量，并将该生成编码量输出到量化控制单元106。

量化控制单元106根据从熵编码单元105输出的生成编码量和预设的目标编码量来确定各块的量化步长大小和量化参数Qp，并将该各块的量化步长大小和量化参数Qp输出到量化单元104和预测模式选择单元117。

逆量化单元107对从量化单元104输出的量化变换系数进行逆量化，生成变换系数，并将该变换系数输出到逆正交变换单元108。

逆正交变换单元108将正交变换单元103所应用的正交变换的逆变换应用于从逆量化单元107输出的变换系数，生成差分图像数据，并将该差分图像数据输出到加法器109。

加法器109将逆正交变换单元108所生成的差分图像数据和从稍后将描述的预测模式选择单元117输出的预测图像数据相加，以生成局部解码的参考图像数据，并将该参考图像数据输出到参考帧缓冲器110和环路滤波器111。

环路滤波器111包括解块滤波器、自适应环路滤波器等，从自加法器109输出的参考图像数据中去除块噪声，并将结果输出到参考帧缓冲器110。注意，可以将从加法器109输出的参考图像数据在不会如上所述经过环路滤波器111的情况下存储在参考帧缓冲器110中。换句话说，可以省略环路滤波器111所进行的滤波处理。

参考帧缓冲器110存储所供给的参考图像数据，并在预定的定时将所存储的参考图像数据输出到帧内预测单元112和运动补偿单元114。

帧内预测单元112使用从帧缓冲器101输出的编码对象块的图像数据和从参考帧缓冲器读出的编码对象块周围的块的参考图像数据来进行帧内预测。

这里，将参考图2描述可由帧内预测单元112选择的帧内预测模式。

图2是示出帧内预测模式的类型(模式编号)的图。帧内预测单元112可以从平面预测(模式编号0)、DC预测(模式编号1)和65个类型的方向预测(模式编号2至66)中选择帧内预测模式。

此外，帧内预测单元112在帧内预测模式中，选择具有根据用于指示编码效率的成本函数的最小成本值的帧内预测模式。可认为各种函数作为成本函数，并且在本实施例中使用下式(1)作为代表式。

IntraCost ＝ SATD + Qp × Mdcost … (1)

在式(1)中，IntraCost表示用于指示帧内预测模式中的编码效率的成本值，并且SATD表示通过取要编码的输入图像数据与参考图像数据之间的差、对所获得的差数据应用哈达玛变换(Hadamard transform)、并取变换后的差数据的绝对差之和(sum of absolutedifferences)而获得的值。Qp表示在量化单元104中使用的量化参数，并且Mdcost表示与在帧内预测模式中获得的编码量相对应的成本值。

帧内预测单元112使用利用式(1)所选择的帧内预测模式来生成用于帧内预测的预测图像。另外，帧内预测单元112将所选择的帧内预测模式、在应用所选择的帧内预测模式时的成本值、以及通过帧内预测所生成的预测图像数据(帧内预测图像)输出到多参考预测单元115和预测模式选择单元117。

运动信息存储器113是用于暂时保持从稍后将描述的运动补偿单元114输出的运动矢量的存储器。运动信息存储器113还可以保持位于编码对象块周围的块的运动矢量、以及已经编码的一个或多于一个帧的各个块的运动矢量。保持在运动信息存储器113中的运动矢量的信息被稍后将描述的运动补偿单元114参考。

运动补偿单元114从如下两个模式中选择最佳运动矢量：用于新搜索运动矢量的帧间模式、以及用于从已经编码的块的运动矢量候选中选择最佳运动矢量的合并模式(merge mode)。

这里，将使用图3说明运动补偿单元114的操作。

在步骤S301中，运动补偿单元114使用从帧缓冲器101输出的编码对象块的图像数据和从参考帧缓冲器110读出的参考图像数据，以搜索帧间模式中的最佳运动矢量。更具体地，运动补偿单元114搜索具有使用指示编码效率的成本函数所计算出的最低成本值的运动矢量。虽然可以设想到各种函数作为成本函数，但在该实施例中，使用式(2)作为代表性的成本函数。

InterCost ＝ SATD + Qp × Mvcost … (2)

在式(2)中，InterCost表示用于指示帧间模式中的编码效率的成本值。SATD表示通过取要编码的输入图像数据和在应用了运动矢量之后的参考图像数据之间的差、对所获得的差数据应用哈达玛变换、并且取变换后的差数据的绝对差之和而获得的值。Qp是在量化单元104中使用的量化参数，并且Mvcost是与运动矢量的编码量相对应的成本值。

运动补偿单元114暂时保持使用式(2)所确定的运动矢量的信息和在应用该运动矢量时所获得的成本值。

在步骤S302中，运动补偿单元114从已经存储在运动信息存储器113中的多个运动矢量候选中选择合并模式中的最佳运动矢量。更具体地，运动补偿单元114将式(2)应用于多个运动矢量候选中的各个运动矢量候选，并且选择具有最低成本值的运动矢量。运动补偿单元114还计算用于指示运动矢量候选的索引值(合并索引)。

运动补偿单元114暂时保持该合并索引和在应用由该合并索引指示的运动矢量时所获得的成本值。

在步骤S303中，运动补偿单元114将步骤S301中所计算出的帧间模式中的成本值与步骤S302中所计算出的合并模式中的成本值进行比较，并且选择具有最低成本值的模式。

在步骤S304中，运动补偿单元114使用所选择的模式中的运动矢量和从参考帧缓冲器110读出的参考图像数据来生成用于帧间预测的预测图像数据。在合并模式中，可以通过参考在步骤S302中计算出的合并索引来确定运动矢量。

运动补偿单元114向多参考预测单元115和预测模式选择单元117输出用于指示是否选择了合并模式的标志(合并标志)、与运动矢量或合并索引有关的信息、所选择的模式中的成本值、以及所生成的用于帧间预测的预测图像数据(帧间预测图像)。

多参考预测单元115将从帧内预测单元112输出的用于帧内预测的预测图像数据和从运动补偿单元114输出的用于帧间预测的预测图像数据进行合成，以生成新的预测图像数据。

作为用于合成用于帧内预测的预测图像数据和用于帧间预测的预测图像数据的技术，非专利文献2公开了被称为合成帧间和帧内预测(CIIP)的技术。用于帧内预测的预测图像数据和用于帧间预测的预测图像数据的合成方法也基于CIIP。另一方面，非专利文献2描述了利用PLANAR预测(平面预测)来应用帧内预测图像、以及利用合并模式来应用帧间预测图像等等，作为CIIP的应用条件。然而，本实施例中的用于帧内预测的预测图像数据和用于帧间预测的预测图像数据的合成方法不必限于这些条件，并且也可以对用于帧内预测的预测图像数据应用方向预测等。

在CIIP中，逐个像素地混合用于帧内预测和帧间预测的预测图像，使得可以进一步降低块之间的预测图像的差。基于此，在本实施例中，将CIIP应用于存在于帧内预测块和帧间预测块可能彼此相邻的区域中的块，并且诸如图像的平坦区域等的块之间的图像质量的差可能是明显的。这减少了通过使用不同预测模式生成相邻块的预测图像而导致的图像质量劣化。

接下来，下面将描述多参考预测单元115所进行的用于帧内预测的预测图像数据和用于帧间预测的预测图像数据的合成方法的细节。

多参考预测单元115使用下式(3)针对各个像素将通过帧内预测的预测图像数据和通过帧间预测的预测图像数据进行合成。

Pciip＝((4-wt)×Pinter+wt×Pintra+2)/4…(3)

在式(3)中，Pintra表示用于帧内预测的预测图像数据的像素值，Pinter表示用于帧间预测的预测图像数据的像素值，并且Pciip是将这两者合成后的预测图像数据的像素值。wt表示用于指示用于帧内预测和帧间预测的像素值的比例的权重系数，并且这里wt可以取从1至3的整数值。

这里，将参考图4描述在多参考预测单元115中使用的权重系数wt的确定方法。

在步骤S401中，多参考预测单元115将isIntraTop和isIntraLeft初始化为0，并且将权重系数wt初始化为1。isIntraTop是指示与编码对象块在上方向上相邻的编码块的预测模式是否是帧内预测的标志。此外，isIntraLeft是指示与编码对象块在左方向上相邻的编码块的预测模式是否是帧内预测的标志。注意，这些编码块的预测模式由稍后描述的预测模式选择单元117来保持，并且多基准预测部115能够适当地参考该信息。

在步骤S402中，多参考预测单元115判断与编码对象块在上方向上相邻的编码块的预测模式是否是帧内预测。如果在上方向上相邻的编码块的预测模式是帧内预测(步骤S402中的“是”)，则多参考预测单元115在步骤S403中将isIntraTop设置为1。如果在上方向上相邻的编码块的预测模式不是帧内预测(步骤S402中的“否”)，则多参考预测单元115使处理前进到步骤S404。

在步骤S404中，多参考预测单元115判断与编码对象块在左方向上相邻的编码块的预测模式是否是帧内预测。如果在左方向上相邻的编码块的预测模式是帧内预测(步骤S404中的“是”)，则多参考预测单元115在步骤S405中将isIntraLeft设置为1。如果在左方向上相邻的编码块的预测模式不是帧内预测(步骤S404中的“否”)，则多参考预测单元115使处理前进到步骤S406。

在步骤S406至S410中，多参考预测单元115根据isIntraTop和isIntraLeft之和来确定权重系数wt的值。如果isIntraTop和isIntraLeft之和为2(步骤S406中的“是”)，则处理进行到步骤S407，在步骤S407中，多参考预测单元115将权重系数wt设置为3。如果isIntraTop和isIntraLeft之和为1(步骤S406中的“否”且步骤S408中的“是”)，则处理进行到步骤S409，在步骤S409中，多参考预测单元115将权重系数wt设置为2。如果isIntraTop和isIntraLeft之和为0(步骤S406中为否且步骤S408中为否)，则处理进行到步骤S410，在步骤S410中，多参考预测单元115将权重系数wt设置为1。

步骤S406至S410的处理根据围绕编码对象块的块的预测模式而自适应地改变在合成预测图像时的用于帧内预测的预测图像数据的像素值与用于帧间预测的预测图像数据的像素值之间的合成百分比。结果，在稍后将描述的预测模式选择单元117中选择多参考预测作为预测模式的情况下，可以减少由于编码对象块及其周围块的预测图像彼此不同而导致的图像质量劣化。

注意，用于帧内预测的预测图像数据和用于帧间预测的预测图像数据的合成方法不限于式(3)和图4所示的示例。例如，多参考预测单元115可以使用下面的式(4)来进行合成。

Pciip＝((8-wt)×Pinter+wt×Pintra+4)/8…(4)

作为另一示例，可以根据编码对象块中各个像素的像素位置，针对各个像素自适应地改变权重系数wt。此外，可以根据从帧内预测单元112输出的帧内预测模式(DC预测、PLANAR预测等)和编码对象块的块大小等来自适应地改变权重系数wt。

多参考预测单元115使用利用式(3)所合成的预测图像数据(多预测图像)以计算基于用于指示编码效率的成本函数的成本值。可以设想到各种函数作为成本函数，但在该实施例中，使用式(5)作为代表性的成本函数。

CiipCost＝SATD+Qp×Mpcost…(5)

在式(5)中，CiipCost表示用于指示多参考预测中的编码效率的成本值。SATD表示通过取要编码的输入图像数据与合成后的预测图像数据之间的差、对所获得的差数据应用哈达玛变换，并取变换后的差数据的绝对差之和而获得的值。Qp是在量化单元104中使用的量化参数，并且Mpcost是与多参考预测中所需的参数的编码量相对应的成本值。在多参考预测中所需的参数包括从帧内预测单元112输出的帧内预测模式、从运动补偿单元114输出的合并标志、合并索引或运动矢量。

多参考预测单元115将使用式(5)所计算出的成本值和合成后的预测图像数据输出到预测模式选择单元117。

特征检测单元116生成用于指示编码对象块是否属于图像的平坦区域的平坦区域标志，并将该平坦区域标志输出到预测模式选择单元117。这里，将参考图5描述特征检测单元116中的平坦区域标志的生成方法。

图5是示出特征检测单元116的内部配置的示例的框图。

平坦判断单元501获取编码对象块的输入图像，并生成用于指示编码对象块是否平坦的标志(平坦标志)。可设想到用于判断块是否平坦的各种方法。在该实施例中，平坦度被定义为编码对象块的像素值的方差，并且如果平坦度低于预定阈值，则判断为块是平坦的。在本实施例中，如果判断为块是平坦的，则标志值为“1”，并且如果判断为块是不平坦的，则标志值为“0”。

平坦标志缓冲器502暂时保持从平坦判断单元501输出的平坦标志。平坦标志缓冲器502还保持多个编码块的平坦标志，并且稍后将描述的平坦区域判断单元503可以适当地参考该信息。本实施例中的平坦标志缓冲器502至少保持与编码对象块在上方向、左上方向和左方向上相邻的编码块的平坦标志。

平坦区域判断单元503基于保持在平坦标志缓冲器502中的编码对象块的平坦标志和多个编码块的平坦标志来判断编码对象块是否属于图像的平坦区域。可以设想到各种方法作为判断编码对象块是否属于平坦区域的方法。在本实施例中，如果在上方向、左上方向和左方向上相邻的编码块的平坦标志的标志值全部都是“1”，则判断为编码对象块属于平坦区域。在本实施例中，如果判断为块属于平坦区域，则将标志值设置为“1”，并且如果判断为块不属于平坦区域，则将标志值设置为“0”。

注意，判断编码对象块是否属于平坦区域的方法不限于使用图5所描述的示例。例如，特征检测单元116可以仅假设如果编码对象块的平坦度低于预定阈值，则该编码对象块属于平坦区域。可替代地，特征检测单元116可以在开始帧的编码处理之前，确定该帧的各块的平坦标志并将该平坦标志存储在平坦标志缓冲器502中。这使得平坦区域判断单元503能够通过不仅参考与编码对象块相邻的块的平坦标志、还参考远离该编码对象块的块的平坦标志，来提高编码对象块是否属于平坦区域的判断精度。

预测模式选择单元117选择帧内预测、帧间预测和多参考预测其中之一。这里，使用图6说明预测模式选择单元117中的预测模式的确定方法。

在步骤S601中，预测模式选择单元117判断从特征检测单元116输出的平坦区域标志是否为0，以及/或者判断从量化控制单元106获得的编码对象块的量化步长大小Qstep是否小于阈值Thqstep。

此后，在步骤S601之后的步骤S602至S608中，预测模式选择单元117重视编码效率，并且始终选择具有最低成本值的预测模式。另一方面，在步骤S609至S613中，预测模式选择单元117重视图像质量劣化的减少，并且不是始终选择具有最低成本值的预测模式，使得由于块之间的不同预测图像所导致的图像质量的劣化不明显。也就是说，步骤S601的判断式意味着预测模式选择单元117选择强调编码效率和图像质量劣化减少中的哪一个。

在本实施例中，在编码对象块所属的区不平坦的情况下和/或在量化步长大小为小的情况下，判断为由于块之间的不同预测图像而导致的图像质量劣化的程度小，并且在强调编码效率的情况下进行步骤S602至S608的处理。相反地，在编码对象块所属的区平坦并且量化步长大小为大的情况下，在强调减少图像质量劣化的情况下进行S609至S613的处理。注意，步骤S601中的判断方法不限于这里示出的示例。例如，预测模式选择单元117可以使用平坦区域标志或量化步长大小来进行判断。

在步骤S601中，如果平坦区域标志为0和/或量化步长大小Qstep小于阈值Thqstep，则预测模式选择单元117使处理前进到步骤S602。

在步骤S602中，预测模式选择单元117将从帧内预测单元112输出的成本值IntraCost和从运动补偿单元114输出的成本值InterCost进行比较。

如果InterCost大于IntraCost(步骤S602中的“是”)，则预测模式选择单元117将IntraCost与从多参考预测单元115输出的成本值CiipCost进行比较(步骤S603)。如果IntraCost大于CiipCost(步骤S603中的“是”)，则预测模式选择单元117选择多参考预测作为预测模式(步骤S604)。如果IntraCost小于或等于CiipCost(步骤S603中的“否”)，则预测模式选择单元117选择帧内预测作为预测模式(步骤S605)。

此外，在步骤S602中，如果InterCost小于或等于IntraCost(步骤S602中的“否”)，则预测模式选择单元117将InterCost与CiipCost进行比较(步骤S606)。如果InterCost大于CiipCost(步骤S606中的“是”)，则预测模式选择单元117选择多参考预测作为预测模式(步骤S607)。如果InterCost小于或等于CiipCost(步骤S606中的“否”)，则预测模式选择单元117选择帧间预测作为预测模式(步骤S608)。

另一方面，在步骤S601中，如果从特征检测单元116输出的平坦区域标志是1，并且量化步长大小Qstep等于或大于阈值Thqstep，则预测模式选择单元117使处理前进到步骤S609。

在步骤S609中，预测模式选择单元117将InterCost与IntraCost+α的值进行比较。α是可以任意设置的帧内预测的成本值的校正值。

通常，在帧内预测和帧间预测的成本值大致相同的区中，与帧间预测中的图像质量劣化相比，帧内预测中的图像质量劣化趋于更明显。因此，在本实施例中，如果编码对象块属于平坦区域，则通过校正帧内预测的成本值来优先选择帧间预测。结果，减少了帧内预测的块和帧间预测的块彼此相邻的情况。

在该实施例中，如上所述通过加上α来校正成本值，但是也可以通过将成本值减去、乘以或除以任意常数来校正成本值。此外，成本值的校正方法不限于如上所述的使用α的方法，并且可以采用任何方法，只要该方法使得能够优先选择帧间预测即可。

如果InterCost大于IntraCost+α(步骤S609中的“是”)，则预测模式选择单元117选择帧内预测作为预测模式(步骤S610)。

如果InterCost等于或小于IntraCost+α(步骤S609中的“否”)，则预测模式选择单元117判断InterCost和IntraCost之间的差的绝对值是否等于或小于常数c(步骤S611)。这里，将描述在步骤S611中使用的判断式的细节。

如上所述，步骤S609中的判断旨在优先选择帧间预测。另一方面，根据图像的平坦度，仍然存在帧内预测的块和帧间预测的块经常变得彼此相邻、并且步骤S609的判断结果频繁切换的区域。这里，在步骤S609的判断结果频繁改变的区域中，假设在步骤S609中使用的判断式中InterCost和IntraCost+α的值彼此接近。考虑到以上情况，在本实施例中，使用下面的表达式(6)来检测步骤S609中的判断结果频繁改变的区域。

|InterCost-(IntraCost+α)|≤β…(6)

β是用于检测InterCost和IntraCost+α的值之间的接近度的常数。这里，假设α是正的常数，通过修改表达式(6)获得下面的表达式(7)。

|InterCost-IntraCost|≤β+α＝c…(7)

也就是说，在本实施例中，在步骤S611中编码对象块的InterCost和IntraCost之间的差的绝对值等于或小于常数c的情况下，判断为块存在于帧内预测的块和帧间预测的块趋于彼此相邻的区域中。

注意，常数c可以任意设置，并且可以使用图像编码设备的目标比特率、量化单元104中使用的量化参数Qp的值、或图像的特性而自适应地改变。例如，可以根据平坦判断单元501所计算出的平坦度等针对各块改变常数c的值。

如果InterCost和IntraCost之间的差的绝对值为c以下(步骤S611中的“是”)，则预测模式选择单元117选择多参考预测作为预测模式(步骤S612)。也就是说，在本实施例中，将多参考预测应用于存在于帧内预测的块和帧间预测的块趋于彼此相邻的区域中的块。在使用多参考预测的情况下，由于混合了帧内预测的预测图像和帧间预测的预测图像，并且块之间的预测图像的差变小，因此可以减少由于使用块之间的不同预测模式所生成的预测图像而导致的图像质量劣化。

在多参考预测中，需要对与用于帧内预测和帧间预测这两者的预测模式相关的参数(帧内预测模式、运动矢量等)进行编码，存在与帧间预测相比在多参考预测中与参数相关的编码量将更大的风险。因此，在步骤S611的判断中，预测模式选择单元117还可以进行从运动补偿单元114输出的合并标志的值是否为1的判断。结果，在选择了多参考预测的情况下，不需要对与运动矢量相关的参数进行编码，并且可以抑制与参数相关的编码量的增加。

如果InterCost和IntraCost之间的差的绝对值不等于或小于常数c(步骤S611中的“否”)，则预测模式选择单元117选择帧间预测作为预测模式(步骤S613)。

根据如上所述选择的预测模式来生成预测图像。然后，对编码对象块的图像数据和预测图像之间的差进行编码，并且输出编码结果作为编码流(编码数据)。

在图6所示的示例中，如果区域处于图像的平坦部分中并且量化步长大小为大，则将该区域检测为帧内预测的块和帧间预测的块趋于彼此相邻的区域，并且在该区域中应用优先图像质量劣化的减少的预测模式。另一方面，根据图像编码设备的目标比特率，存在无论图像的平坦度如何帧内预测的块和帧间预测的块之间的边界都明显的情况。在这种情况下，预测模式选择单元117可以不进行步骤S601的判断，并且可以始终检测帧内预测的块和帧间预测的块趋于彼此相邻的区域，并将多参考预测应用于存在于所检测到的区域中的块。

另外，无论帧内预测的块和帧间预测的块之间的边界是否明显，都可以针对所有块进行从步骤S609以后的处理。

如上所述，根据第一实施例，在使用不同预测图像对图像进行编码的情况下，可以使由于预测图像的差而导致的图像质量劣化不明显。

另外，在帧内预测的块和帧间预测的块之间的边界明显的情况下，诸如在编码对象块所属的区域平坦并且量化步长大小为大的情况下，预测模式选择单元117在强调减少图像质量劣化的情况下进行操作。另一方面，在帧内预测的块和帧间预测的块之间的边界不明显的情况下，预测模式选择单元117在强调编码效率的情况下进行操作。这使得与传统技术相比，能够在不损害编码效率的情况下减少由于块之间的预测图像的差而导致的图像质量劣化。

[变形例]

接下来，将参考图10描述在变形例中的生成编码数据的方法。

如上参考图3所述，运动补偿单元114计算在对编码对象块应用帧间预测模式的情况下的成本值(步骤S1001)。此外，如上参考图2所述，帧内预测单元112计算在对编码对象块应用帧内预测模式的情况下的成本值(步骤S1002)。

然后，如在步骤S611中那样，预测模式选择单元117判断在步骤S1001中计算出的帧间预测模式的成本值与在步骤S1002中计算出的帧内预测模式的成本值之间的差的绝对值是否为常数c以下(步骤S1003)。作为判断的结果，如果差的绝对值是常数c以下(步骤S1003中的“是”)，则预测模式选择单元117选择多参考预测模式(步骤S1004)。

另一方面，作为判断的结果，如果差的绝对值大于常数c(步骤S1003中的“否”)，则预测模式选择单元117计算在对编码对象块应用多参考预测模式的情况下的成本值(步骤S1005)。预测模式选择单元117将分别在步骤S1001、S1002和S1005中计算出的帧间预测模式、帧内预测模式和多参考预测模式的成本值进行比较，并且如果多参考预测模式的成本值最低(步骤S1006中的“是”)，则选择多参考预测模式(步骤S1004)。

如果多参考预测模式的成本值不是最低(步骤S1006中的“否”)并且帧间预测模式的成本值最低(步骤S1007中的“是”)，则选择帧间预测模式(步骤S1008)。如果多参考预测模式的成本值不是最低(步骤S1006中的“否”)并且帧间预测模式的成本值不是最低(步骤S1007中的“否”)(即，如果帧内预测模式的成本值最低)，则选择帧内预测模式(步骤S1009)。

然后，如果在步骤S1004中选择了多参考预测模式，则多参考预测单元115将从帧内预测单元112输出的用于帧内预测的预测图像数据和从运动补偿单元114输出的用于帧间预测的预测图像数据合成，并且生成用于多参考预测的预测图像数据(步骤S1010)。可替代地，如果在步骤S1008中选择了帧间预测模式，则运动补偿单元114如步骤S304中那样生成用于帧间预测的预测图像数据(步骤S1011)。可替代地，如果在步骤S1009中选择了帧内预测模式，则帧内预测单元112生成用于帧内预测的预测图像数据(步骤S1012)。由预测模式选择单元117将步骤S1011、S1011或S1012中所生成的预测图像数据输出到加法器102。

然后，加法器102生成从帧缓冲器输出的要编码的块图像数据与预测图像数据之间的差分图像数据，并如上所述使用各个单元对该差分图像数据进行编码(步骤S1013)，并且输出编码结果作为编码流(步骤S1014)。

在开始步骤S1001的处理之前，与步骤S601类似，预测模式选择单元117可以判断从特征检测单元116输出的平坦区域标志是否为0和/或从量化控制单元106获得的编码对象块的量化步长大小Qstep是否小于阈值Thqstep，并且如果平坦区域标志为1和/或量化步长大小Qstep等于或大于阈值Thqstep，可以执行步骤S1001以后的处理。可替代地，在输入图像的动态范围是等于或大于预定值的高动态范围的情况下，可以执行从步骤S1001以后的处理。

[第二实施例]

接下来，将描述本发明的第二实施例。

在诸如HEVC和VVC等的最新视频编码方法中，可以对以10位、12位或其他多位HDR(High Dynamic Range，高动态范围)记录的运动图像或者Log记录的运动图像进行编码。与由诸如BT.709等的标准定义的伽玛曲线不同，Log记录的运动图像是使用由数字照相机等的制造商唯一定义的伽玛曲线拍摄的运动图像，使得能够在更高的动态范围中进行记录。

HDR记录的或Log记录的运动图像(高动态范围图像)是在将图像输出到显示器时使用所设置的伽玛曲线对这些图像进行转换之后显示的。图7A示出HDR记录时的输入亮度值(拍摄时的实际明度)和输出像素值(编码后的像素值)之间的关系。横轴示出输入亮度值，纵轴示出输出像素值，并且由伽玛曲线701来定义输入值和输出值之间的关系。在输入值小的范围中，曲线在垂直方向上陡峭，并且针对输入值的范围分配有许多像素值。另一方面，在输入值大的范围中，曲线变得平缓，并且针对输入值的范围而分配的像素值的数量小。通过以这种方式将输出像素值分配给输入亮度值，使得能够以高动态范围进行记录。

图7B示出HDR显示时的输入值(编码后的像素值)和输出亮度值(显示器上所显示的明度)之间的关系。横轴示出输入像素值，并且纵轴示出实际显示的输出亮度值，并且由伽玛曲线702来定义输入值和输出值之间的关系，其中该伽玛曲线702是与伽玛曲线701相反的关系。在输入值小的范围中，曲线在垂直方向上平缓，并且所显示的明度相对于输入值的范围的变化量小。另一方面，在输入值大的范围中，曲线变得陡峭，并且所显示的明度相对于输入值的范围的变化量大。通过以这种方式将输出亮度值分配给输入像素值，能够以正确的明度显示HDR记录的运动图像。

如上所述，与以标准动态范围(SDR)记录的运动图像相比，在HDR记录或Log记录的运动图像中，显示在显示器上的明度的变化量相对于编码后的像素值的变化量更大。换句话说，编码后的图像质量的劣化被放大并显示在显示器上。另外，这种趋势在具有高亮度值的区域(被称为“高亮度区域”或“明亮区域”)中变得更明显，并且作为本发明要解决的问题的由于在块之间不同的预测图像而导致的图像质量劣化也在该区域中更明显。

在第二实施例中，这样的HDR记录或Log记录的运动图像(为了方便被称为“HDR图像”)是编码对象，并且旨在减少在HDR图像的明亮区域中出现的图像质量劣化。注意，在第二实施例中，将主要描述与第一实施例的差异，并且将省略与第一实施例相同的部分的描述。

第二实施例中的图像编码设备的总体配置与图1所示的相同，但是特征检测单元116的配置与第一实施例中参考图5描述的配置不同。

图8是示出根据第二实施例的特征检测单元116的内部配置的示例的框图。如第一实施例中那样，第二实施例中的特征检测单元116包括用于判断编码对象块是否属于图像的平坦区域的平坦判断单元501、平坦标志缓冲器502和平坦区域判断单元503。此外，特征检测单元116具有用于判断编码对象块是否属于图像的明亮区域的高亮度判断单元804、高亮度标志缓冲器805和高亮度区域判断单元806。

注意，平坦判断单元501、平坦标志缓冲器502和平坦区域判断单元503以与第一实施例相同的方式进行操作，因此这里省略其描述。

高亮度判断单元804获取编码对象块的输入图像，并且生成用于指示编码对象块是否具有高亮度的标志(高亮度标志)。可设想到用于判断亮度是否高的各种方法，并且在本实施例中，计算编码对象块中的像素的亮度值的平均值，并且如果所计算出的平均亮度值大于预定阈值，则判断为亮度高。此外，在本实施例中，如果判断为亮度高，则将标志值设置为“1”，并且如果判断为亮度不高，则将标志值设置为“0”。

高亮度标志缓冲器805暂时保持从高亮度判断单元804输出的高亮度标志。高亮度标志缓冲器805还保持多个编码块的高亮度标志，并且稍后将描述的高亮度区域判断单元806可以适当地参考该信息。本实施例中的高亮度标志缓冲器805至少保持与编码对象块在上方向、左上方向和左方向上相邻的编码块的高亮度标志。

高亮度区域判断单元806基于高亮度标志缓冲器805中所保持的编码对象块的高亮度标志和多个编码块的高亮度标志来判断编码对象块是否属于图像的明亮区域。可设想到用于判断编码对象块是否属于明亮区域的各种方法，并且在本实施例中，如果编码对象块的高亮度标志是“1”并且与编码对象块在上方向、左上方向和左方向上相邻的编码块的高亮度标志的标志值全部都是“1”，则判断为编码对象块属于明亮区域。在本实施例中，如果判断为编码对象块属于明亮区域，则标志值为“1”，并且如果判断为编码对象块不属于明亮区域，则标志值为“0”。

注意，判断编码对象块是否属于明亮区域的方法不限于使用图8描述的示例。例如，如果编码对象块的平均亮度值大于预定阈值，则特征检测单元116可以简单地判断为编码对象块属于明亮区域。可替代地，特征检测单元116可以在开始某帧的编码处理之前，确定针对该帧的各块的高亮度标志并将该高亮度标志存储在高亮度标志缓冲器805中。由此，高亮度区域判断单元806不仅可以参考与编码对象块相邻的块的高亮度标志，还可以参考远离编码对象块的块的高亮度标志，从而能够提高编码对象块是否属于明亮区域的判断精度。

以这种方式，特征检测单元116生成平坦区域标志和明亮区域标志，并将该平坦区域标志和明亮区域标志输出到预测模式选择单元117。

图9是示出第二实施例中的预测模式选择单元117中的预测模式确定方法的流程图。对与图6所示相同的处理给出相同的附图标记，并且省略其描述。

图9所示的第二实施例中的处理与图6所示的第一实施例中的处理的不同之处在于，添加了用于判断要编码的运动图像是否是HDR记录或Log记录的运动图像、以及块是否属于明亮区域的处理(步骤S901)。应当注意，预先将与要编码的运动图像是否是HDR记录或Log记录有关的信息从诸如CPU(未示出)等的图像编码设备的控制源发送到图像编码设备。

在步骤S901中，如果要编码的运动图像是HDR记录的或Log记录的运动图像并且如果明亮区域标志是1，则预测模式选择单元117使处理前进到步骤S601。另一方面，在步骤S901中，如果要编码的图像不是HDR记录或Log记录的运动图像和/或如果明亮区域标志不是1，则预测模式选择单元117跳过步骤S601的处理，并使处理前进到步骤S602。

也就是说，如果要编码的运动图像是HDR记录的或Log记录的运动图像、如果编码对象块属于明亮区域和平坦区域、以及如果量化步长大小为大，则预测模式选择单元117重视减少图像质量劣化，并且进行操作使得由于块的预测图像之间的差而导致的图像质量劣化变得不明显(步骤S609至S613)。

另一方面，在除上述以外的情况下，预测模式选择单元117重视编码效率，并且进行操作以始终选择具有最低成本值的预测模式(步骤S602至S608)。

如上所述，根据第二实施例，不仅考虑了编码对象块所属的区域的平坦度和量化步长大小，还考虑了要编码的图像是否是HDR记录或Log记录的运动图像、以及编码对象块是否属于明亮区域，并且选择是优先编码效率还是优先图像质量劣化减少。结果，与传统技术相比，可以在不会在对HDR图像进行编码时损害编码效率的情况下，减少在明亮区域中特别明显的图像质量劣化。

<其他实施例>

本发明可以通过经由网络或存储介质向系统或设备供给用于实现上述实施例的一个或多于一个功能的程序、并使得该系统或设备的计算机中的一个或多于一个处理器读出并执行该程序的处理来实现。本发明还可以通过用于实现一个或多于一个功能的电路(例如，ASIC)来实现。

本发明不限于以上实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了向公众告知本发明的范围，提出所附权利要求书。

本申请要求于2021年3月19日提交的日本专利申请2021-046238和于2022年1月12日提交的日本专利申请2022-003254的权益，其全部内容通过引用并入本文。

Claims (10)

1.一种编码设备，用于将输入图像分割成块并对所述输入图像的各块进行编码处理，所述编码设备包括：

编码部件，其被配置为使用如下预测模式之一对各块执行编码处理：

帧间预测模式，用于通过对块进行帧间预测来生成帧间预测图像，并且对该块与所述帧间预测图像之间的差进行编码，

帧内预测模式，用于通过对块进行帧内预测来生成帧内预测图像，并且对该块与所述帧内预测图像之间的差进行编码，以及

多参考预测模式，用于通过将从块生成的帧间预测图像和帧内预测图像进行合成来生成多预测图像，并且对该块与所述多预测图像之间的差进行编码；

输出部件，其被配置为输出所述编码处理的结果作为编码数据；以及

计算部件，其被配置为使用预定函数来计算在以所述帧间预测模式对块进行编码的情况下的第一编码成本以及在以所述帧内预测模式对块进行编码的情况下的第二编码成本，

其中，在所述第一编码成本与所述第二编码成本之间的差等于或小于阈值的情况下，所述编码部件使用所述多参考预测模式对块执行所述编码处理，以及在所述第一编码成本与所述第二编码成本之间的差大于所述阈值的情况下，所述编码部件使用具有所述第一编码成本和所述第二编码成本中的较小的一者的预测模式对块执行所述编码处理。

2.根据权利要求1所述的编码设备，其中，所述计算部件还使用预定函数来计算在以所述多参考预测模式对块进行编码的情况下的第三编码成本，以及

在所述第一编码成本与所述第二编码成本之间的差大于阈值的情况下，所述编码部件使用具有所述第一编码成本、所述第二编码成本和所述第三编码成本中的最小的一者的预测模式对块执行所述编码处理。

3.根据权利要求1或2所述的编码设备，其中，所述编码部件的编码对象块被包括在平坦区域或高亮度区域中。

4.根据权利要求1至3中任一项所述的编码设备，其中，所述输入图像具有高动态范围。

5.根据权利要求1至4中任一项所述的编码设备，其中，在所述编码处理中使用的量化步长大于预定值。

6.根据权利要求1至5中任一项所述的编码设备，其中，所述多预测图像是通过对所述帧间预测图像和所述帧内预测图像进行加权和合成来生成的。

7.根据权利要求1至6中任一项所述的编码设备，其中，所述编码成本是基于与如下值相对应的绝对差之和、并且基于量化参数和编码量来计算的，其中该值是通过取所述输入图像与在所述差和所述预测图像相加之后被解码的参考图像之间的差、并且对该差进行哈达玛变换而获得的。

8.一种编码方法，用于将输入图像分割成块并对所述输入图像的各块进行编码处理，所述编码方法包括如下步骤：

使用如下预测模式之一对各块执行编码处理：

帧间预测模式，用于通过对块进行帧间预测来生成帧间预测图像，并且对该块与所述帧间预测图像之间的差进行编码，

帧内预测模式，用于通过对块进行帧内预测来生成帧内预测图像，并且对该块与所述帧内预测图像之间的差进行编码，以及

多参考预测模式，用于通过将从块生成的帧间预测图像和帧内预测图像进行合成来生成多预测图像，并且对该块与所述多预测图像之间的差进行编码；

输出所述编码处理的结果作为编码数据；以及

使用预定函数来计算在以所述帧间预测模式对块进行编码的情况下的第一编码成本以及在以所述帧内预测模式对块进行编码的情况下的第二编码成本，

其中，在所述第一编码成本与所述第二编码成本之间的差等于或小于阈值的情况下，使用所述多参考预测模式对块执行所述编码处理，以及在所述第一编码成本与所述第二编码成本之间的差大于所述阈值的情况下，使用具有所述第一编码成本和所述第二编码成本中的较小的一者的预测模式对块执行所述编码处理。

9.一种程序，用于使得计算机用作根据权利要求1至7中任一项所述的编码设备的各个部件。

10.一种计算机可读存储介质，其存储有根据权利要求9所述的程序。