CN110612724B - 使用明亮度信息的量化参数预测 - Google Patents

使用明亮度信息的量化参数预测 Download PDF

Info

Publication number
CN110612724B
CN110612724B CN201880030672.3A CN201880030672A CN110612724B CN 110612724 B CN110612724 B CN 110612724B CN 201880030672 A CN201880030672 A CN 201880030672A CN 110612724 B CN110612724 B CN 110612724B
Authority
CN
China
Prior art keywords
value
delta
lookup table
bitstream
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880030672.3A
Other languages
English (en)
Other versions
CN110612724A (zh
Inventor
浦方君
吕陶然
尹鹏
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN110612724A publication Critical patent/CN110612724A/zh
Application granted granted Critical
Publication of CN110612724B publication Critical patent/CN110612724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提出了一种用于量化参数(QP)预测的方法。在包括QP值的经编码的比特流中，比特流可以包括允许解码器使用基于亮度的QP预测重新构建增量QP值的与QP相关的语法元素，而非简单地在比特流中嵌入所有增量QP值。提供了编码和解码比特流的示例，其中增量QP值可以仅使用来自当前块的预测块的明亮度值的信息来预测，或者可以通过来自其已知的相邻块(例如，来自左边块或上边块)和基础QP值的额外的明亮度信息来预测。

Description

使用明亮度信息的量化参数预测
相关申请的交叉引用
本申请要求2017年3月21日提交的美国临时申请No.62/474,372的权益并且要求其优先权，其公开内容通过引用全文并入本文。
技术领域
本发明总体上涉及图像。更具体地，本发明的实施例涉及用于视频编码和/或解码以及使用明亮度信息预测量化参数的系统和方法。
背景技术
诸如JPEG、AVC(H.264)和HEVC(H.265)的有损压缩方案依赖于量化以减少被认为与人类视觉系统不相关的信息。因此，在编码器中，在图像块(或残差块)被变换至频域后，使用通常指代为QP的量化因子对频域数据进行量化，并且随后进一步利用无损编码方案编码。与每个块相关联的QP值编码化为经编码的比特流的一部分。在接收器中，解码器使用所传输的QP值以将频域数据反量化，并且已反量化的值随后用于重新构建经编码的图像或视频序列的近似值。
现有的图像和视频编码标准已经很好的服务于广播社区，然而，诸如360度虚拟现实图像或高动态范围图像的新内容超出了现有工具的能力。为了改进现有图像和视频编码技术，正如发明人在此所重视的，研发了用于图像量化和预测的改进技术。
本节所描述的方法是可以采用的方法，而不必然是先前已想到或以采用的方法。因此，除非另有说明，不应假定本节所描述的任何方法仅凭借其包括于本节而被认为是现有技术。类似地，除非另有说明，关于一个或多个方法所确认的问题不应被假定为已被本节基础上的任何现有技术所认识到。
发明内容
根据本公开的第一方面，提供了一种用于在图像和/或视频解码器中使用处理器来进行基于亮度的量化参数(QP)预测的方法，该方法可以包括：接收包括与由编码器编码的QP值相关的语法元素的经编码的比特流；在所述比特流中检查表示基于亮度的QP预测是否使能的第一标记，并且在确定基于亮度的QP预测是使能的时：在所述比特流中检查表示定制QP映射查找表是否被包括在所述比特流中的第二标记，其中QP映射查找表将块明亮度值函数映射到增量QP值，并且在检测到定制QP映射查找表被包括时，使用所述比特流中的包括一组QP映射查找表语法参数的一组QP映射查找表语法元素来读取所述定制QP映射查找表；基于所述第二标记的值，选择解码增量QP映射查找表作为默认QP映射查找表或所述定制QP映射查找表；基于所述解码增量QP映射查找表生成增量QP值，其中生成所述增量QP值进一步包括：根据所述比特流中的第三标记的值来确定用于重新构建所述增量QP值的方法，所述第三标记表示基于所述定制QP映射查找表或所述默认QP映射查找表以及所述比特流中的经编码的块中的明亮度值的一个或多个QP预测类型，其中所述一个或多个QP预测类型包括：默认类型，其针对所述第三标记的第一值，其中所述增量QP值是从所述比特流中提取的；第一预测类型，其针对所述第三标记的第二值，其中所述比特流中的用于当前块的增量QP值基于所述解码增量QP映射查找表和用于解码所述当前块的预测块中的明亮度值函数生成；并且第二预测类型，其针对所述第三标记的第三值，其中所述比特流中的用于所述当前块的增量QP值基于所述解码增量QP映射查找表、用于解码所述当前块的所述预测块中的明亮度值函数和所述当前块的一个或多个相邻块中的明亮度值函数生成；并且基于重新构建的增量QP值，通过将所述增量QP值与基本QP值相加来生成QP值以解码所述比特流中的经编码的块，其中所述基本QP值表示由编码器和解码器两者已知的值。
根据本公开的第二方面，提供了一种用于在图像和/或视频编码器中使用处理器来生成经编码的比特流的方法，所述比特流支持基于亮度的量化参数(QP)预测，所述方法可以包括：为所述比特流中的表示基于亮度的QP预测是使能的值设置第一标记；为表示基于亮度的QP预测是利用默认QP映射查找表还是利用定制QP映射查找表的值设置第二标记，其中QP映射查找表将块明亮度值函数映射到增量QP值；以及为在一组QP映射查找表语法元素中包括的一组QP映射查找表语法参数设置值，使得当所述定制QP映射查找表被包括在所述比特流中时解码器能够读取所述定制QP映射查找表；为表示一个或多个QP预测类型的值设置第三标记以用于重新构建增量QP值，从而通过将重新构建的增量QP值与基本QP值相加来生成QP值，所述一个或多个QP预测类型基于所述定制QP映射查找表或默认QP映射查找表以及所述比特流中的经编码的块中的明亮度值，其中所述基本QP值表示由编码器和解码器两者已知的值，并且其中所述一个或多个QP预测类型包括：默认类型，其中所述增量QP值被嵌入在所述比特流中；第一预测类型，其中所述比特流中的用于当前块的所述增量QP值基于解码增量QP映射查找表和用于解码所述当前块的预测块中的明亮度值函数生成；以及第二预测类型，其中所述比特流中的用于所述当前块的所述增量QP值基于所述解码增量QP映射查找表、用于解码所述当前块的所述预测块中的明亮度值函数和所述当前块的一个或多个相邻块中的明亮度值函数生成。
根据本公开的第三方面，提供了一种用于图像和/或视频处理的装置，所述装置可以包括存储在非暂态机器可读介质上的比特流，其中所述比特流的特征在于图像数据为压缩格式并且语法元素用于确定量化参数(QP)值，其中用于确定QP值的所述语法元素包括：第一标记，所述第一标记表示基于亮度的QP值预测是否使能；第二标记，所述第二标记表示定制QP映射查找表是否被包括在所述比特流中，其中QP映射查找表将块明亮度值函数映射到增量QP值；并且当所述第二标记表示所述定制QP映射查找表被包括在所述比特流中时，包括一组QP映射查找表语法参数的一组QP映射查找表语法元素允许解码器读取所述定制QP映射查找表，其中用于确定QP值的所述语法元素进一步包括第三标记以用于重新构建增量QP值，从而通过将重新构建的增量QP值与基本QP值相加来生成QP值，所述第三标记表示一个或多个QP预测类型，所述一个或多个QP预测类型基于所述定制QP映射查找表或默认QP映射查找表以及所述比特流中的经编码的块的明亮度值，其中所述基本QP值表示由编码器和解码器两者已知的值，并且其中所述一个或多个QP预测类型包括：默认类型，其中所述增量QP值被嵌入在所述比特流中；第一预测类型，其中所述比特流中的用于当前块的所述增量QP值基于解码增量QP映射查找表和用于解码所述当前块的预测块中的明亮度值函数生成；以及第二预测类型，其中所述比特流中的用于所述当前块的所述增量QP值基于所述解码增量QP映射查找表、用于解码所述当前块的所述预测块中的明亮度值函数和所述当前块的一个或多个相邻块中的明亮度值函数生成。
根据本公开的第四方面，提供了一种包括处理器的装置，所述装置可以被配置为执行根据本公开的方法。
根据本公开的第五方面，提供了一种非暂态计算机可读存储介质，所述计算机可读存储介质具有存储于其上的计算机可执行指令，所述计算机可执行指令可以用于利用一个或多个处理器执行根据本公开的方法。
附图说明
本发明的实施例以示例性而非限制性的方式示出，在附图的图表中，相似的参考标记指代相似的元素，并且其中；
图1描绘了用于视频传送流水线的示例过程；
图2描绘了相邻的经编码的块的示例；
图3A和图3B描绘了根据本发明的实施例的用于为基于亮度的增量QP编码确定比特流参数的示例编码化过程；以及
图4A和图4B描绘了根据本发明的实施例的用于在解码器中为基于亮度的增量QP预测解码比特流参数的示例过程。
具体实施方式
本文描述了用于量化参数(QP)预测的方法。在下文描述中，出于解释的目的，为了提供对本发明的详尽理解，陈述了许多特定细节。然而，很明显，本发明可以在没有这些特定细节的情况下实施。在其他实例中，为了避免对本发明不必要的遮挡、模糊或混淆，没有以详尽的细节描述已知的结构和设备。
概述
本文所描述的示例实施例涉及用于基于亮度(luma)的量化参数(QP)预测的方法。在实施例中，在视频解码器中，处理器接收包括与由编码器编码化的QP值相关的语法元素的经编码的比特流。解码器在比特流中检查表示基于亮度的QP预测是否使能的第一标记，并且在确定基于亮度的QP预测是使能的时，解码器在比特流中检查表示定制QP映射表是否包括比特流中的第二标记，其中定制QP映射表将明亮度(luminance)值与相对于基本QP值的增量QP(delta QP)值相关联。在检测到包括定制QP映射表时，解码器使用比特流中的一组与表相关的语法元素读取定制映射表。基于第二标记的值，解码器选择解码增量QP映射表作为默认QP映射表或定制QP映射表中的任一个，并且推导出增量QP值以解码比特流中的经编码的块。
在实施例中，解码器根据比特流中的第三标记确定用于重新构建增量QP值的方法，其中：对于第三标记的第一值，增量QP值是从比特流中提取的。对于第三标记的第二值，比特流中用于当前块的增量QP值是基于解码增量QP映射表和用于解码当前块的预测块中的明亮度值函数生成的，并且对于第三标记的第三值，比特流中用于当前块的增量QP值是基于解码增量QP映射表、用于解码当前块的预测块中的明亮度值函数以及当前块的一个或多个相邻块中的明亮度值函数生成的。
在第二实施例中，一种装置包括存储在非暂态机器可读介质中的比特流，其中所述比特流的特征在于图像数据为压缩格式并且语法元素用于确定量化参数(QP)值，其中用于确定QP值的语法元素包括：表示基于亮度的QP值预测是否使能的第一标记，表示定制QP映射表是否包括在比特流中的第二标记，以及当第二标记表示定制QP映射表包括在比特流中时允许解码器读取定制QP映射表的一组与表相关的元素。
在实施例中，语法元素可以包括表示基于定制QP映射表或默认QP映射表以及比特流中的经编码的块的明亮度值的两个或多个QP预测类型的第三标记，其中定制QP映射表将明亮度值与增量QP值相关联。
视频编码
图1描绘了传统视频传送流水线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成框(105)捕获或生成视频帧(102)序列。视频帧(102)可以由计算机(例如，使用计算机动画器)以数字的方式捕获(例如，由数码相机)或生成以提供视频数据(107)。可替代地，视频帧(102)可以由电影相机在电影上捕获。将电影转换为数字格式以提供视频数据(107)。在加工阶段(110)，对视频数据(107)进行编辑以提供视频加工流(112)。
加工流(112)的视频数据随后在框(115)处提供给处理器用于后期加工编辑。后期加工编辑框(115)可以包括在图像的特定区域中调节或修改颜色或明度(brightness)以增强图像的品质，或根据视频创作者的创作意图实现图像的特定外观。这有时被称为“颜色调整”或“颜色分级”。在框(115)处可以执行其他编辑(例如，场景选择和排序、图像修剪、计算机生成的视觉特效的添加等)以产生用于分发的加工的最终版本(117)。在后期加工编辑(115)期间，视频图像在参考显示器(125)上被观看。
在后期加工(115)之后，最终加工(117)的视频数据可以传送至编码框(120)以用于向下游传送至诸如电视机、机顶盒、电影院等的解码和回放设备。在一些实施例中，编码框(120)可以包括诸如由ATSC、DVB、DVD、Blu-Ray和其他传送格式定义的那些音频和视频编码器，以生成经编码的比特流(122)。在接收器中，经编码的比特流(122)由解码单元(130)解码以生成表示信号(117)的等同或接近的近似值的经解码的信号(132)。接收器可以附接至可以具有与参考显示器(125)完全不同特性的目标显示器(140)。在此情形下，显示管理框(135)可以用于通过生成经显示映射的信号(137)将经解码的信号(132)的动态范围映射到目标显示器(140)的特性。
量化
在传统的图像流水线(例如，100)中，使用非线性光电函数(OETF)对已捕获的图像(102)进行量化，该函数将线性场景光转换为非线性视频信号(例如，伽马编码的RGB或YCbCr)。随后，在接收器上，在显示在显示器(140)上之前，信号由电光转换函数(EOTF)处理，该函数将视频信号值译为输出屏幕颜色值。这些非线性函数包括记录在ITU-RRec.BT.709和BT.2020中的传统的“伽马”曲线以及在SMPTE ST 2084和Rec.ITU-R BT.2100中描述的“PQ”(感知量化)曲线。
与伽马曲线相比，典型地应用于高动态范围(HDR)的图像的PQ曲线将更多的码字分配到深色区域中并且将更少的码字分配到高亮区(highlights)中。在压缩HDR图像时，建议将更多的比特划分到明亮区域或高亮区。由于诸如AVC和HEVC的传统的编码方案是针对伽马编码的YCbCr序列优化的，一种在10比特编码器(120)内适应PQ编码的信号的方法是在编码之前对输入信号(例如，117)应用“整形”函数[1][2]。整形将码字的一部分转移至高亮区，因此改善了编码效率。在接收器处，解码器需要对经解码的信号(例如，132)应用逆整形函数以恢复原始输入。整形函数可能需要在帧或场景级进行调整，因此在比特流中增加了开销并且降低了压缩效率。
在诸如AVC或HEVC的传统的编解码器中，在图片或切片级定义量化参数(QP)之后，随后，其可以使用增量QP值序列(例如，HEVC定义了参数cu_qp_delta_abs和cu_qp_delta_sign_flag，其组合定义了增量QP值qp_delta)进行调整，其可以用于在编码块级增加或减少QP值。增量QP值是相对较小的值，因此编码开销典型地相当小；然而，随着图片分辨率持续增加，可以甚至在子宏块(sub-macroblock)、编码单元或变换单元级提供增量QP值，这对进一步减少开销是有益的。
基于亮度值预测QP值
根据本发明的实施例，一种由于增量QP值而减少开销的方法包括对于解码器使用与由编码器推导相同的增量QP值相同的技术预测增量QP值。在这种情境下，编码器不需要传输任何增量QP值，因此减少了开销。
在实施例中，QP可以特征化为两个变量的函数：QPLUM，表示块的与明亮度相关的信息(例如，峰值明亮度或平均明亮度)，以及ΔQPOTHER，表示其他块特征，诸如块活跃度(例如，方差或标准差)、边缘信息、运动等，其可以用于速率控制和自适应量化[3]。因此，
QP＝QPLUM+ΔQPOTHER. (1)
令QPPRED表示用于推导增量QP值的QP预测值(例如，qp_delta＝QP-QPPRED，其中qp_delta表示在比特流中所实际编码的)。在实施例中，根据等式(1)，QPPRED可以表达为：
QPPRED＝QPPRED-LUM+ΔQPPRED-OTHER. (2)
考虑两种情形：a)仅基于亮度信息的QP预测(即，ΔQPPRED-OTHER＝0)，以及b)基于亮度和“其他”信息两者的QP预测。接下来对这两种情形进行检查。
令f(L)表示用于预测当前块的块的明亮度函数。预测块可以是任何合适的类型和/或大小，诸如：编码树单元(CTU)、编码单元(CU)、变换单元(TU)、4x 4的块、或者包括多个4x 4块的经编码的块等。例如，在实施例中，f(L)可以表示平均明亮度。在其他实施例中，其可以表示峰值明亮度、中值明亮度或明亮度的一些其他函数。所期望的是，f(L)是编码器和解码器均已知的。在实施例中，QPPRED-LUM(或更方便的，增量QP)可以表达为f(L)的函数：
QPPRED＝QPPRED-LUM＝baseQP+deltaQP，
deltaQP＝dQP_LUT(f(L)) (3)
其中，dQP_LUT()表示将块明亮度值函数映射到增量QP值的函数(或查找表(LUT))，并且baseQP表示编码器和解码器均已知的QP值(例如，在切片级的QP值)。
一些编码标准可以从两个(或多个块)预测块(例如，AVC和HEVC中的二元预测编码)。在这种情形下，f(L)可以表示用于预测当前块的所有像素中的明亮度函数。
从f(L)值到值的映射可以是预定的和固定的，或其可以定义为比特流语法的一部分。例如且非限制性地，表1([4])提供了用于10比特数据的这种映射的示例，其中f(L)＝LAV表示用于预测当前块的一个或多个块中的平均明亮度。
表1：增量QP对平均明亮度映射的示例
L<sub>AV</sub>＝f(L)范围 增量QP
L<sub>av</sub>＜301 3
301≤L<sub>av</sub>＜367 2
367≤L<sub>av</sub>＜434 1
434≤L<sub>av</sub>＜501 0
501≤L<sub>av</sub>＜567 -1
567≤L<sub>av</sub>＜634 -2
634≤L<sub>av</sub>＜701 -3
701≤L<sub>av</sub>＜767 -4
767≤L<sub>av</sub>＜834 -5
L<sub>av</sub>≥834 -6
当编码器也基于其他特征做出QP调整时，在实施例中，用于当前块(例如，205)的ΔQPPRED-OTHER可以基于相邻块的信息推导，特别是会被认为是对解码器已知的块，例如，如图2中所描绘的，其左边块(209)或其上边或顶部块(207)。例如，
ΔQPPRED-OTHER＝(ΔQPABOVE-OTHER+ΔQPLEFT-OTHER)/2，
ΔQPABOVE-OTHER＝QPABOVE-QPABOVE-LUM， (4)
ΔQPLEFT-OTHER＝QPLEFT-QPLEFT-LUM，
和
QPABOVE-LUM＝base QP+dQP_LUT(f(LABOVE))，(5)
QPLEFT-LUM＝base QP+dQP_LUT(f(LLEFT))，
其中，f(LABOVE)和f(LLEFT)是在当前块(205)的上边块(207)和左边块(209)中的明亮度值函数，并且dQP_LUT()函数基于亮度函数确定增量QP值，例如，如表1所示。
因此，
deltaQP＝dQP_LUT(f(L))+ΔQPPRED-OTHER. (6)
QPPRED＝base QP+dQP_LUT(f(L))+ΔQPPRED-OTHER (7)
在优选实施例中，编码器具有执行下列操作中任一者的灵活性：直接(默认)发送增量QP信号、基于预测块的明亮度发送增量QP信号、或基于预测块的明亮度和相邻块的QP值两者发送增量QP信号。作为示例，表2和表3提供了通过修改现有的HEVC规范的7.3.2.2.1和7.3.2.3.1章节中的“通用序列参数集RBSP语法”和“通用图片参数集RBSP语法”的比特流语法示例[5]。在现有HEVC语法之上的新的比特流语法元素以加粗形式示出。
表2：在序列参数集级上的示例比特流语法
Figure GDA0002383902230000081
表3：在图片参数集级上的示例比特流语法
Figure GDA0002383902230000091
luma_qp_prediction_enabled_flag等于1表明luma_QP_map_LUT_idc，mum_pivot_minus1，luma_pivot_value[i]和dQP_value[i]语法元素存在于SPS中，并且表明luma_qp_prediction_idc存在于PPS中。luma_qp_prediction_enabled_flag等于0表明luma_QP_map_LUT_idc，mum_pivot_minus1，luma_pivot_value[i]和dQP_value[i]语法元素不存在于SPS中，并且表明luma_qp_prediction_idc不存在于PPS中。当不存在luma_qp_prediction_enabled_flag时，推定其值等于0。
luma_dQP_map_LUT_idc指定亮度dQP映射查找表。luma_dQP_map_LUT_id的值在0至2的范围内，且包括0和2。luma_dQP_map_LUT_idc等于0表明HDR视频的默认亮度dQP LUT。luma_dQP_map_LUT_idc等于1表明在PQ容器中的SDR视频的默认亮度dQP LUT。luma_dQP_map_LUT_idc等于2表明亮度dQP LUT随后指定。当不存在luma_dQP_map_LUT_idc时，推定其值等于0。
num_entries_minus1加1表明在亮度dQP查找表(例如，dQP_LUT())中的条目的数量。
luma_value[i]表明在亮度dQP映射查找表中的第i个条目的亮度值。
dQP_value[i]表明在亮度dQP映射查找表中的第i个条目的dQP值。
如表1所示，典型地，增量QP值可以应用于宽范围的明亮度值。为了减少增量QP映射表中的条目的数量，在一个实施例中，如果luma_value[i+1]>luma_value≥luma_value[i]，则dQP_value＝dQP_value[i]。在另一个实施例中，可以利用明确的边界值表达增量QP映射表，因此，例如，表2中用于读取增量QP映射值的代码可以被以下代码取代：
Figure GDA0002383902230000092
Figure GDA0002383902230000101
并且如果luma_max_value[i]>luma_value≥luma_min_value[i]；dQP_value＝dQP_value[i]。
luma_qp_prediction_idc表明使用何种QP预测方法。luma_qp_prediction_idc的值在0到2的范围内，且包括0和2。luma_qp_prediction_idc等于0表明使用HEVC中的QP预测。luma_qp_prediction_idc等于1表明QP预测仅使用与亮度相关的信息。luma_qp_prediction_idc等于2表明QP预测使用与亮度相关的信息和在空间上相邻的信息两者。
一些实施例可以不使用luma_qp_prediction_idc标记。解码器可以简单地使用luma_qp_prediction_enabled_flag或luma_dQP_map_LUT_idc标记的值以预定的方式应用QP预测。
图3A和3B描绘了根据实施例的用于构建比特流的示例编码过程。如图3A所描绘的，在步骤305中，编码器确定是否在比特流中使用所提出的用于通信增量QP值的基于亮度的QP预测方法。如果是，则luma_qp_prediction_enabled_flag设置为1(310)。接下来(步骤315和325)，编码器确定是否将使用任何默认增量QP查找表中的任一个。非限制性地，提供用于HDR数据的默认表(步骤320)或用于SDR数据的使用PQ EOTF的默认表(步骤330)的示例选项。可替代地，(在步骤335中)，编码器可以在比特流中编码定制增量QP LUT。给定了这些增量QP LUT的定义，随后，如在图3B所描绘的，对于每一个图片和/或切片，编码器确定QP值并且决定如何通信增量QP(337)：a)使用默认方法(步骤340和345)，b)仅基于亮度信息来使用预测(步骤350和355)(见等式(3))，或c)基于亮度信息和“其他”(例如，相邻区)信息两者来使用预测(见等式(4)-(6))(步骤360)。
在一些实施例中，可以没有选择默认dQP LUT的选项。在其他实施例中，语法可以支持使用多于两个dQP LUT。
图4A和图4B描绘了根据实施例的用于解码比特流和应用基于亮度的增量QP预测的示例过程。如在图4A中所描绘的，在解析比特流(405)之后，在步骤410中，解码器检测基于亮度的QP预测是否使能。如果检测到基于亮度的QP预测，则解码器需要确定比特流能够使用默认增量QP表(步骤415，420，425，430)还是使用嵌入在比特流中的新表(步骤435和440)解码。取决于编码选项，可以定义例如用于HDR编码的数据和用于SDR编码的数据的不同的默认表。
在任一个增量QP LUT的构建之后，过程继续至增量QP值的实际确定(C)。如图4B所描绘的，该部分可以在所有图片之上和所有切片之上重复。看到luma_qp_prediction_idc的值(例如，0，1，或2)(见步骤450，460和470)，解码器可以确定是否以下列方式通信增量QP：a)使用默认方法(步骤450和455)，b)仅基于亮度信息来使用预测(步骤460和465)(见等式(3))，或c)基于亮度信息和“其他”(例如，相邻区)信息两者来使用预测(见等式(4)-(6))(步骤470和475)。给定了增量QP值，解码器可以生成QP值以按如下方式解码块：
QP＝baseQP+deltaQP. (8)
参考文献
下列参考文献通过引用全文包括在本文中。
[1]WO 2016/140954，J.Froehlich等人的“用于高动态范围图像的内容自适应的感知量化器”
[2]“用于HDR/WCG压缩整形的评论”，MPEG输入文档，M37267，2015年10月，Geneva,CH
[3]US 2016/0134870专利申请公开，T.Lu等人的“用于高动态范围图像的速率控制自适应”
[4]ISO/IEC 23008-14(2017)技术报告，“用于具有PQ转化特性的HDR/WCG Y’CbCr4:2:0视频的转换和编码实践”
[5]Rec.H.265，“高效视频编码”，ITU-T,10/2014
示例计算机系统实施
本发明的实施例可以利用以下实施：计算机系统、配置在电子电路和部件中的系统、诸如微控制器的集成电路(IC)设备、现场可编程门阵列(FPGA)或其他可配置或可编程的逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)应用程序和/或包括一个或多个这些系统、设备或部件的装置。计算机和/或IC可以执行、控制或执行与诸如本文所描述的量化参数预测相关的指令。计算机和/或IC可以计算与本文所描述的量化参数预测过程相关的各种参数或值的任一个。图像和视频实施例可以在硬件、软件、固件及其各种组合中实施。
本发明的特定实施例包括计算机处理器，所述计算机处理器执行使得处理器执行本发明的方法的软件指令。例如，在显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器通过执行可以由处理器存取的程序存储器中的软件指令，可以实施如上文所描述的与量化参数预测相关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括承载包括指令的一组计算机可读信号的任何非暂态介质，所述指令当由数据处理器执行时，使得所述数据处理器执行本发明的方法。根据本发明的程序产品可以是多种形式中的任何一种。程序产品可以包括，例如，以下物理介质：诸如包括软磁盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光学数据存储介质，包括只读存储器、闪存随机存取存储器等的电子数据存储介质。程序产品上的计算机可读信号可以可选择地压缩或加密。
上文所指出的部件(例如，软件模块、处理器、组件、设备、电路等)，除非另有说明，对该部件(包括指代“装置(means)”)的指代应当被解读为包括执行所描述的部件的功能(例如，功能上等价的)的该部件的等价物，包括结构上与所公开的结构不等价而执行本发明的示例实施例所示出的功能的任何部件。
等价、扩展、替代和组合
因此，描述了涉及量化参数预测的示例实施例。在前述说明书中，已参考许多具体细节描述了本发明的实施例，具体细节可能因实施而异。因此，关于本发明是什么，以及申请人意图将其作为本发明的唯一和排他的指标是由本申请发布的权利要求组，以及这些权利要求所发布的包括随后的任何更正的具体形式。本文清楚地陈述的对包含于这些权利要求中的术语的任何定义应当支配权利要求中使用的这些术语的含义。因此，在权利要求中未明确叙述的任何限制、元素、特性、特征、优点或属性均不应当以任何方式限定这些权利要求的范围。相应地，说明书和附图应当被认为是以说明性的而非限制性的。

Claims (12)

1.一种用于在图像和/或视频解码器中使用处理器来进行基于亮度的量化参数QP预测的方法，所述方法包括：
接收包括与由编码器编码的QP值相关的语法元素的经编码的比特流；
在所述比特流中检查表示基于亮度的QP预测是否使能的第一标记，并且在确定基于亮度的QP预测是使能的时：
在所述比特流中检查表示定制QP映射查找表是否被包括在所述比特流中的第二标记，其中QP映射查找表将块明亮度值函数映射到增量QP值，并且在检测到定制QP映射查找表被包括时，使用所述比特流中的包括一组QP映射查找表语法参数的一组QP映射查找表语法元素来读取所述定制QP映射查找表；
基于所述第二标记的值，将解码增量QP映射查找表选择为默认QP映射查找表或所述定制QP映射查找表；
基于所述解码增量QP映射查找表生成增量QP值，其中生成所述增量QP值进一步包括：
根据所述比特流中的第三标记的值来确定用于重新构建所述增量QP值的方法，所述第三标记表示一个或多个QP预测类型，所述一个或多个QP预测类型是基于所述定制QP映射查找表或所述默认QP映射查找表的并且是基于所述比特流中的经编码的块中的明亮度值的，其中所述一个或多个QP预测类型包括：
默认类型，其针对所述第三标记的第一值，其中所述增量QP值是从所述比特流中提取的；
第一预测类型，其针对所述第三标记的第二值，其中所述比特流中的用于当前块的增量QP值基于所述解码增量QP映射查找表和用于解码所述当前块的预测块中的明亮度值函数生成；以及
第二预测类型，其针对所述第三标记的第三值，其中所述比特流中的用于所述当前块的增量QP值基于所述解码增量QP映射查找表、用于解码所述当前块的所述预测块中的明亮度值函数和所述当前块的一个或多个相邻块中的明亮度值函数生成；并且
基于重新构建的增量QP值，通过将所述增量QP值与基本QP值相加来生成QP值以解码所述比特流中的经编码的块，其中所述基本QP值表示由编码器和解码器两者已知的值。
2.根据权利要求1所述的方法，其中所述比特流中的所述一组QP映射查找表语法参数包括：表示表条目的数量的变量、针对每一个表条目的明亮度值以及与明亮度值对应的增量QP值。
3.根据权利要求1所述的方法，其中所述预测块中的明亮度值函数包括所述预测块中的像素中的明亮度值的平均值。
4.根据权利要求1所述的方法，其中对于所述第三标记的第二值，所述增量QP值deltaQP按以下方式生成：
deltaQP＝dQP_LUT(f(L)),
其中dQP_LUT()表示所述解码映射QP查找表，并且f(L)表示用于解码所述当前块的所述预测块中的明亮度值函数。
5.根据权利要求1所述的方法，其中对于所述第三标记的第三值，所述增量QP值deltaQP按以下方式生成：
deltaQP＝dQP_LUT(f(L))+ΔQPPRED-OTHER,
其中
ΔQPPRED-OTHER＝(ΔQPABOVE-OTHER+ΔQPLEFT-OTHER)/2,
ΔQPABOVE-OTHER＝QPABOVE-QPABOVE-LUM,
ΔQPLEFT-OTHER＝QPLEFT-QPLEFT-LUM,
并且
QPABOVE-LUM＝baseQP+dQP_LUT(f(LABOVE)),
QPLEFT-LUM＝baseQP+dQP_LUT(f(LLEFT)),
其中QPABOVE表示所述当前块的上边块的QP值，QPLEFT表示所述当前块的左边块的QP值，dQP_LUT()表示所述解码增量QP映射查找表，并且f(L)、f(LABOVE)和f(LLEFT)表示所述预测块中的明亮度值函数、所述当前块的上边块中的明亮度值函数和所述当前块的左边块中的明亮度值函数。
6.根据权利要求5所述的方法，其中f()表示所考虑的块中的像素的明亮度值的平均值。
7.一种用于在图像和/或视频编码器中使用处理器来生成经编码的比特流的方法，所述比特流支持基于亮度的量化参数QP预测，所述方法包括：
为所述比特流中的表示基于亮度的QP预测是使能的值设置第一标记；
为表示基于亮度的QP预测是利用默认QP映射查找表还是利用定制QP映射查找表的值设置第二标记，其中QP映射查找表将块明亮度值函数映射到增量QP值；以及
为在一组QP映射查找表语法元素中包括的一组QP映射查找表语法参数设置值，使得当所述定制QP映射查找表被包括在所述比特流中时解码器能够读取所述定制QP映射查找表；
为表示一个或多个QP预测类型的值设置第三标记以用于重新构建增量QP值，从而通过将重新构建的增量QP值与基本QP值相加来生成QP值，所述一个或多个QP预测类型是基于所述定制QP映射查找表或默认QP映射查找表的并且是基于所述比特流中的经编码的块中的明亮度值的，其中所述基本QP值表示由编码器和解码器两者已知的值，并且其中所述一个或多个QP预测类型包括：
默认类型，其中所述增量QP值被嵌入在所述比特流中；
第一预测类型，其中所述比特流中的用于当前块的所述增量QP值基于解码增量QP映射查找表和用于解码所述当前块的预测块中的明亮度值函数生成；以及
第二预测类型，其中所述比特流中的用于所述当前块的所述增量QP值基于所述解码增量QP映射查找表、用于解码所述当前块的所述预测块中的明亮度值函数和所述当前块的一个或多个相邻块中的明亮度值函数生成。
8.根据权利要求7所述的方法，其中所述比特流中的所述一组QP映射查找表语法参数包括：表示表条目的数量的变量、针对每一个表条目的明亮度值以及与明亮度值对应的增量QP值。
9.根据权利要求7所述的方法，其中所述解码增量QP映射查找表基于所述第二标记的值确定，并且包括默认增量QP映射查找表或所述定制QP映射查找表。
10.一种用于图像和/或视频处理的装置，所述装置包括处理器和非暂态机器可读介质，所述非暂态机器可读介质上存储有比特流，其中所述比特流的图像数据为压缩格式，并且当所述比特流由所述处理器处理时所述装置使得所述比特流的语法元素用于确定量化参数QP值，其中用于确定QP值的所述语法元素包括：
第一标记，所述第一标记表示基于亮度的QP值预测是否使能；
第二标记，所述第二标记表示定制QP映射查找表是否被包括在所述比特流中，其中QP映射查找表将块明亮度值函数映射到增量QP值；并且
当所述第二标记表示所述定制QP映射查找表被包括在所述比特流中时，包括一组QP映射查找表语法参数的一组QP映射查找表语法元素允许解码器读取所述定制QP映射查找表，
其中用于确定QP值的所述语法元素进一步包括第三标记以用于重新构建增量QP值，从而通过将重新构建的增量QP值与基本QP值相加来生成QP值，所述第三标记表示一个或多个QP预测类型，所述一个或多个QP预测类型是基于所述定制QP映射查找表或默认QP映射查找表的并且是基于所述比特流中的经编码的块的明亮度值的，其中所述基本QP值表示由编码器和解码器两者已知的值，并且其中所述一个或多个QP预测类型包括：
默认类型，其中所述增量QP值被嵌入在所述比特流中；
第一预测类型，其中所述比特流中的用于当前块的所述增量QP值基于解码增量QP映射查找表和用于解码所述当前块的预测块中的明亮度值函数生成；以及
第二预测类型，其中所述比特流中的用于所述当前块的所述增量QP值基于所述解码增量QP映射查找表、用于解码所述当前块的所述预测块中的明亮度值函数和所述当前块的一个或多个相邻块中的明亮度值函数生成。
11.一种包括处理器和存储器的装置，其中所述装置被配置为由所述处理器执行所述存储器中存储的一个或多个计算机程序，以执行根据权利要求1-9中任一项所述的方法。
12.一种非暂态计算机可读存储介质，所述计算机可读存储介质具有存储于其上的计算机程序，所述计算机程序用于利用一个或多个处理器执行根据权利要求1-9中任一项所述的方法。
CN201880030672.3A 2017-03-21 2018-03-21 使用明亮度信息的量化参数预测 Active CN110612724B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762474372P 2017-03-21 2017-03-21
US62/474,372 2017-03-21
PCT/US2018/023634 WO2018175638A1 (en) 2017-03-21 2018-03-21 Quantization parameter prediction using luminance information

Publications (2)

Publication Number Publication Date
CN110612724A CN110612724A (zh) 2019-12-24
CN110612724B true CN110612724B (zh) 2021-04-20

Family

ID=61913608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880030672.3A Active CN110612724B (zh) 2017-03-21 2018-03-21 使用明亮度信息的量化参数预测

Country Status (5)

Country Link
US (1) US11166023B2 (zh)
EP (1) EP3566440B1 (zh)
JP (1) JP6876822B2 (zh)
CN (1) CN110612724B (zh)
WO (1) WO2018175638A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199025A1 (ko) * 2018-04-09 2019-10-17 에스케이텔레콤 주식회사 영상을 부호화/복호화하는 방법 및 그 장치
US11509937B2 (en) * 2018-04-09 2022-11-22 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video
US11558615B2 (en) * 2018-04-16 2023-01-17 Interdigital Vc Holdings, Inc. Quantization parameter prediction for video encoding and decoding
CN115633173A (zh) * 2019-05-28 2023-01-20 杜比实验室特许公司 用信号发送量化参数
US20220377338A1 (en) * 2019-06-23 2022-11-24 Sharp Kabushiki Kaisha Systems and methods for deriving quantization parameters for video blocks in video coding
US11146823B2 (en) 2019-06-25 2021-10-12 Qualcomm Incorporated Signalling chroma quantization parameter (QP) mapping tables
CN113632142A (zh) * 2019-07-02 2021-11-09 腾讯美国有限责任公司 点云压缩的方法和装置
US11082473B1 (en) * 2020-03-15 2021-08-03 Tfi Digital Media Limited Method for complexity reduction in video coding by coding parameters reuse

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155553A (zh) * 2010-06-10 2013-06-12 汤姆森特许公司 从多个相邻量化参数中确定量化参数预测值的方法和装置
CN103369321A (zh) * 2010-06-04 2013-10-23 索尼公司 图像处理设备和方法
CN103416060A (zh) * 2011-03-11 2013-11-27 索尼公司 图像处理装置和方法
WO2016084317A1 (en) * 2014-11-28 2016-06-02 Canon Kabushiki Kaisha Image coding apparatus, image coding method, storage medium, image decoding apparatus, image decoding method, and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
US10136133B2 (en) 2014-11-11 2018-11-20 Dolby Laboratories Licensing Corporation Rate control adaptation for high-dynamic range images
CN107409213B (zh) 2015-03-02 2020-10-30 杜比实验室特许公司 用于高动态范围图像的内容自适应感知量化器
WO2016199409A1 (en) * 2015-06-07 2016-12-15 Sharp Kabushiki Kaisha Systems and methods for optimizing video coding based on a luminance transfer function or video color component values
WO2018143289A1 (ja) 2017-02-02 2018-08-09 シャープ株式会社 画像符号化装置及び画像復号装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369321A (zh) * 2010-06-04 2013-10-23 索尼公司 图像处理设备和方法
CN103155553A (zh) * 2010-06-10 2013-06-12 汤姆森特许公司 从多个相邻量化参数中确定量化参数预测值的方法和装置
CN103416060A (zh) * 2011-03-11 2013-11-27 索尼公司 图像处理装置和方法
WO2016084317A1 (en) * 2014-11-28 2016-06-02 Canon Kabushiki Kaisha Image coding apparatus, image coding method, storage medium, image decoding apparatus, image decoding method, and storage medium

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AHG on HDR and WCG: Average Luma Controlled Adaptive dQP;Andrew Segall;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 23rd Meeting: San Diego, USA, 19–26 February 2016，JCTVC-W0054》;20160209;全文 *
De-quantization and scaling for next generation containers;Jie Zhao等;《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: San Diego, USA, 20–26 February 2016，JVET-B0054》;20160221;全文 *
EE2.4: De-quantization and scaling for next generation containers;Jie Zha等;《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 26–31 May 2016，JVET-C0095》;20160526;全文 *

Also Published As

Publication number Publication date
WO2018175638A1 (en) 2018-09-27
EP3566440A1 (en) 2019-11-13
JP6876822B2 (ja) 2021-05-26
US11166023B2 (en) 2021-11-02
JP2020515190A (ja) 2020-05-21
US20200029078A1 (en) 2020-01-23
CN110612724A (zh) 2019-12-24
EP3566440B1 (en) 2020-12-02

Similar Documents

Publication Publication Date Title
CN110612724B (zh) 使用明亮度信息的量化参数预测
CN110301134B (zh) 整合的图像整形和视频编码
US11800151B2 (en) Signal reshaping and coding for HDR and wide color gamut signals
KR102377426B1 (ko) 소스 색 볼륨 정보 메시징
CN109068139B (zh) 用于环内再成形的方法、设备和计算机可读存储介质
US11277623B2 (en) Block-level lossless video coding using in-loop reshaping
US11477455B2 (en) In-loop reshaping with local illumination compensation in image coding
KR20240091265A (ko) 소스 색 볼륨 정보 메시징

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant