CN108370446B - 具有减小的内插误差的低复杂度查找表构造 - Google Patents

具有减小的内插误差的低复杂度查找表构造 Download PDF

Info

Publication number
CN108370446B
CN108370446B CN201680071237.6A CN201680071237A CN108370446B CN 108370446 B CN108370446 B CN 108370446B CN 201680071237 A CN201680071237 A CN 201680071237A CN 108370446 B CN108370446 B CN 108370446B
Authority
CN
China
Prior art keywords
node
output
nodes
slope
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680071237.6A
Other languages
English (en)
Other versions
CN108370446A (zh
Inventor
哈沙德·卡杜
苏冠铭
孙瀚阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN108370446A publication Critical patent/CN108370446A/zh
Application granted granted Critical
Publication of CN108370446B publication Critical patent/CN108370446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在用以重构高动态范围视频信号的方法中，解码器在输入位流中接收用以产生预测函数的参数。使用所述预测函数，所述解码器产生用于第一预测查找表的第一组节点，其中每一节点由输入节点值及输出节点值表征。接着，所述解码器修改所述第一组节点中的一或多者的所述输出节点值以产生用于第二预测查找表的第二组节点，且使用所述第二查找表来产生输出预测值。本发明呈现用以基于计算所述第一组节点中的当前节点与环绕所述当前节点的节点之间的经修改斜率而修改所述当前节点的所述输出节点值的低复杂度方法。

Description

具有减小的内插误差的低复杂度查找表构造
相关申请案交叉参考
本申请案主张2015年12月9日提出申请的第62/265,135号美国临时申请案的权益；且还主张2016年2月16日提出申请的第16155882.0号欧洲专利申请案的优先权，所述申请案的全部内容以全文引用的方式并入。
技术领域
本发明一般来说涉及查找表的产生。更明确地说，本发明的实施例涉及产生具有减小的内插误差的用于视频预测的3D查找表。
背景技术
国际音频及视频译码标准(例如MPEG-2、MPEG-4、H.264及最近的H.265(也称为HEVC))的发展及采用对基于标准的装置及通信标准(例如DVD播放器、蓝光播放器以及关于数字电视广播之ATSC及DVB标准)的迅速发展、采用及普及起到了重要作用。
由杜比实验室(Dolby Laboratories,Inc.)开发的显示技术及其它技术能够重新生成具有高动态范围(HDR)及宽色域的图像。此等显示器可重新生成比标准动态范围(SDR)的常规显示器更如实地体现真实世界场景的图像。
如本文中所使用，术语‘动态范围’(DR)可涉及人类视觉系统(HVS)感知图像中的强度范围(例如，亮度、明度)的能力，例如，从最暗的黑色(即，漆黑)到最亮的白色(即，强光)。在此意义上，DR涉及‘场景参照’强度。DR还可涉及显示装置充分地或近似地呈现特定幅度的强度范围的能力。在此意义上，DR涉及‘显示器参照’强度。除非在本文中的说明中的任一点处明确指定一特定意义具有特定重要性，否则应推断，所述术语可以任一意义使用，例如，可互换地。
如本文中所使用，术语高动态范围(HDR)涉及横跨人类视觉系统(HVS)的约14-15个数量级的DR幅度。实际上，与HDR相比，人类可同时感知广泛的强度范围幅度的DR可能会被截断。如本文中所使用，术语经增强动态范围(EDR)或视觉动态范围(VDR)可个别地或可互换地涉及包含眼睛运动的人类视觉系统(HVS)在场景或图像内可感知的DR，从而允许一些光线适应场景或图像的改变。如本文中所使用，EDR可涉及横跨5到6个数量级的DR。因此，虽然与真实场景参照的HDR相比可能稍微较窄，但EDR仍表示宽DR幅度且也可称为HDR。
实际上，图像包括一或多个色彩分量(例如，明度Y以及色度Cb及Cr)，其中每一色彩分量以每像素n个位(例如，n＝8)的精确度表示。使用线性亮度译码，其中n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而其中n>8的图像可被认为是经增强动态范围的图像。EDR及HDR图像还可使用高精确度(例如，16位)浮点格式(例如，由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式)来存储及分布。
如本文中所使用，术语“元数据”涉及作为经译码位流的一部分而发射且有助于解码器呈现经解码图像的任何辅助信息。此等元数据可包含但不限于色彩空间或色域信息、参考显示参数及辅助信号参数，如本文中所描述的信息及参数。
大部分消费者桌面显示当前支持200cd/m2或尼特到300cd/m2或尼特的亮度。大部分消费者HDTV介于从300尼特到500尼特的范围内，其中新型号达到1000尼特(cd/m2)。因此，与HDR或EDR相比，此类常规显示器具有较低动态范围(LDR)(还称为标准动态范围(SDR))的特征。随着HDR内容的可用性因捕获装备(例如，摄像机)及HDR显示器(例如，来自杜比实验室的PRM-4200专业级参考监视器)两者的进步而不断增长，HDR内容可进行色彩分级并显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的HDR显示器上。
在许多实时实施方案中，作为计算复杂度与计算准确性之间的折衷，可使用查找表(LUT)来加快计算。如发明人在此所了解，期望用于产生LUT(特别是与高动态范围数据的预测有关的LUT)的经改进技术。
本章节中所描述的方法是可寻求的方法，但不一定是先前设想或寻求的方法。因此，除非另有指示，否则不应假设本章节中所描述的方法中的任一者仅仅由于它们被包括在本章节中而被认为是现有技术。类似地，关于一或多种方法所识别的问题不应假设为基于本章节在任何现有技术中被认可，除非另有指示。
附图说明
以实例方式而非以限制方式在附图的各图中图解说明本发明的实施例，且在附图中，相似元件符号是指类似元件，且在附图中：
图1描绘使用基础层及增强层的HDR视频的视频传输的实例性过程；
图2描绘根据本发明的实施例的用于HDR视频解码的实例性过程；
图3描绘根据本发明的实施例的查找表中的节点调整的实例；且
图4描绘根据本发明的实施例的数据预测的实例性过程。
具体实施方式
本文中描述具有减小的内插误差的查找表的低复杂度构造。在以下说明中，出于阐释目的，陈述众多具体细节以便提供对本发明的透彻理解。然而，将明了，可在不具有这些特定细节的情况下实践本发明。在其它例子中，并未详尽地描述众所周知的结构及装置，以避免不必要地遮挡、模糊或混淆本发明。
概述
本文中所描述的实例性实施例涉及具有减小的内插误差的查找表的低复杂度构造。在用以重构高动态范围视频信号的方法中，解码器在输入位流中接收用以产生预测函数的参数。使用所述预测函数，解码器产生用于第一预测查找表的第一组节点，其中每一节点由输入节点值及输出节点值表征。接着，解码器修改所述第一组节点中的一或多者的所述输出节点值以产生用于第二预测查找表的第二组节点，且使用所述第二查找表来产生输出预测值。
在一实施例中，修改第一组节点中的当前节点的输出值包括基于加权参数且基于当前节点与包围当前节点的四个节点之间的一或多个经修改斜率而计算经修改当前节点。
高动态范围(HDR)视频的视频传输
根据蓝光光盘联盟(Blu-Ray Disc Association)的近期白皮书(标题为“BD-ROM版本3.0的音频视觉应用格式规范(Audio Visual Application Format Specificationsfor BD-ROM Version 3.0)”，白皮书蓝光光盘只读格式(超HD蓝光)，蓝光光盘联盟，2015年7月，以其全文引用的方式并入本文中)，所提出超HD蓝光标准支持强制单层(10位，YCbCr4:2:0)蓝光光盘影片(BDMV)EDR格式(还称为HDR10格式)及任选杜比视界(Dolby Vision)双层HDR格式。
用于消费者应用的Dolby VisionTM是能够创建及分布具有高动态范围及宽色域的内容的端对端技术套件。杜比视界显示管理通过使用一系列算法将信号映射到任何杜比视界消费者电视而匹配给定电视的能力。此产生观看者的最优且无缝视频体验。如本文中所使用，术语“杜比视界视频”表示EDR或HDR视频。
在一实施例中，杜比视界HDR流由具有相关联元数据的基础层(BL)BDMV EDR视频流及杜比视界增强层(EL)视频流构成。通用蓝光解码器将仅能够播放HDR10基础层；然而，启用杜比视界的播放器将能够组合基础层与增强层以产生具有比默认HDR10流的动态范围更好的动态范围的12位HDR视频输出。
杜比视界流由以下各项表征：
·具有非恒定亮度的BT.2020基色
·基于SMPTE 2084的EOTF(电光转换函数)
·12个位的组合式BL/EL位深度
图1描绘根据实例性实施例的分层HDR编码器架构100。在一实施例中，基础译码层及增强译码层中的所有视频译码均可在YCbCr 4:2:0色彩空间中执行。HDR图像编码器100可由一或多个计算装置实施。
HDR图像编码器100经配置以接收高分辨率(例如，UHD)输入HDR图像102。如本文中所使用，“输入HDR图像”是指可用于导出输入图像的HDR版本的经增强或高动态范围图像数据(例如，由高端图像获取装置等捕获的原始图像数据)。输入HDR图像102可处于支持高动态范围色域的任何色彩空间中。在一实施例中，输入HDR图像是最初可处于RGB空间中的12位或更高YCbCr图像。如本文中所使用，对于具有多个色彩分量(例如，RGB或YCbCr)的图像，术语n位图像(例如，12位或8位图像)表示其中其色彩分量的每一像素由n位像素表示的图像。举例来说，在8位RGB图像中，每一像素包括三个色彩分量，每一色彩分量(例如，R、G或B)由8个位表示，每色彩像素总共24个位。
任选地及/或替代地，每一像素可包括针对色彩空间中的通道中的一或多者的经上取样及经下取样像素值。应注意，在一些实施例中，除三种基色(例如，红色、绿色及蓝色)之外，如本文中所描述的色彩空间中还可同时使用不同基色，(举例来说)以支持宽色域；在那些实施例中，如本文中所描述的图像数据包含针对那些不同基色的额外像素值，且可通过如本文中所描述的技术同时处理。
HDR转HDR10 115转换器将高位深度HDR输入102转换为较低深度(例如，10位图像)的BL图像117。通常，如何从原始HDR输入102产生10位HDR层117超出了任何译码标准的范围。一些实施例可使用动态范围转换技术，例如2013年12月4日提出申请的第PCT/US2013/073085号PCT申请案(还公开为WO2014/107255、称为‘085申请案、以其全文引用的方式并入本文中)中所描述的动态范围转换技术。
BL图像编码器120经配置以对BL图像117进行编码/格式化以产生经译码(或经压缩)BL图像122。BL编码器可为已知视频编码器中的任一者，例如，ISO/IEC H.264或HEVC标准所指定的视频编码器，或其它编码器，例如谷歌的VP9等。
HDR图像编码器100中的BL解码器130将基础层图像容器中的图像数据解码为经解码基础层图像135。信号135表示将由兼容接收器接收的经解码BL。经解码基础层图像135不同于BL图像117，因为经解码基础层图像包括在由BL编码器120及BL解码器130执行的编码及解码操作中引入的译码改变、舍入误差及近似值。
预测器140执行与基于经解码BL流135而预测HDR输入信号102有关的一或多个操作。预测器140试图实施由HDR转HDR10转换器115执行的操作的反转。此预测器的实例性实施例描述于‘085PCT申请案中且可包含多通道多重回归(MMR)预测器，如标题为“多色彩通道多重回归预测器(Multiple color channel,multiple regression predictor)”的第8,811,490号美国专利中所描述，所述美国专利以其全文引用的方式并入本文中。从HDR输入102减去预测器输出142以产生残差152。
在实例性实施例中，HDR图像编码器100中的增强层量化器(NLQ)160经配置以使用通过一或多个NLQ参数而确定的NLQ函数将HDR残差值152从高位深度数字表示(例如，12个位)量化为较低数字表示(例如，10个位或8个位)。NLQ函数可为线性的、分段线性的或非线性的。‘085PCT申请案中描述非线性NLQ设计的实例。
增强层(EL)编码器170经配置以编码增强层图像容器中的残差值以产生经译码EL流172。EL编码器170可为已知视频编码器中的任一者，例如，ISO/IEC H.264或HEVC标准所指定的视频编码器，或其它编码器，例如谷歌的VP9等。EL及BL编码器可为不同的或可为相同的。
预测器140及NLQ 160中所使用的参数集可作为补充增强信息(SEI)的一部分或视频位流(例如，增强层中)中可用的其它类似元数据载体发射到下游装置(例如，HDR解码器)作为元数据142。此类元数据可包含但不限于如下信息：色彩空间或色域信息、动态范围信息、色调映射信息或其它预测器、放大及量化器操作者，例如本文中所描述的信息。
在产生分层HDR流的所有部分之后，经译码EL流172、经译码BL流122及相关元数据142经多路复用且经包化使得其可存储于存储媒体中及/或发射到解码器。
解码过程
图2描绘根据一实施例的基础层(BL)及增强层的实例性解码过程。假定由编码器100产生的经译码HDR位流，接收器将多路分用基础层122、增强层172及相关联元数据142。基线解码器240匹配BL解码器130且产生经解码BL样本242，所述经解码BL样本可经传递以显示在SDR或HDR10显示器上。经解码BL信号242使用元数据142中用信号发送的预先选择的预测系数而映射到EL信号域的动态范围。在一实施例中，所预测BL信号的十进制值介于[0,1)范围内。所预测BL信号252将被添加到经逆量化EL信号205以重构HDR输出222。预测250应匹配编码器中的预测器140。
可应用不同预测方法。举例来说，对于超HD蓝光解码器中的杜比视界流，针对明度通道的预测方法是至多二阶的分段多项式。举例来说，假定样本S，可根据下式计算针对N阶多项式的完整多项式预测
Figure BDA0001685061520000061
其中fpoly_coef是杜比视界元数据142中用信号发送的预测系数，且BL_bit_depth表示基础层的位深度(例如，8个位)。所述计算可在固定点或32位浮点中实施。
对于色度通道，预测方法可为至多二阶的分段多项式或至多三阶的多变量多通道回归。举例来说，假定色彩样本
Figure BDA0001685061520000062
多通道多变量回归可表达为：
Figure BDA0001685061520000063
其中系数mi被接收在元数据142中，且可取决于当前帧及色彩通道。元数据中还指定阶数N(例如，N＝2或N＝3)。
在优选解码器实施方案中，解码器使用方程式(1)及(2)来执行预测250；然而，在一些实施例中，解码器可不够强大到足以实时地针对帧中的所有像素执行这些计算。对于解码器，一种可能替代方案将是构造查找表。举例来说，使用MMR预测将8位YCbCr值从8个位转译为12个位将需要256×256×256查找表。对于10位SDR，此表将增长到1024×1024×1024。然而，在计算此大LUT中存在数个限制条件：
·可不存在足够的计算能力
·可存在极有限的存储器(尤其是对于消费者装置来说)
因此，LUT的大小由数个硬件限制条件限定。举例来说，用于预测的典型3D LUT为约25×45×45。假定此LUT，对LUT节点未明确定义的输入值的预测可使用已知内插方法执行，例如线性、双线性或三线性内插。
此项技术中已知的查找表方法通常需要存取输入数据的参数表示。接着，计算最优LUT节点，使得成本准则(例如，最小平方差(MSE))得以最小化。标题为“具有凭借最小二乘算法构造的以数字方式操作的查找表的彩色图像再现设备(Color image reproductionapparatus having a digitally operated look-up table constructed by means of aleast squares algorithm)”的美国专利4,992,861中论述此方法的实例。然而，如早期所描述，在解码器实施例中，计算能力不足以实时地针对所有可能输入值而计算方程式(1)及(2)或应用此类MSE优化技术。因此，提出用以针对LUT产生经改进节点值的替代性次最优但具低复杂度(且因此更快)的方法。
所提出LUT构造方法包含两个主要步骤：
·使用预测器的参数方程式来确定一小组LUT节点
·接着，通关查看由原始节点及其包围节点定义的曲线的斜率而细化每一节点
第一步骤可根据存储器及计算限制条件(例如，25×47×47)在3D色彩空间中利用均匀取样。接下来更详细地描述细化步骤。
基于切线的节点细化
假定一组LUT节点，即(xi,yi)，其中i＝1、2、…、N，如果输入值匹配节点值(例如，Si＝xi)，那么LUT输出值(yi)与预测函数的输出(例如，R)之间的误差将为零；然而，对于需要内插在两个节点之间的输入值(例如，xi-1<Si<xi)，经内插输出可引入显著误差。因此，目标是调整节点值，例如，产生经细化节点(xi,yi+Di)，使得LUT的输出中的总体经内插误差得以减小。对于多维度LUT(例如，3D LUT)，三个维度中的每一者中的每一节点可被单独地修改。
考虑(但不加限制地)呈YCbCr色彩格式的输入数据，其中经归一化值介于[0,1)中，使Ncb(i)∈[0，1)表示针对LUT中的第i个Y节点的经归一化HDR值以预测HDR色彩分量值(例如，Cb)，且使Δy＝1/(dy-1)表示Y节点之间的取样距离，其中dy表示Y节点的数目。接着，如下可描述基于切线的节点细化算法。
出于图解说明目的，如图3中所描绘，仅阐释对一个维度(Y)上的Cb分量的LUT节点的修改。对跨越全部三个维度的其它节点的修改遵循类似方法。
1)假定节点Ncb(i)，计算连结序列中的前两个节点及两个后续节点的线段的斜率。
Figure BDA0001685061520000071
2)接下来，使用依据先前步骤所计算的斜率来计算节点Ncb(i-1)及Ncb(i+1)处的切线的近似斜率。
Figure BDA0001685061520000081
Figure BDA0001685061520000082
3)在一实施例中，考虑两个先前节点及T(i-1)(见图3)，直觉是节点Ncb(i)的经修改值应在以Ncb(i-1)开始的线上，且其斜率在斜率T(i-1)与Sp1(i)之间某处，但更偏向于Sp1(i)。将此斜率计算为
Figure BDA0001685061520000083
其中β是试探性地确定的加权参数(例如，β＝3)。鉴于上文，经修改节点
Figure BDA0001685061520000084
计算为
Figure BDA0001685061520000085
依据方程式(5)，以上方程式可简化为
Figure BDA0001685061520000086
其中
Figure BDA0001685061520000087
且
Figure BDA0001685061520000088
4)类似地，可使用两个后续节点来计算经更新
Figure BDA0001685061520000089
节点。使
Figure BDA00016850615200000810
通过应用斜率Sp及开始点Ncb(i-1)，可将经修改
Figure BDA00016850615200000811
值计算为
Figure BDA00016850615200000812
或如在步骤3中，以上方程式可简化为
Figure BDA00016850615200000813
5)接着，节点Ncb(i)的经修改值为过去节点及未来节点的预测平均值。
Figure BDA00016850615200000814
针对
Figure BDA00016850615200000815
及
Figure BDA00016850615200000816
使用方程式(7)及(10)，依据方程式(11)，可使用简单5抽头滤波器来计算经修改LUT节点
Ncb(i)＝c1*Ncb(i)+0，5*c2*(Ncb(i-1)+Ncb(i+1))+0.5*c3*
(Ncb(i-2)+Ncb(i+2))＝
＝c1*Ncb(i)+c2′*(Ncb(i-1)+Ncb(i+1))+c3′*(Ncb(i-2)+Ncb(i+2)) (12)，
其中
Figure BDA0001685061520000091
且
Figure BDA0001685061520000092
6)针对所有后续计算，经修改Ncb(i)值替换3D-LUT中的旧值。在一实施例中，鉴于方程式(7)、(10)及/或(12)，可针对多种β值及测试序列而测试节点细化算法，且接着选择在给定复杂度限制条件下产生最好视频质量或优化某一其它准则(例如，均方差)的β值。
对于多维度LUT，可针对所有节点且跨越所有维度重复以上计算(从步骤1到步骤5)。举例来说，返回YCbCr色彩空间中的先前实例，其中使用Y、Cb及Cr SDR值来预测Cb及CrHDR色度分量，在跨越Y轴更新Ncb(i)节点之后，还可跨越Cb轴及Cr轴分别计算经修改Ncb(j)(j＝1、2、…、dCb)及Ncb(k)(k＝1、2、…、dCr)节点值，其中dCb及dCr表示跨越每一轴的节点的对应数目。接着，可针对其它色彩分量(例如，对于Cr，Ncr(i)、Ncr(j)及Ncr(k)值)重复整个过程。
在一实施例中，并非所有原始LUT节点均被修改。举例来说，对于MMR预测器，实验结果已展示仅需要修改交替节点。
此外，在测试期间，观察到，中心节点(例如，Ncb(i)＝0.5，且Ncr(i)＝0.5)周围的值因表示中性色彩而极为敏感。对区域中的这些节点的小幅修改可具有严重后果。在优选实施例中，这些节点未被修改。
表1概括了根据实例性实施例的针对与Cb色彩分量有关的节点(例如，Ncb(i，j，k)＝LUTCb(Yi，Cbj，Crk))修改dY×dCb×dCr YCbCr 3D LUT(将表示为LUTCb)的过程。针对其余分量也可使用类似方法来修改LUT。
表1：经修改3D LUT产生
Figure BDA0001685061520000093
Figure BDA0001685061520000101
图4描绘根据一实施例的SDR到HDR预测的实例性过程。假定位流中所接收的元数据142，在步骤410中，解码器存取定义预测函数的多项式表示(例如，方程式(2))的系数及其它相关元数据。在步骤415中，使用此预测函数，解码器计算用于初始查找表的一组初始节点(例如，dY×dCb×dCrNcb(i,j,k))。对于这些节点的子组，在步骤420中，解码器根据基于所估计切线相对于与当前节点相交的预测曲线、两个先前节点相对于当前节点、两个后续节点相对于当前节点所计算的斜率以及试探加权参数而调整所述节点子组。最后，在步骤425中，解码器使用经修改LUT来产生输出预测值。
虽然本文中的大部分论述涉及在解码器中产生用于预测HDR值的LUT，但所属领域的技术人员将了解，还可应用类似技术来加快编码器100中的预测器140中的实时处理。所述技术还可用于其中可使用LUT的其它应用，例如在色彩转换、动态范围转换的显示管理、色域映射等中。举例来说，在显示管理中，假定输入动态范围(即，介于0.01尼特与5,000尼特之间)的输入像素，解码器中的显示管理处理器可应用显示映射函数将这些值映射到目标显示的动态范围(即，介于0.1尼特与500尼特之间)。此映射还可表达为3D LUT，其中还可应用本文中所论述的查找表构造方法。
实例性计算机系统实施方案
本发明的实施例可利用以下各项来实施：计算机系统、配置在电子电路及组件中的系统、集成电路(IC)装置(例如微控制器)、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑装置(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)及/或包含此类系统、装置或组件中的一或多者的设备。计算机及/或IC可执行、控制或运行与查找表的低复杂度构造有关的指令，例如本文中所描述的指令。计算机及/或IC可计算与本文中所描述的查找表的低复杂度构造有关的多种参数或值中的任一者。图像及视频实施例可以硬件、软件、固件及其各种组合而实施。
本发明的某些实施方案包括执行软件指令的计算机处理器，所述软件指令致使处理器执行本发明的方法。举例来说，显示器、编码器、机顶盒、变码器等中的一或多个处理器可通过执行处理器可存取的程序存储器中的软件指令而实施与如上文所描述的查找表的低复杂度构造有关的方法。本发明还可以程序产品的形式提供。所述程序产品可包括载运一组计算机可读信号的任何非暂时性媒体，所述计算机可读信号包括在由数据处理器执行时致使数据处理器执行本发明的方法的指令。根据本发明的程序产品可呈各种各样的形式中的任一者。举例来说，所述程序产品可包括物理媒体，例如包含软盘的磁性数据存储媒体、硬盘驱动器、包含CD ROM的光学数据存储媒体、DVD、包含ROM的电子数据存储媒体、快闪RAM等。程序产品上的计算机可读信号可任选地被压缩或加密。
在上文提及组件(例如，软件模块、处理器、组合件、装置、电路等)的情况下，除非另有指示，否则对所述组件的提及(包含对“构件”的提及)应解释为包含作为所述组件的等效物的执行所描述组件的功能(例如，功能上等效)的任何组件，包含结构上不等效于执行本发明的所图解说明实例性实施例中的功能的所揭示结构的组件。
等效物、扩展、替代及杂项
因此描述与查找表的高效低复杂度构造有关的实例性实施例。在前述说明书中，可已参考因实施方案而不同的众多特定细节描述本发明的实施例。因此，本发明的内容及申请人打算作为本发明的唯一且排他性指示是以权利要求发布的特定形式从本申请案发布的一组权利要求，包含任何后续修正。本文中针对此些权利要求中所包含的术语而明确陈述的任何定义将决定如权利要求中所使用的此类术语的含义。因此，权利要求中未明确叙述的限制、元素、特性、特征、优点或属性不应以任何方式限制此权利要求的范围。因此，应将本说明书及图式视为具有说明性意义而非限制性意义。

Claims (16)

1.一种在解码器中构造用于依据由所述解码器接收的标准动态范围数据而预测高动态范围图像数据的查找表的方法，所述方法包括：
存取用于预测高动态范围图像数据的预测函数；
使用所述预测函数来产生用于第一查找表LUT的第一组节点，其中每一节点由输入节点值及输出节点值表征；
修改所述第一组节点中的至少一个节点的所述输出节点值以产生第二查找表中的第二组节点，以用于产生所预测高动态范围输出值，所述修改包括：
针对所述第一组节点中的当前节点：
相对于所述当前节点而确定第一先前节点及第二先前节点，其中所述第一先前节点比所述第二先前节点更靠近所述当前节点；
确定所述第一先前节点与所述当前节点之间的第一斜率；
确定所述第二先前节点与所述第一先前节点之间的第二斜率；
基于所述第一斜率及所述第二斜率而确定相对于所述第一先前节点的第一切线斜率；
基于所述第一切线斜率、所述第一斜率及加权参数而确定第一经修改斜率；及
基于所述第一经修改斜率及所述第一先前节点而确定所述当前节点的第一经修改输出值。
2.根据权利要求1所述的方法，其中修改所述第一组节点中的至少一个节点的所述输出节点值进一步包括：
相对于所述当前节点而确定第一后续节点及第二后续节点，其中所述第一后续节点比所述第二后续节点更靠近所述当前节点；
确定所述第一后续节点与所述当前节点之间的第三斜率；
确定所述第二后续节点与所述第一后续节点之间的第四斜率；
基于所述第三斜率及所述第四斜率而确定相对于所述第一后续节点的第二切线斜率；
基于所述第二切线斜率、所述第三斜率及所述加权参数而确定第二经修改斜率；
基于所述第二经修改斜率及所述第一后续节点而确定所述当前节点的第二经修改输出值；及
基于所述第一经修改输出值与所述第二经修改输出值的平均值而确定所述当前节点的第三经修改输出值。
3.根据权利要求1所述的方法，其中确定所述当前节点的所述第一经修改输出值包括计算：
Figure FDA0003374539610000021
其中Ncb(i)表示所述当前节点的输出，Ncb(i-1)表示所述第一先前节点的输出，Ncb(i-2)表示所述第二先前节点的输出，且c1、c2及c3表示基于所述加权参数而计算的参数。
4.根据权利要求3所述的方法，其中计算所述c1、c2及c3参数包括计算：
Figure FDA0003374539610000022
及
Figure FDA0003374539610000023
其中β表示所述加权参数。
5.根据权利要求2所述的方法，其中确定所述当前节点的所述第二经修改输出值包括计算
Figure FDA0003374539610000024
其中Ncb(i)表示所述当前节点的输出，Ncb(i+1)表示所述第一后续节点的输出，Ncb(i+2)表示所述第二后续节点的输出，且c1、c2及c3表示基于所述加权参数而计算的参数，其中计算所述c1、c2及c3参数包括计算：
Figure FDA0003374539610000025
及
Figure FDA0003374539610000026
其中β表示所述加权参数。
6.根据权利要求2所述的方法，其中确定所述当前节点的所述第三经修改输出值包括计算：
Figure FDA0003374539610000027
其中Ncb(i)表示所述当前节点的输出，Ncb(i-1)表示所述第一先前节点的输出，Ncb(i-2)表示所述第二先前节点的输出，Ncb(i+1)表示所述第一后续节点的输出，Ncb(i+2)表示所述第二后续节点的输出，且c1、c2′、c3′表示基于所述加权参数而计算的参数。
7.根据权利要求6所述的方法，其中计算所述c1、c2′及c3′参数包括计算：
Figure FDA0003374539610000031
及
Figure FDA0003374539610000032
其中β表示所述加权参数。
8.根据权利要求1所述的方法，其中修改所述第一查找表中的至少一个节点的所述输出节点值包括仅修改所述第一查找表的所述节点当中交替的节点。
9.根据权利要求1所述的方法，其中所述第一组节点对应于3D LUT的跨越三个维度中的一者的节点。
10.根据权利要求1所述的方法，其中对于每一节点，将输入节点值及输出节点值归一化为介于0与1之间。
11.根据权利要求10所述的方法，其中不修改所述第一组节点中对应于输入节点值0.5的节点。
12.根据权利要求1所述的方法，其中所述第一组节点中的节点的数目小于用于所述预测函数的所有可能输入值的数目。
13.一种利用解码器来解码高动态范围图像的方法，所述方法包括：
接收经译码位流；
根据权利要求1-12中任一权利要求所述的方法，依据所述经译码位流中的标准动态图像数据而构造用于预测高动态范围图像数据的查找表；及
通过将经构造查找表应用于所述经译码位流而依据所述经译码位流产生所预测高动态范围输出值。
14.根据权利要求13所述的方法，其进一步包括在构造所述查找表之前：
在所述经译码位流中接收用于产生预测函数的预测参数；及
依据所述预测参数产生所述预测函数。
15.一种解码器，其具有执行根据权利要求1到14所述的方法中的任一者的一或多个处理器。
16.一种非暂时性计算机可读存储媒体，其上存储有用于利用一或多个处理器来执行根据权利要求1到14中任一权利要求所述的方法的计算机可执行指令。
CN201680071237.6A 2015-12-09 2016-12-07 具有减小的内插误差的低复杂度查找表构造 Active CN108370446B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562265135P 2015-12-09 2015-12-09
US62/265,135 2015-12-09
EP16155882 2016-02-16
EP16155882.0 2016-02-16
PCT/US2016/065440 WO2017100359A1 (en) 2015-12-09 2016-12-07 Low-complexity lookup table construction with reduced interpolation error

Publications (2)

Publication Number Publication Date
CN108370446A CN108370446A (zh) 2018-08-03
CN108370446B true CN108370446B (zh) 2022-02-25

Family

ID=55453011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680071237.6A Active CN108370446B (zh) 2015-12-09 2016-12-07 具有减小的内插误差的低复杂度查找表构造

Country Status (6)

Country Link
US (1) US10542269B2 (zh)
EP (1) EP3387833B1 (zh)
JP (1) JP6470474B2 (zh)
KR (1) KR101909867B1 (zh)
CN (1) CN108370446B (zh)
WO (1) WO2017100359A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3716602A1 (en) * 2019-03-28 2020-09-30 InterDigital VC Holdings, Inc. Methods for processing audio and/or video contents and corresponding device, system, computer readable program product and computer readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013106190A1 (en) * 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
CN103493489A (zh) * 2011-04-14 2014-01-01 杜比实验室特许公司 基于原色分级模型的图像预测
CN103916669A (zh) * 2014-04-11 2014-07-09 浙江宇视科技有限公司 高动态范围图像压缩方法及装置
CN104322072A (zh) * 2011-11-04 2015-01-28 杜比实验室特许公司 分层vdr编译码中的层分解

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4992861A (en) 1988-10-18 1991-02-12 Eastman Kodak Company Color image reproduction apparatus having a digitally operated look-up table constructed by means of a least squares algorithm
JP4379399B2 (ja) 2005-09-06 2009-12-09 セイコーエプソン株式会社 ガンマカーブ生成方法及びその装置
JP5045179B2 (ja) 2006-03-29 2012-10-10 富士通セミコンダクター株式会社 テーブル値変換装置
US8593708B2 (en) * 2010-03-15 2013-11-26 Xerox Corporation Methods, systems and apparatus for jointly optimizing node locations and corresponding output values of a color look-up-table (LUT)
CN106878707B (zh) 2011-04-14 2018-05-08 杜比实验室特许公司 多颜色通道多元回归预测算子
CN104185991B (zh) * 2011-11-09 2018-07-06 弗劳恩霍夫应用研究促进协会 不同动态采样值范围的层之间的层间预测
GB2526943B (en) * 2011-12-20 2016-04-27 Imagination Tech Ltd Method and apparatus for compressing and decompressing data
US8504954B1 (en) 2012-03-30 2013-08-06 Apple Inc. Methodology for automatically generating series-approximated components
PL2941872T3 (pl) 2013-01-02 2019-03-29 Dolby Laboratories Licensing Corporation Kompatybilne wstecznie kodowanie dla sygnałów wideo o ultra wysokiej rozdzielczości z rozszerzonym zakresem dynamicznym
JP6376767B2 (ja) * 2014-02-14 2018-08-22 キヤノン株式会社 画像処理装置及び画像処理方法
WO2015128295A1 (en) 2014-02-26 2015-09-03 Thomson Licensing Method and apparatus for encoding and decoding hdr images
US10136147B2 (en) * 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493489A (zh) * 2011-04-14 2014-01-01 杜比实验室特许公司 基于原色分级模型的图像预测
CN104322072A (zh) * 2011-11-04 2015-01-28 杜比实验室特许公司 分层vdr编译码中的层分解
WO2013106190A1 (en) * 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
CN103916669A (zh) * 2014-04-11 2014-07-09 浙江宇视科技有限公司 高动态范围图像压缩方法及装置

Also Published As

Publication number Publication date
KR101909867B1 (ko) 2018-10-18
KR20180075671A (ko) 2018-07-04
JP2019503126A (ja) 2019-01-31
US20180332296A1 (en) 2018-11-15
US10542269B2 (en) 2020-01-21
EP3387833B1 (en) 2019-11-06
CN108370446A (zh) 2018-08-03
WO2017100359A1 (en) 2017-06-15
JP6470474B2 (ja) 2019-02-13
EP3387833A1 (en) 2018-10-17

Similar Documents

Publication Publication Date Title
RU2762384C1 (ru) Переформирование сигналов для сигналов широкого динамического диапазона
CN109155853B (zh) 用于高动态范围图像的色度整形
JP6181259B2 (ja) エンハンストダイナミックレンジ信号の階層符号化のための適応的再構成
US10575005B2 (en) Video coding and delivery with both spatial and dynamic range scalability
CN109068139B (zh) 用于环内再成形的方法、设备和计算机可读存储介质
US9584786B2 (en) Graphics blending for high dynamic range video
CN107836118B (zh) 像素预处理和编码的方法、装置和计算机可读存储介质
US10645403B2 (en) Chroma reshaping for high dynamic range images
US9230338B2 (en) Graphics blending for high dynamic range video
US20150237322A1 (en) Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
CN107995497A (zh) 高动态范围视频的屏幕自适应解码
US10027963B2 (en) Pre-dithering in high dynamic range video coding
CN113170205B (zh) 整形函数生成方法及装置以及图像解码方法及装置
EP2719176B1 (en) Visual display resolution prediction based on fused regions
CN108370446B (zh) 具有减小的内插误差的低复杂度查找表构造
EP3446484A1 (en) Enhancement layer masking for high-dynamic range video coding
CN116157824A (zh) 用于开环编解码器中的hdr成像的图像预测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant