CN105324997A - 用于增强动态范围信号的分层编码的自适应整形 - Google Patents

用于增强动态范围信号的分层编码的自适应整形 Download PDF

Info

Publication number
CN105324997A
CN105324997A CN201480034679.4A CN201480034679A CN105324997A CN 105324997 A CN105324997 A CN 105324997A CN 201480034679 A CN201480034679 A CN 201480034679A CN 105324997 A CN105324997 A CN 105324997A
Authority
CN
China
Prior art keywords
code word
value
edr
represent
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480034679.4A
Other languages
English (en)
Other versions
CN105324997B (zh
Inventor
苏冠铭
R·阿特肯斯
J·S·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN201611156282.XA priority Critical patent/CN106488246B/zh
Publication of CN105324997A publication Critical patent/CN105324997A/zh
Application granted granted Critical
Publication of CN105324997B publication Critical patent/CN105324997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Abstract

编码器接收将以分层表示被编码的输入的增强动态范围(EDR)图像。输入图像可以使用一个或多个视频编码器不支持的位深格式被伽玛编码或感知编码。该输入图像被重映射到一个或多个量化层以使用可用视频编码器来产生适合于压缩的输出码字。展现了确定用于线性和非线性映射函数的最佳函数参数的算法。给定映射函数,反向映射函数可以作为查找表被发送到解码器,或者它可以使用分段多项式近似来近似。还展现了用于表示反向映射函数的多项式近似技术以及减小颜色偏移的色度转化方案。

Description

用于增强动态范围信号的分层编码的自适应整形
相关申请的交叉引用
本申请要求以下专利申请的优先权:2013年6月17日提交的美国临时专利申请No.61/836,044;2014年3月12日提交的美国临时专利申请No.61/951,914;以及2014年5月23日提交的美国临时专利申请No.62/002,631,每件专利申请的全部内容特此通过引用并入。
本申请还涉及2014年3月25日提交的国际申请No.PCT/US2014/031716,该申请的全部内容通过引用并入本文。
技术领域
本发明一般涉及视频图像。更具体地,本发明的实施例涉及用于分层编码和解码的、具有高或增强动态范围的图像的自适应整形(reshape)。
背景技术
如本文中所使用的,术语“动态范围”(DR)可以与人类心理视觉系统(HVS)感知图像中的例如从最黑暗的暗(黑)到最明亮的亮(白)的强度(例如,照度、亮度)范围的能力有关。在这个意义上,DR与“场景参考(scene-referred)”强度有关。DR还可以与显示设备充分地或近似地呈现特定广度(breadth)的强度范围的能力有关。在这个意义上,DR与“显示器参考(display-referred)”强度有关。除非特定的意义在本文的描述中的任何点处被明确地指定为具有特别的重要性,否则应推断该术语可以在任一意义上(例如,可互换地)被使用。
如本文中所使用的,术语高动态范围(HDR)与跨越人类视觉系统(HVS)的一些14-15个数量级的DR广度有关。例如,具有(例如,在统计、生物计量或眼科意义上)基本上正常的视觉的适应良好的人类具有跨越大约15个数量级的强度范围。适应的人类可以感知如仅少数光子那么少的昏暗光源。然而,这些相同的人类可以感知沙漠、海或雪中的正午的太阳的近乎痛苦的耀眼强度(或者甚至瞥向太阳,但是短暂地以防止伤害)。该跨度不过对于“适应的”人类(例如,其HVS具有进行重置和调整的时间段的那些人)是可用的。
相反,与HDR相比较,在其上人类可以同时感知强度范围中的广泛广度的DR有些截短。如本文中所使用的,术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地与HVS可同时感知的DR有关。如本文中所使用的,EDR可以与跨越5至6个数量级的DR有关。因此,尽管与真实场景参考HDR相比较,可能有些较窄,但是EDR却表示宽的DR广度。
在实际中,图像包括一个或多个颜色分量(例如,亮度Y以及色度Cb和Cr),其中,每个颜色分量通过每一像素n位的精度表示(例如,n=8))。尽管亮度动态范围和位深不是等同的实体,但是它们通常是相关的。其中n≤8的图像(例如,彩色24位JPEG图像)被认为是标准动态范围的图像,而其中n>8的图像可以被认为是增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如,16位)浮点格式(诸如由IndustrialLightandMagic开发的OpenEXR文件格式)来进行存储和分发。
视频信号可以通过多个参数(诸如位深、颜色空间、色域和分辨率)表征。现代的电视和视频回放设备(例如,蓝光播放器)支持各种分辨率,包括标清(例如,720×480i)和高清(HD)(例如,1920×1080p)。超高清(UHD)是具有至少3,840×2,160分辨率(被称为4KUHD)以及高达7680×4320的选项(被称为8KUHD)的下一代分辨率格式。超高清也可以被称为UltraHD、UHDTV或超高视觉。如本文中所使用的,UHD表示高于HD分辨率的任何分辨率。
为了支持与旧有的8位回放设备以及新的HDR或UHD编码和显示技术的后向兼容,可以使用多种格式来将UHD和HDR(或EDR)视频数据从上游设备递送到下游设备。给定EDR流,一些解码器可以使用8位层的集合来重构内容的HDSDR或EDR版本。高级解码器可以使用以比传统的8位高的位深编码的层的第二集合来重构内容的UHDEDR版本以在更有能力的显示器上呈现它。如发明人在这里所意识到的,用于EDR视频的编码和分发的改进技术是所希望的。
在本部分中描述的方法是可以追寻的方法,但不一定是以前已设想或追寻的方法。因此,除非另有指示,否则不应仅仅由于在本部分中所描述的任一方法包括在本部分中就假定它们有资格作为现有技术。类似地,针对一种或多种方法识别出的问题不应基于本部分就假定已在任何现有技术中被认识到,除非另有指示。
附图说明
本发明的实施例在附图的图中通过示例的方式、而非以限制的方式被示出,并且在附图中,相似的附图标记指的是类似的元素,并且其中:
图1A描绘根据本发明的实施例的EDR分层编码的示例框架;
图1B描绘根据本发明的实施例的EDR分层解码的示例框架;
图2描绘基于幂函数的示例EDR信号整形函数,其中,函数参数α根据本发明的实施例而确定。
图3描绘根据本发明的实施例的用于确定用于EDR输入的前向成形函数的最佳指数的示例过程;
图4描绘根据本发明的实施例的用于确定EDR码字的前向映射的示例过程;
图5描绘根据本发明的实施例的输入EDR码字(vc)到基于块的缩放因子(k(vc))的中间映射的示例;
图6描绘根据本发明的实施例的输入EDR码字到最终输出的整形符号的示例映射;
图7描绘根据本发明的实施例计算的反向映射的示例;
图8A和图8B描绘根据本发明的实施例的色度范围缩放的示例;以及
图9描绘根据本发明的实施例的编码和解码管线的示例。
具体实施方式
本文中描述了用于具有增强动态范围(EDR)的视频图像的分层编码的自适应整形技术。在以下描述中,出于解释的目的,阐明了大量具体的细节,以便提供本发明的透彻理解。然而,将清楚的是,本发明可以在没有这些具体细节的情况下实施。在其它情况下,公知的结构和设备没有被详尽地描述,以便避免不必要地封闭、模糊或混淆本发明。
概述
本文中所描述的示例实施例涉及用于高效分层编码的、具有高或增强动态范围的视频图像的自适应整形。编码器接收将以分层表示被编码的输入的增强动态范围(EDR)图像。输入图像可以使用可用视频编码器中的一个或多个不支持的位深格式被伽玛编码或感知编码。输入图像被重映射到一个或多个量化层以使用可用视频编码器来产生适合于压缩的输出码字。
在一个实施例中,重映射是基于使用单个函数参数的幂函数。展现了基于对于输入EDR图像中的每个块计算基于块的复杂性量度(measure)、并然后评估量化图像中的量化引起的失真的量来确定最佳函数参数的技术。
在另一个实施例中,使用基于块的复杂性度量(诸如标准偏差)以及基于块的线性量化模型(其中,对于每个图像块确定单独的最优的量化器缩放器(scaler))来产生最佳映射。该单独的最优的缩放器被组合以对于每个输入码字确定包络斜率(envelopeslope),并且基于包络斜率来确定输入码字与输出码字之间的最优的前向映射函数。反向映射函数可以作为查找表被发送到解码器,或者它可以使用分段多项式近似来近似。
在另一个实施例中,给定反向映射查找表,使用分段多项式近似技术来近似逆向(inverse)映射函数。
在解码器中,对编码的位流层进行解码以产生解码的视频层,该解码的视频层被再组合以产生单个解码信号。然后,给定接收到的定义编码器整形或映射函数的参数,对解码信号进行逆向映射以产生从编码器发送到解码器的原始EDR信号的估计。
在另一个实施例中,可以对输入视频信号的色度颜色分量进行转化(translate),以使得期望的白点(whitepoint)的坐标被近似地移位(shift)到转化的色度范围的中心。
用于视频信号整形和分层分解的示例框架
分层编码和解码
现有的显示器和回放设备(诸如HDTV、机顶盒或蓝光播放器)通常支持高达1080pHD分辨率(例如,在每秒60帧时的1920×1080)的信号。对于消费者应用,这样的信号现在通常以其中通常色度分量具有比亮度分量低的分辨率的亮度-色度颜色格式(例如,YCbCr或YUV4:2:0颜色格式)、每一颜色分量每一像素使用8位的位深来进行压缩。由于8-位深和对应的低动态范围,这样的信号通常被称为具有标准动态范围(SDR)的信号。随着新的电视标准(诸如超高清(UHD))正被开发,可能所希望的是对具有增强分辨率和/或增强动态范围的信号进行编码。
视频图像通常被伽玛编码以补偿人类视觉系统的性质。例如,ITU-RRec.2020定义了UHDTV信号的推荐伽玛编码。对于EDR图像,感知量化(PQ)可以提供对于传统的伽玛编码的更好的替代。人类视觉系统以非常非线性的方式对增加的光水平(level)进行响应。人类看见刺激的能力受该刺激的亮度、该刺激的大小、构成该刺激的空间频率、以及眼睛在一个人观看该刺激的特定时刻适应的亮度水平影响。感知量化器函数将线性的输入灰度水平映射到与人类视觉系统中的对比灵敏度阈值更好地匹配的输出灰度水平。在其全部内容通过引用并入本文的、2012年12月6日提交的、J.S.Miller等人的标题为“Perceptualluminancenonlinearity-basedimagedataexchangeacrossdifferentdisplaycapabilities”、序号为PCT/US2012/068212的PCT申请(将被称为‘212申请)中描述了PQ映射函数的示例,在该申请中,给定固定的刺激大小,对于每一个亮度水平(即,刺激水平),根据最灵敏的适应水平和最灵敏的空间频率(根据HVS模型)来选择该亮度水平处的最小可见对比步长(step)。与传统的表示物理阴极射线管(CRT)设备的响应曲线、并且巧合地可能具有与人类视觉系统响应的方式非常粗略的相似性的伽玛曲线相比,如‘212申请所确定的PQ曲线使用相对简单的函数模型来模拟人类视觉系统的真实视觉响应。
在其全部内容通过引用并入本文的、2013年3月26日提交的、标题为“Encodingperceptually-quantizedvideocontentinmulti-layerVDRcoding”的、从现在开始将被称为‘388申请的美国临时申请序号61/805,388(该申请还于2014年3月25日被作为PCT/US2014/031716提交)中,发明人描述了使用两层编码器对PQ编码的EDR图像数据进行高效编码和传输的图像整形技术。本申请通过描述可应用于使用单层编码器或多层编码器两者对EDR数据进行编码的新颖的映射或整形技术来在‘388申请上进行了扩展。
图1A描绘根据本发明的实施例的EDR分层编码的示例框架。输入信号(102)包括具有可能已被伽玛或PQ编码的EDR像素值的视频帧的序列。对于总共L个编码层,该系统包括至少一个基本层(BL)视频编码器(120-0),并且可以包括一个或多个增强层(EL)视频编码器(120-1,120-L-1),直到L-1。例如,对于L=2,该系统包括双层编码器。视频编码器(120)可以全部是相同的或不同的,从而实现用于视频压缩的已知的或未来的编码格式中的任何一个,诸如:MPEG-2、MPEG-4、part2、H.264(或AVC)、H.265(或HEVC)等。此外,一个层中的视频编码器可以支持与另一个层中的视频编码器不同的位深。例如,不失一般性,实施例可以包括以下配置:
●单层HEVC编码器,其支持至少10位的位深,但是优选地支持12位或更多。
●双层编码器,其中,两个编码器可以使用相同的格式(比如说H.264)来进行编码,并且两个编码器支持相同的或不同的位深(比如说,8位和10位)
●双层编码器,其中,两个编码器可以使用不同的编码格式来进行编码,并且每一个可以支持不同的位深(比如说,8位、以及10位或更多)
●多层编码器,其中,至少一个编码器为8位MPEG-2编码器,而至少一个其它编码器为HEVC或H.264编码器。
视频编码器(120)可以全部通过单个处理器或者通过一个或多个处理器来实现。
根据实施例,信号整形模块(110)将输入的EDR信号(被表示为v)量化为更好地符合视频编码器(120)的特性(诸如最大支持位深)的信号s(112)。如本文中所使用的,术语整形、量化和(前向)映射表示将输入信号从第一动态范围映射到通常低于第一动态范围的第二动态范围的输出信号的等同功能,并且可以可互换地使用。
令Bl表示由第l层视频编码器(120-l,l=0,1,2,…,L-1)使用的位深,则,对于总共NT=N0+N1+…+NL-1个码字,每个层可以支持多达Nl=2Bl个输入码字。例如,对于L=1(单层)且B0=10,存在210=1024个量化码字。对于L=2(双层)且B0=B1=8,则存在28+28=512个量化码字。当L=2且B10=10、B1=8时,则存在总共210+28=1280个量化码字。因此,该系统可以适应视频编码标准的任何组合,每个视频编码标准以它自己的位深进行操作。
令s=f(v)表示信号整形/量化函数(110)。稍后将更详细地描述这样的函数的示例。标识整形函数的参数可以被包括在元数据信号(119)中。在一些实施例中,元数据(119)可以被元数据编码器(125)编码,并且经编码的元数据(127)可以被用信号发送到解码器(如图1B中所描绘的解码器),以用于适当的逆向量化和解码。在另一个实施例中,信号整形(110)可以包括信号整形函数族,从而对于一个或多个层或者层内的一个或多个色度分量,使用单独的成形函数。例如,在实施例中,用于基本层(l=0)的信号整形函数可以是线性函数,而用于第一增强层(l=1)的信号整形函数可以包括非线性函数或分段线性函数。
层分解
在实施例中,令量化信号s(112)的像素值被分成由段边界{pi,i=0,1,…,L}限定的L个段,其中,p0通常表示对于s的最小可能值(例如,p0=0),并且
p i = Σ j = 0 i - 1 N j 对于i=1,…,L(1)
例如,对于L=1,p0=0并且p1=N0。该模块将把所有的码字编码到基本层。
对于L=2,p0=0,p1=N0,p2=N0+N1。在实施例中,将在层0中对具有{p0,p1}之间的码字的像素进行编码,并且将在层1中对具有{p1,p2}之间的码字的像素进行编码。一般地,给定L个层,对于每个层l,该层处的sl个像素被编码为:
sl=Clip3(s,pl,pl+1-1)-pl,l=0,1,2,…,L-1,(2)
其中,d=Clip3(s,a,b)表示裁剪(clip)函数,其中,如果a≤s≤b,则d=s,如果s<a,则d=a,以及如果s>b,则d=b。
在层分解(115)之后,在实施例中,每个层sl(117-l,l=0,1,…,L-1)可以被视频编码器(120)独立地编码以产生经压缩的位流(122)。如在‘388申请中所讨论的,在一些实施例中,可以将图1A中所描绘的系统修改为也允许层间预测。在这样的实施例中,预测器可以被用于基于l-1层的像素值来估计第l层的像素值;然后不是直接对第l层的像素值进行编码,而是简单地对实际值与预测值之间的残差进行编码和发送。
在一些实施例中,经编码的位流(122)、经编码的元数据(127)和其它数据(例如,音频数据)可以被复用为单个位流,并且作为单个复用的位流(未示出)被发送到解码器。
图1B描绘了根据本发明的实施例的EDR分层解码的示例框架。如图1B中所描绘的,在接收的可以组合音频、视频和辅助数据(未示出)的位流的解复用之后,将接收的经编码的位流(122)中的每一个馈送给视频解码器阵列(130)。解码器(130)对应于编码器(120),并且产生经解码的视频信号(132)中的一个或多个。使用信号逆向整形和层合成器(140)单元,接收的分层信号被组合和逆向成形以产生信号(142),其表示原始EDR信号(102)的估计。在实施例中,可以如下产生输出EDR信号(142):
v ^ = f - 1 ( &Sigma; i = 0 L - 1 s ^ i ) , - - - ( 3 )
其中,f-1()表示信号整形函数(110)的逆(或逆的接近的近似),并且表示重构的层信号(132),其表示原始sl信号(117)的非常接近的近似。如图1B中所描绘的,在接收的层之间不存在层间预测;然而,如视频编码领域中已知的,该系统可以被容易地扩展到如下的解码器:在这些解码器中,使用接收的残差信号和层间预测来产生信号。
使用幂函数的EDR信号整形
如‘388申请中所描述的,对于PQ编码的信号,在实施例中,信号整形函数(110)可以被表达为:
s i = r o u n d ( ( c H - c L ) ( v i - v L v H - v L ) &alpha; + c L ) , - - - ( 4 )
其中,vL和vH表示考虑输入EDR信号(102)下的颜色通道中的最小值和最大值,并且cL和cH表示对应的最小输出值和最大输出值。例如,在实施例中,如等式(1)中所定义的,cL=0并且cH=pL-1。α的值是恒定的,但是可以基于每一帧、每一场景或其它合适的标准而改动和变化。图2描绘了对于α<1的等式(4)的幂整形函数的示例。在实施例中,如果输入(112)被PQ编码,则α>1,否则,如果输入(112)被伽玛编码,则α<1。
在‘388申请中,描述了使用基于块内的像素的标准偏差或者块内的最小像素值与最大像素值之间的差的块复杂性度量(MEDR)来确定α的最佳值的方法。除了这些度量之外,可以基于块的空间特性或频率特性来应用其它复杂性量度。例如,MEDR可以对应于块中的像素的方差、块的DC值、或者其DCT系数或像素值的另一个函数。
考虑包括F个视频帧的视频场景,每个帧被分成N个块(例如,每个块为8×8个像素)。图像块可以重叠,或者在优选实施例中,不重叠。图3描绘了基于一般化的块复杂性量度MEDR(j,n)(例如,不失一般性,块内的像素值的标准偏差)来计算最佳α的过程。
如图3中所描绘的,在步骤(305)(在该步骤中,对场景中的所有帧中的每个块计算MEDR(j,n))之后,在步骤(310)中,构造集合Фj,该集合Фj包括满足某一标准(例如,MEDR(j,n)>T,其中,T是预先指定的阈值,比如说0)的所有图像块。
步骤(315)、(320)和(325)包括对于预定范围(例如,MIN_α≤αj≤MAX_α)内的各种αj值计算的循环(327)。例如,开始αj可以被设置为等于1,并且然后可以根据原始EDR视频数据被如何编码而增大或减小。例如,对于PQ编码的数据,它将被增大,而对于伽玛编码的数据,它将被减小。在步骤(320)中,使用给定的αj和等式(4),对输入数据EDR进行量化,并且可以对每个经量化的块计算新的度量MLD(j,n,αj)。在一些实施例中,复杂性量度MLD可以与复杂性量度MEDR相同。在一些其它的实施例中,这两个复杂性量度可以是不同的。对输入的EDR数据量化越多,经量化的信号(112)的特性将改变越多。理想地,量化(110)应使输入尽可能少地失真。在步骤(325)中,可以应用由于量化而导致的失真的量度以识别选择的αj是否是最佳的。例如,在实施例中,如果
| &Phi; j | - &Sigma; n &Element; &Phi; J ( M L D ( j , n , &alpha; j ) > T &sigma; ) = = 0 ,
则αj可以被选择为最佳的,其中,Tσ是另一个预定的阈值(例如,Tσ=0)。
在场景中的所有块已被量化之后,在步骤(330)中选择总体最优的alpha值。例如,在实施例中,对于α>1,总体最优的α被选择为所有最佳的αj值之中最小的那一个。类似地,对于α<1,总体最优的α被选择为所有最佳的αj值之中最大的那一个。
在一些实施例中,为了针对由于视频编码器(120)的有损压缩而导致的量化影响进行调整,可以进一步调整总体最佳的alpha(例如,α=α+Δα,其中,当α>1时Δ为负值,而当α<1时Δ为正值)。相同的参数优化过程也可以被容易地扩展到其它的由多于一个的函数参数表征的线性或非线性量化和整形函数。
表1以伪代码提供了根据实施例的基于图3中所描绘的过程对伽玛编码的值进行整形的示例算法,其中,期望的α<1。
表1—对于伽玛编码的EDR信号计算最优α的方法
在解码器中,逆向成形运算(140)可以被表达为:
v ^ i = ( v H - v L ) ( s ^ i - c L c H - c L ) 1 / &alpha; + v L . - - - ( 5 )
在一些实施例中,等式(4)的幂函数可以被表达为分段线性多项式、分段2-d或3-d阶多项式或分段B样条。在这样的实现中,建议应强制执行段之间的平滑度和单调性约束以避免量化相关的伪像。然后可以应用与较早描述的或者在‘388申请中描述的那些搜索方法类似的搜索方法。
块自适应整形函数
再次考虑包括F个视频帧的视频场景,每个帧被分成N个块(例如,每个块为8×8个像素)。图像块可以重叠,或者在优选实施例中,不重叠。图4描绘了根据实施例的将输入的EDR码字(102)映射为经整形的输出值(112)的示例数据流程。
如前所述,可以定义基于块的复杂性量度(MEDR)。在实施例中,在步骤(405)中,不失一般性,考虑将基于块中的像素的标准偏差(std)而计算的复杂性量度。注意,检查帧j(j=1,2,…,F)中的块n的标准偏差是否为零(例如,MEDR(j,n)=stdjn=0)等于检查该块中的最大值(例如,B(j,n))与该块中的最小值(例如,A(j,n))之间的差是否为0。
假定整形函数(110)通过分段线性线构造,则对于输入vi∈[A(j,n)B(j,n)],局部量化器可以被表达为:
s i = r o u n d ( k ( j , n ) ( c H - c L ) ( v i - v L v H - v L ) + c L ) , - - - ( 6 )
其中,k(j,n)是调整第j帧中的第n块处的量化器的斜率的缩放因子。
在步骤(410)中,令Ф表示块度量满足某一标准的所有块的集合。例如,令Ф表示在量化之前具有非零标准偏差的所有块的集合,或者
φ={(j,n)|B(j,n)-A(j,n)>0},(7)
在实施例中,给定阈值Tth(其中,不失一般性,Tth≥1),给定块的最小像素值和最大像素值,在步骤(415)中,可以如下导出最优的k(j,n):
k ( j , n ) = T t h v H - v L ( c H - c L ) ( B ( j , n ) - A ( j , n ) ) . - - - ( 8 )
给定数据{A(j,n),B(j,n),k(j,n)},该三元组值揭示了,在段[A(j,n),B(j,n)]内部,量化器应具有至少k(j,n)的斜率。假定特定的EDR码(例如,vc)可以属于多个[A(j,n),B(j,n)]段,则对于EDR码字vc,需要对于每个码字确定最大斜率以满足所有块。
令θ(vc)表示覆盖码字vc的所有块之中的所有段的集合,或者
θ(vc)={(j,n)|A(j,n)≤vc≤B(j,n),(j,n)∈φ}.(9)
然后,在步骤(420)中,码字vc处的所需斜率可以被确定为属于θ(vc)集合的那些块内的所有最优斜率的包络,或者
k ( v c ) = max ( j , n ) &Element; &theta; ( v c ) k ( j , n ) - - - ( 10 )
在步骤(425)中,令所有这样的包络斜率的和被表示为:
k = &Sigma; &nu; e k ( v c ) , - - - ( 11 )
然后,对于每个vc码字,不失一般性,在步骤(430)中,可以如下定义累积斜率函数:
K ( v c ) = &Sigma; i = 0 v c k ( i ) . - - - ( 12 )
为了保证所有的码字被映射在[cL,cH]界限内,可以使用以下等式来计算从vc码字到si值的映射:
K &OverBar; ( v c ) = r o u n d ( c H - c L k K ( v c ) ) . - - - ( 13 )
给定等式(13),可以使用前向映射查找表(例如,)来计算输入的vc值和输出的si值之间的映射。在实施例中,该表可以以数据存储,或者作为图像元数据(119)的一部分被发送到解码器以使得解码器可以重构逆向映射过程。
在示例实施例中,表2使用伪代码概括了图4中所描绘的映射过程。
表2
在一些实施例中,在等式(12)中,替代函数可以被用于计算累积斜率函数K(vc)。例如,可以如以下等式中那样在k(vc)值被求和之前对k(vc)值进行滤波或加权:
k ( v c ) = &Sigma; i = - u u w i k ( v c + i ) , - - - ( 14 )
其中,wi表示具有(2u+1)个滤波器抽头的滤波器的滤波器系数或预定权重(例如,u=2并且滤波器系数对应于低通滤波器的那些滤波器系数)。
图5描绘了给定[0,255]的[cL,cH]范围的对于帧的测试序列的、vc码字对包络斜率k(vc)值的示例绘图。
给定图5中描绘的数据,图6描绘了vc映射的示例。
逆向整形
在解码器中,给定等式(13)的值,可以如下确定逆向量化器或整形函数(140):
对于每个经解码的码字
&omega; ( s ^ c ) = { i | K &OverBar; ( v i ) = s ^ c } , - - - ( 15 )
K &OverBar; - 1 ( s ^ c ) = &Sigma; i &Element; &omega; ( s ^ c ) v i | &omega; ( s ^ c ) | - - - ( 16 )
换句话说,对于量化域中的给定码字通过以下操作来构造对应的估计的EDR码字首先对具有量化值的所有像素进行分组,找到对应的EDR码字,并然后对所有收集的EDR码字取平均。从等式(16),后向查找表可以被构造,并且被以数据存储或者例如作为元数据(119)的一部分发送到解码器。
给定图6中描绘的数据,图7描绘了映射或逆向整形(140)的示例。
在实施例中,可以使用元数据(119,127)将由关系定义的映射发送到解码器。这样的方法就位率开销来说可能太昂贵。例如,对于8位数据,查找表可以包括每次存在场景改变时将发送的255个条目。在其它实施例中,可以将逆向映射转化为分段多项式近似。这样的多项式通常可以包括一阶多项式和二阶多项式,尽管也可以使用更高阶的多项式或B样条。对于某一层l(l=0,1,…,L-1)近似LUT的多项式的数量可以根据可用带宽和处理复杂性而变化。在实施例中,基本层使用多达8个段,而增强层使用单个段。
表3描绘了根据实施例的使用二阶多项式来近似解码器LUT表的示例算法。
表3—使用2d阶多项式的LUT近似
如表3中所描绘的,在实施例中,近似过程的输入包括:(比如说,使用等式(16)计算的)原始查找表、LUT中的值与通过多项式近似产生的那些值之间的可接受的误差容限、可用码字的数量、以及其第一码字值(参见等式(1))。输出可以包括每个多项式的端点(也被称为枢轴点)以及多项式系数。
从第一枢轴点开始,该算法试图不失一般性地使用二次多项式来拟合可用码字的最大可能范围。可以使用任何已知的多项式拟合算法,诸如均方误差多项式拟合等。
当计算的最大误差超过输入容限时,则存储最优多项式的参数,并且开始搜索新的多项式,直到整个LUT表被映射为止。
在一些实施例中,可以用于近似LUT的多项式的数量可以被约束为固定值,比如说八个。在该情况下,可以将更高的误差容限融合到算法中。
表3的方法也可以被容易地修改以适应其它近似函数,诸如更高阶的多项式、B样条、或近似函数的组合。
感知均匀的颜色空间中的编码
视频信号通常在熟悉的RGB颜色空间中被呈现;然而,大多数视频压缩标准(诸如MPEG-2、H.264(AVC)、H.265(HEVC)等)已被优化以在对立的颜色空间(诸如YCbCr或YUV)中进行操作。这些颜色空间对于对8-10位标准动态范围(SDR)视频进行编码并发送是足够的,然而,从每一像素的位数要求的观点来讲,当对EDR视频进行编码并发送时,它们可能不是最高效的。例如,在过去,Lu’v’和Log(L)u’v’颜色空间也已被建议。
如发明人所意识到的,感知均匀空间中的信号的编码可能得益于u’和v’色度数据在被视频编解码器处理之前的附加处理。例如,在实施例中,在编码器中,这样的处理可以被作为信号整形过程(110)的一部分对输入信号(102)执行。
白点转化
在实施例中,从线性XYZ到Lumau’v’颜色空间的转换可以包括以下步骤:
a)定义白点(例如,D65)的坐标
b)针对Luma=f(Y)进行求解,以及
c)从X、Y和Z,针对u’和v’进行求解
如本文中所使用的,函数f(Y)表示任何明度相关的函数,诸如L(或L’)、log(L)等。在优选实施例中,f(Y)可以表示如在‘212申请中所描述的感知量化(PQ)映射函数。
在实施例中,白点可以被定义为具有u’坐标和v’坐标的D65(6500K):
Du=d65u=0.1978300066428;
Dv=d65v=0.4683199949388;
在实施例中,可以如下导出u’和v’:
如果(X+15Y+3Z)≠0,则
u &prime; = 4 X X + 15 Y + 3 Z , - - - ( 17 a )
v &prime; = 9 Y X + 15 Y + 3 Z , - - - ( 17 b )
并且如果(X+15Y+3Z)=0,则
u'=Du(17c)
v'=Dv(17d)
逆向操作包括:
a)定义白点(例如,D65)的坐标
b)针对Y=f-1(Luma)进行求解
c)从u’和v’,针对X和Z进行求解
例如,在使用根据‘212申请的感知量化函数的实施例中,可以应用对应的逆向PQ映射来产生Y个像素值。
在实施例中,可以如下导出X和Z:
如果v'≠0,则
X = Y 9 u &prime; 4 v &prime; , - - - ( 18 a )
Z = Y 12 - 3 u &prime; - 20 v &prime; 4 v &prime; , - - - ( 18 b )
并且如果v’=0,则X=Z=Y。(18c)
图8A描绘了u’v’色度空间中的白点(805)(例如,D65)的传统映射。如图8A中所描绘的,u’和v’色度值的范围对于u’近似为(0,0.623),对于v’近似为(0,0.587)。如图8A中所描绘的,D65白点在u’v’信号表示中不居中。这可能在对色度分量进行子采样和上采样以在原始的4:4:4颜色格式与在视频编码中通常使用的4:2:0或4:2:2颜色格式之间转化之后导致颜色偏移。为了缓解这样的颜色偏移,建议将变换函数应用于色度值。在一个实施例中,变换函数将白点近似移位到经转化的u’v’的中心;然而,在可能想要看到色度误差下降的情况下,白点可以被转化为任何其它的颜色值。例如,如果经转化的值u′t和v′t在范围(0,1)中,则可以应用以下映射:
u′t=(u′-Du)a1+b1,(19a)
v′t=(v′-Dv)a2+b2,(19b)
其中,Du和Dv表示所选择的白点的原始的u’坐标和v’坐标,(b1,b2)确定白点在转化的颜色空间中的期望位置的坐标,并且ai(i=1,2)是基于期望的转化点以及u’和v’的最小值和最大值而计算的常数。在一个实施例中,转化参数(例如,a1和a2)对于整个视频序列可以是固定的。在另一个实施例中,可以基于每一个场景或每一个帧来计算转化参数以利用传入(incoming)的内容的色度范围的变化。
图8B描绘了根据示例实施例的白点(805)在经转化的色度空间中的映射。在图8B中,原始的u’和v’色度值被转化使得所选择的点(例如,D65)近似处于经转化的色度空间的中心(0.5,0,5)。例如,如果经转化的值u′t和v′t在(0,1)中,则对于b1=b2=0.5,在一个实施例中,可以应用以下映射:
u′t=(u′-Du)1.175+0.5,(20a)
v′t=(v′-Dv)1.105+0.5,(20b)
其中,Du和Dv表示所选择的白点的u’坐标和v’坐标。该转化将导致色度误差表现为欠饱和,而不是色调偏移。本领域的普通技术人员将意识到,非线性函数也可以被应用于u’和v’色度值来实现相同的转化。这样的非线性函数可以将更高的精度分配给近中性色以进一步降低由于编码和量化而导致的颜色误差的可见性。
减小色度熵
如果u’和v’像素分量被乘以光度的函数,则可以进一步改进色度细节的可见性。例如,在实施例中,可以如下导出经转化的色度值:
u′t=g(Luma)(u′-Du)a1+b1,(21a)
v′t=g(Luma)(v′-Dv)a2+b2,(21b)
其中,g(Luma)表示亮度通道的函数。在实施例中,g(Luma)=Luma。
在解码器中,传入的信号可以被表示为Lumau’tv’t。在许多应用中,该信号在进一步处理之前必须被转换回XYZ、RGB或某一其它的颜色空间。在示例实施例中,从Lumau’tv’t到XYZ的颜色转换过程可以包括以下步骤:
a)取消(undo)亮度编码
Y=f-1(Luma)
b)取消对u’t和v’t值的范围缩放以恢复u’和v’
c)使用等式(18)来还原X和Z
在一些实施例中,可以在任何颜色变换之前将传入的信号的Luma、u’t和v’t分量规范化到(0,1)范围中。在一些实施例中,等式(17)-(21)可以使用查找表、乘法和加法的组合来实现。例如,在实施例中,令
Y=f-1(Luma),
B=3u′,
C=20v′,并且
D=1/(4v’)
表示以Luma、u’和v’作为其输入的三个查找表的输出,然后,从等式(18),可以如下使用四个乘法和两个加法来计算X和Z值:
Z=(Y*D)*(12-B-C),
并且
X=(Y*D)*(3*B).
例如,在实施例中,对于10位编码的信号,每个LUT可以具有1024个条目,每个条目对于目标应用处于足够高的精度(例如,32位)。
图9描绘了根据本发明的实施例的编码和解码管线的示例。输入信号(902)可以为RGB4:4:4或任何其它合适的颜色格式。在步骤(910)中,例如通过对亮度值使用感知量化(PQ)映射并且对色度值使用等式(17),信号(902)被转化为感知Lumau’v’格式。在步骤(915)中,应用例如如等式(19)-(21)中所描绘的变换以将原始的u’v’色度值转化为经转化的色度值u’t和v’t,以使得白点被近似放置在经转化的色度空间的中心处。经颜色变换和转化的Lumau’tv’t4:4:4信号(例如,917)可以在被视频编码器(920)编码之前被颜色子采样(未示出)为4:2:0或4:2:2格式。视频编码器(920)可以包括如前所述的信号整形(110)和层分解(115)过程。在接收器上,视频解码器(930)产生解码的信号(932)。视频解码器(930)可以包括信号逆向整形和层合成器(140)。在可选的颜色上采样(例如,从4:2:0到4:4:4)之后,反向色度转化步骤(935)可以通过使(915)中的转化操作反向来将Lumau’tv’t信号(932)转化回Lumau’v’信号(937)。最后,可以将Lumau’v’信号(937)转化为RGB或其它适当的颜色空间中的输出信号(942)以用于显示或进一步的处理。
感知量化的IPT颜色空间中的编码
白点转化也可以被应用于其它颜色空间,诸如IPT颜色空间或IPT-PQ颜色空间,表现为理想地适合于具有增强或高动态范围的视频信号的编码的感知量化的颜色空间。IPT-PQ颜色空间在其全部内容通过引用并入本文的、R.Atkins等人的、标题为“Displaymanagementforhighdynamicrangevideo”的、2014年2月13日提交的PCT申请PCT/US2014/016304中首次被描述。
如其全部内容通过引用并入本文的、Proc.6thColorImagingConference:ColorScience,Systems,andApplications,IS&T,Scottsdale,Arizona,Nov.1998,pp.8-13中的、F.Ebner和M.D.Fairchild的“Developmentandtestingofacolorspace(ipt)withimprovedhueuniformity”(将被称为Ebner论文)中所描述的IPT颜色空间是人类视觉系统中的锥体之间的颜色差异的模型。在这个意义上,它像YCbCr或CIE-Lab颜色空间;然而,在一些科学研究中已表明比这些空间更好地模仿人类视觉处理。像CIE-Lab那样,IPT是对于某一参考亮度的规范化空间。在实施例中,规范化可以基于目标显示器的最大亮度。
如本文中所使用的术语“PQ”指的是感知量化。人类视觉系统以非常非线性的方式对增加的光水平进行响应。人类看见刺激的能力受该刺激的亮度、该刺激的大小、构成该刺激的空间频率、以及眼睛在一个人观看该刺激的特定时刻适应的亮度水平影响。在优选实施例中,感知量化器函数将线性的输入灰度水平映射到与人类视觉系统中的对比灵敏度阈值更好地匹配的输出灰度水平。‘212申请中描述了PQ映射函数的示例,在该申请中,给定固定的刺激大小,对于每一个亮度水平(即,刺激水平),根据最灵敏的适应水平和最灵敏的空间频率(根据HVS模型)来选择该亮度水平处的最小可见对比步长。与传统的表示物理阴极射线管(CRT)设备的响应曲线、并且巧合地可能具有与人类视觉系统响应的方式非常粗略的相似性的伽玛曲线相比,如‘212申请所确定的PQ曲线使用相对简单的函数模型来模拟人类视觉系统的真实视觉响应。
表1描述了用于在显示器的一个点处将数字视频码值转换为绝对线性亮度水平的感知曲线EOTF的计算。还包括用于将绝对线性亮度转换为数字码值的逆向OETF计算。
表1
示例性等式定义
D=感知曲线数字码值,SDI-法定无符号整数,10或12位
b=数字信号表示中的每一分量的位数,10或12
V=规范化的感知曲线信号值,0≤V≤1
Y=规范化的亮度值,0≤Y≤1
L=绝对亮度值,0≤L≤10,000cd/m2
示例性EOTF解码等式:
V = D - 4 &CenterDot; 2 b - 10 1015 &CenterDot; 2 b - 10 Y = ( max &lsqb; ( v 1 / m - c 1 ) , 0 &rsqb; c 2 - c 3 V 1 / m ) 1 / n L = 10 , 000 &CenterDot; Y - - - ( t 1 )
示例性OETF编码等式:
Y = L 10 , 000
V = ( c 1 + c 2 Y n 1 + c 3 Y n ) m - - - ( 12 )
D = I N T ( 1015 &CenterDot; V &CenterDot; 2 b - 10 ) + 4 &CenterDot; 2 b - 10 - - - ( t 3 )
示例性常数:
n = 2610 4096 &times; 1 4 &ap; 0.15930176
m = 2523 4096 &times; 128 = 78.84375
c 1 = c 3 - c 2 + 1 = 3424 4096 = 0.8359375
c 2 = 2413 4096 &times; 32 = 18.8515625
c 3 = 2392 4096 &times; 32 = 18.6875
注释:
1.运算符INT对于0至0.4999…的范围中的小数部分返回值0,而对于0.5至0.9999…的范围中的小数部分返回值+1,即,它对大于0.5的小数进行上舍入。
2.所有常数被定义为12位有理数的整数倍以避免四舍五入问题。
3.R、G或B信号分量将以与上述Y信号分量相同的方式计算。
将信号转换到IPT-PQ颜色空间可以包括以下步骤:
a)将信号从输入的颜色空间(例如,RGB或YCbCr)转换到XYZ
b)将信号如下从XYZ转换到IPT-PQ:
a.将3×3XYZ应用于LMS矩阵以将信号从XYZ转换到LMS
b.将LMS信号的每个颜色分量转换为感知量化的LMS信号(L’M’S’或LMS-PQ)(例如,通过应用等式(t2))
c.将3×3LMS应用于IPT矩阵以将LMS-PQ信号转换到IPT-PQ颜色空间
3×3XYZ到LMS和L’M’S’(或LMS-PQ)到IPT转换度量的示例可以在Ebner论文中找到。假定IPT-PQ信号的色度分量(例如,P’和T’)在范围(-0.5,0.5)中,则可以加上偏置(bias)α(例如,α=0.5),以使得色度分量的范围基本上在范围(0,1)内,例如:
P′=P′+a(22a)
T′=T′+a(22b)
逆向颜色操作可以包括以下步骤:
a)减去被加到色度分量的任何偏置值
b)将3×3I’P’T’应用于LMS转换矩阵以从IPT-PQ转换到LMS-PQ
c)应用逆向PQ函数以从LMS-PQ转换到LMS(例如,通过使用等式(t1))
d)将3×3LMS应用于XYZ变换以从LMS转换到XRZ,以及
e)从XYZ转换到选择的设备相关的颜色空间(例如,RGB或YCbCr)。
在实际中,可以使用预先计算的1-D查找表(LUT)来执行编码和/或解码期间的颜色变换步骤。
减小色度熵
如前所述,如果P’和T’像素分量被乘以光度(例如,I’)的函数,则可以进一步改进色度细节的可见性。例如,在实施例中,可以如下导出转化的色度值:
P′t=g(I′)(P′-a)+a,(23a)
T′t=g(I′)(T′-a)+a,(23b)
其中,g(I’)表示亮度通道(I’)的线性或非线性函数。在实施例中,g(I’)=I’。
示例计算机系统实现
本发明的实施例可以利用以下来实现:计算机系统、在电子电路系统和组件中配置的系统、集成电路(IC)器件(诸如微控制器)、现场可编程门阵列(FPGA)、或另一个可配置的或可编程的逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)、和/或包括这样的系统、器件或组件中的一个或多个的装置。计算机和/或IC可以执行、控制、或执行与用于具有增强动态范围(EDR)的视频图像的分层编码的自适应整形技术(诸如本文中所描述的那些)相关的指令。计算机和/或IC可以计算与本文中所描述的自适应整形过程相关的各种参数或值中的任何一个。图像和视频实施例可以以硬件、软件、固件和其各种组合来实现。
本发明的某些实现包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如,显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以实现与用于具有增强动态范围(EDR)的视频图像的分层编码的自适应整形技术相关的方法,如上所述通过执行可供处理器访问的程序存储器中的软件指令。还可以以程序产品的形式来提供本发明。程序产品可以包括携载计算机可读信号集的任何介质,该计算机可读信号集包括当被数据处理器执行时使数据处理器执行本发明的方法的指令。根据本发明的程序产品可以为多种多样的形式中的任何一种。程序产品可以包括例如物理介质,诸如磁性数据存储介质(包括软盘、硬盘驱动器)、光学数据存储介质(包括CDROM、DVD)、电子数据存储介质(包括ROM、闪速RAM)等。程序产品上的计算机可读信号可选地可以被压缩或加密。
在组件(例如,软件模块、处理器、组装件、器件、电路等)在以上被提到的情况下,除非另有指示,否则对该组件的论述(包括对“部件(means)”的论述)应被解释为包括作为该组件的等同物的、执行所描述的组件的功能(例如,在功能上等同)的任何组件,包括在结构上不等同于所公开的结构的、执行本发明的示出的示例实施例中的功能的组件。
等同、扩展、替代和其它
如此描述了与用于具有增强动态范围(EDR)的视频图像的分层编码的自适应整形技术相关的示例实施例。在前面的说明书中,参照在不同实现之间可以有所变化的大量的具体细节描述了本发明的实施例。因此,本发明是什么、申请人意图本发明是什么的唯一的且排他的指示是本申请发布的特定形式的一组权利要求,这样的权利要求以该特定形式发布,包括任何后续修正。在本文中对于这样的权利要求中所包含的术语明确阐述的任何定义应决定这样的术语在权利要求中所使用的意义。因此,在权利要求中没有明确记载的限制、元素、性质、特征、优点或属性均不得以任何方式限制这样的权利要求的范围。说明书和附图因此要在例示性、而非限制性的意义上被看待。

Claims (28)

1.一种用于将增强动态范围(EDR)的输入码字映射到量化的输出码字的方法,所述方法包括:
接收包括图像块的输入增强动态范围(EDR)图像的序列;
对于所述输入EDR图像的序列中的至少一个输入图像中的图像块中的一个或多个计算块复杂性度量;
构造图像块的第一集合,所述第一集合包括其计算的块复杂性度量满足预定标准的图像块;
对于所述图像块的第一集合中的每个块,根据用于线性量化模型的斜率产生函数来确定最优斜率(k(j,n));
对于所述输入EDR图像的序列的每个输入码字(vc):
构造图像块的第二集合,所述第二集合包括属于所述图像块的第一集合的块,并且其中,所述输入码字在图像块的最小像素值和最大像素值内;并且
根据所述图像块的第二集合中的块的最优斜率产生所述输入码字的包络斜率(k(vc));
计算所有码字的所有包络斜率的和(k);以及
对于每个输入码字:
产生累积斜率(K(vc)),所述累积斜率包括所述输入码字中的一个或多个的包络斜率的函数;并且
产生所述输入码字与输出码字之间的映射函数,所述映射函数至少基于码字的累积斜率以及所有码字的所有包络斜率的和而计算。
2.根据权利要求1所述的方法,还包括:
将所述映射函数应用于输入EDR图像以产生整形图像;
将所述整形图像分解为一个或多个层;以及
使用一个或多个视频编码器来对所述一个或多个层进行编码。
3.根据权利要求2所述的方法,其中,给定整形像素s和L个层,所述分解步骤包括将s像素映射到sl像素值:
sl=Clip3(s,pl,pl+1-1)-pl
其中,l=0,1,…,L-1,表示所述L个层中的一个,Clip3()是在pl与pl+1-1的值之间裁剪所述整形像素s的裁剪函数,并且pl表示整形序列在层级l处的最小像素值。
4.根据权利要求3所述的方法,其中,p0=0,并且
对于i=1,...,L,
其中,Nj表示层级j处的视频编码器可用的码字的数量。
5.根据权利要求1所述的方法,其中,所述线性量化模型包括由下式表示的函数:
s i = r o u n d ( k ( j , n ) ( c H - c L ) ( v i - v L v H - v L ) + c L ) ,
其中,vL和vH表示EDR输入序列中的最小码字值和最大码字值,cL和cH表示最小输出码值和最大输出码值,k(j,n)表示所述EDR输入序列中的第j帧中的第n块的量化斜率,vi表示输入码字,并且si表示对应的输出码字。
6.根据权利要求5所述的方法,其中,通过计算下式来产生最优斜率k(j,n):
k ( j , n ) = T t h v H - v L ( c H - c L ) ( B ( j , n ) - A ( j , n ) ) ,
其中,Tth是预定阈值,B(j,n)表示帧j中的块n中的最大像素值,并且A(j,n)表示帧j中的块n中的最小像素值。
7.根据权利要求1所述的方法,其中,计算图像块的块复杂性度量包括计算所述图像块中的最大像素值与最小像素值之间的差,并且其中,所述图像块的第一集合包括其块复杂性度量大于0的所有图像块。
8.根据权利要求1所述的方法,其中,产生vc码字的包络斜率k(vc)包括计算:
k ( v c ) = m a x ( j , n ) &Element; &theta; ( v c ) k ( j , n ) ,
其中,k(j,n)表示所述输入EDR图像的序列的帧j中的块n的最优斜率,并且θ(vc)表示所述图像块的第二集合。
9.根据权利要求1所述的方法,其中,计算码字vc的累积斜率K(vc)包括计算:
K ( v c ) = &Sigma; i = 0 v c k ( i ) , 其中,
k(i)表示第i输入EDR码字的包络斜率。
10.根据权利要求1所述的方法,其中,产生所述输入码字与输出码字之间的映射函数包括计算:
K &OverBar; ( v c ) = r o u n d ( c H - c L k K ( v c ) ) , 其中,
K(vc)表示码字vc的累积斜率,k表示所有码字的所有包络斜率的和,并且cL和cH表示最小输出码值和最大输出码值。
11.在EDR编码系统中,一种用于产生接收的映射码字与输出的EDR码字之间的逆向映射的方法,其中,所述接收的映射码字根据权利要求1的方法产生,所述方法包括:
对于接收的映射码字,识别可以使用前向映射函数而被映射到所述接收的映射码字的所有EDR码字;以及
通过将所述接收的映射码字映射到输出的EDR码字来产生逆向映射,所述输出的EDR码字基于所有识别的被映射到所述接收的映射码字的EDR码字的平均而计算。
12.一种用于将增强动态范围(EDR)的输入码字映射到量化的输出码字的方法,所述方法包括:
接收包括图像块的输入增强动态范围(EDR)图像的序列;
对于所述输入EDR图像的序列中的至少一个输入图像中的图像块中的一个或多个计算第一块复杂性度量;
构造图像块的第一集合,所述第一集合包括其计算的块复杂性度量满足第一预定标准的图像块;
选择用于将输入码字映射到量化的输出码字的映射函数的函数参数值的候选集合;
通过将具有所述函数参数的候选集合的映射函数应用于属于所述图像块的第一集合的块中的输入EDR码字来产生映射码值;以及
基于产生的映射码值来确定选择的候选集合是否是最佳的,其中,选择的候选集合是否是最佳的确定步骤包括:
对于属于所述第一集合的块中的一个或多个,使用其产生的映射码值来计算第二块复杂性度量;
构造图像块的第二集合,所述第二集合包括第二块度量满足第二预定标准的图像块;以及
如果所述第二集合中的块的数量与所述第一集合中的块的数量相同,则确定选择的候选集合是否是最佳的。
13.根据权利要求12所述的方法,其中,对于像素的图像块计算所述第一块复杂性度量包括计算块中的像素值的标准偏差,并且其中,所述第一预定标准包括比较所述第一块复杂性度量是否大于零。
14.根据权利要求12所述的方法,其中,所述函数参数的候选集合包括如下式所计算的量化函数的指数α:
s i = r o u n d ( ( c H - c L ) ( v i - v L v H - v L ) &alpha; + c L ) ,
其中,vL和vH表示EDR输入序列中的最小码字值和最大码字值,cL和cH表示最小输出码值和最大输出码值,vi表示输入码字,并且si表示对应的输出码字。
15.根据权利要求2所述的方法,其中,第一视频编码器使用第一位深对第一层进行编码,并且第二视频编码器使用第二位深对第二层进行编码,其中,所述第二位深不同于第一位深。
16.根据权利要求15所述的方法,其中,所述第一位深为8位,而第二位深为10位、12位或14位。
17.根据权利要求2所述的方法,其中,第一视频编码器使用第一编码格式对第一层进行编码,并且第二视频编码器使用第二编码格式对第二层进行编码,其中,所述第二编码格式不同于第一编码格式。
18.根据权利要求17所述的方法,其中,所述第一编码格式为MPEG-2编码格式,而第二编码格式为AVC或HEVC编码格式。
19.一种用于减少视频编码期间的色度相关的伪像的方法,所述方法包括:
访问包括一个亮度分量和两个色度分量的颜色空间中的输入信号;
确定白点在所述输入信号的颜色空间中的原始的白点色度坐标(Du,Dv);
使用色度转化函数将所述输入信号转化为包括两个转化的色度分量的转化的颜色空间中的第二信号,其中,所述色度转化函数将所述原始的白点色度坐标移位至所述转化的色度颜色空间中的坐标的预定第二集合;以及
对所述第二信号进行编码以产生编码的位流。
20.根据权利要求19所述的方法,其中,输入颜色空间包括感知量化的亮度分量(Luma)以及u’和v’色度分量。
21.根据权利要求19所述的方法,其中,所述色度转化函数包括计算:
Ct=(C-Dc)a+b,
其中,对于色度分量,C表示输入的色度值,Ct表示转化的色度值,DC表示原始的白点坐标值,α为常数,并且b是白点坐标的预定第二集合的坐标值。
22.根据权利要求21所述的方法,其中,b近似等于0.5,并且α被定义为在1.0与1.5之间。
23.根据权利要求19所述的方法,其中,所述色度转化函数包括计算:
Ct=g(Luma)(C-Dc)a+b,
其中,对于色度分量,C表示输入的色度值,Ct表示转化的色度值,DC表示原始的白点坐标值,g(Luma)表示所述输入信号的亮度分量的函数,α为常数,并且b是白点坐标的预定第二集合的坐标值。
24.根据权利要求19所述的方法,还包括在编码步骤之前对所述第二信号的色度分量进行子采样。
25.根据权利要求19所述的方法,其中,所述白点的坐标的预定第二集合近似处于所述转化的色度颜色空间的中心。
26.根据权利要求19所述的方法,其中,所述色度转化函数包括计算:
Ct=g(l)(C-a)+a,
其中,对于色度分量,C表示输入的色度值,Ct表示转化的色度值,g(I)表示输入信号的亮度分量的函数,并且α为常数,其中,C包括信号在感知量化的IPT颜色空间(IPT-PQ)中的色度分量,并且I包括信号在感知量化的IPT颜色空间中的亮度分量。
27.一种包括处理器并且被配置为执行在权利要求1-26中记载的方法中的任何一个的装置。
28.一种具有存储在其上的、用于执行根据权利要求1-26中的任何一项所述的方法的计算机可执行指令的非暂时性计算机可读存储介质。
CN201480034679.4A 2013-06-17 2014-06-16 用于增强动态范围信号的分层编码的自适应整形 Active CN105324997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611156282.XA CN106488246B (zh) 2013-06-17 2014-06-16 用于增强动态范围信号的分层编码的自适应整形的方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361836044P 2013-06-17 2013-06-17
US61/836,044 2013-06-17
US201461951914P 2014-03-12 2014-03-12
US61/951,914 2014-03-12
US201462002631P 2014-05-23 2014-05-23
US62/002,631 2014-05-23
PCT/US2014/042583 WO2014204865A1 (en) 2013-06-17 2014-06-16 Adaptive reshaping for layered coding of enhanced dynamic range signals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201611156282.XA Division CN106488246B (zh) 2013-06-17 2014-06-16 用于增强动态范围信号的分层编码的自适应整形的方法

Publications (2)

Publication Number Publication Date
CN105324997A true CN105324997A (zh) 2016-02-10
CN105324997B CN105324997B (zh) 2018-06-29

Family

ID=51134441

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611156282.XA Active CN106488246B (zh) 2013-06-17 2014-06-16 用于增强动态范围信号的分层编码的自适应整形的方法
CN201480034679.4A Active CN105324997B (zh) 2013-06-17 2014-06-16 用于增强动态范围信号的分层编码的自适应整形

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201611156282.XA Active CN106488246B (zh) 2013-06-17 2014-06-16 用于增强动态范围信号的分层编码的自适应整形的方法

Country Status (6)

Country Link
US (2) US9584811B2 (zh)
EP (1) EP3011741B1 (zh)
JP (3) JP6038360B2 (zh)
CN (2) CN106488246B (zh)
HK (1) HK1217393A1 (zh)
WO (1) WO2014204865A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155853A (zh) * 2016-05-19 2019-01-04 杜比实验室特许公司 用于高动态范围图像的色度整形
CN109788926A (zh) * 2016-09-22 2019-05-21 通用电气公司 光谱计算机断层扫描(ct)的光谱校准
CN110301134A (zh) * 2017-06-29 2019-10-01 杜比实验室特许公司 整合的图像整形和视频编码
RU2710291C2 (ru) * 2015-06-30 2019-12-25 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Способы и устройства для кодирования и декодирования цветного изображения hdr
CN111713108A (zh) * 2018-02-14 2020-09-25 杜比实验室特许公司 在视频编码中利用率失真优化进行图像再成形
CN111788831A (zh) * 2018-02-28 2020-10-16 杜比实验室特许公司 用于图像/视频处理的线性编码器
US11006151B2 (en) 2015-06-30 2021-05-11 Interdigital Madison Patent Holdings Sas Method and device for encoding both a HDR picture and a SDR picture obtained from said HDR picture using color mapping functions
US11178412B2 (en) 2015-01-30 2021-11-16 Interdigital Vc Holdings, Inc. Method and apparatus of encoding and decoding a color picture
CN114026847A (zh) * 2019-06-28 2022-02-08 脸谱公司 使用混合查找表方案对高动态范围视频的预处理

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3111645A1 (en) 2014-02-26 2017-01-04 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression
EP3157242B1 (en) * 2014-06-10 2019-07-03 Panasonic Intellectual Property Management Co., Ltd. Display system, display method, and display device
CN110708439A (zh) * 2014-06-26 2020-01-17 松下知识产权经营株式会社 显示装置及数据输出方法
CN105934939B (zh) * 2014-09-22 2018-10-19 松下知识产权经营株式会社 再现方法以及再现装置
WO2016049327A1 (en) 2014-09-26 2016-03-31 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
EP3035688B1 (en) 2014-12-18 2019-07-31 Dolby Laboratories Licensing Corporation Encoding and decoding of 3d hdr images using a tapestry representation
CN107431825A (zh) 2015-01-27 2017-12-01 汤姆逊许可公司 用于图像和视频的电光和光电转换的方法、系统和装置
EP3051489A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing A method and apparatus of encoding and decoding a color picture
CN107409210B (zh) * 2015-01-30 2021-01-12 交互数字Vc控股公司 匹配不同动态范围的彩色图片之间的色彩的方法和设备
US10390057B2 (en) * 2015-02-17 2019-08-20 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
KR101939012B1 (ko) * 2015-03-02 2019-01-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들을 위한 콘텐츠 적응적 지각 양자화기
CN107211128B (zh) * 2015-03-10 2021-02-09 苹果公司 自适应色度下采样和色彩空间转换技术
EP3272123B1 (en) * 2015-03-20 2019-06-19 Dolby Laboratories Licensing Corporation Signal reshaping approximation
EP3275190B1 (en) 2015-03-25 2024-04-17 Dolby Laboratories Licensing Corporation Chroma subsampling and gamut reshaping
WO2016164235A1 (en) * 2015-04-06 2016-10-13 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
US10484684B2 (en) 2015-04-22 2019-11-19 Dolby Laboratories Licensing Corporation Signal reshaping and coding in the IPT-PQ color space
US10257526B2 (en) * 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
WO2016199409A1 (en) * 2015-06-07 2016-12-15 Sharp Kabushiki Kaisha Systems and methods for optimizing video coding based on a luminance transfer function or video color component values
CN107431822B (zh) 2015-06-09 2019-11-29 华为技术有限公司 图像编解码方法和设备
WO2017003525A1 (en) * 2015-06-30 2017-01-05 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
EP4020995A1 (en) * 2015-07-16 2022-06-29 Dolby Laboratories Licensing Corporation Signal reshaping and coding for hdr and wide color gamut signals
WO2017015397A1 (en) 2015-07-22 2017-01-26 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
EP3329679A1 (en) * 2015-07-28 2018-06-06 VID SCALE, Inc. High dynamic range video coding architectures with multiple operating modes
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
WO2017030425A1 (ko) * 2015-08-20 2017-02-23 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
EP3354032A1 (en) 2015-09-21 2018-08-01 VID SCALE, Inc. Inverse reshaping for high dynamic range video coding
CN108141599B (zh) 2015-09-23 2022-01-18 杜比实验室特许公司 在视频编解码器中保留纹理/噪声一致性
KR102140237B1 (ko) 2015-09-23 2020-07-31 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 비디오 데이터의 재형성 및 적응을 위한 시스템 및 방법
EP3369241B1 (en) 2015-10-28 2020-12-09 InterDigital VC Holdings, Inc. Method and device for selecting a process to be applied on video data from a set of candidate processes driven by a common set of information data
US10311558B2 (en) * 2015-11-16 2019-06-04 Dolby Laboratories Licensing Corporation Efficient image processing on content-adaptive PQ signal domain
WO2017107114A1 (zh) * 2015-12-23 2017-06-29 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
CN106937121B (zh) * 2015-12-31 2021-12-10 中兴通讯股份有限公司 图像解码和编码方法、解码和编码装置、解码器及编码器
US10165275B2 (en) 2016-01-26 2018-12-25 Dolby Laboratories Licensing Corporation Content-adaptive reshaping for high dynamic range images
US10223774B2 (en) * 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
US10032262B2 (en) 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
US10701375B2 (en) 2016-03-23 2020-06-30 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
EP3226563B1 (en) * 2016-03-30 2021-06-23 Dolby Laboratories Licensing Corp. Chroma reshaping
US10397586B2 (en) 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
US10542296B2 (en) 2016-05-10 2020-01-21 Dolby Laboratories Licensing Corporation Chroma reshaping of HDR video signals
EP3456047B1 (en) * 2016-05-10 2020-02-26 Dolby Laboratories Licensing Corporation Chroma reshaping of hdr video signals
WO2018039665A1 (en) * 2016-08-26 2018-03-01 Dolby Laboratories Licensing Corporation Chroma reshaping based on just noticeable differences
US10602110B2 (en) * 2016-08-26 2020-03-24 Dolby Laboratories Licensing Corporation Chroma reshaping based on just noticeable differences
US10701404B2 (en) * 2016-08-30 2020-06-30 Dolby Laboratories Licensing Corporation Real-time reshaping of single-layer backwards-compatible codec
KR102636100B1 (ko) * 2016-12-16 2024-02-13 삼성전자주식회사 데드존에 기초하여 양자화를 수행하는 인코더 및 이를 포함하는 비디오 처리 시스템
JP6929373B2 (ja) 2017-03-03 2021-09-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 不均等な色空間における彩度調整
CN110770787B (zh) 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
CN110999301B (zh) 2017-08-15 2023-03-28 杜比实验室特许公司 位深度高效图像处理
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
US10880531B2 (en) * 2018-01-31 2020-12-29 Nvidia Corporation Transfer of video signals using variable segmented lookup tables
US10757428B2 (en) 2018-10-10 2020-08-25 Apple Inc. Luma and chroma reshaping of HDR video encoding
US10484784B1 (en) * 2018-10-19 2019-11-19 xMEMS Labs, Inc. Sound producing apparatus
WO2021108719A1 (en) 2019-11-27 2021-06-03 Dolby Laboratories Licensing Corporation Rate-control-aware reshaping in hdr imaging
US11516429B2 (en) * 2020-04-22 2022-11-29 Grass Valley Limited System and method for image format conversion using 3D lookup table approximation
CN115699077A (zh) * 2020-04-22 2023-02-03 杜比实验室特许公司 单层hdr图像编解码器中整形函数的迭代优化
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
CN115390780B (zh) * 2022-10-28 2023-02-10 广州市保伦电子有限公司 一种拼接屏配对方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1302898A2 (en) * 2001-04-20 2003-04-16 Agilent Technologies, Inc. (a Delaware corporation) System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
US20040090536A1 (en) * 2002-11-12 2004-05-13 Tsai Chih-Hua Method for estimating white point shift for auto white balance
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
CN102388612A (zh) * 2009-03-13 2012-03-21 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313298A (en) 1992-03-05 1994-05-17 Rubin, Bednarek And Associates, Inc. Video companding method and system
US6560285B1 (en) 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
JP2002109523A (ja) 2000-09-28 2002-04-12 Minolta Co Ltd 撮像装置、光学フィルタ群および画像データ変換装置
US20030111533A1 (en) 2001-12-19 2003-06-19 Koninklijke Philips Electronics N.V. RGB led based white light control system with quasi-uniform color metric
JP2005037996A (ja) * 2003-07-15 2005-02-10 Matsushita Electric Ind Co Ltd 画像処理装置および方法
JP2005167962A (ja) * 2003-11-11 2005-06-23 Secom Co Ltd 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム
JP2006071332A (ja) 2004-08-31 2006-03-16 Fuji Photo Film Co Ltd 演色性評価方法及びその装置並びにこの演色性評価方法で評価して製造した発光装置
US8493514B2 (en) 2007-07-16 2013-07-23 Lg Electronics Inc. Apparatus for controlling color temperature
US8019150B2 (en) 2007-10-11 2011-09-13 Kwe International, Inc. Color quantization based on desired upper bound for relative quantization step
CN101282437A (zh) * 2008-04-19 2008-10-08 青岛海信电器股份有限公司 一种解码装置
US8446961B2 (en) * 2008-07-10 2013-05-21 Intel Corporation Color gamut scalability techniques
CN101355634B (zh) * 2008-08-26 2013-06-05 北京中星微电子有限公司 一种调整图像色度的方法和系统
CN102349290B (zh) * 2009-03-10 2014-12-17 杜比实验室特许公司 扩展动态范围和扩展维数图像信号转换
US8390642B2 (en) * 2009-04-30 2013-03-05 Hewlett-Packard Development Company, L.P. System and method for color space setting adjustment
JP5373142B2 (ja) 2010-04-27 2013-12-18 東京エレクトロン株式会社 アモルファスシリコン膜の成膜方法および成膜装置
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
JP2012108707A (ja) 2010-11-17 2012-06-07 Toyota Motor Corp 制御装置
KR20120091578A (ko) 2011-02-09 2012-08-20 삼성전자주식회사 영상의 밝기 변환 방법 및 장치
EP2702766B1 (en) 2011-04-28 2017-06-14 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decoding
JP2013046095A (ja) 2011-08-22 2013-03-04 Canon Inc 通信装置
WO2013039730A2 (en) * 2011-09-15 2013-03-21 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video
UA116082C2 (uk) 2011-09-27 2018-02-12 Конінклійке Філіпс Н.В. Пристрій та спосіб для перетворення динамічного діапазону зображень
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
HUE056242T2 (hu) 2011-12-06 2022-02-28 Dolby Laboratories Licensing Corp Eszköz és eljárás észlelési fénysûrûség nemlinearitás alapú képadat-csere javítására különbözõ kijelzési lehetõségek mellett
JP5511882B2 (ja) 2012-04-19 2014-06-04 ギガフォトン株式会社 極端紫外光源装置
US10540920B2 (en) 2013-02-21 2020-01-21 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
JP5989934B2 (ja) 2013-03-26 2016-09-07 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチレイヤvdr符号化における知覚量子化ビデオコンテンツのエンコーディング

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1302898A2 (en) * 2001-04-20 2003-04-16 Agilent Technologies, Inc. (a Delaware corporation) System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
US20040090536A1 (en) * 2002-11-12 2004-05-13 Tsai Chih-Hua Method for estimating white point shift for auto white balance
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
CN102388612A (zh) * 2009-03-13 2012-03-21 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZICONG MAI等: "Optimizing a Tone Curve for Backward-Compatible High Dynamic Range Image and Video Compression", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178412B2 (en) 2015-01-30 2021-11-16 Interdigital Vc Holdings, Inc. Method and apparatus of encoding and decoding a color picture
US11006151B2 (en) 2015-06-30 2021-05-11 Interdigital Madison Patent Holdings Sas Method and device for encoding both a HDR picture and a SDR picture obtained from said HDR picture using color mapping functions
RU2710291C2 (ru) * 2015-06-30 2019-12-25 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Способы и устройства для кодирования и декодирования цветного изображения hdr
CN109155853A (zh) * 2016-05-19 2019-01-04 杜比实验室特许公司 用于高动态范围图像的色度整形
CN109155853B (zh) * 2016-05-19 2023-03-28 杜比实验室特许公司 用于高动态范围图像的色度整形
CN109788926A (zh) * 2016-09-22 2019-05-21 通用电气公司 光谱计算机断层扫描(ct)的光谱校准
CN110301134A (zh) * 2017-06-29 2019-10-01 杜比实验室特许公司 整合的图像整形和视频编码
CN110301134B (zh) * 2017-06-29 2024-02-06 杜比实验室特许公司 整合的图像整形和视频编码
CN111713108A (zh) * 2018-02-14 2020-09-25 杜比实验室特许公司 在视频编码中利用率失真优化进行图像再成形
CN111713108B (zh) * 2018-02-14 2023-10-20 杜比实验室特许公司 在视频编码中利用率失真优化进行图像再成形
CN111788831A (zh) * 2018-02-28 2020-10-16 杜比实验室特许公司 用于图像/视频处理的线性编码器
US11310537B2 (en) 2018-02-28 2022-04-19 Dolby Laboratories Licensing Corporation Linear encoder for image/video processing
CN114026847A (zh) * 2019-06-28 2022-02-08 脸谱公司 使用混合查找表方案对高动态范围视频的预处理

Also Published As

Publication number Publication date
CN106488246B (zh) 2019-06-11
WO2014204865A1 (en) 2014-12-24
HK1217393A1 (zh) 2017-01-06
US20160134872A1 (en) 2016-05-12
JP2017079471A (ja) 2017-04-27
CN106488246A (zh) 2017-03-08
EP3011741A1 (en) 2016-04-27
EP3011741B1 (en) 2018-03-07
US9716887B2 (en) 2017-07-25
JP6181259B2 (ja) 2017-08-16
JP6312775B2 (ja) 2018-04-18
US20170085881A1 (en) 2017-03-23
JP6038360B2 (ja) 2016-12-07
JP2017022737A (ja) 2017-01-26
US9584811B2 (en) 2017-02-28
CN105324997B (zh) 2018-06-29
JP2016529741A (ja) 2016-09-23

Similar Documents

Publication Publication Date Title
CN105324997A (zh) 用于增强动态范围信号的分层编码的自适应整形
JP7114653B2 (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
US10432955B2 (en) High dynamic range adaptation operations at a video decoder
US9936199B2 (en) Encoding and decoding perceptually-quantized video content
US10015491B2 (en) In-loop block-based image reshaping in high dynamic range video coding
Myszkowski et al. HDR Image, Video, and Texture Compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1217393

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant