CN107409213A - 用于高动态范围图像的内容自适应感知量化器 - Google Patents

用于高动态范围图像的内容自适应感知量化器 Download PDF

Info

Publication number
CN107409213A
CN107409213A CN201680013230.9A CN201680013230A CN107409213A CN 107409213 A CN107409213 A CN 107409213A CN 201680013230 A CN201680013230 A CN 201680013230A CN 107409213 A CN107409213 A CN 107409213A
Authority
CN
China
Prior art keywords
msub
noise
mrow
masking
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680013230.9A
Other languages
English (en)
Other versions
CN107409213B (zh
Inventor
J·弗若里奇
苏冠铭
R·阿特金斯
S·戴勒
J·S·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Dolby Laboratories Licensing Corp
Original Assignee
Dolby International AB
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB, Dolby Laboratories Licensing Corp filed Critical Dolby International AB
Publication of CN107409213A publication Critical patent/CN107409213A/zh
Application granted granted Critical
Publication of CN107409213B publication Critical patent/CN107409213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

内容自适应量化器处理器接收具有输入位深的输入图像。噪声掩蔽生成处理被应用于输入图像以生成噪声掩蔽图像，该噪声掩蔽图像在输入图像中的每个像素在掩蔽量化噪声中的感知相关性方面表征每个像素。基于输入图像和噪声掩蔽图像生成噪声掩蔽直方图。掩蔽噪声水平到位深函数被应用于噪声掩蔽直方图以对于噪声掩蔽直方图中的每个区间生成最小位深值。基于输入位深、目标位深和最小位深值生成码字映射函数。码字映射函数被应用于输入图像以生成目标位深的输出图像。

Description

用于高动态范围图像的内容自适应感知量化器
相关申请的交叉引用
本申请要求2015年3月2日提交的美国临时申请No.62/126,925的优先权，该美国临时申请No.62/126,925通过其整体引用而特此合并。
技术领域
本发明一般地涉及图像。更特别地，本发明的实施例涉及具有高动态范围的图像的内容自适应感知量化。
背景技术
如这里所使用的，术语‘动态范围’(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如，亮度、luma)的范围(例如从最暗的暗色(黑色)到最亮的白色(高亮))的能力。在这个意义上，DR涉及‘参考场景的’强度。DR也可以涉及显示设备充分地或者近似地呈现特定宽度的强度范围的能力。在这个意义上，DR涉及‘参考显示的’强度。除非特定的意义在这里的描述中的任何点被明确地指定为具有特定的含义，否则应当推断该术语可以在任一意义上(例如，可互换地)使用。
如这里所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的一些14-15数量级的DR宽度。在实际中，人类可以在其上同时感知强度范围中的广泛宽度的DR可能相对于HDR稍微截短。如这里所使用的，术语增强动态范围(EDR)或者视觉动态范围(VDR)可以单独地或者可互换地涉及场景或者图像内由包括眼睛运动的人类视觉系统(HVS)可感知的DR，其允许跨场景或者图像的一些光适应改变。如这里所使用的，EDR可以涉及跨越5至6数量级的DR。因此，虽然相对于真实的参考场景的HDR可能稍微略窄，但是EDR代表广的DR宽度并且也可以称作HDR。
在实际中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每个像素n位的精度代表(例如，n＝8)。使用线性亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被看作标准动态范围的图像，而其中n>8的图像可以被看作增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式(诸如由Industrial Light and Magic开发的OpenEXR文件格式)存储和分发。
对于给定显示器的基准电光传递函数(EOTF)表征输入视频信号的颜色值(例如，亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系。例如，通过其整体引用而包括在这里的ITU Rec.ITU-R BT.1886，“Reference electro-optical transferfunction for flat panel displays used in HDTV studio production”，(03/2011)基于所测量的阴极射线管(CRT)的特性定义用于平板显示器的基准EOTF。给定视频流，关于它的EOTF的信息典型地作为元数据嵌入在位流中。如这里所使用的，术语“元数据”涉及作为编码位流的部分而传输并且帮助解码器呈现解码图像的任何辅助信息。如这里描述的那些，这种元数据可以包括，但不限于，颜色空间或者色域信息、基准显示器参数以及辅助信号参数。
大多数消费者桌面显示器当前支持200至300cd/m2或者尼特的亮度。大多数消费者HDTV在从300至500尼特的范围变化，其中新型号达到1000尼特(cd/m2)。因此这种传统显示器象征较低动态范围(LDR)，也称作标准动态范围(SDR)(相对于HDR或者EDR而言)。随着HDR内容的可用性由于捕获装备(例如，照相机)和HDR显示器(例如，来自杜比实验室的PRM-4200专业基准监视器)二者的进展而增长，可以对HDR内容进行颜色分级并且将其显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更多)的HDR显示器上。这种显示器可以使用支持高亮度能力(例如，0至10,000尼特)的替代EOTF定义。这种EOTF的示例定义在SMPTE ST2084:2014“High Dynamic Range EOTF of Mastering Reference Displays”(其通过其整体引用而合并在这里)中。一般地，但不限于，本公开的方法涉及高于SDR的任何动态范围。如这里由发明人领会的，期望用于高动态范围的感知量化的改进技术。
在该章节中描述的方法是可以追求的方法，但是不一定是先前已构想或者追求的方法。因此，除非另外表明，不应当假定在该章节中描述的任何方法仅由于它们包括在该章节中而有资格作为现有技术。类似地，除非另外表明，关于一个或多个方法而识别的问题不应当基于该章节而假定已经在任何现有技术中被认识到。
附图说明
本发明的实施例在附随附图的图中通过示例的方式、而不以通过限制的方式而例示，并且其中相似的标号指的是类似的元素，并且其中：
图1A描绘用于视频递送流水线的示例处理；
图1B描绘根据本发明的实施例的用于使用内容自适应量化的数据压缩或者再成形(reshape)的示例处理；
图2描绘根据本发明的实施例的用于内容自适应感知量化的示例处理；
图3描绘根据本发明的实施例的用于噪声掩蔽(mask)生成的示例处理；
图4描绘根据本发明的实施例的基于场景的噪声掩蔽直方图；
图5描绘根据本发明的实施例的将噪声掩蔽水平(level)映射到所需要的信号位深的映射函数的示例；
图6A和图6B描绘根据本发明的实施例的所计算的规范化码字分配的示例；
图6C描绘根据本发明的实施例的自适应感知量化映射的示例；以及
图7描绘根据本发明的实施例的用于码字映射的示例处理。
具体实施方式
这里描述用于高动态范围(HDR)图像的感知量化的内容自适应技术。在下面的描述中，出于解释的目的，阐明许多具体的细节以便提供本发明的透彻理解。然而，将清楚的是，本发明可以在没有这些具体细节的情况下被实践。在其它实例中，众所周知的结构和设备没有以详尽的细节描述，以便避免不必要地封闭、模糊或者混淆本发明。
概述
这里描述的示例实施例涉及图像的自适应感知量化。内容自适应量化器处理器接收具有输入位深的输入图像。噪声掩蔽生成处理被应用于输入图像以生成噪声掩蔽图像，该噪声掩蔽图像在输入图像中的每个像素在掩蔽量化噪声中的感知相关性方面表征每个像素。基于输入图像和噪声掩蔽图像生成噪声掩蔽直方图。掩蔽噪声水平到位深函数被应用于噪声掩蔽直方图以对噪声掩蔽直方图中的每个区间(bin)生成最小位深值。基于输入位深、目标位深和最小位深值生成码字映射函数。码字映射函数被应用于输入图像以生成目标位深的输出图像，该目标位深低于输入位深。
示例视频递送处理流水线
图1A描绘传统的视频递送流水线(100)的示例处理，其示出从视频捕获到视频内容显示的各个阶段。视频帧(102)的序列使用图像生成框(105)捕获或者生成。视频帧(102)可以(例如，由数字照相机)数字地捕获或者由计算机(例如，使用计算机动画)数字地生成以提供视频数据(107)。替代地，视频帧(102)可以由胶片照相机捕获在胶片上。胶片被转换成数字格式以提供视频数据(107)。在制作阶段(110)，编辑视频数据(107)以提供视频制作流(112)。
制作流(112)的视频数据然后在框(115)处提供到处理器用于后期制作编辑。框(115)后期制作编辑可以包括调整或者修改图像的特定区域中的颜色或者明度以根据视频创作者的创作意图实现图像的特定外观或者增强图像质量。这有时称作“颜色调整”或者“颜色分级”。其它编辑(例如，场景选择和排序、图像剪裁、计算机生成的视觉特效的添加等)可以在框(115)处执行以产生最终的制作版本(117)用于分发。在后期制作编辑(115)期间，视频图像在基准显示器(125)上观看。
在后期制作(115)之后，最终制作(117)的视频数据可以递送到编码框(120)，用于向下游递送到解码和回放设备，诸如电视机、机顶盒、电影院等。在一些实施例中，编码框(120)可以包括音频和视频编码器，诸如由ATSC、DVB、DVD、Blu-Ray或者其它递送格式定义的那些，以生成编码的位流(122)。在接收器中，编码的位流(122)由解码单元(130)解码以生成代表信号(117)的相同或者接近近似的解码信号(132)。接收器可以附接到可以具有与基准显示器(125)完全不同的特性的目标显示器(140)。在那种情况下，可以使用显示管理框(135)以通过生成显示映射信号(137)将解码信号(132)的动态范围映射到目标显示器(140)的特性。
信号量化
当前，用于视频递送的大多数数字接口，诸如串行数字接口(SDI))被限制为每个分量每个像素12位。而且，大多数压缩标准，诸如H.264(或者AVC)和H.265(或者HEVC)被限制为每个分量每个像素10位。因此，在现有基础设施和压缩标准内，需要高效的编码和/或量化以支持动态范围从近似0.001至10,000cd/m2(或者尼特)的HDR内容。
这里使用的术语“PQ”指的是感知亮度幅度量化。人类视觉系统以非常非线性的方式响应增加的光水平。人类看到刺激的能力受那个刺激的亮度、刺激的大小、构成刺激的空间频率以及在他观看刺激的特定时刻眼睛已适应的亮度水平所影响。在优选实施例中，感知量化器函数将线性输入灰度水平映射到更好地匹配人类视觉系统中的对比敏感度阈值的输出灰度水平。PQ映射函数(或者EOTF)的示例在SMPTE ST 2084:2014，“High DynamicRange EOTF of Mastering Reference Displays”中描述，其通过其整体引用而合并在这里，其中给定固定的刺激大小，对于每个亮度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)选择那个亮度水平处的最小可见对比步长。与代表物理阴极射线管(CRT)设备的响应曲线并且巧合地可能具有与人类视觉系统响应的方式非常粗略的相似性的传统伽马曲线相比较，PQ曲线使用相对简单的函数模型模拟人类视觉系统的真实视觉响应。
例如，在SMPTE ST 2084下，在1cd/m2处，一个12位码值对应于近似0.0048cd/m2的相对改变；然而，在1,000cd/m2处，一个12位码值对应于近似2.24cd/m2的相对改变。需要这种非线性量化以适合于人类视觉系统(HVS)的非线性对比敏感度。
感知量化的EOTF的另一个示例在J.Stessen等人的“Chromaticity based colorsignals for wide color gamut and high dynamic range”(ISO/IEC JTC1/SC29/WG11MPEG2014/M35065，Oct.2014，其通过其整体引用而合并在这里)中展示。
HVS的对比敏感度不仅取决于亮度而且还取决于图像内容的掩蔽特性(最特别是噪声和纹理)以及HVS的适应状态。换言之，取决于图像的噪声水平或者纹理特性，可以利用比由PQ或者伽马量化器预测的那些大的量化步长对图像内容进行量化，因为纹理和噪声掩蔽量化伪影。PQ量化描述HVS可以做的最好情况，这在图像中不存在噪声或者掩蔽时发生。然而，对于许多图像(视频帧)，存在显著的掩蔽。
除了噪声和纹理掩蔽之外，也可以考虑诸如光学耀斑和局部适应的视觉行为的其它特性以增加量化的水平并且允许以每个颜色分量10位或者更低代表HDR图像。如这里所使用的，术语“内容自适应PQ”或者简称“自适应PQ”表示基于它们的内容自适应地调整图像的感知量化的方法。
图1B描绘根据实施例的用于自适应PQ的示例处理。给定输入帧(117)，正向(forward)再成形框(150)分析输入和编码约束，并且生成将输入帧(117)映射到重新量化的输出帧(152)的码字映射函数。例如，可以根据某个EOTF对输入(117)进行伽马编码或者PQ编码。在一些实施例中，可以使用元数据将关于再成形处理的信息传达到下游设备(诸如解码器)。在编码(120)和解码(130)之后，解码的帧(132)可以通过反向(backward)再成形函数(160)处理，反向再成形函数(160)将重新量化的帧(132)转换回到原始EOTF域(例如，伽马或者PQ)，用于进一步的下游处理，诸如先前讨论的显示管理处理(135)。在一些实施例中，反向再成形函数(160)可以与解码器(130)中的解量化器集成在一起，例如，作为AVC或者HEVC视频解码器中的解量化器的部分。
自适应PQ
图2描绘根据本发明的实施例的用于内容自适应感知量化的示例处理。如图2中所描绘的，给定图像的序列(例如，视频帧)(117)，框(205)用来生成噪声掩蔽图像，该噪声掩蔽图像在输入图像中的每个像素在掩蔽量化噪声中的感知相关性方面表征每个像素。噪声掩蔽图像，与原始图像数据相组合，在步骤(210)中被用于生成噪声掩蔽直方图。框(215)估计对于在步骤(210)中生成的直方图的每个区间所需要的最小位数，并且最后，码字映射框(220)计算映射函数以将输入信号(117)转化成它的量化输出。接下来更详细地描述这些步骤中的每一个。
噪声掩蔽生成
自适应PQ的基本构思是要在有噪或者具有高纹理的图像的区域中分配较少的位，并且在被感知为无噪或者较平滑的图像的区域中分配较多的位。给定输入图像(117)，噪声掩蔽生成框(205)对于图像中的每个像素生成掩蔽噪声的估计。在一些实施例中，输入(117)可能已经使用基于PQ或者伽马的量化器进行编码。在一些其它实施例中，输入图像(117)可能处于线性空间中。图3描绘根据实施例的噪声掩蔽生成的示例处理。一些其它实施例可以使用本领域中已知的用于测量图像中的局部熵的替代方法(诸如移动窗口上的熵滤波、移动窗口上的标准偏差滤波或者移动窗口上的范围滤波)生成噪声掩蔽。
令Ijp表示输入序列(117)中第j帧中的量化之中的颜色分量(例如，亮度)的第p像素，规范化到[0 1)。令vLj和vHj表示该帧中的最小和最大像素值，或者
vLj＝min{Ijp}，
vHj＝max{Ijp}。 (1)
如图3中所描绘的，在框(305)中，将第一低通滤波器应用于图像帧Ij。在实施例中，该滤波器模仿人类视觉系统的特性。取决于可用的计算能力，该滤波器可以在从比如箱式滤波器或者高斯滤波器的非常简单的滤波器到比如实现皮层变换的那些的更复杂的滤波器组的范围变化。在实施例中，第一滤波器可以是具有支持范围rL和方差的二维高斯滤波器(例如，rL＝9并且或者rL＝33并且)。然后，它的输出(L)可以表达为
其中符号表示卷积。给定第一滤波器的输出，输入帧的高频分量可以在框(310)中被提取为
框(310)的输出然后可以由第二低通滤波器(315)再次滤波，以生成噪声掩蔽(H)。这是要处理HVS掩蔽的低相位准确度(亦即，在掩蔽信号的零交叉处仍然存在掩蔽)。在实施例中，第二LPF也可以是具有支持范围rH和方差的高斯滤波器(例如，rH＝9，)。然后，噪声掩蔽(H)可以表达为
在实施例中，第一低通滤波器和第二低通滤波器的参数可以相同。在优选实施例中，第一低通滤波器和第二低通滤波器是可分离的滤波器以提高计算效率。在实施例中，可选框(320)可以用来识别在后续处理中可以忽略的Hjp像素，因为它们可能偏置自适应量化处理。例如，如果图像包括宽银幕帧(亦即，可以对原始图像成帧使得它符合特定的帧大小或者纵横比的黑色像素)，那么可以忽略与宽银幕像素相关的值。与图像边界或者宽银幕边界相关的值也可以被忽略，因为低通滤波器的输出假定这些界限处的数据利用恒定的值填充，这将生成较低的噪声值。令Ωj表示考虑之中的所有有效像素的集合，那么最终的输出噪声掩蔽(322)可以表达为
Hj(i),i∈Ωj。 (5)
噪声掩蔽直方图生成
令BI表示输入图像(117)的位深(例如，BI＝16)并且令那么0到K-1的动态范围可以划分成相等像素间隔值W的M个区间，即W＝K/M。在实施例中，对于第j帧，可以如下生成噪声直方图bj(m)，其中m表示第m直方图区间(m＝0，1，2，…M-1)：
a)识别原始图像中具有范围中的像素值的所有像素(Iji,i∈Ωj)。
b)在那些像素当中，选择最小的Hj(i)，因为如先前所描述的，掩蔽标高(elevation)不是2D映射。
或者，给定
bj(m)＝min{Hj(i)|i∈Ψj,m}。 (6)
注意，有时，某些区间可能是空的，因为在区间的像素范围内可能不存在任何图像像素。可以存储这些区间的索引并且将随后处理它们的状态。
可以在帧水平上或者在场景水平上调整自适应PQ值。如这里所使用的，术语视频序列的‘场景’或者‘镜头’可以涉及视频信号中共享类似颜色和动态范围特性的一系列连续帧。由于在大多数视频压缩格式中视频预测的连续性质，仅在匹配视频编码器的典型边界的边界(诸如场景改变或者新的图片组(GOP))处调整量化参数可能是优选的。因此，给定具有F个帧的场景以及基于帧的噪声掩蔽直方图bj(m)，基于场景的噪声掩蔽直方图b(m)可以导出为
bm＝min{bj(m)|j＝0,1,...,F-1}。 (7)
在实施例中，假定噪声上限为1，则对于整个场景不存在像素值的噪声区间，它们可以被指派最大可能的噪声水平值1。在一些实施例中，缺失的区间也可以从相邻的区间插值。对于j＝1，2，…，F，基于场景的最小和最大像素值也可以生成为
vL＝min{vLj},
vH＝max{vHj}。 (8)
图4描绘对于BI＝16和M＝64个区间的HDR场景的基于场景的噪声掩蔽直方图的示例。在该示例中，暗区域包含比中间色调和高亮高的掩蔽噪声水平。
每个直方图区间的位深计算
给定噪声掩蔽直方图中每个区间的噪声水平bm，下一个步骤将要确定对于每个区间需要分配的位数。在实施例中，这种映射可以基于实验用户研究结果而确定。例如，在一个这种研究中，向用户示出以评估量化成不同位深的测试图像，其中高斯噪声在量化之前被添加到图像。作为示例，图5描绘使用rL＝9并且的高斯滤波器的用户研究的结果。例如，对于2-10的噪声掩蔽水平，所需要的位深是8位。如所期望的，图5表明具有较高水平的掩蔽噪声的图像区域可以以较小的位深实现全视觉透明。替代地，图像越平滑，对于准确并且感知无损的表示需要越多的位深。
考虑数据对的集合，i＝1，2，3，…，N，其中对于第i输入噪声水平已确定(例如，经由用户研究或者其它技术)相应的最小位深是在实施例中，这些对可以表达为掩蔽噪声到位深的函数
Qm＝fN(bm)。 (9)
例如，没有限制地，使用简单线性插值，对于
在实施例中，可以使用查找表计算Qm＝fN(bm)映射。在实施例中，基于直方图区间内所需要的码字的数量、而不是直接使用位深数据执行码字映射(220)可能更方便。这在下一个章节中检验。
码字映射生成
令BT表示重新量化的信号(152)的目标位深(例如，每个颜色分量BT＝10位/像素)，那么输出将使用个码字被映射。在实施例中，码字的范围被规范化为一，因此令
表示每个区间m的规范化的码字的数量。例如，如果Qm＝9，BI＝16并且BT＝10，那么Dm＝2-17。
令
di＝Dm对于(m-1)W≤i＜mW， (12)
表示每个输入的规范化的码字的数量，那么di可以被认为是每个输入码字的所需要的码字的数量的下限。对于所有输入码字的规范化的码字的总数量D以1为边界，或者
图6A描绘对于BI＝16(输入码字在从0到65535的范围变化)、对于单个视频帧而计算的规范化的码字的数量(di(605))的示例图。该图还示出当简单地从16位截短到9个最高有效位(610)或者10个最高有效位(615)时规范化的码字的数量。如图6A中所描绘的，简单的10位截短不足以满足对于高亮范围中某些输入像素的位深要求。
令U＝1-D表示未使用的规范化的码字的数量。这些未使用的码字需要根据给定的准则重新指派给输入码字。在实施例中，没有限制地，可以采用下面的分配方案中的任何一个(或者其组合)：
i)比例分配
在该准则下，对于输入vL≤i≤vH，基于现有的分布指派另外的码字，或者
其中表示规范化的码字值的更新数量。
ii)恒定偏移分配
在该准则下，过剩的码字被均匀地分布，或者对于输入vL≤i≤vH，
iii)基于直方图的分配
令hi表示原始输入图像的直方图，即对于vL≤i≤vH，hi＝k表示P个像素当中存在具有值i的k个像素。然后，在该准则下，根据直方图值指派码字，或者对于输入vL≤i≤vH
在变型中，可以将输入范围分成M个子范围(例如，对于M＝3，黑色、中间色调和高亮)并且计算表示第m子范围内输入像素的总数量的直方图Hm(m＝1，2，…，M)，那么，对于属于第m像素子范围中的i
iv)基于标量的分配
这可以被认为是基于直方图的分配(例如，考虑具有仅两个区间的直方图；一个用于暗色并且一个用于高亮)与恒定偏移分配的组合。令α表示0与1之间的参数，其表示“暗色”对比“高亮”的相对重要性，那么，对于输入vL≤i≤vH，在该标准下
如果U＝0，那么没有码字的重新分布是可能的。在这种情景下，如随后也将讨论的，编码器可以决定要么增加目标位深，将噪声添加到输入图像以有效地减小di分布，要么什么都不做并且依赖于解码器和后处理滤波以减小可观察的量化噪声。剩余的处理步骤可以对数据直接操作；然而，在实施例中，这些数据可以由低通滤波器(例如，2N+1抽头均值滤波器)平滑，用于改进的性能。
令
对于i<vL以及i>vH，
并且
否则，其中ak，k＝-N，-N+1，…，N，表示平滑滤波器的滤波器系数(例如，)。在实施例中，该滤波器的长度大得足以跨越至少噪声掩蔽直方图的两个连续区间的大小(例如，N＝W)。较大的滤波器将提供更好的平滑，但是需要更多的计算能力。
图6B描绘数据(620)的示例图，其代表根据恒定偏移分配方案计算的平滑的数据。在一些情况下，值的和可以超过1，因此，这些值需要再次被重新规范化为
si的值仍然应当满足下限约束，即
si≥di对于vL≤i≤vH。(20)
给定
那么，在第j帧中，对于给定的输入像素最终的规范化的重新量化的像素值sjp可以表达为：
在实施例中，FL(i)值可以存储在预先计算的查找表(LUT)中。替代地，规范化的sjp值也可以映射到0至的范围中的去规范化的值。基于(620)数据的FL(i)映射(630)的示例在图6C中描绘。
图7描绘码字映射处理(220)中的步骤的示例总结。给定每个噪声直方图区间(Qm)所需要的位深(217)、输入位深(BI)和目标位深(BT)作为输入，步骤(705)根据等式(12)计算每个输入Ijp＝i所需要的码字的规范化数量的下限。在步骤(710)中，可以根据若干重新分布方案(例如，如由等式(14-17)所描述的)中的任何一个，重新分布任何未使用的码字。可选地，在步骤(715)中，对重新分布的数据进行滤波(例如，参见等式(18))，以生成平滑的、规范化的码字的数量，该平滑的、规范化的码字的数量在步骤(720)中用来基于累积和函数生成最终的码字映射。
基于帧的自适应量化
如先前所讨论的，根据等式(7)，在实施例中，自适应量化可以基于跨场景中的多个帧而收集的噪声掩蔽直方图数据。跨多个帧收集数据可能引入显著的延迟，这在当自适应量化需要被实时执行的环境中可能是不可接受的。在另一个实施例中，码字映射(或者再成形)可以使用来自场景中第一帧的数据执行；然而，可以周期性地调整映射以适合于场景的帧内的小变化。这种处理在表格1中的伪代码中描述。
表格1－基于帧的自适应量化
反向再成形
在一些实施例中，可以应用反向再成形(160)以反转正向再成形(150)的效果。在实施例中，用于逆量化的查找表可以如下构造：a)对于量化的域中的每个码字(sc)，识别FL(vi)＝sc的所有输入码字(vi)。令该组被表示为ω(sc)＝{vi|FL(vi)＝sc}；然后
b)构造反向再成形函数(BL(sc))作为ω(sc)的函数。
例如，在实施例中，没有限制地，BL(sc)可以构造为属于ω(sc)的所有码字的均值，或者
如果|ω(sc)|>0，
那么
其中|ω(sc)|表示集合ω(sc)中的元素的数量。如果对于任何sc值|ω(sc)|＝0，那么在实施例中，这些值可以从其相邻非零值插值。
替代实施例
如先前所描述的，在一个实施例中，所提出的自适应量化可以在编码(压缩)步骤(120)之前执行，以适合现有编解码器的位深相关的限制。在量化之后，与再成形映射函数(630)(例如，逆映射函数)相关的数据可以作为元数据(例如，作为多段线性或者2阶多项式的系数或者作为查找表)嵌入以允许解码器执行逆映射。替代地，如果不存在可以在目标位深限制内操作的令人满意的再成形函数，那么在实施例中，本领域中已知的噪声或者抖动可以被添加到图像的原始平滑区域以提高量化误差的掩蔽。这种噪声可以根据噪声掩蔽直方图生成步骤(210)的输出而添加。
在一些实施例中，可以根据由解码器接收的信息进一步对基于内容的感知量化处理进行适应和调整。例如，如果下游设备附接到显示器，该显示器具有用于测量环境光的强度或者观看距离的传感器，那么这种信息可以向上游发送到编码器以调整用于噪声掩蔽生成(205)的滤波器或者自适应量化处理(例如，重新分布步骤)的其它参数。例如，对于高的环境光，在暗区域中需要较少的量化步长。
在一些实施例中，代替在编码器级执行噪声注入或者抖动，可以基于由编码器发送的元数据信息(例如，噪声掩蔽直方图)在解码器中执行该操作。
如具有图像处理领域中的普通技能的人员将领会到的，所提出的内容自适应量化技术可以能应用于各种其它图像处理应用，其通过应用添加的噪声、抖动或者位截短来减少位深要求。
示例计算机系统实现
本发明的实施例可以利用计算机系统，配置在电子电路和组件中的系统，诸如微控制器、现场可编程门阵列(FPGA)或者另一可配置或者可编程逻辑设备(PLD)的集成电路(IC)设备，离散时间或者数字信号处理器(DSP)，专用IC(ASIC)和/或包括这种系统、设备或者组件的一个或多个的装置实现。计算机和/或IC可以实施、控制或者执行与具有增强动态范围的图像的自适应感知量化，诸如这里描述的那些相关的指令。计算机和/或IC可以计算与这里描述的自适应感知量化处理相关的各种参数或者值中的任何一个。图像和视频实施例可以以硬件、软件、固件及其各种组合实现。
本发明的某些实现包括计算机处理器，该计算机处理器执行使处理器执行本发明的方法的软件指令。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令实现与如上所述的HDR图像的自适应感知量化相关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括任何非暂时性介质，其携载包括指令的计算机可读信号的集合，指令在由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种各样形式的任何一种。程序产品可以包括例如物理介质，诸如磁性数据存储介质(包括软盘、硬盘驱动器)、光学数据存储介质(包括CD ROM、DVD)、电子数据存储介质(包括ROM、闪速RAM)等。程序产品上的计算机可读信号可以可选地被压缩或者加密。
在组件(例如，软件模块、处理器、组装件、设备、电路等)在上面被引用的情况下，除非另外表明，对那个组件的引用(包括对“手段”的引用)应当解释为包括执行所描述组件的功能的任何组件作为那个组件的等同物(例如，在功能上等同)，包括与在所例示的本发明的示例实施例中执行功能的所公开的结构在结构上不等同的组件。
等同、扩展、替代和其它
涉及HDR图像的高效自适应感知量化的示例实施例因此被描述。在前面的说明书中，已参考可能从一个实现到另一个实现而变化的大量具体细节描述了本发明的实施例。因此，本发明是什么以及申请人预期将什么作为发明的单独和排他的指示是从本申请以权利要求发布的具体形式(包括任何随后的修正)而发布的这种权利要求的集合。在这里明确阐明的用于这种权利要求中包含的术语的任何定义将支配这种术语在权利要求中被使用时的含义。因此，不限制地，没有在权利要求中明确记载的元素、性质、特征、优点或者属性应当以任何方式限制这种权利要求的范围。因此，说明书和附图要在例示性而不是限制性的意义上被看待。

Claims (22)

1.一种利用处理器的图像的感知量化的方法，所述方法包括：
利用处理器访问输入位深的输入图像(117)；
将噪声掩蔽生成处理(205)应用于所述输入图像以生成噪声掩蔽图像，其中，所述噪声掩蔽图像在所述输入图像中的像素与掩蔽量化噪声的感知相关性方面表征所述像素；
基于所述输入图像和噪声掩蔽图像生成噪声掩蔽直方图(212)；
对于所述噪声掩蔽直方图中的一个或多个区间，应用掩蔽噪声水平到位深函数(215)以对于所述一个或多个区间生成最小位深值；
基于所述输入位深、最小位深值和目标位深生成码字映射函数(220)；以及
将所述码字映射函数应用于所述输入图像以生成所述目标位深的输出图像，其中，所述目标位深小于所述输入位深。
2.根据权利要求1所述的方法，其中，所述噪声掩蔽生成处理包括：
将第一滤波器(305)应用于所述输入图像以生成第一滤波图像(L)；
通过计算所述输入图像与所述第一滤波图像之间的差的绝对值生成第二图像；以及
通过将第二滤波器应用于所述第二图像生成噪声掩蔽图像(H)。
3.根据权利要求2所述的方法，其中，所述第一滤波器是低通高斯滤波器。
4.根据权利要求2所述的方法，其中，所述第二滤波器是低通高斯滤波器。
5.根据权利要求2所述的方法，进一步包括：
将像素选择处理应用于所述噪声掩蔽图像以消除在量化处理中被视为非必要的像素。
6.根据权利要求1所述的方法，其中，生成所述噪声掩蔽直方图包括：
基于所述输入位深计算所述输入图像的动态范围；
将所述动态范围分成M个子范围，其中，M是大于1的整数；
对于第i子范围：
识别所述输入图像中具有所述第i子范围内的像素值的所有像素；
对于所述第i子范围中的每个像素，
确定它在所述噪声掩蔽图像中相应的噪声掩蔽值；
确定所述第i子范围中所有像素的噪声掩蔽值的最小值；以及
将所述第i子范围中像素的噪声掩蔽值的最小值指派给所述噪声掩蔽直方图中的第i区间。
7.根据权利要求1所述的方法，其中，所述输入图像是根据伽马编码或者SMPTE ST2084而编码的高动态范围图像。
8.根据权利要求1所述的方法，其中，所述掩蔽噪声水平到位深函数根据来自感知用户研究的结果而生成。
9.根据权利要求1所述的方法，其中，生成所述码字映射函数进一步包括：
基于所述最小位深值、输入位深和目标位深生成所述目标位深的所需要的码字的规范化数量的下限；
根据分配方案将未使用的规范化码字分配给所述输入图像的整个动态范围以生成所需要的码字的更新的规范化数量；以及
通过计算所需要的码字的所述更新的规范化数量的累积和生成所述码字映射函数。
10.根据权利要求9所述的方法，进一步包括在生成所述码字映射函数之前通过低通滤波器对所需要的码字的所述更新的规范化数量进行滤波。
11.根据权利要求10所述的方法，其中，所述低通滤波器包括(2N+1)抽头均值滤波器，其中，N是正整数。
12.根据权利要求9所述的方法，其中，所述分配方案包括比例分配方案，其中，对于第i输入像素值：
<mrow> <msub> <mover> <mi>d</mi> <mo>~</mo> </mover> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>U</mi> <mfrac> <msub> <mi>d</mi> <mi>i</mi> </msub> <mi>D</mi> </mfrac> <mo>,</mo> </mrow>
其中，表示码字值的更新的规范化数量，di表示所需要的码字的规范化数量，D表示di值的和，并且U＝1-D。
13.根据权利要求9所述的方法，其中，所述分配方案包括恒定偏移分配方案，其中，对于第i输入像素值：
<mrow> <msub> <mover> <mi>d</mi> <mo>~</mo> </mover> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>+</mo> <mfrac> <mi>U</mi> <mrow> <msub> <mi>v</mi> <mi>H</mi> </msub> <mo>-</mo> <msub> <mi>v</mi> <mi>L</mi> </msub> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，表示码字值的更新的规范化数量，di表示所需要的码字的规范化数量，如果D表示di值的和，那么U＝1-D，vH表示最大输入像素值，并且vL表示最小输入像素值。
14.根据权利要求9所述的方法，其中，所述分配方案包括基于直方图的分配方案，其中，对于第i输入像素值：
<mrow> <msub> <mover> <mi>d</mi> <mo>~</mo> </mover> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>U</mi> <mfrac> <msub> <mi>h</mi> <mi>i</mi> </msub> <mi>P</mi> </mfrac> <mo>,</mo> </mrow>
其中，表示码字值的更新的规范化数量，di表示所需要的码字的规范化数量，hi表示所述输入图像中具有等于i的值的像素的数量，如果D表示di值的和，那么U＝1-D，并且P表示所述输入图像中的考虑之中的像素的总数量。
15.根据权利要求9所述的方法，其中，所述分配方案包括基于标量的分配方案，其中，对于第i输入像素值:
<mrow> <msub> <mover> <mi>d</mi> <mo>~</mo> </mover> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>a</mi> <mrow> <mo>(</mo> <mfrac> <mi>U</mi> <mrow> <msub> <mi>v</mi> <mi>H</mi> </msub> <mo>-</mo> <msub> <mi>v</mi> <mi>L</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>a</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <msub> <mi>v</mi> <mi>L</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mfrac> <mi>U</mi> <mrow> <msub> <mi>v</mi> <mi>H</mi> </msub> <mo>-</mo> <msub> <mi>v</mi> <mi>L</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中，表示码字值的更新的规范化数量，di表示所需要的码字的规范化数量，如果D表示di值的和，那么U＝1-D，α是0与1之间的标量，vH表示最大输入像素值，并且vL表示最小输入像素值。
16.根据权利要求9所述的方法，其中，对于输入像素值i生成码字映射函数包括计算
<mrow> <mi>F</mi> <mi>L</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>i</mi> </munderover> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>,</mo> </mrow>
其中，sk值是基于码字值的更新的规范化数量导出的。
17.根据权利要求16所述的方法，其中，生成所述输出图像包括计算：
其中，对于所述输入图像中的像素Ip＝i，sp表示相应的规范化的量化输出像素，vH表示最大输入像素值，并且vL表示最小输入像素值。
18.根据权利要求1所述的方法，其中，所述最小位深值基于跨包括所述输入图像的视频场景中的多个连续帧而计算的最小位深值计算。
19.根据权利要求9所述的方法，进一步包括：
当确定所述目标位深不能满足分配步骤时，根据所述噪声掩蔽图像将噪声或者抖动添加到所述输入图像，并且生成所需要的码字的规范化数量的较新下限以替换所需要的码字的规范化数量的下限。
20.一种用于自适应量化的系统，所述系统包括：
接收输入帧并且根据权利要求1所述的方法生成重新量化的帧的处理器；
用于对所述重新量化的帧进行编码以生成编码帧的处理器；
用于对所述编码帧进行解码以生成解码帧的处理器；以及
通过将反向再成形函数应用于所述解码帧来生成输出帧的处理器。
21.一种包括处理器并且被配置为执行权利要求1-19中记载的所述方法中的任何一个的装置。
22.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有存储在其上的计算机可执行指令，所述计算机可执行指令用于执行根据权利要求1-19中的任何一项的方法。
CN201680013230.9A 2015-03-02 2016-03-01 用于高动态范围图像的内容自适应感知量化器 Active CN107409213B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562126925P 2015-03-02 2015-03-02
US62/126,925 2015-03-02
PCT/US2016/020230 WO2016140954A1 (en) 2015-03-02 2016-03-01 Content-adaptive perceptual quantizer for high dynamic range images

Publications (2)

Publication Number Publication Date
CN107409213A true CN107409213A (zh) 2017-11-28
CN107409213B CN107409213B (zh) 2020-10-30

Family

ID=55910328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013230.9A Active CN107409213B (zh) 2015-03-02 2016-03-01 用于高动态范围图像的内容自适应感知量化器

Country Status (8)

Country Link
US (1) US10419762B2 (zh)
EP (1) EP3266208B1 (zh)
JP (1) JP6484347B2 (zh)
KR (1) KR101939012B1 (zh)
CN (1) CN107409213B (zh)
BR (1) BR112017018893B1 (zh)
RU (1) RU2678483C1 (zh)
WO (1) WO2016140954A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844732B1 (ko) 2015-03-20 2018-04-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 신호 재정형 근사화
CN107439012B (zh) 2015-04-06 2018-09-25 杜比实验室特许公司 用于环内转换的方法、装置和计算机可读存储介质
US10735755B2 (en) 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
WO2017003525A1 (en) 2015-06-30 2017-01-05 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
US10116938B2 (en) 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
JP6608067B2 (ja) * 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 映像復号化器における高ダイナミックレンジ適応演算
US10311558B2 (en) 2015-11-16 2019-06-04 Dolby Laboratories Licensing Corporation Efficient image processing on content-adaptive PQ signal domain
US10165275B2 (en) 2016-01-26 2018-12-25 Dolby Laboratories Licensing Corporation Content-adaptive reshaping for high dynamic range images
US10032262B2 (en) 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
US10223774B2 (en) 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
CN108885783B (zh) 2016-03-23 2022-02-15 杜比实验室特许公司 编码和解码可逆制作质量单层视频信号
US10397586B2 (en) 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
JP6846442B2 (ja) 2016-05-19 2021-03-24 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのクロマ再構成
GB201611253D0 (en) 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
WO2018049335A1 (en) * 2016-09-09 2018-03-15 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
EP3510772B1 (en) 2016-09-09 2020-12-09 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
JP6740866B2 (ja) * 2016-11-07 2020-08-19 株式会社デンソー 画像出力装置
EP3566440B1 (en) 2017-03-21 2020-12-02 Dolby Laboratories Licensing Corporation Quantization parameter prediction using luminance information
EP3865028A1 (en) 2017-08-09 2021-08-18 SharkNinja Operating LLC Cooking device and components thereof
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
KR102487032B1 (ko) * 2018-02-14 2023-01-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 레이트 왜곡 최적화를 이용한 비디오 코딩에서의 이미지 재성형
CN112771567B (zh) * 2018-09-24 2023-07-11 杜比实验室特许公司 Sdr到hdr图像转换中的图像去噪
US11277646B2 (en) * 2018-10-03 2022-03-15 Dolby Laboratories Licensing Corporation Reducing banding artifacts in backward-compatible HDR imaging
US11663702B2 (en) * 2018-12-19 2023-05-30 Dolby Laboratories Licensing Corporation Image debanding using adaptive sparse filtering
CN115623208A (zh) 2019-05-28 2023-01-17 杜比实验室特许公司 用信号发送量化参数
US11356623B2 (en) 2020-06-01 2022-06-07 City University Of Hong Kong System and method for processing an image
EP4172981A1 (en) * 2020-06-30 2023-05-03 Dolby Laboratories Licensing Corporation Systems and methods for ambient light compensation using pq shift
WO2022195537A1 (en) * 2021-03-17 2022-09-22 The Trustees Of Princeton University Microlens amplitude masks for flying pixel removal in time-of-flight imaging
EP4341903A1 (en) 2021-05-21 2024-03-27 Dolby Laboratories Licensing Corporation Patch-based reshaping and metadata for volumetric video
CN115908156A (zh) * 2021-09-30 2023-04-04 想象技术有限公司 渲染3d场景的图像
WO2023215108A1 (en) 2022-05-05 2023-11-09 Dolby Laboratories Licensing Corporation Stereoscopic high dynamic range video
CN116385316B (zh) * 2023-06-01 2023-08-08 深圳市嘉润原新显科技有限公司 多目标图像动态捕捉方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4364081A (en) * 1980-04-16 1982-12-14 Sony Corporation Method and apparatus for processing a digital color video signal
CN101689295A (zh) * 2007-06-29 2010-03-31 汤姆森许可贸易公司 用于减少图像中的伪像的设备和方法
CN102165513A (zh) * 2008-09-30 2011-08-24 杜比实验室特许公司 用于在高亮度和高动态范围的显示器的图像处理中应用自适应伽玛的系统和方法
US20120007753A1 (en) * 2010-07-12 2012-01-12 Yuuji Maeda Encoding Apparatus, Encoding Method, Decoding Apparatus, Decoding Method, and Program
WO2013086169A1 (en) * 2011-12-06 2013-06-13 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities
CN103503429A (zh) * 2011-04-15 2014-01-08 杜比实验室特许公司 编码、解码和表现高动态范围图像
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02131038A (ja) 1988-11-10 1990-05-18 Pioneer Electron Corp 信号伝送装置
EP0757334A3 (en) 1995-07-07 1997-07-02 Imec Vzw Data compression method and apparatus
KR100355375B1 (ko) 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
KR100316764B1 (ko) 1996-01-19 2002-02-28 윤종용 시감특성을 이용한 영상 부호화방법 및 장치
KR100203695B1 (ko) 1996-03-22 1999-06-15 전주범 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치
US6807298B1 (en) 1999-03-12 2004-10-19 Electronics And Telecommunications Research Institute Method for generating a block-based image histogram
KR100344807B1 (ko) * 2000-01-12 2002-07-20 엘지전자주식회사 영상 신호 보정 장치 및 방법
KR100750138B1 (ko) 2005-11-16 2007-08-21 삼성전자주식회사 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US8711926B2 (en) 2007-02-08 2014-04-29 Qualcomm Incorporated Distortion estimation for quantized data
JP4155328B2 (ja) 2007-03-29 2008-09-24 株式会社日立製作所 映像表示装置
US8064517B1 (en) 2007-09-07 2011-11-22 Zenverge, Inc. Perceptually adaptive quantization parameter selection
JP2009224854A (ja) * 2008-03-13 2009-10-01 Toshiba Corp 画像符号化装置及び方法
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
EP2377320A1 (en) 2008-12-17 2011-10-19 Telefonaktiebolaget L M Ericsson (PUBL) Adaptive quantization based on spatial activity histogram
EP2404281A1 (en) * 2009-03-06 2012-01-11 Koninklijke Philips Electronics N.V. Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
US8761268B2 (en) 2009-04-06 2014-06-24 Intel Corporation Selective local adaptive wiener filter for video coding and decoding
US10897625B2 (en) 2009-11-20 2021-01-19 Texas Instruments Incorporated Block artifact suppression in video coding
KR101751270B1 (ko) 2010-01-25 2017-07-11 고려대학교 산학협력단 이미지 처리장치 및 방법
WO2012079237A1 (zh) 2010-12-16 2012-06-21 北京航空航天大学 一种图像压缩中利用人眼视觉模型的小波系数量化方法
JP5960731B2 (ja) * 2011-03-02 2016-08-02 ドルビー ラボラトリーズ ライセンシング コーポレイション 局所マルチスケールトーンマッピングオペレータ
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
WO2013078822A1 (en) 2011-11-29 2013-06-06 Thomson Licensing Texture masking for video quality measurement
KR20130078569A (ko) 2011-12-30 2013-07-10 광운대학교 산학협력단 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치
CN104541301B (zh) 2012-03-26 2017-11-03 皇家飞利浦有限公司 用于hdr图像编码和解码的基于视亮度区域的装置和方法
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
CN105787909B (zh) * 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
PL2941872T3 (pl) 2013-01-02 2019-03-29 Dolby Laboratories Licensing Corporation Kompatybilne wstecznie kodowanie dla sygnałów wideo o ultra wysokiej rozdzielczości z rozszerzonym zakresem dynamicznym
BR112015024172B1 (pt) 2013-03-26 2023-01-31 Dolby Laboratories Licensing Corporation Método, sistema e meio de armazenamento legível por computador
JP5639228B2 (ja) * 2013-06-18 2014-12-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 重み付け符号化する方法及びシステム
WO2016049327A1 (en) 2014-09-26 2016-03-31 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4364081A (en) * 1980-04-16 1982-12-14 Sony Corporation Method and apparatus for processing a digital color video signal
CN101689295A (zh) * 2007-06-29 2010-03-31 汤姆森许可贸易公司 用于减少图像中的伪像的设备和方法
CN102165513A (zh) * 2008-09-30 2011-08-24 杜比实验室特许公司 用于在高亮度和高动态范围的显示器的图像处理中应用自适应伽玛的系统和方法
US20120007753A1 (en) * 2010-07-12 2012-01-12 Yuuji Maeda Encoding Apparatus, Encoding Method, Decoding Apparatus, Decoding Method, and Program
CN103503429A (zh) * 2011-04-15 2014-01-08 杜比实验室特许公司 编码、解码和表现高动态范围图像
WO2013086169A1 (en) * 2011-12-06 2013-06-13 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG YANG ET AL: "High dynamic range video compression by intensity dependent spatial quantization in HEVC", 《IEEE》 *

Also Published As

Publication number Publication date
EP3266208B1 (en) 2019-05-08
RU2678483C1 (ru) 2019-01-29
EP3266208A1 (en) 2018-01-10
KR20170113608A (ko) 2017-10-12
US20180041759A1 (en) 2018-02-08
JP2018509708A (ja) 2018-04-05
KR101939012B1 (ko) 2019-01-15
BR112017018893A2 (pt) 2018-04-24
BR112017018893B1 (pt) 2023-05-09
US10419762B2 (en) 2019-09-17
WO2016140954A1 (en) 2016-09-09
CN107409213B (zh) 2020-10-30
JP6484347B2 (ja) 2019-03-13

Similar Documents

Publication Publication Date Title
CN107409213A (zh) 用于高动态范围图像的内容自适应感知量化器
CN107439012B (zh) 用于环内转换的方法、装置和计算机可读存储介质
CN108885783B (zh) 编码和解码可逆制作质量单层视频信号
US10032262B2 (en) Block-based content-adaptive reshaping for high dynamic range images
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
CN109155853B (zh) 用于高动态范围图像的色度整形
CN105324997B (zh) 用于增强动态范围信号的分层编码的自适应整形
EP3176749B1 (en) Efficient image processing on content-adaptive pq signal domain
CN102388612B (zh) 高动态范围、可视动态范围和宽色域视频的分层压缩
CN107771392B (zh) 用于高动态范围图像的实时内容自适应感知量化器
CN110267046A (zh) 用于高动态范围信号的信号整形
US11100888B2 (en) Methods and apparatuses for tone mapping and inverse tone mapping
WO2020061172A1 (en) Automatic display management metadata generation for gaming and/or sdr+ contents
EP3537717A1 (en) Single-layer progressive coding for supporting multi-capability hdr composition
CN109792523A (zh) 单层后向兼容编解码器的实时整形
US10165275B2 (en) Content-adaptive reshaping for high dynamic range images
JP7386977B2 (ja) テンソル積ｂスプライン予測子
CN110770787A (zh) 高效端到端单层逆向显示管理编码
US11895416B2 (en) Electro-optical transfer function conversion and signal legalization
CN110999300A (zh) 用于图像/视频处理的单通道逆映射

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1243251

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant