CN105745914B - 用于逆色调映射的方法和系统 - Google Patents
用于逆色调映射的方法和系统 Download PDFInfo
- Publication number
- CN105745914B CN105745914B CN201480063787.4A CN201480063787A CN105745914B CN 105745914 B CN105745914 B CN 105745914B CN 201480063787 A CN201480063787 A CN 201480063787A CN 105745914 B CN105745914 B CN 105745914B
- Authority
- CN
- China
- Prior art keywords
- brightness
- dynamic range
- itm
- tone mapping
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 2
- 101000632056 Homo sapiens Septin-9 Proteins 0.000 description 13
- 102100028024 Septin-9 Human genes 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 101100075995 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma2 gene Proteins 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910002804 graphite Inorganic materials 0.000 description 2
- 239000010439 graphite Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 240000006108 Allium ampeloprasum Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 101100456045 Schizosaccharomyces pombe (strain 972 / ATCC 24843) map3 gene Proteins 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Abstract
公开了用于逆色调映射的新颖的方法和系统。可以对场景进行分析以获得来自亮光源和镜面反射的高光检测。可以基于较低动态范围显示器和较高动态范围显示器来计算逆色调映射曲线。可以应用多尺度滤波以减少噪声或伪像。
Description
相关申请的交叉引用
本申请要求于2013年11月22日提交的美国临时专利申请No.61/907,996的优先权,该在先申请在此通过引用以其全部内容被合并到本文中。
技术领域
本公开内容涉及色调映射。更具体地,本公开内容涉及用于逆色调映射的方法和系统。
附图说明
附图示出了本公开内容的一种或更多种实施方式,并且连同示例实施方式的描述一起用于说明本公开内容的原理和实现,这些附图被包括在本说明书中并且构成本说明书的一部分。
图1示出了本公开内容的逆色调映射处理的一种实施方式的概述。
图2示出了根据本公开内容的实施方式的逆色调映射函数的示例。
图3示出了逆色调映射模块的示例性实施方式。
图4示出了逆色调映射模块的另一种示例性实施方式。
图5描绘了用于实现本公开内容的实施方式的目标硬件的示例性实施方式。
发明内容
在本公开内容的第一方面中,描述了一种执行逆色调映射的方法,该方法包括:通过计算机提供图像的亮度;通过计算机检测亮度中的高光,从而获得高光检测参数;通过计算机估计亮度的中值,从而获得中值亮度参数;通过计算机提供较低动态范围显示器和较高动态范围显示器的最小亮度值和最大亮度值;通过计算机基于高光检测参数、中值亮度参数以及较低动态范围显示器和较高动态范围显示器的最小亮度值和最大亮度值来计算逆色调映射曲线;以及通过计算机将逆色调映射曲线作为全局映射算子应用于亮度,从而获得逆映射亮度。
具体实施方式
如本文中所使用的,术语“动态范围”(DR)可以与人类视觉系统(HVS)感知图像的强度(例如,亮度(luminance)、照度(luma))的范围例如从最黑暗到最明亮的能力有关。从这个意义上说,DR与“场景涉及”(“scene-referred”)强度有关。DR还可以与显示装置充分地或近似地渲染特定幅度的强度范围的能力有关。从这个意义上说,DR与“显示器涉及”(“display-referred”)强度有关。除非在本文的描述中的任意点处明确地指定特定意义具有特定意思,否则应当推断出,该术语可以按任一意义使用,例如可互换地使用。
如本文中所使用的,术语高动态范围(HDR)与跨HVS的大约14至15个数量级的DR幅度有关。例如,视觉基本正常(例如,在统计学、生物计量学或眼科学意义中的一个或更多个意义上)的适应性强的人类具有跨大约15个数量级的强度范围。适应性强的人类可以感知几个光子的暗淡光源。然而,这些相同的人类可以感知沙漠、海洋或积雪中的正午的太阳的几乎令人痛苦的明亮的强度(或者甚至瞥一眼太阳,虽然短暂,以避免伤害)。可是对于“适应性强”的人类,例如其HVS具有重设和调整的时间段的那些人而言,该跨度有效。
相比之下,与HDR相比,人类可以同时感知强度范围中的广阔幅度的DR可能有点缩短。如本文中所使用的,术语“视觉动态范围”(VDR)可以与能够被HVS同时感知的DR有关。如本文中所使用的,VDR可以与跨5至6个数量级的DR有关,然而,并不意在受限于动态范围的任意跨度,而且VDR可以窄于或者等于HDR。
直到最近,显示器具有比HDR或VDR明显较窄的DR。使用典型的阴极射线管(CRT)、具有恒定的荧光黑白照明的液晶显示器(LCD)或者等离子屏幕技术的电视(TV)和计算机监视器设备的DR渲染能力可以被约束至大约3个数量级。因此,这样的常规显示器具有与VDR和HDR相比的低动态范围(LDR)或者标准动态范围(SDR)的特征。数字影院系统与其他显示装置一样呈现一些相同的局限性。在本申请中,“视觉动态范围(VDR)”意在表示任意扩展的动态范围,该扩展的动态范围比LDR或SDR较宽,并且可以窄于或者等于HDR。SDR图像可以例如是48尼特(nit)电影内容或100尼特蓝光内容。也可以可互换地将VDR表达为EDR(增强的动态范围)。一般地,本公开内容的方法与比SDR高的任意动态范围有关。
相较于当今的数字影院系统上所渲染的相同内容,数字影院的基础技术的进步将使得未来的数字影院系统能够渲染各种品质特征显著提高的图像和视频内容。例如,未来的数字影院系统将能够具有比常规数字影院系统的SDR/LDR更高的DR(例如,VDR)以及比常规数字影院系统的色域更大的色域。
在此以及在下文中,对于“信号”,意指物理的、电子的信号,例如表示与图像处理有关的图像或参数的数字比特流。这样的信号(或图像)处理可以引起图像品质的损失,一个原因在于分别在发送端和接收端处的处理中使用的输入信号之间的差异。
本公开内容描述了用于通过逆色调映射将颜色分级(color graded)的标准动态范围(SDR)内容转换成VDR(或EDR)内容的系统和方法。
现在在专业电子市场和消费者电子市场中出现了具有较高动态范围的显示器。同时,仍然将大多数分发内容颜色校正至低动态范围,例如,可将蓝光盘颜色分级成100尼特。当意在将显示在100尼特显示器上的蓝光内容直接输入至较高动态范围显示器时,内容的视觉感知会与例如电影的内容的导演想要被看到的内容的视觉感知极其不同。
对本公开内容的方法和系统而言,一些实施方式是可行的。例如,对于VDR消费者装置,逆色调映射模块在一些实施方式中可以位于SDR信号的解码之后。这样的逆色调映射模块可以将信号直接转换成VDR显示器的容量(capacity)。
在其他实施方式中,可以直接应用逆色调映射以将目录的内容转换至较高动态范围。例如,像或者一样具有巨大数字目录的内容的公司可以对他们的目录的内容直接应用该算法。
在其他实施方式中,例如对于现场体育广播,可能的是,摄像装置中的一个摄像装置具有VDR范围,而其他摄像装置为SDR。对于这样的情况,逆色调映射可以将SDR摄像装置的输出转换为与VDR摄像装置的动态范围匹配。
在其他实施方式中,可以与其他方法一起应用本公开内容的方法和系统。例如,参考于2013年10月22日提交的题为“Guided Color Grading for Extended Dynamic Range(用于扩展的动态范围的导向颜色分级)”的美国临时专利申请No.61/894,382,其公开内容在此通过引用以其全部内容被合并到本文中,本公开内容的逆色调映射方法和系统可以用作VDR颜色分级的初始猜测。
在用于执行逆色调映射的文献中存在几种方法,使得可以将标准动态范围图像/视频转换至目标高动态范围显示器的高动态范围。
逆色调映射的一种可能的难点在于对高光像素——包括光源和镜面反射的像素——的操作。一种类型的逆色调映射方法在于确实地转化色调映射算子,使得不同的全局色调映射算子可以产生不同的逆色调映射器。例如,在下述文献中描述了这样的方法:Banterle等人,Inverse tone mapping(逆色调映射),石墨(Graphite)‘06,2006,ACM,第349页至第356页,其公开内容在此以其全部内容被合并到本文中。
上述文献中已知的一组方法使用简单线性扩展。然而,在不区分光源/镜面反射与漫反射的情况下,这样的方法对于所有内容而言都不会表现良好。例如,对于100尼特显示器的输入图像,白像素可以来自光源或者来自漫射白纸。如本领域技术人员所理解的,通过应用全局色调映射,这些100尼特白像素通常被映射成非常高的亮度,例如,VDR显示器中的4000尼特。针对来自亮光源的那些像素,这样的映射可能是恰当的。然而,如果替代地像素是漫射像素,则映射成VDR显示器中的一样高的亮度将很可能产生不了高品质图像。
另一组逆色调映射方法可以通过空间上掩盖高光位置、或者通过将明亮区域标记成要以特定方式处理的不同类型而以不同方式来处理高光。这组方法可以通过以不同方式处理像素来解决如何映射明亮像素以获得高品质图像的含混问题。然而,不同种类的像素的空间分离会容易出错并且会导致计算算法更加复杂。
在本公开内容所提出的方法中,第一步骤包括检测场景或帧是否包括任何高光,包括源于明亮光源的高光以及源于镜面反射的高光。基于这样的检测结果,可以对逆色调映射曲线进行调整或优化。因此,逆色调映射曲线仍然是全局曲线,但是基于具体内容对逆色调映射曲线进行适应性修改。
逆色调映射中的其他可能的难点在于噪声增加、过度拍摄(over-shooting)、以及平滑变化区域中出现量化带,尤其是在高亮度范围中更是如此。在本公开内容中,描述了修改的多尺度方法,其能够减少由于图像或视频中动态范围的扩展而产生的这些伪像。
对于用于显示器管理的色调映射曲线的生成,在于2012年3月15日提交的题为“Method and Apparatus for Image Data Transformation”(用于图像数据转换的方法和设备)的序列号为PCT/US2012/029189的PCT专利申请中描述了示例算法(从现在开始将该PCT专利申请称作‘189申请),该申请在此通过引用以其全部内容被合并到本文中。
在DM算法中,考虑了源显示器和目标显示器的最小亮度值和最大亮度值连同根据输入内容VDR而计算的中值、以及其会被映射成的中值。这三对值确定色调映射曲线上的3个控制点。类似地,在逆色调映射中,首先确定这3个控制点。对于中间的控制点,存在根据输入SDR信号估计的SDR输入中值,基于其可以找出应该将SDR输入的该中值映射至VDR输出范围中的哪里。在一种实施方式中,可以基于SDR范围中的中间SDR值的相对位置来估计EDR中的该中值。对于黑暗侧中的端部控制点,可以使用源显示器和目标显示器的最小亮度值,而在明亮侧上,可以使用虚拟源显示器的概念来确定控制点。虚拟源显示器可以具有与实际源显示器相同的最小亮度,但是具有不同的最大亮度,这取决于内容中是否存在高光区域。
如果内容中不存在光源或者镜面反射,则可以在较高亮度水平处添加若干虚拟高光,并且在虚拟源显示器上显示内容,虚拟源显示器的最大亮度高于实际源显示器的最大亮度。然后,可以从内容中移除假想的虚拟高光,以能够在实际源显示器上看见相同内容显示。取代实际源显示器,虚拟源显示器的最大亮度值可以用于计算色调映射曲线。因此,色调映射曲线会受虚拟源显示器的最大亮度值影响,虚拟源显示器的最大亮度值转而由场景是否包括任何光源的概率来确定。
当三对控制点被确定时,可以如‘189申请中的DM算法那样来计算参数c1、c2和c3。在实施方式中,一旦c1、c2和c3被计算,则可以将VDR值计算为
其中,在一种实施方式中,n=3,m=r(1/4),并且r是VDR的感知动态范围相对于SDR的比率。
另外,为了保持逆色调映射方法的时间一致性,可以逐场景地处理输入内容,例如,可以基于每个场景中的内容来确定逆色调映射曲线。在一些实施方式中,可能不可以逐场景地处理输入内容。在这样的实施方式中,当需要实时转换时,可以对用于确定逆色调映射曲线的参数应用递归滤波,以避免色调映射曲线在连续帧中的突然变化。
图1示出了本公开内容的逆色调映射处理的实施方式的概述。
在图1的实施方式中,可以将逆色调映射仅应用于亮度通道(105)。为了高光检测和中值估计而执行场景分析(110)。该步骤(110)将提供两个参数(115):1)场景是否包括高光的概率,以及2)亮度的中值。这两个内容相关参数(115)连同SDR显示器和VDR显示器的参数(120)一起可以用于计算逆色调映射曲线(125)。然后,可以将所计算的逆色调映射曲线(130)作为全局色调映射算子应用(135)于场景中的每个像素,获得逆映射亮度通道(140)。在随后的步骤(145)中,可以应用修改的多尺度处理(145)以对任何增加的噪声和量化带进行处理,获得最终输出(150)。
在图1的实施方式中,该方法是基于场景的。然而,还可以采用逐帧方法。当逐帧处理内容时,会需要对场景的自适应参数(例如,针对每个帧所计算的)应用递归滤波,以避免连续帧中的突然变化。
可以如下来执行递归滤波。例如,考虑参数p,先前帧中使用的参数为Pi-1,而当前帧i中新计算的参数为pi,为了获得要在当前帧中使用的参数Pi,可以定义权重w,使得Pi=(1-w)*Pi-1+w*pi。在一些实施方式中,权重w可以具有范围[0,1]并且当需要时可以对其进行调整。当权重变成1时,该处理变成逐帧处理。
参照图1,可以如下来执行场景分析步骤(110)。
场景分析:高光检测和平均亮度
场景分析将产生两个场景相关参数:高光检测和平均亮度。第一参数是场景是否包括高光(高光包括光源和镜面反射)的概率,并且第二参数是输入亮度的中值。
高光检测
可以应用用于检测高光的很多方法。例如,以下文献中描述了这些方法:Meylan等人,The reproduction of specular highlights on high dynamic range displays(在高动态范围显示器上再现镜面高光),IS&T/SID第14届彩色成像会议(2006);Kunkel,T.,Identifying perceived light source(识别感知的光源),博士论文“Colour AppearanceModelling for Digital Imaging Pipelines(用于数字成像流水线的色貌建模)”(布里斯托尔大学,2010)的第七章;以及题为“Light detection,color appearance models,andmodifying dynamic range for image display(光检测、色貌模型以及修改图像显示的动态范围)”的第8,483,479 B2号美国专利公开,所有这些文献的公开内容通过引用以其全部内容被合并到本文中。可以容易地将上面的高光检测方法的输出转换成场景是否包括高光的概率。
在一种实施方式中,暗通道信息用于估计高光的概率。暗通道是每个像素的三个颜色分量的最低值。统计上,自然图像的漫射像素通常在三个颜色通道中至少之一中具有低强度。为了估计高光的概率,获得暗通道的最大值,并且对于最大暗通道值定义两个阈值T1和T2。如果最大暗通道值大于T1,则将高光的概率设置成1;如果最大暗通道值小于T2,则将高光的概率设置成0;并且如果最大暗通道值在T1与T2之间,则根据最大暗通道值在0和1之间对高光的概率进行线性插值。
在一些实施方式中,可以基于统计——包括高亮度范围中的暗通道值分布的偏度(skewness)和峰度(kurtosis)——来应用启发式准则,以确定光源和镜面反射的存在概率。
在其他实施方式中,可以对图像中的有可能被感知为发射的不同区域(例如,光源、镜面高光)——与被感知为反射的区域(对象、表面、纹理、……)相对——应用基于感知的高光检测。这样的分析的结果不仅是强度的函数(例如,像素值),而且考虑到分析中的区域的大小。
还可以使用多尺度方法,使用图像金字塔(image pyramid)将图像分解成不同的空间频率层。在‘189申请中描述了多尺度方法的示例。在另一种实施方式中,在每一层中,使用一组高斯差分(DoG)核来识别朝向较亮像素的梯度。然后,对这些层进行加权以及重组。最后的步骤包括双边滤波,该双边滤波形成描绘了可能被感知为光源的区域的中间图。由于该方法是针对静态图像设计的,所以针对基于视频的逆色调映射,可以应用下面的扩展。
如果可以预先分析场景,则:
a.针对所有时间上并行的层(例如,场景中的所有帧的所有金字塔层x)计算时间统计(例如,加权预测器)。以这种方式,可以关于存在多少特定大小的高光的帧获得统计指标。
b.在对每个帧的加权预测器求平均之后,可以创建用于对金字塔层进行重组的、临时的全局的(并且因此稳定的)加权方案,否则这些金字塔层将会全局地影响色调映射。
上面步骤a和步骤b的方法可以使得能够缓解“发光婚纱问题”。可以使用白色反射对象如新娘的服装的示例来描述该问题,其中,对象是场景中的主要元素,随后摄像装置拉远(zoom out)。在拉远之后,白色反射对象可以被检测为发光。高光检测方法意在解决该问题,以不会根据场景的变化如拉远而突然将婚纱检测为发光。
如果不可以预先分析场景,则可以将如上在步骤a和步骤b中描述的时间分析执行为时间上、意识到场景剪切的、低通抑制的加权方案(场景内光源的检测无突然变化)。
此外,可以将所识别的高光像素分组和/或聚类到一起以形成高光像素区,即使其在形态学上并不是连接的(例如,水面上的反光)时也是如此。该方法可以用于空间上以及时间上并且通过图像金字塔层遍及场景跟踪高光像素(高光区域)。即使高光像素在时间上改变亮度或大小,仍然可以执行这样的跟踪。跟踪可以使高光像素对逆色调映射的影响稳定。平均亮度
第二参数是输入亮度的中值,在一种实施方式中将输入亮度的中值估计为平均亮度值。可以根据整个场景或者根据单个帧来估计平均亮度值。例如,对于离线处理的情况,可以根据整个场景来估计平均亮度,或者对于基于帧的处理的情况,可以根据单个帧来估计平均亮度。在另外的实施方式中,可以根据输入SDR内容来计算亮度的加权平均,而可以根据不同像素的亮度值或者它们的局部时空特性来为不同的像素分配不同的权重。一种用于分配权重的方法包括基于亮度直方图来计算亮度的中值。另外的方法基于显著度(saliency)检测结果,即,在场景中被认为较重要的那些地方赋予更大权重。
计算色调映射曲线
在一种实施方式中,S形曲线(sigmoid curve)可以用于计算色调映射曲线——参见例如‘189申请。在其他实施方式中,可以使用任何其他单调色调映射曲线。本公开内容的方法描述了如何基于场景分析结果来改变单调色调映射曲线。
例如如‘189申请中所描述的,场景亮度的统计的三个参数可以用于确定曲线的形状,例如,最小值、中间水平和最大值。在一种实施方式中,获得输入SDR内容的中间水平,并且该值可以用于估计VDR内容的中值。然后,VDR内容的中值可以与目标VDR显示器亮度的最小值和最大值一起用于确定色调映射曲线的形状。
换言之,在这三个参数中,其中的两个——最小值和最大值——可以根据VDR显示器而固定,并且中间水平可以根据SDR内容的中值来估计。
在一种实施方式中,可以将SDR的中值计算为场景的亮度的平均值,而基于VDR显示器的动态范围和SDR显示器的动态范围、根据SDR场景的中值对VDR场景的中值进行线性放大。
SDR内容是否包括高光的概率Phighlight可以用于确定虚拟源显示器的最大亮度S’max。在一种实施方式中,
S’max=Smax+c*(1-Phighlight)*Smax
其中,Smax是实际源显示器例如SDR显示器的最大亮度,并且c是应当将虚拟源显示器的最大亮度调高多少的常量。在计算S’max之后,可以生成以下色调映射曲线,该色调映射曲线将VDR显示器的最小亮度Tmin映射成SDR显示器的最小亮度Smin,并且将VDR显示器的最大亮度Tmax映射成虚拟源显示器的最大亮度S’max。
修改的多尺度
可以对映射应用常规多尺度处理,或者可以如本公开内容中描述的那样对这样的处理进行修改。下面的示例与从SDR至VDR的映射有关。在不进行多尺度的情况下,VDR=map(SDR)。可以选择不同类型的多尺度滤波器,例如:高斯滤波器、双边滤波器、导向滤波器(guided filter)或任何其他边缘保持滤波器(edge-preserving filter)。不失一般性,作为示例而非意在作为限制,下面将使用MSF符号来表示任意多尺度滤波器。
当应用多尺度时,上面用于映射的等式变成:
VDR=map(MSF(SDR))+(SDR-MSF(SDR))
其表示:SDR首先由MSF滤波器进行滤波,随后被映射成VDR,然后SDR与经MSF滤波的SDR之间的差被添加回输出。
可以通过改变映射算子与MSF之间的顺序来对结果进行近似,以获得
VDR=SDR+MSF(map(SDR)-SDR)。
MSF的高频残余可以保持同一大小而不是通过SDR至EDR映射被扩展。有效地,该步骤可以减少增加的噪声、过度拍摄,并且还可以移除通过逆色调映射被增加的量化带。
然而,针对逆色调映射应用该多尺度方案也可能模糊输入SDR图像中的细节。当例如在高亮度范围中映射斜率非常高时,会更频繁地出现增加的伪像。根据这个观察,可以应用两种方案以修改多尺度,使得多尺度将移除该范围中噪声的增加并且保持内容的清晰度(sharpness)。
对于斜率,意指色调映射曲线在像素的亮度值处的斜率。
在第一方案中,逆色调映射曲线的斜率可以用于将原始色调映射结果与多尺度结果进行混合。在一种实施方式中,可以针对逆色调映射曲线的斜率来定义两个阈值。对于斜率小于第一阈值的像素,可以使用原始色调映射结果;对于斜率大于第二阈值的像素,可以使用多尺度结果;而对于斜率在两个阈值之间的像素,可以对两个结果(原始色调映射与多尺度)进行线性插值。
逆色调映射曲线的斜率可以与高亮度范围内的像素亮度值单调相关。因此,在另一种实施方式中,还可以针对像素的亮度应用两个阈值,随后可以应用软切换处理,类似于上面详细描述的那样。这样的软切换可以基于像素的亮度值。例如,对于每个像素,可以根据其亮度值或者逆色调映射曲线的对应斜率在[0,1]范围内确定权重w,使得修改结果
VDR’=w*VDR+(1-w)*map(SDR)=
w*map(SDR)+w*MSF(map(SDR)-SDR)+(1-w)*map(SDR)=
map(SDR)+w*MSF(map(SDR)-SDR)
在第二方案中,为了修改常规多尺度方法,可以引入第二映射函数map2并且对残余应用该第二映射函数map2,使得对于修改的多尺度,
VDR=map(MSF(SDR))+map2(SDR-MSF(SDR))
该第二修改的多尺度方案可以使得能够实现以不同方式处理图像的高频部分的能力。在一种实施方式中,函数map2可以与色调映射函数map非常相似,但是在高端处具有有限的斜率。
在图2中示出了示例,其中,曲线(205)表示map函数的示例,而曲线(210)表示map2函数的示例。应用与上面相同的近似,
VDR=map2(SDR)+MSF(map(SDR)-map2(SDR))。
如可以在图2中看到的,与曲线(210)相比,曲线(205)在高端处斜率较高。
该方案可以被一般化成多个map函数,例如,
VDR=map(MSF1(SDR))+map2(MSF2(SDR))+map3(MSF3(SDR))
其中,
SDR=MSF1(SDR)+MSF2(SDR)+MSF3(SDR))
换言之,可以将SDR信号分解成不同的分量并且可以使用不同的映射函数对这些不同的分量进行映射。
在一些实施方式中,可以在系统中的硬件模块中实现逆色调映射处理。例如,图3示出了系统(300)中的逆色调映射模块(315)的示例性实施方式,其中,SDR信号(305)首先由解码器(310)解码,随后被输入至逆色调映射模块(315),其然后输出至VDR显示器(320)。
在其他实施方式中,还可以在系统中的硬件模块中实现逆色调映射处理。例如,图4示出了系统(400)中的逆色调映射模块(415)的示例性实施方式。系统(400)包括VDR摄像装置(410)和SDR摄像装置(405)。SDR摄像装置(405)将SDR信号发送至逆色调映射模块(415),然后,逆色调映射模块(415)的输出被发送至VDR显示器。VDR摄像装置(410)的输出也最终被发送至VDR显示器(420)。如由本领域技术人员所理解的,可以存在另外的模块。例如,可以存在用于信号传输的编码模块和解码模块。信号可以是图像或视频。
图5是用于实现图1至图4的实施方式的目标硬件(10)(例如,计算机系统)的示例性实施方式。该目标硬件包括处理器(15)、存储器组(20)、本地接口总线(35)以及一个或更多个输入/输出装置(40)。处理器可以执行与图1至图4的实现有关并且如由操作系统(25)基于存储在存储器(20)中的某种可执行程序(30)提供的一个或更多个指令。这些指令经由本地接口(35)被运送至处理器(15),并且由对于本地接口和处理器(15)而言特定的一些数据接口协议来规定。应当注意,本地接口(35)是若干元件的符号表示,这些元件诸如控制器、缓冲器(高速缓冲存储器)、驱动器、中继器和接收器,一般涉及在基于处理器的系统的多个元件之间提供地址、控制和/或数据连接。在一些实施方式中,处理器(15)可以配备有若干局部存储器(高速缓冲存储器),其中,在该局部存储器(高速缓冲存储器)中可以存储为了一些增加的执行速度而要被执行的一些指令。处理器执行指令会需要使用一些输入/输出装置(40),例如从存储在硬盘上的文件输入数据、从键盘输入命令、从触摸屏输入数据和/或命令、将数据输出至显示器、或者将数据输出至USB闪速驱动器。在一些实施方式中,操作系统(25)通过作为下述中央元件而便利了这些任务,该中央元件采集执行程序所需的各种数据和指令并且将这些数据和指令提供至微处理器。在一些实施方式中,虽然目标硬件装置(10)的基本架构仍然与图5中所描绘的相同,但是可以不存在操作系统,并且所有任务在处理器(15)的直接控制下。在一些实施方式中,为了增加执行速度,可以在并行配置中使用多个处理器。在这样的情况下,可以对可执行程序进行特定调整以并行执行。此外,在一些实施方式中,处理器(15)可以执行图1至图4的实现的一部分,并且可以使用放置在目标硬件(10)经由本地接口(35)能够访问的输入/输出位置处的专用硬件/固件来实现一些其他部分。目标硬件(10)可以包括多个可执行程序(30),其中,多个可执行程序中的每一个可以独立运行或者彼此结合在一起运行。
可以以硬件、软件、固件或其任意组合实现本公开内容中所描述的方法和系统。可以一起(例如,在逻辑装置如集成逻辑装置中)或者单独地(例如,作为各自连接的逻辑装置)实现被描述为块、模块或部件的特征。本公开内容的方法的软件部分可以包括计算机可读介质,该计算机可读介质包括当被执行时至少部分地执行所描述的方法的指令。计算机可读介质可以包括例如随机存取存储器(RAM)和/或只读存储器(ROM)。指令可以由处理器(例如,数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、图形处理单元(GPU)或者通用GPU)来执行。
已经描述了本公开内容的很多实施方式。尽管如此,应当理解,在不偏离本公开内容的精神和范围的情况下,可以作出各种修改。因此,其他实施方式处于下面的权利要求的范围内。
上面阐述的示例作为完整的公开内容以及对如何制作和使用本公开内容的实施方式的描述被提供给本领域的技术人员,而并不意在限制一个或多个发明人所认为的他们的公开内容的范围。
对本领域技术人员而言显见的、对用于实现本文中所公开的方法和系统的上述模式的修改意在处于下面的权利要求的范围内。本说明书中提到的所有专利和公开表示本公开内容所属领域的技术人员的技能的水平。本公开内容中引用的所有参考文献通过引用被合并到本文中达到与以下相同的程度:如同每个参考文献已经分别通过引用以其全部内容被合并到本文中一样。
应当理解,本公开内容不限于特定方法或系统,其当然可以变化。还应当理解,本文中使用的术语是仅出于描述特定实施方式的目的,而并不意在进行限制。如本说明书和所附权利要求中所使用的,除非内容以其他方式明确规定,否则单数形式“一个(a)”、“一个(an)”和“该(the)”包括多个指示物。除非内容以其他方式明确规定,否则术语“复数(plurality)”包括两个或更多个指示物。除非另有限定,否则本文中使用的所有科技术语具有与本公开内容所属领域的技术人员通常理解的含义相同的含义。
Claims (16)
1.一种执行逆色调映射的方法,所述方法包括:
通过计算机提供图像的亮度;
通过计算机检测所述亮度中的高光,所述高光包括来自较亮光源的高光以及来自镜面反射的高光,其中,检测高光包括估计所述图像中的高光像素的概率,以从而获得高光检测参数,所述高光检测参数是所述图像中是否包括高光的概率;
通过计算机估计所述亮度的中值,从而获得中值亮度参数;
通过计算机提供较低动态范围显示器和较高动态范围显示器的最小亮度值和最大亮度值,所述最小亮度值和所述最大亮度值界定相应的显示器能够渲染的强度范围;
通过计算机基于所述高光检测参数、所述中值亮度参数以及所述较低动态范围显示器和所述较高动态范围显示器的最小亮度值和最大亮度值来计算逆色调映射函数;以及
通过计算机将所述逆色调映射函数应用于所述图像中的每个像素的亮度,从而获得逆映射亮度。
2.根据权利要求1所述的方法,其中,所述高光检测参数和所述中值亮度参数是场景自适应的。
3.根据权利要求1所述的方法,其中,所述图像是视频中的帧。
4.根据权利要求3所述的方法,还包括在所述视频中的相邻帧之间进行递归滤波。
5.根据权利要求1所述的方法,其中,所述较低动态范围显示器或所述较高动态范围显示器是虚拟显示器,并且其中,所述虚拟显示器具有不同的最大亮度值。
6.根据权利要求5所述的方法,还包括:
通过计算机将虚拟高光添加至所述亮度,其中,所述虚拟高光具有较高亮度水平;
通过计算机在所述虚拟显示器上显示具有所述虚拟高光的所述图像;以及
通过计算机移除所述虚拟高光。
7.根据权利要求1所述的方法,其中,检测高光基于暗通道信息和两个阈值。
8.根据权利要求1所述的方法,其中,检测高光基于:启发式准则、基于感知的准则或者多尺度方法。
9.根据权利要求1所述的方法,其中,所述计算包括:
通过计算机获得较低动态范围图像的中值亮度;以及
通过计算机基于所述较低动态范围图像的中值亮度来估计较高动态范围图像的中值亮度。
10.根据权利要求1所述的方法,还包括对所述逆映射亮度应用多尺度滤波器,从而获得经滤波的逆映射亮度。
11.根据权利要求10所述的方法,其中,所述多尺度滤波器包括高斯滤波器、双边滤波器或者导向滤波器。
12.根据权利要求10所述的方法,还包括通过计算机将所述逆映射亮度与所述经滤波的逆映射亮度进行混合,从而获得混合的逆映射亮度。
13.根据权利要求12所述的方法,其中,所述混合包括:
通过计算机定义第一阈值参数和第二阈值参数,其中,所述第二阈值参数大于所述第一阈值参数;
通过计算机在所述图像的像素之间进行迭代,其中,所述迭代针对至少一个像素,并且其中,所述迭代执行以下步骤中的一个步骤:
i.如果所述逆色调映射曲线在所述至少一个像素的亮度值处的斜率小于所述第一阈值参数,则针对所述至少一个像素的混合仅考虑所述至少一个像素的逆色调映射亮度;
ii.如果所述逆色调映射曲线在所述至少一个像素的亮度值处的斜率大于所述第二阈值参数,则针对所述至少一个像素的混合仅考虑所述至少一个像素的经滤波的逆映射亮度;或者
iii.如果所述逆色调映射曲线在所述至少一个像素的亮度值处的斜率大于所述第一阈值参数并且小于所述第二阈值参数,则针对所述至少一个像素的混合是在所述至少一个像素的逆色调映射亮度与所述至少一个像素的经滤波的逆映射亮度之间进行线性插值。
14.根据权利要求13所述的方法,还包括单独地对较高频率亮度像素进行映射。
15.一种系统,包括:
解码器,被配置成接收编码的较低动态范围图像或视频并且输出解码的较低动态范围图像或视频;
逆色调映射模块,被配置成接收所述解码的较低动态范围图像或视频并且输出逆色调映射图像或视频,其中,所述逆色调映射模块被配置成根据权利要求1所述的方法来执行逆色调映射。
16.一种系统,包括:
至少一个较低动态范围摄像装置,被配置成输出较低动态范围图像或视频;
至少一个较高动态范围摄像装置,被配置成输出较高动态范围图像或视频;
逆色调映射模块,被配置成接收所述较低动态范围图像或视频并且输出逆色调映射图像或视频,其中,所述逆色调映射模块被配置成根据权利要求1所述的方法来执行逆色调映射;
较高动态范围显示器,被配置成接收所述较高动态范围图像或视频以及所述逆色调映射图像或视频。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361907996P | 2013-11-22 | 2013-11-22 | |
US61/907,996 | 2013-11-22 | ||
PCT/US2014/066394 WO2015077329A1 (en) | 2013-11-22 | 2014-11-19 | Methods and systems for inverse tone mapping |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105745914A CN105745914A (zh) | 2016-07-06 |
CN105745914B true CN105745914B (zh) | 2018-09-07 |
Family
ID=52016151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480063787.4A Active CN105745914B (zh) | 2013-11-22 | 2014-11-19 | 用于逆色调映射的方法和系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9607364B2 (zh) |
EP (1) | EP3072288B1 (zh) |
CN (1) | CN105745914B (zh) |
HK (1) | HK1225542B (zh) |
WO (1) | WO2015077329A1 (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10368031B2 (en) | 2014-02-27 | 2019-07-30 | Dolby Laboratories Licensing Corporation | Systems and methods to control judder visibility |
WO2015189350A1 (en) * | 2014-06-12 | 2015-12-17 | Thomson Licensing | Method of mapping source colors of a source content |
CN105303586B (zh) * | 2014-07-16 | 2018-05-11 | 深圳Tcl新技术有限公司 | 获取直方图的方法、亮度动态调整的方法及图像处理装置 |
WO2016054076A1 (en) | 2014-10-02 | 2016-04-07 | Dolby Laboratories Licensing Corporation | Dual-ended metadata for judder visibility control |
WO2016176209A1 (en) | 2015-04-28 | 2016-11-03 | Dolby Laboratories Licensing Corporation | Image highlight detection and rendering |
US9942489B2 (en) * | 2015-06-02 | 2018-04-10 | Samsung Electronics Co., Ltd. | Adaptive tone mapping based on local contrast |
US10834407B2 (en) | 2015-07-28 | 2020-11-10 | Dolby Laboratories Licensing Corporation | SDR bit depth enhancement via codeword range amplification in a codec with inverse display management |
EP3131284A1 (en) | 2015-08-13 | 2017-02-15 | Thomson Licensing | Methods, systems and aparatus for hdr to hdr inverse tone mapping |
EP3341913B1 (en) * | 2015-08-25 | 2019-06-26 | InterDigital VC Holdings, Inc. | Inverse tone mapping based on luminance zones |
US9979895B2 (en) * | 2015-09-04 | 2018-05-22 | Disney Enterprises, Inc. | High dynamic range tone mapping |
US10122928B2 (en) * | 2015-09-09 | 2018-11-06 | Red.Com, Llc | Motion video output for multiple displays |
US20170289571A1 (en) * | 2016-04-01 | 2017-10-05 | Intel Corporation | Temporal control for spatially adaptive tone mapping of high dynamic range video |
US10904534B2 (en) | 2016-04-19 | 2021-01-26 | Dolby Laboratories Licensing Corporation | Enhancement layer masking for high-dynamic range video coding |
KR102488954B1 (ko) | 2016-05-16 | 2023-01-16 | 엘지전자 주식회사 | 영상 처리 장치 및 그의 영상 처리 방법 |
EP3249605A1 (en) * | 2016-05-23 | 2017-11-29 | Thomson Licensing | Inverse tone mapping method and corresponding device |
US10062152B2 (en) * | 2016-07-27 | 2018-08-28 | Sharp Laboratories Of America, Inc. | System for conversion of low dynamic range images to high dynamic range images |
US10074162B2 (en) | 2016-08-11 | 2018-09-11 | Intel Corporation | Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images |
WO2018035696A1 (zh) * | 2016-08-22 | 2018-03-01 | 华为技术有限公司 | 一种图像处理方法以及装置 |
CN106204504B (zh) * | 2016-09-10 | 2019-05-21 | 天津大学 | 基于暗通道先验和色调映射的低照度图像增强方法 |
GB2554669B (en) * | 2016-09-30 | 2022-04-06 | Apical Ltd | Image processing |
EP3312798A1 (en) | 2016-10-20 | 2018-04-25 | Thomson Licensing | Method and device for inverse tone mapping |
EP3319013A1 (en) * | 2016-11-03 | 2018-05-09 | Thomson Licensing | Method and device for estimating cast shadow regions and/or highlight regions in images |
WO2018136432A1 (en) | 2017-01-18 | 2018-07-26 | Dolby Laboratories Licensing Corporation | Segment-based reshaping for coding high dynamic range video |
US10902601B2 (en) | 2017-01-18 | 2021-01-26 | Dolby Laboratories Licensing Corporation | Segment-based reshaping for coding high dynamic range video |
EP3373585A1 (en) * | 2017-03-09 | 2018-09-12 | Thomson Licensing | Method for inverse tone mapping of an image with visual effects |
CN107358580A (zh) * | 2017-06-16 | 2017-11-17 | 广东欧珀移动通信有限公司 | 高光区域的消除方法、装置及终端 |
EP3418972A1 (en) | 2017-06-23 | 2018-12-26 | Thomson Licensing | Method for tone adapting an image to a target peak luminance lt of a target display device |
US10755392B2 (en) * | 2017-07-13 | 2020-08-25 | Mediatek Inc. | High-dynamic-range video tone mapping |
EP3522107A1 (en) * | 2018-01-31 | 2019-08-07 | InterDigital CE Patent Holdings | Method and apparatus for generating hdr images with reduced clipped areas |
US10504452B2 (en) * | 2018-03-12 | 2019-12-10 | Apple Inc. | Pixel contrast control systems and methods |
CN108986174A (zh) * | 2018-06-06 | 2018-12-11 | 链家网(北京)科技有限公司 | 一种针对高动态范围跨图片的全局色调映射方法及系统 |
KR102127760B1 (ko) | 2018-11-30 | 2020-06-29 | 고려대학교 산학협력단 | 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체 |
JP7334608B2 (ja) | 2019-12-19 | 2023-08-29 | 株式会社Jvcケンウッド | 映像信号処理装置及び映像信号処理方法 |
EP3839876A1 (en) * | 2019-12-20 | 2021-06-23 | Fondation B-COM | Method for converting an image and corresponding device |
CN111709896B (zh) | 2020-06-18 | 2023-04-07 | 三星电子(中国)研发中心 | 一种将ldr视频映射为hdr视频的方法和设备 |
CN112200719B (zh) * | 2020-09-27 | 2023-12-12 | 咪咕视讯科技有限公司 | 图像处理方法、电子设备及可读存储介质 |
US11734806B2 (en) * | 2021-11-24 | 2023-08-22 | Roku, Inc. | Dynamic tone mapping |
CN117130509A (zh) * | 2023-02-24 | 2023-11-28 | 荣耀终端有限公司 | 亮度控制方法及其相关设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012125802A1 (en) * | 2011-03-15 | 2012-09-20 | Dolby Laboratories Licensing Corporation | Method and apparatus for image data transformation |
CN102696220A (zh) * | 2009-10-08 | 2012-09-26 | 国际商业机器公司 | 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7088388B2 (en) * | 2001-02-08 | 2006-08-08 | Eastman Kodak Company | Method and apparatus for calibrating a sensor for highlights and for processing highlights |
US8050511B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
JP5411706B2 (ja) | 2006-11-27 | 2014-02-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | デジタル画像のダイナミックレンジを増強するための装置及び方法 |
US7983496B2 (en) | 2007-06-26 | 2011-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes |
CN102084653B (zh) | 2007-06-29 | 2013-05-08 | 弗劳恩霍夫应用研究促进协会 | 支持像素值细化可缩放性的可缩放视频编码 |
US20110129148A1 (en) * | 2007-12-17 | 2011-06-02 | Pavel Kisilev | Image processing using target values |
KR101454609B1 (ko) | 2008-01-18 | 2014-10-27 | 디지털옵틱스 코포레이션 유럽 리미티드 | 이미지 프로세싱 방법 및 장치 |
EP2188661B1 (de) | 2008-04-01 | 2014-07-30 | Bauhaus-Universität Weimar | Verfahren und beleuchtungsvorrichtung zur optischen kontrastverstärkung |
US8184693B2 (en) | 2008-04-11 | 2012-05-22 | Intel Corporation | Adaptive filtering for bit-depth scalable video codec |
US9571856B2 (en) | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
CN102308579B (zh) | 2009-02-03 | 2017-06-06 | 汤姆森特许公司 | 位深可分级中使用平滑参考帧的运动补偿的方法和设备 |
US8867616B2 (en) | 2009-02-11 | 2014-10-21 | Thomson Licensing | Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping |
KR101256030B1 (ko) | 2009-03-10 | 2013-04-23 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 확장된 동적 범위 및 확장된 차수 이미지 신호 변환 |
EP2406959B1 (en) | 2009-03-13 | 2015-01-14 | Dolby Laboratories Licensing Corporation | Layered compression of high dynamic range, visual dynamic range, and wide color gamut video |
JP5430218B2 (ja) * | 2009-05-07 | 2014-02-26 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US8483479B2 (en) | 2009-05-11 | 2013-07-09 | Dolby Laboratories Licensing Corporation | Light detection, color appearance models, and modifying dynamic range for image display |
US8831340B2 (en) * | 2010-01-27 | 2014-09-09 | Adobe Systems Incorporated | Methods and apparatus for tone mapping high dynamic range images |
TWI479898B (zh) | 2010-08-25 | 2015-04-01 | Dolby Lab Licensing Corp | 擴展影像動態範圍 |
JP2012058850A (ja) | 2010-09-06 | 2012-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9024951B2 (en) * | 2011-02-16 | 2015-05-05 | Apple Inc. | Devices and methods for obtaining high-local-contrast image data |
EP2681710B1 (en) | 2011-03-02 | 2018-09-12 | Dolby Laboratories Licensing Corporation | Local multiscale tone-mapping operator |
CN104054338B (zh) | 2011-03-10 | 2019-04-05 | 杜比实验室特许公司 | 位深和颜色可伸缩视频编码 |
EP2509044B1 (en) | 2011-04-08 | 2018-10-03 | Dolby Laboratories Licensing Corporation | Local definition of global image transformations |
US8743291B2 (en) | 2011-04-12 | 2014-06-03 | Dolby Laboratories Licensing Corporation | Quality assessment for images that have extended dynamic ranges or wide color gamuts |
US20120328161A1 (en) | 2011-06-22 | 2012-12-27 | Palenychka Roman | Method and multi-scale attention system for spatiotemporal change determination and object detection |
US8660352B2 (en) | 2011-06-29 | 2014-02-25 | Dolby Laboratories Licensing Corporation | Quality assessment of images with extended dynamic range |
US9451292B2 (en) | 2011-09-15 | 2016-09-20 | Dolby Laboratories Licensing Corporation | Method and system for backward compatible, extended dynamic range encoding of video |
US8988552B2 (en) | 2011-09-26 | 2015-03-24 | Dolby Laboratories Licensing Corporation | Image formats and related methods and apparatuses |
AU2012313935B9 (en) | 2011-09-27 | 2017-05-04 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
EP2603000B1 (en) | 2011-12-08 | 2017-11-01 | Dolby Laboratories Licensing Corporation | Guided prediction-filtering in layered vdr image coding |
EP2792145B1 (en) | 2011-12-15 | 2018-03-21 | Dolby Laboratories Licensing Corporation | Backwards-compatible delivery of digital cinema content with extended dynamic range |
PL2945377T3 (pl) | 2012-01-24 | 2019-04-30 | Dolby Laboratories Licensing Corp | Element predykcji kanału fragmentowego przenikania kolorów |
JP5633550B2 (ja) * | 2012-09-05 | 2014-12-03 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9432647B2 (en) * | 2013-09-09 | 2016-08-30 | Apple Inc. | Adaptive auto exposure and dynamic range compensation |
CN105684412B (zh) | 2013-10-22 | 2017-04-26 | 杜比实验室特许公司 | 用于扩展动态范围图像的引导颜色分级 |
-
2014
- 2014-11-19 WO PCT/US2014/066394 patent/WO2015077329A1/en active Application Filing
- 2014-11-19 EP EP14809565.6A patent/EP3072288B1/en active Active
- 2014-11-19 CN CN201480063787.4A patent/CN105745914B/zh active Active
- 2014-11-19 US US15/035,477 patent/US9607364B2/en active Active
-
2016
- 2016-12-02 HK HK16113776A patent/HK1225542B/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102696220A (zh) * | 2009-10-08 | 2012-09-26 | 国际商业机器公司 | 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统 |
WO2012125802A1 (en) * | 2011-03-15 | 2012-09-20 | Dolby Laboratories Licensing Corporation | Method and apparatus for image data transformation |
Non-Patent Citations (3)
Title |
---|
CONTENT-ADAPTIVE INVERSE TONE MAPPING;KUO ET AL;《IEEE Visual Communications and Image Processing》;20121231;全文 * |
Evaluation of Reverse Tone Mapping Through Varying Exposure Conditions;Belen Masia ET AL;《ACM TRANSACTIONS ON GRAPHICS》;20091201;全文 * |
Inverse Tone Mapping;Francesco Banterle ET AL;《PROCEEDINGS OF THE 4TH INTERNATIONAL CONFERENCE ON COMPUTER GRAPHICS AND INTERACTIVE TECHNIQUES IN AUSTRALASIA AND SOUTHEAST ASIA, ACM, NEW YORK》;20061129;全文 * |
Also Published As
Publication number | Publication date |
---|---|
US9607364B2 (en) | 2017-03-28 |
US20160358319A1 (en) | 2016-12-08 |
EP3072288B1 (en) | 2019-06-12 |
CN105745914A (zh) | 2016-07-06 |
EP3072288A1 (en) | 2016-09-28 |
WO2015077329A1 (en) | 2015-05-28 |
HK1225542B (zh) | 2017-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105745914B (zh) | 用于逆色调映射的方法和系统 | |
US9852499B2 (en) | Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification | |
US20210272251A1 (en) | System and Method for Real-Time Tone-Mapping | |
Li et al. | Underwater image enhancement by dehazing and color correction | |
Boitard et al. | Temporal coherency for video tone mapping | |
KR20150019985A (ko) | 이미지의 동적 범위 향상을 위한 방법 및 장치 | |
Kotwal et al. | An optimization-based approach to fusion of multi-exposure, low dynamic range images | |
EP3381012A1 (en) | Method and system for generating an output image from a plurality of corresponding input image channels | |
Jiang et al. | Color image enhancement with brightness preservation using a histogram specification approach | |
Guthier et al. | Flicker reduction in tone mapped high dynamic range video | |
WO2008102296A2 (en) | Method for enhancing the depth sensation of an image | |
CN110782400A (zh) | 一种自适应的光照均匀实现方法和装置 | |
CN112819699A (zh) | 视频处理方法、装置及电子设备 | |
Livingston et al. | Image processing for human understanding in low-visibility | |
Mohammadi et al. | An entropy-based inverse tone mapping operator for high dynamic range applications | |
KR101180409B1 (ko) | 히스토그램 정규화와 감마 보정 합성을 통하여 저조도 영상을 개선하는 방법 및 장치 | |
Zhang et al. | A dynamic range adjustable inverse tone mapping operator based on human visual system | |
Lee et al. | Visual sensitivity correlated tone reproduction for low dynamic range images in the compression field | |
Sujatha et al. | Analysis and Epigrammatic Study of Various Tone Mapping Operators for High Dynamic Range Images | |
US11935285B1 (en) | Real-time synthetic out of focus highlight rendering | |
WO2023272506A1 (zh) | 图像处理方法及装置、可移动平台及存储介质 | |
Wei et al. | Denoising and contrast enhancement fusion based on white balance for underwater images | |
WO2022113367A1 (ja) | 画像変換方法、プログラム、画像処理装置 | |
Huo et al. | Evaluation of HDR tone mapped image and single exposure image | |
Jishnu et al. | An Effective Multi-exposure Fusion Approach Using Exposure Correction and Recursive Filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1225542 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |