CN102341826A - 用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理设备、显示设备 - Google Patents
用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理设备、显示设备 Download PDFInfo
- Publication number
- CN102341826A CN102341826A CN2010800107189A CN201080010718A CN102341826A CN 102341826 A CN102341826 A CN 102341826A CN 2010800107189 A CN2010800107189 A CN 2010800107189A CN 201080010718 A CN201080010718 A CN 201080010718A CN 102341826 A CN102341826 A CN 102341826A
- Authority
- CN
- China
- Prior art keywords
- signal
- dynamic range
- image data
- hdr
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 title claims description 16
- 238000012545 processing Methods 0.000 title claims description 8
- 238000005286 illumination Methods 0.000 claims description 8
- JHGSLSLUFMZUMK-UHFFFAOYSA-N [2-hydroxy-2-(4-hydroxyphenyl)ethyl]-[4-(4-hydroxyphenyl)butan-2-yl]azanium;chloride Chemical compound Cl.C=1C=C(O)C=CC=1C(O)CNC(C)CCC1=CC=C(O)C=C1 JHGSLSLUFMZUMK-UHFFFAOYSA-N 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 14
- 230000002146 bilateral effect Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 102000004127 Cytokines Human genes 0.000 description 5
- 108090000695 Cytokines Proteins 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 108010003272 Hyaluronate lyase Proteins 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
在一种方法、单元和显示设备中,输入图像信号被分割成区域对比度信号(VRC)和细节信号(VD),随后单独拉伸两个信号的动态范围,其中区域对比度信号的动态范围以高于细节信号的动态范围的拉伸比被拉伸。优选地,用于细节信号的拉伸比接近1或优选1。在优选实施例中,高亮区被识别,并且对于高亮区,动态范围被拉伸至比针对区域对比度信号甚至更高的程度。
Description
技术领域
本发明涉及用于将输入图像数据转换成输出图像数据的方法。
本发明还涉及用于将输入图像数据转换成输出图像数据的图像转换单元。
本发明还涉及图像处理设备,包括:
-用于接收输入图像数据的接收装置,
-用于将输入图像数据转换成输出图像数据的图像转换单元。
本发明还涉及包括图像处理设备的显示设备,包括:
-用于接收输入图像数据的接收装置,
-用于将输入图像数据转换成输出图像数据的图像转换单元。
背景技术
为了能够在显示器上以通常为低若干数量级的动态范围进行可接受的高动态范围(HDR)影像的表示,在捕获和传送期间,所记录的视频序列的动态范围常常借助于色调映射来压缩。许多户外景象的动态范围可以大到12个数量级,然而大多数的液晶显示器(LCD)仅仅提供约3个数量级的静态对比率。因此,在成像管道的早期,需要严格的动态范围压缩以使得所述景象在LDR(低动态范围)显示器上能够舒适地表示。使用简单的技术通过有如下缺陷:小细节的对比度可能会受到损害或者甚至丢失。
为了解决这些问题,开发了更先进的自适应方法。这些方法主要是压缩大尺度的对比度而保留精细细节的对比度。
只要显示系统的能力多多少少保持与在成像管道早期压缩期间所预期的能力类似,那么该途径还是表现得不错的。但是,利用新的高动态范围显示系统,可以实现高达6个数量级的静态对比率。而且,这样的显示系统可能能够局部地(在时间或空间中)产生非常高的峰值亮度。例如,这可以通过2D可调的LED背光来实现,其中通过将暗图像部分下面的一些LED调暗而节省的功率可用于增强亮区域下面的其它LED。已经发现,将输入LDR图像数据扩展为HDR图像信号经常导致景象的外观不自然。
发明内容
本发明的目的是提供一种方法、转换单元和图像处理设备,其目标是提高再现的质量并提供更加舒适和自然的图像外观。
为此,按照本发明的方法特征在于:
-输入图像数据被转换成至少两个信号,提供区域对比度数据的第一信号和提供细节数据的第二信号,
-至少第一信号的动态范围被拉伸,其中第一信号的动态范围拉伸的程度比第二信号的动态范围高,
-所拉伸的第一和第二信号在输出信号中组合。
本发明人已经意识到在局部和区域对比度之间的不平衡产生问题。在捕获期间、在动态范围压缩期间细节对比度的保留与在显示期间或显示之前总体动态范围扩展相结合导致在显示的图像中精细细节相对于区域对比度的增强。区域对比度数据包括相对较低的空间频率信息。细节数据包括较高的空间频率信息。
对于相当大的扩展因子,这导致景象的外观不自然,并且也可导致非期望的模拟和数字噪声的放大。
一种可能的解决方案是在范围扩展期间使用在范围压缩期间使用的映射算子的数学逆来获取原始的HDR景象。然而,这需要了解所使用的压缩方法的知识,该知识必须包含在输入信号中。不过,实践中,我们经常不得不处理遗留的LDR视频但却不了解其动态范围在捕获和编码期间是如何压缩的。因此,该“理想的”解决方案经常并不实用。除了这方面,接收单元还必须能够匹配各种不同的可能的压缩方法。
本发明提供了输入图像数据到输出信号的更平衡的LDR至HDR转换。
输入信号被分割成提供区域、半球数据的第一信号和提供细节的第二信号。第一信号可以例如通过对输入信号进行低通滤波来获得,包括保留了边缘特征的低通滤波方法,诸如例如双边滤波。提供细节的第二信号可以通过例如从输入数据信号中减去第一信号来获得。
至少第一信号被拉伸,即,至少第一信号的动态范围被扩展。所述两个信号被不同地拉伸,其中第二信号被拉伸的程度比第一信号小。这降低了精细细节相对于区域对比度的不自然的可视增强,导致更加自然的景象外观。噪声在一定程度上也被抑制。在优选实施例中,第二信号未被拉伸。如果在原始的压缩期间,细节被保留,那么提供细节信息的第二信号不必被拉伸。这是允许算法简化的相对简单的实施例。
在优选实施例中,组合的拉伸的第一和第二信号的动态范围受限于上方值。该上方值可以低于显示器上最大可允许的信号。输入图像信号被进一步分析以识别形成图像中的高亮区的像素组,并且其中所识别的像素组的像素数据被转换成第三信号,使得第三信号覆盖延伸至所述上方值之上直至上方最大像素值的动态范围,并且其中第三信号与所组合的拉伸的第一和第二信号组合。
包含拉伸的第一和第二信号的信号具有受限于上方值的动态范围。在优选实施例中,高于所述上方值并且到最大值,像素值的上动态范围被保留用来显示高亮区。
已经发现,特别是对于非常高亮度的显示,最大可实现的强度高得光使观看者在某种意义上炫目。在中度情况下,观看者将仅感知亮光斑而不会或者仅仅在很有限的程度上能够感知景象的较暗细节。然而,在极端情况下,这对于观看者的眼睛可能是难受的或者甚至是有害的。通过限制所组合的第一和第二信号被拉伸的范围,可以避免上述问题。然而,这没有充分利用HDR显示器的潜力。在优选实施例中,最大亮度被保持在高亮度设备的潜力以下。通过识别图像中的高亮区,并将其像素值置于显示器的动态范围的最高部分中,这些高亮区被带到最前部而不会使观者者炫目,从而提供非常清新和清楚的图像。在实施例中,高亮区通过选择像素值在接近或处于LDR范围的上方值的范围内的像素组来识别,其中在高像素值像素的邻域中,高像素值像素的数量低于阈值,即对于小的高强度像素组而言。
高亮区是相对小的高强度像素组。高于上方值的显示设备的动态范围由高亮区来填充。这已经证明提供高质量图像,其中,一方面,细节未被不自然地增强,或者亮的盲点出现在图像中,而另一方面,在显示范围的高端成像的高亮区提供闪光和清新的图像。
在优选实施例中,所组合的拉伸的第一和第二信号的动态范围的上方值位于对应于当显示在500至1000尼特显示器上时光强的范围,并且上方最大像素值位于对应于当显示在高于1000尼特(优选高于2500尼特)的显示器上时光强的范围。
附图说明
本发明的这些和其它方面将通过示例并参考附图进行更详细的说明,其中:
图1提供了用于本发明实施例的示意性流程图,
图2图示了动态范围的扩展;
图3图示了高亮区识别算法;
图4a至4f图示了按照本发明的动态范围扩展算法的效果;
图5图示了混合映射;
图6a至6c进一步图示了按照本发明的动态范围扩展;
图7a至7d和8a至8d进一步提供了按照本发明的动态范围扩展的示例;
图9图示了按照本发明的显示设备。
所述图没有按比例绘制。通常,图中相同部件由相同的参考标记来表示。
具体实施方式
注意到示出了以下示例。
许多户外景象的动态范围可以大到12个数量级,而大多数液晶显示器(LCD)仅仅提供约3个数量级的静态对比率。因此,在成像管道的早期需要严格的动态范围压缩,使得在LDR显示器(低动态范围)上能够舒适地表示景象。对于动态范围压缩最直接的途径是借助于全局色调映射算子。然而,这些简单技术的主要缺陷是小细节的对比度可能受到损害。为了解决这些问题,已经开发了更先进的方法来压缩区域(大尺度的)对比度同时保留精细细节的对比度。
在显示前受用户偏好影响,有时受到直方图拉伸的支持,在常规的LDR(低动态范围)显示屏幕上,影像对比度通常被拉伸至显示设备的全能力(即针对8比特系统黑为0,白为255)。只要显示系统的能力多多少少保持与在成像管道早期压缩期间预期的能力类似,该途径表现良好。然而,在新的HDR(高动态范围)显示系统中,实现了高达6个数量级的静态对比率。而且,这样的显示系统可能能够局部地(在时间或空间中)产生非常高的峰值亮度。例如,这可以通过2D可调LED背光来实现,其中通过调暗暗图像部分下面的某些LED而节省的功率可以用于增强亮区域下面的其它LED。
当直接在HDR显示器上显示遗留的LDR视频时,伪像(即局部和区域对比度之间的不平衡)发生。
在范围压缩期间细节对比度的保留与显示之前的范围扩展相结合,导致精细细节相对于区域对比度的增强。对于大的扩展因子,这导致不自然的景象外观以及有时非期望的噪声放大。
在按照本发明的方法中,输入图像数据被转换成至少两个信号:提供低空间频率区域对比度数据的第一信号和提供高空间频率细节数据的第二信号。至少第一信号的动态范围被拉伸,其中第一信号的动态范围被拉伸的程度比第二信号的动态范围高。所拉伸的第一和第二信号在图像输出信号中组合。
第一信号提供了区域对比度信号,并且第二信号提供了细节层。这两个信号单独地被拉伸,其中第一信号比第二信号拉伸得多。实际上,区域对比度信号的区域拉伸例如通过低通滤波来进行。在该拉伸后,局部细节被拉伸但是是较低程度地被拉伸。这两个信号被组合。这相比于进入的信号的总体拉伸而言降低了细节和区域图像之间的不平衡。在优选实施例中,第二信号通过从输入图像信号中减去第一信号来获得。
图1图示了用于按照本发明的示例性算法的流程图。
该算法执行作为双信号过程的动态范围扩展。最初,在该示例中,通过对视频应用低通滤波器1而从输入信号Vin提取区域对比度,从而提供第一信号区域对比度信号VRC,以及从输入信号Vin提取细节层,从而提供第二细节信号VD。在该示例中,通过计算区域对比度和减法器2中的输入之间的差值来提取VD:
公式为:
其中Vin表示输入视频,而Fbil表示低通滤波器的应用,优选是快速双边滤波器。优选地,执行使用双边网格作为低通算子的双边滤波。该途径提供了对全双边滤波器计算上高效的近似。该方法的主要益处在于它提供廉价的边缘保留模糊滤波器,从而防止通常与线性空间滤波器核关联的晕轮伪像。使用双边网格的双边滤波实际上可以被总结为:(1)构建局部直方图,(2)对这些直方图应用多维线性滤波器核,以及(3)切割(=内插)所期望的输出像素。尽管是优选的,应注意双边网格不代表当前发明的必要部分。可以可替换地使用常规的低通滤波器(组)来提取区域对比度。代替使用数学算法来生成第一和第二信号的是,还可以使用其它方法,比如预定义的特殊类(例如暗室室内)。
在应用动态范围扩展时,为了降低高亮度图像中区域和细节之间的不平衡,以及保持精细细节和区域对比度之间自然的平衡,两个信号VRC和VD被单独地映射。实现此的一种优选方式是通过从输入动态范围[KLDR-WLDR]到预定义的目标动态范围[K0-W0](其可取决于显示能力、人眼能力或个人偏好)线性地拉伸区域对比度VRC:
其中是拉伸的信号。这样预定义的目标动态范围可以由制造商设置。W0定义了组合信号的动态范围的上方值。在图1中,第一信号VRC的拉伸通过M(VRC)示意性地说明,其中M代表拉伸操作,其上述公式是使用了线性拉伸的示例。对于该拉伸或映射步骤,以及对于任何其它拉伸或映射步骤,使用用于映射的其它公式的非线性拉伸也是可能的。
拉伸操作提供了范围扩展。大体上,拉伸动态范围是如下因子:
其为输入动态范围(WLDR-KLDR)和目标动态范围的比率,即应用于第一区域对比度信号的拉伸量。所述拉伸由拉伸器3执行。拉伸器3将具有进入的动态范围(WLDR-KLDR)的进入数据Vin映射到拉伸的动态范围(W0-K0)。
在上文中,优选地W0<WHDR,其中WHDR是显示器的最大范围,从而保持预定义的目标动态范围低于最大显示动态范围。这防止了大的亮区将以不舒适的高亮度来成像/再现。
优选地,W0是在对应于500至1000尼特范围内亮度的范围内。
其次,与第一信号的拉伸因子相比,细节层信号通过在增强器4中应用适度的增强因子gD来增强:
其中是包含细节的拉伸的第二信号。优选地,增益gD接近1(例如在1和1.2之间的范围内)或简单为1,在后者的情况下,细节层数据VD被原样留下,没有增强,这是简单的优选实施例。在许多遗留的压缩LDR信号中,执行多多少少保留了细节中的对比度的压缩。因此,使细节层不受影响,即应用增益因子1通常是足够的,并且降低了算法的复杂度。
显然,可以使用扩展函数M(VRC)和gD而不是上述的简单线性缩放,比如功率函数或S-函数。最后,通过组合所映射的细节和区域对比度层(即拉伸的第一和第二信号)来构建输出:
本发明的该方面通过在增加输入信号的动态范围之后、降低区域对比度和细节对比度之间的可视失配而改进了显示的图像。
发生在HDR显示器中的另外的问题是新HDR显示器的峰值亮度非常高(例如,Brightside/Dolby的DR37-P被报道有超过3000 cd/m2的峰值亮度)。因此,在显示期间拉伸信号至全动态范围可以导致对于某些图像的不舒适的亮景象。输入被拉伸的范围可以例如限于500和1000尼特之间,以避免这种不舒适的景象,但是在该情况下,显示器的能力没有被完全利用。
为了解决该问题,在本发明的优选实施例中,另外的步骤被加入到算法中。该优选的步骤被示意性地示出在图1的方框6中。
为了充分利用HDR显示器的能力,小的镜面高亮区被识别,剩余可用动态范围(即范围W0到WHDR)利用其进行填充(加亮)。优选地,使用也作为一种低通滤波器形式的双边网格。由于双边网格涉及构建局部直方图,因此这些直方图可以直接用来识别具有少量亮像素的区域。执行高亮区识别的算法在图1中示意性地示出为识别器7中的函数FHL(Vin)。被识别为属于高亮区的像素数据在映射器8中被增强一定因子的倍数,该因子将像素数据带入最高的动态范围,从而提供加亮小的亮区的信号VHL。信号和VHL在组合器9中被组合,以提供输出信号Vout。可以通过简单的乘法或通过更复杂的函数来完成映射。
图2示意性地图示了各种不同的动态范围增强。该输入信号Vin具有范围从KLDR到WLDR的动态范围。这被映射到从K0到W0的动态范围。除了在图2中由箭头7’示意性地指示的被识别为属于高亮区的像素(包括最高输入范围内的像素)由高亮区识别器7识别;对于被识别为属于高亮区的像素,在映射器8中执行映射操作,其中用于高亮区的数据被映射到更大的动态范围上,特别是覆盖了例如对应于HDR显示器设备的全动态范围的顶部的最高亮度范围HL。为高亮区保留的该最高的亮度范围被拉伸至最大值WHDR。该最大值位于目标动态范围的上方值W0之上,该目标范围被保持为适度亮度值以避免不舒适的观看情形。图2中的“Ex”示意性图示了针对的动态范围的扩展,“HL”示意性图示了为高亮区信号VHL保留的更高动态范围。
图3图示了高亮区识别算法。
输入信号被发送到识别器7。具有高于阈值Ithreshold的亮度I的像素以及这种高强度像素的数量nav低于阈值nthreshold的那些区域或块被识别为高亮区。以下给出另外的示例。
作为示例,可以遵循以下过程:
为了在处理流中包括加亮,构建在输入信号上的双边网格的强度都被拉伸至目标动态范围[K0-W0],从而产生网格B0,并且一旦拉伸至显示器的全动态范围[KHDR-WHDR],从而产生网格BHDR。这两个网格在切割(内插)之前利用混合映射M自适应地混合成最终的网格Bmapped:
注意到,在该示例中,以上所有操作都基于网格进行,网格是图像的子采样程度很高的表示,因此在数字上是不昂贵的。全分辨率的最终输出借助于切割成映射的双边网格Bmapped来构建。为了创建混合映射M,我们采用以下途径:
1. 通过对现有局部直方图求和来构建区域累积直方图,
2. 确立亮度Ithreshold,高于该阈值,少于n%的图像像素存在,换句话说,前n%的亮度值,
3. 对强度高于Ithreshold的像素数量n进行计数(基于局部),
4. 运用形态学扩张(morphological dilatation)滤波器来创建邻近箱(bin)之间的空间一致性,从而产生一致性值C0。如果一致性值高,则出现相对较大的亮区,如果一致性值小,则出现小的亮区,
5. 计算混合因子M。对于合格像素的数量低于预定义的阈值T(小的高亮区,因此被混入)的区域,映射函数M的值被设置成1,高于该阈值则落到0,以防止大的亮图像部分变得使人不舒适的亮:
图4a至4f图示了如上所述的动态范围扩展算法的效果。所示为(a)模拟的LDR输入图像,以及(b)区域对比度层和(c)借助双边网格滤波提取的细节层。在扩展后景象的自然外观通过(d)仅将区域对比度VRC扩展到用户或制造商定义的范围[K0-W0]来维持。在(e)中,示出了中间输出(画面(c)和(d)的和)。在(f)中,最终映射的输出被示出,其中小的镜面高亮区被识别以填补剩余的可用动态范围。
图5图示了针对图4a至4f的图像计算的混合映射。右手侧的比例给出了混合因子M。混合因子的一些典型区通过箭头指示。水中的亮反射和云中的亮区都被正确地检测为小的高亮区并映射到HDR显示设备的全动态范围或近似全动态范围。由于天空中的亮区相对较大,较小的权重(较小的混合因子M)被加于该区以防止它在高亮度HDR显示器上变得令人不舒适。其次,映射的低分辨率性质从其块状外观清晰可见,因为这些操作在局部直方图上执行,而不是在全像素分辨率上。在该优选实施例中,混合映射M被应用于双边网格B0和BHDR。像素本身通过切割最终网格Bmapped来构建。结果,仅仅被增强区中的亮像素受到加亮操作的影响,而暗至中灰度强度保持不变,使得加亮过程是用于填补可用动态范围的顶部HL的选择性操作。针对图3a图像的最终输出在图3f中示出。水中和云中的亮反射此时被映射到显示器的峰值亮度(即混合因子M接近1),这些区在图5中通过白色箭头指示,而天空中的较大区保持更靠近图3e的中间强度。再次,通过防止精细细节对比度的过增强,更自然的景象外观被保持。
图6-8示出了所提出的动态范围扩展方法的性能的另外的示例。图6a至6c构成动态范围扩展的说明。所示为:(a)所模拟的LDR图像和扩展的输出(b)没有加亮,以及(c)有加亮。再次,该方法被设计用于给出在极亮HDR显示器上的高性能。在没有这样的显示器的情况下,我们这里限于扩展过程的模拟。为此,LDR输入被模拟,并且扩展过程被用于将图像恢复至全可用范围。显然,该模拟是不理想的,并且不能提供实际HDR显示器的真实外观。不过,图6a至6c图示了区域和精细对比度之间所维持的平衡以及显示器峰值亮度的选择性使用。
图7a至7d显示了动态范围扩展的另外的示例。所模拟的LDR图像7a和7c在左边示出,包含加亮的扩展的HDR版本、图像7b和7d在右边示出。在下方的示例中,椭圆形标注被加亮的区。该示例图示了雪山中大的白色区没有映射到HDR显示器的峰值亮度,因为这将令人不舒适。替代的是,仅有小的镜面高亮区在选择性极高的过程中被映射到全亮度。在上方示例中,仅车头灯被映射到峰值亮度。
图8a至8e提供了动态范围扩展的另外的示例。模拟的LDR图像图8a和8c在左边示出,包含加亮的扩展HDR版本图8a和8d在右边示出。
简而言之,本发明可以描述为提供一种方法、单元和显示设备,其中输入图像信号被分割成区域对比度信号和细节信号,随后,单独拉伸两个信号的动态范围,其中,针对区域对比度信号的动态范围以比针对细节信号的动态范围更高的拉伸比来拉伸。优选地,针对细节信号的拉伸比近似1或优选1。在优选的实施例中,高亮区被识别,并且对于该高亮区,动态范围被拉伸至比用于区域对比度信号甚至更高的程度。
将区域对比度信号比细节信号拉伸更多降低了精细细节相对于区域对比度的增强之间的失配,并且提供了更为自然的外观。针对被加亮区的动态范围的更极端的拉伸将这些高亮区映射到动态范围的顶部。这使得图像闪光,而不会导致将提供令人不适的观看的大的过度亮的区。
本发明的所述方法和系统可以例如以用于各种目的的各种方式来使用,以便启用增强算法和其它视频处理算法。
本发明还包含在计算机程序中,该程序包括用于当在计算机上执行时、执行按照本发明方法的程序代码装置。
本发明可以用在或用于图像信号的转换单元和使用了图像信号的转换的设备中,如显示设备,特别是在具有HDR能力的显示设备中。
在权利要求中,置于括号中的任何参考标记不应理解为限制权利要求。
词语“包括”不排除除了权利要求中所列之外的其它元件或步骤的存在。本发明可以通过以上所述各种不同优选实施例的特征的任何组合来实现。
本发明不限于上面给出的示例,而是可以以不同方式来执行。
例如:
可以根据多个参数来获得上方值W0,所述参数中最重要的是:
颜色:
反射红色和蓝色的最大饱和水平相比于绿色和黄色较低。在优选实施例中,W0的值根据颜色来获得,以避免开始发光的部分使人炫目(blind)。
环境照度水平:
在优选实施例中,显示设备设置有光传感器以感测环境照度水平。环境照度传感器的输出确定了上方值W0,其中环境照度水平越高、设置的上方值W0越高。图9图示了这样的实施例。该显示设备设置有显示屏幕91。输出信号Vout确定显示在屏幕91上的图像。该显示设备还设置有用于测量环境照度的环境照度传感器92。该传感器的输出是拉伸VRC的动态范围的拉伸器3的输入。该传感器的输出还可以被耦合到识别器7和/或映射器8,以便确定高亮区和/或拉伸提供高亮区的动态范围。在该示例中,传感器92的输出直接被馈送至识别器7和/或映射器8内。在本发明的实施例内,拉伸器3和识别器7和/或映射器8的功能参数可以被链接,使得传感器信号可以被发送到这些设备中的仅一个设备。同样,可以存在包括查找表的计算机程序,其中作为传感器信号函数的用于拉伸器3的功能参数(如动态范围的上方值和/或该动态范围上的分布)和/或针对识别器7和/或映射器8的功能参数被存储。在该实施例中,传感器的输出是计算机程序的输入,并且计算机程序控制拉伸器3、识别器7和/或映射器8的参数。
-图形检测
在优选实施例中,图形检测单元被用于识别图形(如标志、字幕)以避免将其增强和/或加亮。
本发明还包括在各种系统中:
图像转换单元也可以构成各种类型的图像处理设备的部分。
例如,用于执行转换的转换单元可以是如图9中显示设备的一部分。
“转换单元”应被广义地理解为包括用于执行转换方法的软件、硬件或其任何组合的任何装置。
转换单元还可以是例如记录设备的一部分。其可以记录图像或视频,其中给记录设备提供关于显示设备能力的信息。记录设备实时地或者按行地(of line)应用按照本发明的方法,从而使动态范围W0-K0和/或WHDR-KHDR匹配于显示器屏幕的能力。改进的图像或视频随后可以实时地或者之后显示。
在对该系统的变型中,软件可以在互联网的某服务器上。用户发送他/她拥有的图像或视频的图像数据到互联网站点,并向该互联网站点提供关于他/她拥有的显示设备的动态范围能力的细节。该动态范围信息可以例如通过指定动态范围而是明确的,或者例如通过指定他/她拥有的显示设备的而是隐含的,或者甚至用户没有注意到它,因为显示器的类型被自动地检查。在服务器处,检查在给定显示设备的能力的情况下,应用本发明的方法到输入图像数据是否产生改进的图像或视频。如果答案是肯定的,则本发明的方法被应用于该输入图像数据,并且在接收到对该服务的付费之后,匹配于HDR显示器能力的改进的输出图像数据被回送至用户。
该实施例允许用户升级他/她的“老”图像或视频,以便充分利用他/她新购买的HDR显示器的HDR能力而无须迫使用户去购买特定的转换单元。
在“按次付费”系统中,例如观看运动会,可以给用户一个购买标准质量的还是升级质量的选择,其中升级质量匹配于他/她拥有的特定HDR显示器设备的动态范围。
Claims (15)
2. 如权利要求1所述的方法,其中通过从图像输入数据(Vin)中减去第一信号(VRC)来得到第二信号。
3. 如权利要求1或2的方法,其中第二信号(VD)未被拉伸。
6. 如权利要求5所述的方法,其中上方最大像素值(WHDR)位于对应于当在高于1000尼特的显示器上显示时的光强的范围内。
7. 一种计算机程序,包括用于当在计算机上执行时执行按照本发明的方法的程序代码装置。
11. 如权利要求8-10中任一项所述的图像转换单元,其中映射器(8)被设置成使得上方最大像素值(WHDR)位于对应于当在高于1000尼特的显示器上显示时的光强的范围内。
12. 一种图像处理设备,包括:接收装置,用于接收输入图像数据;以及如权利要求8-11中的任一项所述的图像转换单元,用于将输入图像数据转换成输出图像数据。
13. 一种包括图像处理设备的显示设备,包括:接收装置,用于接收输入图像数据;以及如权利要求8-11中的任一项所述的图像转换单元,用于将输入图像数据转换成输出图像数据;以及显示屏幕(91)。
14. 如权利要求13所述的显示设备,包括如权利要求11所述的图像转换单元,其中上方最大值对应于在显示屏幕(91)的动态范围的最大值处或附近的值。
15. 如权利要求13或14的显示设备,其中显示设备包括提供输出的环境照度传感器(92),其中环境照度传感器(92)的输出是拉伸器(3)的输入。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09154549.1 | 2009-03-06 | ||
EP09154549 | 2009-03-06 | ||
PCT/IB2010/050905 WO2010100609A1 (en) | 2009-03-06 | 2010-03-03 | Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102341826A true CN102341826A (zh) | 2012-02-01 |
CN102341826B CN102341826B (zh) | 2014-03-19 |
Family
ID=42119055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080010718.9A Active CN102341826B (zh) | 2009-03-06 | 2010-03-03 | 用于将输入图像数据转换成输出图像数据的方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US8605083B2 (zh) |
EP (1) | EP2404281A1 (zh) |
JP (1) | JP5624062B2 (zh) |
KR (1) | KR101625362B1 (zh) |
CN (1) | CN102341826B (zh) |
RU (1) | RU2533855C2 (zh) |
WO (1) | WO2010100609A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107211079A (zh) * | 2015-12-17 | 2017-09-26 | 皇家飞利浦有限公司 | 用于图像和视频的动态范围编码 |
CN109429099A (zh) * | 2017-08-31 | 2019-03-05 | 华为技术有限公司 | 用于播放媒体文件的方法、处理器和媒体播放设备 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8731320B2 (en) * | 2009-01-20 | 2014-05-20 | Andre Leitao | Image processing using a bilateral grid |
US8346022B2 (en) * | 2009-09-02 | 2013-01-01 | Tandent Vision Science, Inc. | System and method for generating an intrinsic image using tone mapping and log chromaticity |
US9135864B2 (en) | 2010-05-14 | 2015-09-15 | Dolby Laboratories Licensing Corporation | Systems and methods for accurately representing high contrast imagery on high dynamic range display systems |
GB201020983D0 (en) * | 2010-12-10 | 2011-01-26 | Apical Ltd | Display controller and display system |
EP2684184A4 (en) | 2011-03-09 | 2014-08-13 | Dolby Lab Licensing Corp | CONTRASTING GRAY TREAT AND COLOR INDICATORS |
US8457418B2 (en) * | 2011-08-02 | 2013-06-04 | Raytheon Company | Local area contrast enhancement |
EP2745507A1 (en) * | 2011-09-27 | 2014-06-25 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
US9641894B2 (en) * | 2012-09-12 | 2017-05-02 | Koninklijke Philips N.V. | Making HDR viewing a content owner agreed process |
US9412155B2 (en) * | 2012-12-31 | 2016-08-09 | Karl Storz Imaging, Inc. | Video system with dynamic contrast and detail enhancement |
US9008425B2 (en) * | 2013-01-29 | 2015-04-14 | Xerox Corporation | Detection of numbered captions |
US9275446B2 (en) * | 2013-10-15 | 2016-03-01 | Samsung Electronics Co., Ltd. | Large radius edge-preserving low-pass filtering |
JP6439418B2 (ja) * | 2014-03-05 | 2018-12-19 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに画像表示装置 |
JP6421504B2 (ja) * | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US10063824B2 (en) * | 2014-11-05 | 2018-08-28 | Apple Inc. | Mapping image/video content to target display devices with variable brightness levels and/or viewing conditions |
US10362288B2 (en) | 2015-01-09 | 2019-07-23 | Sony Corporation | Method and system for improving detail information in digital images |
SG10201710918XA (en) * | 2015-01-19 | 2018-02-27 | Dolby Laboratories Licensing Corp | Display management for high dynamic range video |
US10419762B2 (en) | 2015-03-02 | 2019-09-17 | Dolby Laboratories Licensing Corporation | Content-adaptive perceptual quantizer for high dynamic range images |
JP6613697B2 (ja) * | 2015-08-06 | 2019-12-04 | 株式会社リコー | 画像処理装置、プログラムおよび記録媒体 |
EP3371975B1 (en) * | 2015-11-02 | 2021-01-06 | Dolby Laboratories Licensing Corporation | Piecewise-linear inter-layer predictor for high-dynamic range video coding |
US10056022B2 (en) | 2016-06-10 | 2018-08-21 | Apple Inc. | Saturation dependent image splitting for high dynamic range displays |
KR101957850B1 (ko) * | 2017-12-01 | 2019-03-13 | 가톨릭대학교 산학협력단 | 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법 |
US10943337B2 (en) * | 2018-11-27 | 2021-03-09 | Novatek Microelectronics Corp. | Image processing apparatus and method for high dynamic range effect |
US10964275B2 (en) | 2019-04-18 | 2021-03-30 | Apple Inc. | Displays with adjustable direct-lit backlight units and adaptive processing |
US10504453B1 (en) | 2019-04-18 | 2019-12-10 | Apple Inc. | Displays with adjustable direct-lit backlight units |
US10571744B1 (en) * | 2019-04-18 | 2020-02-25 | Apple Inc. | Displays with adjustable direct-lit backlight units and power consumption compensation |
JP7373299B2 (ja) * | 2019-04-26 | 2023-11-02 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US11412156B1 (en) * | 2021-11-29 | 2022-08-09 | Unity Technologies Sf | Increasing dynamic range of a virtual production display |
US11967291B1 (en) | 2022-08-02 | 2024-04-23 | Apple Inc. | Using content type to select brightness in direct-lit backlight units |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4825297A (en) * | 1986-08-29 | 1989-04-25 | Agfa-Gevaert Aktiengesellschaft | Method of and apparatus for electronic contrast enhancement of reproductions of two-dimensional transparent original images |
US20050117799A1 (en) * | 2003-12-01 | 2005-06-02 | Chiou-Shann Fuh | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
US20050243176A1 (en) * | 2004-04-30 | 2005-11-03 | James Wu | Method of HDR image processing and manipulation |
CN101099174A (zh) * | 2005-09-30 | 2008-01-02 | 诺基亚公司 | 针对计算机图形的图像压缩 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4733229A (en) * | 1984-01-24 | 1988-03-22 | Whitehead Frank R | Highlighting gray scale video display terminal |
KR100200628B1 (ko) * | 1996-09-30 | 1999-06-15 | 윤종용 | 화질 개선 회로 및 그 방법 |
WO1999057485A1 (en) * | 1998-04-30 | 1999-11-11 | Casio Computer Co., Ltd. | Display device using ambient light and a lighting panel |
US6918674B2 (en) * | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
US7116838B2 (en) * | 2002-10-25 | 2006-10-03 | Eastman Kodak Company | Enhancing the tonal and spatial characteristics of digital images using selective spatial filters |
JP4143425B2 (ja) | 2003-01-16 | 2008-09-03 | 富士フイルム株式会社 | 画像処理方法及び装置、並びに画像処理プログラム |
US7142723B2 (en) * | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
CN101535087B (zh) * | 2005-11-01 | 2013-05-15 | 唐纳利公司 | 具有显示装置的内部后视镜 |
WO2007062409A2 (en) * | 2005-11-23 | 2007-05-31 | Electric Mirror, L.L.C. | Back lit mirror with media display device |
JP2007264192A (ja) * | 2006-03-28 | 2007-10-11 | Toshiba Corp | 投影表示装置 |
US8207931B2 (en) * | 2007-05-31 | 2012-06-26 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method of displaying a low dynamic range image in a high dynamic range |
RU2007127116A (ru) * | 2007-07-17 | 2009-01-27 | Корпораци "Самсунг Электроникс Ко., Лтд." (KR) | Способ расширения динамического диапазона фотоизображения |
JP2010541356A (ja) * | 2007-09-28 | 2010-12-24 | オセ−テクノロジーズ・ベー・ヴエー | 適応可能な黒点補正のための方法、装置、およびコンピュータプログラム |
US8144927B2 (en) * | 2008-01-31 | 2012-03-27 | Max-Viz, Inc. | Video image processing and fusion |
EP2543181B1 (en) * | 2010-03-03 | 2015-10-21 | Koninklijke Philips N.V. | Apparatuses and methods for defining color regimes |
-
2010
- 2010-03-03 KR KR1020117023315A patent/KR101625362B1/ko not_active IP Right Cessation
- 2010-03-03 US US13/254,191 patent/US8605083B2/en not_active Expired - Fee Related
- 2010-03-03 WO PCT/IB2010/050905 patent/WO2010100609A1/en active Application Filing
- 2010-03-03 JP JP2011552559A patent/JP5624062B2/ja not_active Expired - Fee Related
- 2010-03-03 RU RU2011140532/08A patent/RU2533855C2/ru not_active IP Right Cessation
- 2010-03-03 CN CN201080010718.9A patent/CN102341826B/zh active Active
- 2010-03-03 EP EP10708635A patent/EP2404281A1/en not_active Withdrawn
-
2013
- 2013-11-12 US US14/077,612 patent/US8860718B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4825297A (en) * | 1986-08-29 | 1989-04-25 | Agfa-Gevaert Aktiengesellschaft | Method of and apparatus for electronic contrast enhancement of reproductions of two-dimensional transparent original images |
US20050117799A1 (en) * | 2003-12-01 | 2005-06-02 | Chiou-Shann Fuh | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
US20050243176A1 (en) * | 2004-04-30 | 2005-11-03 | James Wu | Method of HDR image processing and manipulation |
CN101099174A (zh) * | 2005-09-30 | 2008-01-02 | 诺基亚公司 | 针对计算机图形的图像压缩 |
Non-Patent Citations (1)
Title |
---|
谭锐莘: "HDR到LDR图像的分段式对数映射算法", 《计算机应用》, vol. 28, no. 7, 31 July 2008 (2008-07-31) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107211079A (zh) * | 2015-12-17 | 2017-09-26 | 皇家飞利浦有限公司 | 用于图像和视频的动态范围编码 |
CN109429099A (zh) * | 2017-08-31 | 2019-03-05 | 华为技术有限公司 | 用于播放媒体文件的方法、处理器和媒体播放设备 |
Also Published As
Publication number | Publication date |
---|---|
RU2533855C2 (ru) | 2014-11-20 |
JP2012519896A (ja) | 2012-08-30 |
WO2010100609A1 (en) | 2010-09-10 |
US8605083B2 (en) | 2013-12-10 |
JP5624062B2 (ja) | 2014-11-12 |
RU2011140532A (ru) | 2013-04-20 |
KR101625362B1 (ko) | 2016-05-30 |
US20110310116A1 (en) | 2011-12-22 |
KR20110123283A (ko) | 2011-11-14 |
US8860718B2 (en) | 2014-10-14 |
EP2404281A1 (en) | 2012-01-11 |
CN102341826B (zh) | 2014-03-19 |
US20140071348A1 (en) | 2014-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102341826B (zh) | 用于将输入图像数据转换成输出图像数据的方法 | |
US8483479B2 (en) | Light detection, color appearance models, and modifying dynamic range for image display | |
Duan et al. | Tone-mapping high dynamic range images by novel histogram adjustment | |
Larson et al. | A visibility matching tone reproduction operator for high dynamic range scenes | |
CN107113367B (zh) | 具有颜色恒定性的亮度改变图像处理 | |
CN105745914B (zh) | 用于逆色调映射的方法和系统 | |
CN101360250B (zh) | 沉浸产生方法和系统及因素控制、内容分析及参数预测法 | |
US7796139B1 (en) | Methods and apparatus for displaying a frame with contrasting text | |
CN101707666A (zh) | 一种高动态范围的调整方法和装置 | |
US20090263037A1 (en) | Method and Apparatus for Enhancing the Dynamic Range of an Image | |
CA2661650C (en) | Video monitoring device providing parametric signal curve display features and related methods | |
Krawczyk et al. | Contrast restoration by adaptive countershading | |
Narwaria et al. | High dynamic range visual quality of experience measurement: Challenges and perspectives | |
Qiao et al. | Tone mapping for high-dynamic-range images using localized gamma correction | |
KR20110064631A (ko) | 입력 영상의 동적 범위를 변환하는 방법 및 장치 | |
Johnson | Cares and concerns of CIE TC8-08: spatial appearance modeling and HDR rendering | |
CN113875231A (zh) | 实时视频动态范围分析 | |
US10778946B1 (en) | Active screen for large venue and dome high dynamic range image projection | |
Daly et al. | 14.3: Reserved Highlight Region for HDR and Megacontrast Display Algorithms | |
WO2023192235A1 (en) | Methods and systems for perceptually meaningful spatial content compositing | |
Miao et al. | Image enhancement based on local luminance statistics and nonlinear functions | |
CN116072059A (zh) | 一种图像显示方法、装置、电子设备及存储介质 | |
WO2023192213A1 (en) | Methods and systems for perceptually meaningful spatial content compositing | |
Jung et al. | High-dynamic-range image rendering using hybrid tone mapping and automatic k factor decision | |
Sujatha et al. | Analysis And Epigrammatic Study Of Various Tone Mapping Operators For High Dynamic Range Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |