CN104364820A - 具有颜色约束的亮度改变图像处理 - Google Patents
具有颜色约束的亮度改变图像处理 Download PDFInfo
- Publication number
- CN104364820A CN104364820A CN201380033235.4A CN201380033235A CN104364820A CN 104364820 A CN104364820 A CN 104364820A CN 201380033235 A CN201380033235 A CN 201380033235A CN 104364820 A CN104364820 A CN 104364820A
- Authority
- CN
- China
- Prior art keywords
- color
- brightness
- input
- tone mapping
- regulating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title abstract description 7
- 238000013507 mapping Methods 0.000 claims abstract description 252
- 238000000034 method Methods 0.000 claims description 81
- 230000001105 regulatory effect Effects 0.000 claims description 68
- 230000008859 change Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 235000019557 luminance Nutrition 0.000 abstract 10
- 230000006870 function Effects 0.000 description 87
- 239000003086 colorant Substances 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 230000033458 reproduction Effects 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 238000011282 treatment Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004737 colorimetric analysis Methods 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 206010019133 Hangover Diseases 0.000 description 1
- 108010033040 Histones Proteins 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000011551 log transformation method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000004383 yellowing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/066—Adjustment of display parameters for control of contrast
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
为了能够在用于具有相当不同的亮度动态范围的色域的颜色编码之间进行良好的颜色映射同时不引入明显的颜色误差,我们描述了一种图像颜色处理装置(201),其被布置成将对应于第一亮度动态范围的颜色表示中所指定的像素的输入颜色(L,x,y)变换成对应于第二亮度动态范围的颜色表示中所指定的像素的输出颜色(L*,x,y),所述第一和第二动态范围在程度上以至少乘法因子1.5而不同,所述装置包括色调映射变形单元(203),其被布置成基于输入色调映射(301)和与输入颜色的亮度(L)线性相关的量来确定经调节的输出亮度(L*,309),其中所述确定被布置成使得通过将输入色调映射应用到在其有效值[0,1]的程度中的所有可能输入亮度的输入亮度(L)而获取的给出最高输出(L*,L_HDR)的经调节的输出亮度(L*,309)不高于对于输入颜色的色度坐标(x,y)而言针对那些色度坐标(x,y)的对应于第二亮度动态范围的色域中最大可实现的最大亮度Lmax(x,y)。
Description
技术领域
本发明涉及用于将具有以第一亮度的像素颜色的图像转换成具有以第二亮度的像素颜色的图像的装置和方法以及比如数据存储或传输产品或信号的所得产品。
背景技术
颜色处理是困难的任务,特别是在对应于相当不同(例如最大的一个是较小的一个的至少1.5倍)的输入和输出亮度动态范围的颜色表示之间变换(诸如例如以获取直接可用于驱动显示器的颜色规范,由此显示器可以注意处置其细节,比如例如依赖于显示器的电光再现行为或伽玛)颜色时尤为如此。这可以在例如从高动态范围(HDR)变换到低动态范围(LDR)时发生,或者反之亦然。HDR可以指以较高峰值辉度,并且典型地还以较深黑色在显示器上再现,而且还指以较高捕获场景动态范围,或者要与这样的较高动态范围显示器一起使用的信号编码。熟练的阅读者理解的是,如果我们说表示对应于特定动态范围,那么它根据该范围来指定。颜色规范并不意味着这么多(特别是在HDR编码或HDR再现的技术领域中),除非我们指定哪些亮度对应于颜色坐标(例如,一个应当显示具有最大辉度的或者具有减小的辉度的挂毯的照片使得它看起来更像挂毯而不太像发光物体)。例如,在相对RGB编码中,我们可以说白色[1,1,1]与2000尼特的最大可显示峰值辉度对应(对于HDR显示器而言),并且例如对于其它(“LDR”)显示器而言小两倍,针对其它显示器我们将得出新的颜色规范。如果颜色是依赖于设备而指定的,则动态范围的最大值可以是实际显示器峰值辉度,并且对于通用颜色编码而言,人们可以考虑与基准显示器峰值辉度(例如5000尼特)对应的最大编码(例如255,255,255)。该原理可以以人们编码颜色的任何方式来应用(例如在非线性实验室中等)。
从例如HDR到LDR的映射的现在现有技术尝试在获取良好(例如自然外表,或者具有至少在其色外观而不是其辉度或深浅方面与输入HDR/颜色合理匹配的输出/LDR颜色)颜色作为输出时已经看到大量困难。至少三个原因贡献于此。首先,实践中使用的若干颜色空间以不方便的方式为非线性的,并且甚至在这种情况下人们并不总是以正确方式使用它们,这引起(有时难以预测)颜色误差,其然后需要大量另外的校正。其次,不同显示器具有它们自身的固有限制,并且LDR显示器正好不能做出像HDR显示器那么多的亮颜色。这可以例如引起LDR色域的顶部中的选择以使颜色不太饱和。最后,最终颜色的质量是由对人类观看者的外观评判的,并且这也是高度复杂的过程。在不适当地映射颜色时的数学上的大问题已经是在将颜色映射到不可实现的、色域之外的颜色以用于最终显示和/或输出颜色空间时发生的限幅。
在US2006/0104508中提供了一种适配图像以用于在具有不同动态范围的显示器上显示的系统的示例。在该系统中,在LDR图像中检测镜面高光并且HDR显示器的附加动态范围被用来增加镜面高光的辉度。该系统通过应用分段式线性变换来实现这一点。
比如R. Mantiuk等人的现有技术“Color Correction for Tone Mapping(用于色调映射的颜色校正)”,Eurographics第28卷(2009),第193-202页以指定亮度方向上的色调映射开始,并且然后将该色调映射应用在输入图像中的像素的亮度上。然后处置其余的颜色问题,但是它仍难以得到良好的颜色。
我们的发明的目的还在于具有一种颜色处理,其可以处置(除其它之外)用于较高和较低亮度动态范围的颜色表示之间的映射,其特别地注意正确地处置颜色的色外观。并且优选地我们还具有一种简单方法,其可以便宜地并入在许多装置中。
发明内容
该目的通过一种图像颜色处理装置(201)来实现,该装置被布置成将在对应于第一亮度动态范围的颜色表示中所指定的像素的输入颜色(L,x,y)变换成在对应于第二亮度动态范围的颜色表示中所指定的像素的输出颜色(L*,x,y),所述第一和第二动态范围在程度上以至少1.5的乘法因子而不同,所述装置包括:色调映射变形单元(203),其被布置成从输入颜色的输入亮度(L)并且基于输入色调映射(301)和与输入亮度(L)线性相关的量来确定用于输出颜色的经调节的输出亮度(L*,309),该量指示对于输入颜色的色度坐标(x,y)而言在针对那些色度坐标(x,y)的对应于第一亮度动态范围的色域和对应于第二亮度动态范围的色域中的至少一个中最大可实现的最大亮度;其中色调映射变形单元被布置成通过将经调节的色调映射应用于输入亮度来生成经调节的输出亮度;并且色调映射变形单元(203)被布置成通过适配取决于该量的输入色调映射来确定经调节的色调映射,使得通过将经调节的色调映射应用于其有效值[0,1]的程度中的所有可能输入亮度的任何输入亮度(L)来获取的任何经调节的输出亮度(L*,309)不高于对于输入颜色的色度坐标(x,y)而言在针对那些色度坐标(x,y)的对应于第二亮度动态范围的色域中最大可实现的最大亮度Lmax(x,y)。
初步看来,这可能看似涉及Mantiuk现有技术,但是注意,我们的方法聚焦在首先保持颜色良好上,并且然后最优化地调谐色调映射,而不是从相反方向。即,我们可以保持颜色的色规范(例如(x,y)或(色相,饱和度)等)不改变,而不是在像素的亮度或明亮度(luma)上进行处理,并且然后进行一些颜色校正。为此,我们设计出我们的色调映射(其可以直接是函数,或者最终实现一些函数变换的任何事物,例如像包括具有作为最后结果的函数行为的子步骤的计算机算法)。另外,我们的实施例典型地具有开始输入色调映射(301),其近似地指定颜色应当如何映射到比方说LDR色域编码。但是现在我们将得到用于不同色度(x,y)的新的局部色调映射,即输入色调映射被调节或适配成生成经调节的色调映射,其中适配取决于针对输入颜色的色度坐标可实现的(多个)最大亮度。这可以通过相对于它在其上被指定的坐标轴修改原始输入映射函数来完成(即,或者我们可以缩放输入色调映射的函数本身,例如m*f(输入),其中m为乘数,或者我们可以将输入改变成input_scaled,同样当然产出例如我们的色调映射函数典型地将成为的单调递增函数上的不同输出)。注意,人们也可以进行非线性缩放,例如将幂函数或对数变换等应用到输入轴,其对应于以非线性方式弯曲函数等。我们的装置/方法典型地使用的是相比于色域中可以存在的最大量而言存在的颜色量的至少一个线性测量(不管是用于特定显示器,还是颜色空间的理论限定的色域),并且这样的线性量也可以正好例如基于输入颜色的亮度(L)来指定。鉴于亮度相比于最大值的该百分比量,我们的装置可以决定如何最优化地变换它,不管选择的特定策略是通过考虑与色域/显示细节结合的另外的外观期望、算法的简化性,还是其它的考虑来确定的。然而,他们所有人都寻求聚焦在至少避免由限幅所引起的颜色误差,或者至少如果算法集成在通过允许一些限幅、最小化该限幅而最优化的设计中。熟练的阅读者应当理解,这绝不牵涉得到Lmax(x,y)以上的输出L*,其对于单调递增函数而言将是色调映射曲线的最高输入端处的映射。熟练的阅读者应当良好地理解人们可以如何实现这样的映射的许多可能变型。它牵涉确定函数在何处产出最高结果,并且然后通过修改函数来缩减规模,即不管人们在以下应用哪种再成形,至少将其上的该最高点约束到最大可允许值。这可以以各种方式通过用于简单情形的简单数学来编码,并且复杂情形可以正好模拟结果将是什么,并且然后应用满足要求的一个。
方法因而可以引入色调映射,其基于可以独立于颜色的色度的输入基准色调映射,并且其特别地对于(多个)色域中的所有颜色可以相同。然而,色调映射变形单元可以将该通用或公共色调映射适配成特定于输入像素的色度的色调映射,并且特别地其取决于反映用于输入色度中的特定色度的最大可能亮度的量。此外,经调节的色调映射使得经调节的亮度不在用于输出色域中的色度的最大可能亮度以上。因而,系统允许对输入信号的亮度调节以在不同动态范围之间转换,同时不仅确保经调节的亮度使得输出图像不被限幅而且允许相同基准映射被适配于可能亮度中的差异。这可以确保输入颜色的变换导致相同色度并且具有跨整个色域的一致亮度适配的输出颜色。
例如,可以使用用于每一个色度的完整亮度范围的相同相对映射而不管最大亮度在不同范围中非常不同。例如,相同相对辉度增加可以应用到关于例如基本上白颜色的饱和颜色而不管这些具有大大较低的最大辉度水平。
被用来适配色调映射的量可以特别地从输入颜色来确定,例如使用提供用于色域中的所有色度的最大亮度的查找表。在许多实施例中,该量可以是输入颜色的颜色通道表示(诸如RGB颜色表示)中的颜色通道的最大值。在许多实施例中,输入亮度可以是输入颜色的色度和亮度表示(诸如xyY表示)中的亮度。
特别地,该量可以指示相对于针对输入颜色的色度坐标而言针对那些色度坐标的对应于第一亮度动态范围的色域中最大可实现的最大亮度的输入亮度。如果图像颜色处理装置(201)具有色调映射变形单元(203),则可以是有利的,所述色调映射变形单元进一步被布置成相比于其轴线而将单调变换应用到输入色调映射的函数形状,其被限定成使得如果通过将输入色调映射(301)应用到两个不同输入亮度(L,L_LDR)而获取的输出亮度(L_HDR)不同,则用于那些输入亮度的经调节的输出亮度(L*)也不同。
因而,经调节的色调映射可以通过借由向函数形状应用变换而适配输入色调映射来生成。
许多映射将遵守的是,我们没有引入限幅或者引入最小限幅,因而人们可以根据一些其它准则对例如中部或底部进行成形。如果具有最高值的曲线的一些部分限幅(即在HDR输入处仍存在例如不同、较高值,但是在LDR输出处没有),那么这样的映射不能用在例如其中我们需要可逆性的处理策略中,比如对输入主HDR等级到(限幅)LDR编码的编码第一映射,以及然后从该LDR编码恢复HDR等级的逆映射。如果人们保持映射单调(其可以例如通过一些(非线性拉伸)来完成),则是有用的。尽管一些映射可以允许一些颜色的重叠,但是这些单调函数的确保留(除量化之外)在原始场景中具有不同亮度的颜色之间的数学差异,或者至少例如其主等级表示。尽管对于一些显示再现而言,这些差异有时可能对观看者不是可见的,但是至少它们被编码,并且可以例如通过图像处理应用被进一步使用。
有利地,图像颜色处理装置(201)具有色调映射变形单元(203),其还被布置成相比于其轴线而向输入色调映射的函数形状应用平滑变换,其被确定成使通过将经调节的色调映射(301)应用到输入颜色亮度(L)而获取的经调节的输出亮度(L*)与输出亮度(308)之间的相邻色度坐标(x,y)的连续亮度差异(310)以大致类似量平滑变化。
也可以在颜色差异矢量场而不是例如函数301上的变换方面表述的平滑度是作为用于一些应用的质量准则而具有的感兴趣的属性。例如,来自小部分或者考虑函数301的形状的线性压缩或非线性压缩都可以是平滑的。然后,我们的系统不会表现地与大多聚焦在亮度(L)的行为上的颜色映射非常不同。
有利地,色调映射变形单元(203)还被布置成通过将经调节的亮度(Ls)作为输入应用到输入色调映射(301)来执行经调节的输出亮度(L*,309)的确定,所述经调解的亮度(Ls)通过向输入颜色亮度(L)应用函数来得到,所述函数基于最大亮度Lmax(x,y)来限定,使得等于该最大亮度Lmax(x,y)的输入亮度(L)被映射到输入亮度(L)的最大可能值以用于输入色调映射(301)。
例如如果x方向上的简单非线性压缩不得不发生,代替于使对应于输入色调映射的函数成形,可以使其轴线成形。特别地,对于线性缩放而言,这可以比改变函数更简单,因为我们然后可以计算经缩放的新输入上的正态函数301(或者使用该经缩放/调节的值Ls作为色调映射的查找表编码的输入等)。通过使轴线成形的调节可以等同地通过改变函数的轴线值或者通过改变输入亮度值来执行。
有利地在许多实施例中,色调映射变形单元被布置成通过以从量确定的第一缩放因子对输入亮度进行缩放来生成经缩放的亮度;通过将输入色调映射应用到经缩放的亮度来确定经缩放的调节的亮度;并且通过以对应于第一缩放因子的倒数的第二缩放因子来对经缩放的调节的亮度进行缩放来生成经调节的输出亮度。
这可以特别地提供在许多实施例中具有低复杂性的有利性能。
有利地,图像颜色处理装置(201)使用作为函数的线性缩放来缩放输入颜色亮度(L)。该简单函数足够用于许多情景,并且其可以通过一个简单的乘法来实现(例如在IC电路中)。
有利地,图像颜色处理装置(201)具有色调映射变形单元(203),其还被布置成使用作为与亮度(L)线性相关的量的限定输入颜色(L,x,y)的颜色通道(并且特别地线性红色、绿色和蓝色)分量的最大者(maxRGB)。由于线性的缘故,我们可以例如在RGB空间中重新用公式表示我们的基本方法,其最小化计算,因为通常图像/视频在从RGB得到的颜色空间中编码(并且RGB被用来驱动显示器)。
输入颜色的颜色表示的最大颜色通道分量可以被用作该量。最大颜色通道分量特别地指示用于该色度的最大可能亮度,因为它是在限幅发生之前可以被缩放得最少的颜色分量。换言之,可以被应用到具有最大值的颜色通道而不会导致该颜色通道被限幅的所有缩放因子也可以在没有限幅的情况下应用到其它颜色通道。
有利地在许多实施例中,色调映射变形单元被布置成通过将输入色调映射应用到颜色通道分量的最大者来生成经调节的亮度;并且通过以取决于输入亮度和颜色通道分量的最大者的缩放因子对经调节的亮度进行缩放来生成经调节的输出亮度。
该方法在许多实施例中可以提供特别高效的操作、性能和/或实现。缩放因子可以特别地与输入亮度和颜色通道分量的最大者(maxRGB)之间的比成比例(或者相等)。
有利地在许多实施例中,输入颜色在颜色通道表示中提供,并且装置还包括颜色表示转换器,其用于通过转换输入颜色的颜色通道表示来生成作为输入颜色的色度和亮度表示的亮度的输入亮度。
这在许多实施例中可以允许实际的且方便的实现和操作。特别地,用于色调映射操作和用于适配色调映射的不同表示的使用在许多实施例中可以提供高效的操作。
有利地在许多实施例中,图像颜色处理还包括输出处理器,其用于通过以取决于经调节的输出亮度和输入亮度的缩放因子对输入颜色的颜色通道分量进行缩放来生成颜色通道表示输出颜色。
该方法在许多实施例中,并且特别地在其中要求输入颜色和输出颜色二者使用颜色通道表示的实施例中可以提供特别高效的操作、性能和/或实现。颜色通道表示可以特别地是RGB表示。
有利地任何可能变形的图像颜色处理装置(201)还包括色调映射确定单元(202),其被布置成基于至少一个预定的色调映射(TM)来确定输入色调映射(301,TM*)。特别地,输入色调映射可以是预定的色调映射。简单变形可以仅使用用于整个图像的一个全局色调映射。然而,人们可以使用任何准则(例如如果方法/装置在显示器中的最终观看者的控制之下操作以适配其偏好时,准则可以是“观看者喜爱较亮的蓝色”)来生成更好定制的局部色调映射函数,例如用于(x,y)平面中的区,或者图像中的甚至特定空间区或物体。例如,人们可以从通过分级员(例如通过根据(x,y)平面的区之上的例如外推策略来修改它),或者通过两个这样的函数之间的内插,或者通过鉴于多个这样在先确定的函数的复杂分析得到最终函数而指定的至少一个其它色调映射来得到要适配的最终输入色调映射301(例如红色在暗区域中表现得像这样,因此我们基于红色的暗行为,但是黄色行为用于中部亮度来适配我们的橙色函数,并且观察靠近非彩色处的发生什么并基于用于靠近非彩色的至少一个色调映射中所指定的内容来确定用于橙色的色调映射的亮行为)。
基本图像颜色处理装置可以例如是图像处置IC的一部分并且并入在比如例如包括如以上所描述的图像颜色处理装置(201)和用于输出至少包括色度坐标(x,y)的像素输出颜色和经调节的输出亮度(L*)的输出图像(Im)的数据格式化器(613)的图像编码器,或者包括如以上所描述的图像颜色处理装置(201)并且包括被布置成获取图像(Im)中的像素的颜色数据的数据提取器(652)的图像解码器的各种更大的装置中。
图像解码器可以具有数据提取器(652),其还被布置成获取色调映射(TM),使得其可以基于例如内容创建侧处已经规定的内容来进行其色调映射。例如,如以上所述,当重新确定局部色调映射以例如进行用于特定显示器的最优化颜色映射时,其可以从创建者供应的色调映射TM开始,并且最小化地变形,从而试图尽可能多地遵循它。
在我们主要通过聚焦在其亮边界平面上来阐明考虑到色域的映射最优化的情况下,我们当然可以通过也考虑到暗边界平面来进行类似的方法,其例如由于再现显示器附近的周围照明而模型化差的可见性。
本发明可以在各种方法中体现,例如将对应于第一亮度动态范围的颜色表示中所指定的像素的输入颜色(L,x,y)变换成对应于第二亮度动态范围的颜色表示中所指定的像素的输出颜色(L*,x,y)的图像颜色处理的方法,所述第一和第二动态范围在程度上以至少乘法因子1.5而不同,所述方法包括:从输入颜色的输入亮度(L)并且基于输入色调映射(301)和与输入亮度(L)线性相关的量来确定用于输出颜色的经调节的输出亮度(L*,309),所述量指示对于输入颜色的色度坐标(x,y)而言针对那些色度坐标(x,y)的对应于第一亮度动态范围的色域和对应于第二亮度动态范围的色域中的至少一个中最大可实现的最大亮度;其中经调节的输出亮度通过将经调节的色调映射应用到输入亮度来确定;以及通过适配取决于该量的输入色调映射来确定经调节的色调映射,使得通过将经调节的色调映射应用到在其有效值[0,1]的程度中的所有可能输入亮度的任何输入亮度(L)而获取的任何经调节的输出亮度(L*,309)不高于最大亮度Lmax(x,y),其对于输入颜色的色度坐标(x,y)而言是在针对那些色度坐标(x,y)的对应于第二亮度动态范围的色域中最大可实现的。
或者,图像颜色处理的方法,其中经调节的输出亮度(L*)的确定的另外的特征在于,它牵涉确定用于作为对输入色调映射(301)的输入的经调节的亮度(Ls),所述经调节的亮度(Ls)通过向输入颜色亮度(L)应用函数来得到,所述函数基于最大亮度Lmax(x,y)来限定,使得等于该最大亮度Lmax(x,y)的输入亮度(L)被映射到输入亮度(L)的最大可能值以用于输入色调映射(301)。
或者,图像颜色处理的方法,其中与输入颜色的亮度(L)线性相关的量是限定输入颜色(L,x,y)的线性红色、绿色和蓝色(或者其它颜色通道)的最大者(maxRGB)。
或者,图像颜色处理的方法,其包括基于至少一个另外预定的色调映射来确定输入色调映射(301)。本发明还可以体现为包括代码的计算机程序产品,其使得处理器能够实现所述方法中的任一个或者所述装置中的任一个的运转,并且其可以经由信号等传送或引导。
附图说明
根据本发明的方法和装置的任何变型的这些和其它方面将从下文描述的实现和实施例显而易见,并且参照下文描述的实现和实施例和参照附图进行阐述,所述附图仅仅充当例示更多一般概念的非限制性特定图示,并且其中虚线被用来指示部件是可选的,非虚线部件未必是必要的。虚线也可以用于指示这样的元件,其被解释为必要的且隐藏在物体的内部中,或者用于非有形事物,诸如例如物体/区的选择、图表中的值水平的指示等等。
在附图中:
图1示意性地图示与第一动态范围的显示器相关的颜色表示/色域和与第二动态范围的显示器相关的颜色表示/色域之间的映射;
图2示意性地图示根据本发明的核心装置的可能实现;
图3示意性地图示人们可以如何改变相对于其输入和输出的范围的色调映射函数,以达到更适合的局部色调映射函数,特别是避免通过显示器和/或可表示颜色上可实现的物理色域的输出颜色的限幅的一个;
图4示出根据我们的发明的装置的更详细的实施例;
图5示出另一实施例,其实现起来相对便宜;
图6示意性地图示人们可以如何互连总视频链中的我们的装置的各种版本;以及
图7示意性地图示人们可以如何实现我们的方法或装置的更复杂实施例,其具有带有更高程度可变性的局部色调映射函数,其中:
图7a以横截面(亮度,饱和度)示出色域,
图7b以(色相、饱和度)颜色平面示出色域基的三角投影,以及
图7c示出通过根据一些内插策略沿着用于两个共同定位的色域(例如LDR到HDR)的公共亮度轴线将一组局部函数导出为两个预指定的函数之间的内插函数而到达它们的可能方式。
具体实施方式
图1示意性地示出与第一和第二可再现亮度范围(也称为动态范围)相关联的第一和第二颜色表示之间的映射。在不失一般性的情况下,我们将假定颜色表示可以直接被用来通过将颜色的亮度与显示器的峰值辉度线性相乘来驱动特定显示器。当然,颜色空间可以是中间的并且例如是独立于显示器的颜色空间,这意味着在再现颜色之前,它们需要针对特定显示器进行最优化映射等。尽管映射也可以从相反方向进行,但是我们将通过从可表示亮度的较小范围(出于简单性称为低动态范围LDR)映射到较大范围(高动态范围HDR)来解释示例。这意味着当HDR显示器被驱动时可产生的颜色的物理色域将比LDR显示器的物理色域更大。出于简单性,我们已经绘出归一化到等于1的最大亮度L的LDR和HDR二者的颜色色域(如所述的,我们已经假定颜色色域是针对作为不同动态范围的实际两个显示器的基准色域而限定的,出于简单性它们仅在峰值辉度上有差异并且在例如颜色原色上没有差异,并且出于简单性考虑遵守线性电光传递函数、具有类似的前板反射等),因此然后二者具有相同的颜色色域101,并且颜色映射包括将颜色移动到该色域中的不同位置。重要的是知晓表示的Z轴是线性亮度L,并且不是非线性(例如伽玛0.45)明亮度Y。这是我们也可以称为的所有颜色的辉度分量(作为3维实体)。至于颜色的色分量,我们已经将它们限定为CIE(x,y)坐标,但是当然色颜色平面的其它限定将同样对于我们的发明是可能的。在该颜色平面中,色域的基将从马蹄状或围绕其的颜色圆切出三角形形状,并且其中我们可以(如从比色法公知的)限定两个另外的参数:我们将称为色相的角度,以及从消色差的L轴向外的我们将称为饱和度s的分量(我们将同样通过就与精神性视觉色彩性的差异方面做出详细讨论来不使我们的阐述复杂化)。x和y实际上是非线性量,因为它们被限定为x=X/(X+L+Z)和y=L/(X+L+Z),并且相应的几何形状是非线性的。这(除其它之外)具有以下效果:色域的上限不是直线而是曲线,但是如果我们假定它们为直线,则我们的发明的解释不改变。实际上,我们的发明具有以下有用属性:至少一些实施例可以避免对真实色域边界形状进行制表的需要。
现在假设我们具有LDR 106中的物体,针对其我们出于简单性而假定它具有单个颜色(L_LDR, x,y),针对其我们想要确定对应的HDR颜色(L_HDR, x,y)。出于简单性,我们假定颜色限定的色部分保持相同,并且仅归一化的亮度限定改变(但是当然我们的方法可以与也以某种方式修改色限定的另外的处理相组合)。此处然后假定颜色保持大致相同并且如果我们给它不同的亮度但是相同的(x,y)则看起来只是更亮(在HDR显示器上)。还要注意相对亮度限定的影响,以及它如何利用不同映射基本原理来工作。例如,人们可能期望颜色(比如说面部)在2000尼特峰值辉度HDR显示器上看起来与在500尼特LDR显示器上精确地相同。尽管再现的输出亮度2000*L_HDR然后将与500*L_LDR相同,但是它意味着在我们的图1的归一化(线性)表示中,为了做出相同的最终再现颜色,L_HDR将是L_LDR的1/4th,这可以从沿着L轴的物体的较低位置看到。现在当然可以存在用于限定第一颜色表示Col_LDR与第二颜色表示Col_HDR之间的映射的其它映射基本原理。例如,由于清楚的是较低动态范围显示器可能不曾精确地再现HDR显示器的较亮颜色,因而我们可能想要对它们进行近似。在物体是例如包含亮度跨度[Lmin, Lmax]内的像素颜色的光源的情形中,我们可能考虑对LDR颜色表示中的光源进行限幅(尽管不是在Col_HDR中),使得例如Lmin非常接近于1(在数字8位表示中,其可以是例如253)。然而在许多实施例中将有用的是,我们对我们的映射进行协调使得它们在大程度上是可逆的,特别地它们在我们想要从LDR一中检索它的情形中不丢失HDR颜色表示的过多信息,诸如在例如严重的限幅或量化的情形中发生等等。因此我们可能想要对灯物体进行比简单的线性限幅更复杂的事情,其被称为颜色分级,并且如果人们想要最高质量,这典型地不是通过自动算法完成而是至少部分地通过人类颜色分级员、具有品味和以针对HDR和LDR显示器二者的最佳可能方式限定颜色(即作为表示Col_HDR和Col_LDR)方面的技能的艺术家来校正(从半自动分级中的自动第一映射)。
熟练的读者应当清楚的是,我们的方法可以被应用来在任何情景中例如通过相片校正软件,而且例如在HDR电视中的图像处理IC的颜色优化模块,或者任何中间图像处理装置、运行在远程联网计算机上的图像优化服务等内部变换颜色。然而,我们想要在它形成我们最近发明的HDR编解码器的一部分时进一步阐述本发明。在该编解码器中,我们将输入主HDR等级(假定例如用16位或32位线性L编码,或者作为3x16位线性RGB,或者在浮点表示中编码等)表示为例如后向兼容8位(或者例如10位)LDR图像(其然后可以用比如MPEG2、AVC、HEVC或VP8等的遗留压缩来压缩),但是还具有作为元数据的颜色(色调/亮度)映射策略(至少色调映射函数L_HDR=F(L_LDR),但是可能地更多编码的颜色变换策略)以从它是如何被编码为LDR图像的(用Col_LDR中限定的像素)来得到HDR颜色表示(Col_HDR)。即,我们已经从HDR图像分级得到LDR图像,其可以直接用于LDR再现,并且看起来是相当良好的,如为内容创建者或所有者工作的分级员所赞成的那样。如果该LDR图像直接显示在HDR显示器上,然而它不会看起来如此良好,这是因为尽管所有物体可以可识别,但是典型地大量场景物体可能看起来是亮的,即它们并未针对HDR显示器被最优化地分级。再次将所有物体亮度和颜色置于内容创建者规定的HDR等级授令的位置中是编码在元数据中的颜色映射算法在被应用到LDR图像时实现的。现在获取HDR图像以用于驱动HDR显示器的LDR图像的该解码可以(作为单独的映射算法,或者一组算法的一部分)使用本方法的实施例。
因而,特定示例性描述可以涉及一种系统,其中LDR图像典型地是从原始HDR图像(半)自动生成的。LDR图像然后被分布并且可以由LDR显示器直接再现。此外,一个或多个色调映射函数可以用LDR图像分布,其中色调映射函数提供关于HDR图像可以如何从LDR图像生成的信息。色调映射函数可以特别地描述适合的亮度变换函数,其可以被应用到LDR图像以生成严密地类似HDR图像的HDR图像。
将HDR图像映射到LDR图像的色调映射以若干现有版本存在,并且同样存在少量非常近似的自动转换算法以将输入LDR图片(例如来自DVD或BD视频)变换到具有更适用于HDR再现的颜色表示的HDR图像,即例如通过再现较亮的物体(特别地亮的)来最大化HDR显示器的有用性。例如,人们可以检测作为LDR图像中的“灯”的亮物体(例如限幅到255的小区,诸如镜面高光),并且然后相比于HDR编码中的其余场景,亮度强烈地提升它们(或者实际上在归一化HDR编码中将它们保持在255,但是相比于LDR亮度降低所有其它场景物体的亮度[或者对于在我们的简化阐述中不想要用亮度编码来编码颜色的实施例而言,通过降低对应于那些亮度的代码值/明亮度来适配]),使得它们作为亮的在其余场景中凸显。在图1中的光物体105的我们的示例中,这可以意味着在HDR表示中,我们不用L_HDR = L_HDR的1/4th而是例如0.8x L_HDR来编码光。然后它将尽可能亮地将这样的灯(即从显示器的最终再现的输出亮度)再现在LDR显示器上,并且在HDR显示器上异常地亮。在并置的归一化颜色色域中的色调映射然后指定,在通过与2000尼特的HDR显示器的峰值辉度的最终乘积实现的最终提升之前,我们应当用0.8乘以LDR图像中的灯的像素的亮度。
然而,通常在现有技术中,该色调映射首先完成,并且然后在需要的情况下进行一些颜色校正。实际上,在许多现有技术方法中,亮度缩放首先被应用,这可以导致对于一些像素的限幅或颜色改变,并且具有后续的颜色校正,从而力图解决这样的失真。当然如果用于不同比色变换的滑块并行工作,则手动分级员可以进行他所想要的任何事情,但是将有意义的是首先将亮度(或者辉度)置于正确,并且然后进行一些颜色变换(在如此多的应用中,特别地因为颜色取决于明亮度)。实际上,通常,尽管比色学和精神性视觉上是不正确的,但是当然是简单的(如果你不是过于关注相对大的颜色误差),人们在比如例如YCrCb的非线性颜色编码空间中进行处理。这最终在用于显示器的RGB驱动信号中被转换,并且典型地引起过剩或者这些原色中的至少一个的低量,即颜色误差。如果人们认为颜色映射同时保留特定Y明亮度值是处理的方式(例如在可变色度颜色的范围之上),人们应当意识到这样的处理甚至不引起正确的亮度,因为非线性明亮度不同于亮度。因此,尽管例如相同图片中的不同颜色之上的亮度中的变化可以在一些情形中足够小以具有可接受地小的关注,但是误差的确存在,并且有时可能是有害的。较差的误差起源于对待CrCb就像它们是独立于亮度的色度坐标那样。改变这样的坐标可能对所再现的物体的最终亮度及其色颜色(即色相和饱和度)二者具有相对严重的后果。并且在一些情景中,甚至微小的色相误差可以是成问题的(注意,人类视觉可以分辨几个纳米的误差,或者换言之取决于观看条件和实验,可以说沿着圆形的至少100个不同色相是相关的)。另外,比如RGB的空间使用起来并不完全直观和简单,甚至对于非常有经验的分级员也是如此。由于非线性的缘故,一些(非期望的)脱色总是可以突然出现,并且特别是在具有少许(可能不是很好理解的)算法来利用(并且UI可能太过粗糙,例如可能想要以特定方式改变色调映射曲线的形状,但是其不能足够精确地设定)时尤为如此,可能难以彻底地进行所有颜色校正(特别是以简单且快速的方式)。例如,RGB控制看起来相对简单,因为如果图片看起来过于泛绿,人们可以在某种程度上减少绿色,并且甚至对于奇怪的非线性曲线,人们已经将会快速地具有某种程度上平均较不泛绿的外表。然而,如果人们想要使图片更泛黄以实现舒适的傍晚效果时会如何呢?然后人们需要控制R和G二者,但是然后仍特别是黄色。如果人们调节诸如例如Photomatix的HDR图像处理软件中的伽玛滑块,人们可能遇到诸如黑色的虚假颜色或者用于中间亮度的不正确颜色之类的问题。如果在系统中仍存在其中颜色被调整与其中发生颜色的比色确定(即添加线性光的显示器再现)之间的任何非线性,则人们冒有脱色风险。例如,如果人们想要增加白色和颜色的混合的辉度,人们可以在线性空间(W,c)中改变到K^2*W^2+ c^2。这当然将牵涉某些量的去饱和。然而改变到(K*W+c)^2将牵涉附加混合项2K*c,其取决于颜色c的量,即这将导致不同的最终再现颜色。有时,根据我们的偏好,颜色看起来太过像蜡笔画(pastellish)或太过像卡通或高度饱和地出现。存在颜色饱和度滑块,人们可以用其尝试对此进行校正。一些人可以明确用此来向图片中带来一些(附加)外表。例如,人们可以使薄雾笼罩的街道处于傍晚的街灯之下,并且然后人们可以在某种程度上将饱和度增加成超出自然值以给它圣诞节般的微黄外表。一些人甚至看起来偏爱极端轮廓,比如高度饱和的乏味难看的轮廓,但是我们将聚焦我们的发明用在人们期许更自然的颜色时的阐述。在任何情形中,获得适合地在整个图像之上的其三个比色坐标中的颜色(并且用于连续图像镜头之上一致的视频)并不总是简单的任务。而且,取决于人们如何限定颜色变换,特别地如果分级员想要应用某种程度上更原生的色调映射函数(其在具有接近相等色域的正常颜色校正之下将不大会经常发生,比如针对来自场中的多个照相机的部分程序的校正,但是在具有若干重要亮度子范围的高度散布的亮度范围不得不被映射到具有非常不同的能力的显示色域时是高度可能的),人们应当注意,颜色不会变得太陌生,太陌生甚至以至于它们不能被容易地进一步校正。在用于将LDR色调/颜色映射到HDR的作为遗留LDR+元数据编码的HDR的我们的示例中(其可以被称为“LDR容器”HDR编码),我们需要确保如果我们创建对应于HDR主等级的LDR图像,其颜色不应当与主等级太不同,并且优选地根据一些匹配质量准则或策略甚至尽可能地类似,例如至少较暗的颜色相同地再现在两个显示器上,只要LDR显示器色域允许这一点即可。
因而在许多情景中,高度合期望的是可以执行从例如LDR到HDR图像的转换,其不向图像引入明显的颜色改变。这通常非常难以进行,并且特别地大多数现有技术方法往往在不同亮度动态范围之间进行转换时引入颜色失真,然后需要随后解决这些失真(或者对应降级必须被接受)。
图2示意性地示出图像颜色处理装置201一般如何覆盖使得能够实现方法的核心行为可以看起来像的我们的发明的大多数实施例。熟练的阅读者将理解的是,该核心模块部分可以与用于例如存储或供应像素颜色的各种其它模块、使用映射的颜色或至少其(输出映射的)亮度L*的单元等互链,并且这些基础块可以例如以集成方式实现为运行在处理器上的软件程序。色调映射确定单元202确定用于当前像素的输入或基准色调映射TM*。在更简单的实施例中,该输入/基准色调映射可以已经基于典型地要映射的输入图像的物体的亮度值是如何分布的来确定,并且我们可以具有用于图像(或者图像的镜头等)的全局映射函数。因而,输入色调映射可以是这样的映射,其并不特定于单独的像素但是其可以是用于多个像素的动态范围转换的基础,诸如例如图像的区或图像的集合,以及整个图像或图像的整个群组。输入色调映射可以是这样的映射,其并不特定于单独的色度但是其可以是用于多个不同色度的动态范围转换的基础,并且特别地可以与色度完全独立(并且可以仅是亮度的函数)。输入色调映射可以因而是基准函数,其规定输入亮度与输出亮度之间的关系。
根据我们的方法的实施例的教导,我们将想要将该映射然后变换在新映射中以用于不同色(例如色相、饱和度)子区域,例如输入(x,y)色度的每个值。因而,在方法中,非色度特定输入色调映射可以被适配成经调节的色调映射,其特定于特定色度值或范围。经调节的色调映射可以特别地是反映输入色调映射的特性(例如在与输入和输出亮度有关的曲线的形状或变化方面)的一个,但是其已经被调节以适合被变换的像素的色度的特定特性。特别地,经调节的色调映射取决于指示可能用于被转换的像素的色度的最大亮度的值/量/参数而生成。因而,被应用到像素的经调节的色调映射可以反映输入色调映射(其例如可以由与LDR数据一起接收的元数据来指定)而且还有单独像素的特定特性。方法可以特别地用来引入不同动态范围的亮度之间的期望转换同时确保这不引入颜色失真并且因此不要求颜色校正后处理。因而,在许多情景中可以实现没有颜色降级的改进的亮度转换。
当然,我们的方法同样与可能地复杂得多的色调映射策略一起工作,其中存在限定的若干色调映射策略,例如也可以例如基于像素来自图像中的哪个区域来确定色调映射等。典型地在实施例配置中,要针对颜色编码色域的特定色区(例如(x,y)值)最优化的输入/基准色调映射TM*将取决于至少一个供应的色调映射TM,其可以例如是由分级员针对整个图像(预)创建的(比方说例如具有系数gam>1的伽玛函数,其主要加亮较亮的区或者使较不亮的区变暗)。当我们说到预创建时,读者将理解这在图像颜色处理装置201形成分级室处的分级引擎的一部分的情形中可以是同时的,但是TM也可以来自例如比如例如BD盘的可拆卸存储器或者通过网络连接,如果装置201形成例如电视或显示器的一部分,并且色调映射TM在数月之前被确定的话。在我们仅具有单个色调映射TM的情形中,它可以被直接传输(作为输入色调映射TM*)到色调映射变形单元(203),使得单元202是可选的,然而如我们在下文将看到的,可以存在其中若干(至少一个附加的)色调映射函数(或者在一般策略中)针对不同色度(x,y)确定的实施例,其然后将由单元201执行。因而在一些实施例中,输入色调映射TM*可以是所考虑的和可用的仅有基准色调映射。在其它实施例中,输入色调映射TM*可以选自多个可能的基准色调映射。
色调映射变形单元203可以特别地确定被称为经调节的色调映射的新色调映射,其根据所处理的像素颜色的(x,y)值的归一化显示器色域(或者在非归一化的等同实施例的情形中,更受限制的两个色域)中的最大可能亮度(即Lmax(x,y))来成形。特别地,色调映射函数可以相对于入射亮度L(其已知落在归一化表示中的[0,1]之间)再成形,因此人们可以实现应用(部分地或全部地)到色调映射函数还是其输入参数L的类似行为。
我们解释该色调映射曲线成形可以如何实现的图3中的一个简单可能示例。
与首先确定亮度(或者明亮度)并且然后修改颜色(通常以校正在第一步骤中发生的误差)而生成较高或较少亮度动态范围(即要与不同峰值辉度一起使用)的图像的色调映射方法形成对比,我们的方法典型地以颜色的色部分(例如(x,y))开始,并且使其不改变(因此图像物体的色外表已经大部分正确)。因而,输出颜色/像素的色部分被选择成与输入相同。因而,输出的(x,y)可以设定为与输入的(x,y)等同。系统然后在保持色度(x,y)恒定的约束之下改变用于该颜色的亮度(这容易进行,人们仅必须一维地改变像素颜色的L分量)。因而,对于xyY表示而言,输出的xy被设定成等于输入的xy,并且输出的Y基于经调节的色调映射而从输入的Y生成。
当然,熟练的读者理解的是,同样利用我们的方法,我们可以从保持色度绝对不变的这个开始原则脱离,例如如果分级员出于任何原因而想要进行进一步的颜色调谐的话。但是典型地我们的方法将起作用使得新颜色利用从原始到最终亮度的映射(L到L*,或者例如L_LDR到L_HDR)来确定同时保持处理之后的输出色度(x,y)*等于输入颜色的(x,y),并且然后可选地(x,y,L*)可以在期望的时候经过进一步的颜色变换操作以用于修改(多个)颜色的色外表。
现在假设分级员已经确定用于图像(或者可能是电影中的场景的连续图像的镜头)的单个色调映射函数301,其比方说很大地取决于消色差颜色的颜色行为来确定(即运行范围为[0,1]中的L_LDR和[0,1]中的L_HDR的L轴上的灰色)。该示例性函数首先具有用于暗区的小斜率,因为HDR最终再现的亮度将相比于编码以两个显示器的最大或期望的最大辉度的因子PEAKBRIGHTNESS_HDR/PEAKBRIGHTNESS_LDR而提升,并且因为我们可以具有作为以下再现质量准则:我们想要这些暗颜色看起来在两个显示器上(几乎)相同。之后对于较亮的颜色(其可以例如是如通过照相机所处于的相对较暗的房间的窗户看到的阳光明媚的户外场景的颜色),我们开始以越来越陡的倾斜映射来提升颜色,以使它们在HDR显示器上相对亮。在该示例中,我们已经考虑到存在例如对于HDR显示器上的舒适而言太过亮的灯(可能对于给定用户,如果色调映射TM由他在从来自电影创建者的基本色调映射开始的顶端进行精细调谐),因此代替于将HDR显示器驱动到其最大可能辉度,在该示例中,色调映射对于最亮图像区而言趋于平缓一些。这样的输入或基准色调映射的示例由图3中的曲线301示出。图3的色调映射/函数301因而是通用色调映射,其在所述方法中被适配于特定色度(x,y)的特性。因而,可能期望的是使色调映射特性反映在用于所有色度的映射中。然而,对于一些色度,最大可能亮度基本上低于用于色域的最大亮度(即用于白色),并且因此如果曲线301直接用于色调映射,则仅曲线的子集将被利用。例如,对于饱和的红色而言,仅低的和中等亮度范围的特性将被使用并且高范围中的拖尾将不反映在变换中。
问题然后在于人们可以如何以简单的示例性方式来对该色调映射函数301进行成形,以获取根据我们的发明302的良好的新色调映射以用于每一个特定(x,y),其将被用来确定用于比方说L_in=0.6的当前运行的像素颜色的输入亮度的输出亮度L*。我们可以通过简单的线性乘法来拉伸函数,使得在输入颜色具有作为亮度L的最大可允许值的情形中,它产出用于该(x,y)的作为输出L_HDR的最大可允许亮度值Lmax(x,y)。例如,如果曲线301的终点是(1.0,1.0),并且用于色域的边缘上的当前像素的Lmax(x,y)是0.8,我们将压缩该曲线使得其在(0.8,0.8)处结束。由于我们知道要映射的输入颜色可以不曾具有用于这样的色度的高于0.8的亮度,但是它可以具有低于0.8的亮度(比如0.6),因而我们知道这样的线性缩放的函数对于较低的亮度可以不曾导致0.8以上的L_HDR(假设我们对该0.8上所使用的任何映射函数的最大值进行缩放)。因此,我们已经考虑到没有限幅将发生这一事实,所述限幅典型地导致严重的颜色伪像。
因而,作为示例,在图3中,曲线301被修改使得其适合用于输入颜色的色度的色域中的最大亮度。在示例中,输入和输出色域基于具有相同色度的原色,并且因而用于每一个色度的相对最大亮度相同。例如,在示例中,用于考虑的颜色的最大亮度是色域中的最大亮度的0.8(即用于白色)。曲线301因此被调节使得曲线的端点处于用于色度的最大亮度处(即在特定示例中处于(0.8,0.8)处)。这样的经调节的色调映射302的示例在图3中图示。
经调节的色调映射302可以特别地具有对应于输入色调映射301的形状但是被压缩成对应于用于特定色度的可能亮度的范围中。结果,亮度变换将不仅反映输入色调映射的一部分的特性而且将反映整个曲线的特性。方法因此不仅确保没有限幅通过亮度变换而被引入(并且因而色度不变)而且允许与例如用于变换的分级员偏好更相符的变换。
与该方法有关的问题在于哪些映射函数是装置201和方法的各个实施例所期望的?我们可以使用例如任何可逆(即L_LDR和L_HDR的一对一映射)函数。因为然后我们可以从HDR到LDR并且返回地映射(然而我们的发明的一些实施例也可以使用非可逆函数,例如在其中我们仅想要从LDR变换到HDR的应用中,如果出于一些原因一些不同的LDR颜色被映射到同样的HDR颜色,它可以是可接受的,尽管通常从视觉质量准则来看其是较不优选的)。例如,将L_LDR=0映射到L_HDR=1,1到3,2到2,4到5,6到12,7到8等(当在[0,255]公式中陈述时)的离散函数将是可逆的。但是更优选地,我们将使用单调函数(实际上单调递增函数),使得LDR和HDR图像中的颜色之间的亮度顺序不改变(太多),并且一些变型可能不想要太多地改变两个图片中的连续颜色的差异或分数二者。但是映射函数不需要是第一顺序连续的(即可以存在非连续性映射,例如128到200,129到202,以及130到1000,以及131到1002)。一些实施例然而可以使用连续函数,其例如包括幂函数的段(例如多线性、多弯曲样条)或者类似的形状,并且它们可以通过分级员拖拽控制点来生成。或者分级员可以绘出一些控制点并且函数在它们之间内插。通常函数将实现用于图像中的重要颜色区的一些局部行为,加亮和/或对比修改它们。因此,函数的局部斜率可以非常大地变化,只要它们不变为零即可,零将使得函数不可逆。分级员也可以使用例如在越来越陡的伽玛函数(gam=1.2,1.5,2,2.5,3……)之间切换的按钮,或者设计像S曲线等的局部压缩函数。现在该算法令人满意地工作(特别是如果人们还限制使用的映射函数的选择的话),这是因为某些数目的比色属性的缘故。
利用主要聚焦在亮度规范上(即首先固定它,并且然后修改(x,y)*以解决色度失真)的现有技术算法,人们将例如会把输入颜色(x,y,0.6)变换成(x,y,0.28)(颜色308)。然而,利用我们在本文呈现的算法,我们将获取作为(x,y,0.37)的输出颜色Col_HDR,即色度将固有地相同。亮度可以在某种程度上“关闭”,但是至少颜色看起来相同。根据准则和测试是什么,例如有时颜色的辉度比色相更重要(例如为了创建图像中的冲击),但是在比如我们的LDR_Container编码的一些应用中,具有不正确的色相或者饱和度可能是更严重的问题(这也取决于人们正在再现的是什么物体(例如面部),处于何种情况之下等等)。观看者真的会注意颜色的绝对亮度:如果他看不到原始场景,并且只要它不变得不自然地亮即可。例如,只要图像中的灯过度亮,我们就已经具有HDR效果。并且如果我们用相同颜色编码驱动它,则它不管怎样将在较亮(10000尼特)或较暗(2000尼特)HDR显示器上看起来不同。特别重要的是,许多颜色在LDR显示器上将看起来是不同亮度样式的,因为我们不管怎样不能使它们足够亮,因此每一个色调映射算法已经不得不做出牺牲。因此,什么将会做出准则“所有颜色不管它们的色度如何都应当具有等同的亮度行为”,即,使它们的亮度映射由针对消色差轴线所确定的映射曲线来确定,是仅有的良好准则。其次,即便一个准则将是正确的一个,颜色差异310(或者实际上通常为亮度差异)的场(如果已经不是小的话)通常至少在颜色平面之上是平滑变化的。现在,这样的平滑变化鉴于颜色空间通过实际上存在于图像中的特定物体被稀疏地采样而已经难以认出,但是在快速视频中,除非人们将具有烦扰的过程级波动,否则观看者将专注于故事而非小的颜色改变上。这样的偏离也是允许的,因为人类颜色视觉仅用三个锥体估计场景物体的真实谱性质,这另外不是在数学上完美设计的,但是然而通过进化改变动物。因此,在非完美采样重叠的区中,大脑在同时精确地评判色相、以及辉度和彩色度/饱和度方面具有一些困难。因此尽管人类视觉系统有时可以令人惊讶地进行分辨,但是在其它情形中实际上其可以至少足够合理地评判颜色表示。此外,该策略可以被大脑解释为通过对应于它们的色度的谱特性来调制单个色调映射/成形的照明的局部颜色物体,这是由于显示器色域上边界大致遵循各种颜色的物体如何表现亮度样式(即通过例如吸收过滤掉一些光)。
因此不仅该映射产生良好的比色结果,而且其实现起来还简单,这在分级员(其可以进行快速实时显示的分级改变)侧处的装置中,以及比如例如显示器、比如移动显示器、或者比如机顶盒的图像处置装置的消费产品(其在价格侵蚀方面可能期望简单的图像处理IC块)二者中是有用的。
由于相对性的缘故,缩放函数等价于缩放轴线。当然在我们的方法的最通用形式中,函数无需一定仅被缩放,因为它可以例如也在对应于较暗颜色的其下部处被进一步地变形,只要高端执行色域内的颜色变换(即典型地用于单调函数),上部值(在函数的自变量和结果二者的原理中,即L_LDR和L_HDR,但是在例如数学映射过程包含变换步骤规定而不是简单函数的情形中至少最大可能得到的L_HDR;例如如果不是等于Lmax(x,y)而是例如等于a*Lmax(x,y)+b的输入被映射到Lmax(x,y),则人们也实现非色域外的行为,尽管简单的实施例将仅使用a=1和b=0)与用于色度最大亮度Lmax(x,y)的局部重合。
图4示出在我们使用如所指定(即未变形、未缩放)的色调映射,但是通过将L-LDR的输入值变换到它而实现相同行为的情形中人们可以如何实现我们的方法的颜色映射的示例。在比色法方面熟练的任何读者将理解的是,他可以如何改变或取代例如在各种可能的颜色处置装置中使用另一比色输入颜色规范的单元(例如当方法被应用在内置照相机中以用于获取输出JPEG图像时的照相机传感器部分)。
图像数据的源401将像素颜色信息供应到图像颜色处理装置201的该实施例中。该源可以是例如存储器、网络连接、比如例如计算机图形生成单元或照相机传感器的图像生成单元等。一个(集成的)或者若干(第一、第二、第三)颜色空间转换器(402,403,404)将像素颜色(每个像素,或者甚至基于图像区域化信息等)从典型地开始颜色空间(比如如果颜色源是例如编码的电视信号,比方说经由接收装置来自卫星,则为YCrCb)转换到例如非线性R’G’B’(‘指代0.45的伽玛),并且然后转换到线性RGB。在该线性RGB中,我们想要进行处理,因为它具有有用属性(尽管我们的方法也可以可替换地设计成例如在非线性空间中工作)。图像分析单元405分析图像,并且在该示例中是当前像素的颜色。从其三个颜色分量R,G和B,它确定最高的一个,其被称为maxRGB。因此,如果颜色例如是在归一化坐标0.9,0.3,0.85中,则maxRGB=0.9。该maxRGB值是重要的,因为在颜色变换之后当驱动值中的一个应当高于1.0时限幅发生。颜色误差也可以在一个值降到0.0以下时发生,并且我们可以在谨记该考虑(例如对准映射曲线的底部)的情况下加上必要的变更以设计我们的算法,或者鉴于前屏幕上周围照明而甚至考虑值应当高于比方说0.1,其对应于限制色域,其中下限表面不处于地平面(L=0)。然而,出于简单性,我们将假定0附近的行为是简单的,并且仅以限制行为处于色域的高亮度端来解释我们的算法。
在图4的示例中,确定表示输入的颜色通道的分量的最大者(maxRGB),即在特定示例中确定R、G或B颜色通道中的最大分量。该值是指示用于输入颜色/像素的色度的最大亮度的量并且其特别地反映当前亮度与在没有限幅的情况下色域中可能的最大亮度之间的比。例如,对于由值RGB= (0.9, 0.3, 0.85)给定的输入颜色,值maxRGB=0.9指示输入颜色的亮度为最大可能亮度的90%。实际上,这反映了在没有任何限幅的情况下对于该色度而言可能的最大相对亮度增加以1.0/9=1.11进行缩放。因而,对于具有该色度的输入颜色而言最大亮度为(1, 0.33, 0.94)。maxRGB值因而提供被用来适配输入色调映射以生成特定于该色度的经调节的色调映射的量。
在图4的特定示例中,对经调节的色调映射的输入亮度是来自第三颜色空间转换器404的亮度L,并且用于输出颜色的所得经调节的亮度是值L*,其取决于输入色调映射和maxRGB值二者。因而,经调节的输出亮度L*取决于输入色调映射、maxRGB和输入亮度。
在图4的特定示例中,经调节的色调映射基于输入色调映射但是通过缩放输入色调映射的输入和输出二者上的值来适配。实际上,首先输入亮度L在第一缩放器406中以第一缩放因子进行缩放以生成经缩放的亮度。输入色调映射然后在色调映射器407中被应用到该经缩放的亮度并且所得输出然后在第二缩放器408中以第二缩放因子进行缩放以生成经调节的输出亮度L*。第一和第二缩放因子是彼此的倒数,并且因而第二缩放器408补偿第一缩放器406的效果。
此外,第一和第二缩放因子从用于色度的最大亮度的指示来确定。在特定示例中,第一缩放因子等于用于色度的最大亮度的倒数并且第二缩放因子等于用于色度的最大亮度。因而,方法有效地提供输入亮度相对于用于色度的最大可能亮度的归一化,并且然后将输入色调映射应用到归一化的亮度。第二缩放因子然后以用于色度的最大亮度与结果相乘以进行逆归一化。总体效果在于输入色调映射被缩放到用于色度的特定最大亮度。例如,方法对应于图3中曲线301和302所图示的缩放。在特定示例中,用于色度的最大亮度被计算为输入亮度除以maxRGB值。
因而,方法基于以下考虑:我们想要将我们的正态色调映射曲线301应用到一些修改的亮度L*而不是像素的原始亮度L,如果经缩放的色调映射302是通过将原始的一个301除以因子2获取的,则所述修改的亮度L*与因子2相乘。
因此,如果当前处理的像素的亮度将处于色域边界上(即L将等于Lmax(x,y),比方说0.8),则我们将向它应用经缩放的处理,即就像它为1.0那样对待输入/自变量,并且就像它为1.0(但是现在被缩放到0.8)那样对待函数结果/输出。如果L恰好是用于经缩放的曲线的最大值的一半,即0.4,则我们将像经缩放的输入值Ls是用于原始曲线301的最大值的一半,即0.5那样对待它,并且查找用于该值的函数输出。
在图4的示例中,图像分析单元405被布置成将缩放因子计算为当前亮度L除以maxRGB。这样的优点在于,尽管我们的发明的一些实施例可以在存储器中保持所有Lmax(x,y)值的表格,但是我们不需要知道关于上部色域平面形状的任何事情,比如例如对它进行模型化的样条的参数。这是因为我们可以确定L可以从maxRGB值增加多少以到其最大值Lmax(x,y),这是比如RGB和xyL(其中仅需要L为线性的)的线性空间中容易的缩放操作。例如,我们知道L=0.4,并且这可以是从仍可以提升很多直到色域边界上的颜色的颜色的局部跨度[0,Lmax(x,y)]中的任何颜色。但是现在比方说maxRGB为0.5,并且实际上对于该颜色(色相、饱和度或x,y)R是三个原色中的最高者,即我们需要该原色的大部分来实现所述颜色,即其在增加颜色的亮度L时将首先限幅。我们知道,我们仍可以将线性R以因子2提升,因此我们可以用因子二来提升L(因为其是具有相同权重的R,G,B的线性组合,并且提升因子可以作为乘数被置于加法外部)。因此单元405已经计算首先局部Lmax(x,y)等于2*0.4=0.8,并且其次,实际的像素亮度处于可能亮度的范围的一半(作为颜色/色调映射的输出结果)。因此,我们应当在色调映射器407中将函数应用到作为[0,1]的一半的输入。现在清楚地,作为0.4的原始L不是一半。因此,我们用第一缩放器406缩放L使得其的确从[0,0.8]范围上限定的L变为[0,1]范围上的经缩放的亮度Ls的正确值。我们可以例如通过除以所获取的值L/maxRGB来完成这一点。实际上,我们可以简单地将maxRGB作为输入应用到色调映射函数301,因为这将产出[0,1]范围上的正确输入位置,这是因为L/(L/maxRGB)= maxRGB。因此然后色调映射器407获取用于该0.5 L_LDR输入的L_HDR值。然后当然需要第二缩放器408来进行到范围[0,0.8]的实际缩放,因为否则的话我们将具有例如带有用于亮端的非常平缓斜率的色调映射函数301,其对于0.4以上的输入良好地保持在0.9以上,并且仍具有限幅。因此,第二缩放器408再次将经缩放的输出L*s缩放到局部亮度范围[0,0.08],或者实际上[0, Lmax(x,y)],从而产出没有限幅范围内的最终L*。例如,如果0.4变为m*0.4,并且其产出输出L*s= 1.0-d,那么最终结果将是(1.0-d)/m = (1.0-d)*Lmax(x,y) < Lmax(x,y)。
最终,颜色空间转换器409将像素颜色从(x,y,L*)限定转换到应用所期望的任何颜色限定,例如输出非线性RGB三元组R’G’B’*。
熟练的读者将理解,该原理可以以许多方式实现,并且具有一些偏好的实施例是进行尽可能少的计算的那些。如图5中所示,我们可以在线性RGB颜色编码上执行操作,从而通过例如避免颜色转换器409而减少计算的数目。装置201的该实施例在顶部执行得本质上相同:确定缩放因子Lmax(x,y),并且获取色调映射的L*值。在该实施例中,单元405进行完整数学计算以用于确定缩放因子已经在分离的maxRGB计算器505和除法器502中被拆分。而且,代替于进行到xyY的完整颜色变换,由于我们实际上不需要(x,y),因为信息在R,G,B中是隐式的,亮度确定单元501仅需要计算a*R+b*G+c*B,其中a,b和c为(基准)显示器所采用的颜色原色的预定恒定函数,例如EBU原色。如以上所述,maxRGB现在是到使用曲线301的色调映射器407的输入。在通过缩放器408的最终缩放之后,我们获取正确缩放的经变换的亮度L*。
相比于图4,现在新的是增益确定单元510,其计算增益因子。再次由于RGB空间的线性,并且我们不改变输入的颜色的色度(或者色相和饱和度),亮度改变仅以增益g提升,其也可以直接应用在像素的线性RGB分量上。即,增益等于最终颜色的亮度L*除以原始输入颜色的亮度L,并且乘法器511(或者并行的三个乘法器)将R,G和B分别与相同的g相乘以获取RGB*,线性输出颜色编码。
更详细地,图5的方法利用L/(L/maxRGB)= maxRGB这一事实并且因而直接将maxRGB值应用到色调映射器407的输入色调映射。作为响应,色调映射器407生成经调节的亮度。输出的经调节的亮度然后通过以适当的缩放因子在第二缩放器408中对该值进行缩放来生成。用于该缩放的缩放因子被生成为用于色度的最大亮度,并且特别地被生成为输入亮度L除以maxRGB值。因而,第二缩放器408的缩放因子取决于输入亮度和颜色通道分量的最大者,即maxRGB值。
将领会到,图4和5的方法是等价的并且本质上相当于相同处理但是具有不同实现方式。特别地,注意,对于两个示例而言,经调节的输出亮度L*取决于输入亮度L和反映用于色度的最大亮度的量(在该示例中为maxRGB),并且基于底层基准或输入色调映射而生成。因而,两个方法使用经调节的色调映射执行从输入亮度L到经调节的输出亮度L*的色调映射,所述经调节的色调映射响应于指示色域中的输入颜色的色度的最大可能亮度的量而从输入色调映射来生成。
而且,注意,图4和5的方法可以被视为使用来自输入颜色的两个不同颜色表示的输入数据。颜色的亮度对应于色度和亮度表示中的输入颜色的表示的亮度,诸如xyL表示(并且不仅仅是颜色通道分量值)。输入色调映射的适配基于用于颜色通道表示以及特别地RGB表示的颜色通道的最大分量值。典型地,输入颜色在仅一个表示中提供,并且装置因此包括用于按照要求在不同格式之间进行转换的转换器。
在图5的示例中,输入颜色在颜色通道表示中以及特别地在RGB表示中提供。类似地,输出颜色以相同的颜色通道格式(即RGB表示)来提供。并不是从xyL*格式向RGB格式转换色调映射结果的表示,图5的方法包括输出电路系统,其通过缩放输入颜色的RGB表示来直接生成输出颜色的RGB表示。
特别地,输出电路包括增益确定单元510,其继续生成经调节的输出亮度L*与输入亮度L之间的比。该比指示输入亮度应当依照经调节的色调映射而被增加的量。应当注意,由于亮度是关于不同色域中的最大亮度的相对亮度,因此经确定的缩放因子固有地反映输入与输出之间的动态范围中的改变。
由于RGB表示的线性性质,因此输出颜色的RGB表示相应地通过乘法器511以确定缩放因子g单独地乘以每一个RGB颜色通道分量来生成。结果,乘法器511的输出是具有与输入颜色精确相同的色度和如通过经调节的色调映射而确定的亮度的输出颜色。
图6示出包括使用本发明的实施例的两个子系统的仅一个示例联网总系统。第一子系统是内容创建者站点处的分级系统。颜色分级装置601从图像存储器602取得原生图像或视频,所述原生视频可以例如由比如ARRI或RED的数字照相机来捕获。分级员进行原色颜色校正以获取主HDR图像(/视频),并且我们假定他还根据例如LDR_container原理通过将主HDR图像色调映射到8或10位MPEG压缩的最终图像Im来制作LDR图像。该色调映射通过我们的图像颜色处理装置201的第一实施例2011来执行,所述装置可以体现为例如颜色分级装置的软件模块,其可以布置成也执行其它操作。为此,颜色分级员603确定至少一个色调映射函数(301,TM)(或算法)。当然,我们的方法也可以与完全自动的转换策略一起工作而没有分级员,其中例如色调映射函数通过分析图像的统计分布、比如局部纹理的对比度的微属性等来确定。(LDR)图像Im以及可选地还有色调映射TM本身(因为它包含有用信息,和必要信息以在如果LDR图像Im是该HDR图像的LDR_container编码的版本时精确地重新获取HDR主等级)存储在第二图像存储器610中。在一段时间之后,该图像数据(Im和可选地TM)可以例如经由卫星621和天线620及623传送到图像/视频广播器624。该广播器然后可以在其期望的时间处将图像或视频传输到最终用户,例如通过线缆,或者可替换地按需通过互联网传输视频等。在观看者侧处的子系统中,图像处理装置650获得图像Im和可能地色调映射TM。我们假定它确定其自身的新色调映射TM_2,例如以便现在将LDR图像Im转换在HDR图像中以适合用于驱动例如电视或电影投影系统等的HDR显示器651。图像处理装置650包括第二实施例2012,例如图像颜色处理装置201的上述实施例中的任一个。我们示出的装置包括作为子部分的编码器或传输器,其包括数据格式化器613的通用变型。熟练的读者理解的是,这可以具有许多形式,例如进一步编码或组织其像素的图像或颜色编码的方式,例如将图像/视频压缩应用到比如例如HEVC的数据,进行格式化或进一步的编码,比如例如取决于数据是保存在例如数据载体上还是通过一些数据通信信道被传输的通道编码,等等。我们还示出作为接收单元的一部分的数据提取器652,其也可以是最终引起期望的图像信息的任何单元或单元的组合,即它可以物理地包括解调单元、图像/视频解压缩单元、重新格式化单元、图像处理单元等。
为了示出关于我们的方法的概念的一些其它可能变型,我们用图7示出它可以如何与用于不同(x,y)元组的多个色调映射一起工作。在这一个可能的示例中,分级员现在已经设计了他的色调映射曲线TM_A以用于靠近非彩色(L轴周围)的颜色区,正如以上的单个色调映射曲线示例中那样。然而,对于泛蓝的颜色,他考虑色调映射TM_B以产出更好的颜色。他现在可以指定该第二曲线例如用于色相h [h1,h2]之间的颜色区,并且对应于饱和度限制s_L。从该人类指定开始,图像颜色处理装置201现在可以自动地确定针对每一个(x,y)的任何期望的色调映射。例如,它可以使用TM_A以用于色相扇区[h1,h2]外部的所有颜色(x,y),使用内插的色调映射TM_I以用于s_L以下的饱和度的扇区中的连续区,以及在s_L以上的扇区中的外插(例如在任何地方使用TM_B)(或者还使用界限附近——内部或外部——的小内插,其中段具有颜色圆的周围部分,如果更连续的行为是期望的话)。熟练的读者可以理解的是,可以存在许多方式来得到内插函数,例如TM_I(s) = a(s)*TM_A(s)+b(s)*TM_B(s),其中两个函数的输出结果之间的权重因子取决于饱和度,因此以一些函数方式在色相扇区的较低饱和度部分中变化。在任何情形中,一旦具有局部色调映射TM_I或者不管怎样,通过将色域中局部可用的亮度范围适当地进行缩放使得没有限幅可以发生,就可以使用如以上所述的精确地相同方法。
本文本中所公开的算法部件可以(整体地或部分地)在实践中作为硬件(例如专用IC的部分)或者作为运行在特殊数字信号处理器或通用处理器等上的软件来实现。在至少一些用户输入可以存在/已经存在(例如在工厂中、或消费者输入、或其它人类输入)的意义下,它们可以是半自动的。
技术人员应当从我们的呈现可理解到哪些部件可以是可选的改进并且可以与其它部件组合地实现,以及方法的(可选)步骤如何对应于装置的相应构件并且反之亦然。一些部件在本发明中以某种关系公开(例如在某些配置中的单个图中)这一事实并不意味着其它配置不可能作为本文中公开以申请专利的相同发明思想之下的实施例。而且,出于务实的原因而仅描述示例的有限谱这一事实并不意味着其它变型不能落在权利要求的范围之下。事实上,本发明的部件可以以不同变型沿任何使用链来体现,例如比如编码器的创建侧的所有变型可以与例如解码器的分解系统的消费侧处的对应装置类似或对应,并且反之亦然。实施例的若干部件可以作为特定信号数据编码在信号中以用于在编码器和解码器之间的任何传输技术中的传输,或者诸如协调之类的将来用途等。词语“装置”在本申请中以其最广泛的意义进行使用,也就是说允许实现特定目的的构件的群组,并且因而可以是例如IC(的一小部分)或者专用器具(诸如具有显示器的器具)或者联网系统的一部分等。“布置”或“系统”也意图以最广泛的意义进行使用,因此它可以包括(除其它之外)单个物理可购买的装置、装置的一部分、协作的装置(的部分)的集合等。
计算机程序产品外延应当理解为涵盖命令的集合的任何物理实现,其在一系列加载步骤(其可以包括中间转换步骤,诸如翻译到中间语言,以及最终处理器语言)以将命令录入到处理器中之后,使得通用或专用处理器能够施行发明的特性功能中的任一个。特别地,计算机程序产品可以被实现为诸如例如盘或带之类的载体上的数据、存在于存储器中的数据、经由网络连接(有线或无线)行进的数据,或者纸张上的程序代码。除程序代码之外,程序所要求的特性数据也可以体现为计算机程序产品。这样的数据可以以任何方式(部分地)供应。
本发明或者根据本实施例的任何理论可使用的任何数据(比如视频数据)也可以体现为数据载体上的信号,所述载体可以是可移除存储器,比如光盘、闪存、可移除硬盘、经由无线构件可写的便携式设备等。
任何所呈现的方法的操作所要求的一些步骤可以已经存在于本发明的处理器或任何装置实施例的功能性中而不是在本文所描述的计算机程序产品或任何单元、装置或方法(具有本发明的实施例的细节)中描述,诸如数据输入和输出步骤、公知的典型地并入的处理步骤,诸如标准显示驱动等。我们还期望保护所得产品和类似结果,比如例如在方法的任何步骤处或装置的任何子部分中牵涉的特定新颖信号,以及这样的信号的任何新用途,或者任何相关方法。
应当指出,上述实施例说明而非限制本发明。在技术人员可以容易地实现所呈现的示例到权利要求的其它区的映射的情况下,我们为了简洁起见没有深入提及所有这些选项。除权利要求中所组合的本发明的元件的组合之外,元件的其它组合是可能的。元件的任何组合可以在单个专用元件中实现。
权利要求中的括号之间的任何参考符号并不意图限制权利要求,也不是附图中的任何特定符号。词语“包括”不排除权利要求中未列出的元件或方面的存在。元件之前的词语“一”或“一个”不排除多个这样的元件的存在。
Claims (19)
1.一种图像颜色处理装置(201),其被布置成将对应于第一亮度动态范围的颜色表示中所指定的像素的输入颜色(L,x,y)变换成对应于第二亮度动态范围的颜色表示中所指定的像素的输出颜色(L*,x,y),所述第一和第二动态范围在程度上以至少1.5的乘法因子而不同,所述装置包括
色调映射变形单元(203),其被布置成从输入颜色的输入亮度(L)并且基于输入色调映射(301)和与输入亮度(L)线性相关的量来确定用于输出颜色的经调节的输出亮度(L*,309),所述量指示对于输入颜色的色度坐标(x,y)而言针对那些色度坐标(x,y)的对应于第一亮度动态范围的色域和对应于第二亮度动态范围的色域中的至少一个中最大可实现的最大亮度;
其中色调映射变形单元被布置成通过将经调节的色调映射应用到输入亮度而生成经调节的输出亮度;并且
色调映射变形单元(203)被布置成通过适配取决于所述量的输入色调映射来确定经调节的色调映射,使得通过将经调节的色调映射应用到在其有效值[0,1]的程度中的所有可能输入亮度的任何输入亮度(L)而获取的任何经调节的输出亮度(L*,309)不高于对于输入颜色的色度坐标(x,y)而言针对那些色度坐标(x,y)的对应于第二亮度动态范围的色域中最大可实现的最大亮度Lmax(x,y)。
2.如权利要求1中要求保护的图像颜色处理装置(201),其中色调映射变形单元(203)还被布置成相比于其轴线而将单调变换应用到输入色调映射的函数形状,其被限定为使得如果通过将输入色调映射(301)应用到两个不同输入亮度(L,L_LDR)而获取的输出亮度(L_HDR)具有与标记(s)的非零差异(d),那么用于那些输入亮度的经调节的输出亮度(L*)也具有与相同标记(s)的非零差异。
3.如权利要求2中要求保护的图像颜色处理装置(201),其中色调映射变形单元(203)还被布置成相比于其轴线而将平滑变换应用到输入色调映射的函数形状,其被确定为使通过将经调节的色调映射(301)应用到输入颜色亮度(L)而获取的经调节的输出亮度(L*)与输出亮度(308)之间的相邻色度坐标(x,y)的连续亮度差异(310)平滑变化。
4.如上述权利要求之一中要求保护的图像颜色处理装置(201),其中色调映射变形单元(203)还被布置成通过将经调节的亮度(Ls)作为输入应用到输入色调映射(301)而执行经调节的输出亮度(L*,309)的确定,所述经调节的亮度(Ls)是通过将函数应用到输入颜色亮度(L)而得到的,所述函数基于最大亮度Lmax(x,y)来限定,使得等于该最大亮度Lmax(x,y)的输入亮度(L)被映射到输入亮度(L)的最大可能值以用于输入色调映射(301)。
5.如权利要求4中要求保护的图像颜色处理装置(201),其中适用于输入颜色亮度(L)的函数是线性缩放。
6.如上述权利要求之一中要求保护的图像颜色处理装置(201),其中色调映射变形单元被布置成通过以从所述量确定的第一缩放因子对输入亮度进行缩放来生成经缩放的亮度;通过将输入色调映射应用到经缩放的亮度来确定经缩放的调节的亮度;以及通过以对应于第一缩放因子的倒数的第二缩放因子对经缩放的调节的亮度进行缩放来生成经调节的输出亮度。
7.如上述权利要求之一中要求保护的图像颜色处理装置(201),其中色调映射变形单元(203)还被布置成将限定输入颜色(L,x,y)的颜色通道分量的最大者(maxRGB)用作与亮度(L)线性相关的量。
8.如权利要求7中要求保护的图像颜色处理装置(201),其中色调映射变形单元被布置成通过将输入色调映射应用到颜色通道分量的最大者(maxRGB)来生成经调节的亮度;以及通过以取决于输入亮度和颜色通道分量的最大者(maxRGB)的缩放因子对经调节的亮度进行缩放来生成经调节的输出亮度。
9.如权利要求7或8中要求保护的图像颜色处理装置(201),其中输入颜色在颜色通道表示中提供,并且所述装置还包括用于通过对输入颜色的颜色通道表示进行转换来生成作为输入颜色的色度和亮度表示的亮度的输入亮度的颜色表示转换器。
10.如权利要求7、8或9中要求保护的图像颜色处理装置(201),还包括用于通过以取决于经调节的输出亮度和输入亮度的缩放因子对输入颜色的颜色通道分量进行缩放来生成颜色通道表示输出颜色的输出器(510,511)。
11.如上述权利要求之一中要求保护的图像颜色处理装置(201),还包括色调映射确定单元(202),其被布置成基于至少一个预定的色调映射(TM)来确定输入色调映射(301,TM*)。
12.一种包括如上述权利要求之一中要求保护的图像颜色处理装置(201)和数据格式化器(613)的图像编码器,所述数据格式化器用于至少输出包括色度坐标(x,y)的像素输出颜色和经调节的输出亮度(L*)的输出图像(Im)。
13.一种包括如权利要求1至11之一中要求保护的图像颜色处理装置(201)并且包括数据提取器(652)的图像解码器,所述数据提取器被布置成获取图像(Im)中的像素的颜色数据。
14.如权利要求13中要求保护的图像解码器,其中数据提取器(652)还被布置成获取色调映射(TM)。
15.一种图像颜色处理的方法,其用来将对应于第一亮度动态范围的颜色表示中所指定的像素的输入颜色(L,x,y)变换成对应于第二亮度动态范围的颜色表示中所指定的像素的输出颜色(L*,x,y),所述第一和第二动态范围在程度上以至少乘法因子1.5而不同,所述方法包括:
从输入颜色的输入亮度(L)并且基于输入色调映射(301)和与输入亮度(L)线性相关的量来确定用于输出颜色的经调节的输出亮度(L*,309),所述量指示对于输入颜色的色度坐标(x,y)而言针对那些色度坐标(x,y)的对应于第一亮度动态范围的色域和对应于第二亮度动态范围的色域中的至少一个中最大可实现的最大亮度;其中经调节的输出亮度通过将经调节的色调映射应用到输入亮度来确定;以及通过适配取决于所述量的输入色调映射来确定经调节的色调映射,使得通过将经调节的色调映射应用到其有效值[0,1]的程度中的所有可能输入亮度的任何输入亮度(L)而获取的任何经调节的输出亮度(L*,309)不高于对于输入颜色的色度坐标(x,y)而言针对那些色度坐标(x,y)的对应于第二亮度动态范围的色域中最大可实现的最大亮度Lmax(x,y)。
16.如权利要求15中要求保护的图像颜色处理的方法,其中经调节的输出亮度(L*)的确定的另外的特征在于,其牵涉确定用作对输入色调映射(301)的输入的经调节的亮度(Ls),所述经调节的亮度(Ls)通过将函数应用到输入颜色亮度(L)来得到,所述函数基于最大亮度Lmax(x,y)来限定,使得等于该最大亮度Lmax(x,y)的输入亮度(L)被映射到输入亮度(L)的最大可能值以用于输入色调映射(301)。
17.如权利要求16中要求保护的图像颜色处理的方法,其中与输入颜色的亮度(L)线性相关的量是限定输入颜色(L,x,y)的颜色通道分量的最大者(maxRGB)。
18.如上述权利要求15-17中任一项中要求保护的图像颜色处理的方法,包括基于至少一个另外的预定色调映射来确定输入色调映射(301)。
19.一种包括使得处理器能够实现上述方法权利要求中任一项的代码的计算机程序产品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12187572 | 2012-10-08 | ||
EP12187572.8 | 2012-10-08 | ||
PCT/EP2013/069203 WO2014056679A1 (en) | 2012-10-08 | 2013-09-17 | Luminance changing image processing with color constraints |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104364820A true CN104364820A (zh) | 2015-02-18 |
CN104364820B CN104364820B (zh) | 2018-04-10 |
Family
ID=47008391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380033235.4A Active CN104364820B (zh) | 2012-10-08 | 2013-09-17 | 具有颜色约束的亮度改变图像处理 |
Country Status (12)
Country | Link |
---|---|
US (1) | US9230509B2 (zh) |
EP (1) | EP2836983B1 (zh) |
JP (1) | JP5911643B2 (zh) |
KR (1) | KR102105645B1 (zh) |
CN (1) | CN104364820B (zh) |
BR (1) | BR112014027815B1 (zh) |
ES (1) | ES2641371T3 (zh) |
MX (1) | MX338258B (zh) |
PL (1) | PL2836983T3 (zh) |
RU (1) | RU2642335C2 (zh) |
WO (1) | WO2014056679A1 (zh) |
ZA (1) | ZA201407903B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154010A (zh) * | 2016-03-04 | 2017-09-12 | 戴尔菲技术公司 | 用于处理来自非线性相机的高动态范围(hdr)数据的方法 |
WO2018006390A1 (en) * | 2016-07-08 | 2018-01-11 | SZ DJI Technology Co., Ltd. | System and method for image processing |
CN107836019A (zh) * | 2015-04-15 | 2018-03-23 | 飞利浦照明控股有限公司 | 用于定制颜色过渡效果的方法和装置 |
CN107949864A (zh) * | 2015-08-25 | 2018-04-20 | 汤姆逊许可公司 | 基于亮度区域的逆色调映射 |
CN108431886A (zh) * | 2015-12-21 | 2018-08-21 | 皇家飞利浦有限公司 | 针对特定显示器优化高动态范围图像 |
CN108781290A (zh) * | 2016-03-07 | 2018-11-09 | 皇家飞利浦有限公司 | 对hdr视频进行编码和解码 |
CN109074775A (zh) * | 2016-01-29 | 2018-12-21 | 巴科股份有限公司 | 数字图像处理链和处理块以及包括它们的显示器 |
CN109155853A (zh) * | 2016-05-19 | 2019-01-04 | 杜比实验室特许公司 | 用于高动态范围图像的色度整形 |
CN109479153A (zh) * | 2016-07-20 | 2019-03-15 | 杜比实验室特许公司 | 支持交替色调渲染的动态元数据的变换 |
CN109691119A (zh) * | 2017-06-21 | 2019-04-26 | 松下知识产权经营株式会社 | 影像显示系统及影像显示方法 |
CN109690610A (zh) * | 2016-09-19 | 2019-04-26 | 高通股份有限公司 | 用于多相机系统的颜色归一化 |
CN110310342A (zh) * | 2019-07-04 | 2019-10-08 | 浙江大学滨海产业技术研究院 | 一种适用于灰度颜色空间图像相关色域映射方法 |
CN110521198A (zh) * | 2017-02-24 | 2019-11-29 | 交互数字Vc控股公司 | 用于重构hdr图像的方法和设备 |
WO2020007166A1 (zh) * | 2018-07-05 | 2020-01-09 | 华为技术有限公司 | 一种视频信号处理方法及装置 |
CN110785989A (zh) * | 2017-04-27 | 2020-02-11 | 交互数字Vc控股公司 | 用于色域映射的方法和设备 |
CN111080686A (zh) * | 2019-12-16 | 2020-04-28 | 中国科学技术大学 | 用于自然场景中图像高光去除的方法 |
CN111491148A (zh) * | 2015-05-12 | 2020-08-04 | 松下电器(美国)知识产权公司 | 显示方法 |
CN105392011B (zh) * | 2015-11-05 | 2020-12-01 | 厦门雅迅网络股份有限公司 | 一种平衡不同视频解码器色彩的方法 |
CN112150392A (zh) * | 2020-09-30 | 2020-12-29 | 普联技术有限公司 | 一种低照度图像的修复方法及装置 |
CN112492307A (zh) * | 2015-05-21 | 2021-03-12 | 瑞典爱立信有限公司 | 像素预处理和编码的方法、装置和计算机可读存储介质 |
CN114338947A (zh) * | 2017-03-31 | 2022-04-12 | 交互数字Vc控股公司 | 用于色域映射的方法和设备 |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2959672B1 (en) * | 2013-02-21 | 2019-12-04 | Koninklijke Philips N.V. | Improved hdr image encoding and decoding methods and devices |
JP6368365B2 (ja) | 2013-07-18 | 2018-08-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 |
JP6439418B2 (ja) * | 2014-03-05 | 2018-12-19 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに画像表示装置 |
PT3324629T (pt) * | 2014-05-28 | 2019-10-08 | Koninklijke Philips Nv | Métodos e aparelhos para codificação de imagens hdr e métodos e aparelhos para utilização de tais imagens codificadas |
US9462239B2 (en) * | 2014-07-15 | 2016-10-04 | Fuji Xerox Co., Ltd. | Systems and methods for time-multiplexing temporal pixel-location data and regular image projection for interactive projection |
RU2686642C2 (ru) * | 2014-08-08 | 2019-04-29 | Конинклейке Филипс Н.В. | Способы и устройства для кодирования hdr-изображений |
WO2016056974A1 (en) * | 2014-10-06 | 2016-04-14 | Telefonaktiebolaget L M Ericsson (Publ) | Evaluation measure for hdr video frames |
EP3205082B1 (en) | 2014-10-10 | 2018-04-04 | Koninklijke Philips N.V. | Saturation processing specification for dynamic range mappings |
US9349162B1 (en) | 2014-10-24 | 2016-05-24 | Matrox Electronic Systems Ltd. | System and method for image color correction |
RU2689411C2 (ru) | 2014-11-10 | 2019-05-28 | Конинклейке Филипс Н.В. | Способ для кодирования, процессор видео, способ для декодирования, декодер видео |
WO2016091406A1 (en) * | 2014-12-11 | 2016-06-16 | Koninklijke Philips N.V. | Optimizing high dynamic range images for particular displays |
US9544560B2 (en) * | 2015-01-09 | 2017-01-10 | Vixs Systems, Inc. | Dynamic range converter with generic architecture and methods for use therewith |
US9860504B2 (en) | 2015-01-09 | 2018-01-02 | Vixs Systems, Inc. | Color gamut mapper for dynamic range conversion and methods for use therewith |
US9589313B2 (en) * | 2015-01-09 | 2017-03-07 | Vixs Systems, Inc. | Dynamic range converter with pipelined architecture and methods for use therewith |
US9558538B2 (en) * | 2015-01-09 | 2017-01-31 | Vixs Systems, Inc. | Dynamic range converter with frame by frame adaptation and methods for use therewith |
US9652870B2 (en) * | 2015-01-09 | 2017-05-16 | Vixs Systems, Inc. | Tone mapper with filtering for dynamic range conversion and methods for use therewith |
EP3243322B1 (en) | 2015-01-09 | 2018-07-18 | Koninklijke Philips N.V. | Luminance changing image processing with color constancy |
US9560330B2 (en) * | 2015-01-09 | 2017-01-31 | Vixs Systems, Inc. | Dynamic range converter with reconfigurable architecture and methods for use therewith |
CN107258078B (zh) | 2015-01-30 | 2019-09-24 | 皇家飞利浦有限公司 | 简单但通用的动态范围编码 |
MX371076B (es) | 2015-01-30 | 2019-11-20 | Interdigital Vc Holdings Inc | Método y aparato de codificación y decodificación de una imagen en color. |
GB2534929A (en) * | 2015-02-06 | 2016-08-10 | British Broadcasting Corp | Method and apparatus for conversion of HDR signals |
JP6463179B2 (ja) * | 2015-03-17 | 2019-01-30 | キヤノン株式会社 | 信号処理装置、信号処理方法および撮像装置 |
US9736335B2 (en) * | 2015-04-15 | 2017-08-15 | Apple Inc. | Techniques for advanced chroma processing |
WO2016182307A1 (ko) * | 2015-05-11 | 2016-11-17 | 삼성전자 주식회사 | 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 |
US10136074B2 (en) | 2015-06-02 | 2018-11-20 | Samsung Electronics Co., Ltd. | Distribution-point-based adaptive tone mapping |
US10880557B2 (en) | 2015-06-05 | 2020-12-29 | Fastvdo Llc | High dynamic range image/video coding |
EP3113496A1 (en) | 2015-06-30 | 2017-01-04 | Thomson Licensing | Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions |
US10602109B2 (en) * | 2015-07-10 | 2020-03-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangements for HDR encoding |
CN108352076B (zh) * | 2015-08-24 | 2021-09-17 | 交互数字麦迪逊专利控股公司 | 编码和解码方法及对应设备 |
US10043251B2 (en) * | 2015-10-09 | 2018-08-07 | Stmicroelectronics Asia Pacific Pte Ltd | Enhanced tone mapper for high dynamic range images and video |
WO2017089146A1 (en) | 2015-11-24 | 2017-06-01 | Koninklijke Philips N.V. | Handling multiple hdr image sources |
MX364488B (es) | 2015-12-17 | 2019-04-29 | Koninklijke Philips Nv | Codificación de intervalo dinámico para imágenes y video. |
WO2017126904A1 (ko) * | 2016-01-22 | 2017-07-27 | 한국전자통신연구원 | 화질 열화 감소를 위한 영상 신호 변환 방법 및 장치 |
JP6652301B2 (ja) * | 2016-01-27 | 2020-02-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN108605125B (zh) * | 2016-01-28 | 2021-05-25 | 皇家飞利浦有限公司 | 对hdr视频进行编码和解码的方法及设备 |
EP3430795A1 (en) | 2016-03-14 | 2019-01-23 | Koninklijke Philips N.V. | Saturation processing specification for dynamic range mappings |
AU2017235369B2 (en) | 2016-03-18 | 2022-02-03 | Koninklijke Philips N.V. | Encoding and decoding HDR videos |
CN109219961B (zh) * | 2016-03-18 | 2023-07-04 | 皇家飞利浦有限公司 | 对hdr视频进行编码和解码的方法和装置 |
US10699391B2 (en) | 2016-04-29 | 2020-06-30 | Disney Enterprises, Inc. | Dynamic range expansion highlight information restoration |
EP3244616A1 (en) * | 2016-05-13 | 2017-11-15 | Thomson Licensing | A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions |
US10834400B1 (en) * | 2016-08-19 | 2020-11-10 | Fastvdo Llc | Enhancements of the AV1 video codec |
CN111667418B (zh) * | 2016-08-22 | 2024-06-28 | 华为技术有限公司 | 用于图像处理的方法和装置 |
US10275864B2 (en) | 2016-09-09 | 2019-04-30 | Kabushiki Kaisha Toshiba | Image processing device and image processing method |
GB2554669B (en) * | 2016-09-30 | 2022-04-06 | Apical Ltd | Image processing |
EP3319013A1 (en) * | 2016-11-03 | 2018-05-09 | Thomson Licensing | Method and device for estimating cast shadow regions and/or highlight regions in images |
CN109937444B (zh) * | 2016-11-15 | 2021-08-31 | 夏普株式会社 | 显示装置 |
JP6742892B2 (ja) * | 2016-11-30 | 2020-08-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6971031B2 (ja) * | 2017-01-13 | 2021-11-24 | シナプティクス・ジャパン合同会社 | 表示ドライバ、表示装置及び駆動方法 |
JP6929373B2 (ja) | 2017-03-03 | 2021-09-01 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 不均等な色空間における彩度調整 |
CA3068342A1 (en) | 2017-06-28 | 2019-01-03 | The University Of British Columbia | Methods and apparatuses for tone mapping and inverse tone mapping |
WO2019016135A1 (en) | 2017-07-19 | 2019-01-24 | Philips Lighting Holding B.V. | VOICE COMMAND |
US10769817B2 (en) * | 2017-08-07 | 2020-09-08 | Samsung Display Co., Ltd. | Measures for image testing |
JP7022544B2 (ja) * | 2017-09-13 | 2022-02-18 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP6789904B2 (ja) | 2017-09-20 | 2020-11-25 | 株式会社東芝 | ダイナミックレンジ圧縮装置及び画像処理装置 |
US10555004B1 (en) * | 2017-09-22 | 2020-02-04 | Pixelworks, Inc. | Low frequency compensated encoding |
EP3477946A1 (en) | 2017-10-31 | 2019-05-01 | Thomson Licensing | Method and device for obtaining a second image from a first image when the dynamic range of the luminance of said first image is greater than the dynamic range of the luminance of said second image |
KR101957850B1 (ko) * | 2017-12-01 | 2019-03-13 | 가톨릭대학교 산학협력단 | 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법 |
US10607047B2 (en) * | 2017-12-06 | 2020-03-31 | Cognex Corporation | Local tone mapping for symbol reading |
EP3496028A1 (en) | 2017-12-08 | 2019-06-12 | Koninklijke Philips N.V. | Improved high dynamic range video color remapping |
CN112204617B (zh) * | 2018-04-09 | 2023-09-05 | 杜比实验室特许公司 | 使用神经网络映射的hdr图像表示 |
US10957024B2 (en) | 2018-10-30 | 2021-03-23 | Microsoft Technology Licensing, Llc | Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display |
US11587526B2 (en) | 2018-12-20 | 2023-02-21 | Dolby Laboratories Licensing Corporation | Luminance adaption to minimize discomfort and improve visibility |
KR102168038B1 (ko) * | 2019-02-25 | 2020-10-21 | 한양대학교 에리카산학협력단 | 객체 인식 장치 및 객체 인식 방법 |
CN113994196A (zh) | 2019-06-26 | 2022-01-28 | 豪夫迈·罗氏有限公司 | 确定体液中分析物的浓度的方法和配置为用于确定体液中分析物的浓度的移动装置 |
US11405582B2 (en) * | 2019-06-28 | 2022-08-02 | Meta Platforms, Inc. | Preprocessing of high-dynamic-range video using a hybrid lookup table scheme |
CN112215760A (zh) * | 2019-07-11 | 2021-01-12 | 华为技术有限公司 | 一种图像处理的方法及装置 |
US11473971B2 (en) * | 2019-09-27 | 2022-10-18 | Apple Inc. | Ambient headroom adaptation |
CN116132648A (zh) * | 2020-04-30 | 2023-05-16 | 华为技术有限公司 | 动态范围映射的方法和装置 |
JP2022137916A (ja) * | 2021-03-09 | 2022-09-22 | キヤノン株式会社 | 画像処理装置、画像形成システム、画像処理方法及びプログラム |
EP4068196A1 (en) * | 2021-03-30 | 2022-10-05 | Beijing Xiaomi Mobile Software Co., Ltd. | High dynamic range tone mapping |
US11816819B2 (en) | 2021-06-03 | 2023-11-14 | Baylor University | System and method for displaying super saturated color |
US11501419B1 (en) | 2021-06-03 | 2022-11-15 | Baylor University | System and method for displaying super saturated color |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1293521A (zh) * | 1999-10-18 | 2001-05-02 | 国际商业机器公司 | 白点调节法、彩色图象处理法、白点调节装置和液晶显示器 |
CN1354950A (zh) * | 1999-04-13 | 2002-06-19 | 阿森泰克技术有限公司 | 真实彩色光线的虚拟放大 |
CN1655024A (zh) * | 2004-02-09 | 2005-08-17 | 株式会社日立显示器 | 液晶显示装置 |
CN1825974A (zh) * | 2005-02-22 | 2006-08-30 | 三星电子株式会社 | 选择性地调整输入图像颜色的颜色转换设备和方法 |
CN1934851A (zh) * | 2004-03-19 | 2007-03-21 | 彩色电影公司 | 颜色管理系统和方法 |
EP1827024A1 (en) * | 2006-02-24 | 2007-08-29 | Sharp Kabushiki Kaisha | High dynamic range video coding |
CN101068368A (zh) * | 2007-05-22 | 2007-11-07 | 东南大学 | 用于多基色型显示设备的颜色转换装置及方法 |
CN101146170A (zh) * | 2006-09-11 | 2008-03-19 | 富士施乐株式会社 | 色彩处理装置、色彩处理方法及计算机可读介质 |
WO2008136629A1 (en) * | 2007-05-03 | 2008-11-13 | Mtekvision Co., Ltd. | Image brightness controlling apparatus and method thereof |
CN101742306A (zh) * | 2006-01-23 | 2010-06-16 | 马普科技促进协会 | 高动态范围编解码器 |
CN101901475A (zh) * | 2010-06-12 | 2010-12-01 | 北京理工大学 | 基于视网膜自适应模型的高动态范围图像色调映射方法 |
WO2011042229A1 (en) * | 2009-10-08 | 2011-04-14 | International Business Machines Corporation | Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image |
CN102388612A (zh) * | 2009-03-13 | 2012-03-21 | 杜比实验室特许公司 | 高动态范围、可视动态范围和宽色域视频的分层压缩 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5450216A (en) * | 1994-08-12 | 1995-09-12 | International Business Machines Corporation | Color image gamut-mapping system with chroma enhancement at human-insensitive spatial frequencies |
NO304715B1 (no) * | 1997-05-06 | 1999-02-01 | Dimensions As | FremgangsmÕte ved bildebehandling |
US6677959B1 (en) | 1999-04-13 | 2004-01-13 | Athentech Technologies Inc. | Virtual true color light amplification |
EP1326433B1 (en) * | 2001-12-29 | 2012-04-11 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling brightness of image |
KR100871686B1 (ko) * | 2002-08-23 | 2008-12-05 | 삼성전자주식회사 | 색상보존을 위한 대비 및 명도 개선방법 및 장치 |
JP4058420B2 (ja) * | 2004-02-19 | 2008-03-12 | キヤノン株式会社 | 映像信号補正方法及び映像信号補正装置 |
US8050511B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
JP2007259242A (ja) * | 2006-03-24 | 2007-10-04 | Seiko Epson Corp | 映像信号処理 |
KR101642034B1 (ko) | 2009-12-08 | 2016-07-25 | 한양대학교 산학협력단 | 입력 영상의 동적 범위를 변환하는 방법 및 장치 |
TWI538474B (zh) | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
-
2013
- 2013-09-17 EP EP13765697.1A patent/EP2836983B1/en active Active
- 2013-09-17 ES ES13765697.1T patent/ES2641371T3/es active Active
- 2013-09-17 WO PCT/EP2013/069203 patent/WO2014056679A1/en active Application Filing
- 2013-09-17 BR BR112014027815-6A patent/BR112014027815B1/pt active IP Right Grant
- 2013-09-17 CN CN201380033235.4A patent/CN104364820B/zh active Active
- 2013-09-17 JP JP2015522123A patent/JP5911643B2/ja active Active
- 2013-09-17 RU RU2014143972A patent/RU2642335C2/ru active
- 2013-09-17 US US14/402,135 patent/US9230509B2/en active Active
- 2013-09-17 PL PL13765697T patent/PL2836983T3/pl unknown
- 2013-09-17 MX MX2014013221A patent/MX338258B/es active IP Right Grant
- 2013-09-17 KR KR1020147032679A patent/KR102105645B1/ko active IP Right Grant
-
2014
- 2014-10-29 ZA ZA2014/07903A patent/ZA201407903B/en unknown
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1354950A (zh) * | 1999-04-13 | 2002-06-19 | 阿森泰克技术有限公司 | 真实彩色光线的虚拟放大 |
CN1293521A (zh) * | 1999-10-18 | 2001-05-02 | 国际商业机器公司 | 白点调节法、彩色图象处理法、白点调节装置和液晶显示器 |
CN1655024A (zh) * | 2004-02-09 | 2005-08-17 | 株式会社日立显示器 | 液晶显示装置 |
CN1934851A (zh) * | 2004-03-19 | 2007-03-21 | 彩色电影公司 | 颜色管理系统和方法 |
CN1825974A (zh) * | 2005-02-22 | 2006-08-30 | 三星电子株式会社 | 选择性地调整输入图像颜色的颜色转换设备和方法 |
CN101742306A (zh) * | 2006-01-23 | 2010-06-16 | 马普科技促进协会 | 高动态范围编解码器 |
EP1827024A1 (en) * | 2006-02-24 | 2007-08-29 | Sharp Kabushiki Kaisha | High dynamic range video coding |
CN101146170A (zh) * | 2006-09-11 | 2008-03-19 | 富士施乐株式会社 | 色彩处理装置、色彩处理方法及计算机可读介质 |
WO2008136629A1 (en) * | 2007-05-03 | 2008-11-13 | Mtekvision Co., Ltd. | Image brightness controlling apparatus and method thereof |
CN101068368A (zh) * | 2007-05-22 | 2007-11-07 | 东南大学 | 用于多基色型显示设备的颜色转换装置及方法 |
CN102388612A (zh) * | 2009-03-13 | 2012-03-21 | 杜比实验室特许公司 | 高动态范围、可视动态范围和宽色域视频的分层压缩 |
WO2011042229A1 (en) * | 2009-10-08 | 2011-04-14 | International Business Machines Corporation | Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image |
CN102696220A (zh) * | 2009-10-08 | 2012-09-26 | 国际商业机器公司 | 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统 |
CN101901475A (zh) * | 2010-06-12 | 2010-12-01 | 北京理工大学 | 基于视网膜自适应模型的高动态范围图像色调映射方法 |
Non-Patent Citations (2)
Title |
---|
ALLAN G. REMPEL ET AL: ""Ldr2Hdr: On-the-fly Reverse Tone Mapping of Legacy Video and Photographs"", 《ACM TRANSACTIONS ON GRAPHICS》 * |
霍永青 等: ""高动态范围图像及反色调映射算子"", 《系统工程与电子技术》 * |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107836019A (zh) * | 2015-04-15 | 2018-03-23 | 飞利浦照明控股有限公司 | 用于定制颜色过渡效果的方法和装置 |
CN111491148A (zh) * | 2015-05-12 | 2020-08-04 | 松下电器(美国)知识产权公司 | 显示方法 |
CN112492307B (zh) * | 2015-05-21 | 2023-02-07 | 瑞典爱立信有限公司 | 像素预处理和编码的方法、装置和计算机可读存储介质 |
CN112492307A (zh) * | 2015-05-21 | 2021-03-12 | 瑞典爱立信有限公司 | 像素预处理和编码的方法、装置和计算机可读存储介质 |
CN107949864A (zh) * | 2015-08-25 | 2018-04-20 | 汤姆逊许可公司 | 基于亮度区域的逆色调映射 |
CN107949864B (zh) * | 2015-08-25 | 2023-05-16 | 交互数字麦迪逊专利控股公司 | 基于亮度区域的逆色调映射 |
CN105392011B (zh) * | 2015-11-05 | 2020-12-01 | 厦门雅迅网络股份有限公司 | 一种平衡不同视频解码器色彩的方法 |
CN108431886B (zh) * | 2015-12-21 | 2021-07-20 | 皇家飞利浦有限公司 | 针对特定显示器优化高动态范围图像 |
CN108431886A (zh) * | 2015-12-21 | 2018-08-21 | 皇家飞利浦有限公司 | 针对特定显示器优化高动态范围图像 |
CN109074775B (zh) * | 2016-01-29 | 2022-02-08 | 巴科股份有限公司 | 数字图像处理链和处理块以及包括它们的显示器 |
CN109074775A (zh) * | 2016-01-29 | 2018-12-21 | 巴科股份有限公司 | 数字图像处理链和处理块以及包括它们的显示器 |
CN107154010A (zh) * | 2016-03-04 | 2017-09-12 | 戴尔菲技术公司 | 用于处理来自非线性相机的高动态范围(hdr)数据的方法 |
CN107154010B (zh) * | 2016-03-04 | 2021-06-11 | 戴尔菲技术公司 | 处理来自非线性相机的高动态范围数据的方法和相机系统 |
CN108781290A (zh) * | 2016-03-07 | 2018-11-09 | 皇家飞利浦有限公司 | 对hdr视频进行编码和解码 |
CN109155853A (zh) * | 2016-05-19 | 2019-01-04 | 杜比实验室特许公司 | 用于高动态范围图像的色度整形 |
CN109155853B (zh) * | 2016-05-19 | 2023-03-28 | 杜比实验室特许公司 | 用于高动态范围图像的色度整形 |
CN109416830A (zh) * | 2016-07-08 | 2019-03-01 | 深圳市大疆创新科技有限公司 | 用于图像处理的系统和方法 |
US11190669B2 (en) | 2016-07-08 | 2021-11-30 | SZ DJI Technology Co., Ltd. | System and method for image processing |
WO2018006390A1 (en) * | 2016-07-08 | 2018-01-11 | SZ DJI Technology Co., Ltd. | System and method for image processing |
CN111314577B (zh) * | 2016-07-20 | 2022-05-10 | 杜比实验室特许公司 | 支持交替色调渲染的动态元数据的变换 |
CN111314577A (zh) * | 2016-07-20 | 2020-06-19 | 杜比实验室特许公司 | 支持交替色调渲染的动态元数据的变换 |
CN109479153A (zh) * | 2016-07-20 | 2019-03-15 | 杜比实验室特许公司 | 支持交替色调渲染的动态元数据的变换 |
CN109690610A (zh) * | 2016-09-19 | 2019-04-26 | 高通股份有限公司 | 用于多相机系统的颜色归一化 |
CN110521198B (zh) * | 2017-02-24 | 2022-04-26 | 交互数字Vc控股公司 | 用于重构hdr图像的方法和设备 |
CN110521198A (zh) * | 2017-02-24 | 2019-11-29 | 交互数字Vc控股公司 | 用于重构hdr图像的方法和设备 |
US11062432B2 (en) | 2017-02-24 | 2021-07-13 | Interdigital Vc Holdings, Inc. | Method and device for reconstructing an HDR image |
CN114338947B (zh) * | 2017-03-31 | 2024-04-02 | 交互数字Vc控股公司 | 用于色域映射的方法和设备 |
CN114338947A (zh) * | 2017-03-31 | 2022-04-12 | 交互数字Vc控股公司 | 用于色域映射的方法和设备 |
CN110785989A (zh) * | 2017-04-27 | 2020-02-11 | 交互数字Vc控股公司 | 用于色域映射的方法和设备 |
US11263731B2 (en) | 2017-04-27 | 2022-03-01 | Interdigital Vc Holdings, Inc. | Method and device for color gamut mapping |
CN109691119A (zh) * | 2017-06-21 | 2019-04-26 | 松下知识产权经营株式会社 | 影像显示系统及影像显示方法 |
CN109691119B (zh) * | 2017-06-21 | 2022-04-19 | 松下知识产权经营株式会社 | 影像显示系统及影像显示方法 |
CN109691116B (zh) * | 2017-06-21 | 2022-04-19 | 松下知识产权经营株式会社 | 影像显示装置及影像显示方法 |
CN109691116A (zh) * | 2017-06-21 | 2019-04-26 | 松下知识产权经营株式会社 | 影像显示装置及影像显示方法 |
WO2020007166A1 (zh) * | 2018-07-05 | 2020-01-09 | 华为技术有限公司 | 一种视频信号处理方法及装置 |
CN110310342A (zh) * | 2019-07-04 | 2019-10-08 | 浙江大学滨海产业技术研究院 | 一种适用于灰度颜色空间图像相关色域映射方法 |
CN111080686B (zh) * | 2019-12-16 | 2022-09-02 | 中国科学技术大学 | 用于自然场景中图像高光去除的方法 |
CN111080686A (zh) * | 2019-12-16 | 2020-04-28 | 中国科学技术大学 | 用于自然场景中图像高光去除的方法 |
CN112150392A (zh) * | 2020-09-30 | 2020-12-29 | 普联技术有限公司 | 一种低照度图像的修复方法及装置 |
CN112150392B (zh) * | 2020-09-30 | 2024-03-19 | 普联技术有限公司 | 一种低照度图像的修复方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
BR112014027815A2 (pt) | 2017-06-27 |
EP2836983B1 (en) | 2017-07-12 |
JP2015529890A (ja) | 2015-10-08 |
BR112014027815B1 (pt) | 2022-03-15 |
KR20150067089A (ko) | 2015-06-17 |
RU2014143972A (ru) | 2016-11-27 |
ZA201407903B (en) | 2017-09-27 |
WO2014056679A1 (en) | 2014-04-17 |
PL2836983T3 (pl) | 2018-01-31 |
EP2836983A1 (en) | 2015-02-18 |
KR102105645B1 (ko) | 2020-05-04 |
US20150221280A1 (en) | 2015-08-06 |
US9230509B2 (en) | 2016-01-05 |
JP5911643B2 (ja) | 2016-04-27 |
MX2014013221A (es) | 2015-02-18 |
ES2641371T3 (es) | 2017-11-08 |
MX338258B (es) | 2016-04-11 |
RU2642335C2 (ru) | 2018-01-24 |
CN104364820B (zh) | 2018-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104364820A (zh) | 具有颜色约束的亮度改变图像处理 | |
US11533516B2 (en) | Methods and apparatuses for encoding an HDR images, and methods and apparatuses for use of such encoded images | |
US10419689B2 (en) | Mapping between linear luminance values and luma codes | |
US11887285B2 (en) | Encoding and decoding HDR videos | |
CN109219961B (zh) | 对hdr视频进行编码和解码的方法和装置 | |
EP3108649B1 (en) | Color space in devices, signal and methods for video encoding, transmission, and decoding | |
CN108781246B (zh) | 用于动态范围映射的饱和度处理指定 | |
CN107113367B (zh) | 具有颜色恒定性的亮度改变图像处理 | |
JP7381463B2 (ja) | 改良された高ダイナミックレンジビデオ色再マッピング |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |