CN103688287B - 使源图像内容适应于目标显示器的方法 - Google Patents
使源图像内容适应于目标显示器的方法 Download PDFInfo
- Publication number
- CN103688287B CN103688287B CN201280034066.1A CN201280034066A CN103688287B CN 103688287 B CN103688287 B CN 103688287B CN 201280034066 A CN201280034066 A CN 201280034066A CN 103688287 B CN103688287 B CN 103688287B
- Authority
- CN
- China
- Prior art keywords
- histogram
- source
- content
- goal
- source images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 61
- 230000006978 adaptation Effects 0.000 claims abstract description 21
- 230000008447 perception Effects 0.000 claims abstract description 17
- 230000000750 progressive effect Effects 0.000 claims description 20
- 230000008878 coupling Effects 0.000 claims description 17
- 238000010168 coupling process Methods 0.000 claims description 17
- 238000005859 coupling reaction Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 16
- 210000000697 sensory organ Anatomy 0.000 claims description 13
- 230000007812 deficiency Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 10
- 238000004040 coloring Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 238000005070 sampling Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004899 motility Effects 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
使源图像内容适应于目标显示器。提供与目标显示器关联的目标图像内容。对于目标图像内容计算直方图。确定存在于目标直方图中的突出特征。对于源图像内容计算直方图。源内容直方图被处置以便反映确定的目标直方图突出特征。适应后的源图像内容基于处置后的源直方图被产生。确定存在于目标直方图中的另一个突出特征。源直方图被进一步处置以便反映另一个突出的确定的目标直方图特征。如果适应后的源图像内容具有不足的图像质量和感知的颜色特性，则基于进一步处置后的源直方图产生进一步适应后的源图像内容。
Description
相关申请的交叉引用
本申请要求2011年7月12日提交的美国临时申请No.61/506,903的优先权，其出于所有目的整体通过参考被并入于此。
技术领域
本发明涉及使源图像内容适应于目标显示器的方法，其中目标显示器可以选自提供不同的色域（color gamuts）、不同的照度（luminance）、亮度或对比度范围和/或其它影响视觉感知（visual perception）的不同规范的各种不同的显示器类型。
背景技术
显示器（诸如电视机、计算机监视器、便携式装置中的显示器、专用的显示器（诸如虚拟现实显示器）、交通工具模拟器、广告显示器、体育场显示器等）是普及的。现有技术的显示器能够显示颜色和色调的微小差别。
宽范围的显示技术现在是可用的。例如，存在等离子体显示器、通过各种类型光源（诸如各种类型的LED、荧光灯或高强度白炽灯）背光的LCD显示器、基于CRT的显示器、数字电影显示器、OLED显示器等。一种特别的显示器将显示硬件与接收视频信号和驱动显示硬件以显示视频信号的视频内容的视频信号处理组件结合。
不同的显示器可以关于诸如以下的特征显著变化：
·可以由显示器再现的色域；
·能实现的最大亮度；
·对比度；
·分辨率；
·可接受的输入信号格式；
·色彩深度；
·白电平；
·黑电平；
·白点；
·灰度梯级；
等。
由于显示器可以非常不同地运行，因此相同的图像内容在不同的显示器上观看时可能看起来不同。当在一个显示器上观看时令人喜欢看的图像内容可能在具有不同性能的另一个显示器上观看时较不令人喜欢。在某些显示器上显示时匹配创作者的创作意图的图像内容可能在其它显示器上观看时以一种或多种方式背离创作者的创作意图。
颜色和照度的感知还受环境条件的影响。与相同的视频或其它图像在具有显著的环境光的条件下观看时会被感知的情况相比，在剧院条件（低环境照明）之下呈现的视频或其它图像可能由观看者显著地不同地感知。此外，环境光的特性（诸如颜色温度）会影响观看者对视频内容的感知。
视频产品或其它图像的创作者可以设定图像中的像素的颜色和色调，使得在观看时图像具有与创作者的创作意图一致的期望的表现（appearance）。例如，创作者可能希望某些场景具有比其它场景更黑暗、更压抑的感觉。创作者可能希望在场景中描绘的特定特征突出或较不突出。创作者可能希望让颜色在某些场景中显得额外鲜艳而在其它场景中更柔和。调节图像中的像素的颜色和色调可以包括对源视频数据执行颜色分级（grading）（或‘颜色调整（color timing）’）。可以通过使用容许用户以各种方式改变视频数据以实现期望的表现的硬件/软件系统执行颜色分级。因此通常图像帧或视频的整个序列的颜色分级是冗长的和成本较高的处理。
因为观看内容的显示器和观看内容时的环境照明条件的选择会影响观看者对正在观看的内容的感知，所以理想的会是让创作者针对视频产品可能在其上被观看的每种显示器并且针对视频产品可能在其下被观看的所有环境条件分别地执行颜色分级。观看者然后会获得针对在他们的显示器和环境条件下的观看而优化的产品的定制版本。这通常是不实际的。
共同拥有的2010年2月24日提交的题为“DISPLAY MANAGEMENT METHODS ANDAPPARATUS”的US专利申请No.61/307547以及题为“DISPLAY MANAGEMENT SERVER”的No.61/366899以及2010年7月10日提交的题为“DISPLAY MANAGEMENT METHODS AND APPARATUS”的No.61/364693描述了通过在已经针对在其它显示器上的观看被制备的不同版本的视频内容之间进行内插或外插来产生具有适合于在特别的显示器上显示的色调和颜色的视频内容。此外，共同拥有的2011年3月17日提交的题为“GENERATING ALTERNATIVE VERSIONS OFIMAGE CONTENT USING HISTOGRAMS”的US专利申请No.61/453,924以及2011年3月17日提交的题为“ENCODING AND DECODING ALTERNATIVE VERSIONS OF IMAGE CONTENT USINGHISTOGRAMS”的No.61/453,922描述了用于使至少一个源图像的视觉感知匹配于至少一个目标图像的期望的视觉感知的渐进的直方图匹配算法的各种应用。这些申请由此整体出于所有目的通过参考被并入于此。
例如，源图像可以针对在REC709显示器上的观看被颜色分级并且另一个源图像可以针对在VDR显示器上的观看被颜色分级。因此通常这种源图像的视觉感知在相同的目标显示器上观看时将大大地不同。如果目标显示器不是所述源图像已经被特定地适应于其的目标显示器中的任何一个，则两个源图像在屏幕上的表现通常不会引起刺激（excitement）。此外，要由源图像在屏幕上的表现传递的意图的创作印象可能被完全丢失或至少显著地减少。
Rec709是由ITU-R Recommendation BT.709规定的视频数据格式，其由此通过参考被并入于此。视觉动态范围（Visual Dynamic Range，VDR）是能够表示非常宽的颜色和色调范围的格式。VDR被描述在例如共同拥有的题为“EXTENDED DYNAMIC RANGE ANDEXTENDED DIMENSIONALITY IMAGE SIGNAL CONVERSION AND/OR DELIVERY VIA LEGACYVIDEO INTERFACES”的PCT申请No.PCT/US2010/022700中，该申请由此出于所有目的通过参考被并入于此。VDR格式可以对人类视觉的全部范围进行编码。
存在对用于在一种或多种特定的目标显示器上实现令人满意的观看质量而同时仍然保持具体实现为例如要观看的图像内容的着色的原始创作意图的有效方式的需要。在这个背景技术部分中下面列出的参考文献中描述了已经用于实现该方式的方法。
Pitié等人的"Automated colour grading using colour distributiontransfer,"Computer Vision and Image Understanding,107(1-2):123-137,2007以及Pitié等人的"N-dimensional probability density function transfer and itsapplication to colour transfer,"IEEE International Conference on ComputerVision(ICCV'05),Beijing,China,17-21Oct.,2,2005,1434,1439主要聚焦于全色转移（transfer），其对在空间感觉方面和/或在与亮度和颜色有关的感觉方面可能彼此有很大差别的图像进行操作。
Reinhard等人的"Color Transfer between Images"(IEEE CG&A special issueon Applied perception,Vol21,No5,pp34-41,September-October2001以及Pouli等人的"Progressive Histogram Reshaping for Creative Color Transfer and ToneReproduction"(Proceedings of the ACM Symposium on Non-PhotorealisticAnimation and Rendering,Annecy,France,June7-10,pp.81-90,2010)描述了用于将一个图像的“气氛（mood）”或“意图”转移到另一个而同时不改变它的结构的基本算法。由此，Pouli等人的参考文献具体教导了用于使源部分匹配于目标图像的渐进的直方图匹配方法。在第3章和第4章（标题分别为"Progressive Histogram Reshaping"和"Creative ToneReproduction"）中，详细地展示了该算法。这种第3章和第4章应该整体通过参考被明确地并入于此。在后一个论文中，Pouli等人介绍了这种方法的又一个精制的修改版本："Progressive color transfer for images of arbitrary dynamic range",Computer&Graphics35(2011)67-80。在第69-76页上的第3、4和5章（标题分别为"Algorithm"、"RegionSelection"、"Creative tone reproduction"）中，详细地概述了这个方法。这种第3-5章应该整体通过参考被明确地并入于此。
发明内容
本发明公开了基本算法（诸如上面背景技术部分中引用的那些）的有创造性的和有用的应用。
虽然相对于对于较小的调节或仅仅少量帧的（完全地）自动化的方法，手动的颜色调节可能是更优选的，但是例如对于不同使用情况产生更多的版本（目标图像）将变为冗长的和成本高的手动的处理。
实施例可以帮助艺术家/导演/制片人有效地对图像和/或视频内容进行颜色分级。
实施例可以使源图像内容适应于目标显示器，其中目标显示器可以从提供不同色域和/或其它不同的影响视觉感知的规范的各种不同显示器类型中选择。同时，适应后的源图像内容在目标显示器上被观看时应该也被观众感知为如图像内容的创作者所意图的。因此高度地期望具有平衡那些不同要求中的两者以便结果得到良好的构成的方法。
实施例可以通过建议至少部分地自动化的处理而同时仍然提供用于由用户影响结果的有效的手段，来加速已知的颜色分级方法。
实施例可以促进根据本发明处理的图像的编码。
一个示例实施例涉及用于使源图像内容适应于目标显示器的处理。所述处理包括：
提供与目标显示器关联的目标图像内容；
计算对于目标图像内容的至少一个目标直方图；
确定存在于目标直方图中的一个或更多个突出特征（prominent features）；
计算对于源图像内容的至少一个源直方图；
处置（manipulate）至少一个源直方图以便反映对于目标直方图确定的所述一个或更多个突出特征；
基于处置后的至少一个源直方图来产生适应后的源图像内容；以及
如果所述适应后的源图像内容不符合与目标显示器关联的图像质量要求和与目标图像内容关联的图像颜色感知要求两者，则确定存在于目标直方图中的另外的一个或更多个突出特征以及进一步处置所述至少一个源直方图以便反映对于目标直方图确定的所述另外的一个或更多个突出特征并且基于所述进一步处置后的至少一个源直方图来产生进一步适应后的源图像内容。
一个示例实施例涉及计算机系统，其可编程或可控制以用于执行有关的处理。一个示例实施例涉及有形地存储有编码的指令的非暂时的计算机可读存储介质（诸如硬盘驱动，内存装置，光学地、磁性地、电学地、电子地、电磁地编码的盘（诸如BluRay、DVD、CD、CD-ROM），固态驱动或类似的产品或介质），当利用计算机的处理器执行时该指令使得控制或执行有关的处理。
图像质量要求可能是技术规范（诸如标准）或可能至少基于技术规范，其要求来自适应后的源图像的特定的目标特性以便得到在目标显示器上显示时适应后的源图像的优化的图像质量。
此外，图像质量要求可能包括人类判断。例如，电影的创作者想要他的工作针对在目标显示器上的观看被优化。她或他让适应后的一个或更多个源图像（例如电影序列的一个或更多个帧）显示在目标显示器上。然后她/他决定她/他对于该结果已经是喜欢的（满足图像质量要求）还是不喜欢的（还不满足图像质量要求）。
图像颜色感知要求是需要并行地（即，同时）满足的附加要求。所述图像颜色感知要求与目标图像内容关联。换句话说，适应后的源图像应该表现出与目标图像的着色（coloring）类似的着色。因为着色携带例如电影场景的气氛和/或强调特定的方面（像天气条件、天色等），所以它在影响观众观看例如电影时的印象方面是一个重要因素。与使用特殊图像处理软件（象例如Adobe的Photoshop）的手动的颜色分级的已知方法相反，本发明采用目标图像内容以便引入要被至少部分地转移到源图像上的着色：目标图像内容携带应该在适应后的或者进一步适应后的源图像中被反映的“气氛”等。关于目标图像内容的功用（utility）的另一个目的可以被发现为期望将较早的电影（场景）的“感观（look andfeel）”诱导到稍后产生的电影（场景）中。这种目标图像内容的又一个功用是对主动地使观众对源图像内容的感知成形有贡献。这可能包括通过采用第一目标图像内容并且随后第二目标图像内容以便通过使用例如如之前概述的渐进的直方图成形方法关于他们的着色被串行转移到源图像上来串行执行根据本发明的方法。这种串行的转换因此在初始获得的部分匹配的源图像内容还不满足期望的“感观”的情况下可能包括若干目标图像内容。以这种方式，可能例如获得一个或更多个源图像，其适应于看起来像“具有70%严酷对比（starkcontrast）的30%Steven Spielberg风格”。
通常，颜色感知要求将是主观的要求，将由人类（诸如电影的创作者）判断该要求的满足。然而，所述颜色感知要求也可以包括技术规范（包括例如至少一个目标直方图），因此允许进一步自动化的方法。
根据本发明的方法和优选实施例提供平衡两个要求（即目标显示器上的图像质量对比意图的颜色感知）以便得到构成：适应后的或者进一步适应后的源图像将在目标显示器上看起来良好而同时还携带从目标图像内容的着色信息转移的“气氛”等。本发明因此旨在产生一个或更多个部分匹配的源图像作为对于保持目标图像内容的“感观”而同时使（部分匹配的）源图像到特别的目标显示器的适应最大化两者而言如它能获得的最好的折中。
可能以有效方式实现这个平衡，因为根据本发明的方法仅仅逐渐地转移目标图像内容信息到源图像上，开始于由目标直方图表现出的突出特征（“局部匹配”）。这可能包括（通过下采样）计算对于目标直方图的许多标度（scale）（从粗糙到精细）以及确定对于每个标度的突出特征。该方法然后首先使用目标直方图的最粗糙的标度来开始。在这种初始步骤中，你仅仅转移着色信息中的一些（由目标图像内容的所述突出特征携带并且例如与目标直方图的低频内容有关）到源图像上，并且这可能已经是令人满意的折中以便实现目标显示器上的良好的图像质量和意图的图像颜色感知两者，而不将像假象（artifacts）之类的显著的畸变引入到源图像内容中。如果两个要求还没有被足够地平衡，则可能通过使用目标直方图的更精细的标度（例如与目标直方图的较高频率内容有关）使得目标图像内容的另外的突出特征将被转移到源图像内容上来转向下一个系列的步骤，并且对于两个要求的满足再次检查结果。
在优选实施例中，对于目标直方图确定的一个或更多个突出特征与目标直方图的至少一个低频内容关联。此外，对于目标直方图确定的另外的一个或更多个突出特征可以与目标直方图的至少一个高频率内容关联。这可以例如通过下采样目标直方图以便得到直方图的一个或更多个标度来实现。应用的下采样速率“越高”，由下采样的直方图覆盖的（分别保持在其内）频率越低。直方图的低和高频率内容分别可以通过直方图的低通和高通滤波获得。这种方法允许通过随后使源直方图适应于目标直方图的当前的标度而逐渐地将源直方图匹配于目标直方图。因此，根据本发明的方法优选地采用渐进的直方图匹配技术以便允许适应于源图像内容的序列以便在每个适应步骤中包括目标直方图的越来越多的突出特征。
在前端和实验使用中已经确定，与在一个周期中具有源直方图到目标直方图的整个匹配（其经常导致像假象之类的畸变（至少在适应后的源图像的某些源图像区域中），要求后续的净化（clean up）步骤）相比，源直方图到目标直方图的这种局部匹配将经常得到关于平衡图像质量和颜色感知要求的好得多的折中。
此外，尽管在一个周期中应用整个匹配时在适应后的源图像中反映目标图像的“感观”的良好的再现，但是几乎不能确保适应后的源图像在目标显示器上显示时将同时表现出足够的图像质量。根据本发明的提出的方法经证明是优等的，因为每个渐进的直方图匹配步骤可以独立地针对两个要求的满足进行判断。因此显著地增大经济地产生匹配较好的源图像的机会。
如果目标图像已经被预先选择为已经适应于与目标显示器关联的图像质量性能，则这将进一步支持经济地满足本发明的目的。
在又一个优选实施例中，处置至少一个源直方图包括使源直方图的至少一个区域与目标直方图的至少一个对应区域匹配。
这种实施例提供选择性地选择要匹配的区域，因此允许关于期望的匹配程度的甚至更大的灵活性。这里，特别有利的是，使源直方图的至少一个区域与目标直方图的至少一个对应区域匹配包括使与源直方图的所述至少一个区域关联的平均（mean）和/或标准偏差匹配于与目标直方图的对应的至少一个区域关联的对应的平均和/或标准偏差。平均和/或标准偏差是重要的统计特征，表示要从目标转移到源直方图的突出特征。
为了增大在使与源直方图的所述至少一个区域关联的平均和/或标准偏差匹配于与目标直方图的对应的至少一个区域关联的对应的平均和/或标准偏差时的灵活性，加权因子可以被应用于所述平均和/或标准偏差。
加权因子可以被选择以便进一步强调要转移的突出特征，或甚至减少他们的影响。本领域技术人员将能执行例如有限的系列的实验以便提供关于如何针对专门应用使加权因子成形的规定。
在某些应用中，可能希望将源图像内容例如经由电视网络发送到远程位置，以便被显示在位于远程位置的目标显示器处。这里，有利的是将处置后的至少一个源直方图编码为与源图像内容关联的元数据，优选地使用MPEG来对源图像内容进行编码，其中元数据被包括在MPEG编码的源图像内容中。这个需要可能出现在例如要发送的源图像内容包括视频内容的至少一个帧时。
根据本发明的方法可以被扩展为应用在与目标和/或源图像内容关联的分离的颜色通道上。在这样的实施例中，至少一个目标或源直方图包括与多个颜色通道有关的许多目标或源直方图。
结果证明在处置至少一个源直方图以便反映对于目标直方图确定的所述一个或更多个突出特征包括执行渐进的直方图匹配算法时是非常有希望的。对于进一步处置至少一个源直方图同样如此。供本发明使用的有用的渐进的直方图匹配算法可以例如在Pouli等人的"Progressive Histogram Reshaping for Creative Color Transfer and ToneReproduction"(Proceedings of the ACM Symposium on Non-PhotorealisticAnimation and Rendering,Annecy,France,June7-10,pp.81-90,2010)以及Pouli等人的"Progressive color transfer for images of arbitrary dynamic range",Computer&Graphics35(2011)67-80（还参见上面的背景技术部分）中被找到。那些参考文献应该通过参考被包括于此，以特别地用于为本领域技术人员提供使能公开。同时，本领域技术人员可以容易地开发这种算法的各种适应性修改和变体来与本发明一起使用。因此，本发明不应该被解释为被限制于在此具体地提及的那些算法的应用。
所述处置可以再次被分别地应用于与包括与许多目标颜色通道有关的许多目标直方图的目标直方图关联的许多颜色通道，使得直方图匹配算法被分别地应用于与源图像内容关联的每个颜色通道。
根据本发明的方法此外可以被重复地应用直到满足与目标显示器关联的图像质量要求和与目标图像内容关联的图像颜色感知要求两者。这种优选实施例提供了通过使用一系列的直方图匹配周期实现更好结果。如果在所述重复中的至少一个中所述目标直方图被与另外的目标图像内容关联的另外的目标直方图代替，则甚至可以将多于一个目标图像内容的“感观”转移到源图像内容上，结果得到在处置后的源图像内容中反映的目标“感观”的混合。
附图说明
下面基于图中示出的示例性实施例更详细地描述和说明本发明。
附图示出了：
图1：根据本发明的使源图像内容适应的方法；以及
图2：包括处置分离的颜色通道以及编码的进一步精制的方法。
具体实施方式
图1示意性地描绘根据本发明的使源图像内容适应的方法。目标图像内容3和源图像内容1被提供。目标图像内容3包括例如选自视频内容的一个或更多个帧。目标图像内容3表示要转移到源图像内容1上的“感观”。
提出的方法基本上包括基于根据对于目标图像内容3计算的目标直方图9确定的突出特征来处置对于源图像内容1计算的源直方图9。
提供计算单元5以用于计算和处置所述直方图7、9，结果得到通过将至少一个处置后的源直方图应用于源图像内容11而获得的适应后的源图像内容11。在那个上下文中，突出特征可以包括目标直方图的低频内容以及在该方法的每个重复之后越来越高频率的内容。相应地，该方法的每个重复传递部分匹配的源图像内容，其在每个重复之后包括越来越多的与目标图像内容关联的突出特征直到由目标图像内容表示的意图的“感观”已经被转移到源图像内容上到令人满意的程度。
提供判断单元13（其可以包括或人类判断）以用于确定适应后的源图像内容11是否满足关于与目标显示器17关联的图像质量要求和与目标图像内容3关联的图像颜色感知要求的两个要求。如果如判断单元13判断的已经满足，则适应后的源图像内容11在目标显示器17上观看时将表现出良好的图像质量而同时还携带目标图像内容3的“感观”。在还没有足够地满足两个要求的情况中，该方法将再次被调用以用于确定对于目标直方图的另外的突出特征并且将那些转移到（已经适应的）源图像内容上。
越来越精细的突出特征可以例如通过提供通过下采样目标直方图获得的目标直方图的许多标度（从粗糙到精细）而被确定。整个方法提供达到关于目标屏幕上的图像质量和如由目标图像内容表示的创作的颜色感知意图的良好折中。
如早先概述的，通过处置源直方图使源图像内容适应优选地包括如在早先的部分中示例性的提及的渐进的直方图匹配算法。转移突出特征优选地包括使与源直方图的至少一个区域关联的平均和/或标准偏差匹配于与目标直方图的对应的至少一个区域关联的对应的平均和/或标准偏差。如果这种算法还包括要被应用于所述平均和/或标准偏差的可缩放的加权因子，则将引入更多的灵活性和质量控制。
图2包括如在图1中描绘的方法的基本轮廓；对应元素因此将具有与图1中相同的附图标记，表现出基本上相同的功能性。
在图2中，我们已经包括了编码器15（例如采用MPEG编码），以用于制备用于发送到远程位置的源图像内容3。此外，源直方图9和目标直方图7中的每一个包括与与源或目标图像内容关联的分离的颜色通道有关的许多直方图。因此，处置源直方图9这里包括通过对于各个单独的源直方图采用例如渐进的直方图匹配算法来处置与所述颜色通道关联的单独的源直方图中的每一个。
处置后的源直方图7（包括与所述颜色通道有关的所述处置后的单独的源直方图）被包括作为元数据与编码的源图像内容3一起被发送。在远程位置处，可以使用合适的解码器（这里未示出）从编码的源图像内容中恢复源图像内容3。因为元数据（包括处置后的源直方图）也被发送，所以恢复后的源图像内容3可以在远程位置处容易地被转换为适应后的源图像内容11，因此使它适应于在远程位置处的屏幕的目标显示类型。如果不同类型的屏幕存在，元数据可以简单地被忽略或进一步处理。
可替代地，除了所述元数据之外或省略该元数据，已经适应的源图像内容11在编码器侧可能被编码和发送（如图2中的虚线所指示的）。如果元数据也将被发送，则它们可以在解码器侧被进一步处理，例如用于使已经适应的编码的和发送的源图像内容进一步适应于在解码器侧呈现的特定的类型显示器。
本发明的实施例涉及产生部分匹配的源图像内容作为对于保持目标图像内容的“感观”而同时也使源图像内容到特别的目标显示器的适应最大化两者而言如它能获得的最好的折中。
如果初始获得的部分匹配的源图像内容还不满足期望的目标“感观”而同时记住上述的图像质量要求，串行的转换可能通过使用若干目标图像内容而被采用。
用于控制源图像内容的直方图的再成形的量的用户参数可以包括：
要使用的与目标直方图有关的标度的数量，以及
应用于各个直方图的平均和标准偏差的加权参数。
实施例通过使用渐进的直方图匹配算法而允许有效的颜色分级应用。这允许例如电影的着色师（colorist）部分地转移她/他喜欢的一个或更多个帧的风格（通常为不同的电影的）到她/他目前着手做的电影的一个或更多个帧上或甚至所有帧。在简单的措词中，她/他可能例如应用“矩阵电影风格的10%”到她/他目前着色的电影。在后续的步骤中，她/他可能决定跟着应用“卡萨布兰卡电影风格的40%”。
因此，当前的发明的一个焦点是提供用于部分地转移源图像的着色到目标图像的颜色分级的方法。
它也通过对于各个序列选择不同源图像来使得提供顺序地应用这种部分颜色转移算法。相反，传统的颜色分级通常旨在源和目标图像之间的整个的颜色匹配。
Reinhard等人或Pouli等人（参见背景技术部分）的原理步骤公开了渐进的直方图匹配方法包括：
（i）计算（即通过下采样）对于目标直方图的许多标度（从粗糙到精细）。这里动机是从目标直方图中去除高频率细节而同时保持由较低频率细节表示的突出特征。
（ii）通过确定它的最小值和最大值，检测分别存在于目标直方图的每个当前的标度中的特征。
（iii）将目标直方图的每个当前的标度分别分成由所述确定的最小值和最大值跨越（span）的一组区域。
（iv）将源直方图划分成对应区域。
（v）计算对于源直方图的每个区域的平均和标准偏差。
（vi）计算对于目标直方图的每个区域的平均和标准偏差。
（vii）关于平均和标准偏差使源图像的每个区域中的所有区段（bins）匹配于目标图像的对应区域中的对应区段。
（viii）反转源和目标直方图的角色。这里动机是校正甚至显著不同的直方图的对准和再成形：
（ix）确定匹配的源图像的最小值和最大值。
(x)将匹配的源直方图分成由所述最小值和最大值（来自ix）跨越的一组区域。
（xi）将目标直方图划分成对应区域（来自x）。
（xii）计算对于匹配的源直方图的每个区域的平均和标准偏差。
（xiii）计算对于目标直方图的每个区域的平均和标准偏差。
（xiv）关于平均和标准偏差使所匹配的源图像的每个区域中的所有区段匹配于目标图像的对应区域中的对应区段。
（xv）必要时/期望时，相应地利用下一个（精细的）目标直方图标度进行（即重复ii-xiv）使用来自步骤xiv的更新后的（匹配的）源直方图以用于后续的（更精细的）匹配。
Claims (32)
1.一种用于使源图像内容(1)适应于来自提供不同的影响视觉感知的规范的多种不同显示器类型中的目标显示器(17)的方法，所述方法包括如下步骤：
提供与目标显示器(17)关联的目标图像内容(3)；其中目标图像内容(3)被预先选择为已经适应于与目标显示器(17)关联的图像质量性能，并且目标图像内容(3)包括表示要被转移到源图像内容(1)上的“感观”的视频内容的一个或更多个帧；
计算对于目标图像内容(3)的至少一个目标直方图(9)；
确定存在于目标直方图(9)中的一个或更多个突出特征；
计算对于源图像内容(1)的至少一个源直方图(7)；
处置至少一个源直方图(7)以便反映对于目标直方图(9)确定的所述一个或更多个突出特征；
基于处置后的至少一个源直方图来产生适应后的源图像内容(11)；以及
如果所述适应后的源图像内容(11)不符合与目标显示器(17)关联的图像质量要求和与目标图像内容(3)关联的图像颜色感知要求两者，则
确定存在于目标直方图(9)中的另外的一个或更多个突出特征以及进一步处置所述至少一个源直方图(7)以便反映对于目标直方图(9)确定的所述另外的一个或更多个突出特征，并且基于进一步处置后的至少一个源直方图来产生进一步适应后的源图像内容(11)；
其中图像质量要求和图像颜色感知要求包括技术规范。
2.根据权利要求1所述的方法，其中对于目标直方图(9)确定的所述一个或更多个突出特征与目标直方图(9)的至少一个低频内容关联。
3.根据权利要求2所述的方法，其中对于目标直方图(9)确定的所述另外的一个或更多个突出特征与目标直方图(9)的至少一个高频内容关联。
4.根据权利要求1所述的方法，其中处置至少一个源直方图(7)包括：使源直方图(7)的至少一个区域与目标直方图(9)的至少一个对应区域匹配。
5.根据权利要求4所述的方法，其中使源直方图(7)的至少一个区域与目标直方图(9)的至少一个对应区域匹配包括：使与源直方图(7)的所述至少一个区域关联的平均和/或标准偏差匹配于与目标直方图(9)的对应的至少一个区域关联的对应的平均和/或标准偏差。
6.根据权利要求5所述的方法，其中使与源直方图(7)的所述至少一个区域关联的平均和/或标准偏差匹配于与目标直方图(9)的对应的至少一个区域关联的对应的平均和/或标准偏差包括：将加权因子应用于所述平均和/或标准偏差。
7.根据权利要求1所述的方法，其中源图像内容(1)包含视频内容的至少一个帧。
8.根据权利要求1所述的方法，还包含将处置后的至少一个源直方图编码为与源图像内容(1)关联的元数据。
9.根据权利要求8所述的方法，还包含对源图像内容(1)进行MPEG编码，其中所述元数据被包括在MPEG编码后的源图像内容中。
10.根据权利要求1所述的方法，其中所述至少一个目标直方图(9)包括与多个目标颜色通道有关的许多目标直方图。
11.根据权利要求1所述的方法，其中所述至少一个源直方图(7)包括与多个源颜色通道有关的许多源直方图。
12.根据权利要求1所述的方法，其中处置至少一个源直方图(7)以便反映对于目标直方图(9)确定的所述一个或更多个突出特征包括：执行渐进的直方图匹配算法。
13.根据权利要求1所述的方法，其中进一步处置至少一个源直方图(7)以便反映对于目标直方图(9)确定的所述另外的一个或更多个突出特征包括：执行渐进的直方图匹配算法。
14.根据权利要求12或13所述的方法，其中
目标直方图(9)包括与许多目标颜色通道关联的许多目标直方图，以及
直方图匹配算法被分别地应用于与源图像内容关联的许多颜色通道。
15.根据权利要求1所述的方法，其中所述方法被重复地应用，直到满足与目标显示器(17)关联的图像质量要求和与目标图像内容(3)关联的图像颜色感知要求两者。
16.根据权利要求15所述的方法，其中在所述重复中的至少一个中所述目标直方图被与另外的目标图像内容关联的另外的目标直方图代替。
17.一种用于使源图像内容(1)适应于来自提供不同的影响视觉感知的规范的多种不同显示器类型中的目标显示器(17)的设备，所述设备包括以下用于执行操作的装置：
用于提供与目标显示器(17)关联的目标图像内容(3)的装置；其中目标图像内容(3)被预先选择为已经适应于与目标显示器(17)关联的图像质量性能，并且目标图像内容(3)包括表示要被转移到源图像内容(1)上的“感观”的视频内容的一个或更多个帧；
用于计算对于目标图像内容(3)的至少一个目标直方图(9)的装置；
用于确定存在于目标直方图(9)中的一个或更多个突出特征的装置；
用于计算对于源图像内容(1)的至少一个源直方图(7)的装置；
用于处置至少一个源直方图(7)以便反映对于目标直方图(9)确定的所述一个或更多个突出特征的装置；
用于基于处置后的至少一个源直方图来产生适应后的源图像内容(11)的装置；以及
用于如果所述适应后的源图像内容(11)不符合与目标显示器(17)关联的图像质量要求和与目标图像内容(3)关联的图像颜色感知要求两者，则确定存在于目标直方图(9)中的另外的一个或更多个突出特征以及进一步处置所述至少一个源直方图(7)以便反映对于目标直方图(9)确定的所述另外的一个或更多个突出特征，并且基于进一步处置后的至少一个源直方图来产生进一步适应后的源图像内容(11)的装置；
其中图像质量要求和图像颜色感知要求包括技术规范。
18.根据权利要求17所述的设备，其中对于目标直方图(9)确定的所述一个或更多个突出特征与目标直方图(9)的至少一个低频内容关联。
19.根据权利要求18所述的设备，其中对于目标直方图(9)确定的所述另外的一个或更多个突出特征与目标直方图(9)的至少一个高频内容关联。
20.根据权利要求17所述的设备，其中用于处置至少一个源直方图(7)的装置包括：用于使源直方图(7)的至少一个区域与目标直方图(9)的至少一个对应区域匹配的装置。
21.根据权利要求20所述的设备，其中用于使源直方图(7)的至少一个区域与目标直方图(9)的至少一个对应区域匹配的装置包括：用于使与源直方图(7)的所述至少一个区域关联的平均和/或标准偏差匹配于与目标直方图(9)的对应的至少一个区域关联的对应的平均和/或标准偏差的装置。
22.根据权利要求21所述的设备，其中用于使与源直方图(7)的所述至少一个区域关联的平均和/或标准偏差匹配于与目标直方图(9)的对应的至少一个区域关联的对应的平均和/或标准偏差的装置包括：用于将加权因子应用于所述平均和/或标准偏差的装置。
23.根据权利要求17所述的设备，其中源图像内容(1)包含视频内容的至少一个帧。
24.根据权利要求17所述的设备，还包含用于将处置后的至少一个源直方图编码为与源图像内容(1)关联的元数据的装置。
25.根据权利要求24所述的设备，还包含用于对源图像内容(1)进行MPEG编码的装置，其中所述元数据被包括在MPEG编码后的源图像内容中。
26.根据权利要求17所述的设备，其中所述至少一个目标直方图(9)包括与多个目标颜色通道有关的许多目标直方图。
27.根据权利要求17所述的设备，其中所述至少一个源直方图(7)包括与多个源颜色通道有关的许多源直方图。
28.根据权利要求17所述的设备，其中用于处置至少一个源直方图(7)以便反映对于目标直方图(9)确定的所述一个或更多个突出特征的装置包括：用于执行渐进的直方图匹配算法的装置。
29.根据权利要求17所述的设备，其中用于进一步处置至少一个源直方图(7)以便反映对于目标直方图(9)确定的所述另外的一个或更多个突出特征的装置包括：用于执行渐进的直方图匹配算法的装置。
30.根据权利要求28或29所述的设备，其中
目标直方图(9)包括与许多目标颜色通道关联的许多目标直方图，以及
直方图匹配算法被分别地应用于与源图像内容关联的许多颜色通道。
31.根据权利要求17所述的设备，其中所述操作被重复地执行，直到满足与目标显示器(17)关联的图像质量要求和与目标图像内容(3)关联的图像颜色感知要求两者。
32.根据权利要求31所述的设备，其中在所述重复中的至少一个中所述目标直方图被与另外的目标图像内容关联的另外的目标直方图代替。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161506903P | 2011-07-12 | 2011-07-12 | |
| US61/506,903 | 2011-07-12 | ||
| PCT/US2012/045856 WO2013009651A1 (en) | 2011-07-12 | 2012-07-06 | Method of adapting a source image content to a target display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103688287A CN103688287A (zh) | 2014-03-26 |
| CN103688287B true CN103688287B (zh) | 2017-03-01 |
Family
ID=46551897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280034066.1A Active CN103688287B (zh) | 2011-07-12 | 2012-07-06 | 使源图像内容适应于目标显示器的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10192517B2 (zh) |
| CN (1) | CN103688287B (zh) |
| WO (1) | WO2013009651A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9338389B2 (en) | 2011-10-20 | 2016-05-10 | Dolby Laboratories Licensing Corporation | Method and system for video equalization |
| KR101571522B1 (ko) | 2014-04-09 | 2015-11-25 | 한국화학연구원 | N-(피페리딘-4-일)벤조[b]싸이오펜카복시아마이드 유도체, 이의 제조방법 및 이를 유효성분으로 포함하는 유로텐신-Ⅱ 수용체 활성 관련 질환의 예방 또는 치료용 약학적 조성물 |
| KR20160048429A (ko) * | 2014-10-24 | 2016-05-04 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| EP3016387A1 (en) * | 2014-10-29 | 2016-05-04 | Thomson Licensing | A method and device for estimating a color mapping between two different color-graded versions of a sequence of pictures |
| EP3016386A1 (en) * | 2014-10-29 | 2016-05-04 | Thomson Licensing | A method and device for estimating a color mapping between two different color-graded versions of a picture |
| US10749923B2 (en) | 2015-06-08 | 2020-08-18 | Apple Inc. | Contextual video content adaptation based on target device |
| WO2017022363A1 (ja) * | 2015-08-05 | 2017-02-09 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| US10223774B2 (en) * | 2016-02-02 | 2019-03-05 | Dolby Laboratories Licensing Corporation | Single-pass and multi-pass-based polynomial approximations for reshaping functions |
| US12079764B2 (en) * | 2018-11-16 | 2024-09-03 | Target Brands, Inc. | Integration of third party delivery service interface into online retail platform |
| CN109712092B (zh) * | 2018-12-18 | 2021-01-05 | 上海信联信息发展股份有限公司 | 档案扫描图像修复方法、装置及电子设备 |
| US20200250613A1 (en) * | 2019-01-31 | 2020-08-06 | Walmart Apollo, Llc | System and method for dispatching drivers for delivering grocery orders and facilitating digital tipping |
| US11317137B2 (en) * | 2020-06-18 | 2022-04-26 | Disney Enterprises, Inc. | Supplementing entertainment content with ambient lighting |
| GB2623388A (en) * | 2023-04-12 | 2024-04-17 | Imagination Tech Ltd | Learned image transformation methods and systems in graphics rendering |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5874988A (en) * | 1996-07-08 | 1999-02-23 | Da Vinci Systems, Inc. | System and methods for automated color correction |
| CN1717674A (zh) * | 2001-12-12 | 2006-01-04 | 索尼电子有限公司 | 对多媒体数据进行转换以将其传送到多个异种设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3891654B2 (ja) | 1997-08-20 | 2007-03-14 | 株式会社東芝 | 画像形成装置 |
| KR100450793B1 (ko) | 2001-01-20 | 2004-10-01 | 삼성전자주식회사 | 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법 |
| US20030110297A1 (en) * | 2001-12-12 | 2003-06-12 | Tabatabai Ali J. | Transforming multimedia data for delivery to multiple heterogeneous devices |
| US20070080973A1 (en) | 2005-10-12 | 2007-04-12 | Jurgen Stauder | Device and method for colour correction of an input image |
| US7796812B2 (en) | 2006-10-17 | 2010-09-14 | Greenparrotpictures, Limited | Method for matching color in images |
| US8081838B2 (en) | 2007-03-16 | 2011-12-20 | Massachusetts Institute Of Technology | System and method for providing two-scale tone management of an image |
| US20090109236A1 (en) | 2007-10-30 | 2009-04-30 | Microsoft Corporation | Localized color transfer |
| US8165395B2 (en) * | 2008-04-15 | 2012-04-24 | Sony Corporation | Automatic image color tone correction |
| WO2010104624A2 (en) | 2009-03-10 | 2010-09-16 | Dolby Laboratories Licensing Corporation | Extended dynamic range and extended dimensionality image signal conversion |
| US20110123069A1 (en) * | 2009-11-20 | 2011-05-26 | Pavel Kisilev | Mapping Property Values Onto Target Pixels Of An Image |
| EP3467816A1 (en) | 2010-02-24 | 2019-04-10 | Dolby Laboratories Licensing Corp. | Display management methods and apparatus |
| US9509935B2 (en) | 2010-07-22 | 2016-11-29 | Dolby Laboratories Licensing Corporation | Display management server |
| CN103460243B (zh) * | 2011-03-17 | 2016-08-17 | 杜比实验室特许公司 | 使用直方图产生图像内容的替代版本 |
-
2012
- 2012-07-06 US US14/130,488 patent/US10192517B2/en active Active
- 2012-07-06 CN CN201280034066.1A patent/CN103688287B/zh active Active
- 2012-07-06 WO PCT/US2012/045856 patent/WO2013009651A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5874988A (en) * | 1996-07-08 | 1999-02-23 | Da Vinci Systems, Inc. | System and methods for automated color correction |
| CN1717674A (zh) * | 2001-12-12 | 2006-01-04 | 索尼电子有限公司 | 对多媒体数据进行转换以将其传送到多个异种设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103688287A (zh) | 2014-03-26 |
| US10192517B2 (en) | 2019-01-29 |
| WO2013009651A1 (en) | 2013-01-17 |
| US20140160143A1 (en) | 2014-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103688287B (zh) | 使源图像内容适应于目标显示器的方法 | |
| CN103493487B (zh) | 用于hdr图像编码和解码的装置和方法 | |
| KR101446364B1 (ko) | 디스플레이를 위한 컬러 그레이딩을 제공하는 방법, 장치 및 시스템 | |
| CN108882028B (zh) | 视频信号的处理方法及装置 | |
| TWI756146B (zh) | 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體 | |
| CN103827956B (zh) | 用于图像的动态范围变换的装置和方法 | |
| CN104995903B (zh) | 改进的hdr图像编码和解码方法及设备 | |
| CN102783132B (zh) | 用于定义颜色状态的装置和方法 | |
| CN1977542B (zh) | 利用感知规律提取主色以产生来自视频内容的环境光 | |
| KR101786161B1 (ko) | 컬러 이미지를 생성하기 위한 방법 및 이를 이용하는 이미징 장치 | |
| US9185268B2 (en) | Methods and systems for displays with chromatic correction with differing chromatic ranges | |
| CN102611897B (zh) | 对彩色数字图像进行视觉感知高保真变换的方法及系统 | |
| KR102176398B1 (ko) | 영상처리장치 및 영상처리방법 | |
| JP5779665B2 (ja) | ヒストグラムを用いることによる別バージョンの画像コンテンツの生成 | |
| CN103763456A (zh) | 用于图像数据变换的方法和装置 | |
| JP2013527732A (ja) | 階調および色再現域のマッピング方法および装置 | |
| KR20070038989A (ko) | 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출 | |
| CN102210145A (zh) | 清晰度控制方法和使用该方法的图像显示装置 | |
| CN114073089A (zh) | 高动态范围的视频内容类型元数据 | |
| CN100559850C (zh) | 用于主色提取的方法 | |
| JP6742417B2 (ja) | デジタル画像の処理方法、付随する装置、端末機器およびコンピュータプログラム | |
| JP2020109914A (ja) | 情報処理装置および情報処理方法 | |
| CN108765502B (zh) | 一种复杂环境下的色貌获取方法 | |
| Zink et al. | Managing HDR content production and display device capabilities | |
| EP4435770A1 (en) | Method for pixel control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |