CN105122795A - 用于数字图像创建和显示的图像外观框架和应用 - Google Patents
用于数字图像创建和显示的图像外观框架和应用 Download PDFInfo
- Publication number
- CN105122795A CN105122795A CN201480022200.5A CN201480022200A CN105122795A CN 105122795 A CN105122795 A CN 105122795A CN 201480022200 A CN201480022200 A CN 201480022200A CN 105122795 A CN105122795 A CN 105122795A
- Authority
- CN
- China
- Prior art keywords
- image
- appearance
- color
- display
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 79
- 230000006978 adaptation Effects 0.000 claims description 68
- 230000000007 visual effect Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims 5
- 230000023077 detection of light stimulus Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 55
- 230000008447 perception Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 43
- 230000008859 change Effects 0.000 description 39
- 238000009826 distribution Methods 0.000 description 36
- 238000007906 compression Methods 0.000 description 34
- 230000006835 compression Effects 0.000 description 33
- 230000000694 effects Effects 0.000 description 26
- 230000004044 response Effects 0.000 description 24
- 238000004519 manufacturing process Methods 0.000 description 21
- 238000012512 characterization method Methods 0.000 description 18
- 230000003044 adaptive effect Effects 0.000 description 17
- 230000035945 sensitivity Effects 0.000 description 17
- 210000001525 retina Anatomy 0.000 description 16
- 230000008878 coupling Effects 0.000 description 14
- 238000010168 coupling process Methods 0.000 description 14
- 238000005859 coupling reaction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 239000003086 colorant Substances 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 239000007991 ACES buffer Substances 0.000 description 5
- 102000007537 Type II DNA Topoisomerases Human genes 0.000 description 5
- 108010046308 Type II DNA Topoisomerases Proteins 0.000 description 5
- 230000004075 alteration Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000609 ganglia Anatomy 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004737 colorimetric analysis Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 210000000320 geniculate body Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000013011 mating Effects 0.000 description 3
- 210000001328 optic nerve Anatomy 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000002463 transducing effect Effects 0.000 description 3
- 241001637516 Polygonia c-album Species 0.000 description 2
- 230000008649 adaptation response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000001103 thalamus Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 244000283207 Indigofera tinctoria Species 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009699 differential effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000000873 fovea centralis Anatomy 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009017 pursuit movement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
- H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
- H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
- H04N1/6066—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced dependent on the gamut of the image to be reproduced
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
本发明的实施例提供这样的工具:用户可以实现所述工具以量化图像或图像集合的艺术化“外观”或“外表”,并跨集合的多个场景而向前承载外表。另外,所述工具允许当在诸如影院、电视、计算机监视器和手持式设备之类的各种各样的回放设备上观看一个或多个图像时保持相同的外表。
Description
对相关申请的交叉引用
本申请要求来自于2013年2月19日提交的、题为IMAGE APPEARANCE
FRAMEWORK AND APPLICATIONS FOR DIGITAL IMAGE CREATION AND DISPLAY的美国临时专利申请61/766,621的权益,本文通过引用将其合并。
技术领域
本公开目的在于数字成像,并且更具体地在于用于评估和修改数字图像和数字图像的流的系统。
背景技术
虽然从艺术化角度定义起来相对容易,但是创建艺术化“外观”或“外表”并将它承载到终端观看者远非容易实现。艺术化外表是颜色、色调平衡的使用以及在图像的聚焦区内和外,以调节用户的情绪反应来支持故事,或者在广告中产生对产品的期望。例如,在电影中,黑色电影片可以包括故意黑暗的场景以传达神秘和危险,继之以相对明亮的场景以传达更加令人振奋的心情。艺术化外表是最终产品的重要组成部分,并且相当大的努力花费在其创建中。虽然以艺术化外表的形式的外观是最终产品的部分,但正是外观本身在其创建中提供最显著的挑战。这对于跨多个终端屏幕和观看环境而观看的移动图像和印刷图像都是如此。显著的问题在于:当在各种投影设备或印刷介质和观看环境上观看时,除非经适当地修改,否则图像的外观将看起来相当不同。这是由于与人类视觉系统(HVS)的灵敏度方面的改变或适配相关联的有据可查的外观效果。这些适配由与观看环境、设备或介质以及图像本身相关联的感知参数中的变化所触发。
例如,在观看移动图像的上下文中,用于终端观看者的外观由观看环境、观看距离和图像尺寸以及设备能力的感知属性的HVS的自适应复杂非线性处理来确定。此外,HVS处理由这些因素与图像或图像序列的结构和时间动态的交互所成形。观看环境的感知参数包括照明光源的光谱组成以及对于图像的周围环境的颜色和亮度。设备的感知参数包括其可产生的色域、动态范围和亮度。由此暗示:为了跨不同的显示设备和观看环境、尽可能接近地将所意图的艺术化外表的外观传达给终端观看者,内容应当在它被转码为各种分布和设备格式时、在主控(mastering)中被适当地修改。转码涉及将图像序列的色域以及动态范围从主控格式压缩到对于分布模式和终端显示设备而言适当的尺寸。
将所意图的外表的外观承载到终端观看者意味着:对于图像或移动图像序列的感知而言重要的感知图像属性必须与它如何被设置该外表的艺术家所看到的尽可能接近。这些感知图像属性包括亮度、色度和色调的相对颜色外观属性、色彩的绝对颜色外观属性,所有这些通过亮度进行缩放。另外,图像的以阈上响应的、跨图像的无色色调平衡和有色平衡,以及以阈值响应的图像清晰度应当看起来尽可能接近由设置最终外表的艺术家所见的。移动图像增加复杂性的另一个维度,其在于诸如运动模糊等之类的图像的时间动态承载到终端屏幕。在该示例中,为了尽可能接近地将这些感知图像属性的外观匹配承载给终端观看者,转码应当能够对HVS对于最终观看环境和设备以及图像本身的自适应外观响应进行建模和补偿。可替代地,合并了标准转码算法的、用以仿真和显示图像或图像序列的外观的方法可以被呈现给艺术家。转码算法或在终端屏幕处对图像外观的仿真还需要计及将如在后期制作中所使用的格式的颜色空间和动态范围中所见的图像那样的外观保存成特定于分布和终端显示设备的模式的通常较小的色域和动态范围。
如今适当的颜色工作流是与设备无关的。这意味着:在跨内容创建工作流的、包括相机、颜色和特效软件、格式转换器等的设备和工具中使用的图像表示模型能够告知色差而不是外观。对与参考监视器和终端观看设备的表征相耦合的色差进行建模虑及图像被获取,经修改以浸染外表,并且经调整以用于特定的输出设备。图像表示模型的限制在于:它们不能对HVS的自适应外观效果进行建模。如在以上示例中所描述的那样,并且从当外表最初被预想并且然后通过获取、后期制作和主控而被实现时跨内容创建工作流,该限制驱动了无效。
重要的是注意到从终端观看者的视角存在有意义的外观效果的层次。可以类比听古典音乐。在音乐会上,出席的任何经训练的音乐家将倾听和鉴赏给定协奏曲的表演和演奏二者的细微差别。虽然该细微差别将逃过大多数听众的未经训练的耳朵,但是如果演奏走调,则除了五音不全的听众之外的所有听众将会听到。类似的情形适用于图像。看电视的、具有在电影灯光或任何形式的颜色工作方面背景的人将看到和鉴赏所意图的外观的细微差别,而其他人可能不会。所有观看者中的大多数将意识到在由于观看环境和拙劣电视设置的组合而被冲蚀的图像相对于看到具有其意图的动态范围和色调平衡的该图像之间的差异。所述适用于优化对相机的曝光。大多数观看者能够意识到良好曝光的图像相对于已经冒出高亮或者太暗的图像的差异。电影摄影师或专业摄影师将进一步意识到通过使用公知的Ansel Adams(安塞尔·亚当斯)区系统而将不同的场景元素置于沿着其相机的动态范围内可用的对比曲线的特定点处的能力。
随着在电影院和电视二者中的成像正从物理胶片移向跨工作流的基于文件的介质,正变得越来越难以承载外表,因为它由于在数字上下文中创建和操纵的可能性的宽范围而跨工作流在演进。内容中艺术化外表的意图和使用与其在胶片的情况下保持相同,在于电影摄影师、导演、着色师等在作品内开发出外表以在观看者中唤起不同的情感。正是如何实现外表的方法和技术已经随着从胶片向数字的转变而有所改变。在基于胶片的获取中,电影摄影师为期望的外表选择生胶片,这基于对它在其灵敏度、粒度和压缩的简档方面如何将光调制到胶片密度的理解。通过经验,基于对跨工作流的良好建立的“配方”的理解,他们还具有对于在电影院中基于胶片的投影的情况下这对于终端观看者而言最终将会看起来如何的良好判断力。利用数字传感器,电影摄影师具有以用胶片而不可能的方式来修改其相机的颜色、灵敏度和灰度系数(gamma)以便针对所期望的外表而进行优化的能力。但该灵活性到来所付出的代价在于它改变或甚至“打破”从基于胶片的获取的良好建立的配方,使得难以确定最优的相机设置和灯光布置。可以在数字获取的移动图像内容的情况下使用的波形监视器能够告知相机对于工作获取颜色空间的校准,但它们不能告知外观,并且因而不能在外观方面帮助最优设置。参考监视器是针对跨工作流的图像外观的参考,但它们仅在它所设置在的观看环境中的其可产生的色域和动态范围内传达图像外观时是准确的。如将描述的,外观相关的问题从预可视化到终端屏幕,对现代作品的创作者、导演和制片人产生影响。这包括相机设置和相机平衡,曝光,聚焦,从获取到后期制作而传达外表,场景匹配,在用所应用的特效对内容进行编辑、颜色分级时确保跨多个地理上分布的座位的图像一致性,并且然后在主控阶段准确地对内容进行转码,因此当在剧场中、在电视上、在计算机显示器上、或者在诸如平板或智能电话之类的移动观看设备上观看时它可以如所意图的那样被看到。所有这些问题与外观有关,并且挑战是不能呈现工具以有效地对HVS及其适配进行建模的结果。
发明的实施例解决现有技术中的这些和其它问题。
附图说明
图1是示出数字成像中的典型创建和呈现工作流的图解。
图2是图示对现代移动图像产生有影响的问题的图解。
图3是图示适用于这些应用的人类视觉系统的细节的图解。
图4是图示在视网膜图像处理的情况下发生的两个关键适配的图解。
图5是图示针对示例性工作流而从捕获到显示所遇到的光能中变化的图解。
图6图示色域压缩和扩展以将源颜色空间映射到目标颜色空间。
图7图示触发自适应外观效果的外部感知参数。
图8是图示分布颜色空间、设备及图像本身的图像色域和动态范围的变化的图解。
图9是图示设备坐标、与设备无关的坐标以及与观看环境无关的坐标图像表示模型的图解。
图10是图示在如今的实践中的代表性的设备无关的颜色工作流的图解。
图11示出特定于移动图像的、跨内容创建工作流的在使用中的工具的类别。
图12是图示根据本发明的实施例的图像外观框架的图解。
图13是图示图12的图像外观框架可以解决的应用的图解。
图14是图示从图12的图像外观框架的模块所构造的图像外观监视器的组件和根据本发明的实施例的附加功能组件的图解。
图15是图示根据本发明的实施例的在图14中图示的IAM功能的示例性物理实现方式的图解。
图16是图示根据本发明的实施例的在呈现层、图像外观操作和限定(qualification)以及图像外观模型之间的层次关系的图解。
图17是图示根据本发明的实施例的在呈现层和图像外观限定器以及在后期制作中应用到场景匹配的操作的功能相互关系的示例的图解。
图18图示根据本发明的实施例的主图像外观处理流和架构。
图19图示根据本发明的实施例的在处于图像显示模式的图像外观显示的图像外观监视器上示出的示例性图像,所述图像显示模式具有应用于它们的各种亮度限定。
图20图示根据本发明的实施例的选项以用于将纯色或渐变映射到处于与应用的限定器和操作相对应的映射的颜色模式的图像外观显示的图像像素。
图21图示根据本发明的实施例的在映射的颜色模式中的渐变的效用示例以告知用于给定场景的最优相机曝光和灯光布置。
图22图示根据本发明的实施例的在处于图像显示模式的图像外观显示中表示的参考图像和用以匹配到参考图像的图像。
图23图示根据本发明的实施例的用于图像外观显示的图像对比模式的竖直和水平非相关的选项。
图24图示根据本发明的实施例的用于图像外观显示的、针对参考图像和待匹配图像的图像对比模式的竖直和水平非相关的选项。
图25图示根据本发明的实施例的使用用于图像外观显示的图像对比模式的竖直和水平非相关的选项来并排比较参考图像和要匹配到参考图像的图像。
图26图示根据本发明的实施例的以用于图像外观显示的图像对比模式的水平和竖直非相关而显示的参考图像减去待匹配图像的图像外观差异。
图27是根据本发明的实施例的在对所感知的清晰度的限定区进行了说明的图像外观显示的图像细节模式中观看的示例性图像。
图28图示根据本发明的实施例的光显示和颜色显示的同步,所述光显示和颜色显示二者是呈现层的部分。
图29图示根据本发明的实施例的针对三个不同的投影而调节光和颜色显示的示例。
具体实施方式
在图1中示出用于创建和呈现移动和静止图像二者的一般场景到屏幕的工作流。本撰写中的焦点是用于移动图像的数字内容创建,因为它是最复杂的,而且将指出对于印刷的不同的问题和解决方案。
外观或外表在预可视化中被概念化,并且将在制作中用于实现外表的工具和方法被尽可能多地预先规划,以减轻制作的高成本。由加利福尼亚州圣何塞的Adobe
Systems公司制成的用于计算机的图像编辑器PHOTOSHOP可以用于建立所期望的艺术化外观的初始概念。承载如在经校准和特征化的监视器上所见的图像的色度测量(colorimetry)的查找表(LUT)可以用于将该外表承载到制作中。对于特效,演员在蓝屏拍摄中移动穿过的标记和点被细心规划。演员移动穿过的虚拟环境的粗略计算机图形(CG)构建可以被构造。在制作中将该虚拟环境叠加在演员蓝屏拍摄上,以确保演员的恰当移动。与在用以获取内容的相机和物理介质、胶片是去耦的时相比,相机的选择现在甚至更加重要。这是因为,相机传感器代替了胶片。设备房在制作之前一般将执行所选相机和镜头的预先校准。
获取在建立和使能外表的最终外观中起主要作用。使用电影院或者高清晰度(HD)相机或者数字单镜头反光相机(DSLR)、通过灯光和设置设计以及数字获取的连续镜头(footage)来设置该外表。最显著的问题之一是在支持所期望的外表的相机动态范围内并沿着所述动态范围而准确地安置场景元素。理想地,这可以被执行,使得沿着给定对比曲线的场景元素的该安置可以关于它跨一个或多个终端显示器和观看环境、对于终端观看者而言将会看起来如何而被优化。这涉及经由以给定的增益和光圈对灰度系数的调整、镜头选择以及灯光的布置、品质、温度和强度来实现对相机的压缩简档进行最优成形的正确混合。在数字获取情况下的一个挑战是关于工具不能基于内容将看起来如何而告知这些因素。这适用于在 片场(on-set)监视器上的准确外观,或者在它将在工作流中的下游或者甚至在终端屏幕处显现时适用。另一个问题是在超过屏幕上的监视器光学器件的高分辨率图像格式和助理摄影师对监视器的观看几何结构的情况下实现准确聚焦。最终,期望的是确保所获取的连续镜头使能在毛片中的所期望的外表并将电影摄影师意图的外表传达到后期制作。对于后者,诸如颜色决策列表、指定在制作时利用颜色分级对图像做出的颜色调整的元数据、或者外表LUT之类的工具用于从制作向后期制作承载外表。但这些是设备无关的实现方式,并且因而不能准确地承载外观。
与外观相关地,后期制作取所获取的连续镜头,并通过以颜色分级和特效而对图像的调整来浸染最终外表。在高价值内容的静止图像(诸如广告)的情况下,PHOTOSHOP是用于后期制作的事实上的标准。对于较低价值的经济内容,诸如婚纱摄影,同样通过Adobe Systems的LIGHTROOM和通过加利福尼亚州库珀蒂诺的苹果公司的APERTURE提供较简单的工作流。
对于电影院和电视的移动图像,共同的后期制作应用包括特效“FX”和颜色分级。在颜色分级中,艺术家用选择的场景设置外观,并且然后如所期望的那样宽松或紧密地、跨各剪辑而承载该外观以用于场景匹配,并且承载整个影片以使外观的弧成形。影响颜色分级的问题是场景匹配。在艺术家为选择的场景设置了外表之后,跨各剪辑而承载该外表的外观是乏味的。对于给定的项目,30%的时间可能致力于设置外表,并且然后70%的时间花在跨场景以及作为整体的影片而承载该外表。可以更好地使能可以改进该部分过程的场景匹配的工具将在紧密的安排下增值。对于高价值的制作,便于跨场景而承载外表的外观但是将控制留在艺术家的掌握中的工具是最好的。对于较低预算的制作或摄影,调整剪辑的自动化的工具将是有益的。特效越来越多地用在电视中以帮助区分商业广告以及用在高价值的片段式电视中,但是紧密的制作安排需要并行过程以浸染内容中的效果。这可能涉及很可能在地理上分散的数十个座位。如上所指出的挑战在于跨分布的FX开发座位以及颜色和编辑座位而一致地管理图像外观。
回来参考图1,在执行了预可视化、获取和后期制作步骤之后,路径在移动和静态/静止图像之间分开。
在印刷介质的情况下,软校样典型地用于对图像在特定的纸张和墨组合上将看起来如何进行仿真。软校样可以使用简档来表征通过纸张和墨的化学相互作用而对颜色的物理再现。由PHOTOSHOP使用的图像表示模型是CIE LAB(国际照明委员会1976年的颜色空间定义)的专有版本。CIE LAB是设备无关的图像表示,并且因而不能对HVS适配进行建模。这就是为什么印刷往往看起来相当不同于在监视器上使用PHOTOSHOP所仔细构造的内容,除非它在对应于D50照明的灯光下被观看,并且设置成对照白色到中灰的周围环境。
在数字内容的情况下,在后期制作中使用的主控格式被转码成适合于分布模式和终端设备的分布格式。这些格式典型地涉及用于在后期制作中设置外表的格式的色域、动态范围和分辨率的压缩。如今的与设备无关的工具不提供将外表承载到各种终端屏幕和设备的能力,所述各种终端屏幕和设备可以计及与压缩、终端观看环境和设备以及图像本身相关联的自适应外观效果。这是为终端屏幕的每个主要类别而驱动分离的颜色等级的东西。目的是使得终端观看者能够尽可能接近地看到所意图的最终外表的外观。事实上,解决主控中的该问题被描述为由短语“分级一次,转码许多”所捕获的行业“圣杯”之一。
另外,必须检查内容,以确保它顺从分布和设备颜色空间色域,但是这是由波形良好服务的领域。
一旦被创建,作品在数字显示器或印刷介质上被示出。如今适当的颜色工作流与设备无关,需要终端观看设备或媒介既被校准(仅仅是设备)又被特征化。虽然数字影院倡导(DCI)的规范为数字影院提供了对数字投影设备和观看环境的良好表征的描述,但是电视和移动设备被较宽松地定义。在电视的情况下,终端消费者典型地不知道如何恰当地设置他们的设备并且制造商将经常添加某种形式的视频处理,所有这些使将所意图的外观承载到终端观看者的目标进一步复杂化,所述终端观看者已经被与设备无关的工作流所妨碍。如下面将描述的,为了帮助“场景到屏幕”地管理图像外观,所需要的是在这样的图像表示模型上工作的工具:所述图像表示模型扩展与本设备无关的颜色工作流,从而还提供观看环境、移动图像、颜色空间和动态范围独立性。换句话说,它可以对与这些因素相关联的自适应外观效果进行建模。
图2是图示对现代移动图像制作有影响的问题的图像,所述问题为上述的当前图像外观挑战设置了上下文。最显著的问题是从胶片到数字的转变。最新一代的数字影院相机在色域和动态范围方面满足并且甚至超过胶片的能力。因而,相对于所需的选择,胶片是艺术化的。工作流优势,包括减少成本和处理时间,已经使摇摆不定的事态猛烈地摆向数字方向。
当胶片是获取和承载图像的介质时,与图像外观相关的相同问题存在。但是经过多年积累的知识和实践,过程“勇于”(gamed)与创建、承载外表的外观相关地、在稍微令人满意的程度上调整图像。
例如,在制作中,由电影摄影师用于创建外观的工具是灯光设置、镜头选择和生胶片的明智选择。胶片在其对光能到胶片密度的调制方面被良好地表征。要考虑的最重要的属性是对光的灵敏度、压缩简档和胶片颗粒的大小。使用在曝光表用以测量和管理对比率的情况下的现场读数、基于Ansel Adams区系统而管理跨场景元素的成形对比。
胶片的制造商内置了压缩简档,其考虑在剧场中减小的所感知的对比度,这产生于被变换成在变暗环境中更加灵敏的人类视觉系统。对光能的该增高的灵敏度的结果是:它“提升”较暗的颜色而没有影响较亮的颜色,因而减小整体感知的图像对比度。胶片具有3.6的幂律灰度系数,其使较暗的颜色变亮,以将它们置于与它们在黑暗的剧场中将被如何感知更加一致的亮度范围中。虽然这在方向上是正确的,但是感知的HVS宽带图像对比度具有与“单一大小”的幂律压缩所捕获的内容相比更多的变化。
如今,在用于影院和电视化内容二者的全数字工作流的情况下,光能到胶片密度的物理换能由数字传感器取代。对此的积极方面是通过可以在相机中调整灵敏度和压缩简档的方式而在对外观进行成形中的更大的灵活性,所述调整具有在校准的参考监视器上立即可见的结果。该灵活性的代价是颠倒了用于基于胶片的内容创建的所建立的“配方”。在获取处,这由高端数字影院相机的最有影响力的制造商所采取的三种不同的方法所说明。通过为传感器提供基于胶片的压缩简档并限制对该简档或灰度系数进行修改的能力,通过德国慕尼黑的ARRI的ALEXA数字相机试图尽可能透明地将经验从胶片携带到数字式。通过获取原始线性光成为传感器数据,所述传感器数据在随后的阶段被转换为视频,来自加利福尼亚州尔湾的Red
Digital Cinema Camera公司的EPIC数字相机采取对静止DSLR拍摄熟悉的方法。这将白点和压缩的应用延迟到后期制作。这被认为在后期保留更多选项,但是它们仍然通过其中获取未经优化的方式而受制约。这必须利用基于将应用的已知压缩而对灯光以及场景元素和相机的安置做出调整。在本质上,利用原始工作流,电影摄影师不能看到正捕获的内容,这可能是令人沮丧的。来自日本的Sony公司的Sony F65提供对胶片进行仿真的压缩简档,但是还使能对相机灰度系数的大量调整。图2中所示的其它问题包括:继续聚焦于为高价值制作提供视觉丰富的内容,所述高价值制作获得多数消费财富;电视和影院现在共享相同的工具和工作流。这使得能够实现在电视中对电影外表和特效的增加的使用,但它驱动更多复杂性来在片段式电视制作安排上创建内容。
图3图示人类视觉系统“HVS”的细节,所述人类视觉系统在将其灵敏度适配于光谱组成和外部环境能量中的改变、并且然后处理和压缩所感测的信息以用于其中最终形成视觉感知的皮层处理方面是非常高效的。正是在跨内容创建所使用的工具中的当前图像表示模型不能对这些适配进行建模处于工作流挑战的核心。因而,提供能够针对内容创建而对HVS的相关适配外观效果进行建模的更准确的外观模型是其中可以做出最大贡献的领域。
首先描述的是图像外观属性,图像外观属性对于当图像显现在不同的观看环境和显示设备或物理介质中时复制图像的外观而言是重要的。然后描述关于内容创建和终端观看环境的自适应HVS处理。
对于在外观的创建和向前承载中起作用的系统,艺术化外观的定义在可以被建模的图像外观属性方面是有用的。从在颜色外观模型CIE
CAM02中达到顶峰的颜色外观研究中完成的大量工作中,由CIE认可的最新颜色模型,颜色外观属性被良好地定义和理解。这些包括色度、色调和亮度的相对颜色属性以及亮度和色彩度的绝对颜色属性。存在对于颜色在不同环境和设备中观看的外观中匹配的广泛共识,相对颜色外观属性应当类似是必要的但仍不足够。其中这不足的示例是由显示设备的亮度中的差异所驱动的(所述亮度中的差异影响所感知的亮度、色调、色度和色彩度),并且因而对如在关于HVS适配的章节中所述的外观有显著影响。
在CIE CAM02中定义的属性已经良好地服务了颜色匹配行业,但是对于复杂的静止或移动图像,需要附加的外观度量。自适应外观效果由图像的空间结构和频率产生,并且对于移动图像由其时间动态产生。这些外观效果包括全局图像阈上无色和有色对比度以及所感知的图像清晰度(阈值对比度)。有色对比度是复杂的,在于它从以低空间频率来放大色差变换到以较高空间频率来混合色差。所有这些形式的对比可以被认为是图像的属性(诸如其感知的色调平衡、清晰度或颜色)的改变率。在观看距离和图像尺寸中的差异也对包括所感知的图像清晰度以及色调和有色平衡的外观有显著影响。观看几何结构对于可能在影院中或智能电话上观看的内容而言高度相关。诸如CIE
CAM02之类的颜色外观模型用简单“图像”而被开发和测试,所述简单“图像”包括一个或少数色标,其中周围环境被表示为单个颜色,但是所述颜色外观模型不提供机制来合并如上所述的复杂图像参数。iCAM是为复杂的静止图像提出的图像外观模型。iCAM的一些有关缺点包括不能对与移动图像和观看几何结构的效应相关联的外观效果进行建模。
因此,对于静止或复杂的图像,它将有助于扩展颜色外观属性,从而以人类感知它的方式而包括宽带图像有色和无色阈上对比度和阈值对比度的表征。
这些图像属性可以由各自为有色和无色对比度的两种形式来表征。这些对比度表征旨在表示视网膜输出的处理,所述视网膜输出的处理在皮层处理的第一阶段中仅仅处理局部差异。这合并了全局和局部图像方面来为每只眼睛构造视网膜拓扑映射图(retinotopic map),所述视网膜拓扑映射图包括基本视觉构建块,其包括上述的对比形式以生成边缘及其取向、纹理等,所述边缘及其取向、纹理等由更高的皮层处理来处理以形成感知。为了图像外观的目的,不解决双眼视觉。
在给定的适配状态下的视网膜处理的输出的动态范围约略是102,而场景亮度可以在1010的范围之上变化。因而,皮层HVS处理需要在该有限的动态范围内尽可能高效地对图像元素的和作为整体的图像的所感知的无色和有色差异进行高效分配。下面所述的四种形式的对比描述图像差异的不同方面,以使得能够实现支持HVS的主要目的的该动态范围的最优利用,这将告知什么在那外面以及它在何处。
基于亮度的宽带图像阈上对比度在跨图像的亮区域和暗区域的分布方面描述我们如何整体地感知图像。这通常由艺术家称为图像的色调平衡。在“Effect
of luminance on suprathreshold contrast perception”(由E. Peli,J. Yang,R. Goldstein,Reeves,J. Opt. Soc. Am.,1991年8月,Vol.8,No.8,pp.1352-1359)中,Peli讨论了在提供有价值的心理物理学数据的复杂图像和所进行的实验中在对所感知的宽带动态范围进行量化中的问题。他的工作说明了感知的宽带图像对比度与空间频率和图像结构(跨图像的细节分布)的关系。他发现:跨图像的、以周每度cpd的空间频率和图像细节的分布和量影响如何由HVS分配宽带图像对比度,这继而对所感知的图像对比度进行成形。对此的一种可能的解释是:HVS将有限阈上对比度“预算”中的更多的分配给支持对象识别的场景的更详细的部分。
基于亮度的阈值对比度是指HVS在图像的高空间频率区中解析差异的敏锐度。这发生在固定的相对于漫游的注视中。在神经节网络中本质上是点型探测器的东西成为视网膜拓扑映射图内的具有基础皮层处理的边缘和纹理。灵敏度得自视网膜中央凹中的光传感器的聚焦,其为在由2°视角所对着的区中的给定对象提供HVS的最大敏锐度。HVS敏锐度的极限发生在近似60周每度(cpd)处。
有色对比度可以通过红-绿和蓝-黄对立的对比度来描述。颜色通常不用于标识对象,而是相反帮助人类确定关于对象的品质。例如,颜色使得人类能够确定果实是否成熟,但不将对象标识为水果。因而有色灵敏度具有关于图像频率的低通特性。例如,通过已知为同时对比的机制来放大(增加的有色对比度)以低空间频率而互相穿插的两种颜色的感知。以较高的空间频率,它们看起来似乎混合了,这被描述为扩散(spreading)。该效果沿着对立的颜色维度最显著。因而感知的有色对比度以及在此情况下的色调随着跨图像的空间频率中的差异而改变。给定HVS增强的有色对比度中的颜色的功能,以较高的空间频率将浪费有限的视觉处理资源。
这些形式的感知对比的表征以针对给定对比类型的、跨图像平面的颜色和光差异的所感知的改变率的形式。
对于实现目标而言重要但是困难的是期望跨内容创建工作流并且向终端屏幕承载图像或图像序列的外观。如果相对颜色外观属性以及如上所述的对比度的有色和无色形式二者看似类似,则在不同点处的图像更可能被感知为类似。附加的要求是需要计及亮度,所述亮度影响相对颜色外观属性和色彩度,并且还影响所感知的有色和无色图像对比度。图像亮度跨内容创建工作流而显著地变化。它始于在场景中物理上存在的动态范围,相机可以捕捉的动态范围中的其压缩形式,用于在后期制作和主控中的监视器校准的亮度水平设置,并且然后基于设备可以生成或者在显示的终点处纸张将反射的亮度来被调整。使用中的图像表示模型没有合并所感知的复杂图像对比度或亮度变化的效果,从而限制它们对于实现该目标的功效。
图3图示包括视网膜和基础皮层处理的人类视觉的简化功能图。这些是对于HVS的模型在内容创建和终端观看者呈现的应用的上下文中告知如上所述的图像外观属性而言重要的组件。该图解图示了对于HVS的所图示的功能块的适配触发和经适配的响应。适配触发是对应于外部环境的方面的参数或内部生成的感知参数,因为图像由修改给定的HVS响应的HVS处理。HVS适配和响应的该简化的模型提供了一种框架,用以既说明在对外观建模中用当前工具情况下的问题,又描述了所提出的解决方案。在图3中,A[n]将HVS响应的灵敏度中的改变表示为图像本身和特定于HVS处理的给定点的参数的函数。HVS[n]用其通过A[n]的输出所调制的响应来表示对感知输入到所适配的输出的处理。
视网膜处理发生在视网膜内,并且包括以下功能:光学感测入射光的局部对比度差异并且然后对其进行编码。光谱的光能被换能成调幅的光化学能量,并且然后被编码成无色和两个对立的颜色通道,其然后经由视神经而被传输到丘脑中的侧部膝状体。
皮层处理是极其复杂的,并且对其整体的建模远远超出为了针对所述应用而承载图像外观的目的所可能或必要的内容。然而,存在待考虑的基础皮层处理的重要方面。具体地,这包括处理侧部膝状体的输出,用以为每只眼睛构造视网膜拓扑映射图,其保存光传感器的相对空间信息并在给定的适配状态内分配无色和有色阈上和阈值对比度。这还包括颜色属性、边缘检测和取向以及模式检测。这些形成基本视觉构建块,其由更高级的皮层处理所处理以形成从中显现我们的视觉感知的感知。对这些感知构建块的经适配的响应进行建模的能力将对所述应用做出显著的贡献。
在图3中,下面更详细地描述在感测、编码和基础级皮层的功能块内的适配触发和经适配的响应。
感测——人眼内的光传感器通过具有不同光谱灵敏度的三个视锥类型和杆状体而将光子换能成调幅的光化学能量。杆状体比视锥对光更敏感,而视锥提供三色光谱差异化,这使能构造我们能够感知并且出自敏锐度的色域。
图4是图示在该阶段、在眼中的光传感器的情况下发生的两个关键适配的图像。有色适配可以被认为是对S、M和L(短、中和长)视锥的独立增益控制,其使能颜色恒定。相对灵敏度中的改变由基于颜色记忆的皮层处理而驱动,并且需要存在照明光源和被照明的对象。因而,在具有可忽略的外部灯光的昏暗剧场中,HVS缺乏与照明光源的光谱功率分布相关的线索来触发适当的响应。适配触发是在观看环境中的照明光源的光谱功率分布。
亮-暗适配是对外部发光和照明光谱能量的适配。为了跨在发光能量中范围可以高达1010的环境而提供高敏锐度,HVS在给定的适配状态下将其动态范围限制到102。为了适应不同光谱强度的环境,HVS跨1010的范围而有效地滑动其102响应,如图4中所图示的。
在神经节网络中、以中心-环绕对抗的方式来对光传感器输出进行求和以及处理。这经由三个通道而将局部无色和对立的颜色差异作为输出而提供到视神经中。这些通道是无色响应以及对立的红-绿和蓝-黄响应。该中心-环绕架构设置经编码的发光和有色阈值对比度的限制,并且由局部相对于宽带图像的差异来驱动。基于观看几何结构、图像空间和时间频率以及平均局部亮度,适配采取在有色和发光阈值响应的灵敏度中改变的形式。
基础皮层处理、视网膜处理输出通过视神经被发送,并且在丘脑中的侧部膝状体核(LGN)处被接收,对神经节网络的输出进行镜像。它既充当中继站,而且还认为到LGN的皮层反馈对被发送到视觉皮层的内容进行成形。
皮层处理的第一阶段采用视网膜处理的无色、红-绿和蓝-黄阈值差分输出,以在用于每只眼镜的视网膜拓扑映射图内构建基本视觉构建块。有色和无色阈上和阈值对比度被优化,以告知HVS的主要的“什么”(对象)和“哪里”(对象、对象的导航、操纵在哪里)功能。这些视觉元素包括如上所述地优化有限对比度范围的方式。而视网膜处理限于局部差异效果,在此阶段计及和构造全局图像差异。这些对比度优化成为包括同时对比度、匀边、扩散等的良好归档的所适配响应的基础。
对象识别是基于无色的,并且由已知为视网膜拓扑(retinotopy)的认知空间构造所服务,所述视网膜拓扑保存视网膜光传感器的顺序空间取向和无色阈值对比度。从无色阈值对比度边缘中,根据在视网膜的神经节网络中实质上为点型检测的东西来构造取向和模式。颜色不告知是什么对象,并且因而具有低通灵敏度。
对这些对比形式成功地进行表征和建模对承载图像外观而言是重要的,所述图像外观由若干关键的图像外观操作所使能,诸如用于内容创建和显示的应用的帧相同或不同图像的外观差异。对于这些应用而言重要的感知属性包括:色调、色度、色彩度、光度和亮度的经适配的颜色外观属性,以及如上所述的四个经适配的对比形式,以在复杂图像中对颜色和亮度对比度的感知动态进行建模。影响如所述的图像外观的经适配的HVS响应是整体图像结构、空间和时间频率、观看环境、设备或媒介特性等的非线性函数。
皮层处理计及使能颜色恒定并且被描述为有色适配,所述皮层处理包括对调整的光传感器的灵敏度的反馈,使得在不同的照明光谱功率分布下白色显现白色。
总而言之,HVS的适配触发或者经适配的响应(其影响外观)包括图像亮度和照度、图像空间结构、以及空间和时间频率、感知观看环境参数、显示或印刷介质特性、以及观看几何结构。HVS的经适配的机制包括有色适配、亮-暗适配、阈上和阈值对比度、边缘检测和取向、以及纹理。由这些适配产生的外观效果的示例包括同时对比度、匀边、扩散、感知的清晰度、以及有色和无色的色调平衡。
接下来,描述在内容创建和显示中的HVS适配的这些效果。
在内容创建中的核心外观问题是:“相同”的图像由于对如上所述的由设备或印刷介质特性设置的不同条件、观看条件、以及图像结构和动态进行响应的HVS的适配而将显现得不同。在Kevin M. Ferguson的题为“Method
of Viewing Virtual Display Outputs”的美国专利申请13/340,517中解释本文所述的一些概念,所述专利申请在本文中通过引用而被并入。
随后是在内容创建中由HVS适配所触发的最重要的外观效果,所述HVS适配如果未被恰当地管理则以如上所述的范围从引人注目到细微的方式影响外观。与HVS适配相关的外观效果可以被分类在两种主要类别中:在创建内容中的问题,以及在终端屏幕或印刷媒介处观看内容中的问题。
在创建内容中的问题。这些问题放出在从预可视化直到主控的主要应用中的每一个内并跨所述每一个而放出。这些可以被宽泛地分类在两个领域中:在获取中优化图像聚焦和亮度的压缩,以及跨工作流并且在主要工作流应用中的每一个内承载外表。
在获取中,除了承载外表之外的下面描述的两个重要问题必须需要通过相机设置和灯光的活动而优化特定于所期望的外表的场景亮度的压缩,并且在相机光学器件和传感器支持日益更高的分辨率格式(包括2K、4K以及甚至5K)时实现准确的图像聚焦。
相机的设置、镜头选择,以及灯光在针对相机的有限动态范围而优化场景的光谱功率分布的压缩中全部起重要作用。相机的动态范围由其光学器件和传感器二者门控。光学器件通过镜头光晕和衍射而压缩动态范围,所述镜头光晕跨图像而随机地增添光,所述衍射通过分散由点扩散函数描述的光子而减小亮度。传感器通过在亮端上的传感器饱和以及以用于黑色的噪声的形式来限制动态范围。与在HD广播中的标准设置相比,现代光学器件和传感器系统可以实现令人印象深刻的动态范围视角,并且其开始超过胶片的动态范围视角。例如,ARRI
ALEXA相机具有13个光圈的动态范围。虽然13个光圈可以开始涵盖没有日光的一些场景的动态范围,但它仍然是幂律压缩,并且电影摄影师需要对如何沿着给定的对比范围而安置场景元素进行控制。
传感器以线性方式响应于光。对于非原始工作流,幂律压缩应用于对于工作颜色空间而言适当的传感器输出,其对于HD广播是2.2,或者对于影院是2.6。被称为灰度系数的该简档描述了在相机的传感器、光学器件和处理系统的有限动态范围内的对比度分配。数字传感器提供灵活性来通过选择不同的幂律指数来使压缩简档成形,并且对于给定的幂律指数,即修改“膝盖”和“脚趾”的能力,其使分别对高亮和阴影的响应成形。这样做是为了支持以色调平衡的形式的整体外表,包括高对低的对比度图像或者高调对低调的图像。高调图像意味着整体感知的亮度比中灰更亮,并且低调图像意味着整体感知的亮度比中灰更暗。还合期望的是跨支持艺术化外表的对比范围而管理场景元素的安置。
合期望的是基于外观以及特别地它跨各种终端屏幕对于观看者而言将看起来如何、使沿着该对比曲线的场景元素的安置和压缩的简档最优地成形。影响图像对比度的外观的各种因素包括图像亮度和空间结构及频率。对图像在终端观看环境处将看起来如何进行仿真的能力将确保跨图像的对比度被优化为它对于终端观看者将会显现的那样。基于设备坐标的波形监视器不能告知基于任何所述的外观属性而对相机的灰度系数、增益和曝光以及灯光的调整。
在原始工作流的情况下,这些目标更难以实现,因为传感器数据不具有所应用的灰度系数以及白点,直到它在已经被获取之后被处理为止。这遵循静止图像摄影中的工作流,然而电影摄影师往往受挫,因为他们没有在参考监视器上“看到”他们正捕获的内容。此中的缺陷在于:如先前所描述的,虽然足以在整体动态范围内拟合场景,但它不虑及在对灯光、相机和场景元素的安置进行调整的情况下沿着对比曲线而安置场景元素。
实现准确的聚焦是在获取中的另一个挑战,因为图像格式的分辨率超过相机上监视器的光学器件的解析能力。该目的通过图像尺寸和观看距离的组合而进一步折衷。存在两个主要的聚焦应用。这些是为相对静态的场景实现锐聚焦和调焦以针对运动中的对象而维持锐聚焦。峰化是在如今的相机中用于标识图像中的锐边缘的方法。虽然可以调整对边缘的灵敏度,但是它一次仅显示一个灵敏度调整。将合期望的是为不同的聚焦区提供感知上经限定的图像。这意味着:单独地或组合地仅仅示出落在所指定的聚焦范围内的图像区。典型地,感兴趣的范围是在景深内且失焦的最锐聚焦点。对于调焦,图像的非相关部分是分心的事,所以只示出锐聚焦的图像的那些部分将是有益的,其中显著简化了图像的剩余部分。
外观相关的问题的第二主要类别必须需要跨内容创建工作流并且在主要应用的每一个内承载艺术化外表的外观。如下所述,发明的实施例解决这些缺陷。
跨工作流而承载外表基于帧相同的图像。跨工作流而承载外观的示例包括从预可视化到制作而承载概念外表的外观,以使得调色师能够看到电影摄影师所意图的外表,并且最终将最终外表的外观承载给终端观看者,所述最终外表具有的内容在主控中被转码为各种分布格式。
在应用内承载外表涉及帧相同的图像和不同的图像二者。在获取中,跨不同图像而承载外表的外观的示例包括基于外观的相机平衡以用于多相机和3D拍摄二者,或者在镜头或场景改变的情况下保持所获取的图像的外观。这还可以包括:跨地理上分散的制作而协调外观或重新建立设置以从先前的时间点恢复外表。在后期制作中,跨不同图像而承载外表的示例是场景匹配。在后期制作中跨帧相同的图像而承载外表的示例包括确保跨数十个分布的FX、颜色和编辑座位的图像外观一致性。
图像开始为用相机所获取的格式,然后被转码成经操纵以浸染外观的格式,并且最终它被转码为分布格式。在这些情况的每一个中,在通过具有所应用的变化形式的压缩简档的动态范围和工作颜色空间所定义的有限色域内表示图像。成功地将外观承载到终端屏幕包括:跨这些颜色空间和动态范围包络而准确地映射图像外观。
跨工作流而承载外表被在获取、后期制作和最终主控中发生的格式转换所复杂化。这些转码操作涉及跨颜色空间和动态范围中的变化而映射内容。因为整体工作流是与设备无关的,所以不利用这些转码来保存图像外观。
图5图示针对示例性工作流的、在“场景到屏幕”中所遇到的光能中的变化。这始于场景亮度,所述场景亮度被压缩到相机的动态范围,典型地在7至13个光圈的动态范围中,分别是2.1到3.9 Log10。它然后可能被转码为ACES,由美国艺术和科学学院赞助的与设备无关的图像互换格式,其支持多达17个光圈范围,5.1
Log10,用作用于经由颜色分级和特效而浸染外表的中间颜色空间。这然后被转码为对于显示设备和对该设备的分布模式而言适当的颜色空间。最佳显示设备能够产生的对比范围大约是102或2 Log10,其还对应于在HVS的亮-暗适应的给定状态下的动态范围。
图6图示跨颜色空间的色域的类似压缩-扩展-压缩,其中转码将优选地承载外观。为了这样做,需要跨不同颜色空间色域的感知上准确的色域压缩和扩展。理想地,外观属性跨工作流被承载并且到终端观看者,其中多种格式转码涉及色域映射以及动态范围扩展和压缩,并且其计及与终端屏幕、投影设备和图像本身相关联的自适应外观效果。与设备无关的现今的工具不能有效地对这些因素的外观效果进行建模。这些限制的结果的重要示例是:对于高价值内容,分离的颜色等级特定于每个终端屏幕而被完成。该示例单独说明了对于克服当前工具的限制的活动的时间和花费。
在图7中图示人类视觉系统响应于的观看环境和设备或印刷媒介的参数的细节。在参考HVS响应于对象和照明二者这一事实的视觉三角的上下文中示出它们。驱动HVS的适配的参数由椭圆文本框表示。视觉三角帮助描述观看环境、设备、图像和分布颜色空间的交互。
观看环境的效果包括:观看几何结构和图像尺寸,在对图像的观看环境和周围环境中的照明光源。照明光源对图像外观的效果由视觉三角中照明(光谱功率分布的表征)与对象以及照明对HVS的交互来描述。对照明的主要自适应响应是减低提供对象的颜色恒定的照明。这通过有色适配的机制而发生,所述有色适配机制可以被认为是三视锥光传感器类型的独立增益控制。在有色适配的情况下,这允许白色跨照明光谱功率分布中的差异而显现白色,这继而驱动类似的颜色外观。例如,香蕉在里面或外面看起来都是黄色。为了发生有色适配,需要被照明的对象和照明源二者。光源为视觉系统提供线索以“白平衡”,其涉及对LGN的认知反馈。在昏暗的观看环境中,视觉系统缺乏白平衡的线索,并且因而有色适配不发生,而在更亮的环境中在电视上观看内容使得HVS能够有色地适配于光源的色温。
有经验的调色师直觉地理解如何利用有色适配。他们通过跨不同的场景使图像的白点移位而这样做。例如,如果观看者看到时间延长系列的剪辑,其具有偏黄色,然后继之以到具有偏蓝色的场景的突然改变,则效果将甚至更加显著。这是因为,观看者完全适应了偏带黄色,并且适应偏蓝色花费时间。但是调色师往往通过与最终观看序列不同步的剪辑而工作,并且因此有色适配将导致他们与观看者所看到的内容“去同步”。需要能够更有效地对外观进行建模的工具来帮助减轻这些效应。在昏暗的剧场中,该效应对终端观看着将更加显著,这是由于缺乏照明来触发有色适配。在对于电视的较亮观看环境中,该效应将不太显著。
设备和图像的周围环境是对于HVS的对象。数字呈现的内容是通过投影或自投影设备,其具有可产生的色域、亮度和对比度的不同能力。印刷介质由该介质的反射性质、其有效白色、以及特定纸张-墨组合的可产生的色域和动态范围所约束。设备或介质的可产生的亮度和色域中的变化以显著的方式影响图像外观。特别地,亮度中的变化缩放图像的相对颜色外观属性、色彩度以及阈上和阈值无色和有色图像对比度。观看环境中显示白色和照明白色的混合应当被计及以对有色适配进行建模。
图像的周围环境通过其颜色和平均亮度二者而影响外观。结果得到的外观效果的示例包括同时对比度。
图像本身影响所感知的颜色、图像对比度和清晰度。HVS所适配于的图像的因素包括其空间结构和频率,并且在移动图像的情况下包括其时间动态或频率。这些参数影响所感知的图像阈上和阈值无色和有色对比度、宽带图像色调平衡和动态范围以及颜色属性。
图8提供色域和颜色空间如何在终端观看环境中开始起作用的附加细节。为了说明这些效果,做出简化:观看环境参数的亮度水平是低的。被图示为(ⅰ)的分布颜色空间定义了图像可以实现的色域、动态范围以及亮度的压缩简档的整体包络,并且是HVS所主要适配于的内容。被图示为(ⅱ)的给定设备或印刷介质的色域和动态范围是分布颜色空间色域的子集,并且被图示为(ⅲ)的、HVS每时每刻所适配于的实际图像色域的范围跨设备能力的子集。为了外观建模的目的,有帮助的是在HVS方面认为具有被图示为(ⅳ)的、由分布颜色空间门控的整体响应,而同时在任何给定的时间点适配于被图示为(ⅴ)的图像组成。观看环境参数的效果附加于这些效果。
最终,另一个时间方面是对于HVS适配于所有这些因素所花的时间。HVS对所有这些参数和效果的自适应响应基于这些参数的复杂非线性交互。这继而对于跨当前没有用如今的工具建模的许多观看环境和设备或媒介而观看内容的终端观看者而驱动图像外观的显著差异。
观看环境问题不仅是针对终端观看者的关注点。艺术家在不同的并且经常不受控的观看环境和显示器中观看内容,这产生与上述相同的问题。例如,其眼睛适应了外部拍摄的场景的照明的电影摄影师可以去到内部位置,以观看场景在参考监视器上看起来如何。除非电影摄影师等待直到他或她的眼睛调节到内部对外部的条件,这可能花费大约数分钟,否则电影摄影师所看到的内容的外观在与设备无关的工具的限制内将不是准确的。这是由于如上所述的对不同观看条件的有色和亮-暗适配。
对于艺术家的外观相关问题的另一个示例是对于调色师,调色师在涉及影片弧上的外表时利用如先前所描述的有色适配的外观效果。问题是:调色师通常利用与最终观看序列不同步的剪辑而工作,并且因而有色适配对于他们与终端观看者而言不同地放出。为了补偿,调色师将频繁地尝试通过在D65照明下查看中性灰卡而重新校准他们的有色适配状态。这仍是有问题的,因为中性灰不太可能是正好在调色师正在从事的剪辑之前的内容。需要能够更有效地对外观进行建模的工具来帮助减轻这些效应,尤其在跨剪辑而承载外表的各种形式的情况下。
为了理解在内容创建中使用的工具上强加的障碍,首先需要看看那些工具内使用的图像表示模型的类别。这些图像表示模型是设备坐标、与设备无关的坐标以及与观看环境无关的坐标。图9图示这些类别中的每一个、在图像外观方面它们所能和不能建模的内容、以及使用给定的图像表示类别的设备的示例。
设备坐标是经设计以驱动观看设备并且在相机中使用的图像坐标系统。它们没有能力预测外观,因为不仅它们不对HVS的非线性适配进行建模,而且它们还与任何种类的感知坐标没有关系。例如,RGB图像表示为每个像素提供R、G和B值。这些R、G和B表示是独立的,并且在从黑到白的线性标度上。在获取中,图像往往以YPbPr坐标被表示,其中Y是具有应用到它的压缩幂律的亮度,并且Pb和Pr是可以或可以不被压缩的色差坐标。对于HD电视,幂律指数是2.2,以提供为一的净系统灰度系数,所述幂律指数2.2是阴极射线管的幂律响应的倒数。在YPbPr中,至少存在与光能的HVS处理的相似性,因为它们二者都是压缩的。从外观建模的角度,术语设备坐标是指图像表示模型不从设备被去耦这一事实。例如,如果要保持图像和观看环境恒定,则当在不同的监视器上观看时,给定的图像将看起来相当不同。这是因为每个监视器将具有对光的RGB的不同物理再现。不存在RGB坐标对感知协调的桥连,因而它不能跨具有对光的RGB的不同物理再现的设备而承载图像外观。
在设备上获取和观看内容,并且因而从设备坐标到感知的图像表示模型的变换是用于跨设备而承载外观的目的的起点。与设备无关的坐标系统能够将图像从设备中去耦。例如,对于具有可产生的色域和动态范围的相同能力、具有相同大小、并且在相同的观看环境中彼此靠近地被观看的两个监视器,与设备无关的图像表示计及两个监视器如何再现光方面的差异以及因而图像在两个监视器上将如何看起来相同。
这是通过两步过程执行的,其中设备首先被校准,并且然后被特征化。设备首先被校准到工作颜色空间,其调整设备增益以使得对于以三色激励(Yxz)坐标所表述的给定颜色空间,白色和最高色度红、蓝和绿原色对应于指定值。例如,如果设备是具有专用于每个RGB通道的一个传感器的相机,则在帧被设置到白色相机校准图表时,每个通道的增益将被调整成对应于颜色空间白点和色彩原色。这是用在场景中放置的外部校准图表和波形监视器实现的。如果工作颜色空间是众所周知的rec.
709,则相机的红、绿和蓝通道的增益可以被调整,使得白卡将读取落在如对应于D65的卡上的净光谱功率分布,即对于rec. 709颜色空间的白色。以类似的方式,波形监视器和外部校准图表用于调整相机传感器的增益,使得红、绿和蓝色彩原色与rec.
709色域一致,并确保所应用的压缩简档对应于2.2。
一旦设备被校准,它然后就被特征化,其响应于对三色激励(Yxz)值的已知颜色而提供光的设备物理再现的映射。例如,在监视器的情况下,色度计顺序测量所应用的色标,其具有已知的三色激励(Yxz)值对照该颜色的监视器再现,以构建该映射。三色激励是可以预测两种颜色在相同的观看条件下何时将看起来相同的颜色匹配颜色空间。它是从设备坐标到感知坐标的桥连,因为所有外观模型从预适配的三色激励(Yxz)图像表示开始。在内容创建中,参考监视器被校准和特征化,并且相机仅仅被校准。如果图像未被修改,则三色激励图像表示虑及上述的与设备无关的情景。
图像几乎被普遍地修改以浸染特定的外表,并且仅仅使用颜色匹配空间不足以使能对图像的修改。代替地,做出这样的修改使用大约由CIE
Lab(实验室)提供的感知上线性的色差空间。CIE Lab提供由亮度、色调和色度的相对颜色外观属性所定义的三维色差空间。在某种程度上实现的目标是要构造感知上线性的颜色空间。也就是说,在给定的欧几里得线段被移动通过该空间时,沿着这三个图像属性的感知差异中的改变将被感知为感知上线性的。线性色差模型使得矩阵变换的线性组合能够调整图像。例如,这允许PHOTOSHOP构造其分层的图像调整范型。每一层包括对像素的线性操作,所述像素继而可以被组合以产生最终的图像结果。
一个缺点是:CIE Lab不能够对自适应的外观效果进行建模。其有色适配变换被正规化成具有白色到中灰周围环境的D65的固定观看环境。CIE Lab的作者敏锐地意识到这些限制,这些限制是他们相对于外观模型而将它定位为色差模型的原因。CIE
Lab或CIE Lab的变型是当前使用中的所有工具的基础,所述工具的示例包括颜色分级系统、颜色空间转码器和外表Lut等。CIE
Lab不能对自适应的外观效果进行建模是关键问题,该关键问题成为与跨多个终端屏幕和设备或印刷介质而创建艺术化外表并且将它承载给终端观看者相关联的所述所有挑战的基础。
CIEAM97和CIECAM02是与观看环境无关的图像表示模型。它们能够对与观看环境和亮度中的变化相关联的一些适配进行建模。但是这些模型利用用于作为图像和周围环境二者的简单色标的心理物理测试集来被开发和测试,并且不具有对图像结构和动态的自适应效果进行建模的机制。因而,它不能承载外观,其中适配由图像本身的组成所触发。
iCAM是由Mark
Fairchild和Garrett Johnson开发的、于2002年在IS&T/SID第十届色彩成像会议上公布的图像外观模型。iCAM考虑与图像空间频率相关联的适配,并且其定为目标的益处之一是将高动态范围图像映射到能够由设备显示的较低动态范围。但是,它不包括时间图像频率,并且因而限于静止图像。不由iCAM建模的其它自适应的外观效果包括观看几何结构和图像尺寸,其影响所感知的色调和有色对比度、清晰度和颜色效果,诸如扩散。这些外观效果在如今的环境中是高度相关的,在所述如今的环境中在影院中或智能电话上可以观看相同的内容。
图10图示当今使用的代表性的与设备无关的颜色工作流。同样地,这不提供观看环境独立性。事实上,为了提供完整的解决方案以管理从场景到屏幕的图像外观,合期望的是除了观看环境独立性以外还实现移动图像、颜色空间和动态范围独立性。
在图10中图示的示例中,相机被校准到工作颜色空间和压缩简档。不存在可以在现场使相机特征化的现有工具,这限制可以平衡相机以尽可能相同地捕获场景所达的程度。诸如由印第安纳州的印第安纳波利斯的Cine-tal制造的Davio箱之类的颜色空间转换器用于将获取格式映射到被调整至颜色空间、幂律压缩和参考监视器特征化的格式。但是,因为它在与设备无关的图像表示上操作,所以它本质上从获取设备到参考监视器而承载色度测量与外观。这是重要的步骤,因为参考监视器是与艺术化外表相关的设置方面的视觉圣经。
参考图10的示例性颜色工作流可能包括以下过程。首先将图像从设备坐标转换到三色激励(Yxz)。理想地,设备既被校准也被特征化到操作颜色空间和灰度系数。然后将它转换到CIE
Lab,CIE Lab是在颜色分级或FX系统中的工作图像表示模型。在该点上,图像被修改以浸染所期望的外观或外表。然后,为了使得能够在不同的显示设备和颜色空间上观看图像,经修改的图像经历逆CIE
Lab到三色激励(Yxz)变换,并且然后被转换到适当的设备坐标,以用于在对从三色激励(Yxz)到该特定设备的映射进行描述的简档的帮助下进行显示。与设备无关的图像表示模型的所有所述限制阻碍当图像被获取或成形并在监视器上被观看时承载图像的外观,以给到内容创建中的另一点处的显示器或向终端观看者的最终呈现显示器。
图11示出跨特定于移动图像的内容创建工作流的常规工具的类别。这些类别是:获取内容、使内容成形、告知对获取和成形工具的调整、格式转换、以及投影设备。
首先,相机用于获取图像。虽然相机趋向于用更快的帧速率、诸如4K之类的更高分辨率格式以及增加的动态范围来推动行业中的技术包络,但当谈到解释场景灯光时它们是“沉默”的仪器。它们需要外部波形监视器,来为用于场景的给定灯光设置确保恰当校准到工作颜色空间和压缩简档。波形监视器使能相机校准,但是因为它们是基于设备坐标的系统,所以它们不能基于外观而告知对相机或灯光的调整,或甚至不能告知对由CIE
Lab使能的感知程度的调整。
信息工具告知在获取中对灯光和相机的调整,以及对使内容成形的颜色和效果工具的调整。信息工具可以基于设备或与设备无关的图像表示模型。它们的告知对设备或内容的改变的能力被限制于这些相应的图像表示模型。信息工具包括:
波形监视器(WFM),其用于将相机和内容校准到获取、分级或分布颜色空间。WFM是基于设备坐标的仪器,并且因此它们告知与颜色空间色域和白点的一致性,并且可以帮助设置图像灰度系数。但它们不告知外观。在WFM情况下的另一个问题是如何将趋向于对颜色和亮度进行抽象化的图像信息呈现给艺术家和技术图像专家。
将相机的颜色空间转换为参考监视器颜色空间以用于鉴定性观看的实时颜色空间变换在与设备无关的图像表示上执行转码,并且因而承载如与外观相关地描述的限制。
颜色决策列表和观看LUT可以用于跨工作流中的不同点而传送外表,如在传达电影摄影师的外表意图以被用作用于调色师的起点的示例中那样。这些也是基于与设备无关的工具,并且因而在承载外观方面不足。
如所指出的,在高分辨率2k和4k格式的情况下实现临界聚焦和准确的调焦变得越来越困难。这些格式超出由与监视器的屏幕尺寸和观看距离相关联的感知问题所复杂化的相机上监视器光学器件的解析能力。
使内容成形或修改内容的工具是基于与设备无关的系统,其包括颜色校正和特效软件以浸染内容中期望的外观。
格式转码将内容从一个颜色空间和灰度系数转换到另一个。例如,图5示出:内容可以在Arri的Log C中被获取,在ACES中被转换和分级,并且然后被转换为各种分布主控格式,包括用于数字影院的DCI、用于HD TV的rec. 709(来自国际电信联盟部门-R)以及用于互联网按需递送的也在rec. 709中的ProRes HQ(由苹果公司开发的有损视频压缩格式)。转码算法基于与设备无关的图像表示模型。
终端观看显示器可以包括数字影院投影系统、电视和移动智能电话以及平板装置。在主控过程中的内容被调整为顺应于给定的分布及设备颜色空间和灰度系数。数字影院由剧场运营商良好地特征化和合理维护。这允许在与设备无关的颜色工作流的限制内承载外表。另一方面,用于电视和移动观看设备的情形被不太好地特征化和控制。通常不恰当地校准TV,观看环境显著地变化,并且电视制造商制成图像“增强”处理和亮度。可以在从内部到外部的任何环境中观看移动设备。这些因素意味着:承载外表在可以用与设备无关的颜色工作流承载它所达的程度上有所不足。
图12图示根据本发明的实施例的图像外观框架的简化概述。该框架使得能够实现便于在静止和移动图像中创建外观或外表的应用,并且与现有的工具和方法相比,将该外表的外观更有效和高效地承载给终端观看者。图像外观框架(IAF)的单独模块可以被配置成针对移动和印刷的图像二者而跨内容创建和显示工作流来解决许多应用。
下面简要地总结IAF的模块和独特能力和概述,继之以用IAF可解决的应用的概述。其次,详细描述图像外观监视器“IAM”及其应用,其是IAF的应用之一。这提供对IAF的模块的功能性以及它们作为系统如何执行的详细描述,从而虑及更高效地描述IAF的其它应用。
概述
IAF框架被设计成:在对于给定应用而言适当的时候,实时或延时地处理两个图像。支持两个图像处理流水线是优选的。例如,执行两个图像的图像外观差异运算的能力有助于如先前所述的那样跨工作流或在应用内承载图像的外观。一个或两个图像从设备的被转换为xCAM中的图像外观坐标。这使得能够应用一个或多个基于图像外观的限定器以隔离感知上准确的感兴趣的图像属性。在可以或可以不被应用的图像限定器的应用之后,可以应用涉及一个或两个图像的基于图像外观的操作。操作例如可以包括图像A ImA和图像B ImB的图像外观差异运算。或者ImA-ImB=ImD。作为呈现层的部分被引入的三个新的数据呈现格式或显示呈现了涉及ImA、ImB或ImD的任何所应用的限定或操作的结果。对于包括IAM的IAF的一些应用,图像ImA和ImB可以被转换为设备坐标,所述设备坐标被调整以在给定的观看环境中的显示设备上、从外观视角显现得正确。
IAF的模块包括:
图像外观模型,xCAM,其在图12中被图示为(ⅳ)。xCAM预测在HVS适配触发章节中所述的创建和显示内容中触发的HVS适配的所有外观效果。
除了由其它模型提供的设备和观看环境独立性之外,该能力使能移动图像、观看几何结构和图像尺寸、颜色空间、亮度和动态范围独立性。
除了绝对和相对的颜色外观属性之外,xCAM的输出包括有色和无色阈上和阈值对比度签名。与图像外观限定和操作以及IAF的呈现层结合的该能力告知对相机和灯光或内容的调整,或者直接修改内容以更有效地跨颜色空间变换、观看环境、设备和介质而承载静止和移动的图像外观。这提供更完整的解决方案以管理从“场景到屏幕”的图像外观。
xCAM能够以用于移位不变性线性系统的数字信号处理技术的计算性能而对HVS的非线性自适应响应进行建模。这既提供对外观建模中的更高功效,并且又使得能够实现可以从延时到实时图像外观处理而缩放的模型。
基于外观的图像限定器,其被图示为图12中的(ⅱ)。这些限定对于隔离感兴趣的特定图像属性以用于二次图像调整或修改是有用的。限定器可以应用于一个图像,或者独立地应用于两个图像。图像可以由感兴趣的区、感知的清晰度的不同范围、绝对和相对颜色外观属性、在P-光圈(所感知的光的加倍)或EV(f-光圈)中的无色阈上对比度、以及有色对比度来限定。
基于外观的图像操作,其在图12中被图示为(ⅲ)。操作包括:
图像外观转码,其跨颜色空间、亮度中的差异和动态范围而从源观看环境和设备到目标观看环境和设备或介质地尽可能接近地承载外观。
测量在两个帧相同或不同的图像之间的外观差异的能力。例如,对于是IAF的应用之一的IAM,结合新显示器的该能力可以告知图像调整,以尽可能接近地实现外观匹配,以跨内容创建工作流以及在内容创建工作流内承载图像外观。
将图像外观仿真为它在不同的观看环境中以及如在指定的设备或介质上显示或印刷时将显现的那样的能力。该仿真可以尽可能准确地被显示给本地经校准和特征化的显示监视器,并且还可以用于图像外观差异运算。它还提供修改内容以将其外观承载到指定的观看环境和设备的基础。
对于IAM有用的操作是结合外部校准图表而提供相机的场景特定的特征化的能力。这更好地使能包括用于多相机或3D拍摄的聚焦在内的基于外观的相机平衡,并且针对相机的给定动态范围、感兴趣的场景元素、期望的外表和终端观看环境而更好地优化亮度的压缩。
呈现层——图示为图12的(ⅰ)。
对于涉及与艺术家和技术用户的交互的应用,描述了呈现层,其基于外观而直观、有效和高效地告知对相机和灯光或内容的调整。
呈现层提供了三个新的同步显示,其既以图像为中心的方式并且还以光和颜色视图而提供图像外观信息,以告知在相机、灯光和颜色以及特效软件中对增益和颜色的调整。
呈现层还提供了独特的交互设计,其既支持艺术家“流动”,并且还支持在相当大的时间压力下完成任务的需要。
IAF提供灵活性,以解决从如图13中图示的该模型使能的更鲁棒的图像外观模型和图像操作、限定以及呈现层中受益的若干应用。下面描述这些应用的概述。然后,将详细描述IAM,继之以IAF的其它应用的更详细描述。
IAF的应用包括:
嵌入式实时曝光优化,其被图示为图13的(ⅰ),其提供能力来利用外观技术而优化特定于场景的压缩对比度简档,其可以实时地在传感器前或后应用。在一些实施例中,该优化驻留在图像获取设备(诸如相机等)上。
图像外观监视器“IAM”,其被图示为图13的(ⅱ),基于外观而告知对相机或内容的调整。
颜色分级——被图示为图13的(ⅲ),提供显示和功能范型来更直观地使能对内容的初级和次级校正,基于外观而告知图像匹配,并提供印刷介质或数字标牌显示器的基于外观的软校样,如它将在指定的观看环境中显现的那样。
基于外观的转码,其被图示为图13的(ⅳ)。该类型的转码跨不同的颜色空间以及不同的图像亮度水平、动态范围和应用的灰度系数而尽可能接近地、更有效地承载图像外观,该类型的转码合并终端观看环境和设备的外观效果以及它们与图像本身的交互。该形式的转码具有许多应用,包括使能主控中的“分级一次,转码许多”,用于驱动参考监视器的实时格式和颜色空间变换,以及显示图像外观处理的实时点以调整适合于设备特性和观看环境的图像。
在显示点处被提供为嵌入式算法的实时图像外观处理,其被图示为图13的(ⅵ)。这些嵌入式算法可以被许可给机顶盒(STB)、DVD播放器并且可能地被包含在其中,或者被许可给电视制造商并且被包括在电视本身中。嵌入式算法还可以被许可给集成的微处理器/图形芯片或独立的图形卡制造商。这些集成的处理器或处理使能在独立的图形卡中的通用计算机OS或嵌入式OS中集成的基于外观的处理。这些嵌入式算法提供实时地修改内容的能力,从而使得其外观能够与所意图的艺术化外表尽可能接近地被看到。如果设备提供能力来特征化显示设备和观看环境,则这种能力被增强。
在将坐落在诸如STB之类的内容递送机构和诸如电视之类的显示设备之间的独立设备中的显示点处的实时图像外观处理。该设备将首先能够特征化显示设备和观看环境,并且然后合并那些特征化以实时地修改内容,从而使得其外观能够与所意图的艺术化外表尽可能接近地被看到。
集成的相机和显示设备,如上所述的提供实时和或延时曝光和显示外观处理的嵌入式算法可以驻留在智能电话和平板装置中或者被提供作为独立的应用以供在设备上操作。这些设备中的相机可以被合并,以提供手段来特征化观看环境。
现在描述图像外观监视器的细节。IAM能够基于外观而告知对相机、灯光和内容的调整。IAM还包括波形监视器“WFM”的主要功能性,所述主要功能性是将相机校准到获取颜色空间和标准灰度系数,并且确保颜色分级和主控中的内容分别与分级和分布颜色空间以及灰度系数的顺应性。
IAM的应用包括:
跨内容创建工作流而:
-告知调整以对于相同图像、当它从获取移动到后期到主控时实现图像外观匹配。
-提供在工作流中的不同点处仿真图像的能力。例如,相机的曝光和灰度系数可以对照它在数字影院中将看起来如何的视图而被优化。以类似的方式,基于在诸如家、画廊或博物馆等之类的指定的观看环境中、在指定的终端屏幕或特定的介质-墨组合上内容将看起来像什么样,颜色分级器可以对内容进行分级。
-为艺术家和技术用户提供更直观的显示,其提供在呈现的外观信息和图像元素之间的清楚链接,并且还提供从黑到白的颜色的分布的一瞥视图。提供经适配的外观的不同视图的这些显示器在颜色分级以及跨工作流而管理图像一致性中使能更快和更有效的相机设置和场景匹配。
-提供被应用到参考监视器的更准确的颜色空间变换,其合并观看环境和图像本身的外观效果。例如,电影摄影师能够尽可能准确地看到正由相机所获取的内容。
-获取
-以特定的增益和曝光设置而使特定于场景的相机的颜色和压缩响应特征化的能力。可以结合IAM的其它功能能力而利用这些场景特定的相机特征化,以使能实现支持所期望的外表的更有效和高效的相机设置、曝光、平衡和聚焦。
-基于外观的相机平衡,以及将先前建立的外观与对相机、灯光、所使用的镜头等的改变更准确地匹配的能力。例如,多个相机可以被设置以尽可能接近地捕获皮肤的外观属性。
-通过提供以最锐聚焦点而被解析的、在景深内且失焦的图像元素的感知指示而用于静止和移动拍摄的经改进的聚焦。
后期制作和主控
-告知在颜色分级中的调整,以跨剪辑、为场景匹配和作为整体的影片而如期望地那样宽松或紧密地承载外观。
-为被定序为FX-编辑-颜色的工作流而促进在FX中将颜色匹配到获取的相机连续镜头。
-跨并行地使内容成形的多个FX座位而更有效地管理外观一致性。
图14是示例性图像外观监视器,其可以包括和利用上述任何或全部IAF模块,并且此外包含如图14中图示的附加功能组件。
图14的图像外观架构包括:
到外部设备的物理连接性。
监视器设备简档和观看环境参数的合并,其被图示为图14的(ⅰ),用于进行设备到xCAM变换,以及逆xCAM到目标设备/观看环境变换。
颜色空间、设备和观看环境参数的合并。
存储,图示为图14的(ⅱ),用于以xCAM图像外观坐标和颜色空间、设备和观看环境参数的所获取的图像和预加载或构造的校准图像。
与ACES互换格式的兼容性,包括ACES颜色空间、输入和输出设备特征化变换(分别是IDT和ODT)和参考再现变换(RRT),其充当在ACES颜色空间和对各种设备的ODT之间的中介。
预调节高带宽内容,诸如高达4K的内容或者随着行业继续前进的更高内容,图示为图14的(ⅲ),提供更高效的设备到图像外观变换,以用于实时性能。
图示为图14的(ⅳ)的顺应提供WFM的核心功能性,以将相机校准到获取颜色空间并确保内容顺应分级或分布颜色空间。
图15图示IAM的示例性物理实现方式。该示例包括:包含用户接口(UI)的图像处理Pod和平板装置,所述用户接口具有到图像处理Pod的无线或者物理连接。从处理Pod分离UI提供灵活性来既支持在相机上或视频村、后期制作和主控中的半固定的应用并且还支持获取中的便携式应用。例如,导演可以将演员定位在他们所处的地方,而同时从选择的相机观看图像,或者电影摄影师可以通过平板装置上的显示器来看到在灯的位置处对灯的调整的效果。
与图像外观功能能力和呈现层组合的该模块化物理配置提供灵活性来用一个平台解决从预可视化到主控的应用。
图16图示在呈现层、图像外观操作和限定以及图像外观模型之间的层次关系。IAM能够并行处理两个图像流。将被调整以匹配参考图像的外观的图像可能是来自第二相机、在场景匹配应用中的剪辑、或者参考图像在工作流中的不同点处或在终端屏幕处可能看上去如何的仿真。基本流是首先将一个或两个图像从设备坐标转换到xCAM的图像外观坐标。基于图像外观的限定器可以或可以不被应用到一个或两个图像来隔离感兴趣的特定图像属性。然后,基于图像外观的操作可以被应用到可能已经或可能尚未被限定的图像。示例是参考图像减去待匹配到参照物的图像的图像外观差异运算。最终,呈现层通过三个新的基于外观的显示而告知艺术家和图像专家的行动。这些显示提供所呈现的图像信息与图像本身的直接链接,并且还告知如对于给定应用而言适当的对图像增益、颜色和清晰度的所需调整。
图17图示特定于告知颜色分级中的场景匹配的图像外观限定器以及操作与呈现层的功能相互关系的示例。遍及本公开使用的和在图17中看到的记号是:设备坐标中的图像被标记为具有后缀A和B的“ImA(D)或ImB(A)”,后缀A和B分别表示在A和B图像处理通道中处理的图像,并且(D)和(A)分别表示设备坐标和外观坐标。已经被限定或者操作已经被应用到其上的图像被表示为“ImA’(A)或ImB’(A)”,其中撇号(‘)表示以所应用的限定器或者操作的形式的修改。图像A和B的图像差被表示为ImD’(D)。
在第一步骤中,已经为参考图像ImA(A)设置外表,如在(ⅰ)处图示的。在该示例中,操作者期望将ImA(A)的一个或多个图像属性的外观承载到另一个图像ImB(A)。调色师可以用他或她希望承载给ImB(A)的一个或多个限定器而在ImA(A)中选择感兴趣的图像属性。限定器提供灵活性来跨影响外表的所有图像属性而如所期望的那样接近地或宽松地承载外观。在该示例中,期望实现两个图像的色调平衡的匹配,这可以直接用图像外观显示的图像对比模式来完成而没有任何应用的图像限定。
接下来,图像外观差异运算由ImA(A)-ImB(A)=ImD(A)构成,如在(ⅱ)处所图示。
然后,如被图示为(ⅲ),呈现层的显示呈现外观差异信息ImD(A),其如上所述的那样是ImA(A)和ImB(A)之间的外观差异。换句话说,ImD(A)=ImA(A)-ImB(A)。被设置为图像对比模式的图像外观显示提供两个图像的色调分布的差异的视觉指示。光(ⅵ)和颜色(ⅶ)显示还在亮度、色调和色度的三维空间内示出两个图像的图像外观差异。这三个显示的组合快速告知在暗、中间色调和较亮的图像区域中对ImB(A)中的增益的调整,以实现对ImA(A)的色调外观匹配。
图18图示根据本发明的实施例的主要图像外观处理流和架构。
在用两个图像工作时,本发明的实施例虑及实时处理两个图像序列,例如在拍摄场景的过程中评估两个相机的相机平衡。实施例还允许实时和延时处理。该能力由xCAM提供,其在建模的HVS适配方面缩放,并且下面被更详细地描述。
实施例还虑及对照捕获的单个帧捕获、已被处理成xCAM表示模型的所存储的校准图表或调色板而评估图像序列。示例是对照由艺术总监创建的参考调色板而评估正拍摄的场景。在具体示例中,由科恩兄弟制作的影片True
Grit的艺术总监规定了片场(on-set)的颜色的可允许的范围,这是给予影片自然的深褐色外表的东西。
实施例还可以处理两个单帧图像,所述两个单帧图像可以是捕获的帧、已经被处理成xCAM表示模型的所存储的校准图表或调色板的混合。示例是调色师,该调色师为剪辑设置参考外观并期望将该外观承载到另一个剪辑。典型地,这是通过从第一剪辑拾取参考帧并从第二剪辑拾取工作帧而完成的。
即使本发明的实施例能够同时在两个图像序列上操作,该系统还支持单个图像操作,诸如将先前已经被变换到图像外观操作中以用作用于各种应用的参考图像的单个视频帧存储到存储器中。
图像输入可以以视频序列或者单个图像帧的形式。直播视频例如可以由串行数字接口(SDI)捕获并且,用于延时应用,图像可以通过各种通信接口来获取,诸如通用串行总线(USB)或无线数据传送机制之一。观看环境、设备和颜色空间简档参数可以被无线或者通过USB捕获为以它们各自的格式的文件。设备特征化可以以国际色彩联盟(ICC)文件或ACES
IDT和ODT的形式。
图像和参数被存储,用于在适当的时候使用在图像处理流水线内。这些图像和参数可以包括:
所获取的一个或多个图像,其已经被变换到图像外观坐标,作为图像外观坐标中的图像序列或者单个帧。
如上所述的输入参数。
预加载和用户可定义的设备、观看环境和颜色空间规范。
匹配物理校准图表的图像外观坐标中的预加载的校准图像,所述物理校准图表诸如用于片场相机校准和特征化的数字静止相机(DSC)使用的那些。
在制作和后期制作二者中有用的图像外观坐标中的用户可定义的参考图像。例如,调色师可以定义特定于期望的外观的皮肤色调。
设备坐标到图像外观坐标在图18中被图示为(ⅲ)。在设备坐标中的所获取的图像使用xCAM而被变换到图像外观坐标。对于可以包括大量数据(诸如高分辨率2K和4K图像序列)的实时应用,在转换到图像外观坐标之前,图像序列被十中抽一,如预先在(ⅳ)处图示的。然后,被图示为(ⅴ)的合并了设备、观看环境和颜色空间参数的xCAM过程将图像转换为图像外观表示,所述图像外观表示提供各种颜色和对比度图像外观属性作为输出。
以上所述的和在(ⅵ)处图示的图像外观限定器可以被独立地应用到图像A和B图像中的每一个。多个限定器可以被应用到每个图像。例如图像有色或有色对比度限定器可以被使得在区限定内,意味着显示仅仅为指定的区内的那些图像像素而示出所选的对比度限定器。不能做出互斥的多个图像限定器。例如,不能在阈上对比度限定的情况下做出基于感知的阈值对比度的图像清晰度限定。图像限定可以但不需要被应用。
以上所述的并且被图示为(ⅶ)的基于图像外观的操作也可以被独立地应用到A和B图像流水线。操作在一个或者两个图像上操作。图像外观差异测量必定涉及两个图像,而包括相机特征化、颜色空间和动态范围映射的操作可以是单个图像操作。在大多数实施例中,在可能已经或可能尚未应用任何图像限定之后应用操作。操作包括:使用外部校准图表和该图表的内部存储的图像外观版本来进行相机特征化,在给定的颜色空间转码后对当在不同设备、观看环境上观看时图像将看起来如何的仿真,测量图像A对B的外观差异以及颜色空间和动态范围映射。
被图示为图18的(ⅷ)的顺应通过图像外观和光以及颜色显示而为给定的颜色空间标识和提供色域外颜色和白点的指示。
被图示为(ⅸ)的显示构建部分负责构造图像外观和光以及颜色显示。光和颜色显示是基于图像外观坐标而被构建的,并且图像外观显示要么通过用于所有的非图像显示模式的图像外观坐标所构造,并且设备坐标用于图像显示模式。下面更详细地描述显示的构造。
图18的区段(ⅹ)图示将xCAM信息改变回到设备坐标。如与任何颜色工作流一样,工作图像表示模型需要被转换到设备坐标以用于在数字呈现设备或印刷介质上显示,使得用户可以观看它们。在该实施例中,在xCAM区段中所述的,用以实现逆转的独特方法被应用到三色激励xyz,并且然后经由输出设备的特征化而到设备坐标。如果输出设备是印刷图像,则使用关于特定介质和墨组合以执行最终变换的信息。为监视器或者印刷介质调整图像,因此它将显示所意图的外观。例如,如果已经应用了对图像在数字影院中将看起来如何进行仿真的操作,则将调整图像以在该监视器的可产生的亮度、色域和动态范围的制约内尽可能接近地将该仿真的外观承载到参考监视器。该调整由xCAM的显著能力所使能,所述能力是:除了设备和观看环境独立性之外,它还实现移动图像、颜色空间、亮度和动态范围独立性。
被图示为(ⅹⅰ)的呈现层包括向用户呈现针对一个或两个图像的图像外观和顺应信息二者的显示。图像外观显示以及光和颜色显示呈现所应用的图像限定和操作的网。在图像外观显示的图像显示模式中,已经处理图像以适应在其中观看显示的监视器和观看环境,如先前所述的。这适用于包含用户接口(UI)的平板装置或外部经校准和特征化的参考监视器。
IAM提供串行数字接口(SDI)循环通过和图像二者,所述图像已经被如上所述的那样调整成在经校准和特征化的监视器上显示所意图的外观。
现在描述呈现层和各个显示的细节。三个新的基于外观的显示从预可视化到主控而直观且有效地告知用户期望的结果。显示包括图像外观显示、光显示和颜色显示。所有三个显示被同步,因为它们为A和B图像流中之一或二者呈现任何所应用的图像限定器或操作的不同视图。这三个显示通过灵活性而服务所有的内容创建应用,所述灵活性由图像外观显示以及同步的光和颜色显示的不同操作模式提供。与由图像外观限定器和操作提供的功能能力相组合的这些显示被优化,以提供跨工作流而使能外观相关的行动的强大和通用的能力集。
图像外观显示是被称为呈现层的事物的显示之一。呈现层将关于一个或多个图像或图像序列的信息或图像中的差异传送或呈现给用户。特别地,图像外观显示提供顺应和外观信息的以图像为中心的呈现。显示在解决宽范围的应用中是高度通用的,这由其操作模式使能,所述操作模式包括图像显示或真彩色模式、映射的颜色模式、图像对比模式和图像细节模式。
在也已知为真彩色模式的图像显示模式中,图像外观显示示出图像,所述图像经调整以在经特征化的外部参考监视器或平板装置上看起来“正确”,所述平板装置包含将在其上观看内容的UI。在该上下文中的正确意味着:图像被调整,使得其保存在由工作颜色空间制约的xCAM图像表示中体现的外观信息,以及它合并在其操作颜色空间和灰度系数以及本地观看环境方面描述工作参考监视器的简档。简单的示例是在获取中,其中用于相机的操作颜色空间在具有2.6灰度系数的索尼S-Log中,而参考监视器在具有2.2灰度系数的rec. 709颜色空间中操作。在这种情况下,对图像的调整包括将xCAM图像表示映射到显示监视器的颜色空间和灰度系数。
显示构成图像的所有像素或落入给定的限定内的像素的子集。可以结合以上所述的所有图像限定器来使用该图像显示模式。图19图示了针对所有图像像素的在图像显示模式中的图像,在(ⅰ)处图示,以及然后仅仅那些落入该图像的较暗(ii)、中间色调(iii)和较亮(iv)区的三个不同的亮度限定内的图像像素。
在映射的颜色模式中,纯色或渐变对照图像像素而被映射,所述图像像素对应于一个或多个图像限定器和所应用的操作的应用。该配置可以被认为是以图像为中心的外观范围。图20图示用于将纯色或渐变映射到与所应用的限定器和操作相对应的图像像素的选项。
图20的部分(ⅰ)图示将纯色映射到在限定内或表示所应用的操作的像素。这样做的效用是清楚地指示对应于所应用的限定器和或操作的所有像素。渐变还可以被应用于这样的情形:其中期望看到限定的与未限定的像素的衰减,或者图像内限定的方向性,诸如亮到暗。图20的部分(ⅱ)图示了使用渐变来指示限定的边缘的衰减的两个示例。第一示例图示将纯色映射到完全在限定内的图像像素以及衰减,而第二示例图示对照完全在图像限定内的像素所映射的颜色,并且将渐变应用到像素从而指示所应用的衰减率。图20的部分(ⅲ)图示了使用渐变来表示从限定的一个极限到另一极限的方向性的示例。例如,图像限定可以包括落在中灰到中灰以上一个光圈的曝光值(EV)范围内的所有像素。在该示例中,第一极限为中灰,而第二极限是中灰以上的一个EV。所应用的渐变仅仅图示完全在该限定内的那些像素,并清楚地图示处于灰色和以上的一个EV处的图像像素,以及何处剩余的像素沿该范围而落入的指示。可以使用用于渐变的对立颜色的使用,其提供较高的有色对比度,并且因此有更多的粒度,因为HVS在低空间频率下不混合对立的颜色。
图21图示渐变的效用的示例,其告知针对给定场景的最优相机曝光和灯光布置。配置对应于对图像的两个EV区的两个EV限定器(曝光光圈)。一个限定器是中灰以上两个光圈,并且另一个是中灰以下两个光圈。该模式对于电影摄影师根据公知的Ansel Adams区系统、跨场景元素而管理对比率是有用的。还可以使用两个纯色的使用。然而,使用渐变更好地传达给定EV限定内的图像像素的分布。这以若干重要方式与假彩色实现方式区分:
显示了外观与设备坐标中的图像信息。
假彩色提供将固定颜色粗略映射到不同的亮度带。该实现方式以给定限定的粒度和该限定的所定义的衰减而灵活地映射颜色或渐变。
颜色和渐变可以被映射到所有图像限定器的像素,从而基本上提供图像外观“范围”,提供图像外观的所选属性的视觉指示。
图像外观显示的图像对比模式显示图像的色调和有色平衡。可以选择该特征化,以示出宽带图像无色或有色阈上对比度。该能力得自xCAM外观模型的对比度签名输出。该模式还可以结合亮度、EV(f-光圈)或感知的光圈(p-光圈)的图像限定而使用。p-光圈对应于基于经适配的图像外观的光强度的加倍。该模式对于告知对图像的调整以在宽带图像无色或有色对比度方面实现与不同参考图像的匹配还是特别有用的。这应用于两个不同的图像,如将是在相机平衡或场景匹配或帧相同的图像中的情况,以跨工作流并且向终端屏幕承载外表。
该模式具有四个选项,所述选项确定沿着竖直和水平轴的显示坐标对图像坐标的相关性。这些选项包括:
-显示像素与图像像素竖直和水平不相关。
-显示像素与图像像素竖直相关。
-显示像素与图像像素水平相关。
-显示像素与图像像素竖直和水平相关。
在后期制作中,为图22中示出的场景匹配应用而论证了这些选项的效用。图像对比模式及其四个选项有助于快速告知对被图示为图22的(ⅱ)的ImMatch的图像调整,以在所选择的无色或有色阈上图像对比度方面,匹配被图示为图22的(ⅰ)的ImRef。对于该示例,期望在无色阈上图像对比度方面实现外观匹配。竖直和水平不相关选项将被用于图示该应用。
在图22中以真彩色模式示出ImRef和ImMatch。ImMatch的视觉检查示出:它整体较暗,具有在该黑白图解中显现为灰色的偏绿色,并且不如ImRef那样多彩。即使两个图像包含不同的元素,通过首先缩放ImMatch的无色色调平衡以匹配ImRef的无色色调平衡,校正ImMatch的偏色,并且然后做出对ImMatch的任何最终调整以确保有色和无色对比度的外观匹配,可以使得它们显现得好像它们是相同场景的部分。光和颜色显示告知后两个步骤。该示例聚焦于在图像的色调平衡方面实现外观匹配。
图像对比模式使得能够比可替代的方法更快速和有效地做出这些调整,可替代的方法包括自动化的场景匹配软件,诸如提供有苹果的FCP X。这样的自动化场景匹配实用工具的功效由它们的与设备无关的图像表示模型限制,并且因而通常不用于专业内容。在高价值的制作内容的情况下,如今最广泛使用的实践是在恰当设置的监视器和观看环境上通过眼睛匹配图像。虽然这通常是有效的,但是这是耗时的并且可能是乏味的。而且,调色师必须小心管理为他们发生的由以分段而从事项目所产生的适配,所述以分段与终端观看者如何从始到终观看影片去同步。因而影响有色和色调平衡的适配对于调色师与终端观看者而言是不同的。
在给定的项目中,用于电影场景的代表性剪辑的外观或外表可能花30%的时间,其中剩余部分花在为场景匹配并且跨电影而管理外观的整体弧、跨剪辑而承载所建立的外观。IAM便于从外观视角、更高效和准确地承载所建立的外表的外观。
调色师可能采取的第一步将是在图像的暗、中间色调以及较亮部分中调整ImMatch的增益以实现对ImRef的整体色调匹配。其中显示坐标与图像坐标竖直不相关的两个选项是有用的,因为它们直接告知这些增益调整。将使用竖直和水平不相关的选项来描述该应用。其它的显示对图像的相关性选项有助于然后将描述的精细调谐调整。
图23示出在无色阈上图像对比模式中、在对于ImMat的竖直和水平不相关的选项中的图像外观显示。在仓(bin)中、竖直地从黑到白、与它们在图像内的相对密度成比例地对像素进行单调排序。它可以被认为是具有一些重要区别的感知对比度的视觉直方图。
首先,仓大小可变。仓的粒度由阈上与阈值对比度来确定。阈上响应是图像空间频率、图像结构和观看距离的函数,这将跨图像而变化。该选项提供可以被认为是阈上直方图的内容。该直方图以下述方式被映射到显示。对于每个仓K,像素计数通过Pix_bink/Pixtotal被正规化到总像素计数。对于具有r行的给定竖直分辨率的图像外观显示,采用bink值的行数是(Pix_bink/Pixtotal)*r。例如蓝色的可选择的颜色指示落在最低(黑色)和最高(白色)可感知阈上对比度水平外部的图像像素的数目。在图23中,可以清楚地看到:较暗的值构成ImMat中总图像像素的较高百分比。
如前所指出的,还可以结合EV或p-光圈限定器来使用对比模式中的图像外观显示。这虑及在光圈方面控制感兴趣的黑到白范围,这是对于电影摄影师而言熟悉的工作模式。在该情况下,构造类似于上述的构造。用在对应于限定的竖直轴上提供的亮度水平的指示将得到的直方图正规化到总显示像素。
图24用与图像坐标水平和竖直不相关的显示坐标来图示ImRef和ImMatch二者。从图像坐标使显示坐标竖直和水平去相关的优点是:它更直接地告知对图像的暗、中间色调和亮区的主要图像增益调整。图24(ⅱ)图示了图像外观显示传达与ImRef相比ImMatch更暗所用的直接方式,这与图22的原始图像的视觉检查一致。
图像外观显示可以被设置为显示如图25中所示的ImRef和ImMatch的并排比较,其在整体亮度方面提供图像差异的清楚视觉指示。这使得调色师能够跨图像的暗、中间色调和较亮区、用适当的增益调整将ImMatch快速匹配到ImRef。
如先前的示例图示的,图像对比模式对于告知图像调整以实现两个帧相同或两个不同图像的外观匹配特别有用。图26以真彩色模式的黑白版本示出ImRef和ImMatch二者,并且图26(ⅲ)在应用到ImMatch的任何校正之前、在水平和竖直不相关的选项中图示ImRef-ImMatch的图像外观差异。
IAM被首先设置为应用ImRef-ImMatch的图像外观差异运算。如参照光和颜色显示所述的,使用图像外观差异运算具有附加的益处,在于:这些显示示出图像差异,这有助于告知跨亮度轴的具体增益调整。两个图像的外观差异的呈现和构造不同于一个的呈现和构造。当应用到一个图像时,在给定仓中表示经阈上调整的亮度值的竖直显示行的数目与相对于总图像像素的该仓中的像素数目成比例。当显示图像外观差异时,沿着竖直轴的仓被缩放和固定以表示参考图像的完整动态范围,使得存在与参考图像的对比度分布的一一对应。例如,用于图像外观差异的竖直轴上的经中间对比度调整的亮度值与参考图像的中间亮度值相同。
在对比模式中显示的图像外观差异运算的解释如下。图像的较暗部分指示:与ImRef相比,ImMatch较暗,其中暗度值与差的大小成比例。相反,图像的较亮部分指示:与ImRef相比,ImMatch较亮,其中亮度与差成比例。沿着两个图像的所选对比形式的感知匹配由可选颜色指示,所述可选颜色在图26(ⅲ)中是灰色的但是将在彩色屏幕上显现蓝色。沿着显示底部的纯色仍然对应于在可感知的阈上水平以下的值。
图像对比模式的其它三个选项沿着竖直、水平或两个维度而提供显示坐标对图像坐标的变化的相关程度。将描述它们的应用和优点。
用于显示对图像坐标的这些不同的相关选项用二次校正帮助艺术家精细调谐图像调整。例如,晕映经常用于使图像的不重要区域变暗,往往沿着其周边。这导致具有其对比度简档的感兴趣的中心区,以及具有不同对比度简档的、在图像的左和右侧上的较暗区。上述的水平和竖直不相关的选项将告知整体图像的平衡,但是它将不告知恰当的调整来跨图像的这两个区而匹配对比度。可以做出感兴趣的图像的部分的区限定器,这将限定要填充图像外观显示的像素。可替代地,或者结合区限定,这些其它相关性选项提供方法以在感兴趣的图像的区上聚焦。如与竖直和水平不相关的选项的先前的示例一样,这些选项中的每一个可以用于分析单个图像或显示两个帧相同或不同的图像的图像外观差异。
水平相关的选项帮助艺术家理解图像的色调对比度如何跨图像、从左到右而变化的分布。这在上述情况下是有用的,其中图像的左边和右边部分较暗。该选项可以用于跨图像的这两个不同的区而实现匹配。其构造与针对竖直和水平不相关的选项所述的类似。竖直轴表示从黑到白单调排序的图像像素,其中仓大小是图像特定的阈上边界以及从黑到白的值的相对密度的函数。差别是:现在有许多这些竖直切片跨过水平轴。定义这些切片的水平分段仓可以得自图像,其中Hbinn+1的总对比度值越过关于Hbinn的总对比度值的阈上值,或者它们可以以任意方式被指定。
竖直以及竖直和水平相关的选项通过针对以上水平相关的选项所述的方法的扩展而得出它们的构造。竖直相关的选项帮助调色师理解跨竖直维度的图像对比度的变化。在这种情况下,单调阈上排序的对比度值沿着水平仓延伸,其中竖直仓被定义为越过关于Vbinn的总对比度值的阈上值的Vbinn+1。
竖直和水平相关的选项允许调色师看到跨图像的色调分布,这对帮助他们看到他们的初级和二次图像调整如何整体跨图像而影响色调或有色平衡是有用的。当显示图像外观差异时,该选项提供对于已经实现了匹配的最具信息性的指示。简单的应用是:使用竖直不相关的选项之一来设置对ImMatch的整体增益,并且然后使用该选项来检查跨图像的全色调匹配,在必要时精细调谐调整。
图像外观范围的图像细节模式具有至少两个应用。一个是在感知的图像清晰度方面告知外观匹配,并且另一个是告知临界聚焦和调焦。后一个应用是特别有帮助的,因为诸如4K之类的图像格式分辨率超过相机上光学器件和/或以给定的相机监视器尺寸和观看距离所可以看见的细节。图像例如可以由高达三个感知清晰度的区所限定。这些是具有感知的细节的最锐水平的图像元素,诸如演员的眼睛,对应于景深的聚焦区,并且图像的其余部分处于柔焦到失焦中。可选择的清晰度和衰减准则可以被设置为界定由xCAM提供的无色阈值对比度签名输出所使能的区。图像细节限定基于周每视角。图像外观范围可以结合外部校准图表来被使用,所述外部校准图表用于评估特定于给定灯光设置和相机布置、针对特定的相机系统可以实现的图像清晰度的程度,所述特定的相机系统包括光学器件、以其当前增益设置的传感器能力、以及图像格式。通过如所述地将清晰度限定器校准到相机系统的能力,这使能更直观的图像清晰度限定。
可以单独或组合地示出感知的清晰度的所限定的区。例如,对于调焦,仅仅示出最锐聚焦点将是有利的,其中可定义的衰减移除不想要的细节,如图27中所图示的那样。这允许摄像师跟踪运动中的最重要的场景元素而没有分心看到所有事物。对于更静态的拍摄,理解图像的哪些部分落在最锐聚焦点、景深内将是最有用的。可以以映射的颜色模式或者图像显示模式来显示图像细节限定。虽然映射的颜色可以最终帮助告知聚焦调整,但电影摄影师、摄像师或助理摄像师想要看到他或她正将什么捕获为图像,这是使用图像显示模式的益处。
感知的光和颜色显示对图像外观显示起伴随作用,这所有告知给定图像和任何其应用的限定器或外观操作的不同方面。虽然图像外观显示提供外观数据的以图像为中心的呈现,除了阈上对比度模式中的一些外,感知的光和颜色显示指示图像的色调、色度和亮度的相对颜色外观属性。光和颜色显示的效用是使能对沿着黑到白亮度轴的感知颜色的分布的一瞥理解,以快速告知适当的图像调整。
所有三个显示表示合并了特定于应用的相关适配以及所应用的限定器和操作的外观。这包括对亮度、色调和对亮度的色度的相关图像外观属性进行缩放,并合并以下各项的外观效果:图像空间结构和频率和时间动态以及观看几何结构。
至少两个特征相对于在先的显示而区分感知的光和颜色显示。
它们描绘经适配的外观信息,并且可以被操纵以使得艺术家能够快速看到和理解沿着黑到白的颜色的完整分布。例如,如果图像有偏色,则容易沿着亮度范围快速确定偏色的程度。
图28(ⅰ)的光显示和图28(ⅱ)的颜色显示,显示了由图像色调、色度和亮度内容定义的三维空间的变平和正交投影。光显示正交于色调轴,图28(ⅲ),并且描绘亮度和色度。颜色显示正交于亮度轴,图28(ⅳ),并且描绘色调和色度。
色调滑块,图28(ⅴ),绕其各自的轴旋转光和颜色显示的变平的投影。这允许用户容易和快速地发现适合于手头任务的显示投影的最有用的取向。颜色引导,图28(ⅵ),帮助既设置又向用户提醒当前取向。这在光显示下进一步由颜色渐变所帮助,图28(ⅶ),其示出跨所选显示投影的色调跨度。
图29图示了为三个不同的投影而调整光和颜色显示的示例。两个投影,图29(ⅰ)蓝到黄以及图29(ⅱ)红到绿,是对立的视觉原色,并且可以通过按钮选择来设置。当然,在该图示中,他们被示为灰色的阴影,但是将在彩色监视器上以彩色显现。上述色调滑块,图29(ⅲ),可以用于脱离两个显示而选择任何投影,如图29(ⅳ)图示的。在该自由旋转模式中,可以保存和调用工作投影。交互设计章节说明了该实现方式的可用性的更多方面。虽然为了说明的目的而已经图示和描述了本发明的具体实施例,但是将理解的是:可以做出各种修改而不脱离本发明的精神和范围。因此,除了如通过所附权利要求之外,发明不应被限制。
Claims (16)
1.一种用于观看和控制相关的移动图像的集合的测试和测量装置,所述装置包括:
输入集,包括相关的移动图像的第一集合、相关的移动图像的第二集合、以及至少包括颜色参数、设备参数和观看参数的参数集;
第一图像外观处理器,其被构造为将相关的移动图像的第一或第二集合中的至少一个从用于第一显示设备的设备坐标集转换为计及人类视觉系统适配的外观效果的图像外观坐标集;
限定器,其具有耦合到图像外观处理器的输出的输入并且被构造为应用用户定义的限定,所述用户定义的限定使得所述装置选择或取消选择输入集的多个属性中的一个或多个;以及
第二图像外观处理器,其被构造为将由测试和测量装置显示的图像从第一图像外观处理器所使用的图像外观坐标集转换成用于第二设备的设备坐标集;以及
显示输出端,其被构造为生成来自第二图像外观处理器的输出的视觉显示。
2.根据权利要求1所述的测试和测量装置,还包括:
比较器,其耦合到限定器的输出并被构造成产生在相关的移动图像的第一集合和相关的移动图像的第二集合之间的差异图像,差异图像仅仅为所选的限定而不为非选择的限定而产生;以及
其中显示输出端被构造成生成在相关的移动图像的第一集合和相关的移动图像的第二集合之间的所产生的差异图像的视觉显示。
3.根据权利要求1所述的测试和测量装置,其中显示输出端是操作地耦合到用于观看视觉显示的无线显示设备的无线输出端。
4.根据权利要求1所述的测试和测量装置,其中显示输出端还被构造为生成光显示,所述光显示呈现与相关的移动图像的第一或第二集合中至少一个的感知亮度和色度相关的信息。
5.根据权利要求4所述的测试和测量装置,其中显示输出端还被构造为生成颜色显示,所述颜色显示呈现与相关的移动图像的第一或第二集合中至少一个的感知色调和色度相关的信息。
6.根据权利要求4所述的测试和测量装置,其中光显示和颜色显示彼此相关,所述测试和测量装置还包括用户控件,所述用户控件被构造为接受用户输入并且然后基于用户输入而一致地修改光显示和颜色显示。
7.根据权利要求1所述的测试和测量装置,此外包括:
用户控件集;以及
可以由用户通过用户控件来选择的操作集,所述操作集包括执行相机特征化,对具有特定特性的显示器上的相关移动图像的集合中之一进行仿真、色调映射和色域映射。
8.根据权利要求1所述的测试和测量装置,其中用户定义的限定包括了包含以下各项的组中的一个或多个:有色对比度、亮度、空间区、聚焦区、感知清晰度的范围以及无色阈上对比度。
9.根据权利要求1所述的测试和测量装置,其中在光的感知的加倍的度量方面表述阈上对比度。
10.一种用于在计及人类视觉系统适配的外观效果的框架中创建相关的移动图像的集合的观看特性集的方法,所述方法包括:
接收相关的移动图像的集合;
检索至少包括颜色参数、设备参数和观看参数的参数集;
将相关的移动图像的集合从用于第一显示设备的设备坐标集转换为计及人类视觉系统适配的外观效果的图像外观坐标集;
接受一个或多个用户定义的限定;
应用用户定义的限定来选择或取消选择经转换的相关移动图像集合的多个属性中的一个或多个;
至少部分地基于所选的多个属性而生成输出图像;
将待显示的输出图像从图像外观集重新转换为用于第二显示设备的设备坐标集;以及
生成输出图像。
11.根据权利要求10所述的方法,其中相关的移动图像的集合是相关的移动图像的第一集合,所述方法此外包括:
接受相关的移动图像的第二集合;
比较相关的移动图像的第一集合与相关的移动图像的第二集合;以及
基于图像的第一和第二集合的比较,产生差异图像。
12.根据权利要求10所述的方法,其中相关的移动图像的集合是相关的移动图像的第一集合,所述方法此外包括:
接受相关的移动图像的第二集合;以及
生成光显示,所述光显示呈现与相关的移动图像的第一或第二集合中至少一个的感知亮度和色度相关的信息。
13.根据权利要求12所述的方法,此外包括:
生成颜色显示,所述颜色显示呈现与相关的移动图像的第一或第二集合中至少一个的感知色调和色度相关的信息。
14.根据权利要求13所述的方法,此外包括:
接受用户控制输入;以及
基于用户输入而一致地修改光显示和颜色显示。
15.根据权利要求10所述的方法,其中接受一个或多个用户定义的限定包括接受包含以下各项的组中的一个或多个:有色对比度、亮度、空间区、聚焦区、感知清晰度的范围以及无色阈上对比度。
16.根据权利要求15所述的方法,其中在光的感知的加倍的度量方面表述阈上对比度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361766621P | 2013-02-19 | 2013-02-19 | |
US61/766621 | 2013-02-19 | ||
PCT/US2014/017201 WO2014130575A1 (en) | 2013-02-19 | 2014-02-19 | Image appearance framework and applications for digital image creation and display |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105122795A true CN105122795A (zh) | 2015-12-02 |
Family
ID=51351235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480022200.5A Pending CN105122795A (zh) | 2013-02-19 | 2014-02-19 | 用于数字图像创建和显示的图像外观框架和应用 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140233914A1 (zh) |
JP (1) | JP2016511588A (zh) |
CN (1) | CN105122795A (zh) |
WO (1) | WO2014130575A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110223244A (zh) * | 2019-05-13 | 2019-09-10 | 浙江大华技术股份有限公司 | 一种图像处理的方法、装置、电子设备和存储介质 |
CN111340683A (zh) * | 2020-02-08 | 2020-06-26 | 朱明华 | 图像数据处理方法、装置、图像处理系统及服务器 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6335498B2 (ja) * | 2013-03-19 | 2018-05-30 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
US9491428B2 (en) * | 2013-04-29 | 2016-11-08 | Disney Enterprises, Inc. | Color balancing based on reference points |
US9509886B2 (en) | 2013-04-29 | 2016-11-29 | Disney Enterprises, Inc. | Flicker removal for high speed video |
JP2015108796A (ja) * | 2013-10-22 | 2015-06-11 | キヤノン株式会社 | 画像表示システム、画像表示システムの制御方法、画像表示装置、画像表示装置の制御方法 |
EP3122032A1 (en) * | 2015-07-22 | 2017-01-25 | Thomson Licensing | A method and device for estimating a color mapping between two different color-graded versions of a picture |
JP6561669B2 (ja) * | 2015-08-07 | 2019-08-21 | 富士ゼロックス株式会社 | 色処理装置、画像形成装置および画像形成システム |
US11202050B2 (en) * | 2016-10-14 | 2021-12-14 | Lg Electronics Inc. | Data processing method and device for adaptive image playing |
JP2018159840A (ja) * | 2017-03-23 | 2018-10-11 | キヤノン株式会社 | 画像投影装置とその制御方法、プログラム及び記憶媒体 |
EP3896952A1 (en) * | 2020-04-17 | 2021-10-20 | Karlsruher Institut für Technologie | Perceptually improved color display in image sequences on physical displays |
US11812005B2 (en) * | 2021-10-29 | 2023-11-07 | Eastman Kodak Company | User-preferred reproduction of out-of-gamut spot colors |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3634633B2 (ja) * | 1998-07-24 | 2005-03-30 | キヤノン株式会社 | 画像処理装置およびその方法 |
US6731815B1 (en) * | 2000-03-03 | 2004-05-04 | Tektronix, Inc. | Human vision based pre-processing for MPEG video compression |
JP2002230575A (ja) * | 2000-11-30 | 2002-08-16 | Monolith Co Ltd | 映像効果方法および装置 |
US6907143B2 (en) * | 2001-05-16 | 2005-06-14 | Tektronix, Inc. | Adaptive spatio-temporal filter for human vision system models |
US6976045B2 (en) * | 2001-08-08 | 2005-12-13 | Tektronix, Inc. | Variable sample rate recursive digital filter |
KR20050034811A (ko) * | 2003-10-10 | 2005-04-15 | 한국전자통신연구원 | 이질적 환경 하에서 멀티미디어 서비스의 서비스질 지원을위한 시스템적인 형식 변환 방법 및 시스템 |
US20050212914A1 (en) * | 2004-03-25 | 2005-09-29 | Fuji Photo Film Co., Ltd. | Method, apparatus, system, and computer executable program for image processing |
US9178632B2 (en) * | 2008-09-02 | 2015-11-03 | Qualcomm Incorporated | Methods and apparatus for an enhanced media content rating system |
US8355567B2 (en) * | 2008-12-12 | 2013-01-15 | Tektronix, Inc. | Method and apparatus for implementing moving image color appearance model for video quality ratings prediction |
JP5446474B2 (ja) * | 2009-05-29 | 2014-03-19 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US20110116540A1 (en) * | 2009-11-18 | 2011-05-19 | General Instrument Corporation | Multimedia Content Handling in a Home-Network System |
US8847972B2 (en) * | 2010-01-20 | 2014-09-30 | Intellectual Ventures Fund 83 Llc | Adapting display color for low luminance conditions |
-
2014
- 2014-02-19 CN CN201480022200.5A patent/CN105122795A/zh active Pending
- 2014-02-19 JP JP2015558221A patent/JP2016511588A/ja active Pending
- 2014-02-19 US US14/184,110 patent/US20140233914A1/en not_active Abandoned
- 2014-02-19 WO PCT/US2014/017201 patent/WO2014130575A1/en active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110223244A (zh) * | 2019-05-13 | 2019-09-10 | 浙江大华技术股份有限公司 | 一种图像处理的方法、装置、电子设备和存储介质 |
CN110223244B (zh) * | 2019-05-13 | 2021-08-27 | 浙江大华技术股份有限公司 | 一种图像处理的方法、装置、电子设备和存储介质 |
CN111340683A (zh) * | 2020-02-08 | 2020-06-26 | 朱明华 | 图像数据处理方法、装置、图像处理系统及服务器 |
CN111340683B (zh) * | 2020-02-08 | 2020-11-13 | 朱明华 | 图像数据处理方法、装置、图像处理系统及服务器 |
Also Published As
Publication number | Publication date |
---|---|
US20140233914A1 (en) | 2014-08-21 |
JP2016511588A (ja) | 2016-04-14 |
WO2014130575A1 (en) | 2014-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105122795A (zh) | 用于数字图像创建和显示的图像外观框架和应用 | |
CN100521729C (zh) | 颜色管理系统和方法 | |
US10182247B2 (en) | HDR image encoding and decoding methods and devices | |
CN102783132B (zh) | 用于定义颜色状态的装置和方法 | |
JP6218830B2 (ja) | 観測者間メタメリズム不一致低減方法 | |
JP6362595B2 (ja) | 観測者間メタメリズム不一致軽減をもたらす表示システム | |
JP6430937B2 (ja) | 観測者間メタメリズム不一致補償方法 | |
CN109219844A (zh) | 在视频优先级与图形优先级之间转换 | |
JP2008536165A (ja) | 縞模様を減らすための色変換ユニット | |
CN103891294A (zh) | 用于hdr图像编码和解码的装置与方法 | |
US9443327B2 (en) | Rendering and un-rendering using profile replacement | |
Sharma | Understanding RGB color spaces for monitors, projectors, and televisions | |
CN108886623B (zh) | 用于高对比度剧场显示的信号编码和解码 | |
JP6742417B2 (ja) | デジタル画像の処理方法、付随する装置、端末機器およびコンピュータプログラム | |
Fröhlich et al. | Gamut mapping for digital cinema | |
CN114097237A (zh) | Hdr图像的显示优化行为的调整 | |
US20070076014A1 (en) | Universal color decoder an method for decoding input signal for a multiple primary color display system | |
Borer | Display of high dynamic range images under varying viewing conditions | |
JP2015097049A (ja) | 画像処理装置及び画像処理方法 | |
CN117296076A (zh) | 经显示优化的hdr视频对比度适配 | |
CN117082222B (zh) | 一种用于转播车的图像视频优化调色方法 | |
Pouli et al. | Color Management for Cinematic Immersive Experiences | |
US10609290B2 (en) | Video communication network with augmented reality eyewear | |
Fröhlich | Encoding high dynamic range and wide color gamut imagery | |
Rahayu | Quality of experience for digital cinema presentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151202 |