CN110447051A - 在感知上保持参考场景的对比度和色度 - Google Patents
在感知上保持参考场景的对比度和色度 Download PDFInfo
- Publication number
- CN110447051A CN110447051A CN201880019219.2A CN201880019219A CN110447051A CN 110447051 A CN110447051 A CN 110447051A CN 201880019219 A CN201880019219 A CN 201880019219A CN 110447051 A CN110447051 A CN 110447051A
- Authority
- CN
- China
- Prior art keywords
- scene
- pixel value
- light level
- display
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 claims abstract description 307
- 238000012546 transfer Methods 0.000 claims abstract description 94
- 230000003287 optical effect Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims description 110
- 230000006870 function Effects 0.000 claims description 43
- 230000008447 perception Effects 0.000 claims description 17
- 238000013139 quantization Methods 0.000 claims description 15
- 108090000623 proteins and genes Proteins 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 15
- 238000012545 processing Methods 0.000 description 110
- 238000004422 calculation algorithm Methods 0.000 description 33
- 238000003860 storage Methods 0.000 description 32
- 230000000007 visual effect Effects 0.000 description 32
- 238000005516 engineering process Methods 0.000 description 29
- 230000005540 biological transmission Effects 0.000 description 19
- 238000007726 management method Methods 0.000 description 19
- 230000002708 enhancing effect Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000005457 optimization Methods 0.000 description 17
- 230000004044 response Effects 0.000 description 16
- 230000004301 light adaptation Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 238000010606 normalization Methods 0.000 description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 11
- 238000011065 in-situ storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000000149 penetrating effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 210000000003 hoof Anatomy 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
从原始场景中捕获输入场景图像。所述输入场景图像可以在输入颜色空间中被表示。所述输入场景图像在LMS颜色空间、ICtCp颜色空间等之一中被转换为经颜色空间转换的场景图像。至少部分地基于光传递函数，将在所述经颜色空间转换的场景图像中表示的场景光水平映射到经映射光水平。将色调映射应用于所述经映射光水平以生成要在显示图像中表示的对应显示光水平。所述显示图像可以在目标显示器上渲染。
Description
相关申请的交叉引用
本申请要求均于2017年3月20日提交的美国临时申请号62/473,590和欧洲专利申请号17161836.6的权益和优先权，所述两个申请的公开内容通过引用以其全文并入本文。
技术领域
本发明总体上涉及图像。更具体地，本发明的实施例涉及在感知上保持参考场景的对比度和色度。
背景技术
相机传感器捕获场景中的光水平。如果显示设备与原始场景具有相同的明亮度(brightness)能力，则可以直接在显示设备上显示这些光水平。然而，原始场景通常可以包含远远超过显示设备能力的明亮度水平。另外，通常在与原始场景存在很大差异的相对暗淡的显示观看环境中观看显示设备。
用于将场景图像从原始场景变换为在具有各种显示能力的显示设备上渲染的显示图像的图像处理操作可能不会在显示图像中保持原始场景的场景图像的对比度和色度。例如，就人类视觉感知而言，如在这些显示设备上渲染的显示图像的对比度和色度可能不同于观看者从原始场景中原位(in situ)观看的图像或者相机从原始场景中原位捕获的图像的对比度和色度。
在本节中描述的方法是可以寻求的方法，但不一定是之前已经设想到或寻求的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指明，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。
附图说明
在附图中以示例而非限制的方式来图示本发明，并且其中相似的附图标记指代类似的元件，并且在附图中：
图1A和图1F图示了示例光光传递函数(OOTF,optical-to-optical transferfunction)；图1B、图1G和图1H图示了示例(例如，基于色调、基于OOTF等的)映射曲线；图1C图示了示例局部对比度曲线；图1D图示了示例饱和度调整曲线；图1E图示了示例周围补偿曲线族；
图2A至图2D图示了经映射像素值的示例色度分布；
图3A至图3D图示了示例图像处理流水线；
图4A至图4E图示了示例过程流程；以及
图5图示了示例硬件平台，在所述硬件平台上可以实施如本文所描述的计算机或计算设备。
具体实施方式
本文描述了涉及在感知上保持一些或所有参考场景的对比度与色度的示例实施例。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实施本发明。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
在此根据以下概要对示例实施例进行描述：
1. 总体概述
2. 光光传递函数
3. 饱和度/色相偏移
4. 色度/色相保持
5. 绝对光水平和色度/色相保持
6. 场景观看环境
7. 通过插值调整OOTF
8. 选择优化的OOTF
9. 通过显示管理的方式执行OOTF
10. 除显示管理之外执行OOTF
11. 示例过程流程
12. 实施机制——硬件概述
13. 等效物、扩展、替代及其他
1.总体概述
此概述介绍了对本发明的示例实施例的一些方面的基本描述。应当注意的是，此概述不是对示例实施例的各方面的广泛或详尽总结。此外，应当注意的是，此概述不旨在被理解为确认示例实施例的任何特别重要的方面或要素，也不旨在被理解为特别地描绘示例实施例的任何范围，也不是概括地描绘本发明。此概述仅以压缩和简化的格式介绍与示例实施例相关的一些概念，并且应被理解为仅仅是以下示例实施例的更详细说明的概念性前序。注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合均可以被组合以形成进一步实施例。
可以通过可以存在于原始(例如，物理)场景的各种捕获设备的任何组合从原始场景中获取/捕获/合成场景图像，所述原始场景可以实施产生原始(例如，虚拟)场景等的视觉对象模型。示例捕获设备包括但不限于HDR相机、移动电话相机、与计算设备集成的相机、结合计算设备操作的相机、非专业相机、专业相机、虚拟相机、计算机图像生成器、计算机图像渲染器、计算机图形生成器、计算机动画器(animator)、虚拟图像生成器等。应当注意，本文所述的原始场景可以是完全的物理场景、完全的虚拟场景或一个或多个物理场景和/或一个或多个虚拟场景的组合。例如，场景图像不一定限于仅是二维(2D)图像，还可以是三维(3D)虚拟现实图像等。在一些实施例中，还可以将场景图像定义为在特定观看条件下(例如，在暗室中)投影在特定显示器上的图像。
呈现给原始场景处在原位的观看者的原始场景的视觉外观(如由场景图像捕获的)可以称为参考场景的视觉外观。从场景图像得到/变换的显示图像的视觉外观(如在显示设备上渲染的)可以称为参考显示器的视觉外观。
根据本文所使用的，术语“视觉外观”是指视觉上可感知的对比度和视觉上可感知的色度(色相和饱和度)的组合；或者是指视觉上可感知的对比度和视觉上可感知的色相的组合。
可以应用如本文所描述的技术来确保原始场景的参考显示器的视觉外观如实地(例如，完美地、感知地、低于人类可察觉的阈值、在相对较小的误差内等)再现了原始场景的参考场景的视觉外观。应当注意，在一些实施例中，原始场景的参考场景的视觉外观可以指原始场景的视觉外观，所述视觉外观具有旨在生成令人愉悦的场景图像而从原始图像中选择的特定相机设置和特定相机图像信号处理(相机ISP)。
在如本文所描述的技术下生成和可选地渲染的显示图像允许观看者(例如，人等)感知与原始场景的视觉外观相同的视觉外观。就原始场景的参考场景的视觉外观而言，观看者可以从显示图像中看到观看者(或虚拟观看者)将在原始场景处在原位看到的内容。
如本文所描述的技术可以进一步用于减少承载显示图像所需的视频数据量，同时充分利用特定显示设备(例如，具有高动态范围和/或宽色域的显示器等)的特定显示能力，以便将原始场景的参考场景的视觉外观传达给观众。
本文所描述的示例实施例涉及在感知上保留一些或所有参考场景的对比度与色度。从原始场景中捕获一个或多个输入场景图像，所述一个或多个输入场景图像在输入颜色空间中被表示。在LMS颜色空间或ICtCp颜色空间之一中将所述一个或多个输入场景图像转换为一个或多个经颜色空间转换的场景图像。至少部分地基于光传递函数，将在LMS颜色空间或ICtCp颜色空间之一中的所述一个或多个经颜色空间转换的场景图像中表示的场景光水平映射到经映射光水平。将色调映射应用于经映射光水平以生成将在一个或多个显示图像中表示的相应显示光水平。可选地，使所述一个或多个显示图像在目标显示器上渲染。
在一些示例实施例中，将从原始场景中捕获的场景图像中的场景像素的一组场景像素值转换为场景像素的在LMS颜色空间中表示的一组L场景像素值、M场景像素值和S场景像素值，所述一组场景像素值在输入颜色空间中被表示。基于场景像素的所述一组L场景像素值、M场景像素值和S场景像素值来得到场景像素的场景光水平。至少部分地基于光传递函数，将场景光水平映射到场景像素的经映射光水平。将公共比率应用于场景像素的所述一组L场景像素值、M场景像素值和S场景像素值中的L场景像素值、M场景像素值和S场景像素值中的每一个，以生成场景像素的一组经映射L场景像素值、经映射M场景像素值和经映射S场景像素值，所述公共比率是根据场景光水平和经映射光水平计算的。可选地，使显示图像在目标显示器上渲染，所述显示图像包括显示像素，所述显示像素的一组显示像素值是根据所述一组经映射L场景像素值、经映射M场景像素值和经映射S场景像素值得到的。
在一些示例实施例中，将从原始场景中捕获的场景图像中的场景像素的一组场景像素值转换为场景像素的在ICtCp颜色空间中表示的一组I场景像素值、T场景像素值和P场景像素值，所述一组场景像素值在输入颜色空间中被表示。至少部分地基于光传递函数，将所述一组I场景像素值、T场景像素值和P场景像素值中的I场景像素值映射到经映射I场景像素值。可选地，使显示图像在目标显示器上渲染，所述显示图像包括显示像素，所述显示像素的一组显示像素值包括经映射I场景像素值。可选地，显示像素的所述一组显示像素值进一步包括场景像素的所述一组I场景像素值、T场景像素值和P场景像素值中的T场景像素值和P场景像素值。
前两个示例实施例的输入信号为从原始场景中捕获的场景图像中的场景像素的一组场景像素值。在示例中，所述一组场景像素值对应于原始相机信号，例如由相机捕获的参考场景的信号。所述参考场景的信号可以是没有应用光传递函数的信号，例如没有应用OOTF。
在一些示例实施例中，生成场景环境光水平以表示从中捕获一个或多个场景图像的原始场景的场景观看环境。生成在原始场景的所述一个或多个场景图像中表示的场景光水平范围。确定场景环境光水平是否与表示目标显示器的显示观看环境的显示环境光水平相同。还确定场景光水平范围是否在由目标显示器支持的支持显示光水平范围内。响应于确定场景环境光水平与表示目标显示器的显示观看环境的显示环境光水平相同并且场景光水平范围在由目标显示器支持的支持显示光水平范围内，生成包括与所述一个或多个场景图像中的相应场景光水平相同的显示光水平的一个或多个显示图像。可选地，使所述一个或多个显示图像在目标显示器上渲染。
在一些示例实施例中，生成场景环境光水平以表示从中捕获一个或多个场景图像的原始场景的场景观看环境。生成在原始场景的所述一个或多个场景图像中表示的场景光水平范围。将色调映射应用于原始场景的所述一个或多个场景图像中的场景像素值，以生成一个或多个显示图像中的相应显示像素值。可选地，使所述一个或多个显示图像在目标显示器上渲染。
在一些示例实施例中，如本文所描述的机制形成媒体处理系统的一部分，所述机制包括但不限于以下各项中的任何一项：非数码相机、数码相机、光场相机、CCD相机、移动设备上的相机、带有计算设备的相机、图像捕获设备、图像采集设备、具有多个相机元件的相机系统、用户安装的(mounted with a user)相机、可穿戴设备中的相机、游戏系统中的相机、虚拟相机(例如，虚拟可缩放镜头和/或非可缩放镜头、虚拟快门、虚拟光圈等的任何组合)、计算机图形生成系统、图像源设备(例如，在虚拟现实系统中、在增强现实系统中、在远程呈现系统中等)、基于云的服务器、移动设备、编码设备、转码设备、解码设备、媒体设备、CAVE型系统或墙壁大小的显示器、视频游戏设备、显示设备、媒体播放器、媒体服务器、媒体制作系统、相机系统、基于家庭的系统、通信设备、视频处理系统、视频编解码系统、制作室系统、流媒体服务器、内容服务系统、手持设备、游戏机、电视、影院显示器、膝上型计算机、笔记本计算机、平板计算机、蜂窝无线电话、电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机服务器、计算机亭或者各种其他类型的终端和媒体处理单元。
对优选实施例和通用原理以及本文中描述的特征作出的各种修改对本领域的技术人员而言将是显而易见的。因此，本公开不旨在受限于所示实施例，而旨在符合与本文描述的原理和特征一致的最大范围。
2.光光传递函数
可以应用如本文所描述的光光传递函数(OOTF)以将如在从原始场景中捕获的场景图像中表示的原始场景的场景光水平(或场景相对曝光水平)转换为经映射光水平。经映射光水平可以用于表示或进一步被映射以生成要由一个或多个显示设备渲染的显示图像中的显示光水平。示例OOTF可以在建议书ITU-R BT.2100-0(07/2016)或更晚的版本(以下称为“ITU-R.BT.2100”)中找到，所述建议书或更晚版本通过引用以其全文并入本文。
如本文所描述的OOTF可以在由图像处理流水线执行的一个或多个图像处理操作中实施。示例图像处理流水线可以包括但不一定仅限于以下流水线中的任何流水线：捕获设备实施的图像处理流水线、广播图像处理流水线、虚拟现实(VR)图像处理流水线、增强现实(AR)图像处理流水线、远程呈现图像处理流水线、电话会议图像处理流水线、远程医疗图像处理流水线、汽车娱乐图像处理流水线等。
如本文所描述的原始场景可以指以下场景中的任何结合、任何组合、任何叠加等：一个或多个真实世界场景、一个或多个虚拟世界场景等。可以通过具有光传感器的一个或多个相机在场景图像中捕获真实世界场景，其中，光传感器(以及如镜头、快门、光圈等其他物理部件)存在于真实世界环境中，所述真实世界环境来自从真实世界的光发射器、真实世界的人物、真实世界的物体、真实世界的背景等发射或反射的物理光。真实世界(或物理)环境可以存在于电影工作室中、现场中等。可以通过虚拟地存在于虚拟环境中的一个或多个虚拟相机(具有如虚拟镜头、虚拟快门、虚拟光圈等虚拟部件)在场景图像中捕获虚拟世界场景，所述虚拟环境来自从虚拟世界的光发射器、虚拟世界的人物、虚拟世界的物体、虚拟世界的背景等发射或反射(通过基于计算机的建模或渲染)的虚拟光。可以基于包括虚拟相机、虚拟世界的光发射器、虚拟世界的人物、虚拟世界的物体、虚拟世界的背景等的计算机模型来指定/定义虚拟环境。
图1A图示了示例OOTF 102，所述示例OOTF将利用标准化(normalized)相机曝光设置捕获的相对场景光水平(表示为“标准化相机曝光”)映射到经映射光水平(表示为“光亮度(luminance)”，在一些实施例中，按绝对光水平、堪德拉(candelas)每平方米(或尼特(nit))可以表示为亮度值等)。在一些实施例中，由OOTF(102)映射的场景光水平是利用(例如，标准化的、默认的、特定的等)相机曝光设置获取/捕获的相对光水平。尽管场景光水平表示原始场景的光水平，但是由OOTF(102)生成的经映射光水平表示由(例如，参考、默认的、特定的等)显示设备渲染的光水平，所述显示设备可以在(例如，参考、默认的、特定的等)显示观看环境中(例如，显示环境光水平为5尼特、背景光亮度为5尼特等)。
在一些实施例中，如图1A所图示的，OOTF(102)将数值1.0的相对场景光水平映射到100尼特的绝对经映射光水平。应当注意，在其他实施例中，OOTF(102)可以将数值1.0的相对场景光水平映射到除100尼特之外的值的绝对经映射光水平。
可以基于以下各项中的一项或多项来指定OOTF(102)：标准(例如，基于ITU-R.BT.2100等)、非标准规范(例如，基于专有规范等)等。OOTF(102)可以用于以下各项中的一项或多项：各种广播显示应用，非广播显示应用，如VR应用、AR应用、远程呈现应用、汽车娱乐应用、远程医疗应用等的显示应用等。在一些实施例中，将OOTF(102)具体定义为适合于或优化用于如广播显示应用等特定类型的显示应用。另外，可选地或可替代地，可以将OOTF(102)或不同的OOTF具体定义为适合于或优化用于一个或多个其他非广播显示应用。
OOTF(102)可以例如对应于在ITU-R BT.2100标准中指定的参考PQ OOTF(参见ITU-R BT.2100的表4)。将此参考PQ OOTF指定为：
FD＝OOTF[E]＝G1886[G709[E]]。
在本文中，FD是显示线性分量(RD、GD、BD；YD；或ID)的光亮度，并且E＝{RS、GS、BS；YS；或IS}是由场景光确定并且通过相机曝光缩放的信号。值E、RS、GS、BS、YS、IS通常在范围[0:1]内。然而，根据相机的曝光范围，可能希望输出比可以由PQ表示的光亮度范围更小的光亮度范围。这可以通过在应用OOTF之前将相机的原始[0:1]线性曝光范围缩放到更有限的范围来实现。
将E’＝G709[E]定义为E的非线性表示，可以写成：FD＝G1886[G709[E]]＝G1886[E’]。G709[E]和G1886[E’]的表达式在BT.2100中给出为：
FD＝G1886[E′]＝100E′2.4
3.饱和度/色相偏移
可以选择OOTF(102)并且将其用作将场景光水平转换为经映射光水平的起点。然而，将OOTF(102)直接简单地应用于场景像素值可能会在经映射图像中引入饱和度/色相偏移，所述经映射图像包括由OOTF(102)从场景像素值转换的相应经映射像素值。
出于说明的目的，OOTF(102)可以应用于将输入RGB颜色空间中的场景像素值(或场景颜色空间分量)映射到输出RGB颜色空间中的经映射像素值(或经映射颜色空间分量)，如以下表达式所示出的：
R’＝OOTF(R) (1-1)
G’＝OOTF(G) (1-2)
B’＝OOTF(B) (1-3)
其中，R、G和B分别表示输入RGB颜色空间的红色(R)分量、绿色(G)分量和蓝色(B)分量中的场景像素值；R’、G’和B’分别表示输出RGB颜色空间的红色(R)分量、绿色(G)分量和蓝色(B)分量中的经映射像素值。
在一些实施例中，输入RGB颜色空间为本地相机RGB颜色空间，而输出RGB颜色空间为基于BT.2020原色的RGB颜色空间、基于BT.2100中定义的LMS原色的RGB颜色空间等。
应用OOTF(102)将输入RGB颜色空间中的场景像素值映射到输出RGB颜色空间中的经映射像素值会如预期的增加输出RGB颜色空间中的经映射像素值中的对比度(例如，色调对比度、灰度级的局部对比度等)，但也会在输出RGB颜色空间中包括经映射像素值的经映射图像中引入如饱和度偏移(例如，饱和度增加等)和色相偏移等色度变化。
图2A图示了当将OOTF(102)应用于场景像素值(RGB)时输出RGB颜色空间中的如从输入RGB颜色空间中的场景像素值(RGB)映射的经映射像素值(R’G’B’)的示例色度分布。人类视觉系统可感知的色度由马蹄形202表示，而包括由显示设备(例如，参考显示器、由标准指定的显示器、由专有规范指定的显示器等)支持的色度的色域由马蹄形(202)内的三角形204来表示。
在本示例中，对于由场景像素值的不同组合表示的许多场景颜色，由通过OOTF(102)将场景像素值映射到的经映射像素值的相应组合表示的经映射颜色的饱和度增加并且色相偏移。如本文所使用的，场景颜色是指场景色度或者场景光水平和场景色度的组合，而经映射颜色是指经映射色度或者经映射光水平和经映射色度的组合。如本文所使用的，术语“色度”可以指如由(多个)单独像素表示的色相和饱和度二者。
在不实施在此处所描述的技术的其他方法下，还可以应用OOTF来映射非RGB颜色空间中的场景像素值(或场景颜色空间分量)。
出于说明的目的，OOTF(102)应用于第一(例如，输入、中间等)LMS颜色空间以获得第二(例如，输出、中间等)LMS颜色空间中的经映射像素值(或经映射颜色空间分量)，如以下表达式所示出的：
L’＝OOTF(L) (2-1)
M’＝OOTF(M) (2-2)
S’＝OOTF(S) (2-3)
其中，L、M和S分别表示第一LMS颜色空间的L分量、M分量和S分量中的场景像素值；L’、M’和S’分别表示第二LMS颜色空间的L分量、M分量和S分量中的经映射像素值。
图2B图示了当将OOTF(102)应用于场景像素值(LMS)时如从场景像素值(LMS)映射的经映射像素值(L’M’S’)的示例色度分布。如所示出的，参考如由场景像素值表示的场景颜色，在(多个)LMS颜色空间中应用OOTF(102)会减少如由经映射像素值表示的经映射颜色中的色相偏移，但是也会增加远远超出原始色域并且甚至超出可以用视频信号格式表示的色域的经映射颜色中的饱和度。因此，在将OOTF(102)应用于(多个)LMS空间之后可能需要进一步的颜色重新映射。
4.色度/色相保持
如本文所描述的技术可以用于实施应用OOTF的方法，所述OOTF防止或显著减少将由不实施这些技术的其他方法产生的色度/色相偏移。
在如本文所描述的技术下，可以应用OOTF(例如，图1A的102等)将场景光水平变换为诸如(多个)ICtCp颜色空间、(多个)LMS颜色空间等的(多个)各种颜色空间中的经映射光水平。
在一些实施例中，可以将输入RGB颜色空间中的场景像素值首先转换为(例如，中间等)XYZ颜色空间(例如，CIE XYZ颜色空间等)中的场景像素值。然后可以将XYZ颜色空间中的场景像素值转换为(例如，中间等)LMS颜色空间中的场景像素值，所述LMS颜色空间包括L分量、M分量或S分量以表示与人类视觉系统中的三种不同类型的视觉传感器相关联的三色刺激(tristimulus)值。
这些颜色空间中的示例RGB、XYZ、LMS和ICtCp颜色空间和转换可以在2016年8月3日提交的PCT申请PCT/US2016/045362中找到，所述PCT申请通过引用以其全文并入本文。
在一些实施例中，LMS颜色空间中的场景像素值为线性LMS像素值。对于在LMS颜色空间的L分量、M分量和S分量中分别包括一组线性场景像素值的给定场景像素，应用OOTF(102)来将如根据场景像素的线性场景像素值(例如，L、M等)得到的场景像素的场景光水平(或表示为I的场景线性强度值)映射到经映射光水平(或经映射线性强度值OOTF(I))。然后应用经映射光水平(OOTF(I))与场景光水平(I)的比率来缩放线性场景像素值，如以下表达式所示出的：
I＝L/2+M/2 (3)
L’＝L*OOTF(I)/I (4-1)
M’＝M*OOTF(I)/I (4-2)
S’＝S*OOTF(I)/I (4-3)
其中，L’、M’和S’分别表示LMS颜色空间的L分量、M分量和S分量中如在应用(多个)OOTF(例如ITU-R BT.2100中指定的参考PQ OOTF)的此示例方法下转换的经映射像素值。仅出于说明的目的，可以根据L的一半和M的一半来计算光水平。应当注意，在其他实施例中，可以基于应用于L、M和S的不同的数值因子来计算光水平。另外，已经描述了如本文所描述的技术(例如，上文的表达式(3)和表达式(4)等)可以用于利用(多个)OOTF来转换像素值。在其他实施例中，如本文所描述的技术可以类似地用于使用其他传递函数来转换像素值，所述传递函数包括但不一定限于(多个)光电传递函数((多个)OETF)、(多个)反向的电光传递函数((多个)反向的EOTF)等——例如在上文的表达式(3)和表达式(4)中使用OETF或反向的EOTF来代替OOTF。因此，尽管本文的示例实施例是基于OETF、EOTF和OOTF的非线性光传递函数之间的相互关系根据OOTF函数来描述的，但是可以基于EOTF函数或OETF函数将这些方法用于实施例。
图2C图示了当使用上述表达式(3)和表达式(4)将OOTF(102)应用于LMS颜色空间中的场景像素值时如从场景像素值(LMS)映射的经映射像素值(L’M’S’)的示例色度分布。
在如本文所描述的技术下应用OOTF(102)的此方法(例如，完美地、相当地、基本上等)保持由场景像素值表示的色度/色相，所述场景像素值如从根据三色刺激值渲染的经映射图像中的经映射像素值中的原始场景中捕获，所述三色刺激值与人类视觉系统中三种不同类型的视觉传感器相关联。
应当注意，此方法(例如，如利用表达式(3)和表达式(4)进行说明)可以应用于表示线性值、非线性值、PQ值、非PQ值、基于γ的值、相对光水平、绝对光水平等的场景像素值。
5.绝对光水平和色度/色相保持
利用特定(虚拟或真实)相机曝光设置生成如本文所描述的如从原始场景捕获的场景图像。可以在(虚拟或真实)相机系统中自动或手动选择/调整这些设置，以在从原始场景捕获的场景图像中获得令人愉悦的外观、艺术效果等。
场景图像可以包括表示为相对值的场景光水平。基于与用于捕获场景图像的特定相机曝光设置相关的标准化因子/缩放因子，可以将这些相对值视为来自绝对(或实际)光水平的标准化值/缩放值。
例如，场景图像可以包括输入RGB颜色空间的RGB分量中的场景像素值，所述场景像素值是R颜色、G颜色和B颜色中的场景光水平的相对值。场景图像中的场景像素可以包括RGB颜色空间中的以下场景像素值：红色(R)值、绿色(G)值和蓝色(B)值。这些RGB值可以指示红色中的相对光水平、绿色中的相对光水平以及蓝色中的相对光水平，这些相对光水平已经分别根据红色中的绝对光水平、绿色中的绝对光水平和蓝色中的绝对光水平进行标准化/缩放。可以使用以下各项中的一项或多项来执行从红色、绿色和蓝色中的绝对光水平到红色、绿色和蓝色中的相对值的缩放/标准化：缩放/标准化因子、乘法因子、函数、表格等，其可以基于用于源图像的默认相机曝光设置或特定相机曝光设置来设置或确定。
在一些实施例中，场景图像中的场景像素的每个场景像素值中的相对值1.0表示100尼特的绝对光水平，这将暗指具有100尼特的斜率的线性OOTF。例如，场景图像中的场景像素的RGB值(R＝1.0，G＝1.0和B＝1.0)的每个值中的相对值1.0可以表示100尼特的绝对光水平。应当理解，场景图像中的场景像素的绝对光水平相对值映射到哪些值可以取决于与用于从原始场景捕获场景图像的特定相机曝光设置相关的标准化因子/缩放因子。在一些其他实施例中，场景图像中场景像素的相对值(R＝1.0，G＝1.0和B＝1.0)可以表示除100尼特之外的绝对光水平(例如，50尼特、150尼特等)，这取决于另一个标准化因子/缩放因子。
在应用涉及绝对光水平的(多个)OOTF的第二示例方法下，第一步是通过标准化因子/缩放因子(例如，如表达式(5)中所示的100)对场景图像中的相对场景像素值(表示相对光水平)进行反向标准化/缩放，以生成绝对场景像素值(表示绝对光水平)。此标准化因子/缩放因子可以应用于将在LMS颜色空间中表示的相对场景像素值1.0映射到100尼特的绝对光水平，从而在LMS颜色空间中生成绝对场景像素值。
可以使用L2PQ转换函数(例如，PQ映射等)将这些绝对场景像素值进一步转换为LMS颜色空间中的感知量化(PQ)码字，随后是使用转换矩阵LMS2ITPmat进行从LMS颜色空间中的PQ码字到ICtCp颜色空间中的相应PQ码字的转换操作，如在以下表达式中所示出的：
ITP＝L2PQ(LMS*β)*LMStoITPmat (5)
其中，β表示如上文所讨论的标准化因子/缩放因子；I、T和P分别表示I颜色空间分量、T颜色空间分量和P颜色空间分量中的PQ码字(在ICtCp颜色空间中)；LMStoITPmat表示(例如，3 x 3)转换矩阵，所述转换矩阵可以用于从LMS颜色空间中表示的像素值到ICtCp颜色空间中的相应像素值；L2PQ表示将线性像素值转换为PQ像素值的线性到PQ转换函数(例如，PQ映射等)。
如本文所使用的术语“PQ”是指感知量化。人类视觉系统以十分非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的(多个)空间频率和在观看刺激物的特定时刻眼睛所适应的光亮度水平以及其他因素。在优选实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在J.S.Miller等人于2012年12月6日提交的名称为“Perceptual luminance nonlinearity-based image data exchange acrossdifferent display capabilities(跨越不同显示能力的基于感知光亮度非线性的图像数据交换)”的序列号为PCT/US2012/068212(称为‘212申请)的PCT申请中描述了PQ映射函数的示例，并且所述PCT申请通过引用以其全文并入本文，其中，在给定固定的刺激物大小的情况下，对于每个光亮度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该光亮度水平处的最小可见对比度步长。与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地可能与人类视觉系统响应方式极大致相似的传统γ曲线相比，如由‘212申请确定的PQ曲线会使用相对简单的函数模型模仿人类视觉系统的真实视觉反应。
在SMPTE ST 2084:2014“High Dynamic Range EOTF of Mastering ReferenceDisplays(控制参考显示器的高动态范围EOTF)”中定义了基于PQ曲线的EOTF的示例，该文献通过引用以其全文并入本文。在J.Stessen等人的“Chromaticity based color signalsfor wide color gamut and high dynamic range(用于宽色域和高动态范围的基于色度的颜色信号)”(ISO/IEC JTC1/SC29/WG11 MPEG2014/M35065，2014年10月)中给出了感知量化的EOTF的另一个示例，所述文献通过引用以其全文并入本文。
此示例第二方法的第二步是将OOTF(102)应用于ICtCp颜色空间的I(颜色空间)分量中的PQ码字。由于OOTF(102)期望线性值作为输入，因此可以使用转换函数PQ2L(例如，PQ到线性转换函数、逆PQ映射等)首先将ICtCp颜色空间的I分量中的PQ码字转换为ICtCp颜色空间的I分量中的相应线性场景像素值(表示绝对光水平)。由于OOTF(102)可以期望输入值为相对值(或者表示相对光水平的标准化场景像素值/缩放场景像素值)，因此可以将ICtCp颜色空间的I分量中的这些线性场景像素值缩小(例如，反向等)到ICtCp颜色空间的I分量中的相对线性值。然后，利用OOTF(102)应用ICtCp颜色空间的I分量中的相对线性值，以在ICtCp颜色空间的I分量中生成显示相对线性值，然后进行转换——使用转换函数L2PQ将ICtCp颜色空间的I分量中的显示相对线性值转换为ICtCp颜色空间的I分量中的显示PQ码字，如在以下表达式中所示出的：
I’＝L2PQ(OOTF(PQ2L(I)/β)) (6)
其中，I’表示在ICtCp颜色空间中I分量中的显示PQ码字；L2PQ表示线性到PQ转换函数，其将线性像素值转换为感知量化(PQ)的像素值。已经描述了如本文所描述的技术(例如，上面的表达式(6)等)可以用于利用(多个)OOTF(例如，在ITU-R BT.2100中指定的参考PQ OOTF)对像素值进行转换。在其他实施例中，如本文所描述的技术可以类似地用于使用其他传递函数对像素值进行转换，所述传递函数包括但不必限于(多个)OETF等——例如在上文的表达式(6)中使用OETF代替OOTF。
应当注意，仅出于说明目的单独讨论前面的步骤。在一些实施方式中，可以将如由表达式(5)和表达式(6)表示或在其中表示的前述步骤中的一些或所有组合/级联成单一查找表(例如，1D查找表、多维查找表等)或单一函数。
图2D图示了当OOTF(102)与表达式(5)和表达式(6)一起应用时如从场景颜色(I，P，T)映射的经映射颜色(I’，P，T)的示例色度分布。可以利用表达式(5)、表达式(6)以及可选地以下表达式(7)而不是利用表达式(1)或表达式(2)来获得经映射颜色(I’，P，T)。
表达式(5)和表达式(6)保持了场景像素值的色度/色相，因为ICtCp颜色空间的P分量和T分量不受对ICtCp颜色空间的I分量应用OOTF(102)的影响。更具体地，场景图像中ICtCp的P分量和T分量中的相同场景像素值可以作为从基于OOTF(102)的场景图像中生成的相应经映射图像中ICtCp的P分量和T分量中的经映射像素值而输出，从而保持经映射图像中的如从场景图像中捕获的场景颜色的色度/色相。
在一些实施例中，当经映射像素的色调对比度增加时，期望经映射像素的饱和度略微增加或增强。因此，在一些实施例中，在不影响ICtCp颜色空间的P分量和T分量中的经映射像素值之间的现有比率的情况下，第二方法的可选第三步骤是对ICtCp颜色空间的P分量和T分量两者中的经映射像素值进行调整。通过此第三步骤可选地应用于P分量和T分量的调整可以从应用于ICtCp颜色空间中的I分量的调整中得到，如以下表达式所示出的：
P’＝P*(I’-I+1) (7-1)
T’＝T*(I’-I+1) (7-2)
其中，P’和T’表示ICtCp颜色空间中经饱和度调整的P分量和T分量；饱和度调整因子由(I’-I+1)表示。
当经映射像素的OOTF适应的明亮度(由I’表示)被映射为高于相应场景像素的原始场景明亮度(由I表示)时，这会导致具有这些像素值的经映射像素的饱和度增加或增强，并且当经映射像素的OOTF适应的明亮度被映射为低于场景像素的原始场景明亮度时，会导致饱和度降低或减小。这些饱和度调整可以用于部分地补偿亨特效应(Hunt Effect)，这表示人类视觉系统倾向于将更明亮的颜色感知为具有更高的饱和度。应当注意，虽然第二方法的此可选的第三步骤改变了由P分量和T分量的组合表示的饱和度(例如，通过相同的缩放因子(I’-I+1)等共同调整的P分量和T分量)，但是由于P分量和T分量相对于彼此保持(例如，相对等)恒定，因此色相仍然保持。
图1B图示了示例色调映射曲线104(例如，基于表达式(5)和(6)等)，所述色调映射曲线在上文描述的第二方法下将场景光水平(表示为“输入强度”；如由I表示)映射到经映射光水平(表示为“输出强度”；如由I’表示)。与线性关系106相反，色调映射曲线(104)表示非线性关系。在一些实施例中，对场景光水平(I)和经映射光水平(I’)两者进行感知量化。然而，应当注意，在各种实施例中，可以对场景光水平(I)和经映射光水平(I’)中的零个、一个或两个进行感知量化、非感知量化、线性量化、非线性量化等。
图1C图示了对应于图1B的色调映射曲线(104)的示例局部对比度曲线。局部对比度曲线表示从光亮度(表示为“输入强度”；表示为PQ码字)到局部对比度(表示为“色调曲线的斜率”)的映射。可以通过采用如在图1B中关于光亮度所图示的色调映射曲线(104)的导数来获得图1C中从光亮度到局部对比度的映射。如图1C中所示出的，局部对比度会在相对较低的光亮度(例如，低光水平、暗区等)下降低(这有助于降低噪声)，并且在相对较高的光亮度(例如，高光水平、亮区等)下进一步降低之前会增加到接近中等色调1.5。
图1D图示了基于表达式(7)中的饱和度调整因子(I’-I+1)而生成的示例饱和度调整曲线。饱和度调整曲线表示从光亮度(表示为“输入强度”；表示为PQ码字)到饱和度调整因子的值(表示为“饱和度调整”)的映射。如图1D中所示出的，饱和度会在低光亮度(例如，低光水平、暗区等)下降低，并且在高光亮度(例如，高光水平、亮区等)下增加。这些饱和度调整可以用于补偿亨特效应以及在低光亮度水平下抑制色度噪声。
通过说明的方式，可以对饱和度调整因子中的场景光水平(I)和经映射光水平(I’)两者进行感知量化。根据前文提到的，在各种实施例中，可以对场景光水平(I)和经映射光水平(I’)中的零个、一个或两个进行感知量化。因此，饱和度调整因子可以使用PQ或非PQ光强度值。另外地、可选地或可替代地，与表达式(7)中所示的一个(I’-I+1)不同的其他形式(包括但不限于非乘法因子等)可以用于增强或减少饱和度，同时在如本文所描述的技术下保持色相。例如，可以将饱和度调整因子可替代地计算为(I’/I)。例如，可以将饱和度调整因子可替代地计算为(I’/I)。在此示例中，P分量和T分量将计算为：
P’＝P*(I’/I) (7a-1)
T’＝T*(I’/I) (7a-2)
6.场景观看环境
在一些实施例中，可以根据不同原始场景下的不同场景观看环境来区别地应用基于(多个)OOTF调整场景光水平。在一些实施例中，场景环境光水平可以用于表示在原始场景下观看者的场景观看环境。示例场景环境光水平包括但不一定限于以下各项中的一项或多项：平均场景光水平、环境场景光水平、原始场景的一些或所有部分的平均光照度、原始场景的平均光亮度、原始场景中原位观看者的光适应水平等。
光适应水平是指观看者的(两只)眼睛在场景观看环境中适应的光水平。由于在同一原始场景中不同的原位观看者可能聚焦于原始场景的不同部分，因此不同的观看者可以适应同一原始场景中的不同场景环境光水平，尤其是当原始场景在原始场景的不同部分中所包括的场景光水平的变化较大时。在相对暗淡的原始场景中观看亮区的观看者可以适应亮区的相对较高的光水平。相反地，在相对较亮的原始场景中观看暗区的观看者可以适应暗区的相对较暗的光水平。
可以主观地或客观地将光适应水平确定为以下各项中的一项：观看者的实际光适应水平、基于人类视觉系统的模型所计算的光适应水平、针对观看者指向观看者视野的场景部分而确定/计算的光亮度水平、针对围绕观看者指向观看者视野的场景部分的背景而确定/计算的光亮度水平等。
在一些实施例中，可以根据从原始场景捕获的一个或多个原始图像的一些或所有像素值来确定或计算表示原始场景的场景观看环境的场景环境光水平。
在一些实施例中，可以将表示原始场景的场景观看环境的场景环境光水平确定为如由原始场景中原位部署的一个或多个环境光传感器测量的环境光水平。环境光传感器可以是与捕获如本文所描述的源图像的相机系统一起操作的单独设备的一部分或者可以是所述单独设备。
在一些实施例中，可以基于图像相关元数据来确定表示原始场景的场景观看环境的场景环境光水平。图像相关元数据可以在一个或多个侧通道中与原始场景的一个或多个场景图像(例如，在场景图像的一个或多个时间序列中、在一个或多个视频信号中、在一个或多个视频文件中等)一起进行传输。图像相关元数据携带指定与捕获场景图像同时的环境光水平的光水平信息。可以使用由环境光传感器获取的测量数据来自动计算指定环境光水平的光水平信息。另外地、可选地或可替代地，可以通过如观看者、摄影师、移动设备用户等用户来手动输入光水平信息中的至少一些光水平信息。
在一些实施例中，可以根据地理信息、天气信息、位置信息、感官信息等的任何组合来估计原始场景的环境光水平和/或色度。例如，原始场景的GPS坐标可以与从原始场景中捕获的一个或多个场景图像一起存储并且可以通过后续图像处理操作(包括但不限于基于OOTF的图像处理操作)来使用，以推断出原始场景的地理位置，如道路、购物中心角落、建筑物楼层、隧道、桥梁等。原始场景的地理位置可以与原始场景的定时信息(例如，作为图像相关元数据的一部分携带等)进行组合以确定原始场景的环境光水平。
在一些实施例中，在场景图像的图像相关数据(和/或图像内容)中记录或从中推断出用于从原始场景中捕获一个或多个场景图像的相机系统的(例如，光轴等的)空间方向、场景图像中覆盖的(多个)立体角范围等。用于捕获场景图像的相机系统的空间方向、场景图像中覆盖的(多个)立体角范围等可以用作用于确定建模相机系统的(概念性)观看者的环境光水平或光适应水平的基础的一部分。
另外地、可选地或可替代地，可以使用不一定限于图像相关元数据的其他信息来确定环境光水平、环境光色度、光适应水平等。例如，可以根据一个或多个信息源、数据库、基于云的服务器、室内服务器等来确定原始场景处的日出/日落时间信息、天气信息、地理地图信息、建筑物地图、建筑布局等；这种信息可以单独使用或与其他信息结合使用，以确定或估计环境光水平、光适应水平等。
7.通过插值调整OOTF
在许多情况下，OOTF可以用于在相对暗淡的显示观看环境中将明亮的场景光水平调整到在调光显示器(或显示设备)上支持的经映射光水平。显示观看环境的示例可以是但不一定仅限于其中显示器被5尼特背景墙围绕的观看环境(例如，具有5尼特的显示环境光水平等)。
在原始场景相对暗淡的情境中，如在夜间拍摄的场景中，显示器(或显示设备)可能能够在与原始场景的场景观看环境相当的显示观看环境中完美地、感知地或如实地再现原始场景的绝对场景光水平。因此，在这些情境中，不需要OOTF适应来映射已经由显示器支持的场景光水平。
在一些实施例中，代替将相同的固定OOTF应用于具有不同场景观看环境的原始场景的场景光水平，可以基于原始场景的不同场景观看环境来计算或确定自适应OOTF。
例如，可以通过基于插值因子α在第一OOTF(表示为“OOTF1”)与第二OOTF(表示为“OOTF2”)之间进行插值来计算或确定原始场景的自适应OOTF’，其中，α与表示原始场景的场景观看环境的场景环境光水平相关，如以下表达式所示出的：
OOTF’(I)＝OOTF1(I)*α+(1-α)*OOTF2 (8)
其中，α是基于场景环境光水平来设置或计算的。插值因子α可以与线性依赖、非线性依赖等的场景环境光水平成比例。表达式(8)的右侧(RHS)的第一项和第二项分别表示来自第一OOTF(“OOTF1”)的贡献和来自第二OOTF(“OOTF2”)的单独贡献。
在一些实施例中，第一OOTF(“OOTF1”)表示将标准化场景光水平映射到适合于参考显示观看环境(例如，5尼特周围(surround)等)的经映射光水平的参考OOTF，而第二OOTF(“OOTF2”)表示不对场景光水平执行适应或执行很少适应的无操作OOTF(或恒等映射)。在一些实施例中，第二OOTF(“OOTF2”)可以由如根据表达式(8)的RHS的第二项所示的直线来表示。应当注意，在一些其他实施例中，第二OOTF(“OOTF2”)可以表示对场景光水平执行与由第一OOTF(“OOTF1”)执行的适应不同的适应的非恒等映射(而不是直线或恒等映射)。
另外地、可选地或可替代地，代替在如参考OOTF、直线等两个或更多个OOTF之间进行插值，可以基于其他方法来确定自适应OOTF，这些方法包括但不限于使用形式可基于表示原始场景的场景观看环境的场景环境光水平进行调整的函数。
例如，用于确定自适应OOTF的函数的形式可以包括具有将基于场景环境光水平计算的值的参数或变量。函数中的参数或变量的值可以与线性依赖、非线性依赖等的场景环境光水平成比例。
8.选择优化的OOTF
基于OOTF的光水平映射的目标通常是将具有不同场景观看环境的原始场景中的场景光水平调整或标准化为经映射光水平；经映射光水平可以用于进一步生成要在参考观看环境中渲染的显示图像(例如，在显示图像的一个或多个时间序列中、在一个或多个视频信号中、在一个或多个视频文件中等)中的显示光水平。给定不同原始场景中场景观看环境的变化，可以通过比较表示特定场景观看环境的场景环境光水平和参考观看环境的参考环境光水平来计算特定原始场景中的特定场景观看环境的适当周围补偿(或调整)。
通过示例而非限制的方式，参考观看环境可以由ITU-BT.2100来指定，其参考环境光水平为5尼特周围光水平。
如果场景环境光水平与参考环境光水平相同(例如，确切地，在一定的边际误差内等)，则不应用周围补偿来调整与具有由场景环境光水平表示的场景观看环境的原始场景的参考环境光水平相关联的参考OOTF。这里，可以为参考观看环境定义或指定参考OOTF，并且可以将所述参考OOTF表示为默认OOTF、直线等。例如，参考OOTF可以对应于ITU-RBT.2100中特定的参考PQ OOTF。
在一些实施例中，如果场景环境光水平与参考环境光水平之间的差异相对较小，例如在场景环境光水平和参考环境光水平中的较小者的固定误差内、阈值内(例如，10％、5％、15％等)等，则认为场景环境光水平与参考环境光水平相同。
在一些实施例中，对于具有比参考环境光水平更亮或更暗的场景环境光水平(例如，100尼特、500尼特、0尼特等)的原始场景，基于表示原始场景的场景观看环境的相应场景环境光水平，应用周围补偿来调整原始场景的参考OOTF。可以如此选择周围补偿以在参考观看环境中渲染的经映射光水平下感知地产生原始场景的相同的视觉外观或局部对比度。
例如，如果表示原始场景的场景观看环境的场景环境光水平高于参考环境光水平，则可以特别选择周围补偿以在相对较暗的光亮度水平下减小局部对比度并且所述周围补偿可以用于将参考OOTF调整为场景观看环境的特定OOTF。特定OOTF将从原始场景中捕获的场景图像的场景光水平映射到经映射光水平，其中，局部对比度在相对较暗的光亮度水平下减小。
另一方面，如果表示原始场景的场景观看环境的场景环境光水平低于参考环境光水平，则可以特别选择周围补偿以在相对较暗的光亮度水平下增加局部对比度并且所述周围补偿可以用于将参考OOTF调整为场景观看环境的特定OOTF。特定OOTF将从原始场景中捕获的场景图像的场景光水平映射到经映射光水平，其中，局部对比度在相对较暗的光亮度水平下增加。
可以独立地或与结合参考(或“默认”)OOTF应用如本文所描述的周围补偿。在各种实施例中，可以在应用参考OOTF之前、同时或之后应用补偿。
在一些实施例中，表示原始场景的特定场景观看环境的特定场景环境光水平用于在多个周围补偿曲线中选择或确定特定的周围补偿曲线，以便应用如本文所描述的周围补偿。所述多个周围补偿曲线中的每个周围补偿曲线可以表示相应场景环境光水平的单个色调映射曲线(或类似于色调映射曲线的映射曲线)。基于特定场景光水平从所述多个周围补偿曲线中选择的特定周围补偿曲线可以用于使参考OOTF适应于特定原始场景的特定OOTF，或者可替代地，用于除了参考OOTF之外应用周围补偿等。
图1E图示了对应于表示不同场景观看环境的不同场景环境光水平的示例周围补偿曲线族(例如，108-1到108-4等)。在各种实施例中，可以预先或在运行时不计算所述族中的补偿曲线、计算所述族中的补偿曲线中的一个、一些或全部。在一些实施例中，可以将周围补偿曲线(例如，108-1到108-4中的任何一个等)定义或指定为输入光水平(例如，如图1E所示出的以尼特为单位的“输入光亮度”)与输出光水平(例如，如图1E所示出的以cd/m2或尼特为单位的“输出光亮度”)之间的映射曲线。可以独立地或结合参考OOTF应用周围补偿曲线。在各种实施例中，可以在应用参考OOTF之前、同时或之后应用周围补偿曲线(例如，108-1到108-4中的任何一个等)。
如图1E所图示的，第一周围补偿曲线(108-1)对应于500cd/m2的第一场景环境光水平；第二周围补偿曲线(108-2)对应于100cd/m2的第二场景环境光水平；第三周围补偿曲线(108-3)对应于5cd/m2的第三场景环境光水平；第四周围补偿曲线(108-4)对应于0cd/m2的第四场景环境光水平。
图1F图示了对应于表示不同场景观看环境的不同场景环境光水平的示例OOTF族(例如，102-1到102-4等)。在各种实施例中，可以预先或在运行时不计算所述族中的OOTF、计算所述族中的OOTF中的一个、一些或全部。OOTF(例如，102-1到102-4等)中的每一个可以用于将如利用标准化相机曝光设置捕获的相对场景光水平(表示为“标准化相机曝光”)映射为特定场景环境光水平的经映射光水平(表示为“光亮度”；在绝对光水平下以尼特表示为亮度值等)。在一些实施例中，可以通过将参考OOTF(例如，102-3等)与周围补偿曲线(例如，108-1到108-4等)进行组合、卷积或级联来获得这些OOTF(例如，102-1到102-4等)。如图1F所示出的，第一OOTF曲线(102-1)对应于500尼特(或cd/m2)的第一场景环境光水平，并且可以通过将参考OOTF(102-3)与第一周围补偿曲线(108-1)进行组合来获得所述第一OOTF曲线。同样，第二OOTF曲线(102-2)对应于100尼特的第二场景环境光水平，并且可以通过将参考OOTF(102-3)与第二周围补偿曲线(108-2)进行组合来获得所述第二OOTF曲线。第三OOTF曲线(102-3)对应于5尼特的第三场景环境光水平，并且可以通过将参考OOTF(102-3)与第三周围补偿曲线(108-3)进行组合来获得所述第三OOTF曲线。由于第三周围补偿曲线(108-3)是直线，因此第三OOTF曲线(102-3)与参考OOTF(102-3)相同。第四OOTF曲线(102-4)对应于0尼特的第四场景环境光水平，并且可以通过将参考OOTF(102-3)与第四周围补偿曲线(108-4)进行组合来获得所述第四OOTF曲线。
另外地、可选地或可替代地，代替将参考OOTF与周围补偿曲线进行组合，可以从(可用的)OOTF族中选择特定OOTF，所述特定OOTF对应于表示特定原始场景的特定场景观看环境的特定场景环境光水平。在各种实施例中，可以预先或在运行时不计算所述族中的OOTF、计算所述族中的OOTF中的一个、一些或全部。OOTF族中的每个OOTF可以对应于表示原始场景的场景观看环境的相应场景环境光水平的优化的OOTF。
例如，可以通过表示原始场景的不同场景观看环境的多个相应场景环境光水平来索引OOTF族。特定场景环境光水平可以用作搜索或标识特定OOTF的关键(key)。特定OOTF将从原始场景中捕获的场景图像的场景光水平映射到要在(例如，参考、默认等)显示观看环境中渲染的经映射光水平，所述显示观看环境可以或可以不与特定场景观看环境不同。
在示例中，当确定观看者适应对应于相对较亮的环境(例如，500尼特周围光水平等)的第一场景环境光水平(例如，500尼特等)时，可以至少部分地基于第一场景环境光水平为相对较亮的环境选择第一OOTF(例如，102-1等)。第一OOTF可以具有相对于参考观看环境(例如，5尼特周围光水平等)的参考OOTF(例如，图1A的102，102-3等)重新分布的局部对比度，以对相对较亮的环境中的相对较暗的光水平下观看者眼睛降低的对比度敏感度进行补偿。
在另一示例中，当确定观看者适应对应于相对较暗的环境(例如，0尼特周围光水平等)的第二场景环境光水平(例如，0尼特等)时，可以至少部分地基于第二场景环境光水平来选择第二OOTF(例如，102-4等)。第二OOTF(102-4)可以具有相对于参考观看环境(例如，5尼特周围光水平等)的参考OOTF(例如，图1A的102，102-3等)重新分布的局部对比度，以对相对较暗的环境中的相对较暗的光水平下观看者眼睛增加的对比度敏感度进行补偿。
因此，在如本文所描述的技术下，当观看者在给定光适应水平下适于在视觉上辨别某些光水平(例如，相对较暗的光水平、中间色调光水平、相对较亮的光水平等)的更多局部对比度或更多图像对比度时，可以从OOTF族中为光适应水平(或表示原始场景的场景观看环境的场景环境光水平)特别选择优化的OOTF。优化的OOTF会为观看者在视觉上更加可辨别的这些光水平分配更多局部对比度或更多图像对比度。因此，如在原始场景的场景图像中表示的图像细节在经映射图像中被保留。
相反地，当观看者在给定光适应水平下适于在视觉上辨别某些光水平(例如，相对较暗的光水平、中间色调光水平、相对较亮的光水平等)的更少局部对比度或更少图像对比度时，可以从OOTF族中为光适应水平(或场景环境光水平)特别选择优化的OOTF。优化的OOTF会为观看者在视觉上不可辨别的这些光水平分配较少的对比度或较少的图像对比度。因此，与原始场景的相应场景图像相比，可以更高效地利用或压缩码字而不影响经映射图像的感知质量。
9.通过显示管理的方式执行OOTF
在一些实施例中，映射操作(如显示管理(DM)映射、色调映射、色域映射等)可以用于将为参考显示设备指定/优化的参考视频内容映射到为特定显示设备映射/优化的设备特定视频内容，所述特定显示设备在动态范围和色域方面可以具有与参考显示设备的参考显示能力不同的设备特定显示能力。一般而言，映射操作可以指在基于OOTF的操作、基于OETF的操作、DM操作、非DM操作等中执行的映射，所述映射会将第一动态范围(和/或者第一观看环境)的第一信号改变为第二动态范围(和/或第二观看环境)的第二信号，其中，第二动态范围可以等于、低于或高于第一动态范围。仅出于说明的目的，一些描述可以使用DM相关映射作为示例映射操作。然而，应当注意，如本文所描述的技术不一定限于DM相关映射，而是可以与各种非DM相关映射一起操作，所述非DM相关映射可以用于将预映射动态范围(和/或预映射观看环境)的预映射信号映射到经映射动态范围(和经映射观看环境)的经映射信号。由DM操作映射的示例参考视频内容可以是但不一定仅限于媒体节目的演播室发布版本，其中，基于演播室的图像内容修改表示调色师、艺术总监、视频专业人员、用户等的艺术意图。
如本文所使用的，术语高动态范围(HDR)可以指跨越人类视觉系统(HVS)的大约14至15个数量级的动态范围(DR)宽度。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可单独地或可互换地涉及人类视觉系统(HVS)可同时感知的DR。如本文所使用的，EDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于真实场景参考的HDR可能稍微窄一些，但EDR表示宽DR宽度并且还可以被称为HDR。
实际上，图像(如场景图像、中间图像、经映射图像、显示图像等)包括一个或多个颜色分量(例如，RGB颜色空间中的R像素值、G像素值和B像素值；YCbCr颜色空间中的Y像素值、Cb像素值和Cr像素值；XYZ颜色空间中的X像素值、Y像素值和Z像素值；LMS颜色空间中的L像素值、M像素值和S像素值；ITP或ICtCp颜色空间中的I像素值、P像素值和T像素值；等)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8、10、12或16)。
EDR和HDR图像也可以使用高精度(例如，16位)浮点格式来存储和分布，如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式。
大多数消费者桌面显示器支持200到300cd/m2或尼特的峰值光亮度。大多数消费者HDTV的范围为300到1000cd/m2。因此，这种传统显示器代表相对于HDR或EDR而言的低动态范围(LDR)，也被称为标准动态范围(SDR)。随着EDR内容的可用性由于捕获设备(例如，相机)和EDR显示器(例如，杜比实验室的PRM-4200专业参考监视器等)的进步而增加，EDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1000尼特到5000尼特或更高)的EDR显示器上。通常，本公开的方法涉及高于SDR的任何动态范围。如本发明人在此理解的，向后兼容性和优越的沉浸式体验都期望用于HDR和SDR显示器上的高动态范围图像的显示管理的改进技术。
如本文所使用的，术语“显示管理”表示将第一动态范围(例如，1000尼特)的输入视频信号映射到第二动态范围(例如，500尼特)的显示器所需的处理(例如，色调映射、色域映射等)。
显示管理操作的示例可以见于2016年1月14日提交的PCT申请序列号PCT/US2016/013352中，所述PCT申请通过引用以其全文并入本文。显示管理操作的另外的示例可以见于2016年5月11日提交的PCT申请序列号PCT/US2016/031920中，所述PCT申请通过引用以其全文并入本文。
在一些实施例中，可以扩展DM操作以将从原始场景中获取/捕获的场景图像映射到为特定显示设备映射/优化的特定显示图像。就观看者可在原始场景处感知的视觉上可感知的对比度和/或视觉上可感知的色度而言，这些DM操作在如由DM操作生成并且如在特定显示设备上渲染的特定展示图像的视觉外观中保持原位观看者在原始场景处感知的视觉外观原始场景。
如在本文所描述的技术下，由相机系统在原始场景处捕获的原始场景的场景图像通过如观看者将在原始场景处视觉感知到的虚拟窗口(或虚拟显示器)表示原始场景的虚拟视图。
可以将表示如前文所讨论的此虚拟窗口(或虚拟显示器)的场景观看环境的场景环境光水平确定为以下各项中的一项：环境光水平、光适应水平、一个或多个场景图像的平均光亮度、场景图像的一个或多个部分的平均光亮度、围绕原始场景的周围场景部分的平均光亮度等。表示场景观看环境的场景环境光水平的这些前述示例中的任何示例可以表示以下各项中的一项：物理光水平、建模光水平、估计光水平、基于由像素值和/或曝光设置表示的标准化光水平而确定的计算光水平、根据光传感器测量结果得到的光水平等。
在一些实施例中，虚拟窗口(或虚拟显示器)的场景观看环境可以由围绕虚拟窗口的场景部分(例如，在观看者的视野中、在由原始场景表示的虚拟空间中等)中的平均周围光亮度/光照度来表示。
另外地、可选地或可替代地，可以将表示场景观看环境的场景环境光水平确定为用于原始场景处的观看者的光适应水平，以通过虚拟窗口查看或查看虚拟窗口的特定部分。当观看者适应场景观看环境时，可以将光适应水平确定为原始场景的光水平。
图3A图示了DM操作像自适应操作那样执行OOTF的示例图像处理流水线300-1。图像处理流水线(300-1)中的一些或全部可以用如相机系统、结合相机系统操作的计算设备、制作工作室系统、媒体播放系统、媒体流传输系统、基于云的系统、VR系统、AR系统、远程呈现系统、汽车娱乐系统等一个或多个计算设备来实施。
在一些实施例中，图像处理流水线(300-1)的一个或多个图像传感器304(例如，在相机系统中等)从原始场景中捕获场景图像。每个场景图像可以包括用于图像帧中的多个场景像素的多组场景像素值。所述多个场景像素可以形成空间形状，所述空间形状可以是矩形形状、椭圆形形状、圆形形状、心形形状、球形形状、规则形状、不规则形状等中的一种或多种的组合。
仅出于说明的目的，场景图像中场景像素的一组场景像素值可以包括输入RGB颜色空间中的相对(线性)R值、G值和B值。这些相对值可以不表示R颜色、G颜色和B颜色中的绝对光水平，而是可以表示相对光水平(R颜色、G颜色和B颜色中)。通过用于从原始场景中虚拟地或物理地获取/捕获场景图像的相机曝光设置，可以将绝对光水平标准化为一个或多个标准化范围内的相对值。
在一些实施例中，图像处理流水线(300-1)基于标准化/缩放因子(例如，表达式(5)和表达式(6)中的β、50、100、150等)和由场景图像中的所述多组场景像素值表示的相对值来计算相应绝对(线性)值。可以根据从曝光计302接收到的曝光设置数据得到标准化/缩放因子β。可以使用绝对值代替相对R值、G值和B值来表示后续图像处理操作中的一些或所有操作中的场景图像。
在一些实施例中，图像处理流水线(300-1)包括输入颜色空间转换器306，所述输入颜色空间转换器用于将表示从原始场景中获取/捕获的场景图像的绝对R值、G值和B值转换为(例如，中间等)LMS颜色空间中的绝对L场景像素值、绝对M场景像素值和绝对S场景像素值，如以下表达式所示出的：
在一些其他实施例中，代替将R值、G值和B值直接转换为如以上表达式(9)所示的L值、M值和S值，可以首先将绝对R值、G值和B值转换为XYZ颜色空间(例如，CIE XYZ颜色空间等)中的绝对X场景像素值、Y场景像素值和Z场景像素值；然后可以将XYZ颜色空间中的X场景像素值、Y场景像素值和Z场景像素值转换为LMS颜色空间中的绝对场景像素值L、绝对M场景像素值和绝对S场景像素值。
LMS颜色空间中的绝对L场景像素值、绝对M场景像素值和绝对S场景像素值可以用于得到或恢复原始场景的与通过所述一个或多个图像传感器(304)从原始场景中获得/捕获的原始相对值相相应的绝对光水平。可以或可以不将绝对光水平的漫射白光仅限定或限制为1000尼特、1万尼特、100万尼特或甚至更高的(绝对)明亮度水平。
可以使用L2PQ转换函数(例如，如表达式(5)所示的等)将LMS颜色空间中的绝对场景像素值进一步转换为LMS颜色空间中的PQ码字，在这之后可以使用转换矩阵LMS2ITPmat(例如，如表达式(5)所示的等)进行从LMS颜色空间中的PQ码字到ICtCp颜色空间中的相应PQ码字的转换操作。可以或可以不将ICtCp中的PQ码字仅限定或限制为1000尼特、1万尼特、100万尼特或甚至更高的(绝对)明亮度水平。
在一些实施例中，图像处理流水线(300-1)包括用于生成一组场景图像元数据的元数据生成器(或计算器)310。元数据生成器(310)确定或估计原始场景中的绝对场景光水平范围，所述绝对场景光水平范围可以包括在所述一组场景图像元数据中。
在没有限制的情况下，绝对场景光水平范围可以指整个绝对场景光水平范围、整个绝对场景光水平范围的大部分、最大场景光亮度设置为最大光和/或最小场景光亮度设置为全部像素的特定百分比(例如，90％、95％等)的最小光水平的绝对场景光水平范围等。在一些实施例中，可以基于ICtCp颜色空间的I分量中的场景像素值(的分布)来确定原始场景中的绝对光水平范围。
通过示例而非限制的方式，原始场景的光水平范围可以包括针对最暗像素的4尼特最小场景光亮度、针对中间色调像素的200尼特中间场景光亮度以及针对最亮像素的1000000尼特最大场景光亮度。最小场景光亮度、中间场景光亮度和最大场景光亮度可以分别对应于PQ值0.23、0.58、1.42。中间场景光亮度可以指但不限于以下各项中的一项：场景光水平分布中的平均光亮度、场景光水平分布中的中间光亮度、显著场景图像部分的平均光亮度、最重要场景图像部分(例如，由相机系统中的人脸检测逻辑检测到的人脸等)的平均光亮度、语义上重要的场景图像部分(例如，汽车追逐场景中的汽车、电子游戏中的特定角色等)的平均光亮度、VR应用、AR应用、远程呈现应用中所呈现的特定物体或人物的平均光亮度等。
在一些实施例中，图像处理流水线(300-1)确定或估计表示原始场景的场景观看环境的场景环境光水平。场景环境光水平可以与从原始场景中捕获场景图像同时发生并且可以使用由曝光计(302)收集的光水平测量数据进行估计，所述曝光计可以是用于获取/捕获场景图像的相机系统的一部分或者可以结合该相机系统进行操作。另外地、可选地或可替代地，如针对原始场景的绝对场景光水平范围所确定的，可以使用前文提到的中间场景光亮度(例如，200尼特等)来估计场景环境光水平。
在一些实施例中，图像处理流水线(300-1)对如由ICtCp颜色空间中的PQ码字表示的场景图像执行一个或多个DM操作308-1到308-3，以生成一个或多个目标显示器(或目标显示设备)的显示图像。所述一个或多个目标显示器中的每一个可以表示具有特定于显示类型的相应显示能力的显示类型。
在一些实施例中，如图3A的图像处理流水线(300-1)所图示的，所述一个或多个DM操作(308-1到308-3)对基于OOTF的光水平映射进行取代或替代。在这些实施例中，除DM操作之外不执行基于OOTF的光水平映射；相反，DM操作使用基于表示原始场景的场景观看环境的场景环境光水平的色调映射曲线和/或周围补偿直接将场景光水平调整或重新映射到显示光水平。
在一些实施例中，DM操作将原始场景的场景观看环境视为虚拟显示设备的虚拟显示观看环境，并且进一步将从原始场景中得到的场景图像视为已经适应虚拟显示观看环境中的虚拟显示设备的虚拟显示图像。
通过基于表示原始场景的场景观看环境的场景环境光水平的周围补偿的方式，在其他图像处理流水线(例如，300-1等)中基于OOTF的光水平映射的效果(或目标)可以通过图像处理流水线(300-1)中的DM操作(如308-1到308-3)来实现，而无需单独执行基于OOTF的光水平映射。
例如，第一DM操作(308-1)可以实施并且执行DM算法，所述DM算法将ICtCp颜色空间中的场景图像作为第一输入、将由元数据生成器(310)生成的所述一组场景图像元数据作为第二输入、将原始场景的场景观看环境的场景环境光水平作为第三输入、将表示第一目标显示器的第一显示观看环境的第一显示环境光水平作为第四输入。通过示例而非限制的方式，第一目标显示器可以是高动态范围(HDR)显示设备。
基于前述输入中的一些或全部，第一DM操作(308-1)执行DM算法以生成为第一目标显示器特别调整的(或优化的)相应第一显示图像。另外地、可选地或可替代地，基于对DM算法的输入中的一些或全部以及第一显示图像，第一DM操作(308-1)执行DM算法以生成第一显示图像的第一组显示图像元数据。
在一些实施例中，第一显示图像中的每一个可以由形成如矩形形状、椭圆形形状、圆形形状、心形形状、球形形状、规则形状、不规则形状、上述形状中的任何形状的组合等空间形状的多个显示像素的多组显示像素值表示。在一些实施例中，所述多组显示像素值中的每组显示像素值包括ICtCp颜色空间中针对显示图像中的相应显示像素的一组I显示像素值、T显示像素值和P显示像素值。另外地、可选地或可替代地，在输出到存储介质、下游设备、流传输客户端、媒体播放器等之前，可以将第一显示图像转换到除了ICtCp颜色空间之外的不同输出颜色空间(例如，RGB颜色空间、YCbCr颜色空间、LMS颜色空间、XYZ颜色空间、IPT颜色空间等)中。
在一些实施例中，作为生成第一目标显示器的第一显示图像和第一组显示图像元数据的一部分，第一DM操作(308-1)执行DM算法以确定第一目标显示器是否能够再现原始场景的场景光水平(例如，ICtCp颜色空间的I分量中的场景像素值等)。这可以通过将如先前确定的场景光水平(例如，最大场景光亮度、中间场景光亮度、最小场景光亮度等)范围与第一目标显示器的显示能力进行比较来确定。
第一目标显示器可能能够支持与第一目标显示器的一个或多个自动或手动可设置显示模式和/或用户控制相关联的一个或多个显示光水平范围。在一些实施例中，基于由元数据生成器(310)生成的所述一组场景图像元数据中的场景光水平范围，第一目标显示器可能能够从所述一个或多个支持的显示光水平范围当中静态地或动态地选择合适的显示光水平范围、静态地或动态地调整支持的显示光水平范围等的最大显示光亮度(最亮光水平)、最小显示光亮度(最暗的黑色水平)等。
在一些实施例中，第一DM操作(308-1)执行DM算法以确定第一目标显示器的第一显示观看环境是否与原始场景的场景观看环境(或场景环境光水平)相同。这可以通过将原始场景的如先前确定的场景环境光水平与表示第一显示观看环境的第一显示环境光水平进行比较来确定。在一些实施例中，如果场景环境光水平与第一显示环境光水平之间的差异相对较小，例如在场景环境光水平和第一显示环境光水平中的较小者的固定误差内、阈值内(例如，10％、5％、15％等)等，则认为场景环境光水平与第一显示环境光水平相同。
如果第一目标显示器为参考HDR显示设备或参考SDR显示设备，则可以在定义参考HDR显示设备或SDR显示设备的显示能力的标准、专有规范等中指定第一显示环境光水平。
如果第一目标显示器是从原始场景获取场景图像的相机系统的预览监视器，则可以将显示环境光水平设置为与场景环境光水平相同。
在一些实施例中，响应于确定第一目标显示器能够再现原始场景的场景光水平以及确定第一目标显示器的第一显示观看环境与原始场景的场景观看环境相同，第一DM操作(308-1)执行DM算法以在第一显示图像中再现(例如，精确地、完美地、如实地、以相对较高的精度、经受相对较小的量化误差/编码误差等)场景光水平。
图1G图示了示例色调映射曲线112-1和112-2。第一色调映射曲线(112-1)可以是为假设的输入/场景观看环境所定义的或指定的参考色调映射曲线，所述参考色调映射曲线用于将输入光水平或场景光水平(表示为“场景强度”；由输入PQ码字表示)映射到显示光水平(表示为“输出显示强度”；由输出PQ码字表示)。通过示例而非限制的方式，场景光水平的最小场景光亮度、中间场景光亮度和最大场景光亮度分别是0、200和10k(以尼特为单位)。响应于确定场景观看环境与第一目标显示器的第一显示观看环境相同，并且响应于确定场景光水平范围在第一目标显示器的支持的显示光水平范围内，第一DM操作(308-1)使用第二色调映射曲线(112-2)，所述第二色调映射曲线实际上数学地被减成(mathematically reduce)直线，并且其1-1将场景光水平的值映射到相应显示光水平的同一值。因此，在第一显示图像中再现(例如，精确地、完美地、如实地、以相对较高的精度、经受相对较小的量化误差/编码误差等)场景光水平。
在一些实施例中，响应于确定第一目标显示器不能够再现原始场景的场景光水平或者确定第一目标显示器的第一显示观看环境与原始场景的场景观看环境不相同，第一DM操作(308-1)执行DM算法以将场景光水平色调映射到第一显示图像中的相应显示光水平。可以基于第一色调映射曲线将场景光水平色调映射到显示光水平。
在一些实施例中，第一色调映射曲线可以由标准、专有规范等指定或定义。第一色调映射曲线可以基于如由ITU-BT.2100指定的参考观看环境等假设的场景观看环境、5尼特的周围光水平等来指定或定义。
可以通过将表示场景观看环境的场景环境光水平与假设的场景观看环境的假设的环境光水平进行比较来确定原始场景中关于假设的场景观看环境的场景观看环境的适当的周围补偿(或调整)。
如果场景环境光水平与假设的环境光水平相同，则除了第一色调映射曲线外，不应用周围补偿。在一些实施例中，如果场景环境光水平与假设的环境光水平之间的差异相对较小，例如在场景环境光水平和假设的环境光水平的较小者的固定误差内、阈值内(例如，10％、5％、15％等)等，则认为场景环境光水平与假设的环境光水平相同。如为假设的场景观看环境(所述假设的场景观看环境与本示例中的场景观看环境相同)所定义或指定的第一色调映射曲线可以用于将从原始场景中捕获的场景图像的场景光水平映射到第一显示图像中的显示光水平。
如果场景环境光水平与假设的环境光水平不同，则除了如为假设的场景观看环境所定义或指定的第一色调映射曲线外，应用周围补偿。周围补偿可以基于如图1E所图示的周围补偿曲线等。
场景观看环境的周围补偿可以独立地应用或结合为假设的场景观看环境所定义或指定的第一色调映射曲线应用。在各种实施例中，可以在应用第一色调映射曲线之前、同时或之后应用周围补偿。
在一些实施例中，周围补偿可以用于将第一色调映射曲线修改为经修改第一色调映射曲线。第一DM操作(308-1)可以执行DM算法以基于经修改第一色调映射曲线而不是基于第一色调映射曲线来将场景光水平色调映射到第一显示图像中的显示光水平。因此，(a)场景观看环境的周围补偿和(b)为假设的场景观看环境所定义或指定的第一色调映射曲线两者同时执行，而非在不同时间单独地执行。
在一些实施例中，可以预先或在运行时生成经修改色调映射曲线族或其中的一部分。经修改色调映射曲线族对应于不同场景环境光水平的不同周围补偿族。
在运行时，DM算法可以使用场景环境光水平以从不同的经修改色调映射曲线族中选择特定的经修改色调映射曲线，并且应用所选特定的经修改色调映射曲线来将场景光水平色调映射到显示光水平，而无需单独地执行基于OOTF的光水平映射并且无需单独地执行周围补偿。
图1H图示了除了第一色调映射曲线(112-1)和第二色调映射曲线(112-2)之外的示例第三色调映射曲线112-3。通过示例而非限制的方式，场景光水平的最小场景光亮度、中间场景光亮度和最大场景光亮度分别是0、2000、1M(以尼特为单位)。
响应于确定场景观看环境与第一目标显示器的第一显示观看环境相同，并且响应于确定场景光水平范围超出了第一目标显示器的(多个)支持的显示光水平范围，第一DM操作(308-1)使用第三色调映射曲线(112-3)来将场景光水平映射到显示光水平。如在图1H中可以看到的，使场景光水平中的高亮部分滚降(roll off)，以适应于由第一目标显示器支持的支持显示光水平范围，并且使场景光水平中的中间色调在显示光水平中降低(至较低的光亮度)，就像将自动曝光函数应用于场景光水平一样。在如本文所描述的技术下，在对人类视觉系统等的第一显示图像中感知地且如实地再现如由人类视觉系统感知的、尤其是接近中间场景光亮度的场景光水平中的参考场景的对比度和色度中的一些或所有。在一些实施例中，响应于确定场景观看环境与第一目标显示器的第一显示观看环境不同，第一DM操作(308-1)使用合并周围补偿的第三色调映射曲线(112-3)来考虑场景观看环境与第一显示观看环境之间的差异，从而将场景光水平映射到显示光水平。另外地、可选地或可替代地，在一些实施例中，响应于确定场景观看环境与第一目标显示器的第一显示观看环境不同，第一DM操作(308-1)除了应用第三色调映射曲线(112-3)之外还应用考虑了场景观看环境与第一显示观看环境之间的差异的周围补偿曲线，以将场景光水平映射到显示光水平；第三色调映射曲线(112-3)可以表示为不同于(实际)场景观看环境的假设的场景观看环境所定义或指定的参考色调映射曲线。
在一些实施例中，如图3A所图示的，在生成第一目标显示器的第一显示图像的第一DM操作(308-1)之后，相机图像信号处理器(ISP 312)处理或增强第一显示图像，以产生增强的第一显示图像(例如，具有相对满意的图像等)。在一些实施例中，第一显示图像或增强的第一显示图像表示HDR图像(314-1)。
在一些实施例中，所述一个或多个DM操作包括除了第一DM操作(308-1)之外的第二DM操作(308-2)、第三DM操作(308-3)等。这些其他DM操作(例如，308-2，308-3)中的每一个可以重复前述处理中的一些或全部以生成其他目标显示器的其他显示图像。
例如，第二DM操作(308-2)可以执行DM算法——所述DM算法可以或可以不与由其他DM操作执行的DM算法相同——来生成第二显示图像或为第二目标显示器特别调整的(或优化的)增强的第二显示图像以及用于第二显示图像或增强的第二显示图像的第二组显示图像元数据。在一些实施例中，第二目标显示器表示预览监视器；第二显示图像或增强的第二显示图像表示预览图像(314-2)。
同样地，第三DM操作(308-3)可以执行DM算法——所述DM算法可以或可以不与由其他DM操作执行的DM算法相同——来生成第三显示图像或为第三目标显示器特别调整的(或优化的)增强的第三显示图像以及用于第三显示图像或增强的第三显示图像的第三组显示图像元数据。在一些实施例中，第三目标显示器表示SDR显示器；第三显示图像或增强的第三显示图像表示SDR图像(314-3)。
(例如，增强的等)显示图像和用于一个或多个目标显示器的显示图像的多组显示图像元数据中的一些或全部可以保存/存储于存储介质中，可以实时地或非实时地传输至接收显示设备，可以由基于云的服务器、内容提供方、媒体流传输系统等流传输至下游设备。
如上文讨论的，在一些实施例中，基于OOTF的光水平映射可以由合并色调映射和/或周围补偿的DM操作取代或替代。这些DM操作可以在如LMS颜色空间、ICtCp颜色空间等颜色空间中执行，其在色度或色相上没有或几乎没有失真(例如，其颜色饱和度的变化与亨特效应等有关)。
另外地、可选地或可替代地，如果为假设的目标观看环境定义或指定了由DM操作使用的色调映射曲线，并且如果假设的目标观看环境与实际目标观看环境不同，则可以在为假设的目标观看环境定义或指定色调映射曲线之前、同时或之后执行环境光调整。
因此，在如文本所描述的技术下，参考场景的(例如，绝对的、人类可感知的等)对比度和色度可以如实地保持并传送至参考目标观看环境。另外地、可选地或可替代地，参考场景的对比度和色度可以传送至实际目标观看环境中，例如，通过环境光调整来补偿或调整实际目标观看环境。环境光调整的示例可见于2016年10月20日提交的美国专利申请序列号15/298,521中，所述美国专利申请通过引用以其全文并入本文。
仅出于说明的目的，已经描述了元数据生成器(310)生成所述一组场景图像元数据，而DM操作(例如，308-1到308-3)生成多组显示图像元数据。在各种实施例中，如本文所描述的多组场景/显示图像元数据中的一些或全部可以由以下各项中的一项或多项的任何组合生成：作为图像处理流水线(300-1)的一部分操作的DM操作(例如，308-1到308-3中的任何、一些或全部等)、元数据生成器(例如，310等)、专用元数据生成块等。
例如，元数据生成器(310)可以由图像处理流水线(300-1)调用，以计算所述一组场景图像元数据和所述多组显示图像元数据。所述一组场景图像元数据——包括但不限于如场景图像的最大场景光亮度、最小场景光亮度、中间场景光亮度等场景特性——可以根据绝对场景像素值计算，所述绝对场景像素值可以部分地基于来自曝光计(302)的曝光设置数据从相对场景像素值中得到。所述多组显示图像元数据分别根据目标显示器的所述一组场景图像元数据进行调整。所述多组显示图像元数据中的每组显示图像元数据可以通过将对应色调映射曲线应用于所述一组场景图像元数据来计算。所述一组场景图像元数据中的最大场景光亮度、中间场景光亮度、最小场景光亮度等可以通过色调映射曲线调整为所述一组显示图像元数据中的最大显示光亮度、中间显示光亮度、最小显示光亮度等。在一些实施例中，可以将所述一组显示图像元数据进行存储、传输、流处理等，其显示图像由来自场景图像的色调映射曲线进行调整。下游客户端设备(例如，显示器、显示设备、移动计算设备、媒体播放器等)可以接收显示图像和所述一组显示图像元数据，并且可选地基于下游客户端设备、显示图像和所述一组显示图像元数据的显示能力执行进一步调整。进一步调整的显示图像可以在下游客户端设备的显示器上渲染。
图3B图示了DM操作像自适应操作那样执行OOTF的示例图像处理流水线300-2。图像处理流水线(300-2)中的一些或全部可以用如相机系统、结合相机系统操作的计算设备、制作工作室系统、媒体播放系统、媒体流传输系统、基于云的系统、VR系统、AR系统、远程呈现系统、汽车娱乐系统等一个或多个计算设备来实施。
与图3A的图像处理流水线(300-1)相比，图像处理流水线(300-2)交换相机ISP(312)和第一DM操作(308-1)的顺序。如本文所使用的，相机ISP是指对相机图像信号(例如，原始图像信号、图像传感器数据等)执行如自动对焦、图像锐化、白平衡、校正(皮肤色调)、坏像素校正等初步图像处理操作的计算设备/块。由相机ISP(312)执行的初步图像处理操作可能影响场景光水平、色度等的概率分布。
如图3B所图示的，在元数据生成器(310)之前和/或一个或多个DM操作(308-1到308-3)之前执行初步图像处理操作之后，图像处理流水线(300-2)中的元数据生成器(310)和/或所述一个或多个DM操作(308-1到308-3)可以生成所述一组场景图像元数据和所述多组显示图像元数据。所述一组场景图像元数据和所述多组显示图像元数据基于要进一步调整或映射到显示像素值的相同的场景像素值的分布在图像处理流水线(300-2)中生成。因此，与在图像处理流水线(300-1)中生成的所述一组场景图像元数据和所述多组显示图像元数据相比，在图像处理流水线(300-2)中生成的所述一组场景图像元数据和所述多组显示图像元数据可以相对准确些。另外，为了提高或确保所述一组场景图像元数据和所述多组显示图像元数据的准确性，图像处理流水线(300-1)中的元数据生成器(310)和/或所述一个或多个DM操作(308-1到308-3)将需要在执行图像处理流水线(300-1)中的相机ISP(312)之后进行另外的调整或重新计算。
10.除显示管理之外执行OOTF
图3C图示了示例图像处理流水线300-3。图像处理流水线(300-3)中的一些或全部可以用如相机系统、结合相机系统操作的计算设备、制作工作室系统、媒体播放系统、媒体流传输系统、基于云的系统、VR系统、AR系统、远程呈现系统、汽车娱乐系统等一个或多个计算设备来实施。
在一些实施例中，如图3C的图像处理流水线(300-3)所图示的，DM操作对基于OOTF的光水平映射进行补充。在这些实施例中，除DM操作之外执行基于OOTF的光水平映射。例如，可以在DM操作之前单独地执行基于OOTF的光水平映射。如本文使用的，术语“基于OOTF的光水平映射”是指应用OOTF以将场景光水平(例如，标准化光曝光)调整或重新映射到经映射光水平。
在一些实施例中，图像处理流水线(300-3)中的相机ISP(312)处理或增强场景图像，以产生包括增强的相对R值、G值和B值的增强的场景图像(例如，具有相对满意的图像等)。出于简洁的原因，“增强的场景图像”和“增强的相对R值、G值和B值”在下文中可以分别称为“场景图像”和“相对R值、G值和B值”。
在一些实施例中，图像处理流水线(300-3)不用如β等标准化因子/缩放因子计算绝对(线性)R值、G值和B值。如由所述一个或多个图像传感器(304)从原始场景中捕获的场景图像中的相对R值、G值和B值——而非绝对R值、G值和B值——可以直接用于图像处理流水线(300-3)中的随后图像处理操作中的一些或全部。
在一些实施例中，图像处理流水线(300-3)中的输入颜色空间转换器(306)将表示从原始场景中获取/捕获的场景图像的相对R值、G值和B值转换为ICtCp颜色空间中的对应的相对PQ码字(表示为“相对或绝对场景ICtCp”)。
另外地、可选地或可替代地，在一些其他实施例中，输入颜色空间转换器(306)用如β等标准化因子/缩放因子(例如，等于相对值1.0尼特到100尼特的默认因子等)来计算绝对(线性)R值、G值和B值。绝对R值、G值和B值可以用于得到ICtCp颜色空间中的绝对PQ码字(表示为“相对或绝对场景ICtCp”)。
在一些实施例中，图像处理流水线(300-3)中的OOTF操作316将原始场景的如由ICtCp颜色空间中的I分量中的相对PQ码字或绝对PQ码字表示的绝对场景光水平或相对场景光水平重新映射到基于OOTF和表达式(5)到(8)的OOTF映射的图像(表示为“OOTF映射的ICtCp”)的对应OOTF映射的光水平。OOTF映射的图像包括绝对OOTF映射的像素，所述绝对OOTF映射的像素包括但不限于OOTF映射的光水平。
OOTF可以是为参考显示观看环境(例如，ITU-BT.2100规范中等)所定义或指定的光水平映射曲线或通过插值、通过周围补偿等调整的OOTF。在一些实施例中，OOTF期望相对线性光水平(标准化相机曝光)作为输入。在ICtCp颜色空间中的I分量中的PQ码字是绝对值的实施例中，为了将原始场景的如由ICtCp颜色空间中的I分量中的绝对PQ码字表示的绝对场景光水平重新映射到OOTF映射的图像(“OOTF映射的ICtCp”)的相应OOTF映射的光水平，OOTF操作(316)首先将ICtCp颜色空间中的I分量中的PQ码字转换为绝对线性场景光水平(例如，通过如表达式(6)中所示出的PQ2L转换函数等)，并且然后用标准化因子/缩放因子β(例如，等于相对值1.0尼特到100尼特的默认因子)缩放原始场景的绝对线性场景光水平。
在一些实施例中，元数据生成器(310)生成一组OOTF映射的图像元数据。元数据生成器(310)确定或估计OOTF映射的光水平范围，所述OOTF映射的光水平范围可以包括在所述一组OOTF映射的图像元数据(表示为“OOTF映射的元数据”)中。
在没有限制的情况下，OOTF映射的光水平范围可以指整个OOTF映射的光水平范围、整个OOTF映射的光水平范围的大部分、对于全部OOTF映射的像素的特定百分比(例如，90％、95％等)而言将最大OOTF映射的光亮度设置为最大光水平和/或最小OOTF映射的光亮度设置为最小光水平的OOTF映射的光水平范围等。在一些实施例中，可以基于ICtCp颜色空间的I分量中的OOTF映射的像素值(的分布)来确定OOTF映射的图像中的OOTF映射的光水平范围。
在一些实施例中，图像处理流水线(300-3)对如由ICtCp颜色空间中的PQ码字表示的OOTF映射的图像执行一个或多个DM操作308-4和308-5，以生成一个或多个目标显示器(或目标显示设备)的显示图像。所述一个或多个目标显示器中的每一个可以表示具有特定于显示类型的对应显示能力的显示类型。
例如，第四DM操作(308-4)可以实施并执行DM算法，所述DM算法将ICtCp颜色空间中的OOTF映射的图像、所述一组OOTF映射的图像元数据、表示第四目标显示器的第四显示观看环境的第四显示环境光水平等作为输入。通过示例而非限制的方式，第四目标显示器可以是从原始场景中捕获场景图像的相机系统的预览监视器。
基于前述输入中的一些或全部，第四DM操作(308-4)执行DM算法以生成为第四目标显示器特别调整的(或优化的)对应第四显示图像。另外地、可选地或可替代地，基于对DM算法的输入中的一些或全部以及第四显示图像，第四DM操作(308-4)执行DM算法以生成第四显示图像的第四组显示图像元数据。在第四目标显示器是相机系统的预览监视器的操作情境中，可以将第四显示图像直接渲染为预览监视器上的预览图像314-4。
另外地、可选地或可替代地，可以通过将表示场景观看环境的场景环境光水平与假设的场景观看环境的假设的环境光水平进行比较来确定并且除了基于OOTF的光水平映射之外或作为所述基于OOTF的光水平映射的一部分应用原始场景中关于OOTF的假设的场景观看环境的场景观看环境的适当的周围补偿(或调整)。
在一些实施例中，如果为假设的目标观看环境定义或指定了由DM操作使用的色调映射曲线，并且如果假设的目标观看环境与实际目标观看环境不同，则可以在为假设的目标观看环境定义或指定色调映射曲线之前、同时或之后作为生成第四显示图像的一部分执行环境光调整。
在一些实施例中，第四显示图像中的每一个可以由形成如矩形形状、椭圆形形状、圆形形状、心形形状、球形形状、规则形状、不规则形状、上述形状中的任何形状的组合等空间形状的多个显示像素的多组显示像素值表示。在一些实施例中，所述多组显示像素值中的每组显示像素值包括ICtCp颜色空间中针对显示图像中的对应显示像素的一组相对I显示像素值、T显示像素值和P显示像素值。另外地、可选地或可替代地，在输出到存储介质、下游设备、流传输客户端、媒体播放器等之前，可以将第四显示图像转换到除了ICtCp颜色空间之外的不同输出颜色空间(例如，RGB颜色空间、YCbCr颜色空间、LMS颜色空间、XYZ颜色空间、IPT颜色空间等)中。
在一些实施例中，所述一个或多个DM操作包括除了第四DM操作(308-4)之外的第五DM操作(308-5)等。这些其他DM操作(例如，308-5等)中的每一个可以重复前述处理中的一些或全部以生成其他目标显示器的其他显示图像。
例如，第五DM操作(308-5)可以执行DM算法——所述DM算法可以或可以不与由其他DM操作执行的DM算法相同——来生成为第五目标显示器特别调整的(或优化的)第五显示图像以及用于第五显示图像的第五组显示图像元数据。在一些实施例中，第五目标显示器表示HDR显示器；第五显示图像表示HDR图像(314-5)。
(例如，增强的等)显示图像和用于一个或多个目标显示器的显示图像的多组显示图像元数据中的一些或全部可以保存/存储于存储介质中，可以实时地或非实时地传输至接收显示设备，可以由基于云的服务器、内容提供方、媒体流传输系统等流传输至下游设备。
图3D图示了示例图像处理流水线300-4。图像处理流水线(300-4)中的一些或全部可以用如相机系统、结合相机系统操作的计算设备、制作工作室系统、媒体播放系统、媒体流传输系统、基于云的系统、VR系统、AR系统、远程呈现系统、汽车娱乐系统等一个或多个计算设备来实施。
在一些实施例中，如图3D的图像处理流水线(300-4)所图示的，DM操作对基于OOTF的光水平映射进行补充。在这些实施例中，除DM操作之外执行基于OOTF的光水平映射。例如，可以在DM操作之前单独地执行基于OOTF的光水平映射。
在一些实施例中，图像处理流水线(300-4)(例如其中的颜色空间转换器(306))用如β等根据从曝光计(302)接收的曝光设置数据确定的标准化因子/缩放因子来计算绝对(线性)R值、G值和B值。如由所述一个或多个图像传感器(304)从原始场景中捕获的场景图像中的绝对R值、G值和B值可以用于得到ICtCp颜色空间中的PQ码字(表示为“绝对场景ICtCp”)。ICtCp颜色空间中的PQ码字可以直接用于图像处理流水线(300-4)中的随后图像处理操作中的一些或全部。
在一些实施例中，图像处理流水线(300-4)中的OOTF操作(316)将原始场景的如由ICtCp颜色空间中的I分量中的PQ码字表示的绝对场景光水平重新映射到基于OOTF和表达式(5)到(8)的OOTF映射的图像(表示为“OOTF映射的ICtCp”)的对应OOTF映射的光水平。OOTF映射的图像包括绝对OOTF映射的像素，所述绝对OOTF映射的像素包括但不限于OOTF映射的光水平。
OOTF可以是为参考显示观看环境(例如，ITU-BT.2100规范中等)所定义或指定的光水平映射曲线或通过插值、通过周围补偿等调整的OOTF。在一些实施例中，OOTF期望相对线性光水平(标准化相机曝光)作为输入。为了将原始场景的如由ICtCp颜色空间中的I分量中的PQ码字表示的绝对场景光水平重新映射到OOTF映射的图像(“OOTF映射的ICtCp”)的对应OOTF映射的光水平，OOTF操作(316)首先将ICtCp颜色空间中的I分量中的PQ码字转换为绝对线性场景光水平(例如，通过如表达式(6)中所示出的PQ2L转换函数等)，并且然后用如β等如根据从曝光计(302)接收到的曝光设置数据确定的标准化因子/缩放因子缩放原始场景的绝对线性场景光水平。
在一些实施例中，元数据生成器(310)生成一组OOTF映射的图像元数据。元数据生成器(310)确定或估计OOTF映射的光水平范围，所述OOTF映射的光水平范围可以包括在所述一组OOTF映射的图像元数据(表示为“OOTF映射的元数据”)中。
在没有限制的情况下，OOTF映射的光水平范围可以指整个OOTF映射的光水平范围、整个OOTF映射的光水平范围的大部分、对于全部OOTF映射的像素的特定百分比(例如，90％、95％等)而言将最大OOTF映射的光亮度设置为最大光水平和/或最小OOTF映射的光亮度设置为最小光水平的OOTF映射的光水平范围等。在一些实施例中，可以基于ICtCp颜色空间的I分量中的OOTF映射的像素值(的分布)来确定OOTF映射的图像中的OOTF映射的光水平范围。
在一些实施例中，图像处理流水线(300-4)对如由ICtCp颜色空间中的PQ码字表示的OOTF映射的图像执行一个或多个DM操作308-6和308-7，以生成一个或多个目标显示器(或目标显示设备)的显示图像。所述一个或多个目标显示器中的每一个可以表示具有特定于显示类型的相应显示能力的显示类型。
例如，第六DM操作(308-6)可以实施并执行DM算法，所述DM算法将ICtCp颜色空间中的OOTF映射图像、所述一组OOTF映射的图像元数据、表示原始场景的场景观看环境的场景环境光水平(例如，基于来自曝光计(302)的曝光设置数据得到的、从环境光传感器得到的、从确定或估计光适应水平的设备/块中得到的等)、表示第六目标显示器的第六显示观看环境的第六显示环境光水平等作为输入。通过示例而非限制的方式，第六目标显示器可以是从原始场景中捕获场景图像的相机系统的预览监视器。
基于前述输入中的一些或全部，第六DM操作(308-6)执行DM算法以生成为第六目标显示器特别调整的(或优化的)对应第六显示图像。另外地、可选地或可替代地，基于对DM算法的输入中的一些或全部以及第六显示图像，第六DM操作(308-6)执行DM算法以生成第六显示图像的第六组显示图像元数据。在第六目标显示器是相机系统的预览监视器的操作情境中，可以将第六显示图像直接渲染为预览监视器上的预览图像314-6。
另外地、可选地或可替代地，可以通过将表示场景观看环境的场景环境光水平与假设的场景观看环境的假设的环境光水平进行比较来确定并且除了基于OOTF的光水平映射之外或作为所述基于OOTF的光水平映射的一部分应用原始场景中关于OOTF的假设的场景观看环境的场景观看环境的适当的周围补偿(或调整)。
在一些实施例中，(a)如果为假设的目标观看环境定义或指定了由DM操作使用的色调映射曲线，并且(b)如果假设的目标观看环境与实际目标观看环境不同，则可以在为假设的目标观看环境定义或指定色调映射曲线之前、同时或之后作为生成第六显示图像的一部分执行环境光调整。
在一些实施例中，第六显示图像中的每一个可以由形成如矩形形状、椭圆形形状、圆形形状、心形形状、球形形状、规则形状、不规则形状、上述形状中的任何形状的组合等空间形状的多个显示像素的多组显示像素值表示。在一些实施例中，所述多组显示像素值中的每组显示像素值包括ICtCp颜色空间中针对显示图像中的对应显示像素的一组相对I显示像素值、T显示像素值和P显示像素值。另外地、可选地或可替代地，在输出到存储介质、下游设备、流传输客户端、媒体播放器等之前，可以将第六显示图像转换到除了ICtCp颜色空间之外的不同输出颜色空间(例如，RGB颜色空间、YCbCr颜色空间、LMS颜色空间、XYZ颜色空间、IPT颜色空间等)中。
在一些实施例中，所述一个或多个DM操作包括除了第六DM操作(308-6)之外的第七DM操作(308-7)等。这些其他DM操作(例如，308-7等)中的每一个可以重复前述处理中的一些或全部以生成其他目标显示器的其他显示图像。
例如，第七DM操作(308-7)可以执行DM算法——所述DM算法可以或可以不与由其他DM操作执行的DM算法相同——来生成为第七目标显示器特别调整的(或优化的)第七显示图像以及用于第七显示图像的第七组显示图像元数据。在一些实施例中，第七目标显示器表示HDR显示器；第七显示图像表示HDR图像(314-7)。
(例如，增强的等)显示图像和用于一个或多个目标显示器的显示图像的多组显示图像元数据中的一些或全部可以保存/存储于存储介质中，可以实时地或非实时地传输至接收显示设备，可以由基于云的服务器、内容提供方、媒体流传输系统等流传输至下游设备。
如上文讨论的，在一些实施例中，基于OOTF的光水平映射可以由合并色调映射和/或周围补偿的DM操作补充。基于OOTF的光水平映射操作可以基于表达式(3)到(8)在颜色空间中执行，其在色度或色相上没有或几乎没有失真(例如，其颜色饱和度的变化与亨特效应等有关)。
因此，在如文本所描述的技术下，参考场景的(例如，绝对的、人类可感知的等)对比度和色度可以如实地保持并传送至参考目标观看环境。另外地、可选地或可替代地，参考场景的对比度和色度可以传送至实际目标观看环境中，例如，通过环境光调整来补偿或调整实际目标观看环境。
仅出于说明的目的，已经描述了对线性像素值执行一些操作，而对如PQ码字等非线性像素值执行一些操作。然而，应当注意，在各种实施例中，可以使用或延伸如本文所描述的技术以对线性像素值、非线性像素值、PQ码字、基于γ的值等中的任何值实施或执行类似操作。例如，在一些实施例中，可以执行除了或代替线性到PQ(L2PQ)转换函数或PQ到线性(PQ2L)转换函数的线性到γ转换函数或γ到线性转换函数。
仅出于说明的目的，已经描述了对在第一颜色空间中表示的像素值执行一些操作，而对在第二不同颜色空间中表示的像素值执行一些操作等。然而，应当注意，在各种实施例中，可以使用或延伸如本文所描述的技术中的一些或全部，以对在RGB颜色空间、YCbCr颜色空间、IPT颜色空间，XYZ颜色空间、LMS颜色空间、ITP或ICtCp颜色空间等中的任何颜色空间中表示的像素值实施或执行类似操作。例如，代替在基于表达式(5)到(7)的ICtCp颜色空间中执行基于OOTF的光水平映射，可以在基于表达式(3)和(4)的LMS颜色空间中或在通过将颜色空间转换矩阵与表达式(3)到(7)中的任何、一些或全部结合而生成的修改表达式的另一个颜色空间中执行基于OOTF的光水平映射。
仅出于说明的目的，已经描述了可以用图像处理流水线(300-1到300-4)中的部件、块、设备等执行操作。然而，应当理解，在各种实施例中，更少或更多的操作可以用于如本文所描述的图像处理流水线或在其中执行。另外地、可选地或可替代地，可以通过这些和其他图像处理流水线中的部件、块、设备等的不同组合/顺序来执行如本文所描述的技术中的一些或全部。
在实施例中，可以通过使用类似非锐化掩蔽等边缘保持过滤进一步增强提出的操作。应用ICtCp颜色空间中的这种过滤的示例可见于2016年1月14日提交的、公开为WO2016/118395的、名称为“Display management for High Dynamic Range video(高动态范围视频的显示管理)”的PCT申请PCT/US2016/013352中，所述PCT申请通过引用以其全文并入本文。
11.示例过程流程
图4A图示了根据本发明的示例实施例的示例过程流程。在一些示例实施例中，一个或多个计算设备或部件可以执行这个过程流程。在框402中，图像处理流水线(例如，如图3A到图3D之一所图示的等)从原始场景中捕获一个或多个输入场景图像，所述一个或多个输入场景图像在输入颜色空间中被表示。
在框404中，图像处理流水线在LMS颜色空间或ICtCp颜色空间中的一个颜色空间中将所述一个或多个输入场景图像转换为一个或多个经颜色空间转换的场景图像。
在框406中，图像处理流水线至少部分地基于光传递函数，将在LMS颜色空间或ICtCp颜色空间中之一中的所述一个或多个经颜色空间转换的场景图像中表示的场景光水平映射到经映射光水平上。
在框408中，图像处理流水线将色调映射应用于经映射光水平以生成要在一个或多个显示图像中表示的对应显示光水平。
在可选的框410中，图像处理流水线使所述一个或多个显示图像在目标显示器上渲染。
在实施例中，光传递函数表示通过基于原始场景的场景观看环境用周围补偿来调整参考光传递函数而得到的映射曲线，所述原始场景的场景观看环境不同于与参考光传递函数相关联的参考场景观看环境。
在实施例中，光传递函数表示与参考场景观看环境相关联的参考光传递函数，所述参考场景观看环境不同于原始场景的场景观看环境；图像处理流水线除了应用光传递函数之外进一步被配置成将在所述一个或多个经颜色空间转换的场景图像中表示的映射场景光水平下的周围补偿应用于经映射光水平。
在实施例中，色调映射表示与参考显示观看环境相关联的参考色调映射曲线，所述参考显示观看环境不同于目标显示器的实际显示观看环境；图像处理流水线进一步被配置成在将色调映射应用于经映射光水平时应用环境光调整，以生成要在一个或多个显示图像中表示的对应显示光水平。
图4B图示了根据本发明示例实施例的示例过程流程。在一些示例实施例中，一个或多个计算设备或部件可以执行这个过程流程。在框412中，图像处理流水线(例如，如图3A到图3D之一所图示的)将从原始场景中捕获的场景图像中的场景像素的一组场景像素值转换为场景像素的在LMS颜色空间中表示的一组L场景像素值、M场景像素值和S场景像素值，所述一组场景像素值在输入颜色空间中被表示。
在框414中，图像处理流水线基于场景像素的所述一组L场景像素值、M场景像素值和S场景像素值得到场景像素的场景光水平。
在框416中，图像处理流水线至少部分地基于光传递函数将场景光水平映射到场景像素的经映射光水平。
在框418中，图像处理流水线将公共比率应用于场景像素的所述一组L场景像素值、M场景像素值和S场景像素值中的L场景像素值、M场景像素值和S场景像素值中的每一个，以生成场景像素的一组经映射L场景像素值、经映射M场景像素值和经映射S场景像素值，所述公共比率是根据场景光水平和经映射光水平计算的。
在可选的框420中，图像处理流水线使显示图像在目标显示器上渲染，所述显示图像包括显示像素，所述显示像素的一组显示像素值是根据所述一组经映射L场景像素值、经映射M场景像素值和经映射S场景像素值得到的。
在实施例中，场景图像包括场景图像的多个场景像素的多组场景像素值；所述多组场景像素值中的每组场景像素值对应于所述多个场景像素中的相应场景像素；图像处理流水线进一步被配置成对所述多组场景像素值中的每组场景像素值重复前述框，以生成要包括在显示图像中的多组显示像素值。
在实施例中，光传递函数表示光光传递函数(OOTF)、光电传递函数(OETF)、反向的电光传递函数(反向的EOTF)或另一个光传递函数之中的一个传递函数。
图4C图示了根据本发明的示例实施例的示例过程流程。在一些示例实施例中，一个或多个计算设备或部件可以执行这个过程流程。在框422中，图像处理流水线(例如，如图3A到图3D之一所图示的)将从原始场景中捕获的场景图像中的场景像素的一组场景像素值转换为场景像素的在ICtCp颜色空间中表示的一组I场景像素值、T场景像素值和P场景像素值，所述一组场景像素值在输入颜色空间中被表示。
在框424中，图像处理流水线至少部分地基于光传递函数，将所述一组I场景像素值、T场景像素值和P场景像素值中的I场景像素值映射到经映射I场景像素值。
在可选的框426中，图像处理流水线使显示图像在目标显示器上渲染，所述显示图像包括显示像素，所述显示像素的一组显示像素值包括经映射I场景像素值。可选地，显示图像的显示像素进一步包括场景像素的所述一组I场景像素值、T场景像素值和P场景像素值中的T场景像素值和P场景像素值。
在实施例中，场景图像包括场景图像的多个场景像素的多组场景像素值；所述多组场景像素值中的每组场景像素值对应于所述多个场景像素中的相应场景像素；图像处理流水线进一步被配置成对所述多组场景像素值中的每组场景像素值重复前述框，以生成要包括在显示图像中的多组显示像素值。
图4D图示了根据本发明的示例实施例的示例过程流程。在一些示例实施例中，一个或多个计算设备或部件可以执行这个过程流程。在框432中，图像处理流水线(例如，如图3A到图3D之一所图示的等)生成场景环境光水平来表示从中捕获一个或多个场景图像的原始场景的场景观看环境。
在框434中，图像处理流水线生成在原始场景的所述一个或多个场景图像中表示的场景光水平范围。
在框436中，图像处理流水线确定场景环境光水平是否与表示目标显示器的显示观看环境的显示环境光水平相同。
在框438中，图像处理流水线确定场景光水平范围是否在目标显示器支持的支持显示光水平范围内。
在框440中，响应于确定场景环境光水平与表示目标显示器的显示观看环境的显示环境光水平相同并且场景光水平范围在由目标显示器支持的支持显示光水平范围内，图像处理流水线生成包括与所述一个或多个场景图像中的对应场景光水平相同的显示光水平的一个或多个显示图像。
在可选的框442中，图像处理流水线使所述一个或多个显示图像在目标显示器上渲染。
在实施例中，图像处理流水线进一步被配置成执行以下操作：响应于确定所述场景环境光水平与所述显示环境光水平不同或所述场景光水平范围不在所述目标显示器支持的支持显示光水平范围内，至少部分地基于光传递函数将所述场景光水平映射到经映射光水平，所述经映射光水平用于得到要在所述一个或多个显示图像中表示的所述显示光水平。
在实施例中，光传递函数通过基于插值因子对两个固定的光传递函数进行插值而得到，所述插值因子取决于场景环境光水平。
在实施例中，光传递函数基于场景环境光水平从多个光传递函数中选择；所述多个光传递函数对应于多个不同的可能场景环境光水平。
在实施例中，光传递函数表示与参考场景观看环境相关联的参考传递函数，所述参考场景观看环境不同于原始场景的场景观看环境；图像处理流水线除了应用光传递函数之外进一步被配置成基于原始场景的场景观看环境在将场景光水平映射到经映射光水平中应用周围补偿。
在实施例中，光传递函数表示与参考场景观看环境相关联的参考光传递函数，所述参考场景观看环境不同于原始场景的场景观看环境；图像处理流水线除了应用光传递函数之外进一步被配置成将色调映射应用于经映射光水平以生成要在所述一个或多个显示图像中表示的显示光水平。
在实施例中，色调映射表示与参考显示观看环境相关联的参考色调映射，所述参考显示观看环境不同于目标显示器的实际显示观看环境；图像处理流水线进一步被配置成在将色调映射应用于经映射光水平中应用环境光调整，以生成要在一个或多个显示图像中表示的显示光水平。
图4D图示了根据本发明的示例实施例的示例过程流程。在一些示例实施例中，一个或多个计算设备或部件可以执行这个过程流程。在框452中，图像处理流水线(例如，如图3A到图3D之一所图示的等)生成场景环境光水平来表示从中捕获一个或多个场景图像的原始场景的场景观看环境。
在框454中，图像处理流水线生成在原始场景的所述一个或多个场景图像中表示的场景光水平范围。
在框456中，图像处理流水线将色调映射应用于原始场景的所述一个或多个场景图像中的场景像素值，以生成一个或多个显示图像中的对应显示像素值。
在可选的框458中，图像处理流水线使所述一个或多个显示图像在目标显示器上渲染。
在实施例中，色调映射取代了基于光光传递函数(OOTF)的光水平映射。
在实施例中，基于场景环境光水平从多个色调映射中选择色调映射；所述多个色调映射对应于多个不同的可能场景环境光水平。
在实施例中，色调映射表示与假设的场景观看环境相关联的参考色调映射，所述假设的场景观看环境不同于原始场景的场景观看环境；图像处理流水线除了应用色调映射之外进一步被配置成基于原始场景的场景观看环境在将场景光水平映射到经映射光水平中应用周围补偿。
在实施例中，色调映射表示与参考显示观看环境相关联的参考色调映射，所述参考显示观看环境不同于目标显示器的实际显示观看环境；图像处理流水线进一步被配置成在将色调映射应用于经映射光水平时应用环境光调整，以生成要在一个或多个显示图像中表示的显示光水平。
在实施例中，所述一个或多个显示图像是显示图像的时间序列的一部分；在以下各项中的一项或多项中对显示图像的时间序列进行编码：视频流或视频文件。
在实施例中，图像处理流水线进一步被配置成在一个或多个显示管理(DM)操作之前对所述一个或多个场景图像应用一个或多个相机图像信号处理(ISP)操作。
在实施例中，图像处理流水线进一步被配置成在一个或多个显示管理(DM)操作之后对所述一个或多个场景图像应用一个或多个相机图像信号处理(ISP)操作。
在实施例中，图像处理流水线进一步被配置成生成所述一个或多个显示图像的一组显示管理元数据。
在实施例中，图像处理流水线进一步被配置成使一个或多个下游设备接收所述一组显示管理元数据与所述一个或多个显示图像。
在各种示例实施例中，装置、系统、装置、或者一个或多个其他计算设备执行所描述的前述方法中的任何方法或其一部分。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，所述软件指令当由一个或多个处理器执行时使得执行如本文所描述的方法。
注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。
12.实施机制——硬件概述
根据一个实施例，本文所描述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程为根据固件、存储器、其他存储装置或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备还可以将自定义硬接线逻辑、ASIC或FPGA与自定义编程相结合以实现所述技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施所述技术的任何其他设备。
例如，图5是图示了可以在其上实施本发明的示例实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。
计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，如随机存取存储器(RAM)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。在被存储于处理器504可访问的非暂态存储介质中时，这种指令使得计算机系统500变成被定制用于执行在指令中指定的操作的专用机器。
计算机系统500进一步包括只读存储器(ROM)508或耦接到总线502的用于存储处理器504的静态信息和指令的其他静态存储设备。
提供存储设备510(诸如磁盘或光盘、固态RAM)，并将其耦接到总线502以用于存储信息和指令。
计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控制装置516，用于将方向信息和命令选择传送到处理器504并用于控制在显示器512上的光标移动。典型地，这个输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在某个平面中指定位置。
计算机系统500可以使用自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文所描述的技术，所述固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行本文中的技术。这样的指令可以从诸如存储设备510等另一存储介质读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文所描述的过程步骤。在可替代的实施例中，可以取代或者结合软件指令来使用硬接线电路。
如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，如存储设备510。易失性介质包括动态存储器，如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪速EPROM、NVRAM、任何其他存储器芯片或存储盒。
存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。
各种形式的介质可以涉及将一个或多个指令的一个或多个序列载送到处理器504以供执行。例如，指令最初可以携载在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以在电话线上接收数据并使用红外发射器将数据转换为红外信号。红外检测器可以接收红外信号中携载的数据，并且适当的电路可以将数据放在总线502上。总线502将数据载送到主存储器506，处理器504从所述主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。
计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，所述网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于提供与相应类型电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是局域网(LAN)卡，用于提供与相容LAN的数据通信连接。还可以实施无线链路。在任何这种实施方式中，通信接口518发送和接收携载表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(ISP)526操作的数据设备的连接。ISP 526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用携载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据载送到计算机系统500和从所述计算机系统载送数字数据)是传输介质的示例形式。
计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、ISP 526、本地网络522和通信接口518传输应用程序的请求代码。
接收的代码可以在被接收到时由处理器504执行，和/或存储在存储设备510、或其他非易失性存储器中以供稍后执行。
13.等效物、扩展、替代及其他
在前述说明书中，已经参考许多具体细节描述了本发明的示例实施例，这些细节可以根据实施方式而变化。因此，指明本发明以及本发明人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续修正。本文中明确阐述的针对这种权利要求中包含的术语的任何定义应当支配着权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此，说明书和附图应被视为说明性的而非具有限制性意义。
可以从以下列举的示例实施例(EEE)中理解本发明的各个方面：
EEE 1.一种方法，包括：
从原始场景中捕获一个或多个输入场景图像，所述一个或多个输入场景图像在输入颜色空间中被表示；
在LMS颜色空间或ICtCp颜色空间之一中将所述一个或多个输入场景图像转换为一个或多个经颜色空间转换的场景图像；
至少部分地基于光传递函数，将在所述LMS颜色空间或所述ICtCp颜色空间之一中的所述一个或多个经颜色空间转换的场景图像中表示的场景光水平映射到经映射光水平；
将色调映射应用于所述经映射光水平以生成要在一个或多个显示图像中表示的相应显示光水平；
使所述一个或多个显示图像在目标显示器上渲染。
EEE 2.如EEE 1所述的方法，其中，所述光传递函数表示通过基于所述原始场景的场景观看环境利用周围补偿来调整参考光传递函数而得到的映射曲线，所述原始场景的场景观看环境不同于与所述参考传递函数相关联的参考场景观看环境。
EEE 3.如EEE 1所述的方法，其中，所述光传递函数表示与参考场景观看环境相关联的参考光传递函数，所述参考场景观看环境不同于所述原始场景的场景观看环境；所述方法除了应用所述光传递函数之外进一步包括将在所述一个或多个经颜色空间转换的场景图像中表示的映射场景光水平下的周围补偿应用于经映射光水平。
EEE 4.如EEE 1至3中任一项所述的方法，其中，所述色调映射表示与参考显示观看环境相关联的参考色调映射曲线，所述参考显示观看环境不同于所述目标显示器的实际显示观看环境；所述方法进一步包括在将所述色调映射应用于所述经映射光水平中应用环境光调整，以生成要在一个或多个显示图像中表示的所述相应显示光水平。
EEE 5.如EEE 1至4中任一项所述的方法，其中，所述光传递函数表示光光传递函数(OOTF)、光电传递函数(OETF)、反向的电光传递函数(反向的EOTF)或另一个光传递函数之一。
EEE 6.一种方法，包括：
将从原始场景中捕获的场景图像中的场景像素的一组场景像素值转换为所述场景像素的在LMS颜色空间中表示的一组L场景像素值、M场景像素值和S场景像素值，所述一组场景像素值在输入颜色空间中被表示；
基于所述场景像素的所述一组L场景像素值、M场景像素值和S场景像素值得到所述场景像素的场景光水平；
至少部分地基于光传递函数，将所述场景光水平映射到所述场景像素的经映射光水平；
将公共比率应用于所述场景像素的所述一组L场景像素值、M场景像素值和S场景像素值中的所述L场景像素值、所述M场景像素值和所述S场景像素值中的每一个，以生成所述场景像素的一组经映射L场景像素值、经映射M场景像素值和经映射S场景像素值，所述公共比率是根据所述场景光水平和所述经映射光水平计算的；
使显示图像在目标显示器上渲染，所述显示图像包括显示像素，所述显示像素的一组显示像素值是根据所述一组经映射L场景像素值、经映射M场景像素值和经映射S场景像素值得到的。
EEE 7.如EEE 6所述的方法，其中，所述场景图像包括所述场景图像的多个场景像素的多组场景像素值，其中，所述多组场景像素值中的每组场景像素值对应于所述多个场景像素中的相应场景像素；并且所述方法进一步包括对所述多组场景像素值中的每组场景像素值重复如EEE 6所述的方法，以生成要包括在所述显示图像中的多组显示像素值。
EEE 8.一种方法，包括：
将从原始场景中捕获的场景图像中的场景像素的一组场景像素值转换为所述场景像素的在ICtCp颜色空间中表示的一组I场景像素值、T场景像素值和P场景像素值，所述一组场景像素值在输入颜色空间中被表示；
至少部分地基于光传递函数，将所述一组I场景像素值、T场景像素值和P场景像素值中的I场景像素值映射到经映射I场景像素值；
使显示图像在目标显示器上渲染，所述显示图像包括显示像素，所述显示像素的一组显示像素值根据所述场景像素的所述一组经映射I场景像素值、经映射T场景像素值和经映射P场景像素值中的一组(a)所述经映射I场景像素值和(b)T场景像素值和P场景像素值得到。
EEE 9.如EEE 8所述的方法，其中，所述场景图像包括所述场景图像的多个场景像素的多组场景像素值，其中，所述多组场景像素值中的每组场景像素值对应于所述多个场景像素中的相应场景像素；并且所述方法进一步包括对所述多组场景像素值中的每组场景像素值重复如EEE 7所述的方法，以生成要包括在所述显示图像中的多组显示像素值。
EEE 10.一种方法，包括：
生成场景环境光水平以表示从中捕获一个或多个场景图像的原始场景的场景观看环境；
生成在所述原始场景的所述一个或多个场景图像中表示的场景光水平范围；
确定所述场景环境光水平是否与表示目标显示器的显示观看环境的显示环境光水平相同；
确定所述场景光水平范围是否在由所述目标显示器支持的支持显示光水平范围内；
响应于确定所述场景环境光水平与表示目标显示器的显示观看环境的显示环境光水平相同以及所述场景光水平范围在由所述目标显示器支持的支持显示光水平范围内，生成包括与所述一个或多个场景图像中的对应场景光水平相同的显示光水平的一个或多个显示图像；
使所述一个或多个显示图像在所述目标显示器上渲染。
EEE 11.如EEE 10所述的方法，进一步包括：
响应于确定所述场景环境光水平与所述显示环境光水平不同或者所述场景光水平范围不在由所述目标显示器支持的支持显示光水平范围内，至少部分地基于光传递函数将所述场景光水平映射到经映射光水平，所述经映射光水平用于得到要在所述一个或多个显示图像中表示的所述显示光水平。
EEE 12.如EEE 11所述的方法，其中，所述光传递函数通过基于插值因子对两个固定的光传递函数进行插值而得到，所述插值因子取决于所述场景环境光水平。
EEE 13.如EEE 11所述的方法，其中，所述光传递函数基于所述场景环境光水平从多个光传递函数中选择，并且其中，所述多个光传递函数对应于多个不同的可能场景环境光水平。
EEE 14.如EEE 11所述的方法，其中，所述光传递函数表示与参考场景观看环境相关联的参考光传递函数，该参考场景观看环境不同于所述原始场景的所述场景观看环境；所述方法除了应用所述光传递函数之外进一步包括基于所述原始场景的所述场景观看环境来在将所述场景光水平映射到所述经映射光水平中应用周围补偿。
EEE 15.如EEE 11所述的方法，其中，所述光传递函数表示与参考场景观看环境相关联的参考光传递函数，该参考场景观看环境不同于所述原始场景的所述场景观看环境；所述方法除了应用所述光传递函数之外进一步包括将色调映射应用于所述经映射光水平以生成要在所述一个或多个显示图像中表示的所述显示光水平。
EEE 16.如EEE 15所述的方法，其中，所述色调映射表示与参考显示观看环境相关联的参考色调映射，所述参考显示观看环境不同于所述目标显示器的实际显示观看环境；所述方法进一步包括在将所述色调映射应用于所述经映射光水平中应用环境光调整，以生成要在一个或多个显示图像中表示的所述显示光水平。
EEE 17.一种方法，包括：
生成场景环境光水平以表示从中捕获一个或多个场景图像的原始场景的场景观看环境；
生成在所述原始场景的所述一个或多个场景图像中表示的场景光水平范围；
将色调映射应用于所述原始场景的所述一个或多个场景图像中的场景像素值，以生成一个或多个显示图像中的对应显示像素值；
使所述一个或多个显示图像在所述目标显示器上渲染。
EEE 18.如EEE 17所述的方法，其中，所述色调映射取代基于光光传递函数(OOTF)的光水平映射。
EEE 19.如EEE 17所述的方法，其中，所述色调映射是基于所述场景环境光水平而从多个色调映射中选择的，并且其中，所述多个色调映射对应于多个不同的可能场景环境光水平。
EEE 20.如EEE 17所述的方法，其中，所述色调映射表示与假设的场景观看环境相关联的参考色调映射，所述假设的场景观看环境不同于所述原始场景的所述场景观看环境；所述方法除了应用所述色调映射之外进一步包括基于所述原始场景的所述场景观看环境在将所述场景光水平映射到所述经映射光水平中应用周围补偿。
EEE 21.如EEE 17所述的方法，其中，所述色调映射表示与参考显示观看环境相关联的参考色调映射，所述参考显示观看环境不同于所述目标显示器的实际显示观看环境；所述方法进一步包括在将所述色调映射应用于所述经映射光水平时应用环境光调整，以生成要在一个或多个显示图像中表示的所述显示光水平。
EEE 22.如EEE 17至21中任一项所述的方法，其中，所述一个或多个显示图像是显示图像的时间序列的一部分，并且其中，在以下各项中的一项或多项中对显示图像的所述时间序列进行编码：视频流或视频文件。
EEE 23.如EEE 17至22中任一项所述的方法，进一步包括在一个或多个显示管理(DM)操作之前对所述一个或多个场景图像应用一个或多个相机图像信号处理(ISP)操作。
EEE 24.如EEE 17至23中任一项所述的方法，进一步包括在一个或多个显示管理(DM)操作之后对所述一个或多个场景图像应用一个或多个相机图像信号处理(ISP)操作。
EEE 25.如EEE 17至24中任一项所述的方法，进一步包括生成所述一个或多个显示图像的一组显示管理元数据。
EEE 26.如EEE 25所述的方法，进一步包括使一个或多个下游设备接收所述一组显示管理元数据与所述一个或多个显示图像。
EEE 27.一种执行如EEE 1至26所述的方法中的任何方法的装置。
EEE 28.一种执行如EEE 1至26所述的方法中的任何方法的系统。
EEE 29.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有软件指令，所述软件指令当由一个或多个处理器执行时使得执行如EEE 1至26中任一项所述的方法。
EEE 30.一种计算设备，所述计算设备包括一个或多个处理器以及一个或多个存储介质，所述存储介质存储指令集，所述指令集当由一个或多个处理器执行时使得执行如EEE 1至26中任一项所述的方法。
Claims (21)
1.一种方法，包括：
将从原始场景中捕获的场景图像中的场景像素的一组场景像素值转换为所述场景像素的在ICtCp颜色空间中表示的一组I场景像素值、T场景像素值和P场景像素值，所述一组场景像素值在输入颜色空间中被表示；
基于光光传递函数(OOTF)，将所述一组I场景像素值、T场景像素值和P场景像素值中的I场景像素值映射到经映射I场景像素值；以及
生成包括显示像素的显示图像，所述显示像素的一组显示像素值包括所述经映射I场景像素值。
2.如权利要求1所述的方法，其中，将所述I场景像素值映射到经映射I场景像素值包括：
使用感知量化(PQ)到线性转换函数将所述I场景像素值转换为线性像素值；
可选地缩放所述线性像素值；
将所述光光传递函数应用于所述线性像素值以获得经映射线性像素值；以及
使用线性到感知量化转换函数将所述经映射线性像素值转换为所述经映射I场景像素值。
3.如权利要求1或2所述的方法，包括：通过将相应场景像素值与饱和度调整因子相乘来将所述场景像素的所述一组I场景像素值、T场景像素值和P场景像素值中的T场景像素值和P场景像素值分别映射到经映射T场景像素值和经映射P场景像素值，所述饱和度调整因子是根据所述I场景像素值和所述经映射I场景像素值计算的。
4.如权利要求3所述的方法，其中，计算所述饱和度调整因子包括以下操作中的至少一项：
计算所述经映射I场景像素值与所述I场景像素值之间的差；以及
计算所述经映射I场景像素值与所述I场景像素值的比率。
5.如权利要求1至4中任一项所述的方法，其中，所述场景图像包括所述场景图像的多个场景像素的多组场景像素值，其中，所述多组场景像素值中的每组场景像素值对应于所述多个场景像素中的相应场景像素；并且所述方法进一步包括对所述多组场景像素值中的每组场景像素值重复如权利要求1至4中任一项所述的步骤，以生成要包括在所述显示图像中的多组显示像素值。
6.一种方法，包括：
将从原始场景中捕获的场景图像中的场景像素的一组场景像素值转换为所述场景像素的在LMS颜色空间中表示的一组L场景像素值、M场景像素值和S场景像素值，所述一组场景像素值在输入颜色空间中被表示；
基于所述场景像素的所述一组L场景像素值、M场景像素值和S场景像素值得到所述场景像素的场景光水平；
基于光光传递函数(OOTF)，将所述场景光水平映射到所述场景像素的经映射光水平；
将公共比率应用于所述场景像素的所述一组L场景像素值、M场景像素值和S场景像素值中的所述L场景像素值、所述M场景像素值和所述S场景像素值中的每一个，以生成所述场景像素的一组经映射L场景像素值、经映射M场景像素值和经映射S场景像素值，所述公共比率是根据所述场景光水平和所述经映射光水平计算的；
生成包括显示像素的显示图像，所述显示像素的一组显示像素值是根据所述一组经映射L场景像素值、经映射M场景像素值和经映射S场景像素值得到的。
7.如权利要求6所述的方法，其中，对应的L场景像素值和M场景像素值的平均值被得到为所述场景像素的所述场景光水平。
8.如权利要求6或7所述的方法，其中，将所述场景光水平映射到所述场景像素的所述经映射光水平包括将所述光光传递函数应用于所述场景光水平以获得所述经映射光水平，并且所述公共比率对应于所述经映射光水平与所述场景光水平的比率。
9.如权利要求6至8中任一项所述的方法，其中，所述场景图像包括所述场景图像的多个场景像素的多组场景像素值，其中，所述多组场景像素值中的每组场景像素值对应于所述多个场景像素中的相应场景像素；并且所述方法进一步包括对所述多组场景像素值中的每组场景像素值重复如权利要求6至8中任一项所述的步骤，以生成要包括在所述显示图像中的多组显示像素值。
10.如权利要求1至9中任一项所述的方法，进一步包括：应用色调映射来生成所述显示图像。
11.如权利要求10所述的方法，其中，所述色调映射是对通过将所述光光传递函数应用于所述场景图像而生成的经映射图像执行的。
12.如权利要求10所述的方法，其中，生成所述显示图像以在目标显示器上显示，并且其中，所述色调映射表示与参考显示观看环境相关联的参考色调映射曲线，所述参考显示观看环境不同于所述目标显示器的实际显示观看环境；所述方法进一步包括应用环境光调整。
13.如权利要求1至12中任一项所述的方法，其中，所述光光传递函数对应于在Rec.ITU-R BT.2100中定义的参考感知量化光光传递函数。
14.如权利要求1至12中任一项所述的方法，其中，所述光光传递函数表示通过基于所述原始场景的场景观看环境利用周围补偿来调整参考光光传递函数而得到的映射曲线，所述原始场景的场景观看环境不同于与所述参考光光传递函数相关联的参考场景观看环境。
15.如权利要求1至12中任一项所述的方法，其中，所述光光传递函数表示与参考场景观看环境相关联的参考光光传递函数，所述参考场景观看环境不同于所述原始场景的场景观看环境；所述方法除了应用所述光光传递函数之外进一步包括应用周围补偿。
16.如权利要求14或15所述的方法，其中，所述参考光光传递函数对应于在Rec.ITU-RBT.2100中定义的参考感知量化光光传递函数。
17.如权利要求1至12中任一项所述的方法，其中，所述光光传递函数通过基于插值因子对两个固定的光光传递函数进行插值而得到，所述插值因子取决于所述原始场景的场景环境光水平。
18.如权利要求1至12中任一项所述的方法，其中，所述光光传递函数是基于所述原始场景的场景环境光水平而从多个光光传递函数中选择的，并且其中，所述多个光光传递函数对应于多个不同的可能场景环境光水平。
19.如权利要求17或18所述的方法，其中，通过将周围补偿应用于在Rec.ITU-RBT.2100中定义的参考感知量化光光传递函数来分别获得所述两个固定的光光传递函数或所述多个光光传递函数。
20.一种包括一个或多个装置的系统，所述系统被配置成执行如权利要求1至19中任一项所述的方法。
21.一种具有指令的计算机程序产品，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行如权利要求1至19中任一项所述的方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762473590P | 2017-03-20 | 2017-03-20 | |
| EP17161836.6 | 2017-03-20 | ||
| US62/473,590 | 2017-03-20 | ||
| EP17161836 | 2017-03-20 | ||
| PCT/US2018/023171 WO2018175337A1 (en) | 2017-03-20 | 2018-03-19 | Perceptually preserving scene-referred contrasts and chromaticities |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110447051A true CN110447051A (zh) | 2019-11-12 |
| CN110447051B CN110447051B (zh) | 2023-10-31 |
Family
ID=61768555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880019219.2A Active CN110447051B (zh) | 2017-03-20 | 2018-03-19 | 在感知上保持参考场景的对比度和色度 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11158032B2 (zh) |
| EP (1) | EP3566203B1 (zh) |
| CN (1) | CN110447051B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114125414A (zh) * | 2021-11-23 | 2022-03-01 | Oppo广东移动通信有限公司 | 图像饱和度增强方法和编解码处理方法、装置及系统 |
| CN115803802A (zh) * | 2020-06-30 | 2023-03-14 | 杜比实验室特许公司 | 用于使用pq偏移进行环境光补偿的系统和方法 |
| WO2023036181A1 (zh) * | 2021-09-10 | 2023-03-16 | 北京字跳网络技术有限公司 | 一种图像处理方法及装置 |
| CN116962890A (zh) * | 2023-09-21 | 2023-10-27 | 卡奥斯工业智能研究院(青岛)有限公司 | 点云图像的处理方法、装置、设备和存储介质 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110383801B (zh) * | 2017-03-03 | 2021-08-10 | 杜比实验室特许公司 | 不均匀颜色空间中的颜色饱和度调整 |
| JP7187158B2 (ja) * | 2018-03-12 | 2022-12-12 | キヤノン株式会社 | 画像処理装置、表示装置、画像処理装置の制御方法、プログラム |
| JP7003304B2 (ja) | 2018-06-18 | 2022-01-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 撮像方法およびシステム |
| US20200045341A1 (en) * | 2018-07-31 | 2020-02-06 | Ati Technologies Ulc | Effective electro-optical transfer function encoding for limited luminance range displays |
| WO2020100200A1 (ja) * | 2018-11-12 | 2020-05-22 | Eizo株式会社 | 画像処理システム、画像処理装置、およびコンピュータープログラム |
| JP7332325B2 (ja) * | 2019-04-15 | 2023-08-23 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
| CN113994420B (zh) * | 2019-05-13 | 2024-04-09 | 杜比实验室特许公司 | 经由定制观看者颜色匹配函数的同色异谱稳定化 |
| US11386875B2 (en) * | 2019-05-31 | 2022-07-12 | Apple Inc. | Automatic display adaptation based on environmental conditions |
| US11115602B2 (en) * | 2019-06-11 | 2021-09-07 | Watchguard Video, Inc. | Emulating light sensitivity of a target |
| US11049330B2 (en) | 2019-06-27 | 2021-06-29 | Facebook Technologies, Llc | Color reference for overlaid images |
| US11473971B2 (en) * | 2019-09-27 | 2022-10-18 | Apple Inc. | Ambient headroom adaptation |
| US11429690B2 (en) | 2019-10-10 | 2022-08-30 | Hover, Inc. | Interactive path tracing on the web |
| JP2023537939A (ja) | 2020-08-17 | 2023-09-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジビデオ用のピクチャメタデータ |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120051635A1 (en) * | 2009-05-11 | 2012-03-01 | Dolby Laboratories Licensing Corporation | Light Detection, Color Appearance Models, and Modifying Dynamic Range for Image Display |
| US20140066196A1 (en) * | 2012-08-30 | 2014-03-06 | Colin William Crenshaw | Realtime color vision deficiency correction |
| CN105009580A (zh) * | 2013-02-21 | 2015-10-28 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050117799A1 (en) | 2003-12-01 | 2005-06-02 | Chiou-Shann Fuh | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
| US7834887B2 (en) | 2005-04-05 | 2010-11-16 | Samsung Electronics Co., Ltd. | Methods and systems for combining luminance preserving quantization and halftoning |
| US7592996B2 (en) | 2006-06-02 | 2009-09-22 | Samsung Electronics Co., Ltd. | Multiprimary color display with dynamic gamut mapping |
| JP4935822B2 (ja) | 2006-10-11 | 2012-05-23 | 株式会社ニコン | 画像処理装置、画像処理方法、画像処理プログラム |
| WO2008062874A1 (fr) | 2006-11-22 | 2008-05-29 | Nikon Corporation | Procédé de traitement d'image, programme de traitement d'image, dispositif et caméra de traitement d'image |
| US8593476B2 (en) * | 2008-02-13 | 2013-11-26 | Gary Demos | System for accurately and precisely representing image color information |
| US8477247B2 (en) | 2008-09-30 | 2013-07-02 | Intel Corporation | Joint enhancement of lightness, color and contrast of images and video |
| JP5430218B2 (ja) | 2009-05-07 | 2014-02-26 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US8437053B2 (en) | 2010-04-15 | 2013-05-07 | Eastman Kodak Company | Gamut mapping using hue-preserving color space |
| US8736674B2 (en) * | 2010-09-23 | 2014-05-27 | Dolby Laboratories Licensing Corporation | Method and system for 3D display calibration with feedback determined by a camera device |
| RU2013149856A (ru) | 2011-04-08 | 2015-05-20 | Конинклейке Филипс Н.В. | Кодирование и декодирование видео |
| WO2012148883A1 (en) | 2011-04-25 | 2012-11-01 | Dolby Laboratories Licensing Corporation | Non-linear vdr residual quantizer |
| US20140063061A1 (en) * | 2011-08-26 | 2014-03-06 | Reincloud Corporation | Determining a position of an item in a virtual augmented space |
| RU2761120C2 (ru) | 2011-09-27 | 2021-12-06 | Конинклейке Филипс Н.В. | Устройство и способ для преобразования динамического диапазона изображений |
| ES2899579T3 (es) | 2011-12-06 | 2022-03-14 | Dolby Laboratories Licensing Corp | Dispositivo y método para mejorar el intercambio de datos de imágenes basado en no linealidad de luminancia perceptual a través de diferentes capacidades de visualización |
| EP2896198B1 (en) | 2012-09-12 | 2016-11-09 | Dolby Laboratories Licensing Corporation | Display management for images with enhanced dynamic range |
| EP2887665A1 (en) | 2013-12-19 | 2015-06-24 | Thomson Licensing | Method and device for encoding a high-dynamic range image |
| DE112015000959T5 (de) | 2014-02-25 | 2016-11-17 | Apple Inc. | Adaptive Videoverarbeitung |
| GB2526047B (en) | 2014-02-27 | 2021-04-07 | British Broadcasting Corp | Method and apparatus for improved signal processing for high dynamic range |
| US9230338B2 (en) | 2014-03-05 | 2016-01-05 | Dolby Laboratories Licensing Corporation | Graphics blending for high dynamic range video |
| US9773473B2 (en) * | 2014-06-03 | 2017-09-26 | Nvidia Corporation | Physiologically based adaptive image generation |
| US9613407B2 (en) | 2014-07-03 | 2017-04-04 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range video |
| US9936199B2 (en) | 2014-09-26 | 2018-04-03 | Dolby Laboratories Licensing Corporation | Encoding and decoding perceptually-quantized video content |
| TWI512682B (zh) | 2014-09-30 | 2015-12-11 | Quanta Comp Inc | 影像處理系統及色彩飽和度補償方法 |
| US9729801B2 (en) | 2014-10-02 | 2017-08-08 | Dolby Laboratories Licensing Corporation | Blending images using mismatched source and display electro-optical transfer functions |
| US10063824B2 (en) | 2014-11-05 | 2018-08-28 | Apple Inc. | Mapping image/video content to target display devices with variable brightness levels and/or viewing conditions |
| CN107111980B (zh) | 2014-12-11 | 2021-03-09 | 皇家飞利浦有限公司 | 针对特定显示器优化高动态范围图像 |
| EP3035685A1 (en) | 2014-12-16 | 2016-06-22 | Thomson Licensing | A device and a method for encoding an image and corresponding decoding method and decoding device |
| SG11201705702XA (en) | 2015-01-19 | 2017-08-30 | Dolby Laboratories Licensing Corp | Display management for high dynamic range video |
| US10999607B2 (en) | 2015-01-27 | 2021-05-04 | Interdigital Madison Patent Holdings, Sas | Methods, systems and apparatus for electro-optical and opto-electrical conversion of images and video |
| CN107211128B (zh) | 2015-03-10 | 2021-02-09 | 苹果公司 | 自适应色度下采样和色彩空间转换技术 |
| WO2016154336A1 (en) | 2015-03-25 | 2016-09-29 | Dolby Laboratories Licensing Corporation | Chroma subsampling and gamut reshaping |
| WO2016172091A1 (en) | 2015-04-22 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding in the ipt-pq color space |
| US10242627B2 (en) | 2015-05-12 | 2019-03-26 | Dolby Laboratories Licensing Corporation | Backlight control and display mapping for high dynamic range images |
| JP6320440B2 (ja) | 2015-08-04 | 2018-05-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ信号のための信号再構成 |
| US10140953B2 (en) | 2015-10-22 | 2018-11-27 | Dolby Laboratories Licensing Corporation | Ambient-light-corrected display management for high dynamic range images |
| CN109891869B (zh) * | 2016-09-20 | 2021-12-07 | 索尼公司 | 视频信号处理设备、视频信号处理方法和视频信号处理系统 |
-
2018
- 2018-03-19 CN CN201880019219.2A patent/CN110447051B/zh active Active
- 2018-03-19 US US16/495,532 patent/US11158032B2/en active Active
- 2018-03-19 EP EP18713562.9A patent/EP3566203B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120051635A1 (en) * | 2009-05-11 | 2012-03-01 | Dolby Laboratories Licensing Corporation | Light Detection, Color Appearance Models, and Modifying Dynamic Range for Image Display |
| CN102422322A (zh) * | 2009-05-11 | 2012-04-18 | 杜比实验室特许公司 | 光检测、色貌模型、以及修改图像显示的动态范围 |
| US20140066196A1 (en) * | 2012-08-30 | 2014-03-06 | Colin William Crenshaw | Realtime color vision deficiency correction |
| CN105009580A (zh) * | 2013-02-21 | 2015-10-28 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
Non-Patent Citations (1)
| Title |
|---|
| TAORAN LU等: "ITP Colour Space and Its Compression Performance for High Dynamic Range and Wide Colour Gamut Video Distribution", 《ZTE COMMUNICATIONS》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115803802A (zh) * | 2020-06-30 | 2023-03-14 | 杜比实验室特许公司 | 用于使用pq偏移进行环境光补偿的系统和方法 |
| WO2023036181A1 (zh) * | 2021-09-10 | 2023-03-16 | 北京字跳网络技术有限公司 | 一种图像处理方法及装置 |
| CN114125414A (zh) * | 2021-11-23 | 2022-03-01 | Oppo广东移动通信有限公司 | 图像饱和度增强方法和编解码处理方法、装置及系统 |
| CN116962890A (zh) * | 2023-09-21 | 2023-10-27 | 卡奥斯工业智能研究院(青岛)有限公司 | 点云图像的处理方法、装置、设备和存储介质 |
| CN116962890B (zh) * | 2023-09-21 | 2024-01-09 | 卡奥斯工业智能研究院(青岛)有限公司 | 点云图像的处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200013151A1 (en) | 2020-01-09 |
| US11158032B2 (en) | 2021-10-26 |
| CN110447051B (zh) | 2023-10-31 |
| EP3566203B1 (en) | 2021-06-16 |
| EP3566203A1 (en) | 2019-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110447051A (zh) | 在感知上保持参考场景的对比度和色度 | |
| US6983082B2 (en) | Reality-based light environment for digital imaging in motion pictures | |
| CN102598114B (zh) | 用于产生彩色图像的方法和使用该方法的成像设备 | |
| Myszkowski et al. | High dynamic range video | |
| CN107111980A (zh) | 针对特定显示器优化高动态范围图像 | |
| JP2020520145A (ja) | 復号された高ダイナミックレンジ画像の彩度を最適化すること | |
| CN106060491A (zh) | 一种投影图像颜色校正方法及装置 | |
| Menk et al. | Visualisation techniques for using spatial augmented reality in the design process of a car | |
| CN116489328A (zh) | 基于拍摄参数的色彩查找表生成方法、装置和计算机设备 | |
| Selan | Cinematic color: from your monitor to the big screen | |
| WO2018175337A1 (en) | Perceptually preserving scene-referred contrasts and chromaticities | |
| CN108886623A (zh) | 用于高对比度剧场显示的信号编码和解码 | |
| US11979692B2 (en) | Systems and methods for optimal color calibration for LED volume stages | |
| CN115293994A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| US7961939B2 (en) | Color transforming method | |
| LeGendre et al. | Jointly optimizing color rendition and in-camera backgrounds in an rgb virtual production stage | |
| CN108765502B (zh) | 一种复杂环境下的色貌获取方法 | |
| WO2019158129A1 (zh) | 增强现实视觉元素显示的方法和装置 | |
| Jones et al. | Projectibles: Optimizing surface color for projection | |
| Lakshmi et al. | Analysis of tone mapping operators on high dynamic range images | |
| WO2023185253A1 (zh) | 颜色校准方法、装置、计算机设备和计算机可读存储介质 | |
| Sharma | Exploring the basic concepts of HDR: dynamic range, gamma curves, and wide color gamut | |
| Ha et al. | Image-brightness prediction model for wide-color-gamut displays based on Helmholtz–Kohlrausch (H–K) effect | |
| Chen et al. | 79‐3: Color Adjustment for Video‐see‐through AR and Camouflage Application | |
| Laine et al. | Illumination-adaptive control of color appearance: a multimedia home platform application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |