CN115868153A

CN115868153A - 颜色校正流水线

Info

Publication number: CN115868153A
Application number: CN202180041048.5A
Authority: CN
Inventors: R·哈贝尔; 王爽; 马岳; S·拉特那辛甘; A·格兰霍夫
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2020-06-19
Filing date: 2021-06-07
Publication date: 2023-03-28
Also published as: EP4250713A2; EP4250713A3; US20230267860A1; WO2021257304A1; EP4189949A1

Abstract

根据一些具体实施，在具有一个或多个处理器、非暂态存储器和透视显示器的电子设备处执行一种方法。该方法包括确定与来自物理环境的环境光相关联的多个光叠加特征值。该多个光叠加特征值量化该环境光。该方法包括基于该多个光叠加特征值和参考感知色域的函数来修改图像数据以便生成经修改的图像数据。该方法包括基于该多个光叠加特征值的一部分和与该透视显示器相关联的参考物理色域的函数来将该经修改的图像数据变换成显示数据。该方法包括在该透视显示器上显示该显示数据。

Description

颜色校正流水线

技术领域

本公开涉及颜色校正，并且具体地说，基于与物理环境相关联的光特性来执行颜色校正。

背景技术

在一些增强现实(AR)环境中，将计算机生成的内容添加到来自物理环境的光中，以便能够显示计算机生成的内容和物理环境的表示。用户可使用包括透视显示器的电子设备来体验AR，该透视显示器继而允许来自物理环境的光传递到用户的眼睛。

然而，在一些情形下，来自物理环境的光具有以降低AR体验的方式干扰计算机生成的内容的照度或色度。例如，来自物理环境的光导致所显示的计算机生成的内容具有失真的感知对比度水平或不正确的颜色分布。然而，先前可用的颜色校正方法并未有效地考虑来自物理环境的光。

发明内容

根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器和透视显示器。一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。

附图说明

为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。

图1是根据一些具体实施的便携式多功能设备的示例的框图。

图2是根据一些具体实施的颜色校正流水线的框图的示例。

图3是根据一些具体实施的颜色校正流水线的框图的另一示例。

图4是根据一些具体实施的基于语义的颜色校正流水线的框图的示例。

图5是根据一些具体实施的颜色校正的图形表示的示例。

图6是根据一些具体实施的基于光叠加特征值和参考色域来修改图像数据的方法的流程图的示例。

图7是根据一些具体实施的基于光叠加特征值和参考色域来选择性修改图像数据的一部分的方法的流程图的示例。

发明内容

用户可经由包括透视显示器的电子设备(例如平板计算机或智能手机)来体验增强现实(AR)，该透视显示器继而允许来自物理环境的光传递到用户的眼睛。例如，透视显示器将待从透视显示器反射的计算机生成的内容投影到用户的眼睛。作为另一示例，透视显示器直接在用户的视网膜处投影计算机生成的内容，并且来自物理环境的光和计算机生成的内容的投影光同时到达视网膜。然而，电子设备不能有效地执行颜色校正，因为电子设备并不考虑来自物理环境的光。例如，电子设备不考虑光的强度(例如照度)，该强度可随时间变化。来自物理环境的光的照度可能限制物理环境与所显示的计算机生成的内容之间的对比度水平。作为另一示例，来自物理环境的光可具有以降低AR体验的方式干扰计算机生成的内容的色度。光的色度(诸如主要是一种颜色的存在)可提供难以掩蔽的主色调。与来自物理环境的光相关联的主色调可能干扰所显示的计算机生成的内容的颜色特征。此外，在直通视频显示系统中使用的某些颜色校正方法(诸如背光着色)不可适用于具有透视显示器的电子设备。另外，应用先前可用的色调映射并不是有效的，因为其不考虑与来自物理环境的光相关联的照度和色度特征。

相比之下，本文中所公开的各种具体实施提供一种颜色校正流水线，该颜色校正流水线用于基于光叠加特征、参考感知色域和参考物理色域来修改图像数据。参考物理色域与显示有显示数据的透视显示器相关联。与其他颜色校正系统相比，基于环境光的特征来修改图像数据使得透视显示器能够显示不太受环境光不利影响的计算机生成的。因此，与其他颜色校正系统相比，用户体验(例如AR体验)得以增强。

为此，在一些具体实施中，具有透视显示器的电子设备确定光叠加特征值，该光叠加特征值与来自物理环境的环境光相关联。在一些具体实施中，电子设备包括环境传感器(例如环境光传感器和/或图像传感器)，并且利用来自环境传感器的环境数据以便确定光叠加特征值。在一些具体实施中，光叠加特征值包括与环境光相关联的照度值与色度值(例如色度、色调、饱和度)的组合。

此外，电子设备修改图像数据以便基于光叠加特征和参考感知色域来生成经修改的图像数据。参考感知色域可以是与透视显示器相关联的参考物理色域的函数。例如，参考物理色域指示能够由透视显示器显示的颜色范围，并且参考感知色域指示用户可感知的颜色范围的子集。在一些具体实施中，参考物理色域的特征在于理想或近理想的环境条件，诸如黑色或近黑色物理环境，其中仅标称量的环境光进入透视显示器。因此，与执行均匀空间映射的其他系统相比，电子设备考虑了进入透视显示器的环境光的特征的变化。因此，经修改的图像数据具有增强的颜色和照度特征，诸如具有改善的对比度再现或改善的色度再现。

电子设备基于该光叠加特征值的一部分和该参考物理色域的函数来将经修改的图像数据变换成显示数据。因此，与执行三维色域映射(例如RGB到RGB映射)的其他系统相比，电子设备可执行至少四维色域映射，因为其还考虑了色度特征(例如三维)、与环境光相关联的照度值(一维)和/或AR显示颜色(例如三维)。

具体实施方式

现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。

还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。

在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。

如本文中所使用，根据上下文，术语“如果”任选地被解释为意指“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

描述了用于与各种计算机生成的现实技术相关地使用此类系统的电子系统和技术的各种示例。

物理环境是指某人在没有使用电子设备的情况下可与其交互和/或对其进行感测的物理世界。物理环境可包括物理特征，诸如物理对象或物理表面。例如，物理环境可包括物理城市，该物理城市包括物理建筑物、物理街道、物理树和物理人。人们可直接与物理环境交互和/或感测物理环境，例如通过触觉、视觉、味觉、听觉和嗅觉。另一方面，扩展现实(XR)环境是指某人可使用电子设备与其交互和/或对其进行感测的完全或部分模拟的环境。例如，XR环境可包括虚拟现实(VR)内容、增强现实(AR)内容、混合现实(MR)内容等。使用XR系统，可跟踪人的身体运动的一部分或其表示。作为响应，可调整在XR环境中模拟的虚拟对象的一个或多个特征，使得其依附于一个或多个物理定律。例如，XR系统可检测用户的头部运动，并且作为响应，以与视图和声音将在物理环境中变化的方式类似的方式调整呈现给用户的图形和听觉内容。在另一示例中，XR系统可检测呈现XR环境的电子设备(例如膝上型计算机、移动电话、平板计算机等)的移动，并且作为响应，以与视图和声音将在物理环境中改变的方式类似的方式调整呈现给用户的图形和听觉内容。在一些情形中，XR系统可响应于物理运动的表示(例如语音命令)而调整XR环境中的图形内容的一个或多个特征。

各种电子系统使得某人能够与XR环境交互和/或感测XR环境。例如，可使用基于投影的系统、头戴式系统、平视显示器(HUD)、具有集成显示器的窗户、具有集成显示器的车辆挡风玻璃、被设计成放置在用户的眼睛上的显示器(例如类似于接触透镜)、扬声器阵列、头戴式耳机/听筒、输入系统(例如具有或不具有触觉反馈的可穿戴或手持式控制器)、平板计算机、智能电话和台式/膝上型计算机。一种头戴式系统可包括集成式不透明显示器和一个或多个扬声器。在其他示例中，头戴式系统可接受具有不透明显示器(例如智能电话)的外部设备。头戴式系统可包括一个或多个图像传感器和/或一个或多个麦克风以捕获物理环境的图像或视频和/或音频。在其他示例中，头戴式系统可包括透明或半透明显示器。表示图像的光被引导穿过的介质可包括在透明或半透明显示器内。显示器可利用OLED、LED、uLED、数字光投影、激光扫描光源、硅基液晶或这些技术的任何组合。介质可以是全息图介质、光学组合器、光学波导、光学反射器或它们的组合。在一些示例中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可使用视网膜投影技术以将图形图像投影到用户的视网膜上。投影系统也可被配置成将虚拟对象投影到物理环境中，例如在物理表面上或作为全息图。

图1是根据一些具体实施的便携式多功能设备100(为了简洁起见，在本文中有时也称为“电子设备100”)的示例的框图。电子设备100包括存储器102(该存储器任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、输入/输出(I/O)子系统106、惯性测量单元(IMU)130、图像传感器143(例如相机)、深度传感器150、眼睛跟踪传感器164、环境光传感器190以及其他输入或控制设备116。在一些具体实施中，电子设备100对应于移动电话、平板计算机、膝上型计算机、可穿戴计算设备、头戴式设备(HMD)、头戴式壳体(例如，电子设备100滑动到或以其他方式附接到头戴式壳体)等中的一种。在一些具体实施中，头戴式壳体被成形为形成用于接收具有显示器的电子设备100的接收器。

在一些具体实施中，外围设备接口118、一个或多个CPU 120和存储器控制器122任选地在单个芯片诸如芯片103上实现。在一些其他具体实施中，它们任选地在独立的芯片上实现。

I/O子系统106将电子设备100上的输入/输出外围设备和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括图像传感器控制器158、眼睛跟踪控制器162、以及用于其他输入或控制设备的一个或多个输入控制器160、以及隐私子系统170。一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的具体实施中，一个或多个输入控制器160任选地与以下各项中的任一者耦接(或不与以下各项中的任一者耦接)：键盘、红外线端口、通用串行总线(USB)端口、触笔和/或指针设备诸如鼠标。该一个或多个按钮任选地包括用于扬声器和/或音频传感器的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮。在一些具体实施中，其他输入或控制设备116包括获取关于电子设备100相对于物理环境的位置和/或取向的信息的定位系统(例如，GPS)。

I/O子系统106任选地包括在用户和电子设备100之间提供音频接口的扬声器和音频传感器。音频电路从外围设备接口118接收音频数据，将音频数据转换为电信号，并且将电信号传输到扬声器。扬声器将电信号转换为人类可听到的声波。音频电路还接收音频传感器(例如，麦克风)从声波转换的电信号。音频电路将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输到存储器102和/或RF电路。在一些具体实施中，音频电路还包括耳麦插孔。该耳麦插孔提供音频电路与可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。

I/O子系统106任选地包括在电子设备100和用户之间提供输入接口和输出接口的触敏显示系统。显示控制器可从触敏显示系统接收电信号和/或将电信号发送到触敏显示系统。触敏显示系统向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些具体实施中，一些视觉输出或全部视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。

触敏显示系统具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触敏显示系统和显示控制器(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示系统上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示系统上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性具体实施中，触敏显示系统和用户之间的接触点对应于用户的手指或触笔。

触敏显示系统任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他具体实施中使用其他显示技术。触敏显示系统和显示控制器任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外线技术、和表面声波技术。

用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统接触。在一些具体实施中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些具体实施中，电子设备100将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。

I/O子系统106包括惯性测量单元(IMU)130，该惯性测量单元可包括加速度计、陀螺仪和/或磁力仪，以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此，根据各种具体实施，IMU 130检测电子设备100的一个或多个位置改变输入，诸如电子设备100被摇动、旋转、沿特定方向移动等。IMU 130可包括加速度计、陀螺仪和/或磁力仪，以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此，根据各种具体实施，IMU 130检测电子设备100的一个或多个位置改变输入，诸如电子设备100被摇动、旋转、沿特定方向移动等。

图像传感器143捕获静态图像和/或视频。在一些具体实施中，光学传感器143位于电子设备100的背面上，与电子设备100正面上的触摸屏相背对，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些具体实施中，另一图像传感器143位于电子设备100的正面上，使得获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。在一些具体实施中，图像传感器143对应于一个或多个相机。在一些具体实施中，图像传感器143包括一个或多个深度传感器。在一些具体实施中，图像传感器143包括单色或彩色相机。在一些具体实施中，图像传感器143包括RGB深度(RGB-D)传感器。

I/O子系统106任选地包括检测电子设备100上的接触的强度(例如，电子设备100的触敏表面上的触摸输入)的接触强度传感器。接触强度传感器可与I/O子系统106中的强度传感器控制器耦接。接触强度传感器任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器从物理环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些具体实施中，至少一个接触强度传感器与电子设备100的触敏表面并置排列或邻近。在一些具体实施中，至少一个接触强度传感器位于电子设备100的背面上。

在一些具体实施中，深度传感器150被配置为获得深度数据，诸如表征所获得的输入图像内的对象的深度信息。例如，深度传感器150对应于结构光设备、飞行时间设备等中的一者。

眼睛跟踪传感器164检测电子设备100的用户的眼睛注视，并且生成指示用户的眼睛注视的眼睛跟踪数据。在各种具体实施中，眼睛跟踪数据包括指示用户在显示面板(诸如电子设备内的显示面板)上的固定点(例如注视点)的数据。

环境光传感器(ALS)190检测来自物理环境的环境光。在一些具体实施中，环境光传感器190是彩色光传感器。在一些具体实施中，环境光传感器190是二维(2D)或三维(3D)光传感器。

在各种具体实施中，电子设备100包括隐私子系统170，该隐私子系统包括与用户信息相关联的一个或多个隐私设置滤波器，诸如包括在与用户相关联的眼睛注视数据和/或身体位置数据中的用户信息。在一些具体实施中，隐私子系统170选择性地防止和/或限制电子设备100或其部分获取和/或传输用户信息。为此，隐私子系统170响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中，隐私子系统170防止电子设备100获取和/或传输用户信息，除非并且直到隐私子系统170从用户获取到知情同意。在一些具体实施中，隐私子系统170匿名化(例如，加扰或模糊)某些类型的用户信息。例如，隐私子系统170接收指定隐私子系统170匿名化哪些类型的用户信息的用户输入。作为另一示例，隐私子系统170独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。

图2是根据一些具体实施的颜色校正流水线200的框图的示例。在各种具体实施中，颜色校正流水线200或其部分集成在电子设备中，诸如集成在图1中所示出的电子设备100中。在一些具体实施中，颜色校正流水线200集成在移动设备中的一个移动设备内，该移动设备诸如智能电话、平板计算机、膝上型计算机、可穿戴设备等。

在一些具体实施中，颜色校正流水线200集成在包括透视显示器270的电子设备中。通过将计算机生成的内容(例如扩展现实(XR)内容)从物理环境添加到环境光202中，透视显示器270操作为附加显示器。

在一些具体实施中，透视显示器270对应于使得能够对物理环境进行光学透视的附加显示器，诸如光学HMD(OHMD)。例如，与使用视频流的纯合成相比，附加显示器能够从显示器反射投影图像，同时使用户能够透过显示器看到图像。在一些具体实施中，透视显示器270显示来自物理环境的至少标称量的光。在一些具体实施中，透视显示器270包括光致变色透镜或电致变色层。

颜色校正流水线200包括传感器子系统206，以感测环境光202并且输出对应传感器数据。在一些具体实施中，传感器子系统206包括环境传感器的组合，该环境传感器诸如环境光传感器(ALS)(例如二维(2D)传感器)、图像传感器和/或惯性测量单元(IMU)。例如，在一些具体实施中，传感器子系统206包括具有深度传感器(RGB-D)的单色或彩色相机，并且基于来自RGB-D的数据来确定针对视点投影的相机姿态。作为另一示例，在一些具体实施中，传感器子系统206诸如经由专用低分辨率图像传感器或专用高分辨率图像传感器来捕获较低分辨率场景图像。在一些具体实施中，传感器子系统206被实施为硬化IP块。在一些具体实施中，传感器子系统206通过使用软件和硬件加速器来实施。

在一些具体实施中，颜色校正流水线200包括光叠加特征值生成器208，以基于对应传感器数据来确定(例如生成)多个光叠加特征值。多个光叠加特征值与来自物理环境的环境光202相关联。多个光叠加特征值量化环境光202。例如，在一些具体实施中，多个光叠加特征值包括表征环境光202的照度值(例如亮度)与色度值(例如饱和度、色调、色度)的组合。

颜色校正流水线200包括图像数据修改器240，该图像数据修改器修改图像数据，以便基于多个光叠加特征值和参考感知色域的函数来生成经修改的图像数据。在一些具体实施中，图像数据存储在图像数据数据库250中。在一些具体实施中，参考感知色域(例如存储在参考感知色域数据库230中)指示用户可感知的颜色范围。例如，参考感知色域受到诸如用户的眼睛适应状态、大小和轮廓锐利度、视网膜上的位置等因素的影响。

在一些具体实施中，修改的图像数据相对于多个光叠加特征值满足颜色对比度阈值。作为一个示例，图像数据表示白色幻影，并且多个光叠加特征值包括与环境光202相关联的绿色色度值，诸如当电子设备的透视显示器正在指向森林中的树木时。继续前述示例，图像数据修改器240修改白色幻影，使得当在透视显示器270上显示时，白色幻影呈现为白色，并且基本上不具有绿色色调。因此，图像数据修改器240改变白色幻影的颜色，以便抵消与环境光202相关联的绿色色度。在一些具体实施中，图像数据修改器240包括针对图像数据执行色调映射操作的色调映射器245。例如，色调映射器245将色调映射操作应用于面部，以便实现基本上均匀的皮肤色调。

在一些具体实施中，修改的图像数据相对于多个光叠加特征值满足照度对比度阈值。例如，图像数据表示白色幻影，并且多个光叠加特征值包括相对较高的照度水平，诸如当电子设备正在指向太阳时。继续前述示例，图像数据修改器240修改白色幻影，诸如通过对图像数据的表示白色幻影的一部分进行暗化或着色，以便抵消太阳的相对较高的亮度。

在一些具体实施中，颜色校正流水线200包括第一色域映射器220，该第一色域映射器将参考物理色域(例如存储在参考物理色域数据库210中)映射(例如变换)到参考感知色域。参考物理色域与透视显示器270相关联。例如，参考物理色域指示能够由透视显示器270显示的照度范围或颜色范围。作为另一示例，当标称量的环境光202进入透视显示器270时，参考物理色域表征透视显示器270。在一些具体实施中，第一色域映射器220基于参考物理色域和颜色外观模型的函数来确定参考感知色域。

颜色校正流水线200包括第二色域映射器260。第二色域映射器260从图像数据修改器240接收经修改的图像数据。第二色域映射器260基于多个光叠加特征值的一部分和参考物理色域的函数来将经修改的图像数据变换成显示数据。例如，在一些具体实施中，第二色域映射器260基于经修改的图像数据的颜色特征(例如RGB到RGB映射)以及多个光叠加特征值中所包括的色度值与照度值的组合的函数来变换经修改的图像数据。因此，在一些具体实施中，第二色域映射器260以四维或更多维执行色域映射。第二色域映射器260提供用于在透视显示器270上显示的显示数据。

图3是根据一些具体实施的颜色校正流水线300的框图的另一示例。在各种具体实施中，颜色校正流水线300或其部分集成在电子设备中，诸如集成在图1中所示出的电子设备100中。在一些具体实施中，颜色校正流水线300类似于图2中所示出的颜色校正流水线200，并且由该颜色校正流水线200调适而成。

颜色校正流水线300包括图像数据修改器320，该图像数据修改器基于多个光叠加特征值的一个或多个经修改部分来修改图像数据。为此，颜色校正流水线300包括光叠加特征值标识符302，该光叠加特征值标识符基于图像数据的对应部分跨透视显示器270来标识多个光叠加特征值的相应部分。光叠加特征值标识符302从光叠加特征值生成器208获得多个光叠加特征值。例如，在一些具体实施中，光叠加特征值标识符302标识多个光叠加特征值的与透视显示器270的第一区相关联的第一部分。继续前述示例，透视显示器270的第一区对应于图像数据250的表示所关注对象(诸如文本或人的面部)的第一部分的显示位置。在一些具体实施中，颜色校正流水线300包括深度传感器150，并且光叠加特征值标识符302使用来自深度传感器150的深度传感器数据，以便标识多个光叠加特征值的相应部分。例如，光叠加特征值标识符302标识多个光叠加特征值的与如深度传感器数据所指示的物理环境的前景相关联的第二部分。

颜色校正流水线300包括光叠加特征值修改器310，该光叠加特征值修改器从光叠加特征值标识符302中获得多个光叠加特征值的部分。该光叠加特征值修改器310基于与该图像数据相关联的预定显示特征的函数来修改该多个光叠加特征值的该相应部分中的一个或多个相应部分，以便生成该多个光叠加特征值的一个或多个经修改部分；例如，预定显示特征包括与图像数据相关联的优选色度值与亮度值的组合。在一些具体实施中，光叠加特征值修改器310将均匀照度函数312应用于多个光叠加特征值的相应部分中的一个或多个相应部分。例如，当图像数据的一部分表示面部时，对应区将以基本上均匀的皮肤色调再现。在一些具体实施中，光叠加特征值修改器310将照度平滑函数314应用于多个光叠加特征值的相应部分中的一个或多个相应部分。例如，照度平滑函数314实施高斯平滑、均匀移动平均平滑等。光叠加特征值修改器310将多个光叠加特征值的一个或多个经修改部分提供给图像数据修改器320。

图像数据修改器320基于多个光叠加特征值的一个或多个经修改部分和参考感知色域的函数来修改图像数据，诸如参考图2中的图像数据修改器240所描述。图像数据修改器320将经修改的图像数据提供给第二色域映射器260。第二色域映射器260将经修改的图像数据变换成显示数据以用于在透视显示器270上显示，诸如参考图2所描述。

图4是根据一些具体实施的基于语义的颜色校正流水线400的框图的示例。在各种具体实施中，基于语义的颜色校正流水线400或其部分集成在电子设备中，诸如集成在图1中所示出的电子设备100中。在一些具体实施中，基于语义的颜色校正流水线400类似于图2中所示出的颜色校正流水线200或图3中所示出的颜色校正流水线300，并且由颜色校正流水线200或颜色校正流水线300调适而成。

基于语义的颜色校正流水线400基于对应语义值的函数来选择性地修改图像数据。例如，在一些具体实施中，基于语义的颜色校正流水线400修改图像数据的与满足标准的第一语义值相关联的第一部分。例如，第一语义值与所关注对象(诸如人的“面部”或“油画”)相关联。作为另一示例，第一语义值对应于特定对象类型，诸如活对象(例如人、动物、树木等)。

为此，基于语义的颜色校正流水线400包括语义值生成器410，该语义值生成器获得或生成分别与图像数据的多个部分相关联的多个语义值。例如，在一些具体实施中，语义值生成器410从另一系统(诸如从互联网)获得多个语义值。作为另一示例，在一些具体实施中，语义值生成器410通过针对图像数据执行语义分割来生成多个语义值。在一些具体实施中，语义值生成器410借助于集成在基于语义的颜色校正流水线400内的神经网络来生成多个语义值。

此外，基于语义的颜色校正流水线400包括从语义值生成器410获得多个语义值的语义值标识符420。基于语义的颜色校正流水线400从多个语义值中识别满足标准的第一语义值。语义值标识符420将第一语义值提供给图像数据修改器430。

图像数据修改器430修改图像数据以便生成修改的图像数据，类似于如参考图2中的图像数据修改器240或图3中的图像数据修改器320所描述。在一些具体实施中，图像数据修改器240基于与图像数据的与第一语义值相关联的第一部分相关联的预定显示特征的函数来修改图像数据。例如，预定显示特征包括色度值与亮度值的组合。在一些具体实施中，图像数据修改器430将场景对象修改器432应用于图像数据的第一部分，以便强调所识别的所关注对象。例如，场景对象修改器432增加了图像数据的第一部分与多个光叠加特征值之间的颜色对比度或照度对比度。在一些具体实施中，图像数据修改器430将场景背景修改器434应用于图像数据的在图像数据的第一部分之外的部分，以便去强调场景背景。在一些具体实施中，图像数据修改器430针对图像数据执行对象强调操作和背景去强调操作两者。

图像数据修改器430将经修改的图像数据提供给第二色域映射器260。第二色域映射器260将经修改的图像数据变换成显示数据以用于在透视显示器270上显示，诸如参考图2所描述。

图5是根据一些具体实施的颜色校正的图形表示500的示例。图形表示500表示照度504(在x轴上)与亮度502(在y轴上)之间的关系。照度504与来自物理环境的环境光相关联，诸如参考图2至图4描述的环境光202。亮度502与同用户对光的感知相关联的感知空间相关联。图形表示500对应于对数曲线506，该对数曲线示出物理照度值(x轴)与感知亮度值(y轴)之间的感知颜色空间映射。换句话说，图形表示500表示作为与物理环境相关联的照度值的函数的颜色校正(例如消色差)。然而，本领域普通技术人员将了解，在一些具体实施中，另外或可替代地，颜色校正是色度的函数。例如，如上文所描述，颜色校正可以是与图像数据相关联的色度的函数，以及与环境光相关联的多个光叠加特征值中所包括的色度值。

在x轴上范围介于零至L_Ref,Max 508的值对应于在进行颜色校正之前与物理空间相关联的照度范围。例如，L_Ref,Max 508指示与透视显示器相关联的参考物理色域(诸如图2至图4中所示出的参考物理色域210)的最大照度。此外，包括第一范围510的y轴值对应于在进行颜色校正之前与感知空间相关联的亮度范围。

为了恢复最初预期对比度关系，本文中所公开的各种具体实施提供颜色校正520。颜色校正520基于光叠加特征、参考感知色域(例如图2至图4中的参考感知色域230)和参考物理色域(例如图2至图4中的参考物理色域210)而从图像数据中生成显示数据。根据各种具体实施，颜色校正520由图2中的颜色校正流水线200、图3中的颜色校正流水线300或图4中的基于语义的颜色校正流水线400中的一者来实施。在一些具体实施中，颜色校正520包括基于与来自物理环境的环境光相关联的所确定的光叠加特征值来针对图像数据执行对比度恢复色调映射。为此，颜色校正520恢复参考感知色域与参考物理色域之间的动态损失。在一些具体实施中，颜色校正520包括4+维色域变换。例如，颜色校正520包括7维色域映射，包括与将图像数据映射到透视显示器(例如RGB到RGB)相关联的三维、与同环境光相关联的色度值(例如二维值)相关联的三维，以及与同环境光相关联的照度值相关联的另一维。

基于颜色校正520，亮度值从第一范围510扩展到第二范围512，如图5中所示出。因此，x轴上的照度值从初始范围零至L_Ref,Max 508扩展到扩展范围L_b 514至L_t,Max 516。例如，L_b514对应于如照度值所指示的背景照度。例如，参考图2，光叠加特征值生成器208基于来自传感器子系统206的环境光数据来确定与环境光202相关联的照度值。L_t,Max 516对应于与由颜色校正520产生的物理色域相关联的最大照度。因此，颜色校正520增加了从L_Ref,Max 508到L_t,Max 516的最大照度范围。

图6是根据一些具体实施的基于光叠加特征值和参考色域来修改图像数据的方法600的流程图的示例。在各种具体实施中，方法600或其部分由包括透视显示器的电子设备(例如图1中的电子设备100)执行。在各种具体实施中，方法600或其部分由颜色校正流水线执行，该颜色校正流水线诸如图2中的颜色校正流水线200、图3中的颜色校正流水线300或图4中的基于语义的颜色校正流水线400中的一者。在各种具体实施中，方法600或其部分由包括透视显示器(例如图2至图4中的透视显示器270)的头戴式设备(HMD)执行。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

如框602所表示，方法600包括确定与来自物理环境的环境光相关联的多个光叠加特征值。该多个光叠加特征值量化该环境光。例如，参考图2，光叠加特征值生成器208确定与环境光202相关联的多个光叠加特征值。为此，在一些具体实施中，电子设备包括感测环境光并且输出对应传感器数据的环境传感器。例如，参考图2，光叠加特征值生成器208基于来自传感器子系统206的环境光数据来确定多个光叠加特征值。作为一个示例，环境传感器包括环境光传感器、图像传感器、视觉惯性里程计(VIO)、惯性测量单元(IMU)等中的一者或多者。

如框604所表示，在一些具体实施中，方法600包括获得与透视显示器相关联的参考物理色域。例如，参考图2，颜色校正流水线200获得与透视显示器270相关联的参考物理色域，并且将参考物理色域存储在参考物理色域数据库210中。在一些具体实施中，当来自该物理环境的标称量的环境光进入该透视显示器时，该参考物理色域表征该透视显示器。在一些具体实施中，参考物理色域指示能够在透视显示器上显示的第一组颜色。例如，参考物理色域指示当存在标称量的环境光时透视显示器可显示的颜色范围。作为另一示例，参考物理色域对应于RGB色域或P3色域中的一者。

如框606所表示，在一些具体实施中，方法600基于颜色外观模型的函数来将该参考物理色域变换成参考感知色域。例如，参考图2，第一色域映射器220将参考物理色域变换成参考感知色域。作为一个示例，参考感知色域指示第二组颜色，该第二组颜色可以不同于能够在透视显示器上显示的第一组颜色。颜色外观模型提供人类颜色视觉的感知方面，诸如颜色的观察条件偏离刺激源的对应物理测量值的程度。例如，颜色外观模型与CIELAB颜色空间相关联。在一些具体实施中，参考感知色域指示特定用户可感知到的颜色范围，该颜色范围受到诸如用户的眼睛适应状态、大小和轮廓锐利度、视网膜上的位置等因素的影响。在一些具体实施中，参考物理色域与照度相关联，而参考感知色域与亮度相关联，诸如参考图5所描述。

如框608所表示，方法600包括基于该多个光叠加特征值和该参考感知色域的函数来修改图像数据以便生成经修改的图像数据。例如，参考图2，图像数据修改器240基于参考感知色域230以及来自光叠加特征值生成器208的多个光叠加特征值的函数来修改图像数据250。在一些具体实施中，修改该图像数据包括基于该多个光叠加特征值来将该图像数据映射到在性能阈值内的该参考感知色域。例如，性能阈值是失真水平的函数(例如颜色或对比度的最小失真)、颜色再现质量、用户体验等。如框610所表示，在一些具体实施中，修改该图像数据包括将色调映射操作应用于该图像数据。例如，色调映射操作恢复了在具有非零照度值的物理环境中损失的对比度。例如，参考图2，色调映射器245执行色调映射操作。在一些具体实施中，色调映射操作对应于高动态范围(HDR)色调映射操作。

如框612所表示，方法600包括基于多个光叠加特征值的一部分和参考物理色域的函数来将经修改的图像数据变换成显示数据。显示数据显示在透视显示器270上。如框614所表示，在一些具体实施中，变换经修改的图像数据包括将色域映射操作应用于经修改的图像数据。例如，参考图2，第二色域映射器260基于参考物理色域210以及来自光叠加特征值生成器208的多个光叠加特征值的一部分而将经修改的图像数据变换为显示数据。如框616所表示，在一些具体实施中，色域映射操作表示至少四维空间。例如，6维色域映射操作是与将图像数据映射到透视显示器(例如RGB到RGB)相关联的三维以及与同来自物理环境的环境光相关联的(多个光叠加特征值中的)色度值相关联的额外三维的函数。作为一个示例，参考图2，第二色域映射器260从来自光叠加特征值生成器208的多个光叠加特征值获得多个光叠加特征值的部分。因此，与执行从图像数据到显示数据的三维映射的其他系统相比，本文中所公开的颜色校正技术可包括多于三维来进行色域映射。

如框618所表示，方法600包括在透视显示器上(诸如在图2中的透视显示器270上)显示该显示数据。

图7是根据一些具体实施的基于光叠加特征值和参考色域来选择性修改图像数据的一部分的方法700的流程图的示例。在各种具体实施中，方法700或其部分由包括透视显示器的电子设备(例如图1中的电子设备100)执行。在各种具体实施中，方法700或其部分由颜色校正流水线执行，该颜色校正流水线诸如图2中的颜色校正流水线200、图3中的颜色校正流水线300或图4中的基于语义的颜色校正流水线400中的一者。在各种具体实施中，方法700或其部分由包括透视显示器(例如图2至图4中的透视显示器270)的头戴式设备(HMD)执行。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

如框702所表示，方法700包括确定与来自物理环境的环境光相关联的多个光叠加特征值。该多个光叠加特征值量化该环境光。例如，参考图3，光叠加特征值生成器208基于来自传感器子系统206的传感器数据来确定与环境光202相关联的多个光叠加特征值。

如框704所表示，在一些具体实施中，方法700包括基于图像数据的对应部分，跨该透视显示器识别该多个光叠加特征值的相应部分。例如，参考图3，光叠加特征值标识符302标识多个光叠加特征值的相应部分。在一些具体实施中，光叠加特征值标识符302利用来自深度传感器150的深度数据来标识多个光叠加特征值的相应部分。例如，基于与物理环境相关联的深度数据，光叠加特征值标识符302标识环境光202的与物理环境内的前景对象(例如与相对较低的深度值相关联的对象)相关联的一部分。

如框706所表示，在一些具体实施中，方法700包括基于与该图像数据相关联的预定显示特征的函数来修改(例如预处理)该多个光叠加特征值的该相应部分中的一个或多个相应部分，以便生成该多个光叠加特征值的一个或多个修改部分。预定显示特征可包括与图像数据相关联的色度值与亮度值的组合。例如，参考图3，光叠加特征值修改器310修改多个光叠加特征值的所识别的相应部分。在一些具体实施中，光叠加特征值修改器310将均匀照度函数312应用于多个光叠加特征值的相应部分中的一个或多个相应部分。例如，如果图像数据的一部分表示面部，则光叠加特征值修改器310将均匀照度函数312应用于光叠加特征值的对应部分以便实现基本上均匀的皮肤色调。在一些具体实施中，光叠加特征值修改器310将照度平滑函数314应用于多个光叠加特征值的相应部分中的一个或多个相应部分。例如，照度平滑函数314包括高斯(Gaussian)平滑、均匀移动平均平滑等中的一者。

如框708所表示，在一些具体实施中，方法700包括基于多个光叠加特征值的一个或多个经修改部分和参考感知色域而从图像数据中生成经修改的图像数据。例如，参考图3，图像数据修改器320基于来自光叠加特征值修改器310的输出以及来自参考感知色域数据库230的输出来修改图像数据。

如框710所表示，在一些具体实施中，生成经修改的图像数据包括修改图像数据的被语义标识的第一部分。为此，在一些具体实施中，方法700包括获得分别与图像数据内的多个部分相关联的多个语义值。多个部分包括图像数据的第一部分和图像数据的第二部分。例如，参考图4，语义值生成器410生成多个语义值，诸如“墙壁”、“面部”、“桌子”等。此外，方法700包括识别满足标准的多个语义值中的第一语义值。多个语义值中的第一语义值与图像数据的第一部分相关联。例如，参考图4，语义值标识符420标识满足标准的多个语义值中的第一语义值。在一些具体实施中，多个语义值中的第一语义值对应于所关注对象，诸如图像数据内所表示的人的“面部”。此外，方法700包括例如经由场景对象修改器432和/或参考图4描述的场景背景修改器434修改图像数据的第一部分。因此，通过选择性修改图像数据的一部分而不修改整个图像数据，基于语义的颜色校正流水线400在一些情形下减少资源利用。

如框712所表示，方法700包括基于多个光叠加特征值的一部分和参考物理色域的函数来将经修改的图像数据变换成显示数据。例如，参考图3和图4，第二色域映射器260基于参考物理色域210以及来自光叠加特征值生成器208的多个光叠加特征值的一部分而将经修改的图像数据变换为显示数据。

如框714所表示，方法700包括在透视显示器(诸如图3或图4中的透视显示器270)上显示该显示数据。

本公开描述了各种特征，其中没有一个特征能够单独实现本文所述的益处。应当理解，本文所述的各种特征可被组合、修改或省略，这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见，并旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解，在很多情况下，某些步骤和/或阶段可被组合在一起，使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外，某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下，可重新布置步骤和/或阶段的次序，并且可完全省略某些步骤和/或阶段。另外，本文所述的方法应被理解为可广泛解释的，使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。

本文所述的一些或所有方法和任务可由计算机系统执行和完全自动化。在一些情况下，计算机系统可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如，物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器)，该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可在此类程序指令中实现，但另选地可在计算机系统的专用电路(例如，ASIC或FPGA或GP-GPU)中实现所公开的功能中的一些或全部。在计算机系统包括多个计算设备的情况下，这些设备可位于同一位置或不位于同一位置。可通过将物理存储设备诸如固态存储器芯片和/或磁盘转换成不同状态来持久地存储所公开的方法和任务的结果。

本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。

个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。

然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。

本公开并不旨在限于本文所示的具体实施。对于本领域的技术人员而言，对本公开中描述的具体实施的各种修改可为显而易见的，并且可将本文所定义的一般原理应用于其他具体实施，而不脱离本公开的实质或范围。本文所提供的本发明的教导内容可应用于其他方法和系统，并且不限于上述方法和系统，并且可组合上述各种具体实施的元素和动作以提供更多具体实施。因此，本文描述的新颖方法和系统可以以多种其他形式来实现；此外，在不脱离本公开的实质的情况下，可以对本文所述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同内容旨在涵盖落入本公开的范围和实质内的此类形式或修改形式。

Claims

1.一种方法，包括：

在包括一个或多个处理器、非暂态存储器和透视显示器的电子设备处：

确定与来自物理环境的环境光相关联的多个光叠加特征值，其中所述多个光叠加特征值量化所述环境光；

基于所述多个光叠加特征值和参考感知色域的函数来修改图像数据以便生成经修改的图像数据；

基于所述多个光叠加特征值的一部分和与所述透视显示器相关联的参考物理色域的函数来将所述经修改的图像数据变换成显示数据；以及

在所述透视显示器上显示所述显示数据。

2.根据权利要求1所述的方法，其中修改所述图像数据包括基于所述多个光叠加特征值来将所述图像数据映射到在性能阈值内的所述参考感知色域。

3.根据权利要求1或2中任一项所述的方法，其中所述参考物理色域指示能够在所述透视显示器上显示的第一组颜色，并且其中所述参考感知色域指示第二组颜色。

4.根据权利要求1至3中任一项所述的方法，还包括基于颜色外观模型的函数来将所述参考物理色域变换成所述参考感知色域。

5.根据权利要求1至4中任一项所述的方法，其中当来自所述物理环境的标称量的环境光进入所述透视显示器时，所述参考物理色域表征所述透视显示器。

6.根据权利要求1至5中任一项所述的方法，其中修改所述图像数据包括将色调映射操作应用于所述图像数据。

7.根据权利要求6所述的方法，其中所述色调映射操作对应于高动态范围(HDR)色调映射操作。

8.根据权利要求1至7中任一项所述的方法，其中将所述经修改的图像数据变换成所述显示数据包括将色域映射操作应用于所述经修改的图像数据，其中所述色域映射操作是所述多个光叠加特征值的所述部分和所述参考物理色域的函数。

9.根据权利要求8所述的方法，其中所述色域映射操作表示至少四维空间。

10.根据权利要求1至9中任一项所述的方法，还包括：

获得分别与所述图像数据内的多个部分相关联的多个语义值，其中所述多个部分包括所述图像数据的第一部分和所述图像数据的第二部分；以及

识别所述多个语义值中的满足标准的第一语义值，其中所述多个语义值中的所述第一语义值与所述图像数据的所述第一部分相关联；

其中修改所述图像数据是与所述图像数据的所述第一部分相关联的预定显示特征的另一函数。

11.根据权利要求1至10中任一项所述的方法，还包括：

基于所述图像数据的对应部分，跨所述透视显示器识别所述多个光叠加特征值的相应部分；以及

基于与所述图像数据相关联的预定显示特征的函数来修改所述多个光叠加特征值的所述相应部分中的一个或多个相应部分，以便生成所述多个光叠加特征值的一个或多个经修改部分；

其中生成所述经修改的图像数据是基于所述多个光叠加特征值的所述一个或多个经修改部分的。

12.根据权利要求1至11中任一项所述的方法，其中所述电子设备包括环境传感器，所述环境传感器感测所述环境光并且输出对应传感器数据，其中确定所述多个光叠加特征值是基于所述传感器数据的函数的。

13.一种颜色校正流水线，包括：

光叠加特征值生成器，所述光叠加特征值生成器用于确定与来自物理环境的环境光相关联的多个光叠加特征值，其中所述多个光叠加特征值量化所述环境光；

图像数据修改器，所述图像数据修改器用于基于所述多个光叠加特征值和参考感知色域的函数来修改图像数据以便生成经修改的图像数据；

第二色域映射器，所述第二色域映射器用于基于所述多个光叠加特征值的一部分和参考物理色域的函数来将所述经修改的图像数据变换成显示数据；以及

透视显示器，所述透视显示器用于显示所述显示数据，其中所述参考物理色域与所述透视显示器相关联。

14.根据权利要求13所述的颜色校正流水线，还包括第一色域映射器，所述第一色域映射器用于基于颜色外观模型的函数来将所述参考物理色域变换成所述参考感知色域。

15.根据权利要求13或14中任一项所述的颜色校正流水线，其中所述第二色域映射器通过将色域映射操作应用于所述经修改的图像数据来变换所述经修改的图像数据，其中所述色域映射操作是所述多个光叠加特征值的所述部分和所述参考物理色域的函数。

16.根据权利要求15所述的颜色校正流水线，其中所述色域映射操作表示至少四维空间。

17.根据权利要求13至16中任一项所述的颜色校正流水线，还包括：

语义值生成器，所述语义值生成器用于获得分别与所述图像数据内的多个部分相关联的多个语义值，其中所述多个部分包括所述图像数据的第一部分和所述图像数据的第二部分；以及

语义值标识符，所述语义值标识符用于识别所述多个语义值中的满足标准的第一语义值，其中所述多个语义值中的所述第一语义值与所述图像数据的所述第一部分相关联；

其中所述图像数据修改器基于与所述图像数据的所述第一部分相关联的预定显示特征的函数来修改所述图像数据。

18.根据权利要求13至17中任一项所述的颜色校正流水线，还包括：

光叠加特征值标识符，所述光叠加特征值标识符用于基于所述图像数据的对应部分跨所述透视显示器识别所述多个光叠加特征值的相应部分；以及

光叠加特征值修改器，所述光叠加特征值修改器用于基于与所述图像数据相关联的预定显示特征的函数来修改所述多个光叠加特征值的所述相应部分中的一个或多个相应部分，以便生成所述多个光叠加特征值的一个或多个经修改部分；

其中所述图像数据修改器基于所述多个光叠加特征值的所述一个或多个经修改部分来修改所述图像数据。

19.根据权利要求18所述的颜色校正流水线，还包括深度传感器，所述深度传感器输出深度数据，其中所述光叠加特征值标识符基于所述深度数据来识别所述多个光叠加特征值的所述相应部分。

20.根据权利要求13至19中任一项所述的颜色校正流水线，还包括传感器子系统，所述传感器子系统感测所述环境光并且输出对应传感器数据，其中所述光叠加特征值生成器基于所述传感器数据的函数来确定所述多个光叠加特征值。

21.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有一个或处理器和透视显示器的电子设备执行时使得所述电子设备：

在所述透视显示器上显示所述显示数据。