CN110235194B - 用于基于年龄的色域映射的系统和方法 - Google Patents

用于基于年龄的色域映射的系统和方法 Download PDF

Info

Publication number
CN110235194B
CN110235194B CN201780081840.7A CN201780081840A CN110235194B CN 110235194 B CN110235194 B CN 110235194B CN 201780081840 A CN201780081840 A CN 201780081840A CN 110235194 B CN110235194 B CN 110235194B
Authority
CN
China
Prior art keywords
color
user
gamut
image
age
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780081840.7A
Other languages
English (en)
Other versions
CN110235194A (zh
Inventor
G·沃德
T·阿克哈凡
A·苏迪
H·柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Irystec Inc
Original Assignee
Irystec Software Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Irystec Software Inc filed Critical Irystec Software Inc
Publication of CN110235194A publication Critical patent/CN110235194A/zh
Application granted granted Critical
Publication of CN110235194B publication Critical patent/CN110235194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/04Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using circuits for interfacing with colour displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/068Adjustment of display parameters for control of viewing angle adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Color Image Communication Systems (AREA)

Abstract

一种用于对图像进行处理以显示在宽色域显示器上的方法包括:接收观察者的特性;基于所述特性确定一组颜色缩放因子;以及应用所述一组颜色缩放因子以调整所述图像的白点。

Description

用于基于年龄的色域映射的系统和方法
技术领域
本技术领域总体上涉及对图像进行处理以显示在宽色域显示设备上。
背景技术
比色法基于每个人的颜色响应可以用CIE标准观察者函数进行定量这样假设,所述CIE标准观察者函数预测了观察者对光谱含量的平均响应。然而,个体观察者可以具有略不相同的响应函数,这会引起关于哪些颜色相匹配以及哪些颜色不匹配的不一致。对于具有平稳变化的(广泛的)光谱的颜色,不一致性通常较小,但是对于使用几个窄带光谱峰值混合的颜色,差异可以有10个CIELAB单位那么大[Fairchild和Wyble 2007]。(大于5个CIELAB单位的任何事物均非常突出。)
如有机发光二极管(OLED)等宽色域显示器可以将这个问题情境放大。这使观察者难以在是什么构成了如Samsung的受欢迎的AMOLED设备等窄带显示器上的白色方面达成一致。观察者同色异谱(metamerism)在宽色域下可能发生得更为频繁。
发明内容
根据一方面,提供了一种用于对输入图像进行处理以显示在宽色域显示设备上的方法。所述方法包括:接收观察所述宽色域显示设备的用户的年龄相关特性;基于所述用户的所述年龄相关特性和所述宽色域显示设备的色域确定一组颜色缩放因子;对所述输入图像应用色域扩展以生成色域扩展图像;以及将所述一组颜色缩放因子应用于所述色域扩展图像以调整其白点。
根据另一方面,提供了一种用于对输入图像进行处理以显示在宽色域显示设备上的方法。所述方法包括:接收观察所述宽色域显示设备的用户的年龄相关特性;接收颜色温度设置;确定对应于接收的颜色温度设置的黑体光谱;基于所述用户的所述年龄相关特性确定对应于所述黑体光谱的LMS锥细胞响应第一集合;基于所述宽色域显示设备的初级光谱确定LMS锥细胞响应第二集合;以及确定提供所述LMS锥细胞响应第一集合与所述LMS锥细胞响应第二集合之间的对应关系的一组颜色缩放因子,所述一组颜色缩放因子对调整所述输入图像的白平衡是有效的。
根据又另一方面,提供了一种用于对输入图像进行处理以显示在宽色域显示设备上的方法,所述输入图像表示在第一颜色空间中。所述方法包括针对所述输入图像的多个像素中的每个图像像素:将所述图像像素在所述第一颜色空间中的颜色值分量转换成色度坐标空间中的对应一组色度坐标;在所述色度坐标空间内限定特殊区域(sacred region);确定所述图像像素的所述一组色度坐标是否位于所述特殊区域内;以及基于以下来确定所述图像像素的一组映射颜色值分量:
如果所述图像像素的所述色度坐标位于所述特殊区域内,则应用所述图像像素的所述颜色值分量的第一映射;以及
如果所述图像像素的所述色度坐标位于所述特殊区域之外,则应用所述图像像素的所述颜色值分量的第二映射。
根据又另一方面,提供了一种用于在应用内显示图形内容的方法,所述应用在具有显示设备的电子设备上运行。所述方法包括:由所述应用从所述图形内容的提供商接收待由所述应用显示的所述图形内容;接收使用所述电子设备上的所述应用的用户的用户相关特性;基于所述用户的所述用户相关特性对所述图形内容进行处理以生成以用户为目标的图形内容;经由所述应用显示所述以用户为目标的图形内容;以及由所述应用检测所述用户与显示的以用户为目标的图形内容的交互。
根据各个方面,一种计算机实施的系统包括:至少一个数据存储设备;以及可操作地耦合到所述至少一个存储设备的至少一个处理器,所述至少一个处理器被配置成根据各个方面执行本文所描述的方法。
根据各个方面,一种计算机可读存储介质包括用于根据各个方面执行本文所描述的方法的计算机可执行指令。
虽然上述描述提供了实施方案的例子,但是应了解,所描述实施方案的一些特征和/或功能易于经历修改而不脱离所描述实施方案的精神和操作原理。因此,上述内容旨在是说明性的而非限制性的,并且本领域技术人员应理解,可以在不脱离如随附权利要求所限定的本发明的范围的情况下作出其他变动和修改。
图1展示了用于白平衡/色域扩展的系统的操作模块的示意图;
图2展示了用于对输入图像进行处理以显示在宽色域显示设备上的示例性方法的操作步骤的流程图;
图3展示了用于确定用于偏移白点的颜色缩放因子的示例性方法的操作步骤的流程图;
图4展示了用于将色域映射应用于输入图像的示例方法的操作步骤的流程图;
展示了用于对来自内容提供商的图形内容进行用户适配显示的系统;
图6展示了用于对来自内容提供商的图形内容进行用户适配显示的方法的操作步骤的流程图;
图7展示了针对2°补片和10°补片,在Samsung AMOLED显示器(Galaxy Tab)上相对于25岁参考对象在D65白色外观上的差异;
图8展示了具有在色度空间中从中心穿过输入颜色到sRGB色域边界绘制的线的特殊区域(绿色);
图9展示了使用本文所描述的示例实施方式示出示例颜色运动的从sRGB色域到AMOLED原色的映射;
图10展示了使用本文所描述的示例实施方式示出示例颜色运动的从sRGB色域到激光原色的映射;
图11展示了sRGB输入中的图像(顶部)与底部使用激光显示利用本文所描述的示例实施方式进行图像白平衡和色域映射的图像。强色变得更强,并且一些强色在色相上略有偏移,尤其是原色未校准的深蓝色。
图12展示了具有原始图像和色度参考的色域映射例子:HCM-本文所描述的示例实施方式,SDS-原始图像,并且TCM-色度或真实颜色映射。
展示了表示为10个图像中的每个图像的JND值的成对比较的主观评估结果图,包括误差条,所述误差条代表通过自举法计算的95%置信区间-HCM:本文所描述的示例实施方式,SDS:原始图像,并且TCM:色度或真实颜色映射。
具体实施方式
如广泛地描述的,本文所描述的各个示例实施方案提供了对输入图像的处理,所述输入图像可以根据如年龄等用户相关特性表示在标准颜色空间中以将图像显示在例如宽色域显示设备上。
本文所描述的一个或多个色域系统可以在可编程计算机上执行的计算机程序实施,每个可编程计算机包括至少一个处理器、数据储存系统(包括易失性和非易失性存储器和/或储存元件)、至少一个输入设备和至少一个输出设备。例如但不限于,可编程计算机可以是可编程逻辑单元、大型计算机、服务器和个人计算机、基于云的程序或系统、膝上型计算机、个人数据助理、蜂窝电话、智能电话、可穿戴设备、平板设备、虚拟现实设备、智能显示设备(例如智能电视)、机顶盒、视频游戏控制台、或便携式视频游戏设备。
每个程序优选地用高级过程语言或面向对象的编程和/或脚本语言来实现,以与计算机系统通信。然而,如果希望,可以用汇编语言或机器语言执行程序。在任柯情况下,语言均可以是编译的或解译的语言。每一个这种计算机程序优选地存储在通用或专用可编程计算机可读的存储介质或设备上,以用于当由计算机读取存储介质或设备以执行本文所描述的规程时对计算机进行配置和操作。在一些实施方案中,系统可以嵌入有在可编程计算机上运行的操作系统。在其他示例实施方案中,系统可以在硬件中实施,如在视频卡内。
此外,所描述实施方案的系统、过程和方法能够分布在计算机程序产品中,所述计算机程序产品包括承载用于一个或多个处理器的计算机可用指令的计算机可读介质。介质可以各种形式提供,包括一个或多个磁盘、压缩盘、磁带、芯片、有线传输、卫星传输、互联网传输或下载、磁性和电子存储介质、数字和模拟信号等等。计算机可用指令也可以呈各种形式,包括编译和非编译代码。
挑战是通过定制颜色映射以考虑到个人偏好和生理指标来提供关于宽色域显示设备的最佳观察者体验。尽管主要使用了具有相当有限的色域的sRGB标准颜色空间,但是这种空间中的图像应当以利用宽色域显示设备所提供的另外的色域的方式进行处理。
本文中,“输入图像”指代待处理以显示在宽色域显示设备上的图像。输入图像通过表示在具有比宽色域显示设备的色域更窄的色域的颜色空间中。例如,输入图像表示在标准颜色空间中。
本文中,“标准颜色空间”指代sRGB颜色空间或色域具有与sRGB的色域大致相同的大小的颜色空间。
本文中,“宽色域显示设备”指代被配置成显示基本上大于标准颜色空间的色域内的颜色的电子显示设备。宽色域显示设备的例子包括OLED显示器、量子点显示器和激光投影仪。
现在参考图1,其中展示了根据各个示例性实施方案的用于白平衡/色域扩展的系统100的操作模块的示意图。
白平衡/色域扩展系统100包括用于接收与对接收的输入图像进行白平衡和/或色域扩展相关的设置的设置模块108。
设置模块108可以从旨在捕获用户相关设置的条目的校准环境接收相关设置。设置模块108还可以接收已经存储在连接到或已经嵌入到宽色域显示设备的用户设备(例如计算机、平板计算机、智能电话、手持控制台)处的相关设置。设置模块108可以通过适合的网络(例如互联网、基于云的网络)从外部设备进一步接收相关设置。外部设备可以属于已经存储了关于用户的信息的第三方。第三方可以是外部电子邮件账户或社交媒体平台。
白平衡/色域扩展系统100还包括颜色缩放因子计算模块116。颜色缩放因子计算模块116从设置模块108接收一个或多个用户相关设置并且确定对在输入图像的处理中应用白平衡有效的颜色缩放因子。
颜色缩放因子计算模块116结合白平衡模块124进行操作,所述白平衡模块接收计算的颜色缩放因子并且应用颜色缩放因子以进行白平衡(例如白点偏移)。
白平衡/色域扩展系统100进一步包括色域映射模块132。色域映射模块132可操作用于将表示在标准颜色空间(例如RGB、sRGB)中的图像映射到具有更宽色域的颜色空间。
白平衡/色域扩展系统100的输出是白平衡色域扩展图像。输入图像的白平衡和/或色域扩展可以根据设置模块108所接收的设置执行。应理解,色域映射和色域扩展及其变体在本文中可互换使用以指代将表示在一个颜色空间中的输入图像的颜色映射到另一个颜色空间的过程。
现在参考图2,其中展示了用于对输入图像进行处理以显示在宽色域显示设备上的示例性方法200的操作步骤的流程图。宽色域显示设备的色域可以是已知的。此外,观察宽色域显示设备的用户的身份和/或特性也可以是已知的。
在步骤208,接收待处理的输入图像。如本文中其他地方所描述的,输入图像表示在比宽色域显示设备的可用色域更窄的颜色空间中。对输入图像的处理寻求更改输入图像的颜色,使得输入图像的颜色空间覆盖宽色域显示设备的色域的较大区域。
在步骤216,接收用户的一个或多个用户相关特性。用户相关特性指代可以影响用户如何感知颜色的特性。
用户相关特性可以包括年龄相关特性,如用户的实际年龄、用户的年龄组、可以指示用户的年龄的用户财产、偏好或活动(例如浏览历史)、或对应于用户的有效年龄的用户所选设置。用户的年龄相关特性可以从存储在包括宽色域显示设备的用户操作设备上的用户详情获得。用户的年龄相关特性可以从与用户相关联的用户账户获得,如提供到在线服务(例如电子邮件账户、第三方平台、社交媒体服务)的用户信息。
在一个例子中,可以执行校准/训练阶段,在所述校准/训练阶段,向用户显示校准图像(例如人脸图像)和图形控制元件。图形控制元件(例如滑块)的交互允许用户选择有效的年龄设置,并且校准图像根据那个有效年龄的典型用户将会如何感知图像来进行调整。用户然后可以锁定偏好设置,所述偏好设置成为那个用户的有效年龄。因此,年龄相关特性是用户输入参数。
在一个例子中,图形控制元件是滑块并且作为滑块被控制并且校准图像被调整,对应于滑块的位置的当前有效年龄向用户隐藏并且未明确显示。因此,用户将不受影响,以选择对应于用户是实际年龄的有效年龄。滑块还可以用于使用户选择其他观察特性,如细节水平、颜色温度和对比度。
影响用户感知的其他用户相关特性可以包括用户的色盲和用户的种族。
在步骤224,任选地接收颜色温度设置。颜色温度设置对应于用于对输入图像进行处理的目标颜色温度。颜色温度设置可以对应于用户偏好的颜色温度。颜色温度设置可以由用户输入,例如通过从多个预设设置中进行选择。颜色温度设置可以从用户相关性质中获得,如当日时间或用户位置(处于不同地区如不同大洲的用户通常对颜色温度有不同的偏好)。
在一个例子中,可以执行校准/训练阶段,在所述校准/训练阶段,向用户呈现校准图像(例如人脸图像)和图形控制元件,使得用户可以选择偏好的颜色温度。图形控制元件(例如滑块)的交互允许用户选择有效的颜色温度设置,并且校准图像根据当前选择的颜色温度设置进行调整。用户然后可以锁定偏好的颜色温度设置。
在一个例子中,有效年龄设置和颜色温度设置可以由用户在同一校准/训练环境内选择,在所述同一校准/训练环境中,校准图像显示有分别对应于有效年龄设置和颜色温度设置的两个不同的滑块。用户可以切换这两个滑块来选择偏好的有效年龄设置和颜色温度设置以用于对输入图像进行处理。
在步骤232,基于如用户的年龄相关特性等用户相关特性并且基于宽色域显示设备的色域确定一组颜色缩放因子。所述一组颜色缩放因子的确定也可以依赖于用户的颜色温度设置。例如,宽色域显示设备的色域可以通过宽色域显示设备的初级光谱来表示(即,宽色域显示设备的原色中的每一种的光谱)。颜色缩放因子对偏移图像的白点是有效的。
在步骤240,将色域映射应用于输入图像以生成色域映射图像。色域映射基于宽色域显示设备的色域进行应用。
在步骤248,应用颜色缩放因子以偏移白点。在所展示的例子中,颜色缩放因子在输入图像经历色域映射之后应用于输入图像。可替代地,颜色缩放因子可以在输入图像经历色域映射之前应用。
输入图像的白平衡色域扩展版本根据所述方法输出并且准备显示在用户的电子设备的宽色域显示设备上。
现在参考图3,其中展示了用于确定用于在输入图像的处理中偏移白点的颜色缩放因子的示例性方法300的操作步骤的流程图。方法300可以作为独立方法执行。可替代地,所述方法的步骤可以在用于对输入图像进行处理以显示在宽色域显示设备上的方法200内执行。
例如,方法300的接收输入图像的步骤208、接收用户的一个或多个用户相关特性的步骤216和接收目标颜色温度的步骤224与方法200的对应步骤基本上相同。
在步骤250,确定年龄相关特性所限定的年龄的LMS锥细胞响应。LMS锥细胞响应可以基于已知的生理模型如CIE-2006生理模型[Stockman & Sharpe 2006]确定。
在步骤252,确定接收的颜色温度设置的黑体光谱。
在步骤254,确定对黑体光谱的基于年龄的LMS锥细胞响应第一子集。所述基于年龄的LMS锥细胞响应第一子集使用步骤250处确定的LMS锥细胞响应集合来确定。
在步骤256,确定对宽色域显示设备的初级光谱的基于年龄的LMS锥细胞响应第二子集。所述基于年龄的LMS锥细胞响应第二子集也使用步骤250处确定的LMS锥细胞响应集合来确定。
在步骤258,确定提供LMS锥细胞响应第一子集与LMS锥细胞响应第二子集之间的对应关系的一组颜色缩放因子。所述一组颜色缩放因子对调整图像的白平衡是有效的,如经历了色域扩展的输入图像的白平衡。
步骤250到258的组合可以表示方法200的确定所述一组颜色缩放因子的步骤232的子步骤。
应了解,在将用户的年龄相关特性所限定的年龄的LMS锥细胞响应考虑在内的情况下确定所述一组颜色缩放因子。因此,执行基于年龄的白平衡。在其他例子中,可以在将另一个用户相关特性如色盲和/或种族的LMS锥细胞响应考虑在内的情况下确定LMS锥细胞响应。
根据各个示例实施方案,确定颜色缩放因子的方法300进一步包括根据宽色域显示设备的当前白点(例如白平衡设置)来平衡宽色域显示设备的初级光谱。此外,LMS锥细胞响应第二集合可以基于平衡的初级光谱来确定。
平衡宽色域显示设备的初级光谱包括测量宽色域显示设备的实际输出以确定显示设备的实际白点。显示设备的初级光谱然后根据那个白点进行调整以用于确定所述一组颜色缩放因子。
根据各个示例实施方案,方法300可以进一步包括归一化所述一组颜色缩放因子。
现在参考图4,其中展示了用于在输入图像的处理中将色域映射应用于输入图像的示例性方法400的操作步骤的流程图。方法400可以作为独立方法执行。可替代地,所述方法的步骤可以在用于对输入图像进行处理以显示在宽色域显示设备上的方法300内执行。
在步骤408,将输入图像的像素的颜色值分量转换到色度坐标空间。
在步骤416,在色度坐标空间内限定特殊区域。如本文中进一步描述的,特殊区域的边界限定了输入图像的第一颜色空间内的一组颜色值分量将会如何映射。
本文中,“特殊区域”指代对应于应当在色域映射期间保持未偏移或偏移得少于其他颜色的区域,这是因为这种颜色的偏移更有可能被人类观察者感知为非自然的。例如,落入特殊区域内的颜色可以包括中性色、大地色和肤色。
在步骤424,根据色度空间中的一组颜色值分量相对于特殊区域的相对位置对输入图像的颜色值进行映射。
根据一个示例实施方案,对于给定组颜色值分量,如果对应于输入图像的所述一组颜色值分量的色度坐标位于特殊区域内,则应用颜色值分量的第一映射。如果对应于给定组颜色值分量的色度坐标位于特殊区域外,则应用颜色值分量的第二映射。
在一个例子中,输入图像表示在第一颜色空间中,并且宽色域显示设备被配置成在不同于第一颜色空间的第二颜色空间中显示图像。将输入图像的给定组颜色值分量转换到第二颜色空间中的对应一组颜色值分量。如果对应于输入图像的给定组颜色值分量的色度坐标落入特殊区域内,则应用第一映射,在所述第一映射中,将转换到宽色域显示设备的第二颜色空间中的所述一组颜色值分量设置为色域映射输出图像的输出颜色值分量。
在一个例子中,如果给定组颜色值分量的色度坐标位于特殊区域外,则基于色度坐标与特殊区域的边缘之间的距离应用第二映射。第二映射进一步基于色度坐标与第二颜色空间的限定宽色域显示设备的光谱的外边界之间的距离。第二颜色空间的外边界对应于宽色域显示设备的原色的色度坐标。
可以在第一颜色空间中的颜色值分量与第二颜色空间中的颜色值分量之间应用线性内插。线性内插可以基于计算的这两个距离之比。
应理解,可以基于逐个像素对输入图像执行方法400,其中将方法400的步骤重复用于每个图像像素。即,将给定像素的颜色值分量转换到色度空间并且执行映射以确定特定像素在第二颜色空间中的颜色值分量。应进一步理解,可以在对输入图像的每个像素进行色域映射之前在色度空间中限定特殊区域。
现在参考图5,其中展示了用于将标准颜色空间内容展示在用户当前使用的用户设备516(例如计算机、平板计算机、智能电话、手持式控制台)的显示设备508上的系统500。用户设备516被配置成执行计算机程序520,在所述计算机程序中,各种图形内容用于展示在宽色域显示设备508上。计算机程序可以是在特定环境中如在操作系统内执行的应用或“app(应用)”。可替代地,计算机程序可以是操作系统的嵌入特征。
图形内容可以由内容生成方524生成。图形内容可以是一个或多个图像和/或视频。内容生成方524与通过适合的网络如互联网、WAN或基于云的网络运行计算机程序的用户设备516通信。内容生成方524可以包括选择图形内容由计算机程序显示的内容选择模块528。内容选择模块528可以从计算机程序520接收关于用户的信息(例如用户简档、用户历史等)并且生成适于用户简档的内容。
在计算机程序520处接收所选图形内容。然而,在图形内容处于标准颜色空间中的情况下,图形内容的显示可能不适于经由显示设备508观察内容的用户。接收的图形内容由实施在用户设备516内的图像处理模块532进行处理以生成适于用户的经过处理的图形内容。
例如,图像处理可以包括根据本文所描述的方法对图形内容进行色域映射以显示在宽色域显示设备上。另外或可替代地,色域映射可以包括白平衡、对比度调整、色调映射、色盲调整、灵敏度调整、限制亮度等。
图像处理模块516被配置成使用电子设备516接收用户的用户相关特性。用户的用户相关特性可以存储在电子设备516上。可替代地,用户的用户相关特性可以如通过适合的通信网络从第三方提供商540接收。第三方提供商540可以是电子邮件账户或具有与用户相关联的账户的社交媒体平台。社交媒体平台的账户信息或使用可以包括用户的用户相关特性。
图像处理模块532被配置成使用电子设备516接收用户的用户相关特性。用户的用户相关特性可以存储在电子设备516上。
基于用户的用户相关特性,图像处理模块532执行对图形内容的处理。另外或可替代地,图像处理模块532可以基于环境观察特性和/或设备相关特性执行对图形内容的处理。图像处理模块532可以执行提高用户对图形内容的感知的由Irystec Inc.开发的处理方法。这些处理方法可以包括根据各个示例实施方案进行本文所描述的色域映射、调整环境照明条件(例如亮度目标重设、对比度调整、颜色目标重设、根据显示器的峰值亮度转化图像)、视频色调映射等。图像处理技术可以包括以下文献所描述的方法:题为“图像显示器改进和与图像显示器相关的改进(IMPROVEMENTS IN AND RELATING TO THE DISPLAY OFIMAGES)”的PCT申请号PCT/GB2015/051728;题为“用于颜色目标重设的系统和方法(SYSTEMAND METHOD FOR COLOR RETARGETING)”的PCT申请号PCT/CA2016/050565;题为“用于实时色调映射的系统和方法(SYSTEM AND METHOD FOR REAL-TIME TONE-MAPPING)”的PCT申请号PCT/CA2016/051043;题为用于对显示设备进行补偿和反射的系统和方法“(SYSTEM ANDMETHOD FOR COMPENSATION OF REFLECTION ON A DISPLAY DEVICE)”的美国临时申请号62/436,667,上述所有文献均通过引用结合在本文中。
环境观察特性指代限定存在于电子设备516周围的环境内的环境条件并且可以影响观察者的体验的特性。这种环境观察特性可以包括环境照明水平(例如明亮环境与黑暗环境)、引起在显示设备上反射的光源的存在等。环境观察特性可以使用电子设备的各个传感器如GPS、环境光传感器、一个或多个相机获得。
设备相关特性指代限定电子设备516的能力并且可以影响观察者的体验的特性。这种设备相关特性可以包括显示设备508的分辨率、显示设备508的类型(例如LCD、LED、OLED、VR显示器等)、显示器的色域、电子设备516的处理能力、电子设备516的当前工作负载、显示器的峰值亮度、显示器的当前模式(例如省电模式)等。
将色域映射图形内容传递到计算机程序520,并且程序524使经过处理的图形内容536显示在用户电子设备的显示设备508上。
图像处理模块532和计算机程序520中的一个可以向内容生成方524进一步传输指示图形内容在被显示在用户设备516的显示设备508上之前进行色域映射的消息。
在一些示例实施方案中,图形内容可以是交互元素,如广告内容。计算机程序520监测图形内容以检测用户与图形内容的交互(例如选择、点击、滚动到、共享、用户观察)并且传输指示色域映射图形内容由用户进行交互的消息。
图形发生器524可以进一步包括跟踪图形内容被图像处理模块处理的时间量和/或经过处理的图形内容被交互的时间量的回放跟踪模块548。
图像处理模块532可以与用户使用的计算机程序520分开实施。可替代地,图像处理模块532嵌入计算机程序520内。
在一些示例实施方案中,图像处理模块532可以实施在内容发生器524内。因此,内容发生器524从电子设备516接收用户相关特性、环境观察特性和/或设备相关特性并且在将所选内容传输到电子设备516以供显示之前基于这些特性对内容进行处理。
例如,用户相关特性是感知相关特性,这种用户的年龄相关特性和图像处理包括根据本文所描述的各个例子进行白平衡和色域映射。
应了解,图像处理模块532使图形内容进行进一步处理以提高观察者对图形内容的感知。此外,针对用户的直接影响观察者感知的一个或多个具体特性使处理个性化。
现在参考图6,其中展示了用于对来自内容提供商的图形内容进行用户适配显示的示例方法600的操作步骤的流程图。
在步骤608,如从第三方内容提供商接收待显示的图形内容。
在步骤616,接收用户相关特性。还可以接收环境观察特性和/或设备相关特性。
在步骤624,基于接收的用户相关特性、环境观察特性和/或设备相关特性对图形内容进行处理以供显示。
在步骤632,向用户显示经过处理的图形内容。
在步骤640,监测并检测经过处理的图形内容的交互。可以进一步传输以供或多个通知以指示这种交互。用于与显示经过处理的图形内容的电子设备的交互可以由电子设备进行监测和检测,并且通知被传输到内容生成方524或第三方。通知提供了所选图形内容的被显示的指示符、图像内容已经经过处理以用于提高的感知并且经过处理的内容已经被交互。
例如,图形内容可以是广告内容,并且对图形内容进行处理寻求吸引用户的注意。通知指示用户的“点进”。接收通知的内容生成方或第三方跟踪发生的交互的数量。属于通知的这种信息可以用于确定针对对图形内容进行处理的服务的补偿量。
在现实生活例子中,用户可以如经由网站、移动app、社交媒体服务或内容流式服务在线访问内容。选择如广告等图形内容以供用户显示内容。例如,生成在线内容的一方也可以选择广告进行显示。可以获得用户相关特性、环境观察特性和设备相关特性。用户相关特性可以从存储在电子设备上的用户简档信息或从所述用户的一个或多个社交媒体简档获得。然后,对图形内容进行处理以提高用户的感知观察并且与在线内容一起显示。在用户消耗在线内容时,对用户的活动进行监测以检测用户是否与经过处理的图形广告内容交互。如果用户与经过处理的图形广告内容交互,则发出通知指示图形内容经过处理并且用户与图形内容交互。
示例实施方式
示例实施方式包括考虑到观察者变化(同色异谱)与颜色温度偏好的白平衡技术和在保持如肤色等关键颜色的准确度的同时将sRGB输入映射到更宽的OLED色域的色域扩展技术。
采用了基于年龄的观察者颜色匹配功能的CIE 2006模型,所述模型确立了用于计算对光谱刺激的LMS锥细胞响应的方法[Stockman和Sharpe 2006]。这个模型用于发掘预期变化的范围,而非预测仅来自年龄的响应。颜色温度偏好也允许有差异,因为已经示出了,一些用户偏好比标准6500°K更低的(更红的)或更高的(更蓝的)白色[Fernandez和Fairchild 2002]。将会在中性本底上示出用户的一组人脸并且提供2轴控制以找到所述一组人脸的偏好白点设置,所述偏好白点设置对应于年龄相关尺寸和颜色温度相关尺寸。(年龄变化趋于沿着从绿色到品红色的曲线,而颜色温度从红色变化到蓝色,所以这总体上提供了充分的变化。)使用Radbound人脸数据库[Langner等人, 2010]。
用于利用OLED全色域的常见方法是将RGB值直接映射到显示器,这产生了饱和但不准确的颜色。使用适合的3 × 3转化的sRGB到OLED的精确映射消除了更宽色域的任何益处,因为这样限制了到输入(sRGB)颜色范围的输出。
在偏移和过量饱和可能相抵抗的情况下,观察到准确度是颜色空间的中性和大地色区域中最重要的。然而,向外朝向光谱轨迹,可以期望过饱和的颜色,因为观察者对饱和度变化或甚至强色的色相不那么挑剔。尤其对于初级观察者而言,相比于准确颜色,常常更喜欢亮色。
示例实施方式寻求保持颜色空间的限定的“特殊”区域中颜色的准确度,这应当确定但是将会包括肤色和常见的大地色的所有变化。在这个区域外,映射逐渐改变成沿着sRGB色域边界的颜色的值映射到沿着目标OLED显示器的最大色域的值。
示例实施方式取得了sRGB输入图像,并且使用偏好的白点和在使颜色饱和到色域边界的同时维持中性色的准确度来将sRGB输入图像映射到AMOLED显示器。下文给出了实施方式的细节和某种示例输出。
实施方式中重要的步骤是调整显示器白点以对应于观察者的年龄相关颜色响应和偏好。这两种输入是CIE-2006观察者年龄和黑体温度。如所描述的,在实际有效年龄值和颜色温度向用户隐藏的情况下,这两种输入可以从用户给定的对表示有效年龄和颜色温度的控制元件的二维控制获得。根据这些参数以及OLED RGB光谱和默认的白平衡的详细测量结果,使用以下规程计算白平衡乘数(颜色缩放因子):
1. 平衡OLED初级光谱,所以OLED初级光谱加到当前的显示器白点。(即,针对1931标准观察者曲线相乘并且求解实现测量的xy色度的RGB缩放。)对应于最大白色亮度的任意缩放因子将会保持不变,这在这一背景下并不重要。
2. 基于CIE-2006生理模型确定给定年龄的LMS锥细胞响应。
3. 计算规定的目标颜色温度下的黑体光谱。
4. 计算对这个黑体光谱的基于年龄的LMS锥细胞响应。
5. 计算对应于对OLED RGB初级光谱的LMS锥细胞响应的3 × 3矩阵。
6. 解决线性系统以确定实现期望的黑体颜色匹配的RGB因子(再次,在常见亮度缩放内)。
7. 用这些白平衡因子除以这三个中的最大值,从而使得最大因子为1。存在线性因子应用于每个RGB像素以将图像映射到期望的白点。
注意,输入即年龄和颜色温度上有两个自由度,并且输出上有两个自由度,因为RGB因子中的一个一直是1.0。
图7展示了针对2°补片和10°补片,在Samsung AMOLED显示器(Galaxy Tab)上相对于25岁参考对象在D65白色外观上的差异。
对于色域映射,假设关于更大色域的信息在捕获或创建sRGB输入图像时已经丢失,则无法推断出正确的表示以完全利用宽色域显示设备的全色范围。色域映射并非在宽色域显示设备的更宽色域上保持更小的sRGB色域,而是以感知上偏好的方式扩展到更大的色域。
示例实施方式寻求直接的色域映射,同时实现以下目标:
1)颜色空间的关键区域中不饱和的颜色即大地色和肤色必须是未接触的(即色度的)。
2)sRGB中可能的最饱和的颜色应当映射到目的色域中的最饱和颜色,从而在色域体积之间实现内射函数(一对一映射)。
3)应当保持亮度和关联对比度。
根据示例实施方式的色域映射开始于限定其中映射将严格地属于色度的颜色空间区域,并且假设这完全包含在源和目的色域两者内。这个区域对应于特殊区域,所述特殊区域被定义为CIE (u', v')颜色空间中的点与围绕其的径向函数。关于示例实施方式,(u', v')的中心位置 = (0.217,0.483),基于自然色的实证测量结果,恒定半径为0.051。(可以进一步调谐或调整这个中心,并且未来可以采用更复杂的径向函数。)
内射色域映射函数如下限定。关于落入所限定特殊区域内的颜色,在色度上(TCM)对值进行映射,从而使值尽可能靠近目标宽色域显示设备上的原始sRGB值再现。这个线性3× 3映射矩阵被称为Md。因此:
RGBd T = Md RGBi T
其中:
RGBi = CCIR-709原色的线性化输入值
RGBd = 线性色度显示驱动值
白点还可以通过以上矩阵转化以使源白点与显示器的白点相匹配。线性化输入颜色使用矩阵Mx映射到CIE XYZ,然后使用以下标准公式映射到(u', v'):
Figure 760067DEST_PATH_IMAGE001
(Mx矩阵有意中断D65白点转换,因为观察者适于显示白色并且特殊区域的中心应当被保持。)
关于特殊区域外的颜色,示例实施方式在以上色度映射与将原始RGBi值发送到显示器的SDS映射之间内插,从而根据需要将线性度(“γ”)校正应用于每个信道。
图8示出了具有从中心穿过输入颜色到sRGB色域边界绘制的线的特殊区域(绿色)。特殊区域以绿色示出,并且从中心到sRGB色域边界绘制的红线表示与恒定色相的接近度。距离a是输入颜色距特殊区域的边缘的距离,坐标为(u', v')。距离b是沿着那个色相线从特殊区域的边缘到sRGB色域边界的距离。值da/b之比。线性驱动值然后计算为:
RGBo = (1-d2)RGBd + d2 RGBi
观察到相比于更常用的线性内插值,优选幂d,但是结果对加速度因子过于敏感。这不同于之前的HCM混合因子,所述HCM混合因子在特殊区域与色域边界之间应用输入的饱和度线性斜变而非距离。幂函数提供了功能连续性并且更好了保持了“几乎特殊的”颜色。
这个映射对(u', v')色度常规阵列的影响示出在图9中,其中sRGB映射到特定组AMOLED原色。注意,被定义为特殊区域的中心部分有很少到无运动。甚至在图10中示出的激光原色的更加极端的情况下,对自然色进行色度映射。然而,更饱和的颜色扩展到放大的色域边界,从而甚至在必要时使色相旋转以达到初级转角。一个假设是观察者在极端情况下对颜色偏移不那么敏感,只要保持颜色值之间的一般关系即可。色度与直接驱动信号映射之间的内插使目的色域的用途最大化而不使局部关系失真。第三维(亮度)并未可视化,因为这不影响映射。限幅到sRGB中的色域边界的值将会以相同的方式在目的色域中限幅;这是混合颜色映射(HCM)法的预期结果。
图11示出了(在可能的程度上)在使用示例实施方式从sRGB扩展到激光原色颜色空间时看到的颜色偏移。不饱和的颜色在原始与宽色域显示设备之间相匹配,而饱和的颜色变得更加饱和并且可以在色相上朝着目标设备原色偏移。
色域映射实施方式的实验验证
使用[Eilertsen]中引入的成对比较法评估实验实施方式的色域映射模型的性能。在具有带图10中示出的宽色域颜色空间的激光投影仪(PicoP by MicroVision Inc.)的暗室中设置实验。使用了用3个不同的颜色模型处理的10个图像、实施的HCM色域映射、色度或真实颜色映-TCM以及原始图像-SDS(相同驱动信号)。要求将20个初级观察者与呈现的结果进行比较。要求观察者拾取这一对中其偏好的图像。对于每个观察者而言,使用激光投影仪一共显示了30对图像,10对用于TCM : HCM、10对用于HCM : SDS并且10对用于SDS :TCM。指示观察者基于颜色和肤色的总体感觉选择这两个显示的图像中的一个作为其偏好的图像。
观察者由20岁到58岁的7名女性和13名男性组成。整个实验针对每个观察者平均耗时约10分钟。
图12示出了具有原始图像(SDS)和色度映射(TCM)的色域映射结果(HCM)。图像中的几个包括其肤色对观察者而言可以是熟悉的知名演员。示例色域映射结果保持人脸和肤色与色度参考中相同,但是更生动地表示其他区域,如图像婚礼中的彩色衣服(第1排左边)、图像女孩中的老虎气球(第4排左边)和图像家庭中站立的男孩的红色裤子(第5排右边)。
实验中使用了具有最小可觉差(JND)评估的成对比较法。这个方法最近已经用于在文献[Eilertsen, Wanat, Mantiuk]中进行主观评估。使用了Silverstein和Farrell的贝叶斯法,所述贝叶斯法使成对比较结果在Thurstone Case V(瑟斯通案例V)假设下说明实验的可能性最小化。在优化规程期间,计算每个图像的质量值以使通过二项分布建模的可能性最大化。由于有3个比较条件(HCM、TCM、SDS),因此这个贝叶斯法是适合的,因为其对一致的答案是稳健的并且在大量条件进行比较时是常见的。
图13示出了如[Eilertsen]中定义的计算JND值的主观评估的结果。绝对的JND值本身是无意义的,因为仅相对差可以用于辨别选择。相比于具有较小JND值的方法,优选具有较高JND的方法,其中JND 1对应于75%的辨别力阈值。图13表示了每个场景下的每个JND值而非平均值,因为JND是在与其他值比较时也具有意义的相对值。图13表示了针对每个JND可能性为95%的置信区间。为了计算置信区间,使用被称为自举法的数值方法,所述自举法允许使用随机采样法估计几乎任何统计数据的采样分布[18]。使用500个随机采样,然后针对每个JND点计算第2.5个和第97.5个百分位数。SDS的JND值相同的原因在于,JND和JND置信区间属于相对值。需要参考点来计算相对值。选择SDS作为参考点。对于图像中的7个图像而言,示例映射是最优选的方法,所述最优选的方法与第二最优选方法之间的JND差在0.03到1.8之间。对于图像中的3个图像(Anthony、家庭、George)而言,HCM并不是最优选的方法,失去0.31到0.71的JND差。
在广告背景下对图形内容进行处理的验证
通过FacebookTM社交网络平台执行比较广告活动,其中将两个静态广告横幅显示在FacebookTM平台上。每个横幅包括人像和某个文本。每个广告横幅在一些情况下显示为初始创建的并且在一些情况下在经过处理后显示以提高用户感知。观察到,对于第一条幅而言,未处理版本的点进率为1.85%,而经过处理版本的点进率为2.92%。还观察到,对于第二条幅而言,未处理版本的点进率为4.23%,而经过处理版本的点进率为4.97%。
通过FacebookTM社交网络平台执行第二比较广告活动,其中显示30条第二视频广告。观察到,未处理版本的点进率为1.02%,而经过处理版本的点进率为1.32%。
应了解,在这两个活动中,相比于广告内容的未处理版本,对广告内容进行处理产生了更高的点进率。
本文中已经描述和展示了若干个替代性实施方案和例子。本发明的上述实施方案旨在仅是示例性的。本领域技术人员应了解各个实施方案的特征以及部件的可能组合和变化。本领域技术人员应进一步了解到,实施方案中的任何实施方案均可以通过与本文所公开的其他实施方案的任何组合提供。应理解,本发明可以被实施为其他特定形式,而不脱离其核心特性。因此,本发明的例子和实施方案在所有方面均应被视为是说明性而非限制性的,并且本发明并不限于本文所给出的细节。因此,尽管已经展示和描述了具体实施方案,但是在不显著脱离如随附权利要求中限定的本发明的范围的情况下想到了许多修改。

Claims (18)

1.一种用于对输入图像进行处理以显示在宽色域显示设备上的方法,所述方法包括:
接收观察所述宽色域显示设备的用户的年龄相关特性;
基于所述用户的所述年龄相关特性和所述宽色域显示设备的色域确定一组颜色缩放因子;
对所述输入图像应用色域扩展以生成色域扩展图像;
将所述一组颜色缩放因子应用于所述色域扩展图像以调整其白点,以及接收颜色-温度设置,
其中,所述一组颜色缩放因子基于所述用户的颜色-温度特性进一步确定。
2.根据权利要求1所述的方法,其中,所述色域扩展是所述输入图像的白色到白色扩展。
3.根据权利要求1或2所述的方法,其中,所述用户的所述年龄相关特性是从标示所述用户的有效年龄的用户输入参数接收的。
4.根据权利要求3所述的方法,其中,所述用户输入参数由与滑块交互的所述用户输入,所述滑块表示有效年龄而不明确地显示所述年龄。
5.根据权利要求4所述的方法,其中,所述年龄相关特性是从提供所述用户的年龄相关信息的第三方接收的。
6.根据权利要求5所述的方法,其中,所述第三方是社交媒体平台。
7.根据权利要求1所述的方法,所述方法包括:
接收观察所述宽色域显示设备的用户的年龄相关特性;
接收颜色温度设置;
确定对应于接收的颜色温度设置的黑体光谱;
基于所述用户的所述年龄相关特性确定对应于所述黑体光谱的LMS锥细胞响应第一集合;
基于所述宽色域显示设备的初级光谱确定LMS锥细胞响应第二集合;
确定提供LMS锥细胞响应第一集合与所述LMS锥细胞响应第二集合之间的对应关系的一组颜色缩放因子,所述一组颜色缩放因子对调整所述输入图像的白平衡是有效的。
8.根据权利要求7所述的方法,其进一步包括:
根据所述宽色域显示设备的当前白点来平衡所述宽色域显示设备的所述初级光谱;并且
其中,所述LMS锥细胞响应第一集合是基于所述宽色域显示设备的经平衡的初级光谱确定的。
9.根据权利要求7或8所述的方法,其中,所述LMS锥细胞响应第一集合基于观察者锥细胞响应的基于年龄的生理模型进一步确定。
10.根据权利要求7或8所述的方法,其进一步包括:归一化所述一组颜色缩放因子。
11.根据权利要求1所述的方法,所述输入图像表示在第一颜色空间中,所述方法包括针对所述输入图像的多个像素中的每个图像像素:
将所述图像像素在所述第一颜色空间中的颜色值分量转换成色度坐标空间中的对应一组色度坐标;
在所述色度坐标空间内限定特殊区域;
确定所述图像像素的所述一组色度坐标是否位于所述特殊区域内;以及
基于以下来确定所述图像像素的一组映射颜色值分量:
如果所述图像像素的所述色度坐标位于所述特殊区域内,则应用所述图像像素的所述颜色值分量的第一映射;以及
如果所述图像像素的所述色度坐标位于所述特殊区域之外,则应用所述图像像素的所述颜色值分量的第二映射。
12.根据权利要求11所述的方法,其中,如果所述图像像素的所述色度坐标位于所述特殊区域之外,则基于以下来应用所述第二映射:
i)所述图像像素的所述色度坐标与所述特殊区域的边缘之间的距离;以及
ii)所述图像像素的所述色度坐标与第二颜色空间的限定所述宽色域显示设备的光谱的外边界之间的距离。
13.根据权利要求11所述的方法,其中,所述宽色域显示设备被配置成在第二颜色空间中显示图像,所述方法进一步包括:
将所述图像像素的所述颜色值分量转换成所述第二颜色空间中的对应一组颜色值分量;并且
其中,如果所述图像像素的所述色度坐标位于所述特殊区域内,则应用所述第一映射以将所述第二颜色空间中的所述对应一组颜色值分量设置为用于给定像素的色域映射颜色值分量。
14.根据权利要求13所述的方法,其中,如果所述图像像素的所述色度坐标位于所述特殊区域之外,则基于以下来应用所述第二映射:
i)所述图像像素的所述色度坐标与所述特殊区域的边缘之间的距离;以及
ii)所述图像像素的所述色度坐标与第二颜色空间的限定所述宽色域显示设备的光谱的外边界之间的距离。
15.根据权利要求13或14所述的方法,其中,应用所述第二映射包括在所述图像像素在所述第一颜色空间中的所述颜色值分量与所述图像像素在所述第二颜色空间中的所述颜色值分量之间应用线性内插。
16.根据权利要求11至14中任一项所述的方法,其中,所述第一颜色空间包括中性色、大地色和肤色中的一种或多种。
17.一种计算机实施的系统,其包括:
至少一个数据存储设备;以及
可操作地耦合到所述至少一个存储设备的至少一个处理器,所述至少一个处理器被配置成执行权利要求1至16中任一项的方法。
18.一种计算机可读存储介质,其包括用于执行权利要求1至16中任一项的方法的计算机可执行指令。
CN201780081840.7A 2016-11-07 2017-11-07 用于基于年龄的色域映射的系统和方法 Active CN110235194B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662418361P 2016-11-07 2016-11-07
US62/418,361 2016-11-07
PCT/CA2017/051321 WO2018081911A1 (en) 2016-11-07 2017-11-07 System and method for age-based gamut mapping

Publications (2)

Publication Number Publication Date
CN110235194A CN110235194A (zh) 2019-09-13
CN110235194B true CN110235194B (zh) 2022-08-09

Family

ID=62075613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081840.7A Active CN110235194B (zh) 2016-11-07 2017-11-07 用于基于年龄的色域映射的系统和方法

Country Status (6)

Country Link
US (2) US10861413B2 (zh)
EP (1) EP3535749A4 (zh)
JP (1) JP7104696B2 (zh)
CN (1) CN110235194B (zh)
CA (1) CA3042100A1 (zh)
WO (1) WO2018081911A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113597048A (zh) * 2016-12-05 2021-11-02 路创技术有限责任公司 用于控制色温的系统和方法
CN107204170A (zh) * 2017-07-21 2017-09-26 京东方科技集团股份有限公司 一种色偏补偿方法、色偏补偿系统和显示面板
CN108538263B (zh) * 2018-03-30 2020-07-03 合肥京东方显示光源有限公司 一种色温调节方法和装置
KR102099020B1 (ko) * 2018-11-19 2020-04-08 창원대학교 산학협력단 색역 확장 장치 및 그 방법
CN111836029B (zh) * 2019-04-18 2022-03-15 福州瑞芯微电子股份有限公司 一种基于色域映射的白平衡调整方法、系统及白平衡终端
CN110691194B (zh) * 2019-09-19 2021-04-20 锐迪科微电子(上海)有限公司 广色域图像确定方法及装置
EP4136634A1 (en) * 2020-04-17 2023-02-22 Dolby Laboratories Licensing Corp. Chromatic ambient light correction
CN115868251A (zh) * 2020-05-14 2023-03-28 路创技术有限责任公司 与负载控制系统通信并控制负载控制系统
CN112530383B (zh) * 2020-11-27 2022-02-11 中国联合网络通信集团有限公司 终端屏幕亮度自动调整方法、终端设备及存储介质
US20220358877A1 (en) * 2021-05-07 2022-11-10 Universal Display Corporation Adaptive Display
TWI784563B (zh) * 2021-06-09 2022-11-21 宏碁股份有限公司 顯示器校色方法及電子裝置
WO2023277878A1 (en) * 2021-06-29 2023-01-05 Hewlett-Packard Development Company, L.P. Color gamut mapping
US20230282178A1 (en) * 2022-03-02 2023-09-07 Motorola Mobility Llc Automatic white balancing of display device to match user-preferred modes
CN116704140B (zh) * 2023-08-08 2023-10-20 江西求是高等研究院 一种人体三维重建方法、系统、计算机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002519698A (ja) * 1998-07-03 2002-07-02 ソシエテ・ヴィトレンヌ・ダバタージュ 食肉の柔軟性決定方法および装置
CN101908330A (zh) * 2010-07-26 2010-12-08 武汉大学 一种低动态范围显示设备再现高动态范围图像的方法
CN104509105A (zh) * 2012-07-27 2015-04-08 伊斯曼柯达公司 提供观察者同色异谱故障减小的显示系统
JP2015173891A (ja) * 2014-03-17 2015-10-05 キヤノン株式会社 測定装置、画像表示装置、及びその制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7721307B2 (en) * 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
KR980004302A (ko) * 1996-06-11 1998-03-30 김광호 칼라커브(Color Curve)의 제어 회로 및 방법
US6873314B1 (en) * 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP4419393B2 (ja) 2003-01-15 2010-02-24 パナソニック株式会社 情報表示装置及び情報処理装置
TWI332191B (en) * 2006-09-28 2010-10-21 Wistron Corp Method and apparatus of looking for new color temperature point
KR100843091B1 (ko) 2006-11-08 2008-07-02 삼성전자주식회사 문자 처리 장치 및 방법
GB2458095A (en) * 2007-06-15 2009-09-09 Sharp Kk Solid state illumination system with elements employed as both light source and light sensor
JP5384623B2 (ja) 2008-05-28 2014-01-08 ポイボス ビジョン オプト−エレクトロニクス テクノロジー リミテッド 色域拡張システムとその方法
CN105491705B (zh) * 2010-06-18 2017-09-05 吉可多公司 基于led的照明模块的板上诊断
US8873717B2 (en) * 2010-11-23 2014-10-28 Centurylink Intellectual Property Llc Emergency alert signaling
JP5124051B1 (ja) * 2012-03-02 2013-01-23 シャープ株式会社 表示装置
JP6234041B2 (ja) 2013-03-11 2017-11-22 キヤノン株式会社 画像表示装置及びその制御方法
US9336746B2 (en) * 2013-02-25 2016-05-10 Canon Kabushiki Kaisha Image display device and control method thereof
JP2014200013A (ja) 2013-03-29 2014-10-23 キヤノン株式会社 色処理装置および色処理方法
US9524092B2 (en) * 2014-05-30 2016-12-20 Snaptrack, Inc. Display mode selection according to a user profile or a hierarchy of criteria
GB201410635D0 (en) 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
WO2016172175A1 (en) * 2015-04-20 2016-10-27 Luma Home, Inc. Internet security and management device
KR102396045B1 (ko) * 2016-07-01 2022-05-10 엘지전자 주식회사 방송 신호 송신 방법, 방송 신호 수신 방법, 방송 신호 송신 장치 및 방송 신호 수신 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002519698A (ja) * 1998-07-03 2002-07-02 ソシエテ・ヴィトレンヌ・ダバタージュ 食肉の柔軟性決定方法および装置
CN101908330A (zh) * 2010-07-26 2010-12-08 武汉大学 一种低动态范围显示设备再现高动态范围图像的方法
CN104509105A (zh) * 2012-07-27 2015-04-08 伊斯曼柯达公司 提供观察者同色异谱故障减小的显示系统
JP2015173891A (ja) * 2014-03-17 2015-10-05 キヤノン株式会社 測定装置、画像表示装置、及びその制御方法

Also Published As

Publication number Publication date
CN110235194A (zh) 2019-09-13
CA3042100A1 (en) 2018-05-11
EP3535749A1 (en) 2019-09-11
JP2019534646A (ja) 2019-11-28
EP3535749A4 (en) 2020-03-04
US20190266977A1 (en) 2019-08-29
US10861413B2 (en) 2020-12-08
US20210074238A1 (en) 2021-03-11
US11594197B2 (en) 2023-02-28
JP7104696B2 (ja) 2022-07-21
WO2018081911A1 (en) 2018-05-11

Similar Documents

Publication Publication Date Title
CN110235194B (zh) 用于基于年龄的色域映射的系统和方法
US9973723B2 (en) User interface and graphics composition with high dynamic range video
US10957239B2 (en) Gray tracking across dynamically changing display characteristics
JP6614859B2 (ja) 表示装置、表示装置の制御方法、画像処理装置、プログラム、及び、記録媒体
KR101446364B1 (ko) 디스플레이를 위한 컬러 그레이딩을 제공하는 방법, 장치 및 시스템
KR101927968B1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
US20140285431A1 (en) Method and apparatus for processing an image based on detected information
EP3043340A1 (en) Display device and method for controlling brightness thereof
US11386875B2 (en) Automatic display adaptation based on environmental conditions
US10607525B2 (en) System and method for color retargeting
US11302288B2 (en) Ambient saturation adaptation
US11727321B2 (en) Method for rendering of augmented reality content in combination with external display
US20130027421A1 (en) Language-based color calibration of displays
Sharma Understanding RGB color spaces for monitors, projectors, and televisions
JP2012151598A (ja) 画像処理装置、および画像処理プログラム
US11817063B2 (en) Perceptually improved color display in image sequences on physical displays
Ward et al. Exploiting wide-gamut displays
JP6755762B2 (ja) 画像処理装置および画像処理方法
Pouli et al. Color management for vr production
CN114141186B (zh) 显示参数调整方法和装置
CN114815256B (zh) 虚拟现实头戴设备的屏幕参数调整方法、设备、存储介质
Kim New display concept for realistic reproduction of high-luminance colors
Shih et al. Color enhancement based on the anchoring theory
CN115115503A (zh) 图像展示方法、装置、处理器和非易失性存储介质
JP2005260583A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant