CN108141508B - 一种成像装置及在其显示面板前面产生光的方法 - Google Patents

一种成像装置及在其显示面板前面产生光的方法 Download PDF

Info

Publication number
CN108141508B
CN108141508B CN201680054877.6A CN201680054877A CN108141508B CN 108141508 B CN108141508 B CN 108141508B CN 201680054877 A CN201680054877 A CN 201680054877A CN 108141508 B CN108141508 B CN 108141508B
Authority
CN
China
Prior art keywords
image data
display
imaging device
data
gsdf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680054877.6A
Other languages
English (en)
Other versions
CN108141508A (zh
Inventor
A·尼南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN108141508A publication Critical patent/CN108141508A/zh
Application granted granted Critical
Publication of CN108141508B publication Critical patent/CN108141508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264Details of driving circuits
    • G09G2310/027Details of drivers for data electrodes, the drivers handling digital grey scale data, e.g. use of D/A converters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/028Generation of voltages supplied to electrode drivers in a matrix display other than LCD
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • G09G3/3696Generation of voltages supplied to electrode drivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of El Displays (AREA)

Abstract

一种手持式成像装置具有经配置以接收参考经编码图像数据的数据接收器。所述数据包含由外部译码系统编码的参考代码值。所述参考代码值表示使用参考灰阶显示函数选择的参考灰度级,所述函数是基于适于不同光级下的人类视觉对空间频率的感知非线性度。所述成像装置还具有数据转换器,所述数据转换器经配置以存取参考代码值与成像装置的装置特有代码值之间的代码映射。所述装置特有代码值经配置以产生成像装置特有的灰度级。基于代码映射,所述数据转换器经配置以将参考经编码图像数据转码为用装置特有代码值编码的装置特有图像数据。显示器可在本地处理装置特有图像数据以根据感知曲线电光传递函数来准确地重现面板感知光的对应前端。

Description

一种成像装置及在其显示面板前面产生光的方法
相关申请案的交叉参考
本申请案主张对2015年9月21日提出申请的第62/221,557号美国优先权申请案及2015年9月9日提出申请的第15193724.0号欧洲申请案的优先权,所述申请案特此以全文引用的方式并入。
技术领域
本发明一般来说涉及图像数据。更明确地说,本发明的实施例涉及跨越不同显示能力的基于感知非线性度的图像数据交换以及显示器对于此图像数据的本地支持。
背景技术
技术的进步允许现代显示器设计以对与在不那么现代的显示器上再现的相同内容在各种质量特性上的显著改善来再现图像及视频内容。举例来说,一些较现代的显示器能够以比常规或标准显示器的标准动态范围(SDR)高的动态范围(DR)再现内容。
举例来说,一些现代液晶显示器(LCD)具有提供光场的光单元(背光单元、侧光单元等),在所述光场中个别部分可与有源LCD元件的液晶对准状态的调制分开来调制。此双调制方法是可扩展的(例如,扩展到N个调制层,其中N包括大于2的整数),例如,在显示器的电光配置中具有可控介入层(例如,可个别控制的LCD层的多个层)。
相比来说,一些现有显示器具有比高动态范围(HDR)显著窄的动态范围(DR)。使用典型阴极射线管(CRT)、具有恒定荧光白色背侧照明的液晶显示器(LCD)或等离子体屏幕技术的移动装置、计算机垫、游戏装置、电视(TV)及计算机监视设备可在其 DR再现能力上约束达大约三个数量级。此类现有显示器因此典型地具有标准动态范围(SDR),相对于HDR,有时也称为“‘低’动态范围”或“LDR”。
由HDR照相机俘获的图像可具有显著大于大多数(如果不是所有)显示装置的动态范围的场景参考HDR。场景参考HDR图像可包括大量数据,且可转换成后制格式 (例如,具有8位RGB、YCbCr或深色选项的HDMI视频信号;具有10位4:2:2取样率的1.5Gbps SDI视频信号;具有12位4:4:4或10位4:2:2取样率的3Gbps SDI;及其它视频或图像格式)以促进发射及存储。后制图像可包括比场景参考HDR图像的动态范围小得多的动态范围。此外,当将图像递送到终端用户的显示装置以进行再现时,沿途发生装置特有及/或制造商特有图像变换,这与原始场景参考HDR图像相比在所再现图像中导致大量视觉可觉错误。
本章节中所描述的方法是可推行的方法,但未必是先前已设想或推行的方法。因此,除非另外指示,否则不应假设本章节中所描述的方法中的任一者仅由于其包含于本章节中而被认为是现有技术。类似地,除非另外指示,否则关于一或多个方法所识别的问题不应基于本章节而假设为已在任何现有技术中认识到。
附图说明
通过实例的方式而非限制的方式在附图的各图中图解说明本发明,且在各图中相似参考编号是指类似元件,且在各图中:
图1图解说明根据本发明的实例性实施例的跨越多个光适应级的对比敏感度函数曲线的实例性族群;
图2图解说明根据本发明的实例性实施例的实例性积分路径;
图3图解说明根据本发明的实例性实施例的实例性灰阶(gray scale)显示函数;
图4图解说明根据本发明的实例性实施例的描绘韦伯(Weber)分数的曲线;
图5图解说明根据本发明的实例性实施例的与不同GSDF的装置交换图像数据的实例性框架;
图6图解说明根据本发明的实例性实施例的实例性转换单元;
图7图解说明根据本发明的实例性实施例的实例性SDR显示器;
图8A及图8B图解说明根据本发明的实例性实施例的实例性过程流程;
图9图解说明根据本发明的实例性实施例的如本文中所描述的计算机或计算装置可在其上实施的实例性硬件平台;
图10A图解说明根据一些实例性实施例的各自具有一或多个不同位长度中的不同一者的多个代码空间中的JND单位中的代码错误的最大值;
图10B到图10E图解说明根据一些实例性实施例的代码错误的分布;及
图11图解说明根据实例性实施例的函数模型中的参数值。
图12图解说明经设计以用于伽玛经编码图像数据的示范性现有技术显示器。
图13图解说明经改进以用于支持经感知编码图像数据的示范性现有技术显示器。
图14图解说明根据本发明的示范性实施例的用于本地支持经感知编码图像数据的显示器。
图15A及15B图解说明根据本发明的替代示范性实施例的用于本地支持经感知编码图像数据的显示器。
图16A到16C描绘表示图14到15B的显示器的示范性图像数据处理的流程图。
图17A图解说明包括基于光场仿真的补偿的示范性双调制显示器。
图17B图解说明用于本地支持经感知编码图像数据的根据本发明的双调制显示器的示范性实施例。
具体实施方式
本文中描述涉及跨越不同能力的显示器的基于感知照度非线性的图像数据交换的实例性实施例。出于解释的目的,在以下描述中,陈述了众多特定细节以便提供对本发明的透彻理解。然而,将了解,可在无这些特定细节的情况下实践本发明。在其它例子中,未以穷尽性细节描述众所周知的结构及装置以避免不必要地使本发明闭塞、模糊或混乱。
本文中描述根据以下大纲的实例性实施例:
1.总体概述
2.对比敏感度函数(CSF)模型
3.感知非线性度
4.数字代码值及灰度级
5.模型参数
6.可变空间频率
7.函数模型
8.基于参考GSDF而交换图像数据
9.转换参考经编码图像数据
10.实例性过程流程
11.实施机构–硬件概述
12.所列举实例性实施例、等效物、扩展、替代方案及混杂方案
1.总体概述
本概述呈现本发明的实施例的一些方面的基本描述。应注意,本概述并非实施例的各方面的扩展性或穷尽性总结。此外,应注意,本概述不打算理解为识别实施例的任何特别重要的方面或元件,也不打算理解为描写实施例(特定来说)或本发明(大体来说)的任何范围。本概述仅以压缩且简化格式呈现与实例性实施例相关的一些概念,且应理解为仅为对下文的以下实例性实施例的较详细描述的概念性引言。
人类视觉在两个照度值彼此不存在显著差异的情况下可能不会感知到两个照度值之间的差异。替代地,人类视觉仅在照度值差异不小于最小可觉差(JND)的情况下感知到差异。由于人类视觉的感知非线性度,个别JND的量并非跨越光级的范围为均匀大小或均匀缩放,而是随不同个别光级而变化。另外,由于感知非线性度,个别 JND的量并非跨越特定光级下的空间频率的范围为均匀大小或均匀缩放,而是随低于截止空间频率的不同空间频率而变化。
具有相等大小或经线性缩放的大小的照度量化步长的经编码图像数据不匹配人类视觉的感知非线性度。具有固定空间频率下的照度量化步长的经编码图像数据也不匹配人类视觉的感知非线性度。在这些技术下,当指派码字以表示量化照度值时,太多的码字可能分布在光级的范围的特定区域(例如,亮区域)中,而太少的码字可能分布在光级的范围的不同区域(例如,暗区域)中。
在过填充区域中,众多码字可不产生感知差异,且出于所有实际目的而因此被浪费。在填充不足的区域中,两个邻近码字可产生比JND大得多的感知差异,且可能产生轮廓畸变(也称作条带(banding))视觉伪影。
在如本文中所描述的技术下,可使用对比敏感度函数(CSF)模型来确定跨越光级的宽范围(例如,0到12,000cd/m2)的JND。在实例性实施例中,选择在特定光级下为空间频率的函数的峰值JND来表示特定光级下的人类感知量。峰值JND的选择根据如下的人类视觉行为:在观看接近但不同的照度值的背景时,人类视觉适于提高的视觉感知度等级,这在视频及图像显示领域中有时称为勾边(crispening)效应及/或惠特尔(Whittle)的勾边效应且可在本文中如此描述。如本文中所使用,术语“光适应级”可用于指代如下光级:在所述光级下,在假设人类视觉适于所述光级的情况下,选择 /确定(例如,峰值)JND。如本文中所描述的峰值JND在不同光适应级下在空间频率上变化。
如本文中所使用,术语“空间频率”可指图像中的空间调制/变化的速率(其中,与相对于时间而计算速率相对比,相对于空间距离或在空间距离上计算速率)。与可将空间频率固定为特定值的常规方法相对比,如本文中所描述的空间频率可例如在一个范围中或在一个范围上变化。在一些实施例中,峰值JND可被限于特定空间频率范围(例如,0.1到5.0、0.01到8.0个循环/度或者更小的或更大的范围)内。
参考灰阶显示函数(GSDF)可基于CSF模型而产生。在一些实施例中,对于CSF 模型假设非常广的视场,以用于产生更好地支持娱乐显示场的参考GSDF。GSDF是指参考数字代码值(或参考码字)集合、参考灰度级(或参考照度值)集合及这两个集合之间的映射。在实例性实施例中,每一参考数字代码值对应于如JND(例如,在一光适应级下的峰值JND)所表示的人类感知量。在实例性实施例中,相等数目的参考数字代码值可对应于人类感知量。
GSDF可通过从初始值开始累积JND来获得。在实例性实施例中,将中间码字值(例如,对于12位代码空间,2048)作为初始值给予参考数字代码。参考数字代码的初始值可对应于初始参考灰度级(例如,100cd/m2)。在参考数字代码逐一递增时,可通过正累积JND(相加)来获得对于参考数字代码的其它值的其它参考灰度级,且在参考数字代码逐一递减时,可通过负累积JND(相减)来获得对于参考数字代码的其它值的其它参考灰度级。在实例性实施例中,在计算GSDF中的参考值时,可使用例如对比度阈值的量来代替JND。在计算GSDF中实际上所使用的这些量可被定义为无单位比率,并且可与对应JND仅相差已知的或可确定的乘数、除法因子及/或偏移。
代码空间可被选择为包括GSDF中的所有参考数字代码值。在一些实施例中,所有的参考数字代码值均驻存在其中的代码空间可为以下代码空间中的一者:10位代码空间、11位代码空间、12位代码空间、13位代码空间、14位代码空间、15位代码空间或者更大的或更小的代码空间。
虽然可使用大的代码空间(>15位)来托管所有的参考数字代码值,但在特定实施例中,使用最高有效代码空间(例如,10位、12位等)来托管参考GSDF中所产生的所有参考数字代码值。
可使用参考GSDF来对图像数据进行编码,所述图像数据例如由具有显著大于大多数(如果不是所有)显示装置的动态范围的场景参考HDR的HDR照相机、演播室系统或其它系统俘获或产生。可用多种分发或发射方法(例如,具有8位RGB、YCbCr 或深色选项的HDMI视频信号;具有10位4:2:2取样率的1.5Gbps SDI视频信号;具有12位4:4:4或10位4:2:2取样率的3Gbps SDI以及其它视频或图像格式)来将编码图像数据提供给下游装置。
在一些实施例中,由于参考GSDF中的邻近参考数字代码值对应于在JND内的灰度级,因此人类视觉能够区分的细节可完全或基本上保留在基于参考GSDF被编码的图像数据中。完全支持参考GSDF的显示器可能再现不具有条带或轮廓畸变伪影的图像。
可使用基于参考GSDF被编码的图像数据(或参考经编码图像数据)来支持可能不完全支持参考GSDF中的所有参考照度值的多种能力较低的显示器。由于参考经编码图像数据包括所支持的照度范围(其可被设计为显示器所支持的范围的超集)中的所有感知细节,因此参考数字代码值可被以如下方式最优地且高效率地转码为显示器特有数字代码值:尽可能多地保留特定显示器能够支持的细节并且引起尽可能少的视觉上明显的错误。另外及/或任选地,可联合从参考数字代码值到显示器特有数字代码值的转码或者作为所述转码的一部分,执行去轮廓(decontour)及抖动(dither),以进一步改善图像或视频质量。
如本文中所描述的技术是无关于色彩空间的。其可用于RGB色彩空间、YCbCr 色彩空间或不同的色彩空间中。此外,可将使用随空间频率而变化的JND导出参考值(例如,参考数字代码值及参考灰度级)的技术应用于可包括照度通道或者可不包括照度通道的不同色彩空间(例如,RGB)中的除了照度通道之外的不同通道(例如,红色、绿色及蓝色通道中的一者)。举例来说,作为参考灰度级的代替,可使用可应用于蓝色色彩通道的JND来导出参考蓝色值。因此,在一些实施例中,可用灰阶来取代色彩。另外及/或任选地,还可使用不同的CSF模型来代替巴滕(Barten)的模型。因此,对于同一CSF模型,可使用不同的模型参数。
在一些实施例中,如本文中所描述的机构形成媒体处理系统的一部分,所述媒体处理系统包含但不限于:手持式装置、游戏机、电视、膝上型计算机、上网本计算机、蜂窝式无线电话、电子书阅读器、销售点终端、桌上型计算机、计算机工作站、计算机亭或者各种其它种类的终端及媒体处理单元。
所属领域的技术人员将显而易见对本文中所描述的优选实施例以及类属原理及特征的各种修改。因此,本发明不打算限于所展示的实施例,而是应被赋予与本文中所描述的原理及特征一致的最宽广范围。
2.对比敏感度函数(CSF)模型
可用对比敏感度函数(CSF)来最好地描述人类视觉对于所再现的图像中的空间结构的敏感度,CSF将对比敏感度描述为空间频率(或人类观察者所感知的图像中的空间调制/变化的速率)的函数。如本文中所使用,对比敏感度S可被认为是人类视觉神经信号处理中的增益,而对比度阈值CT可从对比敏感度的倒数确定,例如:
对比敏感度=S=1/CT 表达式(1)
如本文中所使用,术语“对比度阈值”可是指人眼感知到对比度差异所必要的(相对)对比度的最低值(例如,最小可觉差(JND)),或者与所述最低值相关;在一些实施例中,还可将对比度阈值描绘为跨越照度值范围的最小可觉差除以光适应级的函数。
在一些实施例中,可在实验中直接测量对比度阈值,而不使用任何CSF模型。然而,在一些其它实施例中,可基于CSF模型来确定对比度阈值。可用若干个模型参数来构建CSF模型,并且可使用CSF模型来导出GSDF,所述GSDF的灰度级中的量化步长取决于由照度值及空间频率表征的光级并且随所述光级而变化。实例性实施例可基于各种CSF模型中的一或多者来实施,例如以下文献中所描述的CSF模型:彼得G.J.巴滕(Peter G.J.Barten)的人眼 的对比敏感度及其对图像质量的影响(Contrast Sensitivity of the Human Eye and its Effects on Image Quality)(1999)(下文中,巴滕的模型或巴滕的CSF模型),或斯科特戴利(Scott Daly)第17章数字图像及人类视觉(Digital Images and Human Vision)(A.B.沃森(A.B.Watson)编辑,MIT出版社 (1993))(下文中,戴利的模型)。关于本发明的实例性实施例,可用实验、从理论上、用CSF模型或其组合来导出用于产生参考灰阶(grayscale)显示函数(GSDF)的对比度阈值。
如本文中所使用,GSDF可指多个数字代码值(例如,1、2、3、…、Ν)到多个灰度级(L1、L2、L3、…、LN)的映射,其中,如表1中所示,数字代码值表示对比度阈值的索引值,且灰度级对应于对比度阈值。
表1
数字代码值 灰度级(照度值)
1 L<sub>1</sub>
2 L<sub>2</sub>
3 L<sub>3</sub>
i-1 L<sub>i-1</sub>
I L<sub>i</sub>
i+1 L<sub>i+1</sub>
N L<sub>N</sub>
在一实施例中,可如下地与对比度(例如,C(i))相关地计算与数字代码值(例如,i)对应的灰度级(例如,Li)及邻近灰度级(例如,Li+1):
C(i)=(Li+1–Li)/(Li+1+Li)
=(Li+1–Lmean(I,i+1))/Lmean(I,i+1)
=~1/2ΔL/L 表达式(2)
其中,C(i)表示限于Li与Li+1之间的照度范围的对比度。Lmean(i,i+1)包括两个邻近灰度级Li及Li+1的算术平均值或均值。对比度C(i)在算术上以因子2与韦伯分数ΔL/L相关。此处,ΔL表示(Li+1–Li),且L表示Li、Li+1或Li与Li+1之间的中间值中的一者。
在一些实施例中,GSDF产生器可如下地将对比度C(i)设置为和在Li与Li+1之间(包含Li与Li+1)的照度级L处的对比度阈值(例如,CT(i))相等的或以其它方式成比例的值:
C(i)=k CT(i) 表达式(3)
其中k表示乘法常数。关于本发明的实施例,可使用其它描述性统计/定义(例如,几何均值、中间值、众数、方差或标准差)及/或缩放(x2、x3、除以或乘以缩放因子等) 及/或偏移(+1、+2、-1、-2、减去或加上偏移等)及/或加权(例如,为两个邻近灰度级指派相同的或不同的权重因子)来将对比度阈值与用于计算GSDF中的灰度级的目的的对比度相关。
如表达式(1)、(2)及(3)中所计算,对比度或对比度阈值可包括相对值,且因此可包括无单位量(例如,因此S也可是无单位的)。
可从基于描绘CSF模型的CSF的基本对比度阈值测量或计算来构建CSF模型。人类视觉不幸地是复杂的、自适应的及非线性的,使得不存在描述人类视觉的单个 CSF曲线。替代地,可基于CSF模型来产生CSF曲线的族群。即使就同一CSF模型来说,模型参数的不同值对于CSF曲线的族群也产生不同的绘图。
3.感知非线性度
图1图解说明跨越多个光适应级的CSF曲线的实例性族群。仅出于图解说明的目的,在图1中所描绘的最高CSF曲线是针对照度值为每平方米1000坎德拉(cd/m2或‘尼特’)的光适应级,且其它高度降低的曲线是针对照度值以10减小因子连续降低的光适应级。从CSF曲线可读取的显著特征是,随着照度增大(光适应级增大),包含最大(或峰值)对比敏感度的总体对比敏感度增大。在图1中的CSF曲线上的对比敏感度达到峰值的峰值空间频率移位到更高的空间频率。类似地,CSF曲线上的最大可感知空间频率(截止频率)也增大,所述最大可感知空间频率是水平(空间频率)轴对 CSF曲线的截取。
在实例性实施例中,可用考虑了与人类感知相关的若干个关键效应的巴滕的CSF模型来导出产生如图1中所图解说明的CSF曲线族群的CSF函数。可如下文的表达式(4)中所展示那样计算根据巴滕的CSF模型的实例性CSF,S(u)(或对应对比度阈值 mt的倒数)。
Figure GDA0001603495830000091
上文的表达式(4)中所使用的实例性模型参数包括下文列出的表示:
○2(数值因子)对应于双眼视觉(如果是单眼视觉,那么为4);
○k表示信噪比,例如,3.0;
○T表示眼睛的积分时间,例如,0.1秒;
○X0表示对象(例如,呈正方形形状)的角度大小;
○Xmax表示眼睛的积分区的最大角度大小(例如,12度);
○Nmax表示经由概率求和而累积的循环的最大数目,例如,15个循环;
○η表示眼睛的量子效率,例如,.03;
○p表示光子转换因子;
○E表示例如以特罗兰得(Troland)为单位的视网膜照度;
○Ф0表示神经噪声的谱密度,例如,3x10-8秒*度2;及
○u0表示用于侧抑制的最大空间频率,例如,7个循环/度。
可如下给出光学调制传递函数,Mopt
–2π2σ2u2
=e 表达式(5)
其中,σ表示与光瞳及/或光级相关的模型参数。
可使用如上文所论述的巴滕的CSF模型来描述与照度相关的感知非线性度。还可使用其它CSF模型来描述感知非线性度。举例来说,巴滕的CSF模型没有考虑调节效应,所述调节效应使得CSF的高空间频率区域中的截止空间频率降低。可将由于调节而导致的此降低效应表达为减小的观看距离的函数。
举例来说,对于1.5米以上的观看距离,可实现如巴滕的CSF模型所描绘的最大截止空间频率,而不影响巴滕的模型作为适合于描述感知非线性度的模型的有效性。然而,对于小于1.5米的距离,调节效应开始变得显著,降低了巴滕的模型的准确度。
因此,对于具有更近的观看距离(例如0.5米)的平板显示器及可具有近如0.125米的观看距离的智能电话,可能不能最优地调谐巴滕的CSF模型。
在一些实施例中,可使用考虑了调节效应的戴利的CSF模型。在特定实施例中,可部分地基于上文的表达式(4)中的巴滕的CSF,S(u)例如通过修改表达式(5)中的光学调制传递函数Mopt来构造戴利的CSF模型。
4.数字代码值及灰度级
如表1中所图解说明的GSDF通过使用数字代码值表示与人类视觉中的对比度阈值相联系的灰度级来映射感知非线性度。包括所有的被映射照度值的灰度级可以使得其被最优地间隔以匹配人类视觉的感知非线性度的方式来分布。
在一些实施例中,当GSDF中的灰度级的最大数目相对于最大照度值范围足够大时,GSDF中的数字代码值可被以如下方式使用:在不造成灰度级步长跃变(steptransition)可见(例如,在图像中可见为错误轮廓或条带,或者图像的暗区域中的色移)的情况下实现最低数目(例如,低于总共4096个数字代码值)的灰度级。
在一些其它实施例中,仍然可使用有限数目的数字代码值来表示宽动态范围的灰度级。举例来说,当GSDF中的灰阶级的最大数目相对于灰阶级的最大范围不够大(例如,在灰阶级范围为从0到12,000尼特的情况下呈8位表示的数字代码值)时,GSDF 仍然可被以如下方式使用:实现最低数目(例如,低于总共256个数字代码值)的灰度级,以降低或最小化灰度级步长跃变的可见性。在具有此GSDF的情况下,可在GSDF 中的相对少数目的灰度级的整个阶层结构中均匀地分布步长跃变的可感知错误/伪影的数量/程度。如本文中所使用,术语“灰阶级”或“灰度级”可互换地使用,并且可指所表示的照度值(GSDF中所表示的量化照度值)。
可通过跨越光适应级(在不同照度值处)的对比度阈值进行堆叠或求积分来导出GSDF中的灰度级。在一些实施例中,灰度级之间的量化步长可被选择为使得任何两个邻近灰度级之间的量化步长落在JND内。特定光适应级(或照度值)处的对比度阈值可不大于在所述特定自适应级处的最小可觉差(JND)。可通过对对比度阈值(或JND) 的分数进行求积分或堆叠来导出灰度级。在一些实施例中,数字代码值的数目多于足够表示所表示的照度动态范围中的所有JND的数目。
可对于特定光适应级(或照度值)在除固定空间频率之外的不同空间频率处从CSF曲线选择用于计算灰阶级的对比度阈值或作为倒数的对比敏感度。在一些实施例中,对于光适应级在与峰值对比敏感度(例如,由于惠特尔的勾边效应导致)对应的空间频率处从CSF曲线选择对比度阈值中的每一者。另外,可对于不同光适应级在不同空间频率处从CSF曲线选择对比度阈值。
用以计算/堆叠GSDF中的灰度级的实例性表达式如下:
Figure GDA0001603495830000111
其中,f表示空间频率,其根据如本文中所描述的技术可不同于固定数;且LA表示光适应级。Lmin可为所有被映射灰度级中的最低照度值。如本文中所使用,术语“尼特”或其缩写“nt”可同义地或可互换地涉及或者指的是等同于或等于一(1)坎德拉/平方米(1尼特=l nt=1cd/m2)的图像强度、亮度、明度及/或照度的单位。在一些实施例中,Lmin可包括零值。在一些其它实施例中,Lmin可包括非零值(例如,可低于显示装置通常能够实现的等级的某一暗黑等级,10-5尼特、10-7尼特等)。在一些实施例中,Lmin可被用除最小初始值之外的允许用减法或负数加法来进行堆叠计算的值(例如中间值或最大值)取代。
在一些实施例中,举例来说,如表达式(6)中所展示,通过求和来执行JND的堆叠以导出GSDF中的灰度级。在一些其它实施例中,可使用积分来代替离散求和。积分可沿着从CSF确定的积分路径来进行积分(例如,表达式(4))。举例来说,积分路径可包括对于CSF的(参考)动态范围中的所有光适应级的峰值对比敏感度(例如,与不同空间频率对应的不同峰值敏感度)。
如本文中所使用,积分路径可指用于表示人类感知非线性度并且建立数字代码值集合与参考灰度级(量化照度值)集合之间的映射的可见动态范围(VDR)曲线。可能要求所述映射满足下述准则:在对应光适应级(照度值)以上或以下,每一量化步长(例如,表1中的两个邻近灰度级的照度差)小于JND。积分路径的在特定光适应级(照度值)处的瞬时导数(以尼特/空间-循环为单位)与所述特定适应级处的JND成比例。如本文中所使用,术语“VDR”或“视觉动态范围”可指比标准动态范围广的动态范围,并且可包含但不限于直到人类视觉眨眼间可感知到的瞬时可感知的动态范围和色域的宽动态范围。
基于如本文中所描述的技术,可开发与任何特定显示器或图像处理装置无关的参考GSDF。在一些实施例中,可将除光适应级(照度)、空间频率及角度大小之外的一或多个模型参数设置为常数(或固定)值。
5.模型参数
在一些实施例中,用覆盖宽范围的显示装置的保守模型参数值来构造CSF模型。保守模型参数值的使用提供了比现有的标准GSDF小的JND。因此,在一些实施例中,依据本文中所描述的技术的参考GSDF能够支持具有超过这些显示装置的要求的高精度的照度值。
在一些实施例中,如本文中所描述的模型参数包含视场(FOV)参数。可将FOV 参数设置为45度、40度、35度、30度、25度的值或者支持宽范围的显示装置及观看场景(包含演播室、影院或高端娱乐系统中所使用的那些)的另一更大的或更小的值。
如本文中所描述的模型参数可包含可与例如视场有关的角度大小参数。可将角度大小参数设置为45度x 45度、40度x 40度、35度x 35度、30度x 30度、25度x 25 度的值或者支持宽范围的显示装置及观看场景的另一更大的或更小的值。在一些实施例中,可将部分用于导出参考GSDF的角度大小参数设置为n度x m度,其中,n及 m均可为30与40之间的数值,并且n及m可相等或者可不相等。
在一些实施例中,使用更大的角度大小(例如,40度x 40度)来产生具有更大数目的灰度级且因此具有更大对比敏感度的参考GSDF。可使用GSDF来支持可能要求约30度到40度的宽视角的宽范围的观看及/或显示场景(例如,大屏幕视频显示器)。还可使用敏感度由于选择大的角度大小而增加的GSDF来支持高度可变的观看及/或显示场景(例如,影院)。可选择甚至更大的角度大小;然而,将角度大小提高到显著高于某一角度大小(例如,40度)可产生相对有限的余裕益处。
在一些实施例中,参考GSDF模型覆盖大照度范围。举例来说,参考GSDF模型所表示的灰度级或量化照度值介于从0或大约0(例如,10-7cd/m2)到12,000cd/m2的范围内。参考GSDF模型中所表示的照度值的下界可为10-7cd/m2或者更低的或更高的值(例如,0、10-5cd/m2、10-8cd/m2、10-9cd/m2等)。可使用GSDF来支持具有不同周围光级的宽范围的观看及/或显示场景。可使用GSDF来支持具有不同暗黑等级的宽范围的显示装置(影院里、室内或户外)。
参考GSDF模型中的所表示的照度值的上界可为12,000cd/m2或者更低的或更高的值(例如,6000cd/m2到8000cd/m2、8000cd/m2到10000cd/m2、10000cd/m2到12000 cd/m2、12000cd/m2到15000cd/m2等)。可使用GSDF来支持具有高动态范围的宽范围的观看及/或显示场景。可使用GSDF来支持具有不同最大照度级的宽范围的显示装置(HDR TV、SDR显示器、膝上型计算机、平板计算机、手持式装置等)。
6.可变空间频率
图2图解说明根据本发明的实例性实施例的实例性积分路径(被表示为VDR),其可用作如本文中所描述的用于获得参考GSDF中的灰度级的积分路径。在实施例中,使用VDR曲线来准确地俘获人类视觉在高动态范围的照度值上的峰值对比敏感度。
如图2中所图解说明,随着光适应级(照度值)降低,峰值对比敏感度不在固定空间频率值处发生,而是在更小的空间频率处发生。这意味着,具有固定空间频率的技术(例如,DICOM)可能显著地低估人类视觉对于暗光适应级(低照度值)的对比敏感度。较低的对比敏感度导致对比度阈值较高,这导致量化照度值中的量化步长大小较大。
与医学数字成像及通信(DICOM)标准不同,依据如本文中所描述的技术的VDR 曲线不将空间频率模型参数固定为一固定值,例如4个循环/度。相反,VDR曲线随空间频率而变化,并且准确地俘获在多个光适应级处的人类视觉的峰值对比敏感度。 VDR曲线适当地考虑了由于人类视觉对于宽范围的光适应级的自适应性而导致的勾边效应,并且帮助产生高精度的参考GSDF。此处,术语“高精度”意味着,基于在固定大小代码空间(例如,10位、12位等中的一者)的约束内最好地并且最高效率地俘获人类视觉非线性的参考GSDF,去除了或大幅减小了由于照度值的量化而导致的感知错误。
可使用计算过程来计算参考GSDF中的灰度级(例如,表1)。在实例性实施例中,计算过程是迭代的或递归的,重复地从VDR曲线确定对比度阈值(或调制阈值,例如,表达式4中的mt),并且应用对比度阈值来获得参考GSDF中的连续灰度级。此计算过程可用以下表达式(7)来实施:
Figure GDA0001603495830000131
因s此o:
Figure GDA0001603495830000132
a且n
Figure GDA0001603495830000133
其中,j-1,j及j+1表示三个邻近数字代码值的索引;Lj-1,Lj及Lj+1对应于数字代码值j-1,j及j+1分别映射到的灰度级。Lmax及Lmin分别表示跨域JND或JND的一小部分的最大照度值及最小照度值。使用JND或其一小部分会维持参考GSDF的高精度。
可将与JND相关联的对比度阈值mt定义为相对量,例如,Lmax与Lmin之间的差值除以Lmax或Lmin的特定照度值,或者Lmax与Lmin之间的值(例如,Lmax与Lmin的平均值)。在一些实施例中,可替代地将mt定义为Lmax与Lmin之间的差值除以Lmax或 Lmin的特定照度值的倍数(例如,2倍),或者Lmax与Lmin之间的值。在将GSDF中的照度值量化为多个灰度级时,Lmax及Lmin可指所述多个灰度级中的邻近灰度级。因此, Lj可分别通过mt而与Lj-1及Lj+1相关,如表达式(7)中所展示。
在替代实施例中,代替使用如表达式(7)中所图解说明的线性表达式,可使用非线性表达式来将JND或对比度阈值与灰度级相关。举例来说,可使用基于被均值除的标准差的替代表达式来代替如所图解说明的对于对比度阈值的简单比率。
在一些实施例中,在数字代码值被表示为12位整数值的情况下,参考GSDF覆盖0到12,000cd/m2的范围。为了进一步改善参考GSDF的精度,可将mt与分数值f 相乘。此外,可将中心数字值L2048(注意,如与SDI兼容的12位代码空间中那样,数字代码值至少限于0及4096)映射到100cd/m2。表达式(7)可得到以下表达式(8):
Figure GDA0001603495830000141
Figure GDA0001603495830000142
其中,分数值f被设置为0.918177。在实例性实施例中,数字代码的最小容许值被设置为码字(或整数值)16,其被设置为0(cd/m2)。第二最低数字代码值17以5.27x 10-7cd/m2结束,而数字代码值4076以12,000cd/m2结束。
图3图解说明根据本发明的实例性实施例的在12位代码空间中在多个灰度级(以对数照度值表示)与多个数字代码值之间映射的实例性GSDF。
图4图解说明描绘基于图3的实例性GSDF的灰度级的韦伯分数(德尔塔L/L或ΔL/L)的曲线。如图4所图解说明的人类视觉的感知非线性度被表示为对数照度轴上的照度值的函数。人类视觉的可比较的视觉差(例如,JND)对应于较低照度值处的较大的德尔塔L/L值。韦伯分数的曲线对于高照度值渐进为常数值(例如,在较高照度值处满足韦伯法则的情况下,韦伯分数为0.002)。
7.函数模型
可使用一或多个分析函数来获得如本文中所描述的GSDF(参考GSDF或装置特有GSDF)中的数字代码值与灰度级之间的映射。所述一或多个分析函数可是专有的、基于标准的或者从基于标准的函数的扩展。在一些实施例中,GSDF产生器(例如,图5的504)可基于一或多个分析函数(或公式)来产生呈一或多个正向查找表(LUT)及/ 或一或多个逆向LUT的形式的GSDF。可将这些LUT中的至少一些提供给各种图像数据编解码器(例如,图5的506)或多种显示装置,以用于出于对参考图像数据进行编码的目的而在参考灰度级与参考数字代码级之间进行转换。另外,任选地,或替代地,可直接将分析函数(其系数用整数或浮点数表示)中的至少一些提供给图像数据编解码器或多种显示装置,以用于获得如本文中所描述的GSDF中的数字代码值与灰度级之间的映射及/或用于出于对图像数据进行编码的目的而在灰度级与数字代码级之间进行转换。
在一些实施例中,如本文中所描述的分析函数包括如下的可用于基于对应灰度级预测数字代码值的正向函数:
Figure GDA0001603495830000151
其中,D表示数字代码的(例如,12位)值,L表示以尼特为单位的照度值或灰度级,n可表示如表达式(9)所给出的logD/logL曲线的中间部分中的斜率,m可表示 logD/logL曲线的拐点的锐度,且c1、c2及c3可定义logD/logL曲线的端点及中间点。
在一些实施例中,分析函数包括如下的逆函数,其与表达式(9)中的正向函数相对应,并且可用于基于对应数字代码值来预测照度值:
Figure GDA0001603495830000152
可将使用表达式(9)基于多个照度值预测的数字代码值与所观察的数字代码值进行比较。所观察的数字代码值可是但不仅仅限于以下各项中的任一者:如先前所论述的基于CSF模型的数值计算。在一实施例中,可计算并且最小化所预测的数字代码值与所观察的数字代码值之间的偏差,以导出表达式(9)中的参数n、m、c1、c2及c3的最优值。
同样地,可将使用表达式(10)基于多个数字代码值预测的照度值与所观察的照度值进行比较。所观察的照度值可(但不限于)如先前所论述地通过使用基于CSF模型的数值计算而产生,或者通过使用人类视觉实验数据而产生。在一实施例中,可将所预测的照度值与所观察的照度值之间的偏差推导为参数n、m、c1、c2及c3的函数,并且最小化所述偏差以导出表达式(10)中的参数n、m、c1、c2及c3的最优值。
用表达式(9)确定的参数n、m、c1、c2及c3的最优值集合可与用表达式(10)确定的参数n、m、c1、c2及c3的最优值集合相同,或者可不相同。在这两个集合之间不同的情况下,可使用这两个集合中的一者或两者来产生数字代码值与照度值之间的映射。在一些实施例中,参数n、m、c1、c2及c3的这两个最优值集合在不同的情况下可例如基于往返错误的最小化来被协调,所述往返错误是由于用表达式(9)及(10)两者执行正向译码操作和逆向译码操作两者而引入的。在一些实施例中,可进行多个往返以研究导致的数字代码值及/或照度值或灰度级中的错误。在一些实施例中,表达式 (9)及(10)中的参数的选择可至少部分地基于在一次、两次或更多次往返中不发生显著错误的准则。无显著往返错误的实例可包含但不仅仅限于以下错误中的任一者:小于0.0001%、0.001%、0.01%、0.1%、1%、2%或其它可配置值的错误。
实施例包含使用一或多个不同位长度中的一者的代码空间来表示数字控制值。可对于多个代码空间中的每一者获得表达式(9)及(10)中的参数的优化值,所述多个代码空间中的每一代码空间具有一或多个不同位长度中的不同一者。基于表达式(9)及(10) 的优化值,可确定代码错误的分布(例如,基于表达式(9)及(10)的数字代码值中的正向变换错误、逆向变换错误或往返错误)。在一些实施例中,两个数字代码值中的数值差一(1)对应于这两个数字代码值所表示的两个照度值之间的在一光级的对比度阈值(或对应于JND)。图10A图解说明根据一些实例性实施例的多个代码空间中的以 JND为单位的代码错误的最大量,所述多个代码空间中的每一代码空间具有一或多个不同精度(具有不同位长度)中的不同一者。举例来说,基于如本文中所描述的函数模型,具有无限或无限制的位长度的代码空间的最大代码错误为11.252。相比较来说,基于如本文中所描述的函数模型,12位长度(或4096)的代码空间的最大代码错误为 11.298。这指示,就表达式(9)及(10)所表示的函数模型来说,用于数字代码值的12 位长度的代码空间是优良的选择。
图10B图解说明根据实例性实施例的在表达式(9)所指定的正向变换(从照度值到数字代码值)的情况下12位长度(或4096)的代码空间的代码错误的分布。图10C图解说明根据实例性实施例的在表达式(10)所指定的反向变换(从数字代码值到照度值)的情况下12位长度(或4096)的代码空间的代码错误的分布。图10B及图10C两者均指示小于12.5的最大代码错误。
图11图解说明根据实例性实施例的表达式(9)及(10)中可使用的参数的值。在一些实施例中,如所图解说明,在如本文中所描述的函数模型的特定实施方案中,可使用基于整数的公式来表示/逼近这些非整数值。在一些其它实施例中,在如本文中所描述的函数模型的特定实施方案中,可使用具有一或多个精度(例如,14位、16位或 32位)中的一者的定点值、浮点值来表示的这些非整数值。
实施例包含使用具有除了表达式(9)及(10)中所给出的那些公式(其可是色调映射曲线)之外的公式的函数模型。举例来说,如本文中所描述的函数模型可使用具有如下的纳卡-拉什顿(Naka-Rushton)公式的圆锥体模型:
Figure GDA0001603495830000161
其中,L表示照度值,n、m及σ表示与圆锥体模型相关联的模型参数,且Ld表示可用数字代码值编码的预测值。可使用通过最小化偏差来获得模型参数的类似方法来导出用于表达式(11)的模型参数的最优值。图10D图解说明根据实例性实施例的在表达式(11)所指定的正向变换(从照度值到数字代码值)的情况下对于12位长度(或 4096)的代码空间的代码错误的分布。在一实施例中,如图10D中所图解说明的最大代码错误是25个JND。
在另一实例中,可产生具有如下的瑞斯目(Raised mu)公式的函数模型:
Figure GDA0001603495830000171
其中,x表示照度值,且y表示预测数字代码值。可通过最小化偏差来获得模型参数μ的最优值。图10E图解说明根据实例性实施例的在表达式(12)所指定的正向变换(从照度值到数字代码值)的情况下对于12位长度(或4096)的代码空间的代码错误的分布。在一实施例中,如图10D中所图解说明的最大代码错误为17个JND。
如本文中所图解说明,在一些实施例中,可使用函数模型来从照度值预测代码值或者从代码值预测照度值。函数模型所使用的公式可是可逆的。可实施执行这些值之间的正向及逆向变换的相同的或类似的处理逻辑。在一些实施例中,包含但不仅限于任何指数的模型参数可用基于定点值或整数的公式来表示。因此,可仅用硬件、仅用软件或硬件与软件的组合来高效率地实施所述处理逻辑的至少一部分。类似地,可仅用硬件、仅用软件或硬件与软件的组合(包含ASIC或FPGA)来高效率地实施用函数模型或模型公式(例如表达式(9)到表达式(12))产生的LUT的至少一部分。在一些实施例中,一个、两个或更多个函数模型可在单个计算装置、多个计算装置的配置、服务器等中实施。在一些实施例中,在照度值的可见动态范围的整个范围上,预测代码值中的错误可在目标或观察值的14个代码值内。在一些实施例中,这适用于正向及逆向变换两者。在正向变换及逆向变换中可使用相同的或不同的模型参数集合。可用模型参数的最优值来最大化往返准确度。可使用不同的代码空间。在特定实施例中,在特定实施例中,可使用12位长度(4096)的代码空间来跨越可见动态范围的整个范围以最小代码错误托管数字代码值。
如本文中所使用,参考GSDF可指包括参考数字代码值及参考灰度级的GSDF,所述参考数字代码值及参考灰度级依据函数模型(其模型参数可依据CSF模型用目标值或观察值来确定)而相关,通过基于CSF模型的数值计算(例如,不确定数字代码值与照度值之间的映射的任何函数表示)而确定,或者用来自人类视觉研究的数据而确定。在一些实施例中,装置GSDF还可包括可在分析上用如本文中所描述的函数模型表示的数字代码值与灰度级之间的映射。
8.基于参考GSDF而交换图像数据
出于图解说明的目的,描述了数字代码值驻存在12位代码空间中。然而,本发明不限于此。在参考GSDF中可使用具有不同代码空间(例如,除了12位之外的不同位深度)的数字代码值。举例来说,可使用10位整数值来表示数字代码。代替在数字代码的12位表示中将数字代码值4076映射到照度值12000cd/m2,可在数字代码的 10位表示中将数字代码值1019映射到照度值12000cd/m2。因此,对于参考GSDF 中的数字代码值,可使用代码空间(位深度)中的这些变化及其它变化。
可使用参考GSDF来跨越不同GSDF交换图像数据,所述不同GSDF可个别地针对每一类型的图像获取装置或图像再现装置进行设计。举例来说,用特定类型的图像获取装置或图像再现装置实施的GSDF可隐含地或明确地取决于如下的模型参数,所述模型参数与标准GSDF或另一种类型的图像获取装置或图像再现装置的装置特有GSDF的模型参数不匹配。
参考GSDF可对应于如图3及图4中所描绘的曲线形状。一般来说,GSDF的形状取决于用于导出或设计GSDF的参数。因此,参考GSDF取决于参考CSF模型以及用于从参考CSF模型产生参考GSDF的参考模型参数。装置特有GSDF的曲线形状取决于特定装置(如果所述特定装置是显示器,那么包含显示器参数及观看条件)。
在一实例中,其所支持的照度值范围限于小于500cd/m2的显示器在高照度值区域处可能体验不到斜率增大(这在人类视觉转变到对数行为时对于所有频率发生),如图3中所展示。驱动具有图3的曲线形状的显示器可导致灰度级的非最优(例如,次优)分配,其中太多灰度级分配在亮区域中,而在暗区域中则分配不足。
在另一实例中,低对比度显示器被设计为在户外在各种日光条件下使用。所述显示器的照度范围可大部分地或几乎全部出现在图3的对数行为区域中。驱动具有图3 的曲线形状的此低对比度显示器也可能导致灰度级的非最优(例如,次优)分配,其中太多灰度级分配在暗区域中,而在亮区域中则分配不足。
依据如本文中所描述的技术,每一显示器可使用其特有GSDF(不仅取决于显示器参数,而且还取决于例如影响实际黑色级的观看条件)来最优地支持用参考GSDF 编码的图像数据中的感知信息。用于图像数据的总体编码的一或多个上游(例如,编码)装置使用参考GSDF来尽可能多地保留感知细节。接着将在参考GSDF中编码的图像数据递送给一或多个下游(例如,解码)装置。在实例性实施例中,基于参考GSDF 的图像数据的编码与随后将对所述图像数据进行解码及/或再现的特定装置无关。
每一装置(例如,显示器)具有其特定GSDF,其中,装置特有灰度级被支持/优化。特定灰度级对于显示器的制造者可是已知的,或者可被制造者专门设计为支持装置特有GSDF(其可基于标准或者可不基于标准)。装置的线路驱动器可用所述装置特有的量化照度值来实施。对于所述装置,可基于所述装置特有的量化照度值来最好地进行优化。另外,可至少部分地基于目前的周围光级及/或装置的光学反射率(其对于制造者可是已知的)来设置可用作装置特有灰度级范围的下界的暗黑级(例如,最低装置特有灰度级)。一旦暗黑级被如此设置,便可通过隐含地或明确地累积(例如,堆叠/求积分)装置的线路驱动器中的量化步长来获得或设置装置特有灰度级。当装置同时再现图像时,灰度级的推导及/或调整可在运行时进行或者可不在运行时进行。
因此,依据如本文中所描述的技术,本发明的实施例可包含但不仅仅限于用参考GSDF对图像数据进行编码,并且用显示器特有GSDF来解码及再现所述图像数据。
可使用如本文中所描述的技术来跨越具有不同GSDF的各种装置交换图像数据。图5图解说明根据本发明的实例性实施例的与不同GSDF的装置交换图像数据的实例性框架500。如图5中所图解说明,可使用自适应CSF模型(502)来产生参考GSDF 504。术语“自适应”可指CSF模型对于人类视觉非线性及行为的自适应性。可至少部分地基于多个CSF参数(或模型参数)来构建自适应CSF模型。举例来说,所述多个模型参数包含光适应级、以度宽度计的显示区、噪声等级、调节(物理观看距离)、照度或色彩调制矢量(其可例如与自适应CSF模型(502)中所使用的测试图像或图像模式相关)。
上游(例如,编码)装置可在将用参考GSDF 504编码的图像数据或其派生物被发射或分发到下游(例如,解码)装置之前接收所述图像数据。待编码的图像数据可最初呈多种格式(基于标准的、专有的、其扩展等)中的任一者,及/或可从多个图像源(照相机、图像服务器、有形媒体等)中的任一者导出。待编码的图像数据的实例包含但不仅仅限于原始的或其它的高位深度图像530。原始的或其它的高位深度图像可来自照相机、演播室系统、艺术总监系统、另一上游图像处理系统、图像服务器、内容数据库等。图像数据可包含但不仅仅限于数字照片、视频图像帧、3D图像、非3D图像、计算机产生的图形等的图像数据。图像数据可包括场景参考图像、装置参考图像、或具有各种动态范围的图像。待编码的图像数据的实例可包含原始图像的高质量版本,所述高质量版本将与元数据一起被编辑、下取样及/或压缩为用于分发给图像接收系统(下游图像处理系统,例如各种制造者的显示器)的经译码位流。原始的或其它的高位深度图像可具有专家、艺术工作室、广播公司、高端媒体制作实体等所使用的高取样率。待编码的图像数据还可整个地或部分地由计算机产生,或者甚至可整个地或部分地基于现有的图像源(例如老电影和纪录片)而获得。
如本文中所使用,短语“待编码的图像数据”可指一或多个图像的图像数据;待编码的图像数据可包括浮点图像数据或定点图像数据,并且可在任何色彩空间中。在实例性实施例中,所述一或多个图像可在RGB色彩空间中。在另一实例性实施例中,所述一或多个图像可在YUV色彩空间中。在一实例中,如本文中所描述的图像中的每一像素包括色彩空间中所定义的所有通道(例如,RGB色彩空间中的红色、绿色和蓝色色彩通道)的浮点像素值。在另一实例中,如本文中所描述的图像中的每一像素包括色彩空间中所定义的所有通道的定点像素值(例如,用于RGB色彩空间中的红色、绿色和蓝色色彩通道的16位或更高/更低位数的定点像素值)。每一像素可任选地及/或替代地包括对于色彩空间中的通道中的一或多者的经下取样像素值。
在一些实施例中,响应于接收到待编码的图像数据,框架500中的上游装置将由所述图像数据指定的或从所述图像数据确定的照度值映射到参考GSDF中的参考数字代码值,并且基于待编码的图像数据,产生用参考数字代码值编码的参考经编码图像数据。从基于待编码的图像数据的照度值到参考数字代码值的映射操作可包含:选择参考数字代码值,所述参考数字代码值的对应参考灰度级(例如,如表1中所展示) 匹配或者如参考GSDF中的任何其它参考照度值那样接近地逼近由待编码的图像数据指定的或从所述图像数据确定的照度值;及用参考经编码图像数据中的参考数字代码值来取代照度值。
另外,任选地或替代地,可将预处理和后处理步骤(其可包含但不仅仅限于色彩空间转换、下取样、上取样、色调映射、色彩分级、解压缩、压缩等)作为产生参考经编码图像数据的一部分执行。
在实例性实施例中,框架500可包括经配置为将参考经编码图像数据编码及/或格式化为一或多个经译码位流或图像文件的软件及/或硬件组件(例如,编码或格式化单元506)。经译码位流或图像文件可呈基于标准的格式、专有格式、或至少部分地基于基于标准的格式的扩展格式。另外及/或任选地,经译码位流或图像文件可包括元数据,所述元数据含有与用于产生参考经编码图像数据的预处理或后处理的参考 GSDF相关的相关参数中的一或多者(例如,模型参数;如表1、图3及图4中所图解说明的最小照度值、最大照度值、最小数字代码值、最大数字代码值等;识别多个 CSF之中的一CSF的识别字段;参考观看距离)。
在一些实施例中,框架500可包括一或多个离散上游装置。举例来说,框架500 中的所述一或多个上游装置中的至少一者可经配置为基于参考GSDF来对图像数据进行编码。上游装置可包括经配置为执行与图5的502、504及506相关的功能性的软件及/或硬件组件。经译码位流或图像文件可由上游装置(图5的502、504及506) 通过网络连接、数字接口、有形存储媒体等输出,并且在图像数据流508中被递送给其它图像处理装置进行处理或再现。
在一些实例性实施例中,框架500进一步包括作为一或多个离散装置的一或多个下游装置。下游装置可经配置为从图像数据流508接收/存取所述一或多个上游装置输出的经译码位流或图像文件。举例来说,下游装置可包括经配置为对经译码位流和图像文件进行解码及/或重新格式化并且恢复/检索其中的参考经编码图像数据的软件及/或硬件组件(例如,解码或重新格式化单元510)。如图5中所图解说明,下游装置可包括不同的一组显示装置。
在一些实施例中,显示装置(未展示)可被设计及/或实施为支持参考GSDF。如果显示装置支持参考GSDF中的每一个灰度级,那么可提供高精度HDR图像再现。显示装置可以比人类视觉可能检测到的水平更细微的水平或相同的水平来再现图像细节。
在一些实施例中,显示装置的装置特有GSDF中的原生数字代码值(其可被实施为显示系统中的数字化电压值,例如,数字驱动电平或DDL)可对应于与参考GSDF 中的数字代码值不同的装置特有灰度级(或照度值)。装置特有灰度级可被设计为支持 sRGB、Rec.709或其它规范(包含使用与互补密度相关的表示的那些规范)。另外,任选地或替代地,装置特有灰度级可基于显示器驱动的基本DAC特性。
在一些实施例中,显示装置A 512-A可被设计及/或实施为支持可见动态范围(VDR)显示器的装置特有GSDF A 514-A。GSDF A 514-A可基于用于装置特有数字代码值的12位的位深度(12位代码空间)、10,000:1对比率(CR)以及a>P3色域。GSDF A 514-A可支持参考GSDF 504的整个范围中的第一子范围(例如,0到5,000cd/m2) 内的灰度级。替代地及/或任选地,GSDF A 514-A可支持参考GSDF 504中的整个范围(例如,0到12,000cd/m2),但是可包括比参考GSDF 504中的所有参考灰度级少的参考灰度级。
在一些实施例中,显示装置B 512-B可被设计及/或实施为支持用于比VDR窄的动态范围的装置特有GSDF B 514-B。举例来说,显示装置B 512-B可为标准动态范围(SDR)显示器。如本文中所使用,术语“标准动态范围”及“低动态范围”及/或其对应缩写“SDR”及“LDR”可同义地及/或互换地使用。在一些实施例中,GSDF B 514-B可支持用于装置特有数字代码值的8位的位深度、500-5,000:1对比率(CR)及如 Rec.709中所定义的色域。在一些实施例中,GSDF B 514-B可提供参考GSDF 504的第二子范围(例如,0到2000cd/m2)内的灰度级。
在一些实施例中,显示装置C 512-C可被设计及/或实施为支持用于比SDR更加窄的动态范围的装置特有GSDF C 514-C。举例来说,显示装置C 512-C可为平板显示器。在一些实施例中,GSDF C 514-C可支持用于装置特有数字代码值的8位的位深度、100-800:1对比率(CR)及比Rec.709中所定义的色域小的色域。在一些实施例中,GSDF C 514-C可支持参考GSDF 504的第三子范围(例如,0到1,200cd/m2)内的灰度级。
在一些实施例中,显示装置(例如,显示装置D 512-D)可被设计及/或实施为支持用于比SDR窄得多的非常有限的动态范围的装置特有GSDF(例如,GSDF D 514-D)。举例来说,显示装置D 512-D可包括电子纸显示器。在一些实施例中,GSDF D 514-D 可支持用于装置特有数字代码值的6位或更小的位深度、10:1或更小的对比率(CR) 及比Rec.709中所定义的色域小得多的色域。在一些实施例中,GSDF D 514-D可支持参考GSDF 504的第四子范围(例如,0到100cd/m2)内的灰度级。
图像再现的精度可随显示装置A到D 512-A到512-D中的每一者而适当地按比例降低。在一些实施例中,装置特有GSDF A到D 514-A到514-D中的每一者中的灰度级的子集可以如下方式与参考GSDF 504中所支持的参考灰度级相关或者映射到所述所支持的参考灰度级:使得在所述显示装置所支持的灰度级范围中均匀地分布感知可觉错误。
在一些实施例中,具有装置特有GSDF(例如,514-A到514-D中的一者)的显示装置(例如,512-A到512-D中的一者)接收/提取基于参考GSDF编码的参考经编码图像数据。作为响应,显示装置或其中的转换单元(516-A到516-D中的一者)将参考经编码图像数据中所指定的参考数字代码值映射到显示装置本地的装置特有数字代码值。这可以几种方式中的一者执行。在一实例中,从参考数字代码值到装置特有数字代码值的映射包含选择如下的装置特有灰度级(对应于装置特有数字代码值),所述装置特有灰度级匹配或者如任何其它装置特有灰度级那样接近地近似于参考灰度级(对应于参考数字代码值)。在另一实例中,从参考数字代码值到装置特有数字代码值的映射包含:(1)基于与参考GSDF相关联的参考灰度级(对应于参考数字代码值)来确定经色调映射照度值,及(2)选择如下的装置特有灰度级(对应于装置特有数字代码值),所述装置特有灰度级匹配或者如任何其它装置特有灰度级那样接近地近似于经色调映射照度值。
随后,显示装置或其中的驱动器芯片(518-A到518-D中的一者)可使用显示器特有数字代码值来用与显示器特有代码值相对应的装置特有灰度级来再现图像。驱动器芯片包含显示装置的显示器特有数字代码值到(模拟)驱动信号(例如,驱动电压)的线性数/模转换。此转换可为线性的,因为显示器特有数字代码值已针对显示装置(例如, LED显示装置)的伽玛曲线(功率曲线)而调整。因此,框架500的下游装置可称为执行显示装置的从参考数字代码值到显示器特有数字代码值及从显示器特有数字代码值到模拟驱动信号的两步骤转换过程。
一般来说,参考GSDF可基于与显示器特有GSDF所基于的CSF模型不同的CSF 模型。参考GSDF与装置特有GSDF之间的转换/映射是必要的。即使使用相同的CSF 模型来产生参考GSDF及装置特有GSDF两者,在导出GSDF时也可使用模型参数的不同值。对于参考GSDF,可保守地设置模型参数值以为多种下游装置保留细节,而对于装置特有GSDF,模型参数值可反映显示装置将再现图像的特定设计/实施方案及观看条件。参考GSDF与装置特有GSDF之间的转换/映射仍然是必要的,因为特定显示装置的观看条件参数(例如,周围光级、显示装置的光学反射率等)与用于导出参考GSDF的模型参数值不同。此处,观看条件参数可包含损害显示质量(例如,对比率等)及提升黑色级(例如,最低灰度级等)的那些参数。依据如本文中所描述的技术的参考GSDF与装置特有GSDF之间的转换/映射改善了图像再现质量(例如,通过增大高值区域处的照度值来改善对比率等)。
9.转换参考经编码数据
图6图解说明根据本发明的一些实施例的实例性转换单元(例如,516)。转换单元516可为但不仅仅限于如图5中所图解说明的多个转换单元(例如,516-A到516-D) 中的一者(例如,516-A)。在一些实施例中,转换单元516可接收用于参考GSDF(REF GSDF)的第一定义数据及用于装置特有GSDF(例如,GSDF-A(图5的514-A))的第二定义数据。如本文中所使用,如果装置是显示器,那么术语“装置特有”及“显示器特有”可互换地使用。
基于所接收的定义数据,转换单元516将参考GSDF与显示器特有GSDF级联以形成转换查找表(转换LUT)。两个GSDF之间的级联可包含:将两个GSDF中的灰度级进行比较;及基于比较灰度级的结果,建立参考GSDF中的参考数字代码值与显示器特有GSDF中的显示器特有代码值之间的映射。
更具体来说,在给出参考GSDF中的参考数字代码值的情况下,可基于参考GSDF 来确定其对应参考灰度级。可使用如此确定的参考灰度级来定位显示器特有GSDF 中的装置特有灰度级。在实例性实施例中,所定位的装置特有灰度级可匹配或者如显示器特有GSDF中的任何其它显示器特有灰度级那样接近地近似于参考灰度级。在另一实例性实施例中,可通过对参考灰度级起作用的全局或局部色调映射算子来获得经色调映射照度值;所定位的装置特有灰度级可匹配或者如显示器特有GSDF中的任何其它显示器特有灰度级那样接近地近似于经色调映射照度值。
就装置特有灰度级来说,可从显示器特有GSDF识别对应显示器特有数字代码值。可在转换LUT中添加或定义由参考数字代码值及显示器特有代码值组成的条目。
可对参考GSDF中的其它参考数字代码值重复如上文所描述的步骤。
在一些实施例中,转换LUT可被预先构建并且在接收并处理如下的图像数据之前存储,所述图像数据的处理将至少部分基于转换LUT而进行。在替代实施例中,对将用转换LUT进行处理的图像数据进行分析。可使用分析结果来设置或至少调整参考数字代码值与装置特有数字代码值之间的对应关系。举例来说,如果图像数据指示照度值的特定集中度或分布,那么可以保留照度值的集中区域中的大量细节的方式设置转换LUT。
在一些实施例中,转换单元516包括经配置为将参考GSDF与显示器特有GSDF 514-A两者中的量化步长(例如,邻近数字代码值之间的照度值差或ΔL)进行比较的一或多个软件及/或硬件组件(比较子单元602)。举例来说,参考GSDF中的参考数字代码值处的量化步长可为参考照度值差(参考GSDFΔL),而显示器特有GSDF中的显示器特有数字代码值处的量化步长可为显示器特有照度值差(显示器特有GSDFΔL)。此处,显示器特有数字代码值对应于参考数字代码值(或者与参考数字代码值在转换 LUT中形成一对)。在一些实施例中,比较子单元602将这两个照度值差进行比较。此操作操作实质上是可基于ΔL值执行的或者任选地及/或替代地基于两个GSDF曲线的相对斜率执行的测试。
显示器特有GSDF中的照度值的量化步长典型地可超过参考GSDF的量化步长,这是因为来自参考GSDF的一或多个参考灰度级(例如,对应于高位深度域等)被合并到来自显示器特有GSDF的显示器特有灰度级(例如,对应于低位深度域等)。在这些情形中,使用抖动来去除条带伪影。作为总体抖动的一部分,还对局部周围输出像素执行抖动(在空间中及/或在时间中)。在某种意义上,人眼可被表示为低通滤波器。至少在这个意义上,如本文中所描述的对局部周围像素进行平均因此创建了减少及/或去除条带视觉伪影的所要输出灰度级,否则可能由于显示器特有GSDF中的大量化步长而存在这些条带视觉伪影。
在不是那么通常的情形中,参考GSDF的照度值的量化步长有时可能超过显示器特有GSDF的量化步长。使用基于去轮廓算法的过程,例如通过对相邻输入像素进行平均来基于输入灰度级合成输出灰度级。
对应地,如果参考GSDFΔL大于显示器特有GSDFΔL(在图6中,为“Y”路径),那么对于转换LUT中包括参考数字代码值及显示器特有数字代码值的条目设置去轮廓算法旗标。
如果参考GSDFΔL小于显示器特有GSDFΔL(在图6中,为“N”路径),那么对于转换LUT中包括参考数字代码值及显示器特有数字代码值的条目设置抖动算法旗标。
如果参考GSDFΔL等于显示器特有GSDFΔL,那么对于转换LUT中包括参考数字代码值及显示器特有数字代码值的条目既不设置去轮廓算法旗标,也不设置抖动算法旗标。
去轮廓及抖动算法旗标可与转换LUT中的条目一起存储,或者可被存储于在转换LUT外部但与转换LUT操作地链接的相关数据结构中。
在一些实施例中,转换单元516经配置为接收可呈高位深度或浮点输入图像的形式的参考经编码图像数据,并且将参考GSDF中所指定的参考数字代码值映射到显示器特有GSDF中所指定的显示器特有数字代码值。除了映射GSDF之间的数字代码值之外,转换单元516还可经配置为基于先前所论述的算法旗标(去轮廓算法旗标或抖动算法旗标)的设置来执行去轮廓或抖动。
如所述,参考GSDF有可能含有比显示器特有GSDF量大的细节;因此,图6 的“Y”路径可能不发生,或者可能不那么频繁地发生。在一些实施例中,可省略“Y”路径及相关的处理以简化转换单元的实施。
在一些实施例中,在给出对于参考经编码图像数据中的像素确定的参考数字代码值的情况下,转换单元516在转换LUT中查找对应显示器特有数字代码值,并且用对应显示器特有数字代码值取代参考数字代码值。另外及/或任选地,转换单元516 基于转换LUT中的包括参考数字代码值及显示器特有数字代码值的条目的算法旗标的存在/设置来确定对于像素是应执行去轮廓算法还是抖动算法。
如果确定既不应执行去轮廓算法又不应执行抖动算法(例如,没有关于执行任一种算法的指示或旗标),那么暂时对所述像素不执行去轮廓也不执行抖动。
如果确定应执行去轮廓算法,那么转换单元516可执行一或多种去轮廓算法(Decontour Algo)。执行所述一或多种去轮廓算法可包含:接收输入的局部相邻像素的图像数据,并将所述局部相邻像素的图像数据输入到去轮廓算法。
如果确定应执行抖动算法,那么转换单元516可执行一或多种抖动算法(Dithering Algo)。
如果转换单元516确定相对于相邻像素需要执行去轮廓或抖动,那么在去轮廓或抖动中仍可能涉及所述像素。在一实例中,可使用像素的装置特有(输出)灰度级来对局部相邻像素进行抖动。在另一实例中,可使用像素的参考(输入)灰度级来对局部相邻像素进行去轮廓。
在一些实施例中,转换单元516将前面的步骤的处理结果输出到下游处理单元或子单元。处理结果包括显示器特有经编码图像数据,其格式为用显示器特有GSDF(例如,GSDF-A)中的数字代码值编码的显示器特有位深度输出图像。
图7图解说明实施8位图像处理的实例性SDR显示器700。SDR显示器700或其中的VDR解码单元702接收经编码输入。经编码输入包括可呈多种图像数据容器格式中的一者的图像数据容器中的参考经译码图像数据。VDR解码单元702对经编码输入进行解码,并且从其中确定/检索参考经编码图像数据。参考经编码图像数据可包括色彩空间(例如,RGB色彩空间、YCbCr色彩空间等)中的个别像素的图像数据。个别像素的图像数据可用参考GSDF中的参考数字代码值进行编码。
另外及/或任选地,SDR显示器700包括维持用于SDR显示器700的显示器参数的显示器管理单元704。显示器参数可至少部分地定义与SDR显示器700相关联的显示器特有GSDF(例如,图5的GSDF-B)。定义显示器特有GSDF的显示器参数可包含SDR显示器700所支持的最大(max)和最小(min)灰度级。显示器参数还可包含 SDR显示器所支持的色彩原色(原色)、显示器大小(大小)、SDR显示器的图像再现表面的光学反射率、周围光级。显示器参数中的一些可以固定值预先配置。显示器参数中的一些可由SDR显示器700实时地或近乎实时地测量。显示器参数中的一些可由 SDR显示器700的用户配置。显示器参数中的一些可以默认值预先配置,并且可通过测量或者由用户覆写。显示器管理单元704基于参考GSDF来建立显示器特有灰度级的感知非线性度/使所述感知非线性度成形,并且可另外及/或任选地将色调映射作为建立显示器特有灰度级/使显示器特有灰度级成形的一部分执行。举例来说,出于根据参考GSDF建立显示器特有灰度级的感知非线性度/使所述感知非线性度成形的目的,显示器管理单元704可建立如图5中所图解说明的转换LUT及/或其它相关元数据(例如,抖动及去轮廓处理旗标等)。显示器管理单元器管理单元704可实施如先前所论述的级联操作来创建与参考GSDF及显示器特有GSDF中的一者或两者相关的转换LUT及/或其它相关元数据712。转换LUT及/或其它相关元数据712可被SDR 显示器700中的其它单元或子单元存取并且使用。此外,可使用转换LUT及/或其它相关元数据作为或者导出用于对感知非线性度进行逆操作的元数据714。如本文中所使用,对感知非线性度进行逆操作可包含将显示器特有数字代码值转换为显示器特有数字驱动电平(例如,显示装置中的数字化电压电平)。
另外及/或任选地,SDR显示器700包含如图5及图6中所图解说明的转换单元 516以及8位感知量化器706。在一些实施例中,SDR显示器700或其中的转换单元 516及8位感知量化器706将参考经编码图像数据转换为用与显示器特有GSDF(例如,图5的GSDF-A或GSDF-B)相关联的显示器特有数字代码值编码的显示器特有位深度输出图像,并且将显示器特有位深度输出图像量化为8位代码空间中的经感知编码图像数据。如本文中所使用,术语“感知编码”可指基于人类视觉感知模型(例如产生参考GSDF的CSF)的一种类型的编码。
另外及/或任选地,SDR显示器700包括视频后处理单元708,其可(但不仅仅限于)对8位照度表示中的经感知编码图像数据不执行图像处理操作、执行图像处理操作中的一或多个。这些图像处理操作可包含但不仅仅限于压缩、解压缩、色彩空间转换、下取样、上取样或色彩分级。这些操作的结果可输出到SDR显示器700的其它部分。
在实例性实施例中,SDR显示器700包括8位逆感知量化器710,其经配置为将图像处理操作的结果中的显示器特有数字代码值转换为显示器特有数字驱动电平(例如,数字化电压电平)。逆感知量化器710所产生的显示器特有数字驱动电平(或者从数字代码值转换回)可特别地支持SDR显示器700中可支持的几种类型的照度非线性中的一者。在一实例中,逆感知量化器710将显示器特有数字代码值转换为显示器特有数字驱动电平以支持与Rec.709相关联的照度非线性。在另一实例中,逆感知量化器710将显示器特有数字代码值转换为显示器特有数字驱动电平以支持与线性照度域或对数照度域(其可相对容易地与局部调光操作整合)相关联的照度非线性。在另一实例中,逆感知量化器710将显示器特有数字代码值转换为显示器特有数字驱动电平以支持显示器特有CSF(或其相关联的GSDF),其中,显示器特有灰度级对于特定显示器700被最优地放置,并且可对于显示器700特有的观看条件被调整。
10.实例性过程流程
图8A图解说明根据本发明的实施例的实例性过程流程。在一些实施例中,一或多个计算装置或组件(例如框架500中的一或多个计算装置)可执行此过程流程。在框 802中,计算装置接收待编码的图像数据。
在框804中,计算装置基于参考数字代码值集合与参考灰度级集合之间的参考映射来将待编码的图像数据编码为参考经编码图像数据。此处,待编码的图像数据中的照度值由参考数字代码值集合表示。参考数字代码值集合中的两个邻近参考数字代码值所表示的两个参考灰度级之间的照度差可与适于特定光级下的人类视觉的峰值对比敏感度成反比。
在框806中,计算装置输出参考经编码图像数据。
在一实施例中,计算装置基于对比敏感度函数(CSF)模型来确定参考灰阶显示函数(GSDF);参考GSDF指定参考数字代码值集合与参考灰度级集合之间的参考映射。 CSF模型包括一或多个模型参数,所述模型参数可具有落在包括以下各项中的一或多者的范围中的角度大小:25度x 25度与30度x 30度之间、30度x 30度与35度x 35 度之间、35度x 35度与40度x 40度之间、40度x 40度与45度x 45度之间或大于 45度x 45度。
在一实施例中,计算装置将参考灰度级集合所支持的照度值范围内的中间照度值指派给托管参考数字代码值集合的代码空间中的中间数字代码值,并且通过执行堆叠或积分计算中的一或多者来导出多个子映射,每一子映射将参考数字代码值集合中的参考数字代码值映射到参考灰度级集合中的参考灰度级。中间照度值可在包括以下各项中的一或多者的范围内选择:小于50尼特;介于50尼特与100尼特之间(包含50 尼特及100尼特);介于100尼特与500尼特之间(包含100尼特及500尼特);或不小于500尼特。
在实例性实施例中,参考灰度级集合覆盖具有为以下值的上限的动态范围:小于500尼特;介于500尼特与1000尼特之间(包含500尼特及1000尼特);介于1000尼特与5000尼特之间(包含1000尼特及5000尼特);介于5000尼特与10000尼特之间 (包含5000尼特及10000尼特);介于10000尼特与15000尼特之间(包含10000尼特及15000尼特);或大于15000尼特。
在一实施例中,从基于对比敏感度函数(CSF)模型确定的多个对比敏感度曲线当中的一个对比敏感度曲线确定峰值对比敏感度,所述CSF模型具有包括照度值变量、空间频率变量或者一或多个其它变量中的一或多者的模型参数。
在一实施例中,基于所述多个对比敏感度曲线中的至少两个对比敏感度曲线确定的至少两个峰值对比敏感度发生于两个不同的空间频率值处。
在一实施例中,计算装置将利用来自输入视频信号的待编码的图像数据表示、接收、发射或存储的一或多个输入图像转换为利用输出视频信号中所含的参考经编码图像数据表示、接收、发射或存储的一或多个输出图像。
在一实施例中,待编码的图像数据包括以下列各项中的一者编码的图像数据:高分辨率高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院色彩编码规范(ACES)标准相关联的RGB色彩空间、数字电影倡导联盟的P3色彩空间标准、参考输入媒体度量/参考输出媒体度量(RIMM/ROMM)标准、sRGB色彩空间、与国际电信联盟(ITU)的BT.709推荐标准相关联的RGB色彩空间等。
在一实施例中,两个邻近参考数字代码值所表示的两个参考灰度级之间的照度差小于在特定光级下的最小可觉差阈值。
在一实施例中,所述特定光级是两个照度值之间(包含所述两个照度值)的照度值。
在一实施例中,参考数字代码值集合包括具有为以下各项的位深度的代码空间中的整数值:小于12位;介于12位与14位之间(包含12位及14位);至少14位;或者14位或更多位。
在一实施例中,参考灰度级集合可包括量化照度值集合。
图8B图解说明根据本发明的实施例的另一实例性过程流程。在一些实施例中,一或多个计算装置或组件(例如框架500中的一或多个计算装置)可执行此过程流程。在框852中,计算装置确定参考数字代码值集合与装置特有数字代码值集合之间的数字代码映射。此处,在参考映射中将参考数字代码值集合映射到参考灰度级集合,而在装置特有映射中将装置特有数字代码值集合映射到装置特有灰度级集合。
在框854中,计算装置接收用参考数字代码值集合编码的参考经编码图像数据。参考经编码图像数据中的照度值基于参考数字代码值集合。参考数字代码值集合中的两个邻近参考数字代码值所表示的两个参考灰度级之间的照度差可与适于特定光级下的人类视觉的峰值对比敏感度成反比。
在框856中,计算装置基于数字代码映射来将用参考数字代码值集合编码的参考经编码图像数据转码为用装置特有数字控制代码集合编码的装置特有图像数据。装置特有图像数据中的照度值基于装置特有数字代码值集合。
在一实施例中,计算装置确定参考数字代码值集合与装置特有数字代码值集合之间的对应关系集合。此处,对应关系集合中的对应关系将参考数字代码值集合中的参考数字代码值与装置特有数字代码值相关。计算装置进一步将参考数字代码值处的第一照度差与装置特有数字代码值处的第二照度差进行比较,并且基于第一照度差与第二照度差的比较来存储关于对于参考数字代码值是应执行抖动操作、去轮廓操作还是不执行操作的算法旗标。
在一实施例中,计算装置从像素的参考经编码图像数据确定参考数字代码值,并且进一步确定是否针对参考数字代码值设置算法旗标。响应于确定针对去轮廓设置算法旗标,计算装置对所述像素执行去轮廓算法。替代地,响应于确定针对抖动设置算法旗标,计算装置对所述像素执行抖动算法。
在一实施例中,计算装置基于用装置特有数字控制代码集合编码的装置特有图像数据来在显示器上再现一或多个图像。此处,显示器可为(但不仅仅限于)以下各项中的一者:可见动态范围(VDR)显示器、标准动态范围(SDR)显示器、平板计算机显示器或手持式装置显示器。
在一实施例中,装置特有灰阶显示函数(GSDF)指定了装置特有数字代码值集合与装置特有灰度级集合之间的装置特有映射。
在一实施例中,基于一或多个显示器参数以及零个或更多个观看条件参数来导出装置特有映射。
在一实施例中,装置特有灰度级集合覆盖具有为以下值的上限的动态范围:小于100尼特;不小于100尼特但小于500尼特;介于500尼特与1000尼特之间(包含500 尼特及1000尼特);介于1000尼特与5000尼特之间(包含1000尼特及5000尼特);介于5000尼特与10000尼特之间(包含5000尼特及10000尼特);或大于10000尼特。
在一实施例中,计算装置将利用来自输入视频信号的参考经编码图像数据表示、接收、发射或存储的一或多个输入图像转换为利用输出视频信号中所含的装置特有图像数据表示、接收、发射或存储的一或多个输出图像。
在一实施例中,装置特有图像数据支持呈以下各项中的一者的图像再现:高分辨率高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院色彩编码规范(ACES)标准相关联的RGB色彩空间、数字电影倡导联盟的P3色彩空间标准、参考输入媒体度量/参考输出媒体度量(RIMM/ROMM)标准、sRGB色彩空间或与国际电信联盟(ITU)的BT.709推荐标准相关联的RGB色彩空间。
在一实施例中,装置特有数字代码值集合包括位深度为以下各项的代码空间中的整数值:8位;多于8位但小于12位;12位或更多位。
在一实施例中,所述装置特有灰度级集合可包括量化照度值集合。
在各种实施例中,编码器、解码器、系统等执行如所描述的前述方法中的任一者或一部分。
11.实施机构–硬件概述
根据一个实施例,本文中所描述的技术由一或多个专用计算装置来实施。专用计算装置可被硬连线来执行所述技术,或者可包含被持久地编程为执行所述技术的数字电子装置(例如一或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)),或者可包含被编程为按照固件、存储器、其它储存装置或组合中的程序指令执行所述技术的一或多个通用硬件处理器。此类专用计算装置还可通过定制编程来组合定制的硬连线逻辑、ASIC或FPGA以实现所述技术。专用计算装置可为桌上型计算机系统、便携式计算机系统、手持式装置、联网装置或并入有实施所述技术的硬连线及/或程序逻辑的任何其它装置。
举例来说,图9是图解说明在其上可实施本发明的实例性实施例的计算机系统900的框图。计算机系统900包含总线902或用于传达信息的其它通信机构及与总线 902耦合以用于处理信息的硬件处理器904。举例来说,硬件处理器904可为通用微处理器。
计算机系统900还包含耦合到总线902的用于存储将由处理器904执行的信息及指令的主存储器906,例如随机存取存储器(RAM)或其它动态存储装置。主存储器906 还可用于存储在待由处理器904执行的指令的执行期间的临时变量或其它中间信息。此类指令在被存储在处理器904可存取的非暂时性存储媒体上时使计算机系统 900变为被定制为执行所述指令中所指定的操作的专用机器。
计算机系统900进一步包含耦合到总线902的用于存储用于处理器904的静态信息及指令的只读存储器(ROM)908或其它静态存储装置。提供存储装置910(例如磁盘或光盘),并且将存储装置910耦合到总线902以用于存储信息及指令。
计算机系统900可经由总线902耦合到用于向计算机用户显示信息的显示器 912,例如液晶显示器。包含字母数字键及其它键的输入装置914耦合到总线902以用于将信息及命令选择传达到处理器904。另一类型的用户输入装置为用于将方向信息及命令选择传达到处理器904且用于控制显示器912上的光标移动的光标控件 916,例如鼠标、轨迹球或光标方向键。此输入装置通常具有沿两个轴(第一轴(例如, x)及第二轴(例如,y))的两个自由度,这允许所述装置指定平面中的位置。
计算机系统900可使用定制的硬连线逻辑、一或多个ASIC或FPGA、固件及/ 或程序逻辑(其与计算机系统组合来使计算机系统900变为或编程为专用机器)来实施本文中所描述的技术。根据一个实施例,本文中的技术由计算机系统900响应于处理器904执行主存储器906中所含的一或多个指令的一或多个序列来执行。此类指令可为从另一存储媒体(例如存储装置910)读取到主存储器906中。主存储器906中所含的指令序列的执行使处理器904执行本文中所描述的过程步骤。在替代实施例中,可代替软件指令来使用硬连线电路,或者可与软件指令组合使用硬连线电路。
如本文中所使用的术语“存储媒体”指的是存储致使机器以特定的方式操作的数据及/或指令的任何非暂时性媒体。此类存储媒体可包括非易失性媒体及/或易失性媒体。非易失性媒体包含例如光盘或磁盘,例如存储装置910。易失性媒体包含例如主存储器906等动态存储器。存储媒体的常见形式包含例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它的磁性数据存储媒体、CD-ROM、任何其它光学数据存储媒体、具有孔图案的任何物理媒体、RAM、PROM及EPROM、FLASH-EPROM、 NVRAM、任何其它存储器芯片或盒。
存储媒体与发射媒体不同,但可联合其来使用。发射媒体参与存储媒体之间的信息传递。举例来说,发射媒体包含共轴缆线、铜线及光纤,包含包括总线902的导线。发射媒体也可采取声波或光波的形式,例如在无线电波及红外数据通信期间产生的那些。
在将一或多个指令的一或多个序列载运到处理器904以供执行时,可涉及各种形式的媒体。举例来说,最初可在远程计算机的磁盘或固态驱动器上载运指令。所述远程计算机可将指令加载到其动态存储器中并使用调制解调器经由电话线发送指令。在计算机系统900本地的调制解调器可接收电话线上的数据并使用红外发射器将数据转换为红外信号。红外检测器可接收在红外信号中载运的数据并且适当的电路可将所述数据放置在总线902上。总线902将数据载运到主存储器906,从所述主存储器 906,处理器904检索且执行指令。由主存储器906接收的指令在由处理器904执行之前或之后可任选地存储于存储装置910上。
计算机系统900还包含耦合到总线902的通信接口918。通信接口918提供耦合到网络链路920的双向数据通信,网络链路920连接到本地网络922。举例来说,通信接口918可为集成服务数字网络(ISDN)卡、缆线调制解调器、卫星调制解调器或提供与对应类型的电话线的数据通信连接的调制解调器。作为另一实例,通信接口918 可为提供与兼容的LAN的数据通信连接的局域网(LAN)卡。还可实施无线链路。在任何此实施方案中,通信接口918均发送并接收载运表示各种类型的信息的数字数据流的电信号、电磁信号或光学信号。
网络链路920通常提供通过一或多个网络到其它数据装置的数据通信。举例来说,网络链路920可通过本地网络922提供到主机计算机924或由因特网服务提供者 (ISP)926操作的数据设备的连接。ISP 926继而通过广域数据包数据通信网络(现在通常称为“因特网”928)提供数据通信服务。本地网络922及因特网928两者均使用载运数字数据流的电信号、电磁信号或光学信号。通过各种网络的信号以及网络链路 920上且通过通信接口918的信号是发射媒体的实例性形式,所述信号与计算机系统 900来回载运数字数据。
计算机系统900可通过网络、网络链路920及通信接口918来发送消息及接收数据(包含程序代码)。在因特网实例中,服务器930可通过因特网928、ISP 926、本地网络922及通信接口918来发射所请求的应用程序代码。
所接收的代码可在被处理器904接收到时被执行及/或被存储在存储装置910或其它非易失性存储装置中以供以后执行。
12.所列举实例性实施例、等效物、扩展、替代方案及混杂方案
以上已经关于跨越不同能力的显示器基于感知照度非线性的图像数据交换描述了本发明的所列举实例性实施例(“EEE”)。因此,本发明的实施例可涉及在下文的表2中列举的实例中的一或多者。
表2.所列举实例性实施例
Figure GDA0001603495830000331
Figure GDA0001603495830000341
Figure GDA0001603495830000351
Figure GDA0001603495830000361
Figure GDA0001603495830000371
Figure GDA0001603495830000381
Figure GDA0001603495830000391
Figure GDA0001603495830000401
Figure GDA0001603495830000411
Figure GDA0001603495830000421
Figure GDA0001603495830000431
以下表3描述用于将数字视频代码值转换为显示点处的绝对线性照度级的感知曲线EOTF的计算。还包含用于将绝对线性照度转换为数字代码值的逆OETF计算。
表3.感知曲线EOTF的示范性规范
Figure GDA0001603495830000432
Figure GDA0001603495830000441
以下表4展示10位的示范性值。
表4. 10位的值的示范性表
Figure GDA0001603495830000451
Figure GDA0001603495830000461
Figure GDA0001603495830000471
Figure GDA0001603495830000481
Figure GDA0001603495830000491
Figure GDA0001603495830000501
Figure GDA0001603495830000511
Figure GDA0001603495830000521
Figure GDA0001603495830000531
Figure GDA0001603495830000541
Figure GDA0001603495830000551
用于解译任何视觉信号的基本基础是知晓所述信号的传递函数;所述传递函数是对如何将信号的载波(模拟电压、影片密度或数字代码值)转换为光学能量的描述。在用于电视及影片的电子显示器的情况下,在针对参考标准显示器的EOTF(电光传递函数)中找到关键信息。在于参考标准显示器上观看时,绝大多数内容是根据艺术偏好进行色彩分级的(在照相机中现场的,或在后期制作期间)。因此,是EOTF而非 OETF(例如在照相机俘获中所使用的光电传递函数)真正定义视觉信号代码值的意图。已针对电视及数字影院应用定义了参考EOTF曲线,其两者均基于例如分别具有指数值2.4及2.6的功率函数(伽玛函数)。虽然这些系统具有关于暗等级重现的一些已知问题,但其已非常成功地使用多年。此成功主要归因于这些曲线在于具有约50 cd/m2到100cd/m2的峰值亮度且具有小于3对数照度单位的动态范围(或对比度)的相对昏暗参考显示器上实施时粗略地近似于人类感知。由于典型显示器亮度及动态范围稳定地增加,此近似已变得越来越不准确。当今的典型显示器现在实现500cd/m2或更大(其中数个商业实例超过1000cd/m2)的峰值等级,且暗细节中的伪影已成比例地增加。此外,通过数字驱动电路,显示器噪声大幅减小,且通过更好的照相机及使用合成成像,图像俘获噪声大幅降低或甚至为零。因此,众所周知的噪声掩蔽的效应不再阻碍低振幅可见性。很明显,当今及未来的显示器可受益于更好的系统。
基于所述伽玛函数(即,电视的ITU-R Rec.BT.18861EOTF、HDTV的ITU-R Rec.BT.1886EOTF))的伽玛编码定义通常称为感知线性的EOTF,换句话说,此EOTF表现得类似于人类感知,具有接近或低于10位及12位实施方案的视觉检测阈值。尽管具有100cd/m2(或100尼特)峰值等级的伽玛曲线的情形粗略地如此,但当使用较高峰值照度级(例如,较高动态范围)时,此12位伽玛曲线展示可导致尤其在照度范围的暗端处的可见量化伪影的限制。尽管可通过使用较高位深度而增加系统精度,但旧有设施将难以推动超过12位。事实上,大多数现场制作及广播环境仍在10位等级下操作,因此可在这些常见位深度下提供经增加性能的系统将为理想的。根据本发明的示范性实施例,此系统使用上文表3中所呈现的感知曲线EOTF。在根据本发明的此示范性系统中,表示视频数据的数字码字是根据较高性能EOTF(高于用于伽玛编码 (例如表3中定义的EOTF)的性能)而编码且经由显示器处理以根据较高性能EOTF输出准确感知前屏幕性能,其中表示不同照度值的任两个不同码字重现为具有视觉感知差(例如,一或多个JND的差)。
如本文中所使用,根据较高性能感知曲线EOTF编码的数字码字称为通过感知量化(PQ)而编码。示范性PQ编码由表3中的方程式提供。不同于伽玛编码且解决伽玛编码的类似缺点(如由表3的PQ编码所解决)的其它PQ编码方法对于本发明的各种实施例也是可能的。举例来说,2014年3月25日发表的A.科顿(A.Cotton)(下文中,“科顿”)的标题为“BBC OETF与EOTF建议(BBC OETF&EOTF Proposal)”的论文中描述一种此类PQ编码,所述论文以全文引用的方式并入本文中。
图12表示现有技术显示器1210的示范性框图的简化版本,现有技术显示器1210使用伽玛经编码数字码字来表示待根据众所周知的相关联伽玛EOTF函数重现的视频图像。如图12中所描绘,伽玛经编码图像数据(例如,RGB)及控制信号(例如,sync、 clock等)经由系统接口模块1205提供到现有技术显示器1210。举例来说,所述系统接口模块可为到TV系统的前端部分、到播放系统或到用于接收/解码或以其它方式操纵视频信号以最终再现到显示器上的任何其它系统的接口,如所属领域的技术人员已知。
继续参考图12,伽玛经编码数字数据从系统接口模块1205提供到显示器1210 的时序控制器(TCON)处理单元1215。TCON处理单元1215继而将从系统接口模块接收的信息格式化并分发到面板1250,面板1250将电信号转化为光信号以用于在面板 1250前面观看。在图12的示范性显示器1210的情形中,面板1250的电光元件(例如,像素、子像素)通过面板的相关联列及行而寻址。所属领域的技术人员将理解,其它电光元件寻址方案也是可能的且可用于面板1250中。
在图12中所描绘的现有技术显示器中,面板1250的个别电光元件的寻址及激活经由列驱动器1230及行驱动器1235组合地且在来自TCON处理单元1215的信息控制下执行以根据对应伽玛经编码码字产生所要照度。举例来说,根据一种示范性配置,面板1250的行k及列j处的电光元件Pk,j经选择且通过经由行驱动器1235施加第一启用模拟电压RDk并经由列驱动器1230施加第二启用模拟电压CDj而激活。在一种特定配置中,由列驱动器1230施加的模拟电压CDj可建立由个别电光元件Pk,j根据对应伽玛经编码(数字)码字而产生的照度级。因此,由伽玛经编码码字表示的照度级的数/模转换在显示器1210中执行。如上文所指示,此转换可为线性转换。此外,此转换可在TCON处理单元中、列驱动器1230中或在面板1250的个别电光元件(例如, Pk,j、Pn,m)中执行,这取决于系统设计要求以及与面板1250及构成电光元件相关联的技术。面板1250可为双调制面板(例如,具有背光的LCD)、直视型显示器(例如基于OLED的面板或基于皮克斯电子公司(Pixtronics)的MEM的面板)或用于重现感知照度的任何其它面板。
图12中所描绘的示范性现有技术显示器进一步包括可补偿面板1250的照度重现不一致的伽玛参考补偿模块1220。如此项技术中已知,面板1250的电光元件中所使用的技术的差异以及可包括数千个此类元件及相关联布线的面板布局及面板制作可变性可导致全局(例如,整个面板)及区域(例如,面板的连续块)的面板的输出光的不一致。此不一致可经由伽玛参考补偿模块1220来补偿,伽玛参考补偿模块1220可经由预定校正电压而修改提供到面板1250的个别电光元件的有效模拟电压。举例来说,在一种示范性配置中,此校正电压与来自列驱动器1230的模拟电压CDj组合地将有效模拟控制电压提供到图12中所描绘的电光元件Pk,j以便根据伽玛经编码码字产生准确感知前屏幕性能。预定校正因子可在制作测试阶段导出且保存于查找表中以供在显示器1210的操作期间使用。此外,根据一些配置,校正因子可基于图像帧内容(例如,平均照度)及/或基于面板1250的不同区域。
如上文所描述,根据不同于伽玛EOTF的参考EOTF使用感知空间代码对数字图像进行编码(PQ编码)以便解决基于伽玛的EOTF的限制可为合意的。不同于基于伽玛的EOTF的所述参考EOTF可对应于上文所描述的参考GSDF中的任一者或从其导出。
图13描绘用于重现PQ经编码图像的现有技术配置的简化框图。如图13中所描绘,系统接口模块将PQ经编码码字及控制信号(例如,sync、clock等)馈送到将PQ 经编码码字转换(映射)为伽玛经编码码字的PQ/伽玛转换器处理单元1360。继而,伽玛经编码码字及相关联控制信号被馈送到上文所描述的基于伽玛的显示器1210。因此,图13中所描绘的现有技术配置未根据参考EOTF在本地在感知空间代码中操作,而是在与图12中所描绘的现有技术配置所使用的空间代码相同的伽玛空间代码中操作。因此,用于重现PQ经编码图像的现有技术配置执行从PQ经编码码字到伽玛经编码码字及从伽玛经编码码字到用于基于伽玛的显示器的模拟驱动电压的两步骤转换过程。后一数/模转换可为线性的,因此显示器是基于伽玛的,即,伽玛经编码码字已针对基于伽玛的显示器的伽玛曲线(功率曲线)被调整。
尽管PQ经编码图像数据(码字)被提供到图13的现有技术配置,但从PQ经编码码字到伽玛经编码码字的转换中的不准确性可导致不良照片质量,这使图像数据的 PQ编码无效。此无效性可在具有较高动态范围及较高照度(例如,亮度)级的显示器中更显著,其中伽玛经编码信号与感知所需的光输出的不匹配程度增加。举例来说,对于获得具有值1000的第一PQ经编码码字及具有值1001的第二PQ经编码码字的 2000尼特显示器,两个码字的一个单位值的差可导致两个亮度级的所感知视觉差(2 JND)而非PQ经编码码字所规定的一个级的所感知视觉差(1JND)。在具有平稳梯度的图像(例如天空的图像)的情形中,通过图13中所描绘的现有技术配置重现所述第一及第二码字中的此不准确性可导致条带且因此导致不良图像质量。根据本发明的显示器(例如,图14的1410)通过提供经由显示器对PQ经编码码字的本地处理而解决此缺陷。
图14表示根据本发明的示范性实施例的显示器1410的框图的简化版本,显示器1410根据参考EOTF(例如,如上文所描述的较高性能感知量化,例如表3中所描述的较高性能感知量化)而在感知空间代码中操作,且因此处理PQ经编码数字码字以重现相关联参考EOTF所表示的对应光。如图14中所描绘,PQ经编码图像数据(例如,RGB)及控制信号(例如,sync、clock等)经由系统接口模块1405提供到根据本发明的显示器1410。所述系统接口模块可类似于先前关于图12所描述的系统接口模块 1205,且相应地可为到TV系统的前端部分、到播放系统或到用于接收/解码或以其它方式操纵视频信号以最终再现到显示器上的任何其它系统的接口,如所属领域的技术人员已知。应注意,此类系统适于处理在感知空间代码中编码的图像信号。
继续参考图14,PQ经编码数字数据从系统接口模块1405提供到显示器1410的时序控制器(TCON)处理单元1415。TCON处理单元1415继而将从系统接口模块接收的信息格式化并分发到面板1250(例如,类似于图12中所描绘的面板),面板1250 将电信号转化为光信号以用于在面板1250前面观看。在图14的示范性显示器1410 的情形中,面板1250的电光元件(例如,像素、子像素)通过面板的相关联列及行而寻址,如先前关于图12所描述。所属领域的技术人员将理解,其它电光元件寻址方案也是可能的且可用于面板1250中。
上文关于图12的面板1250提供了对图14中所描绘的根据本发明的显示器1410 的面板1250的个别电光元件的寻址及激活的描述。
图14中所描绘的根据本发明的示范性显示器1410进一步包括可补偿面板1250 的照度重现不一致的PQ参考补偿模块1420。如关于图12的模块1220所描述,显示器1410的面板1250的电光元件中所使用的技术的差异以及可包括数千个此类元件及相关联布线的面板布局及面板制作可变性可导致全局(例如,整个面板)及区域(例如,面板的连续块)的面板的输出光的不一致,且因此导致码字的不准确感知再现。此不一致可经由PQ参考补偿模块1420来补偿,所述PQ参考补偿模块可经由预定预定校正电压而修改提供到面板1250的个别电光元件的有效模拟电压以实现更好的面板前部准确度。举例来说,在一种示范性配置中,此校正电压与来自列驱动器1230的模拟电压CDj组合地可将有效模拟控制电压提供到图14中所描绘的电光元件Pk,j以便根据PQ经编码码字产生准确感知前屏幕性能。如同图12中所描绘的现有技术配置的情形,预定校正因子可在面板/显示器的制作测试阶段导出且保存于查找表中以供在显示器1410的操作期间使用。此外,根据一些配置,校正因子可基于图像帧内容(动态的,例如,帧的平均照度)及/或基于面板1250的不同区域。校正因子可呈数字校正、模拟电压/电流或其组合的形式。一般来说,PQ参考补偿模块(PQ参考补偿单元)可称为提供基于参考EOTF(感知曲线EOTF)的补偿数据。即,补偿数据可至少部分地基于参考EOTF而产生以确保准确感知前屏幕性能。
如先前所提及,面板1250可基于包括不同电光元件(例如,像素、子像素)的许多可能技术中的一者。不同技术可影响面板的系统设计,且因此提供不同于图14中所绘示的示范性配置的配置,例如图15A及15B中所描绘的配置。
图15A表示示范性数字图像处理配置1500A的根据本发明的简化框图,示范性数字图像处理配置1500A根据参考EOTF(例如,按照表3或按照上文所描述的卡顿) 在感知空间代码中操作且包括根据本发明的另一实施例的显示器1510A。如图15A 中所描绘,显示器1510A的面板1550由可直接驱动面板的每一像素(例如,像素Pk,l 及Pn,m)的像素寻址与驱动器模块1530驱动。在图15A中所描绘的根据本发明的配置中,PQ参考补偿模块1420将校正因子提供到像素寻址与驱动器模块1530以补偿面板1250的照度重现不一致。此校正可呈数字值校正、模拟电压/电流或其组合的形式。
图15B表示另一示范性数字图像处理配置1500B的根据本发明的简化框图,示范性数字图像处理配置1500B根据参考EOTF(例如,按照表3或按照上文所描述的卡顿)在感知空间代码中操作且包括根据本发明的另一实施例的显示器1510B。如图 15B中所描绘,显示器1510B的面板1550由可直接驱动面板的每一像素(例如,像素 Pk,l及Pn,m)的像素寻址与驱动器模块1530驱动。在图15B中所描绘的根据本发明的配置中,PQ参考补偿模块的功能性及TCON处理单元的功能性组合到单个处理单元(TCON与PQ参考单元1555)中,所述单元可借此将预补偿驱动信号提供到像素寻址与驱动器模块1530。
图14、15A及15B描绘根据本发明的不同示范性显示器配置,其根据参考EOTF (例如,如上文所描述的较高性能感知量化,例如表3中所描述的较高性能感知量化) 而在感知空间代码中操作,且因此处理PQ经编码数字码字以重现相关联参考EOTF 所表示的对应光。所有此些实施例通过图14及15A中所描绘的单独功能块(硬件、电路、芯片)或通过图15B中所描绘的经组合功能块而提供TCON 1515及如上文所描述的图14的PQ参考1420的功能性。此外,此些实施例包括可基于不同技术的用于各种面板的驱动功能性。所属领域的技术人员将理解,此类不同技术可包括电光元件以提供像素及/或子像素功能性以便根据所要PQ经编码码字值直接(例如,OLED,皮克斯电子公司的MEM)或通过辅助光调制(例如,背光照明式LCD面板)在面板的前面产生光能。用于根据PQ经编码码字的值产生光能(照度级)的此类元件的激活可需要模拟电压电平、模拟电流电平、脉冲宽度调制信号或其它类型的信号,如电光元件中所使用的基础技术所规定。PQ经编码数字码字的值到电光元件的所需激活(驱动)信号的转化可(在一个示范性情形中)由图14中所描绘的列驱动器1235与行驱动器1230的组合功能性提供,或(在另一示范性情形中)由图15A及15B中所描绘的驱动器1530 的功能性提供。
与图12及13中所图解说明的现有技术配置相反,图14、15A及15B中所描绘的根据本发明的示范性显示器配置消除从PQ经编码码字到伽玛经编码码字的转换步骤。换句话说,PQ经编码码字被直接转换为用于面板的模拟驱动电压(驱动信号),且显示器1410可称为在本地支持PQ经编码图像数据。此处,表达‘直接转换’应理解为指示直接数/模转换而不需要将PQ经编码码字转换为伽玛经编码码字的中介步骤。因此,用于基础面板技术(例如,LED、OLED)的模拟驱动信号(驱动电压)可称为直接针对图15A及15B中的输入PQ经编码码字修整。在此情形中,从PQ经编码码字到模拟驱动电压(驱动信号)的数/模转换可为非线性的。举例来说,数/模转换可基于(例如,可使用)感知曲线EOTF。即,数/模转换可根据感知曲线EOTF执行。通过省略从PQ经编码码字到伽玛经编码码字的转换步骤,可避免所述转换中将导致不良照片质量且使图像数据的PQ编码无效的不准确性。
应进一步注意,图14、15A及15B中所描绘的根据本发明的显示器可支持根据多于一种参考EOTF的对PQ经编码码字的本地处理。根据本发明的一个实施例,系统接口模块1405可将参考EOTF标识旗标(例如,作为控制数据的一部分)提供到 TCON处理单元1415、1515、1555,所述TCON处理单元继而可根据所接收标识旗标配置显示器1410、1510A、1510B的操作。这可包含经由配置控制器(其可为TCON 处理单元的一部分或与TCON处理单元分开)根据标识旗标值选择对应PQ参考补偿。
图16A到16C描绘表示经由根据本发明的显示器(上文所论述)(例如图14到15B 中所表示的示范性显示器)的内置功能性执行的对数字PQ经编码码字的示范性信号处理的流程图1600A到1600C。所属领域的技术人员将理解,此类流程图本质上是示范性的,关于发明人认为是其发明的内容不具限制性,因为此类流程图的变化形式可用于提供处理PQ经编码码字的类似显示功能性以便按照相关联EOTF感知曲线进行准确的面板前面感知再现。
继续参考图16A中所描绘的根据本发明的示范性实施例的流程图1600A,PQ码字处理可包含在步骤160A处接收数字PQ经编码码字,后续接着在步骤165A处在数字域中对码字进行PQ参考补偿,后续接着在步骤170A处将PQ参考经补偿数字码字(直接及可能非线性)转换为装置特有信号,及在步骤175A处经由装置特有信号激活装置(面板的电光元件),如上文所描述,所述装置特有信号可为例如模拟信号(电压、电流)、数字信号、脉冲宽度调制信号的组合中的一者或面板的物理装置(电光元件)所需的其它信号。
根据图16B的流程图1600B所表示的本发明的另一示范性实施例的处理,首先在步骤160B处接收数字PQ经编码码字,后续接着在步骤165B处将所接收数字PQ 码字(直接及可能非线性)转换为装置特有信号,后续接着在步骤170B处在装置特有信号域中对对应码字表示进行PQ参考补偿,及在步骤175B处经由PQ参考经补偿装置特有信号激活装置(面板的电光元件),如上文所描述,所述装置特有信号可为例如模拟信号(电压、电流)、数字信号、脉冲宽度调制信号的组合中的一者或面板的物理装置所需的其它信号。
流程图1600C表示根据本发明的用于经由上文所描述的本发明的发明性显示器处理PQ经编码码字的另一实施例,其包括:步骤160C,其用于接收数字PQ经编码码字;步骤165C,其用于将所接收数字PQ码字(直接及可能非线性地)转换为装置特有信号;步骤170C,其用于用PQ参考补偿信号使面板的物理装置偏置;及步骤175C,其用于经由来自步骤165C的装置特有信号激活PQ参考经偏置物理装置。
应注意,上文所描述的流程图1600A到1600C所表示的示范性处理可基于表示面板的一个个别物理元件的光输出的单个PQ经编码码字(图像帧的单个PQ经编码码字)或者基于表示面板的多个对应物理元件的光输出的多个PQ经编码码字(同一图像帧的多个PQ经编码码字)来执行。此串行或并行处理可基于根据本发明的显示器的设计要求,包含面板特有物理元件的物理及电接口要求。此外,在其中目标显示器包括可配置本地操作模式以支持根据多于一种感知曲线EOTF的PQ经编码码字的情形中,步骤160A、160B、160C可前面有或后面紧接着根据对应EOTF配置操作的步骤,其可进一步包含选择相关联PQ参考补偿。根据本发明的一个实施例,相关联PQ参考补偿可存储于相关联查找表中。
如上文所描述,根据本发明的一些实施例,图14到15B的面板1250、1550可为双调制LCD面板,其使用例如基于LED的背光照明。在一些配置中,用于准确的面板前面感知再现的光优化可经由背光LED阵列的光场仿真及用于调制由LCD面板输出的光的PQ经编码码字的对应补偿来提供。关于基于双调制LCD面板及光场仿真的补偿方法的更多信息可例如在以下文件中找到:标题为“用于背光照明双调制显示装置的方法及设备(Methods andApparatus for Backlighting Dual Modulation Display Devices)”的第WO 2013/056117 A1号国际公开案,标题为“用于具有光转换的双调制显示器的技术(Techniquesfor Dual Modulation Display with Light Conversion)”的美国专利申请案14/370,115,标题为“局部调光式显示器(Locally Dimmed Display)”的第8,277,056号美国专利,标题为“边缘照明局部调光式显示器(Edge Lit Locally Dimmed Display)”的第8,172,401号美国专利,及标题为“量子点/远程磷光体显示系统改善(Quantum Dot/RemotePhosphor Display System Improvements)”的第14/030,896号美国专利申请案,所有所述文件以全文引用的方式并入本文中。
图17A表示在伽玛空间上操作的双调制LCD显示器1710A的简化框图。此显示器包括双调制背光照明面板1750,所述面板使用基于LED的背光来产生光源,所述光源随后由LCD子像素调制以在面板前面产生所要光输出。所属领域的技术人员将认识到LCD显示器1710A的与先前所描述的图12的显示器1210类似的功能块。基于伽玛的显示器1710A进一步包含功能块1760,其用以根据传入图像码字控制LED 背光;功能块1710,其用以驱动个别LED元件;及功能块1765,其基于对LED元件的所述驱动执行光场仿真,所述光场仿真用于进一步补偿对面板的LCD元件的驱动。因此,在图17A中所描绘的示范性配置中,执行两个单独补偿;一个基于伽玛参考1220且一个基于光场仿真1765。如上文所述,对此配置的进一步描述可在以全文引用的方式并入本文中的在以上段落中所提及的参考中找到。所属领域的技术人员将认识到,与光场仿真相关的计算可为密集的且因此可消耗额外功率且需要增加的资源。
图17B表示根据本发明的双调制LCD显示器1710B的简化框图,双调制LCD 显示器1710B根据参考EOTF(例如,如上文所描述的较高性能感知量化,例如表3 或卡顿参考中所描述的较高性能感知量化)而在感知空间代码中操作,且因此处理PQ 经编码数字码字以重现相关联参考EOTF所表示的对应光。所属领域的技术人员将了解,显示器1710B的简化框图与显示器1710A相比不包含用以补偿背光的光场仿真 (图17A的框1765)。在发明性显示器1710B中,背光补偿是联合功能块1720中的 PQ参考补偿且在不需要光场仿真的情况下执行。此补偿还可基显示器1710B的制作中所包含的测试及校准阶段。所属领域的技术人员将认识到,基于图14到15B中所提供的变化形式的显示器1710B的其它块配置及相关描述也是可能的。
在前述说明书中,已参考可随实施方案而变化的众多特定细节描述了本发明的实施例。因此,什么是本发明以及本发明的申请人意图什么的专有且专用的指示是包含任何后续校正的一组技术方案,所述技术方案以此类技术方案发布的特定形式从本申请案发布。本文中对于此类技术方案中所含的术语的明确陈述的任何定义应掌控在技术方案中使用的此类术语的意义。因此,未在技术方案中明确叙述的限制、要素、性质、特征、优点或属性不应以任何的方式限制此技术方案的范围。因此,应将本说明书及图式视为具有说明性意义而非限制性意义。
可从以下经编号实例性实施例(NEE)了解本发明的各个方面:
NEE 1.一种成像装置,其包括:
数据接收器,其经配置以接收基于至少一个感知曲线电光传递函数(EOTF)(例如,基于相应感知曲线EOTF)而感知量化(PQ)的经编码图像数据;
至少一个PQ参考补偿单元,其经配置以提供面板特有补偿数据(例如,基于所述至少一个感知曲线EOTF或基于相应感知曲线EOTF);
显示面板,其包括多个电光元件,所述多个电光元件经配置以基于提供到所述多个电光元件中的每一者的驱动信号而产生光能;及
数据转换器,其经配置以基于所述经编码图像数据及所述补偿数据而产生所述驱动信号(例如,经配置以转换且组合所述经编码图像数据与所述补偿数据到所述驱动信号);
其中由所述显示面板在被所述驱动信号驱动时产生的所述光能准确地表示(例如,准确地重现或再现)所述PQ经编码图像数据。
其中,所述至少一个感知曲线EOTF的任两个不同数字码字可表示可在具有视觉感知差异的情况下重现的不同照度值(例如,视觉感知有差异或可通过视觉感知区分)。所述数据转换器可经配置以转换所述经编码图像数据且组合所述经转换的经编码图像数据与所述补偿数据,或组合所述经编码图像数据与所述补偿数据且转换所述经组合数据。举例来说,产生所述驱动信号可涉及:从所述经编码图像数据直接数/ 模转换为所述驱动信号(例如,在与所述补偿数据组合之前对所述经编码图像数据进行直接数/模转换,或对与所述补偿数据组合的所述经编码图像数据进行直接数/模转换)。所述经编码图像数据到所述驱动信号的数/模转换(例如,单独的或在与所述补偿数据组合之后)可为非线性的。所述数/模转换可基于(例如,可使用)所述感知曲线 EOTF。所述补偿数据可经提供以补偿照度所述显示面板的重现不一致。
NEE 2.根据NEE 1所述的成像装置,其中所述至少一个感知曲线EOTF包括至少两个感知曲线EOTF,且其中所述成像装置进一步包括:
配置控制器,其经配置以接收与所述至少两个感知曲线EOTF中的一感知曲线EOTF对应的标识旗标,且根据所述标识旗标而配置所述成像装置的操作。
NEE 3.根据NEE 2所述的成像装置,其中所述配置控制器适于根据所述标识旗标而选择所述至少一个PQ参考补偿单元中的相关联PQ参考补偿单元。即,由所述配置控制器配置所述成像装置的所述操作包括选择所述相关联参考补偿单元。
NEE 4.根据NEE 2所述的成像装置,所述相关联PQ参考补偿单元包括一或多个查找表,所述一或多个查找表包括PQ参考补偿数据。
NEE 5.根据NEE 3所述的成像装置,其中所述PQ参考补偿数据是在所述成像装置的校准步骤期间产生。
NEE 6.根据NEE 1所述的成像装置,其中所述显示面板是包括背光的双调制面板。
NEE 7.根据NEE 6所述的成像装置,其中所述电光元件包括液晶显示器(LCD) 元件,且其中所述背光是经由发光二极管(LED)产生。
NEE 8.根据NEE 1所述的成像装置,其中所述显示面板是直视型面板。
NEE 9.根据NEE 8所述的成像装置,其中所述电光元件包括以下各项中的一者:a)有机发光二极管(OLED),及b)皮克斯电子公司的微机电(MEM)元件。
NEE 10.根据NEE 1所述的成像装置,其中所述至少一个感知曲线EOTF包括说明书的表3的所述感知曲线EOTF。
NEE 11.根据NEE 10所述的成像装置,其中所述PQ经编码图像数据基于10 位的位深度。
NEE 12.根据NEE 11所述的成像装置,其中基于所述至少一个感知曲线EOTF 而确定所述PQ经编码码字的值与参考级之间的映射的对应参考数据转换函数由说明书的表4提供。
NEE 13.一种用于在成像装置的显示面板前面产生光的方法,所述方法包括:
接收基于感知曲线电光传递函数(EOTF)而感知量化(PQ)的经编码图像数据;
基于所述接收,补偿所述PQ经编码图像数据;
基于所述补偿,驱动所述成像装置的电光元件;及
基于所述驱动,与所述感知曲线EOTF对应地在所述显示面板前面产生准确的光。
即,所述方法可包括:
提供基于所述感知曲线EOTF的面板特有补偿数据以补偿所述显示面板的照度重现不一致;及
基于所述经编码图像数据及所述补偿数据而产生用于所述显示面板的多个电光元件的驱动信号。
所述面板特有补偿数据可经提供使得由所述显示面板的所述电光元件在被所述驱动信号驱动时产生的光能准确地表示所述PQ经编码图像数据。
EE 14.根据NEE 13所述的方法,其中所述接收包括:
接收基于至少两个感知曲线EOTF的PQ经编码图像数据;
基于所述接收,确定所述至少两个感知曲线EOTF中的一者;及
基于所述确定,执行所述补偿步骤。
NEE 15.根据NEE 13所述的方法,其中所述感知曲线EOTF包括说明书的表3 的所述感知曲线EOTF。
NEE 16.根据NEE 13所述的方法,其中所述补偿包括:
存取存储器装置;
基于所述存取,读取PQ参考补偿数据,及
基于所述读取,补偿所述PQ经编码图像数据。
NEE 17.根据NEE 16所述的方法,其中所述PQ参考补偿数据是在所述成像装置的校准步骤期间产生。
NEE 18.根据NEE 13所述的方法,其中所述显示面板是包括背光的双调制面板。
NEE 19.根据NEE 18所述的方法,其中所述电光元件包括液晶显示器(LCD) 元件,且其中所述背光是经由发光二极管(LED)产生。
NEE 20.根据NEE 13所述的方法,其中所述显示面板是直视型面板。
NEE 21.根据NEE 20所述的方法,其中所述电光元件包括以下各项中的一者: a)有机发光二极管(OLED),及b)皮克斯电子公司的微机电(MEM)元件。
NEE 22.根据NEE 13所述的方法,其中所述感知曲线EOTF包括说明书的表3 的所述感知曲线EOTF。
NEE 23.根据NEE 13所述的方法,其中所述PQ经编码图像数据基于10位的位深度。
NEE 24.根据NEE 13所述的方法,其中所述驱动步骤包括以下各项中的一或多者:a)数/模转换,b)模/数转换,及c)脉冲宽度调制。

Claims (19)

1.一种成像装置,其包括:
数据接收器,其经配置以接收基于至少一个感知曲线电光传递函数EOTF而感知量化的PQ经编码图像数据,其中所述至少一个感知曲线EOTF的任两个不同数字码字表示可在具有视觉感知差异的情况下重现的不同照度值;
显示面板,其包括多个电光元件,每一电光元件经配置以基于提供到所述多个电光元件中的相应一者的相应驱动信号而产生光能;
至少一个PQ参考补偿单元,其经配置以提供面板特有补偿数据以补偿所述显示面板的照度重现不一致;及
数据转换器,其经配置以基于所述PQ经编码图像数据及所述补偿数据而产生所述驱动信号,其中产生所述驱动信号包括配置所述数据转换器以:
在与所述补偿数据结合之前直接数/模转换所述PQ经编码图像数据;或
将与所述补偿数据结合的所述PQ经编码图像数据直接数/模转换为直接驱动所述多个电光元件的所述驱动信号;
其中所述直接数/模转换不涉及所述PQ经编码图像数据至伽玛经编码数据的中介转换;及
其中所述驱动信号经配置使得由所述显示面板的所述电光元件在被所述驱动信号驱动时产生的所述光能准确地表示所述PQ经编码图像数据。
2.根据权利要求1所述的成像装置,其中所述数据转换器经配置以转换且组合所述PQ经编码图像数据与所述补偿数据以产生所述驱动信号。
3.根据权利要求1或2所述的成像装置,其中产生所述驱动信号涉及:组合所述PQ经编码图像数据与所述补偿数据及随后对所得经组合数据进行直接数/模转换,或者对所述PQ经编码图像数据进行直接数/模转换及随后组合经直接数/模转换的所述PQ经编码图像数据与所述补偿数据。
4.根据权利要求1或2中任一权利要求所述的成像装置,其中所述直接数/模转换为非线性的。
5.根据权利要求1或2中任一权利要求所述的成像装置,其中所述至少一个PQ参考补偿单元经配置以基于所述至少一个感知曲线EOTF而提供面板特有补偿数据。
6.根据权利要求1或2中任一权利要求所述的成像装置,其中所述至少一个感知曲线EOTF包括至少两个感知曲线EOTF,且其中所述成像装置进一步包括:
配置控制器,其经配置以接收与所述至少两个感知曲线EOTF中的一个感知曲线EOTF对应的标识旗标,且根据所述标识旗标而配置所述成像装置的操作。
7.根据权利要求6所述的成像装置,其中所述配置控制器适于在根据所述标识旗标而配置所述成像装置的操作时根据所述标识旗标而选择所述至少一个PQ参考补偿单元中的相关联PQ参考补偿单元来提供所述补偿数据,其中所述补偿数据是基于对应于所述标识旗标的所述感知曲线EOTF。
8.根据权利要求7所述的成像装置,其中所述相关联PQ参考补偿单元包括一或多个查找表,所述一或多个查找表包括PQ参考补偿数据,由所述相关联PQ参考补偿单元提供的所述补偿数据是从所述一或多个查找表读出。
9.根据权利要求1或2中任一权利要求所述的成像装置,其中所述PQ参考补偿单元存储在所述成像装置的校准阶段期间产生的PQ参考补偿数据。
10.根据权利要求1或2中任一权利要求所述的成像装置,其中所述显示面板是包括背光的双调制面板。
11.根据权利要求10所述的成像装置,其中所述电光元件包括液晶显示器LCD元件,且其中所述背光是经由发光二极管LED产生的。
12.根据权利要求1或2中任一权利要求所述的成像装置,其中所述显示面板是直视型面板。
13.根据权利要求12所述的成像装置,其中所述电光元件包括以下各项中的一者:a)有机发光二极管OLED,及b)皮克斯电子公司的微机电MEM元件。
14.根据权利要求1或2中任一权利要求所述的成像装置,其中所述至少一个感知曲线EOTF包括说明书的表3的所述感知曲线EOTF。
15.根据权利要求14所述的成像装置,其中所述PQ经编码图像数据是基于10位的位深度。
16.根据权利要求15所述的成像装置,其中基于所述至少一个感知曲线EOTF而确定PQ经编码码字的值与参考级之间的映射的对应参考数据转换函数由说明书的表4提供。
17.一种用于在成像装置的显示面板前面产生光的方法,所述方法包括:
通过所述成像装置接收基于感知曲线电光传递函数EOTF而感知量化的PQ经编码图像数据,其中所述感知曲线EOTF的任两个不同数字码字表示可在具有视觉感知差异的情况下重现的不同照度值;
基于所述PQ经编码图像数据及由所述成像装置的PQ参考补偿单元提供的显示面板特有补偿数据而产生驱动信号,其中产生所述驱动信号包括:
在与所述补偿数据结合之前直接数/模转换所述PQ经编码图像数据;或
将与所述补偿数据结合的所述PQ经编码图像数据直接数/模转换为所述驱动信号;
其中所述直接数/模转换不涉及所述PQ经编码图像数据至伽玛经编码数据的中介转换;及
使用所述驱动信号直接驱动所述成像装置的电光元件,从而与所述感知曲线EOTF对应地在所述显示面板前面产生准确的光。
18.根据权利要求17所述的方法,其中所述接收包括:
接收基于至少两个感知曲线EOTF的PQ经编码图像数据;
基于所述接收,确定所述至少两个感知曲线EOTF中的一者;及
基于所述确定,执行所述产生步骤。
19.根据权利要求17或18所述的方法,其中所述补偿包括:
存取所述PQ参考补偿单元的存储器装置;及
基于所述存取,读取所述显示面板特有补偿数据。
CN201680054877.6A 2015-09-21 2016-09-21 一种成像装置及在其显示面板前面产生光的方法 Active CN108141508B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562221557P 2015-09-21 2015-09-21
US62/221,557 2015-09-21
EP15193724 2015-11-09
EP15193724.0 2015-11-09
PCT/US2016/052762 WO2017053350A1 (en) 2015-09-21 2016-09-21 Techniques for operating a display in the perceptual code space

Publications (2)

Publication Number Publication Date
CN108141508A CN108141508A (zh) 2018-06-08
CN108141508B true CN108141508B (zh) 2021-02-26

Family

ID=54540892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680054877.6A Active CN108141508B (zh) 2015-09-21 2016-09-21 一种成像装置及在其显示面板前面产生光的方法

Country Status (5)

Country Link
US (1) US10679582B2 (zh)
JP (1) JP6869969B2 (zh)
KR (1) KR102121676B1 (zh)
CN (1) CN108141508B (zh)
WO (1) WO2017053350A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003757A1 (ja) * 2016-06-27 2018-01-04 ソニー株式会社 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
JP2018190323A (ja) * 2017-05-11 2018-11-29 富士通株式会社 比較プログラム、比較装置及び比較方法
US10769817B2 (en) * 2017-08-07 2020-09-08 Samsung Display Co., Ltd. Measures for image testing
US10931977B2 (en) 2018-03-15 2021-02-23 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
US11381849B2 (en) * 2018-03-15 2022-07-05 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
CN112204646A (zh) * 2018-03-29 2021-01-08 巴科股份有限公司 用于led显示器的驱动器
CN110689855B (zh) * 2018-07-06 2022-08-16 鸿富锦精密工业(深圳)有限公司 显示装置的显示亮度调节方法、显示亮度调节装置及显示装置
EP3824634A1 (en) 2018-07-17 2021-05-26 Dolby Laboratories Licensing Corporation Foviation and hdr
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
US20200045341A1 (en) * 2018-07-31 2020-02-06 Ati Technologies Ulc Effective electro-optical transfer function encoding for limited luminance range displays
CN109545089B (zh) * 2018-12-29 2020-12-08 厦门天马微电子有限公司 一种显示面板及显示装置
CN111510723B (zh) * 2019-01-30 2022-02-22 奇景光电股份有限公司 时序控制器
KR20210104470A (ko) * 2020-02-17 2021-08-25 삼성디스플레이 주식회사 표시 패널을 위한 감마값 계산 방법
US11935480B2 (en) * 2020-06-01 2024-03-19 Kopin Corporation Apparatuses, systems, and methods for dimming displays
CN112133249B (zh) * 2020-09-09 2021-11-30 深圳创维-Rgb电子有限公司 Oled显示校正方法、系统及存储介质
CN114822448B (zh) * 2021-01-22 2024-04-05 广州视创显示科技有限公司 一种图像混合显示方法、装置、设备及存储介质
CN113920115B (zh) * 2021-12-13 2022-03-04 北京中新绿景科技有限公司 一种视频图像质量测评方法及测评系统
KR20240057519A (ko) * 2022-10-24 2024-05-03 삼성디스플레이 주식회사 표시 장치 및 전자 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04144382A (ja) * 1990-10-05 1992-05-18 Hitachi Ltd ディジタルγ補正回路付液晶表示装置
US6100879A (en) * 1996-08-27 2000-08-08 Silicon Image, Inc. System and method for controlling an active matrix display
DE19857761A1 (de) 1998-12-15 2000-06-21 Philips Corp Intellectual Pty Monochromes Displaysystem mit verbesserter Graustufendarstellung
CN100545721C (zh) 2001-02-27 2009-09-30 杜比实验室特许公司 高动态范围显示装置
JP4114655B2 (ja) * 2003-11-12 2008-07-09 セイコーエプソン株式会社 輝度ムラの補正方法、輝度ムラの補正回路、電気光学装置および電子機器
US7590299B2 (en) * 2004-06-10 2009-09-15 Samsung Electronics Co., Ltd. Increasing gamma accuracy in quantized systems
JP4549762B2 (ja) * 2004-07-13 2010-09-22 シャープ株式会社 画像信号処理装置及び方法
US10013907B2 (en) * 2004-12-15 2018-07-03 Ignis Innovation Inc. Method and system for programming, calibrating and/or compensating, and driving an LED display
WO2008033476A2 (en) * 2006-09-15 2008-03-20 Thomson Licensing Light valve display using low resolution programmable color backlighting
KR101461024B1 (ko) * 2008-03-06 2014-11-13 삼성디스플레이 주식회사 표시 패널의 구동 방법, 이를 수행하기 위한 구동 장치 및이 구동 장치를 포함하는 표시 장치
JP5756404B2 (ja) 2008-09-30 2015-07-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ブライトネスで高ダイナミックレンジのディスプレイのための画像処理における適応ガンマの適用のためのシステムおよび方法、ならびにコンピュータ可読媒体
TW201021018A (en) 2008-11-21 2010-06-01 Chunghwa Picture Tubes Ltd Color correction method and related device for liquid crystal display
TWI517126B (zh) 2009-12-16 2016-01-11 杜比實驗室特許公司 使用影像資料區段統計屬性之背光控制方法與系統
CN102281446B (zh) * 2011-09-20 2013-07-03 西南交通大学 一种分布式视频编码中基于视觉感知特性的量化方法
EP2745507A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
EP2766894A1 (en) 2011-10-13 2014-08-20 Dolby Laboratories Licensing Corporation Methods and apparatus for backlighting dual modulation display devices
CA3114448C (en) * 2011-12-06 2023-06-27 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities
KR102118309B1 (ko) 2012-09-19 2020-06-03 돌비 레버러토리즈 라이쎈싱 코오포레이션 양자점/리모트 인광 디스플레이 시스템 개선
KR102178411B1 (ko) 2013-03-08 2020-11-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 광 변환을 갖는 이중 변조 디스플레이 기술들
US10057633B2 (en) * 2013-07-14 2018-08-21 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
WO2015050857A1 (en) * 2013-10-02 2015-04-09 Dolby Laboratories Licensing Corporation Transmitting display management metadata over hdmi
US9230338B2 (en) * 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
JP5995129B2 (ja) * 2014-09-22 2016-09-21 パナソニックIpマネジメント株式会社 再生方法および再生装置
WO2016063475A1 (ja) * 2014-10-24 2016-04-28 パナソニックIpマネジメント株式会社 送信方法および再生装置
US9819956B2 (en) * 2015-09-23 2017-11-14 Arris Enterprises Llc High dynamic range adaptation operations at a video decoder

Also Published As

Publication number Publication date
US20180261184A1 (en) 2018-09-13
US10679582B2 (en) 2020-06-09
KR102121676B1 (ko) 2020-06-10
KR20180041737A (ko) 2018-04-24
JP2018538556A (ja) 2018-12-27
WO2017053350A1 (en) 2017-03-30
JP6869969B2 (ja) 2021-05-12
CN108141508A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN108141508B (zh) 一种成像装置及在其显示面板前面产生光的方法
RU2728845C1 (ru) Устройство и способ улучшения обмена данными изображения на основе нелинейности восприятия яркости между разными возможностями отображения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant