CN109074775A - 数字图像处理链和处理块以及包括它们的显示器 - Google Patents

数字图像处理链和处理块以及包括它们的显示器 Download PDF

Info

Publication number
CN109074775A
CN109074775A CN201680084435.6A CN201680084435A CN109074775A CN 109074775 A CN109074775 A CN 109074775A CN 201680084435 A CN201680084435 A CN 201680084435A CN 109074775 A CN109074775 A CN 109074775A
Authority
CN
China
Prior art keywords
color
value
white
display
perception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680084435.6A
Other languages
English (en)
Other versions
CN109074775B (zh
Inventor
R·范贝勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bako SA
Original Assignee
Bako SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bako SA filed Critical Bako SA
Publication of CN109074775A publication Critical patent/CN109074775A/zh
Application granted granted Critical
Publication of CN109074775B publication Critical patent/CN109074775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Abstract

描述了一种感知量化的方法和系统,以用于提供电光传递函数(EOTF)的线性感知量化过程,用于将所接收的视频信号的数字码字转换成具有由显示器发出的光度的可见光,包括提供经量化的视频电平的目标对比度依赖型指数视频编码,藉此每个经量化的视频电平具有固定的相对光度增量,使得每个经量化的视频电平可见地具有相同的成比例的光度变化。

Description

数字图像处理链和处理块以及包括它们的显示器
本发明涉及诸如固定格式显示器之类的显示器的图像处理链,并且涉及用于提供电光传递函数(EOTF)的感知量化器,以及实现该处理链和该EOTF的显示设备,以及用于实现该EOTF和该处理链的硬件和软件。
背景
在诸如固定格式显示器之类的显示器的现有图像处理链中,最期望的特征之一可能是向设计添加功能块或特征而不必重新设计或重新配置现有处理块特征的可能性。存在与模块性的概念相关联的固有困难,即在特征被添加时保留系统的性能规范。
在保留系统性能规范的同时简单地添加特征而不对现有块重新配置或重新定尺寸可能导致次优的结果。
在大多数情形中,重新设计或重新配置信号数据路径中的一个或多个现有块是更有效的。一种在处理块被添加到视频链时保持在系统规范内的直截了当方法是通过对每个特征重新定尺寸,以便获得相比系统规范除以处理块的数量而言更好的个体性能。该概念在其中需要在系统级上满足多个规范的图像处理应用中并不是直截了当的。图像处理系统可具有各种规范,诸如:可接受的PSNR(峰值信噪比)、量化间隔的(感知)线性度、可区分的颜色量、灰度跟踪、颜色坐标、MTF(调制传递函数)、动态范围和对比度和/或类似物。因此,在流传输环境中(例如,在经由显示端口链路被发送到医疗监视器的图像流中)顺序地执行多个图像处理步骤的有效低延迟图像处理系统必须能够基于多个系统质量规范(诸如医学成像(诸如举例而言,对病理学而言)所需的)来自动地配置图像处理路径中的所有功能块。
遵从医学显示器的DICOM标准可被认为是被应用于灰度跟踪的系统级规范的专门情形。DICOM兼容的显示器需要将所接收的电信号值(例如,经由显示端口适配器接收的每颜色和每像素流的10位值)转换成经线性化的光度,以实现进一步的处理步骤,诸如必须在线性三色激励(tristimuli)上执行的色域映射。换言之,一些图像处理块需要每种颜色的对应于线性XYZ数据的线性光度值,如可以通过与国际标准化CIE 1931比色系统兼容的色度计或光谱仪测量的。
然而,在显示端口输入处接收到的值可表示经等距地10位量化的恰可察觉的差异值(被称为J-索引值)。在显示器具有1600:1的对比度和1000Nit的白色亮度的情形中,值为0的接收到的10位值表示约57的J-索引,而值为1023的最大接收到的值对应于约825的J-索引。实际上,这意味着每个10位输入的一个位的步进(例如从100到101的增量)应该对应于J-索引增量的一恰可察觉的差异的约3/4。人眼能够在符合以上所提及的规范的显示器上区分约825–57=768个亮度增量。归因于要么由显示系统要么由环境照明条件造成的对比度限制,由前57个J-索引值指示的57个最暗的可感知光度级别很难或不可能利用这些显示器且在这些查看条件下通过人眼感知。
所接收的10位经线性地量化的J-索引值通过使用如可以从图1中所指示的曲线创建的查找表而被转换为线性光度值,该图1是被储存在用于100Nit和1600:1的对比度的显示器的查找表中的电光传递函数或DICOM曲线的示例。
图1是针对给定对比度和黑色电平、针对10位输入、和针对经归一化的输出的等式1的示例。
可以看出,传递函数是十分非线性的。从J-索引到线性光的DICOM传递函数由如等式1中所定义的对数域中的多项式方程的一部分来近似。
j=log10(J)
L=10l=LfromJ(J)
等式1–根据DICOM标准从J-索引计算的光度
J索引值被初始地转换为其对数值(被表示为j)。j的值通过使用两个多项式方程的分数关系而被转换为光度的对数值(被表示为l)。最后,光度L被从其对数表示l计算为10的幂。曲线陡度中的大的变化迫使所需输出(读数据)位准确度远高于经由显示端口链路接收到的输入(读地址)位准确度。显然,高质量DICOM兼容的显示器应该保留由输入接收到的所有灰度电平之间的区别,甚至是在暗灰度电平中。
由于传递函数的陡度被限于约1/200,因此需要额外的8*位来保留所有经线性地量化的J-索引增量,因为最小陡度的二进制对数指示输入准确度中缺少的用来解析该区域中的灰度电平细节的位的数量。*8=-ceiling(log2(1/200))
为了在所有输入值之间进行区分,至少18位读数据的精度是必需的。该准则在例如诊断显示器中并不总是充分的,因为它没有指示关于量化间隔的线性度的任何事物。在优选显示器中实现的DICOM标准具有如图2中所指示的+-15%的相对光度增量(dL/L)的可容忍的非线性度。Y轴是每JND的误差百分比dL/L,X轴是JND索引。
DICOM传递函数的所允许的容差被标准化。针对每个个体10位输入间隔验证dL/L变化通常是不切实际的,这主要归因于被用来捕捉每个输出的设备(即,相机传感器),其通常具有很多噪声,以至于非常长的测量时间是必需的,尤其对于将噪声充分地整合用于暗灰度电平而言是必需的。如图2所示,在实践中,DICOM遵从性通过测量多个点(例如,17个点)来验证。
尽管不总是可测量的,但是在理想情况下,图像处理系统应该被定尺寸以保证对每个量化间隔而言dL/L容差低于15%,因为这将是通过检查所必需的,如图2所示。为了保留由输入接收到的所有灰度电平之间的区别(换言之,为了不丢失任何接收到的灰度电平细节),将每个间隔的dL/L容差设计为低于100%并用至少18位读数据总线来配置查找表就足够了。
为了保证通过DICOM遵从性测试,不管哪些及多少输入值被测量,都必需配置系统以获得低于15%的每间隔的dL/L容差,以及用至少20位读数据总线来配置查找表(即,当以具有1600:1的对比度比率的相同的1000-Nit显示器为目标时)。需要注意,只需要2个额外位的线性准确度来将基本颜色细节保留系统(用18位光度值不会丢失灰度电平)升级到每颜色每像素要求至少20位的DICOM完全兼容的系统。
大多数显示系统被校准为具有伽玛化的(gammatized)电光传递函数(EOTF)。例如,由LCD面板提供的所显示的光度可以与电输入值的2.4次幂成比例。尽管以上关于DICOM遵从性要求的讨论使得能够计算输入DICOM查找表所需的准确度,但是它们没有就视频处理系统输出所需的准确度进行详述。
基于FUN平台的最新一代医疗显示器允许将特定色域映射到由显示系统提供的本机色域。参见例如http://www.barco.com/en/Products/Displays-monitors-workstations/Medical-displays/Diagnostic-displays,诸如Barco Nio或Coronis显示器。
这主要由背光照明系统来确定,例如对用于背光的LED和漫射器、以及被附连到LCD面板的滤色器和偏振滤光器以及其他涂层元件的选择。目前可以在宽色域支持下制作显示设备,例如接近Adobe RGB 1998标准,请参见https://en.wikipedia.org/wiki/Adobe_RGB_color_space和RGB(1998)彩色图像编码的RGB(1998)彩色图像编码版本2005-05规范(加利福尼亚州圣何塞市公园大道345号ADOBE系统公司总部,邮编95110-2704)。
然而,源数据通常不利用与本机显示色域相同的色域进行编码。通常,sRGB色域(图3中的白色三角形)是优选的,因为这允许相机捕捉更多光,因为与Adobe RGB(图3中的黑线)相比更透明的滤色器可被使用,如带有D65白点的图3中所解说的。
色域映射可被认为是线性3x 3矩阵算子,其被应用于输入信号(Ri,Gi,Bi)的经线性化的三色度(tri-chromaticity)值,并且结果是每个输出颜色(Ro,Go,Bo)的一组线性光度值,如图4中所解说的。
这解说了如何实现简单的色域映射特征。通常需要3个步骤:
1)1D DICOM分布曲线LUT:对于感知量化器,DICOM表示必须被转换为光强度的线性表示。
2)矩阵变换基于所有3个输入值定义针对所有3种原色的线性光强度的唯一混合。
3)来自LUT的值被用来补偿面板非线性度
图4中的简单模块化图像处理路径的输出所需的精度可通过级联两个非线性传递函数从输入到输出所需的整体传递函数来被计算:a)从经线性地量化的J索引值到如由DICOM标准指定的经归一化的线性光度值的转换和b)从经线性地量化的归一化光度值到伽玛化的值的转换,其补偿显示系统的电光传递函数。图8解说了整体系统传递函数,它是用于具有1600:1的对比度且用2.4的伽玛来被伽玛化的1000Nit处的显示器的级联的DICOM曲线。
当不需要在线性光度域中进行处理时,诸如在其中不需要颜色校准的前几代医疗显示器的情况中,图5所例示的传递函数可通过连续地应用DICOM传递函数和逆伽玛传递函数来被实现在硬件中所储存的单个查找表(LUT)中,由此不仅降低了实现成本,而且还消除了截短中间光度值的需要。这是颜色分级的DICOM兼容的显示器与不带有任何颜色校准能力的显示器相比需要更高的中间视频处理准确度的主要原因。对两个分开的查找表的需要是由诸如色域映射之类的特征引起的,这些特征要求线性光度的表示。
图5示出了具有1000Nit光输出和1600:1的对比度比率的2.4-伽玛化的DICOM兼容的显示器的整体系统传递函数。图5中的传递函数未显示图1中可见的梯度中的极端变化。这并不奇怪,因为伽玛值为2.4的伽玛化函数可被认为是对近似感知上的线性编码的基本尝试。如果近似是完美的,则陡度将处处等于1。在所解说的系统中,10位输入需要18位中间处理以避免任何灰度细节丢失,而对输出总线而言仅需要12位。类似地,如图7中所解说,10位输入需要20位中间处理准确度以满足低于15%的每间隔的dL/L变化,而再一次对输出总线而言仅需要16位来准确地保留等距的量化间隔。
实际上,如图4中所呈现的简化的模块化图像处理路径存在一些问题。尽管具有1024个地址条目的1D DICOM分布曲线LUT在诸如FPGA器件(或其他加速器)等标准处理引擎中是完美地可实现的,但是补偿显示器的非线性度的S-LUT需要1048576个条目(2的20次幂),因为中间处理宽度是20位。虽然这样的LUT在诸如FPGA器件之类的大处理引擎中实现起来是可行的,但是其昂贵性使得更高效的办法是优选的。
图6示出了作为Y轴的百分比伽玛化的输出和作为X轴的百分比光度输入,用于伽玛=1/2.4的伽玛化的传递函数的经归一化的LUT的内容。可以看出,伽玛化传递函数在暗灰度电平中具有高且高度可变的陡度,而陡度在白色电平附近几乎恒定。因此,在黑色电平附近所需的位准确度远高于在白色电平附近。
发明概述
本发明涉及诸如固定格式显示器之类的显示器的图像处理链,并且涉及用于提供电光传递函数(EOTF)的感知量化器,以及实现该处理链和该EOTF的显示设备,以及用于实现该EOTF和该处理链的硬件和软件。EOTF适于在诸如固定格式显示器等中的处理链中使用,其允许在无需重新设计或重新配置现有处理块特征的情况下向设计添加功能块或特征,同时在特征被添加时保留系统的规范。
本发明在一个方面提供了一种感知量化器,以提供用于将所接收的视频信号的数字码字转换成具有由显示器发出的光度的可见光的电光传递函数(EOTF)的线性感知量化过程,该感知量化器包括:
目标对比度依赖型指数视频编码器,其包括用于提供经量化的视频电平的装置,藉由该装置存在每个经量化的视频电平的固定的相对光度增量,使得每个经量化的视频电平可见地具有相同的成比例的光度变化。
当提及特征“可见地具有相同的成比例的光度变化”时,可以从Barten人类视觉模型中理解“可见地”一词。
该处理利用伽玛函数的基于极限的变换,其中伽玛趋于无穷大。
感知量化器可以以软件算法的形式被实现在诸如FPGA之类的处理引擎中,例如,作为图像显示器的一部分。EOTF可被实现为从输入到输出的处理流水线,其中该流水线包括一系列的图像处理块。
完整显示系统的EOTF被应用于作为输入在显示器端口处接收到的信号,并且确定对应的光输出。
在本发明的各实施例中,连续图像处理块之间的互连通过将v的值(其中v或ν=归一化的视频(0=黑色,1=白色))从第一块传送到第二块来使用以上所描述的光度的表示,该光度的表示可通过诸如减法和乘法之类的计算来被相当容易地重建。
本发明的各实施例使用浮点地址编码和分段线性数据插值的组合。
这允许本发明的各实施例提供有效的处理,因为基于cv的L=(cv–1)*K可以在诸如举例而言FPGA之类的处理引擎内部的单个DSP块中被实现,其中v或ν=归一化的视频(0=黑色,1=白色)。
大多数图像处理步骤,诸如串扰补偿、均匀性校正、白平衡等等,要求线性光域乘以某些系数或权重(w)。
由于L=(cv–1)*K表示可以用来自cv的线性算子导出的线性光度,因此该表示实际上表示非归一化的线性光度。
由于当p=logc(w)时w*cv=c(v+p),因此没有必要为了将“权重”w应用于图像或视频信号而将cv转换为v(有时由ν表示)或反之,。
不需要光度的线性表示以便执行大多数图像处理步骤,这使得本发明的各实施例在图像处理资源的使用中非常高效。
本发明的各实施例可避免复杂的传递函数(例如,使用曲线拟合),这些复杂的传递函数在不使用大查找表的情况下不能够被转换回可处理的格式。相反,本发明的各实施例仅需要简单的线性操作。
本发明的各实施例提供作为在成本方面和质量方面之间的一种折衷的图像处理,并且避免了通过多个LUT的连续量化步骤。
通过使用浮点地址编码和分段线性数据插值的组合,可以在本发明的各实施例中取得非常准确和平滑的灰度跟踪实现。
在该实施例的一个实现中,通过用于1维传递函数的线性插值来执行插值。
另外,像素和子像素之间的串扰可被补偿。例如,每个输出子像素的经校正的值可基于与其邻居中的一些(诸如两个)的原始浮点编码值相组合的其原始浮点编码值来被计算。
在将视觉感知纳入考虑时,由浮点寻址实现为表示线性光度的视频数据的浮点表示的输出伽玛化LUT是非常有效的。
在一个实施例中的感知量化器可通过该公式来描述:
其中:
c=“感知对比度”,其是对目标动态范围的测量
v(或ν)=归一化的视频(0=黑色,1=白色)
结果是光度。
虽然该公式是从伽玛函数的基于极限的变换(其中伽玛趋于无穷大)导出的,但是结果是简单的公式,其中除了项c的v(视频)次幂:cv以外,所有元素都是常数。
该公式可以写成如下:
L=(cv–1)*K
其中常数K=1/(c–1)。
不存在贯穿图像处理流水线传播v(视频,有时由ν表示)之外的任何其他值的需要。
没有必要对常数值进行流水线操作,因为流水线内的所有抽头都将具有相同的值。
在权利要求书中定义了本发明的进一步的实施例。
附图简述
图1示出了被储存在查找表中的DICOM传递曲线的示例,亮度增量y轴是光度级别。
图2示出了DICOM灰度等级标准函数遵从性检查示例。
图3示出了sRGB(相机源)相对于Adobe RGB(显示器)色域和D65白点的关系。
图4示出了简单的模块化图像处理路径。
图5示出了具有1000Nit光输出和1600:1的对比度比率的2.4-伽玛化的DICOM兼容的显示器的整体系统传递函数。
图6示出了伽玛=1/2.4的伽玛化的传递函数。
图7示出了被转换为具有6个有效位和4个指数位的浮点数的20位线性自然值的示例。
图8示出了具有8位尾数和3位指数的浮点数到整数的转换的传递函数示例。
图9示出了具有8位尾数和3位指数的浮点数到伽玛化的整数(其中伽玛=1/2.4)的转换的传递函数。
图10.a示出了对应于线性LUT地址的由20个等距地散布的锚点之间的线性插值近似的伽玛化函数。
图10.b示出了对应于FP LUT地址的由20个非等距地散布的锚点之间的线性插值近似的伽玛化函数。
图11示出了具有浮点数表示的图像处理路径。
图12示出了R+G子像素相对于组合的各个个体电场。
图13示出了典型的扭曲向列LCD面板的子像素布置。
图14示出了乳腺病理学中的微钙化(以圆圈表示)。
图15显示了用来确保平滑和准确的灰度跟踪的图像处理路径。
图16示出了各种温度的黑体光源的色度以及标准化CIE 1931(x,y)色度空间中所示的恒定CCT的线。
图17示出了各种类型的白色的完美灰度跟踪。
图18示出了通过线性地混合黑色和白色的暗灰度色度跟踪。
图19示出了根据本发明的任何实施例的针对一个显示单元的各种白点的所需显示设置。
图20示出了基于3个连续子像素的每子像素的串扰补偿。
图21示出了其中应用了局部插值的被细分成锚点之间的较小立方体的RGB颜色立方体。
图22示出了每种颜色使用经插值的3D LUT的每子像素的串扰补偿。
图23示出了将(本地)3D RGB颜色立方体拆分成6个四面体。
图24示出了被拆分成6个四面体的RGB颜色立方体的替代透视图。
图25示出了作为P和E的函数的DICOM LUT数据偏移缩放(epsilon)。
图26示出了10位输入和17位输出的DICOM LUT数据计算示例。
图27示出了10位输入、19位输出的DICOM LUT计算和验证。
图28示出了用来确保针对10位输入的DICOM遵从性的图像处理路径。
图29示出了如由CIE1931标准定义的光谱灵敏度函数。
图30示出了通过多个监视器可显示的常见色域。
图31示出了CMF相对于CIE 1931色度表示。
图32示出了剪切在本机色域之外的颜色的色彩。
图33示出了被径向线性地转换成锥形的六边形金字塔形颜色空间。
图34示出了作为多个伽玛值的整数LUT地址的函数的经归一化的DICOM LUT数据(用浮点)。
图35示出了表示作为伽玛值的函数的DICOM LUT数据和输出伽玛化LUT数据以便避免颜色细节丢失所需的最小视频数据宽度。
图36示出了当所有视频宽度被最小化同时保留所有输入灰度电平时作为伽玛值的函数的最坏情形相对dL/L比率误差。
图37示出了表示作为伽玛值的函数的DICOM LUT数据和输出伽玛化LUT数据以便实现DICOM遵从性所需的最小视频数据宽度。
图38示出了当所有视频宽度被最小化以实现完全DICOM遵从性时作为伽玛值的函数的最坏情形相对dL/L比率误差。
图39示出了DICOM传递函数与对应于162的对比度的指数视频编码的比较。
图40示出了经指数地编码的DICOM传递函数。
图41是每指数宽度的浮点数传递函数与对应的最佳匹配指数视频编码的比较。
定义
电光传递函数(EOTF)描述了如何使用显示器电子数字和/或模拟组件将作为给显示器的输入信号的数字码字转换成可见光。伽玛校正已基于CRT设备。下一代设备可能明亮得多并具有更高的动态范围,并且将使用诸如LCD显示器、等离子显示器、LED显示器、OLEd显示器等不同的技术,因此需要更新现在可获得的伽玛函数。
Barten模型
在医学成像中,Barten模型被经常使用且通常被视作是有效的。Barten模型基于实验数据,其中眼睛与均匀背景的亮度值相适应,即所谓的可变适应状态(参见美国医学物理学家协会(AAPM),任务组18的医学成像系统的显示性能评估(Assessment of DisplayPerformance for Medical Imaging Systems)中的第80-81页)。可从http://deckard.mc.duke.edu/~samei/tg18_files/tg18.pdf处获取。该模型包含由等于目标平均亮度的亮度围绕的正弦波目标的阈值检测的所有方面。Barten的人类视觉系统模型考虑了神经噪声、横向抑制、光子噪声、外部噪声、有限的整合能力、眼睛的光学调制传递函数,以及方向和时间滤波。基于该模型,定义了被称为恰可察觉差异(JND)的单元。JND是在给定查看条件下平均观察者可恰好感知到的给定目标的亮度差异。JND是统计数据,而不是确切数量:JND是一个人在50%的尝试上注意到的差异。在医学显示器的上下文中,JND意味着平均观察者可以在显示系统上恰好感知到的亮度中(在两个灰度电平之间)的最小差异。如果两个灰度电平之间的亮度差大于1JND,则平均观察者将能够在这两个灰度电平之间进行区分。另一方面,如果两个灰度电平之间的亮度差小于1JND,则平均观察者将把这两个灰度电平感知为仅一个电平。
进一步参见:
Kimpe T、Tuytschaever T的增加医疗显示系统中的灰色阴影数量-多少是足够的?(Increasing the Number of Gray Shades in Medical Display Systems—How Muchis Enough?)。增加医疗显示系统中的灰色阴影数量-多少是足够的?(Increasing theNumber of Gray Shades in Medical Display Systems—How Much is Enough?)数字成像杂志(Journal of Digital Imaging)。2007;20(4):422-432。doi:10.1007/s10278-006-1052-3。
6.Barten PGJ.Physical model for contrast sensitivity of the human eye(人眼对比度灵敏度的物理模型)。Proc SPIE Int Soc Opt Eng.1992;1666:57–72。
7.Barten PGJ.Contrast Sensitivity of the Human Eye and Its Effects onImage Quality(人眼对比度灵敏度及其对图像质量的影响)。Bellingham,WA:SPIE Press;1999
处理引擎可被用于本发明的硬件实现中。处理引擎可被用于根据本发明的显示器中的一个或多个处理块中,以便实现处理链。一个或多个处理引擎可执行处理步骤。处理引擎可以是例如微处理器、微控制器或FPGA(例如,被适配成运行软件(即,用于执行功能的计算机程序))以及相关联的存储器(随机存取和非易失性存储器两者)以及寻址、编码和解码设备、总线和输入及输出端口。处理引擎可以与输入/输出端口和/或网络接口设备一起用于同网络或者同显示单元的数据的输入/输出。
所描述的设备(诸如显示系统)的元件或部件可包括在介质中被编码的用于执行任何种类的信息处理的逻辑。逻辑可包括在盘或其他计算机可读介质中编码的软件和/或在专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他处理器或硬件中编码的指令。
对软件的提及可涵盖用通过处理器直接或间接地可执行的任何语言的任何类型的程序。
对逻辑、硬件、处理器、处理引擎或电路系统的提及可涵盖被集成到任何程度的任何种类的逻辑或模拟电路系统,并且不限于通用处理器、数字信号处理器、ASIC、FPGA、分立组件或晶体管逻辑门等等。
说明性实施例的详细描述
将参照特定实施例并参考某些附图来描述本发明,但是本发明不限于此,而是仅由权利要求书限制。所描述的附图仅是示意性的而非限制性的。
此外,说明书和权利要求书中的术语第一、第二、第三等被用于在类似元素之间进行区分,而不一定用于描述顺序或时间次序。这些术语在合适的情况下是可互换的,并且本发明的各实施例可以以不同于本文中所描述或解说的其他顺序操作。
而且,说明书和权利要求书中的术语顶部、底部、上方、下方等被用于描述性的目的,而不一定用于描述相对位置。如此使用的这些术语在合适的情况下是可互换的,并且本文中所描述的本发明的各实施例可以以不同于本文中所描述或解说的其他取向操作。权利要求书中所使用的术语“包括”不应被解释为受限于其后列出的装置;它不排除其他元素或步骤。它需要被解释为指定所阐述的如被称为特征、整数、步骤或组件的存在,但不排除一个或多个其他特征、整数、步骤或组件或其分组的存在或添加。因此,表述“包括装置A和B的设备”的范围不应限于仅由组件A和B组成的设备。这意味着就本发明而言,该设备的唯一相关组件是A和B。类似地,应当注意,在说明书或权利要求书中也使用的术语“耦合”不应被解释为仅限于直接连接。因此,表述“耦合到设备B的设备A”的范围不应限于其中设备A的输出被直接地连接到设备B的输入的设备或系统。这意味着在A的输出和B的输入之间存在路径,该路径可以是包括其他设备或装置的路径。
所描述的设备的元件或部分可包括在介质中被编码的用于执行任何种类的信息处理的逻辑。逻辑可包括在盘或其他计算机可读介质中编码的软件和/或在专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他处理器或硬件中编码的指令。
对软件的提及可涵盖用通过处理器直接或间接地可执行的任何语言的任何类型的程序。
对逻辑、硬件、处理器或电路系统的提及可涵盖被集成到任何程度的任何种类的逻辑或模拟电路系统,并且不限于通用处理器、数字信号处理器、ASIC、FPGA、分立组件或晶体管逻辑门等等。
浮点数表示
本发明的各实施例通过使用硬件优化的浮点表示而不是“蛮力”线性整数编码来允许更有效地实现显示器的图像处理,这可降低DICOM分布曲线LUT的读取数据总线宽度,并且更重要的是降低伽玛化LUT或S-LUT的地址宽度。此类优化的中间光度表示优选地利用2个单独的LUT。
再次参考图6,以浮点格式呈现LUT地址添加了期望的属性,即数字越小,绝对准确度越高。浮点数表示实际上保持相对准确度恒定,因为这是由尾数宽度定义的,其是针对诸如伽玛化之类的指数函数的近似完美匹配。
浮点是具有固定数量的使用基数的“指数”进行缩放的有效数位(“有效位数(significand)”或“尾数”)的表示。用于缩放的基数可以例如是二、十或十六。可以使用三个二进制字段来表示浮点数(参见IEEE 754):一个用于符号位“s”,一个用于指数字段“e”,并且一个用于分数字段“f”(注意:在该表示中,尾数在该情形中是1+f)。
在诸如FPGA器件之类的处理引擎中,浮点数表示不限于例如浮点运算的IEEE标准(IEEE 754),其定义单精度格式和双精度格式的固定尾数和指数宽度。在根据本发明的各实施例的诸如基于FPGA的实现之类的处理引擎中,完全可以定义任何任意有效位数并将其与任何任意指数宽度组合。20位线性数可例如被转换为保留6个有效位和4个指数位的浮点格式,如图7中所解说的。
需要注意,与从J-索引到光度的DICOM传递函数不同,伽玛化函数不增加从其输入到其输出所需的位的数量。这是因为在传递函数中出现的最小陡度。因此,该特征的目的不是保留中间表示内的所有潜在颜色细节,而是准确地保留已作为系统输入处的经线性地量化的J-索引值呈现的颜色分级和灰度电平。因此,约0.417的最小陡度(其在白色电平附近出现的,因为伽玛函数(其中伽玛=1/2.4)的导数接近作为经归一化的白色电平的“1”)在输出处不需要3*额外位以保留所有中间量化电平。*3=-ceiling(log2(0.417))
线性20位数中的最高有效“1”的位置确定指数的值,并且定义哪些位被保留(被表示为“x”)在有效位数内以及哪些位被忽略(被表示为“z”)。需要注意,最高有效位不被保留在有效位数内,因为其位置和值已由指数确定。在图8中的示例中,原始的20位值(即,表示线性光度)被降低到仅9位(作为6位尾数的一部分的5位+表示指数的4位)。在该情形中,不需要符号位,因为这些是自然数。虽然对应的伽玛化-LUT仅需要512个条目(9位地址),但是输入的前64个值在无需任何截短的情况下被表示。这些是水平轴上的值,其中陡度在黑色电平附近高度可变,如之前图6所指出的。
本发明的各实施例使用具有“N”位的线性数量的浮点表示。线性位数中的最高有效“1”的位置确定指数的值,并且定义哪些位“x”被保留在有效位数内以及哪些位“z”被忽略。“z”可具有零的值:
在4个指数位的情形中,可以忽略多达14位,如图7解说的。
在3个指数位的情形中,可以忽略多达6位。
被忽略的位的最大数Zmax(对于最高指数值)可被计算为2的E减去2的幂,其中E表示指数位的数量。
需要注意,最高有效位不需要被保留在有效位数内,因为其位置和值已由指数确定。不需要符号位,因为这些是自然数。具有N位值的原始浮点表示(即,表示线性光度)可被降低为:
当E=2=>Zmax=2
当E=3=>Zmax=6
当E=4=>Zmax=14
当E=5=>Zmax=30
对于视频信号,E的有用范围例如是2<E<6。
使用视频信号的该种类的浮点表示的本发明的各实施例是非常有效的,尤其是在诸如FPGA器件之类的处理引擎中,因为它是指数编码的特殊形式。这与线性光度的指数编码有关系,其也通过作为图像像素数据值的感知线性编码的更好形式的伽玛化函数来执行。
由浮点转换执行的类似伽玛的传递函数在图8中被例示,图8例示了浮点到线性值转换,其中表示8位尾数和3位指数的10位浮点值被转换为其线性整数。
由于S-LUT旨在对图像处理系统输出进行伽玛化以便执行由显示器执行的逆电光传递函数(EOTF),因此以上所描述的类似伽玛的响应(其是浮点转换过程固有的)是有利的,因为它有助于最小化要被储存在LUT中的传递函数的陡度变化,如图9中所例示。
尽管所获得的函数的二阶导数明显是不连续的,但是从线性光度到伽玛化的输出的整体传递函数非常平滑,如图6中所例示。这是因为陡度中的突然变化补偿了与浮点转换过程内的指数值相关联的精确步长。指数的每一个增量(除了零附近的第一个特殊区间之外)对应于其传递函数的双倍陡度。
浮点转换是具有给定伽玛值的伽玛化的非常好的近似,因为用来储存指数的位的数量必须是自然数。其值被选择地越高,变换就变得更加的非线性。本发明的各实施例利用浮点转换的优点,同时接受陡度变化在S-LUT内永远不能够被完全地消除,而不管所选择的浮点数表示如何。
浮点转换提供了降低陡度变化的优点。例如,如图6中的伽玛变换(其中伽玛=1/2.4)将具有在黑色电平附近的约3250(具有20位输入值)的初始陡度,以及在白色附近的0.417的陡度,这是非常大的变化。图9中的浮点到伽玛化的线性值转换的浮点寻址的伽玛变换具有恰好在黑色电平之上的小于18的初始陡度(具有给浮点转换器的20位输入值),以及朝向白色的0.295的陡度,这导致更合理的变化并且表示显著的优势。
这种降低的陡度摆动对于确保平滑灰度跟踪而不增加大量DSP功率(例如,用于在被过宽地间隔的点之间的插值)和块RAM(即,用于储存LUT内容的随机存取存储器)而言也是一个优点。换言之,浮点编码过程有利于将模块化图像处理系统保持为负担得起的。
因此,浮点表示提供了在降低资源成本和功耗的同时提高系统的准确度和平滑度的优点,由此能够在诸如FPGA器件之类的实际处理引擎内处理更高分辨率的影像。浮点表示还对被由此构造成储存和操纵(寻址、编码和解码)此类浮点表示的显示设备的结构具有影响。
尽管如图7所解说的便宜且紧凑的浮点数表示能够完美地保留黑色电平附近的暗灰度细节,但是在一个实施例中,白色电平附近的平滑传递函数可通过降低水平轴上的采样位置的宽度来被改进。
例如,在本发明的一个实施例中,对成对的连续读取数据值应用分段线性插值克服了白色电平附近的这种限制。因此,本发明的各实施例可通过使用浮点地址编码和分段线性数据插值的组合来实现极其准确和平滑的灰度跟踪实现。通过利用图像处理库,该实施例具有准确地保留和正确地表示所有颜色和灰度电平细节的能力。这包括如何在最负担得起的实现中准确地保留灰度电平细节的知识。在该实施例的一个实现中,通过用于1维传递函数的线性插值来执行插值。这遵守诸如FPGA器件之类的现代处理引擎中的实际块RAM(随机存取存储器)大小,其提供足够的存储空间来储存从要被执行的传递函数中采样的足够数量的点,假设通过合适的浮点记号对“锚”点位置进行精选的散布。
图10.a和10.b解说了良好锚点位置散布的重要性。在这两个示例中,伽玛化函数(其中伽玛=1/2.4)通过20个锚点之间的线性插值来被近似。在图10.a中,这些锚点被等距地散布,对应于LUT的线性读取地址编码。另一方面,在图10b中,锚点被非等距地散布,对应于根据本发明的各实施例的LUT的浮点数(具有2位尾数)读取地址编码。
当比较图10.a和10.b中的2个传递函数近似时可以评估,图10.a中所示的伽玛化函数的经等距地散布的样本集允许在曲线的大多数部分中的精确伽玛化函数(被标记为虚线)的良好重建(被标记为实线),除了在黑色电平附近,其中相对线性重建误差在暗灰度电平处高达61%,其对应于1%光度。
通过将线性值转换为具有如在本发明的各实施例中使用的2位尾数的浮点数来补充经非等距地散布的样本集,图10.b中所示的伽玛化函数允许在曲线的最亮部分中几乎同样好地重建精确的伽玛化函数,但是允许在黑色电平附近的更好的重建,其中相对线性重建误差现在几乎为零。最坏情况下的相对线性重建误差发生在位置0.5和0.75处所采样的点之间,其中重建误差仍然保持在0.5%以下。
上面所选择的数字和示例是出于解说的目的,以突出数字格式以及因此如本发明的各实施例中所使用的模块化图像处理系统准确度上的锚点散布,但是涉及特定实现的选择且并非进行限制。在现实世界大小的LUT(例如具有1024个地址)的情况下,暗灰度跟踪可通过使用浮点数记号处理LUT来得到显著地改进。实际上,改进量类似于上面所解说的重建误差降低,但是暗灰度区域可被降低。换言之,改进是类似的,但针对的是较少数量的暗灰度电平。
在本发明的进一步的实施例中,在图11中解说了诸如适合于如具有准确且平滑的DICOM兼容的传递函数的基于FPGA的硬件实现之类的处理引擎的硬件实现10。该硬件实现可以是一个或多个处理块的形式,该一个或多个处理块包括例如一个或多个处理引擎(诸如被适配成运行软件(即,用于执行功能的计算机程序)的FPGA或微处理器)以及相关联的存储器(随机存取和非易失性存储器两者)以及寻址、编码和解码设备、总线和输入及输出端口。
图像或视频流的输入(即N位信号,例如10位输入信号11)由1D DICOM分布曲线功能(处理块)来处理,其相关的传递函数可由存储器或算术和/或代数处理器中的1维LUT 12来提供。经处理的输出被线性化为光度,例如,N+10位信号,诸如20位RGB信号。RGB信号是用于使用处理块和色域映射阵列14(例如,存储器中的3x3色域阵列)进行进一步处理的输入。输出是N+10位信号,诸如具有经线性化的光度和三色激励值(RO,GO,BO)的20位信号。在进一步的处理步骤16中,浮点转换(处理块)被执行。
一个输出是N位的浮点表示(例如,具有6位尾数和4位指数),其在处理步骤17(处理块)中使用非线性S-LUT来被处理,输出为2x N+6位(例如,2x 16位数据信号)。这两个输出被提供给分段线性插值步骤18(处理块)。浮点转换步骤16的另一输出使用N+4(诸如14位信号)来将插值系数提供给分段线性插值步骤18。来自分段线性插值处理块的最终输出19是伽玛化的N+6,例如,16位信号。
在该情形中,所需准确度的这些数字被计算以便符合DICOM标准。为了使每个量化间隔具有低于15%的dL/L容差,基于10位信号需要20个位。对于其他标准,可适用其他数字。
图11中的实施例通过组合6个尾数位(提供7位总有效位数准确度)和4个指数位用例如1024个条目(例如,任选地与输入DICOM LUT 12的大小相同)在存储器中实现伽玛化LUT 17。得益于分段线性插值18(处理块),转换过程不会丢失灰度电平细节。在图7中被指示为“z”位的位(即,“被忽略”)可被用于LUT读取数据之间的插值。
均匀性补偿
取决于颜色的均匀性处理即使在显示灰度电平影像时也可以被执行。即使在彩色显示器上显示黑白影像时,也可能需要以电子方式补偿白点颜色。通常,显示器需要匹配诸如由CIE标准定义的标准发光体的相关色温。示例是D93、D65或D55(分别为9300、6500或5500开尔文)。由于所有灰度电平应当在(x,y)空间中具有恒定的颜色坐标,因此定义白色电平的(x,y)坐标就足够了。例如(x=0.2831,y=0.297)与D93匹配,而(x=0.3127,y=0.329)对应于D65,其是“标准日光”。
通过分别为每个颜色分量定义系统传递函数的LUT-内容(在存储器中),补偿颜色坐标,甚至个体地补偿每灰度电平的颜色坐标是完全可能的。换言之:每种颜色都具有其自己唯一的LUT以及被储存在存储器中的其自己唯一的LUT内容,其保证所测得的Y(光度)和(x,y)值(相关的色温)与每个灰度电平的目标值相匹配。
目标Y电平优选地对应于DICOM分布曲线(被转换为光度的J-索引),而目标(x,y)相关的色温是恒定的(例如(x=0.3127,y=0.329))以匹配针对所有灰度电平(包括白色)的D65。
实际的显示系统不需要具有恒定的本机白色坐标。实际上,由于各种原因(诸如显示器变化,例如LCD的液晶层的厚度变化),(x,y)值可随着屏幕上的位置而变化。其他变化可能是滤色器密度、偏振滤光器内的缺陷、光源和包括背光系统内的漫射器的光学路径等中的微小变化。
由于(x,y)坐标的空间变化,因此并不总是能够准确地补偿LUT内的颜色坐标。本发明的各实施例可利用需要某种形式的非均匀性补偿(例如,空间变化补偿)的分开的图像处理步骤。
根据本发明的一实施例,可通过创建每种颜色的空间二维表面并接着将其值与视频数据相乘来执行非均匀性补偿的一阶办法。这可以通过在可负担得起的DDR存储器(双倍数据速率同步动态随机存取存储器(DDR SDRAM))内储存每子像素(例如,对于12兆像素中的每一者)的(例如,任选地经压缩的)校正值来完成并且读取值以及视频帧的扫描。也可以使用空间插值技术以便降低要被储存在DDR存储器中的经校准的数据集,或甚至完全消除添加DDR存储器的需要以及对IO(输入/输出)带宽的相应使用,因为处理引擎上(诸如FPGA的引脚上)所需的数据话务可能是成本驱动因素。
根据本发明的一实施例,可以通过对多个灰度电平执行独立校正来获得改进的非均匀性。例如,可以在多个灰度电平(诸如在从黑色到白色的范围中的8个灰度电平)处定义多个独立校正(诸如8个独立校正),使得可以在所有灰度电平上几乎完美地校准均匀性,因为分段线性插值被用于精心选择的锚电平之间。这些锚电平可例如在一定范围的光度水平处被设置,诸如以下(非限制性)光度水平:白色电平的0%、3.125%、6.25%、12.5%、25%、50%、75%和100%。本发明的各实施例包括每个子像素具有其自己的个体传递函数校正,其具有对应于与线性插值相组合的数量(诸如8个经非等距地采样的灰度电平)的诸如8个地址之类的数量。该功能性与已经描述了的OETF(光电传递函数)的各实施例非常类似,但是由于内容按每子像素来被刷新,因此内容有限。这些非均匀性补偿LUT(在存储器中)可按颜色来实现,因此每像素必须刷新3个内容,对60Hz的刷新率处的12M像素显示器而言,这对应于每秒7.2亿个刷新周期的LUT刷新速率。
每子像素的LCD串扰校正
本发明的各实施例可被应用于固定格式显示器或在毗邻像素或子像素之间展现串扰的其他显示器类型。例如,在LCD类型的医疗显示器中,出于两个主要原因,每子像素的LCD串扰校正即使在灰度电平影像上也是优选的。改进的图片清晰度和增强的局部对比度是补偿由毗邻像素之间的电场散布引起的正串扰的最明显的效果。这在具有相对高频纹理和精细细节的人或动物组织上尤其可见。第二个不那么明显,但几乎同样重要的串扰补偿目的是改进灰度跟踪准确度以及因此DICOM遵从性,尤其是当显示器设置为除其本机白点(诸如“Clearbase(透明基准)”、“Bluebase(蓝色基准)”、“D93”或“D65”)之外但也在显示器中心外部的展现串扰的区域中的本机白色模式中的白点时。这可以在诸如LCD面板之类的显示器面板上发生,因为空间上相关的LCD透射曲线和背光照明需要均匀性补偿,从而需要不同的R、G和B驱动激励。
在本发明的各实施例中,非均匀性补偿可被认为是经空间调制的灰度电平依赖型白平衡。结果,展现串扰的显示器(诸如LCD面板)接收不同的激励,即使对应于相等的接收的R、G和B值的未着色的灰色阴影也是如此。由于诸如LCD面板之类的显示器的相邻子像素内的电场之间的串扰,因此所应用的色彩平衡受到干扰。
例如,当红色子像素被分开地驱动时测得的颜色(在XYZ中)并不简单地与仅绿色子像素被驱动时测得的颜色相加以获得当红色和绿色子像素两者被同时地驱动时测得的颜色。因此,即使从所有测量中减去黑色电平,黄色也不是红色和绿色的总和,即电场是不同的。
在图12中,红色子像素是黑色,蓝色子像素是白色,而绿色子像素是灰色。参考图12,让我们假设在彩色显示器的第一行段中,照亮单个红色子像素,在第二行段中照射隔离的绿色像素,同时两个毗邻的子像素在靠右的段中被激活。图12中的虚线表示电场,而它们的厚度表示力或线的密度。需要注意,归因于两个排斥的毗邻场而与两个红色和绿色子像素相关联的场的非对称散布。
归因于相邻非均匀电场所造成的串扰伪像的物理复杂性稍微地改变了它们的形状且彼此稍微地吸引或排斥(见图12)并因此改变了取决于波长的子像素孔径,实际补偿系统是每子像素的多维LUT(在存储器中),包括处理块中的一些分段插值。所需的维数取决于子像素的邻域有多大,换言之,需要被考虑和被允许的是电场有多广泛地散布。
一阶近似将要求与子像素毗邻的两个维度中的所有子像素的信息被校正:与要处理的子像素数据相组合的靠左、靠右、靠上和靠下的子像素。这将需要每输出颜色5维LUT。然而,大多数实用的LCD面板具有类似于图13的(子)像素布置,图13将红色子像素示为黑色,绿色子像素示为暗灰,且蓝色子像素示为浅灰。
由于像素通常具有接近方形的尺寸,并且像素由诸如红色、绿色和蓝色子像素的多个子像素彼此并排组成,所以子像素区域可被认为是相比方形而言更加的矩形(参见图13),但是它们在子像素的组合中形成更加方形的像素(参见图13)。虽然这通常是描述真实子像素形状的粗略近似,但通常可更公平地说每种颜色的子像素可更好地被视为矩形而不是方形。因此,在一个方向上毗邻的子像素的大部分电场线之间的距离(诸如水平维度)远小于(诸如垂直地毗邻的子像素的)正交方向上的大多数电场线之间的距离。子像素之间的空间在一个方向上通常也更大,诸如在行之间相对于在诸如列之类的正交方向上,并且在此之上,可以相互作用的像素边缘在垂直方向上比在水平方向上更小。所有这些导致了以下结论:子像素串扰主要是在一个串扰方向(诸如行内的水平维度)上发生的现象。
毗邻像素最能影响彼此的场。因此,一阶近似仅需要一个串扰方向内的子像素的信息,其中列或行中的合适的一者,例如,与要校正的子像素毗邻的行:靠左和右的子像素与要被处理的子像素数据相组合。这仅需要被储存在存储器中的每输出颜色的3维LUT。
需要注意,在本发明的各实施例中,可以根据单个像素内的R、G和B激励来计算经校正的绿色子像素驱动电平。然而,为了计算经校正的红色子像素驱动电平,位于串扰方向上一个步长的(例如,靠左的)像素的B激励应当与当前被处理的像素的R和G激励一起被考虑。类似地,为了计算经校正的蓝色子像素驱动电平,在串扰方向上一个步长的(例如,靠右的)像素的R激励需要与当前被处理的像素的G和B激励一起被考虑。换言之,每输出颜色的3维LUT有效地充当每颜色的非线性3抽头滤波器,其中与抽头位置相关联的滤波器内核被每子像素地移位。
内核大小被选择得越大,或者等效地被馈送到LUT(在存储器中)的维度越多,则可被完美地表示的细节就越小。对于更小或更低分辨率或更低质量的显示器,增加串扰滤波器内核可能是有益的。
用于医疗用途的显示器优选地基于诸如高质量LCD面板之类的高质量显示器面板,使得即使最微小的特征也通过以下来被表示:实现三维LUT,提供足够数量的锚点的精选的分布,以及采用实际上无损耗的抖动(dithering)算法,以便将高精度灰度电平映射到LCD面板。例如,在乳房X线照相术中,搜索直径范围从4到7个像素的通常大小的微钙化需要显示器准确地表示这些灰度电平细节,如图14中所例示。
已经表明,根据DICOM标准,当这些微小细节的灰度等级表示是在靶上时,可以更可靠地检测此类微钙化,这只有在执行一些或优选地所有较早描述的图像处理步骤时才能够被实现,即使当显示器被构建在高质量(10位)LCD面板上时,如图15所解说的。该硬件实现可以是一个或多个处理块的形式,该一个或多个处理块包括例如一个或多个处理引擎(诸如被适配成运行软件(即,用于执行功能的计算机程序)的FPGA或微处理器)以及相关联的存储器(随机存取和非易失性存储器两者)以及寻址、编码和解码设备、总线和输入及输出端口。
参考图15,图像或视频流的输入(例如,面板20的N位输入信号21)由1D DICOM分布曲线功能22(处理块)来处理。经处理的输出例如是N+8位信号。然后将该信号输入用于白平衡步骤24(处理块)。输出是被提供用于在进一步的处理步骤26(处理块)中的多灰度电平均匀性补偿的N+9位信号。步骤26的输出是N+10位信号,其被提供给子像素串扰补偿步骤27(处理块)。该步骤的输出是N+11位信号,其在另一步骤28(处理块)中利用具有储存非线性曲线的离散值的PWLI LCD S-LUT(在存储器中)的LUT(在存储器中)来被处理。输出29是N+10位信号。
本发明的各实施例的一个方面是静态地在显示器上的任何地方准确且平滑地表示与输入J索引值相关联的所有灰度电平。图15的显示处理步骤(处理块)保证了屏幕上所有区域中所有灰度电平细节的良好静态表示,假设通常所需的多个位的额外精度(诸如10位(取决于亮度和对比度))可被完美地呈现在显示面板(诸如LCD面板)上。如以下将解释的,本发明的进一步的实施例基于压缩的感测提供抖动算法(处理块)。除了显示校准处理之外,这些也可被提供,诸如灰度跟踪、非均匀性补偿和串扰补偿。
用于所有类型的白色的3D颜色空间校准和灰度跟踪
给定足够大的区域内的恒定颜色,以上所描述的一阶串扰近似在准确地再现所有颜色方面与具有较高维数的任何系统(例如,具有5x 5内核)一样有效。实际上,如果大内核中的所有像素具有相同的R、G和B值,则将每种输入颜色的单个子像素应用于多维LUT(在存储器中)就足够了。
因此,每子像素的3D LUT(在存储器中)允许显示器的良好颜色校准,并因此使得能够对所有可能类型的灰度(诸如D93或D65)进行良好的灰度跟踪。实际上,在适当的情况下,几乎每种颜色都可被视为灰色,这取决于例如环境照明条件。实际上,光源的光谱需要与所谓的普朗克轨迹“合理地接近”,以便能够参考所谓的相关色温或“CCT”。
光源的一些示例解说了CCT的概念:
-清晰的蓝色极地天空的CCT在15000到27000K之间
-日光约有6500开尔文(标记为D65)
-电子闪光灯约为5700K
-月光约为4125K
-白炽灯约3000K
-烛光的CCT约为1850K。
所有这些光源具有与具有一定的温度的理想的黑体辐射器的光谱足够类似的光谱,如普朗克轨迹所示,其是连接对应于以开尔文表示的各种温度的黑体光源的(x,y)坐标的曲线,如图16所示。所有这些源(x,y)坐标都在其中恒定CCT的线(也在图16中被指示)可被有意义地定义的区域中。
因此,完全校准的显示器(其中所有颜色与其目标XYZ激励匹配)相当于一种显示系统,其中所有可能类型的白色与其目标(x,y)颜色匹配,并且其中所有对应的灰度电平根据期望的传递函数都是该白色光度的正确分数。
在DICOM兼容的显示器的情形中,以上阐述转换为:对于表示经量化的J-索引的每个输入值,给定白色和黑色电平,光度必须对应于DICOM传递函数(如等式1所示),而(x,y)颜色坐标必须保持恒定并与白点(例如D65)相匹配。该校准概念在图17被解说。
图17解说了根据本发明的一实施例的各种类型白色的灰度跟踪。对应于不同色温的坐标被近似以适合于附图中。在图19的表格中针对显示器的一个生产单元提供了实际示例的值。
理想情况下,针对位于连接黑点(k点)与图17中的目标白点(例如,D40、D55、D65、D73、本机白色)的虚线上的每个灰度输入值,(x,y)颜色坐标等于所选择的白点的色度。这些白点都位于图17所示的RGB颜色立方体的表面上(R=红色、G=绿色、B=蓝色、C=青色、M=品红色、Y=黄色、K=黑色、W=白色),因为在应用正确的背光光度时可以对驱动电平进行标准化。
深灰度色度跟踪
在黑色电平附近,当本机黑色和白色色度不匹配时,(x,y)坐标朝向本机黑色改变。取决于使用情形,对于本发明的各实施例,以下类型的解决方案之一是优选的:
-调整黑色以匹配白色色度。这涉及提高黑色电平,并因此导致显示对比度的损失,这不是优选的。
-灰度跟踪从一定的光度水平开始是完美的,例如相对于白色的5%。在该范围中,(x,y)值保持恒定。在黑色和5%之间使用了一些插值,但光度步长保持在靶上。
-灰度跟踪被定义为黑色XYZ和白色XYZ之间的线性插值(根据传递函数)。这意味着每个灰度电平都具有唯一的色度,但它随灰度电平平滑地改变(参见图18)。
黑点和白点的XYZ三激励值之间的线性插值不对应于整个光度标度中的(x,y)色度坐标的线性演变。由于白色电平更亮,它与黑色水平相比对(x,y)坐标的贡献很快变得更为显著。实际上,在高对比度显示器中,白点的色度几乎完全达到低至1%的白色电平的光度水平,如图18中的色度跟踪图所例示,图18示出了通过黑色和白色的线性混合而被获得的暗灰度色度跟踪(x,y)。需要注意,仅绘制了最暗的5%电平,以揭示从黑色色度到更亮的光度的曲线。
在图18中,暗灰度色度跟踪在黑点处开始,该黑点是在具有0.61087Nit的光度的(x=0.197,y=0.232)的实际生产单元处测得的。x和y曲线快速且渐近地过渡到在100%驱动电平下具有1000Nit的光度的所测得的本机白色色度(x=0.277,y=0.296)。大多数过度发生在最暗的1%内。在此处所解说的示例中,在低于约3Nit的光度水平下,色度是可见地不同的。在高于3Nit的情况下,观察者将无法看到与全白色电平的在色度方面的差异。
可感知(暗)灰度跟踪在图像处理块内需要足够的精度,这可通过较早描述的浮点表示来实现,并且本发明的各实施例另外不需要进一步的特别关注。
线性光度上的白平衡
图15的白平衡处理步骤24(处理块)基于线性光度而优选高精度,以便保留完美的灰度跟踪。具有背光的显示器(诸如LCD显示器)包括背光,并且该背光可以基于白色LED。相应地,优选调节相关的色温,例如,通过调制白平衡,相当于平衡表示对应的线性光度的红色、绿色和蓝色驱动电平。
每种种类的白色对应于某个(x,y)颜色坐标,其可通过混合(例如,相当于在其间插值)本机红色、绿色和蓝色(x,y)颜色坐标来获得。
需要注意,每个期望的白点可通过以至少一种颜色的最大光度的100%驱动该至少一种颜色来被实现,从而有效地使该颜色分量的动态范围不受影响。对应的归一化R、G和B驱动电平集是可能的,因为背光光度可被控制,如图19的右列所指示。对于该种类的背光技术,该技术保证了每个白点的优化的显示对比度。
根据本发明的各实施例的显示器的本机色度可以接近所谓的“clearbase”标准,这意味着所有3种本机颜色可被驱动成接近100%:R、G和B分别为96.9%、100%和93.3%。在这样的情形中,LCD背光需要输出1227Nit以便获得1000Nit的所测得的光度。该额外的背光光度主要被需要以为了补偿LCD面板的非均匀性以及仅部分地为了补偿红色和绿色子像素的降低的“驱动电平”。
当显示器被设置为5000开尔文的色温时,红色通道以100%被驱动,但绿色通道驱动被降低至62%,并且蓝色通道驱动仅为34.6%。由于在这样的情形中平均驱动电平被更加地降低,所以背光优选地提供更多的额外光(例如,2094Nit)以再次实现1000Nit。随着增加背光的光度水平成比例地增加图像处理中灰度电平表示的量化间隔,将背光光输出加倍大致需要额外的位来表示R、G和B激励的光度,以保留灰度跟踪的准确度和平滑度,假设加倍的黑色电平不对应于太多的J-索引值。
根据本发明的一实施例的被设计用于确保平滑和准确的灰度跟踪的面板的图像处理路径(处理块)(如图15中所解说)应当因此在执行白平衡时优选地添加至少1位的精度,以便保证不同的所选择的白点(诸如Bluebase或D65)的相同质量标准。
由于非均匀性补偿(处理块)可被认为是取决于灰度电平的经空间地调制的白平衡,因此相同的阐述在此处成立:优选地添加一些额外的精度。通过表征空间光度波动,可以计算所需的额外位的量。然而,实际上,对于通过合理的背光设计照明的高质量LCD面板,这些波动通常在70%至100%的范围内。例如,可以通过在视频信号路径中添加1个附加的准确度来保留灰度跟踪,如图15中所指示。
类似的推理可被用于通过图15中的串扰补偿处理步骤和块27来定义所需的准确度。通过表征由不相等的驱动电压(及对应的电场)造成的色差,可以计算在多维LUT内以及在图11的分段插值处理步骤(处理块)18期间执行非线性(3D)变换所需的额外位的量。实际上,假设所使用的插值方法被很好地定义并且足够数量的锚点在多维空间中被很好地散布,则可以通过添加1个附加的准确度来保留灰度跟踪。
这些组合的处理步骤(处理块)确保对于与图17中的虚线灰度跟踪线对应的所有白点(被标记为D40、D55、D65、D73的虚线)可以在显示器上处处实现类似于图18中所例示的曲线的色度跟踪。
DICOM校准处理步骤所需的精度
由图15中所解说的图像处理链中的任何模块化处理块添加的最大位数与1DDICOM分布曲线相关联,这是由于传输函数的某些部分的低陡度,如图1中所例示。
例如,根据本发明的一实施例,可以基于等式2中所定义的3个转换步骤来计算DICOM LUT(在存储器中)的内容:
-步骤1:首先是归一化的整数多位,例如,通过将黑色和白色电平的J-索引值纳入考虑来将10位输入(读取地址)转换为实际(非整数)J-索引值。第一步骤(处理块)可被认为是补偿光度和对比度的去标准化过程。
-步骤2:其次,DICOM传递函数使用等式1中定义的公式将J-索引值转换成(处理块)光度值。
-步骤3:最后,通过考虑黑色和白色电平的光度电平,将现实(非整数)光度转换为(处理块)归一化的N位整数值(读取数据值)。
L=LfromJ(J)
等式2-针对10位输入、N位输出所解说的1D DICOM传递函数
通过组合等式2中的3个步骤,获得从整数到整数值的转换(处理块)。可以基于量化间隔线性容差规范来计算输出位数N。如果DICOM LUT(在存储器中)被配置为独立模块而不考虑进一步的图像处理块,则可以通过将等式3的结果应用于等式2来容易地定义归一化处理。
Owhite(N)=2N-1
等式3-基于白色电平的次优化DICOM LUT数据归一化
为了保留完整模块化图像路径的如图2所例示的dL/L度量,这种用来计算与白色对应的整数读取数据值的直截了当的办法不足以实现完整图像处理路径的DICOM规范要求。等式3导致不太优选,例如,次优化模块而不是优化系统,因为相关联的偏移将需要被重新映射以容适位于图像处理路径中更远处的处理块的输入处可获得的偏移。
每个重新映射过程修改表示白色电平的整数。白色电平并不总是由其中所有位都等于“1”的N位值来表示,如等式3所示。尽管这对于“归一化的”显示输入值可能是正确的(其中10位值1023(对于红色、绿色和蓝色输入)对应于全白,无论目标光度和色度如何),但对于包括分段(线性)插值的查找表函数而言并非这种情形。
为了解说该实施例,再次考虑图15中的图像处理路径并对示意流程施加2个假设:
1)2)当显示器被设置为其本机白点时,可看出尽可能完美地保留灰度跟踪。因此,作为在DICOM分析块22之后的链中的下一个块的白平衡处理块24在该情形中不应当改变有效视频数据。该块将值乘以2,因为它需要添加1位精度以在其他情形中保留灰度跟踪。这意味着白平衡特征不影响等式3中的偏移(的计算),被表示为Owhite(O白色)。
2)非均匀性补偿(图15中的块26)不影响显示器的最暗区域中的白色电平,因为所有其他较亮区域取决于均匀性目标规范被处理以匹配“几乎”最暗的区域。这意味着非均匀性补偿特征(图15中的块26)不影响偏移计算(Owhite),因为未受影响的区域对应于表示白色的最高视频电平。该处理块26还将未受影响的值乘以2以保留精度,但是有效位保持不受影响。
这意味着必须将串扰补偿的输入偏移(因为这是图15的处理链中的下一个块27)纳入考虑以计算Owhite的值。如之前所描述的,串扰补偿(图15中的块27)可通过使用每输出子像素的3D LUT(在存储器中)来实现,该实施例如图20中所解说。
图20表示用于视频源的RGB子像素处理的电路60。
其假设视频图像以传统方式被从左上到右下进行扫描。它还假设每个时钟周期接收(和处理)1个像素。
这意味着每个时钟周期接收一个新像素,该像素位于先前接收的像素的右侧,唯一的例外是第一列像素,其在此处不被考虑用于串扰补偿。因此,当在图像的“中间的某点”处接收像素时,接着在下一个时钟周期,靠右的相邻像素被接收。
在第一步骤中,每输入像素的所有3个颜色分量被转换(处理块51至59)为浮点表示,例如具有3位指数值。
在第二阶段中,子像素与它们最近的邻居对齐,因为这些主要确定归因于相邻的电场的X-扰动伪像,如图12中所例示。
对于给定像素,红色子像素被定位成与同一像素(靠右侧)内的绿色子像素和前一像素(靠左侧)的蓝色子像素最近,蓝色子像素分量与2个其他子像素分量相比必须被延迟(寄存器64)额外的1个时钟周期。这通过以下事实来被反映在方案的上部:在蓝色分量路径中插入2个寄存器(63、64),同时仅1个寄存器(61、62)对红色和绿色子像素分量进行流水线操作。
类似地,对于给定像素,绿色子像素位于最靠近相同像素(靠右侧)内的蓝色子像素和相同像素(靠左侧)的红色子像素中,所有子像素分量必须被均等地延迟。这通过以下事实来被反映在方案的中心部分:在所有颜色分量路径中仅插入1个寄存器(65-67)。
互补地,对于给定像素,蓝色子像素被定位成与下一个像素(靠右侧)的红色子像素和相同像素(靠左侧)的绿色子像素最近,红色子像素分量与2个其他子像素分量相比必须被延迟少1个时钟周期。这通过以下事实来被反映在方案的下部:在红色分量路径(路径57到76)中不插入寄存器,同时1个寄存器(68、69)对蓝色和绿色子像素分量进行流水线操作。
在最后的步骤中,将每个颜色分量连同其最近的相邻子像素分量一起应用于3D功能(处理块72、74、76),其通常在具有分段插值的3D LUT中实现,诸如四面体插值。该LUT的内容由串扰校准过程确定。
如从图20可以理解,每个输出子像素的校正值是基于其原始浮点编码值与其两个邻居的原始浮点编码值组合来被计算的。由于LUT输入是3维的,因此锚点的数量被优选地约束以适合在实际(例如,FPGA)处理引擎内部。颜色立方体优选地被细分成较小的局部立方体,其角由3D LUT锚点限定,如图21所例示。
得益于浮点表示(例如,使用3位指数),每颜色维度仅需要储存诸如16个锚点值之类的有限数量,以实现针对所有白点的优异灰度跟踪校准结果,如图22中所指示。
图22更详细地解说了图20,并且优选地通过参考来被包括在图20中。该硬件实现可以是一个或多个处理块的形式,该一个或多个处理块包括例如一个或多个处理引擎(诸如被适配成运行软件(即,用于执行功能的计算机程序)的FPGA或微处理器)以及相关联的存储器(随机存取和非易失性存储器两者)以及寻址、编码和解码设备、总线和输入及输出端口。
输入是具有例如20位的线性光度信号Ro、Go、Bo。这在处理块42中被转换为每颜色的浮点表示。最后的步骤由来自串扰3D LUT处理块44的4个输出颜色坐标(每子像素)之间的四面体插值(提供输出48的块46)来表示。将被表示为浮点数的每个颜色分量连同其最近的相邻子像素分量一起被应用于具有四面体插值的3D LUT(在存储器中)(处理块46)。由于四面体插值需要从LUT(在存储器中)读取4个“锚”点,因此这在图22中通过4个体的箭头被可视化,从而将3D LUT与四面体插值器连接(处理框46)。每颜色的插值系数是从每颜色处理块42的浮点转换传送的,例如,从被忽略的z位导出。
3D插值方法对DICOM LUT所需精度的影响
由于连接本机黑点和白点的轴可能已通过S-LUT(例如,参见图5,以及图11的处理块17)基于被转换成高数量(960)的散布良好的锚点的大量的测量而得到精确地校准,串扰补偿不应当影响该线上的任何本机灰度电平。实际上,即使本机白点附近的白点需要小的校正,颜色立方体中的主对角线(连接本机黑点和白点的线)附近的灰度跟踪也会受到影响。这意味着位于主对角线附近的锚点位置处的颜色受到影响。如果在锚点之间使用三线性(tri-linear)插值,则主对角线将受到影响。这是因为每个角点影响2x 2x 2锚点之间的整个颜色立方体。被应用于主对角线附近的锚点的所需(小)校正将干扰灰度跟踪。如图23所例示地将每个彩色立方体分成6个四面体克服了该问题。
在图23中,K表示黑色、W白色、C青色、B蓝色、G绿色、R红色、M品红色、Y黄色,并且左边的第一幅图像表示具有顶点K+R+Y+W的四面体,并且下面的图像分别示出了四面体K+G+Y+W K+G+C+W K+B+C+W K+B+M+W K+R+M+W。
每个四面体由黑色(K)、白色(W)、单个原色(RGB)和单个次生色(CMY)的唯一组合来标识。
图23中的每个四面体都具有4个角点(图24中的替代透视图)。它们中的两个总是局部最黑点(K)和局部最白点(W)。另一点是局部最原色点(最红色时为R、最绿色时为G、最蓝色时为B),并且最后一个角与局部最次生色点相关联(当最黄色时为Y、当最品红色时为M或当最青色时为C)。
颜色立方体中有3种次生色;这些中的每一个由两种原色组成或包括两种原色。这导致已被例示出的(参见图23)6个四面体,其可通过“透”视黑色到白色的主对角线(以及轴方向)来被可视化。
对于每个子像素,基于4个锚点计算针对每种颜色(C)的校正:局部最黑色点K、局部最白色点W、最主原色点P、以及最后是最次生色点S。基于所谓的菱形四面体几何,等式4给出了这些锚点中的每一者的贡献(k,w,p和s)。
k=1-Maximum(r,g,b)
p=Maximum(r,g,b)-Median(r,g,b)
s=Median(r,g,b)-Minimum(r,g,b)
w=Minimum(r,g,b)
O(r,g,b)=k.K+p.P+s.S+w.W
等式4-基于被储存在LUT中的四面体插值的3D锚点的每子像素的颜色校正值
等式4指示最原色(P)的贡献(p)取决于R、G和B的最大值和中值之间的差异。由P表示的校正对应于最红、最绿或最蓝角点(R、G或B)中的校正,这取决于哪种颜色具有最高的局部重量(r、g或b)。局部权重(r、g和b)对应于要被拆分的局部颜色立方体内的经投影的3D输入位置坐标。当r是最高的坐标值时,则P=R,当g是最高的坐标值时,则P=G,并且当b是最高的坐标值时,则P=B。
类似地,最大次生色(S)的贡献(s)取决于R、G和B的中值和最小值之间的差异。校正S对应于最黄、最品红或最青色角点(Y、M或C)中的校正,这取决于哪种颜色具有最小的局部重量(r、g或b)。当r是最小的坐标值时,则S=C,当g是最小的坐标值时,则S=M,并且当b是最小的坐标值时,则S=Y。
当r、g和b的最大值确定要选择的原色点P并且最小值确定要选择的次生色点S时,r、g和b值的排序过程确定所选择的四面体。实际上,该排序操作只存在6种可能的结果(现在假设r、g和b值全部是唯一的),每种结果都导致一个唯一的对应四面体。
R、g和b值的排序过程的6种可能结果与下面的四面体相匹配(与图24中的图示的次序相匹配):
当r>g>b=>四面体角是K+R+Y+W
当g>r>b=>四面体角是K+G+Y+W
当g>b>r=>四面体角是K+G+C+W
当b>g>r=>四面体角是K+B+C+W
当b>r>g=>四面体角是K+B+M+W
当r>b>g=>四面体角是K+R+M+W
符号“>”可以被解释为“更大”或者在此任选地也被解释为“大于或等于”,如下面将说明的,从而指示当两个局部输入坐标相等时发生的情况。作为示例,假设r=g,同时它们两个都大于b,则上面列出的前两组条件都为真。在该特定情形中,前两个四面体内的插值(K+R+Y+W和K+G+Y+W)产生相同的结果。这可以从等式5中进行评估,该等式5与等式4相同,但是被拆分成对应于6种可能的排序结果的6种离散情形。
1)
2)
3)
4)
5)
6)
等式5–针对6个四面体的插值的颜色校正等式
当坐标r和g相等而它们两个都大于b时,前两个部分插值方程确实产生相同的结果O(r,g,b)。这两个四面体共享3个角点,但是最原色点是不同的:分别为R和G。然而,当r和g坐标相等时,该原色点的贡献为零,因为它等于两个相等项之间的差。换言之,位于分隔两个相邻四面体的边界表面上的颜色坐标导致最黑色角点K、最次生角点S和最白色角点W之间的三角插值。无论所选择的四面体如何,输出结果都将是相同的,因为结果是通过3个公共角点之间的三角插值获得的。由两个相等的最大坐标值定义的3个公共三角形边界在等式6中被例示出。
1)
2)
3)
等式6-具有相等的2个最大坐标的三角插值等式
类似地,当坐标r和g相等同时它们两个都小于b时,第四和第五部分插值方程产生相同的结果。这两个四面体共享3个角点,但是最次生色点是不同的:分别为C和M。然而,当r和g坐标相等时,该次生色点的贡献为零,因为它等于两个相等项之间的差。该示例导致最黑色角点K、最原色角点P和最白色角点W之间的三角插值。由两个相等的最小坐标值定义的3个公共三角形边界在等式7中被例示出。
1)
2)
3)
等式7-具有相等的2个最小坐标的三角插值等式
当r=g=b时,类似的推理是可能的。在所有3个坐标相等的情形中,等式5的所有6个部分方程产生相同的结果。最次生色和最原色角点没有贡献,并且所获得的结果对应于最黑色点和最白色点K和W之间的线性插值。当r、g和b相等时,所有三角形及它们的对应的等式导致相同的等式。连接最黑色和最白色点的线是3个三角形共享的唯一的线,并且对应的插值由等式8给出。
公式8-具有3个相等的坐标的K和W之间的线性插值
由于连接本机黑点和白点的线已被精确校准,因此串扰补偿中的插值过程不应该影响位于该线上的任何本机灰度电平,即使在主对角线周围的锚点需要(小)校正时也是如此。等式8解说了将立方体拆分成6个四面体得到针对所有的共同的等式:跨主对角线分布的锚点之间的线性插值。由于该线始终对应于从K到W的局部线,因此该插值技术不会干扰导致S-LUT的较早校准的面板非线性度。这是选择基于四面体的插值方法的最重要的原因。
由等式5至8定义的不同情形产生每子像素的输出激励的连续函数O(r,g,b)。换言之,可导致不同的所选择的四面体的输入颜色坐标中的微小变化不会在颜色再现中引入不连续性,这意味着选择正四面体的决策过程对图像噪声不敏感。
对于所有这些等式5至8,可以容易地验证所选择的角点的权重之和总是等于1。四面体、三角形或线K-W内的插值始终被归一化。保证恒定的权重之和所需的精度等于1维所需的精度,因为表示权重的所有项是坐标的线性组合。这是基于四面体的插值相对于如公式9中所解说的基于立方体的三线性插值的另一重要优点。
O(r,g,b)=K.(1-r).(1-g).(1-b)
+R.r.(1-g).(1-b)+G.(1-r).g.(1-b)+B.(1-r).(1-g).b
+Y.r.g.(1-b)+C.(1-r).g.b+M.r.(1-g).b
+W.r.g.b
等式9-基于被储存在LUT中的三线性插值的3D锚点的每子像素的颜色校正值
三线性插值具有对局部颜色立方体的所有角点的同时贡献:最黑色点(第一行)、所有3个最原色点(第二行)、所有3个最次生色点(第三行)、以及最后最白色点(最后一行)。对于每个角,权重由3个项的乘积获得。每个角的权重始终是所有3个坐标的函数。为了保留角权重的归一化和,当使用三线性插值时,必须以比使用较早描述的四面体插值时更高的精度计算插值权重。
图22中的所解说的示意图实现了16x 16x 16LUT(在存储器中)。来自块42的每种颜色的浮点视频值的4个最高有效位被用来寻址存储器中的3D LUT 44内的“锚”点。这4个位对应于3位指数,与尾数的最高有效位相组合。在该示例中,尾数的16个最低有效位被用于插值,其对应于等式4至8中的r、g和b的值。
如果使用三线性插值,则锚点数据的“权重”将需要3乘以16位的中间精度;总共48位。值r、g和b表示0和1之间的经归一化的数字。等式9中的任何乘积(诸如r x g x b)需要48位的分子除以常数分母:2的48次幂。
在使用四面体插值的情形中,锚点数据的权重需要16位的相同中间精度,因为所有权重都通过利用公分母的减法来获得:2的16次幂,参考等式5。
经自适应地选择的基于菱形四面体的插值技术当在显示器中被实现时不需要针对DICOM处理块的额外的准确度和相关联的偏移范围(如等式2的最后一步所指示),这是在本发明的各实施例中所实现的插值技术的又一个显著优点。
浮点地址编码对DICOM LUT所需精度的影响
输出偏移以及因此对应的白色电平仅取决于被储存在串扰LUT(例如,图22中的块44和图28中的37)内的每维度的锚点的数量以及与被储存在DICOM LUT(例如,图11和15的处理块12、22和图28的块32)中的数据位数相组合的浮点编码指数参数,如等式10中所解说的。这最终提供了等式2中出现过的缺失因子Owhite
Owhite(N,E,P)=2N
等式10-取决于串扰补偿的DICOM LUT白色电平输出
等式10的实施例反映了DICOM LUT读取数据输出的白色电平如何取决于串扰补偿配置。参数P表示被储存在3D LUT内的每维度的锚点的数量,而参数E指示被用来表示作为浮点数表示的一部分的指数值的位的数量。必须计算用于编码DICOM数据的位数(N),以实现同DICOM规范的遵从性。一旦确定了Owhite的值,线性光度的量化间隔就唯一地取决于N。
确定Owhite的第一步(如公式10所解说)从P的向上取整的(ceiling)二进制对数(每维度的锚点数)中减去表示浮点指数E的位数。然后将该结果和0的最大值表示为2的幂,以表示phi。
第二步将每维度的锚点数量P减去1(每维度的最后一个锚点索引)除以phi的值,并且将向下舍入的(floor)结果再次与phi相乘,并从P-1中减去该结果。这相当于所谓的模运算:P–1modulo(模)phi。将Phi添加到该结果中以获得psi的值。
第三步通过将其值除以大于或等于psi的二的最小次幂来对psi进行归一化。被表示为epsilon的结果可被认为是实际值,其缩放DICOM数据的输出偏移。
表示对应于白色的线性光度的经量化的白色电平的Owhite的值通过等式10中的最后一步获得。它的值取决于epsilon,其最终取决于P和E。在该特定情形中,这产生了与等式3中提出的结果非常不同的等式。
对于P的前24个可能值和E的前5个可能值,图25中解说了取决于参数P和N的epsilon值的行为。需要注意,每维度P的锚点数必须至少为2以便定义变量函数。
对于小的P值,偏移缩放不是必需的,因为最大范围需要乘以1。在该特殊情形中,输出白色电平是对等式3所指示的值的约束。在所有其他情形中,等式10提供经量化的白色电平。
现在,epsilon的值在等式10中得到解决,并且Owhite仅取决于所选择的数据宽度,可针对所选择的读取地址宽度计算DICOM LUT读取数据输出值,再次参考等式2中的3个计算步骤,因为所有量化过程都是已知的。这在图26中解说。
显然,第一步期间计算的值取决于与输入位深度对应的可用地址数:例如,对于10位输入1024个值。这些值中的每一个表示经标准化的目标J-索引值。值0对应于与绝对黑色电平匹配的J-索引值(在该情形中J=57.17302876),而值1023对应于与绝对白色电平匹配的J-索引值(在该情形中J=825.0084584)。通过这两个电平之间的线性插值获得所有其他目标J-索引值,换言之,所有量化间隔在感知上是相等的。该去标准化步骤匹配具有1600:1的对比度且白色光度为1000Nit的显示器。
第二步计算每个列出的J-索引的目标光度值(用Nit表示)。需要注意,最大目标光度值不等于1000Nit,但大约多10%。该余量对应于非均匀性校正所需的动态余量(headroom),因为显示器的中心必须稍微衰减一点,以便实现跨显示器的均匀的光度电平。
第三步基于Owhite的值对目标光度值进行归一化,这取决于值epsilon,如图28所指示。在每维度储存16个锚点并且使用3位指数的情形中,0.75的值被获得。然后通过将2的17次幂乘以epsilon的值来确定17位白色电平输出值:Owhite=131072x 0.75=98304。
如图26中所解说的读取数据宽度不是通过巧合来选择的。前几个读取数据增量中的许多增量等于1,这是可能与读取数据增量相关联的最小可能整数增量。这意味着读取数据宽度等于最小可能值而不会引入颜色损失。在医疗级别监视器的情形中,这是大多数用例的最低质量规范,但它不一定涉及完全的DICOM遵从性。
DICOM验证方法及其对所需LUT数据位深度的影响
很明显,利用图26中所示的读取数据精度,一些量化间隔是其他量化间隔的两倍。例如,从0到1的第一个增量仅对应于从1到3的下一个增量的一半。这引入了强非线性量化间隔,这至少是不期望的。为了达到DICOM标准,该读取数据宽度是不足的,因为DICOM遵从性要求相对光度增量(dL/L)的非线性度低于+-15%,如图2所例示。
如前所述,由于导致长测量时间的相机传感器噪声,因此验证每个个体10位输入间隔的dL/L变化是相当不切实际的,特别是为了将噪声充分地整合在暗灰度电平中。问题在于显示器内部的背光光度或温度变化中的波动将干扰在过长时间段期间所获取的测量样本并导致数据不一致。因此,通常在实践中,通过测量几十个(诸如17个)经等距地散布的灰度电平来粗略且快速地验证DICOM遵从性,如图2中所解说。
然而,技术上可以在彼此附近采样多个灰度电平并且应用具有非等距地分布的灰度电平的从黑色到白色的扫描。
假设对应于连续数字驱动灰度电平的传输电平被一些物理定律“限制”并且对应的传输曲线及其前几阶导数显示出显著的连续性,则本发明的各实施例可以使用稀疏采样技术,例如通过测量是32或33的倍数的所有灰度电平。在10位输入的情形中,32的适用倍数是0、32、64、96......、928、960和992,而33的适用倍数是0、33、66、99......、928、960和992。组合这两个系列导致这一系列的灰度值:0、32、33、64、66、96、99、128、132......、891、896、924、928、957、960、990、992和1023。
当与现代数学技术相组合时,这种稀疏采样分布可提供出色的函数重建属性。其原因在于,两个单独的经等距地散布的序列都不能捕捉全显示传输函数的所有细微差别,因为并非所有数据都被采样。当使用一个单独的经等距地散布的序列的子采样数据来重建全显示传输函数(其是LCD之类的显示器前面的输入电平和光度之间的关系)时,即使应用了高级(高阶)插值方法,也会引入插值伪像。
当应用能够在传输曲线内重建小的局部趋势(具有快速变化但仍然是连续的传递函数导数)的尖锐插值过滤技术时,由于欠采样过程,因此不可能避免所谓的混叠伪像。另一方面,当应用能够避免这些混叠伪像的平滑插值滤波器时,不再可能重建传输曲线内的小的局部趋势。这反映了基于所谓的针对采样的奈奎斯特准则的信号重构。在该情形中,要重构的信号是所测得的LCD面板传输或作为线性驱动灰度电平扫描的函数的对应的光度。
通过组合两个等距系列中的灰度电平,可以抵消与等距子采样相关联的大多数混叠伪像。两个等距地散布的序列的混叠伪像可被认为是传输曲线内的被错误地引入的(局部)趋势。对于每个样本系列,这些错误趋势可被分解为许多频谱分量。频谱内的频率对应于某个灰度电平间隔的倒数,诸如上述示例中的采样频率32和33。虽然光谱混叠分量通常对于两个系列示出非常类似的幅值,但是由于样本的不同放置,它们在相位上是不同的。
关于每灰度电平的每频率的相位有多不同的知识使得能够应用相位滤波以获得与另一个系列相对的一个系列的处于相反相位的每个频谱分量。这解释了为什么与“常规”重建技术相比,基于该种类的经非等距地散布的子采样的颜色分布曲线重建可提供优异的结果。因此,即使在(最终)涉及DICOM遵从性的验证的校准过程期间,也应该优选地在可能的情况下使用该子采样方法(或具有相同或类似的期望属性的另一种非等距散布的子采样技术)。
由于上面提到的灰度电平的系列包含数字32和33,因此该间隔的相对光度增量(dL/L)的非线性度应当低于+-15%。为了实现任意子采样分布的DICOM遵从性,理想情况下系统应被设计成保证所有间隔的感知量化间隔变化低于+-15%。
另一种常用的子采样分布是抖动(jittered)采样技术,其相当于扰动的等距采样。取代采样或测量经等距地散布的灰度电平0、17、34、51等的光度,某些类型的噪声(白噪声、高斯噪声、布朗噪声......)被添加到系列中。抖动采样近似于所谓的泊松(Poisson)分布式采样,其已经在多个数据采集系统中被提出作为掩蔽混叠伪像的最有效的子采样方法。
对于2维中的有效子采样,有证据表明人眼中央凹区域外部的稀疏视网膜光感受器细胞根据所谓的泊松-盘分布来分布。根据达尔文的进化理论,连接我们大脑内部的视觉皮层的人眼必须被认为是一种有效的图像采集系统,并因此该种类的采样分布可以被认为是“自然”抗混叠技术的一部分。显然,也可以使用真实的泊松采样技术来激励显示器,以便测量其电光传递函数,并因此最终验证其DICOM遵从性。
考虑到上述DICOM遵从性验证技术的示例,最重要的问题是:需要哪个DICOM LUT读取数据宽度才能针对每次验证实现“通过”且因此适合于本发明的至少一些或实施例?为了获得相对于具有1000nit光输出和1600:1的对比度的显示器的绝对光度的+-15%变化的容差内的感知上相等的量化间隔,假设前面描述的串扰补偿具有每子像素(每个子像素由具有3位指数的线性光度的浮点表示寻址)在3D LUT中存储了的每维度的16个锚点,则读数据需要19位来表示与表示经量化的J-索引值的地址相匹配的线性光度,如图27所中所解说。
当比较图26和27中的读数据时,可以看到每个地址增量的读数据增量中的差异。尽管17位读取数据导致前10个灰度电平的增量步长为1或2,但是19位的读取数据精度导致5相对于6的变化。为了计算相对于绝对光度的这种变化,与图26相比,在图27中添加了两列。首先计算理论dL/L值,然后基于经量化的图像处理路径计算dL/L。需要注意,对于等于0的输入,L相对于先前的地址值没有增量,因此表格中的这些条目被标记为“不适用”。通过比较两个值,由于量化引起的相对误差可以在右列中被计算为百分比。需要注意,可以找到的最高绝对值等于13.11%,其低于15%的阈值。
这导致以下结论:上述图像处理链具有能够通过任何DICOM遵从性测试的精度。
由于使用线性光度的色域匹配而需要的高精度
到目前为止,已经讨论了作为模块化图像处理路径和处理块的一部分的白平衡,如图15所示。但是,白色不是可能需要被映射到特定目标的唯一颜色。显示器可能需要匹配完整的色域,包括原色和次生色(如图28所示),其应用了上面讨论的所有总线宽度。该硬件实现可以是一个或多个处理块的形式,该一个或多个处理块包括例如一个或多个处理引擎(诸如被适配成运行软件(即,用于执行功能的计算机程序)的FPGA或微处理器)以及相关联的存储器(随机存取和非易失性存储器两者)以及寻址、编码和解码设备、总线和输入及输出端口。
参考图28,图像或视频流的输入是N位输入信号,例如,面板30的10位输入信号31由1D DICOM分布曲线功能32(存储器中的LUT且由处理块执行)来处理。经处理的输出是N+9位信号,例如19位信号。然后将该信号输入用于色域映射步骤34(处理块)。输出是被提供用于在进一步的处理步骤36(处理块)中的多灰度电平均匀性补偿的N+10位(例如,20位)信号。步骤36(处理块)的输出是N+11位(例如,21位)信号,其被提供给子像素串扰补偿步骤37(处理块)。该步骤的输出是N+12位(例如,22位)信号,其在另一步骤38(处理块)中利用具有储存非线性曲线的离散值(在存储器中)的PWLI LCD S-LUT的LUT(在存储器中)来被处理。输出39是N+4(例如,14)位信号。
为了执行色域映射,19位的高DICOM LUT读取数据精度是必要的,因为必须基于线性光度表示来执行该特征。由于DICOM传递函数(处理块32)是高度非线性的并且感知量化间隔的变化受到DICOM规范的约束,因此需要高精度的视频数据。简单的白平衡(参见下文)不需要这样的线性光度表示,并因此图像处理路径可以用低得多的精度来实现,同时仍然保持同样良好的DICOM兼容的灰度跟踪。
人类视觉系统(例如,由Barten模型近似的)具有多种类型的光感受器。当组合由不同类型的感受器接收的信号时,人类视觉系统(例如,由Barten模型近似的)很好地匹配线性三激励系统。因此,CIE-1931标准将每个激励的光谱灵敏度函数认为是常数,如图29所解说。
每个三激励值X、Y和Z通过光谱能量的加权和来被获得,并且通过在波长(lambdaλ)上对能量进行积分而在数学上被计算为积分,如等式11所定义。
等式11-从功率谱到X、Y和Z值的转换
作为波长(lambdaλ)的函数的功率(P)乘以如1931年由CIE(CommissionInternational de l'Eclairage(国际照明委员会))定义的光谱灵敏度函数(x、y和z)。完整(可见)光谱的经积分的结果产生X、Y和Z值。XYZ三激励背后的基本思想在于,当2个光谱对应于相同的XYZ值时,它们在人眼看来是相等的。尽管这对于峰值能量谱(诸如窄带LED光源)来说并不完全正确,但它足够准确,因为色域映射的目的是将显示器校准到某个固定的色域。
表示在人眼看来相同的颜色的相等XYZ激励涉及:具有不同原色光谱的2个显示器可表示相同的颜色,只要该颜色适合在两个本机色域内。两个显示器可能需要红色、绿色和蓝色主要光度的不同混合,以在感知上获得相同的颜色。
一般校准显示器时,目标色域的选择至关重要。显然,人们可能更喜欢使用具有本机色域的每个个体显示器,因为这样最大化颜色细节而不会牺牲任何输入颜色。然而,这导致不一致的显示器,因为每个个体的显示器可能对于相同输入激励显示一种独特的颜色。在大多数专业应用中,这是不可接受的。
在制造显示器系列时,可以表征通过给定类型的所有个体显示器可显示的最小色域。在保证100%颜色一致性的同时,这降低了所有显示器的色域,甚至是颜色最少饱和的“最差”显示器。
图30中的黑色、灰色和白色三角形显示了x、y色度图中3个虚拟显示器的色域。红色三角形示出通过3个个体显示器可实现的可能的线性目标色域。可以清楚地评估,这种公共色域比每个个体色域小得多,这意味着该校准方法并不总是优选的。
黄色六边形显示了通过所有3个个体显示器可实现的另一种可能的目标色域,该黄色六边形从标记为“黄色”的差不多水平的线开始,然后向右上方与红色三角形的顶点(右下角)相遇,然后陡峭地向左上方平行于黑色三角形的一边,直到它遇到一个白色三角形和黑色三角形的边的交叉点,在这之后,它跟随白色三角形,直到它到达红色三角形的顶点(顶部),在这之后它与黑色三角形的一边平行地下降,直到它遇到与白色三角形的一边的交叉点,在这之后它跟随白色三角形,直到它接合标记为黄色的起始线。这种六边形色域仍然比每个个体原始显示色域小得多,但与红色三角形相比,能够准确地表示更多的色彩。由于次生色不再是原色的线性组合,因此具有这种色域的显示器应该被认为是色度上非线性的(colorimetrically non-linear)。但是,对于给定的色调(color hue)值,显示器对于所有着色和阴影的值都表现为线性。
光源由具有一定的色调(红色、黄色、绿色、蓝色、蓝色和品红色)、某种色彩(类似于饱和度)和一定的亮度或光度来表征。当色域降低时,这会影响色彩值,因为对可显示色域的边界处的色彩而言,该值为100%。然而,色域的降低可保留色调和光度值。
在制造了某种显示器类型的beta系列之后,可以表征该系列中所有显示器可显示的最小色域,并且甚至可以预见“共同”色域的一些余量以适应将来的各个个体显示器。尽管保证了将来制造的大多数显示器的颜色一致性,但是该方法并不完美,因为优选尽可能宽地保留色域。在老化的显示器中也不可能保证共同的色域。
有时需要超出色域处置的另一个原因是以下事实:有时使用与CIE 1931不同的XYZ三激励系统,诸如眼睛灵敏度锥基,也称为CMF或颜色匹配函数。这些眼睛灵敏度锥基是使用在1931年尚不可获得的窄带光谱测量的。这些曲线最近被CIE接受,但(尚且)未在大多数标准测量设备中实现。
这些CMF曲线提供了与人类视觉感知的更好匹配(近似于Barten模型),并且对应于与CIE 1931相比的不同色域。因此,用CIE 1931坐标中表示的本机色域内部的颜色不一定位于以CMF坐标表示的本机色域内部。
与CMF和CIE色度坐标相关联的不同色域意味着当基于CIE 1931标准使用测量设备时,给定的目标色域可以完美地适合显示器的本机色域,而当测量设备基于CMF色度坐标测量时,一个或多个原色可以超出色域,或反之亦然。
所有这些导致的结论在于,对于某些时间点的某些个体显示器,必须用来表示(略微)在本机色域之外的颜色的解决方案,无论使用哪个色度坐标。换言之:目标色域可以在本机色域的外部具有原色。当在这种情形中,应该优选地剪切所谓的色彩,如图32所指示。
理想情况下,应使用最可能接近的可显示颜色来替换色域外的颜色。考虑图32中黄色三角形所指示的色域。想象一下,理想的目标蓝色原色坐标由被指示为经感知地校正了的色域外的目标蓝点表示。为了表示对应的颜色,需要混合正数量的本机绿色和本机蓝色,但与负数量的本机红色相组合。由于不可能产生负数量的红光,因此该颜色超出可显示的色域。
通过简单地忽略负贡献,目标点将在本机红色坐标的方向上移动,直到该线与本机色域相交的点(由标记为“本机显示器色域”的点指示)。然而,这不是最接近的可显示匹配,并因此可能不是最优解决方案。
尽可能保留色域颜色的更好办法是在本机显示器色域上正交地投影色域外的坐标。这种更接近的可显示颜色可通过在第一步中增加目标颜色的饱和度来获得,从而使得该新目标颜色甚至进一步超出色域。经感知地校正了的色域外的点位置表示原始目标颜色,而“更饱和的”点表示更饱和的版本。选择确定更饱和点的位置的额外饱和度的量,使得该经修改的目标原色位于两条直线的交点处:
-将白点与原始感知地校正了的色域外的目标原色点互连的线。
-穿过本机红点和本机显示器色域点的经正交地投影的最接近的可显示表示的线。
由本机显示器色域点表示的颜色是在比色上最接近原始目标点的点,其在物理上是可能的且因此是最可能符合所指定的容差(诸如EBU(欧洲广播联盟)所指定的容差圆)的点。
到目前为止,医疗级别显示器还没有标准化的原色容差规范。然而,在显示器内部实现的色域匹配原理将很可能证明提供最优的颜色渲染。这是由以下证据来驱使:被照明的组织中的许多人工制品通过它们不同量的反射和/或光吸收来被识别。在后期生产环境中,颜色分级器通常通过将颜色与白色混合(即所谓的着色处理)来表示更多的反射,而通过将颜色与黑色混合来获得更多的吸收(即所谓的阴影处理)。
位于色域边界(诸如图30中的黄色六边形)处的颜色坐标可被认为是最多色彩的。所有颜色都可被表示为最大色彩颜色、黑色和白色之间的插值。上述色域映射方法对应于所谓色彩的归一化步骤,同时其保留阴影和着色的线性度。
通过个体地线性变换RGB彩色立方体的6个四面体(如图23和24所示),立方体可被变换成六角形金字塔,并进一步被径向线性地转换成锥(如图33所示),其中K代表黑色,W代表白色,B代表蓝色,R代表红色,G代表绿色,C代表青色,M代表品红色,Y代表黄色。
左图像上的M、R、Y和G点之间的红色轮廓,而右图像中的完整曲线M、R、Y、G、C、B到M再次对应于最大色彩的线。具有无限对比度的理想显示器将在整个颜色平面(包括黑点)内具有最多色彩的颜色,因为与黑色(XYZ=0,0,0)的混合将不改变色彩但是简单地衰减光度(Y)并保留颜色(x,y)。因此,即使对比度有限,将黑点置于与原色和次生色相同的平面中的变换作为具有相对少量黑色的混合(即所谓的阴影,几乎不影响色彩)也是有意义的。另一方面,在六边形金字塔和锥顶部表示的具有相对少量白色的混合(所谓的着色)显著地影响色彩。
有时,颜色空间被可视化为锥体,以将具有恒定色彩的颜色表示为圆形。该变换是恒定色调平面内的线性缩放,但缩放因子随色调而改变。
由于最多色彩的红色轮廓内的每个点表示一种原色和一种次生色的混合,因此通过阴影和着色获得的锥体内的每个点是四种颜色的线性组合:一种原色(P)、一种次生色(S)、黑色(K)和白色(W)。考虑到色彩的标准化,基于所谓的菱形四面体几何,等式12给出了这些颜色点中的每一者的贡献(p,s,k和w)。
该等式指示所选择的原色(RP,GP,BP)的贡献(p)取决于Ri、Gi和Bi的最大值和中值之间的差异。原色坐标(RP,GP,BP)对应于原生红色、绿色或蓝色原色的颜色坐标,这取决于哪个输入颜色刺激Ri、Gi或Bi具有最高值。类似地,所选择的次生色(S)的贡献(s)取决于Ri、Gi和Bi的中值和最小值之间的差异。次生色坐标(Rs,Gs,Bs)对应于原生黄色、青色或品红色次生色的颜色坐标,这取决于哪个输入颜色刺激Ri、Gi或Bi具有最小值。
当Ri、Gi和Bi的最大值确定原色点(RP,GP,BP)要被选择并且最小值确定次生色点(RS,GS,BS)要被选择时,Ri、Gi和Bi值的排序过程在六边形金字塔内确定所选择的四面体。该排序操作只存在6种可能的结果(现在假设Ri、Gi和Bi值全部是唯一的),每种结果都导致一个作为六边形金字塔的一部分的唯一的对应四面体。
Ri、Gi和Bi值的排序过程的6种可能结果与6个四面体相匹配,每个四面体由4个角点定义:K+R+Y+W、K+G+Y+W、K+G+C+W、K+B+C+W、K+B+M+W和K+R+M+W(匹配附图中图解的次序)。每个角点可被表示为三激励值:黑色(RK,GK or BK)、白色(RW,GW or BW)、红色(RR,GR orBR)、绿色(RG,GG or BG)、蓝色(RB,GB or BB)、黄色(RY,GY or BY)、青色(RC,GC or BC)和品红色(RM,GM or BM)。
所选择的原色由三激励值(RP,GP or BP)表示,并且所选择的次生色由(RS,GS orBS)表示。类似地,所生成的输出三激励值在等式12中被表示为(RO,GO,BO)。
k=1-Maximum(Ri,Gi,Bi)
p=Maximum(Ri,Gi,Bi)-Median(Ri,Gi,Bi)
s=Median(Ri,Gi,Bi)-Minimum(Ri,Gi,Bi)
w=Minimum(Ri,Gi,Bi)
等式12-基于六边形金字塔形颜色空间中的归一化色彩的每子像素的色域映射。
通过将一定量的灰色(RGrey,GGrey and BGrey)添加到最多色彩的颜色(RColor,GColorand BColor)的量来获得每个输出激励RO、GO和BO。这些激励中的每一个都被归一化的范围0到1内的中值函数和约束钳制。该方法保证对最多色彩的彩色进行略微地阴影或着色,即使它位于本机色域之外,也会以线性方式可见地影响输出结果。即使添加少量灰色也将影响输出,因为无论原始色调如何,起始点始终位于可显示的色域内部。此外,这还保证了原始色调通过阴影或着色过程被以比色方式保留。
通过在对应于6种可能的排序过程结果的6个离散情形中拆分单个等式,可以重写色域映射等式。由于排序结果被标记为“大于或等于”,因此当多个输入激励(Ri、Gi和Bi)相等时,6种情形彼此重叠。
如可以容易地验证的,当输入激励Ri、Gi相等而它们两者都大于Bi时,前两个部分插值等式确实产生相同的结果(RO,GO,BO)。这两个四面体共享3个角点,但本机原色点不同:分别是红色(RR,GR or BR)和绿色(RG,GG or BG)。然而,当Ri、Gi输入激励相等时,该原色点的贡献为零,因为它等于两个相等项之间的差。
在被变换为六边形金字塔的该颜色空间中,位于分隔两个相邻四面体的边界表面上的颜色坐标导致本机黑色角点K(RK,GK or BK)、所选择的本机次生色角点S(RS,GS or BS)和本机白色角点W(RW,GW or BW)之间的三角插值。无论六边形金字塔内的所选择的四面体如何,输出结果都将是相同的,因为在两种情形中结果都是通过3个公共角点之间的三角插值获得的。
1)
2)
3)
4)
5)
6)
等式13-每四面体拆分的色域映射等式
由两个相等的最大输入激励定义的3个公共三角形边界在等式14中示出,这是上面详述的等式的特殊情形。
1)
2)
3)
等式14-使用等于2个最大输入激励的三角插值进行色域映射
当输入激励Ri和Gi相等同时它们两个都小于Bi时,等式13中的第四和第五部分插值方程产生相同的结果。这两个四面体共享3个角点,但所选择的的次生颜色是不同的:分别是青色(RC,GC or BC)和品红色(RM,GM or BM)。然而,当输入激励Ri和Gi相等时,本机次生色的贡献为零,因为它等于两个相等项之间的差。该示例导致本机黑色(K)、本机原色(P)和本机白色(W)之间的三角插值。由两个相等的最小输入激励定义的3个公共三角形边界在等式15中被例示出。
1)
2)
3)
等式15-使用等于2个最小输入激励的三角插值进行色域映射
类似地,当Ri=Gi=Bi时,等式13的所有6个部分等式产生相同的结果。本机次生色和本机原色没有贡献。所获得的结果对应于本机黑点(K)和本机白点(W)之间的线性插值。当Ri、Gi和Bi相等时,所有三角形及它们的对应的等式导致相同的等式。连接本机黑点(K)和本机白点(W)的线是3个三角形共享的唯一的线,并且对应的插值由等式16给出。
等式16-灰度输入电平的色域映射
由于位于连接本机黑点和白点的线上的本机灰度电平已经由S-LUT精确地校准,因此色域映射中的插值过程不应当影响位于该线上的任何本机灰度电平,即使在校正对本机原色和次生色而言必需时也是如此。等式16解说了将六边形金字塔拆分成6个四面体得到针对所有的共同的等式:本机黑点和白点之间的线性插值。这种色域映射方法不会干扰导致S-LUT的较早经校准的面板非线性度,并且这是选择基于四面体的插值方法以将本机色域与目标色域相匹配的重要原因。
由等式13至16定义的不同情形产生每子像素的输出激励的连续函数(RO,GO,BO)。换言之,可导致六边形金字塔内部的不同的所选择的四面体的输入激励中的微小变化不能够在颜色再现中引入不连续性,这意味着选择正四面体以用于色域映射的决策过程对图像噪声不敏感。
仅匹配白点时所需的精度
对DICOM LUT数据进行伽玛化
在某个用例不需要绝对比色色域校准的情形中或者当显示器不需要支持任何需要比色色域控制的用例时,可以通过对中间图像处理格式进行伽玛化来降低本发明的各实施例的实现成本。
线性比色色域匹配可以由在一组Ri、Gi、Bi输入值上操作的3x3矩阵来表示,从而产生一组RO、GO、BO输出值。在仅执行白平衡调整的情形中,仅位于矩阵的主对角线上的元素与零不同,如等式17所示,其中右边的伽玛指数指示色域转换值。
等式17-执行白平衡补偿的色域转换器
值RW、GW和BW表示对白点有贡献的每个个体原色的权重。如图所示,在唯一的白点校正的特定情形中,矩阵可以由3个个体等式代替。因此,可以使用伽玛化的原色激励编码来执行操作,因为输出(RO,GO,BO)的伽玛化(或纯功率)函数可跨视频激励(Ri,Gi,Bi)及其权重(RW,GW,BW)分布,如等式17中的最后等效表示所示。
由传递函数的某些部分中的小陡度造成的本发明的各实施例中所描述的1DDICOM分布曲线必须添加的位的数量可以如图18所示被显著地降低,因为现在基于4个转换步骤来计算DICOM LUT的内容:
-步骤1:首先归一化的整数10位输入通过将黑色和白色电平的J-索引值纳入考虑来被转换(处理块)为实际(非整数)J-索引值:去标准化过程。
-步骤2:其次,DICOM传递函数将J-索引值转换成(处理块)线性光度值。
-步骤3:第三,通过考虑黑色和白色电平的光度水平来将光度值标准化(处理块)到Ln
-步骤4:最后,将实际(非整数)伽玛化的光度转换(处理块)为归一化的N位整数值(读取数据值)。
在等式18中,伽玛γ是伽玛值。
L=LfromJ(J)
Output=OfromL(L)=Ln 1/γ.Owhite(N)
等式18-针对10位输入和N位输出所解说的伽玛化的1D DICOM传递函数
由于读取数据值在归一化的整数量化之前被伽玛化,因此可选择伽玛的值以获得最佳质量/资源比率。当整体传递函数的最小陡度被最大化时,最平滑的灰度跟踪(尤其是在暗灰度电平内)被获得。
图34示出了每LUT地址储存在存储器中的归一化DICOM LUT数据,以用于多个伽玛化(以不同的伽玛值)。如图34所示,暗灰度电平的传递曲线的陡度随着伽玛的值而增加,而白色电平附近的陡度随着伽玛值的递增而减小。
图34中的底部曲线表示对比度为1600:1且亮度为1000Nit的显示器的DICOM传递函数。如前所述,LUT数据精度要求至少17位,以便不会因为暗灰度电平中的非常小的陡度而丢失任何灰度电平。LUT数据被伽玛化得越多,传递曲线在原点(黑点)开始得越陡,且因此需要用来避免颜色损失的精度越小。
图34中的上部曲线表示值为4的伽玛化。可以注意到,对于传递函数的上部95%,组合的传递函数(DICOM+伽玛化)是相当线性的。这部分地指示DICOM LUT数据需要最小量的位。由于LUT地址具有10位的精度,因此绝对最小数据宽度为11位,因为在所有输入值有效且可区分的情形中,任何非线性变换需要至少1位额外的精度。
表示DICOM LUT数据以便在改变伽玛值时不丢失任何颜色细节或灰度电平所需的位数的演变如图35所示,图35示出了最小DICOM LUT数据宽度和输出LUT数据宽度,以避免作为伽玛化的函数的颜色损失。
图35中的曲线表示中间视频数据宽度,其是表示给定伽玛化的DICOM LUT数据所必需的。在没有伽玛化的情况下,当伽玛的值等于1时,需要17位精度以避免灰度电平的颜色的损失。当伽玛为1.9时,所需的精度被降低到12位LUT读数据。对于高于3.1的伽玛值,绝对最小可达视频数据宽度被实现。
线性光度的最佳浮点表示
尚未将对该度量作出贡献的一个重要方面纳入考虑:尾数和指数的浮点编码精度。由于当具有8位尾数和3位指数的浮点数被转换为整数值时,图9中的传递函数示例已经指示:该转换过程是纯指数函数的分段线性经插值的近似。
无论用于表示尾数和指数的精度如何,从任何归一化的浮点数提取的线性值始终是纯指数函数的分段线性近似,其可以由等式20表示。
等式20-近似来自归一化的浮点值的线性提取的纯指数函数
任意浮点值将指数(作为最高有效位)与尾数(作为最低有效位)组合并形成单个整数值,可将被归一化为标准浮点数f,该浮点数具有独立的任意精度,其中1表示最大原始数量。该f的值表示等式20中的常数的幂,其中通过减去1将黑色电平归一化为0,并且其中通过等式中的分母将白色电平归一化为1,以便获得整数值i。
常数c的值是显示器的对比度的函数。确切地说:其相当于伽玛传递函数内用于无限的伽玛值的有限对比度。“c”的符号也可被用于表示对比度。这可以从等式21中的伽玛传递函数导出。
L=vγ
等式21-纯伽玛化的视频函数
当归一化的视频电平v(或由ν表示)被单纯地伽玛化时,光度L也被伽玛化。在该情形中,对应于黑色电平的光度是0,其对应于无限对比度。为了在伽玛传递函数期间将对比度纳入考虑,可以将偏移应用于视频电平,同时相应地衰减视频电平,以使白色电平不受影响。该对比度补偿在等式22中被解说。
L=[K+(1-K).v]γ
等式22-具有偏移K的视频的伽玛化函数
黑色电平偏移值K应用视频电平的缩放以保留白色电平。等式22不保留黑色电平视频输入(当v=0(或由ν表示)时)的归一化的输出L。为了获得表示光度L的完全归一化的LUT输出,必须从等式22中减去黑色偏移。由于这会影响白色电平输出,因此必须使用白色电平输出来缩放结果。
等式23-具有偏移K的视频的完全归一化的伽玛化函数
等式23中的分母执行归一化白电平所需的缩放。其表示归一化的白色光度减去归一化的黑色光度。显示器对比度可被表示为该视频偏移值的函数。
等式24-作为具有完全归一化的伽玛化的视频偏移K的函数的对比度。
对比度越高,视频偏移电平K就越小,如等式24所解说。偏移值随伽玛值的增加而增加。在等式24中获得的视频偏移电平K的结果可以取代等式24中的K的值,其提供等式25。
等式25-给定对比度的完全归一化的伽玛化函数
在等式25中从视频电平v(或由ν表示)到归一化的光度L的传递函数具有2个参数:伽玛的值和对比度。有趣的是,伽玛的理想值不会收敛到2至3之间的范围中的预期值,但是dL/L度量的最佳值是针对无穷大的伽玛值获得的,而对比度值c在100:1和1000:1之间的预期范围中的某处。该意料外的结果可通过评估无限伽玛值的L的数学极限来得到解释,如公式26中所解说。
等式26-经归一化的对比度补偿的伽玛化和纯指数归一化的视频编码的等价性
这种相等导致了一个重要的结论:由于可以针对伽玛化的视频信号调整白平衡,而不管伽玛值如何,因此如本发明的各实施例所描述的指数编码也适用于这样的处理步骤。由于诸如白平衡调整之类的中间视频处理步骤也影响黑色电平(由对比度定义),因此应当在初始处理步骤之后从信号中移除(减去)经处理的黑色电平。
经归一化的对比度补偿的伽玛传递函数可被认为是用来表示线性光度的通用视频电平编码,因为它不仅能够容适纯伽玛传递函数而且还能够容适纯指数传递函数,这取决于伽玛和对比度的参数值的选择。
通过在几个步骤中评估等式27中的偏差,可以容易地验证等式26中的这种相等性。
等式27-经归一化的对比度补偿的伽玛化和纯指数归一化的视频编码的等价性的证明
纯指数视频编码等价于每个经量化的视频电平具有固定的相对光度增量,换言之,每个量化电平具有相同的成比例的光度变化。因此,指数视频编码可被认为是感知地优化数字视频信号的每比特熵(即作为DICOM传递函数的本质的属性)的良好方法,如等式1中所例示。
尽管经量化的J-索引值的DICOM表示不允许执行图像处理的某些步骤(诸如白平衡控制),但是指数视频编码可被用于这样的任务,因为它等价于伽玛化的经对比度补偿了的形式。因此,更详细地比较两种传递函数是有意义的,如图39中所例示,图39示出了相比于指数视频编码的DICOm传递函数。
在图39中,指数视频编码公式(参见等式26)内的对比度值被求解为162:1的值,以便最小化两个传递函数之间的RMS误差。在该情形中,对于每个经量化的视频电平,光度增加达几乎正好0.5%。需要注意,经比较的DICOM传递函数对应于1000Nit的白色光度和1600:1的对比度。
当指数视频编码公式(参见等式26)内的对比度值被设置为约250:1的值时,DICOM曲线被最好地近似用于暗灰度电平。在该情形中,每量化电平的光度增加约0.54%。换言之,该DICOM传递函数从指数函数演变,其中从暗电平中0.54%的相对增量到在亮电平中0.50%的相对增量。通过将每量化间隔的相对增量值保持恒定在0.50%处,DICOM传递函数的非常良好的近似被获得,但是与DICOM表示不同,其能够进行诸如白平衡控制或色温之类的校正。
由于指数视频编码证明是DICOM传递函数的非常有用的近似,因此将其反函数应用于DICOM传递函数应当导致具有有限的曲线陡度变化的几乎笔直的函数。逆指数视频编码传递函数在从上面的比较中使用的数据表示D开始的等式28中被导出。所提取的视频电平v表示对应于中间LUT数据输出的经指数地编码的光度,其表示线性归一化的光度。
等式28-逆纯指数归一化的视频编码
在对应于DICOM标准的10位视频输入的情形中,可以通过组合等式19a和28来计算LUT数据输出,由此在等式29中
Lwhite(L白色)表示最大视频电平的光度(10位视频编码的情形中为1023),而Lblack(L黑色)表示最小视频电平(0)的光度。
L(i)=LfromJ(J(i))
等式29–对归一化的DICOM传递函数的指数编码
亮度Le的指数表示与作为10位视频输入被应用的归一化J-索引具有近似线性的关系,如图40所解说,图40示出了如由本发明的该实施例获得的经指数地编码的归一化的DICOM传递函数。
该实施例通过指数视频编码提供了对DICOM传递函数的非常好的表示。根据本发明的各实施例的线性光度的浮点表示非常适合于视频。图8例示了具有8位尾数和3位指数的浮点数被转换为整数的传递函数示例。当输入值和输出值两者都被归一化时(而不是使用如图11中的绝对整数值),可以将传递函数与如由等式26给出的纯指数编码函数进行比较。
图41示出了浮点数传递函数(根据本发明的各实施例)与对应于每指数宽度的最佳匹配指数视频编码的比较。等式27包括对比度变量c,因此本发明的各实施例在一个方面提供了一种感知量化器,以提供用于将所接收的视频信号的数字码字转换成具有由显示器发出的光度的可见光的电光传递函数(EOTF)的线性感知量化过程,由此该感知量化器是取决于目标对比度的。其提供了包括用于提供经量化的视频电平的装置的指数视频编码器,藉由该装置,存在每个经量化的视频电平的固定的相对光度增量,使得每个经量化的视频电平可见地具有相同的成比例的光度变化。
当提及特征“可见地具有相同的成比例的光度变化”时,可以从Barten人类视觉模型中理解“可见地”一词。
在图41中,对于该对比度参数c的不同值,这里表示的虚线曲线是传递函数的归一化版本。横轴表示归一化的经感知地编码的视频值,而纵轴表示对应的归一化的线性编码的光度值,其中黑色电平被归一化为0并且白色光度电平被归一化为1。
实线曲线表示根据本发明的一些实施例的从线性数到浮点数的传递函数。横轴表示给定指数宽度的归一化的浮点编码的视频值,而纵轴表示对应的归一化的经线性化的值,其中最小值被归一化为0,而最高值被归一化为1,以匹配实线和虚线的尺度。
这揭示出,当对两个转换过程应用归一化步骤时,指数函数的整体形状可被非常好地近似,特别是对于更高的指数宽度。由于较高的指数宽度允许更适当地处置更高的动态范围,因此该近似针对更高的动态范围执行地更好。这指示,出于实际目的,指数函数可通过更具成本效益的浮点转换来被近似。它提供了进一步降低资源量同时保持高像素值精度的优点。更具成本效益的实施例可使用任意精度浮点转换,其中基于要被表示的期望的动态范围来选择指数宽度。
从图41可以评估,对于在2之上的指数宽度值,浮点数表示非常好地匹配指数视频编码传递函数。具有3位或更高精度的指数的浮点值表示可被认为是由等式26给出的指数视频编码的分段线性近似,其表示对比度补偿的伽玛传递函数。

Claims (20)

1.一种感知量化器,所述感知量化器提供用于将所接收的视频信号的数字码字转换成具有由显示器发出的光度的可见光的电光传递函数(EOTF)的线性感知量化过程,所述感知量化器包括:
目标对比度依赖型指数视频编码器,所述目标对比度依赖型指数视频编码器包括用于提供经量化的视频电平的装置,藉由所述装置,存在每个经量化的视频电平的固定的相对光度增量,使得每个经量化的视频电平可见地具有相同的成比例的光度变化。
2.根据权利要求1所述的感知量化器,其特征在于,可见地具有所述相同的成比例的光度变化被称为Barten人类视觉模型。
3.根据权利要求1或权利要求2所述的感知量化器,其特征在于,所述EOTF是伽玛函数的基于极限的变换,其中伽玛趋于无穷大。
4.根据任一前述权利要求所述的感知量化器,其特征在于,所述EOTF被实现为从输入到输出的处理流水线,其中所述流水线包括一系列的图像处理块。
5.根据任一前述权利要求所述的感知量化器,其特征在于,所述感知量化器被实现在执行软件算法的处理引擎中。
6.根据权利要求5所述的感知量化器,其特征在于,所述处理引擎是FPGA。
7.根据任一前述权利要求所述的感知量化器,其特征在于,完整显示系统的所述EOTF被应用于作为输入在显示器端口处接收到的信号,并且确定对应的光输出。
8.根据任一前述权利要求所述的感知量化器,其特征在于,进一步包括用于使用浮点地址编码以进行任选地表示线性光度的视频数据的灰度跟踪的装置。
9.根据权利要求8所述的感知量化器,其特征在于,进一步包括用于分段线性数据插值的装置。
10.根据任一前述权利要求所述的感知量化器,其特征在于,基于cv的L=(cv–1)*K的处理在诸如FPGA之类的处理引擎内部的单个DSP块中被实现,其中v是归一化的视频(0=黑色,1=白色),并且L=(cv–1)*K表示用线性算子根据cv导出的线性光度,并且所述常数K=1/(c–1)。
11.根据任一前述权利要求所述的感知量化器,其特征在于,进一步包括用于串扰补偿、均匀性校正、白平衡中的一者或多者或任何组合的装置。
12.根据权利要求9至11中任一项所述的感知量化器,其特征在于,通过用于1维传递函数的线性插值来执行插值。
13.根据任一前述权利要求所述的感知量化器,其特征在于,像素或子像素之间的串扰被补偿。
14.根据权利要求13所述的感知量化器,其特征在于,进一步包括用于基于与每个输出子像素的多个邻居的原始浮点编码值相组合的每个输出子像素的原始浮点编码值来校正每个输出子像素的值的装置。
15.根据权利要求8至14中任一项所述的感知量化器,其特征在于,输出伽玛化LUT用浮点寻址来被实现为表示线性光度的视频数据的浮点表示。
16.根据任一前述权利要求所述的感知量化器,其特征在于,所述EOTF由以下公式来描述:
其中:
c=“感知对比度”,其是对目标动态范围的测量
v(或ν)=归一化的视频(0=黑色,1=白色)。
17.一种包括任一前述权利要求所述的感知量化器的显示设备。
18.一种感知量化的方法,所述方法提供用于将所接收的视频信号的数字码字转换成具有由显示器发出的光度的可见光的电光传递函数(EOTF)的线性感知量化过程,所述方法包括:
生成目标对比度依赖型指数视频编码,所述目标对比度依赖型指数视频编码提供经量化的视频电平,藉由所述经量化的视频电平,存在每个经量化的视频电平的固定的相对光度增量,使得每个经量化的视频电平可见地具有相同的成比例的光度变化。
19.一种包括软件代码的计算机程序产品,所述软件代码在处理引擎上执行时执行权利要求18所述的方法或实现权利要求1至16中任一项所述的感知量化器所需的任何处理块。
20.根据权利要求19所述的计算机程序产品,所述计算机程序产品被储存在非瞬态盘或其他计算机可读介质上,或者采用在专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他处理器或硬件中编码的指令的形式。
CN201680084435.6A 2016-01-29 2016-01-29 数字图像处理链和处理块以及包括它们的显示器 Active CN109074775B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/051994 WO2017129265A1 (en) 2016-01-29 2016-01-29 Digital image processing chain and processing blocks and a display including the same

Publications (2)

Publication Number Publication Date
CN109074775A true CN109074775A (zh) 2018-12-21
CN109074775B CN109074775B (zh) 2022-02-08

Family

ID=55361466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680084435.6A Active CN109074775B (zh) 2016-01-29 2016-01-29 数字图像处理链和处理块以及包括它们的显示器

Country Status (4)

Country Link
US (1) US10679544B2 (zh)
EP (1) EP3408847A1 (zh)
CN (1) CN109074775B (zh)
WO (1) WO2017129265A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741715A (zh) * 2019-02-25 2019-05-10 深圳市华星光电技术有限公司 显示面板的补偿方法、补偿装置及存储介质
CN113050872A (zh) * 2019-12-26 2021-06-29 财团法人工业技术研究院 传感器上的数据处理系统及其方法与去识别化传感装置
WO2021151246A1 (en) * 2020-01-31 2021-08-05 Qualcomm Incorporated Dynamic gamma curve use for display

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017102467A1 (de) * 2017-02-08 2018-08-09 Osram Opto Semiconductors Gmbh Verfahren zum Betreiben einer lichtemittierenden Vorrichtung
EP3367689A1 (en) * 2017-02-24 2018-08-29 Ymagis Signal encoding and decoding for high contrast theatrical display
EP3442124B1 (de) * 2017-08-07 2020-02-05 Siemens Aktiengesellschaft Verfahren zum schützen der daten in einem datenspeicher vor einer unerkannten veränderung und datenverarbeitungsanlage
US10769817B2 (en) * 2017-08-07 2020-09-08 Samsung Display Co., Ltd. Measures for image testing
US10262605B2 (en) * 2017-09-08 2019-04-16 Apple Inc. Electronic display color accuracy compensation
US10880531B2 (en) 2018-01-31 2020-12-29 Nvidia Corporation Transfer of video signals using variable segmented lookup tables
GB2575435B (en) * 2018-06-29 2022-02-09 Imagination Tech Ltd Guaranteed data compression
RU2715292C1 (ru) * 2019-01-31 2020-02-26 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ КАЗЕННОЕ ВОЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "Военная академия Ракетных войск стратегического назначения имени Петра Великого" МИНИСТЕРСТВА ОБОРОНЫ РОССИЙСКОЙ ФЕДЕРАЦИИ Способ и устройство обработки оптической информации
US11100889B2 (en) * 2019-02-28 2021-08-24 Ati Technologies Ulc Reducing 3D lookup table interpolation error while minimizing on-chip storage
US11488349B2 (en) * 2019-06-28 2022-11-01 Ati Technologies Ulc Method and apparatus for alpha blending images from different color formats
CN110866142B (zh) * 2019-10-12 2023-10-20 杭州智芯科微电子科技有限公司 语音特征提取的查表方法、装置、计算机设备和存储介质
WO2021118556A1 (en) * 2019-12-11 2021-06-17 Google Llc Color calibration of display modules using a reduced number of display characteristic measurements
CN114830225A (zh) * 2019-12-17 2022-07-29 谷歌有限责任公司 伽玛查找表压缩
US11218743B1 (en) * 2020-06-30 2022-01-04 Amazon Technologies, Inc. Linear light scaling service for non-linear light pixel values
CN111785225B (zh) * 2020-07-07 2022-04-12 深圳市华星光电半导体显示技术有限公司 白平衡调整方法及其装置
US11842678B2 (en) 2021-10-12 2023-12-12 Google Llc High-brightness mode on an OLED display
CN114783387B (zh) * 2022-05-25 2023-08-25 福州大学 自适应环境光的彩色电润湿电子纸图像对比度增强方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1981294A (zh) * 2004-07-29 2007-06-13 微软公司 使用线光值和其它图像处理改进的图像处理
US20100128050A1 (en) * 2008-11-21 2010-05-27 Chun-Hsien Chou Color Correction Method and Related Device for Liquid Crystal Display
CN103843058A (zh) * 2011-09-27 2014-06-04 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
US20140363093A1 (en) * 2011-12-06 2014-12-11 Dolby Laboratories Licensing Corporation Device and Method of Improving the Perceptual Luminance Nonlinearity-Based Image Data Exchange Across Different Display Capabilities
CN104364820A (zh) * 2012-10-08 2015-02-18 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
CN104813666A (zh) * 2013-10-15 2015-07-29 索尼公司 解码装置和解码方法、以及编码装置和编码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971887B (zh) * 2014-11-04 2021-11-02 松下电器(美国)知识产权公司 再现方法、再现装置以及记录介质
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックIpマネジメント株式会社 送信方法および送信装置
JP6731722B2 (ja) * 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP6844112B2 (ja) * 2016-03-17 2021-03-17 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1981294A (zh) * 2004-07-29 2007-06-13 微软公司 使用线光值和其它图像处理改进的图像处理
US20100128050A1 (en) * 2008-11-21 2010-05-27 Chun-Hsien Chou Color Correction Method and Related Device for Liquid Crystal Display
CN103843058A (zh) * 2011-09-27 2014-06-04 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
US20140363093A1 (en) * 2011-12-06 2014-12-11 Dolby Laboratories Licensing Corporation Device and Method of Improving the Perceptual Luminance Nonlinearity-Based Image Data Exchange Across Different Display Capabilities
CN104364820A (zh) * 2012-10-08 2015-02-18 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
CN104813666A (zh) * 2013-10-15 2015-07-29 索尼公司 解码装置和解码方法、以及编码装置和编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLEG S. PIANYKH: "《Digital Image Quality in Medicine》", 31 December 2014 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741715A (zh) * 2019-02-25 2019-05-10 深圳市华星光电技术有限公司 显示面板的补偿方法、补偿装置及存储介质
CN109741715B (zh) * 2019-02-25 2020-10-16 深圳市华星光电技术有限公司 显示面板的补偿方法、补偿装置及存储介质
CN113050872A (zh) * 2019-12-26 2021-06-29 财团法人工业技术研究院 传感器上的数据处理系统及其方法与去识别化传感装置
WO2021151246A1 (en) * 2020-01-31 2021-08-05 Qualcomm Incorporated Dynamic gamma curve use for display

Also Published As

Publication number Publication date
US20190027082A1 (en) 2019-01-24
CN109074775B (zh) 2022-02-08
EP3408847A1 (en) 2018-12-05
WO2017129265A1 (en) 2017-08-03
US10679544B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
CN109074775A (zh) 数字图像处理链和处理块以及包括它们的显示器
Kim et al. Modeling human color perception under extended luminance levels
Rizzi et al. A new algorithm for unsupervised global and local color correction
US6686953B1 (en) Visual calibration target set method
CN102611897B (zh) 对彩色数字图像进行视觉感知高保真变换的方法及系统
Fairchild et al. Brightness, lightness, and specifying color in high-dynamic-range scenes and images
CN107408373A (zh) 稳定的色彩渲染管理器
US20090147328A1 (en) Method and apparatus for characterizing and correcting for hue shifts in saturated colors
Hellwig et al. Extending CIECAM02 and CAM16 for the Helmholtz–Kohlrausch effect
Devlin et al. Visual calibration and correction for ambient illumination
CN108932936B (zh) 灰阶亮度的调节方法及显示装置
Matsuda et al. Realistic luminance in vr
Stone Representing colors as three numbers [color graphics]
Sun et al. Background luminance and subtense affects color appearance
Wang et al. Color appearance phenomena under high ambient illumination
Cwierz et al. Colour management in virtual reality applied to lighting simulations
Ruppertsberg et al. Displaying colourimetrically calibrated images on a high dynamic range display
Nezamabadi et al. Effect of image size on the color appearance of image reproductions using colorimetrically calibrated LCD and DLP displays
Howard Color control in digital displays
JP4571479B2 (ja) ディスプレイ装置のカラーチャネル再構成方法
Fairchild Reversibility of corresponding colors in sensory chromatic adaptation
Green Sensor Adjustment
Shen et al. Measuring and modeling display observer metamerism
Yano et al. Effect of fluorescent lighting on the color of liquid-crystal displays
Nezamabadi et al. An investigation of the effect of image size on the color appearance of softcopy reproductions using a contrast matching technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant