CN106716491B - 具有多个色彩标度的图像色彩校准 - Google Patents
具有多个色彩标度的图像色彩校准 Download PDFInfo
- Publication number
- CN106716491B CN106716491B CN201580049793.9A CN201580049793A CN106716491B CN 106716491 B CN106716491 B CN 106716491B CN 201580049793 A CN201580049793 A CN 201580049793A CN 106716491 B CN106716491 B CN 106716491B
- Authority
- CN
- China
- Prior art keywords
- trajectory
- image
- color
- points
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及图像校准方法,尤其涉及包括多个色彩标度的图像校准方法,以及诸如量化医疗成像之类的量化成像,或者用于显示图像的显示设备或系统,或者显示器的控制器,或者用于启用图像校准的软件,或者可视化应用和显示器。本发明的一方面提供了一种用于处理图像的方法,包括以下步骤:‑选择色彩空间中的至少一个轨迹;‑定义主要提高属于该至少一个轨迹的连续点的感知线性的变换;‑对图像应用变换。这具有感知线性可被限于该轨迹的优点。
Description
本发明涉及图像校准,尤其涉及包括多个色彩标度的图像校准,以及诸如量化医疗成像之类的量化成像,或者用于显示图像的显示设备或系统,或者显示器的控制器,或者用于启用图像校准的软件,或者可视化应用和显示器。
背景
量化医疗成像是医疗成像中的相当新近的技术。量化成像是从医疗图像中提取可量化特征以用于评估正常或严重性、变化程度或者疾病状态、伤情或相对于正常的慢性病状况。量化成像包括对解剖、机能和分子成像获取程序、数据分析、显示方法以及报告结构的开发、标准化和优化。这些特征准许用包括治疗反应和结果的解剖学和生理上相关的参数来验证准确且精确获取的图像导出的度量,并且将这些度量用于研究和病患护理。
量化计算出的值通常被可视化为色彩(其它医学图像之上的伪色彩或者其自身上的彩色图像)。此类图像的示例在图1到4中示出。图1示出了PET SUV(正电子发射断层摄影标准化摄取值)摄取值的图像。正电子发射断层摄影(PET)是产生身体中的机能过程的三维图像的核医学功能成像技术。该系统检测由在生物活性分子上被引入身体中的正电子发射放射性核素(示踪剂)间接发射的伽马射线对。身体内的示踪剂浓度的三维图像然后通过计算机分析来构造。在现代PET-CT扫描仪中,三维成像经常在同一机器中在CT X光扫描的辅助下完成,该CT X光扫描在同一环节期间对病患执行。如果被选择用于PET的生物活性分子是氟脱氧葡萄糖(FGD)(葡萄糖的相似体),则所成像的示踪剂的浓度将藉由区域性葡萄糖摄取来指示组织代谢活动。使用该示踪剂来探查癌症转移(即,扩散到其它部位)的可能性是标准医疗护理中最常见的PET扫描类型(当前扫描中的90%)。然而,在少数基础上,许多其它放射性示踪剂在PET中用于对感兴趣的许多其它类型的分子的组织浓度进行成像。
色彩被用来指示计算/测量出的特定数值,且在图像近旁示出标度以使得放射科医师能通过将标度与图像中的色彩相比较来估计值。标度中的虚线强调标度的不同色彩。然而,只存在其中真可能从彩色图像中推断出量化数值的两个范围:值0.75左右以及1.75左右。对于其它值,在可见色彩中几乎不存在任何可见区别,并因此难以准确地以可见方式推断出量化值。
图2示出了用于对比度增强型MRI(磁共振成像)和CT(电脑断层摄影)的量化动态图像分析的计算。注意用于使得放射科医师可能从彩色图像中推断出量化值的标度。标度中的虚线强调标度的不同色彩。在此,标度的蓝色和绿色部分各自大于标度的红色部分。对于其它值,在可见色彩中几乎不存在任何可见区别,并因此难以准确地以可见方式推断出量化值。此外,该标度在感知上不统一,而是绝大部分由绿色和蓝色组成。将所有色彩均等地分布在标度上对于人类感知将会更好,这将改进可视地估计正被可视化的量化值的能力。
还有两个示例在图3和4中示出。这两个图像都是在超声之上可视化附加量化信息的超声图像。在图4中,该图像涉及弹性影像超声图像。请注意在此使用的不同的色彩标度/色彩编码。同样,在此标度在感知上不是统一的。标度中的虚线强调标度的不同色彩。标度包含比例如黄色或绿色更多的蓝色和红色。
当前的现有技术使用公知的色彩编码/色彩映射/色彩查找表(LUT)来将量化数值转变为色彩。此类LUT的示例是火LUT、彩虹LUT、铁水LUT、热/加热/黑体辐射色彩标度……。这些图像然后通常被存储在特定色彩空间(CIE1931XYZ;CIELUV;CIELAB;CIEUVW;sRGB;Adobe RGB;ICC PCS;Adobe广色域RGB;YIQ、YUV、YDbDr;YPbPr、YCbCr;xvYCC;CMYK;原始RGB三原色;……)中并且在显示系统上可视化。有时(在理想情形中)存在色彩管理模块(诸如ICC色彩管理模块(CMM),该色彩管理模块将处置特定色彩空间中的图像到能在显示系统上可视化的原始色值(RGB;RGBW;……)的适当变换。但在许多情形中,生成图像数据的应用假定该数据将在显示系统上用sRGB表现可视化并因此色彩数据仅仅被转发至显示系统。
被频繁地用于可视化量化成像数据的色彩编码/色彩映射/色彩LUT中的绝大部分在感知上不是线性的。这意味着输入数据(正被可视化的量化值)中的相等阶距将被转换成被感知为不同幅度的阶距的色值。这是不合乎需要的情况,因为这使得难以可视地从图像中估计正在可视化的是什么确切量化值。这可以从例如图1中观察到,其中色彩标度的绿色部分是主导的是清楚可见的,而事实上(在感知上线性的情形中)所有色彩都应在感知上被等同地分布在标度上以使得可视化的量化值能独立于量化数据的确切值而被等同地、容易地、可视地估计出。此外,即使(在罕见情形中)使用将量化成像数据映射到在感知上线性的色值的合适色彩映射,在当前的现有技术中甚至通常不计及显示系统的(非线性)表现,从而导致对可视化的色值的非线性感知。
在当前的现有技术中,包括可视化应用和显示器的系统未被优化成可视化量化色彩编码数据。例如:
-现有技术未最大化地利用显示系统的能力
-现有技术未计及人类感知以及感知到的对比度的最大化
-现有技术在感知上不是统一的,这意味着在标度中存在比其它范围更容易推断出值的范围。
已经公开了关于以将表现为在其整个色域中在感知上是线性的方式校准显示器的显示器校准方法的论文,例如“Toward a Unified Colour Space for Perception-Based Image Processing”,Ingmar Lissner和Philipp Urban(关于图像处理的IEEE学报,卷21,3期,2012年3月)。
在感知上线性的显示系统的情况下,输入信号中的相等距离也将导致可视化输出的相等感知距离(例如由deltaE76、deltaE94、deltaE2000、DICOM GSDF JND、JNDMetrix等来定义)。因此在理论上,完美的感知上线性的显示器解决了非最优色彩标度的问题(在使用适当的感知上线性的色彩标度的条件下)。然而,在现有技术中,显示器的感知线性通过限制显示器的可寻址色域、亮度和对比度以使得能够在这些降低的显示器能力内实现感知上线性的表现来实现。换言之:现有的感知上线性的彩色显示器需要显示器亮度、显示器色域和显示器对比度的严重妥协。实际上,更低的亮度/对比度/色域使这些显示器不可用于许多应用。
专利申请EP2620885A2公开了一种用于通过选择图像中的供改进的区域并将该区域内的所有点映射到线性化标度来改进医学图像以便于人类感知的方法。由此,EP2620885A2选择要校准的像素值范围。该范围之外的像素值通常被修剪为最小(黑色)或最大(白色)像素值。由此,由所选范围之外的像素值表示的图像特征将在应用EP2620885A2的校准后不再被可视化。EP2620885A2进一步解释了范围选择可基于感兴趣的特定身体部位来完成。例如,EP2620885A2描述了可选择“血管”预设(范围),该“血管”预设(范围)将通过选择对应于“血管”的像素值范围并将该范围内的像素值映射到经优化的标度来增强血管的可视化。然而,当选择了“血管”时,感知到在所选范围之外的图像特征将会是不可能的,因为这些图像特征全都将被映射到单个像素值。因此,例如当选择了“血管”范围时,感知到身体中的骨头的特征将会是不可能的(因为血管和骨头通常由分开范围的像素值组成)。
根据现有技术的色彩标度的可视化的缺点可通过调查范围从红色到黄色的常用色彩标度来阐示。常用的感知上线性的度量例如是deltaE2000。
图5示出了当在标准sRGB显示器上以及在DICOM GSDF校准型显示器上可视化时的“红色到黄色”色彩标度的感知线性。可以看到,在整个标度中,sRGB和DICOM GSDF校准型显示器上的可视化都未导致感知上线性的表现。这可以从deltaE2000阶距不是恒定的、而是在整个色彩标度上变化的事实中看到。请注意,这显示不管使用DICOM GSDF校准型显示器(这意味着该显示器已被校准为具有针对灰度级的感知上线性的表现)的事实,常用的色彩标度的色彩表现仍然是高度非感知上线性的。
如果显示器将被校准(用来自现有技术的方法)为是完美的感知上线性的,则deltaE2000阶距将在整个标度上是恒定的,但将存在显示系统的亮度、对比度和色彩饱和度的显著损失。出现该损失的原因是由于以完美的感知上线性(例如,deltaE2000)的校准为目标的特质:这导致(当在感知上线性的空间中可视化时)尝试在显示器的总色域内定位尽可能大的立方体。这将会如同在图6中的色彩空间中拟合立方体,并且其中显示器表现然后被限于立方体内的区域。这将导致色域、亮度和对比度的巨大损失。
概述
本发明的目标是提供图像校准的替代方法,尤其是包括多个色彩标度的图像校准,以及诸如量化医疗成像之类的量化成像,或者提供用于显示图像的显示设备或系统,或者显示器的控制器,或者用于启用图像校准的软件,或者可视化应用和显示器。
因此,本发明提供了一种用于处理图像的方法,包括以下步骤:
-选择色彩空间中的至少一个轨迹
-定义主要提高属于该至少一个轨迹的连续点的感知线性的变换,以及
-对图像应用变换。
这具有感知线性可被限于该轨迹或主要被限于该轨迹的优点。
“轨迹”是现有色彩空间内的被选择(例如,基于要研究的图像)的有序路径。以此方式,可做出线性化以对较不感兴趣的色彩点具有较少的影响以使得显示器性能(例如,(峰值)亮度)受到较少影响。
当对图像应用变换时,不属于所选的一个或多个轨迹的点可以保持不变。校准将不会减小或显著减小显示器亮度、对比度或色域。由于该轨迹不包括色彩空间中的所有点,因此校准将不会显著地减小显示器亮度、对比度或色域。在该一个或多个轨迹之外,显示器可保持原生地校准或根据医疗成像的常规标准校准。此类标准可以例如是sRGB、DICOMGSDF……。具体而言,不属于轨迹的点可被重新分布以降低不连续性。可使用插值(线性、双线性、三次、双三次、样条……)来重新分布轨迹之外的某些点。轨迹上的重新分布的点被固定并且另外还固定某些其它点(例如,色域的外边界上的点,或者例如属于主色或次色的点……),并且其中通过插值来生成居间点。这将导致降低不连续性,因为插值还将造成平滑/过滤效果。
轨迹之外的重新分布可基于质量弹簧系统(其中例如轨迹上的重新分布的点被固定,并且其中还固定色彩空间的边界上的点)或者通过平滑/过滤操作(其中轨迹上的点的邻域内的点也为了线性而被稍加处理)来完成。
量化成像是从医疗图像中提取可量化特征以用于评估正常状况或严重性、变化程度或者疾病状态、伤情或相对于正常的慢性病状况。量化成像包括对解剖、机能和分子成像获取程序、数据分析、显示方法以及报告结构的开发、标准化和优化中的任一者。这些特征准许用包括治疗反应和结果的解剖学和生理上相关的参数来验证准确且精确获取的图像导出的度量,并且将这些度量用于研究和病患护理。
至少一个轨迹可包含具有不同色点的点。色彩空间可以是任何合适的色彩空间,诸如sRGB、aRGB、原始RGB、Lab、ICC PCS之一。
至少一个轨迹可以只包含主色或次色的点。例如,至少一个轨迹可对应于色彩标度。
本发明在一方面涉及一种用于校准显示设备以进行量化成像的方法,所述显示设备具有色域,
该方法包括:
选择色彩空间中的至少一个轨迹;
定义主要提高属于该至少一个轨迹的连续点的感知线性的变换;
对显示设备应用变换,
使得显示器的色域中存在不在轨迹中但用于可视化图像的一部分的色点。
显示器的色域中的不在轨迹中的色点例如大部分可保持不变或者可被修改到不同于轨迹的路线,以使得较不重要(未被用来可视化量化成像数据)的色彩绝大部分保持不变。
该方法可包括选择至少一个轨迹以最大化沿该轨迹的最小可觉差的数目。该至少一个轨迹在色彩空间中是分段线性的或者在色彩空间中是非线性的。
该至少一个轨迹可包含对应于量化值的不同层级的诸色彩。这些色彩可沿着轨迹基于量化值的升序或降序值来排序。量化值可涉及(但不必限于)分子浓度、染色反应、示踪剂浓度、物质浓度、靶分子浓度、分子活性、代谢活性、材料刚度、材料强度、材料特性、生物标记值等。对轨迹的选择可基于基准图像或校准图像来完成。
该至少一个轨迹可针对每一图像单独选择。这提供了能以最优的方式处理每一图像的优点。例如,至少一个轨迹可基于图像类型或图像特性来选择。这允许相对于图像类型的优化。例如,图像可以是数字病理图像,且至少一个轨迹基于该数字病理图像中所使用的特定染色剂或者该数字病理图像的特定次专科来选择。例如,至少一个轨迹可基于将被显示在显示系统上的典型图像的特性或类型来选择。例如,图像可以是数字病理图像,且至少一个轨迹基于与对抗原的不同浓度的染色反应相对应的色值,或者图像可以是医学图像且至少一个轨迹基于与对造影剂或示踪剂的反应的不同渐变相对应的色值。
感知线性可例如通过CIE76、CIE94、CIEdeltaE2000、DICOM GSDF之一来量化。
可扩展该方法,以使得选择至少两个不同的轨迹,而不是一个轨迹。例如,可使用对应于至少两个所选轨迹的至少两个不同的感知线性度量。然而,根据本发明的实施例,即使存在不止一个或不止两个不同的轨迹,色域中也始终存在位于这些轨迹之外的某些部分。
作为示例,一个所选轨迹可对应于中性灰度级,并且其中针对该中性灰度级的感知线性通过DICOM GSDF来评估。
作为进一步的优化,变换可计及显示系统的特性。
为了提供良好的性能,所定义的变换可分别保留色域和/或亮度和/或对比度的至少95%、至少90%、至少80%、至少70%。
该方法可具有各种实现,诸如由CPU、GPU、DSP、FPGA或ASIC或等效物中的任一者或任意组合来应用变换。为了提供对特定应用的增加的适配,变换可以部分地在CPU上应用且部分地在GPU或FPGA上应用。变换可使得不是轨迹的一部分的点具有其原生显示校准或根据用于医疗成像的常规标准来校准。此类标准可以例如是sRGB、DICOM GSDF……。由此,点未被迫使处于极值,诸如黑色或白色。为了提供平滑转变,变换可适配不是轨迹的一部分的点以使得获得增加的连续表现。为了允许容易且经济的实现,变换可将不是轨迹的一部分的点适配成使其符合诸如伽马或sRGB等另一标准。
为了提供良好的质量,至少一个所选色彩标度可以是最大化计算出的最小可觉差的数目(当这是为沿着相同的轨迹的一组色彩标度计算时)的色彩标度。
至少一个所选轨迹可具有更高的维数。例如,轨迹的每一维度可对应于不同的量化值。轨迹的每一维度可对应于例如不同示踪剂的浓度或染色反应或不同分子的浓度或不同抗原的浓度或不同抗体的浓度。
本发明的一个或多个实施例的目标是使得诸如deltaE2000值之类的感知距离对于所选标度在整个标度内恒定。在所选标度之外,诸如deltaE2000值之类的感知距离可以与显示器的原生表现相类似地变化,该原生表现经常类似sRGB或者可根据用于医疗成像的不同的常规标准来校准。此类标准可以例如是DICOM GSDF……。换言之:根据本发明的实施例,属于一个或多个所选色彩标度的颜色将会是感知上线性化的,而在所选色彩标度之外的颜色将主要保持不变。这是两全其美的:对于正用于可视化重要信息(例如,量化成像数据)的颜色,将存在所需的感知上线性的表现,而与此同时显示器的色域、亮度和对比度由于较不重要的颜色(未被用于可视化量化成像数据)绝大部分保持不变而绝大部分被保留。
用于可视化量化色彩编码数据的可视化应用和/或显示器的优点是以下之一、某一些或全部:
-对显示系统的能力的改进的使用
-计及人类感知且对感知到的对比度的改进
-图像的至少某些部分是感知上统一的,这意味着在标度中存在更少的或不存在比其它范围更容易推断出值的范围。
-对显示器的可寻址色域、亮度和对比度作更少限制以使得存在更少的显示器能力损失,同时维持感知上线性的表现
-显示器亮度、显示器色域和/或显示器对比度的更少损失
-由所选范围之外(例如在一个或多个轨迹之外)的像素值表示的图像特征仍将在校准后可视化,显示器可以保持原生校准或根据用于医疗成像的常规标准来校准。此类标准可以例如是sRGB、DICOM GSDF……。
-大量点未被迫使处于极值,诸如黑色或白色。
本发明还提供了如下所述的系统。本发明还提供了当在合适的处理引擎上执行时执行如下所述的本发明的各方法实施例中的任一个的软件。本发明提供了用于显示图像的显示设备、或者显示器的控制器、或者用于实现图像校准的软件、或者可视化应用和显示器。本发明还提供了显示在显示设备上的图像。
附图简述
图1示出了常规量化成像的示例。
图2示出了常规量化成像的示例。
图3示出了常规量化成像的示例。
图4示出了常规量化成像的示例。
图5示出了根据sRGB和DICOM GSDF的常规显示器校准如何不是感知上线性的示例。
图6示出了常规校准将如何减小色域。
图7示出了具有本发明的实施例的方法感知距离的不同步骤的流程图。
图8a到8e(算法)示出了本发明的实施例的方法的步骤1的更详细的实现。
图9示出了供在本发明的实施例中使用的色彩标度和相应轨迹的示例。
图10示出了彩色PET/CT图像的示例。
图11a和11b示出了火/冰色彩标度的特定示例。
图12示出了数字病理学的基准/校准载片的示例(富上电子影像有限公司(FFEIlimited)、用于校准评估载片的FFEI提议;ICC MIWG,用于组织病理学任务组的校准载片;Teleconference,2014年1月21日15:00(UK)/10:00(EST);http:www.color.org/groups/medical/Minutes_Jan_2014_Calibration-Slide-Histopat h.pdf)。
详细描述
将针对具体实施例且参考特定附图来描述本发明,但是本发明不限于此而仅由权利要求书定义。本发明的实施例找到了成像技术(例如,量化成像)中的有用应用。
图7示出了具有本发明的实施例的不同步骤的流程图。作为第一步骤,选择色彩空间中的一个或多个轨迹。色彩空间可以是例如(但不限于)CIE 1931XYZ;CIELUV;CIELAB;CIEUVW;sRGB;Adobe RGB;ICC PCS;Adobe广色域RGB;YIQ、YUV、YDbDr;YPbPr、YCbCr;xvYCC;CMYK;原始RGB三原色;……。轨迹是经过色彩空间的路径。该轨迹可以是连续路径或不连续路径、线性路径、分段路径或非线性路径、多维路径、连续多维路径、或分段多维路径。在本发明的任一或某些或所有实施例中,“轨迹”是现有色彩空间内的有序路径。该轨迹可基于要研究的图像来选择。以此方式,线性化可针对图像的技术要求进行适配,并且它将要传达的信息将以更好的方式呈现。例如,线性化可被布置成对较不感兴趣的色彩点具有较少的影响以使得显示器性能(例如,(峰值)亮度)受到较少影响。
在图9中示出了轨迹的一个示例。在该情形中,色彩空间是RGB图像空间,且轨迹是从青色到黑色到黄色的曲线。轨迹可以是连续或不连续的。轨迹可以是一维的(例如,但不限于经过色彩空间的直线或曲线),或者轨迹可以是更高维度的。在更高维度轨迹的情形中,轨迹可以具有等于色彩空间的维数的最大维度。例如:在三维色彩空间(例如,sRGB)的情形中,轨迹可以是二维对象(例如但不限于:色彩空间中的平面、色彩空间中的多个连接平面、色彩空间中的曲面等),或者轨迹可以是三维对象(例如但不限于:立方体、矩形棱柱体、三棱柱、三棱锥或四面体、正方锥、圆柱体、圆锥体、球体、具有弯曲边界的3D对象等)。轨迹具有与其相关联的次序,这意味着(例如,在色彩空间中的一维线的示例中)该线具有起点和终点,并且对于每一点确定一个点是否在另一点之前(或者相反)是可能的。换言之:属于该轨迹的所有点可被排序。在更高维度轨迹的示例中,属于该轨迹的点的这一排序可以沿着不同维度完成。例如:在三维色彩空间中的二维轨迹的情形中,轨迹本身包括两个维度。二维轨迹上的每一点可通过对应于该轨迹的两个维度的两个坐标来标识。换言之:二维轨迹上的每一点可由有序坐标系中的两个坐标来标识。由此,计算轨迹上的两个点之间的距离也是可能的。如之前解释的,可选择多个轨迹。这些轨迹可具有相同或不同的维数,并且所选轨迹可以是互斥的(非交叠)或者可以部分地交叠。每一轨迹可具有其自己的排序,这意味着如果两个点(称其为点1和点2)属于两个不同轨迹(称其为a和b),则对于轨迹a而言点1可以在点2之前,而对于轨迹b而言点2可以同时在点1之前。
用作轨迹的色彩标度还可基于显示系统的特性来选择,诸如举例而言显示系统的色彩表现的示例先验知识。例如:一些显示系统在其色域的一部分中具有比其色域的其它部分更饱和的色彩。例如对于这一显示器,红色和绿色主色可以比蓝色主色更饱和。在这一情形中,选择利用饱和的红色和绿色的色彩标度并避免使用较不饱和的蓝色的标度可以是有益的。色彩标度的选择能够以最大化沿着整个轨迹的总JND(最小可觉差)的方式完成。由此,可选择具有沿其轨迹的最高数目的JND的色彩标度。
计算这些JND以及该选择过程可通过例如其中计算并比较沿着大量不同的轨迹的JND的蛮力方法来完成。可添加边界条件以避免不合适的随机轨迹。不合适的特性可包括随机轨迹摆动太多或者不遵循单色调方向,但应不限于此。
图7所示方法的第二步骤包括定义提高属于所选轨迹的点的感知线性的变换。所定义的变换主要提高所选轨迹的感知线性,同时使得不属于所选轨迹的点绝大部分保持不变。由此,尽管对于不属于所选轨迹的某些点感知线性也被提高是可能的(作为所应用的变换的副作用),但对于属于所选轨迹的点感知线性的提高程度将或能比不属于所选轨迹的点高得多。所定义的变换将以不属于所选轨迹的点对应于所需表现(诸如对应于sRGB、aRGB、伽马曲线或其它表现)的方式改变这些点也是可能的。如上所示,绝大部分提高属于所选轨迹的点的感知线性(且不提高或较少地提高不属于所选轨迹的点的感知线性)的优点在于图像和/或显示器的色域/对比度/亮度能被绝大部分地保留。例如:通过应用图7的方法,分别保留图像和/或显示器的例如100%、90%、85%、80%、70%的色域/对比度/亮度是可能的。保留与色域不同程度的例如不同亮度也是可能的。例如,可能保留100%的亮度,而只保留90%的色域以及95%的对比度。
所定义/应用的确切变换并非是对本发明的限制。存在可被定义并且生成上述所需表现的多个可能的变换,所有这些可能的变换是本发明的实施例。一个实施例例如是在至少一个所选轨迹上重新分布点以使得感知距离(例如,以deltaE2000为单位表达)变得更均等。这能以各种方式实现,例如通过质量弹簧系统、三角测量技术、穷尽式搜索/LUT创建或任何其它方便的方法。用于计算感知线性的一个或多个确切度量不应被视作对本发明的限制。示例可以是DeltaE2000、Lab空间中的距离、色彩JND距离等,或者可以是此类度量中的两者或更多者的组合(例如,取决于显示器或图像色域中的确切位置)。
作为本发明的实施例的重新分布点的一种特定方式包括首先计算感知距离阶距(例如,整个轨迹上可用的deltaE2000单元)的总数(通过计算每一对连续点之间的感知距离(诸如deltaE2000距离)并对这些距离求和以获得总距离)。其次,每一对连续点之间的距离需要是什么将被计算出以获得感知上线性的表现(这将例如通过将总感知距离(诸如deltaE2000距离)除以将被放置在轨迹上的“点数减一”来完成)。最后,然后将在轨迹上重新分布点以使得每一对连续点之间的感知距离(诸如deltaE2000距离)变得更均等且理想地变得完全相等。通过执行该规程,一个或多个轨迹将表现得感知上线性得多,而不在该轨迹上的点例如将保持不变并因此图像和/或显示器的色域/亮度/对比度将(绝大部分)保持不变。这种完成方式造成轨迹的边界/边缘处的不连续性,因为在被变换的点与根本未被变换的其它点之间存在突变。因此,能实现更好的方式来避免这些不连续性,这些方式被包括为本发明的实施例。一种这样的可能方式(即,本发明的实施例)是使用质量弹簧系统。在该情形中,轨迹上的点(已经被感知上线性化)被固定,而不属于所选轨迹的点将使用质量弹簧系统来重新分布以减少/移除不连续性。此外,为了保留图像和/或显示器的整个色域/亮度/对比度,图像和/或显示器的色域的外边界在应用质量弹簧系统时也可被固定。通过这样做,图像和/或显示器的外边界将不改变(并因此色域/亮度/对比度将不改变),而且轨迹本身被固定,诸如以便保持提高的感知线性通过重新分布实现,并且图像和/或显示器色域中的其它点也可通过质量弹簧系统来重新分布以获得更连续的表现。
最后,图7所示的方法的第三步骤包括或包含对至少一个图像应用所定义的变换。注意,在本发明的实施例中,变换的输入色彩空间可以是与该变换的输出色彩空间相同或不同的。合适的变换是本发明的实施例。例如:变换可将sRGB图像取作输入,而该变换的输出可以是被直接发送到显示系统的原始RGB值。替换地,变换可将aRGB取作输入和输出色彩空间两者。还注意,在本发明的实施例中,其中已经定义轨迹的色彩空间可以是与变换的输入和/或输出色彩空间相同或不同的。例如,轨迹可以在Lab色彩空间中定义,而变换可将sRGB用作输入和输出色彩空间。
图8a、8b、8c、8d和8e阐明了如何可完成对至少一个轨迹的选择的具体实施例。
图8a使用色彩标度来选择轨迹。在步骤1.1中,标识用于需要被可视化的图像或在该图像中使用的至少一个色彩标度(例如但不限于火LUT、彩虹LUT、铁水LUT、热/加热/黑体辐射色彩标度等)。该标识可以例如通过分析/检查该图像并检测哪个(哪些)色彩标度已被用来生成该图像来完成。尤其在色彩标度本身是图像的一部分时(如在其中标度始终被示为在图像近旁的图1-4中那样),本发明的实施例包括通过图像分析自动检测色彩标度的存在,并标识使用哪一个特定色彩标度。替换地,作为附加实施例,在某些情形中即使色彩标度本身未被显示在图像中也通过图像处理来检测图像中使用哪一个色彩标度是可能的。各种方法(例如,基于直方图分析)允许检测哪一个映射被用来将量化数据值变换成色值,并且被包括为本发明的实施例。
替换地,用户可被请求手动选择在图像中使用的色彩标度。
替换地,本发明还延伸到可以在任何合适的处理引擎上运行的软件和软件应用。这一软件应用可通过诸如API等合适的例程来就该软件应用用来渲染图像的色彩标度进行查询。这可以例如通过应用编程接口(API)来完成。
替换地,可以在图像的报头或元数据字段中存在关于被用来渲染图像的色彩标度的信息。例如,一些图像带有包含包括例如如何渲染图像在内的关于图像的附加信息的扩展报头(例如但不限于DICOM报头、ICC简档等)。该元数据或报头信息还可以在每个设备(例如,对于生成图像的每一特定设备)而不是在每个图像的基础上提供。检查该报头信息或元数据信息可揭示哪个(哪些)色彩标度被用来渲染图像。一旦已经选择色彩标度,对于每一所选色彩标度就(在所选色彩空间中)生成对应于该色彩标度的轨迹。如上所示,色彩标度(和对应的轨迹)可以是比单维更高的维度。这一更高维度色彩标度的示例是二维色彩标度,其中第一维度调制亮度,而第二维度调制色点。
另一示例在图10中给出。图10的右手侧示出了基于两个单独图像(左侧的PET图像、中间的CT图像)创建的彩色医疗图像(PET/CT融合图像)。右侧的彩色图像是通常被可视化的图像。图10的右侧PET/CT图像使用二维色彩标度,其中一个维度对应于底层CT图像,并且其中另一维度对应于底层PET图像。
图8b描述了作为本发明的实施例的选择一个或多个轨迹的另一特定实现。在该情形中,选择将基于用于特定图像或特定显示器的色彩标度的典型用途。例如,特定图像使用特定色彩标度是公知的。例如,一些应用(以及由此的图像类型)通常可使用火/冰色彩标度,而其它应用(以及由此的图像类型)通常可使用彩虹色彩标度。在这一情形中,系统可基于图像或者正使用图像的应用的类型来确定/预测可能正在使用什么色彩标度。该色彩标度(或这些色彩标度)然后可被选择。类似的原理可用于显示系统。存在专业显示系统是公知的(尤其在医疗成像中),这意味着一些显示器经常只用于一个或有限数目的专业应用(诸如乳腺摄影、病理学等)。在该情形中,基于显示器针对使用的应用(以及因此的显示器类型),将可能使用什么色彩标度可被确定/预测。该色彩标度(或这些色彩标度)然后可被选择。
图8c描述了根据本发明的实施例的选择一个或多个轨迹的另一特定实现。在其中图像质量和/或图像一致性是重要的许多应用中,系统被校准和/或包含特定(经常是已知的)特征的基准或测试图像被取得。示例是数字乳腺摄影,其中周期性地取得测试图像以验证数字乳腺摄影检测器仍然工作良好。这些测试图像通常包括已知幻影或目标的成像以使得该图像可以与所预期的样子相比较。另一示例是数字病理学,其中周期性地扫描具有已知图样的“参考载片”。这一参考载片的示例在图12中示出。图12所示的参考载片包括多个区域或特征。最相关的是右侧的“中性区域”(‘6条带组合产生15个不同的中性密度区域’)以及右侧的“H&E染色区域”(‘6个苏木精和6个伊红带组合产生48个不同的H&E染色剂组合的阵列)。该“H&E染色区域”与对于数字病理学图像是相关的二维色彩标度相对应。因此,通过观察“H&E染色区域”中的色彩,能够直接为该图像创建相关的二维色彩标度。该H&E染色区域占据了病理学载片相当大的区域。因此,优化可以是限制H&E染色区域中的斑块的数目。基于该有限数目的斑块,能够推断出所省略的斑块的色值、整个相关色彩标度以及轨迹。在极端情况下,对于苏木精只能包括单个参考斑块,且对于伊红只能包括单个斑块,并将其用作生成色彩标度和轨迹的基础。所省略斑块的色彩的生成(以及因此的色彩标度和轨迹的生成)可通过计及关于H&E的不同浓度的色彩表现的已知信息来完成。因此,换言之:如果知晓(基于例如但不限于理论知识或基于先前测得的数据或先前测量的载片或染色区域)H&E的色彩如何根据浓度来表现,则与其相对应的一个或有限数目的所测量的色点能够足以因变于浓度来生成色点的整个曲线。
尽管以上示例提及特定H&E染色剂,但也可以在染色区域中使用其它染色剂并且染色区域也可包括不同数目的染色剂(例如但不限于一个、两个、三个、四个等)是清楚的。
请注意,“校准或基准图像”可以是单独图像(如在图12的情形中),或者它可以是作为需要被可视化的实际图像的一部分的区域。在单独图像的情形中,校准或基准图像可被存储以使得该图像可以在一时间段内重用。例如,只能一天取得校准/基准图像一次。在该情形中,图8c的步骤1.1可对应于从存储中检索基准图像。替换地,如果基准/校准图像仍不可用或者如果所存储的基准/校准图像太旧,则步骤1.1可对应于实际上取得/创建新基准/校准图像。单个基准/校准图像可包含仅仅一个或多个特征。这些特征不一定需要直接对应于色彩标度。相关特征需要被进一步处理以推导出底层色彩标度是非常有可能的。在该情形中,图8c的步骤1.3可被“基于所标识的相关特征来确定相关色彩标度”替换。还注意,图8c的步骤1.4可涉及插值。的确,在基准/校准图像中包括色彩标度的所有可能的色彩梯度经常是不实际的。因此,可决定只包括色彩标度的色彩梯度的子集。丢失的色彩梯度然后能例如通过插值技术来生成以使得能生成整个色彩标度。
图8d描述了作为本发明的实施例的选择一个或多个轨迹的又一特定实现。在该情形中,从图像中提取对应于量化值的不同层级的相关区域或特征。这可以在本发明的任意实施例中完成。在数字病理学图像的情形中,这些量化值可对应于例如特定分子、示踪剂、抗体、抗原或物质的浓度。在PET或SPECT图像中,量化值可对应于例如示踪剂或目标的分子活性或浓度。在一般的量化成像中,量化值可对应于(计算出或测量出的)生物标记值。在一般的成像中,量化值可对应于材料、组织或物质的刚度、强度、透射率、吸收性、温度、湿度等。一旦对应于量化值的不同层级的区域/特征已被标识,这些区域/特征的色点就被观察到。在这些色点的基础上,创建轨迹,该轨迹以对应于相应量化值的递减或递增层级的次序包含这些色点。请注意,一个图像可视化多个量化值(或换言之:一个图像可视化更高维度的量化值)是可能的。在该情形中,正被创建的轨迹也将是更高维度的。如以上解释的,如果只有有限数目的量化值层级被标识,则可使用插值来生成量化值之间的色点。
最后,图8c示出了根据本发明的实施例的能如何选择一个或多个轨迹的最后一个示例。图8e是图8c和8d的变体/组合。在该情形中,对应于量化值的不同层级的特征/区域不从图像本身中提取,而是从基准或校准图像中提取。同样在此,基准或校准图像可被存储或检索以供稍后使用,或者可以针对每一单独图像被再次取得/创建。基准/校准图像在该情形中也可以是图像本身的一部分。
实现的示例以及实施例
之后是本发明的实施例的实现的示例。
第一示例遵循图8a或图8b中描述的特定方法。假设图11a中所示出的色彩标度已被标识为正用于图像可视化。根据步骤1.2(图8a和8b),然后需要标识对应于该色彩标度的轨迹。这可通过检查对应于色彩标度的不同梯度的色值来完成。这些色值已经在图11a的底部示出。这些色值在原始RGB值色彩空间中可视化。如可以看到的,这些值从青色通过黑色到黄色。通过检查色彩标度本身,可以清楚地看到值的次序的确是开始于青色、通过蓝色、到黑色、到红色、最后到黄色。因此,与色彩标度相对应的轨迹是分段线性的,且包含从青色、到蓝色、到黑色、到红色、到黄色的色值。然后选择该轨迹。
请注意,如果该色彩标度将通过现有技术可视化,则该色彩标度将看上去像在图11a中那样。请注意,该标度在感知上不是线性的。这可以例如从以下事实中看到:尽管输入数据中的从点1到点2的距离仅仅是整个标度的四分之一,但在感知到的标度中该距离几乎占据了感知到的标度的一半。而且,可以清楚地看到可视化“青色”和“黄色”的不同阴影几乎是不可能的,这也指示色彩标度在感知上不是线性的。
根据图7的步骤2,然后将定义变换以提高属于所选色彩标度的连续点的感知线性。这如下完成:对于所选轨迹上的每一对连续点,计算deltaE2000距离。对所有这些距离求和并且计算该轨迹的各对连续点之间的平均距离。将被定义的变换将在轨迹上重新分布点以使得轨迹上的每一对连续点具有相等的deltaE2000距离。请注意,由于位深度的限制(色彩空间的准确性、量化误差等)和/或由于显示系统的限制(位深度、量化误差),完美的等距离可能是不可行的,并且deltaE2000距离的小差别保持到重新分布后,同时提供线性化的增加。由此,在这一情形中,定义提高(例如,主要提高)属于至少一个轨迹的连续点的感知线性的变换。该变换可采取查找表(LUT)的形式,或者可通过数学公式来定义。所定义的变换的效果在图11b中示出。如可以看到的,轨迹上的点已经重新分布(请注意所标记的点1、2、3)。图11a与11b之间的比较使得轨迹上的在RGB色彩空间中等距离的点现在还在感知上均等分布得多是清楚的。这可以例如从以下事实中看到:在图11b中点2现在的确几乎在视觉上位于色彩标度的25%处(在已应用变换后),而在图11a中该点在感知上在标度中太远。
最后,根据图7的步骤3,所定义的变换被应用于图像。该图像可以是利用所选色彩标度/轨迹的任何图像。变换可以一次应用于单个图像,或者同一变换可以应用于一系列或一堆图像。
在该示例中,图7的步骤1和2可以例如在CPU或DSP上执行。步骤3可以例如在GPU内或FPGA内执行。但执行的确切位置不是对本发明的限制。不同的步骤可以在图像处理流水线中的不同位置以及在不同种类的设备上执行。而且,变换本身可以拆分成不同阶段,其中变换的一个步骤是例如在PC内的CPU上执行的,而下一步骤在PC内的GPU上执行,又一步骤在FPGA或ASIC中的显示器内执行。一个或多个步骤例如通过因特网或者在私有或公共云中远程地执行也是可能的。
作为对以上示例的进一步改进,所定义的变换可被扩展以使得还计及将被用来可视化图像的显示系统的表现。这将意味着当对应于所选色彩标度的色值被标识时,更进一步计及这些特定色值将由显示系统以特定方式可视化。在该示例中,图像可被转发至aRGB显示器,由此对于每一RGB色值能计算或测量显示器将针对该特定RGB色值可视化什么色彩坐标。最终将用于定义点的重新分布的是将被用作计算感知距离的起点的可视化的显示器色彩坐标的最终值。请注意,计及显示系统可通过假定特定显示器标准(sRGB、aRGB等)来完成,但这也可通过有效地使用将用于可视化的单独显示器(或显示器类型)的特定特性来完成。因此,可能想要表征单独显示器(或显示器类型)以准确地计及显示系统的效果。该表征是周期性地或一次性完成并且结果被存储到简档(诸如ICC简档)是可能的。在该情形中,可能使用ICC简档信息来计及显示系统的效果。
在以下示例性实现中,医疗显示器应被校准以改进PET SUV摄取值的量化成像以及量化动态对比度增强型MRI。结论是彩虹色彩标度是通常用于可视化这种类型的色彩信息的相关标度。
轨迹然后可被表示为图像空间(RGB空间)或显示空间或感知上线性的空间内的线。轨迹还可以是这一空间内的分段线性轨迹,或者轨迹甚至可以是这一空间内的任何形状的连续或不连续轨迹。轨迹的一个示例在图9中示出。在该情形中,色彩空间是RGB图像空间,且轨迹是从青色到黑色到黄色的曲线。
显示器被适配成使得显示器表现变得是沿一个或多个所选色彩标度的轨迹(或线)感知上线性的。由于该轨迹不包括色彩空间中的所有点,因此校准将不会显著地减小显示器亮度、对比度或色域。在一条或多条轨迹之外,显示器可被保持为原生地校准,或者显示器根据用于医疗成像的常规标准来校准。这一标准可以是例如sRGB、DICOM GSDF等。
另一示例性实现关于数字病理学图像。在病理学中,使用特定染色剂来可视化或区别地标识出显微镜结构。苏木精和伊红染色剂(H&E染色剂或HE染色剂)是组织学中的主要染色剂之一。该染色剂是医疗诊断中最广泛使用的染色剂并且经常是黄金标准。不同的显微镜结构对苏木精和伊红做出不同的反应,并且这在染色后导致一定范围的可见色彩。由此,对于病理学家而言,感知到的色彩是理解显微结构如何对苏木精和伊红做出反应并以此为基础做出诊断的间接方式。对苏木精和伊红的不同程度的反应分别可被认为是相关的量化成像值。由此,用H&E染色的图像可被认为是具有相关的二维色彩标度的成像,其中一个维度对应于对苏木精的反应,而另一维度对应于对伊红的反应。不幸的是,迄今染色程序存在大量可变性,从而导致所染色图像的色彩的显著可变性。这对于准确诊断是个问题。此外,数字病理学中的当前工作方式是获得所染色的载片的数字可见光图像并将这些数字图像可视化为它们将在光学显微镜下被自然地感知到。有时,应用色彩管理以确保可视化的数字图像近似通过查看光学显微镜感知到的那些图像。这种工作方式根本不是理想的,因为对应于对苏木精和伊红的反应/浓度的不同层级的可视化的色彩不是感知上线性的。根据本发明的实施例,这个问题将通过以下描述的实际实现来解决。
第一步骤(根据图7)是选择色彩空间中的至少一个轨迹。这可通过多种方式来完成:如在图8b中解释的,分析若干类似图像(例如,给定病理学次专科的图像、以相同方式染色的图像、在相同的数字病理学扫描仪上获得的图像)以提取对应于H&E反应/浓度的二维色彩标度或许是可能的。通过随后标识哪些色点对应于该色彩标度,可创建相关轨迹。替换地,如在图8e中描述的,利用基准或校准图像或许是可能的。一种这样的可能图像在图12中示出。在图12的右下侧,存在“H&E染色区域”,其对应于48个不同的H&E组合(存在49个组合,但组合无H和E没有意义)。这48个组合然后可被认为是二维量化值的相关子集(量化值是(H,E))。对于这48个组合中的每一者,能够检索到对应于(H,E)组合的色点。并且在这些色点的基础上,能创建二维轨迹(一个维度对应于“H”,另一维度对应于“E”),该二维轨迹包含48个色点并且其中这些点例如基于H的递增层级和E反应的递增层级来排序。请注意,基准/校准图像可以周期性地取得、存储并且然后每一次被重用达所定义的时间段。或者基准/校准图像可以默认是正被创建的任何载片图像的一部分。数字病理学图像例如能以原始RGB图像的形式存储,或者它可被存储为伴随有ICC简档的特定色彩空间中的图像。ICC简档内的信息在该情形中可用于确定属于所选轨迹的点的色点。轨迹本身可以在用于编码图像的同一色彩空间或另一色彩空间中描述。
第二步骤(根据图7)是定义提高属于至少一个轨迹的连续点的感知线性(例如,主要提高感知线性)的变换。在数字病理学的示例中,这意味着目标是提高属于二维轨迹的点的感知线性(或者等效地提高二维轨迹的感知统一性),而不使得整个色彩空间变得感知上线性,因为这会导致色域/对比度/亮度的过大减小。这可例如通过主要(或仅仅)重新分布属于二维轨迹的点来完成。重新分布将被完成以使得二维轨迹中的相邻点之间的感知距离变得尽可能地相等。在该情形中,计算感知距离的度量的好选择是deltaE2000。确定需要如何完成确切的重新分布可基于蛮力方法(尝试所有可能组合并选择导致最佳的总体感知统一性的组合)、通过其中轨迹的点的外边界保持固定且其它点通过质量弹簧系统重新分布的质量弹簧系统、或者通过用于在表面上或沿着线均匀地分布点的其它已知技术。请注意,尽管可能期望沿着二维轨迹的两个维度使用相同的感知阶距大小,但严格来说这是不必要的。还可决定在一个方向/维度中使用比另一方向/维度中更大的阶距大小。
存在避免由于已经重新分布的点(轨迹上的点)与尚未更改的点之间的不连续性而导致的可视伪像的若干种方式。一种可能的方式是还(稍微)重新分布不属于轨迹的点以降低不连续性。该重新分布可基于质量弹簧系统(其中例如轨迹上的重新分布的点被固定并且其中色彩空间的边界上的点应被固定)或者通过其中轨迹上的点的领域内的点也被稍加处理的平滑/过滤操作来完成。又一可能性是使用插值(线性、双线性、三次、双三次、样条……),其中例如轨迹上的重新分布的点被固定并且另外一些其它点也被固定(例如,色域的外边界上的点或者例如属于主色或次色的点等),并且其中居间的点通过插值生成。这将导致不连续性降低,因为插值还将创造平滑/过滤效果。
所定义的变换还可进一步计及将用于可视化图像的显示系统的特性。在该情形中,变换将需要计及将在计算感知距离时以及在重新分布点以提高属于轨迹的连续点的感知线性时在显示系统上可视化图像的特定方式。这一计及显示系统的特性可例如通过利用显示系统的ICC设备简档来实现。
最后,第三步骤(根据图7)是将所定义的变换应用于一个或多个图像。如上所述,可以单独地为每一图像定义变换,或者可以对具有相同的类型或具有类似特性的多个图像应用相同的变换。轨迹的选择可以例如在计算机内的CPU上执行,变换的定义可以例如在计算机内的CPU上执行,并且变换对图像的应用可以例如在计算机内的GPU或CPU上执行或者替换地在显示器内的FPGA或ASIC上执行。上述某些或所有步骤还可通过因特网或者在私有或公共云基础设施中远程地执行。
功能的配置可以例如通过查找表来完成,该查找表可位于显示器内、GPU(图形处理单元)中、GPU的驱动程序中、操作系统中、或诸如ICC(国际色彩联盟)框架等框架内。适配电路系统的细节或者这一功能的位置不应被视作对本发明的限制。
本发明还包括被适配成执行本发明的任一种方法的系统。这一系统可包括诸如局域网或广域网等网络,该网络包括被适配成提供已经在服务器上根据本发明的任一种方法处理的图像的服务器以及能够接收并显示所处理的这些图像的显示设备。替换地,图像可以是在不同于服务器的计算机或者显示设备上根据本发明的任一种方法来处理。这一系统可包括处理引擎,诸如微处理器或FPGA。处理引擎可包括一个或多个中央处理器CPU或者可包括一个或多个GPU或例如一个或多个DSP、一个或多个FPGA或一个或多个ASIC以及输入和输出和存储器。这些处理引擎可以是独立的,例如在单独单元中,诸如具有用于图像信号的输入以及已经根据本发明的任一实施例来处理的经修改图像信号的输出的控制器。这些处理引擎可替换地被嵌入在具有用于图像信号的输入以及已经根据本发明的任一实施例来处理的经修改图像信号的输出的例如显示设备、网络服务器、计算机卡等中。
根据本发明的实施例的所有方法以及根据本发明的系统可以在被专门适配成实现本发明的方法的计算机系统上实现。计算机系统可包括具有处理器和存储器的计算机,并且被适配成向显示器提供经处理的图像。本发明的任一种方法可基于该计算机具有用于处理和可视化图像的装置。每一种这样的方法可通过提供在计算机上运行的软件来在计算机上实现。可提供用于在线或离线输入图像的输入设备,例如信号存储设备可提供这些图像(诸如光盘(CD-ROM或DVD-ROM))或者固态存储器或者经由网络链接(例如,经由LAN或WAN)的流传输或存储装置。
计算机可包括处理器和存储器,存储器存储机器可读指令(例如,如下所述的软件),这些指令在由处理器执行时使得该处理器执行所描述的方法。计算机可包括视频显示终端、诸如键盘等输入装置、诸如鼠标等图形用户界面指示装置。
计算机通常包括中央处理单元("CPU",例如常规的微处理器,由美国英特尔公司提供的奔腾处理器仅仅是一个示例)以及通过总线系统互连的多个其它单元。总线系统可以是任何合适的总线系统。计算机包括至少一个存储器。存储器可以包括各种本领域技术人员已知的数据存储设备中的任一种,诸如随机存取存储器(“RAM”)、只读存储器(“ROM”)和非易失性读/写存储器,例如本领域技术人员已知的硬盘或固态存储器。例如,计算机还可包括随机存取存储器(“RAM”)、只读存储器(“ROM”)以及用于将系统总线连接到视频显示终端的显示适配器和用于将外围设备(例如,盘和带驱动器)连接到系统总线的可任选的输入/输出(I/O)适配器。视频显示终端可以是计算机的可视输出,且可以是任何合适的显示设备,诸如基于LCD或基于气体等离子体的平板显示器。该计算机进一步包括用于连接键盘、鼠标和可任选的扬声器的用户接口适配器。
计算机还可以包括驻留在机器可读介质内以引导计算机操作的图形用户界面。任何合适的机器可读介质可以保存所述图形用户界面,例如随机存取存储器(RAM)、只读存储器(ROM)、磁盘、磁带或光盘(最后三个位于盘和带驱动器中)。任何合适的操作系统和相关联的图形用户界面(例如微软的Windows、Linux、Android)可以引导CPU。另外,计算机包括驻留在计算机存储器存储内的控制程序。控制程序包含当在CPU上被执行时允许计算机执行关于本发明的任何方法所描述的操作的指令
本发明还包括当在处理引擎上执行时被适配成执行本发明的任一种方法的软件。软件可以在诸如光盘(CDROM或DVD ROM)、磁盘、固态存储器(诸如闪存)、只读存储器等合适的非瞬态信号存储介质上被存储为计算机程序产品。
本发明提供了被适配成处理图像的系统或软件并且可包括用于选择色彩空间中的至少一个轨迹的装置。该系统或软件还可包括用于定义提高(例如,主要提高)属于至少一个轨迹的连续点的感知线性的变换的装置。该系统或软件还可包括用于将变换应用于图像的装置。该系统或软件可具有被适配成允许至少一个轨迹包含具有不同色点的点的装置。该系统或软件可具有被配置成允许色彩空间是sRGB、aRGB、原始RGB、Lab、ICC PCS之一的装置。该系统或软件可具有被适配成使得至少一个轨迹只包含主色或次色的点的装置。该系统或软件可具有被适配成允许至少一个轨迹对应于色彩标度的装置。该系统或软件或装置可被配置成选择至少一个轨迹以增加或最大化沿着轨迹的最小可觉差的数目。该系统或软件或装置可被适配成允许至少一个轨迹在色彩空间中是分段线性的或者在色彩空间中是非线性的。该系统或软件或装置可被适配成允许至少一个轨迹包含对应于量化值的不同层级的色彩。这些色彩可沿着轨迹基于量化值的升序或降序值来排序。该系统或软件或装置可被适配成使得量化值是分子浓度、染色反应、示踪剂浓度、物质浓度、靶分子浓度、分子活性、代谢活性、材料刚度、材料强度、材料特性、生物标记值之一。该系统或软件或装置可被适配成基于基准图像或校准图像来选择轨迹。该系统或软件或装置可被适配成允许单独地为每一图像选择至少一个轨迹。该系统或软件或装置可被适配成基于图像类型或图像特性来选择至少一个轨迹。该系统或软件或装置可被适配成允许图像是数字病理学图像并且基于在数字病理学图像中使用的特定染色机或者数字病理学图像的特定次专科来选择至少一个轨迹。该系统或软件或装置可被适配成基于将被显示在显示系统上的典型图像的特性或类型来选择至少一个轨迹。该系统或软件或装置可被适配成使得图像是数字病理学图像,且至少一个轨迹基于对应于对不同抗原浓度的染色反应的色值。该系统或软件或装置可被适配成允许图像是医学图像,且允许至少一个轨迹基于与对造影剂或示踪剂的反应的不同渐变相对应的色值。该系统或软件或装置可被适配成使得感知线性通过CIE76、CIE94、CIEdeltaE2000、DICOM GSDF之一来量化。该系统或软件或装置可被适配成允许选择至少两个不同的轨迹。该系统或软件或装置可被适配成允许使用对应于至少两个所选轨迹的至少两个不同的感知线性度量。该系统或软件或装置可被适配成允许一个所选轨迹对应于中性灰度级,并且其中针对该中性灰度级的感知线性通过DICOM GSDF来评估。该系统或软件或装置可被适配成使得变换进一步计及显示系统的特性。该系统或软件或装置可被适配成使得变换分别保留色域和/或亮度和/或对比度的至少95%、至少90%、至少80%、至少70%。该系统或软件或装置可被适配成使得变换由CPU、GPU、DSP、FPGA或ASIC来应用。该系统或软件或装置可被适配成使得变换部分地在CPU上应用且部分地在GPU或FPGA上应用。该系统或软件或装置可被适配成使得变换允许不是轨迹的一部分的点具备其原生显示器校准。该系统或软件或装置可被适配成使得变换将不是轨迹的一部分的点适配成获得增加的连续表现。该系统或软件或装置可被适配成使得变换将不是轨迹的一部分的点适配成遵从诸如伽马或sRGB或例如DICOM GSDF等另一标准。该系统或软件或装置可被适配成使得至少一个所选色彩标度是最大化计算出的最小可觉差的数目(当这是为沿着相同轨迹的一组色彩标度计算时)的色彩标度。该系统或软件或装置可被适配成使得至少一个所选轨迹具有更高维度。该系统或软件或装置可被适配成使得轨迹的每一维度对应于不同的量化值。该系统或软件或装置可被适配成使得轨迹的每一维度对应于不同示踪剂的浓度或染色反应或不同分子的浓度或不同抗原的浓度或不同抗体的浓度。
如上所述的系统可被实现为控制器,例如供与显示器或显示系统联用的分开的独立设备。
如上所述的系统可被实现为供与显示器或显示系统联用并且被适配成执行本发明的任一种方法的处理器。
Claims (44)
1.一种用于处理图像的方法,包括以下步骤:
选择色彩空间中的至少一个轨迹;
定义重新分布属于所述至少一个轨迹的连续点的变换以使得所述变换主要提高属于所述至少一个轨迹的连续点的感知线性,在此情况下显示器的色域中的不在所述至少一个轨迹中的色点保持不变以使得所述色域和/或亮度和/或对比度的至少70%被保留;
对所述图像应用所述变换。
2.如权利要求1所述的方法,其特征在于,所述至少一个轨迹包含具有不同色点的点。
3.如权利要求1所述的方法,其特征在于,还包括校准显示设备以用于量化成像,所述显示设备具有色域,其中在所述显示器的色域中存在不在所述至少一个轨迹中但用于可视化所述图像的一部分的色点。
4.如权利要求3所述的方法,其特征在于,所述显示器的色域中的不在所述轨迹中的色点绝大部分保持不变,或者能以不同于所述至少一个轨迹的方式修改以使得较不重要的色彩保持不变或绝大部分保持不变,或者未被用来可视化量化成像数据的色彩保持不变或绝大部分保持不变。
5.如权利要求1所述的方法,其特征在于,所述色彩空间是sRGB、aRGB、原始RGB、Lab、ICC PCS之一。
6.如权利要求1所述的方法,其特征在于,所述至少一个轨迹只包含主色或次色的点。
7.如权利要求1所述的方法,其特征在于,所述至少一个轨迹对应于色彩空间或标度。
8.如权利要求1所述的方法,其特征在于,选择所述至少一个轨迹以最大化沿该轨迹的最小可觉差的数目。
9.如权利要求1所述的方法,其特征在于,所述至少一个轨迹在所述色彩空间或标度中是分段线性的。
10.如权利要求1所述的方法,其特征在于,所述至少一个轨迹在所述色彩空间或标度中是非线性的。
11.如权利要求1所述的方法,其特征在于,所述至少一个轨迹包含对应于量化值的不同层级的色彩,并且其中所述色彩沿着该轨迹基于所述量化值的升序或降序值来排序。
12.如权利要求11所述的方法,其特征在于,所述量化值是分子浓度、染色反应、示踪剂浓度、物质浓度、靶分子浓度、分子活性、代谢活性、材料刚度、材料强度、材料特性、生物标记值之一。
13.如权利要求1所述的方法,其特征在于,所述轨迹的选择基于基准图像或校准图像来完成。
14.如权利要求1所述的方法,其特征在于,所述至少一个轨迹是为每一图像单独选择的。
15.如权利要求1所述的方法,其特征在于,所述至少一个轨迹基于图像类型或图像特性来选择。
16.如权利要求1所述的方法,其特征在于,所述图像是数字病理图像,且所述至少一个轨迹基于所述数字病理图像中所使用的特定染色剂或者所述数字病理图像的特定次专科来选择。
17.如权利要求1所述的方法,其特征在于,所述至少一个轨迹基于将被显示在显示系统上的典型图像的特性或类型来选择。
18.如权利要求1所述的方法,其特征在于,所述图像是数字病理学图像,且所述至少一个轨迹基于与对不同抗原浓度的染色反应相对应的色值。
19.如权利要求1所述的方法,其特征在于,所述图像是医学图像,且所述至少一个轨迹基于与对造影剂或示踪剂的反应的不同层次相对应的色值。
20.如权利要求1所述的方法,其特征在于,感知线性通过CIE76、CIE94、CIEdeltaE2000、DICOM GSDF之一来量化。
21.如权利要求1所述的方法,其特征在于,选择至少两个不同的轨迹。
22.如权利要求21所述的方法,其特征在于,使用对应所述至少两个所选轨迹的两个不同的感知线性度量。
23.如权利要求21所述的方法,其特征在于,一个所选轨迹对应于中性灰度级,并且其中针对所述中性灰度级的感知线性通过DICOM GSDF来评估。
24.如权利要求1所述的方法,其特征在于,所述变换进一步计及显示系统的特性。
25.如权利要求1所述的方法,其特征在于,所定义的变换分别保留色域和/或亮度和/或对比度的至少95%、至少90%、至少80%。
26.如权利要求1所述的方法,其特征在于,变换由CPU、GPU、GSP、FPGA或ASIC来应用。
27.如权利要求1所述的方法,其特征在于,所述变换部分地在CPU上应用且部分地在GPU或FPGA上应用。
28.如权利要求1所述的方法,其特征在于,所述变换使得不是所述轨迹的一部分的至少一些点留有其原生显示器表现或留有所需经校准表现。
29.如权利要求1所述的方法,其特征在于,所述变换将不是所述轨迹的点适配成使得获得增加的连续表现。
30.如权利要求1所述的方法,其特征在于,所述变换涉及所述至少一个所选轨迹的点与已被固定的其它点之间的插值。
31.如权利要求30所述的方法,其特征在于,已被固定的其它点包括所述色域的外边界上的点或者术语主色或次色的点。
32.如权利要求1所述的方法,其特征在于,所述变换将不是所述轨迹的一部分的至少一些点适配成使其遵从另一标准,诸如伽马、aRGB或sRGB。
33.如权利要求1所述的方法,其特征在于,所述至少一个所选色空间或标度是在为沿着相同的轨迹的一组色彩空间或标度计算时最大化最小可觉差的计算出的数目的色彩空间或标度。
34.如权利要求1所述的方法,其特征在于,所述至少一个轨迹是更高维度的。
35.如权利要求34所述的方法,其特征在于,所述轨迹的每一维度对应于不同的量化值。
36.如权利要求34所述的方法,其特征在于,所述轨迹的每一维度对应于不同示踪剂的浓度或染色反应或不同分子的浓度或不同抗原的浓度或不同抗体的浓度。
37.如权利要求34所述的方法,其特征在于,第一维度对应于对苏木素的反应程度,第二维度对应于对伊红的反应程度。
38.一种被适配成执行如权利要求1到37所述的方法中的任一种的用于显示图像的显示设备。
39.一种供与显示器联用的控制器,所述控制器被适配成执行如权利要求1到37所述的方法中的任一种。
40.一种存储指令的机器可读非瞬态信号存储介质,当所述指令在处理引擎上执行时所述指令执行如权利要求1到37所述的方法中的任一种方法。
41.一种包括显示器和可视化应用的系统,所述可视化应用被适配成执行如权利要求1到37所述的方法中的任一种。
42.如权利要求41所述的系统,其特征在于,包括处理引擎。
43.如权利要求42所述的系统,其特征在于,所述处理引擎包括一个或多个中央处理器CPU或一个或多个GPU或一个或多个DSP或一个或多个FPGA或一个或多个ASIC以及输入和输出和存储器。
44.如权利要求42所述的系统,其特征在于,所述处理引擎是独立单元或者是嵌入式的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1412620.5A GB2528283B (en) | 2014-07-16 | 2014-07-16 | Image colour calibration with multiple colour scales |
GB1412620.5 | 2014-07-16 | ||
PCT/EP2015/065896 WO2016008825A1 (en) | 2014-07-16 | 2015-07-10 | Image colour calibration with multiple colour scales |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106716491A CN106716491A (zh) | 2017-05-24 |
CN106716491B true CN106716491B (zh) | 2020-10-09 |
Family
ID=51454208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580049793.9A Active CN106716491B (zh) | 2014-07-16 | 2015-07-10 | 具有多个色彩标度的图像色彩校准 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10212312B2 (zh) |
EP (1) | EP3170149B1 (zh) |
CN (1) | CN106716491B (zh) |
GB (1) | GB2528283B (zh) |
WO (1) | WO2016008825A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017139367A1 (en) * | 2016-02-08 | 2017-08-17 | Imago Systems, Inc. | System and method for the visualization and characterization of objects in images |
US10373345B2 (en) * | 2017-04-06 | 2019-08-06 | International Business Machines Corporation | Adaptive image display characteristics |
AU2018375189B2 (en) | 2017-11-30 | 2021-12-02 | Leica Biosystems Imaging, Inc. | Color monitor settings refresh |
CN110162567B (zh) * | 2019-05-21 | 2020-07-31 | 山东大学 | 基于颜色表优化的二维标量场数据可视化方法及系统 |
CN114881924B (zh) * | 2022-03-30 | 2024-07-23 | 什维新智医疗科技(上海)有限公司 | 一种基于超声图像弹性信号的量化分析装置 |
CN116485979B (zh) * | 2023-04-28 | 2024-03-26 | 神力视界(深圳)文化科技有限公司 | 映射关系计算方法、颜色校准方法及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901469A (zh) * | 2008-11-25 | 2010-12-01 | 卡尔斯特里姆保健公司 | 用于改进的诊断图像一致性的渲染 |
WO2013086169A1 (en) * | 2011-12-06 | 2013-06-13 | Dolby Laboratories Licensing Corporation | Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities |
CN103685855A (zh) * | 2012-09-20 | 2014-03-26 | 柯尼卡美能达株式会社 | 图像形成装置用校准装置、以及图像形成装置的校准方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003001499A1 (fr) * | 2001-06-26 | 2003-01-03 | Seiko Epson Corporation | Systeme d'affichage d'images, projecteur, procede de traitement d'images et support d'enregistrement de donnees |
US7869619B2 (en) * | 2007-08-30 | 2011-01-11 | Integrated Color Solutions, Inc. | System and method for display device characterization, calibration, and verification |
US8390642B2 (en) * | 2009-04-30 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | System and method for color space setting adjustment |
JP5540102B2 (ja) * | 2009-10-12 | 2014-07-02 | ベンタナ メディカル システムズ, インコーポレイテッド | 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出 |
US9082334B2 (en) * | 2010-06-14 | 2015-07-14 | Barco N.V. | Luminance boost method and system |
US8693051B2 (en) * | 2010-09-24 | 2014-04-08 | Carestream Health, Inc. | High density ink-jet printing on a transparency |
US9336576B2 (en) * | 2010-12-21 | 2016-05-10 | Barco N.V. | Method and system for improving the visibility of features of an image |
CN103222876B (zh) | 2012-01-30 | 2016-11-23 | 东芝医疗系统株式会社 | 医用图像处理装置、图像诊断装置、计算机系统以及医用图像处理方法 |
US20140139541A1 (en) * | 2012-10-18 | 2014-05-22 | Barco N.V. | Display with optical microscope emulation functionality |
US20140143299A1 (en) * | 2012-11-21 | 2014-05-22 | General Electric Company | Systems and methods for medical imaging viewing |
US9626476B2 (en) * | 2014-03-27 | 2017-04-18 | Change Healthcare Llc | Apparatus, method and computer-readable storage medium for transforming digital images |
US9799305B2 (en) * | 2014-09-19 | 2017-10-24 | Barco N.V. | Perceptually optimised color calibration method and system |
-
2014
- 2014-07-16 GB GB1412620.5A patent/GB2528283B/en active Active
-
2015
- 2015-07-10 WO PCT/EP2015/065896 patent/WO2016008825A1/en active Application Filing
- 2015-07-10 US US15/326,298 patent/US10212312B2/en active Active
- 2015-07-10 CN CN201580049793.9A patent/CN106716491B/zh active Active
- 2015-07-10 EP EP15741962.3A patent/EP3170149B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901469A (zh) * | 2008-11-25 | 2010-12-01 | 卡尔斯特里姆保健公司 | 用于改进的诊断图像一致性的渲染 |
WO2013086169A1 (en) * | 2011-12-06 | 2013-06-13 | Dolby Laboratories Licensing Corporation | Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities |
CN103685855A (zh) * | 2012-09-20 | 2014-03-26 | 柯尼卡美能达株式会社 | 图像形成装置用校准装置、以及图像形成装置的校准方法 |
Non-Patent Citations (1)
Title |
---|
Color Scales for Image Data;Haim Levkowitz 等;《Computer Graphics & Applications》;19920131;第72-80页 * |
Also Published As
Publication number | Publication date |
---|---|
GB2528283A (en) | 2016-01-20 |
US10212312B2 (en) | 2019-02-19 |
GB201412620D0 (en) | 2014-08-27 |
EP3170149B1 (en) | 2024-06-12 |
CN106716491A (zh) | 2017-05-24 |
US20180027148A1 (en) | 2018-01-25 |
EP3170149A1 (en) | 2017-05-24 |
GB2528283B (en) | 2020-08-05 |
EP3170149C0 (en) | 2024-06-12 |
WO2016008825A1 (en) | 2016-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106716491B (zh) | 具有多个色彩标度的图像色彩校准 | |
EP2063392A1 (en) | Image processing of medical images | |
US8711144B2 (en) | Perception-based artifact quantification for volume rendering | |
CN107408373B (zh) | 稳定的色彩渲染管理器 | |
Joemai et al. | Assessment of structural similarity in CT using filtered backprojection and iterative reconstruction: a phantom study with 3D printed lung vessels | |
JP5662962B2 (ja) | 画像処理装置、方法及びプログラム | |
CN105122301A (zh) | 对来自不同成像模态的医学图像的同时显示 | |
Baum et al. | Fusion viewer: a new tool for fusion and visualization of multimodal medical data sets | |
CN102369555A (zh) | 用于进行轮廓描绘的自动对比度增强 | |
EP3311362B1 (en) | Selecting transfer functions for displaying medical images | |
US20140233822A1 (en) | Method for combining multiple image data sets into one multi-fused image | |
US20190051028A1 (en) | Digital signal processing for image filtering field | |
US9922421B1 (en) | Diffusion ellipsoid mapping of tissue | |
US11756281B1 (en) | Systems and methods for splat filling a three-dimensional image using semi-measured data | |
CN109637632B (zh) | 用于可视化医学图像数据集的方法、系统和计算机介质 | |
US10026173B2 (en) | Diffusion ellipsoid mapping of tissue | |
JP5860970B2 (ja) | 固有画像の生成を改良するための後処理 | |
KR101893793B1 (ko) | 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법 | |
US10825202B2 (en) | Method for compressing measurement data | |
US10319131B2 (en) | Digital signal processing for image filtering field | |
JP7366689B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Bergmann | Nuclear medicine image display | |
JP2021036648A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Solnushkin et al. | Processing of electron-microscope morphological images | |
Meili et al. | Filter methods to preserve local contrast and to avoid artifacts in gamut mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |