CN111512383A

CN111512383A - 用于图像处理的自动测定评估和归一化

Info

Publication number: CN111512383A
Application number: CN201880062455.2A
Authority: CN
Inventors: 聂垚; M·塞恩斯·德·塞亚
Original assignee: Ventana Medical Systems Inc
Current assignee: Ventana Medical Systems Inc
Priority date: 2017-08-04
Filing date: 2018-08-02
Publication date: 2020-08-07
Anticipated expiration: 2038-08-02
Also published as: US20230317253A1; CN111512383B; JP2023099093A; EP4300424A3; JP7047059B2; US20200279126A1; EP4300424A2; CN117174263A; US11990228B2; EP3662484A1; WO2019025533A1; US11715557B2; JP2022084796A; JP7273215B2; JP2020530613A; EP3662484B1; US11380085B2; US20220366667A1

Abstract

本文公开了用于将第一染色剂的滴度归一化为模板图像中相同染色剂的滴度的系统和方法。还公开了评估染色剂滴度水平的方法。

Description

用于图像处理的自动测定评估和归一化

背景技术

数字病理学涉及将整个组织病理学或细胞病理学切片扫描成可在计算机屏幕上解释的数字图像。这些图像随后将由成像算法处理或由病理学家解释。为了检查组织切片(实际上是透明的)，使用选择性结合细胞成分的有色组织化学染色剂制备组织切片。临床医生或计算机辅助诊断(CAD)算法使用颜色增强或染色的细胞结构来识别疾病的形态学标记，并相应地进行治疗。观察该测定可以实现多种过程，包括疾病诊断、对治疗反应的评估、以及研发抗击疾病的新药物。

免疫组织化学(IHC)切片染色可以用于识别组织切片的细胞中的蛋白质，并且因此广泛地用于对诸如生物组织中的癌性细胞和免疫细胞等不同类型的细胞的研究中。因此，可以在研究中使用IHC染色以理解癌组织中免疫细胞(诸如，T细胞或B细胞)的差异表达的生物标记的分布和位置以用于免疫应答研究。例如，肿瘤经常包含免疫细胞的浸润液，该浸润液可以防止肿瘤的发展或有利于肿瘤的向外生长。

原位杂交(ISH)可用于寻找遗传异常或病状的存在，例如在显微镜下观察时在形态学上表现为恶性的细胞中特异性地致癌基因扩增。原位杂交(ISH)使用与靶基因序列或转录物反义的标记的DNA或RNA探针分子来检测或定位细胞或组织样品中的靶核酸靶基因。通过将固定在切片上的细胞或组织样品暴露于标记的核酸探针来进行ISH，所述核酸探针能够与细胞或组织样品中的给定靶基因特异性杂交。通过将细胞或组织样品暴露于已经用多个不同核酸标签标记的多个核酸探针，可以同时分析几个靶基因。通过利用具有不同发射波长的标记，可以在单个步骤中对单个靶细胞或组织样品进行同时多色分析。例如，Ventana Medical Systems，Inc.的INFORM HER2双ISH DNA探针混合测定旨在通过计数HER2基因与17号染色体的比率来确定HER2基因状态。在福尔马林固定的石蜡包埋的人乳腺癌组织样本中，使用双色显色ISH检测HER2和17号染色体探针。

发明内容

本公开文本涉及自动系统和方法，用于评估生物样品图像内的染色剂的滴度，并将该染色剂的滴度归一化为模板图像中相同染色剂的滴度。

尽管大多数数字病理学成像算法被设计成在一定的染色浓度下运行，但待处理的实际切片的苏木精浓度或滴度水平可能有很大的差异性。不希望受任何特定理论的约束，据信这种染色剂颜色和强度差异性会使切片中的苏木精染色过深或过淡，从而可能在图像处理算法中引入错误，而该算法不是为考虑染色剂滴度的这种唐突差异性而设计的。事实上，处理算法通常被调整为在预定的染色浓度范围内工作；如果浓度超出这个范围，算法可能会失败。通过使用所公开的图像归一化系统和方法，图像内的浓度(或滴度)可以被调整为落入任何图像处理算法的预定染色浓度范围内。因此，所公开的用于自动染色剂归一化的系统和方法允许减少染色剂颜色和强度差异性。此外，本文公开的自动化系统和方法能够增强所获取图像的下游处理，例如用于生物样品的评分或组织学图像内特征的量化。

虽然可以对获取到的图像中的所有染色剂进行归一化，但通常不希望这样做，因为某些染色剂的强度可能与特定的生物指征有关。例如，作为癌症免疫治疗的靶，程序性死亡-1(PD-1)在T细胞上表达，并作为下调免疫系统的抑制性受体发挥作用。PD-1的表达水平可以用DAB染色剂强度来表征；因此，DAB的归一化是不希望的，因为据信它可能会扭曲组织样品中的PD-1表达水平信息。此外，可能存在这样的情况，即一种染色剂总是与标记细胞核的复染色剂共定位，例如雌激素受体(ER)。在这种情况下，DAB可能出现在含有复染色剂苏木精(HTX)的混合物中，因此提取纯DAB颜色分布进行归一化是不可行的。申请人已经发现，标记细胞核的苏木精可以在不同的切片上进行稳健的归一化。申请人提出，本文描述的系统和方法允许纯苏木精染色剂以及与其他染色剂共定位的苏木精染色剂的归一化，这在以前没有被解决。

在本公开文本的一个方面中，是一种将查询图像中的第一染色剂的滴度归一化为模板图像中的第一染色剂的滴度的方法，所述查询图像是被至少所述第一染色剂染色的生物样品的查询图像，所述方法包括：(i)在包括密度分量的颜色模型内导出所述查询图像中的色度和密度分布坐标；(ii)将所述查询图像中所述导出的色度分布坐标与模板图像色度分布坐标对齐，以提供转换后的色度分布坐标；(iii)用模板图像密度分布坐标缩放所述查询图像中所述导出的密度分布坐标，以提供转换后的密度分布坐标；以及(iv)通过使用加权转换色度和密度分布坐标在包括密度分量的颜色模型内对所述查询图像进行逆转换来重构RGB图像；其中所述对齐和缩放利用特定于所述查询图像的估计滴度水平的预定参数值。不希望受任何特定理论的约束，据信使用预定参数值或对齐和缩放参数的查找表允许归一化参数的稳健识别，例如当没有足够数量的纯染色剂像素来导出可靠的染色剂颜色或强度统计时。在一些实施方案中，包括密度分量的颜色模型是HSD颜色模型。

在一些实施方案中，所述预定参数值是在已知的第一染色剂滴度水平下确定的导出均值、角度和缩放参数。在一些实施方案中，预定参数值被存储在数据库中，该数据库包括多个滴度水平的至少第一染色剂的参数值，并且查询图像中的估计的第一染色剂滴度水平与多个滴度水平之一匹配，从而选择用于执行对齐和缩放的最佳参数值。在一些实施方案中，第一染色剂是苏木精，并且预定参数值对应于查询图像内的估计的苏木精滴度水平。在一些实施方案中，估计的滴度水平在归一化之前确定。在一些实施方案中，估计的滴度水平是在归一化期间确定的，例如，在将RGB查询图像转换成包括密度分量的颜色模型(例如，HSD颜色模型)之后，但是在导出每个像素的转换坐标之前。

在一些实施方案中，通过基于导出的第一染色剂颜色和强度特征计算所述查询图像的加权平均(或模型)滴度得分来确定所述查询图像的所述估计滴度水平。在一些实施方案中，加权平均得分是通过以下步骤计算的：(a)从所述查询图像中的一系列块中的每一个块导出多个第一染色剂图像特征，以及(b)使用经训练的滴度识别分类器对来自每个图像块的所述多个导出图像特征进行分类。在一些实施方案中，所述滴度识别分类器是多类分类器，其根据从使用第一染色剂滴度水平作为类标签的标准化样品导出的第一染色剂颜色和强度特征进行训练。在一些实施方案中，所述一系列块通过以下步骤导出：(a)从所述查询图像中提取预定数量的FOV(例如，50个FOV)；(b)为每个所述提取的FOV计算一组块；以及(c)为每个所述提取的FOV保留来自所述一组块的满足阈值块标准的那些块。在一些实施方案中，第一染色剂是苏木精，并且所述标准包括：(i)块中大于70％的像素必须具有大于0的苏木精信号(从颜色反卷积获得)；(b)大于50％的像素必须有一些染色；以及(c)大于三分之一的像素必须被排列成由高斯滤波之差确定的“细胞样”结构。

在一些实施方案中，所述加权转换色度和密度分布坐标通过以下步骤导出：(i)计算块中的像素是第一染色剂像素(即具有第一染色剂的像素)的概率；以及(ii)用所述计算的概率对所述转换色度和密度分布坐标进行加权。在一些实施方案中，所述对齐包括平移和旋转所述查询图像中所述导出的色度分布坐标，以具有与模板色度分布坐标相同的均值和方向。在一些实施方案中，所述缩放包括转换导出的密度分布坐标，以具有与模板图像中第一染色剂像素的密度相同的加权均值和加权标准偏差。在一些实施方案中，为查询图像中的一系列块中的每个像素导出色度和密度分布坐标。

在一些实施方案中，所述方法还包括在归一化和/或滴度评估之前解混RGB图像。在一些实施方案中，所述方法还包括从至少用第一染色剂染色的细胞中提取细胞核、膜、形态学和/或其他细胞特征。在一些实施方案中，提取的细胞核、膜、形态学和/或其他细胞特征用于对细胞进行分类，例如将细胞分类为肿瘤细胞。在一些实施方案中，对于在RGB重构期间的颜色对齐，代替使用用于颜色反卷积的原始HTX颜色参考向量，来自模板图像中的纯HTX像素的归一化平均RGB OD向量被用于重构。

在本公开的另一个方面，提供了一种方法，所述方法测定用一种或多种染色剂染色的生物样品的全切片图像中第一染色剂的滴度，并相对于第一染色剂的滴度归一化全切片图像，所述方法包括：(i)基于导出的第一染色剂图像特征计算全切片图像的加权平均滴度得分；以及(ii)如果计算的加权平均得分不在预定的滴度范围内，则将全切片图像归一化为模板图像，其中所述全切片图像通过以下方式归一化：(a)将全切片图像的色度和密度分布与模板图像的色度和密度分布进行匹配，其中全切片图像和模板图像的色度和密度分布都是在包含密度分量的颜色模型内导出的，以及(b)通过使用加权转换坐标在包含密度分量的颜色模型内对所述全切片图像进行逆转换来重构RGB图像。在一些实施方案中，预定滴度范围在约3和约6之间。在一些实施方案中，包括密度分量的颜色模型是HSD颜色模型。

在一些实施方案中，加权平均得分是通过以下步骤计算的：(a)从全切片图像中的一系列图像块的每一个中导出多个第一染色剂图像特征，以及(b)使用经训练的特征识别分类器对来自每个所述图像块的所述多个导出图像特征进行分类。在一些实施方案中，所述一系列图像块通过以下步骤导出：(a)从全切片图像中提取预定数量的FOV；(b)为每个所述提取的FOV计算一组块；以及(c)为每个所述提取的FOV保留来自所述一组块的满足阈值块标准的那些块。在一些实施方案中，第一染色剂图像特征是染色剂颜色特征和染色剂强度特征。

在一些实施方案中，通过以下步骤将全切片图像色度和密度分布与模板图像色度和密度分布匹配：(i)在全切片图像的图像块内执行转换(例如，HSD转换)以获得每个图像块中所有像素的色度和密度分布坐标(c_x,c_y,D)；(ii)平移并旋转在全切片图像中获得的色度分布坐标(c_x,c_y)，以具有与模板色度坐标相同的均值和方向，从而为每个图像块中的每个像素提供对齐的色度坐标(c_x',c_y')；以及(iii)缩放从全切片图像获得的密度分布(D)，以具有与模板密度分布相同的加权均值和加权标准偏差，从而为每个图像块中的每个像素提供缩放的密度分布(D')。在一些实施方案中，加权转换坐标通过以下步骤来导出：(i)计算图像块中的像素是第一染色剂像素的概率；以及(ii)用所计算的概率对对齐的色度密度分布坐标和缩放的密度分布坐标(c_x',c_y',D')进行加权。在一些实施方案中，对于在RGB重构期间的颜色对齐，代替使用用于颜色反卷积的原始HTX颜色参考向量，来自模板图像中的纯HTX像素的归一化平均RGB OD向量被用于重构。

在一些实施方案中，所获得的色度和密度分布与模板色度和密度分布的匹配利用预定的统计参数，其中所选择的预定统计参数特定于接近全切片图像的加权平均滴度得分的滴度水平。例如，如果第一染色剂的估计滴度水平为3，则所述方法从数据库中检索对应于已知滴度水平为3的第一染色剂的预定统计参数。在一些实施方案中，第一染色剂是苏木精。在一些实施方案中，第一染色剂是苏木精，并且预定的统计参数用于将从全切片图像得到的色度和密度分布坐标与模板图像对齐和缩放。

在本公开文本的另一方面，是一种成像系统，用于将查询图像内的第一染色剂的滴度归一化为模板图像内的第一染色剂的滴度，该查询图像是至少被第一染色剂染色的生物样品的查询图像，该成像系统包括：(i)图像获取装置，(ii)一个或多个处理器，和(iii)联接到所述处理器的存储器，所述存储器存储计算机可执行指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：(a)在包括密度分量的颜色模型内，导出查询图像内生成的块中的每个像素的色度和密度分布坐标；(b)使用特定于查询图像的估计滴度水平的预定对齐和缩放参数值，转换所生成的块中的每个像素的导出色度和密度分布坐标，以提供转换后的色度和密度分布坐标；以及(c)通过使用由像素概率值加权的转换色度和密度分布坐标在包含所述密度分量的所述颜色模型内对所述查询图像进行逆转换来重构RGB图像。在一些实施方案中，所述成像系统还包括染色设备。在一些实施方案中，所述生物样品被至少两种染色剂染色。在一些实施方案中，第一染色剂是苏木精。在一些实施方案中，包括密度分量的颜色模型是HSD颜色模型。

在一些实施方案中，所生成的块中的每个像素的导出的色度和密度分布坐标的转换包括：(a)平移和旋转所生成的块中的每个像素的导出的色度分布坐标(c_x,c_y)，以具有与模板色度坐标相同的均值和方向，从而为所生成的块中的每个像素提供转换的色度坐标(c_X’,c_y’)；以及(b)缩放所获得的所生成的块中的每个像素的密度分布(D)，以具有与模板密度分布相同的加权均值和加权标准偏差，从而为所生成的块中的每个像素提供转换的密度分布(D')。在一些实施方案中，通过以下步骤来生成所述块：(a)从所述查询图像中提取预定数量的FOV；(b)为每个所述提取的FOV生成一组块；以及(c)为每个所述提取的FOV保留来自所述一组块的满足阈值块标准的那些块。

在一些实施方案中，所述加权转换色度和密度分布坐标通过以下步骤导出：(i)计算像素是第一染色剂像素的概率；以及(ii)用所述计算的概率对所述转换色度和密度分布坐标进行加权。

在一些实施方案中，在多个滴度水平下的第一染色剂的特定对齐和缩放参数值被存储在所述存储器中。在一些实施方案中，通过基于导出的第一染色剂颜色和强度特征计算所述查询图像的加权平均滴度得分来确定所述查询图像的所述估计滴度水平，并且其中所选择的对齐和缩放参数近似于查询图像的加权平均滴度得分。在一些实施方案中，加权平均得分是通过以下步骤计算的：(a)从查询图像中生成的块中导出多个第一染色剂图像特征，以及(b)使用经训练的滴度识别分类器对来自每个所生成的块的所述多个导出图像特征进行分类。在一些实施方案中，所述滴度识别分类器是多类分类器，其根据从使用第一染色剂滴度水平作为类标签的标准化样品导出的第一染色剂颜色和强度特征进行训练。

在本公开的另一个方面，提供了一种非暂态计算机可读介质，用于测定用一种或多种染色剂染色的生物样品的全切片图像中第一染色剂的滴度，并相对于第一染色剂的滴度归一化全切片图像，包括：(i)基于导出的第一染色剂图像特征计算全切片图像的加权平均滴度得分，以及(ii)将所述第一染色剂全切片图像的滴度归一化为模板图像第一染色剂滴度，其中所述全切片图像通过以下方式归一化：(a)在包括密度分量的颜色模型内导出所述查询图像中的色度和密度分布坐标；(b)将所述查询图像中所述导出的色度分布坐标与模板图像色度分布坐标对齐，以提供转换后的色度分布坐标，其中所述对齐包括平移和旋转所述查询图像中所述导出的色度分布坐标，以具有与模板色度分布坐标相同的均值和方向，其中所述对齐步骤利用与全切片图像的计算的加权平均滴度得分相匹配的预定对齐参数；(c)用模板图像密度分布坐标缩放所述查询图像中所述导出的密度分布坐标，以提供转换后的密度分布坐标，其中所述缩放包括转换所述导出的密度分布坐标，以具有与模板密度分布坐标相同的加权均值和加权标准偏差，其中所述缩放步骤利用与全切片图像的计算的加权平均滴度得分相匹配的预定缩放参数；以及(d)通过使用加权转换色度和密度分布坐标在包括密度分量的颜色模型内对所述查询图像进行逆转换来重构RGB图像。在一些实施方案中，第一染色剂是苏木精。在一些实施方案中，生物样品在免疫组织化学分析和/或原位杂交分析中用一种或多种染色剂染色。在一些实施方案中，包括密度分量的颜色模型是HSD颜色模型。

在一些实施方案中，如果计算的加权平均滴度得分落在预定的阈值滴度得分范围之外，则全切片图像中的第一染色剂被归一化为模板图像的第一染色剂滴度。在一些实施方案中，预定阈值滴度得分的范围在大约3到大约6。在一些实施方案中，其中基于导出的第一染色剂图像特征的全切片图像的加权平均滴度得分是通过以下步骤计算的：(a)从全切片图像中提取预定数量的FOV；(b)计算每个所提取的FOV内的一组块；(c)从该组块中的每个块中导出多个第一染色剂颜色和强度特征；(d)使用训练的滴度分类器对多个导出的第一染色剂颜色和强度特征进行分类；以及(e)基于来自所有块的分类结果计算加权平均得分。

在一些实施方案中，非暂态计算机可读介质还包括用于识别感兴趣区域的指令。在一些实施方案中，非暂态计算机可读介质还包括用于将输入图像解混成每个染色剂的单独通道图像的指令。在一些实施方案中，非暂态计算机可读介质还包括用于在归一化之后导出附加的细胞或核特征的指令。在一些实施方案中，非暂态计算机可读介质还包括用于对生物样品进行评分的指令，所述评分特定于其中生物样品被染色的特定测定。

附图说明

本专利或申请文件包含至少一个彩色附图。本专利或专利申请出版物的彩色附图副本将由官方应要求提供，并需支付必要的费用。

为了全面理解本公开的特征，参考了附图。在附图中，始终使用相同的附图标记来标识相同的要素。

图1展示了包括图像获取装置和计算机系统的代表性数字病理学系统。

图2阐述了可用于数字病理学系统或数字病理学工作流程中的各种模块。

图3A提供了用于评估图像中的染色剂滴度的步骤的概述。

图3B提供了将查询图像中的染色剂滴度归一化为模板图像的步骤的概述。

图3C提供了评估染色剂滴度然后对图像进行归一化的步骤的概述。

图3D提供了作为归一化过程的一部分的评估染色剂滴度的步骤的概述。

图4示出了FOV选择的示例。

图5A示出了可以将RGB相机信号视为3D坐标空间。相机限制将空间限制为一个立方体(一个RGB立方体)；还示出了总强度恒定等于各个通道强度最大值的三角形。

图5B示出了由RGB数据项目产生的平面。

图6示出了将查询图像中的染色剂滴度归一化为模板图像中相同染色剂的滴度的步骤。

图7提供了示例性全切片(低放大率)图像，并且在50个FOV叠加在全切片图像上之后。这50个FOV(红色方块)被选为最接近全切片的80％苏木精水平。

图8A至图8D示出了颜色归一化示例，其中对于(A)和(B)而言，滴度为1的查询图像被归一化为具有模板滴度4，而对于(C)和(D)而言，滴度为9的查询图像被归一化为具有模板滴度4。

图9A和9B示出了用于查询数据集和训练集的具有滴度为1的HER的FOV(参见文中的表2)。

图10示出了三个不同区块(81个全切片图像)上未染色细胞计数的平均差异性。

图11A至图11C显示了具有不同苏木精染色剂的雌激素受体(ER)染色的乳腺癌图像。这些切片来自三个不同的临床实验室，并以20倍放大倍数进行扫描。

图12示出了(a)WSI中选定的FOV的示例，(b)来自滴度为1的切片的样品FOV，(c)来自滴度为9的切片的样品FOV，(d)来自模板切片的样品FOV，(e)来自滴度为1的切片的归一化的样品FOV，(f)来自滴度为9的切片的归一化的样品FOV。

图13A和图13B提供了染色剂归一化前后的HER2肿瘤细胞检测算法输出的比较；(A)细胞计数比较；和(B)输出一致性比较。

具体实施方式

还应该理解，除非明确指出相反的情况，否则在本文要求保护的包括多于一个步骤或动作的任何方法中，该方法的步骤或动作的顺序不一定限于该方法的步骤或动作被叙述的顺序。

如本文所使用的，单数术语“一个”、“一种”以及“该”包括复数个指示物，除非上下文中另外明确指示。类似地，词语“或”旨在包括“和”，除非上下文中另外明确指示。术语“包括”被定义为包含性的，使得“包括A或B”是指包括A、B或A和B。

如本说明书和权利要求书中所用的，“或”应被理解为与如上所定义的“和/或”具有相同含义。例如，在将所列项目分开时，“或”或“和/或”应解释为包容性的，即包括所列元素中的多个元素或至少一个元素，但也包括一个以上元素，以及(可选地)其他未列出的项目。只有明确指示相互矛盾，否则诸如“只有一个”或“恰好一个”或者在权利要求中使用时“由……组成”将指代恰好包括许多元件或元件列表中的一个元件。一般而言，如本文中所使用的术语“或”之后有诸如“两者之一”、“中的一个”、“中的仅一个”或“中的恰好一个”之类的排他性术语时仅应被解释为指示排他性备选方案(即，“一个或另一个但不是两个”)。“基本上由……组成”在权利要求中使用时它的普通意义如同在专利法领域中使用的那样。

术语“包括”、“包含”、“具有”等可互换使用，并具有相同的含义。类似地，术语“包括”、“包含”、“具有”等可互换地使用并且具有相同的意思。具体而言，每个术语的定义与美国专利法中“包括”的一般定义一致，因此被解释为一个开放式术语，意思是“至少以下”，并且也被解释为不排除附加的特征、限制、方面等。因此，例如，“具有部件a、b和c的装置”意味着该装置至少包括部件a、b和c。类似地，短语“涉及步骤a、b和c的方法”意味着所述方法至少包括步骤a、b和c。此外，虽然步骤和过程可以在本文中以特定的顺序概述，但是本领域技术人员将认识到顺序步骤和过程可以变化。

如本说明书和权利要求书中所使用的，关于一个或多个元件的列表，短语“至少一个”应被理解为表示选自元件列表中的任何一个或多个元件的至少一个元件，但不一定包括元件列表中具体列出的每个元件中的至少一个元件，并且不排除元件列表中元件的任何组合。该定义还允许可选地存在除在短语“至少一个”所指代的元件列表内具体表示的元件之外的元件，而无论是与具体表示的那些元件相关还是不相关。因此，作为非限制性例子，“A和B中的至少一者”(或等同地，“A或B中的至少一者”，或等效地“A和/或B中的至少一者”)在一个实施方案中可以指代至少一个A，可选地包括一个以上A，而不存在B(并且可选地包括除B之外的元件)；在另一个实施方案中，指代至少一个B，可选地包括一个以上B，而不存在A(并且可选地包括除A之外的元件)；在又一个实施方案中，指代至少一个A，可选地包括一个以上A和至少一个B，可选地包括一个以上B(和可选地包括其他元件)；等等。

如本文所使用的，术语“生物样品”或“组织样品”是指从包括病毒在内的任何生物体获得的包括生物分子(诸如蛋白质、肽、核酸、脂质、碳水化合物或其组合)的任何样品。生物的其他例子包括哺乳动物(诸如人类；兽类，诸如猫、狗、马、牛和猪；以及实验动物，诸如小鼠、大鼠和灵长类动物)、昆虫、环节动物、蛛形纲动物、有袋动物、爬行动物、两栖动物、细菌和真菌。生物样品包括组织样品(诸如组织切片和组织穿刺活检)、细胞样品(诸如细胞学涂片(诸如巴氏涂片或血液涂片)或通过显微切割获得的细胞样品)或者细胞组分、片段或细胞器(诸如通过裂解细胞并通过离心或其他方式分离它们的组分获得的)。生物样品的其他例子包括血液、血清、尿液、精液、粪便物、脑脊液、间质液、粘液、泪液、汗液、脓、活检组织(例如，通过外科手术活检或穿刺活检获得的)、乳头抽吸物、耳垢、乳汁、阴道液、唾液、拭子(诸如口腔拭子)或含有源自第一生物样品的生物分子的任何材料。在某些实施方案中，本文使用的术语“生物样品”指从肿瘤制备的样品(例如均质或液化样品)或从受试者获取的肿瘤的一部分。

如本文所用，术语“生物标记”或“标记”是指某些生物状态或病状的可测量的指标。具体地，生物标记可以是可以被特定地染色并且指示细胞的生物特征(例如，细胞类型或细胞的生理状态)的蛋白质或肽(诸如，表面蛋白质)。免疫细胞标记是选择性地指示与哺乳动物的免疫应答相关的特征的生物标记。生物标记可用于确定身体对疾病或病症的治疗反应如何，或者受试者是否易患疾病或病症。在癌症的情况下，生物标记是指指示体内癌症存在的生物物质。生物标记可以是肿瘤分泌的分子或机体对癌症存在的特定反应。遗传、表观遗传学、蛋白质组学、糖组学和成像生物标记可用于癌症诊断、预后和流行病学。这种生物标记可以在非侵入性收集的生物流体如血液或血清中进行测定。几种基于基因和蛋白质的生物标记已经用于患者护理，包括但不限于甲胎蛋白(肝癌)、BCR-ABL(慢性髓系白血病)、BRCA1/BRCA2(乳腺癌/卵巢癌)、BRAF V600E(黑色素瘤/结直肠癌)、CA-125(卵巢癌)、CA19.9(胰腺癌)、CEA(结直肠癌)、EGFR(非小细胞肺癌)、HER-2(乳腺癌)、KIT(胃肠间质瘤)、PSA(前列腺特异性抗原)、S100(黑色素瘤)和许多其他生物标记。生物标记可用作诊断(标识早期癌症)和/或预测(预测癌症的侵袭性和/或预测受试者对特定治疗的反应和/或癌症复发的可能性)。

如本文所使用的，术语“团”是指围绕被识别的核中心/种子的一组连接的像素，其代表核。

如本文所使用的，术语“颜色通道”是指图像传感器的通道。例如，图像传感器可以具有三种颜色变化，诸如红色(R)、绿色(G)和蓝色(B)。

如本文所使用的，术语“视场(FOV)”是指具有预定大小和/或形状的图像部分。在一些实施方案中，FOV是数字图像中用于进一步手动或自动检查和分析的区域。通过分析数字图像的一些特征，例如通过评估数字图像的像素的强度值，可以自动或手动选择FOV。

如本文所使用的，术语“图像数据”如本文所理解的涵盖从生物组织样品获取(诸如借助于光学传感器或传感器阵列)的原始图像数据或经过预处理的图像数据。具体地，图像数据可以包括像素矩阵。如本文所使用的，术语“免疫组织化学”是指一种通过检测抗原与特定结合药剂(诸如，抗体)的相互作用来确定样品中抗原的存在或分布的方法。在允许抗体-抗原结合的条件下，样品与抗体接触。抗体-抗原结合可以通过与抗体结合的可检测标记(直接检测)或通过与特异性结合第一抗体的第二抗体结合的可检测标记(间接检测)来检测。本文使用的“掩码”是数字图像的派生物，其中掩码中的每个像素被表示为二进制值，例如“1”或“0”(或“真”或“假”)。通过使用所述掩码来覆盖数字图像，在对数字图像施加的进一步处理步骤中隐藏、移除或以他方式忽略或过滤掉映射到二进制值中的特定一个值的掩码像素的数字图像的所有像素。例如，可以通过将具有高于阈值的强度值的原始图像的所有像素指定为真并且在其他情况下指定为假来从原始数字图像中生成掩码，从而创建可以过滤掉将被“假”掩码像素覆盖的所有像素的掩码。

如本文所理解的，“多通道图像”涵盖从生物组织样品获得的数字图像，其中，不同的生物结构(诸如核和组织结构)同时被特定的荧光染料、量子点、色原等染色，其中的每一种发荧光或在不同光谱带中以其他方式可检测到，从而构成了多通道图像的通道之一。

如本文所使用的，术语“RGB颜色空间”是指基于红绿蓝(RGB)颜色模型的任何加性颜色空间。特定的RGB颜色空间由红色、绿色和蓝色加性原色的三种色度定义并且可以产生是由这些原色定义的三角关系的任何色度。RGB颜色空间的完整规范还需要白点色度和γ校正曲线。

如本文所使用的，“模板图像”是指具有用作参考的已知特征的图像。该图像的染色已被确定为适合于后续分析，目的是使其余图像与该图像相似。

如本文所用，术语“滴度”是指样品中染色剂的浓度或量。通常，滴度水平值的范围在大约1到大约9；其中1代表最低染色浓度，而9代表最高染色浓度。有许多物理过程与滴度有关，如染色时间、浓度等。

这里使用的术语“解混图像”包括为多通道图像的一个通道获得的灰度值或标量图像。通过将多通道图像解混，可以获得每个通道一个解混图像。

本说明书中提到的和/或在申请数据表中列出的所有美国专利、美国专利申请出版物、美国专利申请、外国专利、外国专利申请和非专利出版物通过引用整体并入本文。如果有必要，则可以修改实施方案的各方面以采用各种专利、申请和出版物的概念来提供又另外的实施方案。

概述

数字病理学全切片图像(WSI)中图像分析算法的性能可能会受到图像间染色剂差异性的影响。为了克服这些困难，已经提出了许多染色剂归一化方法，其中归一化被应用于图像中的所有染色剂。然而，对于免疫组织化学(IHC)图像，存在图像中并非所有的染色都需要被归一化或归一化可行的情况，尤其是当染色剂差异性与某些生物指征相关时。相比之下，通常为苏木精(HTX)的复染色剂总是需要在图像间一致，以便进行稳健的细胞核检测。在这项工作中，公开了一个框架，通过与模板IHC WSI的对齐，对IHC WSI的HTX染色剂进行归一化。为此，使用色调-饱和度-密度(HSD)模型，并且图像的色度分量分布与模板对齐。然后密度分量被平移和缩放以匹配模板。为了保留非HTX染色剂，将具有纯HTX染色剂的像素与HTX和非HTX染色剂的混合像素区分开，并且相应地应用不同的归一化策略(参见实施例3)。

申请人已经开发了一种预处理系统和方法，该系统和方法估计切片是否在用于处理的期望滴度范围内。该系统和方法还用于将查询图像中的染色剂滴度与模板图像中的染色剂滴度对齐。申请人提出，本文描述的系统和方法可以用于解决由于分析前条件导致的HTX染色之间的不一致性。例如，如图11所示，来自三个临床实验室的三个ER染色的乳腺癌图像呈现不同的HTX染色剂色调和强度。对于图像处理算法来说，在这样的图像中对阴性肿瘤细胞识别具有一致的灵敏度是具有挑战性的。

为了克服这一点，本文描述的系统和方法采用预处理框架来仅将HTX染色剂归一化到给定的模板WSI。所提出的框架通过颜色模块中的坐标对齐来执行归一化，该颜色模块包含密度分量(例如色调-饱和度-密度(HSD)颜色空间)。虽然本公开可以涉及HSD转换，但是本领域技术人员将理解，可以利用任何其他合适的颜色空间转换(现在已知的或以后将发现的)，只要该颜色空间包含密度信息，例如与染色剂量线性相关的密度分量。在一些实施方案中，包含密度分量的颜色模块允许导出密度坐标，密度坐标(或密度信息)与染色剂量线性相关。在一些实施方案中，包含密度分量的颜色模块允许独立于染色剂量导出色度坐标(或色度信息)。

用于染色剂混合像素的可靠的颜色分布推导和特殊处理的自定义HTX像素选择被开发，以满足IHC图像分析的单一染色剂归一化需求。为了量化该预处理步骤对成像算法的影响，申请人展示了IHC染色细胞检测算法对进行和未进行归一化的图像的结果，证明了所提出的方法在不同的HTX浓度水平中产生更一致的检测性能。

图1中展示了用于对样本进行成像和分析的数字病理学系统200。数字病理学系统200可以包括成像设备12(例如，具有用于扫描承载样本的显微镜切片的装置的设备)和计算机14，由此成像设备12和计算机可以通信地耦合在一起(例如，直接地或间接地通过网络20)。计算机系统14可以包括台式计算机、膝上型计算机、平板计算机等、数字电子电路系统、固件、硬件、存储器602、计算机存储介质、计算机程序或指令集(例如，其中，所述程序存储在存储器或存储介质中)、处理器(包括经过编程的处理器)和/或类似物。图1中展示的计算系统14可以具有显示装置16和外壳18的计算机。计算机系统可以以二进制形式存储数字图像(本地地诸如存储在存储器、服务器或另一个网络连接装置中)。还可以将数字图像分成像素矩阵。像素可以包括由位深定义的具有一个或多个位的数字值。技术人员将了解到，可以利用其他计算机装置或系统，并且本文所描述的计算机系统可以通信地耦合到另外的部件，例如样本分析仪、显微镜、其他成像系统、自动切片制备设备等。本文将进一步描述这些附加部件中的一些以及可以使用的各种计算机、网络等。

成像设备12(或包括存储器中存储的预先扫描的图像的其他图像来源)通常可以包括但不限于一个或多个图像捕获装置。图像捕获装置可以包括但不限于相机(例如，模拟相机、数字相机等)、光学器件(例如，一个或多个透镜、传感器聚焦透镜组、显微镜物镜等)、成像传感器(例如，电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)图像传感器等)、胶片等。在数字实施方案中，图像捕获装置可以包括协作以证明即时聚焦的多个透镜。图像传感器(例如，CCD传感器)可以捕获样本的数字图像。在一些实施方案中，成像设备12是明场成像系统、多光谱成像(MSI)系统或荧光显微镜系统。数字化的组织数据可以例如由图像扫描系统生成，诸如亚利桑那州图森市的VENTANAMEDICAL SYSTEMS公司的iSCAN CORE或其他适合的成像装备。本文还描述了另外的成像装置和系统。技术人员将了解到，由成像设备12获取的数字彩色图像通常由基本颜色像素构成。每个彩色像素在三个数字分量上编码，每个数字分量包括相同数量的位，每个分量对应于原色，通常是红色、绿色或蓝色，也由术语“RGB”分量表示。

图2提供了当前公开的数字病理学系统中使用的各种模块的概述。在一些实施方案中，数字病理学系统采用具有一个或多个处理器203和至少一个存储器201的计算机装置200或计算机实施的方法，所述至少一个存储器201存储非暂态计算机可读指令以由所述一个或多个处理器执行从而使所述一个或多个处理器执行一个或多个模块(例如，模块202和205至212)中的指令(或存储的数据)。替代性地，可以将这些指令存储在非暂态计算机可读介质(201)或计算机可用介质中。在一些实施方案中，非暂态计算机可读介质201可以包括除了暂态传播信号以外的所有计算机可读介质。

参考图2和图3A，本公开文本提供了一种评估或估计所获取图像中的染色剂滴度的计算机实现的方法，所述方法包括以下步骤：(a)运行图像获取模块202以生成或接收多通道图像数据，例如所获取的图像，或被一种或多种染色剂染色的生物样品；(b)运行解混模块205以生成对应于一个或多个染色剂通道的图像通道图像；(c)运行FOV生成模块206以生成测试图像的FOV，并从所有生成的FOV中选择满足预定标准的那些FOV(步骤250)；运行块创建和保留模块207，以在每个保留的FOV内创建一系列块，并保留满足预定标准的那些块，所述预定标准指示要评估其滴度的染色剂的存在(步骤251)；运行特征提取模块208，以导出与要估计其滴度的染色剂相关的染色剂颜色特征和染色剂强度特征(步骤252)；以及运行滴度分类模块209以对提取的颜色和染色剂特征进行分类(步骤253)并输出测试图像的滴度的加权平均得分(步骤254)。在一些实施方案中，所述染色剂是苏木精。

参考图2和图3B，本公开文本还提供了一种计算机实现的将获取图像中的染色剂滴度归一化为模板图像中的滴度水平的方法，所述方法包括以下步骤：(a)运行图像获取模块202以生成或接收多通道图像数据，例如所获取的图像，或被一种或多种染色剂染色的生物样品；(b)运行解混模块205以生成对应于一个或多个染色剂通道的图像通道图像；(c)运行FOV生成模块206以生成测试图像的FOV，并从所有生成的FOV中选择满足预定标准的那些(步骤260)；运行块创建模块207，以在每个保留的FOV内创建一系列块，并且保留满足某些预定标准的块，所述预定标准指示其滴度将被归一化的染色剂的存在(步骤261)；运行转换模块210以计算转换坐标(步骤262)；运行分类模块211以确定测试图像内的像素属于表示其滴度将被归一化的染色剂的像素类别的概率(步骤263)；以及运行转换模块20以使用加权转换坐标来重构RGB图像(步骤264)。在一些实施方案中，转换模块210是HSD转换模块。在一些实施方案中，所述染色剂是苏木精。本领域技术人员还将理解，附加的模块或数据库可以被合并到工作流程中。如这里将更详细描述的，在一些实施方案中，用于执行HSD转换的某些参数可以从HSD参数数据库212中检索，而不是在归一化期间导出那些参数。同样，可以运行图像处理模块以将某些滤波器应用于获取的图像或识别组织样品内的某些组织学和/或形态结构。此外，感兴趣区域选择模块可用于选择图像的特定部分进行分析。

在一些实施方案中，在归一化之前进行染色剂滴度评估或估计。参考图3C，在获得全切片图像之后(步骤270)，估计样品内的染色剂滴度。然后确定染色剂滴度的估计值是否落在预定的滴度阈值内，例如范围从3到6的阈值。如果滴度确实落在预定滴度阈值内(步骤271)，则图像准备好进一步处理(步骤273)。另一方面，如果滴度没有落在预定滴度阈值内(步骤272)，则染色剂的滴度被归一化为模板图像的滴度(步骤273)。

在其他实施方案中，在归一化期间运行染色剂滴度评估(例如，参见图3D)。例如，在一些实施方案中，特征提取模块208和滴度分类模块209可以运行以在归一化期间提供测试图像中的染色剂滴度的估计值(步骤281)，使得可以从HSD参数数据库212中检索与染色剂滴度相关的适当参数，以供HSD转换模块211使用。因此，滴度评估可以在归一化之前运行，以判断是否需要染色剂滴度归一化(见图3C)，或者可以在归一化期间运行(图3D)，以检索适当的HSD参数，用于对导出的色度和密度分布坐标进行对齐和缩放。

这里描述的方法可以同等地应用于查询图像和测试图像。因此，如果特定段落涉及在查询图像中生成FOV，那么这些过程同样可以以相同的方式应用于模板图像。

图像获取模块

作为初始步骤并且参考图2，数字病理学系统200运行图像获取模块202以捕获具有一种或多种染色剂的生物样品的图像或图像数据。在一些实施方案中，接收或获取的图像是RGB图像或多光谱图像。在一些实施方案中，捕获的图像被存储在存储器201中。

图像或图像数据(在本文中可互换使用)可以使用成像设备12获取(诸如实时地)。在一些实施方案中，图像是从显微镜或能够捕获承载样本的显微镜切片的图像数据的其他仪器获取的，如本文所指出的。在一些实施方案中，使用2D扫描仪(诸如能够扫描图像分块的扫描仪)获取图像。可替代地，图像可以是先前已经获取(例如，扫描)并且存储在存储器201中(或者就此而言，经由网络20从服务器中检索到)的图像。

生物样品可以通过应用一种或多种染色剂被染色，并且所得图像或图像数据包括对应于一种或多种染色剂中每一种的信号。这样，虽然本文描述的系统和方法可以估计或归一化为单一的染色剂，例如苏木精，但是对生物样品中染色剂的数量没有限制。实际上，除了或包括任何复染色剂，生物样品可能已经在复用测定中被两种或多种染色剂染色。

如本领域技术人员将理解的，可以针对不同类型的核和/或细胞膜生物标记来对组织样品进行染色。例如在“Sambrook等人,Molecular Cloning:A Laboratory Manual,Cold Spring Harbor Laboratory Press(1989)”和“Ausubel等人,Current Protocols inMolecular Biology,Greene Publishing Associates and Wiley-Intersciences(1987)”中讨论了用于染色组织结构的方法和选择适于各种目的的染色的指南，其披露内容通过引用并入本文。作为一个非限制性示例，并且在检测乳腺癌的情况下，在一些实施方案中，在IHC测定中将组织样品染色以存在一个或多个生物标记，该一个或多个生物标记包括雌激素受体标记、孕酮受体标记、Ki-67标记或HER2标记。由此，在一些实施方案中，用作输入的生物标记图像是包括与雌激素受体(ER)标记、孕酮受体(PR)标记、Ki-67标记、或HER2标记中的至少一个的存在相对应的信号的IHC图像。作为另一个非限制性示例，并且在检测非小细胞肺癌的情况下，在一些实施方案中，在IHC测定中将组织样品针对一个或多个生物标记(包括PD-L1生物标记)的存在进行染色。由此，在一些实施方案中，用作输入的生物标记图像是包括与PD-L1标记、CD3标记和CD8标记的存在相对应的信号的IHC图像。在一些实施方案中，该计算机实现的方法进一步包括对该经分类核进行评分的步骤。

显色染色剂可以包括苏木精、曙红、固红或3,3'-二氨基联苯胺(DAB)。当然，本领域技术人员将理解，也可以用一种或多种荧光团染色任何生物样品。在一些实施方案中，组织样品用初染剂(例如苏木精)染色。在一些实施方案中，组织样品在特定生物标记的IHC测定中被染色。

典型的生物样品在向样品施加染色剂的自动染色/测定平台上进行处理。市场上有各种适合用作染色/测定平台的商业产品，其中一个例子是Ventana Medical Systems,Inc.(Tucson,AZ)的Discovery^TM。相机平台还可以包括明场显微镜(一个例子是VentanaMedical Systems，Inc.的VENTANA iScan HT产品)或具有一个或多个物镜和数字成像器以及一组光谱滤镜的任何显微镜。可以使用用于捕获不同波长的图像的其他技术。适于对染色的生物样本进行成像的另外的相机平台在本领域是已知的并且可从诸如Zeiss、Canon、Applied Spectral Imaging和其他公司商购获得，并且这种平台容易适用于本主题公开文本的系统、方法和设备。

在一些实施方案中，输入图像被掩码成使得仅组织区域存在于图像中。在一些实施方案中，生成组织区域掩码以由组织区域来掩码非组织区域。在一些实施方案中，可以通过识别组织区域并排除背景区域(例如，对应于没有样品的玻璃的全切片图像的区域，例如仅存在来自成像源的白光的区域)来创建组织区域掩码。如本领域技术人员将理解的，除了由组织区域来掩码非组织区域之外，组织掩码模块还可以根据需要掩码其他兴趣区域，诸如，被识别为属于某一组织类型或属于疑似肿瘤区的组织的一部分。在一些实施方案中，使用分割技术通过在输入图像中由非组织区掩码组织区来生成组织区掩码图像。适当的分割技术是如本领域已知的这种技术(参见《数字图像处理》,第三版,Rafael C.Gonzalez,Richard E.Woods,第10章,第689页和医学成像手册,处理与分析,Isaac N.BankmanAcademic Press,2000,第2章)。在一些实施方案中，利用图像分割技术在图像中的数字化组织数据与切片之间进行区分，该组织与前景相对应并且该切片与背景相对应。在一些实施方案中，所述部件计算全切片图像中的兴趣区(AoI)，以便检测在AoI中的所有组织区域同时限制分析的背景非组织区的数量。可以使用各种图像分割技术(例如，基于HSV彩色的图像分割、实验室图像分割、均值平移颜色图像分割、区域生长、水平设置方法、快速行进方法等)来确定例如组织数据和非组织或背景数据的边界。至少部分地基于分割，所述部件还可以生成可以用于识别与组织数据相对应的数字切片数据的这些部分的组织前景掩码。替代性地，所述部件可以生成用于识别与组织数据不对应的数字化切片数据的这些部分的背景掩码。

这种识别可以通过诸如边缘检测等图像分析操作来实现。组织区域掩码可用于去除图像中的非组织背景噪声，例如非组织区域。在一些实施方案中，组织区域掩码的生成包括以下操作中的一个或多个(但不限于以下操作)：计算低分辨率输入图像的照度，产生照度图像，对照度图像应用标准偏差滤波器，产生滤波后的照度图像，以及对滤波后的照度图像应用阈值，使得照度高于给定阈值的像素被设置为1，而低于阈值的像素被设置为0，产生组织区域掩码。在标题为“An Image Processing Method and System for Analyzing aMulti-Channel Image Obtained from a Biological Tissue Sample Being Stained byMultiple Stains(用于分析从由多个染色剂染色的生物组织样品中获得多通道图像的图像处理方法和系统)”的PCT/EP/2015/062015中披露了与生成组织区域掩码相关的附加信息和例子，其披露内容通过引用以其全文结合在本文。

在一些实施方案中，感兴趣区域识别模块可以用于选择生物样品的一部分，应当获取所述部分的图像或所述部分的图像数据。图4提供了展示区域选择步骤的流程图。在步骤420中，区域选择模块接收识别的感兴趣区域或视场。在一些实施方案中，感兴趣区域由本公开文本的系统或通信地耦合到本公开文本的系统的另一个系统的用户识别。可替代地并且在其他实施方案中，区域选择模块从存储设备/存储器中检索感兴趣区域的位置或标识。在一些实施方案中，如步骤430所示，区域选择模块例如经由PCT/EP2015/062015中描述的方法自动生成FOV或ROI，所述文献的公开内容通过引用以其全文并入本文中。在一些实施方案中，感兴趣区域由系统基于图像中或图像的某些预定标准或特性自动地确定(例如，对于被多于两种染色剂染色的生物样品，识别图像的仅包括两种染色剂的区域)。在步骤440中，区域选择模块输出ROI。

解混模块

在图像获取之后，系统200接收复用图像作为输入(例如，步骤280)，其中复用图像包括对应于本文所述的一个或多个染色剂通道的信号。在进一步处理和分析之前，该初始图像首先被解混到其组成通道中，例如利用解混模块205，其中每个解混通道对应于特定的染色剂或信号。解混的图像在下文中被称为“通道图像”，并且可以被用作本文描述的每个模块的输入。

例如，在包含一种或多种染色剂和苏木精的样品中，可以为一种或多种染色剂和苏木精的每个通道产生单独的图像。不希望受任何特定理论的束缚的情况下，认为这些通道突显组织图像中的不同组织结构，因此，这些组织结构可被称为结构图像通道。在一些实施方案中，解混至少提供了苏木精图像通道图像。在一些实施方案中，获取的图像被解混到表示图像中局部苏木精量和高亮细胞核区域的单独通道中。本领域技术人员将理解，从这些通道提取的特征可用于描述组织的任何图像中存在的不同生物结构。

成像系统202提供的多光谱图像是与各个生物标记和噪声成分相关联的基础光谱信号的加权混合。在任何特定像素，混合权重与组织中特定位置的基础共定位生物标记的生物标记表达和该位置的背景噪声成比例。因此，混合权重因像素而异。本文公开的光谱解混方法将每个像素处的多通道像素值向量分解成组成生物标记端元或组分的集合，并估计每个生物标记的各个组成染色的比例。

本领域普通技术人员熟知解混方法以及现在已知或以后发现的任何方法都可以用于将复用图像“解混”成脉管通道图像。一般来说，分离过程提取染色剂特异性通道，以使用标准类型组织和染色剂组合中众所周知的参考光谱来确定单个染色剂的局部浓度。解混可以使用从对照图像检索的或者从观察图像估计的参考光谱。每个输入像素的分量信号的解混使得能够检索和分析染色剂特异性通道，例如脉管通道和细胞核通道。术语“解混”和“颜色反卷积”(或“反卷积”)等(例如，“反卷积”、“解混”)在本领域中可以互换使用。

在一些实施方案中，使用线性解混，用解混模块205解混复用图像。线性解混描述于例如‘Zimmermann“Spectral Imaging and Linear Unmixing in Light Microscopy”Adv Biochem Engin/Biotechnol(2005)95:245-265'以及C.L.Lawson和R.J.Hanson,“Solving least squares Problems”,PrenticeHall,1974,第23章,第161页'，所述文献的公开内容通过引用以其全文并入本文中。在线性染色剂解混中，在任何像素处测量的光谱(S(λ))被视为染色剂光谱组分的线性混合并且等于在像素处表达的每个单独染色剂的颜色参考(R(λ))的比例或权重(A)之和

S(λ)＝A₁·R₁(λ)+A₂·R₂(λ)+A₃·R₃(λ).......A_i·R_i(λ)

其可以更一般地表示为以下矩阵形式

S(λ)＝ΣA_i·R_i(λ)or S＝R·A

如果获取了M个信道图像并且存在N种单独的染色剂，则M x N矩阵R的列是如本文导出的最佳颜色系统、N x 1向量A是单独染色剂的未知比例并且M x 1向量S是像素处测量的多通道光谱向量。在这些方程中，每个像素中的信号(S)在获取复用图像和参考光谱期间进行测量，即最佳颜色系统如本文所描述的那样导出。各种染色剂的贡献(A_i)可以通过计算它们对测量的光谱中的每个点的贡献来确定。在一些实施方案中，使用最小二乘逆拟合法获得解，所述最小二乘逆拟合法通过对以下方程组求解使测量的光谱与计算的光谱之间的平方差最小化：

在这个等式中，j代表检测通道的数量，i等于染色剂的数量。线性方程解通常包括允许受约束的解混强制权重(A)求和为1。

在其他实施方案中，使用在2014年5月28日提交的题为“Image AdaptivePhysiologically Plausible Color Separation(图像自适应生理上似然颜色分离)”的WO2014/195193中描述的方法来完成解混，其披露内容通过引用以其全文并入本文。一般而言，WO 2014/195193描述了一种通过使用迭代优化的参考向量分离输入图像的分量信号来进行解混的方法。在一些实施方案中，来自测定的图像数据与特定于测定特征的预期或理想结果相关，以确定质量度量。在低质量图像或与理想结果相关性差的情况下，调整矩阵R中的一个或多个参考列向量，并且使用调整后的参考向量迭代地重复解混，直到相关性显示出匹配生理和解剖要求的良好质量图像。解剖、生理和测定信息可用于定义应用于测量图像数据的规则，以确定质量度量。这些信息包括组织是如何染色的，组织内的哪些结构是打算染色的或不打算染色的，以及结构、染色剂和特定于正在处理的测定的标记之间的关系。迭代过程产生特定于染色的向量，该向量可以生成精确标识感兴趣结构和生物学相关信息的图像，没有任何噪声或不想要的光谱，因此适于分析。参考向量被调整到搜索空间内。搜索空间定义了参考向量可以用来表示染色剂的值的范围。搜索空间可以通过扫描包括已知或常见问题在内的各种代表性训练测定，并确定训练测定的高质量参考向量集来确定。

在其他实施方案中，使用在215年2月23日提交的题为“Group Sparsity Modelfor Image Unmixing(用于图像解混的群稀疏模型)”的WO 2015/124772中描述的方法来完成解混，其披露内容通过引用以其全文并入本文。总的来说，WO 2015/124772描述了使用组稀疏性框架来解混，其中在“相同的组”内对来自多个共存标记的染色贡献的分数进行建模，并且在不同的组中对来自多个非共存标记的染色贡献的分数进行建模，向建模的组稀疏性框架提供多个共存标记的共同定位信息，使用组套索求解建模的框架以在每个组内产生最小二乘解，其中最小二乘解对应于共存标记的解混，并且在对应于非共存标记的解混的组中产生稀疏解。此外，WO 2015124772描述了一种通过输入从生物组织样品获取的图像数据、从电子存储器读取参考数据、从电子存储器读取共存数据来解混的方法，所述参考数据描述多种染色剂中每一种染色剂的染色剂颜色，所述共存数据描述染色剂的组，每个组包括可以在生物组织样品中并置的染色剂，并且每个组形成用于组套索标准的组，至少一个组具有二或更大的大小，并且使用参考数据作为参考矩阵来计算用于获得未混合图像的组套索标准的解。在一些实施方案中，用于解混图像的方法可以包括生成组稀疏模型，其中来自共定位标记的一部分染色贡献被分配在单个组内，来自非共定位标记的一部分染色贡献被分配在单独的组内，并且使用解混算法求解组稀疏模型以在每个组内产生最小二乘解。

FOV提取模块

在一些实施方案中，全切片图像或其区域被细分成多个FOV以生成FOV采样网格(步骤250或260)。生成FOV采样网格是为了在图像中具有一组可以相互比较的代表性区域。在一些实施方案中，FOV以捕获相关区域的代表性样品用于分析的方式分布在图像上。实现这一点的一种方法是自动或手动生成一个规则间隔的FOV网格，以便在图像上提供无偏差的结构化采样。在一些实施方案中，网格覆盖整个图像。在其他实施方案中，网格覆盖少于整个图像。

典型地，选择FOV大小使得FOV可以以全分辨率呈现在计算机屏幕上。例如，如果计算机屏幕提供1000x 1000像素的分辨率，并且全切片图像中的像素是0.5微米x 0.5微米，那么一个好的FOV候选大小也是1000x 1000像素或0.5毫米x 0.5毫米。

在一些实施方案中，从全切片图像中提取预定数量的FOV。在一些实施方案中，FOV的预定数量的范围在25到100之间。在其他实施方案中，FOV的预定数量是大约50。在一些实施方案中，基于图像中染色剂的特征来选择预定数量的FOV。在一些实施方案中，基于预定的染色剂强度水平，例如苏木精强度水平，选择预定的FOV。

在一些实施方案中，然后使用根据要评估其滴度的染色剂的通道来导出图像直方图(例如，如果要评估其滴度的染色剂是苏木精，则将生成对应于苏木精通道的图像直方图)。在一些实施方案中，对于生成的网格内的每个FOV，计算平均像素强度(使用导出的直方图)，并且保留满足特定预定平均染色剂强度的那些FOV。在其他实施方案中，为每个FOV计算平均像素强度，并且保留在平均像素强度的顶部预定百分比内的那些FOV。在一些实施方案中，染色剂是苏木精，并且选择满足苏木精80％强度水平的FOV。在一些实施方案中，这是基于相对浓的苏木精染色剂代表细胞核中的染色剂的假设而完成的。在一些实施方案中，根据经验选择80％百分位数，以降低由极高的苏木精异常值引起的偏差风险。

块创建和保留模块

一旦从图像中提取了FOV，就在每个FOV内生成一系列的块(步骤251和261)。正如FOV创建一样，可以通过生成采样网格来生成块，即自动或手动生成规则间隔的块网格，以在FOV内提供无偏差的结构化采样。在一些实施方案中，块的(x,y)大小为FOV大小的约5％至约20％。例如，如果FOV的大小为1000像素x 1000像素，则FOV内的每个块的大小可能为100像素x 100像素。本领域技术人员将理解，将为每个FOV导出多个不重叠的块。

在一些实施方案中，生成的块是“超像素”的形式超像素是覆盖多个相邻像素的图像的子区域。“超像素”将图像分割成不相交的任意形状的图像块。在一些实施方案中，可以选择形状，使得每个超像素满足目标大小范围，并且主要包含一种类型的组织或细胞。超像素可以通过多种方法生成，包括“基于图形的算法”、“基于梯度上升的算法”、SLIC算法、均值平移和归一化切割。因此，根据实施方案，可以在图像上应用超像素生成过程来生成块，每个块是超像素。根据实施方案，使用简单的线性迭代聚类，以便识别要用作“块”的相邻像素集(即，超像素)。简单线性迭代聚类(SLIC)是超像素生成的k-均值的一种改编，具有两个重要的区别：(i)通过将搜索空间限制在与超像素大小成比例的区域，优化中的距离计算的数量显著减少(这被认为减少了像素数量的线性复杂度，并且与超像素数量k无关)；以及(ii)加权距离度量结合了颜色和空间邻近性，同时提供对超像素的大小和紧凑性的控制。(参见Achanta等人，“SLIC Superpixels Compared to State-of-the-Art SuperpixelMethods”，IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.34,No.l 1，2012年11月，其公开内容在此全文引入作为参考)。例如，与超像素大小成比例的区域可以与用于识别超像素的超像素区域的预定上限相同。

在一些实施方案中，仅保留FOV内满足特定预定义标准的那些块以供进一步分析。例如，其中没有任何细胞的块(背景块)不应该有任何染色剂，因此认为它们对于滴度水平的测定没有任何有用的信息。

在一些实施方案中，第一个要求是，块内所有像素的某个预定百分比必须具有对应于正在评估其滴度的染色剂的信号，并且这是使用该染色剂的图像通道来确定的(例如，如果染色剂是苏木精，则使用苏木精通道)。在一些实施方案中，染色剂像素的预定百分比为至少60％。在其他实施方案中，染色剂像素的预定百分比为至少65％。在另外的实施方案中，染色剂像素的预定百分比为至少70％。在进一步的实施方案中，染色剂像素的预定百分比为至少75％。例如，如果块大小为100像素x 100像素，阈值百分比设置为70％，则在块内的10,000个像素中，7,000个像素必须代表苏木精的待评估染色剂。

在一些实施方案中，另一个要求是所有像素的特定预定百分比必须具有一定程度的染色。如果RGB颜色空间中的三个颜色通道的值都大于200(假设每个通道有8位)，则像素被视为“白色”。本领域技术人员将理解，如果RGB图像是24位的，则每个通道有8位，用于红色、绿色和蓝色—换句话说，图像由三个图像组成(每个通道一个图像)，其中每个图像可以存储传统亮度强度在0到255之间的离散像素。在一些实施方案中，必须具有染色的像素的预定百分比为至少40％，即至少40％的像素必须具有各自小于200的RGB通道值。在其他实施方案中，必须具有染色的像素的预定百分比为至少45％。在另外的实施方案中，必须具有染色的像素的预定百分比为至少50％。在进一步的实施方案中，必须具有染色的像素的预定百分比为至少60％。

另一个要求是，所有像素的某个预定百分比必须以“细胞样”结构排列。在一些实施方案中，必须以细胞样结构排列的所有像素的预定百分比是所获取图像或其任何选定部分中所有像素的至少25％。在其他实施方案中，预定百分比为至少30％。在其他实施方案中，预定百分比的范围在大约30％到大约35％之间。

在一些实施方案中，高斯差分(DoG)滤波用于识别这种细胞样结构。一般来说，高斯差分是一种特征增强算法，它包括从原始图像的一个模糊版本中减去另一个不太模糊的版本。在灰度图像的简单情况下，通过将原始灰度图像与具有不同标准偏差的高斯核进行卷积来获得模糊图像。据信使用高斯核模糊图像仅抑制高频空间信息。从另一幅图像中减去一幅图像会保留两个模糊图像中保留的频率范围之间的空间信息。因此，高斯滤波器的不同之处在于它是一种带通滤波器，除了原始灰度图像中存在的少量空间频率之外，它抛弃了所有空间频率。

在一些实施方案中，通过考虑具有逐渐减小的标准差异性的高斯核，并且通过考虑在用两个连续高斯滤波之后获得的图像之间的差异，实现了多尺度DoG，由此期望检测到具有特定半径范围的“团状”结构。在一些实施方案中，多尺度DoG中的第0层对应于在获得用最粗高斯(具有最大标准偏差的高斯)滤波的图像和用下一个最粗高斯(具有下一个最高标准偏差的高斯)滤波的图像之间的差之后获得的图像(本文称为“高斯差分图像”或“DoG图像”)。例如，第0层DoG图像可以被计算为第一高斯滤波器对的高斯差分，第一高斯滤波器对包括标准偏差为1的第一滤波器和标准偏差为2的第二高斯滤波器。第1层DoG图像可以被计算为第二高斯滤波器对的高斯差分，第二高斯滤波器对包括标准偏差为2的第一滤波器和标准偏差为3的第二高斯滤波器。第2层DoG图像可以被计算为第三高斯滤波器对的高斯差分，第三高斯滤波器对包括标准偏差为3的第一滤波器和标准偏差为4的第二高斯滤波器。标准偏差不必是整数值，并且在类似范围内的其他标准偏差值可以用于本发明的其他实施方案中。可以选择高斯滤波器的核的半径和形状，使得滤波器对将为具有预期大小和形状的团产生高幅值的DoG。

在其他实施方案中，高斯滤波器的广义拉普拉斯算子可用于检测图像内的团，并因此检测细胞样结构。这种方法被Kong描述为“A Generalized Laplacian of GaussianFilter for Blob Detection and Its Applications”，IEEE Trans Cybern.2013年12月；43(6):1719-33，其公开内容通过引用整体结合于此。

特征提取模块

在使用块创建和保留模块207保留包含指示染色剂的数据的那些块之后(步骤251)，导出指示正在被评估滴度的染色剂的颜色和强度特征(步骤252)。

在一些实施方案中，从颜色导出的特征包括颜色比率(R/(R+G+B))或颜色主要分量。在其他实施方案中，从颜色导出的度量包括对颜色中每种颜色的局部统计(均值/中值/方差/标准偏差)和/或局部图像窗口中的颜色强度相关性。在一些实施方案中，所述特征包括均值、中值、第一四分位数、第三四分位数、第一不变矩和标准偏差值，这些值从以下各项导出：(a)颜色反卷积后的第一染色剂通道图像；(b)全切片图像的低通版本；(c)吸光度图像；和(d)来自LAB分解的L和B图像通道。在一些实施方案中，所述特征从每个前述导出图像或图像通道图像的图像直方图导出。本领域技术人员将理解，图像的直方图通常指像素强度值的直方图。此直方图是示出图像中每个不同强度值下的像素数的图表。对于8位灰度图像，有256种不同的可能强度，因此直方图将以图形方式显示256个数字，显示这些灰度值之间的像素分布。也可以对彩色图像进行直方图分析，例如，可以对红、绿、蓝通道进行单独的直方图分析。

在一些实施方案中，从解混的图像通道图像导出的生成的图像直方图可用于计算特征，包括但不限于均值、中值、第一四分位数和第三四分位数。在一些实施方案中，标准偏差也被计算为基于从染色剂通道图像导出的强度值的直方图的特征。

在一些实施方案中，从所获取图像的RGB图像的光密度域表示中计算吸光度图像。在一些实施方案中，吸光度图像的直方图被生成并用于导出均值、中值、第一四分位数、第三四分位数和标准偏差值。

LAB颜色空间包含一个照度通道L和2个色度通道，A和B。在LAB颜色空间中，“L”通道代表像素的亮度，“A”通道反映像素的红色和绿色分量，“B”通道代表像素的蓝色和黄色分量。在一些实施方案中，L通道和B通道的直方图用于计算均值、中值、第一四分位数和第三四分位数。在一些实施方案中，第一不变矩是从LAB分解后从L和B通道导出的强度值的直方图中计算出来的。

在一些实施方案中，低通滤波器可以应用于染色剂通道图像。例如，低通滤波器是平滑第一染色剂通道图像的滤波器，从而用对每个像素周围的局部邻域中的像素值进行平均或以其他方式表示的像素值替换每个像素值。在一些实施方案中，低通滤波的第一染色剂通道图像的直方图用于计算均值、中值、第一四分位数和第三四分位数。

在一些实施方案中，特征包括从图像直方图导出的第一和第三四分位数。第一和第三四分位数是描述性统计，是对数据集中位置的度量。在一些实施方案中，第一和第三四分位数是通过对直方图中的像素强度数据进行排序(例如以升序)而获得的。第一四分位数，或更低的四分位数，是在按升序排序时截断前25％像素强度数据的值。位于列表中心的像素强度数据值(或列表中心两个值的平均值)代表第一四分位数。同样，第三四分位数，或上四分位数，是截断前75％的值。位于列表中心的像素强度数据值(或列表中心两个值的平均值)代表第三四分位数。

在一些实施方案中，所述特征包括第一不变矩。图像矩是图像像素强度的特定加权平均值(矩)，或这种矩的函数，通常被选择为具有一些吸引人的特性或解释。颜色矩是表征图像中颜色分布的度量。第一颜色矩可以解释为图像中的平均颜色，它可以通过使用以下公式来计算：

其中，N是图像中的像素数，pij是第i个颜色通道处的图像的第j个像素的值。

在一些实施方案中，所述特征是通过首先从直方图导出平均像素强度值，然后取平均像素强度值的平方根来计算图像直方图的标准偏差值。

滴度分类模块

在使用特征提取模块208导出染色剂颜色和强度特征之后(步骤252)，导出的特征然后被提供给分类器模块，使得可以计算每个导出的图像块内的染色剂的滴度水平(步骤253和254)。

机器学习算法(分类器)可以包括集成学习方法，该集成学习方法结合了本文描述的多种机器学习方法，以获得比从本文描述的任何一种机器学习方法获得的更好的预测性能。集成学习方法可以包括但不限于贝叶斯最优分类器、自举汇聚(“装袋法”)、提升法、贝叶斯模型平均、贝叶斯模型组合、交叉验证选择(“模型桶”)、层叠(层叠泛化)和随机森林。在一些实施方案中，集成学习方法包括随机森林，其通过构建多个决策树并输出作为单个树的类(分类)或均值预测(回归)的模式的类来操作。

本文使用的“分类器”是能够通过分析要分类的新观察的属性值(也被称为“对象特征值”或“解释变量”)来识别新观察(对象)属于一组类别(对象类)中的哪一个的程序逻辑。分类器可以基于训练数据集获得，该训练数据集包含关于其类别成员是已知的观察结果(这里是从具有已知染色剂滴度水平的切片获得的训练图像)。在一些实施方案中，通过应用监督学习方法来获得分类器，例如，通过在正确识别的染色剂滴度水平的训练集上训练分类器的未训练版本，由此预先知道对象类的数量和类型。

在一些实施方案中，分类器是随机森林分类器。例如，随机森林分类器可以通过以下方式来训练：(i)创建具有已知的不同滴度水平的数字图像的训练集；(ii)从数字图像的训练集中提取指示第一染色剂的图像特征(例如，染色剂的颜色和强度特征)，如本文使用至少模块205至208所描述的；以及(iii)训练随机森林分类器，以基于所提取的特征集合(例如上面提到的与染色剂颜色特征和染色剂强度特征相关的那些特征)来识别滴度水平，使用滴度水平作为类标签。然后，训练后的随机森林分类器可以被应用于对测试图像的导出图像块内的导出染色剂颜色和强度特征进行分类(步骤253)，以确定特定块的估计滴度值。在一些实施方案中，利用训练图像。训练切片/图像可以从任何组织样品生成。在一些实施方案中，所述训练是组织特异性的，并且仅应用苏木精染色剂。

在一些实施方案中，具有不同滴度水平的多个训练图像被提供给分类器用于训练。每个训练数字图像可以是具有已知的预定滴度得分的RGB图像，以准确地指示第一染色剂的滴度。对于每个训练数字图像，系统计算指示第一染色剂的多个图像特征(如本文所述)。在这里，染色剂颜色和染色剂强度特征以及相关的切片滴度水平被用于训练随机森林分类器。

在分类器209被训练之后，它被用于对测试图像中具有未知滴度水平的块进行分类(步骤253)。分类器的输出是每个块的数值得分，即每个块的估计滴度得分，估计滴度得分范围从1到9，1代表最低水平(最浅染色)，9代表最高水平(最深染色)(这些可以是整数或其任何分数)。

在一些实施方案中，然后从每个块的个体滴度得分中获得全切片图像的得分(步骤254)。在一些实施方案中，全切片图像的得分是来自分类块的滴度得分的加权平均值。例如，如果考虑50个块，其中20个块的滴度得分为1，30个块的滴度得分为9，则((20*1)+(30*9))/50＝5.8，其中5.8的得分代表全切片图像(测试图像)的加权平均得分。在一些实施方案中，计算得分的替代方法是采用块得分直方图的模式。例如，如果在50个块中，有10个块得分为1，10个块得分为3，30个块得分为4，则全切片的模式得分为4。

参考图3C，在一些实施方案中，该加权平均得分(或模式得分)可以与预定滴度阈值进行比较。如果加权平均(模式)得分在由预定滴度阈值定义的限度内，则不需要归一化(步骤271)。另一方面，如果加权平均得分没有落入由预定滴度阈值定义的限度内(步骤272)，则可能需要归一化，如本文进一步描述的。在一些实施方案中，预定滴度阈值的范围在约3.5至约6.5之间。

HSD转换模块

根据本公开的一些方面，HSD转换模块210可用于将输入图像(“查询”图像)中的染色剂滴度归一化为模板图像中的染色剂滴度。所得的归一化图像然后可以用于进一步处理，例如，可以使用归一化图像来对核和/或形态特征进行识别、分类和评分。

参考图3B，HSD转换模块210负责：(i)导出查询图像中每个保留的块内每个像素的初始色度和密度分布坐标(在HSD颜色模型内)(步骤262)；(ii)将从查询图像获得的色度和密度分布坐标与模板色度和密度分布坐标进行匹配，以确定查询图像中每个保留块内每个像素的转换坐标(步骤263)；以及(iii)在从HSD分类模块211接收到染色剂概率值后，使用每个块内每个像素的最终转换坐标从HSD颜色模型中的查询图像重新生成一个RGB，该最终转换坐标由接收到的概率值加权(步骤264)。本文将进一步详细描述这些步骤中的每一个步骤。

如本文所述，存在这样的情况，即在没有首先测定染色剂滴度的情况下进行滴度归一化，即滴度测定步骤不在归一化之前进行，而是可以在归一化期间进行，从而可以确定切片中染色剂的估计滴度，以便获得或检索合适的比对和缩放参数，如本文进一步所述。在这些情况下，在运行HSD转换模块210之前，运行FOV生成模块206和块创建和保留模块207。如本文所述，在保留的块中计算图像像素的HSD坐标。对于归一化步骤260和261，可以重复本文概述的来自步骤250和251的每个过程。在不重复本文概述的过程的情况下，获取的图像可以被分成FOV网格。在FOV的整个网格中，FOV保持满足阈值标准，例如80％的染色剂强度水平。如本文所述，在每个保留的FOV中，创建块，并且保持块满足染色剂的特定预定标准。

HSD坐标(c_x',c_y',D')的推导

色调-饱和度-密度(HSD)颜色模型是从色调-饱和度-强度颜色模型中导出的。HSD颜色模型背后的思想是将一个RGB到HSI的转换(色调-饱和度-强度转换)应用于各个RGB通道的光密度(OD)，而不是强度。如本领域技术人员将理解的，直接使用由彩色相机获得的三种强度产生了RGB颜色模型。由于HSD模型的色度分量与染色剂的量无关，因此所获得的色度空间被认为能够更好地区分不同染色剂的吸收特性。通过从RGB数据中分离强度，获得HSI颜色模型。不希望受任何特定理论的约束，据信透射光显微镜中感知强度差异性的主要部分是由染色剂密度差异引起的。因此，HSD转换被定义为RGB到HSI转换，应用于光密度值，而不是单个RGB通道的强度。

HSD模型将RGB数据转换成两个独立于染色剂量的色度分量(c_x,c_y)；和密度分量(D；其与染色剂的量成线性关系)。不希望受任何特定理论的约束，据信从变化的染色剂密度获得的理论RGB强度应该导致HSD转换的色度(c_x,c_y)平面中的单个点。结果，相信被特定染色剂(例如苏木精)染色的像素的色度数据将形成分布，其由F(c_x,c_y)表示。

参考图6A，在FOV和块创建(步骤601和602)之后，计算每个保留块内每个像素的HSD坐标(步骤603)，从而提供每个像素的色度和密度分布坐标(c_x,c_y,D)。这是通过对输入的RGB图像进行HSD转换来实现的。首先，本领域技术人员将理解，通过样本透射的光的检测强度和具有吸收因子c的染色剂量(A)由朗伯比尔定律I＝I₀·e^-A·c描述。红色、绿色和蓝色光谱带的光密度(OD)由等式(1)定义：

其中ch∈{R，G，B} (1)

通道D_ch的光密度线性依赖于染色剂的量，给定染色剂在通道ch的吸收值。在一些实施方案中，RGB信号的总强度被定义为等式(2)

类似地，OD的总体量度可以定义为等式(3)

参照图5A，RGB空间的原点表示黑色(即，所有三个原色强度都为零)，立方体的最远角表示白色(所有原色强度最大)。连接这些极端的线代表所有的灰度值。在这个立方体中，每种合成颜色都用一个点来表示。复合颜色的强度定义为三个主要强度的均值I＝(I_R+I_G+I_B)/3。在RGB立方体中，垂直于灰度对角线的每个平面具有这样的性质，即位于该平面上的点具有相等的强度(图5A示出了一个这样的平面)。这样一个平面上的点被限制在一个三角形区域内，其大小线性地取决于特定平面的I值。灰度对角线在重心处与这个三角形相交。有可能将这个等边色度三角形归一化为一个标准化大小，使该平面上点的坐标独立于强度。

再次参考图5A，在色度三角形中，2D坐标系(c_x,c_y)可以定义为重心为原点，并且正x轴穿过红色强度最大的角。RGB空间中的每个点都可以转换为其色度坐标，其与强度无关。对于具有相同色度坐标的每两个RGB点，RGB强度之间的比率是相同的。色度坐标的计算需要将RGB数据投影到三角形上(见图5A和5B)。

通过使用图5A和5B在三个通道的光密度上的投影(见等式3)RGB到HSD的转换定义如下：

对于HSD模型，生成的(c_x,c_y)平面具有这样的属性，即单个点是由具有相同的c_R、c_G和c_B比率的RGB点生成的。因此，所有关于吸收曲线的信息都表示在一个平面上。

通道的光密度可以定义为：

其中I_0,ch是通道ch在无染色剂时的强度。

光密度的总体量度可以定义为：

转换坐标(c_x',c_y',D')的推导

在导出HSD坐标之后，即，对每个保留的块中的每个像素执行从RGB图像到HSD的转换(步骤603)后，导出转换坐标(c_x',c_y',D')。通常，测试图像的每个块中的每个像素的色度分布坐标(c_x,c_y)与模板图像中的色度分布坐标匹配(对齐)，以提供色度分布转换坐标(c_x',c_y')(步骤604)。同样，密度分布坐标(测试图像的每个块中的每个像素的D)匹配(按比例缩放至)模板图像中的密度分布坐标，以提供密度分布转换坐标(D')(步骤605)。本文描述了对齐(包括用于执行对齐的参数的推导)和缩放的步骤。

导出坐标的转换

为了转换测试图像的色度和密度分布坐标以匹配模板图像中的相应类别分布(步骤604)，执行(c_x,c_y)平面中的颜色信息的2D配准。F(c_x,c_y)用于表示色度分布，使得配准问题可以被定义为限定转换函数T，使得：

F(T(c_x，c_y))～F_模板(c_x，c_y)

配准色度分布的过程有两个步骤：(1)从模板切片中提取统计参数，以及(2)如下所述转换2D色度分布。

统计参数推导/HSD参数数据库

需要统计参数来导出本文描述的对齐和缩放步骤的转换坐标。统计参数可以从HSD参数数据库212中导出或检索。

在一些实施方案中，导出的统计参数包括模板图像中的染色剂类分布的均值(μ)和角度

在一些实施方案中，通过计算主特征向量来导出染色剂类分布(例如苏木精)相对于c_x轴的角度(θ)。在一些实施方案中，求解(c_x,c_y)对的协方差矩阵的第一特征向量；并且该角度在2D色度空间中求解。在一些实施方案中，统计参数还包括缩放参数。在一些实施方案中，缩放参数是通过将整个F_模板分布平移到原点(见图5A和图5B)来导出的，随后是沿着角度(θ)的旋转步骤，以使沿着c_x轴的方差最大化。最后，在将旋转分布投影到c_x和c_y轴中的每一个上之后，定义缩放参数，包括沿着每个轴的最小、第1、第25、第50、第75和第99百分位数以及最大投影值。获得每个统计参数的方法进一步公开在J.A.van der Laak,“Hue-saturation-density(HSD)model for stain recognition in digital images fromtransmitted light microscopy,”Cytometry,第39卷，第4期，第275–284页，2000，其公开内容通过引用整体结合于此。

技术人员将会理解，用于色度分布坐标的对齐和密度分布坐标的缩放的统计参数的推导在计算上可能相当费力。本领域技术人员还将认识到，如果数据是从受控源产生的，那么就有可能减小分析中的方差。事实上，有可能减少组织来源的方差，只留下染色剂方差。因此，为了加快计算时间，降低合成成本，并减少与组织类型、病理等相关的偏差，申请人建议使用这些统计参数的标准化“查找”值的数据库，这些统计参数来源于根据测定标准染色的组织。不希望受任何特定理论的约束，据信如果我们在参数估计中有偏差或误差，归一化可能是“关闭(off)”的，并且所得到的归一化图像在图像质量方面可能变得更差。例如，如果图像由于生物原因而不是染色过程而变得非常深，并且我们在归一化参数中捕捉到这一点，那么在归一化时，图像将失去其生物意义。

在一些实施方案中，统计参数的数据库包括正被归一化的染色剂的一系列不同滴度中的每一个的查找值。事实上，数据库可以包括滴度水平为1至9的染色剂的统计参数。例如，数据库可以包括滴度为4的第一染色剂的均值、角度、缩放参数等。数据库还可以包括滴度为5的第一染色剂的均值、角度、缩放参数等。同样，滴度范围为1至9的第2、第3、…第n染色剂的均值、角度、缩放参数等。本领域技术人员还将理解，也可以为任何滴度水平的分数提供统计参数，例如，滴度估计为约4.5。在一些实施方案中，如上所述，使用FOV和块从一组切片中提取参数。然后用滴度分类算法对这些图像进行分类，得到的预测滴度与提取的参数相关联。当新切片出现时，它将被分类，结果将用于在构建的表中查找相应的参数。

通过利用HSD参数数据库212，当获得用于归一化的测试切片时，可以使用本文所述的流程来估计测试图像的滴度水平(参见图3B和图6)。一旦在归一化之前或在归一化期间估计了滴度水平(测试图像的加权得分)，查找值数据库212可被HSD转换模块211引用，并且对应于查询图像估计滴度水平的统计参数可被检索并用于对齐和缩放计算，就好像它们是查询切片的实际特定参数一样。这种标准化的查找值可以存储在数据库212中，并由系统200根据需要进行访问。在一些实施方案中，统计参数用于对齐和缩放

色度分布坐标的对齐

在从数据库212中导出或检索统计参数之后，执行对齐(步骤604)。一般来说，每个块中每个像素的色度分布坐标(c_x,c_y)与模板色度分布坐标相匹配，以使用导出或检索的统计数据来提供对齐的色度分布坐标(c_x',c_y')。

如本文所述，F(c_x,c_y)表示待归一化的测试图像的色度分布。染色剂的归一化过程始于通过减去F(c_x,c_y)分布的均值并沿∑的主特征向量旋转来平移整个F(c_x,c_y)分布，其中∑表示F(c_x,c_y)的协方差矩阵。然后，应用分段线性缩放将当前分布的界标与模板切片的界标进行匹配。在下一个步骤中，缩放后的分布沿着导出的角度向后旋转，以与模板测试图像中相应分布的主特征向量对齐。转换的最后一步是将分布平移为导出均值。在一些实施方案中，对齐的输出为测试图像中所有块中的所有像素提供转换的色度分布坐标(c_x',c_y')。

对于均值减法步骤：(c_x,c,c_y,c)＝(c_x,c_y)–(\mu_x,i,\mu_y,i)。然后，我们通过乘以来自所考虑的图像的协方差矩阵的奇异值分解(c_x,cr,c_y,cr)＝U_i*(c_x,c,c_y,c)的酉矩阵U_i，沿着(c_x,c_y)分布的主特征向量旋转该分布。在第三步中，我们再次旋转分布，这次是沿着模板的主特征向量：(c_x,crr,c_y,crr)＝U_t*(c_x,cr,c_y,cr)。最后，我们平移整个分布以匹配模板图像的均值：(c_x’,c_y’)＝(c_x,crr,c_y,crr)–(\mu_x,t,\mu_y,t)。

密度缩放

在从数据库212导出或检索统计参数之后，使用导出或检索的参数执行缩放(步骤605)。通常，每个块中每个像素的密度分布坐标(D)与模板密度分布坐标相匹配，以提供按比例缩放的色度分布坐标(D')。

HSD颜色模型中测试图像的密度分量(D)也被转换以匹配模板图像的密度分布。在一些实施方案中，通过将分布的均值和标准偏差与模板图像中的统计参数相匹配来归一化所述分布。因此，转换后的密度分布由下式确定

其中μ和ó是密度分布的加权均值和加权标准偏差，ó^模板，μ^模板是模板中的相应值，其中D和D’分别代表缩放前和缩放后的密度。

或者，转换后的密度分布可由以下式确定：

Dt＝D-\mu+\mu_模板

\mu_d＝mean(Dt)(所需均值)

Ds＝Dt/\sigma*\sigma_t

\mu_o＝mean(Ds)(标准偏差归一化后获得的均值)

D’＝Ds-\mu_o+\mu_d

转换坐标的加权

HSD空间中的最终转换坐标将是原始坐标和与模板中的染色剂类(例如苏木精)对齐和缩放的坐标的加权和。这样，不属于染色剂类(例如苏木精)的像素将保持不变。

在为每个块中的每个像素获得转换的色度分布和密度分布坐标(c_x',c_y',D')之后(步骤604和605)，通过概率值对每个像素的最终转换坐标进行加权，该概率值表示任何特定像素是染色剂类像素(例如苏木精像素)的概率(步骤607)。通过使用诸如朴素贝叶斯分类器的分类器来导出概率值(步骤606)，该分类器被训练来确定像素是测试图像中每个像素的染色剂类像素的概率。分类器的训练在本文有进一步描述(参见HSD分类器模块)。

最终坐标(c_x,f,c_y,f,D_f)将为：

(c_x，f，c_y，f)＝w_染色剂(c_x′，c_y′)+w_无染色剂(c_x，c_y)

D_f＝w_染色剂D′+w无染色剂D，

其中w_染色剂是像素属于染色剂类别的概率，w_无染色剂是像素不属于该染色剂类别的概率。

使用加权转换坐标的逆转换

在最后的步骤中，加权转换坐标被用于在RGB颜色空间中重新生成测试图像(步骤607)。这可以通过执行本文指示的HSD转换的逆转换来实现。

从(c_x,c_y)到RGB的反向转换可以使用以下等式来执行：

I_R＝I·(c_x+1)

其中单个通道密度可以通过以下等式转换回RGB：

I_cb＝I_0，cb·e^-Dcb。

在一些实施方案中，对于在RGB重构期间的颜色对齐，代替使用用于颜色反卷积的原始苏木精颜色参考向量，来自模板图像中的纯苏木精像素的归一化平均RGB OD向量被用于重构。

HSD分类器模块

在一些实施方案中，训练分类器来将模板图像中其滴度正被归一化的染色剂的染色剂像素与不是染色剂像素的那些像素鉴别开，即提供像素分类结果，其中来自HSD转换(步骤603)的每个块中的每个像素的导出的HSD坐标(cx，cy，D)被用作特征。

在一些实施方案中，分类器被训练来估计哪些像素是特定染色剂，哪些不是。这是通过如果满足以下标准则考虑某一像素属于染色剂类(例如苏木精类)而实现的：

(a)图像不是白色的。如果RGB图像的总光密度低于0.2，并且来自每个RGB通道的光密度低于0.25，则图像被认为是白色的。本文描述了光密度的推导。

(b)图像的色调在蓝色范围内。在一些实施方案中，色调是从HSI(色调、饱和度、强度)颜色分解获得的。色调是定义图像色度的角度。例如，如果色调值在180到240度之间，则生成的颜色为蓝色。

(c)在模板图像中存在“细胞样”结构，即DoG滤波器的输出高于0。本文描述了DoG滤波器及其在寻找“团”和细胞样结构中的应用。

在估计属于染色剂类的像素之后，使用HSD坐标(c_x，c_y，D)作为特征，为苏木精与非苏木精像素的模板图像训练朴素贝叶斯分类器。在一些实施方案中，训练集是从从模板图像中的FOV/块中选择的像素获得的。

用于实施本公开文本的实施方案的其他部件

本公开文本的计算机系统200可以绑定到可以对组织样本执行一个或多个制备过程的样品处理设备。制备过程可以包括但不限于对样本进行脱蜡、对样本进行调节(例如，细胞调节)、对样本进行染色、执行抗原修复、执行免疫组织化学染色(包括标记)或其他反应和/或执行原位杂交(例如，SISH、FISH等)染色(包括标记)或其他反应、以及用于制备用于显微术、微量分析、质谱法或其他分析方法的样本的其他过程。

所述处理设备可以将固定剂施加到样本。固定剂可以包括交联剂(诸如醛类(例如甲醛、多聚甲醛和戊二醛)以及非醛类交联剂)、氧化剂(例如，金属离子和复合物，如四氧化锇和铬酸)、蛋白质变性剂(例如，乙酸、甲醇和乙醇)、未知机制的固定剂(例如，氯化汞、丙酮和苦味酸)、组合试剂(例如，卡诺氏固定剂(Carnoy's fixative)、methacarn、波恩氏流体(Bouin's fluid)、B5固定剂、罗斯曼氏流体(Rossman's fluid)、詹德莱氏流体(Gendre's fluid))、微波和混杂固定剂(例如，排出体积固定和蒸气固定)。

如果样本是嵌入石蜡中的样品，则可以使用一种或多种适当的脱蜡流体对样品进行脱蜡。除去石蜡后，可以相继向样本施加任何数量的物质。物质可以用于预处理(例如，用于反转蛋白质交联、暴露核酸等)、变性、杂交、洗涤(例如，严格洗涤)、检测(例如，将视觉或标记分子与探针链接)、扩增(例如，扩增蛋白质、基因等)、复染、盖玻等。

样品处理设备可以将广泛范围的物质施加到样品。物质包括但不限于染色剂、探针、试剂、冲洗剂和/或调节剂。物质可以是流体(例如，气体、液体或气体/液体混合物)等。流体可以是溶剂(例如，极性溶剂、非极性溶剂等)、溶液(例如，水溶液或其他类型的溶液)等。试剂可以包括但不限于染色剂、润湿剂、抗体(例如，单克隆抗体、多克隆抗体等)、抗原回收流体(例如，基于水性或非水性的抗原修复溶液、抗原回收缓冲液等)等。探针可以是与可检测的标记或报告分子附接的分离的核酸或分离的合成寡核苷酸。标记可以包括放射性同位素、酶底物、辅因子、配体、化学发光或荧光剂、半抗原和酶。

样本处理设备可以是自动化设备，例如Ventana Medical Systems,Inc.出售的BENCHMARK XT仪器和SYMPHONY仪器。Ventana Medical Systems,Inc.是许多美国专利的受让人，这些专利公开了用于执行自动分析的系统和方法，包括美国专利第5,650,327号、第5,654,200号、第6,296,809号、第6,352,861号、第6,827,901号和第6,943,029号以及美国公开专利申请第20030211630号和第20040052685号，这些专利申请的全部内容通过引用结合于此。可替代地，可以手动处理样本。

在对样本进行处理之后，用户可以将承载样本的切片运送到成像设备。在一些实施方案中，成像设备是明场成像器切片扫描仪。一种明场成像器是由Ventana MedicalSystems，Inc.出售的iScan Coreo明场扫描仪。在自动化实施方案中，成像设备是数字病理学设备，如题为IMAGING SYSTEM AND TECHNIQUES(成像系统和技术)的国际专利申请号PCT/US2010/002772(专利公开号为WO/2011/049608)所公开的或于2011年9月9日提交的题为IMAGING SYSTEMS,CASSETTES,AND METHODS OF USING THE SAME(成像系统、暗盒和其使用方法)的美国专利申请号61/533,114所公开的。国际专利申请号PCT/US2010/002772和美国专利申请号61/533,114通过引用以其全文并入本文中。

成像系统或设备可以是多光谱成像(MSI)系统或荧光显微镜系统。这里使用的成像系统是MSI。MSI通常通过提供对像素级图像的光谱分布的访问用基于计算机化显微镜的成像系统来配备病理样本的分析。虽然存在各种多光谱成像系统，但是所有这些系统共有的操作方面是形成多光谱图像的能力。多光谱图像是捕获特定波长或跨电磁波谱的特定光谱带宽的图像数据的图像。可以通过光学滤波器或通过使用能够选择预定光谱分量的其他仪器来挑选这些波长，所述预定光谱分量包括在可见光范围之外的波长处的电磁辐射，如例如红外(IR)。

MSI系统可以包括光学成像系统，所述光学成像系统的一部分包含光谱选择性系统，所述光谱选择性系统可调谐以定义预定数量的即N个离散光学带。光学系统可以适于对组织样品进行成像、用宽带光源在透射中照射到光学检测器上。在一个实施方案中可以包括放大系统(如例如显微镜)的光学成像系统具有通常在空间上与光学系统的单个光学输出对准的单个光轴。当调整或调谐光谱选择系统(例如用计算机处理器)时，系统形成组织的一系列图像，如以确保在不同的离散光谱带中获取图像。设备可以另外包含显示器，所述显示器中出现来自所获取的图像的序列中的至少一个视觉上可感知的组织图像。光谱选择系统可以包括光学色散元件(如衍射光栅)、光学滤波器(如薄膜干涉滤光器)的集合、或适于响应于用户输入或预编程处理器的命令从光源通过样品朝向检测器透射的光谱中选择特定通带的任何其他系统。

在替代性实施方式中，光谱选择系统定义了对应于N个离散光谱带的若干个光学输出。这种类型的系统从光学系统摄入透射光输出，并且沿着N个空间上不同的光路在空间上重定向这个光输出的至少一部分，其方式为将识别的光谱带中的样品沿着对应于这个识别的光谱带的光路成像到检测器系统上。

本说明书中描述的主题和操作的实施方案可以在数字电子电路系统中或在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)或其中的一个或多个的组合中实施。可以将本说明书中描述的主题的实施方案实施为一个或多个计算机程序，即在计算机存储介质上编码以用于由数据处理设备来执行或者用于控制数据处理设备的操作的计算机程序指令的一个或多个模块。本文所描述的任何模块可以包括由一个或多个处理器执行的逻辑。如本文所使用的，“逻辑”是指具有可以应用于影响处理器操作的指令信号和/或数据形式的任何信息。软件是逻辑的例子。

计算机存储介质可以是机器可读存储装置、机器可读储存基板、随机或串行存取存储器阵列或装置、或其中的一个或多个的组合。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的来源或目的地。计算机存储介质还可以是或者可以包括在一个或多个单独的物理部件或介质(例如，多个CD、磁盘或其他存储装置)中。可以将本说明书中描述的操作实施为由数据处理设备对存储在一个或多个计算机可读存储装置上或从其他来源接收的数据执行的操作。

术语“编程处理器”包括用于处理数据的所有种类的设备、装置和机器，包括例如可编程微处理器、计算机、芯片上系统或多个芯片上系统、或前述项的组合。设备可以包括专用逻辑电路系统，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，设备还可包括为所讨论的计算机程序创造执行环境的代码，例如，组成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或其中的一个或多个的组合的代码。设备和执行环境可以实现各种不同的计算模型基础结构，诸如web服务、分布式计算和网格计算基础结构。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言书写，包括编译或解释语言、说明性或者过程性语言，并且计算机程序可以以任何形式部署，包括作为独立程序或者作为模块、部件、子例程、对象或适用于计算环境的其他单元。计算机程序可以但不需要对应于文件系统中的文件。可以将程序存储在保持其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、专用于所讨论的程序的单个文件中、或者多个协调文件(例如，存储一个或多个模块、子程序、或代码的各部分的文件)中。计算机程序可以被部署成在一个计算机上或者在位于一个站点或跨多个站点分布并且通过通信网络互连的多个计算机上执行。

本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器实行，所述一个或多个可编程处理器执行一个或多个计算机程序以便通过对输入数据进行操作并且生成输出来执行动作。过程和逻辑流程还可以由设备执行，并且设备还可以被实施为专用逻辑电路系统，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来讲，适于执行计算机程序的处理器包括通用和专用两种微处理器以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必不可少的元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器装置。通常，计算机还将包括用于存储数据的一个或多个大容量存储装置(例如，磁盘、磁光盘或光盘)，或者被操作性地耦合以从大容量存储装置接收数据或向大容量存储装置传递数据或两者。然而，计算机不需要有这种装置。此外，计算机可以嵌入另一个装置中，仅举几例，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储装置(例如，通用串行总线(USB)闪存驱动器)。适于存储计算机程序指令和数据的装置包括所有形式的非易失性存储器、介质和存储器装置，举例来讲，包括半导体存储器装置(例如，EPROM、EEPROM和闪存装置)、磁盘(例如，内置硬盘或可移除盘)、磁光盘、以及CD-ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路系统补充或并入其中。

为了提供与用户的交互，本说明书中描述的主题的实施方案可以实施在具有用于向用户显示信息的显示装置(例如，LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器)以及通过其用户可以向计算机提供输入的键盘和定点装置(例如鼠标或轨迹球)的计算机上。在一些实施方案中，触摸屏可以用于显示信息并接收来自用户的输入。还可以使用其他种类的装置来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的装置发送文档和从用户使用的装置接收文档(例如，通过响应于从用户的客户端装置上的web浏览器接收的请求将网页发送到web浏览器)来与用户交互。

本说明书中描述的主题的实施方案可以实施在包括以下的计算系统中：后端部件(例如，作为数据服务器)、或中间件部件(例如，应用服务器)、或前端部件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过所述图形用户界面或所述Web浏览器与本说明书中描述的主题的实施方式交互)、或者一个或多个这种后端、中间件或前端部件的任何组合。系统的部件可以通过数字数据通信的任何形式或介质(例如，通信网络)进行互连。通信网络的例子包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)以及对等网络(例如，自组织对等网络)。例如，图1的网络20可以包括一个或多个局域网。

计算系统可以包括任何数量的客户端和服务器。客户端和服务器通常远离彼此并且通常通过通信网络进行交互。客户端与服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。在一些实施方案中，服务器将数据(例如，HTML页面)传输到客户端装置(例如，目的是向与客户端装置交互的用户显示数据和从与客户端装置交互的用户接收用户输入)。可以从服务器处的客户端装置接收在客户端装置处生成的数据(例如，用户交互的结果)。

实施例

实施例1–成像算法性能

为了证明颜色归一化的有效性，我们评估了不同滴度水平的归一化和非归一化图像中细胞检测算法的性能。沿着不同的滴度，细胞的数量应该相对恒定，但是如果不应用归一化，可以观察到增加的趋势。图__和图__显示了相对于滴度4的12个不同切片(来自4个区块)在染色和未染色细胞相对于细胞总数百分比方面的差异性。如图所示，在滴度水平为4之后，对于非归一化图像，高估了未染色细胞的数量，但是当应用染色剂归一化时，这个问题得到了缓解。

数据集和结果：

在由来自3个不同扫描仪的3020个全切片图像组成的数据集上评估了所提出方法的性能；为了方便起见，它们被称为扫描仪1、扫描仪2和扫描仪3。对于每个扫描仪，收集3个不同标记的图像，即HER2、ER和Ki67。这些图像来自12个区块，每个区块有3个不同的区段。对于每个区块和区段，提供了滴度水平1至9的结果。此外，一些标记/扫描仪可以使用一些对照全切片。在下面的表1中，显示了可用于不同标记/扫描仪的全切片的数量。

表1：全切片分布。

	扫描仪1	扫描仪2	扫描仪3
				ER	339	356	337
HER2	324	322	317
				Ki67	347	340	338

对于滴度水平的估计，我们显示了扫描仪1的一些结果，其中每个可用的标记使用属于一个测试区块的所有切片，其余的用于训练。在本节末尾的表2、表3和表4中，我们显示了分类到每张切片的每个滴度水平中的块数量以及最终的平均类。

表2：滴度估计结果。

对于算法的染色剂归一化部分，我们在图8和图9中示出了当归一化非常淡和非常深的切片时的一些结果。此外，在图10中示出了具有和不具有染色剂归一化的图像中的细胞检测算法的性能。

图8：(a)显示了来自具有淡苏木精染色(滴度1)的切片的FOV的示例，其已被归一化为(b)中的滴度4模板。由于归一化算法，在(b)中可以很容易地识别细胞。类似地，在(c)中，示出了来自滴度为9的切片的示例FOV；其对应的归一化为滴度4的图像显示在(d)中。

以HER2为例，可以注意到对较低滴度水平的高估。这是由于区块与区块之间染色剂的不同，如图9所示。对于表2中所示的区块(图9A)，苏木精染色剂比图9B中的FOV(属于训练集中的另一个区块)深得多。这些结果再次显示了归一化的需要，因为使用相同的标记和扫描仪，即使对于不同的区块，指定的滴度也可能看起来不同。对于其他标记可以观察到类似的结果。图9：(a)提供了来自用于提供表2中结果的区块的滴度为1的示例性FOV。对于该区块，较低区块的滴度被高估了，因此在(b)中举例说明了具有相同滴度的示例性FOV。可以看出，测试FOV的苏木精水平比训练中使用的FOV的苏木精水平深得多，这导致了高估的原因，因此说明了归一化的需要，即使对于相同的标记和扫描仪，染色剂的强度在不同的区块内也不同。

实施例2–纯HTX染色剂像素的HSD坐标对齐

在模板和目标WSI上都执行HSD转换，该转换将RGB光密度(OD)值转换为HSD坐标(c_x，c_y，D)。前两个坐标包含与染色剂量无关的色度信息；而最后一个是密度分量，它与染色剂浓度成线性关系。目标WSI中(c_x,c_y)分量的分布与模板中的分布对齐，并且密度分量被缩放以匹配模板。在我们的框架中，不是将HSD坐标对齐应用到所有的染色剂，而是我们只采用这种对齐过程来归一化纯HTX染色剂。这是为了最大限度地匹配目标图像和模板图像中HTX染色剂的颜色和密度分布。最终归一化的纯HTX像素是通过使用对齐的HSD坐标(cx’,cy’,D’)从HSD转换到RGB而获得的。在我们的实验中，我们发现当我们试图对齐色调-饱和度分布与模板完全不同的HTX染色剂时，c_x和c_y的直方图拉伸会导致严重的颜色伪像。因此，对于IHC图像中的HTX归一化，应该省略该步骤。

实施例3–HTX染色剂混合像素的特殊处理

当HTX染色剂与其他染色剂混合时，在HSD坐标对齐中，推导混合物中HTX染色剂的实际颜色和密度分布是不可行的。因此，我们对模板图像中纯HTX染色剂的平均颜色和密度进行“全局”对齐。为了做到这一点而不改变混合物中的DAB染色剂，我们对模板和目标图像都应用颜色反卷积。假设HTX_I(DAB_I)是来自目标图像的颜色反卷积的HTX(DAB)分量，并且HTX_T(DAB_T)是模板图像的HTX(DAB)分量。对于密度对齐，我们平移并缩放HTX_I，使其具有与HTX_T相同的均值和标准偏差，从而获得HTX_f。然后，使用HTX_f和DAB_I进行RGB重构。对于在RGB重构期间的颜色对齐，代替使用用于颜色反卷积的原始HTX颜色参考向量，我们将来自模板图像中的纯HTX像素的归一化平均RGB OD向量用于重构。背景像素和其他不与HTX共定位的非HTX染色剂在没有任何归一化的情况下保持不变。

实施例4–纯HTX染色剂和HTX染色剂混合识别

现在我们来描述识别纯HTX和HTX混合像素的方法。考虑到像素可能属于苏木精和曙红染色剂的混合物，训练朴素贝叶斯分类器以导出像素属于苏木精、曙红或背景的概率。然后，最终的转换坐标是使用类别概率作为权重的染色剂特定转换坐标的加权和。在我们的框架中，只考虑了两个类别，即HTX和非HTX，这是为了便于将所述方法推广到用户想要归一化的其他类型的染色剂。使用模板图像中像素的HSD坐标来训练分类器。在我们的实验中发现，如果我们使用分类概率作为权重，这种简单分类器的分类误差可能导致不希望的颜色伪像，特别是对于类别边界像素。因此，我们仅将加权方案应用于使用以下标准定义的纯HTX像素：

该像素不是白色的，即，总的OD小于0.2，并且至少一个RGB通道的OD大于0.25。

像素的色调在HSD空间中预先定义的蓝色范围内。

有一些“细胞样”结构，即应用在解混的HTX分量上的DoG滤波器的输出大于0。

为了识别HTX混合像素，将DoG滤波器应用于解混的DAB分量。如果DoG滤波器输出大于0，像素的解混DAB和HTX分量都高于固定阈值(th＝0.2)，并且像素的色调在预定义的蓝色范围之外，则像素被确定为HTX混合。其他像素保持不变。

实施例5–全切片归一化

注意，WSI中的像素数非常大。因此，使用WSI中的所有像素来解决归一化所需的统计数据在计算上非常昂贵且不必要。相反，我们设计了一种通用的方法来选择代表WSI中HTX染色剂的像素。在我们的实现方式中，首先选择前50个视场(FOV)图像(600x 600像素)，其均值解混HTX分量在WSI的所有FOV中最接近第80百分位数。图12示出了所选定的FOV的示例。之后，我们进一步从每个FOV中选择包含大量HTX染色剂的块(100x 100像素)。这是通过丢弃大部分包含(>70％)背景像素的块来实现的。在块选择之后，我们使用实施例4中描述的标准来识别纯HTX像素。这些像素将用于解决上述实施例中的所有统计数据。该步骤中，如果一个像素的OD低于FOV所有蓝色像素的第25个百分位数，则该像素被认为是背景，其中蓝色像素被识别为其色调在HSD空间中的预定蓝色范围内的那些像素。

实施例6–结果

我们在由324个HER2染色剂的IHC WSI组成的数据集上评估了所提出的方法的性能。这些切片来自12个乳腺癌组织区块，每个区块切下27个切片。来自相同区块的切片使用HTX在九个受控浓度水平下染色，这由从1到9的滴度值表示，其中1表示最浅的染色，9表示最深的染色。每个HTX滴度应用于一组3个连续的切片。我们从滴度4中选择一个WSI作为模板图像。

为了定性评价本方法的性能，我们在图11中显示了分别来自HTX浓度水平滴度1和滴度9的切片的两个示例性FOV。归一化FOV图像中的HTX染色剂在不同浓度水平下视觉上更加一致；而DAB染色剂与原始切片相比保持不变。

为了评价所提出的方法对图像分析算法的影响，在324张切片上应用了内部现成的HER2肿瘤细胞检测算法。具体而言，处理来自每个切片的多个FOV以产生切片的细胞计数读数，并且这些FOV与来自同一组织区块的切片交叉配准。图3(a)显示了一个组织区块的每个滴度的平均细胞计数读数。一般来说，在归一化之前，未染色(蓝色)细胞计数明显依赖于HTX浓度水平；归一化后，这种依赖性大大降低。对于染色(棕色)细胞，归一化前后的依赖性都很小。为了进一步说明不同HTX浓度水平下的算法输出一致性，每个滴度的平均未染色细胞计数相对于由来自相同组织区块的滴度4切片产生的相同读数进行归一化。如果输出一致性良好，则该数值在不同滴度之间应大致保持不变，并接近值1(＝1，对于滴度4)。图12清楚地显示了所有滴度的一致性改善。还观察到，即使在归一化后，滴度为9的切片仍然比滴度为4的切片产生显著更高的细胞计数。我们发现，这是因为极高浓度的HTX会导致严重的背景染色，这导致算法在背景中产生大量的错误细胞检测，而这不能仅通过染色剂归一化来解决。

因此，申请人认为，HTX染色剂差异性对IHC图像分析提出了挑战。我们提出了一个单一染色剂归一化的框架，该框架可以通过将色度和密度分布与HSD颜色空间中的模板图像对齐来归一化HTX染色剂。通过对齐解混的HTX分量的均值和标准偏差并且将模板图像中纯HTX像素的平均RGB OD向量作为重构期间的HTX参考颜色向量，对染色剂混合中的HTX进行归一化。实验结果表明，所述方法在不影响DAB染色剂的情况下，提高了不同图像间HTX染色剂的一致性；并且显著降低了图像分析算法对HTX染色剂差异性的依赖性。所述方法可以推广到其他IHC染色剂，这将是未来的工作。

尽管已经参考多个说明性实施方案描述了本公开，但是应当理解，本领域技术人员可以设计出在本公开的原理的精神和范围内的许多其他修改和实施方案。更具体地，在不脱离本公开的精神的情况下，在前述公开、附图和所附权利要求的范围内，主题组合布置的组成部分和/或布置中的合理变化和修改是可能的。除了部件和/或布置的变化和修改之外，替代用途对于本领域技术人员也是显而易见的。

本文还公开了一种方法，所述方法测定用一种或多种染色剂染色的生物样品的全切片图像中第一染色剂的滴度，并相对于第一染色剂的滴度归一化全切片图像，所述方法包括：

-基于导出的第一染色剂图像特征计算全切片图像的加权平均滴度得分，以及

-如果计算的加权平均得分不在预定的滴度范围内，则将全切片图像归一化为模板图像，

-其中所述全切片图像通过以下方式归一化：(a)将全切片图像的色度和密度分布与模板图像的色度和密度分布进行匹配，其中全切片图像和模板图像的色度和密度分布都是在包含密度信息的颜色模型内导出的，以及(b)通过使用加权转换坐标在包含密度信息的颜色模型内对所述全切片图像进行逆转换来重构RGB图像。

还公开了一种方法，其中所述加权平均滴度得分通过以下步骤计算：(a)从全切片图像中的一系列图像块的每一个中导出多个第一染色剂图像特征，以及(b)使用经训练的特征识别分类器对来自每个所述图像块的所述多个导出图像特征进行分类。

还公开了一种方法，其中通过以下步骤导出一系列图像块：(a)从全切片图像中提取预定数量的FOV；(b)为每个所述提取的FOV计算一组块；以及(c)为每个所述提取的FOV保留来自所述一组块的满足阈值块标准的那些块。

还公开了一种方法，其中第一染色剂图像特征是染色剂颜色特征和染色剂强度特征。

还公开了一种方法，其中通过以下步骤将全切片图像色度和密度分布与模板图像色度和密度分布匹配：(i)在全切片图像的图像块内执行转换以获得每个图像块中所有像素的色度和密度分布坐标(c_x,c_y,D)；(ii)平移并旋转在全切片图像中获得的色度分布坐标(c_x,c_y)，以具有与模板色度坐标相同的均值和方向，从而为每个图像块中的每个像素提供对齐的色度坐标(c_x',c_y')；以及(iii)缩放从全切片图像获得的密度分布(D)，以具有与模板密度分布相同的加权均值和加权标准偏差，从而为每个图像块中的每个像素提供缩放的密度分布(D')。

还公开了一种方法，其中加权转换坐标通过以下步骤来导出：(i)计算图像块中的像素是第一染色剂像素的概率；以及(ii)用所计算的概率对对齐的色度密度分布坐标和缩放的密度分布坐标(c_x',c_y',D')进行加权。

还公开了一种方法，其中所获得的色度和密度分布与模板图像色度和密度分布的匹配利用预定的统计参数，其中所选择的预定统计参数特定于接近全切片图像的加权平均滴度得分的滴度水平。

还公开了一种方法，其中第一染色剂是苏木精。

还公开了一种方法，其中预定滴度范围在4到6之间。

还公开了一种方法，其中包含密度信息的颜色模块是HSD颜色模块。

还公开了一种成像系统，用于将查询图像中的第一染色剂的滴度归一化为模板图像中的第一染色剂的滴度，所述查询图像是被至少所述第一染色剂染色的生物样品的查询图像，所述成像系统包括：(i)一个或多个处理器，和(ii)联接到所述处理器的存储器，所述存储器存储计算机可执行指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：

-导出查询图像内生成的块中的每个像素的色度和密度分布坐标，所述导出在包含密度信息的颜色模块内执行；

-使用特定于查询图像的估计滴度水平的预定对齐和缩放参数值，转换所生成的块中的每个像素的导出色度和密度分布坐标，以为所生成的块中的每个像素提供转换后的色度和密度分布坐标；以及

-通过使用由像素概率值加权的转换色度和密度分布坐标在包含所述密度信息的所述颜色模型内对所述查询图像进行逆转换来重构RGB图像。

还公开了一种成像系统，其中该成像系统还包括染色设备。

还公开了一种成像系统，其中生物样品被至少两种染色剂染色。

还公开了一种成像系统，其中所生成的块中的每个像素的导出的色度和密度分布坐标的转换包括：(a)平移和旋转所生成的块中的每个像素的导出的色度分布坐标(c_x,c_y)，以具有与模板色度坐标相同的均值和方向，从而为所生成的块中的每个像素提供转换的色度坐标(c_X’,c_y’)；以及(b)缩放所获得的所生成的块中的每个像素的密度分布(D)，以具有与模板密度分布相同的加权均值和加权标准偏差，从而为所生成的块中的每个像素提供转换的密度分布(D')。

还公开了一种成像系统，其中在多个滴度水平下的第一染色剂的特定对齐和缩放参数值被存储在所述存储器中。

还公开了一种成像系统，其中通过基于导出的第一染色剂颜色和强度特征计算所述查询图像的加权平均滴度得分来确定所述查询图像的所述估计滴度水平，并且其中所选择的对齐和缩放参数近似于查询图像的加权平均滴度得分。

还公开了一种成像系统，其中所述加权平均得分通过以下步骤计算：(a)从查询图像中生成的块中导出多个第一染色剂图像特征，以及(b)使用经训练的滴度识别分类器对来自每个所生成的块的所述多个导出图像特征进行分类。

还公开了一种成像系统，其中所述滴度识别分类器是多类分类器，其根据从使用第一染色剂滴度水平作为类标签的标准化样品导出的第一染色剂颜色和强度特征进行训练。

还公开了一种成像系统，其中所述块通过以下步骤生成：(a)从所述查询图像中提取预定数量的FOV；(b)为每个所述提取的FOV生成一组块；以及(c)为每个所述提取的FOV保留来自所述一组块的满足阈值块标准的那些块。

还公开了一种成像系统，其中所述加权转换色度和密度分布坐标通过以下步骤导出：(i)计算像素是第一染色剂像素的概率；以及(ii)用所述计算的概率对所述转换色度和密度分布坐标进行加权。

权利要求25的成像系统，还公开了一种成像系统，其中包含密度信息的所述颜色模块是HSD颜色模块。

还公开了一种非暂态计算机可读介质，用于测定用一种或多种染色剂染色的生物样品的全切片图像中第一染色剂的滴度，并相对于第一染色剂的滴度归一化全切片图像，包括：

-将所述第一染色剂全切片图像的滴度归一化为模板图像第一染色剂滴度，其中所述全切片图像通过以下方式归一化：

-在包含密度信息的颜色模型内导出查询图像中的色度和密度分布坐标；

-将所述查询图像中所述导出的色度分布坐标与模板图像色度分布坐标对齐，以提供转换后的色度分布坐标，其中所述对齐包括平移和旋转所述查询图像中所述导出的色度分布坐标，以具有与模板色度分布坐标相同的均值和方向，其中所述对齐步骤利用与全切片图像的计算的加权平均滴度得分相匹配的预定对齐参数；

-用模板图像密度分布坐标缩放所述查询图像中所述导出的密度分布坐标，以提供转换后的密度分布坐标，其中所述缩放包括转换所述导出的密度分布坐标，以具有与模板密度分布坐标相同的加权均值和加权标准偏差，其中所述缩放步骤利用与全切片图像的计算的加权平均滴度得分相匹配的预定缩放参数；以及

-通过使用加权转换色度和密度分布坐标在包含所述密度信息的所述颜色模型内对所述查询图像进行逆转换来重构RGB图像。

还公开了一种非暂态计算机可读介质，其中如果计算的加权平均滴度得分落在预定的阈值滴度得分范围之外，则全切片图像中的第一染色剂被归一化为模板图像的第一染色剂滴度。

还公开了一种非暂态计算机可读介质，其中预定阈值滴度得分的范围在大约3到大约6。

还公开了一种非暂态计算机可读介质，其中基于导出的第一染色剂图像特征的全切片图像的加权平均滴度得分是通过以下步骤计算的：(a)从全切片图像中提取预定数量的FOV；(b)计算每个所提取的FOV内的一组块；(c)从该组块中的每个块中导出多个第一染色剂颜色和强度特征；(d)使用训练的滴度分类器对多个导出的第一染色剂颜色和强度特征进行分类；以及(e)基于来自所有块的分类结果计算加权平均得分。

还公开了一种非暂态计算机可读介质，其中包含密度信息的颜色模块是HSD颜色模块。

Claims

1.一种将查询图像中的第一染色剂的滴度归一化为模板图像中的第一染色剂的滴度的方法，所述查询图像是被至少所述第一染色剂染色的生物样品的查询图像，所述方法包括：

(i)在包含密度信息的颜色模型内导出所述查询图像中的色度和密度分布坐标(603)；

(ii)将所述查询图像中所述导出的色度分布坐标与模板图像色度分布坐标对齐，以提供转换后的色度分布坐标(604)；

(iii)用模板图像密度分布坐标缩放所述查询图像中所述导出的密度分布坐标，以提供转换后的密度分布坐标(605)；以及

(iv)通过使用加权转换色度和密度分布坐标(607)在包含所述密度信息的所述颜色模型内对所述查询图像进行逆转换来重构RGB图像(608)；

其中所述对齐和缩放利用特定于所述查询图像的估计滴度水平的预定参数值。

2.根据权利要求1所述的方法，其中所述预定参数值是在已知的第一染色剂滴度水平下确定的导出均值、角度和缩放参数。

3.根据权利要求1和2中任一项所述的方法，其中，通过基于导出的第一染色剂颜色和强度特征计算所述查询图像的加权平均滴度得分来确定所述查询图像的所述估计滴度水平(254)。

4.根据前述权利要求中任一项所述的方法，其中所述估计的滴度水平在归一化之前确定。

5.根据前述权利要求中任一项所述的方法，其中所述估计的滴度水平在归一化期间确定。

6.根据前述权利要求中任一项所述的方法，其中所述加权平均滴度得分通过以下步骤计算：(a)从所述查询图像中的一系列块中的每一个块导出多个第一染色剂图像特征(252)，以及(b)使用经训练的滴度识别分类器对来自每个所述图像块的所述多个导出图像特征进行分类(253)。

7.根据权利要求6所述的方法，其中所述一系列块通过以下步骤导出：(a)从所述查询图像中提取预定数量的FOV(250)；(b)为每个所述提取的FOV计算一组块(251)；以及(c)为每个所述提取的FOV保留来自所述一组块的满足阈值块标准的那些块。

8.根据权利要求6所述的方法，其中所述滴度识别分类器是多类分类器，其根据从使用第一染色剂滴度水平作为类标签的标准化样品导出的第一染色剂颜色和强度特征进行训练。

9.根据前述权利要求中任一项所述的方法，其中所述加权转换色度和密度分布坐标通过以下步骤导出：(i)计算像素是第一染色剂像素的概率(606)；以及(ii)用所述计算的概率对所述转换色度和密度分布坐标进行加权(607)。

10.根据权利要求9所述的方法，其中为所述查询图像中的一系列块中的每个像素导出色度和密度分布坐标，其中所述一系列块通过以下步骤导出：(a)从所述查询图像中提取预定数量的FOV(601)；(b)为每个所述提取的FOV计算一组块(602)；以及(c)为每个所述提取的FOV保留来自所述一组块的满足阈值块标准的那些块。

11.根据前述权利要求中任一项所述的方法，其中所述对齐包括平移和旋转所述查询图像中所述导出的色度分布坐标，以具有与模板色度分布坐标相同的均值和方向(604)。

12.根据前述权利要求中任一项所述的方法，其中所述缩放包括转换所述导出的密度分布坐标，以具有与所述模板密度分布坐标相同的加权均值和加权标准偏差(605)。

13.根据前述权利要求中任一项所述的方法，其中包含密度信息的所述颜色模块是HSD颜色模块。

14.一种成像系统(200)，包括：(i)一个或多个处理器(203)；以及(ii)联接到所述一个或多个处理器(203)的一个或多个存储器(201)，所述一个或多个存储器(201)用于存储指令，所述指令在由所述一个或多个处理器(203)执行时使所述成像系统(200)执行根据权利要求1至13中任一项所述的方法。

15.一种非暂态计算机可读介质(201)，其存储在由成像系统(200)的一个或多个处理器(203)执行时使所述成像系统(200)执行根据权利要求1至13任一项所述的方法的指令。