CN108172278A - 一种he染色病理图像颜色归一化方法 - Google Patents

Abstract

本发明公开了一种HE染色病理图像颜色归一化方法，先对病理切片图像进行通道分解，得到病理图像，通过建立优化模型，计算最优反卷积矩阵，并利用最优反卷积矩阵对病理图像进行颜色归一化，归一化后不同染色条件下的病理图像的颜色趋于一致，且计算速度快。

Description

一种HE染色病理图像颜色归一化方法

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种HE染色病理图像颜色归一化方法。

背景技术

数字病理全切片是通过专用的扫描成像系统将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像。随着数字病理图像成像技术不断成熟，基于数字病理图像的计算机辅助诊断方法发展迅速。随着研究的深入，辅助诊断方法已向适应多染色平台、扫描平台的病理全切片(Whole Slide Image，WSI)方向发展。然而，受染色剂配比、染色平台、成像平台的影响，来自不同平台的WSI在颜色上的差异很大。这一差异极大的影响了计算机辅助诊断方法的准确度。为了减少这一差异带来的影响，国内外学者在近年提出了多种病理图像颜色归一化方法。其中，苏木精-伊红(HE)染色剂作为病理图像最常用的颜色方法。

目前，有学者直接采用自然场景图像颜色增强的方法来对数字病理图像进行归一化，如直方图均衡，直方图标准化，Retinex增强等。这些方法没有考虑病理图像颜色的本质特点，固不能取得满意的病理图像归一化效果。大多数有效的病理图像归一化方法以基于颜色反卷积的染色分离方法作为基础，颜色反卷积算法利用“病理图像的颜色是由有限种染色剂混合而成的”这一先验知识，在光密度空间对病理图像进行线性变换，以分离出独立的颜色成分。然而，颜色反卷积算法需要通过实验的手段测得反卷积参数，且同一组参数无法适应来自不同平台的病理图像。近年，有学者利用细胞核检测算法，在病理图像中检测出细胞核，从而将病理图像中细胞核与细胞质区域进行分类，并以此作为先验，计算得到自适应的颜色反卷积参数。这种方法使颜色反卷积方算法不再依赖实验获得反卷积参数，极大的提高该算法的适应性，从而得到了更好的病理图像归一化效果。但是，该类方法的效果依赖于细胞核检测与分割算法，一旦细胞核检测算法失效，则无法得到合理的归一化效果，且细胞核检测与分割算法的计算量较大，拖慢了整个归一化过程。

因此，如何提供一种快速HE染色病理图像颜色归一化方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种HE染色病理图像颜色归一化方法，通过优化算法得到最优反卷积矩阵，并利用最优反卷积矩阵对图像进行归一化，归一化后，不同染色条件下的病理图像的颜色趋于一致，且计算速度快。

为了实现上述目的，本发明采用如下技术方案：

一种HE染色病理图像颜色归一化方法，包括：

S1：对预先存储好的数字病理切片图像进行通道分解，得到病理图像I(x,y)；

其中，I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示病理图像在RGB三个颜色通道内的像素值；

S2：建立优化模型，计算最优反卷积矩阵，其具体步骤如下：

S21：定义优化变量

吸光率矩阵中的每个吸光率向量m_s均为一个单位向量，用两个独立的角度变量(α_c,β_c)表示吸光率向量：

则反卷积矩阵由6个独立的角度变量决定，由此定义待优化变量：

S22：定义目标函数

将待优化变量决定的吸光率矩阵表示为通过计算得到反卷积矩阵

利用反卷积矩阵对所述病理图像I(x,y)进行染色分离，公式如下：

其中

其中，I_max为单通道最大值；表示病理图像I(x,y)的染色成分，分别代表病理图像I(x,y)的H、E、DAB染色剂对应的染色强度；

定义损失函数：

优化目标函数为：

其中，为基本损失函数：

为平衡损失函数：

为能量损失函数：

其中，P(I)表述病理图像I(x,y)中参与上述优化的像素点，在病理图像的非背景区域随机抽取，P(I)表示P(I)中包含像素点的数量，λ为权重系数，γ为平衡系数，ε为能量系数；

S23：利用梯度下降算法对目标函数进行求解，得到求解后的最优参数

其中，求解时的初始条件为

λ,γ,ε为超参数，在优化前预先设定；

S24：基于所述最优参数，计算最优的反卷积矩阵，具体包括：

根据得到的计算得到优化后的吸光率矩阵：

计算最优反卷积矩阵：

S3:根据所述最优反卷积矩阵对所述病理图像进行颜色归一化，具体步骤如下：

S31：计算归一化矩阵：

其中，为理想成像条件下的吸光率矩阵

S32：利用归一化矩阵T对所述病理图像进行归一化：

即为归一化后的病理图像，其中O_c(x,y)表示病理图像在RGB通道的光密度：O_c(x,y)＝-log₁₀(I_c(x,y)/I_max),c＝R,G,B，I_max为单通道最大值。

优选的，所述数字病理切片图像通过切片扫描仪将病理切片扫描到计算机中而得到的。

优选的，对目标函数进行求解的方法包括但不限于SGD，SGBM，AdaGrad，AdaDelta或Adam。

优选的，对目标函数进行求解的方法推荐使用AdaGrad。

优选的，λ＝0.02,γ＝0.82,ε＝0.40

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种HE染色病理图像颜色归一化方法，通过定义优化变量以及损失函数并设定优化目标计算最优参数基于最优参数得到优化后的吸光率矩阵从而得到优化后的反卷积矩阵基于优化后的反卷积矩阵计算归一化矩阵T，并基于归一化矩阵T对图像进行归一化，得到归一化的病理图像。利用本发明提供的HE染色病理图像颜色归一化方法对病理图像进行颜色归一化，得到的病理图像的颜色趋于一致，且计算速度快。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种HE染色病理图像颜色归一化方法的流程图；

图2附图为本发明提供的建立优化模型计算最优反卷积矩阵的流程图；

图3附图为本发明提供的根据最优反卷积矩阵对病理图像进行颜色归一化的流程图；

图4附图为本发明提供的HE染色病理图像颜色归一化方法的效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见附图1，本发明实施例公开了一种HE染色病理图像颜色归一化方法，包括：

S1：对预先存储好的数字病理切片图像进行通道分解，得到病理图像I(x,y)；

其中，I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示病理图像在RGB三个颜色通道内的像素值；

S2：建立优化模型，计算最优反卷积矩阵，其具体步骤如下：

S21：定义优化变量

吸光率矩阵中的每个吸光率向量m_s均为一个单位向量，用两个独立的角度变量(α_c,β_c)表示吸光率向量：

则反卷积矩阵由6个独立的角度变量决定，由此定义待优化变量：

S22：定义目标函数

为了既便于表达，将待优化变量决定的吸光率矩阵表示为通过计算得到反卷积矩阵

利用反卷积矩阵对所述病理图像I(x,y)进行染色分离，公式如下：

其中，

其中，I_max为单通道最大值；表示病理图像I(x,y)的染色成分，分别代表病理图像I(x,y)的H、E、DAB染色剂对应的染色强度；

定义损失函数：

优化目标函数为：

其中，为基本损失函数：

HE染色的病理图像没有DAB染色成分，因此，在对HE染色的病理图像进行染色分离时，DAB分量的理想值为0；另一方面，希望H和E两种染色成分的差异尽可能大，由此定义了基本损失函数；

为平衡损失函数：

引入平衡损失函数的目的是为了对分解后的H和E染色成分比率进行控制；

为能量损失函数：

引入能量损失函数的目的是为了对分解后的染色成分总能量进行控制；

其中，P(I)表述病理图像I(x,y)中参与上述优化的像素点，在病理图像的非背景区域随机抽取，|P(I)|表示P(I)中包含像素点的数量，λ为权重系数，γ为平衡系数，ε为能量系数；

为了达到稳定的优化效果，像素点的个数不少于10000。

S23：利用梯度下降算法对目标函数进行求解，得到求解后的最优参数

由于损失函数是关于的连续函数，则可以用基于梯度下降的优化算法进行求解。为了得到合理的优化结果，须使用理想条件下测得的参数进行初始化，本发明使用进行初始化

在求解时的初始条件为

λ＝0.02,γ＝0.82,ε＝0.40；

上述λ＝0.02,γ＝0.82,ε＝0.40为超参数，需要在优化前人为设定，不同的参数组合会取得不同的归一化效果，此处给出一组较优的参数组合。

S24：计算最优的反卷积矩阵；

根据得到的计算得到优化后的吸光率矩阵：

计算最优反卷积矩阵：

S3:根据所述最优反卷积矩阵对所述病理图像进行颜色归一化，具体步骤如下：

S31：计算归一化矩阵：

其中，为理想成像条件下的吸光率矩阵

S32：利用归一化矩阵T对所述病理图像进行归一化：

即为归一化后的病理图像，其中O_c(x,y)表示病理图像在RGB通道的光密度：O_c(x,y)＝-log₁₀(I_c(x,y)/I_max),c＝R,G,B，I_max为单通道最大值。

为了进一步优化上述技术方案，所述病理图像通过切片扫描仪将病理切片扫描到计算机中而得到的。

为了进一步优化上述技术方案，对目标函数进行求解的方法包括但不限于SGD，SGBM，AdaGrad，AdaDelta或Adam。

为了进一步优化上述技术方案，对目标函数进行求解的方法推荐使用AdaGrad，该方法明显优于其他几个对目标函数的求解方法。

下面结合现有的算法对本发明提供的HE染色病理图像颜色归一化方法作进一步说明。

现有技术中HE染色的病理图像一般使用基于H-E-DAB染色测得的卷积参数进行染色分离，在此给出使用传统颜色反卷积算法对HE染色的病理图像进行染色成分分离的步骤，以进一步帮助理解本发明的发明思路以及算法。

在得到R、G、B三通道的像素值后，计算RGB通道对应的光密度：

O_c(x,y)＝-log₁₀(I_c(x,y)/I_max),c＝R,G,B

I_max为单通道最大值，一般情况下，数字图像取值范围是I_c(x,y)∈[0,255]，即I_max＝255。

计算单独染色剂的着色强度A_s(x,y),s＝H,E,DAB

其中，矩阵称为反卷积矩阵；

令O＝[O_R(x,y),O_G(x,y),O_B(x,y)]^T,A＝[A_H(x,y),A_E(x,y),A_DAB(x,y)]^T，则上述公式可以简写为:A＝D·O，A＝[A_H(x,y),A_E(x,y),A_DAB(x,y)]^T即为分解后的染色强度。

在上述算法中，反卷积矩阵D是由实验测量并进行计算得到的，具体方法如下：

a)计算吸光率矩阵：通过使用单独染色剂对切片染色，可以测得染色剂s(s＝H,E,DAB)对通道R,G,B的吸光率，用向量表示为：

其中c＝R,G,B，表示染色剂s对通道c的吸光率；m_s是一个单位向量，即||m_s||＝1，对染色剂H,E,DAB进行单独测量后得到吸光率矩阵；

M＝(m_H,m_E,m_DAB)^T，对于H-E-DAB染色的数字病理图像，利用上述方法计算得到的理想情况下的吸光率矩阵为：

b)计算反卷矩阵：反卷积矩阵即为吸光率矩阵的逆，则计算得到的理想情况下的反卷积矩阵(即反卷积参数)为：

然而，上述反卷积参数只适用于理想的染色情况，不能适应不同染色条件和成像条件，本发明则针对这一问题，提出了自适应染色分离方法,通过对吸光率矩阵M进行优化，以达到改善反卷积矩阵D的目的。

下面结合具体实验结果对本发明提出的颜色归一化方法做进一步说明：

图4中示出在使用超参数λ＝0.02,γ＝0.82,ε＝0.40进行归一化时，不同染色条件下一组病理图像的归一化效果。从图4(a)中为来自不同染色平台和成像平台的病理图像，图4(b)为经过本发明提供的颜色归一化方法处理得到的病理图像，从中可以看出，病理图像的颜色趋于一致。

为了进一步说明本发明的优势，将本发明中提供的HE染色病理图像颜色归一化方法和文献[1](Bejnordi B E,Litjens G,Timofeeva N,et al.Stain SpecificStandardization of Whole-Slide Histopathological Images[J].IEEE Transactionson Medical Imaging,2016,35(2):404.)和文献[2](Khan A M,Rajpoot N,Treanor D,etal.A nonlinear mapping approach to stain normalization in digitalhistopathology images using image-specific color deconvolution[J].IEEE TransBiomedical Engineering,2014,61(6):1729-38.)中的两种方法进行比较；以上两种方法均需要病理图像细胞核分割算法的支持，归一化效果受到细胞核分割算法性能的影响。相比之下，本发明算法不需要对细胞核进行分割，只依赖病理图像中的像素信息就可以完成归一化，算法的稳定性更强。另一方面，由于本发明提供的方法不需要提取病理图像中的细胞核，计算速度有很大提升，对比计算归一化参数所用时间，文献[1]需要123.73秒，文献[2]需要10.1分钟，本发明方法只需9.23秒。

该方法能够有效提高基于深度学习的病理图像分类方法的性能，对浸润性乳腺癌图像分类实验中，选定深度学习模型为DenseNet-121的情况下，归一化前分类精度为78.7％，归一化后分类精度提高到了84.7％，ROC曲线下面积(AUC)从0.868提高到了0.914。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种HE染色病理图像颜色归一化方法，其特征在于，包括：

S1：对预先存储好的数字病理切片图像进行通道分解，得到病理图像I(x,y)；

其中，I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示病理图像在RGB三个颜色通道内的像素值；

S2：建立优化模型，计算最优反卷积矩阵，其具体步骤如下：

S21：定义优化变量

吸光率矩阵中的每个吸光率向量m_s均为一个单位向量，用两个独立的角度变量(α_c,β_c)表示吸光率向量：

则反卷积矩阵由6个独立的角度变量决定，由此定义待优化变量：

S22：定义目标函数

将待优化变量决定的吸光率矩阵表示为通过计算得到反卷积矩阵

利用反卷积矩阵对所述病理图像I(x,y)进行染色分离，公式如下：

其中

其中，I_max为单通道最大值；表示病理图像I(x,y)的染色成分，分别代表病理图像I(x,y)的H、E、DAB染色剂对应的染色强度；

定义损失函数：

定义优化目标函数为：

其中，为基本损失函数：

为平衡损失函数：

为能量损失函数：

其中，P(I)表述病理图像I(x,y)中参与上述优化的像素点，在病理图像的非背景区域随机抽取，|P(I)|表示P(I)中包含像素点的数量，λ为权重系数，γ为平衡系数，ε为能量系数；

S23：利用梯度下降算法对目标函数进行求解，得到求解后的最优参数

其中，求解时的初始条件为

λ,γ,ε为超参数，在优化前预先设定；

S24：基于所述最优参数，计算最优的反卷积矩阵，具体包括：

根据得到的计算得到优化后的吸光率矩阵：

计算最优反卷积矩阵：

S3:根据所述最优反卷积矩阵对所述病理图像进行颜色归一化，具体步骤如下：

S31：计算归一化矩阵：

其中，为理想成像条件下的吸光率矩阵

S32：利用归一化矩阵T对所述病理图像进行归一化：

即为归一化后的病理图像，其中O_c(x,y)表示病理图像在RGB通道的光密度：O_c(x,y)＝-log₁₀(I_c(x,y)/I_max),c＝R,G,B，I_max为单通道最大值。

2.根据权利要求1所述的HE染色病理图像颜色归一化方法，其特征在于，所述数字病理切片图像通过切片扫描仪将病理切片扫描到计算机中进行存储。

3.根据权利要求1所述的HE染色病理图像颜色归一化方法，其特征在于，对目标函数进行求解的方法包括但不限于SGD，SGBM，AdaGrad，AdaDelta或Adam。

4.根据权利要求3所述的HE染色病理图像颜色归一化方法，其特征在于，对目标函数进行求解的方法推荐使用AdaGrad。

5.根据权利要求1所述的HE染色病理图像颜色归一化方法，其特征在于，λ＝0.02,γ＝0.82,ε＝0.40。