CN108229576A - 一种跨倍率病理图像特征学习方法 - Google Patents

Abstract

本发明公开了一种跨倍率病理图像特征学习方法，具体包括以下步骤：用切片扫描仪将病理切片扫描到电子计算中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；利用所述RGB病理图像，建立CNN模型训练数据集；建立跨分辨率病理图像特征的学习网络结构，对所述CNN模型训练数据集进行训练，得到病理图像特征；利用所述病理图像特征进行病理图像辅助诊断。一种跨倍率病理图像特征学习方法，不仅摆脱对高倍率病理图像的依赖，又不增加CNN计算量，且能满足辅助诊断精度。

Description

一种跨倍率病理图像特征学习方法

技术领域

本发明涉及图像处理与机器学习领域，更具体的说是涉及一种跨倍率病 理图像特征学习方法。

背景技术

数字病理全切片是通过专用的扫描成像系统将病理切片转换为可供计算 机显示、传输及处理的高倍率大规模数字图像。随着数字病理图像成像技术 不断成熟，基于数字病理图像的计算机辅助诊断方法发展迅速。近年来，以 卷积神经元网络(convolutionalneural network，CNN)为代表的机器学习方 法成为了病理图像特征提取与分析的主流方法。

根据现有研究，基于高倍率数字病理图像(如40倍)建立的CNN模型 比低倍率(如10倍)下建立的模型有更好的分析精度。然而在高倍率下分析 数字病理图像的计算量较低，分辨率高出几倍甚至几十倍，导致辅助诊断时 间达不到临床需求。另外，降低算法对高倍率数字病理图像的依赖可以有效 的缩短辅助诊断时长，但一般情况下，降低分析倍率会明显降低辅助诊断精 度。

近期，学者提出了基于生成对抗网络的图像超分辨率重建方法，较大程 度上的改善了传统的超分辨率重建方法的效果。虽然该方案降低了对扫描倍 率的要求，减少了扫描时间，但是该方案不能减少基于CNN的病理图像特征 提取模型的计算量，引入的超分辨率重建部分反而增加了计算量。

因此，如何提供一种不依赖高倍率病理图像，又不增加CNN计算量，且 能满足辅助诊断精度的病理图像特征学习方法是本领域技术人员亟需解决的 问题。

发明内容

有鉴于此，本发明提供了一种跨倍率病理图像特征学习方法，不仅摆脱 对高倍率病理图像的依赖，又不增加CNN计算量，且能满足辅助诊断精度。

为了实现上述目的，本发明提供如下技术方案：

一种跨倍率病理图像特征学习方法，具体包括以下步骤：

S1：用切片扫描仪将病理切片扫描到电子计算中，将病理图像在RGB颜色空 间中进行表示，得到RGB病理图像；

S2：利用所述RGB病理图像，建立CNN模型训练数据集；

S3：建立跨分辨率病理图像特征的学习网络结构，对所述CNN模型训练数据 集进行训练，得到病理图像特征；

S4：利用所述病理图像特征进行病理图像辅助诊断。

本发明的技术效果：不仅摆脱对高倍率病理图像的依赖，又不增加CNN 计算量，且能满足辅助诊断精度。

优选的，在上述的一种跨倍率病理图像特征学习方法中，S1具体步骤包 括：数字病理切片是由切片扫描仪将病理切片扫描并存储在计算机中的病理 图像，并通过通道分解获取图像每个像素点在R、G、B三个通道的像素值， 从而获得了图像的数据信息，这些数据信息是基于病理图像的辅助诊断方法 的基础，用到公式如下：

其中I_r(x,y)、I_g(x,y)、I_b(x,y)分别表示有雾图像I(x,y)红绿蓝三个颜色通道。

本发明的技术效果：通过通道分解获取图像每个像素点在R、G、B三个 通道的像素值，从而获得了图像的数据信息，为辅助诊断提供基础。

优选的，在上述的一种跨倍率病理图像特征学习方法中，S2具体步骤包 括：由病理专家筛选适合开发辅助诊断方法的病例，并对病例包含的病理切 片中的病变区域进行标注；根据病理专家的标注，在病理切片中裁取带标签 的子区域图像，组成训练数据集，用集合X＝{I₁,I₂,…,I_K}表示，其中I_k表示数 据集中第k个子区域图像，K表示数据集中图像总数。

优选的，在上述的一种跨倍率病理图像特征学习方法中，在S2中建立所 述CNN模型训练数据集时建立不同倍率的所述CNN模型训练数据集，高倍 率病理图像数据集表示为X_high，低倍率病理图像数据集记为X_low。

本发明的技术效果：建立不同倍率的数字病理数据集，摆脱对高倍率病 理图像的依赖，利用不同倍率的数字病理图像，训练后以满足辅助诊断精度 要求。

优选的，在上述的一种跨倍率病理图像特征学习方法中，在S3中所述学 习网络包括：高倍率特征提取网络、跨倍率特征提取网络、和低倍率特征提 取网络；所述高倍率特征提取网络用于训练过程；所述跨倍率特征提取网络 和所述低倍率特征提取网络用于进行辅助诊断；其中具体步骤包括：

S31：在高倍率病理图像数据集中训练高倍率特征提取网络；

S32：利用生成对抗网络训练跨倍率特征提取网络；

S33：在低倍率病理图像数据集训练低倍率特征提取网络。

本发明的技术效果：训练CNN模型包括对高倍率特征提取网络、跨倍率 特征提取网络和低倍率特征提取网络的训练，通过学习能够得到依靠低分倍 率图像提取出依靠高倍率病理图像提取高质量病理图像特征。

优选的，在上述的一种跨倍率病理图像特征学习方法中，S31具体步骤包 括：利用高倍率数据集X_high训练基于CNN的高倍率病理特征提取模，在高倍 率特征提取网络末端添加预测层，添加预测层的高倍率特征提取网络是一个 标准的CNN图像分类模型，通过建立预测层和样本标签间建立交叉熵损失函 数，利用基于梯度下降法的优化算法(如SGD，SGDM，Adam等)进行迭代 训练，直至模型收敛或达到满意效果。将训练完成后的模型记为F_high；摘除预 测层后，得到高倍率特征提取网络，用于提取所述高质量病理图像特征，在高倍率数据集X_high上提取的高质量病理图像特征的过程由以下公式表示：

A_high＝F_high(X_high)，

其中，A_high为在数据集X_high提取的高质量病理图像特征，提取后供下述步 骤使用。

需要了解的是：生成对抗网络(generative adversarial network，GAN) 是近年兴起的一种产生式模型，GAN由一个生成器G(z)和一个判别器D(x) 组成，生成器G(z)负责从噪声z中生成“伪造样本”x’，判别器D(x)用于对 真实样本x和G生成的伪造样本x’进行辨别，交替训练G(z)和D(x)，可使 G(z)生成的样本不断接近真实样本，同时不断提高D(x)判别伪造本和真实样 本的能力，最终获得能够生成与真实样本分布几乎一致的样本生成器G(z)。

优选的，在上述的一种跨倍率病理图像特征学习方法中，S32具体步骤包 括：将跨倍率特征提取网络作为生成器G，并使用低倍率病理图像代替随机 噪声作为生成器G的输入，判别器D采用生成对抗网络模型中判别器，包括 但不限于CGAN，ACGAN，BEGAN等方法中介绍的判别器；利用生成对 抗模型的训练方法完成训练，推荐使用BEGAN模型，BEGAN模型的判别器 为自编码网络，使用重建误差构建目标函数，这使生成器G输出的特征更专 注于图像内容的描述。，训练后得到生成器G，即跨倍率特征提取网络，使 用跨倍率特征提取网络提取从低倍率病理图像提取的特征即为所述跨倍率特 征，用公式表示为：

A_sr＝G(X_low)

其中A_sr表示跨倍率特征，提取A_sr供以下步骤使用。

优选的，在上述的一种跨倍率病理图像特征学习方法中，S33具体步骤包 括：建立低倍率特征提取网络，用F_low表示，用F_low提取低倍率特征可用如下公 式表示：

A_low＝F_low(X_low)，

其中A_low表示网络C输出的低倍率特征；将跨倍率特征提取网络和低倍率 特征提取网络在特征层以级联的方式进行合并，得到最终特征提取网络F_final； 利用图像标签对低倍率特征提取网络进行训练，在最终特征提取网络F_final末端 添加预测层，训练方法与CNN常规训练方法相同；训练后利用最终特征提取 网络F_final提取病理图像特征公式表示为：

A_final＝F_final(X_low)。

本发明的技术效果：最终特征提取网络F_final融合了跨倍率特征，与F_low相 比，有更好的特征提取能力，理想情况下能有提取与高倍率特征提取网络F_high性能相当的特征。同时，F_final在预测时仅依靠低倍率病理图像，切片仅需在低 倍率进行扫描就可以进行辅助诊断，且依靠低倍率病理图像的特征提取网络 F_final计算量远小于依靠高倍率病理图像特征提取网络F_high。

优选的，在上述的一种跨倍率病理图像特征学习方法中，S4具体步骤包 括：将提取病理图像特征A_final看作病理图像特征，即可开发后续的基于病理图 像的辅助诊断方法，提取病理图像特征A_final用于但不限于病理图像分类、分割、 检索，以及病理全切片图像中病变区域检测等辅助诊断方法。

本发明的技术效果：利用所提特征进行病理图像辅助诊断，提高了辅助 诊断的精度要求。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种跨 倍率病理图像特征学习方法，先利用切片扫描仪将病理切片扫描到电子计算 中，将图像在RGB颜色空间中进行表示；然后建立不同倍率的CNN模型训 练数据集；其次建立跨分辨率病理图像特征的学习网络结构；再次训练CNN 模型；最后使用所提特征进行病理图像辅助诊断。其中，将跨倍率特征提取 网络和低倍率特征提取网络在特征层以级联的方式进行合并，得到最终特征 提取网络F_final；最终特征提取网络F_final融合了跨倍率特征，与F_low相比，有更好的特征提取能力，理想情况下能有提取与高倍率特征提取网络F_high性能相当的 特征。同时，F_final在预测时仅依靠低倍率病理图像，切片仅需在低倍率进行扫 描就可以进行辅助诊断，且依靠低倍率病理图像的特征提取网络F_final计算量远 小于依靠高倍率病理图像特征提取网络F_high。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的流程图；

图2附图为本发明的训练CNN模型示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种跨倍率病理图像特征学习方法，不仅摆脱对高 倍率病理图像的依赖，又不增加CNN计算量，且能满足辅助诊断精度。

实施例

请参阅附图1-2为本发明提供了一种跨倍率病理图像特征学习方法，具体 包括以下步骤：

S1：用切片扫描仪将病理切片扫描到电子计算中，将病理图像在RGB颜色空 间中进行表示，得到RGB病理图像；

S2：利用所述RGB病理图像，建立CNN模型训练数据集；

S3：建立跨分辨率病理图像特征的学习网络结构，对所述CNN模型训练数据 集进行训练，得到病理图像特征；

S4：利用所述病理图像特征进行病理图像辅助诊断。

为了进一步优化上述技术方案，在S1中具体步骤包括：数字病理切片是 由切片扫描仪将病理切片扫描并存储在计算机中的病理图像，并通过通道分 解获取图像每个像素点在R、G、B三个通道的像素值，从而获得了图像的数 据信息，这些数据信息是基于病理图像的辅助诊断方法的基础，用到公式如 下：

其中I_r(x,y)、I_g(x,y)、I_b(x,y)分别表示有雾图像I(x,y)红绿蓝三个颜色通道。

为了进一步优化上述技术方案，在S2中具体步骤包括：由病理专家筛选 适合开发辅助诊断方法的病例，并对病例包含的病理切片中的病变区域进行 标注；根据病理专家的标注，在病理切片中裁取带标签的子区域图像，组成 训练数据集，用集合X＝{I₁,I₂,…,I_K}表示，其中I_k表示数据集中第k个子区域 图像，K表示数据集中图像总数。

为了进一步优化上述技术方案，在S3中所述学习网络结构包括：高倍率 特征提取网络(网络A)、跨倍率特征提取网络(网络B)、和低倍率特征提 取网络(网络C)；其中，所述高倍率特征提取网络用于训练过程；所述跨 倍率特征提取网络和所述低倍率特征提取网络用于使用模型进行辅助诊断。

为了进一步优化上述技术方案，在S3中具体步骤包括：

S31：在高倍率病理图像数据集中训练高倍率特征提取网络；

S32：利用生成对抗网络训练跨倍率特征提取网络；

S33：在低倍率病理图像数据集训练低倍率特征提取网络。

为了进一步优化上述技术方案，如图2(a)所示，在S31中具体步骤包 括：利用高倍率数据集X_high训练基于CNN的高倍率病理特征提取模，在高倍 率特征提取网络末端添加预测层，添加预测层的高倍率特征提取网络是一个 标准的CNN图像分类模型，通过建立预测层和样本标签间建立交叉熵损失函 数，利用基于梯度下降法的优化算法(如SGD，SGDM，Adam等)进行迭代 训练，直至模型收敛或达到满意效果；将训练完成后的模型记为F_high；摘除预 测层后，得到高倍率特征提取网络，用于提取所述高质量病理图像特征，在 高倍率数据集X_high上提取的高质量病理图像特征的过程由以下公式表示：

A_high＝F_high(X_high)，

其中，A_high为在数据集X_high提取的高质量病理图像特征，提取后供下述步 骤使用。

为了进一步优化上述技术方案，如图2(b)所示，在S32中具体步骤包 括：将跨倍率特征提取网络作为生成器G，并使用低倍率病理图像代替随机 噪声作为生成器G的输入，判别器D可采用生成对抗网络模型中判别器，包 括但不限于CGAN，ACGAN，BEGAN等方法中介绍的判别器；利用生成 对抗模型的训练参考所选判别器类型相应方法，训练后得到生成器G，即跨 倍率特征提取网络，使用跨倍率特征提取网络提取从低倍率病理图像提取的 特征即为所述跨倍率特征，用公式表示为：

A_sr＝G(X_low)

其中A_sr表示跨倍率特征，提取A_sr供以下步骤使用。

为了进一步优化上述技术方案，如图2(c)所示，在S33中具体步骤包 括：建立低倍率特征提取网络，用F_low表示，用F_low提取低倍率特征可用如下公 式表示：

A_low＝F_low(X_low)，

其中A_low表示网络C输出的低倍率特征；将跨倍率特征提取网络和低倍率 特征提取网络在特征层以级联的方式进行合并，得到最终特征提取网络F_final； 利用图像标签对低倍率特征提取网络进行训练，在最终特征提取网络F_final末端 添加预测层，训练方法与CNN常规训练方法相同；训练后利用最终特征提取 网络F_final提取病理图像特征公式表示为：

A_final＝F_final(X_low)。

为了进一步优化上述技术方案，在S4中具体步骤包括：将提取病理图像 特征A_final看作病理图像特征，即可开发后续的基于病理图像的辅助诊断方法， 提取病理图像特征A_final用于但不限于病理图像分类、分割、检索，以及病理全 切片图像中病变区域检测辅助诊断方法。

应用例

该方法在乳腺淋巴转移癌变图像上进行验证，将20倍数字病理切片中采 集病理图像建立的数据集作为高倍率数据集X_high，将10倍数字病理切片中采 集病理图像建立的数据集作为低倍率数据集X_low，以“图像是否包含癌变区域” 这一分类问题的分类精度作为指标，对一张数字病理全切片图像(20倍下约 50000×50000像素)进行分析的平均时间作为计算复杂度指标，结果如表1 所示。

表1特征提取网络性能对比

综上，最终的特征提取网络F_final能够在保证辅助诊断精度的基础上，有效 的缩短辅助诊断时间。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述 的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种跨倍率病理图像特征学习方法，其特征在于，具体包括以下步骤：

S1：用切片扫描仪将病理切片扫描到电子计算中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；

S2：利用所述RGB病理图像，建立CNN模型训练数据集；

S3：建立跨分辨率病理图像特征的学习网络结构，对所述CNN模型训练数据集进行训练，得到病理图像特征；

S4：利用所述病理图像特征进行病理图像辅助诊断。

2.根据权利要求1所述一种跨倍率病理图像特征学习方法，其特征在于，在S1中具体步骤包括：数字病理切片是由切片扫描仪将病理切片扫描并存储在计算机中的病理图像，并通过通道分解获取图像每个像素点在R、G、B三个通道的像素值，获得RGB病理图像的数据信息，用到公式如下：

其中I_r(x,y)、I_g(x,y)、I_b(x,y)分别表示有雾图像I(x,y)红绿蓝三个颜色通道。

3.根据权利要求1所述一种跨倍率病理图像特征学习方法，其特征在于，在S2中具体步骤包括：由病理专家筛选适合开发辅助诊断方法的病例，并对病例包含的病理切片中的病变区域进行人工标注，在病理切片中勾画出病变区域；根据病理专家的标注，在病理切片中裁取带标签的子区域图像，组成训练数据集，用集合X＝{I₁,I₂,…,I_K}表示，其中I_k表示数据集中第k个子区域图像，K表示数据集中图像总数。

4.根据权利要求1所述一种跨倍率病理图像特征学习方法，其特征在于，在S2中建立所述CNN模型训练数据集时建立不同倍率的所述CNN模型训练数据集，高倍率病理图像数据集表示为X_high，低倍率病理图像数据集记为X_low。

5.根据权利要求1所述一种跨倍率病理图像特征学习方法，其特征在于，在S3中所述学习网络包括：高倍率特征提取网络、跨倍率特征提取网络、和低倍率特征提取网络；所述高倍率特征提取网络用于训练过程；所述跨倍率特征提取网络和所述低倍率特征提取网络用于进行辅助诊断；其中具体步骤包括：

S31：在高倍率病理图像数据集中训练高倍率特征提取网络；

S32：利用生成对抗网络训练跨倍率特征提取网络；

S33：在低倍率病理图像数据集训练低倍率特征提取网络。

6.根据权利要求5所述一种跨倍率病理图像特征学习方法，其特征在于，在S31中具体步骤包括：利用高倍率数据集X_high训练基于CNN的高倍率病理特征提取模，在高倍率特征提取网络末端添加预测层，通过建立预测层和样本标签间建立交叉熵损失函数，利用基于梯度下降法的优化算法(如SGD，SGDM，Adam等)进行迭代训练，直至模型收敛或达到满意效果；将训练完成后的模型记为F_high；摘除预测层后，得到高倍率特征提取网络，提取所述高质量病理图像特征，其中在高倍率数据集X_high上提取的高质量病理图像特征的过程由以下公式表示：

A_high＝F_high(X_high)，

其中，A_high为在数据集X_high提取的高质量病理图像特征，提取后供下述步骤使用。

7.根据权利要求5所述一种跨倍率病理图像特征学习方法，其特征在于，在S32中具体步骤包括：将跨倍率特征提取网络作为生成器G，并使用低倍率病理图像代替随机噪声作为生成器G的输入，判别器D采用生成对抗网络模型中判别器；利用生成对抗模型的训练方法完成训练，推荐使用BEGAN模型，BEGAN模型的判别器为自编码网络，使用重建误差构建目标函数；训练后得到跨倍率特征提取网络，使用所述跨倍率特征提取网络提取从低倍率病理图像提取的特征为所述跨倍率特征，用公式表示为：

A_sr＝G(X_low)

其中A_sr表示跨倍率特征，提取A_sr供以下步骤使用。

8.根据权利要求5所述一种跨倍率病理图像特征学习方法，其特征在于，在S33中具体步骤包括：建立低倍率特征提取网络，用F_low表示，用F_low提取低倍率特征可用如下公式表示：

A_low＝F_low(X_low)，

其中A_low表示低倍率特征提取网络输出的低倍率特征；将跨倍率特征提取网络和低倍率特征提取网络在特征层以级联的方式进行合并，得到最终特征提取网络F_final；利用图像标签对低倍率特征提取网络进行训练，在最终特征提取网络F_final末端添加预测层，训练方法与CNN常规训练方法相同；训练后利用最终特征提取网络F_final提取病理图像特征公式表示为：

A_final＝F_final(X_low)。

9.根据权利要求8所述一种跨倍率病理图像特征学习方法，其特征在于，在S33中，训练低倍率特征提取网络时，锁定跨倍率特征提取网络的参数。

10.根据权利要求8所述一种跨倍率病理图像特征学习方法，其特征在于，在S4中：将提取病理图像特征A_final作为病理图像特征，提取病理图像特征A_final用于但不限于病理图像分类、分割、检索，以及病理全切片图像中病变区域检测辅助诊断方法。