CN113642518A - 基于迁移学习的her2病理图像细胞膜着色完整性判别方法 - Google Patents

Abstract

本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，首先经图像筛选、染色分离和膜着色区域划分，由专家人工划分出包裹完整和包裹不完整膜染色的图像数据集，作为Inception‑V3模型训练的输入数据集；在特征提取步骤中，首先训练出Inception‑V3模型，再通过迁移学习对Inception‑V3模型进一步训练，得到神经网络的新分类模型。本发明的her2病理图像细胞膜着色完整性判别方法，通过迁移学习，可以在短时间内使用少量训练数据训练出效果较好的神经网络模型，针对不同个体可达到92%以上的正确率，为医生进行乳腺癌her2阳性状态判断提供了有效帮助。

Description

基于迁移学习的her2病理图像细胞膜着色完整性判别方法

技术领域

本发明涉及一种her2病理图像细胞膜着色完整性判别方法，更具体的说，尤其涉及一种基于迁移学习的her2病理图像细胞膜着色完整性判别方法。

背景技术

Her2是目前公认的一个乳腺癌重要的预后/预测因子，至今为止已有国外数百篇文献研究Her2与乳腺癌的关系，众多文献报告指出Her2扩增与患者预后差相关。

Her2阳性状态的常用检测方法为免疫组化(IHC)，检测Her2蛋白表达，共分为四种染色形态：评分0为完全没有染色或是肿瘤细胞中少于10％肿瘤细胞有细胞膜染色；评分1+为大于10％的肿瘤细胞有呈现清淡地/稍微地并且是不完整的细胞膜染色；2+为大于10％的肿瘤细胞有呈现轻度至中度的完整细胞膜染色；3+为大于10％的肿瘤细胞有呈现强度的完整的细胞膜染色。

其阳性状态指通过判断膜染色的深浅、细胞膜着色包裹的完整性以及完整包裹的膜染色的面积占癌巢的总面积三个方面进行综合判断的。

医生进行阳性状态判断时，通过显微镜放大切片的某一区域，粗略估计当前镜前完整膜染色的占比，再挪动到下一个区域观察并估计，总共观察5个左右的区域，从而粗滤判断整个切片的阳性状态。这种方式虽简单，但是费时费力，准确度也存在很大的误差。

随着医学成像设备的飞速发展和普及应用，自然图像分析技术的飞速发展，基于机器学习的分析技术也成为解决医学图像分析任务的主要研究方向。在真实的应用中，很难收集到大量的标注病理图片的数据，即使可以收集到，也需要花费大量人力物力，要训练一个复杂的深度学习模型需要几天甚至几周的时间。因此，有必要设计一种新的基于迁移学习的病理检测方法，以解决上述技术问题。

发明内容

本发明为了克服上述技术问题的缺点，提供了一种基于迁移学习的her2病理图像细胞膜着色完整性判别方法。

本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，其特征在于：包括图像预处理步骤、特征提取步骤和分类器分类步骤，图像预处理步骤对输入的原始病理图像依次进行滤波、颜色空间转换、提取包含有效信息的病理癌巢包络处理，以将原始病理图像整理成所需的输入数据；特征提取模块定义所有需要从训练好的Inception-V3模型加载的参数，参数构成her2病理图像的特征向量；分类器分类步骤首先使用her2病理图像数据重新训练全连接层的参数，得到一个新分类神经网络模型，之后，利用训练好的新分类模型对待分类病理图像进行分类，得到每张her2病理图像细胞膜着色完整性判别结果。

本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，所述的图像预处理步骤通过以下步骤来实现：

a-1).获取原始病理图像，获取若干个独立个体的乳腺癌Her2病理切片经扫描后，得到的若干尺寸相同的数字化病理图像，作为原始病理图像；

a-2).图像筛选，将步骤a-1)中获取的原始病理图像中完全空白以及空白区域占50％以上的图像筛除，留下包含有至少50％以上病理组织的图像；

a-3).染色分离，采用染色分离技术，将步骤a-2)中留下的病理图像分为基于H染色剂的细胞核染色图像以及基于DAB显色剂的细胞膜染色图像；

a-4).获取膜着色区域，将步骤a-3)中获取的基于DAB显色剂的细胞膜染色图像，划分为G通道≤220的细胞膜染色图像和G通道＞220的细胞膜染色图像；对于G通道≤220的细胞膜染色图像，提取图像块中棕色或深棕色细胞膜染色区域，对于G通道＞220的细胞膜染色图像，利用图像的连通性，获得每个图像中若干细胞膜染色区域；

a-5).专家人工分类，采用专家人工分类的方式，将步骤a-4)中基于DAB显色剂的细胞膜染色图像，划分为包裹完整膜染色区域的图像数据集和包裹不完整膜染色的图像数据集，分别记为Full图像数据集和UnFull图像数据集。

本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，所述的特征提取步骤通过以下步骤来实现：

b-1).数据分类，采用步骤a-5)获取的Full图像数据集和UnFull图像数据集作为输入数据集，并将输入数据集划分为训练数据集、验证数据集和测试数据集，其中训练数据集占总图像数据量的90％，验证集和测试数据集占总图像数据量的10％；

b-2).格式转化，将步骤b-1)中的jpg格式的图像转化为Inception-V3模型需要的299*299*3的数字矩阵，并通过numpy的格式保存；

b-3).Inception-V3模型训练，利用训练数据集、验证数据集和测试数据集，通过ImageNet训练出Inception-V3模型；

b-4).迁移学习，通过以下步骤来实现：

b-4-1).记载训练好的Inception-V3模型，读取其中的瓶颈层、输入层张量名称，将瓶颈层复制到模型网络的前45层，其余的层随机初始化；由于基于癌巢的膜着色区域数据集很小，而参数个数很多，在训练的过程中，为了防止过拟合，将瓶颈层冻结，不改变其值；

b-4-2).复用卷积池化层，生产图像特征向量，在InceptionV3模型中，将瓶颈层的输出节点向量作为her2病理图像的特征向量，利用InceptionV3模型训练好的神经网络对her2图像进行特征提取，然后再将提取到的特征向量作为输入来训练一个新的分类器模块；

b-4-3).分类层神经元数为2，使用softmax激活函数；输出层先用GlobalAveragePooling2D函数将8*8*2048的输出转换成1*2048的张量；全连接层的节点数为1024，全连接层中使用的激活函数为RELU，输出层的节点数为2，输出层即分类器模块，用softmax激活函数；当正确率超过95％时终止训练，此时得到权值和偏置项确定的神经网络。

本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，所述的分类器分类步骤为：通过步骤b-4)迁移学习的Inception-V3模型得到一个输入病理图像数据的特征向量，经过分类器分类，得到该输入图像判别为各个级别的概率，并以最高概率对应的级别作为该图像的判别级别；

所使用的分类器为softmax，为一个二分类的分类器，分别用1、0表示膜染色区域包络完整和膜染色区域包络不完整；分类器的计算公式如公式(1)，

式中，j代表类别，P₀、P₁分别表示膜染色区域包络不完整和包络完整的概率，T为类别总数，T值为2，α_j表示输入特征向量的第j个值；

当输入的一个病理图像数据经过softmax输出一个2×1的向量时，取该向量中值最大的那个数对对应的index作为这个输入数据的预测标签，即所属类别。

本发明的有益效果是：本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，首先经图像预处理步骤对原始病理图像进行筛选、染色分离和膜着色区域划分，由专家人工划分出包裹完整和包裹不完整膜染色的图像数据集，形成Full和UnFull图像数据集，作为Inception-V3模型训练的输入数据集；在特征提取步骤中，首先训练出Inception-V3模型，再通过迁移学习对Inception-V3模型进一步训练，得到神经网络的新分类模型，然后利用新分类模型对待分类病理图像进行分类。本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，通过迁移学习，可以在短时间内使用少量训练数据训练出效果较好的神经网络模型，针对不同个体可达到92％以上的正确率，为医生进行乳腺癌her2阳性状态判断提供了有效帮助。

附图说明

图1为本发明为原始病理图像；

图2为图1中的原始图像经染色分离后获取的基于DAB显色剂的细胞膜着色图像；

图3为图2中的基于DAB显色剂的细胞膜着色图像的G通道图像；

图4为图3中的G通道图像提取满足G≤220的像素点图像；

图5、图6和图7均为基于癌巢的膜着色区域图像；

图8为与图1中相同的原始病理图像；

图9为图8中的原始病理图像经步骤a-1)至步骤a-4)处理后获取的细胞膜染色区域图像；

图10为分类后的包裹完整的膜着色区域图像；

图11为分类后的包裹不完整的膜着色区域图像。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，包括图像预处理步骤、特征提取步骤和分类器分类步骤，图像预处理步骤对输入的原始病理图像依次进行滤波、颜色空间转换、提取包含有效信息的病理癌巢包络处理，以将原始病理图像整理成所需的输入数据；特征提取模块定义所有需要从训练好的Inception-V3模型加载的参数，参数构成her2病理图像的特征向量；分类器分类步骤首先使用her2病理图像数据重新训练全连接层的参数，得到一个新分类神经网络模型，之后，利用训练好的新分类模型对待分类病理图像进行分类，得到每张her2病理图像细胞膜着色完整性判别结果。

本发明所使用的数据为从医院病理科采集的经数字化病理图像扫描仪扫描的乳腺癌Her2病理图像。一个乳腺癌Her2病理切片经该数字化扫描仪扫描后，得到若干个尺寸相同的图像块，这些图像块可以拼为一个完整的乳腺癌Her2病理图像。本发明的初始数据即为若干个独立个体的乳腺癌Her2病理切片经扫描后获取的若干数字化病理图像块。

由于Her2的阳性表达之一是棕色或深棕色的细胞膜染色，而且细胞膜染色是基于癌巢分布的，即对于完整一个乳腺癌Her2病理图像来说，只有部分区域是基于癌巢的细胞膜染色区域，这些区域将作为本发明训练模型的数据集。

图像预处理步骤通过以下步骤来实现：

a-1).获取原始病理图像，获取若干个独立个体的乳腺癌Her2病理切片经扫描后，得到的若干尺寸相同的数字化病理图像，作为原始病理图像；

a-2).图像筛选，将步骤a-1)中获取的原始病理图像中完全空白以及空白区域占50％以上的图像筛除，留下包含有至少50％以上病理组织的图像；

a-3).染色分离，采用染色分离技术，将步骤a-2)中留下的病理图像分为基于H染色剂的细胞核染色图像以及基于DAB显色剂的细胞膜染色图像；

a-4).获取膜着色区域，将步骤a-3)中获取的基于DAB显色剂的细胞膜染色图像，划分为G通道≤220的细胞膜染色图像和G通道＞220的细胞膜染色图像；对于G通道≤220的细胞膜染色图像，提取图像块中棕色或深棕色细胞膜染色区域，对于G通道＞220的细胞膜染色图像，利用图像的连通性，获得每个图像中若干细胞膜染色区域；

a-5).专家人工分类，采用专家人工分类的方式，将步骤a-4)中基于DAB显色剂的细胞膜染色图像，划分为包裹完整膜染色区域的图像数据集和包裹不完整膜染色的图像数据集，分别记为Full图像数据集和UnFull图像数据集。

如图1所示，给出了本发明为原始病理图像，由于图像转化为了灰度值图像，没转化前图像中是含有棕色或深棕色区域的。如图2所示，给出了图1中的原始图像经染色分离后获取的基于DAB显色剂的细胞膜着色图像；如图3所示，给出了图2中的基于DAB显色剂的细胞膜着色图像的G通道图像，图4给出了图3中的G通道图像提取满足G≤220的像素点图像，G≤220的像素点为图像中的白色区域。

如图5、图6和图7所示，均给出基于癌巢的膜着色区域图像，图8给出了与图1中相同的原始病理图像，图9给出了图8中的原始病理图像经步骤a-1)至步骤a-4)处理后获取的细胞膜染色区域图像，可见，经步骤a-1)至步骤a-4)处理后，可精准地给出细胞膜染色区域，为后续的专家人工分类提供了参考依据，更有利于专家对细胞膜染色区域进行分类。图10给出了分类后的包裹完整的膜着色区域图像，图11给出了分类后的包裹不完整的膜着色区域图像。

特征提取步骤通过以下步骤来实现：

b-1).数据分类，采用步骤a-5)获取的Full图像数据集和UnFull图像数据集作为输入数据集，并将输入数据集划分为训练数据集、验证数据集和测试数据集，其中训练数据集占总图像数据量的90％，验证集和测试数据集占总图像数据量的10％；

b-2).格式转化，将步骤b-1)中的jpg格式的图像转化为Inception-V3模型需要的299*299*3的数字矩阵，并通过numpy的格式保存；

b-3).Inception-V3模型训练，利用训练数据集、验证数据集和测试数据集，通过ImageNet训练出Inception-V3模型；

b-4).迁移学习，通过以下步骤来实现：

b-4-1).记载训练好的Inception-V3模型，读取其中的瓶颈层、输入层张量名称，将瓶颈层复制到模型网络的前45层，其余的层随机初始化；由于基于癌巢的膜着色区域数据集很小，而参数个数很多，在训练的过程中，为了防止过拟合，将瓶颈层冻结，不改变其值；

b-4-2).复用卷积池化层，生产图像特征向量，在InceptionV3模型中，将瓶颈层的输出节点向量作为her2病理图像的特征向量，利用InceptionV3模型训练好的神经网络对her2图像进行特征提取，然后再将提取到的特征向量作为输入来训练一个新的分类器模块；

b-4-3).分类层神经元数为2，使用softmax激活函数；输出层先用GlobalAveragePooling2D函数将8*8*2048的输出转换成1*2048的张量；全连接层的节点数为1024，全连接层中使用的激活函数为RELU，输出层的节点数为2，输出层即分类器模块，用softmax激活函数；当正确率超过95％时终止训练，此时得到权值和偏置项确定的神经网络。

为了测试模型的泛化性，本发明首先将数据按个体分为两部分，一部分作为训练数据和验证数据，另一部分作为测试数据，其中测试数据和验证数据均占总图像数据量的10％。将图片从原始的jpg格式转化为inception-v3模型需要的299*299*3的数字矩阵，通过numpy的格式保存，使用了flow_from_directory方法来按批次从硬盘读取图像数据，并实时进行图像增强。

迁移学习是一种学习的方式，一种基于以前学习的基础上继续学习的方式。在通过ImageNet训练好的InceptionV3模型中，将瓶颈层的输出再通过一个全连接层可以很好的区分出1000种类别的图像，InceptionV3有2100万个参数，其在Imagenet上的top-5个错误是3.46％。基于特征表示的迁移学习方法可以将源领域和目标领域的实例映射到一个共同的子空间，从而减少原领域和目标领域训练数据在特征分布上的差异且不破坏数据的可分性。因此，利用特征变换后的源领域和目标领域样本训练模型实质上相当于通过增加训练数据来提高模型的泛化能力。

InceptionV3用于初步提取图像的特征，总共有46层，由5个卷积层、3个池化层、1个全连接层以及11个Inception模块组成。通过增加网络深度和宽度，来提高CNN网络性能，尽量避免提取的图像特征损失过多。这11个Inception模块通过并联的方式组成，每个模块中还包含了很多个Inception Module，由多个分支所组成。

Inception module本身如同大网格中的小网格，其结构可以反复堆叠一起形成大大网格。Inception模块使用不同尺寸的过滤器处理输入数据，使用全0填充且步长为1，保证前向传播所得结果矩阵的长和宽与输入矩阵一致。这样经过不同过滤器处理的结果矩阵可以拼接成一个更深的矩阵。

InceptionV3模型主要有三个特点：第一使用不同大小的卷积核，能够提取不同特征，对特征进行融合；第二对不同大小的卷积核使用不同的padding,从而使输出的特征图大小相同，便于特征的融合；第三1X1的卷积用于特征图不同通道的融合。其核心思想在于增加网络深度和宽度来提高CNN网络性能，尽量避免提取的图像特征损失过多。

通过设置LearningRateScheduler:用来动态调整学习率，应对随着训练轮数的增加所需步长逐渐缩小的情况。其输入为一个函数，该函数的输入为当前epoch数，返回为对应的学习率。此外，还设置了ReduceLROnPlateau:用来在训练停滞不前的时候动态降低学习率避免过高学习率在最优解附近震荡的现象。所选用的优化器optimizer＝′adam′，损失函数采用loss＝′categorical_crossentropy′。在训练过程中采用随机梯度下降法计算梯度，当正确率超过95％时终止训练，此时得到权值和偏置项确定的神经网络。

分类器分类步骤为：通过步骤b-4)迁移学习的Inception-V3模型得到一个输入病理图像数据的特征向量，经过分类器分类，得到该输入图像判别为各个级别的概率，并以最高概率对应的级别作为该图像的判别级别；

所使用的分类器为softmax，为一个二分类的分类器，分别用1、0表示膜染色区域包络完整和膜染色区域包络不完整；分类器的计算公式如公式(1)，

式中，j代表类别，P₀、P₁分别表示膜染色区域包络不完整和包络完整的概率，T为类别总数，T值为2，α_j表示输入特征向量的第j个值；

当输入的一个病理图像数据经过softmax输出一个2×1的向量时，取该向量中值最大的那个数对对应的index作为这个输入数据的预测标签，即所属类别。

可见，本发明的her2病理图像细胞膜着色完整性判别方法，通过迁移学习，可以在短时间内使用少量训练数据训练出效果较好的神经网络模型，针对不同个体可达到92％以上的正确率，为医生进行乳腺癌her2阳性状态判断提供了有效帮助。

Claims (4)

1.一种基于迁移学习的her2病理图像细胞膜着色完整性判别方法，其特征在于：包括图像预处理步骤、特征提取步骤和分类器分类步骤，图像预处理步骤对输入的原始病理图像依次进行滤波、颜色空间转换、提取包含有效信息的病理癌巢包络处理，以将原始病理图像整理成所需的输入数据；特征提取模块定义所有需要从训练好的Inception-V3模型加载的参数，参数构成her2病理图像的特征向量；分类器分类步骤首先使用her2病理图像数据重新训练全连接层的参数，得到一个新分类神经网络模型，之后，利用训练好的新分类模型对待分类病理图像进行分类，得到每张her2病理图像细胞膜着色完整性判别结果。

2.根据权利要求1所述的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，其特征在于，所述的图像预处理步骤通过以下步骤来实现：

a-1).获取原始病理图像，获取若干个独立个体的乳腺癌Her2病理切片经扫描后，得到的若干尺寸相同的数字化病理图像，作为原始病理图像；

a-2).图像筛选，将步骤a-1)中获取的原始病理图像中完全空白以及空白区域占50％以上的图像筛除，留下包含有至少50％以上病理组织的图像；

a-3).染色分离，采用染色分离技术，将步骤a-2)中留下的病理图像分为基于H染色剂的细胞核染色图像以及基于DAB显色剂的细胞膜染色图像；

a-4).获取膜着色区域，将步骤a-3)中获取的基于DAB显色剂的细胞膜染色图像，划分为G通道≤220的细胞膜染色图像和G通道＞220的细胞膜染色图像；对于G通道≤220的细胞膜染色图像，提取图像块中棕色或深棕色细胞膜染色区域，对于G通道＞220的细胞膜染色图像，利用图像的连通性，获得每个图像中若干细胞膜染色区域；

a-5).专家人工分类，采用专家人工分类的方式，将步骤a-4)中基于DAB显色剂的细胞膜染色图像，划分为包裹完整膜染色区域的图像数据集和包裹不完整膜染色的图像数据集，分别记为Full图像数据集和UnFull图像数据集。

3.根据权利要求2所述的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，其特征在于，所述的特征提取步骤通过以下步骤来实现：

b-1).数据分类，采用步骤a-5)获取的Full图像数据集和UnFull图像数据集作为输入数据集，并将输入数据集划分为训练数据集、验证数据集和测试数据集，其中训练数据集占总图像数据量的90％，验证集和测试数据集占总图像数据量的10％；

b-2).格式转化，将步骤b-1)中的jpg格式的图像转化为Inception-V3模型需要的299*299*3的数字矩阵，并通过numpy的格式保存；

b-3).Inception-V3模型训练，利用训练数据集、验证数据集和测试数据集，通过ImageNet训练出Inception-V3模型；

b-4).迁移学习，通过以下步骤来实现：

b-4-1).记载训练好的Inception-V3模型，读取其中的瓶颈层、输入层张量名称，将瓶颈层复制到模型网络的前45层，其余的层随机初始化；由于基于癌巢的膜着色区域数据集很小，而参数个数很多，在训练的过程中，为了防止过拟合，将瓶颈层冻结，不改变其值；

b-4-2).复用卷积池化层，生产图像特征向量，在InceptionV3模型中，将瓶颈层的输出节点向量作为her2病理图像的特征向量，利用InceptionV3模型训练好的神经网络对her2图像进行特征提取，然后再将提取到的特征向量作为输入来训练一个新的分类器模块；

b-4-3).分类层神经元数为2，使用softmax激活函数；输出层先用GlobalAveragePooling2D函数将8*8*2048的输出转换成1*2048的张量；全连接层的节点数为1024，全连接层中使用的激活函数为RELU，输出层的节点数为2，输出层即分类器模块，用softmax激活函数；当正确率超过95％时终止训练，此时得到权值和偏置项确定的神经网络。

4.根据权利要求3所述的基于迁移学习的her2病理图像细胞膜着色完整性判别方法，其特征在于，所述的分类器分类步骤为：通过步骤b-4)迁移学习的Inception-V3模型得到一个输入病理图像数据的特征向量，经过分类器分类，得到该输入图像判别为各个级别的概率，并以最高概率对应的级别作为该图像的判别级别；

所使用的分类器为softmax，为一个二分类的分类器，分别用1、0表示膜染色区域包络完整和膜染色区域包络不完整；分类器的计算公式如公式(1)，

式中，j代表类别，P₀、P₁分别表示膜染色区域包络不完整和包络完整的概率，T为类别总数，T值为2，α_j表示输入特征向量的第j个值；

当输入的一个病理图像数据经过softmax输出一个2×1的向量时，取该向量中值最大的那个数对对应的index作为这个输入数据的预测标签，即所属类别。

Images