CN110633758A - 针对小样本或样本不平衡的癌症区域检测定位的方法 - Google Patents

Abstract

本发明公开了针对小样本或样本不平衡的癌症区域检测定位的方法，通过结合包含癌细胞的组织病理图像的特点，使用加噪、旋转、增加或减少亮度的方法进行数据集增强，扩充了数据集并均衡了训练集标签类型的比重，提高了分类器训练效果。本发明的特征在于以Inception V2网络为基础，针对少样本及样本不平衡的情况，本发明在结合少量已标定的癌变组织图像分块及WSI病理图像进行迭代训练，高准确率地完成WSI图像级别的病理图像癌症区域检测定位，弥补了带标签训练样本过少时，过深的神经网络容易陷入过拟合、局部最优和梯度消失的问题，提高了同等水平下训练结果的准确率及网络的易用性。

Description

针对小样本或样本不平衡的癌症区域检测定位的方法

技术领域

本发明涉及人工智能深度学习技术领域，尤其涉及针对小样本或样本不平衡的癌症区域检测定位的方法。

背景技术

医师和病理专家在研究患者的不同癌症疾病时，通常结合不同的数字图像数据(如本发明使用的WSI病理图像)共同探讨治疗方案。而在人类病理学专家解析病理图像和诊断决策的过程中，病理专家往往需要至少完成几十甚至上百个高倍视野下病例图片的分类及统计工作，整个判断过程耗时耗力，不利于患者的及时诊断治疗，另外通常病理专家会将整个WSI分为较小的图像分块，以便更加仔细地标记处理，实际上人工的处理在任何时候都显得缓慢，并且精度不高。因此计算机技术(如深度学习技术)与医学技术相结合将极大地突破传统人工进行医学图像标记识别低效率低准确率的禁锢，对于神经网络的搭建及训练算法的选取也将影响最终识别标记效果的好坏。

申请号为CN201811407164.0的中国专利文件公开了一种基于深度学习的乳腺癌病理切片中癌症区域的检测方法，该方法为：数据预处理；裁剪样本；数据增强；将样本放入卷积神经网络Inception-Resnet-V2进行训练；当验证集准确率最高时保存模型及参数，训练结束后对模型进行测试；最后输入不同组织图片，并将结果合成一张切片大小形成最终检测结果。该发明使用的是标准数据集，即国际图像分析和识别会议数据库公开的乳腺癌病理切片。其数据集为标定准确数量充足的数据集，但事实上在完成深度学习分类任务时制作一个比重平衡的标准数据集将非常耗时耗力，该发明在面临如本发明针对的数据集偏少的问题时，不使用迭代标记的训练方法将会降低分类器的分类正确率。

申请号为CN201910321615.7的中国专利文件公开了一种基于注意力卷积神经网络的皮肤癌图片识别方法，该方法为：图像预处理及欠采样；建立神经网络及注意力机制；设计注意力卷积神经网络；迁移学习。该方法对数据集进行不均衡采样时使用了欠采样的采样方式，该方法将可能导致数据集变小，数据信息丢失。

申请号为CN201910375228.1的中国专利文件公开了一种由粗到细的视频目标行为识别方法，该方法首先利用姿态估计算法或者视频内标注信息获取人体关键点，裁剪缩放人体不同身体部位。以深度神经网络作为特征提取网络，提取不同部位区域的特征向量。利用提取出的不同部位特征向量，迭代训练分类器，寻找行为的最优粗类别划分。对于粗分类器和每个细粒度分类器，选取不同部位与全局特征向量进行级联。单独训练各个分类器。将粗粒度分类器和细粒度分类器分类结果概率融合，得到整个行为识别最终结果。该发明的迭代训练模型采用卷积神经网络VGG+支持向量机进行最后的多分类问题，虽然增加神经网络的深度将提升网络的性能，但是一味地增加网络的深度会带来两个弊端：即参数过多，在面临本发明针对的问题：数据集较少时，容易导致过拟合，以及层数过深容易导致梯度消失的问题，另外此方法是基于视频内容的而不是基于大型数字图像数据的，因此它侧重于针对性的采集数据、利用级联行为人不同身体部位不同粒度的特征表达，针对性的训练行为分类器，不适用于癌细胞识别检测。Chekkoury等人也提出的一种基于病理图像的由粗到细的分析思路(″Automated malignancy detection in breast histopathologicalimages″，Proc.SPIE Med.Imag.，vol.8315，pp.831515-1-831515-13，2012.)，但这种思路的缺点是需要人手工标记的特征，这些特征无法很好地囊括其他肿瘤类型。

发明内容

本发明提供一种针对小样本或样本不平衡的癌症区域检测定位的方法，癌细胞由正常细胞突变而来，但它任然具有源细胞的某些特性，本发明应用的癌区特点是细胞核分布密集，没有明显的基底特征，结合此特点本发明对数据集采取合理的增强方法，并将训练集样本导入神经网络自动提取深度特征进行训练，使用深度学习方法完成针对少样本及样本不平衡的癌症区域的识别分类任务。预处理时，一般过采样方式会导致训练模型向某样本发生偏移，欠采样方式会导致数据信息丢失，本发明使用加噪、旋转、改变亮度的方法在数据层面增强预训练阶段的数据集，均匀平衡样本比重，并通过迭代训练的方式来强化分类器训练效果。

本发明通过以下技术方案来实现上述目的：

本发明对原始图片数据进行数据预处理，数据预处理主要包括切割、筛选数据和数据集增强，之后使用数据集进行训练以初始化弱分类器，然后使用WSI图像分块进行迭代训练分类器直到模型参数收敛，保证分类准确性，最后对迭代后的分类器进行性能评估，验证其分类准确性。基础算法实现后，利用测试集进行最终检测分类，并将检测结果进行拼接以展示图像级别的检测结果。本发明的针对小样本或样本不平衡的癌症区域检测定位的方法，包括以下步骤：

1)数据预处理；

此步骤中包含两种数据集，一种是带标签的包含癌细胞病理切片图像(记为I类)，一种是无标签的WSI病理图像(记为II类)。由于神经网络输入图像尺寸为224*224，因此本步骤将两种数据图像切割为250*250大小。对切割后的包含较多组织部分的图像分块使用二值化阈值的方法提取组织部分并进行筛选，然后对筛选后的I类图像分块进行数据集增强：包括加噪、旋转、改变亮度，然后I、II类分别建立训练集和测试集。

其中，在加噪阶段，通过使用服从高斯分布的概率密度函数产生随机数，并将随机数与图像原像素值进行相加来添加高斯噪声；通过随机改变图像的一些像素值来添加椒盐噪声，在旋转阶段，根据图像旋转算法对图片样本进行旋转，改变亮度阶段中，对图片样本RBG三通道同时进行线性调整来完成整体的亮度调整。

2)构建神经网络；

本发明采用Inception-V2深度卷积神经网络来完成分类任务。该其在V1的基础上，用3x3的卷积核代替了5x5的卷积核，将有效地减少计算开销。另外，对于深度神经网络而言，增加其深度将有效的提升网络的性能，但是一味地增加网络的深度将会带来两个弊端：第一是参数过多，在训练数据较为缺乏的情况下容易导致过拟合；第二是网络过于冗余，模型计算量大复杂度高，难以应用，同时梯度越往后越容易消失，难以优化。Inception-V2网络共22层，在深度上，因采用在不同深度层增加loss的方法可以避梯度回传消失的现象；原始神经网络所有的卷积操作都由上一层的输出来做，使得计算量巨大，造成特征图很厚的后果，因此在宽度上，Inception-V2将1x1，3x3的卷积层和3x3的池化层组合在一起，降低特征图的厚度并且减少参数的个数。所以Inception-V2在加深加宽网络的同时避免了上述很多传统神经网络的弊端。

为此，本发明采用Inception V2原则构建的神经网络，在实施时，修改其全连接层结构为512*2的全连接层以完成本发明实例的二分类问题。

在模型的最后，使用的损失函数为交叉熵。损失函数的选取常常使用方差损失函数，但是在更新参数的过程中会由于sigmoid函数的性质导致w和b更新很慢，为了克服这一点引入了交叉熵损失函数，从而加快训练过程。

3)初始化弱分类器D；

此步骤首先对分类器D进行初始化。本发明预训练过程为：使用同一组带标签的训练集，提取其深度特征，导入分类器进行多次训练，每一次训练结束后保存模型的偏移和参数，下一次训练时对模型各参数进行微调。由于训练集较少，本步骤预训练后的模型是一个欠拟合的分类器，其分类效果并不理想，需要后续步骤进行强化。

4)迭代训练分类器D；

上一步骤的弱分类器具有初步的分类作用，利用弱分类器进行分类后，数据将被正确或错误地分类，此时将利用下述方式对分类器的各项参数进行不断地调整。

此步骤使用的是迭代训练的方式：使用上一步骤的欠拟合分类器对未知标签II类训练集提取深度特征后进行迭代训练。具体为：第一次迭代后，弱分类器将对II类训练集的病理图像进行预测标记，当下一轮训练时，以上一轮的标记结果为基础对模型进行参数微调，其中判定为非病变图像分块将帮助分类器逐渐收敛并识别真正的判别性(病变)图像分块。这样进行多次训练后，模型最终收敛。本步骤训练的意义在于：在少样本及样本不平衡的情况下，利用欠拟合分类器标记未知标签的数据集并在数据及上进行迭代训练，将有效保证最终的分类效果。

5)评估分类器分类效果；

此步骤使用带标签I类测试集检测最终分类器的分类效果。

6)测试；此步骤将II类测试集导入模型进行检测分类，标记为癌变的图像分块将被高亮显示。

7)细胞核标定；

此步骤对上一步骤中判定为癌细胞组织区域的图像分块使用blob斑点检测算法进行细胞核标定，利于医务人员进行查看。

8)拼接复原；

将原本WSI图像分块按序拼接为一张完整的病理图像，展示最终的癌症区域。其中检测为癌变区域的细胞组织将被高亮显示。

本发明较现有技术相比，具有以下优点及有益效果：

1)使用计算机技术、深度学习算法及医学图像识别处理领域相结合的人工智能方法，充分发挥神经网络强大的自我学习能力，提高区分正确性，解决了传统图像处理识别方式的低准确率问题和人工手动标记病理标签的低效问题。

2)使用数据层面的数据集增强及深度卷积神经网络的迭代训练方法，解决了普通过采样或欠采样平衡数据集带来的过拟合或数据信息丢失的问题，以及少样本及样本不平衡下的神经网络向某一样本发生偏移，准确率低等问题。

3)本发明提出的自动化病理切片癌细胞区域检测定位的方法，结合使用blob斑点检测算法对细胞核进行标定，有助于辅助病理专家及医务人员进行病理诊断，提升诊断效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为预处理的切割和筛选；

图3数据增强效果图；

图4为本发明神经网络模型结构；

图5为训练初始化弱分类器D的损失函数变化曲线；

图6为迭代训练分类器D前九轮的损失函数变化曲线；

图7为Blob斑点检测算法效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

在任一实施例中，如图1所示，本发明的针对小样本或样本不平衡的癌症区域检测定位的方法，具体实施方式包括以下步骤：

步骤一：数据预处理。本发明一共使用两类图像数据，一类为已标定的带标签宫颈癌细胞组织病理图像切片数据，使用其中训练集初始化弱分类器，一类为未标定的宫颈癌WSI病理图像数据，使用其中训练集迭代训练分类器。宫颈癌以鳞癌占绝大多数，因此一类数据含有病变情况为鳞状上皮病变的四类样本：未癌变、一级病变、二级病变、三级病变，但其样本类型比重极不平衡且数量极少，因此采用如下方式进行预处理：

(1)将I、II类图像数据进行进一步切割。如图2所示，将图像切割为大小250x250的分块，以适应神经网络的处理大小来最大程度的减少压缩产生的误差。然后结合使用OSTU算法对图像进行二值化，统计图像样本中组织占比，制定合理阈值进行筛选，以得到包含组织较多的可用样本。

(2)对I类分割后的图像分块进行数据层面的数据集增强。如图3所示，对数据采用添加高斯噪声、椒盐噪声、旋转、增加亮度和减少亮度来增强数据集，调整数据比重。

(3)分别对I、II类图像分块建立训练集和测试集。

步骤二：构建本发明使用的神经网络结构。如图4所示，本发明采用Inception-V2网络模型，去掉其全连接层，后接一层512x2的全连接层来完成二分类任务。

步骤三：预训练，使用训练集I，结合提取的深度特征训练初始化弱分类器D。一共训练100轮，每轮中每次随机从训练集I抽取batch＝32个样本进行训练，当取得的数据总量等于训练集I的样本个数时记为一轮。如图5为预训练损失函数的变化曲线，随着预训练次数的增加，损失函数变化值逐渐降低，但此时模型还未收敛。

步骤四：迭代训练分类器。迭代训练的方式与初始化分类器阶段相同，每次抽取batch＝50的样本数据进行训练，当取得样本总量等于样本总数时记为一轮。模型初始化及迭代训练中样本对应四个标签，但最终模型回归到二分类问题，即三类病变均判断为病变。如图6为迭代20轮的钱前9轮损失函数的变化曲线，有图可见随着迭代次数的增加，损失函数值总体趋于下降，参数趋于收敛。

步骤五：评估。本步骤的评估方法为：使用测试集I中的图像分块测试迭代训练后分类器的分类效果，将测试集I中的图片数据导入模型进行预测，然后根据测试集I中数据的标签衡量检测正确率。

步骤六：测试。本步骤使用测试集II来测试分类器最终的检测标记效果。在这一步骤中，本发明将用于测试的WSI病理图像分块读入模型进行预测，然后对预测为病变的区域改变颜色，高亮显示。

步骤七：细胞核标定。本步骤使用Blob斑点检测算法，对标记为癌细胞组织区域的图像分块进行细胞核检测标定，利于下一步骤后辅助医务人员进行查看和病理诊断。

步骤八：拼接复原。本步骤将原本WSI病理图像的图像分块按序拼接为一张完整的病理图像，展示最终的癌症区域。其中检测为癌变区域的细胞组织将被高亮显示，并辅以细胞核标定。医务人员课通过放大图片查看细节。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (5)

1.针对小样本或样本不平衡的癌症区域检测定位的方法，其特征在于，包括以下步骤：

步骤一：数据预处理；

步骤二：使用Inception-V2模型构建神经网络；

步骤三：初始化弱分类器D：提取带标签样本的深度特征导入神经网络进行预训练形成弱分类器；

步骤四：迭代训练分类器D；使用弱分类器对宫颈癌WSI病理图片分块样本进行迭代训练直至模型收敛；

步骤五：评估分类器分类效果：使用收敛后的模型评估查看分类器分类效果，并对病理图像分块进行癌细胞识别；

步骤六：测试；将II类测试集导入模型进行检测分类，标记为癌变的图像分块将被高亮显示；

步骤七：细胞核标定：对上一步骤中判定为癌细胞组织区域的图像分块使用blob斑点检测算法进行细胞核标定；

步骤八：拼接复原，将病理图像切割后的图像分块集整合拼接为一张完整的宫颈癌WSI病理图像进行展示，其中检测为癌变区域的细胞组织将被高亮显示。

2.如权利要求1所述的针对小样本或样本不平衡的癌症区域检测定位的方法，其特征在于，所述步骤一中，此步骤中包含两种数据集，I类是带标签的包含癌细胞病理切片图像，II类是无标签的WSI病理图像；将两种数据图像切割为250*250大小，对切割后的包含较多组织部分的图像分块使用二值化阈值的方法提取组织部分并进行筛选，然后对筛选后的I类图像分块进行数据集增强，然后I、II类分别建立训练集和测试集；

其中，在加噪阶段，通过使用服从高斯分布的概率密度函数产生随机数，并将随机数与图像原像素值进行相加来添加高斯噪声；通过随机改变图像的一些像素值来添加椒盐噪声，在旋转阶段，根据图像旋转算法对图片样本进行旋转，改变亮度阶段中，对图片样本RBG三通道同时进行线性调整来完成整体的亮度调整。

3.如权利要求1所述的针对小样本或样本不平衡的癌症区域检测定位的方法，其特征在于，所述步骤二中，采用Inception V2原则构建的神经网络，在实施时，修改其全连接层结构为512*2的全连接层；并使用的损失函数为交叉熵，加快训练过程。

4.如权利要求1所述的针对小样本或样本不平衡的癌症区域检测定位的方法，其特征在于，所述步骤三中，首先对分类器D进行初始化。预训练过程为：使用同一组带标签的训练集，提取其深度特征，导入分类器进行多次训练，每一次训练结束后保存模型的偏移和参数，下一次训练时对模型各参数进行微调；由于训练集较少，本步骤预训练后的模型是一个欠拟合的分类器，其分类效果并不理想，需要后续步骤进行强化。

5.如权利要求1所述的针对小样本或样本不平衡的癌症区域检测定位的方法，其特征在于，所述步骤四中，使用的是迭代训练的方式：使用上一步骤的欠拟合分类器对未知标签II类训练集提取深度特征后进行迭代训练；具体为：第一次迭代后，弱分类器将对II类训练集的病理图像进行预测标记，当下一轮训练时，以上一轮的标记结果为基础对模型进行参数微调，其中判定为非病变图像分块将帮助分类器逐渐收敛并识别真正的判别性图像分块；进行多次训练后，模型最终收敛。

Images