CN109191457A - 一种病理图像质量有效性识别方法 - Google Patents

Abstract

本发明涉及一种病理图像质量有效性识别方法，收集病理图像，对病理图像中的成像病理切片的质量进行标注，形成标注信息；根据标注信息获取病理图像中成像质量良好和不良区域，所述成像质量良好区域是指有的区域细胞轮廓形态可见度很清晰，这样的区域就是成像质量好的区域；所述成像质量不良区域是指有些区域很模糊，这些区域就是成像质量不良区域；的两类样本数据，对所述两类样本数据进行训练，得到训练后的二分类器；利用二分类器分析病理图像的数据，得到分析结果图，根据判断规则确定病理图像中成像的病理切片是否符合临床上医生使用的要求。本发明可以大幅减少由于制片问题导致切片来回送读过程中的时间成本，提高制片到诊断的效率。

Description

一种病理图像质量有效性识别方法

技术领域

本发明涉及一种病理图像质量有效性识别方法，属于人工智能技术领域。

背景技术

病理切片分析是由精密仪器切割组织然后经过多个工序制成的用于根据细胞形态和模式判断疾病的一种方法。虽然国家对于病理切片具有很严格的标准，但是在具体医院实施过程中由于医院操作人员的水平参差不齐，工序实施过程中的各种误差导致最终成像的病理切片影像质量参差不齐，甚至有些切片由于工序的问题导致病理科医生无法识别，严重影像病理科医生的工作。

目前，尚没有合适的全自动化病理图像切片成像质量判断工具和方法。

发明内容

本发明的技术解决问题是：克服现有技术的什么不足，提供一种病理图像质量有效性识别方法，提高了病理制作到病理科送读的效率，可以大幅减少由于制片问题导致切片来回送读过程中的时间成本，提高了制片到诊断的效率节约了病人的等待时间。

本发明技术解决方案：一种病理图像质量有效性识别方法，包括以下步骤：

第一步，收集病理图像，对病理图像中的成像病理切片的质量进行标注，形成标注信息；

第二步，根据第一步标注信息获取病理图像中成像质量良好和不良区域，所述成像质量良好区域是指有的区域细胞轮廓形态可见度很清晰，这样的区域就是成像质量好的区域；所述成像质量不良区域是指有些区域很模糊，这些区域就是成像质量不良区域；的两类样本数据，对所述两类样本数据进行训练，得到训练后的二分类器；

第三步，利用第二步的二分类器分析第一步中病理图像的数据，得到分析结果图，根据判断规则确定病理图像中成像的病理切片是否符合临床上医生使用的要求。

所述第二步，二分类器采用深度学习卷积神经网络，所述深度神经网络的模型包括卷积核，全连接层，激活函数，BN(batch normalization)层，池化层；一般一个模块中包括输入上一层的特征经过卷积核，然后经过BN层再经过激活函数，到输入下一层，有些模块还含有最大池化层。卷积核作用是对上层的特征进行编码，BN层的目的是归一化输入特征，以便模型容易训练。激活函数的目的是获得非线性变换。池化层的作用也是提取特征，缩小特征图，全连接层的作用是在最后将特征进行分类。将这些层按一定的设计结构连接在一起就组成了神经网络模型。另外模型中还采用了一个FCN层，目的是为了获得图像的分割结果，用于后续特征的融合。

所述第三步，利用分析结果图进行判断的规则如下：

将病理图分块，对每一块用模型预测其质量，最后统计一张大图中质量为良好区域所占半分比和不良区域所占百分比，设定一个百分比阈值，当不良率小于设定阈值时候判断为整图良好，当不良率大于设定阈值时候判断为该图质量不符合临床要求；同时也可能根据实际生产中的需求将这个阈值进行细分，满足不同的图像质量评价级别。

所述第一步的具体过程为：从临床中获取病人的病理图像数据，由医生标注整图上质量不合格的区域即医生认为看不清或不能识别的区域，利用软件将目视不清的区域用轮廓标出来，这样就能获得图片中哪些属于良好区域哪些属于不良区域，将数据切片分成两个类别。

本发明与现有技术相比的优点在于：

(1)首先提出了一种利用深度学习技术实现全自动图像质量分级的算法，使用了现有最强大的算法基础，模型由数据驱动不需要人为设计特征，不受主管干扰，泛化性能好

(2)整个流程可以做到全自动，前期需要收集数据进行模型的学习，一旦模型训练完成就可以直接去预测结果。现有流程主要靠医生目视去判断图像质量，本发明可以减轻医生的工作负担。缩短流程。而现有技术主要靠操作过程中的国家标准约束，医生培训以及病理科医生的反馈来控制和评估图像的质量水平，应该还没有自动化的流程。本技术通过最新的人工智能技术尝试实现一种自动化图像质量评估的算法，通过收集数据构建模型构建训练样本来训练一个分类器识别图像的质量优劣。实现了完全自动化的处理流程，相比于医生的判断更客观稳定。可以在临床实践中辅助医生，分担医生的工作任务。

(3)本发明是前期需要收集足够的样本足够的样本指样本必须多样性，能涵盖大部分临床上的常见数据。一般对于一种皮肤病来讲，实际上可能需要200张左右的病理片子，每个常见的10张以上，切分成小patch数量在5-10W张。只要能涵盖经常出现的模式就行。比如某种操作(过度染色，病理片子切的过厚，灰尘气泡等)经常会导致片子质量变差，那这种操作产生的片子就需要采集一部分作用训练的负样本，并且需要进行标注构建训练样本。

附图说明

图1为本发明一种病理图像质量有效性识别方法实现流程图；

图2为本发明的深度学习卷积神经网络的结构示意图；

图3为临床上真实生成的图像；

图4为一块病理图切片，展示了不合格的成像图片区域；

图5为一块病理图片，展示了合格清晰的成像图片区域；

图6为图2模块中前段CNN的一个细化结构连接。

具体实施方式

下面以皮肤病理切片为例，说明本发明的具体过程。

由于图像在切片成像中可能由于污染，过度染色或者组织折叠导致部分区域非常模糊，无法看清细胞形态用于后续诊断。

如图1所示，本发明具体实现如下：

(1)首先使用二值化滤波去除白背景；

(2)在低倍镜，由医生标注符合成像质量要求的区域和不符合成像质量的区域；

(3)当收集了足够的标注数据和医生标注的符合和不符合要求区域的后，利用卷积网络构建二值分类网络，对成像质量的优劣进行分类。在模型训练过程中忽略白背景只专注在组织区域训练网络；

(4)模型训练好以后，将模型运行到新扫描的病理切片图像，放到同一个尺度下利用模型预测符合成像质量和不符合的区域。统计成像质量不符合要求面积占所有组织区域面积的百分比。根据医生建议划定分级标准，当不符合区域小于一定阈值，该图像质量可供后续判断可以送读，当不符合区域在某个区间时候，该图可以留用，待后续根据医生在诊断过程中是否有关键区域成像质量不良来确定是否要重新切片。当不符合区域大于某个阈值时候该切片无法送读，要立即重新切片。

如图2所示，本发明实施例中的深度学习卷积神经网络包括：卷积核，全连接层，激活函数，BN(batch normalization)层，池化层；输入上一层的特征经过卷积核，然后经过BN层再经过激活函数，到输入下一层；有的还含有最大池化层。卷积核作用是对上层的特征进行编码，BN层的目的是归一化输入特征，以便模型容易训练。激活函数的目的是获得非线性变换。池化层的作用也是提取特征，缩小特征图，全连接层的作用是在最后将特征进行分类。将这些层按一定的设计结构连接在一起就组成了神经网络模型。

将切片后的图像输入，经过如图2所示的深度学习卷积神经网络结构的由很多卷积核连接构成的模型，每一个模型代表了一个可训练的卷积核，模型还有跨层的连接目的是增强模型的性能和降低训练的难度，图片经过很多层卷积以后最后连接一个全连接层作合格和不合格的分类。收集质量合格性和不合格的patch训练模型中的参数，当模型训练到误差到可接受范围以后，比如误识率低于5％，模型就训练好了就可以用来对未知质量的小Patch分块图像进行分类了。

图2是一个本发明详细的模型连接示意图，首先将裁剪的Patch输入到CNN(卷积层)中，CNN的细化结构见图6，是有很多的卷积，池化层，BN层，激活函数层等连接而成的结构，通过CNN模块以后图像被缩小了16倍，同时这个Patch也被送到一个同样缩小16被的FCN层进行细胞区域的分割，这个过程主要为了去除病理组织中一些不包含细胞结构的区域比如胶原，血管，汗腺等。然后获得一个同样缩小16倍的二值分割图，再将二值分割图像和通过CNN的特征图融合获得带有有效区域注意力的新特征。这些特征通过分割网络有效去除了不含细胞区域的特征带来的干扰。然后接一个MaxPool最大池化的作用聚合特征，此处获得的特征图上一个特征向量代表了原图上32*32长度的区域的特征，因此对于一个32*32的图像分块，当该区域纹理清晰和纹理模糊时候将在模型提取特征的时候获得可辨识的特征。最后接一个全局的AvgPool平均池化层来平均每一个子区域对全图的贡献来进行最后的分类。因此如果一个Patch上有足够的区域被模糊重影导致不清晰了就会使得整个图像的分类结果和图像上大部分区域清晰的分类结果产生区别来达到图像质量分类的功能。在图2模型训练的时候使用了两个损失函数来监督模型的训练，一个是图2模型整个图片判别为良和差的分类损失函数和整个图片细胞区域和非细胞区域划分开的分割函数。

分类和分割部分都采用交叉熵损失函数，重点在于分类问题一张图片只对应一个分类结果计算交叉熵，而分割问题是对每一张图片上每个点的结果计算交叉熵。所以分割是更细粒度的分类问题。分类和分割的损失函数方程如下：

Loss_c表示分类损失函数，N表示一个批训练数据的图片个数，y_i表示图片的真实标签，表示模型预测的标签概率；

Loss_s表示分割损失函数，N表示一个批训练数据的图片个数，H表示图片的长，W表示图片的宽，y_i,j,k表示第i个图片第j行第k列像素的标签，表示模型预测第i个图片第j行第k列像素的标签概率。

两个损失函数采用分类为主分割为辅的加权策略来监督网络的训练。

Loss＝Loss_c+λLoss_s

λ用来调节两个损失函数的权重系数，取值范围，根据大量试验取0.3-0.7。

图3为临床上真实生成的图像，可以看到有些地方成像非常模糊根本无法识别细胞区域，如果一张图像上有大量这些模糊区域就不利于医生临床诊断，给这张图的目的是为了说明本发明要解决的问题就是对这些图像进行成像质量的评价。

如图4、5所示，有的区域细胞轮廓形态可见度很清晰，这样的区域就是成像质量好的部分，有些区域很模糊，这些区域就是成像质量不好的区域。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (6)

1.一种病理图像质量有效性识别方法，其特征在于：包括以下步骤：

第一步，收集病理图像，对病理图像中的成像病理切片的质量进行标注，形成标注信息；

第二步，根据第一步标注信息获取病理图像中成像质量良好和不良区域，所述成像质量良好区域是指有的区域细胞轮廓形态可见度很清晰，这样的区域就是成像质量好的区域；所述成像质量不良区域是指有些区域很模糊，这些区域就是成像质量不良区域；的两类样本数据，对所述两类样本数据进行训练，得到训练后的二分类器；

第三步，利用第二步的二分类器分析第一步中病理图像的数据，得到分析结果图，根据判断规则确定病理图像中成像的病理切片是否符合临床上医生使用的要求。

2.根据权利要求1所述的病理图像质量有效性识别方法，其特征在于：所述第二步，二分类器采用深度学习卷积神经网络。

3.根据权利要求2所述的病理图像质量有效性识别方法，其特征在于：所述第二步，所述深度神经网络包括：卷积核，全连接层，激活函数，BN(batch normalization)层，池化层；输入上一层的特征经过卷积核，然后经过BN层再经过激活函数，到输入下一层。

4.根据权利要求2或3所述的病理图像质量有效性识别方法，其特征在于：所述第二步，所述深度神经网络还含有最大池化层。

5.根据权利要求1所述的病理图像质量有效性识别方法，其特征在于：所述第三步，利用分析结果图进行判断的规则如下：

将病理图分块，对每一块用模型预测其质量，最后统计一张大图中质量为良好区域所占半分比和不良区域所占百分比，设定一个百分比阈值，当不良率小于设定阈值时候判断为整图良好，当不良率大于设定阈值时候判断为该图质量不符合临床要求；同时也可能根据实际生产中的需求将这个阈值进行细分，满足不同的图像质量评价级别。

6.根据权利要求1所述的病理图像质量有效性识别方法，其特征在于：所述第一步的具体过程为：从临床中获取病人的病理图像数据，标注整图上质量不合格的区域即认为看不清或不能识别的区域，将目视不清的区域用轮廓标出来，将数据切片分成两个类别，获得图片中良好区域和不良区域。