CN110659692A - 基于强化学习和深度神经网络的病理图像自动标注方法 - Google Patents

Abstract

本发明公开了基于强化学习和深度神经网络的病理图像自动标注方法，包括以下步骤：对染色标准化的原始病理图像进行多尺度超像素划分，并标记超像素的上皮概率阈值；构建超像素分类训练集；采用基于机器学习方法训练标记后的超像素得到学习模型，学习模型对测试图像中的超像素进行分类，并由病理医生对分类结果给予奖励和惩罚，将奖励和惩罚结果反馈给学习模型，学习模型通过奖惩机制重新做出调整；采用预先制定的方法构建端到端标注模型的训练集；采用基于深度神经网络的端到端学习，自动对组织区域标注分割；构建标注模型；使用预先配置好的真实数据对构建的标注模型进行测试。有益效果：能够快速、准确、自动标注不同组织区域的学习模型。

Description

基于强化学习和深度神经网络的病理图像自动标注方法

技术领域

本发明涉及病理图像标注技术领域，具体来说，涉及基于强化学习和深度神经网络 的病理图像自动标注方法。

背景技术

病理图像的不同局部区域与患病原因及严重等级之间有着密切联系，然而，随着病 理图像规模的不断增大，图像的分辨率不断增加，而有经验的阅片病理医生十分匮乏，且医生阅片具有一定的主观性，难以达成一致。从而导致现阶段医院阅片周期长、准确 率低等问题。因此，如何借助人工智能、深度学习等技术，有效地对病理图像各类局部 区域进行快速准确的标注，从而为病变、癌症等疾病的检测和诊断选择出最有价值的诊 断区域，是现阶段医学领域和人工智能领域迫切研究的问题。

近年来国内外最常见的是通过将疑似癌变组织制成染色切片，再由专业的病理医师 进行手工勾画标注。病理图像标注旨在医生进行诊断之前为其自动标注各个组织区域，比如上皮、腺腔、动脉、间质等组织区域。但人工标注费时费力，主观性和疲劳导致了 不可忽视的误差，随着临床需求的不断增长，病理医生的压力也与日俱增。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出基于强化学习和深度神经网络的病理图像自动 标注方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于强化学习和深度神经网络的病理图像自动标注方法，包括以下步骤：

步骤S1：采用预设规则对染色标准化的原始病理图像进行多尺度超像素划分，并标 记所述超像素的上皮概率阈值；

步骤S2：采用预设方法构建所述超像素分类训练集，构成测试图像；

步骤S3：采用基于机器学习方法训练步骤S1与步骤S2标记后的所述超像素得到学习模型，所述学习模型对所述测试图像中的超像素进行分类，并由病理医生对分类结果 给予奖励和惩罚，将奖励和惩罚结果反馈给所述学习模型，所述学习模型通过奖惩机制 重新做出调整，循环直至所述学习模型达到最优，获得所述原始病理图像中组织区域的 标注信息；

步骤S4：采用预先制定的方法构建端到端标注模型的训练集；

步骤S5：采用基于深度神经网络的端到端学习，自动对组织区域标注分割；

步骤S6：构建标注模型；

步骤S7：使用预先配置好的真实数据对构建的所述标注模型进行测试。

进一步的，所述超像素划分采用SILC算法，其具体步骤如下：

初始化种子点：按照设定的超像素个数，在所述原始病理图像内均匀的分配初始种 子点；

在所述初始种子点的n*n邻域内重新选择二次种子点；

在每个二次种子点周围的邻域内为每个像素点分配类标签；

距离度量：对于每个搜索到的像素点，分别计算它和该二次种子点的距离；

迭代优化；

增强连通性；

其中，距离度量包括颜色距离和空间距离，距离计算方法如下：

d_c代表颜色距离，d_s代表空间距离，N_s是类内最大空间距离，定义为N_s＝S＝sqrt(N/K)， 适用于每个聚类；

最大的颜色距离N_c既随图片不同而不同，也随聚类不同而不同，所以我们取一个固 定常数m代替，最终的距离度量D'如下：

进一步的，采用预设方法构建所述超像素分类训练集，构成测试图像还包括以下步 骤：

获取所述超像素的外接矩形；

计算所述超像素外接矩形的几何中心；

以所述超像素的几何中心向四周取方块，遇到边界则反方向取；

其中，所有超像素尺寸相同，90％的超像素作为训练集，10％的超像素作为验证集。

进一步的，获取所述超像素的外接矩形还包括以下步骤：

对超像素的二值图像进行拓扑分析，确定边界的围绕关系，找到最外边界即为超像 素的轮廓；

根据cv2.boundingRect(c)函数，以i中得到的轮廓为参数，得到矩形的左上点和右下点，确定超像素的外接矩形；

其中，计算所述超像素外接矩形的几何中心还包括以下步骤：

在超像素外接矩形内，截取规定尺寸的超像素块，并计算所需超像素块的左上角坐 标(x_，y_)；

x_＝x-round[(roi_size-x_len)/2]；

y_＝y-round[(roi_size-y_len)/2]；

其中，roi_size是我们预先规定的超像素尺寸，为128*128，x、y为超像素外接 矩形的左上角坐标，x_len和y_len分别为超像素外接矩形的边长。

进一步的，以所述超像素的几何中心向四周取方块，遇到边界则反方向取还包括以 下步骤：

如果x_+roi_size和y_+roi_size没有超过图像边界，直接以超像素中心向横竖各取roi_size大小的像素；

如果x_+roi_size或y_+roi_size有超过图像边界的，直接从边界处向回取roi_size 大小的像素；

如果x_或y_本身有超过图像边界的，直接从起始边界处向横竖取roi_size大小的像素。

进一步的，采用基于机器学习方法训练步骤S1与步骤S2标记后的所述超像素得到学习模型还包括以下步骤：

卷积过程：采用一个可训练的滤波器f_x去卷积一个输入图像，第一阶段得到是输入 图像，后面阶段得到是卷积特征map，然后再加一个偏置b_x，得到卷积层C_x；

子采样过程：邻域四个像素求和得到一个总像素，然后通过标量W加权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图S_x+1；

其中，卷积层C_x计算公式为：C_x＝f_x(W,input)+b_x；

特征映射图S_x+1计算公式为：S_x+1＝sigmoid[Wg(x_i,j+x_i+1,j+x_i,j+1+x_i+1,j+1)+b]。

进一步的，采用预先制定的方法构建端到端标注模型的训练集还包括以下步骤：

获得已标注的组织区域的mask图像；

将所述mask图像通过旋转、翻转等技术进行数据增强，并将每张染色标准化后的图 进行切割成原图的1/2大小，最终得到1662样本；

其中，90％的样本作为训练集，10％的样本作为验证集。

进一步的，所述深度神经网络为ResNet网络，所述ResNet网络包括IdentityBlock 和Conv Block；

其中，所述Identity Block的输入和输出维度一致，所述Conv Block的输入和输出维度不一致，且所述Identity Block可以串联多个。

进一步的，构建标注模型还包括以下步骤：

确定mean-IOU作为目标函数；

求解所述目标函数，得到使目标函数值最小的标注模型；

其中，所述目标函数的计算公式为：

IoU为产生的候选框与原标记框的交叠率。

进一步的，使用预先配置好的真实数据对构建的所述标注模型进行测试还包括以下 步骤：

取一部分新的病理图像，按照训练集同样的操作构成待预测集，将待预测集中每个 分量输入所述标注模型中，对预测集中的每张图像进行标注，并输出标注结果。

本发明的有益效果为：

本发明基于多尺度的超像素划分和深度神经网络的强化学习方法建立了宫颈组织中 能够快速、准确、自动标注不同组织区域的学习模型。解决了病理诊断种图像标注繁琐 费时的问题，极大提高了标注结果的准确性。

本发明基于强化学习理论的监督奖惩机制，将组织区域的标注分为三大阶段，一是 对染色标准化的病理图像进行多尺度的超像素划分，由四名高年资病理医师共同标记超 像素的上皮概率阈值，实现第一阶段由人工参与的病理知识注入；二是基于机器学习方法训练标记的超像素，得到的学习模型对测试图像的超像素进行分类，此过程由病理医 生对分类结果给予奖励和惩罚，反馈给学习模型，模型通过奖惩机制重新做出调整，循 环直至模型达到最优；三是基于深度神经网络的端到端学习，自动对组织区域标注分割， 减少人工干预，基于前两个阶段交互强化学习结果，得到了大量已做出标注的高质量组 织图像，它们由深度卷积神经网络(VGG16+Resnet50)算法进行学习，得到端到端的组 织分割模型，用于宫颈病理图像中鳞状上皮和间质区域的快速标注。与直接的端到端的 从病理图像中分割相比，由医学知识驱动的模型逐步从鳞状上皮和间质组织的像素中学 习，并在学习之初给予知识注入，学习过程中给予奖惩，使模型以更贴近人类大脑的学 习方式来达到快速准确地分割目的，同时使得医生所付出的精力和时间最少。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附 图获得其他的附图。

图1是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的流程图；

图2是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的对病理图像进行染色标准化示意图；

图3是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的多尺度超像素划分示意图(分别为250个超像素块和50个超像素块)；

图4是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的对超像素进行分类示意图；

图5是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的深度学习网络图之一；

图6是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的深度学习网络图之二；

图7是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的病理图像端到端的标注结果示意图；

图8是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的基于机器学习方法训练的示意图；

图9是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法 的已标注的组织区域的mask图像的示意图；

图10是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方 法的染色标准化图像和上皮mask图像的示意图；

图11是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方 法的ResNet50网络层中第一层(block*3)示意图；

图12是根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方 法的ResNet50网络层中第二层(block*3)示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分， 其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参 考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了基于强化学习和深度神经网络的病理图像自动标注方 法。

现结合附图和具体实施方式对本发明进一步说明，病理图像标注模型旨在通过计算 机将宫颈病理图像标注为两种类型：宫颈鳞状上皮和间质。如图1-12所示，根据本发明实施例的基于强化学习和深度神经网络的病理图像自动标注方法，包括以下步骤：

步骤S1：采用预设规则对染色标准化的原始病理图像进行多尺度超像素划分，并标 记所述超像素的上皮概率阈值；

具体的，由四名高年资病理医师共同标记超像素的上皮概率阈值。所述超像素划分 采用SILC算法，其具体步骤如下：

初始化种子点：按照设定的超像素个数，在所述原始病理图像内均匀的分配初始种 子点；假设图片总共有N个像素点，预分割为K个相同尺寸的超像素，那么每个超像素 的大小为N/K，则相邻初始种子点的距离近似为S＝sqrt(N/K)。

在所述初始种子点的n*n邻域内重新选择二次种子点；

具体方法为：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小 的地方。这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。

在每个二次种子点周围的邻域内为每个像素点分配类标签；和标准的k-means在整 张图中搜索不同，SLIC的搜索范围限制为2S*2S，可以加速算法收敛，如下图。在此注 意一点：期望的超像素尺寸为S*S，但是搜索的范围是2S*2S。

距离度量：对于每个搜索到的像素点，分别计算它和该二次种子点的距离；

迭代优化；理论上上述步骤不断迭代直到误差收敛，实践发现10次迭代对绝大部分 图片都可以得到较理想效果，所以一般迭代次数取10。

增强连通性；经过上述迭代优化可能出现以下瑕疵：出现多连通情况、超像素尺寸过小，单个超像素被切割成多个不连续超像素等，这些情况可以通过增强连通性解决。 主要思路是：新建一张标记表，表内元素均为-1，按照“Z”型走向(从左到右，从上到 下顺序)将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素，遍历过的像素 点分配给相应的标签，直到所有点遍历完毕为止。

其中，距离度量包括颜色距离和空间距离，对于每个搜索到的像素点，分别计算它和该种子点的距离。距离计算方法如下：

d_c代表颜色距离，d_s代表空间距离，N_s是类内最大空间距离，定义为N_s＝S＝sqrt(N/K)， 适用于每个聚类；

最大的颜色距离N_c既随图片不同而不同，也随聚类不同而不同，所以我们取一个固 定常数m代替，最终的距离度量D'如下：

由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子 点的距离，取最小值对应的种子点作为该像素点的聚类中心。

为了将非常规染色的数字病理图像颜色调整到合适的染色水平上。非线性映射的数 字病理图像染色标准化方法，可有效解决玻片染色深浅的问题，对于数字病理细胞的可视化效果和计算机分析能力都有提升，同时启发其它细胞病理的染色标准化。StainNormalization方法基于使用从颜色反卷积导出的表示将源图像非线性映射到目标图像。颜色反卷积是一种获得染色基质的染色浓度值的方法，描述颜色如何受到染色浓度的影响。这里使用基于颜色的分类器，其中包含一个新的染色描述符来计算图像特定的染色 矩阵，而不是依赖于可能不适合给定图像的标准染色矩阵。

步骤S2：采用预设方法构建所述超像素分类训练集，构成测试图像；

具体的，超像素划分得到的超像素是不规则的形状，我们通过如下方法统一超像素 尺寸：

获取所述超像素的外接矩形；

具体包括以下步骤：

对超像素的二值图像进行拓扑分析，确定边界的围绕关系，找到最外边界即为超像 素的轮廓；

根据cv2.boundingRect(c)函数，以i中得到的轮廓为参数，得到矩形的左上点和右下点，确定超像素的外接矩形。

计算所述超像素外接矩形的几何中心；

具体包括以下步骤：

在超像素外接矩形内，截取规定尺寸的超像素块，并计算所需超像素块的左上角坐 标(x_，y_)；

x_＝x-round[(roi_size-x_len)/2]；

y_＝y-round[(roi_size-y_len)/2]；

其中，roi_size是我们预先规定的超像素尺寸，为128*128，x、y为超像素外接 矩形的左上角坐标，x_len和y_len分别为超像素外接矩形的边长。

以所述超像素的几何中心向四周取方块，遇到边界则反方向取；

具体包括以下步骤：

如果x_+roi_size和y_+roi_size没有超过图像边界，直接以超像素中心向横竖各取roi_size大小的像素；

如果x_+roi_size或y_+roi_size有超过图像边界的，直接从边界处向回取roi_size 大小的像素；

如果x_或y_本身有超过图像边界的，直接从起始边界处向横竖取roi_size大小的像素。

代码描述如下：

#以超像素中心向四周取方块，遇到边界向反方向取

x_＝x-round((roi_size-x_len)/2)

ifx_<0:

x_＝0

elifx_+roi_size>img.shape[0]:

x_＝img.shape[0]-roi_size

y_＝y-round((roi_size-y_len)/2)

ify_<0:

y_＝0

elify_+roi_size>img.shape[1]:

y_＝img.shape[1]-roi_size

roi＝img[x_:x_+roi_size,y_:y_+roi_size]。

其中，共划分了90张宫颈病理图像原图，得到22032个超像素，所有超像素尺寸相同(128*128)，90％的超像素作为训练集，10％的超像素作为验证集。

步骤S3：采用基于机器学习方法训练步骤S1与步骤S2标记后的所述超像素得到学习模型，所述学习模型对所述测试图像中的超像素进行分类，并由病理医生对分类结果 给予奖励和惩罚，将奖励和惩罚结果反馈给所述学习模型，所述学习模型通过奖惩机制 重新做出调整，循环直至所述学习模型达到最优，获得所述原始病理图像中组织区域的 标注信息；

具体的，采用基于机器学习方法训练步骤S1与步骤S2标记后的所述超像素得到学习模型还包括以下步骤：

卷积过程：采用一个可训练的滤波器f_x去卷积一个输入图像，第一阶段得到是输入 图像，后面阶段得到是卷积特征map，然后再加一个偏置b_x，得到卷积层C_x；

子采样过程：邻域四个像素求和得到一个总像素，然后通过标量W加权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图S_x+1；

其中，卷积层C_x计算公式为：C_x＝f_x(W,input)+b_x；

特征映射图S_x+1计算公式为：S_x+1＝sigmoid[Wg(x_i,j+x_i+1,j+x_i,j+1+x_i+1,j+1)+b]。

利用CNN对超像素进行特征提取，对不同尺度的超像素进行训练学习分类，结合各尺度下的分类结果，由专业医生对分类结果给予奖惩，所训练的模型接收到奖惩因子， 从而对自身进行调整，以快速标注兴趣区域。

基于以上三步，病理医生只需简单指明病理图像中上皮部分，就可以很容易地确定 超像素的标签，我们通过对超像素进行学习，快速得到了大量原始病理图像中组织结构区域的标注信息，针对得到的结果，我们按步骤S4得到深度学习端到端标注模型的训练集：

步骤S4：采用预先制定的方法构建端到端标注模型的训练集；

具体的，包括以下步骤：

获得已标注的组织区域的mask图像；

将所述mask图像通过旋转、翻转等技术进行数据增强，并将每张染色标准化后的图 进行切割成原图的1/2大小，最终得到1662样本；

其中，90％的样本作为训练集，10％的样本作为验证集。

步骤S5：采用基于深度神经网络的端到端学习，自动对组织区域标注分割；

具体的，基于步骤S1和步骤S2快速标注结果，为了进一步减少人工参与，减轻医生负担，我们引入深度学习方法，实现端到端的标注，即输入一张图像到深度学习模型 中，中间无需任何人工参与，训练好的模型将直接输出标注结果。

所述深度神经网络为ResNet网络，所述ResNet网络包括Identity Block和ConvBlock；

其中，所述Identity Block的输入和输出维度一致，所述Conv Block的输入和输出维度不一致，且所述Identity Block可以串联多个。

Conv Block的作用本来就是为了改变feature vector的维度，由于CNN最后都是要把图像一点点的转化成很小但是depth很深的feature map，一般的套路是用统一的 比较小的kernel(如3*3)，但是随着网络深度的增加，output的channel也增大，所 以在进入Identity Block之前，用Conv Block转换一下维度，这样后面就可以连续接 IdentityBlock，即在shortcut path的地方加上一个conv2D layer(1*1fi lter size)， 然后在main path改变维度，并与shortcut path对应起来。ResNet50网络各层如下：

第一层(block*3)如图11(在图11中只包括了卷积层和pooling层，而BN层和 ReLU层未画出)所示：

输入输出的尺寸：channel×height×width，矩形指卷积层或pooling层，卷积层kernel size为3×3，输出channel数为64，步长为2，padding为3。计算卷积层的输 出尺寸：

Bottleneck都会在输入和输出之间加上一个卷积层，原因是conv3会将输入的通道 数扩展成原来的4倍，导致输入一定和输出尺寸不同，且第一层中没有下采样。

第二层(block*3)如图12所示：

首先conv1降低输入通道数，conv2降低输入尺寸，由于尺寸发生变化，所以需要downsample，之后的3个block不需要进行downsample。

第三层的结构和第二层相同，只在通道数、输出尺寸上不一致。

步骤S6：构建标注模型；

具体的，还包括以下步骤：

确定mean-IOU作为目标函数；

求解所述目标函数，得到使目标函数值最小的标注模型(该求解过程数学方法，为现有技术)；

其中，所述目标函数的计算公式为：

IoU(Intersection-over-Union，交叉比)为产生的候选框与原标记框的交叠率，即它们的交集与并集的比值，最理想情况是完全重叠，即比值为1。

步骤S7：使用预先配置好的真实数据对构建的所述标注模型进行测试。

具体的，使包括以下步骤：

取一部分新的病理图像，按照训练集同样的操作构成待预测集，将待预测集中每个 分量输入所述标注模型中，对预测集中的每张图像进行标注，并输出标注结果。

为了方便理解本发明的上述技术方案，以下结合实验数据对本发明的上述方案的进 行详细说明，具体如下：

本发明的预测方法与现有预测方法的比对：

一、实验数据集

本发明采用来自医院的宫颈病理图像数据集，其中超像素分类数据集(SP)和深度学习标注数据集(E2E)详细如下表所示：

表1数据集

其中SP数据集的类别标签为上皮概率值，E2E数据集中染色标准化的病理图像和上 皮mask图具有相同尺寸。

二、实验设置

对于每个数据集，每个实验中使用90％标签样本作为训练集，10％作为训练集，再选 取实时来源于医院的新的样本作为测试集。实验结果的每个评估指标值都是通过5折交叉验证最终取平均结果。

三、评估指标

1、对超像素分类任务，我们交叉熵损失和准确率作为评价指标，它们的定义分别如 下：

其中，y⁽ⁱ⁾为真实样本标签，

为模型预测输出；交叉熵损失L都表征了预测输出与 真实标签的差距。

2、对于图像标注问题，实际上是区域分割问题，我们采用Mean-IoU平均交叉比作为评价指标，Mean-IoU常被用于衡量分割模型性能。

本发明采用上述评价指标衡量本发明方法的分割性能。

四、结果与分析

本发明方法结合了基于多尺度超像素分类的强化学习和深度网络端到端学习，第一 阶段是为了快速得到第二阶段的标注数据集，本发明对模型性能进行验证，从表中可以看出epochs为24量尺寸为20时，L和accuracy表现更优。

表2多尺度超像素分类结果

表3病理图像标注结果

Datasets(E2E)	VGG16	ResNet50	VGG16+ResNet50
				IoU	20.3	38.1	40.9

表3显示，VGG16+ResNet50相比于其他深度学习模型，取得了更好的标注结果。

综上所述，借助于本发明的上述技术方案，本发明基于多尺度的超像素划分和深度 神经网络的强化学习方法建立了宫颈组织中能够快速、准确、自动标注不同组织区域的学习模型。解决了病理诊断种图像标注繁琐费时的问题，极大提高了标注结果的准确性。

本发明基于强化学习理论的监督奖惩机制，将组织区域的标注分为三大阶段，一是 对染色标准化的病理图像进行多尺度的超像素划分，由四名高年资病理医师共同标记超 像素的上皮概率阈值，实现第一阶段由人工参与的病理知识注入；二是基于机器学习方法训练标记的超像素，得到的学习模型对测试图像的超像素进行分类，此过程由病理医 生对分类结果给予奖励和惩罚，反馈给学习模型，模型通过奖惩机制重新做出调整，循 环直至模型达到最优；三是基于深度神经网络的端到端学习，自动对组织区域标注分割， 减少人工干预，基于前两个阶段交互强化学习结果，得到了大量已做出标注的高质量组 织图像，它们由深度卷积神经网络(VGG16+Resnet50)算法进行学习，得到端到端的组 织分割模型，用于宫颈病理图像中鳞状上皮和间质区域的快速标注。与直接的端到端的 从病理图像中分割相比，由医学知识驱动的模型逐步从鳞状上皮和间质组织的像素中学 习，并在学习之初给予知识注入，学习过程中给予奖惩，使模型以更贴近人类大脑的学 习方式来达到快速准确地分割目的，同时使得医生所付出的精力和时间最少。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神 和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，包括以下步骤：

步骤S1：采用预设规则对染色标准化的原始病理图像进行多尺度超像素划分，并标记所述超像素的上皮概率阈值；

步骤S2：采用预设方法构建所述超像素分类训练集，构成测试图像；

步骤S3：采用基于机器学习方法训练步骤S1与步骤S2标记后的所述超像素得到学习模型，所述学习模型对所述测试图像中的超像素进行分类，并由病理医生对分类结果给予奖励和惩罚，将奖励和惩罚结果反馈给所述学习模型，所述学习模型通过奖惩机制重新做出调整，循环直至所述学习模型达到最优，获得所述原始病理图像中组织区域的标注信息；

步骤S4：采用预先制定的方法构建端到端标注模型的训练集；

步骤S5：采用基于深度神经网络的端到端学习，自动对组织区域标注分割；

步骤S6：构建标注模型；

步骤S7：使用预先配置好的真实数据对构建的所述标注模型进行测试。

2.根据权利要求1所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，所述超像素划分采用SILC算法，其具体步骤如下：

初始化种子点：按照设定的超像素个数，在所述原始病理图像内均匀的分配初始种子点；

在所述初始种子点的n*n邻域内重新选择二次种子点；

在每个二次种子点周围的邻域内为每个像素点分配类标签；

距离度量：对于每个搜索到的像素点，分别计算它和该二次种子点的距离；

迭代优化；

增强连通性；

其中，距离度量包括颜色距离和空间距离，距离计算方法如下：

d_c代表颜色距离，d_s代表空间距离，N_s是类内最大空间距离，定义为N_s＝S＝sqrt(N/K)，适用于每个聚类；

最大的颜色距离N_c既随图片不同而不同，也随聚类不同而不同，取一个固定常数m代替，最终的距离度量D'如下：

3.根据权利要求1所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，采用预设方法构建所述超像素分类训练集，构成测试图像还包括以下步骤：

获取所述超像素的外接矩形；

计算所述超像素外接矩形的几何中心；

以所述超像素的几何中心向四周取方块，遇到边界则反方向取；

其中，所有超像素尺寸相同，90％的超像素作为训练集，10％的超像素作为验证集。

4.根据权利要求3所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，获取所述超像素的外接矩形还包括以下步骤：

对超像素的二值图像进行拓扑分析，确定边界的围绕关系，找到最外边界即为超像素的轮廓；

根据cv2.boundingRect(c)函数，以i中得到的轮廓为参数，得到矩形的左上点和右下点，确定超像素的外接矩形；

其中，计算所述超像素外接矩形的几何中心还包括以下步骤：

在超像素外接矩形内，截取规定尺寸的超像素块，并计算所需超像素块的左上角坐标(x_，y_)；

x_＝x-round[(roi_size-x_len)/2]；

y_＝y-round[(roi_size-y_len)/2]；

其中，roi_size是我们预先规定的超像素尺寸，为128*128，x、y为超像素外接矩形的左上角坐标，x_len和y_len分别为超像素外接矩形的边长。

5.根据权利要求4所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，以所述超像素的几何中心向四周取方块，遇到边界则反方向取还包括以下步骤：

如果x_+roi_size和y_+roi_size没有超过图像边界，直接以超像素中心向横竖各取roi_size大小的像素；

如果x_+roi_size或y_+roi_size有超过图像边界的，直接从边界处向回取roi_size大小的像素；

如果x_或y_本身有超过图像边界的，直接从起始边界处向横竖取roi_size大小的像素。

6.根据权利要求1所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，采用基于机器学习方法训练步骤S1与步骤S2标记后的所述超像素得到学习模型还包括以下步骤：

卷积过程：采用一个可训练的滤波器f_x去卷积一个输入图像，第一阶段得到是输入图像，后面阶段得到是卷积特征map，然后再加一个偏置b_x，得到卷积层C_x；

子采样过程：邻域四个像素求和得到一个总像素，然后通过标量W加权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图S_x+1；

其中，卷积层C_x计算公式为：C_x＝f_x(W,input)+b_x；

特征映射图S_x+1计算公式为：S_x+1＝sigmoid[Wg(x_i,j+x_i+1,j+x_i,j+1+x_i+1,j+1)+b]。

7.根据权利要求1所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，采用预先制定的方法构建端到端标注模型的训练集还包括以下步骤：

获得已标注的组织区域的mask图像；

将所述mask图像通过旋转、翻转等技术进行数据增强，并将每张染色标准化后的图进行切割成原图的1/2大小，最终得到1662样本；

其中，90％的样本作为训练集，10％的组对样本验证集。

8.根据权利要求1所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，所述深度神经网络为ResNet网络，所述ResNet网络包括Identity Block和ConvBlock；

其中，所述Identity Block的输入和输出维度一致，所述Conv Block的输入和输出维度不一致，且所述Identity Block可以串联多个。

9.根据权利要求1所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，构建标注模型还包括以下步骤：

确定mean-IOU作为目标函数；

求解所述目标函数，得到使目标函数值最小的标注模型；

其中，所述目标函数的计算公式为：

IoU为产生的候选框与原标记框的交叠率。

10.根据权利要求1所述的基于强化学习和深度神经网络的病理图像自动标注方法，其特征在于，使用预先配置好的真实数据对构建的所述标注模型进行测试还包括以下步骤：

取一部分新的病理图像，按照训练集同样的操作构成待预测集，将待预测集中每个分量输入所述标注模型中，对预测集中的每张图像进行标注，并输出标注结果。

Images