CN114283164A - 基于UNet3+的乳腺癌病理切片图像分割预测系统 - Google Patents

Abstract

本发明公开了一种基于UNet3+的乳腺癌病理切片图像分割预测系统，具体步骤包括：基于大津算法与密铺算法生成图像块和对应真实标签；基于SeResNext搭建UNet3+的编码器；基于深度可分离卷积通过全尺度的跳跃连接实现UNet3+的解码器搭建；基于动态随机负样本抽样方法训练UNet3+神经网络；基于混叠密铺算法生成与病理切片等大的切片预测结果。本发明有效抑制了病理切片分割任务中的假阳性现象，在维持分割效果的前提下极大地降低了网络的参数量和计算量，完成癌变腺体和不成腺体肿瘤区域的像素级勾画。

Description

基于UNet3+的乳腺癌病理切片图像分割预测系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于UNet3+的乳腺癌病理切片图像分割预测系统。

背景技术

由于病理切片可以用扫描仪扫描为数字病理切片，以媲美显微镜下的清晰度存储在计算机中，因此利用计算机的方法对数字病理切片进行诊断，可以直接减轻病理医生的工作量，目前基于Deeplab和基于UNet的分割分割网络已经能利用深度学习技术对数字病理切片实现较为精确的分割，但是这些方法普遍存在以下问题：(a)网络复杂度过高。分割网络往往包含庞大的参数量，在训练阶段时需要耗费大量的硬件资源和时间。在预测时的运行速度和效率往往也不尽人意；(b) 假阳性现象。尽管对于恶性肿瘤晚期的病理切片图像来说，癌变区域占据了病理切片的大部分面积，许多早期恶性肿瘤的病理切片中只包含很少的癌变区域——而早期的病理切片诊断才是最有价值的，毕竟晚期的切片图像往往非常明显，且晚期即使发现了也回天乏术。早期恶性肿瘤病理切片中癌变区域的稀疏性导致了预测结果中假阳性偏多的问题；(c) 多尺度信息没有得到充分捕捉。病理切片中病灶大小、形态往往存在巨大差异，腺体结构和细胞形态是非常重要的特征。这需要神经网络可以同时捕捉粗粒度的腺体特征和细粒度的细胞特征。现有的分割网络尽管都在不同程度上融合了多尺度的特征，但是对不同尺度信息的挖掘依然不够充分。(d)算法推理时图像块边缘的上下文信息遭到破坏。由于一般的密铺算法在生成图像块时并没有考虑病灶的位置，而仅仅是简单的滑动窗口。如果窗口的交界处包含比较重要的结构化信息，简单的滑动窗口就会导致全切片的预测结果在不同图像块之间不连续。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于UNet3+的乳腺癌病理切片图像分割预测系统，解决已有算法存在的网络复杂度过高、假阳性偏多、多尺度信息未得到充分捕捉和对全切片推理时图像块不连续的问题，可以对乳腺癌全视野病理切片图像实现精准分割。

为了达到上述目的，本发明采用以下技术方案：

一种基于UNet3+的乳腺癌病理切片图像分割预测系统，包括：图像预处理模块、UNet3+编码器构建模块、UNet3+解码器构建模块、训练模块和预测模块；

所述图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；

所述UNet3+编码器构建模块用于基于SeResNext搭建UNet3+的编码器，将压缩激活模块添加至ResNet的残差模块后并用缩放模块完成特征图拼接；

所述UNet3+解码器构建模块用于利用深度可分离卷积替换UNet3+的卷积层，通过全尺度的跳跃连接实现UNet3+的解码器搭建；

所述训练模块用于基于动态随机负样本抽样策略训练UNet3+神经网络，所述动态随机负样本抽样策略在训练起始阶段生成统计正样本并生成负样本池，在每一轮训练之前按照设定的随机数种子从负样本池中采样得到与正样本数量相同的负样本构成该轮训练的数据集；

所述预测模块用于基于混叠密铺算法生成与病理切片图像大小相等的预测结果，具体步骤包括：

初始化一个形状与原病理切片图像相同，所有像素均为 0 的矩阵作为地图；

根据所需窗口的大小和图像块混叠的比例和设计滑动窗口移动的步长；

在原病理切片图像生成一个滑动窗口；

令滑动窗口按照设定的步长在病理切片图像上滑动，将滑动窗口的坐标添加到数据生成器中，令生成地图对应位置的数值的递增，并覆盖原来的地图；

用数据生成器以设定的批大小生成待预测图像块，使用加载过权重的神经网络对生成的图片进行预测，并将预测值按坐标对应相加；

当整张病理切片图像预测完成之后，用生成的矩阵除以地图得到预测的结果。

作为优选的技术方案，所述图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签，具体步骤包括：

依次根据标注文件生成与原切片等大的阳性区域标注掩码图，基于大津算法在原病理切片图像上提取前景区域而生成与切片等大的组织掩码图，将所述标注掩码图与组织掩码图进行与运算得到滤除空腔的与原片等大的标注掩码图；

设置一矩形完全包含所述组织掩码图上的前景区域，即矩形的四条边与组织最外轮廓相切；

在上述矩形在原切片和标注掩码图左上角对应位置同时生成一滑动窗口；

分别将原切片和掩码图滑动窗口内的元素保存为图像块与对应标签；

以设定步长依次向右和向下滑动窗口，直到越过矩形右下角。

作为优选的技术方案，所述UNet3+编码器构建模块用于基于SeResNext搭建UNet3+的编码器，具体步骤为：

搭建ResNet网络的残差模块，构建压缩激活模块，依次级联一个全局池化、全连接层、Relu激活函数、全连接层和 sigmoid 激活函数；

在原始ResNet网络的残差模块后添加压缩激活模块；

缩放模块拼接原始ResNet网络每阶段原本要输出的特征图和压缩激活模块的特征图；

保留SeResNext每次下采样之前特征图，作为跳跃连接的输入。

作为优选的技术方案，所述UNet3+解码器构建模块用于利用深度可分离卷积替换UNet3+的卷积层，通过全尺度的跳跃连接实现UNet3+的解码器搭建，具体步骤包括：

搭建每次级联两层 3×3深度可分离卷积层、批归一化层和Relu激活函数的解码器模块；

利用搭建的解码器模块，将UNet3+编码器和已搭建解码器的特征图调整到相同的分辨率完成拼接。

作为优选的技术方案，所述训练模块用于基于动态随机负样本抽样策略训练UNet3+神经网络，具体步骤包括：

根据预处理后的输入图片数据集生成数据集掩码；

统计生成数据集中阳性样本的数量，并用样本总数减去阳性样本的数量得到纯阴性样本的数量，若阴性样本数量大于阳性样本数量，则采用动态随机负样本抽样方法，若阴性样本数量小于阳性样本数量，采用数据集直接训练；

将统计得到的阳性样本和阴性样本的文件集合以一定形式分别保存起来，在训练之前从阴性样本抽随机抽取与阳性样本数量相同的阴性样本，将阳性样本和抽样之后的阴性样本合并，完成训练集的初始化；

基于CE-Dice损失函数计算网络输出与生成的真实标签的损失，并基于Adam优化器对UNet3+的参数进行优化，CE-Dice损失函数表达如下：

其中，x表示单个样本，X表示用于计算损失函数的样本集合，p(x)和y(x)分别表示样本x对应的模型预测概率和真实标签，

表示常数；

当一次迭代结束之后，从生成的阴性样本文件集合中再次抽取与阳性样本数量相同的阴性样本，将阳性样本和阴性样本合并，生成新的训练集，直到训练结束。

作为优选的技术方案，所述预测模块用于基于混叠密铺算法生成与病理切片图像大小相等的预测结果，具体步骤包括：

读取训练后的UNet3+神经网络的权重值；

原病理切片图像滑动窗口右移，若没有超出边界，则继续执行滑动窗口的坐标添加到数据生成器中，若超出病理切片图像边界则滑动窗口向左回溯，使窗口的右边界与病理切片图像的右边界重叠；

滑动窗口向下滑动，若没有超出切片下边界则继续执行，滑动窗口的坐标添加到数据生成器中，如果超出边界则用数据生成器以设定的批大小生成预测数据，使用加载过权重的神经网络对生成的图片进行预测，并将预测值按坐标对应相加；

当整张病理切片图像预测完成后，用生成的矩阵除以地图得到预测的浮点型结果。

本发明与现有技术相比，具有如下优点和有益效果：

（1）针对当前分割网络参数量过大的问题，本发明采用的改良的UNet3+，对比UNet、UNet++更和原始的UNet3+在精度更高同时参数量更少；

（2）针对乳腺癌病理切片图像分割任务中假阳性预测严重的问题，本发明提出采用动态随机负样本抽样在通过动态样本均衡抑制了网络预测的假阳性倾向；

（3）针对当前算法对多尺度信息理解不充分的问题，本发明采用的UNet3+基于深度可分离卷积实现全尺度跳跃连接，充分捕捉了多尺度信息的同时降低了网络的参数量和计算量。

（4）针对当前算法在全切片上推理时图像块边不连续，边缘上下文信息被破坏的问题，本发明提出的混叠密铺算法保护了边缘的上下文信息，大幅度提升了全切片推理的可视化效果，可在全视野乳腺癌病理切片图像上实现精准的语义分割，完成癌变腺体和不成腺体肿瘤区域的像素级勾画。

附图说明

图1为本实施例基于UNet3+的乳腺癌病理切片图像分割预测系统的实现流程示意图；

图2（a）为本实施例原病理切片图像缩略图；

图2（b）为本实施例应用大津算法之前的标注掩码图；

图2（c）为本实施例应用大津算法之后的标注掩码图；

图3为本实施例用训练好的神经网路生成与病理切片等大的预测结果的流程示意图；

图4（a）为本实施例原病理切片图像及标注示意图；

图4（b）为本实施例UNet预测结果示意图；

图4（c）本实施例UNet++预测结果示意图；

图4（d）为本实施例UNet3+预测结果示意图；

图5为本实施例混叠密铺算法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

本实施例提供一种基于UNet3+的乳腺癌病理切片图像分割预测系统，包括：图像预处理模块、UNet3+编码器构建模块、UNet3+解码器构建模块、训练模块和预测模块；

在本实施例中，图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；

在本实施例中，UNet3+编码器构建模块用于基于SeResNext搭建UNet3+的编码器，将压缩激活模块添加至ResNet的残差模块后并用缩放模块完成特征图拼接；

在本实施例中，UNet3+解码器构建模块用于利用深度可分离卷积替换UNet3+的卷积层，通过全尺度的跳跃连接实现UNet3+的解码器搭建；

在本实施例中，训练模块用于基于动态随机负样本抽样策略训练UNet3+神经网络，所述动态随机负样本抽样策略在训练起始阶段生成统计正样本并生成负样本池，在每一轮训练之前按照设定的随机数种子从负样本池中采样得到与正样本数量相同的负样本构成该轮训练的数据集；

在本实施例中，预测模块用于基于混叠密铺算法生成与病理切片图像大小相等的预测结果，具体步骤包括：

初始化一个形状与原病理切片图像相同，所有像素均为 0 的矩阵作为地图；

根据所需窗口的大小和图像块混叠的比例和设计滑动窗口移动的步长；

在原病理切片图像生成一个滑动窗口；

令滑动窗口按照设定的步长在病理切片图像上滑动，将滑动窗口的坐标添加到数据生成器中，令生成地图对应位置的数值的递增，并覆盖原来的地图；

用数据生成器以设定的批大小生成待预测图像块，使用加载过权重的神经网络对生成的图片进行预测，并将预测值按坐标对应相加；

当整张病理切片图像预测完成之后，用生成的矩阵除以地图得到预测的结果。

如图1所示，本实施例提供一种基于UNet3+的乳腺癌病理切片图像分割预测系统的实现方法，包括下述步骤：

S1、基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景；

基于大津算法生成与病理切片等大的真实标签。通常来说数字病理切片真实标签可以通过读取标注文件的坐标生成阳性区域的标注掩码图，该掩码图大小与切片大小相同；

但是，由于腺体内会存在空腔，如果按照上述算法，那么腺体内的空腔也对应阳性的标注。考虑到乳腺癌病理切片腺体的大小、形状都非常不规则，更希望神经网络能学习到细胞的特征，而将空腔标注为阳性无疑会给神经网络的训练引入较强的噪声，因此基于大津算法滤除空腔，可以快速压缩数据量并过滤背景噪声，更新后的算法如下：

（一）、根据标注文件生成阳性区域的标注掩码图，该掩码图大小与切片大小相同，将该掩码图暂时保存；

（二）、在原切片上基于大津算法提取前景区域，生成与切片大小相同的组织掩码图，将该掩码图暂时保存；

（三）、用步骤（一）生成的掩码图与步骤（二）生成的掩码图做“与”运算，返回的掩码图作为修正的标注掩码图，同时删除第一步生成的掩码图；

如图2（a）-图2（c）所示，展示了应用大津算法前后的真实标签生成情况，可以发现应用大津算法之后很多原本被标注的为阳性的区域被重新标注为阴性，这显著降低了数据集带给神经网络的噪声。

S2、基于密铺算法对神经网络输入图片数据集进行预处理，基于密铺算法生成图像块和对应图像块级的真实标签，在步骤S1的基础上，乳腺癌病理切片的预处理算法如下：

（一）、用一个矩形完全包含步骤 S2 第（二）步生成的掩码图上的前景区域，同时该矩形的四条边必须与前景区域相接，将该矩形映射到原切片和步骤 S2 第（三）步生成的掩码图上；

（二）、以矩形左上角为起始点，在两张图片，即原切片和步骤 S2 第（三）步生成的掩码图上同时各自生成一个正方形的滑动窗口，该滑动窗口的左上角与矩形左上角重合。该矩形大小不宜过大，形状为适合神经网络的处理的形状，通常为 2 的 n 次2幂或者为 2的 n 次幂与 2 的 m 次幂之和；

（三）、将两张图片中窗口内的区域保存为图片，添加至数据集中；

（四）、以一定的步长向右滑动窗口，如果没有超出边界，则返回步骤（三）。如果超出边界，则跳转至步骤（五）；

（五）、窗口向下滑动一定步长，如果超出切片下边界，则跳转步骤（六）。否则平移到切片最左边，返回步骤（五）；

（六）、结束本张切片的预处理。

本实施例使用的乳腺癌病理切片数据集主要来自CAMELYON挑战赛。这个比赛包括CAMELYON16和CAMELYON17。其中CAMELYON16共有111张包含阳性区域的乳腺癌全视野病理切片(WSI)，CAMELYON17包含50张包含阳性区域的乳腺癌转移淋巴结的病理切片。将两年挑战赛的161张切片作为训练集。除此之外，CAMELYON还提供了48张切片作为测试集，这也是在实验中测试集的数据来源，所有数据集都经过标注。使用ASPP软件通过多边形将不规则的癌变区域圈出来。标注以坐标点的格式被导出到XML文件中。利用ASPP提供的python接口，可以方便地读取XML文件中的标注信息。

在生成块时候，以1024×1024为原尺度，并做4倍的下采样得到256×256的块。在CAMELYON数据集中161张切片上用上述算法生成了30847张包含阳性区域的块和569484张完全是阴性的块，两者共同构成了本实施例的训练集。

S3、基于 SeResNext搭建UNet3+的编码器。具体操作方案如下：

（一）、定义基本残差模块和瓶颈模块，其中基本残差模块有两个 3×3 的卷积层和快捷连接组成，瓶颈模块分别由 1×1卷积， 3×3卷积， 1×1卷积和快捷连接组成，并基于这两种卷积模块设计ResNet神经网络。

（二）、将ResNet中卷积模块中的卷积层替换为分组卷积。

（三）、搭建压缩激活模块，依次级联一个全局池化、全连接层、Relu激活函数、全连接层和 sigmoid 激活函数。

（四）、通过一个缩放模块将压缩激活模块添加至ResNet的残差模块后。

（五）、保留每次下采样之前特征图，作为跳跃连接的输入。由于SeResNext共进行了 5 次下采样，因此其编码器共输出五个特征图。

现有的UNet3+在编码器的实现上都是采用简单堆叠卷积模块的类VGG结构，这种方法在应对如癌症切片等包含高维复杂特征的应用场景时特征提取能力欠佳。而本发明搭建SeResNext作为UNet的编码器，提升了Unet3+的特征表示能力，针对病理切片特征复杂的特点引入的压缩激活模块可以被认为是通道注意力，充分表示病理切片的复杂特征，更适合处理此类高维复杂特征的应用场景。

S4、基于深度可分离卷积实现全尺度的跳跃连接搭建UNet3+的解码器。具体操作方案如下：

（一）、通过级联两层 3×3深度可分离卷积层，将步骤 S4 设计的编码器输出的特征图调整到相同的大小；

（二）、将编码器经过调整的五个输出特征图拼接起来，作为解码器的第四层，特征图形状与编码器第四层输出的原始特征图相对应，需要特别指出的是，编码器与解码器共用第五层；

（三）、将编码器一到三层经过调整的输出特征图和解码器四到五层经过调整的输出特征图拼接起来，作为解码器的第三层，其输出特征图与编码器第三层输出的原始特征图相对应；

（四）、将编码器一到二层经过调整的输出特征图和解码器三到五层经过调整的输出特征图拼接起来，作为解码器的第二层，其输出特征图与编码器第二层输出的原始特征图相对应；

（五）、将编码器第一层经过调整的输出特征图和解码器二到五层经过调整的输出特征图拼接起来，作为解码器的第一层，其输出特征图与编码器第一层输出的原始特征图相对应；

（六）、将解码器第一层的输出依次级联 3×3卷积层，批归一化层和一个Relu激活函数，再通过上采样将输出的特征图调整为与输入图像等大的正方形。

现有公开基于UNet3+的技术方案都是采用常规的卷积模块来调整特征图形状，进而完成全尺度的条约连接。对于一个5层的Unet3+，每一层解码器的输入都是4个特征图的拼接，每个卷积模块都要级联2个卷积层。则一个5层的Unet3+就要使用4×5×2=40个卷积层来完成解码器的搭建，这会极大增加网络的参数量。本发明利用深度可分离卷积来完成解码器的搭建，在保持算法精度的同时从数量级上降低了UNet3+解码器的计算量。本发明提出的UNet3+在采用相同的编码器的前提下，参数量和计算量远远小于UNet3+和UNet2+，与原始的UNet几乎持平，算法精度却比三者有不同程度的提升。

S5、构建BCE-Dice损失函数和Adam优化器。具体操作步骤如下：

（一）、定义二进制交叉熵损失函数，并将损失函数实例化；

（二）、定义混淆矩阵计算函数，并将该计算函数实例化；

（三）、根据混淆矩阵定义 Dice 系数，根据该系数定义 Dice 损失函数并将 DiceLoss实例化。

（四）、将二进制交叉熵损失函数与 Dice 损失函数相加，得到如以下公式所示的Bce-Dice损失函数：

其中，x表示单个样本，X表示用于计算损失函数的样本集合，p(x)和y(x)分别表示样本x对应的模型预测概率和真实标签，

表示常数；BCE-Dice损失函数的前一项为Dice损失函数，本质上是真阳性像素数量的两倍与所有预测为阳性的像素与标签中阳性区域像素并集之比，Dice系数后加上一个偏移量是在工程中为了避免Dice系数的分母为零。BCE-Dice损失函数的后一项是二进制交叉熵损失。针对每个像素，预测结果越好，BCE损失越接近0；相反地，预测结果越差，BCE损失越接近于1。

（五）、实例化 Adam 优化器，并设置初始参数，具体参数设置为lr=1e-5，

=0.9，

=0.9，eps=1e-8，

=0.0005。在训练时，使用一张2080Ti，将批大小设置为16。

S6、基于动态随机负样本抽样训练 UNet3+神经网络。具体操作步骤如下：

（一）、根据步骤 S2 生成数据集的掩码，统计出步骤 S2 生成数据集中阳性样本的数量，并用样本总数减去阳性样本的数量得到纯阴性样本的数量。如果阴性样本数量大于阳性样本数量，则采用下述的动态随机负样本抽样方法；反之则利用步骤 S2 生成的数据集直接训练。由于在病理切片中阳性样面积几乎总是小于阴性面积，因此动态随机负样本抽样几乎适用于所有针对病理切片的神经网络训练场景。

（二）、将步骤（一）中统计得到的阳性样本和阴性样本的文件集合以一定形式分别保存起来，在训练之前从阴性样本抽随机抽取与阳性样本数量相同的阴性样本，将阳性样本和抽样之后的阴性样本合并，完成训练集的初始化。

（三）、SeResNext在Imagenet上预训练得到的权重加载到UNet3+的编码器上，并将所有神经元设置为可训练的状态。

（四）、以一定的批大小开始训练，将每批数据输入神经网络得到输出，基于步骤S5设计的CE-Dice损失函数计算网络输出与步骤 S2 生成真实标签的损失，并基于步骤S5设计的Adam优化器对UNet3+的参数进行优化。

（五）、当一个epoch结束之后，从步骤（二）生成的阴性样本文件集合中再次抽取与阳性样本数量相同的阴性样本，将阳性样本和阴性样本合并，生成新的训练集。

（六）、每个epoch结束时都根据步骤S5定义的Dice系数对网络效果进行验证，如果该epoch结束之后 Dice 高于之前最高的数值，则将此时的权重保存为暂时的最终权重。

（七）、当所有 epoch 结束之后，将暂时的最终权重从系统内存中保存到磁盘里实现永久保存。

以UNet3+为例，下表1显示使用动态随机负样本抽样时模型训练时间更短，收敛更快，泛化能力更强。acc表示像素级分类精度，fwIoU和mIoU分别表示频率交并比和平均交并比，Dice是一个在医疗图像分割任务上的重要指标。

表1 模型测试结果表

在图像处理领域，现有技术有公开一些随机负样本抽样训练的步骤，这些技术通常是静态的，即在训练开始的时候对负样本进行抽样，在训练的过程中不改变正负样本的分布。病理切片阴性区域面积大，特征多，静态抽样的方法无法保证神经网络充分学习非病变区域的特征。本发明针对病理切片阳性面积小，背景区域大，两者特征多的特点提出动态随机负样本抽样，在每个epoch之后都重新对负样本进行抽样。这种方法既能使神经网络主要关注阳性区域的特征，也能保证神经网络学习到不同阴性区域的特征。在病理切片的应用场景里，从训练速度上来看，本发明提出的动态随机负样本抽样方法是动态的，动态随机负样本抽样>静态随机负样本抽样>不抽样。从模型精度上来看，动态随机负样本抽样>不抽样>静态随机负样本抽样。

S7、采用训练好的神经网路，基于混叠密铺算法生成与病理切片等大的预测结果。在预测时相邻两个块之间会存在一定的混叠，用另一个地图记录每个像素点预测的次数。如图3所示，具体步骤包括：

（一）、将步骤S6保存的权重重新读取到步骤S3和步骤 S4 定义的 Unet3+网络中。

（二）、初始化一个形状与原切片相同，所有像素均为0的矩阵作为地图。

（三）、根据推理的精度、速度要求和硬件支持情况，设计窗口大小和步长由于要保证对切片的所有位置都实现预测，因此步长不应大于窗长。当步长小于窗大小时不存在混叠，混叠密铺算法退化为一般的密铺算法。

（四）、在原切片的左上角生成一个滑动窗口。

（五）、将滑动窗口的坐标添加到数据生成器中，将步骤（二）生成地图的对应位置的加1，并覆盖原来的地图。

（六）、滑窗右移，如果没有超出边界则跳转到步骤（五）；如果超出边界则跳转到步骤（七）。

（七）、窗口向左回溯，使窗口的右边界刚好与切片的右边界重叠。

（八）、窗口向下滑动，如果没有超出切片下边界则跳转到步骤（五）；如果超出边界则跳转到步骤（十）。

（十）、用数据生成器以一定的批大小生成预测数据，使用步骤（一）加载过权重的神经网络对生成的图片进行预测，并将预测值按坐标对应相加。

（十一）、当整张切片预测完成之后，用生成的矩阵除以地图得到预测的浮点型结果。如图5所示，得到表示混叠密铺算法的地图生成情况，图中的阴影深度和数字表示该区域的像素点被预测的次数。由于图片边缘位置的上下文信息更模糊，在边缘位置多次预测有利于提升算法对边缘位置的预测结果。

（十二）、以一定阈值取整，得到最终的预测结果。

分别使用UNet，UNet++和UNet3+进行分割，如图4（a）-图4（d）所示，得到分割结果，可以看到UNet已经可以预测出绝大多数的病灶，但是预测结果存在很多噪声，假阳性严重。UNet++假阳性现象比UNet有了明显改善，但是依然存在噪声，而且边缘不够光滑。对比之下，UNet3+的预测结果显著降低了假阳性和噪声的现象，同时边缘也比UNet++更加光滑，对比基线网络有了很大的提升。如下表2所示，几个指标也显示UNet3+的性能比UNet++和UNet都更加优异。

表2模型测试结果表

对比现有基于滑动窗口的密铺算法，本发明提出的混叠密铺算法是针对数字病理切片而专门设计的，并以提升算法运行速度为目标进行了优化。现有的密铺算法一般是用滑动窗口生成图像块。如果滑动窗口没有混叠，那么就会破坏图像块边缘的结构化上下文信息，从而导致图像块之间的边界不连续。但是在推理时要引入混叠并不像训练时只需要改变窗口步长一样方便。因为针对病理切片，算法最后要将图像块的预测掩码图根据图像块在切片中对应的位置进行拼接。如果在推理时有混叠，那么混叠区域的预测结果难以处理，因此现有全视野病理切片分割算法在推理时通常采用没有混叠的滑动窗口。本发明提出的混叠密铺算法在推理时引入了混叠，并且通过额外生成一个掩码图记录各个位置被预测的次数，该方法可以最大程度地保留病理切片内结构化的上下文信息，保证切片级预测结果连续。同时该方法通过牺牲一定的存储空间换取算法推理速度，很好地处理了混叠区域的预测结果。

本实施例提供的方法可在全视野乳腺癌病理切片图像上实现精准的语义分割，将癌变的腺体或不成腺体的肿瘤区域勾画出来。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于UNet3+的乳腺癌病理切片图像分割预测系统，其特征在于，包括：图像预处理模块、UNet3+编码器构建模块、UNet3+解码器构建模块、训练模块和预测模块；

所述图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；

所述UNet3+编码器构建模块用于基于SeResNext搭建UNet3+的编码器，将压缩激活模块添加至ResNet的残差模块后并用缩放模块完成特征图拼接；

所述UNet3+解码器构建模块用于利用深度可分离卷积替换UNet3+的卷积层，通过全尺度的跳跃连接实现UNet3+的解码器搭建；

所述训练模块用于基于动态随机负样本抽样策略训练UNet3+神经网络，所述动态随机负样本抽样策略在训练起始阶段生成统计正样本并生成负样本池，在每一轮训练之前按照设定的随机数种子从负样本池中采样得到与正样本数量相同的负样本构成该轮训练的数据集；

所述预测模块用于基于混叠密铺算法生成与病理切片图像大小相等的预测结果，具体步骤包括：

初始化一个形状与原病理切片图像相同，所有像素均为 0 的矩阵作为地图；

根据所需窗口的大小和图像块混叠的比例和设计滑动窗口移动的步长；

在原病理切片图像生成一个滑动窗口；

令滑动窗口按照设定的步长在病理切片图像上滑动，将滑动窗口的坐标添加到数据生成器中，令生成地图对应位置的数值的递增，并覆盖原来的地图；

用数据生成器以设定的批大小生成待预测图像块，使用加载过权重的神经网络对生成的图片进行预测，并将预测值按坐标对应相加；

当整张病理切片图像预测完成之后，用生成的矩阵除以地图得到预测的结果。

2.根据权利要求1所述的基于UNet3+的乳腺癌病理切片图像分割预测系统，其特征在于，所述图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签，具体步骤包括：

依次根据标注文件生成与原切片等大的阳性区域标注掩码图，基于大津算法在原病理切片图像上提取前景区域而生成与切片等大的组织掩码图，将所述标注掩码图与组织掩码图进行与运算得到滤除空腔的与原片等大的标注掩码图；

设置一矩形完全包含所述组织掩码图上的前景区域，即矩形的四条边与组织最外轮廓相切；

在上述矩形在原切片和标注掩码图左上角对应位置同时生成一滑动窗口；

分别将原切片和掩码图滑动窗口内的元素保存为图像块与对应标签；

以设定步长依次向右和向下滑动窗口，直到越过矩形右下角。

3.根据权利要求1所述的基于UNet3+的乳腺癌病理切片图像分割预测系统，其特征在于，所述UNet3+编码器构建模块用于基于SeResNext搭建UNet3+的编码器，具体步骤为：

搭建ResNet网络的残差模块，构建压缩激活模块，依次级联一个全局池化、全连接层、Relu激活函数、全连接层和 sigmoid 激活函数；

在原始ResNet网络的残差模块后添加压缩激活模块；

缩放模块拼接原始ResNet网络每阶段原本要输出的特征图和压缩激活模块的特征图；

保留SeResNext每次下采样之前特征图，作为跳跃连接的输入。

4.根据权利要求1所述的基于UNet3+的乳腺癌病理切片图像分割预测系统，其特征在于，所述UNet3+解码器构建模块用于利用深度可分离卷积替换UNet3+的卷积层，通过全尺度的跳跃连接实现UNet3+的解码器搭建，具体步骤包括：

搭建每次级联两层 3×3深度可分离卷积层、批归一化层和Relu激活函数的解码器模块；

利用搭建的解码器模块，将UNet3+编码器和已搭建解码器的特征图调整到相同的分辨率完成拼接。

5.根据权利要求1所述的基于UNet3+的乳腺癌病理切片图像分割预测系统，其特征在于，所述训练模块用于基于动态随机负样本抽样策略训练 UNet3+神经网络，具体步骤包括：

根据预处理后的输入图片数据集生成数据集掩码；

统计生成数据集中阳性样本的数量，并用样本总数减去阳性样本的数量得到纯阴性样本的数量，若阴性样本数量大于阳性样本数量，则采用动态随机负样本抽样方法，若阴性样本数量小于阳性样本数量，采用数据集直接训练；

将统计得到的阳性样本和阴性样本的文件集合以一定形式分别保存起来，在训练之前从阴性样本抽随机抽取与阳性样本数量相同的阴性样本，将阳性样本和抽样之后的阴性样本合并，完成训练集的初始化；

基于CE-Dice损失函数计算网络输出与生成的真实标签的损失，并基于Adam优化器对UNet3+的参数进行优化，CE-Dice 损失函数表达如下：

当一次迭代结束之后，从生成的阴性样本文件集合中再次抽取与阳性样本数量相同的阴性样本，将阳性样本和阴性样本合并，生成新的训练集，直到训练结束。

6.根据权利要求1所述的基于UNet3+的乳腺癌病理切片图像分割预测系统，其特征在于，所述预测模块用于基于混叠密铺算法生成与病理切片图像大小相等的预测结果，具体步骤包括：

读取训练后的UNet3+神经网络的权重值；

原病理切片图像滑动窗口右移，若没有超出边界，则继续执行滑动窗口的坐标添加到数据生成器中，若超出病理切片图像边界则滑动窗口向左回溯，使窗口的右边界与病理切片图像的右边界重叠；

滑动窗口向下滑动，若没有超出切片下边界则继续执行，滑动窗口的坐标添加到数据生成器中，如果超出边界则用数据生成器以设定的批大小生成预测数据，使用加载过权重的神经网络对生成的图片进行预测，并将预测值按坐标对应相加；

当整张病理切片图像预测完成后，用生成的矩阵除以地图得到预测的浮点型结果。

Images