CN110838100A - 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 - Google Patents

Abstract

本发明公开了一种基于滑动窗口的结肠镜病理切片筛查与分割系统，包括计算机，计算机的存储器中存有筛查与分割模型，系统工作时，使用滑动窗口对原始巨型尺寸的病理切片图片裁剪为计算机可输入的小图像块，为了更好的提取图像的病变特征，使用基于海量自然图像分类任务中的特征提取模块作图像的特征提取器，然后基于先前特征图和相应位置的语义信息逐层恢复图像分辨率，从而获取更加准确的病变区域分割结果，最终，根据生成的分割结果输出病人患病的概率。利用本发明的系统，能有效辅助病理医生的筛查与诊断流程，大大降低阅片压力与时间成本，对欠发达地区的医疗发展有重要的意义。

Description

一种基于滑动窗口的结肠镜病理切片筛查与分割系统

技术领域

本发明属于医疗人工智能领域，尤其是涉及一种基于滑动窗口的结肠镜病理切片筛查与分割系统。

背景技术

结直肠癌是我国最常见的癌症之一，2014年我国结直肠癌的发病率和死亡率均位列所有癌症中的前五，也是近年来发病率上升最快的癌症，以年均4％-5％的速度递增，按此速度，预计数年后，结直肠癌将成为我国第一大癌症。

癌前病变和癌症的筛查可显著降低结直肠癌发病率和死亡率。基于结肠镜病理图像的检查是诊断和筛查消化系统癌症的黄金标准。这一过程由病理专家使用显微镜观察载玻片上的染色标本进行。近年来，数字病理学有了长足的发展，全视野数字切片技术(wholeslide image,WSI)使用扫描仪捕获整个载玻片并将其保存为高分辨率图像，使医疗条件落后的地区进行病例检查成为了可能，在发展中国家或农村地区的医院，这一技术有重要意义，患者的数字切片可递交给经验丰富的病例专家做出准确诊断。但是，由于WSI的图像尺寸非常大(通常约100000*100000像素)，因此对于病理专家而言，人工分析仍是一项枯燥且好事的工作。这些问题引起了医学成像界的广泛关注，并且对病理图像的自动分割进行了大量的研究。

在结肠镜检查中，病理医生可以从小组织切片中找到早期结肠肿瘤的细胞。由于相关数据的缺乏，专门针对结肠镜检查病理图像的结肠癌自动筛查和分割的算法，鲜有研究，因此提出一个自动化的结肠镜病理切片处理系统，辅助诊断结肠癌，是一个亟待解决的问题。

近年来，基于深度学习的卷积神经网络(Convolutional neural network，CNN)在计算机视觉领域的许多任务中显示出了相较传统算法的优势。其中，基于图像特征提取模块和形态重构模块的编码器-解码器结构的全卷积神经网络被广泛地应用于医学图像语义分割任务。然而，由于计算资源的限制，尺寸巨大的病理切片图像无法直接使用上述全卷积神经网络进行训练，且由于病理切片来自不同地区、机构，制片方式大不相同导致最终成像结果差异巨大，上述全卷积神经网络受限于其简单的特征提取模块，在结肠镜病理切片分割任务上的表现难以令人满意。

为了填补当前结肠镜病理切片自动诊断系统研究的空白，急需一种能够准确、快速的对病变区域进行自动筛查和分割的系统，并根据生成的分割结果输出病人患病的概率，从而辅助医生进行诊断。

发明内容

本发明提出了一种基于滑动窗口的结肠镜病理切片筛查与分割系统，可以输入患者的结肠镜病理切片图片，定位并勾画图像中的病变组织与细胞，最终根据疑似病变区域的严重程度，输出病人罹患癌症的概率，从而辅助医生进行诊断。

本发明的技术方案如下：

一种基于滑动窗口的结肠镜病理切片筛查与分割系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：

所述计算机存储器中存有筛查与分割模型，所述的筛查与分割模型使用预训练过的分类神经网络的图像提取模块作为病变特征提取模块；

所述计算机处理器执行所述计算机程序时实现以下步骤：

对待筛查的结肠镜病理切片进行二值化，应用滑动窗口将待筛查的结肠镜病理切片裁剪为小尺寸的图像块，并移除全部为背景的图像块；

将裁剪后的图像块中心化后输入到筛查与分割模型，针对每个图像块生成同等大小的预测概率图，其中每个像素点的值在(0,1)之间；

应用滑动窗口算法的逆过程，将切分后图像块的分割结果重新拼接，生成原始图像的分割结果，然后使用二值化阈值t，将完成过分割结果中所有小于t的的像素点置为0，反之置为1；

填补分割结果联通区域中的空洞，并移除面积小于100像素的区域，最后对所有连通区域的边界应用核大小为3的高斯滤波；

获得最终分割概率图后，计算结肠镜病理切片的整体癌变概率。

本发明的系统通过使用滑动窗口对原始巨型尺寸的病理切片图片裁剪为计算机可输入的小图像块，为了更好的提取图像的病变特征，使用基于海量自然图像分类任务中的特征提取模块作图像的特征提取器，然后基于先前特征图和相应位置的语义信息逐层恢复图像分辨率，最终获取更加准确的病变区域分割结果，最终，根据生成的分割结果输出病人患病的概率，能有效辅助病理医生的筛查与诊断流程，大大降低阅片压力与时间成本。

所述筛查与分割模型的获取过程为：

样本数据获取：按比例获取一定数量的病变样本和良性样本，对病变样本中的结肠镜病理切片图像进行人工标注，并将病变样本交予病理专家勾画病变区域；

随机裁切图片：使用滑动窗口算法将原始图片随机裁切为固定大小的小尺寸图像块，对于阳性样本，随机裁剪以病变区域为中心的小尺寸图像块，对于阴性样本，在随机位置进行裁剪；

样本数据预处理：使用多种数据增强方法增加样本的数据量，并使图像数据中心化；

模型搭建与训练：所述筛查与分割模型使用经过预训练的分类神经网络的图像提取模块作为病变特征提取模块；所述病变特征提取模块用于将输入的RGB三通道图像逐层转化为位置信息模糊但语义信息更加丰富的特征图，其分辨率逐层降低，然后使用上采样逐步恢复图像分辨率，在保留语义特征的同时加入左侧浅层特征图中的位置信息，最终输出和输入图像块相同大小的概率图，在像素点级别预测输入图像的病变概率，整体网络形成一个编码器-解码器的U型结构；

在训练时，利用样本数据，使用交叉熵损失作为模型损失函数，应用随机梯度下降算法优化模型，直到模型收敛或者达到预设的训练次数。

其中，样本数据获取时，保证病变样本与良性样本的比例小于1：3。同时，在采样阳性样本时，还应保证病变区域占图像总面积的比例分布均匀，避免出现过多大量包含大量病变区域的样本。

随机裁切图片时，对于阳性样本，以0.8的概率随机裁剪以病变区域为中心的小尺寸图像块。

样本数据预处理时，所述的数据增强方法包括对裁剪后的图像块进行水平翻转、垂直翻转、旋转角度、加入随机高斯噪声、随机形变、随机裁剪、随机颜色增强中的至少一种。

所述筛查与分割模型使用在ImageNet上预训练过的分类网络VGG-16作为特征提取器

训练模型时，设置模型学习率0.01，每个批次传入四个图像块训练模型，计算损失后更新模型的参数，模型将在所有数据训练500次后停止迭代。

使用如下公式计算结肠镜病理切片的整体癌变概率：

其中，H和W分别是原始图像的高和宽，y_i,j表示分割结果图中，第j列第i行的像素点的癌变概率。

与现有技术相比，本发明具有以下有益效果：

1、受限于计算资源，目前尚未有针对胃肠镜病理切片自动筛查与分割的算法研究，本发明提出的辅助装置可完成胃肠镜病理切片的一整套流程，对疑似癌变切片进行筛查，输出其癌变概率，并对癌变切片勾画病变区域；本发明的系统是解决上述问题的一个有效解决方案。

2、本发明使用在自然图像上预训练过的分类网络作为图像的特这个提取器，提取切片中的病变信息，比传统直接训练的方法速度更快，且能提取辨别性更强的特征，最终输出更加精确的分割结果。

3、本发明提出的基于滑动窗口的结肠镜病理切片筛查与分割系统能有效辅助病理医生的筛查与诊断流程，大大降低阅片压力与时间成本，对欠发达地区的医疗发展有重要的意义。

附图说明

图1为本发明一种基于滑动窗口的结肠镜病理切片筛查与分割系统的工作流程图；

图2为本发明的筛查与分割模型中病变特征提取模块的结构示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本发明基于真实结肠镜病理切片图像，为了处理举行尺寸的病理图像，首先使用滑动窗口算法将原始图像切分成相同大小的小尺寸图像块，然后传入神经网络中进行训练，在构建网络模型时，我们使用了在海量自然图像中经过预训练的分类网络的特征提取模块作为图像的编码器，提取病理图像中的病变特征，然后基于网络中每层的特征信息和位置信息，逐层回复图像分辨率，输出精确的病变区域分割结果。之后将图像块的分割结果拼接起来，恢复原始图像的大小，然后应用填洞、去除小区域、边界平滑等后处理方法，产生完整的病变区域勾画结果，最终根据预测病变区域结果，预测病人的癌变概率，完成筛查流程。

本发明的系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存有筛查与分割模型，筛查与分割模型使用预训练过的分类神经网络的图像提取模块作为病变特征提取模块。系统模型工作的具体流程如图1所示，包括以下步骤：

1)数据获取：

为了训练模型首先需要对结肠镜病理切片图像进行人工标注，并将病变样本交予病理专家勾画病变区域。由于真实样本中，病变样本的比例要远小于良性样本，因此为了保持数据分布的一致性，在获取训练数据的时候，要保证训练数据中恶性与良性样本的比例接近真实分布。此外，在采样阳性样本时，还应保证病变区域占图像总面积的比例分布均匀，避免出现过多大量包含大量病变区域的样本，以破坏模型的鲁棒性。

2)随机裁切图片：

由于计算资源的限制，巨型尺寸的原始图片无法直接传入模型训练，本发明将原始图片裁切为512*512大小的图像块，首先对原始图像应用大津法进行二值化，然后移除全部为背景的图像块，此类图像块通常对应载玻片中的切片间隙，为无用数据，这一方法可以筛除大约73％的无用样本，大大加快模型的计算速度。

在原始图像上随机位置进行裁切，对于阳性样本，以0.8的概率随机裁剪以病变区域为中心的图像块，提高模型对病变区域的辨识能力；对于阴性样本，在随机位置进行裁剪。将裁剪的图像块保存，作为下一阶段的训练数据。

3)数据预处理：

为了增加模型的鲁棒性，提高数据的利用效率，本发明使用多种数据增强方法增加训练数据量，具体地，对裁剪后的图像块进行水平、垂直翻转，旋转90°、180°、270°，加入随机高斯噪声，随机形变，随机裁剪，随机颜色增强，最终减去样本均值并除以样本方差，使图像数据中心化，然后传入网络进行训练

4)模型搭建与训练：

为了构建针对结肠镜病理切片分割的高性能筛查与分割网络，本发明使用迁移学习方法，将在海量自然图像上预训练过的分类神经网络的图像提取模块应用到本模型中，作为病变特征提取模块，其结构如图2所示。具体地，本发明使用在ImageNet上预训练过的分类网络VGG-16作为特征提取器，将输入的RGB三通道图像逐层转化为位置信息模糊但语义信息更加丰富的特征图，其分辨率逐层降低，然后使用上采样逐步恢复图像分辨率，在保留语义特征的同时加入左侧浅层特征图中的位置信息，最终输出和输入图像块相同大小的概率图，在像素点级别预测输入图像的病变概率，整体网络形成一个编码器-解码器的U型结构。

在U型结构左侧的编码器是图像的图整提取模块，使用在自然图像上经过预训练的分类模型，网络无需学习图像的通用语义特征，可以更好地专注于结肠镜病理切片图像中病变特征的学习，有效地加快了模型的训练速度，且提高了最终的分割效果。

在训练时，使用交叉熵损失作为模型损失函数，应用随机梯度下降算法优化模型，设置模型学习率0.01，每个批次传入四个图像块训练模型，计算损失后更新模型的参数，模型将在所有数据训练500次后停止迭代。

5)结肠镜病理切片图像筛查与诊断：

训练完成后，将本装置应用于结肠镜病理切片图像的筛查与诊断，流程如图1所示，具体包含以下几个步骤：

(5-1)应用滑动窗口裁剪图片，首先使用大津法生成病理全视野数字切片图像的二值图像，然后应用滑动窗口将原始图像裁剪为2048*2048大小的图像块，去除二值化结果中全为背景的图像块，减少不必要的运算。

(5-2)生成图像块分割结果，将切分后的图像块中心化后，传入网络进行运算，网络针对每个图像块生成同等大小的2048*2048预测概率图，其中每个像素点的值在(0,1)之间。

(5-3)生成完整切片分割结果，应用滑动窗口算法的逆过程，将切分后图像块的分割结果重新拼接，生成原始图像的分割结果，然后使用二值化阈值t，将玩真过分割结果中所有小于t的的像素点置为0，反之置为1。

(5-4)分割结果后处理，填补分割结果联通区域中的空洞，并移除面积小于100像素的区域，最后对所有连通区域的边界应用核大小为3的高斯滤波，使分割结果更加平滑。

(5-5)计算癌变概率，获得最终分割概率图后，使用如下公式计算切片癌变概率：

其中，H和W分别是原始图像的高和宽，y_i,j表示分割结果图中，第j列第i行的像素点的癌变概率，上述公式计算分割结果图中所有像素点的平均癌变概率，作为该整体切片的癌变概率。

利用本发明的系统，能有效辅助病理医生的筛查与诊断流程，大大降低阅片压力与时间成本，对欠发达地区的医疗发展有重要的意义。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于滑动窗口的结肠镜病理切片筛查与分割系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：

所述计算机存储器中存有筛查与分割模型，所述的筛查与分割模型使用预训练过的分类神经网络的图像提取模块作为病变特征提取模块；

所述计算机处理器执行所述计算机程序时实现以下步骤：

对待筛查的结肠镜病理切片进行二值化，应用滑动窗口将待筛查的结肠镜病理切片裁剪为小尺寸的图像块，并移除全部为背景的图像块；

将裁剪后的图像块中心化后输入到筛查与分割模型，针对每个图像块生成同等大小的预测概率图，其中每个像素点的值在(0,1)之间；

应用滑动窗口算法的逆过程，将切分后图像块的分割结果重新拼接，生成原始图像的分割结果，然后使用二值化阈值t，将完成过分割结果中所有小于t的的像素点置为0，反之置为1；

填补分割结果联通区域中的空洞，并移除面积小于100像素的区域，最后对所有连通区域的边界应用核大小为3的高斯滤波；

获得最终分割概率图后，计算结肠镜病理切片的整体癌变概率。

2.根据权利要求1所述的基于滑动窗口的结肠镜病理切片筛查与分割系统，其特征在于，所述筛查与分割模型的获取过程为：

样本数据获取：按比例获取一定数量的病变样本和良性样本，对病变样本中的结肠镜病理切片图像进行人工标注，并将病变样本交予病理专家勾画病变区域；

随机裁切图片：使用滑动窗口算法将原始图片随机裁切为固定大小的小尺寸图像块，对于阳性样本，随机裁剪以病变区域为中心的小尺寸图像块，对于阴性样本，在随机位置进行裁剪；

样本数据预处理：使用多种数据增强方法增加样本的数据量，并使图像数据中心化；

模型搭建与训练：所述筛查与分割模型使用经过预训练的分类神经网络的图像提取模块作为病变特征提取模块；所述病变特征提取模块用于将输入的RGB三通道图像逐层转化为位置信息模糊但语义信息更加丰富的特征图，其分辨率逐层降低，然后使用上采样逐步恢复图像分辨率，在保留语义特征的同时加入左侧浅层特征图中的位置信息，最终输出和输入图像块相同大小的概率图，在像素点级别预测输入图像的病变概率，整体网络形成一个编码器-解码器的U型结构；

在训练时，利用样本数据，使用交叉熵损失作为模型损失函数，应用随机梯度下降算法优化模型，直到模型收敛或者达到预设的训练次数。

3.根据权利要求2所述的基于滑动窗口的结肠镜病理切片筛查与分割系统，其特征在于，样本数据获取时，保证病变样本与良性样本的比例小于1：3；同时，在采样阳性样本时，还应保证病变区域占图像总面积的比例分布均匀，避免出现过多大量包含大量病变区域的样本。

4.根据权利要求2所述的基于滑动窗口的结肠镜病理切片筛查与分割系统，其特征在于，随机裁切图片时，对于阳性样本，以0.8的概率随机裁剪以病变区域为中心的小尺寸图像块。

5.根据权利要求2所述的基于滑动窗口的结肠镜病理切片筛查与分割系统，其特征在于，样本数据预处理时，所述的数据增强方法包括对裁剪后的图像块进行水平翻转、垂直翻转、旋转角度、加入随机高斯噪声、随机形变、随机裁剪、随机颜色增强中的至少一种。

6.根据权利要求2所述的基于滑动窗口的结肠镜病理切片筛查与分割系统，其特征在于，所述筛查与分割模型使用在ImageNet上预训练过的分类网络VGG-16作为特征提取器。

7.根据权利要求2所述的基于滑动窗口的结肠镜病理切片筛查与分割系统，其特征在于，训练模型时，设置模型学习率0.01，每个批次传入四个图像块训练模型，计算损失后更新模型的参数，模型将在所有数据训练500次后停止迭代。

8.根据权利要求1所述的基于滑动窗口的结肠镜病理切片筛查与分割系统，其特征在于，使用如下公式计算结肠镜病理切片的整体癌变概率：

其中，H和W分别是原始图像的高和宽，y_i,j表示分割结果图中，第j列第i行的像素点的癌变概率。