CN111091527B - 一种病理组织切片图像中病变区域自动检测方法及系统 - Google Patents

Abstract

本发明公开了一种组织病理切片图像中病变区域的自动检测方法及系统，其中，方法的实现包括：对组织病理切片图像进行前景分割，提取细胞组织区域得到前景图像；使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测所述前景图像中的不同类型的病变区域；对检测到的不同类型的病变区域进行形态学后处理，以去除不同类型病变区域之间细的连接，并填充空洞，从而得到各不同类型的病变区域的轮廓；利用结合全局形状信息建立的形变模型优化各不同类型的病变区域的轮廓，以完成整个病理组织切片图像中病变区域的自动检测。本发明提出的深度语义分割网络和形变模型结合的方式，可以整合先验知识和全局信息，提高语义分割的准确性。

Description

一种病理组织切片图像中病变区域自动检测方法及系统

技术领域

本发明属于医学病理图像处理领域，更具体地，涉及一种基于深度语义分割网络和形变模型的病理组织切片图像中病变区域自动检测方法及系统。

背景技术

乳腺癌是女性最常见的恶性肿瘤之一，女性恶性肿瘤发病率极高。临床上，乳腺癌的早期筛查通常包括触诊和定期检查，使用乳房X光检查或超声成像进行初步检测，如果检测显示恶性组织生长的可能性，就会进行乳腺活组织病理检查。病理学家根据乳腺病理图像区分正常组织、良性和恶性病变并进行预后评估。精确的病理图像检测和分类是病理学家做出最佳治疗方案的重要依据。但目前，基于人工的病理图像检测不仅费时费力，而且诊断结果容易受许多主观人为因素影响。因此，对病理图像中的癌变区域进行自动检测和准确分类，不仅可以提高诊断效率，减轻医生的劳动强度，还可以为医生提高更加客观、准确的诊断结果，具有非常重要的临床应用价值。

近年来，随着硬件计算能力的不断提高，深度卷积神经网络被广泛应用于医疗病理图像辅助诊断中。与传统的手工特征提取方法相比，深度卷积神经网络通过优化损失函数自动从训练图像块中学习有用的特征，在图像分类和语义分割领域中取得了巨大的成功。但这种方法应用在组织切片肿瘤区域识别上存在一定缺陷：难以编码组织区域的全局形状信息。具体而言，病理切片图像通常以亚微米分辨率成像，整张组织切片在厘米尺度，因此切片能达到10⁵×10⁵数量级的像素。组织切片内的肿瘤区域大小从几百到上万不等，跨度非常大。当前主流深度卷积神经网络主要是为计算机视觉领域里自然场景对象识别设计的，这些图像数据通常包含10²×10²数量级的像素，图像所含物体的尺度一般不超过图像本身的宽度。另外受限于硬件的限制，深度卷积神经网络所能处理的图像尺度一般小于10³×10³像素。因此，对于较大的肿瘤区域，只能通过拆分为图像块，然后分别识别最终合并识别结果。但是这种做法会导致单个肿瘤区域无法得到一致性的识别结果：来自单个肿瘤区域的不同的图像块的识别结果可能存在不一致性。这表明直接应用现有的卷积神经网络，由于尺度的原因，网络模型难以编码组织区域的全局信息。针对上述问题，需要结合病理组织切片图像特点研究建立有效分割办法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种病理组织切片图像中病变区域自动检测方法及系统，由此解决现有基于深度卷积神经网络的病理图像检测存在的单个病变区域识别结果不一致的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种组织病理切片图像中病变区域自动检测方法，包括：

对组织病理切片图像进行前景分割，提取细胞组织区域得到前景图像；

使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测所述前景图像中的不同类型的病变区域，其中，所述前景图像中的每个像素被分为正常组织、良性肿瘤、原位癌及浸润癌四种类型；

对检测到的不同类型的病变区域进行形态学后处理，以去除不同类型病变区域之间细的连接，填充空洞，并对检测结果中同一区域共存的不同类型病变组织进行修正，从而得到各不同类型的病变区域的轮廓；

利用结合全局形状信息建立的形变模型优化各不同类型的病变区域的轮廓，以完成整个病理组织切片图像中病变区域的自动检测。

优选地，所述对组织病理切片图像进行前景分割，提取细胞组织区域得到前景图像，包括：

由

基于RGB三个通道的极差作为阈值保留彩色区域，以提取细胞组织区域得到前景图像，其中，I是组织病理切片RGB数字图像，thre_RGB表示RGB三个通道极差的阈值，I_binary表示通过对RGB三个通道的极差作阈值得到的二值化图像，

和

表示对图像I中每个像素求RGB的最大值和最小值。

优选地，所述使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型，包括：

保留深度残差网络结构中的前三个残差模块，将所述深度残差网络结构中的第四个残差模块替换为第一间距的空洞卷积模块得到第一结构，并将由第二间距的空洞卷积模块、第三间距的空洞卷积模块、第四间距的空洞卷积模块及卷积核大小为p×p的空洞卷积模块并联后构成的多尺度空洞卷积结构串联在所述第一结构之后，得到所述语义分割网络模型的结构。

优选地，在所述使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测所述前景图像中的不同类型的病变区域之前，所述方法还包括：

从各组织病理切片图像中，随机选择若干张良性肿瘤图像块，若干张原位癌图像块，若干张浸润癌图像块和若干张正常组织图像块组成样本集，并将所述样本集随机拆分成训练样本集和验证样本集两部分；

调用基于ImageNet数据集的权值初始化语义分割网络模型中的残差网络部分，语义分割网络模型中的空洞卷积模块随机初始化，在第一轮训练开始之前，将语义分割网络模型中的前两个残差模块的卷积层参数设置为不可学习，其他层设置为可学习，采用交叉熵作为损失函数，在第一轮训练过程中，若所述训练样本集的损失函数和所述验证样本集的损失函数满足预设要求且两者的损失函数之间的差异在预设范围内，则停止第一轮训练得到第一轮网络模型；

使用所述第一轮网络模型测试所述训练样本集中的图像块，挖掘出被错误分类的像素，在错误分类的像素里随机挑选若干种子点并以挑选出的种子点为中心提取预设大小的图像块作为第二轮训练的困难样本，将所述困难样本和所述训练样本集按预设比例组合重新构成第二轮训练样本集，并利用所述第二轮训练样本集训练所述第一轮网络模型，得到训练后的语义分割网络模型。

优选地，所述使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测所述前景图像中的不同类型的病变区域，包括：

将所述前景图像在水平和垂直方向同时划分得到划分后的图像块，其中，在划分过程中保证相邻图像块间存在重合；

利用训练后的所述语义分割网络模型分割所有划分后的图像块，并根据各图像块在所述前景图像中的相对位置融合由训练后的所述语义分割网络模型得到的所有分割结果，得到和所述前景图像等尺寸的四通道分割图，其中，每个通道代表一种类型，且每个像素只能取一个类型。

优选地，所述对检测结果中同一区域共存的不同类型病变组织进行修正，包括：

计算同一区域共存的两种类型的病变组织图像块的面积，将第一面积的病变组织图像块的类型作为所述区域的主要类型，若第二面积的病变组织图像块的面积小于预设面积阈值则将所述第二面积的病变组织图像块的类型修正为所述主要类型，若所述第二面积的病变组织图像块的面积大于等于所述预设面积阈值，则保留所述第二面积的病变组织图像块的类型，其中，所述第一面积大于所述第二面积。

优选地，所述利用结合全局形状信息建立的形变模型优化各不同类型病变区域的轮廓，包括：

通过E_snake＝E_int+E_ext构造形变模型，在所述形变模型最小值驱动下，病变区域的轮廓曲线逐渐逼近真实轮廓，其中，E_int是内部能量项，表示病变区域的轮廓曲线的光滑性和连续性，E_ext为外部能量项，表示病变区域的轮廓曲线包含的区域与训练后的语义分割网络预测的病变区域的面积比，其中，所述形变模型的约束条件为病变区域的轮廓曲线必须包含训练后的语义分割网络预测的病变区域。

优选地，

其中，C(s)表示病变区域的轮廓曲线，

表示轮廓曲线C(s)的一阶导数，

表示轮廓曲线C(s)的二阶导数，α和β是加权系数。

优选地，外部能量项E_ext为：

其约束条件为：

其中，A_C是轮廓曲线C(s)所包含区域的面积，

是根据训练后的语义分割网络预测的病变区域提取的轮廓曲线所含区域的面积，

是轮廓曲线C(s)和根据训练后的语义分割网络预测的病变区域提取的轮廓曲线所含区域的交集部分的面积，γ为系数。

按照本发明的另一方面，提供了一种组织病理切片图像中病变区域的自动检测系统，包括：

分割模块，用于对组织病理切片图像进行前景分割，提取细胞组织区域得到前景图像；

第一检测模块，用于使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测所述前景图像中的不同类型的病变区域，其中，所述前景图像中的每个像素被分为正常组织、良性肿瘤、原位癌及浸润癌四种类型；

后处理模块，用于对检测到的不同类型的病变区域进行形态学后处理，以去除不同类型病变区域之间细的连接，填充空洞，并对检测结果中同一区域共存的不同类型病变组织进行修正，从而得到各不同类型的病变区域的轮廓；

第二检测模块，用于利用结合全局形状信息建立的形变模型优化各不同类型的病变区域的轮廓，以完成整个病理组织切片图像中病变区域的自动检测。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明能够利用基于深度残差卷积网络结构和多尺度空洞卷积结构的深度语义分割网络快速得到病变区域初步分割结果，然后通过形态学后处理和建立形变模型整合先验知识与全局信息，对初步分割结果的轮廓边界进行优化，得到准确的病变组织分割结果，可以解决现有基于深度卷积神经网络的病理图像检测存在的单个病变区域识别结果不一致的技术问题。

2、本发明将人工智能与医疗影像有效的结合到一起，采用了基于深度残差卷积网络和多尺度空洞卷积结构的语义分割网络模型自动检测病理切片图像中的多种类型病变区域，该网络模型具有以下优点：相比传统逐像素分类的方法，语义分割模型能直接输出所有像素的类别信息，速度快；增加多尺度的空洞卷积结构能够有效扩大感受野范围，更好地编码病变区域的图像特征，提高分割准确度。

3、本发明通过建立形变模型优化边界轮廓，解决了卷积神经网络难以编码大尺度病变区域的全局信息的问题。该形变模型的优点是，在噪声很大的情况下，依然可以获得连续且平滑的闭合分割边界，对提高分割精度有一定作用。

4、本发明不仅可以用于乳腺组织病理切片图像，对其他组织癌症的病理切片图像亦适应。

附图说明

图1是本发明实施例提供的一种组织病理切片图像中病变区域自动检测方法的流程示意图；

图2是本发明实施例提供的一种组织病理切片图像中病变区域自动检测方法的实验结果图；

图3是本发明实施例提供的一种组织病理切片图像中病变区域自动检测方法的基于深度残差网络和多尺度空洞卷积的语义分割网络的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而非用于描述特定顺序。

本发明提供了一种基于深度语义分割网络和形变模型的组织病理切片中病变区域自动检测方法及系统，能够利用基于深度残差卷积网络结构和多尺度空洞卷积结构的深度语义分割网络快速得到病变区域初步分割结果，然后通过形态学后处理和建立形变模型整合先验知识与全局信息，对初步分割结果的轮廓边界进行优化，得到准确的病变组织分割结果。

如图1所示为本发明实施例提供的组织病理切片图像中病变区域自动检测方法的流程示意图，在图1所示的方法中，包括以下步骤：

S1、对组织病理切片图像进行前景分割，提取细胞组织区域得到前景图像；

在本发明实施例中，基于RGB三个颜色通道的极差作为阈值筛选出前景区域，具体如下公式：

其中，I是组织病理切片RGB数字图像，通过对RGB三个通道的极差作阈值得到二值化图像I_binary，thre_RGB表示RGB三个通道极差的阈值，

和

表示对图像I中每个像素求RGB的最大值和最小值。

本发明实施例中的二值化方式的根据是：组织病理切片图像通常用苏木精和伊红(H&E)染色，染色会使细胞核呈紫色，使细胞质呈粉红色，而背景区域呈现白色或灰色，因此越是彩色的区域越可能是组织区域。RGB三个通道值越均一则颜色越灰，极差越大则颜色越彩，因此把极差作为阈值，保留彩色区域，进而得到最终的前景图像。

S2、使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测前景图像中的不同类型的病变区域，其中，前景图像中的每个像素被分为正常组织、良性肿瘤、原位癌及浸润癌四种类型；

图像语义分割是分割出图像中感兴趣的语义，给出语义的具体位置信息，即判断图像中每个像素的类别。图像语义分割和图像分类的差异是：除了判断图像里的语义信息还需要给出语义的具体轮廓位置信息。语义信息是高层级的信息，而轮廓位置信息则是低层级信息。经典的分类网络一般通过池化层使得特征图尺寸减半，这种操作有助于提取高层级语义信息减少低层级的冗余图像信息，但是对于语义分割而言这种操作会损失轮廓位置信息。因此，在经典分类卷积网络基础上通过改变结构，发展出了若干语义分割网络包括：全卷积神经网络FCN、基于跨层结构的U-Net、基于编码解码的网络和基于空洞卷积的语义分割网络。FCN和U-Net都是通过融合含有位置信息的低层级特征图和含有语义信息的高层级特征图的方式实现语义分割。编码解码的网络结构则是通过记录在编码阶段(即卷积提取特征阶段)池化时的位置信息，然后在解码阶段使用记录的池化位置信息来上采样对应的特征图。基于空洞卷积的网络则是通过加大卷积核的间距使得卷积能够在不使用池化层时仍能编码大尺度的图像特征，同时保留特征图里的位置信息。基于空洞卷积的语义分割网络相比其他网络，网络层数更少，更容易收敛。因此，在本发明实施例中，优选基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络来检测前景图像中的不同类型的病变区域。

在一个可选的实施方式中，如图3所示，可以采用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型。组织病理切片图像中的每个像素被分为4类：正常组织、良性肿瘤、原位癌及浸润癌。基于残差网络结构和多尺度空洞卷积结构的语义分割网络模型相比逐像素分类的策略更有效率，能一次性输出输入图像上每个像素的类别。常用的深度残差网络包括ResNet-34、ResNet-50和ResNet-101等，综合考虑网络计算成本、网络的容量和病理切片图像特点，在本发明实施例中，优选使用ResNet-50。

如图3所示，具体网络结构的构造过程如下：保留深度残差网络ResNet-50的前3个残差模块，将第4个残差模块替换为第一间距为k的空洞卷积模块，将第二间距为l、第三间距为m、第四间距为n的三个空洞卷积模块和p×p的卷积模块并联在一起然后串联在前述结构后面，得到语义分割网络模型的结构。

其中，k、l、m、n及p的值可以根据实际需要确定，在本发明实施例中，k优选为2，l优选为4，m优选为8，n优选为12，p优选为1。

在本发明实施例中，语义分割网络的具体训练步骤为：

首先制作训练样本：在切片图像中随机撒种子点，以该种子点为中心取指定大小的图像块，同步地从掩码图像中取对应位置的图像块，这样得到一对原始图像块和掩码图像块，即一个训练样本。掩码图像是根据人工在切片图像中标注的病变区域生成的。原始图像块是语义分割网络的输入，掩码图像是语义分割网络的理想输出，学习算法根据理想输出和分割网络的实际输出间的差异优化分割网络的权值参数。这一步骤存在两个关键点：图像块的大小，四类病变区域数量的不均衡。由于组织病理切片图像中病变组织的尺度跨度非常大，目前的计算硬件和深度卷积网络很难直接兼顾到所有的尺度，因此，在本发明实施例中，可以尽量取较大的图像块尺寸，如960×960，使得大尺度的病变组织块尽量少地被拆分。另一个是作为训练集的组织切片中正常组织、良性肿瘤组织、原位癌组织和浸润性癌组织这四类组织的数量相差非常多，训练时各类样本不均衡会导致数量多的样本“吃掉”数量少的样本(数量少的样本在损失函数中占比低)。因此，在本发明实施例中，可以采用各类再抽样的方式解决该问题。具体而言：按四类区域撒种子点，将获得的样本存于四个文件夹，训练时每次从四个文件夹中分别随机抽取相等数量的样本作为训练样本；

第一轮网络训练：采用迁移学习的方式训练上述语义分割网络模型。因为上述构造的语义分割网络模型非常深，如果直接用有限的组织切片图像数据训练，网络容易过拟合。因此，在本发明实施例中，可以采用迁移学习的方式训练该网络。具体是调用基于ImageNet数据集的权值初始化卷积神经网络语义分割网络中的残差网络部分，空洞卷积模块随机初始化。在训练开始之前，将前两个残差模块之前的卷积层参数冻结(设置为不可学习)，其他层设置为可学习，同时对最后两个卷积块的卷积层参数进行细化，得到第一轮的训练网络。采用交叉熵作为损失函数，采用Adam算法更新网络权值。通过观察训练集和验证集的损失函数曲线，如果训练集和验证集的损失函数均满足预设要求且两者的损失函数之间的差异在预设范围内，即可停止第一轮训练。

其中，预设要求和预设范围可以根据实际需要确定，例如预设要求为两者的损失函数都非常小，预设范围为两者的损失函数之间相差不大。

第二轮网络训练：困难样本挖掘。使用第一轮训练好的网络模型测试训练集中的图像块，在第一轮训练结果中找到挖掘出被错误分类的像素(如假阳性和假阴性)，并在错分像素里随机挑选若干种子点并以挑选出的种子点为中心提取预设大小的图像块作为第二轮训练的困难样本，将困难样本和第一轮的训练样本按比例组合重新构成第二轮训练样本集，由重新构成的第二轮训练样本集进行第二轮网络学习训练，直至得到语义分割网络模型。其中，在本发明实施例中，类似的困难样本挖掘过程可以进行多次。

在本发明实施例中，预设大小可以根据实际需要确定。

在本发明实施例中，训练好的语义分割网络在使用时的具体步骤为：

切片图像冗余划分：将切片图像在水平和垂直方向同时划分，且相邻块间存在重合。以水平方向为例，假设切片宽为L，图像块的宽为w，相邻块在水平方向重合的宽度为s，水平方向划分的数量为n，那么这几个量之间存在下述关系：L＝w×n–(n-1)×s。相邻块之间保留冗余是为了降低块边界对分割结果的影响：边界处的组织在相邻块分割结果不一致。

融合图像块的分割结果：应用训练好的语义分割网络模型分割所有划分的图像块，并根据图像块在切片中的相对位置融合所有分割结果。相邻块的冗余部分，存在多种分割结果，可以从中选择语义分割结果概率最大的作为冗余部分的分割结果。

如图2所示，上述语义分割网络输出的病变组织分割结果存在分割不一致的问题：较大的病变组织需要拆分为若干图像块，然后拼接单个图像块的分割结果。虽然采用了冗余分块的策略降低块边界的影响，但是在整个病变组织尺度上，这种拆分拼接的识别方式缺乏全局信息，导致得到的病变组织分割结果缺乏一致性：轮廓不合理、不同类型病变组织在空间上重叠。在本发明实施例中，可以通过形态学后处理的方式解决不同类型病变组织在空间上重叠的问题，通过结合全局形状信息的形变模型解决轮廓不合理的问题。

S3、对检测到的不同类型的病变区域进行形态学后处理，以去除不同类型病变区域之间细的连接，填充空洞，并对检测结果中同一区域共存的不同类型病变组织进行修正，从而得到各不同类型的病变区域的轮廓；

在本发明实施例中，形态学后处理包括：经过融合图像块分割结果，得到和切片图像等尺寸的四通道分割图，每个通道代表一种类型，每个像素只能取一个类型。在每个类型对应的通道上，可以采取形态闭操作、填充空洞操作和滤除面积小于预设面积阈值的连通域这些处理使得分割结果更连续且消除分割结果中的噪声。

但是存在一个问题，在同一个区域上可能共存两种类型的组织，即一个类型的组织处于另一个类型的内部。一般而言这是不合理的，因此，在本发明实施例中，可以采取下述方法解决这个问题:计算共存的两种类型的组织块的面积，将面积大的组织块的类型作为该区域的主要类型，如果面积小的组织块的面积小于预设面积阈值则将该组织块的类型改为主要类型，如果面积小的组织块的面积大于等于预设面积阈值则保留该组织块的类型。图2展示了对语义分割网络输出的分割图进行形态学后处理后的结果，有效地解决了上述问题。

其中，其中，预设面积阈值可以根据实际需要进行确定。

S4、利用结合全局形状信息建立的形变模型优化各不同类型的病变区域的轮廓，以完成整个病理组织切片图像中病变区域的自动检测。下面是详细的建模和求解过程。

本发明实施例设计的形变模型主要考虑以下两个方面：病变区域外轮廓曲线的光滑性；优化之后的病变区域外轮廓曲线应该尽可能地包含语义分割网络预测的分割结果，同时尽可能不包含其他区域。

采用了改进的snake模型，通过构造能量泛函，在能量泛函最小值驱动下，病变区域的轮廓曲线逐渐逼近真实的轮廓。

首先，定义I(x,y)为组织病理切片RGB数字图像，C(s)＝C(x(s),y(s))是轮廓演化曲线，表示迭代过程中逐渐演变的轮廓曲线，s是轮廓演化曲线上的一系列点的集合。

然后，构造的能量泛函为：

E_snake＝E_int+E_ext

其中，E_int是内部能量项，表示病变区域的外轮廓曲线的光滑性和连续性；E_ext是外部能量项。在本发明实施例中，要求轮廓演化曲线能够尽可能的包含语义分割网络预测的病变区域，同时尽可能不包含其他区域，因此E_ext被定义为轮廓演化曲线包含区域与语义分割网络预测的病变区域的面积比。此外，该模型具有约束条件，即轮廓演化曲线必须包含分割网络预测的病变区域。

内部能量被定义为：

其中，C(s)表示病变区域的轮廓曲线，

表示曲线的一阶导数，

表示曲线的二阶导数，α和β是加权系数。

外部能量项和约束条件定义为：

其中，A_C是轮廓演化曲线所包含区域的面积，

是初始化的轮廓曲线所含区域的面积(初始化的轮廓曲线是根据语义分割网络预测的病变区域提取的轮廓曲线)，

是轮廓演化曲线和初始轮廓曲线所含区域的交集部分的面积。

最终，形变模型的目标能量函数被定义为：

有约束条件的最小化问题可以转化为无约束最小化问题，如下所示：

求解形变模型。根据欧拉-拉格朗日方程求得上述泛函极值问题的必要条件。根据样条插值方法将轮廓曲线C(s)离散化为一系列等距的点。这样整个问题转化成若干点的更新迭代的数值问题。

图2展示了应用上述形变模型优化之后的病变区域轮廓，极大改善了网络分割的初始轮廓。

本发明实施例还提供了一种组织病理切片图像中病变区域的自动检测系统，包括：

分割模块，用于对组织病理切片图像进行前景分割，提取细胞组织区域得到前景图像；

第一检测模块，用于使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测所述前景图像中的不同类型的病变区域，其中，所述前景图像中的每个像素被分为正常组织、良性肿瘤、原位癌及浸润癌四种类型；

后处理模块，用于对检测到的不同类型的病变区域进行形态学后处理，以去除不同类型病变区域之间细的连接，填充空洞，并对检测结果中同一区域共存的不同类型病变组织进行修正，从而得到各不同类型的病变区域的轮廓；

第二检测模块，用于利用结合全局形状信息建立的形变模型优化各不同类型的病变区域的轮廓，以完成整个病理组织切片图像中病变区域的自动检测。

其中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例将不作复述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种组织病理切片图像中病变区域的自动检测方法，其特征在于，包括：

对组织病理切片图像进行前景分割，提取细胞组织区域得到前景图像；

从各组织病理切片图像中，随机选择若干张良性肿瘤图像块，若干张原位癌图像块，若干张浸润癌图像块和若干张正常组织图像块组成样本集，并将所述样本集随机拆分成训练样本集和验证样本集两部分；

调用基于ImageNet数据集的权值初始化语义分割网络模型中的残差网络部分，语义分割网络模型中的空洞卷积模块随机初始化，在第一轮训练开始之前，将语义分割网络模型中的前两个残差模块的卷积层参数设置为不可学习，其他层设置为可学习，采用交叉熵作为损失函数，在第一轮训练过程中，若所述训练样本集的损失函数和所述验证样本集的损失函数满足预设要求且两者的损失函数之间的差异在预设范围内，则停止第一轮训练得到第一轮网络模型；

使用所述第一轮网络模型测试所述训练样本集中的图像块，挖掘出被错误分类的像素，在错误分类的像素里随机挑选若干种子点并以挑选出的种子点为中心提取预设大小的图像块作为第二轮训练的困难样本，将所述困难样本和所述训练样本集按预设比例组合重新构成第二轮训练样本集，并利用所述第二轮训练样本集训练所述第一轮网络模型，得到训练后的语义分割网络模型；使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测所述前景图像中的不同类型的病变区域，其中，所述前景图像中的每个像素被分为正常组织、良性肿瘤、原位癌及浸润癌四种类型；所述使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型检测所述前景图像中的不同类型的病变区域，包括：

将所述前景图像在水平和垂直方向同时划分得到划分后的图像块，其中，在划分过程中保证相邻图像块间存在重合；

利用训练后的所述语义分割网络模型分割所有划分后的图像块，并根据各图像块在所述前景图像中的相对位置融合由训练后的所述语义分割网络模型得到的所有分割结果，得到和所述前景图像等尺寸的四通道分割图，其中，每个通道代表一种类型，且每个像素只能取一个类型；

对检测到的不同类型的病变区域进行形态学后处理，以去除不同类型病变区域之间细的连接，填充空洞，并对检测结果中同一区域共存的不同类型病变组织进行修正，从而得到各不同类型的病变区域的轮廓；

利用结合全局形状信息建立的形变模型优化各不同类型的病变区域的轮廓，以完成整个病理组织切片图像中病变区域的自动检测。

2.根据权利要求1所述的方法，其特征在于，所述对组织病理切片图像进行前景分割，提取细胞组织区域得到前景图像，包括：

由

基于RGB三个通道的极差作为阈值保留彩色区域，以提取细胞组织区域得到前景图像，其中，I是组织病理切片RGB数字图像，thre_RGB表示RGB三个通道极差的阈值，I_binary表示通过对RGB三个通道的极差作阈值得到的二值化图像，

和

表示对图像I中每个像素求RGB的最大值和最小值。

3.根据权利要求1所述的方法，其特征在于，所述使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络模型，包括：

保留深度残差网络结构中的前三个残差模块，将所述深度残差网络结构中的第四个残差模块替换为第一间距的空洞卷积模块得到第一结构，并将由第二间距的空洞卷积模块、第三间距的空洞卷积模块、第四间距的空洞卷积模块及卷积核大小为p×p的空洞卷积模块并联后构成的多尺度空洞卷积结构串联在所述第一结构之后，得到所述语义分割网络模型的结构。

4.根据权利要求1所述的方法，其特征在于，所述对检测结果中同一区域共存的不同类型病变组织进行修正，包括：

计算同一区域共存的两种类型的病变组织图像块的面积，将第一面积的病变组织图像块的类型作为所述区域的主要类型，若第二面积的病变组织图像块的面积小于预设面积阈值则将所述第二面积的病变组织图像块的类型修正为所述主要类型，若所述第二面积的病变组织图像块的面积大于等于所述预设面积阈值，则保留所述第二面积的病变组织图像块的类型，其中，所述第一面积大于所述第二面积。

5.根据权利要求4所述的方法，其特征在于，所述利用结合全局形状信息建立的形变模型优化各不同类型病变区域的轮廓，包括：

通过E_snake＝E_int+E_ext构造形变模型，在所述形变模型最小值驱动下，病变区域的轮廓曲线逐渐逼近真实轮廓，其中，E_int是内部能量项，表示病变区域的轮廓曲线的光滑性和连续性，E_ext为外部能量项，表示病变区域的轮廓曲线包含的区域与训练后的语义分割网络预测的病变区域的面积比，其中，所述形变模型的约束条件为病变区域的轮廓曲线必须包含训练后的语义分割网络预测的病变区域。

6.根据权利要求5所述的方法，其特征在于，

其中，C(s)表示病变区域的轮廓曲线，

表示轮廓曲线C(s)的一阶导数，

表示轮廓曲线C(s)的二阶导数，α和β是加权系数。

7.根据权利要求6所述的方法，其特征在于，外部能量项E_ext为：

其约束条件为：

其中，A_C是轮廓曲线C(s)所包含区域的面积，

是根据训练后的语义分割网络预测的病变区域提取的轮廓曲线所含区域的面积，

是轮廓曲线C(s)和根据训练后的语义分割网络预测的病变区域提取的轮廓曲线所含区域的交集部分的面积，γ为系数。

Images