CN111968127A - 一种基于全切片病理图像的癌灶区域识别方法及系统 - Google Patents

Abstract

本发明提出一种基于病理图像的癌灶区域识别方法及系统，包括：获取多幅已标注标签的病理图像，每一幅病理图像具有标记癌灶区域的内容标签和癌灶轮廓的轮廓标签；构建包括编码器、内容解码器和轮廓解码器的图片分类模型，编码器用于下采样图像得到下采样特征图，轮廓解码器根据下采样特征图，解码得到廓解特征图，轮廓解码器具有到内容解码器的跳跃连接，通过跳跃连接内容解码器根据下采样特征图和廓解特征图，解码得到内容特征图；将已标注标签病理图像输入至图片分类模型，用联合监督的方式同时训练图片分类模型执行内容识别和轮廓识别任务，并计算损失函数，通过损失更新图片分类模型作为癌灶区域识别模型；通过癌灶区域识别模型识别癌灶区域。

Description

一种基于全切片病理图像的癌灶区域识别方法及系统

技术领域

本发明涉及图像处理技术领域，并特别涉及一种基于全切片病理图像的癌灶区域识别方法及系统。

背景技术

在计算机辅助医疗技术领域，对于全切片病理图像(WSI)的癌灶区域识别拥有很广阔的应用前景。除了直接辅助医生诊断，癌灶区域识别技术也可以作为众多复杂技术的基础工作，比如癌细胞分割、癌症分类分级和预测病人的预后。

一个经典的方法是将这项任务作为分类问题，将全切片病理图像切分为细小的图块并在图块级别进行标注，训练基于CNN的图像分类器进行癌灶/非癌灶分类。如Nicolas等人在研究非小细胞肺癌的突变基因预测的过程中训练了一个基于InceptionV3的癌灶分类器，而Jakob等人在构建胃肠癌微卫星不稳定性预测模型之前，也训练了一个基于ResNet18的癌灶分类器，用它的输出作为主模型的输入。在近年来的相关比赛中，分类方法也很常用。如在2016年，IEEE国际生物医学影像研讨会(ISBI)组织了Camelyon16 Challenge来检测淋巴结中的癌症转移，并提供了400个WSI上的标注。这次比赛的获胜者Wang等的主要方法是首先将WSI切成大小为256×256像素的图块，并训练GoogLeNet模型检测癌症区域。

目前有一些工作在其他癌种上尝试了语义分割方法。例如，Guo等人在乳腺上将分类方法与语义分割方法结合，首先使用分类模型Inception-v3预先选择肿瘤区域，然后采用语义分割模型DCNN进行细分。这项工作在Camelyon16数据集上得到了领先的分数和性能。Chen等人通过改装光学显微镜，实现了乳腺癌和前列腺癌癌灶区域的实时检测。他们提出的神经网络使用的是1000×1000像素的尺寸，但显微镜视野更大，达到了5120×5120像素，因此，需要滑动窗口来逐步处理整张大图。为了提高速度，他们将完全卷积网络(FCN)应用到了InceptionV3深度学习构架中，组成了InceptionV3-FCN，减少了75％的计算量。

对于那些基于成熟的图像分类模型的癌灶检测器，其分类效果已经得到证明。但是图块级别的标注对于癌灶区域检测的任务来讲较为粗糙，容易引入噪声或者因为数据清洗产生信息利用不全的情况。相比之下，适用于语义分割的标注方法理论上可以在像素级别上标注出癌灶区域，而语义分割方法也能最大程度地利用WSI的信息并避免噪音，发展前景更为广阔。

但是，现有语义分割模型的思路大多是直接学习癌灶区域本身的模式，却忽略了癌灶区域一个十分重要的特点——边缘的模糊性。由于癌灶区域是由癌细胞组成，在形态学上它的边缘十分复杂，具有非常多的可能性，因此经常需要专业的病理学家进行鉴定。这个特点使得病理图像上的癌灶区域分割的边界问题比自然图像更复杂，需要额外的注意。另外在模型框架的选择上，Ronneberger等人为解决医学图像语义分割问题提出的U-Net是更值得尝试的，其在细胞核分割等任务上的表现出色。

发明内容

本发明的目的是解决上述现有技术的难以对癌灶区域边缘信息进行准确识别的问题，提出了一种基于U-Net的新模型TriangleNet，用轮廓解码器帮助内容解码器更好地提取癌灶区域的边缘信息，从而提升分割的分数。为了加强效果，设计了解码器之间的跳跃连接和改进过的损失函数。

本发明包括以下关键点：

关键点1，引入多任务学习的思想，在改进版U-Net的基础上添加了一个并行的轮廓解码器作为副任务。除了用癌灶区域的mask数据对主任务进行监督之外，同时导出了癌灶轮廓mask数据对副任务进行监督。技术效果：通过多任务学习模型的共享参数机制，用癌灶轮廓数据的监督使整个模型更注重癌灶轮廓信息；

关键点2，为了加强两个任务的信息融合，除了共用一个编码器之外，我们创造性地建立了轮廓解码器到内容解码器的跳跃连接。技术效果：可以让内容解码器在不同分辨率层级下学习轮廓边缘的信息，从而提升整体的分割准确率；

关键点3，为两个任务设计了不同了损失函数用于监督，并运用卷积运算符使轮廓分割任务的损失函数更加注重轮廓信息。技术效果：加强癌灶区域轮廓mask数据的监督效果，从而提升整体的分割准确率。

针对现有技术的不足，本发明提出一种基于全切片病理图像的癌灶区域识别方法，其中包括：

步骤1、获取多幅已标注标签的全切片病理图像，每一幅全切片病理图像具有标记癌灶区域的内容标签和癌灶轮廓的轮廓标签；

步骤2、构建由编码器、内容解码器和轮廓解码器组成的卷积图片分类模型，该编码器用于下采样图像得到下采样特征图，该轮廓解码器根据该下采样特征图，解码得到廓解特征图，该轮廓解码器具有到该内容解码器的跳跃连接，通过该跳跃连接该内容解码器根据该下采样特征图和该廓解特征图，解码得到内容特征图；

步骤3、将已标注标签的全切片病理图像输入至该卷积图片分类模型，用联合监督的方式同时训练该卷积图片分类模型同时执行内容识别任务和轮廓识别任务，将该内容解码器和该轮廓解码器最终输出的特征图拼接，并与相应的拼接的标签计算损失函数，通过该损失更新该卷积图片分类模型直到损失函数收敛，保存当前该卷积图片分类模型作为癌灶区域识别模型；

步骤4、将待癌灶区域识别的全切片病理图像输入至该癌灶区域识别模型，得到癌灶区域识别结果。

所述的基于全切片病理图像的癌灶区域识别方法，其中该步骤3包括：

步骤31、通过下式得到该损失函数L_total(o₁,g₁,o₂,g₂)：

其中o₁是廓解特征图，g₁是轮廓标签，o₂是内容特征图，g₁是内容标签，f是卷积核。

所述的基于全切片病理图像的癌灶区域识别方法，其中该全切片病理图像具体为为结直肠癌病理图像。

所述的基于全切片病理图像的癌灶区域识别方法，其中该步骤1包括：通过矢量曲线标注癌灶区域轮廓以得到该轮廓标签。

本发明还提出了一种基于全切片病理图像的癌灶区域识别系统，其中包括：

模块1、获取多幅已标注标签的全切片病理图像，每一幅全切片病理图像具有标记癌灶区域的内容标签和癌灶轮廓的轮廓标签；

模块2、构建由编码器、内容解码器和轮廓解码器组成的卷积图片分类模型，该编码器用于下采样图像得到下采样特征图，该轮廓解码器根据该下采样特征图，解码得到廓解特征图，该轮廓解码器具有到该内容解码器的跳跃连接，通过该跳跃连接该内容解码器根据该下采样特征图和该廓解特征图，解码得到内容特征图；

模块3、将已标注标签的全切片病理图像输入至该卷积图片分类模型，用联合监督的方式同时训练该卷积图片分类模型同时执行内容识别任务和轮廓识别任务，将该内容解码器和该轮廓解码器最终输出的特征图拼接，并与相应的拼接的标签计算损失函数，通过该损失更新该卷积图片分类模型直到损失函数收敛，保存当前该卷积图片分类模型作为癌灶区域识别模型；

模块4、将待癌灶区域识别的全切片病理图像输入至该癌灶区域识别模型，得到癌灶区域识别结果。

所述的基于全切片病理图像的癌灶区域识别系统，其中该模块3包括：

模块31、通过下式得到该损失函数L_total(o₁,g₁,o₂,g₂)：

其中o₁是廓解特征图，g₁是轮廓标签，o₂是内容特征图，g₁是内容标签，f是卷积核。

所述的基于全切片病理图像的癌灶区域识别系统，其中该全切片病理图像具体为为结直肠癌病理图像。

所述的基于全切片病理图像的癌灶区域识别系统，其中该模块1包括：通过矢量曲线标注癌灶区域轮廓以得到该轮廓标签。

由以上方案可知，本发明的优点在于：

(1)由于本发明基于语义分割算法，和基于图像分类算法的技术相比，本发明理论上可以逐像素预测，具有更好的预测精度，同时可以规避图像分类算法的训练集有噪声或者癌灶区域覆盖不充分的情况；

(2)本发明引入多任务学习的思想，采用癌灶区域内容mask和轮廓mask信息双重监督的方式加强癌灶区域语义分割的效果。通过对U-Net架构进行改进，提高了结直肠癌癌灶分割的准确率，同时适用于结直肠癌的多种亚型；

(3)由于采用矢量曲线标注癌灶区域轮廓的方法十分常见，轮廓mask的制作方法也很简单，因此这套流程可以很方便地迁移在其他分割任务上，具有一定的通用性。

附图说明

图1为WSI预处理的整体步骤图；

图2为TriangleNet模型示意图；

图3为编码器和解码器的详细信息图。

具体实施方式

我们在对结直肠癌病理图像的特点进行分析时，发现癌灶区域的一个十分重要的特点是边缘的模糊性。不同亚型(如粘液腺癌、印戎细胞癌等)的边缘有不同的识别难度。由于癌灶区域是由癌细胞组成，在形态学上它的边缘十分复杂，具有非常多的可能性，因此经常需要专业的病理学家进行鉴定。因此我们针对这个问题提出了一个新的模型，引入了多任务学习的思想，在改进版U-Net的基础上添加了一个并行的轮廓解码器作为副任务。除了用癌灶区域的mask数据对主任务进行监督之外，同时导出了癌灶轮廓mask数据对副任务进行监督。为了加强两个任务的信息融合，除了共用一个编码器之外，两个解码器之间也存在跳跃连接。

U-Net在2015年由Ronneberger等人提出，在结构上有两处优于FCN：第一是和编码器(收缩路径)结构对称的解码器(扩张路径)。解码器包含和编码器相同次数的上采样操作，有利于恢复下采样丢失的分辨率，并指导编码器提取更有用的特征。第二是从编码器到解码器的跳跃连接。跳跃连接可以避免梯度消失问题，学习来自编码器的各分辨率层级的信息，从而恢复下采样丢失的信息。近年来有不少工作是在U-Net上进行创新，总体上有如下方向：第一是在编码器和解码器的实现上进行创新，如Diakogiannis等人将深度残差网络的思想结合U-Net的骨架设计出ResUNet-a，用于遥感领域的语义分割。第二是在编码器和解码器之间加入特殊层，如Gu等人在他们的模型CE-Net中加入了基于inception和PSP结构的多分辨率特征提取器并用于多种用途的医学图像分割。第三是骨架上的改变，如Zhou等人在U-Net中嵌入了递归形式的子模型并命名为U-Net++，使U-Net的层数和感受野可灵活调整。也有将U-Net用于多任务学习的情况，如Ke等人将食品显微图像分割分为三个关联的任务。但是在这些模型中，跳跃连接仍然仅限于编码器和解码器之间。

本发明提出了基于U-Net结构的语义分割模型TriangleNet，为了在训练过程中更关注癌灶区域的边缘信息，我们在癌灶区域的内容解码器的基础上添加了一个轮廓解码器，形成了多任务结构。而且，我们在制作癌灶区域mask标注的同时制作了轮廓mask标注，分别监督内容分割任务和轮廓分割任务。为了加强信息融合，两个解码器共享一个编码器，并在编码器-内容解码器、编码器-轮廓解码器、轮廓解码器-内容解码器之间建立跳跃连接。其中轮廓解码器-内容解码器的跳跃连接具有很大的创新意义，可以让内容解码器在不同分辨率层级下学习轮廓边缘的信息，从而提升准确率。此外，我们为两个任务设计了不同了损失函数用于监督，并运用卷积运算符使轮廓分割任务的损失函数更加注重轮廓信息。实验证明，我们对模型的改进使得对癌灶区域的分割效果增强，准确率达到89.74％。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

(一)数据预处理

使用来自TCGA的结直肠癌病理图像(TCGA-COAD和TCGA-READ工程)来制作数据集。我们在结肠癌和直肠癌病例中各挑选了100例，每例使用一张WSI图像。这些图像均经过了苏木精—伊红染色，染色是为了帮助病理医生更清晰地在镜下观察病理组织的形态特征。

使用Aperio ImageScope软件在20X视野下用矢量曲线标注了WSI中的癌灶组织的轮廓，矢量曲线在软件内部用关键点序列的方式储存。我们将矢量曲线在空白画布上重建后，生成两套mask标注：一套使用绘图软件对代表癌灶区域的部分进行填充(由于很多区域在拓扑学中不属于单连通图形，很难编写鲁棒的脚本自动处理这类复杂情况)作为内容mask，另一套则将矢量曲线的宽度设为50px导出作为轮廓mask。在20X视野下，50px的宽度可以很好地囊括癌灶区域在轮廓两侧的形态学差异，又不至于囊括无关的信息。接下来，我们用滑窗法将原始图片、内容mask和轮廓mask切分为1000px×1000px的图块，最后用色值方差阈值法去除掉完全空白的图块。整体流程如图1所示。最后，我们在病例层级用4:1的比率划分出训练集和测试集，其中测试集用于验证模型的泛化能力。

(二)模型结构

我们提出的TriangleNet具有三个主要部分，编码器、内容解码器和轮廓解码器。主要结构如图2所示。位于图2下方的是联合编码器，输入大小为448px×448px。黑色块表示每次下采样后输出的特征图。内容解码器在左上方，输出特征图标记为灰色。轮廓解码器在右上方，输出特征图标记为白色。每个跳跃连接将一个特征图从一个位置复制到另一位置，并对该特征图和目标位置的特征图执行求和运算。

对于编码器，本发明使用ResNet34模型进行改造，在获得更大感受野的同时避免梯度消失问题，减少训练时间。和U-Net一致的是编码过程中进行4次下采样操作，最终生成具有更大感受野的特征图。解码器的基本单元采用了与编码器对应的设计，两种基本单元如图3所示，图3中(a)是编码器的简洁结构，残差块与ResNet34中的原始设计相同。(b)包含解码器的结构和解码器块的结构。

为了能使模型同时学习到癌灶区域的内容和边缘的信息，我们引入了多任务学习的思想，用联合监督的方式同时训练两个任务。同时，引入从轮廓解码器到内容解码器的跳跃连接，以保证在特征图分辨率的每次变化时，内容解码器都可以获得轮廓信息，从而提升分割效果。在实验中，我们将两个解码器最终输出的特征图拼了起来，并与相对应的拼起来的mask计算损失。

(三)损失函数

在语义分割任务中，较常用的损失函数为交叉熵损失和Dice损失等等。我们在实验中去除掉了空白图块，经过统计癌灶区域面积与非癌灶面积相差不大，因此我们使用较为普遍的交叉熵损失函数作为基础。在实验中，我们在交叉熵损失函数的基础上分别设计了内容分割任务和轮廓分割任务的损失函数。对于轮廓分割任务，我们将一次卷积操作套在groundtruth上(卷积核大小为50×50像素)，以突出轮廓中心线，防止实际预测结果过于发散。轮廓分割任务的损失函数如下：

其中o是模型输出的特征图，g是ground truth(正确标注的mask)，f是卷积核，i和j表示特征图中的第i行和第j列；w和h分别表示特征图的宽和高(i<h,j<w)。g[i,j]*f[i,j]是如下所示的卷积运算：

其中n₁和n₂是求和式的两个参数，均表示偏移量。

对于内容分割任务，我们沿用一般的交叉熵损失函数，以ground truth作为唯一判断标准。我们对两个损失求平均可以得出总体损失如下：

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于全切片病理图像的癌灶区域识别系统，其中包括：

模块1、获取多幅已标注标签的全切片病理图像，每一幅全切片病理图像具有标记癌灶区域的内容标签和癌灶轮廓的轮廓标签；

模块2、构建由编码器、内容解码器和轮廓解码器组成的卷积图片分类模型，该编码器用于下采样图像得到下采样特征图，该轮廓解码器根据该下采样特征图，解码得到廓解特征图，该轮廓解码器具有到该内容解码器的跳跃连接，通过该跳跃连接该内容解码器根据该下采样特征图和该廓解特征图，解码得到内容特征图；

模块3、将已标注标签的全切片病理图像输入至该卷积图片分类模型，用联合监督的方式同时训练该卷积图片分类模型同时执行内容识别任务和轮廓识别任务，将该内容解码器和该轮廓解码器最终输出的特征图拼接，并与相应的拼接的标签计算损失函数，通过该损失更新该卷积图片分类模型直到损失函数收敛，保存当前该卷积图片分类模型作为癌灶区域识别模型；

模块4、将待癌灶区域识别的全切片病理图像输入至该癌灶区域识别模型，得到癌灶区域识别结果。

所述的基于全切片病理图像的癌灶区域识别系统，其中该模块3包括：

模块31、通过下式得到该损失函数L_total(o₁,g₁,o₂,g₂)：

其中o₁是廓解特征图，g₁是轮廓标签，o₂是内容特征图，g₁是内容标签，f是卷积核。

所述的基于全切片病理图像的癌灶区域识别系统，其中该全切片病理图像具体为为结直肠癌病理图像。

所述的基于全切片病理图像的癌灶区域识别系统，其中该模块1包括：通过矢量曲线标注癌灶区域轮廓以得到该轮廓标签。

Claims (8)

1.一种基于全切片病理图像的癌灶区域识别方法，其特征在于，包括：

步骤1、获取多幅已标注标签的全切片病理图像，每一幅全切片病理图像具有标记癌灶区域的内容标签和癌灶轮廓的轮廓标签；

步骤2、构建由编码器、内容解码器和轮廓解码器组成的卷积图片分类模型，该编码器用于下采样图像得到下采样特征图，该轮廓解码器根据该下采样特征图，解码得到廓解特征图，该轮廓解码器具有到该内容解码器的跳跃连接，通过该跳跃连接该内容解码器根据该下采样特征图和该廓解特征图，解码得到内容特征图；

步骤3、将已标注标签的全切片病理图像输入至该卷积图片分类模型，用联合监督的方式同时训练该卷积图片分类模型同时执行内容识别任务和轮廓识别任务，将该内容解码器和该轮廓解码器最终输出的特征图拼接，并与相应的拼接的标签计算损失函数，通过该损失更新该卷积图片分类模型直到损失函数收敛，保存当前该卷积图片分类模型作为癌灶区域识别模型；

步骤4、将待癌灶区域识别的全切片病理图像输入至该癌灶区域识别模型，得到癌灶区域识别结果。

2.如权利要求1所述的基于全切片病理图像的癌灶区域识别方法，其特征在于，该步骤3包括：

步骤31、通过下式得到该损失函数L_total(o₁,g₁,o₂,g₂)：

其中o₁是廓解特征图，g₁是轮廓标签，o₂是内容特征图，g₁是内容标签，f是卷积核。

3.如权利要求1所述的基于全切片病理图像的癌灶区域识别方法，其特征在于，该全切片病理图像具体为为结直肠癌病理图像。

4.如权利要求1所述的基于全切片病理图像的癌灶区域识别方法，其特征在于，该步骤1包括：通过矢量曲线标注癌灶区域轮廓以得到该轮廓标签。

5.一种基于全切片病理图像的癌灶区域识别系统，其特征在于，包括：

模块1、获取多幅已标注标签的全切片病理图像，每一幅全切片病理图像具有标记癌灶区域的内容标签和癌灶轮廓的轮廓标签；

模块2、构建由编码器、内容解码器和轮廓解码器组成的卷积图片分类模型，该编码器用于下采样图像得到下采样特征图，该轮廓解码器根据该下采样特征图，解码得到廓解特征图，该轮廓解码器具有到该内容解码器的跳跃连接，通过该跳跃连接该内容解码器根据该下采样特征图和该廓解特征图，解码得到内容特征图；

模块3、将已标注标签的全切片病理图像输入至该卷积图片分类模型，用联合监督的方式同时训练该卷积图片分类模型同时执行内容识别任务和轮廓识别任务，将该内容解码器和该轮廓解码器最终输出的特征图拼接，并与相应的拼接的标签计算损失函数，通过该损失更新该卷积图片分类模型直到损失函数收敛，保存当前该卷积图片分类模型作为癌灶区域识别模型；

模块4、将待癌灶区域识别的全切片病理图像输入至该癌灶区域识别模型，得到癌灶区域识别结果。

6.如权利要求5所述的基于全切片病理图像的癌灶区域识别系统，其特征在于，该模块3包括：

模块31、通过下式得到该损失函数L_total(o₁,g₁,o₂,g₂)：

其中o₁是廓解特征图，g₁是轮廓标签，o₂是内容特征图，g₁是内容标签，f是卷积核。

7.如权利要求5所述的基于全切片病理图像的癌灶区域识别系统，其特征在于，该全切片病理图像具体为为结直肠癌病理图像。

8.如权利要求1所述的基于全切片病理图像的癌灶区域识别系统，其特征在于，该模块1包括：通过矢量曲线标注癌灶区域轮廓以得到该轮廓标签。

Images