CN115937158A - 一种基于分层注意力机制的胃癌病灶区域分割方法 - Google Patents

Abstract

本发明公开了一种基于分层注意力机制的胃癌病灶区域分割方法。该方法首先获取胃部病理图像；对获得的胃部病理图像进行预处理，得到病理图像块；将病理图像块输入分层注意力分割模型编码器进行特征提取，获得特征图；将特征图输入分层注意力分割模型解码器，获得病理图像块的初步分割结果；对初步分割结果进行后处理，得到所述胃癌病灶区域分割结果。所述胃癌病灶区域分割方法的分层注意力分割模型通过深层特征建模全局语义信息，浅层特征建模局部纹理信息，根据特征重要程度分配注意力权重系数，有效融合图像多层特征。本发明可实现胃部病理图像的全自动处理，实现胃癌病灶区域的精准分割，为医生工作提供更方便有效的诊断指导。

Description

一种基于分层注意力机制的胃癌病灶区域分割方法

技术领域

本发明涉及医学图像处理及计算机视觉领域，特别是一种基于分层注意力机制的胃癌病灶区域分割方法。

背景技术

胃癌是世界范围内最常见的恶性肿瘤之一，临床诊断时需要采集胃部病理组织切片，经过专业医生诊断才能确定胃部是否发生癌症病变。

基于人工分割的方法费时费力，且对专业知识要求较高。基于阈值分割的方法易于实现，在目标物体的灰度值与其他特征相差很大时可以实现有效分割。基于区域生长与分裂合并的方法计算简单，但对噪声敏感，难以适用于复杂图像。基于边缘检测的方法根据区域边缘像素灰度值往往变化剧烈作为判别标准；基于曲面拟合的方法将灰度看作高度，用曲面拟合一个窗口内的数据，根据曲面决定边缘点，这些方法需要根据不同场景进行方法设计，泛化性不强。本发明提出一种基于分层注意力机制的全自动的胃癌病灶区域分割方法，可以实现病灶区域的精准分割，为医生工作提供更方便有效的诊断指导。

发明内容

有鉴于此，本发明的目的是提出一种基于分层注意力机制的胃癌病灶区域分割方法，主要思路是通过多尺度特征融合，通过提取图像深层特征建模图像全局语义信息，对图像进行整体性分析，准确定位病灶区域位置，粗略判断病灶区域涵盖的像素；通过提取图像浅层特征建模局部纹理信息，对病灶区域涵盖的像素逐个分析；通过注意力机制对深层特征和浅层特征自适应地分配不同的权重系数，实现对重要性高的特征关注程度更高，分配更高的权重系数，有效结合多层特征，实现对病灶区域的精准分割。

本发明采用以下方案实现：

一种基于分层注意力机制的胃癌病灶区域分割方法，包括以下步骤：

步骤S1：获得胃部病理图像；

步骤S2：对获得的胃部病理图像进行预处理并切分，得到若干病理图像块；

步骤S3：采用分层注意力分割模型，对病理图像块进行数据增强、特征提取、特征融合融合和初步分割，得到每一个病理图像块对应的胃癌病灶区域初步分割结果；步骤S4：对初步分割结果进行后处理，得到胃癌病灶区域最终分割结果。

进一步地，步骤S2具体包括以下步骤：

步骤S21：获得胃部病理图像的轮廓信息；

步骤S22：根据图像的轮廓信息，定位胃部活检组织区域；

步骤S23：根据胃部活检组织区域进行裁剪，获得矩形胃部感兴趣区域；

步骤S24：对胃部感兴趣区域按照预设的步长交叠裁剪，获得若干预设尺寸的病理图像块。

进一步地，步骤S3所述的分层注意力分割模型包括：

图像预处理模块，其用于对病理图像块进行数据增强。

特征编码器模块，其用于提取增强后的病理图像块的局部特征和全局特征，得到病理图像块特征图；

特征解码器模块，其用于对病理图像块特征图进行上采样，得到与病理图像块同尺寸的初步分割结果。

进一步地，所述的特征编码器模块包括：

浅层特征提取模块，其用于提取增强后的病理图像块的局部信息，得到不同尺度的浅层特征图；

深层特征提取模块，其由若干残差注意力模块级联构成，每层残差注意力模块由m个Swin Transformer结构残差连接构成，用于提取增强后的病理图像块的全局信息，得到不同尺度的深层特征图；

特征融合模块，其用于通过注意力机制对深层特征和浅层特征自适应分配不同的权重系数，对不同尺度的浅层特征图和不同尺度的深层特征图进行融合，得到融合后的病理图像块特征图。

进一步地，所述的步骤S4具体包括以下步骤：

步骤S41：对所有病理图像块的初步分割结果交叠拼接；

步骤S42：进行腐蚀膨胀处理得到胃癌病灶区域最终分割结果。

与现有技术相比，本发明有以下有益效果：

本发明公开了一种基于分层注意力机制的胃癌病灶区域分割方法。该方法首先获取胃部病理图像；对获得的胃部病理图像进行预处理，得到病理图像块；将病理图像块输入分层注意力分割模型编码器进行特征提取，获得特征图；将特征图输入分层注意力分割模型解码器，获得病理图像块的初步分割结果；对初步分割结果进行后处理，得到所述胃癌病灶区域分割结果。所述胃癌病灶区域分割方法的分层注意力分割模型通过深层特征建模全局语义信息，浅层特征建模局部纹理信息，根据特征重要程度分配注意力权重系数，有效融合图像多层特征。本发明可实现胃部病理图像的全自动处理，实现胃癌病灶区域的精准分割。

附图说明

图1为本发明实施例的胃癌病灶区域分割方法流程示意图。

图2为本发明实施例的胃癌病灶区域分割的分层注意力分割模型结构示意图。

图3为本发明实施例的胃癌病灶区域分割的分层注意力分割模型编码器结构示意图。

图4为本发明实施例的分割过程图，其中，(a)为病理图像块的示意图，(b)为分割结果的示意图；(c)为分割结果在病理图像块上可视化的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动的前提下所获得的所以其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的一种基于分层注意力机制的胃癌病灶区域分割方法的一个实施例的流程示意图，具体包括以下步骤：

步骤S101：获得胃部病理图像。

其中，胃部病理图像是医生临床评估胃癌的重要依据。获得含有胃部病变区域的胃部病理切片全扫描图像；将切片成像模拟人眼所观察的效果；将切片数字化后可以得到所述的胃部病理图像。

步骤S102：对获得的胃部病理图像进行预处理，得到病理图像块。

胃部病理图像一般分辨率较大，其中往往会包含大面积对癌症诊断无辅助作用的无关区域，这些区域的信息对分割病灶区域是噪声信息，容易干扰分割效果，并且会产生额外的计算量。通过排除掉无关区域，只对病理图像中感兴趣区域进行分割，可以有效排除干扰信息，提高分割速度与精度。

由于胃癌病灶区域主要发生在胃部病理图像中的胃部活检组织区域。根据胃部病理图像获得图像轮廓信息，根据图像轮廓信息定位胃部活检组织区域；对胃部活检组织区域进行裁剪，获得矩形胃部感兴趣区域。

所述的胃部感兴趣区域的图像分辨率往往很高，直接对高分辨率图像进行胃癌病灶区域分割操作需要消耗高显存。将胃部感兴趣区域的图像进行切图处理，对切图处理后得到的低分辨率图像进行胃癌病灶区域分割操作，可以降低分割方法对显存的需求，方便在更多类型的硬件设备上进行部署。

对胃部感兴趣区域的图像进行切图处时，本实施例采用交叠切分的方法，以预设步长，将胃部感兴趣区域切割成预设尺寸的病理图像块，可以避免常规切分方法导致的对切割边缘信息的破坏，以及对切割边缘紧邻区域的结构信息的丢失。

步骤S103：通过分层注意力分割模型对病理图像块进行处理，得到病理图像块对应的初步分割结果。

在一个实施例中，分层注意力分割模型结构图如图2所示，包括：

图像预处理模块，用于对病理图像块进行数据增强；所述的数据增强包括：对待处理图像进行几何变换，如翻转、旋转、缩放、裁剪、抖动等；对待处理图像进行像素变换，如加高斯噪声、进行高斯模糊、调整白平衡、调整对比度等。

特征编码器模块，用于对病理图像块进行特征提取；提取的特征包括图像的色彩分布、轮廓信息、边缘梯度信息、纹理信息、色彩直方图、矩特征、熵以及高阶语义信息等；所述的特征编码器模块能使特征提取聚焦在重要信息中，降低背景干扰，将待处理图像嵌入编码为固定维度的向量，该向量表示了待处理图像的潜在特征。

特征解码器模块，用于对病理图像块特征进行图像重构；所述的图像重构具体为：根据编码器提取到的多尺度特征，通过四层反卷积网络来逐步恢复目标的细节和相应的空间维度，在尽可能减少信息损失的前提下，完成与待处理图像同尺寸的分割结果输出。

本步骤中，首先将病理图像块输入图像预处理模块进行数据增强；再将数据增强后的病理图像块输入到编码器模块，对病理图像块进行特征提取，获得不同尺度的特征，按特征重要程度分配注意力权重系数，得到病理图像块的融合特征图；最后，利用特征解码器模块解码融合特征图，输出病理图像块的初步分割结果。

在本发明的一个具体实施中，分层注意力分割模型的特征编码器结构图如图3所示，包括：

浅层特征提取模块，由两层卷机神经网络构成，用于提取数据增强后的病理图像块的局部信息，得到不同尺度的浅层特征图；由于感受野较小，浅层特征图通常包含一些图像边角特征信息，或图像某一局部的特征信息，具有强区分力，但数目较多。

深层特征提取模块，由四层残差注意力模块级联构成，每层残差注意力模块由六个Swin Transformer结构残差连接构成，用于提取由浅层特征提取模块最后一层输出的浅层特征图的全局信息，得到不同尺度的深层特征图；由于感受野较大，深层特征图通常包含图像的整体语义特征信息，区分力较弱。

特征融合模块，用于对病理图像块的不同尺度的浅层特征图和不同尺度的深层特征图进行融合；通过注意力机制对深层特征和浅层特征自适应地分配不同的权重系数，实现对重要性高的特征关注程度更高，分配更高的权重系数；对重要性较低的特征适当忽略，分配较低的权重系数，有效融合多尺度的浅层特征和深层特征，可以对胃癌病灶区域的准确定位提供有效信息，并对病灶区域所涵盖像素的精准判别提供有效信息。

在本实施例的分层注意力分割模型的特征编码器中，数据增强后的病理图像块首先输入到浅层特征提取模块中，依次经过两层卷机神经网络得到第一浅层特征图和第二浅层特征图；具体的，第一层卷机神经网络的输入为数据增强后的病理图像块，输出为第一浅层特征图；第二层卷机神经网络的输入为第一浅层特征图，输出为第二浅层特征图。

由浅层特征提取模块输出的第二浅层特征图输入到深层特征提取模块中，依次经过四层残差注意力模块得到第一深层特征图至第四深层特征图；具体的，第一层残差注意力模块的输入为第二浅层特征图，输出为第一深层特征图；后一层残差注意力模块的输入为前一层残差注意力模块的输出，每一层残差注意力模块均输出一张深层特征图；

最后通过特征融合模块将由浅层特征提取模块得到的两个不同尺度的浅层特征图、以及由深层特征提取模块得到的四个不同尺度的深层特征图进行融合，得到融合特征图，用于作为后续特征解码器模块的输入。如图4所示，是本实施例得到的分割过程图，其中，(a)为某一病理图像块的示意图，(b)为分割结果的示意图；(c)为分割结果在病理图像块上可视化的示意图。

步骤S104：对初步分割结果进行后处理，得到所述胃癌病灶区域分割结果。

本实施例中，得到的初步分割结果是交叠切图得到的病理图像块对应的分割结果，需要对分割结果进行交叠拼接。本实施例采用形态学腐蚀膨胀操作，对可能存在的局部分割结果不连续的区域进行补全，恢复原始病理图像分辨率，得到最终的胃癌病灶区域分割结果。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (5)

1.一种基于分层注意力机制的胃癌病灶区域分割方法，包括以下步骤：

步骤S1：获得胃部病理图像；

步骤S2：对获得的胃部病理图像进行预处理并切分，得到若干病理图像块；

步骤S3：采用分层注意力分割模型，对病理图像块进行数据增强、特征提取、特征融合融合和初步分割，得到每一个病理图像块对应的胃癌病灶区域初步分割结果；

步骤S4：对初步分割结果进行后处理，得到胃癌病灶区域最终分割结果。

2.根据权利要求1所述的一种基于分层注意力机制的胃癌病灶区域分割方法，其特征在于，步骤S2具体包括以下步骤：

步骤S21：获得胃部病理图像的轮廓信息；

步骤S22：根据图像的轮廓信息，定位胃部活检组织区域；

步骤S23：根据胃部活检组织区域进行裁剪，获得矩形胃部感兴趣区域；

步骤S24：对胃部感兴趣区域按照预设的步长交叠裁剪，获得若干预设尺寸的病理图像块。

3.根据权利要求1所述的一种基于分层注意力机制的胃癌病灶区域分割方法，其特征在于，步骤S3所述的分层注意力分割模型包括：

图像预处理模块，其用于对病理图像块进行数据增强；

特征编码器模块，其用于提取增强后的病理图像块的局部特征和全局特征，得到病理图像块特征图；

特征解码器模块，其用于对病理图像块特征图进行上采样，得到与病理图像块同尺寸的初步分割结果。

4.根据权利要求3所述的一种基于分层注意力机制的胃癌病灶区域分割方法，其特征在于，所述的特征编码器模块包括：

浅层特征提取模块，其用于提取增强后的病理图像块的局部信息，得到不同尺度的浅层特征图；

深层特征提取模块，其由若干残差注意力模块级联构成，每层残差注意力模块由m个Swin Transformer结构残差连接构成，用于提取增强后的病理图像块的全局信息，得到不同尺度的深层特征图；

特征融合模块，其用于通过注意力机制对深层特征和浅层特征自适应分配不同的权重系数，对不同尺度的浅层特征图和不同尺度的深层特征图进行融合，得到融合后的病理图像块特征图。

5.根据权利要求1所述的一种基于分层注意力机制的胃癌病灶区域分割方法，其特征在于，所述的步骤S4具体包括以下步骤：

步骤S41：对所有病理图像块的初步分割结果交叠拼接；

步骤S42：进行腐蚀膨胀处理得到胃癌病灶区域最终分割结果。

Images