CN113837989B - 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法 - Google Patents

Abstract

本发明公开了一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，包括如下步骤：将彩色内镜图像进行预处理；对预处理后的彩色内镜图像进行特征提取；对提取的特征进行增强并向上扩展得到更深层的扩展特征；将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码；分别从扩展特征和前景预测掩码处提取全局和局部特征向量，将全局特征向量与局部特征向量结合，通过全连接层预测息肉种类，本发明对提取的特征进行增强，并向上扩展获得更深层的扩展特征，通过无锚框检测算法对特征图进行位置解码获得息肉预测框和前景预测掩码；将前景预测掩码与对应的特征图叠加，得到局部特征图，并结合全局与局部信息预测息肉类别。

Description

一种基于无锚框的大肠内窥镜息肉检测与病理分类方法

技术领域

本发明属于息肉检测技术的技术领域，尤其涉及一种基于无锚框的大肠内窥镜息肉检测与病理分类方法。

背景技术

在全球，结直肠癌都是第三大常见癌症，也是导致死亡的主要癌症之一。参照《中国消化内镜活检与病理学检查规范专家共识（草案）》，对照Morson组织学分类法：将CRP分为腺瘤性息肉(管状腺瘤、绒毛状腺瘤、混合性腺瘤), 非腺瘤性息肉(炎性息肉、增生性息肉) 。其中腺瘤性最为常见也最危险。虽然只有很小一部分的腺瘤性息肉会发展成为癌症，但几乎所有的恶性息肉都由腺瘤性息肉发展而来。因此，肠息肉的检测与病理分类预测在结肠癌的预防与早筛过程中起到了至关重要的作用。

早期的大肠息肉检测与病理分类方法主要是基于手工选取的图形特征，例如形状，颜色，线条，轮廓等，由于不同种类的息肉特征接近，同时息肉和周围的正常组织也有着很相似的特征，而传统的基于手工选择图形特征的方法只能学习有限的特定特征，因此这种方法无法取得令人满意的结果。随着神经网络与深度学习的快速发展，基于卷积神经网络（convolutional neural networks: CNN）的方法被广泛应用于图像识别领域，包括医疗图像识别。近几年，该方法在大肠息肉识别与分割领域也已经得到了一定的应用。

但是目前的大肠息肉识识别方法都只能完成息肉检测的功能而不能同时做到息肉的病理分类。

发明内容

本发明目的是为了克服现有技术的不足而提供一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，该方法结合无锚框检测算法和图像分类算法，从而提高息肉检出率与病理分类的准确率。

为达到上述目的，本发明采用的技术方案是：一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，包括如下步骤：

将彩色内镜图像进行预处理；

对预处理后的彩色内镜图像进行特征提取；

引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征；

将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码；

从扩展特征处提取全局特征向量，从前景预测掩码处提取局部特征向量，将全局特征向量与局部特征向量结合，通过全连接层预测息肉种类。

进一步的，将彩色内镜图像进行预处理的步骤如下：

将彩色内镜图像缩放至512x512的图片分辨率，之后对彩色内镜图像进行像素均值归一化，使得数据的每一个维度具有零均值和单位方差。

进一步的，对预处理后的彩色内镜图像进行特征提取的步骤如下：

使用基于ImageNet 预训练的ResNeXt101作为骨干网络；

ResNeXt101以最大池化为界限分成 5个不同阶段：R1, R2, R3, R4, R5;

随着骨干网络加深每次池化后特征图大小缩小一半，信道数目增加一倍；

提取R2至R5四个阶段的网络输出C2至C5作为提取的特征图。

进一步的，引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征的步骤如下：

使用特征金字塔结构的从上至下方法来增强浅层特征层的语义信息，得到具有深层信息的浅层特征图P2, P3, P4, P5；同时将特征金字塔结构向上扩展一层以得到更深层的语义信息特征图P6。

进一步的，对增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码的步骤如下:

S100：训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签，实际标签的物体框信息将用于回归函数计算候选框位置；

S101：增强特征和扩展特征通过无锚框检测算法得到用于位置预测的HxWx4的张量、HxWx1维的前景预测掩码以及用于衡量当前像素偏移真实目标的中心点程度的HxWx1张量的Center-ness；

S102：对HxWx4的输出张量进行位置信息解码，

对于特征图上的特征点x，y 其输出预测为

；其中，

分别为特征点x，y到预测框左右上下边框的距离；

经解码得到预测物体位置为

，/>

为物体预测框左上角坐标，w,h为物体预测框的宽高；

S103：对Center-ness输出的HxWx1张量上的每个特征点所对应的位置信息回归值计算距离热力值，来辅助特征点对于当前位置的息肉目标判定，具体公式为：

其中：min(x, y) 取x,y中最小值，同理max (x, y) 取x,y中最大值;

生成的距离热力图在训练阶段与Center-ness输出的HxWx1张量，利用二分类交叉熵函数为损失函数计算损失值;

当特征点越接近预测框中心，损失函数值越小，反之越大。

进一步的，从扩展特征处提取全局特征向量的步骤如下:

对特征金字塔的扩展特征向量采用平均池化操作，得到256x1维的全局特征向量，扩展特征度具有stride=128的步幅。

进一步的，从前景预测掩码处提取局部特征向量的步骤如下：

S200：引入前景注意力机制,将前景预测掩码与对应的特征金字塔特征图经过卷积后的输出进行叠加，之后特征图对应于前景掩码中的前景部分保留，而背景部分将被忽略，从而得到局部特征图；

其中，

；

M为特征金字塔输出的特征图，a为前景掩码，*为矩阵元素积，

为局部特征图。

S201：对所有的局部特征图应用全局平均池化操作，得到256x1维的局部特征向量。

进一步的，将局部特征向量与全局特征向量结合，通过全连接层预测息肉种类的步骤如下：

对于5个256x1维的局部特征向量，我们对其进行合并生成1280x1维的局部特征向量，再经过1x1x256的卷积层降维得到256维的局部特征向量,再将局部特征向量与全局特征向量合并为512x1维的特征向量，最后经过全连接层预测息肉分类。

进一步的，将S102中的预测物体位置应用非极大值抑制操作，去除过多的重叠预测框。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

本发明方案的基于无锚框的大肠内窥镜息肉检测与病理分类方法，其利用特征金字塔模型对提取的特征进行增强，并向上扩展获得更深层的扩展特征，然后通过无锚框检测算法对特征图进行位置解码获得息肉预测框以及前景预测掩码；最后引入前景注意力机制，将前景预测掩码与对应层的特征图叠加，得到具有局部特征信息的特征图，并结合全局与局部信息，更好地预测息肉类别，提高息肉检出率与病理分类的准确率。

附图说明

下面结合附图对本发明技术方案作进一步说明：

附图1为本发明一实施例中基于无锚框的大肠内窥镜息肉检测与病理分类方法的流程图；

附图2为本发明一实施例中基于无锚框的大肠内窥镜息肉检测与病理分类方法的检测过程图；

附图3为本发明一实施例中病理分类为腺瘤息肉的息肉检测结果图；

附图4为本发明一实施例中病理分类为非腺瘤息肉的息肉检测结果图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

本发明的一实施例所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法，其包括如下步骤:

S001：将彩色内镜图像进行预处理，因为在实际应用中由于内窥镜的设备不同，所输出的图片分辨率也不同，为了方便后续的特征提取，首先对彩色内窥镜图像进行缩放至512x512的图片分辨率，之后对图像进行像素均值归一化，使得数据的每一个维度具有零均值和单位方差。

S002：对预处理后的彩色内镜图像进行特征提取，其具体的过程如下:使用骨干网络对图片进行特征提取,本发明中使用了基于ImageNet 预训练ResNeXt101为骨干网络，ResNeXt101以max pool（最大池化）为界限分成 5个不同阶段(R1, R2, R3, R4, R5)。

随着网络加深每次池化后特征图大小缩小一半，信道数目增加一倍，以得到具有更大视野域的抽象信息，本发明中提取R2至R5四个阶段的网络输出C2,C3,C4,C5作为后续特征金字塔网络的输入；其中骨干网络结构如附图2中的左侧部分所示。

S003：为了解决深层网络经过多次池化后语义信息增加但是对小物体不敏感，和浅层语义信息少准确率低的问题，本发明中使用了特征金字塔结构的从上至下（Top-Down）方法来增强浅层特征层的语义信息，提高浅层网络对小物体的准确率。

通过对深层特征图上采样与浅层特征图结合，将具有更大视野域的抽象信息引入浅层特征图得到具有深层信息的浅层特征图（P2, P3, P4, P5），以帮助对小物体的检测。

同时我们将特征金字塔结构网络向上扩展一层以得到更深层的语义信息(P6)，帮助大息肉的检测与全局的图像分类;其中，特征金字塔结构如图2中间部分所示。

S004：将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码。

具体的，对于特征金字塔的五层输出（P2-P6），均进行S100-S103步骤的操作，且不同层的权重共享，以提升运行速度。

S100：由于在骨干网络中引入最大池化操作以降低特征图尺寸以得到更大视野域，不同层特征图的特征点会对应原图不同大小的区域，训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签；此实际标签的物体框信息将用于回归函数计算候选框位置，息肉类型的标签将用于后续步骤中使用交叉熵计算分类损失函数。

S101：对特征金字塔的五层特征图P2-P6输出通过无锚框检测算法进行解码，得到输出为HxWx4的张量，并以此计算目标的预测框，另外还得到HxWx1维的前景预测掩码。

具体的，无锚框检测算法过程如下所述：首先将P2-P6的五层特征图通过一组卷积层得到HxWx256的特征图，再经过两组不同的卷积层并分别经过4次卷积后得到两个不同的HxWx256的特征图，其中一个HxWx256特征图通过卷积操作后得到HxWx1维的前景预测掩码。

另一个HxWx256特征图再次通过两个不同的卷积得到用于位置预测的HxWx4的张量以及用以衡量当前像素偏离真实目标的中心点的程度的HxWx1的 Center-ness。

S102：预测阶段使用以下函数对用于位置预测的HxWx4的输出张量进行位置信息解码：

对于特征图上的特征点x，y 其输出预测为

，/>

分别为特征点x，y到预测框左右上下边框的距离。

其中，

。

经解码得到预测物体位置为

，/>

为物体预测框左上角坐标，w,h为物体预测框的宽高。

另外，对于所有五层特征图上的所有特征点，都会生成一个4维的位置信息，我们只保留对应前景预测掩码中相应特征点输出为前景的点的位置信息，并解码出物体位置的预测框，对这些保留下来的预测框，我们只取置信度前100的预测框，不足100则保留所有。

S103：对center-ness分支输出的HxWx1张量上的每个特征点所对应的位置信息回归值计算距离热力值，来辅助特征点对于当前位置的息肉目标判定，具体公式为：

其中：min(x, y) 取x,y中最小值，同理max (x, y) 取x,y中最大值。生成的距离热力值在训练阶段与center-ness分支输出的HxWx1张量，利用二分类交叉熵函数为损失函数计算损失值。

当特征点越接近预测框中心，损失函数值越小，反之越大，从而引导模型进行更准确的息肉位置判定。

S005：从扩展特征处提取全局特征向量，从前景预测掩码处提取局部特征向量，将全局特征向量与局部特征向量结合，通过全连接层预测息肉种类。

具体的，在S200中引入前景注意力机制，将S101得到前景预测掩码与对应的特征金字塔特征图P2-P6通过卷积后得到的HxWx256的特征图输出进行矩阵元素积的叠加；此操作后，特征图对应于前景掩码中的前景部分保留，而背景部分将被忽略，从而得到局部特征图；局部特征向量与全局特征向量结合，以提高整体的图像分类准确度。

；

M为特征金字塔输出的特征图，a为前景掩码，*为矩阵元素积。

为局部特征图。

S201对所有的局部特征应用全局平均池化操作，得到256x1维的局部特征向量。

另外，对特征金字塔的P6特征向量采用平均池化操作，得到256x1维的全局特征向量，P6特征度具有stride=128的步幅，所以具有最大的视野域，从而有着最为抽象的全局语义信息，有利于图像的分类预测。

接着，将局部特征向量与全局特征向量结合，通过全连接层预测息肉种类，对于5个256x1维的局部特征向量，我们对其进行合并生成1280x1维的局部特征向量，再经过1x1x256的卷积层降维得到256维的局部特征向量，最后将局部特征向量与全局特征向量合并为512x1维的特征向量，最后经过全连接层预测息肉分类。

最后，对经解码得到预测物体位置应用非极大值抑制（non-maximumsuppression）操作，去除过多的重叠预测框，从而得到预测的息肉框，并将预测息肉分类作为该张图片所有检测出的息肉的种类，息肉预测框与种类信息将叠加在原输入大肠内窥镜图片之上作为输出。

下面列举几个实际的检测示例图对本发明的方法进行说明。

请参阅附图3，图中的上方四张图为原始图片，下方四张图为预测出的相关息肉位置的结果图，最终左边的文字为预测的病理分类，其病理分类的最终结果为腺瘤。

请参阅附图4，图中的上方四张图为原始图片，下方四张图为预测出的相关息肉位置的结果图，最终左边的文字为预测的病理分类，其病理分类的最终结果为非腺瘤。

通过上述两张实际图片的最终结果检测，可以便捷且精准的检测出相关息肉的位置以及病理分类的准确率。

本发明的基于无锚框的大肠内窥镜息肉检测与病理分类方法，其利用特征金字塔模型对提取的特征进行增强，并向上扩展获得更深层的扩展特征，然后通过无锚框检测算法对特征图进行位置解码获得息肉预测框以及前景预测掩码；最后引入前景注意力机制，将前景预测掩码与对应层的特征图叠加，得到具有局部特征信息的特征图，并结合全局与局部信息，更好地预测息肉类别，提高息肉检出率与病理分类的准确率。

以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (3)

1.一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，其特征在于，包括如下步骤：

将彩色内镜图像进行预处理；

对预处理后的彩色内镜图像进行特征提取；

引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征；

将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码；

从扩展特征处提取全局特征向量，从前景预测掩码处提取局部特征向量，将全局特征向量与局部特征向量结合，通过全连接层预测息肉种类；

其中，对预处理后的彩色内镜图像进行特征提取的步骤如下：

使用基于ImageNet 预训练的ResNeXt101作为骨干网络；

ResNeXt101以最大池化为界限分成 5个不同阶段：R1, R2, R3, R4, R5;

随着骨干网络加深每次池化后特征图大小缩小一半，信道数目增加一倍；

提取R2至R5四个阶段的网络输出C2至C5作为提取的特征图；

引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征的步骤如下：

使用特征金字塔结构的从上至下方法来增强浅层特征层的语义信息，得到具有深层信息的浅层特征图P2, P3, P4, P5；同时将特征金字塔结构向上扩展一层以得到更深层的语义信息特征图P6；

对增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码的步骤如下:

S100：训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签，实际标签的物体框信息将用于回归函数计算候选框位置；

S101：增强特征和扩展特征通过无锚框检测算法得到用于位置预测的HxWx4的张量、HxWx1维的前景预测掩码以及用于衡量当前像素偏移真实目标的中心点程度的HxWx1张量的Center-ness；

S102：对HxWx4的输出张量进行位置信息解码，

对于特征图上的特征点x，y 其输出预测为

；其中，

分别为特征点x，y到预测框左右上下边框的距离；

经解码得到预测物体位置为

，

为物体预测框左上角坐标，w,h 为物体预测框的宽高；

S103：对Center-ness输出的HxWx1张量上的每个特征点所对应的位置信息回归值计算距离热力值，来辅助特征点对于当前位置的息肉目标判定，具体公式为：

其中：min(x, y) 取x,y中最小值， 同理max (x, y) 取x,y中最大值;

生成的距离热力图在训练阶段与Center-ness输出的HxWx1张量，利用二分类交叉熵函数为损失函数计算损失值;

当特征点越接近预测框中心，损失函数值越小，反之越大；

从扩展特征处提取全局特征向量的步骤如下:

对特征金字塔的扩展特征向量采用平均池化操作，得到256x1维的全局特征向量，扩展特征度具有stride=128的步幅；

从前景预测掩码处提取局部特征向量的步骤如下：

S200：引入前景注意力机制,将前景预测掩码与对应的特征金字塔特征图经过卷积后的输出进行叠加，之后特征图对应于前景掩码中的前景部分保留，而背景部分将被忽略，从而得到局部特征图；

其中，

；

M为特征金字塔输出的特征图，a为前景掩码，*为矩阵元素积，

为局部特征图；

S201：对所有的局部特征图应用全局平均池化操作，得到256x1维的局部特征向量；

将局部特征向量与全局特征向量结合，通过全连接层预测息肉种类的步骤如下：

对于5个256x1维的局部特征向量，我们对其进行合并生成1280x1维的局部特征向量，再经过1x1x256的卷积层降维得到256维的局部特征向量,再将局部特征向量与全局特征向量合并为512x1维的特征向量，最后经过全连接层预测息肉分类。

2.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法，其特征在于，将彩色内镜图像进行预处理的步骤如下：

将彩色内镜图像缩放至512x512的图片分辨率，之后对彩色内镜图像进行像素均值归一化，使得数据的每一个维度具有零均值和单位方差。

3.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于：将S102中的预测物体位置应用非极大值抑制操作，去除过多的重叠预测框。

Images