CN115880266B - 一种基于深度学习的肠道息肉检测系统和方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的肠道息肉检测系统和方法，通过将真实边界框标注区域作为先验信息，结合对比学习方法，增强模型对息肉区域和非息肉区域的判别能力，提高息肉检测的准确率并降低了息肉检测的漏检率；基于传统的目标检测框架CenterNet进行改进，加入针对小息肉目标设计的级联结构，不仅提高了模型对小息肉的检测准确率，而且模型简单，训练与检测过程简单高效，检测速度快；提出自适应难样本挖掘技术能够找出训练数据中潜在的困难样本并让模型对其给予更强的关注，能够有效提高模型对于实际情况中出现的困难样本的检测能力，自适应难样本挖掘函数简单有效，且不消耗额外计算量。

Description

一种基于深度学习的肠道息肉检测系统和方法

技术领域

本发明属于医学图像计算机处理技术领域，具体涉及一种基于深度学习的肠道息肉检测系统和方法。

背景技术

结直肠癌（CRC）全球第三大癌症，而结直肠息肉被视为结直肠癌的主要癌前疾病，因此及时识别息肉并由医生针对息肉类别进行相应的诊断和治疗可以有效降低基于结直肠癌的死亡率。准确的息肉诊断方法对结直肠癌的临床治疗具有重要意义。目前对结直肠息肉的检测方法主要还是医生通过临床经验配合内窥镜影像人工进行判断，导致诊断效率低下。并且由于肠道内环境比较复杂，息肉和周围正常组织难以区分，容易出现息肉漏检和误检的情况，对患者造成二次伤害。

所以一个精准客观的计算机辅助检测系统是非常必要的；息肉检测是一项常规的计算机视觉任务，基于目标检测算法，可以将图像或视频中的息肉检测出来并在相应位置显示矩形边界框。基于计算机辅助的息肉检测技术可以帮助医生在诊断过程中做出正确的判断，从而节省了医生的精力，同时也降低了漏检和误检的可能。

随着信息技术的发展，计算机辅助下的结直肠息肉分类任务实现了较为理想的效果，传统方法中通常使用手工提取的特征参与神经网络的学习，其效率低下；现有技术中通过深度学习的人工智能技术促进医学研究与应用的发展，例如专利号为CN202111488122.6的《一种基于深度学习的结直肠息肉检测方法》发明专利申请，首先使用图像处理技术从图像中提取感兴趣区域（ROI），再使用现有的深度卷积神经网络模型进行检测，虽然有一定改进效果，但仍然存在以下三个问题：

（1）息肉和结直肠壁具有相似的颜色和纹理，检测模型难以准确关注息肉特征；

（2）息肉区域较小或者扁平，模型容易被无关信息干扰；

（3）影像数据集中简单样本和困难样本分布不平衡；

以上三个问题阻碍导致息肉检测准确率无法进一步提升。

发明内容

为了解决现有技术存在的上述问题，本发明目的在于提供一种基于深度学习的肠道息肉检测系统和方法，将真实边界框标注区域作为先验信息，结合对比学习方法，增强模型对息肉区域和非息肉区域的判别能力，提高息肉检测的准确率，并降低息肉检测的漏检率。

本发明所采用的技术方案为：

一种基于深度学习的肠道息肉检测系统，包括有图像预处理模块、神经网络训练模块、自适应困难样本挖掘模块、关注度分配模块和息肉检测模块；

所述图像预处理模块用于接收训练集中的结直肠原始图像和真实边界框标注,并进行预处理后输出结直肠训练图像和训练标注；

所述神经网络训练模块用于输入预处理后的结直肠训练图像和训练标注，根据预处理后的结直肠训练图像和训练标注建立神经网络模型，进行神经网络模型训练，并输出训练完成的神经网络模型权重；

所述自适应困难样本挖掘模块用于加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像，通过自适应难样本挖掘技术对结直肠训练图像进行分析，并输出调整后的结直肠训练图像重要性；

所述关注度分配模块用于加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像、训练标注和结直肠训练图像重要性，对神经网络模型权重进行微调，并输出微调完成的神经网络模型权重；

所述息肉检测模块用于获取测试集中的结直肠图像；加载训练完成的模型，输入待检测的测试图像，输出测试图像中息肉的位置和边界框，完成检测。

进一步地，所述预处理包括对结直肠原始图像行正则化、翻转、裁剪和热力图转换；对真实边界框标注进行二值掩码转换，使用真实边界框的内部区域生成二值掩码图像；

翻转包括随机翻转和随机旋转；

热力图转换包括使用真实边界框生成表示息肉中心点的热力图。

进一步地，所述神经网络训练模块包括有第一损失函数和第二损失函数，所述神经网络训练模块通过第一损失函数和第二损失函数监督神经网络模型训练；并且收集测试集中的结直肠测试图像和真实测试边界框标注，输入神经网络模型，验证神经网络模型的识别检测准确率。

进一步地，所述神经网络训练模块还包括有：

主干神经网络：主干神经网络为主流深度神经网络，用于输入预处理后的结直肠训练图像，输出结直肠训练图像中的特征信息；

级联检测器：用于输入来自主干神经网络的特征信息，输出用于监督学习的边界框中心点位置特征、边界框宽度特征和中心点偏移度特征；级联检测器包括有边界框中心点检测器、边界框中心点偏移度检测器、边界框宽度检测器和辅助边界框中心点检测器；每个检测器分别包括两个卷积层和一个批量正则化层；每个检测器用于生成解析边界框所需的特征信息；

对比学习模块：用于输入来自主干神经网络的特征信息，通过第二损失函数监督网络学习息肉特征与背景特征的差异性，输出对比学习损失值。

再进一步地，所述对比学习模块还用于利用二值掩码图像和特征信息得到息肉特征信息和背景特征信息；将息肉特征信息作为正样本，并将所述的背景特征信息作为负样本输入第二损失函数，所述第二损失函数基于InfoNCE损失函数去约束正样本和负样本在高等语义表示空间的分布差异，从而让网络学习到正样本之间的相似性和正负样本之间的差异性。

再进一步地，所述神经网络训练模块的总训练损失函数为第一损失函数与第二损失函数之和；

所述第一损失函数为

其中为中心损失函数，/>为辅助中心损失函数，/>为中心偏移损失函数，/>为宽度损失函数。/>表示平衡损失函数权重的超参数；其中/>表示平衡中心损失函数的超参数，/>表示平衡辅助中心损失函数的超参数，/>表示平衡宽度损失函数的超参数；

所述中心损失函数为

其中和/>是控制正负样本权重的超参数，N是图像中关键点的数量；

所述辅助中心损失函数为

其中真实的中心点热力图，/>是边界框中心点检测器预测的中心点热力图，/>是辅助边界框中心点检测器预测的中心点热力图；/>是目标中心点坐标，/>是对象大小自适应标准偏差；

所述中心偏移损失函数为

其中是边界框中心点偏移度检测器预测的中心点偏移特征，/>是真实的中心点坐标

所述宽度损失函数为

其中是边界框宽度检测器预测的第k个物体的边界框宽度特征，/>是真实的第k个物体的边界框宽度特征。

所述第二损失函数为

其中是进行对比学习的查询样本，/>是与查询样本相似的正样本，/>是与查询样本不相似的负样本。/>是温度系数。

再进一步地，所述的自适应困难样本挖掘技术还包括：加载训练完成的神经网络模型权重，输入结直肠训练图像，输出每张图片的交并比值IoU；通过自适应重要性分配函数根据交并比值为每张结直肠训练图像分配重要性；

所述的交并比值为预测的息肉边界框与真实的息肉边界框的交叠率，定义为：

其中，P表示预测的息肉边界框面积，G表示真实的息肉边界框面积；

所述的自适应重要性分配函数为：

其中s是每张训练图像的交并比值。

再进一步地，所述关注度分配模块包括有第二损失函数和第三损失函数，关注度分配模块使用神经网络训练模块的第二损失函数和第三损失函数监督神经网络模型训练，对神经网络模型权重进行微调，实现模型对图像关注度的分配。

最后，所述第三损失函数为第一损失函数基于重要性的改进版：

其中

。

本发明还涉及一种基于深度学习的肠道息肉检测方法，采用上述的基于深度学习的肠道息肉检测系统，包括有以下步骤：

S01，通过图像预处理模块获取训练集中的结直肠图像和真实边界框标注，对结直肠原始图像和真实边界框标注进行预处理，并进行数据增强，对真实边界框标注进行格式转换；获得预处理后的结直肠训练图像和训练标注；

对结直肠原始图像的预处理方法包括：随机裁剪，改变图像尺寸大小为，随机旋转90°和/或随机翻转180°，并进行图像标准化；

对真实边界框标注的预处理方法包括：提取边界框的中心点，将中心点位置通过高斯函数映射到与预处理后训练图像大小相同的热力图上，获得中心点热力图；

提取真实边界框的内部区域S，在与预处理后的结直肠训练图像大小相同的二值掩码上将S的值设为1，其余区域的值设为0；二值掩码内嵌息肉空间信息；

S02，在神经网络训练模块中预先编写第一损失函数和第二损失函数；输入预处理后的结直肠训练图像和训练标注，根据预处理后的结直肠训练图像和训练标注建立神经网络模型，通过第一损失函数和第二损失函数监督神经网络模型训练；输出训练完成的神经网络模型权重；获取测试集中的结直肠图像和真实边界框标注，输入神经网络模型，测试网络的泛化效果，验证神经网络模型的识别检测准确率；

S03，在自适应困难样本挖掘模块中加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像，通过自适应难样本挖掘技术对结直肠训练图像进行分析，输出调整后的结直肠训练图像重要性；

S04，在关注度分配模块中加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像、训练标注和结直肠训练图像重要性，使用预先建立的第二损失函数和第三损失函数来监督神经网络模型训练，通过结直肠训练图像重要性来微调神经网络模型权重，实现模型对图像关注度的分配。输出微调完成的神经网络模型权重；

S05，通过息肉检测模块中获取测试集中的结直肠图像；加载训练完成的模型，输入待检测的测试图像，输出测试图像中息肉的位置和边界框，完成检测。

再进一步地，所述步骤S02中，还包括以下操作步骤：

S021，在主干神经网络中提取预处理后的训练图像的特征信息；主干神经网络选择金字塔视觉变换器PVTv2，包含4层Transformer编码器，分别输出4个不同分辨率的特征信息；主干神经网络后连接一个尺度融合模块，将4个分辨率的特征信息通过上采样操作和矩阵求和融合为一个最高分辨率的特征信息；

S022，在级联检测器中进一步提取主干网络特征信息中的边界框中心点特征、边界框宽度特征和边界框中心点偏移特征；

S023，在对比学习模块中通过第二损失函数监督网络学习息肉特征与背景特征的差异性；

对比学习模块包括正负样本生成过程和对比学习过程；输入预处理模块得到的二值掩码和主干网络特征，通过正负样本生成函数得到前景特征和背景特征；前景特征即为息肉特征，背景特征为结直肠壁特征。

最后，所述步骤S022包括以下操作内容：

级联检测器为目标检测框架CenterNet；CenterNet包含一个边界框中心点检测器，一个边界框宽度检测器、一个边界框中心点偏移度检测器、和一个辅助边界框中心点检测器；每一个检测器分别包括两个的卷积层和一个批量正则化层；主干神经网络特征首先输入辅助中心点检测器，输出一个辅助中心点位置特征和一个辅助特征；主干神经网络特征和辅助特征相加得到强化特征；强化特征输入边界框中心点检测器、边界框宽度检测器和边界框中心点偏移度检测器，输出边界框中心点位置特征、边界框宽度特征和边界框中心点偏移度特征。

本发明基于深度学习的肠道息肉检测系统和检测方法有益效果为：

1.通过将真实边界框标注区域作为先验信息，结合对比学习方法，大大增强了模型对息肉区域和非息肉区域的判别能力；提高了息肉检测的准确率并降低了息肉检测的漏检率。

2.在传统的目标检测框架CenterNet基础上加入针对小息肉目标设计的级联结构，不仅提高了模型对小息肉的检测准确率，而且模型简单，训练与检测过程简单高效，检测速度快。

3.提出自适应难样本挖掘技术，能够找出训练数据中潜在的困难样本并让模型对其给予更强的关注，能够有效提高模型对于实际情况中出现的困难样本的检测能力，自适应难样本挖掘函数简单有效，且不消耗额外计算量。

附图说明

图1是本发明实施例一基于深度学习的肠道息肉检测系统结构示意图；

图2是本发明实施例一基于深度学习的肠道息肉检测方法流程原理示意图；

图3 是本发明实施例一基于深度学习的肠道息肉检测方法的不同模型的模型定性结果比较示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“ 第一”、“ 第二”、“ 第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者次序。此外，术语“ 包括”和“ 具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“ 实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明提供一种基于深度学习的肠道息肉检测系统和方法，整体策划方案为：一种影像中的息肉检测系统和检测方法，可以提升息肉的检测准确率。

本发明前期预先收集了一批结肠镜图像，共包含114544张结肠镜图像和配对的真实边界框标注；将其中70%的图像划分作为训练集，其余30%的图像划分作为测试集。

一种影像中的息肉检测方法，即基于深度学习的肠道息肉检测方法，包括以下模块：

图像预处理模块：获取训练集中的结直肠原始图像和真实边界框标注；输入并预处理结直肠原始图像和真实边界框标注，对结直肠原始图像进行正则化、翻转，裁剪和热力图转换，对真实边界框标注进行二值掩码转换；输出预处理后的结直肠训练图像和训练标注。也可以对真实边界框标注执行与结直肠原始图像预处理相同的转换操作。

神经网络训练模块：输入预处理后的结直肠训练图像和训练标注，根据预处理后的结直肠训练图像和训练标注建立神经网络模型，使用预先建立的第一损失函数和第二损失函数来监督神经网络模型训练；输出训练完成的神经网络模型权重。获取测试集中的结直肠测试图像和真实测试边界框标注，输入神经网络模型，测试网络的泛化效果，验证神经网络模型的识别检测准确率。在训练开始前使用和训练集相同的方法获取测试集，但不进行数据增强。

验证神经网络模型的识别检测准确率：测试阶段根据网络预测的边界框和真实的边界框的差异计算“真正值（预测正确的边界框）”和“负正值（预测错误的边界框）”，并根据真正值和负正值得到预测的F1值（2*真正值/总预测边界框+总真实边界框）作为验证检测准确率的指标。

自适应困难样本挖掘模块：加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像，通过自适应难样本挖掘技术对结直肠训练图像进行分析，输出调整后的结直肠训练图像重要性；代表当前图像在微调过程中的重要程度，重要性越高，代表对网络的影响越大。关注度分配模块：加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像、训练标注和结直肠训练图像重要性，使用预先建立的第二损失函数和第三损失函数来监督神经网络模型训练，通过结直肠训练图像重要性来微调神经网络模型权重，实现模型对图像关注度的分配，对神经网络模型权重进行微调，输出微调完成的神经网络模型权重。息肉检测模块：获取测试集中的结直肠测试图像；加载训练完成的模型，输入待检测的测试图像，输出测试图像中息肉的位置和边界框，完成检测。在训练开始前根据数学表达式编写好第一损失函数、第二损失函数和第三损失函数，训练开始后通过第一损失函数、第二损失函数和第三损失函数计算网络预测值和数据真实值的差异，并根据差异更新网络参数，进行下一轮训练。

在模块1中，对图像进行预处理是为了便于训练且有助于提高训练准确率；对图像进行的预处理包括正则化、裁剪、随机翻转和随机旋转；使用真实边界框的内部区域生成二值掩码图像，使用真实边界框生成表示息肉中心点的热力图，即中心点热力图。

在模块2中，神经网络模型训练方法还包括：

2.1主干神经网络：输入预处理后的结直肠训练图像，输出结直肠训练图像中的特征信息；

2.2级联检测器：输入来自主干神经网络的特征信息，输出用于监督学习的边界框中心点位置特征，边界框宽度特征和中心点偏移度特征；

2.3对比学习模块：输入来自主干神经网络的特征信息，使用预先定义的第二损失函数监督网络学习息肉特征与背景特征的差异性，输出对比学习损失值；

在模块2.1中，主干神经网络可以选择主流深度神经网络，用于提取图像中的特征信息。

在模块2.2中，级联检测器改进于传统目标检测框架CenterNet，包含一个边界框中心点检测器，一个边界框中心点偏移度检测器，一个边界框宽度检测器和一个辅助边界框中心点检测器。每一个检测器包括两个卷积层和一个批量正则化层。每一个检测器用于生成解析边界框所需的特征信息。

在模块2.3中，对比学习模块还包括：利用二值掩码图像和特征信息得到息肉特征信息和背景特征信息；将息肉特征信息作为正样本，并将的背景特征信息作为负样本输入预先构建的第二损失函数，第二损失函数基于InfoNCE损失函数去约束正样本和负样本在高等语义表示空间的分布差异，从而让网络学习到正样本之间的相似性和正负样本之间的差异性。

前景特征和背景特征：前景特征即为息肉特征，背景特征为结直肠壁特征。

在模块2中

总的训练损失函数为第一损失函数加第二损失函数，其中：

第一损失函数为

其中为中心损失函数，/>为辅助中心损失函数，/>为中心偏移损失函数，/>为宽度损失函数。/>表示平衡损失函数权重的超参数，其中/>表示平衡中心损失函数的超参数，/>表示平衡辅助中心损失函数的超参数，/>表示平衡宽度损失函数的超参数。

中心损失函数为

其中和/>是控制正负样本权重的超参数，N是图像中关键点的数量；

辅助中心损失函数为

其中真实的中心点热力图，/>是边界框中心点检测器预测的中心点热力图，/>是辅助边界框中心点检测器预测的中心点热力图。/>是目标中心点坐标，/>是对象大小自适应标准偏差。

中心偏移损失函数为

其中是边界框中心点偏移度检测器预测的中心点偏移特征，/>是真实的中心点坐标

宽度损失函数为

其中是边界框宽度检测器预测的第k个物体的边界框宽度特征，/>是真实的第k个物体的边界框宽度特征。

第二损失函数为

其中是进行对比学习的查询样本，/>是与查询样本相似的正样本，/>是与查询样本不相似的负样本。/>是温度系数。

在模块3中，的自适应困难样本挖掘技术还包括：加载训练完成的神经网络模型权重，输入结直肠训练图像，输出每张图片的交并比值（IoU）。通过自适应重要性分配函数根据交并比值为每张结直肠训练图像分配重要性信息，输出调整后的结直肠训练图像重要性。

交并比值（IoU）为预测的息肉边界框与真实的息肉边界框的交叠率，定义为：

其中，P表示预测的息肉边界框面积，G表示真实的息肉边界框面积。

自适应重要性分配函数为：

其中s是每张训练图像的交并比值。

在模块4中，第三损失函数为第一损失函数基于重要性的改进版：

其中

本发明可以对输入的医疗图像或视频段进行分析，识别和显示可能存在息肉的位置，从而帮助医生做出相应的诊断和后续的诊疗策略，在一定程度上降低了误诊漏诊的可能；并且可以在结肠镜检查中实时形成预测结果，辅助医生在手术过程中更快地做出判断，从而节省医生的时间和精力。因此，本发明可以作为一种实时的计算机辅助息肉诊断器械的软件部分。

如图1～3所示，为本申请实施例一提供的一种影像中的息肉检测方法，即基于深度学习的肠道息肉检测方法，

包括以下步骤：

在图像预处理模块中获取训练集中的结直肠原始图像和真实边界框标注；对原始的结直肠原始图像进行数据增强，对真实边界框标注进行格式转换。在神经网络训练模块中输入预处理后的结直肠训练图像和训练标注，使用预先建立的第一损失函数和第二损失函数来监督神经网络模型训练；输出训练完成的神经网络模型权重。获取测试集中的结直肠图像和真实边界框标注，输入神经网络模型，测试网络的泛化效果，验证神经网络模型的识别检测准确率。在自适应困难样本挖掘模块中加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像，通过自适应难样本挖掘技术对结直肠训练图像进行分析，输出调整后的结直肠训练图像重要性。在关注度分配模块中加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像、训练标注和结直肠训练图像重要性，使用预先建立的第二损失函数和第三损失函数来监督神经网络模型训练，通过结直肠训练图像重要性来微调神经网络模型权重，实现模型对图像关注度的分配。输出微调完成的神经网络模型权重。在息肉检测模块中获取测试集中的结直肠测试图像；加载训练完成的模型，输入待检测的测试图像，输出测试图像中息肉的位置和边界框，完成检测。步骤1中，使用的数据集来自我们合作医院自己采集和整理的私有数据集PRPD和来自昭和大学和名古屋大学采集和整理的公开数据集SUN-SEG。私有数据集PRPD-A包括300段总共83605张带息肉的结直肠图像;PRPD-B包含152段总共20668张带息肉的结直肠图像。公开数据集包括112段总共19544张带息肉的结直肠图像。

步骤1中，对训练图像的预处理方法包括：随机裁剪，改变大小（），随机旋转90°，随机翻转180°，图像标准化。

对边界框标注的预处理方法包括：提取边界框的中心点，将中心点位置通过高斯函数映射到与预处理后训练图像大小（）相同的热力图上。中心点热力图便于网络学习息肉中心点位置。提取边界框的内部区域S，在与预处理后训练图像大小相同的二值掩码上将S的值设为1，其余区域的值设为0。二值掩码内嵌息肉空间信息，可以在对比学习中帮助网络学习息肉特征与背景特征的差异性。

在实施例一的在步骤2中，神经网络模型训练模块还包括一下步骤：

2.1在主干神经网络中提取预处理后的训练图像的特征信息；

2.2在级联检测器中进一步提取主干网络特征信息中的边界框中心点特征，边界框宽度特征和边界框中心点偏移特征。

2.3（此步骤与步骤2.2为平行步骤）在对比学习模块中使用预先定义的第二损失函数来监督网络学习息肉特征与背景特征的差异性。

在实施例一的步骤2.1中，主干神经网络可以选用任何主流深度神经网络，例如ResNet50，ResNet100，VGG，PVT等。在上述实施例中，主干神经网络选择PVTv2，包含4层Transformer编码器，分别输出4个不同分辨率的特征信息。主干神经网络后连接一个尺度融合模块，将4个分辨率的特征信息通过上采样操作和矩阵求和融合为一个最高分辨率（)的特征信息。

在实施例一的步骤2.2中，级联检测器改进于传统目标检测框架CenterNet。CenterNet包含一个边界框中心点检测器，一个边界框宽度检测器和一个边界框中心点偏移度检测器。在上述实施例中，还加入了一个辅助边界框中心点检测器。每一个检测器包括两个(卷积层和一个批量正则化层。主干网络特征首先输入辅助中心点检测器，输出一个辅助中心点位置特征和一个辅助特征。主干网络特征和辅助特征相加得到强化特征。强化特征输入边界框中心点检测器，边界框宽度检测器和边界框中心点偏移度检测器，输出边界框中心点位置特征，边界框宽度特征和边界框中心点偏移度特征。CenterNet是高效的无锚点框端到端检测框架，训练简单，准确率高。但无法关注小息肉目标。上述实施例加入辅助中心点检测器，通过级联的方式强化网络对小目标的关注度。在保持CenterNet原本高效简洁的训练特点情况下，大大提高了模型对小目标的检测能力。

在实施例一的步骤2.3中，对比学习模块包括正负样本生成过程和对比学习过程。输入预处理模块得到的二值掩码和主干网络特征，通过正负样本生成函数得到前景（息肉）特征和背景（结直肠壁）特征，所述正负样本生成函数为

其中F是前景特征，B是背景特征，M是二值掩码，T是主干网络特征，是正则化函数，/>是空间平均函数。

将所述前景特征作为查询样本和正样本，背景特征作为负样本输入预先构建的第二损失函数监督对比学习过程，让网络学习到正样本之间的相似性和正负样本之间的差异性。

在步骤2中，所述第一损失函数为

其中为中心损失函数，/>为辅助中心损失函数，/>为中心偏移损失函数，/>为宽度损失函数。/>表示平衡损失函数权重的超参数。

所述中心损失函数为

所述辅助中心损失函数为

其中真实的中心点热力图，/>是边界框中心点检测器预测的中心点热力图，/>是辅助边界框中心点检测器预测的中心点热力图。/>是对象大小自适应标准偏差。/>

所述中心偏移损失函数为

其中是边界框中心点偏移度检测器预测的中心点偏移特征，/>是真实的中心点坐标

所述宽度损失函数为

其中是边界框宽度检测器预测的第k个物体的边界框宽度特征，/>是真实的第k个物体的边界框宽度特征。

所述第二损失函数为

其中是进行对比学习的查询样本，/>是与查询样本相似的正样本，/>是与查询样本不相似的负样本。/>是温度系数。

在实施例一中，每个训练周期从训练集中采样16张图像作为最小训练单位，模型训练总周期为20。模型的初始学习率为0.0001，以正弦衰减因子0.0005衰减。

在实施例一的步骤3中的自适应困难样本挖掘技术包括测试过程和重要性分配过程：

在测试过程中，加载训练完成的神经网络模型，输入训练图像，输出每张图片的交并比值（IoU）。

交并比值为预测的息肉边界框与真实的息肉边界框的交叠率，定义为：

其中，P表示预测的息肉边界框面积，G表示真实的息肉边界框面积。

在重要性分配过程中，通过自适应重要性分配函数根据交并比值为每张训练图像分配重要性。

的自适应重要性分配函数为：

其中s是每张训练图像的交并比值。自适应困难样本挖掘技术能够提取潜在困难图像，并根据其困难程度分配单独的重要性，无需人为设定阈值去判断图像的苦难程度，大大提高了方法的泛化能力。

在实施例一的步骤4中，关注度分配使用步骤3中得到的图像重要性以及预处理后的训练图像，使用神经网络训练模块预先建立的第二损失函数和第三损失函数来监督神经网络模型训练，重新微调神经网络模型权重。在步骤4中模型会关注和学习到更多的困难样本特征，提高模型在实际测试中对各种未知样本的准确率。

第三损失函数为第一损失函数基于重要性的改进版：

其中

在实施例一的步骤4中，神经网络模型微调和神经网络权重训练共享相同的训练参数和配置，只在计算损失函数时有所不同。

附表1为实施例一和现有技术模型定量性能比较表。

现有技术1*:Faster-RCNN, 现有技术2*:CenterNet, 现有技术3*：ColonSeg

通过上述方法能够实现基于深度学习的息肉检测系统，此后只需要将结直肠的原始图像输入到系统就能得到有关该图像中息肉的位置和边界框。

在实施例一中，对上述的影像中的息肉检测方法进行了验证，如附表1所示，实施例一在所有测试数据集中表现均显著优于现有技术的方法。同时，通过去除本发明中的三个重要的模块，即级联检测器，对比学习和自适应困难样本挖掘，息肉检测的准确性均呈现出不同程度的下降，从而说明了本发明的每个组成部件的有效性和必要性。

另外，本实施例还进行了不同模型的模型定性结果比较，如图3所示，我们可以明显观察到，本发明提出的方法能够更有效的检测到多发息肉和不易察觉的小息肉。

本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。

附表1：模型定量性能比较表

/>

Claims (9)

1.一种基于深度学习的肠道息肉检测系统，其特征在于：包括有图像预处理模块、神经网络训练模块、自适应困难样本挖掘模块、关注度分配模块和息肉检测模块；

所述图像预处理模块用于接收训练集中的结直肠原始图像和真实边界框标注,并进行预处理后输出结直肠训练图像和训练标注；

所述神经网络训练模块用于输入预处理后的结直肠训练图像和训练标注，根据预处理后的结直肠训练图像和训练标注建立神经网络模型，进行神经网络模型训练，并输出训练完成的神经网络模型权重；所述神经网络训练模块包括有第一损失函数和第二损失函数，所述神经网络训练模块通过第一损失函数和第二损失函数监督神经网络模型训练；并且收集测试集中的结直肠测试图像和真实测试边界框标注，输入神经网络模型，验证神经网络模型的识别检测准确率；

所述神经网络训练模块还包括有：

主干神经网络：所述主干神经网络为主流深度神经网络，用于输入预处理后的结直肠训练图像，输出结直肠训练图像中的特征信息；

级联检测器：用于输入来自主干神经网络的特征信息，输出用于监督学习的边界框中心点位置特征、边界框宽度特征和中心点偏移度特征；

级联检测器包括有边界框中心点检测器、边界框中心点偏移度检测器、边界框宽度检测器和辅助边界框中心点检测器；每个检测器分别包括两个卷积层和一个批量正则化层；每个检测器用于生成解析边界框所需的特征信息；

对比学习模块：用于输入来自主干神经网络的特征信息，通过第二损失函数监督网络学习息肉特征与背景特征的差异性，输出对比学习损失值；

所述自适应困难样本挖掘模块用于加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像，通过自适应难样本挖掘技术对结直肠训练图像进行分析，并输出调整后的结直肠训练图像重要性；

所述关注度分配模块用于加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像、训练标注和结直肠训练图像重要性，通过结直肠训练图像重要性微调神经网络模型权重，并输出微调完成的神经网络模型权重；

所述息肉检测模块用于获取测试集中的结直肠图像；加载训练完成的模型，输入待检测的测试图像，输出测试图像中息肉的位置和边界框，完成检测。

2.根据权利要求1所述基于深度学习的肠道息肉检测系统，其特征在于：所述预处理包括对结直肠原始图像进行正则化、翻转、裁剪和热力图转换；对真实边界框标注进行二值掩码转换，使用真实边界框的内部区域生成二值掩码图像；

翻转包括随机翻转和随机旋转；

热力图转换包括使用真实边界框生成表示息肉中心点的热力图。

3.根据权利要求1所述基于深度学习的肠道息肉检测系统，其特征在于：所述对比学习模块还用于利用二值掩码图像和特征信息得到息肉特征信息和背景特征信息；将息肉特征信息作为正样本，并将所述的背景特征信息作为负样本输入第二损失函数，所述第二损失函数基于InfoNCE损失函数去约束正样本和负样本在高等语义表示空间的分布差异，从而让网络学习到正样本之间的相似性和正负样本之间的差异性。

4.根据权利要求3所述基于深度学习的肠道息肉检测系统，其特征在于：所述神经网络训练模块的总训练损失函数为第一损失函数与第二损失函数之和；

所述第一损失函数为

其中为中心损失函数，/>为辅助中心损失函数，/>为中心偏移损失函数，/>为宽度损失函数；/>表示平衡损失函数权重的超参数；

所述中心损失函数为

所述辅助中心损失函数为

其中 真实的中心点热力图，/>是边界框中心点检测器预测的中心点热力图，/>是辅助边界框中心点检测器预测的中心点热力图，/>是对象大小自适应标准偏差；

所述中心偏移损失函数为

其中是边界框中心点偏移度检测器预测的中心点偏移特征，/>是真实的中心点坐标

所述宽度损失函数为

其中是边界框宽度检测器预测的第k个物体的边界框宽度特征，/>是真实的第k个物体的边界框宽度特征，

所述第二损失函数为

其中是进行对比学习的查询样本，/>是与查询样本相似的正样本，/>是与查询样本不相似的负样本，/>是温度系数。

5.根据权利要求1所述基于深度学习的肠道息肉检测系统，其特征在于：所述的自适应困难样本挖掘技术还包括：加载训练完成的神经网络模型权重，输入结直肠训练图像，输出每张图片的交并比值IoU；通过自适应重要性分配函数根据交并比值为每张结直肠训练图像分配重要性；

所述的交并比值为预测的息肉边界框与真实的息肉边界框的交叠率，定义为：

其中，P表示预测的息肉边界框面积，G表示真实的息肉边界框面积；

所述的自适应重要性分配函数为：

其中s是每张训练图像的交并比值。

6.根据权利要求1所述基于深度学习的肠道息肉检测系统，其特征在于：所述关注度分配模块包括有第二损失函数和第三损失函数，关注度分配模块使用神经网络训练模块的第二损失函数和第三损失函数监督神经网络模型训练，对神经网络模型权重进行微调，实现模型对图像关注度的分配；

所述第三损失函数为第一损失函数基于重要性的改进版：

其中

。

7.一种基于深度学习的肠道息肉检测方法，其特征在于：采用权利要求1～6之一所述的基于深度学习的肠道息肉检测系统，包括有以下步骤：

S01，通过图像预处理模块获取训练集中的结直肠图像和真实边界框标注，对结直肠原始图像和真实边界框标注进行预处理，并进行数据增强，对真实边界框标注进行格式转换；获得预处理后的结直肠训练图像和训练标注；

对结直肠原始图像的预处理方法包括：随机裁剪，改变图像尺寸大小为，随机旋转90°和/或随机翻转180°，并进行图像标准化；

对真实边界框标注的预处理方法包括：提取边界框的中心点，将中心点位置通过高斯函数映射到与预处理后训练图像大小相同的热力图上，获得中心点热力图；

提取真实边界框的内部区域S，在与预处理后的结直肠训练图像大小相同的二值掩码上将S的值设为1，其余区域的值设为0；二值掩码内嵌息肉空间信息；

S02，在神经网络训练模块中预先编写第一损失函数和第二损失函数；输入预处理后的结直肠训练图像和训练标注，根据预处理后的结直肠训练图像和训练标注建立神经网络模型，通过第一损失函数和第二损失函数监督神经网络模型训练；输出训练完成的神经网络模型权重；获取测试集中的结直肠图像和真实边界框标注，输入神经网络模型，测试网络的泛化效果，验证神经网络模型的识别检测准确率；

S03，在自适应困难样本挖掘模块中加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像，通过自适应难样本挖掘技术对结直肠训练图像进行分析，输出调整后的结直肠训练图像重要性；

S04，在关注度分配模块中加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像、训练标注和结直肠训练图像重要性，使用预先建立的第二损失函数和第三损失函数来监督神经网络模型训练，通过结直肠训练图像重要性来微调神经网络模型权重，实现模型对图像关注度的分配，输出微调完成的神经网络模型权重；

S05，通过息肉检测模块中获取测试集中的结直肠图像；加载训练完成的模型，输入待检测的测试图像，输出测试图像中息肉的位置和边缘，完成检测。

8.根据权利要求7所述基于深度学习的肠道息肉检测方法，其特征在于：所述步骤S02中，还包括以下操作步骤：

S021，在主干神经网络中提取预处理后的训练图像的特征信息；

主干神经网络选择金字塔视觉变换器PVTv2，包含4层Transformer编码器，分别输出4个不同分辨率的特征信息；主干神经网络后连接一个尺度融合模块，将4个分辨率的特征信息通过上采样操作和矩阵求和融合为一个最高分辨率的特征信息；

S022，在级联检测器中进一步提取主干网络特征信息中的边界框中心点特征、边界框宽度特征和边界框中心点偏移特征；

S023，在对比学习模块中通过第二损失函数监督网络学习息肉特征与背景特征的差异性；

对比学习模块包括正负样本生成过程和对比学习过程；输入预处理模块得到的二值掩码和主干网络特征，通过正负样本生成函数得到前景特征和背景特征；前景特征即为息肉特征，背景特征为结直肠壁特征。

9.根据权利要求8所述基于深度学习的肠道息肉检测方法，其特征在于：所述步骤S022包括以下操作内容：

级联检测器为目标检测框架CenterNet；CenterNet包含一个边界框中心点检测器，一个边界框宽度检测器、一个边界框中心点偏移度检测器、和一个辅助边界框中心点检测器；每一个检测器分别包括两个的卷积层和一个批量正则化层；主干神经网络特征首先输入辅助中心点检测器，输出一个辅助中心点位置特征和一个辅助特征；主干神经网络特征和辅助特征相加得到强化特征；强化特征输入边界框中心点检测器、边界框宽度检测器和边界框中心点偏移度检测器，输出边界框中心点位置特征、边界框宽度特征和边界框中心点偏移度特征。