CN115984551A - 基于多尺度反向注意力的息肉分割方法、设备及存储介质 - Google Patents
基于多尺度反向注意力的息肉分割方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115984551A CN115984551A CN202211282196.9A CN202211282196A CN115984551A CN 115984551 A CN115984551 A CN 115984551A CN 202211282196 A CN202211282196 A CN 202211282196A CN 115984551 A CN115984551 A CN 115984551A
- Authority
- CN
- China
- Prior art keywords
- polyp
- intestinal
- sample set
- segmentation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000037062 Polyps Diseases 0.000 title claims abstract description 110
- 230000011218 segmentation Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 41
- 208000032177 Intestinal Polyps Diseases 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000000968 intestinal effect Effects 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 206010009944 Colon cancer Diseases 0.000 description 3
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 3
- 238000002052 colonoscopy Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000022131 polyp of large intestine Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种基于多尺度反向注意力的息肉分割方法、设备以及存储介质，本申请首先获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本；然后基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络，以使反向注意力机制能够关注到肠道息肉的边缘纹理等细节信息，最后利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，在实际应用中即可实现从肠道图像中分割出肠道息肉。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种基于多尺度反向注意力的息肉分割方法、设备及存储介质。
背景技术
随着人们生活品质的不断提升，健康问题也愈加得到人们的重视，任何一场突如其来的疾病，都可能使得我们的人生轨迹发生变化，因此必要的体检，以及推行先进科学的检测技术迫在眉睫。
结肠镜检查是检测结直肠息肉病变的有效技术，与结直肠癌高度相关，在临床实践中，结肠镜图像为诊断和手术提供了有价值的信息，主要是因为医生能够从结肠镜图像中分割息肉，这也就意味着结肠镜图像中分割息肉的准确率直接影响着后续治疗，因为必须确保从结肠镜图像中分割息肉的准确率，而当前单纯依靠人为界定效率低下且准确率更是难以保证。
发明内容
为了解决上述现有技术中的技术问题，本申请提供了一种方基于多尺度反向注意力的息肉分割方法、设备及存储介质。
第一方面，本申请提供了一种基于多尺度反向注意力的息肉分割方法，所述方法包括：
获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本，其中所述肠道息肉训练样本中每张肠道息肉样本中的息肉被标注；
基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络；
利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉。
可选地，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛的步骤后，还包括：
根据所述肠道息肉样本集确定测试样本集和验证样本集，其中，所述测试样本集中息肉未被标注，所述验证样本集中息肉被标注；
将所述测试样本集输入所述息肉分割模型，得到预测息肉样本集；
基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度。
可选地，基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度的步骤，包括：
计算所述预测息肉样本集与所述验证样本集的均方误差；
确定所述分割模型的精度和所述召回率；
基于所述均方误差所述分割模型的精度以及所述召回率确定所述分割模型的精确度。
可选地，基所述图像特征提取编码器包括：
所述图像特征提取编码器在ImageNet上预训练得到ResNet-34基干网络，其中，所述ResNet-34基干网络将最高层的全连接层去除，得到只包含特征图提取部分的残差单元，每个残差单元包括卷积层、激活层和归一化层，其中，所述ResNet-34基干网络的每一层输出的卷积网络将特征图通道数量减少至32，以使所述分割模型运算量减少。
可选地，所述多尺度反向注意力编码器包括反向注意力模块和底层上下文模块的特征提取单元。
可选地，所述反向注意力模块表达式如下：
Ri＝fi×(1-δ(Conv3(fi)))，i＝1，2，3，4，5
其中，fi表示第i层编码器的特征图，Conv3表示将特征图通道数量缩减到1，δ表示Sigmoid激活函数函数。Ri表示增强后的特征图；
所述底层上下文模块的特征提取单元由U-Net组成，将U-Net中每个残差单元特征图通道数量分别为32，32，64，64。
可选地，可选地，基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络的步骤，包括：
定义所述息肉分割网络的损失函数为标准交叉熵L，所述标准交叉熵L的表达式如下：
其中(x,y)表示像素值坐标。G表示真实息肉分割图，P表示预测息肉分割图。
可选地，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉的步骤，包括：
基于所述标准交叉熵L，利用所述肠道息肉训练样本对所述息肉分割模型进行训练的表达式如下：
其中(x,y)表示像素值坐标。G表示真实息肉分割图，P表示预测息肉分割图,∑表示求和操作；
第计算Lt对Φt的偏导
依据梯度下降法，结合Adam优化函数进行反向传播，对Φt进行权值更新得到更新结果Φt+1；
在每次训练迭代结束后，获得测试集的均方差指标,当所述均方差指标不再下降或达到最大迭代次数为T，停止训练。
第二方面，本申请提供了一种电子设备，包括处理组件以及存储组件；所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，实现如第一方面任一项所述的基于多尺度反向注意力的息肉分割方法。
第三方面，本申请提供了一种计算机存储介质，存储有计算机程序，所述计算程序被计算机执行时，实现如第一方面任一项所述的基于多尺度反向注意力的息肉分割方法。
本申请首先获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本；然后基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络，以使反向注意力机制能够关注到肠道息肉的边缘纹理等细节信息，，最后利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，在实际应用中即可实现从肠道图像中分割出肠道息肉。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于多尺度反向注意力的息肉分割方法的流程图；
图2为本申请实施例提供的分割模型构建流程示意图；
图3为本申请实施例提供的另一种基于多尺度反向注意力的息肉分割方法的流程图；
图4是本申请实施例提供的步骤S106的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，结直肠癌是一种常见的消化道恶性肿瘤,是全球第三大癌症.大多数结直肠癌由腺瘤性息肉演变而来,因此结直肠癌的早期诊断对提高结直肠癌患者的生存率至关重要,实际看来处于第一阶段的结直肠癌的生存率超过95％,而处于第四和第五阶段,则下降到35％以下.当前，结肠镜检查已广泛应用于临床之中,并已成为筛查结直肠癌的标准方法.在临床实践之中,结肠镜检查在很大程度上依赖于医生的经验,并且由于息肉具有不同大小、形态、颜色、纹理以及和周围组织粘膜高度相似、异常组织边界不清,所处环境在边界处的对比度较低等特点导致漏诊率很高。
在早期的研究中,基于学习的方法主要依赖手工提取的特征例如：颜色、形状、纹理、外观或其组合.这类方法通常训练一个分类器来从结肠镜图像中分离出息肉.然而,由于手工提取特征在描述异质息肉以及息肉与难样本之间的相似性时表征能力有限,所以通常存在检测精度低的问题，不利于临床的诊断，因此高精度地分割结直肠息肉就具有十分重要的意义。
回到肠道息肉确定的方法中，结肠镜检查是检测结直肠息肉病变的有效技术，与结直肠癌高度相关，在临床实践中，结肠镜图像为诊断和手术提供了有价值的信息，主要是因为医生能够从结肠镜图像中分割息肉，这也就意味着结肠镜图像中分割息肉的准确率直接影响着后续治疗，因为必须确保从结肠镜图像中分割息肉的准确率，而当前单纯依靠人为界定效率低下且准确率更是难以保证，因此本申请提供给了一种基于多尺度反向注意力的息肉分割方法，如图1所示，所述方法包括：
步骤S101，获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本；
在该步骤中，所述肠道息肉训练样本中每张肠道息肉样本中的息肉被标注。
例如，在实际应用中可以采集2000张肠道息肉样本集，并人工标注其息肉部分，得到真实的息肉二值图，对数据集进行划分，将70％作为肠道息肉训练样本，另外20％作为测试样本集，10％作为验证样本集，以作为模型精度测试或者调整肠道息肉训练样本使用。
步骤S102，基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络；
在该步骤中，构建息肉分割网络便于在实际应用中对肠道图像中息肉的快速定位分割，但考虑到实际应用中息肉的特殊性，例如同一类型的息肉大小、颜色和质地不同，所以难以从肠道图像中分割出来，因此在本申请提供的又一实施方式中：
所述多尺度反向注意力编码器包括反向注意力模块和底层上下文模块的特征提取单元；
其中，所述反向注意力模块表达式如下：
Ri＝fi×(1-δ(Conv3(fi)))，i＝1，2，3，4，5
在该公式中fi表示第i层编码器的特征图，Conv3表示将特征图通道数量缩减到1，δ表示Sigmoid激活函数函数。Ri表示增强后的特征图，其中图像特征提取编码器R包含在ImageNet上预训练的ResNet-34基干网络。ResNet-34将最高层的全连接层去除，只包含特征图提取部分的残差单元。每个残差单元包括卷积层、激活层和批量归一化层。对基干网络的每一层输出，首先通过1×1的卷积网络将特征图通道数量减少到32，达到减少运算量的目的，从而使其更好地应用到边缘设备中，具体地，在医疗领域，边缘计算设备被部署在可穿戴设备和可植入医疗设备上以帮助患者。在大多数情况下，该设备能够处理生物医学信号处理方案，以帮助设备采取特定行动，所以减少运算量后，本申请实施例具备更广的应用场景，尤其是边缘设备。
另外，所述底层上下文模块的特征提取单元由U-Net组成，将U-Net中每个残差单元特征图通道数量分别为32，32，64，64。
具体地，在实际应用过程中，反向注意力模块可以优化网络的收敛速度，同时较好的关注分割物体的边缘部分。多尺度特征提取单元由通用的U-Net组成，为减少运算量，将U-Net中每个残差单元特征图通道数量分别为32，32，64，64，多尺度特征提取单元较好地捕捉上下文信息，优化分割精度。
基于上述编码器，步骤S103基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络的步骤，包括：
定义所述息肉分割网络的损失函数为标准交叉熵L，所述标准交叉熵L的表达式如下：
其中(x,y)表示像素值坐标。G表示真实息肉分割图，P表示预测息肉分割图。
在本申请实施例中，定义所述息肉分割网络的损失函数为标准交叉熵L，使用图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络，示意图如图2所示。
步骤S103，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉。
在该步骤中，为了防止分割模型过分拟合，可以设置最大迭代次数为T，另外根据先验条件可以设置初始迭代次数为t。
例如，初始化迭代次数为t，最大迭代次数为T，T＞20，当前无参考图像质量评价网络模型为Yt，Yt的参数Φt将肠道息肉训练样本输入所述分割模型进行训练，采用损失函数L，第一步通过每个质量预测分数和对应主观意见的损失值Lt，然后计算Lt对Φt的偏导
再依据梯度下降法，结合Adam优化函数进行反向传播，对Φt进行权值更新得到更新结果Φt+1，最后在每个训练迭代结束后，在验证样本集上进行测试，获得测试集的均方差指标(MAE),当MAE不再下降或者达到最大迭代次数为T，停止训练，从而防止过拟合。
具体地，在验证样本集上进行测试的过程，本申请还提供了一种实施方式，步骤S103，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛后，如图3所示，还包括：
步骤S104，根据所述肠道息肉样本集确定测试样本集和验证样本集；
其中，所述测试样本集中息肉未被标注，所述验证样本集中息肉被标注；
步骤S105，将所述测试样本集输入所述息肉分割模型，得到预测息肉样本集；
步骤S106，基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度。
在该步骤中，预测息肉样本集为分割模型输出的结果，而验证样本集为人工标注完成的对照组，所以步骤S106，基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度，具体地，如图4所示，包括：
步骤S401，计算所述预测息肉样本集与所述验证样本集的均方误差；
在该步骤中，均方值误差(MAE)表达如下：
若MAE的数值越低，代表分割模型的性能越好，即分割精确度越高。
步骤S402，确定所述分割模型的精度和所述召回率；
其中，分割模型的精确度和所述召回率可以确定F指标：
Precision，Recall表示精度和召回率，最大F指标
和权重F指标
是本文两个评价指表；
其中精准率(Precision)：Precision＝TP/(TP+FP)
表示预测为正例的样本中真正正例的比例；
召回率(Recall)：Recall＝TP/(TP+FN)
表示预测为正例的真实正例占所有正例的比例；TP(真正例)：预测正确，样本为正，TN(真反例)：预测正确，样本为负，FP(假正例)：预测错误，样本被预测为正，但样本实际为负，FN(假反例)：预测错误，样本被预测为负，但样本实际为正，所以F值：F＝2*Precision*Recall/(Precision+Recall)
召回率指真实值为正类的所有样本中，模型正确分为正类的比例。精确率对反映了对分类为正类样本的样本，有多大的把握能够保证正确。而召回率反映了实际是正类的样本有多大的比率被正确的区分。当精确率比较高的时候，召回率往往较低，反之亦然。F值是精确率和召回率的合成指标，综合了二者的结果，取值范围为[0,1]，F值越髙，代表模型的综合性能越好。
步骤S403，基于所述均方误差所述分割模型的精度以及所述召回率确定所述分割模型的精确度。
另外为了验证本申请与现有技术的效果区别，我们选取了5种息肉分割算法进行对比，分别是U-Net；U-Net++；SFA；ResUNet；PraNet。在同一测试集上就MAE和
以及
三个指标进行比较，比较结果如图一所示比较结果。同时提出的算法在单个GPU(1080Ti)上每秒可以处理90+张图片，达到了实时速度。
表1：定量比较结果(最好的指标被标红)
在本发明提供的又一实施例中，提供了一种基于多尺度反向注意力的息肉分割模块，包括：
获取模块，用于获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本，其中所述肠道息肉训练样本中每张肠道息肉样本中的息肉被标注；
构建模块，用于基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络；
训练模块，用于利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉。
其中，本申请首先获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本；然后基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络，以使反向注意力机制能够关注到肠道息肉的边缘纹理等细节信息，，最后利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，在实际应用中即可实现从肠道图像中分割出肠道息肉。。另外具体的步骤可以参照上述实施例，此处便不再赘述。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
在一个可能的设计中，计算设备可以包括存储组件以及处理组件；
存储组件中存储有一条或多条计算机指令，其中，一条或多条计算机指令供处理组件调用执行，以实现图1实施例所述的基于多尺度反向注意力的息肉分割方法。
其中，处理组件可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用程序专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、刷新控制器、微刷新控制器、微处理器或其他电子元件实现，用于执行上述图1实施例所述的一种基于多尺度反向注意力的息肉分割方法。
存储组件被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图1所示实施例的一种基于多尺度反向注意力的息肉分割。
本申请实施例还提供了一种计算机程序产品，当其在计算机的处理器上运行时，使得计算机的处理器执行上述图1所示实施例的一种基于多尺度反向注意力的息肉分割方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种基于多尺度反向注意力的息肉分割方法，其特征在于，所述方法包括：
获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本，其中所述肠道息肉训练样本中每张肠道息肉样本中的息肉被标注；
基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络；
利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉。
2.根据权利要求1所述的基于多尺度反向注意力的息肉分割方法，其特征在于，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛的步骤后，还包括：
根据所述肠道息肉样本集确定测试样本集和验证样本集，其中，所述测试样本集中息肉未被标注，所述验证样本集中息肉被标注；
将所述测试样本集输入所述息肉分割模型，得到预测息肉样本集；
基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度。
3.根据权利要求2所述的基于多尺度反向注意力的息肉分割方法，其特征在于，基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度的步骤，包括：
计算所述预测息肉样本集与所述验证样本集的均方误差；
确定所述分割模型的精度和所述召回率；
基于所述均方误差所述分割模型的精度以及所述召回率确定所述分割模型的精确度。
4.根据权利要求1所述的基于多尺度反向注意力的息肉分割方法，其特征在于，基所述图像特征提取编码器包括：
所述图像特征提取编码器在ImageNet上预训练得到ResNet-34基干网络，其中，所述ResNet-34基干网络将最高层的全连接层去除，得到只包含特征图提取部分的残差单元，每个残差单元包括卷积层、激活层和归一化层，其中，所述ResNet-34基干网络的每一层输出的卷积网络将特征图通道数量减少至32，以使所述分割模型运算量减少。
5.根据权利要求1所述的基于多尺度反向注意力的息肉分割方法，其特征在于，所述多尺度反向注意力编码器包括反向注意力模块和底层上下文模块的特征提取单元。
6.根据权利要求5所述的基于多尺度反向注意力的息肉分割方法，其特征在于，所述反向注意力模块表达式如下：
Ri＝fi×(1-δ(Conv3(fi))),i＝1,2,3,4,5
其中，fi表示第i层编码器的特征图，Conv3表示将特征图通道数量缩减到1，δ表示Sigmoid激活函数函数。Ri表示增强后的特征图；
所述底层上下文模块的特征提取单元由U-Net组成，将U-Net中每个残差单元特征图通道数量分别为32，32，64，64。
7.根据权利要求1所述的基于多尺度反向注意力的息肉分割方法，其特征在于，基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络的步骤，包括：
定义所述息肉分割网络的损失函数为标准交叉熵L，所述标准交叉熵L的表达式如下：
其中(x,y)表示像素值坐标。G表示真实息肉分割图，P表示预测息肉分割图。
8.根据权利要求7所述的基于多尺度反向注意力的息肉分割方法，其特征在于，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉的步骤，包括：
基于所述标准交叉熵L，利用所述肠道息肉训练样本对所述息肉分割模型进行训练的表达式如下：
其中(x,y)表示像素值坐标。G表示真实息肉分割图，P表示预测息肉分割图,∑表示求和操作；
第计算Lt对Φt的偏导
依据梯度下降法，结合Adam优化函数进行反向传播，对Φt进行权值更新得到更新结果Φt+1；
在每次训练迭代结束后，获得测试集的均方差指标,当所述均方差指标不再下降或达到最大迭代次数为T，停止训练。
9.一种电子设备，其特征在于，包括处理组件以及存储组件；所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，实现如权利要求1-8任一项所述的基于多尺度反向注意力的息肉分割方法。
10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算程序被计算机执行时，实现如权利要求1-8任一项所述的基于多尺度反向注意力的息肉分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211282196.9A CN115984551A (zh) | 2022-10-19 | 2022-10-19 | 基于多尺度反向注意力的息肉分割方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211282196.9A CN115984551A (zh) | 2022-10-19 | 2022-10-19 | 基于多尺度反向注意力的息肉分割方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115984551A true CN115984551A (zh) | 2023-04-18 |
Family
ID=85963584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211282196.9A Pending CN115984551A (zh) | 2022-10-19 | 2022-10-19 | 基于多尺度反向注意力的息肉分割方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984551A (zh) |
-
2022
- 2022-10-19 CN CN202211282196.9A patent/CN115984551A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7086336B2 (ja) | 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム | |
| Zhang et al. | A Lightweight CNN Based on Transfer Learning for COVID-19 Diagnosis. | |
| US20200250497A1 (en) | Image classification method, server, and computer-readable storage medium | |
| Öztürk et al. | Residual LSTM layered CNN for classification of gastrointestinal tract diseases | |
| Murakami et al. | Automatic identification of bone erosions in rheumatoid arthritis from hand radiographs based on deep convolutional neural network | |
| US11967181B2 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
| Wang et al. | An integrated deep learning algorithm for detecting lung nodules with low-dose CT and its application in 6G-enabled internet of medical things | |
| Loo et al. | Open-source automatic segmentation of ocular structures and biomarkers of microbial keratitis on slit-lamp photography images using deep learning | |
| Barbosa et al. | Towards automatic quantification of the epicardial fat in non-contrasted CT images | |
| CN114494263B (zh) | 融合临床信息的医学影像病变检测方法、系统及设备 | |
| CN114693961A (zh) | 眼底照片分类方法、眼底图像处理方法和系统 | |
| CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| CN113344894A (zh) | 眼底豹纹斑特征提取及特征指数确定的方法和装置 | |
| CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
| CN114693671B (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
| WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
| CN116579954A (zh) | 一种超高清内窥镜图像智能增强方法 | |
| Oltu et al. | A systematic review of transfer learning-based approaches for diabetic retinopathy detection | |
| CN117058467A (zh) | 一种胃肠道病变类型识别方法及系统 | |
| CN110934565B (zh) | 一种瞳孔直径的测量方法、装置及计算机可读存储介质 | |
| CN112381822A (zh) | 一种用于处理肺部病灶区图像的方法和相关产品 | |
| Şengül et al. | Performance Evaluation of Basic Capsule Network Architecture in Classification of Biomedical Images | |
| CN115984551A (zh) | 基于多尺度反向注意力的息肉分割方法、设备及存储介质 | |
| CN113222985B (zh) | 一种图像处理方法、装置、计算机设备和介质 | |
| CN115440386A (zh) | 基于加权多病灶的影像组学特征预测晚期癌症患者免疫治疗效果 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |