CN117197166A - 基于边缘和邻域信息的息肉图像分割方法及成像方法 - Google Patents
基于边缘和邻域信息的息肉图像分割方法及成像方法 Download PDFInfo
- Publication number
- CN117197166A CN117197166A CN202311461228.6A CN202311461228A CN117197166A CN 117197166 A CN117197166 A CN 117197166A CN 202311461228 A CN202311461228 A CN 202311461228A CN 117197166 A CN117197166 A CN 117197166A
- Authority
- CN
- China
- Prior art keywords
- module
- layer
- polyp
- edge
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000037062 Polyps Diseases 0.000 title claims abstract description 261
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000003709 image segmentation Methods 0.000 title claims abstract description 59
- 238000003384 imaging method Methods 0.000 title claims description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 207
- 230000004913 activation Effects 0.000 claims description 101
- 238000010606 normalization Methods 0.000 claims description 71
- 238000010586 diagram Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 16
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 68
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于边缘和邻域信息的息肉图像分割方法，包括获取息肉图像数据信息并标注；进行息肉边缘提取和息肉邻域提取得到息肉区域边缘标签和息肉区域邻域标签；进行随机数据增强得到训练数据集；构建得到息肉图像分割初始模型并采用训练数据集训练得到息肉图像分割模型；采用息肉图像分割模型进行实际的息肉图像分割。本发明还公开了一种包括所述基于边缘和邻域信息的息肉图像分割方法的系统。本发明不仅能够实现息肉图像的分割，而且分割准确性更好，分割边缘更加清晰，可靠性更高，精确性更好，分割效果更好。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于边缘和邻域信息的息肉图像分割方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于健康的关注程度也越来越高。
息肉是人体内局部粘膜表面突出的异常生长的组织。对息肉进行定期的、持续性的监测，是医学领域的临床共识。目前传统的息肉监测方式，还是采用内窥镜监测的方案。但是，采用内窥镜进行监测，不仅耗费医生大量的时间，而且监测结果在很大程度上依赖于检测医生的医技水平，存在较大的主观特性。
随着深度学习技术的飞速发展，已经有研究人员提出了大量的基于卷积神经网络的医疗图像分割方案，如基于U-Net体系结构的图像分割方案。但是，由于息肉在目标图像中的尺寸极小，而且息肉自身的边缘较为模糊，因此单一网络结构的息肉图像分割方案，其精确性较差。因此，逐步有研究人员开始利用边缘信息作为形状约束，从而提高图像分割的精度：比如，在分割模型中添加能提取边缘特征的模块、在损失函数中添加边缘项的计算、利用边缘信息修正分割结果等。这些方案都能够在一定程度上提升息肉图像分割的精确性。
虽然，目前的这些考虑边缘信息的息肉图像方案，取得了一定的精确性上的提升，但是该类方案的整体效果依旧不理想，其主要原因在于：该类方案自身就存在不确定性，利用该类方案提取到的图像边缘并不是完全准确的，尤其是针对息肉这类小目标、模糊边缘的对象，其图像分割结果的可靠性更差；同时，在图像采集过程中，原始图像可能存在伪影、空间混叠和噪声等问题，这会使得采集的图像的边缘本身就是不清晰的或断开的。这些情况都会使得现有的息肉图像分割方案，在提取息肉图像时，存在边缘信息缺失，精确性较差的问题。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且分割效果较为理想的基于边缘和邻域信息的息肉图像分割方法。
本发明的目的之二在于提供一种包括了所述基于边缘和邻域信息的息肉图像分割方法的成像方法。
本发明提供的这种基于边缘和邻域信息的息肉图像分割方法，包括如下步骤：
S1. 获取现有的息肉图像数据信息，并进行息肉区域标注得到分割标签；
S2. 采用Sobel算子对步骤S1得到的分割标签进行息肉边缘提取和息肉邻域提取，得到息肉区域边缘标签和息肉区域邻域标签；
S3. 对步骤S2得到的数据集进行随机数据增强，得到训练数据集；
S4. 基于ResNet34网络，并融合边缘邻域引导模块、空间金字塔池化模块和通道注意力模块，构建得到息肉图像分割初始模型；
S5. 采用步骤S3得到的训练数据集，基于边缘邻域引导模块的损失和模型预测的整体损失，对步骤S4构建的息肉图像分割初始模型进行训练，得到息肉图像分割模型；
S6. 采用步骤S5得到的息肉图像分割模型，进行实际的息肉图像分割。
所述的步骤S1，具体包括如下步骤：
获取现有的息肉图像数据信息；
对息肉图像数据信息进行息肉区域标记，得到对应的数据集D为，其中/>为第ii张息肉图像，/>为第ii张息肉图像所对应的标签。
所述的步骤S2，具体包括如下步骤：
从步骤S1获取的数据集D中获取标签数据；
对第ii张息肉图像的标签数据，采用空洞扩张率为2的Sobel算子进行息肉区域边缘提取，得到息肉区域边缘标签/>；
对第ii张息肉图像的标签数据，采用空洞扩张率为4的Sobel算子进行息肉区域邻域提取，得到息肉区域邻域标签/>；
采用上述步骤获取所有息肉图像的息肉区域边缘标签和息肉区域邻域标签；
将得到的息肉区域边缘标签和息肉区域邻域标签放入数据集D中，完成对数据集D的更新；更新后的数据集D中的元素表示为。
所述的步骤S3，具体包括如下步骤：
根据步骤S2得到的更新后的数据集D，对息肉图像进行随机数据增强，得到训练数据集；所述的随机数据增强，包括采用HSV图像空间中的图像对比度随机调整、颜色抖动、随机镜像、随机裁剪、随机旋转和随机组合。
所述的步骤S4，具体包括如下步骤：
息肉图像分割初始模型以ResNet34网络为基础；
ResNet34网络包括编码部分、空间金字塔池化模块、解码部分和全连接部分；
编码部分包括依次串接的输入编码器、第一边缘邻域引导模块、第一编码器、第二边缘邻域引导模块、第二编码器、第三编码器和第四编码器；输入编码器包括依次串接的卷积层、批归一化层和ReLU激活函数层；第一编码器~第四编码器均包括依次串接的第一/>卷积层、第二/>卷积层、跳跃连接层、批归一化层和ReLU激活函数层；输入编码器用于将输入的息肉图像转换为多通道采样数据；第一编码器~第四编码器用于提取不同尺度的息肉图像特征；第一边缘邻域引导模块用于对较浅层图像特征的息肉区域边缘和邻域进行特征提取；第二边缘邻域引导模块用于较深层图像特征的息肉区域边缘和邻域进行特征提取；
空间金字塔池化模块的输入为第一编码器、第二边缘邻域引导模块、第二编码器、第三编码器和第四编码器的输出，空间金字塔池化模块的输出作为解码部分的输入；空间金字塔池化模块用于对提取的多尺度的编码特征进行融合，并保留息肉区域的边缘和邻域特征；
解码部分包括依次串接的第一解码器、第二通道注意力模块、第二解码器、第三通道注意力模块、第三解码器、第四通道注意力模块和第四解码器；第一解码器~第四解码器均包括依次串接的卷积层、/>反卷积层、/>卷积层、批归一化层和ReLU激活函数层；第一解码器的输出和第三编码器的输出进行通道级联后，作为第二通道注意力模块的输入；第二解码器的输出和第二编码器的输出进行通道级联后，作为第三通道注意力模块的输入；第三解码器的输出和第二边缘邻域引导模块的输出进行通道级联后，作为第四通道注意力模块的输入；第四解码器的输出作为解码部分的输出；第一解码器~第四解码器用于将输入的编码特征进行上采样解码；第二通道注意力模块~第四通道注意力模块用于对输入的通道级联后的特征进行通道加权，使模型更关注具有关键信息的通道；
全连接部分包括依次串接的反卷积层、第一/>卷积层、第二/>卷积层和Sigmoid激活函数层；全连接层用于将第四解码器的输出转化为与输入的息肉图像大小相同的二维向量，并按Sigmoid激活函数的值进行息肉区域的分割操作。
所述的第一边缘邻域引导模块和第二边缘邻域引导模块，具体包括如下内容：
第一边缘邻域引导模块和第二边缘邻域引导模块的结构相同；
边缘邻域引导模块包括多尺度特征提取模块、边缘分支模块、邻域分支模块和边缘细化模块；
多尺度特征提取模块包括并联的第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积自模块；第一空洞卷积子模块包括依次串接的扩张率为1的空洞卷积层、批归一化层和ReLU激活函数层；第二空洞卷积子模块包括依次串接的扩张率为2的/>空洞卷积层、批归一化层和ReLU激活函数层；第三空洞卷积子模块包括依次串接的扩张率为4的/>空洞卷积层、批归一化层和ReLU激活函数层；输入的特征经过第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积子模块处理后，将第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积子模块的输出通过通道级联，得到多尺度特征F；
边缘分支模块包括依次串接的卷积层，批归一化层和ReLU激活函数层；将多尺度特征F输入到边缘分支模块；边缘分支模块用于从输入的多尺度特征F中提取息肉区域边缘特征/>；
邻域分支模块包括依次串接的卷积层，批归一化层和ReLU激活函数层；将多尺度特征F输入到邻域分支模块；邻域分支模块用于从输入的多尺度特征F中提取息肉区域邻域特征neigh；
边缘细化模块的输入为息肉区域边缘特征和息肉区域邻域特征neigh；边缘细化模块将息肉区域边缘特征/>和息肉区域邻域特征neigh逐像素相减后得到息肉区域邻域注意力特征/>；然后，将息肉区域邻域注意力特征/>与息肉区域邻域特征neigh逐像素相乘得到邻域权重/>；最后，将邻域权重/>与息肉区域边缘特征/>进行通道级联后，再依次通过/>卷积层、批归一化层和ReLU激活函数层进行处理，得到细化后息肉区域边缘特征edge；
最后，将边缘邻域引导模块的输入特征分别与息肉区域边缘特征、息肉区域邻域特征neigh、邻域权重/>和细化后息肉区域边缘特征edge进行逐像素相乘，再将得到的4组逐像素相乘结果与输入特征进行逐像素相加，得到最终的边缘邻域引导模块的输出特征。
所述的空间金字塔池化模块，具体包括如下内容：
空间金字塔池化模块第一编码特征池化分支模块、第二编码特征池化分支模块、第三编码特征池化分支模块、第四编码特征池化分支模块、边缘分支模块和邻域分支模块；
第一编码特征池化分支模块包括依次串接的池化核大小为6的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和下采样层；第一编码特征池化分支模块用于将第一编码器的输出特征进行特征池化；
第二编码特征池化分支模块包括依次串接的池化核大小为5的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第二编码特征池化分支模块用于将第二编码器的输出特征进行特征池化；
第三编码特征池化分支模块包括依次串接的池化核大小为3的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第三编码特征池化分支模块用于将第三编码器的输出特征进行特征池化；
第四编码特征池化分支模块包括依次串接的池化核大小为2的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第四编码特征池化分支模块用于将第四编码器的输出特征进行特征池化；
边缘分支模块用于对输入的细化后息肉区域边缘特征edge进行下采样操作；
邻域分支模块用于对输入的息肉区域邻域特征neigh进行下采样操作；
最后，将第一编码特征池化分支模块的输出特征、第二编码特征池化分支模块的输出特征、第三编码特征池化分支模块的输出特征、第四编码特征池化分支模块的输出特征、第四编码器的输出特征、边缘分支模块的输出特征和邻域分支模块的输出特征进行通道级联后，再依次通过卷积层，批归一化层和ReLU激活函数层处理，得到空间金字塔池化模块的输出特征。
所述的第二通道注意力模块、第三通道注意力模块和第四通道注意力模块，具体包括如下内容：
第二通道注意力模块、第三通道注意力模块和第四通道注意力模块的结构相同；
通道注意力模块包括平均池化分支、最大池化分支和特征聚合层；平均池化分支和最大池化分支并联后，平均池化分支的输出和最大池化分支的输出均连接特征聚合层的输入；
平均池化分支包括依次串接的平均池化层、ReLU激活函数层、第一全连接层和第二全连接层；输入的特征依次经过平均池化处理、ReLU激活函数激活、第一全连接层处理和第二全连接层处理后，得到平均池化分支的输出特征；
最大池化分支包括依次串接的最大池化层、ReLU激活函数层、第三全连接层和第四全连接层；输入的特征依次经过最大池化处理、ReLu激活函数激活、第三全连接层处理和第四全连接层处理后，得到最大池化分支的输出特征；其中，第一全连接层和第三全连接层共享参数，第二全连接层和第四全连接层共享参数；
特征聚合层包括依次串接逐像素相加层、Sigmoid激活函数层和逐像素相乘层；特征聚合层将平均池化分支的输出特征和最大池化分支的输出特征通过逐像素相加层进行逐像素相加后，由Sigmoid激活函数层进行非线性化处理，得到通道注意力图；最后，将通道注意力图与通道注意力模块的输入特征通过逐像素相乘层进行逐像素相乘，得到通道注意力模块的输出特征。
所述的步骤S5，具体包括如下步骤：
第i轮训练时，模型的输入为训练数据集中的第i个数据；/>为图像/>所对应的标签，/>为图像/>所对应的息肉区域边缘标签，/>为图像/>所对应的息肉区域邻域标签；
将图像输入模型，得到对应的息肉区域边缘特征/>、息肉区域邻域特征、细化后息肉区域边缘特征/>和模型预测的息肉区域分割结果/>；
采用如下算式计算得到第一损失：
式中/>为设定的第一权重值；/>为设定的第二权重值；/>为中间损失函数且
，N为像素总数，j为第j个像素；/>为设定的第三权重值；
计算得到第二损失函数为/>；
计算得到总损失函数为/>；
训练时，计算模型的总损失函数，采用梯度下降算法进行反向传播，并采用自适应矩估计算法优化模型参数。
本发明还提供了一种包括了所述基于边缘和邻域信息的息肉图像分割方法的成像方法，包括如下步骤：
A. 获取实际的目标息肉图像；
B. 将步骤A获取的目标息肉图像，采用所述的基于边缘和邻域信息的息肉图像分割方法，进行息肉分割；
C. 将步骤B得到的息肉分割结果，在目标息肉图像上进行分割结果的二次成像和标注，得到包括息肉分割结果的息肉图像，完成息肉图像的成像。
本发明提供的这种基于边缘和邻域信息的息肉图像分割方法及成像方法，通过融合边缘邻域引导模块提取的息肉的边缘信息和邻域信息、空间金字塔池化模块提取的息肉区域的边缘细化信息和通道注意力模块提取的信息，来实现息肉图像的分割；因此本发明不仅能够实现息肉图像的分割，而且分割准确性更好，分割边缘更加清晰，可靠性更高，精确性更好，分割效果更好。
附图说明
图1为本发明分割方法的方法流程示意图。
图2为本发明分割模型的结构示意图。
图3为本发明的融合边缘邻域引导模块的结构示意图；其中，图3（a）为融合边缘邻域引导模块的整体结构示意图；图3（b）为融合边缘邻域引导模块中的边缘细化模块的结构示意图。
图4为本发明的空间金字塔池化模块的结构示意图。
图5为本发明的通道注意力模块的结构示意图。
图6为本发明方法与现有方法的对比结果第一示意图。
图7为本发明方法与现有方法的对比结果第二示意图。
图8为本发明方法与融合边缘邻域引导模块、空间金字塔池化模块和通道注意力模块之间的组合对比结果第一示意图。
图9为本发明方法与融合边缘邻域引导模块、空间金字塔池化模块和通道注意力模块之间的组合对比结果第二示意图。
图10为本发明分割方法的方法流程示意图。
具体实施方式
如图1所示为本发明分割方法的方法流程示意图：本发明提供的这种基于边缘和邻域信息的息肉图像分割方法，包括如下步骤：
S1. 获取现有的息肉图像数据信息，并进行息肉区域标注得到分割标签；具体包括如下步骤：
获取现有的息肉图像数据信息；具体实施时，还需要优先进行白平衡，直方图均值化等在内的预处理操作，以提高图像的可用性；
对息肉图像数据信息进行息肉区域标记，得到对应的数据集D为，其中/>为第ii张息肉图像，/>为第ii张息肉图像所对应的标签；
S2. 采用Sobel算子对步骤S1得到的分割标签进行息肉边缘提取和息肉邻域提取，得到息肉区域边缘标签和息肉区域邻域标签；具体包括如下步骤：
从步骤S1获取的数据集D中获取标签数据；
对第ii张息肉图像的标签数据，采用空洞扩张率为2的Sobel算子进行息肉区域边缘提取，得到息肉区域边缘标签/>；
对第ii张息肉图像的标签数据，采用空洞扩张率为4的Sobel算子进行息肉区域邻域提取，得到息肉区域邻域标签/>；
采用上述步骤获取所有息肉图像的息肉区域边缘标签和息肉区域邻域标签；
将得到的息肉区域边缘标签和息肉区域邻域标签放入数据集D中，完成对数据集D的更新；更新后的数据集D中的元素表示为；
S3. 对步骤S2得到的数据集进行随机数据增强，得到训练数据集；具体包括如下步骤：
根据步骤S2得到的更新后的数据集D，对息肉图像进行随机数据增强，得到训练数据集；所述的随机数据增强，包括采用HSV图像空间中的图像对比度随机调整、颜色抖动、随机镜像、随机裁剪、随机旋转和随机组合；
S4. 基于ResNet34网络，并融合边缘邻域引导模块、空间金字塔池化模块和通道注意力模块，构建得到息肉图像分割初始模型（模型结构如图2所示）；具体包括如下步骤：
息肉图像分割初始模型以ResNet34网络为基础；
ResNet34网络包括编码部分、空间金字塔池化模块、解码部分和全连接部分；
编码部分包括依次串接的输入编码器、第一边缘邻域引导模块、第一编码器、第二边缘邻域引导模块、第二编码器、第三编码器和第四编码器；输入编码器包括依次串接的卷积层、批归一化层和ReLU激活函数层；第一编码器~第四编码器均包括依次串接的第一/>卷积层、第二/>卷积层、跳跃连接层、批归一化层和ReLU激活函数层；输入编码器用于将输入的息肉图像转换为多通道采样数据；第一编码器~第四编码器用于提取不同尺度的息肉图像特征；第一边缘邻域引导模块用于对较浅层图像特征的息肉区域边缘和邻域提取；第二边缘邻域引导模块用于较深层图像特征的息肉区域边缘和邻域提取；
空间金字塔池化模块的输入为第一编码器、第二边缘邻域引导模块、第二编码器、第三编码器和第四编码器的输出，空间金字塔池化模块的输出作为解码部分的输入；空间金字塔池化模块用于对提取的多尺度的编码特征进行融合，并保留息肉区域的边缘和邻域特征；
解码部分包括依次串接的第一解码器、第二通道注意力模块、第二解码器、第三通道注意力模块、第三解码器、第四通道注意力模块和第四解码器；第一解码器~第四解码器均包括依次串接的卷积层、/>反卷积层、/>卷积层、批归一化层和ReLU激活函数层；第一解码器的输出和第三编码器的输出进行通道级联后，作为第二通道注意力模块的输入；第二解码器的输出和第二编码器的输出进行通道级联后，作为第三通道注意力模块的输入；第三解码器的输出和第二边缘邻域引导模块的输出进行通道级联后，作为第四通道注意力模块的输入；第四解码器的输出作为解码部分的输出；第一解码器~第四解码器用于将输入的编码特征进行上采样解码；第二通道注意力模块~第四通道注意力模块用于对输入的通道级联后的特征进行通道加权，使模型更关注具有关键信息的通道；
全连接部分包括依次串接的反卷积层、第一/>卷积层、第二/>卷积层和Sigmoid激活函数层；全连接层用于将第四解码器的输出转化为与输入的息肉图像大小相同的二维向量，并按Sigmoid激活函数的值进行息肉区域的分割操作；
其中，所述的第一边缘邻域引导模块和第二边缘邻域引导模块，具体包括如下内容：
第一边缘邻域引导模块和第二边缘邻域引导模块的结构相同；
边缘邻域引导模块包括多尺度特征提取模块、边缘分支模块、邻域分支模块和边缘细化模块，整体结构图如图3（a）所示；
多尺度特征提取模块包括并联的第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积自模块；第一空洞卷积子模块包括依次串接的扩张率为1的空洞卷积层、批归一化层和ReLU激活函数层；第二空洞卷积子模块包括依次串接的扩张率为2的/>空洞卷积层、批归一化层和ReLU激活函数层；第三空洞卷积子模块包括依次串接的扩张率为4的/>空洞卷积层、批归一化层和ReLU激活函数层；输入的特征经过第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积子模块处理后，将第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积子模块的输出通过通道级联，得到多尺度特征F；
边缘分支模块包括依次串接的卷积层，批归一化层和ReLU激活函数层；将多尺度特征F输入到边缘分支模块；边缘分支模块用于从输入的多尺度特征F中提取息肉区域边缘特征/>；
邻域分支模块包括依次串接的卷积层，批归一化层和ReLU激活函数层；将多尺度特征F输入到邻域分支模块；邻域分支模块用于从输入的多尺度特征F中提取息肉区域邻域特征neigh；
边缘细化模块（结构图如图3（b）所示）的输入为息肉区域边缘特征和息肉区域邻域特征neigh；边缘细化模块将息肉区域边缘特征/>和息肉区域邻域特征neigh逐像素相减后得到息肉区域邻域注意力特征/>；然后，将息肉区域邻域注意力特征/>与息肉区域邻域特征neigh逐像素相乘得到邻域权重/>；最后，将邻域权重与息肉区域边缘特征/>进行通道级联后，再依次通过/>卷积层、批归一化层和ReLU激活函数层进行处理，得到细化后息肉区域边缘特征edge；
最后，将边缘邻域引导模块的输入特征分别与息肉区域边缘特征、息肉区域邻域特征neigh、邻域权重/>和细化后息肉区域边缘特征edge进行逐像素相乘，再将得到的4组逐像素相乘结果与输入特征进行逐像素相加，得到最终的边缘邻域引导模块的输出特征；
其中，所述的空间金字塔池化模块（结构图如图4所示），具体包括如下内容：
空间金字塔池化模块第一编码特征池化分支模块、第二编码特征池化分支模块、第三编码特征池化分支模块、第四编码特征池化分支模块、边缘分支模块和邻域分支模块；
第一编码特征池化分支模块包括依次串接的池化核大小为6的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和下采样层；第一编码特征池化分支模块用于将第一编码器的输出特征进行特征池化；
第二编码特征池化分支模块包括依次串接的池化核大小为5的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第二编码特征池化分支模块用于将第二编码器的输出特征进行特征池化；
第三编码特征池化分支模块包括依次串接的池化核大小为3的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第三编码特征池化分支模块用于将第三编码器的输出特征进行特征池化；
第四编码特征池化分支模块包括依次串接的池化核大小为2的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第四编码特征池化分支模块用于将第四编码器的输出特征进行特征池化；
边缘分支模块用于对输入的细化后息肉区域边缘特征edge进行下采样操作；
邻域分支模块用于对输入的息肉区域邻域特征neigh进行下采样操作；
在以上模块中的上采样操作或下采样操作，其目的在于将特征信息进行尺寸统一，并统一为第四编码器的输出特征的大小；
最后，将第一编码特征池化分支模块的输出特征、第二编码特征池化分支模块的输出特征、第三编码特征池化分支模块的输出特征、第四编码特征池化分支模块的输出特征、第四编码器的输出特征、边缘分支模块的输出特征和邻域分支模块的输出特征进行通道级联后，再依次通过卷积层，批归一化层和ReLU激活函数层处理，得到空间金字塔池化模块的输出特征；
其中，所述的第二通道注意力模块、第三通道注意力模块和第四通道注意力模块，具体包括如下内容：
第二通道注意力模块、第三通道注意力模块和第四通道注意力模块的结构相同；
通道注意力模块（结构图如图5所示）包括平均池化分支、最大池化分支和特征聚合层；平均池化分支和最大池化分支并联后，平均池化分支的输出和最大池化分支的输出均连接特征聚合层的输入；
平均池化分支包括依次串接的平均池化层、ReLU激活函数层、第一全连接层和第二全连接层；输入的特征依次经过平均池化处理、ReLU激活函数激活、第一全连接层处理和第二全连接层处理后，得到平均池化分支的输出特征；
最大池化分支包括依次串接的最大池化层、ReLU激活函数层、第三全连接层和第四全连接层；输入的特征依次经过最大池化处理、ReLu激活函数激活、第三全连接层处理和第四全连接层处理后，得到最大池化分支的输出特征；其中，第一全连接层和第三全连接层共享参数，第二全连接层和第四全连接层共享参数；
特征聚合层包括依次串接逐像素相加层、Sigmoid激活函数层和逐像素相乘层；特征聚合层将平均池化分支的输出特征和最大池化分支的输出特征通过逐像素相加层进行逐像素相加后，由Sigmoid激活函数层进行非线性化处理，得到通道注意力图；最后，将通道注意力图与通道注意力模块的输入特征通过逐像素相乘层进行逐像素相乘，得到通道注意力模块的输出特征；
S5. 采用步骤S3得到的训练数据集，基于边缘邻域引导模块的损失和模型预测的整体损失，对步骤S4构建的息肉图像分割初始模型进行训练，得到息肉图像分割模型；具体包括如下步骤：
第i轮训练时，模型的输入为训练数据集中的第i个数据；/>为图像/>所对应的标签，/>为图像/>所对应的息肉区域边缘标签，/>为图像/>所对应的息肉区域邻域标签；
将图像输入模型，得到对应的息肉区域边缘特征/>、息肉区域邻域特征、细化后息肉区域边缘特征/>和模型预测的息肉区域分割结果/>；
采用如下算式计算得到第一损失：
式中/>为设定的第一权重值，优选为0.5；/>为设定的第二权重值，优选为1；
为中间损失函数且/>，N为像素总数，j为第j个像素；/>为设定的第三权重值，优选为1；
计算得到第二损失函数为/>；
计算得到总损失函数为/>；
训练时，计算模型的总损失函数，采用梯度下降算法进行反向传播，并采用自适应矩估计算法优化模型参数；此外，还采用了余弦式的学习率衰减策略，防止模型在训练后期出现震荡不收敛；
S6. 采用步骤S5得到的息肉图像分割模型，进行实际的息肉图像分割；在具体实施时，第二边缘邻域引导模块不会输出初步的息肉区域边缘特征、息肉区域邻域特征neigh和细化后息肉区域边缘特征edge，其仅用于提取更准确的息肉边缘，并利用邻域信息对提取到的边缘进行细化。
本发明中的边缘邻域引导模块，有效地增加了模型对息肉图像中的息肉区域的边缘以及邻域的关注，使模型更充分地利用了息肉图像中息肉边缘以及邻域内外的信息，并指导模型基于提取到的息肉区域的边缘和邻域进行更精确的息肉区域分割预测；本发明中的空间金字塔池化模块在传统的空间金字塔池化模块的基础上为不同层次的编码特征选择合适的池化核大小，并额外将边缘邻域引导模块提取的边缘和邻域信息融入其中，在扩大模型感受野提取多尺寸特征的同时保留了边缘邻域的细节信息；本发明中的通道注意力模块对于特征图来说，其每个通道会代表不同类型的特征，这些特征对于模型分割性能所做出的贡献是不同的，即有些通道会包含关键信息，而有些通道仅包含一些不重要的信息；引入通道注意力可以使模型更关注那些包含关键信息的通道。
以下结合实施例，对本发明分割方法的效果进行进一步说明：
将本发明分割方法与2015年方法、2017年方法、2018年方法、2019年方法、2020年方法、2021年方法和2022年方法，在两个公开数据集上进行实验：其中，第一数据集为Kvasir数据集，其包括训练集900张图像和测试集100张图像；第二数据集为CVC-ClinicDB数据集，其包括训练集550张图像和测试集62张图像；
其中，2015年方法为Ronneberger O等人在2015年于第十八届Medical ImageComputing and Computer-Assisted Intervention学术会议上发表的论文《U-net:Convolutional networks for biomedical image segmentation》中提出的图像分割方法；2017年方法为Badrinarayanan V等人在2017年于《IEEE transactions on patternanalysis and machine intelligence》39卷12期2481至2495页的论文《Segnet: A deepconvolutional encoder-decoder architecture for image segmentation》中提出的方法；2018年方法为Zhou Z等人在2018年于第四届Deep Learning in Medical ImageAnalysis and Multimodal Learning for Clinical Decision Support学术会议上发表的论文《Unet++: A nested u-net architecture for medical image segmentation》中提出的方法；2019年方法为Fang Y等人在2019年于第二十二届Medical Image Computingand Computer-Assisted Intervention学术会议上发表的论文《Selective featureaggregation network with area-boundary constraints for polyp segmentation》中提出的方法；2020年方法为Fan D等人在2020年于第二十三届Medical Image Computingand Computer-Assisted Intervention学术会议上发表的论文《Pranet: Parallelreverse attention network for polyp segmentation》中提出的方法；2021年方法为WeiJ等人在2021年于第二十四届Medical Image Computing and Computer-AssistedIntervention学术会议上发表的论文《Shallow attention network for polypsegmentation》中提出的方法；2022年方法为Li W等人在2022年于期刊《Knowledge-BasedSystems》第8期247页发表的论文《MIA-Net: Multi-information aggregation networkcombining transformers and convolutional feature learning for polypsegmentation》中提出的方法；
比较时，以分割结果的平均Dice（mDice，指标值越高表示方法性能越优秀）、加权的F分数（F，指标值越高表示方法性能越优秀）、平均E-measure（meanE，指标值越高表示方法性能越优秀）、最大E-measure（maxE，指标值越高表示方法性能越优秀）和平均绝对误差（MAE，指标值越低表示方法性能越优秀）作为评价标准；所有实验结果均在测试集上得到。
实验后，对比数据如表1和表2所示：
表1 在第一数据集上的对比数据示意表
表2 在第二数据集上的对比数据示意表
通过表1和表2的对比数据可以看到，本发明方法在两个公开的数据集上均取得了综合性能最优的结果；因此相较于现有技术，本发明方法确实可行，而且存在明显的优越性。
图6和图7为本发明方法与现有方法在两个公开的数据集上的部分图片的分割结果对比示意图；其中，其中白色表示预测正确的息肉区域，黑色表示预测正确的背景，左斜线填充区域表示预测错误的息肉区域，灰色区域表示预测错误的背景；通过图6和图7可以看到，本发明方法取得了总体上更好的分割结果，尤其是分割出了更为准确的息肉区域边缘，再次印证了本发明的可行性和优越性。
图8和图9为本发明方法与融合边缘邻域引导模块、空间金字塔池化模块和通道注意力模块之间的组合的对比结果示意图；在图8和图9中，将本发明方法与单纯的ResNet34网络、ResNet34网络+边缘邻域引导模块、ResNet34网络+通道注意力模块、ResNet34网络+边缘邻域引导模块+空间金字塔池化模块、ResNet34网络+边缘邻域引导模块+通道注意力模块在相同的图片上进行分割效果的对比；其中，其中白色表示预测正确的息肉区域，黑色表示预测正确的背景，左斜线填充区域表示预测错误的息肉区域，灰色区域表示预测错误的背景；通过图8和图9可以看到，本发明方法所采用的边缘邻域引导模块、空间金字塔池化模块和通道注意力模块，均存在各自的应用效果，三个模块一同才能发挥各自的最大作用，从而得到最优的分割结果和分割性能。
如图10所示为本发明分割方法的方法流程示意图：本发明还提供了一种包括了所述基于边缘和邻域信息的息肉图像分割方法的成像方法，包括如下步骤：
A. 获取实际的目标息肉图像；
B. 将步骤A获取的目标息肉图像，采用所述的基于边缘和邻域信息的息肉图像分割方法，进行息肉分割；
C. 将步骤B得到的息肉分割结果，在目标息肉图像上进行分割结果的二次成像和标注，得到包括息肉分割结果的息肉图像，完成息肉图像的成像。
本发明提供的这种成像方法，可以适用于现有的息肉图像获取设备；具体应用时，将本发明提供的成像方法应用到设备上；运行时，设备先按照正常工作方式获取实际的息肉图像，然后根据获取的息肉图像，采用本发明提供的、已经应用到设备上的成像方法在获取的息肉图像上进行二次成像，从而得到对息肉和息肉区域已经进行了突出标记（比如采用不同的颜色进行标记等）的息肉图像；然后，设备再同时输出原始的息肉图像以及带有息肉分割和标记结果的息肉图像，从而极大的方便了工作人员和被检测人员。
Claims (10)
1.一种基于边缘和邻域信息的息肉图像分割方法，其特征在于包括如下步骤：
S1. 获取现有的息肉图像数据信息，并进行息肉区域标注得到分割标签；
S2. 采用Sobel算子对步骤S1得到的分割标签进行息肉边缘提取和息肉邻域提取，得到息肉区域边缘标签和息肉区域邻域标签；
S3. 对步骤S2得到的数据集进行随机数据增强，得到训练数据集；
S4. 基于ResNet34网络，并融合边缘邻域引导模块、空间金字塔池化模块和通道注意力模块，构建得到息肉图像分割初始模型；
S5. 采用步骤S3得到的训练数据集，基于边缘邻域引导模块的损失和模型预测的整体损失，对步骤S4构建的息肉图像分割初始模型进行训练，得到息肉图像分割模型；
S6. 采用步骤S5得到的息肉图像分割模型，进行实际的息肉图像分割。
2.根据权利要求1所述的基于边缘和邻域信息的息肉图像分割方法，其特征在于所述的步骤S1，具体包括如下步骤：
获取现有的息肉图像数据信息；
对息肉图像数据信息进行息肉区域标记，得到对应的数据集D为，其中/>为第ii张息肉图像，/>为第ii张息肉图像所对应的标签。
3.根据权利要求2所述的基于边缘和邻域信息的息肉图像分割方法，其特征在于所述的步骤S2，具体包括如下步骤：
从步骤S1获取的数据集D中获取标签数据；
对第ii张息肉图像的标签数据，采用空洞扩张率为2的Sobel算子进行息肉区域边缘提取，得到息肉区域边缘标签/>；
对第ii张息肉图像的标签数据，采用空洞扩张率为4的Sobel算子进行息肉区域邻域提取，得到息肉区域邻域标签/>；
采用上述步骤获取所有息肉图像的息肉区域边缘标签和息肉区域邻域标签；
将得到的息肉区域边缘标签和息肉区域邻域标签放入数据集D中，完成对数据集D的更新；更新后的数据集D中的元素表示为。
4.根据权利要求3所述的基于边缘和邻域信息的息肉图像分割方法，其特征在于所述的步骤S3，具体包括如下步骤：
根据步骤S2得到的更新后的数据集D，对息肉图像进行随机数据增强，得到训练数据集；所述的随机数据增强，包括采用HSV图像空间中的图像对比度随机调整、颜色抖动、随机镜像、随机裁剪、随机旋转和随机组合。
5.根据权利要求4所述的基于边缘和邻域信息的息肉图像分割方法，其特征在于所述的步骤S4，具体包括如下步骤：
息肉图像分割初始模型以ResNet34网络为基础；
ResNet34网络包括编码部分、空间金字塔池化模块、解码部分和全连接部分；
编码部分包括依次串接的输入编码器、第一边缘邻域引导模块、第一编码器、第二边缘邻域引导模块、第二编码器、第三编码器和第四编码器；输入编码器包括依次串接的卷积层、批归一化层和ReLU激活函数层；第一编码器~第四编码器均包括依次串接的第一卷积层、第二/>卷积层、跳跃连接层、批归一化层和ReLU激活函数层；输入编码器用于将输入的息肉图像转换为多通道采样数据；第一编码器~第四编码器用于提取不同尺度的息肉图像特征；第一边缘邻域引导模块用于对浅层图像特征的息肉区域边缘和邻域提取；第二边缘邻域引导模块用于深层图像特征的息肉区域边缘和邻域提取；
空间金字塔池化模块的输入为第一编码器、第二边缘邻域引导模块、第二编码器、第三编码器和第四编码器的输出，空间金字塔池化模块的输出作为解码部分的输入；空间金字塔池化模块用于对提取的多尺度编码特征进行融合，并保留息肉区域的边缘和邻域特征；
解码部分包括依次串接的第一解码器、第二通道注意力模块、第二解码器、第三通道注意力模块、第三解码器、第四通道注意力模块和第四解码器；第一解码器~第四解码器均包括依次串接的卷积层、/>反卷积层、/>卷积层、批归一化层和ReLU激活函数层；第一解码器的输出和第三编码器的输出进行通道级联后，作为第二通道注意力模块的输入；第二解码器的输出和第二编码器的输出进行通道级联后，作为第三通道注意力模块的输入；第三解码器的输出和第二边缘邻域引导模块的输出进行通道级联后，作为第四通道注意力模块的输入；第四解码器的输出作为解码部分的输出；第一解码器~第四解码器用于将输入的编码特征进行上采样解码；第二通道注意力模块~第四通道注意力模块用于对输入的通道级联后的特征进行通道加权，使模型更关注具有关键信息的通道；
全连接部分包括依次串接的反卷积层、第一/>卷积层、第二/>卷积层和Sigmoid激活函数层；全连接层用于将第四解码器的输出转化为与输入的息肉图像大小相同的二维向量，并按Sigmoid激活函数的值进行息肉区域的分割操作。
6.根据权利要求5所述的基于边缘和邻域信息的息肉图像分割方法，其特征在于所述的第一边缘邻域引导模块和第二边缘邻域引导模块，具体包括如下内容：
第一边缘邻域引导模块和第二边缘邻域引导模块的结构相同；
边缘邻域引导模块包括多尺度特征提取模块、边缘分支模块、邻域分支模块和边缘细化模块；
多尺度特征提取模块包括并联的第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积自模块；第一空洞卷积子模块包括依次串接的扩张率为1的空洞卷积层、批归一化层和ReLU激活函数层；第二空洞卷积子模块包括依次串接的扩张率为2的/>空洞卷积层、批归一化层和ReLU激活函数层；第三空洞卷积子模块包括依次串接的扩张率为4的空洞卷积层、批归一化层和ReLU激活函数层；输入的特征经过第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积子模块处理后，将第一空洞卷积子模块、第二空洞卷积子模块和第三空洞卷积子模块的输出通过通道级联，得到多尺度特征F；
边缘分支模块包括依次串接的卷积层，批归一化层和ReLU激活函数层；将多尺度特征F输入到边缘分支模块；边缘分支模块用于从输入的多尺度特征F中提取息肉区域边缘特征/>；
邻域分支模块包括依次串接的卷积层，批归一化层和ReLU激活函数层；将多尺度特征F输入到邻域分支模块；邻域分支模块用于从输入的多尺度特征F中提取息肉区域邻域特征neigh；
边缘细化模块的输入为息肉区域边缘特征和息肉区域邻域特征neigh；边缘细化模块将息肉区域边缘特征/>和息肉区域邻域特征neigh逐像素相减后得到息肉区域邻域注意力特征/>；然后，将息肉区域邻域注意力特征/>与息肉区域邻域特征neigh逐像素相乘得到邻域权重/>；最后，将邻域权重/>与息肉区域边缘特征进行通道级联后，再依次通过/>卷积层、批归一化层和ReLU激活函数层进行处理，得到细化后息肉区域边缘特征edge；
最后，将边缘邻域引导模块的输入特征分别与息肉区域边缘特征、息肉区域邻域特征neigh、邻域权重/>和细化后息肉区域边缘特征edge进行逐像素相乘，再将得到的4组逐像素相乘结果与输入特征进行逐像素相加，得到最终的边缘邻域引导模块的输出特征。
7.根据权利要求6所述的基于边缘和邻域信息的息肉图像分割方法，其特征在于所述的空间金字塔池化模块，具体包括如下内容：
空间金字塔池化模块第一编码特征池化分支模块、第二编码特征池化分支模块、第三编码特征池化分支模块、第四编码特征池化分支模块、边缘分支模块和邻域分支模块；
第一编码特征池化分支模块包括依次串接的池化核大小为6的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和下采样层；第一编码特征池化分支模块用于将第一编码器的输出特征进行特征池化；
第二编码特征池化分支模块包括依次串接的池化核大小为5的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第二编码特征池化分支模块用于将第二编码器的输出特征进行特征池化；
第三编码特征池化分支模块包括依次串接的池化核大小为3的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第三编码特征池化分支模块用于将第三编码器的输出特征进行特征池化；
第四编码特征池化分支模块包括依次串接的池化核大小为2的最大池化层、批归一化层、ReLU激活函数层、卷积层、批归一化层、ReLU激活函数层和上采样层；第四编码特征池化分支模块用于将第四编码器的输出特征进行特征池化；
边缘分支模块用于对输入的细化后息肉区域边缘特征edge进行下采样操作；
邻域分支模块用于对输入的息肉区域邻域特征neigh进行下采样操作；
最后，将第一编码特征池化分支模块的输出特征、第二编码特征池化分支模块的输出特征、第三编码特征池化分支模块的输出特征、第四编码特征池化分支模块的输出特征、第四编码器的输出特征、边缘分支模块的输出特征和邻域分支模块的输出特征进行通道级联后，再依次通过卷积层，批归一化层和ReLU激活函数层处理，得到空间金字塔池化模块的输出特征。
8.根据权利要求7所述的基于边缘和邻域信息的息肉图像分割方法，其特征在于所述的第二通道注意力模块、第三通道注意力模块和第四通道注意力模块，具体包括如下内容：
第二通道注意力模块、第三通道注意力模块和第四通道注意力模块的结构相同；
通道注意力模块包括平均池化分支、最大池化分支和特征聚合层；平均池化分支和最大池化分支并联后，平均池化分支的输出和最大池化分支的输出均连接特征聚合层的输入；
平均池化分支包括依次串接的平均池化层、ReLU激活函数层、第一全连接层和第二全连接层；输入的特征依次经过平均池化处理、ReLU激活函数激活、第一全连接层处理和第二全连接层处理后，得到平均池化分支的输出特征；
最大池化分支包括依次串接的最大池化层、ReLU激活函数层、第三全连接层和第四全连接层；输入的特征依次经过最大池化处理、ReLu激活函数激活、第三全连接层处理和第四全连接层处理后，得到最大池化分支的输出特征；其中，第一全连接层和第三全连接层共享参数，第二全连接层和第四全连接层共享参数；
特征聚合层包括依次串接逐像素相加层、Sigmoid激活函数层和逐像素相乘层；特征聚合层将平均池化分支的输出特征和最大池化分支的输出特征通过逐像素相加层进行逐像素相加后，由Sigmoid激活函数层进行非线性化处理，得到通道注意力图；最后，将通道注意力图与通道注意力模块的输入特征通过逐像素相乘层进行逐像素相乘，得到通道注意力模块的输出特征。
9.根据权利要求8所述的基于边缘和邻域信息的息肉图像分割方法，其特征在于所述的步骤S5，具体包括如下步骤：
第i轮训练时，模型的输入为训练数据集中的第i个数据；/>为图像/>所对应的标签，/>为图像/>所对应的息肉区域边缘标签，/>为图像/>所对应的息肉区域邻域标签；
将图像输入模型，得到对应的息肉区域边缘特征/>、息肉区域邻域特征/>、细化后息肉区域边缘特征/>和模型预测的息肉区域分割结果/>；
采用如下算式计算得到第一损失：式中/>为设定的第一权重值；/>为设定的第二权重值；/>为中间损失函数且，N为像素总数，j为第j个像素；/>为设定的第三权重值；
计算得到第二损失函数为/>；
计算得到总损失函数为/>；
训练时，计算模型的总损失函数，采用梯度下降算法进行反向传播，并采用自适应矩估计算法优化模型参数。
10.一种包括了权利要求1~9之一所述的基于边缘和邻域信息的息肉图像分割方法的成像方法，其特征在于包括如下步骤：
A. 获取实际的目标息肉图像；
B. 将步骤A获取的目标息肉图像，采用权利要求1~9之一所述的基于边缘和邻域信息的息肉图像分割方法，进行息肉分割；
C. 将步骤B得到的息肉分割结果，在目标息肉图像上进行分割结果的二次成像和标注，得到包括息肉分割结果的息肉图像，完成息肉图像的成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311461228.6A CN117197166B (zh) | 2023-11-06 | 2023-11-06 | 基于边缘和邻域信息的息肉图像分割方法及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311461228.6A CN117197166B (zh) | 2023-11-06 | 2023-11-06 | 基于边缘和邻域信息的息肉图像分割方法及成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197166A true CN117197166A (zh) | 2023-12-08 |
| CN117197166B CN117197166B (zh) | 2024-02-06 |
Family
ID=88994596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311461228.6A Active CN117197166B (zh) | 2023-11-06 | 2023-11-06 | 基于边缘和邻域信息的息肉图像分割方法及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197166B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911304A (zh) * | 2024-03-19 | 2024-04-19 | 长春理工大学 | 一种基于计算关注区域权重的分段灰度变换方法和系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2500865A2 (en) * | 2011-03-16 | 2012-09-19 | Olympus Corporation | Image segmentation apparatus, method and program |
| CN103425986A (zh) * | 2013-08-31 | 2013-12-04 | 西安电子科技大学 | 基于边缘邻域加权的乳腺肿块图像特征提取方法 |
| CA2940393A1 (en) * | 2015-12-29 | 2017-06-29 | Veneree Rakotomalala Randrianarisoa | Method and system for performing bone multi-segmentation in imaging data |
| CN109614991A (zh) * | 2018-11-19 | 2019-04-12 | 成都信息工程大学 | 一种基于Attention的多尺度扩张性心肌的分割分类方法 |
| CN109949276A (zh) * | 2019-02-28 | 2019-06-28 | 华中科技大学 | 一种于改进SegNet分割网络的淋巴结检测方法 |
| CN111091524A (zh) * | 2018-10-08 | 2020-05-01 | 天津工业大学 | 基于深度卷积神经网络的前列腺经直肠超声图像分割方法 |
| CN114612662A (zh) * | 2022-03-10 | 2022-06-10 | 扬州大学 | 一种基于边界引导的息肉图像分割方法 |
| CN115393283A (zh) * | 2022-08-02 | 2022-11-25 | 华东师范大学 | 一种基于浅层监督和反馈注意力的息肉图像分割方法 |
| CN115457021A (zh) * | 2022-09-30 | 2022-12-09 | 云南大学 | 基于联合注意卷积神经网络的皮肤病图像分割方法及系统 |
| CN116091524A (zh) * | 2023-04-07 | 2023-05-09 | 杭州电子科技大学 | 一种针对复杂背景中目标的检测与分割方法 |
| CN116309545A (zh) * | 2023-05-10 | 2023-06-23 | 湖北工业大学 | 一种面向医学显微图像的单阶段细胞核实例分割方法 |
| CN116524178A (zh) * | 2023-03-10 | 2023-08-01 | 中南大学 | 基于半监督的mri图像组织分割方法及成像方法 |
-
2023
- 2023-11-06 CN CN202311461228.6A patent/CN117197166B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2500865A2 (en) * | 2011-03-16 | 2012-09-19 | Olympus Corporation | Image segmentation apparatus, method and program |
| CN103425986A (zh) * | 2013-08-31 | 2013-12-04 | 西安电子科技大学 | 基于边缘邻域加权的乳腺肿块图像特征提取方法 |
| CA2940393A1 (en) * | 2015-12-29 | 2017-06-29 | Veneree Rakotomalala Randrianarisoa | Method and system for performing bone multi-segmentation in imaging data |
| CN111091524A (zh) * | 2018-10-08 | 2020-05-01 | 天津工业大学 | 基于深度卷积神经网络的前列腺经直肠超声图像分割方法 |
| CN109614991A (zh) * | 2018-11-19 | 2019-04-12 | 成都信息工程大学 | 一种基于Attention的多尺度扩张性心肌的分割分类方法 |
| CN109949276A (zh) * | 2019-02-28 | 2019-06-28 | 华中科技大学 | 一种于改进SegNet分割网络的淋巴结检测方法 |
| CN114612662A (zh) * | 2022-03-10 | 2022-06-10 | 扬州大学 | 一种基于边界引导的息肉图像分割方法 |
| CN115393283A (zh) * | 2022-08-02 | 2022-11-25 | 华东师范大学 | 一种基于浅层监督和反馈注意力的息肉图像分割方法 |
| CN115457021A (zh) * | 2022-09-30 | 2022-12-09 | 云南大学 | 基于联合注意卷积神经网络的皮肤病图像分割方法及系统 |
| CN116524178A (zh) * | 2023-03-10 | 2023-08-01 | 中南大学 | 基于半监督的mri图像组织分割方法及成像方法 |
| CN116091524A (zh) * | 2023-04-07 | 2023-05-09 | 杭州电子科技大学 | 一种针对复杂背景中目标的检测与分割方法 |
| CN116309545A (zh) * | 2023-05-10 | 2023-06-23 | 湖北工业大学 | 一种面向医学显微图像的单阶段细胞核实例分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| YEGANEH JALALI等: "ResBCDU-Net: A Deep Learning Framework for Lung CT Image Segmentation", 《SENSORS》, pages 1 - 24 * |
| ZAILIANG CHEN等: "FDCT: Fusion-Guided Dual-View Consistency Training for semi-supervised tissue segmentation on MRI", 《COMPUTERS IN BIOLOGY AND MEDICINE》, pages 106908 * |
| 魏晓雍等: "基于分割融合算法的WCE 过曝光图像修正研究", 《通信技术》, vol. 54, no. 5, pages 1095 - 1102 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911304A (zh) * | 2024-03-19 | 2024-04-19 | 长春理工大学 | 一种基于计算关注区域权重的分段灰度变换方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197166B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11551333B2 (en) | Image reconstruction method and device | |
| CN107122826B (zh) | 用于卷积神经网络的处理方法和系统、和存储介质 | |
| CN113496489B (zh) | 内窥镜图像分类模型的训练方法、图像分类方法和装置 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| CN117197166B (zh) | 基于边缘和邻域信息的息肉图像分割方法及成像方法 | |
| CN113658201B (zh) | 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| Lin et al. | Low-light enhancement using a plug-and-play Retinex model with shrinkage mapping for illumination estimation | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| Ren et al. | Infrared and visible image fusion based on edge-preserving guided filter and infrared feature decomposition | |
| CN111080591A (zh) | 基于编码解码结构结合残差模块的医学图像分割方法 | |
| CN112085717B (zh) | 一种用于腹腔镜手术的视频预测方法及其系统 | |
| CN112884792A (zh) | 肺部图像分割的方法、装置、电子设备及存储介质 | |
| Chen et al. | Dynamic depth-aware network for endoscopy super-resolution | |
| CN115731214A (zh) | 一种基于人工智能的医学图像分割方法及装置 | |
| CN117151162A (zh) | 基于自监督与专家门控的跨解剖区域器官增量分割方法 | |
| Lin et al. | CSwinDoubleU-Net: A double U-shaped network combined with convolution and Swin Transformer for colorectal polyp segmentation | |
| CN112489062B (zh) | 基于边界及邻域引导的医学图像分割方法及系统 | |
| CN116935051B (zh) | 一种息肉分割网络方法、系统、电子设备及存储介质 | |
| Xie et al. | MACTFusion: Lightweight Cross Transformer for Adaptive Multimodal Medical Image Fusion | |
| CN111462004B (zh) | 图像增强方法和装置、计算机设备、存储介质 | |
| Fang et al. | A multi-focus image fusion network combining dilated convolution with learnable spacings and residual dense network | |
| CN116664467A (zh) | 一种基于交叉神经网络和eca-s的多模态医学图像融合方法 | |
| CN112634224B (zh) | 基于目标影像的病灶检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |