CN112200773A - 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法 - Google Patents
一种基于空洞卷积的编码器和解码器的大肠息肉检测方法 Download PDFInfo
- Publication number
- CN112200773A CN112200773A CN202010979481.0A CN202010979481A CN112200773A CN 112200773 A CN112200773 A CN 112200773A CN 202010979481 A CN202010979481 A CN 202010979481A CN 112200773 A CN112200773 A CN 112200773A
- Authority
- CN
- China
- Prior art keywords
- encoder
- decoder
- image
- polyp
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 206010051589 Large intestine polyp Diseases 0.000 title abstract description 11
- 208000022131 polyp of large intestine Diseases 0.000 title abstract description 11
- 208000037062 Polyps Diseases 0.000 claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 23
- 210000002429 large intestine Anatomy 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012805 post-processing Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000009499 grossing Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 4
- 238000002674 endoscopic surgery Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 208000032177 Intestinal Polyps Diseases 0.000 claims 2
- 238000003709 image segmentation Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002052 colonoscopy Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000014081 polyp of colon Diseases 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于空洞卷积的编码器和解码器的大肠息肉检测方法，包括如下步骤：S1构建基于空洞卷积的编码器和解码器的模型后进行训练并固定；S2获取单帧内镜图像；S3将单帧内镜图像输入到S1模型中的编码器后获取特征图；S4将特征图输入到S1模型中的解码器后获取息肉分割预测图像；S5利用后处理模块对息肉分割预测图像进行处理，其中，后处理模块包括：边界平滑处理和小连通域过滤；本发明的基于空洞卷积的编码器和解码器的大肠息肉检测方法，最后测出的息肉分割预测图像的准确率和召回率超过95%，符合大肠内窥镜息肉的检测需求，整个检测过程方便快捷且检测精准。
Description
技术领域
本发明涉及一种大肠内窥镜息肉的检测方法，尤其涉及一种基于空洞卷积的编码器和解码器的大肠息肉检测方法。
背景技术
早期的大肠息肉检测与切割方法主要是基于手工选取的图形特征，例如形状，颜色，线条，轮廓等，由于真实环境中的大肠息肉存在各种形态，同时有些和周围的正常组织有着很相似的特征，而传统的基于手工选择图形特征的方法只能学习有限的特定特征，因此这种方法无法取得令人满意的结果。随着神经网络与深度学习的快速发展，基于卷积神经网络的方法被广泛应用于图像识别领域，包括医疗图像识别，近几年，该方法在大肠息肉识别与分割领域也已经得到了一定的应用。
Mohammed等人在2018年发表的学术论文《Y-Net: A deep Convolutional NeuralNetwork for Polyp Detection》中提出了基于Y-Net的大肠息肉检测与切割方法，其中Y-Net是一个基于卷积神经网络的图像语义分割算法，受到U-Net编码器-解码器结构的启发，该网络由两个提取图像特征的编码器和一个生成语义分割图像的解码器组成，第一个编码器在训练之前预先加载了由ImageNet数据集（自然图像）训练得到的网络参数，由此可以利用已经学习到的广泛存在于自然图像中的图形特征，例如边界，曲线特征等，来帮助模型进行大肠息肉分类；第二个编码器通过Xavier normal initializer随机初始化起始参数，并通过较大的学习步长，来学习大肠息肉图片独有的图像特征；两个编码器提取出的不同图像特征将被融合并作为解码器的输入，该方法在公有数据集得到的召回率为84.4%，准确率为87.4%。
Wang等人在2018年发表的学术论文《Development and validation of a deep-learning algorithm for the detection of polyps during colonoscopy》中提出了基于SegNet的大肠息肉检测与分割方法，其中的SegNet同样是一种基于卷积神经网络CNN的图像语义分割算法，与U-Net类似，该网络由一个解码器和一个编码器构成，并增加了网络层数。同时，作者提出一套息肉检测系统，该系统有三个线程组成，每个线程单独运行一个SegNet网络模型进行图像分割。每个线程检测一张图片需要耗时100毫秒，从而整个系统的运行速度能达到30帧每秒，该算法在公有数据集上得到了88.24%的召回率。
但是上述两种方法在长时间的使用后发现，其召回率与准确率皆低于95%，没有达到实际使用的要求。
发明内容
本发明目的是为了克服现有技术的不足而提供一种对大肠内窥镜息肉检测的方法快速有效，且最后测出的息肉分割预测图像的准确率和召回率超过95%的基于空洞卷积的编码器和解码器的大肠息肉检测方法。
为达到上述目的，本发明采用的技术方案是：一种基于空洞卷积的编码器和解码器的大肠息肉检测方法，包括如下步骤：
S1: 构建基于空洞卷积的编码器和解码器的模型后进行训练并固定；
S2: 获取单帧内镜图像；
S3: 将单帧内镜图像输入到S1模型中的编码器后获取特征图；
S4: 将特征图输入到S1模型中的解码器后获取息肉分割预测图像。
进一步的，所述S1中基于空洞卷积的编码器的构建方法如下：
选用基于ImageNet预训练的Resnet50网络作为骨干网络，且所述Resnet50网络分为四个阶段，第一阶段由3个bottleneck叠加构成，第二阶段由4个bottleneck叠加构成，第三阶段由6个bottleneck叠加构成，第四阶段由语义增强模块构成；
其中，语义增强模块由一个普通1x1卷积核和三个具有不同膨胀率（膨胀率为： 6，12，18）的3x3卷积核组成，通过应用不同膨胀率的卷积核得到具有不同视野域的语义信息并进行融合；
进一步的，所述S3的步骤包括如下：
所述单帧内镜图像输入到基于空洞卷积的编码器后通过Resnet50网络的三个阶段和语义增强模块，共输出四层特征图，四层特征图输入到经过训练且固定模型中的解码器内。
进一步的，所述S4的步骤包括如下：
将编码器输出的四层特征图，通过1x1的卷积核将由深到浅的四层特征图的通道数减低到128维，64维，64维，64维；
再通过不同放大率的差值操作将每个特征图上采样到原图大小；
最后，上述包含不同语义信息的四个特征图叠加在一起并通过一组3x3，1x1, 3x3的卷积组合将不同层的特征融合，并最终输出息肉分割预测图像。
进一步的，在S4后还包括如下步骤：利用后处理模块对息肉分割预测图像进行处理，其处理方法如下：
a边界平滑处理： 一个腐蚀算法紧接一个膨胀算法构成的开运算消除息肉分割预测图像中的噪声，再由一个膨胀算法紧接一个腐蚀算法构成的闭运算封闭息肉分割预测图像内部的小孔，得到平滑的息肉分割边界；
b小连通域过滤: 将a中得到的息肉分割预测图像大小调整为512x512后，删除小于1000像素的对象；
进一步的，所述构建基于空洞卷积的编码器和解码器的模型的训练方法如下：
①收集关于大肠内窥镜手术的图片，并将所有图片调整到512x512的大小然后将所有的图片进行数据增强操作，同时把图片分为训练集和测试集；
②将训练集中的图片输入到模型中，每张图片通过编码器提取特征图然后通过解码器生成息肉切割预测图像后，得到一个息肉分割的二值掩码图；
③用预测的二值掩码图与提前标注的真实分割图计算模型的误差，并通过误差调整整个模型的参数使其的输出更接近真实的标注，将上述过程重复多次训练直至误差到达可以接受的范围；
④训练结束模型固定下来后，用模型对所有测试集中的图片进行息肉分割的预测，并用该预测与对应的提前标注好的真实分割图对比并计算出相关指标，确保模型最后得出的息肉分隔预测图的准确性达到要求。
进一步的，所述数据增强的操作包括但不限于：
随机旋转、随机水平、垂直翻转、随机缩放、倾斜、剪切、随机扭曲变形、随机对比度和随机亮度变化。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
本发明方案的基于空洞卷积的编码器和解码器的大肠息肉检测方法，主要包括编码器，解码器与后处理模块三个主要部分，检测时单帧内镜图像通过编码器提取特征图，然后经由解码器对特征图进行特征融合后输出息肉分割预测图像，最后经由后处理模块对息肉分割预测图像处理后生成更精确的息肉分割预测图像，得出的息肉分割预测图像的准确率和召回率超过95%，符合大肠内窥镜息肉的检测需求，整个检测过程方便快捷且检测精准。
附图说明
下面结合附图对本发明技术方案作进一步说明：
附图1为本发明的使用流程示意图；
附图2为本发明的检测效果图；
附图3为本发明的召回率和准确率的数据图；
附图4为基于空洞卷积的编码器和解码器的模型的示意图；
附图5为语义增强模块的使用过程示意图；
附图6为相邻预测框融合过程中的使用示意图；
其中：1、单帧内镜图像；2、第一特征图；3、第二特征图；4、第三特征图；5、语义增强模块；6、第四特征图；7、处理后的第一特征图；8、处理后的第二特征图；9、处理后的第三特征图；10、处理后的第四特征图；12、息肉分割预测图像12。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
请参阅附图1，本发明所述的一种基于空洞卷积的编码器和解码器的大肠息肉检测方法，其主要包括如下步骤：S1: 构建基于空洞卷积的编码器和解码器的模型后进行训练并固定；S2: 获取单帧内镜图像；S3: 将单帧内镜图像输入到S1模型中的编码器后获取特征图；S4: 将特征图输入到S1模型中的解码器后获取息肉分割预测图像。
其中，训练过程如下所述：
①训练阶段，我们将所有的输入图片的大小调整到512x512，并对所有的图片进行了数据增强操作，数据增强是一项广泛用于机器学习重要的技术，通过将图像的变化（例如不同的方向，位置，比例，亮度等）引入现有数据，我们可以提高模型的鲁邦性并减少模型的过拟合。
本发明中我们应用了一些基本的数据增强方法，例如随机旋转，随机水平、垂直翻转和随机缩放，由于结肠镜镜头和结肠的运动引起的内膜的扭曲外观，我们还应用了倾斜（偏斜），剪切，随机扭曲变形，此外，我们应用随机对比度和随机亮度变化来模拟结肠镜检查过程中可能发生的不同照明环境或不同的摄影设备。
②将训练集中的图片输入到本发明的模型中，每张图片通过编码器提取特征图，然后通过解码器生成息肉切割预测图像过程后，得到一个息肉分割的二值掩码图。
③然后用预测的息肉分割的二值掩码图与提前标注的真实分割图计算模型的误差，并通过误差调整整个模型的参数使其的输出更接近真实的标注，将上述过程重复几十甚至数百次直至误差到达可以接受的范围。
④当训练结束模型固定下来后，我们用模型对测试集中的所有图片进行息肉分割的预测，并用该预测与对应的提前标注好的真实分割图对比并计算出准确率与召回率等评价指标，这个过程是训练的测试阶段，测试到最后确保本发明中的模型最后得出的息肉切割预测图像的召回率与准确率达到实际的要求。
另外训练目的是：模型的参数在初始化时是随机分配的，通过反复执行以上训练过程并通过误差调整参数，模型会更好的学习到图片的特征并生成更为准确的息肉分割预测图。
本模型实际的检测效果如图2所示，通过使用本方法能精准的检测到息肉的位置。
本发明使用后的评价指标如图3所示，其召回率与准确率皆高于95%，符合使用需求，其处理图片的每秒运行帧数达到23，处理速度快。
另外，其中F1-score: 2 x精确率x召回率 / (精确率 + 召回率)，一种综合评价指标。精确率和召回率有时候会出现矛盾，需要有所权衡，这时可以用F1-score来综合考虑他们。
F2-score: 5 x 精确率x召回率 / (4 * 精确率 + 召回率)。另一种综合评价指标，同样是综合考虑精确率和召回率，但更看重召回率。
本发明中的F1-score和F2-score也均高于95%，满足实际的使用需求。
请参阅附图4，本发明中编码器的结构如图中的上半部分所示，其选用通用的基于ImageNet预训练的Resnet50网络作为骨干网络，并且采用了特征金字塔结构将主干网络中的4个不同分辨率的特征层提取出来得到不同层级的语义信息；ResNet50由一个7x7的卷积层与16个‘BottleNeck’结构组成，其中‘BottleNeck’由一组三层卷积层组成，卷积尺寸分别为1x1，3x3和1x1。
Resnet50网络分为四个阶段，每个阶段由若干个‘bottleneck’结构构成，具体的：第一阶段由3个bottleneck叠加构成；第二阶段由4个bottleneck叠加构成；第三阶段由6个bottleneck叠加构成; 第四阶段由3个bottleneck叠加构成，在这里我们保留Resne50t50网络中的第一，二，三阶段由单帧内镜图像1输入后输出的第一特征图2、第二特征图3和第三特征图4并进行一系列的变换操作，作为随后解码器的输入，在输入图像尺寸为512x512的情况下，三个特征图的尺寸为：128x128x256，96x96x512, 48x48x1024。
同时我们去掉了第四阶段，而加入了特殊设计的语义增强模块5，这是因为在传统的骨干网络，例如VGG16，VGG19， Resnet50， Resnet101等原本是为了图像分类任务设计的，为卷积核提供更大的视野阈，从而得到整张图片的语义信息用于图像分类；而对于图像切割任务，由于需要得到在原始图像上的精准语义分割结果，因此图像的细节信息起到了至关重要的作用。
在图像分割中，传统神经网络中的下采样方法会使得图像的分辨率降低，造成细节特征的丢失，从而导致图像分割精度的下降。因此，在构建主干网络的过程中，为了减少特征图的缩小所带来的分辨率的损失，我们在网络的最后一个阶段引入了空洞卷积，通过空洞卷积，我们在不使用下采样操作的前提下得到了与原始操作一样大的视野域，从而达到了既保留原有图像特征又不过多的降低图像分辨率的效果。
为了得到准确的分割边界，我们去掉的第四阶段的下采样操作，从而得到4倍于原始大小的特征图；但同时，对于单独像素的种类预测，我们仍然需要通过足够大的视野域去获取整体的语音信息，因此我们在骨干网络的第三阶段后面引入了特殊设计的语义增强模块作为第四阶段。
其中，语义增强模块由一个普通1x1卷积核和三个具有不同膨胀率的3x3卷积核（空洞卷积）组成，通过应用不同膨胀率的卷积核得到具有不同视野域的语义信息并进行融合，语义增强模块的具体结构如图5所示，通过不同膨胀率产生的特征图被叠加在一起并通过一个1x1的卷积核产生第四阶段的特征图输出，第四阶段输出的特征图维度为48x48x1024，应用中的语义增强模型所使用的三卷积核的膨胀率为： 6，12，18。
通过引入具有不同膨胀率的空洞卷积，网络可以学习到一组不同尺度的并具有大视野域的语义信息，通过不同语义信息的结合，网络可以在不过多损失图像精度的前提下，学习到具有更多细节特征的同时，也得到具有更多有助于分类的大视野域深层语义信息。
解码器如图4的下半部分所示：为了得到更为精细的图像分割结果，本发明的解码器部分除了利用最深层的第四特征图6进行分割预测，也引入了三个更为浅层的第一特征图2、第二特征图3和第三特征图4，以引入包含更多细节的浅层语义特征。
对于编码器的四层特征图输出，我们通过1x1的卷积核将由深到浅的四层特征图的通道数减低到128维，64维，64维，64维，以减少运算量；为了得到更为准确的像素分类结果，最底层的特征图保留了更多的维度，再通过不同放大率的差值操作将每个特征图上采样到原图大小，即附图4中相应的处理后的第一特征图7、处理后的第二特征图8、处理后的第三特征图9和处理后的第四特征图10，在经过了上采样操作后，包含不同语义信息的上述四个处理后的特征图叠加在一起并通过一组3x3，1x1, 3x3的卷积组合将不同层的特征融合，并最终输出息肉分割预测图像12。
对于解码器生成的分割图像，我们引入了三种后处理算法以提高检测与分割的准确性：边界平滑处理、小连通域过滤。
具体的，边界平滑处理：在实际情况中，息肉的边界通常十分平滑的，为了得到平滑的息肉分割边界，我们应用了一组形态学变化，包括几个具有不同内核大小的开运算与闭运算操作；由一个腐蚀算法紧接一个膨胀算法构成的开运算可以消除分割图像中的噪声，再由一个膨胀算法紧接一个腐蚀算法构成的闭运算可以封闭已分割物体内部的小孔。
小连通域过滤：再经过边界平滑操作后，我们仍然观察到少量细小的分隔物体，这些微小的物体会降低算法的整体精度，并对结肠镜检测的实时显示产生不利影响，我们对数据集进行统计，发现将图像大小调整为512x512后，所有息肉都大于1000像素，因此，我们在输出的息肉分割预测图像中删除了那些小于1000像素的对象。
本发明的基于空洞卷积的编码器和解码器的大肠息肉检测方法，主要包括编码器，解码器与后处理模块三个主要部分，单帧内镜图像通过编码器提取特征图后再经由解码器对图像进行特征融合后输出息肉分割预测图像，最后经由后处理模块对息肉分割预测图像处理后生成更精确的息肉分割预测图像，得出的息肉分割预测图像的准确率和召回率超过95%，符合大肠内窥镜息肉的检测需求，整个检测过程方便快捷且检测精准。
以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。
Claims (6)
1.一种基于空洞卷积的编码器和解码器的大肠息肉检测方法，其特征在于,包括如下步骤：
S1: 构建基于空洞卷积的编码器和解码器的模型后进行训练并固定；
S2: 获取单帧内镜图像；
S3: 将单帧内镜图像输入到S1模型中的编码器后获取特征图；
S4: 将特征图输入到S1模型中的解码器后获取息肉分割预测图像。
2.根据权利要求1所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法，其特征在于，所述S1中基于空洞卷积的编码器的构建方法如下：
选用基于ImageNet预训练的Resnet50网络作为骨干网络，且所述Resnet50网络分为四个阶段，第一阶段由3个bottleneck叠加构成，第二阶段由4个bottleneck叠加构成，第三阶段由6个bottleneck叠加构成，第四阶段由语义增强模块构成；
其中，语义增强模块由一个普通1x1卷积核和三个具有不同膨胀率的3x3卷积核组成，通过应用不同膨胀率的卷积核得到具有不同视野域的语义信息并进行融合。
3.根据权利要求2所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法,其特征在于，所述S3的步骤包括如下：
所述单帧内镜图像输入到基于空洞卷积的编码器后通过Resnet50网络的三个阶段和语义增强模块，共输出四层特征图，四层特征图输入到经过训练且固定模型中的解码器内。
4.根据权利要求3所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法,其特征在于，所述S4的步骤包括如下：
将编码器输出的四层特征图，通过1x1的卷积核将由深到浅的四层特征图的通道数减低到128维，64维，64维，64维；
再通过不同放大率的差值操作将每个特征图上采样到原图大小；
最后，上述包含不同语义信息的四个特征图叠加在一起并通过一组3x3，1x1, 3x3的卷积组合将不同层的特征融合，并最终输出息肉分割预测图像。
5.根据权利要求1所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法，其特征在于，在S4后还包括如下步骤：利用后处理模块对息肉分割预测图像进行处理，其处理方法如下：
a边界平滑处理： 一个腐蚀算法紧接一个膨胀算法构成的开运算消除息肉分割预测图像中的噪声，再由一个膨胀算法紧接一个腐蚀算法构成的闭运算封闭息肉分割预测图像内部的小孔，得到平滑的息肉分割边界；
b小连通域过滤: 将a中得到的息肉分割预测图像大小调整为512x512后，删除小于1000像素的对象；
根据权利要求1所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法，其特征在于，所述构建基于空洞卷积的编码器和解码器的模型的训练方法如下：
①收集关于大肠内窥镜手术的图片，并将所有图片调整到512x512的大小然后将所有的图片进行数据增强操作，同时把图片分为训练集和测试集；
②将训练集中的图片输入到模型中，每张图片通过编码器提取特征图然后通过解码器生成息肉切割预测图像后，得到一个息肉分割的二值掩码图；
③用预测的二值掩码图与提前标注的真实分割图计算模型的误差，并通过误差调整整个模型的参数使其的输出更接近真实的标注，将上述过程重复多次训练直至误差到达可以接受的范围；
④训练结束模型固定下来后，用模型对所有测试集中的图片进行息肉分割的预测，并用该预测与对应的提前标注好的真实分割图对比并计算出相关指标，确保模型最后得出的息肉分隔预测图的准确性达到要求。
6.根据权利要求6所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法，其特征在于，所述数据增强的操作包括但不限于：
随机旋转、随机水平、垂直翻转、随机缩放、倾斜、剪切、随机扭曲形变、随机对比度和随机亮度变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010979481.0A CN112200773A (zh) | 2020-09-17 | 2020-09-17 | 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010979481.0A CN112200773A (zh) | 2020-09-17 | 2020-09-17 | 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112200773A true CN112200773A (zh) | 2021-01-08 |
Family
ID=74015376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010979481.0A Pending CN112200773A (zh) | 2020-09-17 | 2020-09-17 | 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200773A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862785A (zh) * | 2021-02-10 | 2021-05-28 | 昆明同心医联科技有限公司 | Cta影像数据识别方法、装置及存储介质 |
| CN112949692A (zh) * | 2021-02-03 | 2021-06-11 | 歌尔股份有限公司 | 一种目标检测方法和装置 |
| CN113222033A (zh) * | 2021-05-19 | 2021-08-06 | 北京数研科技发展有限公司 | 基于多分类回归模型与自注意力机制的单目图像估计方法 |
| CN113255569A (zh) * | 2021-06-15 | 2021-08-13 | 成都考拉悠然科技有限公司 | 一种基于图空洞卷积编码器解码器的3d姿态估计方法 |
| CN113592771A (zh) * | 2021-06-24 | 2021-11-02 | 深圳大学 | 一种图像分割方法 |
| CN114240836A (zh) * | 2021-11-12 | 2022-03-25 | 杭州迪英加科技有限公司 | 一种鼻息肉病理切片分析方法、系统和可读存储介质 |
| WO2022247486A1 (zh) * | 2021-05-25 | 2022-12-01 | 苏州慧维智能医疗科技有限公司 | 基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
| WO2023001190A1 (zh) * | 2021-07-23 | 2023-01-26 | 天津御锦人工智能医疗科技有限公司 | 结直肠息肉图像的识别方法、装置及存储介质 |
| CN116740363A (zh) * | 2023-08-15 | 2023-09-12 | 苏州凌影云诺医疗科技有限公司 | 一种基于肠道区域分割的清洁度检测方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050105801A1 (en) * | 2003-08-13 | 2005-05-19 | Senthil Periaswamy | Method and system for wavelet based detection of colon polyps |
| CN105488800A (zh) * | 2015-11-30 | 2016-04-13 | 上海联影医疗科技有限公司 | 特征提取方法、计算机辅助诊断的方法及其系统 |
| CN106934799A (zh) * | 2017-02-24 | 2017-07-07 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜图像辅助阅片系统及方法 |
| CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技（上海）有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN110335230A (zh) * | 2019-03-30 | 2019-10-15 | 复旦大学 | 一种内镜图像病变实时检测方法及装置 |
| CN110827505A (zh) * | 2019-10-29 | 2020-02-21 | 天津大学 | 一种基于深度学习的烟雾分割方法 |
| CN111091527A (zh) * | 2018-10-24 | 2020-05-01 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
-
2020
- 2020-09-17 CN CN202010979481.0A patent/CN112200773A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050105801A1 (en) * | 2003-08-13 | 2005-05-19 | Senthil Periaswamy | Method and system for wavelet based detection of colon polyps |
| CN105488800A (zh) * | 2015-11-30 | 2016-04-13 | 上海联影医疗科技有限公司 | 特征提取方法、计算机辅助诊断的方法及其系统 |
| CN106934799A (zh) * | 2017-02-24 | 2017-07-07 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜图像辅助阅片系统及方法 |
| CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技（上海）有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN111091527A (zh) * | 2018-10-24 | 2020-05-01 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
| CN110335230A (zh) * | 2019-03-30 | 2019-10-15 | 复旦大学 | 一种内镜图像病变实时检测方法及装置 |
| CN110827505A (zh) * | 2019-10-29 | 2020-02-21 | 天津大学 | 一种基于深度学习的烟雾分割方法 |
Non-Patent Citations (5)
| Title |
|---|
| XING BAI 等: "Efficient Semantic Segmentation Using Multi-Path Decoder", 《APPLIED SCIENCES》 * |
| XINZI SUN 等: "Colorectal Polyp Segmentation by U-Net with Dilation Convolution", 《ARXIV》 * |
| YUNBO GUO 等: "Polyp Segmentation with Fully Convolutional Deep Neural Networks—Extended Evaluation Study", 《JOURNAL OF IMAGING》 * |
| 张永宏 等: "基于DeepLab v3的西藏地区降雨云团分割方法", 《计算机应用》 * |
| 王亚刚 等: "改进DeepLabv3+网络的肠道息肉分割方法", 《计算机科学与探索》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949692A (zh) * | 2021-02-03 | 2021-06-11 | 歌尔股份有限公司 | 一种目标检测方法和装置 |
| CN112862785B (zh) * | 2021-02-10 | 2022-11-18 | 昆明同心医联科技有限公司 | Cta影像数据识别方法、装置及存储介质 |
| CN112862785A (zh) * | 2021-02-10 | 2021-05-28 | 昆明同心医联科技有限公司 | Cta影像数据识别方法、装置及存储介质 |
| CN113222033A (zh) * | 2021-05-19 | 2021-08-06 | 北京数研科技发展有限公司 | 基于多分类回归模型与自注意力机制的单目图像估计方法 |
| US11954857B2 (en) | 2021-05-25 | 2024-04-09 | Highwise Co, Ltd. | Method for detection and pathological classification of polyps via colonoscopy based on anchor-free technique |
| WO2022247486A1 (zh) * | 2021-05-25 | 2022-12-01 | 苏州慧维智能医疗科技有限公司 | 基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
| CN113255569A (zh) * | 2021-06-15 | 2021-08-13 | 成都考拉悠然科技有限公司 | 一种基于图空洞卷积编码器解码器的3d姿态估计方法 |
| CN113592771B (zh) * | 2021-06-24 | 2023-12-15 | 深圳大学 | 一种图像分割方法 |
| CN113592771A (zh) * | 2021-06-24 | 2021-11-02 | 深圳大学 | 一种图像分割方法 |
| WO2023001190A1 (zh) * | 2021-07-23 | 2023-01-26 | 天津御锦人工智能医疗科技有限公司 | 结直肠息肉图像的识别方法、装置及存储介质 |
| CN114240836A (zh) * | 2021-11-12 | 2022-03-25 | 杭州迪英加科技有限公司 | 一种鼻息肉病理切片分析方法、系统和可读存储介质 |
| CN116740363A (zh) * | 2023-08-15 | 2023-09-12 | 苏州凌影云诺医疗科技有限公司 | 一种基于肠道区域分割的清洁度检测方法和系统 |
| CN116740363B (zh) * | 2023-08-15 | 2023-10-13 | 苏州凌影云诺医疗科技有限公司 | 一种基于肠道区域分割的清洁度检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200773A (zh) | 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法 | |
| CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
| Oliveira et al. | dhSegment: A generic deep-learning approach for document segmentation | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN108460764B (zh) | 基于自动上下文和数据增强的超声图像智能分割方法 | |
| TWI777092B (zh) | 一種圖像處理方法、電子設備及存儲介質 | |
| Cornelis et al. | Crack detection and inpainting for virtual restoration of paintings: The case of the Ghent Altarpiece | |
| CN110473243B (zh) | 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 | |
| CN111968095B (zh) | 一种产品表面缺陷检测方法及系统及装置及介质 | |
| GB2478593A (en) | Segmentation of cell nuclei in histological sections | |
| CN109816666B (zh) | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 | |
| CN111462076A (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
| Levinshtein et al. | Real-time deep hair matting on mobile devices | |
| CN106096613A (zh) | 基于角点特征的图像多目标检测方法及装置 | |
| CN113781468B (zh) | 一种基于轻量级卷积神经网络的舌图像分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN112528782A (zh) | 水下鱼类目标检测方法及装置 | |
| CN114565620B (zh) | 一种基于骨架先验和对比损失的眼底图像血管分割方法 | |
| CN117392156A (zh) | 基于深度学习的巩膜镜oct图像泪液层分割模型和方法和设备 | |
| CN115937158A (zh) | 一种基于分层注意力机制的胃癌病灶区域分割方法 | |
| CN114581432A (zh) | 一种基于深度学习的舌象仪舌象分割方法 | |
| CN113297956A (zh) | 一种基于视觉的手势识别方法及系统 | |
| CN115578406A (zh) | 基于上下文融合机制的cbct颌骨区域分割方法及系统 | |
| Wu et al. | Multi-focus image fusion: Transformer and shallow feature attention matters | |
| CN117611824A (zh) | 一种基于改进unet的数字视网膜图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210108 |