CN113222932A - 基于多卷积神经网络集成学习的小肠内镜图片特征提取方法 - Google Patents

基于多卷积神经网络集成学习的小肠内镜图片特征提取方法 Download PDF

Info

Publication number
CN113222932A
CN113222932A CN202110517771.8A CN202110517771A CN113222932A CN 113222932 A CN113222932 A CN 113222932A CN 202110517771 A CN202110517771 A CN 202110517771A CN 113222932 A CN113222932 A CN 113222932A
Authority
CN
China
Prior art keywords
small intestine
neural network
endoscope image
intestine endoscope
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110517771.8A
Other languages
English (en)
Other versions
CN113222932B (zh
Inventor
郭旭东
杜奕奇
刘张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110517771.8A priority Critical patent/CN113222932B/zh
Publication of CN113222932A publication Critical patent/CN113222932A/zh
Application granted granted Critical
Publication of CN113222932B publication Critical patent/CN113222932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，1)获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的小肠内镜图像；2)将得到的小肠内镜图像进行预处理操作，去除无效区域，保留病灶区域；3)对保留病灶区域后的小肠内镜图像进行数据集划分，获取训练集、验证集和测试集；4)对划分后的训练集采用DenseNet169基础网络层结合SE block的方法提取小肠溃疡性病灶的内镜图像特征；5)结合其他两种不同模型分别提取小肠溃疡性病灶的内镜图像特征，并将两个模型的提取结果与步骤4)的提取结果进行集成学习，获取最终提取结果。与现有技术相比，本发明具有操作简单、效率高、分类性能好等优点。

Description

基于多卷积神经网络集成学习的小肠内镜图片特征提取方法
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法。
背景技术
目前临床应用中常规的手持式内镜检查无法涉及到整个完整的消化道，胃镜能够检查上消化道，而肠镜只能检查结肠和直肠，因此还有部分肠道是常规内窥镜无法探及到的。传统的小肠溃疡诊断分类主要由内镜医师根据小肠溃疡的形态、数量、范围等加以判断，最终诊断需要依据病理、实验室检测(如血沉、CRP、TSPOT等)结合临床表现、甚至用药后长期随访才能诊断；或对内镜图片进行人工选取特征，再依据传统的机器学习算法进行分类。
传统机器学习对图像进行特征提取并分类，需要相关专业人员根据图像的颜色、纹理等有效信息，手工提取有效特征，再将提取到的特征输入到相关机器学习算法中，一方面，此方法需要专业人员的支撑，费时费力，且所得特征与操作人员息息相关，基于临床经验对小肠溃疡性病变进行判断的准确率大多低于70％；另一方面，此方法不能实现端对端的特征提取及分类，即此方法需要将特征提取与结果分类分开进行，首先对图像进行特征提取，然后再将提取后的特征输入至分类器中，而无法在输入端输入图像后，自动提取特征并进行分类。综合而言，传统方法可迁移性较差，具有较强的依懒性，且操作繁琐，需要一定的技术与经济支持，不适合广泛应用。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法。
本发明的目的可以通过以下技术方案来实现：
基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，该方法包括如下步骤：
步骤一、获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的小肠内镜图像。获取的病人的小肠内镜视频数据包括克罗恩病、淋巴瘤、肠结核、非特异性小肠溃疡以及隐源性多灶性溃疡性狭窄性小肠炎在内的小肠内镜视频数据。
步骤二、将得到的小肠内镜图像进行预处理操作，去除无效区域，保留病灶区域。
预处理操作的具体内容为：首先对得到的小肠内镜图像进行灰度化处理，随后自适应将灰度图像进行二值化处理，并对所得到的二值图像进行轮廓检测。去除无效区域，保留病灶区域的具体内容为：寻找二值图像中最大面积的区域并用矩形框进行标记，将矩形框以外像素点的值置为零，并对矩形框外区域进行裁剪，裁剪后得到的区域部分为有效区域。
步骤三、对保留病灶区域后的小肠内镜图像进行数据集划分，分为训练集、验证集以及测试集。
步骤四、对训练集数据进行扩充处理，采用DenseNet169基础网络层结合SEblock的方法提取小肠溃疡性病灶的内镜图像特征。
扩充包括对保留病灶区域后的小肠内镜图像的训练集数据进行旋转操作、平移操作、缩放操作、对比度增强操作及亮度改变操作。采用DenseNet169基础网络层结合SEblock的方法的具体内容为：将DenseNet169中的每个dense block中的卷积操作之间加入SE block，即在dense block的卷积块中的第一个卷积操作后嵌入SE block，使denseblock的第一个卷积层的输出作为SE block的输入，并将SE block后重标定的特征输出至dense block块的第二个卷积操作中作为输入，进行再一次特征提取；然后对添加后的DenseNet169采用Adam优化器进行训练，并借助反向传播优化网络中的参数；基于扩充后的数据集对训练后的网络进行小肠溃疡性病灶的内镜图像特征提取。
步骤五、结合其他两种不同模型分别提取小肠溃疡性病灶的内镜图像特征，并将两个模型的提取结果与步骤四的提取结果进行集成学习处理，获取最终提取结果。
进一步地，其他两种不同模型采用EfficientNetB3和InceptionV3模型。首先对其他两种模型分别进行网络训练，训练过程中EfficientNetB3和InceptionV3模型均采用Adam优化器，并借助反向传播不断优化网络中的参数，随后基于扩充后的训练集数据对训练后的网络进行小肠溃疡性病灶的内镜图像特征提取。
进一步地，采用基于加权投票的集成学习法，集成三种网络的特征提取能力以及分类能力，以获取更为有效的溃疡病灶特征。
进一步地，三个模型的每轮训练迭代完成后，利用验证集进行在线验证，并在网络优化的同时，采用余弦退火学习率不断更新学习率，随着训练轮次的加深，动态调整学习率以寻求全局最优解。
进一步地，本发明方法设有用以对各步骤进行相应控制及显示的人机交互界面。
本发明提供的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，相较于现有技术至少包括如下有益效果：
一、自动实现分类：本发明无需人为对每张小肠溃疡性内镜图片的形态、数量以及范围等进行判断，并根据病理、实验室检查等结合临床表现，甚至用药进行综合判断，也不需要对于每张图片进行手工特征提取方能得到图片的特征信息即可实现病灶特征的自动提取，通过将图片输入至分类模型当中，便能自动提取图片的有效信息并进行自主分类，操作快速、高效。
二、分类识别率较高：本发明基于病灶特点以及神经网络模块化的思想，设计了所提网络的基本模块，在不破坏DenseNet169基础网络层的前提下，对于每个dense block中的卷积操作之间加入SE block,此举在添加少量参数量的同时充分利用了DenseNet169的信息融合能力以及SE block的通道重要性重标定的特点，提高了网络的特征提取能力，在添加少量参数量的前提下，不破坏网络的基本框架，保持网络的模块化结构，可以进一步载入预先训练好的权重，实现迁移学习，大大缩减训练难度，减少数据量影响，提高特征提取能力和优化网络的分类能力；同时结合SE-DenseNet169、EfficientNetB3和InceptionV3这三种各有优势的分类模型，采用基于加权投票的集成学习的思想，集成三种网络的特征提取能力以及分类能力，得到更为有效的溃疡病灶特征，提高单一算法的分类能力，优化模型整体分类能力，提高该设计的泛化能力，相比于基于临床经验对小肠溃疡性病变进行判断低于70％的准确率，采用本发明方法可以达到85％以上的分类准确率，具有较高的分类识别率。
三、诊断所需时间少：基于临床经验对小肠溃疡性病变进行诊断，需要内镜医师初步判断，并结合病理、实验室检查、临床表现以及长期随访等方能进行综合判断，具有严重的滞后性，会对病人的诊断治疗产生不利影响；本发明通过对原始数据集进行预处理操作，能够减少对于特征提取与分类无用的无效信息，在保留病灶特征的前提下减小数据集的分辨率，注重病灶本身，可以提高训练过程中病灶特征的提取效率，优化网络分类能力，测试过程中可以在3分钟内对200张小肠溃疡图片进行同步特征提取并完成分类识别，高效快速，并加快模型收敛，达到最佳结果。
四、具有一定的改进空间：本发明方法为了提高特征提取能力，优化模型分类能力，通过对图片进行旋转、平移、缩放、对比度增强以及亮度改变等操作实现数据集的扩充，可以丰富病灶的特征，提高网络的分类能力；同时在分类识别过程中，可以不断获得小肠溃疡性病灶的内镜图片，并将此临床数据集补充至模型中进行训练，可以不断学习到更多有效的特征，提高网络的分辨能力，实现更好的识别泛化效果。
五、更好的交互性与迁移性：本发明通过设计交互界面进行控制，智能、快捷、简单明了，操作指令一目了然，具有一定的交互性的同时，具有很好的迁移性，使用受限较小，仅需要一台电脑便可以完成特征提取并实现初步分类。
附图说明
图1为实施例中基于多卷积神经网络集成学习的小肠内镜图片特征提取方法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
本发明涉及一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，该方法通过深层次卷积神经网络能够实现小肠溃疡性病灶特征的自动提取与分类识别，具体包括以下步骤：
步骤S101：获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的多种类小肠内镜图片。
为了尽可能地对小肠溃疡性病灶进行自动诊断，具有一定的泛化能力，本实施例所采用的数据集均来自于临床病例，总共182位患者共计2124张小肠内镜图片，包含目前发病率较高且难分辨的5种小肠溃疡性病变，分别为克罗恩病、淋巴瘤、肠结核、非特异性小肠溃疡以及隐源性多灶性溃疡性狭窄性小肠炎，类别多样、格式丰富，真实性高，囊括了目前所能接触到的绝大多数病灶，并由专业医师根据病理及临床诊断后进行分类，注重于临床诊断。其中克罗恩病共计病例188例，共计图片1386张；淋巴瘤共计病例13例，共计图片94张；肠结核共计病例15例，共计图片113张；非特异性溃疡共计病例31例，共计图片216张；隐源性多灶性溃疡性狭窄性小肠炎共计病例34例，共计图片315张。优选根据7:1:2的比例将2124张图片划分为训练集、验证集以及测试集，划分后数据量分别为1487张、212张、425张。此数据集数据皆由临床所得，并由专业医师根据病理及临床诊断后进行分类，注重于临床诊断。
步骤S102：为了加快网络训练速度，减小运算量，进一步加快预测诊断时的效率，具有一定的即时性，满足不同的临床需要，更加关注病灶本身，减少对于无效信息的获取，本发明基于轮廓查找的方法对小肠溃疡数据集进行预处理操作，去除无用信息保留病灶区域，提高特征提取速度与分类效率。
具体地，对彩色图片进行灰度化处理后自适应地将灰度图像二值化，对所得到的二值图像进行轮廓检测，找到最大面积的区域并用矩形框进行标记，将矩形框以外像素点的值置为0，在对矩形框外区域进行裁剪，此时所得到的便是有效区域。此举可以减少无效信息而更加关注病灶信息，从而提高特征提取的效率。
步骤S103：为了提高网络的特征提取能力，提取到病灶类型更多的特征，通过对训练集图片进行旋转、平移、缩放、对比度增强以及亮度改变等操作实现少量样本类别数据的扩充，获得了样式各异的病灶图像，降低类别类间不均衡的影响。在数据扩充时，主要考虑训练时间以及分类准确率作为评价指标，综合两个因素对原始数据进行扩充，随着扩充数据量的增加，训练时长也随之增加，同时也会带来训练准确率的提高，而当训练时长增加时，准确率提高的效果不显著时，即为最终的扩充结果。对于小样本类别进行扩充可以提取到更为丰富的病灶特征，进一步提高网络的分类能力。
步骤S104：将扩充后的小肠内镜图像输入卷积神经网络进行特征提取。针对小肠溃疡性病灶的内镜图像特征以及深层次卷积神经网络模块化的思想，结合传统的临床诊断现状，本发明在不破坏DenseNet169基础网络层的前提下，对于每个dense block中的卷积操作之间添加SE block，即在dense block的卷积块中的第一个卷积操作之后嵌入SEblock，使dense block的第一个卷积层的输出作为SE block的输入，并将SE block后重标定的特征输出至dense block块的第二个卷积操作中作为输入，进行再一次的特征提取。由此使得改进后的网络既能深层次提取有效特征，又会更加关注通道的有效信息，此举在添加少量参数量的同时充分利用了DenseNet169的信息融合能力以及SE block的通道重要性重标定的特点，提高了网络的特征提取能力，在添加少量参数量的前提下，不破坏网络的基本框架，保持网络的模块化结构，可以进一步载入预先训练好的权重，实现迁移学习，大大缩减训练难度，减少数据量影响，提高特征提取能力和优化网络的分类能力。
步骤S105：为了防止一种模型存在诊断局限性或者对于某种溃疡病灶的分类效果较差的现象，本发明方法还实现了一种多模型集成自动诊断机制，以应对各个类别的溃疡，提高每个类别溃疡的诊断准确率。
具体地，在训练过程中，将扩充后的五类训练集数据(五类小肠溃疡性病变图像数据)分别输入至SE-DenseNet169、EfficientNetB3和InceptionV3这三种模型中，通过网络的反向传播不断更新参数，使得网络整体损失函数变小，每个网络均会得到一个输出结果。单个网络的特征提取能力会存在一定的缺陷，预测结果也会存在一定的偏差，因此对于此前所讲的三个网络进行基于加权投票法的集成学习来提高最终的特征提取能力，对于每一个模型预测后得到的输出结果，使用网格搜索法，搜索区间为0-1，搜索步长为0.05，当三个网络集成结果的准确率最高时，得到三个网络的权重，分别为0.4、0.35和0.25。网络的集成可减少一个模型的偶然性，充分发挥不同模型的特征提取能力，提高该设计的泛化能力。例如，一种模型情况下，该模型的诊断结果便是最终诊断结果，而此模型会对某一类型溃疡的特征提取能力较差，而造成此类病灶的诊断效率较低；当采用多模型集成诊断机制后，假设存在A、B、C三个不同的诊断模型，x和y两个类别时，A模型对x诊断效果较差，错分为y，同时B与C对x的诊断效果较好，诊断正确为x，多模型集成后，便会减少单模型所造成的误分影响，经过集成后，依旧会诊断正确。通过这种多模型集成诊断机制，可以降低一定的误分影响，有效提高多类别分类的诊断准确率，增强整套系统的自适应能力。
步骤S106：设计人机交互界面用以显示特征提取热点图，此设计能够注重主要特征，得到特征更为明显且分类更准确的热点图；交互界面也可以提高本设计的可用性，交互界面简单明了，操作指令一目了然，操作简单快捷，具有一定的交互性；同时具有很好的迁移性，使用受限较小，仅需要一台电脑便可以完成特征提取并实现初步分类。可优选基于python语言设计人机交互界面，完成图片预处理、图片扩充、图片亮度增强、图片分类等操作。
值得说明的是，本实施例在网络不断优化过程中，将训练集中的1487张图片扩增为4674图片，并将扩充后的4674张图片用于训练，验证集中的212张图片用于验证，测试集中的425张图片用于测试，总共训练100轮次，训练过程中SE-DenseNet169、EfficientNetB3和InceptionV3三个模型均采用Adam优化器减小损失函数值，并借助反向传播不断优化网络中的参数，每轮训练迭代完成后，会对212张验证集图片进行验证，以此来验证网络的特征提取能力并优化网络参数；伴随网络优化的同时，采用余弦退火学习率不断更新学习率，在训练初期采用较小的学习率更为平稳地融入训练，而伴随训练轮次的加深，避免过早进入局部最优解，加大学习率，跳出局部最优解，寻求全局最优解。
本发明基于端对端的设计理念，去除无用信息，关注病灶区域本身，从病灶中自动提取有效信息，基于模块化的思想下，在加深网络模型深度的同时更加注重不同通道对于特征的敏感性，提高了网络的特征提取能力，采用网络集成的思想，取长补短，实现了多类别更好的特征提取能力，不断优化网络的分类能力，并设计人工交互界面，使得网络分类能力简单易见，具有操作简单、效率高、分类性能好的优点。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，包括下列步骤：
1)获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的小肠内镜图像；
2)将得到的小肠内镜图像进行预处理操作，去除无效区域，保留病灶区域；
3)对保留病灶区域后的小肠内镜图像进行数据集划分，分为训练集、验证集以及测试集；
4)对训练集数据进行扩充处理，采用DenseNet169基础网络层结合SE block的方法提取小肠溃疡性病灶的内镜图像特征；
5)结合其他两种不同模型分别提取小肠溃疡性病灶的内镜图像特征，并将两个模型的提取结果与步骤4)的提取结果进行集成学习处理，获取最终提取结果。
2.根据权利要求1所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，获取的病人的小肠内镜视频数据包括克罗恩病、淋巴瘤、肠结核、非特异性小肠溃疡以及隐源性多灶性溃疡性狭窄性小肠炎在内的小肠内镜视频数据。
3.根据权利要求1所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，步骤2)中，将得到的小肠内镜图像进行预处理操作的具体内容为：
首先对得到的小肠内镜图像进行灰度化处理，随后自适应将灰度图像进行二值化处理，并对所得到的二值图像进行轮廓检测。
4.根据权利要求3所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，步骤2)中，去除无效区域，保留病灶区域的具体内容为：
寻找二值图像中最大面积的区域并用矩形框进行标记，将矩形框以外像素点的值置为零，并对矩形框外区域进行裁剪，裁剪后得到的区域部分为有效区域。
5.根据权利要求1所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，对训练集数据进行数据集扩充包括对保留病灶区域后的小肠内镜图像的训练集数据进行旋转操作、平移操作、缩放操作、对比度增强操作及亮度改变操作。
6.根据权利要求1所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，步骤5)中，其他两种不同模型采用EfficientNetB3和InceptionV3模型。
7.根据权利要求6所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，步骤4)中，将DenseNet169中的每个dense block中的卷积操作之间加入SEblock，即在dense block的卷积块中的第一个卷积操作后嵌入SE block，使dense block的第一个卷积层的输出作为SE block的输入，并将SE block后重标定的特征输出至denseblock块的第二个卷积操作中作为输入，进行再一次特征提取；然后对添加后的DenseNet169采用Adam优化器进行训练，并借助反向传播优化网络中的参数；基于扩充后的数据集对训练后的网络进行小肠溃疡性病灶的内镜图像特征提取。
8.根据权利要求6所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，步骤5)中，首先对其他两种模型分别进行网络训练，训练过程中EfficientNetB3和InceptionV3模型均采用Adam优化器，并借助反向传播不断优化网络中的参数，随后基于扩充后的训练集数据对训练后的网络进行小肠溃疡性病灶的内镜图像特征提取。
9.根据权利要求8所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，三个模型的每轮训练迭代完成后，利用验证集进行在线验证，并在网络优化的同时，采用余弦退火学习率不断更新学习率，随着训练轮次的加深，动态调整学习率以寻求全局最优解。
10.根据权利要求1所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，该方法设有用以对各步骤进行相应控制及显示的人机交互界面。
CN202110517771.8A 2021-05-12 2021-05-12 基于多卷积神经网络集成学习的小肠内镜图片特征提取方法 Active CN113222932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110517771.8A CN113222932B (zh) 2021-05-12 2021-05-12 基于多卷积神经网络集成学习的小肠内镜图片特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110517771.8A CN113222932B (zh) 2021-05-12 2021-05-12 基于多卷积神经网络集成学习的小肠内镜图片特征提取方法

Publications (2)

Publication Number Publication Date
CN113222932A true CN113222932A (zh) 2021-08-06
CN113222932B CN113222932B (zh) 2023-05-02

Family

ID=77095080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110517771.8A Active CN113222932B (zh) 2021-05-12 2021-05-12 基于多卷积神经网络集成学习的小肠内镜图片特征提取方法

Country Status (1)

Country Link
CN (1) CN113222932B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004850A1 (ja) * 2022-06-28 2024-01-04 オリンパスメディカルシステムズ株式会社 画像処理システム、画像処理方法及び情報記憶媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120316421A1 (en) * 2009-07-07 2012-12-13 The Johns Hopkins University System and method for automated disease assessment in capsule endoscopy
CN108872243A (zh) * 2018-04-28 2018-11-23 南昌航空大学 一种轴承滚子表面缺陷检测方法、系统及装置
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN109544510A (zh) * 2018-10-24 2019-03-29 广州大学 一种基于卷积神经网络的三维肺结节识别方法
CN109886922A (zh) * 2019-01-17 2019-06-14 丽水市中心医院 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN110363768A (zh) * 2019-08-30 2019-10-22 重庆大学附属肿瘤医院 一种基于深度学习的早期癌病灶范围预测辅助系统
CN110517256A (zh) * 2019-08-30 2019-11-29 重庆大学附属肿瘤医院 一种基于人工智能的早期癌辅助诊断系统
CN111243042A (zh) * 2020-02-28 2020-06-05 浙江德尚韵兴医疗科技有限公司 基于深度学习的超声甲状腺结节良恶性特征可视化的方法
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN112598086A (zh) * 2021-03-04 2021-04-02 四川大学 基于深度神经网络的常见结肠部疾病分类方法及辅助系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120316421A1 (en) * 2009-07-07 2012-12-13 The Johns Hopkins University System and method for automated disease assessment in capsule endoscopy
CN108872243A (zh) * 2018-04-28 2018-11-23 南昌航空大学 一种轴承滚子表面缺陷检测方法、系统及装置
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN109544510A (zh) * 2018-10-24 2019-03-29 广州大学 一种基于卷积神经网络的三维肺结节识别方法
CN109886922A (zh) * 2019-01-17 2019-06-14 丽水市中心医院 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN110363768A (zh) * 2019-08-30 2019-10-22 重庆大学附属肿瘤医院 一种基于深度学习的早期癌病灶范围预测辅助系统
CN110517256A (zh) * 2019-08-30 2019-11-29 重庆大学附属肿瘤医院 一种基于人工智能的早期癌辅助诊断系统
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN111243042A (zh) * 2020-02-28 2020-06-05 浙江德尚韵兴医疗科技有限公司 基于深度学习的超声甲状腺结节良恶性特征可视化的方法
CN112598086A (zh) * 2021-03-04 2021-04-02 四川大学 基于深度神经网络的常见结肠部疾病分类方法及辅助系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘士臣: "基于无线胶囊内窥镜图像的小肠病变智能检测与识别研究", 《中国优秀硕士学位论文全文数据库（基础科学辑）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004850A1 (ja) * 2022-06-28 2024-01-04 オリンパスメディカルシステムズ株式会社 画像処理システム、画像処理方法及び情報記憶媒体

Also Published As

Publication number Publication date
CN113222932B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN111383214B (zh) 实时内窥镜肠镜息肉检测系统
CN111489324B (zh) 一种融合多模态先验病理深度特征的宫颈图像分类方法
Yang et al. Colon polyp detection and segmentation based on improved MRCNN
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN113379693A (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN111179252B (zh) 基于云平台的消化道病灶辅助识别与正反馈系统
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN112613517A (zh) 内窥镜仪器分割方法、装置、计算机设备及存储介质
CN115393283A (zh) 一种基于浅层监督和反馈注意力的息肉图像分割方法
CN113222932A (zh) 基于多卷积神经网络集成学习的小肠内镜图片特征提取方法
CN116542921A (zh) 一种结肠息肉分割方法、装置及存储介质
CN115115897A (zh) 多模态预训练的胃部肿瘤分类系统
Gupta et al. A systematic review of deep learning based image segmentation to detect polyp
CN114612662A (zh) 一种基于边界引导的息肉图像分割方法
CN114078137A (zh) 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备
CN112489062B (zh) 基于边界及邻域引导的医学图像分割方法及系统
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
Hao et al. Automatic detection of fungi in microscopic leucorrhea images based on convolutional neural network and morphological method
CN112508827A (zh) 一种基于深度学习的融合多场景的危及器官的分割方法
Yang et al. Depth-inspired label mining for unsupervised RGB-D salient object detection
US20240135540A1 (en) Automatic detection and differentiation of biliary lesions in cholangioscopy images
CN116258686A (zh) 基于图像卷积特征捕捉的结肠息肉分型检测模型建立方法
CN116092667A (zh) 基于多模态影像的疾病检测方法、系统、装置及存储介质
CN115294093A (zh) 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法
CN113269734B (zh) 一种基于元学习特征融合策略的肿瘤图像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant