CN111784669B - 一种胶囊内镜图像多病灶检测方法 - Google Patents
一种胶囊内镜图像多病灶检测方法 Download PDFInfo
- Publication number
- CN111784669B CN111784669B CN202010620368.3A CN202010620368A CN111784669B CN 111784669 B CN111784669 B CN 111784669B CN 202010620368 A CN202010620368 A CN 202010620368A CN 111784669 B CN111784669 B CN 111784669B
- Authority
- CN
- China
- Prior art keywords
- capsule endoscope
- image
- endoscope image
- training
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000010354 integration Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 27
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 102100028971 HLA class I histocompatibility antigen, C alpha chain Human genes 0.000 claims 1
- 101100395312 Homo sapiens HLA-C gene Proteins 0.000 claims 1
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000003238 esophagus Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000008918 voyeurism Diseases 0.000 description 2
- 241000167880 Hirundinidae Species 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种胶囊内镜图像多病灶检测方法，涉及计算机图像处理领域，基于深度特征和人选特征融合与多分类器集成，包括如下步骤：图像预处理，构造颜色、纹理、以及形态的特征向量、采用卷积神经网络获取深度特征、特征融合、多分类器集成、病灶识别重复上述步骤直至所有胶囊内镜图像完成识别。本发明胶囊内镜图像多病灶检测方法，将有效降低临床医生的诊断负担，提高检测的准确性。
Description
技术领域
本发明涉及计算机图像处理领域，尤其涉及一种胶囊内镜图像多病灶检测方法。
背景技术
胶囊内镜，英文名称：capsule endoscopy，是一种做成胶囊形状的内窥镜，它是用来检查人体肠道的医疗仪器。胶囊内窥镜能进入人体,用于窥探人体肠胃和食道部位的健康状况。可用来帮助医生对病人进行诊断。胶囊内窥镜实际是把摄像机缩小，植入医用胶囊，帮助医生对病人进行诊断。一粒小胶囊却是探秘人体的摄像工作室，甚至可能成为遨游人体的“飞船”；细小的纤维，可以用来加固人体的心脏动脉。从外表看，它与普通胶囊药区别不大，但它是一台微型摄像机，用于窥探人体肠胃和食道部位的健康状况。患者吞服后，胶囊随胃肠肌肉运动沿消化方向运行，拍摄图像，再把图像传至患者系于腰间的数据传输装置。几小时后，医生把胶囊拍摄的图像下载于电脑，胶囊在24小时内自动排出体外。使用胶囊内窥镜，患者可保持正常活动和生活。
胶囊内镜作为一种吞咽式无创诊断设备，它既能减少患者在检测过程的不适，也能检测到以往插入式内镜的检测盲区，已经广泛运用于胃肠道的其他部位，包括食道、胃、结肠等器官的检查。胶囊内镜在被吞咽后会产生80000多张待诊断图片，给临床医生带来了极大的负担。因此，能够进行智能诊断的计算机辅助诊断系统对减轻医生的诊断负担和提高病灶检测的精度具有重要的意义。
现有的计算机辅助诊断系统的设计方法不能满足实际需求，这些方法存在的缺陷主要为：只针对单一病灶或者少数几种病灶，少数针对多病灶的方法精度不高。用于提取特征的训练集样本数量有限，给特征提取造成了一定的困难。
因此，本领域的技术人员致力于开发一种胶囊内镜图像多病灶检测方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是是在小样本的情况下实现胶囊内镜图像多病灶检测，并且提高检测精度。
为实现上述目的，本发明提供了一种胶囊内镜图像多病灶检测方法，其特征在于，包括以下几个步骤：
步骤一：图像预处理，对所述胶囊内镜图像进行预处理；
步骤二：构造胶囊内镜图像样本库；
步骤三：构造胶囊内镜图像特征向量；
步骤四：使用步骤二构建的样本库训练卷积神经网络；
步骤五：使用步骤四中训练完成的卷积神经网络提取深度特征；
步骤六：特征融合，将步骤三与步骤五中提取的特征向量采用多种特征融合方法进行融合；
步骤七：训练多个分类器，以步骤六融合的多种向量为输入，构建多个分类器并训练；
步骤八：将步骤七中的多个分类器结果进行软投票集成，完成胶囊内镜图像识别；
步骤九：重复上述步骤，直至所有胶囊内镜图像完成识别。
进一步地，所述步骤一中的图像预处理方法包括白平衡，归一化。
进一步地，步骤二中，根据胶囊内镜图像中包含的不同病灶构建胶囊内镜图像样本库。
进一步地，所述步骤三中提取的特征向量包括颜色，纹理，形态。
进一步地，所述步骤三中提取胶囊内镜图像的颜色特征采用的方法包括1-3阶颜色矩。
进一步地，所述步骤三中提取胶囊内镜图像的纹理特征采用的方法包括局部二值模式LBP(Local Binary Pattern)。
进一步地，所述步骤三中提取胶囊内镜图像的形态特征采用的方法包括HLAC(Higher-order Local Auto-Correlation)。
进一步地，所述步骤五具体包括配置构建卷积耦合神经网络，采用已标定的图像数据库为训练样本进行预训练，采用迁移学习方法，以初步训练好的网络参数为初始值，对构建的胶囊内镜图像样本库进行训练，获得针对该图像库的分类网络，将训练好的CNN模型输出作为深度特征，并通过全连接层调整输出向量的长度；其中构建建卷积耦合神经网络采用的系统包括为Inception-V3，Inception-V3，ResNet50，ResNeXt50。
进一步地，所述步骤六中进行降维的方法包括主成分分析法，将降维到合适长度的两组向量进行融合的方法包括串联、典型相关分析以及多层感知机。
进一步地，适合图像样本库的融合方式可以通过比较优化，融合后的长度可以调整。
进一步地，所述步骤七中的多种融合向量为输入，构建多个分类器对样本库图像进行分类，所构建的分类器为支持向量机，分类器参数由样本库图像训练获得。
进一步地，所述步骤八中的多个分类器结果的软投票集成方式为加权软投票融合方法。
本发明使用深度特征与传统人选特征融合并且将多个分类器结果的软投票集成的方法用于胶囊内镜图像多病灶检测具有以下技术效果：
1.通过本发明的方法实现胶囊内镜图像病灶检测，极大降低了临床医生的诊断负担。
2.实现特征优势互补，能够同时利用卷积神经网络的高层语义特征抽象信息，以及胶囊内镜图像中丰富的颜色，纹理，形状的局部细节特征，弥补单个特征属性的不足。
3.通过深度特征与人工特征的组合提取，能够减少训练所需卷积神经网络的层数，避免过拟合情况发生，同时还减少网络模型的计算负担，提高检测精度。
4.充分利用了多个分类器结果的每一类病灶正确率的先验知识，检测精度更高。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的检测方法流程图；
图2是本发明的一个较佳实施例的建立和训练单个分类器的流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
实施例一
如图1所示，一种基于视觉特征融合的胶囊内镜图像多病灶检测方法包括以下完整步骤：
胶囊内镜图像数据采集：胶囊内镜图像包括正常图像、出血图像、溃疡图像、息肉图像、糜烂图像、静脉显露图像、水肿图像一共七类，每种类型各取1000张，共7000张图像，将这些图像分别存入带标签的文件夹中。
图像预处理：对获取到的图片进行预处理，去除图像边框，删除无用图像信息，在特征提取之前随机打乱数据集。
颜色特征提取：在HSV颜色空间下提取图像的三阶颜色矩颜色特征，对图像进行HSV颜色空间转换；而后将整张图片均匀分成25个不重叠的子块:
然后每块子块区域上的三阶颜色矩包括：一阶矩(均值)、二阶矩(方差)、三阶矩(斜度)
这里的p(i,j)代表图像i颜色通道中出现像素灰度值j的概率，N是图片块像素个数，最后串联25个子区域的颜色矩特征形成图像整体颜色矩特征特征维度为225维。
形状特征提取:在RGB空间转换的灰度图像和HSV压了空间的H(色调，这是因为S、V对光照变化比较敏感)分量中提取图像的高阶局部自相关(HLAC)作为图像的形状特征：高阶局部自相关函数定义为：
r表示当前像素点向量，a1,a2,...,aN代表r周边N个不同偏移向量。通过改变N(阶数)以及偏移向量能够获得不同数量的I(r)I(r+a1),...,I(r+aN)，为了平衡性能和计算量，在发明N的取值范围为N∈{0,1,2}，这样一来可以得到35种局部自相关模式，特征维数为1750(35×25×2)。
实施例二
纹理特征提取：
如图1所示在RGB颜色空间下提取图像的LBP纹理直方图纹理特征，LBP计算公式：
式子中gc代表中心点像素的灰度值；gn表示邻域半径内像素的灰度值，R为邻域半径。图像纹理特征提取是在RGB颜色空间下提取图像的统一局部二进制纹理直方图作为纹理特征，首先将图像分割成100块互补重叠的子块图像，之后分别提取每个子块的纹理直方图，最后按照顺序串联各区域特征形成整张完整图像的纹理特征，总计5900(59×100)维。
提取图像卷积神经网络特征：卷积神经网络的提取的深度特征有两种方法，一是在softmax层前的全连接层神经元个数为512个的全连接层作为融合之后的特征提取器；二是全连接层前的的全局池化层作为融合之后的特征提取器或者说是全连接层的神经元个数为2048的输入层作为特征提取器。先对图像进行归一化处理；将训练集作为输入馈送至建立的Inception-V3，ResNet50，ResNeXt50网络的输入层进行训练，收敛后得到模型权重参数，输入新的数据并以此提取深度特征。这里所提到的三个CNN网络模型结构图如下表：
ResNet50网络结构表
ResNeXt50网络结构表
实施例三
CNN特征及传统特征融合：
如图1所示，本发明采用了四种特征融合方法分别为串联融合，串联融合和PCA降维，典型相关分析融合，多层感知机融合。串联融合指的是将四种特征串接在一起。串联及PCA降维融合指的是将四种特征串接在一起之后经过PCA降维。典型相关分析融合指的是四种特征中的两种特征经过典型相关分析融合为一个特征，之后再将这个特征与剩下的特征中的一种特征继续融合，直至形成最后的融合特征。多层感知机融合指的是建立三层的多层感知机网络，在softmax层前的全连接层神经元个数为512个的全连接层作为融合之后的特征提取器，经过这个提取器提取的特征作为融合特征。
将上述提取的颜色特征，纹理特征，以及形态特征进行归一化，对上述三个卷积神经网络分别提取深度特征，将每一个深度特征分别与三种传统特征进行融合以产生新的特征，融合特征时采用串联融合，串联及PCA降维融合，典型相关分析融合，多层感知机进行融合四种方法。该基于深度的融合步骤如下：
分别提取三种传统特征，颜色矩，LBP，HLAC特征，然后将每种特征进行归一化，以便后面的特征融合。
将训练集的三种传统特征分别与三种卷积神经网络的提取的深度特征采用上述四种特征融合方法进行融合。
实施例四
如图2所示为建立和训练单个分类器的流程图。
分类器设计：采用支持向量机作为分类器，选取的核函数为Sigmoid核函数，并求取训练集中所有图像的每一种融合特征对支持向量机进行训练，得到适合与训练样本的分类器。本发明采用了三种卷积神经网络，每一种卷积神经网络有两种深度特征提取方法，特征融合方法有四种，因此共有24(3×2×4)种融合特征，共训练24个支持向量机。
分类器集成：上述24个分类器的结果会对训练样本库所有图片进行分类，对统计这24个结果中的每一类正确率。选取n个“好而不同”的分类器的每一类分类器正确率作为该分类器集成软投票的权重，将这n分类器输出的分类向量乘上对应分类器的权重并累加作为最终的结果。n个分类器m维的后验概率分布P，ω为n×m维权重矩阵，则软投票可以表示为：
其中，Pi代表第i个分类器后验概率分布，ωi为权重矩阵第i行(第i个分类器的每一类分类正确率)，Pf为软投票的结果，为Hadamard乘积。
10折交叉验证：将样本集各类样本按照9:1随机抽取构成训练集与验证集，针对训练集，按照上述获得相应的深度网络，融合特征和分类器，并在验证集上测试分类器效果。重复10次上述随机试验，综合评价算法性能，最终确定各阶段最优参数。
获取胶囊内镜图像，进行图像预处理，提取颜色，纹理，形态特征，并将图像送入构建的深度网络中，获得对应的深度特征，然后进行特征融合，将多个融合后的特征送入多个分类器，获得多个分类结果，选取n个分类器的每一类正确率作为软投票权重，对n个分类器进行软投票集成，完成一张图像的检测。
重复上述步骤，直至所有图像完成检测。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (4)
1.一种胶囊内镜图像多病灶检测方法，其特征在于，包括以下几个步骤：
步骤一：图像预处理，对所述胶囊内镜图像进行预处理；
步骤二：构建胶囊内镜图像样本库；
步骤三：提取胶囊内镜图像特征向量；
所述步骤三中提取的胶囊内镜图像特征向量包括颜色特征、纹理特征、形态特征；
所述步骤三中提取胶囊内镜图像的颜色特征采用的方法包括1-3阶颜色矩；
所述步骤三中提取胶囊内镜图像的纹理特征采用的方法包括局部二值模式；
所述步骤三中提取胶囊内镜图像的形态特征采用的方法包括HLAC；
步骤四：使用步骤二构建的样本库训练卷积神经网络；
步骤五：使用步骤四中训练完成的卷积神经网络提取深度特征；
步骤六：特征融合，将步骤三与步骤五中提取的特征向量采用多种特征融合方法进行融合；
所述步骤六还包括进行降维，进行降维的方法包括主成分分析法，将降维到合适长度的两组向量进行融合的方法包括串联、典型相关分析以及多层感知机；
步骤七：训练多个分类器，以步骤六融合的多种向量为输入，构建多个分类器并训练；
步骤八：将步骤七中的多个分类器结果进行软投票集成，完成胶囊内镜图像识别；
所述步骤八中的多个分类器结果的软投票集成方式为加权软投票融合方法；
步骤九：重复上述步骤，直至所有胶囊内镜图像完成识别。
2.如权利要求1所述的胶囊内镜图像多病灶检测方法，其特征在于，步骤一中所述图像预处理方法包括白平衡、归一化。
3.如权利要求1所述的胶囊内镜图像多病灶检测方法，其特征在于，所述步骤五具体包括配置构建卷积耦合神经网络，采用已标定的图像数据库为训练样本进行预训练，采用迁移学习方法，以初步训练好的网络参数为初始值，对构建的胶囊内镜图像样本库进行训练，获得针对该图像库的分类网络，将训练好的CNN模型输出作为深度特征，并通过全连接层调整输出向量的长度；其中构建建卷积耦合神经网络采用的系统包括为Inception-V3，Inception-V3，ResNet50，ResNeXt50。
4.如权利要求1所述的胶囊内镜图像多病灶检测方法，其特征在于，所述步骤七中的多种融合向量为输入，构建多个分类器对样本库图像进行分类，所构建的分类器为支持向量机，分类器参数由样本库图像训练获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620368.3A CN111784669B (zh) | 2020-06-30 | 2020-06-30 | 一种胶囊内镜图像多病灶检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620368.3A CN111784669B (zh) | 2020-06-30 | 2020-06-30 | 一种胶囊内镜图像多病灶检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784669A CN111784669A (zh) | 2020-10-16 |
| CN111784669B true CN111784669B (zh) | 2024-04-02 |
Family
ID=72760898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010620368.3A Active CN111784669B (zh) | 2020-06-30 | 2020-06-30 | 一种胶囊内镜图像多病灶检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784669B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065430A (zh) * | 2021-03-22 | 2021-07-02 | 天津大学 | 基于深度学习特征与人工提取特征融合的白细胞分类方法 |
| CN115393356B (zh) * | 2022-10-27 | 2023-02-03 | 武汉楚精灵医疗科技有限公司 | 目标部位异常形态识别方法、装置及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214304A (zh) * | 2010-04-09 | 2011-10-12 | 索尼公司 | 信息处理设备、信息处理方法、和程序 |
| CN105139039A (zh) * | 2015-09-29 | 2015-12-09 | 河北工业大学 | 视频序列中人脸微表情的识别方法 |
| WO2016017533A1 (ja) * | 2014-07-29 | 2016-02-04 | 国立大学法人浜松医科大学 | 識別装置および識別方法 |
| CN107657281A (zh) * | 2017-09-28 | 2018-02-02 | 辽宁工程技术大学 | 一种基于改进的卷积神经网络的图像识别方法 |
| WO2018055014A1 (en) * | 2016-09-23 | 2018-03-29 | Ventana Medical Systems, Inc. | Methods and systems for scoring extracellular matrix biomarkers in tumor samples |
| CN110163442A (zh) * | 2019-05-27 | 2019-08-23 | 华北理工大学 | 一种基于集成学习的气井积液预测方法 |
| CN110705440A (zh) * | 2019-09-27 | 2020-01-17 | 贵州大学 | 一种基于神经网络特征融合的胶囊内镜图像识别模型 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013206104A (ja) * | 2012-03-28 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
-
2020
- 2020-06-30 CN CN202010620368.3A patent/CN111784669B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214304A (zh) * | 2010-04-09 | 2011-10-12 | 索尼公司 | 信息处理设备、信息处理方法、和程序 |
| WO2016017533A1 (ja) * | 2014-07-29 | 2016-02-04 | 国立大学法人浜松医科大学 | 識別装置および識別方法 |
| CN105139039A (zh) * | 2015-09-29 | 2015-12-09 | 河北工业大学 | 视频序列中人脸微表情的识别方法 |
| WO2018055014A1 (en) * | 2016-09-23 | 2018-03-29 | Ventana Medical Systems, Inc. | Methods and systems for scoring extracellular matrix biomarkers in tumor samples |
| CN107657281A (zh) * | 2017-09-28 | 2018-02-02 | 辽宁工程技术大学 | 一种基于改进的卷积神经网络的图像识别方法 |
| CN110163442A (zh) * | 2019-05-27 | 2019-08-23 | 华北理工大学 | 一种基于集成学习的气井积液预测方法 |
| CN110705440A (zh) * | 2019-09-27 | 2020-01-17 | 贵州大学 | 一种基于神经网络特征融合的胶囊内镜图像识别模型 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784669A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6657480B2 (ja) | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム | |
| Li et al. | Computer-based detection of bleeding and ulcer in wireless capsule endoscopy images by chromaticity moments | |
| Li et al. | Computer-aided detection of bleeding regions for capsule endoscopy images | |
| CN110600122B (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| CN110367913B (zh) | 无线胶囊内窥镜图像幽门和回盲瓣定位方法 | |
| CN109118485A (zh) | 基于多任务神经网络的消化道内镜图像分类及早癌检测系统 | |
| CN110705440B (zh) | 一种基于神经网络特征融合的胶囊内镜图像识别模型 | |
| CN109102491A (zh) | 一种胃镜图像自动采集系统及方法 | |
| CN107767365A (zh) | 一种内窥镜图像处理方法及系统 | |
| CN111784669B (zh) | 一种胶囊内镜图像多病灶检测方法 | |
| CN107292347A (zh) | 一种胶囊内窥镜图像识别方法 | |
| CN109948671B (zh) | 图像分类方法、装置、存储介质以及内窥镜成像设备 | |
| CN104203075B (zh) | 医疗用图像处理装置 | |
| Naz et al. | Detection and classification of gastrointestinal diseases using machine learning | |
| CN115049666B (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
| CN114782760A (zh) | 一种基于多任务学习的胃部疾病图片分类系统 | |
| CN113222957A (zh) | 一种基于胶囊镜图像的多类别病灶高速检测方法及系统 | |
| CN113781489A (zh) | 一种息肉影像语义分割方法及装置 | |
| CN115035127A (zh) | 一种基于生成式对抗网络的视网膜血管分割方法 | |
| CN111488912A (zh) | 一种基于深度学习神经网络的喉部疾病诊断系统 | |
| CN112419246A (zh) | 量化食管粘膜IPCLs血管形态分布的深度检测网络 | |
| CN117036905A (zh) | 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法 | |
| Li et al. | Computer aided detection of bleeding in capsule endoscopy images | |
| Jain et al. | Deep learning models for anomaly detection in wireless capsule endoscopy video frames: The transfer learning approach | |
| Iyer et al. | Deep learning model for disease prediction using gastrointestinal-endoscopic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |