CN108427988A - 一种消化道解剖位置识别装置 - Google Patents
一种消化道解剖位置识别装置 Download PDFInfo
- Publication number
- CN108427988A CN108427988A CN201810209559.3A CN201810209559A CN108427988A CN 108427988 A CN108427988 A CN 108427988A CN 201810209559 A CN201810209559 A CN 201810209559A CN 108427988 A CN108427988 A CN 108427988A
- Authority
- CN
- China
- Prior art keywords
- network model
- alimentary canal
- depth network
- training
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 claims abstract description 166
- 238000012360 testing method Methods 0.000 claims abstract description 88
- 238000002224 dissection Methods 0.000 claims abstract description 83
- 239000002775 capsule Substances 0.000 claims abstract description 35
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 14
- 210000003484 anatomy Anatomy 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001727 in vivo Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000029087 digestion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 206010011409 Cross infection Diseases 0.000 description 1
- 206010029803 Nosocomial infection Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000002318 cardia Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 208000028774 intestinal disease Diseases 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 210000001187 pylorus Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种消化道解剖位置识别装置,包括:获取模块,用于:获取训练集和测试集;训练模块,用于:选取基于深度学习框架的深度网络模型作为当前深度网络模型,利用训练集对当前深度网络模型进行训练,利用测试集得到当前深度网络模型的识别精度数据,判断该识别精度数据是否符合预设精度要求,若是,则完成训练,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,返回执行利用训练集对当前深度网络模型进行训练的步骤;分类模块,用于:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置。实现了胶囊在体内的精确定位。
Description
技术领域
本发明涉及医疗器械技术领域,更具体地说,涉及一种消化道解剖位置识别装置。
背景技术
胶囊内镜用于在人体消化道内移动的同时拍摄人体消化道内壁的图像或视频,并通过无线方式传至外部的信号接收装置,与传统医用内窥镜相比,胶囊内镜具有操作简单、无创伤、无痛苦、无交叉感染、不影响患者正常工作等优点,尤其对小肠疾病检查具有很高的医用诊断价值。
胶囊内镜采集到的大量消化道图片,数据量巨大,消化道解剖位置的自动识别,可以为医生阅片及对胶囊(胶囊为胶囊内镜的简称)的定位起到积极作用。目前消化道解剖位置的识别方案大都是通过医护人员依赖胶囊传回的图像数据对胶囊所处的位置进行大致识别,容易受医护人员的主观因素影响,无法实现胶囊在体内的精确定位。
综上所述,如何提供一种能够实现胶囊在体内的精确定位的技术方案,是目前本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种消化道解剖位置识别装置,能够实现胶囊在体内的精确定位。
为了实现上述目的,本发明提供如下技术方案:
一种消化道解剖位置识别装置,包括:
获取模块,用于:获取训练集和测试集,所述训练集及所述测试集中包含消化道解剖图片及表示每个所述消化道解剖图片对应消化道解剖位置的标记;
训练模块,用于:选取基于深度学习框架的深度网络模型作为当前深度网络模型,利用所述训练集对当前深度网络模型进行训练,利用所述测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度数据,判断该识别精度数据是否符合预设精度要求,若是,则确定训练后的当前深度网络模型为完成训练的深度网络模型,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,返回执行所述利用所述训练集对当前深度网络模型进行训练的步骤;
分类模块,用于:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置。
优选的,还包括:
去重模块,用于:获取所述训练集及所述测试集之后,确定所述训练集及所述测试集中对应消化道解剖位置为未知的消化道解剖图片为未知类图片,并利用感知哈希算法排除所述未知类图片中相似度大于预设阈值的图片。
优选的,还包括:
预处理模块,用于:利用感知哈希算法排除所述未知类图片中相似度大于预设阈值的图片之后,对所述训练集及所述测试集中包含的消化道解剖图片进行预设角度旋转处理和图像增强处理。
优选的,所述训练模块包括:
训练单元,用于:在GPU上利用所述训练集对当前深度网络模型进行训练。
优选的,所述训练模块包括:
选取单元,用于:选取基于深度学习框架的Alexnet网络模型作为当前深度网络模型。
优选的,所述训练模块包括:
确定单元,用于:确定对训练后的当前深度网络模型做调整后得到的深度网络模型为当前深度网络模型,所述调整包含对当前深度网络模型的网络超参数和层数的调整。
优选的,所述训练模块包括:
优选单元,用于:将所述训练集中包含的消化道解剖图片组合成多个子训练集,其中每个子训练集包含的消化道解剖图片不完全相同;利用所述多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型,并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度数据,选取对应识别精度数据表明识别精度最高的深度网络模型为利用所述训练集对当前深度网络模型进行训练后的当前深度网络模型。
优选的,所述训练模块包括:
计算单元,用于:利用所述测试集测试当前深度网络模型,并基于测试所得结果按照下列公式计算该深度网络模型的识别精度数据中包括的识别正确率及阳性预测率:
识别正确率=测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量/测试集中对应消化道解剖位置的消化道解剖图片的总数量*100%;
阳性预测率=测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量/测试集中自动识别出的对应消化道解剖位置的消化道解剖图片的总数量*100%。
优选的,所述分类模块包括:
分类单元,用于:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到该深度网络模型包含的带有概率输出的softmax层输出的所述当前采集的消化道解剖图片对应不同消化道解剖位置的概率,并确定该概率最大的消化道解剖位置为所述当前采集的消化道解剖图片对应的消化道解剖位置。
优选的,还包括:
显示模块,用于:得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置之后,在预先获取的消化道图片上标记出得到的消化道解剖位置并显示。
本发明提供了一种消化道解剖位置识别装置,该装置包括:获取模块,用于:获取训练集和测试集,所述训练集及所述测试集中包含消化道解剖图片及表示每个所述消化道解剖图片对应消化道解剖位置的标记;训练模块,用于:选取基于深度学习框架的深度网络模型作为当前深度网络模型,利用所述训练集对当前深度网络模型进行训练,利用所述测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度数据,判断该识别精度数据是否符合预设精度要求,若是,则确定训练后的当前深度网络模型为完成训练的深度网络模型,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,返回执行所述利用所述训练集对当前深度网络模型进行训练的步骤;分类模块,用于:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置。本发明实施例公开的上述技术方案中,获取模块获取包含消化道解剖图片及对应消化道解剖位置标记的训练集及测试集,训练模块利用训练集训练深度网络模型,利用测试集测试该深度网络模型得到表示该深度网络模型的识别精度的识别精度数据,并在该识别精度数据对应的识别精度不符合要求时调整深度网络模型后返回执行利用训练集训练深度网络模型的步骤,直至深度网络模型对应识别精度数据符合要求为止,从而保证了深度网络模型的识别精度较高,进而分类模块基于该深度网络模型识别胶囊内镜采集的消化道解剖图片对应消化道解剖位置,实现了胶囊在体内的精确定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种消化道解剖位置识别方法的流程图;
图2为本发明实施例提供的一种消化道解剖位置识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明实施例提供的一种消化道解剖位置识别方法的流程图,可以包括:
S11:获取训练集和测试集,训练集及测试集中包含消化道解剖图片及表示每个消化道解剖图片对应消化道解剖位置的标记。
需要说明的是,本发明实施例提供的一种消化道解剖位置识别方法的执行主语可以为对应的消化道解剖位置识别装置。步骤S11中的数据集准备包括对训练集及测试集的获取,其中训练集用于实现深度网络模型的训练,测试集用于实现深度网络模型的测试,测试集和训练集包含的消化道解剖图片(本申请中可简称为图片)均可以通过来自消化科内镜室阅片医务人员对胶囊内镜采集到的完整图片进行手工标记得到的,标记的消化道解剖位置可以包括但不限于食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠等,对不同解剖位置采用不同的标号进行标注,标记原则为可以依据单张图片信息进行人眼辨识解剖位置,训练集与测试集中包含的消化道解剖图片不同,由此能够提高训练出的深度网络模型的识别精度。举例来说明,可以采用N个病人的消化道解剖图片作为数据集,将其中第i个病人的消化道解剖图片作为测试集,剩下的除了第i个病人之外的N-1个病人的消化道解剖图片作为训练集(1≤i≤N)。
S12:选取基于深度学习框架的深度网络模型作为当前深度网络模型,利用训练集对当前深度网络模型进行训练,利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度数据,判断该识别精度数据是否符合预设精度要求,若是,则确定训练后的当前深度网络模型为完成训练的深度网络模型,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,返回执行利用训练集对当前深度网络模型进行训练的步骤。
本申请中采用深度网络模型实现消化道解剖位置的识别,而深度网络模型的选取及其模型参数的设定可以预先根据实际需要设定,本申请中所述深度网络模型可以采用基于CNN前馈卷积神经网络模型的Alexnet、Resnet、Googlenet、VGG等,本文实施例中通过对上述网络模型进行训练并测试后比较发现,对于胶囊内镜图片(即本申请中的消化道解剖图片)而言,Alexnet网络模型具有相对较高的识别正确率和预测阳性率,因此本申请中优选Alexnet网络模型实现对应功能,也即选取基于深度学习框架的深度网络模型作为当前深度网络模型,可以包括:选取基于深度学习框架的Alexnet网络模型作为当前深度网络模型。
具体地,本申请中选用的深度网络模型优选基于Alexnet网络模型Alexnet实现,该Alexnet网络模型基本层数为8层,5层卷积层,3层全连接层,最后一个全连接层的输出层为带有损失函数输出的精度层,输出层的输出个数为消化道解剖位置的个数;在第一层卷积层(conv1)与第二层卷积层(conv2)之后是归一化层(norm),在每一个卷积层以及全连接层(FC)紧跟着采用了RELU操作,即激活函数用来解决非线性问题,在norm1,norm2,conv5之后为池化层(pooling)。而预设精度要求为根据实际需要预先设定的,如果识别精度数据符合预设精度要求,则说明该识别精度数据对应的深度网络模型的识别精度达到对识别精度的要求,此时则确定训练完成,否则,则调整对应深度网络模型后重新对该深度网络模型训练,从而保证最终完成训练的深度网络模型的识别精度较高。
S13:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置。
胶囊内镜采集的消化道解剖图片即为需要识别其对应的消化道解剖位置的消化道解剖图片,将该消化道解剖图片输入至训练完成的深度网络模型,深度网络模型则会输出该消化道解剖图片对应的消化道解剖位置,从而实现对该消化道解剖图片的消化道解剖位置的识别。
本发明实施例公开的上述技术方案中,获取包含消化道解剖图片及对应消化道解剖位置标记的训练集及测试集,利用训练集训练深度网络模型,利用测试集测试该深度网络模型得到表示该深度网络模型的识别精度的识别精度数据,并在该识别精度数据对应的识别精度不符合要求时调整深度网络模型后返回执行利用训练集训练深度网络模型的步骤,直至深度网络模型对应识别精度数据符合要求为止,从而保证了深度网络模型的识别精度较高,进而基于该深度网络模型识别胶囊内镜采集的消化道解剖图片对应消化道解剖位置,实现了胶囊在体内的精确定位。
本发明实施例提供的一种消化道解剖位置识别方法,获取训练集及测试集之后,还可以包括:
确定训练集及测试集中对应消化道解剖位置为未知的消化道解剖图片为未知类图片,并利用感知哈希算法排除未知类图片中相似度大于预设阈值的图片。
训练集及测试集包含的消化道解剖图片中还包括了标记为未知类的图片,这类图片为胶囊内镜采集到的完整消化道解剖图片中除去可以辨别消化道解剖位置后的剩余图片,比如被气泡或者其他消化道内容物遮挡的一些人眼无法通过单张辨别的消化道解剖图片,或者贴近消化道黏膜较难识别的可以标记为未知类,在本发明中,为了使标记为消化道解剖位置类的图片与标记为未知类的图片在数量上保持一定的均衡性,对未知类图片采用感知哈希算法排除相似度高(即相似度大于预先根据实际需要确定的设定阈值)的图片,将相似度低的图片留下作为深度网络模型训练及测试的未知类。具体来说,采用感知哈希算法排除相似图片的过程可以如下:
S1,将相邻两张图片缩小到8*8尺寸;
S2,对于缩小后的图片,如果是彩色图片,则对其进行降低灰度级的处理,具体可以降到64级灰度;
S3,计算8*8图片所有像素的灰度平均值;
S4,将每个像素的灰度与灰度平均值进行比较,大于或等于平均值的像素记为1,小于平均值的像素记为0,得到对应图片的哈希值;将两张图片的哈希值进行对比,看对应像素的哈希值是否相等,记录不相等的像素个数,如果该个数达到根据实际需要设定的一定的阈值,说明两图片不相似;如果该个数未达到上述阈值,则两张图片相似,排除第一张,保留第二张与下一张图片重复上述过程,直至遍历全部图片。
本发明实施例提供的一种消化道解剖位置识别方法,利用感知哈希算法排除未知类图片中相似度大于预设阈值的图片之后,还可以包括:
对训练集及测试集中包含的消化道解剖图片进行预设角度旋转处理和图像增强处理。
本申请中可以直接使用训练集及测试集中包含的图片,但是为了使最后的深度网络模型能够适应各向同性的识别结果,在本实施例中可以对数据集中所有图片进行一定角度旋转处理和图像增强处理,其中旋转的角度可以根据实际需要进行设定,而旋转处理和图像增强处理与现有技术中对应技术方案的实现原理一致,在此不再赘述。当然也可以只对训练集及测试集中的图片进行预设角度旋转或者仅进行图像增强处理等,均在本发明的保护范围之内。
本发明实施例提供的一种消化道解剖位置识别方法,利用训练集对当前深度网络模型进行训练,可以包括:
在GPU上利用训练集对当前深度网络模型进行训练。对于深度网络模型的训练可以在GPU、CPU等之上实现,在本实施例中,为了使得训练深度网络模型的速度更快,优先采用高速计算性能卡GPU平台上实现深度网络模型的训练过程,当然还可以根据实际应用需要在其他硬件平台上进行,,均在本发明的保护范围之内。
另外深度网络模型基于的深度学习框架可以为Caffe、Caffe2、Tensorflow、Theano、Torch、CNTK等,具体可以根据实际需要进行设定,均在本发明的保护范围之内。本文中优选采用Caffe框架下的Alexnet网路模型作为深度网络学习模型,对应的对Caffe框架下调用对应命令行语句来实现对深度网络学习模型的训练。本发明实施例提供的一种消化道解剖位置识别方法,利确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,可以包括:
确定对训练后的当前深度网络模型做调整后得到的深度网络模型为当前深度网络模型,所述调整包含对当前深度网络模型的网络超参数和层数的调整。
需要说明的是,对深度网络模型的调整可以是调整网络模型的网络超参数及层数,具体可以通过更改对应配置文件solver.prototxt中的内容实现,主要可以包含训练种的基础学习率、学习率的调整策略及最大迭代次数等,还可以增加训练集包含的图片数量;从而提高训练出的深度网络模型的精度。本实施例中的上述调整可以为fine-tuning微调处理。
本发明实施例提供的一种消化道解剖位置识别方法,利用训练集对当前深度网络模型进行训练,可以包括:
将训练集中包含的消化道解剖图片组合成多个子训练集,其中每个子训练集包含的消化道解剖图片不完全相同;利用多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型,并利用测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度数据,选取对应识别精度数据表明识别精度最高的深度网络模型为利用训练集对当前深度网络模型进行训练后的当前深度网络模型。
可以将训练集中包含的消化道解剖图片组合成多个子训练集,如当训练集中包含n个病人的图片时,可以将第j个病人之外其他病人的图片作为子训练集,j分别取值由1至n,从而可以得到n个子训练集。通过多个子训练集得到对应的深度网络模型并由中选取出最优的模型实现后续步骤,进一步提高了训练得到的深度网络模型的精度。
另外还可以由数据集组成多个子训练集及测试集,如当数据集中包含N个病人的图片时,可以将第i个病人之外其他病人的图片作为子训练集,而第i个病人的图片作为对应子测试集,i分别取值由1至N,从而可以得到N个子训练集及N个子测试集,从而利用任一子训练集训练深度网络模型后利用对应子测试集实现该深度网络模型的测试,最终选取识别精度最高的深度网络模型作为利用训练集对当前深度网络模型进行训练后的当前深度网络模型实现后续步骤,从而最大限度的利用数据集实现了对深度网络模型的训练,并提高了深度网络模型的精度。
本发明实施例提供的一种消化道解剖位置识别方法,利用测试集测试当前深度网络模型得到当前深度网络模型的识别精度数据,可以包括:
利用测试集测试当前深度网络模型,并基于测试所得结果按照下列公式计算该深度网络模型的识别精度数据中包括的识别正确率及阳性预测率:
识别正确率=测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量/测试集中对应消化道解剖位置的消化道解剖图片的总数量*100%;
阳性预测率=测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量/测试集中自动识别出的对应消化道解剖位置的消化道解剖图片的总数量*100%。
利用测试集测试当前深度网络模型具体可以包括:将测试集的图片作为深度网络模型的输入,得到深度网络模型输出的图片对应消化道解剖位置,图片已经具有的标记对应消化道解剖位置与深度网络模型输出的消化道解剖位置一致则确定正确识别了该图片,否则则认为未正确识别出该图片,从而能够统计出测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量、测试集中对应消化道解剖位置的消化道解剖图片的总数量、测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量、测试集中自动识别出的对应消化道解剖位置的消化道解剖图片的总数量,进而基于统计得到的上述数量计算深度网络模型的识别正确率及阳性预测率,如果识别正确率及阳性预测率均达到预设精度要求中对应的数值,则说明深度网络模型的识别精度符合要求,训练完成,否则,则说明深度网络模型的识别精度不符合要求,训练未完成并继续后续训练步骤。
本发明实施例提供的一种消化道解剖位置识别方法,将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置,可以包括:
将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到该深度网络模型包含的带有概率输出的softmax层输出的当前采集的消化道解剖图片对应不同消化道解剖位置的概率,并确定该概率最大的消化道解剖位置为当前采集的消化道解剖图片对应的消化道解剖位置。
本申请中深度网络模型的输出层可以采用带有概率的softmax层,对应深度网络模型输出的包括胶囊内镜采集的消化道解剖图片对应每个消化道解剖位置的概率,从中选取概率最大的消化道解剖位置为对应图片的消化道解剖位置,从而保证了识别精度。
另外需要说明的是,本发明实施例提供的上述技术方案中对于胶囊内镜采集的图片,可以采用读取图片内存数据或者图片存放路径的方式输入深度网络模型,且可以将训练集包含的图片采用训练列表的方式存放在硬盘上,以供训练时获取。
本发明实施例提供的一种消化道解剖位置识别方法,得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置之后,还可以包括:
在预先获取的消化道图片上标记出得到的消化道解剖位置并显示。
其中,预先获取的消化道图片为包含消化道各个位置的图片,由此,在消化道图片上标记出深度网络模型输出的消化道解剖位置,并且将标记有对应消化道解剖位置的消化道图片进行显示,能够使得医务人员可以直观准确的获知胶囊内镜采集的消化道解剖图片在消化道中对应的位置,进而直观准确的确定出胶囊内镜在消化道中的位置。
本发明实施例还提供了一种消化道解剖位置识别装置,如图2所示,可以包括:
获取模块11,用于:获取训练集和测试集,训练集及测试集中包含消化道解剖图片及表示每个消化道解剖图片对应消化道解剖位置的标记;
训练模块12,用于:选取基于深度学习框架的深度网络模型作为当前深度网络模型,利用训练集对当前深度网络模型进行训练,利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度数据,判断该识别精度数据是否符合预设精度要求,若是,则确定训练后的当前深度网络模型为完成训练的深度网络模型,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,返回执行利用训练集对当前深度网络模型进行训练的步骤;
分类模块13,用于:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置。
本发明实施例提供的一种消化道解剖位置识别装置,还可以包括:
去重模块,用于:获取训练集及测试集之后,确定训练集及测试集中对应消化道解剖位置为未知的消化道解剖图片为未知类图片,并利用感知哈希算法排除未知类图片中相似度大于预设阈值的图片。
本发明实施例提供的一种消化道解剖位置识别装置,还可以包括:
预处理模块,用于:利用感知哈希算法排除未知类图片中相似度大于预设阈值的图片之后,对训练集及测试集中包含的消化道解剖图片进行预设角度旋转处理和图像增强处理。
本发明实施例提供的一种消化道解剖位置识别装置,训练模块可以包括:
训练单元,用于:在GPU上利用训练集对当前深度网络模型进行训练。
本发明实施例提供的一种消化道解剖位置识别装置,训练模块可以包括:
选取单元,用于:选取基于深度学习框架的Alexnet网络模型作为当前深度网络模型。
本发明实施例提供的一种消化道解剖位置识别装置,训练模块可以包括:
确定单元,用于:确定对训练后的当前深度网络模型做调整后得到的深度网络模型为当前深度网络模型,所述调整包含对当前深度网络模型的网络超参数和层数的调整
本发明实施例提供的一种消化道解剖位置识别装置,训练模块可以包括:
优选单元,用于:将训练集中包含的消化道解剖图片组合成多个子训练集,其中每个子训练集包含的消化道解剖图片不完全相同;利用多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型,并利用测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度数据,选取对应识别精度数据表明识别精度最高的深度网络模型为利用训练集对当前深度网络模型进行训练后的当前深度网络模型。
本发明实施例提供的一种消化道解剖位置识别装置,训练模块可以包括:
计算单元,用于:利用测试集测试当前深度网络模型,并基于测试所得结果按照下列公式计算该深度网络模型的识别精度数据中包括的识别正确率及阳性预测率:
识别正确率=测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量/测试集中对应消化道解剖位置的消化道解剖图片的总数量*100%;
阳性预测率=测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量/测试集中自动识别出的对应消化道解剖位置的消化道解剖图片的总数量*100%。
本发明实施例提供的一种消化道解剖位置识别装置,分类模块包括:
分类单元,用于:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到该深度网络模型包含的带有概率输出的softmax层输出的当前采集的消化道解剖图片对应不同消化道解剖位置的概率,并确定该概率最大的消化道解剖位置为当前采集的消化道解剖图片对应的消化道解剖位置。
本发明实施例提供的一种消化道解剖位置识别装置,还可以包括:
显示模块,用于:得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置之后,在预先获取的消化道图片上标记出得到的消化道解剖位置并显示。
本发明实施例提供的一种消化道解剖位置识别装置中相关部分的说明请参见本发明实施例提供的一种消化道解剖位置识别方法中对应部分的详细说明,在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种消化道解剖位置识别装置,其特征在于,包括:
获取模块,用于:获取训练集和测试集,所述训练集及所述测试集中包含消化道解剖图片及表示每个所述消化道解剖图片对应消化道解剖位置的标记;
训练模块,用于:选取基于深度学习框架的深度网络模型作为当前深度网络模型,利用所述训练集对当前深度网络模型进行训练,利用所述测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度数据,判断该识别精度数据是否符合预设精度要求,若是,则确定训练后的当前深度网络模型为完成训练的深度网络模型,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,返回执行所述利用所述训练集对当前深度网络模型进行训练的步骤;
分类模块,用于:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置。
2.根据权利要求1所述的装置,其特征在于,还包括:
去重模块,用于:获取所述训练集及所述测试集之后,确定所述训练集及所述测试集中对应消化道解剖位置为未知的消化道解剖图片为未知类图片,并利用感知哈希算法排除所述未知类图片中相似度大于预设阈值的图片。
3.根据权利要求2所述的装置,其特征在于,还包括:
预处理模块,用于:利用感知哈希算法排除所述未知类图片中相似度大于预设阈值的图片之后,对所述训练集及所述测试集中包含的消化道解剖图片进行预设角度旋转处理和图像增强处理。
4.根据权利要求1所述的装置,其特征在于,所述训练模块包括:
训练单元,用于:在GPU上利用所述训练集对当前深度网络模型进行训练。
5.根据权利要求4所述的装置,其特征在于,所述训练模块包括:
选取单元,用于:选取基于深度学习框架的Alexnet网络模型作为当前深度网络模型。
6.根据权利要求5所述的装置,其特征在于,所述训练模块包括:
确定单元,用于:确定对训练后的当前深度网络模型做调整后得到的深度网络模型为当前深度网络模型,所述调整包含对当前深度网络模型的网络超参数和层数的调整。
7.根据权利要求1所述的装置,其特征在于,所述训练模块包括:
优选单元,用于:将所述训练集中包含的消化道解剖图片组合成多个子训练集,其中每个子训练集包含的消化道解剖图片不完全相同;利用所述多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型,并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度数据,选取对应识别精度数据表明识别精度最高的深度网络模型为利用所述训练集对当前深度网络模型进行训练后的当前深度网络模型。
8.根据权利要求1所述的装置,其特征在于,所述训练模块包括:
计算单元,用于:利用所述测试集测试当前深度网络模型,并基于测试所得结果按照下列公式计算该深度网络模型的识别精度数据中包括的识别正确率及阳性预测率:
识别正确率=测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量/测试集中对应消化道解剖位置的消化道解剖图片的总数量*100%;
阳性预测率=测试集中自动识别出的正确的某消化道解剖位置的消化道解剖图片的数量/测试集中自动识别出的对应消化道解剖位置的消化道解剖图片的总数量*100%。
9.根据权利要求1所述的装置,其特征在于,所述分类模块包括:
分类单元,用于:将胶囊内镜采集的消化道解剖图片输入至训练完成的深度网络模型,得到该深度网络模型包含的带有概率输出的softmax层输出的所述当前采集的消化道解剖图片对应不同消化道解剖位置的概率,并确定该概率最大的消化道解剖位置为所述当前采集的消化道解剖图片对应的消化道解剖位置。
10.根据权利要求1至9任一项所述的装置,其特征在于,还包括:
显示模块,用于:得到深度网络模型输出的该消化道解剖图片对应的消化道解剖位置之后,在预先获取的消化道图片上标记出得到的消化道解剖位置并显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810209559.3A CN108427988A (zh) | 2018-03-14 | 2018-03-14 | 一种消化道解剖位置识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810209559.3A CN108427988A (zh) | 2018-03-14 | 2018-03-14 | 一种消化道解剖位置识别装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108427988A true CN108427988A (zh) | 2018-08-21 |
Family
ID=63158492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810209559.3A Pending CN108427988A (zh) | 2018-03-14 | 2018-03-14 | 一种消化道解剖位置识别装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108427988A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447985A (zh) * | 2018-11-16 | 2019-03-08 | 青岛美迪康数字工程有限公司 | 结肠镜图像分析方法、装置及可读存储介质 |
CN109886916A (zh) * | 2019-01-04 | 2019-06-14 | 深圳市资福医疗技术有限公司 | 一种胶囊镜图像筛选方法及装置 |
CN110288555A (zh) * | 2019-07-02 | 2019-09-27 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
CN111358431A (zh) * | 2020-03-06 | 2020-07-03 | 重庆金山医疗技术研究院有限公司 | 一种食道压力云图的标识识别方法及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184226A (zh) * | 2015-08-11 | 2015-12-23 | 北京新晨阳光科技有限公司 | 数字识别方法和装置及神经网络训练方法和装置 |
CN106570515A (zh) * | 2016-05-26 | 2017-04-19 | 北京羽医甘蓝信息技术有限公司 | 处理医学图像的方法和系统 |
CN107437100A (zh) * | 2017-08-08 | 2017-12-05 | 重庆邮电大学 | 一种基于跨模态关联学习的图像位置预测方法 |
CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术(北京)有限公司 | 用于分析医学影像的方法和装置 |
CN107886503A (zh) * | 2017-10-27 | 2018-04-06 | 重庆金山医疗器械有限公司 | 一种消化道解剖位置识别方法及装置 |
-
2018
- 2018-03-14 CN CN201810209559.3A patent/CN108427988A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184226A (zh) * | 2015-08-11 | 2015-12-23 | 北京新晨阳光科技有限公司 | 数字识别方法和装置及神经网络训练方法和装置 |
CN106570515A (zh) * | 2016-05-26 | 2017-04-19 | 北京羽医甘蓝信息技术有限公司 | 处理医学图像的方法和系统 |
CN107437100A (zh) * | 2017-08-08 | 2017-12-05 | 重庆邮电大学 | 一种基于跨模态关联学习的图像位置预测方法 |
CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术(北京)有限公司 | 用于分析医学影像的方法和装置 |
CN107886503A (zh) * | 2017-10-27 | 2018-04-06 | 重庆金山医疗器械有限公司 | 一种消化道解剖位置识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
肖慧卉: "基于图像感知哈希算法的电脑作品管理系统研究与实现", 《万方数据知识服务平台》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447985A (zh) * | 2018-11-16 | 2019-03-08 | 青岛美迪康数字工程有限公司 | 结肠镜图像分析方法、装置及可读存储介质 |
CN109886916A (zh) * | 2019-01-04 | 2019-06-14 | 深圳市资福医疗技术有限公司 | 一种胶囊镜图像筛选方法及装置 |
CN109886916B (zh) * | 2019-01-04 | 2023-05-30 | 深圳市资福医疗技术有限公司 | 一种胶囊镜图像筛选方法及装置 |
CN110288555A (zh) * | 2019-07-02 | 2019-09-27 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
CN110288555B (zh) * | 2019-07-02 | 2022-08-02 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
CN111358431A (zh) * | 2020-03-06 | 2020-07-03 | 重庆金山医疗技术研究院有限公司 | 一种食道压力云图的标识识别方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107886503A (zh) | 一种消化道解剖位置识别方法及装置 | |
US20220076420A1 (en) | Retinopathy recognition system | |
CN110197493B (zh) | 眼底图像血管分割方法 | |
CN108427988A (zh) | 一种消化道解剖位置识别装置 | |
CN109146884A (zh) | 内窥镜检查监控方法及装置 | |
CN108309334B (zh) | 一种脊柱x线影像的数据处理方法 | |
CN106618481A (zh) | 中医智能诊断专家系统 | |
CN104102899B (zh) | 视网膜血管识别方法及装置 | |
CN110974306B (zh) | 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统 | |
CN205215184U (zh) | 中医智能诊断专家系统 | |
CN110265119A (zh) | 骨龄评估与身高预测模型、其系统及其预测方法 | |
CN108510493A (zh) | 医学图像内目标对象的边界定位方法、存储介质及终端 | |
CN114694236B (zh) | 一种基于循环残差卷积神经网络的眼球运动分割定位方法 | |
CN108354578A (zh) | 一种胶囊内镜定位系统 | |
CN114287915A (zh) | 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统 | |
CN108652587A (zh) | 一种认知功能障碍预防监测装置 | |
CN111179258A (zh) | 一种识别视网膜出血图像的人工智能方法及系统 | |
CN114469009B (zh) | 一种面部疼痛表情分级评估方法 | |
CN113706559A (zh) | 基于医学图像的血管分段提取方法和装置 | |
Hu et al. | ACCV: automatic classification algorithm of cataract video based on deep learning | |
CN106446805A (zh) | 一种眼底照中视杯的分割方法及系统 | |
CN109199334B (zh) | 一种基于深度神经网络的舌象体质辨别方法及设备 | |
CN111091539A (zh) | 网络模型训练、医学图像处理方法、装置、介质及设备 | |
CN112863699B (zh) | 一种基于移动端的esd术前讨论系统 | |
CN109711306B (zh) | 一种基于深度卷积神经网络获取面部特征的方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190617 Address after: 401120 18 neon Road, two Road Industrial Park, Yubei District, Chongqing Applicant after: Chongqing Jinshan Science and Technology Inc. Address before: 401120 1 office buildings, Jinshan International Industrial City, 18 of Nei sang Road, Hui Xing street, Yubei District, Chongqing. Applicant before: Chongqing Jinshan Medical Instrument Co., Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180821 |
|
RJ01 | Rejection of invention patent application after publication |