CN111739007A - 内窥镜图像识别方法、设备、存储介质及装置 - Google Patents
内窥镜图像识别方法、设备、存储介质及装置 Download PDFInfo
- Publication number
- CN111739007A CN111739007A CN202010578050.3A CN202010578050A CN111739007A CN 111739007 A CN111739007 A CN 111739007A CN 202010578050 A CN202010578050 A CN 202010578050A CN 111739007 A CN111739007 A CN 111739007A
- Authority
- CN
- China
- Prior art keywords
- image information
- information
- endoscope image
- bubble
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 claims description 63
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 31
- 238000012216 screening Methods 0.000 abstract description 43
- 239000002775 capsule Substances 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 238000001839 endoscopy Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000007670 refining Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 208000021795 small intestine disease Diseases 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及医学图像的计算机分析技术领域，公开了一种内窥镜图像识别方法、设备、存储介质及装置。本发明通过提取待识别内窥镜图像信息中的图像特征信息；将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息；获取所述参考内窥镜图像信息中图像之间的相似概率信息；根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别，从而首先通过预设气泡区域识别模型进行初步筛选，得到初步的含有气泡区域的内窥镜图像信息，然后通过相似概率信息进行二次筛选，得到精确的含有气泡区域的内窥镜图像信息。
Description
技术领域
本发明涉及医学图像的计算机分析技术领域，尤其涉及内窥镜图像识别方法、设备、存储介质及装置。
背景技术
无线胶囊内镜(WCE)是本世纪初一项重要的创新技术，从功能上讲，胶囊内镜能够到达消化道任何位置，可以提供真实、直观的消化道场景信息，克服了传统内镜无法检查小肠道疾病的局限，且具有无创伤和耐受性好的特点。虽然胶囊内镜在临床使用时间不常，但其检测的有效性逐渐的得到了医学界的认同，目前国内外许多著名的医院已经开始将胶囊内镜作为小肠疾病检测和诊断的首选设备。
由于胶囊内镜平均在消化道内逗留8个小时，其摄像系统会自动拍摄全程消化道场景，平均每秒钟拍摄两幅，一例检查可采集50000-80000幅彩色的消化道图像数据。从胶囊内镜图像数据中筛查出含有可疑病变的图像对于临床医生来说，是一项任务繁重，从而导致阅片准确性较低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供内窥镜图像识别方法、设备、存储介质及装置，旨在解决在提高内窥镜图像识别准确性。
为实现上述目的，本发明提供一种内窥镜图像识别方法，所述内窥镜图像识别方法包括以下步骤：
获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息；
将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息；
获取所述参考内窥镜图像信息中图像之间的相似概率信息；
根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别。
可选地，所述将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息之前，所述方法还包括：
获取第一历史内窥镜图像信息；
提取所述第一历史内窥镜图像信息中含有气泡区域的图像信息和未含有气泡区域的图像信息；
将所述含有气泡区域的图像信息和未含有气泡区域的图像信息生成训练样本；
通过所述训练样本基于卷积神经网络模型进行训练，得到预设气泡区域识别模型。
可选地，所述预设气泡区域识别模型包括主干特征提取网络、分支特征提取网络以及隐藏层特征提取网络；
所述将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息，包括：
将所述图像特征信息通过所述主干特征提取网络进行特征提取，得到第一图像信息；
将所述第一图像信息通过分支特征提取网络进行特征提取，得到第二图像信息；
对所述第二图像信息进行分类预测，得到第一含有气泡区域的内窥镜图像信息；
将所述第一图像信息通过隐藏层特征提取网络进行特征提取，得到第三图像信息；
对所述第三图像信息进行分类预测，得到第二含有气泡区域的内窥镜图像信息；
在所述第一含有气泡区域的内窥镜图像信息与所述第二含有气泡区域的内窥镜图像信息一致时，将所述第二含有气泡区域的内窥镜图像信息作为所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息。
可选地，所述获取所述参考内窥镜图像信息中图像之间的相似概率信息，包括：
分别从所述参考内窥镜图像信息中选择预设窥镜图像信息；
将所述预设窥镜图像信息与所述参考内窥镜图像信息中的其他内窥镜图像信息组成成对图像块信息；
将所述成对图像块信息通过孪生网络模型进行计算，得到所述预设窥镜图像信息的相似度信息；
根据所述相似度信息得到相似概率信息。
可选地，所述将所述成对图像块信息通过孪生网络模型进行计算，得到所述预设窥镜图像信息的相似度信息之前，所述方法还包括：
获取第二历史内窥镜图像信息；
选择所述第二历史内窥镜图像信息中的第一预设相似度的未含有气泡区域图像信息，组成第一图像对，根据所述第一预设相似度得到第一相似度集；
选择所述第二历史内窥镜图像信息中的第二预设相似度的气泡区域图像信息，组成第二图像对，根据所述第二预设相似度得到第二相似度集；
选择所述第二历史内窥镜图像信息中的第三预设相似度的未含有气泡区域图像信息和气泡区域图像信息，组成第三图像对，根据所述第三预设相似度得到第三相似度集；
根据所述第一图像对、第二图像对、第三图像对、第一相似度集、第二相似度集以及第三相似度集得到孪生网络模型。
可选地，所述根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，包括：
将所述相似概率信息与相似度阈值进行比较；
将大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息；
将小于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中未含有气泡区域的内窥镜图像信息。
可选地，所述将大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息，包括：
获取大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息中的气泡区域信息；
判断所述气泡区域信息是否大于气泡区域阈值；
在所述气泡区域信息大于气泡区域阈值时，则确定大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息。
此外，为实现上述目的，本发明还提出一种内窥镜图像识别设备，所述内窥镜图像识别设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行内窥镜图像识别程序，所述内窥镜图像识别程序被所述处理器执行时实现如上文所述的内窥镜图像识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有内窥镜图像识别程序，所述内窥镜图像识别程序被处理器执行时实现如上文所述的内窥镜图像识别方法的步骤。
此外，为实现上述目的，本发明还提出一种内窥镜图像识别装置，所述内窥镜图像识别装置包括：
获取模块，用于获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息；
预测模块，用于将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息；
所述获取模块，还用于获取所述参考内窥镜图像信息中图像之间的相似概率信息；
确定模块，用于根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别。
本发明提供的技术方案，通过获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息；将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息；获取所述参考内窥镜图像信息中图像之间的相似概率信息；根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别，从而首先通过预设气泡区域识别模型进行初步筛选，得到初步的含有气泡区域的内窥镜图像信息，然后通过相似概率信息进行二次筛选，得到精确的含有气泡区域的内窥镜图像信息，从而提高内窥镜图像识别的准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的内窥镜图像识别设备结构示意图；
图2为本发明内窥镜图像识别方法第一实施例的流程示意图；
图3a为本发明内窥镜图像识别方法一实施例的第1阶段筛选前的内窥镜图像信息；
图3b为本发明内窥镜图像识别方法一实施例的第1阶段筛选后的含有气泡区域的内窥镜图像信息；
图3c为本发明内窥镜图像识别方法一实施例的第2阶段筛选后的含有气泡区域的内窥镜图像信息；
图4为本发明内窥镜图像识别方法一实施例的整体流程示意图；
图5为本发明内窥镜图像识别方法第二实施例的流程示意图；
图6为本发明内窥镜图像识别方法一实施例的预设气泡区域识别模型结构示意图；
图7为本发明内窥镜图像识别方法第三实施例的流程示意图；
图8为本发明内窥镜图像识别装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的内窥镜图像识别设备结构示意图。
如图1所示，该内窥镜图像识别设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口以及无线接口，而用户接口1003的有线接口在本发明中可为通用串行总线(Universal Serial Bus，USB)接口。网络接口1004可选的可以包括标准的有线接口以及无线接口(如WI-FI接口或2.4Ghz无线)。存储器1005可以是高速随机存取存储器(Random Access Memory，RAM)；也可以是稳定的存储器，比如，非易失存储器(Non-volatile Memory)，具体可为，磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对内窥镜图像识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及内窥镜图像识别程序。
在图1所示的内窥镜图像识别设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接外设；所述内窥镜图像识别设备通过处理器1001调用存储器1005中存储的内窥镜图像识别程序，并执行本发明实施例提供的内窥镜图像识别方法。
基于上述硬件结构，提出本发明内窥镜图像识别方法的实施例。
参照图2，图2为本发明内窥镜图像识别方法第一实施例的流程示意图。
在第一实施例中，所述内窥镜图像识别方法包括以下步骤：
步骤S10：获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息。
需要说明的是，本实施例的执行主体为内窥镜图像识别设备，还可为其他可实现相同或相似功能的设备，例如胶囊内镜，本实施例对此不作限制，在本实施例中，以胶囊内镜为例进行说明。
在具体实现中，通过胶囊内镜采集图像序列，提取图像序列中的WCE图像块，对一幅WCE图像逐像素提取固定尺寸的图像块，如：7×7像素、30×30像素或者40×40像素等，还可为其他尺寸，本实施例对此不作限制，如果一幅WCE图像是240×240像素，则逐像素提取的图像块为57600幅，从而通过将图像划分为预设尺寸的图像块实现对图像的特征提取，其中，图像特征信息包括气泡区域特征信息，非气泡区域特征信息以及气泡区域边界信息中至少一项，还可包括其他特征信息，本实施例对此不作限制。
步骤S20：将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息。
可以理解的是，所述预设气泡区域识别模型为根据卷积神经网络训练得到的，还可为基于其他深度学习网络训练得到的，本实施例对此不作限制，在本实施例中，以基于卷积神经网络为例进行说明。
在本实施例中，将提取到的这些WCE图像块，送入一种训练好的受监督的卷积神经网络(Convolutional Neural Networks，CNN)进行特征提取，提取能够代表图像块的特征向量，采用的CNN如：Vgg16，Vgg32以及Alexnet等，也可以根据图像块的尺寸，以及CNN模型的使用规则自行搭建，本实施例对此不作限制，受监督的卷积神经网络机制为，CNN网络中间隐藏的卷积层的输出直接链接一个预测函数，如：softmax函数，进行分类预测，分支特征提取网络使用与主网络相同的分类标签，监督隐藏层的特征提取，从而实现气泡区域的预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息。
需要说明的是，所述参考内窥镜图像信息只是进行初步筛选的含有气泡区域的参考内窥镜图像信息，并不是识别出最终含有气泡区域的内窥镜图像信息，再进行粗步筛选后再进行二次筛选，从而提高气泡区域图像识别的准确性。
步骤S30：获取所述参考内窥镜图像信息中图像之间的相似概率信息。
在本实施例中，在获取粗步筛选后的含有气泡区域的内窥镜图像信息后，通过图像之间的相似概率信息，从而判断含有气泡区域的内窥镜图像信息中是否均为含有气泡区域的内窥镜图像信息。
在具体实现中，在经过第1阶段的逐像素基于图像块的处理，初步的获得了胶囊内镜图片上气泡区域，如图3a所示的第1阶段筛选前的内窥镜图像信息，如图3b所示的第1阶段筛选后的含有气泡区域的内窥镜图像信息，以及如图3c所示的第2阶段筛选后的含有气泡区域的内窥镜图像信息，即目标内窥镜图像信息，可见，识别出的气泡区域在图3b阶段减小，从而提高识别的精确性，在图3b所示中在气泡区域识别的区域中仍然存在被错误分类的像素，因此在第一阶段结果的基础上对气泡区域做进一步的细化操作，通过第2阶段获得精确的气泡区域边界，用条件概率来描述，第2阶段细化过程的可以被描述为P(Yi|X)，其中X是第1阶段获得的气泡区域的全部像素点，Yi∈X，是X的子集。P(Yi|X)可以被解释气泡区域粗分类区域的条件下，区域中的像素点是真的气泡区域的概率，最终，提炼过程能被作为一个提炼函数(Refine)描述为：
Refine(X)＝{Yi∈X:P(Yi|X)>τ} 公式(1)
通过公式(1)将气泡区域粗分类区域中的假阳性的像素点排除，即气泡区域粗分类区域中条件概率值较小的像素点，不是气泡区域像素点排除，公式(1)中X为全部粗略等级筛查的全部像素点，也可以是粗略等级筛查的部分像素点，τ是一个条件概率阈值，代表了Yi与X的相似程度，条件概率P(Yi|X)可以能被定义作为一个指数函数：
公式(2)中函数sim是一个相似度度量函数，该函数度量两个胶囊内镜图像像素的领域块的相似程度，公式(2)的值在0到1之间。两个胶囊内镜图像块越相似，其值越接近1，两个胶囊内镜图像块越不相似，其值越接近于0。对于图像相似度的度量，本发明采用基于孪生Siamese的卷积神经网络去度量两个图像块之间的相似程度。
在本实施例中，Siamese网络有两个共享参数的相同结构的网络构建而成。该网络对两个类别分别采用相互斥的损失权重，使得Siamese网络在度量两类数据相似度时具有较强的判别能力，当数据的特征空间相似时，其特征空间的距离相对较小，当数据的特征空间不相似时，其特征空间的距离相对较大，在本实施例中采用两个深度和参数个数相同的卷积神经网络构建Siamese网络，也可以采用其他的类似结构，卷积神经网络的层数，可以根据自己的应用要求设定，如：3层、4层或者5层等，本实施例对此不作限制。
步骤S40：根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别。
在本实施例中，第一阶段采用受监督反馈的卷积神经网络框架，实现一幅胶囊内镜图像中气泡区域的粗等级的筛查，第二阶段是在粗等级筛查的结果上，利用孪生网络完成胶囊内镜图像气泡区域精细等级的假阳性区域排除，如图4所示的整体流程示意图，内窥镜图像的识别过程分为两个阶段，第一阶段为胶囊内窥图像气泡区域粗等级筛查，第二阶段为胶囊内镜图像气泡区域精细等级筛查，具体过程为：输入胶囊内镜图像，然后对每一幅WCE图像，按像素提取固定尺寸的图像块，将提取的每一幅图像块送入受监督的卷积神经网络提取该图像块的特征，通过采用一种分类器对图像块进行分类，并获得WCE图像气泡区域的粗等级筛查，进行粗筛查之后进入第二阶段筛查，对粗等级筛查区域按像素提取固定尺寸的图像块，并逐图像块，合并粗等级筛查区域图像块为图像对，并输入到Siamese网络进行相似度判别，从而去除一个与其他图像块都不相似的图像块，达到WCE图像气泡区域精细等级筛查，最后输出一个标记有气泡区域的图像，从而实现更准确的内窥镜图像识别。
本实施例通过上述方案，通过获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息；将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息；获取所述参考内窥镜图像信息中图像之间的相似概率信息；根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别，从而首先通过预设气泡区域识别模型进行初步筛选，得到初步的含有气泡区域的内窥镜图像信息，然后通过相似概率信息进行二次筛选，得到精确的含有气泡区域的内窥镜图像信息，从而提高内窥镜图像识别的准确性。
参照图5，图5为本发明内窥镜图像识别方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明内窥镜图像识别方法的第二实施例。
第二实施例中，所述步骤S20之前，所述方法还包括：
步骤S201，获取第一历史内窥镜图像信息。
在本实施例中，所述第一历史内窥镜图像信息为从已经标记好的含有气泡区域的图像信息和未含有气泡区域的图像信息作为样本信息进行训练，得到预设气泡区域识别模型，从而实现内窥镜图像的粗识别。
步骤S202，提取所述第一历史内窥镜图像信息中含有气泡区域的图像信息和未含有气泡区域的图像信息。
在具体实现中，从多个胶囊内镜图像序列中，随机的挑选WCE图像，对挑选的WCE图像，选择的图像包括两种，含气泡区域的WCE图像，和不含气泡区域的WCE图像，随机的选择该对象类的一个像素，作为中心像素点，并以该像素为中心提取固定的图像块如提取固定尺寸的图像块，如：7×7像素、31×31像素或40×40像素等，标记每幅图像，如：是气泡区域图像，非气泡区域图像，气泡区域图像赋值1，非气泡区域图像赋值2，本实施例对此不作限制。
步骤S203，将所述含有气泡区域的图像信息和未含有气泡区域的图像信息生成训练样本信息。
在本实施例中，将提取的图像块和所对应的标记组成训练样本，并送入受监督卷积神经网络训练网络参数进行训练，从而得到预设气泡区域识别模型，以实现内窥镜图像的粗识别。
步骤S204，通过所述训练样本信息基于卷积神经网络模型进行训练，得到预设气泡区域识别模型。
进一步地，所述预设气泡区域识别模型包括主干特征提取网络、分支特征提取网络以及隐藏层特征提取网络；所述步骤S30，包括：
将所述图像特征信息通过所述主干特征提取网络进行特征提取，得到第一图像信息；将所述第一图像信息通过分支特征提取网络进行特征提取，得到第二图像信息；对所述第二图像信息进行分类预测，得到第一含有气泡区域的内窥镜图像信息；将所述第一图像信息通过隐藏层特征提取网络进行特征提取，得到第三图像信息；对所述第三图像信息进行分类预测，得到第二含有气泡区域的内窥镜图像信息，在所述第一含有气泡区域的内窥镜图像信息与所述第二含有气泡区域的内窥镜图像信息一致时，将所述第二含有气泡区域的内窥镜图像信息作为所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息，从而促进主干网络获得较好的特征，提高气泡区域识别的准确性，其中，所述一致可为接近一致，还可为完全相同，本实施例对此不作限制。
需要说明的是，对图像进行分类预测可为softmax函数，还可为其他分类函数，本实施例对此不作限制，在本实施例中，以softmax函数为例进行说明，由于本实施例基于受监督的卷积神经网络进行识别，在预设气泡区域识别模型包含主干特征提取网络、分支特征提取网络以及隐藏层特征提取网络，其中，分支特征提取网络位于主干特征提取网络与隐藏层特征提取网络之间，对隐藏层特征提取网络的特征提取进行监督。
在本实施例中，在隐藏层使用与主网络相同的分类标签监督隐藏层的特征提取，主干特征提取网络输出的图像特征信息通过分支特征提取网络进行特征提取后进行预测，以及将主干特征提取网络输出的图像特征信息通过隐藏层特征提取网络进行特征提取后进行预测，如果一致，则隐藏层输出的特征信息正确。
在具体实现中，受监督的方式实质是增加了一个辅助分类器对隐藏层特征提取的监督。设W为特征提取主网络的权重，权重W可以表示为：W＝{θ1,θ2,...,θl}，其中θl代表第l卷积层的权重，设ws是第s个分支网络的权重，随后主网络损失函数被定义为：
其中xi是第i个训练样本，即带有分类标记的小图像块，是第i个训练样本li为分类标记，是气泡区域图像，或不是气泡区域图像，，分支网络的损失函数被定义为：
最终损失函数被定义为：
公式(5)中是受监督网络中d层的权重，S是网络中全部的分支，公式(5)中第1项是主网络对数据预测的损失响应，公式(5)中第2项是对分支输出特征预测的损失响应，同样是监督响应，公式(5)中第3项是主网络权重和分支网络权重的正则化，λ是权衡公式(5)的超参数，在上述网络迭代的训练过程中，主干网络和分支网络的输入误差可以通过损失函数向后传递，分支网络能被认为在主干网络的输出和隐藏层输出之间增加了一个快捷链接，快捷链接能直接使用隐藏层的特征输出。因此，通过分支网络向后误差的传递，起到了能更加有效地监督隐藏层的特征提取。受监督网络如图6所示，将WCE图片块输出至预设气泡区域识别模型，其中，预设气泡区域识别模型包括n个卷积层以及损失函数，包括输出预测以及对应的标签值，分支网络中分支卷积层进行分支预测，并与隐藏层的输出预测进行比较，从而实现对隐藏层的监督。
在本实施例中，采用分类器可为支持向量机(Support Vector Machine，SVM)或Adaboost算法，对图像块的特征向量进行分类，分类结果为两种情况：1.是气泡区域；2.非气泡区域；并以特征向量所代表的像素对胶囊内镜图像进行气泡区域粗等级筛查，筛查结果为标记一幅胶囊内镜图像种可能的气泡区域，到此完成第1阶段的任务。
本实施例通过上述方案，通过在主干网络的输出和隐藏层输出之间增加了快捷链接，快捷链接能直接使用隐藏层的特征输出，通过分支网络向后误差的传递，更加有效地监督隐藏层的特征提取。
参照图7，图7为本发明内窥镜图像识别方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明内窥镜图像识别方法的第三实施例。
第三实施例中，所述步骤S30，包括：
步骤S301，分别从所述参考内窥镜图像信息中选择预设窥镜图像信息。
需要说明的是，所述预设窥镜图像信息为从所述参考内窥镜图像信息中随机选择任一参考内窥镜图像信息，对参考内窥镜图像信息进行特征识别，判断是否都是具有相同特征的内窥镜图像信息。
步骤S302，将所述预设窥镜图像信息与所述参考内窥镜图像信息中的其他内窥镜图像信息组成成对图像块信息。
在本实施例中，将参考内窥镜图像信息中抽取一个图像块与其他粗等级筛查区域图像块逐一组成成对图像块，从而通过孪生网络模型进行预测。
步骤S303，将所述成对图像块信息通过孪生网络模型进行计算，得到所述预设窥镜图像信息的相似度信息。
步骤S304，根据所述相似度信息得到相似概率信息。
在具体实现中，所述参考内窥镜图像信息为参考内窥镜图像信息，提取气泡区域粗等级区域的图像块，对于一幅WCE内镜标记有粗等级气泡区域的WCE图像，在标记的区域内逐像素提取固定尺寸的图像块，如：7×7像素、30×30像素或者40×40像素等，还可为其他尺寸，本实施例对此不作限制，设这些图像块为：PS＝{p1,p2,...,pk}，从这些图像块抽取一个图像块与其他图像块逐一组成成对图像块，对于第1幅图像块与其他图像块组成成对图像块如下式所示：
{Par{p1,p2},Par{p1,p3},...,Par{p1,pk}} 公式(6)
对于第i幅图像块，其他图像块逐一组成成对图像块如下式所示：
{Par{pi,p1},Par{pi,p2},...,Par{pi,pi-1},Par{pi,pi+1},...,Par{p1,pk}} 公式(7)
通过训练好的网络，计算图像块之间的相似程度，第1幅图像块与其他图像块组成成对图像块，通过Siamese网络计算的相似度如下所示：
s1＝{s1,2,s1,3,s1,4...,s1,k} 公式(8)
其平均相似度记为：
第i幅图像块与其他图像块组成成对图像块，通过Siamese网络计算的相
似度如下所示：
si＝{si,1,si,2,...,si,i-1,si,i+1,...,s1,k} 公式(10)
其平均相似度记为：
最终第i幅图像块与其他图像块的相似概率为：
进一步地，步骤S303之前，所述方法还包括：
为了实现孪生网络模型的建立，通过获取第二历史内窥镜图像信息；选择所述第二历史内窥镜图像信息中的第一预设相似度的未含有气泡区域图像信息，组成第一图像对，根据所述第一预设相似度得到第一相似度集；选择所述第二历史内窥镜图像信息中的第二预设相似度的气泡区域图像信息，组成第二图像对，根据所述第二预设相似度得到第二相似度集；选择所述第二历史内窥镜图像信息中的第三预设相似度的未含有气泡区域图像信息和气泡区域图像信息，组成第三图像对，根据所述第三预设相似度得到第三相似度集；根据所述第一图像对、第二图像对、第三图像对、第一相似度集、第二相似度集以及第三相似度集得到孪生网络模型。
在具体实现中，Siamese卷积神经网络的训练数据产生，采用如下方式；从训练受监督卷积神经网络训练网络的训练样本中，随机的挑选非气泡区域图像块数据集中两幅不一样的图像，组成图像对，标记为相似图像。随机的挑选气泡区域图像块数据集中两幅不一样的图像，组成图像对，标记为相似图像。随机的挑选气泡区域图像块数据集中1幅图像，再随机的挑选非气泡区域图像块数据集中1幅图像，组成图像对，标记为不相似。
在本实施例中，无论是受监督卷积神经网络训练网络的训练数据集，还是Siamese卷积神经网络的训练数据集，都采用较多的数据集，如：可以大于50000个数据量，无论是受监督卷积神经网络训练网络的训练数据集，还是Siamese卷积神经网络的训练数据集两类标签的数量要大致相等。
进一步地，步骤S40，包括：
将所述相似概率信息与相似度阈值进行比较；将大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息；将小于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中未含有气泡区域的内窥镜图像信息。
为了实现内窥镜图像识别的准确性，所述相似度阈值可为70％，还可为其他参数信息，本实施例对此不作限制，在本实施例中，以70％为例进行说明，一幅WCE内镜标记有粗等级气泡区域如果有k个像素，则一共有k个di∈k，记为：{d1,d2,...,dk}，设定像素度阈值τ，τ的值在0到1之间，对于低于τ的di所对应的像素将被标记为非气泡区域记为：
从而完成胶囊内镜图像气泡区域精细等级筛查。
进一步地，所述将大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息，包括：
获取大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息中的气泡区域信息；判断所述气泡区域信息是否大于气泡区域阈值；在所述气泡区域信息大于气泡区域阈值时，则确定大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息。
在本实施例中，通过判断气泡区域面积是否大于指定的面积的阈值，面积阈值可以是整幅WCE图像的百分比，如整幅WCE图像的50％、60％或者70％等，还可为其他参数信息，本实施例对此不作限制，如果大于给定的面积的阈值，则标记为该幅图像为气泡区域图像。如果不大于给定的面积的阈值，则标记为该幅图像为非气泡区域图像。
本实施例通过上述方案，在通过判断气泡区域面积是否大于指定的面积的阈值，从而保证识别出的气泡区域图像为有效的含有气泡区域的内窥镜图像信息，提高内窥镜图像信息识别的准确性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有内窥镜图像识别程序，所述内窥镜图像识别程序被处理器执行时实现如上文所述的终端入网方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图8，本发明实施例还提出一种内窥镜图像识别装置，所述内窥镜图像识别装置包括：
获取模块10，用于获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息。
在具体实现中，通过提取WCE图像块，对一幅WCE图像逐像素提取固定尺寸的图像块，如：7×7像素、30×30像素或者40×40像素等，还可为其他尺寸，本实施例对此不作限制，如果一幅WCE图像是240×240像素，则逐像素提取的图像块为57600幅，从而通过将图像划分为预设尺寸的图像块实现对图像的特征提取，其中，图像特征信息包括气泡区域特征信息，非气泡区域特征信息以及气泡区域边界信息中至少一项，还可包括其他特征信息，本实施例对此不作限制。
预测模块20，用于将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息。
可以理解的是，所述预设气泡区域识别模型为根据卷积神经网络训练得到的，还可为基于其他深度学习网络训练得到的，本实施例对此不作限制，在本实施例中，以基于卷积神经网络为例进行说明。
在本实施例中，将提取到的这些WCE图像块，送入一种训练好的受监督的卷积神经网络进行特征提取，提取能够代表图像块的特征向量，采用的CNN如：Vgg16，Vgg32以及Alexnet等，也可以根据图像块的尺寸，以及CNN模型的使用规则自行搭建，本实施例对此不作限制，受监督的卷积神经网络机制为，CNN网络中间隐藏的卷积层的输出直接链接一个预测函数，如：softmax函数，做分类预测，隐藏层使用与主网络相同的分类标签监督隐藏层的特征提取，从而实现气泡区域的预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息。
需要说明的是，所述参考内窥镜图像信息只是仅是进行初步筛选的含有气泡区域的参考内窥镜图像信息，并不是识别出最终的气泡区域内窥镜图像信息，再进行粗步筛选后再进行二次筛选，从而提高气泡区域图像识别的准确性。
所述获取模块10，还用于获取所述参考内窥镜图像信息中图像之间的相似概率信息。
在本实施例中，在获取粗步筛选后的含有气泡区域的内窥镜图像信息后，通过图像之间的相似概率信息，从而判断含有气泡区域的内窥镜图像信息中是否均为含有气泡区域的内窥镜图像信息。
在具体实现中，在经过第1阶段的逐像素基于图像块的处理，初步的获得了胶囊内镜图片上气泡区域的区域，如图3a所示的第1阶段筛选前的内窥镜图像信息，如图3b所示的第1阶段筛选后的含有气泡区域的内窥镜图像信息，以及如图3c所示的第2阶段筛选后的含有气泡区域的内窥镜图像信息，即目标内窥镜图像信息，在图3b所示中在气泡区域识别的区域中仍然存在被错误分类的像素，因此在第一阶段结果的基础上对气泡区域区域做进一步的细化操作，通过第2阶段获得精确的气泡区域边界，用条件概率来描述，第2阶段细化过程的可以被描述为P(Yi|X)，其中X是第1阶段获得的气泡区域的区域的全部像素点，Yi∈X，是X的子集。P(Yi|X)可以被解释气泡区域粗分类区域的条件下，区域中的像素点是真的气泡区域的概率，最终，提炼过程能被作为一个提炼函数(Refine)描述为：
Refine(X)＝{Yi∈X:P(Yi|X)>τ} 公式(1)
通过公式(1)将气泡区域粗分类区域中的假阳性的像素点排除，即气泡区域粗分类区域中条件概率值较小的像素点，不是气泡区域像素点排除，公式(1)中X为全部粗略等级筛查的全部像素点，也可以是粗略等级筛查的部分像素点，τ是一个条件概率阈值，代表了Yi与X的相似程度，条件概率P(Yi|X)可以能被定义作为一个指数函数：
公式(2)中函数sim是一个相似度度量函数，该函数度量两个胶囊内镜图像像素的领域块的相似程度，公式(2)的值在0到1之间。两个胶囊内镜图像块越相似，其值越接近1，两个胶囊内镜图像块越不相似，其值越接近于0。对于图像相似度的度量，本发明采用基于孪生Siamese的卷积神经网络去度量两个图像块之间的相似程度。
在本实施例中，Siamese网络有两个共享参数的相同结构的网络构建而成。该网络对两个类别分别采用相互斥的损失权重，使得Siamese网络在度量两类数据相似度时具有较强的判别能力，当数据的特征空间相似时，其特征空间的距离相对较小，当数据的特征空间不相似时，其特征空间的距离相对较大，在本实施例中采用两个深度和参数个数相同的卷积神经网络，也可以采用其他的类似结构，卷积神经网络的层数，可以根据自己的应用要求设定，如：3层、4层或者5层等，本实施例对此不作限制。
确定模块30，用于根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别。
在本实施例中，第一阶段采用受监督反馈的卷积神经网络框架，实现一幅胶囊内镜图像中气泡区域的粗等级的筛查，第二阶段是在粗等级筛查的结果上，利用孪生网络完成胶囊内镜图像气泡区域精细等级的假阳性区域排除，如图4所示的整体流程示意图，内窥镜图像的识别过程分为两个阶段，第一阶段为胶囊内窥图像气泡区域粗等级筛查，第二阶段为胶囊内镜图像气泡区域精细等级筛查，具体过程为：输入胶囊内镜图像，然后对每一幅WCE图像，按像素提取固定尺寸的图像块，将提取的每一幅图像块送入受监督的卷积神经网络提取该图像块的特征，通过采用一种分类器对图像块进行分类，并获得WCE图像气泡区域的粗等级筛查，进行粗筛查之后进入第二阶段筛查，对粗等级筛查区域按像素提取固定尺寸的图像块，并逐图像块，合并其他图像块为图像对，并输入到Siamese网络进行相似度判别，从而去除一个与其他图像块都不相似的图像块，达到WCE图像气泡区域精细等级筛查，最后输出一个标记有气泡区域的图像，从而实现更准确的内窥镜图像识别。
本实施例通过上述方案，通过获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息；将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息；获取所述参考内窥镜图像信息中图像之间的相似概率信息；根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别，从而首先通过预设气泡区域识别模型进行初步筛选，得到初步的含有气泡区域的内窥镜图像信息，然后通过相似概率信息进行二次筛选，得到精确的含有气泡区域的内窥镜图像信息，从而提高内窥镜图像识别的准确性。
在一实施例中，所述内窥镜图像装置还包括模型建立模块，所述模型建立模块，用于获取第一历史内窥镜图像信息；
提取所述第一历史内窥镜图像信息中含有气泡区域的图像信息和未含有气泡区域的图像信息；
将所述含有气泡区域的图像信息和未含有气泡区域的图像信息生成训练样本信息；
通过所述训练样本信息基于卷积神经网络模型进行训练，得到预设气泡区域识别模型。
在一实施例中，所述预设气泡区域识别模型包括主干特征提取网络、分支特征提取网络以及隐藏层特征提取网络；
所述预测模块，还用于将所述图像特征信息通过所述主干特征提取网络进行特征提取，得到第一图像信息；
将所述第一图像信息通过分支特征提取网络进行特征提取，得到第二图像信息；
对所述第二图像信息进行分类预测，得到第一含有气泡区域的内窥镜图像信息；
将所述第一图像信息通过隐藏层特征提取网络进行特征提取，得到第三图像信息；
对所述第三图像信息进行分类预测，得到第二含有气泡区域的内窥镜图像信息；
在所述第一含有气泡区域的内窥镜图像信息与所述第二含有气泡区域的内窥镜图像信息一致时，将所述第二含有气泡区域的内窥镜图像信息作为所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息。
在一实施例中，所述获取模块，还用于分别从所述参考内窥镜图像信息中选择预设窥镜图像信息；
将所述预设窥镜图像信息与所述参考内窥镜图像信息中的其他内窥镜图像信息组成成对图像块信息；
将所述成对图像块信息通过孪生网络模型进行计算，得到所述预设窥镜图像信息的相似度信息；
根据所述相似度信息得到相似概率信息。
在一实施例中，所述模型建立模块，还用于获取第二历史内窥镜图像信息；
选择所述第二历史内窥镜图像信息中的第一预设相似度的未含有气泡区域图像信息，组成第一图像对，根据所述第一预设相似度得到第一相似度集；
选择所述第二历史内窥镜图像信息中的第二预设相似度的气泡区域图像信息，组成第二图像对，根据所述第二预设相似度得到第二相似度集；
选择所述第二历史内窥镜图像信息中的第三预设相似度的未含有气泡区域图像信息和气泡区域图像信息，组成第三图像对，根据所述第三预设相似度得到第三相似度集；
根据所述第一图像对、第二图像对、第三图像对、第一相似度集、第二相似度集以及第三相似度集得到孪生网络模型。
在一实施例中，所述确定模块，还用于将所述相似概率信息与相似度阈值进行比较；
将大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息；
将小于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中未含有气泡区域的内窥镜图像信息。
在一实施例中，所述确定模块，还用于获取大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息中的气泡区域信息；
判断所述气泡区域信息是否大于气泡区域阈值；
在所述气泡区域信息大于气泡区域阈值时，则确定大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息。
本发明所述内窥镜图像识别装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种内窥镜图像识别方法，其特征在于，所述内窥镜图像识别方法包括以下步骤：
获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息；
将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息；
获取所述参考内窥镜图像信息中图像之间的相似概率信息；
根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别。
2.如权利要求1所述的内窥镜图像识别方法，其特征在于，所述将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息之前，所述方法还包括：
获取第一历史内窥镜图像信息；
提取所述第一历史内窥镜图像信息中含有气泡区域的图像信息和未含有气泡区域的图像信息；
将所述含有气泡区域的图像信息和未含有气泡区域的图像信息生成训练样本信息；
通过所述训练样本信息基于卷积神经网络模型进行训练，得到预设气泡区域识别模型。
3.如权利要求1所述的内窥镜图像识别方法，其特征在于，所述预设气泡区域识别模型包括主干特征提取网络、分支特征提取网络以及隐藏层特征提取网络；
所述将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息，包括：
将所述图像特征信息通过所述主干特征提取网络进行特征提取，得到第一图像信息；
将所述第一图像信息通过分支特征提取网络进行特征提取，得到第二图像信息；
对所述第二图像信息进行分类预测，得到第一含有气泡区域的内窥镜图像信息；
将所述第一图像信息通过隐藏层特征提取网络进行特征提取，得到第三图像信息；
对所述第三图像信息进行分类预测，得到第二含有气泡区域的内窥镜图像信息；
在所述第一含有气泡区域的内窥镜图像信息与所述第二含有气泡区域的内窥镜图像信息一致时，将所述第二含有气泡区域的内窥镜图像信息作为所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息。
4.如权利要求1至3中任一项所述的内窥镜图像识别方法，其特征在于，所述获取所述参考内窥镜图像信息中图像之间的相似概率信息，包括：
分别从所述参考内窥镜图像信息中选择预设窥镜图像信息；
将所述预设窥镜图像信息与所述参考内窥镜图像信息中的其他内窥镜图像信息组成成对图像块信息；
将所述成对图像块信息通过孪生网络模型进行计算，得到所述预设窥镜图像信息的相似度信息；
根据所述相似度信息得到相似概率信息。
5.如权利要求4所述的内窥镜图像识别方法，其特征在于，所述将所述成对图像块信息通过孪生网络模型进行计算，得到所述预设窥镜图像信息的相似度信息之前，所述方法还包括：
获取第二历史内窥镜图像信息；
选择所述第二历史内窥镜图像信息中的第一预设相似度的未含有气泡区域图像信息，组成第一图像对，根据所述第一预设相似度得到第一相似度集；
选择所述第二历史内窥镜图像信息中的第二预设相似度的气泡区域图像信息，组成第二图像对，根据所述第二预设相似度得到第二相似度集；
选择所述第二历史内窥镜图像信息中的第三预设相似度的未含有气泡区域图像信息和气泡区域图像信息，组成第三图像对，根据所述第三预设相似度得到第三相似度集；
根据所述第一图像对、第二图像对、第三图像对、第一相似度集、第二相似度集以及第三相似度集得到孪生网络模型。
6.如权利要求1至3中任一项所述的内窥镜图像识别方法，其特征在于，所述根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，包括：
将所述相似概率信息与相似度阈值进行比较；
将大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息；
将小于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中未含有气泡区域的内窥镜图像信息。
7.如权利要求6所述的内窥镜图像识别方法，其特征在于，所述将大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息确定为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息，包括：
获取大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息中的气泡区域信息；
判断所述气泡区域信息是否大于气泡区域阈值；
在所述气泡区域信息大于气泡区域阈值时，则确定大于所述相似度阈值的相似概率信息对应的参考内窥镜图像信息为所述目标内窥镜图像信息中含有气泡区域的内窥镜图像信息。
8.一种内窥镜图像识别设备，其特征在于，所述内窥镜图像识别设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行内窥镜图像识别程序，所述内窥镜图像识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的内窥镜图像识别方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有内窥镜图像识别程序，所述内窥镜图像识别程序被处理器执行时实现如权利要求1至7中任一项所述的内窥镜图像识别方法的步骤。
10.一种内窥镜图像识别装置，其特征在于，所述内窥镜图像识别装置包括：
获取模块，用于获取待识别内窥镜图像信息，提取所述待识别内窥镜图像信息中的图像特征信息；
预测模块，用于将所述图像特征信息通过预设气泡区域识别模型进行气泡区域预测，得到所述待识别内窥镜图像信息中含有气泡区域的参考内窥镜图像信息；
所述获取模块，还用于获取所述参考内窥镜图像信息中图像之间的相似概率信息；
确定模块，用于根据所述相似概率信息确定所述参考内窥镜图像信息中的目标内窥镜图像信息，以实现内窥镜图像的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010578050.3A CN111739007B (zh) | 2020-06-22 | 2020-06-22 | 内窥镜图像识别方法、设备、存储介质及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010578050.3A CN111739007B (zh) | 2020-06-22 | 2020-06-22 | 内窥镜图像识别方法、设备、存储介质及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111739007A true CN111739007A (zh) | 2020-10-02 |
| CN111739007B CN111739007B (zh) | 2024-01-26 |
Family
ID=72650605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010578050.3A Active CN111739007B (zh) | 2020-06-22 | 2020-06-22 | 内窥镜图像识别方法、设备、存储介质及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739007B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819051A (zh) * | 2021-01-22 | 2021-05-18 | 中南民族大学 | 胶囊内镜图像相似度评估方法、系统、终端及存储介质 |
| WO2022108464A1 (en) | 2020-11-19 | 2022-05-27 | Digestaid - Artificial Intelligence Development, Lda. | Automatic detection and differentiation of small bowel lesions in capsule endoscopy |
| WO2022108466A1 (en) | 2020-11-19 | 2022-05-27 | Digestaid - Artificial Intelligence Development, Lda. | Automatic detection of erosions and ulcers in crohn's capsule endoscopy |
| WO2022108465A1 (en) | 2020-11-19 | 2022-05-27 | Digestaid - Artificial Intelligence Development, Lda. | Automatic detection of colon lesions and blood in colon capsule endoscopy |
| CN114842000A (zh) * | 2022-07-01 | 2022-08-02 | 杭州同花顺数据开发有限公司 | 一种内窥镜图像质量评估方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| CN110009623A (zh) * | 2019-04-10 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练及图像识别方法、装置及系统 |
| CN110263697A (zh) * | 2019-06-17 | 2019-09-20 | 哈尔滨工业大学（深圳） | 基于无监督学习的行人重识别方法、装置及介质 |
| CN110689025A (zh) * | 2019-09-16 | 2020-01-14 | 腾讯医疗健康(深圳)有限公司 | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 |
| CN110991561A (zh) * | 2019-12-20 | 2020-04-10 | 山东大学齐鲁医院 | 一种下消化道内窥镜图像识别方法及系统 |
| CN111292318A (zh) * | 2020-03-12 | 2020-06-16 | 深圳智信生物医疗科技有限公司 | 内窥镜系统及内窥镜图像识别方法、设备、可存储介质 |
-
2020
- 2020-06-22 CN CN202010578050.3A patent/CN111739007B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| CN110009623A (zh) * | 2019-04-10 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练及图像识别方法、装置及系统 |
| CN110473192A (zh) * | 2019-04-10 | 2019-11-19 | 腾讯医疗健康(深圳)有限公司 | 消化道内镜图像识别模型训练及识别方法、装置及系统 |
| CN110263697A (zh) * | 2019-06-17 | 2019-09-20 | 哈尔滨工业大学（深圳） | 基于无监督学习的行人重识别方法、装置及介质 |
| CN110689025A (zh) * | 2019-09-16 | 2020-01-14 | 腾讯医疗健康(深圳)有限公司 | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 |
| CN110991561A (zh) * | 2019-12-20 | 2020-04-10 | 山东大学齐鲁医院 | 一种下消化道内窥镜图像识别方法及系统 |
| CN111292318A (zh) * | 2020-03-12 | 2020-06-16 | 深圳智信生物医疗科技有限公司 | 内窥镜系统及内窥镜图像识别方法、设备、可存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022108464A1 (en) | 2020-11-19 | 2022-05-27 | Digestaid - Artificial Intelligence Development, Lda. | Automatic detection and differentiation of small bowel lesions in capsule endoscopy |
| WO2022108466A1 (en) | 2020-11-19 | 2022-05-27 | Digestaid - Artificial Intelligence Development, Lda. | Automatic detection of erosions and ulcers in crohn's capsule endoscopy |
| WO2022108465A1 (en) | 2020-11-19 | 2022-05-27 | Digestaid - Artificial Intelligence Development, Lda. | Automatic detection of colon lesions and blood in colon capsule endoscopy |
| CN112819051A (zh) * | 2021-01-22 | 2021-05-18 | 中南民族大学 | 胶囊内镜图像相似度评估方法、系统、终端及存储介质 |
| CN112819051B (zh) * | 2021-01-22 | 2023-09-29 | 中南民族大学 | 胶囊内镜图像相似度评估方法、系统、终端及存储介质 |
| CN114842000A (zh) * | 2022-07-01 | 2022-08-02 | 杭州同花顺数据开发有限公司 | 一种内窥镜图像质量评估方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111739007B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111739007B (zh) | 内窥镜图像识别方法、设备、存储介质及装置 | |
| US10456009B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
| CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
| CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| CN111225611B (zh) | 用于帮助分析目标对象中的伤口的系统和方法 | |
| CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| US20120134556A1 (en) | Image processing device, image processing method, and computer-readable recording device | |
| JP7036401B2 (ja) | 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム | |
| WO2019184851A1 (zh) | 图像处理方法和装置及神经网络模型的训练方法 | |
| CN112580643A (zh) | 一种基于深度学习的车牌识别方法、装置及存储介质 | |
| CN112464690A (zh) | 活体识别方法、装置、电子设备及可读存储介质 | |
| CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
| CN113052142A (zh) | 一种基于多模态数据的静默活体检测方法 | |
| CN110610123A (zh) | 一种多目标车辆检测方法、装置、电子设备及存储介质 | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| Li et al. | Sublingual vein extraction algorithm based on hyperspectral tongue imaging technology | |
| CN111684461B (zh) | 确定图像数据的特征数据的方法、装置、系统及存储介质 | |
| CN116543001B (zh) | 彩色图像边缘检测方法及装置、设备、存储介质 | |
| CN107886060A (zh) | 基于视频的行人自动检测与跟踪方法 | |
| CN116452812A (zh) | 一种伪装物体识别及语义分割方法 | |
| CN113379716B (zh) | 一种色斑预测方法、装置、设备及存储介质 | |
| CN114120008A (zh) | 胶囊内镜图像序列关键帧确定方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |