CN112651375A - 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 - Google Patents
基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 Download PDFInfo
- Publication number
- CN112651375A CN112651375A CN202110008228.5A CN202110008228A CN112651375A CN 112651375 A CN112651375 A CN 112651375A CN 202110008228 A CN202110008228 A CN 202110008228A CN 112651375 A CN112651375 A CN 112651375A
- Authority
- CN
- China
- Prior art keywords
- image
- deep learning
- learning model
- module
- helicobacter pylori
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 84
- 210000002784 stomach Anatomy 0.000 title claims abstract description 68
- 241000590002 Helicobacter pylori Species 0.000 title claims abstract description 36
- 229940037467 helicobacter pylori Drugs 0.000 title claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 208000015181 infectious disease Diseases 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 10
- 230000002496 gastric effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 18
- 206010019375 Helicobacter infections Diseases 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 210000002318 cardia Anatomy 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 210000001156 gastric mucosa Anatomy 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000001187 pylorus Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000004300 Atrophic Gastritis Diseases 0.000 description 1
- 206010003694 Atrophy Diseases 0.000 description 1
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 206010015150 Erythema Diseases 0.000 description 1
- 208000007882 Gastritis Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010054949 Metaplasia Diseases 0.000 description 1
- 206010067994 Mucosal atrophy Diseases 0.000 description 1
- 208000007107 Stomach Ulcer Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000016644 chronic atrophic gastritis Diseases 0.000 description 1
- 208000023652 chronic gastritis Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000010643 digestive system disease Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 208000000718 duodenal ulcer Diseases 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000002575 gastroscopy Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000000155 isotopic effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012134 rapid urease test Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统。所述基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，包括图像采集装置和计算主机，所述计算主机包括图像预处理模块、深度学习模型模块，图像采集模块、图像预处理模块和深度学习模型模块按顺序连接；所述图像采集装置用于获取胃部待检测位置的图像数据；所述图像预处理模块用于对图像进行预处理；所述深度学习模型模块用于进行图像的特征提取，然后根据提取的特征对图像进行分类。
Description
技术领域
本发明涉及医学信号与图像处理领域，具体涉及一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统。
背景技术
幽门螺杆菌或幽门螺旋菌，英文名Helicobacterpylori，简称Hp。是革兰氏阴性、微需氧的细菌，生存于胃部及十二指肠的各区域内。Hp感染是最常见的细菌感染之一，目前我国感染率约50％。而它与慢性胃炎，胃及十二指肠溃疡与胃癌等疾病的发病有关。若幽门螺杆菌感染者及时有效的根除杀灭Hp，可快速消除胃粘膜活动性炎症，有效阻滞胃萎缩，对预防和控制胃癌也有重大意义。现有的幽门螺杆菌检测方法可以分为侵袭性和非侵袭性两大类。侵袭性方法主要指必需通过胃镜取活检标本检查的方法，是目前消化病学科的常规方法，包括细菌的分离培养和直接涂片、快速尿素酶试验，药敏试验等方法。非侵袭性方法主要指不通过胃镜取活检标本诊断Hp标本感染的方法，这类方法包括血清学和同位素踪两大类。
消化道内镜医师根据多年的工作经验可根据内窥镜图像判断幽门螺杆菌感染情况。Hp感染者表现为：粘膜萎缩、弥漫性发红、肿胀、皱褶肿大，伴或不伴白色浑浊粘液；Hp阴性者(未感染幽门螺杆菌)表现为：存在规律的集合静脉(RAC)、胃底腺息肉、胃黏膜脊状发红；Hp感染后已经治愈表现为：地图样发红、萎缩、肠上皮化生。三种情况的胃部症状不同，内窥镜采集的图像的表现特征也不同。因此可以根据感染Hp、未感染和感染后已经治愈三种情况下，内窥镜检查时胃内图像表现不同，将胃部内窥镜图像分为感染、感染后已经治愈和未感染三个类别。若仅靠医师判断图像类别，对医师的要求高，且效率低下。
发明内容
本发明的目的在于克服现有技术中所存在的医师人工判断胃部图像所述类别难度大，效率低的不足，提供一种智能高效准确的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，包括图像采集装置和计算主机，所述计算主机包括图像预处理模块、深度学习模型模块，图像采集模块、图像预处理模块和深度学习模型模块按顺序连接；所述图像采集装置用于获取胃部待检测位置的图像数据；所述图像预处理模块用于对图像进行预处理；所述深度学习模型模块用于进行图像的特征提取，然后根据提取的特征对图像进行分类。
优选地，所述深度学习模型模块包括特征提取网络单元和分类网络单元，分类网络单元包括感染分类网络单元；感染分类网络单元用于拼接特征提取网络单元提取的特征向量，并将将图像分为感染、感染后已经治愈和未感染三个类别；
优选地，分类网络单元还包括位置分类网络单元，位置分类网络单元用于拼接特征提取网络单元提取的特征向量，并识别图像所采集的胃部位置。
优选地，所述图像采集装置包括内窥镜和双路脚踏开关；所述计算主机还包括视频流处理模块、脚踏信号接收模块和格式化输出模块；所述双路脚踏开关分别连接内窥镜和脚踏信号接收模块的输入端，内窥镜和脚踏信号接收模块的输出端分别连接视频流处理模块，视频流处理模块经图像预处理模块、深度学习模型模块后与格式化输出模块连接。
优选地，所述计算主机还包括深度学习模型训练模块，深度学习模型训练模块的输入端与图像预处理模块连接，深度学习模型训练模块的输出端与深度学习模型模块连接。
优选地，所述预处理模块用于执行以下操作：图像裁剪、图像缩放、图像标准化和图像归一化。
优选地，所述特征提取网络单元包括去掉顶层的全连接层的ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121之一或组合；
优选地，所述感染分类网络单元和位置分类网络单元均由全连接层、Dropout层和softmax激活函数组成。
优选地，所述深度学习模型训练模块通过以下步骤进行训练：
A1，采集大量图像数据，并将图像数据进行标注以及预处理操作；
A2，将预处理后的图像数据输入到深度学习模型中，调整深度学习模型中的参数，得到训练后的深度学习模型。
与现有技术相比，本发明的有益效果：
1、通过深度学习模型提取内窥镜图像的特征，判断图像的类别，将图像分为感染、感染后已经治愈和未感染三个类别。
2、通过深度学习模型提取内窥镜图像的特征，识别图像所采集的胃部位置，根据识别的胃部位置对图像进行分类，以检测是否存在位置漏检的情况，避免内窥镜检测失误。
附图说明：
图1为本发明示例性实施例1的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统的系统框图；
图2为本发明示例性实施例1的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统的具体的系统框图一；
图3为本发明示例性实施例1的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统的具体的系统框图二；
图4为本发明示例性实施例2的基于深度学习模型的幽门螺杆菌胃部图像识别分类方法的流程图；
图5为本发明示例性实施例2的深度学习模型的结构图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
如图1所示，本实施例提供一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，包括图像采集装置和计算主机，所述计算主机包括图像预处理模块、深度学习模型模块，图像采集模块、图像预处理模块和深度学习模型模块按顺序连接。
其中，深度学习模型模块包括特征提取网络单元和分类网络单元，分类网络单元包括感染分类网络单元和位置分类网络单元。
通过图像采集装置获取胃部待检测位置的图像数据，然后通过图像预处理模块对图像进行预处理，预处理后的图像数据输入到深度学习模型模块中，深度学习模型模块进行图像的特征提取，然后根据提取的特征对图像进行分类，感染分类网络单元用于将图像分为感染、感染后已经治愈和未感染三个类别；位置分类网络单元用于根据提取的特征识别图像所采集的胃部位置。
其中，如图2所示，图像采集装置包括内窥镜和双路脚踏开关；所述计算主机还包括视频流处理模块、脚踏信号接收模块和格式化输出模块；所述双路脚踏开关分别连接内窥镜和脚踏信号接收模块的输入端，内窥镜和脚踏信号接收模块的输出端分别连接视频流处理模块，视频流处理模块经图像预处理模块、深度学习模型模块后与格式化输出模块连接。
所述双路脚踏开关用于启动内窥镜，并向脚踏信号接收模块发送采图信号；所述视频流处理模块用于在接收到脚踏信号接收模块的信号时，截取当前帧内窥镜采集的视频流数据；所述格式化输出模块图像输出检查报告，该报告包括病人是否存在幽门螺杆菌感染、感染部位以及检查过程中漏留图部位等信息。
其中，如图3所示，所述计算主机还包括深度学习模型训练模块，深度学习模型训练模块的输入端与图像预处理模块连接，深度学习模型训练模块的输出端与深度学习模型模块连接。深度学习模型训练模块根据大量内窥镜采集的图像数据对深度学习模型进行训练，调整深度学习模型的参数。
本发明设备通过视频信号线和医院内镜设备相连，并且将医院的单路脚踏开关换为本设备采用的双路脚踏开关，双路脚踏开关分别连接内窥镜设备和计算主机。当内窥镜设备进行幽门螺杆菌手术时，视频流影像和医师每一次的采图信号都会传入计算主机，计算主机经过运算推理后会在手术结束后给出一份检查报告，该报告包含该病人是否存在幽门螺杆菌感染，感染部位以及检查过程中漏留图部位等信息。
实施例2
如图4所示，本实施例提供一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统的工作实例，基于深度学习模型的幽门螺杆菌胃部图像识别分类系统按照以下步骤运行：
S1，获取胃部待检测位置的图像数据，对图像进行预处理；
S2，将预处理后的图像数据输入到已训练的深度学习模型中进行图像的特征提取，深度学习模型根据提取的特征对图像进行分类，将图像分为感染、感染后已经治愈和未感染三个类别。
幽门螺杆菌感染、感染后已经治愈和未感染时，内窥镜采集的胃部图像所提取的特征具有差异。本申请采用基于大量的有标签样本进行学习后的深度学习模型来进行特征提取，并将图像分为感染、感染后已经治愈和未感染三个类别，即识别胃部图像具体属于感染幽门螺杆菌的胃部图像、幽门螺杆菌感染后已经治愈的胃部图像和未感染幽门螺杆菌的胃部图像三种中的哪一种。
其中，获取胃部各位置的图像数据具体包括以下步骤：采集胃部的视频流数据，当接收到采图信号时，截取当前帧的视频流数据，以获得当前时刻胃部各位置的图像数据。本实施例通过内窥镜获得实时的视频流数据，当计算机主机接收到医师通过脚踏开关发送的采图信号，截取当前帧的视频流数据，得到内镜医师的留图，即当前时刻胃部各位置的图像数据。
其中，对图像进行预处理具体包括以下步骤：图像裁剪、图像缩放、图像标准化和图像归一化。图像预处理以提高模型训练精度和泛化能力。本实施中具体过程为：
图像裁剪：对图像的边框进行裁剪，留取组织区域图像。具体的，可采用人工手工裁剪，也可采用现有的感兴趣区域(ROI)提取算法提取出组织区域图像。原始胃肠镜图像其中有用图像区域仅仅是中间有组织区域，周围边框需要裁剪，通过图像裁剪可以减少后续的图像处理时间，增加分类精度。
图像缩放：将待处理的图像缩放至统一尺寸，便于后续深度学习模型进行图像处理。本实施例中，将裁剪后的图像缩放为输入网络中的尺寸511x511。
图像标准化：计算图像缩放后整个胃镜图像数据库的平均图和标准差图，根据平均图与标准差图对每一张输入深度学习模型的图像进行标准化处理。
标准化处理的具体计算方式为：
其中mean为平均图；Xi为图像缩放后第i张图像的数据矩阵，本实施例中是一个大小为(511，511，3)的图像矩阵；N为数据库中图像数量；std为标准差图。
X′j＝(Xj-mean)/std
其中，Xj为图像缩放后第j张图像的数据矩阵，X′j为标准化处理后的第j张图像的数据矩阵。
图像归一化：将标准化处理后的图像X′j的像素值变换到0到1之间。
其中，所述深度学习模型通过以下步骤进行构建：
构建深度学习网络的特征提取网络和分类网络；所述特征提取网络包括去掉顶层的全连接层的ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121之一或组合；所述分类网络包括感染分类网络；感染分类网络由全连接层和Dropout层和softmax激活函数组成；
将特征提取网络提取的特征向量或提取的特征向量拼接后输入感染分类网络。
本实施例中，同时采用ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121提取图像特征。其中ResNet50用于提供基础的卷积特征；InceptionV3用于拼接融合不同尺度的卷积特征，更好地提取特征(Inception采用的不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度卷积特征的融合)；EfficientNetB0和EfficientNetB3虽然网络模型很深但是计算量相对较少，用于在网络中加入注意力机制，提升模型特征表达；DenseNet121用于解决过拟合的问题(当前数据集约图像1万多张图像的小数据集，小数据集的时候容易产生过拟合，而DenseNet由于具有非常好的抗过拟合性能，尤其适合于训练数据相对匮乏的应用)。经过实验验证，组合这几个模型的特征可以更全面提取图像的特征，达到更好的分类效果。
本实施例中特征拼接方式如下所示：例如ResNet50输出的特征向量维度为2048；InceptionV3输出的特征向量维度为2048；EfficientNetB3和EfficientNetB0输出的特征向量维度均为1280；DenseNet121输出的特征向量维度为1024，则提取的特征向量拼接后得到7680维度的特征向量。
本实施例中，分类网络的Dropout层用于防止模型新过拟合；softmax用于多分类的模型的最后一层中，它将多个神经元的输出，映射到(0,1)区间内，相当于对神经网络的输出结果进行了一次换算，将输出结果用概率的形式表现。
其中，基于深度学习模型的胃部图像识别分类方法的步骤S2还包括对图像采集位置进行识别分类；深度学习模型根据提取的特征向量识别图像所采集的胃部位置，根据识别的胃部位置对图像进行分类。
幽门螺杆菌在胃部的生存位置不一定，因此检测是否感染幽门螺杆菌时，需检测胃部的幽门、胃窦、胃角、贲门、胃小弯、胃体大弯上部、胃体大弯中部、胃体大弯下部等8个解剖位置，若8个位置采集的图像均表明未感染幽门螺杆菌则才可判断未感染。若实际检测过程中漏检某一个解剖位置，会导致幽门螺杆菌感染检测结果不准确。本实施例通过对某一次检测的图像组所采集的胃部位置进行判断，可以得到该次检测是否存在漏检的情况，避免检测失误。
此时，构建的深度学习模型中，分类网络还包括位置分类网络；位置分类网络由全连接层和Dropout层和softmax激活函数组成；特征提取网络提取的特征向量或提取的特征向量拼接后输入位置分类网络。
如图5所示，本实施例采用去掉顶层的全连接层的ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121等5个基础网络来提取胃部推向的特征向量；将特征提取网络提取的特征拼接后输入感染分类网络和位置分类网络。感染分类网络将图像分为感染、感染后已经治愈和未感染三个类别(本实施例具体的指感染幽门螺杆菌的胃部图像、幽门螺杆菌感染后已经治愈的胃部图像和未感染幽门螺杆菌的胃部图像)；位置分类网络识别图像所采集的胃部位置，根据识别的胃部位置对图像进行分类。
其中，训练深度学习模型具体包括以下步骤：
A1，采集大量图像数据，并将图像数据进行标注以及预处理操作；
A2，将预处理后的图像数据输入到深度学习模型中，调整深度学习模型中的参数，得到训练后的深度学习模型。
本实施例需要大量内窥镜采集的图像数据进行模型训练，所有的内窥镜数据需要进行人工标注。参与标注人员是由多名多年工作经验的消化道内镜医师进行交叉验证标注。标注数据包括胃的8个解剖位置或幽门螺杆菌感染情况分类；幽门螺杆菌感染分为感染、感染后已经治愈和未感染三个类别；胃的8个解剖位置分别为：幽门、胃窦、胃角、贲门、胃小弯、胃体大弯上部、胃体大弯中部、胃体大弯下部。
其中，训练过程对图像进行预处理具体包括以下步骤：图像裁剪、图像缩放、图像标准化、图像归一化以及数据增广操作；所述数据装操作包括图像亮度或对比度变换，图像缩放变换，图像旋转变换，图像镜像变换以及局部扭曲变换之一或组合。深度学习模型训练时需要大量的图像数据，通过数据增广操作，可以扩大训练的数据，提高训练后深度学习模型的准确度。
本实施例通过深度学习模型提取内窥镜图像的特征，判断图像的类别和图像所采集的胃部位置，将图像分为感染、感染后已经治愈和未感染三个类别，并根据识别的胃部位置，检测是否存在位置漏检的情况，避免内窥镜检测失误。本实施例所述的基于深度学习模型的胃部图像识别分类方法，识别准确率高，在幽门螺杆菌感染识别上敏感性、特异性、准去率表现较好。
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，包括图像采集装置和计算主机，所述计算主机包括图像预处理模块、深度学习模型模块，图像采集模块、图像预处理模块和深度学习模型模块按顺序连接；所述图像采集装置用于获取胃部待检测位置的图像数据；所述图像预处理模块用于对图像进行预处理；所述深度学习模型模块用于进行图像的特征提取，然后根据提取的特征对图像进行分类。
2.根据权利要求1所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述深度学习模型模块包括特征提取网络单元和分类网络单元，分类网络单元包括感染分类网络单元；感染分类网络单元用于拼接特征提取网络单元提取的特征向量，并将将图像分为感染、感染后已经治愈和未感染三个类别。
3.根据权利要求1所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，分类网络单元还包括位置分类网络单元，位置分类网络单元用于拼接特征提取网络单元提取的特征向量，并识别图像所采集的胃部位置。
4.根据权利要求1所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述图像采集装置包括内窥镜和双路脚踏开关；所述计算主机还包括视频流处理模块、脚踏信号接收模块和格式化输出模块；所述双路脚踏开关分别连接内窥镜和脚踏信号接收模块的输入端，内窥镜和脚踏信号接收模块的输出端分别连接视频流处理模块，视频流处理模块经图像预处理模块、深度学习模型模块后与格式化输出模块连接。
5.根据权利要求1所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述计算主机还包括深度学习模型训练模块，深度学习模型训练模块的输入端与图像预处理模块连接，深度学习模型训练模块的输出端与深度学习模型模块连接。
6.根据权利要求2所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述预处理模块用于执行以下操作：图像裁剪、图像缩放、图像标准化和图像归一化。
7.根据权利要求2所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述特征提取网络单元包括去掉顶层的全连接层的ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121之一或组合。
8.根据权利要求2所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述感染分类网络单元和位置分类网络单元均由全连接层、Dropout层和softmax激活函数组成。
9.根据权利要求5所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述深度学习模型训练模块通过以下步骤进行训练：
A1，采集大量图像数据，并将图像数据进行标注以及预处理操作；
A2，将预处理后的图像数据输入到深度学习模型中，调整深度学习模型中的参数，得到训练后的深度学习模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110008228.5A CN112651375A (zh) | 2021-01-05 | 2021-01-05 | 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110008228.5A CN112651375A (zh) | 2021-01-05 | 2021-01-05 | 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651375A true CN112651375A (zh) | 2021-04-13 |
Family
ID=75367280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110008228.5A Pending CN112651375A (zh) | 2021-01-05 | 2021-01-05 | 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651375A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610847A (zh) * | 2021-10-08 | 2021-11-05 | 武汉楚精灵医疗科技有限公司 | 一种白光模式下胃部标志物评估方法及系统 |
| CN113989284A (zh) * | 2021-12-29 | 2022-01-28 | 广州思德医疗科技有限公司 | 一种幽门螺杆菌辅助检测系统及检测装置 |
| WO2024004850A1 (ja) * | 2022-06-28 | 2024-01-04 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、画像処理方法及び情報記憶媒体 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103784105A (zh) * | 2014-02-26 | 2014-05-14 | 周文光 | 一种便携式内窥镜视频系统 |
| JP2018126240A (ja) * | 2017-02-07 | 2018-08-16 | 学校法人同志社 | Ｌｃｉ画像に基づきピロリ菌感染の有無を判定する方法および装置 |
| US20180247107A1 (en) * | 2015-09-30 | 2018-08-30 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
| CN108852268A (zh) * | 2018-04-23 | 2018-11-23 | 浙江大学 | 一种消化内镜图像异常特征实时标记系统及方法 |
| CN109003659A (zh) * | 2017-06-07 | 2018-12-14 | 万香波 | 胃幽门螺旋杆菌感染病理诊断支持系统和方法 |
| CN109544526A (zh) * | 2018-11-15 | 2019-03-29 | 首都医科大学附属北京友谊医院 | 一种慢性萎缩性胃炎图像识别系统、装置和方法 |
| CN110991402A (zh) * | 2019-12-19 | 2020-04-10 | 湘潭大学 | 一种基于深度学习的皮肤病分类装置及分类方法 |
| CN111887789A (zh) * | 2020-08-05 | 2020-11-06 | 深圳市医创生物科技有限公司 | 一次性内窥镜及控制系统 |
-
2021
- 2021-01-05 CN CN202110008228.5A patent/CN112651375A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103784105A (zh) * | 2014-02-26 | 2014-05-14 | 周文光 | 一种便携式内窥镜视频系统 |
| US20180247107A1 (en) * | 2015-09-30 | 2018-08-30 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
| JP2018126240A (ja) * | 2017-02-07 | 2018-08-16 | 学校法人同志社 | Ｌｃｉ画像に基づきピロリ菌感染の有無を判定する方法および装置 |
| CN109003659A (zh) * | 2017-06-07 | 2018-12-14 | 万香波 | 胃幽门螺旋杆菌感染病理诊断支持系统和方法 |
| CN108852268A (zh) * | 2018-04-23 | 2018-11-23 | 浙江大学 | 一种消化内镜图像异常特征实时标记系统及方法 |
| CN109544526A (zh) * | 2018-11-15 | 2019-03-29 | 首都医科大学附属北京友谊医院 | 一种慢性萎缩性胃炎图像识别系统、装置和方法 |
| CN110991402A (zh) * | 2019-12-19 | 2020-04-10 | 湘潭大学 | 一种基于深度学习的皮肤病分类装置及分类方法 |
| CN111887789A (zh) * | 2020-08-05 | 2020-11-06 | 深圳市医创生物科技有限公司 | 一次性内窥镜及控制系统 |
Non-Patent Citations (3)
| Title |
|---|
| SATOKI SHICHIJO等: "Application of convolutional neural networks for evaluating Helicobacter pylori infection status on the basis of endoscopic images", 《SCANDINAVIAN JOURNAL OF GASTROENTEROLOGY》, pages 1 - 6 * |
| SATOKI SHICHIJO等: "Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images", 《EBIOMEDICINE》, pages 106 - 111 * |
| YU-WEN LIN等: "Helicobacter Pylori Classification Based on Deep Neural Network", 《2019 16TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE (AVSS)》, pages 1 - 5 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610847A (zh) * | 2021-10-08 | 2021-11-05 | 武汉楚精灵医疗科技有限公司 | 一种白光模式下胃部标志物评估方法及系统 |
| CN113610847B (zh) * | 2021-10-08 | 2022-01-04 | 武汉楚精灵医疗科技有限公司 | 一种白光模式下胃部标志物评估方法及系统 |
| CN113989284A (zh) * | 2021-12-29 | 2022-01-28 | 广州思德医疗科技有限公司 | 一种幽门螺杆菌辅助检测系统及检测装置 |
| WO2024004850A1 (ja) * | 2022-06-28 | 2024-01-04 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、画像処理方法及び情報記憶媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112651375A (zh) | 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 | |
| KR102210806B1 (ko) | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 | |
| JP7017198B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| CN111655116A (zh) | 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序 | |
| TW202006742A (zh) | 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體 | |
| WO2020071678A2 (ko) | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 | |
| WO2021147429A9 (zh) | 内窥镜图像展示方法、装置、计算机设备及存储介质 | |
| CN114399465B (zh) | 良恶性溃疡识别方法及系统 | |
| CN115082747B (zh) | 基于组块对抗的零样本胃溃疡分类系统 | |
| WO2005039411A1 (en) | Real-time abnormality detection for in vivo images | |
| CN114782760B (zh) | 一种基于多任务学习的胃部疾病图片分类系统 | |
| CN111179252B (zh) | 基于云平台的消化道病灶辅助识别与正反馈系统 | |
| Molder et al. | Current evidence on computer-aided diagnosis of celiac disease: Systematic review | |
| CN113610847B (zh) | 一种白光模式下胃部标志物评估方法及系统 | |
| CN113989284B (zh) | 一种幽门螺杆菌辅助检测系统及检测装置 | |
| CN111340094A (zh) | 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法 | |
| CN115115897B (zh) | 多模态预训练的胃部肿瘤分类系统 | |
| CN112085742B (zh) | 一种基于上下文注意力的nafld超声视频诊断方法 | |
| CN111839445A (zh) | 一种基于图像识别的结肠镜手术中窄带成像检测方法 | |
| CN113222957A (zh) | 一种基于胶囊镜图像的多类别病灶高速检测方法及系统 | |
| CN113284136A (zh) | 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法 | |
| CN115082448A (zh) | 肠道清洁度评分方法、装置和计算机设备 | |
| Bejakovic et al. | Analysis of Crohn's disease lesions in capsule endoscopy images | |
| Tian et al. | Graded diagnosis of Helicobacter pylori infection using hyperspectral images of gastric juice | |
| CN114359131A (zh) | 幽门螺杆菌胃部视频全自动智能分析系统及其标记方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |