CN117152117A - 一种基于图卷积的胃镜质控检测方法及系统 - Google Patents
一种基于图卷积的胃镜质控检测方法及系统 Download PDFInfo
- Publication number
- CN117152117A CN117152117A CN202311227582.2A CN202311227582A CN117152117A CN 117152117 A CN117152117 A CN 117152117A CN 202311227582 A CN202311227582 A CN 202311227582A CN 117152117 A CN117152117 A CN 117152117A
- Authority
- CN
- China
- Prior art keywords
- label
- gastroscope
- quality control
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 99
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 24
- 210000002784 stomach Anatomy 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000005096 rolling process Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 8
- 238000002575 gastroscopy Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 208000027790 Rib fracture Diseases 0.000 description 1
- 206010039491 Sarcoma Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于图卷积的胃镜质控检测方法及系统,涉及医学图像处理领域。包括获取归一化的图像数据;列举出多个胃镜质控图像标签并标注对应位置,对标注对应位置的标签进行随机初始化向量,得到对应的标签向量;基于标签向量训练图卷积神经网络模型,将模型训练后得到的标签向量保存;将归一化的图像数据和图卷积神经网络训练得到的标签向量融合后,输入至胃镜质控自动识别模型中,提取输入的图像数据特征并进行胃镜质控标签识别,得到每帧图像所对应标签的概率值得分;基于每帧图像所对应标签的概率值得分,输出相应的标签,基于输出标签标注的对应位置,得到相应的胃体部位。本发明提高了胃镜质控识别精度和准确性。
Description
技术领域
本发明属于医学图像处理技术领域,尤其涉及一种基于图卷积的胃镜质控检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
胃镜检查是最常见消化道内镜检查之一,是一项让医生检查上消化道的程序。医生能够通过这个方法细微地观察上消化道,同时也可以除去肉瘤,或取出可疑组织做进一步的化验。
在做胃镜过程中,医师可根据病人情况,对胃体疑似部位重点观察,并将胃体所检测到的部位一一记录,防止在做胃镜检测时,胃体部位漏检发生,同时尽可能将观察到的胃体部位记录相应的观察时间。但是这种方法往往主观性太强,在确定进行检测的胃体部位时不够准确。
随着深度学习的发展,深度学习技术在医学影像领域有了比较广泛的应用,比如在肺结节、肋骨骨折、脑出血等病灶的检出中,并且在实际应用中也发挥着较高的作用。然而,发明人发现,现有的深度学习方法在胃镜检测图像分类中,检测效果不佳,错误识别率极高。
发明内容
为克服上述现有技术的不足,本发明提供了一种基于图卷积的胃镜质控检测方法及系统,提高了胃镜质控识别精度和准确性。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
本发明第一方面提供了一种基于图卷积的胃镜质控检测方法。
一种基于图卷积的胃镜质控检测方法,包括以下步骤:
步骤一:对胃镜检查视频流进行选择性抽帧、预处理,得到归一化的图像数据;
步骤二:列举出多个胃镜质控图像标签并标注对应位置,对标注对应位置的标签进行随机初始化向量,得到对应的标签向量;
步骤三:基于标签向量训练图卷积神经网络模型,将模型训练后得到的标签向量保存;
步骤四:将归一化的图像数据和图卷积神经网络训练得到的标签向量融合后,输入至胃镜质控自动识别模型中,提取输入的图像数据特征并进行胃镜质控标签识别,得到每帧图像所对应标签的概率值得分;
步骤五:基于每帧图像所对应标签的概率值得分,输出相应的标签,基于输出标签标注的对应位置,得到相应的胃体部位。
优选的,所述胃镜质控图像标签包括39个类别,其中包含38个胃镜质控部位标签和一个无效图像标签。
优选的,所述步骤二具体包括:
列举出多个胃镜质控图像标签之间的独立关系,对每一个胃镜质控图像标签标注对应位置;
将标注对应位置的胃镜质控图像标签转换成图卷积所对应的数据格式;
对格式转换后的胃镜质控图像标签随机初始化向量,得到对应的标签向量。
优选的,所述胃镜质控自动识别模型为两阶段模型,其中第一阶段模型为ResNet模型,用来划分胃镜质控中的图像为有效图像或无效图像;第二阶段模型为LSTM自动识别模型,以第一阶段模型输出的有效图像作为输入,进行胃镜质控标签识别。
优选的,所述预处理包括对图像数据的数据增强。
优选的,所述步骤四具体包括:
对归一化的图像数据采用无放回随机采样方式进行多重数据采样,得到采样图像;
将采样图像与图卷积神经网络训练得到的标签向量融合后,输入至胃镜质控自动识别模型中;
由ResNet模型判断采样图像为有效图像或无效图像;
将判断为有效图像的图像数据输入至LSTM自动识别模型中,进行特征提取,得到LSTM自动识别模型的输出结果;
将标签向量与LSTM自动识别模型的输出结果相乘,依次得到每一帧图像对应标签的概率值。
优选的,所述步骤五中,得到每帧图像所对应标签的概率值得分之后,选取最高的概率值所对应的标签即为输出的标签。
本发明第二方面提供了一种基于图卷积的胃镜质控检测系统。
一种基于图卷积的胃镜质控检测系统,包括:
图像获取和预处理模块,被配置为:对胃镜检查视频流进行选择性抽帧、预处理,得到归一化的图像数据;
标签标注模块,被配置为:列举出多个胃镜质控图像标签并标注对应位置,对标注对应位置的标签进行随机初始化向量,得到对应的标签向量;
标签保存模块,被配置为:基于标签向量训练图卷积神经网络模型,将模型训练后得到的标签向量保存;
识别模块,被配置为:将归一化的图像数据和图卷积神经网络训练得到的标签向量融合后,输入至胃镜质控自动识别模型中,提取输入的图像数据特征并进行胃镜质控标签识别,得到每帧图像所对应标签的概率值得分;
位置确定模块,被配置为:基于每帧图像所对应标签的概率值得分,输出相应的标签,基于输出标签标注的对应位置,得到相应的胃体部位。
本发明第三方面提供了计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如本发明第一方面所述的基于图卷积的胃镜质控检测方法中的步骤。
本发明第四方面提供了电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本发明第一方面所述的基于图卷积的胃镜质控检测方法中的步骤。
以上一个或多个技术方案存在以下有益效果:
(1)本发明提供的基于图卷积神经网络胃镜质控自动识别方法,通过对胃镜实时视频流抽帧并进行数据预处理,得到归一化的图像数据,将归一化后的图像数据与胃镜质控标签相量相结合,得到每帧胃镜质控图像的部位标签的相应数量的预测概率结果,提高了识别的精度和准确性。
(2)本发明提供的基于图卷积神经网络识别方法具有处理简单、时效高,效果稳定好,可有效处理各种胃镜检查的实时视频流数据;胃镜质控自动识别模型为两阶段模型,其中第一阶段模型用来筛选掉视频流抽帧得到的无效图像,保留有效图像;第二阶段模型以第一阶段模型的输出作为输入,提取输入的图像数据特征并进行胃镜质控标签识别,有效解决了无效图像对有效图像标签分类的干扰问题,从而得到更精准的胃镜质控识别结果。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图。
图2为胃镜实时视频流处理为胃镜质控识别的图像数据流程图。
图3为胃镜质控自动识别模型结构示意图。
图4为胃镜质控自动识别效果图。
图5为第二个实施例的系统结构图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种基于图卷积的胃镜质控检测方法。
如图1所示,一种基于图卷积的胃镜质控检测方法,包括以下步骤:
步骤一:对胃镜检查视频流进行选择性抽帧、预处理,得到归一化的图像数据;
步骤二:列举出多个胃镜质控图像标签并标注对应位置,对标注对应位置的标签进行随机初始化向量,得到对应的标签向量;
步骤三:根据部位位置信息,利用word2vec模型训练标签变量,将模型训练后得到的标签向量保存;
步骤四:先将归一化的图像数据和图卷积神经网络训练得到的标签向量融合后,再输入至胃镜质控自动识别模型中,提取输入的图像数据特征并进行胃镜质控标签识别,得到每帧图像所对应标签的概率值得分;
步骤五:基于每帧图像所对应标签的概率值得分,输出相应的标签,基于输出标签标注的对应位置,得到相应的胃体部位。
较为具体的,本实施例包括:
获取胃镜检查视频流进行选择性抽帧,并对其进行预处理,得到归一化的图像数据;
列举出胃镜质控标签之间的独立关系,对标注好的胃镜质控图像标签结果建造成图卷积所对应的数据格式;
对标注好的胃镜质控图像标签随机初始化向量,得到对应的标签向量;
训练图卷积神经网络模型,将图卷积神经网络模型训练后得到的标签向量保存;
将胃镜图像归一化处理后的结果作为ResNet模型输入,ResNet模型划分胃镜质控中的图像为有效图像或无效图像,并将有效图像输入至第二阶段模型中;
第二阶段模型为LSTM自动识别模型,以第一阶段模型输出的有效图像作为输入,进行胃镜质控标签识别;
LSTM自动识别模型的输出序列和图卷积神经网络模型训练后得到的标签向量相乘,将所得结果经过线性分类器,得到整个输出序列所对应标签的概率值得分;
基于每帧图像所对应标签的概率值得分,输出每帧图像概率值得分最高的标签,基于输出的标签标注的对应位置,得到相应的胃体部位。
进一步的,所述胃镜质控图像标签包括39个类别,其中包含38个胃镜质控部位标签和一个无效图像标签。
进一步的,所述胃镜质控自动识别模型为两阶段模型,其中第一阶段模型为ResNet模型,用来划分胃镜质控中的图像为有效图像或无效图像;第二阶段模型为LSTM自动识别模型,以第一阶段模型输出的有效图像作为输入,进行胃镜质控标签识别。
只有有效图像才会用于模型训练,首先是利用有效图像自动识别模型得到有效图像,再对有效图像做增强处理,用于模型训练。
对有效图像对的原数据作数据增强处理并进行数据归一化处理,将归一化后得到的图像数据和标签特征向量融合,作为胃镜质控模型的输入,得到胃镜质控标签对应的得分,根据标签阈值,选择高于标签阈值的标签进行输出。
进一步的,所述预处理包括对图像数据的数据增强。
在本实施例中,对视频流中的图像每次抽取300帧,通过图像分类算法,将抽帧所得到的图像分为有效图像和无效图像,保证有效图像的帧数不低于10帧,采用最近10帧有效图像数据作为胃镜质控模型的输入。
在具体实施过程中,将胃镜质控视频流数据转化为图像数据之前,为了保障数据的准确性和避免数据干扰,还去除无关的噪声数据。
如图3所示,所述胃镜质控自动识别模型为ResNet和LSTM组合模型,每种部位对应一个相应的部位得分值;ResNet由基础部分、标签向量训练部分构成,LSTM为标签识别部分:
其中基础部分用于依次对实时胃镜质控实时视频流抽帧得到的全部图像数据进行图像筛选和数据归一化处理;对归一化处理后的图像特征和胃镜质控标签向量进行融合,再经过ResNet和LSTM模型进行分类;根据模型得到的胃镜质控标签概率得分和对应的标签阈值,输出胃镜质控标签。
需要说明的是,有效图像自动识别模型是预先训练完成的,用于筛选有效图像和无效图像。
如图2所示,构建训练该模型的数据集过程包括:
预处理步骤和归一化图像数据生成步骤。
其中,预处理步骤具体包括:
从胃镜质控实时视频流中的提取出图像帧;
对图像帧运用有效图像识别模型进行数据筛选。
实施例二
本实施例公开了一种基于图卷积的胃镜质控检测系统。
如图5所示,一种基于图卷积的胃镜质控检测系统,包括:
图像获取和预处理模块,被配置为:对胃镜检查视频流进行选择性抽帧、预处理,得到归一化的图像数据;
标签标注模块,被配置为:列举出多个胃镜质控图像标签并标注对应位置,对标注对应位置的标签进行随机初始化向量,得到对应的标签向量;
标签保存模块,被配置为:基于标签向量训练图卷积神经网络模型,将模型训练后得到的标签向量保存;
识别模块,被配置为:将归一化的图像数据和图卷积神经网络训练得到的标签向量融合后,输入至胃镜质控自动识别模型中,提取输入的图像数据特征并进行胃镜质控标签识别,得到每帧图像所对应标签的概率值得分;
位置确定模块,被配置为:基于每帧图像所对应标签的概率值得分,输出相应的标签,基于输出标签标注的对应位置,得到相应的胃体部位。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开实施例1所述的基于图卷积的胃镜质控检测方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本公开实施例1所述的基于图卷积的胃镜质控检测方法中的步骤。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应,具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质;还应当被理解为包括任何介质,所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于图卷积的胃镜质控检测方法,其特征在于,包括以下步骤:
步骤一:对胃镜检查视频流进行选择性抽帧、预处理,得到归一化的图像数据;
步骤二:列举出多个胃镜质控图像标签并标注对应位置,对标注对应位置的标签进行随机初始化向量,得到对应的标签向量;
步骤三:基于标签向量训练图卷积神经网络模型,将模型训练后得到的标签向量保存;
步骤四:将归一化的图像数据和图卷积神经网络训练得到的标签向量融合后,输入至胃镜质控自动识别模型中,提取输入的图像数据特征并进行胃镜质控标签识别,得到每帧图像所对应标签的概率值得分;
步骤五:基于每帧图像所对应标签的概率值得分,输出相应的标签,基于输出标签标注的对应位置,得到相应的胃体部位。
2.如权利要求1所述的基于图卷积的胃镜质控检测方法,其特征在于,所述胃镜质控图像标签包括39个类别,其中包含38个胃镜质控部位标签和一个无效图像标签。
3.如权利要求1所述的基于图卷积的胃镜质控检测方法,其特征在于,所述步骤二具体包括:
列举出多个胃镜质控图像标签之间的独立关系,对每一个胃镜质控图像标签标注对应位置;
将标注对应位置的胃镜质控图像标签转换成图卷积所对应的数据格式;
对格式转换后的胃镜质控图像标签随机初始化向量,得到对应的标签向量。
4.如权利要求1所述的基于图卷积的胃镜质控检测方法,其特征在于,所述胃镜质控自动识别模型为两阶段模型,其中第一阶段模型为ResNet模型,用来划分胃镜质控中的图像为有效图像或无效图像;第二阶段模型为LSTM自动识别模型,以第一阶段模型输出的有效图像作为输入,进行胃镜质控标签识别。
5.如权利要求1所述的基于图卷积的胃镜质控检测方法,其特征在于,所述预处理包括对图像数据的数据增强。
6.如权利要求1所述的基于图卷积的胃镜质控检测方法,其特征在于,所述步骤四具体包括:
对归一化的图像数据采用无放回随机采样方式进行多重数据采样,得到采样图像;
将采样图像与图卷积神经网络训练得到的标签向量融合后,输入至胃镜质控自动识别模型中;
由ResNet模型判断采样图像为有效图像或无效图像;
将判断为有效图像的图像数据输入至LSTM自动识别模型中,进行特征提取,得到LSTM自动识别模型的输出结果;
将标签向量与LSTM自动识别模型的输出结果相乘,依次得到每一帧图像对应标签的概率值。
7.如权利要求1所述的基于图卷积的胃镜质控检测方法,其特征在于,所述步骤五中,得到每帧图像所对应标签的概率值得分之后,选取最高的概率值所对应的标签即为输出的标签。
8.一种基于图卷积的胃镜质控检测系统,其特征在于:包括:
图像获取和预处理模块,被配置为:对胃镜检查视频流进行选择性抽帧、预处理,得到归一化的图像数据;
标签标注模块,被配置为:列举出多个胃镜质控图像标签并标注对应位置,对标注对应位置的标签进行随机初始化向量,得到对应的标签向量;
标签保存模块,被配置为:基于标签向量训练图卷积神经网络模型,将模型训练后得到的标签向量保存;
识别模块,被配置为:将归一化的图像数据和图卷积神经网络训练得到的标签向量融合后,输入至胃镜质控自动识别模型中,提取输入的图像数据特征并进行胃镜质控标签识别,得到每帧图像所对应标签的概率值得分;
位置确定模块,被配置为:基于每帧图像所对应标签的概率值得分,输出相应的标签,基于输出标签标注的对应位置,得到相应的胃体部位。
9.计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的基于图卷积的胃镜质控检测方法中的步骤。
10.电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于图卷积的胃镜质控检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311227582.2A CN117152117A (zh) | 2023-09-21 | 2023-09-21 | 一种基于图卷积的胃镜质控检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311227582.2A CN117152117A (zh) | 2023-09-21 | 2023-09-21 | 一种基于图卷积的胃镜质控检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117152117A true CN117152117A (zh) | 2023-12-01 |
Family
ID=88906099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311227582.2A Pending CN117152117A (zh) | 2023-09-21 | 2023-09-21 | 一种基于图卷积的胃镜质控检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117152117A (zh) |
-
2023
- 2023-09-21 CN CN202311227582.2A patent/CN117152117A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110909780B (zh) | 一种图像识别模型训练和图像识别方法、装置及系统 | |
CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
WO2021093448A1 (zh) | 图像处理方法、装置、服务器、医疗图像处理设备及存储介质 | |
CN110020610A (zh) | 基于深度学习的肠镜质量检查控制系统 | |
CN111091559A (zh) | 基于深度学习的小肠镜下淋巴瘤辅助诊断系统 | |
CN114399465B (zh) | 良恶性溃疡识别方法及系统 | |
CN109460717B (zh) | 消化道共聚焦激光显微内镜病变图像识别方法及装置 | |
CN112201343B (zh) | 基于脸部微表情的认知状态识别系统及方法 | |
CN110613417A (zh) | 一种输出上消化内镜操作信息的方法、设备及存储介质 | |
CN113129287A (zh) | 一种针对上消化道内镜影像的病灶自动留图方法 | |
CN111767958A (zh) | 基于随机森林算法的肠镜退镜时间的实时监测方法 | |
CN114332033A (zh) | 基于人工智能的内窥镜图像处理方法、装置、介质及设备 | |
CN112070124A (zh) | 一种基于卷积神经网络的消化内镜视频场景分类方法 | |
CN118154969A (zh) | 基于深度学习和特征融合的胆管癌内镜影像分类方法及系统 | |
Yue et al. | Benchmarking polyp segmentation methods in narrow-band imaging colonoscopy images | |
CN116797889B (zh) | 医学影像识别模型的更新方法、装置和计算机设备 | |
US11361441B2 (en) | Method for determining whether examinee is infected by microoganism and apparatus using the same | |
CN116824275B (zh) | 一种实现智能模型优化的方法、装置和计算机设备 | |
CN113240666A (zh) | 一种医学影像预处理方法、装置、设备及存储介质 | |
CN116665310A (zh) | 基于弱监督学习的抽动障碍识别和分类方法及系统 | |
CN111047582A (zh) | 基于深度学习的小肠镜下克罗恩病辅助诊断系统 | |
CN117152117A (zh) | 一种基于图卷积的胃镜质控检测方法及系统 | |
CN108711200A (zh) | 出勤状态检测方法及装置 | |
CN115239695A (zh) | 一种基于时序图像的肺结节识别系统及方法 | |
CN112991266A (zh) | 用于小样本医疗影像的语义分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |