CN114283192A - 一种基于场景识别的胃镜检查盲区监测方法、系统和应用 - Google Patents

一种基于场景识别的胃镜检查盲区监测方法、系统和应用 Download PDF

Info

Publication number
CN114283192A
CN114283192A CN202111506074.9A CN202111506074A CN114283192A CN 114283192 A CN114283192 A CN 114283192A CN 202111506074 A CN202111506074 A CN 202111506074A CN 114283192 A CN114283192 A CN 114283192A
Authority
CN
China
Prior art keywords
gastroscopy
image
training image
blind area
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111506074.9A
Other languages
English (en)
Inventor
邱祺
胡延兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yinnuo Medical Technology Co ltd
Original Assignee
Xiamen Yinnuo Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yinnuo Medical Technology Co ltd filed Critical Xiamen Yinnuo Medical Technology Co ltd
Priority to CN202111506074.9A priority Critical patent/CN114283192A/zh
Publication of CN114283192A publication Critical patent/CN114283192A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于场景识别的胃镜检查盲区监测方法、系统和应用,包括:获取胃镜检查训练图像并做预处理;训练卷积神经网络;获取实时胃镜检查图片;利用训练好的卷积神经网络获取。本发明利用卷积神经网络对图片具有识别的功能,解决胃镜检查过程中医生难以判断胃镜所在位置的问题,同时,通过局部图像特征聚合,增强图像的结构特征,改善标注模型的识别率,让识别结构更加准确。

Description

一种基于场景识别的胃镜检查盲区监测方法、系统和应用
技术领域
本发明涉及医疗图像的计算机辅助处理技术领域,尤其涉及一种基于场景识别的胃镜检查盲区监测方法。
背景技术
胃镜是一种医学检查方法,也是指这种检查使用的器具,它借助一条纤细、柔软的管子伸入胃中,医生可以直接观察食道、胃和十二指肠的病变,尤其对微小的病变。胃镜检查能直接观察到被检查部位的真实情况,更可通过对可疑病变部位进行病理活检及细胞学检查,以进一步明确诊断,是上消化道病变的首选检查方法。在胃镜检查过程中,内镜检查医师需要通过记忆记录抵达过的区域,难免会造成遗漏,形成检查盲区,而已有的基于图像分类的方法,对于邻近的部位识别准确率较差,往往无法真实的反应出扫查抵达的区域。
发明内容
本发明实施例提供一种基于场景识别的胃镜检查盲区监测方法和应用,第一方面,提出一种基于场景识别的胃镜检查盲区监测方法,包括:
通过胃镜检查视频获取胃镜检查训练图像,并对胃镜检查训练图像进行位置类别的标注。
胃镜检查训练图像预处理,以满足卷积神经网络的使用需求。
训练卷积神经网络,获得标注模型,具体为,将经过预处理的胃镜检查训练图像输入卷积神经网络中训练,训练过程中,进行图像特征提取,并进行局部图像特征聚合,以增强图片的结构特征,改善标注模型的识别率。
获取实时胃镜检查图片,即医生采用胃镜对患者检查时获取实时胃镜检查图片。
通过标注模型判断所述实时胃镜检查图片的所述位置类别并输出。
本发明利用卷积神经网络对图片具有识别的功能,解决胃镜检查过程中医生难以判断胃镜所在位置,或者需要通过记忆让胃镜抵达所需位置时,出现检查遗漏或者检查盲区的问题,同时,结合NetVLAD结构,能够增强图像的结构特征,改善标注模型的识别率,让识别结构更加准确。
进一步的,所述胃镜检查训练图像从胃镜检查的视频获取,按5帧/秒进行抽取。或者所述胃镜检查训练图像为单一的一张胃镜检查图像。
进一步的,将所述位置类别划分为27类,包括26个部位和模糊类别,其中的26个部位是借鉴日本和欧洲的胃镜检查规范。
进一步的,当所述实时胃镜检查图片的位置类别错误或者属于模糊类别时,由使用者进行改正或者给出正确的位置类别,对所述标注模型进行更新,随着实际使用的次数越多,所述标注模型的样本数据也越多,同时,更新次数也越多,所述标注模型的正确率也越高。
进一步的,所述预处理包括将所述胃镜检查训练图像缩放至指定尺寸,并进行归一化。
进一步的,所述预处理还包括去除无效区域,去除模糊区域。
进一步的,进行局部图像特征聚合时采用NetVLAD或Patch-NetVLAD。
进一步的,为了提高样本数据量,对所述胃镜检查训练图像进行扩充,扩充方法包括旋转、平移、操作、对比度增强和亮度改变中的一种或两种以上操作的组合。
第二方面,提出一种基于场景识别的胃镜检查盲区监测系统,包括:
数据采集模块,通过胃镜获取胃镜检查视频,并获取胃镜检查训练图像,并对胃镜检查训练图像进行位置类别的标注。医生在为患者检查时,通过胃镜的实时检查获取实时胃镜检查图片。
数据处理模块,对所述胃镜检查训练图像预处理,并将经过预处理的胃镜检查训练图像输入卷积神经网络中训练,进行图像特征提取,并进行局部图像特征聚合。通过训练后的卷积神经网络判断所述实时胃镜检查图片的位置类别并输出,实现第一方面所述的方法。
第三方面,提出一种基于场景识别的胃镜检查盲区监测设备,包括:存储器、处理器。所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如第一方面所述的基于场景识别的胃镜检查盲区监测方法。
第五方面,发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现第一方面中的基于场景识别的胃镜检查盲区监测方法。
在本发明实施例中,给出了一种基于场景识别的胃镜检查盲区监测方法、系统和应用,具备以下优点:
1、利用卷积神经网络对图片具有识别的功能,解决胃镜检查过程中医生难以判断胃镜所在位置,或者需要通过记忆让胃镜抵达所需位置时,出现检查遗漏或者检查盲区的问题;
2、结合NetVLAD结构,能够增强图像的结构特征,改善标注模型的识别率,让识别结构更加准确;
3、在使用过程中,通过医生实际操作,不断增加样本数据,并修改错误判断,从而提高标注模型的判断准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
其中:
图1是一种基于场景识别的胃镜检查盲区监测方法步骤简图;
图2是卷积神经网的结构图;
图3是NetVALD的步骤简图;
图4是软件应用的实际效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在胃镜检查过程中,内镜检查医师需要通过记忆记录抵达过的区域,难免会造成遗漏,形成检查盲区,而已有的基于图像分类的方法,对于邻近的部位识别准确率较差,往往无法真实的反应出扫查抵达的区域。
针对上述问题,本发明提出一种基于场景识别的胃镜检查盲区监测方法,利用视觉神经网络模型,能够在胃镜检查过程中,根据胃镜获取的图像,直接判断出当前胃镜所在位置,有助于医生加快判断速度,提高检查效率和检查质量。
本发明的方法、系统、设备和介质的实现原理相似,此处不再赘述。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式,要注意的是,本发明提供的实施例仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何系统。
实施例一:
请参阅图1,一种基于场景识别的胃镜检查盲区监测方法,包括:
S10:训练样本采集:通过胃镜检查视频获取胃镜检查训练图像,并对胃镜检查训练图像进行位置类别的标注。
本实施例中,所述胃镜检查训练图像从胃镜检查的视频获取,按5帧/秒进行抽取,或者所述胃镜检查训练图像为单一的一张胃镜检查图像。在其他实施例中,为了提高样本数据量,对所述胃镜检查训练图像进行扩充,扩充方法包括旋转、平移、操作、对比度增强和亮度改变中的一种或两种以上操作的组合。
本实施例中,将所述位置类别划分为27类,包括26个部位和模糊类别,其中的26个部位是借鉴日本和欧洲的胃镜检查规范。
以下是26个部位的相关表格:
Figure BDA0003403222790000051
S20:胃镜检查训练图像预处理,以满足卷积神经网络的使用需求。本实施例中,所述预处理包括将所述胃镜检查训练图像缩放至指定尺寸,并进行归一化。在其他实施例中,所述预处理还包括去除无效区域,去除模糊区域。
S30:训练卷积神经网络,获得标注模型,具体为,将经过预处理的胃镜检查训练图像输入卷积神经网络中训练,训练过程中,进行图像特征提取,并进行局部图像特征聚合,以增强图片的结构特征,改善标注模型的识别率,本实施例中,进行局部图像特征聚合时采用NetVLAD或Patch-NetVLAD。
本实施例中,所述卷积神经网采用mobilenetv2,如图2,包含卷积层、池化层、可分离式卷积层、全连接层、激活层,其中卷积层数量为39-50个卷积层,1-10个全连接层,1个激活层。
NetVALD由传统图像中的VALD推广而来,请参阅图3,使用softmax取代 0-1指示函数,使得NetVALD变得可导。在CNN中具体的实现是由一个卷积层,一个激活层和两个正则化操作顺序组成。实际使用中,设置隐含聚类中心个数为64个。
S40:获取实时胃镜检查图片:医生采用胃镜对患者检查时获取实时胃镜检查图片。
S50:位置类别判断:通过标注模型判断所述实时胃镜检查图片的所述位置类别并输出。
在其他实施例中,当所述实时胃镜检查图片的位置类别错误或者属于模糊类别时,由使用者进行改正或者给出正确的位置类别,对所述标注模型进行更新,随着实际使用的次数越多,所述标注模型的样本数据也越多,同时,更新次数也越多,所述标注模型的正确率也越高。
在具体应用中,可选的,软件仅显示未抵达的区域,如图4,判断结构为倒镜-胃体中上部小弯。
本发明利用卷积神经网络对图片具有识别的功能,解决胃镜检查过程中医生难以判断胃镜所在位置,或者需要通过记忆让胃镜抵达所需位置时,出现检查遗漏或者检查盲区的问题,同时,结合NetVLAD结构,能够增强图像的结构特征,改善标注模型的识别率,让识别结构更加准确。通过实验可以得到,通过引入局部特征聚合方法强化图像的结构特征,将使用卷积神经网络直接分类的平均识别准确率从65.1%提高到73.2%。
实施例二:
一种基于场景识别的胃镜检查盲区监测系统,包括:
数据采集模块,通过胃镜获取胃镜检查视频,并获取胃镜检查训练图像,并对胃镜检查训练图像进行位置类别的标注。医生在为患者检查时,通过胃镜的实时检查获取实时胃镜检查图片。
数据处理模块,对所述胃镜检查训练图像预处理,并将经过预处理的胃镜检查训练图像输入卷积神经网络中训练,进行图像特征提取,并进行局部图像特征聚合。通过训练后的卷积神经网络判断所述实时胃镜检查图片的位置类别并输出,实现实施例一所述的方法。
实施例三:
一种基于场景识别的胃镜检查盲区监测设备,包括:存储器、处理器。所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如实施例一所述的基于场景识别的胃镜检查盲区监测方法。
实施例四:
一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现实施例一中的基于场景识别的胃镜检查盲区监测方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于场景识别的胃镜检查盲区监测方法,其特征在于,包括:
获取胃镜检查训练图像,并对胃镜检查训练图像进行位置类别的标注,
胃镜检查训练图像预处理;
训练卷积神经网络,获得标注模型:将经过预处理的胃镜检查训练图像输入卷积神经网络中进行图像特征提取,并进行局部图像特征聚合;
获取实时胃镜检查图片;
通过标注模型判断所述实时胃镜检查图片的所述位置类别并输出。
2.据权利要求1所述的一种基于场景识别的胃镜检查盲区监测方法,其特征在于,所述胃镜检查训练图像从胃镜检查的视频获取,按5帧/秒进行抽取;或者所述胃镜检查训练图像为单一的一张胃镜检查图像。
3.根据权利要求1或2所述的一种基于场景识别的胃镜检查盲区监测方法,其特征在于,将所述位置类别划分为27类,包括26个部位和模糊类别。
4.根据权利要求3所述的一种基于场景识别的胃镜检查盲区监测方法,其特征在于,当所述实时胃镜检查图片的位置类别错误或者属于模糊类别时,由使用者进行改正或者给出正确的位置类别,对所述标注模型进行更新。
5.根据权利要求1所述的一种基于场景识别的胃镜检查盲区监测方法,其特征在于,所述预处理包括将所述胃镜检查训练图像缩放至指定尺寸,并进行归一化。
6.根据权利要求5所述的一种基于场景识别的胃镜检查盲区监测方法,其特征在于,所述预处理还包括去除无效区域,去除模糊区域。
7.根据权利要求1所述的一种基于场景识别的胃镜检查盲区监测方法,其特征在于,进行局部图像特征聚合时采用NetVLAD或Patch-NetVLAD。
8.根据权利要求1所述的一种基于场景识别的胃镜检查盲区监测方法,其特征在于,对所述胃镜检查训练图像进行扩充,扩充方法包括旋转、平移、操作、对比度增强和亮度改变中的一种或两种以上操作的组合。
9.一种基于场景识别的胃镜检查盲区监测系统,其特征在于,包括:
数据采集模块,通过胃镜获取胃镜检查视频,并获取胃镜检查训练图像,并对胃镜检查训练图像进行位置类别的标注;通过胃镜的实时检查获取实时胃镜检查图片;
数据处理模块,对所述胃镜检查训练图像预处理,并将经过预处理的胃镜检查训练图像输入卷积神经网络中训练,进行图像特征提取,并进行局部图像特征聚合;通过训练后的卷积神经网络判断所述实时胃镜检查图片的位置类别并输出。
10.一种基于场景识别的胃镜检查盲区监测设备,其特征在于,包括:存储器、处理器;所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1到8所述的基于场景识别的胃镜检查盲区监测方法。
CN202111506074.9A 2021-12-10 2021-12-10 一种基于场景识别的胃镜检查盲区监测方法、系统和应用 Pending CN114283192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111506074.9A CN114283192A (zh) 2021-12-10 2021-12-10 一种基于场景识别的胃镜检查盲区监测方法、系统和应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111506074.9A CN114283192A (zh) 2021-12-10 2021-12-10 一种基于场景识别的胃镜检查盲区监测方法、系统和应用

Publications (1)

Publication Number Publication Date
CN114283192A true CN114283192A (zh) 2022-04-05

Family

ID=80871653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111506074.9A Pending CN114283192A (zh) 2021-12-10 2021-12-10 一种基于场景识别的胃镜检查盲区监测方法、系统和应用

Country Status (1)

Country Link
CN (1) CN114283192A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886503A (zh) * 2017-10-27 2018-04-06 重庆金山医疗器械有限公司 一种消化道解剖位置识别方法及装置
CN107967946A (zh) * 2017-12-21 2018-04-27 武汉大学 基于深度学习的胃镜操作实时辅助系统及方法
CN108615037A (zh) * 2018-05-31 2018-10-02 武汉大学人民医院(湖北省人民医院) 基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院(湖北省人民医院) 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院(湖北省人民医院) 一种胃镜图像自动采集系统及方法
CN111128396A (zh) * 2019-12-20 2020-05-08 山东大学齐鲁医院 一种基于深度学习的消化道疾病辅助诊断系统
CN113642430A (zh) * 2021-07-29 2021-11-12 江苏大学 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统
CN113743384A (zh) * 2021-11-05 2021-12-03 广州思德医疗科技有限公司 一种胃部图片识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886503A (zh) * 2017-10-27 2018-04-06 重庆金山医疗器械有限公司 一种消化道解剖位置识别方法及装置
CN107967946A (zh) * 2017-12-21 2018-04-27 武汉大学 基于深度学习的胃镜操作实时辅助系统及方法
CN108615037A (zh) * 2018-05-31 2018-10-02 武汉大学人民医院(湖北省人民医院) 基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院(湖北省人民医院) 一种胃镜图像自动采集系统及方法
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院(湖北省人民医院) 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN111128396A (zh) * 2019-12-20 2020-05-08 山东大学齐鲁医院 一种基于深度学习的消化道疾病辅助诊断系统
CN113642430A (zh) * 2021-07-29 2021-11-12 江苏大学 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统
CN113743384A (zh) * 2021-11-05 2021-12-03 广州思德医疗科技有限公司 一种胃部图片识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PETR GRONAT ET AL: "NetVLAD: CNN architecture for weakly supervised place recognition", 《ARXIV》 *
STEPHEN HAUSLER ET AL: "Patch-NetVLAD: Multi-Scale Fusion of Locally-Global Descriptors for Place Recognition", 《ARXIV》 *

Similar Documents

Publication Publication Date Title
US9672620B2 (en) Reconstruction with object detection for images captured from a capsule camera
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN112614128B (zh) 一种基于机器学习的内镜下辅助活检的系统及方法
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN114399465B (zh) 良恶性溃疡识别方法及系统
CN113888518A (zh) 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法
CN117274270B (zh) 基于人工智能的消化内镜实时辅助系统及方法
CN113610847B (zh) 一种白光模式下胃部标志物评估方法及系统
CN113017702B (zh) 超声内镜小探头伸出长度的识别方法、系统及存储介质
WO2023143014A1 (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
CN111524124A (zh) 炎症性肠病消化内镜影像人工智能辅助系统
CN115564712B (zh) 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法
US20240005494A1 (en) Methods and systems for image quality assessment
CN112801958A (zh) 超声内镜、人工智能辅助鉴别方法、系统、终端、介质
Wang et al. Localizing and identifying intestinal metaplasia based on deep learning in oesophagoscope
CN111798408A (zh) 一种内窥镜干扰图像检测与分级系统及方法
CN114359131A (zh) 幽门螺杆菌胃部视频全自动智能分析系统及其标记方法
CN114693598A (zh) 一种胶囊内镜胃肠道器官图像自动识别方法
CN111047582A (zh) 基于深度学习的小肠镜下克罗恩病辅助诊断系统
CN114283192A (zh) 一种基于场景识别的胃镜检查盲区监测方法、系统和应用
CN114693912B (zh) 具有眼球追踪功能的内镜检查系统、存储介质及设备
CN114581408A (zh) 一种基于yolov5的胃镜息肉检测方法
CN115994999A (zh) 基于边界梯度注意力网络的杯状细胞语义分割方法及系统
CN114332858A (zh) 病灶检测方法及装置、病灶检测模型获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220405