CN112022066A - 一种基于深度学习的消化道钩虫发现方法及系统 - Google Patents

一种基于深度学习的消化道钩虫发现方法及系统 Download PDF

Info

Publication number
CN112022066A
CN112022066A CN202011023386.XA CN202011023386A CN112022066A CN 112022066 A CN112022066 A CN 112022066A CN 202011023386 A CN202011023386 A CN 202011023386A CN 112022066 A CN112022066 A CN 112022066A
Authority
CN
China
Prior art keywords
hookworm
digestive tract
target image
output result
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011023386.XA
Other languages
English (en)
Inventor
杨国强
万思琦
喻雷
刘帅成
甘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011023386.XA priority Critical patent/CN112022066A/zh
Publication of CN112022066A publication Critical patent/CN112022066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明公开了一种基于深度学习的消化道钩虫发现方法及系统，方法包括以下步骤：S1、得到标注图像；S2、得到训练集；S3、对yolov3模型进行训练；S4、获取目标图像输入训练后的yolov3模型的输出结果；S5、判断输出结果是否为无消化道钩虫，若是则结束当前识别；否则进入步骤S6；S6、获取目标图像前后各N张相邻图像并输入训练后的yolov3模型，得到输出结果集；S7、判断输出结果集中存在消化道钩虫的结果数量是否达到阈值，若是则存在消化道钩虫，并将目标图像中的消化道钩虫圈出；否则不存在消化道钩虫，结束当前识别。本发明解决了现有人工从胶囊内窥镜所拍摄图像中进行消化道钩虫识别费时费力的问题。

Description

一种基于深度学习的消化道钩虫发现方法及系统
技术领域
本发明涉及医学领域，具体涉及一种基于深度学习的消化道钩虫发现方法及系统。
背景技术
胶囊内窥镜是一种胶囊形状内窥镜，具有无痛性和无创性的特点，因而被广泛应用于检查人体消化道的各种疾病。胶囊内窥镜在进入人体后，会以2帧/秒的速度拍摄图像，胶囊内窥镜在进入人体消化道以后，会停留2.5到8小时不等，这期间拍摄的图像多达几万张。医生需要从上万张图像中识别出人体消化道的健康状况，阅片工作的难度非常大，而且非常枯燥，对于阅片医生来说，这是一项挑战巨大的工作。大量的图像对于阅片医生来说存在非常大的工作负担，医生长时间阅片导致疲劳，也会影响最终结果的可靠性。由于医生的个体差异，不同医生对同一个患者也可能会有不同的诊断结果，因此就需要重新去查阅图像，不仅耗时耗力，效率还低。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于深度学习的消化道钩虫发现方法及系统解决了现有人工从胶囊内窥镜所拍摄图像中进行消化道钩虫识别费时费力的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于深度学习的消化道钩虫发现方法，其包括以下步骤：
S1、获取胶囊内窥镜所拍摄的带有消化道钩虫的图像，将消化道钩虫进行标注得到标注图像；
S2、对标注图像进行尺寸统一与归一化，得到训练集；
S3、采用训练集对yolov3模型进行消化道钩虫识别训练，得到训练后的yolov3模型；
S4、将目标图像输入训练后的yolov3模型，得到对应的输出结果；其中输出结果包括有消化道钩虫和无消化道钩虫；
S5、判断目标图像对应的输出结果是否为无消化道钩虫，若是则结束当前识别；否则进入步骤S6；
S6、获取目标图像前后各N张相邻图像，并将所有相邻图像输入训练后的yolov3模型，得到输出结果集；
S7、判断输出结果集中存在消化道钩虫的结果数量是否达到阈值，若是则判定目标图像存在消化道钩虫，并进入S8；否则判定目标图像不存在消化道钩虫，结束当前识别；
S8、采用矩形框将目标图像中的消化道钩虫圈出并输出圈出消化道钩虫的目标图像。
进一步地，步骤S1的具体方法为：
获取胶囊内窥镜所拍摄的消化道所有图像，从消化道所有图像中筛选出带有消化道钩虫的图像，使用labelImg工具标注出带有消化道钩虫的图像中的钩虫目标，将标注好的钩虫数据按照PASCAL VOC数据集格式进行制作，得到标注图像。
进一步地，步骤S2的具体方法为：
将标注图像的尺寸统一为416×416后进行归一化，得到训练集。
进一步地，步骤S6中参数N的值为5。
进一步地，步骤S7中的阈值为5。
提供一种基于深度学习的消化道钩虫发现系统，其包括图像标注模块、训练集获取模块、深度学习训练模块、目标图像初步识别模块、初步识别结果确认模块和输出模块；
图像标注模块，用于获取胶囊内窥镜所拍摄的带有消化道钩虫的图像，并将消化道钩虫进行标注得到标注图像；
训练集获取模块，用于对标注图像进行尺寸统一与归一化，得到训练集；
深度学习训练模块，用于采用训练集对yolov3模型进行消化道钩虫识别训练，得到训练后的yolov3模型；
目标图像初步识别模块，用于将目标图像输入训练后的yolov3模型，得到对应的输出结果；其中输出结果包括有消化道钩虫和无消化道钩虫；
初步识别结果确认模块，用于判断目标图像对应的输出结果是否为无消化道钩虫，若是则结束当前识别；否则进入获取目标图像前后各N张相邻图像，并将所有相邻图像输入训练后的yolov3模型，得到输出结果集；判断输出结果集中存在消化道钩虫的结果数量是否达到阈值，若是则判定目标图像存在消化道钩虫；否则判定目标图像不存在消化道钩虫，结束当前识别；
输出模块，用于采用矩形框将目标图像中的消化道钩虫圈出，并将圈出消化道钩虫的目标图像进行输出。
进一步地，参数N的值为5。
进一步地，阈值为5。
本发明的有益效果为：
1、本发明能根据胶囊内窥镜传回的图像自动高效的识别出是否存在消化道钩虫并且标记出消化道钩虫所处的位置，省去了医生重复且繁杂的阅片工作，医生只需要对本发明识别出的结果进行一次核对即可，从而大幅度的降低了医生的工作量，提高消化道钩虫的识别效率。
2、本发明采用矩形框将目标图像中的消化道钩虫圈出，便于医生的核对，结合医生对本发明的诊断结果再次核查，可以进一步提升诊断的准确率，减少误诊的情况发生。
3、本发明判断每张图片是否存在消化道钩虫的结果非常快，得出每张图片的检测结果只需要0.018s，能达到55帧/秒的速度。
附图说明
图1为本方法的流程示意图；
图2为本发明采用的yolov3模型的基本结构示意图；
图3为本发明的输入输出样例示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1和图2所示，该基于深度学习的消化道钩虫发现方法包括以下步骤：
S1、获取胶囊内窥镜所拍摄的带有消化道钩虫的图像，将消化道钩虫进行标注得到标注图像；
S2、对标注图像进行尺寸统一与归一化，得到训练集；
S3、采用训练集对yolov3模型进行消化道钩虫识别训练，得到训练后的yolov3模型；
S4、将目标图像输入训练后的yolov3模型，得到对应的输出结果；其中输出结果包括有消化道钩虫和无消化道钩虫；
S5、判断目标图像对应的输出结果是否为无消化道钩虫，若是则结束当前识别；否则进入步骤S6；
S6、获取目标图像前后各N张相邻图像，并将所有相邻图像输入训练后的yolov3模型，得到输出结果集；
S7、判断输出结果集中存在消化道钩虫的结果数量是否达到阈值，若是则判定目标图像存在消化道钩虫，并进入S8；否则判定目标图像不存在消化道钩虫，结束当前识别；
S8、采用矩形框将目标图像中的消化道钩虫圈出并输出圈出消化道钩虫的目标图像。
步骤S1的具体方法为：获取胶囊内窥镜所拍摄的消化道所有图像，从消化道所有图像中筛选出带有消化道钩虫的图像，使用labelImg工具标注出带有消化道钩虫的图像中的钩虫目标，将标注好的钩虫数据按照PASCAL VOC数据集格式进行制作，得到标注图像。
步骤S2的具体方法为：将标注图像的尺寸统一为416×416后进行归一化，得到训练集。
该基于深度学习的消化道钩虫发现系统包括图像标注模块、训练集获取模块、深度学习训练模块、目标图像初步识别模块、初步识别结果确认模块和输出模块；
图像标注模块，用于获取胶囊内窥镜所拍摄的带有消化道钩虫的图像，并将消化道钩虫进行标注得到标注图像；
训练集获取模块，用于对标注图像进行尺寸统一与归一化，得到训练集；
深度学习训练模块，用于采用训练集对yolov3模型进行消化道钩虫识别训练，得到训练后的yolov3模型；
目标图像初步识别模块，用于将目标图像输入训练后的yolov3模型，得到对应的输出结果；其中输出结果包括有消化道钩虫和无消化道钩虫；
初步识别结果确认模块，用于判断目标图像对应的输出结果是否为无消化道钩虫，若是则结束当前识别；否则进入获取目标图像前后各N张相邻图像，并将所有相邻图像输入训练后的yolov3模型，得到输出结果集；判断输出结果集中存在消化道钩虫的结果数量是否达到阈值，若是则判定目标图像存在消化道钩虫；否则判定目标图像不存在消化道钩虫，结束当前识别；
如图3所示，输出模块，用于采用矩形框将目标图像中的消化道钩虫圈出，并将圈出消化道钩虫的目标图像进行输出。
在本发明的一个实施例中，本发明在有GPU资源的电脑上面训练yolov3神经网络，生成网络模型。训练集包括5000张标注好的钩虫图像，参数N的值为5，阈值为5。在测试过程中，本发明在310张钩虫图像中只有5张图像出现了漏检的情况，识别准确率高达98.387％。若要进一步降低漏检情况，则可以在保持参数N大小不变的情况下降低阈值，或在保持阈值不变的情况下增大参数N，但是这两种方式都将降低本发明的识别速度，由于识别率已经较高，为了兼顾识别速度，因此参数N的值为5、阈值为5为本发明的一个较佳取值而非唯一值。
综上所述，本发明能根据胶囊内窥镜传回的图像自动高效的识别出是否存在消化道钩虫并且标记出消化道钩虫所处的位置，省去了医生重复且繁杂的阅片工作，医生只需要对本发明识别出的结果进行一次核对即可，从而大幅度的降低了医生的工作量，提高消化道钩虫的识别效率。

Claims (8)

1.一种基于深度学习的消化道钩虫发现方法，其特征在于，包括以下步骤：
S1、获取胶囊内窥镜所拍摄的带有消化道钩虫的图像，将消化道钩虫进行标注得到标注图像；
S2、对标注图像进行尺寸统一与归一化，得到训练集；
S3、采用训练集对yolov3模型进行消化道钩虫识别训练，得到训练后的yolov3模型；
S4、将目标图像输入训练后的yolov3模型，得到对应的输出结果；其中输出结果包括有消化道钩虫和无消化道钩虫；
S5、判断目标图像对应的输出结果是否为无消化道钩虫，若是则结束当前识别；否则进入步骤S6；
S6、获取目标图像前后各N张相邻图像，并将所有相邻图像输入训练后的yolov3模型，得到输出结果集；
S7、判断输出结果集中存在消化道钩虫的结果数量是否达到阈值，若是则判定目标图像存在消化道钩虫，并进入S8；否则判定目标图像不存在消化道钩虫，结束当前识别；
S8、采用矩形框将目标图像中的消化道钩虫圈出并输出圈出消化道钩虫的目标图像。
2.根据权利要求1所述的基于深度学习的消化道钩虫发现方法，其特征在于，所述步骤S1的具体方法为：
获取胶囊内窥镜所拍摄的消化道所有图像，从消化道所有图像中筛选出带有消化道钩虫的图像，使用labelImg工具标注出带有消化道钩虫的图像中的钩虫目标，将标注好的钩虫数据按照PASCAL VOC数据集格式进行制作，得到标注图像。
3.根据权利要求1所述的基于深度学习的消化道钩虫发现方法，其特征在于，所述步骤S2的具体方法为：
将标注图像的尺寸统一为416×416后进行归一化，得到训练集。
4.根据权利要求1所述的基于深度学习的消化道钩虫发现方法，其特征在于，所述步骤S6中参数N的值为5。
5.根据权利要求4所述的基于深度学习的消化道钩虫发现方法，其特征在于，所述步骤S7中的阈值为5。
6.一种基于深度学习的消化道钩虫发现系统，其特征在于，包括图像标注模块、训练集获取模块、深度学习训练模块、目标图像初步识别模块、初步识别结果确认模块和输出模块；
所述图像标注模块，用于获取胶囊内窥镜所拍摄的带有消化道钩虫的图像，并将消化道钩虫进行标注得到标注图像；
所述训练集获取模块，用于对标注图像进行尺寸统一与归一化，得到训练集；
所述深度学习训练模块，用于采用训练集对yolov3模型进行消化道钩虫识别训练，得到训练后的yolov3模型；
所述目标图像初步识别模块，用于将目标图像输入训练后的yolov3模型，得到对应的输出结果；其中输出结果包括有消化道钩虫和无消化道钩虫；
所述初步识别结果确认模块，用于判断目标图像对应的输出结果是否为无消化道钩虫，若是则结束当前识别；否则进入获取目标图像前后各N张相邻图像，并将所有相邻图像输入训练后的yolov3模型，得到输出结果集；判断输出结果集中存在消化道钩虫的结果数量是否达到阈值，若是则判定目标图像存在消化道钩虫；否则判定目标图像不存在消化道钩虫，结束当前识别；
所述输出模块，用于采用矩形框将目标图像中的消化道钩虫圈出，并将圈出消化道钩虫的目标图像进行输出。
7.根据权利要求6所述的基于深度学习的消化道钩虫发现系统，其特征在于，参数N的值为5。
8.根据权利要求7所述的基于深度学习的消化道钩虫发现系统，其特征在于，阈值为5。
CN202011023386.XA 2020-09-25 2020-09-25 一种基于深度学习的消化道钩虫发现方法及系统 Pending CN112022066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011023386.XA CN112022066A (zh) 2020-09-25 2020-09-25 一种基于深度学习的消化道钩虫发现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011023386.XA CN112022066A (zh) 2020-09-25 2020-09-25 一种基于深度学习的消化道钩虫发现方法及系统

Publications (1)

Publication Number Publication Date
CN112022066A true CN112022066A (zh) 2020-12-04

Family

ID=73574395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011023386.XA Pending CN112022066A (zh) 2020-09-25 2020-09-25 一种基于深度学习的消化道钩虫发现方法及系统

Country Status (1)

Country Link
CN (1) CN112022066A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2713879A1 (en) * 2008-02-01 2009-09-11 Alpha-O Peptides Ag Self-assembling peptide nanoparticles useful as vaccines
CN103377479A (zh) * 2012-04-27 2013-10-30 索尼公司 事件检测方法、装置和系统，以及摄像机
CN105701833A (zh) * 2016-02-22 2016-06-22 西南交通大学 消化道胶囊内窥镜视频钩虫图像计算机自动检测方法
CN111047582A (zh) * 2019-12-17 2020-04-21 山东大学齐鲁医院 基于深度学习的小肠镜下克罗恩病辅助诊断系统
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2713879A1 (en) * 2008-02-01 2009-09-11 Alpha-O Peptides Ag Self-assembling peptide nanoparticles useful as vaccines
CN103377479A (zh) * 2012-04-27 2013-10-30 索尼公司 事件检测方法、装置和系统，以及摄像机
CN105701833A (zh) * 2016-02-22 2016-06-22 西南交通大学 消化道胶囊内窥镜视频钩虫图像计算机自动检测方法
CN111047582A (zh) * 2019-12-17 2020-04-21 山东大学齐鲁医院 基于深度学习的小肠镜下克罗恩病辅助诊断系统
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN111161290B (zh) 一种图像分割模型的构建方法、图像分割方法及系统
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
KR20130136519A (ko) 파노라마 엑스선 사진을 이용한 진단 지원 시스템, 및 파노라마 엑스선 사진을 이용한 진단 지원 프로그램
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN111860203B (zh) 基于图像和音频混合的异常猪只识别装置、系统和方法
CN110867233B (zh) 用于生成电子喉镜医学检测报告的系统和方法
CN115082448B (zh) 肠道清洁度评分方法、装置和计算机设备
CN114399465B (zh) 良恶性溃疡识别方法及系统
CN110613417A (zh) 一种输出上消化内镜操作信息的方法、设备及存储介质
CN108511064A (zh) 基于深度学习自动分析人体健康数据的系统
CN110782441A (zh) 一种基于深度学习的dr影像肺结核智能分割与检测方法
CN116797889B (zh) 医学影像识别模型的更新方法、装置和计算机设备
CN112885464A (zh) 一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统
CN112022066A (zh) 一种基于深度学习的消化道钩虫发现方法及系统
CN110110750B (zh) 一种原始图片的分类方法及装置
CN111047582A (zh) 基于深度学习的小肠镜下克罗恩病辅助诊断系统
KR102453580B1 (ko) 내시경 검사 중 병변이 발견된 위치에서의 데이터 입력 방법 및 상기 데이터 입력 방법을 수행하는 컴퓨팅 장치
US20200273173A1 (en) Method for determining whether examinee is infected by microoganism and apparatus using the same
CN113256625A (zh) 一种电子设备和识别装置
CN113902746A (zh) 医学图像中血管导丝提取方法、系统、电子设备及介质
Hsu et al. DeepOPG: Improving Orthopantomogram Finding Summarization with Weak Supervision
CN113796850A (zh) 甲状旁腺mibi图像分析系统、计算机设备及存储介质
CN113379697A (zh) 基于深度学习的彩色图像龋病识别方法
CN109949262B (zh) 图像处理装置及图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201204

RJ01 Rejection of invention patent application after publication