CN110613417A - 一种输出上消化内镜操作信息的方法、设备及存储介质 - Google Patents

一种输出上消化内镜操作信息的方法、设备及存储介质 Download PDF

Info

Publication number
CN110613417A
CN110613417A CN201910905983.6A CN201910905983A CN110613417A CN 110613417 A CN110613417 A CN 110613417A CN 201910905983 A CN201910905983 A CN 201910905983A CN 110613417 A CN110613417 A CN 110613417A
Authority
CN
China
Prior art keywords
image
endoscope
current
outputting
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910905983.6A
Other languages
English (en)
Inventor
王实
谌明
金朝汇
侯海洋
吕美超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tonghuashun Intelligent Technology Co Ltd
Original Assignee
Zhejiang Tonghuashun Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Tonghuashun Intelligent Technology Co Ltd filed Critical Zhejiang Tonghuashun Intelligent Technology Co Ltd
Priority to CN201910905983.6A priority Critical patent/CN110613417A/zh
Publication of CN110613417A publication Critical patent/CN110613417A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种输出上消化内镜操作信息的方法,包括:获取原始图像,判断原始图像是否为有效图像;若是,则对有效图像进行预处理得到内镜图像;其中,预处理包括裁剪处理、旋转处理和滤波处理;利用部位识别模型对内镜图像进行识别,确定内镜图像对应的当前部位,并获取当前部位对应的部位名称和当前部位置信度;输出内镜图像、部位名称和当前部位置信度;该方法利用部位识别模型对内镜图像进行识别以获取并输出当前部位名称等信息,为医生在进行上消化道检查时提供参考,解决了医生在上消化道检查时容易漏检某些部位的问题。此外,本发明还提供了一种输出上消化内镜操作信息的设备、装置及计算机可读存储介质,同样具有上述有益效果。

Description

一种输出上消化内镜操作信息的方法、设备及存储介质
技术领域
本发明涉及医疗器械领域,特别涉及一种输出上消化内镜操作信息的方法、输出上消化内镜操作信息的装置、输出上消化内镜操作信息的设备及计算机可读存储介质。
背景技术
由于早期胃癌临床表现不明显,上消化道检查为发现胃癌的最佳途径。进行上消化道检查时不仅需要医生具备丰富的经验以发现病灶,同时还需要医生在进行检查时规范操作,检查全面。由于上消化道检查部位众多,时间较长,且需要按照规定操作上消化内镜以完成检查,因此在检查过程中很容易出现某些部位漏检或不符合规定的情况,造成检查失误。
因此,如何解决医生在上消化道检查时容易漏检某些部位的问题,是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种输出上消化内镜操作信息的装置、方法、设备及计算机可读存储介质,解决了医生在上消化道检查时容易漏检某些部位的问题。
为解决上述技术问题,本发明提供了一种输出上消化内镜操作信息的方法,包括:
获取原始图像,判断所述原始图像是否为有效图像;
若是,则对所述有效图像进行预处理得到内镜图像;其中,所述预处理包括裁剪处理、旋转处理和滤波处理;
利用部位识别模型对所述内镜图像进行识别,确定所述内镜图像对应的当前部位,并获取所述当前部位对应的部位名称和当前部位置信度;
输出所述内镜图像、所述部位名称和所述当前部位置信度。
可选的,在所述获取原始图像之后,在判断所述原始图像是否为有效图像之前,还包括:
利用OCR识别模型对所述原始图像进行识别,得到镜头型号信息;
判断所述镜头型号信息是否为上消化内镜信息;
若是,则执行判断所述原始图像是否为有效图像的操作。
可选的,对所述有效图像进行预处理得到内镜图像,包括:
对所述原始图像进行有效区域裁剪处理,得到被裁剪图像;
对所述被裁剪图像进行随机角度旋转处理,并对旋转后的所述被裁剪图像进行滤波和仿真放大处理,得到所述内镜图像。
可选的,在对所述有效图像进行预处理得到内镜图像之后,还包括:
判断所述内镜图像是否满足典型图条件;
若是,则将所述内镜图像确定为所述当前部位对应的部位典型图。
可选的,所述部位识别模型的训练过程,包括:
获取多张各个部位的训练图像,并利用标签信息对所述训练图像进行标记,得到标记图像;
将所述标记图像输入CNN-LSTM深度学习网络中进行训练,直至识别准确率达到预设准确率阈值,得到所述部位识别模型。
可选的,将所述标记图像输入CNN-LSTM深度学习网络中进行训练,直至识别准确率达到预设准确率阈值,得到所述部位识别模型,包括:
将所述标记图像输入CNN-LSTM深度学习网络中进行训练;
对所述CNN-LSTM深度学习网络进行梯度弥散控制、梯度爆炸控制和过拟合控制,直至所述识别准确率达到所述预设准确率阈值,得到所述部位识别模型。
可选的,所述利用部位识别模型对所述内镜图像进行识别,确定所述内镜图像对应的当前部位,并获取所述当前部位对应的部位名称和当前部位置信度,包括:
利用所述部位识别模型对所述内镜图像进行识别,得到当前识别结果;
获取所述部位识别模型对历史内镜图像进行识别得到的历史识别结果,利用所述历史识别结果和所述当前识别结果确定所述当前部位;
利用所述当前部位获取对应的所述部位名称和所述当前部位置信度。
可选的,在输出所述内镜图像、所述部位名称和所述当前部位置信度之后,还包括:
获取所述当前部位对应的历史部位置信度;
输出所述当前部位对应的所述部位典型图和所述历史部位置信度。
可选的,还包括:
利用所述部位名称按照预设检查顺序获取后续部位信息,并输出所述后续部位信息。
本发明还提供了一种输出上消化内镜操作信息的设备,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现上述的输出上消化内镜操作信息的方法。
本发明还提供了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现上述的输出上消化内镜操作信息的方法。
本发明还提供了一种输出上消化内镜操作信息的装置,包括:
有效图像判断模块,用于获取原始图像,判断所述原始图像是否为有效图像;
预处理模块,用于在确定所述原始图像为有效图像后,则对所述有效图像进行预处理得到内镜图像;其中,所述预处理包括裁剪处理、旋转处理和滤波处理;
名称与置信度获取模块,用于利用部位识别模型对所述内镜图像进行识别,确定所述内镜图像对应的当前部位,并获取所述当前部位对应的部位名称和当前部位置信度;
输出模块,用于输出所述内镜图像、所述部位名称和所述当前部位置信度。
本发明提供的输出上消化内镜操作信息的方法,获取原始图像,判断原始图像是否为有效图像。若是,则对有效图像进行预处理得到内镜图像;其中,预处理包括裁剪处理、旋转处理和滤波处理。利用部位识别模型对内镜图像进行识别,确定内镜图像对应的当前部位,并获取当前部位对应的部位名称和当前部位置信度。输出内镜图像、部位名称和当前部位置信度。
可见,该方法通过对有效图像进行预处理得到内镜图像,利用部位识别模型对内镜图像进行识别以确定对应的当前部位,并获取当前部位名称等信息,同时在检查过程中输出内镜图像、部位名称和当前部位置信度,为医生提供参考。该方法可以为医生在进行上消化道检查时为医生提供参考,帮助医生确定当前检查部位,解决了医生在上消化道检查时容易漏检某些部位的问题。
此外,本发明还提供了一种输出上消化内镜操作信息的设备、输出上消化内镜操作信息的装置及计算机可读存储介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种输出上消化内镜操作信息的方法流程图;
图2为本发明实施例提供的另一种输出上消化内镜操作信息的方法流程图;
图3为本发明实施例提供的另一种输出上消化内镜操作信息的方法流程图;
图4为本发明实施例提供的一种输出上消化内镜操作信息的设备结构示意图;
图5为本发明实施例提供的一种输出上消化内镜操作信息的装置结构示意图;
图6为本发明实施例提供的另一种输出上消化内镜操作信息的装置结构示意图;
图7为本发明实施例提供的一种预设检查顺序图;
图8为本发明实施例提供的一种原始图像;
图9为本发明实施例提供的另一种原始图像;
图10为本发明实施例提供的一种有效图像;
图11为本发明实施例提供的一种输出上消化内镜操作信息的效果图;
图12为本发明实施例提供的另一种输出上消化内镜操作信息的效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明实施例提供的一种输出上消化内镜操作信息的方法流程图,包括:
S101:获取原始图像,判断原始图像是否为有效图像。
原始图像为未经过任何处理的镜头图像,具体请参考图8和图9,图8为本发明实施例提供的一种原始图像,图9为本发明实施例提供的另一种原始图像。有效图像为清晰明亮的,满足预设标准的图像,预设标准与判断原始图像是否为有效图像的判断标准相关,其数量可以为一条或多条。具体请参考图10,图10为本发明实施例提供的一种有效图像。判断原始图像是否为有效图像的判断标准本实施例不做限定,例如当原始图像的有效区域中像素值低于预设像素值的像素数量小于预设数量值时,该原始图像为有效图像;或者当原始图像的有效区域连续的像素值相同的像素数量大于预设数量值时,该原始图像为无效图像。判断标准可以有多条,以提高内镜图像的质量,判断标准的具体内容,即预设标准的具体内容可以根据实际情况进行设定。
进一步,由于上消化道内镜检查所使用的检查设备和肠镜检查所使用的检查设备仅仅镜头不同,因此目前大部分医院均采用一套设备进行上消化道内镜检查和肠镜检查,在进行上消化内镜检查时使用上消化道镜头,在进行肠镜检查时再换上肠镜镜头。为了避免在进行肠镜检查时也对肠镜图像进行处理等操作,浪费处理器的计算资源,本实施例优选的,在获取原始图像之后,在判断原始图像是否为有效图像之前,利用OCR识别模型对原始图像进行识别,得到镜头型号信息,即利用OCR识别模型对原始图像左侧的信息部分进行识别,得到镜头型号信息。OCR识别模型用于对原始图像进行识别,以便得到镜头型号信息,其采用Chinese-OCR框架,backbone采用Densenet网络。镜头型号信息可以为镜头型号代码;或者可以为镜头编号;或者可以为特殊的,能够表征镜头型号的特殊信息。在获取镜头型号信息后,判断该镜头型号信息是否为上消化内镜信息,即判断当前正在使用的镜头是否为上消化道内镜。若是,则执行判断原始图像是否为有效图像的操作;若不是,则不执行后续步骤。
进一步,本实施例并不限定上述判断原始图像是否为上消化内镜图像和判断原始图像是否为有效图像两个判断过程的执行顺序,例如可以先判断原始图像是否为有效图像,再判断原始图像是否为上消化内镜图像;或者可以先判断原始图像是否为上消化内镜图像,再判断原始图像是否为有效图像。只要每一张原始图像均进行过两次判断即可。
S102:对有效图像进行预处理得到内镜图像;其中,预处理包括裁剪处理、旋转处理和滤波处理。
对有效图像进行裁剪、旋转和滤波处理,即可得到内镜图像。具体的,对有效图像进行有效区域裁剪处理,得到被裁剪图像。即将有效图像左侧的信息部分裁剪删除,保留右侧的有效区域,该有效区域即为被裁剪图像。再对被裁剪图像进行随机角度旋转处理,具体为对被裁剪图像进行N*90度随机旋转,并对旋转后的被裁剪图像进行滤波和仿真放大方法处理,具体的滤波方法可以为中值滤波,当然也可以选用其他滤波方法;仿真放大方法的具体内容本实施例也不做限定。在经过预处理后,得到内镜图像。
S103:利用部位识别模型对内镜图像进行识别,确定内镜图像对应的当前部位,并获取当前部位对应的部位名称和当前部位置信度。
部位识别模型为对内镜图像进行识别的图像,其具体形式和内容本实施例不做限定。优选的,部位识别模型采用CNN-LSTM模型,该模型CNN部分基于InceptionV4框架。利用部位识别模型对内镜图像进行识别,得到该内镜图像对应的当前部位,并获取当前部位对应的部位名称和当前部位置信度。当前部位置信度为识别该内镜图像得到当前部位这一结果的置信度。
为了提高识别准确率,本实施例优选的,利用部位识别模型对内镜图像进行识别,得到当前识别结果。在得到当前识别结果后,获取部位识别模型对历史内镜图像进行识别得到的历史识别结果,利用历史识别结果和当前识别结果确定当前部位。具体的,历史内镜图像为本次检查中当前内镜图像之前的几张内镜图像,例如可以选取当前内镜图像之前六张图像作为内镜图像。历史识别结果即为当前识别结果之前的六个识别结果。利用历史识别结果和当前识别结果确定当前部位,具体过程本实施例不做限定,例如可以判断历史识别结果中与当前识别结果相同的数量是否超过半数,若是,则当前部位即为当前识别结果对应的部位。
进一步,还可以判断内镜图像是否满足典型图条件,典型图条件的具体内容本实施例不做限定。若内镜图像满足典型图条件,可以将该内镜图像确定为当前部位对应的部位典型图,以便在后续输出,为医生提供参考。
S104:输出内镜图像、部位名称和当前部位置信度。
在获取当前部位的部位名称和当前部位置信度后,将内镜图像、部位名称和当前部位置信度输出,为医生提供参考。
进一步,还可以获取并输出当前部位的历史部位置信度以及部位典型图,进一步为医生提供检查参考。同时,利用部位名称按照预设检查顺序获取后续部位信息,并将后续部位信息输出,进一步防止造成漏检。预设检查循序及序号图可以参考图7,图7为本发明实施例提供的一种预设检查顺序图。同时,可以获取并输出当前部位对应的镜头位置示意图,帮助医生确定镜头位置,提醒其防止漏检。具体请参考图11和图12,图11为本发明实施例提供的一种输出上消化内镜操作信息的效果图;图12为本发明实施例提供的另一种输出上消化内镜操作信息的效果图。
进一步,在检查结束后,可以根据各个部位对应的当前部位置信度、典型部位图和部位名称生成并输出操作信息,以便在检查结束后了解本次检查是否存在漏检。
应用本发明提供的输出上消化内镜操作信息的方法,通过对有效图像进行预处理得到内镜图像,利用部位识别模型对内镜图像进行识别以确定对应的当前部位,并获取当前部位名称等信息,同时在检查过程中输出内镜图像、部位名称和当前部位置信度,为医生提供参考。该方法可以为医生在进行上消化道检查时为医生提供参考,解决了医生在上消化道检查时容易漏检某些部位的问题。
在一种具体的实施方式中,需要在利用部位识别模型对内镜图像进行识别前,进行部位识别模型的训练。本发明实施例将具体说明部位识别模型的训练过程,请参考图2,图2为本发明实施例提供的另一种输出上消化内镜操作信息的方法流程图,包括:
S201:获取多张各个部位的训练图像,并利用标签信息对训练图像进行标记,得到标记图像。
训练图像为各个部位的图像,每个部位均有多张训练图像。标签信息即为表示每张训练图像对应的部位的信息,利用标签信息对训练图像进行标记可得到标记图像。
S202:将标记图像输入CNN-LSTM深度学习网络中进行训练,直至识别准确率达到预设准确率阈值,得到部位识别模型。
本实施例中,部位识别模型的结构为CNN-LSTM深度学习网络模型。需要说明的是,部位识别模型的结构也可以为其他结构,对具体结构本实施例不做限定。将标记图像输入CNN-LSTM深度学习网络模型中进行训练,直至识别准确率达到预设准确率阈值,即可得到部位识别模型。预设准确率阈值可以为90%,或者可以为95%或99%,对于具体数值本实施例不做限定。
进一步,为了提高训练速度和质量,本实施例优选的,在训练过程中对CNN-LSTM深度学习网络进行梯度弥散控制、梯度爆炸控制和过拟合控制,具体的,使用Pre-trained模型做fine-tunning,采用Batch Normalization和LeakReLU等方法防止训练过程中出现梯度弥散和梯度爆炸的情况,还采用了L2 Regularization和Dropout等方法防止训练过程中出现过拟合的情况。
利用上述方法,可以对部位识别模型进行高效训练,以便对内镜图像进行识别。
在实际应用中,还可以参考图3,图3为本发明实施例提供的另一种输出上消化内镜操作信息的方法流程图。具体的,利用图像采集卡采集原始图像后对原始图像进行内窥镜场景甄别,即判断原始图像中镜头型号信息是否为上消化内镜信息。在确定镜头型号信息为上消化内镜信息后,对其进行有效图像序列获取,即判断原始图像是否为有效图像,当确定原始图像为欧晓图像后进行图像序列预处理。与此同时,获取图像/视频数据集并将图像/视频数据集输入模型训练模块对部位识别模型进行训练,图像序列经过预处理后输入部位识别模块进行识别,并进行部位指引实时显示,并在检查后生成图文报告。
下面对本发明实施例提供的输出上消化内镜操作信息的设备进行介绍,下文描述的输出上消化内镜操作信息的设备与上文描述的输出上消化内镜操作信息的方法可相互对应参照。
请参考图4,图4为本发明实施例所提供的一种输出上消化内镜操作信息的设备的结构示意图,该输出上消化内镜操作信息的设备包括存储器和处理器,其中:
存储器10,用于存储计算机程序;
处理器20,用于执行计算机程序,以实现上述的输出上消化内镜操作信息的方法。
下面对本发明实施例提供的计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的输出上消化内镜操作信息的方法可相互对应参照。
本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述的输出上消化内镜操作信息的方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
下面对本发明实施例提供的输出上消化内镜操作信息的装置进行介绍,下文描述的输出上消化内镜操作信息的装置与上文描述的输出上消化内镜操作信息的方法可相互对应参照。
请参考图5,图5为本发明实施例提供的一种输出上消化内镜操作信息的装置结构示意图。该装置包括:
有效图像判断模块100,用于获取原始图像,判断原始图像是否为有效图像;
预处理模块110,用于在确定原始图像为有效图像后,则对有效图像进行预处理得到内镜图像;其中,预处理包括裁剪处理、旋转处理和滤波处理;
名称与置信度获取模块120,用于利用部位识别模型对内镜图像进行识别,确定内镜图像对应的当前部位,并获取当前部位对应的部位名称和当前部位置信度;
输出模块130,用于输出内镜图像、部位名称和当前部位置信度。
可选的,还包括:
镜头型号信息获取模块,用于利用OCR识别模型对原始图像进行识别,得到镜头型号信息;
镜头型号信息判断模块,用于判断镜头型号信息是否为上消化内镜信息;
相应的,有效图像判断模块100为确定镜头型号信息为上消化内镜信息后,判断原始图像是否为有效图像的模块。
可选的,预处理模块110,包括:
裁剪单元,用于对原始图像进行有效区域裁剪处理,得到被裁剪图像;
滤波及仿真放大单元,用于对被裁剪图像进行随机角度旋转处理,并对旋转后的被裁剪图像进行滤波和仿真放大处理,得到内镜图像。
可选的,还包括:
典型图条件判断模块,用于判断内镜图像是否满足典型图条件;
部位典型图获取模块,用于当内镜图像满足典型图条件时,则将内镜图像确定为当前部位对应的部位典型图。
可选的,包括:
标记图像获取模块,用于获取多张各个部位的训练图像,并利用标签信息对训练图像进行标记,得到标记图像;
部位识别模型获取模块,用于将标记图像输入CNN-LSTM深度学习网络中进行训练,直至识别准确率达到预设准确率阈值,得到部位识别模型。
可选的,部位识别模型获取模块,包括:
训练单元,用于将标记图像输入CNN-LSTM深度学习网络中进行训练;
训练控制单元,用于对CNN-LSTM深度学习网络进行梯度弥散控制、梯度爆炸控制和过拟合控制,直至识别准确率达到预设准确率阈值,得到部位识别模型。
可选的,名称与置信度获取模块120,包括:
当前识别结果获取单元,用于利用部位识别模型对内镜图像进行识别,得到当前识别结果;
当前部位确定单元,用于获取部位识别模型对历史内镜图像进行识别得到的历史识别结果,利用历史识别结果和当前识别结果确定当前部位;
信息获取单元,用于利用当前部位获取对应的部位名称和当前部位置信度。
可选的,还包括:
历史不为置信度获取模块,用于获取当前部位对应的历史部位置信度;
附加信息输出模块,用于输出当前部位对应的部位典型图和历史部位置信度。
可选的,还包括:
后续部位信息输出模块,用于利用部位名称按照预设检查顺序获取后续部位信息,并输出后续部位信息。
应用本发明提供的输出上消化内镜操作信息的装置,通过对有效图像进行预处理得到内镜图像,利用部位识别模型对内镜图像进行识别以确定对应的当前部位,并获取当前部位名称等信息,同时在检查过程中输出内镜图像、部位名称和当前部位置信度,为医生提供参考。该装置可以为医生在进行上消化道检查时为医生提供参考,解决了医生在上消化道检查时容易漏检某些部位的问题。
在实际应用中,还可以参考图6,图6为本发明实施例提供的另一种输出上消化内镜操作信息的装置结构示意图,包括图像数据集、内窥镜场景甄别模块、图像获取模块、图像预处理模块、图像/视频数据集、模型训练模块、部位识别模块、位置信息显示模块和图文报告生成模块。模型训练模块利用图像/视频数据集对部位识别模块进行训练。图像获取模块利用图像数据集进行训练,并获取内窥场景甄别模块发送来的图像,内窥镜场景甄别模块在识别到上消化内镜图像后将图像发送给图像获取模块。图像获取模块选择有效帧并将其发送给图像预处理模块,图像预处理模块在将图像处理后将其发送给部位识别模块。部位识别模块对处理后图像进行识别,并将识别结果发送给位置信息显示模块和图文报告生成模块,以便对医生进行指导并生成图文报告。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应该认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上对本发明所提供的输出上消化内镜操作信息的方法、输出上消化内镜操作信息的设备、输出上消化内镜操作信息的装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种输出上消化内镜操作信息的方法,其特征在于,包括:
获取原始图像,判断所述原始图像是否为有效图像;
若是,则对所述有效图像进行预处理得到内镜图像;其中,所述预处理包括裁剪处理、旋转处理和滤波处理;
利用部位识别模型对所述内镜图像进行识别,确定所述内镜图像对应的当前部位,并获取所述当前部位对应的部位名称和当前部位置信度;
输出所述内镜图像、所述部位名称和所述当前部位置信度。
2.根据权利要求1所述的输出上消化内镜操作信息的方法,其特征在于,在所述获取原始图像之后,在判断所述原始图像是否为有效图像之前,还包括:
利用OCR识别模型对所述原始图像进行识别,得到镜头型号信息;
判断所述镜头型号信息是否为上消化内镜信息;
若是,则执行判断所述原始图像是否为有效图像的操作。
3.根据权利要求2所述的输出上消化内镜操作信息的方法,其特征在于,对所述有效图像进行预处理得到内镜图像,包括:
对所述原始图像进行有效区域裁剪处理,得到被裁剪图像;
对所述被裁剪图像进行随机角度旋转处理,并对旋转后的所述被裁剪图像进行滤波和仿真放大处理,得到所述内镜图像。
4.根据权利要求3所述的输出上消化内镜操作信息的方法,其特征在于,在对所述有效图像进行预处理得到内镜图像之后,还包括:
判断所述内镜图像是否满足典型图条件;
若是,则将所述内镜图像确定为所述当前部位对应的部位典型图。
5.根据权利要求1至4任一项所述的输出上消化内镜操作信息的方法,其特征在于,所述部位识别模型的训练过程,包括:
获取多张各个部位的训练图像,并利用标签信息对所述训练图像进行标记,得到标记图像;
将所述标记图像输入CNN-LSTM深度学习网络中进行训练,直至识别准确率达到预设准确率阈值,得到所述部位识别模型。
6.根据权利要求5所述的输出上消化内镜操作信息的方法,其特征在于,将所述标记图像输入CNN-LSTM深度学习网络中进行训练,直至识别准确率达到预设准确率阈值,得到所述部位识别模型,包括:
将所述标记图像输入CNN-LSTM深度学习网络中进行训练;
对所述CNN-LSTM深度学习网络进行梯度弥散控制、梯度爆炸控制和过拟合控制,直至所述识别准确率达到所述预设准确率阈值,得到所述部位识别模型。
7.根据权利要求6所述的输出上消化内镜操作信息的方法,其特征在于,所述利用部位识别模型对所述内镜图像进行识别,确定所述内镜图像对应的当前部位,并获取所述当前部位对应的部位名称和当前部位置信度,包括:
利用所述部位识别模型对所述内镜图像进行识别,得到当前识别结果;
获取所述部位识别模型对历史内镜图像进行识别得到的历史识别结果,利用所述历史识别结果和所述当前识别结果确定所述当前部位;
利用所述当前部位获取对应的所述部位名称和所述当前部位置信度。
8.根据权利要求7所述的输出上消化内镜操作信息的方法,其特征在于,在输出所述内镜图像、所述部位名称和所述当前部位置信度之后,还包括:
获取所述当前部位对应的历史部位置信度;
输出所述当前部位对应的所述部位典型图和所述历史部位置信度。
9.根据权利要求8所述的输出上消化内镜操作信息的方法,其特征在于,还包括:
利用所述部位名称按照预设检查顺序获取后续部位信息,并输出所述后续部位信息。
10.一种输出上消化内镜操作信息的设备,其特征在于,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现如权利要求1至9任一项所述的输出上消化内镜操作信息的方法。
11.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的输出上消化内镜操作信息的方法。
12.一种输出上消化内镜操作信息的装置,其特征在于,包括:
有效图像判断模块,用于获取原始图像,判断所述原始图像是否为有效图像;
预处理模块,用于在确定所述原始图像为有效图像后,则对所述有效图像进行预处理得到内镜图像;其中,所述预处理包括裁剪处理、旋转处理和滤波处理;
名称与置信度获取模块,用于利用部位识别模型对所述内镜图像进行识别,确定所述内镜图像对应的当前部位,并获取所述当前部位对应的部位名称和当前部位置信度;
输出模块,用于输出所述内镜图像、所述部位名称和所述当前部位置信度。
CN201910905983.6A 2019-09-24 2019-09-24 一种输出上消化内镜操作信息的方法、设备及存储介质 Pending CN110613417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905983.6A CN110613417A (zh) 2019-09-24 2019-09-24 一种输出上消化内镜操作信息的方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910905983.6A CN110613417A (zh) 2019-09-24 2019-09-24 一种输出上消化内镜操作信息的方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110613417A true CN110613417A (zh) 2019-12-27

Family

ID=68924384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910905983.6A Pending CN110613417A (zh) 2019-09-24 2019-09-24 一种输出上消化内镜操作信息的方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110613417A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862754A (zh) * 2021-01-05 2021-05-28 重庆天如生物科技有限公司 一种基于智能识别的留图漏检提示系统和方法
CN113570585A (zh) * 2021-07-30 2021-10-29 北京积水潭医院 小肠状态异常检测方法、装置及电子设备
CN113920355A (zh) * 2021-09-17 2022-01-11 紫东信息科技(苏州)有限公司 部位类别识别方法及检查质量监控系统
CN114332844A (zh) * 2022-03-16 2022-04-12 武汉楚精灵医疗科技有限公司 医学图像的智能分类应用方法、装置、设备和存储介质
CN115511770A (zh) * 2021-06-07 2022-12-23 深圳开立生物医疗科技股份有限公司 内窥镜图像处理方法、装置、电子设备及可读存储介质
CN115861298A (zh) * 2023-02-15 2023-03-28 浙江华诺康科技有限公司 一种基于内镜检查可视化的图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247107A1 (en) * 2015-09-30 2018-08-30 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
CN109002846A (zh) * 2018-07-04 2018-12-14 腾讯科技(深圳)有限公司 一种图像识别方法、装置和存储介质
CN109907720A (zh) * 2019-04-12 2019-06-21 重庆金山医疗器械有限公司 电子内镜辅助检查方法及电子内镜控制系统
CN110136106A (zh) * 2019-05-06 2019-08-16 腾讯科技(深圳)有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247107A1 (en) * 2015-09-30 2018-08-30 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
CN109002846A (zh) * 2018-07-04 2018-12-14 腾讯科技(深圳)有限公司 一种图像识别方法、装置和存储介质
CN109907720A (zh) * 2019-04-12 2019-06-21 重庆金山医疗器械有限公司 电子内镜辅助检查方法及电子内镜控制系统
CN110136106A (zh) * 2019-05-06 2019-08-16 腾讯科技(深圳)有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862754A (zh) * 2021-01-05 2021-05-28 重庆天如生物科技有限公司 一种基于智能识别的留图漏检提示系统和方法
CN115511770A (zh) * 2021-06-07 2022-12-23 深圳开立生物医疗科技股份有限公司 内窥镜图像处理方法、装置、电子设备及可读存储介质
CN115511770B (zh) * 2021-06-07 2024-10-15 深圳开立生物医疗科技股份有限公司 内窥镜图像处理方法、装置、电子设备及可读存储介质
CN113570585A (zh) * 2021-07-30 2021-10-29 北京积水潭医院 小肠状态异常检测方法、装置及电子设备
CN113920355A (zh) * 2021-09-17 2022-01-11 紫东信息科技(苏州)有限公司 部位类别识别方法及检查质量监控系统
CN113920355B (zh) * 2021-09-17 2024-09-10 紫东信息科技(苏州)有限公司 部位类别识别方法及检查质量监控系统
CN114332844A (zh) * 2022-03-16 2022-04-12 武汉楚精灵医疗科技有限公司 医学图像的智能分类应用方法、装置、设备和存储介质
CN115861298A (zh) * 2023-02-15 2023-03-28 浙江华诺康科技有限公司 一种基于内镜检查可视化的图像处理方法及装置

Similar Documents

Publication Publication Date Title
CN110613417A (zh) 一种输出上消化内镜操作信息的方法、设备及存储介质
CN110705405B (zh) 目标标注的方法及装置
CN111126366B (zh) 一种活体人脸的判别方法、装置、设备及存储介质
CN109978078B (zh) 字体版权检测方法、介质、计算机设备及装置
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
CN111161268B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN112613471B (zh) 人脸活体检测方法、装置及计算机可读存储介质
JP6630341B2 (ja) シンボルの光学的検出方法
CN113762274B (zh) 一种答题卡目标区域检测方法、系统、存储介质及设备
US12075969B2 (en) Information processing apparatus, control method, and non-transitory storage medium
CN113255516A (zh) 活体检测方法、装置和电子设备
CN110399907B (zh) 基于诱导注意力的胸腔病症检测方法及装置、存储介质
CN111368698A (zh) 主体识别方法、装置、电子设备及介质
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
CN108875467B (zh) 活体检测的方法、装置及计算机存储介质
CN110197722B (zh) Ai-cpu系统平台
CN112016387A (zh) 适用于毫米波安检仪的违禁品识别方法和装置
CN110543812A (zh) 信息提取方法及装置、电子设备及存储介质
CN115187926A (zh) 一种误报检测方法、装置及电子设备
CN112634266B (zh) 喉镜图像的半自动标注方法、介质、设备及装置
CN113256625A (zh) 一种电子设备和识别装置
CN111767829B (zh) 一种活体检测方法、装置、系统及存储介质
CN112836732B (zh) 数据标注的校验方法、装置、电子设备及存储介质
CN116523914B (zh) 一种动脉瘤分类识别装置、方法、设备、存储介质
CN113255665B (zh) 一种目标文本提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191227

RJ01 Rejection of invention patent application after publication