CN114569043A - 一种基于人工智能的内窥镜辅助检查方法及装置 - Google Patents

一种基于人工智能的内窥镜辅助检查方法及装置 Download PDF

Info

Publication number
CN114569043A
CN114569043A CN202210112925.XA CN202210112925A CN114569043A CN 114569043 A CN114569043 A CN 114569043A CN 202210112925 A CN202210112925 A CN 202210112925A CN 114569043 A CN114569043 A CN 114569043A
Authority
CN
China
Prior art keywords
endoscope
current position
lesion
time
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210112925.XA
Other languages
English (en)
Inventor
王国华
王燃
王哲西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210112925.XA priority Critical patent/CN114569043A/zh
Publication of CN114569043A publication Critical patent/CN114569043A/zh
Priority to PCT/CN2023/071354 priority patent/WO2023143014A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/015—Control of fluid supply or evacuation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种基于人工智能的内窥镜辅助检查方法及装置，其中，该方法包括：将内窥镜采集到的视频流输入至少一个模型中，通过至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示内窥镜当前所处的位置；若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。提高了内窥镜检查质量。

Description

一种基于人工智能的内窥镜辅助检查方法及装置
技术领域
本发明涉及人工智能领域，尤其涉及一种基于人工智能的内窥镜辅助检查方法及装置。
背景技术
消化道肿瘤早期发现，可大大提高治愈率，减少死亡率。胃肠镜检查(或称内窥镜检查，包括胃镜检查和结肠镜检查)及病理活检是目前诊断消化道肿瘤的金标准。通过高质量的胃肠镜检查可明显降低消化道肿瘤的发病率和死亡率。影响胃肠镜检查质量主要环节是胃肠道是否干净、是否有漏检。是否有恰当的黏膜染色和医生检出消化道早期肿瘤水平等，怎样提高每一例胃肠镜检查水平以及及时客观的评价每一例胃肠镜检查质量，以现有管理、培训和检查等体系是有相当难度的。因此，提高每一例胃肠镜检查的检查质量迫在眉睫。
影响内窥镜检查质量主要环节是肠道是否干净、是否是全肠道仔细观察和医生自身检出病变的水平等，现在评价内窥镜检查质量的指标一般包括良好的肠道准备、检查部位的达到情况、进镜或退镜时间、病变检出率和结直肠的穿孔率等。而现有的窥镜检查存在着对单例内窥镜检查的指导性和针对性不强的问题，导致内窥镜检查水平的平均质量不高。
发明内容
本发明提供一种基于人工智能的内窥镜辅助检查方法、装置、设备、介质和产品。
第一方面，本发明提供了一种基于人工智能的内窥镜辅助检查方法，包括：将内窥镜采集到的视频流输入至少一个模型中，通过所述至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示所述内窥镜当前所处的位置；若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息；响应于接收到对应所述提示需要清洁、提示染色或提示病变信息的操作，确定操作情况，根据操作情况和所述内窥镜的到达情况，通过预设的评价规则生成本次辅助检查的评价报告。
进一步地，所述方法还包括：响应于接收到对应所述提示需要清洁、提示染色或提示病变信息的操作，确定操作情况，根据操作情况和所述内窥镜的到达情况，通过预设的评价规则生成本次辅助检查的评价报告。
进一步地，所述将内窥镜采集到的视频流输入至少一个模型中，包括：将内窥镜采集到的视频流解析为至少一帧的图像，将至少一帧的图像分别进行图预处理后的输入特征提取模块，得到卷积神经网络特征；获取并拼接每一帧图像的内窥镜颜色特征、内窥镜纹理特征和内窥镜形状特征，得到每一帧图像的内窥镜图像特征；将所述卷积神经网络特征与所述内窥镜图像特征输入所述至少一个模型中。
进一步地，所述内窥镜包括结肠镜；以及所述将内窥镜采集到的视频流输入至少一个模型中，通过所述至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示所述内窥镜当前所处的位置，包括：将结肠镜采集到的退镜时的视频流输入至少一个模型中，通过所述至少一个模型，分别确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变，并实时提示所述结肠镜当前所处的位置。
进一步地，所述至少一个模型包括解剖位置识别模型、清洁模型和息肉腺瘤识别模型；以及所述通过所述至少一个模型，分别确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变，包括：通过解剖位置识别模型确定结肠镜当前所处的结肠的位置；通过清洁模型确定当前位置的结肠是否清洁；通过息肉腺瘤识别模型确定当前位置的结肠是否存在息肉和/或腺瘤的病变。
进一步地，所述至少一个模型包括多病变识别模型；以及所述方法还包括：将结肠镜采集到的退镜时的视频流输入多病变识别模型，确定结肠是否存在非息肉或非腺瘤的病变特征。
进一步地，所述息肉腺瘤识别模型包括白光染色分类模型、息肉腺瘤分类模型；以及所述通过息肉腺瘤识别模型确定当前位置的结肠是否存在息肉和/或腺瘤的病变，包括：通过息肉腺瘤分类模型确定当前位置的结肠是否存在病变，所述病变包括存在高疑似息肉和/或腺瘤和存在低疑似息肉和/或腺瘤；以及所述若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息，包括：通过白光染色分类模型确定当前位置的结肠是否是白光状态；若当前位置的结肠是白光状态，且存在低疑似息肉和/或腺瘤，则提示染色；若当前位置的结肠是高疑似息肉和/或腺瘤，则提示存在息肉和/或腺瘤。
进一步地，所述方法还包括：将结肠镜采集到的退镜时的视频流输入息肉腺瘤边界识别模型确定当前位置的结肠的息肉和/或腺瘤的边界。
进一步地，所述方法还包括：根据实时提示的所述结肠镜当前所处的位置，确定结肠镜的退镜时间。
进一步地，所述根据实时提示的所述结肠镜当前所处的位置，确定结肠镜的退镜时间，包括：当第一次出现实时提示的所述结肠镜当前所处的位置为回盲部，则开始计时升结肠退镜时间，当第一次出现实时提示的所述结肠镜当前所处的位置为横结肠，则结束计时升结肠退镜时间，得到升结肠退镜时间；当第一次出现实时提示的所述结肠镜当前所处的位置为横结肠，则开始计时横结肠退镜时间，当第一次出现实时提示的所述结肠镜当前所处的位置为脾曲，则结束计时横结肠退镜时间，得到横结肠退镜时间；当第一次出现实时提示的所述结肠镜当前所处的位置为脾曲，则开始计时降结肠退镜时间，当第一次出现实时提示的所述结肠镜当前所处的位置为乙状结肠，则结束计时降结肠退镜时间，得到降结肠退镜时间；当第一次出现实时提示的所述结肠镜当前所处的位置为乙状结肠，则开始计时乙状结肠退镜时间，当第一次出现实时提示的所述结肠镜当前所处的位置管直肠交界，则结束计时乙状结肠退镜时间，得到乙状结肠退镜时间；根据所述升结肠退镜时间、横结肠退镜时间、降结肠退镜时间和乙状结肠退镜时间，确定所述结肠镜的退镜时间。
进一步地，所述将结肠镜采集到的退镜时的视频流输入至少一个模型中之前，还包括：将结肠镜采集到的进镜时的视频流输入病变特征提取网络中，得到所述病变特征提取网络输出的进镜病灶特征并保存；以及所述方法还包括：将结肠镜采集到的退镜时的视频流输入所述病变特征提取网络中，得到所述病变特征提取网络输出的退镜病灶特征；将所述进镜病灶特征与所述退镜病灶特征进行相似度对比，若对比结果大于阈值，则提示进镜时当前部位检测到病灶。
进一步地，所述内窥镜包括胃镜，所述至少一个模型包括所述解剖位置识别模型、所述清洁模型和早癌识别模型；以及所述通过所述至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，包括：通过所述解剖位置识别模型确定胃镜当前所处的位置；通过清洁模型确定当前位置是否清洁；通过早癌识别模型确定当前位置是否存在早癌的病变。
进一步地，所述方法还包括：将胃镜采集到的视频流输入所述多病变识别模型，确定胃镜所处的位置是否存在非早癌的病变特征。
进一步地，所述早癌识别模型包括所述白光染色分类模型、早癌分类模型；以及所述通过早癌识别模型确定当前位置是否存在早癌的病变，包括：通过早癌分类模确定当前位置是否存在病变，所述病变包括存在高疑似早癌和存在低疑似早癌；以及所述若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息，包括：通过所述白光染色分类模型确定当前位置是否是白光状态；若当前位置是白光状态，且存在低疑似早癌，则提示染色；若当前位置是存在高疑似早癌，则提示存在早癌的病变信息。
进一步地，所述方法还包括：将胃镜采集到的视频流输入早癌边界识别模型确定当前位置的早癌的边界。
第二方面，本发明还提供了一种基于人工智能的内窥镜辅助检查装置，包括：第一处理模块，用于将内窥镜采集到的视频流输入至少一个模型中，通过所述至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示所述内窥镜当前所处的位置；第二处理模块，用于若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于人工智能的内窥镜辅助检查方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于人工智能的内窥镜辅助检查方法的步骤。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于人工智能的内窥镜辅助检查方法的步骤。
本发明提供的一种基于人工智能的内窥镜辅助检查方法、装置、设备、介质和产品，解决了影响内窥镜诊断水平的黏膜清洁问题、黏膜染色问题、部位漏检问题、以及低年资医生的病变识别能力问题。提高了医生进境速度、进境质量和内窥镜的到达目标部位的成功率。有利于引导医生规范操作内窥镜检查，有利于弥补医生的经验不足或注意力不集中，有利于对每例内窥镜检查的实时评估，提高了内窥镜检查的效率和质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明提供的基于人工智能的内窥镜辅助检查方法的一些实施例的流程示意图；
图2是根据本发明提供的将内窥镜采集到的视频流输入至少一个模型中的实施例的流程示意图；
图3是根据本发明提供的基于人工智能的内窥镜辅助检查方法的结肠镜辅助检查的一些实施例的流程示意图；
图4是根据本发明提供的基于人工智能的内窥镜辅助检查方法的胃镜辅助检查的一些实施例的流程示意图；
图5-1是结肠镜的网络结构的一个应用场景的示意图；
图5-2是结肠镜的检查流程的一个应用场景的示意图；
图5-3是结肠镜的功能模块的一个应用场景的示意图；
图5-4是结肠镜的检查流程的另一个应用场景的示意图；
图5-5是内窥镜提示是否清洁的一个应用场景的流程示意图；
图5-6是基于人工智能的内窥镜辅助检查的一个装置的示意图；
图5-7是胃镜的检查流程的一个应用场景的示意图；
图5-8是胃镜的功能模块的一个应用场景的示意图；
图5-9是胃镜的检查流程的另一个应用场景的示意图；
图5-10是胃镜的网络结构一个应用场景的示意图；
图6是根据本发明提供的基于人工智能的内窥镜辅助检查装置的一些实施例的结构示意图；
图7是根据本发明提供的电子设备的结构示意图。
附图5-6标号说明：
1：显示器；2：黏膜清洁模块；3：黏膜机器染色模块；4：脚踏板；5：双路脚踏开关。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本发明。
请参阅图1，图1是本发明提供的基于人工智能的内窥镜辅助检查方法的一些实施例的流程示意图。如图1所示，该方法包括以下步骤：
步骤101，将内窥镜采集到的视频流输入至少一个模型中，通过至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示内窥镜当前所处的位置。
内窥镜是一个配备有灯光的管子，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到X射线不能显示的病变，例如，借助内窥镜，医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。
作为示例，至少一个模型可以是根据具体需要事先训练好的具有不同功能的神经网络模型。这些具有不同功能的神经网络模型可以分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变。
作为示例，可以随着视频流的输入，实时的确定根据内窥镜当前所处的位置，并实时提示内窥镜当前所处的位置。
作为示例，在将内窥镜采集到的视频流输入至少一个模型之前，可以先进行图像预处理，将预处理以后的视频流输入至少一个模型。也可以根据不用的模型需求，将视频流(或预处理以后的视频流)经过不同的特征提取网络进行与特征提取后，再输入对应的至少一个模型中。
步骤102，若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
作为示例，可以将视频流输入具有识别是否清洁的模型中，实时的判断当前部位是否清洁，如果检测到当前部位不清洁，则可以在显示屏上显示“需要清洁”的字样。
作为示例，可以将视频流输入具有识别是否存在病变的模型中，实时的判断当前部位是否存在病变，具体的病变情况和病变的种类根据内窥镜检查的部位确定，如果检测到当前部位存在病变，则可以在显示屏上显示“存在病变”的字样，如果当前部位是结肠，也可以在显示屏上显示“存在息肉腺瘤”的字样。
作为示例，可以将视频流输入具有识别是否存在病变的模型中，实时的判断当前部位是否存在病变，若存在病变，可以进一步判断存在的病变是高疑似病变还是低疑似病变。如果是低疑似病变，可以在显示屏上显示“需要染色”的字样，来提醒医生进行染色操作；如果是高疑似病变，可以在显示屏上显示“存在息肉腺瘤”或“存在病变”的字样，提醒医生需要进一步观察、活检或者切除。
在一些可选的实现方式中，方法还包括：响应于接收到对应提示需要清洁、提示染色或提示病变信息的操作，确定操作情况，根据操作情况和内窥镜的到达情况，通过预设的评价规则生成本次辅助检查的评价报告。
通常情况下的评价指标中有的是事后评价，有的是针对医疗机构评价的，无法实时的、单次的评价。采用上述方法，可以生成本次辅助检查的评价报告，实现了对本次检查的实时的、单次的评价。
作为示例，医生根据提示的需要清洁、提示染色或提示病变的信息，或有相应的操作。例如，医生根据提示的需要清洁，出发清洗的按钮，这时，从内窥镜的视频流中可以观察到清洗的操作(例如，可以通过将视频流输入操作识别模型，确定操作情况)，说明医生按照本次提示进行了操作。另外，内窥镜的到达情况可以根据实时提示的内窥镜当前所处的位置确定，例如在结肠镜检查中检测到回盲部(从开始进入结肠，内窥镜会以此经过管直肠交界、直肠、乙状结肠、降结肠、脾曲、横结肠、结肠肝曲、升结肠、回盲瓣、阑尾口和回肠末端，其中，若检测到回盲瓣、阑尾口或回肠末端任一部位即说明检测到回盲部)，说明当前内窥镜的到达了结肠末端，到达情况很好。
作为示例，预设的评价规则可以为若医生对每次提示都做了相应的操作，说明提示正确，加一分，若没有检测到对应提示的操作，则减一分；对于内窥镜的到达情况，若内窥镜的到达预设的部位，则说明到达情况很好，加一分，否则减一分。其中，基础分值为零。将最后得到最为本次辅助检查的总得分。
作为示例，也可以记录本次检查过程中的提示信息、提示时间、医生的操作信息和操作时间等。在检查过程中，也可以根据医生的需要(或预设的其他留图规则)保存视频或图像。
作为示例，可以将本次辅助检查的总得分和本次检查过程中保存的信息(例如，提示信息、提示时间、医生的操作信息、操作时间和保存视影像资料)综合生成评价报告。
本发明一些实施例公开的基于人工智能的内窥镜辅助检查方法，解决了影响内窥镜诊断水平的黏膜清洁问题、黏膜染色问题、部位漏检问题、以及低年资医生的病变识别能力问题。提高了医生进境速度、进境质量和内窥镜的到达目标部位的成功率。有利于引导医生规范操作内窥镜检查，有利于弥补医生的经验不足或注意力不集中，有利于对每例内窥镜检查的实时评估，提高了内窥镜检查的效率和质量。
请参阅图2，图2是根据本发明提供的将内窥镜采集到的视频流输入至少一个模型中的实施例的流程示意图。如图2所示，该方法包括以下步骤：
步骤201，将内窥镜采集到的视频流解析为至少一帧的图像，将至少一帧的图像分别进行图像预处理后的输入特征提取模块，得到卷积神经网络特征。
作为示例，可以至少一帧的图像分别进行图像裁剪、图像缩放、图像标准化和图像归一化等的图像预处理操作后输入特征提取模块。
作为示例，也可以内窥镜采集到的视频流解析为至少一帧的图像后，按照预设规则选择图像，将选择的图像进行图像预处理后输入特征提取模块。按照预设规则选择图像，例如，从第一帧图像开始，选择第一帧图像、第三帧图像、第五帧图像等，即选择第奇数个的图像。依次提高识别效率。
作为示例，对于每一帧的图像(或称原始内窥镜图像)，图像裁剪操作是通过将传入的图像转化为灰度图像，使用Canny边缘检测算法确定灰度图像中镜头拍摄区域，该区域的平行外接矩形区域即为裁剪区域。然后，将原始内窥镜图像按照裁剪区域位置大小进行裁剪。
作为示例，图像裁剪操作也可以通过有效图像分割模块实现。有效区域分割模块可以由卷积神经网络层、激活函数层、池化层、反卷积层组成。将预处理后的图像输入有效区域分割模块后，得到与原始内窥镜图像大小相同的二值图像(0/1)，该二值图像中像素值为1的区域的平行外接矩形区域即图像裁剪区域。
作为示例，图像缩放操作是将所有裁剪后的图像缩放尺寸。然后将缩放后的图像进行图像标准化，图像标准化操作需要计算整个训练集的平均图，记为mean，和标准差图，记为std，计算方式为：
Figure BDA0003495381360000111
Figure BDA0003495381360000112
其中Xi是一个(513,513,3)图像矩阵，N为训练集中图像数量。对于每一张输入的图像Xj都要经过标准化处理：
Xj＝(Xj-mean)/std (公式3)
图像归一化就是将Xj的像素值变换到0～1。
步骤202，获取并拼接每一帧图像的内窥镜颜色特征、内窥镜纹理特征和内窥镜形状特征，得到每一帧图像的内窥镜图像特征。
作为示例，内窥镜颜色特征、内窥镜纹理特征、内窥镜形状特征。内窥镜颜色特征可以通过计算内窥镜颜色直方图以及颜色分布得到的颜色特征向量(即内窥镜颜色特征)；内窥镜纹理特征可以使用灰度共生矩阵纹理特征分析方法计算内窥镜纹理特征向量(即内窥镜纹理特征)；内窥镜形状特征使用傅里叶形状描述符计算内窥镜观测到的图像的形状特征特征向量(即内窥镜形状特征)。
作为示例，可以根据具体需要确定拼接规则。本发明对此不做限定。
步骤203，将卷积神经网络特征与内窥镜图像特征输入至少一个模型中。
作为示例，至少一个模型的网络结构可以参考图5-1中的通用分类网络，将卷积神经网络特征通过通用分类网络的卷积层、激活函数和全连接层处理后，得到处理后的卷积神经网络特征，将处理后的卷积神经网络特征拼接内窥镜图像特征后，再进行分类。
从图2中可以看出，与图1对应的一些实施例的描述相比，图2对应的一些实施例中的基于人工智能的内窥镜辅助检查的方法体现了将内窥镜采集到的视频流输入至少一个模型之前的图像处理步骤。通过对每一帧图像进行预处理、提取卷积神经网络特征和将处理后的卷积神经网络特征与内窥镜图像特征拼接，并将拼接后的特征输入至少一个模型中有利于提高模型识别效率。
请参阅图3，图3是根据本发明提供的基于人工智能的内窥镜辅助检查方法的结肠镜辅助检查的一些实施例的流程示意图。如图3所示，该方法包括以下步骤：
步骤301，将结肠镜采集到的退镜时的视频流输入至少一个模型中，通过至少一个模型，分别确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变，并实时提示结肠镜当前所处的位置。
对结肠的检查主要是将退镜时的视频流输入至少一个模型中，确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变，并实时提示结肠镜当前所处的位置。
作为示例，当检测结肠镜的视频流，发现从管直肠交界到达回盲部(即检测到回盲瓣、阑尾口和回肠末端任一部位即到达回盲部)时，开始结肠镜采集到的退镜时的视频流。
在一些可选的实现方式中，至少一个模型包括解剖位置识别模型、清洁模型和息肉腺瘤识别模型；以及通过至少一个模型，分别确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变，包括：通过解剖位置识别模型确定结肠镜当前所处的结肠的位置；通过清洁模型确定当前位置的结肠是否清洁；通过息肉腺瘤识别模型确定当前位置的结肠是否存在息肉和/或腺瘤的病变。
作为示例，可以参考图5-2，解剖位置识别模型、清洁模型和息肉腺瘤识别模型可以采用通用分类网络的网络结构。也可以通过其他方法或模型分别确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变。
步骤302，若结肠镜当前所处的位置不清洁，则提示需要清洁；若结肠镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
作为示例，提示需要清洁是清洁模型识别到当前结肠镜观察视野中存在泡沫或其影响黏膜观察的物质后输出的提示信息。医生可根据提示信息实施冲洗操作。
作为示例，提示解剖位置(即结肠镜当前所处的结肠的位置)是解剖位置识别模型识别当前结肠镜观察视野所处体内位置后输出的提示信息。提示解剖位置信息包括11类：回肠末端、阑尾口、回盲瓣、升结肠、肝曲(或称结肠肝曲)、横结肠、脾曲、降结肠、乙状结肠、直肠、管直肠交界。提示解剖位置信息同时出现在结肠镜检查进镜和退镜过程中。
在一些可选的实现方式中，息肉腺瘤识别模型包括白光染色分类模型、息肉腺瘤分类模型；以及通过息肉腺瘤识别模型确定当前位置的结肠是否存在息肉和/或腺瘤的病变，包括：通过息肉腺瘤分类模型确定当前位置的结肠是否存在病变，病变包括存在高疑似息肉和/或腺瘤和存在低疑似息肉和/或腺瘤；以及若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息，包括：通过白光染色分类模型确定当前位置的结肠是否是白光状态；若当前位置的结肠是白光状态，且存在低疑似息肉和/或腺瘤，则提示染色；若当前位置的结肠是高疑似息肉和/或腺瘤，则提示存在息肉和/或腺瘤。
参考图5-3和图5-4，可以通过息肉腺瘤分类模型直接确定是否存在高疑似息肉和/或腺瘤和存在低疑似息肉和/或腺瘤，也可以通过息肉腺瘤分类模型确定是否存在息肉和/或腺瘤，然后判断息肉和/或腺瘤是否是高疑似息肉和/或腺瘤和存在低疑似息肉和/或腺瘤。例如通过息肉腺瘤分类模型得到一个值(例如5)，若这个值符合预设的阈值范围(例如阈值范围为大于0)，则确定存在息肉和/或腺瘤，然后，若这个值符合大于预设的最大阈值(例如，预设的最大阈值为3)，则判断息肉和/或腺瘤为高疑似息肉腺瘤。
作为示例，高疑似息肉和/或腺瘤和存在低疑似息肉和/或腺瘤是根据息肉腺瘤识别模型中的息肉腺瘤分类模块输出值范围定义。该范围确定方法为：
该范围存在一个范围下限和范围上限，该范围下限和范围上限是在息肉/腺瘤独立测试集基础上，根据息肉腺瘤识别模型中的息肉腺瘤分类模块输出结果计算。
息肉/腺瘤独立测试集可以是从医院收集的结肠镜图像数据集合，该数据集由阴性样本和阳性样本组成。阴性样本是不存在息肉/腺瘤病灶的结肠镜图像；阳性样本是存在息肉/腺瘤病灶的结肠镜图像。并且该图像数据集合中任一张图像以及任一张图像相关病例的结肠镜影像数据都不参与息肉腺瘤识别模型训练。
范围下限L确定方式是将息肉/腺瘤独立测试集所有阴性样本输入软件组件，统计分析每一个阴性样本图像在息肉腺瘤分类模块的输出结果，计算所有结果的均值，记为M，和方差V，记为，范围下限L计算方式为：
L＝M+aV (公式4)
其中a为下限方差倍数。
范围上限U的确定方式是将息肉/腺瘤独立测试集所有阳性样本输入软件组件，统计分析每一个阳性样本图像在息肉腺瘤分类模块的输出结果，计算所有结果的均值M和方差V，范围上限U计算方式为：
U＝M-bV (公式5)
其中b为上限方差倍数。
提示息肉或腺瘤是息肉腺瘤识别模型中的息肉腺瘤分类模块识别到当前结肠镜观察视野中存在高疑似息肉/腺瘤病灶后输出的提示信息，以及息肉腺瘤边界识别模块输出到显示屏中勾画当前观察视野高概率息肉/腺瘤病灶边界提示信息。医生可根据提示信息作进一步观察或活检或切除操作。
作为示例，提示染色是息肉腺瘤识别模型识别中的息肉腺瘤分类模块识别到当前结肠镜观察视野中存在低疑似息肉/腺瘤病灶后，结合白光染色分类模型确定当前位置的结肠是否是白光状态，输出的提示信息。医生可根据提示信息实施染色操作。
步骤303，响应于接收到对应提示需要清洁、提示染色或提示病变信息的操作，确定操作情况，根据操作情况和结肠镜的到达情况，通过预设的评价规则生成本次辅助检查的评价报告。
作为示例，可以通过结肠镜检查质量评估系统对本次辅助检查进程评价，该系统根据检查过程中医生对提示信息响应情况、检查部位到达情况、退镜时长统计、自动生成结肠镜检查质量评估报告。
参考图5-5，该系统中可以记录的医生对提示信息响应情况包括：系统提示冲洗后医生是否实施冲洗操作(即提示需要清洁)、系统提示染色后医生是否实施染色操作、系统提示息肉或腺瘤后医生是否实施相应操作。
该系统中的检查部位到达情况包括：回盲部到达情况、结肠镜其他解剖位置到达情况。到达情况根据要求检查部位是否留图或者是否解剖位置识别模型是否识别到到达部位。
该系统中的退镜时长统计包括：退镜时间、升结肠退镜时间、横结肠退镜时间、降结肠退镜时间、乙状直肠退镜时间。
结肠镜检查质量评估报告由检查病例的基本信息和评价指标两部分组成。其中，评价指标包括：冲洗提示后响应情况、染色提示后响应情况、息肉腺瘤提示响应情况、回盲部达到情况、退镜时间(分钟)、升结肠退镜时间、横结肠退镜时间、降结肠退镜时间、乙状直肠退镜时间。在评价指标中每个部分都有相应到评分标注和对应到分数，供医院参考。
冲洗提示后响应情况是指医生看到屏幕上输出的冲洗提示信息后，医生是否实施冲洗。其中，是否实施冲洗可以是通过操作识别模型识别当前结肠镜观察视野中是否有医生实施冲洗操作。
染色提示后响应情况是指医生看到屏幕上输出的染色提示信息后，医生是否实施染色。其中，是否实施染色是通过操作识别模型识别当前结肠镜观察视野中是否有医生实施染色操作。
息肉腺瘤提示后响应情况是指医生看到屏幕上输出的息肉腺瘤提示信息后，医生是否实施进一步观察或活检或切除操作。其中，是否实施相应操作是通过操作识别模型识别当前结肠镜观察视野中是否有所对应操作。
回盲部达到情况是指结肠镜检查过程中，内窥镜镜头是否到达回盲部并观察该部位。回盲部达到情况通过解剖位置识别模型是否识别到回盲部辨别。
对于评价指标中每个部分的评分，采取以下形式：
1、冲洗提示后医生实施情况。
每次提示冲洗后医生都有实施冲洗行为，且不存在提示冲洗情况下留图，该情况下冲洗部分评分位满分，否则少一次扣一次分。
2.染色提示后医生反应情。
每次提示染色后医生都有染色行为(化学染色或电子染色)得满分，否则少一次扣一次分。
3.息肉腺瘤提示后反应情况。
息肉腺瘤框定提示后医生有进一步观察(染色放大)或活检或切除行为者满分，否则扣分。
4.回盲部达到情况。
达到回盲部得满分，否则扣分。
5.退镜时间。
退镜时间不小于6分钟且分配到升结肠段、横结肠段、降结肠段和乙状结肠直肠段退镜时间比较均衡者得满分，否则扣分。具体的评价规则可以根据实际情况调整。
从图3中可以看出，与图1对应的一些实施例的描述相比，图3对应的一些实施例中的基于人工智能的内窥镜辅助检查方法体现了结肠镜的辅助检查。解决了影响内窥镜诊断水平的黏膜清洁问题、黏膜染色问题、部位漏检问题、以及低年资医生的病变识别能力问题。提高了医生进境速度、进境质量和内窥镜的到达目标部位的成功率。有利于引导医生规范操作内窥镜检查，有利于弥补医生的经验不足或注意力不集中，有利于对每例内窥镜检查的实时评估，提高了内窥镜检查的效率和质量。
在一些可选的实现方式中，至少一个模型包括多病变识别模型；以及方法还包括：将结肠镜采集到的退镜时的视频流输入多病变识别模型，确定结肠是否存在非息肉或非腺瘤的病变特征。
作为示例，可以将视频流解析为至少一帧图像，将每帧图像进行图像预处理和特征提取后再输入多病变识别模型。图像预处理过程可以参考图2的图像预处理过程。特征提取可以参考图5-1中的通用特征提取网络。作为示例，也可以将图像的颜色特征、图像纹理特征、图像形状特征，与通用特征提取网络输出的特征拼接后，再输入多病变识别模型，确定结肠是否存在非息肉和非腺瘤的病变特征。其中，多病变识别模型的结构可以参考图中通用分类网络的网络结构。
在一些可选的实现方式中，方法还包括：将结肠镜采集到的退镜时的视频流输入息肉腺瘤边界识别模型确定当前位置的结肠的息肉和/或腺瘤的边界。
作为示例，确定当前位置的结肠的息肉和/或腺瘤的边界的过程可以参考上述确定结肠是否存在非息肉和非腺瘤的病变特征的过程，其中，息肉腺瘤边界识别模型的结构可以参考图5-1中的病灶边界识别网络的网络结构。
在一些可选的实现方式中，方法还包括：根据实时提示的结肠镜当前所处的位置，确定结肠镜的退镜时间。
作为示例，可以实时记录提示的结肠镜当前所处的位置，用于确定结肠镜的退镜时间。也可以通过操作识别模型识别确定医生的操作时间，将根据实时记录的结肠镜当前所处的位置计算出的时间减去医生的操作时间，确定结肠镜的退镜时间。
在一些可选的实现方式中，根据实时提示的结肠镜当前所处的位置，确定结肠镜的退镜时间，包括：当第一次出现实时提示的结肠镜当前所处的位置为回盲部，则开始计时升结肠退镜时间，当第一次出现实时提示的结肠镜当前所处的位置为横结肠，则结束计时升结肠退镜时间，得到升结肠退镜时间；当第一次出现实时提示的结肠镜当前所处的位置为横结肠，则开始计时横结肠退镜时间，当第一次出现实时提示的结肠镜当前所处的位置为脾曲，则结束计时横结肠退镜时间，得到横结肠退镜时间；当第一次出现实时提示的结肠镜当前所处的位置为脾曲，则开始计时降结肠退镜时间，当第一次出现实时提示的结肠镜当前所处的位置为乙状结肠，则结束计时降结肠退镜时间，得到降结肠退镜时间；当第一次出现实时提示的结肠镜当前所处的位置为乙状结肠，则开始计时乙状结肠退镜时间，当第一次出现实时提示的结肠镜当前所处的位置管直肠交界，则结束计时乙状结肠退镜时间，得到乙状结肠退镜时间；根据升结肠退镜时间、横结肠退镜时间、降结肠退镜时间和乙状结肠退镜时间，确定结肠镜的退镜时间。
作为示例，结肠镜的退镜时间段(比如将升结肠退镜时间、横结肠退镜时间算为一个时间段，降结肠退镜时间和乙状结肠退镜时间算为另一个时间段)可以根据具体需要根据实时提示的结肠镜当前所处的位置确定。作为示例，可以将升结肠退镜时间、横结肠退镜时间、降结肠退镜时间和乙状结肠退镜时间直接相加，确定结肠镜的退镜时间。也可以将升结肠退镜时间、横结肠退镜时间、降结肠退镜时间和乙状结肠退镜时间相加后，减去医生的操作时间，确定结肠镜的退镜时间。
作为示例，退镜过程中医生实施操作包括：实施冲洗、实施染色、实施活检、实施手术这4类操作。退镜时长统计中医生实施操作时长即实施冲洗、实施染色、实施活检、实施手术这4类操作过程统计的总时间。退镜过程中医生实施操作时长统计方法通过操作识别模型识别到上述4类实施操作时开始对相应的操作统计时长。参考图5-5。实施冲洗、实施染色两类操作还可以通过脚踏开关信号检测到。实施冲洗或染色时，脚踏开关信号通过串口协议传输到软件组件，软件组件统计实施冲洗或染色时长。
在一些可选的实现方式中，将结肠镜采集到的退镜时的视频流输入至少一个模型中之前，还包括：将结肠镜采集到的进镜时的视频流输入病变特征提取网络中，得到病变特征提取网络输出的进镜病灶特征并保存；以及方法还包括：将结肠镜采集到的退镜时的视频流输入病变特征提取网络中，得到病变特征提取网络输出的退镜病灶特征；将进镜病灶特征与退镜病灶特征进行相似度对比，若对比结果大于阈值，则提示进镜时当前部位检测到病灶。
参考图5-3，可以将图像进行预处理后，直接输入病变特征提取网络，提取病灶特征(进镜和退镜都提取病灶特征)。将进镜病灶特征与退镜病灶特征进行相似度对比，有利于防止漏诊。本发明对具体的相似度对比方法不做限定。
作为示例，在结肠镜进镜过程中，也可以通过将进镜时采集的视频流输入至少一个模型中(例如，解剖位置识别模型、清洁模型和息肉腺瘤识别模型、多病变识别模型或者息肉腺瘤边界识别模型等)，实时提示医生是否需要清洁、提示是否需要染色，或者提示病变信息等。
参考图5-6。结肠镜辅助检查装置由主机、软件组件、黏膜清洁组件和黏膜机器染色组件。主机包括AI主机、显示屏、黏膜清洁模块，黏膜机器染色模块和脚踏开关等构成；黏膜清洁组件包括冲洗容器、冲洗包、冲洗管路和连接器等；黏膜机器染色组件包括染色管路、喷洒管和各种黏膜机器染色专用染色液等。内窥镜主机可通过一条视频传输线连接，将结肠镜检查视频影像数据通过视频传输线以视频流传输形式传到本系统主机。主机中的软件组件分析处理视频流数据，在显示屏中实时输出提示信息和退镜时间。
软件组件具体工作流程如图5-3所示。软件组件是由多个智能识别模型组成，包括：清洁模型、解剖位置识别模型、息肉腺瘤识别模型、其它病变识别模型(即多病变识别模型)、操作识别模型。软件组件也是由通用模块和功能模块两大部分组成。其中，通用模块包括：预处理模块、特征提取模块；功能模块包括：清洁度分类模块、解剖位置分类模块(即解剖位置识别模型)、白光染色分类模块、息肉腺瘤分类模块、息肉腺瘤边界识别模块、其它病变识别模块组、操作识别模块、病变特征提取模块。模型和各个模块间的关系为：清洁度识别模型由通用模块、清洁度分类模块组成；解剖位置识别模型由通用模块、解剖位置分类模块组成；息肉腺瘤识别模型由通用模块、白光染色分类模块、息肉腺瘤分类模块、息肉腺瘤边界识别模块组成；其它病变识别模型组由通用模块、其它病变识别模块组组成；操作识别模型由通用模块、操作识别模块组成。清洁度分类模块用于识别当前输入软件组件的内窥镜图像清洁情况，可输出冲洗提示信息到显示屏。冲洗提示信息为：正常、需冲洗2类。清洁度分类模块输出显示受白光染色识别模块控制，仅当输入软件组件的内窥镜图像为白光状态时，清洁度分类模块输出才会在显示屏中显示。
其中，清洁度分类模块(即清洁模型)是由CNN层、全联接层、Sigmoid函数层组成的深度神经网络模型。
其中，解剖位置分类模块用于识别当前输入软件组件的内窥镜图像所处解剖位置，可输出解剖位置提示信息到显示屏以及计算退镜时间。提示解剖位置信息同时出现在结肠镜检查进镜和退镜过程中。
其中，解剖位置提示信息为：回肠末端、阑尾口、回盲瓣、升结肠、肝曲(或称结肠肝曲)、横结肠、脾曲、降结肠、乙状结肠、直肠、管直肠交界11个解剖位置。
其中，解剖位置分类模块是由CNN层、全联接层、Softmax函数层组成的深度神经网络模型。
其中，白光染色分类模块用于识别当前输入软件组件的内窥镜图像数据为白光或染色图像，控制息肉腺瘤分类模块的染色提示信息输出。
其中，控制息肉腺瘤分类模块的染色提示信息输出是通过白光染色分类模块输出一个布尔值(0/1)控制染色提示信息输出结果是否输出到显示屏。当软件组件输入白光状态下内窥镜图像时，白光染色分类模块输出为1，否则为0。当白光染色分类模块输出为0时，染色提示信息输出不会显示在显示屏。
其中，白光染色分类模块是由CNN层、全联接层、Sigmoid函数层组成的深度神经网络模型。
其中，息肉腺瘤分类模块用于识别当前输入软件组件的内窥镜图像中是否存在息肉或腺瘤病灶，可输出染色提示信息、息肉腺瘤提示信息到显示屏。
其中，染色提示信息为：正常或需染色。息肉腺瘤提示信息：正常或息肉腺瘤。
其中，息肉腺瘤分类模块是由CNN层、全联接层、Sigmoid函数层组成的深度神经网络模型。
其中，息肉腺瘤边界识别模块用于识别当前输入软件组件的内窥镜图像中是否存在息肉或腺瘤病灶，可输出息肉腺瘤边界勾画信息到显示屏。
其中，息肉腺瘤边界识别模块是由CNN层、反卷积层、全联接层、Sigmoid函数层组成的深度神经网络模型。
其中，其它病变识别模块组用于识别当前输入软件组件的内窥镜图像中是否存在其它病灶，存在其它病灶时输出提示信息到显示屏。其它病变识别模块组针对多种病变识别任务会有多个病变识别模块组成。
其中，操作识别模块用于识别当前输入软件组件的内窥镜图像中是否正在实施冲洗操作、染色操作、活检、手术，进而统计正在实施对应操作的时长。
其中，操作识别模块可识别到操作为：正常、冲洗操作、染色操作、活检、手术5类。
其中，操作识别模块是由CNN层、全联接层、Softmax函数层组成的深度神经网络模型。
其中，病变特征提取模块用于提取结肠镜进镜时病灶特征以及退镜时的结肠镜退镜特征。
其中，在结肠镜检查进镜时，息肉腺瘤分类模块检测到低/高疑似息肉腺瘤病灶，软件组件会自动对当前观察视野留图。当前留图会通过软件组件中预处理模块、特征提取模块、病变特征提取模块得到病变特征并保存。结肠镜检查退镜时，退镜视频流图像通过预处理模块、特征提取模块、病变特征提取模块得到退镜特征，该特征和留图特征进行相似度对比，定位进镜时检测到的病灶位置。
清洁度识别模型(即清洁模型)用于识别当前输入该模型的内窥镜图像清洁情况，可输出冲洗提示信息到显示屏。当清洁度识别模型提示冲洗后，并且操作识别模型检测到冲洗操作或软件组件检测到脚踏开关冲洗信号，清洁度识别模型仍然在前观察视野中提示冲洗，此时，软件组件会触发自动留图信号，记录检查过程中实施冲洗后仍然存在影响观察物质的部位。
解剖位置识别模型用于识别当前输入该模型的内窥镜图像所处解剖位置，可输出解剖位置提示信息到显示屏。
息肉腺瘤识别模型用于识别当前输入该模型的内窥镜图像是否存在息肉/腺瘤，可输出染色提示信息、息肉腺瘤提示信息到显示屏。内窥镜经染色后不再提示染色。
在结肠镜检查进镜时，息肉腺瘤分类模块检测到低/高疑似息肉腺瘤病灶，会自动记录当前结肠镜视野所处的体内位置，在退镜检查时会在显示屏中提示医生该部位存在低/高疑似息肉腺瘤病灶。
其它病变识别模型(即多病变识别模型)组用于识别当前输入软件组件的内窥镜图像中是否存在其它病灶，存在其它病灶时输出其它病灶提示信息到显示屏。
操作识别模型用于识别当前输入软件组件的内窥镜图像中是否正在实施冲洗操作、染色操作、放大观察、活检、手术，进而统计正在实施对应操作到时长。
请参阅图4，图4是根据本发明提供的基于人工智能的内窥镜辅助检查方法的胃镜辅助检查的一些实施例的流程示意图。如图4所示，该方法包括以下步骤：
步骤401，将内窥镜采集到的视频流输入至少一个模型中，通过至少一个模型，内窥镜包括胃镜，至少一个模型包括解剖位置识别模型、清洁模型和早癌识别模型，通过解剖位置识别模型确定胃镜当前所处的位置；通过清洁模型确定当前位置是否清洁；通过早癌识别模型确定当前位置是否存在早癌的病变，并实时提示内窥镜当前所处的位置。
胃镜检查的进镜和退镜过程一样。胃镜检查的装置也可以参考图5-6。胃镜检查的软件组件具体工作流程图5-7。
作为示例，早癌识别模型可以参考图5-10中的通用分类网络。关于解剖位置识别模型和清洁模型的具体实施方式可以参考图3中的相关描述。
在一些可选的实现方式中，早癌识别模型包括白光染色分类模型、早癌分类模型；以及通过早癌识别模型确定当前位置是否存在早癌的病变，包括：通过早癌分类模确定当前位置是否存在病变，病变包括存在高疑似早癌和存在低疑似早癌；以及若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息，包括：通过白光染色分类模型确定当前位置是否是白光状态；若当前位置是白光状态，且存在低疑似早癌，则提示染色；若当前位置是存在高疑似早癌，则提示存在早癌的病变信息。
作为示例，参考图5-8和图5-9，提示冲洗是清洁度分类模块(即清洁模型)识别到当前内窥镜观察视野中存在泡沫或其影响黏膜观察的物质后输出的提示信息。医生可根据提示信息实施冲洗操作。
提示染色是早癌识别模型识别中的早癌分类模块识别到当前内窥镜观察视野中存在低疑似早癌病灶后输出的提示信息。医生可根据提示信息实施染色操作。提示染色的具体实施方法可以参考考图3中的关于提示染色的描述。
低疑似早癌病灶是根据早癌识别模型中的早癌分类模块输出值范围定义。该范围确定方法为可以参考图3中的方法。
提示早癌是早癌识别模型中的早癌分类模块识别到当前内窥镜观察视野中存在高疑似早癌病灶后输出的提示信息，以及早癌边界识别模块输出到显示屏中勾画当前观察视野高概率早癌病灶边界提示信息。医生可根据提示信息作进一步观察或活检或切除操作。
提示解剖位置(即实时提示内窥镜当前所处的位置)是解剖位置识别模型识别当前内窥镜观察视野所处体内位置后输出的提示信息。提示解剖位置信息包括38类：口咽部、食管上段、食管中段、食管下段、食管胃结合部、胃体上部、胃体上部后壁、胃体上部前壁、胃体上部大弯、胃体上部小弯、胃体中部、胃体中部后壁、胃体中部前壁、胃体中部大弯、胃体中部小弯、胃体下部、胃体下部后壁、胃体下部前壁、胃体下部大弯、胃体下部小弯、窦体交界大弯、胃角、胃角后壁、胃角前壁、胃窦、胃窦后壁、胃窦前壁、胃窦大弯、胃窦小弯、幽门、十二指肠球部、十二指肠乳头部、胃底、胃底后壁、胃底前壁、胃底大弯、胃底小弯、贲门。提示解剖位置信息同时出现在内窥镜检查进镜和退镜过程中。
步骤402，若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
参考胃镜检查的软件组件具体工作流程图5-9，软件组件在内窥镜检查过程中输出的4类提示，包括：提示冲洗、提示染色、提示早癌、提示解剖位置、提示其它病变。
步骤403，响应于接收到对应提示需要清洁、提示染色或提示病变信息的操作，确定操作情况，根据操作情况和内窥镜的到达情况，通过预设的评价规则生成本次辅助检查的评价报告。
在一些实施例中，步骤403的具体实现及其所带来的技术效果，可以参考图1对应的实施例中的步骤103或参考图3对应的实施例中的步骤303，在此不再赘述。
胃镜辅助检查的过程的其他具体实施方式及其所带来的技术效果，可以参考图3中实施例的描述，在此不再赘述。
从图4中可以看出，与图1对应的一些实施例的描述相比，图4对应的一些实施例中的基于人工智能的内窥镜辅助检查方法体现了胃镜辅助检查的过程。解决了影响内窥镜诊断水平的黏膜清洁问题、黏膜染色问题、部位漏检问题、以及低年资医生的病变识别能力问题。提高了医生进境速度、进境质量和内窥镜的到达目标部位的成功率。有利于引导医生规范操作内窥镜检查，有利于弥补医生的经验不足或注意力不集中，有利于对每例内窥镜检查的实时评估，提高了内窥镜检查的效率和质量。
在一些可选的实现方式中，方法还包括：将胃镜采集到的视频流输入多病变识别模型，确定胃镜所处的位置是否存在非早癌的病变特征。
作为示例，多病变识别模型可以参考图5-10中的通用分类网络的结构。
在一些可选的实现方式中，方法还包括：将胃镜采集到的视频流输入早癌边界识别模型确定当前位置的早癌的边界。
作为示例，早癌边界识别模型可以参考图5-10中的病灶边界识别网络的结构。
综上，本发明具有的临床优势：
(1)辅助医生提高为胃肠镜诊断水平，通过黏膜清洁、黏膜机器染色、视频标注和黏膜图像识别4种专有技术的有机结合，解决影响胃肠镜诊断水平的黏膜清洁问题、黏膜染色问题、部位漏检问题、以及低年资医生的病变识别能力问题。
(2)参考图5-6，可实时识别胃肠镜视野黏膜清洁度，不清洁时有冲洗提示。可通过本系统的清洁模块功能实施及时冲洗清洁，该清洁模块的特征为：1.冲洗液是具有祛泡黏液功效的37℃恒温冲洗液，2、冲洗管路能通过副送水口或钳管口或吸引口与结胃肠镜相连接。
(3)当识别病变低疑似早癌(结肠镜为低疑似息肉或腺瘤)时提示医生黏膜染色。通过染色提示，医生可通过本系统的机器染色模块实施高质高效的黏膜机器染色。该染色模块的特征为：1.最多有三种染色液可供医生按键选用，每种染色液有剩余量提示，2.黏膜清洁功能和黏膜染色功能可按需转换，3.染色是通过非接触式的机器动力喷洒染色，4.医生通过脚踏开关控制染色的启停(参考图5-6)，染色均匀恒速，无需护士配合。
(4)当识别病变高疑似早癌时(胃镜)，框定病变区域并提示医生活检；当识别病变高疑似息肉或腺瘤时(结肠镜)，框定病变区域并提示医生，医生可进一步观察病变或病变活检或切除病变。
(5)医生胃镜检查检查时，可提示38个解剖部位是：口咽部、食管上段、食管中段、食管下段、食管胃结合部、胃体上部、胃体上部后壁、胃体上部前壁、胃体上部大弯、胃体上部小弯、胃体中部、胃体中部后壁、胃体中部前壁、胃体中部大弯、胃体中部小弯、胃体下部、胃体下部后壁、胃体下部前壁、胃体下部大弯、胃体下部小弯、窦体交界大弯、胃角、胃角后壁、胃角前壁、胃窦、胃窦后壁、胃窦前壁、胃窦大弯、胃窦小弯、幽门、十二指肠球部、十二指肠乳头部、胃底、胃底后壁、胃底前壁、胃底大弯、胃底小弯、贲门。这样可以实时显示漏检部位，提示医生补检。
(6)医生实施结肠镜检查进境时，可识别并提示结肠镜所达到的部位是：管直肠交界、直肠、乙状结肠、降结肠、脾曲、横结肠、肝曲、升结肠、回盲瓣、阑尾口、回肠末端。这样可提高医生进境速度、进境质量和达到回盲部的成功率。
(7)可以识别并自动结肠镜检查的退镜时间，包括以下分段退镜时间，从回盲末端到结肠肝曲的退镜时间为升结肠段退镜时间，从结肠肝曲到脾曲的退镜时间为横结肠段退镜时间，从脾曲到乙状结肠开始的退镜时间为降结肠段退镜时间，从乙状结肠开始到结肠镜退出体外为降结肠直肠段退镜时间。这样有利于结肠镜检查的质量控制，有利于各段结直肠的仔细观察，防止漏检，有利于结直肠腺瘤的检出。同时，对检查病变的精准定位更有利于病变的治疗。
(8)可通过冲洗提示、染色提示、早癌或息肉腺瘤提示、部位漏检提示和退镜时间提示后的医生的行为，以此作为胃肠镜检查质量评价指标。
(9)有利于引导医生规范操作胃肠镜检查，有利于弥补医生的经验不足或注意力不集中，有利于每例胃肠镜检查的实时评估，最终有利于提高胃肠镜检查的效率和质量。
请参阅图6，图6是根据本发明提供的基于人工智能的内窥镜辅助检查装置的一些实施例的结构示意图，作为对上述各图所示方法的实现，本发明还提供了一种基于人工智能的内窥镜辅助检查装置的一些实施例，这些装置实施例与图1所示的一些方法的实施例相对应，且该装置可以应用于各种电子设备中。
如图6所示，一些实施例的基于人工智能的内窥镜辅助检查装置600包括第一处理模块601、第二处理模块602：第一处理模块601，用于将内窥镜采集到的视频流输入至少一个模型中，通过至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示内窥镜当前所处的位置；第二处理模块602，用于若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
在一些实施例的可选实现方式中，装置还包括第三处理模块，用于响应于接收到对应提示需要清洁、提示染色或提示病变信息的操作，确定操作情况，根据操作情况和内窥镜的到达情况，通过预设的评价规则生成本次辅助检查的评价报告。
在一些实施例的可选实现方式中，第一处理模块601还用于：将内窥镜采集到的视频流解析为至少一帧的图像，将至少一帧的图像分别进行图像预处理后的输入特征提取模块，得到卷积神经网络特征；获取并拼接每一帧图像的内窥镜颜色特征、内窥镜纹理特征和内窥镜形状特征，得到每一帧图像的内窥镜图像特征；将卷积神经网络特征与内窥镜图像特征输入至少一个模型中。
在一些实施例的可选实现方式中，内窥镜包括结肠镜；以及第一处理模块601还用于：将结肠镜采集到的退镜时的视频流输入至少一个模型中，通过至少一个模型，分别确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变，并实时提示结肠镜当前所处的位置。
在一些实施例的可选实现方式中，至少一个模型包括解剖位置识别模型、清洁模型和息肉腺瘤识别模型；以及第一处理模块601还用于：通过解剖位置识别模型确定结肠镜当前所处的结肠的位置；通过清洁模型确定当前位置的结肠是否清洁；通过息肉腺瘤识别模型确定当前位置的结肠是否存在息肉和/或腺瘤的病变。
在一些实施例的可选实现方式中，至少一个模型包括多病变识别模型；以及装置还包括第四处理模块，用于：将结肠镜采集到的退镜时的视频流输入多病变识别模型，确定结肠是否存在非息肉或非腺瘤的病变特征。
在一些实施例的可选实现方式中，息肉腺瘤识别模型包括白光染色分类模型、息肉腺瘤分类模型；以及第一处理模块601还用于：通过息肉腺瘤分类模型确定当前位置的结肠是否存在病变，病变包括存在高疑似息肉和/或腺瘤和存在低疑似息肉和/或腺瘤；以及第二处理模块602还用于：通过白光染色分类模型确定当前位置的结肠是否是白光状态；若当前位置的结肠是白光状态，且存在低疑似息肉和/或腺瘤，则提示染色；若当前位置的结肠是高疑似息肉和/或腺瘤，则提示存在息肉和/或腺瘤。
在一些实施例的可选实现方式中，装置还包括第五处理模块，用于：将结肠镜采集到的退镜时的视频流输入息肉腺瘤边界识别模型确定当前位置的结肠的息肉和/或腺瘤的边界。
在一些实施例的可选实现方式中，装置还包括第六处理模块，用于：根据实时提示的结肠镜当前所处的位置，确定结肠镜的退镜时间。
在一些实施例的可选实现方式中，第六处理模块还用于：当第一次出现实时提示的结肠镜当前所处的位置为回盲部，则开始计时升结肠退镜时间，当第一次出现实时提示的结肠镜当前所处的位置为横结肠，则结束计时升结肠退镜时间，得到升结肠退镜时间；当第一次出现实时提示的结肠镜当前所处的位置为横结肠，则开始计时横结肠退镜时间，当第一次出现实时提示的结肠镜当前所处的位置为脾曲，则结束计时横结肠退镜时间，得到横结肠退镜时间；当第一次出现实时提示的结肠镜当前所处的位置为脾曲，则开始计时降结肠退镜时间，当第一次出现实时提示的结肠镜当前所处的位置为乙状结肠，则结束计时降结肠退镜时间，得到降结肠退镜时间；当第一次出现实时提示的结肠镜当前所处的位置为乙状结肠，则开始计时乙状结肠退镜时间，当第一次出现实时提示的结肠镜当前所处的位置管直肠交界，则结束计时乙状结肠退镜时间，得到乙状结肠退镜时间；根据升结肠退镜时间、横结肠退镜时间、降结肠退镜时间和乙状结肠退镜时间，确定结肠镜的退镜时间。
在一些实施例的可选实现方式中，装置还包括第七处理模块，用于：将结肠镜采集到的进镜时的视频流输入病变特征提取网络中，得到病变特征提取网络输出的进镜病灶特征并保存；以及装置还包括第八处理模块，用于：将结肠镜采集到的退镜时的视频流输入病变特征提取网络中，得到病变特征提取网络输出的退镜病灶特征；将进镜病灶特征与退镜病灶特征进行相似度对比，若对比结果大于阈值，则提示进镜时当前部位检测到病灶。
在一些实施例的可选实现方式中，内窥镜包括胃镜，至少一个模型包括解剖位置识别模型、清洁模型和早癌识别模型；以及第一处理模块601还用于：通过解剖位置识别模型确定胃镜当前所处的位置；通过清洁模型确定当前位置是否清洁；通过早癌识别模型确定当前位置是否存在早癌的病变。
在一些实施例的可选实现方式中，装置还包括第九处理模块，用于：将胃镜采集到的视频流输入多病变识别模型，确定胃镜所处的位置是否存在非早癌的病变特征。
在一些实施例的可选实现方式中，早癌识别模型包括白光染色分类模型、早癌分类模型；以及第一处理模块601还用于：通过早癌分类模确定当前位置是否存在病变，病变包括存在高疑似早癌和存在低疑似早癌；以及第二处理模块602还用于：通过白光染色分类模型确定当前位置是否是白光状态；若当前位置是白光状态，且存在低疑似早癌，则提示染色；若当前位置是存在高疑似早癌，则提示存在早癌的病变信息。
在一些实施例的可选实现方式中，装置还包括第十处理模块，用于：将胃镜采集到的视频流输入早癌边界识别模型确定当前位置的早癌的边界。
可以理解的是，该装置600中记载的各模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置600及其中包含的模块、单元，在此不再赘述。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(CommunicationsInterface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于人工智能的内窥镜辅助检查方法，该方法包括：将内窥镜采集到的视频流输入至少一个模型中，通过至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示内窥镜当前所处的位置；若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，上述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，上述计算机程序包括程序指令，当上述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于人工智能的内窥镜辅助检查方法，该方法包括：将内窥镜采集到的视频流输入至少一个模型中，通过至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示内窥镜当前所处的位置；若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于人工智能的内窥镜辅助检查方法，该方法包括：将内窥镜采集到的视频流输入至少一个模型中，通过至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示内窥镜当前所处的位置；若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
以上所描述的装置实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分上述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种基于人工智能的内窥镜辅助检查方法，其特征在于，包括：
将内窥镜采集到的视频流输入至少一个模型中，通过所述至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示所述内窥镜当前所处的位置；
若内窥镜当前所处的位置不清洁，则提示需要清洁；
若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
2.根据权利要求1所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述方法还包括：
响应于接收到对应所述提示需要清洁、提示染色或提示病变信息的操作，确定操作情况，根据操作情况和所述内窥镜的到达情况，通过预设的评价规则生成本次辅助检查的评价报告。
3.根据权利要求1所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述将内窥镜采集到的视频流输入至少一个模型中，包括：
将内窥镜采集到的视频流解析为至少一帧的图像，将至少一帧的图像分别进行图像预处理后的输入特征提取模块，得到卷积神经网络特征；
获取并拼接每一帧图像的内窥镜颜色特征、内窥镜纹理特征和内窥镜形状特征，得到每一帧图像的内窥镜图像特征；
将所述卷积神经网络特征与所述内窥镜图像特征输入所述至少一个模型中。
4.根据权利要求1、2或3所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述内窥镜包括结肠镜；以及
所述将内窥镜采集到的视频流输入至少一个模型中，通过所述至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示所述内窥镜当前所处的位置，包括：
将结肠镜采集到的退镜时的视频流输入至少一个模型中，通过所述至少一个模型，分别确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变，并实时提示所述结肠镜当前所处的位置。
5.根据权利要求4所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述至少一个模型包括解剖位置识别模型、清洁模型和息肉腺瘤识别模型；以及
所述通过所述至少一个模型，分别确定结肠镜当前所处的结肠的位置、当前位置的结肠是否清洁和当前位置的结肠是否存在病变，包括：
通过解剖位置识别模型确定结肠镜当前所处的结肠的位置；
通过清洁模型确定当前位置的结肠是否清洁；
通过息肉腺瘤识别模型确定当前位置的结肠是否存在息肉和/或腺瘤的病变。
6.根据权利要求4所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述至少一个模型包括多病变识别模型；以及
所述方法还包括：
将结肠镜采集到的退镜时的视频流输入多病变识别模型，确定结肠是否存在非息肉或非腺瘤的病变特征。
7.根据权利要求5所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述息肉腺瘤识别模型包括白光染色分类模型、息肉腺瘤分类模型；以及
所述通过息肉腺瘤识别模型确定当前位置的结肠是否存在息肉和/或腺瘤的病变，包括：
通过息肉腺瘤分类模型确定当前位置的结肠是否存在病变，所述病变包括存在高疑似息肉和/或腺瘤和存在低疑似息肉和/或腺瘤；以及
所述若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息，包括：
通过白光染色分类模型确定当前位置的结肠是否是白光状态；
若当前位置的结肠是白光状态，且存在低疑似息肉和/或腺瘤，则提示染色；
若当前位置的结肠是高疑似息肉和/或腺瘤，则提示存在息肉和/或腺瘤。
8.根据权利要求4所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述方法还包括：
将结肠镜采集到的退镜时的视频流输入息肉腺瘤边界识别模型确定当前位置的结肠的息肉和/或腺瘤的边界。
9.根据权利要求4所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述方法还包括：
根据实时提示的所述结肠镜当前所处的位置，确定结肠镜的退镜时间。
10.根据权利要求9所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述根据实时提示的所述结肠镜当前所处的位置，确定结肠镜的退镜时间，包括：
当第一次出现实时提示的所述结肠镜当前所处的位置为回盲部，则开始计时升结肠退镜时间，当第一次出现实时提示的所述结肠镜当前所处的位置为横结肠，则结束计时升结肠退镜时间，得到升结肠退镜时间；
当第一次出现实时提示的所述结肠镜当前所处的位置为横结肠，则开始计时横结肠退镜时间，当第一次出现实时提示的所述结肠镜当前所处的位置为脾曲，则结束计时横结肠退镜时间，得到横结肠退镜时间；
当第一次出现实时提示的所述结肠镜当前所处的位置为脾曲，则开始计时降结肠退镜时间，当第一次出现实时提示的所述结肠镜当前所处的位置为乙状结肠，则结束计时降结肠退镜时间，得到降结肠退镜时间；
当第一次出现实时提示的所述结肠镜当前所处的位置为乙状结肠，则开始计时乙状结肠退镜时间，当第一次出现实时提示的所述结肠镜当前所处的位置管直肠交界，则结束计时乙状结肠退镜时间，得到乙状结肠退镜时间；
根据所述升结肠退镜时间、横结肠退镜时间、降结肠退镜时间和乙状结肠退镜时间，确定所述结肠镜的退镜时间。
11.根据权利要求4所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述将结肠镜采集到的退镜时的视频流输入至少一个模型中之前，还包括：
将结肠镜采集到的进镜时的视频流输入病变特征提取网络中，得到所述病变特征提取网络输出的进镜病灶特征并保存；以及
所述方法还包括：
将结肠镜采集到的退镜时的视频流输入所述病变特征提取网络中，得到所述病变特征提取网络输出的退镜病灶特征；
将所述进镜病灶特征与所述退镜病灶特征进行相似度对比，若对比结果大于阈值，则提示进镜时当前部位检测到病灶。
12.根据权利要求1、2或3所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述内窥镜包括胃镜，所述至少一个模型包括所述解剖位置识别模型、所述清洁模型和早癌识别模型；以及
所述通过所述至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，包括：
通过所述解剖位置识别模型确定胃镜当前所处的位置；
通过清洁模型确定当前位置是否清洁；
通过早癌识别模型确定当前位置是否存在早癌的病变。
13.根据权利要求12所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述方法还包括：
将胃镜采集到的视频流输入所述多病变识别模型，确定胃镜所处的位置是否存在非早癌的病变特征。
14.根据权利要求12所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述早癌识别模型包括所述白光染色分类模型、早癌分类模型；以及
所述通过早癌识别模型确定当前位置是否存在早癌的病变，包括：
通过早癌分类模确定当前位置是否存在病变，所述病变包括存在高疑似早癌和存在低疑似早癌；以及
所述若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息，包括：
通过所述白光染色分类模型确定当前位置是否是白光状态；
若当前位置是白光状态，且存在低疑似早癌，则提示染色；
若当前位置是存在高疑似早癌，则提示存在早癌的病变信息。
15.根据权利要求12所述的基于人工智能的内窥镜辅助检查方法，其特征在于，所述方法还包括：
将胃镜采集到的视频流输入早癌边界识别模型确定当前位置的早癌的边界。
16.一种基于人工智能的内窥镜辅助检查装置，其特征在于，包括：
第一处理模块，用于将内窥镜采集到的视频流输入至少一个模型中，通过所述至少一个模型，分别确定内窥镜当前所处的位置、当前位置是否清洁和当前位置是否存在病变，并实时提示所述内窥镜当前所处的位置；
第二处理模块，用于若内窥镜当前所处的位置不清洁，则提示需要清洁；若内窥镜当前所处的位置存在病变，则根据病变情况提示染色，或者提示病变信息。
17.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至15任一项所述的基于人工智能的内窥镜辅助检查方法的步骤。
18.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15任一项所述的基于人工智能的内窥镜辅助检查方法的步骤。
19.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15任一项所述基于人工智能的内窥镜辅助检查方法的步骤。
CN202210112925.XA 2022-01-29 2022-01-29 一种基于人工智能的内窥镜辅助检查方法及装置 Pending CN114569043A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210112925.XA CN114569043A (zh) 2022-01-29 2022-01-29 一种基于人工智能的内窥镜辅助检查方法及装置
PCT/CN2023/071354 WO2023143014A1 (zh) 2022-01-29 2023-01-09 一种基于人工智能的内窥镜辅助检查方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210112925.XA CN114569043A (zh) 2022-01-29 2022-01-29 一种基于人工智能的内窥镜辅助检查方法及装置

Publications (1)

Publication Number Publication Date
CN114569043A true CN114569043A (zh) 2022-06-03

Family

ID=81772978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210112925.XA Pending CN114569043A (zh) 2022-01-29 2022-01-29 一种基于人工智能的内窥镜辅助检查方法及装置

Country Status (2)

Country Link
CN (1) CN114569043A (zh)
WO (1) WO2023143014A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035153A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
WO2023143014A1 (zh) * 2022-01-29 2023-08-03 王国华 一种基于人工智能的内窥镜辅助检查方法及装置
CN117392449A (zh) * 2023-10-24 2024-01-12 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备
CN118338077A (zh) * 2024-06-13 2024-07-12 天津御锦人工智能医疗科技有限公司 智能医学直播方法、系统、装置及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的癌症病灶范围预测辅助系统及方法
JP7110069B2 (ja) * 2018-11-22 2022-08-01 富士フイルム株式会社 内視鏡情報管理システム
WO2020174778A1 (ja) * 2019-02-28 2020-09-03 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
CN110495847B (zh) * 2019-08-23 2021-10-08 重庆天如生物科技有限公司 基于深度学习的消化道早癌辅助诊断系统和检查装置
JP7346285B2 (ja) * 2019-12-24 2023-09-19 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
CN112734707B (zh) * 2020-12-31 2023-03-24 重庆西山科技股份有限公司 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN112466466B (zh) * 2021-01-27 2021-05-18 萱闱(北京)生物科技有限公司 基于深度学习的消化道辅助检测方法、装置和计算设备
CN113724230A (zh) * 2021-09-01 2021-11-30 西安交通大学医学院第二附属医院 一种基于人工智能的新型消化道早期癌病变内镜诊断系统
CN114569043A (zh) * 2022-01-29 2022-06-03 重庆天如生物科技有限公司 一种基于人工智能的内窥镜辅助检查方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023143014A1 (zh) * 2022-01-29 2023-08-03 王国华 一种基于人工智能的内窥镜辅助检查方法及装置
CN115035153A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN117392449A (zh) * 2023-10-24 2024-01-12 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备
CN117392449B (zh) * 2023-10-24 2024-09-24 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备
CN118338077A (zh) * 2024-06-13 2024-07-12 天津御锦人工智能医疗科技有限公司 智能医学直播方法、系统、装置及存储介质
CN118338077B (zh) * 2024-06-13 2024-09-17 天津御锦人工智能医疗科技有限公司 智能医学直播方法、系统、装置及存储介质

Also Published As

Publication number Publication date
WO2023143014A1 (zh) 2023-08-03

Similar Documents

Publication Publication Date Title
CN110495847B (zh) 基于深度学习的消化道早癌辅助诊断系统和检查装置
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
CN109146884B (zh) 内窥镜检查监控方法及装置
CN114569043A (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
CN107708521A (zh) 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN112785549A (zh) 基于图像识别的肠镜检查质量评估方法、装置及存储介质
KR102255311B1 (ko) 인공지능 기반의 위내시경 영상 분석 방법
WO2020215807A1 (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN112566540A (zh) 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
CN115082448B (zh) 肠道清洁度评分方法、装置和计算机设备
CN111768389A (zh) 基于卷积神经网络和随机森林的消化道操作自动计时方法
CN113017702B (zh) 超声内镜小探头伸出长度的识别方法、系统及存储介质
CN111839445A (zh) 一种基于图像识别的结肠镜手术中窄带成像检测方法
JP2006223376A (ja) 医用画像処理装置
CN113962998A (zh) 肠镜检查的有效退镜时间评估方法、装置及存储介质
JP2019111040A (ja) 画像解析装置及び画像解析方法
Liedlgruber et al. A summary of research targeted at computer-aided decision support in endoscopy of the gastrointestinal tract
CN111839429A (zh) 一种基于图像识别判断结肠镜检查是否完整的检测方法
WO2013150419A1 (en) Quality-check during medical imaging procedure
WO2024171780A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination