CN116612877A - 计算机协助的辅助系统和方法及其存储介质 - Google Patents

计算机协助的辅助系统和方法及其存储介质 Download PDF

Info

Publication number
CN116612877A
CN116612877A CN202310121402.6A CN202310121402A CN116612877A CN 116612877 A CN116612877 A CN 116612877A CN 202310121402 A CN202310121402 A CN 202310121402A CN 116612877 A CN116612877 A CN 116612877A
Authority
CN
China
Prior art keywords
computer
control unit
lesion
classification
lesions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310121402.6A
Other languages
English (en)
Inventor
T·于尔根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Winter and Ibe GmbH
Original Assignee
Olympus Winter and Ibe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Winter and Ibe GmbH filed Critical Olympus Winter and Ibe GmbH
Publication of CN116612877A publication Critical patent/CN116612877A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Urology & Nephrology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及计算机协助的辅助系统和方法及其存储介质。本发明涉及在内窥镜检查中使用的计算机协助的辅助系统(10)和方法以及软件程序。辅助系统(10)包括至少一个视频内窥镜器具(12)、与至少一个视频内窥镜器具(12)连接的控制单元(14)以及与控制单元(14)连接或集成的显示装置(16)，控制单元(14)被配置为基于由视频内窥镜器具(12)示出的病变(24)的大小和分类二者的组合来自动地选择治疗指南并且在显示装置(16)上显示所选择的治疗指南。

Description

计算机协助的辅助系统和方法及其存储介质
技术领域
本发明涉及在内窥镜检查中使用的计算机协助的辅助系统以及用于所述计算机协助的辅助系统的控制单元的软件程序，辅助系统包括至少一个视频内窥镜器具、与至少一个视频内窥镜器具连接的控制单元以及与控制单元连接的显示装置。
本发明涉及要用于内窥镜手术的计算机协助的辅助或检测系统(CAA、CAD)的用户界面的创建。所提供的构思要求保护若干想法以便提高内窥镜手术的安全性以及CAA和CAD装置计算机辅助检测的可用性和用户体验。在本发明的上下文中，术语计算机协助的辅助系统包括计算机辅助检测系统。
背景技术
用于在内窥镜手术中部署计算机辅助检测(CADe)和计算机辅助诊断(CADx)的当前装置和软件应用没有很好地彼此连接并且没有很好地连接到文档系统。仅存在非常有限的与这样的系统交互的方式。这使它们变得笨重并且容易减少手术安全性以及由这样的系统执行的诊断的可靠性。
在大肠镜(例如，大肠、结肠的内窥镜检查)的领域，术者需要在大肠镜期间识别出在内窥镜影像中可见的任何病变。病变可以作为息肉、腺瘤(具有变得癌变的可能的病变)或癌变结构存在。取决于它们的尺寸和特性，操作的外科医生需要决定是否去除此类病变以及使用哪种手术。去除手术的正确选择将对术后并发症的发生或缺乏具有立即的效果。
在什么情况下应该应用哪些手术的问题已经在密集的研究中。示例性概述可以见于S.Tanaka等人的“循证临床实践指南：结直肠息肉的管理(Evidence-based clinicalpractice guidelines for management of colorectal polyps)”，日本胃肠病学会的胃肠病学杂志(2021)56:323-335。这些实践指南旨在供一般临床医生用于治疗结直肠病变。它最终是标准参考并且应该与对每个患者的偏好、年龄、并发症和社会状况的仔细考虑结合使用。在治疗指南的内容下，它介绍了针对结直肠息肉的治疗(包括治疗后的观察)的临床问题。一些推荐包括针对大小≥6mm的病变、以及针对大小≤5mm的小型息肉状腺瘤、以及针对扁平和凹陷的瘤性病变(即使大小≤5mm)执行内窥镜排除。该文档还评论了增生性息肉的管理、冷圈套息肉切除术的指征、锯齿状结直肠病变和自然扩散肿瘤以及其它。
还进行了工作以查明是否可以查明治疗指南在结直肠病变的治疗中是否具有提升手术安全性和临床结果的效果。与这方面有关的研究公开在M.Kato等人的“针对亚厘米结直肠息肉的基于日本窄带成像专家组分类的治疗算法的验证(Validation oftreatment algorithms based on the Japan narrow-band imaging expert teamclassification for sub-centimeter colorectal polyps)”，Endoscopy InternationalOpen 2018；06:E934–E940。此研究包括对基于内窥镜诊断(包括具有放大内窥镜的窄带成像(NBI-ME))的小息肉的数千治疗的回顾性研究。对于该研究，在那些早期手术中发行和存档的病变首先被专家根据其宏观类型分类为类型0-Ip、0-Is、0-Isp、0-IIa或0-IIc。宏观类型0-Is、0-Isp和0-IIa的病变然后根据JNET分类方案分类为1型、2A型、2B型或3型。在JNET1型和2A型的情况下，病变的大小也被考虑在内，而在宏观类型0-IIc中，病变的表面上的凹坑图案被考虑在内。取决于它们的分类(宏观类型、NICE或JNET分类、病变的大小和/或凹坑图案)，专家遵循为此目的设置的工作流程或算法而得出不同的治疗建议，诸如将它留在原位、通过冷圈套息肉切除术(CSP)进行切除、通过冷钳息肉切除术(CFP)进行切除、通过热圈套息肉切除术(HSP)进行切除、内窥镜粘膜切除术(EMR)或通过外科手术切除。对于此研究中的每个病变，分析了实际切除是否是按照利用由专家使用作流程或算法而得出推荐来执行的。发现了按照示意图执行的切除比未按照的切除具有低得多的并发症。
发明内容
本发明的一个目的是在内窥镜检查中提高手术安全性并且减少术后并发症的发生。
此目的是通过在内窥镜检查中使用的计算机协助的辅助系统来实现的，该辅助系统包括至少一个视频内窥镜器具、与至少一个视频内窥镜器具连接的控制单元以及与控制单元连接或集成的显示装置，控制单元被配置为基于由视频内窥镜器具示出的病变的大小和分类二者的组合来自动地选择治疗指南并且在显示装置上显示所选择的治疗指南。
此外，为了基于病变的大小和分类二者的组合来自动地选择治疗指南，可以提供存储器和/或数据库，其中存储有在第一方向(例如，X方向)上布置有病变的类型并且在第二方向(例如，Y方向)上布置有病变的大小，并且在第一方向和第二方向的交叉处布置有推荐的治疗指南的表格。因此，通过参考表格，可以唯一地根据病变的大小和类型来确定治疗指南。在另一示例中，基于病变的大小和分类二者的组合的治疗指南的自动选择也可以基于AI模型或推断模型来实现。AI模型或推断模型可以在执行推断之前利用大量的标记有病变的大小和类型以及相关联的治疗指南的训练数据进行训练，从而能够准确地推断出对应的治疗指南。当然，本发明不限于仅基于病变的大小和类型二者来选择治疗指南，并且如下文所述，其它的因素或参数(例如，由内窥镜器具提供的图像之外的信息，诸如患者和手术信息等等)也可以被考虑在内。由此，能够确认所选择的治疗指南的依据，并且能够做出适当的判断。
虽然进行大肠镜的外科医生最终总是在诊断结直肠病变并决定治疗策略时取决于他或她的判断，但是根据本发明的计算机协助的辅助系统被涉及以辅助诊断和治疗决策过程。具体地，通过基于病变大小和特性为治疗选项提供标准参考框架，它向术者提供了针对各种病变的标准化的且充分验证的治疗选项。治疗选项的这个基线将在病变大小和分类为系统所知后立即可用，这帮助避免冗长且有潜在危险的停顿。然后术者可以考虑可能更新治疗方法的推荐的其它参数，诸如患者的年龄或整体状况或者周围的结肠。
计算机协助的辅助系统是被配置为支持和辅助术者(例如，外科医生)执行大肠镜并针对各种结直肠病变选取正确治疗的基于计算机的临床支持系统(CDSS)的实现。
病变的分类可以遵循任何建立的分类方案，诸如根据JNET或NICE的分类方案或任何其它分类方案，包括由计算机协助的辅助系统的制造商使用的专有方案。
视频内窥镜器具可以是通过远端摄像头单元、近端摄像头单元或单独的摄像头提供视频影像的任何内窥镜装置。为了切除病变的目的，视频内窥镜器具可以具有用于向远端提供内治疗工具的一个或更多个单独的通道。
在实施方式中，控制单元包括提供电源和视频处理功能的内窥镜控制子单元以及图像分析子单元，内窥镜控制子单元和图像分析子单元被配置为单独且连接的装置，或者被配置为单个装置内的软件和/或硬件单元。如果子单元被提供为单独且连接的装置，则可以重复使用现有的内窥镜控制单元而无需更改。
在另一方面，控制单元可以被配置为：使用在通过用观察用白色光进行照射而获得的多个图像数据中的每一个上标注病变的大小和分类的训练数据组来训练推断模型，并且使用已经训练的推断模型来正确地推断病变的表面组织下的浸润程度；并且将与由视频内窥镜器具示出的图像对应的图像数据输入到推断模型中，基于作为推断结果而获得的病变的大小和分类二者的组合来自动地选择使用与照射图像的观察用白色光不同的特殊光照明的治疗指南。此外，可以将与由视频内窥镜器具示出的图像对应的图像数据输入到预先配置或存储的对照表或数据库中，并且可以从对照表或数据库中获得与输入的图像数据相对应的、使用与照射图像的观察用白色光不同的特殊光照明的治疗指南。
所选择的信息(例如，病变的大小和分类，或者治疗指南等)可以通过显示器和/或扬声器以视觉和/或听觉的方式输出。此外，控制单元可以使用在通过用观察用白色光进行照射而获得的多个图像数据中的每一个上标注与观察、检查、治疗等相关的信息(例如，病变的表面组织下的浸润程度)，然后使用已经训练的推断模型来正确地推断并输出病变的表面组织下的浸润程度及其观察和治疗的方法。
在另一方面，显示装置的屏幕的特定部分可以被划分为彼此相邻布置的至少三个部分并且至少三个部分中的每个部分分别包含关于病变的大小、病变的分类和治疗指南的信息并且与由视频内窥镜器具获取的图像一起显示。通过以这种方式在推断结果的显示区域附近显示推断的输入(基础)，术者可以在合理快速地检查推断的同时采取处置手段。
在另一方面，控制单元，特别地，图像分析子单元，包括图像识别功能并且被配置为对由视频内窥镜器具提供的图像自动地执行以下动作中的至少一个：
-识别结肠内部的病变；
-确定病变的大小；以及
-确定病变的分类。
图像识别功能可以以已知的方式(通过已知的图像识别算法或者对各种类型的结直肠病变的众多预分类图像的神经网络客户端的形式，或者通过其它已知的方法)。以此方式，计算机协助的辅助系统为术者部分地或完全地提供由控制单元自动推导的诸如大小和/或分类之类的病变规格。这提供了与术者进行的视觉评估独立的治疗指南的自动选择的基础，并且由此增加了病变的诊断和适当治疗的选择的稳健性。
在又一方面中，病变的大小的确定和病变的分类的确定中的至少一者基于图像处理，特别地，使用窄带成像(NBI)，特别是考虑了病变的表面上的凹坑图案，基于来自术者的语音输入，或者基于由术者通过人机接口装置的手动输入或选择，其中，特别地，人机接口装置被实现在显示装置或控制单元中。由此，使得术者可以通过语音输入或者手动输入提供病变的大小和病变的分类中的一个或更多个。为此目的，系统可以设置有与控制单元(特别地，图像分析子单元)连接或用控制单元(特别地，图像分析子单元)实现的麦克风装置。
在又一方面，控制单元，特别地，图像分析子单元，被配置为进行病变的位置的识别和记录中的至少一者。这意味着控制单元知道内窥镜检查装置的远端在结肠内部的位置并且将术者从手动地定位病变和/或记录病变的位置中解放出来。这可以通过在控制单元中包括地标检测功能来进行支持，地标是人体结肠的特定网络，诸如肝曲、脾曲、直肠或盲肠(回盲瓣)以及其它。作为自动地标检测的备选，也可以通过语音命令输入地标的到达。此位置信息可以与指示视频内窥镜装置已经延伸到患者的结肠内多远的长度测量相结合。
如果实现了地标检测或输入，则可以在显示装置上显示当前位置，例如以具有针对地标的标记的进度条的形式，或者在患者的结肠的示意表示上指示当前位置。病变发现的位置可以分组为地标之间的估计，或者可以通过音频评论(例如，通过提供内窥镜的插入深度作为语言输入)或者还与诸如电磁跟踪之类的其它工具相组合来增强地标之间的定位/位置确定。
在系统的一方面中，建议的治疗指南包括以下中的一个或更多个：
-将病变留在原位的建议；
-使用热圈套息肉切除术/内窥镜粘膜切除术执行息肉切除术的建议；
-执行冷息肉切除术，特别地，冷圈套息肉切除术和冷钳息肉切除术中的至少一个，的建议；以及
-通过外科手术去除病变的建议。
在系统的另一方面中，控制单元，特别地，图像分析子单元，被配置为针对以下中的至少一个提供结构化语音交互功能和非结构化语音交互输入功能中的至少一种：
-输入病变的大小和病变的分类中的至少一者；
-术中报告，特别地，切除的粘膜面积和切除结果的存档；
-纠正计算机协助的检测算法调查结果和计算机协助的诊断算法调查结果中的至少一者；以及
-存档未被计算机协助的检测算法和计算机协助的诊断算法覆盖的调查结果。
其中，术中报告可以利用非结构化语音交互功能完成，但也以更标准化的方式利用结构化语音交互功能完成，其中对于大肠镜中的病变的所有或大部分发现共同的某些标准化字段通过它们的字段名称或类别名称以及一旦选择字段就提供的信息来寻址。病变的大小和病变的分类中的至少一者优选地利用结构化语音交互功能完成。对于纠正计算机协助的检测算法调查结果和计算机协助的诊断算法调查结果中的至少一者来说也是如此。未被计算机协助的检测算法和计算机协助的诊断算法覆盖或发现的调查结果的存档对于非结构化语音交互功能更为典型。在这种情况下，术者的声音输入可以被记录或转录成文本。转录的文本上的语音记录可以与可以自动拍摄的视频片段和/或静止图像一起被存储。
在系统的又一方面，控制单元，特别地，图像分析子单元，被配置为提供以下附加功能中的至少一个：
-提供用于检测内治疗工具的检测算法以及在检测到内治疗工具时对于CAD叠覆(overlay)的自动抑制；
-向术者指示粘膜表面的不足覆盖；
-向术者展示先前的报告或调查结果以用于比较；
-创建自动案例概要。
检测内治疗工具的检测算法的提供再次是利用针对诸如圈套器、钳子、网篮、刮器或刀具之类的内治疗工具的检测而专门设计或训练的图像识别算法自动完成的。由于内治疗工具的存在指示术者正在进行病变的切除的过程中，任何附加的CAD叠覆将防止术者在手术期间准确地看到病变的整体及其环境并且增加了术者的认知负荷。因此，只要单元中存在内治疗工具就停用叠覆从所显示的场景中去除了视觉妨碍并且增加了手术的安全性。
向术者指示粘膜表面的不足覆盖有利于避免在结肠壁的覆盖范围中出现盲点。术者可以被提示在特定方向上移动内窥镜以包括先前的盲点的覆盖，例如，通过显示箭头标记。这也可以采用勾勒外围没有被良好地视觉化的图像的区域或者文本信息的形式。如果不完整的覆盖无法被填充，则盲点的存在可以被记录和/或指示于进度条或类似的进度指示装置上。
向术者展示先前的报告或调查结果以用于比较可以通过使控制单元，特别地，图像分析子单元，访问案例文件来实现。这在先前检测的病变或先前去除的病变的位置与视频内窥镜的远端的当前位置匹配时特别有用，并且先前手术的匹配的调查结果被显示或读取给术者以用于比较。此特征提供了当前调查结果和先前调查结果的位置的上下文感知。例如，当前调查结果(例如，通过CAD算法检测到的息肉)的位置可以与先前手术的调查结果进行比较，例如检查小型增生性病变的进展。术者然后将能够评估先前调查结果的、未去除的病变的进一步发展或者先前已经去除病变的部位的愈合过程。先前调查结果也可以显示给术者，例如在进度条或结肠的示意表示上。此外，一旦到达先前调查结果的位置，可以显示先前调查结果，即，图像和/或视频。例如，可以通过语音交互来控制回放和显示。
控制单元，特别地，图像分析子单元，也可以提供有创建自动案例概要的功能。除了案例概要的通常数据(诸如大肠镜的日期、时间、长度，患者和术者的身份，使用的设备等)之外，自动案例概要还可以包括在大肠镜期间拍摄的视频片段和/或静止图像以及关于病变的调查结果，任何语音输入，以及自动检测到的、通过手动输入或语音命令的输入以及对于自动调查结果、选择的治疗指南和病变的切除的任何纠正，以及用于切除的方法和工具。案例概要还可以包括先前调查结果的数据，诸如位置元数据以及先前调查结果的大小和分类。作为示例，上述的术中报告的存档可以与具体的概要服务结合使用，例如，可以发送存档的文件并且接收和获得概要，从而可以确定概要的创建还需要什么信息，从而可以从存档的文件中提取相应的信息，从而创建概要。概要需要的信息例如可以包括患者ID、医生的姓名、检查日期和时间、病变的位置、病变的分类结果、病变的大小以及治疗方法等。此类信息有助于生成报告。本文可以包括所选择的治疗指南以及关于是否根据这些指南进行治疗的信息。是否进行了治疗可以根据利用内窥镜获取的目标部位的图像的变化来判断，也可以根据医生和医务人员的问卷形式的回答来判断。
在手术之后，案例概要可以由术者查看并且通过各种装置(例如，台式PC、平板或移动电话)经由与CAD系统的点对点连接或者经由CAD系统将案例概要所存储于的第三存储位置来进行访问。可以使用案例概要的用户界面，以便纠正算法的调查结果，添加缺失的信息，或者删除多余的信息。在案例概要完稿之后，它被导出到其它文档工具和数据库。
本发明还提供了一种在内窥镜检查中使用的计算机协助的辅助系统，该辅助系统包括至少一个视频内窥镜器具、与至少一个视频内窥镜器具连接的控制单元以及与控制单元连接或集成的显示装置，控制单元被配置为基于由视频内窥镜器具示出的病变的大小和分类二者的组合来自动地选择治疗指南并且在显示装置上显示所选择的治疗指南，其中，显示装置的屏幕的特定部分被划分为彼此相邻布置的至少三个部分并且至少三个部分中的每个部分分别包含关于病变的大小、病变的分类和治疗指南的信息并且与由视频内窥镜器具获取的图像一起显示。
需要指出的是，尽管本申请以大肠内窥镜手术为例描述了本发明的辅助系统，但本发明的辅助系统不限于大肠内窥镜手术。例如，本发明还可以应用于结肠镜，或者胃肠镜、腹腔镜、支气管镜、泌尿外科内窥镜等等，并且也可以应用于手术前对患处的观察和检查。
本发明还提供了一种在内窥镜检查中使用的计算机协助的辅助系统，该辅助系统包括至少一个视频内窥镜器具、与至少一个视频内窥镜器具连接的控制单元以及与控制单元连接或集成的显示装置，控制单元被配置为：使用在通过用观察用白色光进行照射而获得的多个图像数据中的每一个上标注病变的大小和分类的训练数据组来训练推断模型，并且使用已经训练的推断模型来正确地推断病变的表面组织下的浸润程度；将与由视频内窥镜器具示出的图像对应的图像数据输入到推断模型中，基于作为推断结果而获得的病变的大小和分类二者的组合来指引与照射图像的观察用白色光不同的特殊光照明，特殊光照明能够允许病变的表面组织下方的查看，和/或选择使用能够对病变的表面组织下方进行治疗的内治疗工具的治疗指南；并且在显示装置上显示所选择的治疗指南。
本发明的系统配置不限于此，并且一体型系统也是可能的，并且内窥镜的镜体和显示单元可以是分体的。此外，控制单元可以是集成的，或者也可以与云端的控制单元协作。也就是说，从内窥镜获得图像并向显示单元输出显示信号的控制单元可以将获得的图像发送到云端，使与互联网等网络连接的服务器进行推断并显示结果。此外，结果也可以在显示单元上显示。
本发明的目的还利用一种用于内窥镜检查的计算机协助的辅助方法来实现，其中，在内窥镜检查期间，前述计算机协助的辅助系统的控制单元，特别地，图像分析子单元，基于由计算机协助的辅助系统的视频内窥镜器具示出的病变的大小和分类二者的组合来自动地选择治疗指南并且在计算机协助的辅助系统的显示装置上显示所选择的治疗指南。软件程序由此实现与计算机协助的辅助系统相同的特性、优点和特征。
在另一方面中，控制单元，特别地，图像分析子单元，通过图像处理和识别对由视频内窥镜器具提供的图像自动地执行以下动作中的至少一个：
-识别结肠内部的病变；
-确定病变的大小；以及
-确定病变的分类。
特别地，使用窄带成像(NBI)，特别是考虑了病变的表面上的凹坑图案。
控制单元，特别地，图像分析子单元，可以进行病变的位置的识别和记录中的至少一者。
此外，可以使用由控制单元，特别地，图像分析子单元提供的结构化语音交互功能和非结构化语音交互输入功能中的至少一种执行以下中的至少一个：
-输入病变的大小和病变的分类中的至少一者；
-术中报告，特别地，切除的粘膜面积和切除结果的存档；
-纠正计算机协助的检测算法调查结果和计算机协助的诊断算法调查结果中的至少一者；以及
-存档未被计算机协助的检测算法和计算机协助的诊断算法覆盖的调查结果。
在其它方面中，控制单元，特别地，图像分析子单元，可以执行以下中的至少一个：
-提供用于检测内治疗工具的检测算法以及在检测到内治疗工具对于CAD叠覆的自动抑制；
-向术者指示粘膜表面的不足覆盖；
-向术者展示先前的报告或调查结果以用于比较；以及
-创建自动案例概要。
这些功能已经在计算机协助的辅助系统的上下文中进行了讨论。
本发明的目的还通过具有计算代码装置的计算机程序来实现，计算机程序当在上述计算机协助的辅助系统的控制单元，特别地，图像分析子单元，上执行时，向控制单元，特别地，图像分析子单元，提供以下功能：基于由计算机协助的辅助系统的视频内窥镜器具示出的病变的大小和分类二者的组合来自动地选择治疗指南；以及在计算机协助的辅助系统的显示装置上显示所选择的治疗指南，并且特别地，附加地提供有上述计算机协助的辅助系统和方法的控制单元，特别地，图像分析子单元，的任何其它功能。
本发明的进一步特征将从根据本发明的实施方式以及权利要求和附图的描述中变得显而易见。根据本发明的实施方式能够实现单独的特性或者若干特性的组合
附图说明
下面基于示例性实施方式描述本发明，而不限制本发明的总体意图，其中关于没有在文本中更详细地说明的根据本发明的所有细节的公开，明确地参考附图。附图示出于：
图1：根据本公开的计算机协助的辅助系统的示意图，
图2：根据本公开的计算机协助的辅助系统的视觉用户界面的显示图，
图3：根据本公开的用于选择治疗指南的工作流程的实施方式的示意表示，
图4：根据本公开的计算机协助的辅助系统的视觉用户界面的另一显示图，以及
图5：示例性的基于计算机的临床决策支持系统的示意表示。
具体实施方式
在附图中，相同或相似类型的元件或分别相应的部件设置有相同的附图标号以防止需要重新引入项目。
图1示出了根据本公开的计算机协助的辅助系统10的示意图。基本设置包括视频内窥镜器具12，其用于大肠镜，大肠镜可以是在其远端部分具有摄像头单元以及可能的用于引导诸如圈套器或钳子之类的内窥镜工具穿过的一个或更多个通道。视频内窥镜器具12与控制单元14连接，该控制单元14可以为视频内窥镜器具12的电组件供电并且从视频内窥镜器具12接收图像数据流。在控制单元14上运行的软件程序或软件程序套件为控制单元14提供执行其任务的功能以作为计算机协助的辅助系统10，使得它能够在大肠镜期间识别出病变的事件中辅助选择适当的治疗指南。
控制单元14可以包括两个子单元，即，内窥镜提供子单元14a和图像分析子单元14b，内窥镜控制子单元14a控制和提供能量给一个或更多个内窥镜并且提供视频处理，即，将电子内窥镜视频信号转换成图像流。后者提供图像分析功能，例如图像识别，并且包含执行本公开中说明的附加功能所需的逻辑。如果子单元14a、14b驻留在不同的装置中，则可以使用标准的内窥镜提供和视频处理单元而无需修改，并且图像分析和决策功能可以驻留在诸如可编程计算机之类的单独装置中。鉴于这种情况，控制单元14在图1中指示为虚线。另选地，可以将图像分析子单元14b实现为在内窥镜提供和控制装置的计算部中的软件实现。
控制单元14，更特别地，它的图像分析子单元14a，与显示装置16连接或者并入了显示装置16，显示装置16被配置为显示从视频内窥镜器具12馈送的、由控制单元14的提供和视频处理子单元14a处理的图像。显示装置16可以是与控制单元14连接的单独且独立的视频屏幕，或者是集成到控制单元14，特别地，图像分析子单元14b中的屏幕。显示装置16或控制单元14或它的图像分析子单元14b可以具有用于输入命令或数据的合适的输入装置，例如，键盘、鼠标装置、开关或其它手动输入装置、或用于语言交互功能的麦克风的形式。
整个系统还可以包括内治疗工具，诸如冷圈套器和热圈套器或者钳子，包括为热工具供电的装置。
在进一步的扩展中，图1所示的计算机协助的辅助系统10的控制单元14或其图像分析子单元14b可以连接到运行用于过去和当前的大肠镜手术以及它们的调查结果的数据库的中央服务器计算机系统，诸如图5中显示的系统。
图2示出了根据本公开的视觉用户界面的显示20，其被显示在计算机协助的辅助系统10的显示装置16的屏幕上。屏幕上的显示20被分成几个区域。右侧上的最大区域包含来自视频内窥镜器具12的、由控制单元14或其提供和视频处理子单元14a处理的大肠镜的图像馈送22。图像示出了患者的大肠壁的具有息肉形式的已识别病变24的部分的图像。病变24由边界框形式的CAD叠覆26突出显示(或高亮显示)。右下角的小符号“CAD”指示CAD叠覆功能开启。右上角的小符号“WLI”指示当前图像是使用白光成像(WLI)捕获的。图像22的左上角的符号“REC”指示当前显示的图像流正在被记录。
显示20的左侧上的小区域包含关于大肠镜手术本身的信息以及关于当前正在研究的、右侧的图像22中显示的病变24的信息。需要注意的是，显示20上的各个区域以及每个区域中包含的信息所占用的面积或尺寸不是固定的，并且可以被选择性地放大，以便在不干扰显示的情况下更清楚地确认图像中的患部的状况。此外，引导信息可以被大尺寸显示，并且可以应用叠覆等的技术。此部分的显示的最上部分包含患者和手术数据30，诸如当前时间(“T”)、患者的姓名(“P”)、完全进入大肠镜所使用的时间(“TT”)和退出时间(“WT”)。患者和手术数据的正下方30存在进度条32，其指示大肠镜的进度以及大肠镜的远端的位置。大肠的地标，诸如盲肠、肝曲和脾曲等，被指示为菱形符号。诸如蘑菇形符号之类的其它符号表示在大肠镜期间或者在先前的大肠镜中发现的病变的位置。
在进度条32下方，周界位置指示符34被显示，其将当前研究的病变在周界方向上的位置视觉化。病变本身被指示为热图的形式。
在周界位置指示符34下方，病变信息36被显示在四个区域中。左上场区示出了8-10mm的息肉大小以及小符号表示，其中三个条中的两个条被高亮，这指示这是中等大小的息肉。右上场区示出了病变24被分类为NICE 2类型，NICE 2是腺瘤的特性。由于腺瘤有癌变的可能性，所以建议将它们切除。
需要注意的是，本文所述的显示20上示出的诸如病变的大小和分类的识别结果以及是否被切除之类的信息可以被存档以供后续查看。作为示例，这里的分类的识别结果是通过从预先准备的对应数据库中搜索与结果信息的分类对应的词、符号和标识符来应用的，并且尺寸信息是从尺寸信息数值转换而来的结果信息。可以通过从预先准备的对应数据库中搜索结果对应的单词和句子，并应用它们来获得单词候选和文档候选，并将它们应用到特定的模板中来实现。其他文件化项目同样根据需要使用数据库、字符识别、语音识别等表征技术实现。
此外，可以记录治疗指南，并且可以记录是否已经进行了相应的治疗。对此，可以使用图像信息并且基于改变来确定是否执行了适当的治疗以及出血是否停止。如果需要的话，控制单元可以执行记录控制从而记录证据图像。
左下角示出了息肉的符号，而右下角包含治疗指南的建议，即，执行RDI(红色二色成像)检查以确认调查结果、去除息肉、以及将切除的息肉组织送至病理科。
RDI使用的光不同于普通内窥镜检查中使用的白光。在普通的内窥镜观察中，使用蓝、绿、红三原色的白光以自然光观察胃和大肠的内部(以下简称“普通光观察”)。另一方面，RDI是将用琥珀色(琥珀色)光与绿色光或红色光一起使用的特殊观察方法。这种琥珀色的光不仅可以显示病变的表面情况，而且能够使病变内部的深层血管和出血区域被清楚地显示。大肠壁由五层组成，从里到外依次为粘膜、粘膜下层、固有肌层、浆膜下层、浆膜。因此，RDI不仅可以显示病变的表面组织(例如，粘膜)上的情况，而且还可以清楚地显示病变内部(例如，粘膜下层、固有肌层、浆膜下层、浆膜等)的深层血管和出血区域。由于可以根据用白光观察到的大小和类型来估计或预测病变的表面组织之下的浸润程度，因此可以在浸润程度大于一定阈值时建议使用可以使病变的表面组织之下可见的特殊光(例如，RDI)照射/照明的治疗指南，从而能够更准确地进行处置。
注意，该指南可以是建议从白色光观察切换为特殊光观察的指南。这可以被传达给不知道如何使用特殊光观察的用户。此时，可以向用户提供关于执行什么类型的操作和做出什么类型的确认的引导。此外，基于白色光观察的结果，可以发出引导从而在使用治疗器具的特定治疗期间一起使用特殊光观察。在这种情况下，可以发送注意点来进行传达。该传达可以是视觉显示或者音频传达的方式。
在显示20的左侧上的底部区域中，显示了仪器和模式信息38。这包括，例如，放大系数(“x1.5正常”)或者到目前为止记录的静止图像和视频序列的数量，或者归因于输入装置上的功能键的设置(“FRZ”、“NBI”等)。
如图2所示，显示20的屏幕的特定部分(例如，病变信息36)分成四部分显示，因此可以直观地向用户指示这是一组相关信息。换句话说，这里，病变的类型和大小被分成屏幕的特定部分中的四部分中的两个部分显示。在四个部分中的其它部分，示出了根据病变的大小和类型选择和呈现的治疗指南，并且用户可以很容易地查看相同的部分以确认得到该指南的原因。四个部分中的另一部分可以示出基于病变的类型和大小的视觉分类的结果(符号)。此外，四个部分中的该另一部分也可以显示大肠等被检器官中的位置等的信息。通过上述屏幕的特定部分中的四个部分显示的信息与由内窥镜获取的图像一起显示，用户可以更方便且直观地获取他或她想要的信息。这样使得能够进行快速确认和判断，并且防止AI成为黑箱。
这种视觉分类类型作为结直肠癌治疗中易于理解的指标。这是因为当病变被浸润或转移包括粘膜之下的其它层时，所选取的治疗指南(或与其相关的去除方法)是不同的。另外，停留在黏膜或黏膜下层的病变可以称为表在型，并且这类病变可以取决于其隆起和浸润的程度而分为隆起型(I)(包括带蒂型(Ip)、亚带蒂型(Isp)和无蒂型(Is))和表面型(II)(包括表面隆起型(IIa)、表面平坦型(IIb)和表面凹陷型(IIc))。(在与粘膜扩张方向正交的方向上的)符号显示比实际内窥镜图像更方便且直观，并且术者更容易确认和接受。另外，可以立即注意到错误的分类，记录错误的情况，从而提高系统的性能。该符号可以是病变大小信息并且显示时所占据的平面的比例(显示大小)也是可以改变的。
为了进行这样的显示，例如可以使用在为数据训练准备的多个图像数据上标注上述分类和符号的训练数据组来对AI模型进行训练，并在完成训练之后，AI模型能够根据在从视频内窥镜器具12获得的图像中输出的病变的大小和类型来准确地推断出分类和符号。
除了用肉眼确认外，还可以结合使用NBI、RDI等特殊光源观察，从而用白光照射但肉眼难以看到的下部组织可以被符号化且被显示，该结果为治疗指南的选择提供了有用的信息。此外，可以通过不同于白色光的图像处理来提高可视性。这里，对四部分划分显示进行了说明，但也可以省略符号显示而使用三部分划分显示。此外，根据病变的类型和大小，我们可以统计知道粘膜下(与管腔相对的方向、粘膜下层方向、浆膜方向)的浸润程度(可以在存储器或数据库中提供表格以参考病变的类型和大小来估计或预测病变的浸润程度)，这可以用作治疗期间应切除多少组织的指南。另外，通过NBI、RDI等特殊光的观察，可以确定组织下的病变情况。以此为基础，通过视觉检查和图像测量，可以确定需要治疗的组织表面下多远，估计切割深度和出血量，并推荐使用与之对应的治疗工具。
用户界面可以根据术者的偏好来配置。例如，他或她可能倾向于来自视频内窥镜器具12的图像显示在屏幕的左侧而不是右侧，或者改变不同区域的大小。在场区28中显示的附加信息的数量和选择可以取决于大肠镜的当前状态和上下文。例如，患者和手术数据30、进度条32以及可能的仪器和模式信息38可以一直被显示，而病变信息36和周界位置指示符34仅在病变当前在研究中或者至少在视频内窥镜器具12的视野内时被显示。
取决于上下文，显示20上的信息的选择可以由控制单元14，特别地，它的图像分析子单元14b，自动完成。如果图像识别算法检测到在大肠的某些区段中的大肠壁的360°覆盖的缺乏，则术者可以被提示以使得填充(即，获得)来自先前盲点的影像的方式移动视频内窥镜器具12。盲点的指示可以如下完成，例如，使用视频图像馈送上方的、指向盲点的方向的箭头符号的形式的CAD叠覆，或者通过使用类似于进度条32和周界位置指示符34的组合的表示。
在病变24的研究期间，术者可能注意到所显示的关于病变24的信息与他或她自己的调查结果不匹配。然后术者可以通过语音命令或手动地纠正调查结果。例如，如果术者得出不同的分类，则他或她可以说出计算机协助的辅助系统10的地址，诸如“嗨，系统”，随后时“纠正息肉类型”和“NICE 1”。控制单元14，特别地，它的图像分析子单元14b，然后可以记录此参数的先前值和术者纠正的值二者。
还可以存在用于术者使用手动输入(例如，鼠标)利用图像测量工具测量病变24的功能。在使用图像识别功能的自动息肉类型确定的情况下，可以生成勾勒出轴或轴线的CAD叠覆，这引起了可能然后被术者修改(如果需要的话)的大小确定。这些更正是重要的信息，应该记录更正的情况，以便以后改进系统时使用。可以在报告中反映和记录是否有更正。
根据本发明的用于选择治疗指南的治疗指南选择方案100的实施方式的示意表示在图3中示出。治疗指南选择方案100从步骤102中的来自视频内窥镜器具12的视频馈送或静止图像中的病变的识别开始。可以由术者通过肉眼进行识别或通过在控制单元14，特别地，它的图像分析子单元14b，中实现的图像识别功能来进行识别，图像识别功能可以使用适配于各种类型的结直肠病变的视觉特性的经典图像识别算法，和/或使用机器学习方法(例如，针对此任务使用结直肠病变的大量图像训练的神经网络)或者其它合适的机器学习算法来实现。
一旦识别出病变，就在步骤104中确定病变的宏观类型。宏观类型在分类之前。在这种情况下，可以使用巴黎分类，其中宏观病变类型例如是息肉状0-Ip和0-Is类型，范围从轻微隆起(0-IIa)至轻微凹陷(0-IIc)的非息肉状0-IIa、0-IIb和0-IIc类型，以及挖出病变(溃疡)的类型0-III。宏观类型的确定可以由术者完成或使用图像检测功能(再次，使用经典图像检测算法或者带有神经网络的机器学习或其它合适的算法)完成。
在一些情况下，例如，在癌变的溃疡的情况下，可能无需进行进一步分类。在步骤110中考虑了病变的凹坑图案之后，可以得出治疗指南112而无需进一步的中间步骤。治疗指南112可以包括通过外科手术或通过EMR(内窥镜粘膜切除术)去除病变，并将去除的组织送至病理科作进一步检查。
在所有其它情况下，下一步骤106确定病变的分类，例如，根据诸如NICE分类或JNET分类之类的已知分类方案。这种分类可以再次由术者实现或者使用基于经典的或基于机器学习的图像识别功能来实现。随后，通过非限制性示例的方式，治疗策略算法由M.Kato等人的“…治疗算法的验证”，Endoscopy International Open 2018；06:E934–E940提出，分类为JNET 2B型和3型的病变可以分别提示通过EMR和外科手术进行去除的建议(可能与它们的大小无关)，而JNET 1型和2A型的病变可以在步骤108中进一步依据它们的大小(以及可能地，它们在大肠中的位置)来分组。在大肠的右侧(上行侧)上或者具有大于5mm的大小的JNET 1型病变可以被推荐通过冷圈套息肉切除术去除，而其它JNET 1型病变可以留下而无需去除。在JNET 2A型病变中，它可以被推荐冷圈套息肉切除术或冷钳息肉切除术(取决于大小)。
治疗指南112也可以实现其它建议，诸如检查病变的NBI或RDI影像并将去除的病变送至病理科，或者其它适当的做法。
一旦方案产生了治疗指南，治疗指南可以呈现给术者，如图2所示。
图3所示的示意图旨在例示工作流程的可能实现方式，但绝不是旨在限制本公开的范围。可以另选地实现得到治疗指南的其它方案，并且方案可以在实践揭示了改编的需要或者新的治疗方法和工具变得可用时进行更改。
此外，现代的机器学习算法，诸如基于卷积神经网络的一些机器学习算法，或者“人工智能”的其它合适的算法可以被训练来实现完整的方案。这是通过在已经经历工作流程的训练图像上训练神经网络或其它算法来完成的，并且根据方案确定了适当的治疗指南。在分类训练阶段，神经网络被呈现以来自真实或模拟的大肠镜的病变的图像并且相应的治疗指南作为期望的输出。此训练方法通过训练数据的准备而并入了图3所示的步骤102至112。
图4示出了根据本公开的计算机协助的辅助系统10的视觉用户界面的另一显示图。与图2相比，图4所示的大肠镜影像示出了在去除NICE 2类型的病变24的过程中的15mm的冷圈套器(40)内治疗工具，如显示20的左侧上的病变信息36’和内治疗工具信息42所示。CAD框或其它指示符的叠覆被关闭以便减轻术者在这种情况下的精神负担。尽管这里例示了修改示例，但是如图2所示可以划分出四个区域，以作为选择工具信息的背景，并且病变的大小、类型等可以显示在其它三个区域中。控制单元14，特别地，它的图像分析子单元14b，已经使用为此目的而适配或训练的图像识别功能自动地识别出冷圈套器40。
病变信息36’与图2所示的病变信息有些不同。它包含浓缩的形式的周界位置指示符。这种尺寸的调整是为了将更多的视觉权重给予关于去除进行中的病变的手术的信息，即，所使用的器具。在冷圈套器的情况下，这是相对简单的。在EMR或HSP的情况下，可能存在将会显著地显示的、工具的激活状态相关的附加信息。
图5示出了被配置为实现计算机协助的辅助系统10的各方面的示例性基于计算机的临床决策支持系统(CDSS)200的示意表示。在各种实施方式中，CDSS 200包括：输入接口202，通过其向人工智能(AI)模型204提供诸如特定于患者的数据的先前调查结果之类的输入特征作为输入特征；处理器，其执行推断操作，其中输入特征被施加到AI模型以生成诸如要显示的信息以及所选择的对于在大肠镜期间发现的病变适当的治疗指南之类的输出；以及输出接口206，通过其向用户(例如，临床医生)传送输出。
在一些实施方式中，输入接口202可以是CDSS 200与生成输入特征中的至少一些的一个或更多个医疗装置之间的直接数据链接。例如，输入接口202可以在大肠镜期间直接向CDSS 200发送视频内窥镜器具12的设置数据。附加地或另选地，输入接口202可以是促进用户和CDSS 200之间的交互的经典用户界面。例如，输入接口202可以促进用户界面，用户可以通过该用户界面手动输入病变大小或分类作为到AI模型的输入。附加地或另选地，输入接口202可以向CDSS 200提供对电子患者记录的访问，从电子患者记录中可以提取一个或更多个输入特征。在这些情况中的任何一种情况下，输入接口202被配置为在使用CDSS200以评估病变的大肠镜影像以便得到要呈现给临床医生的适当治疗指南时或之前与特定患者关联地收集以下输入特征中的一个或更多个：病变大小、病变分类、表面结构、位置(如果尚未从其它手术数据源或图像识别中知道)。
基于以上输入特征中的一个或更多个，处理器使用AI模型执行推断操作以为术者生成治疗指南，以及可能的上下文相关的信息显示。例如，输入接口202可以将从数据库210、用户输入、器具和/或(诸如检测到的病变220的)图像识别收集的输入特征递送到AI模型的输入层，输入层将这些输入特征通过AI模型传播给输出层。AI模型可以通过基于在数据的分析中发现的图案做出推断来为计算机系统提供执行任务的能力，而无需特定地进行编程。AI模型利用了可以从现有数据中学习并且做出关于新数据的预测的算法的学习和构建。这样的算法通过根据示例训练数据构建AI模型来进行操作，以便做出表示为输出或评估的数据驱动的预测或决策。
此外，处理器可以使用AI模型或推断模型以基于从视频内窥镜器具12获得的图像确定病变的大小和类型。例如，AI模型可以通过使用在为训练数据准备的多个图像数据上标注每种病变的大小和分类的训练数据组来进行训练，以便可以通过训练后的AI模型正确地推断出从视频内窥镜器具12获得的图像上输出的病变的大小和类型。作为另一示例，本发明还可以利用两个单独的AI模型或推断模型来分别确定病变的大小和类型。例如，可以使用在为训练数据准备的多个图像数据的每一个上标注有每种病变的大小的训练数据组进行训练的第一AI模型可以用于正确地推断当前病变的大小，并且可以使用在为训练数据准备的多个图像数据的每一个上标注有每种病变的类型的训练数据组进行训练的第二AI模型可以用于正确地推断当前病变的类型。因此，可以将从视频内窥镜器具12获得的图像分别输入到第一AI模型和第二AI模型来获得当前调查结果的病变的大小和类型。
在另一示例中，使用为训练数据准备的多个图像数据标记有治疗指南的训练数据组训练AI模型，训练后的AI模型根据从视频内窥镜器具12输出的图像可以准确地推断对获得的图像输出的治疗指南。如果可以一起获知病变的大小和类型，并一起显示这些信息，则可以参考治疗指导进行及时治疗，并且可以容易地确认治疗指南的依据。这种发明构思可以防止人工智能成为黑箱并提高可靠性。以此方式，推理模型的配置可以经受各种应用和修改。
机器学习(ML)存在两种常见的模式，即，有监督ML和无监督ML。有监督ML使用先验知识(例如，将输入与输出或结果相关联的示例)来学习输入和输出之间的关系。有监督ML的目标是学习函数，该函数在给定一些训练数据时最佳地逼近训练输入和输出之间的关系，使得ML模型能够在给定输入时实现相同的关系以生成对应的输出。无监督ML是使用既不分类也不标记的信息的ML算法的训练，并且允许算法在没有指导的情况下对信息进行操作。无监督ML在探索性分析中是有用的，因为它可以自动地识别数据中的结构。
有监督ML的常见任务是分类问题和回归问题。分类问题，也称为归类问题，旨在将项目分类为几个类别值之一(例如，此物体是苹果还是橙子？)。回归算法旨在量化一些项目(例如，通过为一些输入的值提供分数)。常用的有监督ML算法的一些示例是逻辑回归(LR)、朴素贝叶斯、随机森林(RF)、神经网络(NN)、深度神经网络(DNN)、矩阵分解和支持向量机(SVM)。
无监督ML的一些常见任务包括聚类、表示学习和密度估计。常用的无监督ML算法的一些示例是K均值聚类、主成分分析和自编码器。
ML的另一类型是联合学习(也称为协作学习)，其跨越多个持有本地数据的去中心化的装置来训练算法而无需交换数据。这种方法与其中所有本地数据集被上传到一个服务器的传统的集中式机器学习技术以及通常建设本地数据样本均等分布的更经典的去中心化方法形成鲜明对比。联合学习使得多个参与者能够在不共享数据的情况下构建通用的、稳健的机器学习模型，因此允许解决诸如数据隐私性、数据安全性、数据访问权限和对异构数据的访问之类的关键问题。
在一些示例中，可以在执行推断操作之前连续地或周期性地训练AI模型。然后，在推断操作期间，提供给AI模型的患者特定输入特征可以从输入层，穿过一个或更多隐藏层，并最终传播到对应于治疗指南的输出层。例如，具有特定凹坑图案的溃疡的影像的输入可以被馈送到神经网络的输入层中，可以穿过神经网络传播并且以一定的强度到达输出层的神经元，其表示不同的治疗指南。具有最强响应的输出层神经元的治疗指南被选取。鉴于其相对于其它输出层神经元响应的优势量或其缺乏，也可以计算置信度分数。如果置信度分数过低，则这也可以被指示，提示临床医生在患者的健康和其它参数的上下文中进一步检查有问题的病变。
因此，本发明的治疗指南的选择可以不仅仅基于根据由视频内窥镜器具提供的图像所获得信息，而且还可以结合使用和图像对应的距离信息、患者档案、健康状况、生活习惯、生物特征数据以及其它数据。此外，本发明的计算机协助的辅助系统可以设置有被设计为具有无法在没有这些附加信息的情况下推断出治疗指南的逻辑的电路或程序，因此如果有任何缺失的信息，系统可以被配置为请求术者输入相关内容，或者从对应的数据库请求相关内容。
在推断操作期间和/或之后，治疗指南可以经由用户界面(UI)传送给用户。例如，CDSS将以图2或图4所示的方式向临床医生通知患者特定的AI生成的输出，关于所建议的诊断和治疗选项，以及可能的，对应的AI生成的置信度水平。
所有命名的特性(包括从图中单独取得的特性以及结合其它特性公开的单独特性)被单独或者组合地视为对于本发明是重要的。根据本发明的实施方式能够通过单独的特性或者若干特性的组合来实现。与词语“特别地”或“特殊地”相结合的特征要被视为优选实施方式。

Claims (23)

1.一种在内窥镜检查中使用的计算机协助的辅助系统(10)，所述辅助系统(10)包括控制单元(14)，所述控制单元(14)与至少一个视频内窥镜器具(12)连接并且与显示装置(16)连接或集成，所述控制单元(14)被配置为基于由所述视频内窥镜器具(12)示出的病变(24)的大小和分类二者的组合来自动地选择治疗指南并且在所述显示装置(16)上显示所选择的治疗指南。
2.根据权利要求1所述的计算机协助的辅助系统(10)，其中，所述控制单元(14)被配置为：
使用在通过用观察用白色光进行照射而获得的多个图像数据中的每一个上标注病变的大小和分类的训练数据组来训练推断模型，并且使用已经训练的推断模型来正确地推断所述病变的表面组织下的浸润程度；并且
将与由所述视频内窥镜器具(12)示出的图像对应的图像数据输入到所述推断模型中，基于作为推断结果而获得的病变(24)的大小和分类二者的组合来自动地选择使用与照射图像的所述观察用白色光不同的特殊光照明的治疗指南。
3.根据权利要求1或2所述的计算机协助的辅助系统(10)，其中，所述病变(24)的大小和分类是通过人工智能AI使用在多个图像数据中的每一个上标注病变的大小和分类的训练数据组来训练推断模型并且使用已经训练的推断模型来确定的。
4.根据权利要求1至3中的一项所述的计算机协助的辅助系统(10)，其中，所述治疗指南的自动选择是通过人工智能AI使用在多个图像数据中的每一个上标注治疗指南的训练数据组来训练推断模型并且使用已经训练的推断模型来执行的。
5.根据权利要求1至4中的一项所述的计算机协助的辅助系统(10)，其特征在于，所述控制单元(14)包括提供电源和视频处理功能的内窥镜控制子单元(14a)以及图像分析子单元(14b)，所述内窥镜控制子单元(14a)和所述图像分析子单元(14b)被配置为单独且连接的装置或者被配置为单个装置内的软件和/或硬件单元。
6.根据权利要求1至5中的一项所述的计算机协助的辅助系统(10)，其特征在于，所述控制单元(14)，特别地，图像分析子单元(14b)，包括图像识别功能并且被配置为对由所述视频内窥镜器具(12)提供的图像(22)自动地执行以下动作中的至少一个：
-识别结肠内部的病变(24)；
-确定病变(24)的大小；以及
-确定病变(24)的分类。
7.根据权利要求1至6中的一项所述的计算机协助的辅助系统(10)，其特征在于，所述病变(24)的大小的确定和所述病变(24)的分类的确定中的至少一者基于图像处理，特别地，使用窄带成像NBI，特别地，考虑了所述病变(24)的表面上的凹坑图案，基于来自术者的语音输入，或者基于由术者通过人机接口装置的手动输入或选择，其中，特别地，所述人机接口装置被实现在所述显示装置(16)或所述控制单元(14)，特别地，图像分析子单元(14b)中。
8.根据权利要求1至7中的一项所述的计算机协助的辅助系统(10)，其特征在于，所述控制单元(14)，特别地，图像分析子单元(14b)，进行所述病变(24)的位置的识别和记录中的至少一者。
9.根据权利要求1至8中的一项所述的计算机协助的辅助系统(10)，其特征在于，建议的治疗指南包括以下中的一个或更多个：
-将所述病变(24)留在原位的建议；
-使用热圈套息肉切除术/内窥镜粘膜切除术执行息肉切除术的建议；
-执行冷息肉切除术，特别地，冷圈套息肉切除术和冷钳息肉切除术中的至少一个，的建议；以及
-通过外科手术去除所述病变(24)的建议。
10.根据权利要求1至9中的一项所述的计算机协助的辅助系统(10)，其特征在于，所述控制单元(14)，特别地，图像分析子单元(14b)，被配置为针对以下中的至少一个提供结构化语音交互功能和非结构化语音交互输入功能中的至少一种：
-输入病变(24)的大小和病变(24)的分类中的至少一者；
-术中报告，特别地，切除的粘膜面积和切除结果的存档；
-纠正计算机协助的检测算法调查结果和计算机协助的诊断算法调查结果中的至少一者；以及
-存档未被计算机协助的检测算法和计算机协助的诊断算法覆盖的调查结果。
11.根据权利要求1至10中的一项所述的计算机协助的辅助系统(10)，其特征在于，所述控制单元(14)，特别地，图像分析子单元(14b)，被配置为提供以下附加功能中的至少一个：
-提供用于检测内治疗工具的检测算法以及在检测到内治疗工具时对于CAD叠覆的自动抑制；
-向术者指示粘膜表面的不足覆盖；
-向所述术者展示先前的报告或调查结果以用于比较；以及
-创建自动案例概要。
12.一种用于内窥镜检查的计算机协助的辅助方法，其中，在所述内窥镜检查期间，根据权利要求1至11中的一项所述的计算机协助的辅助系统(10)的控制单元(14)，特别地，图像分析子单元(14b)，基于由所述视频内窥镜器具(12)示出的病变(24)的大小和分类二者的组合来自动地选择治疗指南并且在所述显示装置(16)上显示所选择的治疗指南。
13.根据权利要求12所述的计算机协助的辅助方法，其特征在于，所述控制单元(14)，特别地，所述图像分析子单元(14b)，通过图像处理和识别，特别地，使用窄带成像NBI，特别地，考虑了病变的表面上的凹坑图案，对由所述视频内窥镜器具(12)提供的图像(22)自动地执行以下动作中的至少一个：
-识别结肠内部的病变(24)；
-确定病变(24)的大小；以及
-确定病变(24)的分类。
14.根据权利要求12或13所述的计算机协助的辅助方法，其特征在于，所述控制单元(14)，特别地，所述图像分析子单元(14b)，进行所述病变(24)的位置的识别和记录中的至少一者。
15.根据权利要求12至14中的一项所述的计算机协助的辅助方法，其特征在于，使用由所述控制单元(14)，特别地，由所述图像分析子单元(14b)，提供的结构化语音交互功能和非结构化语音交互输入功能中的至少一种执行以下中的至少一个：
-输入病变(24)的大小和病变(24)的分类中的至少一者；
-术中报告，特别地，切除的粘膜面积和切除结果的存档；
-纠正计算机协助的检测算法调查结果和计算机协助的诊断算法调查结果中的至少一者；以及
-存档未被计算机协助的检测算法和计算机协助的诊断算法覆盖的调查结果。
16.根据权利要求12至15中的一项所述的计算机协助的辅助方法，其特征在于，所述控制单元(14)，特别地，所述图像分析子单元(14b)，执行以下中的至少一个：
-提供用于检测内治疗工具的检测算法以及在检测到内治疗工具对于CAD叠覆的自动抑制；
-向术者指示粘膜表面的不足覆盖；
-向所述术者展示先前的报告或调查结果以用于比较；以及
-创建自动案例概要。
17.一种其上存储有计算机程序的非暂时性计算机可读存储介质，所述计算机程序当在根据权利要求1至11中的一项所述的计算机协助的辅助系统(10)的控制单元(14)，特别地，在图像分析子单元(14b)上执行时，向所述控制单元(14)，特别地，所述图像分析子单元(14b)，提供以下功能：基于由所述视频内窥镜器具(12)示出的病变(24)的大小和分类二者的组合来自动地选择治疗指南并且在所述显示装置(16)上显示所选择的治疗指南。
18.根据权利要求17所述的非暂时性计算机可读存储介质，所述计算机程序当在根据权利要求1至11中的一项所述的计算机协助的辅助系统(10)的控制单元(14)，特别地，图像分析子单元(14b)，上执行时，向所述控制单元(14)，特别地，所述图像分析子单元(14b)，附加地提供根据权利要求6至11中的一项所述的任何其它功能。
19.一种在内窥镜检查中使用的计算机协助的辅助系统(10)，所述辅助系统(10)包括控制单元(14)，所述控制单元(14)与至少一个视频内窥镜器具(12)和显示装置(16)连接，所述控制单元(14)被配置为基于由所述视频内窥镜器具(12)示出的病变(24)的大小和分类二者的组合来自动地选择治疗指南，所选择的治疗指南在所述显示装置(16)上显示，
其中，所述显示装置(16)的屏幕的特定部分被划分为彼此相邻布置的至少三个部分并且所述至少三个部分中的每个部分分别包含关于病变的大小、病变的分类和治疗指南的信息并且与由所述视频内窥镜器具(12)获取的图像一起显示，并且
其中，所述病变(24)的大小和分类是通过人工智能AI使用在多个图像数据中的每一个上标注病变的大小和分类的训练数据组来训练推断模型并且使用已经训练的推断模型来确定的。
20.一种在内窥镜检查中使用的计算机协助的辅助系统(10)，所述辅助系统(10)包括控制单元(14)，所述控制单元(14)与至少一个视频内窥镜器具(12)和显示装置(16)连接，所述控制单元(14)被配置为：
使用在通过用观察用白色光进行照射而获得的多个图像数据中的每一个上标注病变的大小和分类的训练数据组来训练推断模型，并且使用已经训练的推断模型来正确地推断所述病变的表面组织下的浸润程度；
将与由所述视频内窥镜器具(12)示出的图像对应的图像数据输入到所述推断模型中，基于作为推断结果而获得的病变(24)的大小和分类二者的组合来指引与照射图像的所述观察用白色光不同的特殊光照明，所述特殊光照明能够允许所述病变的表面组织下方的查看，和/或选择使用能够对所述病变的表面组织下方进行治疗的内治疗工具的治疗指南；并且
在所述显示装置(16)上显示所选择的治疗指南。
21.一种在内窥镜检查中使用的计算机协助的辅助系统(10)，所述辅助系统(10)包括控制单元(14)，所述控制单元(14)与至少一个视频内窥镜器具(12)和显示装置(16)连接，所述控制单元(14)被配置为基于由所述视频内窥镜器具(12)示出的病变(24)的大小和分类二者的组合来自动地选择治疗指南并且在所述显示装置(16)上显示所选择的治疗指南，
其中，所述控制单元(14)被配置为：
使用在通过用观察用白色光进行照射而获得的多个图像数据中的每一个上标注病变的大小和分类的训练数据组来训练推断模型，并且使用已经训练的推断模型来正确地推断所述病变的表面组织下的浸润程度，并且
将与由所述视频内窥镜器具(12)示出的图像对应的图像数据输入到所述推断模型中，从所述推断模型输出与所述图像数据对应的、使用与所述观察用白色光不同的特殊光照明的治疗指南，并且在所述显示装置(16)上显示所述治疗指南。
22.一种用于内窥镜检查的由计算机协助的辅助系统(10)执行的计算机协助的辅助方法，所述辅助系统(10)包括控制单元(14)，所述控制单元(14)与至少一个视频内窥镜器具(12)和显示装置(16)连接，其中，在所述内窥镜检查期间，所述控制单元(14)：
使用在通过用观察用白色光进行照射而获得的多个图像数据中的每一个上标注病变的大小和分类以及基于所述病变的大小和分类的所述病变的表面组织下的浸润程度的训练数据组来训练推断模型，将来自所述视频内窥镜器具(12)的图像数据输入到所述推断模型中，作为推断结果输出使用与所述观察用白色光不同的特殊光照明的治疗指南，并且在所述显示装置(16)上显示所述治疗指南。
23.一种用于内窥镜检查的由计算机协助的辅助系统(10)执行的计算机协助的辅助方法，所述辅助系统(10)包括控制单元(14)，所述控制单元(14)与至少一个视频内窥镜器具(12)和显示装置(16)连接，
其中，在所述内窥镜检查期间，所述控制单元(14)：
基于由所述视频内窥镜器具(12)获得的病变(24)的大小和分类二者的组合来自动地选择治疗指南并且在所述显示装置(16)上显示所选择的治疗指南，并且
使得在所述显示装置(16)的屏幕的特定部分被划分成的至少三个部分中的每个部分分别显示关于病变的大小、病变的分类和治疗指南的信息并且与由所述视频内窥镜器具(12)获取的图像一起显示。
CN202310121402.6A 2022-02-16 2023-02-15 计算机协助的辅助系统和方法及其存储介质 Pending CN116612877A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263310653P 2022-02-16 2022-02-16
US63/310,653 2022-02-16

Publications (1)

Publication Number Publication Date
CN116612877A true CN116612877A (zh) 2023-08-18

Family

ID=85174168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310121402.6A Pending CN116612877A (zh) 2022-02-16 2023-02-15 计算机协助的辅助系统和方法及其存储介质

Country Status (5)

Country Link
US (1) US20230260114A1 (zh)
EP (1) EP4230108A1 (zh)
JP (1) JP2023119573A (zh)
CN (1) CN116612877A (zh)
DE (1) DE102022103737A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011005865A2 (en) * 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
WO2011156001A1 (en) * 2010-06-07 2011-12-15 Sti Medical Systems, Llc Versatile video interpretation,visualization, and management system
US20120283574A1 (en) * 2011-05-06 2012-11-08 Park Sun Young Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
US20150080702A1 (en) * 2013-09-16 2015-03-19 Mayo Foundation For Medical Education And Research Generating colonoscopy recommendations
US10841514B2 (en) 2018-03-20 2020-11-17 Endovigilant Inc Endoscopy video feature enhancement platform
JP7017198B2 (ja) 2018-06-22 2022-02-08 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
EP3826525A4 (en) 2018-07-25 2022-04-20 The Trustees of The University of Pennsylvania METHODS, SYSTEMS AND COMPUTER-READABLE MEDIUM FOR GENERATION AND DELIVERY OF ARTIFICIAL INTELLIGENCE SUPPORTED SURGICAL GUIDANCE

Also Published As

Publication number Publication date
JP2023119573A (ja) 2023-08-28
DE102022103737A1 (de) 2023-08-17
US20230260114A1 (en) 2023-08-17
EP4230108A1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
Katić et al. Context-aware augmented reality in laparoscopic surgery
WO2020242949A1 (en) Systems and methods for video-based positioning and navigation in gastroenterological procedures
US20150080652A1 (en) Lesion detection and image stabilization using portion of field of view
JP6876090B2 (ja) 医療システムの作動方法及び外科手術を行うための医療システム
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
US11478124B2 (en) System and methods for enhanced automated endoscopy procedure workflow
O'Sullivan et al. Operational framework and training standard requirements for AI‐empowered robotic surgery
WO2023095492A1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
US20220233229A1 (en) Method and system for controlling a surgical hf generator, and software program product
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
Aihara et al. Core curriculum for endoscopic submucosal dissection (ESD)
Ushimaru et al. The endoluminal pressures during flexible gastrointestinal endoscopy
US20230245753A1 (en) Systems and methods for ai-assisted surgery
CA3181880A1 (en) Systems and methods for processing medical data
CN116612877A (zh) 计算机协助的辅助系统和方法及其存储介质
Samarasena et al. AGA clinical practice update on the role of artificial intelligence in colon polyp diagnosis and management: commentary
WO2023095208A1 (ja) 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法
JP2022132180A (ja) 人工知能基盤の胃内視鏡映像診断支援システム及び方法
JP7497930B2 (ja) 臨床記録データ生成方法及び装置
JP7148193B1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
Metzger et al. Augmented Reality navigation systems in endoscopy
US20230363621A1 (en) Ai-based endoscopic tissue acquisition planning
WO2024053697A1 (ja) 手術支援プログラム、手術支援装置、および手術支援方法
WO2023282144A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
Sharma et al. Visual gaze patterns reveal surgeons’ ability to identify risk of bile duct injury during laparoscopic cholecystectomy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination