CN116916807A - 用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统 - Google Patents

用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统 Download PDF

Info

Publication number
CN116916807A
CN116916807A CN202180093283.7A CN202180093283A CN116916807A CN 116916807 A CN116916807 A CN 116916807A CN 202180093283 A CN202180093283 A CN 202180093283A CN 116916807 A CN116916807 A CN 116916807A
Authority
CN
China
Prior art keywords
lesion
image
data
canvas
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180093283.7A
Other languages
English (en)
Inventor
野里博和
河内祐太
坂无英德
村川正宏
池田笃史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
University of Tsukuba NUC
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
University of Tsukuba NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST, University of Tsukuba NUC filed Critical National Institute of Advanced Industrial Science and Technology AIST
Publication of CN116916807A publication Critical patent/CN116916807A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种能够明确地辨别检查区域和未检查区域的内窥镜诊断支持方法。在预先进行观察画布的准备步骤S1之后，执行帧标记步骤S2、关键点计算步骤S3、前后帧位移量计算步骤S4、前后帧标记步骤S5，从而进行观察记录。在图像诊断支持步骤IDS中，基于向观察画布数据添加用于多个帧的标记获得的多个位置数据和各个帧中的内窥镜图像，确定器官中病变是否存在，来对图像诊断提供支持。

Description

用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统
技术领域
本发明涉及以具有腔体的器官如膀胱为目标的内窥镜诊断支持方法以及内窥镜诊断支持系统。
背景技术
例如，据说膀胱癌经TURBT手术后的两年复发率为50％。这是因为位于隆起的病变周围的小病变或平坦病变没有被完全去除。这主要是由于“忽视”(其中没有观察到要观察的膀胱)和“未注意到”(其中进行了观察但在检查时没有识别出病变)造成的。检查的准确度实际上取决于检查者的技能和经验。为了降低复发率，提高在膀胱镜检查中检测出病变的准确度很重要，并且需要在数字化技术的支持下，通过补充技能和经验来提高诊断准确度。
鉴于上述，作为用于记录内窥镜检查中的状态的技术，已知有在JP5771757B(专利文献1)中公开的一种基于通过附接至内窥镜前端部的传感器获取的位置和方向的信息而通过将内窥镜图像粘贴到器官的模型图像上来进行记录的系统，JP6704095B(专利文献2)中公开的一种基于从内窥镜图像导出的体内部分的距离信息或图像而由3D纹理映射生成的地图数据和历史地图数据之间的劣化量来估计目标部位的未来状态的程序，以及JP2017-534322A(专利文献3)中公开的一种通过连接内窥镜图像来生成目标器官的腔体的全景图的方法。作为用于支持通过人工智能的图像诊断的技术，已知有JP2019-180966A(专利文献4)中公开的一种基于内窥镜图像来检测并追踪预定病变的内窥镜观察支持设备，以及JP2020-73081A(专利文献5)中公开的一种通过使用在多个胃肠道肿瘤内窥镜图像中预先确定的病变作为训练数据来进行训练的卷积神经网络，来评估胃肠道内窥镜图像中存在的病变的种类和位置及其准确度信息的图像诊断支持设备。此外，在非专利文献1中公开了一种自身位置估计技术，其中根据移动体的相机或传感器的信息创建地图，并将其用于估计在该地图中你处于何处。
引文列表
专利文献
PTL 1：JP5771757B
PTL 2：JP6704095B
PTL 3：JP2017-534322A
PTL 4：JP2019-180966A
PTL 5：JP2020-73081A
非专利文献
NPL 1：Sumikura，S.，Shibuya，M.，&Sakurada，K.：OpenVSLAM：A VersatileVisual SLAM Framework.Proceedings of the 27th ACM International Conference onMultimedia(多功能视觉SLAM框架。第27届ACM国际多媒体会议论文集)：2292-2295，2019。
发明内容
技术问题
在相关领域的内窥镜检查中，作为操作者的医生通过在操作内窥镜、拍摄可疑部位的内窥镜图像并将该图像记录为检查报告的同时基于对目标器官内部的直接观察的诊断来确定病变。基于检查报告进行手术、医学处理等，其前提是彻底检查目标器官的内部并且正确记录所拍摄的图像在哪里成像。然而，在现有的内窥镜系统中，是否观察到目标器官的所有应观察的部分以及所拍摄图像是在哪里成像的，都是依靠医生在检查时的记忆或笔记而记录在报告中，并且检查的准确度取决于医生的技能和经验。对于人工智能来说，取决于训练数据的质量和数量，其诊断准确度通常得到改善；然而，收集高质量的医学图像训练数据成本高昂。医学图像的质量要求图像质量良好，并且该图像与医生的准确注释信息相结合。因此，收集大量图像并为每幅图像添加准确的注释信息是必不可少的。然而，在医学图像中，在日本，有被包含在医学检查的项目中的诸如胃肠内窥镜检查和X射线检查的检查(其中检查数量相对巨大)，也有其中检查数量和患者数量都比胃肠内窥镜小一个数量级并且收集图像困难的诸如膀胱镜检查的检查。因此，即使存在可以通过准备用于训练的大量医学图像和注释信息来以高准确度判别图像中病变的存在的用于支持诊断的人工智能，但这种人工智能也无法被应用于其中难以收集训练数据的器官检查如膀胱镜检查。即使当可以应用时，也很难在检查中揭示患者的所有病变以及正确地传达检查结果作为手术时使用的信息，除非可以正确地记录所获取的图像是在器官中的何处拍摄的并且器官的整个内部是否都进行了成像。为了在实际内窥镜检查中以高准确度实现通过人工智能的诊断支持，需要解决两个问题：正确记录观察结果，以及即使在训练人工智能所需的足够数量的训练数据未被收集时，也能实现高度准确的人工智能。
本发明的一个目的在于提供一种能够明确地区分检查区域和未检查区域的内窥镜诊断支持方法以及内窥镜诊断支持系统。
除了上述目的之外，本发明的另一个目的是提供一种即使在训练数据少时，也能够在没有新增加训练数据的情况下提高诊断准确度的内窥镜诊断支持方法和内窥镜诊断支持系统。
问题的解决方案
本发明提供一种内窥镜诊断支持方法，用于在将设置在内窥镜的前端部处的成像装置插入到受试者的器官的腔体内时进行支持，并基于包括由成像装置拍摄的内窥镜图像的多个帧通过使用计算机来诊断该器官中病变的存在。在本发明中，计算机通过安装的计算机程序来执行以下第一步骤至第六步骤。
在第一步骤中，准备用于器官中的腔体的内窥镜图像的观察画布的观察画布数据。作为观察画布，可以使用其中一般指定了器官的腔体中的一个以上的开口和顶部(解剖结构)的位置并且将一个开口布置在中央的模拟展开的观察画布。观察画布数据是通过将观察画布转换成电子数据而制成的。
在第二步骤中，确定含有至少一个可以指定帧中的器官腔体中的位置的解剖结构的关键帧，并在观察画布数据中标记该关键帧的关键帧位置数据。这里，关键帧对应于待作为在确定腔体中的相对位置时的参考点的至少一个解剖结构(在膀胱的情况下，两个输尿管开口、尿道开口或其中气泡聚集的顶部)。关键帧位置数据是与待作为观察画布上的参考点的至少一个解剖结构的位置相关的数据。具体地，当观察画布是模拟展开的观察画布时，关键帧位置数据是与由模拟展开的观察画布上的位置坐标所确定的至少一个解剖结构的位置相关的数据。关键帧的关键帧位置数据的标记意味着位置信息和帧编号与观察画布数据相关联地存储。
在第三步骤中，将关键帧设置为第一个前一帧，并确定分别存在于多个帧中的前一帧和后一帧上的三个以上关键点，以计算这些关键点在内窥镜图像中的坐标。这里，这些关键点在内窥镜图像中的坐标的计算是通过使用在非专利文献1中公开的公知的自身位置估计技术中使用的图像特征点来进行的。
在第四步骤中，基于内窥镜图像中的三个以上关键点的坐标来计算前一帧和后一帧之间的位移量。这里，位移量包括其中前一帧中的三个以上关键点移动的方向和角度，以及前一帧和后一帧中的三个以上关键点之间的距离。
在第五步骤中，至少基于位移量、在第二步骤中被首先标记的第一个关键帧位置数据、和在第二步骤中随后被标记的下一个关键帧位置数据，来在观察画布数据中标记被确定的多个后一帧的位置数据。在这个步骤中，使用多个临时位置数据作为多个后一帧的临时位置数据，直至确定下一个关键帧位置数据，并且当下一个关键帧位置数据被确定时，标记后一帧的被确定的位置数据，以使得多个后一帧的临时位置数据适合在第一个关键帧位置数据和下一个关键帧位置数据之间。这里，被确定的位置数据包括使用观察画布的中心作为原点的绝对位置信息和帧编号。这是因为当第一个关键帧位置数据和下一关键帧位置数据被确定时，确定了存在于两个关键帧位置之间的多个后一帧的相对间隔。后一帧的临时位置数据包括相对于第一个关键帧位置数据的相对位置信息和帧编号。例如，相对位置信息是通过添加通过使用段的坐标位置确定的表示坐标位置数据和类型的符号来形成，其中要作为关键帧的一个解剖结构作为参考点位于矩阵中，矩阵是通过在将多个在模拟展开的观察画布上假定的具有相同尺寸和相同形状的段对齐形成的。当使用这样的矩阵时，很容易地在展开的视图上依次绘制相对位置信息；因此，可以获得这样的优点，即可以容易地记录已观察了器官的哪个部位而无需复杂的处理如将观察图像接合在一起或者三维映射。然后，当将被确定的位置数据标记在用于目标器官内壁的观察画布数据中时，可以清楚地区分检查区域和未检查区域；因此，可以彻底地观察目标器官的内部，并且可以正确地记录拍摄图像是在何处获得的。
在第六步骤中，与针对多个帧执行第二步骤至第五步骤并行地、或在针对多个帧执行第二步骤至第五步骤之后，基于在观察画布数据中标记的多个位置数据以及多个帧中的内窥镜图像来进行对于器官中所述病变的存在的图像诊断的支持。
例如，第六步骤可以通过以下训练后的图像诊断模型中的至少一种来实现。具体地，可以将通过使用由将内窥镜图像数据库中记录的训练数据作为训练数据获得的训练后的图像诊断模型来执行第六步骤。当内窥镜图像数据库是包括带有注释信息的图像数据的内窥镜图像数据库时，通过使用注释扩张模型来扩张注释信息而获得的扩张后的注释信息被包括在内窥镜图像数据库中，从而即使在训练数据少时也可以在没有新增加训练数据的情况下提高诊断准确度。
作为注释扩张模型，优选地使用基于由编码器和解码器配置的自动编码器的注释扩张模型。注释扩张模型如下训练。通过使用图像诊断模型作为特征提取器，将从图像诊断模型的中间层提取的特征(由此将从内窥镜图像数据库记录的病变内窥镜图像用作输入)输入到编码器中。还将与病变内窥镜图像相对应的一组注释信息输入到编码器中。然后，通过解码器对从编码器输出的潜在变量以及该特征进行逆计算以假定注释扩张信息。当使用这样的注释扩张模型时，即使当训练数据少时，也可以在没有新增加注释信息的情况下从原始内窥镜图像数据库中的内窥镜图像新获得有用的扩张后的注释信息。
当创建注释扩张模型时，优选进行训练以减少输入到编码器的注释信息与扩张后的注释信息之间的交叉熵。由此有利地，可以学习模糊的注释标准，以便尽可能多地再现原始内窥镜数据库的注释信息。此外，在要生成的扩张后的注释信息中也再现了病变和正常之间的界面处的模糊性。
优选的是，在注释扩张模型中随机地扩张扩张后的注释信息。随机扩张并不意味着采用所有获得的扩张后的注释信息，而是意指采用从获得的扩张后的注释信息中随机选择的扩张后的注释信息。由此，可以在没有增加多于必要的扩张后的注释信息的情况下获得平衡的扩张后的注释信息。
内窥镜图像数据库还可以包括扩张后的数据集，该扩张后的数据集含有通过使用数据扩张技术来扩张记录在内窥镜图像数据库中的病变内窥镜图像的数据而获得的扩张后的数据和扩张后的注释信息。当扩张后的数据集被包括在内窥镜图像数据库中时，可以在没有新增加训练数据的情况下利用少的数据进一步提高训练准确度。
在第六步骤中，可以通过检测其中在内窥镜图像中的病变的可能性高的区域并通过使用通过将内窥镜图像数据库中记录的训练数据作为训练数据所获得的训练后的图像诊断模型来确定其中病变的可能性高的区域是否为病变来进行诊断支持。内窥镜图像包括假定为正常的部分和假定为病变的部分二者。因此，通过将其中病变的可能性高的区域设置为要评估的目标来诊断是正常部分还是病变，从而与评估整个区域相比提高了诊断准确度。
在上述情况下，优选使用训练后的图像诊断模型，该模型被配置成从内窥镜图像中提取所有像素中的图像特征，以从内窥镜图像中指定其中病变的可能性高的区域，通过使用位于其中病变的可能性高的区域中的多个像素的图像特征来计算其中病变的可能性高的区域中的病变特征，以及根据病变特征将其中病变的可能性高的区域分类为正常部分和病变。优选的是，训练后的图像诊断模型被配置为包括：训练后的病变区域检测图像诊断模型；二值化处理部，其通过对病变准确度图进行二值化处理来创建病变候选掩模；区域限定特征计算部，其基于图像特征和病变候选掩模来计算被限定至其中病变的可能性高的区域的区域限定特征；病变候选特征计算部，其通过对区域限定特征进行平均来计算在其中病变的可能性高的区域处的病变候选特征；以及病变分类图像诊断模型，其基于病变候选特征将其中病变的可能性高的区域分类为正常部分和病变。当使用这样的训练后的图像诊断模型时，可以提高在其中病变的可能性高的区域处的确定准确度。这种情况下的图像特征优选从病变区域检测图像诊断模型的中间层获得。
还优选在显示装置的显示屏上显示以下中的至少一种：观察位置显示，其在类似于观察画布的视图上显示多个观察区域；病变位置显示，其显示其中在类似于观察画布的视图上存在病变的观察区域；诊断结果显示，其显示其中病变存在的观察区域中的病变的恶性度和类型；以及受试者的图表的显示。由此，可以在显示屏上检查观察结果和诊断结果。
在另一个方面，本发明可以被理解为一种内窥镜诊断支持系统。
附图说明
图1是示出了当通过使用计算机来执行根据本发明的内窥镜诊断支持方法时的概要的流程图。
图2是示出了观察记录步骤的算法的流程图。
图3示出了在其中将膀胱作为观察目标的情况下的一种示例性观察画布。
图4示出了矩阵状观察画布数据。
图5示出了在观察画布数据上的第一个关键帧位置数据的临时标记。
图6(A)至(D)示出了其中捕获要作为关键帧的膀胱中的解剖结构的内窥镜图像。
图7(A)和(B)示出了根据前一帧和后一帧计算的关键点的示例。
图8(A)至(C)解释了多个后一帧的位置数据的临时标记的示例。
图9(A)至(C)解释了当下一个关键帧位置数据被确定时确定多个后一帧之间的相对间隔。
图10(A)示出了示例性观察画布数据。
图10(B)示出了与观察画布数据相对应的观察画布的标记状态。
图11是示出了图像诊断支持系统的基本配置的图。
图12是示出了具有注释扩张的图像诊断支持系统的配置的图。
图13是示出了用于训练注释信息扩张模型的流程的图。
图14(A)和(B)示出与膀胱内窥镜图像相对应的注释信息和扩张后的注释信息。
图15是比较了应用注释扩张之前和之后的诊断准确度的图表
图16示出了用于在具有限定病变区域的图像诊断模型中创建病变分类图像诊断模型的流程图。
图17(A)和(B)示出了在具有限定病变区域的图像诊断模型中使用病变分类图像诊断模型之前和之后的病变分类的结果。
图18示出了其上显示观察结果和诊断结果的一种示例性显示屏。
图19示出了其上显示观察结果和诊断结果的另一种示例性显示屏。
图20示出了一种示例性输出报告。
具体实施方式
下文中，将参照附图解释根据本发明的内窥镜诊断支持方法以及内窥镜诊断支持系统的实施方案。在根据本发明的内窥镜诊断支持方法和系统中，将安装在内窥镜前端部处的成像装置插入到受试者的器官的腔体中，以基于包括由成像装置拍摄的内窥镜图像的多个帧通过使用计算机来进行对于诊断器官中病变的存在的支持。图1是示出了当通过使用计算机实现本发明的内窥镜诊断支持方法时执行的多个步骤的概要的流程图。如图1所示的，从现有的内窥镜系统ES获得的内窥镜图像E1在观察记录步骤ORS和图像诊断支持步骤IDS处进行处理。在观察记录步骤ORS中，观察记录从内窥镜图像EI获得，并将该记录作为观察记录信息ORI存储在计算机的存储装置中。在图像诊断支持步骤IDS中，将在根据内窥镜图像EI诊断器官内病变的存在时使用的支持信息作为图像诊断结果IDR存储在计算机的存储装置中。由计算机实现的诊断支持信息显示步骤部SID将包括观察记录信息ORI和图像诊断结果IDR中的至少一个的诊断报告输出到显示装置的屏幕、图表等。输出的格式是任意的。例如，输出可以通过在屏幕上视频显示图像诊断结果IDR的来进行。
[观察记录步骤]
图2示出了在根据本发明的内窥镜支撑方法的实施方案中的观察记录步骤ORS中的具体处理流程。在该实施方案的内窥镜诊断支持方法中的观察记录步骤ORS中，预先执行观察画布的准备步骤(第一步骤)S1。然后执行帧标记步骤(第二步骤)S2、关键点计算步骤(第三步骤)S3、前后帧位移量计算步骤(第四步骤)S4、前后帧标记步骤(第五步骤)S5，从而进行观察记录。在根据本发明的内窥镜诊断支持系统的实施方案中，用于执行上述步骤的计算机程序安装在计算机中，并且在计算机内部实现用于执行相应步骤的多个装置。此外，用于内窥镜诊断支持系统的计算机程序通过包括用于实现上述步骤的算法而进行配置。
在观察画布的准备步骤S1(第一步骤)中，将与用于器官中的腔体的内窥镜图像的观察画布有关的观察画布数据作为电子数据准备在计算机的存储器中。观察画布数据是通过将观察画布转换成电子数据而制成的。作为观察画布，可以使用模拟展开的观察画布SOC，其中通过一般方法指定多个开口的位置和器官腔体中的顶部，并且将一个开口布置在中央。
图3示出了在其中将膀胱用作要观察的器官的情况下的一种示例性模拟展开的观察画布。作为与待通过膀胱镜观察的膀胱内壁相对应的虚拟膀胱，将膀胱假设为球体，并且膀胱的前壁侧(腹部)和后壁侧(背部)的两个半球体分别制备成圆形。在这个观察画布中，描绘了作为开口的左右输尿管开口(例如，在上圈中从下方起3/8的位置和左右1/4的位置)、在开口之间的输尿管间嵴、作为开口的尿道开口(在两个圆的接合处的中心)和顶部部分(上圆的最上部分，下圆的最下部分)。
图4是在其中将图3的模拟展开的观察画布SOC设定为观察画布数据的情况下的概念图。在图4的示例中，观察画布数据是通过将表示位置数据的存在和类型的符号添加到通过排列假设在模拟展开的观察画布上的多个具有相同尺寸和相同形状的段(示例中的方形段)而形成的矩阵MX来形成的。还可以使用模拟展开的观察画布，其中两个半球水平排列。代替半球，还可以排列椭圆以用作模拟展开的观察画布。如图5所示的，在观察画布数据的矩阵MX中的所有段sg的区域中，将指示未观察到或不存在位置数据的标志(0)设置为初始值。在相应段sg中，单个地添加在模拟展开的观察画布SOC中将尿道开口设定为原点的二维阵列中的位置信息(坐标)。在图5的示例中，将指示观察到(但未确定)左输尿管开口的标志(1)添加到相应段。
在帧标记步骤(第二步骤)S2中，确定含有至少一个能够指定帧中的器官腔体中的位置的解剖结构的关键帧，并将该关键帧的关键帧位置数据标记在观察画布数据中。这里，关键帧是其中在确定腔体中的相对位置时要作为参考点的至少一个解剖结构(在膀胱的情况下，两个输尿管开口、尿道开口或其中气泡聚集的顶部)被成像的帧。这里，位置数据是相对于观察画布数据中的原点的绝对位置信息或者相对于参考点和帧编号的相对位置信息。
图6(A)至(D)示出了对其中左右输尿管开口、尿道开口以及其中气泡聚集的顶部进行成像的帧中的内窥镜图像的实际示例。关键帧位置数据与待作为观察画布上的参考点的至少一个解剖结构的位置相关。具体地，当观察画布是模拟展开的观察画布时，关键帧位置数据与由该模拟展开的观察画布上的位置坐标所确定的至少一个解剖结构的位置相关。关键帧的关键帧位置数据的标记意味着图像的位置信息(段sg的坐标)和帧编号与观察画布数据相关联地存储。
例如，其中将在图6所示的由膀胱镜拍摄的帧图像中捕获左右输尿管开口中的任意一个的帧确定为起始关键帧，并在观察画布上的对应区域进行标记作为起始关键帧位置[添加图5中的标志(1)的段sg的坐标]。这里，标记意味着使观察画布上的相应区域(段)中的标志成为指示观察候选的标志(1)，并且其位置信息与如图5所示的帧图像相关联。在图5的示例中，将进行标记的区域中的初始值[标志(1)]赋予给包含在尺寸为观察画布的圆的1/10的圆中的段，作为测量在通过膀胱镜观察时圆确实进入视野的尺寸的量度。
在关键点计算步骤(第三步)S3中，将起始关键帧设置为第一个前一帧，并且确定分别存在于多帧中的前一帧和后一帧上的三个以上关键点，以计算内窥镜图像中的关键点的坐标。这里，关键点对应于指示在连续的前后帧中成像的器官内壁上的相同位置的像素。内窥镜图像中的关键点的坐标的计算可以通过使用在应用于自动驾驶或机器人视觉的Visual SLAM(同步定位于地图构建：地图构建和定位/自身位置估计)中公开的由公知的自身位置估计技术所使用的图像特征点来进行。将帧中成像的许多独特部分识别为特征点，并且通过使用该特征点作为公共部分来计算内窥镜图像中的关键点的坐标。
在前后帧位移量计算步骤(第四步骤)S4中，基于内窥镜图像中的三个以上关键点的坐标，来计算在前一帧中的三个以上关键点与后一帧中的三个以上关键点之间的位移量。这里，位移量包括其中前一帧中的三个以上关键点移动的方向和角度，以及前一帧和后一帧之间的三个以上关键点的相应距离。根据位移量，计算根据在观察画布上标记的前一帧的位置信息计算的后一帧的相对位置信息，将该位置信息与帧图像相关联，并将后一帧标记为从前一帧继续的随后的后一帧。将观察的候选标志(1)标记在观察画布上，同时重复上述过程，直到检测到下一个关键帧。
图7(A)和(B)示出了通过对膀胱内壁进行成像而获得的前一帧和后一帧的内窥镜图像。在这个示例中，前一帧中的三个点A、B和C对应于后一帧中的三个点A′、B′和C′。这里，当将三个点A、B和C的坐标定义为A(xA，yA)、B(xB，yB)和C(xC，yC)，并且将三个点A′、B′和C′的坐标定义为A′(xA′，yA′)、B′(xB′，yB′)和C′(xC′，yC′)时，其中三个点在前后帧之间移动的移动距离和方向可以作为在通过以下重心G的公式(1)计算的前一帧中的三个点A、B和C的重心G与后一帧中的三个点A′、B′和C′的重心G′之间的差(G′，-G)的向量进行计算。
[公式1]
从前一帧到后一帧的尺寸位移可以通过从三个点到重心的距离的平均值之间的差来计算，如下面的公式(2)所示。
[公式2]
此外，可以根据由从三个点到重心的矢量所形成的角度的平均值来计算旋转，如下面的公式(3)所示。
[公式3]
在前后帧标记步骤(第五步骤)S5中，至少基于位移量、在第二步骤中被首先标记的第一个关键帧位置数据、和在第二步中被接下来标记的下一个关键帧位置数据，来在观察画布数据中标记被确定的多个后一帧的位置数据。如图8(A)至(C)所示的，多个后一帧的临时位置数据被标记为多个后一帧的临时位置数据，直到在这个步骤中确定了下一个关键帧位置数据。在图8(B)和(C)所示，指示相应帧的相对位置的相应段中的标志仍然是观察候选(1)。在图8的具体示例中，当其中不是关键帧的后一帧被标记的区域与观察画布上的关键帧区域中的任一个重叠时，确定该帧尚未到达关键帧，并且对在观察画布上添加了观察候选标志(1)的帧的相对位置进行校正，使得标记区域大小和移动距离在相对信息中变为距离直到那时已被标记的起始关键帧的1/2。此外，将移动距离和区域大小的计算公式的系数设为1/2，从而释放观察画布中的空间，以便继续之后的标记步骤。这里，″1/2″的系数是为了防止作为观测候选的多个后一帧脱离矩阵而方便地确定的，并且不限于这个值。
然后，如图9(A)至(C)所示的，当确定下一个关键帧位置数据(顶部的位置数据)时，调整多个临时后一帧的相对位置，使得临时(作为观察候选)后一帧的位置数据适合在第一个关键帧位置数据(左输尿管开口的位置数据)和下一关键帧位置数据之间，并确定后一帧的位置数据的标记。当确定第一个关键帧位置数据和下一关键帧位置数据时，确定在两个关键帧位置之间存在的多个后一帧的相对位置，并确定其绝对位置。如图9(B)和(C)所示的，对从第一个关键帧到下一个关键帧的连续多个帧的标记信息进行校正以排布在观察画布上的关键帧之间，以及与观察画布上的绝对位置相对应的段的标志从观察候选(1)改变为观察的(2)以用于确定绝对位置。在该实施方案中，确定观察的相应帧的位置数据包括观察位置的多个段sg的绝对位置信息(坐标)和帧编号。在该实施方案中，在通过排列假定在模拟展开的观察画布上的具有吸纳共同尺寸和相同形状的多个段sg所形成的矩阵MX上，由在使用尿道口作为原点的阵列中的行和列所确定的坐标来表示绝对位置信息。
当在改变内窥镜相对于器官内壁的位置的同时重复上述第二步骤至第五步骤时，观察画布数据上的多个段中的标志变为指示尚未进行标记的标志(0)或者指示已进行标记的标志(2)，如图10(A)所示的。因此，当按颜色对观察画布中的区域进行分类并显示时，使得标志(0)的多个段的区域显示为黑色，并且标志(2)的多个段的区域显示为灰色，如图10(B)所示，可以清楚地显示内窥镜未观察到的区域(灰色的区域)的存在和位置。
关于在稍后描述的图像诊断支持步骤(第六步骤)中被确定为具有病变可能性的帧，可以通过使用与在前后帧标记步骤(第五步)S5中的相应帧和帧编号相对应的段的绝对位置信息来指定包括病变的帧的成像位置。因此，在其中进行随后的详细检查或手术的情况下，可以给出病变的准确位置。
[图像诊断支持步骤(第六步骤)]
图1所示的图像诊断支持步骤IDS(第六步骤)与针对多个帧执行第二步骤至第五步骤并行地执行，其基于观察画布数据中标记的多个位置数据和多个帧中的内窥镜图像来对器官中的病变的存在的图像诊断进行支持。然而，可以在执行第二步骤至第五步骤之后，基于观察画布数据上标记的多个位置数据和多个帧中的内窥镜图像来诊断器官中病变的存在。
在图1所示的图像诊断支持步骤IDS(第六步骤)中，如下通过使用训练后的图像诊断模型来进行图像诊断支持。训练后的图像诊断模型在计算机中实现，并与数据库一起配置所谓的人工智能。
[使用训练后的图像诊断模型的图像诊断支持系统]
如图11所示，可以使用通过利用在内窥镜图像数据库DB中记录的数据作为训练数据进行训练后的图像诊断模型DM所生成的训练后的图像诊断模型TDM，通过具有人工智能的图像诊断支持系统来实现图像诊断支持步骤IDS(第六步骤)。在内窥镜图像数据库DB中作为训练数据。在图11的示例中，内窥镜图像数据库DB记录正常内窥镜图像数据、包括病变的病变内窥镜图像数据、以及指示代表病变是否包括在图像中的信息的注释信息数据(其由医生提供)。第六步骤(支持系统)被实现以用于通过使用通过利用这些数据来训练图像诊断模型DM而获得的训练图像诊断模型TDM来观察内窥镜图像EI。通常，用于图像分类或对象检测的深度学习模型如GoogleNet、Inception模型、U-Net、ResNet、YOLO、SSD等可以用作图像诊断模型。人工智能的诊断准确度根据训练数据的质量和数量而提高。为了收集具有良好质量的医学图像的训练数据，优选的是，不仅结合良好的图像质量而且还结合医生的准确注释信息。因此，在这个示例中，正常内窥镜图像和病变内窥镜图像以及注释信息被记录在内窥镜图像数据库中。
[通过注释扩张的图像诊断支持]
存在许多检查如膀胱镜检查，其中检查数量和患者数量均比胃肠内窥镜检查小一个数量级，并且难以收集待作为用于诊断支持的目标的检查图像作为训练数据。因此，即使当收集大量的医学图像和注释信息以进行训练，从而创建能够高准确度判别图像中病变的存在的用于诊断支持的人工智能时，也难以直接将人工智能应用于对器官或其中收集训练数据很困难的情形如膀胱镜检查的检查的诊断支持。为了在实际检查中通过高度准确的人工智能来实现图像诊断支持，必须解决上述问题。
图12示出了为了解决上述问题而使用注释扩张模型AEM来执行图像诊断支持步骤IDS(第六步骤)的图像诊断支持系统的一种配置。在该系统中，在内窥镜图像数据库DB中提供注释扩张模型AEM以创建扩张后的注释信息。图13示出了用于训练注释扩张模型AEM的具体流程。图13所示的注释扩张模型AEM是基于由编码器E和解码器D构成的自动编码器的注释扩张模型。自动编码器学习参数，使得当通过利用由编码器E对输入信息的维度进行一次压缩所获得的潜在变量而由解码器D解码时，输入信息和输出信息返回到相同的信息。注释扩张模型如下计算与来自图像诊断模型DM的中间层的每个像素相对应的特征(H，W，M)。图像诊断模型DM用作特征提取器FE，并且将内窥镜图像数据库中记录的病变内窥镜图像LEI输入到图像诊断模型中。所获得的特征(H，W，M)与对应于病变内窥镜图像LEI的注释信息(H，W，C)一起输入到编码器E中。然后，通过解码器D对从编码器E输出的潜在变量(1，1，L)和从特征提取器FE获得的特征(H，W，M)进行逆计算，以生成作为新注释信息的扩张后的注释信息(H，W，c′)。这里，潜在变量是影响变量之间的关系的解释的变量，其例如是影响针对内窥镜图像数据库中的内窥镜图像的注释操作的习惯等的变量。特征“H”对应于“特征图高度”，其是卷积神经网络的特征图中的像素阵列的高度方向上的特征。“W”对应“特征图宽度”，其是卷积神经网络中的特征图的像素阵列中的宽度方向上的特征。“M”对应于“特征图深度”，其是卷积神经网络的特征图中的像素的深度方向上的特征。“C”对应于“类别数量”，其是分配给注释信息中的每个像素的类别的数量。“L”对应于“潜在矢量长度”，其是潜在变量的潜在矢量长度。当创建注释扩张模型AEM时，优选地进行训练以减少输入到编码器E的注释信息与从解码器D输出的扩张后的注释信息之间的交叉熵。即，在该实施方案中，对注释扩张模型AEM进行训练以减少注释信息(H，W，C)的概率分布与扩张后的注释信息(H，W，C′)的概率分布之间的交叉熵。
当使用上述注释扩张模型AEM时，即使训练数据较小，也可以从原始内窥镜图像数据库中的内窥镜图像中重新获得有用的扩张后的注释信息，而无需增加新的注释信息并且也无需强迫医生工作。也可以使用GAN(生成对抗网络)作为注释扩张模型AEM。在该实施方案中，使用基于利用概率分布作为潜在变量的VAE(变分自动编码器)的注释扩张模型AEM。图14(A)和(B)分别示出了根据待作为目标的相应内窥镜图像由训练后的注释扩张模型生成的多个扩张后的注释信息的示例。从在这些视图中可以看出的，可以由同一个内窥镜图像生成与医生添加的原始注释信息接近的多个扩张后的注释信息。
优选的是，在注释扩张模型AEM中随机地扩张扩张后的注释信息。根据由训练后的注释扩张模型中的潜在变量所定义的概率分布来生成扩张后的注释信息。随机自动扩张并不意味着所有的扩张后的注释信息都是按照概率分布生成的，而是意味着扩张后的注释信息是通过随机地选择潜在变量来生成的。具体地，图14(A)和(B)的示例意味着例如从5条可生成的扩张后的注释信息中随机生成一条扩张后的注释信息。由此，可以在不增加超过必要的扩张后的注释信息的情况下获得平衡的扩张后的注释信息。此外，当通过结合现有的数据扩张方法来对N条的数据集的执行M倍的现有数据扩张和L倍的注释扩张时，将扩张的数据集扩张至L×M×N条的数据集。
图15示出了在其中通过使用训练数据(其中将通过使用现有数据扩张扩张的扩张数据添加到现有训练数据中)来训练扩张模型的情况下以及在其中通过使用训练数据(其中将通过现有数据扩张所获得的扩张数据和通过注释扩张所获得的数据添加到现有训练数据中)来训练扩张模型的情况下的诊断准确度F。横轴表示训练数据的比率，其中“基线1.0”显示其中相对于内窥镜图像数据库中的100％的训练数据使用通过现有数据扩张所获得的扩张数据进行训练的情况，并且“学生1.0”显示其中相对于内窥镜图像数据库中的100％的训练数据使用通过现有数据扩张所获得的扩张数据和通过注释扩张所获得的扩张数据进行训练的情况。从图15发现，在其中使用注释扩张进行训练的情况下，诊断准确度F提高。此外，当在将原始训练数据的量减少10％的同时进行注释扩展时，准确度比其中利用100％量的训练数据进行数据扩张的情况更好；因此，发现注释扩张方法在小数据的情况下提高训练准确度。
根据该实施方案，为了在没有增加用于训练的数据的情况下有效地使用有限的数据集进行训练来提高诊断准确度，通过使用用于训练的数据集所训练的注释扩张模型AEM，针对用于训练的数据集的内窥镜图像新生成注释信息(而不是通过医生)，并且将扩张后的注释信息与原始注释信息组合以用作扩张后的数据集，从而进一步提高在小数据的情况下图像诊断模型DM的训练准确度。
[通过区域限定病变确定的图像诊断支持]
在执行第六步骤的图像诊断支持系统中，可以通过检测其中内窥镜图像中病变的可能性高的区域并通过利用已通过使用在内窥镜图像数据库中记录的数据作为训练数据所训练的训练后的图像诊断模型来诊断其中病变的可能性高的区域是否为病变而支持诊断。内窥镜图像含有假定为正常的部分和假定为病变的部分。因此，与评估整个图像相比，当通过将其中病变的可能性高的区域作为要评估的目标来诊断是正常部分还是病变时，可以提高诊断准确度。
图16示出了在第六步骤中创建用于根据区域限定病变分类进行图像诊断支持的训练后的图像诊断模型(训练后的病变区域检测图像诊断模型和训练后的病变分类图像诊断模型)的一个具体示例。图16中使用的病变区域检测图像诊断模型LADM是用于从病变内窥镜图像LEI和正常内窥镜图像NEI中提取所有像素的图像特征(H，W，M)的图像诊断模型。在这种图像诊断模型中，通过使用其中病变的可能性高的区域中的多个像素的图像特征，从内窥镜图像LEI和NEI中指定其中病变的可能性高的区域，以及其中病变的可能性高的特征(区域限制特征：H，W，M×0/1)。接下来，根据区域限定特征(H，W，M×0/1)计算病变候选特征(1，1，avg(M×1))。该病变候选特征(1，1，avg(M×1))是其中每个像素的特征M为病变候选掩模(H，W，0/1)的“1”的部分的区域中的平均值。然后，通过使用病变分类图像诊断模型LCDM，根据病变候选特征(1，1，avg(M×1))，将其中病变的可能性高的区域分类为正常部分和病变。
更具体地，用于创建用于进行图像诊断支持的训练后的图像诊断模型的图像诊断模型由病变区域检测图像诊断模型LADM、二值化处理部BP、区域限定特征计算部ALFC、病变候选特征计算部LFC和病变分类图像诊断模型LCDM构成。
病变区域检测图像诊断模型LADM根据一幅图像和内窥镜图像中的所有像素的图像特征(H，W，M)来创建病变准确度图(H，W，L)。注意，作为具有50-层深度的卷积神经网络的Resnet 50可以用病变区域检测图像诊断模型LADM。二值化处理部BP通过对病变准确度图(H，W，L)进行二值化处理来创建病变候选掩模(H，W，0/1)。作为二值化处理部BP，可以使用作为图像二值化方法的“Otus法”。区域限定特征计算部ALFC通过将图像特征(H，W，M)乘以病变候选掩模(H，W，0/1)来计算被限定到其中病变的可能性高的区域的区域限定特征(H，W，M×0/1)。病变候选特征计算部LFC通过对区域限定特征(H，W，M×0/1)的限定区域的部分进行平均来计算在其中病变的可能性高的区域处的病变候选特征(1，1，avg(M×1))。然后，病变分类图像诊断模型LCDM基于该病变候选特征(1，1，avg(M×1))将其中病变的可能性高的区域分类为正常部分和病变。作为病变分类图像诊断模型LCDM，可以使用设置有作为激活函数的软最大函数(Softmax)的多层感知器方法(MLP法)。在这个示例中，从病变区域检测图像诊断模型LADM的中间层获得每个像素的图像特征(H，W，M)。
在执行第六步骤的图像诊断支持系统中，使用利用通过训练病变区域检测图像诊断模型LADM和病变分类图像诊断模型LCDM而获得的训练后的病变区域检测图像诊断模型和训练后的病变分类图像诊断模型的训练后的图像诊断模型。当使用这样的训练后的图像诊断模型时，可以提高在其中病变的可能性高的区域处的确定准确度。
图17(A)和(B)示出了在其中区域未限定的情况下的病变确定结果和其中区域被限定的情况下的病变确定结果。在图17(A)和(B)中，纵轴表示评价指数(IoU)并且横轴表示病变区域的大小。IoU≥0.4表明正确地作出了病变确定，而IoU<0.4表明病变被忽略。当比较图17(A)与(B)时，在其中区域未被限定的情况下，存在最小病变(区域：0-100)的11个忽略；然而，当区域被限定时，最小病变的忽略减少至6个。根据上述结果，发现通过在内窥镜图像中检测其中病变的可能性高的区域并确定其中病变的可能性高的区域是否为病变而可以提高确定准确度。
[显示装置的显示屏]
图18示出了执行图像诊断支持方法的图像诊断支持系统的显示装置的显示屏的一个示例。在这个示例中，在显示屏上显示了患者的图表信息D1、在类似于观察画布的视图上显示多个观察区域和检测到病变的位置的观察位置显示D2、在其上显示其中病变存在的观察区域中的病变的恶性度和类型的诊断结果显示D3、包括病变的原始内窥镜图像D4以及通过将在确定病变时的图像诊断支持的结果叠加在内窥镜图像上而获得的内窥镜图像诊断支持图像D5。根据显示，可以在显示屏上确认观察结果和诊断结果。
图19示出了显示装置的显示屏的另一个示例。同样在这个示例中，在显示屏上显示了患者图表信息D1、在类似于观察画布的视图上显示多个观察区域和检测到病变的位置的观察位置显示D2、在其上显示其中病变存在的观察区域中的病变的恶性度和类型的诊断结果显示D3、包括病变的原始内窥镜图像D4以及通过将在确定病变时的图像诊断支持的结果叠加在内窥镜图像上而获得的内窥镜图像诊断支持图像D5。在这个示例中，还显示了用于进一步显示处理状态的处理状态显示D6和病变候选缩微图像D7。在处理状态显示D6中，顺序地显示了观察时间和在进行处理时的病变的存在。因此，当点击处理状态显示D6中的垂直线时，此时的内窥镜图像诊断支持图像被显示为病变候选缩微图像D7。在病变候选缩微图像D7上，将作为在观察时的诊断结果所获得的内窥镜图像诊断支持图像D5上显示的图像作为病变候选通过缩微图像显示。当选择缩微图时，D1、D2和D3的显示根据所选择的缩微图而改变。图20示出了一个示例性输出报告。显示了与图19中的病变候选缩微图像D7的复选框中的检查状态相对应的图像。输出报告的示例不限于图20的示例。
下面将列举本申请说明书中公开的多个发明的配置的构成特征。
[1]一种内窥镜诊断支持系统，其中将设置在内窥镜前端部处的成像装置插入到受试者的器官的腔体中，并基于包括由所述成像装置拍摄的内窥镜图像的多个帧通过使用计算机来诊断所述器官内病变的存在，其中所述计算机被配置为执行：准备用于所述腔体的内窥镜图像的观察画布的观察画布数据的第一步骤，确定含有至少一个可以指定帧中的所述器官的腔体中的位置的解剖结构的关键帧并标记观察画布数据中的所述关键帧的关键帧位置数据的第二步骤，将所述关键帧设置为第一个前一帧，并确定分别存在于所述多个帧中的前一帧和后一帧上的三个以上关键点以计算所述关键点在所述内窥图像中的坐标的第三步骤，基于所述三个以上关键点在所述内窥镜图像中的坐标来计算在前一帧和后一帧之间的位移量的第四步骤，至少基于所述位移量、在第二步骤中被首先标记的第一个关键帧位置数据、和在第二步骤中被稍后标记的下一个关键帧位置数据，来在所述观察画布数据中标记被确定的多个后一帧的位置数据的第五步骤，以及与针对所述多个帧执行第二步骤至第五步骤并行地、或在针对所述多个帧执行第二步骤至第五步骤之后基于在所述观察画布数据和所述多个帧中标记的多个被确定的位置数据来支持对所述器官中病变的存在进行图像诊断的第六步骤。
[2]根据上述[1]所述的内窥镜诊断支持系统，其中所述计算机还执行以下步骤：在显示装置的显示屏上显示以下中的至少一个：观察位置显示，在其上多个观察区域被显示在类似于所述观察画布的视图上；病变位置显示，在其上其中病变存在的多个观察区域在类似于所述观察画布的视图上；诊断结果显示，在其上显示了在其中病变存在的观察区域中的病变的恶性度和类型；以及受试者的图表的显示。
[3]一种内窥镜诊断支持系统，其进行支持使得将设置在内窥镜前端部处的成像装置插入到受试者的器官的腔体中，并基于包括由所述成像装置拍摄的内窥镜图像的多个帧通过使用计算机来诊断所述器官内病变的存在，其中在所述内窥镜图像中检测其中病变的可能性高的区域，并且通过使用通过将记录在内窥镜图像数据库中的训练数据作为训练数据而获得的训练后的图像诊断模型来确定其中所述病变的可能性高的区域是否为病变。
[4]一种用于内窥镜诊断支持系统的计算机程序，其用于实现所述内窥镜诊断支持系统，所述内窥镜诊断支持系统进行支持使得设置在内窥镜的前端部处的成像装置插入到受试者的器官的腔体中，并且基于包括由所述成像装置拍摄的内窥镜图像的多个帧通过使用计算机来诊断所述器官中病变的存在，其中所述计算机程序记录在计算机可读记录介质中并安装在所述计算机中，所述计算机被配置为执行：准备用于所述腔体的内窥镜图像的观察画布的观察画布数据的第一步骤，确定含有至少一个可以指定帧中的所述器官的腔体中的位置的解剖结构的关键帧并标记所述观察画布数据中的所述关键帧的关键帧位置数据的第二步骤，将所述关键帧设置为第一个前一帧，并确定分别存在于所述多个帧中的前一帧和后一帧上的三个以上关键点以计算所述关键点在所述内窥图像中的坐标的第三步骤，基于所述三个以上关键点在所述内窥镜图像中的坐标来计算在前一帧和后一帧之间的位移量的第四步骤，至少基于所述位移量、在第二步骤中被首先标记的第一个关键帧位置数据、和在第二步骤中被稍后标记的下一个关键帧位置数据，来在所述观察画布数据中标记被确定的多个后一帧的位置数据的第五步骤，以及与针对所述多个帧执行第二步骤至第五步骤并行地、或在针对所述多个帧执行第二步骤至第五步骤之后，基于在所述观察画布数据和所述多个帧中标记的多个被确定的位置数据来支持对所述器官中病变的存在进行图像诊断的第六步骤，并且第六步骤实现以下中的至少一个：第一支持系统，其通过使用通过记录在内窥镜图像数据库中的包括图像数据与注释信息的训练数据作为训练数据所获得的训练后的图像诊断模型来进行诊断支持；和第二支持系统，其通过检测其中病变的可能性高的区域并且通过使用通过记录在所述内窥镜图像数据库中的训练数据作为训练数据所获得的所述训练后的图像诊断模型来确定其中病变的可能性高的所述区域是否为病变来进行诊断支持。
工业实用性
根据本发明，针对目标器官内壁的观察画布数据进行标记；因此，可以清楚地区分检查区域和未检查区域，可以彻底地观察目标器官的内部，并且可以正确地记录所捕获的图像在哪里拍摄的。此外，可以基于在观察画布数据中标记的多个位置数据和多个帧中的内窥镜图像来进行器官中病变的存在的图像诊断时的支持。
参考符号列表
ES：内窥镜系统
EI：内窥镜图像
IDS：图像诊断支持步骤
ORS：观察记录步骤
SID：诊断支持信息显示部SOC：模拟展开的观察画布
MX：矩阵
DB：内窥镜图像数据库
DM：图像诊断模型
TDM：训练后的图像诊断模型
AEM：注释扩张模型
E：编码器
D：解码器
TADM：训练后的正常附加训练型图像诊断模型
TDM 1：训练后的图像诊断模型
DM 1：图像诊断模型
TDM 2：训练后的图像诊断模型
LADM：病变区域检测图像诊断模型
LCDM：病变分类图像诊断模型
BP：二值化处理部
ALFC：区域限定特征计算部
LFC：病变候选特征计算部
LSEDM：类似图像确定模型
权利要求书(按照条约第19条的修改)
1.一种用于通过使用计算机支持内窥镜诊断的内窥镜诊断支持方法，其中将设置在内窥镜前端部处的成像装置插入到受试者的器官的腔体中，并且基于包括通过所述成像装置拍摄的内窥镜图像的多个帧，通过使用所述计算机来诊断所述器官中病变的存在，所述计算机执行以下步骤：
第一步骤：准备用于所述腔体的所述内窥镜图像的观察画布的观察画布数据，
第二步骤：确定含有至少一个能够指定帧中的所述器官的腔体中的位置的解剖结构的关键帧，并且在所述观察画布数据中标记所述关键帧的关键帧位置数据，
第三步骤：将所述关键帧设置为第一个前一帧，并确定分别存在于在所述多个帧中定义的前一帧和后一帧上的三个以上关键点，以计算所述关键点在所述内窥镜图像中的坐标，
第四步骤：基于所述三个以上关键点在所述内窥镜图像中的坐标来计算所述前一帧和所述后一帧之间的位移量，
第五步骤：至少基于所述位移量、在所述第二步骤中被首先标记的第一个关键帧位置数据、和在所述第二步骤中被随后标记的下一个关键帧位置数据，来在所述观察画布数据中标记被确定的多个后一帧的位置数据，和
第六步骤：与针对所述多个帧执行所述第二步骤至所述第五步骤并行地、或在针对所述多个帧执行所述第二步骤至所述第五步骤之后，基于多个在所述观察画布数据中标记的所述被确定的位置数据以及所述多个帧中的所述内窥镜图像，来支持所述器官中所述病变的存在的图像诊断。
2.根据权利要求1所述的内窥镜诊断支持方法，其中
所述后一帧的位置数据包括针对所述关键帧位置数据的相对位置信息以及帧编号。
3.根据权利要求1或2所述的内窥镜诊断支持方法，其中
所述观察画布是模拟展开的观察画布，其中通过一般方法指定所述器官的腔体中的多个开口和顶部的位置，并且一个开口布置在中央，并且
在所述第五步骤中，将多个临时位置数据用作所述多个后一帧的位置数据直至确定所述下一个关键帧位置数据，并且当所述下一个关键帧位置数据被确定时，标记所述被确定的所述多个后一帧的位置数据，以使得所述多个后一帧的所述多个临时位置数据适合在所述第一个关键帧位置数据和所述下一个关键帧位置数据之间。
4.根据权利要求2所述的内窥镜诊断支持方法，其中
所述相对位置信息由附有代表类型的符号的坐标位置数据组成，其中相同尺寸和形状的多个段被假定在所述模拟展开的观察画布上并且被排列以形成矩阵，并且所述至少一个解剖结构位于其中的段的坐标位置被定义为所述矩阵中的参考点。
5.根据权利要求1所述的内窥镜诊断支持方法，其中所述第二步骤和所述第三步骤通过使用自身位置估计技术来实施。
6.根据权利要求1所述的内窥镜诊断支持方法，其中在所述第六步骤中，
执行第一支持方法和第二支持方法中的至少一个，所述第一支持方法使用已通过作为包括附有注释信息的图像数据在内的内窥镜图像数据库中的训练数据记录的训练数据进行训练的训练后的图像诊断模型支持诊断，并且
所述第二支持方法通过使用己通过作为所述内窥镜图像数据库中的训练数据记录的数据进行训练以检测其中所述内窥镜图像中病变的可能性高的区域以及确定其中所述病变的可能性高的所述区域是否为所述病变的训练后的图像诊断模型支持诊断。
7.根据权利要求6所述的内窥镜诊断支持方法，其中所述内窥镜图像数据库还包括由通过使用注释扩张模型扩张注释信息而获得的扩张后的注释信息。
8.根据权利要求7所述的内窥镜诊断支持方法，其中
所述注释扩张模型是基于由编码器和解码器构成的自动编码器的注释扩张模型，并且
通过向所述编码器中输入从向其中已使用所述图像诊断模型作为特征提取器输入了所述内窥镜图像数据库中记录的病变内窥镜图像的所述图像诊断模型的中间层提取的一组特征、以及与所述病变内窥镜图像对应的注释信息、并且通过使所述解码器对从所述编码器输出的潜在变量和所述特征进行逆运算，来训练所述注释扩张模型以估计所述扩张后的注释信息。
9.根据权利要求8所述的内窥镜诊断支持方法，其中进行训练以减少输入到所述编码器的注释信息和所述扩张后的注释信息之间的交叉熵。
10.根据权利要求8所述的内窥镜诊断支持方法，其中所述注释扩张模型随机地扩张所述扩张后的注释信息。
11.根据权利要求7所述的内窥镜诊断支持方法，其中所述内窥镜图像数据库还包括扩张后的数据集，所述扩张后的数据集含有通过使用数据扩张技术来扩张所述内窥镜图像数据库中记录的所述病变内窥镜图像的数据而获得的扩张后的数据和扩张后的注释信息。
12.根据权利要求11所述的内窥镜诊断支持方法，其中
在用于支持诊断的所述第二方法中使用的所述训练后的图像诊断模型被配置成从所述内窥镜图像提取所有像素中的图像特征，以从所述内窥镜图像中指定其中所述病变的可能性高的区域、通过使用位于其中所述病变的可能性高的区域中的多个像素的图像特征来计算其中所述病变的可能性高的区域中的病变候选特征、以及从所述病变候选特征中将其中所述病变的可能性高的区域分类为正常部分和所述病变。
13.根据权利要求12所述的内窥镜诊断支持方法，其中所述训练后的图像诊断模型由以下构成：
病变区域检测图像诊断模型，其由所述图像特征和所述内窥镜图像创建病变准确度图，
二值化处理部，其通过进行所述病变准确度图的二值化处理来创建病变候选掩模，
区域限定特征计算部，其基于所述图像特征和所述病变候选掩模来计算被限定至其中所述病变的可能性高的区域的区域限定特征，
病变候选特征计算部，其通过将所述区域限定特征进行平均来对其中所述病变的可能性高的区域计算病变候选特征，和
病变分类图像诊断模型，其基于所述病变候选特征将其中所述病变的可能性高的区域分类为所述正常部分和所述病变。
14.根据权利要求1所述的内窥镜诊断支持方法，其中所述计算机还执行在显示装置的显示屏上显示以下中的至少一个的步骤：
观察位置显示，其在类似于所述观察画布的视图上显示多个观察区域，
病变位置显示，其在类似于所述观察画布的视图上显示其中病变存在的观察区域，
诊断结果显示，其显示其中所述病变存在的观察区域中的病变的恶性度和类型，和
所述受试者的医疗图表的显示。
15.一种设置有计算机的内窥镜诊断支持系统，所述计算机具有用于执行根据权利要求1所述的内窥镜诊断支持方法的装置，其中所述计算机包括：
用于执行以下第一步骤的第一装置：准备用于所述腔体的所述内窥镜图像的观察画布的观察画布数据，
用于执行以下第二步骤的第二装置：确定含有至少一个能够指定帧中的所述器官的腔体中的位置的解剖结构的关键帧，并且在所述观察画布数据中标记所述关键帧的关键帧位置数据，
用于执行以下第三步骤的第三装置：将所述关键帧设置为第一个前一帧，并确定分别存在于在所述多个帧中定义的前一帧和后一帧上的三个以上关键点，以计算所述关键点在所述内窥镜图像中的坐标，
用于执行以下第四步骤的第四装置：基于所述三个以上关键点在所述内窥镜图像中的坐标来计算所述前一帧和所述后一帧之间的位移量，
用于执行以下第五步骤的第五装置：至少基于所述位移量、在所述第二步骤中被首先标记的第一个关键帧位置数据、和在所述第二步骤中被随后标记的下一个关键帧位置数据，来在所述观察画布数据中标记被确定的多个后一帧的位置数据，和
用于执行以下第六步骤的第六装置：与针对所述多个帧执行所述第二步骤至所述第五步骤并行地或在针对所述多个帧执行所述第二步骤至所述第五步骤之后，基于多个在所述观察画布数据中标记的所述被确定的位置数据以及所述多个帧中的所述内窥镜图像来支持所述器官中所述病变的存在的图像诊断。

Claims (15)

1.一种用于通过使用计算机支持内窥镜诊断的内窥镜诊断支持方法，其中将设置在内窥镜前端部处的成像装置插入到受试者的器官的腔体中，并且基于包括通过所述成像装置拍摄的内窥镜图像的多个帧，通过使用所述计算机来诊断所述器官中病变的存在，所述计算机执行以下步骤：
第一步骤：准备用于所述腔体的所述内窥镜图像的观察画布的观察画布数据，
第二步骤：确定含有至少一个能够指定帧中的所述器官的腔体中的位置的解剖结构的关键帧，并且在所述观察画布数据中标记所述关键帧的关键帧位置数据，
第三步骤：将所述关键帧设置为第一个前一帧，并确定分别存在于在所述多个帧中定义的前一帧和后一帧上的三个以上关键点，以计算所述关键点在所述内窥镜图像中的坐标，
第四步骤：基于所述三个以上关键点在所述内窥镜图像中的坐标来计算所述前一帧和所述后一帧之间的位移量，
第五步骤：至少基于所述位移量、在所述第二步骤中被首先标记的第一个关键帧位置数据、和在所述第二步骤中被随后标记的下一个关键帧位置数据，来在所述观察画布数据中标记被确定的多个后一帧的位置数据，和
第六步骤：与针对所述多个帧执行所述第二步骤至所述第五步骤并行地、或在针对所述多个帧执行所述第二步骤至所述第五步骤之后，基于多个在所述观察画布数据中标记的所述被确定的位置数据以及所述多个帧中的所述内窥镜图像，来支持所述器官中所述病变的存在的图像诊断。
2.根据权利要求1所述的内窥镜诊断支持方法，其中
所述后一帧的位置数据包括针对所述关键帧位置数据的相对位置信息以及帧编号。
3.根据权利要求1或2所述的内窥镜诊断支持方法，其中
所述观察画布是模拟展开的观察画布，其中通过一般方法指定所述器官的腔体中的多个开口和顶部的位置，并且一个开口布置在中央，并且
在所述第五步骤中，将多个临时位置数据用作所述多个后一帧的位置数据直至确定所述下一个关键帧位置数据，并且当所述下一个关键帧位置数据被确定时，标记所述被确定的所述多个后一帧的位置数据，以使得所述多个后一帧的所述多个临时位置数据适合在所述第一个关键帧位置数据和所述下一个关键帧位置数据之间。
4.根据权利要求23所述的内窥镜诊断支持方法，其中
所述相对位置信息由附有代表类型的符号的坐标位置数据组成，其中相同尺寸和形状的多个段被假定在所述模拟展开的观察画布上并且被排列以形成矩阵，并且所述至少一个解剖结构位于其中的段的坐标位置被定义为所述矩阵中的参考点。
5.根据权利要求1所述的内窥镜诊断支持方法，其中所述第二步骤和所述第三步骤通过使用自身位置估计技术来实施。
6.根据权利要求1所述的内窥镜诊断支持方法，其中在所述第六步骤中，
执行第一支持方法和第二支持方法中的至少一个，所述第一支持方法使用已通过作为包括附有注释信息的图像数据在内的内窥镜图像数据库中的训练数据记录的训练数据进行训练的训练后的图像诊断模型支持诊断，并且
所述第二支持方法通过使用己通过作为所述内窥镜图像数据库中的训练数据记录的数据进行训练以检测其中所述内窥镜图像中病变的可能性高的区域以及确定其中所述病变的可能性高的所述区域是否为所述病变的训练后的图像诊断模型支持诊断。
7.根据权利要求6所述的内窥镜诊断支持方法，其中所述内窥镜图像数据库还包括由通过使用注释扩张模型扩张注释信息而获得的扩张后的注释信息。
8.根据权利要求7所述的内窥镜诊断支持方法，其中
所述注释扩张模型是基于由编码器和解码器构成的自动编码器的注释扩张模型，并且
通过向所述编码器中输入从向其中已使用所述图像诊断模型作为特征提取器输入了所述内窥镜图像数据库中记录的病变内窥镜图像的所述图像诊断模型的中间层提取的一组特征、以及与所述病变内窥镜图像对应的注释信息、并且通过使所述解码器对从所述编码器输出的潜在变量和所述特征进行逆运算，来训练所述注释扩张模型以估计所述扩张后的注释信息。
9.根据权利要求8所述的内窥镜诊断支持方法，其中进行训练以减少输入到所述编码器的注释信息和所述扩张后的注释信息之间的交叉熵。
10.根据权利要求8所述的内窥镜诊断支持方法，其中所述注释扩张模型随机地扩张所述扩张后的注释信息。
11.根据权利要求7所述的内窥镜诊断支持方法，其中所述内窥镜图像数据库还包括扩张后的数据集，所述扩张后的数据集含有通过使用数据扩张技术来扩张所述内窥镜图像数据库中记录的所述病变内窥镜图像的数据而获得的扩张后的数据和扩张后的注释信息。
12.根据权利要求11所述的内窥镜诊断支持方法，其中
在用于支持诊断的所述第二方法中使用的所述训练后的图像诊断模型被配置成从所述内窥镜图像提取所有像素中的图像特征，以从所述内窥镜图像中指定其中所述病变的可能性高的区域、通过使用位于其中所述病变的可能性高的区域中的多个像素的图像特征来计算其中所述病变的可能性高的区域中的病变候选特征、以及从所述病变候选特征中将其中所述病变的可能性高的区域分类为正常部分和所述病变。
13.根据权利要求12所述的内窥镜诊断支持方法，其中所述训练后的图像诊断模型由以下构成：
病变区域检测图像诊断模型，其由所述图像特征和所述内窥镜图像创建病变准确度图，
二值化处理部，其通过进行所述病变准确度图的二值化处理来创建病变候选掩模，
区域限定特征计算部，其基于所述图像特征和所述病变候选掩模来计算被限定至其中所述病变的可能性高的区域的区域限定特征，
病变候选特征计算部，其通过将所述区域限定特征进行平均来对其中所述病变的可能性高的区域计算病变候选特征，和
病变分类图像诊断模型，其基于所述病变候选特征将其中所述病变的可能性高的区域分类为所述正常部分和所述病变。
14.根据权利要求1所述的内窥镜诊断支持方法，其中所述计算机还执行在显示装置的显示屏上显示以下中的至少一个的步骤：
观察位置显示，其在类似于所述观察画布的视图上显示多个观察区域，
病变位置显示，其在类似于所述观察画布的视图上显示其中病变存在的观察区域，
诊断结果显示，其显示其中所述病变存在的观察区域中的病变的恶性度和类型，和
所述受试者的医疗图表的显示。
15.一种设置有计算机的内窥镜诊断支持系统，所述计算机具有用于执行根据权利要求1所述的内窥镜诊断支持方法的装置，其中所述计算机包括：
用于执行以下第一步骤的第一装置：准备用于所述腔体的所述内窥镜图像的观察画布的观察画布数据，
用于执行以下第二步骤的第二装置：确定含有至少一个能够指定帧中的所述器官的腔体中的位置的解剖结构的关键帧，并且在所述观察画布数据中标记所述关键帧的关键帧位置数据，
用于执行以下第三步骤的第三装置：将所述关键帧设置为第一个前一帧，并确定分别存在于在所述多个帧中定义的前一帧和后一帧上的三个以上关键点，以计算所述关键点在所述内窥镜图像中的坐标，
用于执行以下第四步骤的第四装置：基于所述三个以上关键点在所述内窥镜图像中的坐标来计算所述前一帧和所述后一帧之间的位移量，
用于执行以下第五步骤的第五装置：至少基于所述位移量、在所述第二步骤中被首先标记的第一个关键帧位置数据、和在所述第二步骤中被随后标记的下一个关键帧位置数据，来在所述观察画布数据中标记被确定的多个后一帧的位置数据，和
用于执行以下第六步骤的第六装置：与针对所述多个帧执行所述第二步骤至所述第五步骤并行地或在针对所述多个帧执行所述第二步骤至所述第五步骤之后，基于多个在所述观察画布数据中标记的所述被确定的位置数据以及所述多个帧中的所述内窥镜图像来支持所述器官中所述病变的存在的图像诊断。
CN202180093283.7A 2020-12-08 2021-12-07 用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统 Pending CN116916807A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020203765 2020-12-08
JP2020-203765 2020-12-08
PCT/JP2021/045003 WO2022124315A1 (ja) 2020-12-08 2021-12-07 内視鏡診断支援方法及び内視鏡診断支援システム

Publications (1)

Publication Number Publication Date
CN116916807A true CN116916807A (zh) 2023-10-20

Family

ID=81974510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180093283.7A Pending CN116916807A (zh) 2020-12-08 2021-12-07 用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统

Country Status (4)

Country Link
US (1) US20240038391A1 (zh)
JP (1) JP7388648B2 (zh)
CN (1) CN116916807A (zh)
WO (1) WO2022124315A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017205343A (ja) 2016-05-19 2017-11-24 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
JP2018050890A (ja) 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
CN109146884B (zh) 2018-11-16 2020-07-03 青岛美迪康数字工程有限公司 内窥镜检查监控方法及装置

Also Published As

Publication number Publication date
WO2022124315A1 (ja) 2022-06-16
US20240038391A1 (en) 2024-02-01
JPWO2022124315A1 (zh) 2022-06-16
JP7388648B2 (ja) 2023-11-29

Similar Documents

Publication Publication Date Title
JP4631057B2 (ja) 内視鏡システム
CN107920722A (zh) 针对自胶囊相机所撷取的图像通过对象检测进行重建
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
JP6080248B2 (ja) ３次元画像表示装置および方法並びにプログラム
WO2017027638A1 (en) 3d reconstruction and registration of endoscopic data
US20110032347A1 (en) Endoscopy system with motion sensors
CN108140242A (zh) 视频摄像机与医学成像的配准
US20210280312A1 (en) Detecting deficient coverage in gastroenterological procedures
CN102596003B (zh) 使用内窥镜判定气道直径的系统
CN111214255B (zh) 一种医学超声图像计算机辅助方法
Szczypiński et al. A model of deformable rings for interpretation of wireless capsule endoscopic videos
CN110381841A (zh) 用于医疗成像的夹具及其使用方法
US20220296081A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
CN102378594A (zh) 将传感器位置与图像位置相关联
WO2021250951A1 (ja) プログラム、情報処理方法及び情報処理装置
EP2247230A2 (en) System and method for virtually augmented endoscopy
WO2022194126A1 (zh) 基于胶囊内窥镜构建阅片模型的方法、设备及介质
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
JP2007105352A (ja) 差分画像表示装置、差分画像表示方法およびそのプログラム
CN116958147B (zh) 基于深度图像特征的目标区域确定方法、装置和设备
CN107204045A (zh) 基于ct图像的虚拟内窥镜系统
Lurie et al. Registration of free-hand OCT daughter endoscopy to 3D organ reconstruction
CN116916807A (zh) 用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统
CN116051553A (zh) 一种在三维医学模型内部进行标记的方法和装置
TW202322744A (zh) 用於分析內視鏡程序之檢查品質之電腦執行系統及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination