CN113544743A - 内窥镜用处理器、程序、信息处理方法和信息处理装置 - Google Patents

内窥镜用处理器、程序、信息处理方法和信息处理装置 Download PDF

Info

Publication number
CN113544743A
CN113544743A CN202080019466.XA CN202080019466A CN113544743A CN 113544743 A CN113544743 A CN 113544743A CN 202080019466 A CN202080019466 A CN 202080019466A CN 113544743 A CN113544743 A CN 113544743A
Authority
CN
China
Prior art keywords
image
endoscope
endoscopic image
information
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080019466.XA
Other languages
English (en)
Other versions
CN113544743B (zh
Inventor
西出明彦
池谷浩平
石和淳子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN113544743A publication Critical patent/CN113544743A/zh
Application granted granted Critical
Publication of CN113544743B publication Critical patent/CN113544743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085—Cone-beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Pulmonology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)

Abstract

一种内窥镜用处理器，其具备：内窥镜图像获取部，其通过内窥镜获取患者的内窥镜图像；虚拟内窥镜图像获取部，其获取根据预先拍摄了患者的三维医学图像来重建的虚拟内窥镜图像；虚拟内窥镜图像重建部，其根据虚拟内窥镜图像获取部所获取的虚拟内窥镜图像与内窥镜图像获取部所获取的内窥镜图像之间的匹配度，来重建与内窥镜图像最为匹配的校正后的虚拟内窥镜图像；以及诊断支持信息输出部，其通过将内窥镜图像的各个像素与通过虚拟内窥镜图像重建部所重建的校正后的虚拟内窥镜图像来获得的距离图像相对应，并根据与此相应地对内窥镜图像获取部所获取的内窥镜图像执行校正的特征参数来输出诊断支持信息。

Description

内窥镜用处理器、程序、信息处理方法和信息处理装置
技术领域
本发明涉及一种内窥镜用处理器、程序、信息处理方法、信息处理方法和信息处理装置。
本申请要求基于2019年9月20日提交的日本申请第2019-171874号和2019年12月9日提交的日本申请第2019-222349号的优先权，并以援引方式将所述这些日本申请中记载的全部记载内容并入其中。
背景技术
患者的肿瘤检查特别是在气管和支气管内、上消化道、胰腺、胆管或肠管等管状器官部位中，大多通过将内窥镜插入该管状器官部位，根据该插入的内窥镜的影像来进行的。但是，在内窥镜图像的二维图像信息中不知道到各个像素的距离，也存在图像的几何畸变，由于图像测量时的误差大，因此不适合直接利用内窥镜图像来提供图像诊断支持信息。因此，专利文献1中公开的虚拟内窥镜能够通过使用X射线CT(Computed Tomography，计算机断层扫描)图像的数据来提供虚拟内窥镜图像。该虚拟内窥镜图像由X射线CT的三维图像创建，若将内窥镜图像与虚拟内窥镜图像建立关联，则由于从X射线CT的三维图像到内窥镜图像的各个像素的距离信息是已知的，因此图像测量的精度提高，还可以高精度地获得图像诊断支持信息。
患者的肿瘤检查特别是在气管和支气管内、上消化道、胰腺、胆管或肠管等管状器官部位中，大多通过将内窥镜插入该管状器官部位，根据该插入的内窥镜的影像来进行的。但是，在内窥镜图像的二维图像信息中不知道到各个像素的距离，也存在图像的几何畸变，由于图像测量时的误差大，因此很难直接利用内窥镜图像来提供图像诊断支持信息。与此相对地，专利文献1中公开的虚拟内窥镜通过使用X射线CT(Computed Tomography)图像的数据来提供虚拟内窥镜图像。该虚拟内窥镜图像由X射线CT的三维图像创建。
现有技术文献
专利文献
专利文献1日本特开2002-238887号公报
发明内容
发明所要解决的课题
但是，专利文献1所涉及的发明存在如下问题：仅仅显示截面的X射线CT重建图像(虚拟内窥镜图像)，没有考虑将内窥镜图像和虚拟内窥镜图像并用的诊断。此外，专利文献1中公开的虚拟内窥镜仅仅显示截面的X射线CT重建图像(虚拟内窥镜图像)，在进行诊断支持时，没有考虑在内窥镜图像与X射线CT的三维图像之间建立相关性。
一方面，提供一种能够有效地用于诊断的内窥镜用处理器等。
用于解决课题的方案
一方面涉及一种内窥镜用处理器，其特征在于，具备：内窥镜图像获取部，其通过内窥镜获取患者的内窥镜图像；虚拟内窥镜图像获取部，其获取根据预先拍摄了所述患者的三维医学图像来重建的虚拟内窥镜图像；虚拟内窥镜图像重建部，其根据所述虚拟内窥镜图像获取部所获取的虚拟内窥镜图像与所述内窥镜图像获取部所获取的所述内窥镜图像之间的匹配度，来重建与所述内窥镜图像最为匹配的校正后的虚拟内窥镜图像；以及诊断支持信息输出部，其通过将内窥镜图像的各个像素与通过所述虚拟内窥镜图像重建部所重建的所述校正后的虚拟内窥镜图像来获得的距离图像相对应，并根据与此相应地对所述内窥镜图像获取部所获取的内窥镜图像执行校正后的特征参数来输出诊断支持信息。
根据本公开的一实施方式的程序，通过计算机执行以下处理：获取通过使用内窥镜对受试者进行拍摄的内窥镜图像；获取通过使用X射线CT、X射线锥形束CT和MRI-CT中的至少1个对所述受试者的体内进行拍摄的三维医学图像；导出通过所述内窥镜图像和所述三维医学图像来确定的所述三维医学图像在坐标系中的位置信息；以及根据导出的所述位置信息，将所述内窥镜图像和所述三维医学图像相关联地进行保存。
根据本公开的一实施方式的信息处理方法，通过计算机执行以下处理：获取通过使用内窥镜对受试者进行拍摄的内窥镜图像；获取通过使用X射线CT、X射线锥形束CT和MRI-CT中的至少1个对所述受试者的体内进行拍摄的三维医学图像；导出通过所述内窥镜图像和所述三维医学图像来确定的所述三维医学图像在坐标系中的位置信息；以及根据导出的所述位置信息，将所述内窥镜图像和所述三维医学图像相关联地进行保存。
根据本公开的一实施方式的信息处理装置，具备：获取部，其获取通过使用内窥镜对受试者进行拍摄内窥镜图像、以及通过使用X射线CT、X射线锥形束CT和MRI-CT中的至少1个对所述受试者的体内进行拍摄的三维医学图像；导出部，其导出通过所述内窥镜图像和所述三维医学图像来确定的所述三维医学图像在坐标系中的位置信息；以及保存部，其根据导出的所述位置信息，将所述内窥镜图像和所述三维医学图像相关联地进行保存。
发明效果
一方面，提供一种能够有效地用于诊断的内窥镜用处理器等。
附图说明
图1是示出内窥镜系统的结构例的示意图。
图2是内窥镜的外观图。
图3是示出处理器的结构例的框图。
图4是示出服务器的结构例的框图。
图5是示出医学图像DB的记录布局的一例的说明图。
图6是说明将内窥镜图像与虚拟内窥镜图像相对应地输出的处理的说明图。
图7是在柔性管上配设光学传感器时的结构图。
图8是示出体腔内的Z坐标的说明图。
图9是示出将内窥镜图像与虚拟内窥镜图像相对应地输出时的处理步骤的流程图。
图10是示出校正虚拟内窥镜图像的位置和朝向时的处理步骤的流程图。
图11是示出根据弯曲历史信息来校正插入距离时的处理步骤的流程图。
图12是示出实施方式2的处理器的结构例的框图。
图13是示出诊断支持信息DB的记录布局的一例的说明图。
图14是说明用于求出距离图像的处理的说明图。
图15是示出根据像素值校正后的内窥镜图像来输出诊断支持信息时的处理步骤的流程图。
图16是示出实施方式3的处理器的结构例的框图。
图17是说明用于使用图像识别模型来输出诊断支持信息的处理的说明图。
图18是说明用于执行距离校正并求出特征参数的操作的说明图。
图19是说明用于执行面积校正的操作的说明图。
图20是示出通过使用图像识别模型来输出诊断支持信息时的处理步骤的流程图。
图21是示出上述实施方式中的处理器的动作的功能框图。
图22是示出实施方式5所涉及的诊断支持系统的概要的示意图。
图23是示出包含在诊断支持系统中的内窥镜装置的结构例的框图。
图24是示出包含在诊断支持系统中的信息处理装置的结构例的框图。
图25是例示内窥镜图像DB的数据布局的说明图。
图26是例示包含在信息处理装置的控制部中的功能部的功能框图。
图27是示出插入内窥镜的距离(S坐标值)的说明图。
图28是与内窥镜图像和三维医学图像之间的相关性相关的说明图。
图29是示出信息处理装置的控制部的处理步骤的一例的流程图。
图30是例示包含在实施方式6所涉及的信息处理装置的控制部中的功能部的功能框图。
图31是示出信息处理装置的控制部的处理步骤的一例的流程图。
图32是示意性地示出实施方式7所涉及的插入部的前端的立体图。
图33是示意性地示出插入部的前端的正视图。
图34是示出信息处理装置的控制部的处理步骤的一例的流程图。
图35是示出实施方式8所涉及的集成图像显示画面的一个实施方式(三维医学图像模式)的说明图。
图36是示出集成图像显示画面的一个实施方式(内窥镜图像模式)的说明图。
图37是示出信息处理装置的控制部的处理步骤的一例的流程图。
图38是说明通过使用实施方式9所涉及的学习模型来输出诊断支持信息的处理的说明图。
图39是例示包含在信息处理装置的控制部中的功能部的功能框图。
图40是示出信息处理装置的控制部的处理步骤的一例的流程图。
具体实施方式
在下文中，将参考示出其实施方式的附图来具体说明本发明。
(实施方式1)
实施方式1涉及一种方式，其将与内窥镜插入体内的距离相对应的虚拟内窥镜图像和从内窥镜捕获的内窥镜图像相关联后输出。虚拟内窥镜图像是基于对气管和支气管内或肠管等管状器官进行拍摄的X射线CT或MR或X射线锥形束CT的三维医学图像进行重建，并用虚拟内窥镜通过三维图像显示体腔内的图像。
作为三维医学图像，例如，存在通过由从CT装置和MRI(Magnetic ResonanceImaging，磁共振成像)装置等中输出的切片数据重建的体数据来表示的图像、以及通过从使用MS(Multi Slice，多切面)CT装置和X射线平板的X射线锥形束CT装置中输出的体数据来表示的图像等。例如，也可以在使空气进入大肠的状态下进行CT成像，并通过从大肠的内侧对通过该摄影而获得的三维图像进行体渲染，来重建大肠的虚拟内窥镜图像。
图1是示出内窥镜系统的结构例的示意图。图1中所示的系统包括：内窥镜1，其用于插入被检体的体内进行拍摄，并输出观察对象的视频信号；内窥镜用处理器2，其用于将内窥镜1输出的视频信号转换为内窥镜图像；显示装置3，其用于显示内窥镜图像等；以及信息处理装置4。内窥镜1、内窥镜用处理器2以及显示装置3经由连接器来进行电信号、视频信号等的发送/接收。内窥镜用处理器2和信息处理装置4经由因特网等网络N来进行信息的发送/接收。
内窥镜1是通过将在前端部具有摄像元件的插入部插入到被检体的体内，来进行诊断或治疗的器具。内窥镜1将使用位于前端的摄像元件所捕获的拍摄图像传送到处理器2中。
内窥镜用处理器2是用于对由位于内窥镜1前端的摄像元件所捕获的拍摄图像进行图像处理，收集内窥镜图像并输出到显示装置3的信息处理装置。此外，下面为了简洁，将内窥镜用处理器2替换为处理器2。
显示装置3是液晶显示器或有机EL(electroluminescence，电致发光)显示器等，并且显示从处理器2输出的内窥镜图像等。
信息处理装置4是用于执行根据与患者相关的信息和拍摄了患者的三维医学图像来重建的虚拟内窥镜图像的存储和发送/接收的信息处理装置。信息处理装置4例如是服务器装置、个人计算机等。在本实施方式中，信息处理装置4为服务器装置，为了简洁，以下将其替换为服务器4。
图2是内窥镜1的外观图。内窥镜1包括摄像元件11、治疗工具插入通道12、操作部13、连接器14以及柔性管15。摄像元件11设置在内窥镜1的前端部，例如为CCD(ChargeCoupled Device，电荷耦合器件)图像传感器、CMD(Charge Modulation Device，电荷调制器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体晶体管)图像传感器，并且对入射光进行光电转换。通过光电转换重构的电信号通过未图示的信号处理电路进行A/D转换、噪声去除等信号处理，并且输出到处理器2中。
治疗工具插入通道12是用于穿过治疗工具的通道。治疗工具例如是把持器、活检针、钳子、圈套器、夹钳、剪刀、手术刀、切开器械、内窥镜缝合器、组织环、施夹器、缝合线递送器械、或者使用能量的组织凝固器械或组织切割器械。在操作部13上设置有释放按钮、以及用于弯曲内窥镜的前端的角度旋钮等，接收例如供气、供水、气体供应等外围设备的操作指令信号的输入。连接器14连接处理器2。柔性管15是可插入患者体内的具有可挠性的内窥镜用导管。
图3是示出处理器2的结构例的框图。处理器2包括控制部21、存储部22、操作输入部23、输出部24、光源控制部25、通信部26、光源27、读取部28、大容量存储部29以及传感器信号输入部20。各个结构通过总线B连接。
控制部21包括CPU(Central Processing Unit，中央处理器)、MPU(Micro-Processing Unit，微处理器)、GPU(Graphics Processing Unit，图形处理器)等运算处理装置，通过读出并执行存储在存储部22中的控制程序2P，执行与处理器2相关的各种信息处理、以及控制处理等。另外，尽管在图3中将控制部21作为单个处理器进行说明，但是其也可以是多处理器。
存储部22包括RAM(Random Access Memory，随机存取存储器)、ROM(Read OnlyMemory，只读存储器)等存储元件，并且存储由控制部21执行处理所需的控制程序2P或数据等。此外，存储部22暂时存储由控制部21执行运算处理所需的数据等。操作输入部23例如由触摸面板、各种开关等输入设备构成，并且将根据来自外部的对这些输入设备的操作而产生的输入信号输入到控制部21中。输出部24在控制部21的控制下，将显示用的图像信号和各种信息输出到显示装置3中，并显示图像和信息。
光源控制部25通过LED(Light Emitting Diode，发光二极管)等的开/关、LED等的驱动电流和驱动电压的调整来控制照明光的发光量。此外，光源控制部25通过光学滤波器的变更等来控制照明光的波段。光源控制部25通过独立控制各个LED的点亮或熄灭，以及点亮时的发光量等，来进行照明光的发光定时、发光期间、光量以及分光光谱的调节。通信部26是用于执行与通信相关的处理的通信模块，并且经由网络N与服务器4以及外部信息处理装置等之间进行信息的发送接收。
光源27具备发出用于对观察对象进行照明的照明光的光源。光源例如是波长范围不同的多种颜色的LED(Light Emitting Diode)等半导体光源、激光二极管和荧光体的组合、或氙气灯、卤素灯等。光源27根据来自处理器2的光源控制部25的控制来调节亮度等。另外，在本实施方式中，处理器2是光源一体型，但是并不限定于此。例如，处理器2也可以是与光源装置分离的光源分离型。
读取部28读取包含CD(Compact Disc，光盘)-ROM或DVD(Digital VersatileDisc，数字多用光盘)-ROM在内的便携式存储介质2a。控制部21也可以经由读取部28从便携式存储介质2a读取控制程序2P，并存储在大容量存储部29中。此外，控制部21也可以经由网络N等从其他计算机下载控制程序2P，并存储在大容量存储部29中。更进一步地，控制部21也可以从半导体存储器2b中读取控制程序2P。
大容量存储部29例如具备HDD(Hard disk drive：硬盘驱动器)、SSD(Solid StateDrive：固态驱动器)等记录介质。另外，在本实施方式中，存储部22和大容量存储部29也可以构成为一体的存储装置。此外，大容量存储部29也可以由多个存储装置构成。更进一步地，大容量存储部29也可以是与处理器2连接的外部存储装置。传感器信号输入部20接收从各种传感器获得的信号。
图4是示出服务器4的结构例的框图。服务器4包括控制部41、存储部42、通信部43、输入部44、显示部45、读取部46以及大容量存储部47。各个结构通过总线B连接。
控制部41包括CPU、MPU、GPU等运算处理装置，通过读出并执行存储在存储部42中的控制程序4P，来执行与服务器4相关的各种信息处理、控制处理等。另外，尽管在图4中将控制部41作为单个处理器进行说明，但是其也可以是多处理器。
存储部42包括RAM、ROM等存储元件，并存储控制部41执行处理所需的控制程序4P或数据等。此外，存储部42暂时存储由控制部41执行运算处理所需的数据等。通信部43是用于执行与通信相关的处理的通信模块，并且经由网络N与处理器2之间进行信息的发送接收。
输入部44是鼠标、键盘、触摸面板、按钮等输入设备，并将所接收的操作信息输出至控制部41中。显示部45是液晶显示器或有机EL(electroluminescence)显示器等，并按照控制部41的指示来显示各种信息。
读取部46读取包含CD(Compact Disc)-ROM或DVD(Digital Versatile Disc)-ROM在内的便携式存储介质4a。控制部41也可以经由读取部46从便携式存储介质4a读取控制程序4P，并存储在大容量存储部47中。此外，控制部41也可以经由网络N等从其他计算机下载控制程序4P，并存储在大容量存储部47中。更进一步地，控制部41也可以从半导体存储器4b中读取控制程序4P。
大容量存储部47具备例如HDD、SSD等记录介质。大容量存储部47中存储有医学图像DB(Database，数据库)471。另外，在本实施方式中，存储部42和大容量存储部47也可以构成为一体的存储装置。此外，大容量存储部47也可以由多个存储装置构成。更进一步地，大容量存储部47也可以是与服务器4连接的外部存储装置。
另外，在本实施方式中，以服务器4为一台信息处理装置的情况为例进行了说明，但也可以由多台装置分散处理，或者也可以由虚拟机构成。
图5是表示医学图像DB471的记录布局的一例的说明图。医学图像DB471包括患者ID列、性别列、姓名列以及三维医学图像列。患者ID列存储用于识别各名患者而唯一指定的患者ID。性别列存储患者的性别。姓名列存储患者的姓名。三维医学图像列存储拍摄患者的三维医学图像。在三维医学图像列中，例如也可以存储DICOM(Digital Imaging andCommunication in Medicine，医学中的数字成像与通信)格式的三维医学图像。另外，也可以将与三维医学图像相关联的内窥镜图像、诊断支持信息存储在医学图像DB471中。
图6是说明将内窥镜图像与虚拟内窥镜图像相对应地输出的处理的说明图。服务器4的控制部41从大容量存储部47的医学图像DB471中获取在手术前或检查前等预先拍摄患者的三维医学图像。控制部41经由通信部43将所获取的三维医学图像发送至处理器2中。处理器2的控制部21经由通信部26接收从服务器4发送的三维医学图像。
控制部21根据接收到的三维医学图像来重建虚拟内窥镜图像。下面，对使用大肠的三维医学图像来重建大肠的虚拟内窥镜图像的例子进行说明。另外，并不限于大肠的三维医学图像，也可以是包括支气管或胃等其他管腔脏器在内的三维医学图像。
控制部21从所获取的三维医学图像中提取被检体内的脏器的体素数据。作为脏器，例如有大肠、小肠、肾脏、支气管或血管等，但并不限于此，也可以是其他脏器。另外，在本实施方式中，提取并获取大肠的体素数据。
具体而言，作为提取大肠区域的方法，首先，根据三维医学图像重建多个与体轴垂直的截面(轴位断层；axial)的轴位断层图像，通过公知的方法，对该各轴位断层图像执行以体表为基准地分离体外和体内区域的处理。例如，对重建的轴位断层图像进行二值化处理，通过轮廓提取处理来提取轮廓，并且将该提取的轮廓内部作为体内(人体)区域进行提取。
然后，对体内区域的轴位断层图像执行基于阈值的二值化处理，并提取各轴位断层图像中的大肠区域的候选。具体而言，由于空气进入大肠管内，因此设定与空气的CT值相对应的阈值(例如-600以下)后执行二值化处理，并提取各轴位断层图像在体内的空气区域以作为大肠区域候选。
另外，本实施方式的内壁图像是通过内窥镜来虚拟地拍摄大肠内腔的图像。具体而言，控制部21对将以基于预先设定的视点和视线方向的视线矢量为中心呈放射线状延伸的多个光线方向上的体素数据投影到预定投影面上的中心投影的图像进行重建以作为虚拟内窥镜图像。另外，作为中心投影的具体方法，例如可以使用公知的体渲染方法等。
此外，关于虚拟内窥镜图像的视点，例如也可以在显示装置3上显示的大肠的三维医学图像上，通过自动或手动来指定根据大肠内腔的体素数据提取出的大肠在中心线上的预定点来进行设定。此外，关于视线方向，也可以由用户来手动设定任意的方向，也可以将大肠在中心线上的行进方向作为视线方向。
另外，在上述处理中，对根据三维医学图像来重建虚拟内窥镜图像的例子进行了说明，但并不限于此。例如，控制部21也可以从服务器4直接获取事先重建的虚拟内窥镜图像。
当将内窥镜1的前端插入到患者(被检体)体内时，处理器2的控制部21获取从位于内窥镜1的前端的摄影元件捕获的内窥镜图像。控制部21获取内窥镜1插入体内的距离(长度)。
关于获取内窥镜1的插入距离的处理，例如在内窥镜1的柔性管15中配设有用于测量内窥镜1的周边环境的各种传感器。该传感器使用温度传感器、光学传感器、压力传感器、振动传感器、湿润传感器(电极)、湿度传感器等。下面，对传感器为光学传感器的情况进行说明。
图7是在柔性管15上配设有光学传感器时的结构图。图7A是柔性管15的立体图。图中的箭头15a指示的方向表示柔性管15的长度方向。柔性管15具有与内窥镜1的外部相接触的内窥镜外表面151和内窥镜内表面152。
图7B示出了沿图7A的A-A线截取的概略剖面图。柔性管15具备透过光的柔性体153、光学传感器16及光学传感器线缆17。光学传感器16沿着箭头15a的方向，以预定间隔与柔性体153相接触地配设在内窥镜内表面152上。另外，作为柔性体153的替代物，也可以由透过率高的材料来形成整个柔性管15。通过这种构成，与柔性体153的情况相比，光学传感器16能够接收更多的光。各光学传感器16分别与光学传感器线缆17相连接，该光学传感器线缆17与处理器2的传感器信号输入部20相连接。
执行内窥镜检查的检查室的光量保持为与通常的室内光量相同的程度。另一方面，体内只要没有照明光就处于黑暗的状态。光学传感器16配置在柔性管15的内部，但是即使在柔性管15插入体内时也能够接收光。因此，能够将光学传感器接收更多光的部分判别为体外，将较少的部分判别为体内。而且，处理器2的控制部21可以根据由光学传感器16获得的信号，通过确定位于作为体腔插入部的边界位置的光学传感器16，来计算出作为插入体内的柔性管15的距离(长度)的Z坐标。
此外，在与柔性管15相接的未图示的咬嘴等上安装有滚轮编码器，可以通过使用该滚轮编码器旋转相当于柔性管15插入体内的距离的量，来获取作为内窥镜1插入体内的距离的Z坐标。咬嘴等滚轮编码器随着柔性管15的进退而旋转，并且能够测量插入体内的内窥镜1的前端部与例如与口或鼻子等管腔相连通的开口部之间的长度、即柔性管15的插入距离。滚轮编码器与处理器2电连接，并且将测量的距离发送至处理器2中。此外，也可以使用光学式编码器来代替滚轮编码器。
另外，在将用于测量内窥镜1的插入距离的辅助装置安装在作为被检体入口的体腔插入部中的情况下，可以通过测量内窥镜的穿过距离，来获取作为内窥镜1插入体内的距离的Z坐标。辅助装置可以是利用例如安装在柔性管15上的线性标尺那样的磁场标尺和安装在咬嘴上的线性接头来测量距离，或者也可以是安装了滚轮的内窥镜1的咬嘴。另外，在将内窥镜插入鼻子或肛门等的情况下，也可以利用带有与咬嘴相似的滚轮的辅助装置。
此外，进一步地也可以在内窥镜1的柔性管15中内置以一定间隔记录插入距离的芯片。处理器2能够根据由咬嘴等获得的在该芯片上记录的Z坐标信息，来获取作为内窥镜1插入体内的距离的Z坐标。
图8是示出体腔内的Z坐标的说明图。Z坐标是内窥镜1插入体内的距离。处理器2的控制部21根据体腔内Z坐标，对内窥镜图像的视线位置的参数执行从沿着体腔的长度转换为从体腔内Z坐标到三维图像坐标(x、y、z)的转换处理。视线位置的参数是位置(x、y、z)和未图示的角度(θx、θy、θz)。
接下来，返回图6，控制部21重建与作为通过内窥镜图像来获取的内窥镜1的插入距离(长度)的Z坐标、通过内窥镜弯曲信息来获取的内窥镜体腔内位置、内窥镜视点方向相对应的虚拟内窥镜图像。具体而言，控制部21获取由内窥镜1获取的内窥镜图像的视线位置的参数。控制部21根据用于描述内窥镜图像的视线位置的参数的图8的体腔内Z坐标，来执行从沿着体腔的长度转换到从体腔内Z坐标到三维图像坐标(x、y、z)的转换处理。
但是，预先将三维图像的原点确定为被检体的某一点。视线位置的参数是位置(x、y、z))和角度(θx、θy、θz)。控制部21根据在上述虚拟内窥镜图像的重建处理中重建的虚拟内窥镜图像，来重建与转换后的三维图像坐标、视线角度以及内窥镜1的插入距离相对应的虚拟内窥镜图像。控制部21将由内窥镜1获取的内窥镜图像与对应于作为内窥镜1的插入距离的Z坐标的虚拟内窥镜图像相对应，并输出至显示装置3中。显示装置3显示从处理器2输出的内窥镜图像和与该内窥镜图像相对应的虚拟内窥镜图像。
图9是示出将内窥镜图像与虚拟内窥镜图像相对应地输出时的处理步骤的流程图。服务器4的控制部41从大容量存储部47的医学图像DB471中获取预先拍摄患者的三维医学图像(步骤S401)。控制部41经由通信部43将获取的三维医学图像发送至处理器2中(步骤S402)。处理器2的控制部21经由通信部26接收从服务器4发送的三维医学图像(步骤S201)。
控制部21获取通过位于内窥镜1的前端的摄影元件捕获的内窥镜图像(步骤S202)。控制部21根据通过内窥镜插入距离测量单元获得的信号，来获取作为内窥镜1插入体内的距离的Z坐标位置(步骤S203)。另外，对于Z坐标位置的获取处理进行省略，避免与上述说明内容重复。
控制部21根据接收到的三维医学图像来重建虚拟内窥镜图像(步骤S204)。具体而言，控制部21在所获取的三维医学图像的被检体内的内腔中，对将如后述的图18那样从预先设定的视点沿视线方向以放射线状延伸了视线矢量的多个光线方向上的体素数据投影到预定的投影面上的中心投影的图像进行重建以作为虚拟内窥镜图像。控制部21将虚拟内窥镜图像与内窥镜图像相对应(步骤S205)。此时，内窥镜的视点位置和角度根据内窥镜的Z坐标位置(插入长度)、弯曲情况进行推测后重建虚拟内窥镜图像，但是下面将对其与内窥镜图像之间的微妙差异进行调整。
观察对象的虚拟内窥镜图像的视野和视线方向优选为与内窥镜图像的视野和视线方向相同。内窥镜的视野和视线方向可以根据内窥镜图像的位置和朝向进行调整。在通过内窥镜1获取的内窥镜图像的位置和朝向与对应于插入距离的虚拟内窥镜图像的位置和朝向不一致的情况下，控制部21根据内窥镜图像，校正虚拟内窥镜图像的位置和朝向，并且重建虚拟内窥镜图像。
在步骤S205中，为了测量内窥镜图像与虚拟内窥镜图像之间的匹配度，可以使用基于AI的方法，但是也可以使用取内窥镜图像的阴影图像与虚拟内窥镜图像的阴影图像之间的相关度这样的指标来测量匹配度，内窥镜的视点位置和角度通过对内窥镜的Z坐标位置(插入长度)、弯曲程度进行微调以使匹配度最大后，继续重建虚拟内窥镜图像。将内窥镜图像与虚拟内窥镜图像进行匹配。如果内窥镜图像与虚拟内窥镜图像匹配，则控制部21重建与该内窥镜图像匹配的虚拟内窥镜图像，并通过虚拟内窥镜图像获取距离图像(步骤S206)。控制部21根据获取的距离图像信息来求出内窥镜图像的各个像素的距离。
控制部21获取(求出)通过距离图像信息对从内窥镜图像通过图像测量获得的特征参数量进行了校正后的特征参数量(步骤S207)。控制部21获取AI的诊断支持信息(步骤S208)。在步骤S208中，可以从通过上述距离图像信息校正后的特征参数量信息中通过AI来查找肿瘤候选，也可以测量内窥镜图像的各区域的特征参数并根据判断逻辑来查找肿瘤候选，还可以从内窥镜图像的各区域的特征参数中通过AI来查找肿瘤候选。可以提供该肿瘤候选信息以作为图像诊断支持信息。结果，能够提供比通过考虑了使内窥镜图像与虚拟内窥镜图像相匹配的距离图像信息的图像测量来获得的特征参数量信息精度更高的图像诊断支持信息。
控制部21对通过内窥镜1获取的内窥镜图像追加诊断支持信息并输出至显示装置3中(步骤S209)。显示装置3显示从处理器2输出的内窥镜图像和诊断支持信息(步骤S301)，并结束处理。另外，也可以显示此时与其相关联的虚拟内窥镜图像。此外，当对被认为是肿瘤候选的部分进行彩色显示或增强显示时，则很容易理解。
接下来，对在步骤S203～205中根据通过内窥镜1获取的内窥镜图像来校正虚拟内窥镜图像的位置和朝向的处理进行说明。
具体而言，控制部21根据通过内窥镜1获取的内窥镜前端部的Z坐标位置、视点的位置、方向信息，如图8所示，求出沿着体腔前进了Z坐标量的位置以作为体内三维坐标。将被检体的某个一定位置作为原点来确定体内三维坐标。将该内窥镜前端部的Z坐标位置转换为体内三维图像，并且使该体内三维图像位置的虚拟内窥镜图像与内窥镜图像相匹配。为了定量地观察虚拟内窥镜图像与内窥镜图像的匹配度，可以通过观察根据亮度信息求出的阴影图像信息的相关度来判断匹配度的大小。或者，也可以根据内窥镜图像与内窥镜图像之间的相似度来判断匹配度。
另外，并不限定于上述处理方式。例如，处理器2的控制部21也可以通过AI来检索与内窥镜图像相似度高的虚拟内窥镜图像，从而调整虚拟内窥镜图像的位置以及朝向。具体而言，控制部21在根据DICOM格式的三维图像数据来重建虚拟内窥镜图像时，通过改变作为上述位置(x、y、z)和角度(θx、θy、θz)的6个视线参数，并通过前后移动或调整角度来重建来自多个不同视线位置的多个虚拟内窥镜图像。控制部21对重建后的多个虚拟内窥镜图像与内窥镜图像之间的相似度进行比较。在此，两个图像的相似度比较可以通过公知的图像处理来进行，可以使用像素数据级别匹配、或者从图像中提取出的特征级别匹配中的任意一种。控制部21提取虚拟内窥镜图像和与内窥镜图像相似度最高的虚拟内窥镜图像，并完成校正处理。
图10是示出校正虚拟内窥镜图像的位置和朝向时的处理步骤的流程图。另外，对于与图9重复的内容将由相同的附图标记表示，并省略其说明。处理器2的控制部21在执行完步骤S204之后，根据通过内窥镜1获取的内窥镜图像，来校正虚拟内窥镜图像的位置和朝向(步骤S211)。之后，控制部21执行步骤S205。
接下来，对根据插入患者体内的内窥镜1的弯曲历史信息来校正作为内窥镜1插入体内的距离的Z坐标的处理进行说明。例如，在患者体内的观察对象为大肠的情况下，大肠是每个患者具有不同形状或排列的并能够按照插入部的形状进行变形的脏器。因此，根据包括大肠中的位置和弯曲形状等在内的插入部的插入状况来获取的插入距离有可能会产生检测误差。处理器2的控制部21获取插入患者体内的内窥镜1的弯曲历史信息，并根据所获取的弯曲历史信息来判断内窥镜1的插入状况。控制部21根据判断出的插入状况来校正作为内窥镜1插入体内的距离的Z坐标。
图11是示出根据弯曲历史信息来校正插入距离时的处理步骤的流程图。另外，对于与图10重复的内容将由相同的附图标记表示，并省略其说明。处理器2的控制部21在执行完步骤S203之后，获取弯曲历史信息(步骤S212)。例如，也可以通过利用内窥镜插入形状检测装置来检测弯曲历史信息。
内窥镜插入形状检测装置是通过与内置有磁性线圈的插入形状检测专用内窥镜的组合来显示插入到被检体体内的内窥镜1的推测插入形状图像的装置。例如，如日本特开2019-37643号公报所公开的那样，在内窥镜1的插入部的内部，沿着该插入部的长度方向以预定间隔配置有多个磁性线圈。内窥镜插入形状检测装置主体的内置天线接收磁性线圈产生的磁性。通过内置天线所产生的交流磁场，在配置于插入部的位置检测用的各线圈中产生电动势，并且流过感应电流。根据流过线圈的感应电流来检测各线圈的位置。根据检测出的各线圈的位置来检测弯曲历史信息。
另外，除了内窥镜插入形状检测装置之外，也可以通过利用弯曲检测传感器来检测弯曲历史信息。弯曲检测传感器具有：柔性部件，其具有接点部；以及柔性基板，其与接点部接触并根据接触位置来输出信号。具体而言，当内窥镜1的插入部的预定部位弯曲(屈曲)时，设置在受到该弯曲影响的部位的柔性支撑部件以及基板都发生变形而弯曲。在弯曲检测传感器中，根据插入部的弯曲，接点部与基板之间的接触位置沿着预定方向位移。由于当发生接触位置的位移时，其输出信号会发生变化，因此弯曲检测传感器检测出插入部的弯曲历史信息(屈曲信息)。
弯曲历史信息表示弯曲角度、弯曲方向等与弯曲相关的物理参数或信息。控制部21根据通过配置在内窥镜1的插入部上的各个磁性线圈获取的弯曲历史信息，使弯曲形状与通过体腔的三维图像信息获得的体腔形状一致，并校正作为体腔内插入距离的Z坐标(步骤S213)。具体而言，控制部21按照弯曲角度和弯曲方向，通过运算处理来检测插入部形状(例如向右弯曲30度等)。控制部21根据检测出的插入部形状，来重新计算作为插入距离的Z坐标。例如，在内窥镜中途旋转一周的情况下，只要从插入距离中减去旋转部分的圆周长度即可。此外，例如，在预定区间发生多次弯曲的情况下，将每一个像素的距离乘以弯曲部分的像素数来求出弯曲部分的长度，并求出该长度与该预定区间的长度之间的差值。而且，最终从插入距离中减去该差值，并且对内窥镜插入距离与体腔内插入距离之间的差值进行校正即可。之后，控制部21执行步骤S205。
根据本实施方式，通过将通过内窥镜1获得的内窥镜图像和与作为内窥镜1的插入距离的Z坐标相对应的虚拟内窥镜图像相对应地输出，能够在内窥镜图像与基于三维医学图像来重建的虚拟内窥镜图像之间建立位置相关性。
根据本实施方式，根据通过内窥镜1获取的内窥镜图像来校正虚拟内窥镜图像的位置和朝向，从而能够获得与实际的内窥镜图像的相似度高的虚拟内窥镜图像。
根据本实施方式，根据内窥镜1的弯曲历史信息，对作为内窥镜1插入体内的距离即Z坐标进行校正，由此能够获得作为精度高的插入距离的Z坐标。
根据本实施方式，通过将根据X射线CT图像的三维数据来重建的虚拟内窥镜图像与实际的内窥镜图像进行匹配，能够将距离图像信息附加在内窥镜图像上，并能够利用距离信息对通过内窥镜图像获得的特征参数进行校正，从而能够提供精度更高的图像诊断支持信息。
(实施方式2)
实施方式2根据虚拟内窥镜图像来重建从视点观察到的至内腔的各个像素的距离图像，并根据重建的距离图像，来校正内窥镜图像的各个像素的像素值(数据)。或者，校正通过各个像素获得的特征参数。即，通过使远离距离r的像素的面积乘以1/r2，来获得正确的图像测量特征参数。此外，处理器2的控制部21根据由距离图像信息校正后的内窥镜图像的特征参数，将诊断支持信息输出到显示装置3中。另外，对于与实施方式1重复的内容，将省略其说明。
图12是示出实施方式2的处理器2的结构例的框图。另外，对于与图3重复的内容将由相同的附图标记表示，并省略其说明。大容量存储部29中存储有诊断支持信息DB291。诊断支持信息DB291存储对患者的诊断支持信息。
图13是示出诊断支持信息DB291的记录布局的一例的说明图。诊断支持信息DB291包括管理ID列、患者ID列、诊断内容列以及诊断日期列。管理ID列存储唯一确定的诊断支持信息的管理数据的ID，以便识别各诊断支持信息的管理数据。患者ID列存储指定患者的患者ID。诊断内容列存储对患者的诊断内容。诊断日期列存储对患者的诊断日期信息。另外，相关联的内窥镜图像、诊断支持信息也可以存储在诊断支持信息DB291中。
处理器2的控制部21通过根据预先拍摄患者的三维医学图像来重建的虚拟内窥镜图像，来获取与作为内窥镜1插入体内的距离的Z坐标相对应的虚拟内窥镜图像。另外，由于与作为插入距离的Z坐标相对应的虚拟内窥镜图像的获取处理与实施方式1相同，因此省略说明。控制部21根据视点位置和视线方向，并根据从与作为插入距离的Z坐标相对应的虚拟内窥镜图像到在该虚拟内窥镜图像中拍摄的各个像素之间的距离，来求出距离图像。另外，稍后将对求出距离图像的处理进行说明。
控制部21根据重建后的距离图像，对内窥镜图像的各个像素的像素值进行校正。色度因内窥镜图像的各个图像区域中的像素距离(远近)的不同而不同。在像素距离较远的情况下，对应的图像区域看起来较暗，与此相反，在像素距离较近的情况下，对应的图像区域看起来较亮。处理器2的控制部21根据视点位置和视线方向，并根据到在距离图像中拍摄的各个像素的距离，来校正对应的内窥镜图像的各个图像区域的各个像素的像素值。
根据距离图像，获得内窥镜图像的各个像素的距离，根据距离来校正各个像素、各区域的特征参数值。在某处，假设该各个像素、各区域存在于作为基准的距离Ra中时，利用各个像素、各区域的距离Rb来校正特征参数。例如，如果某个区域的面积Sb为距离Rb，则校正为Sb×(Rb/Ra)2。
下面，对因发红而呈现红色的粘膜表面的图像区域中的像素的像素值执行校正的例子进行说明。例如，控制部21在判断为粘膜表面的图像区域中的像素(R1,G1,B1)的距离为基准距离以上的情况下(像素远)，粘膜表面的红色看起来较暗，因此对该像素执行像素值校正处理，以使红色看起来较亮。例如，由于像素大小根据像素值R1与距离平方之间的比值的变化而变化，因此通过该比值将像素值R1增大，来使校正后的像素(R2,G1,B1)呈现为红色。
与此相反，控制部21在判断为粘膜表面的图像区域中的像素(R1,G1,B1)的距离小于基准距离的情况下(像素近)，由于像素大小根据像素值R1与距离平方之间的比值的变化而变化，因此通过该比值将像素值R1减小，执行像素值校正处理，以使粘膜表面的红色看起来较暗。
另外，关于上述红色粘膜表面的图像区域中的像素值的校正处理，也可以利用像素的R比率。例如，控制部21在判断为粘膜表面的图像区域中的像素(R3,G3,B3)的距离为基准距离2倍以上且3倍以下的情况下，利用R3/(R3+G3+B3)计算式来计算R比率。控制部21在判断为粘膜表面的图像区域中的像素(R3,G3,B3)的距离为基准距离3倍以上的情况下，利用2R3/(R3+G3+B3)计算式来计算R比率。控制部21根据计算出的R比率，执行像素值校正处理以使粘膜表面的红色看起来较亮，并获得校正后的像素(R4,G4,B4)。
控制部21根据像素值校正后的内窥镜图像的图像区域，来提取该图像区域的特征参数。控制部21根据提取出的特征参数，并根据AI或决策树(decision tree)等进行判断，将获得的诊断支持信息输出至显示装置3中。特征参数是内窥镜图像上的各区域的图像几何形状、图像值、以及根据它们计算出的特征参数的数值，并通过应用图像处理方法而获得的参数。例如，控制部21也可以在胃粘膜中提取作为特定色度的特征参数，当判断为所提取的特征参数为阈值以上的情况下，也可以输出溃疡性质等诊断支持信息。
另外，并不限定于上述处理。例如，也可以通过使用在输入像素值校正后的内窥镜图像的情况下输出识别结果的已学习的图像识别模型，来输出诊断支持信息。另外，稍后将在后述的实施方式3中对使用图像识别模型来输出诊断支持信息的处理进行说明。
控制部21将输出的诊断支持信息存储在大容量存储部29的诊断支持信息DB291中。具体而言，控制部21分配管理ID，并将其与患者ID和患者的三维位置、或Z坐标相对应后，将诊断内容和诊断日期以及患者的三维位置、或作为插入距离的Z坐标作为一个记录存储在诊断支持信息DB291中。
图14是说明用于求出距离图像的处理的说明图。距离图像是以从视点到观察对象(例如大肠区域的内壁)之间的直线距离为像素值的二维图像。处理器2的控制部21根据三维医学图像来重建虚拟内窥镜图像，并使重建后的虚拟内窥镜图像与内窥镜图像相匹配。控制部21根据使内窥镜图像与虚拟内窥镜图像相匹配的视点位置和视线方向，并根据从视点到与重建后的虚拟内窥镜图像的各个像素相对应的三维图像之间的距离，来求出(生成)距离图像。
图15是示出根据像素值校正后的内窥镜图像来输出诊断支持信息时的处理步骤的流程图。另外，对于与图9重复的内容将由相同的附图标记表示，并省略其说明。处理器2的控制部21在步骤S204中获取与作为内窥镜1的插入距离的Z坐标相对应的虚拟内窥镜图像之后，如图14所示，根据从视点到与所获取的虚拟内窥镜图像的各个像素相对应的三维图像之间的距离，来求出距离图像(步骤S221)。
控制部21根据视点位置和视线方向，并根据到在距离图像中拍摄的各个像素的距离，来校正对应的内窥镜图像的各个图像区域或像素的特征参数(步骤S222)。控制部21根据像素值校正后的内窥镜图像的图像区域，来提取该图像区域的特征参数(步骤S223)。另外，关于特征参数的提取处理，例如，在对与上述“因发红而导致粘膜表面呈现红色”等色调相关的发现进行特征参数化的情况下，也可以使用构成内窥镜图像的RGB各个数据，针对每个像素求出R/(R+G+B)，并提取作为比率的色度特征参数。或者，也可以检测基于由频率成分提取单元提取出的预定频率成分的相位信息，并根据检测出的相位信息来提取内窥镜图像的特征参数。
控制部21根据所提取的特征参数，来对观察对象执行诊断处理(步骤S224)。例如，控制部21在胃粘膜中，比较提取出的各个像素的色度和色度的阈值，在判断为各个像素或一部分像素的色度为阈值以上的情况下，也可以根据预定判断基准来执行诊断处理。预定判断基准例如可以是与像素的色度值相对应的胃溃疡的分类信息。
控制部21将通过诊断处理获得的诊断支持信息输出到显示装置3中(步骤S225)。显示装置3显示从处理器2输出的诊断支持信息(步骤S321)。处理器2的控制部21将输出的诊断支持信息存储在大容量存储部29的诊断支持信息DB291中(步骤S226)后，结束处理。
根据本实施方式，能够根据虚拟内窥镜图像来求出距离图像，并根据所求出的距离图像来校正内窥镜图像的各个像素的特征参数值。
根据本实施方式，能够根据像素值校正后的内窥镜图像来输出诊断支持信息。
(实施方式3)
实施方式3涉及一种方式，其根据距离图像对内窥镜图像的各个图像区域执行特征参数的校正处理，并将特征参数校正后的内窥镜图像输入到图像识别模型中后获取识别结果。另外，对于与实施方式1～2重复的内容，将省略其说明。另外，在本实施方式中，将以面积校正处理为例对特征参数的校正处理进行说明。
图16是示出实施方式3的处理器2的结构例的框图。另外，对于与图12重复的内容将由相同的附图标记表示，并省略其说明。大容量存储部29中存储图像识别模型292。图像识别模型292是基于拍摄图像来识别被检体的体内的病变、组织等的图像识别器，并且是通过机器学习来生成的已学习模型。另外，图像识别模型292也可以配置在经由网络连接的云计算系统中使用。
图17是说明用于使用图像识别模型292来输出诊断支持信息的处理的说明图。该图像区域的面积因各个图像区域的远近的不同而不同。处理器2的控制部21使用根据虚拟内窥镜图像来求出的距离图像，对内窥镜图像的各个图像区域执行面积校正处理。另外，稍后将对面积校正处理进行说明。
控制部21在将面积校正后的内窥镜图像的图像区域输入到图像识别模型292的情况下输出诊断支持信息。另外，下面说明了使用通过深度学习构建的图像识别模型292来输出用于识别大肠内的息肉的识别结果的例子。息肉是大肠粘膜的一部分如疣状隆起并向大肠的空间部分突出的部分，大部分是良性疾病，不会立即对身体造成伤害，但是如果逐渐增大，则有时会引起出血等。
图像识别模型292作为程序模块而使用，该程序模块为人工智能软件的一部分。图像识别模型292是用于构建(生成)以面积校正后的内窥镜图像作为输入、并以预测大肠内息肉的结果作为输出的神经网络的提取器。神经网络例如是CNN(Convolutional NeuralNetwork，卷积神经网络)，其具有：输入层，其用于接收面积校正后的内窥镜图像的输入；输出层，其用于输出对大肠内的部位进行预测的结果；以及中间层，其通过反向传播学习完成。
输入层具有用于接受内窥镜图像中所包含的各个像素的像素值的输入的多个神经元，并且将输入的像素值传递给中间层。中间层具有用于提取内窥镜图像的图像特征参数的多个神经元，并将提取出的图像特征参数传递给输出层。例如，以图像识别模型292为CNN的情况为例进行说明。中间层通过将用于对从输入层输入的各个像素的像素值进行卷积的卷积层、以及用于对在卷积层中进行卷积的像素值进行映射的池化层交替连接的结构，来压缩内窥镜图像的像素信息，与此同时，最终提取图像的特征参数。然后，中间层利用通过反向传播来学习参数的全连接层，来预测内窥镜图像为大肠内的息肉的概率。将预测结果输出到具有多个神经元的输出层中。
另外，也可以在经过交替连接的卷积层和池化层提取特征参数之后，再将内窥镜图像输入到输入层。
另外，也可以使用RCNN(Regions with Convolutional Neural Network，具有卷积神经网络的区域)、Fast RCNN、Faster RCNN或SSD(Single Shot Multibook Detector，单发多书探测器)、YOLO(You Only Look Once，只看一眼)等任意的物体检测算法来替代CNN。
另外，并不限定于通过上述机器学习来识别息肉的诊断处理。例如，处理器2的控制部21也可以从内窥镜图像中，根据大肠内的色调或褶皱的变化，使用A-KAZE(Accelerated KAZE，加速KAZE)、SIFT(Scale Invariant Feature Transform，尺度不变特征变换)等局部特征参数提取方法来识别息肉，并输出诊断支持信息。
另外，对上述大肠内的内窥镜图像执行面积校正处理的例子进行了说明，但是并不限于此，也可以对其他部位(例如胃等)执行面积校正处理。此外，作为上述特征参数以面积为例进行了说明，但是并不限于此，也可以对其他的特征参数执行距离校正处理。
另外，在本实施方式中，说明了息肉提取用的图像识别模型292的例子，但是也可以是其他已学习的图像识别模型。例如，图像识别模型292是通过机器学习生成的已学习模型，也可以是通过提取内窥镜图像的色度特征参数来识别被检体的体内病变、组织等的图像识别器。在这种情况下，在将实施方式2中的像素值校正后的内窥镜图像输入到图像识别模型292的情况下，能够输出诊断支持信息。
具体而言，处理器2的控制部21使用已学习的图像识别模型292，将像素值校正后的内窥镜图像输入到图像识别模型292中，并输出用于识别病变或组织等(例如大肠息肉)的识别结果。控制部21根据从图像识别模型292的输出层输出的识别结果(例如大肠息肉的概率值等)，来输出诊断支持信息。例如，在大肠息肉的概率值为预定阈值(例如0.90)以上的情况下，控制部21也可以判断为该病变或组织是息肉。
下面，参考图18和图19对面积校正处理进行说明。图18是说明用于执行距离校正并求出特征参数的操作的说明图。图19是说明用于执行面积校正的操作的说明图。
处理器2的控制部21根据如图18所示的通过对应的虚拟内窥镜图像获得的距离图像，来获取对应的内窥镜图像的各个图像区域中的距离R(例如r1或r2等)。控制部21对获取的各个图像区域的距离和基准距离(例如20mm)进行比较。控制部21以与比较后的各区域的距离R呈平方反比(R/20)2的方式进行校正。
控制部21在判断为内窥镜图像的图像区域中的距离为基准距离以上的情况下(像素远)，以与各区域的距离R呈平方反比(R/20)2的方式对构成该图像区域的像素数(像素数值)执行校正，由此对该图像区域执行放大处理。控制部21在判断为内窥镜图像的图像区域中的距离小于基准距离的情况下(像素近)，以与各区域的距离R呈平方反比(R/20)2的方式对构成该图像区域的像素数执行校正后减少，由此对该图像区域执行缩小处理。此外，在各个图像区域中各个像素间的距离存在差异的情况下，将其作为基准距离来执行校正。
如图19所示，在根据通过与内窥镜图像相对应的虚拟内窥镜图像获得的距离图像信息，并根据距离比率对各区域执行缩放处理时，例如也可以利用最近邻插值法(最近邻域内插法，nearest neighbor interpolation)。最近邻插值法是将放大或缩小后的像素除以放大/缩小比率，并直接使用将该值四舍五入后获得的坐标的像素的线性插值法。此外，也可以利用作为图像的缩放处理技术的双线性插值法、双三次插值法、以及Lanczos插值法等。之后，通过上述处理，控制部21将面积校正后的内窥镜图像的图像区域输入到图像识别模型292中。
图20是示出通过使用图像识别模型292来输出诊断支持信息时的处理步骤的流程图。另外，对于与图15重复的内容将由相同的附图标记表示，并省略其说明。处理器2的控制部21在步骤S221中求出距离图像之后，使用求出的距离图像，对内窥镜图像的各个图像区域执行面积校正处理(步骤S231)。控制部21将执行面积校正处理后的内窥镜图像输入到图像识别模型292中(步骤S232)。另外，控制部21也可以将对实施方式2中所述的亮度校正(像素值校正)后的内窥镜图像执行面积校正处理后的内窥镜图像输入到图像识别模型292中。
控制部21通过使用图像识别模型292来提取面积校正后的内窥镜图像的图像特征参数，从而获取用于识别病变(例如大肠息肉等)等的识别结果(诊断支持信息)(步骤S233)。控制部21将面积校正后的内窥镜图像与使用面积校正后的内窥镜图像并通过已学习的图像识别模型292来输出的诊断支持信息进行重叠，并生成显示用的图像(步骤S234)。
控制部21将所生成的显示用图像输出到显示装置3中(步骤S235)。显示装置3显示从处理器2输出的显示用图像(步骤S331)。处理器2的控制部21将输出的诊断支持信息存储在大容量存储部29的诊断支持信息DB291中(步骤S236)后，结束处理。
根据本实施方式，可以通过对内窥镜图像的各个图像区域执行特征参数校正处理，来获取正确的图像特征参数。
根据本实施方式，通过将执行特征参数校正处理后的内窥镜图像输入到已学习的图像识别模型中，来输出高精度的识别结果，从而能够获得可靠性高的诊断支持信息。
根据本实施方式，通过根据距离图像对内窥镜图像的各区域的特征参数执行校正，能够使用相同的图像识别模型对较远的病变部位(例如息肉)和较近的病变部位两者进行高精度的判断。
(实施方式4)
图21是示出上述实施方式中的处理器2的动作的功能框图。通过控制部21执行控制程序2P，处理器2进行如下动作。
内窥镜图像获取部20a从内窥镜1中获取患者的内窥镜图像。虚拟内窥镜图像获取部20b获取根据预先拍摄患者的三维医学图像来重建(生成)的虚拟内窥镜图像。虚拟内窥镜图像重建部20c根据虚拟内窥镜图像获取部20b所获取的虚拟内窥镜图像与内窥镜图像获取部20a所获取的内窥镜图像之间的匹配度，来重建(生成)与该内窥镜图像最为匹配的校正后的虚拟内窥镜图像。
诊断支持信息输出部20d将内窥镜图像的各个像素与通过虚拟内窥镜图像重建部20c所重建的校正后的虚拟内窥镜图像来获得的距离图像相对应，并根据与此相应地对内窥镜图像获取部20a所获取的内窥镜图像执行校正的特征参数来输出诊断支持信息。距离图像重建部20e根据虚拟内窥镜图像来求出距离图像。第1校正部20f根据距离图像重建部20e所求出的距离图像，并根据通过该距离图像获得对应内窥镜图像的各个像素的像素值的距离，来校正各区域的像素。
第2校正部20g根据距离图像重建部20e所求出的距离图像，并对内窥镜图像获取部20a所获取的内窥镜图像的各个图像区域的特征参数执行校正处理。弯曲历史信息获取部20h获取插入患者体内的内窥镜的弯曲历史信息。Z坐标校正部20i根据弯曲历史信息获取部20h所获取的弯曲历史信息，来校正作为内窥镜的插入距离的Z坐标、虚拟内窥镜的视点方向、视点位置。Z坐标获取部20j测量作为插入患者体内的内窥镜的插入距离的Z坐标。
此外，诊断支持信息输出部20d根据第1校正部20f或第2校正部20g校正后的内窥镜图像，来输出包括肿瘤候选在内的诊断支持信息。此外，进一步地，诊断支持信息输出部20d使用在输入第1校正部20f或第2校正部20g校正后的内窥镜图像的情况下输出识别结果的已学习的图像识别模型，来输出识别结果。
本实施方式4如上所述，由于其他方面与实施方式1至3相同，因此对相对应的部分由相同的附图标记表示，并省略其详细说明。
(实施方式5)
在下文中，将参考示出其实施方式的附图来具体说明本发明。图22是示出实施方式5所涉及的诊断支持系统S的概要的示意图。诊断支持系统S包括内窥镜装置110和与内窥镜装置110可通信地连接的信息处理装置6。
内窥镜装置110将通过内窥镜140的摄像元件1445(参照图32)拍摄的图像(拍摄图像)传送到内窥镜用处理器120中，通过内窥镜用处理器120执行伽马校正、白平衡校正、阴影校正等各种图像处理，从而生成处于操作者容易观察的状态下的内窥镜图像。内窥镜装置110将生成的内窥镜图像输出(发送)到信息处理装置6中。用于获取从内窥镜装置110发送的内窥镜图像的信息处理装置6根据这些内窥镜图像来执行各种信息处理，并输出与诊断支持相关的信息。
内窥镜装置110包括内窥镜用处理器120、内窥镜140和显示装置50。显示装置50例如是液晶显示装置或有机EL(Electro Luminescence)显示装置。
显示装置50设置在带脚轮的收容架116的上层。内窥镜用处理器120收纳在收容架116的中层。收容架116配置在省略图示的内窥镜检查用床的附近。收容架116具有抽屉式棚架，该抽屉式棚架用于装载与内窥镜用处理器120相连接的键盘115。
内窥镜用处理器120呈大致长方体形状，并且在一面上具备触摸面板125。在触摸面板125的下部配置有读取部128。读取部128例如是USB连接器、SD(Secure Digital，安全数字)卡槽、或者CD-ROM(Compact Disc Read Only Memory)驱动器等的、用于进行便携式记录介质的读写的连接用接口。
内窥镜140具有插入部144、操作部143、通用软线149和观测器用连接器148。操作部143设置有控制按钮1431。插入部144为细长的，一端经由止弯部145与操作部143连接。插入部144从操作部143侧依次具有柔性部1441、弯曲部1442以及前端部1443。弯曲部1442因应弯曲旋钮1433的操作而弯曲。也可以在插入部144中安装3轴加速度传感器、陀螺仪传感器、地磁传感器、磁性线圈传感器或内窥镜插入形状观测装置(结肠导航装置)等物理检测装置，并且当将内窥镜140插入受试者的体内时，获取来自这些物理检测装置的检测结果。
通用软线149是细长的，其中第一端连接在操作部143，第二端连接在观测器用连接器148。通用软线149是柔性的。观测器用连接器148呈大致长方体形状。在观测器用连接器148上设有用于连接供气供水用管的供气供水口136(参照图23)。
图23是示出包含在诊断支持系统S中的内窥镜装置110的结构例的框图。控制部121是用于执行本实施方式中的程序的运算控制装置。控制部121使用一个或多个CPU(Central Processing Unit)、GPU(Graphics Processing Unit)或者多核CPU等。控制部121经由总线与用于构成内窥镜用处理器120的硬件各部相连接。
主存储装置122例如是SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)和闪存等存储装置。主存储装置122暂时存储由控制部121执行的处理过程中所需的信息、以及在控制部121正在执行中的程序。辅助存储装置123例如是SRAM、闪存或硬盘等存储装置，是容量大于主存储装置122的大容量存储装置。在辅助存储装置123中，例如也可以将获取的拍摄图像、生成的内窥镜图像作为中间数据进行保存。
通信部124是用于以有线或无线方式经由网络与信息处理装置6进行通信的通信模块或通信接口，例如是wifi(注册商标)、Bluetooth(注册商标)等的狭域无线通信模块、或者是4G，LTE等的广域无线通信模块。触摸面板125包括液晶显示面板等显示部和层叠在显示部上的输入部。通信部124也可以与CT装置、MRI装置(参照图26)或用于保存从这些装置输出的数据的存储装置(未图示)进行通信。
显示装置I/F126是用于连接内窥镜用处理器120和显示装置50的接口。输入装置I/F127是用于连接内窥镜用处理器120和键盘115等输入装置的接口。
光源133例如是白色LEC、氙气灯等高亮度的白光光源。光源133经由省略图示的驱动器与总线连接。光源133的点亮、熄灭以及亮度的变更由控制部121控制。从光源133照射的照明光入射到光学连接器1312上。光学连接器1312与观测器用连接器148卡接，并且向内窥镜140提供照明光。
泵134产生用于内窥镜140的供气供水功能的压力。泵134经由省略图示的驱动器与总线连接。泵134的开、关以及压力的变更由控制部121控制。泵134经由供水箱135与设置在观测器用连接器148上的供气供水口136相连接。
说明与内窥镜用处理器120连接的内窥镜140的功能的概略。在观测器用连接器148、通用软线149、操作部143和插入部144的内部，插入有纤维束、线缆束、供气管和供水管等。从光源133射出的照明光经由光学连接器1312及纤维束，从设置在前端部1443上的照明窗发射。利用设置在前端部1443上的摄像元件拍摄由照明光照射的范围。从摄像元件经由线缆束及电连接器1311向内窥镜用处理器120传送拍摄图像。通过电连接器1311和光学连接器1312来构成内窥镜用连接器131。
内窥镜用处理器120的控制部121通过执行存储在主存储装置122中的程序，来作为图像处理部1211发挥作用。图像处理部1211对从内窥镜140输出的图像(拍摄图像)执行伽马校正、白平衡校正、阴影校正等各种图像处理，并作为内窥镜图像进行输出。
图24是示出包含在诊断支持系统S中的信息处理装置6的结构例的框图。信息处理装置6包括控制部62、通信部61、存储部63以及输入输出I/F64。
信息处理装置6例如是服务器装置、个人计算机等。服务器装置不仅包括单个服务器装置，还包括由多台计算机构成的云服务器装置或虚拟服务器装置。
信息处理装置6也可以作为位于可从内窥镜用处理器120访问的外部网络上的云服务器而进行设置。
控制部62具有一个或多个CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等具有计时功能的运算处理装置，通过读出并执行存储在存储部63中的程序P，来执行与信息处理装置6相关的各种信息处理、控制处理等。或者，控制部62由量子计算机用芯片构成，并且信息处理装置6也可以是量子计算机。
存储部63包括SRAM(Static Random Access Memory)、DRAM(Dynamic RandomAccess Memory)、闪存等易失性存储区域、以及EEPROM(带电可擦可编程只读存储器)或硬盘等非易失性存储区域。存储部63中预先存储有程序P以及处理时的参照数据。存储在存储部63中的程序P可以是存储了信息处理装置6从可读取的记录介质632中读出的程序P的程序。此外，也可以是从与未图示的通信网相连接的未图示的外部计算机中下载程序P，并存储在存储部63中的程序。存储部63中保存有用于构成后述的学习模型9的实体文件(神经网络(NN)的实例文件)。这些实体文件也可以构成程序P的一部分。存储部63中也可以存储后述的内窥镜图像DB631(DataBase)、学习模型9。
通信部61是用于以有线或无线方式与内窥镜装置110进行通信的通信模块或通信接口，例如是wifi(注册商标)、Bluetooth(注册商标)等的狭域无线通信模块、或者是4G、LTE等的广域无线通信模块。通信部61也可以与CT装置、MRI装置(参照图26)或用于保存从这些装置输出的数据的存储装置(未图示)进行通信。
输入输出I/F64例如是符合USB(通用串行总线)或DSUB等通信标准的接口，并且是用于与连接在输入输出I/F64上的外部设备进行串行通信的通信接口。在输入输出I/F64上连接有例如显示器等显示部7、键盘等输入部8，并且控制部62将根据从输入部8输入的执行命令或事件来执行信息处理的结果输出到显示部7中。
图25是例示内窥镜图像DB631的数据布局的说明图。内窥镜图像DB631存储在信息处理装置6的存储部63中，并且由安装在信息处理装置6中的RDBMS(Relational DataBaseManagement System，关系数据库管理系统)等的数据库管理软件构成。或者，内窥镜图像DB631也可以存储在与信息处理装置6可通信地连接的存储装置等的、可从信息处理装置6访问的预定存储区域中。或者，内窥镜图像DB631也可以存储在内窥镜装置110的主存储装置122中。即，预定存储区域包括信息处理装置6的存储部63、内窥镜装置110的主存储装置122以及可以从信息处理装置6或内窥镜装置110访问的存储装置。信息处理装置6也可以获取内窥镜用处理器120输出的内窥镜图像、检查日期以及受试者的属性信息，并登记在检查结果DB631中。或者，也可以将从内窥镜用处理器120直接输出的内窥镜图像、检查日期以及受试者的属性信息直接登记在检查结果DB631中。
内窥镜图像DB631例如包括受试者主表和图像表，受试者主表和图像表通过作为同时包含在两个表中的项目(元数据)的受试者ID来设定相关性。
受试者主表例如包括受试者ID、性别、出生日期、年龄以作为管理项目(元数据)。在受试者ID项目(字段)中存储有ID信息，其用于唯一地确定接受内窥镜检查后的受试者。在性别和出生日期项目(字段)中存储有该受试者ID的性别和出生日期的生物体属性，并且在年龄项目(字段)中存储有根据出生日期来计算出的当前年龄。这些性别、年龄作为受试者的生物体信息，通过受试者主表进行管理。
图像表作为管理项目(元数据)，例如包括受试者ID、检查日期、内窥镜图像、帧编号、S坐标(插入距离)、三维医学图像、视点位置、视点方向、虚拟内窥镜图像。
受试者ID项目(字段)用于与在受试者主表中进行管理的受试者的生物体属性建立相关性，并存储有每个该受试者的ID的值。在检查日期项目(字段)中存储有具有该受试者ID的受试者接受内窥镜检查的日期。在内窥镜图像项目(字段)中，存储有具有该受试者ID的内窥镜图像以作为对象数据。内窥镜图像可以是具有一帧的例如jpeg格式的静止图像、或者是具有多帧的例如avi格式的运动图像。在内窥镜图像项目(字段)中，也可以存储有用于表示作为文件进行保存的该内窥镜图像的保存位置(文件路径)的信息。
在内窥镜图像为运动图像的情况下，帧编号项目(字段)中存储有该运动图像的帧编号。通过存储运动图像的帧编号，即使内窥镜图像是运动图像，也能够同静态图像一样地执行处理，并能够与后述的三维医学图像或虚拟内窥镜图像的位置信息(体内坐标系中的坐标)建立相关性。
在S坐标(插入距离)项目(字段)中，对处于存储在相同记录中的内窥镜图像的拍摄时间点的内窥镜140的插入距离进行存储，以作为S坐标值。稍后将对插入距离(S坐标)的导出等进行说明。
在三维医学图像项目(字段)中，存储有根据从CT装置(X射线CT、X射线锥形束CT)或MRI装置(MRI-CT)输出的数据来生成的例如DICOM(Digital Imaging andCommunications in Medicine)格式的三维医学图像，以作为对象数据。或者，也可以存储有用于表示作为文件进行保存的该三维医学图像的保存位置(文件路径)的信息。
在视点位置项目(字段)中，存储有处于拍摄内窥镜图像的时间点的内窥镜140在体内的坐标、即三维医学图像在坐标系中的坐标。稍后将对视点位置的导出等进行说明。
在视点方向项目(字段)中，存储有处于拍摄内窥镜图像的时间点的内窥镜140的朝向、即三维医学图像的在坐标系(在体内坐标系中的坐标)中的旋转角。稍后将对视点方向的导出等进行说明。
在虚拟内窥镜图像项目(字段)中，存储有通过三维医学图像来生成的虚拟内窥镜图像以作为对象数据。也可以存储有用于表示作为文件进行保存的该虚拟内窥镜图像的保存位置(文件路径)的信息。虚拟内窥镜图像是为了与内窥镜图像执行匹配处理而通过三维医学图像来生成的图像，例如，将与内窥镜图像最为匹配的虚拟内窥镜图像登记在与该内窥镜图像相同的记录中。稍后将对虚拟内窥镜图像的生成等进行说明。
图26是例示包含在信息处理装置6的控制部62中的功能部的功能框图。内窥镜用处理器120(内窥镜装置110)的控制部121通过执行存储在主存储装置122中的程序，来作为图像处理部1211发挥作用。信息处理装置6的控制部62通过执行存储在存储部63中的程序P，来作为获取部621、视点位置导出部622、虚拟内窥镜图像生成部623、匹配度判断部624、和DB登记部625发挥作用。
内窥镜用处理器120的图像处理部1211对从内窥镜输出的图像(拍摄图像)执行伽马校正、白平衡校正、阴影校正等各种图像处理，并作为内窥镜图像进行输出。图像处理部1211将基于所生成的内窥镜图像和内窥镜图像的拍摄时间点的检查日期输出(发送)到信息处理装置6中。图像处理部1211还可以将从键盘115输入的受试者ID输出到信息处理装置6中。图像处理部1211也可以将从为了测量内窥镜140的周边环境而配设在内窥镜140的插入部144(柔性管)上的传感器输出的与内窥镜140的插入距离(S坐标)相关的信息输出到信息处理装置6中。图像处理部1211也可以将从传感器获取的与内窥镜140的插入距离相关的信息、例如与内窥镜图像重叠地显示在显示装置上。
用于获取作为内窥镜140插入体内的距离的S坐标的传感器例如包括温度传感器、光学传感器、压力传感器、湿润传感器(电极)、湿度传感器。例如，在该传感器是光学传感器的情况下，光学传感器配置在插入部144(柔性管)的内部，但是即使当插入部144(柔性管)插入体内时也能够接收光。因此，能够将光学传感器接收更多光的部分判别为体外，将较少的部分判别为体内。而且，内窥镜用处理器120的控制部121根据由光学传感器获得的信号，确定位于作为体腔插入部位的边界位置的光学传感器，从而能够导出作为插入体内的插入部144(柔性管)的距离(长度)的S坐标。
在与插入部144(柔性管)相接的未图示的咬嘴等上安装有滚轮编码器，并可以通过使用该滚轮编码器旋转相当于插入部144(柔性管)插入体内的距离的量，来获取作为内窥镜140插入体内的距离的S坐标。咬嘴等滚轮编码器随着插入部144(柔性管)的进退而旋转，并且能够测量插入体内的内窥镜140的前端部1443与例如与口或鼻子等管腔相连通的开口部之间的长度、即插入部144(柔性管)的插入距离。滚轮编码器与内窥镜用处理器120电连接，并且将测量的距离发送至内窥镜用处理器120中。此外，也可以使用光学式编码器来代替滚轮编码器。
此外，在将用于测量内窥镜140的插入距离的辅助装置安装在作为被检体入口的体腔插入部位中的情况下，可以通过测量内窥镜140的穿过距离，来获取作为内窥镜140插入体内的距离的S坐标。辅助装置可以是利用例如安装在插入部144(柔性管)上的线性标尺那样的磁场标尺和安装在咬嘴上的线性接头来测量距离，或者也可以是安装了滚轮的内窥镜140的咬嘴。另外，在将内窥镜插入鼻子或肛门等的情况下，也可以利用带有与咬嘴相似的滚轮的辅助装置。此外，进一步地，也可以在内窥镜140的插入部144(柔性管)中内置以一定间隔记录插入距离的芯片。内窥镜用处理器120能够根据由咬嘴等获得的在该芯片上记录的S坐标信息，来获取作为内窥镜140插入体内的距离的S坐标。
获取部621获取由内窥镜用处理器120输出的受试者ID、检查日期、内窥镜图像和S坐标(插入距离)。获取部621根据所获取的受试者ID，来获取从可通信连接的CT装置或MRI装置输出的该受试者的三维医学图像。在从CT装置或MRI装置等其他检查装置输出的三维医学图像已经保存在例如外部服务器(未图示)中的情况下，信息处理装置6也可以访问该外部服务器，并根据从内窥镜用处理器120输出的受试者ID，来获取该受试者的三维医学图像。
三维医学图像是通过例如由从CT装置和MRI装置等输出的断层图像数据构成的体数据来表示的图像、以及通过从使用MS(Multi Slice)CT装置和X射线平板的X射线锥形束CT装置中输出的体数据来表示的图像。在使用X射线CT装置或锥形束CT装置的情况下，也可以是进行例如DECT成像(Dual Energy CT，双能CT)，并根据有效质量数(effective-Z)来了解三维医学图像的各个像素的组成(人体组成)的图像。在使用MRI装置的情况下，也可以是赋予其与脂肪或乳酸等三维医学图像的各个像素的组成(人体组成)相关的信息的图像。
获取部621将所获取的S坐标输出到视点位置导出部622中。视点位置导出部622根据所获取的S坐标，导出与该S坐标相对应的三维医学图像的坐标(体内坐标系中的坐标)、即，在内窥镜拍摄时间点的内窥镜140的前端部1443所处的视点位置。图27是示出插入内窥镜的距离(S坐标值)的说明图。如图所示，由内窥镜140拍摄的消化器官等通过三维医学图像以三维形状进行表现。在该消化器官等的内壁的内侧形成有空间，该空间成为插入内窥镜的插入路径。作为内窥镜140的插入距离的S坐标位于该插入路径的内侧(消化器官等的内壁内侧)，由于所插入的路径的路径长度与该插入距离大致相等，因此能够根据S坐标来导出位于消化器官等的内壁内侧的内窥镜140的前端部1443的坐标。视点位置导出部622将与所导出的视点位置相关的信息输出到虚拟内窥镜图像生成部623中。
获取部621将所获得的三维医学图像输出到虚拟内窥镜图像生成部623中。虚拟内窥镜图像生成部623根据所获取的三维医学图像以及通过视点位置导出部622获取的视点位置，来生成虚拟内窥镜图像。虚拟内窥镜图像是基于对气管和支气管内或肠管等管状器官进行拍摄的X射线CT或MRI或X射线锥形束CT的三维医学图像进行生成(重建)，并用虚拟内窥镜通过三维图像显示器官内(体腔内)的图像。例如，也可以在使空气进入大肠的状态下进行CT成像，并通过从大肠的内侧对通过该摄影而获得的三维医学图像进行体渲染，来生成(重建)大肠的虚拟内窥镜图像。
虚拟内窥镜图像生成部623从所获取的三维医学图像中提取受试者体内的脏器的体素数据。作为脏器，例如有大肠、小肠、肾脏、支气管或血管等，但并不限于此，也可以是其他脏器。另外，在本实施方式中，提取并获取大肠的体素数据。例如，作为提取大肠区域的方法，具体而言，首先，根据三维医学图像重建多个与体轴垂直的截面(轴位断层；axial)的轴位断层图像，并针对该各轴位断层图像，通过公知的方法，以基于X射线吸收系数的X射线CT值作为阈值来求出体表和体内之间的边界，并执行以体表为基准地分离体外和体内区域的处理。例如，对重建的轴位断层图像实施基于X射线CT值的二值化处理，通过轮廓提取处理来提取轮廓，并且将该提取的轮廓内部作为体内(人体)区域进行提取。然后，对体内区域的轴位断层图像执行基于阈值的二值化处理，并提取各轴位断层图像中的大肠区域的候选。具体而言，由于空气进入大肠管内，因此设定与空气的CT值相对应的阈值(例如-600HU(Hounsfield Unit，霍恩斯菲尔德单位)以下)后执行二值化处理，并提取各轴位断层图像在体内的空气区域以作为大肠区域候选。虚拟内窥镜图像生成部623以基于被设定为视点位置和视线方向的旋转角的视线矢量为中心，对将呈放射线状延伸的多个光线方向上的体素数据投影到预定投影面上的中心投影的图像进行重建以作为虚拟内窥镜图像。另外，作为中心投影的具体方法，例如可以使用公知的体渲染方法等。
虚拟内窥镜图像生成部623例如以相当于内窥镜140的前端部1443坐标的视点位置为起点，对视点方向、即三维医学图像在坐标系中的旋转角(θx、θy、θz)例如以1°的预定单位量进行变更，并依次生成作为候选的多个虚拟内窥镜图像。即，虚拟内窥镜图像生成部623例如也可以从作为由三维医学图像确定的消化器官的内部的视点位置处，通过设定为视点方向的多个旋转角，投影(摄影)该消化器官的内壁形成的三维形状，并生成多个虚拟内窥镜图像。虚拟内窥镜图像生成部623将所生成的多个虚拟内窥镜图像与在生成该虚拟内窥镜图像时使用的视点方向(旋转角)建立相关性，并输出到匹配度判断部624中。
获取部621将所获取的内窥镜图像输出到匹配度判断部624中。匹配度判断部624根据所获取内窥镜图像、以及通过虚拟内窥镜图像生成部623来获取的多个虚拟内窥镜图像和在生成该虚拟内窥镜图像时使用的视点方向(旋转角)，来确定与所获取的内窥镜图像最为匹配的虚拟内窥镜图像以及在生成该最为匹配的虚拟内窥镜图像时使用的视点方向(旋转角)。匹配度判断部624通过对所获取的内窥镜图像和多个虚拟内窥镜图像中的每一个进行比较，来导出内窥镜图像和虚拟内窥镜图像之间的匹配度。
匹配度判断部624例如也可以使用取内窥镜图像的阴影图像与虚拟内窥镜图像的阴影图像之间的相关度的指标来测量匹配度。为了定量地观察虚拟内窥镜图像与内窥镜图像的匹配度，可以通过观察根据亮度信息求出的阴影图像信息的相关度来判断匹配度的大小。或者，也可以使用内窥镜图像与虚拟内窥镜图像之间的相似度来判断匹配度。为了测量内窥镜图像与虚拟内窥镜图像之间的匹配度，例如也可以使用通过VGG16模型(caffemodel:VGG_ILSVRC_16_layers)安装的DCNN等AI(匹配度学习模型)的方法。或者，匹配度判断部624也可以比较所构成的多个虚拟内窥镜图像与内窥镜图像之间的相似度。两个图像的相似度比较可以通过公知的图像处理来进行，可以使用像素数据级别匹配、或者从图像中提取出的特征级别匹配中的任意一种。匹配度判断部624将确定为与内窥镜图像之间的匹配度最高的虚拟内窥镜图像以及为了生成该虚拟内窥镜图像而使用的视点方向(旋转角)输出到DB登记部625中。
在本实施方式中，匹配度判断部624确定与所获取的内窥镜图像最为匹配的虚拟内窥镜图像，但并不限定于此。匹配度判断部624也可以将匹配度为与预定值以上的虚拟内窥镜图像确定为实质上能够与所获取的内窥镜图像等同的虚拟内窥镜图像，并输出到DB登记部625中。通过确定匹配度为预定值以上的虚拟内窥镜图像，不需要与作为候选而生成的所有虚拟内窥镜图像进行全部比较，并能够实现信息处理装置6的计算负荷的降低和处理时间的减少。
匹配度判断部624在匹配度小于预定值的情况下，也可以通过对通过视点位置导出部622获取的视点位置进行微调整后的视点位置，再次重新生成多个虚拟内窥镜图像，导出重新生成的多个虚拟内窥镜图像和内窥镜图像之间的匹配度，并确定匹配度最高的虚拟内窥镜图像。此时，匹配度判断部624将匹配度最高的虚拟内窥镜图像、为了生成该虚拟内窥镜图像而使用的微调整后的视点位置和视点方向输出到DB登记部625中。
获取部621将所获取的受试者ID、检查日期、内窥镜图像、和三维医学图像输出到DB登记部625中。在内窥镜图像为运动图像的情况下，获取部621按照该内窥镜图像，将内窥镜图像的帧编号输出到DB登记部625中。DB登记部625在所获取的受试者ID、检查日期、内窥镜图像(在运动图像的情况下赋予帧编号)、S坐标、三维医学图像、通过视点位置导出部622来获取的视点位置、通过匹配度判断部624来获取的虚拟内窥镜图像和视点方向(旋转角)之间建立相关性，并通过登记到内窥镜图像DB631中，来保存这些数据。
在本实施方式中，将一系列处理中的各功能部分为内窥镜用处理器120的控制部121的功能部和信息处理装置6的控制部62的功能部并分别进行了说明，但这些功能部的分担只是一例，并不限定于此。内窥镜用处理器120的控制部121也可以作为由信息处理装置6的控制部62执行的所有功能部而发挥作用。即，内窥镜用处理器120也可以实质上包括信息处理装置6。或者，内窥镜用处理器120的控制部121仅仅用于输出由摄像元件1445拍摄的拍摄图像，信息处理装置6的控制部62也可以作为执行后续处理的全部功能部而发挥作用。或者，内窥镜用处理器120的控制部121和信息处理装置6的控制部62例如也可以通过执行进程间通信来进行协作，并作为一系列处理中的各功能部而发挥作用。
图28是与内窥镜图像和三维医学图像之间的相关性相关的说明图。在本图中，以对象指向的方式表示三维医学图像、虚拟内窥镜图像和内窥镜图像之间的相关性。
如上所述，登记在内窥镜图像DB631中的三维医学图像、虚拟内窥镜图像和内窥镜图像根据处于该内窥镜图像的拍摄时间点的视点位置、视点方向来建立相关性。视点位置相当于三维医学图像在坐标系(体内坐标系)中的坐标(x,y,z)。视点方向相当于三维医学图像在坐标系(体内坐标系)中的x轴、y轴以及z轴上的旋转角(θx、θy、θz)。
内窥镜图像的每个像素与虚拟内窥镜图像(与该内窥镜图像最为匹配的虚拟内窥镜图像)的每个像素相对应。虚拟内窥镜图像是基于三维医学图像，以视点位置为起点，通过使用由视点方向(旋转角)定义的视点矢量的矢量变换，进行投影(摄影)而生成的图像，并通过虚拟内窥镜图像的像素，来确定三维医学图像在坐标系(体内坐标系)中的坐标。
如上所述，由于虚拟内窥镜图像的每个像素与内窥镜图像的每个像素相对应，因此能够根据虚拟内窥镜图像的像素来确定内窥镜图像的像素、即包含在内窥镜图像中的体内部位的三维医学图像在坐标系(体内坐标系)中的坐标。即，将虚拟内窥镜图像作为中间介质，能够使内窥镜图像的像素(体内部位)与三维医学图像在坐标系(体内坐标系)中的坐标相关联。
也可以在三维医学图像中附加内窥镜图像的像素的颜色信息和narrow band(窄带)像素信息，并且将该三维医学图像登记在内窥镜图像DB631中。在将该差异、颜色信息等的内窥镜图像的像素信息附加到三维医学图像的情况下，优选利用摄影用光源1446执行亮度校正。如上所述，内窥镜图像的像素与视点位置(摄影用光源1446的地点)之间的距离通过三维医学图像的坐标系而导出。因此，也可以根据对所导出的该距离进行平方后的倒数，来校正包含在内窥镜图像的像素信息中的亮度。在三维医学图像的坐标系中存在多个包括位于同一坐标的像素在内的内窥镜图像的情况下，也可以优先选择距离最近的内窥镜图像，并按照该距离加权后平均负荷、或者单纯平均地附加在三维医学图像上。
在三维医学图像的摄像中，在使用X射线CT装置或锥形束CT装置的情况下，也可以是进行例如DECT成像(Dual Energy CT)，并根据有效质量数(effective-Z)来了解三维医学图像的各个像素的组成(人体组成)的图像。此外，在使用MRI装置的情况下，也可以是赋予其与脂肪或乳酸等三维医学图像的各个像素的组成(人体组成)相关的信息的图像。如此一来，通过在三维医学图像的各个像素的组成中附加与有效质量数(effective-Z)、脂肪或乳酸等人体组成相关的信息，能够向医师等提供用于使这些附加的信息和与通过该三维医学图像的各个像素来确定的坐标相关的内窥镜图像相关联的诊断支持信息。
通过以这种方式构成内窥镜图像DB631，并进一步地将内窥镜图像的像素信息附加在所登记的三维医学图像中，来统一地管理CT装置或MRI装置、通过内窥镜装置110输出的各种医疗数据，从各种观点进行检索和提取，并在提取出的三维医学图像和内窥镜图像等之间建立相关性，能够作为诊断支持信息提供给医师等。
图29是示出信息处理装置6的控制部62的处理步骤的一例的流程图。信息处理装置6例如根据来自与本装置连接的输入部8的输入内容，开始该流程图的处理。
信息处理装置6的控制部62获取从内窥镜用处理器120输出的与检查日期、受试者ID、内窥镜图像和插入距离相关的信息(S501)。控制部62通过内窥镜用处理器120获取的内窥镜图像也可以是静止图像或运动图像。控制部62在获取内窥镜图像的同时，获取从光学传感器等输出的与内窥镜140的插入距离相关的信息、检查日期(内窥镜图像的摄像日期)以及受试者ID等的受试者的属性信息。
信息处理装置6的控制部62获取从CT装置或MRI装置等其他检查装置输出的三维医学图像(S502)。三维医学图像的获取也可以通过信息处理装置6与CT装置或MRI装置等其他检查装置可通信地连接来进行获取。或者，在从CT装置或MRI装置等其他检查装置输出的三维医学图像已经保存在例如外部服务器(未图示)中的情况下，信息处理装置6也可以访问该外部服务器，并根据从内窥镜用处理器120输出的受试者ID，来获取该受试者的三维医学图像。或者，内窥镜用处理器120与CT装置或MRI装置等其他检查装置可通信地连接，信息处理装置6的控制部62也可以经由内窥镜用处理器120通过CT装置或MRI装置等来获取三维医学图像。
信息处理装置6的控制部62根据插入距离(S坐标)来导出视点位置(S503)。控制部62经由内窥镜用处理器120通过例如配置在内窥镜140的插入部144(柔性管)的内部的光学传感器等来获取与插入距离(S坐标)相关的信息，并且根据所获取的插入距离(S坐标)以及三维医学图像，来导出位于插入内窥镜的消化器官等的内壁内侧的内窥镜140的前端部1443的坐标。该坐标是将预定地点设定为原点的三维医学图像在坐标系(体内坐标系)中的坐标。
信息处理装置6的控制部62根据视点位置来生成作为候选的多个虚拟内窥镜图像(S504)。控制部62以相当于内窥镜140的前端部1443坐标的视点位置为起点，对视点方向、即三维医学图像在坐标系中的旋转角(θx、θy、θz)以预定单位量进行变更，并依次生成作为候选的多个虚拟内窥镜图像。例如，在预定单位量为10°的情况下，控制部62也可以相对于各轴的旋转角生成具有36个分辨率、即作为36的3次方(46656)个候选的虚拟内窥镜图像。
信息处理装置6的控制部62确定所生成的多个虚拟内窥镜图像中与内窥镜图像之间的匹配度最高的虚拟内窥镜图像(S505)。控制部62例如也可以使用取内窥镜图像的阴影图像与虚拟内窥镜图像的阴影图像之间的相关度的指标来测量匹配度。控制部62确定匹配度最高的虚拟内窥镜图像和生成该虚拟内窥镜图像时的视点方向(旋转角度)。
信息处理装置6的控制部62在检查日期、受试者ID、内窥镜图像、插入距离(S坐标)、三维医学图像、视点位置、视点方向和匹配度最高的虚拟内窥镜图像之间建立相关性，并登记到内窥镜图像DB631中(S506)。控制部62在通过内窥镜用处理器120获取的检查日期、受试者ID、内窥镜图像、插入距离(S坐标)、通过CT装置等获取的三维医学图像、视点位置、匹配度最高的虚拟内窥镜图像、生成该虚拟内窥镜图像时的视点方向(旋转角)之间建立相关性，并登记到内窥镜图像DB631中。通过以这种方式将各个数据登记到内窥镜图像DB631中，能够基于虚拟内窥镜图像在坐标系中的坐标，使虚拟内窥镜图像和内窥镜图像相关联地进行登记。
(实施方式6)
实施方式6中的信息处理装置6在根据通过内窥镜用处理器120获取的弯曲历史来校正视点位置这一点上与实施方式5不同。图30是例示包含在实施方式6所涉及的信息处理装置6的控制部62中的功能部的功能框图。
内窥镜用处理器120的控制部121获取插入体内的内窥镜140的弯曲历史信息，并根据所获取的弯曲历史信息来判断内窥镜140的插入状况。内窥镜用处理器120的控制部121例如也可以通过利用与内窥镜用处理器120连接的内窥镜插入形状检测装置(未图示)来检测弯曲历史信息。该内窥镜插入形状检测装置例如可以如日本特开2019-37643号公报所公开的那样，在内窥镜140的插入部144的内部，沿着该插入部144的长度方向以预定间隔配置有多个磁性线圈的装置。弯曲历史信息表示弯曲角度、弯曲方向等与弯曲相关的物理参数或信息。
与实施方式5同样地，信息处理装置6的获取部621通过内窥镜用处理器120来获取内窥镜图像等，进而获取弯曲历史信息。获取部621将所获取的弯曲历史信息输出到视点位置导出部622中。
视点位置导出部622根据所获取的弯曲历史信息来校正插入距离(S坐标)，并与实施方式5同样地，根据校正后的插入距离(S坐标)来导出视点位置。视点位置导出部622按照弯曲角度和弯曲方向，通过运算处理来检测插入部144的形状(例如向右弯曲30度等)。控制部121根据检测出的插入部144的形状，来重新计算(校正)作为插入距离的S坐标。之后，与实施方式5同样地，虚拟内窥镜图像生成部623等各功能部执行处理，并且与实施方式5同样地，DB登记部625将各数据登记到内窥镜图像DB631中。
信息处理装置6的视点位置导出部622根据通过内窥镜用处理器120获取的弯曲历史来校正视点位置，但是并不限定于此。内窥镜用处理器120的控制部121也可以根据所获取的弯曲历史信息来校正插入距离，并将校正后的插入距离输出到信息处理装置6中。信息处理装置6的获取部621也可以获取内窥镜用处理器120的控制部121根据弯曲历史信息进行校正后的视点位置，并与实施方式5同样地执行后续处理。
根据与弯曲历史相关的信息、与插入距离相关的信息、以及由三维医学图像确定的内窥镜140的插入路径的长度，来导出用于使内窥镜图像与三维医学图像相关联的位置信息。能够通过利用与弯曲历史相关的信息来校正与插入距离相关的信息，来提高插入距离(S坐标)的精度。因此，能够高精度地确定处于拍摄内窥镜图像的时间点的三维医学图像在坐标系中的内窥镜140的视点位置(坐标)以及视点方向(旋转角)，能够有效地生成合适的虚拟内窥镜图像，并能够进一步提高内窥镜图像与三维医学图像之间的相关性的精度。
内窥镜用处理器120的控制部121例如使用内窥镜插入形状观测装置(结肠导航装置)，获取从该内窥镜插入形状观测装置输出的与内窥镜140的插入形状相关的三维信息。而且，信息处理装置6的控制部62(视点位置导出部622)也可以通过将所获取的与内窥镜140的插入形状相关的三维信息应用于三维医学图像，来导出内窥镜140在体内的位置(视点位置)。根据与内窥镜140的形状相关的信息、与弯曲历史相关的信息、与插入距离相关的信息以及三维医学图像，来导出用于使内窥镜图像与三维医学图像相关联的位置信息。因此，根据内窥镜140的形状，能够确定处于拍摄内窥镜图像的时间点的三维医学图像在坐标系中的内窥镜140的位置(视点位置)以及旋转角(视点方向)，并能够进一步提高内窥镜图像与三维医学图像之间的相关性的精度。
图31是示出信息处理装置6的控制部62的处理步骤的一例的流程图。信息处理装置6例如根据来自与本装置连接的输入部8的输入内容，开始该流程图的处理。
信息处理装置6的控制部62获取从内窥镜用处理器120输出的与检查日期、受试者ID、内窥镜图像、插入距离以及弯曲历史相关的信息(S601)。与实施方式5同样地，信息处理装置6的控制部62通过内窥镜用处理器120获取内窥镜图像等，进而通过内窥镜用处理器120获取例如通过内窥镜插入形状观测装置检测出的与弯曲历史相关的信息。或者，信息处理装置6的控制部62也可以通过内窥镜插入形状观测装置直接获取与弯曲历史相关的信息。
信息处理装置6的控制部62获取从CT装置或MRI装置等其他检查装置输出的三维医学图像(S602)。与实施方式5中的处理S502同样地，信息处理装置6的控制部62执行S602的处理。
信息处理装置6的控制部62根据从内窥镜用处理器120输出的弯曲历史来校正插入距离(S坐标)，并导出视点位置(S603)。控制部62按照包含在弯曲历史中的弯曲角度以及弯曲方向，通过运算处理来导出插入部144的形状(例如向右弯曲30度等)，并根据所导出的插入部144的形状，来重新计算(校正)作为插入距离的S坐标。与实施方式5同样地，控制部62根据校正后的插入距离(S坐标)，来导出视点位置。
信息处理装置6的控制部62根据视点位置来生成作为候选的多个虚拟内窥镜图像(S604)。信息处理装置6的控制部62确定所生成的多个虚拟内窥镜图像中与内窥镜图像之间的匹配度最高的虚拟内窥镜图像(S605)。信息处理装置6的控制部62在检查日期、受试者ID、内窥镜图像、插入距离(S坐标)、三维医学图像、视点位置、视点方向和匹配度最高的虚拟内窥镜图像之间建立相关性，并登记到内窥镜图像DB631中(S606)。与实施方式5中的处理S504、S505以及S506同样地，信息处理装置6的控制部62执行S604、S605以及S606的处理。
(实施方式7)
实施方式6中的信息处理装置6在通过内窥镜用处理器120获取由具备多个摄像元件1445的内窥镜拍摄的多个内窥镜图像这一点上与实施方式5不同。图32是示意性地示出实施方式7所涉及的插入部144的前端的立体图。
图33是示意性地示出实施方式7所涉及的插入部144的前端的正视图。在内窥镜140的前端部1443上设有多个摄像元件1445和摄影用光源1446，并由它们构成摄像部1444。
多个摄像元件1445包括：摄像元件1445(在附图中为4个)，其沿周向等间隔配置在前端部1443中的圆筒体的外周面上；以及摄像元件1445(在附图中为1个)，其设置在前端部1443中的圆筒体的端面上。设置在前端部1443中的圆筒体的端面上的摄像元件1445对内窥镜140的插入方向的前方进行拍摄。设置在前端部1443中的圆筒体的外周面上的多个摄像元件1445分别对内窥镜140的插入方向的侧方进行拍摄。即，设置在前端部1443中的圆筒体的外周面上的多个摄像元件1445中的每一个相对于内窥镜140的插入方向，能够拍摄比设置在前端部1443中的圆筒体的端面上的摄像元件1445拍摄的体内部位更靠后方的体内部位。
多个摄影用光源1446包括：摄影用光源1446(在附图中为4个)，其沿周向等间隔配置在前端部1443中的圆筒体的外周面上；以及摄影用光源1446(在附图中为2个)，其设置在前端部1443中的圆筒体的端面上。即，多个摄影用光源1446中的每一个与设置在前端部1443中的圆筒体的端面上的摄像元件1445以及设置在前端部1443中的圆筒体的外周面上的多个摄像元件1445相对应地进行设置，因此在这些多个摄像元件1445拍摄体内部位时，能够提供足够的光量。
如此一来，通过将多个摄像元件1445设置在前端部1443中的圆筒体的外周面和圆筒体的端面上，能够在单个视点位置处从多个不同的视点方向来获取多个内窥镜图像。
图34是示出信息处理装置6的控制部62的处理步骤的一例的流程图。信息处理装置6例如根据来自与本装置连接的输入部8的输入内容，开始该流程图的处理。
信息处理装置6的控制部62获取从内窥镜用处理器120输出的与检查日期、受试者ID、多个内窥镜图像和插入距离相关的信息(S701)。与实施方式5同样地，控制部62获取与检查日期、受试者ID、多个内窥镜图像和插入距离相关的信息。在本实施方式中，在内窥镜140中的插入部144的前端部1443上设有多个摄像元件1445，因此，在相同的视点位置(内窥镜140在体内的位置)，内窥镜用处理器120可以输出视点方向不同的多个内窥镜图像。因此，信息处理装置6的控制部62通过内窥镜用处理器120来获取相同视点位置但不同视点方向的多个内窥镜图像。
通过获取相同视点位置但不同视点方向的多个内窥镜图像，能够拍摄包括与内窥镜140中的插入部144的前端部1443相比位于该插入部144的插入方向的后方的体内部位在内的内窥镜图像。因此，信息处理装置6的控制部62能够获取分别包括相对于该插入部144的插入方向位于前方和后方的体内部位在内的多个内窥镜图像。
信息处理装置6的控制部62获取从CT装置或MRI装置等其他检查装置输出的三维医学图像(S702)。信息处理装置6的控制部62根据插入距离(S坐标)来导出视点位置(S703)。与实施方式5中的处理S502和S503同样地，信息处理装置6的控制部62执行S702和S703的处理。
信息处理装置6的控制部62根据视点位置来生成作为候选的多个虚拟内窥镜图像(S704)。信息处理装置6的控制部62确定所生成的多个虚拟内窥镜图像中与多个内窥镜图像中的每一个之间的匹配度最高的每一个虚拟内窥镜图像(S705)。与实施方式5中的处理S504和S505同样地，信息处理装置6的控制部62执行S704和S705的处理。在本实施方式中，信息处理装置6的控制部62通过内窥镜用处理器120来获取相同视点位置但不同视点方向的多个内窥镜图像。因此，控制部62将所获取的多个内窥镜图像中的每一个与根据视点位置使视点方向(旋转角度)以预定角度发生变更后生成的多个虚拟内窥镜图像进行比较，并确定与多个内窥镜图像中的每一个最为匹配(匹配度最高)、即差异量最小的每一个虚拟内窥镜图像。控制部62对所获取的多个内窥镜图像中的每一个确定匹配度最高的虚拟内窥镜图像和生成该虚拟内窥镜图像时的视点方向(旋转角度)。
信息处理装置6的控制部62在检查日期、受试者ID、多个内窥镜图像、插入距离(S坐标)、三维医学图像、视点位置、与多个内窥镜图像中的每一个相对应的视点方向和虚拟内窥镜图像之间建立相关性，并登记在内窥镜图像DB631中(S706)。与实施方式5中的处理S506同样地，信息处理装置6的控制部62执行S706的处理。
在本实施方式中，将具有相同视点位置但不同视点方向的多个内窥镜图像登记在内窥镜图像DB631中。信息处理装置6的控制部62将这些多个内窥镜图像中的每一个和与该内窥镜图像中的每一个最为匹配的每一个虚拟内窥镜图像以及在生成该虚拟内窥镜图像时使用的每一个视点方向相关联地登记在内窥镜图像DB631中。由于内窥镜图像包括由多个摄像元件1445拍摄的多个内窥镜图像，因此能够在同一摄像地点(视点位置)获取不同摄影角度(视点方向)的多个内窥镜图像。由于通过同一摄像地点(视点位置)将该摄影角度(视点方向)不同的多个内窥镜图像与三维医学图像相关联地进行保存，因此能够将这些图像组提供给医师等内窥镜140的操作者，并能够更有效地对医师等进行诊断支持。
(实施方式8)
实施方式6中的信息处理装置6使用登记在内窥镜图像DB631中的各种数据，通过显示使内窥镜图像与三维医学图像相关联的画面(集成图像显示画面71)，向医师等提供诊断支持信息。图35是示出实施方式8所涉及的集成图像显示画面71的一个实施方式(三维医学图像模式)的说明图。图36是示出集成图像显示画面71的一个实施方式(内窥镜图像模式)的说明图。
信息处理装置6的控制部62检索存储在存储部63中的内窥镜图像DB631，生成用于构成显示画面(集成图像显示画面71)的画面数据后输出到显示部7，并将该显示画面(集成图像显示画面71)显示在显示部7中。
在显示集成图像显示画面71时，例如，信息处理装置6显示如图35所示那样的内窥镜图像选择画面70，并接收用于检索内窥镜图像DB631的作为受试者ID等检索关键词的信息。在内窥镜图像选择画面70中，例如配置有用于接收受试者ID以及该受试者的内窥镜检查日期的输入的输入字段。信息处理装置6根据在内窥镜图像选择画面70输入的受试者ID等，检索内窥镜图像DB631，并将包含检索结果数据的集成图像显示画面71显示在显示部7中。
集成图像显示画面71例如包括：用于显示受试者ID等的目录事项的区域、用于显示三维医学图像的区域、用于显示内窥镜图像的区域、用于显示虚拟内窥镜图像的区域、用于显示拍摄内窥镜图像的视点位置等的区域、以及用于显示在内窥镜图像中选择的体内部位(像素)信息的区域。
在用于显示受试者ID等目录事项的区域中，显示用于检索内窥镜图像DB631的受试者ID、内窥镜检查日期、三维医学图像的生成日期等的数据管理方面的目录事项。
在用于显示三维医学图像的区域中，作为三维对象显示由三维医学图像表示的消化器官等体内部位，并且可以通过拖动该三维对象的任意部位，来使三维对象旋转。三维医学图像也可以例如在高亮状态下显示内窥镜图像中所确定的病变位置。
在用于显示内窥镜图像的区域中，例如显示与在三维医学图像上通过鼠标等选择的位置相对应的内窥镜图像。即，通过鼠标等选择的三维医学图像的位置与该三维医学图像在坐标系中的坐标相对应。因此，信息处理装置6从内窥镜图像DB631中检索与该坐标相对应的视点位置的内窥镜图像、或者包括与该坐标相对应的体内部位在内的内窥镜图像，并显示在用于显示内窥镜图像的区域中。通过该坐标，在内窥镜图像DB631中检索(提取)出多个内窥镜图像的情况下，根据包含在内窥镜图像中的病变的有无或特征量，来选择并显示任意一个内窥镜图像，其他内窥镜图像也可以显示为缩略图。即，用于显示内窥镜图像的区域配置有缩略图显示字段713，在缩略图显示字段713中用缩略图来显示其他内窥镜图像。
在用于显示虚拟内窥镜图像的区域中，显示与显示在用于显示内窥镜图像的区域中的内窥镜图像之间匹配度最高的虚拟内窥镜图像。如上所述，将内窥镜图像和与该内窥镜图像之间匹配度最高的虚拟内窥镜图像存储在同一记录中，因此通过使用内窥镜图像DB631，能够有效地提取该虚拟内窥镜图像。
在用于显示拍摄内窥镜图像的视点位置等的区域中，显示处于显示在用于显示内窥镜图像的区域中的内窥镜图像的拍摄时间点的内窥镜140在体内的位置(视点位置)以及视点方向(旋转角)。即，在用于显示拍摄内窥镜图像的视点位置等的区域中，配置有视点位置字段711和视点方向字段712，在视点位置字段711中显示视点位置，在视点方向字段712中显示视点方向。
用于显示拍摄内窥镜图像的视点位置等的区域也可以作为输入任意的视点位置和视点方向的输入字段(视点位置字段711、视点方向字段712)而发挥作用。也可以通过使用视点位置字段711中输入的视点位置和视点方向字段712中输入的视点方向，来检索内窥镜图像DB631，提取出与该视点位置和视点方向相对应的内窥镜图像，并显示在用于显示内窥镜图像的区域中。
在用于显示在内窥镜图像中选择的体内部位(像素)的信息的区域中，显示在内窥镜图像上由鼠标等选择的体内部位(像素)在三维医学图像上的坐标、以及该体内部位(像素)与内窥镜140的前端部1443之间的距离。内窥镜图像和与该内窥镜图像匹配度最高的虚拟内窥镜图像是表示同一体内部位的区域的图像，内窥镜图像的各个像素和虚拟内窥镜图像的各个像素在两个图像的坐标系中基本匹配或可视为相同，因此彼此对应。由于虚拟内窥镜图像是通过对三维医学图像进行投影等而生成，因此虚拟内窥镜图像的像素分别与三维医学图像上的坐标相对应。因此，能够根据包含在所选择的内窥镜图像中的体内部位(像素)，来确定该体内部位(像素)在三维医学图像的坐标系中的坐标。如上所述，由于已经将作为内窥镜140的前端部1443位置的视点位置登记在DB登记部625中，因此内窥镜140的前端部1443与包含在所选择的内窥镜图像中的体内部位(像素)之间的距离能够根据该体内部位(像素)在三维医学图像的坐标系中的坐标和视点位置来导出。
在用于显示在内窥镜图像中选择的体内部位(像素)的信息的区域中，也可以显示与在内窥镜图像中选择的体内部位(像素)的有效质量数(effective-Z)、或者脂肪或乳酸等人体组成相关的信息。由于这些有效质量数等是附加在三维医学图像的各个像素上的属性信息，因此如上所述地能够根据确定的在三维医学图像的坐标系中的坐标，来确定三维医学图像的像素，提取并显示附加在该像素上的有效质量数等。
在集成图像显示画面71中，在包括用于接收与显示方式相关的输入的输入区域在内的输入区域中，例如配置有用于切换显示模式的显示模式切换字段715和用于设定显示选项的显示选项字段714。
在显示模式切换字段715中包含单选按钮等，该单选按钮用于切换主要显示三维医学图像的三维医学图像模式或者主要显示内窥镜图像的内窥镜图像模式。根据显示模式切换字段715中的输入内容，集成图像显示画面71构成为，能够切换包括主要显示三维医学图像的三维医学图像模式(图35)和主要显示内窥镜图像的内窥镜图像模式(图36)在内的多个显示模式。通过以这种方式可以很简单地切换主要显示的图像，从而可以有效地向医师等提供诊断支持信息。
在显示选项字段714中，包含单选按钮等，该单选按钮用于切换显示将指定位置作为视点位置的图像的设定或者显示包括指定位置的体内部位在内的图像的设定。根据显示模式切换字段715中的输入内容，设定用于对显示在用于显示内窥镜图像的区域中的内窥镜图像进行检索的检索条件，并将符合该条件的内窥镜图像显示在集成图像显示画面71中。如上所述，视点位置以及包含在内窥镜图像中的体内部位(像素)通过三维医学图像在坐标系中的坐标来确定，因此信息处理装置6能够设定在显示选项字段714中设定的检索条件，并检索内窥镜图像DB631
在显示选项字段714中，也可以包含单选按钮等的选项设定，该单选按钮等用于半透明地显示三维医学图像。当通过从CT装置和MRI装置等输出的切片数据构成例如体数据时，三维医学图像可以通过在透射模式下生成(半透明处理)来半透明地显示。作为显示选项设定了半透明显示的情况下，信息处理装置6显示执行半透明处理后的三维医学图像。
图37是示出信息处理装置6的控制部62的处理步骤的一例的流程图。信息处理装置6例如根据来自与本装置连接的输入部8的输入内容，开始该流程图的处理。
信息处理装置6的控制部62接收受试者ID(S801)。控制部62通过接收由医师等在内窥镜图像的选择画面上输入的受试者ID，来获取受试者ID。在内窥镜图像的选择画面中存在用于选择内窥镜检查日期的输入字段的情况下，控制部62也可以接收与所选择的内窥镜检查日期相关的信息，并获取该日期等和与该日期相关的信息。
信息处理装置6的控制部62根据所获取的受试者ID，来检索并获取三维医学图像(S802)。控制部62以所获取的受试者ID作为检索关键字来检索内窥镜图像DB631，并提取该受试者ID的三维医学图像后获得。
信息处理装置6的控制部62显示所获取的三维医学图像(S803)。控制部62将所获取的三维医学图像显示在集成图像显示画面71上。
信息处理装置6的控制部62接收三维医学图像中的位置信息(S804)。控制部62接收由医师等例如通过鼠标的点击操作在集成图像显示画面71上选择的三维医学图像上的位置信息。
信息处理装置6的控制部62根据所接收的三维医学图像上的位置信息，来导出三维医学图像上的坐标(S805)。
信息处理装置6的控制部62根据所导出的坐标，来检索并获取要显示的内窥镜图像(S806)。控制部62以所导出的坐标作为视点位置、以该视点位置作为检索关键字来检索内窥镜图像DB631，并提取对应的内窥镜图像后获得。控制部62也可以是当以该视点位置作为检索关键字来检索内窥镜图像时，在包括该视点位置的坐标(所导出的坐标)在内的预定范围内进行检索的装置。通过在包括视点位置的坐标(所导出的坐标)在内的预定范围内进行检索，能够对该坐标设定抖动幅度后检索内窥镜图像，并且能够有效地检索在所选择的三维医学图像的位置附近拍摄的单个或多个内窥镜图像组。控制部62将提取出的内窥镜图像显示在集成图像显示画面71上。在提取出多个内窥镜图像的情况下，控制部62也可以将根据所提取的多个内窥镜图像中有无病变等而决定的优先级高的内窥镜图像显示为最大化或置于最前面，其他内窥镜图像也可以显示为最小化或置于后面。
信息处理装置6的控制部62显示与所显示的内窥镜图像相关的信息(S807)。作为与所显示的内窥镜图像相关的信息，控制部62例如显示与该内窥镜图像最为匹配的虚拟内窥镜图像、或者与在所显示的内窥镜图像中选择的体内部位(像素)相关的信息。与在内窥镜图像中选择的体内部位(像素)相关的信息例如也可以包括该体内部位(像素)在三维医学图像上的坐标、从内窥镜140的前端部1443到该体内部位(像素)之间的距离。与在内窥镜图像中选择的体内部位(像素)相关的信息也可以包括作为与三维医学图像的各个像素(体内部位)的附加信息的有效质量数(effective-Z)或人体组成相关的信息。
信息处理装置6的控制部62接收在集成图像显示画面71中选择的显示选项，以与该显示选项的内容相对应的显示方式进行显示(S808)。如上所述，在集成图像显示画面71中配置有用于接收显示选项的选择的输入字段，并根据所输入的显示选项的内容，变更为集成图像显示画面71的显示方式。
根据本实施方式，通过将在内窥镜图像DB631中相互关联地进行登记的内窥镜图像、三维医学图像以及虚拟内窥镜图像列举并显示在集成图像显示画面71中，可以向医师等提供用于整合与受试者相关的一组医疗数据的诊断支持信息。
在本实施方式中，信息处理装置6将集成图像显示画面71显示在显示部7上，但是并不限定于此。信息处理装置6也可以经由内窥镜用处理器120显示在内窥镜装置110的显示装置50上。或者，与集成图像显示画面71的显示等相关的一系列处理或作为功能部的操作也可以与实施方式5同样地由内窥镜用处理器120来执行。或者，也可以与实施方式5同样地，信息处理装置6与内窥镜用处理器120协作，作为与集成图像显示画面71的显示等相关的一系列的处理或功能部进行操作。
(实施方式9)
实施方式9中的信息处理装置6使用登记在内窥镜图像DB631中的各种数据，输出登记在内窥镜图像DB631中的内窥镜图像中所包含的与体内部位相关的病变的有无等的诊断支持信息。
图38是说明通过使用实施方式9所涉及的学习模型9来输出诊断支持信息的处理的说明图。信息处理装置6根据将内窥镜图像作为问题数据、将包括病变的有无、病变症状种类、病变症状所处阶段以及病变位置等中的至少一个在内的诊断支持信息作为回答数据的训练数据来进行学习，由此构建(生成)将内窥镜图像作为输入、将包括病变的有无等在内的诊断支持信息作为输出的神经网络。内窥镜图像例如包括怀疑有病变的体内部位。病变的有无、症状种类、症状所处阶段以及病变位置是与包含在内窥镜图像中的体内部位相关的病变的有无或概率值、症状种类、症状所处阶段以及病变位置相关的信息。
输入到学习模型9中的内窥镜图像也可以是根据从与该内窥镜图像相对应的虚拟内窥镜图像(与该内窥镜图像最为匹配的虚拟内窥镜图像)中导出的距离图像信息，来校正特征参数后的内窥镜图像。稍后将对基于该距离图像信息的特征参数的校正进行说明。
假设使用训练数据来学习的神经网络(学习模型9)作为人工智能软件的一部分的程序模块而使用。如上所述，学习模型9是在具备控制部62(CPU等)和存储部63的信息处理装置6中使用的模型，以这种方式通过由具有运算处理能力的信息处理装置6来执行，从而构成神经网络系统。即，信息处理装置6的控制部62按照以下方式进行操作：按照来自在存储部63中存储的学习模型9的指令，执行用于提取输入到输入层的内窥镜图像的特征量的运算，并从输出层输出包括病变的有无等的诊断支持信息。
输入层具有用于接受内窥镜图像的像素值的输入的多个神经元，并且将输入的像素值及距离信息传递给中间层。中间层具有用于提取内窥镜图像的图像特征量的多个神经元，并且将提取的图像特征量传递给输出层。输出层具有用于输出与病变的有无以及症状所处阶段相关的信息的一个或多个神经元，并根据从中间层输出的图像特征量，来输出与病变的有无以及症状所处阶段相关的信息。例如，当学习模型9是CNN(ConvolutionalNeural Network)时，中间层具有使用于对从输入层输入的各像素的像素值进行卷积的卷积层与用于对在卷积层中进行卷积的像素值进行映射(压缩)的池化层交替连接的结构，并在压缩作为内窥镜图像的像素信息的同时，最终提取内窥镜图像的特征量。输出层具有用于输出与包含在该内窥镜图像中的体内部位有无病变等相关的信息的一个或多个神经元，并根据从中间层输出的图像特征量等，来输出与病变的有无等相关的信息。与所输出的病变的有无等相关的信息是操作内窥镜的医师等用作诊断支持信息的信息。
在本实施方式中，对输入到学习模型9中的数据是内窥镜图像的情况进行了说明，但并不限定于此。输入到学习模型9中的数据也可以是内窥镜140的摄像元件1445拍摄的拍摄图像(原始图像)。即，学习模型9也可以通过输入拍摄图像来输出与病变的有无等相关的信息。
在本实施方式中，对学习模型9是CNN等神经网络(NN)的情况进行了说明，但是学习模型9并不限定于NN，也可以是利用SVM(Support Vector Machine，支持向量机)、贝叶斯网络、回归树等其他学习算法来构建的学习模型9。或者，也可以使用RCNN(Regions withConvolutional Neural Network)、Fast RCNN、Faster RCNN或SSD(Single ShotMultibook Detector)、YOLO(You Only Look Once)等任意的物体检测算法来替代CNN。
信息处理装置6将从输出层输出的值与对问题数据(内窥镜图像)附加了标记的信息(病变的有无、症状种类以及症状所处阶段)、即正确答案值(回答数据)进行比较，以使来自输出层的输出值接近正确答案值的方式，使在中间层的运算处理中使用的参数最佳化。该参数例如是神经元之间的权重(耦合系数)、每个神经元中使用的激活函数的系数等。参数的优化方法并没有特别限定，例如信息处理装置6使用误差反向传播算法来优化各种参数。信息处理装置6对包含在训练数据中的内窥镜图像执行上述处理，生成学习模型9，并将生成的学习模型9存储在存储部63中。
作为训练数据使用的内窥镜图像(问题数据)和与这些信息相关的病变的有无等的相关信息(回答数据)作为在各医疗机构中进行内窥镜检查的结果数据而大量保存，通过使用这些结果数据，能够大量生成用于学习学习模型9的训练数据。
图39是例示包含在信息处理装置6的控制部62中的功能部的功能框图。信息处理装置6的控制部62通过执行存储在存储部63中的程序P，作为获取部621、距离图像信息导出部626、特征参数导出部627、特征参数校正部628和输出部629而发挥作用。此外，控制部62通过执行存储在存储部63中的程序P，或者通过读出用于构成学习模型9的实体文件，来作为学习模型9而发挥作用。
获取部621例如通过内窥镜图像选择画面70等来接收所输入的受试者ID以及检查日期，并获取受试者ID等。获取部621以所获取的受试者ID作为检索关键词、或者以受试者ID和检查日期作为检索关键字来检索内窥镜图像DB631，并获取由内窥镜图像以及与该内窥镜图像最为匹配的虚拟内窥镜图像构成的多个数据集。
获取部621将虚拟内窥镜图像输出到距离图像信息导出部626中。距离图像信息导出部626根据所获取的虚拟内窥镜图像，来导出距离图像信息。距离图像信息是虚拟内窥镜图像中与虚拟内窥镜图像中的各个像素之间的距离相关的信息。各个像素之间的距离是指三维医学图像在坐标系(体内坐标系)中的距离，例如是考虑了包含在虚拟内窥镜图像中的2个体内部位的纵深的距离。虚拟内窥镜图像是对三维医学图像进行投影变换后获得的二维图像，虚拟内窥镜图像中的任意地点与三维医学图像中的地点相对应，并且这些地点表示体内部位中的同一位置。该虚拟内窥镜图像中的任意地点可以是作为图像中的最小单位的像素编号(像素坐标)，或者例如也可以是确定预定体内部位的局部区域(由多个像素构成的区域)的中心部。可以通过以这种方式确定2个任意地点，来导出三维医学图像在坐标系中的该2个地点间的距离。即，距离图像信息中的距离相当于与虚拟内窥镜图像的2个点相对应的三维医学图像在坐标系中的2个点之间的距离。
三维医学图像中的2个点由虚拟内窥镜图像中的2个点来确定。可以根据所确定的三维医学图像中的2个点各自的坐标值，来导出该2个点之间的距离以及矢量。可以通过将导出的三维医学图像中的2个点之间的距离和矢量作为与该2个点相对应的虚拟内窥镜图像中的2个点之间的距离和矢量，并将其赋予给虚拟内窥镜图像，来生成距离图像、即在虚拟内窥镜图像中附加了三维医学图像在坐标系中的距离信息的虚拟内窥镜图像(距离图像)。距离图像信息导出部626也可以将附加了与各个像素之间的距离相关的信息的虚拟内窥镜图像(距离图像)作为距离图像信息进行输出。
内窥镜图像根据拍摄该内窥镜图像的内窥镜140的位置(视点位置)和摄影方向(视点方向)，与由三维医学图像构成的虚拟内窥镜图像相对应。因此，与内窥镜图像相对应的虚拟内窥镜图像的距离图像信息也能够应用于该内窥镜图像中。即，内窥镜图像中的2个点间的距离相当于与该内窥镜图像相对应的虚拟内窥镜图像中的2个点间的距离(距离图像中的距离、三维医学图像在坐标系的距离)。因此，可以通过将包含在距离图像中的距离图像信息应用于内窥镜图像，来确定包含在该内窥镜图像中的体内部位间的距离、体内部位的大小等的距离信息。
获取部621将内窥镜图像输出到特征参数导出部627中。特征参数导出部627将包含在内窥镜图像中的预定体内部位的区域作为特征参数而导出。例如，特征参数导出部627也可以通过使用图案识别或边缘检测等，将包含在内窥镜图像中的预定体内部位的区域作为特征参数而导出。或者，特征参数导出部627也可以从内窥镜图像中，根据体内部位的色调或褶皱的变化，使用A-KAZE(Accelerated KAZE)、SIFT(Scale Invariant FeatureTransform)等局部特征参数提取方法，将包含在内窥镜图像中的预定体内部位的区域作为特征参数而导出。
特征参数校正部628获取从距离图像信息导出部626输出的距离图像信息、从特征参数导出部627输出的特征参数、以及从获取部621输出的内窥镜图像。特征参数校正部628根据所获取的距离图像信息、特征参数以及内窥镜图像，生成通过距离图像信息来校正特征参数后的内窥镜图像，并输出到学习模型9中。
特征参数校正部628的校正例如是对确定为特征参数的预定体内部位的区域的面积进行校正(面积校正处理)。在执行面积校正处理时，特征参数校正部628根据通过虚拟内窥镜图像获得的距离图像信息，来获取对应的内窥镜图像的各个图像区域中的距离R(例如r1或r2等)。特征参数校正部628对获取的各个图像区域的距离和基准距离(例如20mm)进行比较。控制部121以与比较后的各区域的距离R呈平方反比(R/20)^2"^：幂乘"的方式进行校正。特征参数校正部628在判断为内窥镜图像的图像区域中的距离为基准距离以上的情况下(像素远)，以与各区域的距离R呈平方反比(R/20)^2的方式对构成该图像区域的像素数(像素数值)执行校正，由此对该图像区域执行放大处理。特征参数校正部628在判断为内窥镜图像的图像区域中的距离小于基准距离的情况下(像素近)，以与各区域的距离R呈平方反比(R/20)^2的方式对构成该图像区域的像素数执行校正后减少，由此对该图像区域执行缩小处理。此外，各个图像区域中各个像素间的距离有差异的情况下，将其作为基准距离来执行校正。或者，特征参数校正部628也可以通过使用最近邻插值法、双线性插值法、双三次插值法，或者Lanczos(Lanczos)插值法等，来执行面积校正处理。特征参数校正部628通过使用这些各种方法，对内窥镜图像执行面积校正处理，并将校正后的内窥镜图像输出到学习模型9中。
学习模型9获取校正后的内窥镜图像，将包含在内窥镜图像中的体内部位有无病变等的诊断支持信息输出到输出部629中。输出部629通过学习模型9获取包括病变的有无等在内的诊断支持信息的同时，通过特征参数校正部628或获取部621获取内窥镜图像、受试者ID等。输出部629也可以通过特征参数校正部628获取校正特征参数后的内窥镜图像。输出部629也可以根据内窥镜图像检索内窥镜图像DB631，并获取该内窥镜图像的视点位置等的相关信息。
输出部629使通过学习模型9获取的包括病变的有无等在内的诊断支持信息与作为该诊断支持信息的对象的内窥镜图像相关联，并输出到显示部7中。输出部629也可以将输入到学习模型9中的校正后的内窥镜图像以及校正前的内窥镜图像这两个图像输出到显示部7中。输出部629也可以在诊断支持信息和与作为该诊断支持信息的对象的内窥镜图像相关联的三维医学图像之间建立相关性，并输出到显示部7中。当将诊断支持信息与三维医学图像相关联，并输出到显示部7中时，输出部629也可以例如以高亮状态下显示在显示部7中的方式输出三维医学图像中的病变位置。
输出部629也可以使通过学习模型9获取的包括病变的有无等在内的诊断支持信息与作为该诊断支持信息的对象的内窥镜图像相关联，并登记在内窥镜图像DB631中。输出部629也可以将输入到学习模型9中的校正后的内窥镜图像以及校正前的内窥镜图像这两个图像登记在内窥镜图像DB631中。输出部629也可以通过距离图像信息导出部626获取距离图像信息(距离图像)，使其与内窥镜图像相关联，并登记在内窥镜图像DB631中。
图40是示出信息处理装置6的控制部62的处理步骤的一例的流程图。信息处理装置6例如根据来自与本装置连接的输入部8的输入内容，开始该流程图的处理。
信息处理装置6的控制部62获取受试者ID(S901)。控制部62除了受试者ID以外，还可以获取用于确定内窥镜检查的日期的时间等检查日期信息。
信息处理装置6的控制部62根据受试者ID来检索内窥镜图像DB631，并获取包括内窥镜图像以及虚拟内窥镜图像在内的数据集(S902)。控制部62根据所获取的受试者ID或受试者ID和检查日期信息，来检索内窥镜图像DB631，并获取根据该受试者ID等提取出的内窥镜图像以及虚拟内窥镜图像。
在通过受试者ID等提取出的内窥镜图像为多个的情况下，与该内窥镜图像中的每一个相对应的虚拟内窥镜图像(与内窥镜图像登记在同一记录中的虚拟内窥镜图像)也有多个。控制部62也可以获取这些多个内窥镜图像以及虚拟内窥镜图像以作为多个数据集(内窥镜图像以及虚拟内窥镜图像)。单个数据集可以包括单个内窥镜图像和虚拟内窥镜图像，并且控制部62可以根据所获取的数据集的数量来执行以下处理。
信息处理装置6的控制部62通过所获取的虚拟内窥镜图像等来导出距离图像信息(S903)。控制部62导出作为与虚拟内窥镜图像中的各个像素间的距离相关的信息的距离图像信息。
信息处理装置6的控制部62通过内窥镜图像来导出特征参数(S904)。信息处理装置6的控制部62导出例如作为面积校正处理的对象的内窥镜图像的区域等特征参数。
信息处理装置6的控制部62根据距离图像信息，来生成校正特征参数后的内窥镜图像(S905)。信息处理装置6的控制部62根据距离图像信息，例如校正与特征参数相对应的区域的面积，并生成校正该特征参数后的内窥镜图像。
信息处理装置6的控制部62将校正特征参数后的内窥镜图像输入到学习模型9中(S906)。输入到学习模型9中的信息除了校正特征参数后的内窥镜图像之外，也可以包括与特征参数相对应的三维医学图像的像素所附带的有效质量数(effective-Z)以及人体组成。特征参数与内窥镜图像的区域、即包含在内窥镜图像中的体内部位或像素相对应，该体内部位或像素根据通过虚拟内窥镜图像生成的距离图像信息，与三维医学图像的坐标和像素相对应。如上所述，由于三维医学图像的像素中附带有有效质量数(effective-Z)、人体组成、或者两者的信息，因此控制部62根据校正特征参数后的内窥镜图像，获取在三维医学图像中附带的有效质量数(effective-Z)以及人体组成。
通过输入校正特征参数后的内窥镜图像、有效质量数(effective-Z)以及人体组成，学习模型9以输出与包含在该内窥镜图像中的病变相关的诊断支持信息的方式进行学习。可以通过将校正特征参数后的内窥镜图像、有效质量数(effective-Z)以及人体组成输入到以这种方式进行学习的学习模型9中，来获取精度更高的诊断支持信息。
信息处理装置6的控制部62获取从学习模型9输出的诊断支持信息(S907)。信息处理装置6的控制部62将所获取的诊断支持信息与内窥镜图像相关联地输出(S908)。控制部62也可以将所获取的诊断支持信息、与内窥镜图像、三维医学图像、虚拟内窥镜图像以及视点位置等内窥镜图像相关的信息输出到显示部7中并进行显示。此外，控制部62还可以使所获取的诊断支持信息与内窥镜图像相关联，并登记在内窥镜图像DB631中。
在本实施方式中，将包括学习模型9在内的一系列处理中的各功能部分为内窥镜用处理器120的控制部121的功能部和信息处理装置6的控制部62的功能部并分别进行了说明，但这些功能部的分担只是一例，并不限定于此。与实施方式5同样地，内窥镜用处理器120的控制部121也可以作为由信息处理装置6的控制部62执行的所有功能部而发挥作用。或者，内窥镜用处理器120的控制部121和信息处理装置6的控制部62例如也可以通过执行进程间通信来进行协作，并作为一系列处理中的各功能部而发挥作用。
根据本实施方式，使用已经登记在内窥镜图像DB631中的内窥镜图像以及虚拟内窥镜图像来校正该内窥镜图像，并连续地进行用于将校正后的内窥镜图像输入到学习模型9中的一系列处理，因此能够有效地获取通过该学习模型9输出的包括病变的有无等在内的诊断支持信息。由于将通过学习模型9输出的包括病变的有无等在内的诊断支持信息登记在作为该诊断支持信息的对象的内窥镜图像DB631中，因此能够有效地再利用通过学习模型9输出的诊断支持信息。
根据本公开，可以通过组合使用内窥镜图像和虚拟内窥镜图像，来获得精度极高的诊断支持信息。根据本公开，可以有效地将通过图像特征参数(特征量)而获得的诊断支持信息活用于诊断中，该图像特征参数(特征量)对通过与内窥镜图像匹配的虚拟内窥镜图像获得的距离图像和内窥镜图像进行了组合。根据本公开，可以提供有效地使内窥镜图像与三维医学图像相关联的程序等。
应该理解的是，本次公开的实施方式在所有方面均为例示性的，而非限制性的。可以相互组合各个实施例中所记载的技术特征，并且旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明范围内。
符号说明
1 内窥镜
11 摄像元件
12 治疗工具插入通道
13 操作部
14 连接器
15 柔性管
15a 箭头
151 内窥镜外表面
152 内窥镜内表面
153 柔性体
16 光学传感器
17 光学传感器线缆
2 内窥镜用处理器(处理器)
20 传感器信号输入部
21 控制部
22 存储部
23 操作输入部
24 输出部
25 光源控制部
26 通信部
27 光源
28 读取部
29 大容量存储部
291 诊断支持信息DB
292 图像识别模型
2a 便携式存储介质
2b 半导体存储器
2P 控制程序
3 显示装置
4 信息处理装置(服务器)
41 控制部
42 存储部
43 通信部
44 输入部
45 显示部
46 读取部
47 大容量存储部
471 医学图像DB
4a 便携式存储介质
4b 半导体存储器
4P 控制程序
20a 内窥镜图像获取部
20b 虚拟内窥镜图像获取部
20c 虚拟内窥镜图像重建部
20d 诊断支持信息输出部
20e 距离图像重建部
20f 第1校正部
20g 第2校正部
20h 弯曲历史信息获取部
20i Z坐标校正部
20j Z坐标获取部
S 诊断支持系统
110 内窥镜装置
115 键盘
116 收容架
120 内窥镜用处理器
121 控制部
1211 图像处理部
122 主存储装置
123 辅助存储装置
124 通信部
125 触摸面板
126 显示装置I/F
127 输入装置I/F
128 读取部
131 内窥镜用连接器
1311 电连接器
1312 光学连接器
133 光源
134 泵
135 供水箱
136 供气供水口
140 内窥镜
143 操作部
1431 控制按钮
1433 弯曲旋钮
144 插入部(柔性管)
1441 柔性部
1442 弯曲部
1443 前端部
1444 摄像部
1445 摄像元件
1446 摄影用光源
145 止弯部
148 观测器用连接器
149 通用软线
50 显示装置
6 信息处理装置
61 通信部
62 控制部
621 获取部
622 视点位置导出部
623 虚拟内窥镜图像生成部
624 匹配度判断部
625 DB登记部
626 距离图像信息导出部
627 特征参数导出部
628 特征参数校正部
629 输出部
63 存储部
631 内窥镜图像DB
632 记录介质
P 程序
64 输入输出I/F
7 显示部
70 内窥镜图像选择画面
71 集成图像显示画面
711 视点位置字段
712 视点方向字段
713 缩略图显示字段
714 显示选项字段
715 显示模式切换字段
8 输入部
9 学习模型

Claims (21)

1.一种内窥镜用处理器，其具备：
内窥镜图像获取部，其通过内窥镜获取患者的内窥镜图像；
虚拟内窥镜图像获取部，其获取根据预先拍摄了所述患者的三维医学图像来重建的虚拟内窥镜图像；
虚拟内窥镜图像重建部，其根据所述虚拟内窥镜图像获取部所获取的虚拟内窥镜图像与所述内窥镜图像获取部所获取的所述内窥镜图像之间的匹配度，来重建与所述内窥镜图像最为匹配的校正后的虚拟内窥镜图像；以及
诊断支持信息输出部，其通过将内窥镜图像的各个像素与通过所述虚拟内窥镜图像重建部所重建的所述校正后的虚拟内窥镜图像来获得的距离图像相对应，并根据与此相应地对所述内窥镜图像获取部所获取的内窥镜图像执行校正后的特征参数来输出诊断支持信息。
2.根据权利要求1所述的内窥镜用处理器，其具备：
Z坐标获取部，其测量插入患者体内的内窥镜的插入距离；
弯曲历史信息获取部，其获取所述内窥镜的弯曲历史信息；以及
Z坐标校正部，其根据所述弯曲历史信息获取部所获取的的弯曲历史信息，来校正作为所述内窥镜的插入距离的Z坐标、虚拟内窥镜的视点方向和视点位置。
3.根据权利要求1或2所述的内窥镜用处理器，其具备：
距离图像重建部，其根据所述虚拟内窥镜图像来重建距离图像；以及
第1校正部，其根据所述距离图像重建部所求出的距离图像，并根据通过所述距离图像获得对应内窥镜图像的各个像素的像素值的距离，来校正各区域的像素。
4.根据权利要求3所述的内窥镜用处理器，其具备：
第2校正部，其根据所述距离图像重建部所求出的距离图像，来校正对应的内窥镜图像的各个像素区域的特征参数。
5.根据权利要求4所述的内窥镜用处理器，其特征在于：
所述诊断支持信息输出部根据所述第1校正部或所述第2校正部校正后的内窥镜图像，来输出包括肿瘤候选在内的诊断支持信息。
6.根据权利要求4或5所述的内窥镜用处理器，其特征在于：
所述诊断支持信息输出部使用在输入所述第1校正部或所述第2校正部校正后的内窥镜图像的情况下输出识别结果的已学习的图像识别模型，来输出所述识别结果。
7.一种程序，其通过计算机执行以下处理：
通过内窥镜获取患者的内窥镜图像；
获取根据预先拍摄了所述患者的三维医学图像来重建的虚拟内窥镜图像；
根据所获取的所述虚拟内窥镜图像与所述内窥镜图像之间的匹配度，来重建与所述内窥镜图像最为匹配的校正后的虚拟内窥镜图像；
通过将内窥镜图像的各个像素与通过重建的所述校正后的虚拟内窥镜图像来获得的距离图像相对应，并根据与此相应地对获取的所述内窥镜图像执行校正后的特征参数来输出诊断支持信息。
8.一种信息处理方法，其包括以下步骤：
通过内窥镜获取患者的内窥镜图像；
获取根据预先拍摄了所述患者的三维医学图像来重建的虚拟内窥镜图像；
根据所获取的所述虚拟内窥镜图像与所述内窥镜图像之间的匹配度，来重建与所述内窥镜图像最为匹配的校正后的虚拟内窥镜图像；
通过将内窥镜图像的各个像素与通过重建的所述校正后的虚拟内窥镜图像来获得的距离图像相对应，并根据与此对应的虚拟内窥镜图像相应地对获取的所述内窥镜图像执行校正后的特征参数来输出诊断支持信息。
9.一种程序，其通过计算机执行以下处理：
获取通过使用内窥镜对受试者进行拍摄的内窥镜图像；
获取通过使用X射线CT、X射线锥形束CT和MRI-CT中的至少1个对所述受试者的体内进行拍摄的三维医学图像；
导出通过所述内窥镜图像和所述三维医学图像来确定的所述三维医学图像在坐标系中的位置信息；
以及根据导出的所述位置信息，将所述内窥镜图像和所述三维医学图像相关联地进行保存。
10.根据权利要求9所述的程序，其中，
所述位置信息的导出包括以下处理：
生成通过所述三维医学图像重建的虚拟内窥镜图像；
导出所生成的所述虚拟内窥镜图像与所述内窥镜图像之间的匹配度；
根据所述匹配度为预定值以上的虚拟内窥镜图像来导出所述位置信息。
11.根据权利要求10所述的程序，其中，
所述匹配度的导出执行以下处理：
在输入所述虚拟内窥镜图像和所述内窥镜图像的情况下，使用以输出所述匹配度的方式进行学习的匹配度学习模型；
将所述虚拟内窥镜图像和所述内窥镜图像输入到所述匹配度学习模型中；
获取所述匹配度学习模型所输出的所述虚拟内窥镜图像与所述内窥镜图像之间的匹配度。
12.根据权利要求11所述的程序，其中：
所述匹配度学习模型由DCNN构成。
13.根据权利要求9或12所述的程序，其包括以下处理：
获取在拍摄所述内窥镜图像的时间点与插入所述受试者体内的所述内窥镜的插入距离相关的信息；
所述位置信息的导出根据与所述插入距离相关的信息，来导出所述三维医学图像在坐标系中的位置信息。
14.根据权利要求13所述的程序，其包括以下处理：
获取与插入所述受试者体内的所述内窥镜的弯曲历史相关的信息；
所述位置信息的导出根据与所述弯曲历史相关的信息和与所述插入距离相关的信息，来导出所述三维医学图像在坐标系中的位置信息。
15.根据权利要求14所述的程序，其包括以下处理：
获取与所述内窥镜的形状相关的信息；
所述位置信息的导出根据所述内窥镜的形状相关的信息、与所述弯曲历史相关的信息和与所述插入距离相关的信息，来导出所述三维医学图像在坐标系中的位置信息。
16.根据权利要求9至15中任意一项所述的程序，其中：
所述位置信息包括所述内窥镜图像的拍摄时间点的与所述内窥镜的位置和方向相关的信息。
17.根据权利要求9至16中任意一项所述的程序，其中：
所述内窥镜具备多个摄像元件，
所述内窥镜图像包括通过所述多个摄像元件拍摄的多个内窥镜图像，
将所述多个内窥镜图像中的每一个与所述三维医学图像相关联地保存。
18.一种程序，其通过计算机执行以下处理：
根据由内窥镜图像和三维医学图像确定的所述三维医学图像在坐标系中的位置信息，参照将所述内窥镜图像和所述三维医学图像相关联地保存的预定存储区域，来获取任意一个三维医学图像；
显示所述任意一个三维医学图像；
接收用于在显示的所述任意一个三维医学图像中选择预定部位的选择处理；
根据接收到的所述选择处理，来导出所述任意一个三维医学图像在坐标系中的位置信息；
显示与导出的所述位置信息相对应的内窥镜图像。
19.一种程序，其通过计算机执行以下处理：
根据由内窥镜图像和三维医学图像确定的所述三维医学图像在坐标系中的位置信息，参照将所述内窥镜图像和所述三维医学图像相关联地保存的预定存储区域，来获取任意一个内窥镜图像；
获取对与所述任意一个内窥镜图像相关联的三维医学图像进行投影的虚拟内窥镜图像；
通过从所述虚拟内窥镜图像导出的距离图像信息来校正所述任意一个内窥镜图像；
将所述校正后的内窥镜图像输入到学习模型中，其中，该学习模型以输出与包含在所述任意一个内窥镜图像中的病变相关的诊断支持信息的方式进行学习；
将所获取的诊断支持信息与所述任意一个内窥镜图像相关联地输出。
20.一种信息处理方法，其通过计算机执行以下处理：
获取通过使用内窥镜对受试者进行拍摄的内窥镜图像；
获取通过使用X射线CT、X射线锥形束CT和MRI-CT中的至少1个对所述受试者的体内进行拍摄的三维医学图像；
导出通过所述内窥镜图像和所述三维医学图像来确定的所述三维医学图像在坐标系中的位置信息；
以及根据导出的所述位置信息，将所述内窥镜图像和所述三维医学图像相关联地进行保存。
21.一种信息处理装置，其具备：
获取部，其获取通过使用内窥镜对受试者进行拍摄内窥镜图像、以及通过使用X射线CT、X射线锥形束CT和MRI-CT中的至少1个对所述受试者的体内进行拍摄的三维医学图像，并获取三维医学图像；
导出部，其导出通过所述内窥镜图像和所述三维医学图像来确定的所述三维医学图像在坐标系中的位置信息；
以及保存部，其根据导出的所述位置信息，将所述内窥镜图像和所述三维医学图像相关联地进行保存。
CN202080019466.XA 2019-09-20 2020-09-16 内窥镜用处理器、程序、信息处理方法和信息处理装置 Active CN113544743B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019-171874 2019-09-20
JP2019171874 2019-09-20
JP2019-222349 2019-12-09
JP2019222349 2019-12-09
PCT/JP2020/035079 WO2021054360A1 (ja) 2019-09-20 2020-09-16 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置

Publications (2)

Publication Number Publication Date
CN113544743A true CN113544743A (zh) 2021-10-22
CN113544743B CN113544743B (zh) 2024-03-12

Family

ID=74884277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080019466.XA Active CN113544743B (zh) 2019-09-20 2020-09-16 内窥镜用处理器、程序、信息处理方法和信息处理装置

Country Status (5)

Country Link
US (1) US20220198742A1 (zh)
JP (2) JP7096445B2 (zh)
CN (1) CN113544743B (zh)
DE (1) DE112020004438T5 (zh)
WO (1) WO2021054360A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782470A (zh) * 2022-06-22 2022-07-22 浙江鸿禾医疗科技有限责任公司 消化道的三维全景识别定位方法、存储介质和设备
CN118039087A (zh) * 2024-04-15 2024-05-14 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种基于多维度信息的乳腺癌预后数据处理方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021164490A (ja) * 2018-04-10 2021-10-14 オリンパス株式会社 医療システム
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
CN113544743B (zh) * 2019-09-20 2024-03-12 Hoya株式会社 内窥镜用处理器、程序、信息处理方法和信息处理装置
US20220151708A1 (en) * 2020-11-18 2022-05-19 The Board Of Regents Of The University Of Oklahoma Endoscopic Guidance Using Neural Networks
JP2022175037A (ja) * 2021-05-12 2022-11-25 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム
JPWO2022269736A1 (zh) * 2021-06-22 2022-12-29
JP2023060702A (ja) 2021-10-18 2023-04-28 Hoya株式会社 プログラム、情報処理方法、情報処理装置及び診断支援システム
WO2023242891A1 (ja) * 2022-06-13 2023-12-21 日本電気株式会社 オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム
WO2023248573A1 (ja) * 2022-06-24 2023-12-28 富士フイルム株式会社 表示制御装置、表示制御方法、及び表示制御プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148983A (ja) * 1998-11-13 2000-05-30 Toshiba Iyo System Engineering Kk 仮想化内視鏡装置
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2011000173A (ja) * 2009-06-16 2011-01-06 Toshiba Corp 内視鏡検査支援システム
JP4728456B1 (ja) * 2010-02-22 2011-07-20 オリンパスメディカルシステムズ株式会社 医療機器
CN102740755A (zh) * 2010-02-22 2012-10-17 奥林巴斯医疗株式会社 医疗设备
CN102821670A (zh) * 2010-03-31 2012-12-12 富士胶片株式会社 内窥镜观察辅助系统、方法、装置和程序
CN103327900A (zh) * 2011-06-01 2013-09-25 株式会社东芝 医用图像显示装置以及医用图像诊断装置
JP2016039874A (ja) * 2014-08-13 2016-03-24 富士フイルム株式会社 内視鏡画像診断支援装置、システム、方法およびプログラム
WO2019130868A1 (ja) * 2017-12-25 2019-07-04 富士フイルム株式会社 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
CN110123449A (zh) * 2018-02-08 2019-08-16 柯惠有限合伙公司 使用标准荧光镜进行局部三维体积重建的系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238887A (ja) 2001-02-19 2002-08-27 National Cancer Center-Japan 仮想内視鏡
US20050152588A1 (en) * 2003-10-28 2005-07-14 University Of Chicago Method for virtual endoscopic visualization of the colon by shape-scale signatures, centerlining, and computerized detection of masses
DE102004008164B3 (de) * 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US9375132B2 (en) * 2011-06-23 2016-06-28 Kabushiki Kaisha Toshiba Medical image processing apparatus and medical image diagnosis apparatus
WO2014158807A1 (en) 2013-03-12 2014-10-02 3M Innovative Properties Company Method of making polymeric multilayer films
JP7034102B2 (ja) * 2016-06-30 2022-03-11 ギブン イメージング リミテッド 対象の消化管における粘膜疾患の評価及び監視のためのシステム及び方法
CN110831487B (zh) * 2017-07-14 2022-06-10 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
JP2019037643A (ja) 2017-08-28 2019-03-14 Hoya株式会社 内視鏡挿入形状検出装置及び内視鏡システム
WO2019198637A1 (ja) * 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP7071240B2 (ja) * 2018-07-26 2022-05-18 富士フイルム株式会社 検査支援装置、方法およびプログラム
DE112019004880T5 (de) * 2018-09-27 2021-07-01 Hoya Corporation Elektronisches endoskopsystem
CN113544743B (zh) * 2019-09-20 2024-03-12 Hoya株式会社 内窥镜用处理器、程序、信息处理方法和信息处理装置
JP2023003728A (ja) * 2021-06-24 2023-01-17 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148983A (ja) * 1998-11-13 2000-05-30 Toshiba Iyo System Engineering Kk 仮想化内視鏡装置
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2011000173A (ja) * 2009-06-16 2011-01-06 Toshiba Corp 内視鏡検査支援システム
JP4728456B1 (ja) * 2010-02-22 2011-07-20 オリンパスメディカルシステムズ株式会社 医療機器
CN102740755A (zh) * 2010-02-22 2012-10-17 奥林巴斯医疗株式会社 医疗设备
CN102821670A (zh) * 2010-03-31 2012-12-12 富士胶片株式会社 内窥镜观察辅助系统、方法、装置和程序
CN103327900A (zh) * 2011-06-01 2013-09-25 株式会社东芝 医用图像显示装置以及医用图像诊断装置
JP2016039874A (ja) * 2014-08-13 2016-03-24 富士フイルム株式会社 内視鏡画像診断支援装置、システム、方法およびプログラム
WO2019130868A1 (ja) * 2017-12-25 2019-07-04 富士フイルム株式会社 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
CN110123449A (zh) * 2018-02-08 2019-08-16 柯惠有限合伙公司 使用标准荧光镜进行局部三维体积重建的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782470A (zh) * 2022-06-22 2022-07-22 浙江鸿禾医疗科技有限责任公司 消化道的三维全景识别定位方法、存储介质和设备
CN118039087A (zh) * 2024-04-15 2024-05-14 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种基于多维度信息的乳腺癌预后数据处理方法及系统

Also Published As

Publication number Publication date
JP2022105685A (ja) 2022-07-14
JPWO2021054360A1 (ja) 2021-12-23
WO2021054360A1 (ja) 2021-03-25
CN113544743B (zh) 2024-03-12
JP7096445B2 (ja) 2022-07-05
DE112020004438T5 (de) 2022-06-23
JP7313512B2 (ja) 2023-07-24
US20220198742A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
CN113544743B (zh) 内窥镜用处理器、程序、信息处理方法和信息处理装置
US9445713B2 (en) Apparatuses and methods for mobile imaging and analysis
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
JP7254742B2 (ja) プログラム、情報処理方法、情報処理装置及び診断支援システム
US8854444B2 (en) Information processing apparatus and capsule endoscope system
US20230105799A1 (en) Program, information processing method, and information processing device
JP2017534322A (ja) 膀胱の診断的マッピング方法及びシステム
US20150117729A1 (en) Polyp detection apparatus and method of operating the same
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
JP4855901B2 (ja) 内視鏡挿入形状解析システム
JP6704095B1 (ja) プログラム、情報処理方法及び情報処理装置
JP6840263B2 (ja) 内視鏡システム及びプログラム
JP7148534B2 (ja) 画像処理装置、プログラム、及び内視鏡システム
JP2021027867A (ja) ファイリング装置、ファイリング方法及びプログラム
JP7023195B2 (ja) 検査支援装置、方法およびプログラム
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2022239518A1 (ja) プログラム、情報処理方法及び内視鏡システム
WO2023148812A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP2008023266A (ja) 医療用画像処理装置及び医療用画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant