CN104883950B - 内窥镜系统 - Google Patents

内窥镜系统 Download PDF

Info

Publication number
CN104883950B
CN104883950B CN201480003398.2A CN201480003398A CN104883950B CN 104883950 B CN104883950 B CN 104883950B CN 201480003398 A CN201480003398 A CN 201480003398A CN 104883950 B CN104883950 B CN 104883950B
Authority
CN
China
Prior art keywords
image
information
bronchus
tube chamber
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480003398.2A
Other languages
English (en)
Other versions
CN104883950A (zh
Inventor
伊藤满祐
秋本俊也
大西顺
大西顺一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104883950A publication Critical patent/CN104883950A/zh
Application granted granted Critical
Publication of CN104883950B publication Critical patent/CN104883950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Otolaryngology (AREA)
  • Software Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

内窥镜系统具有：图像记录部，其记录被检体的三维图像信息；管腔脏器提取部，其从三维图像信息中提取规定的管腔脏器；假想内窥镜图像生成部，其针对提取出的规定的管腔脏器的信息，从规定的视点位置生成假想内窥镜图像；摄像部，其对规定的管腔脏器内进行摄像；位置信息取得部，其取得插入部的前端的位置信息；管腔直径变化量检测比较部，其根据插入部的前端的位置信息检测管腔直径的变化量；图像变化量检测部，其在摄像而得到的内窥镜图像内检测与规定的管腔脏器有关的特征部的变化量；以及信息记录部，其根据两个检测部的检测结果，记录包含插入部的前端的位置和对应的假想内窥镜图像的规定的信息。

Description

内窥镜系统
技术领域
本发明涉及通过摄像单元对被检体内进行摄像的内窥镜系统。
背景技术
近年来，具有能够插入到体腔内等的插入部的内窥镜广泛应用于医疗领域等中。
另一方面，在插入到体腔内的支气管这样的复杂分支的管腔脏器内对管腔脏器的末梢侧的目标部位(的患部组织)进行检查或基于处置器械的活检和处置的情况下，仅利用插入时得到的内窥镜图像有时很难将插入部前端导入到目标部位附近。
因此，提出了用于支援将内窥镜的插入部前端导入到目标部位附近的操作的系统或装置。
例如，作为第1现有例的WO2007-129493号公报的医疗图像观察支援装置公开了具有CT图像数据取入部、CT图像数据存储部、信息提取部、解剖学的信息数据库、视点位置/视线方向设定部、管腔脏器图像生成部、解剖学的名称信息产生部、分支指定部、图像合成显示部和用户I/F控制部的结构。视点位置/视线方向设定部根据信息提取部提取出的管腔脏器的构造信息，设定将视点锁定在管腔脏器的大致中心轴上来观察管腔脏器的外观的视点位置和视线方向。
并且，作为第2现有例的日本特开2009-279250号公报的医疗装置具有：假想内窥镜图像生成单元，其根据预先取得的支气管的三维图像数据，生成从多个不同视线位置的假想内窥镜图像；图像检索单元，其检索与真实图像的相似度较高的假想内窥镜图像；基准点设定单元，其根据相似度较高的假想内窥镜图像的视线的位置设定基准点；相对位置计算单元，其计算处置器械相对于基准点的相对位置；移动检测单元，其检测基准点或支气管的移动；以及位置校正单元，其根据基准点或支气管的移动，对相对位置进行校正。
在估计内窥镜的插入部前端的位置的情况下，通过比较由内窥镜的摄像单元进行摄像而得到的内窥镜图像(实际图像)和根据基于CT的管腔脏器的三维数据而生成的假想内窥镜图像(假想图像)来进行估计。因此，最初进行基于两个图像的比较的位置对齐。
然后，在位置的估计精度降低的情况下，需要进行用于设定为能够确保规定的精度的状态的再次位置对齐，但是，由于没有以适于进行再次位置对齐的条件记录信息，所以，上述现有例存在花费时间的缺点。
更具体进行说明时，例如第1现有例公开了在三维图像上对内窥镜前端位置进行坐标转换并对与芯线之间的距离进行比较的观点、以及对分支部的实际图像(内窥镜图像)和假想图像(假想内窥镜图像)进行比较的观点，还公开了记录分支部的特征信息等。
但是，根据所记录的信息进行再次位置对齐时进行图像比较来进行位置对齐以使得两个图像尽可能一致，但是，相对于内窥镜前端位置的变化的内窥镜图像或假想内窥镜图像的变化量不确定，很难得知以何种程度使两个图像对齐比较好，所以，进行再次位置对齐花费时间。
为了容易进行位置对齐，具有所记录的信息相对于支气管内的内窥镜前端位置的变化而容易变化的特征，优选设定为容易在视觉上进行位置对齐。
但是，在上述现有例中，如上所述，由于没有设定为容易在视觉上进行位置对齐，所以，很难得知以何种程度使两个图像对齐比较好，因此，进行再次位置对齐花费时间。
并且，支气管以如下方式变化：随着从支气管的入口附近到作为其深部侧的末端(末梢)侧，在分支部进行分支，管腔直径逐渐变细。因此，当在记录再次位置对齐用的信息的条件中利用支气管径的变化的检测结果时，认为容易更加有效地进行再次位置对齐。
本发明是鉴于上述情况而完成的，其目的在于，提供记录容易在短时间内进行再次位置对齐的信息的内窥镜系统。
发明内容
用于解决课题的手段
本发明的一个方式的内窥镜系统具有：图像记录部，其记录预先取得的被检体中的三维图像信息；管腔脏器提取部，其从所述三维图像信息中提取规定的管腔脏器；假想内窥镜图像生成部，其针对由所述管腔脏器提取部提取出的所述规定的管腔脏器的信息，生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像；摄像部，其设置在内窥镜内，对所述规定的管腔脏器内进行摄像；位置信息取得部，其取得所述内窥镜的插入部的前端的位置信息；管腔直径变化量检测比较部，其根据所述内窥镜的插入部的前端的位置信息检测所述规定的管腔脏器的管腔直径的变化量；图像变化量检测部，其在由所述摄像部摄像而得到的内窥镜图像内检测与所述规定的管腔脏器有关的特征部的变化量；以及信息记录部，其根据所述管腔直径变化量检测部的检测结果和所述图像变化量检测部的检测结果，记录包含所述内窥镜的插入部的前端的位置和与该前端的位置对应的所述假想内窥镜图像的规定信息。
附图说明
图1是示出本发明的第1实施方式的内窥镜系统的整体结构的图。
图2A是示出支气管的一部分和支气管形状图像的图。
图2B是示出插入到支气管内并对支气管径进行经时计算的状况的图。
图2C是示出计算支气管径的位置和计算出的支气管径的大小的图。
图2D是示出在指示了进行再次位置对齐的情况下在监视器中显示的候选信息的图。
图3A是示出具有进行立体计测的立体内窥镜的内窥镜装置的结构的图。
图3B是示出进行立体计测的计测对象的位置在左右摄像元件的摄像面上成像的关系的说明图。
图3C是示出在监视器画面中显示使用立体内窥镜对支气管内进行摄像而得到的图像的一例的图。
图3D是用于根据图3C的图像计算支气管径的说明图。
图3E是用于通过使用了单一摄像装置的立体计测来计算支气管径的说明图。
图4是示出第1实施方式中的处理内容的一例的流程图。
图5是取得支气管径的情况的说明图。
图6是利用与图5不同的方法取得支气管径的情况的说明图。
图7是取得支气管径的位置的说明图。
图8是利用与图7不同的设定来取得支气管径的位置的说明图。
图9是取得支气管径的情况的说明图。
图10是利用与图9不同的方法取得支气管径的情况的说明图。
图11是检测到内窥镜图像中的暗部的面积的变化的情况的说明图。
图12是检测到内窥镜图像中的分支的形状的变化的情况的说明图。
图13是检测到内窥镜图像中的支线的长度的变化的情况的说明图。
图14是检测到内窥镜图像中的支线的角度的变化的情况的说明图。
图15是检测到内窥镜图像的针对视野不良的变化的情况的说明图。
图16是检测到内窥镜图像中的支气管的分支以外的变化的情况的说明图。
图17是检测到内窥镜图像中的特征部的抖动的变化的情况的说明图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
(第1实施方式)
如图1所示，本发明的第1实施方式的内窥镜系统1主要由以下部分构成：内窥镜装置4A，其具有插入到作为检查对象的被检体即患者中的作为规定的管腔脏器的支气管2(图2A)内的内窥镜3A；以及插入支援装置5，其与该内窥镜装置4A一起使用，用于进行内窥镜3A的插入支援。
内窥镜装置4A具有内窥镜3A、对该内窥镜3A供给照明光的光源装置6、对搭载于内窥镜3A中的构成摄像单元的摄像元件7进行信号处理的作为信号处理装置的照相机控制单元(简记为CCU)8A、以及显示由CCU 8A生成的内窥镜图像的监视器9A。
内窥镜3A具备具有挠性的细长的插入部(或内窥镜插入部)11以及设置在该插入部11的后端的操作部12，在插入部11的前端部13设有照明窗和观察窗。在插入部11、操作部12内贯穿插入有传递照明光的光导14，该光导14的入射端与光源装置6连接，由光源装置6内的未图示的光源灯或LED产生的照明光入射到入射端。由该光导14传递的照明光从安装在照明窗上的出射端(前端面)向前方出射。
并且，在观察窗上安装有形成用于对被摄体进行成像的物镜光学系统的物镜15，在其成像位置配置有CCD等摄像元件7，通过物镜15和摄像元件7形成作为摄像单元的摄像装置16，该摄像装置16对作为供插入部11插入的规定的管腔脏器的支气管2内进行摄像。
摄像元件7经由贯穿插入到插入部11、操作部12内的信号线而与CCU 8A连接。CCU8A通过其内部的未图示的图像信号生成电路生成与摄像元件7的摄像面上形成的光学像对应的摄像图像的图像信号，将该图像信号输出到监视器9A。监视器9A显示图像信号的图像(动态图像)作为内窥镜图像(也称为摄像图像)。
在内窥镜3A的插入部11中，在前端部13的后端设有弯曲自如的弯曲部19，手术医生通过进行使设置在操作部12上的弯曲操作旋钮20例如旋转的操作，能够使弯曲部19向上下左右的任意方向弯曲。另外，弯曲操作旋钮20具有用于向上下方向弯曲的上下方向用弯曲操作旋钮、以及用于向左右方向弯曲的左右方向用弯曲操作旋钮。
也可以代替图1所示的内窥镜装置4A而采用图3A所示的内窥镜装置4B。
内窥镜装置4B具有能够进行立体计测的立体内窥镜3B、光源装置6、对设置在立体内窥镜3B中的两个摄像元件7a、7b进行信号处理的CCU 8B、以及显示由CCU 8B生成的立体图像信号的立体显示用监视器9B。
在立体内窥镜3B的插入部11的前端部13，在左右方向上分开规定的间隔配置有左右物镜15a、15b，在各自的成像位置配置有左右摄像元件7a、7b，构成具有左右摄像装置16a、16b的立体摄像装置16′。另外，左右物镜15a、15b和左右摄像装置16a、16b分别使用特性一致的部件。
并且，在插入部11内贯穿插入有传送来自光源装置6的照明光的光导14。光导14的前端安装在前端部13的照明窗上，从照明窗出射所传达的照明光，对体腔内的患部等被摄体进行照明。
对被照明的被摄体进行摄像的左右摄像元件7a、7b将光电转换后的摄像信号输入到CCU 8B内的摄像控制部18a、18b，摄像控制部18a、18b生成左右图像信号并将其输出到立体图像信号生成部18c。
立体图像信号生成部18c根据左右图像信号生成立体显示用的图像信号，并将其输出到立体显示用监视器9B。然后，立体显示用监视器9B显示立体显示用的图像信号，手术医生等用户能够通过立体显示用的图像信号的显示对被摄体进行立体观察。
并且，由摄像控制部18a、18b生成的左右图像信号被输入到计测运算部18d，使用左右图像信号，通过利用了三角测量原理的立体计测，能够计测进行摄像而得到的图像上的2点间的距离等。如后所述，例如能够计测支气管径Den。另外，由计测运算部18d计算出的支气管径Den等信息被输出到图像处理部25。并且，由摄像控制部18a(或18b)生成的影像信号也输出到图像处理部25。
接着，使用图3B对基于立体计测的计测对象的点(位置)的三维坐标的求解方法进行说明。使用左右物镜15a、15b，针对摄像元件7a、7b的摄像面的图像，通过三角测量的方法，利用以下的(1)式～(3)式计算计测点60的三维坐标(X、Y、Z)。其中，设实施了失真校正的左右图像上的计测点61、62的二维坐标分别为(XL、YL)、(XR、YR)，设左右物镜15a、15b的光学中心63、64之间的距离为D，设焦距为F，设t＝D/(XL-XR)。于是，以下的关系式成立。
X＝t×XR+D/2…(1)
Y＝t×YR…(2)
Z＝t×F…(3)
如上所述，当决定针对计测点60的图像上的二维坐标的计测点61、62后，使用作为参数的距离D和焦距F求出计测点60的三维坐标。
通过求出几个点的三维坐标，能够进行这几个点中的2点间的距离、连接2点的线与1点的距离、面积、深度、表面形状等各种计测。并且，还能够求出从左物镜15a的光学中心63或右物镜15b的光学中心64到被摄体的距离(物体距离)。为了进行上述立体计测，使用表示内窥镜3B的前端部13和物镜15a、15b的特性的光学数据。另外，在图3B中，利用PL表示包含2个摄像面的面，并且，利用OL、OR表示(图3B中未显示的物镜15a、15b的光轴上的)右摄像面的中心。
作为根据立体图像运算三维坐标的方法，存在日本特开2011-027911号公报所示的方法等。
在本实施方式中，在根据后述内窥镜图像计测支气管径Den的情况下，通过指定图3B的摄像面上的与支气管径的一个计测点60对应的图像上的计测点61和62以及与另一个计测点对应的点来计算支气管径Den。
使用图3C和图3D对该方法进行说明。示出在监视器9B的显示画面71中显示内窥镜图像中的支气管72以及作为该支气管72的末梢侧的下一个支气管分支部73的状况。相对于该画面71的范围，利用网格74所示的块进行划分，提取各块内的平均亮度为规定值以下的区。图3D中标注斜线示出这样提取出的检测块75。
然后，通过将检测块75的直径最大的部分设为计测对象的支气管径，来设定计测点60a和计测点60b。一般情况下，在利用内窥镜观察管腔脏器时，越靠里侧成为越暗的图像，所以，能够利用上述那样进行说明的方法来设定计测点。在指定计测点60a、60b的情况下，也可以在该计测点60a、60b之间最大的方向上进行指定。
在构成立体图像的左画面和右画面双方中实施上述运算，在左画面和右画面中分别求出与计测点60a和计测点60b相当的点。然后，当将与左画面的计测点60a相当的点作为图3B的计测点61、将与右画面的计测点60a相当的点作为计测点62进行运算时，能够求出计测点60的位置。通过对与计测点60b相当的左画面和右画面进行同样的运算，能够得到与支气管径两端的计测点60相当的三维坐标，所以，能够根据这2点间的距离来计算支气管径Den。
每当更新内窥镜图像时进行以上的动作，由此，能够根据内窥镜图像来监视支气管径Den的变化。
并且，也可以代替使用图3A所示的具备具有成对的左右摄像装置16a、16b的立体摄像装置16′的立体内窥镜3B，而使用图1的具有单眼(单一)摄像装置16的内窥镜3A，如下所述进行立体计测。
如图3E所示，在将内窥镜3A插入到支气管2内的情况下，手术医生也可以使插入部11的前端侧的弯曲部19左右弯曲，设定为与图3B的利用左右摄像装置进行摄像的状态大致等效的状态，通过立体计测来计算支气管径。
例如，在不使弯曲部19弯曲的状态下，将插入部11的前端设定在支气管2的中心线附近，手术医生使弯曲部19例如向左侧弯曲，使插入部11的前端与支气管2的左侧内壁接触，设定为与图3B的利用左摄像装置16a进行摄像的状态相当的第1摄像位置16a′。分别利用15a′、7a′示出第1摄像位置16a′处的物镜15和摄像元件7。
在该第1摄像位置16a′处进行了摄像后，手术医生使弯曲部19向右侧弯曲，如图3E中双点划线所示那样使前端与支气管2的右侧内壁接触，设定为与图3B中的利用右摄像装置16b进行摄像的状态相当的第2摄像位置16b′。分别利用15b′、7b′示出第2摄像位置16b′处的物镜15和摄像元件7。在该第2摄像位置16b′处进行摄像。
预先调查通过弯曲操作旋钮20的操作而使弯曲部19分别向左右弯曲的情况下的前端部13的方向的移动量、摄像装置16的物镜15的焦距、摄像元件7的左右和垂直方向的像素数、像素的间距等信息，将其存储在信息记录部27等中。
在这种情况下，能够根据弯曲部19的弯曲角(或弯曲操作旋钮20的操作量)等计算与图3B的左右光学中心63、64对应的图3E中的光学中心63′、64′和与左右光学中心间的距离D对应的距离D′。并且，能够根据针对与图3B的计测点60的情况对应的计测点60′的摄像元件7a′、7b′上的计测点61′、62′的信息，计算计测点60′的三维位置。并且，通过指定支气管径的一个位置和另一个位置这2点作为计测点60′，能够计算支气管径。这样，使用图1的内窥镜3A，也可以计算支气管径。另外，虽然利用向左右方向弯曲的情况进行了说明，但是，在向其他方向弯曲的情况下，也同样能够计算沿着该其他方向的支气管径。
如图1所示，上述插入支援装置5具有：CT数据取入部21，其针对由内窥镜3A或3B进行检查的患者，经由DVD、蓝光光盘、闪存等移动型存储介质取入由公知的CT(ComputedTomography：计算机断层扫描)生成的患者的作为三维图像信息的CT数据；以及作为图像记录单元的CT图像数据记录部22，其记录由该CT数据取入部21取入的CT数据。
另外，CT图像数据记录部22也可以经由通信线路、因特网等存储由CT生成的(作为被检体的患者的作为三维图像信息的)CT数据。该CT图像数据记录部22可以由硬盘装置、闪存、DVD等构成。
并且，构成图像记录单元的CT图像数据记录部22具有对应图像信息记录部22a，该对应图像信息记录部22a记录将从CT数据中分离出的CT图像数据和从CT数据中分离出位置信息而得到的三维位置数据对应起来的对应图像信息，其中，所述三维位置数据使用了与该CT图像数据对应的第1坐标系(CT坐标系)。
并且，插入支援装置5具有支气管提取部23，该支气管提取部23由从CT图像数据记录部22的CT图像数据中提取作为规定的管腔脏器的支气管2的三维图像数据的作为管腔脏器提取单元的管腔脏器提取电路等构成。
该支气管提取部23根据提取出的支气管2的三维数据(更具体而言为三维体数据)，生成表示支气管2的中空形状的三维形状的信息(形状数据)和三维形状的图像信息(图像数据)。即，支气管提取部23具有作为支气管形状图像生成单元的支气管形状图像生成部23a，该支气管形状图像生成部23a根据提取出的支气管2的三维数据生成作为中空的三维形状的支气管形状的图像的支气管形状图像2a。
并且，该支气管提取部23在提取支气管2的三维数据时，对应地提取与三维数据对应的第1坐标系(或CT坐标系)中的三维位置数据。而且，该支气管提取部23具有由存储器等构成的对应信息记录部23b，该对应信息记录部23b记录将支气管2的三维形状的数据(即支气管形状数据)和三维位置数据对应起来的对应信息。并且，对应图像信息记录部23b利用一览表等记录所指定的(三维)位置中的支气管径的数据。然后，从对应信息记录部23b中读出与所指定的位置对应的支气管径的数据，能够取得支气管径的数据。另外，也可以不使用对应信息记录部23b，而根据支气管形状数据取得支气管径。
并且，插入支援装置5具有作为假想内窥镜图像生成单元的VBS图像生成部24，该VBS图像生成部24生成与通过设置在内窥镜3A或3B中的插入部11的前端部13的摄像装置16或16a、16b的摄像而生成的内窥镜图像对应的作为假想的内窥镜图像的假想内窥镜图像(称为VBS图像)。下面，在内窥镜3A或3B中的任意一方均可的情况下，利用内窥镜3A的情况进行说明。
例如从输入装置31经由控制部26对VBS图像生成部24输入与内窥镜3A的前端部13的摄像装置16有关的包含成像系统的特性信息(物镜15的焦距、摄像元件7的像素数、像素尺寸等)。另外，也可以不经由控制部26而从输入装置31对VBS图像生成部24输入与摄像装置16有关的特性信息。
VBS图像生成部24根据实际插入到支气管2内的内窥镜3A的前端部13内所配置的摄像装置16的三维位置(也称为插入部11的前端的三维位置)的信息、利用摄像装置16对支气管2内的被摄体进行成像的特性信息、支气管形状数据，生成假想地描绘将所述三维位置(简称为位置)作为视点位置而以内窥镜的角度对支气管2内进行摄像而得到的内窥镜图像的VBS图像。另外，在相同视点位置处改变前端的轴方向(与摄像装置16的光轴方向大致一致)的情况下，VBS图像生成部24能够生成与该变化对应的VBS图像。
因此，例如当通过CT坐标系指定插入部11的前端的位置和前端的(轴)方向时，VBS图像生成部24生成与位置和方向的指定对应的VBS图像。
并且，插入支援装置5具有：图像处理部25，其利用图像匹配来进行从CCU 8A输入的内窥镜图像与VBS图像生成部24的VBS图像的位置对齐；作为控制单元的控制部26，其进行图像处理部25等的控制；以及构成信息记录单元的信息记录部27，其在控制部26的控制下，记录用于进行插入支援的VBS图像等规定的信息作为候选信息。
并且，插入支援装置5具有：MPR图像生成部28，其根据CT图像数据记录部22中记录的CT图像数据生成作为多断面重构图像的CT断层图像(称为MPR图像)；以及作为路径设定单元的路径设定部29，其生成具有MPR图像生成部28生成的MPR图像的作为插入路径设定画面的路径设定画面，设定将内窥镜3A插入到支气管2内的目标部位侧时的路径。
而且，如图2A所示，例如在根据CT图像数据指定了目标部位36的情况下，路径设定部29具有路径数据生成部29a的功能，该路径数据生成部29a根据CT图像数据和支气管形状图像2a，生成从支气管2中的(插入部11的)插入开始位置到作为目标部位36附近的目标位置的路径数据。
并且，内窥镜系统1具有针对路径设定部29输入设定信息的由键盘或指示器件等构成的输入装置31。并且，手术医生能够从该输入装置31对图像处理部25输入进行图像处理时的参数、数据，或者针对控制部26选择并指示控制动作。
并且，在手术医生进行了路径设定的情况下，路径设定部29将所设定的路径的信息送到VBS图像生成部24、MPR图像生成部28、控制部26。VBS图像生成部24和MPR图像生成部28分别生成沿着路径的VBS图像、MPR图像，控制部26沿着路径进行各部的动作的控制。
对上述图像处理部25输入由CCU 8A生成的内窥镜图像(实际图像或简称为图像)和由VBS图像生成部24生成的VBS图像。并且，由支气管形状图像生成部23a生成的支气管形状图像2a也被输入到图像处理部25。
在本实施方式中，在配置有摄像装置16的插入部11的前端部13未搭载用于检测插入部11的前端的位置的传感器，所以，通过基于图像处理部25的位置对齐处理部25a中的图像匹配来估计(或计算)插入部11的前端的三维位置(位置)。
当预先根据支气管2的入口或隆凸K(参照图2A)等支气管形状图像2a设定能够由CT坐标系确定的三维位置(已知位置)或其附近位置作为动画匹配的开始位置时，VBS图像生成部根据该位置信息生成VBS图像。图像处理部25的位置对齐处理部25a根据支气管2的入口或隆凸等支气管形状图像2a，在能够由CT坐标系(第1坐标系)确定的三维位置(已知位置)或其附近位置设定插入部11的前端，设定为能够通过CT坐标系估计(或计算)插入部11的前端的位置的状态。
然后，手术医生将插入部11的前端插入，以使得内窥镜图像看起来与VBS图像相同。通过进行这种位置对齐，图像处理部25的位置对齐处理部25a对内窥镜图像和VBS图像进行比较，开始进行使比较结果在所设定的条件(能够确保规定的精度的误差)以内一致的图像匹配。
因此，图像处理部25具有对内窥镜图像和VBS图像进行比较的作为图像比较单元的图像比较部25b，位置对齐处理部25a利用图像比较部25b的图像比较，进行基于图像匹配的位置对齐的处理。
通过进行上述的位置对齐，图像处理部25的位置对齐处理部25a成为能够通过表示CT坐标系(第1坐标系)中的位置坐标和轴方向(也称为姿势)的信息来确定(取得)插入部11的前端的位置和前端的轴方向(摄像装置16的视点方向或视线方向)的状态。
在这样进行位置对齐后，使用该位置对齐的信息，通过图像比较部25b的图像比较结果，能够取得以后的插入部11的前端的位置作为与CT坐标系(第1坐标系)中的位置对应的信息。即，图像处理部25具有通过估计来取得插入部11的前端的位置的位置估计部25c，作为取得插入部11的前端的位置(信息)的位置信息取得单元。位置估计部25c也根据图像比较部25b的图像比较结果取得插入部11的前端的位置。进一步进行说明时，在将插入部11插入到支气管2的深部侧(末梢侧)的操作中，图像处理部25根据内窥镜图像和VBS图像这两个图像的比较结果，估计通过位置对齐处理部25a进行位置对齐后的状态下的CT坐标系中的插入部11的前端移动的位置。
即，伴随着使插入部11的前端从进行了位置对齐处理的位置起大致沿着芯线35移动(以进行插入)的操作，摄像装置16移动，所以内窥镜图像变化。
该情况下，位置估计部25c使用在大致沿着芯线35的路径上移动插入部11的前端的情况下的(从VBS图像生成部24输出的)VBS图像，通过图像处理选出与当前的内窥镜图像最匹配的VBS图像，计算(估计)与所选出的VBS图像对应的三维位置作为插入部11的前端的位置。如上所述，位置估计部25c还与插入部11的前端的位置一起计算(估计)其姿势。
另外，由于插入部11的前端有时移动到从芯线35上脱离的位置，所以，VBS图像生成部24也可以生成从芯线35偏心适当距离的位置处的VBS图像，将所生成的VBS图像输出到位置对齐处理部25a。这样，能够扩大基于图像匹配的位置估计的范围。
并且，根据由位置估计部25c估计出的2个位置的差分量，计算(估计)插入部11的前端的移动量和移动的位置。并且，位置估计部25c还能够计算(估计)所估计出的一个位置与支气管2中的特征区域中的分支点(能够由CT坐标系确定的位置)这样的特定位置之间的距离。
因此，位置估计部25c具有作为距离计算单元的距离计算部的功能，该距离计算部计算由该位置估计部25c估计出的插入部11的前端的位置与作为规定的管腔脏器的支气管2内的分支的分支区域等特征区域之间的距离。如上所述，图像处理部25具有通过估计而取得插入部11的前端的位置的信息的作为位置信息取得单元的位置估计部25c的功能。该情况下，可以定义为位置对齐处理部25a包含位置估计部25c的功能的结构。
另外，在本说明书中，插入部11的前端是与内窥镜3A的前端相同的意思。
并且，图像处理部25在控制部26中的对显示进行控制的显示控制部26a等的控制下，生成作为图像显示单元的监视器32中显示的图像。
在显示控制部26a的控制下，图像处理部25通常将由支气管形状图像生成部23a生成的支气管形状图像2a的图像信号(影像信号)输出到监视器32。然后，如图1所示，在监视器32中显示支气管形状图像2a作为例如以沿着穿过管腔中心的方向的截面切出的二维断层图像。另外，不限于利用二维断层图像进行显示的情况，也可以利用三维图像进行显示。在利用三维图像进行显示的情况下，例如可以利用基于平行投影法的投影图、管腔内部可知的透视图进行显示。
并且，如图2A所示，在监视器32所显示的支气管形状图像2a中还显示穿过支气管2的管腔中心的芯线35。
另外，例如由支气管形状图像生成部23a生成芯线35，但是，也可以在图像处理部25中生成芯线35。并且，图像处理部25具有图像生成部25d的功能，该图像生成部25d生成在支气管形状图像2a上与芯线35一起重叠由位置估计部25c估计出的插入部11的前端的位置而得到的图像等。
手术医生等用户在将插入部11从其前端插入到支气管2内的情况下，在表示支气管2的三维形状的支气管形状图像2a上显示芯线35和插入部11的前端的位置，所以，通过参考该显示，容易进行插入部11的插入操作。并且，通过进行沿着芯线35插入的操作，能够在短时间内进行基于图像匹配的插入部11的前端的位置的估计。
并且，图像处理部25具有检测(作为规定的管腔脏器的支气管2的情况的)支气管径的变化量的支气管径变化量检测部25e，作为根据由位置估计部25c估计出的插入部11的前端的位置的信息来检测规定的管腔脏器的管腔直径的变化量的管腔直径变化量检测单元。
该支气管径变化量检测部25e具有从与由位置估计部25c估计出的插入部11的当前的前端的位置对应的CT坐标系中取得支气管径的作为支气管径取得单元的支气管径取得部、以及对由支气管径取得部取得的支气管径和预先设定的基准的支气管径进行比较的作为支气管径比较单元的支气管径比较部的功能。而且，支气管径取得部通过依次取得插入部11的插入操作中估计出的插入部11的前端的各位置的支气管径，检测其变化量即支气管径的变化量。
并且，支气管径比较部对依次取得的当前的支气管径和基准的支气管径进行比较。而且，在本实施方式中，将当前的支气管径小于基准的支气管径的情况设为记录包含VBS图像的规定的信息的情况的第1条件。
并且，在本实施方式中，图像处理部25具有作为图像变化量检测单元的图像变化量检测部25g，该图像变化量检测部25g检测由摄像装置16进行摄像而得到的内窥镜图像(简称为图像)内的特征部的变化量。
这样，本实施方式具有作为第1变化量检测单元的支气管径变化量检测部25e以及作为第2变化量检测单元的图像变化量检测部25g。作为第1变化量检测单元的支气管径变化量检测部25e用于是否满足第1条件的检测(判定)。
并且，作为第2变化量检测单元的图像变化量检测部25g用于是否满足内窥镜图像内的特征部的变化量是否大于设定值ΔDth的第2条件的检测。而且，在本实施方式中，在满足第1条件的状态下进而满足第2条件(满足规定的条件)的情况下，记录包含VBS图像的信息。
图像变化量检测部25g具有检测作为特征部的支气管径(支气管2的内径)的变化量的支气管径变化量检测部25h、检测分支区域中的明亮度的变化量或分支区域中的特征区域的明亮度的变化量的明亮度变化量检测部25i、以及检测分支区域中的形状变化量或分支区域中的特征部的形状变化量的形状变化量检测部25j。
并且，形状变化量检测部25j具有检测支气管2的管腔分开(分支)的支线(分支点或分支边界)的长度和角度的变化量作为分支区域(中的特征部)的形状变化量的支线变化量检测部25k，并且，明亮度变化量检测部25i具有后述视野不良检测部25l的功能。不限于明亮度变化量检测部25i具有视野不良检测部25l的功能的情况。
另外，上述控制部26也可以根据由位置估计部25c估计出的插入部11的前端的位置，对由路径数据生成部29a(在内窥镜3A的插入部11的插入前)生成的路径数据进行校正。
并且，控制部26具有条件判定部26b的功能，该条件判定部26b判定支气管径变化量检测部25e的检测结果和图像变化量检测部25g的检测结果是否满足用于记录的规定的条件。
控制部26中的条件判定部26b在判定为满足规定的条件的情况下，使信息记录部27记录将判定为满足规定的条件的情况下的由位置估计部25c估计出的插入部11的前端的位置和姿势的信息以及与该位置和姿势的信息对应的VBS图像关联起来的规定的信息即位置和图像信息(作为再次位置对齐时提示的候选信息)。
因此，信息记录部27具有信息记录单元的功能，该信息记录单元根据支气管径变化量检测部25e的检测结果和图像变化量检测部25g的检测结果，记录作为将插入部11的前端的位置和姿势的信息以及与该位置和姿势的信息对应的VBS图像关联起来的候选信息的规定的信息。
并且，控制部26的条件判定部26b具有进行在信息记录部27中记录规定的信息的控制的作为信息记录控制单元的信息记录控制部26c的功能。信息记录控制部26c进行控制，以使得在作为管腔直径变化量检测单元的支气管径变化量检测部25e检测到的支气管径小于基准的支气管径、且图像变化量检测部25g检测到的支线等特征部的变化量变化设定值以上的情况下，信息记录部27记录包含VBS图像的规定的信息。另外，也可以代替控制部26内的条件判定部26b判定支气管径变化量检测部25e的检测结果和图像变化量检测部25g的检测结果是否满足用于记录的规定的条件，而判定支气管径变化量检测部25e和图像变化量检测部25g是否分别满足第1条件和第2条件。因此，也可以构成为图像处理部25具有条件判定部26b的功能。
并且，控制部26的例如显示控制部26a进行控制，以使得例如在手术医生认为当前的插入部11的前端的被估计出的位置的精度较低的情况等、从输入装置31输入了进行再次位置对齐的指示信号以进行再次位置对齐的情况下，读出信息记录部27中记录的规定的信息，经由图像处理部25在监视器32中显示为候选信息。
该情况下，图像处理部25具有图像生成部25d，该图像生成部25d生成在支气管形状图像2a上重叠显示从信息记录部27中读出的候选信息而得到的图像。具体而言，在支气管形状图像2a上重叠显示插入部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像。另外，如后所述，图2D示出如下的状况：在监视器32所显示的支气管形状图像2a上，将插入部11的前端的位置显示在与该位置对应的位置，并且在该位置(用线)关联地重叠显示与该位置对应的VBS图像。
手术医生参考候选信息，进行再次位置对齐，位置对齐处理部25a或位置估计部25c能够在与支气管2的坐标系(CT坐标系)对应的状态下取得插入部11的前端的位置和姿势的信息。然后，通过再次位置对齐，位置估计部25c能够确保规定的精度，进行再次将插入部11的前端从再次位置对齐的位置插入到支气管2的深部侧的操作。
在本实施方式中，如上所述，在得到支气管径变化量检测部25e的检测结果满足第1条件、图像变化量检测部25g的检测结果满足第2条件(即满足由第1条件和第2条件构成的规定的条件)的判定结果的情况下，在信息记录部27中记录得到该判定结果的情况下的包含(估计出的)插入部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像的规定的信息作为候选信息。另外，也可以在信息记录部27中记录作为候选信息的规定的信息，以使得包含上述前端的位置和姿势中的至少位置。
如上所述，通过在满足相互不同的多个条件的情况下记录规定的信息(简记为信息)，在进行再次位置对齐的情况下，能够在作为显示单元的监视器32中显示(或提示)适度信息量(或数量)的候选信息。
在本实施方式中，通过图像变化量检测部25g检测与由摄像装置16进行摄像而得到的内窥镜图像中的作为规定的管腔脏器的支气管2有关的支气管径等特征部的变化量，至少根据该图像变化量检测部25g的检测结果，在信息记录部27中记录包含所述检测结果时的插入部11的前端的位置和姿势(的信息)以及与该位置和姿势对应的VBS图像的规定的信息(作为进行再次位置对齐时提示的情况的候选信息)。
手术医生等用户容易掌握记录信息的条件或状况，以进行一边观察由摄像装置16进行摄像而得到的内窥镜图像一边将插入部11插入的操作。并且，进行再次位置对齐时提示的候选信息能够容易地设定为内窥镜图像中的特征部的变化量相对于插入部11的前端的位置的移动而敏感变化，所以，容易进行基于图像比较的位置对齐。
另外，信息记录部27中记录的信息包括插入部11的前端的位置和姿势以及对应的VBS图像，但是，还可以包括与所述位置和姿势的信息对应的内窥镜图像来进行记录。
并且，图像处理部25具有在对内窥镜图像和VBS图像这两个图像进行比较并进行图像匹配时暂时存储内窥镜图像和VBS图像或用作图像处理的工作区的图像存储器25f。另外，也可以在图像处理部25的外部设置图像存储器25f。
并且，在本实施方式中，例如输入装置31也可以构成为具有指定部31a，该指定部31a分别选择性地指定(或设定)与支气管径变化量检测部25e检测的支气管2的内径的变化量有关的第1条件、以及与图像变化量检测部25g检测的特征部的变化量有关的第2条件。
并且，例如信息记录部27也可以具有条件信息记录部27a，该条件信息记录部27a除了记录作为上述候选信息的规定的信息(位置和图像信息)以外，还预先记录第1条件的条件信息和第2条件的条件信息。另外，也可以构成为与信息记录部27分开地具有条件信息记录部27a。
第1条件的条件信息是(a)预先设定的基准的支气管径Dre与当前的(插入部11的前端的)支气管径Da的差分(变化量)、(b')手术医生等用户设定的基准位置处的基准的支气管径Dre与当前的支气管径的差分(的变化量)。另外，也可以进一步对(b')进行细分，而成为(b)预先设定的分支数的分支部的支气管径Dre与当前的支气管径Da的差分(变化量)、(c)用户设定的任意位置处的基准的支气管径Dre与当前的支气管径Da的差分(的变化量)、(d)预先设定的内窥镜插入长的内窥镜的前端的位置处的基准的支气管径Dre与当前的支气管径Da的差分(变化量)。
第2条件的条件信息是(a)内窥镜图像中的支气管径(根据内窥镜图像计算出的支气管径)Den的变化、(b)内窥镜图像或显示内窥镜图像的显示画面的明亮度变化、(c)内窥镜图像中的分支的形状的变化、(d)内窥镜图像中的支线的长度的变化、(e)内窥镜图像中的支线的角度的变化、(f)(内窥镜图像中的)视野的不良、(g)内窥镜图像的较大抖动、(h)在内窥镜图像中映出支气管以外的部分的变化等。而且，手术医生等用户也可以通过例如(输入装置31的)指定部31a从(a)～(d)的第1条件的条件信息和(a)～(h)的第2条件的条件信息中选择性地进行指定。
该情况下，控制部26具有条件设定部26d的功能，该条件设定部26d对应于指定部31a的指定来进行第1条件和第2条件的设定。
条件设定部26d在进行第1条件和第2条件的设定时，还可以进行条件判定部26b进行判定时使用的阈值信息等的设定。另外，也可以与第1条件和第2条件的信息对应地在信息记录部27中记录阈值信息。并且，也可以仅将第1条件和第2条件的信息中的一个条件(例如第2条件)的条件信息记录在条件信息记录部27a中。
并且，在本实施方式中，具有显示控制部26a，该显示控制部26a进行控制，以使得在作为位置信息取得单元的位置估计部25c根据图像比较部25b的比较结果取得插入部11的前端的位置信息失败的情况下、或产生了用于提示信息记录部27中记录的规定的信息作为候选信息的指示信号的情况下，在支气管形状图像2a中的对应位置显示所述信息记录部27中记录的所述规定的信息中的所述插入部11的前端的位置，并且显示与该前端的位置对应的VBS图像，位置估计部25c或位置对齐处理部25a通过对从信息记录部27中读出的VBS图像和由摄像单元摄像而得到的当前的内窥镜图像进行比较，取得插入部11的前端的位置信息。
另外，在图1中，例如图像处理部25可以由CPU(中央运算处理装置)构成，但是，也可以分别使用CPU以外的专用硬件构成图像处理部25内部的位置对齐处理部25a～图像变化量检测部25g。并且，图1中的控制部26可以由CPU构成，也可以使用CPU以外的专用硬件构成。
这种结构的内窥镜系统1的特征在于，具有：作为图像记录单元的CT图像数据记录部22，其记录预先取得的被检体中的三维图像信息；作为管腔脏器提取单元的支气管提取部23，其从所述三维图像信息中提取作为规定的管腔脏器的支气管2；作为假想内窥镜图像生成单元的VBS图像生成部24，其针对由所述管腔脏器提取单元提取出的所述规定的管腔脏器的信息生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像；作为摄像单元的摄像装置16或16′，其设置在内窥镜3A或3B内，对所述规定的管腔脏器内进行摄像；作为位置信息取得单元的位置估计部25c，其取得所述规定的管腔脏器内的所述内窥镜3A的插入部11的前端的位置信息；作为管腔直径变化量检测单元的支气管径变化量检测部25e，其根据所述内窥镜3A或3B的插入部11的前端的位置信息检测作为所述规定的管腔脏器的支气管2的管腔直径的变化量；作为图像变化量检测单元的图像变化量检测部25g，其在由所述摄像单元摄像而得到的内窥镜图像内检测与作为所述规定的管腔脏器的支气管2有关的特征部的变化量；以及作为信息记录单元的信息记录部27，其根据所述管腔直径变化量检测单元的检测结果和所述图像变化量检测单元的检测结果，记录包含所述内窥镜的插入部的前端的位置和与该前端的位置对应的所述假想内窥镜图像的规定的信息。
接着，对本实施方式的动作进行说明。图4示出本实施方式中的代表性处理。
当图1的内窥镜系统1的电源接通、内窥镜装置4A(或4B)和插入支援装置5成为动作状态时，图4中的处理开始。在图4的最初的步骤S1中进行初始设定的处理。作为该初始设定的处理，手术医生从输入装置31进行本实施方式中用于插入支援的信息的输入。该情况下，手术医生从指定部31a进行第1条件和第2条件的指定。并且，条件判定部26b成为进行与所指定的第1条件和第2条件对应的判定的状态。
下面，设手术医生指定(a)预先设定的支气管径(基准的支气管径)Dre与当前的支气管径Da的差分作为第1条件、指定内窥镜图像中的支气管径Den的变化作为第2条件的情况为(A)进行说明。
(A)指定了预先设定的基准的支气管径Dre与当前的支气管径Da的差分、以及内窥镜图像中的支气管径Den的变化(变化量)的情况
在上述(A)的情况下，在本实施方式中，在满足当前的支气管径Da小于所设定的基准的支气管径Dre的条件的情况下，进而，在根据内窥镜图像计算出的支气管径Den的变化量ΔDen变化预先设定的阈值或设定值ΔDth以上的情况下，记录规定的信息。
通过设定上述基准的支气管径Dre，不进行不需要记录的例如支气管2的入口附近等插入部位的信息的记录，能够在手术医生希望记录的插入部位记录期望信息。并且，在支气管2的入口附近等插入部位，支气管径较粗，并且，由于成为容易按照插入部11的意志进行操作的区域，所以，手术医生容易掌握插入部11的前端的位置处于支气管2的哪个部位。并且，由于成为进行最初的位置对齐的位置附近的区域，所以，能够高精度地进行插入部11的前端的位置的估计。
与此相对，在支气管2的某种程度的末梢侧的区域中，很难进行插入部11的插入操作，并且，由于支气管2也较细，所以，存在很难得知前端的位置处于支气管2的哪个部位的倾向，并且，由于成为从最初的位置对齐的位置偏离的距离的管腔部位，所以，存在位置估计的精度容易降低的倾向。
因此，手术医生有时希望用作用于进行再次位置对齐的候选信息的信息。这种情况下，手术医生设定与希望记录的部位的支气管径相当的基准的支气管径Dre。然后，如后所述，能够在手术医生希望记录的管腔部位仅记录容易进行再次位置对齐的作为有效候选信息的规定的信息。
并且，由于在内窥镜图像中的支气管径Den的变化量ΔDen变化所设定的设定值ΔDth以上的情况下记录信息，所以，在通过图像比较来进行再次位置对齐的情况下，能够将内窥镜图像中的变化量较大的图像部分设定为主要的比较对象部分。然后，通过设定变化量较大的比较对象部分，容易在视觉上进行基于图像比较的再次位置对齐，并且能够在短时间内结束。
当如上所述进行步骤S1的设定后，在步骤S2中，支气管形状图像生成部23a(根据检查前的患者的三维数据)如图2A所示生成作为支气管2的形状图像的支气管形状图像2a。然后，支气管形状图像2a经由图像处理部25输出到监视器32，如图2A所示在监视器32中显示支气管形状图像2a。并且，如上所述，在支气管形状图像2a上显示穿过支气管2的管腔中心的芯线35。芯线35和分支点Bi的各位置成为在CT坐标系中确定的已知的三维位置。
在接下来的步骤S3中，手术医生将内窥镜3A的插入部11插入到支气管2内。该情况下，手术医生在支气管2的入口等已知位置处，使用图像比较部25b进行基于图像匹配的位置对齐处理，以使得基于摄像装置16(或16′)的内窥镜图像和VBS图像在所设定的条件(能够确保规定的精度的误差以内)下一致。在使用摄像装置16′的情况下，采用基于摄像装置16′中的一个摄像装置16a或16b的一个内窥镜图像即可。另外，也可以颠倒步骤S2和S3的顺序，还可以并行进行。
在步骤S3的位置对齐处理后，如步骤S4所示，手术医生将插入部11的前端插入到比位置对齐的位置更靠支气管2的深部侧。
在插入部11被插入的情况下，如步骤S5所示，图像处理部25的位置估计部25c按照一定时间间隔等判定通过使用了图像比较部25b的图像匹配来估计插入部11的前端的位置和姿势是否成功。
在能够通过图像匹配进行估计的情况下，如步骤S6所示，取得估计出的插入部11的前端的位置和姿势，并且，(从CT图像数据记录部22或支气管提取部23等中)取得与该插入部11的前端的(当前的)位置对应的支气管径Da的信息。
将这些信息暂时存储在例如图像存储器25f等中，在图4的处理中需要的情况下进行参照。另外，在该步骤S6中的插入部11的前端的位置和姿势的估计时，也可以同时根据内窥镜图像来计算支气管径Den。
并且，在支气管形状图像2a中显示估计出的插入部11的前端的位置。如图2A所示，在支气管形状图像2a上的相应位置显示估计出的位置Pj。
在步骤S6之后的步骤S7中，支气管径变化量检测部25e或控制部26的条件判定部26b判定步骤S5中取得的支气管径Da是否小于预先设定的基准的支气管径Dre。在所取得的当前的支气管径Da不小于基准的支气管径Dre的情况下，返回步骤S4的处理，手术医生将插入部11插入到深部侧。
另一方面，在图4的步骤S7的判定处理中，在所取得的支气管径Da小于基准的支气管径Dre的情况下，在接下来的步骤S8中，图像变化量检测部25g(的支气管径变化量检测部25h)检测(计算)根据内窥镜图像计算出的支气管径Den的变化量(差分)ΔDen。
即，图像变化量检测部25g计算当前的插入部11的前端的位置处根据内窥镜图像计算出的支气管径Den与上次估计出的插入部11的前端的位置处根据内窥镜图像计算出的支气管径Den的变化量ΔDen。
另外，根据内窥镜图像计算出的支气管径Den不是支气管2的管腔的平均值，包含在分支部分支的方向上扩大的非圆形形状的情况。因此，根据内窥镜图像计算出的支气管径Den有时可能大于支气管2的管腔接近大致圆形的基准的支气管径Dre。
在接下来的步骤S9中，控制部26的条件判定部26b判定支气管径的变化量ΔDen是否大于设定值ΔDth。在支气管径的变化量ΔDen不大于设定值ΔDth的情况下，返回步骤S4的处理。
另一方面，在支气管径的变化量ΔDen大于设定值ΔDth的情况下，进入接下来的步骤S10的处理，条件判定部26b在信息记录部27中记录与步骤S9的判定结果对应的插入部11的前端的位置和姿势以及与该位置和姿势对应的VBS图像的规定的信息(作为提示时的候选信息)。在步骤S10的信息记录后，返回步骤S4的处理。另外，也可以代替在步骤S9中判定支气管径的变化量ΔDen是否大于设定值ΔDth，而判定支气管径的变化量ΔDen是否为设定值ΔDth以上。
图2B示出如图2A所示成为插入部11的前端满足第1条件即步骤S7的条件的状态以后、与位置估计一起根据内窥镜图像取得支气管径Den的状况。
如图2B所示，通过位置估计部25c，例如按照一定时间间隔估计并取得插入部11的前端的位置Pj(图2B中为j＝1、2、…、6)，估计出的位置Pj经由位置P1、P2、…、P6而移动到当前的前端的位置P7。另外，不限于一定时间间隔的情况，也可以是一定距离，还可以是进行插入部11的前端位置的估计运算的情况下的规定的运算次数、进行了计算支气管径的运算的情况下的规定的运算次数等。
并且，在图2B中，白圆圈所示的各位置Pj是满足第1条件(步骤S7)的位置，黑点所示的位置P7是当前的位置。
并且，在上述各位置Pj中，由计测运算部18d等计算出的支气管径Den的变化的状况的概略如图2B所示，图2C示出在满足步骤S7的状态下的插入部11的前端的移动中计算出支气管径Den的位置P1～P6以及计算出的支气管径Den的变化的状况。另外，各位置P1～P6处取得的信息暂时存储在图像存储器25f等中，用于进行比较。
如图2B和图2C所示，支气管径Den大幅变化，以使得支气管径Den在分支点Bi附近成为峰值。因此，在从位置P2移动到位置P3的情况下，支气管径Den的变化量ΔDen从小于设定值ΔDth的状态起变化为超过设定值ΔDth的大值。
因此，条件判定部26b在信息记录部27中记录从位置P2变化为位置P3的情况下的例如位置P3的位置和姿势以及与P3的位置和姿势对应的VBS图像的规定的信息(作为候选信息)。
另外，在从P3的位置变化为P4的位置的情况下，支气管径Den也从大值变化为小值，但是，由于在位置P3处进行了记录，所以在位置P4处不进行记录。也可以代替在信息记录部27中记录P3的位置和姿势以及对应的VBS图像的信息(作为候选信息)，而在信息记录部27中记录P2与P3之间的位置和姿势的信息以及对应的VBS图像的信息。
也可以如P3的位置(大致分支点Bi的位置)的情况那样，设定为在内窥镜图像中的支气管径Den成为最大或峰值的位置附近选择性地记录信息。当这样进行记录时，提示候选信息，由于与使插入部11的前端移动以进行再次位置对齐的情况下的内窥镜图像中的支气管径Den相当的部分的变化较大，所以，容易进行基于图像匹配(图像比较)的位置对齐(下述说明的图2D中的候选信息相当于在支气管径Den成为最大或峰值的分支点Bi、Bi+1的位置附近记录信息的例子)。
并且，手术医生在进行位置对齐的情况下，关注内窥镜图像中的支气管径Den部分，调整插入部11的前端的位置和姿势以使支气管径Den部分成为最大。在这样进行再次位置对齐的情况下，容易掌握应该关注的部分，并且，在进行调整以使该值成为最大的情况下，调整内容(调整方针)明确，所以，容易进行基于图像匹配(图像比较)的位置对齐。
与此相对，在现有例中，应该关注的部分不明确，相对于插入部11的前端的位置和姿势的变化应该如何调整的方向也不明确，所以，再次位置对齐花费时间。
通过上述步骤S3的位置对齐，在从该位置对齐的位置起的移动距离较小的情况下，位置估计部25c能够比较高精度地进行位置估计，但是，当移动距离增大时，有时位置估计的精度降低。
然后，当在步骤S5中产生位置估计不成功的情况时，在步骤S11中，控制部26的显示控制部26a读出信息记录部27中记录的规定的信息，将其送到图像处理部25。图像处理部25将提示信息的图像信号输出到监视器32，监视器32提示候选信息。然后，返回步骤S3的处理。
在步骤S3中，手术医生参考监视器32中显示的候选信息，进行再次位置对齐。在进行了再次位置对齐后，反复进行图4的处理。这样，能够顺畅地进行将插入部11插入到支气管2的末梢侧(深部侧)的操作。
图2D示出步骤S11的情况下的候选信息的显示例。在图2D的候选信息的显示例中，例如以用线连接的方式显示到达位置Pk之前记录在信息记录部27中的插入部11的前端的位置(图2D中为支气管径Den的变化量ΔDen成为最大的位置附近)的分支点Bi和Bi+1以及分别对应的VBS图像。另外，比分支点Bi靠基端侧(插入口侧)的分支点Bi-1等也可以同样显示。
如图2D所示，将在支气管2中的作为特征区域的管腔分支的分支点Bi、Bi+1附近分别记录的规定的信息作为进行再次位置对齐的情况下的候选信息进行显示。这样，显示适于再次位置对齐的各分支点附近的必要最小限度的候选信息。因此，手术医生容易顺畅地在短时间内进行再次位置对齐。换言之，由于通过第1条件和第2条件来缩小要记录的信息，所以，能够记录适于进行再次位置对齐的信息量的规定的信息。
另外，在图2D中示出了分支点Bi和Bi+1中的候选图像的提示例，但是，针对插入部11的前端的位置Pk，也可以提示在与估计出的位置Pk最近的状态下记录在信息记录部27中的信息作为候选信息。在应用于图2D的情况下，也可以仅提示在分支点Bi+1附近记录的信息作为候选信息。
与此相对，在现有例中，未缩小要记录的信息，所以，再次位置对齐时显示的候选信息过多或不足，以适当的候选信息进行再次位置对齐花费时间。
并且，在本实施方式中，相对于插入部11的前端的位置的移动，在内窥镜图像中的特征部大幅变化的情况下记录信息，所以，手术医生等用户容易掌握记录信息的条件。因此，在本实施方式中，能够以用户容易在视觉上掌握的条件记录适于进行再次位置对齐的信息量的规定的信息。
并且，在本实施方式中，在显示(提示)所记录的信息作为候选信息并进行再次位置对齐的情况下，反映了内窥镜图像中的特征部相对于插入部11的前端的位置的移动而大幅变化的特性，所以，用户容易在视觉上进行基于图像匹配的再次位置对齐。
并且，当在信息记录部27中记录支气管径Den相对于前端的位置的移动的轨迹成为最大(峰值)的位置P3的状态下的信息时，容易进行再次位置对齐。另外，在监视器32中，如图2D中双点划线所示，也可以显示将当前的内窥镜图像与从信息记录部27中读出并显示的作为候选信息的VBS图像(和内窥镜图像)一起重叠在支气管形状图像2a上而得到的合成图像。这样，当与候选信息相邻地显示当前的内窥镜图像时，能够容易地进行基于与候选信息的图像比较的位置对齐。
并且，该情况下，也可以构成为在图像处理部25中设置图像移动部，该图像移动部能够移动显示位置以使候选信息侧的VBS图像重叠在当前的内窥镜图像的显示位置，或者能够移动显示位置以使候选信息侧的内窥镜图像重叠在当前的内窥镜图像的显示位置。或者，也可以构成为具有能够将当前的内窥镜图像的显示位置移动到候选信息侧的VBS图像的显示位置或候选信息侧的内窥镜图像的显示位置的图像移动部。
另外，在支气管径变化量检测部25e根据插入部11的前端的位置的信息取得支气管径Da的情况下，也可以利用图5或图6所示的方法取得。
在取得(计测)支气管径的情况下，如图5所示，也可以采用根据与插入部11的前端的长度方向(或轴方向)垂直的面上的支气管2的管腔计算出的支气管径Da1，还可以采用以包含插入部11的前端和从该前端到芯线35的垂线的方式沿着与芯线35垂直的面计算出的支气管径Da2。或者，如图6所示，也可以采用对支气管2的三维数据进行管理的CT坐标系的坐标轴的方向的Da3。换言之，支气管径变化量检测部25e可以根据插入部11的前端的位置的信息来检测与前端的长度方向垂直的面中的所述规定的管腔脏器的管腔直径的变化量，还可以检测与作为支气管2的管腔的中心线的芯线35垂直的面中的所述规定的管腔脏器的管腔直径的变化量。
在上述(A)的情况下，不依赖于患者而设定一个第1条件中使用的基准的支气管径Dre。与此相对，在以下说明的情况(B)、(C)、(D)中，以按照每个患者设定最佳的基准的支气管径为目的，如下所述按照每个患者设定基准的支气管径。
(B)预先设定的分支数的分支部的支气管径
手术医生进行再次位置对齐时，进行预先决定并输入认为可以记录为要参照的候选信息的分支数的分支部的设定。另外，分支数是以从支气管的入口起根据作为管腔分支的部分的分支部的顺序依次赋予编号等而容易确定的方式赋予的识别信息。手术医生根据支气管提取部23或CT图像数据记录部22的三维数据计算与预先设定的分支数相当的支气管径，将计算出的支气管径设定为基准的支气管径Dre。
在该设定后，使用所设定的基准的支气管径Dre进行与(A)的情况相同的动作。
这种情况下，能够根据实际的患者的支气管来设定基准的支气管径Dre。因此，在体格等不同的患者的情况下，也能够适当设定与插入部11实际插入的患者的支气管对应的基准的支气管径Dre。
并且，手术医生能够高精度地设定与实际希望记录为候选信息的位置的支气管径对应的基准的支气管径Dre。因此，不用白白记录不需要记录的信息，能够仅记录作为手术医生希望的候选信息的有效信息。
另外，如上述(A)的情况那样，也可以设定一个基准的支气管径Dre并设定为记录小于该值的支气管径的情况的条件，但是，进而，在作为插入目标的分支数确定的情况下，也可以设定第二个基准的支气管径。
具体而言，如上所述，也可以设定与对应于希望记录的位置的支气管径的基准的支气管径的分支数对应的基准的支气管径Dre0以及与作为插入目标的分支数的支气管径对应的基准的支气管径Dre1这两个基准的支气管径，将满足两个基准的支气管径Dre0、Dre1之间的支气管径设定为进行记录时的条件。换言之，也可以除了与第1条件有关的作为上限侧的基准的支气管径的一个基准的支气管径Dre以外，还设定下限侧的基准的支气管径，在计算出的当前的支气管径Da小于下限侧的基准的支气管径的情况下，判断为能够插入到作为目标的管腔部位，结束记录动作。
并且，也可以代替上述分支数，而使用以解剖学的方式按照每个分支决定名称的次数。
另外，在检测(计算)是否满足当前的支气管径Da小于上述基准的支气管径Dre的条件的情况下，作为进行检测(计算)的位置，如图7所示，也可以设定为芯线35上的分支点Bi、支线Spi的位置附近。或者，如虚线所示，也可以限制在以分支点Bi或支线Spi为中心的半径Ra、Rb的区域以内。在设定这种区域的情况下，也可以按照各分支点Bi或支线Spi进行设定。
并且，也可以与图7不同，而如图8所示，设定从分支点Bi沿着芯线35方向向支气管2的入口(基端)侧返回距离da的位置Pa、或从支线Spi沿着芯线35方向向支气管2的入口(基端)侧返回距离da的位置Pb作为检测(计算)支气管径Den的变化的位置。该情况下，也可以包含从芯线35上的位置Pa或Pb偏离的情况下的位置。
并且，作为在上述插入部11的前端的位置Pj处计算支气管径的情况下的方向，如图9或图10所示，可以设为沿着与插入部11的前端的轴方向垂直的面的支气管径Da1、沿着与芯线35垂直的面的支气管径Da2、沿着CT坐标系的三维数据的坐标轴的支气管径Da3。
并且，作为计算基准的支气管径Dre的方法，可以设为相应的支气管2的最大值/最小值、仅右肺、仅左肺、两个肺、或仅预先设定的插入部11的插入路径上等。
(C)手术医生等用户设定的任意位置处的支气管径
在检查前，手术医生通过CT坐标系的三维数据计算所指定的支气管2上的位置处的支气管径，将计算出的支气管径设定为基准的支气管径Dre。在设定后，使用该基准的支气管径Dre进行与(A)的情况相同的动作。
关于支气管径的计算方法，如图9或图10所示，可以设为沿着与插入部11的前端的轴方向垂直的面的支气管径Da1、沿着与芯线35垂直的面的支气管径Da2、沿着CT坐标系的三维数据的坐标轴的支气管径Da3。
(C)的情况具有与(B)的情况大致相同的效果。
(D)预先设定的插入长的插入部11的前端的位置处的支气管径Dre
手术医生预先从输入装置31设定认为可以取得候选信息的插入部11的插入长(内窥镜插入长)，通过例如图像处理部25的位置估计部25c所具有的距离估计部的功能，计算以CT图像数据记录部22或支气管提取部23的三维数据中设定的所述插入长能够到达的支气管2内的全部位置。
计算所计算出的各位置处的各支气管径，将其平均值设定为基准的支气管径Dre。
在该设定后，进行与(A)的情况相同的动作。(D)的情况具有与(B)的情况大致相同的效果。
另外，关于支气管径的计算方法，如图9或图10所示，可以设为与插入部11的前端的轴方向垂直的面中计算出的支气管径Da1、与芯线35垂直的面中计算出的支气管径Da2、沿着CT坐标系的三维数据的坐标轴的支气管径Da3。
并且，作为计算基准的支气管径Dre的方法，可以设为相应的支气管2的最大值/最小值、仅右肺、仅左肺、两个肺、或仅预先设定的插入部11的插入路径上等。
在上述(A)～(D)中，说明了图像变化量检测部25g具有检测内窥镜图像中的支气管径Den的变化的支气管径变化量检测部25h的情况，但是，也可以检测以下的(E)～(K)这样的其他变化量。也可以检测(E)内窥镜图像中的内窥镜图像(画面)的明亮度的变化、(F)分支的形状的变化、(G)支线的长度的变化、(H)支线的角度的变化、(I)视野的不良、(J)监视内窥镜图像中的支气管的分支以外的变化的动作的说明图、(K)内窥镜图像中的特征部的抖动的变化。从(E)～(K)中的(E)的情况起依次进行说明。
(E)检测内窥镜图像中的内窥镜图像(画面)的明亮度的变化的情况
在(E)的情况下，(图像变化量检测部25g的)明亮度变化量检测部25i以预先设定的一定时间的时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视暗部的面积的动作。在图11中，用P1、P2、…、P5示出取得的情况下的插入部11的前端的位置。
暗部的面积是指内窥镜图像中的明亮度为规定值以下的图像部分的合计面积。在图11中，支气管2内的插入部11的前端前方侧的管腔部分中的分支部分被识别为暗部。
例如，从位置P1移动到位置P2的情况下的暗部的面积变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，暗部的面积大幅变化。明亮度变化量检测部25i或条件判定部26b进行控制，以使得在检测到暗部的面积大幅变化设定值以上的情况下，在变化的位置(图11的情况下为P3)，在信息记录部27中记录包含VBS图像的(规定的)信息。
另外，也可以根据检测为暗部的分支部分的数量的变化(例如从2个变化为1个或从1个变化为2个)，检测为暗部的面积的较大变化量，由此，此时在信息记录部27中记录包含VBS图像的信息。
并且，作为明亮度的变化量，不限于根据暗部的面积的变化量进行检测的情况，也可以计算内窥镜图像的明亮度的平均值，在成为平均值为阈值以上的变化量的情况下，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。另外，在记录包含VBS图像的信息的情况下，不限于暗部的面积等明亮度变化设定值以上的位置，也可以设为其前后的位置。
如上所述，在位置P3的位置记录信息的情况下，采用暗部的面积等手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
(F)检测分支的形状的变化的情况
图12示出提取了支气管2的分支形状的部分的状态。该情况下，如图12所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的形状变化量检测部25j检测内窥镜图像中的特征部的形状的变化量。
更具体而言，如图12所示的位置P1、P2、…、P5所示，形状变化量检测部25j例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的分支形状的动作。
在图12中示出与在各位置Pj(j＝1、2、…、5)处取得的内窥镜图像一起提取支气管2的分支形状的状态。
具体而言，从位置P1移动到位置P2的情况下的支气管分支形状的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，支气管分支形状大幅变化。形状变化量检测部25j在检测到支气管分支形状大幅变化(设定值以上)的情况下，在变化的位置(图12中为P3)，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
在(F)的情况下，采用如支气管分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
(G)检测支线的长度的变化的情况
该情况下，如图13(A)所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的支线变化量检测部25k检测内窥镜图像中的支线的长度的变化量。在图13(A)中示出与各位置Pj(j＝1、2、…、5)处取得的内窥镜图像一起提取支线的长度的状态。另外，支线的长度是支气管2的管腔分支为两股的分支部中的边界的长度。
如图13(A)所示，在一定间隔或一定时间间隔的位置P1、P2、…、P5中，(图像变化量检测部25g的)支线变化量检测部25k取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的支线的长度的动作。
图13(B)示出插入部11的前端的位置Pj与支线的长度的关系。根据图13(A)、图13(B)可知，例如从位置P1移动到位置P2的情况下的支线的长度的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，与位置P2相比，支线的长度大幅变化。支线变化量检测部25k进行控制，以使得在检测到支线的长度大幅变化(设定值以上)的情况下，在变化的位置(图13中为P3)，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
在(G)的情况下，采用如支线的长度的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
(H)检测支线的角度的变化的情况
该情况下，如图14(A)所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的支线变化量检测部25k检测内窥镜图像中的支线的角度(朝向)的变化量。在图14(A)中示出与各位置Pj(j＝1、2、…、5)处取得的内窥镜图像一起提取支线的角度的状态。另外，支线的角度是支气管2的管腔分支为两股的分支部中的边界部分的长度方向的朝向或与基准方向所成的角度。
如图14(A)所示的位置P1、P2、…、P5所示，(图像变化量检测部25g的)支线变化量检测部25k例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视例如支气管2的支线的角度的动作。
图14(B)示出插入部11的前端的位置Pj与支线的角度的关系。根据图14(A)、图14(B)可知，例如从位置P1移动到位置P2的情况下的支线的角度的变化较小，但是，由于在位置P3处接近分支的分支区域，所以，手术医生扭转插入部11，因此，与位置P2相比，支线的角度大幅变化。支线变化量检测部25k进行控制，以使得在检测到支线的角度大幅变化(设定值以上)的情况下，在变化的位置(图14中为P3)，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
在(H)的情况下，采用如支线的角度的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，在显示为候选信息的情况下，也容易在视觉上进行位置对齐的状态。
(I)检测视野的不良的情况
该情况下，如图15所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的视野不良检测部25l检测内窥镜图像中的视野不良的产生。
关于视野不良(的产生)，在支气管内进行摄像而得到的内窥镜图像中，根据是否以能够识别的程度映出管腔的前端侧的分支和暗部来进行判定，假设污渍覆盖视野整体，在内窥镜图像的明亮度低于规定的明亮度、较暗区域大致遍及内窥镜图像整体的情况下，视野不良检测部25l判定为视野不良。
因此，例如明亮度变化量检测部25i具有视野不良检测部25l的功能。
在图15中示出各位置Pj(j＝1、2、…、5)处取得的内窥镜图像的概略。如位置P1、P2、…、P5所示，(图像变化量检测部25g的)视野不良检测部25l例如以一定间隔或一定时间间隔取得内窥镜图像，持续进行在所取得的内窥镜图像内监视视野不良的动作。在图15所示的例子中，在从位置P2移动到位置P3的情况下检测到视野不良的产生，在变化之前的位置P2处，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
在(I)的情况下，采用如视野不良那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，容易掌握记录信息的状态。
另外，上述形状变化量检测部25j检测支气管内的分支形状的变化量，但是，如下所述，也可以在从分支形状变化为分支形状以外的构造、形状的情况下、换言之检测到变化为分支形状以外的情况下记录信息。
(J)检测内窥镜图像中的支气管的分支以外的变化的情况
该情况下，如图16所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的形状变化量检测部25j持续进行监视对支气管2内进行摄像而得到的内窥镜图像中的支气管2的分支是否存在于内窥镜图像内的动作。然后，手术医生使插入部11的弯曲部19弯曲或使插入部11扭转，在判定为分支不存在于内窥镜图像内的情况下，在信息记录部27中记录包含在紧挨着的之前的位置处的VBS图像的信息。
如图16所示，如位置P1、P2、…、P5所示，(图像变化量检测部25g的)形状变化量检测部25j例如以一定间隔或一定时间间隔取得内窥镜图像，在所取得的内窥镜图像内提取例如分支形状部分，持续进行监视有无分支的动作。然后，进行控制，以使得在图16中从位置P2移动到位置P3的情况下，判定为变化为不存在分支的状态，在该变化之前的位置P2处，在信息记录部27中记录包含VBS图像的信息。
关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
在(J)的情况下，采用如有无分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，容易掌握记录信息的状态。
(K)检测内窥镜图像中的特征部的抖动的变化的情况
该情况下，如图17所示，图像处理部25将从CCU 8A依次以规定的时间间隔(例如1/30s或1/60s)输入的图像信号交替存储在图像存储器25f中的第1存储器81a和第2存储器81b中。例如，最新的第n个图像In存储在第2存储器81b中，该1帧或1场之前的第n-1个图像In-1存储在第1存储器81a中。
以相邻的帧或场进行摄像而得到的第n-1个图像In-1和第n个图像In被输入到抖动量运算处理部82，抖动量运算处理部82进行如下运算：相对于一个图像(例如图像In)中设定的点，计算另一个图像中的对应点，作为表示抖动量的运动矢量。
由抖动量运算处理部82计算出的运动矢量被输入到抖动量判定部83，抖动量判定部83将计算出的运动矢量视为抖动量，判定运动矢量的大小(绝对值)是否超过规定值，根据判定结果记录包含VBS图像的信息作为候选信息。另外，也可以构成为图1所示的条件判定部26b具有抖动量判定部83的功能。
抖动量运算处理部82将以图像In的中心点为中心的W×H像素的范围设定为模板，探索与该中心点对应的图像In-1上的对应点。例如通过计算亮度的SAD(Sum of AbsoluteDifferences：绝对差值和)来进行对应点的探索。当设模板的像素值为t(x、y)、探索对象的图像的像素值为g(x、y)时，一般利用以下的(4)式计算坐标(u、v)中的SAD即F(u、v)。
F(u、v)＝ΣiΣj|g(i+u、j+v)-t(i、j)| (4)
另外，Σi、Σj分别表示进行在i为NW以内、NH以内的模板的宽度W、高度H中加上|g-t|的运算，并且，在设模板的宽度为W、高度为H的情况下，设为-W/2≦NW≦W/2、-H/2≦NH≦H/2。并且，设与图像In相当的图像In-1的中心坐标为(Ox、Oy)，在Ox-W/2≦u≦Ox+W/2、Oy-H/2≦v≦Oy+H/2的范围内计算F(u、v)。F(u、v)最小时的坐标(Ex、Ey)成为对应点。
根据相对于图像In的中心坐标(Ox、Oy)的对应点的坐标(Ex、Ey)，利用(5)式计算运动矢量m。
m＝(Ex-Ox、Ey-Oy)…(5)
以上是运动矢量m的计算方法。
通过运动矢量m的计算，当计算该运动矢量m作为抖动量的处理结束后，利用抖动量判定部83将运动矢量m的大小与规定值进行比较，在抖动量判定部83判定为运动矢量m的大小大于规定值的情况下，抖动量判定部83判定为产生了超过规定值的抖动变化，对信息记录部27输出用于记录VBS图像的记录指示信号(或保存指示信号)。
接收到该记录指示信号的信息记录部27记录超过规定值的抖动产生前的图像存储器25f的第1存储器81a的图像作为候选图像。每当输入记录指示信号时进行记录该候选图像的动作，在信息记录部27中蓄积候选图像。
通过反复进行以上动作，能够蓄积紧挨着内窥镜图像的抖动大于规定值的情况之前的内窥镜图像作为候选图像。另外，作为检测内窥镜图像的抖动的方法，在无法进行基于SHIFT(Scale-Invariant Feature Transform：尺度不变特征转换)的运算、无法运算与各图像对应的特征点的情况下或在图像的频率解析中高频成分减小规定值以上的情况下，也可以同样进行记录。这种情况下也得到相同效果。
另外，在上述实施方式中，说明了代表性组合的情况，但是，也可以通过上述组合以外的组合来记录信息。
即，本发明还包含与上述实施方式中的第1条件和第2条件有关的任意组合的结构、方法的情况。
并且，说明了作为条件信息记录单元的条件信息记录部27a分别记录能够设定为第1条件和第2条件的多个候选条件的信息和候选信息的情况，但是，也可以不使用候选条件的信息和候选信息，而分别记录能够设定为第1条件和第2条件的多个条件信息(或信息)。并且，也可以不记录多个条件信息(或信息)，由手术医生等指定期望的条件信息。
另外，在上述说明中，说明了在从输入装置31等对控制部26输入了进行再次位置对齐的指示信号的情况下、在作为显示单元的监视器32中显示(提示)信息记录部27中记录的信息作为候选信息的情况。
本发明不限于该情况，例如，也可以在规定的时机在作为显示单元的监视器32中显示(提示)信息记录部27中记录的信息作为候选信息。
例如，用户也可以从输入装置31等针对控制部26进行用于设定显示候选信息的时间间隔或条件的输入，控制部26在符合所设定的时间间隔或条件的情况下，进行从信息记录部27中读出信息的控制，经由图像处理部25在监视器32中显示包含VBS图像的候选信息。
并且，在具有对由摄像单元进行摄像而得到的图像信息和假想内窥镜图像进行比较的图像比较单元、在规定的时机显示信息取得单元中记录的假想内窥镜图像的显示单元的结构中，也可以构成为，信息取得单元根据图像比较单元的比较结果取得摄像单元的至少位置信息。
另外，在支气管径变化量检测部25e检测到的支气管径小于基准的支气管径Dre、且图像变化量检测单元25g检测到的支线等特征部的变化量变化设定值以上的情况下，在信息记录部27中记录包含VBS图像的信息，但是，也可以在所述变化量变化为最大值或峰值的情况下，信息记录控制部26c等在信息记录部27中记录包含该变化量为最大值或峰值的插入部11的前端的位置及其姿势以及对应的VBS图像的信息。
并且，本发明不限于上述例如图1所示的结构，可以仅是权利要求1所述的基本结构(要素)，也可以构成为在该基本结构中选择性地追加一个或多个结构要素。
本申请以2013年3月27日在日本申请的日本特愿2013-67408号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书和权利要求书中。

Claims (13)

1.一种内窥镜系统，其特征在于，该内窥镜系统具有：
内窥镜，其具有对被检体的管腔脏器进行摄像的摄像部；
记录部，其对由不同于所述内窥镜的医疗诊断装置取得的所述被检体的管腔脏器的三维图像信息进行记录；
位置估计部，其估计所述内窥镜的插入部的前端的位置；
管腔直径取得部，其根据所述记录部中记录的所述三维图像信息，取得所述位置估计部所估计的所述内窥镜的插入部的前端的位置处的所述被检体的管腔脏器的管腔直径；
条件判定部，其根据所述管腔直径取得部所取得的所述管腔直径与预先设定的基准的管腔直径，判定所述管腔直径取得部所取得的管腔直径是否小于所述基准的管腔直径；
图像变化量检测部，其在所述条件判定部判定为所述管腔直径取得部所取得的管腔直径小于所述基准的管腔直径的情况下，检测与所述摄像部所拍摄的内窥镜图像相关的规定的参数伴随着所述内窥镜的插入部的插入动作的变化量；
假想内窥镜图像生成部，其根据所述记录部中记录的所述三维图像信息，生成从任意的视点位置以内窥镜的角度描绘的假想内窥镜图像；以及
信息记录部，其在所述图像变化量检测部检测到的与所述内窥镜图像相关的规定的参数的变化量大于预先设定的基准的设定值的情况下，记录所述内窥镜的插入部的前端的位置和与该内窥镜的插入部的前端的位置对应的所述假想内窥镜图像。
2.根据权利要求1所述的内窥镜系统，其特征在于，
所述条件判定部还判定所述图像变化量检测部检测到的所述规定的参数的变化量是否变化了所述设定值以上，
在所述条件判定部判定为所述规定的参数的变化量变化了所述设定值以上的情况下，所述信息记录部记录与所述内窥镜的插入部的前端的位置对应的所述假想内窥镜图像。
3.根据权利要求1所述的内窥镜系统，其特征在于，
所述管腔直径取得部取得与所述内窥镜的插入部的前端的长度方向垂直的面中的所述管腔脏器的管腔直径。
4.根据权利要求1所述的内窥镜系统，其特征在于，
所述管腔直径取得部取得与作为所述管腔脏器的管腔的中心线的芯线垂直的面中的所述管腔脏器的管腔直径。
5.根据权利要求1所述的内窥镜系统，其特征在于，
所述规定的参数是所述管腔脏器的管腔分支的分支区域中的形状变化量，
所述图像变化量检测部检测所述内窥镜图像内的所述管腔脏器的管腔分支的分支区域中的形状变化量。
6.根据权利要求1所述的内窥镜系统，其特征在于，
所述规定的参数是所述管腔脏器的管腔分支的分支区域中的明亮度信息的变化量，
所述图像变化量检测部检测所述管腔脏器的管腔分支的分支区域中的明亮度信息的变化量。
7.根据权利要求1所述的内窥镜系统，其特征在于，
所述内窥镜系统还具有图像比较部，该图像比较部对由所述摄像部拍摄的所述内窥镜图像和由所述假想内窥镜图像生成部生成的所述假想内窥镜图像进行比较，
所述位置估计部根据所述图像比较部的比较结果估计所述内窥镜的插入部的前端的所述位置。
8.根据权利要求7所述的内窥镜系统，其特征在于，
所述内窥镜系统还具有：
管腔形状图像生成部，其生成所述管腔脏器的管腔形状图像；以及
显示控制部，其进行控制，以使得在所述位置估计部根据所述图像比较部的比较结果估计所述内窥镜的插入部的前端的位置失败的情况下、或产生了用于提示所述内窥镜的插入部的前端的位置以及与该内窥镜的插入部的前端的位置对应的所述假想内窥镜图像的信息的指示信号的情况下，在所述管腔形状图像中的对应位置显示所述信息记录部中记录的所述内窥镜的插入部的前端的位置，并且显示与该前端的位置对应的所述假想内窥镜图像，
所述位置估计部通过对从所述信息记录部中读出的所述假想内窥镜图像和由所述摄像部拍摄的当前的内窥镜图像进行比较，取得所述内窥镜的插入部的前端的位置。
9.根据权利要求1所述的内窥镜系统，其特征在于，
在所述图像变化量检测部检测到的所述变化量以超过所述设定值的方式变化的情况下，在所述变化量为最大值的情况下，所述信息记录部记录包含所述假想内窥镜图像的规定的信息。
10.根据权利要求1所述的内窥镜系统，其特征在于，
所述内窥镜系统还具有：
条件信息记录部，其分别记录了多个条件信息作为所述基准的管腔直径和与所述规定的参数相关的所述设定值；以及
指定部，其从所述条件信息记录部中选择性地指定分别作为所述基准的管腔直径和与所述规定的参数相关的所述设定值而使用的条件信息。
11.根据权利要求5所述的内窥镜系统，其特征在于，
作为所述管腔脏器的管腔分支的分支区域中的形状变化量，所述图像变化量检测部检测所述管腔分支的分支边界的长度或所述分支边界的长度方向的朝向的变化是否变化了所述设定值以上。
12.根据权利要求2所述的内窥镜系统，其特征在于，
在判定为所述规定的参数的变化量变化了所述设定值以上的情况下，所述信息记录部还记录所述内窥镜的插入部的前端的轴方向的信息。
13.根据权利要求1所述的内窥镜系统，其特征在于，
所述位置估计部除了内窥镜的插入部的前端的位置以外还估计该内窥镜的插入部的前端的姿势，
在所述图像变化量检测部检测到的与所述内窥镜图像相关的规定的参数的变化量大于预先设定的所述基准的设定值的情况下，所述信息记录部记录所述内窥镜的插入部的前端的位置和姿势以及与所述位置和姿势对应的所述假想内窥镜图像。
CN201480003398.2A 2013-03-27 2014-02-19 内窥镜系统 Active CN104883950B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-067408 2013-03-27
JP2013067408 2013-03-27
PCT/JP2014/053876 WO2014156378A1 (ja) 2013-03-27 2014-02-19 内視鏡システム

Publications (2)

Publication Number Publication Date
CN104883950A CN104883950A (zh) 2015-09-02
CN104883950B true CN104883950B (zh) 2016-12-28

Family

ID=51623379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480003398.2A Active CN104883950B (zh) 2013-03-27 2014-02-19 内窥镜系统

Country Status (5)

Country Link
US (1) US9516993B2 (zh)
EP (1) EP2918218A4 (zh)
JP (1) JP5715312B2 (zh)
CN (1) CN104883950B (zh)
WO (1) WO2014156378A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016214782A (ja) * 2015-05-26 2016-12-22 Ｍｒｔ株式会社 気管支鏡の作動方法、マーキング用気管支鏡、切除標的領域の特定方法、及び、プログラム
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
JP6654038B2 (ja) * 2015-12-22 2020-02-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN108430302B (zh) * 2015-12-25 2020-11-17 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
JP6608111B2 (ja) * 2016-09-28 2019-11-20 富士フイルム株式会社 医用画像保存再生装置および方法並びにプログラム
JP6779089B2 (ja) * 2016-10-05 2020-11-04 富士フイルム株式会社 内視鏡システム及び内視鏡システムの駆動方法
JP6828465B2 (ja) * 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
US10638084B2 (en) * 2017-03-28 2020-04-28 Olympus Corporation Endoscope apparatus, endoscope system, and endoscope image recording method
WO2018188466A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
CN110769731B (zh) * 2017-06-15 2022-02-25 奥林巴斯株式会社 内窥镜系统、内窥镜用处理系统、图像处理方法
JP7126673B2 (ja) * 2017-10-17 2022-08-29 国立大学法人千葉大学 内視鏡画像処理プログラム及び内視鏡システム
JP7037410B2 (ja) * 2018-03-28 2022-03-16 日本光電工業株式会社 挿管システム
JP2020022563A (ja) 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
WO2020194472A1 (ja) * 2019-03-25 2020-10-01 オリンパス株式会社 移動支援システム、移動支援方法、および移動支援プログラム
KR20220058918A (ko) 2019-08-30 2022-05-10 아우리스 헬스, 인코포레이티드 기구 이미지 신뢰성 시스템 및 방법
EP4340718A1 (en) * 2021-05-17 2024-03-27 Jihad Ali Mustapha A measuring device and a measurement method thereof
US20230053189A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Augmented-reality endoscopic vessel harvesting
US20230404670A1 (en) * 2022-05-27 2023-12-21 Covidien Lp Creating a navigation pathway to a target in the lung and method of navigating to the target

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6773393B1 (en) * 1999-08-05 2004-08-10 Olympus Optical Co., Ltd. Apparatus and method for detecting and displaying form of insertion part of endoscope
US20040059263A1 (en) * 2002-09-24 2004-03-25 Spiration, Inc. Device and method for measuring the diameter of an air passageway
JP4245880B2 (ja) * 2002-08-30 2009-04-02 オリンパス株式会社 内視鏡装置
US8465452B2 (en) * 2003-02-21 2013-06-18 3Dt Holdings, Llc Devices, systems, and methods for removing stenotic lesions from vessels
JP2005338551A (ja) * 2004-05-28 2005-12-08 Olympus Corp 工業用内視鏡装置
US20070203396A1 (en) * 2006-02-28 2007-08-30 Mccutcheon John G Endoscopic Tool
JP4899068B2 (ja) 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP5188879B2 (ja) * 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
RU2011120186A (ru) 2008-10-20 2012-11-27 Конинклейке Филипс Электроникс, Н.В. Способ и система локализации на основе изображений
JP5570769B2 (ja) 2009-07-23 2014-08-13 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
WO2011094518A2 (en) * 2010-01-28 2011-08-04 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
CN102858229B (zh) * 2010-02-18 2015-11-25 皇家飞利浦电子股份有限公司 采用受到跟踪的支气管镜检查进行肿瘤运动模拟和运动补偿的系统和方法
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2012095755A1 (en) * 2011-01-13 2012-07-19 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery

Also Published As

Publication number Publication date
US20150272423A1 (en) 2015-10-01
CN104883950A (zh) 2015-09-02
JP5715312B2 (ja) 2015-05-07
WO2014156378A1 (ja) 2014-10-02
EP2918218A4 (en) 2016-08-03
EP2918218A1 (en) 2015-09-16
US9516993B2 (en) 2016-12-13

Similar Documents

Publication Publication Date Title
CN104883950B (zh) 内窥镜系统
CN104797186B (zh) 内窥镜系统
CN104755009B (zh) 内窥镜系统
CN104780826B (zh) 内窥镜系统
CN102247114B (zh) 图像处理装置及图像处理方法
US7742629B2 (en) System and method for three-dimensional reconstruction of a tubular organ
JPWO2014156378A1 (ja) 内視鏡システム
CN104883946B (zh) 图像处理装置、电子设备、内窥镜装置和图像处理方法
CN107847135A (zh) 血管内成像系统界面和支架检测方法
US5036463A (en) Angioscopic system and method for dimensional measurement including measurement of the distance from angioscopic ends to designated planes
CN105246402B (zh) 支架可视化和贴壁不良检测系统、设备和方法
US20180214006A1 (en) Image processing apparatus and image processing method
CN106456026A (zh) 血管内压力和流量数据诊断系统、设备和方法
US10478143B2 (en) System and method of generating and updatng a three dimensional model of a luminal network
CN104812307A (zh) 计算机断层摄影系统
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
CN107249427B (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
CN114332229A (zh) 内窥镜定位的处理方法、装置、手术系统、设备与介质
US10694929B2 (en) Medical equipment system and operation method of medical equipment system
CN107843863B (zh) 基于3d形貌测量的磁共振成像矫正方法、装置及设备
JP2954320B2 (ja) 画像処理方法及び装置
CN104321007B (zh) 医疗装置
JP2021532878A (ja) 血管マップの傾きに基づく血流測定
CN104321007A (zh) 医疗装置

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant