CN104755009A - 内窥镜系统 - Google Patents

内窥镜系统 Download PDF

Info

Publication number
CN104755009A
CN104755009A CN201480002770.8A CN201480002770A CN104755009A CN 104755009 A CN104755009 A CN 104755009A CN 201480002770 A CN201480002770 A CN 201480002770A CN 104755009 A CN104755009 A CN 104755009A
Authority
CN
China
Prior art keywords
mentioned
information
image
posture
insertion section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480002770.8A
Other languages
English (en)
Other versions
CN104755009B (zh
Inventor
秋本俊也
大西顺一
伊藤满祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN104755009A publication Critical patent/CN104755009A/zh
Application granted granted Critical
Publication of CN104755009B publication Critical patent/CN104755009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

内窥镜系统具备：图像存储部，其存储预先获取到的被检体中的三维图像信息；管腔脏器提取部，其从三维图像信息中提取规定的管腔脏器；对物光学系统，其设置于内窥镜的插入部的前端；视线方向检测部，其检测对物光学系统的视线方向；方向比较部，其将由管腔脏器提取部提取出的规定的管腔脏器的芯线方向与视线方向进行比较；以及位置姿势信息记录部，其在芯线方向与视线方向所成的角为规定的阈值以下的情况下，记录内窥镜的插入部的前端的位置和姿势的信息。

Description

内窥镜系统
技术领域
本发明涉及一种利用摄像单元对被检体内进行拍摄的内窥镜系统。
背景技术
近年来，在医疗领域等领域中广泛使用具有能够插入到体腔内等的插入部的内窥镜。
另一方面，在插入到如体腔内的支气管那样复杂地分支的管腔脏器内来检查管腔脏器的末端侧的目标部位(的患部组织)或者使用处置器具进行活检、处置的情况下，仅根据在插入时得到的内窥镜图像，有时难以将插入部前端导入到目标部位附近。
因此，提出了进行用于辅助将内窥镜的插入部前端导入到目标部位附近的作业的显示等的系统或者装置。
例如，在作为第一以往例的日本特开2011-189074号公报中公开了一种医疗装置，该医疗装置具备：插入部，其被插入到支气管中；多个FBG传感器部，其配设于插入部；存储部，其存储预先获取到的支气管的三维图像数据；形状测量部，其根据FBG传感器部的数据来测量插入部的形状；芯线计算部，其根据存储部中存储的三维图像数据来计算支气管的芯线；以及位置计算部，其根据由形状测量部测量出的形状和由芯线计算部计算出的芯线来计算插入部的位置。而且，通过提取芯线来计算插入部的前端的位置和方向。
另外，在作为第二以往例的日本特开2012-24518号公报中公开了一种辅助装置，该辅助装置从预先获取到的被检体的三维图像中获取被检体的管状组织(管状脏器)的中心线，显示一边使插入到上述管状组织的内窥镜沿着上述管状组织的长度方向移动一边进行拍摄得到的内窥镜图像，在所显示的上述内窥镜图像中显示有上述管状组织的一个特征区域时，输入上述内窥镜的基准位置并且在上述中心线上设定与上述一个特征区域对应的位置，获取从上述基准位置起进一步移动后的上述内窥镜的移动量和前进方向，将从与上述一个特征区域对应的位置起沿着上述中心线向获取到的上述前进方向仅离开获取到的上述移动量后的位置计算为当前位置，使表示计算出的当前位置的指标显示在上述中心线上。而且，根据管状脏器的芯线和摄像单元的移动量及前进方向来计算摄像单元的位置。
在上述第一以往例中公开了通过提取芯线来计算插入部的前端的位置的观点，在第二以往例中公开了根据管腔脏器的芯线和摄像单元(内窥镜前端)的移动量及前进方向来计算摄像单元(内窥镜前端)的位置，但是并未公开记录在插入部的前端的位置的计算(估计)失败的情况下所需的适用于进行再次对位的信息。
在进行再次对位的情况下，期望的是，不仅将芯线的信息作为与插入部的前端的位置有关的信息来记录，还将由摄像单元经由对物光学系统进行拍摄时的视线方向等姿势信息作为与插入部的前端的位置有关的信息来记录，从而容易地进行再次对位。
本发明是鉴于上述点而完成的，目的在于提供一种将内窥镜的前端的姿势信息与位置信息一并记录使得容易进行再次对位等的内窥镜系统。
发明内容
本发明的一个方式的内窥镜系统具备：图像存储部，其构成为存储预先获取到的被检体中的三维图像信息；管腔脏器提取部，其构成为从上述三维图像信息中提取规定的管腔脏器；对物光学系统，其设置于内窥镜的插入部的前端；视线方向检测部，其构成为检测上述对物光学系统的视线方向；方向比较部，其构成为将由上述管腔脏器提取部提取出的上述规定的管腔脏器的芯线方向与上述视线方向进行比较；以及位置姿势信息记录部，其构成为在上述芯线方向与上述视线方向所成的角为规定的阈值以下的情况下记录上述内窥镜的插入部的前端的位置和姿势的信息。
附图说明
图1是表示本发明的第一实施方式的内窥镜系统的整体结构的图。
图2A是表示作为支气管的形状图像的支气管形状图像的图。
图2B是表示在图2A示出的支气管形状图像上叠加地显示内窥镜的插入部的前端的位置和方向的情形的图。
图2C是将视线方向与芯线方向所成的角进行比较的情形的说明图。
图2D是表示在进行再次对位时在监视器中显示的信息的显示例的图。
图3是表示第一实施方式的代表性处理例的流程图。
图4是表示具备位置传感器的第一实施方式的第一变形例的内窥镜系统的整体结构的图。
图5是第一变形例中的两个坐标系的对位的说明图。
图6是表示第二变形例中的处理的一部分的流程图。
图7是表示本发明的第二实施方式中的处理的一部分的流程图。
图8是表示本发明的第三实施方式中的处理的一部分的流程图。
图9是表示本发明的第四实施方式中的处理的一部分的流程图。
图10是本发明的第五实施方式中的动作的说明图。
具体实施方式
以下，参照附图来说明本发明的实施方式。
(第一实施方式)
如图1所示，本发明的第一实施方式的内窥镜系统1主要包括：内窥镜装置4，其具备内窥镜3，该内窥镜3被插入到作为成为检查对象的被检体的患者的作为规定的管腔脏器的支气管2(图2A)内；以及插入辅助装置5，其与该内窥镜装置4一起使用，用于进行内窥镜3的插入辅助。
内窥镜装置4具有：内窥镜3；光源装置6，其向该内窥镜3提供照明光；作为信号处理装置的照相机控制部件(简称为CCU)8，其对搭载于内窥镜3的构成摄像单元(摄像部)的摄像元件7进行信号处理；以及作为显示装置(显示部)的监视器9，其显示由CCU 8生成的内窥镜图像。
内窥镜3包括具有挠性的细长的插入部(或者内窥镜插入部)11和设置于该插入部11的后端的操作部12，在设置于插入部11的前端附近的前端部13设置有照明窗和观察窗。在插入部11、操作部12内贯穿用于传递照明光的光导件14，该光导件14的后端的入射端与光源装置6相连接，由光源装置6内的未图示的光源灯或者LED产生的照明光入射到入射端。由该光导件14传递的照明光从安装于照明窗的射出端(前端面)向前方射出。
另外，在观察窗安装物镜15，该物镜15形成使被摄体成像的对物光学系统，在其成像位置处配置电荷耦合元件(CCD)等摄像元件7，由物镜15和摄像元件7形成作为摄像单元(摄像部)的摄像装置16，该摄像装置16将作为供插入部11插入的规定的管腔脏器的支气管2的内部作为被摄体来拍摄。
此外，在本实施方式中，物镜15的光轴方向与插入部11的前端部13(或者前端)的轴向或者长度方向平行。因而，由摄像装置16拍摄被摄体的摄像方向(或者用户经由摄像装置16进行观察的视线方向)成为沿着物镜15的光轴方向的物镜15的前方侧(与摄像元件7相反的一侧)的方向。另外，能够近似为物镜15的光轴方向与插入部11的前端部13的轴向或者长度方向一致。
因此，在本实施方式中，能够近似为摄像元件7的经由物镜15的摄像方向或者视线方向与插入部11的前端的轴向或者长度方向一致。而且，至少根据配置于插入部11的前端的物镜15的摄像方向或者视线方向的信息来决定插入部11的前端的位置和姿势，并反过来根据插入部11的前端的位置和姿势的信息来决定物镜15的摄像方向或者视线方向。
在本实施方式中，还能够将插入部11的前端的位置和姿势称为插入部11的前端的位置和前端的轴向或长度方向或者物镜15的视线方向。
此外，如图1所示，本发明并不限定于在前端部13设置有摄像装置16的结构的内窥镜3，在设置于前端部13的物镜15的成像位置处配置有由纤维束构成的图像导路的前端面的纤维镜和在该图像导路的目镜部安装有TV照相机的装有照相机的内窥镜的情况下也能够应用。无论在哪一个内窥镜的情况下，在前端部13都至少配置有物镜15。因此，相比于使用摄像装置16的视线方向，主要使用物镜15的视线方向或者基于物镜15的视线方向。
摄像元件7经由贯穿插入部11、操作部12内的信号线而与CCU 8相连接。CCU 8通过其内部的图像信号生成电路8a来生成与在摄像元件7的摄像面成像的光学像对应的摄像图像的图像信号，将该图像信号输出到监视器9。监视器9将图像信号的图像(运动图像)作为内窥镜图像来显示。
在内窥镜3的插入部11的前端部13的后端设置有弯曲自由的弯曲部19，施术者通过进行使设置于操作部12的弯曲操作旋钮20旋转的操作，能够经由未图示的操作线使弯曲部19向上下、左右中的任意方向弯曲。
上述插入辅助装置5具有：CT数据取入部21，其经由DVD、蓝光光盘、快闪存储器等便携式存储介质而取入作为患者的三维图像信息的CT数据，该作为患者的三维图像信息的CT数据是由公知的CT装置针对利用内窥镜3进行检查的患者生成的信息；以及CT图像数据存储部22，其存储由该CT数据取入部21取入的CT数据。
此外，CT图像数据存储部22也可以经由通信线路、因特网等来存储由CT装置生成的(作为被检体的患者的三维图像信息的)CT数据。该CT图像数据存储部22能够由硬盘装置、快闪存储器、DVD等构成。
另外，构成图像存储单元的CT图像数据存储部22具有对应图像信息存储部22a，该对应图像信息存储部22a将从CT数据中分离出图像数据而得到的CT图像数据与从CT数据中分离出位置信息而得到的同该CT图像数据对应的使用了第一坐标系的三维位置数据存储为相对应的对应图像信息。
另外，插入辅助装置5具有支气管提取部23，该支气管提取部23包括作为管腔脏器提取单元的管腔脏器提取电路等，作为管腔脏器提取单元的管腔脏器提取电路等从CT图像数据存储部22的CT图像数据中提取作为规定的管腔脏器的支气管2的三维图像数据。
该支气管提取部23根据提取出的支气管2的三维数据(更具体地说是三维的体数据)来生成表示支气管2的中空形状的三维形状的信息(形状数据)以及三维形状的图像信息(图像数据)。也就是说，支气管提取部23具有作为支气管形状图像生成单元的支气管形状图像生成部23a，作为支气管形状图像生成单元的支气管形状图像生成部23a根据提取出的支气管2的三维数据来生成中空的三维形状的作为支气管形状的图像的支气管形状图像。此外，支气管提取部23可以由中央处理装置(简称为CPU)等软件构成，或者也可以使用FPGA(Field Programmable Gate Array：现场可编程门阵列)等、电子电路元件而由硬件构成。此外，后述的图像处理部25、控制部26也相同，既可以由CPU等软件构成，也可以使用FPGA、电子电路元件而由硬件构成。
另外，该支气管提取部23在提取支气管2的三维数据时，与同三维数据对应的第一坐标系(或者CT坐标系)中的三维位置数据相对应地进行提取。而且，该支气管提取部23具有对应信息存储部23b，该对应信息存储部23b包括存储器等，该存储器存储使支气管2的三维形状的数据(即支气管形状数据)与三维位置数据相对应的对应信息。
另外，插入辅助装置5具有VBS图像生成部24，该VBS图像生成部24包括形成虚拟内窥镜图像生成单元的VBS图像生成电路，形成虚拟内窥镜图像生成单元的VBS图像生成电路生成与利用摄像元件7经由设置于内窥镜3的插入部11的前端部13的物镜15拍摄的内窥镜图像对应的作为虚拟的内窥镜图像的虚拟内窥镜图像(称为VBS图像)。
例如从输入装置31向VBS图像生成部24输入与搭载于内窥镜3的前端部13的物镜15及摄像元件7有关的信息(物镜15的焦点距离、摄像元件7的像素数、像素尺寸等信息)。
VBS图像生成部24根据通过配置于实际插入到支气管2内的内窥镜3的前端的物镜15使支气管2内的被摄体在摄像元件7的摄像面上成像的成像系统的特性信息、将在摄像面上成像的光学像变换为内窥镜图像的摄像元件7的像素尺寸、像素数等信息、支气管形状数据，将插入到支气管2内的上述内窥镜3的插入部11的前端在CT坐标系中的三维位置(也简称为位置)作为视点位置，虚拟地描绘利用内窥镜对沿着物镜15的视线方向的支气管2内进行拍摄得到的内窥镜图像来生成VBS图像。
也就是说，VBS图像生成部24设为在CT坐标系中将插入部11的前端(的物镜15)的位置作为视点位置，在该视点位置处将物镜15虚拟地配置成其光轴沿着视线方向，在物镜15的成像位置处虚拟地配置有摄像元件7的摄像面，将在该摄像面上成像的支气管2内的图像生成为VBS图像。
因而，在对内窥镜图像与VBS图像这两个图像进行图像匹配使得它们充分一致的状态下，能够根据CT坐标系中的VBS图像的视点位置和视线方向信息来获取内窥镜3的插入部11的前端的位置和与配置于前端的物镜15的视线方向几乎一致的前端的长度方向的姿势的信息。后述的位置姿势计算部25b通过这样来计算(估计)位置姿势信息。
此外，在内窥镜3具有产生各内窥镜3固有的识别信息的由ROM等构成的识别信息产生部的情况下，也可以设为，VBS图像生成部24根据与插入辅助装置5相连接的内窥镜3的识别信息来自动地获取搭载于该内窥镜3的物镜15和摄像元件7的信息，生成对应的VBS图像。
另外，插入辅助装置5具有：图像处理部25，其构成为进行对位处理部25a等的图像处理，该对位处理部25a构成为通过图像匹配来进行从CCU 8输入的内窥镜图像与VBS图像生成部24的VBS图像的对位；作为控制单元的控制部26，其构成为进行图像处理部25等的控制；以及作为位置姿势信息记录单元的位置姿势信息记录部27，其构成为在控制部26的控制下存储作为用于插入辅助的信息来利用的插入部11的前端的位置和姿势的信息。此外，在本实施方式中，根据(与配置于前端的物镜15的视线方向几乎一致的)前端的长度方向或者轴向来决定插入部11的前端的姿势。
另外，插入辅助装置5具有：MPR图像生成部28，其构成为根据CT图像数据存储部22中存储的CT图像数据来生成作为多平面重建图像的CT断层图像(称为MPR图像)；以及路径设定部29，其构成为生成具有由MPR图像生成部28生成的MPR图像的、作为插入路径的设定画面的路径设定画面，并设定将内窥镜3向支气管2内的目标部位侧插入时的路径。
而且，路径设定部29具有路径数据生成部(或者路径数据生成电路)29a的功能，例如在如图2A所示那样根据CT图像数据指定了目标部位36的情况下，该路径数据生成部(或者路径数据生成电路)29a根据CT图像数据和支气管形状图像2a生成支气管2中的从(插入部11的)插入开始位置起到成为目标部位36附近的目标位置为止的路径数据。此外，在图2A中，示出了支气管2中的管腔分支为支气管分支的边界的痕迹Spi(i＝1，2，3，4，5)、作为管腔的中心线的芯线35进行分支的分支点Bi。
另外，内窥镜系统1具有输入装置31，该输入装置31包括对路径设定部29输入设定信息的键盘、指示设备等。另外，施术者能够从该输入装置31对图像处理部25输入进行图像处理时的参数、数据或者对控制部26进行控制动作的选择、指示。
另外，在施术者进行了路径设定的情况下，路径设定部29将所设定的路径的信息发送至VBS图像生成部24、MPR图像生成部28、控制部26。VBS图像生成部24和MPR图像生成部28分别生成沿着路径的VBS图像、MPR图像，控制部26沿着路径对各部的动作进行控制。
向上述图像处理部25输入由CCU 8生成的内窥镜图像和由VBS图像生成部24生成的VBS图像。另外，由支气管形状图像生成部23a生成的支气管形状图像2a也被输入到图像处理部25。
在本实施方式中，在配置有摄像装置16的插入部11的前端部13未搭载有用于检测插入部11的前端的位置的传感器，因此图像处理部25的对位处理部25a通过图像匹配来估计(或者计算)插入部11的前端的位置和作为其姿势的前端的长度方向或者轴向。也就是说，对位处理部25a具有通过图像匹配来计算插入部11的前端的位置和姿势的信息的作为位置姿势计算单元的位置姿势计算部(位置姿势计算电路)25b的功能。
进行补充说明，预先将支气管2的入口、隆突(Carina)K(参照图2A)等能够根据支气管形状图像2a利用CT坐标系来确定的三维位置(已知的位置)或者其附近位置设定为图像匹配的开始位置，并且VBS图像生成部24根据考虑到物镜15的视线方向和光学特性而设定的其位置姿势信息来生成VBS图像。
而且，施术者以使内窥镜图像看起来与VBS图像相同的方式将插入部11的前端插入。通过进行这样的对位，图像处理部25的对位处理部25a以使内窥镜图像与VBS图像在所设定的条件下(能够确保规定的精度的误差以内)一致的方式开始图像匹配的处理。通过进行这样的处理，对位处理部25a具有通过估计来检测或者计算插入部11的前端的位置和由物镜15的视线方向(或者前端的长度方向)决定的姿势的作为位置姿势计算单元的位置姿势计算部(位置姿势计算电路)25b的功能。
此外，位置姿势计算部25b具有通过估计来检测或者计算插入部11的前端的三维位置的作为位置计算单元的位置计算部(位置计算电路)25c的功能。
也可以如后述的图4示出的变形例那样在前端部13设置用于检测位置的位置传感器41，构成使用该位置传感器41来检测(计算)插入部11的前端的三维位置的位置计算部42b，通过图像匹配来计算姿势。此外，在本说明书中，将插入部11的前端以与内窥镜3的前端相同的意思来使用。
另外，图像处理部25具有：作为图像比较单元的图像比较部(图像比较电路)25d，其将利用摄像元件7经由物镜15获取到的内窥镜图像与VBS图像进行比较；作为视线方向检测单元的视线方向检测部(视线方向检测电路)25e，其检测物镜15的视线方向；以及作为方向比较单元的方向比较部(方向比较电路)25f，其将作为支气管2的管腔的中心线的方向的芯线方向与视线方向进行比较。
另外，图像处理部25具有芯线方向计算部(芯线方向计算电路)25g，该芯线方向计算部(芯线方向计算电路)25g计算(获取)由视线方向检测部25e检测出视线方向的插入部11的前端的位置附近的芯线方向。芯线方向计算部25g例如将与由视线方向检测部25e检测出视线方向的插入部11的前端的位置附近对应的CT坐标系中的芯线35的切线或者接近该切线的方向计算为(与视线方向进行比较时的)芯线方向。而且，方向比较部25f将上述视线方向与由芯线方向计算部25g计算出的芯线方向进行比较。也可以设为视线方向检测部25e或者方向比较部25f具备芯线方向计算部25g的功能的结构。在构成为方向比较部25f具备芯线方向计算部25g的功能的情况下，方向比较部25f计算由构成管腔脏器提取部的支气管提取部23提取出的作为规定的管腔脏器的支气管的芯线方向，将计算出的芯线方向与由视线方向检测部25e检测出的视线方向进行比较。
在通过图像比较部25d得到的比较结果是内窥镜图像与VBS图像在预先设定的条件以内一致的情况下，上述位置姿势计算部25b计算(获取)插入部11的前端的位置和姿势信息(换言之，插入部11的前端的位置和物镜15的视线方向的信息)。
上述视线方向检测部25e几乎等效于检测插入部11的前端的长度方向的前端方向检测单元，根据由上述位置姿势计算部25b计算出插入部11的前端的位置和姿势的信息时的姿势的信息来计算(检测)视线方向。因此，也可以构成为位置姿势计算部25b具备视线方向检测部25e的功能。
另外，图像处理部25具有图像生成部的功能，该图像生成部构成为在控制部26中的构成为控制显示的显示控制部26a等的控制下生成在监视器32中显示的图像。
另外，图像处理部25具有：图像存储器25h，其临时存储图像比较部25d进行图像比较时的内窥镜图像和VBS图像的图像数据等，临时存储位置、姿势、视线方向等的数据；以及构成为构成方向变化检测单元的方向变化检测部(方向变化检测电路)25i(图1中用虚线示出)，其如后文所述那样监视内窥镜图像有无旋转变化，根据内窥镜图像有无旋转变化的检测结果来检测插入部11旋转的方向变化。
在显示控制部26a的控制下，图像处理部25通常将由支气管形状图像生成部23a生成的支气管形状图像2a的图像信号(影像信号)输出到监视器32，在监视器32中如图2A所示那样将支气管形状图像2a例如显示为以沿着通过管腔的中心的方向的截面切出的二维断层图像。此外，并不限定于以二维断层图像进行显示的情况，也可以以三维图像进行显示。在以三维图像进行显示的情况下，例如也可以以通过平行投影法得到的投影图来显示、通过透视图来显示使得能够了解管腔内部。
另外，如图2A所示，在显示于监视器32的支气管形状图像2a中还显示通过支气管2的管腔的中心的芯线35。例如由支气管形状图像生成部23a生成芯线35，也可以在图像处理部25中生成芯线35。
在施术者等用户将插入部11从其前端插入到支气管2内时显示芯线35，因此通过将该显示作为参考而容易进行插入部11的插入操作。另外，通过进行沿着芯线35插入的操作，能够在短时间内进行通过图像匹配来计算(估计)插入部11的前端的位置和姿势的处理。
在插入到支气管2的深部侧(末端侧)的操作中，图像处理部25利用内窥镜图像与VBS图像这两个图像的匹配(图像匹配)，不仅能够进行在CT坐标系中计算插入部11的前端的移动后的位置和姿势的处理，还能够进行计算移动距离的处理。
也就是说，在某一位置处两个图像匹配的情况下，伴随着使插入部11的前端沿着芯线35(为了插入而)移动的操作而内窥镜图像发生变化。
在该情况下，对位处理部25a或者位置姿势计算部25b使用在沿着芯线35的路径上移动的情况下(从VBS图像生成部24输出)的VBS图像，通过图像处理来选出与上述内窥镜图像匹配最好的VBS图像，将与选出的VBS图像对应的三维位置计算(估计)为插入部11的前端的位置。因而，位置姿势计算部25b、位置计算部25c还能够根据两个位置的差量来计算(估计)所移动的移动距离。
此外，插入部11的前端也有时会在从芯线35上偏离的位置处移动，因此VBS图像生成部24能够生成从芯线35仅偏心适当的距离的位置处的VBS图像，并将所生成的VBS图像输出到对位处理部25a。通过这样，能够扩大基于图像匹配的位置计算的范围。也可以设为，上述控制部26根据由对位处理部25a计算出的插入部11的前端的位置，校正由路径数据生成部29a(在内窥镜3的插入部11插入前)生成的路径数据。
另外，控制部26具有条件判定部(条件判定电路)26b的功能，该条件判定部(条件判定电路)26b判定由图像处理部25(的位置姿势计算部25b)计算出的插入部11的前端是否满足规定条件。在判定结果是满足规定条件的情况下，条件判定部26b将相应的插入部11的前端的位置和(与物镜15的视线方向对应的)姿势的信息、即位置姿势信息记录于由存储器等构成的位置姿势信息记录部27。
因此，条件判定部26b具有使位置姿势信息记录于位置姿势信息记录部27的作为记录控制单元的记录控制部(记录控制电路)的功能。此外，在使位置姿势信息记录于位置姿势信息记录部27的情况下，除了记录位置姿势信息以外，还可以将与该位置姿势信息对应的VBS图像及该记录的时间与位置姿势信息相关联地记录于位置姿势信息记录部27。
这样，在提示为了进行再次对位而提示的信息(也称为候选信息)的情况下，能够在短时间内获取与位置姿势信息对应的VBS图像并显示。另外，通过记录进行记录时的时间，例如能够进行控制使得选择性地显示接近进行再次对位的时间的过去信息或者显示规定的时间间隔内的多个信息。另外，通过在显示(提示)信息时显示时间，施术者容易掌握信息的时间变化等。
此外，在不记录VBS图像的情况下，也能够根据所记录的位置姿势信息来获取与该位置姿势信息对应的VBS图像并显示。但是，在将插入部11插入到支气管2的深部侧的设为目标的目标位置的过程中，在进行再次对位等而校正了以前对位时的坐标系的情况下，需要考虑该校正等来获取VBS图像并显示。如果如上述那样还记录VBS图像，则无论有无进行再次对位都能够在短时间内显示与各位置姿势信息对应的VBS图像。
在本实施方式中，将由方向比较部25f进行比较得到的支气管2的芯线方向与由视线方向检测部25e检测出的视线方向所成的角θ为规定的阈值以下的情况设定为满足上述规定条件的情况。此外，规定的阈值的信息例如被记录于由存储器等构成的位置姿势信息记录部27，但是也可以记录于位置姿势信息记录部27以外的存储器等记录装置。
在支气管2的芯线方向与视线方向所成的角θ为规定的阈值以下的情况下，上述方向比较部25f进行控制以将该情况下的插入部11的前端的位置和姿势的信息记录于位置姿势信息记录部27。此外，在图1中示出了将条件判定部26b设置在控制部26内部的结构，但是也可以设为在图像处理部25内设置条件判定部26b的结构。
另外，也可以设为方向比较部25f具备条件判定部26b的功能的结构。此外，也可以代替使用上述两个方向所成的角θ而利用以下内积来设定上述规定条件。也可以计算(设定)上述芯线方向和视线方向的各单位矢量，计算两个矢量的内积，将计算出的内积的值为阈值以上的情况设定为满足上述规定条件的情况。
在两个方向所成的角θ为规定的阈值以下的条件下，由于插入部11的前端的视线方向与芯线方向大致相同，因此，在该情况下，成为可看见支气管2的末梢侧的状态，在该状态下，当附近存在分支部时，能够在视场内捕捉到插入的情况下的成为特征区域的分支部，也容易进行对位。与此相对，如果无论是否满足规定条件都记录位置姿势信息，则也包含不适合于对位的信息，难以顺利地进行再次对位。
在对位置姿势信息记录部27记录位置姿势信息的情况下，也可以设为记录插入部11的前端的位置和姿势以及同该前端的位置和姿势对应的VBS图像(与其视线方向或者姿势信息一并记录)，作为在需要提示的情况下提示的候选信息来记录。
也就是说，也可以将位置姿势信息记录部27设为具备位置姿势信息&VBS图像生成信息记录部27a的结构，该位置姿势信息&VBS图像生成信息记录部27a记录插入部11的前端的位置姿势信息、与该位置姿势信息对应的VBS图像、以及用于生成VBS图像的CT坐标系的位置及视线方向的信息等VBS图像生成信息。
另外，记录于位置姿势信息记录部27等的信息是能够通过读出而在监视器32中作为成为对位的候选的候选信息被提示(显示)的信息，因此还可以说是具有记录候选信息的候选信息记录部的功能。
此外，也可以设为也将同上述位置姿势信息对应的内窥镜图像与该位置姿势信息、同该位置姿势信息对应的VBS图像、其记录时间一并记录于位置姿势信息记录部27。而且，也可以设为在进行再次对位的情况下能够利用记录于位置姿势信息记录部27的与VBS图像一并记录的内窥镜图像。
在本实施方式中，在将插入部11插入到支气管2内的目标位置的操作过程中，在满足上述视线方向与芯线方向所成的角θ为规定的阈值以下的条件的情况下，将插入部11的前端的位置和姿势的信息等记录于位置姿势信息记录部27。
另外，也可以代替记录插入部11的前端的位置姿势信息而记录由芯线方向计算部25g计算出的芯线上的点和芯线方向。在该情况下，根据所记录的位置姿势信息来获取VBS图像并显示。
由此，在从通过图像匹配进行最初的对位之后由于插入部11的移动操作而插入部11的前端的(利用了图像匹配的)位置估计的精度下降从而需要进行再次对位(或者再对位)的情况下等，能够将用于该再对位的信息作为候选信息来提示。
施术者也可以从构成输入装置31的键盘、鼠标等向图像处理部25或者控制部26指示输入进行再对位的指示。
当进行再对位的指示等(或者进行触发输入)时，控制部26的显示控制部26a从位置姿势信息记录部27读出插入部11的前端的当前位置附近的候选信息，经由图像处理部25进行在监视器32中提示候选信息的控制。
进行在监视器32中提示候选信息的控制的显示控制部26a具有候选信息提示控制部的功能，该候选信息提示控制部构成为进行候选信息提示的控制。另外，图像处理部25具有候选信息生成部的功能，该候选信息生成部构成为接受显示控制部26a的候选信息提示的控制来将候选信息显示于监视器32。
此外，显示控制部26a也可以进行控制使得从位置姿势信息记录部27读出信息，以不经由图像处理部25的方式在监视器32中提示候选信息。在监视器32中提示候选信息的情况下，例如在图2D中作为二维断层图像而示出的支气管形状图像2a上显示与图像比较有关(或者通过图像比较得到)的候选信息中的插入部11的前端的位置和姿势的信息以及与该候选信息对应的VBS图像。
如上所述，在插入部11的前端移动了的情况下，图像处理部25的对位处理部25a利用图像匹配来估计(计算)插入部11的前端和姿势，但是有时会产生在所设定的精度以内无法进行图像匹配的图像匹配错误。
在该情况下，图像处理部25的对位处理部25a产生图像匹配错误的信号，在监视器32中显示产生了图像匹配错误。另外，对位处理部25a将图像匹配错误的信号发送到控制部26，控制部26的显示控制部26a进行在监视器32中提示候选信息的控制。而且，上述监视器32形成候选信息提示单元(候选信息提示部)，该候选信息提示单元(候选信息提示部)构成为对施术者提示候选信息。
施术者使用候选信息来进行再次对位处理。通过进行再次对位处理，施术者能够从进行该再次对位处理的位置附近起继续进行插入部11的插入操作。
另外，在施术者判断为图像匹配的精度恶化的情况下，也可以进行再对位的指示来进行上述处理。
具有这种结构的内窥镜系统1的特征在于，具备：CT图像数据存储部22，其构成为形成图像存储单元，存储预先获取到的被检体中的三维图像信息；支气管提取部23，其构成为形成管腔脏器提取单元，从上述三维图像信息中提取作为规定的管腔脏器的支气管2；作为对物光学系统的物镜15，其设置于内窥镜3的插入部11的前端；视线方向检测部25e，其构成为形成视线方向检测单元，检测物镜15的视线方向；方向比较部25f，其构成为形成方向比较单元，将由上述管腔脏器提取单元提取出的上述规定的管腔脏器的芯线方向与上述视线方向进行比较；以及位置姿势信息记录部27，其构成为形成位置姿势信息记录单元，在上述芯线方向与上述视线方向所成的角为规定的阈值以下的情况下记录上述内窥镜3的插入部11的前端的位置和姿势的信息。
接着，参照图3的流程图说明本实施方式中的代表性处理。接通图1的内窥镜系统1中的内窥镜装置4、插入辅助装置5的电源，当各部成为动作状态时，在图3示出的最初步骤S1中，对于内窥镜3的插入部11的前端，将患者的支气管2的入口位置等施术者通过内窥镜图像容易判断位置的部位设定为至少一个基准位置。
然后，图像处理部25的对位处理部25a将基准位置处的VBS图像生成部24的VBS图像(的图像信号)输出到监视器32。施术者从输入装置31指定一个基准位置，将插入部11的前端插入到所指定的基准位置，并且对图像处理部25的对位处理部25a进行指示使其进行对位处理。
在进行步骤S1的对位处理之后，如步骤S2所示，对位处理部25a(的位置姿势计算部25b)根据对位处理的结果通过图像匹配来估计(计算)插入部11的前端的位置和姿势。具体地说，使用对位的位置的信息作为图像匹配的初始值，通过图像处理来计算与内窥镜图像匹配最好的VBS图像。
在步骤S3中，对位处理部25a进行如下判定：通过图像匹配是否在规定条件以内(例如估计位置位于支气管内部)估计出了插入部11的前端的位置和姿势(即位置和姿势的估计是否成功)。在步骤S3的判定为成功的情况下，如步骤S4所示，图像处理部25(的图像生成部)进行如下图像处理：将由位置姿势计算部25b估计出的插入部11的前端的位置叠加地显示在支气管形状图像2a上的估计出的位置处。图2B示出通过步骤S4的图像处理生成的图像的显示例。
图2B用双点划线示出插入到支气管2内的内窥镜3的插入部11的前端侧，并且示出将作为其形状图像的、支气管形状图像2a中的估计出的插入部11的前端的位置P1和同姿势对应的前端的长度方向或者视线方向D1叠加地显示(在支气管形状图像2a中)的情形。
此外，在图2B中用箭头示出与插入部11的前端的姿势对应的长度方向或者视线方向D1。另外，在步骤S3的判定处理为成功的情况下，进行步骤S4的处理并且进行步骤S5的处理。
在步骤S5中，视线方向检测部25e根据由位置姿势计算部25b估计(计算)出的插入部11的前端的姿势信息来计算物镜15的视线方向D1。另外，芯线方向计算部25g计算在计算出视线方向D1的上述插入部11的前端的位置附近的芯线方向E1。然后，方向比较部25f将视线方向D1与芯线方向E1进行比较，将比较结果输出到条件判定部26b。
在下一步骤S6中，条件判定部26b判定视线方向D1与芯线方向E1所成的角θ是否为预先设定的规定的阈值θth以下。
图2C示出步骤S5的处理的情形。在图2C中，用P1示出插入部11的前端的估计出的位置，用D1示出其视线方向。另外，用C1示出最接近位置P1的芯线35的位置，芯线方向计算部25g针对该位置C1来计算其芯线方向E1，方向比较部25f将两个方向进行比较。此外，也可以设为芯线方向计算部25g例如将从位置P1起到与芯线35的交点为止的长度为最小的垂直线的情况下的位置作为C1来计算芯线方向E1。另外，也可以设为针对满足接近从位置P1朝向芯线35引出的垂线的条件的位置来计算芯线方向E1。
在图2C中示出利用方向比较部25f来计算两个方向所成的角θ的情形。条件判定部26b判定作为比较结果的计算出的角θ是否为规定的阈值θth以下。在判定结果是如图2C所示那样计算出的角θ为规定的阈值θth以下的情况下，在下一步骤S7中，位置姿势信息记录部27在将该判定结果的情况下的作为插入部11的前端的位置和姿势的信息的位置姿势信息与(同该位置姿势对应的)VBS图像及该判定结果的时间一并记录之后转移到步骤S10的处理。此外，在该情况下，也可以设为也将同该位置姿势对应的内窥镜图像与该位置姿势相关联地记录。此外，也可以设为，在步骤S7中仅记录位置姿势信息，或者记录位置姿势信息与时间的信息，或者记录位置姿势信息与VBS图像。
另一方面，在步骤S3的估计为失败的情况下，转移到步骤S8的处理。在步骤S8中，对位处理部25a产生图像匹配错误的信号。该信号成为候选信息的提示信号，被输入到控制部26。
控制部26的显示控制部26a进行提示候选信息的控制。显示控制部26a进行控制以将包含与在产生候选信息的提示信号之前位置姿势信息记录部27中记录的位置姿势信息对应的VBS图像的信息作为候选信息显示在监视器32中，之后返回到步骤S1的处理。
图2D示出在监视器32中显示的候选信息的例子。在图2D中示意性地示出产生图像匹配错误的信号的状态下的插入部11的前端的位置P3(实际上位置P3不固定)。此时，根据位置姿势信息记录部27中记录的位置姿势信息，在监视器32中，在支气管形状图像2a上显示前端的位置P2及其姿势(视线方向)D2，并且显示与该位置姿势信息对应的VBS图像。
另外，在本实施方式中，图像处理部25进行图像处理使得例如虚线所示那样与VBS图像相邻地显示与上述位置姿势信息对应的内窥镜图像。在该情况下，也可以设为在与VBS图像相邻的位置处以相同显示倍率进行显示使得容易进行比较。
并且，也可以设为将VBS图像或者内窥镜图像中的一方以移动自由的方式显示，施术者能够使用鼠标等将一个图像叠加显示(合成显示)在另一个图像上。通过这样，施术者容易确认图像匹配的程度。
并且，也可以设图像处理部25进行如下图像处理：将从CCU 8输入的当前内窥镜图像也显示在VBS图像或者内窥镜图像的周边。
此外，图2D例如示出产生图像匹配错误的信号的情况下的、基于在产生该信号之前最新记录的位置姿势信息的候选信息的例子。施术者还能够从输入装置31输入候选信息的显示数，适当地设定在监视器32中同时显示的VBS图像等候选信息的显示数。
施术者将图2D的VBS图像作为参考，例如使插入部11的前端移动等来进行对位操作，使得成为当前的内窥镜图像与显示在监视器32上的VBS图像充分一致的状态。而且，对位处理部25a在充分一致的对位后的设定状态下，获取该设定状态下的VBS图像的视点位置和视线方向的信息，将该信息用作以后的插入部11的前端的位置和姿势的信息。通过这样，反复进行步骤S2及以后的处理。
此外，也可以使图2D示出的当前的内窥镜图像叠加显示在VBS图像和同该VBS图像以规定的精度图像匹配的内窥镜图像(所记录的基准的内窥镜图像)这两者的图像上。在该状态下，施术者通过调整插入部11的前端的包括其姿势的位置，能够确认当前内窥镜图像与VBS图像的对位程度，并且能够确认当前内窥镜图像与基准内窥镜图像的对位程度。
VBS图像是未考虑支气管2的内壁的皱襞等细微的凹凸的图像，与此相对，基准内窥镜图像是在先前的时间中实际拍摄得到的、对支气管2内进行拍摄得到的图像，因此还存在在内窥镜图像彼此之间进行比较更容易确认对位的程度的情况。施术者在本实施方式中的两个叠加图像(VBS图像与当前内窥镜图像、基准内窥镜图像与当前内窥镜图像)中，能够参考容易确认对位的程度的叠加图像(或者两个叠加图像)来确认对位的程度。
在上述图3的步骤S6中计算出的角θ超过规定的阈值θth的情况下或者在步骤S7中记录了位置姿势信息等的情况下，在步骤S10中，控制部26检测施术者是否使输入装置31产生提示候选信息的指示信号(触发)。
关于此，在没有检测出图像匹配的估计失败的情况下，例如在当内窥镜急剧地移动时基于图像匹配的估计位置满足规定条件(是否处于支气管内部)但是明显位于其它位置的情况下，在判定为施术者进行再次对位时产生指示信号。而且，在存在触发的情况下，转移到步骤S8的处理。
另一方面，在不存在步骤S10的触发的情况下，在下一步骤S11中，位置姿势计算部25b判定插入部11的前端是否被插入到目标位置。
在插入部11的前端未被插入到目标位置的情况下，施术者参考在监视器32中显示的插入部11的前端的位置姿势信息的显示，如步骤S12所示那样将插入部11的前端向支气管2的深部侧插入。
在步骤S12的处理之后，返回到步骤S2，进行插入部11的前端的位置和姿势的估计处理。在步骤S11中，在插入到目标位置的情况下，结束图3的插入操作。
在这样进行动作的本实施方式中，将内窥镜的姿势的信息与前端位置作为位置姿势信息一并记录使得容易进行再次对位等。因而，根据本实施方式，在施术者正在进行将插入部11插入的操作时，将能够在进行再次对位的情况下使用的作为提示用的候选信息的插入部11的前端的位置姿势信息记录于位置姿势信息记录部27，在插入部11的前端的位置估计等失败的情况下，能够提示适合于对位的提示用的候选信息，因此能够顺利地进行插入操作。
另外，在本实施方式中，利用图像匹配的图像处理来进行插入部11的前端的位置和姿势的估计，因此，由于图像处理的算法不同而误差容易从最初的对位状态起逐渐变大。
在这种情况下，也能够通过再次进行基于图像匹配的再次对位而充分地减小误差来进行从再次对位后的位置附近起向更深部侧插入的操作。
图4示出第一实施方式的第一变形例的内窥镜系统1B的结构。图4示出的内窥镜系统1B是在图1的内窥镜系统1中还在插入部11的前端部13内的摄像装置16附近的位置处设置有用于检测摄像装置16或者插入部11的前端的位置的位置传感器41。
另外，在内窥镜3和被检体的外部且插入辅助装置5内的规定位置处设置有计测处理装置或者计测处理部42，该计测处理装置或者计测处理部42进行计测(检测)该位置传感器41的三维位置(也简称为位置)的处理。位置传感器41的检测信号被输入到计测处理部42。
该计测处理部42具有使用位置传感器41对插入到作为规定的管腔脏器的支气管2内的插入部11的前端的三维位置进行计算或者估计的作为位置计算单元的位置计算部(或者位置估计部)42b的功能。在该情况下，不具有图像处理部25内的位置计算部25c。
作为本变形例的位置计算(位置估计)的单元或者方法，例如能够使用利用了磁性的单元或者方法。由线圈构成的位置传感器41检测从与计测处理部42相连接的多个天线42a发出的交流磁场，(具备振幅检测电路和相位检测电路的)计测处理部42检测由该位置传感器41检测出的信号中的该信号的振幅和相位，由此计测从天线42a起到位置传感器41为止的距离。计测处理部42通过将三个以上的多个天线42a设置于互不相同的已知位置，能够确定位置传感器41的三维位置。
此外，也可以构成为，对构成位置传感器41的线圈施加交流信号来使其周围产生交流磁场，在天线42a侧检测交流磁场来计算或者检测位置传感器41的位置。将使用了线圈的磁式位置检测装置作为一例进行了说明，但是位置传感器41和计测处理部42的结构并不限定于上述说明的情况。
例如，也可以是，沿着插入部11的长度方向以规定间隔配置用于检测位置的多个线圈，根据多个线圈的位置来估计插入部11的形状，从而能够检测前端部13等的位置。由计测处理部42计算(估计)出的插入部11的前端的位置信息被输出到控制部26和图像处理部25。
在本变形例的情况下，对管理支气管2的三维形状的图像数据的作为CT坐标系的第一坐标系中的位置(位置信息)与以位置传感器41的天线为基准的作为传感器坐标系的第二坐标系中的位置(位置信息)进行对位。例如，图像处理部25也可以具有进行两个坐标系的对位(注册，registration)及其控制的对位处理部25a的功能，控制部26也可以如虚线所示那样具有对位处理部26c的功能。
图5示出注册动作的说明图。施术者将内窥镜3的前端部13(或者位置传感器41)例如依次设定于支气管2的入口附近的例如四个点Q0-Q3，从输入装置31进行在第一坐标系O-XYZ和第二坐标系o-xyz中分别进行位置对应的指示或者指示输入。因此，输入装置31形成进行位置对应的指示的指示输入部或者指示输入单元。
例如，将前端部13(或者位置传感器41)依次设定于第一坐标系O-XYZ中的原点O的位置Q0(0，0，0)、X坐标上的位置Q1(1，0，0)、Y坐标上的位置Q2(0，1，0)以及Z坐标上的位置Q3(0，0，1)，施术者进行位置对应的指示。在该指示中，当将在各位置处由计测处理部42依次计测得到的位置设为(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)时，控制部26进行位置对应，并进行控制使得将位置对应信息记录于位置姿势信息记录部27。
位置姿势信息记录部27记录该情况下的位置对应信息(具体地说，是第一坐标系O-XYZ中的Q0(0，0，0)、Q1(1，0，0)、Q2(0，1，0)、Q3(0，0，1)在第二坐标系o-xyz中与(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)分别对应的信息)。
另外，对位处理部26c使用位置姿势信息记录部27中存储的位置对应信息来决定用于将两个坐标系的任意位置对应起来的变换信息。对位处理部26c将该变换信息记录于位置姿势信息记录部27。
在图5中，将坐标位置Q0(0，0，0)、Q1(1，0，0)、Q2(0，1，0)、Q3(0，0，1)以及分别对应的坐标位置(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)简化地表示为 此外，不仅可以用在图5中示出的四个点进行(决定)位置对应，也可以用省略了其中的一个点后的三个点进行(决定)位置对应。
具体地说，施术者使内窥镜3的前端部13与在第一坐标系中指定的位置依次接触。此时，作为表现在第一坐标系中指定的位置的方法，使用VBS图像。也就是说，施术者对内窥镜3进行操作使得VBS图像与内窥镜图像看起来相同。另外，在设定为VBS图像与内窥镜图像看起来相同的状态下，将生成了该VBS图像的情况下的视线方向的信息作为插入部11的前端的视线方向的信息(即姿势信息)来获取(设定)。
在这样结束位置对应的处理之后，施术者将内窥镜3的插入部11插入到支气管2内以开使进行内窥镜检查。
在本变形例中，在如由位置计算部(位置估计部)42b估计出的插入部11的前端的位置所对应的CT坐标系(第一坐标系)的位置不满足位于支气管2的管腔内侧的条件的情况那样两个坐标系的位置偏离变得明显的情况下，判定为处于位置估计失败的状态。其它结构与图1的第一实施方式相同。
关于本变形例的动作，除了变更为使用位置传感器41来估计插入部11的前端的位置、由控制部26的对位处理部26c进行在对位失败的情况下进行的再次对位以外，进行与表示第一实施方式的动作的图3几乎相同的处理。
在本变形例的情况下，图像处理部25的对位处理部25a具有第二对位处理部的功能，该第二对位处理部构成为进行基于图像匹配的对位。
另外，对位处理部25a具有对位监视处理部的功能，该对位监视处理部构成为通过图像匹配来监视两个坐标系的对位状态。例如，在将插入部11的前端插入到支气管2内的情况下，随着插入部11的前端的移动，内窥镜图像和由位置计算部42b计算出的在第二坐标系中的位置发生变化。
另外，与第二坐标系中的位置变化对应地，根据CT坐标系(第一坐标系)的位置信息生成并被输入到图像处理部25的VBS图像也发生变化。图像处理部25的对位处理部25a监视两个图像，在两个图像的偏离量偏离到预先设定的值以上的情况下，判定为对位失败的状态(或者需要对位的状态)。
另外，在本变形例中，在如由位置计算部42b估计出的插入部11的前端的位置所对应的CT坐标系(第一坐标系)的位置不满足成为支气管2的管腔内侧的条件的情况那样两个坐标系的位置偏离变得明显的情况下，也判定为对位失败的状态(或者需要对位的状态)。其它结构与图1的第一实施方式相同。
关于本变形例的动作，除了变更为使用位置传感器41来估计插入部11的前端的位置以及由控制部26的对位处理部26c进行在对位失败的情况下进行的对位以外，进行与表示第一实施方式的动作的图3几乎相同的处理。
根据本变形例，在施术者正在进行将插入部11插入的操作的情况时，在满足规定条件的情况下，将位置姿势信息记录于位置姿势信息记录部27，在插入部11的前端的位置的估计失败的情况下，能够提示为提示用的候选信息，因此能够在短时间内进行再次对位，能够顺利地进行插入操作。
另外，在变形例中，在最初的对位之后使用位置传感器41来进行插入部11的前端的位置的估计，当距对位的位置的距离变大时，相对于最初的对位的状态误差容易变大。即使在这种情况下，也能够通过使用位置传感器41并且使用了图像匹配的再次对位来充分地减小误差而顺利地进行从再次对位的位置附近起向更深部侧插入的操作。
此外，在上述第一实施方式中，也可以设为，在判定计算出的角θ是否为规定的阈值θth以下的情况下，根据支气管2的分支次数来进行变更。图6示出该第二变形例的情况下的处理的一部分。图6变更了图3的处理的一部分。图6的步骤S1-S3与图3相同，在步骤S3的下一步骤S21中，图像处理部25在获取到分支次数之后，转移到步骤S4。
另外，步骤S4-S5是与图3的处理相同的处理，在步骤S5的下一步骤S6'中，条件判定部26b判定计算出的角θ是否为与次数对应地设定的规定的阈值θthj以下。步骤S6'的下一步骤S7及以后的处理与图3的情况相同。因此，在图6中省略了步骤S7及以后的部分。
根据本变形例，能够根据插入到支气管2内的插入部11的前端的位置来变更用于记录位置姿势信息的条件。例如，当如移动至支气管2的末梢侧那样从入口起的移动距离变大时，容易变为计算位置和姿势的精度容易下降的趋势。也就是说，记录用于进行再次对位的位置姿势信息的频率有可能降低。因此，也可以是，例如分支次数越多，则将规定的阈值θthj的值设定为越大的值，由此防止在末梢侧能够进行对位的位置间隔也大这种情况。此外，也可以代替上述分支次数而使用从支气管2的插入口起到支气管2的末梢侧的目标位置为止支气管2依次分支的分支顺序数。
(第二实施方式)
接着，说明本发明的第二实施方式。本实施方式中的结构与图1或者图4相同。本实施方式是在第一实施方式中将满足规定条件的情况下的本次(或者当前)视线方向与位置姿势信息记录部27中记录的最新的位置姿势信息中的视线方向(记录视线方向)Dre进行比较，在两个视线方向所成的角θd为第二规定的阈值θdth以上的情况下，将本次位置姿势信息记录于位置姿势信息记录部27。
此外，在本实施方式中，例如由条件判定部26b判定上述两个视线方向所成的角θd是否为第二规定的阈值θdth以上，但是也可以设为由条件判定部26b以外的结构要素(例如方向比较部25f、视线方向检测部25e)来进行上述判定。另外，将第二规定的阈值θdth的信息例如记录于位置姿势信息记录部27内。
图7示出本实施方式中的动作的代表例的流程图的一部分。图7中的处理与图3中的处理仅一部分不同。
图7中的步骤S1至步骤S6进行与图3示出的处理相同的处理。在步骤S6中满足计算出的角θ为规定的阈值θth以下的条件的情况下，在下一步骤S31中，例如条件判定部26b读出位置姿势信息记录部27中记录的最新的位置姿势信息中的视线方向Dre，发送到图像处理部25。
在步骤S32中，例如，方向比较部25f计算在步骤S5中计算出的当前视线方向与从位置姿势信息记录部27读出的视线方向Dre所成的角θd，发送到条件判定部26b。在步骤S33中，条件判定部26b判定角θd是否为第二阈值θdth以上。
在判定结果是角θd为第二规定的阈值θdth以上的情况下，在下一步骤S7中，将当前位置姿势信息与VBS图像及时间一并记录于位置姿势信息记录部27。
另一方面，在判定结果是角θd不为第二规定的阈值θdth以上的情况下，转移到步骤S10的处理。图7中的其它处理与图3的情况相同。
在第一实施方式中，在步骤S5中计算出的角θ在下一步骤S6中被判定为在规定的阈值θth以下的情况下，进行该判定的时间点(当前)的位置姿势信息随时间经过被记录于位置姿势信息记录部27。
与此相对，在本实施方式中，在步骤S6中判定为角θ为规定的阈值θth以下的情况下，还读出在该时间点的前一次记录于位置姿势信息记录部27的位置姿势信息中的视线方向Dre，计算与该时间点的视线方向所成的角θd，仅在判定结果是该角θd为第二规定的阈值θdth以上的情况下，该时间点的位置姿势信息随时间经过被记录于位置姿势信息记录部27。
换言之，在第一实施方式中，当满足视线方向与芯线方向所成的角θ充分小的条件时，反复记录满足该条件的时间点的位置姿势信息，与此相对，在本实施方式中，只要该时间点的视线方向与该时间点的前一次记录的视线方向所成的角θd不为第二规定的阈值θdth以上，就不记录该时间点的位置姿势信息。
因而，本实施方式中是在第一实施方式中仅在视线方向与前一次记录时的视线方向相比变化很大的情况下记录该时间点的位置姿势信息。而且，避免了过度地记录类似条件的位置姿势信息。在插入部11的前端通过从插入的位置分支的位置而向末梢侧的支气管分支侧移动的情况下，可期待在通过分支的位置时视线方向发生变化，因此能够记录这种移动时的位置姿势信息。
根据本实施方式，除了与第一实施方式大致相同地具有能够记录位置姿势信息的作用效果以外，还能够避免记录过度类似的位置姿势信息而收敛成适当的信息量的位置姿势信息来进行记录。因而，能够对施术者等用户仅提供接近所需最小限度的位置姿势信息，在进行再次对位时，候选信息不会过多，能够顺利地进行对位。换言之，能够提高用户使用便利性。另外，在本实施方式中，也可以设为如以下那样自动地决定上述第二规定的阈值θdth。
例如设置形成分支信息记录部的位置姿势信息记录部27，该分支信息记录部构成为记录分支信息，该分支信息包含由上述路径数据生成部29a生成的从插入部11的前端的插入开始位置起到成为目标部位36附近的目标位置为止的路径数据中的、支气管2在到达该目标位置的中途分支的一个以上的分支点的三维位置和分支角。而且，也可以设为，分支信息记录部根据分支点的分支信息来自动地决定第二规定的阈值θdth，方向比较部25f使用所决定的第二规定的阈值θdth将位置姿势信息记录部27中记录的过去视线方向与由视线方向检测部25e检测出的当前视线方向所成的角θd与所决定的第二规定的阈值θdth进行比较。
另外，也可以设为，分支信息记录部根据由视线方向检测部25e检测出当前视线方向时的上述插入部11的前端的三维位置，来自动地决定位于比该三维位置更靠目标位置侧的下一分支点的分支信息中的第二规定的阈值θdth。
换言之，与包含支气管2在到达目标位置的中途分支的各分支点的三维位置和分支角的分支信息相关联地分别记录第二规定的阈值θdth(的候选信息)，根据插入部11的前端当前所处的三维位置的信息，选择性地决定与预测为该插入部11的前端接着要到达的分支点的分支信息相关联地预先记录的第二规定的阈值θdth。
通过这样，即使在将插入部11的前端向目标部位36侧插入时中途的分支点的分支角等不同的情况下，也能够自动地设定第二规定的阈值θdth，施术者能够有效地辅助将插入部11的前端插入的作业。
此外，在本实施方式中，读出在步骤S31中记录的最新视线方向Dre并计算出与当前视线方向所成的角θd，但是作为其变形例，还可以读出包括最新视线方向的情况在内的整数n次之前(例如最新记录的视线方向相当于一次之前的n＝1)记录的视线方向Dren来计算与当前视线方向所成的角。
而且，也可以设为，判定计算出的角是否为与上述第二阈值θdth对应的阈值θdth＇以上，在判定结果是为第二阈值θdth＇以上的情况下，记录位置姿势信息。此外，本变形例的动作为以下动作：作为图7中的步骤S31的处理而换作读出n次之前记录的视线方向Dren，并且将步骤S32中的视线方向Dre换作Dren。
本变形例具有第一实施方式与第二实施方式的中间的作用效果。
(第三实施方式)
接着，说明本发明的第三实施方式。本实施方式具有与图1或者图4相同的结构。本实施方式是在第一实施方式和第二实施方式中还具备减少记录位置姿势信息的频率的单元。
在第一实施方式中，在支气管直径(支气管的内径)细的部位，所插入的插入部11与芯线平行地插入的频率变高，因此要记录的频率也会增加，所记录的位置姿势信息有可能多于施术者所期望的信息量。
另外，在第二实施方式及其变形例中，如果在支气管直径大的部位将插入部11插入时发生摇晃，则要记录的频率也会增加，所记录的位置姿势信息有可能多于施术者所期望的信息量。
要记录的位置姿势信息需要以外地增多对于施术者来说使用便利性降低。
因此，在本实施方式中，在图3的步骤S7的对位置姿势信息进行记录的处理之前，还判定是否满足以下a)～c)中的至少一个条件。而且，设为进行限制记录的处理使得在满足以下条件的情况下进行记录，以减少实际记录位置姿势信息的频率。
a)距上一次记录的前端的位置的距离为阈值Lth以上
b)在内窥镜图像中看到分支的图像时
c)插入部11的前端的位置与最接近该前端的位置的芯线35上的点之间的距离为阈值Lth2以下
图8示出本实施方式中的代表性处理例的流程图。
在图8中，从步骤S1至步骤S6的处理与图3的处理相同。另外，除了在步骤S6与步骤S7之间设置了以下说明的步骤S41～S43的处理以外，与图3的处理相同。
在步骤S6中满足计算出的角θ为规定的阈值θth以下的条件的情况下，在步骤S41中，具有距离计算部的功能的例如位置计算部25c判定是否满足距上一次记录的前端的位置的距离L1为阈值Lth1以上的条件。
在满足该条件的情况下，进入到步骤S7的处理，在不满足该条件的情况下转移到步骤S42的处理。在步骤S42中，设置于图像处理部25的通过图像处理从内窥镜图像中识别分支的图像的分支图像识别部判定是否满足在内窥镜图像中看到分支的图像的条件。具体地说，通过某一阈值使内窥镜图像二值化，判定是否存在多个具有固定的像素数的暗部。
在满足该条件的情况下，进入到步骤S7的处理，在不满足该条件的情况下，转移到步骤S43的处理。在步骤S43中，具有距离计算部的功能的例如位置计算部25c判定是否满足插入部11的前端的位置与最接近该前端的位置的芯线35上的点之间的距离L2为阈值Lth2以下的条件。
在满足该条件的情况下，进入到步骤S7的处理，在不满足该条件的情况下，转移到步骤S10的处理。
此外，关于上述距离的阈值Lth1、Lth2，也可以如以下那样设定。
关于阈值Lth1、Lth2，可以针对全部支气管2设定为相同的值，可以针对每个支气管2设定为与支气管直径的值相应的值，或者也可以设定为与部位、支气管的级数相应的值。
另外，关于距离L1、L2，既可以是沿着两点之间的直线的距离，也可以根据最接近插入部11的前端的位置的芯线35上的点到分支点为止的沿着芯线35的距离来计算(计测)。
根据本实施方式，降低(减少)过度地记录位置姿势信息的情况，因此能够提高用户使用便利性。除此以外，具有与第一实施方式相同的效果。
此外，也可以变更图8的步骤S6与步骤S41～S43的处理的顺序。例如，也可以在进行步骤S6的判定处理之前进行步骤S41～S43的处理，在满足某一个条件的情况下，进行步骤S6的判定处理。
另外，例如，也可以设为，距离计算部监视插入部11的前端是否从上一次记录了位置姿势信息的插入部11的前端的位置起移动了规定的距离间隔以上，在移动了规定的距离间隔以上的情况下，进行步骤S6的判定处理，在满足步骤S6的判定条件的情况下，在步骤S7中记录位置姿势信息。
另外，作为进行步骤S6的处理(或者步骤S5和S6的处理)的前提，也可以设为距离计算部监视插入部11的前端是否从插入部11的前端的位置起移动了规定的距离间隔以上，在移动了规定的距离间隔以上的情况下，进行步骤S6(或者步骤S5和S6)的处理。
也可以设为，在满足步骤S6的判定条件的情况下，在步骤S7中记录位置姿势信息。该情况包括作为方向比较单元的方向比较部25f在插入部11的前端在支气管2的管腔内的移动距离为规定的距离间隔以上的情况下将视线方向与芯线方向进行比较。
(第四实施方式)
接着，说明本发明的第四实施方式。本实施方式是在第一实施方式中还如图1或者图3的虚线所示那样具有方向变化检测部25i，方向变化检测部25i将经由固定于内窥镜3的插入部11的前端的观察窗(摄像窗)的物镜15拍摄到的内窥镜图像的方向(方位)与前一次记录了位置姿势信息时的内窥镜图像的方向进行比较。
而且，在满足两个方向所成的角θro为阈值θroth以上的条件的情况下、换言之两个方向所成的角θro充分大的情况下，记录位置姿势信息。此外，内窥镜图像的方向(方位)如以下那样与插入部11绕轴的方向意思相同。
施术者在使插入部11的前端通过(插入)当前插入了插入部11的前端的状态下的支气管2(或者支气管分支)中的在其末梢侧分支的支气管分支侧时，屡次进行扭动(扭转)插入部11的操作。在本实施方式中，通过利用该操作来避免如下那样对相同的支气管分支记录多次位置姿势信息。
检测在使通过(插入)分支出的支气管分支侧时通常进行一次的操作并在检测出该操作时记录位置姿势信息，由此避免不进行这种检测的情况下对相同的支气管分支记录多次位置姿势信息。
此外，关于用于图像匹配(与内窥镜图像进行比较)的VBS图像，与CT坐标系中的视点及视线方向一起，与在将插入部11的前端(的物镜15)设定在规定的方向(方位)的状态下通过同样地固定在规定的方向(方位)上的CCD 16进行光电变换得到的图像对应地生成。此外，以使在监视器9中显示内窥镜图像的情况下的上下方向与使弯曲部19弯曲的情况下的上下的弯曲方向一致的方式预先设定CCD 16的摄像面的(插入部11绕轴的)方向。
因此，在进行图像匹配来从CT坐标系的信息中获取实际的插入部11的前端的位置和姿势的信息的情况下，还能够获取插入部11绕轴的方向(方位)的信息。
在本实施方式中，在将位置姿势信息记录于位置姿势信息记录部27的情况下，还记录内窥镜图像的方向(方位)(或者插入部11的绕轴的方向(方位))信息。而且，设为能够从位置姿势信息记录部27中记录的信息中(为了计算方向变化而)参照内窥镜图像的方向(方位)的信息。
在插入部11不绕其周向旋转时，内窥镜图像的方向(方位)不变化。因此，方向变化检测部25i具有检测内窥镜图像的方向变化或者插入部11的绕轴的方向变化的方向变化检测单元的功能。
此外，也可以设为，方向变化检测部25i在检测内窥镜图像的方向变化或者插入部11的绕轴的方向变化的情况下，检测内窥镜图像等相对于规定方向(或者基准方向)的变化。例如，也可以设为将内窥镜图像的上方向设定为规定的方向，检测内窥镜图像的相对于上方向的变化。图9示出本实施方式中的代表性处理的一部分。
在图9中，从步骤S1至步骤S6的处理与图3的处理相同。在步骤S6中满足计算出的角θ为规定的阈值θth以下的条件的情况下，进入到步骤S51的处理。
在步骤S51中，方向变化检测部25i计算当前的插入部11的前端的状态下的内窥镜图像的方向与上一次记录(在本次的前一次记录)时的内窥镜图像的方向这两个方向所成的角θro，并且判定是否满足两个方向所成的角θro为阈值θroth以上的条件。
在满足步骤S51中的条件的判定结果的情况下，在步骤S7＇中，如上述那样与当前位置姿势信息一起将内窥镜图像的方向(方位)的信息也记录于位置姿势信息记录部27。在不满足步骤S51中的条件的判定结果的情况下，转移到步骤S10的处理。其它处理与图3的情况相同。
根据本实施方式，不会过度地记录位置姿势信息，能够以适当的信息量来记录位置姿势信息，能够提高用户使用便利性(方便性)。除此以外，具有与第一实施方式相同的效果。
在上述第四实施方式中，在步骤S51中将当前的插入部11的前端的(绕轴的)方向与前一次记录的方向所成的角θro进行了比较，但是也可以设为将与n次之前记录的方向所成的角θron进行比较，在该角θron为阈值θronth以上的情况下，将当前的位置姿势信息记录于位置姿势信息记录部27。此外，也可以设为，在获取到内窥镜图像的方向的信息的情况下，计算相对于规定的方向(或者基准的方向)的差角，在记录于位置姿势信息记录部27的情况下也记录相对于上方向的差角。
(第五实施方式)
接着，说明本发明的第五实施方式。本实施方式是将上述实施方式(包括变形例)组合而得到的，其结构与图1或者图4相同。在本实施方式中，针对存在插入部11的前端的每个区域切换使用上述实施方式中的某两个以上的条件。
图10示出本实施方式的动作的说明图。在本实施方式中，在支气管内插入有插入部11的情况下，在存在插入部11的前端的区域R1内应用第一实施方式的条件，在区域R2内应用第二实施方式的条件，在区域R3内应用第三实施方式的条件。
区域Rk(k＝1，2，3，…)的设定方法如下。
a)以在芯线上从分支点起到离开了固定距离的位置为止及其以外的情况，如图10所示那样设定区域。根据
b)以分支点为中心的球所包含的区域以其以外的区域
c)距隆突的距离
d)支气管的级数
e)根据断层像图像计算出的支气管直径
f)距上一次重启(再次对位)的位置的距离
来设定各区域。
并且，也可以将这些条件中的多个组合。
根据本实施方式，具有上述实施方式的效果，还能够更详细地选择由用户记录时的条件。
另外，将包括上述变形例的情况的第一实施方式～第四实施方式中的多个实施方式的一部分组合而构成的实施方式也属于本发明。
另外，在生成支气管形状图像、VBS图像时，也可以不从CT图像数据中提取作为规定的管腔脏器的支气管2的三维图像数据，而根据从CT图像数据通过体绘制(volume rendering)来直接生成。
本申请主张2013年4月15日在日本申请的特愿2013-084918号的优先权，上述公开内容被本申请的说明书、权利要求书所引用。

Claims (10)

1.一种内窥镜系统，其特征在于，具备：
图像存储部，其构成为存储预先获取到的被检体中的三维图像信息；
管腔脏器提取部，其构成为从上述三维图像信息中提取规定的管腔脏器；
对物光学系统，其设置于内窥镜的插入部的前端；
视线方向检测部，其构成为检测上述对物光学系统的视线方向；
方向比较部，其构成为将由上述管腔脏器提取部提取出的上述规定的管腔脏器的芯线方向与上述视线方向进行比较；以及
位置姿势信息记录部，其构成为在上述芯线方向与上述视线方向所成的角为规定的阈值以下的情况下记录上述内窥镜的插入部的前端的位置和姿势的信息。
2.根据权利要求1所述的内窥镜系统，其特征在于，
上述方向比较部将基于过去记录在上述位置姿势信息记录部中的上述姿势的信息的过去视线方向与由上述视线方向检测部检测出的当前视线方向进行比较，
上述位置信息记录部在由上述方向比较部进行比较得到的上述过去视线方向与由上述视线方向检测部检测出的当前视线方向所成的角大于第二规定阈值的情况下，记录上述内窥镜的插入部的前端的位置和姿势的信息。
3.根据权利要求1所述的内窥镜系统，其特征在于，
上述方向比较部在上述插入部的前端在上述规定的管腔脏器中的移动距离为规定的距离间隔以上的情况下，将上述芯线方向与上述视线方向进行比较。
4.根据权利要求1所述的内窥镜系统，其特征在于，
还具备摄像部，该摄像部设置在内窥镜内，构成为对上述规定的管腔脏器内进行拍摄，
该内窥镜系统还具备方向变化检测部，该方向变化检测部构成为检测由上述摄像部获取到的内窥镜图像的方向的变化，
在检测出由上述方向变化检测部检测出的上述内窥镜图像的方向与上述位置姿势信息记录部中记录的内窥镜图像的方向所成的角的变化为阈值以上的情况下，上述位置姿势信息记录部记录上述内窥镜的插入部的前端的位置和姿势的信息。
5.根据权利要求1所述的内窥镜系统，其特征在于，还具备：
摄像部，其设置在内窥镜内，构成为对上述规定的管腔脏器内进行拍摄；
虚拟内窥镜图像生成部，其构成为根据上述三维图像信息来生成从规定的视点位置使用内窥镜描绘出的虚拟内窥镜图像；
图像比较部，其构成为将由上述摄像部拍摄到的上述规定的管腔脏器内的内窥镜图像与上述虚拟内窥镜图像进行比较；以及
位置姿势信息计算部，其构成为根据上述图像比较部的比较结果来计算上述内窥镜的插入部的前端的位置和姿势的信息。
6.根据权利要求2所述的内窥镜系统，其特征在于，还具备：
摄像部，其设置在内窥镜内，构成为对上述规定的管腔脏器内进行拍摄；
虚拟内窥镜图像生成部，其构成为根据上述三维图像信息来生成从规定的视点位置使用内窥镜描绘出的虚拟内窥镜图像；
图像比较部，其构成为将由上述摄像部拍摄到的上述规定的管腔脏器内的内窥镜图像与上述虚拟内窥镜图像进行比较；以及
位置姿势信息计算部，其构成为根据上述图像比较部的比较结果来计算上述内窥镜的插入部的前端的位置和姿势的信息。
7.根据权利要求5所述的内窥镜系统，其特征在于，
上述位置姿势信息记录部将上述内窥镜的插入部的前端的位置和姿势的信息与同该插入部的前端的位置和姿势对应的上述虚拟内窥镜图像及由上述摄像部拍摄到的内窥镜图像的方向信息一并记录。
8.根据权利要求5所述的内窥镜系统，其特征在于，还具备：
管腔形状图像生成部，其构成为生成上述规定的管腔脏器的管腔形状图像；以及
显示部，其构成为在不能在所设定的精度内进行图像匹配的情况下，将上述位置姿势信息计算部中记录的上述内窥镜的插入部的前端的位置和姿势的信息叠加显示在上述管腔形状图像上，该图像匹配是通过使用上述图像比较部比较上述内窥镜图像与上述虚拟内窥镜来进行的。
9.根据权利要求2所述的内窥镜系统，其特征在于，还具备：
路径数据生成部，其构成为在对上述被检体的三维图像信息指定了目标部位的情况下，根据上述三维图像信息以及由上述管腔脏器提取部提取出的上述规定的管腔脏器的管腔形状图像来生成上述规定的管腔脏器中的从上述插入部的前端的插入开始位置起到成为上述目标部位附近的目标位置为止的路径数据；以及
分支信息记录部，其构成为记录在直到上述路径数据的上述目标位置为止的中途上述规定的管腔脏器分支的分支点的包含三维位置和分支角的分支信息，
其中，分支信息记录部根据上述分支点的分支信息自动地决定上述第二规定阈值，上述方向比较部使用所决定的上述第二规定阈值来进行比较。
10.根据权利要求9所述的内窥镜系统，其特征在于，
上述分支信息记录部根据由上述视线方向检测部检测出当前视线方向时的上述插入部的前端的三维位置，并根据位于比该三维位置靠目标位置侧的下一个分支点的分支信息自动地决定上述第二规定阈值。
CN201480002770.8A 2013-04-15 2014-04-10 内窥镜系统 Active CN104755009B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-084918 2013-04-15
JP2013084918 2013-04-15
PCT/JP2014/060398 WO2014171391A1 (ja) 2013-04-15 2014-04-10 内視鏡システム

Publications (2)

Publication Number Publication Date
CN104755009A true CN104755009A (zh) 2015-07-01
CN104755009B CN104755009B (zh) 2017-04-19

Family

ID=51731334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002770.8A Active CN104755009B (zh) 2013-04-15 2014-04-10 内窥镜系统

Country Status (5)

Country Link
US (1) US9357945B2 (zh)
EP (1) EP2888991B1 (zh)
JP (1) JP5687811B1 (zh)
CN (1) CN104755009B (zh)
WO (1) WO2014171391A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105310635A (zh) * 2015-07-23 2016-02-10 安翰光电技术（武汉）有限公司 胶囊内窥镜拍摄图像的控制方法
CN110167417A (zh) * 2017-01-26 2019-08-23 奥林巴斯株式会社 图像处理装置、动作方法和程序
CN110769731A (zh) * 2017-06-15 2020-02-07 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
CN111936075A (zh) * 2018-04-12 2020-11-13 逸吉恩哆股份公司 自行式内窥镜系统及其控制方法
CN111936030A (zh) * 2018-06-22 2020-11-13 奥林巴斯株式会社 界标估计方法及内窥镜装置
CN112315582A (zh) * 2019-08-05 2021-02-05 罗雄彪 一种手术器械的定位方法、系统及装置
CN115414120A (zh) * 2022-11-07 2022-12-02 中南大学 一种内镜导航系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014157480A1 (ja) * 2013-03-29 2014-10-02 富士フイルム株式会社 内視鏡下外科手術装置
EP2979615B1 (en) * 2013-03-29 2019-11-27 FUJIFILM Corporation Device for endoscopic surgery
CN105072976B (zh) * 2013-03-29 2017-05-17 富士胶片株式会社 内窥镜下外科手术装置
GB201501157D0 (en) * 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
WO2017195797A1 (ja) * 2016-05-09 2017-11-16 東芝メディカルシステムズ株式会社 医用画像診断装置
JP6608111B2 (ja) * 2016-09-28 2019-11-20 富士フイルム株式会社 医用画像保存再生装置および方法並びにプログラム
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
KR102499906B1 (ko) * 2018-05-30 2023-02-16 아우리스 헬스, 인코포레이티드 위치 센서-기반 분지부 예측을 위한 시스템 및 방법
US11696671B2 (en) * 2019-08-19 2023-07-11 Covidien Ag Steerable endoscope with motion alignment
JP7553381B2 (ja) * 2021-02-22 2024-09-18 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
CN116433874B (zh) * 2021-12-31 2024-07-30 杭州堃博生物科技有限公司 支气管镜导航方法、装置、设备及存储介质
CN116416414B (zh) * 2021-12-31 2023-09-22 杭州堃博生物科技有限公司 肺部支气管镜导航方法、电子装置及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
CN1678234A (zh) * 2002-08-30 2005-10-05 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
US20070276225A1 (en) * 1996-09-16 2007-11-29 Kaufman Arie E System and method for performing a three-dimensional virtual examination of objects, such as internal organs
CN101247752A (zh) * 2005-08-25 2008-08-20 奥林巴斯医疗株式会社 内窥镜插入形状分析装置及内窥镜插入形状分析系统
US20080221439A1 (en) * 2007-03-08 2008-09-11 Sync-Rx, Ltd. Tools for use with moving organs
WO2009116465A1 (ja) * 2008-03-21 2009-09-24 株式会社 日立メディコ 医用画像表示装置及び医用画像表示方法
US20090292166A1 (en) * 2008-05-23 2009-11-26 Olympus Medical Systems Corp. Medical device
US20100201683A1 (en) * 2007-07-31 2010-08-12 Takashi Shirahata Medical image display apparatus and medical image display method
WO2012101888A1 (ja) * 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
CN102740755A (zh) * 2010-02-22 2012-10-17 奥林巴斯医疗株式会社 医疗设备
CN102883651A (zh) * 2010-01-28 2013-01-16 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
WO2013031637A1 (ja) * 2011-08-31 2013-03-07 テルモ株式会社 呼吸域用ナビゲーションシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007023631A1 (ja) * 2005-08-25 2007-03-01 Olympus Medical Systems Corp. 内視鏡挿入形状解析装置及び内視鏡挿入形状解析システム
US8542900B2 (en) * 2007-03-08 2013-09-24 Sync-Rx Ltd. Automatic reduction of interfering elements from an image stream of a moving organ
EP2348954A1 (en) * 2008-10-20 2011-08-03 Koninklijke Philips Electronics N.V. Image-based localization method and system
JP4728456B1 (ja) 2010-02-22 2011-07-20 オリンパスメディカルシステムズ株式会社 医療機器
JP2011189074A (ja) * 2010-03-16 2011-09-29 Olympus Medical Systems Corp 医療機器
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
JP2012024518A (ja) 2010-07-28 2012-02-09 Fujifilm Corp 内視鏡観察を支援する装置および方法、並びに、プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276225A1 (en) * 1996-09-16 2007-11-29 Kaufman Arie E System and method for performing a three-dimensional virtual examination of objects, such as internal organs
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
CN1678234A (zh) * 2002-08-30 2005-10-05 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
CN101247752A (zh) * 2005-08-25 2008-08-20 奥林巴斯医疗株式会社 内窥镜插入形状分析装置及内窥镜插入形状分析系统
US20080221439A1 (en) * 2007-03-08 2008-09-11 Sync-Rx, Ltd. Tools for use with moving organs
US20100201683A1 (en) * 2007-07-31 2010-08-12 Takashi Shirahata Medical image display apparatus and medical image display method
WO2009116465A1 (ja) * 2008-03-21 2009-09-24 株式会社 日立メディコ 医用画像表示装置及び医用画像表示方法
US20090292166A1 (en) * 2008-05-23 2009-11-26 Olympus Medical Systems Corp. Medical device
CN102883651A (zh) * 2010-01-28 2013-01-16 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
CN102740755A (zh) * 2010-02-22 2012-10-17 奥林巴斯医疗株式会社 医疗设备
WO2012101888A1 (ja) * 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
WO2013031637A1 (ja) * 2011-08-31 2013-03-07 テルモ株式会社 呼吸域用ナビゲーションシステム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105310635A (zh) * 2015-07-23 2016-02-10 安翰光电技术（武汉）有限公司 胶囊内窥镜拍摄图像的控制方法
CN110167417A (zh) * 2017-01-26 2019-08-23 奥林巴斯株式会社 图像处理装置、动作方法和程序
CN110167417B (zh) * 2017-01-26 2022-01-07 奥林巴斯株式会社 图像处理装置、动作方法和存储介质
CN110769731A (zh) * 2017-06-15 2020-02-07 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
US11432707B2 (en) 2017-06-15 2022-09-06 Olympus Corporation Endoscope system, processor for endoscope and operation method for endoscope system for determining an erroneous estimation portion
CN111936075A (zh) * 2018-04-12 2020-11-13 逸吉恩哆股份公司 自行式内窥镜系统及其控制方法
CN111936030A (zh) * 2018-06-22 2020-11-13 奥林巴斯株式会社 界标估计方法及内窥镜装置
CN112315582A (zh) * 2019-08-05 2021-02-05 罗雄彪 一种手术器械的定位方法、系统及装置
CN112315582B (zh) * 2019-08-05 2022-03-25 罗雄彪 一种手术器械的定位方法、系统及装置
CN115414120A (zh) * 2022-11-07 2022-12-02 中南大学 一种内镜导航系统
WO2024098804A1 (zh) * 2022-11-07 2024-05-16 中南大学 一种内镜导航系统

Also Published As

Publication number Publication date
CN104755009B (zh) 2017-04-19
EP2888991A4 (en) 2016-05-18
WO2014171391A1 (ja) 2014-10-23
EP2888991B1 (en) 2017-11-01
EP2888991A1 (en) 2015-07-01
US20150196228A1 (en) 2015-07-16
JP5687811B1 (ja) 2015-03-25
JPWO2014171391A1 (ja) 2017-02-23
US9357945B2 (en) 2016-06-07

Similar Documents

Publication Publication Date Title
CN104755009A (zh) 内窥镜系统
CN104797186B (zh) 内窥镜系统
US9516993B2 (en) Endoscope system
US9326660B2 (en) Endoscope system with insertion support apparatus
JP6219396B2 (ja) 分岐した解剖学的構造における医療デバイスの位置決定
US20180214006A1 (en) Image processing apparatus and image processing method
JPWO2014156378A1 (ja) 内視鏡システム
JPWO2017212725A1 (ja) 医療用観察システム
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
JP5613353B2 (ja) 医療装置
KR102313319B1 (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
US20230372024A1 (en) Synthetic position in space of an endoluminal instrument
CN104321007B (zh) 医疗装置
JP6335839B2 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
CN114288523A (zh) 柔性器械的检测方法、装置、手术系统、设备与介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: OLYMPUS OPTICAL CO.

Free format text: FORMER OWNER: OLYMPUS MEDICAL SYSTEMS CORP.

Effective date: 20150623

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150623

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Medical Systems Corp.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant