CN104780826B - 内窥镜系统 - Google Patents

内窥镜系统 Download PDF

Info

Publication number
CN104780826B
CN104780826B CN201480003007.7A CN201480003007A CN104780826B CN 104780826 B CN104780826 B CN 104780826B CN 201480003007 A CN201480003007 A CN 201480003007A CN 104780826 B CN104780826 B CN 104780826B
Authority
CN
China
Prior art keywords
image
information
candidate
candidate information
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480003007.7A
Other languages
English (en)
Other versions
CN104780826A (zh
Inventor
秋本俊也
大西顺
大西顺一
伊藤满祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104780826A publication Critical patent/CN104780826A/zh
Application granted granted Critical
Publication of CN104780826B publication Critical patent/CN104780826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

内窥镜系统具有：图像存储部，其存储预先取得的被检体的3维图像信息；假想内窥镜图像生成部，其生成从规定的视点位置以内窥镜方式描绘3维图像信息而得到的假想内窥镜图像；摄像部，其设置于内窥镜内，对规定的管腔脏器内摄像；位置检测部，其检测内窥镜插入部的前端在规定的管腔脏器内的位置；以及候选信息提示部，其在根据位置检测部检测到的内窥镜插入部的前端的位置信息在规定方向上切取3维图像信息而得到的2维断层图像上，提示成为进行假想内窥镜图像与由摄像部生成的内窥镜图像的图像比较时的候选的候选位置信息和对应的假想内窥镜图像，来作为候选信息。

Description

内窥镜系统
技术领域
本发明涉及通过摄像单元对被检体内摄像的内窥镜系统。
背景技术
近些年来，具有可插入到体腔内等的插入部的内窥镜广泛应用于医疗领域等中。
另一方面，在插入到体腔内的支气管等复杂分支的管腔脏器内，对管腔脏器的末端侧的目标部位(的患处组织)进行检查或使用处置工具的活检和处置的情况下，仅凭插入时得到的内窥镜图像，有时难以将插入部前端导入至目标部位附近。
因此，提出了进行用于辅助将内窥镜的插入部前端导入至目标部位附近的作业的显示等的系统或装置。
例如，在作为第1现有例的日本特开第2002-200030号公报中公开了如下的装置，其具有映射图像合成单元，由于是难以对末端的支气管造影而取得3维图像的状况，因此，该映射图像合成单元在进行了支气管的3维图像数据的坐标系与插入部前端的位置的位置对准后，依次存储插入部前端的位置，并根据插入部前端的位置轨迹，在支气管的3维图像数据上合成轨迹图像。
此外，在作为第2现有例的日本特开第2004-89483号公报中公开了如下的装置：由于事先未获悉到达目标患处位置的支气管的路径直径，因而在选择最佳直径的支气管内窥镜时，在支气管的3维图像上设定插入路径，计算所设定的插入路径上的规定位置处的支气管的内径，并根据所计算的支气管的内径和支气管内窥镜的插入直径来计算插入极限位置。
此外，在作为第3现有例的日本特开第2009-56238号公报中，为了提高通过内窥镜得到的作为观察图像的内窥镜图像与根据支气管的3维区域的图像数据而生成的假想内窥镜图像之间的图像匹配精度，公开了将假想内窥镜图像和假想内窥镜示意图图像等重叠显示于内窥镜图像上的图像合成单元、以及用于使图像的朝向一致的图像校正单元。
然而，在上述第1现有例至第3现有例公开的内容中，难以通过由内窥镜的摄像单元取得的内窥镜图像、与基于支气管的3维图像数据而生成的假想内窥镜图像之间的图像比较，来进行内窥镜插入部的前端的位置估计。
更具体地进行说明，关于内窥镜插入部的前端的3维位置，在其与生成假想内窥镜图像时使用的CT坐标系进行位置对准后，通过CT坐标系或与CT坐标系对应起来的坐标系管理。然而，在进行将内窥镜插入部插入到支气管等的管腔脏器内的操作的过程中，由于外部干扰等而经常会产生内窥镜插入部前端的3维位置偏离CT坐标系上的3维位置的情况。在这种情况下，需要将内窥镜插入部的前端设定在支气管的隆嵴等已知的基准位置上，并再次进行位置对准(再次位置对准)。
在如上进行位置对准的情况下，需要使内窥镜插入部的前端返回到隆嵴等的基准位置上，因而将前端插入到比隆嵴靠深部侧的位置上的操作变得无效。因此，如果提示用于在插入了内窥镜插入部的前端的位置或该位置附近进行位置对准的候选信息，则会减少插入操作的徒劳，易于持续进行灵活的插入操作。
为此，期望在插入操作的过程中等，事先取得适于进行再次位置对准的提示的候选信息，在做出了提示的指示时，至少将到达被指示的位置为止所取得的作为位置的候选信息的候选位置信息、和对应于该候选位置信息的假想内窥镜图像作为候选信息，在支气管的3维或2维断层图像上提示。
然而，上述现有例都未公开这种提示的内容。
本发明就是鉴于上述情况而完成的，其目的在于提供内窥镜系统，该内窥镜系统能够提示适合于在分别生成了内窥镜图像和假想内窥镜图像的两个位置产生了偏移的情况下进行再次位置对准的候选信息。
发明内容
用于解决课题的手段
本发明一个方面的内窥镜系统具有：图像存储部，其存储预先取得的被检体的3维图像信息；假想内窥镜图像生成部，其生成从规定的视点位置以内窥镜方式描绘所述3维图像信息而得到的假想内窥镜图像；摄像部，其设置于内窥镜内，对所述规定的管腔脏器内摄像；位置检测部，其检测内窥镜插入部的前端在所述被检体的规定的管腔脏器内的位置；以及候选信息提示部，其在根据所述位置检测部检测到的所述内窥镜插入部的前端的位置信息在规定方向上切取所述3维图像信息而得到的2维断层图像上，提示成为进行所述假想内窥镜图像与由所述摄像部的摄像生成的内窥镜图像的图像比较时的候选的候选位置信息和对应于该候选位置信息的所述假想内窥镜图像，来作为候选信息。
附图说明
图1是表示本发明第1实施方式的内窥镜系统的整体结构的图。
图2A是表示支气管的形状图像的图。
图2B是表示从支气管的形状图像上的切口(スパー)起的恒定值的距离范围的图。
图2C是表示从支气管的形状图像上的分支点起的恒定值的距离范围的图。
图2D是表示候选信息的提示例的图。
图3是表示第1实施方式的处理内容的代表例的流程图。
图4是表示沿着芯线上的作为与分支点之间的距离的路程的图。
图5A是表示第1实施方式的变形例的内窥镜系统的整体结构的图。
图5B是作为2个坐标系的对应处理的登记的说明图。
图6是本发明第2实施方式的动作的说明图。
图7是本发明第3实施方式的动作的说明图。
图8是第3实施方式的变形例的动作的说明图。
图9是根据内窥镜图像上的变化存储候选信息的动作的说明图。
图10A是表示不同于图2D的候选信息的提示例的图。
图10B是表示不同于图10A的候选信息的提示例的图。
图10C是表示不同于图10A的候选信息的提示例的图。
图10D是表示不同于图10A的候选信息的提示例的图。
图10E是表示不同于图10A的候选信息的提示例的图。
图10F是表示不同于图10A的候选信息的提示例的图。
图10G是表示不同于图10A的候选信息的提示例的图。
图11是表示在包括支气管的断层图像上显示所估计的位置的例子的图。
图12是表示在图11中通过文字信息将各位置与对应的VBS对应起来的例子的图。
图13是表示相当于图11的变形例的显示例的图。
图14是表示在图11中还显示移动方向的显示例的图。
图15是表示在图11中还显示视野范围的显示例的图。
图16是表示在1个断层图像上立体显示视野范围的显示例的图。
图17是表示利用区域显示所存储的位置的例子的图。
图18是表示重叠显示支气管树和断层图像的例子的图。
图19是表示使用2个断层图像进行显示的例子的图。
图20是表示通过包括所存储的位置上的支气管树在内的切断面进行显示的例子的图。
图21是图20的设定方法的说明图。
具体实施方式
以下，参照附图说明本发明的实施方式。
(第1实施方式)
如图1所示，本发明的第1实施方式的内窥镜系统1构成为主要具有：内窥镜装置4，其具有内窥镜3，该内窥镜3插入到作为检查对象的被检体即患者的作为规定管腔脏器的支气管2(图2A)内；以及插入辅助装置5，其与该内窥镜装置4一起使用，用于进行内窥镜3的插入辅助。
内窥镜装置4具有内窥镜3、对该内窥镜3供给照明光的光源装置6、进行对于构成搭载于内窥镜3上的摄像单元的摄像元件7的信号处理的作为信号处理装置的相机控制单元(简称为CCU)8、以及显示由CCU8生成的内窥镜图像的监视器9。
内窥镜3具有具备挠性的细长的插入部(或内窥镜插入部)11、以及设置于该插入部11的后端上的操作部12，在插入部11的前端部13设有照明窗和观察窗。在插入部11、操作部12内贯穿插入有传导照明光的光导14，该光导14的入射端与光源装置6连接，由光源装置6内的未图示的光源灯或LED产生的照明光射入入射端。被该光导14传导的照明光从安装于照明窗上的出射端(前端面)起向前方射出。
此外，在观察窗上安装有形成对被摄体成像的物镜光学系统的物镜15，在其成像位置上配置有CCD等摄像元件7，通过物镜15和摄像元件7形成摄像装置16，该摄像装置16作为摄像单元(或摄像部)，用于对作为供插入部11插入的规定的管腔脏器的支气管2内摄像。
摄像元件7经由在插入部11、操作部12内贯穿插入的信号线而与CCU8连接。CCU8通过其内部的未图示的图像信号生成电路，生成与在摄像元件7的摄像面上成像的光学像对应的摄像图像的图像信号，并将该图像信号输出给监视器9。监视器9将图像信号的图像(动态图像)显示为内窥镜图像(也称之为摄像图像)。
另外，在内窥镜3的插入部11上，在前端部13的后端设有自由弯曲的弯曲部19，手术人员进行使设置于操作部12上的弯曲操作旋钮20旋转的操作，从而能够使弯曲部19在上下、左右的任意的方向上弯曲。
上述插入辅助装置5具有：CT数据取入部21，其经由DVD、蓝光光碟、闪存等可搬运型存储介质，取入利用公知的CT(Computed Tomography：计算机断层扫描)针对接受内窥镜3的检查的患者生成的作为患者的3维图像信息的CT数据；以及CT图像数据存储部22，其存储由该CT数据取入部21取入的CT数据。
另外，CT图像数据存储部22也可以经由通信线路、因特网等存储由CT生成的(作为被检体即患者的3维图像信息的)CT数据。该CT图像数据存储部22可通过硬盘装置、闪存、DVD等构成。
此外，构成图像存储单元的CT图像数据存储部22具有对应图像信息存储部22a，该对应图像信息存储部22a将从CT数据中分离图像数据后得到的CT图像数据、和使用与从CT数据中分离位置信息后得到的该CT图像数据对应的第1坐标系的3维的位置数据对应起来，并存储为对应图像信息。
此外，插入辅助装置5具有支气管提取部23，该支气管提取部23构成为具有：作为管腔脏器提取单元的管腔脏器提取电路、以及中央运算处理装置(简称为CPU)等，其中，该管腔脏器提取单元从CT图像数据存储部22的CT图像数据中提取作为规定的管腔脏器的支气管2的3维图像数据。
该支气管提取部23根据所提取的支气管2的3维数据(更具体是3维的体数据)，生成表示支气管2的中空形状的3维形状的信息(形状数据)和3维形状的图像信息(图像数据)。即，支气管提取部23具有作为支气管形状图像生成单元的支气管形状图像生成部23a，该支气管形状图像生成部23a根据所提取的支气管2的3维数据，生成作为中空的3维形状的支气管形状的图像的支气管形状图像。
此外，该支气管提取部23在提取支气管2的3维数据时，与对应于3维数据的第1坐标系(或CT坐标系)上的3维的位置数据对应起来提取。而且，该支气管提取部23具有对应信息存储部23b，该对应信息存储部23b由存储将支气管2的3维形状的数据(即支气管形状数据)与3维的位置数据对应起来得到的对应信息的存储器等构成。
此外，插入辅助装置5具有作为假想内窥镜图像生成单元的VBS图像生成部24，该VBS图像生成部24生成与通过设置于内窥镜3的插入部11的前端部13上的摄像装置16的摄像而生成的内窥镜图像对应的作为假想的内窥镜图像的假想内窥镜图像(称作VBS图像)。
例如从输入装置31向VBS图像生成部24输入与内窥镜3的摄像装置16有关的成像系统的特性信息(物镜15的焦距、摄像元件7的像素数、像素尺寸等)。
VBS图像生成部24由图像生成电路、CPU等构成，该图像生成电路根据实际插入到支气管2内的内窥镜3的摄像装置16的位置(也称之为插入部11的前端的位置)的信息、摄像装置16对支气管2内的被摄体成像的特性信息、所述支气管形状数据，生成以所述位置作为视点位置，假想描绘出按照内窥镜方式对支气管2内摄像得到的内窥镜图像的VBS图像。
此外，插入辅助装置5具有：图像处理部25，其由CPU、图像处理电路等构成，该CPU通过图像匹配进行从CCU8输入的内窥镜图像与VBS图像生成部24的VBS图像的位置对准；控制部26，其由进行图像处理部25等的控制的作为控制单元的CPU等构成；以及存储部27，其由存储用于在控制部26的控制下辅助插入的提示用候选信息等的作为存储单元的存储器等构成。
此外，插入辅助装置5具有：MPR图像生成部28，其根据存储于CT图像数据存储部22中的CT图像数据，生成作为多剖面再构建图像的CT断层图像(称之为MPR图像)；以及鼠标等指示设备等的路径设定部29，该路径设定部29生成具有由MPR图像生成部28生成的MPR图像的作为插入路径的设定画面的路径设定画面，并且设定将内窥镜3插入到支气管2内的目标部位侧时的路径。
而且，例如根据CT图像数据如图2A或图10A等所示指定目标部位36的情况下，路径设定部29具有路径数据生成电路等的路径数据生成部29a的功能，该路径数据生成部29a根据CT图像数据和支气管形状图像2a，生成支气管2中的(插入部11的)从插入开始位置起到目标部位36附近的目标位置为止的路径数据。例如，在图10A等中，通过R表示到目标部位36附近的目标位置为止的路径。
此外，内窥镜系统1具有由对路径设定部29输入设定信息的键盘或指示设备等构成的输入装置31。此外，手术人员能够从该输入装置31对图像处理部25输入进行图像处理时的参数和数据，并对控制部26选择、指示控制动作。
此外，在手术人员进行了路径设定的情况下，路径设定部29将所设定的路径的信息发送给VBS图像生成部24、MPR图像生成部28、控制部26。VBS图像生成部24和MPR图像生成部28分别生成沿着路径的VBS图像、MPR图像，控制部26沿着路径进行各部分的动作的控制。
上述图像处理部25被输入有由CCU8生成的内窥镜图像、以及由VBS图像生成部24生成的VBS图像。此外，由支气管形状图像生成部23a生成的支气管形状图像也被输入到图像处理部25中。
在本实施方式中，在配置有摄像装置16的插入部11的前端部13上未搭载检测插入部11的前端的位置的传感器，因而通过图像处理部25的位置对准处理部25a的图像匹配，估计(或计算)插入部11的前端的3维位置。
如果事先将支气管2的入口或隆嵴K(参照图2A)等能够通过CT坐标系根据支气管形状图像2a确定的3维位置(已知位置)或其附近位置设定为动态图像匹配的开始位置，则VBS图像生成部根据该位置信息生成VBS图像。
而且，手术人员以使内窥镜图像观察为与VBS图像相同的方式，将插入部11的前端插入。通过进行这种位置对准，从而，图像处理部25的位置对准处理部25a以对内窥镜图像与VBS图像设定的条件(能够确保规定精度的误差以内)一致的方式开始图像匹配。通过进行这种处理，从而位置对准处理部25a具有通过估计来检测或计算插入部11的前端的位置的位置估计部25b的功能。
如后述的图5A所示的变形例所示，可以在前端部13上设置位置检测的位置传感器41，构成使用该位置传感器41检测(估计)插入部11的前端的3维位置的位置估计部42b。另外，在本说明书中，插入部11的前端与内窥镜3的前端意义相同。
此外，图像处理部25在控制部26的对显示进行控制的显示控制部26a等的控制之下，生成显示于监视器32上的图像。
在显示控制部26a的控制下，图像处理部25通常将由支气管形状图像生成部23a生成的支气管形状图像2a的图像信号(视频信号)输出给监视器32，并且在监视器32上如图2A所示，将支气管形状图像2a例如显示为被沿着(主要的)通过管腔中心的方向的剖面切取的2维断层图像。另外，不限于通过2维断层图像显示的情况，还可以通过3维图像显示。通过3维图像显示的情况下，例如可以通过基于平行投影法的投影图或能够观察到管腔内部的透视图显示。
此外，如图2A所示，在显示于监视器32上的支气管形状图像2a上，还显示出通过支气管2的管腔中心的芯线35。另外，例如由支气管形状图像生成部23a生成芯线35，也可以由图像处理部25生成芯线35。
手术人员等用户在将插入部11从其前端插入到支气管2内的情况下，由于会显示出芯线35，因此通过参考该显示，能够易于进行插入部11的插入操作。此外，通过进行沿着芯线35插入的操作，从而能够在短时间内进行基于图像匹配的插入部11的前端位置的估计。
图像处理部25在插入到支气管2的深部侧(末端侧)的操作中，使用内窥镜图像与VBS图像的两图像的匹配(图像匹配)，基于CT坐标系进行估计插入部11的前端的移动位置或移动距离的处理。
即，在两个图像在某个位置上匹配的情况下，伴随使插入部11的前端沿着芯线35(用于插入)移动的操作，摄像装置16也会移动，因此内窥镜图像发生变化。
这种情况下，位置对准处理部25a使用在沿着芯线35的路径上移动时的(从VBS图像生成部24中输出的)VBS图像，通过图像处理选出与所述内窥镜图像匹配性最好的VBS图像，并将对应于选出的VBS图像的3维位置计算(估计)为插入部11的前端的位置。因此，还能够根据2个位置的差分量计算(估计)所移动的移动距离。
另外，插入部11的前端有时会在偏离于芯线35上的位置上移动，因而可以由VBS图像生成部24生成在从芯线35起偏心了适当距离的位置上的VBS图像，并将所生成的VBS图像输出给位置对准处理部25a。这样的话，就能够扩大基于图像匹配的位置估计的范围。上述控制部26可以根据由位置对准处理部25a计算的插入部11的前端位置，校正由路径数据生成部29a(在内窥镜3的插入部11的插入前)生成的路径数据。
此外，控制部26具有条件判定部26c的功能，该条件判定部26c由比较电路等构成，该比较电路用于判定由图像处理部25估计的插入部11的前端是否满足规定条件，在判定结果为满足规定条件的情况下，将相应的插入部11的前端的位置存储于存储部27中。这种情况下，将插入部11的前端位置与对应于该前端位置的VBS图像一起，作为在需要提示时进行提示的(提示用的)候选信息存储于存储部27中。
换言之，存储部27具有作为存储单元的候选信息存储部27a的功能，该候选信息存储部27a在判定结果为满足规定条件的情况下，将得到该判定结果时估计(计算)出的插入部11的前端位置存储为以后提示时的候选位置信息，并且将该候选位置信息和对应于该候选位置信息的VBS图像存储为提示用的候选信息。在这种情况下，提示用的候选信息由候选位置的信息(候选位置信息)和对应于该候选位置的信息的VBS图像构成，也可以将对应于候选位置的信息的(换言之是在候选位置上生成的)VBS图像作为候选VBS图像。
另外，作为存储于候选信息存储部27a中的(提示用的)候选信息，也可以将对应于所述候选位置的信息的VBS图像与对应于该候选位置的信息的(换言之是在候选位置上生成的)内窥镜图像一起存储。这种情况下的内窥镜图像也可以与上述候选VBS图像同样被称作候选内窥镜图像。
此外，图像处理部25具有候选信息生成部25c的功能，该候选信息生成部25c通过显示控制部26a的候选信息提示控制部26b接受候选信息提示的控制，并生成用于在监视器32上显示为候选信息的候选信息。此外，图像处理部25具有在进行内窥镜图像与VBS图像的图像匹配时暂时存储内窥镜图像和VBS图像、或者用作图像处理的工作区的图像存储器25d。另外，还可以在图像处理部25的外部设置图像存储器25d。
上述条件判定部26c具有特征区域判定部26d的功能，该特征区域判定部26d判定插入部11的前端是否位于作为与支气管2的分支有关的特征性区域的特征区域内，来作为规定的条件。然后，如后所述，在特征区域判定部26d的判定结果为插入部11的前端位于(或存在于)特征区域内的情况下，在候选信息存储部27a中存储候选信息。
在本实施方式中，作为上述规定的条件，将2个位置(或点)间的距离设定为恒定值dth。而且，在插入部11的前端的位置与如图2B、图2C所示如隆嵴K那样分支的切口Spi的位置或芯线35分支的分支点Bi的位置间的距离处于dth1、dth2等恒定值dth以内的情况下，判定为插入部11的前端位于满足上述规定条件的特征区域内，并设定为将候选信息存储于存储部27中。
另外，上述特征区域的设定和恒定值dth的值可由手术人员例如通过输入装置31指定。如上，在本实施方式中，在将插入部11插入到支气管2内的操作过程中，预先将当前的插入部11的前端位置以前的候选信息存储于存储部27中，从而在基于图像匹配的最初的位置对准后、由于插入部11的移动操作使插入部11的前端的(使用了图像匹配的)位置估计的精度降低，需要再次位置对准(即再次位置对准)等的情况下，能够提示用于该再次位置对准的候选信息。
此外，还可以由手术人员从构成输入装置31的键盘、鼠标等对图像处理部25或控制部26输入再次位置对准的指示。
在做出了再次位置对准的指示等(或进行了触发输入)时，控制部26的显示控制部26a从存储部27的候选信息存储部27a中读出在当前的插入部11的前端位置附近的候选信息，并经由图像处理部25进行在监视器32上提示候选信息的控制。
进行在监视器32上提示候选信息的控制的显示控制部26a具有进行候选信息提示的控制的候选信息提示控制部26b的功能。另外，显示控制部26a也可以进行如下控制：从候选信息存储部27a中读出(提示用的)候选信息，不经由图像处理部25而直接进行在监视器32上作为候选信息进行提示。在监视器32上提示候选信息的情况下，例如以2维断层图像的形式，在图2D所示的支气管形状图像2a上，显示作为进行图像比较时的候选的候选位置的信息和对应于该候选位置的信息的VBS图像。
如上所述，图像处理部25的位置对准处理部25a在插入部11的前端移动的情况下，使用图像匹配估计(计算)插入部11的前端，而有时会产生在所设定的精度以内无法实现图像匹配的图像匹配错误。
在这种情况下，图像处理部25的位置对准处理部25a产生图像匹配错误的信号，并在监视器32上显示出发生了图像匹配错误。此外，位置对准处理部25a将图像匹配错误的信号发送给控制部26，控制部26的候选信息提示控制部26b进行在监视器32上提示候选信息的控制。
因此，上述监视器32形成对手术人员提示候选信息的候选信息提示单元。另外，作为候选信息提示单元可以与监视器32一起定义为包括存储(提示用的)候选信息的候选信息存储部27a、输出候选信息的图像信号的图像处理部25以及候选信息提示控制部26b。
手术人员使用候选信息进行再次的位置对准处理。通过进行再次的位置对准处理，手术人员能够从进行了该再次的位置对准处理的位置附近起继续进行插入部11的插入操作。
此外，手术人员在判断为图像匹配的精度恶化的情况下，可以发出再次位置对准的指示并进行上述处理。另外，既可以使用CPU构成图1中的图像处理部25的位置对准处理部25a、候选信息生成部25c、支气管提取部23、VBS图像生成部24、控制部26，也可以使用FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬件化的装置、专用的电子电路元件构成上述单元。
这种结构的内窥镜系统1的特征在于，具有：作为图像存储单元的CT图像数据存储部22，其存储预先取得的被检体的3维图像信息；作为假想内窥镜图像生成单元的VBS图像生成部24，其针对所述3维图像信息生成从规定的视点位置以内窥镜方式描绘的假想内窥镜图像；作为摄像单元的摄像装置16，其设置于内窥镜3内，对所述规定的管腔脏器内摄像；作为位置检测单元的位置估计部25b，其检测内窥镜插入部11的前端在所述被检体的规定的管腔脏器内的位置；以及作为候选信息提示单元的监视器32，其在根据所述位置检测单元检测到的所述内窥镜插入部11的前端的位置信息而沿规定方向切取所述3维图像信息得到的2维断层图像上，提示候选位置信息和对应于该候选位置信息的所述假想内窥镜图像以作为候选信息，其中该候选位置信息作为进行所述假想内窥镜图像与通过所述摄像单元的摄像生成的内窥镜图像的图像比较时的候选。
接着，参照图3的流程图说明本实施方式中的代表性处理。在图1的内窥镜系统1中的内窥镜装置4、插入辅助装置5的电源被接通，各部分成为工作状态时，在图3所示的最初的步骤S1中，将患者的支气管2的入口的位置等手术人员易于通过内窥镜图像判断内窥镜3的插入部11的前端位置的部位设定为至少1个基准位置。
而且，图像处理部25的位置对准处理部25a将基准位置上的VBS图像生成部24的VBS图像(的图像信号)输出给监视器32。手术人员从输入装置31指定1个基准位置，将插入部11的前端插入到所指定的基准位置上，并且指示图像处理部25的位置对准处理部25a进行位置对准处理。
在进行了步骤S1的位置对准的处理后，如步骤S2所示，位置对准处理部25a根据位置对准处理的结果，通过图像匹配估计(计算)插入部11的前端位置。具体而言，使用位置对准的信息作为图像匹配的初始值，通过图像处理计算与内窥镜图像匹配最好的VBS图像。
在步骤S3中，位置对准处理部25a通过图像匹配对是否在规定条件以内(例如估计位置是否位于支气管内部)完成了插入部11的前端的估计(即位置的估计是否成功)进行判定。步骤S3的判定为成功的情况下，在监视器32上，将通过图像处理部25的位置估计部25b而估计的插入部11的前端位置在支气管形状图像2a上重叠显示于所估计的位置上，并执行步骤S4的处理。另一方面，在判定失败的情况下执行步骤S6的处理。
在步骤S4中由位置估计部25b估计的插入部11的前端的位置信息被输入到控制部26的特征区域判定部26d中。然后，特征区域判定部26d判定所估计的插入部11的前端的位置是否位于从支气管2的切口Spi或分支点Bi起(dth1、dth2等的)的恒定值dth以内的特征区域内。在步骤S4中，判定结果为处于恒定值dth以内的情况下，如步骤S5所示将候选信息存储于存储部27中。
例如图2B所示，在判定为插入部11的前端P1位于从隆嵴K(第1切口Sp1)起的恒定值dth1(＝dth)以内的情况下，所估计的插入部11的前端位置P1成为候选位置Pc1，该候选位置Pc1(的信息)与对应的VBS图像I1一起作为候选信息存储于存储部27中。
此外，在插入部11的前端插入于比隆嵴K靠深部侧的位置，插入部11的前端P2位于从下一切口Sp2起的恒定值dth1以内的情况下，所估计的插入部11的前端的位置P2成为候选位置Pc2，将该候选位置Pc2与对应的VBS图像I2一起作为候选信息存储于存储部27中。在步骤S5的处理后，转移至步骤S8的处理。
另一方面，在步骤S4中，插入部11的前端未到达从切口Spi起的恒定值dth1以内的情况下，不进行记录步骤S5的候选信息的处理，而是执行步骤S8的处理。另外，在图2B中，示出了在判定为位于从切口Spi起的恒定值dth1以内的情况下，存储候选位置Pci的例子，而如图2C所示，可以在判定为所估计的插入部11的前端位于从分支点Bi起的恒定值dth2(＝dth)以内的情况下，存储候选位置Pci′。另外，图2C示出插入部11的前端P1′、P2′位于从分支点B1、B2起的恒定值dth2以内的情况。此外，恒定值dth1和恒定值dth2既可以设定为相同值，也可以设定为不同值。
在步骤S8中，检测手术人员是否通过输入装置31产生了候选信息的提示的指示信号(触发)。具体地，在无法检测到图像匹配的估计失败的情况下，例如内窥镜剧烈移动而基于图像匹配的估计位置虽然满足了规定条件(是否存在于支气管内部)，却明显处于其他位置上的情况下，在手术人员判断为再次进行位置对准时产生指示信号。
在不存在步骤S8的触发的情况下，在下一步骤S9中，位置估计部25b对插入部11的前端是否插入到目标位置进行判定(估计)。
在插入部11的前端未插入到目标位置上的情况下，手术人员参考显示于监视器32上的显示，如步骤S10所示将插入部11的前端插入到支气管2的深部侧。在步骤S10的处理后，返回步骤S2，进行插入部11的前端位置的估计，而此时作为图像匹配的初始值，取代位置对准信息而使用基于上次图像匹配的估计位置。另一方面，在步骤S19中插入到了目标位置的情况下，结束图3的插入操作。
与此相对，在步骤S3的位置估计未成功而失败的情况下，或存在步骤S8的触发的情况下，在监视器32显示出表示停止处理的内容、例如匹配错误。在这种情况下，如步骤S6所示，显示控制部26a自动产生提示候选信息的指示信号。
然后，从存储部27的候选信息存储部27a中读出候选信息。然后，如步骤S7所示，在监视器32上显示候选信息。例如，在处于从图2B的切口Sp2起的恒定值dth1以内之后，在插入部11的前端的位置P3上产生了匹配错误的情况下，将产生匹配错误前最后存储于存储部27(的候选信息存储部27a)中的候选位置(这种情况下为候选位置Pc2)与对应于该候选位置Pc2的VBS图像I2作为候选信息提示。
图2D示出这种情况下的提示例。如图2D所示，在支气管形状图像2a上，将候选位置Pc2与对应于该候选位置Pc2的VBS图像一起显示为候选信息。另外，在提示候选信息的情况下，如上所述还可以通过虚线显示出对应于该候选位置Pc2的内窥镜图像。
此外，在这种情况下，可以在与VBS图像相邻的位置上，以相同的显示倍率按照较易观察的方式显示。
进而，还可以使VBS图像或内窥镜图像的一方显示为可自由移动，用户使用鼠标等将一个图像重叠显示(合成显示)于另一个图像上。这样，用户易于确认图像匹配的程度。此外，图2D示出了1个候选信息的提示例，也可以如后述的图10A-图10F所示提示多个候选信息。
显示出候选信息的情况下，返回步骤S1，手术人员参考显示于监视器32上的候选信息，进行再次的位置对准处理。
根据如上工作的本实施方式，手术人员在进行插入插入部11的操作的过程中，将提示用的候选信息存储于存储部27中，在插入部11的前端位置的估计失败的情况下，能够将适于位置对准的提示用的候选信息提示为候选信息，因此能够灵活进行插入操作。
此外，在本实施方式中，使用图像匹配的图像处理进行插入部11的前端位置估计，因而通过图像处理的算法，误差容易从最初的位置对准状态起逐渐变大。这种情况下，通过基于再次图像匹配的再次位置对准，能够充分减小误差，从再次位置对准的位置附近起进行向更深部侧的插入操作。
可以如下变更上述说明中的条件。
(a)以上说明了在满足所估计的插入部11的前端位置处于从切口Spi或分支点Bi起分别位于恒定值dth1或dth2以内的1个条件的情况下，在存储部27中存储(提示用的)候选信息的例子，然而不限于该条件，
(b)也可以在满足所估计的插入部11的前端位置处于从切口Spi和分支点Bi起分别位于恒定值dth1、dth2以内的2个条件的情况下存储候选信息。
(c)此外，在(a)或(b)中，进而，也可以在所估计的插入部11的前端位置与芯线35间的距离在恒定值dth3以内的情况下存储候选信息。
(d)此外，在(a)、(b)、(c)中的某个中，也可以在内窥镜图像中能观察到分支图像的情况下存储候选信息。
(e)此外，在(a)、(b)、(c)、(d)中的某个中，恒定值dth1-dth3既可以设定为相同值，也可以设定为与在切口Spi或分支点Bi处的支气管径对应的值，或者按照与支气管分支的分支部位或从隆嵴到分支为止的距离设定。
(f)此外，在图2B、图2C的例子中，示出了以2点间的直线距离是否位于恒定值以内作为存储条件的情况，而如图4所示，也可以将与插入部11的前端位置最近的芯线35上的点P与分支点Bi之间的、在芯线35上的路程(沿着芯线35测量的距离)dw是否在恒定值dwth以内来作为存储该候选信息的条件。
如上，在插入到弯曲的管腔部分内的情况下也能够适当地存储和提示候选信息。
图5A表示第1实施方式的变形例的内窥镜系统1B的结构。图5A所示的内窥镜系统1B基于图1的内窥镜系统1，在插入部11的前端部13内的摄像装置16的附近的位置上，还设有用于检测摄像装置16或插入部11的前端位置的位置传感器41。
此外，在内窥镜3和被检体的外部且在插入辅助装置5内的规定位置上，设有进行测量(检测)该位置传感器41的3维位置(简称为位置)的处理的测量处理装置或测量处理部42。位置传感器41的检测信号被输入到测量处理部42中。
该测量处理部42具有作为位置检测单元的位置估计部42b的功能，该位置估计部42b使用位置传感器41，检测或估计插入到作为规定的管腔脏器的支气管2内的构成摄像单元的摄像装置16的3维位置或插入部11的前端的3维位置。另外，在本变形例的图5A中，不具有图1的图像处理部25内的位置估计部25b。
作为位置检测(位置估计)的单元或方法，例如可使用应用磁气的技术。由线圈构成的位置传感器41检测从与测量处理部42连接的多个天线42a发出的交流磁场，由(具有振幅检测电路和相位检测电路的)测量处理部42检测通过该位置传感器41检测的信号中的信号振幅和相位，从而测量从天线42a到位置传感器41为止的距离。测量处理部42将3个以上的多个天线42a分别设置于不同的已知位置上，从而能够确定位置传感器41的3维位置。
另外，还可以构成为对构成位置传感器41的线圈施加交流信号，使其周围产生交流磁场，在天线42a侧检测交流磁场从而检测位置传感器41的位置。作为一例，说明了使用线圈的磁气式位置检测装置，而位置传感器41和测量处理部42的结构不限于上述说明的情况。
例如，可以沿着插入部11的长边方向以规定间隔配置用于位置检测的多个线圈，根据多个线圈的位置估计插入部11的形状，以能够检测前端部13等的位置。通过测量处理部42而检测(估计)的插入部11的前端的位置信息被输出给控制部26和图像处理部25。
在本变形例的情况下，对管理支气管2的3维形状的图像数据的作为CT坐标系的第1坐标系上的位置(位置信息)、与位置传感器41的以天线42a为基准的作为传感器坐标系的第2坐标系上的位置(位置信息)进行位置对准。例如控制部26具备进行两坐标系的位置对准(登记)及其控制的位置对准部(和位置对准控制部)26e的功能。
图5B表示登记动作的说明图。手术人员例如在支气管2的入口附近的例如4点Q0-Q3上，依次设定内窥镜3的前端部13(或位置传感器41)，通过输入装置31进行在第1坐标系O-XYZ和第2坐标系o-xyz中分别将位置对应起来的指示或指示输入。因此，输入装置31形成进行位置对应的指示的指示输入部或指示输入单元。
例如，将前端部13(或位置传感器41)依次设定为第1坐标系O-XYZ上的原点O的位置Q0(0，0，0)、X坐标上的位置Q1(1，0，0)、Y坐标上的位置Q2(0，1，0)、Z坐标上的位置Q3(0，0，1)，由手术人员进行位置对应的指示。关于该指示，如果设在各位置处由测量处理部42依次测量出的位置为(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)，则控制部26进行位置对应，并控制为将位置对应信息存储于存储部27中。
这种情况下的位置对应信息(具体是第1坐标系O-XYZ上的Q0(0，0，0)、Q1(1，0，0)、Q2(0，1，0)、Q3(0，0，1)在第2坐标系o-xyz中分别对应于(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)的信息)存储于存储部27中。
此外，位置对准部26e使用存储于存储部27中的位置对应信息确定将两坐标系的任意的位置对应起来的转换信息。位置对准部26e将该转换信息存储于存储部27中。
在图5B中，将坐标位置Q0(0，0，0)、Q1(1，0，0)、Q2(0，1，0)、Q3(0，0，1)以及分别对应的坐标位置(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)简单地表示为 另外，也可以不使用图5B所示的4个点，而是使用省略了其中的1个点后的3个点进行(确定)位置对应。
具体而言，手术人员使内窥镜3的前端部13依次接触在第1坐标系中指定的位置。此时，作为表现在第1坐标系中指定的位置的方法，使用VBS图像。即，手术人员以使得可同样观察到VBS图像与内窥镜图像的方式操作内窥镜。
如上，在位置对应的处理结束后，手术人员将内窥镜3的插入部11插入到支气管2内，开始进行内窥镜检查。
在本变形例中，在由位置估计部42b估计的插入部11的前端位置所对应的CT坐标系(第1坐标系)的位置偏离应处于支气管2的管腔内侧的条件这样的、两坐标系明显位置偏移的情况下，判定为位置估计失败的状态。其他结构都与图1的第1实施方式相同。
关于本变形例的动作，除了变更为使用位置传感器41估计插入部11的前端位置，以及由控制部26的位置对准部26e进行在位置对准失败的情况下进行的位置对准之外，进行与表示第1实施方式的动作的图3几乎相同的处理。
第1实施方式的第2变形例的结构与第1变形例相同，而本变形例的情况下，图像处理部25的位置对准处理部25a通过图像匹配，进行用于提高使用位置传感器41的位置对准的精度的处理。
即，在第1变形例中需要进行使内窥镜3的前端部接触所指定的位置的操作，而该操作较难，会成为估计位置的精度恶化的要因。于是，通过图像匹配估计内窥镜3的前端部13在CT坐标系上的位置，根据该位置变更所指定的位置，从而能够可靠地使内窥镜3的前端部13接触所指定的位置。由此，能够将位置偏移的误差调整为规定值以下。
在本变形例的情况下，图像处理部25的位置对准处理部25a具有进行基于图像匹配的位置对准的第2位置对准部的功能，此外，如上所述，测量处理部42具有检测(或估计)插入部11的前端位置的位置估计部42b的功能。
此外，位置对准处理部25a具有通过图像匹配来监视两坐标系的位置对准状态的位置对准监视处理部的功能。例如，在插入部11的前端插入到支气管2内的情况下，伴随插入部11的前端的移动，内窥镜图像和位置估计部42b估计出的第2坐标系上的位置也会变化。
此外，对应于在第2坐标系上的位置变化，通过在CT坐标系(第1坐标系)上的位置信息而生成并输入给图像处理部25的VBS图像也会变化。图像处理部25的位置对准处理部25a监视两图像，在两图像的偏移量大于等于预先设定的值的情况下，判定为处于位置对准失败的状态(或需要位置对准的状态)。
此外，在本变形例中，在由位置估计部42b估计的插入部11的前端的位置所对应的CT坐标系(第1坐标系)上的位置偏离应处于支气管2的管腔内侧的条件这样的、两坐标系的位置偏移明显的情况下，也判定为处于位置对准失败的状态(或需要位置对准的状态)。其他结构都与图1所示的第1实施方式相同。
关于本变形例的动作，除了变更为使用位置传感器41估计插入部11的前端位置，以及由控制部26的位置对准部26e进行在位置对准失败的情况下进行的位置对准以外，进行与表示第1实施方式的动作的图3几乎相同的处理。
根据第1或第2变形例，在手术人员进行插入插入部11的操作的过程中，将提示用的候选信息存储于存储部27中，在插入部11的前端位置的估计失败等情况下，能够提示适于位置对准的提示用的候选信息，因此能够灵活进行插入操作。
此外，在第1或第2变形例中，在最初的位置对准后使用位置传感器41进行插入部11的前端的位置估计，而当与位置对准后的位置之间的距离变大时，相对于最初的位置对准状态的误差容易变大。这种情况下，提高使用位置传感器41并且使用图像匹配的再次位置对准，能够充分减小误差，从再次位置对准的位置附近起顺利地进行向更深部侧的插入操作。
另外，在图1或图5A的结构中，在满足了上述规定条件的情况下，将提示用的候选信息存储于存储部27的候选信息存储部27a中，但是，也可以设置候选信息的存储限制单元，其在存储了候选信息之后，限制存储在几乎相同的候选位置或相似的候选位置处的候选信息。
例如可以设置候选信息的存储限制部，其在存储了候选信息后，禁止(抑制)所估计的插入部11的前端位置相距该候选位置不足预先设定的限制距离的下一个候选信息的存储，在移动了所设定的限制距离以上的情况下解除候选信息的禁止(抑制)，而在满足上述规定条件的情况下存储下一个候选信息。或者可以采取首次到达特征区域内的位置、最后处于特征区域内的位置、最接近分支点Bi的位置、易于判别之前的分支的位置。该选择可以由手术人员通过构成输入装置31的键盘、鼠标等对图像处理部25或控制部26进行指示输入。
例如通过虚线表示图1、图5A中在控制部26内设置(候选信息的)存储限制部26f的结构。
如上，能够抑制读取存储于存储部27的候选信息存储部27a中的候选信息并将其在监视器32上提示时的候选信息过多的情况，手术人员能够通过适于位置对准的适度数量的候选信息进行位置对准作业。因此，具有手术人员能够易于进行位置对准作业的效果。
另外，作为限制存储的限制距离，可根据支气管2的分支点Bi和切口Spi的信息等来设定。具体而言，例如可以根据沿着支气管的芯线35而存在的相邻的分支点Bi与Bi+1间的距离等，设定限制距离。作为具体例，例如可以将相邻分支点间距离的1/2设定为限制距离。
此外，还可以取代限制在存储部27的候选信息存储部27a中存储候选信息的条件，而是以仅选择性提取(即限制)适于提示的候选信息并提示的方式，将提示选择信息或提示限制信息追加存储(于候选信息中)。因此，例如在图1、图5A中，候选信息存储部27a还可以具有存储提示选择信息或提示限制信息的提示限制信息存储部27b，以存储提示选择信息或提示限制信息。
在作为上述规定条件而位于最初满足处于例如从分支点Bi起的恒定值dth2以内的条件(存在于特征区域内的条件)的位置Pi′上的情况下，在将该位置Pi′作为候选位置并存储为候选信息的情况下，作为提示限制信息例如还追加存储(Bi，1)。这里，(Bi，1)表示(分支点Bi、满足条件的最初位置的编号)。
进而，在插入部11的前端向深部侧移动的情况下，在以适当的时间间隔而设为下一个位置Pi+1′的情况下，在要将该位置Pi+1′作为候选位置而存储为候选信息，作为提示限制信息例如还追加存储(Bi，2)。这样，在存储了满足从分支点Bi起的恒定值dth2以内的条件的多个候选信息的情况下，在进行了用于再次位置对准的候选信息提示的指示的情况下，也可以限制为仅提示(显示)例如在分支点Bi附近满足条件的最初位置的编号1的候选信息。另外，手术人员通过变更例如通过输入装置31提示的数量的条件，从而还能够变更通过监视器32提示的候选信息的数量。
这种情况下，能够抑制通过监视器32提示候选信息时的提示用的候选信息过多的情况，手术人员能够根据适于位置对准的适度数量的候选信息进行位置对准作业。因此，具有手术人员能够容易进行位置对准作业的效果。
进而，在生成支气管形状图像和VBS图像时，也可以不从CT图像数据中提取作为规定的管腔脏器的支气管2的3维图像数据，而是根据CT图像数据通过体绘制法来直接生成。这种情况下，不需要图1或图5A中的支气管提取部23，由VBS图像生成部24生成所述2种图像。
(第2实施方式)
接着说明本发明的第2实施方式。本实施方式是与图1的内窥镜系统1或图5A的内窥镜系统1B相同的结构。
本实施方式接近于上述(b)的内容，但是，在2点间的距离满足第1阈值的条件并且满足第2阈值的情况下存储候选信息。在本实施方式中，在所估计的插入部11的前端的位置例如在Pi处成为位于从分支点Bi起的第1阈值dt2以内后、进而前进至Pi+1处而满足从分支点Bi起的第2阈值dt1以上的条件时，判断为插入部11的前端已到达分支点Bi，存储在第1阈值dt2以内时的候选信息。
图6表示第2实施方式中的插入操作中的存储候选信息的动作的说明图。如图6所示，例如在插入部11的前端插入到比切口Spi-1靠深部侧的位置的情况下，通过控制部26的特征区域判定部26d进行第1判定，该第1判定是判定所估计的插入部11的前端的位置Pi与下一个分支点Bi的位置间的距离是否在恒定值dth2以内。
此外，特征区域判定部26d在通过第1判定而判断为所估计的插入部11的前端的位置Pi与分支点Bi的位置间的距离处于第1阈值dt2以内后，进而进行第2判定，该第2判定是判定所估计的插入部11的前端的位置Pi与分支点Bi的位置间的距离是否在第2阈值dt1以上。
然后，在通过第2判定判断为所估计的插入部11的前端的位置Pj与分支点Bi的位置间的距离在第2阈值dt1以上的情况下，存储位于第1阈值dt2以内时的候选信息。
这种情况下，如图6所示，若将第2阈值dt1和第1阈值dt2设定为dt1＞dt2，则如图6所示，能够存储插入部11的前端到达分支点Bi附近的状态下的候选信息。
根据本实施方式，如第1实施方式那样，在手术人员正在进行插入插入部11的操作的过程中，将提示用的候选信息存储于存储部27中，在插入部11的前端位置的估计失败的情况下，能够提示提示用的候选信息，因此能够顺利进行插入操作。
进而，根据本实施方式，能够精度良好地检测插入部11的前端到达分支点Bi的附近的位置的状态。
另外，作为本实施方式的具体例，说明了关于插入部11的前端的位置与分支点Bi间的距离设定了2个阈值的情况，然而还可以使用插入部11的前端的位置与切口Spi间的距离、以及最接近插入部11的前端的芯线35上的位置与分支点Bi间的距离等。
(第3实施方式)
接着说明本发明的第3实施方式。本实施方式的内窥镜系统是与图1的内窥镜系统1或图5A的内窥镜系统1B相同的结构。在本实施方式中，插入部11的前端通过某个分支点附近，在从该分支点附近起向分支的下一个支气管枝(小枝)移动的情况下，在此前取得的插入部11的前端位置处存储候选信息。
图7表示本实施方式的动作说明图。例如插入部11的前端位于位置Pk上，在对该位置进行了估计后，插入部11的前端继续移动，在到达(或移动)了分支后的1个支气管枝(小枝)内的位置Pk+1的情况下，存储在位置Pk处的候选信息。另外，从图7起，用小圆表示插入部11的前端位置。
到达(或移动)了1个支气管枝(小枝)内的位置Pk+1的情况，指的是如图7所示，最接近插入部11的前端位置的芯线35为小枝的情况。为了判定该状态，如图7所示，例如设定半径dt的圆形区域以作为以分支点Bi为中心的距离，特征区域判定部26d可以先判定所估计的插入部11的前端位于该圆形区域内的第1状态，然后判定向该圆形区域以外的外侧移动的第2状态。在图7的例子中，半径dt被设定为分支点Bi与切口Spi的位置间的距离或略大于该距离的值。
此外，还可以通过内窥镜图像进行判定。例如在上述半径dt的圆内确认到在内窥镜图像中分支的作为支气管枝的图像的例如2个较暗的圆形图像后，在由于插入部11的前端的移动而成为1个较暗的圆形图像的情况下，可以将在确认了所述2个较暗的圆形图像的状态中，未产生位置对准错误的状态的位置处取得的该位置和对应的VBS图像存储为候选信息。
此外，作为图7所示的设定为圆形的区域的变形例，例如还可以设定从分支点Bi起的在芯线35上的距离为dt的边界Bt(图7中用虚线所示)。如上，在设定边界Bt的情况下也具有大致同样的作用效果。
此外，作为本实施方式的变形例，也可以在插入部11的前端与依次通过的2个分支点相距的距离都增加的情况下，将在即将增加之前的未产生位置对准错误的状态下取得的位置处的该位置和对应的VBS图像存储为候选信息。
图8表示本变形例的动作说明图。如图8所示，在所估计的插入部11的位置Pk通过了分支点Bi-1和该分支点Bi-1的下一个分支点Bi，并插入到相比支气管的更深部(末端)侧的情况下，特征区域判定部26d监视以下的条件。
特征区域判定部26d在满足了分支点Bi-1与位置Pk间的第1距离d1以及分支点Bi与位置Pk间的第2距离d2都增加的条件的情况下，将在即将满足该条件之前未产生位置对准错误的状态下的位置(例如Pk-1)上取得的该位置和对应的VBS图像存储为候选信息。
本变形例具有与第2实施方式大致同样的效果。
此外，如图9所示，也可以在内窥镜图像中的作为分支的特征量的(支气管2分支)小枝的重心间的距离dg变化的情况下，存储候选信息。另外，图9中的上下的各内窥镜图像Ik、Ik+1是例如插入部11的前端在位置Pk、Pk+1时分别取得的图像，图像处理部25将通过2值化处理等提取的暗部计算为小枝(的部分)的图像Ia、Ib。
进而，图像处理部25计算各小枝的图像Ia、Ib的重心Ga、Gb，估计重心间的距离dg。而且，图像处理部25在从位置Pk起向位置Pk+1移动的情况下重心Ga、Gb间的距离dg发生了规定值以上或规定比率以上变化时，例如存储在位置Pk处的候选信息。这种情况下，具有与第3实施方式大致同样的效果。另外，图9的2个小枝的图像Ia、Ib的外侧的圆形表示支气管2的管腔内壁。
如图9所示，也可以取代重心Ga、Gb间的距离dg发生变化的情况，而在将小枝视作椭圆形时的代表半径或代表半径之比发生变化的情况下存储候选信息。
此外，还可以在图像Ia、Ib的像素和发生变化的情况下存储候选信息。
接着，说明在上述实施方式中发生匹配错误或位置对准失败的情况下，或用户为了进行位置对准而做出了候选信息的提示的指示的情况下的候选信息的提示例。图2D中，示出了候选信息的1个提示例，也可以如下进行提示。
图10A中通过Pc1、Pc2、Pc3表示在上述实施方式中满足了规定条件的情况下存储为候选信息的候选位置，并且通过V1、V2、V3表示对应的VBS图像。而且，例如在手术人员做出了候选信息的提示的指示时，在支气管形状图像2a上重叠显示上述候选位置Pc1、Pc2、Pc3，此外，对应的VBS图像V1、V2、V3也与上述候选位置Pc1、Pc2、Pc3对应起来(例如通过线连结候选位置Pci(i＝1、2、3)与VBS图像Vi等)显示。另外，如图2D所示，对应于候选位置Pci的内窥镜图像也可以同时显示于易于与VBS图像Vi比较的位置上。
此外，如图10A所示，将目标部位36重叠显示于支气管形状图像2a的图像上，并且在支气管形状图像2a图像上重叠显示插入内窥镜3的插入部11的路径R。此外，还可以显示未图示的内窥镜3的前端部13的轨迹。
如上，通过提示候选信息，从而用户能够容易地在短时间内效率良好地进行再次位置对准，易于灵活进行向目标部位36的插入。另外，可以在判定为内窥镜3的插入部11的前端从(作为路径数据的)路径R起远离(例如管腔直径程度等的)规定距离的情况下，提示例如图10A所示的候选信息。
此外，如图10B所示，还可以显示为，将所存储的候选位置Pc1、Pc2、Pc3′、Pc3之间通过沿着移动的线L12、L23′、L23连结起来。图10B示出在按照候选位置Pc1、Pc2、Pc3′的顺序存储了候选信息之后，从候选位置Pc3′起再次返回到候选位置Pc2上，并且移动至与候选位置Pc3′侧的小枝不同的小枝侧的候选位置Pc3时的例子。由于如上移动，因此显示(提示)线L12、L23′、L23。另外，通过V3′表示对应于候选位置Pc3′的VBS图像。此外都与在图10A中说明的内容相同，且具有同样的效果。
此外，图10C中，例如在图10A的情况下，在内窥镜3的插入部11的前端在候选位置Pci处存储了候选信息的时刻起经过了规定时间的时刻取得插入部11的前端位置，从而计算从候选位置Pci起的运动方向Mi，并存储为候选信息或候选信息的附带信息。而且，如图10C所示在候选信息的提示时进行在图10A中说明的候选信息的提示时，还显示(提示)运动方向Mi。此外都与图10A中说明的内容相同，具有与图10A同样的效果，并且通过参考运动方向Mi能够更易于进行位置对准。
图10D中，例如在图10A的情况下，进而在内窥镜3的插入部11的前端位置Pci上存储候选信息时，还存储摄像装置16的(基于物镜15的)视线方向Ci。而且，如图10D所示在候选信息的提示时进行图10A中说明候选信息的提示时，还显示(提示)视线方向Ci。此外都与在图10A中说明的内容相同。通过视线方向Ci的提示而易于进行位置对准。
在图10D中，说明了提示候选信息的情况下还能够提示视线方向Ci的例子。在图10D中，示出了2维显示视线方向Ci的情况。与此相对，如图10E所示，例如可以使用四角锥等显示视线方向Ci′，将视线方向Ci′以3维方向的形式通过用户易于识别的方式进行显示(提示)。如图10E所示进行了提示时，用户更易于识别视线方向Ci′。
在图10F所示的例子中，例如在图10A的情况下，在存储了候选信息时，作为支气管2的管腔直径的信息，还存储根据支气管2的3维形状而计算的内径Di的信息，在提示候选信息的情况下，还提示所存储的内径Di的信息。如图10F所示还显示内径Di的信息，从而用户更易于把握插入部11的前端位置。此外具有与图10A同样的作用效果。
如图10G所示，可以在4个位置上附加文字信息(具体为A、B、C、D)，并通过相同的文字信息将所对应的VBS图像关联起来显示。图10G示出如图10B的情况那样，在按照候选位置Pc1、Pc2、Pc3′的顺序存储了候选信息后，从候选位置Pc3′起再次返回候选位置Pc2，并移动至与候选位置Pc3′侧的小枝不同的小枝侧的候选位置Pc3时的例子。另外，可以将VBS图像配置于支气管形状图像2a的下侧。
如图10G所示进行提示时，用户能够通过时间序列确认位置，更易于把握插入部11的前端位置。此外，虽然没有图示，然而还可以在VBS图像上附加显示存储候选信息的次序和时刻。进而，关于文字信息在位置上的分配，既可以按照Pc3、Pc3’、Pc2、Pc1这样相反的时间序列来进行，也可以从最后的位置估计成功的位置起按照从近到远的顺序进行。
上述提示例说明的是在支气管形状图像2a上重叠显示候选位置等的候选信息的例子，而如以下所示，也可以将作为候选位置的位置显示于包含支气管2的断层像图像(MPR图像)上。
图11表示在能够用于上述第1-第3实施方式中的监视器32上显示的例子。图11的左上表示包括患者的支气管的横剖面的CT断层图像，图11的右上表示垂直于患者的正面的纵剖面的CT断层图像，图11的左下表示平行于患者的正面的纵剖面的CT断层图像，图11的右下表示用户设定坐标时的菜单画面。
图11中，将插入部11的前端(或设置于前端的摄像装置16)的所估计的位置(点)以例如相同颜色的圆及其他的形状显示于断层图像上。在图11中，通过与断层图像的显示色不同的颜色(例如蓝色)显示4个位置。
另外，在将前端的位置作为候选信息中的候选位置(信息)提示的情况下，既可以如图10A-图10F所示，使用线将位置与对应于位置的VBS图像关联起来显示，也可以如图12所示在4个位置上附加文字信息(具体为A、B、C、D)，并通过相同的文字信息与所对应的VBS图像关联起来显示。
以下说明的是将位置重叠显示于断层图像上的情形的例子，省略了通过文字信息等将位置与所对应的VBS图像关联起来提示的显示。
在图11中，通过相同颜色、形状示出了所估计的位置位于切断面上的情况和除此以外的情况，然而如图13所示，在位于切断面上的情况和不位于切断面上的情况下，也可以通过不同形状(例如前者用圆形，后者用四边形)进行显示或改变颜色而显示。此外，还可以仅显示位于切断面上的情况。
此外，例如图11那样进行显示的情况下，还可以如图14中箭头所示，显示移动方向的信息。如上所述，在满足从分支点等起的恒定值以内等的规定条件时的(插入部11的前端的)位置存储候选信息的情况下，还存储紧接其后的位置的信息，在显示候选信息的情况下，将连结2点间的箭头如图13所示显示为移动方向。另外，还可以取代显示移动方向，而显示设置于插入部11的前端的摄像装置16的视线方向。
此外，还可以不显示连结2点间的箭头，而是如图15所示显示候选位置处的摄像装置16的视野范围或VBS图像的视野范围。
此外，在图15中是MPR图像的显示，因此成为视野范围也投影于切断面上的形状，而如图16所示，在显示于1个断层像上的情况下，也可以使用四角锥立体地显示视野范围。
此外，还可以取代用点显示(提示)所存储的位置，而是用区域进行显示(提示)。图17示出这种情况下的提示例。在图17中，斜线所示的区域是作为相当于候选位置的候选区域而已经存储(登记)于存储部27中的区域，与此相对，施加了交叉阴影的区域表示未登记的区域。
如上，如果以能够识别出已登记的区域与未登记的区域的方式进行显示，则用户容易分辨出在期望的支气管2的小枝部分上是否完成了登记。因此，能够提高对于用户而言的便利性。
另外，作为显示(提示)时的区域，既可以是满足从用户等做出了再次位置对准的指示的位置起的一定范围内的条件的范围内，也可以是支气管2的小枝，还可以同时显示于支气管2中的所提取的部分上。
此外，还可以如图18所示组合显示断层图像与支气管树，使得用户易于把握图11至图17中的断层图像(MPR图像)为肺叶上的哪个部分。
这种情况下，作为断层图像与支气管树的位置关系，既可以设定为使得所存储的点位于断层图像上，也可以从该点起向任意方向移动相当于分支的量。
此外，图18示出了表示1个断层图像的例子，也可以如图19所示与2个以上的断层图像进行组合。
作为上述图11-图19的MPR图像的剖面，可使用与身体水平的体轴剖面(轴向剖面、axial剖面)、纵切的矢状剖面(矢状剖面、sagittal剖面)、横切的冠状剖面(冠状剖面、coronal剖面)这3个剖面中的某个。然而，由于未考虑到支气管树的形状，因而有时不易进行支气管树的分支的识别。因此，也可以如图20所示设定包括已存储(登记)的点的支气管枝的切断面，以易于识别分支。
可通过以下的设定方法设定图20所示的切断面。
a.如图21(A)所示，求出1个在存储部27中存储(登记)为候选位置的位置(点)Q1所在的支气管枝T1。
b.求出与如图21(A)所示求出的支气管枝T1共有分支点B的支气管枝T2。
c.根据2个支气管枝T1、T2的方向矢量(例如连结支气管枝的起点与终点的矢量、连结起点与支气管枝的中间的芯线35上的点的矢量等)求出外积。
d.求出包括分支点B，且以在c中求出的方向矢量为法线的平面。
e.如图21(B)所示，按照位于在d中求出的平面上、且与登记的点Q1所在的支气管枝T1的芯线35的长度和方向矢量对应的区域R1，来切取断层图像。
f.对所有已登记的点Q1等所在的支气管枝T1等进行上述的a-e的处理。图21(C)表示在存在图21(A)的末端侧的点Q2的支气管枝T3中，通过与图21(B)所示的情况同样的设定方法切取出的区域R2。
g.如图21(D)所示，贴合所切取出的区域R1、R2，生成贴合断层图像。如此，设定表示包括图20所示的已存储(登记)的位置(点)的支气管枝的切断面。如图20所示显示的情况下，易于根据与支气管枝的关联性来把握候选位置。因此，具有易于更顺利地进行位置对准处理的效果。
另外，将包括上述变形例的实施方式部分组合起来构成的实施方式也属于本发明。
本申请是以2013年3月12日在日本提交申请的日本特愿第2013-49290号作为优先权基础而申请的，上述公开的内容在本申请说明书、权利要求书中进行引用。

Claims (12)

1.一种内窥镜系统，其特征在于，具有：
图像存储部，其存储与被检体的管腔脏器的位置信息对应的3维图像信息；
假想内窥镜图像生成部，其根据所述3维图像信息，生成从任意的视点位置以内窥镜方式描绘的假想内窥镜图像；
摄像部，其设置于内窥镜内，对所述被检体的管腔脏器内进行摄像；
位置对准处理部，其对由所述假想内窥镜图像生成部生成的所述假想内窥镜图像、与通过所述摄像部的摄像而生成的内窥镜图像进行比较，提取与该内窥镜图像类似的假想内窥镜图像；
位置估计部，其根据与由所述位置对准处理部提取出的所述假想内窥镜图像对应的位置信息，估计所述被检体的管腔脏器内的内窥镜插入部的前端位置；
特征区域判定部，其判定由所述位置估计部估计出的所述内窥镜插入部的前端位置是否位于与所述管腔脏器内的分支相关的特征区域内；
存储部，其在由所述特征区域判定部判定为所述内窥镜插入部的前端位置位于所述特征区域内的情况下，存储由所述位置估计部估计出的所述内窥镜插入部的前端位置；以及
候选信息提示控制部，其在所述位置对准处理部无法提取与所述内窥镜图像类似的假想内窥镜图像的情况下，根据所述存储部中存储的所述内窥镜插入部的前端位置，将由所述特征区域判定部判定为位于特征区域内的所述内窥镜插入部的前端位置所对应的假想内窥镜图像作为候选信息，向显示部进行提示。
2.根据权利要求1所述的内窥镜系统，其特征在于，
所述存储部还存储与所述内窥镜插入部的前端位置对应的假想内窥镜图像。
3.根据权利要求1所述的内窥镜系统，其特征在于，
所述内窥镜系统还具有：
管腔脏器提取部，其从所述3维图像信息中提取规定的管腔脏器，生成3维管腔脏器图像；以及
路径数据生成部，其根据所述3维图像信息，至少生成所述规定的管腔脏器内的从插入开始位置到目标位置的路径数据，
所述候选信息提示控制部将所述路径数据重叠于所述3维管腔脏器图像上或在任意方向上切取所述3维图像信息而得到的2维断层图像上，并且在所述路径数据上或该路径数据附近提示所述候选信息。
4.根据权利要求1所述的内窥镜系统，其特征在于，
所述特征区域判定部根据所述内窥镜插入部的前端位置与所述管腔脏器内的管腔所分支出的分支部之间的距离，判定所述内窥镜插入部的前端位置是否位于所述特征区域内。
5.根据权利要求1所述的内窥镜系统，其特征在于，
所述候选信息提示控制部除了提示所述假想内窥镜图像以外，还提示与和该假想内窥镜图像对应的所述内窥镜插入部的前端位置相关的候选位置信息，作为所述候选信息。
6.根据权利要求1所述的内窥镜系统，其特征在于，
所述候选信息提示控制部除了提示所述假想内窥镜图像以外，还提示所述内窥镜插入部的前端的物镜光学系统的视线的信息，作为所述候选信息。
7.根据权利要求1所述的内窥镜系统，其特征在于，
所述候选信息提示控制部除了提示所述假想内窥镜图像以外，还提示根据所述内窥镜图像计算出的管腔的内径的信息，作为所述候选信息。
8.根据权利要求3所述的内窥镜系统，其特征在于，
所述候选信息提示控制部在所述内窥镜插入部的前端的位置从所述路径数据远离了规定距离的情况下，提示所述候选位置信息作为所述候选信息。
9.根据权利要求1所述的内窥镜系统，其特征在于，
所述位置估计部使用设置于所述内窥镜插入部的前端上的传感器，估计所述内窥镜插入部的前端位置。
10.根据权利要求2所述的内窥镜系统，其特征在于，
所述存储部还存储与所述内窥镜插入部的前端位置对应的所述内窥镜图像。
11.根据权利要求1所述的内窥镜系统，其特征在于，
所述内窥镜系统还具有存储限制部，在向所述存储部存储所述内窥镜插入部的前端位置的情况下，所述存储限制部限制在限制距离以内存储所述内窥镜插入部的前端位置，其中，该限制距离是根据所述管腔脏器内的相邻的分支点之间的距离而设定的。
12.根据权利要求1所述的内窥镜系统，其特征在于，
所述存储部以包括在不同的各特征区域内分别按顺序存储的编号信息的方式存储所述内窥镜插入部的前端位置，以限制从所述存储部中读出并由所述候选信息提示控制部作为所述候选信息进行提示的数量。
CN201480003007.7A 2013-03-12 2014-03-05 内窥镜系统 Active CN104780826B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-049290 2013-03-12
JP2013049290 2013-03-12
PCT/JP2014/055638 WO2014141968A1 (ja) 2013-03-12 2014-03-05 内視鏡システム

Publications (2)

Publication Number Publication Date
CN104780826A CN104780826A (zh) 2015-07-15
CN104780826B true CN104780826B (zh) 2016-12-28

Family

ID=51536634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480003007.7A Active CN104780826B (zh) 2013-03-12 2014-03-05 内窥镜系统

Country Status (5)

Country Link
US (1) US9326660B2 (zh)
EP (1) EP2904958A4 (zh)
JP (1) JP5718537B2 (zh)
CN (1) CN104780826B (zh)
WO (1) WO2014141968A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
WO2015190186A1 (ja) * 2014-06-10 2015-12-17 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
WO2016042811A1 (ja) * 2014-09-19 2016-03-24 オリンパス株式会社 医療用観察システム
CN106725853B (zh) * 2014-11-07 2019-07-02 常州朗合医疗器械有限公司 导航路径规划装置
JP6356623B2 (ja) * 2015-03-18 2018-07-11 富士フイルム株式会社 画像処理装置、方法、及びプログラム
KR102186739B1 (ko) * 2015-06-26 2020-12-04 인더스마트 주식회사 저속 장거리 인터페이스용 안드로이드 시스템을 위한 다중 영상 장치 및 이미지 처리 방법
JP6800567B2 (ja) * 2015-09-03 2020-12-16 キヤノンメディカルシステムズ株式会社 医用画像表示装置
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
US9727963B2 (en) 2015-09-18 2017-08-08 Auris Surgical Robotics, Inc. Navigation of tubular networks
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
CN109069009B (zh) * 2016-03-10 2022-09-23 博迪维仁医疗有限公司 用于使用多视图位姿估计的方法和系统
EP3478210B1 (en) 2016-06-30 2023-08-09 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
JP6828465B2 (ja) 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
JP2018139846A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
US10475235B2 (en) 2017-03-29 2019-11-12 Fujifilm Corporation Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program
WO2018183727A1 (en) 2017-03-31 2018-10-04 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
JP2020518326A (ja) * 2017-04-18 2020-06-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置を監視するためのグラフィカル・ユーザインターフェイス
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP6820805B2 (ja) 2017-06-30 2021-01-27 富士フイルム株式会社 画像位置合わせ装置、その作動方法およびプログラム
JP6899276B2 (ja) * 2017-08-04 2021-07-07 Hoya株式会社 内視鏡形状表示装置、内視鏡システム
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US11510736B2 (en) 2017-12-14 2022-11-29 Auris Health, Inc. System and method for estimating instrument location
CN110809453B (zh) 2017-12-18 2023-06-06 奥瑞斯健康公司 用于腔网络内的器械跟踪和导航的方法和系统
CN111770716B (zh) 2018-02-21 2023-12-01 奥林巴斯株式会社 医疗系统和医疗系统的控制方法
CN110891469B (zh) * 2018-03-28 2023-01-13 奥瑞斯健康公司 用于定位传感器的配准的系统和方法
EP3773304A4 (en) 2018-03-28 2021-12-22 Auris Health, Inc. SYSTEMS AND METHODS FOR DISPLAYING THE ESTIMATED POSITION OF AN INSTRUMENT
CN111937377B (zh) * 2018-04-09 2022-06-21 奥林巴斯株式会社 内窥镜业务辅助系统、内窥镜业务辅助方法和记录介质
US10905499B2 (en) 2018-05-30 2021-02-02 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
MX2020012904A (es) * 2018-05-31 2021-02-26 Auris Health Inc Analisis y mapeo de vias respiratorias basados en imagen.
KR102567087B1 (ko) 2018-05-31 2023-08-17 아우리스 헬스, 인코포레이티드 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법
JP7023195B2 (ja) 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP7023196B2 (ja) 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP7071240B2 (ja) 2018-07-26 2022-05-18 富士フイルム株式会社 検査支援装置、方法およびプログラム
WO2020059377A1 (ja) * 2018-09-20 2020-03-26 日本電気株式会社 位置推定装置、位置推定方法、及びコンピュータ読み取り可能な記録媒体
EP4039167A1 (en) * 2018-10-26 2022-08-10 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
WO2021038469A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
WO2021038495A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
CN114901194A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准
CN114901192A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 用于经皮进入的对准技术
WO2021137108A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment interfaces for percutaneous access
CN113143168A (zh) * 2020-01-07 2021-07-23 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质
DE102020128199A1 (de) * 2020-10-27 2022-04-28 Carl Zeiss Meditec Ag Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten
CN113116475B (zh) * 2020-12-31 2023-06-20 杭州堃博生物科技有限公司 经导管的导航处理方法、装置、介质、设备与导航系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
CN102740755A (zh) * 2010-02-22 2012-10-17 奥林巴斯医疗株式会社 医疗设备
CN102883651A (zh) * 2010-01-28 2013-01-16 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
CN103068294A (zh) * 2011-01-24 2013-04-24 奥林巴斯医疗株式会社 医疗设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3850217B2 (ja) 2000-12-27 2006-11-29 オリンパス株式会社 気管支用内視鏡位置検出装置
JP4171833B2 (ja) * 2002-03-19 2008-10-29 国立大学法人東京工業大学 内視鏡誘導装置および方法
JP4245880B2 (ja) 2002-08-30 2009-04-02 オリンパス株式会社 内視鏡装置
US8199984B2 (en) * 2006-05-02 2012-06-12 National University Corporation Nagoya University System that assists in observing a luminal organ using the structure of the luminal organ
JP5028191B2 (ja) 2007-09-03 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5188879B2 (ja) * 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
JP5372406B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
BRPI1007726A2 (pt) * 2009-05-18 2017-01-31 Koninl Philips Electronics Nv método para registro baseado em imagem entre as imagens, sistema para registro baseado em imagem entre imagens, método para calibração de posição de câmera para endoscopia guiada e sistema para calibração de câmera para endoscopia guida
JP5322794B2 (ja) * 2009-06-16 2013-10-23 株式会社東芝 内視鏡検査支援システム
JP2013049290A (ja) 2010-03-11 2013-03-14 Autoliv Development Ab シートベルト装着検知装置
US20120130171A1 (en) * 2010-11-18 2012-05-24 C2Cure Inc. Endoscope guidance based on image matching
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
CN102883651A (zh) * 2010-01-28 2013-01-16 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
CN102740755A (zh) * 2010-02-22 2012-10-17 奥林巴斯医疗株式会社 医疗设备
CN103068294A (zh) * 2011-01-24 2013-04-24 奥林巴斯医疗株式会社 医疗设备

Also Published As

Publication number Publication date
US20150057498A1 (en) 2015-02-26
EP2904958A1 (en) 2015-08-12
WO2014141968A1 (ja) 2014-09-18
US9326660B2 (en) 2016-05-03
JP5718537B2 (ja) 2015-05-13
JPWO2014141968A1 (ja) 2017-02-16
EP2904958A4 (en) 2016-08-24
CN104780826A (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
CN104780826B (zh) 内窥镜系统
CN104883950B (zh) 内窥镜系统
CN104797186B (zh) 内窥镜系统
CN104755009B (zh) 内窥镜系统
US11864850B2 (en) Path-based navigation of tubular networks
US10321803B2 (en) System and method for image-based alignment of an endoscope
CN100364479C (zh) 内窥镜装置及其引导方法、以及内窥镜图像的显示方法
CN103068294B (zh) 医疗设备
JPWO2014156378A1 (ja) 内視鏡システム
US20120197086A1 (en) Medical visualization technique and apparatus
CN107424139A (zh) 使用肺气道的隆凸位置来改进 enb 配准的方法
AU2013201547A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
WO2021166103A1 (ja) 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法
CN107249427A (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
JP5613353B2 (ja) 医療装置
US10694929B2 (en) Medical equipment system and operation method of medical equipment system
JP4445792B2 (ja) 挿入支援システム
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
CN104321007B (zh) 医疗装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant