CN115087385A - 内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法 - Google Patents

内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法 Download PDF

Info

Publication number
CN115087385A
CN115087385A CN202080096381.1A CN202080096381A CN115087385A CN 115087385 A CN115087385 A CN 115087385A CN 202080096381 A CN202080096381 A CN 202080096381A CN 115087385 A CN115087385 A CN 115087385A
Authority
CN
China
Prior art keywords
dimensional
lumen
information
feature points
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080096381.1A
Other languages
English (en)
Inventor
羽根润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN115087385A publication Critical patent/CN115087385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Abstract

内窥镜系统(1)具备：插入部(2b)，其插入到作为被摄体的管腔中；摄像元件(15)，其设置于插入部(2b)的前端部(11)，且拍摄被摄体来取得拍摄图像；位置姿势检测部(25)，其用于检测摄像元件(15)的3维配置；以及处理器(21)，其基于拍摄图像和3维配置，计算管腔的3维结构。

Description

内窥镜系统、管腔结构计算装置以及管腔结构信息的制作 方法
技术领域
本发明涉及内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法。
背景技术
内窥镜在医疗领域和工业领域中被广泛利用。例如，在医疗领域中，医生将内窥镜的插入部插入到被检体内，观看显示于显示装置的内窥镜图像来观察被检体内，由此能够进行内窥镜检查等。
在内窥镜检查时，如果存在未观察部位，则无法保证可靠的内窥镜检查。因此，以掌握大肠内窥镜的未观察部位等为目的，例如，在Mohammad Ali Armin和其他5名著的“来自大肠内窥镜影像的大肠内表面的自动化可视图(Automated visibility map of theinternal colon surface from colonoscopy video)”(International Journal ofComputer Assisted Radiology and Surgery Vol.11,No.9,P.1599-1610,4Aug,2016)中，提出了基于由内窥镜拍摄得到的图像，通过基于运算的估计来构建肠道的3维模型结构的技术。
在该提案中，仅根据内窥镜图像来计算3维模型结构。为了计算出3维模型结构，求出内窥镜图像中的肠道的内壁上的多个特征点的坐标，并且以连接多个特征点的方式来制作3维模型结构。
但是，由于大肠等脏器具有可动性，因此在制作3维模型结构的过程中，若发生由脏器的运动等引起的图像不良，则特征点的位置变得不明，无法计算出连接多个点的3维模型结构。
本发明是鉴于上述问题而完成的，目的在于提供一种即使发生由脏器的运动等引起的图像不良也能够根据各特征点的位置计算出管腔的3维模型结构的内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法。
发明内容
用于解决问题的手段
本发明的一个方式的内窥镜系统具备：插入部，其插入到作为被摄体的管腔中；摄像部，其设置于所述插入部，且取得所述被摄体的拍摄图像；检测装置，其用于检测包含所述摄像部的位置及朝向的至少一部分的信息的3维配置；以及管腔结构计算部，其基于所述拍摄图像和所述3维配置，计算所述管腔的3维结构。
本发明的一个方式的管腔结构计算装置具备：输入部，其获取拍摄图像和3维配置，该拍摄图像是由设置于插入到作为被摄体的管腔中的插入部的摄像部取得的，该3维配置包含由检测装置检测出的所述摄像部的位置及朝向的至少一部分信息；以及管腔结构计算部，其基于所述拍摄图像和所述3维配置，计算所述管腔的3维结构。
本发明的一个方式的内窥镜系统具备：插入部，其插入到作为被摄体的管腔中；检测装置，其用于检测所述插入部的前端部的3维配置；距离传感器，其设置于所述前端部，且检测从所述前端部到所述管腔的内壁的距离；以及管腔结构计算部，其基于所述距离和所述3维配置，计算所述管腔的3维结构。
本发明的一个方式的管腔结构计算装置具备：输入部，其取得由检测装置检测出的所述3维配置和由距离传感器检测出的所述距离，该检测装置用于检测包含摄像部的位置及朝向的至少一部分信息的所述3维配置，所述摄像部设置于插入到作为被摄体的管腔中的插入部，该距离传感器设置于所述前端部，且检测从所述前端部到所述管腔的内壁的所述距离；以及管腔结构计算部，其基于所述3维配置和所述距离，计算所述管腔的3维结构。
本发明的一个方式的管腔结构信息的制作方法具备如下步骤：获取被摄体的拍摄图像，该被摄体的拍摄图像是由插入到作为所述被摄体的管腔中的插入部取得的；检测3维配置，该3维配置包含所述插入部的位置及朝向中的至少一个信息；以及基于所述拍摄图像和所述3维配置，计算所述管腔的3维结构。
附图说明
图1是本发明的实施方式的内窥镜系统的结构图。
图2是本发明的实施方式的内窥镜的立体图。
图3是示出本发明的实施方式的内窥镜系统的结构的框图。
图4是示出本发明的实施方式的管腔结构计算程序的管腔结构的计算处理的流程的例子的流程图。
图5是用于说明本发明的实施方式的在设定插入部的前端部的初始值时的患者的状态的图。
图6是示出本发明的实施方式的大肠内的示意性的部分模型的例子的图。
图7是示出本发明的实施方式的大肠内的示意性的部分模型的例子的图。
图8是用于说明本发明的实施方式的对2个部分模型的位置偏移进行校正的方法的图。
图9是示出本发明的实施方式的显示于监视器的图像的例子的图。
图10是示出本发明的实施方式的显示于结构信息显示区域的结构信息的图像的例子的图。
图11是示出本发明的实施方式的表示显示于监视器的前端部的轨迹的图像的例子的图。
图12是示出本发明的实施方式的2位医生进行操作时的插入部的前端部的轨迹显示在监视器的显示画面上时的显示例的图。
图13是本发明的实施方式的通过光束法平差(bundle adjustment)来进行各特征点在3维空间内的位置计算的方法的流程图。
图14是用于说明本发明的实施方式的连续取得的多个内窥镜图像上的特征点与前端部的位置和姿势的关系的示意图。
图15是用于说明本发明的实施方式的多个内窥镜图像上的特征点、前端部的位置和姿势的关系的示意图。
图16是本发明的实施方式的具有立体照相机的插入部的前端部的前端部分的立体图。
图17是本发明的实施方式的具有多个照明窗的插入部的前端部的前端面的俯视图。
图18是本发明的实施方式的具有距离传感器的插入部的前端部的前端部分的立体图。
图19是本发明的实施方式的使用距离传感器进行管腔的内壁的3维位置的计算的方法的流程图。
图20是用于说明本发明的实施方式的部分计算出的管腔结构的例子的图。
图21是用于说明本发明的实施方式的使用具有形状传感器的内窥镜和检测插入量及扭转量的传感器来检测前端部的位置和姿势的方法的图。
图22是本发明的实施方式的在插入部内配置有多个磁传感器的内窥镜的立体图。
图23是示出本发明的实施方式的存在隐藏部分时的监视器的显示例的图。
图24是示出本发明的实施方式的基于图像的亮度值进行的未观察区域的告知处理的流程的例子的流程图。
图25是示出本发明的实施方式的基于距离传感器的距离图像进行的未观察区域的告知处理的流程的例子的流程图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
(结构)
图1是本实施方式的内窥镜系统的结构图。图2是内窥镜的立体图。图3是示出内窥镜系统1的结构的框图。内窥镜系统1构成为包括：内窥镜2、图像处理装置3、光源装置4、管腔结构检测装置5、作为显示装置的监视器6以及磁场产生装置7。内窥镜系统1能够进行使用了白色的照明光的通常光观察。医生能够使用内窥镜系统1进行仰卧在床8上的患者Pa的大肠内的内窥镜检查。另外，管腔结构检测装置5是计算患者Pa的大肠的管腔结构的管腔结构计算装置。
此外，在此，磁场产生装置7是独立的装置，但也可以包含在管腔结构检测装置5中。
内窥镜2具备：操作部2a、具有挠性的插入部2b以及包含信号线等的通用线缆2c。内窥镜2是将管状的插入部2b插入体腔内的管状插入装置。在通用线缆2c的前端设置有连接器，内窥镜2通过该连接器以可装卸的方式与光源装置4和图像处理装置3连接。在此，内窥镜2是能够插入大肠内的内窥镜。并且，虽未图示，但在通用线缆2c内插通有光导，内窥镜2构成为使来自光源装置4的照明光通过光导而从插入部2b的前端射出。
如图2所示，插入部2b从插入部2b的前端朝向基端具有前端部11、能够弯曲的弯曲部12以及挠性管部13。插入部2b插入到作为被摄体的患者Pa的管腔中。前端部11的基端部与弯曲部12的前端连接，弯曲部12的基端部与挠性管部13的前端连接。前端部11是插入部2b的前端部即内窥镜2的前端部，是较硬的前端硬质部。
弯曲部12能够根据对设置于操作部2a的弯曲操作部件14(左右弯曲操作旋钮14a以及上下弯曲操作旋钮14b)的操作，向期望的方向弯曲。当使弯曲部12弯曲，改变前端部11的位置和朝向，并在观察视野内捕捉被检体内的观察部位时，照明光照射到观察部位。弯曲部12具有沿着插入部2b的长度轴方向连结的多个弯曲块(未图示)。因此，医生一边将插入部2b压入大肠内或者从大肠内拔出，一边使弯曲部12向各个方向弯曲，由此能够全面地观察患者Pa的大肠内。
左右弯曲操作旋钮14a及上下弯曲操作旋钮14b为了使弯曲部12弯曲而对插通于插入部2b内的操作线进行牵引及松弛。弯曲操作部件14还具有对弯曲的弯曲部12的位置进行固定的固定旋钮14c。另外，在操作部2a上，除了弯曲操作部件14之外，还设置有释放按钮、送气送水按钮等各种操作按钮。
挠性管部13具有挠性，且根据外力而弯曲。挠性管部13是从操作部2a延伸出的管状部件。
另外，如图3所示，在插入部2b的前端部11设置有作为摄像装置的摄像元件15，被光源装置4的照明光照明的大肠内的观察部位被摄像元件15拍摄。即，摄像元件15设置于插入部2b的前端部11，构成在多个时间点对被检体内进行拍摄来取得多个时间点的拍摄图像的摄像部。由摄像元件15得到的拍摄信号经由通用线缆2c内的信号线提供至图像处理装置3。
图像处理装置3是对接收到的拍摄信号进行规定的图像处理并生成内窥镜图像的视频处理器。所生成的内窥镜图像的影像信号从图像处理装置3输出到监视器6，在监视器6上显示实时的内窥镜图像。进行检查的医生将插入部2b的前端部11从患者Pa的肛门插入，能够观察患者Pa的大肠内。
并且，在插入部2b的前端部11配置有磁传感器16。具体而言，磁传感器16配置在前端部11的摄像元件15的附近，是用于检测摄像元件15的视点的位置和姿势的检测装置。磁传感器16具有2个线圈16a、16b。例如，圆筒状的2个线圈16a、16b的2个中心轴相互正交。因此，磁传感器16是6轴的传感器，检测前端部11的位置坐标和朝向(即欧拉角)。磁传感器16的信号线2e从内窥镜2延伸出，并与管腔结构检测装置5连接。
即，作为用于检测摄像元件15的视点的位置和姿势的检测装置，磁传感器16能够配置在插入部2b的前端部11的内部，不会对具有插入部2的内窥镜2的尺寸、性能造成影响。
磁场产生装置7产生规定的磁场，磁传感器16检测磁场产生装置7产生的磁场。磁场产生装置7通过信号线2e与管腔结构检测装置5连接。磁场的检测信号经由信号线2e从内窥镜2提供到管腔结构检测装置5。此外，也可以代替磁传感器16而在前端部11设置磁场产生元件，并且代替磁场产生装置7而在患者Pa的外部设置磁传感器，从而检测前端部11的位置及姿势。在此，利用磁传感器16实时地检测前端部11的位置和姿势，换言之，实时地检测由摄像元件15取得的内窥镜图像的视点的位置和朝向。
当医生按下设置于操作部2a的释放按钮时，释放按钮操作信号被输入到图像处理装置3，按下释放按钮时的内窥镜图像被记录在未图示的记录器中。
如图3所示，管腔结构检测装置5包括：处理器21、存储装置22、显示接口(以下，简称为显示I/F)23、图像取入部24、位置姿势检测部25、驱动电路26以及输入接口(以下，简称为输入I/F)27。处理器21、存储装置22、显示I/F23、图像取入部24、位置姿势检测部25、驱动电路26以及输入I/F27通过总线28相互连接。
处理器21具有中央处理装置(以下称为CPU)21a和存储器21b，是控制管腔结构检测装置5内的各部的处理的控制部。存储器21b是包括ROM、RAM等的存储部。在ROM中存储有由CPU21a执行的各种处理程序以及各种数据。CPU21a能够读出并执行存储于ROM以及存储装置22的各种程序。
在存储装置22中存储有后述的管腔结构计算程序LSP。管腔结构计算程序LSP是根据前端部11的位置及姿势的信息和内窥镜图像来计算管腔结构的软件程序。通过CPU21a读出并执行管腔结构计算程序LSP，处理器21构成管腔结构计算部，该管腔结构计算部根据由摄像元件15得到的拍摄图像和由磁传感器16检测出的摄像部的3维配置(即位置和姿势)来计算管腔的3维结构。
在存储装置22中还存储有计算出的管腔结构的信息等。存储在存储装置22中的管腔结构信息经由显示I/F23被输出，并显示在监视器6的画面上。在此，管腔是大肠，大肠的管腔结构图像显示于监视器6。
监视器6具有PinP(Picture In Picture：画中画)功能，能够将由内窥镜2的摄像元件15拍摄得到的实时的内窥镜图像与由CPU21生成的大肠的管腔结构图像一起显示。
图像取入部24是以一定的周期取入在图像处理装置3中得到的内窥镜图像的处理部。例如，以与从内窥镜2取得图像的帧率相同的速率，在1秒内从图像处理装置3取得30张内窥镜图像。另外，在此，图像取入部24在1秒内取入30张内窥镜图像，但也可以以与帧率不同的、例如1秒内3张等更长的周期来取得内窥镜图像。
位置姿势检测部25控制对磁场产生装置7进行驱动的驱动电路26，使磁场产生装置7产生规定的磁场。位置姿势检测部25通过磁传感器16检测该磁场，并根据该检测出的磁场的检测信号，实时地生成摄像元件15的位置坐标(x,y,z)和朝向(即欧拉角
Figure BDA0003793411220000071
)的数据(即位置和姿势的信息)。即，位置姿势检测部25是基于来自磁传感器16的检测信号来检测3维配置的检测装置，该3维配置包含摄像元件15的位置和朝向的至少一部分的信息。更具体而言，位置姿势检测部25检测伴随着时间经过的3维配置的变化的信息即3维配置时间变化信息。因此，位置姿势检测部25取得多个时间点的插入部2b的3维配置信息。
管腔结构检测装置5与鼠标、键盘等输入装置27a连接。与对输入装置27a的操作对应的操作信号经由输入I/F27输入到处理器21。
另外，光源装置4是能够射出通常光观察模式用的通常光的光源装置。另外，在除了通常光观察模式以外内窥镜系统1还具有特殊光观察模式的情况下，光源装置4选择性地射出通常光观察模式用的通常光和特殊光观察模式用的特殊光。光源装置4根据设置于图像处理装置3的用于切换观察模式的切换开关(未图示)的状态，将通常光和特殊光中的任意一个作为照明光射出。
(管腔结构的计算)
图4是示出管腔结构计算程序LSP的管腔结构的计算处理的流程的例子的流程图。当医生按下输入装置27a的规定的操作按钮时，执行管腔结构计算程序LSP。
首先，当医生在将插入部2b的前端部11配置在肛门的位置的状态下对输入装置27a进行规定的操作时，处理器21将来自位置姿势检测部25的位置(坐标)和姿势的数据设定为计算管腔结构时的前端部11的基准位置和基准姿势(步骤(以下，简称为S)1)。图5是用于说明在设定前端部11的初始值时的患者Pa的状态的图。如图5所示，医生在将前端部11接触到肛门的状态下，进行将3维空间内的肛门的位置AP处的前端部11的基准位置和基准姿势作为初始值的设定。
通过以下的处理计算出的管腔结构是基于在此设定的基准位置和基准姿势来计算的。
另外，在设定基准位置和基准姿势之后，医生将前端部11插入到大肠的最里部。从插入部2b的前端部11位于大肠的最里部的状态开始，一边输送空气来使大肠内扩张，医生一边拉拽插入部2b一边使其朝向肛门移动，并且在中途停止插入部2b的拔出的同时，使弯曲部12向各个方向弯曲来观察大肠的内壁。在医生观察大肠的内壁时，计算大肠的管腔结构。
如上所述，图像取入部24从由图像处理装置3每30分之1秒提供的内窥镜图像中取得每个规定的周期Δt的内窥镜图像(S2)。周期Δt例如为0.5秒。CPU21获取由取得内窥镜图像时的位置姿势检测部25输出的前端部11的位置和姿势的信息(S3)。
对在S2中取得的1张内窥镜图像和在这之前已取得的1张以上的内窥镜图像中的多个特征点等在3维空间内的位置信息进行计算(S4)。计算出的多个特征点等的位置信息的集合成为管腔结构的信息。如后述那样，各特征点的位置信息可以根据图像信息使用SLAM(Simultaneous Localization and Mapping：即时定位与地图构建)、SfM(Structurefrom Motion：运动恢复结构)等方法来计算，也可以使用三角测量的原理来计算。关于各特征点的位置的计算方法在后面说明。
另外，在取得了最初的1张内窥镜图像时，由于不存在之前已取得的内窥镜图像，因此在取得规定张数的内窥镜图像之前，不执行S4的处理。
根据1组即1个集合的特征点和摄像部的位置和姿势来计算各特征点在3维空间内的位置，并且根据1个集合的特征点等来构建管腔结构的一部分，但由于大肠会伸缩，因此对如下情况等进行判定：1)计算出的2个集合的特征点彼此是否对应；或者2)计算出的特征点是否是与已经计算出位置的特征点对应的点。例如，在对1)进行判定的情况下，计算出的1个集合的特征点相对于其他1个集合的特征点的相对可动范围由x、y、z各轴的方向上的大肠肠道的伸缩率规定。因此，在计算出位置的2个集合的特征点彼此不在由规定的伸缩率所决定的规定的范围内时，判定为计算出的2个集合的特征点彼此不相同。即，判定为计算出的1个集合的特征点与已经计算出位置的其他1个集合的特征点不相同。这意味着，计算出的2个集合中的一方的特征点的一部分不包含于已经计算出位置的2个集合中的另一方的特征点。
另外，计算出的特征点的空间上的可动范围由距大肠肠道的固定部的距离和大肠肠道的伸缩率规定。这里所说的大肠肠道的固定部是指如肛门附近部分、大肠的上行结肠及下行结肠的部分那样的、没有肠间膜且固定于后腹壁并且移动性少的部分。对于已经计算出位置的特征点，如果知道距大肠肠道的固定部(上行结肠的上端部和下行结肠的上端部中的至少一方)的距离，则在计算出的特征点距固定部的距离不处于对该距离乘以肠道的规定的伸缩率后得到的距离的范围内时，判定为计算出的特征点与已经计算出位置的特征点不相同。这意味着，包含计算出的2个集合中的一方的特征点等的管腔区域是与包含已经计算出位置的2个集合中的另一方的特征点等的管腔区域不同的其他部分。
另外，针对S状结肠的中间部分等，能够考虑距肠道两侧的固定部的距离来确认存在范围。除了S状直肠以外的直肠和下行结肠是固定部，在S状结肠的中间部分，能够将距上部直肠与S状直肠的连接部的距离和距S状结肠与下行结肠的连接部即SD交汇点(SDJunction)的距离设为2个约束条件。
图6是示出大肠内的示意性的部分模型的例子的图。根据上述1)的判定，通过1个集合的特征点组来生成1个3维部分模型(部分管腔结构)，因此如图6所示，在大肠肠道C的上行结肠中，虽然在相邻的2个3维部分模型PM1、PM2、PM3之间存在位置偏移，但仍会生成包含多个3维部分模型PM1、PM2、PM3的大肠的3维模型。即，作为管腔结构计算部的处理器21计算多个3维结构的一部分即部分3维结构，并基于制作各个部分3维结构时的3维配置来决定多个部分3维结构的配置，从而计算大肠肠道C的3维结构。
图7是示出大肠内的示意性的部分模型的例子的图。如果2个3维部分模型(部分管腔结构)的各特征点距大肠肠道C的1个固定部FP的上端部FPU的距离处于乘以规定的伸缩率后得到的距离的范围内，则判定为与已经计算出位置的特征点相同。在图7中，各部分模型PM4、PM5距上端部FPU的距离(图7中由箭头表示的距离)处于乘以规定的伸缩率后得到的距离的范围内。如图7所示，2个部分模型PM4、PM5的各特征点距大肠肠道的固定部FP的距离处于乘以规定的伸缩率后得到的距离的范围内，因此作为不同的模型来生成，并且2个部分模型PM4、PM5分离。
既可以分别生成2个部分模型PM4、PM5，也可以校正2个部分模型PM4、PM5的位置偏移。图8是用于说明对2个部分模型PM4、PM5的位置偏移进行校正的方法的图。如图8所示，图7所示的存在位置偏移的2个部分模型PM4、PM5的位置偏移被校正。
因此，当提取出在多个3维结构之间相似的特征点时，处理器21将从相似的特征点到固定部的距离的差异与规定的基准值进行比较，由此判定相似的特征点是否是3维结构中共同的特征点。
然后，基于共同的特征点，对部分模型PM4、PM5进行位置校正以使固定部FP的上部FPU的横向的位置一致，并进行配置。部分模型PM4与PM5的距上端部FPU的2个距离(图8中由箭头表示的水平方向的距离)分别与图7中的部分模型PM4、PM5的横向(水平方向)的2个距离一致。
如上所述，作为管腔的大肠肠道C具有相对于外部固定的固定部和相对于外部不固定的可动部(横行结肠)，处理器21计算与可动部对应的部分3维结构与固定部之间的距离，基于部分3维结构与固定部之间的距离来校正部分3维结构的配置。然后，处理器21计算包含各特征点的位置的信息的多个部分3维结构，并且基于多个3维结构共同的特征点的位置来校正部分3维模型的配置。
因此，如图8所示，如果2个集合的特征点的一部分一致，则通过对相邻的2个部分模型进行位置校正，能够将2个相邻的部分模型连接，从而将2个部分模型合并为1个模型。
此外，处理器21能够基于3维配置时间变化信息来判定插入部2b的方向转换场所和滞留场所中的至少一方，来估计固定部和可动部的位置。
可以对大肠整体设定规定的1个伸缩率，但也可以使肛门附近部分、大肠的上行结肠及下行结肠部分的伸缩率与肛门附近部分、大肠的上行结肠及下行结肠部分以外的其他部分的伸缩率上限值不同。即，也可以将针对管腔的每个区域设定的各特征点在3维空间内的规定的伸缩率上限值(阈值)用于各特征点的位置的计算。并且，在决定各特征点的位置时，要求检测出的各特征点的位置的变化量在由伸缩率上限值(阈值)所决定的范围内。在检测出的特征点的位置的变化量为规定的伸缩率上限值以下时，判定为出现在各拍摄图像中的各特征点相同。
如上所述，也可以在计算各特征点的位置时考虑各特征点的位置的变化量上限值(阈值)[0]，该各特征点的位置的变化量上限值(阈值)[0]基于包含各特征点的管腔的每个区域的伸缩率上限值、或者距大肠肠道的固定点的距离及其伸缩率上限值。然后，使用针对管腔的每个区域设定的各特征点的规定的伸缩率上限值，来判定出现在多个拍摄图像中的共同的特征点是否相同。
在处于由伸缩率决定的范围内的、在不同的定时检测出的特征点等彼此通过图案匹配而一致时，判断为这些特征点等彼此相同。作为特征点等的结构信息的位置信息是基于特征点等彼此的信息来决定的。例如，在简单的情况下，采用任意一方的特征点的信息作为成为结构信息的位置信息。
另外，由伸缩率决定的范围是基于包含各特征点的管腔区域距大肠肠道的固定点的距离和伸缩率上限值的范围。
通过将计算出的多个特征点等的位置信息追加到结构信息数据中，从而制作出管腔的结构信息(S5)。在S5中制作出的结构信息由通过内窥镜2观察到的区域中的1个以上的特征点等的集合构成。
将制作出的管腔的结构信息显示于监视器6(S6)。图9是示出显示于监视器6的图像的例子的图。监视器6的显示画面6a包括内窥镜图像显示区域31和结构信息显示区域32。
结构信息显示区域32配置在内窥镜图像显示区域31的旁边，内窥镜图像显示区域31显示作为实时取景的内窥镜图像。结构信息显示区域32显示在S5中生成的结构信息SI。结构信息SI是从1个视点观察大肠的立体的管腔结构时的图像，由多个特征点等的位置信息构成。图10是示出在结构信息显示区域32中显示的结构信息SI的图像的例子的图。结构信息SI被显示为大肠的管腔的立体图。由于结构信息SI是3维数据，因此用户即医师通过给予变更视点位置的指示，能够对从360度的期望的方向观察时的管腔的结构进行确认。
如图10所示，结构信息SI是在S4中计算出的特征点等的信息的集合。因此，未由结构信息SI示出的部分是指未观察部位UIA。在图10中，用虚线表示的区域附近是未观察部位UIA。因此，医生通过观察监视器6所显示的大肠的管腔结构，能够掌握未观察部位UIA。
另外，医师还能够对输入装置27a进行操作来将规定的命令提供给管腔结构检测装置5，并根据在S3中取得的前端部11的位置信息来显示前端部11的时序运动。图11是示出监视器6所显示的表示前端部11的轨迹的图像的例子的图。图11示出了在监视器6的显示画面6a上显示的1个窗口33的图像。在图11所示的窗口33中，显示有从Z轴方向观察到的表示前端部11在XY平面内的运动的图像。在图11中，根据XY平面上的规定的点为0且XY方向上的移动距离的单位为mm(毫米)可知，显示有前端部11的轨迹。通过将图11的图像显示于监视器6，医生能够掌握前端部11的轨迹。
例如，基于前端部11的位置信息，能够比较2位医生进行操作时的前端部11的轨迹。例如，能够根据前端部11的轨迹来比较将插入部2b插入到同一患者Pa的大肠的插入操作，该前端部11的轨迹是根据2位医生进行操作时的前端部11的位置信息而生成的。
图12是示出以结肠模型(colon model)为对象，将2位医生进行操作时的前端部11的轨迹显示在监视器6的显示画面6a上时的显示例的图。在显示画面6a中显示有2个窗口33a、33b。窗口33a显示表示医生A的前端部11的轨迹的图像，窗口33b显示表示医生B的前端部11的轨迹的图像。医生A是内窥镜的资深医生，医生B是内窥镜的骨干医生。
窗口33b所显示的骨干医生B的前端部11的轨迹与窗口33a所显示的资深医生A的前端部11的轨迹相比，体现出了如下情况：在肛门(AA)附近、下行结肠(DC)内以及上行结肠(AC)内运动较多，没能顺畅地将插入部2b插入或拔出。
因此，能够使用前端部11的轨迹信息来进行插入部2b的插入或拔出操作的比较等。
(特征点等的位置的计算)
S4的特征点等的位置的计算有各种方法。以下，对几种方法进行说明。
1.利用SLAM、SfM等方法计算连续的多个图像上的特征点的位置的情况
对进行光束法平差的优化的方法进行说明，其中，光束法平差的优化用于使用对被摄体进行拍摄的摄像元件15的位置(在此是前端部11的位置)和姿势的信息来计算各特征点在3维空间内的位置。
光束法平差是使用非线性最小二乘法，根据图像来对内部参数、外部参数以及世界坐标点组进行优化的误差调整的方法。例如，使用估计出的各参数，将提取出的多个特征点的世界坐标点透视投影变换为世界坐标点，并以使重投影误差成为最小的方式来求出各参数和各世界坐标点组。
通过求解5点以及8点算法来计算与前端部11相关的外部参数。根据前端部11的位置和三角测量法来计算特征点的位置。投影到图像平面上的3D点的坐标与基于重投影误差的特征点之间的误差E由下式(1)表示。
Figure BDA0003793411220000131
在此，L是K个图像上的特征点的数量，Psj是在图像平面上通过三角测量和前端部11的参数而估计出的3D点Pi的坐标位置，Pi是图像上的对应的特征点的坐标位置。使用LM(Levenberg-Marquartdt)法，以将式(1)的误差E的函数最小化的方式来计算前端部11的位置坐标。
基于图像上的提取出的特征点的坐标信息、检测出的前端部11的位置和姿势的信息来计算上述S4的特征点在3维空间内的位置。但是，在本实施方式中，前端部11的位置和姿势的信息由位置姿势检测部25检测，是大致准确的。因此，前端部11的位置和姿势的信息不包含在光束法平差中的外部参数的估计对象中。因此，不仅基于光束法平差的各特征点在3维空间内的位置的估计精度高，而且提取出的多个特征点的位置的运算时间也变短。
图13是通过光束法平差来进行各特征点在3维空间内的位置计算的方法的流程图。
在将图5所示的肛门的位置AP设定为初始位置时，处理器21将时刻t设为t0，将软件计数器的计数值n设为0(S11)。处理器21取得时刻t0的内窥镜图像(即管腔图像)和前端部11的位置及姿势的信息(S12)。从图像处理装置3取得内窥镜图像。从位置姿势检测部25取得前端部11的位置和姿势的信息。
处理器21决定初始位置即肛门的位置AP处的前端部11的位置和姿势(S13)。例如，将肛门的位置AP(x，y，z)决定为原点(0，0，0)，姿势(vx，vy，vz)决定为(0，1，0)。S11和S13对应于图4的S1。
处理器21取得时刻(t0+nΔt)的内窥镜图像和前端部11的位置及姿势的信息(S14)。S12和S14对应于图4的S2。
另外，也可以对前端部11的位置和姿势的信息进行校正。例如，使用卡尔曼滤波器(Kalman filter)对前端部11在过去通过的路径进行校正，基于校正后的该路径，校正过去的前端部11的位置。
处理器21在n成为k时，提取各内窥镜图像中的多个特征点，将k个时间点的前端部11的位置和姿势即前端部11的3维配置设为已知，并通过上述的光束法平差来计算在所得到的内窥镜图像中共同包含的m个特征点的位置(S15)。因此，S15中的各内窥镜图像中的多个特征点的提取处理构成提取各拍摄图像中的多个特征点的特征点提取部。在S15中，提取在多个时间点的拍摄图像中共同出现的特征点。S15中的各特征点在3维空间内的位置的计算处理构成3维位置计算部，该3维位置计算部根据提取出的多个特征点在拍摄图像中的位置和插入部2b的3维配置来计算特征点在3维空间内的位置。更具体而言，基于多个时间点的插入部2b的3维配置信息和在多个时间点的拍摄图像中共同出现的特征点在拍摄图像上的位置，来算出特征点在3维空间内的位置。然后，通过光束法平差来决定各特征点在3维空间内的位置。
图14是用于说明连续取得的多个内窥镜图像上的特征点与前端部11的位置和姿势的关系的示意图。在图14中，白色的三角形Pw表示前端部11的实际的位置和姿势，黑色的三角形Pb表示估计出的前端部11的位置和姿势。示出了前端部11沿着实线实际移动的情况。被估计出的前端部11沿着虚线移动。随着时间经过，前端部11的位置移动，前端部11的姿势发生变化。
另外，在图14中，白色的四边形pw表示特征点的实际的位置，黑色的四边形pb表示特征点的被估计出即算出的位置。特征点例如是在内窥镜图像中形状、颜色具有特征且容易判别或追踪的部位。
为了得到大肠的3维管腔结构，求出大肠的肠道的内壁上的多个特定部位(在此为特征点)的坐标，通过求出的多个坐标的集合、或者将这些坐标连接起来生成3维模型。即，管腔的3维结构是根据计算出的各特征点在3维空间内的位置来决定的。
如上所述，能够仅使用内窥镜图像的信息来计算管腔的内壁上的一定程度以上的数量的特征点的位置。在仅使用内窥镜图像的信息的情况下，能够使用SLAM、SfM等技术。但是，在使用这些技术的情况下，除了肠道的内壁上的多个特征点的坐标未知以外，每个经过时间的内窥镜2的前端位置和姿势也未知，因此为了对肠道的内壁上的多个特征点的位置进行估计而需要庞大的运算，且估计精度也较低。
在图14中，各时间点的摄像元件11的位置和姿势的信息包含与6个轴相应的信息，因此k个时间点的摄像元件11的位置和姿势的信息包含6k个信息。各特征点的位置包含与3个轴相应的信息，因此m个特征点的位置的信息包含3m个信息。因此，通过光束法平差的优化运算来计算出(6k+3m)个参数。
在通过光束法平差来计算较多参数的情况下，由于蓄积了检测误差，因此会产生依次生成的3维模型结构发生偏移的问题。另外，由于内窥镜2的插入部2b的前端部被按压于管腔的内壁等而无法得到连续的内窥镜图像，因此还存在无法计算3维模型结构的问题。
与此相对，在本实施方式中，通过磁传感器16得到伴随着时间经过的前端部11的位置及姿势的信息并将其设为已知，因此能够减少在光束法平差中计算出的参数的数量，从而减少优化运算的处理量并实现高速化。进而，由于还能够通过三角测量来计算出特征点的位置，因此即使得不到连续的内窥镜图像，也能够计算3维模型结构。
另外，在通过光束法平差来计算前端部11的位置及姿势和各特征点在3维空间内的位置时，存在计算出的各特征点的位置的误差被蓄积，管腔结构逐渐偏离实际的结构的问题，但在本实施方式中，前端部11的位置和姿势由磁传感器16检测，因此不会产生这样的累计误差。
例如，在上述的图14的情况下，在仅根据内窥镜图像计算各特征点的位置时，以往进行用于(6k+3m)个参数的优化运算，但由于前端部11的位置和姿势的信息是已知的，因此优化运算仅计算3m个参数，能够减少光束法平差的优化运算的处理量且实现高速化。
另外，即使在内窥镜2的插入部2b的前端部11被按压于管腔的内壁、或浸渍于脏污的清洗水中、或内窥镜图像抖动等而无法得到适当的连续的内窥镜图像的情况下，也能够得到前端部11的位置和姿势的信息。因此，即使发生前端部11被按压于管腔的内壁等而无法得到连续的内窥镜图像的情况，能够计算3m个参数的可能性也提高。作为结果，管腔结构的计算的鲁棒性提高。
返回到图13，处理器21在已制作出的管腔结构信息中追加新计算出的特征点的位置信息，更新管腔结构信息(S16)。S16对应于图4的S5。
处理器21对过去计算出的特征点的位置信息进行校正(S17)。针对新计算得到的3m个特征点中的过去计算出的特征点的位置信息，使用新计算出的位置信息，例如通过平均值运算来校正过去计算出的位置信息。
此外，也可以不进行S17的处理，也可以利用新计算出的特征点的位置信息来更新过去计算出的各特征点的位置信息。
处理器21基于更新后的管腔结构信息，将管腔结构的图像数据输出到监视器6，以便将管腔结构的图像显示于管腔结构显示区域32(S18)。S18对应于图4的S6。
S18之后，处理器21将n增加1(S19)，判定是否输入了检查结束的命令(S20)。关于检查结束的命令，例如，在插入部2b从大肠拔出之后，当医生向输入装置27a输入规定的命令时(S20：是)，管腔结构计算程序LSP的执行结束。
在未输入检查结束的命令时(S20：否)，处理转移到S14。其结果，处理器21取得从内窥镜图像的最后的取得时刻起经过周期Δt后的内窥镜图像(S14)，并执行S14之后的处理。
另外，在上述的方法中，通过6轴的磁传感器16检测前端部11的位置和姿势的信息，并通过光束法平差的优化来计算出各特征点的3维位置，但也可以将6轴的全部信息的一部分设为已知，即，将3维位置(x，y，z)和3轴方向(vx，vy，vz)中的至少一个设为已知，通过光束法平差的优化来计算出各特征点的3维位置。
因此，在光束法平差中将前端部11的位置和姿势的信息中的至少1个设为已知来计算各特征点的3维位置，因此各特征点的3维位置的计算精度也提高，并且优化运算的整体时间也变短。
2.根据2个图像使用三角测量图像来计算特征点(例如，图像的中心点)的位置的情况
对使用三角测量法根据视点不同的2张图像计算各特征点的位置的方法进行说明。图15是用于说明多个内窥镜图像上的特征点与前端部11的位置和姿势的关系的示意图。在图15中，白色三角形P表示前端部11的实际的位置和姿势即3维配置。示出了前端部11沿着实线实际移动的情况。在图15中，白色四边形p表示特征点的实际位置。各特征点例如是在内窥镜图像中形状、颜色具有特征且容易判别或追踪的部位。
如实线所示，根据在时刻t1、t2取得的前端部11的位置和姿势的信息、在时刻t1取得的图像上的特征点p1、p2和在时刻t2取得的图像上的特征点p1、p2各自的位置，通过三角测量来计算特征点p1、p2的位置。
同样地，如虚线所示，根据在时刻t2、t3取得的前端部11的位置和姿势的信息、在时刻t2取得的图像上的特征点p3、p4和在时刻t4取得的图像上的特征点p3、p4各自的位置，通过三角测量来计算特征点p3、p4的位置。
如以上那样，根据前端部11的位置及姿势的信息和2张内窥镜图像，使用三角测量来计算各特征点的位置。即，根据多个时间点的摄像元件15的位置及姿势的信息和多个时间点的由摄像元件15取得的拍摄图像中共同出现的特征点在拍摄图像上的位置，基于三角测量来计算各特征点在3维空间内的位置，并决定管腔的3维结构。
另外，以上说明的三角测量是根据在2个时刻得到的2张内窥镜图像来进行的，但也可以根据在同一时刻得到的2张内窥镜图像来进行。
图16是具有立体照相机的插入部的前端部的前端部分的立体图。在前端部11的前端面配置有2个观察窗11a、11b和2个照明窗11c。在各观察窗11a、11b的后侧配置有摄像光学系统和摄像元件。摄像光学系统和摄像元件构成摄像部11d，2个摄像部11d构成立体照相机。
根据由配置于前端部11的立体照相机取得的2张内窥镜图像中的立体匹配区域的位置，通过三角测量，能够计算大肠的内壁的各点的位置。
3.使用光度立体法图像计算特征点的位置的情况
对使用光度立体法图像计算各特征点的位置的方法进行说明。图17是具有多个照明窗的插入部的前端部的前端面的俯视图。图17是从插入部2b的前端侧观察前端部11的前端面11a1的图。
如图17所示，在前端部11的前端面11a1设置有观察窗41、3个照明窗42、钳子口43、清洗用喷嘴44以及副送水口45。在观察窗41的后侧设置有摄像部11d。3个照明窗42配设于观察窗41的周围。在各照明窗42的后侧配设有未图示的光导的前端面。钳子口43是供处置器具突出的开口，该处置器具在设置于插入部2b的处置器具插通通道内穿过。清洗用喷嘴44喷出用于清洗观察窗41的表面的水。副送水口45是喷出副送水用的水的开口。
通过对设置于光源装置4的照明用的多个发光二极管的驱动进行控制，能够将从3个照明窗42射出的3个照明光进行切换并选择性地射出。
被摄体的表面的图像中的阴影部分的状态因照明光的切换而发生变化。因此，基于该变化量，能够计算出到被摄体的表面上的阴影部分的距离。即，能够根据由选择性地动作的多个照明部进行照明而得到的拍摄图像中的阴影区域的图像，基于光度立体法来决定管腔的3维结构。
4.使用距离传感器计算管腔结构的情况
对使用设置于前端部11的距离传感器来计算管腔的内壁上的各点的位置的方法进行说明。
图18是具有距离传感器的插入部的前端部的前端部分的立体图。在前端部11的前端面11a1配设有观察窗41、2个照明窗42、钳子口43以及距离传感器51。
距离传感器51是TOF(Time Of Flight：飞行时间)传感器，在此，是通过TOF来检测距离图像的传感器。距离传感器51通过测量光的飞行时间来测量距离。在图像传感器的各像素中嵌入有TOF功能。由此，距离传感器51获得每个像素的距离信息。即，距离传感器51设置于插入部2b的前端部11，检测从前端部11到管腔的内壁的距离。
根据由距离传感器51检测出的与各像素相关的距离、前端部11的位置和姿势即配置，能够计算出大肠的内壁的各点的位置信息即管腔的3维结构。此外，距离传感器也可以是LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging：激光成像探测)等其他方式的传感器。
图19是进行使用了距离传感器的管腔的内壁的3维位置的计算方法的流程图。在图19中，对与图13相同的处理标注相同的步骤编号并省略说明，仅对不同的处理进行说明。
在使用距离传感器51的情况下，通过将距离传感器51的1个以上的规定的像素作为特征点，关于各特征点的位置，能够根据距离传感器51的各像素的距离信息和前端部11的位置和姿势的信息来计算出大肠的内壁的各点的3维位置。管腔结构由内壁的各点的3维位置信息的集合构成。即，在图13中，处理器21在S21中，根据从距离传感器51输出的距离信息和在S14中得到的前端部11的位置和姿势的信息，计算测距的点(特征点)的3维坐标。
5.基于其他方法的测距
此外，也可以在前端部11设置射出规定的图案光的照明部，通过图案光投影来进行从前端部11到内壁的测距。
如以上那样，根据上述的实施方式，能够使用插入部2b的前端部11的位置和姿势(即配置)的信息以及内窥镜图像的图像信息或测距传感器的距离信息来得到大肠的内壁的结构信息。
在上述的实施方式中，由于能够得到前端部11的位置和姿势的信息，因此即使在因前端部过于接近管壁等而无法得到内窥镜图像、或者无法得到距离传感器51的距离信息的情况下，虽然无法计算出未得到内窥镜图像等的管腔部分的结构，但能够计算出得到了内窥镜图像等的管腔部分的结构。
图20是用于说明部分计算出的管腔结构的例子的图。在图20中，由双点划线的椭圆表示的部分表示得到了内窥镜图像或者得到了距离传感器51的距离信息的大肠的一部分区域。关于由虚线表示的部分，虽然未能得到内窥镜图像或者未能得到距离传感器51的距离信息，但仍计算由实线表示的部分区域的结构信息。即，在各集合中不存在与其他集合的特征点彼此重叠的情况或者无法对此进行判断的情况下，基于各管腔结构的位置信息来将没有连接的多个管腔结构配置于各自的位置。
因此，即使在中途得不到内窥镜图像，也能够根据多个内窥镜图像计算各特征点的位置，因此作为结果，能够部分地计算出管腔的3维模型结构。
此外，在上述的实施方式中，使用磁传感器16作为用于检测插入部2b的前端部11的位置和姿势的位置传感器，但前端部11的位置和姿势也可以通过不同的机构来检测。
图21是用于说明使用具有形状传感器的内窥镜和检测插入量及扭转量的传感器来检测前端部11的位置和姿势的方法的图。
形状传感器61在插入部2b的内部配设于从基端到前端的整个区域。形状传感器61例如是利用光纤根据特定部位的曲率来检测弯曲量的弯曲传感器即光纤传感器。
插入量/扭转量传感器62配置在肛门的附近并具有圆筒形状，该圆筒形状具有能够使插入部2b插通的孔。在插入量/扭转量传感器62的孔的内周面配设有用于检测插入部2b的轴向的插入量的编码器和检测插入部2b的绕轴的旋转量的编码器。因此，能够使用形状传感器61和插入量/扭转量传感器62，以肛门的位置为基准，基于插入部2b的插入量和扭转量来估计前端部11的位置和姿势。
另外，形状传感器61也可以不利用光纤，而是在前端部11设置1个磁传感器16，并且将多个磁传感器16以规定的间隔配置在插入部2b内，由此检测插入部2b的形状。图22是在插入部2b内配设有多个磁传感器16的内窥镜的立体图。根据图22所示的多个磁传感器16的位置信息，能够计算出插入部2b的形状。
另外，如图2中虚线所示，也可以在内窥镜2的插入部2b内配设上述形状传感器61。如果使用形状传感器61，则也能够掌握插入部2b的整体形状。
在上述的实施方式中，在医生观察内窥镜图像的同时，计算管腔结构，但若存在例如褶皱的背侧等隐藏部分，则不计算该区域的管腔结构。隐藏部分是未被拍摄到内窥镜图像中的区域。由于未包含在内窥镜图像中的区域不能生成管腔结构，因此，也可以从内窥镜图像等中检测出隐藏部分的存在，并告知医生。
图23是示出存在隐藏部分时的监视器6的显示例的图。在监视器6的显示画面6a的内窥镜图像显示区域31中显示有在内壁的一部分的里侧形成了阴影的大肠的内窥镜图像。照明光未照射到的暗的阴影部分SA与其他部分相比其明亮度等级性地降低。因此，在相邻的像素或相邻的像素区域间亮度差为规定的亮度值以上时，能够判定为存在隐藏部分。
在这样的情况下，如图23的弹出窗口34那样，使监视器6显示规定的消息，从而能够告知用户，并使用户对隐藏部分进行观察。隐藏部分也包括憩室等的凹陷。当用户看到规定的消息而观察隐藏部分时，计算观察到的该区域的管腔结构的信息。
此外，在上述的例子中，根据照明光未照射到的阴影区域的有无来检测隐藏部分，但也可以使用上述的距离传感器51等的距离图像信息来检测相同的隐藏部分的有无。在相邻的像素或相邻的像素区域间的距离差为规定的距离值以上等的情况下，能够判定为存在隐藏部分。
图24是示出基于图像的亮度值的未观察区域的告知处理的流程的例子的流程图。在图4的S2中取得了新视点下的内窥镜图像时，与图4的处理并行地执行图24的处理。处理器21得到在S2中取得的新视点下的内窥镜图像的明亮度信息(S31)。即，取得图像中的各像素的亮度信息。
处理器21对以下情况进行判定即确认(S32)：a)在图像中的规定的像素区域内是否存在相邻的2个像素的亮度值之差为规定值以上的情况；或者b)在图像中的规定的像素区域内是否存在暗的条纹状部分。
处理器21判定a)和b)中的哪一个成立(S33)。在a)和b)中的任意方成立时(S33：是)，处理器21认为在视野内可能存在隐藏部分，并将规定的消息显示于监视器6(S34)。规定的消息例如是图23的弹出窗口33那样的消息。在a)和b)均不成立时(S33：否)，不进行任何处理。S34的处理构成告知部，该告知部在拍摄图像中的相邻的2个像素或2个像素区域间的亮度值之差为规定值以上时进行规定的告知。
图25是示出基于距离传感器51的距离图像进行的未观察区域的告知处理的流程的例子的流程图。在图4的S2中取得了新视点下的内窥镜图像时，与图4的处理并行地执行图25的处理。处理器21得到在S2中取得的新视点下的距离传感器51的距离图像信息(S41)。即，取得图像中的各像素的距离信息。
处理器21对以下情况进行判定即确认(S42)：c)在图像中的规定的像素区域内是否存在相邻的2个像素的距离之差为规定值以上的情况；或者d)在图像中的规定的像素区域内是否存在距离的变化不连续的部分。
处理器21判定c)和d)中的哪一个成立(S43)。在c)和d)中的任意方成立时(S43：是)，处理器21认为在视野内可能存在隐藏部分，并将规定的消息显示于监视器6(44)。规定的消息例如是图23的弹出窗口34那样的消息。在c)和d)均不成立时(S43：否)，不进行任何处理。S43的处理构成告知部，该告知部在距离图像中的相邻的2个像素或2个像素区域间的距离值之差为规定值以上时，进行规定的告知。
如以上那样，根据上述的实施方式，能够提供即使发生因脏器的运动等引起的图像不良也能够根据各特征点的位置计算出管腔的3维模型结构的内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法。
本发明并不限定于上述的实施方式，在不改变本发明的主旨的范围内，能够进行各种变更、改变等。

Claims (21)

1.一种内窥镜系统，具备：
插入部，其插入到作为被摄体的管腔中；
摄像部，其设置于所述插入部，且取得所述被摄体的拍摄图像；
检测装置，其用于检测包含所述摄像部的位置及朝向的至少一部分的信息的3维配置；以及
管腔结构计算部，其基于所述拍摄图像和所述3维配置，计算所述管腔的3维结构。
2.根据权利要求1所述的内窥镜系统，其中，
所述管腔结构计算部具有：
特征点提取部，其提取各拍摄图像中的多个特征点；以及
3维位置计算部，其根据所述多个特征点在所述拍摄图像上的位置和所述插入部的所述3维配置，计算各特征点在3维空间内的位置，
所述管腔结构计算部根据计算出的所述各特征点在所述3维空间内的位置来计算所述管腔的所述3维结构。
3.根据权利要求2所述的内窥镜系统，其中，
所述摄像部取得多个时间点的所述拍摄图像，
所述特征点提取部提取在所述多个时间点的所述拍摄图像中共同出现的所述特征点，
所述检测装置取得所述多个时间点的所述插入部的所述3维配置信息，
所述3维位置计算部根据所述多个时间点的所述插入部的所述3维配置信息和在多个时间点的所述拍摄图像中共同出现的所述特征点在所述拍摄图像上的位置，来计算所述特征点在所述3维空间内的位置。
4.根据权利要求1所述的内窥镜系统，其中，
所述管腔结构计算部计算多个部分3维结构，并基于制作各个所述部分3维结构时的所述3维配置来决定多个所述部分3维结构的配置，从而计算所述3维结构，该部分3维结构是所述3维结构的一部分。
5.根据权利要求4所述的内窥镜系统，其中，
所述管腔具有相对于外部固定的固定部和相对于外部不固定的可动部，
所述管腔结构计算部计算与所述可动部对应的所述部分3维结构与所述固定部之间的距离，并基于所述部分3维结构与所述固定部之间的距离，校正所述部分3维结构的所述配置。
6.根据权利要求4所述的内窥镜系统，其中，
所述管腔结构计算部具有特征点提取部，该特征点提取部提取各拍摄图像中的多个特征点，
所述管腔结构计算部计算包含所述各特征点的位置的信息的多个所述部分3维结构，并基于多个所述3维结构中共同的所述特征点的位置，校正所述部分3维模型的所述配置。
7.根据权利要求6所述的内窥镜系统，其中，
所述管腔具有相对于外部固定的固定部和相对于外部不固定的可动部，
当提取出在多个所述3维结构之间相似的所述特征点时，所述管腔结构计算部将从相似的所述特征点到所述固定部的距离的差异与规定的基准值进行比较，从而判定相似的所述特征点是否是多个所述3维结构中共同的所述特征点。
8.根据权利要求5所述的内窥镜系统，其中，
所述检测装置检测3维配置时间变化信息，该3维配置时间变化信息是伴随着时间经过的所述3维配置的变化的信息，
所述管腔结构计算部基于所述3维配置时间变化信息，判定所述插入部的方向转换场所和滞留场所中的至少一方，由此估计所述固定部和所述可动部的位置。
9.根据权利要求2所述的内窥镜系统，其中，
所述3维位置计算部通过误差调整来决定所述各特征点在所述3维空间内的位置。
10.根据权利要求9所述的内窥镜系统，其中，
所述3维位置计算部将由所述检测装置检测出的所述配置设为已知，通过基于光束法平差的所述误差调整来决定所述各特征点在所述3维空间内的位置。
11.根据权利要求1所述的内窥镜系统，其中，
所述3维位置计算部根据所述多个时间点的所述插入部的所述3维配置信息和多个时间点的所述拍摄图像中共同出现的所述特征点在所述拍摄图像上的位置，基于三角测量来计算所述特征点在所述3维空间内的位置。
12.根据权利要求1所述的内窥镜系统，其中，
所述内窥镜系统具有设置于所述前端部的多个照明部，
所述管腔结构计算部根据由选择性地进行动作的所述多个照明部进行照明而得到的所述拍摄图像中的阴影区域的图像，基于光度立体法来决定所述管腔的3维结构。
13.根据权利要求2所述的内窥镜系统，其中，
所述摄像部取得多个时间点的所述拍摄图像，
所述3维位置计算部使用对所述管腔的每个区域设定的各特征点的规定的伸缩率上限值，判定在多个所述拍摄图像中出现的共同的特征点是否相同。
14.根据权利要求13所述的内窥镜系统，其中，
在检测出的特征点的位置的变化量为所述规定的伸缩率上限值以下时，所述3维位置计算部判定为在各个所述拍摄图像中出现的各特征点相同。
15.根据权利要求1所述的内窥镜系统，其中，
所述管腔结构计算装置具有告知部，该告知部在所述拍摄图像中的相邻的2个像素或2个像素区域间的亮度值之差为规定值以上时，进行规定的告知。
16.一种管腔结构计算装置，具备：
输入部，其获取拍摄图像和3维配置，该拍摄图像是由设置于插入到作为被摄体的管腔中的插入部的摄像部取得的，该3维配置包含由检测装置检测出的所述摄像部的位置及朝向的至少一部分信息；以及
管腔结构计算部，其基于所述拍摄图像和所述3维配置，计算所述管腔的3维结构。
17.一种内窥镜系统，具备：
插入部，其插入到作为被摄体的管腔中；
检测装置，其用于检测所述插入部的前端部的3维配置；
距离传感器，其设置于所述前端部，且检测从所述前端部到所述管腔的内壁的距离；以及
管腔结构计算部，其基于所述距离和所述3维配置，计算所述管腔的3维结构。
18.根据权利要求17所述的内窥镜系统，其中，
所述距离传感器是检测距离图像的传感器。
19.根据权利要求17所述的内窥镜系统，其中，
所述内窥镜系统具有告知部，该告知部在所述距离图像中的相邻的2个像素或2个像素区域间的距离值之差为规定值以上时，进行规定的告知。
20.一种管腔结构计算装置，具备：
输入部，其取得由检测装置检测出的3维配置和由距离传感器检测出的距离，该检测装置用于检测包含摄像部的位置及朝向的至少一部分信息的所述3维配置，该摄像部设置于插入到作为被摄体的管腔中的插入部，该距离传感器设置于所述前端部，且检测从所述前端部到所述管腔的内壁的所述距离；以及
管腔结构计算部，其基于所述3维配置和所述距离，计算所述管腔的3维结构。
21.一种管腔结构信息的制作方法，具备如下步骤：
获取被摄体的拍摄图像，该被摄体的拍摄图像是由插入到作为所述被摄体的管腔中的插入部取得的；
检测3维配置，该3维配置包含所述插入部的位置及朝向中的至少一个信息；以及
基于所述拍摄图像和所述3维配置，计算所述管腔的3维结构。
CN202080096381.1A 2020-02-19 2020-02-19 内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法 Pending CN115087385A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/006444 WO2021166103A1 (ja) 2020-02-19 2020-02-19 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法

Publications (1)

Publication Number Publication Date
CN115087385A true CN115087385A (zh) 2022-09-20

Family

ID=77390747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080096381.1A Pending CN115087385A (zh) 2020-02-19 2020-02-19 内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法

Country Status (4)

Country Link
US (1) US20220398771A1 (zh)
JP (1) JP7423740B2 (zh)
CN (1) CN115087385A (zh)
WO (1) WO2021166103A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374224B2 (ja) * 2021-01-14 2023-11-06 コ，ジファン 内視鏡を用いた大腸検査ガイド装置
WO2023032074A1 (ja) * 2021-09-01 2023-03-09 オリンパスメディカルシステムズ株式会社 マニピュレータシステム及びマニピュレータの形状推定方法
WO2023119373A1 (ja) * 2021-12-20 2023-06-29 オリンパスメディカルシステムズ株式会社 画像処理装置、画像処理方法、プログラム、およびプログラムを記録している不揮発性記憶媒体
WO2024028924A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4656988B2 (ja) 2005-04-11 2011-03-23 オリンパスメディカルシステムズ株式会社 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
WO2008059636A1 (fr) 2006-11-13 2008-05-22 Olympus Medical Systems Corp. Système d'analyse de forme lors de l'insertion d'un endoscope et système d'observation d'un corps vivant
JP5153787B2 (ja) * 2007-11-29 2013-02-27 オリンパスメディカルシステムズ株式会社 内視鏡湾曲制御装置及び内視鏡システム
JPWO2017212725A1 (ja) * 2016-06-07 2018-06-28 オリンパス株式会社 医療用観察システム
CN110740676B (zh) * 2017-06-15 2022-02-25 奥林巴斯株式会社 内窥镜系统、内窥镜图像处理方法以及记录介质

Also Published As

Publication number Publication date
JPWO2021166103A1 (zh) 2021-08-26
WO2021166103A1 (ja) 2021-08-26
US20220398771A1 (en) 2022-12-15
JP7423740B2 (ja) 2024-01-29

Similar Documents

Publication Publication Date Title
US11503986B2 (en) Robotic systems and methods for navigation of luminal network that detect physiological noise
CN115087385A (zh) 内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法
KR102196291B1 (ko) 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정
EP1761160B1 (en) System and method for image-based alignment of an endoscope
EP1691666B1 (en) Catheterscope 3d guidance and interface system
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
WO2022049489A1 (en) Devices, systems, and methods for identifying unexamined regions during a medical procedure
US9345394B2 (en) Medical apparatus
WO2019244345A1 (ja) ランドマーク推定方法、及び、内視鏡装置
WO2024028934A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2022230160A1 (ja) 内視鏡システム、内腔構造算出システム及び内腔構造情報の作成方法
WO2024028925A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
CN111403017A (zh) 医学辅助设备、系统、和用于确定对象的变形的方法
US20240000299A1 (en) Image processing apparatus, image processing method, and program
WO2022202520A1 (ja) 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム
US20240062471A1 (en) Image processing apparatus, endoscope apparatus, and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination