CN110769731B - 内窥镜系统、内窥镜用处理系统、图像处理方法 - Google Patents

内窥镜系统、内窥镜用处理系统、图像处理方法 Download PDF

Info

Publication number
CN110769731B
CN110769731B CN201880038751.9A CN201880038751A CN110769731B CN 110769731 B CN110769731 B CN 110769731B CN 201880038751 A CN201880038751 A CN 201880038751A CN 110769731 B CN110769731 B CN 110769731B
Authority
CN
China
Prior art keywords
section
cross
shape
endoscope
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880038751.9A
Other languages
English (en)
Other versions
CN110769731A (zh
Inventor
秋本俊也
生熊聪一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN110769731A publication Critical patent/CN110769731A/zh
Application granted granted Critical
Publication of CN110769731B publication Critical patent/CN110769731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

一种内窥镜系统，其具有：内窥镜(1)，其取得被检体的图像；位置方位检测部(14)和位置姿势计算部(28)，它们取得内窥镜(1)的位置和姿势信息；三维位置估计部(22)和三维图像生成部(23)，它们根据图像、位置以及姿势信息，估计被检体的三维形状；截面生成部(26)，其根据位置信息，生成与内窥镜所通过的轨迹交叉的截面；以及判定部(27)，其根据截面上的三维形状的形状特性，判定错误估计部分。

Description

内窥镜系统、内窥镜用处理系统、图像处理方法
技术领域
本发明涉及根据由内窥镜取得的图像和内窥镜的位置信息以及姿势信息来估计被检体内的三维形状的内窥镜系统、内窥镜用处理系统、图像处理方法。
背景技术
以往提出了根据由内窥镜取得的图像和内窥镜的位置信息以及姿势信息来估计被检体内的三维形状的内窥镜系统。
例如，在日本特开2003-225195号公报中记载了如下内容：在设置有检测挠性插入部的弯曲状态并将该弯曲状态显示在监视器画面上的弯曲状态显示单元的挠性内窥镜的监视器装置中，设置有：脏器形状显示单元，其使作为插入部的插入对象的脏器的形状与插入部的弯曲状态一起显示在监视器画面上；以及脏器形状校正单元，其根据外部输入来校正监视器画面上所显示的脏器的形状。
此外，在日本特开2009-213627号公报中记载了如下的内容。首先，让患者吞下胶囊内窥镜(CE)，进行内窥镜检査。医生从通过CE而获得的CE图像数据中选择有疑似病变部的被观察部位(关注点)的CE图像数据(关注点图像数据)。在该选择之后，医生选择从口部到关注点的内窥镜插入路径的中途的被观察部位的CE图像数据。在开始使用球囊内窥镜(BE)的内窥镜检査之后，判定通过BE获得的BE图像数据与之前由医生所选择的各点图像数据是否类似。由此，通过检测BE的末端部到达了各点中的哪个点，即可检测末端部的相对位置。
但是，在根据内窥镜图像估计脏器的形状时，首先估计构成脏器的形状的点组的位置，但是，该估计位置一般存在误差。而且，当根据估计位置存在误差的点组而估计出脏器的形状时，形成为面形状(平面、曲面等形状)的被检体有时例如被形状估计为形成管腔形状的被检体。因此，要求减少这样的形状的错误估计。
本发明正是鉴于上述情况而完成的，其目的在于提供一种能够提高所估计的被检体内的三维形状的可靠度的内窥镜系统、内窥镜用处理系统、图像处理方法。
发明内容
本发明的一个方式的内窥镜系统具有：内窥镜，其拍摄被检体内部而取得图像；位置姿势信息取得部，其取得所述内窥镜的位置信息和姿势信息；三维位置估计部，其根据所述图像，估计从所述内窥镜观察的、所述被检体内的对象部分的相对三维位置；形状估计部，其根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状；截面生成部，其根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域；以及判定部，其根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的壁部成为距离不同的双重构造的错误估计部分。
在本发明的其他方式的内窥镜用处理系统中，具有：位置姿势信息生成部，其根据由位置方位检测部检测出的位置检测信号和方位检测信号，生成内窥镜的位置信息和姿势信息；三维位置估计部，其根据由所述内窥镜所取得的图像，估计从所述内窥镜观察的、被检体内的对象部分的相对三维位置；形状估计部，其根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状；截面生成部，其根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域；以及判定部，其根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的壁部成为距离不同的双重构造的错误估计部分。
在本发明的其他方式的图像处理方法中，其中，图像处理部对从内窥镜的摄像部输出的摄像图像进行处理并生成内窥镜图像，位置姿势信息取得部取得所述内窥镜的位置信息和姿势信息，三维位置估计部根据所述内窥镜图像或者所述摄像图像，估计从所述内窥镜观察的、所述被检体内的对象部分的相对三维位置，形状估计部根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状，截面生成部根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域，判定部根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的壁部成为距离不同的双重构造的错误估计部分。
附图说明
图1是示出本发明实施方式1的内窥镜系统的结构的框图。
图2是示出上述实施方式1中的内窥镜系统的结构的变形例的框图。
图3是示出上述实施方式1中的三维图像生成部的结构的框图。
图4是示出在上述实施方式1中、一边插入内窥镜一边进行观察，估计三维位置进而估计三维形状的情形的图表。
图5是示出上述实施方式1中的内窥镜系统的作用的流程图。
图6是示出上述实施方式1中的形状修正的处理的流程图。
图7是示出上述实施方式1中的形状截面计算的处理的流程图。
图8是示出上述实施方式1中、计算内包有内窥镜所通过的轨迹的区域的芯线进而计算垂直于芯线的截面的情形的图表。
图9是示出上述实施方式1中、所估计的三维形状与垂直于芯线的截面的位置关系的例子的图。
图10是示出上述实施方式1中、垂直于芯线的截面与1个多边形的相交线即交叉线段的图。
图11是示出上述实施方式1中、生成将交叉线段的中心点与垂直于芯线的截面上的轨迹重心点连结的连结线段的情形的图。
图12是示出上述实施方式1中、与连结线段交叉的形状截面的交叉线段的图。
图13是示出本发明的实施方式2中的形状修正的处理的流程图。
图14是示出上述实施方式2中、从轨迹重心点朝向各交叉线段的中心点的中心向量与将包括各交叉线段的各多边形的法线向量投影到截面上而得到的投影法线向量所形成的角度小于角度阈值的例子的图。
图15是示出上述实施方式2中、中心向量与投影法线向量所形成的角度为角度阈值以上的例子的图。
图16是示出本发明的实施方式3中的形状修正的处理的流程图。
图17是示出上述实施方式3中、计算将截面与内窥镜的轨迹的交点即轨迹点与交叉线段的中心点连结的连结线段并且计算出的连结线段与形状截面的交叉线段交叉的情形的图。
图18是示出本发明实施方式4中的内窥镜系统的作用的流程图。
图19是示出上述实施方式4中的显示颜色变更的处理的流程图。
图20是示出上述实施方式4中、通过基于投影法线向量彼此所形成的角度、中心点之间的直线距离和中心点之间的沿着形状截面的路程进行判定，而判定为不存在形状的错误估计的例子的图。
图21是示出上述实施方式4中、通过基于投影法线向量彼此所形成的角度、中心点之间的直线距离和中心点之间的沿着形状截面的路程进行判定，而判定为存在形状的错误估计的例子的图。
图22是示出本发明实施方式5中的形状修正的处理的流程图。
图23是示出上述实施方式5中、在穿过中心重心点的直线与形状截面交叉的2个点之间的直线距离为阈值以下时，与芯线和截面的交叉点接近的多边形的区域的例子的图。
具体实施方式
以下，参照附图说明本发明的实施方式。
[实施方式1]
图1至图12示出了本发明的实施方式1，图1是示出内窥镜系统的结构的框图。
该内窥镜系统具有内窥镜1、处理系统2、光源3和显示装置4。另外，在图1所示的例子中，使处理系统2和光源3分体，但是也可以为一体。
内窥镜1是拍摄被检体内部而取得图像的图像取得装置，并具有摄像部11、照射部12、操作部13和作为计测部的位置方位检测部14。其中的摄像部11、照射部12和位置方位检测部14例如配置于内窥镜1的插入部的末端部，操作部13与插入部的近前侧连接设置。
另外，在本实施方式中，列举了将肾脏的肾盂肾盏(参照图8等)作为被检体的例子，但是，不限定于此，只要是能够进行内窥镜观察的被检体即可，能够广泛应用。
照射部12朝向被检体的内部照射从光源3例如经由光导而传输来的照明光。但是，也可以采用如下结构：将照射部12构成为LED等发光源，利用从光源3供给的电力发出照明光。
摄像部11具有摄像元件11a，利用物镜光学系统形成被照射有照明光的被检体的内部的光学像并通过摄像元件11a进行光电变换来进行拍摄，生成并取得摄像图像。
操作部13用于进行拍摄图像的操作、在插入部中设置有弯曲部的情况下进行弯曲部的弯曲操作等与内窥镜1相关的各种操作。
位置方位检测部14检测内窥镜1的插入部的末端部的位置并输出位置检测信号，并且检测内窥镜1的插入部的末端部面向的方向而输出方位检测信号。该位置方位检测部14根据例如磁场等检测作为空间坐标的3轴(xyz轴)的坐标和绕3轴的角度，也称作6D传感器等。
处理系统2对内窥镜1和光源3进行控制，并且对从内窥镜1取得的摄像图像进行处理，从而生成显示用的图像数据。并且，处理系统2根据所取得的图像估计被检体内的三维位置p(参照图4等)，根据估计出的三维位置p来生成被检体内的三维图像作为例如引导图像，并输出到显示装置4。
该处理系统2具有图像处理部21、三维位置估计部22、三维图像生成部23、图像合成输出部24和控制部25。
图像处理部21对从摄像部11输出的摄像图像进行例如同时化处理(或去马赛克处理)、白平衡处理、颜色矩阵处理、伽马变换处理等各种图像处理，生成内窥镜图像。
三维位置估计部22根据图像(由摄像元件11a取得的摄像图像或由图像处理部21进行处理后的内窥镜图像)，估计被检体9(参照图4等)内的对象部分的、从内窥镜1观察的相对三维位置。
具体而言，三维位置估计部22根据图像，估计内窥镜1与被检体的距离，更具体而言为从内窥镜1的末端部(插入部的末端部)到被检体的对象部分的距离。
这里，作为三维位置估计部22根据图像来估计从内窥镜1的末端部到被检体的对象部分的距离的方法的一例，可举出如下的方法。
当假设为被检体的各部位的光反射率相同时，距离内窥镜1的末端部的距离越远，则从照射部12照射、在被检体上反射并返回的返回光越暗，相反，距离越近，则返回光越亮。因此，能够根据图像的亮度(图像中所拍摄的对象部分的亮度)来估计到被检体的对象部分的距离。
另外，这里，说明了根据图像的亮度来估计内窥镜1与被检体的距离的方法，但是，不限于此。例如，在内窥镜1采用具有多个摄像部、而该多个摄像部具有视差的结构的情况下，也可以根据从多个摄像部获得的多个图像的相位差来计算内窥镜1与被检体的距离。或者，也可以构成为内窥镜系统具备基于图案照射方式或TOF(Time Of Flight，飞行时间)方式等的距离图像传感器，从而计算内窥镜1与被检体的距离。
此外，三维位置估计部22根据估计出的距离和图像中的对象部分的位置(图像中的拍摄有对象部分的像素的位置)，估计从内窥镜1的末端观察到的对象部分的相对的三维位置(相对三维位置)。
这里，内窥镜1的物镜光学系统的结构是已知的，预先获知了视场角等信息。这时，能够根据由内窥镜1取得的图像中的拍摄有对象部分的像素的位置，获知从内窥镜1的末端部观察到的对象部分的方位。因此，能够获知从内窥镜1的末端部观察到的对象部分的距离和方位，即对象部分相对于内窥镜1的相对三维位置(相对坐标系中的三维位置)。
三维图像生成部23根据控制部25的控制，使用由三维位置估计部22估计的相对三维位置来生成与可靠度对应的三维形状图像。
这里，图3是示出三维图像生成部23的结构的框图。
该三维图像生成部23具有形状估计部23a、形状修正部23b和显示方式变更部23c。
形状估计部23a根据由三维位置估计部22估计的相对三维位置和由位置姿势信息取得部(图1所示的位置方位检测部14和位置姿势计算部28、或者图2所示的位置姿势估计部29)取得的内窥镜1的位置信息以及姿势信息，估计处置室内等的绝对坐标系中的对象部分的三维位置p。
并且，形状估计部23a根据对象部分的三维位置p(一般取得多个点的该三维位置p)，估计被检体9内的三维形状31(参照图4等)。具体而言，形状估计部23a根据对象部分的三维位置p，使用例如球旋转(Ball-Pivoting)算法等公知的方法计算多边形31p(参照图10、图11等)，生成由多个多边形31p构成的三维形状图像(该三维形状图像可以是通过多个多边形31p的连结而仅示出形状的图像，也可以是将内窥镜图像粘贴于各多边形31p上的图像)。
形状修正部23b从由形状估计部23a估计出的三维形状31中删除由后述的判定部27判定出的错误估计部分(由形状估计部23a估计出的三维形状31的错误估计部分)。
如在后述的实施方式4中所说明的那样，显示方式变更部23c使由判定部27判定出的错误估计部分成为与由形状估计部23a估计出的三维形状31中的其他部分(未判定为错误估计部分的部分)不同的显示方式、例如不同的显示颜色。
另外，显示方式变更部23c不限于作为变更显示颜色的显示颜色变更部发挥功能，只要在错误估计部分和未判定为错误估计的部分之间使显示方式不同使得能够识别即可。例如，显示方式变更部23c可以在错误估计部分和未判定为错误估计的部分之间使亮度不同，也可以对错误估计部分添加特定的图案。
这里，形状修正部23b和显示方式变更部23c例如择一地发挥功能，在删除错误估计部分的情况下，形状修正部23b发挥功能而显示方式变更部23c不发挥功能，在不删除错误估计部分而保留的情况下，显示方式变更部23c发挥功能而形状修正部23b不发挥功能。
图像合成输出部24将由图像处理部21生成的内窥镜图像和由三维图像生成部23生成的三维形状图像例如排列并合成为1个图像，输出到显示装置4。由此，用户能够一边经由显示装置4引导三维形状图像一边进行内窥镜1的插入、拔出，通过内窥镜图像观察被检体内并进行检査、处置等。
控制部25与上述的图像处理部21、三维位置估计部22、三维图像生成部23和图像合成输出部24连接，从而对处理系统2的整体进行控制，并且还进行内窥镜1的控制和光源3的接通/断开、光量等的控制。
该控制部25具有截面生成部26、判定部27和位置姿势计算部28。
如之后参照图8所说明的那样，截面生成部26根据内窥镜1的位置信息，生成与内包有内窥镜1所通过的轨迹1t的区域1a的芯线1c交叉的(优选为垂直的)平面即截面32。
判定部27根据三维形状31中的、与截面32交叉的部分即形状截面31c(参照图8等)的形状特性，判定三维形状31中的错误估计部分。这里，错误估计部分是三维形状31中的可靠度比规定值低的部分。因此，判定部27判定三维形状31的可靠度。
位置姿势计算部28根据由位置方位检测部14检测出的位置检测信号和方位检测信号，生成内窥镜1的末端部的位置信息和姿势信息。即，位置方位检测部14和位置姿势计算部28构成取得内窥镜1的位置信息和姿势信息的位置姿势信息取得部。
由位置姿势计算部28取得的内窥镜1的位置信息和姿势信息输出到三维图像生成部23。这样，三维图像生成部23的形状估计部23a在根据由三维位置估计部22估计的相对三维位置来估计绝对坐标系中的对象部分的三维位置p时，使用由位置姿势计算部28取得的内窥镜1的位置信息和姿势信息。
光源3产生向被检体照射的照明光，并具有通过限制光的通过范围来控制照明光的光量的光源光圈3a。
显示装置4以能够观察的方式显示从图像合成输出部24输出的、包括内窥镜图像和三维形状图像的图像。
接着，图2是示出内窥镜系统的结构的变形例的框图。
在该图2所示的变形例中，替代图1的位置方位检测部14和位置姿势计算部28，在处理系统2的控制部25内设置有位置姿势估计部29，作为取得内窥镜1的位置信息和姿势信息的位置姿势信息取得部。
除了由传感器等检测内窥镜1的位置信息和姿势信息的技术以外，还已知有根据图像等估计内窥镜1的位置信息和姿势信息的技术。因此，该位置姿势估计部29例如通过根据由内窥镜1取得的图像来进行运算等，估计内窥镜1的位置和姿势，取得位置信息和姿势信息。所取得的内窥镜1的位置信息和姿势信息用于形状估计部23a进行的三维位置p的估计，这与上述相同。
接下来，图4是示出一边插入内窥镜1一边进行观察并估计三维位置p，进而估计三维形状31的情形的图表。另外，在图4中，从左向右依次称作第1栏～第4栏。
如图4的第1栏所示，内窥镜1具有与物镜光学系统的结构对应的视野1v，取得进入视野1v内的被检体9的图像，作为内窥镜图像。
三维位置估计部22根据以这样的方式取得的内窥镜图像估计相对三维位置，三维图像生成部23的形状估计部23a根据相对三维位置估计绝对坐标中的三维位置p。如图4的第2栏所示，以这样的方式估计出的三维位置p与实际的被检体9的位置不一致，由于各种原因产生了误差。
通过一边插入内窥镜1，一边取得内窥镜图像并估计三维位置p，如图4的第3栏所示，收集多个针对被检体9估计出的三维位置p的信息。
三维图像生成部23根据以这样的方式收集的多个三维位置p的信息，进行三维形状31的估计。在图4的第4栏所示的例子为如下例子：所估计的三维形状31被估计成应该成为1个曲面的被检体9内的壁部成为距离不同的双重构造(当立体地观察时，壁部附近的伪管腔形状的构造)，估计出的三维形状31中产生了错误估计部分。
图5是示出内窥镜系统的作用的流程图。
当开始该处理时，设定用于取得图像的摄影条件，例如设定对朝向被检体照射的照明光的光量进行控制的光源光圈3a的光源光圈值、取得图像的摄像元件11a的增益等(步骤S1)。
而且，利用摄像元件11a拍摄并取得图像，并且利用位置方位检测部14和位置姿势计算部28(或位置姿势估计部29)取得在取得图像的时刻的内窥镜1的末端部的位置信息和姿势信息(步骤S2)。
然后，三维位置估计部22和三维图像生成部23的形状估计部23a根据所取得的图像、位置信息和姿势信息，估计三维位置p(步骤S3)。
接着，控制部25判定是否进入形状计算的处理(步骤S4)。这里，例如，控制部25根据是否已取得了规定的数量的、位置信息以及姿势信息、和摄影条件中的至少一方不同的图像等，来判定是否进入形状计算的处理。
这里，在判定为仍未进入形状计算的处理的情况下，在进行了通过使内窥镜1沿插入方向前进后退而使摄影位置和姿势发生变化的操作、和使摄影条件发生变化的操作中的至少一个操作之后(步骤S5)，返回上述的步骤S2，取得下一个图像等，进行如上所述的处理。
这样，在步骤S4中判定为进入形状计算的处理的情况下，三维图像生成部23的形状估计部23a根据所估计的多个三维位置p，将三维形状31估计为将多个多边形31p连结而成的形状(步骤S6)。
并且，在对估计出的三维形状31进行如之后参照图6所说明的形状修正的处理并将修正后的图像显示在显示装置4上之后(步骤S7)，控制部25判定是否结束该处理(步骤S8)。
这里，在判定为仍不结束的情况下，返回步骤S2，进行下一个图像的取得，在判定为结束的情况下，结束该处理。
图6是示出图5的步骤S7中的形状修正的处理的流程图。
当开始该处理时，进行形状截面计算的处理(步骤S11)。
这里，图7是示出图6的步骤S11中的形状截面计算的处理的流程图，图8是示出计算内包有内窥镜1所通过的轨迹1t的区域1a的芯线1c进而计算与芯线1c垂直的截面32的情形的图表。另外，在图8中，从左向右依次称作第1栏～第4栏。此外，图8的步骤编号对应于图5和图7的步骤编号。
当进入图7所示的形状截面计算的处理时，截面生成部26计算内窥镜1所通过的轨迹1t，进而计算内包有轨迹1t的区域1a(参照图8的第2栏)(步骤S21)。
这里，通过反复进行上述的步骤S2～S5的处理，内窥镜1的末端部移动，生成如图8的第1栏所示的内窥镜1的末端部所通过的轨迹1t。该轨迹1t能够根据由位置方位检测部14和位置姿势计算部28(或位置姿势估计部29)取得的内窥镜1的末端部的位置信息来获知。
接着，截面生成部26计算如图8的第3栏所示的区域1a的芯线1c(步骤S22)，将计算出的芯线1c分割为固定间隔(按照每个固定的长度)(步骤S23)。
然后，截面生成部26计算包含有芯线1c的分割位置、并与芯线1c交叉的(在本实施方式中，与芯线1c垂直的)平面，作为如图8的第4栏所示的截面32(步骤S24)。因此，截面生成部26沿着芯线1c按照每个固定间隔生成多个与芯线1c垂直的截面32。
并且，截面生成部26计算作为构成三维形状31的各多边形31p与截面32的相交线的各交叉线段31s，作为形状截面31c(步骤S25)。
图9是示出所估计的三维形状31与垂直于芯线1c的截面32的位置关系的例子的图。
如上所述，形状截面31c是三维形状31中的、与截面32交叉的部分。
此外，图10是示出垂直于芯线1c的截面32与1个多边形31p的相交线即交叉线段31s的图。多边形31p是形成多边形的平面，因此，交叉线段31s是形成直线的线段。因此，形状截面31c为将多条作为截面32与多边形31p的相交线的交叉线段31s连结而成的折线。
按这样的方式进行步骤S25的处理之后，返回图6所示的处理。
在图6的步骤S11中计算出形状截面31c之后，判定部27计算截面32与内窥镜1的轨迹1t的交点即轨迹点Pt(参照图17等)，进而计算轨迹点Pt的重心点即轨迹重心点Gt(参照图11、图12等)(步骤S12)。
另外，由于一边使内窥镜1前进后退一边进行内窥镜观察，因此，预计存在多个轨迹点Pt(因此，计算轨迹重心点Gt作为多个轨迹点Pt的重心点)，但是，如果截面32上的轨迹点Pt为1个，则该1个轨迹点Pt为轨迹重心点Gt。
而且，判定部27针对构成形状截面31c的各交叉线段31s分别进行生成连结线段33的处理，其中该连结线段33是将轨迹重心点Gt与作为交叉线段31s的中点的中心点31a连结的线段(步骤S13)。
这里，图11是示出生成将交叉线段31s的中心点31a与垂直于芯线1c的截面32上的轨迹重心点Gt连结的连结线段33的情形的图。当针对构成形状截面31c的各交叉线段31s进行生成连结线段33的处理时，能够获得例如图12所示的多个连结线段33。这里，图12是示出与连结线段33交叉的形状截面31c的交叉线段31s的图。
图12所示的例子示出如图9所示的、应该为面形状的部分被错误估计为管腔形状的三维形状31的部分中存在截面32时的情形。判定部27根据交叉线段31s，判定包含有交叉线段31s的多边形31p是否为错误估计部分。而且，在图12所示的例子中，位于用虚线包围的区域EP内的形状截面31c的交叉线段31s与连结线段33交叉。因此，本实施方式的判定部27判定为如该图12所示的、包含有与连结线段33交叉的交叉线段31s的多边形31p(交叉线段31s位于区域EP内的多边形31p)为错误估计部分。
即，判定部27分别针对多个交叉线段31s生成以截面32与轨迹1t的交点即轨迹点Pt和交叉线段31s的中心点31a为两端的连结线段33，将包含有在连结线段33的两端以外的位置与连结线段33交叉的交叉线段31s的多边形31p判定为错误估计部分。
这时，在1个截面32上存在多个轨迹点Pt的情况下，判定部27以多个轨迹点Pt的重心即轨迹重心点Gt为一端生成连结线段33，进行错误估计部分的判定。
而且，三维图像生成部23内的形状修正部23b删除由判定部27判定为错误估计部分、包含有与连结线段33交叉的交叉线段31s的多边形31p(交叉线段31s位于区域EP内的多边形31p)(步骤S14)。另外，这里，利用形状修正部23b删除了错误估计部分，但是，也可以取而代之，如上所述，利用显示方式变更部23c变更错误估计部分的显示方式。
在这样进行步骤S14的处理之后，返回图5所示的处理。
根据这样的实施方式1，生成与内包有内窥镜1所通过的轨迹1t的区域1a的芯线1c交叉的截面32，根据三维形状31的与截面32交叉的部分即形状截面31c的形状特性，判定三维形状31中的错误估计部分，因此，能够删除错误估计部分而修正三维形状31，或者以用户能够识别的方式显示三维形状31的错误估计部分等，能够提高所估计的被检体内的三维形状31的可靠度。
此外，在将三维形状31估计为将多个多边形31p连结而成的形状的情况下，能够有效地利用上述的球旋转(Ball-Pivoting)算法等公知的算法。
然后，通过根据截面32与多边形31p的相交线即交叉线段31s，判定包含有交叉线段31s的多边形31p是否为错误估计部分，能够进行二维面内的负荷较轻的处理。
并且，分别针对多个交叉线段31s生成以截面32与内窥镜1的轨迹1t的交点即轨迹点Pt和交叉线段31s的中心点31a为两端的连结线段33，将包含有在连结线段33的两端以外的位置与连结线段33交叉的交叉线段31s的多边形31p判定为错误估计部分，因此，能够恰当地判定应该为面形状的部分被错误估计为管腔形状的三维形状31中的错误估计部分。
此外，在1个截面32上存在多个轨迹点Pt的情况下，以多个轨迹点Pt的重心即轨迹重心点Gt为一端生成连结线段33，进行错误估计部分的判定，因此，与分别以多个轨迹点Pt为一端生成连结线段33的情况相比能够更加减少处理负荷，并获得适当的结果。
此外，沿着芯线1c按照每个固定间隔生成多个与芯线1c垂直的截面32，因此，能够恰当地提取作为错误估计部分的多边形。
并且，从三维形状31中删除所判定的错误估计部分，因此，能够观察更加适当的三维形状31的图像。另一方面，在变更错误估计部分的显示方式的情况下，用户能够一眼识别出错误估计部分。
[实施方式2]
图13至图15是示出本发明的实施方式2的图，图13是示出形状修正的处理的流程图。
在该实施方式2中，对与上述实施方式1相同的部分标注相同标号等并适当省略说明，主要仅对不同点进行说明。
本实施方式的内窥镜系统的结构、基本作用与上述的实施方式1相同，但是，本实施方式与上述的实施方式1相比使错误估计部分的判定方法不同。
当在图5的步骤S7中进入图13所示的处理时，通过步骤S11计算形状截面31c，通过步骤S12计算轨迹重心点Gt。
接着，判定部27分别针对多个交叉线段31s生成中心向量33v，其中该中心向量33v从作为截面32与轨迹1t的交点的轨迹点Pt的重心即轨迹重心点Gt朝向交叉线段31s的中心点31a(参照图14、图15等)(步骤S31)。
并且，判定部27分别针对包含有交叉线段31s的多边形31p生成投影法线向量34，其中该投影法线向量34是将包含有构成形状截面31c的各交叉线段31s的各多边形31p的法线向量投影到截面32上而得到的(参照图14、图15等)(步骤S32)。另外，投影法线向量34被赋予了朝向如图14和图15所示的形成闭合曲线的形状截面31c的外径方向的方向。
而且，判定部27按照每个多边形31p，计算中心向量33v与投影法线向量34所形成的角度(步骤S33)。
这里，图14是示出从轨迹重心点Gt朝向各交叉线段31s的中心点31a的中心向量33v与将包含有各交叉线段31s的各多边形31p的法线向量投影到截面32上而得到的投影法线向量34形成的角度小于角度阈值θ1th的例子的图。
另一方面，图15是示出中心向量33v与投影法线向量34所形成的角度为角度阈值θ1th以上的例子的图。
判定部27将如图15的区域EP所示的、包含有中心向量33v与投影法线向量34所形成的角度为角度阈值θ1th以上的交叉线段31s的多边形31p判定为错误估计部分。然后，三维图像生成部23内的形状修正部23b删除由判定部27判定为错误估计部分的多边形31p(交叉线段31s位于区域EP内的多边形31p)(步骤S34)。
在这样进行步骤S34的处理之后，返回图5所示的处理。
根据这样的实施方式2，起到与上述的实施方式1大致相同的效果，并且，将包含有交叉线段31s的多边形31p判定为错误估计部分，其中该交叉线段31s是从轨迹重心点Gt朝向交叉线段31s的中心点31a的中心向量33v与将多边形31p的法线向量投影到截面32上而得到的投影法线向量34所形成的角度为角度阈值θ1th以上的交叉线段，因此，能够进行基于向量运算的简单处理。
[实施方式3]
图16和图17是示出本发明实施方式3的图，图16是示出形状修正的处理的流程图。
在该实施方式3中，对与上述实施方式1、2相同的部分标注相同标号等并适当省略说明，主要仅对不同点进行说明。
本实施方式的内窥镜系统的结构、基本作用与上述的实施方式1相同，但是，本实施方式与上述的实施方式1相比使错误估计部分的判定方法不同。
当在图5的步骤S7中进入图16所示的处理时，通过步骤S11计算形状截面31c。
接着，判定部27计算截面32与内窥镜1的轨迹1t的交点即轨迹点Pt(步骤S41)。
然后，在1个截面32上存在多个轨迹点Pt的情况下，判定部27分别针对多个轨迹点Pt计算连结线段33，该连结线段33将轨迹点Pt与构成形状截面31c的各交叉线段31s的中心点31a连结(步骤S42)。
接下来，判定部27将如图17的区域EP所示的、包含有与连结线段33交叉的交叉线段31s的多边形31p判定为错误估计部分。然后，三维图像生成部23内的形状修正部23b删除由判定部27判定为错误估计部分的多边形31p(交叉线段31s位于区域EP内的多边形31p)(步骤S43)。
在以这样的方式进行步骤S43的处理之后，返回图5所示的处理。
图17是示出计算连结线段33并且计算出的连结线段33与形状截面31c的交叉线段31s交叉的情形的图，其中连结线段33将截面32与内窥镜1的轨迹1t的交点即轨迹点Pt与交叉线段31s的中心点31a连结。
在图17所示的例子中，存在3个轨迹点Pt，轨迹重心点Gt位于形状截面31c的内部。在这样的情况下，以轨迹重心点Gt为一端的连结线段33不与交叉线段31s交叉，在上述的实施方式1的动作中，判定为不存在错误估计部分。
与此相对，如果3个轨迹点Pt中的至少一个位于形成闭合曲线的形状截面31c的外部，则将位于形状截面31c的外部的轨迹点Pt与交叉线段31s的中心点31a连结的连结线段33在两端以外的位置与构成形状截面31c中的任意一部分的交叉线段31s交叉。
根据这样的实施方式3，起到与上述的实施方式1大致相同的效果，并且，在1个截面32上存在多个轨迹点Pt的情况下，分别针对多个轨迹点Pt生成连结线段33，进行错误估计部分的判定，因此，即使在轨迹重心点Gt位于形状截面31c的内部的情况下，也能够恰当地判定错误估计部分。
另外，也可以按照每个截面求出将轨迹重心点Gt与轨迹点Pt连结起来的线段，在所求出的线段与交叉线段31s交叉的情况下使用实施方式3的判定方法，在所求出的线段不与交叉线段31s交叉的情况下使用实施方式1的判定方法，如上述这样根据轨迹重心点Gt和轨迹点Pt的位置来恰当地切换判定方式。
[实施方式4]
图18至图21是示出本发明实施方式4的图，图18是示出内窥镜系统的作用的流程图。
在该实施方式4中，对与上述实施方式1～3相同的部分标注相同标号等并适当省略说明，主要仅对不同点进行说明。
本实施方式的内窥镜系统的结构、基本作用与上述的实施方式1相同，但是，本实施方式相对于上述的实施方式1的不同之处在于使错误估计部分的判定方法不同。
此外，在上述的实施方式1～3中，主要说明了删除被判定为错误估计部分的多边形31p，但是，本实施方式替代删除，而变更显示方式、例如显示颜色。
当开始图18所示的内窥镜系统的处理时，进行上述的步骤S1～S4的处理，根据步骤S4的判定结果进行步骤S5或步骤S6的处理。
在进行了步骤S6的处理的情况下，之后进行如参照图19进行说明的显示颜色变更的处理，在将变更了错误估计部分的显示颜色后的图像显示在显示装置4上之后(步骤S7A)，通过步骤S8判定控制部25是否结束该处理，在判定为不结束的情况下，返回步骤S2进行下一图像的取得，在判定为结束的情况下，结束该处理。
图19是示出图18的步骤S7A中的显示颜色变更的处理的流程图。
当开始该处理时，通过步骤S11计算形状截面31c。
接着，判定部27分别针对包含有交叉线段31s的多边形31p生成投影法线向量34，该投影法线向量34是将包含有构成形状截面31c的各交叉线段31s的各多边形31p的法线向量投影到截面32上而形成的(参照图20)(步骤S51)。
接下来，判定部27针对多个多边形31p中的、一对多边形31p的全部组合，计算投影法线向量34彼此所形成的角度(步骤S52)。
并且，判定部27将投影法线向量34彼此所形成的角度为角度阈值θ2th以上、并且交叉线段31s的中心点31a之间的直线距离小于第1阈值L1th、并且交叉线段31s的中心点31a之间的沿着形状截面31c的路程在比第1阈值L1th大的第2阈值L2th以上的一对多边形31p判定为错误估计部分。
另外，第1阈值L1th和第2阈值L2th均为正的值，并且，第2阈值L2th为沿着形状截面31c的整个路程(1周的路程)的例如一半以下。
这里，图20是示出通过基于投影法线向量34彼此所形成的角度、中心点31a之间的直线距离和中心点31a之间的沿着形状截面31c的路程来进行判定，而判定为不存在形状的错误估计的例子的图，图21是示出通过基于投影法线向量34彼此所形成的角度、中心点31a之间的直线距离和中心点31a之间的沿着形状截面31c的路程进行判定，而判定为存在形状的错误估计的例子的图。
将应该为面形状的三维形状31错误估计为管腔形状例如是由于估计从内窥镜1的末端部到被检体的对象部分的距离时的估计误差。一般可期待该估计误差小于从内窥镜1的末端部到被检体的对象部分的距离(即，测量误差小于测量值)，因此，在该情况下，所估计的三维形状31与实际的被检体9的形状接近。
即，与判定为不存在错误估计部分的图20所示的情况相比，在判定为存在错误估计部分的图21所示的情况下，认为在形成闭合曲线的形状截面31c中的、沿着形状截面31c的路程的相反侧部分存在直线距离接近的部位。而且，认为在该直线距离接近的部位，投影法线向量34大致朝向相反方向。
因此，在本实施方式中，通过统合如上所述的3个条件的判定结果，进行错误估计部分的判定。
另外，在该图21所示的例子中，构成形状截面31c的全部交叉线段31s位于区域EP内，判定为包含有全部交叉线段31s的多边形31p为错误估计部分。
然后，三维图像生成部23的显示方式变更部23c选择被判定为错误估计部分的多边形31p(步骤S53)。
然后，显示方式变更部23c将所选择的多边形31p的显示颜色变更为与未被判定为错误估计部分的多边形31p的显示颜色不同的颜色(步骤S54)。这样，在显示装置4上显示错误估计部分成为不同的颜色的三维图像。
在进行上述的步骤S54的处理之后，返回图18所示的处理。
此外，在本实施方式中，也可以替代利用显示方式变更部23c使错误估计部分成为不同的颜色，而利用形状修正部23b删除错误估计部分。同样，在上述或后述的各实施方式中，也可以进行删除错误估计部分和使错误估计部分成为不同的颜色中的任意一个处理。
根据这样的实施方式4，通过将投影法线向量34彼此所形成的角度为角度阈值θ2th以上、并且中心点31a之间的直线距离小于第1阈值L1th、并且中心点31a之间的沿着形状截面31c的路程为第2阈值L2th以上的一对多边形31p判定为错误估计部分，也能够起到与上述的实施方式1大致相同的效果。
并且，通过使错误估计部分成为与三维形状31中的其他部分不同的显示方式(例如、不同的显示颜色)来进行警告，用户能够一眼识别出错误估计部分，能够提高所估计的被检体内的三维形状31的可靠度。
[实施方式5]
图22和图23是示出本发明实施方式5的图，图22是示出形状修正的处理的流程图。
在该实施方式5中，对与上述实施方式1、4相同的部分标注相同标号等并适当省略说明，主要仅对不同点进行说明。
上述的实施方式1、2根据轨迹重心点Gt进行错误估计部分的判定，上述的实施方式3根据轨迹点Pt进行错误估计部分的判定。与此相对，本实施方式5根据芯线1c与截面32交叉的点1cp，进行错误估计部分的判定。
当在图5的步骤S7中进入图22所示的处理时，通过步骤S11计算形状截面31c。
接着，判定部27分别计算构成形状截面31c的全部交叉线段31s的中心点31a(步骤S61)。
接下来，判定部27计算全部中心点31a的重心即中心重心点Ga(参照图23)(步骤S62)。
并且，判定部27分别针对多个交叉线段31s生成通过中心重心点Ga和各交叉线段31s的中心点31a的直线，计算各直线与形状截面31c的各交点(步骤S63)。这里，在形状截面31c形成闭合曲线的情况下，直线和形状截面31c至少具有2个交点，2个交点中的一个为中心点31a。并且，在形状截面31c为类似为圆、或椭圆的、向外径侧凸出的闭合曲线的情况下，设想中心重心点Ga位于形状截面31c的内侧。因此，这里，例如，计算隔着中心重心点Ga位于与中心点31a相反的一侧的交点31b(参照图23)。
然后，判定部27分别针对各直线计算直线与形状截面31c交叉的2个点之间的直线距离(交点间距离，具体而言，中心点31a与隔着中心重心点Ga位于与中心点31a相反的一侧的交点31b的直线距离)(步骤S64)。
这里，图23是示出和点1cp接近的多边形31p的区域EP的例子的图，其中该点1cp是穿过中心重心点Ga的直线与形状截面31c交叉的2个点之间的直线距离在阈值L3th以下时的芯线1c与截面32交叉的点。
然后，判定部27将交点间距离为阈值L3th以下、分别具有与直线交叉的2个交点的2个多边形31p(具有中心点31a的多边形31p和具有交点31b的多边形31p)中的、与芯线1c和截面32的交叉点1cp更接近的多边形31p(如图23的区域EP所示的包含有交叉线段31s的多边形31p)判定为错误估计部分。另外，作为阈值L3th的值的一例，可举出内窥镜1的插入部的直径的2倍左右，但是不限于此，当然也可以使用任意的适当值。而且，三维图像生成部23内的形状修正部23b删除由判定部27判定为错误估计部分的多边形31p(但是，也可以如上述那样使显示方式不同来进行警告)(步骤S65)。
在以这样的方式进行步骤S65的处理之后，返回图5所示的处理。
根据这样的实施方式5，起到与上述的实施方式1大致相同的效果，并且，将穿过中心重心点Ga的直线与形状截面31c交叉的交点间距离为阈值L3th以下的2个多边形31p中的、与芯线1c(点1cp)更接近的多边形31p判定为错误估计部分，因此，能够将2个多边形31p中的、与内窥镜1的末端部更接近的多边形31p恰当地判定为错误估计部分。
另外，上述各部的处理也可以由构成为硬件的1个以上的处理器进行。例如，各部也可以为分别构成为电子电路的处理器，也可以是由FPGA(Field Programmable GateArray：现场可编程门阵列)等集成电路构成的处理器中的各电路部。或者，也可以由1个以上的CPU构成的处理器通过读入并执行记录介质中记录的处理程序，来执行作为各部的功能。
此外，以上叙述中主要说明了内窥镜系统，但也可以是如上述那样使内窥镜系统工作的工作方法，还可以是用于使计算机进行与内窥镜系统相同的处理的处理程序、可通过记录该处理程序的计算机读取的非暂时性的记录介质等。
并且，本发明不仅限于上述实施方式，可以在实施阶段在不脱离其主旨的范围内对结构要素进行变形使其具体化。另外，能够通过上述实施方式中公开的多个结构要素的适当组合形成各种发明的方式。例如，也可以从实施方式所示的全部结构要素中删除几个结构要素。并且，可以适当组合不同实施方式中的结构要素。这样，当然能够在不脱离发明主旨的范围内进行各种变形和应用。
本申请以2017年6月15日在日本申请的日本特愿2017-117991号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书、权利要求书、附图中。

Claims (13)

1.一种内窥镜系统，其特征在于，具有：
内窥镜，其拍摄被检体内部而取得图像；
位置姿势信息取得部，其取得所述内窥镜的位置信息和姿势信息；
三维位置估计部，其根据所述图像，估计从所述内窥镜观察的、所述被检体内的对象部分的相对三维位置；
形状估计部，其根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状；
截面生成部，其根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域；以及
判定部，其根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的壁部成为距离不同的双重构造的错误估计部分。
2.根据权利要求1所述的内窥镜系统，其特征在于，
所述形状估计部将所述三维形状估计为将多个多边形连结而成的形状，
所述形状截面形成将所述截面与所述多边形的相交线即交叉线段连结而成的折线，
所述判定部根据所述交叉线段，判定包含有所述交叉线段的所述多边形是否是所述错误估计部分。
3.根据权利要求2所述的内窥镜系统，其特征在于，
所述判定部针对多个所述交叉线段中的各个所述交叉线段生成连结线段，将包含有在所述连结线段的两端以外的位置与所述连结线段交叉的所述交叉线段的所述多边形判定为所述错误估计部分，其中所述连结线段是以轨迹点和所述交叉线段的中心点为两端的线段，所述轨迹点是所述截面与所述轨迹的交点。
4.根据权利要求3所述的内窥镜系统，其特征在于，
在1个截面上存在多个所述轨迹点的情况下，所述判定部以多个所述轨迹点的重心即轨迹重心点为一端而生成所述连结线段，进行所述错误估计部分的判定。
5.根据权利要求3所述的内窥镜系统，其特征在于，
在1个截面上存在多个所述轨迹点的情况下，所述判定部针对多个所述轨迹点中的各个所述轨迹点生成所述连结线段，进行所述错误估计部分的判定。
6.根据权利要求2所述的内窥镜系统，其特征在于，
所述判定部针对多个所述交叉线段中的各个所述交叉线段生成中心向量，并且针对包含有所述交叉线段的所述多边形中的各个所述多边形生成投影法线向量，将包含有所述中心向量与所述投影法线向量所形成的角度在角度阈值以上的所述交叉线段的所述多边形判定为所述错误估计部分，其中所述中心向量是从轨迹点的重心即轨迹重心点朝向所述交叉线段的中心点的向量，所述轨迹点是所述截面与所述轨迹的交点，所述投影法线向量是将所述多边形的法线向量投影到所述截面上而得到的向量。
7.根据权利要求2所述的内窥镜系统，其特征在于，
所述判定部针对包含有所述交叉线段的所述多边形中的各个所述多边形生成投影法线向量，其中所述投影法线向量是将所述多边形的法线向量投影到所述截面上而得到的向量，将满足如下条件的一对所述多边形判定为所述错误估计部分：所述投影法线向量彼此所形成的角度在角度阈值以上、并且所述交叉线段的中心点间的直线距离小于第1阈值、并且所述交叉线段的中心点之间的沿着所述形状截面的路程在比所述第1阈值大的第2阈值以上。
8.根据权利要求2所述的内窥镜系统，其特征在于，
所述判定部计算构成所述形状截面的全部所述交叉线段的中心点的重心即中心重心点，针对多个所述交叉线段中的各个所述交叉线段生成通过所述中心重心点和所述交叉线段的中心点的直线，将所述直线与所述形状截面交叉的2个点之间的直线距离在阈值以下、且与所述直线交叉的2个所述多边形中，与所述芯线更接近的所述多边形判定为所述错误估计部分。
9.根据权利要求1所述的内窥镜系统，其特征在于，
所述截面生成部沿着所述芯线按照每个固定间隔生成多个垂直于所述芯线的截面。
10.根据权利要求1所述的内窥镜系统，其特征在于，
该内窥镜系统还具有形状修正部，该形状修正部从由所述形状估计部估计出的所述三维形状中删除由所述判定部判定的错误估计部分。
11.根据权利要求1所述的内窥镜系统，其特征在于，
该内窥镜系统还具有显示方式变更部，该显示方式变更部使由所述判定部判定的错误估计部分的显示方式与由所述形状估计部估计出的所述三维形状中的其他部分不同。
12.一种内窥镜用处理系统，其特征在于，具有：
位置姿势信息生成部，其根据由位置方位检测部检测出的位置检测信号和方位检测信号，生成内窥镜的位置信息和姿势信息；
三维位置估计部，其根据由所述内窥镜所取得的图像，估计从所述内窥镜观察的、被检体内的对象部分的相对三维位置；
形状估计部，其根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状；
截面生成部，其根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域；以及
判定部，其根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的壁部成为距离不同的双重构造的错误估计部分。
13.一种图像处理方法，其特征在于，
图像处理部对从内窥镜的摄像部输出的摄像图像进行处理并生成内窥镜图像，
位置姿势信息取得部取得所述内窥镜的位置信息和姿势信息，
三维位置估计部根据所述内窥镜图像或者所述摄像图像，估计从所述内窥镜观察的、所述被检体内的对象部分的相对三维位置，
形状估计部根据所述相对三维位置、所述位置信息以及所述姿势信息，估计所述被检体内的三维形状，
截面生成部根据所述位置信息而生成截面，其中所述截面是与如下区域的芯线交叉的平面，所述区域是内包有所述内窥镜所通过的轨迹的区域，
判定部根据所述三维形状的与所述截面交叉的部分即形状截面的形状特性，判定所述三维形状中的壁部成为距离不同的双重构造的错误估计部分。
CN201880038751.9A 2017-06-15 2018-03-29 内窥镜系统、内窥镜用处理系统、图像处理方法 Active CN110769731B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017117991 2017-06-15
JP2017-117991 2017-06-15
PCT/JP2018/013155 WO2018230099A1 (ja) 2017-06-15 2018-03-29 内視鏡システム、内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
CN110769731A CN110769731A (zh) 2020-02-07
CN110769731B true CN110769731B (zh) 2022-02-25

Family

ID=64658657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038751.9A Active CN110769731B (zh) 2017-06-15 2018-03-29 内窥镜系统、内窥镜用处理系统、图像处理方法

Country Status (3)

Country Link
US (1) US11432707B2 (zh)
CN (1) CN110769731B (zh)
WO (1) WO2018230099A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020005745A (ja) * 2018-07-04 2020-01-16 富士フイルム株式会社 内視鏡装置
JP6993043B1 (ja) * 2020-10-27 2022-01-13 リバーフィールド株式会社 手術支援装置
CN114782470B (zh) * 2022-06-22 2022-09-13 浙江鸿禾医疗科技有限责任公司 消化道的三维全景识别定位方法、存储介质和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996005768A1 (en) * 1994-08-19 1996-02-29 Biosense, Inc. Medical diagnosis, treatment and imaging systems
JP2010069018A (ja) * 2008-09-18 2010-04-02 Olympus Medical Systems Corp 医用ガイドシステム
JP2015071032A (ja) * 2013-09-06 2015-04-16 キヤノン株式会社 画像処理装置、画像処理方法
CN105377131A (zh) * 2013-07-02 2016-03-02 奥林巴斯株式会社 医疗设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438937B2 (ja) * 1994-03-25 2003-08-18 オリンパス光学工業株式会社 画像処理装置
WO1998049524A1 (fr) * 1997-04-25 1998-11-05 Riken Procede permettant d'etablir une distinction entre des erreurs de forme d'une surface courbe a forme libre
JP4017877B2 (ja) 2002-02-01 2007-12-05 ペンタックス株式会社 可撓性内視鏡のモニター装置
JP4142460B2 (ja) * 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
CN100399978C (zh) * 2004-02-18 2008-07-09 国立大学法人大阪大学 内窥镜系统
JP4832927B2 (ja) * 2006-03-14 2011-12-07 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
JP4914634B2 (ja) * 2006-04-19 2012-04-11 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
WO2007129616A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
JP5219129B2 (ja) * 2007-03-20 2013-06-26 国立大学法人静岡大学 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム
JP5291955B2 (ja) 2008-03-10 2013-09-18 富士フイルム株式会社 内視鏡検査システム
JP5354494B2 (ja) * 2009-04-21 2013-11-27 国立大学法人 千葉大学 ３次元画像生成装置、３次元画像生成方法、及びプログラム
JP5721721B2 (ja) 2009-09-23 2015-05-20 ライトラボ・イメージング・インコーポレーテッド 管腔形態および血管抵抗測定データ収集のシステム、装置および方法
JP2012075702A (ja) 2010-10-01 2012-04-19 Fujifilm Corp 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム
US9509977B2 (en) * 2012-03-28 2016-11-29 Olympus Corporation Image processing system and microscope system including the same
JP6112879B2 (ja) * 2013-01-28 2017-04-12 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
EP2918218A4 (en) * 2013-03-27 2016-08-03 Olympus Corp ENDOSCOPE SYSTEM
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5687811B1 (ja) 2013-04-15 2015-03-25 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015156937A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
JP6242543B2 (ja) * 2015-09-28 2017-12-06 オリンパス株式会社 画像処理装置及び画像処理方法
JP2017070523A (ja) * 2015-10-07 2017-04-13 ソニー株式会社 光源制御装置、光源制御方法、プログラム、および手術用システム
JP6218991B2 (ja) 2015-11-13 2017-10-25 オリンパス株式会社 内視鏡の状態推定装置の作動方法および内視鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996005768A1 (en) * 1994-08-19 1996-02-29 Biosense, Inc. Medical diagnosis, treatment and imaging systems
JP2010069018A (ja) * 2008-09-18 2010-04-02 Olympus Medical Systems Corp 医用ガイドシステム
CN105377131A (zh) * 2013-07-02 2016-03-02 奥林巴斯株式会社 医疗设备
JP2015071032A (ja) * 2013-09-06 2015-04-16 キヤノン株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
US11432707B2 (en) 2022-09-06
US20200154987A1 (en) 2020-05-21
CN110769731A (zh) 2020-02-07
WO2018230099A1 (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
JP5715311B2 (ja) 内視鏡システム
US9326660B2 (en) Endoscope system with insertion support apparatus
US9516993B2 (en) Endoscope system
EP2888991B1 (en) Endoscope system
JP6478136B1 (ja) 内視鏡システム、内視鏡システムの作動方法
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
CN112040830A (zh) 内窥镜图像处理装置和内窥镜图像处理方法
US20220398771A1 (en) Luminal structure calculation apparatus, creation method for luminal structure information, and non-transitory recording medium recording luminal structure information creation program
EP3127470A1 (en) Image-processing device
WO2017221507A1 (ja) 内視鏡システム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
US9345394B2 (en) Medical apparatus
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
WO2019244345A1 (ja) ランドマーク推定方法、及び、内視鏡装置
WO2022202400A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
WO2019027031A1 (ja) 内視鏡形状表示装置、及び内視鏡システム
JP2019098005A (ja) 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法
WO2022202520A1 (ja) 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム
JP6335839B2 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
WO2019027032A1 (ja) 内視鏡形状表示装置、内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant