CN108135453A - 内窥镜系统和图像处理方法 - Google Patents

Abstract

一种内窥镜系统，其具有：插入部，其插入于具有3维形状的被检体的内部，照射照明光；摄像部，其接收来自被从插入部照射的照明光所照射的被检体的内部的区域的返回光而依次生成摄像信号；以及图像处理部，当输入了在接收到来自第一区域的返回光时生成的第一摄像信号的情况下，图像处理部生成表示第一区域的形状的3维数据，当输入了在接收到来自第一区域的返回光之后接收到来自第二区域的返回光时生成的第二摄像信号的情况下，图像处理部生成表示所述第二区域的形状的3维数据，图像处理部根据表示所述第一区域和所述第二区域的形状的3维数据而生成3维图像并输出给显示部。

Description

内窥镜系统和图像处理方法

技术领域

本发明涉及使用内窥镜来观察被检体的内窥镜系统和图像处理方法。

背景技术

近年来，使用了内窥镜的内窥镜系统在医疗领域和工业用领域中被广泛使用。例如，在医疗领域中，有时需要将内窥镜插入于被检体内的具有复杂的管腔形状的器官的内部以详细地观察或检查该器官的内部。

例如，在日本特许第5354494号的现有例中，提出了如下的内窥镜系统：为了提示由内窥镜观察到的区域，根据由内窥镜拍摄的内窥镜图像而生成器官的内腔形状并进行显示。

这样，由于内窥镜所获取的图像是2维图像，因此需要根据2维图像来生成3维形状图像。而且，在日本特许第5354494号中，提出了根据2维图像来生成3维形状图像的算法，但是没有对该生成的3维形状图像是如何显示的进行公开和建议。即，根据日本特许第5354494号，缺少以使用户容易观察的方式显示3维形状图像的功能。

本发明是鉴于上述的情况而完成的，其目的在于，提供生成以容易视觉确认的方式显示未构建区域的3维模型图像的内窥镜系统和图像处理方法。

发明内容

用于解决课题的手段

本发明的一个方式的内窥镜系统具有：插入部，其插入于具有3维形状的被检体的内部，照射照明光；摄像部，其接收来自被从所述插入部照射的照明光所照射的所述被检体的内部的区域的返回光而依次生成2维摄像信号；以及图像处理部，当输入了所述摄像部在接收到来自所述被检体的内部的第一区域的返回光时生成的第一2维摄像信号的情况下，所述图像处理部根据所述第一2维摄像信号而生成表示所述第一区域的形状的3维数据，当输入了所述摄像部在接收到来自所述第一区域的返回光之后接收到来自与所述第一区域不同的第二区域的返回光时生成的第二2维摄像信号的情况下，所述图像处理部根据所述第二2维摄像信号而生成表示所述第二区域的形状的3维数据，所述图像处理部根据表示所述第一区域的形状的3维数据和表示所述第二区域的形状的3维数据而生成3维图像并输出给显示部。

本发明的一个方式的图像处理方法具有如下的步骤：插入于具有3维形状的被检体的内部的插入部照射照明光；摄像部接收来自所述被检体的内部的区域的返回光而依次生成2维摄像信号，其中，所述被检体被来自所述插入部的照明光照射；以及当输入了所述摄像部在接收到来自所述被检体的内部的第一区域的返回光时生成的第一2维摄像信号的情况下，图像处理部根据所述第一2维摄像信号而生成表示所述第一区域的形状的3维数据，当输入了所述摄像部在接收到来自所述第一区域的返回光之后接收到来自与所述第一区域不同的第二区域的返回光时生成的第二2维摄像信号的情况下，所述图像处理部根据所述第二2维摄像信号而生成表示所述第二区域的形状的3维数据，所述图像处理部根据表示所述第一区域的形状的3维数据和表示所述第二区域的形状的3维数据而生成3维图像并输出给显示部。

附图说明

图1是示出本发明的第一实施方式的内窥镜系统的整体结构的图。

图2是示出第一实施方式中的图像处理装置的结构的图。

图3A是示出内窥镜的插入部插入的状态下的肾盂和肾盏的说明图。

图3B是示出根据观察区域伴随着内窥镜的插入动作的变化而更新在监视器上显示的3D模型图像的情形的一例的图。

图3C是示出根据观察区域伴随着内窥镜的插入动作的变化而更新在监视器上显示的3D模型图像的情形的一例的图。

图3D是示出根据观察区域伴随着内窥镜的插入动作的变化而更新在监视器上的3D显示模型图像的情形的一例的图。

图4是示出与作为在3D模型图像的构建中使用的多边形的三角形的顶点按顺序而对应的正面和法线向量的关系的图。

图5是示出第一实施方式的图像处理方法的处理的流程图。

图6是示出第一实施方式的处理内容的流程图。

图7是示出在3D形状的面上设定了多边形的情形的说明图。

图8是示出图6中的设定法线向量并且判定内表面和外表面的处理的详细内容的流程图。

图9是示出在像图7那样进行设定时生成的多边形列表的图。

图10是示出对图9的多边形列表设定法线向量而生成的多边形列表的图。

图11是示出以描绘所观察到的内表面的方式设定而对相邻的各多边形分别设定了法线向量的情形的图。

图12是当在前端部设置有位置传感器的情况下使用位置传感器的位置信息来判定法线向量的朝向的动作的说明图。

图13是示出在不选择强调显示的情况下显示在监视器上的3D模型图像的图。

图14是示意性地示出3D模型图像中的边界周边的图。

图15是示出与图14的情况对应的多边形列表的图。

图16是示出通过提取边界边而生成的边界列表的图。

图17是示出在选择了强调显示的情况下显示在监视器上的3D模型图像的图。

图18是示出第一实施方式的内窥镜系统的第一变形例的处理内容的流程图。

图19是图18的动作说明用的说明图。

图20是示出在第一变形例中在选择了强调显示的情况下显示在监视器上的3D模型图像的图。

图21是示出第一实施方式的内窥镜系统的第二变形例的处理内容的流程图。

图22是第二变形例的处理的说明图。

图23是示出通过第二变形例而生成并且显示在监视器上的3D模型图像的图。

图24是示出第一实施方式的内窥镜系统的第三变形例的处理内容的流程图。

图25是第三变形例的处理的说明图。

图26是示出通过第三变形例而生成并且显示在监视器上的3D模型图像的图。

图27是示出第一实施方式的内窥镜系统的第四变形例的处理内容的流程图。

图28是第四变形例的处理的说明图。

图29是示出通过第四变形例而生成并且显示在监视器上的3D模型图像的图。

图30A是示出第一实施方式的第五变形例中的图像处理装置的结构的图。

图30B是示出第一实施方式的内窥镜系统的第五变形例的处理内容的流程图。

图31是示出通过第五变形例而生成并且显示在监视器上的3D模型图像的图。

图32是示出第一实施方式的内窥镜系统的第六变形例的处理内容的流程图。

图33是示出通过第六变形例而生成并且显示在监视器上的3D模型图像的图。

图34是示出第一实施方式的第七变形例中的图像处理装置的结构的图。

图35是示出第七变形例的处理内容的流程图。

图36是示出在选择了强调显示和标记显示的情况下通过第七变形例而生成并且显示在监视器上的3D模型图像的图。

图37是示出当在不选择强调显示的状态下选择了标记显示的情况下通过第七变形例而生成并且显示在监视器上的3D模型图像的图。

图38是示出第一实施方式的第八变形例中的生成标记的处理内容的流程图。

图39是图38的说明图。

图40是图38的变形例的说明图。

图41是示出通过第八变形例而生成并且显示在监视器上的3D模型图像的图。

图42是示出第一实施方式的第九变形例中的图像处理装置的结构的图。

图43A是示出通过第九变形例而生成并且显示在监视器上的3D模型图像的图。

图43B是示出旋转之前的3D模型图像的图。

图43C是示出旋转之前的3D模型图像的图。

图43D是放大未构建区域进行显示的情况下的说明图。

图44是示出第一实施方式的第十变形例中的图像处理装置的结构的图。

图45示出具有阈值以下和阈值以上的边界的3D形状数据的图。

图46是示出判定部的判定对象的3D形状数据及其主要成分的轴的方向的图。

图47是将图46的边界的坐标投影到与第一主要成分的轴垂直的面上而得到的图。

图48是示出第一实施方式的第十一变形例中的图像处理装置的结构的图。

图49是示出第十一变形例的处理内容的流程图。

图50是第十一变形例的处理的说明图。

图51是示出通过第十一变形例而生成的芯线图像的图。

图52是示出第一实施方式的第十二变形例中的图像处理装置的结构的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

(第一实施方式)

图1所示的内窥镜系统1具有：内窥镜2A，其插入于被检体内；光源装置3，其向该内窥镜2A提供照明光；作为信号处理装置的视频处理器4，其进行针对设置于内窥镜2A的摄像部的信号处理；作为内窥镜图像显示装置的监视器5，其对由视频处理器4生成的内窥镜图像进行显示；作为插入部形状检测装置的UPD装置6，其根据设置于内窥镜2A内的传感器来检测内窥镜2A的插入部形状；图像处理装置7，其进行根据2维图像来生成3维(也记为3D)模型图像的图像处理；以及作为显示装置的监视器8，其对由该图像处理装置7生成的3D模型图像进行显示。另外，也可以代替图1中实线所示的与UPD装置6分体的图像处理装置7，而使用像虚线所示那样包含UPD装置6在内的结构的图像处理装置7A。并且，当在生成3维模型图像的处理中也根据图像来估计位置信息的情况下，也可以不设置UPD装置6。

内窥镜2A具有：插入部11，其插入于形成患者9的作为观察对象的被检体的规定的管腔器官(也简称为管腔器官)的一部分的、例如输尿管10内；操作部12，其设置于该插入部11的后端(基端)；以及通用线缆13，其从操作部12延伸出来，设置于通用线缆13的端部的光导连接器14与光源装置3的光导连接器插座装卸自如地连接。

另外，输尿管10在其深部侧与肾盂51a、肾盏51b连通(参照图3A)。

插入部11具有：前端部15，其设置于该插入部11的前端；能够弯曲的弯曲部16，其设置于该前端部15的后端；以及具有挠性的挠性管部17，其从该弯曲部16的后端延伸至操作部12的前端。

在操作部12上设置有用于对弯曲部16进行弯曲操作的弯曲操作旋钮18。

如图1的局部的放大图所示，在插入部11内贯穿插入有传送照明光的光导19，该光导19的前端安装在前端部15的照明窗上，光导19的后端延伸至光导连接器14。

由光源装置3的光源灯21产生的照明光被会聚透镜22会聚而入射到光导连接器14，光导19将所传送的照明光从安装在照明窗上的前端面射出。

被照明光照明的管腔器官内的观察对象部位(也称为被摄体)通过安装在前端部15的与照明窗相邻设置的观察窗(摄像窗)上的物镜光学系统23而将光学像成像在该物镜光学系统23的成像位置。在物镜光学系统23的成像位置配置有作为摄像元件的例如电荷耦合元件(简记为CCD)24的摄像面。该CCD 24具有规定的视场角(视野角)。

物镜光学系统23和CCD 24形成对管腔器官内进行拍摄的摄像部(或摄像装置)25。另外，由于CCD 24的视场角也依赖于物镜光学系统23的光学特性(例如焦距)，因此也可以说，CCD 24的视场角是将物镜光学系统23的光学特性考虑在内的摄像部25的视场角、或者是使用物镜光学系统进行观察的情况下的视场角。

CCD 24与贯穿插入于插入部11内等的信号线26的一端连接，该信号线26的另一端经由与光导连接器14连接的连接线缆27(内的信号线)而到达该连接线缆27的端部的信号连接器28。该信号连接器28与视频处理器4的信号连接器插座装卸自如地连接。

视频处理器4具有：驱动器31，其产生CCD驱动信号；以及信号处理电路32，其对CCD24的输出信号进行信号处理而生成图像信号(影像信号)，该图像信号作为内窥镜图像而显示在监视器5上。驱动器31经由信号线26等而对CCD 24施加CCD驱动信号，通过施加CCD驱动信号，CCD 24将对成像在摄像面上的光学像进行光电转换而得到的摄像信号作为输出信号而输出。

即，摄像部25构成为，具有物镜光学系统23和CCD 24，接收来自被从插入部11照射的照明光所照射的被检体的内部的区域的返回光而依次生成2维摄像信号，并且输出该生成的2维摄像信号。

从CCD 24输出的摄像信号被信号处理电路32转换成图像信号，信号处理电路32从输出端将图像信号输出给监视器5。监视器5将与成像在CCD 24的摄像面上的以规定的视场角(的范围)拍摄的光学像对应的图像作为内窥镜图像而显示在内窥镜图像显示区域(简记为图像显示区域)5a内。在图1中，示出了在CCD 24的摄像面为例如正方形的情况下显示与将该正方形的四个角切掉而成的八边形相近的内窥镜图像的情形。

内窥镜2A例如在光导连接器14内具有保存该内窥镜2A所固有的信息的存储器30，该存储器30保存有视场角数据(或视场角信息)，该视场角数据是表示在内窥镜2A中搭载的CCD 24所具有的视场角的信息。并且，关于光源装置3，在光导连接器14与光源装置3连接时，设置于光源装置3的内部的读取电路29a经由与存储器30连接的电接点而读取视场角数据。

读取电路29a将所读取的视场角数据经由通信线29b而输出给图像处理装置7。并且，读取电路29a将所读取的CCD 24的像素数数据经由通信线29c而输出给视频处理器4的驱动器31和信号处理电路32。驱动器31产生与所输入的像素数数据对应的CCD驱动信号，信号处理电路32进行与像素数数据对应的信号处理。

另外，在图1所示的结构例中，示出了将读取存储器30的固有的信息的读取电路29a设置于光源装置3的情况，但也可以将读取电路29a设置于视频处理器4。

上述信号处理电路32形成输入部，其将所生成的例如作为数字图像信号的2维的内窥镜图像数据(也称为图像数据)输入给图像处理装置7。

在插入部11内，多个源线圈34沿插入部11的长度方向以适当的间隔而配置，该源线圈34是用于检测插入部11在插入于被检体内的情况下的插入形状的传感器。并且，在前端部15内，配置有沿插入部11的长度方向配置的两个源线圈34a、34b和配置在例如与将两个源线圈34a、34b连结起来的线段垂直的方向上的源线圈34c。而且，配置成，将源线圈34a、34b连结起来的线段方向与构成摄像部25的物镜光学系统23的光轴方向(或视线方向)几乎一致，包含三个源线圈34a、34b、34c在内的面与CCD 24的摄像面的上下方向几乎一致。

因此，可以说，UPD装置6内的后述的源线圈位置检测电路39能够通过检测三个源线圈34a、34b、34c的3维位置来检测前端部15的3维位置和前端部15的长度方向，也可以说，能够通过检测前端部15内的三个源线圈34a、34b、34c的3维位置来检测与三个源线圈34a、34b、34c分别相距已知的距离而配置的构成摄像部25的物镜光学系统23的3维位置和物镜光学系统23的视线方向(光轴方向)。

源线圈位置检测电路39形成获取物镜光学系统23的3维位置和视线方向的信息的信息获取部。

另外，图1所示的内窥镜2A的摄像部25是在物镜光学系统23的成像位置配置有CCD24的摄像面的结构，但也能够应用于具有如下结构的摄像部的内窥镜的情况：在物镜光学系统23与CCD之间使用了传送物镜光学系统23的光学像的像导。

包含三个源线圈34a、34b、34c在内的上述多个源线圈34与多条信号线35的一端连接，多条信号线35的另一端与从光导连接器14延伸出来的线缆36连接，该线缆36的端部的信号连接器36a与UPD装置6的信号连接器插座装卸自如地连接。

UPD装置6具有：源线圈驱动电路37，其对上述多个源线圈34进行驱动以使在各源线圈34的周围产生交流磁场；由多个传感线圈构成的传感线圈单元38，其用于检测各源线圈所产生的磁场，从而检测各源线圈的3维位置；源线圈位置检测电路39，其根据多个传感线圈的检测信号来检测各源线圈的3维位置；以及插入形状检测电路40，其根据由源线圈位置检测电路39检测到的各源线圈的3维位置来检测插入部11的插入形状，生成插入形状的图像。

各源线圈的3维位置是在UPD装置6的坐标系下检测的，在该坐标系下对3维位置进行管理。

如上所述，上述源线圈位置检测电路39构成获取物镜光学系统23的观察位置(3维位置)和视线方向的信息的信息获取部。更狭义地，也可以说，源线圈位置检测电路39和三个源线圈34a、34b、34c构成获取物镜光学系统23的观察位置和视线方向的信息的信息获取部。

本实施方式的内窥镜系统1(和图像处理装置7)也能够使用在图1中双点划线所示的内窥镜2B(来代替内窥镜2A)。

该内窥镜2B具有不具备内窥镜2A中的源线圈34的插入部11。因此，是像放大图所示那样没有在前端部15内配置源线圈34a、34b、34c的内窥镜。在该内窥镜2B与光源装置3和视频处理器4连接的情况下，读取电路29a读取光导连接器14内的存储器30的固有信息，并输出给图像处理装置7。图像处理装置7识别出内窥镜2B是没有设置源线圈的类型的内窥镜。

并且，图像处理装置7不使用UPD装置6、而是通过图像处理来估计物镜光学系统23的观察位置和视线方向。

并且，在本实施方式的内窥镜系统1中，虽然没有图示，但也能够使用如下的内窥镜(设为2C)来检查肾盂和肾盏内：该内窥镜在前端部15内设置有源线圈34a、34b、34c，该源线圈34a、34b、34c能够检测设置于前端部15的物镜光学系统23的观察位置和视线方向。

这样，在本实施方式中，使用设置于内窥镜2I(I＝A，B，C)的识别信息，在具有位置传感器的内窥镜2A(或2C)和不具有位置传感器的内窥镜2B中的任意内窥镜中，都是检查肾盂和肾盏内，根据在检查时获取的2维的图像数据，像后述那样构建3D模型图像。

在使用内窥镜2A的情况下，上述插入形状检测电路40具有：第一输出端，其输出内窥镜2A的插入形状的图像信号；以及第二输出端，其输出源线圈位置检测电路39检测到的物镜光学系统23的观察位置和视线方向的数据(也称为位置和方向数据)的第二输出端。而且，从第二输出端向图像处理装置7输出观察位置和视线方向的数据。另外，也可以是，从第二输出端输出的观察位置和视线方向的数据由构成信息获取部的源线圈位置检测电路39输出。

图2示出了图像处理装置7的结构。图像处理装置7具有：控制部41，其进行图像处理装置7的动作控制；图像处理部42，其生成(或构建)3D形状数据(或3D模型数据)和3D模型图像；以及信息存储部43，其存储图像数据等信息。

并且，由图像处理部42生成的3D模型图像的图像信号输出给监视器8，监视器8对由图像处理部42生成的3D模型图像进行显示。

并且，控制部41和图像处理部42与由键盘、鼠标等构成的输入装置44连接，手术人员等用户能够从输入装置44的显示色设定部44a进行显示3D模型图像的情况下的显示色的选择(或设定)、或者从强调显示选择部44b进行强调显示的选择以使得容易对3D模型图像的构建区域与未构建区域的边界进行视觉确认。另外，也能够从输入装置44输入在图像处理部42中进行图像处理的情况下的参数等。

控制部41由中央处理装置(CPU)等构成，具有处理控制部41a的功能，该处理控制部41a根据来自输入装置44的设定或选择而对图像处理部42的图像处理的动作进行控制。

并且，从存储器30向控制部41输入内窥镜2I所固有的识别信息，控制部41根据识别信息中的内窥镜2I的类型信息来识别是不具备位置传感器的内窥镜2B还是具有位置传感器的内窥镜2A或2C。

而且，在使用不具备位置传感器的内窥镜2B的情况下，控制部41控制为图像处理部42估计在具有位置传感器的内窥镜2A或2C的情况下由UPD装置6获取的摄像部25或物镜光学系统23的观察位置、视线方向。

在该情况下，图像处理部42具有观察位置和视线方向估计处理部42d的功能，该观察位置和视线方向估计处理部42d进行利用例如2维的内窥镜图像数据的亮度值等按照图2中虚线所示那样来估计该内窥镜2B的(摄像部25或物镜光学系统23的)观察位置、视线方向的处理。并且，由观察位置和视线方向估计处理部42d估计出的观察位置、视线方向的数据存储在设置于信息存储部43的存储区域内的观察位置和视线方向数据存储部43a中。另外，也可以估计前端部15的位置来代替摄像部25或物镜光学系统23的观察位置。

图像处理部42由CPU或数字信号处理器(DSP)等构成，具有：3D形状数据构建部42a，其根据从视频处理器4输入的2维的内窥镜图像数据而生成(或构建)3D形状数据(或3D模型数据)；以及图像生成部42b，其针对由该3D形状数据构建部42a生成(或构建)的3D形状数据，生成对应于由内窥镜的摄像部25观察(或拍摄)到的2维的图像区域而构建的3D模型图像的构建区域，并且生成能够(容易)对与内窥镜的摄像部25没有观察到的2维的图像区域对应的3D模型图像的未构建区域进行视觉确认的3D模型图像。图像生成部42b也可以表现为，生成(或构建)用于以能够对所述3D模型图像的未构建区域进行视觉确认的方式进行显示的3D模型图像。由图像生成部42b生成的3D模型图像输出给作为显示装置的监视器8，在监视器8上进行显示。图像生成部42b具有将3D模型图像(或3D模型数据的图像)输出给显示装置的输出部的功能。

图像处理部42具有图像更新处理部42o，该图像更新处理部42o进行根据包含于2维数据中的(与3维区域对应的2维)区域伴随着插入动作的变化来更新3D形状数据等的处理。另外，在图2中示出了在图像生成部42b的外部设置了图像更新处理部42o的例子，但也可以在图像生成部42b的内部设置图像更新处理部42o。换言之，也可以采用图像生成部42b具有图像更新处理部42o的结构。并且，图像更新处理部42o也可以设置在后述的各变形例中的图像处理装置中(省略图示)。

另外，除了CPU、DSP之外，也可以使用由程序构成的作为硬件的LSI(Large-ScaleIntegration：大规模集成)的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者使用其他专用的电子电路来构成图像处理部42及其内部的3D形状数据构建部42a、图像生成部42b等。

该图像生成部42b具有多边形处理部42c，该多边形处理部42c针对由3D形状数据构建部42a生成(或构建)的3D形状数据，设定作为(近似地)表示3D形状数据中的各个3维的局部区域的2维的多边形的多边形，并对所设定的多边形进行图像处理。另外，在图2中示出了图像生成部42b在内部具有多边形处理部42c的结构例，但实质上也能够视为多边形处理部42c形成图像生成部42b。

并且，如上所述，在使用不具备位置传感器的内窥镜2B的情况下，图像处理部42具有观察位置和视线方向估计处理部42d，该观察位置和视线方向估计处理部42d估计该内窥镜2B的(摄像部25或物镜光学系统23的)观察位置、视线方向。

信息存储部43由闪存、RAM、USB存储器、硬盘装置等构成，具有：位置和方向数据存储部43a，其存储从内窥镜的存储器30获取的视场角数据，并且存储由观察位置和视线方向估计处理部42d估计、或者从UPD装置6获取的观察位置、视线方向数据；图像数据存储部43b，其存储图像处理部42的3D模型图像数据等；以及边界数据存储部43c，其存储所构建的3D模型图像的构建区域和作为构建区域的边界的边界数据。

如图3A所示，内窥镜2I的插入部11插入于3维的管腔形状的输尿管10内，进而对该输尿管10的深部侧的肾盂和肾盏51进行检查。在该情况下，配置于插入部11的前端部15的摄像部25拍摄其视场角内的区域，信号处理电路32对从摄像部25依次输入的摄像信号进行信号处理而生成2维图像。

另外，在图3A中，关于输尿管10的深部侧的肾盂和肾盏51，虚线所示的区域是肾盂51a，在该肾盂51a的深部侧形成有肾盏51b。

输入有2维图像数据的3D形状数据构建部42a使用UPD装置6的观察位置、视线方向数据、或者使用由观察位置和视线方向估计处理部42d估计出的观察位置、视线方向数据来生成与由内窥镜2I的摄像部25拍摄(观察)到的2维图像数据对应的3D形状数据。

在该情况下，3D形状数据构建部42a也可以像例如日本特许第5354494号的公报所记载的方法、或该公报以外的公知的Shape from Shading(从明暗恢复形状)法那样根据一张2维图像来估计对应的3D形状。并且，也可以是使用两张以上的图像的立体法、基于单眼移动视觉的3维形状估计法、SLAM法、与位置传感器组合来估计3D形状的方法。并且，在估计3D形状的情况下，也可以参照从外部的CT装置等断层图像获取装置获取的3D图像数据来构建3D形状数据。

这里，对图像处理部42根据观察区域(的2维数据)伴随着内窥镜2I的插入动作的变化而生成3D模型数据时的具体方法进行说明。

3D形状数据构建部42a根据包含于从摄像部25输出的被检体的2维摄像信号中的区域而生成3D形状数据。

图像更新处理部42o进行用于根据2维数据伴随着内窥镜2I的插入动作的变化来更新由3D形状数据构建部42a生成的3D模型图像的处理。

具体而言，3D形状数据构建部42a例如在输入有摄像部25在接收到来自被检体的内部的第一区域的返回光时生成的第一2维摄像信号的情况下，生成与包含于该第一2维摄像信号中的该第一区域对应的第一3D形状数据。并且，图像更新处理部42o将由3D形状数据构建部42a生成的第一3D形状数据存储在图像数据存储部43b中。

当在将第一3D形状数据存储在图像数据存储部中之后输入有摄像部25在接收到来自与第一区域不同的第二区域的返回光时生成的第二2维摄像信号的情况下，3D形状数据构建部42a生成与包含于该第二2维摄像信号中的该第二区域对应的第二3D形状数据。并且，图像更新处理部42o向第一3D形状数据追加由3D形状数据构建部42a生成的第二3D形状数据而将该第二3D形状数据存储在图像数据存储部43b中。

而且，图像更新处理部42o对存储在图像数据存储部43b中的第一3D形状数据和第二3D形状数据进行合成而生成当前的3D模型图像，并将该生成的3D模型图像输出给监视器8。

因此，在内窥镜2I的前端部15由于插入动作而移动了的情况下，与包含在从开始生成3D模型图像的状态到当前的前端部15的观察状态的之前观察到的内窥镜图像中的区域对应的3D模型图像显示在监视器8上。并且，显示在监视器8上的3D模型图像的显示区域随着时间的经过而扩大。

另外，在使用图像更新处理部42o将3D模型图像显示在监视器8上的情况下，能够显示仅与观察完毕的构建区域对应的(第二)3D模型图像，但显示能够对未构建区域进行视觉确认的(第一)3D模型图像的话会提高用户的便利性。因此，在以下的说明中，主要以显示能够对未构建区域进行视觉确认的(第一)3D模型图像的例子进行说明。

图像更新处理部42o根据包含在形成所输入的2维数据的内窥镜图像数据中的区域的变化而对(第一)3D模型图像进行更新。图像更新处理部42o对所输入的当前的内窥镜图像数据与紧挨着这之前的在(第一)3D模型图像的生成中所使用的内窥镜图像数据进行比较。

而且，图像更新处理部42o在作为比较结果而检测到预先设定的阈值以上的变化量的情况下，通过基于当前的内窥镜图像数据的(第一)3D模型图像而对之前的(第一)3D模型图像进行更新。

另外，图像更新处理部42o在对(第一)3D模型图像进行更新时，例如也可以使用伴随着内窥镜2I的插入动作而变化的内窥镜2I的前端位置的信息。并且，为了实现这样的处理，例如，也可以像图2中虚线所示那样在图像处理装置7中设置位置信息获取部81。

位置信息获取部81获取前端位置信息，并将该获取到的前端位置信息输出给图像更新处理部42o，其中，所述前端位置信息是表示内窥镜2I的插入部11的前端部15的前端位置的信息。

图像更新处理部42o判定与从位置信息获取部81输入的前端位置信息对应的前端位置是否从以前的位置发生了变化。然后，图像更新处理部42o在得到了与从位置信息获取部81输入的前端位置信息对应的前端位置从以前的位置发生了变化这一判定结果的情况下，生成包含基于在得到该判定结果的时机输入的2维数据的(第一)3D模型图像部分在内的当前的(第一)3D模型图像。即，图像更新处理部42o将变化前的(第一)3D模型图像更新为(变化后的新的第一)3D模型图像。

或者，也可以是，计算(第一)3D模型图像和之前的(第一)3D模型图像各自的重心，在作为比较结果而检测到预先设定的阈值以上的变化量的情况下进行更新。

并且，例如，也可以是，能够根据用户对输入装置44的操作，从2维数据或前端位置或重心中的任意一项选择在图像更新处理部42o更新(第一)3D模型图像时使用的信息，或者也可以是，能够选择2维数据、前端位置以及重心所有项。即，输入装置44具有作为选择部的功能，其选择在图像更新处理部42o更新(第一)3D模型图像时使用的两个(或两种)信息中的至少一个。

本内窥镜系统具有：内窥镜2I，其对具有3维形状的被检体的内部进行观察；视频处理器4的信号处理电路32，其形成输入部，该输入部供由所述内窥镜2I观察到的所述被检体的(内部的)2维数据输入；3D形状数据构建部42a或图像生成部42b，其形成3维模型图像生成部，该3维模型图像生成部根据包含在由所述输入部输入的所述被检体的2维数据中的区域而生成用于向作为显示部的监视器8输出的表示所述被检体的形状的3维模型图像；以及图像更新处理部42o，其针对用于向所述显示部输出的所述3维模型图像，根据包含在伴随着所述内窥镜2I的插入动作的所述2维数据中的所述区域的变化而对所述3维模型图像进行更新，并将该更新后的所述3维模型图像输出给所述显示部。

并且，图像更新处理部42o不限于进行如下的处理：在将第一3D形状数据和第二3D形状数据存储在图像数据存储部43b中之后生成3D模型图像，并将该生成的3D模型图像输出给监视器8，也可以将通过进行该处理以外的其他处理而生成的3D模型图像输出给监视器8。

具体而言，图像更新处理部42o例如也可以进行如下的处理：仅将第一3D形状数据存储在图像数据存储部43b中，对从图像数据存储部43b读取的该第一3D形状数据和在将该第一3D形状数据存储在图像数据存储部43b中之后输入的第二3D形状数据进行合成而生成3D模型图像，并将该生成的3D模型图像输出给监视器8。或者，图像更新处理部42o例如也可以进行如下的处理：不将第一3D形状数据和第二3D形状数据存储在图像数据存储部43b中而对它们进行合成，由此生成3D模型图像，将该3D模型图像存储在图像数据存储部43b中，将从图像数据存储部43b读取的该3D模型图像输出给监视器8。

并且，图像更新处理部42o不限于将由3D形状数据构建部42a生成的3D形状数据存储在图像数据存储部43b中，也可以将摄像部25在接收到来自被检体的内部的返回光时生成的2维摄像信号存储在图像数据存储部43b中。

具体而言，例如，当输入了摄像部25在接收到来自被检体的内部的第一区域的返回光时生成的第一2维摄像信号的情况下，图像更新处理部42o将该第一2维摄像信号存储在图像数据存储部43b中。

当将第一2维摄像信号存储在图像数据存储部43b中之后输入了摄像部25在接收到来自与第一区域不同的第二区域的返回光时生成的第二2维摄像信号的情况下，图像更新处理部42o向该第一2维摄像信号追加该第二2维摄像信号而存储在图像数据存储部43b中。

然后，图像更新处理部42o根据存储在图像数据存储部43b中的第一摄像信号和第二摄像信号而生成与第一区域和第二区域对应的3维模型图像并输出给监视器8。

接下来，对作为图像更新处理部42o将与第一区域和第二区域对应的3维模型图像输出给监视器8的时机的显示时机进行说明。

图像更新处理部42o例如一边每一规定的期间(例如每1秒)对存储在图像数据存储部43b中的3D形状数据进行更新一边输出给监视器8。而且，根据这样的图像更新处理部42o的处理，能够一边对与依次输入给图像处理装置7的被摄体内部的2维摄像信号对应的3维模型图像进行更新一边使监视器8显示该3维模型图像。

另外，图像更新处理部42o例如也可以是，在输入了作为用于根据用户对输入装置44的操作而更新图像的信号的触发信号的情况下，一边每一规定的期间(例如每1秒)对存储在图像数据存储部43b中的3D形状数据进行更新一边生成与该3D形状数据对应的3维模型图像并输出给监视器8。而且，根据这样的图像更新处理部42o的处理，能够一边在期望的时机更新3维模型图像一边使监视器8显示该3维模型图像，因此能够提高用户的便利性。

并且，图像更新处理部42o例如也可以是，当检测到在与由摄像部25生成的2维摄像信号对应的内窥镜图像内没有拍摄到篮(basket)等处置器具的情况下(即，当检测到不是在治疗病变部的过程中而处于插入在管路内的状态的情况下)，一边更新3维模型图像一边输出给监视器8。

而且，根据以上所述那样的处理，例如根据观察区域(的2维数据)伴随着插入在肾盂和肾盏内的内窥镜2I的插入动作的变化，显示在监视器8(的与内窥镜图像相邻的显示区域中)的3D模型图像按照图3B的I3oa→图3C的I3ob→图3D的I3oc这一顺序更新。

图3B的3D模型图像I3oa是根据到该图的右侧所示的插入位置为止所观察到的内窥镜图像而生成的图像。并且，3D模型图像I3oa的上端部分为与所观察到的观察区域对应的构建区域和未观察区域的边界Ba，该边界Ba部分是以与构建区域不同的颜色进行显示的。

另外，图3B的3D模型图像I3oa中的箭头示出了内窥镜2A的前端部15的位置及其方向(在图3C和图3D中也是同样的)。也可以将作为示出内窥镜2A的前端部15的位置及其方向的标记的上述箭头叠加到3D模型图像I3oa中。

图3C的3D模型图像I3ob是向图3B的3D模型图像I3oa中的未构建区域部分追加了构建区域而进行更新后的3D模型图像。

并且，由于在插入的中途存在分支部，因此在图3C的3D模型图像I3ob上产生多个面向未构建区域的边界Bb、Bc、Bd。另外，边界Bd包含不是因分支部而引起的部分。

图3D的3D模型图像I3oc是向图3C的3D模型图像I3ob的上部侧的未构建区域追加了构建区域而进行更新后的3D模型图像。

在本实施方式中，内窥镜2I的插入部11经由管腔形状的输尿管10而插入于该输尿管10的深部侧的管腔形状的肾盂和肾盏51内。而且，在该情况下，3D形状数据构建部42a构建在观察管腔形状的器官的内表面的情况下的中空的3D形状数据。

图像生成部42b(的多边形处理部42c)针对由3D形状数据构建部42a构建的3D形状数据而设定多边形，生成使用了多边形的3D模型图像。在本实施方式中，进行在3D形状数据的表面上粘贴作为多边形的三角形那样的处理而生成3D模型图像。即，3D模型图像像图4所示那样采用了三角形的多边形。一般情况下，作为多边形，多使用三角形或四边形，但在本实施方式中使用三角形的多边形。另外，3D形状数据构建部42a也可以不生成3D形状数据而是直接生成(或构建)3D模型图像。

多边形能够分解成面、边、顶点，顶点是使用3D坐标来记述的。面有正反，针对面而设定了一个垂直的法线向量。

而且，按照记述多边形的顶点的顺序来设定面的正面。例如，如图4所示，按照三个顶点v1、v2、v3的顺序进行记述时的表(面)的正反与法线向量vn的朝向对应。

而且，如后所述，通过设定法线向量，判定使用设定了法线向量的多边形的正反(换言之多边形)而形成的(表示所观察到的区域的)3D模型图像上的各多边形是相当于管腔器官的内表面(或内壁)还是相当于外表面(或外壁)。在本实施方式中，由于主要目的是观察或检查管腔器官的内表面，因此以将管腔器官的内表面与多边形的面的正面(而且，将管腔器官的外表面与多边形的面的反面)对应起来的情况进行说明。作为更复杂的被检体，当在内部包含有管腔构造体的情况下，在检查管腔构造体的内表面及其外表面的情况下也区分(判别)内表面和外表面，因此也能够应用于那样复杂的被检体。

另外，如在后述的图6中说明那样，当插入部11的插入位置移动而由摄像部25观察、获取的2维图像的区域发生变化时，图像处理部42重复进行如下的处理：生成变化后的区域的3D形状数据以对变化前的3D形状数据进行更新，使用法线向量而适当地在更新后的区域上设定新的多边形，生成3D模型图像以追加(更新)。

并且，图像生成部42b具有内表面外表面判别部42e的功能，该内表面外表面判别部42e在追加多边形的情况下，使用法线向量来判别所观察到的多边形的局部区域的面是内表面(内壁)还是外表面(外壁)。

并且，在通过输入装置44的强调显示选择部44b而选择了对边界进行强调的强调显示的情况下，图像生成部42b具有边界强调处理部42f的功能，该边界强调处理部42f用于对3D模型图像中的(作为观察并构建出的区域的)构建区域的边界区域(该边界区域也是作为没有观察的未构建的区域的未构建区域的边界)进行强调显示。该边界强调处理部42f在用户没有从强调显示选择部44b选择强调显示的情况下，不进行强调边界区域(边界部分)的处理。

这样，用户能够在将3D模型图像显示在监视器8上的情况下选择进行强调显示以使得容易对未构建区域的边界进行视觉确认、或者不选择进行强调显示从而实现将3D模型图像显示在监视器8上的选择。

并且，图像生成部42b具有(多边形)着色处理部42g，该(多边形)着色处理部42g根据形成3D模型图像的所构建的(换言之，观察到的)多边形的面是内表面还是外表面的判别结果而以不同的颜色对内表面和外表面进行着色。另外，也可以不以不同的颜色进行着色，而是将不同的纹理粘贴在多边形上。在以下的说明中，以如下的情况进行说明：通过显示色设定部44a而设定为将(观察到的，即观察完毕的)内表面着色为灰色、将(没有观察的，即未观察的)外表面着色为白色的方式。作为灰色，可以设定为接近白色的灰色。不限于内表面为灰色、外表面为白色的情况(着色处理部42g与显示色设定部44a设定的颜色对应地进行着色)。

另外，在本实施方式中，在将管腔器官的内表面作为观察对象的通常的观察模式下，没有观察的区域是没有被摄像部25拍摄的管腔器官的内表面。

而且，在使用内窥镜2I的观察、检查的过程中等，当想要在3D模型图像上以使手术人员能够视觉确认的方式显示没有观察的区域的情况下，如果以图3A所示的接近肾盂和肾盏51的形状的3D模型图像进行显示，则在存在作为没有观察的区域的3D模型图像上的未构建区域的情况下，能够成为易于在3D空间中在视觉上掌握该未构建区域的图像。

因此，在本实施方式中，图像处理部42从以与纸面垂直的上方为视点来观察图3A所示的作为管腔器官的肾盂和肾盏51那样的规定的方向、使用多边形来生成肾盂和肾盏51的3D模型图像。

并且，在这样将视点设定在管腔器官的外侧的情况下，即使实际上观察到的区域存在于管腔的内表面上，作为观察到的构建区域，也很难以容易视觉确认的方式显示在从设定于管腔外表面上的视点侧观察到的3D模型图像上。

为了避免该情况，也可以采用以下的(a)、(b)以及(c)中的任意一种方法。(a)、(b)是也能够在双层(或多层)管状构造的情况下使用的情况，(c)是在肾盂那样的单层管状构造的情况下使用的情况。

(a)在从视点侧观察(所绘制的)3D模型图像的情况下，将3D模型图像上的覆盖所观察到的构建区域的外表面的区域着色为与作为内表面的颜色的灰色和作为外表面的颜色的白色不同的显示色(例如绿色)。(b)或者也可以如图3A中双点划线所示，例如，在作为视点的与纸面垂直的上方位置设定照明用的光源Ls，利用从该光源Ls呈放射状射出的照明光、以被照明用的光源Ls的照明光的颜色着色后的显示色(例如绿色)对3D模型图像上的覆盖所观察到的构建区域的外表面区域进行显示。

(c)或者，在限定为仅将管腔器官的内表面作为观察对象的情况下，由于管腔器官的外表面不是观察对象，因此在外表面覆盖所观察到的管腔器官的内表面的情况下，也可以使用与内表面的灰色不同的颜色的显示色来显示该外表面。在该情况下，作为对被外表面覆盖的观察完毕的内表面进行显示的情况下的显示色，也可以设定为白色。以下，关于对覆盖所观察到的管腔器官的内表面的情况下的外表面进行显示的显示色，使用至少与(作为将观察完毕并且没有被外表面覆盖的内表面直接(以露出的方式)显示的情况下的颜色的)灰色不同的(或容易识别的)显示色。在本说明书中，对这样观察完毕的内表面被外表面覆盖的状态下的该外表面使用作为与在将观察完毕的内表面直接露出的状态下进行观察的情况下的颜色(例如灰色)不同的颜色的显示色。

并且，在本实施方式中，将3D模型图像的背景部分设定为背景色(例如蓝色)，该背景色与在3D模型图像的显示中使用的显示观察完毕的内表面的颜色(即灰色)和在双重管状构造中外表面中的、观察完毕的内表面被外表面覆盖的状态下的外表面的显示色(即例如绿色)不同，从而容易对所观察到的构建区域和作为构建区域与未构建区域的边界的边界区域一同进行视觉确认(显示)。并且，通过选择强调显示，着色处理部42g将边界区域着色为与灰色、显示色以及背景色不同的颜色(例如红色)，使得更容易进行视觉确认。

另外，在图1中，图像处理装置7与构成内窥镜装置的视频处理器4、光源装置3分体构成，但也可以将图像处理装置7设置在与视频处理器4、光源装置3相同的箱体内。

本实施方式的内窥镜系统1的特征在于，该内窥镜系统1具有：内窥镜2I，其观察作为具有3维形状的被检体的输尿管10、肾盂和肾盏51的内部；视频处理器4的信号处理电路32，其形成输入部，该输入部供由所述内窥镜2I观察到的所述被检体的(内部的)2维数据输入；3D形状数据构建部42a，其形成3维模型构建部，该3维模型构建部根据由所述输入部输入的所述被检体的2维数据而生成(或构建)所述被检体的3维模型数据或3维形状数据；以及图像生成部42b，其根据由所述3维模型构建部构建的构建区域的所述3维模型数据而生成能够对作为所述被检体中的没有观察的区域的未构建区域进行视觉确认的(换言之，容易对未构建区域进行视觉确认或者能够对未构建区域视觉确认的)3维模型图像。

并且，如图5所示，本实施方式中的图像处理方法的特征在于，该图像处理方法具有以下的步骤：输入步骤S1，内窥镜2I对作为具有3维形状的被检体的输尿管10、肾盂和肾盏51的内部进行观察，作为由所述内窥镜2I观察到的所述被检体的(内部的)2维数据，视频处理器4的信号处理电路32将2维图像数据输入给图像处理装置7；3维模型构建步骤S2，根据通过所述输入步骤S1而输入的所述被检体的2维数据(2D数据)，3D形状数据构建部42a生成(或构建)所述被检体的3维模型数据(3D形状数据)；以及图像生成步骤S3，根据通过所述3维模型构建步骤S2而构建的构建区域的所述3维模型数据，图像生成部42b生成能够对作为所述被检体中的没有观察的区域的未构建区域进行视觉确认的(换言之，用于以容易进行视觉确认或者能够进行视觉确认的方式来显示未构建区域的)3维模型图像。另外，图5的处理内容为以下要说明的图6的处理内容的概要。

接下来，参照图6对本实施方式的动作进行说明。图6示出了本实施方式的内窥镜系统1的主要的处理过程。另外，也可以采用在图6的处理中划分成了不选择强调显示的情况和选择强调显示的情况的系统结构和图像处理方法。

手术人员像图1所示那样将图像处理装置7与光源装置3和视频处理器4连接、将内窥镜2A或2B或2C与光源装置3和视频处理器4连接而进行内窥镜检查。在该情况下，将内窥镜2I的插入部11插入于患者9的输尿管10内。然后，经由图3A所示那样的输尿管10，像图6的步骤S11所示那样将内窥镜2I的插入部11插入于深部侧的肾盂和肾盏51内。

在插入部11的前端部15设置有摄像部25，摄像部25将在摄像部25的视场角内拍摄(观察)到的摄像信号输入给视频处理器4的信号处理电路32。

如步骤S12所示，信号处理电路32对由摄像部25拍摄的摄像信号进行信号处理，生成(获取)由摄像部25观察到的2维图像。并且，信号处理电路32将生成的2维图像(进行A/D转换而得到的2维图像数据)输入给图像处理装置7的图像处理部42。

如步骤S13所示，图像处理部42的3D形状数据构建部42a根据所输入的2维图像数据，在具有位置传感器的内窥镜2A(或2C)的情况下利用位置传感器的信息、在不具备位置传感器的内窥镜2B的情况下通过图像处理来估计与(由摄像部25)观察到的图像区域对应的3D形状，估计作为3D模型数据的3D形状数据，生成3D形状数据。

作为根据2维图像数据而生成3D形状数据的方法，能够利用上述的方法。

在接下来的步骤S14中，图像生成部42b使用多边形来生成3D模型图像。如图6所示，循环地重复进行相似的处理。因此，在第二次及以后，步骤S14的处理是继续进行前一次的使用多边形来生成3D模型图像的处理(生成与新的多边形相对的3D模型图像，更新以前的3D模型图像)。

在接下来的步骤S15中，多边形处理部42c根据在步骤S13中生成的3D形状数据，使用移动立方体法等公知的方法来生成多边形。图7示出了根据在步骤S13中生成的3D形状数据而生成多边形的情形。

在为了表现管腔而生成的3D形状数据(在图7中为轮廓形状部分)I3a中，在横向观察管腔的情况下的管腔外表面上设定多边形而生成3D模型图像I3b。

另外，进一步进行着色处理而生成3D模型图像I3c，并且显示在监视器8上。在图7中示出了多边形p01、P02、p03、p04等。

在接下来的步骤S16中，多边形处理部42c对在前面的步骤S15中设定的各多边形(为了判别所观察到的区域是否是内表面)分别设定法线向量。

在接下来的步骤S17中，图像生成部42b的内表面外表面判别部42e使用法线向量来判别所观察到的区域是否是内表面。关于步骤S16和S17的处理，后面参照图8进行说明。

在接下来的步骤S18中，图像生成部42b的着色处理部42g根据前面的步骤S17的判别结果而对表示所观察到的区域的多边形的面(以在内表面的情况下为灰色、在外表面的情况下为白色的方式)进行着色。

在接下来的步骤S19中，控制部31(或图像生成部42b的边界强调处理部)判定是否选择了强调显示。在没有选择强调显示的情况下，转移到接下来的步骤S20的处理。然后，在接下来的步骤S20之后进行步骤S21、S22的处理。

与此相对，在选择了强调显示的情况下，在进行步骤S23、S24、S25的处理之后转移到步骤S20的处理。

在步骤S20中，图像生成部42b的着色处理部42g在从(3D模型图像的外部或与其分离而设定的位置的)规定的方向观察到的3D模型图像的构建区域中的观察完毕的多边形的面为内表面的情况下，进行与被外表面挡住的情况对应的着色。

在像上述的双层管状构造那样作为从规定的方向观察到的3D模型图像的构建区域中的观察完毕的多边形的面为内表面并且该内表面被外表面覆盖的状态下的3D模型图像而显示的情况下，以与背景色、表示观察完毕的内表面的显示色的灰色、以及作为观察完毕的情况下的外表面的颜色的白色不同的显示色(例如绿色)对该外表面的颜色进行着色。另外，在显示3D模型图像的情况下，处于观察完毕的内表面露出的状态的该内表面保持着步骤S18中的着色处理的灰色。

在步骤S20的处理之后的步骤S21中，图像处理部42或图像生成部42b将(通过上述的处理而)生成的3D模型图像的图像信号输出给监视器8，监视器8显示所生成的3D模型图像。

在接下来的步骤S22中，控制部41判定手术人员是否从例如输入装置44输入了检查结束的指示。

在没有输入检查结束的指示的情况下，返回到步骤S11或步骤S12的处理，重复进行上述的处理。即，当插入部11在肾盂和肾盏51内移动时，重复进行如下的处理：生成与移动之后由摄像部25新观察到的区域对应的3D形状数据，生成与该3D形状数据相对的3D模型图像。

另一方面，在输入了检查结束的指示的情况下，如步骤S26所示，图像处理部42结束生成3D模型图像的处理，图6的处理结束。

图13示出了在没有选择强调显示的情况(没有进行步骤S23、S24、S25的处理的情况)下、在重复进行上述的处理的中途(例如在步骤S21的处理之后)显示在监视器8上的3D模型图像I3c。

接下来，参照图8对图6的步骤S16、S17的处理进行说明。通过步骤S15的处理，像图7所示那样在所观察到的区域的3D形状数据I3a中设定多个多边形p01、p02、p03、p04等。这些多边形pj(j＝01，02，03，…)作为图9所示的表形式的多边形列表而存储(保存)在信息存储部43中。各多边形pj的三个顶点v1、v2、v3是由3维的位置向量值XXXX分别决定的。另外，多边形列表示出了各多边形的结构。

在图8的最初的步骤S31中，多边形处理部42c选择多边形。如图9所示，选择与设定了XXXX所示的法线向量的多边形p01相邻的多边形p02。另外，针对多边形p01，像在图4中说明那样，法线向量vn1设定为表示所观察到的内表面的正面的朝向。

在接下来的步骤S32中，多边形处理部42c针对多边形p02，通过

vn2＝(v2-v1)×(v3-v1)

来计算(算出)该多边形p02的法线向量vn2。另外，为了简化记载，顶点v1、v2、v3的3维位置沿用v1、v2、v3，例如v2-v1表示从3维位置v1到3维位置v2的向量。

在接下来的步骤S33中，多边形处理部42c判定多边形p02的法线向量vn2的朝向(或极性)是否与注册的多边形p01的法线向量vn1的朝向相同。

为了进行该判定，多边形处理部42c计算以90度以上的角度与多边形p02相邻的多边形p01的法线向量vn1和多边形p02的法线向量vn2的内积，如果内积的值为0以上，则判定为朝向相同，在不到0的情况下，判定为朝向相反。

当在步骤S33中判定为朝向相反的情况下，在接下来的步骤S35中，多边形处理部42c修正法线向量vn2的朝向。例如将-1与法线向量vn2相乘来进行修正并且进行注册，并且更换多边形列表的位置向量v2、v3。

在步骤S34之后，或当在步骤S33中判定为朝向相同的情况下，在步骤S35中，多边形处理部42c判定是否在所有的多边形中具有(设定了)法线向量。

在存在没有法线向量的多边形的情况下，返回到最初的步骤S31的处理，当在所有的多边形中具有法线向量的情况下，结束图8的处理。图10示出了对图9的多边形列表设定了法线向量后的多边形列表。并且，图11示出了通过图8的处理而对与多边形p01相邻的多边形p02等设定了法线向量vn2等的情形。另外，在图11中，多边形02～04的上部侧为管腔器官的内表面(而且，下侧为外表面)。

在上述的说明中，作为图8中的步骤S33的判定处理，使用内积来判定法线向量的朝向是否相同。该方法是在不具备位置传感器的内窥镜2B的情况下也能够使用的方法。

与此相对，当在前端部15具有位置传感器的内窥镜2A(或2C)的情况下，也可以像图12所示那样，使用位置传感器的信息来判定法线向量的朝向是否与相邻的注册的法线向量的朝向相同。

如图12所示，计算将判定对象的多边形pk的重心G和获取在3D形状的估计中使用的2维图像时的前端部15的位置P15连结起来的向量v15与多边形pk的法线向量vnk的内积，如果内积的值为0以上，则判定为朝向相同，在不到0的情况下，判定为朝向相反。在图12中，两个向量所成的角θ小于90°，内积为0以上。

因此，无法观察到像图12中例如虚线所示那样与相邻的多边形(在图12中为p03)的内表面成钝角那样的多边形p04’的内表面(因此，不生成这样的多边形，不进行法线向量的朝向的判定)。

这样，在没有选择强调显示的状态下，在监视器8上，图13所示那样的3D模型图像I3b是以与背景色不同的颜色显示的。

如图13所示，从下方的输尿管侧到上方的肾盂和肾盏侧的管腔器官的大部分是(在欠缺一部分的状态下)使用多边形来绘制的，并且，表示管腔器官的外侧的面的多边形的(外侧的)面是以发白的颜色(例如绿色)显示的。另外，3D模型图像I3c中的多边形的周围是以蓝色等背景色显示的。

并且，在图13中，在下肾盏的一部分显示有以灰色进行着色的内表面的一部分，并且，在其上侧的中肾盏的一部分也显示有以灰色进行着色的内表面。或者，在图13中的上肾盏处也是边界露出。

手术人员能够从这样内表面被以规定的颜色着色而显示那样的3D模型图像I3c中，将以规定的颜色进行着色的内表面作为边界区域，容易地掌握由于没有被观察到而没有构建和着色的未构建区域在视觉上存在的情况。

这样，像图13所示那样显示的3D模型图像I3c成为以使手术人员容易对未构建区域进行视觉确认的方式显示的3维模型图像。

另外，在生成了图13所示那样的3D模型图像I3c的情况下，通常从封闭的管腔器官的外侧无法观察到的内表面的一部分的区域是以容易进行视觉确认的颜色显示的，从而能够视觉上识别与该区域相邻的区域是没有观察的未构建区域这一情况。

但是，在像例如图13中的上肾盏那样是观察完毕的内表面被近前侧的外表面挡住而没有显示并且视觉上不容易识别其边界形状开口的情况的形状时，有可能看漏在该部分存在未构建区域。当然，由于手术人员掌握了进行观察或检查的管腔器官的形状，因此看漏的可能性降低，但为了使手术人员容易并且顺畅地进行内窥镜检查，期望能够尽可能减轻手术人员的负担。

由于这种情况，因此在本实施方式中，能够选择强调显示，在选择了强调显示的情况下，进行图6中的步骤S23、S24、S25的处理。

在选择了强调显示的情况下，在步骤S23中，边界强调处理部42f进行利用多边形列表的信息来搜索(或提取)边界区域的多边形的边的处理。

在检查对象的管腔器官为肾盂和肾盏51的情况下，从肾盂51a向多个肾盏51b侧分支。在图7所示的例子中，各多边形pi的三条边是与分别相邻的多边形的边共有的。

与此相对，在作为构建出的构建区域的端部的、与未构建区域之间的边界区域的多边形中产生不共有的边。图14示意性地示出边界周边的多边形，并且图15示出了与图14的多边形对应的多边形列表。

在图14中，多边形p12的边e14和多边形p14的边e18表示边界边，它们的右侧为未构建区域。在图14中使用粗线来表示边界边。实际上，一般情况下，边界边由更多条边构成。另外，在图14中，边e11由多边形p11和虚线所示的多边形p17所共有，边e17由多边形p13和虚线所示的多边形p18所共有，边e21由多边形p15和虚线所示的多边形p19所共有。并且，边e12由多边形p11和双点划线所示的多边形p10所共有，边e20由多边形p15和双点划线所示的多边形p16所共有。

在图14的情况下，多边形列表像图15所示那样，在多边形列表中，多边形p12的边e14和多边形p14的边e18仅出现一次，其他边出现两次。因此，在多边形处理部42c中，作为搜索边界区域(的多边形)的处理，从多边形列表中提取仅出现一次的边作为边界边。换言之，多边形处理部42c在作为表示观察完毕的构建区域的所有多边形的列表的多边形列表中提取没有被(3维上相邻的)多个多边形所共有的(即仅一个多边形具有的)边作为边界边。

另外，在图15的多边形列表的最右侧的栏中设定有根据所观察到的多边形的面是内表面还是外表面的判别结果而进行着色的颜色。在图15中，由于观察到内表面，因此设定了表示灰色的G。

在接下来的步骤S24中，边界强调处理部42f根据在前面的步骤S23中提取的信息而生成边界列表，并将生成的情况通知给着色处理部42g。

图16示出了在步骤S24中生成的边界列表。图16所示的边界列表是到步骤S23的处理为止搜索(提取)出的仅出现一次的多边形的边界边的列表。

在接下来的步骤S25中，着色处理部42g参照边界列表，以手术人员等用户容易视觉确认的颜色(例如红色)的边界色对边界边进行着色。在该情况下，也可以增大(加粗)绘制边界边的线的粗度，使得更容易对着色后的边界边进行视觉确认。并且，在图16所示的边界列表的最右侧的栏中示出了由着色处理部42g对边界边进行着色的强调色(边界色)。在图16的具体例中，记载了表示红色的R作为着色的强调色。并且，也可以以红色等边界色或强调色对与边界边相距阈值以下的距离的边界区域进行着色。

另外，不限于将对边界边进行着色的处理在步骤S25中进行的情况，也可以在步骤S20的处理中，根据有无选择边界强调来进行(S25的处理)。

另外，如上所述，在图6的处理中，循环地重复进行相似的处理，因此在选择了边界强调的情况下，也是，在摄像部25拍摄的区域由于插入部11的移动而发生变化时，对变化前的多边形列表和边界列表进行更新。

这样，在选择了边界强调的情况下，显示在监视器8上的与图13对应的3D模型图像I3d变成图17所示那样。

图17所示的3D模型图像I3d是在图13所示的3D模型图像I3c中以强调色对边界区域的多边形的边界边进行着色而得到的。如图17所示，由于以强调色对作为构建区域的多边形中的与未构建区域之间的边界的多边形的边界边进行着色，因此手术人员等用户能够在容易视觉确认的状态下掌握与边界边相邻的未构建区域。另外，由于在图17中以单色显示的方式进行示出，因此比轮廓粗的线示出的边界边看起来与轮廓没有太大不同，但边界边是以显眼的强调色显示的。因此，当在以彩色显示的监视器8上显示3D模型图像I3d的情况下，边界边能够以与轮廓大不同的状态被视觉确认。也可以是，以比轮廓粗至其阈值以上的线、或轮廓的线的粗度的数倍以上那么粗的线来显示边界边，使得即使在单色显示中也容易区分边界边和轮廓。

这样，根据本实施方式的内窥镜系统和图像处理方法，能够生成以容易对未构建区域进行视觉确认的方式显示的3维模型图像。

并且，在本实施方式中，在选择了强调显示的情况下，生成对构建区域与未构建区域的边界进行强调显示的3D模型图像I3d，因此手术人员等用户能够在更容易视觉确认的状态下掌握未构建区域。

接下来，对第一实施方式的第一变形例进行说明。本变形例采用与第一实施方式几乎相同的结构，但选择了强调显示的情况下的处理采用了对包含边界边在内的面进行强调的处理来代替第一实施方式中的强调边界边的处理。

图18示出了本变形例的处理内容。在图18中，将图6中的步骤S24的生成(变更)边界列表的处理变更为步骤S24’所示的变更多边形列表的颜色的处理，将步骤S25的对边界边进行着色的处理变更为步骤S25’的对边界面进行着色的处理。以下，对与第一实施方式不同的处理部分进行说明。

当在步骤S19中选择了强调显示的情况下，与第一实施方式的情况同样地，在步骤S23中进行搜索边界的处理。在步骤S23的处理中，生成图15所示那样的多边形列表，而且提取图16所示那样的具有边界边的多边形。

在接下来的步骤S24’中，边界强调处理部42f例如像图19所示那样将包含边界边的多边形列表的颜色变更为容易视觉确认的颜色(强调色)。

在图19的多边形列表中，将图15的多边形列表中的包含边界边e14和e18的多边形p12、p14的颜色从灰色变更为红色。

简单而言，图16的强调色是对边界边进行强调的颜色，但在本变形例中，设为对包含边界边在内的多边形的面进行强调的强调色。另外，在该情况下，也可以将面设为强调色，包含边界边。

在接下来的步骤S25’中，边界强调处理部42f以强调色对变更成强调色的多边形的面进行着色，然后转移到步骤S20的处理。

图20示出了通过本变形例而生成并显示在监视器8上的3D模型图像I3e。在图20中，具有面向边界的边的多边形(即边界的多边形)的颜色以强调色(在图20中，具体而言采用了红色R的情况下)示出的。另外，在图20中示出了边界边也是以红色进行强调显示的例子。

根据本变形例，具有与第一实施方式几乎相同的效果。具体而言，在不选择强调显示时，得到与在第一实施方式中不选择强调显示的情况相同的效果，在选择强调显示时，由于以容易视觉确认的强调色对边界的多边形的包含边界边在内的边界面进行显示，因此具有手术人员容易掌握观察区域的边界的未观察区域的效果。

接下来，对第一实施方式的第二变形例进行说明。本变形例采用与第一实施方式几乎相同的结构，但进行选择了强调显示的情况下的处理与第一实施方式不同的处理。在本变形例中，图2中的图像生成部42b的边界强调处理部42f变更为与强调显示的选择对应的强调处理部(设为42f’)(处理结果为与边界强调处理部42f的结果相似的内容)。

图21示出了本变形例的处理。在图21中，在没有选择强调显示的情况下，为与第一实施方式相同的处理。另一方面，在选择了强调显示的情况下，如步骤S41所示，强调处理部42f’根据在上一次的3维形状的估计之后设定的多边形列表来计算这次追加了的多边形。

另外，由于在第一次的处理中多边形列表是从空栏的状态追加的，因此所有多边形为对象。

图22示出了相对于在第一次的处理中获取的斜线所示的多边形(的范围)的在第二次的处理中获取的追加的多边形的范围。在接下来的步骤S42中，强调处理部42f’设定关注区域，将多边形分割成多个子块。

如图22所示，强调处理部42f’在追加的多边形的范围内以多边形的顶点(或重心)为中心而设定例如圆形的关注区域，将关注区域分割成例如虚线所示的四等分的子块。实际上对3维的多边形面设定例如球形的关注区域，分割成多个子块。

在图22中示出了如下的情形：在关注的顶点vr1、vr2处分别设定关注区域R1、R2，将关注区域R1分割成四个子块R1a、R1b、R1c、R1d，将关注区域R2分割成四个子块R2a、R2b、R2c、R2d。

在接下来的步骤S43中，强调处理部42f’计算每个子块的多边形的顶点(或重心)的密度或顶点数。而且，强调处理部42f’计算是否存在子块间的多边形的顶点(或重心)的密度或顶点数的偏差。

在关注区域R1的情况下，各子块为分别包含多个连续形成的多边形的顶点等的状态，子块间的密度或顶点数的偏差较小，与此相对，在关注区域R2的情况下，在子块R2b、R2c和子块R2a、R2d中，子块间的密度或顶点数的偏差较大。子块R2b、R2c为与关注区域R1的情况下的子块R1a等几乎相同的值，但由于在边界以外不包含多边形的顶点(或重心)，因此子块R2a、R2d为比子块R2b、R2c的情况小的值。而且，在子块R2b、R2c的情况和子块R2a、R2d的情况下，顶点数的偏差变大。

在接下来的步骤S43中，强调处理部42f’进行以容易视觉确认的颜色(红色等强调色)对符合以下的条件的多边形、或该多边形的顶点进行着色：在子块间存在多边形的顶点(或重心)的密度或顶点数的偏差(为偏差的阈值以上)，并且多边形的顶点(或重心)的密度或顶点数为阈值以下。在图22中，例如顶点vr2、vr3、vr4或共有它们的多边形被着色。在步骤S44的处理之后、或进行了步骤S45之后，前进到步骤S20的处理。

并且，用户在这样进行了着色的情况下，为了确保更容易视觉确认的视觉确认性，能够从输入装置44的强调显示选择部44b进行扩大着色范围的选择。在选择了扩大着色范围的情况下，像以下那样进行扩大着色范围的处理。

相对于对符合上述的密度等存在偏差的条件(作为第一条件)的多边形或多边形的顶点进行着色的处理S44，在图21中的虚线所示的步骤S45中，强调处理部42f’进一步扩大着色范围。如上所述，虚线所示的步骤S45的处理是在选择了扩大着色范围的情况下进行的。

强调处理部42f’对符合第一条件的多边形(的顶点)像步骤S44所示那样进行着色，但在步骤S45中也同样地对如下的多边形(的顶点)进行着色：位于以符合第一条件的多边形(的顶点)为中心的一定的距离内，是在与符合第一条件的多边形(的顶点)相同的时机追加的。

在该情况下，在图22中的最上方沿水平方向的多边形、或上数第二行沿水平方向的多边形等被着色。通过进一步增大一定的距离，也能够进一步增大被着色的多边形的范围。

另外，在新追加的点的周边存在边界的情况下的点(图22的vr2、vr3、vr4)也可以看作符合着色为容易视觉确认的颜色的第二条件。

图23示出了本变形例的3D模型图像I3f的显示例。该3D模型图像I3f为与图20的3D模型图像I3e几乎相同的显示。另外，在图23中省略了图20中的面向边界的多边形等以作为强调色的R被着色那样的标记。根据本变形例，具有与第一实施方式几乎相同的效果。即，在不选择强调显示的情况下，得到与在第一实施方式中不选择强调显示的情况相同的效果，并且在选择了强调显示的情况下，能够与在第一实施方式中选择了强调显示的情况同样地以容易视觉确认的颜色对所构建的多边形的边界区域进行显示，使得其显眼。因此，容易掌握与边界区域相邻并且没有观察的未构建区域。

接下来，对第一实施方式的第三变形例进行说明。

本变形例相当于即使在第一实施方式中不选择强调显示的情况下也进行与选择了强调显示的情况相似的显示的情况。

因此，本变形例相当于在图2中的结构中输入装置44不具备强调显示选择部44b的结构，无需设置边界强调处理部42f，但实质上进行与边界强调处理部42f相近的处理。其他结构是与第一实施方式几乎相同的结构。

图24示出了本变形例的处理内容。由于图24所示的流程图是与图6的流程图相近的处理，因此仅对不同的部分进行说明。

从步骤S1到步骤S18是与图6相同的处理，在步骤S18的处理之后，在步骤S51中，多边形处理部42c进行搜索没有观察的区域的处理。

如上所述，在步骤S13中，估计3维形状，进行在所观察到的区域的面上粘贴多边形那样的处理并且进行生成3D模型图像的处理，但当在所观察到的区域的边界，没有观察的区域(与观察到的区域相邻)例如以圆形的开口部的方式存在的情况下，有可能在该开口部处粘贴多边形并且进行像观察到的区域的面的情况那样的处理。

因此，在本变形例中，作为步骤S51的搜索没有观察的区域的处理，计算在关注的区域中设定的多边形的法线和与该多边形相邻并且在观察完毕的区域中设定的多边形的法线所成的角，判定该所成的角是否为90°左右的阈值以上。

在接下来的步骤S52中，多边形处理部42c提取上述两个法线所成的角为阈值以上的多边形。

图25是示出了本变形例的动作的说明图。图25示出了例如在沿水平方向延伸的观察完毕的管腔形状部分设定多边形并且在其右端存在作为没有观察的区域的大致圆形的开口部O的情形。

在该情况下，有可能和在与开口部O相邻的观察完毕的区域中设定的多边形的情况同样地进行在开口部O处设定多边形的处理。在该情况下，在观察完毕并且与开口部O的边界相邻的区域中设定的多边形的法线Ln1和与该多边形相邻并且以封堵开口部O的方式设定的多边形pO1的法线Lo1所成的角为远大于在观察完毕的区域中相邻的两个多边形中分别设定的两个法线Lni、Lni+1所成的角的角，并且为阈值以上。

在图25中，除了法线Ln1和Lo1之外，也示出了法线Ln2和以封堵开口部O的方式设定的多边形pO2的法线Lo2。

在接下来的步骤S53中，着色处理部42g以与观察完毕的区域不同的颜色(例如红色)对两条法线所成的角为阈值以上的多个多边形(图25中的多边形pO1、pO2)和被该多个多边形包围的多边形(多边形pO1、pO2之间的多边形pO3)的颜色进行着色。在步骤S53的处理之后，转移到步骤S20的处理。

图26示出了本变形例的3D模型图像I3g。在图26中，以红色来显示没有观察的区域。

根据本变形例，即使是在与所观察到的观察完毕的区域的多边形相邻并且没有观察的区域内设定了多边形的情况下，也对该多边形进行着色以能够容易对是没有观察的区域这一情况进行视觉确认。

接下来，对第一实施方式的第四变形例进行说明。

本变形例简化观察区域与未观察的区域的边界的形状(消除被误识别为复杂的形状是因噪声等而引起的可能性)，从而容易掌握未观察的区域。

在本变形例中，在图2中的结构中输入装置44具有选择平滑化的平滑化选择部(44c)来代替强调显示选择部44b，并且图像生成部42b具有进行平滑化处理的平滑化处理部(42h)来代替边界强调处理部42f。其他结构是与第一实施方式几乎相同的结构。

图27示出了本变形例的处理内容。由于图27的处理与图6的处理相似，因此仅对不同的部分进行说明。

在图27的处理中，将图6中的步骤S19的处理变更为步骤S61的是否选择了平滑化的处理。

并且，在步骤S23的搜索边界的处理之后，进行步骤S62的平滑化的处理，在该平滑化的处理之后，在步骤S63中进一步进行搜索边界的处理，生成(更新)边界列表。

在本变形例中，如上所述，由于对观察区域与未观察的区域的边界的形状进行简化而显示，因此将进行步骤S62的平滑化的处理之前的多边形列表保持在例如信息存储部43中，并将所保持的副本设置在多边形列表中，用于3D模型图像的生成(被复制的多边形列表由于平滑化而发生变更，但是在信息存储部43中保持有没有被变更的多边形列表)。

在图27的步骤S61的处理中，在没有选择平滑化的情况下，转移到步骤S20，进行在第一实施方式中进行了说明的处理。

另一方面，在选择了平滑化的情况下，在步骤S23中多边形处理部42c进行搜索边界的处理。

步骤S23的搜索边界的处理是参照例如图14～图16进行了说明的。存在通过搜索边界的处理而像例如图28所示那样提取了多边形的边界的情况。图28示意性地示出了图25所示的管腔形状的多边形的边界部分成为了具有凹凸部的复杂的形状的情形。

在接下来的步骤S62中，平滑化处理部42h进行平滑化的处理。平滑化处理部42h使用最小二乘法来计算使与边界区域的多个多边形的重心(或顶点)的位置的距离为最小那样的(将曲率的变化量限制在适当的范围内的)曲面Pl。在相邻的多边形中的凹凸的程度严重那样的情况下，不限于对面向边界的所有多边形使用最小二乘法的情况，也可以仅对一部分的多边形使用最小二乘法。

而且，平滑化处理部42h进行删除作为曲面Pl的外侧的多边形部分的处理。在图28中，使用斜线来表示要删除的多边形部分。

在接下来的步骤S63中，平滑化处理部42h(或多边形处理部42c)对应于上述的处理(步骤S23、S62、S63)的处理而搜索形成边界区域的多边形。例如，如图28所示，进行搜索从曲面Pl删除了一部分后的多边形(例如标注了标号的一个多边形pk)和面向边界的多边形pa的处理。

然后，在接下来的步骤S64中，生成(更新)将通过搜索的处理而提取的这些多边形的边设为边界边的边界列表。此时，对从曲面Pl删除了一部分后的多边形追加新的顶点并进行分割以使得形状成为三角形。另外，在图28中的上述多边形pk中，边界边为从曲面Pl删除了一部分后的边ek1、ek2和曲面Pl的边ep。在该情况下，曲面Pl的边ep是使用将多边形pk面内的两端连结起来的直线状的边近似得到的。

在接下来的步骤S25中，着色处理部42g进行以容易视觉确认的颜色对在边界列表中记载的多边形的边界边进行着色的处理，然后转移到步骤S20的处理。

图29示出了这样生成并在监视器8上显示的3D模型图像I3h。根据本变形例，如果边界部分是复杂的形状，则以简化了的边界边的形式、以容易视觉确认的颜色进行显示，因此容易掌握未观察区域。

另外，也可以不从曲面Pl对多边形进行分割，而使用以下的方法进行处理。

在步骤S62中，平滑化处理部42h搜索位于曲面Pl的外侧的顶点。在接下来的步骤S63中，平滑化处理部42h(或多边形处理部42c)进行从复制的多边形列表中删除包含位于曲面Pl的外侧的顶点的多边形的处理。在接下来的步骤S63中，平滑化处理部42h(或多边形处理部42c)对应于上述的处理(步骤S23、S62、S63)的处理而进行从复制的多边形列表中删除包含位于曲面Pl的外侧的顶点的多边形的处理，进行在其他变形例中进行了说明的边界的搜索。

接下来，对第一实施方式的第五变形例进行说明。

在第一实施方式中，在选择了强调显示的情况下，进行了如下的处理：将边界区域的多边形的边提取为边界边，对边界边进行着色以使其容易视觉确认，但本变形例在不是使用多边形来表现3维形状而是使用(例如与多边形的重心位置的点或顶点对应的)点来表示的情况下，进行将边界的点提取为边界点来代替(多边形的)边界边的处理，进行对边界点进行着色以使得容易视觉确认的处理。

因此，本变形例为在图2的结构中边界强调处理部42f进行对边界点进行强调的处理的结构。图30A示出了本变形例中的图像处理装置7’的结构。本变形例中的图像处理装置7’不进行以多边形来显示3维形状的处理等，因此不具备图2中的多边形处理部42c和内表面外表面判别部42e。其他结构是与第一实施方式几乎相同的结构。

图30B示出了本变形例的处理内容。由于图30B所示的流程图是与图6的流程图相近的处理，因此仅对不同的部分进行说明。在图30B的流程图中，不进行图6的步骤S15～S20的处理。因此，在步骤S14的处理之后转移到步骤S23、S24的处理，变成将图6的步骤S25的对边界边进行着色的处理变更为像步骤S71所示那样对边界点进行着色的处理的内容，在步骤S71的处理之后，转移到步骤S21的处理。但是，像以下说明那样，与图6相同的步骤S24的生成(变更)边界列表的处理的内容等为与第一实施方式的情况稍有不同的处理内容。

在步骤S23中，也可以是，作为搜索边界以提取边界点的处理，边界强调处理部42f通过在第二变形例中参照图22进行了说明的处理(满足第一条件或第二条件中的至少一方的条件的处理)来提取边界点。

即，作为第一条件，针对关注的点(重心或顶点)而设定多个关注区域，计算每个关注区域的子块中的点的密度等，将满足密度等存在偏差并且密度的值为阈值以下的条件的点提取作为边界点。

或者，作为第二条件，将在新追加的点的周边存在边界的情况下的点提取作为边界点。在图22的情况下，提取了vr2、vr3、vr4等作为边界点。

图31示出了通过本变形例而生成并显示在监视器8上的3D模型图像I3i。如图31所示，边界区域的点是以容易视觉确认的颜色而显示的。另外，也可以是，将边界区域的点设为粗点(使面积膨胀的点)，以容易视觉确认的颜色(强调色)进行着色。并且，针对边界区域的点中的相邻的两点间的中点，也可以以容易视觉确认的颜色进行显示。

根据本变形例，由于作为所观察到的构建区域与没有观察的未构建区域的边界的点是以容易视觉确认的颜色而显示的，因此容易掌握未构建区域。另外，也可以是，绘制将上述的边界点中的相邻的边界点连结起来的线(也称为边界线)，着色处理部42g也以容易视觉确认的颜色对边界线进行着色。并且，也可以是，在包含于与边界点相距阈值以下的距离内的点也采用粗点(使面积膨胀的点)，以容易视觉确认的颜色(强调色)进行着色。

另外，在本变形例中，考虑了以观察完毕的多边形的重心来显示3维形状的情况。在该情况下，进行求取多边形的重心的处理。也可以同样地应用于以下要说明的第六变形例的情况。

也可以是，在第五变形例的图30B的步骤S71的处理中，进一步，与边界点同样地以容易视觉确认的颜色对作为边界点附近的周边的点进行着色(参照图33)。对得到与该情况几乎相同的处理结果的第一实施方式的第六变形例进行说明。

第六变形例是以使用容易识别的颜色对第五变形例中的边界点及其周边的点进行着色的方式进行强调的变形例，采用与第五变形例相同的结构。

图32示出了本变形例的处理内容。图32所示的处理与图30B所示的第一实施方式的第五变形例的处理相似，在步骤S14的处理之后进行步骤S81～S83的处理，在步骤S83的处理之后转移到步骤S21的处理。在步骤S14的处理之后，如步骤S81所示，边界强调处理部42f进行计算从前一次追加的点的处理。

追加的点的范围的例子例如与在图22中进行了说明的多边形的情况相同。在接下来的步骤S82中，边界强调处理部42f将作为追加的点的列表的点列表中的新追加的点变更为与观察到的颜色不同的颜色(例如红色)。并且，边界强调处理部42f进行将在点列表中与新追加的点相距阈值以上的距离的所述不同的颜色的点的颜色恢复成观察到的颜色的处理。

在接下来的步骤S83中，着色处理部42g进行按照到前面的步骤S82为止的在多边形列表中记载的颜色对多边形的点进行着色的处理，转移到步骤S21的处理。

在图33中示出了本变形例的3D模型图像I3j。除了图31的情况下的边界点之外，其周边的点也以相同的颜色被着色而显示，因此手术人员容易确认未观察区域。

并且，例如，也可以根据用户对输入装置44的操作而仅对未观察区域进行显示。由于看不到观察区域，从而手术人员容易对位于观察区域的里侧的未观察区域进行确认。另外，也可以在其他实施例或变形例中设置仅显示未观察区域的功能。

接下来，对第一实施方式的第七变形例进行说明。在本变形例中，当例如在第一实施方式中选择了附加标记的情况下，附加表示未观察区域的标记而进行显示。图34示出了本变形例中的图像处理装置7B的结构。

在该图像处理装置7B中，在图2的图像处理装置7中输入装置44具有选择显示标记的标记显示选择部44d，并且图像生成部42b具有对未观察的区域附加标记的标记附加部42i。其他结构与第一实施方式相同。图35示出了本变形例的处理内容。

图35的流程图为如下的处理内容：在图6的流程图中进一步追加进行用于根据显示标记的选择结果来显示标记的处理。

当在步骤S19中选择了强调显示的情况下，在进行了步骤S23、24的处理之后，在步骤S85中，控制部41判定是否选择了显示标记。在没有选择标记的显示的情况下，转移到步骤S25的处理，相反在选择了标记的显示的情况下，在步骤S86中，标记附加部42i进行计算用于附加显示的标记的处理，之后转移到步骤S25的处理。

标记附加部42i进行如下处理：

a.计算包含作为边界的边的面。

b.接着，计算边界的点的重心。

c.接着，计算与a中计算出的面的法线平行并且与边界的点的重心相距一定距离的点，并且追加标记。

在图36中示出了该情况下的3D模型图像I3k。图36为对图17的3D模型图像I3d进一步附加了标记的图。

并且，当在图35中的步骤S19中没有选择强调显示的情况下，在步骤S87中，控制部41判定是否选择了显示标记。在没有选择显示标记的情况下，转移到步骤S20的处理，相反，在选择了显示标记的情况下，在步骤S88中与步骤S23同样地进行搜索边界的处理，然后在步骤S89中，标记附加部42i进行计算用于附加显示的标记的处理，然后转移到步骤S20的处理。

在图37中示出了该情况下的3D模型图像I3l。图37为对图13的3D模型图像I3c进一步附加了标记的图。另外，标记例如被着色为黄色。

根据本变形例，能够进行第一实施方式那样的显示3D模型图像I3c、I3d那样的选择，并且能够进行显示进一步附加了标记的3D模型图像I3l、I3k那样的选择。并且，也可以对3D模型图像I13e、I13f、I13g、I13h、I13i、I13j追加相同的处理而显示标记。

接下来，对第一实施方式的第八变形例进行说明。在第七变形例中，对在3D模型图像I3c、I3d的外侧显示使用箭头来指示边界或未观察区域的标记的例子进行了说明。与此相对，也可以像以下说明那样进行如下的标记的显示：光从设定在3D模型图像的管腔内部的光源、从作为未观察区域的开口部漏出。

本变形例的处理仅是将第七变形例的图36中的步骤S86或S89的计算标记的处理变更为生成图39所示的标记的处理。另外，标记附加部42i具有开口部提取部和光源设定部的功能，该开口部提取部提取进行以下的图38等的处理时的规定的面积以上的所述未构建区域的开口部，该光源设定部将点光源设定于在管腔的内部侧绘制的法线上的位置。

图38示出了本变形例中的生成标记的处理内容。

当生成标记的处理开始时，在最初的步骤S91中，标记附加部42i求取规定的面积以上的作为未观察区域的开口部。图39示出了图38的处理的说明图，示出了管腔器官中的规定的面积(或所定的面积)以上的作为未观察区域的开口部61。

在接下来的步骤S92中，标记附加部42i(在管腔内部侧)设定从构成开口部61的点的重心引出的法线62。如图39的右侧的图所示，该法线62是针对通过重心66、构成开口部61的点中的最接近所述重心66的点67和离所述重心66最远的点68合计三点的面的法线62，从重心66以单位长度延伸。该法线62的方向是形成3D模型的多边形多的方向。另外，除了上述三点之外，也可以是在开口部61上适当设定的三个代表点。

在接下来的步骤S93中，标记附加部42i在沿着法线62与开口部61的重心66的位置相距规定的长度的(管腔内部的)位置设定点光源63。

在接下来的步骤S94中，标记附加部42i从点光源63绘制通过开口部61(上的各点)而向开口部61的外侧延伸的线段64。

在接下来的步骤S95中，标记附加部42i以点光源63的颜色(例如黄色)对线段64进行着色。除了图38所示那样的处理之外，也可以通过进行以下那样的处理而进行附加标记的显示。在以下的处理中，到图38的步骤S91～S93为止是相同的。

作为步骤S93的下一步骤，如图40的最上方的图所示，绘制将以夹着开口部61的重心66的方式对置的两点和点光源63连结起来的线段(虚线所示的线段)64a，以点光源的颜色对将从两点向开口部61的外侧延伸的线段(实线所示的线段)65b和连结两点之间的线段连结而成的多边形的区域(斜线所示的区域)进行着色，从而形成标记65。换言之，以点光源63的颜色对在从点光源63通过以夹着重心66的方式对置的开口部61上的两点的两条线段所成的角度以内位于所述开口部61的外侧的区域进行着色，从而形成标记65。

另外，将与显示画面垂直的轴设为Z轴，在像图40的最下方的图所示那样法线62相对于Z轴的角度θ为某个角度以内(例如45度以内)的情况下，对粗斜线所示的开口部61内进行着色而显示。

图41示出了本变形例中的选择了强调显示和标记显示的情况下的3D模型图像I3m。

如图41所示，为了在进行强调显示的同时示出未观察区域，显示光从面向未观察区域的开口漏出那样的标记(在图41中为斜线所示的部分)65，从而能够在容易视觉确认的状态下识别存在规定的面积以上的未观察区域的情形。

接下来，对第一实施方式的第九变形例进行说明。在上述的第一实施方式及其变形例中，生成像图13、图17、图20、图23等所示那样从规定的方向观察的情况下的3D模型图像并进行显示。

图42示出了本变形例中的图像处理装置7C的结构。

在本变形例中，在第一实施方式的图2的结构中，图像生成部42b还具有使3D模型图像旋转的旋转处理部42j和对边界(区域)或未观察区域或未构建区域的数量进行计数的区域计数部(区域计数部)42k。

而且，在通过旋转处理部42j而使从规定的方向观察的情况下的3D模型图像在绕其芯线的方向等旋转以将从规定的方向观察的情况下的3D模型图像设为正面图像的情况下，能够将该正面图像与从作为规定的方向的相反侧的背面观察到的背面图像排列显示、或者还能够将从手术人员选择的多个方向观察到的3D模型图像排列显示。而且，能够防止看漏边界。

例如，区域计数部(区域计数部)42k在从规定的方向观察到的正面图像中的未构建区域的数量为0的情况下，可以通过旋转处理部42j而使3D模型图像旋转以使该数量为1以上(但是，排除未构建区域完全不存在的情况)。并且，图像生成部42b在3维模型数据的未构建区域不可视觉确认的情况下，可以对3维模型数据实施旋转处理，生成能够对未构建区域进行能够视觉确认的3维模型图像，显示该3维模型图像。

并且，也可以如图43A所示，作为本变形例的3D模型图像I3n，在对在从规定的方向观察的情况下出现在正面侧的边界(或未观察区域)进行强调显示的例如3D模型图像I3d的基础上，以与表示出现在正面侧的边界的颜色(例如红色)不同的颜色(例如紫色，另外，背景的颜色是淡蓝色，两种颜色区分开来)、使用虚线示出在从背面侧观察的情况下出现的背面侧的边界Bb。

并且，在3D模型图像I3o中，也可以将由区域计数部42k计数得到的离散地存在的边界(区域)的计数值显示在监视器8的显示画面内(在图43A中计数值为4)。

通过像图43A所示那样进行显示，以与表示正面的情况下的边界的颜色不同的颜色来显示在从规定的方向(正面)观察的情况下不会出现的在背面侧出现的边界，从而能够防止看漏背面侧的边界，并且通过显示计数值也能够有效地防止看漏边界。除此之外，具有与第一实施方式相同的效果。

另外，除此之外，也可以仅显示边界或边界区域，不显示观察完毕的3D模型形状。例如，可以仅显示图43A中的四个边界(区域)。在该情况下，成为边界(区域)浮在空中而显示的图像。或者，也可以是，使用双点划线等来显示3D模型形状的轮廓，在该3D模型形状的轮廓上显示边界(区域)，以容易掌握边界(区域)在3D形状中的哪个位置和是否形成边界形状的方式进行显示。在这样显示的情况下，也能够有效地防止看漏边界。

并且，也可以像以下那样旋转3D模型图像而进行显示。

也可以是，当未构建区域在监视器8的表面上配置在从用户观察时为构建区域的里(背面)侧并且重叠从而检测到用户无法进行视觉确认时，旋转处理部42j自动旋转3D模型图像以使该未构建区域成为容易视觉确认的正面。

并且，在存在多个未构建区域的情况下，也可以是，旋转处理部42j自动旋转3D模型图像以使面积较大的未构建区域成为正面。

例如，也可以是，对图43B所示的旋转处理前的3D模型图像I3n-1进行旋转而显示以使得像图43C所示那样面积较大的未构建区域成为正面。另外，在图43B和图43C中，在监视器8的显示画面上，以内窥镜图像和3D模型图像I3n-1左右配置的状态进行示出。并且，在显示画面的右侧示出了使用3D模型图像I3n-1进行建模而显示的肾盂和肾盏的3D形状。

并且，在存在多个未构建区域的情况下，也可以是，旋转处理部42j自动旋转3D模型图像以使最接近内窥镜2I的前端位置的未构建区域为正面。

另外，也可以放大显示未构建区域。为了以容易视觉确认的方式显示未构建区域，可以大幅放大显示未观察区域。

例如，当像图43D中虚线所示那样在未构建区域Bu1存在于里(背面)侧的情况下，也可以像放大得比覆盖该未构建区域Bu1的近前侧的构建区域部分大的未构建区域Bu2那样进行显示，从而能够对未构建区域(的一部分)进行视觉确认。

另外，不限于里(背面)侧的未构建区域，也可以放大显示所有的未构建区域以使得更容易对未构建区域进行视觉确认。

接下来，对第一实施方式的第十变形例进行说明。图44示出了第十变形例的图像处理装置7D。在本变形例中，在图42所示的第九变形例中的图像处理装置7C中图像生成部42b还具有计算未构建区域的尺寸的尺寸计算部42l。并且，尺寸计算部42l具有判定部42m的功能，该判定部42m判定未构建区域的尺寸是否为阈值以下。另外，也可以在尺寸计算部42l的外部设置判定部42m。除此之外，采用与第九变形例相同的结构。

本变形例中的尺寸计算部42l计算由区域计数部42k计数得到的各未构建区域的面积的尺寸。而且，在计算出的未构建区域的尺寸为阈值以下的情况下，不进行对该未构建区域(的边界)进行强调显示以使其容易视觉确认的处理，并且不将其包含在未构建区域的数量中。

图45示出了具有阈值以下的边界B1和超过阈值的边界B2的3D形状数据。边界B2使用红色等容易视觉确认的颜色(例如红色)进行显示以进行强调，与此相对，边界B1是无需观察的较小的面积，因此不进行强调的处理或者进行使用多边形来封堵该边界的开口的处理(或者，进行使用多边形封堵该开口而设为疑似观察区域的处理)。换言之，也可以说，不对具有阈值以下的边界B1的未构建区域实施能够进行视觉确认的处理或容易进行视觉确认的处理。

并且，作为本变形例，在判定部42m判定是否进行强调的处理的情况下，不限于像上述那样根据未构建区域或边界的面积是否为阈值以下而进行判定的条件，也可以根据以下的条件来进行判定。

即，判定部42m在满足以下的条件A～C中的至少一个的情况下，不进行强调处理、或设为疑似观察区域：

A.边界的长度为长度的阈值以下的情况；

B.构成边界的顶点的数量为顶点的数量的阈值以下的情况；

C.以边界的坐标为主要成分进行分析时的最大第二主要成分与最小第二主要成分之差、或最大第三主要成分与最小第三主要成分之差为成分的阈值以下的情况。

图46示出了条件C的说明图。图46示出了管腔的3D形状数据，右端为复杂的形状的边界B，管腔的长度方向为第一主要成分的轴A1，在纸面内与第一主要成分的轴A1垂直的方向为第二主要成分的轴A2，与纸面垂直的方向为第三主要成分的轴A3。

接着，向与第一主要成分的轴A1垂直的面投影边界的坐标。图47示出了投影的情况的图。求取图47所示的平面上的与各轴平行的朝向上的长度，判定部42m判定最大第二主要成分与最小第二主要成分之差、或最大第三主要成分与最小第三主要成分之差是否为成分的阈值以下。在图47中示出了第二主要成分的最大的长度L1和第三主要成分的最大的长度L2。

根据本变形例，能够具有第九变形例的效果，并且还能够通过不显示无需观察的较小的边界而不进行无用的显示。

接下来，对第一实施方式的第十一变形例进行说明。图48示出了第十一变形例中的图像处理装置7E。在图48的图像处理装置7E中，在图2的图像处理装置7中还具有在3D形状数据中生成芯线的芯线生成部42n。并且，输入装置44具有使用芯线来显示3D模型图像的芯线显示选择部44e。

在本变形例中，在输入装置44中，在没有通过芯线显示选择部44e而选择使用芯线来显示3D模型图像的情况下，进行与第一实施方式相同的处理，在通过芯线显示选择部44e而选择了使用芯线进行显示的情况下，进行图49所示的处理。

接下来，对图49的处理进行说明。当图49的处理开始时，在步骤S101中，图像处理部42从视频处理器4获取2D图像，根据在时间上几乎连续地输入的2D图像来构建3D形状。作为该具体的方法，能够通过与上述的图6的步骤S11至步骤S20相同的处理(通过移动立方体法等)，根据2D图像来形成3D形状。

当在步骤S102中判断为进行芯线生成模式切换时，结束3D形状构建，转移到芯线生成模式。芯线生成模式切换判断能够通过操作人员进行的操作单元输入、或者由处理装置来判断3D形状的构建的进度率等而实现。

在进行芯线生成模式切换之后，在步骤S103中生成在步骤S101中生成的形状的芯线。另外，关于芯线化处理，能够采用公知的方法，例如能够使用在“安江正宏,森健策,齋藤豊文,他:3次元濃淡画像の細線化法と医用画像への応用における能力の比較評価.電子情報通信学会論文誌J79‐D‐H(10):1664-1674,1996”、“齋藤豊文,番正聡志,鳥脇純一郎:ユークリッド距離に基づくスケルトンを用いた3次元細線化手法の改善－ひげの発生を制御できる－手法.電子情報通信学会論文誌(E日刷中),2001”等中记载的方法。

在生成芯线之后，在步骤S104中导出3D形状的从表示未观察区域的不同的颜色的着色区域朝向芯线的垂线与芯线的交点的位置。在图50中模拟地显示了该位置。在图50中，在3D形状上存在表示未观察区域的Rm1和Rm2(在图50中斜线所示的着色区域)。从未观察区域Rm1和Rm2朝向在步骤S103中已经形成的虚线所示的芯线画出垂线。该垂线与芯线的交点是使用芯线上的实线所示的线段L1、L2来表示的。而且，在步骤S105中，以与芯线的其他区域不同的颜色(例如红色)对该线段L1、L2进行着色。

通过以上的处理，显示疑似地示出观察完毕区域和未观察区域的芯线(步骤S106)。

在完成芯线的形成和显示之后，结束芯线生成模式(步骤S107)。

接着，通过步骤S108，观察位置和视线方向估计处理部根据所取入的观察位置和视线方向数据来估计内窥镜的观察位置和视线方向。

而且，由于在芯线上疑似地示出在步骤S108中估计出的观察位置，因此在步骤S109中进行观察位置向芯线上的移动计算。在该步骤S109中，使估计出的观察位置移动到估计出的观察位置与芯线的距离为最小的芯线上的点处。

在步骤S110中，将在步骤S109中估计出的疑似观察位置与芯线一同显示。由此，操作人员能够判断是否接近了未观察区域。

该显示在判断为检查结束(步骤S111)之前重复追溯到步骤S108。

图51示出了步骤S106结束的状态下的一例，示出了在包含未观察区域Rm1和Rm2的观察区域中生成的芯线图像Ic。在图51中，芯线71和线段72的芯线是以不同的颜色而显示的，手术人员等用户能够根据线段72的芯线，容易地对存在未观察区域的情况进行视觉确认。

也可以设置具有上述的第一实施方式到第十一变形例的功能的图像处理装置。图52示出了具有这样的功能的第十二变形例中的图像处理装置7G。由于已经对图52所示的图像处理装置7G中的图像生成部42b的构成要素和输入装置44的各构成要素进行了说明，因此省略其说明。根据本变形例，增加了手术人员等用户对在监视器8上显示的情况下的3D模型图像的显示形态进行选择的选项，除了上述的效果之外，还能够显示能够更广泛应对用户的期望的3D模型图像。

另外，在包含上述的变形例在内的第一实施方式中，内窥镜2A等不限于具有挠性(或柔性)的插入部11的柔性内窥镜的情况，也能够应用于使用了具有硬性的插入部的硬性内窥镜的情况。

并且，本发明除了能够应用于在医疗领域中使用的医疗用内窥镜的情况之外，还能够应用于通过在工业用领域中使用的工业用内窥镜来观察、检查设备等的内部的情况。

并且，也可以将包含上述的变形例在内的实施方式部分组合来构成不同的实施方式。而且，也可以不使用不同的颜色对多边形(多角形)的内表面(内壁面或内壁区域)和外表面(外壁面或外壁区域)进行着色，仅实施强调显示。

并且，将多个权利要求合并为一个权利要求的情况自不必说，也可以将一个权利要求的内容分割成多个权利要求。

本申请是以2015年9月28日在日本申请的日本特愿2015-190133号作为优先权主张的基础而申请的，上述的公开内容被引用于本申请说明书、权利要求书以及附图中。

Claims (19)

1.一种内窥镜系统，其特征在于，该内窥镜系统具有：

插入部，其插入于具有3维形状的被检体的内部，照射照明光；

摄像部，其接收来自被从所述插入部照射的照明光所照射的所述被检体的内部的区域的返回光而依次生成2维摄像信号；以及

图像处理部，当输入了所述摄像部在接收到来自所述被检体的内部的第一区域的返回光时生成的第一2维摄像信号的情况下，所述图像处理部根据所述第一2维摄像信号而生成表示所述第一区域的形状的3维数据，当输入了所述摄像部在接收到来自所述第一区域的返回光之后接收到来自与所述第一区域不同的第二区域的返回光时生成的第二2维摄像信号的情况下，所述图像处理部根据所述第二2维摄像信号而生成表示所述第二区域的形状的3维数据，所述图像处理部根据表示所述第一区域的形状的3维数据和表示所述第二区域的形状的3维数据而生成3维图像并输出给显示部。

2.根据权利要求1所述的内窥镜系统，其特征在于，

所述图像处理部通过对表示所述第一区域的形状的3维数据和表示所述第二区域的形状的3维数据进行合成而生成3维图像并输出给所述显示部。

3.根据权利要求1所述的内窥镜系统，其特征在于，

所述图像处理部将根据所述第一2维摄像信号而生成的表示所述第一区域的形状的3维数据保存在存储部中，将根据所述第二2维摄像信号而生成的表示所述第二区域的形状的3维数据追加保存在所述存储部中，通过对保存在所述存储部中的表示所述第一区域的形状的3维数据和表示所述第二区域的形状的3维数据进行合成而生成3维图像并输出给所述显示部。

4.根据权利要求1所述的内窥镜系统，其特征在于，

所述图像处理部在输入了所述第一2维摄像信号的情况下，将所述第一2维摄像信号保存在存储部中来代替生成表示所述第一区域的形状的3维数据，在输入了所述第二2维摄像信号的情况下，将所述第二2维摄像信号保存在所述存储部中来代替生成表示所述第二区域的形状的3维数据，所述图像处理部根据保存在所述存储部中的所述第一2维摄像信号和所述第二2维摄像信号而生成3维图像并输出给所述显示部。

5.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统还具有位置信息获取部，该位置信息获取部获取作为表示所述插入部的前端位置的信息的前端位置信息，

所述图像处理部根据所述前端位置信息伴随着所述插入部的插入动作的变化而生成3维图像。

6.根据权利要求1所述的内窥镜系统，其特征在于，

所述图像处理部具有3维模型构建部，该3维模型构建部根据由所述摄像部生成的2维摄像信号而生成所述被检体的3维数据，

所述图像处理部根据由所述3维模型构建部生成的3维数据而生成所述被检体的3维图像，进行用于能够对该生成的3维图像中的未构建区域进行视觉确认的处理。

7.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部对由所述3维模型构建部构建的3维数据进行用于能够对所述被检体的3维图像中的管腔的构建区域与所述未构建区域的边界区域进行视觉确认的处理。

8.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部在生成所述被检体的3维图像时进行用于使由所述3维模型构建部构建的3维数据的内壁区域的颜色与外壁区域的颜色不同的处理。

9.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部对由所述3维模型构建部构建的3维数据进行用于使所述被检体的3维图像中的管腔的所述未构建区域与构建区域的边界区域平滑化而表现为大致曲线的处理。

10.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部在生成所述被检体的3维图像时对所述未构建区域的周边区域附加标记信息。

11.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部在无法对所述未构建区域进行视觉确认的情况下，进行用于如下的处理：通过对由所述3维模型构建部构建的3维数据实施旋转处理而能够对该无法视觉确认的未构建区域进行视觉确认。

12.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部在无法对所述未构建区域进行视觉确认的情况下，进行用于将该无法视觉确认的未构建区域以与其他未构建区域不同的颜色示出的处理。

13.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部进行用于如下的处理：计算由所述3维模型构建部构建的3维数据中的所述未构建区域的数量，将所述未构建区域的数量显示在所述显示部上。

14.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部具有：

尺寸计算部，其计算由所述3维模型构建部构建的3维数据中的各个所述未构建区域的尺寸；以及

判定部，其判定由所述尺寸计算部计算出的所述尺寸是否小于规定的阈值，

对于所述判定部判定为所述尺寸小于所述规定的阈值的所述未构建区域，不实施能够进行视觉确认的处理。

15.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部对由所述3维模型构建部构建的3维数据进行用于能够仅对所述被检体的3维图像中的管腔的所述未构建区域与构建区域的边界区域进行视觉确认的处理。

16.根据权利要求6所述的内窥镜系统，其特征在于，

所述图像处理部还具有芯线生成部，该芯线生成部生成由所述3维模型构建部构建的3维数据的芯线数据，

针对所述芯线数据而生成使与所述未构建区域对应的区域的颜色不同的芯线图像。

17.根据权利要求8所述的内窥镜系统，其特征在于，

所述图像处理部对由所述3维模型构建部构建的3维数据进行用于使所述被检体的3维图像中的管腔的所述未构建区域与构建区域的边界区域的颜色可变的处理。

18.根据权利要求6所述的内窥镜系统，其特征在于，

所述未构建区域是所述内窥镜没有观察的所述被检体的内部的区域。

19.一种图像处理方法，其特征在于，该图像处理方法具有如下步骤：

插入于具有3维形状的被检体的内部的插入部照射照明光；

摄像部接收来自被从所述插入部照射的照明光所照射的所述被检体的内部的区域的返回光而依次生成2维摄像信号；以及

当输入了所述摄像部在接收到来自所述被检体的内部的第一区域的返回光时生成的第一2维摄像信号的情况下，图像处理部根据所述第一2维摄像信号而生成表示所述第一区域的形状的3维数据，当输入了所述摄像部在接收到来自所述第一区域的返回光之后接收到来自与所述第一区域不同的第二区域的返回光时生成的第二2维摄像信号的情况下，所述图像处理部根据所述第二2维摄像信号而生成表示所述第二区域的形状的3维数据，所述图像处理部根据表示所述第一区域的形状的3维数据和表示所述第二区域的形状的3维数据而生成3维图像并输出给显示部。