CN106231986B - 图像处理装置 - Google Patents

Abstract

图像处理装置具有：存储部，其存储预先取得的被检体的三维图像的信息；管腔脏器提取部，其提取存在于三维图像内的规定管腔脏器；信息取得部，其取得使用物镜光学系统对规定管腔脏器内进行观察的观察位置和视线方向的信息；边界位置生成部，其生成表示规定管腔脏器的三维图像上的视场角内区域与视场角外区域的边界位置的边界位置信息；视场角外区域提取部，其根据伴随观察位置和所述视线方向的经时变化而变化的边界位置信息，提取规定管腔脏器的三维图像中未进入视场角的视场角外区域；以及图像生成部，其生成针对规定管腔脏器的三维图像附加了识别视场角外区域的识别信息而得到的识别图像。

Description

图像处理装置

技术领域

本发明涉及在对被检体的管腔脏器内进行观察的情况下进行图像处理的图像处理装置。

背景技术

近年来，在医疗领域等中广泛使用对被检体内进行观察的内窥镜。并且，内窥镜有时插入到肾脏的肾杯等复杂分支的管腔脏器内而用于病变有无等的检查和观察。

作为现有例的日本特开2013-27697号公报公开了如下内容：根据管腔脏器内设定的视点位置，使用虚拟进行内窥镜观察的虚拟内窥镜生成虚拟内窥镜图像，并且，求出虚拟内窥镜中的观察区域和非观察区域，以能够识别的方式在根据管腔脏器的三维图像求出的图像上显示观察区域和非观察区域。

在该现有例中，在管腔脏器内设定的视点位置和视线方向上的虚拟内窥镜的视野角内虚拟地照射光线时，在管腔脏器的内壁计算光照射到的观察区域和光未照射到的非观察区域。然后，在移动了虚拟内窥镜等的情况下，在移动后的各视点位置进行同样的处理。

但是，在上述现有例中，每当变更设定虚拟内窥镜的视点位置或视线方向时，在视野角内对管腔脏器的内壁侧照射虚拟光线，计算观察区域和非观察区域，但是，具有使用用于计算观察区域和非观察区域的管腔脏器的三维图像信息的计算量增大的缺点。

因此，期望能够以较少的计算量进行图像处理以使得能够识别未观察的区域的图像处理装置。

本发明是鉴于上述情况而完成的，其目的在于，提供如下的图像处理装置：能够生成能够以较少的计算量识别对管腔脏器内进行观察的情况下的未观察的视场角外区域的识别图像。

发明内容

用于解决课题的手段

本发明的一个方式的图像处理装置具有：信息取得部，其构成为取得使用物镜光学系统对被检体内进行观察的观察位置和视线方向的信息；边界位置生成部，其构成为根据伴随经时变化观察而变化的所述观察位置和视线方向的信息以及表示使用所述物镜光学系统进行观察的情况下的视场角的视场角信息，生成边界位置信息，该边界位置信息表示所述被检体的三维图像上的所述物镜光学系统的视场角内区域与视场角外区域之间的边界位置；视场角外区域提取部，其构成为根据由所述边界位置生成部生成的所述边界位置信息，在所述三维图像上提取未进入所述视场角的视场角外区域；以及图像生成部，其构成为生成针对所述三维图像附加了识别所述视场角外区域的识别信息而得到的识别图像。

附图说明

图1是示出本发明的第1实施方式的内窥镜系统的整体结构的图。

图2是示出本发明的第1实施方式的图像处理装置的结构的图。

图3是示出被插入了内窥镜的插入部后的状态的肾盂/肾杯的说明图。

图4是进行2个坐标系中的相同位置的位置对齐(对应)的情况的说明图。

图5A是示出包含本发明的第1实施方式的处理的处理例的流程图。

图5B是示出图5A中的步骤S10的详细处理的流程图。

图6A是将插入部插入到肾盂/肾杯内而取得作为摄像部的视场角的边界的边界位置的数据的状况的说明图。

图6B是以表形式示出与观察位置等数据一起以时间序列记录所取得的边界位置的例子的图。

图7是示出识别摄像部的视场角内进行摄像的视场角内区域和视场角外区域并进行显示的状况的图。

图8是示出将插入部插入到肾盂/肾杯内并以时间序列进行摄像的情况下产生了视场角外区域的例子的图。

图9是示出在作为规定条件的移动距离为阈值以下的情况下对作为摄像部的视场角的边界内的区域进行摄像并提取视场角内区域和视场角外区域的状况的图。

图10A是示出计算视场角外区域所占的比例最大的显示方向的识别图像的处理例的流程图。

图10B是示出在摄像部所具有的实际的视场角的内侧设定设定视场角的状况的图。

图11是示出在插入到一个肾杯内的情况下的视场角内区域为阈值以上的情况下显示识别视场角内区域和视场角外区域的识别图像的流程图的一部分的图。

图12是示出将视点位置设定在管腔脏器内的情况下的虚拟内窥镜图像的显示例的图。

图13是利用切断面显示管腔脏器、在切断面上投影视场角内区域和视场角外区域并示意地进行显示的图。

图14是示出针对三维的识别图像每隔包含中心线的规定角度设定投影切断面并显示投影到各投影切断面上的视场角内区域和视场角外区域的状况的图。

图15A是示出对管腔脏器内进行观察的情况下的初始状态的识别图像的显示例的图。

图15B是示出在图15A之后在管腔脏器内插入到深部侧的情况下的识别图像的显示例的图。

图15C是示出在图15B之后从背面侧显示管腔脏器的识别图像的显示例的图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

(第1实施方式)

图1所示的内窥镜系统1具有插入到被检体内的内窥镜2A、对该内窥镜2A供给照明光的光源装置3、对设置在内窥镜2A上的摄像部进行信号处理的作为信号处理装置的视频处理器4、显示由视频处理器4生成的内窥镜图像的作为内窥镜图像显示装置的监视器5、根据设置在内窥镜2A内的传感器来检测内窥镜2的插入部形状的作为插入部形状检测装置的UPD装置6、本发明的第1实施方式的图像处理装置7、显示由该图像处理装置7生成的识别图像等的作为显示装置的监视器8。另外，代替图1中实线所示的与UPD装置6分开的图像处理装置7，也可以使用如虚线所示包含UPD装置6的结构的图像处理装置7A。

内窥镜2A具有插入到被检体9中的形成规定管腔脏器(简称为管腔脏器)的一部分的例如尿管10内的插入部11、设置在该插入部11的后端(基端)的操作部12、从操作部12延伸出的通用缆线13，设置在通用缆线13的端部的光导连接器14以拆装自如的方式与光源装置3的光导连接器座连接。另外，尿管10在其深部侧与肾盂51a、肾杯51b连通(参照图3)。

插入部11具有设置在其前端的前端部15、设置在该前端部15的后端的能够弯曲的弯曲部16、从该弯曲部16的后端延伸到操作部12的前端的具有挠性的挠性管部17。

在操作部12上设置有用于对弯曲部16进行弯曲操作的弯曲操作旋钮18。

如图1中的一部分放大图所示，在插入部11内贯穿插入有传送照明光的光导19，该光导19的前端安装在前端部15的照明窗上，光导19的后端到达光导连接器14。

由光源装置3的光源灯21产生的照明光通过会聚透镜22会聚而入射到光导连接器14，光导19从安装在照明窗上的前端面射出所传送的照明光。

通过安装在与前端部15的照明窗相邻设置的观察窗(摄像窗)上的物镜光学系统23，由照明光照明的管腔脏器内的观察对象部位(称为被摄体)在其成像位置形成光学像。在物镜光学系统23的成像位置配置有作为摄像元件的例如电荷耦合元件(简记为CCD)24的摄像面。该CCD24具有规定视场角(视野角)。

物镜光学系统23和CCD24形成对管腔脏器内进行摄像的摄像部(或摄像装置)25。另外，CCD24的视场角还依赖于物镜光学系统23的光学特性(例如焦距)，所以，也可以称为考虑了物镜光学系统23的光学特性的摄像部25的视场角、或使用物镜光学系统进行观察的情况下的视场角。

CCD24与贯穿插入到插入部11内等的信号线26的一端连接，该信号线26的另一端经由与光导连接器14连接的连接缆线27(内的信号线)到达该连接缆线27的端部的信号连接器28。该信号连接器28以拆装自如的方式与视频处理器4的信号连接器座连接。

视频处理器4具有产生CCD驱动信号的驱动器31、对CCD24的输出信号进行信号处理并生成在监视器5中作为内窥镜图像进行显示的图像信号(影像信号)的信号处理电路32。驱动器31经由信号线26等对CCD24施加CCD驱动信号，通过施加CCD驱动信号，CCD24输出对成像在摄像面上的光学像进行光电转换而得到的摄像信号作为输出信号。

从CCD24输出的摄像信号通过信号处理电路32转换为图像信号，信号处理电路32从输出端对监视器5输出图像信号。监视器5在内窥镜图像显示区(简记为图像显示区)5a中显示与成像在CCD24的摄像面上的以规定视场角(的范围)进行摄像的光学像对应的图像作为内窥镜图像。图1中示出在CCD24的摄像面例如为正方形的情况下显示近似切掉其4个角部而得到的八边形的内窥镜图像的状况。

内窥镜2A例如在光导连接器14内具有存储了该内窥镜2A固有的信息的存储器30，该存储器30存储作为表示搭载在内窥镜2A上的CCD24所具有的视场角的信息的视场角数据(或视场角信息)。并且，在光源装置3中，在光导连接器14与光源装置3连接时，设置在光源装置3内部的读出电路29a经由与存储器30连接的电触点读出视场角数据。

读出电路29a将所读出的视场角数据经由通信线29b输出到图像处理装置7。并且，读出电路29a将所读出的CCD24的像素数数据经由通信线29c输出到视频处理器4的驱动器31和信号处理电路32。驱动器31产生与所输入的像素数数据对应的CCD驱动信号，信号处理电路32进行与像素数数据对应的信号处理。

另外，在图1所示的结构例中示出将读出存储器30的固有的信息的读出电路29a设置在光源装置3中的情况，但是，也可以将读出电路29a设置视频处理器4中。

上述信号处理电路32例如将作为数字图像信号的内窥镜图像数据(也称为图像数据)输出到图像处理装置7。

并且，在插入部11内，沿着插入部11的长度方向以适当间隔配置有作为传感器的多个源线圈34，该多个源线圈34用于检测插入部11插入到被检体9内的情况下的插入形状。并且，在前端部15内配置有沿着插入部11的长度方向配置的2个源线圈34a、34b以及例如配置在与连接2个源线圈34a、34b的线段正交的方向上的源线圈34c。而且，配置成连接源线圈34a、34b的线段方向与构成摄像部25的物镜光学系统23的光轴方向(或视线方向)大致一致，包含3个源线圈34a、34b、34c的面与CCD24的摄像面中的上下方向大致一致。

因此，可以说UPD装置6内的后述源线圈位置检测电路39通过检测3个源线圈34a、34b、34c的三维位置，能够检测前端部15的三维位置和前端部15的长度方向，可以说通过检测前端部15中的3个源线圈34a、34b、34c的三维位置，能够检测从3个源线圈34a、34b、34c分别分开已知距离配置的构成摄像部25的物镜光学系统23的三维位置和物镜光学系统23的视线方向(光轴方向)。

源线圈位置检测电路39形成取得物镜光学系统23的三维位置和视线方向的信息的信息取得部。

另外，图1所示的内窥镜2A中的摄像部25构成为在物镜光学系统23的成像位置配置CCD24的摄像面，但是，也可以应用于具有使用了在物镜光学系统23与CCD之间传送物镜光学系统23的光学像的像导的结构的摄像部的内窥镜的情况。

包含3个源线圈34a、34b、34c的上述多个源线圈34与多个信号线35的一端连接，多个信号线35的另一端与从光导连接器14延伸出的缆线36连接，该缆线36的端部的信号连接器36a以拆装自如的方式与UPD装置6的信号连接器座连接。

UPD装置6具有：源线圈驱动电路37，其对上述多个源线圈34进行驱动，使各源线圈34的周围产生交流磁场；由多个读出线圈构成的传感线圈单元38，其用于检测各源线圈产生的磁场，检测各源线圈的三维位置；源线圈位置检测电路39，其根据多个读出线圈的检测信号来检测各源线圈的三维位置；以及插入形状检测电路40，其根据由源线圈位置检测电路39检测到的各源线圈的三维位置来检测插入部11的插入形状，生成插入形状的图像。

在基于UPD装置6的坐标系下检测各源线圈的三维位置。与此相对，如后所述，内窥镜2的插入部11所插入的管腔脏器的图像数据使用在CT(Computed Tomography)装置中广泛采用的第1坐标系(或CT坐标系)。因此，作为基于UPD装置6的坐标系的第2坐标系的三维位置数据被转换为第1坐标系的三维位置数据。

如上所述，上述源线圈位置检测电路39构成取得物镜光学系统23的观察位置(三维位置)和视线方向的信息的信息取得部。更狭义地讲，也可以说源线圈位置检测电路39和3个源线圈34a、34b、34c构成取得物镜光学系统23的观察位置和视线方向的信息的信息取得部。

另外，本实施方式的内窥镜系统1(和图像处理装置7)也可以使用图1中由双点划线所示的内窥镜2B(来代替内窥镜2A)。

该内窥镜2B是在内窥镜2A中仅在插入部11的前端部15内配置3个源线圈34a、34b、34c的内窥镜。在该内窥镜2B中，上述多个源线圈34由检测插入部11的前端部15的三维位置(简称为位置)及其长度方向的3个源线圈34a、34b、34c构成，其他结构与内窥镜2A中说明的结构相同(但是，CCD24的像素数和视场角等具体值根据内窥镜的种类而不同)。

上述插入形状检测电路40具有输出插入形状的图像信号的第1输出端以及输出源线圈位置检测电路39检测到的物镜光学系统23的观察位置和视线方向的数据(也称为位置和方向数据)的第2输出端。而且，从第2输出端对图像处理装置7输出观察位置和视线方向的数据。另外，也可以由构成信息取得部的源线圈位置检测电路39输出从第2输出端输出的观察位置和视线方向的数据。

图像处理装置7主要使用物镜光学系统23的观察位置和视线方向的数据，所以，也可以代替UPD装置6而使用检测配置在前端部15上的3个源线圈34a、34b、34c的位置的检测装置。

图2示出第1实施方式的图像处理装置7的结构。图像处理装置7具有：CT图像数据取入部41，其针对进行基于内窥镜2(2代表性地表示2A、2B)的观察和检查的被检体9，经由DVD、蓝光盘、闪存等移动型存储介质取入作为由公知的CT装置生成的被检体9的三维图像信息的CT图像数据；以及CT图像数据存储部42，其存储由该CT图像数据取入部41取入的CT图像数据。

另外，CT图像数据存储部42也可以经由通信线路、因特网等存储由CT装置生成的被检体9的CT图像数据。该CT图像数据存储部42由硬盘装置、闪存、DVD等构成。

并且，CT图像数据存储部42具有由闪存等构成的存储部42a，该存储部42a存储将CT图像数据、和作为表示该CT图像数据的各三维位置的坐标系的第1坐标系(CT坐标系)中的三维位置数据对应起来的三维图像信息(或三维图像/位置信息)。

上述图像处理装置7具有作为管腔脏器提取部或管腔脏器提取电路的肾盂/肾杯提取部43，该肾盂/肾杯提取部43从CT图像数据存储部42的CT图像数据中提取作为规定管腔脏器的肾盂/肾杯51(参照图3)的三维图像数据。另外，在图3中示出被内窥镜2的插入部11插入的状态下的肾盂/肾杯51。在图3中，单点划线所示的区域是肾盂51a，在其深部侧形成肾杯51b。

该肾盂/肾杯提取部43根据提取出的肾盂/肾杯51的三维图像数据(更具体而言为三维的体积数据)生成表示肾盂/肾杯51的中空形状的三维形状的图像信息(图像数据)。即，肾盂/肾杯提取部43具有由肾盂/肾杯图像生成电路构成的肾盂/肾杯图像生成部43a，该肾盂/肾杯图像生成部43a根据提取出的肾盂/肾杯51的三维图像数据生成中空的三维形状的肾盂/肾杯形状图像(作为规定的管腔脏器的三维图像)。另外，肾盂/肾杯图像生成部43a可以由从CT图像数据中提取作为规定的管腔脏器的肾盂/肾杯51(参照图3)的三维图像数据的提取电路、以及从由提取电路提取出的肾盂/肾杯51的三维图像数据中仅提取其外形形状(轮廓)的轮廓提取电路构成。另外，也可以构成为，利用CT图像数据取入部41取入由CT装置等生成的肾盂/肾杯51的三维图像数据或中空的三维形状的肾盂/肾杯形状图像。

由肾盂/肾杯图像生成部43a生成的肾盂/肾杯图像被送至以下说明的图像处理部(或图像处理电路)45，用于图像处理部45的图像处理。另外，作为规定的管腔脏器，也可以定义为与肾盂/肾杯51一起包含尿管10(的一部分)。

并且，肾盂/肾杯图像生成部43a例如具有如下的显示图像变更部的功能：根据来自输入装置49的显示方向的指示或指定输入，从所指示的显示方向三维地生成作为规定管腔脏器的肾盂/肾杯51的三维图像。另外，在从输入装置49进行显示方向的指示或指定输入的情况下，也可以经由由中央运算处理装置(简记为CPU)等构成的控制部47输入到肾盂/肾杯图像生成部43a。图像处理部45也可以具有上述显示图像变更部的功能。

并且，图像处理部45(的后述识别图像生成处理部45c)生成在由显示图像变更部变更了显示方向的肾盂/肾杯51的三维图像上重叠了识别信息(例如着色信息)的识别图像。并且，如后所述，图像处理部45(的识别图像生成处理部45c)也可以将由显示图像变更部45e生成的识别图像中、视场角外区域所占的比例最大的图像作为识别图像输出到作为显示装置的监视器8。

图3示出插入部11插入的状态下的肾盂/肾杯51来进行说明，但是，在本实施方式中，使用肾盂/肾杯51的三维(形状)图像，如以下的说明那样提取边界位置、视场角外区域等。因此，以下所示的图6A、图7等是肾盂/肾杯51的图像，但是，为了简化，利用与图3的情况相同的标号即51表示。

上述肾盂/肾杯提取部43在提取肾盂/肾杯51的三维形状的图像数据时，和与该图像数据对应的第1坐标系中的三维的位置数据对应起来进行提取。并且，该肾盂/肾杯提取部43具有由存储器等构成的肾盂/肾杯图像存储部43b，该肾盂/肾杯图像存储部43b存储将肾盂/肾杯51的三维形状的图像数据(即肾盂/肾杯形状图像数据)和三维的位置数据对应起来的信息。也可以将肾盂/肾杯图像存储部43b存储在后述信息存储部46内。

上述图像处理装置7具有VBS图像处理部44，该VBS图像处理部44构成为，生成将设置在前端部15的摄像部25虚拟地配置在肾盂/肾杯51内的期望位置、并且虚拟地设定视线方向来进行摄像的情况下的虚拟内窥镜图像(称为VBS图像)。

该VBS图像处理部44具有生成VBS图像的由VBS图像生成电路构成的VBS图像生成部44a和存储所生成的VBS图像的由存储器等构成的VBS图像存储部44b。另外，也可以将VBS图像存储部44b设置在VBS图像处理部44的外部。

并且，图像处理装置7具有进行形成边界位置生成部的边界位置生成处理部45a等的图像处理的图像处理部(或图像处理电路)45，该边界位置生成处理部45a构成为，通过输入对作为管腔脏器的肾盂/肾杯内进行摄像的情况下的作为图像数据的内窥镜图像数据等，在肾盂/肾杯的三维图像(三维形状图像)上，生成作为由具有规定视场角的摄像部25实际拍摄到的视场角内区域与该视场角的外侧的未被拍摄的视场角外区域的边界的边界位置的数据(信息)。图像处理部45可以使用CPU以软件方式构成，也可以使用专用的电子电路等硬件构成。另外，图像处理部45内的边界位置生成处理部(或边界位置生成处理电路)45a、视场角外区域提取处理部(或视场角外区域提取处理电路)45b、识别图像生成处理部(或识别图像生成处理电路)45c等也同样可以使用CPU以软件方式构成，还可以使用专用的电子电路等硬件构成。并且，图2所示的肾盂/肾杯提取部43、VBS图像处理部44、控制部47、坐标转换部48也可以由CPU构成，还可以使用专用的电子电路等硬件构成。

关于由边界位置生成处理部45a生成的边界位置(的数据)，由于插入部11的前端部15的移动，物镜光学系统23的观察位置和视线方向经时变化。

设置在图像处理部45中的视场角外区域提取处理部45b具有进行如下处理的视场角外区域提取部的功能：根据伴随物镜光学系统23的观察位置和视线方向的经时变化而变化的边界位置的数据，提取作为管腔脏器的肾盂/肾杯51的三维图像中未进入摄像部25的视场角以内的视场角外区域。并且，图像处理部45(的例如视场角外区域提取处理部45b)具有作为视场角内区域提取部的视场角内区域提取处理部(或视场角内区域提取处理电路)45d，该视场角内区域提取处理部45d进行如下处理：根据伴随物镜光学系统23的观察位置和视线方向的经时变化而变化的边界位置的数据，提取作为管腔脏器的肾盂/肾杯51的三维图像中在摄像部25的视场角以内的视场角内区域。如上所述，视场角内区域是摄像部25的视场角以内的区域，所以，成为包含经时变化的边界位置的区域。换言之，视场角内区域提取处理部45d进行如下处理，提取过去取得的边界位置的集合作为视场角内区域，或者将其包含在视场角内区域中。

并且，图像处理部45具有形成识别图像生成部的识别图像生成处理部(或识别图像生成处理电路)45c，该识别图像生成处理部45c生成在由肾盂/肾杯图像生成部43a生成的肾盂/肾杯图像上重叠了对由视场角外区域提取处理部45b提取出的视场角外区域和视场角内区域进行识别的识别信息而得到的识别图像。识别图像生成处理部45c在肾盂/肾杯图像上，作为针对视场角内区域识别视场角外区域的识别信息，例如着色显示视场角外区域侧(参照图7)。

上述图像处理装置7具有由存储器等构成的信息存储部46，该信息存储部46存储位置/方向数据存储部46a等，该位置/方向数据存储部46a存储从UPD装置6输入的物镜光学系统23的观察位置和视线方向的数据。

另外，位置/方向数据存储部46a也可以存储由后述坐标转换部48(从第2坐标系)转换为第1坐标系后的物镜光学系统23的观察位置和视线方向的数据，还可以存储转换前和转换后的两个坐标系中的物镜光学系统23的观察位置和视线方向的数据。在后述动作中，以存储转换后的第1坐标系中的观察位置和视线方向的数据的情况进行说明。

并且，信息存储部46具有存储从读出电路29a输入的(摄像部25的)视场角数据的视场角数据存储部46b、以及存储由图像处理部45的边界位置生成处理部45a生成的边界位置的数据的边界数据存储部46c。边界数据存储部46c例如经时地(按照时间的经过顺序)附加时间的数据来存储由边界位置生成处理部45a生成的边界位置的数据。而且，上述视场角外区域提取处理部45b进行使用经时地生成的边界位置的数据和肾盂/肾杯51的三维图像数据提取视场角外区域的处理。

上述图像处理装置7具有：控制部47，其对该图像处理装置7内部的图像处理部45和信息存储部46等的动作进行控制；以及坐标转换部(或坐标转换电路)48，其将由(由UPD装置6内的源线圈位置检测电路39构成的)信息取得部在管腔脏器内取得(检测到)的第2坐标系中的前端部15(或设置在前端部15的物镜光学系统23的观察位置)的数据转换为作为表示管腔脏器的三维图像中的三维位置的坐标系的第1坐标系的三维位置的数据。

上述控制部47具有如下的显示控制部(或显示控制电路)47a的功能：该显示控制部(或显示控制电路)47a进行对图像处理部45的识别图像生成处理部(或识别图像生成处理电路)45c生成的视场角外区域和视场角内区域进行识别的识别图像的显示的有效/无效(ON/OFF)的控制。例如，手术医生从输入装置49进行显示有效指示以进行识别图像的显示时，显示控制部47a进行控制，以使得在识别图像生成处理部45c生成的识别图像中识别视场角外区域和视场角内区域来进行显示(后述图7)。另一方面，在进行使识别图像的显示无效的显示无效指示时，显示控制部47a进行控制，以使得在识别图像生成处理部45c生成的识别图像中不识别视场角外区域和视场角内区域来进行显示(停止图7中的斜线所示的作为识别信息的着色)。另外，输入装置49(的例如脚踏开关49a)具有选择性地进行识别图像的显示的有效/无效的显示切换部的功能。

并且，控制部47具有如下的由比较电路等构成的判定部(或判定电路)47b的功能：判定由信息取得部取得的物镜光学系统23的经时运动和使用物镜光学系统23通过摄像部25取得的所述规定的管腔脏器内的图像是否满足规定条件。

规定条件是以下这样的条件。

由以下条件中的任意一个条件或2个以上的条件构成：

a)由信息取得部取得的物镜光学系统23的前一次和当前的观察位置间的距离为阈值以下的移动距离；

b)由信息取得部取得的物镜光学系统23的移动方向反转的运动(或移动方向)反转；

c)构成由摄像部25取得的被摄体图像的至少多个像素的亮度值之和为阈值以上的像素值；以及

d)由信息取得部取得的物镜光学系统23的当前的观察位置和从该位置到位于视线方向上的肾盂/肾杯的三维形状的距离为阈值以下的接近距离。另外，规定条件的判定时的由信息取得部取得的物镜光学系统23的观察位置、移动方向也可以使用由坐标转换部48进行坐标转换后的观察位置、移动方向。

控制部47的判定部47b例如经由坐标转换部48在时间上监视物镜光学系统23的观察位置的数据，判定是否满足a)、b)、d)的条件。并且，控制部47的判定部47b在时间上监视内窥镜图像数据，判定是否满足c)的条件。与上述规定条件对应的处理为图5B。换言之，在本实施方式中，在对管腔脏器的内表面进行观察的情况下，在不符合上述条件的通常的观察状态下，基本上仅根据视场角的边界位置的数据提取视场角内区域和视场角外区域，由此，以较少的计算量识别未观察的视场角外区域。

上述坐标转换部48具有位置对齐部(或位置对齐处理电路)48a，该位置对齐部48a构成为在预先已知的三维位置处，使由信息取得部取得的第2坐标系中的物镜光学系统23的观察位置的三维位置数据并入作为取得管腔脏器的三维图像时使用的坐标系的第1坐标系的三维位置数据中。

位置对齐部48a例如如图1所示在尿管10的插入口附近的作为已知位置的多个部位(例如4个部位Q0～Q3)，如图4所示进行位置对齐。

在第1坐标系O-XYZ和第2坐标系o-xyz中，例如从输入装置49分别进行位置并入的指示。如以下说明的那样，对两个坐标系中的多个已知位置进行该情况下的位置并入。

例如，在第1坐标系O-XYZ中的原点O的位置Q0(0，0，0)、X坐标上的位置Q1(1，0，0)、Y坐标上的位置Q2(0，1，0)、Z坐标上的位置Q3(0，0，1)依次设定前端部15，手术医生进行位置并入的指示。在该指示中，当设信息取得部在各位置处依次取得的位置为(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)时，位置对齐部48a进行位置对齐，将进行位置对齐的信息存储在坐标转换部48内的信息存储部48b等中。

信息存储部48b存储该情况下的位置对齐信息(具体而言，第1坐标系O-XYZ中的Q0(0，0，0)、Q1(1，0，0)、Q2(0，1，0)、Q3(0，0，1)在第2坐标系o-xyz中分别对应于(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)的信息)。另外，在前端部15内配置有3个源线圈34a、34b、34c，所以，对各源线圈反复进行同样的处理，使用误差足够小的位置对齐信息即可。

并且，坐标转换部48使用信息存储部48b中存储的位置对齐信息，决定将两个坐标系的任意位置对应起来的转换信息。信息存储部48b还存储该转换信息。坐标转换部48使用转换信息将第2坐标系的物镜光学系统23的观察位置等位置数据转换为第1坐标系的位置数据。

在图4中，对坐标位置Q0(0，0，0)、Q1(1，0，0)、Q2(0，1，0)、Q3(0，0，1)和分别对应的坐标位置(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)进行简化，利用 来表示。

另外，也可以在最初的位置对齐后，插入部11插入到尿管10的深部侧的肾盂/肾杯51侧，在肾盂/肾杯51的图像上容易进行位置对齐的位置(例如分支的边界位置)等，从输入装置49进行位置对齐的指示，由此再次进行对齐。

上述输入装置49由键盘、鼠标等构成，手术医生等用户能够从输入装置49对图像处理装置7的图像处理部45、控制部47、坐标转换部48的位置对齐部48a进行动作参数、初始设定的数据的指示输入等。

并且，在上述输入装置49上设置脚踏开关49a，通过基于脚踏开关49a的接通/断开(ON/OFF)的操作，能够选择性地切换显示基于图像处理部45的识别图像的第1模式和不显示所述识别图像的第2模式。该脚踏开关49a构成能够切换第1模式和第2模式的显示切换部。另外，也可以与脚踏开关49a一起或代替脚踏开关49a而构成能够通过设置在内窥镜2A等的操作部12中的镜体开关的操作来切换第1模式和第2模式的显示切换部。

这种结构的图像处理装置7的特征在于，该图像处理装置7具有：构成存储部的CT图像数据存储部42，其构成为存储预先取得的被检体9的三维图像的信息；形成管腔脏器提取部的肾盂/肾杯提取部43，其构成为提取存在于所述三维图像内的作为规定的管腔脏器的肾盂/肾杯；构成信息取得部的源线圈位置检测电路39，其构成为取得使用物镜光学系统23对所述规定管腔脏器内进行观察的观察位置和视线方向的信息；构成边界位置生成部的边界位置生成处理部45a，其构成为根据所述观察位置和视线方向的信息以及表示使用所述物镜光学系统23进行观察的情况下的视场角的视场角信息，生成表示所述规定的管腔脏器的三维图像上的视场角内区域与视场角外区域的边界位置的边界位置信息；形成视场角外区域提取部的视场角外区域提取处理部45b，其构成为根据伴随所述观察位置和所述视线方向的经时变化而变化的所述边界位置信息，提取所述规定管腔脏器的三维图像中未进入所述视场角的所述视场角外区域；以及形成图像生成部的识别图像生成处理部45c，其构成为生成针对所述规定的管腔脏器的三维图像附加或重叠了识别所述视场角外区域的识别信息的识别图像。

接着，对本实施方式的动作进行说明。将图1所示的内窥镜2A或2B(用2代表)与光源装置3等连接，接通各装置的电源，将包含图像处理装置7的内窥镜系统1设定为动作状态。作为最初的步骤S1，光源装置3的读出电路29a从存储器30读出所连接的内窥镜2的摄像部25的视场角数据，将所读出的视场角数据送至图像处理装置7。图像处理装置7将所取得的视场角数据存储在视场角数据存储部46b中。由VBS图像生成部44a利用该视场角数据。

在接下来的步骤S2中，手术医生从输入装置49进行位置并入的指示，位置对齐部50a进行将由构成信息取得部的源线圈位置检测电路39在第2坐标系中取得(检测到)的前端部15内的3个源线圈34a、34b、34c的三维位置的数据并入第1坐标系中的位置对齐。然后，决定转换信息。通过基于坐标转换部48的使用转换信息的坐标转换，以后取得的物镜光学系统23的观察位置和视线方向的数据被转换为第1坐标系中的观察位置和视线方向的数据。

在接下来的步骤S3中，手术医生将插入部11插入到尿管10的深部侧的肾盂/肾杯51内。

在接下来的步骤S4中，源线圈位置检测电路39以规定时间间隔等依次取得物镜光学系统23的观察位置和视线方向的数据，坐标转换部48进行坐标转换。然后，信息存储部46的位置/方向数据存储部46a存储转换后的物镜光学系统23的观察位置和视线方向的数据。

并且，在由源线圈位置检测电路39取得物镜光学系统23的观察位置和视线方向的数据并进行了坐标转换的状态下，如步骤S5所示，VBS图像生成部44a使用上述转换后的物镜光学系统23的观察位置和视线方向的数据以及视场角数据存储部46b中存储的视场角数据，生成与由摄像部25实际摄像的内窥镜图像对应的VBS图像。

即，VBS图像生成部44a生成如下情况下的VBS图像：在由肾盂/肾杯图像生成部43a生成的肾盂/肾杯(形状)图像上的上述转换后的物镜光学系统23的观察位置和视线方向上，使用所取得的视场角，利用虚拟内窥镜对肾盂/肾杯内进行观察。所生成的VBS图像被输出到图像处理部45的边界位置生成处理部45a。在步骤S5中，也可以进行由摄像部25实际摄像的内窥镜图像与由VBS图像生成部44a生成的VBS图像的图案匹配，使用满足预先设定的阈值以上的匹配条件的情况下的VBS图像。

并且，如步骤S6所示，边界位置生成处理部45a从肾盂/肾杯51的(形状)图像中取得(提取)所生成的VBS图像中的作为上述视场角的边界的边界位置的数据(信息)。图6A示出在前端部15(的物镜光学系统23的观察)位置为P1且在时间t1取得的边界位置B1周边。图6A示出从尿管10进入肾盂51a的入口附近的情况。在最初取得的边界位置B1中，设定在不存在视场角外的区域的位置。在图6A的例子中，表示视场角的边界的圆锥状的线(的端部)与肾盂/肾杯51的内表面抵靠的位置即边界位置B1成为在位置B1a、B1b、B1c、…、B1n处近似的接近圆形或椭圆形的边界形状。

另外，在要取得边界位置的数据的情况下，为了取得与视场角的边界对应的边界位置，也可以仅生成视场角的边界附近的VBS图像的一部分。并且，也可以不生成VBS图像，例如如图6A所示，在物镜光学系统23的观察位置和视线方向上，使用视场角的边界的信息(图6A中为圆锥状的线)，从肾盂/肾杯51的(形状)图像取得(提取)边界位置的数据。

边界位置生成处理部45a向控制部47通知取得了边界位置B1的数据，控制部47对信息存储部46进行控制以使得存储边界位置B1的数据。然后，如步骤S7所示，信息存储部46的边界数据存储部46c与时间t1的数据一起存储在观察位置P1、视线方向D1上取得的边界位置B1的数据。图6B示出边界数据存储部46c中存储的边界位置B1和时间t1。边界位置B1实际上表示第1坐标系中所示的上述多个位置B1a、B1b、B1c、…、Bn。另外，在图6B中，还示出在时间t1之后的时间t2的观察位置P2、视线方向D2上(后述)取得的边界位置B2的情况。

并且，如步骤S8所示，控制部47(或边界数据存储部46c)判定是否过去已经存储了边界位置的数据。在本次的情况下，相当于最初存储边界位置B1的数据的情况，该情况下，转移到步骤S13的处理。

另一方面，在过去存储了边界位置的数据的情况下，在接下来的步骤S9中，进行提示显示用的视点位置和(视点)方向的设定的显示，手术医生从输入装置49对图像处理部45的视场角外区域提取处理部45b进行指定显示用的视点位置和方向的数据输入，进行视点位置和方向的设定。在图3所示的肾盂/肾杯51中，对显示用的视点位置和方向的设定例进行说明。

插入到肾盂/肾杯51内的内窥镜2的插入部11的前端部15(上搭载的物镜光学系统23)的视线方向在物镜光学系统23的视线方向Di上，(通过来自输入装置49的指定)在肾盂/肾杯51的外部的位置设定视点位置Pv。并且，该视点位置Pv处的观察肾盂/肾杯51侧的(与所述视线方向Di相反的)方向成为视点方向Dv。

另外，在上述说明中，显示用的视点位置Pv成为插入部11的前端部15中的物镜光学系统23的视线方向Di上的位置，并且，视点方向Dv成为视线方向Di的相反方向，与前端部15的移动联动地，视点位置Pv、视点方向Dv变化。

与此相对，也可以不使显示用的视点位置Pv、视点方向Dv与前端部15的移动联动。例如，作为不与前端部15的移动联动的情况下的视点方向Dv′，也可以设定为沿着图3所示的肾盂/肾杯51的上下方向的范围L的中心线O1观察肾盂/肾杯51侧的方向，并且，在该中心线O1上设定不联动的情况下的视点位置Pv′。

另外，手术医生等用户能够自由地或选择性地设定视线方向Di上的视点位置Pv或中心线O1上的视点位置Pv′。

在接下来的步骤S10中，视场角外区域提取处理部45b使用边界数据存储部46c中经时地存储的过去的边界位置的数据，从肾盂/肾杯(形状)图像中提取视场角外区域(的数据)。并且，从肾盂/肾杯(形状)图像中提取过去的边界位置的数据的集合作为视场角内区域。

在接下来的步骤S11中，识别图像生成处理部45c生成在从步骤S9中设定的视点位置和方向观察的肾盂/肾杯(形状)图像上重叠了识别信息的识别图像，该识别信息能够根据视场角内区域来识别步骤S10中提取出的视场角外区域。在本实施方式中，识别信息成为能够利用颜色根据视场角内区域识别视场角外区域的着色信息。另外，用户能够从蓝色等多个颜色中选择设定作为识别信息的进行着色的情况下的颜色。

在接下来的步骤S12中，监视器8显示识别图像。更具体而言，监视器8显示视场角外区域被着色的状态(换言之，在视场角外区域中重叠了识别信息的状态)下的(从步骤S9中设定的视点位置和方向观察的)肾盂/肾杯51的(形状)图像作为识别图像。图7示出在将插入部11的前端部15插入到图3所示的位置的情况下监视器8中三维显示的识别图像。

即，图7显示如下状态的识别图像：在图3中的视点位置Pv处从视点方向Dv观察肾盂/肾杯51的(形状)图像的情况下，斜线所示的视场角外区域Ro，能够相对于未利用斜线表示的视场角内区域Ri进行识别。在图3中，插入部11的前端部15插入到图3的纸面内的方向的一个肾杯51b内，未插入到该纸面的垂直上侧的另一个肾杯51b侧，所以，如图7所示，在另一个肾杯51b侧，除了中央侧以外的区域成为视场角外区域Ro。另外，图7所示的视场角内区域Ri和视场角外区域Ro是仅根据边界位置的数据提取出的，与此相对，示出经由(后述)图5B中的满足规定条件的情况下的处理而最终决定的视场角内区域和视场角外区域的情况。

在图7中，作为能够识别视场角内区域Ri和视场角外区域Ro的识别信息，例如说明了对视场角外区域Ro侧进行着色的情况，但是，例如也可以删除视场角内区域Ri的图像部分或使其变得透明。并且，也可以不显示视场角内区域Ri的图像，仅显示作为未观察(或未检查)的区域的视场角外区域Ro的图像。另外，如图7中虚线所示，也可以重叠显示与图7的识别图像对应的物镜光学系统23的观察位置(或前端部15的位置)P。并且，也可以重叠显示成为图7的识别图像之前的物镜光学系统23的多个观察位置。

并且，在根据提取出的肾盂/肾杯51的三维图像数据生成中空的三维形状的肾盂/肾杯形状图像时，在利用多边形表现三维形状的情况下，也可以在步骤S11中的处理中，将判定为视场角外区域的多边形的颜色变更为与视场角内区域不同的颜色而生成识别图像，在步骤S12中的处理中，在监视器8中显示识别图像。

在接下来的步骤S13中，控制部47判定是否从输入装置49输入了检查结束的指示，在输入了检查结束的指示的情况下，结束图5A的处理。另一方面，在未输入检查结束的指示的情况下，返回步骤S4的处理，当设上述处理为第1次的处理时，进行第2次的处理。

在图6A中，利用双点划线示出第2次在观察位置为P2且在时间t2取得的边界位置B2。从边界位置B1到B2的中途的管腔内表面成为视场角的边界穿过的区域，所以成为视场角内区域Ria。

在第2次的处理之后，反复进行第3次、第4次、…的处理，直到进行了检查结束的指示为止。这样，视场角外区域提取处理部45b进行如下处理：将初始状态下的物镜光学系统23的观察位置作为初始位置，在从该初始位置到观察结束的状态下的结束位置(或最终位置)的期间内提取视场角外区域。并且，视场角外区域提取处理部45b进行在从初始位置到观察结束的状态下的结束位置之间提取视场角内区域的处理。

作为图5A中的步骤S10的处理，如图5B所示，除了过去的边界位置数据以外，还可以包含是否满足规定条件的判定而进行提取视场角外区域的处理。

如图5B中的步骤S21所示，视场角外区域提取处理部45b根据经时取得的边界位置的数据提取视场角外区域。即，视场角外区域提取处理部45b提取从过去的最初的时间t1的边界位置B1的数据到当前的时间tp(图8中为p＝n+1)为止取得的边界位置Bp的数据中的作为视场角外侧的视场角外区域。

图8示出在产生视场角的边界外的区域的状态下对肾杯51b内进行观察的状况。在图8中，分别利用Bn-1、Bn、Bn+1示出在时间tn-1的观察位置Pn-1、时间tn的观察位置Pn、时间tn+1的观察位置Pn+1分别取得的边界位置。

视场角外区域提取处理部45b使边界位置沿着观察位置P1～Pn+1的轨迹在肾盂/肾杯51的图像上从边界位置B1移动到边界位置Bn+1。边界位置的移动中途的肾盂/肾杯51的图像上的位置成为视场角内区域Ria，与此相对，包含图8中粗线所示的曲线C(Roa)的区域成为视场角外，所以作为视场角外区域Roa进行提取。基于曲线C(Roa)的视场角外区域Roa成为如下的区域，该区域是表示观察位置Pn处的视场角的边界的线如在中途接触那样到达的例如肾杯51b的图像上的第1边界位置Bna、与视场角的边界在该第1边界位置Bna的外侧到达的第2边界位置Bnb之间的肾杯51b的图像上的区域。

在图8的情况下，当设第1边界位置Bna和第2边界位置Bnb分别能够近似为圆形的圆锥的上表面和底面时，提取使该圆锥的侧面部分向外侧膨胀的凸面形状的区域作为视场角外区域Roa。实际上，第1边界位置Bna和第2边界位置Bnb成为更加复杂的形状，所以，视场角外区域Roa也成为更加复杂的形状。

并且，在图8中，说明了根据观察位置Pn处的视场角的边界来决定基于曲线C(Roa)的视场角外区域Roa的状况，但是，例如有时在观察位置Pn提取曲线C(Roa)所示的一部分，在与该观察位置Pn不同的一个或多个观察位置提取其余的视场角外区域。在以下参照的图9中，示出在稍微不同的2个观察位置分别提取视场角外区域Roa的例子。一般情况下，结合在多个观察位置提取出的视场角外区域来决定最终的视场角外区域。

在图5B中的接下来的步骤S22中，判定部47b判定是否满足规定条件。具体而言，在步骤S22a中，判定部47b判定是否满足构成规定条件的第1条件。第1条件是与a)相当的从上次的观察位置起的移动距离为阈值以下的条件。具体而言，第1条件是在一边移动前端部15一边进行观察的情况下判定前端部15的移动停止的状态的条件。

在不满足第1条件的情况下，在步骤S22b中，判定部47b判定是否满足第2条件。第2条件相当于b)，是移动方向反转的运动反转的条件。在不满足第2条件的情况下，在步骤S22c中，判定部47b判定是否满足第3条件。第3条件相当于c)，是由摄像部25取得的图像中设定的设定区域中的多个像素的亮度值为亮度阈值以上的条件。进而，在不满足第3条件的情况下，在步骤S22d中，判定部47b判定是否满足第4条件。第4条件相当于d)，是由信息取得部取得的物镜光学系统23的当前的观察位置以及从该位置到位于视线方向上的肾盂/肾杯的三维形状的距离为阈值以下的条件。

在满足第1条件、第2条件、第3条件和第4条件中的至少一方的判定结果的情况下，在步骤S23中，视场角外区域提取处理部45b(或如图2所示，设置在视场角外区域提取处理部45b内的视场角内区域提取处理部45d)在满足上述条件的物镜光学系统23的观察位置和视线方向上，从肾盂/肾杯51的图像中提取摄像部25的视场角内的视场角内区域Rib。

在接下来的步骤S24中，视场角外区域提取处理部45b从肾盂/肾杯51的图像中提取将步骤S23中提取出的视场角内区域除外的区域，作为视场角外区域Rob。

图9示出图5B的处理的动作的说明图。如图9所示，插入部11的前端部15插入到肾杯51b内，在对置的区域被封闭时，手术医生停止将插入部11插入的操作，所以，(插入部11的)移动速度减小。

于是，判定部47b判定为满足步骤S22a的条件，在满足步骤S22a的条件的图9所示的观察位置Pj和视线方向Dj的状态下，提取(粗线所示的)视场角θ内的视场角内区域Rib。该情况下，例如从摄像部25中的物镜光学系统的观察位置Pj在摄像部25的视场角θ内呈放射状照射(出射)光线矢量，提取能够照射的区域作为视场角内区域Rib。另外，在成为图9中的观察位置Pj和视线方向Dj的中途，通过上述处理提取粗线所示的部分的视场角外区域Roa，视场角外区域Roa以外成为视场角内区域Ria。

并且，从上述视场角θ内的肾杯51b(或肾盂/肾杯51)的图像提取出的除去视场角内区域Rib外的以粗线所示的区域成为视场角外区域Rob。

在步骤S25中，视场角外区域提取处理部45b将对步骤S21中提取出的视场角外区域Roa和步骤S24中提取出的视场角外区域Rob进行相加后的区域作为最终的视场角外区域Ro。在步骤S25的处理之后，转移到图5A中的S11的处理。另外，在步骤S11以后，使用通过图5B提取出的视场角外区域Ro。并且，在步骤S22d中不满足第4条件的判定结果的情况下，转移到步骤S25的处理。该情况下，视场角外区域Rob成为0，视场角外区域Ro与视场角外区域Roa相等。

根据进行这种动作的本实施方式，与现有例相比，能够通过较少的计算量的图像处理来提取作为未观察的区域的视场角外区域Ro。在一边移动内窥镜2的前端部15一边观察管腔形状部的内壁的情况下，通过经时地取得作为视场角的边界的边界位置的数据，能够提取作为未观察的区域的视场角外区域Ro，所以，能够以较少的计算量提取作为未观察的区域的视场角外区域Ro。

并且，根据本实施方式，显示为如下的识别图像，该识别图像识别了通过实际上搭载了摄像部25的内窥镜2(2A或2B)以所述摄像部25的视场角作为内窥镜图像经时地且光学地观察作为规定管腔脏器的肾盂/肾杯51的内部的视场角内区域和成为所述视场角的外侧且未观察的视场角外区域。因此，手术医生等用户能够容易地识别实际上未进行内窥镜观察的区域，能够减少观察遗漏而顺畅地进行内窥镜检查。

如上述图7所示，能够根据图5A的步骤S9中设定的视点位置Pv和视点方向Dv等来决定所显示的识别图像，但是，如以下说明的那样，也可以从视场角外区域最大的方向显示识别图像。

图10A示出生成视场角外区域最大的方向的识别图像的情况下的处理例。

在最初的步骤S27a中，例如如图7所示，识别图像生成处理部45c显示从规定方向观察的三维的识别图像。在接下来的步骤S27b中，识别图像生成处理部45c将从输入装置49等指定的中心轴作为旋转中心，使识别图像旋转规定角度(例如5度左右)。

在接下来的步骤S27c中，识别图像生成处理部45c计算在旋转后的状态下从规定方向观察的识别图像整体中的视场角外区域Ro所占的比例Pr。

在接下来的步骤S27d中，识别图像生成处理部45c判定是否旋转了一圈(360度)，在未旋转一圈的情况下，返回步骤S27b的处理，进行同样的处理。在旋转了一圈的判定结果的情况下，在接下来的步骤S27e中，识别图像生成处理部45c计算所计算出的视场角外区域Ro的比例Pr最大的识别图像。

然后，在接下来的步骤S27f中，识别图像生成处理部45c显示所计算出的视场角外区域Ro的比例Pr最大的识别图像，结束图10A的处理。通过显示视场角外区域Ro的比例Pr最大的识别图像，手术医生更容易掌握未观察的视场角外区域Ro的存在。

另外，由摄像部25拍摄到的内窥镜图像如图1的监视器5所示，显示在接近大致八边形的图像显示区5a中，该图像显示区5a的尺寸对应于摄像部25的视场角。搭载在内窥镜2上的物镜光学系统23一般设计成能够以较大视场角进行观察，在视场角的周边侧产生由于光学像差而引起的图像失真，所以，与(视场角较小的)中央侧相比，在周边侧进行观察的情况下的画质降低。

因此，在设摄像部25所具有的视场角为100％的情况下，例如也可以能够从输入装置49将摄像部25的视场角调整或变更为用户期望的值的小于100％的设定视场角。图10B示出从输入装置49设定了设定视场角的情况下的与该设定视场角对应的图像显示区5b。而且，作为上述边界位置的生成、视场角外区域的提取时使用的视场角，也可以使用从输入装置49设定的设定视场角。

当如图10B那样进行设定后，能够识别在考虑了用户期望的画质的状态下进行观察的情况下的视场角内区域和视场角外区域来进行显示。另外，如图10B所示，也可以显示与多个设定视场角对应的多个(同心圆形状的)图像显示区，用户能够选择期望的设定视场角。

在上述第1实施方式中，例如将插入部11的前端部15插入到一个肾杯51b内并对该肾杯51b内进行观察，在该肾杯的肾杯图像中的视场角内区域成为所设定的阈值以上的情况下，也可以显示识别视场角内区域和视场角外区域的识别图像。

图11示出该情况下的处理例。在图5A中的步骤S10之后的步骤S31中，视场角外区域提取处理部45b或视场角内区域提取处理部45d根据肾盂/肾杯图像生成部43a生成的肾盂/肾杯图像的数据，计算插入部11的前端侧所插入的一个肾杯51b内的中空面积。

在接下来的步骤S32中，与步骤S10中的提取从过去的边界位置到当前的边界位置的视场角外区域的处理同样，视场角内区域提取处理部45d提取从过去的边界位置到当前的边界位置为止的边界位置穿过的区域，作为视场角内区域，将提取出的视场角内区域的数据送至判定部47b。

在接下来的步骤S33中，判定部47b判定所提取出的视场角内区域的数据是否为针对插入部11所插入的肾杯51b的中空面积设定的阈值以上。在阈值以上的判定结果的情况下，进入图5A中的步骤S11的处理，相反，在小于阈值的判定结果的情况下，转移到步骤S13的处理。另外，作为阈值，也可以使用相对于插入部11所插入的肾杯51b的中空面积的比例的阈值。换言之，也可以对插入部11所插入的肾杯51b的中空面积的值进行标准化，使用针对标准化后的中空面积设定的阈值。

在上述说明中，作为显示识别信息的情况下的视点位置，对设定在内窥镜2的插入部11所插入的作为管腔脏器的肾盂/肾杯51的外部的情况进行了说明，但是，也可以设定在管腔脏器的内部。

例如在图2中，也可以在输入装置49中设置选择性地设定视点位置的视点设定部49b，通过形成视点设定部49b的选择开关、鼠标等的操作，能够选择管腔脏器的外部的视点位置和管腔脏器的内部的视点位置。管腔脏器的外部的视点位置的设定已经进行了说明。

与此相对，在选择了管腔脏器的内部的视点位置的情况下，进而从形成视点设定部49b的鼠标等指定视点位置和视点方向。然后，控制部47对VBS图像生成部44a进行控制，以使得生成从所指定的视点位置和视点方向对作为管腔脏器的肾盂/肾杯51内部进行观察(摄像)的情况下的VBS图像，VBS图像生成部44a生成对应的VBS图像，监视器8显示所生成的VBS图像(另外，也可以不经由控制部47而将从输入装置49指定的视点位置和视点方向的数据送至VBS图像生成部44a)。

图12示出监视器8中显示的VBS图像Ia的一例，视点位置和视点方向例如设定为从肾盂侧对分支的肾杯侧进行观察。

然后，通过摄像部25的视场角进行观察的情况下的区域成为视场角内区域Ri，视场角内区域Ri的外侧的斜线所示的区域成为视场角外区域Ro，例如进行着色来显示斜线所示的视场角外区域Ro，以使得能够与视场角内区域Ri进行识别。另外，图12中的视场角内区域Ri和视场角外区域Ro示出(包含满足规定条件的情况的)最终的视场角内区域和视场角外区域的情况。

并且，在图2中，也可以在输入装置49中设置用于指示作为管腔脏器的肾盂/肾杯51的切断面的由键盘或鼠标等构成的切断面指示输入部49c，控制部47将来自切断面指示输入部49c的切断面的指示数据送至肾盂/肾杯图像生成部43a，肾盂/肾杯图像生成部43a显示以所指示的切断面切断肾盂/肾杯图像而得到的剖面。

图13示出在例如图3所示的肾盂/肾杯51中指示了例如接近与纸面平行的切断面的情况下的剖视图Id。

并且，识别图像生成处理部45c在该剖视图Id中例如如斜线所示识别视场角外区域Ro和视场角内区域Ri来进行显示。通过切断面提取中空形状的图像，在识别了视场角内区域Ri和视场角外区域Ro的情况下，沿着中空形状的剖面上的曲线部分识别视场角内区域Ri和视场角外区域Ro。该情况下，不容易清楚两者的识别，所以，在图13所示的图示例中，以投影到切断面上的投影切断面的状态示出切断面以外的视场角内区域Ri和视场角外区域Ro。这样，容易识别视场角内区域Ri和视场角外区域Ro，并且，容易掌握两者的区域的大小程度。

另外，作为投影切断面，也可以以容易清楚未观察的视场角外区域Ro或包含较多视场角外区域Ro的方式进行显示。

图14示出作为对视场角外区域Ro进行投影的投影切断面而以包含较多视场角外区域Ro的投影切断面显示视场角外区域Ro的情况下的说明图。

例如如图7所示，针对提取了视场角内区域Ri和视场角外区域Ro并对两者进行了识别的三维的识别图像，如图14所示，用户从输入装置49输入投影切断面的中心线Lo的位置和方向，并且输入切断角间距Θ。

该情况下，设置在识别图像生成处理部45c中的投影切断面图像生成处理部45f针对三维的识别图像依次设定角度为0的投影切断面A1、角度为Θ的投影切断面A2、角度为2Θ的投影切断面A3、…、角度为(n-1)×Θ的投影切断面An，从与各投影切断面Ai垂直的方向对各投影切断面Ai投影三维的识别图像中的视场角内区域Ri和视场角外区域Ro。也可以将投影切断面图像生成处理部45f设置在识别图像生成处理部45c的外部。

接着，投影切断面图像生成处理部45f计算各投影切断面Ai上的视场角外区域Ro的像素数或面积，确定像素数或面积最大的投影切断面Ak。

然后，投影切断面图像生成处理部45f显示所确定的投影切断面Ak的图像作为识别了视场角内区域Ri和视场角外区域Ro的二维的识别图像。

另外，例如也可以固定投影切断面，依次显示将三维的识别图像侧投影到以上述切断角间距Θ依次旋转并被固定的投影切断面上的视场角内区域Ri和视场角外区域Ro，在确定了视场角外区域Ro的像素数或面积最大的旋转角的投影切断面后，显示该投影切断面。

并且，在将插入部11插入到作为管腔脏器的肾盂/肾杯51内并经时地显示识别图像的情况下，也可以如图15A、图15B和图15C示意示出的那样进行显示。例如如图15A所示，在插入前的初始状态的初始显示中，成为显示从腹部侧观察的表侧的肾盂/肾杯51的图像整体作为斜线所示的视场角外区域Ro的识别图像。然后，通过将插入部11的前端部15插入到深部侧进行观察，如图15B所示，成为表侧的肾盂/肾杯51的图像中的绝大部分为视场角内区域Ri的识别图像。

该状态下，手术医生进行使三维的肾盂/肾杯51的图像的识别图像旋转180度的指示操作，成为显示从后背侧观察的背侧的肾盂/肾杯51的识别图像的状态。然后，手术医生对图15C所示的背侧的肾盂/肾杯51的识别图像中的视场角外区域Ro进行观察。这样，参照表侧和背侧的肾盂/肾杯51的图像中的识别信息(着色)，能够高效地对未观察的区域进行观察。

如图15B所示，也可以在输入装置49中设置进行使三维的肾盂/肾杯51的识别图像以180度等任意角度旋转的指示操作的由键盘等构成的旋转指示部。并且，也可以通过设置在内窥镜2的操作部12中的镜体开关等，使三维的肾盂/肾杯51的识别图像以180度等规定角度旋转。

另外，本发明说明了实际的内窥镜的情况，但是，同样能够应用于使用虚拟内窥镜的情况。

并且，在上述说明中，作为规定管腔脏器，说明了肾盂肾杯的情况，但是，也能够应用于消化道或支气管等管腔脏器的情况。

另外，组合上述实施方式等的一部分等而构成的实施方式也属于本发明。

本申请以2014年6月18日在日本申请的日本特愿2014-125634号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书、权利要求书和附图中。

Claims (10)

1.一种图像处理装置，其特征在于，所述图像处理装置具有：

信息取得部，其构成为取得使用物镜光学系统对被检体内进行观察的观察位置和视线方向的信息；

边界位置生成部，其构成为根据伴随经时变化观察而变化的所述观察位置和视线方向的信息以及表示使用所述物镜光学系统进行观察的情况下的视场角的视场角信息，生成边界位置信息，该边界位置信息表示所述被检体的三维图像上的所述物镜光学系统的视场角内区域与视场角外区域之间的边界位置；

视场角外区域提取部，其构成为根据伴随所述物镜光学系统的观察位置和视线方向的经时变化而变化的所述边界位置的数据，在所述三维图像上提取未进入所述视场角的视场角外区域；以及

图像生成部，其构成为生成针对所述三维图像附加了识别所述视场角外区域的识别信息而得到的识别图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置具有：

存储部，其构成为存储所述被检体的三维图像的信息；以及

管腔脏器提取部，其构成为提取存在于所述存储部所存储的所述三维图像内的规定的管腔脏器。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置具有构成为对所述被检体内进行摄像的摄像部，

所述信息取得部构成为取得构成所述摄像部的所述物镜光学系统的观察位置和视线方向的信息，

所述图像处理装置还具有位置对齐部，该位置对齐部构成为使由所述信息取得部取得的所述物镜光学系统的所述观察位置的三维信息并入所述被检体的三维图像的坐标系中，

所述边界位置生成部根据由所述位置对齐部并入所述三维图像的坐标系中的所述物镜光学系统的所述观察位置和视线方向的信息，以及所述摄像部拍摄到的所述被检体内的图像信息，生成所述边界位置信息。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具有显示图像变更部，该显示图像变更部构成为以能够三维地进行变更的方式形成显示管腔脏器的显示方向，生成在变更后的所述显示方向上显示的所述被检体的三维图像，

所述图像生成部生成在由所述显示图像变更部变更了显示方向的所述被检体的三维图像上附加了所述识别信息而得到的所述识别图像。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述图像生成部生成在变更了所述显示方向时由所述显示图像变更部生成的所述识别图像中的所述视场角外区域所占的比例最大的图像，作为所述识别图像。

6.根据权利要求3所述的图像处理装置，其特征在于，

所述图像处理装置具有显示切换部，该显示切换部构成为能够选择性地切换显示所述识别图像的第1模式和不显示所述识别图像的第2模式。

7.根据权利要求3所述的图像处理装置，其特征在于，

所述图像生成部生成针对所述识别图像重叠了由所述信息取得部取得的所述物镜光学系统的所述观察位置而得到的重叠图像。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述视场角外区域提取部在从作为初始状态下的所述观察位置的初始位置到作为观察结束的状态下的所述观察位置的最终位置的期间内，提取所述视场角外区域。

9.根据权利要求3所述的图像处理装置，其特征在于，

所述图像处理装置具有：

判定部，其构成为判定由所述信息取得部取得的所述物镜光学系统的经时运动以及使用所述物镜光学系统而由所述摄像部取得的所述被检体内的图像是否满足规定的条件；以及

视场角内区域提取部，其构成为根据所述判定部的判定结果，根据包含满足所述规定的条件的所述物镜光学系统的所述摄像部的所述视场角信息和所述视场角内能够照射的光线矢量计算所述视场角内区域，使计算出的所述视场角内区域反映在由所述视场角外区域提取部提取出的所述视场角外区域中。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述规定的条件由以下条件中的任意一个条件或2个以上的条件构成：

由所述信息取得部取得的所述物镜光学系统的前一次和当前的观察位置间的距离为阈值以下的移动距离；

由所述信息取得部取得的所述物镜光学系统的移动方向反转的运动反转；

构成由所述摄像部取得的所述被检体图像的多个像素的亮度值之和为阈值以上的像素值；以及

由所述信息取得部取得的所述物镜光学系统的当前的观察位置和从所述当前的观察位置到位于视线方向上的所述被检体的三维图像的距离为阈值以下的接近距离。