CN104582559A - 内窥镜系统和内窥镜系统的工作方法 - Google Patents

Abstract

内窥镜系统(1)具有：插入部(2b)，其插入到被检体内；物镜光学窗(11a)，其设置在插入部(2)的前端侧，接收来自被检体的光；摄像元件(11)，其对被检体内进行摄像；位置方向检测部(25)，其取得物镜光学窗(11a)的位置信息；以及存储器(22)，其将由摄像元件(11)取得的被检体内图像和物镜光学窗(11a)的位置信息关联起来进行记录。内窥镜系统(1)根据被检体内的被检体内图像信息的变化量等，使物镜光学窗(11a)的位置信息和被检体内的规定的脏器模型图像的坐标系中的位置一致，生成在将物镜光学窗的位置和坐标系中的位置对应起来的规定的脏器的模型图像上粘贴了被检体内图像的图像。

Description

内窥镜系统和内窥镜系统的工作方法

技术领域

本发明涉及内窥镜系统和内窥镜系统的工作方法，特别涉及显示粘贴有内窥镜图像的脏器模型图像的内窥镜系统和内窥镜系统的工作方法。

背景技术

以往，内窥镜系统广泛利用于医疗领域和工业领域。例如，在医疗领域的内窥镜系统中，手术医生将内窥镜的插入部插入到被检体内，在显示装置中显示通过设置在插入部的前端部中的观察窗得到的内窥镜图像。观察所显示的内窥镜图像，手术医生能够进行内窥镜检查。进而，内窥镜系统还能够记录内窥镜图像。例如，手术医生能够利用所记录的病变部的内窥镜图像作为病历的一部分。

并且，近年来，胶囊型内窥镜系统也已经实用化，当患者吞入该胶囊型内窥镜后，胶囊型内窥镜在体内移动的期间内对体内进行摄像，记录体内的图像。

在胶囊内窥镜的情况下，由于取得庞大数量的图像，所以，提出了仅从所取得的多个图像中提取病变部等观察对象部位的图像的技术、如日本特开2010-240000号公报所公开的那样在将多个图像粘贴在3D模型上时根据特征参数使用优先顺位高的图像生成诊断用图像的技术。

但是，有时为了对上次的内窥镜检查中发现的病变部的状态进行观察而再次进行内窥镜检查，或者使用内窥镜对上次的内窥镜检查中发现的病变部进行处置。

因此，手术医生将检查中发现的病变部的检查对象脏器中的位置记入病历中。例如，在检查对象脏器为膀胱的情况下，通过在病历中所描绘的膀胱展开图(图解)中附加标记，来指定病变部的位置。

但是，有时很难得知上次的内窥镜检查中得到的内窥镜图像是对象脏器中的哪个位置的图像。

在利用胶囊内窥镜的上述日本特开2010-240000号公报所公开的内窥镜系统中，内窥镜图像粘贴在对象脏器的3D模型上，但是，由于是胶囊型内窥镜，所以，手术医生根据所得到的内窥镜图像，无法容易地掌握脏器中的病变部的位置。

并且，在具有插入部的内窥镜的情况下，例如也不容易掌握膀胱展开图中指定的位置和现实的膀胱中的位置的对应关系，对于手术医生来说，不容易将内窥镜检查中确认到的病变部的位置记入这种膀胱展开图中，而且，不容易根据这种病历的膀胱展开图中记录的位置掌握现实的膀胱中的位置。

因此，即使存在上次检查中得到的病变部的内窥镜图像，手术医生也很少无死角地再次对脏器内进行观察而搜寻病变部。

其结果，存在内窥镜的检查时间或处置时间变长的问题。

因此，本发明的目的在于，提供如下的内窥镜系统和内窥镜系统的工作方法：为了容易地得知内窥镜图像的检查对象脏器中的位置，将内窥镜图像粘贴在对象脏器的脏器模型图像上，能够缩短内窥镜的检查时间或处置时间。

发明内容

用于解决课题的手段

本发明的一个方式的内窥镜系统具有：插入部，其插入到被检体内；物镜光学窗，其设置在所述插入部的前端侧，接收来自所述被检体的光；摄像部，其根据从所述物镜光学窗入射的光对所述被检体内进行摄像；位置信息取得部，其取得所述物镜光学窗的位置信息；位置对齐部，其根据所述被检体内的被检体内图像信息的变化量、规定的操作输入、或相对于预先设定的基准平面的所述位置信息，使所述位置信息取得部所取得的所述物镜光学窗的位置和所述被检体内的规定的脏器的模型图像的坐标系中的位置一致；以及图像生成部，其生成在通过所述位置对齐部将所述物镜光学窗的位置和所述坐标系中的位置对应起来的所述规定的脏器的模型图像上粘贴了所述被检体内图像的图像。

在本发明的一个方式的内窥镜系统的工作方法中，该内窥镜系统具有位置信息取得部、摄像部、位置对齐部、图像生成部，其中，所述位置信息取得部取得接收来自被检体的光的物镜光学窗的位置信息，所述摄像部根据从所述物镜光学窗输入的光对所述被检体内进行摄像，其中，所述位置对齐部根据所述被检体内的被检体内图像信息的变化量、规定的操作输入、或相对于预先设定的基准平面的所述位置信息，使所述位置信息取得部所取得的所述物镜光学窗的位置和所述被检体内的规定的脏器的模型图像的坐标系中的位置一致，所述图像生成部生成在通过所述位置对齐部将所述物镜光学窗的位置和所述坐标系中的位置对应起来的所述规定的脏器的模型图像上粘贴了所述被检体内图像的图像。

附图说明

图1是示出本发明的第1实施方式的内窥镜系统的结构的结构图。

图2是示出本发明的第1实施方式的内窥镜系统1的结构的框图。

图3是示出本发明的第1实施方式的在膀胱内的观察时在膀胱模型图像上粘贴内窥镜图像的粘贴处理的流程的例子的流程图。

图4是用于说明本发明的第1实施方式的前端部2d从尿道向膀胱B内前进时的图像取入部24取得的内窥镜图像的变化的图。

图5是示出本发明的第1实施方式的与前端部2d的位置对应的图像整体的亮度值的平均亮度和方差的变化的示意性曲线图。

图6是示出本发明的第1实施方式的尿道内的内窥镜图像的例子的图。

图7是示出本发明的第1实施方式的用于说明膀胱的各部名称的示意性的患者的膀胱的位置的图。

图8是示出本发明的第1实施方式的用于说明膀胱的各部名称的示意性的膀胱的图。

图9是示出本发明的第1实施方式的3D膀胱模型M1的图。

图10是示出本发明的第1实施方式的膀胱B的二维模型M2的图。

图11是示出膀胱展开图BE的图。

图12是示出本发明的第1实施方式的监视器6的画面上显示的内窥镜检查时的显示画面的例子的图。

图13是示出本发明的第1实施方式的监视器6的画面上显示的显示画面的另一个例子的图。

图14是用于说明本发明的第1实施方式的磁场产生装置7的坐标系和床8上的患者P的膀胱B的坐标系的关系的图。

图15是用于说明本发明的第1实施方式的投影在中间坐标系(X₁Y₁Z₁)上的方向矢量的图。

图16是用于说明本发明的第1实施方式的中间坐标系(X₁Y₁Z₁)和第2坐标系(X₂Y₂Z₂)的关系的图。

图17是用于在本发明的第1实施方式的第2坐标系(X₂Y₂Z₂)中说明球体的内表面上的坐标的图。

图18是用于根据本发明的第1实施方式的前端部2d的位置和方向矢量说明第2坐标系(X₂Y₂Z₂)中的位置P₂和方向V₂的图。

图19是用于说明本发明的第1实施方式的二维坐标系(U,V)中的坐标关系的图。

图20是用于说明本发明的第1实施方式的对内窥镜图像的整体进行扫描并在第2坐标系(X₂Y₂Z₂)的球体的内表面上粘贴各像素的情况的图。

图21是示出本发明的第1实施方式的监视器6的画面上显示的图像的另一个例子的图。

图22是示出本发明的第1实施方式的使用了5轴传感器的情况下的监视器6的画面上显示的图像的例子的图。

图23是示出本发明的第1实施方式的使用了5轴传感器的情况下的、仅将按压了释放按钮13时的内窥镜图像粘贴在2D模型图像31a上的图像的例子的图。

图24是示出本发明的第1实施方式的对应于2个观察模式显示2个脏器模型的图像的情况下的显示画面的例子的图。

图25是示出本发明的第2实施方式的膀胱内的观察时的内窥镜图像的粘贴处理的流程的例子的流程图。

图26是用于在本发明的第3实施方式的第2坐标系(X₂Y₂Z₂)中说明球体的内表面上的坐标的图。

图27是用于根据本发明的第3实施方式的前端部2d的位置和方向矢量说明第2坐标系(X₂Y₂Z₂)中的位置P₂和方向V₂、坐标P₂₁的图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。下面，以取得膀胱内的内窥镜图像的情况为例对本发明的实施方式进行说明。

(第1实施方式)

(结构)

图1是示出本实施方式的内窥镜系统的结构的结构图。图2是示出内窥镜系统1的结构的框图。内窥镜系统1构成为包括内窥镜2、记录装置3、光源装置4、处理器5、监视器6、磁场产生装置7。内窥镜系统1具有通常光观察和特殊光观察这2个观察模式。作为检查者的手术医生对仰卧在床8上的患者P的膀胱B进行内窥镜检查。

内窥镜2具有操作部2a、具有挠性且插入到被检体内的插入部2b、通用缆线2c。内窥镜2是膀胱检查用的内窥镜。

进而，虽然没有图示，但是，在通用缆线2c内贯穿插入有光导，内窥镜2构成为穿过光导而从插入部2b的前端部2d射出来自光源装置4的照明光。

并且，如图2所示，在插入部2b的前端部2d中设有摄像元件11，摄像元件11经由物镜光学窗11a对由光源装置4的照明光照明的膀胱B内的部位进行摄像。物镜光学窗11a设置在插入部2的前端侧，接收来自被检体的光。即，摄像元件11构成插入到被检体内并根据从物镜光学窗11a入射的光对被检体内进行摄像的摄像部。由摄像元件11得到的摄像信号经由通用缆线2c内的信号线供给到处理器5，在处理器5中对摄像信号进行图像处理。

处理器5具有用于切换观察模式的切换开关5a，处理器5生成与切换开关5a所指定的观察模式对应的内窥镜图像。

并且，所生成的内窥镜图像从处理器5输出到监视器6，实时内窥镜图像显示在监视器6上。进行检查的手术医生(以下称为检查者)能够将插入部2b的前端部2d从患者P的尿道插入，对患者P的膀胱B(图1中虚线所示)内进行观察。

进而，在插入部2b的前端部2d中配置有磁传感器12。具体而言，在前端部2d的物镜光学窗11a的附近设有具有2个线圈2e的磁传感器12。由此，磁传感器12是6轴传感器。磁传感器12的信号线2f从内窥镜2延伸出并与记录装置3连接。

另外，磁传感器12也可以是5轴传感器。

磁场产生装置7产生规定的磁场，磁传感器12检测磁场产生装置7产生的磁场。磁场的检测信号经由信号线2f从内窥镜2供给到记录装置3。

在内窥镜2的操作部2a中设有释放按钮13。释放按钮13是用于在检查者记录内窥镜图像时进行按压的按钮。当按压了释放按钮13后，释放按钮操作信号被输入到处理器5，处理器5生成释放信号并将其供给到记录装置3。按压了释放按钮13时的内窥镜图像记录在记录装置3的后述存储器22中。

记录装置3包括中央处理装置(以下称为CPU)21、存储器22、显示接口(以下简化为显示I/F)23、图像取入部24、位置方向检测部25、驱动电路26。CPU 21、存储器22、显示接口(以下简化为显示I/F)23、图像取入部24、位置方向检测部25、驱动电路26经由总线27相互连接。

CPU 21是对记录装置3内的各部的处理进行控制的控制部。

存储器22是包含ROM、RAM、闪存等的存储部，存储由CPU 21执行的各种处理程序和各种数据，进而，如后所述，还存储内窥镜图像信息以及位置和方向的信息等。

并且，在存储器22中还存储有后述脏器的模型图像(以下称为脏器模型图像)的数据，如后所述，内窥镜图像粘贴在该脏器模型图像上。详细情况将在后面叙述，但是，CPU 21根据对内窥镜图像进行摄像时的前端部2d的位置方向信息，进行在预先存储的模型图像上粘贴内窥镜图像的处理，将粘贴了内窥镜图像的脏器模型图像存储在存储器22中。存储器22中存储的脏器模型图像被用作病历的一部分。

存储器22中存储的脏器模型图像经由显示I/F 23输出，并显示在监视器6的画面上。

进而，监视器6还与处理器5连接。监视器6具有PinP(Picture In Picture：画中画)功能，与通过CPU 21粘贴了内窥镜图像的脏器模型图像一起，能够显示由内窥镜2的摄像元件11进行摄像而得到的实时内窥镜图像。

图像取入部24是以一定周期取入在处理器5中得到的图像的处理部。例如，根据内窥镜2，从处理器5取得与帧率相同的每秒30张的内窥镜图像。并且，图像取入部24还接收来自处理器5的释放信号。另外，这里，图像取入部24取入每秒30张的内窥镜图像，但是，也可以以与帧率不同的例如每秒3张等更长的周期取得内窥镜图像。

位置方向检测部25控制对磁场产生装置7进行驱动的驱动电路26，使磁场产生装置7产生规定的磁场，通过磁传感器12检测该磁场，根据该检测到的磁场的检测信号，实时生成物镜光学窗11a的位置坐标(x、y、z)和取向(即欧拉角(ψ、θ、))的数据、即位置方向信息。即，位置方向检测部25构成取得来自磁传感器12的位置信息和方向信息而取得物镜光学窗11a的位置信息的位置信息取得部。

CPU 21将图像取入部24取入的图像与根据位置方向检测部25检测到的位置方向信息计算出的前端部2d的位置和方向的信息关联起来存储在存储器22中。

CPU 21还具有立体测量功能，具有测量从进行摄像而得到的2张帧图像到帧图像中的对象部位的各部的距离的功能。具体而言，CPU 21能够根据对2张帧图像进行摄像时的来自位置方向检测部25的位置方向信息取得物镜光学窗11a的摄像位置信息，根据对2张帧图像进行摄像时的视差，计算从摄像元件11到帧图像中的各部的距离。立体测量功能用的程序存储在存储器22中，CPU 21通过读出并执行该程序，能够进行立体测量。

并且，光源装置4是能够射出通常光观察模式用的通常光和特殊光观察模式用的特殊光的光源装置，根据设置在处理器5中的用于切换观察模式的切换开关5a的状态，射出通常光和特殊光中的任意一方作为照明光。

这里，特殊光观察模式是窄带观察模式。另外，特殊光观察模式也可以是红外光观察模式或荧光观察模式。由此，内窥镜系统1具有通常光观察模式和特殊光观察模式这2个观察模式，在切换开关5a为通常光观察模式时，光源装置4射出通常光的照明光，在切换开关5a为特殊光观察模式时，光源装置4射出规定波长的窄带光的照明光。即，光源装置4构成以能够切换的方式对被检体照射白色光或具有规定波段的特殊光的照明部。

由此，在通常光观察模式时，处理器5生成对被摄体照射白色光而得到的被摄体的通常光观察图像，在特殊光观察模式时，处理器5生成对被摄体照射特殊光(这里为窄带光)而得到的被摄体的特殊光观察图像。

另外，对通过照射通常光而得到的RGB的各图像进行分光估计处理也能够得到作为特殊光观察图像的窄带观察图像，所以，在窄带观察模式时，处理器5也可以通过分光估计来生成窄带观察图像。

(在脏器模型图像上粘贴内窥镜图像的粘贴处理)

图3是示出在膀胱内的观察时在膀胱模型图像上粘贴内窥镜图像的粘贴处理的流程的例子的流程图。通过由CPU 21读出并执行存储器22中存储的规定的程序，从检查者将插入部2b的前端部2d插入到尿道中时起，执行图3的处理。

CPU 21判定是否检测到前端部2d插入到膀胱B内(S1)。插入部2b的前端部2d插入到尿道内，穿过尿道进入膀胱B内。根据图像取入部24取得的内窥镜图像的亮度(内窥镜图像整体的平均亮度或内窥镜图像的规定的一部分区域的平均亮度)的变化量，进行前端部2d插入到膀胱B内的检测。即，CPU 21利用在前端部2d从尿道进入膀胱B内时使内窥镜图像的亮度变化的性质，进行S1的判定。在内窥镜图像的亮度值从较高状态变成较低状态时，CPU 21判定为前端部2d进入膀胱B内。

另外，这里，根据内窥镜图像的亮度进行前端部2d插入到膀胱B内的检测，但是，也可以根据内窥镜图像的色调的变化量或纹理的变化量来进行。例如，作为色调的变化，是从红色系到其他色系的颜色的变化，作为纹理的变化，是从无法识别血管等图案的图像的状态到能够识别血管等图案的状态的变化。进而，也可以通过亮度等信息和内窥镜2的前端部2d的位置信息等的组合来进行前端部2d插入到膀胱B内的检测。

这里，对内窥镜2的前端部2d从尿道插入到膀胱B内的情况的检测方法进行具体说明。

图4是用于说明前端部2d从尿道向膀胱B内前进时的图像取入部24取得的内窥镜图像的变化的图。

在将内窥镜2从尿道插入到膀胱B的情况下，对从尿道的狭窄的管状空间撑开管腔闭合的状态的部位(内尿道口)并进入宽阔空间(膀胱B)的过程的内窥镜图像进行拍摄。

在前端部2d位于尿道的狭窄的管状空间内时，通过图像取入部24取得图4的内窥镜图像GA1这样的内窥镜图像。当前端部2d接近内尿道口时，通过图像取入部24取得图4的内窥镜图像GA2这样的内窥镜图像。由于前端部2接近内尿道口的粘膜，所以，内窥镜图像GA2成为整体泛红的图像。

在前端部2d从内尿道口进入膀胱B时，通过图像取入部24取得示出管腔闭合的状态的部位(内尿道口)被撑开的状况的内窥镜图像GA3、GA4这样的内窥镜图像。随着前端部2d的推入，内尿道口逐渐被撑开，所以，内窥镜图像从内窥镜图像GA3变化为GA4。

然后，当前端部2d进入膀胱B内时，由于对膀胱B的内壁面进行摄像，所以得到图4的内窥镜图像GA5这样的图像。

这里，对(a)通过亮度变化进行前端部2d插入到膀胱B内的检测的情况、(b)通过颜色变化进行前端部2d插入到膀胱B内的检测的情况、(c)通过亮度变化和颜色变化的组合进行前端部2d插入到膀胱B内的检测的情况、(d)基于与内窥镜的前端部的位置信息的组合进行前端部2d插入到膀胱B内的检测的情况进行说明。

(a)通过亮度变化进行前端部2d插入到膀胱B内的检测的情况

在通过亮度变化进行前端部2d插入到膀胱B内的检测的情况下，例如能够通过图像整体的平均亮度和方差进行前端部2d插入到膀胱B内的检测。

图5是示出与前端部2d的位置对应的图像整体的亮度值的平均亮度和方差的变化的示意性的曲线图。在图5中，实线g1表示与前端部2d的位置对应的图像整体的亮度值的平均亮度的变化，单点划线g2表示与前端部2d的位置对应的图像整体的亮度值的方差的变化。在图5中箭头所示的对应位置取得上述内窥镜图像GA1～GA5。

如图像GA2所示，在内窥镜2的前端部2d从尿道内接近内尿道口的情况下，由于前端部2d和内尿道口的粘膜的距离接近，所以，图像整体的亮度值的平均值提高，方差(标准偏差)降低。在图5中，点Pg1表示平均亮度的极大值的点，点Bg1表示方差的极小值的点。

如图像GA3、GA4所示，在前端部2d从内尿道口进入膀胱B内的情况下，内窥镜2的前端部2d以在内尿道口撑开闭合空间的方式进行插入，当进入膀胱B内后，成为前端部2d和膀胱壁保持一定距离的状态，所以，图像整体的亮度值的平均值临时降低后上升，方差(标准偏差)上升后降低。该情况下，在图5中，点Bg2表示该平均亮度的极小值的点，点Pg2表示方差的极大值的点。

由此，通过检测图像整体的亮度值的平均、方差(标准偏差)的极大值、极小值，能够判断前端部2d插入到膀胱B的情况。

另外，在以上的例子中，利用图像整体的亮度值的平均和方差，但是，也可以利用图像中的规定的区域的亮度值的平均和方差。

并且，在以上的例子中，利用图像整体的亮度值的平均和方差，但是，也可以利用亮度分布。

图6是示出尿道内的内窥镜图像的例子的图。在内窥镜2的前端部2d从尿道内接近内尿道口的情况下，由于前端部2d穿过管状的脏器而接近粘膜壁，所以，进行拍摄而得到的图像从中心部较暗的图像变化为图像整体的亮度均匀的图像。

在图6中，沿着双点划线所示的方向，亮度值减小。由此，对图像整体的亮度的分布进行数值化，能够根据从管状状态变化为平面状态的情况下的亮度分布判断插入到膀胱B的情况。

(b)通过颜色变化进行前端部2d插入到膀胱B内的检测的情况

在内窥镜2的前端部2d从尿道内接近内尿道口的情况下，由于前端部2d与内尿道口的粘膜的距离接近并接触，所以，内窥镜图像整体成为泛红的颜色(成为所谓的红玉状态)。

当前端部2d以在内尿道口撑开闭合空间的方式进行插入时，前端部2d和粘膜接触的区域逐渐减小。由此，通过利用颜色检测红玉状态，能够判断插入到膀胱B的情况。

(c)通过亮度变化和颜色变化的组合进行前端部2d插入到膀胱B内的检测的情况

例如，作为一个方法，存在使用极值和颜色变化的组合的方法。可能由于噪声等而产生多个极大值、极小值，很难准确判断内尿道口，或者，在利用阈值检测到红玉状态的颜色的情况下，可能由于阈值的设定而在进入膀胱B之前误检测为进入了膀胱B。因此，在这种情况下，通过利用颜色变化来判断内尿道口并利用上述极大值和极小值检测进入膀胱B内的情况，能够准确判断插入到膀胱B内的情况。

作为另一个方法，存在使用亮度分布和颜色变化的组合的方法。在根据内窥镜2的前端部2d的朝向而使较暗部分移动到图像的周边的情况下，可能判断为接近内尿道口，或者，在利用阈值检测到红玉状态的颜色的情况下，可能由于阈值的设定而在进入膀胱B之前误检测为进入了膀胱B。因此，在这种情况下，通过利用颜色变化来判断内尿道口并利用亮度分布检测进入膀胱B内的情况，能够准确判断插入到膀胱B内的情况。

(d)基于与内窥镜的前端部的位置信息的组合进行前端部2d插入到膀胱B内的检测的情况

例如，使用键盘等将内尿道口的位置输入到内窥镜系统1的CPU 21，组合这点的位置信息和上述(a)～(c)的检测结果，能够判断插入到膀胱B内的情况。

或者，从体外将前端部2d配置在内尿道口附近，组合所配置的位置信息和上述(a)～(c)的检测结果，能够判断插入到膀胱B内的情况。

如上所述，能够进行前端部2d插入到膀胱B内的检测。

返回图3，当检测到插入到膀胱B内时(S1：是)，记录进行了该检测时的位置检测部25的位置方向信息作为前端部2d(具体而言为物镜光学窗11a)的位置和方向的基准信息(S2)。

CPU 21进行将S2中记录的前端部2d的位置和方向分别设为三维膀胱模型(以下称为3D膀胱模型)M1的基准位置和基准方向的基准决定(S3)。通过S3的处理，CPU 21能够从以体外的磁场产生装置7为基准的第1坐标系(X₀Y₀Z₀)转换为以膀胱B的入口(颈部)为基准的坐标系(X₁Y₁Z₁)，进而，能够从坐标系(X₁Y₁Z₁)转换为以膀胱模型M1的中心为基准的坐标系(X₂Y₂Z₂)。坐标系的转换在后面叙述。

由此，S1～S3的处理构成如下的位置对齐部：根据被检体即患者P内的被检体内图像信息的变化量，使物镜光学窗11a的位置和患者P内的规定的脏器模型图像的坐标系中的位置一致。

在患者仰卧的状态、且膀胱B内充满了规定的液体(例如生理盐水)的状态下进行膀胱B的检查。例如，如果是大人，则即使膀胱B的大小存在差异，也不会有很大差别，能够利用具有大致相同大小的球体形状对膀胱B进行模型化。

图7是示出用于说明膀胱的各部的名称的示意性的患者的膀胱的位置的图。图7是从与患者P的正面对置的方向观察的图。图8是示出用于说明膀胱的各部的名称的示意性的膀胱的图。图8是从患者P的左侧观察时的膀胱的图。

膀胱B被划分为作为尿道的开口部的针对膀胱B的入口即颈部RP、与颈部RP对置的顶部、腹部侧的前壁、后背侧的后壁、从患者P观察为右侧的右壁、从患者P观察为左侧的左壁这样的多个区域。由于在患者P仰卧的状态、且膀胱B内充满规定的液体的状态下进行膀胱B的检查，所以，检查者容易理解现实的膀胱B的整体的位置和方向。

返回图3，在未检测到前端部2d插入到膀胱B内的情况下(S1：否)，处理反复进行S1的处理。在检测到前端部2d插入到膀胱B内时(S1：是)，前端部2d位于膀胱B的颈部RP的位置。由于磁传感器12生成6轴(即位置坐标(x、y、z)和取向(欧拉角(ψ、θ、))的位置方向信息，所以，记录装置3记录检测到前端部2d插入到膀胱B内时的位置和方向，通过将该记录的位置和方向设为物镜光学窗11a相对于3D膀胱模型M1的基准位置和基准方向，能够使基准位置和基准方向与3D膀胱模型M1中的颈部RP的位置和方向一致。

如图8所示，设置在插入部2b的前端部2d中的摄像元件11在膀胱B内对视野角θ的内窥镜图像进行摄像。

图9是示出3D膀胱模型M1的图。3D膀胱模型M1是大致球体形状，形成在三维坐标系X₂Y₂Z₂内。坐标系X₂Y₂Z₂是从坐标系X₁Y₁Z₁转换的坐标系。另外，在图9中，为了示出膀胱B内的插入部2b的入口即颈部RP，一并示出插入部2b的图形。

设穿过球体的中心O且从右壁到左壁方向的轴为X₂轴，设穿过球体的中心O且从颈部到顶部方向的轴为Y₂轴，设穿过球体的中心O且从后壁到前壁方向的轴为Z₂轴，形成3D膀胱模型M1。

图10是示出膀胱B的二维模型(以下称为2D膀胱模型)M2的图。2D膀胱模型M2具有包含2个圆形的形状，形成在二维坐标系UV内。2D膀胱模型M2是与图11所示的膀胱展开图(图解)BE大致相同的形状。图11是示出膀胱展开图BE的图。膀胱展开图BE是示出膀胱B内的各部的位置的图，如图11所示，膀胱B内的各部对应于膀胱展开图BE上的规定的各区域。

膀胱B的2个尿道口位于图9和图10中uo所示的位置。并且，例如，在图9中虚线所示的位置处在膀胱B内存在病变部AA时，图9的病变部AA的位置对应于图10中虚线所示的位置。

再次返回图3，在S2中记录检测到前端部2d插入到膀胱B内时的前端部2d的位置和方向的信息作为基准信息，根据该基准信息所指定的位置和方向，导出3D膀胱模型M1的基准和2D膀胱模型M2的基准。

接着，CPU 21进行释放的检测处理(S4)。该释放的检测处理是检测是否按压了内窥镜2的操作部2a的释放按钮13的处理。当按压了释放按钮13后，释放信号经由处理器5输入到图像取入部24。CPU 21通过监视输入到图像取入部24的释放信号的上升沿(或下降沿)，能够检测是否按压了释放按钮13。

CPU 21从图像取入部24取得内窥镜图像(S5)。如上所述，这里，图像取入部24按照与帧率相同的三十分之一秒从处理器5取得内窥镜图像。

CPU 21取得插入部2b的前端部2d的位置和方向的信息(S6)。通过从位置检测部25读出位置方向信息，CPU 21能够取得前端部2d的位置和方向的信息。

并且，在S6中，CPU 21根据S3中决定的基准信息将坐标系(X₀Y₀Z₀)中的位置方向信息转换为三维坐标系(X₂Y₂Z₂)中的位置方向信息。即，在S1～S3中使物镜光学窗11a的位置信息和规定的脏器模型图像即膀胱模型图像的坐标系一致后，在S6中，将位置方向检测部25中取得的前端部2d的位置和方向(即物镜光学窗11a的位置和方向)与膀胱模型图像的坐标系中的位置和方向对应起来。

CPU 21进行内窥镜图像的粘贴处理(S7)。内窥镜图像的粘贴处理是如下的处理：根据S6中取得并转换为三维坐标系(X₂Y₂Z₂)的位置方向信息，将粘贴在球体即3D膀胱模型M1的内表面上的内窥镜图像粘贴在2D模型M2的图(以下称为2D模型图像)上。

即，S7的处理构成如下的图像生成部，生成在通过构成位置对齐部的S1～S3将物镜光学窗11a的位置和3D模型图像的坐标系中的位置对应起来的规定的脏器的模型图像上粘贴被检体内图像而得到的图像。通过在二维坐标系(U,V)的2D膀胱模型M2的图像上的位置处粘贴投影到三维坐标系(X₂Y₂Z₂)中规定的3D膀胱模型M1的球体内表面上的内窥镜图像，进行S7的粘贴处理。

如上所述决定粘贴在2D膀胱模型M2的图像上的内窥镜图像的位置和方向，要粘贴的内窥镜图像的大小例如根据前端部2d与膀胱B的摄像部位之间的距离而变更。

S3中决定的位置和方向的基准信息是以体外的磁场产生装置7为基准而决定的三维坐标系(X₀Y₀Z₀)中的位置和方向，S7的粘贴处理中的位置和方向是以2D膀胱模型M2的颈部RP为基准的二维坐标系(U,V)中的位置和方向。

由此，CPU 21从S3得到的基准信息中导出二维坐标系中的前端部2d的位置方向信息，根据该导出的位置方向信息，计算将内窥镜图像投影到2D模型图像上并进行粘贴的位置和倾斜度。

在粘贴内窥镜图像的位置已经粘贴了内窥镜图像的情况下，以将后取得的图像重叠粘贴在先取得并粘贴的内窥镜图像上的方式，进行S7中的内窥镜图像的粘贴。

然后，CPU 21将粘贴的内窥镜图像、2D模型图像上的位置和方向、以及有无释放信号的各信息记录在存储器22中(S8)。即，S8的处理构成如下的记录部：将由摄像元件11取得的被检体内图像即内窥镜图像以及由位置方向检测部25取得的位置信息和方向信息关联起来进行记录。

接着，CPU 21执行最前面粘贴处理(S9)。最前面粘贴处理是如下的处理：在存在多个粘贴在2D模型图像上的内窥镜图像、且以整体或一部分相互重合的方式进行粘贴的情况下，存在释放信号的内窥镜图像配置在最前面，不会由于其他内窥镜图像而不进行显示。即，按压了内窥镜2的释放按钮13时的被检体内图像优先于其他被检体内图像而粘贴在规定的脏器的模型图像上的最前面。

另外，在S9中，在存在释放信号的多个内窥镜图像的全部或一部分重合的情况下，将后取得的图像重叠粘贴在先取得并粘贴的内窥镜图像上。

由此，仅对在S7中粘贴的内窥镜图像的像素位置存在已经粘贴的其他内窥镜图像的像素的像素区域进行S9的处理。

CPU 21将进行了最前面粘贴处理的2D模型图像经由显示I/F 23显示在监视器6中(S10)。此时，CPU 21还生成3D模型图像，与2D模型图像一起显示。CPU 21根据前端部2d的位置方向信息生成插入部2b的图像，通过将其重叠在3D模型图像上，生成3D模型图像。

在S10中，CPU 21根据S6中取得的前端部2d的位置和方向的信息来估计插入部的形状，生成该估计出的形状的插入部2b的图像。由此，在S10的处理中，具有根据S6中取得的前端部2d的位置信息和方向信息以及尿道口RP的位置信息和朝向信息进行插入部2b的形状估计的形状估计部，在S10中，执行在与规定的脏器有关的3D模型图像上重叠由形状估计部估计出的形状信息即插入部图像的处理。

CPU 21判定是否从膀胱B中拔出了插入部21的前端部2d(S11)。通过判定前端部2d的位置坐标是否从膀胱B的颈部移动到尿道内，能够进行S11的判定。

在未从膀胱B内拔出前端部2d的情况下(S11：否)，处理返回S4，CPU 21反复进行S4～S11的处理，直到从膀胱B内拔出前端部2d为止。

图12是示出监视器6的画面上显示的内窥镜检查时的显示画面的例子的图。如图12所示，画面G1是由CPU 21生成的画面，包括2D模型图像显示部31、3D模型图像显示部32、显示实时内窥镜图像(以下称为实时图像)的实时图像显示部33。

2D模型图像显示部31是显示与图10的2D模型对应的2D模型图像的区域。在2D模型图像显示部31中显示2D的膀胱展开图即2D模型图像31a、以及通过S7和S9的处理粘贴在2D模型图像31a上的被检体内图像即内窥镜图像31b。

3D模型图像显示部32是显示与图9的3D模型对应的3D模型图像的区域。在3D模型图像显示部32中显示3D模型图像32a、以及表示3D模型中的插入部2b的前端部2d的位置和方向的插入部图像32b。如上所述，CPU 21根据前端部2d的当前位置方向信息生成插入部图像32b。

图12的2D模型图像显示部31显示前端部2d进入膀胱B内并朝向顶部方向时最初进行摄像而得到的内窥镜图像粘贴在2D模型图像31a上时的图像。

如上所述，与模型图像一起显示由摄像元件11取得的实时被检体内图像，进而，还与模型图像一起显示具有对实时被检体内图像进行摄像的摄像元件11的插入部2b的插入形状。

实时图像显示部33是直接显示监视器6从处理器5取得的内窥镜图像的区域。实时图像显示部33例如通过监视器6的PinP功能而包含在画面G1内。

另外，这里，利用监视器6的PinP功能将实时内窥镜显示在监视器6上，但是，也可以通过记录装置3的CPU 21在画面G1中合成实时图像并将其输出到监视器6。

图13是示出监视器6的画面上显示的显示画面的另一个例子的图。图13的2D模型图像显示部31显示前端部2d移动并朝向各种方向进行摄像而得到的多个内窥镜图像31b粘贴在2D模型图像31a上时的图像。

通过以规定的周期(这里为三十分之一秒的周期)反复进行S4～S11的处理，通过S7的粘贴处理重叠S5中取得的多个内窥镜图像，如图13所示，在2D模型图像显示部31中包含有多个内窥镜图像31b。粘贴有多个内窥镜图像的区域成为检查者观察的区域。由此，检查者仅看一下图13的图像，就能够简单地判别通过内窥镜观察的区域。

并且，在反复进行S4～S11的处理的期间内，插入部2b的前端部2d的位置和方向变化。另外，在3D模型图像显示部32中，在3D模型图像32a上显示示出当前的前端部2d的视线方向的插入部图像32b，所以，检查者能够简单地理解当前正在观察何处。

当从膀胱B内拔出前端部2d时(S11：是)，监视器6中显示的画面G1的2D模型图像显示部31成为显示对最后取得的内窥镜图像进行了处理时的图像的状态。并且，在3D模型图像显示部32中仅显示有未显示插入部2b的插入部图像32b的3D模型图像32a，在实时图像显示部33中不显示膀胱B内的实时图像。

检查者也可以将2D模型图像显示部31的图像作为患者的病历的数据记录在存储器22的非易失性存储器部中，也可以进行打印并粘贴在病历上。

这里，对坐标系的转换和内窥镜图像的粘贴进行说明。

图14是用于说明磁场产生装置7的坐标系和床8上的患者P的膀胱B的坐标系的关系的图。位置方向检测部25实时生成以磁场产生装置7的第1坐标系(X₀Y₀Z₀)为基准的位置方向信息。

因此，在S3中，如图14所示，CPU 21将膀胱B的入口的位置和方向决定为基准位置和基准方向，根据下式(1)和式(2)，将位置方向检测部25的位置方向信息转换为以膀胱B的入口为基准的坐标系(X₁Y₁Z₁)的位置方向信息。

P₁＝R₀₁P₀+M₀₁            ···式(1)

V₁＝R₀₁V₀            ···式(2)

这里，P₀和V₀分别是以磁场产生装置7为基准的坐标系即第1坐标系(X₀Y₀Z₀)中的位置和方向矢量。R₀₁是下式(3)所示的旋转矩阵，M₀₁是下式(4)所示的平移矩阵。

[式3]

$R_{01}=\left(\begin{array}{ccc}{r}_{00}& r_{01}& r_{02}\\ r_{10}& r_{11}& r_{12}\\ r_{20}& r_{21}& r_{22}\end{array}\right)$       ···式(3)

[式4]

$M_{01}=\left(\begin{array}{c}{m}_{x01}\\ m_{y01}\\ m_{z01}\end{array}\right)$          ···式(4)

由此，如下式(5)所示，第1坐标系(X₀Y₀Z₀)上的点(x₀,y₀,z₀)被转换为中间坐标系(X₁Y₁Z₁)上的点(x₁,y₁,z₁)。

[式5]

$\left(\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right)=\left(\begin{array}{ccc}{r}_{00}& r_{01}& r_{02}\\ r_{10}& r_{11}& r_{12}\\ r_{20}& r_{21}& r_{22}\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)+\left(\begin{array}{c}{m}_{x01}\\ m_{y01}\\ m_{z01}\end{array}\right)$         ···式(5)

当设检测到内窥镜的前端部2d插入到膀胱B内时的位置方向检测部25的位置和方向的矢量为P′₀、V′₀时，通过下式(6)求出平移矩阵M₀₁。

M₀₁＝-P′₀            ···式(6)

并且，以满足以下条件的方式求出旋转矩阵R₀₁。图15是用于说明投影到中间坐标系(X₁Y₁Z₁)上的方向矢量的图。旋转矩阵R₀₁要满足的条件为Z₁与重力方向平行、以及将V′₀投影到与Z₁垂直的X₁Y₁平面上，设该投影的矢量方向为Y₁、与Y₁Z₁平面垂直的矢量为X₁。

在S6中，进而，根据下式(7)和式(8)，中间坐标系(X₁Y₁Z₁)的位置和方向矢量被转换为以3D膀胱模型M1的中心为基准的第2坐标系(X₂Y₂Z₂)中的位置和方向矢量。图16是用于说明中间坐标系(X₁Y₁Z₁)和第2坐标系(X₂Y₂Z₂)的关系的图。

P₂＝R₁₂P₁+M₀₂          ···式(7)

V₂＝R₁₂V₁               ···式(8)

这里，P₁和V₁分别是中间坐标系(X₁Y₁Z₁)中的位置和方向矢量，P₂和V₂分别是第2坐标系(X₂Y₂Z₂)中的位置和方向矢量。V₂是第2坐标系(X₂Y₂Z₂)中的内窥镜图像的中心的像素的方向矢量。R₁₂是下式(9)所示的旋转矩阵，M₀₂是下式(10)所示的平移矩阵。

[式9]

$R_{12}=\left(\begin{array}{ccc}{r}_{00}^{\′}& r_{01}^{\′}& r_{02}^{\′}\\ r_{10}^{\′}& r_{11}^{\′}& r_{12}^{\′}\\ r_{20}^{\′}& r_{21}^{\′}& r_{22}^{\′}\end{array}\right)$        ···式(9)

[式10]

$M_{02}=\left(\begin{array}{c}{m}_{x12}\\ m_{y12}\\ m_{z12}\end{array}\right)$                 ···式(10)

由此，如下式(11)所示，中间坐标系(X₁Y₁Z₁)上的点(x₁,y₁,z₁)被转换为第2坐标系(X₂Y₂Z₂)上的点(x₂,y₂,z₂)。

[式11]

$\left(\begin{array}{c}{x}_2\\ y_2\\ z_2\end{array}\right)=\left(\begin{array}{ccc}{r}_{00}^{\′}& r_{01}^{\′}& r_{02}^{\′}\\ r_{10}^{\′}& r_{11}^{\′}& r_{12}^{\′}\\ r_{20}^{\′}& r_{21}^{\′}& r_{22}^{\′}\end{array}\right)\left(\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right)+\left(\begin{array}{c}{m}_{x12}\\ m_{y12}\\ m_{z12}\end{array}\right)$            ···式(11)

在使X₁Y₁Z₁坐标系在Y₁轴方向上移动R₂的情况下，平移M₁₂和旋转R₁₂分别成为式(12)和式(13)。

[式12]

$M_{12}=\left(\begin{array}{c}{m}_{x12}\\ m_{y12}\\ m_{z12}\end{array}\right)=\left(\begin{array}{c}0\\ -R_2\\ 0\end{array}\right)$            ···式(12)

[式13]

$R_{12}=\left(\begin{array}{ccc}{r}_{00}^{\′}& r_{01}^{\′}& r_{02}^{\′}\\ r_{10}^{\′}& r_{11}^{\′}& r_{12}^{\′}\\ r_{20}^{\′}& r_{21}^{\′}& r_{22}^{\′}\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& \text{0}& 1\end{array}\right)$            ···式(13)

如上所述，通过式(5)和式(11)，磁场产生装置7的第1坐标系(X₀Y₀Z₀)的位置P₀被转换为以3D模型的中心为基准的第2坐标系(X₂Y₂Z₂)的位置P₂，根据下式(14)，第1坐标系(X₀Y₀Z₀)中的方向V₀被转换为第2坐标系(X₂Y₂Z₂)的方向V₂。

V₂＝R₁₂R₀₁V₀         ···式(14)

并且，在S7的内窥镜图像的粘贴处理中，在第2坐标系(X₂Y₂Z₂)中，对在3D膀胱模型M1的内表面上粘贴内窥镜图像的情况下的坐标的计算进行说明。

3D模型M1将膀胱B的形状假设为半径R2的球体。内窥镜图像粘贴在该球体的内表面上。图17是用于在第2坐标系(X₂Y₂Z₂)中说明球体的内表面上的坐标的图。图18是用于根据前端部2d的位置和方向矢量说明第2坐标系(X₂Y₂Z₂)中的位置P₂和方向V₂的图。

当决定了前端部2d的第2坐标系(X₂Y₂Z₂)中的位置P₂和方向V₂后，求出所得到的内窥镜图像的球体的内表面上的坐标。因此，计算满足下式(15)和式(16)的系数k，求出第2坐标系(X₂Y₂Z₂)中的坐标P₂₁。

P₂₁＝P₂+kV₂         ···式(15)

|P₂₁|＝R₂           ···式(16)

内窥镜图像被投影到所求出的坐标P₂₁的位置并进行粘贴。

接着，第2坐标系(X₂Y₂Z₂)中的位置被投影到2D模型的坐标系上。首先，在膀胱B的腹侧的半球的情况下(0≦Z₂)，二维膀胱模型左右反转，所以，u方向的值如下式(17)所示，v方向的值如下式(18)所示。

u＝-x₂₁           ···式(17)

v＝y₂₁+R₂        ···式(18)

并且，在膀胱B的后背侧的半球的情况下(Z₂<0)，二维膀胱模型左右反转，所以，u方向的值如下式(19)所示，v方向的值如下式(20)所示。

u＝-x₂₁           ···式(19)

v＝-y₂₁-R₂        ···式(20)

图19是用于说明二维坐标系(U,V)中的坐标关系的图。

如上所述，方向矢量V₂是第2坐标系(X₂Y₂Z₂)中的内窥镜图像的图像中心的像素的方向矢量。由此，针对内窥镜图像中的图像中心的像素以外的像素求出各像素的方向矢量，通过反复进行上述式(15)～式(20)的转换运算，能够将内窥镜图像的整体粘贴在第2坐标系(X₂Y₂Z₂)的球体的内表面上。

图20是用于说明对内窥镜图像的整体进行扫描并在第2坐标系(X₂Y₂Z₂)的球体的内表面上粘贴各像素的情况的图。如虚线所示，在规定的方向上扫描内窥镜图像EI的各像素，并且在第2坐标系(X₂Y₂Z₂)的球体的内表面上粘贴各像素。在图20中，V₂′表示内窥镜图像EI的各像素的粘贴矢量，P₂₁′表示第2坐标系(X₂Y₂Z₂)的球体的内表面的粘贴矢量。

如上所述，根据本实施方式，对膀胱B内进行检查的部分的内窥镜图像重叠在2D模型图像31a上，并且按压了释放按钮13时的内窥镜图像在2D模型图像31a上重叠显示在最前面，所以，检查者能够简单地确认在膀胱B内确认的区域，能够清楚看到病变部或关注部位的图像。

另外，在2D模型图像31a上粘贴内窥镜图像的情况下，也可以仅粘贴按压了释放按钮13时的内窥镜图像。

图21是示出监视器6的画面上显示的图像的另一个例子的图。在2D模型图像显示部31中，仅按压了释放按钮13时的内窥镜图像粘贴在2D模型图像31a上。检查者也可以将图21的2D模型图像显示部31的图像作为患者的病历的数据记录在存储器22的非易失性存储器部中，还可以进行打印并粘贴在病历上。

在上述例子中，由于磁传感器12是6轴传感器，所以，以使粘贴在2D模型图像上的多个内窥镜图像的上下左右方向一致的方式进行粘贴。但是，磁传感器12也可以是5轴传感器。

图22是示出使用了5轴传感器的情况下的监视器6的画面上显示的图像的例子的图。图23是示出使用了5轴传感器的情况下的仅按压了释放按钮13时的内窥镜图像粘贴在2D模型图像31a上的图像的例子的图。图22对应于图13，图23对应于图21。

在磁传感器12为5轴传感器时，无法检测插入部2b的绕轴的转动角度，但是，如图22和图23所示，各内窥镜图像31b以与插入部2b的绕轴转动无关的规定的角度粘贴在2D模型图像31a上。

即使使用5轴传感器，也能够得到与上述实施方式相同的效果。

进而，在上述例子中，通常光观察模式中的内窥镜图像粘贴在脏器模型图像上，但是，也可以将特殊光观察模式中的内窥镜图像粘贴在脏器模型图像上。

该情况下，在上述图13、图21～图23中，内窥镜图像31b不是通常光的内窥镜图像，而是特殊光(这里为窄带光)的内窥镜图像。

并且，也可以显示2个脏器模型图像，在一方上粘贴通常光的内窥镜图像，在另一方上粘贴特殊光的内窥镜图像。

图24是示出对应于2个观察模式显示2个脏器模型的图像的情况下的显示画面的例子的图。

在图24中，对与图13、图21～图22中相同的结构要素标注相同标号并省略说明。另外，图24示出使用了6轴传感器的情况下的例子。

在图24中，除了通常光的内窥镜图像的脏器模型图像以外，在画面上追加用于粘贴特殊光的内窥镜图像的2D模型图像显示部34。

在2D模型图像显示部34中显示2D模型图像34a、以及通过S7和S9的处理粘贴在2D模型图像34a上的特殊光的内窥镜图像34b。

由于在2D模型图像显示部31中显示通常光的内窥镜图像，在2D模型图像显示部34中显示窄带光的内窥镜图像，所以，检查者能够对双方进行比较来进行检查等，并且，在此后的检查中，如果在病历中添加双方的图像，则检查者能够更加详细地得知上次检查中的脏器的状态。

由此，在构成图像生成部的S7中，设定多个模型图像，并且，在根据照明部即光源装置4的照明光的种类而设定的多个模型上粘贴与照明光的种类对应的内窥镜图像。

另外，与通常光的内窥镜图像相比，窄带光的内窥镜图像示出更加细致的粘膜表面内部的纹理，所以，也可以在2D模型图像显示部31的2D模型图像31a上，在最前面粘贴按压了释放按钮时的窄带光的内窥镜图像，生成在1个2D模型图像显示部上贴合通常光的内窥镜图像和窄带光的内窥镜图像双方的图像。

进而，观察内窥镜图像的检查者通过监视器6中显示的内窥镜图像的变化而得知前端部2d进入膀胱内，所以，检查者通过在前端部2d进入膀胱B内时在操作部2a或处理器5的操作面板中进行规定的操作，也可以记录基准的位置和方向。即，也可以根据检查者进行的规定的操作输入，进行物镜光学窗11a的位置和方向以及脏器模型图像的坐标系的位置对齐。

并且，检查者在体腔外指定从尿道进入膀胱的位置，设定包含该位置的平面(与以膀胱B的入口为基准的坐标系(X₁Y₁Z₁)的Y₁方向垂直的平面)。也可以记录将内窥镜插入到尿道中并穿过该平面时的位置和朝向作为基准的位置和方向。即，也可以根据相对于预先设定的基准平面的位置信息，进行物镜光学窗11a的位置和方向以及脏器模型图像的坐标系的位置对齐。

如上所述，根据上述本实施方式的内窥镜系统，能够实现如下的内窥镜系统：为了使检查者容易地得知内窥镜图像的检查对象脏器中的位置，将内窥镜图像粘贴在对象脏器的脏器模型图像上，所以，能够缩短内窥镜的检查时间或处置时间。

进而，根据上述本实施方式的内窥镜系统，能够容易地确认膀胱B内的病变部的位置和正在观察的区域，所以，能够防止病变部的遗漏，能够降低再检查率，并且能够降低针对病历的记载错误。

(第2实施方式)

在上述第1实施方式中，假设3D模型M1和2D模型M2的尺寸为规定的标准尺寸，但是，为了提高将进行摄像而得到的内窥镜图像粘贴在2D模型图像上的位置的精度、并且提高3D模型图像上显示的前端部2d的位置和形状的精度，也可以测定患者的膀胱B的尺寸，根据该测定出的尺寸估计3D膀胱模型M1的尺寸。

在本实施方式中，内窥镜图像的粘贴处理的流程的一部分与图3的内窥镜图像的粘贴处理的流程不同。

图25是示出本实施方式的膀胱内的观察时的内窥镜图像的粘贴处理的流程的例子的流程图。在图25中，对与图3相同的处理标注相同标号并省略说明。

如图25所示，在S2的处理后，CPU 21测量从膀胱的入口到与膀胱的入口对置的膀胱的壁面即顶部的壁面的距离(S21)。

例如，在监视器6上显示规定的消息，检查者使前端部2d与顶部的壁面接触，通过运算来求出该接触时的位置与膀胱的入口的位置之间的距离，由此，能够进行该测量。

具体而言，在S2的处理后，CPU 21在监视器6的画面上生成“请使插入部的前端与顶部的中央部接触。然后，请在该接触的状态下按压释放按钮。”这样的消息并进行显示。

当用户即检查者移动插入部2b并在使前端部2d与顶部的中央部接触的状态下按压释放按钮13时，CPU 21从位置方向检测部25中取得按压了释放按钮13时的前端部2d的位置方向信息，根据该取得的位置方向信息的位置与S2中取得的膀胱B的入口的位置之差，能够运算并求出从膀胱的入口到与膀胱的入口对置的膀胱的壁面即顶部的壁面的距离。

由此，在S21后，CPU 21进行与S3相同的基准决定，估计并决定与S21中得到的距离对应的3D模型M1和2D模型M2的大小(S22)。

在S4～S11的处理中，在粘贴内窥镜图像时使用S22中决定的大小的2个膀胱模型的图像。

图25中的S4～S11的处理与图3相同。

由此，根据本实施方式，由于测定从颈部到顶部的距离并估计球体即患者的膀胱的直径，所以，能够在更加准确的位置粘贴内窥镜图像。

另外，作为本第2实施方式和变形例，也可以利用记录装置3所具有的立体测量功能，测定从颈部到顶部的距离。即，也可以使内窥镜的前端部移动微小距离，CPU21从2点位置对顶部进行摄像，根据2点间的距离和顶部的2个图像运算并求出从摄像元件到顶部的距离，由此测定膀胱的尺寸。

例如，在颈部的位置处使前端部2d的位置稍微偏移，对2个顶部的图像进行摄像，根据进行摄像而得到的2个图像来测定颈部与顶部之间的距离。这样，将所得到的距离作为膀胱的直径来决定膀胱模型的大小。

(第3实施方式)

在上述第1实施方式中，假设3D模型M1和2D模型M2的尺寸为规定的标准尺寸，在第2实施方式中，使前端部2d与顶部接触并求出从膀胱的入口到顶部的距离，但是，为了提高将进行摄像而得到的内窥镜图像粘贴在2D模型图像上的位置的精度、并且提高3D模型图像上显示的前端部2d的位置和形状的精度，也可以利用记录装置3所具有的立体测量功能，测定患者的膀胱B的形状，将该测定出的形状作为3D膀胱模型M1。

在将与膀胱B的内窥镜图像的位置对应的3D膀胱模型M1上的位置投影到球体内表面上时，上述式(15)和式(16)分别被置换为下式(21)和式(22)。图26是用于在第2坐标系(X₂Y₂Z₂)中说明球体的内表面上的坐标的图。图27是用于根据前端部2d的位置和方向矢量说明第2坐标系(X₂Y₂Z₂)中的位置P₂和方向V₂以及坐标P₂₁的图。

当决定了前端部2d的第2坐标系(X₂Y₂Z₂)中的位置P₂和方向V₂后，求出所得到的内窥镜图像与球体的内表面的交点的坐标。因此，计算满足下式(21)和式(22)的系数k，求出第2坐标系(X₂Y₂Z₂)中的坐标P₂₁。

[式21]

$\left|P_s\right|=\sqrt{x_s^2+y_s^2+z_s^2}$               ···式(21)

[式22]

|P_s|＝k|P₂₁|＝kR₂                ···式(22)

内窥镜图像被投影到所求出的坐标P₂₁的位置并进行粘贴。

因此，通过本实施方式的内窥镜系统，也能够得到与第1实施方式相同的效果。

如上所述，根据上述各实施方式，能够实现如下的内窥镜系统：为了使检查者容易地得知内窥镜图像的检查对象脏器中的位置，将内窥镜图像粘贴在对象脏器的脏器模型图像上，所以，能够缩短内窥镜的检查时间或处置时间。

另外，在上述各实施方式中，内窥镜图像粘贴在二维脏器模型图像上，但是，也可以粘贴在3D图像即三维脏器模型的图像上。即，模型图像不仅可以是2D图像，还可以是3D图像。

进而，在上述各实施方式中，将膀胱内的内窥镜图像粘贴在膀胱的2D模型图像上，但是，上述各实施方式的内窥镜系统也可以应用于膀胱以外的其他脏器、例如胃、子宫。

在胃的情况下从食道进入胃时，在肺的情况下在气管下方最初分支为左右支气管时，在子宫的情况下从子宫颈部进入子宫内时等，能够根据图像的变化来决定基准信息，能够粘贴在脏器模型图像上。

并且，在上述2个实施方式中，内窥镜2是具备具有挠性的插入部的软性镜，但是，本发明也可以应用于硬性镜或扫描型内窥镜等其他类型的内窥镜，进而，还能够应用于插入部具有将入射到前端部的物镜光学窗的光引导到基端部的导光部件的内窥镜。

进而，上述内窥镜系统利用于记录或显示脏器内的内窥镜图像的位置，但是，也能够利用于随机活体组织检查中的活检位置的记录。

本发明不限于上述实施方式，能够在不改变本发明主旨的范围内进行各种变更、改变等。

本申请以2013年3月6日在日本申请的日本特愿2013-44602号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书、权利要求书中。

Claims (13)

1.一种内窥镜系统，其特征在于，该内窥镜系统具有：

插入部，其插入到被检体内；

物镜光学窗，其设置在所述插入部的前端侧，接收来自所述被检体的光；

摄像部，其根据从所述物镜光学窗入射的光对所述被检体内进行摄像；

位置信息取得部，其取得所述物镜光学窗的位置信息；

位置对齐部，其根据所述被检体内的被检体内图像信息的变化量、规定的操作输入、或相对于预先设定的基准平面的所述位置信息，使所述位置信息取得部所取得的所述物镜光学窗的位置和所述被检体内的规定的脏器的模型图像的坐标系中的位置一致；以及

图像生成部，其生成在通过所述位置对齐部将所述物镜光学窗的位置和所述坐标系中的位置对应起来后的所述规定的脏器的模型图像上粘贴了所述被检体内图像的图像。

2.根据权利要求1所述的内窥镜系统，其特征在于，

所述位置对齐部将在所述位置信息取得部中取得的所述物镜光学窗的位置和方向与所述规定的脏器的所述模型图像的坐标系中的位置和方向对应起来。

3.根据权利要求1所述的内窥镜系统，其特征在于，

除了所述位置信息以外，所述位置信息取得部还取得方向信息，

所述内窥镜系统还具有形状估计部，该形状估计部根据所述位置信息和所述方向信息进行所述插入部的形状估计，

所述图像生成部在与所述规定的脏器有关的三维模型图像上重叠由所述形状估计部估计出的形状信息。

4.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统还具有照明部，该照明部以能够切换的方式对所述被检体照射白色光或具有规定的波段的特殊光，

所述图像生成部设定多个所述模型图像，并且，在根据所述照明部的照明光的种类而设定的多个模型上粘贴所述被检体内图像。

5.根据权利要求4所述的内窥镜系统，其特征在于，

所述特殊光是窄带光。

6.根据权利要求1所述的内窥镜系统，其特征在于，

所述被检体内图像信息的变化量是从所述被检体内图像中提取而得到的亮度、色调或纹理的变化量。

7.根据权利要求1所述的内窥镜系统，其特征在于，

所述模型图像是2D的膀胱展开图。

8.根据权利要求1所述的内窥镜系统，其特征在于，

所述模型图像是3D图像或2D图像。

9.根据权利要求1所述的内窥镜系统，其特征在于，

所述图像生成部将所述模型图像与由所述摄像部取得的实时被检体内图像一起显示。

10.根据权利要求9所述的内窥镜系统，其特征在于，

所述图像生成部显示插入部的插入形状，该插入部具有拍摄所述实时被检体内图像的所述摄像部。

11.一种内窥镜系统的工作方法，该内窥镜系统具有位置信息取得部、摄像部、位置对齐部、图像生成部，其中，所述位置信息取得部取得内窥镜的插入部的接收来自被检体的光的物镜光学窗的位置信息，所述摄像部根据从所述物镜光学窗输入的光对所述被检体内进行摄像，所述内窥镜系统的工作方法的特征在于，

所述位置对齐部根据所述被检体内的被检体内图像信息的变化量、规定的操作输入、或相对于预先设定的基准平面的所述位置信息，使所述位置信息取得部所取得的所述物镜光学窗的位置和所述被检体内的规定的脏器的模型图像的坐标系中的位置一致，

所述图像生成部生成在通过所述位置对齐部将所述物镜光学窗的位置和所述坐标系中的位置对应起来后的所述规定的脏器的模型图像上粘贴了所述被检体内图像的图像。

12.根据权利要求11所述的内窥镜系统的工作方法，其特征在于，

所述位置对齐部通过将在所述位置信息取得部中取得的所述物镜光学窗的位置和方向与所述规定的脏器的所述模型图像的坐标系中的位置和方向对应起来，使所述摄像部的位置信息和所述被检体内的规定的脏器的模型图像的坐标系一致。

13.根据权利要求11所述的内窥镜系统的工作方法，其特征在于，

所述内窥镜系统具有形状估计部，

除了所述位置信息以外，所述位置信息取得部还取得方向信息，

所述形状估计部根据所述位置信息和所述方向信息进行所述插入部的形状估计，

所述图像生成部通过在与所述规定的脏器有关的三维模型图像上重叠通过所述形状估计而得到的形状信息，生成粘贴了所述被检体内图像的图像。