CN101065052A - 医疗图像处理装置和医疗图像处理方法 - Google Patents

Abstract

本发明提供医疗图像处理装置和医疗图像处理方法。图像变换部对拍摄体腔内的管状部位而得到的医疗图像进行几何变换，展开图输出部把由图像变换部所获得的变换图像作为展开图的图像而输出到显示装置。

Description

医疗图像处理装置和医疗图像处理方法

技术领域

本发明涉及针对内窥镜图像等医疗图像进行生成展开图的图像等图像处理的医疗图像处理装置和医疗图像处理方法。

背景技术

近年，内窥镜在医疗等领域中被广泛采用。例如，食道疾病之一有巴瑞特食道(Barrett esophagus)。

食道被扁平表皮的粘膜覆盖，胃和肠被圆柱表皮的粘膜覆盖。巴瑞特食道被认为是由于胃酸反流到食道而使胃和食道的接合部附近的食道粘膜(扁平表皮)从胃开始连续地变性成圆柱表皮。

作为巴瑞特食道的诊断方法，利用内窥镜诊断，该诊断方法使用内窥镜来观察从胃和食道的接合部开始连续存在的圆柱表皮的扩展方法以及圆柱表皮和扁平表皮的边界的特征形状。

在作为现有例的日本国特开平8-256295号公报中公开了一种对在所获得的内窥镜图像中的周围部产生的光学失真进行校正的装置。

上述日本国特开平8-256295号公报中，尽管可对在内窥镜图像中的周围部产生的光学失真进行校正，然而在使用直视型内窥镜来观察大致圆管形状的食道的情况下，由于食道和内窥镜前端的位置/方向、光学失真等的影响，而不能在容易识别的状态下显示圆柱表皮的扩展方法以及圆柱表皮和扁平表皮的边界特征。

即，在现有例中不能用容易诊断的展开图(的图像)进行显示。

发明内容

本发明的目的是提供一种可根据对巴瑞特食道等的管状部位进行了摄像而得到的医疗图像来生成容易诊断的展开图的图像的医疗图像处理装置。

本发明的另一目的是提供一种可获得正确的展开图的图像的医疗图像处理装置和医疗图像处理方法。

本发明的医疗图像处理装置，其特征在于，该医疗图像处理装置具有：图像变换部，其对拍摄生物体内的管状部位而得到的医疗图像进行几何变换；以及展开图输出部，其把由上述图像变换部所获得的变换图像作为展开图的图像而输出到显示装置。

根据上述结构，通过对拍摄食道那样的管状部位而得到的医疗图像进行几何变换，并作为展开图的图像输出到显示装置，从而可在容易诊断的状态下观察管状部位的内表面的状态。

本发明的医疗图像处理方法，其特征在于，该医疗图像处理方法具有：图像变换步骤，该步骤对拍摄体腔内的管状部位而得到的医疗图像进行几何变换；以及展开图输出步骤，该步骤从由上述图像变换步骤所获得的变换图像作为展开图的图像而输出到显示装置。

根据上述结构，通过对拍摄食道那样的管状部位而得到的医疗图像进行几何变换，并作为展开图的图像输出到显示装置，从而可在容易诊断的状态下观察管状部位的内表面的状态。

附图说明

图1是示出具有本发明的实施例1的内窥镜系统的结构的框图。

图2是示出由插入食道那样的管状器官内的内窥镜进行摄像的情况的图。

图3是示出由设置在图2的内窥镜内的摄像装置所拍摄的内窥镜图像的图。

图4是示出CPU的图像处理功能的框图。

图5是示出用于生成展开图的处理过程的流程图。

图6是示出内窥镜图像和展开图的关系的图。

图7是从展开图获得的坐标位置和内窥镜图像的各像素的位置关系的说明图。

图8是示出把所生成的展开图和内窥镜图像显示在监视器上的状态的图。

图9是示出把本发明的实施例2中的内窥镜图像投影在圆柱体表面上的情况的说明图。

图10是示出用于生成实施例2中的展开图的处理过程的流程图。

图11是用于示出内窥镜图像中的各像素位置的说明图。

图12是用于把内窥镜图像的各像素的位置投影在圆柱体表面上，标上各像素的亮度值来生成展开图的说明图。

图13是在标有内窥镜图像的各像素的位置和作为展开图显示在显示装置上的图像的位置不一致的情况下进行插值处理的说明图。

图14是示出把本发明的实施例3中的内窥镜图像投影在圆柱体表面上的情况的说明图。

图15是示出来自光源的光在物体表面反射的情况的说明图。

图16A是示出内窥镜的摄像装置存在于圆柱体的中心轴上的位置关系和对应的模型图像的图。

图16B是示出摄像装置从图16A的状态向上方向平行移动后的位置关系和对应的模型图像的图。

图16C是示出从图16A的状态使插入部的轴向倾斜后的位置关系和对应的模型图像的图。

图17是示出用于生成实施例3中的展开图的处理过程的流程图。

图18是具有变形例的胶囊型内窥镜系统的结构图。

图19是示出具有本发明的实施例4的内窥镜系统的结构的框图。

图20是示出CPU的图像处理功能的框图。

图21是示出用于生成展开图的处理过程的流程图。

图22是示出物体上的与所拍摄的图像的各像素对应的对应点和光源等的位置关系的图。

图23A是示出来自光源的光在物体表面反射的情况的图。

图23B是具体示出图23A的情况的图。

图24是示出设定在对应点的周围的多个法线矢量的图。

图25是示出矢量m通过图像上的位置的图。

图26是用于求出通过三维形状的中心的直线的说明图。

图27是从三维形状的坐标系变换成以直线为基准的坐标系的说明图。

图28A是示出由直视型内窥镜获得的内窥镜图像的图。

图28B是示出图28A的内窥镜图像和对食道进行了模型化后的圆柱体表面的关系的说明图。

图28C是示出根据投影在图28B的圆柱体表面上的内窥镜图像所生成的展开图的图。

图29是通过插值处理来生成展开图的说明图。

图30是示出显示在显示装置上的内窥镜图像和展开图的图。

图31是示出用于生成本发明的实施例5中的展开图的处理过程的一部分的流程图。

图32是图31中的处理内容的说明图。

图33是求出模板图像和参照图像的移动量的情况的说明图。

图34是示出具有本发明的实施例6的内窥镜系统的结构的框图。

图35是示出由图34的内窥镜的摄像装置所拍摄的内窥镜图像的图。

图36是示出CPU的图像处理功能的图。

图37是示出经过生成展开图的处理来判定是否是巴瑞特食道的处理过程的流程图。

图38是示出内窥镜图像和所生成的展开图的关系的图。

图39是根据内窥镜图像生成展开图的处理过程的流程图。

图40是检测图37中的表皮边界的处理过程的流程图。

图41是示出显示了计算出的表皮边界的Z方向的平均值的展开图的图。

图42是示出通过预先确定了诊断的表皮边界的情况和巴瑞特食道的情况下的样本的离散值的直方图来计算成为判定基准的基准值的直方图例的图。

图43是示出显示了内窥镜图像、展开图以及判定结果的监视器上的显示例的图。

图44A是示出由直视型内窥镜取得的内窥镜图像的图。

图44B是示出图44A的内窥镜图像和对食道进行了模型化后的圆柱体表面的关系的说明图。

图44C是示出根据投影在图44B的圆柱体表面上的内窥镜图像所生成的展开图的图。

图45是示出本发明的实施例7中的内窥镜图像和展开图的图。

图46是示出经过生成展开图的处理来判定是否是巴瑞特食道的处理过程的流程图。

图47是示出本发明的实施例8中的内窥镜图像和展开图的图。

图48是示出经过生成展开图的处理来判定是否是巴瑞特食道的处理过程的流程图。

图49是计算实施例9中的展开图中的表皮边界上的相邻2点间的距离的情况的说明图。

图50是示出计算表皮边界的相邻2点间的距离的总和来判定是否是巴瑞特食道的处理过程的流程图。

图51A是示出在根据实施例10中的内窥镜图像所生成的展开图的表皮边界上设定了矢量的情况的说明图。

图51B是示出从展开图的表皮边界上的相邻3点求出相邻的两个矢量所成的角的情况的说明图。

图52是求出相邻的两个矢量所成的角的总和来判定是否是巴瑞特食道的处理过程的流程图。

图53是示出计算连接实施例11中的展开图的表皮边界上的相邻2点的矢量的斜率的情况的说明图。

图54是示出计算矢量的斜率从正变化到负、从负变化到正的拐点的总数，根据该总数判定是否是巴瑞特食道的处理过程的流程图。

具体实施方式

以下，参照附图对本发明的实施例进行说明。

(实施例1)

参照图1至图8对本发明的实施例1进行说明。

图1所示的内窥镜系统1包括：内窥镜观察装置2；成为本发明的医疗图像处理装置的实施例1的内窥镜图像处理装置(以下简称为图像处理装置)3，其由对该内窥镜观察装置2所获得的内窥镜图像进行图像处理的个人计算机等构成；以及显示监视器4，其显示由该图像处理装置3进行了图像处理后的图像。

内窥镜观察装置2具有：插入体腔内的内窥镜6；把照明光提供给该内窥镜6的光源装置7；进行对内窥镜6的摄像单元的信号处理的照相机控制单元(简称为CCU)8；以及被输入从该CCU 8所输出的影像信号，从而显示由摄像元件所拍摄的内窥镜图像的监视器9。

内窥镜6具有：插入体腔内的细长的插入部11，以及设置在该插入部11的后端的操作部12。并且，在插入部11内插通有传送照明光的光导13。

该光导13的后端与光源装置7连接。而且，从该光源装置7所提供的照明光由光导13传送，从安装在设置于插入部11的前端部14上的照明窗上的前端面射出(所传送的照明光)，对患部等被摄体进行照明。

设置有摄像装置17，该摄像装置17具有：安装在与照明窗相邻的观察窗上的物镜15，以及配置在该物镜15的成像位置上的作为固体摄像元件的例如电荷耦合元件(简称为CCD)16。而且，成像在该CCD 16的摄像面上的光学像由该CCD 16进行光电变换。

该CCD 16经由信号线与CCU 8连接，从该CCU 8施加CCD驱动信号，由此，CCD 16输出光电变换后的图像信号。该图像信号由CCU 8内的影像处理电路来进行信号处理，并变换成影像信号。该影像信号被输出到监视器9，在监视器9的显示面上显示内窥镜图像。该影像信号也被输入到图像处理装置3。

该图像处理装置3具有：图像输入部21，其被输入与从内窥镜观察装置2所输入的内窥镜图像对应的影像信号；作为中央运算处理装置的CPU 22，其对从该图像输入部21所输入的图像数据进行图像处理；以及处理程序存储部23，其存储使该CPU 22执行图像处理的处理程序(控制程序)23a。

并且，该图像处理装置3具有：图像存储部24，其存储从图像输入部21所输入的图像数据等；信息存储部25，其存储由CPU 22所处理过的信息等；作为存储装置的硬盘27，其经由存储装置接口(I/F)26存储由CPU 22所处理过的图像数据和信息等；显示处理部28，其进行用于显示由CPU 22所处理过的图像数据等的显示处理；以及输入操作部29，其由用户进行图像处理参数等的数据输入和指示操作的键盘等构成。

而且，由该显示处理部28所生成的影像信号显示在显示监视器4上，在该显示监视器4的显示面上显示图像处理后的处理图像。另外，图像输入部21、CPU 22、处理程序存储部23、图像存储部24、信息存储部25、存储装置接口26、显示处理部28以及输入操作部29经由数据总线30相互连接。

在本实施例中，如图2所示，在例如食道31那样的管状器官或管状部位内插入直视型内窥镜6的插入部11，由设置在前端部14的摄像装置17对食道31的内壁等进行摄像。设置在直视型内窥镜6内的摄像装置17把插入部11的长度方向作为进行摄像的视野方向。而且，使用该摄像装置17，在把该管腔方向作为大致视野方向的直视型的状态下对管状部位的内面进行摄像。

图3示出由该直视型内窥镜6所拍摄的巴瑞特食道的内窥镜图像Ia的一例。巴瑞特食道是食道粘膜(扁平表皮)从胃和食道的接合部开始向口腔连续地变性成胃粘膜(圆柱表皮)的状态。手术人员通过使用内窥镜6来观察该变性后的圆柱表皮的扩展方法以及圆柱表皮和扁平表皮的边界的特征形状，从而进行是否是巴瑞特食道的诊断。

在图3的内窥镜图像Ia的情况下，是从食道31到胃内部的管状部位的图像。具体地说，显示了到胃内部的最暗部(的图像部分)33，该最暗部的周围的胃和食道的接合部(的图像部分)34，接合部34的周围的圆柱表皮(的图像部分)35，以及该圆柱表皮35的周围的扁平表皮(的图像部分)36。

在本实施例中，使用直视型内窥镜6来对食道31那样的管状器官的对象物进行摄像，并对所拍摄的内窥镜图像Ia进行几何变换，进行生成展开图的处理，把所生成的对象物的展开图图像显示在显示监视器4上。

构成图像处理装置3的CPU 22如图4所示，具有：进行几何变换的几何图像变换单元(功能)22a，以及通过几何变换生成展开图图像而输出到显示监视器4的展开图输出单元(功能)22b，在该显示监视器4的显示面上显示展开图图像(或简称为展开图)。

在本实施例中，图4所示的几何图像变换单元22a和展开图输出单元22b是由CPU 22使用处理程序23a以软件方式实现的。为此，CPU 22读出存储在图1所示的处理程序存储部23内的处理程序23a，CPU 22根据该处理程序23a执行图5所示的流程图的处理。

下面参照图5对本实施例的动作进行说明。

开始图像处理装置3的动作，CPU 22读出处理程序存储部23的处理程序23a，开始根据该处理程序23a的处理。CPU 22在最初的步骤S1中，取得从内窥镜观察装置2的CCU 8经由图像输入部21所输入的内窥镜图像Ia的图像数据。

然后，在下一步骤S2中，CPU 22对所取得的图像数据进行失真像差校正(例如参照日本国特开平8-256295号公报)、噪音去除等预处理，在步骤S3中，CPU 22检测内窥镜图像Ia内的最暗部的位置，并把检测出的最暗部的重心位置作为内窥镜图像Ia的坐标的中心位置。

在本实施例中，以内窥镜图像Ia内的最暗部的位置为中心来生成展开图。作为最暗部的检测方法，把内窥镜图像Ia分割成多个区域，计算所分割的区域的平均亮度，求出具有最小平均亮度的区域作为最暗部的位置。

如图6的左侧所示把内窥镜图像Ia的二维正交坐标系设定为X-Y，从该内窥镜图像Ia变换成如图6的右侧所示采用展开图Ib的坐标系θ-Z的极坐标系。另外，坐标系X-Y中的坐标位置用x、y来表示。并且，极坐标系θ-Z中的坐标位置用表示周向的位置的θ和表示距中心的距离的位置的z来表示。

另外，为了容易明白在图6中根据内窥镜图像Ia生成展开图Ib的情况的关系，在把内窥镜图像Ia中的扁平表皮和圆柱表皮的表皮边界37、胃食道的接合部34(的边界)等作为展开图的情况下，利用箭头对应地示出以哪种形状来显示。并且，Q₀、Q₄₅、Q₉₀表示θ是0度、45度、90度的情况，在后述的其他实施例中也是一样。

然后在步骤S4和步骤S5中，CPU 22设定展开图Ib的坐标位置S(θ，z)的初始值。即，在步骤S4中，CPU 22设θ＝0，在步骤S5中设z＝0。

在步骤S6中，CPU 22根据以下的式(1)求出与所设定的展开图Ib的坐标S(θ，z)对应的内窥镜图像Ia的坐标位置。

[数式1]

x＝zsinθ

                      (1)

y＝zcosθ

在步骤S7中，CPU 22判断计算出的坐标P(x，y)是否存在于内窥镜图像Ia内。

然后，在CPU 22判断为存在于内窥镜图像Ia内的情况下，移到步骤S8的处理。如图7所示，根据式(1)获得的内窥镜图像的坐标P(x，y)的位置具有存在于像素之间的中间的可能性，因而在步骤S8中，CPU22使用线性插值等处理来计算坐标P(x，y)的亮度值。例如，CPU 22根据所获得的坐标位置(由符号×表示)的周围的四个像素○(由斜线表示)的亮度值和位置关系来求出坐标位置×的亮度值。

另外，作为亮度值，在进行彩色摄像的情况下，相当于各色信号的亮度值。

在步骤S9中，CPU 22把在步骤S8求出的亮度值作为展开图的坐标S(θ，z)的亮度值。然后进到步骤S10，CPU 22变更展开图的z值(例如z的增量Δz＝1)，回到步骤S6的处理。

另一方面，在步骤S7中计算出的坐标P(x，y)不存在于内窥镜图像Ia内的情况下，CPU 22进到步骤S11的处理，变更展开图Ib的θ值(例如θ的增量Δθ＝π/180，即1°)。

在下一步骤S12中，CPU 22在θ小于2π(360°)时回到步骤S5，继续展开图生成处理。另一方面，在θ大于等于2π的情况下，CPU 22判断为生成了展开图并进到步骤S13，把内窥镜图像Ia和展开图Ib输出到显示监视器4，结束处理。

然后，如图8所示在显示监视器4上显示内窥镜图像Ia和展开图Ib。另外，在图8中，显示内窥镜图像Ia和展开图Ib双方，然而也可以仅显示展开图Ib。

这样在本实施例中，生成展开图Ib，将该展开图Ib与内窥镜图像Ia一起显示在显示监视器4上，因而与内窥镜图像Ia的情况相比，可在更容易比较等的状态下显示周向(θ方向)和成为管腔方向的深度方向(z方向)的值，因而更容易客观地进行巴瑞特食道等管状器官的诊断。

在现有例中，仅显示图8中的内窥镜图像Ia，如果仅是该内窥镜图像Ia，则成为对管状器官等的内面进行了二维投影而得到的图像，例如根据深度方向的距离，在缩小的状态下显示各部。

因此，手术人员即使要对例如深度方向的值不同的部分进行比较，各部的刻度根据深度方向的距离而不同，因而也不能简单地进行比较。

相比之下，根据本实施例，在把二维拍摄的内窥镜图像Ia中的各像素的位置变换成围绕通过中心位置的基准线的周向的位置和与该周向垂直的(距中心位置的)距离位置的状态下，标注各像素的亮度值的信息，用周向的位置、即角θ值来展开显示。

换句话说，根据内窥镜图像Ia，生成与以长度方向(深度方向)的线将管状器官的内面切开后的图像对应的展开图图像并显示该图像。

因此，根据本实施例，即使在深度方向的距离不同的位置，也能使周向的刻度一致来进行显示，因此可简单地进行场所不同的部位的比较，可容易诊断地进行显示。

因此，本实施例具有以下效果。

通过对由直视型内窥镜6所拍摄的食道31那样的管状器官的内窥镜图像Ia进行几何变换，可容易观察从胃和食道的接合部开始连续存在的圆柱表皮的扩展方法以及圆柱表皮和扁平表皮的特征形状，因而具有容易进行巴瑞特食道等的诊断的效果。

(实施例2)

下面参照图9至图13对本发明的实施例2进行说明。

本实施例具有与图1的图像处理装置3相同的硬件结构。而且，本实施例采用内容与存储在图1的处理程序存储部23内的处理程序23a不同的处理程序。

在本实施例中，如图9所示，把食道内面假定为具有该食道内面的平均直径值的圆柱体41，对由内窥镜6的(CCD 16的)摄像面42所拍摄的内窥镜图像进行几何变换，以将其投影在圆柱体41的表面上。

即，如图9所示将由(构成摄像装置17的CCD 16的)摄像面42所拍摄的内窥镜图像通过圆柱体41的内侧投影在圆柱体41的表面上。在该情况下，圆柱体41的尺寸被设定为大致食道的管壁(内壁)的值，更具体地说是其平均值。

即，使用由物镜15和CCD 16构成的摄像装置17将接近圆管的食道内面成像在CCD 16的摄像面42上，使用对所成像的光学像进行光电变换的CCD 16来进行摄像。然后，进行几何变换，以便生成通过物镜16将所拍摄的主要与食道和胃连接的接合部附近的内窥镜图像投影在对该食道内侧的管壁进行了近似而得到的圆柱体41的内表面上的图像。

然后，通过该几何变换，展开被投影了内窥镜图像的圆柱体41，从而生成投影在该圆柱体41上的内窥镜图像的展开图(的图像)，把展开图输出到显示监视器4等显示装置，在该显示装置的显示面上显示展开图。

生成展开图的处理过程如图10的流程图所示。

与实施例1一样，开始图像处理装置3的动作，CPU 22读出处理程序存储部23的处理程序，开始根据该处理程序的处理。CPU 22在最初的步骤S21中，取得从内窥镜观察装置2的CCU 8经由图像输入部21所输入的内窥镜图像Ia的图像数据。

然后，在下一步骤S22中，CPU 22对所取得的图像数据进行失真像差校正、噪音去除等预处理，然后在步骤S23中，CPU 22检测内窥镜图像内的最暗部的位置，把检测出的位置作为内窥镜图像的坐标的中心位置。

CPU 22如图9所示把内窥镜图像(CCD 16的摄像面42)上的坐标系设定为X-Y，把圆柱体表面的坐标系设定为θ-Z。

如图11所示把内窥镜图像Ia的各像素设定为I(i，j)(1≤i≤i_max，1≤j≤j_max)，把最暗部的位置设定为I(io，jo)，则图9的内窥镜图像的坐标系X-Y中的坐标P(x，y)和内窥镜图像Ia的像素位置I(i，j)的关系用以下的式(2)表示。

[数式2]

x＝(i-i_o)x_CCD

                          (2)

y＝(j_o-j)y_CCD

其中，x_CCD和y_CCD是X轴、Y轴方向的像素间的距离。

然后在步骤S24和步骤S25中，CPU 22设定内窥镜图像Ia的像素的初始位置I(1，1)。即，设定为像素位置参数i＝1，j＝1。然后，在下一步骤S26中，CPU 22根据以下的式(3)求出与内窥镜图像Ia的坐标P(x，y)对应的圆柱体41的表面的坐标C(θ，z)。

[数式3]

$\mathrm{\θ}={\sin }^{-1}(x/\sqrt{x^2+y^2})$

$z=\mathrm{rf}/\sqrt{x^2+y^2}---\left(3\right)$

z_s＝r/tan(α/2)

其中，f是摄像系统(具体地说是物镜15)的焦距，r是圆柱体41的半径(例如根据食道的平均直径计算半径)，α是视场角。

在步骤S27中，CPU 22进行把与内窥镜图像Ia的像素I(i，j)(在目前情况下，i＝1，j＝1)对应的圆柱体41的表面的坐标位置C(θ，z)存储在图像存储部24等内的处理。

在下一步骤S28中，CPU 22使参数i增加1(沿水平方向使像素移动到相邻的像素)，在步骤S29中判断参数i是否小于等于i_max。然后，CPU 22在参数i小于等于i_max时，回到步骤S26，继续处理。

另一方面，在参数i大于i_max的情况下，CPU 22进到下一步骤S30的处理，在该步骤S30中，CPU 22使参数j增加1(沿垂直方向使像素移动到相邻的像素)。

在下一步骤S31中，CPU 22判断参数j是否小于等于j_max，在参数j小于等于j_max时，回到步骤S25，继续处理。另一方面，在参数j大于j_max的情况下，CPU 22移到下一步骤S32的处理。

在该步骤S32中，CPU 22求出与内窥镜图像Ia的所有像素I(i，j)对应的圆柱体41的表面的坐标位置C(θ，z)，(如下所述，通过插值处理)生成展开图。

CPU 22把图12的左侧的内窥镜图像Ia的各像素的亮度值标注在图12的右侧所示的圆柱体表面的坐标系θ-z上。

在图13所示的展开图Ib上显示的圆柱体表面上标注的像素不均匀地存在，Z值越大，就越粗。另外，在图13中，将其左侧的展开图Ib中的一部分在右侧放大示出。

并且，如图13所示所标注的各像素与显示在显示监视器4等显示装置上的图像的各像素位置不一致，因而通过插值处理来生成显示在显示装置上的图像、即展开图Ib。

即，CPU 22在步骤S32中，进行上述插值处理，生成可显示在显示监视器4等显示装置上的图像、即展开图Ib。然后，CPU 22在步骤S33中，把该展开图Ib与内窥镜图像Ia一起输出到显示监视器4。然后，如步骤S34所示在显示监视器4上，如图8所示显示展开图Ib和内窥镜图像Ia，结束该处理。然而，该展开图Ib作为与z方向相关的倾向与实施例1不同的展开图来显示。

本实施例具有以下效果。

把食道31那样的管状器官的内面假定为圆柱体41，通过把由内窥镜6的摄像面所拍摄的内窥镜图像Ia投影在圆柱体41上，来生成展开图Ib，因而可生成比实施例1更准确的展开图Ib。

即，在实施例1中，把内窥镜图像Ia的各位置变换成具有距该内窥镜图像Ia中的中心的距离z和距通过中心的基准位置的周向的位置信息、即角θ的极坐标系，根据角θ展开，与距离z一起作为展开图Ib来显示，相比之下，在本实施例中，把食道31的管状部位(管状器官)视为圆柱体41，把内窥镜图像Ia的位置投影在该圆柱体41的表面上来生成展开图Ib，因而可生成反映出更实际的状态的展开图Ib。

因此，根据本实施例，即使在深度方向(管腔的轴向)的值不同的部分中，也能获得更容易比较的展开图Ib。

另外，在实施例1和实施例2中，检测内窥镜图像内的最暗部的位置来作为内窥镜图像Ia的中心位置，然而也能根据亮度的变化方向来推定中心位置(这在日本国特开2003-93328号公报中作了记载)。

(实施例3)

下面参照图14至图17对本发明的实施例3进行说明。

本图像处理装置的结构与实施例1相同，而存储在处理程序存储部23内的处理程序与图1的处理程序23a不同。而且，根据该处理程序进行以下处理。

在本实施例中，把食道那样的管状器官假定为圆柱体41，使用模型图像和内窥镜图像来推定内窥镜前端(的摄像单元)和管状器官的位置关系。

然后，根据所推定的位置关系，把由内窥镜6所拍摄的内窥镜图像投影在圆柱体41的表面上，作为将所投影的图像展开后的展开图来显示在显示监视器4等显示装置上。

为了估计上述位置关系，在本实施例中，生成变更了设置在内窥镜6的前端的摄像装置17(的摄像面)和圆柱体41的位置关系后的多个模型图像，进行所生成的多个模型图像和实际所拍摄的内窥镜图像Ia的匹配处理，检测与所拍摄的内窥镜图像Ia接近的模型图像。

然后，根据检测出的模型图像来推定摄像装置17和圆柱体41的位置关系。根据图14对模型图像的生成方法进行说明。

图14是把食道那样的管状器官的内面假定为圆柱体41，并示出摄像装置17的摄像面42和圆柱体41的位置关系的图。在实施例2中，进行了摄像面42的光轴通过圆柱体41的中心的条件设定，然而在本实施例中，除了该条件以外，还考虑两者倾斜的情况。

若把以圆柱体41为基准的坐标系设定为X_L-Y_L-Z_L，则圆柱体41表面的坐标(x_L，y_L，z_L)利用以下的式(4)表示。

[数式4]

$\left(\begin{array}{c}{x}_L\\ y_L\\ z_L\end{array}\right)=\begin{array}{c}\left(\begin{array}{c}{r\sin \mathrm{\θ}}_L\\ r\mathrm{co}{\mathrm{s\θ}}_L\\ z_L\end{array}\right)---\left(4\right)\end{array}$

另外，若把以摄像面42为基准的坐标系设定为X-Y-Z，则与圆柱体41的坐标系X_L-Y_L-Z_L的关系利用以下的式(5)表示。

[数式5]

$\left(\begin{array}{c}x\\ y\\ z\end{array}\right)=R\left(\begin{array}{c}{x}_L\\ y_L\\ z_L\end{array}\right)+M---\left(5\right)$

其中，R是旋转矩阵，M是平移矩阵。即，矩阵R和M是表示圆柱体41相对摄像装置17的摄像面42的位置关系的参数。

若把以由摄像面42所拍摄的内窥镜图像为基准的坐标系设定为X_I-Y_I，则与摄像面42的坐标系X-Y-Z的关系利用以下的式(6)表示。

[数式6]

$\left(\begin{array}{c}{x}_I\\ y_I\end{array}\right)=\left(\begin{array}{c}\mathrm{xf}/z\\ \mathrm{yf}/z\end{array}\right)---\left(6\right)$

如图15所示，假定光源Q位于距物体有限的距离d处，把该光源Q假定为点光源，假定作为该物体的具体例的圆柱体表面对光源Q的光进行漫反射的情况下，圆柱体表面的反射光I利用以下的式(7)表示。

[数式7]

I(x_I，y_I)＝kI_qcosβ/d²                               (7)

其中，k是面的漫反射率，Iq是光源Q的光度，β是点W处的面法线和光源方向QW所成的角度，d是点W和光源Q的距离。

因此，通过设定圆柱体41相对摄像装置17的位置/方向，根据式(4)～(6)，从圆柱体表面的位置B求出由摄像装置17所拍摄的内窥镜图像上的位置A，可根据式(7)计算此时的亮度值。

图16A是在摄像装置17存在于圆柱体41的中心线51上、并朝向中心线51方向的情况下获得的模型图像63a，图16B是在使摄像装置17从图16A的状态向上方向平行移动后的情况下获得的模型图像63b，图16C是在使摄像装置17从图16A的状态平行移动且变更了视野方向或插入部11的轴向的情况下获得的模型图像63c。

因此，在本实施例中，设定摄像装置17和圆柱体的多个位置/方向，生成多个模型图像。

然后，CPU 22按照图17所示的流程图来处理，如以下说明那样生成展开图Ib。

与实施例1一样，开始图像处理装置3的动作，CPU 22读出处理程序存储部23的处理程序，开始根据该处理程序的处理。CPU 22在最初的步骤S41中，取得从内窥镜观察装置2的CCU 8经由图像输入部21所输入的内窥镜图像的图像数据。

然后，在下一步骤S42中，CPU 22对所取得的图像数据进行失真像差校正、噪音去除等预处理，在步骤S43中进行与模型图像的匹配处理。CPU 22通过匹配处理，通过规范化相互相关等计算所取得的内窥镜图像和模型图像的相关值，检测相关性最高的模型图像。

CPU 22检测与通过步骤S43的匹配处理所取得的图像数据相关性最高的模型图像，根据检测出的模型图像求出摄像装置17和圆柱体41的位置/方向关系。如实施例1的图6所示把内窥镜图像Ia的坐标系设定为X-Y，展开图的坐标系设定为θ_L-Z_L。

然后在步骤S44和步骤S45中，CPU 22设定圆柱体表面的坐标S(θ_L，z_L)的初始值。在步骤S46中，CPU 22根据式(4)～(6)求出与所设定的坐标S(θ_L，z_L)对应的内窥镜图像的坐标P(x_I，y_I)。

在步骤S47中，CPU 22判断计算出的坐标P(x_I，y_I)是否存在于内窥镜图像内。在存在于内窥镜图像内的情况下，进到步骤S48。

如实施例1的图7所示，内窥镜图像的坐标P(x_I，y_I)的位置具有存在于像素之间的中间的可能性，因而在步骤S48中，CPU 22使用线性插值等处理来计算坐标P(x_I，y_I)的亮度值。

例如，根据所获得的坐标位置×的周围四个像素○(斜线)的亮度值和位置关系求出坐标位置×的亮度值。

在步骤S49中，CPU 22把在步骤S48中求出的亮度值作为展开图的坐标S(θ_L，z_L)的亮度值。

然后进到步骤S50，CPU 22变更展开图的Z_L值(例如Δz_L＝1)，并进到步骤S46。

在步骤S47中CPU 22判断为计算出的坐标P(x_I，y_I)不存在于内窥镜图像内的情况下，进到步骤S51，变更展开图的θ_L的值(例如Δθ_L＝π/180：1°)。

在步骤S52中，CPU 22在θ_L小于2π(360°)时进到步骤S45，继续展开图生成的处理。在θ_L大于等于2π的情况下，CPU 22判断为已生成了展开图，并进到步骤S53，如实施例1那样把内窥镜图像和展开图显示在显示监视器4上，结束处理(也可以仅显示展开图)。

本实施例具有以下效果。

在本实施例中，把食道那样的管状器官假定为圆柱体41，根据图像推定圆柱体41和摄像装置17的位置/方向的关系，根据所推定的位置/方向来生成内窥镜图像的展开图，因而可生成比实施例2更准确的展开图。

在实施例1～实施例3中，使用具有细长的插入部11的内窥镜6作了说明，然而也能应用于图18所示的胶囊型内窥镜82的情况。

如图18所示具有变形例的胶囊型内窥镜系统81包括：胶囊型内窥镜装置(以下简称为胶囊型内窥镜)82，其被患者吞入，从而对体腔内进行摄像；体外装置83，其配置在患者体外，接收来自胶囊型内窥镜82的图像数据并进行记录；以及图像处理装置84，其被从该体外装置83输入图像。

胶囊型内窥镜82具有：设置在胶囊状的容器内作为照明单元的例如LED 85；成像被照明的被摄体的像的物镜86和配置在物镜86的成像位置上、构成进行摄像的摄像单元的CCD 87；对由该CCD 87所拍摄的摄像信号进行信号处理等的控制电路88；进行将所拍摄的图像无线发送的处理的无线电路89；以及向各电路等供电的电池90。

并且，体外装置83经由多个天线91a、91b、91c通过无线电路92从胶囊型内窥镜82的无线电路89的天线89a接收电波，并把该信号发送到控制电路93。通过该控制电路93变换成影像信号来输出到图像处理装置84。

然后，图像处理装置84进行上述的各实施例等的处理。

另外，控制电路93具有使用多个天线91a～91c来推定胶囊型内窥镜82的位置的位置检测功能93a。而且，也可以利用该位置检测功能93a来选择设定检测对象的图像。即，利用该位置检测功能93a来检测是否在对接近从食道到胃的边界的部位进行摄像，当在对某种程度上接近边界的部位进行摄像的情况下，也可以与上述的情况一样作为内窥镜图像来用于生成展开图。

这样，可高效率地判定作为检测对象的接近从食道到胃的边界的部位的生物体粘膜。

(实施例4)

下面参照图19至图30对本发明的实施例4进行说明。本实施例4和实施例5除了实施例1等的上述目的以外，还有以下目的，即：提供一种通过推定管状部位的内面的立体形状，可生成高精度的展开图图像的医疗图像处理装置和医疗图像处理方法。

图19示出具有本发明的实施例4的图像处理装置3D的内窥镜系统1D的结构。该内窥镜系统1D与图1的内窥镜系统1的硬件上的结构相同。而且，只是存储在图像处理装置3D的处理程序存储部23内的处理程序23d与图1的处理程序23a不同。因此，对与实施例1中的构成要素相同的构成要素标注相同标号，省略其说明。

并且，在本实施例中，如图2所示，在例如食道31那样的管状部位(管状器官)中插入直视型内窥镜6的插入部11，由摄像装置17来进行摄像。并且，图3示出由该直视型内窥镜6所拍摄的巴瑞特食道的内窥镜图像Ia的一例。

在本实施例中，由直视型内窥镜6对食道31那样的管状器官进行摄像，并根据所拍摄的图像来推定对象物的立体形状。

推定通过所推定出的立体形状的中心的直线，以直线为基准进行几何变换来生成容易成为展开图的图像，把该图像作为展开图来输出到显示单元。然后，在显示单元的显示面上显示展开图。

即，构成图像处理装置3D的CPU 22如图20所示具有以下功能作为其功能，即：立体形状推定单元(功能)22c，通过所推定出的立体形状的中心的直线的推定单元(功能)22d，以所推定的直线为基准来几何变换成容易显示为展开图的形状的几何变换单元(功能)22e，以及通过几何变换把展开图图像输出到显示监视器4的展开图输出单元(功能)22f，在该显示监视器4的显示面上显示展开图。

在本实施例中，图20所示的立体形状推定单元22c、直线推定单元22d、几何变换单元22e以及展开图输出单元22f以软件方式来实现。即，CPU 22读出存储在处理程序存储部23内的处理程序23d，CPU 22根据该处理程序23d来执行图21所示的流程图的处理。

以下，根据图21的流程图对生成和显示展开图的处理进行说明。

开始图像处理装置3D的动作，CPU 22读出处理程序存储部23的处理程序23d，开始根据该处理程序23d的处理。CPU 22在最初的步骤S61中，取得从内窥镜观察装置2的CCU 8经由图像输入部21所输入的作为原图像的图像数据。

然后，在下一步骤S62中，CPU 22对所取得的图像数据进行失真像差校正、噪音去除等预处理。在步骤S63中，CPU 22通过以下过程求出与图像内的像素对应的对象物体的三维位置。

如图22所示，提取对象物体上的与由位于视点位置O的摄像单元所拍摄的图像的3个像素对应的像素对应点E1、E2、E3，根据像素对应点E1、E2、E3的三维位置和光源Q与视点O的位置关系求出以下的式(8)。

[数式8]

${\stackrel{\→}{r}}_1=\stackrel{\→}{d}-k_1{\stackrel{\→}{m}}_1$

${\stackrel{\→}{r}}_2=\stackrel{\→}{d}-k_2{\stackrel{\→}{m}}_2---\left(8\right)$

${\stackrel{\→}{r}}_3=\stackrel{\→}{d}-k_3{\stackrel{\→}{m}}_3$

其中，把像素对应点E1、E2、E3的三维位置的矢量设定为k₁m₁、k₂m₂、k₃m₃(m₁，m₂，m₃：大小为1的单位矢量)，把从视点O到光源Q的矢量设定为d，把从光源Q到3个像素对应点E1、E2、E3的三维位置的矢量设定为r₁、r₂、r₃。

若把由像素对应点E1、E2、E3的三维位置构成的平面的法线矢量设定为n，则根据式(8)，矢量n如以下的式(9)所示，利用矢量分量k₁、k₂、k₃的比率表示。

[数式9]

${\stackrel{\→}{n}}_1={\stackrel{\→}{l}}_{12}\×{\stackrel{\→}{l}}_{23}=k_1{k}_2{k}_3(\frac{1}{k_3}{\stackrel{\→}{m}}_1\×{\stackrel{\→}{m}}_2+\frac{1}{k_1}{\stackrel{\→}{m}}_2\×{\stackrel{\→}{m}}_3+\frac{1}{k_2}{\stackrel{\→}{m}}_3\×{\stackrel{\→}{m}}_1)---\left(9\right)$

其中，把从点E1到点E2的矢量设定为l₁₂，把从点E2到点E3的矢量设定为l₂₃，×表示矢量积。并且，如图23A所示，成为摄像对象的(食道内面等的)对象物体的表面假定为在全部方向上均匀地反射光的漫反射率，则像素对应点E1、E2、E3的亮度值I₁、I₂、I₃利用以下的式(10)表示。

[数式10]

$I_1={\mathrm{hI}}_q\cos {\mathrm{\β}}_1/{\left|{\stackrel{\→}{r}}_1\right|}^2$

$I_2={\mathrm{hI}}_q\cos {\mathrm{\β}}_2/{\left|{\stackrel{\→}{r}}_2\right|}^2---\left(10\right)$

$I_3={\mathrm{hI}}_q\cos {\mathrm{\β}}_3/{\left|{\stackrel{\→}{r}}_3\right|}^2$

其中，h是对象物体的表面的漫反射率，Iq是光源Q的光度，β是点P处的对象物体的表面的法线矢量n与从光源Q到点P的矢量r所成的角。另外，图23A的点P代表图22的像素对应点E1、E2、E3(因此，矢量r代表图22的矢量r₁、r₂、r₃)。

然后设定以下的条件(a)和(b)，根据满足这些条件(a)和(b)的假定，CPU 22计算与所拍摄的像素对应的对象物体的三维位置。

现在，在条件(a)视点位置O和光源Q的距离＜＜视点位置O和像素对应点E1、E2、E3的三维位置的距离，即，|d|＜＜|r_m|(或|d|＜＜|r|，这里，m＝1～3)，以及条件(b)像素对应点E1、E2、E3的三维位置接近这两个条件(a)、(b)成立的情况下，得到以下的近似式(11)。

[数式11]

k₁∶k₂∶k₃≈1/I₁∶1/I₂∶1/I₃   (11)

上述条件(a)如图23B所示，在与d的绝对值相比r的绝对值大时成立。并且，条件(b)在对食道等的管状内面进行摄像的情况下，认为在大部分情况下成立。另外，图23B将插入部的前端部14中的前端面部分放大示出。

该前端面面对光导13的前端面(或照明透镜)13a，由此射出照明光。即，该光导13的前端面13a相当于图22和图23A的光源Q。并且，与该前端面13a相邻地配置有与视点O相当的摄像单元(摄像装置17)的物镜15。

根据上述式(11)求出k₁、k₂、k₃的比率，求出法线矢量n。

由于与图像内的各像素对应的对象物体的表面上的像素对应点存在多个相邻的像素对应点，因而如图24所示，针对由一个像素对应点Pa的周围的点Pb～Pe中的各3点形成的各面分别求出法线矢量n₁～n₄。因此，也可以计算这些多个法线矢量n₁～n₄的平均矢量，把该平均矢量作为像素对应点的法线矢量。

如图22A所示，假定对象物体的表面为漫反射，并改写角β，由此，各像素对应点P(x，y)的亮度值I(x，y)可利用以下的式(12)表示。

[数式12]

$I_{(x,y)}={\mathrm{hI}}_q\cos \mathrm{\β}/r^2={\mathrm{hI}}_q{\stackrel{\→}{n}}_{(x,y)}\·{\stackrel{\→}{r}}_{(x,y)}/{\left|{\stackrel{\→}{r}}_{(x,y)}\right|}^3---\left(12\right)$

其中，h是对象表面的漫反射率，Iq是光源Q的光度，β是点P处的对象物体的表面的法线矢量n(x，y)和光源方向r(x，y)所成的角。

并且，点P处的光源方向r(x，y)可利用以下的式(13)表示。

[数式13]

${\stackrel{\→}{r}}_{(x,y)}=k_{(x,y)}{\stackrel{\→}{m}}_{(x,y)}-\stackrel{\→}{d}---\left(13\right)$

其中，如图23B所示，把从物镜15的视点Q到光源Q的矢量设定为d，把从视点O到对象物体的位置P的单位矢量设定为m(x，y)，把距离OP设定为k(x，y)。

矢量m(x，y)如图25所示通过(CCD 16的)摄像面42的图像上的位置(x，y)，因而如以下的式(14)所示：

[数式14]

${\stackrel{\→}{m}}_{(x,y)}=\left(\begin{array}{c}x/\sqrt{x^2+y^2+f^2}\\ y/\sqrt{x^2+y^2+f^2}\\ f/\sqrt{x^2+y^2+f^2}\end{array}\right)---\left(14\right)$

其中，f是摄像装置17的焦距。因此，图像上的各像素的亮度值I(x，y)可利用以下的式(15)表示。

[数式15]

$I_{(x,y)}={\mathrm{hI}}_q{\stackrel{\→}{n}}_{(x,y)}\·(k_{(x,y)}{\stackrel{\→}{m}}_{(x,y)}-\stackrel{\→}{d})/{|k_{(x,y)}{\stackrel{\→}{m}}_{(x,y)}-\stackrel{\→}{d}|}^3---\left(15\right)$

在上述式(15)中，除了k(x，y)以外全部是已知的，因而CPU 22根据式(15)计算k(x，y)，如以下的式(16)所示计算与图像上的各像素(x，y)对应的三维位置(X，Y，Z)。

[数式16]

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=k_{(x,y)}{\stackrel{\→}{m}}_{(x,y)}=k_{(x,y)}\left(\begin{array}{c}x/\sqrt{x^2+y^2+f^2}\\ y/\sqrt{x^2+y^2+f^2}\\ f/\sqrt{x^2+y^2+f^2}\end{array}\right)---\left(16\right)$

然后在步骤S64中，CPU 22推定通过在步骤S63获得的三维形状(根据各像素对应点的三维位置获得的形状)的中心的直线。

如图26所示，若把从视点O到三维形状的点P的矢量设定为p，把到直线上的任意点A的矢量设定为a，把直线的方向矢量设定为l，则从三维形状的点P垂直下降到直线的矢量u(x，y)利用以下的式(17)表示。

[数式17]

${\stackrel{\→}{u}}_{(x,y)}=\stackrel{\→}{a}-\stackrel{\→}{p}+\frac{(\stackrel{\→}{p}-\stackrel{\→}{a})\·\stackrel{\→}{l}}{{\left|\stackrel{\→}{l}\right|}^2}\stackrel{\→}{l}---\left(17\right)$

在所推定的三维形状具有接近圆柱体的形状的情况下，通过三维形状的中心的直线认为存在于距与各像素对应的三维形状的各三维位置等距离处。因此，CPU 22如以下的式(18)所示，使用最小平方法来推定任意的大小r、直线的方向矢量l以及到点A的矢量a，以使由式(17)获得的矢量u(x，y)的大小与任意的大小r(圆柱体的半径)之差的总和最小。

[数式18]

$\mathrm{\Σ}{\left(\right|{\stackrel{\→}{u}}_{(x,y)}|-r)}^2\→\min ---\left(18\right)$

在下一步骤S65中，CPU 22根据图27所示的关系求出用于把与各像素对应的三维形状的三维位置从坐标系X-Y-Z变换成以直线为基准的坐标系X_L-Y_L-Z_L的参数旋转矩阵R和平移矩阵M。

根据坐标系X-Y-Z的Z方向的矢量Z和直线的矢量l，单位矢量v＝(vx，vy，vz)和角度γ如以下的式(19)所示为：

[数式19]

$\stackrel{\→}{v}=\stackrel{\→}{Z}\×\stackrel{\→}{l}---\left(19\right)$

$\mathrm{\γ}={\cos }^{-1}(\stackrel{\→}{Z}\·\stackrel{\→}{l})$

因此，旋转矩阵R和平移矩阵M如以下的式(20)和式(21)所示。

[数式20]

$R=\left(\begin{array}{ccc}\cos \mathrm{\γ}+{v^2}_x(1-\cos \mathrm{\γ})& v_x{v}_y(1-\cos \mathrm{\γ})-v_z\sin \mathrm{\γ}& v_x{v}_z(1-\cos \mathrm{\γ})-v_y\sin {\mathrm{\γ}}^1\\ v_y{v}_x(1-\cos \mathrm{\γ})+v_z\sin \mathrm{\γ}& \cos \mathrm{\γ}+{v^2}_y(1-\cos \mathrm{\γ})& v_y{v}_z(1-\cos \mathrm{\γ})-v_x\sin \mathrm{\γ}\\ v_z{v}_x(1-\cos \mathrm{\γ})+v_y\sin \mathrm{\γ}& v_z{v}_y(1-\cos \mathrm{\γ})+v_x\sin \mathrm{\γ}& \cos \mathrm{\γ}{v^2}_z(1-\cos \mathrm{\γ})\end{array}\right)---\left(20\right)$

$M=\left(\begin{array}{c}{a}_x\\ a_y\\ a_z\end{array}\right)---\left(21\right)$

这里，作为平移矩阵M，设定为矢量a＝(a_x，a_y，a_z)。

在以下的步骤S66中，CPU 22把利用坐标系X-Y-Z表示的三维位置变换成坐标系X_L-Y_L-Z_L。该变换式如以下的式(22)所示。

[数式21]

P_L＝R^-1(P-M)      (22)

在以下的步骤S67中，CPU 22把根据式(22)变换成与图28A的内窥镜图像Ia对应的图28B所示进行了变换后的各像素对应点的三维位置P_L＝(X_L，Y_L，Z_L)进一步投影在以ZL为中心的圆柱体表面上。

作为该圆柱体，设定成与例如食道等管状部位的尺寸接近的值。例如，把对管状部位的内径进行了平均化后的值作为圆柱体的直径。

例如图28A中的内窥镜图像Ia中的表皮边界37、(胃食道)接合部34以及暗部边界38与图28B中的利用相同标号37、34、38表示的三维形状部分对应，该三维形状部分的各位置被投影在以用粗线表示的ZL为中心的圆柱体表面上。

若把圆柱体表面的坐标系设定为θ_L-Z_L，则根据以下的式(23)来求出变换后的三维位置P_L＝(X_L，Y_L，Z_L)。

[数式22]

${\mathrm{\θ}}_L=\tan \left(\frac{X_L}{Y_L}\right)---\left(23\right)$

Z_L＝Z_L

求出与图像的所有像素对应的圆柱体表面的位置C(θ_L，Z_L)，把各像素的亮度值标注在坐标系θ_L-Z_L上。然后，生成图28C所示的展开图Ib。另外，作为亮度值，在彩色图像的情况下，表示各色信号的亮度值。

如图28C或图29所示标注在圆柱体表面的像素不均匀地存在，Z_L越大，就越粗(越是距视点远的远方侧的位置的图像部分，就越粗)。

并且，如图29的局部放大图所示，所标注的各像素大多与显示在显示装置上的图像的各像素位置不一致。因此，通过插值处理生成显示在显示装置上的图像、即展开图Ib。

在步骤S68中，CPU 22进行上述插值处理，生成可显示在显示监视器4等显示装置上的图像，即展开图Ib。在下一步骤S69中，CPU 22把内窥镜图像Ia和展开图Ib输出到显示监视器4。然后，如图30所示在显示监视器4上显示步骤S10的内窥镜图像Ia和展开图Ib。然后，显示该展开图Ib的处理结束。

本实施例具有以下效果。

利用展开的展开图(的图像)来显示从胃和食道的接合部开始连续存在的圆柱表皮的扩展方法以及圆柱表皮和扁平表皮的特征形状，手术人员由于可在更容易进行比较等的状态下进行观察，因而可更容易地进行巴瑞特食道等管状部位的诊断。

即，在现有例中，仅显示图30中的内窥镜图像Ia，该内窥镜图像Ia是对管状部位的内面进行二维投影后的图像，例如根据深度方向(管状部位的轴向)的距离值，在缩小的状态下显示各部。

因此，即使要把例如深度方向的值不同的部分进行比较，各部的刻度根据深度方向的距离而不同，因而也不能简单地进行比较。

相比之下，根据本实施例，计算管状部位的内面的与二维拍摄到的内窥镜图像Ia中的各像素对应的位置的三维位置，通过计算出三维位置，把各像素的位置信息变换成周向的位置信息和与该周向垂直的管腔的大致中心轴方向的距离分量信息，进而在投影到设定成管状部位的平均尺寸等的圆柱体的表面上的状态下，用周方向的位置信息，即角度值来展开显示各部的亮度信息。

因此，根据本实施例，即使在深度方向不同的位置，也能使周向的刻度一致来进行显示，因此可简单地进行场所不同的部位的比较，并且也能客观且简单地进行与过去病例等的比较等。

因此，根据本实施例，可生成能容易地进行管状部位的诊断的展开图图像，可提供在诊断上非常有效的图像处理装置和图像处理方法。

(实施例5)

下面参照图31至图33对本发明的实施例5进行说明。本实施例的图像处理装置具有与实施例4相同的结构，采用与存储在图19的处理程序存储部23内的处理程序23d不同的处理程序。

在实施例4中，根据1幅图像来推定与各像素对应的像素对应点的三维位置，然而在本实施例中，如以下说明那样，拍摄多个内窥镜图像，计算与该拍摄的多个内窥镜图像对应的对象物体的三维位置。

三维位置计算后的处理与实施例4相同。图31示出本实施例中的计算三维位置的流程图，图32示出该处理内容的概略动作，图33示出求出模板图像和参照图像的移动量的情况。

以下，参照图31和图32对计算三维图像数据之前的过程进行说明。

如步骤S71所示，图像处理装置3的CPU 22使内窥镜6的插入部11的前端部14的摄像装置17移动的同时对对象物进行摄像，取得多个图像数据。

所拍摄的多个图像数据经过图像输入部21被临时存储在图像处理装置3内的图像存储部24内。

即，对于同一对象物，使(内窥镜6的前端部14的)摄像装置17移动的同时，取得位置逐渐不同的二维图像数据。

图32示出使插入部11的前端侧移动来进行摄像的情况。这里，从P₀移动到P_N，并用方形示出通过此时的摄像所获得的图像数据。在下一步骤S72中，CPU 22把失真像差校正等预处理应用于在步骤S71取得的多个图像，校正图像的失真。

在从内窥镜观察装置2发送来的内窥镜的图像数据中，由于使用广角镜头作为物镜而产生失真，因而把失真像差校正处理应用于各图像，校正图像的失真。

并且，在该步骤S72中，CPU 22使用校正后的多个图像(图像对)来选择对应点的跟踪，即表示对象物的1幅图像(模板图像)，并选择该图像上的多个点来进行各个点在另一参照图像上如何移动的跟踪。对该对应点跟踪进行补充说明。

对应点跟踪如图33的左侧所示，在要检测的对象物的模板图像上，把以某一点为中心的矩形区域(窗口)设为t(x)，如图17的右侧所示在参照图像中设定某一大小的搜索区域S，利用通过相互相关运算来求出相关值最大的区域的运算，来进行搜索区域S内的对应区域f(x)和上述模板图像的矩形区域t(x)的块匹配处理，求出在该情况下的参照图像相对模板图像的移动方向和移动量。

例如，使用以下的规范化后的式(24)的相互相关D(u，v)：

[数式23]

$D(u,v)=\frac{\&Integral;\&Integral;s[\{f(x+u,y+v)-<f>\}\{t(x,y)-<t>\}]\mathrm{dxdy}}{\sqrt{\&Integral;\&Integral;s{\{f(x+u,y+v)-<f>\}}^2\mathrm{dxdy}{\&Integral;\&Integral;\{t(x,y)-<t>\}}^2\mathrm{dxdy}}}---\left(24\right)$

来求出相关值，求出该相关值最大的区域，并求出在该情况下的移动方向和移动量。这里，双积分记号表示搜索区域S内的积分，<f>、<t>分别表示f(x+u，y+v)、t(x，y)在S内的平均。

另外，块匹配处理不限于相互相关运算，也可以应用在美国专利4,962,540号说明书中公开的颜色匹配方法。

如上所述，求出描述了在模板图像上所选择的点的移动方向和移动量的值的移动映射图(map)。

在图32中示出使用相邻的摄像位置P₀和P₁、P₁和P₂、…等，根据所获得的图像数据来进行移动映射图M₁、M₂、…的计算，并进行位置推定的情况。

使用在步骤S72求出的移动映射图，在下一步骤S73中，CPU 22通过最急速下降法等的反复处理来求出摄像装置17的运动矢量，求出对象物体的位置和摄像装置17的位置的相对位置关系。

在下一步骤S74中，CPU 22进行变换以使得利用各移动映射图求出的对象物体和摄像装置17的位置关系在同一坐标空间内，对各自在同一点上的对象物体和摄像装置17的位置进行平均来推定一个对象物体的三维形状(计算对象物体的各三维位置)。

这样，在计算出对象物体的三维位置之后，进行图21的步骤S64所示的通过三维形状的中心的直线的推定等处理。

本实施例通过使用由摄像装置17所拍摄的多个图像，与实施例4一样，可获得适合于进行诊断的情况的展开图图像。

此外，如以下的文献所公开的那样，也可以采用阴影恢复形状(shape-from-shading)法，根据1幅图像来推定立体形状，并如实施例1那样根据该推定的立体形状来生成展开图。文献：コンピユ一タビジヨン，投影中心に点光源がある場合のShape-from-Shading-内視鏡形状からの3次元形状復元-岡谷、出口：pp.19-26，1996。

该文献着眼于距光源(前端部14的光导前端面13a)的距离相等的管状器官的表面上的曲线，使用偏微分方程式来描述该曲线的发展方程式(発展方程式)，通过解该方程式来复原(计算)三维形状。三维形状的计算后的处理是与实施例4的情况相同的处理。

(实施例6)

下面参照图34至图44C对本发明的实施例6进行说明。实施例6以及实施例6以后的实施例的目的是提供即使在由直视型内窥镜所拍摄的食道的内窥镜图像那样的情况下也适合于高效率地进行巴瑞特食道的诊断等的医疗图像处理装置(更具体地说是食道粘膜用图像处理装置)和医疗图像处理方法。对其背景进行补充说明。

在利用直视型内窥镜对食道内部那样的管状部位进行摄像而得到的图像的情况下，由于该图像是从管腔的轴向倾斜的方向或者从接近于直角的方向对管状的粘膜组织(具体地说是表皮组织)进行摄影而得到的图像，因而特别是在距摄像装置的距离不同的部分上的形状等变化大。

因此，仅利用由直视型内窥镜所拍摄的内窥镜图像，把握形状和大小等要花费时间，在判断为能提供更容易把握的图像的情况下，是非常便利的。即，上述目的是非常有效的。

图34所示的内窥镜系统1E在硬件上的结构与图1的内窥镜系统1相同。本实施例的食道粘膜用图像处理装置(以下，简称为图像处理装置)3E附加了如下功能：使用在图1的图像处理装置3中所生成的展开图图像进一步进行对巴瑞特食道具有的特征量进行分析的图像处理的功能。

因此，图34中的图像处理装置3E具有对图1的图像处理装置3的情况下的处理程序23a进一步附加了检测表皮边界的功能和对检测出的表皮边界进行调查巴瑞特食道的特征量的分析的功能的处理程序23e。此外，由于是与实施例1相同的结构，因而对同一构成要素附上相同标号，省略其说明。

在本实施例中，如图2所示，在例如食道31那样的管状器官或管状部位内插入直视型内窥镜6的插入部11，由设置在前端部14上的摄像装置17对食道31的内壁粘膜等进行摄像。

图35示出由该直视型内窥镜6所拍摄的巴瑞特食道的内窥镜图像Ia的一例。巴瑞特食道是作为食道粘膜的扁平表皮36从胃和食道的接合部、即胃食道接合部34向口腔侧连续地变性成作为胃粘膜或巴瑞特粘膜的圆柱表皮35的食道，在该巴瑞特粘膜在距正常的粘膜边界3cm以上、针对食道管腔剖面全周地产生了该巴瑞特粘膜的情况下，诊断为巴瑞特食道疾病。

包含这样定义的情况，手术人员通过使用内窥镜6来观察进行了变性的圆柱表皮35的扩展方法以及圆柱表皮35和扁平表皮36的边界即表皮边界37的特征形状，来进行巴瑞特食道的诊断。

在图35的内窥镜图像Ia中，从食道31到胃内部的管状部位部分显示了未作图示的最暗部的周围的胃食道接合部34、胃食道接合部34的周围的外侧的圆柱表皮35、其外侧的表皮边界37、以及该表皮边界37的外侧的扁平表皮36。

在本实施例中，使用直视型内窥镜6对食道31那样的管状器官的对象物进行摄像，并对所拍摄的内窥镜图像Ia进行几何变换，进行生成展开图的处理，把所生成的对象物的展开图显示在监视器4上，并从所生成的展开图中检测表皮边界37。

然后，根据检测出的表皮边界37的特征形状进行形状分析，并进行输出分析结果的处理。

具体地说，计算表皮边界37的Z方向的平均值，并计算表皮边界37的Z方向的离散值，从而进行判定是表皮边界还是巴瑞特食道的处理，输出是表皮边界还是巴瑞特食道的判定结果(分析结果)。

构成图像处理装置3的CPU 22如图36所示，具有：进行几何变换的几何图像变换单元(功能)22a；通过几何变换而输出展开图图像的展开图输出单元(功能)22b；从展开图检测表皮边界的表皮边界检测单元(功能)22g；以及对表皮边界的形状进行分析而输出该分析结果的表皮边界分析单元(功能)22h。

上述表皮边界分析单元22g具体地说，包括：计算表皮边界的Z轴方向的平均值的表皮边界的平均值计算单元(功能)；计算表皮边界的Z方向的离散值的表皮边界的离散值计算单元(功能)；以及判定该离散值是表皮边界还是巴瑞特食道的判定单元(功能)。

在本实施例中，图36所示的几何图像变换单元22a、展开图输出单元22b、表皮边界检测单元22g以及表皮分析单元22h是以软件方式实现的，因此CPU 22读出存储在处理程序存储部23内的处理程序23e，CPU22根据该处理程序23e执行图37所示的处理过程。

如以下说明的那样，本实施例根据使用直视型内窥镜6对食道的胃食道接合部周围部进行摄像而得到的内窥镜图像Ia来生成展开图Ib，从该展开图Ib检测表皮边界，并计算在表皮边界各点上的离散值，从而针对该表皮边界37的形状判定是否具有典型的巴瑞特食道的形状，即表皮边界37的各点在管腔方向呈锯齿状等的复杂形状的情况下的特征量。

于是，客观地判定所拍摄的内窥镜图像Ia中的表皮边界37的各点在管腔方向呈锯齿状等复杂形状的情况下的典型的巴瑞特食道。

下面参照图37对本实施例的动作进行说明。

开始图像处理装置3的动作，CPU 22读出处理程序存储部23的处理程序23e，开始根据该处理程序23e的处理。CPU 22在最初的步骤S81中，取得从内窥镜观察装置2的CCU 8经由图像输入部21所输入的内窥镜图像Ia的图像数据。

然后，在下一步骤S82中，CPU 22对所取得的图像数据进行失真像差校正、噪音去除等预处理，在步骤S83中，进行根据图38的左侧所示的内窥镜图像Ia生成右侧所示的展开图Ib的处理。

图39示出生成该展开图Ib的步骤S83的处理。由于图39所示的处理与在图5中说明的步骤S3至步骤S13的内容相同，因而对相同处理内容的步骤附上相同标号。然而，图39中的步骤S13’是仅输出展开图的处理。

如图39所示，在最初的步骤S3中，检测内窥镜图像Ia内的最暗部的位置，把检测出的最暗部的重心位置作为内窥镜图像Ia的坐标的中心位置。

在本实施例中，以内窥镜图像Ia内的最暗部的位置为中心来生成展开图。作为最暗部的检测方法，把内窥镜图像Ia分割成多个区域，计算所分割的区域的平均亮度，并求出具有最小平均亮度的区域作为最暗部的位置。

如图38所示把内窥镜图像Ia的二维正交坐标系设定为X-Y，从该内窥镜图像Ia几何变换成极坐标系，生成设为θ-Z的展开图Ib。另外，坐标系X-Y中的坐标位置利用x、y表示。并且，极坐标系θ-Z中的坐标位置利用表示周向的位置的θ和表示距中心的距离位置的z来表示。

另外，为了容易明白在图6中根据内窥镜图像Ia生成展开图Ib的情况的关系，利用箭头对应地示出在把内窥镜图像Ia中的扁平表皮36和圆柱表皮35的表皮边界37、以及胃食道接合部34作为展开图Ib的情况下，以哪种形状来显示。这里，对于θ付上0度、45度、90度的情况下的刻度来表示。并且，图像的显示框的位置利用Q₀、Q₄₅、Q₉₀来表示。

在后面的步骤S4和步骤S5中，设定展开图Ib的坐标S(θ，z)的初始值。即，在步骤S4中，CPU 22设θ＝0，在步骤S5中设z＝0。

在下一步骤S6中，根据以下的式(1)求出与所设定的展开图Ib的坐标S(θ，z)对应的内窥镜图像Ia的坐标位置。

x＝z sin θ、y＝z cos θ      (1)

在步骤S7中，判断计算出的坐标P(x，y)是否存在于内窥镜图像Ia内。

然后，在存在于内窥镜图像Ia内的情况下，进到步骤S8。由式(1)获得的内窥镜图像的坐标P(x，y)的位置具有存在于像素之间的中间的可能性，因而在步骤S8使用线性插值等处理来计算坐标P(x，y)的亮度值。

另外，作为亮度值，在进行彩色摄像的情况下，计算各色信号的亮度值。

在步骤S9中，把在步骤S8中求出的亮度值作为展开图的坐标S(θ，z)的亮度值。然后进到步骤S10，变更展开图Ib的z值(例如z的增量Δz＝1)，回到步骤S6。

另一方面，在步骤S7中计算出的坐标P(x，y)不存在于内窥镜图像Ia内的情况下，进到步骤S11，变更展开图Ib的θ值(例如θ的增量Δθ＝π/180，即1°)。在下一步骤S12中，在θ小于2π(360°)时回到步骤S5，继续展开图生成的处理。另一方面，在θ大于等于2π的情况下，判断为生成了展开图Ib并进到步骤S13，把展开图Ib输出到监视器4，结束展开图生成的处理，移到图37的步骤S84的使用所生成的展开图Ib来检测表皮边界37的处理。

为了检测图37的步骤S84所示的扁平表皮36和圆柱表皮35的边界、即表皮边界37(取得坐标点序列)，例如如图40所示利用边缘检测来进行。由于扁平表皮36是白色调，而圆柱表皮35是红色调，因而也能根据R、G、B颜色信号中的特定色调等来检测该表皮边界37。

如图40所示，CPU 22在步骤S131中取得存储在图像存储部24等内的展开图Ib的图像数据。

然后，在下一步骤S132中，CPU 22对该图像数据进行上述公知的边缘检测处理作为轮廓提取过滤处理，生成边缘检测图像。

在下一步骤S133中，CPU 22对该边缘检测图像进行二值化处理，并进行细线化处理来取得边界。

在下一步骤S134中，CPU 22对所取得的边界进行追迹处理，取得沿着边界的坐标点序列、即表皮边界的点序列。

在这样取得了表皮边界37的点序列后，CPU 22如图37的步骤S85所示计算表皮边界37的(成为食道的管腔方向的)Z方向的平均值<Z_A>。

即，CPU 22根据以下的式(25)求出检测出的表皮边界37的Z方向的平均值<Z_A>。

[数式24]

$<Z_A>=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{Z}_{\mathrm{A\&theta;i}}---\left(25\right)$

其中，Z_Aθi是通过式(1)获得的展开图中的表皮边界的θi中的Z值。在式(25)中根据周向的旋转1圈的样本值N来计算平均。在该情况下，图38的展开图Ib的分辨率由θi和Z(距中心O的距离)的取样的细度来决定。

图41示出在展开图Ib上显示出表皮边界37的Z方向的平均值<Z_A>的图。在计算出式(25)的平均值<Z_A>之后，在下一步骤S86中，CPU 22根据以下的式(26)求出表示表皮边界37的Z方向的坐标位置的偏差(边界的凹凸)程度的离散值σ_A。

[数式25]

${\mathrm{\&sigma;}}_A=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{(Z_{\mathrm{A\&theta;i}}-<Z_A>)}^2---\left(26\right)$

在下一步骤S87中，CPU 22把根据式(26)计算出的离散值σ_A与基准值σ_th进行比较，判定该离散值σ_A是否小于基准值σ_th。

然后，在离散值σ_A小于基准值σ_th的情况下，在步骤S88中，CPU 22判定为表皮边界37，反之在离散值σ_A大于基准值σ_th的情况下，如步骤S89所示，判断为表皮边界37形成为复杂的形状，将所拍摄的图像判断为巴瑞特食道。

在该情况下，针对根据展开图Ib所获得的离散值σ_A进行判定所使用的基准值σ_th，是根据如图42所示使用了预先确定了诊断的表皮边界37的样本和巴瑞特食道的情况下的样本的离散值σ的直方图来决定的。

图42示出在表皮边界37的情况下获得的离散值σ_nor的分布直方图D_nor和在巴瑞特食道的情况下获得的离散值σ_bar的分布的直方图D_bar。另外，巴瑞特食道的情况下的样本使用如表皮边界37呈锯齿状那样边界形状是复杂的形状的样本。如图42所示，根据两个直方图D_nor和D_bar，例如将两个直方图交叉的位置σ_th设定成评价为巴瑞特食道的基准值σ_th。

然后，CPU 22通过如上所述把根据式(26)求出的离散值σ_A与该基准值σ_th进行比较，来判定是表皮边界37还是巴瑞特食道。

在步骤S90中，CPU 22把步骤S88或步骤S89的判定结果(分析结果)的信息输出到监视器4等显示装置，结束该处理。

图43示出把内窥镜图像Ia、展开图Ib以及判定结果的信息显示在监视器4上的显示例。在图43的显示例中，作为离散值σ_A大于等于基准值σ_th的情况的例子，在判定显示部41上显示判定为“巴瑞特食道”的判定结果。

另外，这里，虽然显示为巴瑞特食道，然而也可以显示为“巴瑞特食道的可能性高”等。并且，也可以计算标准偏差值来取代求出离散值σ_A，将标准偏差值与基准值进行比较，把比较结果作为分析结果来显示等。

并且，在本实施例和以下的实施例中，将对计算出的离散值σ_A等针对成为判定对象的巴瑞特食道的特征量的评价值与单一的基准值(σ_th等)进行比较的比较结果作为分析结果，然而也可以把计算出的评价值与多个基准值进行比较，输出巴瑞特食道的可能性高的状态和接近正常的状态的中间状态(一个或多个中间状态)的分析结果等。

例如，也可以在判定为与表皮边界37的情况相比，作为食道粘膜的扁平表皮36有少量变性的状态的情况下，显示存在生成了少量圆柱表皮(巴瑞特粘膜)35的初始状态的可能性的判定结果来进行告知，或者在判定为扁平表皮36进一步发生了变性的状态的情况下，显示已生成相当多的圆柱表皮(巴瑞特粘膜)35的症状处于进行状态等判定结果来进行告知。

手术人员通过参考判定结果信息，可进行高效的诊断。并且，手术人员通过参照显示在监视器4上的内窥镜图像Ia以及一起显示的展开图Ib，(与仅显示内窥镜图像Ia的情况相比)更容易把握表皮边界37的周向的形状等，因此可高效率地进行诊断等。

在上述说明中，以通过图39所示的处理从二维内窥镜图像Ia进行几何变换来生成展开图Ib的情况进行了说明，然而也可以在根据图44A所示的内窥镜图像Ia，如图44B所示推定成为诊断对象的食道的胃食道接合部周围部的内壁面的立体形状等之后，生成图44C所示的展开图Ib。

另外，在如图44B所示推定出立体形状的情况下，进一步推定该立体形状的中心线，把内窥镜图像Ia的各点变换成把该中心线方向作为坐标轴Z_L的三维坐标系(X_L，Y_L，Z_L)。

并且把该三维坐标系(X_L，Y_L，Z_L)中的立体形状的各点投影在接近于该立体形状的以相同的Z_L为中心的圆柱体的表面上。把该圆柱体的表面的坐标系设定为θ_L-Z_L。然后，把三维坐标系(X_L，Y_L，Z_L)的各点或者投影在圆柱体表面上的各点变换成θ_L-Z_L的坐标系。

在图44B中，示出表皮边界37上的点P’，该表皮边界37上的点P’与Y_L轴所成的角用θ_L表示。

如图44B所示把投影在圆柱体表面上的各点变换成θ_L-Z_L的坐标系之后，用把θ_L设定为0的值来切开，利用图44C所示的展开图Ib来显示内窥镜图像Ia的各位置。该处理的详情在实施例4中已进行了说明。

并且，也可以采用实施例5的展开图生成单元来生成展开图(并且，在通过二维变换来生成展开图的情况下，也可以采用实施例2或实施例3所记载的展开图生成单元来生成展开图，利用该展开图来进行上述处理。)。

如图44C所示，在该情况下，由于Z_L大的值侧成为远离摄像单元的位置，因而在与远方位置对应的胃食道接合部34的下侧(内侧)显示表皮边界37的形状。

这样在图44C所示的展开图Ib的情况下，CPU 22也可以通过进行图37的步骤S84及S84以后的处理，来计算表皮边界37的Z方向(在图44C中是ZL方向)的平均值<Z_A>和离散值σ_A，把该离散值σ_A与基准值σ_th进行比较，从而判定是表皮边界还是性状发生了变化的巴瑞特食道。另外，图44C的展开图Ib的分辨率由在推定诊断对象的立体形状的情况下的图像的分辨率来决定。

这样在本实施例中，通过生成由直视型内窥镜6所拍摄的食道的内窥镜图像的展开图Ib，并定量地判定展开图Ib的表皮边界37的形状的偏差等，从而可容易且客观地判定是否是巴瑞特食道。

因此，手术人员通过利用该判定结果，可高效率地进行是否是巴瑞特食道的诊断。

并且，在本实施例中，由于生成展开图Ib，因而与仅仅内窥镜图像Ia的情况相比，更容易把握管腔方向或者与管腔垂直的周向上的表皮边界37的形状分布等，因此，手术人员更容易进行诊断。

(实施例7)

下面参照图45和图46对本发明的实施例7进行说明。巴瑞特食道如实施例6所说明的那样适用于表皮边界37形成为复杂形状的情况，然而有时圆柱表皮(巴瑞特粘膜)35扩展成舌状，因此表皮边界37的形状也形成为舌状。

在该情况下，在实施例6中，存在难以输出适合于该形状的分析结果的可能性。因此，在本实施例中，目的在于即使在圆柱表皮35扩展成舌状的情况下，也能输出适合于该舌状的形成的分析结果(判定结果)。

因此，在本实施例中，如以下说明那样，取代计算实施例6中的表皮边界37的Z方向的平均值<Z_A>，计算与表皮边界37的Z方向的偏差(复杂度)对应的离散值σ_A，而是通过求出表皮边界37的Z方向的最大值和最小值，并把它们的差量值的绝对值与基准值进行比较，来判定表皮边界37是否是巴瑞特食道。

图45示出对胃食道接合部附近进行摄像而得到的内窥镜图像Ia和根据该内窥镜图像Ia而二维或三维地生成的展开图Ib。

在本实施例中，进行图46所示的处理。图46的处理从步骤S81到步骤S84都与图37的处理相同。在通过步骤S84检测出表皮边界37之后，在本实施例中，如步骤S141所示，CPU 22计算表皮边界37的Z方向的最大值Zmax和最小值Zmin。

然后，在下一步骤S142中，CPU 22求出该最大值Zmax和最小值Zmin的差量值的绝对值D_A。

在下一步骤S143中，CPU 22把该差量值的绝对值D_A与基准值D_th进行比较，判定差量值的绝对值D_A是否小于基准值D_th。

该基准值D_th是在求出预先确定了诊断的正常的样本和表皮边界37扩展成舌状的巴瑞特食道的样本的各差量值的绝对值的直方图之后，作为适合于进行两者的判定的阈值而被计算出的。

在差量值的绝对值D_A小于基准值D_th的情况下，在步骤S88中，CPU22判定为表皮边界37，反之在差量值的绝对值D_A大于等于基准值D_th的情况下，如步骤S89所示判定为巴瑞特食道。然后，在步骤S90中，CPU 22把步骤S88或步骤S89的判定结果输出到监视器4等显示装置等，结束该处理。

根据本实施例，即使在表皮边界37扩展成舌状的情况的巴瑞特食道的情况下，也能适当地分析其特征，进行准确的判定。

(实施例8)

下面参照图47和图48对本发明的实施例8进行说明。本实施例的目的在于，即使在食道的管状形状例如从圆管形状发生了变形的情况下，也能根据表皮边界的特征形状来适当地判定是否是巴瑞特食道。

在实施例6的判定方法中，假定食道接近于圆管形状，计算表皮边界37的Z方向的平均值<Z_A>，计算表皮边界37的Z方向的各位置与该平均值<Z_A>的偏差(离散值)，判定是否是巴瑞特食道。在该方法中，在食道的管状形状因例如心脏的搏动等的影响及其他影响而从圆管形状发生了变形的情况下，判定结果容易受到该影响。

在本实施例中，为了减轻该影响，根据图47的左侧所示的内窥镜图像Ia生成右侧的展开图Ib，并在该展开图Ib上检测例如胃食道接合部34，根据从该胃食道接合部34到表皮边界37的距离的离散值来判定是否是巴瑞特食道。

即，在食道的管状形状发生了变形的情况下，认为胃食道接合部34也发生大致同样的变形，因而通过利用从胃食道接合部34到表皮边界37的距离信息，几乎不受食道的管状形状的影响地进行判定。在该情况下，也可以取代胃食道接合部34，而检测通到胃的暗部或贲门部，对其加以利用。

作为胃食道接合部34的检测方法，可检测沿例如食道粘膜的管腔方向(即Z方向)走行的栅状血管的端点，通过连接该端点来检测胃食道接合部34。

本实施例的处理方法如图48所示。在图48中，从步骤S81到S84与图37或图46相同。在步骤S84以后，在步骤S151中，CPU 22进行检测胃食道接合部34的处理，检测胃食道接合部B34。

在下一步骤S152中，CPU 22计算表皮边界37和胃食道接合部34中的Z方向的距离Z_Aθi-Z_Bθi的平均值<Z_AB>和离散值σ_AB。

这里，平均值<Z_AB>和离散值σ_AB可根据以下的式(27)来求出。

[数式26]

$<Z_{\mathrm{AB}}>=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}(Z_{\mathrm{A\&theta;i}}-Z_{\mathrm{B\&theta;i}})$ ${\mathrm{\&sigma;}}_{\mathrm{AB}}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{(Z_{\mathrm{A\&theta;i}}-Z_{\mathrm{B\&theta;i}}-<Z_{\mathrm{AB}}>)}^2---\left(27\right)$

然后，在下一步骤S153中，CPU 22通过把该离散值σ_AB与预先求出的用于判定的基准的离散值σ_ABth进行比较，来判定是表皮边界还是性状发生了变化的巴瑞特食道。

即，在通过步骤S153，判定为离散值σ_AB的值小于基准的离散值σ_ABth的情况下，如步骤S88所示，CPU 22判定为表皮边界，反之在离散值σ_AB的值大于等于基准的离散值σ_ABth的情况下，如步骤S89所示判定是巴瑞特食道。

然后，如步骤S90所示，CPU 22输出判定结果，以便把步骤S88或步骤S89的判定结果显示在监视器4上，结束该处理。

根据本实施例，以胃食道接合部34为基准计算到表皮边界37的距离(＝Z_Aθi-Z_Bθi)的平均值<Z_AB>，评价该距离Z_Aθi-Z_Bθi的偏差，从而判定表皮边界37是表皮边界还是巴瑞特食道，因而即使在食道的管状发生了变形的情况下也能适当地进行判定。

另外，也可以取代如上所述以胃食道接合部34为基准，而把通到胃的暗部或贲门部用作基准来判定。例如为了检测暗部(最暗部)，用为了检测暗部而设定的阈值进行二值化，通过边缘提取来检测其边界，并进行细线化等，从而可检测暗部的边界。

在该情况下，与检测胃食道接合部34的情况相比，可通过简单的处理来计算。

(实施例9)

下面参照图49和图50对本发明的实施例9进行说明。本实施例在巴瑞特食道的情况下，关注表皮边界37伴随复杂形状的特征，根据该特征计算表皮边界37的线长度，判定是表皮边界还是巴瑞特食道。

图49示出如上述的各实施例那样根据内窥镜图像所生成的展开图Ib。由于该展开图Ib是离散图像，因而实际上，表皮边界37的曲线用折线来表示。因此，计算相邻2点A_i-1(θ_i-1，Z_i-1)、A_i(θ_i，Z_i)之间的距离L_i-1，i，求出该距离L_i-1，i的总和值，从而如式(28)所示求出表皮边界37的长度L_A。即，

[数式27]

$L_{i-1,i}=\sqrt{{({\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_{i-1})}^2+{(Z_i-Z_{i-1})}^2}$ $L_A=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{L}_{i-1,i}---\left(28\right)$

这里，i是在将360度(2π)作了N等分的情况下的从1到N的值。

使用这样计算出的表皮边界37的长度L_A，通过图50所示的过程来判定是表皮边界还是巴瑞特食道。图50中的步骤S81至S83与图37相同，因而省略。

如图50所示，在通过步骤S84进行了表皮边界37的检测之后，如步骤S161所示，CPU 22计算表皮边界37的长度L_A。

在下一步骤S162中，CPU 22把计算出的表皮边界37的长度L_A与使用预先确定了诊断的多个样本来进行判定所使用的作为基准的表皮边界的长度L_th进行比较。然后，在表皮边界37的长度L_A小于基准的表皮边界的长度L_th的情况下，如步骤S88所示，CPU 22判定为表皮边界，反之在表皮边界37的长度L_A大于等于基准的表皮边界的长度L_th的情况下，如步骤S89所示判定为是巴瑞特食道。

然后，如步骤S90所示，CPU 22输出步骤S88或步骤S89的判定结果，以便显示在监视器4上，结束该处理。

根据本实施例，在巴瑞特食道的情况下，表皮边界37成为复杂的形状的病例是多见的，可对这种病例的情况进行准确的判定。

另外，在计算表皮边界37的长度L_A的情况下，也可以用近似式来表示表皮边界37的曲线，并根据该近似式求出线长度。这样，可计算更高精度的线长度，可更高精度地进行基于线长度的判定。

另外，根据相邻2点A_i-1(θ_i-1，Z_i-1)、A_i(θ_i，Z_i)之间的距离L_i-1，i在周向整周(360度)上的总和值，来计算表皮边界37的长度L_A，然而不一定限于整周。这在其他实施例中也是一样。

(实施例10)

下面参照图51A至图52对本发明的实施例10进行说明。在本实施例中，求出表皮边界的曲线中的相邻矢量所成的角的绝对值在周向上的总和值，并根据该总和值判定是表皮边界还是巴瑞特食道。

在本实施例中，CPU 22如图51A的左侧所示根据内窥镜图像Ia生成右侧的展开图Ib。并且，CPU 22从展开图Ib检测表皮边界37。由于展开图Ib是离散图像，因而表皮边界37用折线表示。

提取出该表皮边界37上的相邻的3点，求出分别连接相邻的2点的两个线段所成的角、或者两个矢量所成的角。

例如如图51A中的圆C的部分放大图所示，图19B示出该图中的3点A_i-1、A_i、A_i+1的矢量V_i、V_i+1。

然后，CPU 22计算两个矢量V_i、V_i+1所成的角φ_θi。

然后，CPU 22使i从0开始逐次地递增1，在使3点A_i-1、A_i、A_i+1向左侧移动的同时，如式(29)所示计算该情况下的角φ_θi的绝对值的总和φ_A。

在该情况下，为：

[数式28]

${\mathrm{\&phi;}}_{\mathrm{\&theta;i}}={\cos }^{-1}\frac{V_i\&CenterDot;V_{i+1}}{\left|V_i\right|\left|V_{i+1}\right|}$ ${\mathrm{\&phi;}}_A=\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\left|{\mathrm{\&phi;}}_{\mathrm{\&theta;i}}\right|---\left(29\right)$

本实施例中的是表皮边界还是巴瑞特食道的判定方法如图52所示。在图52中，从最初的步骤S81到步骤S83与图37的情况相同，因而省略该步骤。

如步骤S84所示检测出表皮边界37之后，在下一步骤S171中，CPU22如图51A和图51B所说明的那样，根据展开图Ib上的相邻的3点依次设定两个矢量V_i、V_i+1，计算该两个矢量所成的角φ_θi。然后，在下一步骤S172中，计算这些角φ_θi的绝对值的总和φ_A。

在下一步骤S73中，把计算出的总和φ_A与使用预先确定了诊断的多个样本而求出的作为基准的表皮边界的情况下的总和值φ_th进行比较。然后，在计算出的总和φ_A小于基准的总和值φ_th的情况下，CPU 22如步骤S88所示判定为表皮边界，反之在总和φ_A大于等于基准的总和值φ_th的情况下，如步骤S89所示判定为是巴瑞特食道。

然后，如步骤S90所示，CPU 22输出步骤S88或步骤S89的判定结果，以便显示在监视器4上，结束该处理。

根据本实施例，在巴瑞特食道的情况下，表皮边界37形成为复杂的形状的病例是多见的，可对这种病例的情况进行准确的判定。

(实施例11)

下面参照图53和图54对本发明的实施例11进行说明。在本实施例中，计算表皮边界的弯曲点数，根据该数的大小判定是表皮边界还是巴瑞特食道。如上所述，在巴瑞特食道的病例的情况下，大多伴随锯齿形状等复杂形状。例如如图51A所示，表皮边界37在巴瑞特食道的病例中，大多形成为凹凸形状。

在本实施例中，作为计算(评价)弯曲点数的具体例，例如计算与展开图中的表皮边界37的极大值和极小值相当的拐点的数。或者计测连接展开图中的表皮边界37上的相邻2点的线段或矢量与水平方向所成的角从大于0度的状态变为小于等于0度(从正变为负)的状态或者从小于0度变为大于等于0度(从负变为正)的点的数。图53示出该情况。

如图53所示，计算表皮边界37上的2点A_i-1、A_i的矢量V_i的斜率ΔZ_i/Δθ_i＝ψ_i从正变为负的点、和从负变为正的拐点的数。在图53中，由于矢量V_i+2的斜率变为负，因而判定为点A_i+2是拐点。

然后，这样从θ_i的i＝1至N进行拐点的检测，计算拐点的总和。然后，根据拐点的总和值的大小判定是表皮边界还是巴瑞特食道。

本实施例中的是表皮边界还是巴瑞特食道的判定方法如图54所示。在图54中，从最初的步骤S81到步骤S83与图37的情况相同，因而省略该步骤。

如步骤S84所示，CPU 22在检测出表皮边界37之后，在下一步骤S181中，把θ的变量参数i和弯曲点数F_A初始化。即，CPU 22设i＝1和F_A＝0。在下一步骤S182中，CPU 22如图53所示计算矢量V_i的斜率ψ_i。然后，在下一步骤S183中，CPU 22判定该斜率ψ_i是否与拐点对应。在通过该判定判定为与拐点对应的情况下，在步骤S184中，CPU 22使数F_A的值增大1之后，进到下一步骤S185。

并且，在步骤S183的判定处理中，CPU 22在判定为斜率ψ_i不与拐点对应的情况下，移到步骤S185。在步骤S185中，CPU 22判定变量参数i是否等于θ的分割数N，在不等于N的情况下，如步骤S186所示使变量参数i的数增大1，回到步骤S182。

这样，CPU 22重复进行从步骤S182到步骤S186的处理，直到i＝N。

然后，在i＝N的情况下，如步骤S187所示，CPU 22判定数F_A是否小于作为基准的数F_th。该作为基准的数F_th是根据确定了诊断的多个样本所计算的。

然后，在数F_A小于作为基准的数F_th的情况下，如步骤S88所示，CPU 22判定为表皮边界，反之在数F_A大于等于基准的数F_th的情况下，如步骤S89所示判定为是巴瑞特食道。

然后，如步骤S90所示，CPU 22输出步骤S88或步骤S89的判定结果，以便显示在监视器4上，结束该处理。

根据本实施例，在巴瑞特食道的情况下，表皮边界37形成为复杂的形状的病例是多见的，可对这种病例的情况进行准确的判定。

另外，在本实施例中，以通过计算拐点数F_A，并比较计算出的数来判定是表皮边界还是巴瑞特食道的例子来进行了说明，然而也可以例如如日本国特願2004-360319号所记载的那样，通过计算弯曲点数，将该数进行比较，来判定是表皮边界还是巴瑞特食道。

该判定方法只要进行根据该秘本国特願2004-360319号的图4中的步骤S4至S14的处理的处理即可。另外，在该情况下，该处理针对根据内窥镜图像所获得的图像数据来执行。

并且，在上述说明中，对计算拐点数F_A或者弯曲点数，把该数与基准值进行比较来判定是表皮边界还是巴瑞特食道的例子进行了说明，然而也可以把相邻两点的斜率ψ_i、ψ_i+1的值进行比较，对该值发生变化的点(例如相减值发生变化的点)的数进行计数，把其总和值与基准值进行比较来进行判定。

另外，在例如图37的处理过程中，在步骤S83中生成展开图之后，在下一步骤S84中检测表皮边界37，然而也可以先检测出表皮边界37之后，生成展开图Ib。

并且，在上述的各实施例中，对定量地判定是否是作为上消化道的食道内的胃食道接合部周围部的疾病的巴瑞特食道的情况进行了说明，然而也能应用于下消化道的情况。

例如也可以根据将内窥镜6插入大肠内所拍摄的图像来生成展开图，从该展开图检测色调等与正常部位不同的病变部粘膜的边界，并针对该检测出的边界，进行对例如边界的形状等的分析，获得分析结果。总之，可广泛用作根据对体内的管状部位进行摄像而得到的内窥镜图像来生成展开图，根据该展开图进行对病变部等的分析的情况下的装置和方法。在该情况下，通过将分析结果与展开图一起使用，可容易把握病变部等，可高效率地进行诊断等。另外，使上述各实施例部分地组合等而构成的实施例等也属于本发明。

由于根据将直视型内窥镜插入体腔内来对食道等管状部位内面进行摄像而得到的图像来生成接近于将该管状部位内面展开的形状的展开图图像并显示在显示装置上，因而即使是深度方向的值不同的部分也能用相同的刻度来显示，因而可获得容易进行比较等且也可进行客观的诊断的图像。

Claims (39)

1.一种医疗图像处理装置，其特征在于，该医疗图像处理装置具有：

图像变换部，其对拍摄生物体内的管状部位而得到的医疗图像进行几何变换；以及

展开图输出部，其把由上述图像变换部所获得的变换图像作为展开图图像而输出到显示装置。

2.根据权利要求1所述的医疗图像处理装置，其特征在于，上述医疗图像是由把上述管状部位的长度方向作为视野方向的直视型摄像装置所拍摄的摄像图像。

3.根据权利要求2所述的医疗图像处理装置，其特征在于，上述图像变换部具有从上述摄像图像变换成极坐标系的图像的坐标系变换部。

4.根据权利要求2所述的医疗图像处理装置，其特征在于，上述图像变换部把上述摄像图像投影在圆柱体表面上来生成上述变换图像。

5.根据权利要求2所述的医疗图像处理装置，其特征在于，该医疗图像处理装置还具有推定部，该推定部推定上述摄像装置和上述管状部位的相对位置关系。

6.根据权利要求2所述的医疗图像处理装置，其特征在于，该医疗图像处理装置还具有中心位置设定部，该中心位置设定部设定上述摄像图像的中心位置。

7.根据权利要求6所述的医疗图像处理装置，其特征在于，上述中心位置设定部检测上述摄像图像内的最暗部，把检测出的最暗部的重心位置作为中心位置。

8.根据权利要求1所述的医疗图像处理装置，其特征在于，该医疗图像处理装置具有失真像差校正部，该失真像差校正部校正上述医疗图像的失真像差。

9.根据权利要求1所述的医疗图像处理装置，其特征在于，该医疗图像处理装置还具有显示装置，该显示装置显示上述展开图图像。

10.根据权利要求5所述的医疗图像处理装置，其特征在于，上述推定部从在上述管状部位和上述摄像装置被设定成分别不同的多个位置关系的状态下所获得的多个模型图像中，检测与上述摄像装置实际拍摄的上述摄像图像接近的模型图像，从而推定与检测出的模型图像对应的位置关系。

11.根据权利要求1所述的医疗图像处理装置，其特征在于，该医疗图像处理装置还具有立体形状推定部，该立体形状推定部根据上述医疗图像推定上述管状部位的立体形状。

12.根据权利要求2所述的医疗图像处理装置，其特征在于，该医疗图像处理装置还具有立体形状推定部，该立体形状推定部根据上述摄像图像推定上述管状部位的立体形状。

13.根据权利要求12所述的医疗图像处理装置，其特征在于，上述图像变换部对上述摄像图像进行几何变换以把上述摄像图像投影在由上述立体形状推定部所推定出的立体形状的表面上，生成上述变换图像。

14.根据权利要求13所述的医疗图像处理装置，其特征在于，该医疗图像处理装置具有显示装置，该显示装置显示由上述图像变换部根据上述变换图像所生成的上述展开图图像。

15.根据权利要求11所述的医疗图像处理装置，其特征在于，上述立体形状推定部根据在分别不同的摄像位置所拍摄到的多张摄像图像之间的同一对象部分的移动量，来推定上述摄像位置和上述管状部位的立体形状。

16.根据权利要求11所述的医疗图像处理装置，其特征在于，上述立体形状推定部采用阴影恢复形状法，该阴影恢复形状法根据针对距照明单元的距离被视为相等的表面上的曲线的发展方程式来推定上述管状部位的立体形状。

17.根据权利要求11所述的医疗图像处理装置，其特征在于，该医疗图像处理装置具有直线推定部，该直线推定部针对由上述立体形状推定部所推定出的立体形状，推定通过该立体形状的大致中心的直线。

18.根据权利要求11所述的医疗图像处理装置，其特征在于，该医疗图像处理装置具有变换参数计算部，该变换参数计算部计算从表示由上述立体形状推定部所推定出的立体形状的坐标系变换到以上述直线为基准的坐标系的变换参数。

19.根据权利要求1所述的医疗图像处理装置，其特征在于，上述展开图输出部具有插值处理部，该插值处理部对上述变换图像进行插值处理而输出上述展开图图像。

20.根据权利要求1所述的医疗图像处理装置，其特征在于，该医疗图像处理装置还具有：

表皮边界检测部，其针对上述展开图图像检测作为食道侧粘膜的扁平表皮与上述扁平表皮变性成胃侧粘膜的圆柱表皮的边界、即表皮边界；以及

分析部，其针对检测出的上述表皮边界，计算与规定的特征量对应的分析结果。

21.根据权利要求2所述的医疗图像处理装置，其特征在于，该医疗图像处理装置还具有：

表皮边界检测部，其针对上述展开图图像检测作为食道侧粘膜的扁平表皮与上述扁平表皮变性成胃侧粘膜的圆柱表皮的边界、即表皮边界；以及

分析部，其针对检测出的上述表皮边界，计算与规定的特征量对应的分析结果。

22.根据权利要求21所述的医疗图像处理装置，其特征在于，上述分析部计算与作为上述规定的特征量的、巴瑞特食道的情况下的表皮边界的形状特征量对应的分析结果。

23.根据权利要求21所述的医疗图像处理装置，其特征在于，上述分析部具有：平均值计算部，其计算上述表皮边界的平均值；以及偏差量计算部，其计算与上述表皮边界的平均值的偏差量，上述分析部通过计算上述偏差量来计算与上述规定的特征量对应的分析结果。

24.根据权利要求21所述的医疗图像处理装置，其特征在于，上述分析部计算上述表皮边界上的食道的管腔方向上的最大值和最小值的差量值，把该差量值与规定值的比较结果作为分析结果。

25.根据权利要求21所述的医疗图像处理装置，其特征在于，上述分析部计算从胃和食道的接合部等基准部位到上述表皮边界的距离的偏差量，把计算出的偏差量与基准值进行比较来作为分析结果。

26.根据权利要求21所述的医疗图像处理装置，其特征在于，上述分析部计算上述表皮边界上的相邻2点间的距离的总和值，把计算出的总和值与基准值的比较结果作为分析结果。

27.根据权利要求21所述的医疗图像处理装置，其特征在于，上述分析部计算连接上述表皮边界上的相邻3点中的相邻2点的两个矢量所成的角的绝对值的总和值，把计算出的总和值与基准值的比较结果作为分析结果。

28.根据权利要求21所述的医疗图像处理装置，其特征在于，上述分析部计算上述表皮边界上的各点的形状在上述食道的管腔方向上变得凹凸的情况下的弯曲点的数量，把计算出的弯曲点的数量与基准值的比较结果作为分析结果。

29.根据权利要求21所述的医疗图像处理装置，其特征在于，上述分析部计算上述表皮边界的形状在上述食道的管腔方向上变为极大和极小的极值的数量，并把计算出的极值的数量与基准值的比较结果作为分析结果。

30.根据权利要求1所述的医疗图像处理装置，其特征在于，该医疗图像处理装置还具有直视型内窥镜，该直视型内窥镜具有把插入部的长度方向作为视野方向的摄像装置。

31.根据权利要求2所述的医疗图像处理装置，其特征在于，上述展开图输出部根据上述摄像图像而生成与将上述管状部位的内周面切开而得到的图像对应的展开图图像。

32.一种内窥镜装置，其特征在于，该内窥镜装置具有：

内窥镜，其具有拍摄体腔内的管状部位的图像的摄像装置；

展开图像生成装置，其使用由上述摄像装置所拍摄到的至少一张图像，来生成与将管状部位切开而得到的图像对应的展开图图像；

表皮边界检测部，其从上述展开图图像检测表皮边界；以及

分析部，其对由上述表皮边界检测部检测出的表皮边界的形状进行分析，输出分析结果。

33.一种医疗图像处理方法，其特征在于，该医疗图像处理方法具有：

图像变换步骤，该步骤对拍摄体腔内的管状部位而得到的医疗图像进行几何变换；以及

展开图输出步骤，该步骤从由上述图像变换步骤所获得的变换图像作为展开图图像而输出到显示装置。

34.根据权利要求33所述的医疗图像处理方法，其特征在于，上述图像变换步骤是从上述医疗图像变换到极坐标系的图像的极坐标系变换步骤。

35.根据权利要求33所述的医疗图像处理方法，其特征在于，上述图像变换步骤进行生成把上述医疗图像投影在圆柱体表面上的二维图像的几何图像变换。

36.根据权利要求33所述的医疗图像处理方法，其特征在于，该医疗图像处理方法具有立体形状推定步骤，该步骤根据上述医疗图像推定上述管状部位的立体形状。

37.根据权利要求36所述的医疗图像处理方法，其特征在于，上述图像变换步骤把上述医疗图像对通过上述立体形状推定步骤所推定出的立体形状的表面进行几何变换。

38.根据权利要求33所述的医疗图像处理方法，其特征在于，该医疗图像处理方法具有：

表皮边界检测步骤，该步骤从上述展开图图像检测作为食道侧粘膜的扁平表皮和上述扁平表皮变性成胃侧粘膜的圆柱表皮的边界、即表皮边界；以及

分析步骤，该步骤针对检测出的上述表皮边界，计算与规定的特征量对应的分析结果。

39.根据权利要求33所述的医疗图像处理方法，其特征在于，上述分析步骤计算作为上述规定的特征量的、巴瑞特食道的情况下的表皮边界的特征量的评价值，把上述评价值与作为基准的基准值进行比较来计算分析结果。

Images