CN101378692B - 医疗用图像处理装置及医疗用图像处理方法 - Google Patents

Abstract

本发明提供医疗用图像处理装置及医疗用图像处理方法。本发明的医疗用图像处理装置具有：三维模型估计部，其根据所输入的体腔内的活体组织的像的二维图像，估计该活体组织的三维模型；形状特征量计算部，其计算所述活体组织的三维模型具有的各个体素的形状特征量；三维形状提取部，其根据所述形状特征量，提取所述活体组织的三维模型具有的各个体素中、三维模型被估计为预定形状的第1体素组；和隆起形状检测部，其检测所述第1体素组，作为构成所述活体组织的三维模型中的隆起形状的体素组。

Description

医疗用图像处理装置及医疗用图像处理方法

技术领域

本发明涉及一种医疗用图像处理装置及医疗用图像处理方法，尤其涉及可以检测体腔内的活体组织的三维模型中的隆起形状的医疗用图像处理装置及医疗用图像处理方法。

背景技术

通过配备内窥镜和医疗用图像处理装置等而构成的内窥镜系统被广泛应用在医疗领域等。具体地讲，内窥镜系统例如具有：内窥镜；和医疗用图像处理装置，其根据摄像信号进行使作为显示部的监视器等图像显示该体腔内的像的处理，其中，所述内窥镜具有：插入作为活体的体腔内的插入部；配置在该插入部的前端部的物镜光学系统；和拍摄通过该物镜光学系统形成的体腔内的像并作为该摄像信号输出的摄像部。并且，用户根据图像显示在作为显示部的监视器等上的体腔内的像，例如进行观察作为体腔内的被摄体的脏器等。

并且，具备上述结构的内窥镜系统还可以例如拍摄大肠等消化管道粘膜的像作为体腔内的被摄体的。因此，用户可以综合观察例如粘膜的色调、病变的形状和粘膜表面的微细结构等各种观察结果。

另外，近年来，例如提出了日本特开平11-337845号公报记载的内窥镜装置，其可以根据与通过内窥镜拍摄的被摄体的像的摄像信号对应的二维图像的数据，生成该被摄体的三维模型。

另一方面，作为在三维模型中检测息肉等病变部位的方法，例如提出了US Patent Application No.20030223627记载的方法，即，可以通过使用被称为ShapeIndex和Curvedness的基于曲率的形状特征量进行该三维模型的形状评价，检测该三维模型中的病变部位。

尤其是包括作为通过内窥镜拍摄的具有隆起形状的活体组织的像、例如大肠的皱褶或息肉等活体组织的像的二维图像，相对于该内窥镜的视场方向包含不可见区域的情况居多。并且，所述二维图像中的不可见区域一般被称为遮挡区域(occlusion)，是难以估计正确的三维模型的区域。因此，在二维图像的产生遮挡的部分中，例如有可能在基于该二维图像的三维模型的对应位置不存在估计结果、或者在基于该二维图像的三维模型的对应位置计算了可信度低的估计结果。

结果，在采用通过以往的图像处理、例如在日本特开平11-337845号公报的内窥镜装置中进行的图像处理估计的被摄体的三维模型，进行该被摄体的观察时，产生用户发现息肉等病变部位时的负担增大的问题。

并且，US Patent Application No.20030223627提出的检测息肉等病变部位的方法，例如是假设了应用于通过使用CT(Computed Tomograpy)的观察得到的不产生导致遮挡的部分的三维模型的方法。因此，US PatentApplication No.20030223627提出的检测息肉等病变部位的方法，例如在应用于根据通过使用内窥镜的观察得到的具有导致遮挡的部分的二维图像估计的三维模型时，息肉等病变部位的检测精度降低。结果，在使用采用了US Patent Application No.20030223627提出的方法的内窥镜系统观察被摄体时，产生用户发现息肉等病变部位时的负担增大的问题。

发明内容

本发明就是鉴于上述情况而提出的，其目的在于，提供一种医疗用图像处理装置和医疗用图像处理方法，其在使用根据具有遮挡区域的二维图像估计的三维模型进行观察时，可以防止用户看漏息肉等病变部位，从而可以减轻用户的负担。

本发明的第一医疗用图像处理装置的特征在于，该第一医疗用图像处理装置具有：三维模型估计部，其根据所输入的体腔内的活体组织的像的二维图像，估计该活体组织的三维模型；形状特征量计算部，其计算所述活体组织的三维模型具有的各个体素(voxel)的形状特征量；三维形状提取部，其根据所述形状特征量，提取所述活体组织的三维模型具有的各个体素中、三维模型被估计为预定形状的第1体素组；以及隆起形状检测部，其检测所述第1体素组，作为构成所述活体组织的三维模型中的隆起形状的体素组。

本发明的第二医疗用图像处理装置的特征在于，在所述第一医疗用图像处理装置中，还具有区域检测部，该区域检测部检测所输入的所述二维图像中的可见区域和不可见区域。

本发明的第三医疗用图像处理装置的特征在于，在所述第二医疗用图像处理装置中，所述区域检测部获取所输入的所述二维图像中的线结构的信息，并且根据所述线结构的信息检测边界部，从而以该边界部为边界来划分所述可见区域和所述不可见区域。

本发明的第四医疗用图像处理装置的特征在于，在所述第二或第三医疗用图像处理装置中，所述三维模型估计部还根据在所述可见区域中估计的各个体素，在所述不可见区域的预定位置添加体素。

本发明的第五医疗用图像处理装置的特征在于，在所述第四医疗用图像处理装置中，所述预定位置是相对于所述区域检测部检测的边界部、与在所述可见区域中估计的各个体素对称的位置。

本发明的第六医疗用图像处理装置的特征在于，在所述第一～第五医疗用图像处理装置中，所述预定形状是凸型形状。

本发明的第七医疗用图像处理装置的特征在于，在所述第一医疗用图像处理装置中，所述三维形状提取部还检测所述活体组织的三维模型中的一个曲平面具有的体素组中，三维模型被估计为凸型形状的体素组即第2体素组、和三维模型被估计为山脊型形状的体素组即第3体素组，并且当该第2体素组和该第3体素组存在于预定范围内时，提取该第2体素组和该第3体素组作为所述第1体素组。

本发明的第八医疗用图像处理装置的特征在于，在所述第二医疗用图像处理装置中，所述三维形状提取部还检测所述活体组织的三维模型中的一个曲平面具有的体素组中，三维模型被估计为凸型形状的体素组即第2体素组、和三维模型被估计为山脊型形状的体素组即第3体素组，并且当位于所述不可见区域的该第3体素组和位于所述可见区域的该第2体素组存在于预定范围内时，提取该第2体素组和该第3体素组作为所述第1体素组。

本发明的第九医疗用图像处理装置的特征在于，在所述第八医疗用图像处理装置中，所述三维形状提取部还根据所述第2体素组的平均坐标与所述第3体素组的平均坐标之间的距离，判定位于所述不可见区域的该第3体素组和位于所述可见区域的该第2体素组是否存在于预定范围内。

本发明的第十医疗用图像处理装置的特征在于，在所述第二或第三医疗用图像处理装置中，所述形状特征量计算部还进行如下处理：只在所述可见区域的各个体素中计算所述形状特征量。

本发明的第十一医疗用图像处理装置的特征在于，在所述第三医疗用图像处理装置中，所述形状特征量计算部根据存在于一个体素的周边区域的体素的相关信息即周边区域体素信息，计算该一个体素的形状特征量，并且在检测到包括所述边界部的体素存在于该周边区域内的情况时，减少在计算该一个体素的形状特征量时使用的周边体素信息。

本发明的第一医疗用图像处理方法的特征在于，该第一医疗用图像处理方法包括：三维模型估计步骤，根据所输入的体腔内的活体组织的像的二维图像，估计该活体组织的三维模型；形状特征量计算步骤，计算所述活体组织的三维模型具有的各个体素的形状特征量；三维形状提取步骤，根据所述形状特征量，提取所述活体组织的三维模型具有的各个体素中、三维模型被估计为预定形状的第1体素组；以及隆起形状检测步骤，检测所述第1体素组，作为构成所述活体组织的三维模型中的隆起形状的体素组。

本发明的第二医疗用图像处理方法的特征在于，在所述第一医疗用图像处理方法中，还包括区域检测步骤，在该区域检测步骤中，检测所输入的所述二维图像中的可见区域和不可见区域。

本发明的第三医疗用图像处理方法的特征在于，在所述第二医疗用图像处理方法中，所述区域检测步骤获取所输入的所述二维图像中的线结构的信息，并且根据所述线结构的信息检测边界部，从而以该边界部为边界来划分所述可见区域和所述不可见区域。

本发明的第四医疗用图像处理方法的特征在于，在所述第二或第三医疗用图像处理方法中，所述三维模型估计步骤还根据在所述可见区域中估计的各个体素，在所述不可见区域的预定位置添加体素。

本发明的第五医疗用图像处理方法的特征在于，在所述第四医疗用图像处理方法中，所述预定位置是相对于所述区域检测步骤检测的边界部、与在所述可见区域中估计的各个体素对称的位置。

本发明的第六医疗用图像处理方法的特征在于，在所述第一～第五医疗用图像处理方法中，所述预定形状是凸型形状。

本发明的第七医疗用图像处理方法的特征在于，在所述第一医疗用图像处理方法中，所述三维形状提取步骤还检测所述活体组织的三维模型中的一个曲平面具有的体素组中，三维模型被估计为凸型形状的体素组即第2体素组、和三维模型被估计为山脊型形状的体素组即第3体素组，并且当该第2体素组和该第3体素组存在于预定范围内时，提取该第2体素组和该第3体素组作为所述第1体素组。

本发明的第八医疗用图像处理方法的特征在于，在所述第二医疗用图像处理方法中，所述三维形状提取步骤还检测所述活体组织的三维模型中的一个曲平面具有的体素组中，三维模型被估计为凸型形状的体素组即第2体素组、和三维模型被估计为山脊型形状的体素组即第3体素组，并且当位于所述不可见区域的该第3体素组和位于所述可见区域的该第2体素组存在于预定范围内时，提取该第2体素组和该第3体素组作为所述第1体素组。

本发明的第九医疗用图像处理方法的特征在于，在所述第七或第八医疗用图像处理方法中，所述三维形状提取步骤还根据所述第2体素组的平均坐标与所述第3体素组的平均坐标之间的距离，判定位于所述不可见区域的该第3体素组和位于所述可见区域的该第2体素组是否存在于预定范围内。

本发明的第十医疗用图像处理方法的特征在于，在所述第二或第三医疗用图像处理方法中，所述形状特征量计算步骤还执行如下处理：只在所述可见区域的各个体素中计算所述形状特征量。

本发明的第十一医疗用图像处理方法的特征在于，在所述第三医疗用图像处理方法中，所述形状特征量计算步骤根据存在于一个体素的周边区域的体素的相关信息即周边区域体素信息，计算该一个体素的形状特征量，并且在检测到包括所述边界部的体素存在于该周边区域内的情况时，减少在计算该一个体素的形状特征量时使用的周边体素信息。

附图说明

图1是表示使用本发明的实施方式涉及的医疗用图像处理装置的内窥镜系统的总体结构的一例的图。

图2是表示图1所示的内窥镜被插入管状器官内时的状态的示意图。

图3是表示在图2所示状态下通过内窥镜拍摄的管状器官和活体组织的像的示意图。

图4是表示在第1实施方式中提取活体组织的像的二维图像中的边缘部时，图1所示的医疗用图像处理装置进行的处理步骤的流程图。

图5是表示在第1实施方式中提取活体组织的像的二维图像中的表面部时，图1所示的医疗用图像处理装置进行的处理步骤的流程图。

图6是表示在第1实施方式中检测活体组织的三维模型中的隆起形状时，图1所示的医疗用图像处理装置进行的处理步骤的流程图。

图7是表示通过图1所示的医疗用图像处理装置估计的活体组织的三维模型的一例的图。

图8是从其他方向观察图7所示活体组织的三维模型时的图。

图9是表示图7和图8所示的活体组织的三维模型中的边界附近平面的图。

图10是表示在图7和图8所示的活体组织的三维模型中，添加了基于图9所示边界附近平面的镜像时的一例的图。

图11是表示在第2实施方式中检测活体组织的三维模型中的隆起形状时，图1所示的医疗用图像处理装置进行的处理概况的一例的图。

图12是表示在第2实施方式中检测活体组织的三维模型中的隆起形状时，图1所示的医疗用图像处理装置进行的处理概况的、与图11不同的示例的图。

图13是表示通过图1所示的医疗用图像处理装置估计的活体组织的三维模型的、与图7和图8不同的示例的图。

图14是表示在第3实施方式中检测活体组织的三维模型中的隆起形状时，图1所示的医疗用图像处理装置进行的处理步骤的流程图。

图15是表示在图13所示的活体组织的三维模型中，被估计为凸型形状的体素组的平均坐标A与被估计为山脊型形状的体素组的平均坐标B的位置关系的一例的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

(第1实施方式)

图1～图10涉及本发明的第1实施方式。图1是表示使用本实施方式涉及的医疗用图像处理装置的内窥镜系统的总体结构的一例的图。图2是表示图1所示的内窥镜被插入管状器官内时的状态的示意图。图3是表示在图2所示状态下通过内窥镜拍摄的管状器官和活体组织的像的示意图。图4是表示在第1实施方式中提取活体组织的像的二维图像中的边缘部时，图1所示的医疗用图像处理装置进行的处理步骤的流程图。图5是表示在第1实施方式中提取活体组织的像的二维图像中的表面部时，图1所示的医疗用图像处理装置进行的处理步骤的流程图。图6是表示在第1实施方式中检测活体组织的三维模型中的隆起形状时，图1所示的医疗用图像处理装置进行的处理步骤的流程图。图7是表示通过图1所示的医疗用图像处理装置估计的活体组织的三维模型的一例的图。图8是从其他方向观察图7所示活体组织的三维模型时的图。图9是表示图7和图8所示的活体组织的三维模型中的边界附近平面的图。图10是表示在图7和图8所示的活体组织的三维模型中，添加了基于图9所示边界附近平面的镜像时的一例的图。

如图1所示，内窥镜系统1构成为主要具有以下部分：医疗用观察装置2，其拍摄被摄体，并输出该被摄体的像的二维图像；医疗用图像处理装置3，其利用个人计算机等构成，对从医疗用观察装置2输出的二维图像的影像信号进行图像处理，并且输出进行该图像处理后的影像信号作为图像信号；和监视器4，其显示基于从医疗用图像处理装置3输出的图像信号的图像。

并且，医疗用观察装置2构成为主要具有以下部分：内窥镜6，其被插入体腔内，并拍摄该体腔内的被摄体而作为摄像信号输出；光源装置7，其提供用于照明通过内窥镜6拍摄的被摄体的照明光；摄像机控制单元(以下简称为CCU)8，其对内窥镜6进行各种控制，并且对从内窥镜6输出的摄像信号进行信号处理，作为二维图像的影像信号输出；和监视器9，其根据从CCU8输出的二维图像的影像信号，图像显示通过内窥镜6拍摄的被摄体的像。

内窥镜6构成为具有插入体腔内的插入部11、和设于插入部11的基端侧的操作部12。并且，在从插入部11内的基端侧到插入部11内的前端侧的前端部14的部分中，插通着用于传送从光源装置7提供的照明光的光导路13。

光导路13的前端侧配置在内窥镜6的前端部14上，后端侧连接光源装置7。由于光导路13具有这种结构，从光源装置7提供的照明光通过光导路13传送后，从设于插入部11的前端部14的前端面的未图示的照明窗射出。并且，通过从未图示的照明窗射出照明光，作为被摄体的活体组织等得到照明。

在内窥镜6的前端部14设有摄像部17，其具有安装在与未图示的照明窗相邻的未图示的观察窗上的物镜光学系统15，和配置在物镜光学系统15的成像位置处并例如利用CCD(电荷耦合元件)等构成的摄像元件16。根据这种结构，通过物镜光学系统15形成的被摄体的像，在通过摄像元件16拍摄后，作为摄像信号输出。

摄像元件16通过信号线连接CCU8。并且，摄像元件16根据从CCU8输出的驱动信号进行驱动，并向CCU8输出对应于所拍摄的被摄体的像的摄像信号。

并且，输入CCU8的摄像信号通过在设于CCU8内部的未图示的信号处理电路中进行信号处理，被转换为二维图像的影像信号而输出。从CCU8输出的二维图像的影像信号输入监视器9和医疗用图像处理装置3。由此，基于从CCU8输出的影像信号的被摄体的像作为二维图像显示在监视器9上。

医疗用图像处理装置3具有：图像输入部21，其对从医疗用观察装置2输出的二维图像的影像信号进行A/D转换并输出；作为中央运算处理装置的CPU22，其对从图像输入部21输出的影像信号进行图像处理；处理程序存储部23，其被写入了与该图像处理相关的处理程序；图像存储部24，其存储从图像输入部21输出的影像信号等；和信息存储部25，其存储CPU22进行的图像处理中的运算结果等。

并且，医疗用图像处理装置3具有：存储装置接口26；作为存储装置的硬盘27，其通过存储装置接口26存储作为CPU22的图像处理结果的图像数据等；显示处理部28，其根据作为CPU22的图像处理结果的图像数据，进行使得在监视器4上图像显示该图像数据的显示处理，并且把进行该显示处理后的图像数据作为图像信号输出；和利用键盘等构成的输入操作部29，其用于可以由用户输入CPU22进行的图像处理中的参数和针对医疗用图像处理装置3的操作指示。并且，监视器4显示基于从显示处理部28输出的图像信号的图像。

另外，医疗用图像处理装置3的图像输入部21、CPU22、处理程序存储部23、图像存储部24、信息存储部25、存储装置接口26、显示处理部28和输入操作部29，通过数据总线30相互连接。

下面，对内窥镜系统1的作用进行说明。

首先，用户按照图2所示将内窥镜6的插入部11插入例如大肠等管状器官31内。并且，在由用户将插入部11插入管状器官31后，例如存在于管状器官31内壁的病变部位即活体组织31A的像，通过设于前端部14的摄像部17被拍摄为图3所示的像。且通过摄像部17被拍摄为图3所示的像的管状器官31和活体组织31A的像，作为摄像信号输出给CCU8。

CCU8通过在未图示的信号处理电路中对从摄像部17的摄像元件16输出的摄像信号进行信号处理，把该摄像信号转换为二维图像的影像信号而输出。并且，监视器9根据从CCU8输出的影像信号，把管状器官31和活体组织31A的像显示为例如图3所示的二维图像。并且，CCU8把通过对从摄像部17的摄像元件16输出的摄像信号进行信号处理得到的二维图像的影像信号，输出给医疗用图像处理装置3。

输出给医疗用图像处理装置3的二维图像的影像信号，在图像输入部21中进行A/D转换后输入CPU22。

CPU22根据从图像输入部21输出的二维图像的影像信号、和写入处理程序存储部23中的处理程序，例如通过进行后述的处理，提取该二维图像中的活体组织31A的边缘部。

首先，CPU22根据从图像输入部21输出的二维图像的影像信号，例如通过针对该二维图像的红色成分适用带通滤波器，提取该二维图像中包含的所有边缘部(图4中的步骤S1)。

然后，具有区域检测部的功能的CPU22将所提取的所有边缘部细线化(图4中的步骤S2)，并计算被细线化的该所有边缘部中一个边缘部E的长度L(图4中的步骤S3)。另外，CPU22进行一个边缘部E的长度L是否比阈值thL1长、而且比阈值thL2短的判定。

并且，CPU22在检测出一个边缘部E的长度L是预定的阈值thL1以下的长度、或者在阈值thL2以上的情况时(图4中的步骤S4)，进行后述的图4中的步骤S11所示的处理。CPU22在检测到一个边缘部E的长度L比阈值thL1长、而且比阈值thL2短的情况时(图4中的步骤S4)，按照控制点Cn(n＝1、2、...、N)N均分该一个边缘部E(图4中的步骤S5)。

另外，CPU22获取从一个边缘部E的中点Cc引出的法线NCc，并且获取从各个控制点Cn引出的N条法线NCn(图4中的步骤S6)。然后，CPU22检测N条法线NCn中与法线NCc相交的法线数量Na(图4中的步骤S7)。

并且，CPU22进行N条法线NCn中与法线NCc相交的法线数量Na是否大于阈值tha的判断。且具有区域检测部的功能的CPU22在检测到与法线NCc相交的法线数量Na大于阈值tha的情况时(图4中的步骤S8)，判定为一个边缘部E中包含的像素组ip是活体组织31A的边缘部中包含的像素组，把该像素组ip具有的各个像素中的变量edge(i)的值设为ON(图4中的步骤S9)。另外，CPU22在检测到与法线NCc相交的法线数量Na在阈值tha以下时(图4中的步骤S8)，判定为一个边缘部E中包含的像素组ip不是活体组织31A的边缘部中包含的像素组，把该像素组ip具有的各个像素中的变量edge(i)的值设为OFF(图4中的步骤S10)。

换言之，具有区域检测部的功能的CPU22通过进行前述处理，判定为以变量edge(i)的值是ON的像素组为边界，划分了二维图像中的可见区域和不可见区域。

CPU22判定是否已对所提取的所有边缘部完成处理。并且，CPU22在检测到没有完成对所提取的所有边缘部的处理的情况时(图4中的步骤S11)，对其他一个边缘部进行前述的从图4中的步骤S3到图4中的步骤S10的处理。并且，CPU22在检测到已完成对所提取的所有边缘部的处理的情况时(图4中的步骤S11)，结束用于提取二维图像中的活体组织31A的边缘部的一系列处理。

然后，CPU22把通过进行前述用于提取二维图像中的活体组织31A的边缘部的一系列处理得到的处理结果、即二维图像的各个边缘部中包含的像素组ip中的变量edge(i)的值，临时存储在信息存储部25中。

CPU22根据存储在信息存储部25中的变量edge(i)的值和写入处理程序存储部23的处理程序，例如进行前述图4所示的处理，然后进行后面叙述的处理，由此提取该二维图像中的活体组织31A的表面部。

首先，CPU22根据存储在信息存储部25中的变量edge(i)的值，获取变量edge(i)为ON的一个边缘部E的细线(图5中的步骤S21)。然后，CPU22获取变量edge(i)为ON的一个边缘部E的细线中的两端的点(图5中的步骤S22)。

并且，CPU22把被变量edge(i)为ON的一个边缘部E的细线、和在前述图5中的步骤S22获取的该细线的两端的点的连接线包围的像素组jp，作为活体组织31A的二维图像中的可见区域、即活体组织31A的表面部中包含的像素组，把该像素组jp具有的各个像素中的变量omote(j)设为ON(图5中的步骤S23)。

CPU22判定是否已对变量edge(i)为ON的所有边缘部完成处理。并且，CPU22在检测到没有完成对变量edge(i)为ON的所有边缘部的处理的情况时(图5中的步骤S24)，对其他一个边缘部进行前述的从图5中的步骤S21到图5中的步骤S23的处理。并且，CPU22在检测到已完成对所提取的变量edge(i)为ON的所有边缘部的处理的情况时(图5中的步骤S24)，结束用于提取二维图像中的活体组织31A的表面部的一系列处理。

然后，CPU22把通过进行前述用于提取二维图像中的活体组织31A的表面部的一系列处理得到的处理结果、即二维图像的各个表面部中包含的像素组jp中的变量omote(j)的值，临时存储在信息存储部25中。

并且，具有三维模型估计部的功能的CPU22例如通过几何转换等处理，根据从图像输入部21输出的二维图像的影像信号的亮度信息等，进行用于获取在估计管状器官31和活体组织31A的三维模型时所需要的图像数据的图像处理。换言之，CPU22例如通过几何转换等处理，生成与二维图像中的各个像素对应的体素，并获取该体素作为用于估计三维模型的图像数据。即，像素组ip和像素组jp通过前述处理被转换为体素组ib和体素组jb。

CPU22通过前述处理获得包括变量omote(j)为ON的体素组jb的平面即活体组织表面部31a的数据、和包括变量edge(i)为ON的体素组ib的平面即活体组织边界部31b的数据，作为用于估计图3所示活体组织31A的三维模型的图像数据。由此，活体组织31A例如在把z轴方向作为采用内窥镜6观察时的视场方向时，被估计为具有图7所示形状的三维模型。

可是，通过进行以上处理，被估计为具有图7所示形状的三维模型的活体组织31A，在从x轴方向观察时，例如在图8所示的区域中具有不可见区域31c。CPU22根据活体组织表面部31a的数据和活体组织边界部31b的数据，再进行后面叙述的处理，由此估计活体组织31A的不可见区域31c的三维模型，并且检测所估计的活体组织31A的三维模型中的隆起形状。

首先，CPU22根据写入处理程序存储部23中的处理程序和活体组织边界部31b的数据，计算作为包含最多活体组织边界部31b的体素组ib具有的各个体素的平面、例如图9所示平面的近似平面31d(图6中的步骤S31)。

然后，CPU22根据活体组织表面部31a的数据，在不可见区域31c的预定位置添加新的体素。具体地讲，CPU22根据活体组织表面部31a的数据，在作为所述预定位置的、相对于近似平面31d而与活体组织表面部31a具有的各个体素对称的位置添加新的体素(图6中的步骤S32)。通过CPU22进行前述处理，活体组织31A例如被估计为图10所示的、具有活体组织表面部31a和作为该活体组织表面部31a的镜像而生成的活体组织背面部31e的三维模型。即，前述活体组织31A的不可见区域31c的三维模型被估计为活体组织背面部31e。

然后，CPU22对作为用于估计管状器官31和活体组织31A的三维模型的图像数据而得到的所有体素即P个体素，再分别继续进行后面叙述的处理。

具有形状特征量计算部的功能的CPU22把变量i设定为1(图6中的步骤S33)，然后提取P个体素中的一个体素Bi(i＝1、2、...、P-1、P)(图6中的步骤S34)，并计算ShapeIndex值SBi和Curvedness值CBi，作为该一个体素Bi的形状特征量(图6中的步骤S35)。

另外，所述ShapeIndex值和Curvedness值例如可以采用与US PatentApplication No.20030223627记载的方法相同的方法计算。因此，在本实施方式中，省略说明有关一个体素Bi的ShapeIndex值和Curvedness值的计算方法。

另外，具有三维形状提取部的功能的CPU22将ShapeIndex值SBi与预先设定的ShapeIndex值的阈值Sth比较，并将Curvedness值CBi与预先设定的Curvedness值的阈值Cth比较。换言之，CPU22通过进行前述处理，进行提取三维模型被估计为凸型形状的体素组的处理，作为检测活体组织31A是否为隆起形状的处理。另外，在图6所示的一系列处理中，为了检测具有作为隆起形状的凸型形状的活体组织31A，例如，阈值Sth被设定为0.9，且阈值Cth被设定为0.2。

并且，具有隆起形状检测部的功能的CPU22在检测到ShapeIndex值SBi大于阈值Sth、而且Curvedness值CBi大于阈值Cth的情况时(图6中的步骤S36)，把一个体素Bi判定为构成隆起形状的一部分的体素，把该一个体素Bi中的变量ryuuki(Bi)的值设为ON(图6中的步骤S37)。

并且，CPU22在检测到ShapeIndex值SBi在阈值Sth以下、或者Curvedness值CBi在阈值Cth以下的情况时(图6中的步骤S36)，把一个体素Bi判定为不是构成隆起形状的一部分的体素，把该一个体素Bi中的变量ryuuki(Bi)的值设为OFF(图6中的步骤S38)。

然后，CPU22进行P个体素是否全部进行了前述处理、即是否是变量i＝P的判定。

并且，CPU22在检测到不是i＝P的情况时(图6中的步骤S39)，进行向变量i加1的处理(图6中的步骤S40)，然后再次进行前述图6中的步骤S34到步骤S39所示的处理。

并且，CPU22在检测到是i＝P的情况时(图6中的步骤S39)，结束用于检测活体组织31A的三维模型中的隆起形状的一系列处理。

并且，CPU22对显示处理部28进行以下控制：例如在具有ryuuki(Bi)的值为ON的体素的三维模型中，在该三维模型上叠加用于表示活体组织31A是隆起形状的信息的字符串或着色等。由此，在监视器4上图像显示用户能够容易发现具有隆起形状的活体组织31A的管状器官31和活体组织31A的三维模型。

并且，CPU22也可以根据ryuuki(Bi)的值为ON的各个体素的位置，检测位于与该各个体素的位置对应的位置的二维图像上的各个像素，并且对显示处理部28进行以下控制：在具有该各个像素的该二维图像上叠加用于表示活体组织31A是隆起形状的字符串或着色等。

本实施方式的医疗用图像处理装置3通过进行以上叙述的一系列处理，可以防止用户看漏息肉等病变部位，从而可以减轻用户的负担。

(第2实施方式)

图11和图12涉及本发明的第2实施方式。另外，对具有与第1实施方式相同结构的部分，省略具体说明。并且，对与第1实施方式相同的构成要素使用相同符号，并省略说明。而且，在本实施方式中使用的内窥镜系统1的结构与第1实施方式相同。

图11是表示在第2实施方式中检测活体组织的三维模型中的隆起形状时，图1所示的医疗用图像处理装置进行的处理概况的一例的图。图12是表示在第2实施方式中检测活体组织的三维模型中的隆起形状时，图1所示的医疗用图像处理装置进行的处理概况的与图11不同的示例的图。

在第1实施方式的说明中叙述的一系列处理中计算的作为形状特征量的ShapeIndex值和Curvedness值，是根据高斯曲率和平均曲率这两个值计算的值。因此，CPU22也可以取代ShapeIndex值和Curvedness值这两个值而将高斯曲率和平均曲率这两个值作为形状特征量进行计算并处理。且该情况时，CPU22关于相当于在第1实施方式中叙述的图6的步骤S35所示处理的处理，进行后面叙述内容的处理。

具有形状特征量计算部的功能的CPU22例如计算由包括第1体素的M×M×M个体素组构成的局部区域的局部平面方程式，作为存在于一个体素的周边区域的体素的相关信息即周边体素信息。并且，具有形状特征量计算部的功能的CPU22根据所述周边体素信息，计算所述M×M×M个体素组中包含的所述第1体素的高斯曲率和平均曲率。

具体地讲，CPU22例如按照图11所示，计算由包括所期望的第1体素的5×5×5个体素组构成的所述局部区域的局部平面方程式，作为周边体素信息，并且根据该周边体素信息计算该所期望的第1体素的高斯曲率和平均曲率。

并且，具有形状特征量计算部的功能的CPU22在检测到变量edge(i)为ON的体素组ib中包含的各个体素中至少一个体素包含于所述局部区域内时，还计算例如由包括第2体素的K×K×K(K＜M)个体素组构成的所述局部区域的局部平面方程式，作为周边体素信息。并且，具有形状特征量计算部的功能的CPU22根据所述周边体素信息，计算所述K×K×K个体素组中包含的所述第2体素的高斯曲率和平均曲率。

具体地讲，CPU22例如按照图12所示，计算由包括所期望的第2体素的3×3×3个体素组构成的所述局部区域的局部平面方程式，作为周边体素信息，并且根据该周边体素信息计算该所期望的第2体素的高斯曲率和平均曲率。

CPU22通过进行前述处理，可以提取更多构成隆起形状的一部分的体素。结果，本实施方式的医疗用图像处理装置3可以防止用户看漏息肉等病变部位，从而可以减轻用户的负担，并且可以提高该病变部位的检测精度。

另外，CPU22在前述针对活体组织31A的三维模型的处理中，也可以进行以下处理，即，不计算估计结果的可信度较低的不可见区域31c的形状特征量，而只计算估计结果的可信度较高的可见区域即活体组织表面部31a和活体组织边界部31b附近的形状特征量。该情况时，本实施方式的医疗用图像处理装置3可以高精度地检测息肉等病变部位。

(第3实施方式)

图13、图14和图15涉及本发明的第3实施方式。另外，对具有与第1实施方式相同结构的部分，省略具体说明。并且，对与第1实施方式相同的构成要素使用相同符号，并省略说明。而且，在本实施方式中使用的内窥镜系统1的结构与第1实施方式相同。

图13是表示通过图1所示的医疗用图像处理装置估计的活体组织的三维模型的与图7和图8不同的示例的图。图14是表示在第3实施方式中检测活体组织的三维模型中的隆起形状时，图1所示的医疗用图像处理装置进行的处理步骤的流程图。图15是表示在图13所示的活体组织的三维模型中，被估计为凸型形状的体素组的平均坐标A与被估计为山脊型形状的体素组的平均坐标B的位置关系的一例的图。

在第1实施方式的说明中叙述的一系列处理中，CPU22也可以不进行用于估计作为活体组织31A的不可见区域31c的三维模型的活体组织背面部31e的处理(图6中的步骤S32所示的处理)，而是例如计算在相对于近似平面31d、与从活体组织表面部31a具有的各个体素对称的位置虚拟存在的各个体素的形状特征量，并且根据所计算的该形状特征量进行在该位置是否存在隆起形状的判定。

可是，CPU22在从活体组织31A的二维图像估计三维模型时，按照在第1实施方式的说明中叙述的那样，例如进行基于亮度信息的处理。因此，在活体组织31A的二维图像中的可见区域与不可见区域的边界部分(边缘部)具有比平常暗淡的亮度信息时，即使活体组织31A的实际形状是凸型形状，也有可能被估计为在位于采用内窥镜6观察时的视场方向(或管腔中心方向)即z轴方向的不可见区域中具有山脊型形状的、例如图13所示形状的三维模型。

在这种情况下，通过CPU22进行后面叙述的处理，检测被估计为三维模型的活体组织31A是否是隆起形状。

首先，CPU22把变量j设定为1(图14中的步骤S41)，然后提取三维模型中的一个曲平面具有的Q个体素中的一个体素Bj(j＝1、2、...、Q-1、Q)(图14中的步骤S42)，并计算ShapeIndex值SBj和Curvedness值CBj，作为该一个体素Bj的形状特征量(图14中的步骤S43)。

另外，CPU22将ShapeIndex值SBj与预先设定的ShapeIndex值的阈值Sth1比较，将Curvedness值CBj与预先设定的Curvedness值的阈值Cth1比较。换言之，CPU22通过进行前述处理，进行提取三维模型被估计为凸型形状的体素组的处理，作为检测活体组织31A是否为隆起形状的处理。另外，在图14所示的一系列处理中，为了检测具有作为隆起形状的凸型形状的活体组织31A，例如，阈值Sth1被设定为0.9，且阈值Cth1被设定为0.2。

并且，CPU22在检测到ShapeIndex值SBj大于阈值Sth1、而且Curvedness值CBj大于阈值Cth1的情况时(图14中的步骤S44)，把一个体素Bj判定为构成隆起形状的一部分的体素候选，把该一个体素Bj中的变量ryuuki1(Bj)的值设为ON(图14中的步骤S45)。

并且，CPU22在检测到ShapeIndex值SBj在阈值Sth1以下、或者Curvedness值CBj在阈值Cth1以下的情况时(图14中的步骤S44)，再进行ShapeIndex值SBj与预先设定的ShapeIndex值的阈值Sth2的比较。另外，在图14所示的一系列处理中，为了检测具有作为隆起形状的山脊型形状的活体组织31A，例如，阈值Sth2被设定为0.75。

CPU22在检测到ShapeIndex值SBj大于阈值Sth2的情况时(图14中的步骤S46)，把该一个体素Bj中的变量ryuuki2(Bj)的值设为ON(图14中的步骤S47)。

然后，CPU22进行三维模型的一个曲平面具有的Q个体素是否全部进行了前述处理、即是否是变量j＝Q的判定。

并且，CPU22在检测到不是j＝Q的情况时(图14中的步骤S48)，进行向变量j加1的处理(图14中的步骤S49)，然后再次进行前述图14中的步骤S42到步骤S48所示的处理。

并且，CPU22在检测到是j＝Q的情况时(图14中的步骤S48)，例如计算图15所示的变量ryuuki1(Bj)为ON的体素组的平均坐标A(X1、Y1、Z1)、与变量ryuuki2(Bj)为ON的体素组的平均坐标B(X2、Y2、Z2)之间的距离L(图14中的步骤S50)。然后，CPU22通过进行距离L与AB间距离的阈值thL的比较，判定变量ryuuki1(Bj)为ON的体素组与变量ryuuki2(Bj)为ON的体素组是否存在于预定范围内。

CPU22在检测到距离L在阈值thL以上的情况时(图14中的步骤S51)，判定具有变量ryuuki1(Bj)为ON的体素组和变量ryuuki2(Bj)为ON的体素组的一个曲平面不是构成隆起形状的体素，进行把Q个体素的各自变量ryuuki1(Bj)或变量ryuuki2(Bj)的值设为OFF的处理(图14中的步骤S52)，然后结束一系列处理。并且，CPU22在检测到距离L小于阈值thL的情况时(图14中的步骤S51)，判定具有变量ryuuki1(Bj)为ON的体素组和变量ryuuki2(Bj)为ON的体素组的一个曲平面是构成隆起形状的体素，并在把Q个体素的各自变量ryuuki1(Bj)或变量ryuuki2(Bj)的值设为ON的状态下结束一系列处理。由此，CPU22可以高精度地检测具有隆起形状的病变部位即息肉等。尤其CPU22通过进行本实施方式的一系列处理，除了能够进行隆起为大致半球状的病变部位(息肉等)的检测外，还能够进行用户比较容易看漏的、例如具有大致半圆柱状部位的隆起病变部位(息肉等)的检测。结果，本实施方式的医疗用图像处理装置3可以防止用户看漏息肉等病变部位，从而可以减轻用户的负担。

另外，本发明不限于上述实施方式，当然可以在不脱离发明宗旨的范围内进行各种变形和应用。

本发明以在2006年3月8日提出申请的特愿2006-63233号日本专利申请为基础并对其主张优先权，并且上述公开内容被引用于该申请的说明书、权利要求书和附图中。

Claims (22)

1.一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有：

三维模型估计部，其根据所输入的体腔内的活体组织的像的二维图像，估计该活体组织的三维模型；

形状特征量计算部，其计算所述活体组织的三维模型具有的各个体素的形状特征量；

三维形状提取部，其根据所述形状特征量，提取所述活体组织的三维模型具有的各个体素中、三维模型被估计为预定形状的第1体素组；以及

隆起形状检测部，其检测所述第1体素组，作为构成所述活体组织的三维模型中的隆起形状的体素组。

2.根据权利要求1所述的医疗用图像处理装置，其特征在于，该医疗用图像处理装置还具有区域检测部，该区域检测部检测所输入的所述二维图像中的可见区域和不可见区域。

3.根据权利要求2所述的医疗用图像处理装置，其特征在于，所述区域检测部获取所输入的所述二维图像中的线结构的信息，并且根据所述线结构的信息检测边界部，从而以该边界部为边界来划分所述可见区域和所述不可见区域。

4.根据权利要求2或3所述的医疗用图像处理装置，其特征在于，所述三维模型估计部还根据在所述可见区域中估计的各个体素，在所述不可见区域的预定位置添加体素。

5.根据权利要求4所述的医疗用图像处理装置，其特征在于，所述预定位置是相对于所述区域检测部检测的边界部、与在所述可见区域中估计的各个体素对称的位置。

6.根据权利要求1所述的医疗用图像处理装置，其特征在于，所述预定形状是凸型形状。

7.根据权利要求1所述的医疗用图像处理装置，其特征在于，所述三维形状提取部还检测所述活体组织的三维模型中的一个曲平面具有的体素组中，三维模型被估计为凸型形状的体素组即第2体素组、和三维模型被估计为山脊型形状的体素组即第3体素组，并且当该第2体素组和该第3体素组存在于预定范围内时，提取该第2体素组和该第3体素组作为所述第1体素组。

8.根据权利要求2所述的医疗用图像处理装置，其特征在于，所述三维形状提取部还检测所述活体组织的三维模型中的一个曲平面具有的体素组中，三维模型被估计为凸型形状的体素组即第2体素组、和三维模型被估计为山脊型形状的体素组即第3体素组，并且当位于所述不可见区域的该第3体素组和位于所述可见区域的该第2体素组存在于预定范围内时，提取该第2体素组和该第3体素组作为所述第1体素组。

9.根据权利要求8所述的医疗用图像处理装置，其特征在于，所述三维形状提取部还根据所述第2体素组的平均坐标与所述第3体素组的平均坐标之间的距离，判定位于所述不可见区域的该第3体素组和位于所述可见区域的该第2体素组是否存在于预定范围内。

10.根据权利要求2或3所述的医疗用图像处理装置，其特征在于，所述形状特征量计算部还进行如下处理：只在所述可见区域的各个体素中计算所述形状特征量。

11.根据权利要求3所述的医疗用图像处理装置，其特征在于，所述形状特征量计算部根据存在于一个体素的周边区域的体素的相关信息即周边区域体素信息，计算该一个体素的形状特征量，并且在检测到包括所述边界部的体素存在于该周边区域内的情况时，减少在计算该一个体素的形状特征量时使用的周边体素信息。

12.一种医疗用图像处理方法，其特征在于，该医疗用图像处理方法包括：

三维模型估计步骤，根据所输入的体腔内的活体组织的像的二维图像，估计该活体组织的三维模型；

形状特征量计算步骤，计算所述活体组织的三维模型具有的各个体素的形状特征量；

三维形状提取步骤，根据所述形状特征量，提取所述活体组织的三维模型具有的各个体素中、三维模型被估计为预定形状的第1体素组；

以及隆起形状检测步骤，检测所述第1体素组，作为构成所述活体组织的三维模型中的隆起形状的体素组。

13.根据权利要求12所述的医疗用图像处理方法，其特征在于，该医疗用图像处理方法还包括区域检测步骤，在该区域检测步骤中，检测所输入的所述二维图像中的可见区域和不可见区域。

14.根据权利要求13所述的医疗用图像处理方法，其特征在于，所述区域检测步骤获取所输入的所述二维图像中的线结构的信息，并且根据所述线结构的信息检测边界部，从而以该边界部为边界来划分所述可见区域和所述不可见区域。

15.根据权利要求13或14所述的医疗用图像处理方法，其特征在于，所述三维模型估计步骤还根据在所述可见区域中估计的各个体素，在所述不可见区域的预定位置添加体素。

16.根据权利要求15所述的医疗用图像处理方法，其特征在于，所述预定位置是相对于所述区域检测步骤检测的边界部、与在所述可见区域中估计的各个体素对称的位置。

17.根据权利要求12所述的医疗用图像处理方法，其特征在于，所述预定形状是凸型形状。

18.根据权利要求12所述的医疗用图像处理方法，其特征在于，所述三维形状提取步骤还检测所述活体组织的三维模型中的一个曲平面具有的体素组中，三维模型被估计为凸型形状的体素组即第2体素组、和三维模型被估计为山脊型形状的体素组即第3体素组，并且当该第2体素组和该第3体素组存在于预定范围内时，提取该第2体素组和该第3体素组作为所述第1体素组。

19.根据权利要求13所述的医疗用图像处理方法，其特征在于，所述三维形状提取步骤还检测所述活体组织的三维模型中的一个曲平面具有的体素组中，三维模型被估计为凸型形状的体素组即第2体素组、和三维模型被估计为山脊型形状的体素组即第3体素组，并且当位于所述不可见区域的该第3体素组和位于所述可见区域的该第2体素组存在于预定范围内时，提取该第2体素组和该第3体素组作为所述第1体素组。

20.根据权利要求19所述的医疗用图像处理方法，其特征在于，所述三维形状提取步骤还根据所述第2体素组的平均坐标与所述第3体素组的平均坐标之间的距离，判定位于所述不可见区域的该第3体素组和位于所述可见区域的该第2体素组是否存在于预定范围内。

21.根据权利要求13或14所述的医疗用图像处理方法，其特征在于，所述形状特征量计算步骤还执行如下处理：只在所述可见区域的各个体素中计算所述形状特征量。

22.根据权利要求14所述的医疗用图像处理方法，其特征在于，所述形状特征量计算步骤根据存在于一个体素的周边区域的体素的相关信息即周边区域体素信息，计算该一个体素的形状特征量，并且在检测到包括所述边界部的体素存在于该周边区域内的情况时，减少在计算该一个体素的形状特征量时使用的周边体素信息。

Images