CN102254320B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法。该图像处理装置具有：梯度信息计算部，其根据管腔内部图像的像素值计算各个像素的梯度信息；封闭区域生成部，其根据梯度信息生成满足条件的封闭区域，该条件是指在区域的内部不包含梯度强度为预定值以上的像素、而且区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲；以及异常部位检测部，其从封闭区域的内部检测异常部位。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及对拍摄管腔内部得到的管腔内部图像进行处理的图像处理装置及图像处理方法。

背景技术

过去，内窥镜作为被导入到患者等被检者的体内来观察体内管腔内部的医用观察装置得到广泛普及。并且，近年来开发了一种吞入式内窥镜(胶囊内窥镜)，该内窥镜在胶囊型的壳体内部具有摄像装置和将利用该摄像装置拍摄的图像数据无线发送到体外的通信装置等。利用这些医用观察装置拍摄的体内管腔内部的图像(管腔内部图像)的观察/诊断需要许多经验，因此期望有辅助医师诊断的医疗诊断支持功能。作为实现该功能的一种图像识别技术，提出了从管腔内部图像中自动检测病变等异常部位并提示给医师等的技术。

例如，日本特开2002-99896号公报公开了如下技术：使用形状依赖性滤波器稳定地检测作为乳腺癌的癌变部分的特点之一的微钙化阴影的候选，而不会受到粗大构造和线构造的影响。在该公开公报中，以假想的微钙化阴影的形状为基础，根据摄影条件和读取条件、图像对比度、微钙化阴影的尺寸这些各种条件、或者将这些条件进行组合的条件等，事前准备使滤波器特性为最佳的第2形状依赖性滤波器。并且，首先使用作为形态学滤波器(例如，参照小畑他，「多重構造要素を用ぃたモルフォロジ一フィルタにょる微小石灰化像の抽出」，電子情報通信学会論文誌，D-II，Vol.J75-D-II，No.7，P1170～1176，July1992，ぉょび小畑他，「モルフォロジ一の基礎とそのマンモグラム処理ヘの応用」，MEDICALIMAGINGTECHNOLOGY，Vol.12，No.1，January1994)的第1形状依赖性滤波器去除图像中的直线构造，由此生成表示细微构造部分的细微构造图像。然后，使用所准备的第2形状依赖性滤波器对细微构造图像进行强调处理，由此生成相比周围(包括利用第1形状依赖性滤波器未能去除的粗大构造部分和线构造部分等的除微钙化阴影候选之外的部分)只相对地强调了微钙化阴影候选的强调处理后图像。

可是，在利用上述的内窥镜或胶囊内窥镜等医用观察装置拍摄的管腔内部图像中，存在许多例如由于消化管道内壁的粘膜构造的折叠和起伏而产生的槽以及粘膜皱褶的轮廓等曲率较大弯折的部位。因此，在将日本特开2002-99896号公报应用于管腔内部图像来检测病变等异常部位时，在去除直线构造的第1形状依赖性滤波器(形态学滤波器)中，根据滤波器的尺寸，将导致前面叙述的活体组织形成的槽位置和轮廓部分等曲率较大弯折的部位残留在细微构造图像中。并且，日本特开2002-99896号公报的第2形状依赖性滤波器用于强调特定的形状(微钙化阴影的形状)，但被摄入管腔内部图像中的异常部位不具有所确定的形状。因此，很难像日本特开2002-99896号公报所述那样，事前假定异常部位的形状，然后设计用于对经由第1形状依赖性滤波器而残留的构造(例如前面叙述的曲率较大弯折的部位)和异常部位进行区别的最佳的形状依赖性滤波器。因此，即使将两种形状依赖性滤波器进行组合，也很难将异常部位与槽位置和轮廓部分进行区分检测。

发明内容

本发明就是鉴于上述情况而进行的，其目的在于提供一种能够高精度地从管腔内部图像检测异常部位的图像处理装置及图像处理方法。

本发明的图像处理装置用于从管腔内部图像检测异常部位，该图像处理装置具有：梯度信息计算部，其根据所述管腔内部图像的像素值计算各个像素的梯度信息；封闭区域生成部，其根据所述梯度信息生成满足条件的封闭区域，该条件是指在区域的内部不包含梯度强度为预定值以上的像素、而且区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲；以及异常部位检测部，其从所述封闭区域的内部检测异常部位。

并且，本发明的图像处理方法用于从管腔内部图像检测异常部位，该图像处理方法包括以下步骤：根据所述管腔内部图像的像素值计算各个像素的梯度信息；根据所述梯度信息生成满足条件的封闭区域，该条件是指在区域的内部不包含梯度强度为预定值以上的像素、而且区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲；从所述封闭区域的内部检测异常部位。

关于以上所述的内容以及本发明的其它目的、特点、优点和技术性及产业性的意义，通过参照附图来阅读下面的本发明的详细说明，将得到更进一步的理解。

附图说明

图1是说明实施方式1的图像处理装置的功能结构示例的框图。

图2是说明实施方式1的梯度信息计算部的结构示例的框图。

图3是说明实施方式1的封闭区域生成部的结构示例的框图。

图4是说明实施方式1的异常部位检测部的结构示例的框图。

图5是表示在内部包含槽位置等边缘的封闭区域的图。

图6是表示在图5中利用单点划线示出的线上的像素值的变化曲线的图。

图7是表示在边界处包含轮廓部分等较大弯曲的边缘的封闭区域的图。

图8是表示在图7中利用单点划线示出的线上的像素值的变化曲线的图。

图9是表示由实施方式1的图像处理装置进行的处理步骤的整体流程图。

图10是表示血红蛋白的分光吸收特性的图。

图11是表示实施方式1的轮廓抽取处理的详细处理步骤的流程图。

图12A是表示基点图案的图。

图12B是表示另一种基点图案的图。

图12C是表示另一种基点图案的图。

图12D是表示另一种基点图案的图。

图12E是表示另一种基点图案的图。

图12F是表示另一种基点图案的图。

图12G是表示另一种基点图案的图。

图12H是表示另一种基点图案的图。

图13A是表示另一种基点图案的图。

图13B是表示另一种基点图案的图。

图13C是表示另一种基点图案的图。

图13D是表示另一种基点图案的图。

图13E是表示另一种基点图案的图。

图13F是表示另一种基点图案的图。

图13G是表示另一种基点图案的图。

图13H是表示另一种基点图案的图。

图14是表示管腔内部图像的一例的图。

图15是表示通过对图14的管腔内部图像进行处理而检测到的线边缘的一部分以及该一部分的线边缘的基点的图。

图16是表示以图15所示的线边缘和基点为基础而引出的分割线的示意图。

图17是表示区域合并处理的详细处理步骤的流程图。

图18是说明区域的合并原理的说明图。

图19是表示区域的合并结果的示意图。

图20是表示合并结果的另一个示意图。

图21是说明实施方式2的图像处理装置的功能结构示例的框图。

图22是说明实施方式2的封闭区域生成部的结构示例的框图。

图23是表示由实施方式2的图像处理装置进行的处理步骤的整体流程图。

图24是表示实施方式2的封闭区域生成处理的详细处理步骤的流程图。

图25是说明封闭区域的初始形状的示意图。

图26是表示封闭区域的一例的图。

图27是表示应用了本发明的计算机系统的结构的系统结构图。

图28是表示构成图27的计算机系统的主体部的结构的框图。

具体实施方式

下面，参照附图说明本发明的优选实施方式。另外，本发明不受该实施方式的限定。并且，在各个附图的记述中对相同部分标注相同的标号。

本实施方式的图像处理装置用于对图像(管腔内部图像)进行处理，该图像例如是内窥镜或胶囊内窥镜等医用观察装置对被检者的体内的消化管道等管腔内部进行拍摄而得到的，具体地讲，图像处理装置进行从管腔内部图像检测例如病变和出血部位等异常部位的处理。如上所述，在管腔内部图像中摄入了粘膜构造等活体组织形成的槽的阴影和轮廓。在本实施方式中，为了防止把该槽位置和轮廓部分错误检测为异常部位的情况，在管腔内部图像中生成在内部和边界处不包含这些槽位置和轮廓部分的封闭区域，按照所生成的每个封闭区域检测异常部位。另外，在本实施方式中，管腔内部图像例如是按照每个像素具有针对R(红色)、G(绿色)、B(蓝色)的各个波长成分的像素值的彩色图像。

实施方式1

首先，对实施方式1的图像处理装置进行说明。图1是说明实施方式1的图像处理装置1的功能结构示例的框图。并且，图2是说明构成运算部15的梯度信息计算部16的结构示例的框图，图3是说明封闭区域生成部17的结构示例的框图，图4是说明异常部位检测部18的结构示例的框图。另外，在图1～图4的各个附图中，利用实线表示将图像处理装置1的各个部分之间连接起来并传输图像信号等数据信号的数据信号线，利用虚线表示传输控制信号的控制信号线。

如图1所示，实施方式1的图像处理装置1具有外部接口(I/F)部11、操作部12、显示部13、记录部14、运算部15、对图像处理装置1整体的动作进行控制的控制部20。

外部I/F部11用于获取由医用观察装置拍摄的管腔内部图像的图像数据，由该外部I/F部11获取的图像数据被记录在记录部14中，在由运算部15进行处理后，根据需要适当显示在显示部13上。例如，如医用观察装置是胶囊内窥镜等那样，如果与医用观察装置之间的图像数据的交换采用可移动式记录介质，则外部I/F部11由读卡装置构成，该读卡装置能够装卸自如地安装该记录介质，并读出所保存的管腔内部图像的图像数据。并且，如果采用将保存医用观察装置所拍摄的管腔内部图像的图像数据的服务器设置在合适位置、并从该服务器获取该图像数据的结构，则外部I/F部11由用于与服务器连接的通信装置等构成。并且，通过该外部I/F部11与服务器进行数据通信，并获取管腔内部图像的图像数据。除此之外，也可以由通过线缆输入来自内窥镜等医用观察装置的图像信号的接口装置等构成。

操作部12例如利用键盘和鼠标、触摸屏、各种开关等实现，向控制部20输出操作信号。显示部13利用LCD和EL显示器等显示装置实现，在控制部20的控制下，显示包括由胶囊内窥镜3拍摄的图像的显示画面的各种画面。

记录部14利用能够进行更新记录的闪存等ROM和RAM这样的各种IC存储器、内置或者通过数据通信端子而连接的硬盘、CD-ROM等信息记录介质及其读取装置等实现，记录部14记录程序和在执行该程序时使用的数据等，该程序用于使图像处理装置1进行动作，以实现该图像处理装置1具有的各种功能。例如，在记录部14中记录了由外部I/F部11获取的管腔内部图像的图像数据。并且，在记录部14中记录了用于从管腔内部图像检测异常部位的图像处理程序141。

运算部15利用CPU等硬件实现，进行用于对管腔内部图像进行处理并检测异常部位的各种运算处理。该运算部15包括梯度信息计算部16、封闭区域生成部17、异常部位检测部18，这些梯度信息计算部16、封闭区域生成部17、异常部位检测部18按照该顺序进行连接。并且，通过外部I/F部11获取的被记录在记录部14中的管腔内部图像的图像信号，被输入给梯度信息计算部16和异常部位检测部18。并且，将按照后面所述由构成运算部15的各个部分进行了处理的、从管腔内部图像检测到的异常部位的信息，与管腔内部图像的图像信号等一起从异常部位检测部18输出，并输入给显示部13。

梯度信息计算部16根据管腔内部图像的像素值，计算作为梯度信息的一例的梯度强度。该梯度信息计算部16如图2所示具有特定波长图像抽取部161和梯度强度计算部162。其中，特定波长图像抽取部161与梯度强度计算部162连接。特定波长图像抽取部161根据从记录部14输入的管腔内部图像的图像信号，从管腔内部图像抽取特定波长成分的图像(以下称为“特定波长成分图像”)。如上所述，在实施方式1中获取的管腔内部图像由R(红色)、G(绿色)、B(蓝色)的各个波长成分构成。特定波长图像抽取部161根据R(红色)、G(绿色)、B(蓝色)的波长成分中预定的特定波长成分，抽取特定波长成分图像。关于将哪个波长成分设为特定波长成分，是根据活体内的吸收或者散射的程度而确定的。所抽取的特定波长成分图像被输出给梯度强度计算部162。梯度强度计算部162按照所输入的特定波长成分图像的每个像素计算梯度强度。如上所述构成的梯度信息计算部16将所算出的梯度强度输出给封闭区域生成部17。

封闭区域生成部17生成满足条件的封闭区域，该条件是指在区域的内部不包含梯度强度为预先设定的预定值以上的像素，而且区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲。该封闭区域生成部17如图3所示具有分割部171和合并部175。其中，分割部171与合并部175连接。

分割部171根据梯度强度将管腔内部图像分割为多个区域。该分割部171具有线边缘检测部172、基点检测部173和分割线生成部174。这里，这些线边缘检测部172、基点检测部173、分割线生成部174按照该顺序进行连接。

线边缘检测部172根据从梯度信息计算部16输入的梯度强度来检测线边缘。所检测到的线边缘被输出给基点检测部173。基点检测部173根据所输入的线边缘，检测线边缘的端点和线边缘以预先设定的预定值以上的曲率弯曲的弯曲点，将检测到的端点和弯曲点设定为分割线的基点。所设定的基点与所输入的线边缘一起被输出给分割线生成部174。分割线生成部174以所输入的线边缘和基点为基础，朝向水平方向和垂直方向分别引出到达线边缘或者图像边缘的分割线。并且，分割部171将管腔内部图像分割为被线边缘检测部172所检测到的线边缘和分割线生成部174所引出的分割线包围的区域，将确定所分割的多个区域的位置的信息(例如后面叙述的分割图像)输出给合并部175。

合并部175对分割部171所分割的多个区域进行合并。该合并部175具有区域信息计算部176、区域合并部177和合并控制部178。其中，区域信息计算部176与区域合并部177连接，区域合并部177与区域信息计算部176及合并控制部178连接。并且，来自合并控制部178的控制信号被输入给区域信息计算部176及区域合并部177，合并控制部178控制区域信息计算部176及区域合并部177的动作。

区域信息计算部176计算区域信息。具体地讲，区域信息计算部176在第一次的处理中，根据用于确定从分割部171输入的多个区域位置的信息，计算作为形状特征量的一例的粒子解析的特征量和与邻接区域的边界的长度，作为区域信息。并且，从区域合并部177向该区域信息计算部176输入用于确定合并后的区域位置的信息，在第二次及以后的处理中，根据用于确定合并后的区域位置的信息，对合并后的区域计算区域信息。所计算的区域信息被输出给区域合并部177。

区域合并部177根据所输入的区域信息，选择作为合并对象的区域并进行合并。具体地讲，区域合并部177以满足前述条件的方式进行区域的合并，前述条件是指在区域的内部不包含梯度强度为预先设定的预定值以上的像素、而且区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲。并且，区域合并部177将用于确定被合并的区域位置的信息输出给区域信息计算部176。并且，在不存在作为合并对象的区域的情况下，区域合并部177向合并控制部178输出表示该意思的通知。

合并控制部178控制由区域信息计算部176计算区域信息、由区域合并部177对区域进行合并的处理的反复执行。并且，在从区域合并部177输入了表示不存在作为合并对象的区域的通知的时刻，合并控制部178结束由区域信息计算部176和区域合并部177进行的处理的反复执行。

如上所述，封闭区域生成部17根据边缘线和作为其端点及弯曲点的基点，将管腔内部图像分割为多个区域，然后对分割的区域进行合并。并且，封闭区域生成部17把结束合并的时刻的各个区域作为封闭区域，向异常部位检测部18输出用于确定封闭区域位置的信息。

异常部位检测部18按照每个封闭区域从其内部检测异常部位。该异常部位检测部18如图4所示具有基准颜色估计部181和异常颜色部分检测部182。其中，基准颜色估计部181与异常颜色部分检测部182连接。

基准颜色估计部181按照从封闭区域生成部17输入的每个封闭区域，估计表示正常的活体组织的基准颜色。所估计的基准颜色被输出给异常颜色部分检测部182。异常颜色部分检测部182检测具有颜色特征量(偏差值)的封闭区域内的区域，作为异常颜色部分，该颜色特征量相对于所输入的基准颜色，偏离了预先设定的预定值以上。另外，预定值可以是固定值，也可以构成为能够根据用户通过操作部12进行的操作等进行设定变更。如上所述构成的异常部位检测部18将从各个封闭区域的内部检测到的异常颜色部分作为异常部位输出给显示部13。

控制部20利用CPU等硬件实现。该控制部20根据通过外部I/F部11获取的图像数据和从操作部12输入的操作信号、在记录部14中记录的程序和数据等，执行针对构成图像处理装置1的各个部分的指示及数据的传输等，对图像处理装置1整体的动作进行统一控制。

这里，对异常部位检测的概况进行说明。在该示例中，按照后面对详细情况的叙述那样，进行形态学处理、例如使用了球形的构造要素的三维形态学处理(浓淡形态学)，来检测异常部位。其中，形态学处理包括开放(Opening)处理(参考：CG-ARTS協会、179P-収縮·膨張処理)和封闭(Closing)处理(参考：CG-ARTS協会、ディジタル画像処理、179P-収縮·膨張処理)。开放处理是指在将像素值视为高度的三维空间中，在使被称为构造要素的基准图形(在该示例中是球形)从对象区域的像素值较小侧(下侧)进行外接移动时，计算构造要素的外周的最大值通过的轨迹(面)的处理。另一方面，封闭处理是指在相同的三维空间中，在使构造要素从对象区域的像素值较大侧(上侧)进行外接移动时，计算构造要素的外周的最小值通过的轨迹(面)的处理。并且，在采用了开放处理的情况下，将所得到的轨迹上的值用作基准值，将与实际像素值的差分较大的像素检测为异常部位(异常颜色部分)。在采用了封闭处理的情况下，同样将所得到的轨迹上的基准值与实际像素值的差分较大的像素检测为异常部位(异常颜色部分)。

可是，在采用包括前述的开放处理和封闭处理的形态学处理按照每个封闭区域检测异常部位的情况下，如果在封闭区域的内部包含槽位置，则有时将该槽位置错误检测为异常部位。图5是表示封闭区域的一例的示意图，表示以在内部包含槽位置等边缘EL1的方式而生成的封闭区域。并且，图6表示将横轴设为图5中利用单点划线示出的线(跨越边缘EL1的线)上的边界像素P11、P12之间的像素位置、将纵轴设为相应的各个像素的像素值时的像素值的变化曲线L11。在跨越边缘EL1的线上，如图6所示，该像素值的变化在边缘位置局部出现较大凹陷。因此，对在内部包含边缘EL1的封闭区域进行形态学处理(封闭处理)，在使构造要素F1从上侧进行外接移动时(箭头A11)，在构造要素F1大于前述凹陷部分的宽度时，构造要素F1不会进入该部分中，因而得到在图6中利用单点划线示出的轨迹L12(实际上是面)。这样，如果在封闭区域的内部包含槽位置等边缘EL1，则根据构造要素F1的形状而估计的基准颜色与实际的像素值偏差较大。另一方面，如上所述，异常部位的检测是将所得到的轨迹L12上的值用作基准颜色，将各个像素的像素值与基准颜色进行比较，由此将差分较大的像素检测为异常部位(异常颜色部分)。因此，如果生成在封闭区域的内部包含槽位置等边缘的封闭区域，则存在边缘EL1的部分由于箭头A12所示的差分而被错误检测为异常部位的情况。

同样，如果封闭区域的边界包含以预定曲率以上的曲率向内侧弯曲的轮廓部分，则存在将该轮廓部分错误检测为异常部位的情况。图7是表示封闭区域的另一个示例的示意图，表示以在边界处包含轮廓部分等边缘EL2的方式而生成的封闭区域，该边缘EL2以预定曲率以上的曲率向内侧弯曲。并且，图8表示将横轴设为图7中利用单点划线示出的线(跨越边缘EL2的弯曲部分的线)上的边界像素P21、P24之间的像素位置、将纵轴设为封闭区域的内部即边界像素P21、P22之间以及边界像素P23、P24之间的各个像素的像素值时的像素值的变化曲线L21。在跨越边缘EL2的弯曲部分的线上，如图8所示，该像素值的变化在弯曲位置中断。这里，对边界包含向内侧较大弯曲的边缘EL2的封闭区域进行形态学处理(封闭处理)，在使构造要素F2从上侧进行外接移动时(箭头A21)，在构造要素F2大于前述中断部分的间隔时，构造要素F2不会进入该部分中，因而得到在图8中利用单点划线示出的轨迹L22(实际上是面)。这样，在封闭区域的边界包含轮廓部分等向内侧较大弯曲的边缘时，与在封闭区域的内部包含槽位置等边缘的情况同样，将导致根据构造要素的形状而估计的基准颜色与实际的像素值偏差较大，并导致轮廓部分由于箭头A22所示的差分而被错误检测为异常部位。

为了控制以上所述的情况，封闭区域生成部17按照条件来生成封闭区域，该条件是指在区域的内部不包含梯度强度为预定值以上的像素(边缘部分的像素)，而且区域的边界不以预定曲率以上的曲率向内侧弯曲。由此，在采用形态学处理而进行的后期的异常部位检测中，能够适当地估计基准颜色。

图9是表示由实施方式1的图像处理装置1进行的处理步骤的整体流程图。另外，在此说明的处理通过由图像处理装置1的各个部分按照在记录部14中记录的图像处理程序141进行动作而实现。

如图9所示，首先控制部20执行图像获取处理，获取处理对象的管腔内部图像(步骤a1)。根据该步骤的处理，通过外部I/F部11获取管腔内部图像的图像数据，并记录在记录部14中。这样获取数据之后，该管腔内部图像的图像数据处于能够由运算部15等各个部分进行读取的状态。另外，下面把所获取的管腔内部图像的左上部作为基准，把横向的坐标设为x，把纵向的坐标设为y，把构成该管腔内部图像的各个像素的像素值表述为(x，y)。

然后，在运算部15中，梯度信息计算部16的特定波长图像抽取部161执行R成分图像获取处理，从通过步骤a1获取的管腔内部图像中抽取R(红色)成分的图像作为特定波长成分图像(步骤a3)。

被摄入管腔内部图像中的作为血管和出血部位等构成成分的血红蛋白具有较多地吸收短波长频带的光的特性。图10是表示血红蛋白的分光吸收特性的图，将横轴设为波长λ，利用实线表示氧合血红蛋白HbO₂的变化曲线，利用单点划线表示还原血红蛋白Hb的变化曲线。由于是这种血红蛋白的短波长频带的吸光特性，所以波长成分中的较多成分由短波长频带构成的G(绿色)成分和B(蓝色)成分的亮度值由于血红蛋白的吸光而下降。另一方面，波长成分中的较多成分由长波长频带构成的R(红色)成分由于吸光较少，而且使大部分的光反射，所以从该R(红色)成分能够得到最反映了活体组织的表面构造的信息。因此，在实施方式1中，为了获得按照活体组织的表面构造而形成的活体组织的轮廓，将R(红色)成分作为特定波长成分，抽取R(红色)成分的图像(将各个像素的像素值设为R(红色)成分的值的图像)作为特定波长成分图像。

然后，进入轮廓抽取处理(步骤a5)。在该轮廓抽取处理中，从特定波长成分图像检测线边缘，抽取所检测到的线边缘作为活体组织的轮廓。图11是表示轮廓抽取处理的详细处理步骤的流程图。

如图11所示，在轮廓抽取处理中，首先，梯度信息计算部16的梯度强度计算部162执行梯度强度计算处理，计算特定波长成分图像的梯度强度(步骤b1)。例如，对特定波长成分图像执行已经公知的sobel处理(参考：CG-ARTS協会、ディジタル画像処理、116P-ソ一ベルフィルタ)，作为同时进行降低噪声的平滑处理和微分处理的滤波处理，从而按照每个像素计算梯度强度。其中，能够适用的处理不限于sobel处理，只要是将平滑处理和微分处理进行组合的滤波器，也可以使用其它滤波器进行处理。

然后，在封闭区域生成部17中，分割部171的线边缘检测部172执行线边缘检测处理，根据梯度强度来检测特定波长成分图像内的线边缘(步骤b3)。例如，根据梯度强度来检测梯度的最大位置，并对所检测到的梯度的最大位置进行阈值处理，由此检测线边缘。在阈值处理中使用的阈值可以是固定值，也可以构成为能够根据用户通过操作部12进行的操作等进行设定变更。并且，按照下式(1)、(2)，对所检测到的线边缘的像素分配“1”，对线边缘之外的像素分配“0”，得到轮廓图像。

线边缘上的像素时：H(x，y)＝1......(1)

线边缘上之外的像素时：H(x，y)＝0......(2)

这里，作为具体实现在以上说明的轮廓抽取处理中由梯度强度计算部162进行的步骤b1的处理和由线边缘检测部172进行的步骤b3的处理的算法，可以采用已经公知的坎尼的边缘检测算法(Cannyedgedetector/参考：CG-ARTS協会、ディジタル画像処理、209P-輪郭線検出)。在按照以上所述进行了轮廓抽取处理后，返回图9的步骤a5，然后进入步骤a7。

在步骤a7中，基点检测部173执行基点检测处理，检测以线边缘为基础来引出分割线的基点。在实施方式1中，预先定义端点或者弯曲点的周围(例如8个附近像素)的线边缘的存在图案(以下称为“基点图案”)。图12-1～图12-8以及图13A～图13H分别表示基点图案，在图12-1～图12-8以及图13A～图13H的各个附图中示出的8种基点图案对应于端点的基点图案，在图13A～图13H的各个附图中示出的8种基点图案对应于端点或者弯曲点的基点图案。这里，为了识别中央像素的8个附近像素，在各个附图中按照8个附近像素的各个方格所示，将各个方格的坐标按照从左上部向右部绕一圈的顺序设为a、b、c、d、e、f、g、h。另外，在各个附图中，带有阴影的方格表示线边缘的像素。并且，作为图9中的步骤a7的处理，基点检测部173将线边缘上的各个像素依次设为关注像素，判定其8个附近像素中的线边缘的存在图案是否与图12-1～图12-8以及图13A～图13H的各个附图所示的基点图案一致。并且，基点检测部173将判定为一致的线边缘上的像素检测为端点或者弯曲点。

实际上，基点检测部173根据轮廓图像，按照下式(3)、(4)进行H(x，y)＝1的像素的8个附近像素是否与基点图案一致的判定，并检测端点或者弯曲点。

关于H(x，y)＝1的像素，

在满足条件1或者条件2时，H(x，y)＝2......(3)

在不满足条件1或者条件2时，H(x，y)＝1......(4)

其中，

条件1：H(a)+H(b)+H(c)+H(d)+H(e)+H(f)+H(g)+H(h)＝1

条件2：H(a)+H(b)+H(c)+H(d)+H(e)+H(f)+H(g)+H(h)＝2

而且，

H(a)H(b)+H(b)H(c)+H(c)H(d)+H(d)H(e)

+H(e)H(f)+H(f)H(g)+H(g)H(h)+H(h)H(a)＝1。

其中，在式(3)、(4)中，是否满足条件1相当于是否与图12-1～图12-8的各个基点图案一致的判定。即，图12-1～图12-8的各个基点图案由于8个附近像素中的任意一个像素是线边缘的像素，所以把8个附近像素的像素值的合计为“1”作为条件1。并且，是否满足条件2相当于是否与图13A～图13H的各个基点图案一致的判定。即，图13A～图13H的各个基点图案由于8个附近像素中邻接的两个像素是线边缘的像素，所以把8个附近像素的像素值的合计为“2”、而且将邻接的两个像素的像素值相乘得到的值的合计为“1”作为条件2。

并且，基点检测部173按照式(3)，对于线边缘上的H(x，y)＝1的像素中满足条件1的端点及满足条件2的端点或者弯曲点的像素，设为H(x，y)＝2，由此设定为分割线的基点。并且，基点检测部173按照式(4)，对于线边缘上的H(x，y)＝1的像素中不满足条件1也不满足条件2的像素，保持H(x，y)＝1。另外，这里按照式(3)、式(4)来检测端点或者弯曲点，但检测方法不限于该方法。例如，也可以使用匹配法检测端点或者弯曲点，例如只要能够检测按照图12-1～图12-8以及图13A～图13H的各个基点图案而确定的线边缘的端点以及以预定值以上的曲率弯曲的弯曲点，可以适当采用其它方法。

然后，按照图9所示，进入分割标注处理(步骤a9)。在该分割标注处理中，首先分割线生成部174以被设定为基点的H(x，y)＝2的像素为基础，引出到达与线边缘上的像素即H(x，y)＝1的像素的交点的分割线。在不与H(x，y)＝1的像素交叉的情况下，引出到达图像的边缘的分割线。在实施方式1中，作为一例，示出了沿着水平方向和垂直方向分别引出分割线的结构。另外，引出分割线的方向不限于水平方向和垂直方向，只要是沿不同的两个以上的方向进行引出的结构，就可以适当设定方向。

这里，参照图14～图16说明分割标注处理。图14是表示管腔内部图像的一例的图。并且，图15是表示通过对图14的管腔内部图像进行处理而检测到的线边缘的一部分以及该一部分的线边缘的基点的图，示出了7个基点P31～P37。并且，图16是表示以图15所示的线边缘和基点为基础而引出的分割线的示意图。

例如，在图16中，着眼于基点P33，分割线生成部174引出将与线边缘的交点P331、P332作为端点的直线即分割线L331，该分割线L331是通过基点P33的水平方向的直线，还引出将与线边缘的交点P333、P334作为端点的直线即分割线L332，该分割线L332是通过基点P33的垂直方向的直线。并且，着眼于基点P37，分割线生成部174引出将与线边缘的交点P371和图像的边缘P372作为端点的直线即分割线L371，该分割线L371是通过基点P37的水平方向的直线，还引出将与线边缘的交点P373、P374作为端点的直线即分割线L372，该分割线L372是通过基点P37的垂直方向的直线。

然后，分割部171以线边缘检测部172检测到的线边缘和分割线生成部174引出的分割线为基础，将管腔内部图像分割为作为被线边缘和分割线包围的区域的多个区域。该处理能够通过对被线边缘和分割线包围的一个区域内的像素赋予相同的标签来实现。这里，由于分割后的区域有多个，所以对各个区域分别分配固有的标签序号。并且，例如得到把各个像素的像素值作为该像素所属的区域的标签序号的分割图像。另外，作为赋予标签序号的方法，例如可以列举已经公知的标注处理(参考：CG-ARTS協会、ディジタル画像処理、181P-ラベリング)。

然后，按照图9所示，合并部175执行区域合并处理(步骤a11)。在该区域合并处理中，合并部175参照分割图像，对多个区域分别计算区域信息，并根据所计算的区域信息对区域进行合并。图17是表示区域合并处理的详细处理步骤的流程图。

如图17所示，在区域合并处理中，首先区域信息计算部176执行区域信息计算处理(步骤c1)。例如，区域信息计算部176通过对多个区域进行作为公知处理的粒子解析，来计算各个区域的特征量。这里，例如计算各个区域各自的水平费雷特(Feret)直径、垂直费雷特直径以及面积，作为粒子解析的特征量。并且，区域信息计算部176计算与邻接区域的边界的长度。例如，依次将各个区域作为关注区域并逐个进行处理，确定用于形成与邻接区域的边界的分割线。并且，计算所确定的分割线的长度作为与邻接区域的边界的长度。在形成关注区域的边界的分割线有多个的情况下，按照每个分割线计算与邻接区域的边界的长度。并且，区域信息计算部176把粒子解析的特征量、与邻接区域的边界的长度以及该区域的位置作为区域信息，按照每个区域计算该区域信息。

然后，区域合并部177执行合并处理，根据区域信息对分割后的多个区域进行合并(步骤c3)。然后，区域合并部177执行修正处理，对合并后的区域进行修正(步骤c5)。

按照以上所述，区域合并部177按照如下条件来进行区域的合并，该条件是指在合并后的区域内部不包含梯度强度为预定值以上的像素，而且合并后的区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲。这里，将在合并后的区域内部不包含梯度强度为预定值以上的像素的条件称为“第1区域条件”，将合并后的区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲的条件称为“第2区域条件”。在实施方式1中，按照图11的步骤b3的说明对梯度强度进行阈值处理，由此检测边缘线(即梯度强度为预定值以上的像素)，按照图9的步骤a7的说明将线边缘以预先设定的预定值以上的曲率弯曲的弯曲点(实际上是该弯曲点和边缘的端点)检测为基点。因此，以在合并后的区域的内部不存在包含这些基点的线边缘的方式对各个区域进行合并，由此进行满足第1、第2区域条件的合并。例如，在实施方式1中，进行至少保留一条通过各个基点的沿着水平方向和垂直方向的分割线的合并，由此实现上述处理。

图18是说明区域的合并原理的说明图，表示对按照图16中的分割线而划分的多个区域中的两个区域E41、E42进行合并的状态。图19是表示图16中的各个区域的合并结果的示意图。并且，图20是表示合并结果的另一个示意图。例如，着眼于图18(a)中附加阴影线示出的一个区域E41，构成该区域E41的边界的分割线有L41～L44这4条，L41、L43的长度比L42、L44长。并且，隔着该较长的分割线L41与区域E41邻接的区域E42，其面积比隔着分割线L43与区域E41邻接的区域E43小。因此，首先对区域E41和区域E42进行合并。结果，这两个区域E41、E42成为图18(b)所示的一个区域E44。在步骤c3中，反复进行这种区域的合并，并生成封闭区域。

更具体地讲，在对各个区域进行合并时，按照前面所述，进行至少保留一条通过各个基点的沿着水平方向和垂直方向的分割线的合并。例如，在图19中，对被分割线L51划分的区域E51、E52进行合并，将被合并后的区域进一步合并为被分割线L52划分的区域E53。在这种情况下，来自基点P33的分割线一条也没有保留下来。通过进行这种合并，区域E51、E52、E53成为一个区域，在该区域的内部包含被图19中的虚线EL5包围的边缘，该边缘包括作为端点的基点P33。被该虚线EL5包围的边缘上的各个点是梯度强度为预定值以上的像素，不满足第1区域条件。因此，不进行这种合并。

并且，在图20的示例中，边缘EL6包含以预定曲率以上的曲率向内侧弯曲的弯曲点即基点P6，示出了被该边缘EL6和分割线L6包围(被边缘EL6和分割线L6划分)的3个区域E61、E62、E63。这里，对隔着分割线L6而邻接的区域E61、E62进行合并。在这种情况下，来自基点P6的分割线一条也没有保留下来。通过进行这种合并，区域E61、E62成为一个区域，该区域的边界包含弯曲点即基点P6，所以不满足第2区域条件。因此，不进行这种合并。

在实际的合并处理中，区域合并部177首先进行步骤c3的处理，即、为了减小细长的区域，根据区域信息计算各个区域的水平费雷特直径与垂直费雷特直径之比，将所计算的比值较大的区域选择为合并对象。然后，区域合并部177根据作为合并对象的区域的区域信息中与邻接区域的边界的长度，从构成该边界的分割线中选择较长的两条分割线。然后，区域合并部177从隔着所选择的分割线而邻接的区域中选择面积较小的区域，并与合并对象的区域进行合并。

然后，区域合并部177进行步骤c5的处理，即：判定有无分割线一条也没有保留下来的基点。并且，在具有相应的基点的情况下，区域合并部177对在步骤c3中被合并的区域进行分割，使其恢复为原状(在合并后的区域之间再次引出分割线)，对区域进行修正。另外，区域合并部177按照反映步骤c3及步骤c5中的合并/修正的结果的方式对分割图像进行更新。另外，为了实现该修正处理，区域合并部177需要保存在步骤c3中进行合并之前的区域的信息。

然后，合并控制部178判定有无合并对象的区域。并且，在具有合并对象的区域的情况下(步骤c7：是)，返回步骤c1，反复进行上述的处理。另一方面，在没有合并对象的区域的情况下(步骤c7：否)，将在该时刻保留下来的区域(在该时刻在分割图像中被赋予了不同标签的区域)作为封闭区域，返回图9的步骤a11。然后，进入步骤a13。

并且，在步骤a11中，异常部位检测部18执行异常部位检测处理。例如，依次将各个封闭区域设为关注封闭区域，通过检测关注封闭区域的内部的异常部位，按照每个封闭区域检测内部的异常部位。具体地讲，首先基准颜色估计部181根据管腔内部图像中的关注封闭区域的像素值，估计表示正常的活体组织的基准颜色。然后，异常颜色部分检测部182根据对关注封闭区域估计出的基准颜色，在关注封闭区域的内部将颜色特征量(例如像素值)是相对前述基准颜色偏离了预定值以上的偏差值的区域检测为异常颜色部分。

这里的处理例如能够通过对关注封闭区域进行下述处理而实现，即：作为使用了形态学滤波器的形态学处理的一例的已经公知的top-hat处理或者黑帽(也称为black-hat/bottom-hat)处理。其中，top-hat处理是对管腔内部图像的像素值进行开放处理，对所得到的图像与原来的管腔内部图像的像素值的差分值进行阈值处理，由此检测异常颜色部分的方法。而black-hat处理是对管腔内部图像的像素值进行已经公知的封闭处理，对所得到的图像与原来的管腔内部图像的像素值的差分值进行阈值处理，由此检测异常颜色部分的方法。在步骤a11中，按照每个封闭区域进行该top-hat处理或者black-hat处理，由此从各个封闭区域的内部检测异常颜色部分，将检测到的异常颜色部分作为病变等异常部位。

作为处理步骤，首先，对各个封闭区域独立进行使用了预定尺寸的球形的构造要素的三维形态学处理(浓淡形态学)来估计基准颜色。然后，按照每个封闭区域计算内部的像素值与对相应的封闭区域估计的基准颜色的差分值。然后，对所计算的差分值进行阈值处理，将差分值为预先设定的预定阈值以上的像素检测为异常颜色部分的像素。按照以上所述进行的步骤a11中的异常部位的检测结果被输出给显示部13，例如进行能够将管腔内部图像中的异常部位的区域与其它区域进行识别的显示，由此提示给医师等用户。

如以上说明的那样，在实施方式1中，按照每个像素计算梯度强度，根据各个像素的梯度强度检测边缘线。并且，检测边缘线的端点和弯曲点作为基点，引出通过该基点的例如沿着水平方向和垂直方向的分割线，由此将管腔内部图像分割为多个区域。并且，通过按照条件对分割后的区域进行合并，生成封闭区域，并按照所生成的每个封闭区域检测异常部位，该条件是指在合并后的区域内部不包含梯度强度为预定值以上的像素，而且合并后的区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲。如上所述，在管腔内部图像中摄入了活体组织形成的槽位置和轮廓部分，该槽位置和轮廓部分在管腔内部图像中表现为梯度强度为预定值以上的部分和轮廓以某种程度的曲率弯曲的部分。因此，能够以在内部和边界处不包含被摄入管腔内部图像中的槽位置和轮廓部分的方式生成封闭区域，通过按照每个封闭区域应用形态学原理，能够检测封闭区域内部的异常部位。由此，能够高精度地从管腔内部图像检测异常部位，而不会将槽位置和轮廓部分错误检测为异常部位。

实施方式2

下面，对实施方式2进行说明。图21是说明实施方式2的图像处理装置1b的功能结构的框图。另外，在图21中，对与在实施方式1中说明的结构相同的结构标注相同的标号。并且，图22是说明构成运算部15b的封闭区域生成部19b的结构示例的框图。如图21所示，图像处理装置1b具有外部I/F部11、操作部12、显示部13、记录部14b、运算部15b、对图像处理装置1b整体的动作进行控制的控制部20。

在记录部14b中记录了用于从管腔内部图像检测异常部位的图像处理程序141b。

并且，运算部15b包括梯度信息计算部16、封闭区域生成部19b和异常部位检测部18，这些梯度信息计算部16、封闭区域生成部19b、异常部位检测部18按照该顺序进行连接。在实施方式2的图像处理装置1b中，运算部15b具有的封闭区域生成部19b与实施方式1的图像处理装置1不同。这里，在实施方式2中也是，封闭区域生成部19b将在区域的内部不包含梯度强度为预先设定的预定值以上的像素(第1区域条件)、而且区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲(第2区域条件)作为条件，生成满足条件的封闭区域，但是，其结构与实施方式1不同。即，封闭区域生成部19b如图22所示具有初始封闭区域生成部191、第1能量计算部192和封闭区域更新部193，这些初始封闭区域生成部191、第1能量计算部192、封闭区域更新部193按照该顺序进行连接。

初始封闭区域生成部191根据从梯度信息计算部16输入的梯度强度，在与周围相比梯度强度相对较小的位置处生成封闭区域的初始形状(初始封闭区域)。所生成的封闭区域的初始形状被输出给第1能量计算部192。

第1能量计算部192对于所输入的封闭区域的初始形状计算各个能量的加权和作为第1能量，所述各个能量包括：内部能量，其表示封闭区域的边界的平滑程度，封闭区域的边界越平滑返回越小的值；图像能量，封闭区域的边界的梯度强度越大返回越小的值；以及外部能量，封闭区域的大小越大返回越小的值。另外，在该示例中，计算内部能量、图像能量及外部能量的加权和，但是不一定计算三个加权和，也可以计算其中任意两个的加权和。所计算的第1能量与所输入的封闭区域的初始形状一起被输出给封闭区域更新部193。

封闭区域更新部193朝向第1能量变小的方向对封闭区域的形状进行更新。该封闭区域更新部193具有更新部194、第2能量计算部195、修正部196、封闭区域更新控制部197。其中，更新部194、第2能量计算部195以及修正部196按照该顺序进行连接，修正部196与更新部194及封闭区域更新控制部197连接。并且，来自封闭区域更新控制部197的控制信号被输入给更新部194、第2能量计算部195以及修正部196，封闭区域更新控制部197控制更新部194、第2能量计算部195以及修正部196的动作。

更新部194对封闭区域的形状进行更新。具体地讲，更新部194在第一次的处理中，对从第1能量计算部192输入的封闭区域的初始形状进行更新。并且，从修正部196向该更新部194输入被更新/修正后的封闭区域的形状，在第二次及以后的处理中，对该更新/修正后的封闭区域的形状进行更新。被更新后的封闭区域的形状被输出给第2能量计算部195。

第2能量计算部195根据所输入的封闭区域的形状，计算各个能量的加权和作为第2能量，所述各个能量包括：内部能量，封闭区域的边界越平滑返回越小的值；图像能量，封闭区域的边界的梯度强度越大返回越小的值；以及外部能量，封闭区域的大小越大返回越小的值。在计算该第2能量时，也可以与第1能量相同地计算内部能量、图像能量和外部能量中至少两个能量的加权和。所计算的第2能量与所输入的封闭区域的形状一起被输出给修正部196。

修正部196将所输入的第2能量与第1能量进行比较，在第1能量较小的情况下，将所输入的封闭区域的形状修正为利用更新部194进行更新之前的形状。另一方面，在第2能量较小的情况下，修正部196利用第2能量更新第1能量。并且，修正部196将修正后的封闭区域的形状输出给更新部194。并且，在所输入的第2能量比第1能量大、而且第1能量没有变化预先设定的预定次数的情况下，修正部196向封闭区域更新控制部197输出表示该意思的通知。

封闭区域更新控制部197控制下述处理的反复执行，即：由更新部更新封闭区域的形状，由第2能量计算部195计算第2能量，由修正部196修正封闭区域的形状。并且，在从修正部196输入了表示第1能量没有变化的通知的时刻，封闭区域更新控制部197结束由更新部194、第2能量计算部195和修正部196进行的处理的反复执行。

按照以上所述，封闭区域生成部19b在管腔内部图像中的梯度强度较小的区域生成封闭区域的初始形状，并向按照封闭区域的形状而确定的第1能量变小的方向对封闭区域的形状进行更新/修正。并且，封闭区域生成部19b向异常部位检测部18输出用于确定更新/修正后的封闭区域位置的信息。

图23是表示由实施方式2的图像处理装置1b进行的处理步骤的整体流程图。另外，在此说明的处理通过由图像处理装置1b的各个部分按照在记录部14b中记录的图像处理程序141b进行动作而实现。并且，在图23中，对与实施方式1相同的处理步骤标注相同的标号。

如图23所示，在实施方式2中，当在步骤a3中执行了R成分图像获取处理后，在梯度信息计算部16中，梯度强度计算部执行梯度强度计算处理，计算特定波长成分图像的梯度强度(步骤d5)。例如，对特定波长成分图像进行与图11的步骤b1相同的Sobel处理，并计算梯度强度。另外，梯度强度的计算方法不限于这种方法，也可以使用Sobel处理之外的微分滤波器计算梯度强度。

然后，封闭区域生成部19b执行封闭区域生成处理，使用已经公知的动态轮廓法生成封闭区域(步骤d7)。该封闭区域生成处理实际上例如被反复进行多次，生成多个封闭区域，直到在图像内部的全部区域中生成封闭区域为止。图24是表示封闭区域生成处理的详细处理步骤的流程图。

如图24所示，在封闭区域生成处理中，首先初始封闭区域生成部191执行初始封闭区域生成处理，以梯度强度为基础，在与周围相比梯度强度相对较小的范围中生成封闭区域的初始形状(初始封闭区域)(步骤e1)。如上所述，活体组织形成的槽位置和轮廓部分在管腔内部图像中表现为梯度强度为预定值以上的部分。因此，初始封闭区域生成部191以不包含这些部分的方式，在梯度强度较小的位置生成封闭区域的初始形状(初始封闭区域)。

具体地讲，首先选择梯度强度最小的像素。并且，将包括所选择的像素的预定尺寸的范围的梯度强度进行比较，并确定所选择的像素周围的梯度强度较小的范围，由此生成初始封闭区域。并且，在第二次及以后的封闭区域生成处理中执行步骤e1的处理，在生成初始封闭区域时，在已生成的封闭区域(其它封闭区域)外选择梯度强度最小的像素，生成与其它封闭区域不重叠的初始封闭区域。或者，以一部分与已生成的其它封闭区域重叠的方式来生成初始封闭区域，当在能量方面不适合以一部分与其它封闭区域重叠的方式来生成初始封闭区域的情况下(例如，如果以一部分与其它封闭区域重叠的方式来生成初始封闭区域，则第1能量将超过预定阈值的情况)，也可以生成与其它封闭区域不重叠的初始封闭区域。在这种情况下，首先以一部分与其它封闭区域重叠的方式来生成初始封闭区域。然后，按照与后面的步骤c3相同的要领，对所生成的初始封闭区域计算第1能量。并且，对所计算的第1能量的值进行阈值处理，在超过预先设定的预定阈值的情况下，对所生成的初始封闭区域进行修正使其不与其它区域重叠。

图25是说明封闭区域的形状的示意图。在实施方式2中，在步骤e1中生成的封闭区域的初始形状(初始封闭区域)，按照图25所示定义为将在初始封闭区域E7的边界上的像素中配置的多个控制点Pc连接形成的形状。此时，可以将边界上的全部像素作为各个控制点Pc，也可以在边界上例如以预定的间隔进行配置。或者，也可以设定为与从中心P7呈放射状设定的方向的交点，还可以利用合适的方法进行配置。在作为后面的处理的图24的步骤e3～步骤e9中，根据形成初始封闭区域E7的边界的各个控制点Pc的位置及其位置的梯度强度、各个控制点Pc距中心P7的距离等，计算上述的第1能量。并且，以使所计算的第1能量变小的方式使控制点Pc移动，对初始封闭区域E7进行更新/修正，生成封闭区域。

在实际的处理中，按照后面所述，封闭区域生成部19b朝向区域扩大的方向对初始封闭区域进行更新/修正，由此生成封闭区域。此时，在对初始封闭区域进行更新/修正的过程中，使位于初始封闭区域外侧的边缘不进入到封闭区域的内部，由此生成满足第1区域条件的封闭区域。并且，在对初始封闭区域进行更新/修正的过程中，使封闭区域的边界不会沿着位于其外侧的较大弯曲的边缘而扩大，使边界不会较大弯曲，由此生成满足第2区域条件的封闭区域。图26是表示封闭区域的一例的图，示出了在边缘EL8的内侧生成的两个封闭区域E81、E82，所述边缘EL8包括轮廓部分等以预定曲率以上的曲率向内侧弯曲的部分P8。如图26所示，各个封闭区域E81、E82是以边界不会沿着弯曲部分P8而扩大的方式生成的。

首先，在步骤e3中，第1能量计算部192执行第1能量计算处理，对于封闭区域的初始形状(初始封闭区域)计算各个能量的加权和作为第1能量，所述各个能量包括：内部能量，封闭区域的边界越平滑返回越小的值；图像能量，封闭区域的边界的梯度强度越大返回越小的值；以及外部能量，封闭区域的大小越大返回越小的值。

这里，按照上面所述，封闭区域的初始形状被定义为将多个控制点连接形成的形状。并且，第1能量被计算为各个控制点的内部能量、图像能量及外部能量这三个能量的加权和的总和，其计算公式利用下式(5)表示。

$E_1=\underset{1}{\overset{N}{\∫}}(E_{\mathrm{internal}}\left(i\right)+E_{\mathrm{image}}\left(i\right)+E_{\mathrm{external}}\left(i\right))\mathrm{di}...\left(5\right)$

其中，N表示控制点的个数。并且，E_internal表示内部能量，E_image表示图像能量，E_external表示外部能量。下面，依次对各个能量进行说明。

内部能量E_internal是指进行限制以使关注的控制点v₂不会相对于邻接的控制点v₁、v₃的位置向封闭区域的内侧以预定曲率以上的曲率弯曲的能量，并被计算为在满足第2区域条件时而变小的值。例如，内部能量E_internal是按照下式(6)、(7)，根据三个控制点v₁、v₂、v₃之间的矢量x_a、x_b的外积而计算的。

在(x_ay_b-x_by_a)＞0的情况下，E_internal(i)＝0......(6)

在除此之外的情况下，E_internal(i)＝α|x_ay_b-x_by_a|......(7)

其中，

(x_a，y_a)＝(x₂-x₁，y₂-y₁)

(x_b，y_b)＝(x₃-x₂，y₃-y₂)

v₁＝(x₁，x₁)

v₂＝(x₂，x₂)

v₃＝(x₃，x₃)。

图像能量E_image是指与关注的控制点位置的像素的梯度强度成反比例的能量，利用下式(8)表示，并被计算为在满足第1区域条件时而变小的值。

$E_{\mathrm{image}}\left(i\right)=\mathrm{\β}\frac{1}{{\mathrm{\ΔS}}_{\left(i\right)}}...\left(8\right)$

其中，表示控制点(i)的坐标上的梯度强度的值。

外部能量E_external是指关注的控制点在朝向封闭区域扩大的方向接受的能量，按照与关注的控制点距封闭区域中心的距离成反比例的下式(9)进行计算。

$E_{\mathrm{external}}\left(i\right)=\mathrm{\γ}\frac{1}{l_i}...\left(9\right)$

其中，

$l_i=\sqrt{{(x_i-x_c)}^2+{(y_i-y_c)}^2}$

$(x_c,y_c)=(\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i}{N},\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i}{N}).$

另外，式(7)中的α、式(8)中的β和式(9)中的γ分别表示针对相应能量的加权系数，按照经验规则来确定值。

然后，按照图24所示，更新部194执行控制点位置更新处理，对封闭区域的形状进行更新(步骤e5)。根据上述式(6)的外部能量，封闭区域的形状向扩大的方向更新(使控制点的位置向封闭区域扩大的方向移动)，由此能量变小。因此，通过使控制点优先向周围8个方向中成为封闭区域外侧的方向移动，对封闭区域的形状进行更新。例如，在图25的示例中，使各个控制点Pc的位置移动到初始封闭区域E7的边界外侧，将其形状向例如图25中的虚线所示那样扩大的方向进行更新。关于使各个控制点移动的距离，例如通过产生随机数等进行确定。

然后，第2能量计算部195执行第2能量计算处理(步骤e7)，对于更新后的封闭区域的形状计算各个能量的加权和作为第2能量，所述各个能量包括：内部能量，封闭区域的边界越平滑返回越小的值；图像能量，封闭区域的边界的梯度强度越大返回越小的值；以及外部能量，封闭区域的大小越大返回越小的值。具体地讲，第2能量计算部195对于更新后的封闭区域进行与步骤e3相同的处理，计算各个控制点的内部能量、图像能量和外部能量这三个能量的加权和的总和作为第2能量。

然后，修正部196执行更新修正处理(步骤e9)。具体地讲，修正部196将第1能量和第2能量进行比较，在第1能量较小时，将封闭区域的形状修正为更新前的形状。并且，在第2能量较小时，修正部196利用第2能量更新第1能量。另外，为了实现该更新修正处理，修正部196需要保持在步骤e5中进行更新之前的封闭区域的形状(前一次执行步骤e9时进行更新/修正，并输出给更新部194的封闭区域的形状)。另外，在第一次执行步骤e9时，在第1能量比第2能量小的情况下，只要将封闭区域的形状修正为初始形状即可。

然后，封闭区域更新控制部197进行判定处理，根据第1能量是否不再变化来判定反复处理的结束(步骤e11)。并且，在第2能量为第1能量以下或者第2能量比第1能量大、而且在第1能量不变化的状态小于预先设定的预定次数的期间，封闭区域更新控制部197判定为未结束反复处理，返回步骤e5，反复进行上述的处理。另一方面，在第2能量比第1能量大、而且第1能量不变化的状态持续了预定次数的情况下，封闭区域更新控制部197判定为结束了反复处理，并结束封闭区域生成处理。然后，返回图23的步骤d7，并进入步骤a13。

如以上说明的那样，在实施方式2中，根据各个像素的梯度强度来生成初始封闭区域的形状。并且，根据封闭区域的边界(图25所示的控制点Pc的位置)和封闭区域的边界中的梯度强度、从封闭区域的中心到封闭区域的边界的距离等，计算内部能量、图像能量和外部能量这三个能量，并计算其加权和的总和作为第1能量。并且，使各个控制点Pc的位置移动，向该第1能量变小的方向对封闭区域的形状进行更新，由此生成满足第1区域条件、第2区域条件的封闭区域。因此，能够以在内部和边界处不包含被摄入管腔内部图像中的槽位置和轮廓部分的方式生成封闭区域。由此，能够发挥与实施方式1相同的效果，能够高精度地从管腔内部图像检测异常部位，而不会将槽位置和轮廓部分错误检测为异常部位。

另外，上述的实施方式1的图像处理装置1和实施方式2的图像处理装置1b能够通过由电脑和工作站等计算机系统执行预先准备的程序而实现。下面，说明具有与在各个实施方式1、2中说明的图像处理装置1、1b相同的功能、并执行图像处理程序141、141b的计算机系统。

图27是表示本变形例中的计算机系统400的结构的系统结构图，图28是表示构成该计算机系统400的主体部410的结构的框图。如图27所示，计算机系统400具有：主体部410；显示器420，其用于按照来自主体部410的指示，在显示画面421上显示图像等信息；键盘430，其用于向该计算机系统400输入各种信息；鼠标440，其用于指定显示器420的显示画面421上的任意位置。

并且，该计算机系统400中的主体部410如图27和图28所示，具有：CPU411；RAM412；ROM413；硬盘驱动器(HDD)414；接受CD-ROM460的CD-ROM驱动器415；可装卸地连接USB存储器470的USB端口416；连接显示器420、键盘430和鼠标440的I/O接口417；以及用于与局域网络或者广域网络(LAN/WAN)N1连接的LAN接口418。

另外，在该计算机系统400上连接有用于连接因特网等公众线路N3的调制解调器450，同时通过LAN接口418和局域网络或者广域网络N1还连接有作为其它计算机系统的电脑(PC)481、服务器482、打印机483等。

并且，该计算机系统400通过读出并执行在预定的记录介质中记录的图像处理程序(例如实施方式1的图像处理程序141和实施方式2的图像处理程序141b)，实现图像处理装置(例如实施方式1的图像处理装置1和实施方式2的图像处理装置1b)。其中，预定的记录介质包括“可移动式物理介质”、“固定式物理介质”、“通信介质”等用于记录能够由计算机系统400读取的图像处理程序的所有记录介质，所述“可移动式物理介质”除了CD-ROM460、USB存储器470以外，还包含MO盘、DVD盘、软盘(FD)、光磁盘、IC卡等，所述“固定式物理介质”包括设于计算机系统400的内外部的HDD414、RAM412、ROM413等，所述“通信介质”是指如通过调制解调器450而连接的公众线路N3、连接有作为其它计算机系统的PC481和服务器482的局域网络或者广域网络N1等那样，用于在发送程序时短期存储程序。

即，图像处理程序以计算机能够读取的方式被记录在“可移动式物理介质”、“固定式物理介质”、“通信介质”等记录介质中，计算机系统400从这种记录介质中读出图像处理程序并执行图像处理程序，由此实现图像处理装置。另外，图像处理程序不限于由计算机系统400执行，在由作为其它计算机系统的PC481和服务器482执行图像处理程序的情况下、和在这些设备协作来执行图像处理程序的情况下，同样能够适用本发明。

另外，本发明不限于上述的各个实施方式1、2及其变形例的方式，通过对各个实施方式和变形例公开的多个构成要素进行适当组合，能够形成各种发明。例如，可以从各个实施方式和变形例公开的所有构成要素中删除几个构成要素来形成发明。或者，也可以将不同的实施方式和变形例公开的构成要素进行适当组合来形成发明。

根据以上说明的本发明，能够高精度地从管腔内部图像检测异常部位。

Claims (14)

1.一种图像处理装置，该图像处理装置从管腔内部图像检测异常部位，其具有：

梯度信息计算部，其根据所述管腔内部图像的像素值计算各个像素的梯度信息；

封闭区域生成部，其根据所述梯度信息生成满足条件的封闭区域，该条件是指在区域的内部不包含梯度强度为预定值以上的像素、而且区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲；以及

异常部位检测部，其从所述封闭区域的内部检测异常部位。

2.根据权利要求1所述的图像处理装置，其中

所述管腔内部图像由多个波长成分构成，

所述梯度信息计算部具有：

特定波长图像抽取部，其从所述管腔内部图像中抽取按照活体内的吸收或者散射的程度而确定的特定波长成分的图像；以及

梯度强度计算部，其根据所述特定波长成分的图像，计算各个像素的像素值的梯度强度，

将所述梯度强度作为所述梯度信息。

3.根据权利要求1所述的图像处理装置，其中

所述封闭区域生成部具有：

分割部，其根据所述梯度信息，将所述管腔内部图像分割为多个区域；以及

合并部，其根据所述多个区域各自的特征量，按照合并后的区域的边界不以预定曲率以上的曲率向该合并后的区域的内侧弯曲这一条件，对所述多个区域进行合并，

将所述合并部合并后的区域作为封闭区域。

4.根据权利要求3所述的图像处理装置，其中

所述分割部具有：

线边缘检测部，其根据所述梯度信息检测线边缘；

基点检测部，其检测所述线边缘的端点和所述线边缘以预定值以上的曲率弯曲的弯曲点，作为分割线的基点；以及

分割线生成部，其从所述基点朝向不同的两个方向引出到达线边缘或者图像边缘的分割线，

将被所述线边缘和所述分割线包围的各个区域作为所述多个区域。

5.根据权利要求3所述的图像处理装置，其中

所述合并部具有：

区域信息计算部，其计算包括所述区域的形状特征量和所述区域与邻接的其它区域的边界长度在内的区域信息，作为所述多个区域各自的所述特征量；

区域合并部，其根据所述区域信息来选择作为合并对象的区域，对该选择的区域进行合并；以及

合并控制部，其控制由所述区域信息计算部和所述区域合并部进行的处理的反复执行，在不存在所述作为合并对象的区域的情况下，结束所述反复执行。

6.根据权利要求1所述的图像处理装置，其中

所述封闭区域生成部具有：

初始封闭区域生成部，其根据所述梯度信息生成所述封闭区域的初始形状；

第1能量计算部，其计算以下能量中至少两个能量的加权和作为第1能量：所述封闭区域的边界越平滑则返回越小的值的内部能量；所述封闭区域的边界的所述梯度强度越大则返回越小的值的图像能量；所述封闭区域的大小越大则返回越小的值的外部能量；以及

封闭区域更新部，其将所述封闭区域的初始形状作为基准，朝向所述第1能量变小的方向对所述封闭区域的形状进行更新。

7.根据权利要求6所述的图像处理装置，其中

所述初始封闭区域生成部在与周围相比梯度强度相对较小的位置，生成所述封闭区域的初始形状。

8.根据权利要求7所述的图像处理装置，其中

所述初始封闭区域生成部以与其它封闭区域不重叠的方式生成所述封闭区域的初始形状。

9.根据权利要求7所述的图像处理装置，其中

所述初始封闭区域生成部以一部分与其它封闭区域重叠的方式生成所述封闭区域的初始形状，并对该封闭区域计算所述第1能量，在计算结果为该计算出的所述第1能量的值超过预定值的情况下，以与所述其它封闭区域不重叠的方式对所述封闭区域的初始形状进行修正。

10.根据权利要求6所述的图像处理装置，其中

所述封闭区域更新部具有：

更新部，其对所述封闭区域的形状进行更新；

第2能量计算部，其对更新后的封闭区域计算以下能量中至少两个能量的加权和作为第2能量：该更新后的封闭区域的边界越平滑则返回越小的值的内部能量；所述更新后的封闭区域的边界的梯度强度越大则返回越小的值的图像能量；所述更新后的封闭区域的大小越大则返回越小的值的外部能量；

修正部，其将所述第1能量和所述第2能量进行比较，在所述第1能量较小的情况下，将所述更新后的封闭区域的形状修正为更新前的封闭区域的形状，在所述第2能量较小的情况下，利用所述第2能量更新所述第1能量；以及

封闭区域更新控制部，其控制由所述更新部、所述第2能量计算部和所述修正部进行的处理的反复执行，在所述第1能量不再变化的情况下，结束所述反复执行。

11.根据权利要求1所述的图像处理装置，其中

所述异常部位检测部具有：

基准颜色估计部，其按照每个所述封闭区域估计表示正常活体组织的基准颜色；以及

异常颜色部分检测部，其按照每个所述封闭区域检测具有相对于所述基准颜色偏离了预定值以上的颜色特征量的区域，作为异常颜色部分，

将所述异常颜色部分作为异常部位。

12.根据权利要求11所述的图像处理装置，其中

所述基准颜色估计部使用形态学滤波器来估计所述基准颜色。

13.根据权利要求11所述的图像处理装置，其中

所述异常颜色部分检测部根据所述封闭区域的内部的像素值与所述基准颜色的差分值，检测所述异常颜色部分。

14.一种图像处理方法，该图像处理方法从管腔内部图像检测异常部位，所述图像处理方法包括以下步骤：

根据所述管腔内部图像的像素值计算各个像素的梯度信息；

根据所述梯度信息生成满足条件的封闭区域，该条件是指在区域的内部不包含梯度强度为预定值以上的像素、而且区域的边界不以预定曲率以上的曲率向该区域的内侧弯曲；

从所述封闭区域的内部检测异常部位。