CN102314604A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置和图像处理方法。图像处理装置具有：低亮度区域检测部，其根据管腔内部图像的各像素的像素值检测低亮度区域；周围特征量计算部，其根据所述低亮度区域周围的像素值计算周围特征量；暗部区域判别部，其根据所述周围特征量判别所述低亮度区域是否是暗部区域。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及从拍摄管腔内部而得到的管腔内部图像提取暗部区域的图像处理装置和图像处理方法。

背景技术

以往，内窥镜作为导入到患者等被检测者的体内并观察体内管腔内部的医用观察装置而被广泛普及。此外，近年来，开发了在胶囊型的壳体内部具有摄像装置和将通过该摄像装置拍摄的图像数据无线发送到体外的通信装置等的吞入型内窥镜(胶囊型内窥镜)。通过这些医用观察装置拍摄的体内管腔内部的图像(管腔内部图像)的观察和诊断由于需要较多的经验，因此，期望用于辅助医生诊断的医疗诊断援助功能。作为用于实现该功能的图像识别技术之一，提出了这样的技术：通过从管腔内部图像自动检测病变等的异常部位，从而示出需要进行重点诊断的图像。

但是，在管腔内部图像中具有反映出例如以管腔的深侧为代表的、光几乎无法到达的部位的区域(暗部区域)这样不需要观察和诊断的区域。因此，为了进行上述的异常部位的检测，作为前处理，进行提取这样的不需要观察和诊断的区域的处理，并确定粘膜等需要关注的区域的技术变得较重要。例如，日本特开2006-166939号公报中公开了一种不受暗部等的无用区域的影响而检测图像内的病变粘膜等特定的活体粘膜的存在的技术。在该日本特开2006-166939号公报中，根据各像素的颜色信息排除与无用区域对应的像素，在此基础上检测出特定的活体粘膜的存在。

如上所述，在日本特开2006-166939号公报的技术中，根据颜色信息排除与无用区域对应的像素。但是，暗部区域的颜色与反映出凝血的区域等类似，很难通过颜色信息对此进行判别。因此，会产生误把需要关注的区域作为无用区域提取出来的问题。

发明内容

本发明是鉴于上述问题而提出的，其目的在于提供一种能够准确地判别是否是暗部区域，高精度地提取暗部区域的图像处理装置和图像处理方法。

本发明的图像处理装置是一种从管腔内部图像提取暗部区域的图像处理装置，该图像处理装置具有：低亮度区域检测部，其根据所述管腔内部图像的各像素的像素值检测低亮度区域；周围特征量计算部，其根据所述低亮度区域的周围的像素值计算周围特征量；以及暗部区域判别部，其根据所述周围特征量判别所述低亮度区域是否是暗部区域。

此外，本发明的图像处理方法是一种从管腔内部图像提取暗部区域的图像处理方法，该图像处理方法具有：低亮度区域检测步骤，根据所述管腔内部图像的各像素的像素值检测低亮度区域；周围特征量计算步骤，根据所述低亮度区域的周围的像素值计算周围特征量；以及暗部区域判别步骤，根据所述周围特征量判别所述低亮度区域是否是暗部区域。

通过以上所述，参照附图阅读下述本发明的详细说明，能够进一步理解本发明的其他目的、特征、优点以及技术上和产业上的意义。

附图说明

图1是说明第一实施方式的图像处理装置的功能结构的框图。

图2是管腔内部图像的示意图。

图3是说明管腔内部图像内的像素值的变化的图。

图4是示出第一实施方式的图像处理装置1进行的处理过程的总体流程图。

图5是示出第一实施方式中的初始区域校正处理的详细处理过程的流程图。

图6是示出第一实施方式中的集中度计算处理的详细处理过程的流程图。

图7是说明第一实施方式中的外部方向矢量的图。

图8是示出第一实施方式中的计算范围限定处理的详细处理过程的流程图。

图9是示出通过膨胀处理扩张低亮度区域的情况的图。

图10是说明低亮度区域的周围分布(profile)的图。

图11是说明用于判定是否计算梯度矢量的处理的图。

图12是示出第一实施方式中的周围平滑处理的详细处理过程的流程图。

图13是示出变形例1中的图像处理装置的运算部的结构的图。

图14是说明变形例1中的外部方向矢量的图。

图15是示出变形例2中的图像处理装置的运算部的结构的图。

图16是示出变形例2中的计算范围限定处理的详细处理过程的流程图。

图17是说明附近轮廓像素方向矢量的图。

图18是示出变形例3中的图像处理装置的运算部的结构的图。

图19是说明变形例3中的计算范围限定处理的详细处理过程的流程图。

图20是说明第二实施方式的图像处理装置的功能结构的框图。

图21是示出暗部区域以及其对置周围部中的像素值变化的图。

图22是示出暗部区域以外的黑色区域以及其对置周围部中的像素值变化的图。

图23是示出第二实施方式的图像处理装置进行的处理过程的总体流程图。

图24是示出第二实施方式中的连续性计算处理的详细处理过程的流程图。

图25是说明第三实施方式的图像处理装置的功能结构的框图。

图26是示出第三实施方式的图像处理装置进行的处理过程的总体流程图。

图27是示出第三实施方式中的沟判别信息计算处理的详细处理过程的流程图。

图28是示出变形例4中的图像处理装置的运算部的结构的图。

图29是说明变形例4中的沟判别信息计算处理的详细处理过程的流程图。

图30是示出变形例5中的图像处理装置的运算部的结构的图。

图31是说明变形例5中的沟判别信息计算处理的详细处理过程的流程图。

图32是示出应用了本发明的计算机系统的结构的系统结构图。

图33是示出构成图32的计算机系统的主体部的结构的框图。

具体实施方式

下面，参照附图说明本发明的最佳实施方式。另外，该实施方式并不是要限定本发明。此外，在各附图的记载中，对于同一部分标注了相同的标号。

其中，本实施方式的图像处理装置用于处理例如内窥镜或胶囊型内窥镜等医用观察装置对被检者的体内的消化管等的管腔内部进行拍摄而得到的图像(管腔内部图像)，具体来说，确定粘膜等需要关注的区域，例如作为提取病变区域或出血区域等异常部区域时的前处理，进行从管腔内部图像中提取暗部区域的处理。管腔内部图像如上所述是通过医用观察装置拍摄消化管等的管腔内部而得到的图像，但是管腔的深侧距离医用观察装置的距离较远，且照明光很难到达，因此表现为较暗的区域。暗部区域是指反映出该管腔深侧的较暗区域。该暗部区域不是需要注意的区域，而是不需要进行观察/诊断的区域。此外，在本实施方式中，通过医用观察装置拍摄的管腔内部图像例如是在各像素中具有与R(红)、G(绿)、B(蓝)的各颜色成分相对应的像素水平(像素值)的彩色图像。

第一实施方式

首先，说明第一实施方式的图像处理装置的结构。图1是说明第一实施方式的图像处理装置1的功能结构的框图。第一实施方式的图像处理装置1如图1所示，具有图像取得部11；输入部12；显示部13；记录部14；运算部15；以及控制图像处理装置1总体的动作的控制部30。

图像取得部11用于取得通过图像观察装置拍摄的管腔内部图像的图像数据，通过该图像取得部11取得的图像数据被记录在记录部14中，并通过运算部15进行处理后，按需要显示在显示部13上。在例如医用观察装置是胶囊型内窥镜的情况等那样，在与医用观察装置之间的图像数据交接中使用可移动型的记录介质的情况下，图像取得部11由读取装置构成，该读取装置装卸自由地安装该记录介质并读出所保存的管腔内部图像的图像数据。此外，在适当位置设置有预先保存通过医用观察装置拍摄的管腔内部图像的图像数据的服务器，在从该服务器来取得的结构的情况下，图像取得部11由用于与服务器连接的通信装置等构成。并且，经由该图像取得部11与服务器进行数据通信，取得管腔内部图像的图像数据。此外，也可由接口装置等构成，该接口装置经由线缆输入来自内窥镜等医用观察装置的图像信号。

输入部12例如由键盘和鼠标、触摸屏、各种开关等实现，将输入信号输出到控制部30。显示部13由LCD或EL显示器等显示装置实现，在控制部30的控制下，显示包括管腔内部图像在内的各种画面。

记录部14由诸如可更新记录的闪存等ROM或RAM的各种IC存储器、内置或者由数据通信端子连接的硬盘、CD-ROM等信息记录介质以及其读取装置等实现，记录有用于使图像处理装置1工作，并实现该图像处理装置1具有的各种功能的程序和在该程序的执行中使用的数据等。例如，在记录部14中记录有通过图像取得部11取得的管腔内部图像的图像数据。此外，在记录部14中记录有用于根据作为周围特征量的一个例子的梯度集中度从管腔内部图像提取暗部区域的图像处理程序141。

运算部15由CPU等硬件实现，进行用于处理管腔内部图像而提取暗部区域的各种运算处理。该运算部15具有作为低亮度区域检测单元的低亮度区域检测部151、作为周围特征量计算单元的周围特征量计算部16以及作为暗部区域判别单元的暗部区域判别部24。

低亮度区域检测部151根据管腔内部图像的各像素的像素值，从管腔内部图像中检测低亮度区域。该低亮度区域检测部151具有作为初始区域检测单元的初始区域检测部152以及作为区域校正单元的区域校正部153。初始区域检测部152根据基于各像素的颜色信息的、管腔内部图像的颜色特征量，检测初始区域。区域校正部153是根据初始区域周围(详细来说为外部周围)中的颜色特征量校正初始区域的功能部，具有作为区域扩张单元的区域扩张部154以及作为轮廓平滑单元的区域平滑部155。区域扩张部154通过将与初始区域邻接的邻接区域之中、颜色特征量与初始区域的颜色特征量类似的邻接区域与初始区域合并，从而扩张初始区域。区域平滑部155平滑地修正区域扩张部154通过扩张初始区域而生成的低亮度区域的轮廓。

周围特征量计算部16是根据低亮度区域周围的像素值计算低亮度区域的周围特征量的功能部，具有用于计算作为周围特征量的一个例子的梯度集中度的集中度计算单元和作为内积计算单元的集中度计算部17。梯度集中度是表示低亮度区域周围的梯度的方向(梯度矢量)以何种程度朝向低亮度区域侧的值。该集中度计算部17具有作为外部方向矢量计算单元和法线矢量计算单元的外部方向矢量计算部18、以及作为梯度矢量计算单元的梯度矢量计算部19。

外部方向矢量计算部18计算从低亮度区域朝向外部方向(低亮度区域的轮廓外侧)的矢量(外部方向矢量；把外部方向矢量作为单位矢量)。另一方面，梯度矢量计算部19根据外部方向矢量计算低亮度区域的外部方向的区域、即低亮度区域周围的梯度矢量(把梯度矢量作为单位矢量)。该梯度矢量计算部19具有作为计算范围限定单元的计算范围限定部20以及作为周围平滑单元的周围平滑部21。计算范围限定部20是根据有没有存在于低亮度区域周围的陡峭梯度来限定梯度矢量的计算范围的功能部，并具有作为分布计算单元的分布计算部201以及作为极小部检测单元的极小部检测部202。分布计算部201取得在低亮度区域周围与低亮度区域的轮廓平行设定的外延轮廓线上的像素值，并计算周围分布，该周围分布表示沿着外延轮廓线的像素值变化。极小部检测部202检测周围分布所表示的像素值变化的极小部。周围平滑部21是根据频率成分对低亮度区域的周围进行平滑化的功能部，并具有作为频率特征量计算单元的频率特征量计算部211以及作为高频成分去除单元的高频成分去除部212。频率特征量计算部211计算低亮度区域周围的极大频率作为频率特征量。高频成分去除部212根据频率特征量去除低亮度区域周围的高频成分。

如上构成的集中度计算部17求出通过外部方向矢量计算部18计算出的外部方向矢量与通过梯度矢量计算部19计算出的梯度矢量之间的内积，并根据该内积计算梯度的集中度。

暗部区域判别部24根据作为低亮度区域的周围特征量而由周围特征量计算部16计算出的梯度集中度，判别低亮度区域是否是暗部区域。

控制部30由CPU等硬件实现。该控制部30根据通过图像取得部11取得的图像数据和从输入部12输入的输入信号、记录在记录部14中的程序和数据等，进行对构成图像处理装置1的各部的指示和数据的传送等，统一控制图像处理装置1总体的动作。

首先，说明第一实施方式中的暗部区域的提取原理。图2是管腔内部图像的示意图。此外，图3是说明管腔内部图像内的像素值的变化的图，示出了图2中的虚线所示的线L11上的像素值的变化曲线L12。在医用观察装置在朝向管腔的深侧的状态下拍摄的管腔内部图像中，如图2所示，管腔的深处反映为暗部区域51。该暗部区域51在管腔内部图像中作为黑色的区域出现。例如，在图2所示的管腔内部图像中，示出了暗部区域51以及与该暗部区域51不同的黑色区域52。此外，在该管腔内部图像中反映出了例如由于消化管内壁的粘膜结构的折叠或蜿蜒而产生的沟53。

但是，如前所述，暗部区域是管腔内部图像的黑色区域，但是在管腔内部图像中除暗部区域以外还出现了例如凝固血等的区域，作为与暗部区域类似的黑色的区域。该凝固血等的区域与暗部区域不同，是在观察和诊断时需要注意的区域。例如，在图2中，与暗部区域51不同的黑色区域52是凝固血等的区域。

其中，暗部区域的特征在于由于是在管腔内部相对于拍摄面较远的区域，因此，其周围的像素值的变化倾向于暗部区域侧。例如，如图3所示的像素值的变化曲线L12所示，在图2的暗部区域51的周围的区域511、512中，分别如图3中箭头A11、A12所示，其像素值朝向暗部区域51的方向减小，在暗部区域51的周围，其整个区域中像素值的变化倾向于暗部区域51侧。与此相对，在作为凝固血等的区域的黑色区域52的情况下，黑色区域52的周围的例如图2中靠左侧的区域521中，如图3中箭头A13所示，其像素值朝向黑色区域52的方向减小，但是在右侧的区域522中，如箭头A14所示，其像素值朝向与黑色区域52相反的方向减小。即，在黑色区域52右侧的区域522中，像素值朝向比该黑色区域52更靠右侧的暗部区域51减小。因此，在第一实施方式中，首先，从管腔内部图像中检测成为暗部区域的候选的低亮度区域。然后，通过着眼于所检测出的低亮度区域周围的像素值的变化、更详细地说是像素值的变化倾向的方向，从而判别所检测出的低亮度区域是否是暗部区域并提取暗部区域。

接下来说明第一实施方式中的图像处理装置1进行的具体处理过程。图4是示出第一实施方式的图像处理装置1进行的处理过程的总体流程图。此处说明的处理是通过使运算部15执行记录在记录部14中的图像处理程序141而实现的。

如图4所示，首先，运算部15取得处理对象的管腔内部图像(步骤a1)。通过此处的处理，运算部15读出并取得由图像取得部11取得的、记录在记录部14中的处理对象管腔内部图像。

接下来，在低亮度区域检测部151中，初始区域检测部152根据管腔内部图像的颜色特征量检测初始区域(步骤a3)。作为具体处理过程，首先，计算管腔内部图像的边缘强度。例如采用使用了索贝尔(sobel)滤波器等的一阶微分处理和使用了拉普拉斯(laplacian)滤波器等的二阶微分处理等的、公知的边缘提取技术，针对每个像素计算边缘强度。其中，作为反映在管腔内部图像中的血管或出血部位等的构成成分的血红蛋白具有较多地吸收短波段的光的特性。由于此种血红蛋白的短波段中的吸光特性，波长成分的多数由短波段构成的G(绿)成分和B(蓝)成分由于血红蛋白的吸光，亮度值下降。另一方面，波长成分的多数由长波段构成的R(红)成分的值(R值)由于吸光较少而几乎反射全部的光，因此，可以基于该R值得到最反映活体组织的表面结构的信息。因此，为了得到通过活体组织的表面结构形成的活体组织的轮廓，也可制作R成分的图像(各像素的像素值被设为R值的图像)，并根据该R成分图像计算各像素的边缘强度。

接下来，根据各像素的边缘强度对管腔内部图像进行区域分割。该区域分割的方法并没有特别限定，可以适当采用公知的方法。例如，可以采用国际公开公报WO2006/080239号所公开的方法。简单地对过程进行说明，首先，针对边缘强度图像，根据需要进行以除去噪声为目的的平滑化。其后，求出平滑化后的边缘强度图像的各像素处的像素值梯度方向。此时，梯度方向是与附近像素之间的像素值差为最小(负值最大)的方向。接着，求出各像素沿着像素值梯度方向到达的极值像素，分割图像，使得到达接近的极值像素的各像素成为相同的区域。此外，作为其他的分割方法也可采用公知的分水岭(watershed)算法。分水岭算法是在将图像的像素值信息看作高度的地形中填满水时，分割图像，使得在不同的低洼中积存的水之间形成边界的方法。因此，通过针对边缘强度图像，在进行了适当的平滑化后执行分水岭算法，从而能够实现基于边缘强度的区域分割。

然后，针对每个分割后的区域(分割区域)计算作为颜色特征量的一个例子的平均亮度。具体来说，按照分割区域内的每个像素，根据其颜色信息(R值、G值、B值)计算亮度值，计算所计算出的分割区域内的每个像素的亮度值的平均值作为平均亮度。然后，从分割区域之中提取平均亮度为预定阀值以下的区域并进行标记(labeling)。关于标记处理的详细内容可采用公知技术。此时，如果提取出的区域之中存在相互邻接的区域，则将这些邻接的区域最终合并成一个区域。然后，分别检测如上所述地提取并适当合并后得到的各区域，作为初始区域。

在如上所述地进行了步骤a3的处理后，没有检测出初始区域的情况下(步骤a5：否)，结束本处理。没有检测出初始区域是指不存在平均亮度为预定阀值以下的区域，可以判定在步骤a1中所取得的管腔内部图像中不包含作为暗部区域的候选的区域。另一方面，在检测出初始区域的情况下(步骤a5：是)，接下来区域校正部153执行初始区域校正处理，通过对在步骤a3中检测出的初始区域进行校正，从而检测低亮度区域(步骤a7)。图5是示出第一实施方式中的初始区域校正处理的详细处理过程的流程图。

在初始区域校正处理中，如图5所示，针对每个初始区域执行循环B的处理(步骤b1～b15)。具体来说，在循环B中，首先，区域校正部153的区域扩张部154计算处理对象的初始区域的平均颜色(步骤b3)。其中，例如，根据初始区域内的各像素的R值、G值、B值计算L^*a^*b^*值。然后，计算作为所计算出的每个像素的L^*a^*b^*值的平均值的平均L^*a^*b^*值(L^* _s，a^* _s，b^* _s)，把其作为处理对象初始区域的平均颜色。

其后，区域扩张部154计算处理对象初始区域与邻接区域之间的色差并选出最小色差(步骤b5)，在计算出的与邻接区域之间的最小色差小于预定阀值的期间(步骤b7：是)，反复进行步骤b9～步骤b5的处理。

具体来说，对处理对象初始区域最初进行的步骤b5的处理中，根据在图4的步骤a3中检测初始区域时进行的区域分割的结果，把与处理对象初始区域相邻的分割区域确定为邻接区域。然后，针对所确定的每个邻接区域，按照下式(1)计算与处理对象初始区域之间的色差ΔE。L^* _i，a^* _i，b^* _i表示邻接区域的平均L^*a^*b^*值，即根据邻接区域内的各像素的R值、G值、B值计算出的L^*a^*b^*值的平均值。然后，在根据下式(1)计算出的与各个邻接区域之间的色差ΔE之中，选出最小的值作为最小色差。

$\mathrm{\ΔE}=\sqrt{{({L^{*}}_s-{L^{*}}_i)}^2+{({a^{*}}_s-{a^{*}}_i)}^2+{({b^{*}}_s-{b^{*}}_i)}^2}\·\·\·\left(1\right)$

然后，区域扩张部154对在步骤b5中计算出的最小色差进行阀值处理。并且，区域扩张部154例如在最小色差小于预先设定的阀值的情况下(步骤b7：是)，将具有该最小色差作为色差ΔE的邻接区域与处理对象初始区域合并，校正处理对象初始区域(步骤b9)。其后，区域扩张部154按照与步骤b3相同的过程计算校正后的区域的平均颜色(平均L^*a^*b^*值)(步骤b11)。

如上所述地计算出校正后的区域的平均颜色后，在第二次以后进行的步骤b5的处理中，区域扩张部154计算校正后的区域与邻接区域之间的色差，并选出最小色差。即，首先，根据在图4的步骤a3中检测初始区域时进行的区域分割的结果，确定与步骤b9中合并而校正的校正后区域相邻的分割区域，作为邻接区域。然后，针对所确定的每个邻接区域计算与校正后区域之间的色差ΔE，选出最小色差。此时，把步骤b11中计算出的校正后区域的平均L^*a^*b^*值设为L^* _s，a^* _s，b^* _s，把邻接区域的平均L^*a^*b^*值设为L^* _i，a^* _i，b^* _i，按照上式(1)计算色差ΔE。然后，若步骤b5中计算出的最小色差小于预定阀值(步骤b7：是)，则区域扩张部154进一步将具有该最小色差作为色差ΔE的邻接区域与校正后的区域合并(步骤b9)，其后重复相同的处理。

另一方面，在步骤b7中判定出与邻接区域的最小色差大于等于预定阀值的情况下(步骤b7：否)，转移到步骤b13。然后，在步骤b13中，区域平滑部155进行校正后的区域的轮廓线的平滑化，平滑地修正其轮廓。作为具体处理过程，首先，提取校正后的区域的轮廓像素。然后，依次将提取的轮廓像素作为处理对象，进行将各轮廓像素的坐标替换为与附近轮廓像素的坐标的平均坐标的处理。例如，计算处理对象轮廓像素与邻接的两边2个轮廓像素的坐标的平均坐标。然后，用计算出的平均坐标置换处理对象轮廓像素的坐标。

若如上所述地对初始区域进行校正并修正了轮廓，则把得到的区域作为低亮度区域，结束对处理对象初始区域的循环B的处理。并且，若对全部初始区域执行了循环B的处理，则结束初始区域校正处理而返回到图4的步骤a7。

另外，根据初始区域检测低亮度区域的方法不限于图5的初始区域校正处理。例如，也可采用公知的动态轮廓法检测低亮度区域。动态轮廓法是作为闭合曲线提取图像内的边缘(轮廓)的方法，在使初始闭合曲线的形状变形的同时，提取基于闭合曲线的连续性和平滑性、闭合曲线上的边缘强度的能量和最为稳定的闭合曲线。也可通过采用该动态轮廓法，把初始区域的轮廓线作为初始闭合曲线，并使其形状变形，从而检测低亮度区域。

若如上所述地结束了初始区域校正处理，则如图4所示，接下来针对每个低亮度区域执行循环A的处理(步骤a9～步骤a15)。在该循环A中，首先，集中度计算部17执行集中度计算处理，对处理对象的低亮度区域计算梯度集中度(步骤a11)。如上所述，具有以下特征：在暗部区域周围，在整个区域内像素值的变化倾向于暗部区域侧(像素值朝向暗部区域变小)。因此，如果处理对象的低亮度区域是暗部区域，则其轮廓外侧的梯度矢量的朝向总体上与低亮度区域的外部方向矢量相反。因此，此处通过针对每个轮廓像素计算外部方向矢量以及梯度矢量，并计算它们的内积，从而计算梯度集中度。

图6是示出第一实施方式中的集中度计算处理的详细处理过程的流程图。在集中度计算处理中，如图6所示，首先，外部方向矢量计算部18针对每个轮廓像素计算从低亮度区域朝向外部方向的外部方向矢量(步骤c1)。此处，例如计算低亮度区域的轮廓的法线方向的矢量(法线矢量)作为外部方向矢量。图7是说明第一实施方式中的外部方向矢量的图，示出了以低亮度区域E2的轮廓线上的两个像素P21、P22作为基点(起始点)的法线矢量V21、V22。作为具体处理过程，提取构成低亮度区域的轮廓的像素(轮廓像素)，针对每个轮廓像素计算相对于低亮度区域的轮廓的法线矢量。

接下来，在梯度矢量计算部19中，计算范围限定部20执行计算范围限定处理，判定是否对步骤c1中计算出的各外部方向矢量计算对应的梯度矢量(步骤c3)。如上所述，在管腔内部图像中反映出了由消化管内壁的粘膜结构形成的沟，该沟也可存在于暗部区域周围。其中，在暗部区域周围，在沟所存在的位置处，梯度矢量不朝向暗部区域侧，而朝向沟侧。因此，在将沟所存在的位置的梯度矢量包含在内而计算梯度的集中度时，其计算精度降低。因此，在步骤c3的计算范围限定处理中，根据处理对象的低亮度区域的外侧是否存在沟而限定计算梯度矢量的范围。具体来说，在低亮度区域的周围，检测梯度陡峭的位置作为沟位置。然后，在外部方向矢量的末端存在有沟的情况下，不计算对应的梯度矢量。

图8是示出第一实施方式中的计算范围限定处理的详细处理过程的流程图。在计算范围限定处理中，如图8所示，首先，计算范围限定部20对低亮度区域进行膨胀处理，使低亮度区域扩张而在外周生成膨胀区域(步骤d1)。图9是示出通过膨胀处理扩张低亮度区域E2的情况的图。低亮度区域E2的膨胀可采用公知的膨胀处理来实现，在图8的步骤d1中，如图9所示，根据低亮度区域E2生成膨胀区域E3。

接下来，如图8所示，分布计算部201依次取得所生成的膨胀区域的轮廓像素(外延轮廓像素)的像素值而计算周围分布(步骤d3)。图10是说明图9所示的低亮度区域E2的周围分布的图，示出了横轴为图9所示的膨胀区域E3的轮廓线(外延轮廓线)L31上的像素位置，纵轴为相应的各像素的像素值，并沿着外延轮廓线L31的像素值的变化曲线L32。在步骤d3中计算的周围分布相当于沿着图9中作为变化曲线L32示出的外延轮廓线L31的外延轮廓像素的像素值变化。

接下来，如图8所示，极小部检测部202通过计算周围分布的极小值来检测极小部，设定极小附近范围(步骤d5)。例如，如果是图10所示的周围分布的话，则计算变化曲线L32的极小值，并检测极小部P3。然后，将包括该极小部P3在内的附近范围判定为沟所存在的位置，将以该极小部P3为中心的预定范围设定为极小附近范围R3。对于作为极小附近范围R3的范围可预先设定。

若如上所述地设定了极小附近范围，则如图8所示，接下来计算范围限定部20把极小附近范围的两端像素作为极小两端像素，取得该极小两端像素的坐标(步骤d7)。并且，计算范围限定部20针对在图6的步骤c1中对低亮度区域的轮廓像素分别计算出的每个外部方向矢量，求出从其基点朝向每个极小两端像素的矢量(极小端方向矢量)，根据它们与外部方向矢量之间的外积判定是否计算对应的梯度矢量(步骤d9)。

图11是说明针对以各个轮廓像素P23、P24为基点的法线矢量，即外部方向矢量V23、V24，判定是否计算对应的梯度矢量的处理的图。在图11中示出了图10所示的极小附近范围R3。准确地说，示出了与图10的极小附近范围R3对应的图9的外延轮廓线L31上的范围作为极小附近范围R3。

在后段的图6的步骤c9中，以从外部方向矢量的基点朝向其外部方向矢量的方向离开了预定距离的像素(外部方向像素)作为基点而计算梯度矢量。因此，此处不计算外部方向像素为极小附近范围内的梯度矢量。具体来说，如果外部方向矢量朝向极小附近范围内，则作为对应的梯度矢量的基点的外部方向像素被设定在极小附近范围内，即沟位置上，因此，对这种外部方向矢量不计算对应的梯度矢量。

例如，首先，如图11所示，把极小附近范围R3的两端的像素作为极小两端像素P41、P42，取得其坐标。然后，对每个外部方向矢量求出从其基点朝向极小两端像素P41、P42的极小端方向矢量，并计算与外部方向矢量的外积。

例如，如果着眼于外部方向矢量V23，则在计算从作为其基点的轮廓像素P23到极小两端像素P41的极小端方向矢量V411与外部方向矢量V23之间的外积(V411×V23)的同时，计算外部方向矢量V23与从轮廓像素P23到极小两端像素P42的极小端方向矢量V421之间的外积(V23×V421)。其中，由于外部方向矢量V23朝向极小附近范围R3内，因此，得到的外积的符号一致。从而，在外积的符号一致的情况下，判定为不计算对应的梯度矢量。

另一方面，如果着眼于外部方向矢量V24，则与作为其基点的外部方向矢量V23的情况相同，在计算从轮廓像素P24到极小两端像素P41的极小端方向矢量V412与外部方向矢量V24之间的外积(V412×V24)的同时，计算外部方向矢量V24与从轮廓像素P24到极小两端像素P42的极小端方向矢量V422之间的外积(V24×V422)。此种情况下，外部方向矢量V24不朝向极小附近范围R3内，因此，得到的外积的符号不一致。从而，在外积的符号不一致的情况下，判定为计算对应的梯度矢量。

另外，虽然此处根据外积的符号的一致/不一致判定是否计算对应的梯度矢量，但是不限于此，只要知道外部方向矢量是否朝向极小附近范围内即可。例如，也可根据通过两个极小端方向矢量表示外部方向矢量时的各极小端方向矢量的系数的符号的一致/不一致来进行判定。例如，通过极小端方向矢量V411、V421表示图11的外部方向矢量V23时，各极小端方向矢量V411、V421的系数的符号一致。此种情况下，判定为不计算对应的梯度矢量。另一方面，通过极小端方向矢量V412、V422表示外部方向矢量V24时，各极小端方向矢量V412、V422的系数的符号不一致。此种情况下，判定为计算对应的梯度矢量。

如果如上所述地对于以处理对象的低亮度区域的轮廓像素为基点的全部外部方向矢量判定了是否计算对应的梯度矢量，则结束计算范围限定处理并返回到图6的步骤c3。

然后，若结束了计算范围设定处理，则接下来对计算范围内的外部方向矢量、即在步骤c3的计算范围限定处理中判定为要计算对应的梯度矢量的每个外部方向矢量执行循环C的处理(步骤c5～步骤c11)。在该循环C中，首先，周围平滑部21执行周围平滑处理，对参照像素范围进行平滑化，该参照像素范围是在对处理对象的外部方向矢量计算对应的梯度矢量时参照的范围(步骤c7)。在管腔内部图像中反映的消化管内壁的粘膜由于绒毛等而表面上多有凹凸，因此，有时无法得到适合的梯度矢量。在步骤c7中进行的周围平滑处理是为了修整计算梯度矢量时参照的像素范围(参照像素范围)内的如上所述由于绒毛而导致的形状凹凸。此处，例如通过取得参照像素范围内的频率成分而进行平滑化。

图12是示出第一实施方式中的周围平滑处理的详细处理过程的流程图。在周围平滑处理中，如图12所示，首先，区域平滑部155把从处理对象的外部方向矢量的基点朝向其外部方向矢量的方向离开预定距离的像素设定为外部方向像素，把包含该外部方向像素的预定尺寸的矩形区域设定为参照像素范围(步骤e1)。作为参照像素范围的矩形区域的尺寸可预先设定，也可设为适合的尺寸。

接下来，频率特征量计算部211计算频率特征量(步骤e3)。具体来说，频率特征量计算部211作为步骤e3的处理，首先，对参照像素范围进行傅立叶变换而变换至频率空间，取得参照像素范围内的频率成分。然后，生成所取得的频率成分的直方图，计算变为极大的频率(极大频率)作为参照像素范围内支配性的频率，把其作为频率特征量。

然后，高频成分去除部212根据步骤e3中计算出的频率特征量对参照像素范围进行公知的低通滤波处理，去除参照像素范围内的高频成分(步骤e5)。其后，返回到图6的步骤c7，转移到步骤c9。

另外，步骤e5的处理不限于低通滤波处理，只要能够修整由于绒毛等引起的形状凹凸即可。例如，也可进行公知的形态学处理(参考：コロナ社，モルフオロジ一，小秀文著)。其中，形态学处理中包括开运算(Opening)处理和闭运算(Closing)处理，开运算处理是如下处理：在将像素值视为高度的三维空间中，得到如下所述的轨迹、即相对于由对象图像的像素值构成的立体面，从下方向使称作结构要素的基准图形接触而移动时，结构要素的外周的最大值通过的轨迹。另一方面，闭运算处理是如下处理：在同样的三维空间中，得到如下所述的轨迹、即相对于由对象图像的像素值构成的立体面，从上方向使结构要素接触而移动时结构要素的外周的最小值通过的轨迹。此处，例如通过采用与频率特征量(极大频率)对应的尺寸的结构要素进行形态学处理，从而去除参照像素范围内的高频成分。与频率特征量对应的结构要素的尺寸S例如按照下式(2)确定。其中，f表示极大频率，W表示作为上述的参照像素范围的矩形区域的宽度。此外，α是任意的常数。

S＝α×W/f  …(2)

在接下来的图6的步骤c9中，梯度矢量计算部19计算与处理对象的外部方向矢量对应的梯度矢量。这里所指的梯度矢量是以外部方向像素作为基点的矢量，是指向参照像素范围内像素值最小的像素的方向的矢量。梯度矢量的计算本身可采用公知技术进行。例如，对于外部方向像素，沿着x方向对参照像素范围内应用索贝尔滤波器，同时沿着y方向对参照像素范围内应用索贝尔滤波器，从而计算梯度方向矢量。

然后，对计算范围内的全部外部方向矢量执行如上说明的循环C的处理，若结束了该循环C的处理，则接下来集中度计算部17对计算范围内的每个外部方向矢量(单位矢量)计算与对应的梯度矢量(单位矢量)的内积(步骤c13)。然后，集中度计算部17计算对计算范围内的每个外部方向矢量计算出的内积的平均值，将乘以“-1”后的值作为梯度的集中度(步骤c15)。其后，返回到图4的步骤a11，再转移到步骤a13。

然后，在步骤a13中，暗部区域判别部24根据在步骤a11中计算出的梯度的集中度判别处理对象的低亮度区域是否是暗部区域。具体来说，暗部区域判别部24在梯度的集中度为预先设定的阀值以上的情况下，把处理对象的低亮度区域判别为暗部区域。若如此判别了是否是暗部区域，则结束针对处理对象低亮度区域的循环A的处理。然后，对全部低亮度区域执行如上说明的循环A的处理。

如上所述，在第一实施方式中，首先，根据管腔内部图像的各像素的像素值检测低亮度区域。然后，对于检测出的每个低亮度区域，根据周围的像素值计算周围特征量。具体来说，根据暗部区域的特征计算梯度的集中度作为周围特征量，该暗部区域的特征是在暗部区域周围、像素值的变化倾向于暗部区域侧(像素值朝向暗部区域变小)。然后，根据该周围特征量判别各暗部候选区域是否是暗部区域并提取暗部区域。根据该第一实施方式，能够除去诸如低亮度区域之中、颜色与暗部区域类似的凝固血等的区域这样的暗部区域以外的区域，并提取暗部区域。因此，起到了能够准确判别暗部区域，并能够高精度地提取暗部区域的效果。

对于如上所述提取出了暗部区域的管腔内部图像，例如实施提取病变区域或出血区域等的异常部区域的处理等，适当地显示到显示部13上提示给医生等用户。具体来说，例如作为可将异常部区域与其他区域区分开的图像，在显示部13上显示管腔内部图像。或者，在显示部13上显示包括异常部区域的管腔内部图像，作为待诊断的图像。此时，由于能够去除采用第一实施方式提取出的暗部区域而确定需要关注的区域，从该需要关注的区域中提取异常部区域，因此，能够实现高精度的异常部检测。

变形例1

另外，在第一实施方式中，如参照图7所说明的那样，计算相对于低亮度区域的轮廓的法线矢量作为外部方向矢量，但是外部方向矢量是从低亮度区域朝向外部方向的矢量即可，并不限于在第一实施方式中说明的法线矢量。

图13是示出变形例1中的图像处理装置的运算部15a的结构的图。另外，变形例1的图像处理装置可通过以下结构实现：在图1示出的第一实施方式的图像处理装置1中，将运算部15置换成图13所示的运算部15a。此外，在图13中，对与第一实施方式相同的结构标注了相同的标号。如图13所示，变形例1在周围特征量计算部16a具有的集中度计算部17a中，外部方向矢量计算部18a与第一实施方式不同，外部方向矢量计算部18a计算从低亮度区域的重心朝向放射方向的放射方向矢量作为外部方向矢量。该外部方向矢量计算部18a具有作为计算低亮度区域的重心的重心计算单元的重心计算部181a以及用于计算从重心朝向放射方向的矢量作为放射方向矢量的、作为放射矢量计算单元的放射矢量计算部182a。

在该情况下，替代图6的步骤c1中所说明的处理，首先，重心计算部181a计算低亮度区域的重心，其后，放射矢量计算部182a对每个轮廓像素计算放射方向矢量。图14是说明变形例1中的外部方向矢量的图，示出了对图11示出的轮廓像素P23、P24计算的放射方向矢量V51、V52。在变形例1中，计算以低亮度区域E2的重心P5为基点并通过轮廓像素P23的放射方向矢量V51，作为轮廓像素P23的外部方向矢量。同样，计算通过轮廓像素P24的放射方向矢量V52作为轮廓像素P24的外部方向矢量。在实际的处理中，对每个轮廓像素，把低亮度区域的重心作为基点，计算通过对应的轮廓像素的放射方向矢量作为外部方向矢量。

此外，限定梯度矢量的计算范围的方法不限于第一实施方式中所说明的方法。例如，也可如变形例2和变形例3那样。

变形例2

图15是示出变形例2中的图像处理装置的运算部15b的结构的图。另外，变形例2的图像处理装置可通过以下结构实现：在图1示出的第一实施方式的图像处理装置1中，将运算部15置换成图15所示的运算部15b。此外，在图15中，对与第一实施方式相同的结构标注了相同的标号。如图15所示，变形例2在运算部15b的周围特征量计算部16b具有的集中度计算部17b中，梯度矢量计算部19b的计算范围限定部20b与第一实施方式不同，计算范围限定部20b具有作为内积计算单元的内积计算部203b以及作为内积判别单元的内积判别部204b。内积计算部203b针对低亮度区域的每个轮廓像素，计算以轮廓像素为基点，朝向隔着该作为基点的轮廓像素存在于两边的各个其他轮廓像素的矢量(附近轮廓像素方向矢量)的内积。内积判别部204b根据针对低亮度区域的每个轮廓像素计算出的附近轮廓像素方向矢量的内积的大小，判别低亮度区域周围有无陡峭的梯度。

图16是示出变形例2中的计算范围限定处理的详细处理过程的流程图。在变形例2中，替代第一实施方式中作为图6的步骤c3的处理所说明的图8的计算范围限定处理，执行图16所示的计算范围限定处理。并且，在该计算范围限定处理中，如图16所示，首先，内积计算部203b针对低亮度区域的每个轮廓像素计算附近轮廓像素方向矢量的内积(步骤f1)。

图17是说明以轮廓像素P23为基点的附近轮廓像素方向矢量V61、V62的图。着眼于图17所示的轮廓像素P23来说明图16的步骤f1的处理过程，首先，在低亮度区域E2的轮廓线上，把夹着轮廓像素P23在两边存在于离开预定距离的位置处的两个轮廓像素作为附近轮廓像素P61、P62，取得其坐标。然后，计算以轮廓像素P23为基点，朝向所选择的各附近轮廓像素P61、P62的附近轮廓像素方向矢量V61、V62的内积(V61·V62)。如此计算出的附近轮廓像素方向矢量的内积的值是附近轮廓像素方向矢量所成角度越小则越大的值。

像这样得到了较大的内积值(附近轮廓像素方向矢量所成角度小)的轮廓线上的位置如图17所示，为轮廓线朝向外侧突出(凸)的位置。多数情况下，管腔内部图像中的暗部区域的边界也是存在于周围的粘膜区域的边界。其中，暗部区域朝向外侧突出(凸)是指粘膜区域的边界(轮廓)在内侧较大地凹陷(凹)，但是粘膜在结构上其表面具有凹陷的形状是罕见的。因此，在暗部区域的轮廓朝向外侧突出的情况下，可认为其外侧是不同粘膜的边界附近，即沟的附近。因此，在变形例2中，根据附近轮廓像素方向矢量的内积的值判定有无梯度矢量的计算。

接下来，内积判别部204b判别内积的值，设定预定值以上的轮廓范围(步骤f3)。然后，计算范围限定部20b根据该作为基点的轮廓像素是否在设定的轮廓范围内，判定是否计算与各外部方向矢量对应的梯度矢量(步骤f5)。具体来说，由于可以假定在所设定的轮廓范围的外周侧存在梯度陡峭的位置(沟位置)，因此，不计算以轮廓范围内的轮廓像素作为基点、对应于外部方向矢量的梯度矢量。根据该变形例2，能够防止把沟所在的位置作为基点的梯度矢量的计算，并且能够抑制梯度集中度的计算精度降低。

变形例3

图18是示出变形例3中的图像处理装置的运算部15c的结构的图。另外，变形例3的图像处理装置可通过以下结构实现：在图1示出的第一实施方式的图像处理装置1中，将运算部15置换成图18所示的运算部15c。此外，在图18中，对与第一实施方式相同的结构标注了相同的标号。如图18所示，变形例3在运算部15c的周围特征量计算部16c具有的集中度计算部17c中，梯度矢量计算部19c的计算范围限定部20c与第一实施方式不同，计算范围限定部20c具有边缘强度计算部205c以及边缘强度判别部206c，所述边缘强度计算部205c被作为计算低亮度区域周围的边缘强度的边缘强度计算单元，所述边缘强度判别部206c被作为根据边缘强度判别有无存在于低亮度区域周围的较陡梯度的边缘强度判别单元。

图19是说明变形例3中的计算范围限定处理的详细处理过程的流程图。在变形例3中，替代第一实施方式中作为图6的步骤c3的处理所说明的图8的计算范围限定处理，执行图19所示的计算范围限定处理。并且，在该变形例3的计算范围限定处理中，如图19所示，首先，边缘强度计算部205c对低亮度区域进行膨胀处理，使低亮度区域扩张而在外周生成膨胀区域(步骤g1)。此处的处理可通过与图8的步骤d1相同的处理实现。然后，边缘强度计算部205c对生成的低亮度区域的膨胀处理内的每个像素计算边缘强度(步骤g3)。边缘强度的计算可通过与图4的步骤a3的处理过程中所说明的方法相同的方法实现。此外，若将该步骤a3中计算出的各像素的边缘强度保存在记录部14(参照图1)中，则不需要图19的步骤g3的处理，也可以是从记录部14读出关于步骤g1中生成的膨胀区域内的像素的边缘强度的结构。

接下来，边缘强度判别部206c提取边缘强度为预先设定的预定值以上的膨胀区域内的像素，将提取出的像素群设定为高边缘区域，从而判别有无存在于低亮度区域的膨胀区域中的陡峭梯度(即沟位置)(步骤g5)。然后，计算范围限定部20c对各轮廓像素的每个外部方向矢量，根据其末端存在的像素是否属于高边缘区域来判定是否计算梯度矢量(步骤g7)。在外部方向矢量的末端存在的像素属于高边缘区域是指在外部方向矢量的末端存在沟，且作为梯度矢量的基点的外部方向像素被设定在沟的区域中的可能性较大。因此，在步骤g5中，在外部方向矢量的末端存在的像素属于高边缘区域的情况下，不计算对应的梯度矢量。根据该变形例3，也能够防止计算以沟所在的位置为基点的梯度矢量，并抑制梯度集中度的计算精度降低。

第二实施方式

首先，说明第二实施方式的图像处理装置的结构。图20是说明第二实施方式的图像处理装置1d的功能结构的框图。另外，对与第一实施方式中说明的结构相同的结构标注了相同的标号。第二实施方式的图像处理装置1d如图20所示，具有图像取得部11；输入部12；显示部13；记录部14d；运算部15d；以及控制图像处理装置1d总体的动作的控制部30。

在记录部14d中记录有图像处理程序141d，该图像处理程序141d用于根据作为周围特征量的一个例子的、表示对置周围部间的像素值变化的连续性的周围连续性来从管腔内部图像中检测暗部区域。其中，对置周围部是指与低亮度区域相邻且相互对置的部分。

此外，运算部15d具有低亮度区域检测部151、周围特征量计算部16d以及暗部区域判别部24d。并且，在第二实施方式中，周围特征量计算部16d是根据低亮度区域周围的像素值计算低亮度区域的周围特征量的功能部，具有作为用于计算周围连续性的连续性计算单元的连续性计算部22d。该连续性计算部22d具有作为函数近似单元的函数近似部221d以及作为差分计算单元的差分计算部222d。函数近似部221d根据夹着低亮度区域相互对置的两个对置周围部内的像素值，通过面的函数式来分别对各对置周围部进行近似。差分计算部222d根据近似的两个对置周围部的函数式计算同一坐标处的各函数式的值的差分。此外，暗部区域判别部24d根据周围特征量计算部16d作为低亮度区域的周围特征量计算出的周围连续性，判别低亮度区域是否是暗部区域。

此处，说明第二实施方式中的暗部区域的提取原理。图21是示出暗部区域以及夹着该暗部区域相互对置的对置周围部中的像素值变化G7的图，图22是示出与暗部区域不同的例如凝固血等的黑色区域以及夹着该黑色区域相互对置的对置周围部中的像素值变化G8的图。详细来说，图21和图22示出了把暗部区域以及其对置周围部、或者黑色区域以及其对置周围部中的像素值作为高度进行表示的像素值分布的预定方向截面中的像素值变化G7、G8。

在第一实施方式中也说明过，在低亮度区域是暗部区域的情况下，由于具有在其周围的整个区域中像素值的变化倾向于暗部区域侧这一特征，因此，夹着低亮度区域的对置周围部间的像素值变化不具有连续性。根据这种不具有连续性的对置周围部内的像素值分别求出对对置周围部中的曲面形状进行近似的函数式时，如图21所示，各自的近似曲面P71、P72中的同一坐标的像素值的差分值D7变大。

与此相对，在低亮度区域是凝固血等的黑色区域的情况下，具有其周围的像素值作为一个总体倾向于暗部区域的方向，因此对置周围部的像素值变化具有连续性的特征。例如，在第一实施方式中参照的图2、图3所示的例子中，黑色区域52周围的区域521、522中的像素值的变化全部朝向箭头A13、A14所示的右下方倾斜。如此地根据具有连续性的对置周围部内的像素值分别求出对对置周围部中的曲面形状进行近似的函数式时，如图22所示，各自的近似曲面P81、P82中的同一坐标的像素值的差分值D8变小。其中，在第二实施方式中，首先，从管腔内部图像中检测成为暗部区域的候选的低亮度区域。然后，通过着眼于检测出的对置周围部间的像素值变化的连续性，从而判别检测出的低亮度区域是否是暗部区域并提取暗部区域。

然后，说明第二实施方式的图像处理装置1d进行的具体处理过程。图23是示出第二实施方式的图像处理装置1d进行的处理过程的总体流程图。另外，此处说明的处理通过使运算部15d执行记录在记录部14d中的图像处理程序141d来实现。此外，在图23中，对与第一实施方式相同的处理步骤标注了相同的标号。

如图23所示，在第二实施方式中，在步骤a7中区域校正部153执行初始区域校正处理，并检测出低亮度区域后，针对每个低亮度区域执行循环D的处理(步骤h9～步骤h15)。在该循环D中，首先，连续性计算部22d执行连续性计算处理，对处理对象的低亮度区域计算周围连续性(步骤h11)。

图24是示出第二实施方式中的连续性计算处理的详细处理过程的流程图。在连续性计算处理中，如图24所示，首先，函数近似部221d夹着低亮度区域的主轴在两侧设定两个对置周围部(步骤i1)。这可通过作为区域的形状特征量的主轴(参考：CG-ARTS协会；CG-ARTS协会，数字图像处理，188页，主轴)对由于以下所述的差分而剩下的像素进行二分而设定，所述差分是针对低亮度区域进行N₁次(N₁是预定值)公知的膨胀处理后的结果与进行N₂次(N₂是预定值，小于等于N₁)的结果之间的差分。

然后，函数近似部221d针对所设定的两个对置周围部，分别根据对置周围部内的像素值计算近似曲面的函数式(步骤i3)。在本例中，作为近似曲面的函数式采用下式(3)所示的二次函数。其中，x、y是对置周围部内的像素的坐标，z是其像素值。另外，下式(3)的函数式的各系数a～f通过最小二乘法得到。

z＝ax²+by²+cxy+dx+ey+f    …(3)

其后，差分计算部222d计算针对每个对置周围部计算出的近似曲面的函数式的差分(步骤i5)。例如，首先，针对分别对各对置周围部计算出的两个近似曲面的函数式分别计算低亮度区域内的像素值。接下来，计算按照两个函数式计算出的低亮度区域内的同一坐标处的像素值的差分的绝对值，并用各对置周围部的像素数进行归一化。其后，把这样归一化后的差分的绝对值作为周围连续性的值。该周围连续性的值越小则越可判定各对置周围部的像素值变化具有连续性，相反地，值越大则越可判定没有连续性。其后，返回到图23的步骤h11，再转移到步骤h13。

然后，在步骤h13中，暗部区域判别部24d根据在步骤h11中计算出的周围连续性的值来判别处理对象的低亮度区域是否是暗部区域。具体来说，暗部区域判别部24d在低亮度区域的周围连续性的值大于等于预先设定的阀值的情况下，判别处理对象的低亮度区域是暗部区域。若如此判别了是否是暗部区域，则结束对处理对象的低亮度区域的循环D的处理。然后，对所有的低亮度区域执行以上说明的循环D的处理。

如上所述，在第二实施方式中，首先，根据管腔内部图像的各像素的像素值检测低亮度区域。然后，对检测出的每个低亮度区域根据周围的像素值计算周围特征量。具体来说，根据在暗部区域的周围像素值的变化不连续这一暗部区域的特征来计算周围连续性作为周围特征量，该周围连续性表示低亮度区域的对置周围部间的像素值变化的连续性。然后，根据该周围特征量判别各暗部候选区域是否是暗部区域并提取暗部区域。根据该第二实施方式，能够实现与第一实施方式相同的效果，并能够准确地判别出暗部区域，高精度地提取暗部区域。

第三实施方式

首先，说明第三实施方式的图像处理装置的结构。图25是说明第三实施方式的图像处理装置1e的功能结构的框图。另外，对与第一实施方式中说明的结构相同的结构标注了相同的标号。第三实施方式的图像处理装置1e如图25所示，具有图像取得部11；输入部12；显示部13；记录部14e；运算部15e；以及控制图像处理装置1e总体的动作的控制部30。

在记录部14e中记录有图像处理程序141e，该图像处理程序141e用于根据作为周围特征量的一个例子的沟判别信息来从管腔内部图像中检测暗部区域。其中，沟判别信息是指用于判别在低亮度区域的周围是否存在沟的信息。

此外，运算部15e具有低亮度区域检测部151、周围特征量计算部16e以及暗部区域判别部24e。并且，第三实施方式的周围特征量计算部16e是根据低亮度区域周围的像素值计算低亮度区域的周围特征量的功能部，具有作为用于计算沟判别信息的沟判别信息计算单元的沟判别信息计算部23e。该沟判别信息计算部23e具有作为分布计算单元的分布计算部231e以及作为变化量计算单元的变化量计算部232e。分布计算部231e取得在低亮度区域周围与低亮度区域的轮廓平行设定的外延轮廓线上的像素值，并计算周围分布，该周围分布表示沿着外延轮廓线的像素值变化。变化量计算部232e根据周围分布计算相邻的外延轮廓像素间的像素值的变化量。

在对小肠的内部进行拍摄而得到的管腔内部图像中，容易得到粘膜表面的褶皱在暗部区域周围反映为沟的图像。因此，在第三实施方式中，首先，从管腔内部图像中检测成为暗部区域的候选的低亮度区域。然后，通过着眼于所检测出的低亮度区域周围存在的沟的有无，从而判别所检测出的低亮度区域是否是暗部区域并提取暗部区域。

接下来说明第三实施方式中的图像处理装置1e进行的具体处理过程。图26是示出第三实施方式的图像处理装置1e进行的处理过程的总体流程图。此处说明的处理通过使运算部15e执行被记录在记录部14e中的图像处理程序141e来实现。此外，在图26中，对与第一实施方式相同的处理步骤标注了相同的标号。

如图26所示，在第三实施方式中，在步骤a7中区域校正部153执行初始区域校正处理，并检测出低亮度区域后，针对每个低亮度区域执行循环E的处理(步骤i9～步骤i15)。在循环E中，首先，沟识别信息计算部23e执行沟判别信息计算处理，对处理对象的低亮度区域计算沟识别信息(步骤i11)。

图27是示出第三实施方式中的沟判别信息计算处理的详细处理过程的流程图。在沟判别信息计算处理中，如图27所示，首先，沟识别信息计算部23e对低亮度区域进行膨胀处理，使低亮度区域扩张而在外周围生成膨胀区域(步骤k1)。接下来，分布计算部231e依次取得生成的膨胀区域的轮廓像素(外延轮廓像素)的像素值并计算周围分布(步骤k3)。其后，变化量计算部232e根据周围分布针对每个外延轮廓像素求出微分值，并计算其最大值作为沟识别信息(步骤k5)。该周围分布的微分值的最大值的值越大则越可判定低亮度区域周围存在沟，相反地，值越小则越可判定不存在沟。其后，返回到图26的步骤i11，再转移到步骤i13。

然后，在步骤i13中，暗部区域判别部24e根据在步骤i11中计算出的沟判别信息，判别处理对象的低亮度区域是否是暗部区域。具体来说，暗部区域判别部24e在沟判别信息的值大于等于预先设定的阀值的情况下，判别处理对象的低亮度区域是暗部区域。若如此判别了是否是暗部区域，则结束对处理对象的低亮度区域的循环E的处理。然后，对所有的低亮度区域执行以上说明的循环E的处理。

如上所述，在第三实施方式中，首先，根据管腔内部图像的各像素的像素值检测低亮度区域。然后，对检测出的每个低亮度区域根据周围的像素值计算作为周围特征量的一个例子的沟判别信息。该第三实施方式假定对在暗部区域的周围存在沟的管腔内部图像进行处理的情况，计算通过依次取得低亮度区域的外延轮廓像素的像素值而计算出的周围分布的微分值的最大值，作为沟判别信息。然后，根据作为周围特征量的沟判别信息判别各暗部候选区域是否是暗部区域并提取暗部区域。根据该第三实施方式，能够实现与第一实施方式相同的效果，并能够准确地判别出暗部区域，高精度地提取暗部区域。

此外，沟判别信息不限于第三实施方式中所说明的周围分布的微分值的最大值，例如，也可如第4和第5变形例那样进行计算。

变形例4

图28是示出变形例4中的图像处理装置的运算部15f的结构的图。另外，变形例4的图像处理装置能够通过以下结构实现：在图25示出的第三实施方式的图像处理装置1e中将运算部15e置换成图28所示的运算部15f。此外，在图28中，对与第三实施方式相同的结构标注了相同的标号。如图28所示，变形例4的运算部15f的周围特征量计算部16f具有的沟判别信息计算部23f与第三实施方式不同，沟判别信息计算部23f具有作为内积计算单元的内积计算部233f。内积计算部233f针对低亮度区域的每个轮廓像素，计算以轮廓像素为基点并分别朝向夹着该作为基点的轮廓像素存在于两边的其他轮廓像素的附近轮廓像素方向矢量的内积。

图29是说明变形例4中的沟判别信息计算处理的详细处理过程的流程图。在变形例4中，替代在第三实施方式中作为图26的步骤i11的处理所说明的图27的沟判别信息计算处理，执行图29所示的沟判别信息计算处理。并且，在该沟判别信息计算处理中，如图29所示，首先，内积计算部233f针对低亮度区域的每个轮廓像素计算附近轮廓像素方向矢量的内积(步骤l1)。此处的处理可通过与图16的步骤f1相同的处理实现。

其后，沟判别信息计算部23f计算在步骤l1中针对每个轮廓像素计算出的附近轮廓像素方向矢量的内积的最大值，作为沟判别信息(步骤l3)。如第一实施方式的变形例2中所说明的，如果存在附近轮廓像素方向矢量的内积的值较大的轮廓像素，则可判别为其外侧存在沟。相反地，如果值小的话，可判别为不存在沟。另外，此时的暗部区域的判别与第三实施方式一样，暗部区域判别部24e在沟判别信息的值大于等于预定阀值的情况下，将处理对象的低亮度区域判别为暗部区域。

根据该变形例4，能够实现与第三实施方式相同的效果，并能够准确地判别出暗部区域，高精度地提取暗部区域。

变形例5

图30是示出变形例5中的图像处理装置的运算部15g的结构的图。变形例5的图像处理装置能够通过以下结构实现：在图25示出的第三实施方式的图像处理装置1e中将运算部15e置换成图30所示的运算部15g。此外，在图30中，对与第三实施方式相同的结构标注了相同的标号。如图30所示，变形例5的运算部15g的周围特征量计算部16g具有的沟判别信息计算部23g与第三实施方式不同，沟判别信息计算部23g具有作为边缘强度计算单元的边缘强度计算部234g。边缘强度计算部234g计算低亮度区域周围的边缘强度。

图31是说明变形例5中的沟判别信息计算处理的详细处理过程的流程图。在变形例5中，替代第三实施方式中作为图26的步骤i11的处理所说明的图27的沟判别信息计算处理，执行图31所示的沟判别信息计算处理。并且，在该沟判别信息计算处理中，如图31所示，首先，边缘强度计算部234g对低亮度区域进行膨胀处理，使低亮度区域扩张而在外周围生成膨胀区域(步骤m1)。此处的处理可通过与图8的步骤d1相同的处理实现。然后，边缘强度计算部234g针对生成的低亮度区域的膨胀区域内的每个像素计算边缘强度(步骤m3)。

其后，沟判别信息计算部23g计算在步骤m3中针对膨胀区域内的每个像素计算出的边缘强度的最大值，把其作为沟判别信息(步骤m5)。如第一实施方式的变形例3中所说明的，如果在膨胀区域内存在边缘强度的值较大的像素，则该像素位置为沟位置的可能性较大，相反地，值较小的话沟位置的可能性较小。另外，此种情况下的暗部区域的判别与第三实施方式的相同，暗部区域判别部24e在沟判别信息的值大于等于预先设定的阀值的情况下，判别为处理对象的低亮度区域是暗部区域。

在该变形例5中，能够实现与第三实施方式相同的效果，并能够准确判别暗部区域，高精度地提取暗部区域。

此外，上述的第一实施方式的图像处理装置1、第二实施方式的图像处理装置1d以及第三实施方式的图像处理装置1e能够通过在个人计算机和工作站等的计算机系统中执行预先准备的程序来实现。以下，说明具有与各实施方式1～3中所说明的图像处理装置1、1d、1e相同的功能，并执行图像处理程序141、141d、141e的计算机系统。

图32是示出本发明的计算机系统400的结构的系统结构图，图33是示出构成该计算机系统400的主体部410的结构的框图。如图32所示，计算机系统400具有：主体部410；显示器420，其按照来自主体部410的指示将图像等的信息显示在显示画面421上；键盘430，其向该计算机系统400输入各种信息；鼠标400，其用于指定显示器420的显示画面421上的任意位置。

此外，该计算机系统400中的主体部410如图32和图33所示，具有CPU 411、RAM 412、ROM 413、硬盘驱动器(HDD)414、接受CD-ROM 460的CD-ROM驱动器415、可装卸地连接USB存储器470的USB端口416、连接显示器420、键盘430和鼠标440的I/O接口417以及用于连接到局域网或者广域网(LAN/WAN)N1的LAN接口418。

另外，在该计算机系统400上连接有用于连接到因特网等公众线路N3的调制解调器450，并且经由LAN接口418以及局域网或者广域网N1连接有作为其他计算机系统的个人计算机(PC)481、服务器482、打印机483等。

并且，该计算机系统400通过读出并执行记录在记录介质中的图像处理程序(例如第一实施方式的图像处理程序141、第二实施方式的图像处理程序141d以及第三实施方式的图像处理程序141e)，从而实现图像处理装置(例如第一实施方式的图像处理装置1、第二实施方式的图像处理装置1d以及第三实施方式的图像处理装置1e)。其中，记录介质除CD-ROM 460和USB存储器470以外还包括：包括MO盘和DVD盘、软磁盘(FD)、IC卡等在内的“便携式物理介质”；计算机系统400的内外具有的HDD 414和RAM 412、ROM 413等“固定的物理介质”；以及如经由调制解调器450连接的公众线路N3、连接有作为其他计算机系统的PC 481和服务器482的局域网或者广域网N1等那样，在程序的发送时短期地存储程序的“通信介质”等，记录了可由计算机系统400读取的图像处理程序的所有的存储介质。

即，图像处理程序以计算机可读取的方式记录在“便携式物理介质”、“固定的物理介质”以及“通信介质”等的记录介质中，计算机系统400通过从此类的记录介质读出并执行图像处理程序来实现图像处理装置。另外，图像处理程序不限于通过计算机系统400执行，在以下的情况下也同样可以应用本发明：在作为其他计算机系统的PC 481和服务器482执行图像处理程序的情况下，或者它们协同地执行图像处理程序的情况下。

此外，本发明并不是原封不动地限定于上述的各实施方式1～3以及其变形例，可通过适当地组合各实施方式和变形例中公开的多个结构要素来形成各种发明。例如，可从各实施方式和变形例中所示的全部结构要素中排除若干个结构要素而形成。或者，也可适当地组合不同的实施方式和变形例中所示的结构要素而形成。

根据以上说明的本发明，实现了能够准确地判别是否是暗部区域，并高精度地提取暗部区域的效果。

Claims (23)

1.一种从管腔内部图像提取暗部区域的图像处理装置，该图像处理装置具有：

低亮度区域检测部，其根据所述管腔内部图像的各像素的像素值检测低亮度区域；

周围特征量计算部，其根据所述低亮度区域周围的像素值计算周围特征量；以及

暗部区域判别部，其根据所述周围特征量判别所述低亮度区域是否是暗部区域。

2.根据权利要求1所述的图像处理装置，其中，所述低亮度区域检测部具有：

初始区域检测部，其根据所述管腔内部图像的颜色特征量来检测初始区域；以及

区域校正部，其根据所述初始区域周围的颜色特征量或者所述初始区域的形状来校正所述初始区域。

3.根据权利要求1所述的图像处理装置，其中，所述周围特征量计算部具有计算梯度集中度作为所述周围特征量的集中度计算部，该梯度集中度是表示所述低亮度区域周围的梯度以何种程度朝向所述低亮度区域侧的值。

4.根据权利要求2所述的图像处理装置，其中，所述区域校正部具有：

区域扩张部，其通过将具有与所述初始区域的颜色特征量相类似的颜色特征量的邻接区域与所述初始区域合并，从而扩张所述初始区域；以及

轮廓平滑部，其平滑地修正所述区域扩张部进行扩张后的区域的轮廓。

5.根据权利要求2所述的图像处理装置，其中，所述区域校正部利用动态轮廓模型对所述初始区域进行变形，来校正所述初始区域。

6.根据权利要求3所述的图像处理装置，其中，所述集中度计算部具有：

外部方向矢量计算部，其计算从所述低亮度区域朝向外部方向的外部方向矢量；以及

梯度矢量计算部，其计算在所述低亮度区域的所述外部方向上存在的区域的梯度矢量；以及

内积计算部，其计算所述外部方向矢量与所述梯度矢量的内积。

7.根据权利要求6所述的图像处理装置，其中，所述外部方向矢量计算部具有计算相对于所述低亮度区域的轮廓的法线矢量的法线矢量计算部，并把所述法线矢量作为所述外部方向矢量。

8.根据权利要求6所述的图像处理装置，其中，所述外部方向矢量计算部具有：

重心计算部，其计算所述低亮度区域的重心；

放射矢量计算部，其计算从所述重心朝向放射方向的放射方向矢量，

所述外部方向矢量计算部把所述放射方向矢量作为所述外部方向矢量。

9.根据权利要求6所述的图像处理装置，其中，所述梯度矢量计算部具有计算范围限定部，该计算范围限定部根据所述低亮度区域周围的陡峭梯度的有无，来限定计算所述梯度矢量的范围。

10.根据权利要求9所述的图像处理装置，其中，所述计算范围限定部具有：

分布计算部，其取得在所述低亮度区域的周围与所述低亮度区域的轮廓平行设定的外延轮廓线上的像素值，并计算周围分布，该周围分布表示沿着所述外延轮廓线的像素值变化；以及

极小部检测部，其检测所述像素值变化的极小部。

11.根据权利要求9所述的图像处理装置，其中，所述计算范围限定部具有：

内积计算部，其计算以所述低亮度区域的轮廓像素为基点，分别朝向存在于该基点的轮廓像素两边的其他轮廓像素的矢量的内积；以及

内积判别部，其根据所述内积的大小判别在所述低亮度区域的周围有无陡峭的梯度。

12.根据权利要求9所述的图像处理装置，其中，所述计算范围限定部具有：

边缘强度计算部，其计算所述低亮度区域周围的边缘强度；以及

边缘强度判别部，其根据所述边缘强度的大小来判别在所述低亮度区域的周围有无陡峭的梯度。

13.根据权利要求6所述的图像处理装置，其中，所述梯度矢量计算部具有周围平滑部，该周围平滑部根据所述低亮度区域周围的频率特征量对所述低亮度区域的周围进行平滑化。

14.根据权利要求13所述的图像处理装置，其中，所述周围平滑部具有：

频率特征量计算部，其根据所述低亮度区域的周围的支配性的频率成分计算频率特征量；以及

高频成分去除部，其根据所述频率特征量去除所述低亮度区域周围的高频成分。

15.根据权利要求14所述的图像处理装置，其中，所述高频成分去除部采用与所述频率特征量对应的大小的结构要素，针对所述低亮度区域的周围进行形态学处理。

16.根据权利要求14所述的图像处理装置，其中，所述高频成分去除部根据所述频率特征量，针对所述低亮度区域的周围进行低通滤波处理。

17.根据权利要求1所述的图像处理装置，其中，所述周围特征量计算部具有计算对置周围部间的像素值变化的连续性作为所述周围特征量的连续性计算部，所述对置周围部是在所述低亮度区域的周围夹着所述低亮度区域相互对置的部分。

18.根据权利要求17所述的图像处理装置，其中，所述连续性计算部具有：

函数近似部，其针对每个所述对置周围部，用面的函数式对各对置周围部内的像素值进行近似；以及

差分计算部，其采用所述函数式计算所述低亮度区域内的同一坐标处的各函数式的值的差分。

19.根据权利要求1所述的图像处理装置，其中，所述周围特征量计算部具有计算沟判别信息的沟判别信息计算部，该沟判别信息是用于判别在所述低亮度区域的周围有无陡峭的梯度的信息。

20.根据权利要求19所述的图像处理装置，其中，所述沟判别信息计算部具有：

分布计算部，其取得在所述低亮度区域的周围与所述低亮度区域的轮廓平行设定的外延轮廓线上的像素值，并计算周围分布，该周围分布表示沿着所述外延轮廓线的像素值变化；以及

变化量计算部，其根据所述像素值变化计算相邻的外延轮廓像素间的像素值变化量，

所述沟判别信息计算部把所述变化量作为所述沟判别信息。

21.根据权利要求19所述的图像处理装置，其中，所述沟判别信息计算部具有内积计算部，该内积计算部计算以所述低亮度区域的轮廓像素为基点，分别朝向存在于该基点的轮廓像素两边的其他轮廓像素的矢量的内积，所述沟判别信息计算部把所述内积的大小作为所述沟判别信息。

22.根据权利要求19所述的图像处理装置，其中，所述沟判别信息计算部具有计算所述低亮度区域周围的边缘强度的边缘强度计算部，并把所述边缘强度作为所述沟判别信息。

23.一种从管腔内部图像提取暗部区域的图像处理方法，该图像处理方法具有：

低亮度区域检测步骤，根据所述管腔内部图像的各像素的像素值检测低亮度区域；

周围特征量计算步骤，根据所述低亮度区域周围的像素值计算周围特征量；以及

暗部区域判别步骤，根据所述周围特征量判别所述低亮度区域是否是暗部区域。

Images