CN102243762B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法。图像处理装置具备：一次判别部，其根据基于管腔内图像的颜色信息的第1特征量来判别不需要候选区域；以及二次判别部，其根据不需要候选区域的与上述第1特征量不同的第2特征量来判别不需要候选区域是否是不需要区域。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及对在管腔内拍摄的管腔内图像进行处理的图像处理装置以及图像处理方法。

背景技术

一直以来，广泛普及了内视镜来作为导入患者等被检者体内对体内管腔内进行观察的医用观察装置。另外，近年来开发了在胶囊型壳体内部具有摄像装置及向体外无线发送由该摄像装置拍摄的图像数据的通信装置等的吞入型内视镜(胶囊型内窥镜)。因为这些医用观察装置所拍摄的体内管腔内图像(管腔内图像)的观察/诊断需要很多经验，所以期望具有能辅助医师诊断的医疗诊断支援功能。作为实现该功能的图像识别技术之一，提出了通过从管腔内图像中自动检测病变等异常部来示出应该重点诊断的图像的技术。

但是，为了上述的异常部检测，作为预处理，进行提取观察/诊断所不需要的区域(例如产生光晕的区域(光晕区域)、映出管腔里侧的暗部区域、映出大便等内容物的内容物区域等不需要区域)的处理并确定粘膜等应该关注的区域的技术是很重要的。例如，日本特开2006-166939号公报公开了不被暗部等不需要区域影响地检测在图像内存在病变粘膜等特定生物体粘膜的技术。在该公开公报中，根据各像素的颜色信息来去除与不需要区域相应的像素，然后检测特定生物体粘膜的存在。

如上所述，在日本特开2006-166939号公报的技术中，根据颜色信息来去除与不需要区域相应的像素。但是，例如光晕区域的颜色与映出白色病变的区域等的颜色类似，在颜色信息中难以判别它们。同样，暗部区域的颜色与映出凝固血的区域等的颜色类似，内容物区域与映出黄色的粘膜区域等的颜色类似，产生同样的问题。因此，具有错误地将应该关注的区域作为不需要区域提取这样的问题。

发明内容

本发明是鉴于上述问题而作出的，其目的在于提供可适当判别是否是不需要区域、并从管腔内图像中高精度地提取不需要区域的图像处理装置以及图像处理方法。

本发明的图像处理装置从管腔内图像中提取不需要区域，该图像处理装置具备：一次判别部，其根据基于上述管腔内图像的颜色信息的第1特征量来判别不需要候选区域；以及二次判别部，其根据上述不需要候选区域的与上述第1特征量不同的第2特征量来判别上述不需要候选区域是否是不需要区域。

另外，本发明的图像处理方法从管腔内图像中提取不需要区域，该图像处理方法包含以下步骤：根据基于上述管腔内图像的颜色信息的第1特征量来判别不需要候选区域；以及根据上述不需要候选区域的与上述第1特征量不同的第2特征量来判别上述不需要候选区域是否是不需要区域。

如果将以下本发明的详细说明与附图对照着进行参考，则能够进一步理解以上所述的情况以及本发明的其它目的、特征、优点和技术及产业上的意义。

附图说明

图1是说明实施方式1中的图像处理装置的功能结构的框图。

图2是示出管腔内图像的一例的示意图。

图3是说明管腔内图像中的像素值的变化的图。

图4是示出实施方式1的图像处理装置进行的处理顺序的整体流程图。

图5是示出边界特征量计算处理的详细处理顺序的流程图。

图6是示出光晕候选区域的一例的示意图。

图7是图6所示的光晕候选区域边界中的法线方向线轮廓的一例的图。

图8是说明实施方式2中的图像处理装置的功能结构的框图。

图9是示出管腔内图像的一例的示意图。

图10是说明管腔内图像中的像素值的变化的图。

图11是示出实施方式2的图像处理装置进行的处理顺序的整体流程图。

图12是示出梯度特征量计算处理的详细处理顺序的流程图。

图13是说明实施方式3中的图像处理装置的功能结构的框图。

图14是示出实施方式3的图像处理装置进行的处理顺序的整体流程图。

图15是示出饱和区域判别处理的详细处理顺序的流程图。

图16是示出应用了本发明的计算机系统的结构的系统结构图。

图17是示出构成图16的计算机系统的主体部的结构的框图。

具体实施方式

以下，参照附图对本发明的优选实施方式进行说明。此外，本发明不被该实施方式所限定。另外，在各附图的记载中，对同一部分标注同一符号。

这里，本实施方式的图像处理装置对例如内视镜及胶囊型内窥镜等医用观察装置在被检者体内的消化管等管腔内进行拍摄的图像(管腔内图像)进行处理，具体地说，作为确定粘膜等应该关注的区域并提取例如病变区域及出血区域等异常部区域时的预处理，进行从管腔内图像中提取不需要区域的处理。所谓不需要区域就是观察/诊断所不需要的区域，即不是应该关注的区域，例如包含光晕区域、暗部区域及内容物区域等。所谓光晕区域就是产生了光晕的区域。另外，管腔内图像是如上那样利用医用观察装置在所述消化管等管腔内进行摄像的图像，但因为管腔里侧与医用观察装置的距离较远、照明光难以到达，所以表现为较暗的区域。所谓暗部区域就是映出该管腔里侧的较暗区域。所谓内容物区域就是映出在管腔内浮游的大便等内容物的区域。此外，在本实施方式中，医用观察装置所拍摄的管腔内图像例如是在各像素中具有与R(红)、G(绿)、B(蓝)的各色成分相对应的像素级(像素值)的彩色图像。

实施方式1

首先，对实施方式1的图像处理装置的结构进行说明。图1是说明实施方式1的图像处理装置1的功能结构的框图。实施方式1的图像处理装置1如图1所示，具备图像取得部11、输入部12、显示部13、记录部14、运算部15和控制图像处理装置1整体动作的控制部19。该图像处理装置1进行从管腔内图像提取光晕区域作为不需要区域的处理。

图像取得部11用于取得医用观察装置所拍摄的管腔内图像的图像数据，该图像取得部11所取得的图像数据被记录于记录部14中，在经过运算部15处理之后，根据需要适当显示到显示部13上。如果像例如医用观察装置是胶囊型内窥镜的情况等那样，使用可与医用观察装置之间交换图像数据的可移动型记录介质，则图像取得部11由可拆卸地安装该记录介质并读出已保存的管腔内图像的图像数据的读出装置构成。另外，如果采用在适当位置设置预先保存医用观察装置所拍摄的管腔内图像的图像数据的服务器、并从该服务器中取得该图像数据的结构，则图像取得部11由用于与服务器连接的通信装置等构成。并且，经由该图像取得部11与服务器进行数据通信，并取得管腔内图像的图像数据。另外，还可以由经由电缆输入来自内视镜等医用观察装置的图像信号的接口装置等构成。

输入部12通过例如键盘、鼠标、触摸面板及各种开关等来实现，其将输入信号输出到控制部19。显示部13由LCD及EL显示器等显示装置来实现，根据控制部19的控制，显示包含管腔内图像的各种画面。

记录部14由可更新记录的闪存等ROM及RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、CD-ROM等信息记录介质及其读取装置等来实现，该记录部记录有用于使图像处理装置1动作并实现该图像处理装置1所具备的各种功能的程序、以及在该程序执行中使用的数据等。例如，在记录部14中记录有图像取得部11所取得的管腔内图像的图像数据。另外，在记录部14中记录有用于从管腔内图像提取光晕区域的图像处理程序141。

运算部15由CPU等硬件来实现，进行用于处理管腔内图像以提取光晕区域的各种运算处理。该运算部15包含一次判别部16和二次判别部17。一次判别部16根据基于管腔内图像的颜色信息的第1特征量即颜色特征量来判别作为不需要候选区域的一例的光晕候选区域。二次判别部17根据与颜色特征量不同的第2特征量来判别光晕候选区域是否是光晕区域。该二次判别部17具有边界特征量计算部171和边界特征判别部18。这里，第2特征量是根据光晕候选区域的边界附近的像素值变化而计算的值。例如，在实施方式1中，边界特征量计算部171计算包含光晕候选区域的边界内侧区域和外侧区域的区域的边界特征量来作为第2特征量。该边界特征量计算部171具备边缘强度计算部172和曲率计算部173。边缘强度计算部172计算光晕候选区域边界的边缘强度来作为一个边界特征量。另外，曲率计算部173计算光晕候选区域边界的法线方向线轮廓的曲率来作为其它边界特征量。边界特征判别部18根据边界特征量即边缘强度以及法线方向线轮廓的曲率来判别光晕候选区域是否是光晕区域。

控制部19由CPU等硬件来实现。该控制部19根据图像取得部11所取得的图像数据、从输入部12输入的输入信号、记录部14所记录的程序及数据等，向构成图像处理装置1的各个部分进行指示或者数据传送等，对图像处理装置1整体的动作进行统一地控制。

接着，对实施方式1中的光晕区域的提取原理进行说明。图2是管腔内图像的示意图。另外，图3是说明管腔内图像中的像素值变化的图，示出在图2中用虚线表示的线L11上的像素值的变化曲线L13。光晕区域在管腔内图像中表现为白色区域。因此，首先从管腔内图像中提取白色区域作为光晕候选区域。例如，在图2所示的管腔内图像中，示出作为白色区域的两个光晕候选区域41、42。

但是，如上所述，光晕候选区域虽然是管腔内图像的白色区域，但在管腔内图像中，即使在光晕区域以外，例如白色病变等的区域也表现为与光晕区域类似的白色区域。该白色病变等的区域与光晕区域不同，是观察/诊断时应该关注的区域。例如在图2中，一方的光晕候选区域41是光晕区域，另一方的光晕候选区域42是白色病变的区域。

这里，光晕区域是来自摄影对象面的反射光的衰减较少的区域，其具有高于该光晕区域以外的区域的像素值。因此，光晕区域具有以其边界为界限在内侧区域和外侧区域像素值的变动较大这样的特征。例如，如图3示出的像素值的变化曲线L13所示，在作为图2所示的光晕区域的光晕候选区域41的边界部分411、412中像素值急剧变化，与此相对，在作为白色病变区域的光晕候选区域42的边界部分421、422中，像素值的变化缓慢。因此，在实施方式1中，着眼于通过提取白色区域而获得的光晕候选区域的边界附近的像素值变化，来判别各光晕候选区域是否是光晕区域，提取光晕区域。

接着，参照图4来说明实施方式1的图像处理装置1进行的具体处理顺序。通过由运算部15执行记录部14所记录的图像处理程序141来实现这里说明的处理。

如图4所示，首先运算部15取得处理对象的管腔内图像I(x、y)(步骤a1)。通过这里的处理，运算部15读出并取得图像取得部11所取得的记录在记录部14内的处理对象的管腔内图像I(x、y)。x和y表示管腔内图像中的各像素位置的座标。

接着，一次判别部16根据在步骤a1中取得的管腔内图像I(x、y)的颜色特征量来提取管腔内图像I(x、y)内的光晕候选区域U(i)(步骤a3)。如上所述，光晕区域在管腔内图像中表现为白色区域。因此，在实施方式1中，将管腔内图像的颜色信息(R值、G值、B值)用作颜色特征量，进行属于白色区域的像素的识别。并且，通过对属于所识别的白色区域的像素进行公知的标注处理来提取光晕候选区域U(i)。

具体的处理顺序首先按照构成管腔内图像I(x、y)的像素，将其R值、G值、B值分别与预先设定的规定阈值进行比较，并判定R值、G值、B值的全部值是否是阈值以上。并且，将R值、G值、B值的全部值被判定为是阈值以上的像素作为属于白色区域的像素，分配临时像素值“0”。另一方面，对在R值、G值、B值中具有哪怕1个小于阈值的值的像素分配临时像素值“1”。

然后，根据如上那样对管腔内图像I(x、y)的各个像素分配的临时像素值进行标注处理，并提取光晕候选区域(参考：CG-ARTS协会，数字图像处理，181p)。即，首先将临时像素值是“0”的像素按照每个连结成分(相邻的同一像素值的像素组)进行划分。并且，按照所划分的每个像素组附加用于识别各个像素的固有标记，由此将临时像素值是“0”的像素组分别作为光晕候选区域。此时，一次判别部16向各个光晕区域分配用于识别各个区域的索引i。例如，作为索引i，向各个光晕区域分配系列号(1≤i≤Max_i)，来作为光晕候选区域U(i)。

此外，在本例中，将各像素的颜色信息(R值、G值、B值)用作颜色特征量，并提取光晕候选区域，但只要能够提取白色区域即可，该方法不仅限于此。例如，可将各像素的R值、G值、B值映射在由色相(Hue)、饱和度(Saturation)、亮度(Lightness/Luminance/Intensity)这3个分量构成的HSI颜色空间内，并将I值(亮度值)与预先设定的规定阈值进行比较。并且，在将判定为I值是阈值以上的像素识别成属于白色区域的像素之后，可同样进行标注处理来提取光晕候选区域。

接着，一次判别部16判别在管腔内图像I(x、y)中是否存在光晕候选区域。作为步骤a3的处理结果，在没有提取出光晕候选区域的情况下，判别为不存在光晕候选区域(步骤a5：否)，结束本处理。作为步骤a3的处理结果，在提取出光晕候选区域的情况下，判别为存在光晕候选区域(步骤a5：是)，转移至步骤a7。

并且，在步骤a7中，将作为处理对象的光晕候选区域的索引i设定为“1”。然后，边界特征量计算部171执行边界特征量计算处理，计算处理对象的光晕候选区域U(i)的边界特征量(步骤a9)。

在实施方式1中，根据如上所述以边界为界限在内侧区域和外侧区域中像素值的变动较大这样的光晕区域的特征，作为用于判别光晕候选区域U(i)是否是光晕区域的基准，计算边界特征量。并且，根据该边界特征量，来识别表现为颜色相互类似的白色区域的光晕区域和白色病变等的区域。

图5是示出边界特征量计算处理的详细处理顺序的流程图。如图5所示，在边界特征量计算处理中，边界特征量计算部171首先进行公知的轮廓跟踪处理，并检测与处理对象的光晕候选区域U(i)的边界相当的像素(以下，称为“边界像素”)b(j)(步骤b1)。所谓轮廓跟踪就是依次跟踪与区域外周部相当的像素来检测边界像素的方法，在本例中，例如在8附近进行判断连结性的轮廓跟踪(参考：CG-ARTS协会，数字图像处理，178p)。j是用于识别各个边界像素的索引，并示出边界像素的邻接关系。

并且，边界特征量计算部171根据下式(1)、(2)，按照每个边界像素b(j)来计算相对于处理对象的光晕候选区域U(i)的边界的法线矢量n(j)(步骤b3)。这里，在式子(1)、(2)中，n_x(j)表示法线矢量n(j)的x分量，n_y(j)表示法线矢量n(j)的y分量。另外，b_x(j)表示边界像素b(j)的x座标，b_y(j)表示边界像素b(j)的y座标。这里，上述的轮廓跟踪处理是右旋转跟踪与光晕候选区域U(i)外周部相当的像素的处理，所以可在朝向光晕候选区域U(i)外侧的方向获得法线矢量。

n_x(j)＝b_y(j+1)-b_y(j-1)…(1)

n_y(j)＝-(b_x(j+1)-b_x(j-1))…(2)

接着，边缘强度计算部172根据在步骤b3中针对各边界像素b(j)分别计算出的法线矢量n(j)，来计算处理对象的光晕候选区域U(i)边界中的边缘强度(步骤b5)。具体地说，边缘强度计算部172根据下式(3)～(7)来计算边缘强度E。这里，在式子(3)～(7)中，I_R(x、y)示出利用管腔内图像I(x、y)内的座标(x₁、y₁)以及(x₂、y₂)表示的像素位置的像素的R值。另外，Nb表示边界像素b(j)的总数，k₁是任意的常数。另外，x₁、x₂、y₁以及y₂都是整数，并通过在计算时进行四舍五入来整数化。

$E=\frac{1}{\mathrm{Nb}}\underset{j=1}{\overset{\mathrm{Nb}}{\mathrm{\Σ}}}{I}_R(x_1,y_1)-I_R(x_2,y_2)...\left(3\right)$

其中，x₁＝b_x(j)+k₁·n_x(j)…(4)

y₁＝b_y(j)+k₁·n_y(j)…(5)

x₂＝b_x(j)-k₁·n_x(j)…(6)

y₂＝b_y(j)-k₁·n_y(j)…(7)。

此外，在本例中，采用法线矢量来计算光晕候选区域U(i)边界中的边缘强度E，但边缘强度的计算方法不仅限于此。例如，可采用公知的索贝尔(Sobel)滤波器(参考：CG-ARTS协会，数字图像处理，116p)来计算边缘强度。所谓索贝尔滤波器是进行微分和平滑化的已知方法。另外，在本例中，针对全部边界像素b(j)计算边缘强度E，但计算边缘强度E的边界上的部位只要是1处以上即可。即，可适当选择计算边缘强度E的部位(针对哪个边界像素b(j)计算边缘强度E)，针对所选择边界上的部位计算边缘强度E。

接着，曲率计算部173根据在步骤b3中针对各边界像素b(j)计算的法线矢量n(j)，来计算处理对象的光晕候选区域U(i)边界中的法线方向线轮廓的曲率(步骤b7)。

这里，对法线方向线轮廓的曲率的计算原理进行说明。图6是示出处理对象的光晕候选区域U(i)的一例的示意图，在图6中，关于存在于光晕候选区域U(i)边界上的一个边界像素b(j)即P21，示出在图5的步骤b3中计算出的法线矢量n(j)即V2。另外，图7示出将横轴设为在图6中用虚线表示的线L21上的像素位置、将纵轴设为相应的各像素的像素值并沿着图6中的线L21的像素值的变化曲线L23。在实施方式1中，所谓法线方向线轮廓就是存在于边界像素的法线方向的像素的像素值变化。例如，图6所示的边界像素P21的法线方向线轮廓就是沿着法线矢量V2的线L21上的像素值变化、即图7所示的变化曲线L23的情况。并且，在图5的步骤b7中，根据每个边界像素的法线方向线轮廓的曲率，计算处理对象的光晕候选区域U(i)边界中的法线方向线轮廓的曲率。如果着眼于例如边界像素P21，则采用该边界像素P21的像素值和夹着边界像素P21存在于两侧的像素P22、P23的像素值来计算各个边界像素的法线方向线轮廓的曲率，该像素P22、P23是沿着法线矢量V2的线L21上的像素。

实际上，在图5的步骤b7中曲率计算部173根据下式(8)来计算法线方向线轮廓的曲率M。这里，式子(8)中的x₁、x₂、y₁、y₂是与上述式子(4)～(7)中所获得的值相同的值。

$M=\frac{1}{\mathrm{Nb}}\underset{j=1}{\overset{\mathrm{Nb}}{\mathrm{\Σ}}}\frac{I_R(x_1,y_1)-2I_R(n_x\left(j\right),n_y\left(j\right))+I_R(x_2,y_2)}{{(1+{(I_R(x_1,y_1)-I_R(x_2,y_2))}^2)}^{\frac{3}{2}}}...\left(8\right)$

并且，如果计算了法线方向线轮廓的曲率M，则返回图4的步骤a9，然后转移至步骤a11。该边界特征量计算处理的结果是，获得该处理对象的光晕候选区域U(i)边界中的边缘强度E以及法线方向线轮廓的曲率M来作为处理对象的光晕候选区域U(i)的边界特征量。

此外，在本例中，针对全部边界像素b(j)计算了法线方向线轮廓的曲率M，但计算法线方向线轮廓的曲率M的边界上的部位只要是1处以上即可。即，可适当选择计算法线方向线轮廓的曲率M的部位(针对哪个边界像素b(j)计算法线方向线轮廓的曲率M)，针对所选择的边界上的部位计算法线方向线轮廓的曲率M。另外，在本例中，采用管腔内图像I(x、y)内的像素的R值I_R(x、y)计算了边缘强度E以及法线方向线轮廓的曲率M，但作为边界特征量计算的值及其计算方法不限于此。即，边界特征量只要是与光晕候选区域U(i)边界中的像素值的变动相应的值就可以是任意的值，也可以是利用其它计算方法获得的值。

并且，在步骤a11中，边界特征判别部18根据作为步骤a9的边界特征量计算处理结果的边界特征量而计算出的边缘强度E和法线方向线轮廓的曲率M，来判别处理对象的光晕候选区域U(i)是否是光晕区域。具体地说，边界特征判别部18在图5的步骤b5所计算的边缘强度E是预先设定的规定阈值以上、且图5的步骤b7所计算的法线方向线轮廓的曲率M是预先设定的规定阈值以上时，将处理对象的光晕候选区域U(i)判别为光晕区域。

此外，在本例中，计算了光晕候选区域边界中的边缘强度E和法线方向线轮廓的曲率M。并且，将所计算的边缘强度E和法线方向线轮廓的曲率M用作边界特征量，并判别光晕候选区域是否是光晕区域，但判别的方法不仅限于此。即，可根据以光晕候选区域的边界为界限的像素值的变动来判别光晕区域，也可仅将边缘强度E用作边界特征量进行是否是光晕区域的判别。或者，还可仅将法线方向线轮廓的曲率M用作边界特征量进行是否是光晕区域的判别。另外，还可采用边缘强度E和法线方向线轮廓的曲率M以外的边界特征量来进行是否是光晕区域的判别。

如果如以上那样结束了处理对象的光晕候选区域U(i)是否是光晕区域的判别，则判定索引i是否小于Max_i。并且，如果小于Max_i(步骤a13：是)，则使索引i递增后进行更新(步骤a15)，并针对下一光晕候选区域U(i)进行步骤a9～步骤a13的处理。另一方面，在索引i不小于Max_i、且处理了全部光晕候选区域的情况下(步骤a13：否)，结束本处理。

如以上所说明的那样，在实施方式1中，首先根据作为第1特征量的颜色特征量从管腔内图像中提取光晕候选区域。并且，针对所提取的各个光晕候选区域计算边界特征量来作为与颜色特征量不同的第2特征量。具体地说，根据以边界为界限在内侧区域和外侧区域中像素值的变动较大这样的光晕区域的特征，计算光晕候选区域边界中的边缘强度和法线方向线轮廓的曲率来作为边界特征量。并且，根据该边界特征量来判别各光晕候选区域是否是光晕区域，提取光晕区域。根据该实施方式1，可将作为白色区域提取出的光晕候选区域中与光晕区域颜色类似的白色病变区域这样的光晕区域以外的区域除外来提取光晕区域。因此，起到了可适当判别作为不需要区域的一例的光晕区域并高精度地提取出光晕区域这样的效果。

针对以上这样提取出光晕区域的管腔内图像，实施例如提取病变区域及出血区域等异常部区域的处理等，并适当显示在显示部13上来提示医师等用户。具体地说，管腔内图像作为例如将异常部区域与其它区域可识别地进行显示的图像显示到显示部13上。或者，包含异常部区域的管腔内图像作为应该诊断的图像显示到显示部13上。此时，可将通过应用实施方式1而提取出的光晕区域除外来确定应该关注的区域，并从该应该关注的区域中提取异常部区域，所以能够实现高精度的异常部检测。

实施方式2

首先，对实施方式2的图像处理装置的结构进行说明。图8是说明实施方式2的图像处理装置1b的功能结构的框图。此外，对与在实施方式1中说明的结构相同的结构标注同一符号。实施方式2的图像处理装置1b如图8所示，具备图像取得部11、输入部12、显示部13、记录部14b、运算部15b和控制图像处理装置1b整体动作的控制部19。该图像处理装置1b进行从管腔内图像中提取暗部区域作为不需要区域的处理。

记录部14b记录有用于从管腔内图像中检测暗部区域的图像处理程序141b。

另外，运算部15b包含一次判别部16b和二次判别部17b。一次判别部16b根据基于管腔内图像的颜色信息的第1特征量即颜色特征量，来判定作为不需要候选区域的一例的暗部候选区域。二次判别部17b根据与颜色特征量不同的第2特征量来判别暗部候选区域是否是暗部区域。该二次判别部17b具备梯度特征量计算部28b和梯度特征判别部29b。这里，第2特征量是根据暗部候选区域的边界附近的像素值的变化所计算的值。例如，在实施方式2中，梯度特征量计算部28b计算暗部候选区域的周围区域(外侧附近)的梯度特征量作为第2特征量。该梯度特征量计算部28b具备梯度方向计算部281b和集中度计算部282b。梯度方向计算部281b计算暗部候选区域周围的梯度方向。另外，集中度计算部282b根据梯度方向计算部281b所计算出的暗部候选区域周围的梯度方向，作为梯度特征量计算梯度的集中度。梯度特征判别部29b根据梯度特征量即梯度的集中度来判别暗部候选区域是否是暗部区域。

接着，对实施方式2中的暗部区域的提取原理进行说明。图9是管腔内图像的示意图。另外，图10是说明管腔内图像中的像素值的变化的图，其示出图9中用虚线表示的线L31上的像素值的变化曲线L32。在医用观察装置以朝着管腔里侧的状态拍摄的管腔内图像中，如图9所示，管腔里侧映为暗部区域51。该暗部区域51在管腔内图像中表现为黑色区域。因此，首先从管腔内图像中将黑色区域作为暗部候选区域提取。例如，在图9所示的管腔内图像中，示出作为暗部候选区域提取的暗部区域51以及与该暗部区域51不同的黑色区域52。

但是如上所述，暗部候选区域是管腔内图像的黑色区域，不过在管腔内图像中，在暗部区域以外，例如凝固血等的区域也表现为与暗部区域类似的黑色区域。该凝固血等的区域与暗部区域不同，为在观察/诊断时应该关注的区域。例如在图9中，与暗部区域51不同的黑色区域52是凝固血等的区域。

这里，暗部区域是在管腔内相对于摄影面较远的区域，所以具有其周围的像素值的变化向暗部区域方倾斜这样的特征。例如，如图10示出的像素值的变化曲线L32所示，在图9的暗部区域51的周围(暗部区域51的外侧附近)的区域511、512中，分别如图10中箭头A511、A512所示，该像素值朝着暗部区域51的方向减少，在暗部区域51周围的整个区域中像素值的变化向暗部区域51方倾斜。与此相对，在作为凝固血等的区域的黑色区域52时，在黑色区域52周围(黑色区域52的外侧附近)的例如图9的右侧区域522中，虽然图10中如箭头A522所示，其像素值朝着黑色区域52的方向减少，但在左侧区域521中，如箭头A521所示，其像素值朝着与黑色区域52相反的方向减少。即，在黑色区域52的左侧区域521中，像素值朝着存在于该黑色区域52的左侧的暗部区域51减少。因此，在实施方式2中，着眼于通过提取黑色区域而获得的暗部候选区域周围的像素值的变化、更详细地说是像素值的变化所倾向的方向，来判别各暗部候选区域是否是暗部区域，以提取暗部区域。

接着，参照图11来说明实施方式2的图像处理装置1b进行的具体处理顺序。通过由运算部15b执行记录部14b所存储的图像处理程序141b来实现这里所说明的处理。

如图11所示，首先运算部15b取得处理对象的管腔内图像I(x、y)(步骤c1)。x和y表示管腔内图像中的各像素位置的座标。接着，一次判别部16b根据在步骤c1中取得的管腔内图像I(x、y)的颜色特征量，来提取管腔内图像I(x、y)内的暗部候选区域U(i)(步骤c3)。如上所述，暗部区域在管腔内图像中表现为黑色区域。因此，在实施方式2中，将管腔内图像的颜色信息(R值、G值、B值)用作颜色特征量，进行属于黑色区域的像素的识别。并且，通过对属于所识别的黑色区域的像素进行公知的标注处理，来提取暗部候选区域U(i)。

关于具体的处理顺序，首先按照构成管腔内图像I(x、y)的每个像素，将其R值、G值、B值分别与预先设定的规定阈值进行比较，判定R值、G值、B值的所有值是否是阈值以下。并且，将R值、G值、B值的所有值被判定为是阈值以下的像素作为属于黑色区域的像素，分配临时像素值“0”。另一方面，对在R值、G值、B值中具有哪怕1个大于阈值的值的像素分配临时像素值“1”。

然后，根据这样对管腔内图像I(x、y)的各像素分配的临时像素值进行标注处理，并提取暗部候选区域。标注处理与实施方式1同样地进行，将按照连结成分划分临时像素值是“0”的像素的各个像素组作为暗部候选区域。此时，一次判别部16b向各暗部区域分配系列号(1≤i≤Max_i)来作为用于识别各个区域的索引i，并作为暗部候选区域U(i)。

此外，在本例中，将各像素的颜色信息(R值、G值、B值)用作颜色特征量来提取暗部候选区域，不过也可以提取黑色区域，该方法不仅限于此。例如，可将各像素的R值、G值、B值映射在HSI颜色空间内，并将I值(亮度值)与预先设定的规定阈值进行比较。并且，在将I值被判定为是阈值以下的像素识别成属于黑色区域的像素之后，可同样进行标注处理来提取暗部候选区域。

接着，一次判别部16b判别在管腔内图像I(x、y)中是否存在暗部候选区域。作为步骤c3的处理结果，在没有提取出暗部候选区域的情况下，判别为不存在暗部候选区域(步骤c5：否)，结束本处理。作为步骤c3的处理结果，在提取出暗部候选区域的情况下，判别为存在暗部候选区域(步骤c5：是)，并转移至步骤c7。

并且，在步骤c7中，将作为处理对象的暗部候选区域的索引i设定为“1”。并且，梯度特征量计算部28b执行梯度特征量计算处理，并计算处理对象的暗部候选区域U(i)的梯度特征量(步骤c9)。

在实施方式2中，如上所述根据周围的像素值的变化向暗部区域方倾斜这样的暗部区域的特征，作为用于判别暗部候选区域U(i)是否是暗部区域的基准，计算梯度特征量。并且，根据该梯度特征量来识别表现为颜色相互类似的黑色区域的暗部区域和凝固血等的区域。

图12是表示梯度特征量计算处理的详细处理顺序的流程图。如图12所示，在梯度特征量计算处理中，梯度特征量计算部28b首先进行与图5的步骤b1同样的处理来检测处理对象的暗部候选区域U(i)的边界像素b(j)(步骤d1)。并且，梯度特征量计算部28b进行与图5的步骤b3同样的处理，并按照边界像素b(j)来计算相对于处理对象的暗部候选区域U(i)的边界的法线矢量n(j)(步骤d3)。

接着，梯度特征量计算部28b根据在步骤d3中针对各边界像素b(j)计算出的法线矢量n(j)，按照每个边界像素b(j)来设定存在于该法线方向上的像素(以下，称为“法线方向像素”)A(j)(步骤d5)。如实施方式1所说明的那样，分别在朝着处理对象的暗部候选区域U(i)外侧的方向上获得在步骤d3中计算出的法线矢量n(j)。这里，将该法线矢量n(j)的朝向即处理对象的暗部候选区域U(i)外侧相距规定距离的像素设定为法线方向像素A(j)。

实际上，在步骤d5中梯度特征量计算部28b根据下式(9)、(10)来设定法线方向像素A(j)。这里，在式子(9)、(10)中，A_x(j)表示法线方向像素A(j)的x座标，A_y(j)表示法线方向像素A(j)的y座标。另外，k₂是任意的常数。另外，A_x(j)和A_y(j)分别为整数，通过在计算时进行四舍五入来整数化。

A_x(j)＝b_x(j)+k₂·n_x(j)…(9)

A_y(j)＝b_y(j)+k₂·n_y(j)…(10)

接着，梯度方向计算部281b按照在步骤d5中针对各个边界像素b(j)设定的法线方向像素A(j)，来计算梯度方向矢量g(j)(步骤d7)。这里，所谓梯度方向矢量g(j)是以各法线方向像素A(j)为基点的矢量，是在法线方向像素A(j)周围指向像素值最小的像素的方向的矢量。

具体地说，梯度方向计算部281b首先按照构成以法线方向像素A(j)为中心的3×3像素范围的像素，根据下式(11)计算差分值d(x、y)。这里，在式子(11)中，x和y表示以法线方向像素A(j)为中心的3×3像素范围内的像素的座标。但是，A_x(j)≠x，A_y(j)≠y。

$d(x,y)=\frac{I_R(A_x\left(j\right),A_y\left(j\right))-I_R(x,y)}{\sqrt{{(A_x\left(j\right)-x)}^2+{(A_y\left(j\right)-y)}^2}}...\left(11\right)$

并且，从以该法线方向像素A(j)为中心的3×3像素范围内的像素中，选出差分值d(x、y)最大的像素。

然后，根据下式(12)、(13)，计算作为差分值d(x、y)最大而选出的像素的座标(mx_j、my_j)与法线方向像素A(j)的座标的差分，并作为梯度方向矢量g(j)。由此，获得法线方向像素A(j)周围的梯度方向。这里，在式子(12)、(13)中，g_x(j)表示梯度方向矢量g(j)的x分量，g_y(j)表示梯度方向矢量g(j)的y分量。按照每个法线方向像素A(j)来进行以上的处理，并针对各个法线方向像素A(j)计算梯度方向矢量g(j)。

g_x(j)＝mx_j-A_x(j)…(12)

g_y(j)＝my_j-A_y(j)…(13)

此外，在本例中，通过计算在8个方向上离散的梯度方向矢量g(j)来取得法线方向像素A(j)周围的梯度方向，但不仅限于此计算方法，只要能够取得法线方向像素A(j)周围的梯度方向即可。例如，可通过按照下式(14)、(15)计算连续的梯度方向矢量g(j)来取得法线方向像素A(j)周围的梯度方向。这里，在式子(14)、(15)中，Δ_xf(A_x(j)、A_y(j))表示针对法线方向像素A(j)沿着x方向应用了索贝尔滤波器的结果，Δ_yf(A_x(j)、A_y(j))表示沿着y方向应用了索贝尔滤波器的结果。根据如本变形例那样应用索贝尔滤波器计算连续的梯度方向矢量g(j)的方法，与如上所述计算在8个方向上离散的梯度方向矢量g(j)的情况相比，能够高精度地计算梯度方向矢量g(j)。

g_x(j)＝Δ_xf(A_x(j)，A_y(j))…(14)

g_y(j)＝Δ_yf(A_x(j)，A_y(j))…(15)

并且，集中度计算部282b根据针对各个边界像素b(j)计算出的法线矢量n(j)与梯度方向矢量g(j)，计算处理对象的暗部候选区域U(i)周围的梯度的集中度(步骤d9)。所谓梯度的集中度是表示梯度方向矢量g(j)以哪种程度朝向暗部候选区域U(i)的值。如上所述，在暗部区域的周围，具有在其整个区域内像素值的变化朝着暗部区域方倾斜(像素值朝着暗部区域变小)这样的特征。因此，如果处理对象的暗部候选区域U(i)是暗部区域，则与整体上对应的边界像素b(j)的法线矢量n(j)反向地获得按照边界像素b(j)计算出的梯度方向矢量g(j)。因此，这里按照每个边界像素b(j)来求出法线矢量n(j)与梯度方向矢量g(j)的内积，由此计算梯度的集中度。

实际上，在步骤d9中，集中度计算部282b根据下式(16)来计算梯度的集中度C。

$C=-\frac{1}{\mathrm{Nb}}\underset{j=1}{\overset{\mathrm{Nb}}{\mathrm{\Σ}}}\frac{n\left(j\right)\·g\left(j\right)}{\left|n\left(j\right)\right|\·\left|g\left(j\right)\right|}...\left(16\right)$

根据该式子(16)，获得梯度的集中度C为各个边界像素b(j)的法线矢量n(j)与梯度方向矢量g(j)的内积平均值乘以负号所得的值。因此，当全部边界像素b(j)的梯度方向矢量g(j)的朝向与对应的法线矢量n(j)的朝向正相反时、即全部边界像素b(j)的梯度方向矢量g(j)完全朝着处理对象的暗部候选区域U(i)方时，梯度的集中度C成为最大的值。

并且，如果计算出梯度的集中度C，则返回图11的步骤c9，然后转移至步骤c11。该梯度特征量计算处理的结果是，作为处理对象的暗部候选区域U(i)的梯度特征量，获得该处理对象的暗部候选区域U(i)周围的梯度的集中度C。此外，在本例中，将针对暗部候选区域U(i)的边界像素b(j)计算出的法线矢量n(j)与针对该边界像素b(j)的法线方向像素A(j)计算出的梯度方向矢量g(j)的内积作为集中度C算出，但计算方法不仅限于此。即，只要能够计算出暗部候选区域U(i)周围的梯度的集中度，也可以是利用其它计算方法获得的值。

并且，在图11的步骤c11中，梯度特征判别部29b根据作为步骤c9的梯度特征量计算处理结果的梯度特征量而计算出的梯度的集中度C，来判别处理对象的暗部候选区域U(i)是否是暗部区域。具体地说，梯度特征判别部29b在梯度的集中度C是预先设定的规定阈值以上时，将处理对象的暗部候选区域U(i)判别为暗部区域。

如果如以上那样结束处理对象的暗部候选区域U(i)是否是暗部区域的判别，则判定索引i是否小于Max_i。并且，如果小于Max_i(步骤c13：是)，则使索引i递增并进行更新(步骤c15)，对下一暗部候选区域U(i)进行步骤c9～步骤c13的处理。另一方面，在索引i不小于Max_i、且处理了全部暗部候选区域的情况下(步骤c13：否)，结束本处理。

如以上所说明的那样，在实施方式2中，首先根据作为第1特征量的颜色特征量从管腔内图像中提取暗部候选区域。并且，针对所提取的暗部候选区域分别计算梯度特征量作为与颜色特征量不同的第2特征量。具体地说，在暗部区域的周围，根据像素值变化向暗部区域方倾斜(像素值向暗部区域变小)这样的暗部区域特征，计算梯度的集中度来作为梯度特征量。并且，根据该梯度特征量来判别各暗部候选区域是否是暗部区域，以提取暗部区域。根据该实施方式2，能够将作为黑色区域提取的暗部候选区域中与暗部区域颜色类似的凝固血等的区域这样的暗部区域以外的区域除外来提取暗部区域。因此，起到了可适当判别作为不需要区域的一例的暗部区域、并高精度地提取暗部区域这样的效果。

针对以上这样提取暗部区域的管腔内图像，以与实施方式1中所说明的方式同样地实施提取异常部区域的处理等，并适当显示到显示部13上来提示医师等用户。此时，可将通过应用实施方式2而提取的暗部区域除外来确定应该关注的区域，并从该应该关注的区域中提取异常部区域，所以能够实现高精度的异常部检测。

实施方式3

接着，对实施方式3进行说明。图13是说明实施方式3的图像处理装置1c的功能结构的框图。此外，对与实施方式1所说明结构相同的结构标注同一符号。实施方式3的图像处理装置1c如图13所示，具备图像取得部11、输入部12、显示部13、记录部14c、运算部15c和控制图像处理装置1c整体动作的控制部19。该图像处理装置1c进行从管腔内图像中提取内容物区域作为不需要区域的处理。

记录部14c记录有用于从管腔内图像中检测内容物区域的图像处理程序141c。

另外，运算部15c包含一次判别部16c和二次判别部17c。一次判别部16c根据基于管腔内图像的颜色信息的第1特征量即颜色特征量，来判别作为不需要候选区域的一例的内容物候选区域。二次判别部17c根据与颜色特征量不同的第2特征量来判别内容物候选区域是否是内容物区域。该二次判别部17c具备饱和判别部38c和饱和区域判别部39c。饱和判别部38c采用属于内容物候选区域的像素的像素值来判别内容物候选区域是饱和区域还是非饱和区域。饱和区域判别部39c是判别已被判别为饱和区域的内容物候选区域是否是内容物区域的功能部，具备连续性判别部391c、判别结果取得部392c、纹理特征量计算部393c和纹理特征判别部394c。连续性判别部391c将与相邻区域的连续性用作第2特征量，并判别已判别为饱和区域的内容物候选区域与相邻区域的连续性。判别结果取得部392c取得连续性判别部391c的判别结果。纹理特征量计算部393c计算被判别为饱和区域的内容物候选区域的纹理特征量来作为第2特征量。纹理特征判别部394c根据纹理特征量来判别是否是不需要区域。

图14是示出实施方式3的图像处理装置1c进行的处理顺序的整体流程图。通过由运算部15c执行记录部14c所存储的图像处理程序141c来实现这里所说明的处理。

如图14所示，首先运算部15c取得处理对象的管腔内图像I(x、y)(步骤e1)。x和y表示管腔内图像中的各像素位置的座标。接着，一次判别部16c根据在步骤e1中取得的管腔内图像I(x、y)的颜色特征量，来提取管腔内图像I(x、y)内的内容物候选区域U(i)(步骤e3)。这里，内容物区域在管腔内图像中表现为黄色区域。因此，在实施方式3中，将管腔内图像的颜色信息(R值、G值、B值)用作颜色特征量，进行属于黄色区域的像素的识别。并且，通过针对属于已识别出的黄色区域的像素进行公知的标注处理，来提取内容物候选区域U(i)。

关于具体的处理顺序，首先按照构成管腔内图像I(x、y)的像素，根据其R值、G值、B值计算G/R值以及B/G值。接着，将所计算出的G/R值以及B/G值映射在G/R-B/G特征空间内。并且，将所映射的特征点座标在预先设定的规定范围内的像素作为属于黄色区域的像素来分配临时像素值“0”。另一方面，对所映射的特征点座标在前述规定范围外的像素分配临时像素值“1”。

然后，根据这样对管腔内图像I(x、y)的各像素所分配的临时像素值进行标注处理，并提取内容物候选区域。与实施方式1同样地进行标注处理，并将像素组分别作为内容物候选区域，该像素组是按照连结成分来划分临时像素值是“0”的像素。此时，一次判别部16c向各内容物区域分配系列号(1≤i≤Max_i)来作为用于识别各个区域的索引i，设为内容物候选区域U(i)。

此外，在本例中，将由各像素的颜色信息(R值、G值、B值)求出的G/R值、B/G值用作颜色特征量，并提取内容物候选区域，不过该方法不仅限于此，只要能够提取黄色区域即可。例如，可使各像素的R值、G值、B值映射在HSI颜色空间内，并判定H值(色相值)是否包含在预先设定的规定范围内。并且，在将规定范围内所包含的像素识别为属于黄色区域的像素之后，同样可进行标注处理来提取暗部候选区域。

接着，一次判别部16c判别在管腔内图像I(x、y)中是否存在内容物候选区域。并且，作为步骤e3的处理结果，在没有提取出内容物候选区域的情况下，判别为不存在内容物候选区域(步骤e5：否)，结束本处理。作为步骤e3的处理结果，在提取出内容物候选区域的情况下，判别为存在内容物候选区域(步骤e5：是)，并转移至步骤e7。

并且，在步骤e7中，将作为处理对象的内容物候选区域的索引i设定为“1”。并且，首先饱和判别部38c根据属于处理对象的内容物候选区域U(i)的像素的R值，来判别该处理对象的内容物候选区域U(i)是饱和区域还是非饱和区域(步骤e9)。

在体内的管腔内所拍摄的管腔内图像中，当比较R、G、B的各个值时通常R值为最大的值。因此，在管腔内由于调光变化等而变亮时，最初饱和的是R值。即，当R值成为某明亮度以上时，该值不再变化。并且，当R值这样饱和时，R、G、B各个值的平衡被破坏，与原来的颜色相比具有映出黄色的倾向。这样映出黄色的黄色粘膜的区域与内容物区域不同，在观察/诊断时可成为应该关注的区域。因此，首先在步骤e9中，判别处理对象的内容物候选区域U(i)是R值饱和的区域还是R值非饱和的区域。

具体地说，饱和判别部38c计算构成处理对象的内容物候选区域U(i)的各像素的R值的平均值，并将所计算出的R值平均值与预先设定的规定阈值进行比较，由此判定R值是否饱和。并且，在R值饱和的情况下、即R值的平均值是阈值以上的情况下，将处理对象的内容物候选区域U(i)判别为饱和区域，在R值没有饱和的情况下、即R值的平均值小于阈值的情况下，将处理对象的内容物候选区域U(i)判别为非饱和区域。

此外，在本例中，采用内容物候选区域U(i)的R值的平均值来判别是饱和区域还是非饱和区域，但对该方法没有特别地限定，只要能够判别饱和性即可。

并且，在步骤e9的结果是判别为处理对象的内容物候选区域U(i)不是饱和区域而是非饱和区域时(步骤e11：否)，将处理对象的内容物候选区域U(i)判别为内容物区域(步骤e13)，然后转移至后述的步骤e17。如果R值没有饱和，则不是在由于调光变化等而变亮的影响下映出黄色的区域，所以判别为内容物区域。

另一方面，当在步骤e9中将处理对象的内容物候选区域U(i)判别为饱和区域时(步骤e11：是)，饱和区域判别部39c接着进行饱和区域判别处理，并判别已被判别为饱和区域的处理对象的内容物候选区域U(i)是否是内容物区域(步骤e15)。

图15是示出饱和区域判别处理的详细处理顺序的流程图。如图15所示，在饱和区域判别处理中，饱和区域判别部39c首先进行与图5的步骤b1同样的处理来检测处理对象的内容物候选区域U(i)的边界像素b(j)(步骤f1)。并且，饱和区域判别部39c进行与图5的步骤b3同样的处理，并按照边界像素b(j)计算相对于处理对象的内容物候选区域U(i)的边界的法线矢量n(j)(步骤f3)。

接着，连续性判别部391c判定作为第2特征量之1的与相邻区域的连续性。所谓与相邻区域的连续性就是处理对象的内容物候选区域U(i)和与该处理对象的内容物候选区域U(i)相邻的区域(与处理对象的内容物候选区域U(i)隔着其边界相邻的区域；以下称为“相邻区域”。)的连续性。具体地说，连续性判别部391c首先根据下式(17)～(21)，针对每个边界像素b(j)计算边缘强度E(j)(步骤f5)。这里，在式子(17)～(21)中，I_G(x、y)表示用管腔内图像I(x、y)中的座标(x₁、y₁)以及(x₂、y₂)表示的像素位置的像素的G值。此外，这里虽然采用了G值，但只要采用饱和的R值以外的即可，例如可采用B值。另外，k₃是任意的常数。另外，x₁、x₂、y₁以及y₂全是整数，在计算时通过进行四舍五入来整数化。

E(j)＝I_G(x₁，y₁)-I_G(x₂，y₂)…(17)

其中，x₁＝b_x(j)+k₃·n_x(j)…(18)

y₁＝b_y(j)+k₃·n_y(j)…(19)

x₂＝b_x(j)-k₃·n_x(j)…(20)

y₂＝b_y(j)-k₃·n_y(j)…(21)。

接着，连续性判别部391c从针对各个边界像素b(j)所计算出的边缘强度E(j)中选出最小的值E_min(步骤f7)。并且，连续性判别部391c判定所选出的边缘强度E(j)的最小值E_min，在是预先设定的规定阈值以下时(步骤f9：是)，判别为在处理对象的内容物候选区域U(i)与相邻区域之间具有连续性，并转移至步骤f11。另一方面，如果大于阈值(步骤f9：否)，则判别为处理对象的内容物候选区域U(i)与相邻区域之间没有连续性，转移至步骤f13。

此外，在本例中，按照每个边界像素b(j)计算边缘强度E(j)，并根据其最小值E_min来判别与相邻区域的连续性，但对其方法没有特别地限定，只要能判别处理对象的内容物候选区域U(i)与相邻区域的连续性即可。

并且，在边缘强度E(j)的最小值E_min是规定阈值以下时转移的步骤f11中，判别结果取得部392c通过取得相邻区域是否是内容物区域的判别结果来判别处理对象的内容物候选区域U(i)是否是内容物区域，然后返回图14的步骤e15，转移至步骤e17。即，如果处理对象的内容物候选区域U(i)与相邻区域之间具有连续性，则将处理对象的内容物候选区域U(i)判别为与相邻区域同种类的区域。在本例内，在图14的步骤e3中，一次判别部16c将黄色区域判别为内容物候选区域U(i)，并将其以外的区域判别为不是内容物的区域。因此，将处理对象的内容物候选区域U(i)的相邻区域判别为不是内容物以外的区域，在步骤f11的处理中取得该判别结果，将处理对象的内容物候选区域U(i)判别为不是内容物区域。在此情况下，将处理对象的内容物候选区域U(i)判别为在由于调光变化等而变亮的影响下与周围区域相比映出黄色的黄色粘膜等的区域。

另一方面，在边缘强度E(j)的最小值E_min大于规定阈值时转移的步骤f13中，纹理特征量计算部393c将处理对象的内容物候选区域U(i)的纹理特征量作为第2个第2特征量计算。这里，作为被判别成在颜色与内容物区域类似的黄色粘膜等的区域中没有与相邻区域的连续性的情况，例如考虑了小肠内壁等褶状部位映出黄色的情况等。该褶状部位可捕捉为具有规则性的图案。与此相对，内容物区域不具有图案的规则性。因此，相对于这种在内容物区域的图案中没有规则性，在颜色与内容物区域类似的黄色粘膜等的区域中，着眼于存在如褶状部位映出黄色时等那样在图案中具有规则性这样的点。

即，在步骤f13中，作为用于判别内容物候选区域是否是内容物区域的基准，计算上述的纹理特征量。所谓纹理特征量就是例如使区域内的像素值的反复图案、方向性、对比度等数值化的值。并且，根据该纹理特征量，识别被表现为颜色相互类似的黄色区域的内容物区域和黄色粘膜等的区域。

具体地说，例如采用共生矩阵来计算熵值，并作为纹理特征量(参考：CG-ARTS协会，数字图像处理，195p)。这里，熵值是表示区域内的像素值的乱杂度的值，所以在处理对象的内容物候选区域U(i)是内容物区域的情况下，所计算的熵值变高。

并且，纹理特征判别部394c根据在步骤f13中计算出的纹理特征量，来判别处理对象的内容物候选区域U(i)是否是内容物区域(步骤f15)。具体地说，纹理特征判别部394c在纹理特征量是预先设定的规定阈值以上的情况下，将处理对象的内容物候选区域U(i)判别为内容物区域。然后，返回图14的步骤e15，然后转移至步骤e17。

此外，在本例中，作为纹理特征量计算熵值，但对其方法没有特别地限定，只要能够判定非饱和区域是内容物区域还是内容物区域以外的区域即可。例如，可计算属于处理对象的内容物候选区域U(i)的像素值的分散，并根据所获得的值来判别处理对象的内容物候选区域U(i)是否是内容物区域。

并且，在步骤e17中，判定索引i是否小于Max_i。如果小于Max_i(步骤e17：是)，则使索引i递增并进行更新(步骤e19)，针对下一暗部候选区域U(i)进行步骤e11～步骤e17的处理。另一方面，在索引i小于Max_i、且处理了全部暗部候选区域的情况下(步骤e17：否)，结束本处理。

如以上所说明的那样，在实施方式3中，首先根据作为第1特征量的颜色特征量从管腔内图像中提取出内容物候选区域。并且，判别所提取的内容物候选区域是饱和区域还是非饱和区域，针对已判别为饱和区域的内容物候选区域计算与颜色特征量不同的第2特征量。具体地说，作为第1个第2特征量采用与相邻区域的连续性，并针对已被判别为饱和区域的内容物候选区域判别与相邻区域之间的连续性。另外，作为第2个第2特征量计算纹理特征量。并且，根据内容物候选区域是饱和区域还是非饱和区域的判别结果或者与相邻区域的连续性及纹理特征量这样的第2特征量，判别内容物候选区域是否是内容物区域来提取内容物区域。根据该实施方式3，可将作为黄色区域提取出的内容物候选区域中颜色与内容物区域类似的黄色粘膜区域这样的内容物区域以外的区域除外来提取内容物区域。因此，起到了可适当判别作为不需要区域的一例的内容物区域、并高精度地提取内容物区域这样的效果。

与实施方式1所说明的方式同样地对以上这样提取了内容物区域的管腔内图像实施提取异常部区域的处理等，并适当显示到显示部13来提示医师等用户。此时，可将通过应用实施方式3而提取出的内容物区域除外来确定应该关注的区域，并从该应该关注的区域中提取异常部区域，所以能够实现高精度的异常部检测。

此外，在上述实施方式3中，针对已判别为饱和区域的内容物候选区域首先判别与相邻区域的连续性，在判别为具有连续性的情况下，将该内容物候选区域判别为不是内容物区域。另一方面，针对判别为没有连续性的内容物候选区域计算纹理特征量，并根据该纹理特征量来判别该内容物候选区域是否是内容物区域。与此相对，可采用仅将与相邻区域的连续性用作第2特征量并判别内容物候选区域是否是内容物区域的结构。另外，还可以采用仅将纹理特征量用作第2特征量、并判别内容物候选区域是否是内容物区域的结构。或者可采用首先进行采用了纹理特征量的判别、然后再进行采用了与相邻区域的连续性的判别的结构。

另外，通过在个人计算机及工作站等计算机系统中执行预先准备的程序来实现上述实施方式1的图像处理装置1、实施方式2的图像处理装置1b以及实施方式3的图像处理装置1c。以下，对具有与在各实施方式1～3中说明的图像处理装置1、1b、1c同样的功能的用于执行图像处理程序141、141b、141c的计算机系统进行说明。

图16是示出本变形例中的计算机系统400的结构的系统结构图，图17是示出构成该计算机系统400的主体部410的结构的框图。如图16所示，计算机系统400具备：主体部410；用于根据来自主体部410的指示在显示画面421上显示图像等信息的显示器420；用于对该计算机系统400输入各种信息的键盘430；以及用于指定显示器420的显示画面421上的任意位置的鼠标440。

另外，该计算机系统400中的主体部410如图16和图17所示，具备：CPU411、RAM412、ROM413、硬盘驱动器(HDD)414、接受CD-ROM460的CD-ROM驱动器415、可拆装地连接USB存储器470的USB端口416、显示器420、连接键盘430和鼠标440的I/O接口417、以及用于与局域网或广域网(LAN/WAN)N1连接的LAN接口418。

此外，该计算机系统400连接有用于与互联网等公共线路N3连接的调制解调器450，并且经由LAN接口418以及局域网或广域网N1与作为其它计算机系统的个人计算机(PC)481、服务器482、打印机483等连接。

并且，该计算机系统400通过读出并执行在规定的记录介质内记录的图像处理程序(例如实施方式1的图像处理程序141、实施方式2的图像处理程序141b或实施方式3的图像处理程序141c)来实现图像处理装置(例如实施方式1的图像处理装置1、实施方式2的图像处理装置1b或实施方式3的图像处理装置1c)。这里，所谓规定的记录介质除了CD-ROM460和USB存储器470之外，还包括：包含MO盘、DVD盘、软盘(FD)、光磁盘、IC卡等在内的“可移动用物理介质”；配备在计算机系统400内外的HDD414、RAM412及ROM413等“固定用物理介质”；如经由调制解调器450连接的公共线路N3和连接作为其它计算机系统的PC481及服务器482的局域网或广域网N1等那样、在程序发送时短期存储程序的“通信介质”等记录可由计算机系统400读取的图像处理程序的所有记录介质。

即，在“可移动用物理介质”、“固定用物理介质”、“通信介质”等记录介质中计算机可读取地记录有图像处理程序，计算机系统400通过从这样的记录介质中读出并执行图像处理程序来实现图像处理装置。此外，图像处理程序不仅限于由计算机系统400来执行，即使在作为其它计算机系统的PC481及服务器482执行图像处理程序、或者它们协作地执行图像处理程序的情况下，也能够同样地应用本发明。

另外，本发明不直接限定为上述各实施方式1～3以及其变形例，可通过适当组合各实施方式及变形例所公开的多个结构要素，来形成各种发明。例如，可从各实施方式及变形例所示的全部结构要素中去除几个结构要素来形成。或者，可适当组合不同实施方式或变形例所示的结构要素来形成。

根据以上所说明的本发明，起到了能够适当判定是否是不需要区域、并从管腔内图像中高精度地提取不需要区域这样的效果。

Claims (15)

1.一种图像处理装置，其从管腔内图像中提取不需要区域，

该图像处理装置具备：

一次判别部，其根据上述管腔内图像的颜色特征量来判别不需要候选区域；以及

二次判别部，其根据上述不需要候选区域的与颜色特征量不同的第2特征量，来判别上述不需要候选区域是否是不需要区域。

2.根据权利要求1所述的图像处理装置，其中，

上述第2特征量是根据上述不需要候选区域的边界附近的像素值的变化而计算的值。

3.根据权利要求1所述的图像处理装置，其中，

上述二次判别部具备：

边界特征量计算部，其计算包含上述不需要候选区域的边界的内侧区域和外侧区域在内的区域的边界特征量，作为上述第2特征量；以及

边界特征判别部，其根据上述边界特征量来判别上述不需要候选区域是否是不需要区域。

4.根据权利要求3所述的图像处理装置，其中，

上述边界特征量计算部具有边缘强度计算部，该边缘强度计算部计算上述不需要候选区域的边界的边缘强度，作为上述边界特征量。

5.根据权利要求4所述的图像处理装置，其中，

上述边缘强度计算部在上述不需要候选区域的边界上的多个部位计算上述边缘强度。

6.根据权利要求3所述的图像处理装置，其中，

上述边界特征量计算部具有曲率计算部，该曲率计算部计算沿着上述不需要候选区域的边界的法线方向的像素值变化曲线的曲率，作为上述边界特征量。

7.根据权利要求6所述的图像处理装置，其中，

上述曲率计算部在上述不需要候选区域的边界上的多个部位计算上述曲率。

8.根据权利要求1所述的图像处理装置，其中，

上述二次判别部具备：

梯度特征量计算部，其计算上述不需要候选区域的周围区域的梯度特征量，作为上述第2特征量；以及

梯度特征判别部，其根据上述梯度特征量来判别上述不需要候选区域是否是不需要区域。

9.根据权利要求8所述的图像处理装置，其中，

上述梯度特征量计算部具备：

梯度方向计算部，其计算上述不需要候选区域周围的梯度方向；以及

集中度计算部，其计算集中度，作为上述第2特征量，该集中度是表示上述梯度方向以何种程度朝向上述不需要候选区域的值。

10.根据权利要求1所述的图像处理装置，其中，

上述二次判别部具备：

饱和判别部，其根据上述不需要候选区域内的像素的像素值大小，来判别上述不需要候选区域是饱和区域还是非饱和区域；以及

饱和区域判别部，其针对由上述饱和判别部判别为是饱和区域的上述不需要候选区域，根据上述第2特征量来判别是否是不需要区域。

11.根据权利要求10所述的图像处理装置，其中，

上述饱和判别部在属于上述不需要候选区域的像素的规定色成分的值是规定阈值以上时，将上述不需要候选区域判别为是上述饱和区域。

12.根据权利要求10所述的图像处理装置，其中，

上述饱和区域判别部具备：

纹理特征量计算部，其计算被判别为是上述饱和区域的上述不需要候选区域的纹理特征量，作为第2特征量；以及

纹理特征判别部，其根据上述纹理特征量来判别上述不需要候选区域是否是不需要区域。

13.根据权利要求10所述的图像处理装置，其中，

上述饱和区域判别部具备：

连续性判别部，其针对被判别为是上述饱和区域的上述不需要候选区域，判别该不需要候选区域与相邻区域的连续性，作为上述第2特征量；以及

判别结果取得部，其在上述连续性判别部判别为具有连续性的情况下，通过取得上述相邻区域的判别结果来判别上述不需要候选区域是否是不需要区域。

14.根据权利要求13所述的图像处理装置，其中，

上述饱和区域判别部具备：

纹理特征量计算部，其在上述连续性判别部判别为没有连续性时，计算被判别为是上述饱和区域的上述不需要候选区域的纹理特征量，作为第2特征量；以及

纹理特征判别部，其根据上述纹理特征量来判别上述不需要候选区域是否是不需要区域。

15.一种图像处理方法，从管腔内图像中提取不需要区域，

该图像处理方法包含以下步骤：

根据上述管腔内图像的颜色特征量来判别不需要候选区域；以及

根据上述不需要候选区域的与颜色特征量不同的第2特征量来判别上述不需要候选区域是否是不需要区域。