CN103945755A - 图像处理装置、图像处理方法和图像处理程序 - Google Patents

Abstract

本发明提供图像处理装置、图像处理方法和图像处理程序，能够在管腔内图像中区分异常部和血管，适当地检测异常部。图像处理装置(1)具有：异常候选区域检测部(110)，其从对被检体的管腔内进行摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测部(120)，其从管腔内图像中检测管状区域；连结性判定部(130)，其判定异常候选区域与管状区域是否在与管状区域类似的颜色的区域连结起来；以及异常判定部(140)，其根据连结性判定部(130)的判定结果，判定异常候选区域是否为异常部。

Description

图像处理装置、图像处理方法和图像处理程序

技术领域

本发明涉及从对被检体的体内摄像得到的图像中检测异常部的图像处理装置、图像处理方法和图像处理程序。

背景技术

以往，作为被导入患者等被检体内并以非侵入的方式对活体内进行观察的医用观察装置，内窥镜得以广泛普及。近年来，开发出了如下的吞咽式内窥镜(胶囊内窥镜)，其在胶囊型的壳体内部收容摄像装置和通信装置等，将通过摄像装置进行摄像取得的图像数据无线发送到体外。

然而，在对通过这些医用观察装置对活体的管腔内摄像得到的图像(管腔内图像)进行观察和诊断时，需要较多的经验。因此，希望具备辅助医师的诊断的医疗诊断支援功能。

作为实现这种功能的图像识别技术之一，提出了通过从图像中自动检测异常部，从而重点提示应该诊断的图像的技术。例如，在专利文献1公开了如下方法，从断层像内的肺野区域提取出异常阴影的候选和血管阴影，将异常阴影的候选与血管阴影重叠的部分从该异常阴影的候选中删除，从而适当地检测异常部。

现有技术文献

专利文献

专利文献1：日本特开2002-291733号公报

发明内容

发明要解决的问题

然而，在管腔内图像中，在异常部的候选区域中血管密集的情况下，候选区域周边的外形有时不为管状。这种情况下，在专利文献1公开的方法中，血管未被检测为血管，结果可能导致无法适当地检测异常部。

本发明就是鉴于上述情况而完成的，其目的在于提供图像处理装置、图像处理方法和图像处理程序，能够在管腔内图像中区分异常部和血管，并适当地检测异常部。

用于解决问题的手段

为了解决上述课题并达成目的，本发明的图像处理装置的特征在于，其具有：异常候选区域检测单元，其从对被检体的管腔内摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测单元，其从所述管腔内图像中检测管状区域；连结性判定单元，其判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及异常判定单元，其根据所述连结性判定单元的判定结果，判定所述异常候选区域是否为所述异常部。

本发明的图像处理方法的特征在于，其具有：异常候选区域检测步骤，从对被检体的管腔内摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测步骤，从所述管腔内图像中检测管状区域；连结性判定步骤，判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及异常判定步骤，根据所述连结性判定步骤的判定结果，判定所述异常候选区域是否为所述异常部。

本发明的图像处理程序的特征在于，其使计算机执行如下步骤：异常候选区域检测步骤，从对被检体的管腔内摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测步骤，从所述管腔内图像中检测管状区域；连结性判定步骤，判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及异常判定步骤，根据所述连结性判定步骤的判定结果，判定所述异常候选区域是否为所述异常部。

发明的效果

根据本发明，对于从管腔内图像中检测到的异常候选区域，判定该异常候选区域是否通过与管状区域类似的颜色的区域被连结，根据该判定结果，判定该异常候选区域是否为异常部，因此能够区分异常部与血管，适当地检测异常部。

附图说明

图1是表示本发明第1实施方式的图像处理装置的结构的框图。

图2是表示图1所示的图像处理装置的动作的流程图。

图3是表示作为图1所示的图像处理装置的处理对象的图像的一例的示意图。

图4是表示图1所示的管状区域检测部的详细动作的流程图。

图5是表示图1所示的连续性判别部的动作的流程图。

图6A是用于说明图1所示的连续性判别部执行的处理的图。

图6B是用于说明图1所示的连续性判别部执行的处理的图。

图6C是用于说明图1所示的连续性判别部执行的处理的图。

图7是表示图1所示的连结性判定部的动作的流程图。

图8A是用于说明图1所示的连结性判定部执行的处理的图。

图8B是用于说明图1所示的连结性判定部执行的处理的图。

图8C是用于说明图1所示的连结性判定部执行的处理的图。

图9是表示第1实施方式的变形例的连结性判定部的结构的框图。

图10是表示图9所示的连结性判定部的动作的流程图。

图11是用于说明图9所示的连结性判定部执行的处理的示意图。

图12是表示第2实施方式的图像处理装置的结构的框图。

图13是表示图12所示的连结性判定部的动作的流程图。

具体实施方式

以下，参照附图说明本发明的实施方式的图像处理装置、图像处理方法和图像处理程序。另外，本发明不限于这些实施方式。此外，在各附图的记载中，对相同部分赋予同样的符号进行表示。

在以下的实施方式中，作为一例，说明以下图像处理：从通过胶囊内窥镜等医用观察装置对被检体的管腔内摄像而取得的管腔内图像(以下简称为图像)中区分异常部与血管区域，检测异常部。另外，在以下的实施方式中，作为图像处理的对象的管腔内图像是在各像素位置中具备对于R(红)、G(绿)、B(蓝)的各颜色成分(波长成分)的像素级(Pixel level)(像素值)的彩色图像。

(第1实施方式)

图1是表示本发明第1实施方式的图像处理装置的结构的框图。图1所示的图像处理装置1具有控制图像处理装置1的整体动作的控制部10、取得与通过胶囊内窥镜等医用观察装置摄像得到的图像对应的图像数据的图像取得部20、受理从外部输入的输入信号的输入部30、进行各种显示的显示部40、储存由图像取得部20取得的图像数据和各种程序的记录部50、对图像数据执行规定的图像处理的运算部100。

控制部10是通过CPU等硬件实现的，通过读入在记录部50中存储的各种程序，按照从图像取得部20输入的图像数据和从输入部30输入的操作信号等，进行向构成图像处理装置1的各部的指示和数据的转送等，总括地控制图像处理装置1整体的动作。

根据包含医用观察装置的系统的方式适当构成图像取得部20。例如，在医用观察装置为胶囊内窥镜，并且使用移动式记录介质用于与医用观察装置之间的图像数据的交换的情况下，图像取得部20由以拆装自由的方式安装该记录媒体并读出所保存的管腔内图像的图像数据的读出装置构成。此外，在设置了预先保存由医用观察装置摄像得到的管腔内图像的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，与服务器进行数据通信并取得管腔内图像的图像数据。或者，还可以由从内窥镜等医用观察装置经由缆线输入图像信号的接口装置等构成图像取得部20。

输入部30例如由键盘和鼠标、触摸面板、各种开关等输入设备实现，将所受理的输入信号输出到控制部10。

显示部40由LCD或EL显示器等显示装置实现，在控制部10的控制之下，显示包含管腔内图像的各种画面。

记录部50由能够更新记录的闪存等ROM或RAM等各种IC存储器、内置或通过数据通信端子连接的硬盘或者CD-ROM等信息记录装置及其读取装置等实现。记录部50除了记录由图像取得部20取得的管腔内图像的图像数据之外，还记录用于使图像处理装置1进行工作并使图像处理装置1执行各种功能的程序、在该程序的执行中使用的数据等。具体而言，记录部50记录用于使该图像处理装置1执行从管腔内图像中检测异常部的图像处理的图像处理程序51。

运算部100通过CPU等硬件实现，通过读入图像处理程序51对与管腔内图像对应的图像数据实施图像处理，进行用于从管腔内图像中检测异常部的各种运算处理。

接着，说明运算部100的详细结构。

如图1所示，运算部100具有从图像中检测作为异常部的候选的异常候选区域的异常候选区域检测部110、从图像中检测管状区域的管状区域检测部120、判定异常候选区域与管状区域是否通过与管状区域类似的颜色的区域连结起来的连结性判定部130、根据该连结性判定部130的判定结果，判定从图像中检测出的异常候选区域是否为异常部的异常判定部140。这里，在本申请中，与管状区域类似的颜色的区域是具有管状区域的颜色特征量附近的颜色特征量的区域，更具体是指，规定的波长成分(例如，R成分)、规定的波长成分的变化量(边缘强度)、规定的颜色特征量(例如G/R值)或规定的颜色特征量的变化量(微分值)这样的值处于从管状区域的对应的值起的规定的范围内的区域。

其中，管状区域检测部120具有：管状候选区域检测部121，其根据图像内的各像素的颜色特征量来检测管状区域的候选即管状候选区域；外形判别部122，其根据管状候选区域的外形，判别该管状候选区域是否为管状区域；连续性判别部123，其根据管状候选区域的周围区域的像素值的连续性，判别该管状候选区域是否为管状区域。更具体地讲，外形判别部122具有用于计算管状候选区域的面积的面积计算部122a、用于计算管状候选区域的周长的周长计算部122b。此外，连续性判别部123包括：垂直方向计算部123a，其计算图像的面内的相对于管状候选区域的长度方向的垂直方向；近似函数计算部123b，其计算在该垂直方向上对管状候选区域的两侧的像素值变化分别进行近似的近似函数；差分计算部123c，其计算垂直方向上的同一坐标的近似函数的值的差分。

连结性判定部130具有：计算异常候选区域与管状区域之间的区域的特征量(以下称之为区域间特征量)的区域间特征量计算部131、根据区域间特征量来判别异常候选区域与管状区域之间的连结性的区域间特征量判别部132。更具体而言，区域间特征量计算部131包含：用于计算在异常候选区域与管状区域之间进行插值的插值线的插值线计算部131a、用于计算插值线上的特征量的线上特征量计算部131b。其中，线上特征量计算部131b包含最大边缘强度计算部131b-1、最大颜色边缘强度计算部131b-2、平均颜色特征量计算部131b-3。最大边缘强度计算部131b-1计算插值线上的边缘强度、即在插值线上相邻的像素间或规定间隔的像素间的像素值变化(微分值)的最大值。最大颜色边缘强度计算部131b-2计算插值线上的颜色边缘强度、即在插值线上相邻的像素间或规定间隔的像素间的颜色特征量的变化(微分值)的最大值。平均颜色特征量计算部131b-3计算插值线上的颜色特征量的平均值。

接着，说明图像处理装置1的动作。图2是表示图像处理装置1的动作的流程图。此外，图3是表示作为图像处理装置1的处理对象的图像的一例的示意图。如图3所示，在图像M1中可观察到粘膜Mem、状态与周围的粘膜不同的区域A1、呈管状细长延伸的区域B1～B4。

首先，在步骤S10中，图像取得部20取得被检体的管腔内图像并将其储存于记录部50。运算部100从记录部50中依次读入作为处理对象的图像(例如，图像M1)。

在步骤S11中，异常候选区域检测部110从图像中检测异常候选区域。作为异常候选区域的检测方法，可使用已知的各种方法。例如，将图像内的各像素的像素值映射到基于各像素的颜色信息的特征空间中，在特征空间内进行聚类(Clustering)后，根据各集群(Cluster)的位置和平均值(即重心坐标)等信息确定正常粘膜集群和异常部集群，从而能够检测异常部的候选区域(例如参照日本特开2005-192880号公报)。

在接下来的步骤S12中，管状区域检测部120从图像中检测血管候选区域之后，根据血管候选区域的形状和血管候选区域周围的像素值变化的连续性，判别该血管候选区域是否为血管区域，从而检测血管区域。作为血管候选区域的检测方法，可使用已知的各种方法。在本第1实施方式中，通过以下说明的方法检测血管候选区域。图4是表示步骤S12中管状区域检测部120的详细动作的流程图。

首先，在步骤S120中，管状候选区域检测部121从图像中检测血管候选区域。具体而言，执行使用血管模型的模板的模板匹配，提取基于匹配结果的结构成分(例如参照日本特开2004-181096号公报)。

在接下来的步骤S121中，管状候选区域检测部121对检测到的血管候选区域进行标记(Labeling)处理。然后，对各血管候选区域进行判别该血管候选区域是否为血管区域的循环B的处理。

即，在步骤S122中，外形判别部122使面积计算部122a计算血管候选区域的面积A，并且使周长计算部122b计算血管候选区域的周长L。然后，在步骤S123中，外形判别部122计算面积A与周长L的比率L/A，判别该比率L/A是否在规定的阈值以上。

另外，步骤S123中的处理相当于判别血管候选区域的外形是否为管状的处理，是用于去除发红等并非管状的区域而执行的。因此，只要是能够判别外形是否为管状的方法即可，也可以使用除此之外的方法。例如，也可以是，将用下式(1)和(2)计算出的值L1、L2(L1＞L2)的比率L1/L2与规定的阈值比较，从而判别该血管候选区域的外形是否为管状。

L1×L2＝A…(1)

2(L1+L2)＝L…(2)

在步骤S123中判定的结果为判定为比率L/A小于阈值的情况下(步骤S123：否)，外形判别部122判别为该血管候选区域并非血管区域(步骤S124)。

另一方面，在判定为比率L/A为阈值以上的情况下(步骤S123：是)，连续性判别部123进而计算表示该血管候选区域的周围的像素值的连续性的值(步骤S125)。更具体地讲，计算表示隔着血管候选区域的两侧的粘膜区域的像素值是否连续变化的值。图5是表示步骤S125中连续性判别部123的详细动作的流程图。此外，图6A～图6C是用于说明连续性判别部123执行的处理的图。其中，图6A对应于图3所示的图像M1的一部分。

在步骤s01中，垂直方向计算部123a计算在图像的面内与血管候选区域的长度方向垂直的方向。这里，例如可以在血管候选区域上的各像素中计算海赛(Hessian)矩阵的第2固有矢量的方向，作为垂直方向。海赛矩阵是使用位置坐标(x、y)处的像素的像素值I并根据下式(3)而提供的矩阵。

[式1]

$\left(\begin{array}{cc}\frac{{\∂}^{2}I}{{\∂x}^2}& \frac{{\∂}^{2}I}{\∂x\∂y}\\ \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{{\∂y}^2}\end{array}\right)...\left(3\right)$

另外，在本第1实施方式中，使用各像素的R值作为像素值I。由此，例如在图6A的情况下，针对血管候选区域B1、B2的长度方向dir1、dir2分别计算垂直方向x1、x2。

在步骤s02中，近似函数计算部123b计算表示在与血管候选区域的长度方向垂直的方向上，对该血管候选区域的两侧的像素值的变动进行近似的曲线的函数。例如，如图6A所示的血管候选区域B1的情况下，如图6B所示，对于垂直方向x1上的像素值分布Pr1，计算对血管候选区域B1的两侧的区域C1、C2的像素值分布Pr1分别进行近似的近似曲线的函数f₁₁(x1)、f₁₂(x1)。此外，如图6A所示的血管候选区域B2的情况下，如图6C所示，对于垂直方向x2上的像素值分布Pr2，计算对血管候选区域B2的两侧的区域C3、C4的像素值分布Pr2分别进行近似的近似曲线的函数f₂₁(x2)、f₂₂(x2)。

在步骤s03中，差分计算部123c将垂直方向上的多处坐标代入血管候选区域的两侧的2个近似曲线的函数，分别计算两个近似曲线的差分值。然后，将这些差分值合计，用该合计值除以计算了差分值的坐标数，从而进行归一化。例如，在血管候选区域B1的情况下，计算区域C1内的x1轴上的各像素的差分值d1＝f₁₁(x1)-f₁₂(x1)，用这些差分值d1的合计值除以区域C1内的x1轴上的像素数。对于区域C2也进行同样处理。此外，在血管候选区域B2的情况下，在各区域C3、C4中计算x2轴上的各像素的差分值d2＝f₂₁(x2)-f₂₂(x2)，用这些差分值d2的合计值除以x2轴上的像素数。通过进行这样的归一化，能够获得不依赖于各区域的坐标数(像素数)的差分值。此后，运算部100的动作返回主程序。

在步骤S126中，连续性判别部123将这样计算出的差分值与规定的阈值比较，从而判断各血管候选区域的周围的连续性。具体地，在差分值为规定的阈值以下的情况下(例如图6B所示，差分值d1较小的情况下)，判断为隔着血管候选区域的两侧的区域存在连续性。另一方面，在差分值大于规定的阈值的情况下(例如图6C所示，差分值d2较大的情况下)，判断为隔着血管候选区域的两侧的区域不存在连续性。

在判别为血管候选区域的周围存在连续性的情况下(步骤S126：是)，管状区域检测部120判断为该管状候选区域是血管区域(步骤S127)。另一方面，在判别为血管候选区域的周围不存在连续性的情况下(步骤S126：否)，管状区域检测部120判断为该管状候选区域并非血管区域(步骤S124)。

由此，能够将由于血管那样的吸光特性的差异而产生凹陷的像素值分布的血管候选区域(例如，具有像素值分布Pr1的血管候选区域B1)包含于血管区域，并将由于存在于粘膜间的槽(溝)等的结构而产生的像素值分布的血管候选区域(例如，具有像素值分布Pr2的血管候选区域B2)从血管区域中去除。此后，运算部100的动作返回主程序。

在步骤S12之后，运算部100对各异常候选区域执行循环A的处理。

首先，在步骤S13中，连结性判定部130根据在步骤S11检测出的异常候选区域和在步骤S12中检测出的血管区域的坐标值，判定两者是否重合(即是否像素位置的至少一部分重复)。在两者的像素位置重复的情况下(步骤S13：是)，异常判定部140判定为该异常候选区域是血管(步骤S14)。

另一方面，在两者的像素位置不重复的情况下(步骤S13：否)，在接下来的步骤S15中，连结性判定部130判定异常候选区域与血管区域之间有无连结性。即，根据异常候选区域与血管区域之间的区域的特征量(区域间特征量)，判别两区域之间是否通过与血管区域类似的颜色的区域连结起来。图7是表示步骤S15中的连结性判定部130的详细动作的流程图。此外，图8A～图8C是用于说明连结性判定部130执行的处理的图。其中，图8A与图3所示图像M1的一部分对应。

首先，连结性判定部130对各血管区域执行循环C的处理。即，在步骤S150中，插值线计算部131a使血管区域细线化，并检测端点(参考：CG-ARTS协会、《ディジタル画像処理》、第185～189页)。例如，在图8A的情况下，检测到使血管区域B3细线化后的线NL的端点EP。

在接下来的步骤S151中，插值线计算部131a计算连接异常候选区域与端点的插值线。在图8A中，计算将端点EP与异常候选区域A1连接的插值线IL。另外，图8A中举例示出了直线的插值线，然而只要能够对异常候选区域与血管区域之间的区域插值即可，也可以是通过其他方法计算出的直线或曲线。例如，也可以是，在从端点EP沿着线NL对某几个点从血管区域起按顺序取样后，连接各点与异常候选区域的重心，引出样条曲线等。

在步骤S152中，线上特征量计算部131b计算最大边缘强度、最大颜色边缘强度和平均颜色特征量，作为插值线上的特征量(线上特征量)。具体地，计算插值线上的R值的微分值的最大值作为最大边缘强度，计算G/R值的微分值的最大值作为最大颜色边缘强度，计算G/R值的平均值作为平均颜色特征量。

在步骤S153中，区域间特征量判别部132判别上述3个线上特征量是否满足以下所示3个条件。

条件1：最大边缘强度为规定的阈值以下。

条件2：最大颜色边缘强度为规定的阈值以下。

条件3：平均颜色特征量与血管区域的平均颜色特征量的差分为规定的阈值以下。

这里，异常候选区域与血管区域之间存在连结性的状态是指，在两区域之间不存在槽等结构性的中断，并且两区域之间以与血管区域类似的颜色连接起来而不存在急剧的颜色变化的状态。在该情况下，如图8B所示，连接两区域的插值线上的像素值(R值)分布平缓地变化(相当于上述条件1)。此外，如图8C所示，插值线上的颜色特征量(G/R值)分布在血管区域的颜色特征量附近(相当于上述条件3)平缓地变化(相当于上述条件2)。因此，通过将插值线上的特征量与上述条件1～3进行对照，能够判别异常候选区域与血管区域的连结性。

在线上特征量全部满足上述条件1～3的情况下(步骤S153：是)，连结性判定部130跳出循环C，判别为该异常候选区域具有与血管区域的连结性(步骤S154)。另一方面，在线上特征量不满足上述条件1～3内的至少任意一个的情况下(步骤S153：否)，连结性判定部130将其他血管区域作为判别对象并重复循环C的处理。然后，在完成了对所有的血管区域的处理后，也未能检测到满足全部上述条件1～3的血管区域的情况下，连结性判定部130判别为该异常候选区域不具有与血管区域的连结性(步骤S155)。此后，运算部100的动作返回主程序。

在步骤S15之后的步骤S16中，异常判定部140根据连结性判定部130的判定结果，进行异常候选区域的判别。即，在判定为异常候选区域与血管区域之间具有的连结性的情况下(步骤S16：是)，异常判定部140判别为该异常候选区域是血管(血管密集的区域)而并非异常部(步骤S14)。另一方面，在判定为异常候选区域与血管区域之间不具有连结性的情况下(步骤S16：否)，异常判定部140判别为该异常候选区域是异常部(步骤S17)。

在对步骤S11中检测出的所有异常候选区域执行了这样的判别处理后，运算部100跳出循环A，输出异常部的判别结果(步骤S18)。据此，控制部10将异常部的判别结果记录于记录部50。此时，控制部10也可以将异常部的判别结果显示于显示部40等。此后，图像处理装置1的处理结束。

如上所述，根据第1实施方式，对从图像内检测到的异常候选区域判断其与具有管状的血管区域之间的连结性，从而判别该异常候选区域是否为异常部，因此能够区分异常部与血管，适当地检测异常部。

另外，在第1实施方式中，在检测血管区域时，在对从图像中检测到的血管候选区域进行了基于外形的判别的基础上，判别血管候选区域的周围的连续性，但是，也可以通过对血管候选区域直接判别其周围的连续性，来判别该血管候选区域是否为血管区域。

(变形例)

接着，说明第1实施方式的变形例。

本变形例的图像处理装置具有图9所示的连结性判定部150，以代替图1所示的连结性判定部130。另外，连结性判定部150以外的图像处理装置的各部分的结构与图1所示的结构相同。

如图9所示，连结性判定部150除了具有区域间特征量计算部131和区域间特征量判别部132之外，还具有判定异常候选区域是否存在于从血管区域的长度方向进一步延伸的方向(以下简称为血管区域的延长方向)上的存在方向判定部151，其特征在于，根据异常候选区域与血管区域的相对位置关系，判别异常候选区域与血管区域的连结性。

更具体地，存在方向判定部151具有：近似函数计算部151a，其计算对血管区域的形状进行近似的函数(近似函数)；附近区域检测部151b，其从图像内检测与近似函数相距规定的距离的范围内的附近区域；附近区域内存在判定部151c，其判定附近区域内是否存在异常候选区域。

这里，在粘膜下多个血管交叉的区域的外形并非管状，因此有时会被检测为异常候选区域。可以认为这种异常候选区域存在于血管区域的延长方向上。于是，在本变形例中，在判定异常候选区域与血管区域的连结性时(图2的步骤S15)，判别异常候选区域是否存在于血管区域的延长方向上，仅在异常候选区域存在于该延长方向上的情况下，进行使用插值线上的特征量的连结性判定。

图10是表示本变形例的连结性判定部150的动作的流程图。此外，图11是用于说明连结性判定部150执行的处理的示意图，与图3所示图像M1的一部分对应。

连结性判定部150首先对从管腔内图像检测到的各血管区域执行循环D的处理。即，在步骤S190中，近似函数计算部151a计算对血管区域的长度方向的形状进行近似的位置坐标的函数(近似函数)。作为近似函数的计算方法，例如，可以使用图像内的各像素的位置坐标(x、y)，通过最小二乘法计算在下式(4)中提供的2次函数的系数。

y＝ax²+bx+c…(4)

例如，在图11的情况下，计算对血管区域B3的长度方向的形状进行近似的函数f3和对血管区域B4的长度方向的形状进行近似的函数f4。

在接下来的步骤S191中，附近区域检测部151b在管腔内图像中检测与该近似函数相距一定的距离范围的区域作为附近区域。例如，生成将图像内的各像素的像素值转换为与近似函数上的像素位置之间的距离的距离图像，在该距离图像中提取具有规定的阈值以下的像素值的区域(即阈值以下的距离的区域)，从而能够检测附近区域。例如，在图11的情况下，检测到函数f3的附近区域R3和函数f4的附近区域R4。

在步骤S192中，附近区域内存在判定部151c判定附近区域内是否存在异常候选区域、即血管区域的延长方向上是否存在异常候选区域。例如，在图11的情况下，异常候选区域A1的一部分重叠于附近区域R3，因而判定为在血管区域R3的延长方向上存在异常候选区域。另一方面，附近区域R4不存在异常候选区域，因而判定为血管区域B4的延长方向上不存在异常候选区域。

在血管区域的延长方向上不存在异常候选区域的情况下(步骤S192：否)，连结性判定部150的动作转移到对下一个血管区域的处理。另一方面，在血管区域的延长方向上存在异常候选区域的情况下(步骤S192：是)，连结性判定部150的动作转移到步骤S193。另外，图10所示的步骤S193～S198对应于图7所示的步骤S150～S155。

如上所述，根据本变形例，仅在血管区域的延长方向存在异常候选区域的情况下，进行该异常候选区域与血管区域的连结性判定，因此能够降低连结性判定的运算量。

(第2实施方式)

接着，说明本发明的第2实施方式。

图12是表示第2实施方式的图像处理装置的结构的框图。如图12所示，第2实施方式的图像处理装置2具有运算部200以代替图1所示的运算部100。

运算部200具有连结性判定部210以代替图1所示的连结性判定部130。更具体地，连结性判定部210具有从图像中检测与管状区域类似的颜色的区域即类似颜色区域的类似颜色区域检测部211、判定异常候选区域和管状区域的像素位置相对于类似颜色区域的重复(即重合)的重复判定部212。其中，类似颜色区域检测部211具有计算管状区域的颜色特征量的平均值的平均值计算部211a、根据颜色特征量的平均值设定阈值的阈值设定部211b、根据阈值设定部211b设定的阈值对图像进行阈值处理的阈值处理部211c。另外，连结性判定部210以外的图像处理装置2的各部分的结构与图1所示的结构相同。

接着，说明图像处理装置2的动作。图像处理装置2整体的动作与图2所示的内容相同，其与第1实施方式的不同之处在于，由连结性判定部210执行的判定异常候选区域与血管区域的连结性的处理(步骤S15)的详细情况。

图13是表示连结性判定部210的详细动作的流程图。连结性判定部210对在步骤S12(参照图2)中检测到的各血管区域执行循环E的处理。

首先，在步骤S200中，平均值计算部211a计算血管区域的颜色特征量的平均值。由于在第2实施方式中使用G/R值作为颜色特征量，因此在本步骤S200中计算平均G/R值。

在接下来的步骤S201中，阈值设定部211b根据在步骤S200中计算出的平均颜色特征量来设定阈值。具体而言，将对平均G/R值乘以任意系数α(α≥1)得到的值作为阈值。

在步骤S202中，阈值处理部211c对图像实施阈值处理，检测具有阈值以下的G/R值的区域，作为血管区域的类似颜色区域。

进而，在步骤S203中，重复判定部212判定血管区域和异常候选区域是否都与类似颜色区域重复(即，是否存在血管区域内的像素位置的至少一部分与类似颜色区域重复的部位和异常候选区域内的像素位置的至少一部分与类似颜色区域重复的部位这两方)。而且，在血管区域和异常候选区域都与类似颜色区域重复的情况下(步骤S204：是)，连结性判定部210跳出循环E，判别为该异常候选区域与血管区域之间具有连结性(步骤S205)。另一方面，在血管区域和异常候选区域之中的任意一方或双方与类似颜色区域不重复的情况下(步骤S204：否)，连结性判定部210将其他血管区域作为判别对象并重复循环E的处理。而且，在结束了对于所有血管区域的处理后，也未检测到与类似颜色区域重叠的血管区域和异常候选区域的情况下，连结性判定部210判别为该异常候选区域与血管区域之间不具有连结性(步骤S206)。此后，运算部200的动作返回主程序。

如上所述，在第2实施方式中，通过根据血管区域的颜色特征量设定的阈值来检测类似颜色区域，判别异常候选区域和血管区域的像素位置对于该类似颜色区域的重复，从而判定异常候选区域与血管区域的连结性。因此，根据第2实施方式，能够根据血管区域的颜色特征量，更高精度地判别异常候选区域与血管区域的连结性。

以上所说明的第1和第2实施方式以及变形例的图像处理装置可通过由个人计算机或工作站等计算机系统执行在记录装置中记录的图像处理程序而实现。此外，还可以将这种计算机系统通过局域网、广域网(LAN/WAN)或因特网等公共网络，与其他的计算机系统或服务器等设备连接使用。这种情况下，第1和第2实施方式以及变形例的图像处理装置可以经由这些网络取得管腔内图像的图像数据，或向经由这些网络连接的各种输出设备(阅读器和打印机等)输出图像处理结果，或在经由这些网络连接的存储装置(记录装置及其读取装置等)中储存图像处理结果。

另外，本发明不限于第1和第2实施方式以及变形例，通过适当组合在各实施方式和变形例中公开的多个结构要素，能够形成各种发明。例如，既可以从各实施方式和变形例所示的所有结构要素中去除若干结构要素而形成，也可以适当组合不同实施方式和变形例所示的结构要素而形成。

标号说明

1、2：图像处理装置

10：控制部

20：图像取得部

30：输入部

40：显示部

50：记录部

51：图像处理程序

100、200：运算部

110：异常候选区域检测部

120：管状区域检测部

121：管状候选区域检测部

122：外形判别部

122a：面积计算部

122b：周长计算部

123：连续性判别部

123a：垂直方向计算部

123b：近似函数计算部

123c：差分计算部

130、150、210：连结性判定部

131：区域间特征量计算部

131a：插值线计算部

131b：线上特征量计算部

131b-1：最大边缘强度计算部

131b-2：最大颜色边缘强度计算部

131b-3：平均颜色特征量计算部

132：区域间特征量判别部

140：异常判定部

151：存在方向判定部

151a：近似函数计算部

151b：附近区域检测部

151c：附近区域内存在判定部

211：类似颜色区域检测部

211a：平均值计算部

211b：阈值设定部

211c：阈值处理部

212：重复判定部

Claims (16)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

异常候选区域检测单元，其从对被检体的管腔内进行摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；

管状区域检测单元，其从所述管腔内图像中检测管状区域；

连结性判定单元，其判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及

异常判定单元，其根据所述连结性判定单元的判定结果，判定所述异常候选区域是否为所述异常部。

2.根据权利要求1所述的图像处理装置，其特征在于，所述连结性判定单元具有：

区域间特征量计算单元，其计算所述异常候选区域与所述管状区域之间的区域的特征量即区域间特征量；以及

区域间特征量判别单元，其根据所述区域间特征量判别所述异常候选区域与所述管状区域之间的连结性。

3.根据权利要求2所述的图像处理装置，其特征在于，所述区域间特征量计算单元包含：

插值线计算单元，其计算在所述异常候选区域与所述管状区域之间进行插值的插值线；以及

线上特征量计算单元，其计算所述插值线上的特征量。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述线上特征量计算单元包含最大边缘强度计算单元，该最大边缘强度计算单元计算所述插值线上的像素值变化的最大值。

5.根据权利要求3所述的图像处理装置，其特征在于，

所述线上特征量计算单元包含最大颜色边缘强度计算单元，该最大颜色边缘强度计算单元计算所述插值线上的颜色特征量的变化的最大值。

6.根据权利要求3所述的图像处理装置，其特征在于，

所述线上特征量计算单元包含平均颜色特征量计算单元，该平均颜色特征量计算单元计算所述插值线上的颜色特征量的平均值。

7.根据权利要求1所述的图像处理装置，其特征在于，所述连结性判定单元具有：

类似颜色区域检测单元，其从所述管腔内图像中检测与所述管状区域类似的颜色的区域即类似颜色区域；以及

重复判定单元，其判定所述异常候选区域和所述管状区域的像素位置是否与所述类似颜色区域存在重复。

8.根据权利要求7所述的图像处理装置，其特征在于，所述类似颜色区域检测单元包含：

平均颜色特征量计算单元，其计算所述管状区域的颜色特征量的平均值；

阈值设定单元，其根据所述颜色特征量的平均值设定阈值；以及

阈值处理单元，其根据所述阈值对所述管腔内图像进行阈值处理。

9.根据权利要求2所述的图像处理装置，其特征在于，

所述连结性判定单元还具有存在方向判定单元，该存在方向判定单元判定所述异常候选区域是否存在于所述管状区域的延长方向上。

10.根据权利要求9所述的图像处理装置，其特征在于，所述存在方向判定单元包含：

近似函数计算单元，其计算对所述管状区域的形状进行近似的位置坐标的函数；

附近区域检测单元，其在所述管腔内图像中检测与所述函数相距规定的距离的范围内的附近区域；以及

附近区域内存在判定单元，其判定在所述附近区域内是否存在异常候选区域。

11.根据权利要求1所述的图像处理装置，其特征在于，所述管状区域检测单元具有：

管状候选区域检测单元，其根据所述管腔内图像的颜色特征量检测所述管状区域的候选即管状候选区域；以及

连续性判别单元，其根据所述管状候选区域的周围区域的像素值的连续性，判别所述管状候选区域是否为所述管状区域。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述连续性判别单元具有：

垂直方向计算单元，其计算所述图像的面内的与所述管状候选区域的长度方向垂直的垂直方向；

近似函数计算单元，其计算分别对所述垂直方向上的所述管状候选区域的两侧的像素值变化进行近似的近似函数；以及

差分计算单元，其计算所述垂直方向上的同一坐标处的所述近似函数的值的差分，

根据所述差分对所述管状候选区域进行判别。

13.根据权利要求1所述的图像处理装置，其特征在于，所述管状区域检测单元具有：

管状候选区域检测单元，其根据所述管腔内图像的颜色特征量检测所述管状区域的候选即管状候选区域；以及

外形判别单元，其根据所述管状候选区域的外形判别所述管状候选区域是否为所述管状区域。

14.根据权利要求13所述的图像处理装置，其特征在于，所述外形判别单元包含：

面积计算单元，其计算所述管状候选区域的面积；以及

周长计算单元，其计算所述管状候选区域的周长，

根据所述面积和所述周长对所述管状区域进行判别。

15.一种图像处理方法，其特征在于，该图像处理方法包含：

异常候选区域检测步骤，从对被检体的管腔内进行摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；

管状区域检测步骤，从所述管腔内图像中检测管状区域；

连结性判定步骤，判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及

异常判定步骤，根据所述连结性判定步骤的判定结果，判定所述异常候选区域是否为所述异常部。

16.一种图像处理程序，其特征在于，该图像处理程序使计算机执行如下步骤：

异常候选区域检测步骤，从对被检体的管腔内进行摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；

管状区域检测步骤，从所述管腔内图像中检测管状区域；

连结性判定步骤，判定所述异常候选区域与所述管状区域是否在与所述管状区域类似的颜色的区域连结起来；以及

异常判定步骤，根据所述连结性判定步骤的判定结果，判定所述异常候选区域是否为所述异常部。