CN102376091B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

图像处理装置以及图像处理方法，具有：梯度强度计算部，根据生物体内管腔图像计算各像素的像素值的梯度强度；闭区域提取部，以在区域内部不包含梯度强度在规定值以上的像素且区域边界不以规定曲率以上向该区域内侧弯曲为条件，提取满足条件的闭区域；异常部位检测部，从闭区域内侧检测异常部位；闭区域提取部具备：初始闭区域设定部，设定闭区域初始形状；能量计算部，计算至少包含闭区域外形决定的能量和闭区域的梯度强度决定的能量的多个能量的值；能量加权和计算部，计算多个能量的加权和；闭区域更新部，根据加权和更新闭区域在更新范围内的形状，闭区域更新部具有更新范围决定部，其根据多个能量中任一个的值决定更新闭区域形状的更新范围。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及对拍摄了生物体内管腔所得的生物体内管腔图像进行处理的图像处理装置以及图像处理方法。

背景技术

一直以来，作为导入到患者等被检者体内对体内管腔内进行观察的医用观察装置广泛普及了内窥镜。另外，近年来开发了在胶囊型壳体内部具有摄像装置和向体外无线发送由该摄像装置所摄像的图像数据的通信装置等的吞入型内窥镜(胶囊内窥镜)。因为对这些医用观察装置所摄像的体内管腔内的图像(生物体内管腔图像)进行观察/诊断需要较多的经验，所以希望具有辅助医师进行诊断的医疗诊断辅助功能。作为实现该功能的图像识别技术之一，提出了从生物体内管腔图像中自动检测病变等异常部位向医师等提示的技术。

例如，在日本特开2002-99896号公报中公开了如下这样的技术：采用形状依赖性滤波器稳定地检测作为乳癌的癌化部分特征之一的微钙化阴影的候选，而不受粗大构造及线构造的影响。在该日本特开2002-99896号公报中事先准备了第2形状依赖性滤波器，该第2形状依赖性滤波器以假定的微钙化阴影的形状为基础，根据摄影条件、读取条件、图像对比度、微钙化阴影尺寸这样的各种条件或者将这些条件组合的条件等来使滤波器特性最优化。并且，首先通过采用作为形态学滤波器(例如，参照小畑他,「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」,電子情報通信学会論文誌,D－Ⅱ,Vol.J75－D－Ⅱ,No.7,P1170～1176,July 1992,小畑他,「モルフォロジーの基礎とそのマンモグラム処理への応用」,MEDICALIMAGING TECHNOLOGY,Vol.12,No.1,January 1994)的第1形状依赖性滤波器去除图像中的直线构造，生成表示微细构造部分的微细构造图像。然后，通过对微细构造图像实施采用了预先准备的第2形状依赖性滤波器的强调处理，生成与周围(包含没有被第1形状依赖性滤波器完全去除的粗大构造部分及线构造部分等的微钙化阴影候选以外的部分)相比仅相对地强调了微小钙化阴影候选的已强调处理图像。

但是，在上述内窥镜及胶囊内窥镜等医用观察装置所摄像的生物体内管腔图像中，例如存在多个由于消化管内壁的粘膜构造的折叠及弯曲而产生的沟及粘膜褶皱的轮廓等曲率较大弯曲这样的部位。因此，在将日本特开2002-99896号公报应用于生物体内管腔图像来检测病变等异常部位时，在去除直线构造的第1形状依赖性滤波器(形态学滤波器)中，依赖于滤波器的尺寸，上述的生物体组织所形成的沟位置及轮廓部分等那样曲率较大弯曲的部位会残留在微细构造图像上。另外，日本特开2002-99896号公报的第2形状依赖性滤波器用于强调特定的形状(微钙化阴影的形状)，但反映在生物体内管腔图像上的异常部位不具有确定的形状。因此，很难像日本特开2002-99896号公报那样，事前假定异常部位的形状，然后设计用于对经由第1形状依赖性滤波器而残留的构造(例如前面叙述的曲率较大弯曲的部位)和异常部位进行区别的最佳形状依赖性滤波器。因此，即使将两种形状依赖性滤波器进行组合，也很难将异常部位与沟位置和轮廓部分进行区分检测。

发明内容

本发明是鉴于上述问题而作出的，其目的是提供可从生物体内管腔图像中高精度地检测异常部位的图像处理装置以及图像处理方法。

本发明的图像处理装置具有：梯度强度计算部，其根据对生物体内管腔进行摄像所得的生物体内管腔图像来计算各个像素的像素值的梯度强度；闭区域提取部，其将在区域内部不包含所述梯度强度在规定值以上的像素且区域的边界不以规定曲率以上的曲率向该区域的内侧弯曲作为条件，提取满足该条件的闭区域；以及异常部位检测部，其从所述闭区域的内侧检测异常部位，所述闭区域提取部具备：初始闭区域设定部，其设定所述闭区域的初始形状；能量计算部，其计算至少包含由所述闭区域的外形决定的能量以及由所述闭区域中的所述梯度强度决定的能量在内的多个能量的值；能量加权和计算部，其计算所述多个能量的加权和；以及闭区域更新部，其根据所述加权和来更新所述闭区域在更新范围内的形状，所述闭区域更新部具有更新范围决定部，该更新范围决定部根据所述多个能量中的任意一个的值来决定更新所述闭区域的形状的所述更新范围。

另外，本发明的图像处理方法包含以下步骤：梯度强度计算步骤，根据对生物体内管腔进行摄像所得的生物体内管腔图像来计算各个像素的像素值的梯度强度；初始闭区域设定步骤，将在区域内部不包含所述梯度强度在规定值以上的像素且区域边界不以规定曲率以上的曲率向该区域的内侧弯曲作为条件，设定满足该条件的闭区域的初始形状；闭区域提取步骤，提取所述闭区域；以及异常部位检测步骤，从所述闭区域的内侧检测异常部位，所述闭区域提取步骤包括以下步骤：能量计算步骤，计算至少包含由所述闭区域的外形决定的能量以及由所述闭区域中的所述梯度强度决定的能量在内的多个能量的值；能量加权和计算步骤，计算所述多个能量的加权和；更新范围决定步骤，根据所述多个能量中的任意一个的值来决定更新所述闭区域的形状的更新范围；以及闭区域更新步骤，根据所述加权和来更新所述闭区域在所述更新范围内的形状。

针对以上所述的情况和本发明的其它目的、特征、优点以及技术及产业上的意义，如果将以下的本发明的详细说明与附图对照着阅读，则有助于进一步理解。

附图说明

图1是说明实施方式1的图像处理装置的功能结构的框图。

图2是是说明闭区域的提取原理的说明图。

图3是示出在内部包含沟位置等即边缘的闭区域的图。

图4是示出在图3中用单点划线示出的线上的像素值的变化曲线的图。

图5是示出在边界上包含轮廓部分等较大弯曲的边缘的闭区域的图。

图6是示出在图5中用单点划线示出的线上的像素值的变化曲线的图。

图7是示出实施方式1的图像处理装置进行的处理过程的整体流程图。

图8是示出实施方式1中的闭区域提取处理的详细处理过程的流程图。

图9是示出实施方式1中的能量计算处理的详细处理过程的流程图。

图10是示出实施方式1中的边缘内包判定处理的详细处理过程的流程图。

图11是说明实施方式1中的边缘内包判定处理的原理的说明图。

图12是说明边缘内包能量的说明图。

图13是示出闭区域合并处理的详细处理过程的流程图。

图14是示出异常部位检测处理的详细处理过程的流程图。

图15是说明实施方式2的图像处理装置的功能结构的框图。

图16是示出实施方式2中的闭区域提取处理的详细处理过程的流程图。

图17是示出边缘提取处理的详细处理过程的流程图。

图18是示出实施方式2中的能量计算处理的详细处理过程的流程图。

图19是示出实施方式2中的边缘内包判定处理的详细处理过程的流程图。

图20是示出实施方式2中的更新范围决定处理的详细处理过程的流程图。

图21是说明实施方式3的图像处理装置的功能结构的框图。

图22是示出实施方式3的图像处理装置所进行的处理过程的整体流程图。

图23是示出实施方式3中的闭区域提取处理的详细处理过程的流程图。

图24是示出实施方式3中的能量计算处理的详细处理过程的流程图。

图25是说明外积能量的说明图。

图26是示出实施方式3中的更新范围决定处理的详细处理过程的流程图。

图27是说明实施方式4的图像处理装置的功能结构的框图。

图28是示出实施方式4中的闭区域提取处理的详细处理过程的流程图。

图29是示出实施方式4中的能量计算处理的详细处理过程的流程图。

图30是说明实施方式5的图像处理装置的功能结构的框图。

图31是说明弯曲能量的说明图。

图32是示出实施方式5中的闭区域提取处理的详细处理过程的流程图。

图33是示出实施方式5中的能量计算处理的详细处理过程的流程图。

图34是说明实施方式6的图像处理装置的功能结构的框图。

图35是说明凸状能量的说明图。

图36是示出实施方式6中的能量计算的详细处理过程的流程图。

图37是示出实施方式6中的弯曲能量计算处理的详细处理过程的流程图。

图38是示出应用了本发明的计算机系统的结构的系统构成图。

图39是示出构成图38的计算机系统的主体部的结构的框图。

具体实施方式

以下，参照附图对本发明的优选实施方式进行说明。此外，本实施方式不限定本发明。另外，在各附图的记载中，对同一部分标注相同的符号。

本实施方式的图像处理装置对例如内窥镜或胶囊内窥镜等医用观察装置拍摄被检者体内的消化管等生物体内管腔所得的图像(生物体内管腔图像)进行处理，并进行从生物体内管腔图像中检测例如病变或出血部位等异常部位的处理。如上所述，在生物体内管腔图像中反映了粘膜构造等生物体组织所形成的沟的阴影及轮廓。在本实施方式中，为了抑制将该沟位置及轮廓部分误检测为异常部位的情况，在生物体内管腔图像中提取闭区域，以使这些沟位置及轮廓部分不包含在内部及边界中，并针对提取出的每个闭区域来检测异常部位。此外，在本实施方式中，生物体内管腔图像例如是每个像素都具有与R(红)、G(绿)、B(青)的各波长分量相对应的像素值的彩色图像。

实施方式1

首先，对实施方式1的图像处理装置进行说明。图1是说明实施方式1的图像处理装置1的功能结构的框图。实施方式1的图像处理装置1如图1所示具备图像取得部11、输入部12、显示部13、记录部14、运算部20和控制图像处理装置1整体动作的控制部15。

图像取得部11用于取得医用观察装置所摄像的生物体内管腔图像的图像数据，该图像取得部11所取得的生物体内管腔图像的图像数据被记录在记录部14中，由运算部20进行处理后，根据需要适当显示到显示部13上。图像取得部11例如在与医用观察装置之间交接图像数据时，如果使用移动型记录介质，则由可拆装自如地安装该记录介质并读出所保存的生物体内管腔图像的图像数据的读出装置构成。另外，当在适当位置设置预先保存医用观察装置所摄像的生物体内管腔图像的图像数据的服务器、并从该服务器取得该图像数据的结构的情况下，图像取得部11由用于与服务器连接的通信装置等构成。并且，经由该图像取得部11与服务器进行数据通信，取得生物体内管腔图像的图像数据。除此之外，在经由电缆从医用观察装置取得图像数据的结构的情况下，图像取得部11可由输入图像数据的接口装置等构成。

输入部12例如由键盘、鼠标、触摸面板及各种开关等来实现，将输入信号输出至控制部15。显示部13由LCD及EL显示器等显示装置来实现，根据控制部15的控制显示包含生物体内管腔图像的各种画面。

记录部14由可更新记录的闪存等的ROM及RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、CD-ROM等信息记录介质及其读取装置等来实现，该记录部14预先或者在每次处理中临时地记录用于使图像处理装置1动作而实现该图像处理装置1所具备的各种功能的程序及在该程序的执行中使用的数据等。在该记录部14中记录有图像取得部11所取得的生物体内管腔图像的图像数据。另外，在记录部14中记录有用于实现实施方式1的处理而从生物体内管腔图像中检测异常部位的图像处理程序141。

运算部20由CPU等硬件来实现，其处理生物体内管腔图像，进行用于检测异常部位的各种运算处理。该运算部20包含梯度强度计算部21、闭区域提取部22、区域合并部32和异常部位检测部33。

梯度强度计算部21根据生物体内管腔图像的各像素的像素值来计算各像素的像素值的梯度强度。

闭区域提取部22以在区域内部不包含梯度强度是预先设定的规定值以上的像素且区域边界不以规定曲率以上的曲率向该区域内侧弯曲为条件，从生物体内管腔图像中提取满足上述条件的闭区域。该闭区域提取部22具备初始闭区域设定部23、能量计算部24、能量加权和计算部27以及闭区域更新部28，通过采用动态轮廓提取法(参考：CG-ARTS協会、ディジタル画像処理、P196-P200、領域分割処理)求出多个能量(例如后述的边缘内包能量、内部能量、图像能量以及外部能量这4个能量)的加权和最小值，来提取闭区域。

初始闭区域设定部23设定闭区域的初始形状即初始闭区域。

能量计算部24计算至少包含由闭区域的外形决定的能量以及由闭区域的像素的梯度强度决定的能量的多个能量值。该能量计算部24具备边缘内包能量计算部25。边缘内包能量计算部25计算与由闭区域的像素的梯度强度决定的能量相当的边缘内包能量的值。这里，边缘内包能量是表示闭区域内的梯度强度越大其值越大的能量。该边缘内包能量计算部25具备闭区域梯度强度计算部251和增加率计算部252。闭区域梯度强度计算部251根据闭区域内部的梯度强度来计算闭区域内梯度强度。增加率计算部252计算形状更新前后的闭区域内部的梯度强度的增加率。

另外，能量计算部24与边缘内包能量计算部25所计算的边缘内包能量分开地计算与根据闭区域的外形决定的能量相当的内部能量和外部能量以及与根据闭区域的像素的梯度强度决定的能量相当的图像能量这3个能量的各个值。这里，内部能量表示闭区域边界的平滑度，是表示闭区域的形状越平滑其值越小的能量。图像能量是表示闭区域边界的梯度强度的值越大其值越小的能量。外部能量是表示闭区域的大小越大其值越小的能量。

能量加权和计算部27计算能量计算部24所计算出的多个能量的加权和。在实施方式1中，能量加权和计算部27计算边缘内包能量、内部能量、图像能量以及外部能量这4个能量的加权和。此外，不一定非要计算这4个能量的加权和，也可以从这4个中选出2个以上的能量来计算其加权和。

闭区域更新部28向能量加权和计算部27所计算的4个能量的加权和变小的方向更新闭区域的形状。该闭区域更新部28具备更新范围决定部29。更新范围决定部29是决定更新闭区域形状的更新范围的功能部，具备控制点距离计算部291。如后面所述，初始闭区域被设定为连接了多个控制点的区域，通过移动各个控制点来进行变形(形状更新)。这里，所谓控制点是指位于闭区域边界的坐标点。控制点距离计算部291按照前述的控制点来计算与作为对形状进行了更新的结果边缘内包能量值为规定阈值以上的控制点的距离。此外，这里虽然采用了边缘内包能量的值，但也可以采用其它能量的值。

区域合并部32进行闭区域提取部22所提取出的闭区域的合并。此时，区域合并部32按照满足如下条件的方式合并闭区域，上述条件为：在区域内部不包含梯度强度是规定值以上的像素、且区域边界不以规定曲率以上的曲率向该区域的内侧弯曲。该区域合并部32具备合并部321和合并后能量计算部322。合并部321选出合并对象的闭区域，将所选出的闭区域合并为1个区域。合并后能量计算部322针对合并部321的合并后的闭区域计算边缘内包能量、内部能量、图像能量以及外部能量这4个能量的加权和。

异常部位检测部33按照每个闭区域来检测其边界内侧(内部)的异常部位。

控制部15由CPU等硬件来实现。该控制部15根据图像取得部11所取得的图像数据、从输入部12输入的输入信号、记录部14所记录的程序及数据等来进行对构成图像处理装置1的各部的指示及数据的传送等，集中地控制图像处理装置1整体的动作。

这里，对实施方式1中闭区域提取部22进行的闭区域的提取原理进行说明。图2是说明闭区域的提取原理的说明图，示意性示出在闭区域提取部22中初始闭区域设定部23所设定的初始闭区域E11。如图2所示，初始闭区域E11被设定为在其边界上的像素中配置多个控制点Pc、并连接这些控制点Pc的区域。此外，在图2中，将初始闭区域E11作为圆形状示出，但不限于此。另外，关于初始闭区域E11的大小及所配置的控制点Pc的数量也可以适当地设定。例如，根据初始闭区域的尺寸决定。并且，根据各控制点Pc的位置、该位置的梯度强度、各控制点Pc与重心(中心)P1的距离、内部像素的梯度强度等，按照每个控制点Pc来计算上述边缘内包能量、内部能量、图像能量以及外部能量，通过使这4个能量的加权和成为最小来移动控制点Pc，使初始闭区域E11向区域扩展的方向变形，提取闭区域。

如果这样提取了闭区域，则检测闭区域内部的异常部位。在本例中，如在后面详细叙述那样，进行形态学处理(例如采用了球形构造要素的3维形态学处理(浓淡形态学))来检测异常部位。这里，在形态学处理中具有开(Opening)处理(参考：CG-ARTS協会、ディジタル画像処理、P179～180、収縮·膨張処理)和闭(Closing)处理(参考：CG-ARTS協会、ディジタル画像処理、P179～P180、収縮·膨張処理)。开处理是在将像素值视为高度的3维空间中计算当从对象区域的像素值小的一方(下侧)外接被称为构造要素的基准图形(在本例中是球形)进行移动时构造要素的外周最大值通过的轨迹(面)的处理。另一方面，闭处理是在同样的3维空间中计算当从对象区域的像素值大的一方(上侧)外接构造要素进行移动时构造要素的外周最小值通过的轨迹(面)的处理。并且，在采用了开处理的情况下，将所获得的轨迹上的值作为基准值使用，检测与实际像素值的差分大的像素作为异常部位。采用了闭处理的情况也同样，检测所获得的轨迹上的基准值与实际像素值的差分大的像素作为异常部位。

但是，在应用包含上述开处理及闭处理的形态学处理针对每个闭区域检测异常部位的情况下，如果在闭区域的内部包含有沟位置，则有时将该沟位置误检测为异常部位。图3是示出闭区域一例的示意图，示出被作成为在内部包含有沟位置等边缘51的闭区域。另外，图4示出像素值的变化曲线L31，将横轴作为在图3中用单点划线示出的线(跨越边缘51的线)上的边界像素P31、P32间的像素位置，将纵轴作为相应的各像素的像素值。在跨越边缘51的线上如图4所示，该像素值的变化在边缘位置局部较大地凹陷。因此，对内部包含边缘51的闭区域进行形态学处理(闭处理)，在从上侧外接构造要素F3进行移动时(箭头A31)，因为在构造要素F3相对于上述凹陷部分的宽度较大时构造要素F3进不到该部分中，所以可获得如在图4中用单点划线示出的轨迹L32(实际上为面)。这样，当在闭区域的内部含有沟位置等边缘51时，依赖于构造要素F3的形状而获得的基准值与实际的像素值较大地偏离。另一方面，如上所述，在异常部位的检测中，将所获得的轨迹L32上的值用作基准值，通过将各像素的像素值与基准值进行比较，来检测差值较大的像素作为异常部位。因此，当作成在闭区域的内部含有沟位置等边缘这样的闭区域时，有时边缘51的部分根据箭头A32所示的差分被误检测为异常部位。

同样，当闭区域的边界含有以规定曲率以上的曲率向内侧弯曲的轮廓部分时，有时将该轮廓部分误检测为异常部位。图5是示出闭区域的其它例的示意图，示出被作成为在边界处含有轮廓部分等以规定曲率以上的曲率向内侧弯曲的边缘52的闭区域。另外，图6示出像素值的变化曲线L41，将横轴作为在图5中用单点划线示出的线(跨越边缘52的弯曲部分的线)上的边界像素P41、P44之间的像素位置，将纵轴作为闭区域内部的边界像素p41、P42之间以及边界像素p43、P44之间的各个像素的像素值。在跨越边缘52的弯曲部分的线上如图6所示，其像素值的变化在弯曲位置中断。这里，对包含边界向内侧较大弯曲的边缘52的闭区域进行形态学处理(闭处理)，当从上侧外接构造要素F4进行移动时(箭头A41)，由于在构造要素F4相对于上述中断部分的间隔较大时构造要素F4进不到该部分中，所以能够获得如在图6中用单点划线示出的轨迹L42(实际上为面)。这样，当在闭区域的边界包含轮廓部分等向内侧较大弯曲的边缘时，与在闭区域的内部包含沟位置等边缘的情况相同，依赖于构造要素的形状而获得的基准值与实际的像素值较大地偏离，有时会根据箭头A42所示的差分将轮廓部分误检测为异常部位。

为了抑制以上这样的情况，在实施方式1中，闭区域提取部22进行满足如下条件的闭区域的提取，该条件是在区域内部不包含梯度强度是规定值以上的像素(边缘部分的像素)而且区域的边界不以规定曲率以上的曲率向内侧弯曲。由此，在应用形态学处理进行的后阶段的异常部位检测中，可适当地获得基准值。

接着，说明实施方式1的图像处理装置1进行的具体处理过程。图7是示出实施方式1的图像处理装置1进行的处理过程的全部流程图。通过运算部20执行记录部14所记录的图像处理程序141来实现这里说明的处理。

如图7所示，首先运算部20取得处理对象的生物体内管腔图像(步骤a1)。根据这里的处理，运算部20读出并取得由图像取得部11取得并记录在记录部14内的处理对象的生物体内管腔图像。

接着，梯度强度计算部21根据生物体内管腔图像的各个像素的例如G值，针对每个像素计算梯度强度(步骤a3)。这例如通过应用公知的边缘提取处理(参考：CG-ARTS協会、ディジタル画像処理、P114-P121、エッジ抽出)等来实现，该边缘提取处理使用了索贝尔(Sobel)滤波器等1阶微分滤波器及拉普拉斯(Laplacian)滤波器等2阶微分滤波器。采用G值是因为接近于血红蛋白的吸收波长频带、也容易获得感光度，所以能更好地显示生物体内管腔图像的构造。此外，这里根据各像素的G值来计算梯度强度，不过也可以计算各像素的亮度值，并根据亮度值来计算各像素的梯度强度。

接着，初始闭区域设定部23设定闭区域的初始形状(初始闭区域)(步骤a5)。例如，初始闭区域设定部23随机地决定设定位置，在已决定的设定位置上设定初始闭区域。另外，此时初始闭区域设定部23计算已设定的初始闭区域的重心(中心)。要设定的初始闭区域的大小、形状以及配置的控制点数例如为固定的，可预先设定。此外，这些值也可以根据用户操作来可变地进行设定。另外，对初始闭区域的设定方法没有特别地限定，可根据各个像素的梯度强度选择梯度强度小的位置来设定初始闭区域。

接着，闭区域提取部22执行闭区域提取处理(步骤a7)。图8是示出实施方式1中的闭区域提取处理的详细处理过程的流程图。如图8所示，在实施方式1的闭区域提取处理中，首先能量计算部24执行能量计算处理(步骤b1)。利用与后阶段的步骤b15同样的处理过程对初始闭区域进行该能量计算处理，并针对每个控制点来计算边缘内包能量、内部能量、图像能量以及外部能量这4个能量的值。此外，作为步骤b15的说明，将在后面叙述详细的处理过程。

接着，能量加权和计算部27针对初始闭区域计算在步骤b1中计算出的边缘内包能量、内部能量、图像能量以及外部能量这4个能量的加权和(步骤b3)。具体地说，计算4个能量的加权和作为在步骤b1中针对每个控制点计算出的边缘内包能量、内部能量、图像能量以及外部能量这4个能量的加权和(已加权的边缘内包能量、内部能量、图像能量以及外部能量之和)的总和。然后，通过反复进行步骤b5～步骤b19的处理来更新初始闭区域(闭区域的初始形状)，提取闭区域。

首先，在步骤b5中，更新范围决定部29判定有无边缘内包能量值是预先设定的阈值以上的控制点。并且，在具有边缘内包能量值是规定阈值以上的控制点的情况下(步骤b5：是)，更新范围决定部29针对每个控制点计算与边缘内包能量值是规定阈值以上的控制点的距离(步骤b7)。并且，更新范围决定部29将所计算的距离在预先设定的规定范围内的控制点除外来决定控制点的更新范围(步骤b9)。即，将与边缘内包能量值是规定阈值以上的控制点的距离处于规定范围内的控制点从控制点的更新范围中除外。此时，在步骤b5～步骤b19的反复过程中，相距边缘内包能量值已经在规定阈值以上的控制点而处于规定范围内的控制点，都从控制点的更新范围除外。另一方面，在没有边缘内包能量值是规定阈值以上的控制点的情况下(步骤b5：否)，更新范围决定部29将全部控制点作为控制点的更新范围(步骤b11)。

接着，闭区域更新部28通过移动在步骤b9或步骤b11中决定的更新范围内的控制点来更新闭区域的形状(步骤b13)。这里，例如使周围8个方向中的闭区域外侧的方向优先，分别移动更新范围内的控制点，由此将闭区域的形状向扩展的方向更新。例如在图2的例子中，使各控制点Pc的位置向初始闭区域E11的边界外侧移动，如图2中箭头所示向扩展的方向更新该形状。例如通过产生随机数等来决定移动各控制点的距离。另外，此时在控制点Pc的更新范围是图2中用单点划线包围示出的范围E12的情况下，该更新范围E12外的控制点Pc不移动、仅移动更新范围E12内的控制点Pc来更新闭区域的形状。

接着，能量计算部24执行能量计算处理(步骤b15)。在该步骤b15中，针对步骤b13中更新的更新后闭区域执行能量计算处理。图9是示出实施方式1中的能量计算处理的详细处理过程的流程图。

如图9所示，在实施方式1的能量计算处理中，首先边缘内包能量计算部25执行边缘内包判定处理(步骤c1)。在该边缘内包判定处理中，将控制点依次作为处理对象，根据该内包判定区域内的梯度强度来计算关于处理对象的控制点的闭区域内梯度强度。具体地说，将以处理对象的控制点、与该控制点顺时针方向邻接的控制点和闭区域的重心为顶点的三角形作为内包判定区域，根据该内包判定区域所内包的像素的梯度强度来计算闭区域内梯度强度。并且，计算在闭区域更新前后的闭区域内梯度强度的增加率。图10是示出实施方式1中的边缘内包判定处理的详细处理过程的流程图。另外，图11是说明实施方式1中的边缘内包判定处理的原理的说明图，示出闭区域的重心P5和已配置在该闭区域边界上的两个控制点Pc51、Pc52。

如图10所示，在实施方式1的边缘内包判定处理中，针对每个控制点执行循环A的处理(步骤d1～步骤d15)。在该循环A中，首先在边缘内包能量计算部25中，闭区域梯度强度计算部251求出连接作为处理对象控制点的控制点A_i(i＝0、1、2…、n：n是控制点数)和与该控制点A_i顺时针方向邻接的控制点A_i+1的矢量V1_i(步骤d3)。例如图11所示，求出从控制点A_i即控制点Pc51到与该控制点Pc51顺时针方向邻接的控制点A_i+1即控制点Pc52的矢量V51作为V1_i。

接着，闭区域梯度强度计算部251求出连接与控制点A_i顺时针方向邻接的控制点A_i+1和闭区域(在作为前阶段的图8中的步骤b1的处理进行能量计算处理时是初始闭区域，以下在能量计算处理的说明中是同样的)的重心W的矢量V2_i(步骤d5)。例如在图11的例子中，求出从控制点Pc52到闭区域重心W即重心P5的矢量V52作为V2_i。

接着，闭区域梯度强度计算部251求出连接闭区域的重心W和控制点A_i的矢量V3_i(步骤d7)。例如在图11的例子中，求出从重心P5到控制点Pc51的矢量V53作为V3_i。

接着，闭区域梯度强度计算部251依次关注闭区域内的各个像素，通过计算所求出的3个矢量V1_i、V2_i、V3_i分别与从其起始点到关注像素的矢量的外积，来判定处理对象的控制点的内包判定区域、即内包在将控制点A_i、控制点A_i+1以及重心W作为顶点的三角形内的像素(步骤d9)。如果所计算的外积的符号完全相同，则将该关注像素判定为内包判定区域内的像素。在所有符号不一致的情况下，将该关注像素判定为内包判定区域外的像素。

例如，在关注图11中标注阴影示出的控制点Pc51的内包判定区域E5、即将控制点Pc51、控制点Pc52以及重心P5作为顶点的三角形内的像素P61的情况下，计算矢量V51与从控制点Pc51到关注像素P61的矢量V61的外积(V51×V61)、矢量V52与从控制点Pc52到关注像素P61的矢量V62的外积(V52×V62)以及矢量V53与从重心P5到关注像素P61的矢量V63的外积(V53×V63)。这里，如关注像素P61那样，内包判定区域E5内的像素相对于各矢量V51、V52、V53存在于右侧，因此所获得的外积的符号一致。另一方面，如像素P62那样，当关于内包判定区域E5外的像素同样地求出外积时，所获得的外积的符号不一致。

接着，闭区域梯度强度计算部251计算被判定为内包于内包判定区域内的各个像素的梯度强度的平均值，作为关于(作为处理对象控制点的)控制点A_i的闭区域内梯度强度(步骤d11)。此外，也可以从被判定为内包于内包判定区域的各个像素中选出梯度强度是规定值以上的像素(边缘部分的像素)，计算所选出的像素的梯度强度的平均值作为闭区域内梯度强度。在此情况下，在后阶段的图9的步骤c3中计算的边缘内包能量是表示在闭区域内(实际对应的内包判定区域内)存在的梯度强度是规定值以上的像素越多其值越大的能量。

然后，增加率计算部252根据在步骤d11中计算出的处理对象的控制点的闭区域内梯度强度，按照下式(1)来计算增加率Xi(i＝0、1、2、…、n：n是控制点数)(步骤d13)。这里，通过反复进行在后阶段的步骤b19中按照使上述4个能量的加权和为最小的方式修正在前阶段的图8的步骤b13中所更新的闭区域(更新后的闭区域)的形状的处理，来提取闭区域。在下式(1)中，更新前的闭区域内梯度强度是在步骤b13中更新前的闭区域的闭区域内梯度强度，更新后的闭区域内梯度强度是在步骤b13中更新后的闭区域的闭区域内梯度强度。

增加率Xi＝更新后的闭区域内梯度强度/更新前的闭区域内梯度强度…(1)

当如以上那样计算出增加率Xi时，结束关于处理对象的控制点的循环A的处理。并且，在针对全部控制点执行了循环A的处理之后，返回图9的步骤c1并转移至步骤c3。

并且，在步骤c3中，边缘内包能量计算部25针对每个控制点计算表示闭区域内梯度强度越大其值越大的边缘内包能量(步骤c3)。在实施方式1中，按照下式(2)，基于在图10的步骤d13中计算出的增加率Xi计算边缘内包能量E_i，使得增加率Xi越高值越大。此外，式子(2)的δ表示对能量的加权系数，根据经验法则来决定值。

E_i(i)＝δXi···(2)

图12是说明边缘内包能量的说明图。这里如图12a所示，考虑了沟位置等边缘(线边缘)EL6进入控制点Pc61的内包判定区域E6、即将控制点Pc61、控制点Pc62以及重心P6作为顶点的三角形内的情况。如上所述，闭区域通过使控制点向其外侧移动而向扩展的方向更新。因此，当更新闭区域时，边缘EL6进一步进入控制点Pc61的内包判定区域E6内(图12(b))，针对控制点Pc61所获得的闭区域内梯度强度在更新前后增加。因此，如果提高闭区域内梯度强度的增加率，则可估计为边缘进入该控制点的内包判定区域内。与此相对，当即使在更新前的闭区域内梯度强度大到某种程度的情况下在更新前后闭区域内梯度强度也不增加时，可估计为是基于噪音等引起的。如以上那样，通过计算边缘内包能量的值，使得内包判定区域中的闭区域内梯度强度的增加率越高其值越大，能够提取不限制噪音等比较小的边缘向闭区域内的内包、而限制沟位置等边缘(线边缘)向闭区域内的内包的闭区域。此外，虽未图示但针对轮廓部分等线边缘也是同样的。

接着，如图9所示，能量计算部24针对每个控制点计算表示闭区域边界越平滑其值越小的内部能量值(步骤c5)。例如，根据邻接的控制点间的矢量内积来计算内部能量值。例如，根据下式(3)，基于所关注的控制点(x_i、y_i)与邻接的两个控制点(x_i-1、y_i-1)、(x_i+1、y_i+1)之间的矢量的内积来计算内部能量E_internal。该内部能量E_internal被限制为，所关注的控制点相对于邻接控制点的位置不以规定曲率以上的曲率向闭区域的内侧弯曲。

$\begin{array}{c}{E}_{\mathrm{internal}}\left(i\right)=\\ \mathrm{\α}\frac{(x_{i-1}-x_i)\×(x_{i+1}-x_i)+(y_{i-1}-y_i)\×(y_{i+1}-y_i)}{\sqrt{(x_{i-1}-x_i)\×(x_{i-1}-x_i)+(y_{i-1}-y_i)(y_{i-1}-y_i)}\×\sqrt{(x_{i+1}-x_i)\×(x_{i+1}-x_i)+(y_{i+1}-y_i)(y_{i+1}-y_i)}}\end{array}\·\·\·\left(3\right)$

接着，能量计算部24针对每个控制点计算表示闭区域边界中的梯度强度越大其值越小的图像能量值(步骤c7)。例如，图像能量E_internal由下式(4)表示，并计算为所关注的控制点位置的像素的梯度强度的倒数。

$E_{\mathrm{image}}\left(i\right)=\mathrm{\β}\frac{1}{\▿S_{\left(i\right)}}\·\·\·\left(4\right)$

其中，是控制点(i)在坐标上的梯度强度的值。

并且，能量计算部24针对每个控制点计算表示闭区域的大小越大其值越小的外部能量的值(步骤c9)。该外部能量E_external是所关注的控制点朝向闭区域的扩展方向的能量，例如，由下式(5)来表示，并计算为闭区域重心与所关注的控制点的距离的倒数。

$E_{\mathrm{external}}\left(i\right)=\mathrm{\γ}\frac{1}{l_i}\·\·\·\left(5\right)$

其中，

$l_i=\sqrt{{(x_i-x_c)}^2+{(y_i-y_c)}^2}$

$(x_c,y_c)=(\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i}{N},\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i}{N})$

此外，式子(3)的α、式子(4)的β以及式子(5)的γ分别表示对相应能量的加权系数，可根据经验法则来决定值。另外，该α、β、γ的各个值可以为固定值，还可以构成为例如根据用户的操作输入等来可变地设定。

当如以上那样计算出边缘内包能量、内部能量、图像能量以及外部能量这4个能量的值时，返回图8的步骤b15，然后转移至步骤b17。

并且，在步骤b17中，能量加权和计算部27针对在步骤b13中更新后的闭区域计算在步骤b15中计算出的边缘内包能量、内部能量、图像能量以及外部能量这4个能量的加权和(已加权的边缘内包能量、内部能量、图像能量以及外部能量之和)。这里的处理与步骤b3同样地进行，计算每个控制点的4个能量的加权和的总和。

接着，闭区域更新部28对在步骤b13中更新前的闭区域的4个能量的加权和(以下，适当称为“更新前能量加权和”)与关于在步骤b13中更新后的闭区域在步骤b15中计算出的4个能量的加权和(以下，适当称为“更新后能量加权和”)进行比较来修正闭区域的形状(步骤b19)。具体地说，闭区域更新部28在更新前能量加权和小于更新后能量加权和的情况下，将闭区域的形状修正为更新前的形状。此外，在初次的步骤b19的执行时，将在步骤b3中针对初始闭区域计算出的4个能量的加权和作为更新前能量加权和，在更新前能量加权和小的情况下，将闭区域的形状修正为初始形状。

然后，闭区域更新部28判定反复的结束。并且，闭区域更新部28在更新后能量加权和是更新前能量加权和以下或者即使更新了闭区域的形状更新后能量加权和也不变化的状态小于预先设定的规定次数的期间，判定为不结束反复(步骤b21：否)。在此情况下，对本次更新的闭区域的形状进行步骤b5～步骤b19的处理，将闭区域的形状更新下去。另一方面，在更新后能量加权和大于更新前能量加权和、更新后能量加权和不变化的状态持续了规定次数的情况下，判定为结束反复(步骤b21：是)，结束闭区域提取处理。然后，返回图7的步骤a7，转移至步骤a9。

并且，在步骤a9中，闭区域提取部22判定有无未被提取为闭区域的区域，在具有未被提取为闭区域的区域时(步骤a9：是)，设定初始闭区域，使得未被提取为该闭区域的区域与已经提取的闭区域不重合(步骤11)。然后，返回步骤a7，反复进行闭区域提取处理，直至没有未被提取为闭区域的区域为止。另一方面，当在步骤a9中判定为没有未被提取为闭区域的区域时(步骤a9：否)，转移至步骤a13。

在步骤a13中，区域合并部32执行闭区域合并处理。图13是示出闭区域合并处理的详细处理过程的流程图。如图13所示，在闭区域合并处理中，首先合并部321合并以预先设定的阈值以上的比例进行重合的闭区域(步骤e1)。

接着，合并后能量计算部322提取合并后的闭区域的轮廓线(步骤e3)。这是通过采用例如公知的轮廓跟踪法(参考：CG-ARTS協会、ディジタル、P178-P179、輪郭追跡)来实现的。

接着，合并后能量计算部322在合并后的闭区域边界上的像素中等间隔地配置多个控制点(步骤e5)。然后，合并后能量计算部322针对在步骤e5中配置的每个控制点计算边缘内包能量、内部能量、图像能量以及外部能量这4个能量的值而计算其加权和，并将与合并前各闭区域的4个能量的加权和的平均值计算为平均能量计算(步骤e7)。所配置的每个控制点的4个能量值按照与图9的能量计算处理同样的处理过程来计算，该加权和按照与图8的步骤b3同样的过程来计算。

并且，区域合并部32通过判定平均能量值是否在预先设定的规定范围外来判定是否允许合并(是否合并)，在处于规定范围外的情况下(步骤e9：是)，取消合并，返回合并前的闭区域(步骤e11)。在平均能量处于规定范围内的情况下(步骤e9：否)，不进行步骤e11的处理，通过转移至步骤e13，允许合并，并将合并后的闭区域作为1个闭区域。

然后，区域合并部32判定有无可合并的闭区域、即以阈值以上的比例重合的闭区域，在有的情况下(步骤e13：是)，在合并了相应的闭区域之间之后(步骤e15)，返回步骤e3反复进行处理。此时，将在步骤e11中已经取消合并的闭区域除外，判定有无可合并的闭区域。另一方面，在判定为没有可合并的闭区域的情况下(步骤e13：否)，返回图7的步骤a13，转移至步骤a15。根据以上的闭区域合并处理，可合并在合并前和合并后4个能量的加权和变化小的闭区域之间作为1个闭区域，所以可减轻在后阶段的步骤a15中进行的异常部位检测处理的处理负荷。

然后，在步骤a15中，异常部位检测部33执行异常部位检测处理。在实施方式1中，例如对进行了公知的闭处理的闭图像进行公知的开处理，并对所获得的像素值(基准值)与最初的像素值的差分进行阈值处理，由此来检测异常部位。

图14是示出异常部位检测处理的详细处理过程的流程图。如图14所示，在异常部位检测处理中，异常部位检测部33针对每个闭区域执行循环B的处理(步骤fl～步骤f9)。在该循环B中，异常部位检测部33首先针对处理对象的闭区域的每个像素计算基准值(步骤f3)。接着，异常部位检测部33针对处理对象的闭区域的各个像素计算其像素值与在步骤f3中计算出的基准值的差分(步骤f5)。并且，异常部位检测部33对差分进行阈值处理，将差分是预先设定的阈值以上的像素检测为异常部位(步骤f7)。如果对全部闭区域执行了循环B的处理，则返回图7的步骤a15，然后结束处理。此外，将图14的异常部位检测处理的结果(在步骤f7中的异常部位的检测结果)输出到显示部13，例如进行将生物体内管腔图像中的异常部位与其它区域能识别地显现出来这样的显示，对医师等用户予以提示。

如以上说明那样，在实施方式1中，采用内包在对应的内包判定区域中的像素的梯度强度针对每个控制点计算闭区域内梯度强度，并计算边缘内包能量的值，使得在闭区域更新前后的闭区域内梯度强度的增加率越高其值越大。并且，通过使包含该边缘内包能量的多个能量的加权和最小来更新形状，从而提取闭区域。另外，此时决定控制点的更新范围，使得在下次更新闭区域的形状时如下的控制点不移动，该不移动的控制点是相对于边缘内包能量的值是预先设定的阈值以上并且被估计为沟位置或轮廓部分等线边缘进入到对应的内包判定区域的控制点而存在于规定范围内的控制点。由此，在更新闭区域的过程中可以按照满足如下条件的方式来提取闭区域，该条件是限制为沟位置或轮廓部分等线边缘进不到闭区域的内部，并且在区域的内部不包含梯度强度是规定值以上的像素、且区域的边界不以规定曲率以上的曲率向该区域内侧弯曲。因此，可适当提取在内部不包含反映到生物体内管腔图像中的沟位置、其边界不包含轮廓部分这样的闭区域，针对提取出的每个闭区域，通过应用形态学处理，能够检测出闭区域内部的异常部位。由此，不会将沟位置或轮廓部分误检测为异常部位，能够从生物体内管腔图像中高精度地检测异常部位。

实施方式2

首先，说明实施方式2的图像处理装置的结构。图15是说明实施方式2的图像处理装置1a的功能结构的框图。此外，对与在实施方式1中说明的结构相同的结构标注同一符号。实施方式2的图像处理装置1a如图15所示具备图像取得部11、输入部12、显示部13、记录部14a、运算部20a和控制图像处理装置1a整体的动作的控制部15。

在记录部14a中记录有用于实现实施方式2的处理而从生物体内管腔图像中检测异常部位的图像处理程序141a。

另外，运算部20a包含梯度强度计算部21、闭区域提取部22a、区域合并部32和异常部位检测部33。并且，在实施方式2中，闭区域提取部22a具备初始闭区域设定部23、能量计算部24a、能量加权和计算部27和闭区域更新部28a。

能量计算部24a具备边缘内包能量计算部25a，该边缘内包能量计算部25a具有边缘提取部253a、弯曲点检测部254a、端点检测部255a和外积计算部256a。边缘提取部253a根据生物体内管腔图像的各个像素的梯度强度，将梯度强度为规定值(例如与作为提取闭区域时的条件的规定值相同的值)以上的像素作为边缘提取。弯曲点检测部254a检测边缘的弯曲点。端点检测部255a检测边缘的端点。外积计算部256a计算从控制点到闭区域重心的矢量和从控制点到边缘的弯曲点及端点的矢量的外积。

闭区域更新部28a具备更新范围决定部29a。该更新范围决定部29a具有计算闭区域的形状信息的形状信息计算部30a。形状信息计算部30a具备面积计算部301a、周围长计算部302a和曲率计算部303a。面积计算部301a计算闭区域的面积。周围长计算部302a计算闭区域的周围长。曲率计算部303a计算闭区域的曲率。

接着，说明实施方式2的图像处理装置1a进行的具体处理过程。此外，通过运算部20a执行记录部14a所记录的图像处理程序141a来实现这里说明的处理。实施方式2在图7的整体流程图中，步骤a7的闭区域提取处理与实施方式1不同。图16是示出实施方式2中的闭区域提取处理的详细处理过程的流程图。此外，在图16中，对与实施方式1相同的处理步骤标注同一符号。

如图16所示，在实施方式2的闭区域提取处理中，首先执行边缘提取处理(步骤g1)。图17是示出边缘提取处理的详细处理过程的流程图。

如图17所示，在边缘提取处理中，首先根据边缘内包能量计算部25a的边缘提取部253a在实施方式1所说明的前阶段处理(参照图7的步骤a3)中针对每个像素计算出的梯度强度，从处理对象的生物体内管腔图像中将梯度强度值是规定值以上的像素作为边缘提取(步骤h1)。这是通过应用公知的Canny(坎尼)、Harris(哈里斯)等边缘提取技术来实现的。

接着，弯曲点检测部254a检测在步骤h1中提取的边缘的弯曲点(步骤h3)。接着，端点检测部255a检测在步骤h1中提取出的边缘的端点(步骤h5)。这里，所谓弯曲点就是边缘以预先设定的规定值以上的曲率弯曲的点。例如，可利用公知的2阶微分及内积等来计算处于附近位置的边缘点间的曲率，由此能够实现边缘弯曲点的检测。另外，例如可通过应用公知的特征点提取技术(参考：CG-ARTS協会、ディジタル画像処理、P188、細線の特徴抽出)来实现边缘端点的检测。然后，返回图16的步骤g1，转移至步骤g2。

并且，在步骤g2中，能量计算部24a执行能量计算处理。对初始闭区域进行该能量计算处理，并针对每个控制点计算边缘内包能量、内部能量、图像能量以及外部能量这4个能量的值。图18是示出实施方式2中的能量计算处理的详细处理过程的流程图。此外，在图18中，对与实施方式1相同的处理步骤标注相同的符号。

如图18所示，在实施方式2的能量计算处理中，首先边缘内包能量计算部25a执行边缘内包判定处理(步骤i1)。图19是示出实施方式2中的边缘内包判定处理的详细处理过程的流程图。

如图19所示，在实施方式2的边缘内包判定处理中，针对每个控制点执行循环C的处理(步骤j 1～步骤j 13)。在该循环C中，边缘内包能量计算部25a首先以与实施方式同样的要领进行步骤j3～步骤j7的处理。即，边缘内包能量计算部25a求出连接作为处理对象的控制点的控制点A_i(i＝0、1、2…、n：n是控制点数)和与该控制点A_i顺时针方向邻接的控制点A_i+1的矢量V1_i(步骤j3)。接着，边缘内包能量计算部25a求出连接与控制点A_i顺时针方向邻接的控制点A_i+1和闭区域的重心W的矢量V2_i(步骤j5)。并且，边缘内包能量计算部25a求出连接闭区域的重心W和控制点A_i的矢量V3_i(步骤j7)。

接着，外积计算部256a依次关注在图17的步骤h3中检测出的边缘的弯曲点以及在步骤h5中检测出的边缘的端点，针对所求出的3个矢量V1_i、V2_i、V3_i分别计算与从其起始点到所关注的弯曲点及端点的矢量的外积，由此来判定内包在处理对象的控制点的内包判定区域、即将控制点A_i、控制点A_i+1以及重心W作为顶点的三角形内的边缘的弯曲点以及端点(步骤j9)。如果计算出的外积符号全部相同，则将该关注像素判定为内包判定区域内的像素。在所有符号不一致的情况下，将该关注像素判定为内包判定区域外的像素。

然后，边缘内包能量计算部25a对被判定为内包在内包判定区域中的边缘的弯曲点以及端点的数量进行计数，计算作为内包状况一例的内包数Xi(i＝0、1、2…、n：n是控制点数)(步骤j 11)。

当如以上那样计算出内包数Xi时，结束关于处理对象的控制点的循环C的处理。并且，在对全部控制点执行了循环C的处理之后，返回图18的步骤i1，转移至步骤i3。

然后，在步骤i3中，边缘内包能量计算部25a针对每个控制点计算边缘内包能量(Ei)，该边缘内包能量(Ei)表示梯度强度是规定值以上的像素越多地存在于闭区域内(实际上在对应的内包判定区域内)其值越大。在实施方式2中，按照下式(6)，根据在图19的步骤j11中计算出的内包数Xi来计算边缘内包能量Ei，使得内包数Xi越多(在对应的内包判定区域内内包边缘的弯曲点以及端点越多)其值越大。

E_i＝Xi(i＝0、1、2…n：n是控制点数)…(6)

如以上那样，通过计算边缘内包能量的值使得在内包判定区域内内包边缘的弯曲点以及端点越多其值越大，能够提取对沟位置或轮廓部分等边缘(线边缘)向闭区域内的内包进行了限制的闭区域。然后，能量计算部24a与实施方式1同样地进行步骤c5以后的处理。并且，如果计算了边缘内包能量、内部能量、图像能量以及外部能量这4个能量的值，则返回图16的步骤g2，然后转移至步骤b3。

然后，在步骤b3中，能量加权和计算部27根据针对初始闭区域在步骤g2中计算出的边缘内包能量、内部能量、图像能量以及外部能量的值，与实施方式1同样地计算这4个能量的加权和。

接着，更新范围决定部29a判定有无边缘内包能量的值是预先设定的阈值以上的控制点。并且，更新范围决定部29a在具有边缘内包能量的值是规定阈值以上的控制点的情况下(步骤b5：是)，执行更新范围决定处理(步骤g7)。另一方面，在没有边缘内包能量值是规定阈值以上的控制点的情况下(步骤b5：否)，更新范围决定部29a如实施方式1所说明的那样，将全部控制点作为控制点的更新范围(步骤b11)。

图20是示出在步骤g7中执行的更新范围决定处理的详细处理过程的流程图。如图20所示，在更新范围决定处理中，首先形状信息计算部30a的面积计算部301a计算闭区域的面积(步骤k1)。接着，周围长计算部302a计算闭区域的周围长(步骤k3)。

接着，曲率计算部303a计算各控制点位置处的闭区域边界的曲率(步骤k5)。具体地说，例如，曲率计算部303a针对每个控制点计算从控制点分别朝向与两侧邻接的两个控制点的矢量的外积，作为相应的控制点位置处的闭区域边界的曲率。

接着，更新范围决定部29a根据所计算出的闭区域的面积、闭区域的周围长以及闭区域的边界曲率，来计算更新范围外的范围(步骤k7)。这里，所谓在步骤k5中计算出的闭区域的边界曲率值大就是在其候选点位置上闭区域的边界较大弯曲的意思。当这种弯曲大的位置的控制点移动时，在更新后的闭区域中边界有可能更大地弯曲。因此，在步骤k7中，根据包含该边界曲率的闭区域的形状信息来计算更新范围外的范围。例如，更新范围决定部29a计算更新范围外的范围，使得闭区域的面积、周围长以及边界的曲率越大，该范围越广。此外，在本例中可采用闭区域的面积、周围长以及边界曲率中的1个以上来计算更新范围外的范围。

然后，更新范围决定部29a将与边缘内包能量值是规定阈值以上的控制点的距离处于在步骤k7中计算出的范围内的控制点除外，决定控制点的更新范围(步骤k9)。然后，返回图16的步骤g7，并转移至步骤b13。

并且，在步骤b13中，闭区域更新部28a根据在步骤g7或步骤b11中决定的更新范围，与实施方式1同样地通过移动更新范围内的控制点来更新闭区域的形状(步骤b13)。然后，能量计算部24a执行能量计算处理(步骤g15)。在该步骤g15中，针对在步骤b13中更新的更新后的闭区域执行图18所示的能量计算处理。然后，转移至步骤b17。

如以上所说明的那样，在实施方式2中，计算边缘内包能量的值，使得在对应的内包判定区域中内包边缘的弯曲点以及端点越多其值越大。另外，此时决定控制点的更新范围，使得如下的控制点不移动，该不移动的控制点是边缘内包能量的值是预先设定的阈值以上并且被估计为沟位置或轮廓部分等线边缘进入到对应的内包判定区域的控制点。由此，可实现与实施方式1同样的效果。另外，在实施方式2中，根据面积、周围长及边界曲率这样的闭区域的形状信息来计算更新范围外的范围，根据计算出的范围来决定控制点的更新范围。因此，能够更适当地提取在内部不包含反映在生物体内管腔图像中的沟位置、其边界不包含轮廓部分这样的闭区域。

实施方式3

首先，说明实施方式3的图像处理装置的结构。图21是说明实施方式3的图像处理装置1b的功能结构的框图。此外，针对与在实施方式1中说明的结构相同的结构标注同一符号。实施方式3的图像处理装置1b如图21所示具备图像取得部11、输入部12、显示部13、记录部14b、运算部20b和控制图像处理装置1b整体动作的控制部15。

在记录部14b中记录有用于实现实施方式3的处理而从生物体内管腔图像中检测异常部位的图像处理程序141b。

另外，运算部20b包含梯度强度计算部21、闭区域提取部22b、区域合并部32和异常部位检测部33。并且，在实施方式3中，闭区域提取部22b具备初始闭区域设定部23、能量计算部24b、能量加权和计算部27和闭区域更新部28b。

能量计算部24b具备弯曲能量计算部26b。弯曲能量计算部26b计算与根据闭区域的外形决定的能量相当的弯曲能量的值。这里，弯曲能量是内部能量的一例，是表示闭区域的边界越向内侧弯曲其值越大的能量。该弯曲能量计算部26b具备外积能量计算部261b。在实施方式3中，该外积能量计算部261b针对每个控制点根据朝向邻接控制点的矢量的外积来计算外积能量值，将该外积能量值作为弯曲能量值。

闭区域更新部28b具备更新范围决定部29b。该更新范围决定部29b具备边缘信息检测部311b、端点弯曲点距离计算部312b和边缘距离计算部313b。边缘信息检测部311b根据生物体内管腔图像的各像素的梯度强度，将梯度强度是规定值(例如，与作为提取闭区域时的条件的规定值相同的值)以上的像素作为边缘提取，检测所提取的边缘的端点以及弯曲点作为边缘信息。端点弯曲点距离计算部312b计算边缘的端点或弯曲点与弯曲能量值是预先设定的阈值以上的控制点之间的距离(端点弯曲点距离)。边缘距离计算部313b计算边缘与弯曲能量值是预先设定的阈值以上的控制点之间的距离(边缘距离)。

接着，说明实施方式3的图像处理装置1b所进行的具体处理过程。图22是示出实施方式3的图像处理装置1b所进行的处理过程的整体流程图。此外，通过运算部20b执行记录部14b所记录的图像处理程序141b来实现这里所说明的处理。另外，在图22中对与实施方式1相同的处理步骤标注同一符号。

如图22所示，在实施方式3中，在步骤a5中初始闭区域设定部23设定了初始闭区域之后，闭区域提取部22b执行闭区域提取处理(步骤17)。图23是示出实施方式3中的闭区域提取处理的详细处理过程的流程图。

如图23所示，在实施方式3的闭区域提取处理中，首先更新范围决定部29b的边缘信息检测部311b执行边缘信息检测处理(步骤m1)。以与实施方式2中参照图17说明的边缘提取处理同样的处理过程进行该边缘信息检测处理。具体地说，边缘信息检测部311b根据在图22的步骤a3中针对每个像素计算出的梯度强度，应用Canny、Harris等边缘提取技术从处理对象的生物体内管腔图像中提取梯度强度值是规定值以上的像素作为边缘(与图17的步骤h1同样)。然后，边缘信息检测部311b检测所提取的边缘的端点(与步骤h5同样)，并且检测所提取的边缘的弯曲点(与步骤h3相同)。

接着，能量计算部24b执行能量计算处理(步骤m3)。对初始闭区域进行该能量计算处理，针对每个控制点计算内积能量和弯曲能量的两个内部能量、图像能量以及外部能量这4个能量的值。这里，内积能量相当于在实施方式1等中说明的内部能量。图24是示出实施方式3中的能量计算处理的详细处理过程的流程图。此外，在图24中，对与实施方式1相同的处理步骤标注同一符号。

如图24所示，在实施方式3的能量计算处理中，首先弯曲能量计算部26b的外积能量计算部261b针对每个控制点计算外积能量的值，作为各控制点的弯曲能量的值(步骤n1)。图25是说明外积能量的说明图，并部分地示出闭区域的边界。例如，当着眼于图25所示的控制点Pc71时，根据分别朝向邻接两侧的控制点Pc72、Pc73的矢量V71、V72的外积，计算关于控制点Pc71的外积能量的值。该外积能量限制为，所关注的控制点Pc71相对于邻接控制点Pc72、Pc73的位置不以规定曲率以上的曲率向闭区域的内侧弯曲。在实际的处理中，例如按照下式(7)、(8)，根据关注的控制点v₂以及邻接的控制点v₁、v₃这3个控制点v₁、v₂、v₃间的矢量x_a、x_b的外积来计算外积能量E_c。此外，式子(8)的ε表示对外积能量E_c的加权系数，可根据经验法则来决定值。另外，该ε值可以为固定值，例如可根据用户的操作输入等来进行可变地设定。

在(x_ay_b-x_by_a)>0的情况下，E_c(i)＝0…(7)

在其以外的情况下，ε_c(i)＝ε|x_ay_b-x_by_a|…(8)

其中，

(x_a，y_a)＝(x₂-x₁，y₂-y₁)

(x_b，y_b)＝(x₃-x₂，y₃-y₂)

V₁＝(x₁，x₁)

V₂＝(x₂，x₂)

V₃＝(x₃，x₃)。

另外，能量计算部24b进行与图9的步骤c5同样的处理来计算在实施方式1中说明的内部能量，作为内积能量(步骤n5)。然后，能量计算部24b与实施方式1同样地进行步骤c7以后的处理，计算图像能量以及外部能量的各值。当如以上那样计算了4个能量的值时，返回图23的步骤m3，然后转移至步骤m5。

并且，在步骤m5中，能量加权和计算部27根据针对初始闭区域在步骤m3中计算出的内积能量与弯曲能量的两个内部能量、图像能量以及外部能量的值来计算这4个能量的加权和。具体地说，4个能量的加权和被计算为在步骤m3中针对每个控制点计算出的内积能量与弯曲能量的两个内部能量、图像能量以及外部能量这4个能量的加权和(已加权的内积能量、弯曲能量、图像能量以及外部能量之和)的总和。

接着，更新范围决定部29b判定有无弯曲能量值是预先设定的阈值以上的控制点。并且，更新范围决定部29b在具有弯曲能量值是规定阈值以上的控制点的情况下(步骤m7：是)，执行更新范围决定处理(步骤m9)。另一方面，在没有弯曲能量值是规定阈值以上的控制点的情况下(步骤m7：否)，更新范围决定部29b将全部控制点作为控制点的更新范围(步骤m11)。

图26是示出在步骤m9中执行的更新范围决定处理的详细处理过程的流程图。如图26所示，在更新范围决定处理中，首先，更新范围决定部29b的端点弯曲点距离计算部312b计算从在图23的步骤m1中检测出的边缘的端点或弯曲点到弯曲能量值是规定阈值以上的控制点的端点弯曲点距离(步骤o1)。在具有多个边缘的端点或弯曲点的情况下，将与最近的边缘的端点或弯曲点的距离作为端点弯曲点距离计算。

接着，如图26所示，边缘距离计算部313b计算从在图23的步骤m1中提取出的边缘到弯曲能量值是规定阈值以上的控制点的边缘距离(步骤o3)。具体地说，将弯曲能量值是规定阈值以上的控制点与最接近的边缘上的位置的距离作为边缘距离计算。

并且，更新范围决定部29b根据计算出的端点弯曲点距离和/或边缘距离，计算更新范围外的范围(步骤o5)。这里，当在闭区域的外侧存在边缘及其端点、或者较大弯曲的边缘(边缘的弯曲点)时，可产生如下的情况：在闭区域变形的过程中边缘进入闭区域的内部，或者闭区域的边界沿着边缘扩展，提取出包含其边界较大弯曲的边缘这样的闭区域。因此，在步骤o5中，根据从弯曲能量值是规定阈值以上并且进行某种程度弯曲的控制点位置到边缘端点或弯曲点的端点弯曲点距离，计算更新范围外的范围。具体地说，端点弯曲点距离越小、即从控制点位置到边缘的端点或弯曲点的距离越近，计算出的更新范围外的范围越广。另外，如上所述根据从进行某种程度弯曲的控制点位置到边缘的边缘距离来计算更新范围外的范围。具体地说，边缘距离越小、即从该控制点位置到边缘的距离越近，计算出的更新范围外的范围越广。由此，可实现满足如下条件的闭区域的提取，该条件是在区域内部不包含梯度强度是规定值以上的像素、且区域边界不以规定曲率以上的曲率向该区域内侧弯曲。

此外，在仅采用端点弯曲点距离计算更新范围外的范围时，可以不进行步骤o1的处理，另外，在仅采用边缘距离计算更新范围外的范围时，可以不进行步骤o3的处理。

并且，更新范围决定部29b将与弯曲能量值是规定阈值以上的控制点的距离处于在步骤o5中计算出的范围内的控制点除外，来决定控制点的更新范围(步骤o7)。然后，返回图23的步骤m9，转移至步骤m13。

并且，在步骤m13中，闭区域更新部28b根据在步骤m9或步骤m11中决定的更新范围，通过使更新范围内的控制点移动来更新闭区域的形状。以与实施方式1同样的处理过程进行这里的处理(参照图8的步骤b13)。然后，能量计算部24b执行能量计算处理(步骤m15)。在该步骤m15中，针对在步骤m13中更新的更新后的闭区域，以与步骤m3同样的处理过程执行能量计算处理(参照图24)。然后，转移至步骤m17。

并且，在步骤m17中，能量加权和计算部27针对在步骤m13中的更新后的闭区域，计算在步骤m17中计算出的内积能量与弯曲能量的两个内部能量、图像能量以及外部能量这4个能量的加权和。与步骤m5同样地进行这里的处理。

接着，闭区域更新部28b对在步骤m13中更新前的更新前能量加权和与在步骤m13中更新后的更新后能量加权和进行比较来修正闭区域的形状(步骤m19)。以与实施方式1同样的处理过程进行这里的处理(参照图8的步骤b19)。

然后，闭区域更新部28b判定反复的结束。并且，闭区域更新部28b在判定为反复不结束的情况下(步骤m21：否)，对本次更新的闭区域的形状进行步骤m7～步骤m19的处理，将闭区域的形状更新下去。另一方面，在判定为反复结束的情况下(步骤m21：是)，结束闭区域提取处理。然后，返回图22的步骤17，转移至步骤a9。

如以上说明的那样，在实施方式3中，针对每个控制点根据朝向邻接控制点的矢量的外积来计算外积能量的值，并计算表示闭区域的边界越向内侧弯曲其值越大的弯曲能量的值。然后，通过使包含该弯曲能量的多个能量的加权和最小来更新形状，从而提取闭区域。另外，此时在弯曲能量的值是预先设定的阈值以上并且相应的控制点位置进行某程度的弯曲的情况下，计算与该控制点位置的端点弯曲点距离以及边缘距离，并根据端点弯曲点距离和/或边缘距离来决定更新范围。具体地说，通过将端点弯曲点距离和/或边缘距离越小、以相应的控制点位置为基准的越宽的范围作为更新范围外，来决定控制点的更新范围。因此，可适当地提取在内部不包含反映在生物体内管腔图像中的沟位置、其边界不包含轮廓部分这样的闭区域，针对所提取的每个闭区域，可通过应用形态学处理来检测闭区域内部的异常部位。由此，不会将沟位置或轮廓部分误检测为异常部位，可从生物体内管腔图像中高精度地检测异常部位。

实施方式4

首先，说明实施方式4的图像处理装置的结构。图27是说明实施方式4的图像处理装置1c的功能结构的框图。此外，对与在实施方式3中说明的结构相同的结构标注同一符号。实施方式4的图像处理装置1c如图27所示具备图像取得部11、输入部12、显示部13、记录部14c、运算部20c和控制图像处理装置1c整体动作的控制部15。

在记录部14c中记录有用于实现实施方式4的处理而从生物体内管腔图像中检测异常部位的图像处理程序141c。

另外，运算部20c包含梯度强度计算部21、闭区域提取部22c、区域合并部32和异常部位检测部33。并且，在实施方式4中，闭区域提取部22c具备初始闭区域设定部23、能量计算部24c、能量加权和计算部27和闭区域更新部28c。

能量计算部24c具备弯曲能量计算部26c。弯曲能量计算部26c具有大局外积能量计算部262c。在实施方式4中，该大局外积能量计算部262c针对每个控制点，根据朝向相距预先设定的距离以上的控制点的矢量的外积，计算大局外积能量的值，将该大局外积能量的值作为弯曲能量的值。另外，闭区域更新部28c具备决定控制点的更新范围的更新范围决定部29c。

接着，说明实施方式4的图像处理装置1c进行的具体处理过程。此外，通过运算部20c执行记录部14c所记录的图像处理程序141c来实现这里说明的处理。在实施方式4中，在图22的整个流程图中，步骤17的闭区域提取处理与实施方式3不同。图28是示出实施方式4中的闭区域提取处理的详细处理过程的流程图。此外，在图28中，对与实施方式3相同的处理步骤标注同一符号。

如图28所示，在实施方式4的闭区域提取处理中，首先能量计算部24c执行能量计算处理(步骤p3)。对初始闭区域进行该能量计算处理，针对每个控制点计算内积能量与弯曲能量的两个内部能量、图像能量以及外部能量这4个能量的值。图29是示出实施方式4中的能量计算处理的详细处理过程的流程图。此外，在图29中，对与实施方式3相同的处理步骤标注同一符号。

如图29所示，在实施方式4的能量计算处理中，首先弯曲能量计算部26c的大局外积能量计算部262c针对每个控制点计算大局外积能量的值，作为各控制点的弯曲能量的值(步骤q1)。在该步骤q1中，针对每个控制点，根据分别朝向在其两侧相距预先设定的距离以上而存在的控制点的矢量的外积，计算关于各控制点的大局外积能量。能够以与实施方式3的外积能量同样的要领来计算该大局外积能量。即，在上述式子(7)、(8)中，可通过将邻接的控制点v₁、v₃作为在关注的控制点两侧相距规定距离以上而存在的控制点，来计算大局外积能量。

然后，能量计算部24c与实施方式3同样地进行步骤n5以后的处理，计算内积能量、图像能量以及外部能量的各个值。当如以上那样计算出4个能量的值时，返回图28的步骤p3，然后转移至步骤m5。

另外，在实施方式4中，当在步骤m7中判定为具有弯曲能量的值是规定阈值以上的控制点时(步骤m7：是)，更新范围决定部29c将与弯曲能量是规定阈值以上的控制点的距离处于预先设定的规定范围内的控制点除外，来决定控制点的更新范围(步骤p9)。此外，不仅限于将从更新范围除外的范围作为预先设定的规定范围的情况，还可以执行在实施方式3中说明的更新范围决定处理(参照图20)来决定更新范围。由此，可限制闭区域的边界以规定曲率以上的曲率向内侧弯曲这样的形状更新。

然后，闭区域更新部28c根据在步骤p9或步骤m11中决定的更新范围，通过使更新范围内的控制点移动来更新闭区域的形状(步骤m13)。接着，能量计算部24c执行能量计算处理(步骤p15)。在该步骤p15中，针对在步骤m13中更新的更新后闭区域以与步骤p3同样的处理过程执行能量计算处理(参照图29)。然后，转移至步骤m17。

如以上所说明的那样，在实施方式4中，针对每个控制点根据朝向相距规定距离以上的控制点的矢量的外积，计算大局外积能量的值，计算表示闭区域的边界越向内侧弯曲其值越大的弯曲能量的值。并且，通过使包含该弯曲能量的多个能量的加权和最小来更新形状，从而提取闭区域。另外，此时能够决定控制点的更新范围，使得下次更新闭区域的形状时如下的控制点不移动，该不移动的控制点是在弯曲能量的值是预先设定的阈值以上并且相应的控制点位置进行某种程度弯曲时相对于该控制点位置存在于预定范围内的控制点。因此，可适当提取在内部不包含反映在生物体内管腔图像中的沟位置、其边界不包含轮廓部分这样的闭区域，针对所提取出的每个闭区域，可通过应用形态学处理来检测闭区域内部的异常部位。由此，不会将沟位置或轮廓部分误检测为异常部位，可从生物体内管腔图像中高精度地检测异常部位。

实施方式5

首先，说明实施方式5的图像处理装置的结构。图30是说明实施方式5的图像处理装置1d的功能结构的框图。此外，对与在实施方式3中说明的结构相同的结构标注同一符号。实施方式5的图像处理装置1d如图30所示具备图像取得部11、输入部12、显示部13、记录部14d、运算部20d和控制图像处理装置1d整体动作的控制部15。

在记录部14d中记录有用于实现实施方式5的处理而从生物体内管腔图像中检测异常部位的图像处理程序141d。

另外，运算部20d包含梯度强度计算部21、闭区域提取部22d、区域合并部32和异常部位检测部33。并且，在实施方式5中，闭区域提取部22d具备初始闭区域设定部23、能量计算部24d、能量加权和计算部27和闭区域更新部28d。

能量计算部24d具备弯曲能量计算部26d。弯曲能量计算部26d具备多重外积能量计算部263d。另外，闭区域更新部28d具有决定控制点的更新范围的更新范围决定部29d。这里，参照图31来说明实施方式5中的弯曲能量的计算原理。图31是说明弯曲能量的说明图，部分地示出闭区域的边界。例如，当着眼于图31所示的控制点Pc8时，在弯曲能量的计算中，从在控制点Pc8的两侧相距预先设定的规定数的控制点内依次选择外积计算对象的控制点组、例如在两侧相距4个控制点的两个控制点Pc841、Pc842。并且，根据分别朝向这些各控制点Pc841、Pc842的矢量V841、V842的外积，以与实施方式4同样的要领来计算作为外积能量一例的关于控制点Pc8的大局外积能量。然后，判定所获得的大局外积能量值是否是预先设定的阈值以上，如果是规定阈值以上则将该值作为关于控制点Pc8的弯曲能量值。另一方面，在小于阈值的情况下，将作为本次外积计算对象的控制点组的各控制点Pc841、Pc842朝向控制点Pc8侧挪动1个控制点的控制点Pc831、P832选择为新的外积计算对象的控制点组。并且，以同样的要领计算大局外积能量，如果是规定阈值以上，则将该值作为关于控制点Pc8的弯曲能量的值。另一方面，在小于阈值的情况下，进一步将控制点Pc8侧的控制点Pc821、Pc822选择为外积计算对象的控制点组进行同样的处理。最终，在将与控制点Pc8邻接的控制点Pc811、Pc812选择为外积计算对象的控制点组的情况下，以与实施方式3同样的要领计算外积能量的值，将该外积能量的值作为关于控制点Pc8的弯曲能量的值。

例如，在图31中，将控制点Pc831、Pc832作为外积计算对象的控制点组，假设根据矢量V831、V832的外积计算出的大局外积能量的值是规定阈值以上。在此情况下，将该大局外积能量的值作为关于控制点Pc8的弯曲能量的值。这样，可确定闭区域边界弯曲的范围、即控制点Pc831、Pc832间的范围。此外，在实施方式5中，根据这样确定的控制点Pc831、Pc832间的范围来决定下次更新闭区域的形状时的控制点的更新范围。

接着，说明实施方式5的图像处理装置1d进行的具体处理过程。此外，通过运算部20d执行记录部14d所记录的图像处理程序141d来实现这里说明的处理。在实施方式5中，在图22的整个流程图内，步骤17的闭区域提取处理与实施方式3不同。图32是示出实施方式5中的闭区域提取处理的详细处理过程的流程图。此外，在图32中，对与实施方式3相同的处理步骤标注同一符号。

如图32所示，在实施方式5的闭区域提取处理中，首先，能量计算部24d执行能量计算处理(步骤r3)。对初始闭区域进行该能量计算处理，针对每个控制点计算内积能量与弯曲能量的两个内部能量、图像能量以及外部能量这4个能量的值。图33是示出实施方式5中的能量计算处理的详细处理过程的流程图。此外，在图33中，对与实施方式3相同的处理步骤标注同一符号。

如图33所示，在实施方式5的能量计算处理中，首先针对每个控制点执行循环D的处理(步骤s1～步骤s15)。在该循环D中，首先弯曲能量计算部26d将从处理对象的控制点向两侧相距预先设定的规定数的两个控制点选择为外积计算对象的控制点组(步骤s3)。

接着，多重外积能量计算部263d根据分别朝向所选择的外积计算对象的控制点组的各个控制点的矢量的外积来计算大局外积能量或外积能量(步骤s5)。即，在步骤s5中，当在处理对象的控制点与外积计算对象的控制点之间存在其它控制点时，以与实施方式4同样的要领计算大局外积能量(参照图29的步骤q1)，在处理对象的控制点与外积计算对象的控制点邻接的情况下，以与实施方式3同样的要领计算外积能量(参照图24的步骤n1)。

然后，多重外积能量计算部263d在步骤s5中计算出外积能量值的情况下(步骤s7：是)、或者在步骤s5中计算出的大局外积能量值是预先设定的阈值以上的情况下(步骤s9：是)，将该值作为弯曲能量值(步骤s11)。另一方面，当在步骤s5中没有计算出外积能量值的情况下(步骤s7：否)、并且在步骤s5中计算出的大局外积能量值小于规定阈值时(步骤s9：否)，将作为本次外积计算对象的控制点组朝向控制侧挪动1个处理对象的控制点组选择为新的外积计算对象(步骤s13)，返回步骤s5进行上述的处理。

当如以上那样获得了弯曲能量值时，结束关于处理对象的控制点的循环D的处理。然后，如果针对所有控制点执行了循环D的处理，则能量计算部24d与实施方式3同样地进行步骤n5以后的处理，计算内积能量、图像能量以及外部能量的各个值。并且，如果计算出4个能量值，则返回图32的步骤r3，然后转移至步骤m5。

另外，在实施方式5中，在步骤m7内，当判定为具有弯曲能量值是规定阈值以上的控制点时(步骤m7：是)，更新范围决定部29d将在计算出该弯曲能量时作为外积计算对象的控制点组的控制点和相对于该控制点组的各控制点处于规定范围的外侧控制点除外，来决定控制点的更新范围(步骤r9)。例如，参照图31所说明的那样，当根据从控制点Pc8朝向控制点Pc831、Pc832的矢量V831、V832的外积而计算出的大局外积能量值作为弯曲能量值时，将包含控制点Pc831、Pc832外侧的规定范围内的控制点的在图31中用双点划线示出的范围E8内的控制点除外，来决定控制点的更新范围。由此，在后阶段的步骤m13中接着更新闭区域的形状时，使范围E8外的控制点移动。

然后，闭区域更新部28d根据在步骤r9或步骤m11中决定的更新范围，使更新范围内的控制点移动，由此来更新闭区域的形状(步骤m13)。接着，能量计算部24d执行能量计算处理(步骤r15)。在该步骤r15中，针对在步骤m13中更新的更新后闭区域以与步骤r3同样的处理过程执行能量计算处理(参照图33)。然后，转移至步骤m17。

如以上说明的那样，在实施方式5中，针对每个控制点从与处理对象的控制点相距某程度距离的控制点开始依次计算大局外积能量，最终通过计算外积能量，能够确定边界弯曲的范围。并且，可将所确定的范围及其外侧的规定范围除外来决定控制点的更新范围，所以可更适当地提取在内部不包含反映在生物体内管腔图像中的沟位置、其边界不包含轮廓部分这样的闭区域，针对所提取的每个闭区域，通过应用形态学处理，能够检测闭区域内部的异常部位。从而，不会将沟位置或轮廓部分误检测为异常部位，可从生物体内管腔图像中高精度地检测异常部位。

实施方式6

首先，说明实施方式6的图像处理装置的结构。图34是说明实施方式6的图像处理装置1e的功能结构的框图。此外，对与在实施方式4中说明的结构相同的结构标注同一符号。实施方式6的图像处理装置le如图34所示具备图像取得部11、输入部12、显示部13、记录部14e、运算部20e和控制图像处理装置1e整体动作的控制部15。

在记录部14e中记录有用于实现实施方式6的处理而从生物体内管腔图像中检测异常部位的图像处理程序141e。

另外，运算部20e包含梯度强度计算部21、闭区域提取部22e、区域合并部32和异常部位检测部33。并且，在实施方式6中，闭区域提取部22e具备初始闭区域设定部23、能量计算部24e、能量加权和计算部27和闭区域更新部28c。

能量计算部24e具备弯曲能量计算部26e。弯曲能量计算部26e具备凸状能量计算部264e。在实施方式6中，该凸状能量计算部264e针对每个控制点，根据朝向其它控制点的矢量的闭区域内的内包状况来计算凸状能量的值，将该凸状能量的值作为弯曲能量的值。这里，凸状能量是表示连接控制点之间的直线在闭区域内内包得越多其值越大的能量。

这里，参照图35来说明实施方式6中的凸状能量的计算原理。图35是说明凸状能量的说明图，示出边界的一部分弯曲的闭区域E9。例如，当着眼于图35所示的控制点Pc9时，在凸状能量的计算中计算从控制点Pc9朝向其它所有控制点的矢量。并且，根据计算出的矢量中没有内包于闭区域E9中的矢量数来计算凸状能量的值。例如，在图35中，从控制点Pc9分别朝向其它控制点的矢量中的朝向控制点Pc91及控制点Pc92的矢量V91内包于闭区域E9中。另一方面，朝向边界弯曲处的控制点(例如控制点Pc93及控制点Pc94)的矢量V92没有内包于闭区域E9中。在实施方式6中，根据该矢量V92这样的没有内包于闭区域E9中的矢量数来计算关于各控制点的凸状能量值，并将计算出的凸状能量的值作为弯曲能量的值。

接着，说明实施方式6的图像处理装置1e进行的具体处理过程。此外，通过运算部20e执行记录部14e所记录的图像处理程序141e来实现这里说明的处理。在实施方式6中，与实施方式4同样地计算弯曲能量的值，但其计算方法与实施方式4不同，在图28的闭区域计算处理中，在步骤p3以及步骤p15中进行的能量计算处理的过程与实施方式4不同。图36是示出实施方式6中的能量计算的详细处理过程的流程图。此外，在图36中，对与实施方式3相同的处理步骤标注同一符号。

如图36所示，在实施方式6的能量计算处理中，首先，凸状能量计算部264e执行弯曲能量计算处理(步骤t1)。图37是示出实施方式6中的弯曲能量计算处理的详细处理过程的流程图。此外，在图37中，对与实施方式3相同的处理步骤标注同一符号。如图37所示，在实施方式6的弯曲能量计算处理中，针对每个控制点A_i(i＝0、1、2…、n：n是控制点数)执行循环E的处理(步骤u1～步骤u9)。在该循环E中，首先，凸状能量计算部264e计算从处理对象的控制点A_i朝向其它所有控制点A_j(j＝0、1、2…、m：m是其它控制点数)的矢量V_ij(步骤u3)。接着，凸状能量计算部264e判定在步骤u3中计算出的矢量V_ij是否内包于闭区域中，对判定为没有内包的矢量V_ij的数量进行计数，计算作为内包状况的一例的非内包矢量数(步骤u5)。然后，凸状能量计算部264e根据在步骤u5中计算出的非内包矢量数，按照下式(9)来计算表示非内包矢量数越多其值越大的凸状能量E_c，作为弯曲能量的值(步骤u7)。

凸状能量E_c＝非内包矢量数/(总控制点数-1)。…(9)

当如以上那样获得弯曲能量的值时，结束针对处理对象的控制点的循环E的处理。并且，如果对所有控制点执行了循环E的处理，则返回图36的步骤t1。通过计算该凸状能量的值作为弯曲能量的值，能够实现满足如下条件的闭区域的提取，该条件为区域边界不以规定曲率以上的曲率向该区域内侧弯曲。

然后，能量计算部24e与实施方式1同样地进行步骤n5以后的处理，计算内积能量、图像能量以及外部能量的各个值。

如以上所说明的那样，在实施方式6中，通过计算从各控制点朝向其它控制点的矢量并判断是否内包于闭区域中来计算凸状能量的值，由此计算表示闭区域边界越向内侧弯曲其值越大的弯曲能量的值。并且，通过使包含该弯曲能量的多个能量的加权和最小来更新形状，从而提取闭区域。因此，可适当提取在内部不包含反映在生物体内管腔图像中的沟位置、其边界不包含轮廓部分这样的闭区域，针对所提取的每个闭区域，可通过应用形态学处理来检测闭区域内部的异常部位。由此，不会将沟位置或轮廓部分误检测为异常部位，可从生物体内管腔图像中高精度地检测异常部位。

此外，可通过在个人计算机或工作站等计算机系统中执行预先准备的程序来实现上述的实施方式1的图像处理装置1、实施方式2的图像处理装置1a、实施方式3的图像处理装置1b、实施方式4的图像处理装置1c、实施方式5的图像处理装置1d、实施方式6的图像处理装置1e。以下，说明与在各实施方式1～6中说明的图像处理装置1、1a、1b、1c、1d、1e具有同样功能并执行图像处理程序141、141a、141b、141c、141d、141e的计算机系统。

图38是示出本变形例中的计算机系统400的结构的系统结构图，图39是示出构成该计算机系统400的主体部410的结构的框图。如图38所示，计算机系统400具备：主体部410、用于根据来自主体部410的指示在显示画面421上显示图像等信息的显示器420、用于向该计算机系统400输入各种信息的键盘430和用于指定显示器420的显示画面421上的任意位置的鼠标440。

另外，该计算机系统400中的主体部410如图38以及图39所示，具有：CPU 411、RAM 412、ROM 413、硬盘驱动器(HDD)414、可接受CD-ROM 460的CD-ROM驱动器415、可拆装地连接USB存储器470的USB端口416、连接显示器420、键盘430以及鼠标440的I/O接口417、用于与局域网或广域网(LAN/WAN)N1连接的LAN接口418。

此外，在该计算机系统400中连接有用于与互联网等公共线路N3连接的调制解调器450，并且经由LAN接口418以及局域网或广域网Nl连接作为其它计算机系统的个人计算机(PC)481、服务器482、打印机483等。

并且，该计算机系统400通过读出并执行记录介质所记录的图像处理程序(例如实施方式1的图像处理程序141、实施方式2的图像处理程序141a、实施方式3的图像处理程序141b、实施方式4的图像处理程序141c、实施方式5的图像处理程序141d及实施方式6的图像处理程序141e)，来实现图像处理装置(例如，实施方式1的图像处理装置1、实施方式2的图像处理装置1a、实施方式3的图像处理装置1b、实施方式4的图像处理装置1c、实施方式5的图像处理装置1d及实施方式6的图像处理装置1e)。这里，所谓记录介质除了CD-ROM 460及USB存储器470之外，还包括如下介质等记录可由计算机系统400读取的图像处理程序的所有记录介质：包含MO光盘、DVD光盘、软盘(FD)及IC卡等的“移动用物理介质”；在计算机系统400内外具备的HDD 414、RAM 412及ROM 413等“固定用物理介质”；如经由调制解调器450连接的公共线路N3及连接有作为其它计算机系统的PC 481或服务器482的局域网或广域网Nl等那样、在程序发送时短期存储程序的“通信介质”。

即，图像处理程序以计算机可读取的方式记录在“可移动用物理介质”、“固定用物理介质”、“通信介质”等记录介质中，计算机系统400通过从这样的记录介质中读出并执行图像处理程序来实现图像处理装置。此外，图像处理程序不仅限于通过计算机系统400执行，在作为其它计算机系统的PC 481及服务器482执行图像处理程序的情况和它们联动地执行图像处理程序的情况下，也能够同样地应用本发明。

另外，本发明不仅限于上述各实施方式1～6及其变形例，可通过适当组合各实施方式及变形例所公开的多个构成要素来形成各种发明。例如，可从各实施方式及变形例所示的全部构成要素中去除几个构成要素来形成。或者，可适当组合不同的实施方式及变形例所示的构成要素来形成。

根据以上说明的本发明，能够起到可从生物体内管腔图像中高精度地检测异常部位这样的效果。

Claims (23)

1.一种图像处理装置，其具有：

梯度强度计算部，其根据对生物体内管腔进行摄像所得的生物体内管腔图像来计算各个像素的像素值的梯度强度；

闭区域提取部，其将在区域内部不包含所述梯度强度在规定值以上的像素且区域的边界不以规定曲率以上的曲率向该区域的内侧弯曲作为条件，提取满足该条件的闭区域；以及

异常部位检测部，其从所述闭区域的内侧检测异常部位，

所述闭区域提取部具有：

初始闭区域设定部，其设定所述闭区域的初始形状；

能量计算部，其计算至少包含由所述闭区域的外形决定的能量以及由所述闭区域中的所述梯度强度决定的能量在内的多个能量的值；

能量加权和计算部，其计算所述多个能量的加权和；以及

闭区域更新部，其根据所述加权和来更新所述闭区域在更新范围内的形状，

所述闭区域更新部具有更新范围决定部，该更新范围决定部根据所述多个能量中的任意一个的值来决定更新所述闭区域的形状的所述更新范围。

2.根据权利要求1所述的图像处理装置，其中，

所述能量计算部具备计算边缘内包能量值的边缘内包能量计算部，其中，所述梯度强度在所述规定值以上的像素存在于所述闭区域内部越多，该边缘内包能量值表现出越大的值。

3.根据权利要求2所述的图像处理装置，其中，

所述边缘内包能量计算部具备闭区域梯度强度计算部，该闭区域梯度强度计算部根据所述闭区域内部的所述梯度强度来计算闭区域内梯度强度，

所述边缘内包能量计算部计算边缘内包能量值，其中，所述闭区域内梯度强度越大，该边缘内包能量值表现出越大的值。

4.根据权利要求2所述的图像处理装置，其中，

所述边缘内包能量计算部具备边缘提取部，该边缘提取部将所述梯度强度在所述规定值以上的像素作为边缘提取，

所述边缘内包能量计算部根据所述闭区域内部的所述边缘计算所述边缘内包能量的值。

5.根据权利要求4所述的图像处理装置，其中，

所述边缘内包能量计算部具备：

弯曲点检测部，其检测所述边缘的弯曲点；以及

端点检测部，其检测所述边缘的端点，

所述边缘内包能量计算部根据所述闭区域内的所述弯曲点以及所述端点的内包状况来计算所述边缘内包能量的值。

6.根据权利要求5所述的图像处理装置，其中，

所述闭区域被设定为连接多个控制点而成的区域，移动该控制点来进行所述形状的更新，

所述边缘内包能量计算部具备外积计算部，该外积计算部计算从所述控制点朝向所述弯曲点以及所述端点的矢量的外积，

所述边缘内包能量计算部根据所述外积的值来计算所述边缘内包能量的值。

7.根据权利要求3所述的图像处理装置，其中，

所述边缘内包能量计算部具备增加率计算部，该增加率计算部计算所述闭区域内部的所述梯度强度在所述形状更新前后的增加率，

所述边缘内包能量计算部根据所述增加率来计算所述边缘内包能量的值。

8.根据权利要求1所述的图像处理装置，其中，

所述能量计算部具备计算弯曲能量值的弯曲能量计算部，其中，所述闭区域的边界越向内侧弯曲，该弯曲能量值表现出越大的值。

9.根据权利要求8所述的图像处理装置，其中，

所述闭区域被设定为连接多个控制点而成的区域，移动该控制点来进行所述形状的更新，

所述弯曲能量计算部具备外积能量计算部，该外积能量计算部针对每个所述控制点，根据朝向邻接控制点的矢量的外积来计算外积能量的值，

所述弯曲能量计算部将所述外积能量的值作为所述弯曲能量的值。

10.根据权利要求8所述的图像处理装置，其中，

所述闭区域被设定为连接多个控制点而成的区域，移动该控制点来进行所述形状的更新，

所述弯曲能量计算部具备大局外积能量计算部，该大局外积能量计算部针对每个所述控制点，根据朝向相距规定距离以上的控制点的矢量的外积来计算大局外积能量的值，

所述弯曲能量计算部将所述大局外积能量的值作为所述弯曲能量的值。

11.根据权利要求8所述的图像处理装置，其中，

所述闭区域被设定为连接多个控制点而成的区域，移动该控制点来进行所述形状的更新，

所述弯曲能量计算部具备多重外积能量计算部，该多重外积能量计算部反复进行以下的处理：针对每个所述控制点，根据从处理对象控制点朝向相距规定距离以上的控制点的矢量的外积来计算外积能量的值，在该外积能量的值小于规定阈值的情况下，根据朝向与相距所述规定距离的控制点相比接近于所述处理对象控制点的控制点的矢量的外积来计算外积能量的值，

所述弯曲能量计算部将所述多重外积能量计算部所计算出的外积能量的值作为所述弯曲能量的值。

12.根据权利要求8所述的图像处理装置，其中，

所述闭区域被设定为连接多个控制点而成的区域，移动该控制点来进行所述形状的更新，

所述弯曲能量计算部具备凸状能量计算部，该凸状能量计算部针对每个所述控制点，根据连接该控制点与其它控制点之间的矢量在所述闭区域内的内包状况来计算凸状能量的值，

所述弯曲能量计算部将所述凸状能量的值作为所述弯曲能量的值。

13.根据权利要求1所述的图像处理装置，其中，

所述闭区域被设定为连接多个控制点而成的区域，移动该控制点来进行所述形状的更新，

所述更新范围决定部具备控制点距离计算部，该控制点距离计算部针对每个控制点计算与所述多个能量中的至少任意一个的值在规定阈值以上的控制点的距离，

所述更新范围决定部根据所述距离从所述多个控制点中选出下次移动的控制点，由此来决定所述更新范围。

14.根据权利要求1所述的图像处理装置，其中，

所述更新范围决定部具备计算所述闭区域的形状信息的形状信息计算部，

所述更新范围决定部根据所述闭区域的形状信息来决定所述更新范围。

15.根据权利要求14所述的图像处理装置，其中，

所述形状信息计算部具备计算所述闭区域的面积的面积计算部。

16.根据权利要求14所述的图像处理装置，其中，

所述形状信息计算部具备计算所述闭区域的周围长的周围长计算部。

17.根据权利要求14所述的图像处理装置，其中，

所述形状信息计算部具备计算所述闭区域的曲率的曲率计算部。

18.根据权利要求1所述的图像处理装置，其中，

所述更新范围决定部具备边缘信息检测部，该边缘信息检测部至少将所述梯度强度在规定阈值以上的像素作为边缘提取，

所述更新范围决定部根据所述边缘来决定所述更新范围。

19.根据权利要求18所述的图像处理装置，其中，

所述边缘信息检测部检测所述边缘的端点以及所述边缘的弯曲点，

所述更新范围决定部具备端点弯曲点距离计算部，该端点弯曲点距离计算部计算与所述边缘的端点或所述边缘的弯曲点的距离，

所述更新范围决定部根据与所述边缘的端点或所述边缘的弯曲点的距离来决定所述更新范围。

20.根据权利要求18所述的图像处理装置，其中，

所述更新范围决定部具备计算与所述边缘的距离的边缘距离计算部，

所述更新范围决定部根据与所述边缘的距离来决定所述更新范围。

21.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置具备区域合并部，该区域合并部以满足所述条件的方式合并所述闭区域提取部所提取的所述闭区域。

22.根据权利要求21所述的图像处理装置，其中，

所述区域合并部具备：

合并部，其对所述闭区域中一部分重合的闭区域进行合并；以及

合并后能量计算部，其针对所述合并后的闭区域计算所述多个能量的值，

所述区域合并部根据所述合并后能量计算部所计算出的所述多个能量的值来判定是否允许所述合并。

23.一种图像处理方法，该图像处理方法包含以下步骤：

梯度强度计算步骤，根据对生物体内管腔进行摄像所得的生物体内管腔图像来计算各个像素的像素值的梯度强度；

初始闭区域设定步骤，将在区域内部不包含所述梯度强度在规定值以上的像素且区域边界不以规定曲率以上的曲率向该区域的内侧弯曲作为条件，设定满足该条件的闭区域的初始形状；

闭区域提取步骤，提取所述闭区域；以及

异常部位检测步骤，从所述闭区域的内侧检测异常部位，

所述闭区域提取步骤包括以下步骤：

能量计算步骤，计算至少包含由所述闭区域的外形决定的能量以及由所述闭区域中的所述梯度强度决定的能量在内的多个能量的值；

能量加权和计算步骤，计算所述多个能量的加权和；

更新范围决定步骤，根据所述多个能量中的任意一个的值来决定更新所述闭区域的形状的更新范围；以及

闭区域更新步骤，根据所述加权和来更新所述闭区域在所述更新范围内的形状。