CN102525381B - 图像处理装置、图像处理方法及计算机可读取的记录装置 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法及计算机可读取的记录装置，图像处理装置具有：候选点提取单元部，其从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选；以及圆形区域检测单元部，其根据所述候选点所具有的信息，检测所述图像内的圆形区域。

Description

图像处理装置、图像处理方法及计算机可读取的记录装置

本申请享受2010年12月16日申请的日本专利申请编号2010-280716的优先权的利益，该日本专利申请的全部内容被引用到本申请中。

技术领域

本发明涉及从图像中检测映出泡的区域的图像处理装置、图像处理方法以及计算机可读取的记录装置。

背景技术

以往，作为导入患者等被检者体内以非侵袭的方式对活体内进行观察的医用观察装置，内窥镜得到广泛普及。近年来，开发了如下的吞入型内视镜(胶囊型内窥镜)：在胶囊型的壳体内部收纳摄像装置和通信装置等，以无线的方式向体外发送由摄像装置摄像而得到的图像数据。通过这种医用观察装置对活体的管腔内进行摄像而得到的一系列图像(活体内图像)的数量庞大(几万张以上)，并且，针对各活体内图像的观察和诊断需要较多的经验。因此，希望具有辅助医师进行诊断的医疗诊断支援功能。

作为实现这种功能的图像识别技术之一，提出了如下技术：在医疗诊断时，从活体内图像中自动检测不需要观察的区域并去除。这里，不需要观察的区域是指作为活体组织的粘膜以外的区域，例如举出映出在管腔内产生的气泡(以下也简称为“泡”)的区域(以下称为“泡区域”)。例如，在日本特开2007-313119号公报中公开了如下方法：根据像素的梯度强度和泡图像的特征计算与预先设定的泡模型之间的相关值，将相关值为规定阈值以上的区域检测为泡区域。

发明内容

本发明的一个方式的图像处理装置具有：候选点提取部，其从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选；以及圆形区域检测部，其根据所述候选点所具有的信息，检测所述图像内的圆形区域。

本发明的另一个方式的图像处理方法包括以下步骤：从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选，根据所述候选点所具有的信息，检测所述图像内的圆形区域。

本发明的又一个方式的计算机可读取的记录装置记录有可执行的程序，其中，所述程序指示处理器执行以下步骤：从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选，根据所述候选点所具有的信息，检测所述图像内的圆形区域。

参照附图阅读以下本发明的详细说明，能够更进一步理解以上所述的内容、本发明的其他特征、优点以及技术上和产业上的意义。

附图说明

图1是示出本发明的实施方式1的图像处理装置的结构的框图。

图2是示出图1所示的初始候选点提取部的结构的框图。

图3是示出图1所示的圆形区域检测部的结构的框图。

图4是说明泡区域的构造的图。

图5是示出图1所示的图像处理装置的动作的流程图。

图6是示出图1所示的图像处理装置处理的活体内图像的一例的示意图。

图7是说明像素值的梯度为凸的方向上的梯度强度的计算方法的图。

图8是示出从图6所示的活体内图像中提取出的边缘像素的示意图。

图9是示出从图8所示的图像中作为初始候选点而提取出的边缘像素的示意图。

图10是示出根据距离值(R值)对图6所示的活体内图像进行分割后的分割区域的图。

图11是示出距离值(R值)与圆形区域的尺寸之间的对应的表。

图12是说明基于RANSAC的圆形区域的估计方法的图。

图13是说明边界区域的设定方法的图。

图14是说明表示边界区域中包含的边缘像素的连续性的评价值的计算方法的图。

图15是说明表示边界区域中包含的边缘像素相对于圆形区域的中心坐标的相对性的评价值的计算方法的图。

图16是说明表示边界区域中包含的边缘像素的圆形性的评价值的计算方法的图。

图17是示出本发明的实施方式2的图像处理装置的结构的框图。

图18是示出图17所示的投票部的结构的框图。

图19是示出图17所示的图像处理装置的动作的流程图。

图20是说明初始候选点针对参数空间的投票方法的图。

图21是说明初始候选点针对参数空间的投票方法的图。

图22是示出本发明的实施方式3的图像处理装置的结构的框图。

图23是示出图22所示的图像处理装置的动作的流程图。

图24是说明图22所示的图像处理装置的泡区域的判定方法的图。

具体实施方式

下面，参照附图说明本发明的实施方式的图像处理装置。另外，本发明不被这些实施方式限定。并且，在各附图的记载中，对相同部分标注相同标号来示出。

以下说明的实施方式的图像处理装置对通过内窥镜或胶囊内窥镜等医用观察装置摄像而得到的图像进行处理，具体而言，进行如下处理：从对被检者的活体(管腔)内进行摄像而得到的图像中检测映出泡的泡区域。在以下的说明中，实施图像处理的活体内图像例如是在各像素中具有针对R(红)、G(绿)、B(蓝)的各颜色成分的256灰阶的像素等级(像素值)的彩色图像。另外，本发明的图像处理装置不限于活体内图像，在从一般图像中检测泡区域的情况下也能够应用。

并且，由于表面张力的作用，在以下的实施方式中作为检测对象的泡区域通常具有圆形形状、扁圆形状或椭圆形状等类圆形状、或者这些圆周的一部分形状(圆弧等)的平面外观。因此，在本申请中，将正圆、扁圆和椭圆等类圆形状称为“圆形”，将圆形的一部分(例如圆弧)的形状称为“圆弧形状”。

实施方式1

图1是示出本发明的实施方式1的图像处理装置的结构的框图。如图1所示，图像处理装置1具有对图像处理装置1整体的动作进行控制的控制部10、图像取得部11、输入部12、显示部13、存储部14和运算部15。

图像取得部11取得通过医用观察装置摄像而得到的活体内图像的图像数据。图像取得部11根据包含医用观察装置的系统的形态而适当构成。例如，在医用观察装置是胶囊内窥镜、且使用可移动型记录介质在与医用观察装置之间交接图像数据的情况下，图像取得部11由装卸自如地装配该记录介质并读出所保存的活体内图像的图像数据的读出装置构成。并且，在设置预先保存通过医用观察装置摄像而得到的活体内图像的图像数据的服务器的情况下，图像取得部11由与服务器连接的通信装置等构成，与服务器进行数据通信来取得活体内图像的图像数据。或者，还可以利用经由电缆从内窥镜等医用观察装置输入图像信号的接口装置等构成图像取得部11。

输入部12例如由键盘、鼠标、触摸面板、各种开关等实现，将输入信号输出到控制部10。

显示部13由LCD或EL显示器等显示装置实现，在控制部10的控制下，显示包含活体内图像的各种画面。

存储部14由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或CD-ROM等信息记录装置及其读取装置等实现。存储部14除了存储由图像取得部11取得的活体内图像的图像数据以外，还存储用于使图像处理装置1动作并使图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言，存储部14存储用于从活体内图像中检测泡区域的图像处理程序141。

运算部15由CPU等硬件实现，通过读入图像处理程序141对活体内图像的图像数据进行处理，进行用于从活体内图像中检测泡区域的各种运算处理。运算部15具有：初始候选点提取部16，其根据泡区域所具有的特征，从活体内图像中提取初始候选点，该初始候选点是构成表示泡的圆形区域的点的候选；以及圆形区域检测部17，其根据提取出的初始候选点所具有的信息，从活体内图像中检测圆形区域。

控制部10由CPU等硬件实现，通过读入存储在存储部14中的各种程序，根据从图像取得部11输入的图像数据和从输入部12输入的操作信号等，进行针对构成图像处理装置1的各部的指示或数据转送等，对图像处理装置1整体的动作进行统一控制。

接着，对运算部15的详细结构进行说明。

图2是示出初始候选点提取部16的结构的框图。初始候选点提取部16具有：梯度强度计算部161，其计算活体内图像中包含的各像素的像素值的梯度强度；边缘检测部162，其根据梯度强度检测边缘；以及镜面反射区域检测部163，其从活体内图像中检测镜面反射区域。

作为梯度强度计算部161执行的梯度强度的计算方法，能够使用一阶微分(索贝尔滤波器等)或二阶微分等已知的各种手法。作为一例，梯度强度计算部161具有凸部梯度强度计算部161a，通过进行二阶微分来计算像素值的梯度为凸的方向上的梯度强度。

边缘检测部162通过提取具有规定阈值以上的梯度强度的像素来检测边缘。另外，作为边缘的检测方法，除此之外，能够使用已知的各种手法。例如，可以使用坎尼(Canny)的边缘检测算法(参考：CG-ARTS協会，デイジタル画像処理，p.208～p.210)等。

镜面反射区域检测部163具有：高亮度区域检测部163a，其计算活体内图像中包含的各像素的亮度值，检测具有规定值以上的亮度的高亮度区域；以及白色区域检测部163b，其根据各像素的像素值，检测具有包含在表示白色的颜色范围中的像素值的像素的区域(白色区域)。作为表示白色的颜色范围，例如使用将在活体内产生的光晕部分的RGB值转换为HSI值(H：色相；S：彩度；I：明度；参考：CG-ARTS協会，デイジタル画像処理，p.64～p.68)后的值的范围(例如S≤0.2、I≥0.8)。这种颜色范围作为教师数据预先存储在存储部14中，根据需要，白色区域检测部163b从存储部14中读出教师数据进行参照。

图3是示出圆形区域检测部17的结构的框图。圆形区域检测部17具有：估计用候选点提取部18，其从初始候选点内提取用于估计圆形区域的多个候选点(估计用候选点)；圆形估计部19，其使用提取出的估计用候选点的坐标，通过稳健估计(robustestimation)来估计圆形区域；评价值计算部20，其计算用于评价所估计出的圆形区域是否实际存在于活体内图像内的评价值；以及判定部21，其将该评价值与规定阈值进行比较，评价圆形区域是否实际存在于活体内图像内。

估计用候选点提取部18具有：圆形区域存储部181，其存储与已检测的圆形区域有关的信息；以及圆形区域尺寸估计部182，其估计圆形区域的大小。圆形区域尺寸估计部182计算表示在活体内图像中映出的被摄体的进深的距离信息，根据该距离信息估计圆形区域的尺寸。

评价值计算部20具有：边界区域提取部201，其提取圆形区域的边界区域；以及边界区域信息计算部202，其取得与边界区域中包含的像素有关的信息(以下也称为边界区域信息)。作为边界区域信息，例如使用边界区域中的像素值的梯度强度的平均值。

这里，对作为运算部15的检测对象的泡区域进行说明。图4是说明泡区域的构造例的图。如图4(a)所示，泡100是包含空气等气体的液体(水分等)由于表面张力的作用而变成圆形的，包含水分等的膜101及其内部的气体102。在对这种泡100照射光并进行摄像时，得到图4(b)所示的泡区域110的图像。该泡区域110在外形上具有圆形形状或圆弧形状，作为内部构造，包含与膜101的厚度部分对应的在泡区域110的周缘部中包含的边界区域111、位于其内侧的内部区域112、以及在内部区域112的内侧的多个部位能够看到的镜面反射区域113。其中，边界区域111是由于照射光在膜101上散射而产生的明亮区域。另一方面，内部区域112是由于较多的照明光透过膜101而产生的区域，是整体较暗的区域。镜面反射区域113是照射光在膜101的表面进行镜面反射而映入光源从而产生光晕的亮度极高的区域。

接着，对图像处理装置1的动作进行说明。图5是示出图像处理装置1的动作的流程图。

首先，在步骤S10中，图像取得部11从外部取得活体内图像组，并将其存储在存储部14中。运算部15从存储部14中依次读出要实施图像处理的活体内图像。图6是示出从存储部14中读出的活体内图像的一例的示意图。如图6所示，在活体内图像120中，具有与活体的粘膜不同的特征的区域122有时重叠在粘膜区域121上映出。

在步骤S11中，梯度强度计算部161计算活体内图像120内的各像素中的像素值的梯度强度。具体而言，首先，凸部梯度强度计算部161a针对位于坐标(x，y)的像素的像素值P(x，y)，使用下式(1)～式(4)，计算水平方向上的二阶微分dH、垂直方向上的二阶微分dV、第1倾斜方向上的二阶微分dD1、第2倾斜方向上的二阶微分dD2(参照图7)。

$\mathrm{dH}(x,y)=P(x,y)-\frac{1}{2}\×(P(x-u,y)+P(x+u,y))---\left(1\right)$

$\mathrm{dV}(x,y)=P(x,y)-\frac{1}{2}\×(P(x,y-u)+P(x,y+u))---\left(2\right)$

$\mathrm{dD}1(x,y)=P(x,y)-\frac{1}{2}\×(P(x-u^{\′},y+u^{\′})+P(x+u^{\′},y-u^{\′}))---\left(3\right)$

$\mathrm{dD}2(x,y)=P(x,y)-\frac{1}{2}\×(P(x-u^{\′},y-u^{\′})+P(x+u^{\′},y+u^{\′}))---\left(4\right)$

这里，参数u是整数，参数u’是对(u/√2)进行四舍五入后的整数。这些参数u和u’表示二阶微分计算时的像素范围。即，通过将参数u设定为期望值，能够调节梯度成分的精度。例如，当减小参数u的值时，能够计算出空间频率高的梯度成分，当增大参数u的值时，能够计算出空间频率低的梯度成分。作为参数u的值，可以预先设定固定值，也可以根据活体内图像的特性而设定动态的值。或者，还可以从外部赋予期望值的参数u进行处理。

接着，凸部梯度强度计算部161a使用下式(5)，从在不同方向计算出的二阶微分dH、dV、dD1、dD2内提取值为正的最大值，由此，计算梯度增加(即梯度相对于周围像素为凸)方向上的梯度强度(凸部梯度强度)g_conv(x，y)。

g_conv(x，y)＝max(0，dH(x，y)，dV(x，y)，dD1(x，y)，dD2(x，y))

(5)

这里，在图4所示的泡区域110的情况下，边界区域111的像素值大于内部区域112和泡区域110外侧的像素值，所以沿着边界区域111内的径向出现像素值的峰值。因此，通过计算凸部梯度强度g_conv，能够检测径向上的像素值的上升。

在步骤S12中，边缘检测部162利用规定阈值对针对各像素计算出的凸部梯度强度g_conv进行二值化，从而提取边缘像素。由此，提取作为泡区域的边界的可能性高的边缘。在图8所示的图像125中示出这样从活体内图像120中提取出的边缘像素G_E。

在步骤S13中，镜面反射区域检测部163从活体内图像120中检测镜面反射区域113。具体而言，首先，高亮度区域检测部163a根据活体内图像120内的各像素的R值(R)、G值(G)和B值(B)，使用下式(6)计算亮度值Y(参考：CG-ARTS協会，デイジタル画像処理，p.299)。

Y＝0.3×R+0.59×G+0.11×B(6)

接着，高亮度区域检测部163a提取亮度值Y为规定阈值以上的像素作为高亮度区域。进而，白色区域检测部163b取得作为高亮度区域而提取出的像素的R值、G值和B值，参照教师数据判定这些颜色成分是否包含在表示白色的颜色范围内。然后，白色区域检测部163b提取具有包含在表示白色的颜色范围中的颜色成分的像素，作为镜面反射区域。

在步骤S14中，初始候选点提取部16提取在步骤S12中提取出的边缘像素内、在步骤S13中提取出的镜面反射区域附近、即存在于镜面反射区域的规定范围内的边缘像素的坐标，作为初始候选点。这是因为，镜面反射区域附近的边缘是泡区域110的边界区域111的可能性高(参照图4)。在图9所示的图像126中示出作为初始候选点提取出的边缘像素G_E。

在步骤S15中，圆形区域尺寸估计部182计算活体内图像120内的距离信息。具体而言，首先，圆形区域尺寸估计部182取得活体内的吸收和散射最少的R值，作为表示各像素的进深的距离值。这是因为，被摄体与摄像元件之间的距离越短(即被摄体越靠近画面的近前侧)，R值越大。接着，圆形区域尺寸估计部182根据各像素的距离值，将活体内图像120分割为多个区域A～D(图10)。作为区域分割法，例如能够使用将具有类似的特征量(像素值、纹理特征量等)且在空间上接近的像素作为集合来分割区域的区域合并法(参考：CG-ARTS協会，デイジタル画像処理，p.196)、或者作为聚类手法之一的K-means法(参考：CG-ARTS協会，デイジタル画像処理，p.232)等已知的方法。进而，圆形区域尺寸估计部182按照每个分割区域A～D计算距离值的平均值(平均距离值)，作为距离信息。

在接下来的步骤S16中，圆形区域尺寸估计部182估计初始候选点的坐标中的圆形区域的尺寸。这里，在活体内图像中，通常从近景到远景均映出。并且，一般地，以位于远景的被摄体比位于近景的被摄体小的方式映出。因此，根据图像内的距离信息，能够以某个程度估计圆形区域的尺寸。

具体而言，圆形区域尺寸估计部182参照图11所示的表128，按照每个分割区域A～D取得与平均距离值对应的圆形区域的尺寸的范围(最小半径r_MIN和最大半径r_MAX)。另外，表128预先生成并存储在存储部14中。

在步骤S17中，估计用候选点提取部18从初始候选点内提取多个估计用候选点。另外，在实施方式1中，由于使用RANSAC(randomsamplingconsensus：随机抽样一致性)的手法，所以随机提取估计用候选点。具体而言，首先，如图12所示，估计用候选点提取部18随机提取初始候选点内的一点(候选点G_E0)。接着，估计用候选点提取部18求出区域127，该区域127内包于以候选点G_E0为原点、以针对该候选点G_E0所属的分割区域A～D取得的圆形区域的最大半径r_MAX或比其稍大的长度(r_MAX+α)为半径的圆中。进而，估计用候选点提取部18从该区域127内部随机提取规定个数的候选点G_E1、G_E2、...，作为估计用候选点。

在步骤S18中，圆形估计部19根据估计用候选点G_E1、G_E2、...估计圆形区域。具体而言，圆形估计部19生成通过估计用候选点G_E1、G_E2、...的坐标的圆的联立方程式，利用最小二乘法求解该联立方程式，由此计算所估计出的圆形区域。然后，将与计算出的圆形区域之间的距离为规定阈值以下的估计用候选点判定为内围层(inlier)，将除此之外的估计用候选点判定为外围层(outlier)。进而，圆形估计部19使用被判定为内围层的估计用候选点的坐标，同样地再次计算圆形区域。

在步骤S19中，如图13所示，边界区域提取部201提取圆形区域130的圆周131的距离d₁的范围内的区域，将该区域设定为边界区域132。然后，对边界区域132中包含的像素数N进行计数。

在步骤S20中，边界区域信息计算部202计算用于判定圆形区域130是否实际存在于活体内图像120内的评价值。具体而言，边界区域信息计算部202根据边界区域132中包含的各像素的梯度强度的合计值和像素数N，计算梯度强度的平均值S_AVE，通过下式(7)计算评价值E₁。

E₁＝S_AVE×k(7)

在式(7)中，k是规定系数(常数)。

在步骤S21中，判定部21根据评价值E₁，判定圆形区域130是否实际存在于活体内图像120内。在评价值E₁的值大于规定阈值的情况下，判定为圆形区域130实际存在于活体内图像120内。

圆形区域检测部17在判定为圆形区域130实际存在于活体内图像120内的情况下(步骤S21：是)，视为检测到圆形区域，在圆形区域存储部181中存储与判定对象的圆形区域130有关的信息(圆形的中心坐标和半径、以及其中包含的像素的像素值等)，并且作为表示泡区域的信息存储在存储部14中(步骤S22)。

在步骤S23中，圆形区域检测部17判定作为针对一个初始候选点的估计用候选点的提取处理次数是否超过规定阈值。在提取处理次数没有超过阈值的情况下(步骤S23：否)，动作转移到步骤S17。该情况下，在第2次及以后执行的步骤S17和S18中，不提取位于已经判定为圆形的区域内的初始候选点。另一方面，在提取处理次数超过规定值的情况下(步骤S23：是)，动作结束。

并且，圆形区域检测部17在判定为圆形区域130未实际存在于活体内图像120内的情况下(步骤S21：否)，判定在步骤S17～S21的一连串处理中持续没有检测到圆形区域的次数(连续未检测次数)是否超过规定值(步骤S24)。在连续未检测次数没有超过规定值的情况下(步骤S24：否)，动作转移到步骤S23。另一方面，在连续未检测次数超过规定值的情况下(步骤S24：是)，动作结束。

如以上说明的那样，根据实施方式1，根据从活体内图像中提取出的边缘像素来估计圆形区域，并且，根据计算出的圆形区域的边界区域所具有的信息判定所估计出的圆形区域是否实际存在于活体内图像内，所以能够进行高精度的泡区域的检测。

并且，根据实施方式1，由于根据泡区域所具有的构造上的特征提取从活体内图像中提取出的边缘像素，使用该边缘像素估计圆形区域，所以能够抑制运算量，能够高效地检测圆形区域。

进而，根据实施方式1，由于根据距离信息估计圆形区域的尺寸，根据该尺寸限制此后的圆形区域的计算处理中的运算范围，所以能够减少运算量(计算成本)，并且能够抑制圆形区域的误检测。

另外，在上述说明中，提取高亮度且白色的区域作为镜面反射区域，但是，也可以提取高亮度区域或白色区域的任意一方作为镜面反射区域进行处理。

并且，在上述说明中，通过稳健估计来估计圆形区域，但是，也可以通过同样的手法来估计椭圆形区域。

作为用于圆形区域130的评价的评价值，除了上述评价值E1以外，也可以使用各种值。下面，在变形例1-1～1-6中，说明评价值计算部20(边界区域信息计算部202)计算的评价值的例子。

变形例1-1

使用图14所示的边界区域132中包含的全部像素数N和其中的边缘像素G_E的个数N_EDG，通过下式(8)给出变形例1-1的评价值E₂。

E₂＝(N_EDG/N)×k(8)

在式(8)中，k是规定系数(常数)。

该情况下，在评价值E₂的值大于规定阈值时，判定为圆形区域130是实际存在于活体内图像120内的泡区域。

变形例1-2

使用边界区域132中包含的全部像素数N和边界区域132中的亮度值的合计值Y_SUM，通过下式(9)给出变形例1-2的评价值E₃。另外，通过式(6)计算各像素的亮度值。

E₃＝(Y_SUM/(N×Y_MAX))×k(9)

在式(9)中，Y_MAX是边界区域中的亮度值的最大值。

该情况下，在评价值E₃的值大于规定阈值时，判定为圆形区域130是实际存在于活体内图像120内的泡区域。

变形例1-3

或者，也可以根据边界区域的RGB值来计算评价值E₄。该情况下，预先取得泡区域的RGB颜色范围并存储在存储部14中。

首先，边界区域信息计算部202取得边界区域132中包含的各像素的R值、G值和B值，针对各颜色成分计算像素间的平均值。边界区域信息计算部202对由此得到的平均R值、平均G值和平均B值与泡区域的RGB颜色范围进行比较，计算色差ΔE。使用该色差ΔE，通过下式(10)给出评价值E4。

E₄＝(1/ΔE)×k(10)

该情况下，在评价值E₄大于规定阈值时，判定为圆形区域130是实际存在于活体内图像120内的泡区域。

变形例1-4

泡区域通常具有圆形或作为其一部分的圆弧形状。因此，也可以根据圆形区域130的形状信息(即在几何学上是否具有圆弧的特征)，判定圆形区域130是否是泡区域。在变形例1-4中，作为这种几何学的特征，判定边界区域132中包含的边缘像素的连续性。

具体而言，首先，如图14所示，边界区域信息计算部202取得边界区域132中包含的边缘像素G_E的个数N_EDG1(即相当于边缘的面积)。并且，边界区域信息计算部202对边界区域132的边缘像素G_E内、在周围8个方向的任意一个方向上存在相邻的边缘像素的边缘像素G_E的个数N_EDG2进行计数。例如，由于图14所示的边缘像素G_E(1)在右侧斜上方存在相邻的边缘像素，所以被计数。另一方面，边缘像素G_E(2)在周围8个方向上不存在相邻的边缘像素，所以不被计数。

使用这些值N_EDG1和N_EDG2，通过下式(11)给出评价值E₅。

E₅＝(N_EDG1×(1-k)+N_EDG2×k)/N(11)

这里，在利用边界区域132的尺寸对评价值进行标准化时，使用边界区域132中包含的全部像素数N。并且，k是满足0＜k＜1的系数(常数)。

该情况下，在评价值E₅大于规定阈值时，边界区域132中包含的边缘像素G_E的连续性高，因此，判定为圆形区域130是实际存在于活体内图像120内的泡区域。

变形例1-5

表示泡区域的边界的边缘通常出现在关于圆的中心坐标而相对的圆周上的位置。因此，在边界区域132中包含的边缘像素G_E关于圆形区域130的中心坐标具有较高的相对性的情况下，能够判断为该边缘像素G_E构成泡区域的边界。这里，相对性高意味着，在相对于圆的中心坐标而相对的位置存在的边缘像素对儿较多。

具体而言，首先，如图15所示，边界区域信息计算部202取得从边界区域132中提取出的边缘像素G_E的个数N_EDG1。并且，边界区域信息计算部202对在边界区域132中在相对于圆形区域130的中心坐标C(x，y)而相对的位置存在其他边缘像素的边缘像素G_E的个数N_EDG3进行计数。例如，图15所示的边缘像素G_E(3)在通过边缘像素G_E(3)的圆形区域130的直径上存在其他边缘像素G_T，所以被计数。

使用这些值N_EDG1和N_EDG3，通过下式(12)给出评价值E₆。

E₆＝(N_EDG1×(1-k)+N_EDG3×k)/N(12)

在式(12)中，k是满足0＜k＜1的系数(常数)。

该情况下，在评价值E₆大于规定阈值时，边界区域132中包含的边缘像素G_E的相对性高，因此，判定为圆形区域130是实际存在于活体内图像120内的泡区域。

变形例1-6

作为表示圆形区域130的边界区域的形状信息的特征量，也可以使用表示边界区域132中的边缘像素的圆形性、即几何学的似圆度的评价值。图16是示出边界区域132的一部分的示意图。在计算特征量时，首先，边界区域信息计算部202对边界区域132中包含的边缘像素G_E的个数N_EDG1进行计数。并且，边界区域信息计算部202计算从各边缘像素G_E到圆形区域130的圆周131的距离L_E，对距离L_E为规定阈值以内的边缘像素的个数N_GC进行计数。使用这些值N_EDG1和N_GC，通过下式(13)给出评价值E₇。

E₇＝(N_EDG1×(1-k)+N_GC×k)/N(13)

在式(13)中，k是满足0＜k＜1的系数(常数)。

该情况下，在评价值E₇大于规定阈值时，边界区域132中包含的边缘像素G_E的圆形性高，因此，判定为圆形区域130是实际存在于活体内图像120内的泡区域。

实施方式2

接着，对本发明的实施方式2进行说明。图17是示出实施方式2的图像处理装置的结构的框图。如图17所示，图像处理装置2具有运算部30。其他结构与图1所示的结构相同。

运算部30具有初始候选点提取部16和圆形区域检测部31。其中，初始候选点提取部16的结构和动作与在实施方式1中说明的结构和动作相同。

圆形区域检测部31根据初始候选点提取部16提取出的初始候选点，通过霍夫(Hough)转换来检测圆形区域。更详细地讲，圆形区域检测部31具有：投票部32，其在由圆的半径和圆的中心坐标构成的参数空间内对初始候选点进行投票；投票评价值计算部33，其根据参数空间中的投票频度，计算用于检测圆形区域的评价值；以及判定部34，其根据评价值进行圆形区域的判定。

图18是示出投票部32的详细结构的框图。投票部32具有：权重决定部321，其决定对在参数空间内被投票的初始候选点赋予的权重；参数空间范围决定部322，其决定参数空间的范围；以及初始候选点投票部323，其在所决定的范围内在参数空间内对初始候选点进行投票。

权重决定部321根据各初始候选点所具有的信息来决定权重，使得具有与泡类似的特征的初始候选点的权重大。例如，权重决定部321决定与各初始候选点的梯度强度对应的权重。

参数空间范围决定部322具有：距离信息计算部322a，其计算表示在活体内图像中映出的被摄体的进深的距离信息；圆形区域尺寸估计部322b，其根据该距离信息估计作为检测对象的圆形区域的尺寸；以及范围决定部322c，其根据圆形区域的尺寸决定参数空间的范围。

接着，对图像处理装置2的动作进行说明。图19是示出图像处理装置2的动作的流程图。图19所示的步骤内的步骤S10～S14与在实施方式1中说明的步骤相同。并且，在图20所示的图像135中示出从活体内图像120(图6)中提取出的初始候选点G_E(x₁，y₁)、G_E(x₂，y₂)、G_E(x₃，y₃)、...。

在步骤S31中，权重决定部321使用各初始候选点的梯度强度g和下式(14)，计算对该初始候选点赋予的权重W₁。

W₁＝(g/g_MAX)×k(14)

在式(14)中，g_MAX是作为处理对象的活体内图像中的像素值的梯度强度的最大值，k是规定系数(常数)。梯度强度g越大，该权重W₁的值越大。

在步骤S32中，距离信息计算部322a取得活体内图像的距离信息(进深信息)。另外，距离信息的取得方法与在图5的步骤S15中说明的方法相同。

在步骤S33中，圆形区域尺寸估计部322b根据距离信息和图11所示的表128，估计各初始候选点的像素位置中的圆形区域的尺寸。另外，圆形区域的尺寸的估计方法与在图5的步骤S16中说明的方法相同。

在步骤S34中，范围决定部322c决定参数空间的范围。

图21是示出参数空间的示意图。在该三维参数空间中，a轴与图像135的X轴对应，b轴与图像135的Y轴对应。并且，r轴表示作为检测对象的圆形区域的半径。因此，具体而言，关于a轴的范围，最小值为0，最大值为活体内图像的X方向上的尺寸。并且，关于b轴的范围，最小值为0，最大值为活体内图像的Y方向上的尺寸。进而，根据在步骤S33中按照每个区域A～D(参照图10)估计出的圆形区域的尺寸的范围(参照图11)，决定r轴的范围。即，将针对区域A～D估计出的最小半径r_MIN内的最小值ri_MIN设定为r轴的最小值，将针对区域A～D估计出的最大半径r_MAX内的最大值ri_MAX设定为r轴的最大值。

在步骤S35中，初始候选点投票部323在参数空间内对初始候选点G_E进行投票。具体而言，首先，初始候选点投票部323生成图21所示的参数空间。接着，初始候选点投票部323沿着扫描线方向从图像135中依次提取初始候选点的坐标G_E(x_n，y_n)。然后，初始候选点投票部323在参数空间的r＝r_m平面中，对位于以坐标(x_n，y_n，r_m)为中心的半径r_m的圆周上的点赋予权重W₁并进行投票。初始候选点投票部323在ri_MIN～ri_MAX的范围内，例如一个像素一个像素地改变r的值(进行投票的平面和半径的值)，并进行这种投票。

在步骤S36中，投票评价值计算部33根据参数空间中的投票频度，计算用于检测圆形区域的评价值。这里，图21所示的r_m平面上的点C₀是以C₁(x₁，y₁，r_m)、C₂(x₂，y₂，r_m)、C₃(x₃，y₃，r_m)为中心的半径r_m的圆交叉的点。换言之，点C₀与这些点C₁、C₂、C₃等距离，所以在图像135中，能够估计到存在以点C₀为中心、半径为r_m的圆形区域。即，参数空间中的投票频度高的坐标(a，b，r)表示图像135中的圆形区域。

作为评价值，例如使用通过高斯滤波器(参考：CG-ARTS協会，デイジタル画像処理，p.108～p.110)等对参数空间的各r_m平面实施平滑处理并去除噪声后的处理结果(投票频度)。

在步骤S37中，判定部34提取评价值为规定阈值以上的参数空间上的坐标(a，b，r)，将与该坐标对应的图像135上的区域(即圆的中心坐标和半径)检测为圆形区域。

进而，在步骤S38中，圆形区域检测部31输出与检测到的圆形区域有关的信息(圆形的中心坐标和半径、以及其中包含的像素的像素值等)，作为表示泡区域的信息存储在存储部14中。

如以上说明的那样，根据实施方式2，由于在参数空间内对从活体内图像中提取出的边缘像素的坐标进行投票，根据该投票频度检测圆形区域，所以能够减少运算量，并且能够提高表示泡区域的圆形区域的检测精度。

并且，根据实施方式2，由于越是具有与泡类似的特征的初始候选点，在针对参数空间进行投票时对初始候选点赋予的权重越大，所以容易检测具有泡区域的特征的圆形区域，并且能够抑制误检测。

另外，在上述说明中，通过霍夫转换来检测圆形区域，但是，也可以通过同样的手法来检测椭圆形区域。该情况下，在与椭圆的中心坐标(a，b)、长径和短径对应的四维参数空间内对初始候选点进行投票即可。

变形例2-1

权重决定部321也可以使用初始候选点的梯度强度以外的特征量决定权重。例如，权重决定部321也可以使用利用式(6)针对各初始候选点计算出的亮度值和下式(15)，决定权重W₂。

W₂＝(Y/Y_MAX)×k(15)

在式(15)中，Y_MAX是初始候选点内的亮度值的最大值。另外，k是规定系数(常数)。

变形例2-2

或者，权重决定部321也可以根据各初始候选点的颜色信息决定权重。例如，权重决定部321取得各初始候选点中的R值、G值和B值，对这些值与泡区域的RGB颜色范围进行比较，计算色差ΔE。接着，权重决定部321使用下式(16)计算权重W₃。色差ΔE越小，该权重W₃为越大的值。

W₃＝(1/ΔE)×k(16)

另外，泡区域的RGB颜色范围预先存储在存储部14中。并且，k是规定系数(常数)。

实施方式3

接着，对本发明的实施方式3进行说明。图22是示出实施方式3的图像处理装置的结构的框图。如图22所示，图像处理装置3具有运算部40。其他结构与图1所示的结构相同。

除了初始候选点提取部16和圆形区域检测部17以外，运算部40还具有：区域分割部41，其将活体内图像分割为多个区域；以及区域判定部42，其判定在各分割区域整体中是否存在泡区域。另外，初始候选点提取部16和圆形区域检测部17的结构和动作与在实施方式1中说明的结构和动作相同。

这里，在活体内图像中，具有类似特征(颜色或纹理等特征)的区域之间大多是同一范畴(例如粘膜区域、泡区域等)。因此，在实施方式3中，根据颜色信息等特征量将活体内图像分割为多个区域，将单独检测到的圆形区域占据规定比例以上的分割区域视为在该分割区域整体中存在泡区域的区域。由此，能够将无法单独检测圆形的区域也检测为泡区域。

图23是示出图像处理装置3的动作的流程图。

首先，在步骤S10中，图像处理装置3取得活体内图像。另外，该步骤的详细情况与在实施方式1中说明的步骤相同。

在接下来的步骤S41中，如图24所示，区域分割部41将活体内图像136分割为多个区域137、138。作为分割方法，可以使用已知的各种方法。例如可以使用将具有类似的特征量(像素值、纹理特征量等)且在空间上接近的像素作为集合来分割区域的区域合并法(参考：CG-ARTS協会，デイジタル画像処理，p.196)、或者作为聚类手法之一的K-means法(参考：CG-ARTS協会，デイジタル画像処理，p.232)等。

在步骤S42中，初始候选点提取部16从活体内图像136中提取初始候选点。另外，初始候选点的提取方法与在图5的步骤S11～S14中说明的方法相同。

在步骤S43中，圆形区域检测部17根据提取出的初始候选点检测圆形区域139。另外，圆形区域的检测方法与在图5的步骤S15～S23中说明的方法相同。

在步骤S44中，区域判定部42根据圆形区域的检测结果，判定在各分割区域137、138整体中是否存在泡区域。即，首先，区域判定部42取得各分割区域的面积(或像素数)s₁和在各分割区域内检测到的圆形区域的总面积(或像素数)s₂，计算圆形区域的面积s₂占据分割区域的面积s₁的比例(面积率)s₂/s₁。在该面积率s₂/s₁为规定阈值以上的情况下，区域判定部42判定为在该分割区域整体中存在泡区域。另一方面，在面积率s₂/s₁小于规定阈值的情况下，区域判定部42判定为在该分割区域整体中并不存在泡区域。例如，关于分割区域137，由于被判定为泡区域的区域所占据的比例低(零)，所以判定为不存在泡区域。另一方面，关于分割区域138，由于圆形区域139所占据的比例高，所以判定为在分割区域138整体中存在泡区域。

如以上说明的那样，在实施方式3中，根据单独判定为圆形区域的区域所占据的比例，判定在根据类似特征量分割后的区域整体中是否存在泡区域。因此，即使是无法直接检测到圆形的区域，也能够作为泡区域来提取。

另外，在运算部40中，代替圆形区域检测部17，也可以使用在实施方式2中说明的圆形区域检测部31。该情况下，在步骤S43中，与图19的步骤S31～S38同样地检测圆形区域。

以上说明的实施方式1～3的图像处理装置能够通过在个人计算机或工作站等计算机系统中执行记录在记录装置中的图像处理程序来实现。并且，也可以经由局域网、广域网(LAN/WAN)或因特网等公共线路，与其他计算机系统或服务器等设备连接来使用这种计算机系统。该情况下，实施方式1～3的图像处理装置也可以经由这些网络取得管腔内图像的图像数据，或者对经由这些网络连接的各种输出设备(阅读器或打印机等)输出图像处理结果，或者在经由这些网络连接的存储装置(记录装置及其读取装置等)中存储图像处理结果。

根据本发明的一个方式，由于从图像中提取构成圆形区域的一部分的候选点，根据该候选点所具有的信息检测圆形区域，所以能够高精度、高效地检测具有圆形等的区域。

本领域技术人员能够容易地导出进一步的效果和变形例。由此，本发明的更加广泛的方式不限于如上所表述的特定的详细和代表性的实施方式。因此，只要不脱离由附加权利要求及其均等物所定义的总括的发明概念的精神或范围，则能够进行各种变更。

Claims (23)

1.一种图像处理装置，其中，该图像处理装置具有：

候选点提取部，其从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选；以及

圆形区域检测部，其根据所述候选点所具有的信息，检测所述图像内的圆形区域，

其中，所述圆形区域检测部具有：

估计用候选点提取部，其从由所述候选点提取部提取出的候选点内，提取用于估计圆形区域的多个估计用候选点；

圆形估计部，其根据由所述估计用候选点提取部提取出的所述多个估计用候选点，估计圆形区域；

评价值计算部，其根据所述圆形区域所具有的信息，计算用于判定该圆形区域是否实际存在于所述图像内的评价值；以及

判定部，其根据所述评价值，判定所述圆形区域是否实际存在于所述图像内。

2.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还具有存储部，该存储部存储与所述判定部判定为实际存在于所述图像内的圆形区域有关的信息，

所述估计用候选点提取部从存储在所述存储部中的圆形区域的外侧区域中，提取所述多个估计用候选点。

3.根据权利要求1所述的图像处理装置，其中，

所述估计用候选点提取部具有圆形区域尺寸估计部，该圆形区域尺寸估计部估计所述圆形区域的大小。

4.根据权利要求3所述的图像处理装置，其中，

所述圆形区域尺寸估计部根据所述图像中包含的各像素的像素值，计算表示在所述图像中映出的被摄体的进深的距离信息，根据该距离信息估计所述圆形区域的大小。

5.根据权利要求1所述的图像处理装置，其中，

所述评价值计算部具有：

边界区域提取部，其提取所述圆形区域的周缘部中包含的边界区域；以及

边界区域信息计算部，其取得与所述边界区域中包含的像素有关的信息。

6.根据权利要求5所述的图像处理装置，其中，

所述边界区域信息计算部计算所述边界区域中包含的像素的像素值的梯度强度的平均值。

7.根据权利要求5所述的图像处理装置，其中，

所述边界区域信息计算部对所述边界区域中包含的边缘像素的个数进行计数。

8.根据权利要求5所述的图像处理装置，其中，

所述边界区域信息计算部计算所述边界区域中包含的像素的亮度值的平均值。

9.根据权利要求5所述的图像处理装置，其中，

所述边界区域信息计算部取得所述边界区域中包含的像素的颜色信息。

10.根据权利要求5所述的图像处理装置，其中，

所述边界区域信息计算部计算表示所述边界区域中包含的边缘像素的形状的信息。

11.根据权利要求10所述的图像处理装置，其中，

所述边界区域信息计算部计算表示所述边缘像素的连续性的评价值。

12.根据权利要求11所述的图像处理装置，其中，

所述边界区域信息计算部对在所述边界区域中存在相邻边缘像素的边缘像素的数量进行计数。

13.根据权利要求10所述的图像处理装置，其中，

所述边界区域信息计算部计算表示所述边界区域中包含的边缘像素关于所述圆形区域的中心坐标的相对性的评价值。

14.根据权利要求13所述的图像处理装置，其中，

所述边界区域信息计算部对在所述边界区域中在关于所述圆形区域的中心坐标相对的位置处存在其他边缘像素的边缘像素的数量进行计数。

15.根据权利要求10所述的图像处理装置，其中，

所述边界区域信息计算部计算表示所述边界区域中包含的边缘像素的圆形性的评价值。

16.根据权利要求15所述的图像处理装置，其中，

所述边界区域信息计算部计算所述圆形区域的圆周与所述边界区域中包含的边缘像素之间的距离。

17.一种图像处理装置，其中，该图像处理装置具有：

候选点提取部，其从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选；以及

圆形区域检测部，其根据所述候选点所具有的信息，检测所述图像内的圆形区域，

其中，所述圆形区域检测部具有：

投票部，其在由圆的半径和圆的中心坐标构成的参数空间内对所述候选点进行投票；以及

投票评价值计算部，其根据所述参数空间中的投票频度，计算用于检测圆形区域的评价值，

所述投票部具有权重决定部，该权重决定部根据在所述参数空间内被投票的所述候选点所具有的信息，决定对该候选点赋予的权重。

18.根据权利要求17所述的图像处理装置，其中，

所述权重决定部根据所述候选点的像素值的梯度强度决定所述权重。

19.根据权利要求17所述的图像处理装置，其中，

所述权重决定部根据所述候选点的像素的亮度值决定所述权重。

20.根据权利要求17所述的图像处理装置，其中，

所述权重决定部根据所述候选点的像素所具有的颜色信息决定所述权重。

21.根据权利要求1所述的图像处理装置，其中，

所述圆形区域检测部具有：

投票部，其在由圆的半径和圆的中心坐标构成的参数空间内对所述候选点进行投票；以及

投票评价值计算部，其根据所述参数空间中的投票频度，计算用于检测圆形区域的评价值，

所述投票部具有参数空间范围决定部，该参数空间范围决定部决定所述参数空间的范围，

所述参数空间范围决定部具有：

距离信息计算部，其计算表示在所述图像中映出的被摄体的进深的距离信息；以及

圆形区域尺寸估计部，其根据所述距离信息，估计作为检测对象的圆形区域的大小。

22.一种图像处理方法，其中，该图像处理方法包括以下步骤：

从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选，

根据所述候选点所具有的信息，检测所述图像内的圆形区域，

其中，根据所述候选点所具有的信息，检测所述图像内的圆形区域包括以下步骤：

从提取出的候选点内，提取用于估计圆形区域的多个估计用候选点；

根据提取出的所述多个估计用候选点，估计圆形区域；

根据所述圆形区域所具有的信息，计算用于判定该圆形区域是否实际存在于所述图像内的评价值；以及

根据所述评价值，判定所述圆形区域是否实际存在于所述图像内。

23.一种图像处理方法，其中，该图像处理方法包括以下步骤：

从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选，

根据所述候选点所具有的信息，检测所述图像内的圆形区域，

其中，根据所述候选点所具有的信息，检测所述图像内的圆形区域包括以下步骤：

在由圆的半径和圆的中心坐标构成的参数空间内对所述候选点进行投票；以及

根据所述参数空间中的投票频度，计算用于检测圆形区域的评价值，

在由圆的半径和圆的中心坐标构成的参数空间内对所述候选点进行投票的步骤中，根据在所述参数空间内被投票的所述候选点所具有的信息，决定对该候选点赋予的权重。