CN102436650B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法，该图像处理装置具有：梯度强度计算部，其根据对预定的对象物进行拍摄而得到的对象图像的像素值，计算各像素的梯度强度；候选边缘检测部，其根据各像素的梯度强度，检测轮廓候选边缘位置；参照范围设定部，其根据各像素的梯度强度，对从轮廓候选边缘位置中选择轮廓边缘位置时所参照的参照范围进行设定；以及轮廓边缘选择部，其从参照范围内的轮廓候选边缘位置中选择1个，作为轮廓边缘位置。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及根据对象图像检测对象物的轮廓边缘的图像处理装置以及图像处理方法。

背景技术

通常，图像内的边缘检测是通过检测梯度变化较大的位置来进行的，基本而言是根据图像的亮度值的梯度计算梯度强度，通过对该梯度强度进行阈值处理来进行检测。关于具体的手法，已提出了各种方案，作为其中之一，例如已知有坎尼边缘检测算法(参照Canny edge detector，J.Canny，A Computational Approach to Edge Detection，IEEETrans.On Pattern Analysis and Machine Intelligence，8(6)，pp.679-698，1986)。另外，在日本特开2007-140684号公报中，示出在抑制噪声边缘的同时检测边缘的方法。在该日本特开2007-140684号公报中，首先计算4个方向的亮度梯度值，根据该4个方向的亮度梯度值的大小，推定与边缘方向对应的第1梯度值和与垂直于边缘的方向对应的第2梯度值。而且通过将第1梯度值相对于第2梯度值的相对强度作为边缘强度，判别对象物结构的边缘与噪声导致的边缘。另外，日本特开平7-225847号公报示出了检测对象物的轮廓边缘的处理。在该日本特开平7-225847号公报中，输入相对于提取轮廓的对象物而具有宽度的粗轮廓线，在具有该宽度的粗轮廓线的内部，重复进行以梯度强度最大的像素位置为起始点的最大梯度强度的追踪，由此提取出轮廓边缘。

但是，在拍摄对象物而得到的对象图像中，对象物的轮廓部分的梯度强度示出以梯度强度的最大位置为峰值的山形分布。然而，关于在整体的1个梯度途中存在缓和梯度的轮廓部分，梯度强度的分布的峰值位置会分为2个以上，因此在上述J.Canny，AComputational Approach to Edge Detection，IEEE Trans.On Pattern Analysis andMachine Intelligence，8(6)，pp.679-698，1986和日本特开2007-140684号公报这样的现有的边缘检测处理中，会出现在轮廓附近检测到多个边缘线的问题。另外，在日本特开平7-225847号公报的技术中，轮廓边缘的检测结果会受到粗轮廓线的设定方式的影响，因而有时无法恰当地检测出对象物的轮廓边缘。

发明内容

本发明就是鉴于上述情况而完成的，其目的在于提供一种能高精度地从对象图像中检测出对象物的轮廓边缘的图像处理装置以及图像处理方法。

本发明的一个方面涉及的图像处理装置具有：梯度强度计算部，其根据对预定对象物进行拍摄而得到的对象图像的像素值，计算各像素的梯度强度；候选边缘检测部，其根据上述各像素的梯度强度，检测轮廓候选边缘位置；参照范围设定部，其根据上述各像素的梯度强度，对从上述轮廓候选边缘位置中选择轮廓边缘位置时所参照的参照范围进行设定；以及轮廓边缘选择部，其从上述参照范围内的轮廓候选边缘位置中选择1个，作为上述轮廓边缘位置。

另外，本发明的另一方面涉及的图像处理方法具有如下步骤：梯度强度计算步骤，在该步骤中，根据对预定对象物进行拍摄而得到的对象图像的像素值，计算各像素的梯度强度；候选边缘检测步骤，在该步骤中，根据上述各像素的梯度强度，检测轮廓候选边缘位置；参照范围设定步骤，在该步骤中，根据上述各像素的梯度强度，对从上述轮廓候选边缘位置中选择轮廓边缘位置时所参照的参照范围进行设定；以及轮廓边缘选择步骤，在该步骤中，从上述参照范围内的轮廓候选边缘位置中选择1个，作为上述轮廓边缘位置。

另外，本发明的又一方面涉及的图像处理方法具有如下步骤：梯度强度计算步骤，在该步骤中，根据对预定对象物进行拍摄而得到的对象图像的像素值，计算各像素的梯度强度；参照范围设定步骤，在该步骤中，根据上述各像素的梯度强度，对从轮廓候选边缘位置中选择轮廓边缘位置时所参照的参照范围进行设定；候选边缘检测步骤，在该步骤中，根据上述参照范围内的像素的上述梯度强度，检测上述参照范围内的轮廓候选边缘位置；以及轮廓边缘选择步骤，在该步骤中，从上述参照范围内的轮廓候选边缘位置中选择1个，作为上述轮廓边缘位置。

将以下的本发明的详细说明与附图对照起来阅读，能够进一步加深对于上述内容和本发明的其他目的、特征、优点以及技术和产业上的意义的理解。

附图说明

图1是说明第1实施方式的图像处理装置的功能结构例的框图。

图2是说明梯度强度计算部的结构例的框图。

图3是说明第1实施方式的候选边缘检测部的结构例的框图。

图4是说明第1实施方式的参照范围设定部的结构例的框图。

图5是说明第1实施方式的轮廓边缘选择部的结构例的框图。

图6是示出第1实施方式的图像处理装置所进行的处理步骤的整体流程图。

图7是示出管腔内部图像的一个例子的图。

图8是说明梯度与梯度强度之间的关系的图。

图9A是示出横向索贝尔滤波器的图。

图9B是示出纵向索贝尔滤波器的图。

图10是示出横向分量梯度强度图像的一个例子的图。

图11是示出纵向分量梯度强度图像的一个例子的图。

图12是示出梯度强度图像的一个例子的图。

图13是说明从梯度的最大变化方向的正切向梯度变化方向的转换的图。

图14是示出梯度变化方向的一个例子的图。

图15A是说明凸位置的检测原理的图。

图15B是说明凸位置的检测原理的另一图。

图15C是说明凸位置的检测原理的又一图。

图16A是说明在关注像素的梯度变化方向为方向＝0的情况下比较梯度强度的像素的图。

图16B是说明在关注像素的梯度变化方向为方向＝1的情况下比较梯度强度的像素的图。

图16C是说明在关注像素的梯度变化方向为方向＝2的情况下比较梯度强度的像素的图。

图16D是说明在关注像素的梯度变化方向为方向＝3的情况下比较梯度强度的像素的图。

图17是示出轮廓候选边缘图像的一个例子的图。

图18是示出横向参照范围划分图像的一个例子的图。

图19是示出纵向参照范围划分图像的一个例子的图。

图20是说明边缘特性的取得原理的图。

图21是示出边缘特性图像的一个例子的图。

图22是说明轮廓边缘位置的选择原理的图。

图23是说明横向分量轮廓边缘位置的选择原理的图。

图24是示出横向分量轮廓边缘图像的一个例子的图。

图25是示出纵向分量轮廓边缘图像的一个例子的图。

图26是示出轮廓边缘图像的一个例子的图。

图27是说明第2实施方式的图像处理装置的功能结构例的框图。

图28是说明第2实施方式的候选边缘检测部的结构例的框图。

图29是说明第2实施方式的参照范围设定部的结构例的框图。

图30是说明第2实施方式的轮廓边缘选择部的结构例的框图。

图31是示出第2实施方式的图像处理装置进行的处理步骤的整体流程图。

图32是说明轮廓候选边缘位置的检测原理的图。

图33是说明第2实施方式的参照范围的设定原理的图。

图34是说明第2实施方式的轮廓边缘位置的选择原理的图。

图35是说明第3实施方式的图像处理装置的功能结构例的框图。

图36是示出第3实施方式的图像处理装置进行的处理步骤的整体流程图。

图37是示出应用了本发明的计算机系统的结构的系统结构图。

图38是示出构成图37的计算机系统的主体部的结构的框图。

具体实施方式

下面参照附图说明本发明的优选实施方式。并且本发明不限于该实施方式。另外，在各附图的记载中，对相同部分标注相同的符号来表示。

本实施方式的图像处理装置例如是以内窥镜或胶囊内窥镜等医用观察装置拍摄被检者体内的消化道等管腔内部而得到的图像(管腔内部图像)作为对象图像进行处理的装置，具体而言，用于进行从管腔内部图像检测轮廓边缘的处理。其中，本实施方式的图像处理装置所处理的管腔内部图像例如是每个像素都具备针对R(红)、G(绿)、B(蓝)的各波长成分的像素值的彩色图像。该管腔内部图像显现出活体组织的粘膜结构作为对象物。以下，以从管腔内部图像中检测出粘膜结构的轮廓边缘的情况为例进行说明。并且，对象图像不限于在本实施方式中举例示出的管腔内部图像。另外，对象物也不限于粘膜结构，本发明能够广泛应用于从拍摄预定对象物取得的对象图像中检测对象物的轮廓边缘的情况。

第1实施方式

首先说明第1实施方式的图像处理装置。图1是说明第1实施方式的图像处理装置1的功能结构例的框图。另外，图2是说明构成运算部15的第1实施方式的梯度强度计算部16的结构例的框图，图3是说明第1实施方式的候选边缘检测部17的结构例的框图，图4是说明第1实施方式的参照范围设定部18的结构例的框图，图5是说明第1实施方式的轮廓边缘选择部19的结构例的框图。并且，在图1～图5的各图中，用实线示出将图像处理装置1的各部分之间连接起来传输图像信号等数据信号的数据信号线，用虚线示出传输控制信号的控制信号线。

如图1所示，第1实施方式的图像处理装置1具有外部接口(I/F)部11、操作部12、显示部13、记录部14、运算部15、控制图像处理装置1的整体动作的控制部20。

外部I/F部11用于取得医用观察装置所拍摄的管腔内部图像的图像数据，通过该外部I/F部11取得的图像数据被记录于记录部14中，通过运算部15进行处理之后，按照需要适当显示于显示部13。例如将可移动型记录介质用于与医用观察装置之间的图像数据交接的情况下，外部I/F部11由读取装置构成，该读取装置可自由拆装地安装该记录介质，并读取所保存的管腔内部图像的图像数据。另外，当采用在合适的场所设置预先保存了由医用观察装置拍摄的管腔内部图像的图像数据的服务器并从该服务器取得图像数据的结构的情况下，外部I/F部11由用于与服务器连接的通信装置等构成。而且通过该外部I/F部11与服务器进行数据通信，取得管腔内部图像的图像数据。另外，当采用经由电缆从医用观察装置取得图像数据的结构的情况下，外部I/F部11由输入图像数据的接口装置等构成。

操作部12例如通过键盘、鼠标、触摸面板、各种开关等实现，向控制部20输出操作信号。显示部13通过LCD和EL显示器等显示装置实现，根据控制部20的控制，显示包含由胶囊内窥镜等医用观察装置拍摄的图像的显示画面在内的各种画面。

记录部14通过能够更新记录的闪速存储器等称为ROM和RAM的各种IC存储器、内置或通过数字通信端子连接的硬盘、CD-ROM等信息记录介质及其读取装置等来实现，记录有用于使图像处理装置1动作而实现该图像处理装置1具备的各种功能的程序和该程序执行中所用的数据等。例如，记录部14记录着由外部I/F部11取得的管腔内部图像的图像数据。另外，记录部14还记录着用于实现第1实施方式的处理，从管腔内部图像检测轮廓边缘(详细而言是粘膜结构的轮廓边缘)的图像处理程序141。

运算部15通过CPU等硬件实现，用于进行通过处理管腔内部图像来检测轮廓边缘的各种运算处理。该运算部15具有梯度强度计算部16、候选边缘检测部17、参照范围设定部18、轮廓边缘选择部19。其中，梯度强度计算部16、候选边缘检测部17和轮廓边缘选择部19按照该顺序连接起来，梯度强度计算部16与参照范围设定部18连接，参照范围设定部18与轮廓边缘选择部19连接。另外，梯度强度计算部16被输入经由外部I/F部11取得且记录于记录部14的管腔内部图像的图像信号。而且从轮廓边缘选择部19输出通过运算部15的各部分处理管腔内部图像而检测出的轮廓边缘的信息(轮廓边缘图像)，例如记录于记录部14。

梯度强度计算部16根据管腔内部图像的像素值计算各像素的梯度强度。如图2所示，该梯度强度计算部16具有噪声除去部161、结构信息取得部162、微分处理部163。其中，噪声除去部161、结构信息取得部162和微分处理部163按照该顺序连接起来。

噪声除去部161根据从记录部14输入的管腔内部图像的图像数据，从管腔内部图像中除去噪声。除去噪声后的管腔内部图像的图像数据被输出给结构信息取得部162。结构信息取得部162根据所输入的除去噪声后的管腔内部图像的图像数据，取得管腔内部图像所显现的粘膜结构表面的形状变化信息(例如后述的R成分图像的图像数据)。所取得的粘膜结构表面的形状变化信息(R成分图像的图像数据)被输出给微分处理部163。微分处理部163通过对所输入的粘膜结构表面的形状变化信息(R成分图像的图像数据)进行微分滤波处理，计算各像素的梯度强度。更具体而言，使用横向(水平方向)的微分滤波器计算各像素的梯度强度的横向分量，并且使用纵向(垂直方向)的微分滤波器，通过参照各像素的梯度强度的纵向分量，来计算横向和纵向这2个方向的带符号的梯度强度。如上构成的梯度强度计算部16将计算出的各像素的梯度强度输出给候选边缘检测部17和参照范围设定部18。

候选边缘检测部17根据各像素的梯度强度，检测轮廓候选边缘位置。如图3所示，该候选边缘检测部17具有梯度变化方向检测部171、凸位置检测部172。其中，梯度变化方向检测部171与凸位置检测部172连接。

梯度变化方向检测部171根据从梯度强度计算部16输入的各像素的梯度强度，检测各像素的梯度变化方向。检测出的各像素的梯度变化方向被输出给凸位置检测部172。凸位置检测部172根据所输入的各像素的梯度变化方向，检测梯度强度比在梯度方向上连接的像素的梯度强度大的位置、即凸的位置(凸位置)。如上构成的候选边缘检测部17将凸位置检测部172检测出的凸位置作为轮廓候选边缘位置输出给轮廓边缘选择部19。

参照范围设定部18对轮廓边缘选择部19从轮廓候选边缘位置中选择轮廓边缘位置时所参照的参照范围进行设定。如图4所示，该参照范围设定部18具有参照方向指定部181、参照范围取得部182。其中，参照方向指定部181与参照范围取得部182连接。

参照方向指定部181指定对参照范围进行设定的方向(参照方向)。所指定的参照方向与梯度强度计算部16所输入的各像素的梯度强度一起被输出给参照范围取得部182。参照范围取得部182根据所输入的各像素的梯度强度，在所输入的每个参照方向上取得参照范围。该参照范围取得部182具有梯度强度阈值处理部183。梯度强度阈值处理部183对与每个参照方向对应的梯度强度的方向分量进行阈值处理。如上构成的参照范围设定部18将每个参照方向的参照范围输出给轮廓边缘选择部19。

轮廓边缘选择部19从轮廓候选边缘位置中选择轮廓边缘位置。如图5所示，该轮廓边缘选择部19具有边缘特性取得部191、边缘特性比较部192。其中，边缘特性取得部191与边缘特性比较部192连接。

边缘特性取得部191根据从候选边缘检测部17输入的轮廓候选边缘位置，取得每条不中断地连续的轮廓候选边缘线中梯度强度最大的值作为相应的轮廓候选边缘线上的轮廓候选边缘位置的边缘特性。所取得的各轮廓候选边缘位置的边缘特性与从参照范围设定部18输入的每个参照方向的参照范围一起被输出到边缘特性比较部192。

边缘特性比较部192根据所输入的每个参照方向的参照范围以及各轮廓候选边缘位置的边缘特性，按照每个参照范围比较各轮廓候选边缘位置的边缘特性，由此选择各参照范围的轮廓边缘位置。该边缘特性比较部192具有方向分量轮廓边缘选择部193、方向分量轮廓边缘合并部194。方向分量轮廓边缘选择部193在每个参照方向上选择各参照范围的轮廓边缘位置。所选择的每个参照方向的各参照范围的轮廓边缘位置被输出给方向分量轮廓边缘合并部194。方向分量轮廓边缘合并部194将所输入的每个参照方向的各参照范围的轮廓边缘位置合并起来，取得最终的轮廓边缘位置。如上构成的轮廓边缘选择部19将设定了轮廓边缘位置的轮廓边缘图像例如输出给记录部14进行保存。

控制部20是通过CPU等硬件实现的。该控制部20根据经由外部I/F部11取得的图像数据和从操作部12输入的操作信号、记录于记录部14的程序和数据等，对构成图像处理装置1的各部分进行指示和数据的转发等，统一控制图像处理装置1的整体动作。

图6是示出第1实施方式的图像处理装置1进行的处理步骤的整体流程图。并且，此处所说明的处理是通过图像处理装置1的各部分按照记录于记录部14的图像处理程序141进行动作来实现的。

如图6所示，首先控制部20执行图像取得处理，取得处理对象的管腔内部图像(步骤a1)。通过此时的处理，经由外部I/F部11取得管腔内部图像的图像数据，记录于记录部14。如上取得图像数据之后，该管腔内部图像的图像数据处于能通过运算部15读取的状态。图7是示出管腔内部图像的一个例子的图。以下以该管腔内部图像的左上为基准，设横向的像素坐标为x，设纵向的像素坐标为y。

接着，在运算部15中，梯度强度计算部16的噪声除去部161执行噪声除去处理，从管腔内部图像中除去噪声(步骤a3)。该噪声除去处理例如可通过对步骤a1取得的管腔内部图像的图像数据进行保存了边缘的平滑化处理来实现。其中，例如使用对于尖峰噪声较强的中值(Median)滤波器进行平滑化处理。这是因为：在管腔内部图像中可能会包含产生照明光的正面反射的区域(正面反射区域)作为与尖峰噪声相当的噪声区域。作为滤波器尺寸，例如采用11×11的规格。在管腔内部图像中，除去粘膜结构的轮廓边缘之外，还包括例如粘膜表面的柔毛(绒毛)等导致的凹凸和照明光的正面反射区域等所产生的边缘(噪声边缘)。根据步骤a3的噪声除去处理，能够抑制上述噪声边缘，能减少轮廓边缘的错误检测。并且，不限于中值滤波器，例如还可以进行例如使用k最邻近平均化滤波器或双向(Bilateral)滤波器等其他边缘保存型滤波器的平滑化处理。

接着，结构信息取得部162执行结构信息取得处理，根据步骤a3的噪声除去处理后的管腔内部图像的图像数据，取得粘膜结构表面的形状变化信息(步骤a5)。作为管腔内部图像所显现出的血管和出血部位等结构成分的血红蛋白具备较多吸收短波段光的特性。通过该血红蛋白的短波段的吸光特性，很多波长成分是由短波段构成的G(绿)成分和B(蓝)的亮度值由于血红蛋白的吸光而降低。因此在管腔内部图像中能够包含血管和出血部位等作为噪声边缘。另一方面，很多波长成分是由长波段构成的R(红)成分吸光较少，反射几乎所有的光，因此能通过该R(红)成分取得最反映粘膜结构的信息。于是在第1实施方式中，为了在后续处理中高精度地检测出粘膜结构的轮廓边缘，取得R(红)的波长成分(R成分)的图像(R成分图像：将各像素的像素值作为R(红)成分的值的图像)的图像数据作为粘膜结构表面的形状变化信息。根据步骤a5的结构信息取得处理，能够减少将粘膜表面的颜色变化所产生的噪声边缘错误检测为轮廓边缘的情形。

接着，微分处理部163执行梯度强度计算处理，计算各像素的梯度强度(带符号)(步骤a7)。图8是说明梯度和梯度强度之间的关系的图，在图8中，用实线示出例如以横轴作为沿着管腔内部图像的横向(x方向)的像素位置(坐标)、以纵轴作为相应的各像素的梯度的梯度变化曲线，并且用单点划线示出以纵轴作为相应的各像素的梯度强度的梯度强度的变化曲线。如图8所示，梯度强度在像素值的梯度很陡的部位处取较大的值，在梯度较缓的部位取较小的值。在步骤a7的梯度强度计算处理中，根据在步骤a5中取得的粘膜结构表面的形状变化信息(R成分图像的图像数据)计算梯度强度的值。而且在步骤a9以后的处理中，根据该梯度强度的值，检测轮廓边缘位置。如果在步骤a9以后的处理之前先进行梯度强度计算处理，则无需在后续处理中重复进行梯度强度的运算。

例如，微分处理部163是通过对步骤a5中取得的粘膜结构表面的形状变化信息(R成分图像的图像数据)进行使用了1阶微分滤波器的微分滤波处理来实现的。其中，例如使用索贝尔(sobel)滤波器，取得梯度强度图像(将各像素的像素值作为梯度强度的值的图像)、横向分量梯度强度图像(以各像素的像素值作为梯度强度的横向分量的值的图像)、纵向分量梯度强度图像(以各像素的像素值作为梯度强度的纵向分量的值的图像)。

具体而言，使用图9A所示的3×3的横向(x方向)的索贝尔滤波器和图9B所示的3×3的纵向(y方向)的索贝尔滤波器，使用3×3的附近区域进行滤波。而且，取得使用了图9A的横向索贝尔滤波器的微分滤波处理的输出，作为各像素的梯度强度的横向分量。另一方面，取得使用了图9B的纵向索贝尔滤波器的微分滤波处理的输出，作为各像素的梯度强度的纵向分量。此后，将这些梯度强度的横向分量和纵向分量进行合成，取得各像素的梯度强度。图10是示出通过处理图7的管腔内部图像而取得的横向分量梯度强度图像的图，图11是示出通过处理图7的管腔内部图像而取得的纵向分量梯度强度图像的图，图12是示出将图10的横向分量梯度强度图像与图11的纵向分量梯度强度图像进行合成而取得的梯度强度图像的图。并且，不限于索贝尔滤波器，还可以使用其他微分滤波器进行微分滤波处理。

如上执行了梯度强度计算处理后，如图6所示，候选边缘检测部17执行轮廓候选边缘检测处理(步骤a9)。另外，与该步骤a9的轮廓候选边缘检测处理同时地，由参照范围设定部18执行参照范围设定处理(步骤a11)。通过同时进行轮廓候选边缘检测处理和参照范围设定处理，能实现处理时间的缩短。另外，并非一定需要同时进行轮廓候选边缘检测处理和参照范围设定处理，也可以在轮廓候选边缘检测处理之后进行参照范围设定处理。再者，也可以先进行参照范围设定处理。在后面使用第3实施方式叙述先进行参照范围设定处理的结构。

首先说明步骤a9的轮廓候选边缘检测处理。在该轮廓候选边缘检测处理中，候选边缘检测部17根据步骤a7计算出的各像素的梯度强度，检测出作为轮廓边缘位置的候选的轮廓候选边缘位置。在第1实施方式中，候选边缘检测部17将由凸位置的像素(脊部)构成的像素组的位置检测为轮廓候选边缘位置。

作为处理步骤，首先由梯度变化方向检测部171根据横向分量梯度强度图像和纵向分量梯度强度图像，按照下式(1)计算各像素的梯度的最大变化方向。其中，在下式(1)中，f’x表示横向分量梯度强度图像，f’y表示纵向分量梯度强度图像。另外，(x，y)表示横向分量梯度强度图像和纵向分量梯度强度图像中的各像素的坐标。另外，θ表示从图像横向开始的角度。

接着，梯度变化方向检测部171根据计算出的最大变化方向，检测各像素的梯度变化方向。由于图像数据是在呈网格状排列的像素(坐标)中设定有数据(像素值)而构成的，因而这里通过将利用上式(1)算出的梯度的最大变化方向分类为4个方向来检测各像素的梯度变化方向。图13是说明由梯度的最大变化方向的正切(tanθ)向梯度变化方向的转换的图。另外，图14是示出所分类的4个方向的梯度变化方向的图。如图13所示，以“-2.4142”、“-0.4142”、“0.4142”、“2.4142”的各值对tanθ的值进行划分，根据使用上述式(1)计算为梯度最大变化方向的tanθ的值属于哪个范围，将各像素的梯度变化方向分类为图14所示的方向＝0、1、2、3中的某个。

此后，凸位置检测部172根据各像素的梯度变化方向，检测梯度强度的凸位置。图15A是示出在之前的处理中检测出的各像素的梯度变化方向的一个例子的图。并且在图15A中，用箭头示出各像素的梯度变化方向。另外，图15-2是示出图15A所示的像素P11～像素P13的梯度变化的图。而且图15C是示出图15A的像素P11～像素P13的梯度强度变化的图。

凸位置的检测是通过判定关注像素相比于在梯度变化方向上与该关注像素连接的像素，其梯度强度的值是否为最大来进行的。例如图15A所示，像素P11～像素P13沿着关注像素位置P12的梯度变化方向(方向＝3)连接。其中，例如图15B所示，如果这些像素P11～像素P13的梯度变化在像素P12处最急剧，则如图15C所示，梯度强度的值在像素P12处为最大，其变化在像素P12处呈凸状态。此时，将像素P12检测为凸位置。

在实际的处理中，将各像素依次作为关注像素(x，y)，在关注像素(x，y)与在梯度变化方向上连接的两侧的像素之间比较梯度强度的值。而且，当关注像素(x，y)的梯度强度为最大的情况下，将关注像素(x，y)检测为凸位置。

图16A是说明中央的关注像素的梯度变化方向为方向＝0时比较梯度强度的像素的图，图16B是说明中央的关注像素的梯度变化方向为方向＝1时比较梯度强度的像素的图，图16C是说明中央的关注像素的梯度变化方向为方向＝2时比较梯度强度的像素的图，图16D是说明中央的关注像素的梯度变化方向为方向＝3时比较梯度强度的像素的图。其中，为了识别关注像素和比较梯度强度的两侧的像素，如各图中相应的各网格所示，设关注像素为b，两侧像素分别为a、c。

例如当作为关注像素(x，y)的像素b的梯度变化方向为方向＝0的情况下，如图16A所示，与在方向＝0的水平方向相邻的两侧的像素a、c进行梯度强度的比较。图16B、图16C、图16D所示的方向＝1、2、3的情况也相同。具体而言，按照下式(2)、(3)，当作为关注像素(x，y)的像素b的梯度强度大于像素a、c且为最大的情况下，将关注像素(x，y)作为凸位置，将Line(x，y)的值作为梯度强度的值f’(x，y)。另一方面，若像素b的梯度强度并非最大，则设Line(x，y)的值为“0”。

梯度强度最大的像素＝b的情况下，Line(x，y)＝f′(x，y)…(2)

此外的情况下，Line(x，y)＝0…(3)

对所有像素进行上述处理，取得以各像素的像素值为Line(x，y)的值、即凸位置的像素值为其梯度强度的值、凸位置以外的像素的像素值为“0”的轮廓候选边缘图像。图17是示出通过对图10的横向分量梯度强度图像、图11的纵向分量梯度强度图像和图12的梯度强度图像进行处理而取得的轮廓候选边缘图像的图。

接着说明图6的步骤a11的参照范围设定处理。在该参照范围设定处理中，参照范围设定部18根据步骤a7计算出的各像素的梯度强度，来对选择轮廓边缘位置的范围(参照范围)进行设定。

作为处理步骤，首先由参照方向指定部181指定参照方向。在第1实施方式中，将计算出梯度强度的方向分量的横向和纵向这2个方向指定为参照方向。

接着，参照范围取得部182在每个参照方向上将各像素分割(划分)为包含上行梯度区域或下行梯度区域在内的1个以上的区域，由此取得对于每个参照方向的参照范围。在第1实施方式中，对于作为参照方向的横向和纵向分别将各像素划分为1个以上的参照范围。具体而言，首先由参照范围取得部182的梯度强度阈值处理部183按照下式(4)、(5)、(6)对横向分量梯度强度图像进行阈值处理，由此将横向分量梯度强度图像划分为上行梯度区域、下行梯度区域和平坦区域这3个区域。

-5＜f′_x(x，y)＜5_时，Field_x(x，y)＝0(0：平坦)...(4)

f′_x(x，y)＞5_时，Field_x(x，y)＝1(1：上行梯度)...(5)

f′_x(x，y)＜-5_时，Field_x(x，y)＝2(2：下行梯度)...(6)

接着，参照范围取得部18为了赋予参照范围一些余量，对划分出的上行梯度区域和下行梯度区域分别进行公知的形态学闭运算处理和形态学开运算处理。由此扩张上行梯度和下行梯度的各区域，作为横向的参照范围。图18是示出通过处理图10的横向分量梯度强度图像而取得的横向参照范围划分图像的图。

另外，参照范围取得部182根据纵向分量梯度强度图像，以与横向的情况同样的步骤将各像素划分为1个以上的参照范围。即，梯度强度阈值处理部183按照下式(7)、(8)、(9)对纵向分量梯度强度图像进行阈值处理，由此将纵向分量梯度强度图像划分为上行梯度区域、下行梯度区域和平坦区域这3个区域。

-5＜f′_y(x，y)＜5_时，Field_y(x，y)＝0(0：平坦)...(7)

f′_y(x，y)＞5_时，Field_y(x，y)＝1(1：上行梯度)...(8)

f′_y(x，y)＜-5_时，Field_y(x，y)＝2(2：下行梯度)...(9)

此后，参照范围取得部182分别对所划分的上行梯度区域和下行梯度区域进行形态学闭运算处理和形态学开运算处理，扩张上行梯度和下行梯度的各区域，作为纵向的参照范围。图19是示出通过对图11的纵向分量梯度强度图像进行处理而取得的纵向参照范围划分图像的图。

通过如上进行参照范围设定处理，能够在后续处理中按照各像素的梯度强度适应性地设定选择1个轮廓边缘位置的范围(参照范围)。因此，在后续的处理中，能够按照每个梯度(上行梯度和下行梯度的每个区域)，从轮廓候选边缘位置中不多不少地选择1个轮廓边缘位置，因此使得轮廓边缘位置的检测精度得以提升。

接着，如图6所示，轮廓边缘选择部19的边缘特性取得部191执行边缘特性取得处理，对于在步骤a9中检测出的各轮廓候选边缘位置取得边缘特性(步骤a13)。图20a是示出轮廓候选边缘图像的一个例子的示意图，图20(a)中，示出3条轮廓候选边缘线EL21、EL22、EL23。另外，图20(b)以横轴为图20(a)中的轮廓候选边缘线EL22上的坐标(x，y)，以纵轴为相应的各像素的梯度强度的值，示出图20(a)中轮廓候选边缘线EL22上的梯度强度的变化曲线。如图20(b)所示，在轮廓候选边缘线EL22上，图20(a)中的轮廓候选边缘位置P2的梯度强度值最大。在第1实施方式中，将该梯度强度的最大值作为轮廓候选边缘线EL22上的边缘特性，如图20(a)中单点划线的箭头所示，通过轮廓候选边缘位置P2的梯度强度值置换轮廓候选边缘线EL22上的所有轮廓候选边缘位置的梯度强度值。并且，这里以轮廓候选边缘线EL22为主进行了说明，然而对于轮廓候选边缘线EL21、EL23也同样取得边缘特性。

对所有轮廓候选边缘线进行上述处理，将各轮廓候选边缘位置的像素值作为针对包含该轮廓候选边缘位置在内的轮廓候选边缘线取得的边缘特性的值(该轮廓候选边缘线上的轮廓候选边缘位置的梯度强度的最大值)。而且，当轮廓候选边缘线上的轮廓候选边缘位置处的梯度强度最大值为预定阈值以上的情况下，将该轮廓候选边缘线上所有的轮廓候选边缘位置的梯度强度的值置换为该最大值。而当处于预定阈值以下的情况下，将该轮廓候选边缘线上的所有轮廓候选边缘位置的梯度强度的值置换为0，从轮廓候选边缘中除去。由此取得边缘特性图像。图21是示出通过对图12的梯度强度图像进行处理而取得的边缘特性图像的图。

在后续的方向分量轮廓边缘选择处理(步骤a15)中，按照每个参照范围从轮廓候选边缘位置中选择轮廓边缘位置。此时，将各参考范围内的轮廓候选边缘位置中、包含该轮廓候选边缘位置的轮廓候选边缘线上的轮廓候选边缘位置的梯度强度的最大值(即边缘特性)最大的轮廓候选边缘位置选择为轮廓边缘位置。在该方向分量轮廓边缘选择处理之前，先进行边缘特性取得处理，如果对各轮廓候选边缘位置赋予边缘特性，则在方向分量轮廓边缘选择处理中每当参照范围变化时无需重复进行边缘特性的取得，能缩短处理时间。

并且，在这里，将轮廓候选边缘线上的轮廓候选边缘位置的梯度强度最大值作为边缘特性，然而不限于此。例如可以将轮廓候选边缘线上的轮廓候选边缘位置的梯度强度平均值作为边缘特性。如上所述将梯度强度的最大值作为边缘特性的情况下，可能产生这样的情形：由于噪声等使得轮廓候选边缘线上的一些轮廓候选边缘位置的梯度强度值变大时的边缘特性比作为轮廓候选边缘线整体而梯度强度大时的边缘特性大。对此，若采用梯度强度的平均值作为边缘特性，则能够将轮廓候选边缘线上的轮廓候选边缘位置的平均梯度强度作为边缘特性，因此能够降低噪声影响，使边缘特性成为更适当的值。此外，还可以取得轮廓候选边缘线的长度和轮廓候选边缘线的平滑度等值作为边缘特性。

接着如图6所示，边缘特性比较部192的方向分量轮廓边缘选择部193执行方向分量轮廓边缘选择处理(步骤a15)。在该轮廓边缘选择处理中，按照在步骤a11中设定的每个参照范围在每个参照方向上进行从轮廓候选边缘位置中选择轮廓边缘位置的处理。图22是说明轮廓边缘位置的选择原理的图。其中，在图22中，单点划线所包围的区域为所划分的1个参照范围E3(上行梯度区域或下行梯度区域)。该参照范围E3包含构成4条轮廓候选边缘线EL31～EL34的轮廓候选边缘位置的一部分或整个区域。其中，这些4条轮廓候选边缘线EL31～EL34中，轮廓候选边缘线EL32的边缘特性最大。此时，将参照范围E3内包含的轮廓候选边缘线EL32上的轮廓候选边缘位置选择为参照范围E3中的轮廓边缘位置。

作为处理步骤，首先根据作为参照方向之一的横向的参照范围划分图像，从边缘特性图像中选择横向分量轮廓边缘位置。具体而言，按照横向的每个参照范围参照边缘特性图像，对横向(y方向)的每条线进行从各参照范围选择1个轮廓候选边缘位置的处理，由此取得横向分量轮廓边缘位置。

图23是说明横向分量轮廓边缘位置的选择原理的图，示出第y行的各像素的边缘特性的值，着眼于边缘特性图像第y行的情况下，首先按照图23中通过虚线划分而示出的第y行的参照范围的划分位置，对上行梯度的参照范围内的轮廓候选边缘位置和下行梯度的参照范围内的轮廓候选边缘位置赋予标记号码。此时，相邻的轮廓候选边缘位置被视作1个轮廓候选边缘位置，如图23中的标记号码“4”那样赋予1个标记号码。并且，此时的处理是用于检测管腔内部图像的轮廓边缘的处理，对与平坦区域对应的参照范围不进行处理。

接着，将从1个梯度(参照范围)中检测出的边缘位置作为梯度导致的亮度变化(梯度强度)最大的位置，选择具备边缘特性的最大值的轮廓候选边缘位置。即，首先依次将上行梯度的参照范围和下行梯度的参照范围作为选择对象，在选择对象的参照范围内按照每个标记号码比较边缘特性。然后将边缘特性的值最大的标记编号的轮廓候选边缘位置选择为选择对象的参照范围的横向分量轮廓边缘位置。例如，在下行梯度的参照范围E41中，将被赋予了标记编号“1”的轮廓候选边缘位置选择为横向分量轮廓边缘位置。另外，此时当选择对象的参照范围内包含多个边缘特性的值最大的位置时，按照该参照范围是上行梯度的参照范围还是下行梯度的参照范围，选择其中一方。具体而言，当1个参照范围内存在多个边缘特性的最大值时，视为由于梯度而使得亮度值上升的位置，在朝向右方向的上行梯度的参照范围中选择边缘特性为最大值的多个轮廓候选边缘位置中最左侧的轮廓候选边缘位置，在下行梯度中选择最右侧的轮廓候选边缘位置。例如，在上行梯度的参照范围E42中选择前者(图23中左侧的被赋予标记编号“5”的轮廓候选边缘位置)，在下行梯度的参照范围E43中选择后者(图23中右侧的被赋予标记编号“9”的轮廓候选边缘位置)。并且，关于在1个参照范围内存在多个边缘特性的最大值时选择哪个最大值，不限于上述手法。例如，也可以设为：轮廓候选边缘越长则作为该轮廓候选边缘的轮廓边缘的可靠度越高，选择轮廓候选边缘的边缘长度较长的轮廓边缘候选位置。

对y方向的所有线进行如上处理，取得作为横向分量轮廓边缘位置的像素的像素值例如为“1”、此外的像素的像素值为“0”的横向分量轮廓边缘图像。图24是示出通过一边参照图18的横向参照范围划分图像一边处理图21的边缘特性图像而取得的横向分量轮廓边缘图像的图。

接着，根据纵向的参照范围划分图像，从边缘特性图像中选择纵向分量轮廓边缘位置。具体而言，与横向的情况同样地，按照每个纵向的参照范围参照边缘特性图像，按照纵向(x方向)的每条线进行从各参照范围中选择1个轮廓候选边缘位置的处理，由此取得纵向分量轮廓边缘位置。然后取得作为纵向分量轮廓边缘位置的像素的像素值为“1”、此外的像素的像素值为“0”的纵向分量轮廓边缘图像。图25是示出通过一边参照图19的纵向参照范围划分图像一边处理图21的边缘特性图像而取得的纵向分量轮廓边缘图像的图。

并且，此时将参照范围内边缘特性最大的轮廓候选边缘位置选择为轮廓边缘位置。对此，可以将参照范围内包含的轮廓候选边缘线中、在该参照范围内长度最长的轮廓候选边缘线上的轮廓候选边缘位置选择为轮廓边缘位置。具体而言，对选择对象的参照范围内包含的各轮廓候选边缘线上的像素数(轮廓候选边缘位置的数量)分别进行计数，将所计数的像素数最多的轮廓候选边缘线上的轮廓候选边缘位置选择为选择对象的参照范围的轮廓边缘位置。例如，在图22的例子中，在参照范围E3内，轮廓候选边缘线EL32最长，将参照范围E3内包含的轮廓候选边缘线EL32上的轮廓候选边缘位置选择为参照范围E3的轮廓边缘位置。

或者也可以将参照范围内包含的轮廓候选边缘线中最平滑的轮廓候选边缘线上的轮廓候选边缘位置选择为轮廓边缘位置。具体而言，在轮廓候选边缘线上从一端开始等间隔地设定预定数量的点。然后，对所设定的各点分别计算出朝向左右相邻的点的矢量的外积的绝对值。然后计算出对各点计算的外积绝对值的方差值。对参照范围内包含的各轮廓候选边缘线进行上述处理，比较所取得的方差值。然后将方差最小的轮廓候选边缘线作为最平滑的轮廓候选边缘线，将该最平滑的轮廓候选边缘线上的轮廓候选边缘位置选择为轮廓边缘位置。

接着，如图6所示，方向分量轮廓边缘合并部194执行方向分量轮廓边缘合并处理(步骤a17)。在该方向分量轮廓边缘合并处理中，方向分量轮廓边缘合并部194从横向分量轮廓边缘位置和纵向分量轮廓边缘位置中选择可靠性较高的一方进行合并，取得轮廓边缘图像。

作为处理步骤，方向分量轮廓边缘合并部194按照每个像素参照横向分量轮廓边缘图像和纵向分量轮廓边缘图像，在两种图像中被设定为“1”的像素(被选择为横向分量轮廓边缘位置且被选择为纵向分量轮廓边缘位置的像素)可靠性较高，因而被选择为轮廓边缘位置。在实际处理中，按照下式(10)、(11)，对于横向分量轮廓边缘图像的像素值edgeA(x，y)和纵向分量轮廓边缘图像edgeB(x，y)这双方都为“1”的像素，使轮廓边缘图像中相应的像素的像素值Edge(x，y)为“1”。另一方面，对于某一方为“1”的像素或对于双方都为“0”的像素，使相应的像素的像素值Edge(x，y)为“0”。

当edgeA(x，y)＝1.且edgeB(x，y)＝1的情况下，Edge(x，y)＝1…(10)

此外的情况下，Edge(x，y)＝0…(11)

另外，如上所述，在第1实施方式中，为了取得轮廓边缘位置，将横穿峰峦的亮度值形状的方向设定为参照方向，作为该参照方向上梯度强度最大的轮廓候选边缘位置来进行检测。其中，梯度强度取的是峰峦的亮度值形状，轮廓边缘位置处于峰峦的脊部位置。横穿峰峦的亮度值形状的方向相对于脊部方向几乎垂直，而当接近平行于脊部方向的情况下，若脊部弯曲延伸，则同一轮廓候选边缘会多次进入参照范围，因而会产生消除掉边缘一部分的可能性。因此当参照方向为横向、轮廓边缘为横向的情况下，被认为可靠性较低。参照方向为纵向、轮廓边缘为纵向的情况也同样被认为可靠性较低。

即，可认为横向分量轮廓边缘图像中的纵分量边缘具有可靠性。于是，方向分量轮廓边缘合并部194依次参照横向分量轮廓边缘图像的各像素的像素值edgeA(x，y)，按照下式(12)、(13)将纵分量边缘的位置作为轮廓边缘位置，设该轮廓边缘图像的像素值Edge(x，y)为“1”。

满足条件1或条件2的情况下，Edge(x，y)＝1…(12)

此外的情况下，Edge(x，y)＝0…(13)

其中，条件1：edgeA(x-1，y-1)＝0.且edgeA(x，y-1)＝0.且edgeA(x+1，y-1)＝0

条件2：edgeA(x-1，y+1)＝0且edgeA(x，y+1)＝0.且edgeA(x+1，y+1)＝0。

同样地，认为纵向分量轮廓边缘图像中的横向边缘也具有可靠性。于是，方向分量轮廓边缘合并部194依次参照纵向分量轮廓边缘图像的各像素的像素值edgeB(x，y)，按照下式(14)、(15)将横向边缘的位置作为轮廓边缘位置，设该轮廓边缘图像的像素值Edge(x，y)为“1”。

满足条件3或条件4的情况下，Edge(x，y)＝1…(14)

此外的情况下，Edge(x，y)＝0…(15)

其中，条件3：edgeB(x-1，y-1)＝0.且edgeB(x-1，y)＝0且edgeB(x-1，y+1)＝0

条件4：edgeB(x+1，y-1)＝0.且edgeB(x+1，y)＝0.且edgeB(x+1，y+1)＝0。

然后，运算部15执行轮廓边缘图像输出处理，将作为步骤a17的方向分量轮廓边缘合并处理的结果而取得的轮廓边缘图像例如输出并保存到记录部14中(步骤a19)。图26是示出在图6的步骤a17中对图24的横向分量轮廓边缘图像和图25的纵向分量轮廓边缘图像进行处理并在图6的步骤a19中输出的轮廓边缘图像的图。

在管腔内部图像所显现的粘膜结构那样的弹性体的轮廓部分中，具有作为整体而在1个梯度途中存在缓和梯度的部位。在这种部位，梯度强度的分布的峰值位置被分为2个以上，因此在仅采用将梯度强度的分布的峰值位置(由凸位置检测部172检测的梯度强度的凸位置)检测为边缘位置的现有手法中，会在轮廓附近检测出多个边缘线。对此，在第1实施方式中，根据管腔内部图像的各像素的梯度强度，检测轮廓候选边缘位置。另外，根据梯度强度将各像素划分到包含上行梯度区域和下行梯度区域在内的多个区域并设定参照范围，按照这些上行梯度和下行梯度的每个参照范围选择轮廓候选边缘位置，作为轮廓边缘位置。据此，即使是在轮廓部分存在2个以上梯度强度的峰值位置的情况下，也能够从它们之中检测出边缘特性较大的一方(梯度强度的最大值较大的一方)，作为粘膜结构的轮廓边缘。因此能够高精度地从管腔内部图像中检测到粘膜结构的轮廓边缘。

第2实施方式

首先说明第2实施方式的图像处理装置的结构。图27是说明第2实施方式的图像处理装置1a的功能结构例的框图。另外，图28是说明构成运算部15a的候选边缘检测部17a的结构例的框图，图29是说明参照范围设定部18a的结构例的框图，图30是说明轮廓边缘选择部19a的结构例的框图。并且对与第1实施方式中说明的结构相同的结构赋予同一符号。如图27所示，第2实施方式的图像处理装置1a具有外部I/F部11、操作部12、显示部13、记录部14a、运算部15a、控制图像处理装置1a整体动作的控制部20。

记录部14a记录有用于实现第2实施方式的处理以从管腔内部图像中检测轮廓边缘(粘膜结构的轮廓边缘)的图像处理程序141a。

另外，运算部15a具有梯度强度计算部16、候选边缘检测部17a、参照范围设定部18a、轮廓边缘选择部19a。其中，梯度强度计算部16、候选边缘检测部17a和轮廓边缘选择部19a按照该顺序连接起来，梯度强度计算部16与参照范围设定部18a连接，候选边缘检测部17a与参照范围设定部18a连接，参照范围设定部18a与轮廓边缘选择部19a连接。

候选边缘检测部17a根据各像素的梯度强度，检测轮廓候选边缘位置。如图28所示，该候选边缘检测部17a具有候选边缘线检测部173a、阈值处理部175a。其中，候选边缘线检测部173a与阈值处理部175a连接。

候选边缘线检测部173a根据从梯度强度计算部16输入的各像素的梯度强度，检测边缘线。该候选边缘线检测部173a具有细线化部174a。在第2实施方式中，该细线化部174a根据各像素的梯度强度检测细线化后的边缘线。其中，细线化后的边缘线指的是宽度为1个像素的边缘线。检测出的边缘线(细线化后的边缘线)被输出给阈值处理部175a。阈值处理部175a对所输入的边缘线上的像素的梯度强度进行阈值处理，检测梯度强度的值在预先设定的阈值以上的边缘线上的像素。例如，阈值处理部175a进行公知的滞后(hysteresis)阈值处理。如上构成的候选边缘检测部17a将阈值处理部175a检测出的梯度强度较大的边缘线上的像素作为轮廓候选边缘位置，并输出给参照范围设定部18a和轮廓边缘选择部19a。

参照范围设定部18a对轮廓边缘选择部19a从轮廓候选边缘位置中选择轮廓边缘位置时所参照的参照范围进行设定。如图29所示，该参照范围设定部18a具有参照方向指定部181a、参照范围取得部182a。其中，参照方向指定部181a与参照范围取得部182a连接。

参照方向指定部181a对设定参照范围的方向(参照方向)进行指定。该参照方向指定部181a具有参照方向计算部184a。参照方向计算部184a根据由梯度强度计算部16输入的各像素的梯度强度和由候选边缘检测部17a输入的轮廓候选边缘位置，按照每个轮廓候选边缘位置计算该轮廓候选边缘线的法线方向，作为相应的轮廓候选边缘位置的参照方向。计算出的各轮廓候选边缘位置的参照方向被输出给参照范围取得部182a。

参照范围取得部182a具有梯度强度阈值处理部183a，根据从参照范围取得部182a输入的各轮廓候选边缘位置的参照方向和从候选边缘检测部17a输入的各像素的梯度强度，对于各轮廓候选边缘位置取得沿着该参照方向的参照范围。如上构成的参照范围设定部18a将各轮廓候选边缘位置的参照范围输出给轮廓边缘选择部19a。

轮廓边缘选择部19a从轮廓候选边缘位置中选择轮廓边缘位置。如图30所示，该轮廓边缘选择部19a具有边缘特性取得部191、边缘特性比较部192a。其中，边缘特性取得部191与边缘特性比较部192a连接。

边缘特性比较部192a根据从参照范围设定部18a输入的各轮廓候选边缘位置的参照范围和边缘特性取得部191基于从候选边缘检测部17a输入的轮廓候选边缘位置而取得的各轮廓候选边缘位置的边缘特性，从各轮廓候选边缘位置的参照范围中分别选择轮廓边缘位置。

图31是示出第2实施方式的图像处理装置1a进行的处理步骤的整体流程图。并且此处说明的处理是通过图像处理装置1a的各部分按照记录于记录部14a的图像处理程序141a进行工作来实现的。并且，在图31中，对于与第1实施方式相同的处理步骤赋予同一符号。

如图31所示，在第2实施方式中，在步骤a7中由梯度强度计算部16的微分处理部163(参见图2)执行梯度强度计算处理，计算出各像素的带符号的梯度强度之后，由候选边缘检测部17a执行轮廓候选边缘检测处理(步骤b9)。

在该轮廓候选边缘检测处理中，首先由候选边缘线检测部173a的细线化部174a通过与第1实施方式相同的步骤，根据各像素的梯度强度，检测作为轮廓边缘位置的候选的轮廓候选边缘位置。具体而言，计算各像素的梯度的最大变化方向，根据计算出的最大变化方向，检测各像素的梯度变化方向。此后，根据各像素的梯度变化方向，检测梯度强度的凸位置，由此取得细线化后的边缘线(宽度相当于1个像素的边缘线)。

此后，从检测出的边缘线上的像素中除去梯度强度值较小的像素，由此缩小轮廓候选边缘位置的范围。具体而言，阈值处理部175a进行滞后阈值处理，检测梯度强度值在预先设定的阈值以上的边缘线上的像素，取得最终的轮廓候选边缘位置。

图32(a)是示出在前一部分的处理中检测出的边缘线的一个例子的示意图，示出3条边缘线EL51、EL52、EL53。另外，在图32(b)和图32(c)中，将横轴作为图32(a)中的边缘线EL52上的坐标(x，y)，将纵轴作为相应的各像素的梯度强度值，示出了图32(a)中的边缘线EL52上的梯度强度的变化曲线。阈值处理部175a首先使用图32(b)中所示的第1阈值，对边缘线EL52上的梯度强度进行阈值处理，由此将梯度强度在阈值以上的范围、具体是图32(a)所示的边缘线EL52上的像素P53～P54的范围检测为轮廓候选边缘位置。接着，阈值处理部175a使用图32(c)中所示的值小于第1阈值的第2阈值，对边缘线EL52上的梯度强度进行阈值处理，进一步将梯度强度在第2阈值以上的像素中、与使用第1阈值的阈值处理中检测出的范围的端点即像素P53、P54不中断地连续的边缘线EL52上的像素、具体是像素P51～P53和像素P54～像素P55的范围检测为轮廓候选边缘位置。边缘线EL52上的像素P55～像素P51的范围不会检测为轮廓候选边缘位置。另外，对于轮廓候选边缘线EL51、EL53也同样缩小轮廓候选边缘位置的范围。

并且，在第2实施方式中，作为具体实现图31所示的步骤a3～步骤b9的处理的算法，可使用已经公知的坎尼边缘检测算法(参照：J.Canny，A Computational Approach toEdge Detection，IEEE Trans.On Pattern Analysis and Machine Intelligence，8(6)，pp.679-698，1986或CG-ARTS協会、デイジタル画像処理、209P-輪郭線検出)。

接着，参照范围设定部18a执行参照范围设定处理，根据在步骤a7中计算出的各像素的梯度强度，对每个轮廓候选边缘位置设定参照范围(步骤b11)。图33是说明第2实施方式的参照范围的设定原理的图，示出2条轮廓候选边缘线EL61、EL62。其中，例如着眼于轮廓候选边缘线EL61上的轮廓候选边缘位置P6时，将轮廓候选边缘线EL61的轮廓候选边缘位置P6中位于图33中虚线所示的法线方向上的像素中梯度方向与轮廓候选边缘位置P6相同的像素的范围(例如像素P61～像素P62的范围)作为轮廓候选边缘位置P6的参照范围。

作为实际的处理步骤，首先由参照方向指定部181a的参照方向计算部184a将各轮廓候选边缘位置依次作为处理对象，将处理对象的轮廓候选边缘位置所属的轮廓候选边缘线的处理对象的轮廓候选边缘位置的法线方向计算为参照方向。法线方向的计算方法没有特别限定，例如可以与第1实施方式中作为梯度变化方向检测部171进行的处理所说明的步骤同样，通过计算该梯度的最大变化方向并检测梯度变化方向来实现。并且，这种情况下，可以将在前面的步骤b9中检测轮廓候选边缘位置时检测出的各像素的梯度变化方向预先保存在记录部14a中，读取处理对象的轮廓候选边缘位置的梯度变化方向。

此后，参照范围取得部182a将轮廓候选边缘位置依次作为处理对象，以与第1实施方式相同的要领对位于该参照方向上的各像素进行分割(划分)。具体而言，在参照范围取得部182a中，梯度强度阈值处理部183a对作为处理对象的轮廓候选边缘位置的参照方向上所存在的各像素的梯度强度进行阈值处理，由此将参照方向上的各像素划分为上行梯度范围、下行梯度范围以及平坦区域这3个范围。然后将划分出的各范围中包含处理对象的轮廓候选边缘位置的范围作为其参照范围。

如上所述进行参照范围设定处理，对各轮廓候选边缘位置计算参照方向，设定参照范围，由此能够在沿着轮廓候选边缘位置的梯度变化方向的参照方向上，将包含轮廓候选边缘位置的上行梯度或下行梯度的范围设定为参照范围。由此，在后续的处理中可以对包含轮廓候选边缘位置的每个梯度选择1个轮廓边缘位置，因此使得轮廓边缘的检测精度提升。

接着，如图31所示，轮廓边缘选择部19a的边缘特性取得部191执行边缘特性取得处理，对于在步骤b9中检测出的各轮廓候选边缘位置取得边缘特性(步骤b13)。该边缘特性取得处理是通过与第1实施方式中说明的图6的步骤a13相同的步骤进行的。

接着，边缘特性比较部192a执行轮廓边缘选择处理，从步骤b11中按照每个轮廓候选边缘位置设定的各参照范围分别选择1个轮廓边缘位置(步骤b15)。

图34是着眼于1个轮廓候选边缘位置来说明第2实施方式的轮廓边缘位置的选择原理的图，以横轴作为所着眼的轮廓候选边缘位置在参照方向上的坐标，以纵轴作为所着眼的轮廓候选边缘位置在参照方向上的边缘特性，示出了参照范围内的各像素的边缘特性值。在第2实施方式中，如图34所示，对该参照范围内的轮廓候选边缘位置赋予标记编号。而且按照每个标记编号比较边缘特性，将边缘特性值最大的标记编号(例如图34的例子中为标记编号“2”)的轮廓候选边缘位置选择为对于处理对象的轮廓候选边缘位置设定的参照范围的轮廓边缘位置。此时，当参照范围内包含多个边缘特性值最大的位置时，与第1实施方式同样地，在上行梯度的参照范围选择前者(图34中左侧)，在下行梯度的参照范围选择后者(图34中右侧)。

对所有轮廓候选边缘位置进行如上处理，取得作为轮廓边缘位置的像素的像素值例如为“1”、此外的像素的像素值为“0”的轮廓边缘图像。此后，运算部15a与第1实施方式同样地执行轮廓边缘图像输出处理，将作为步骤b15的轮廓边缘选择处理的结果而取得的轮廓边缘图像例如输出并保存到记录部14a中(步骤b19)。

如上所述，在第2实施方式中，按照每个轮廓候选边缘位置将各轮廓候选边缘位置的轮廓候选边缘线的法线方向计算为参照方向，将计算出的参照方向上的包含轮廓候选边缘位置的梯度范围设定为参照范围。而且从每个轮廓候选边缘的参照范围中分别选择1个轮廓候选边缘位置作为轮廓边缘位置。由此就能够从包含相应的轮廓候选边缘位置的梯度范围中选择1个轮廓边缘位置，该梯度范围是按照每个轮廓候选边缘位置设定的参照范围、即沿着相应的轮廓候选边缘位置的轮廓候选边缘线的法线方向即参照方向的梯度范围。因此能取得与第1实施方式相同的效果，能高精度地从管腔内部图像中检测出粘膜结构的轮廓边缘。

第3实施方式

首先说明第3实施方式的图像处理装置的结构。图35是说明第3实施方式的图像处理装置1b的功能结构例的框图。并且对于与第1实施方式中说明的结构相同的结构赋予同一符号。如图35所示，第3实施方式的图像处理装置1b具有外部I/F部11、操作部12、显示部13、记录部14b、运算部15b、控制图像处理装置1b的整体动作的控制部20。

记录部14b记录有用于实现第3实施方式的处理而从管腔内部图像检测出轮廓边缘(粘膜结构的轮廓边缘)的图像处理程序141b。

另外，运算部15b具有第1实施方式中说明的梯度强度计算部16、候选边缘检测部17、参照范围设定部18、轮廓边缘选择部19。而且，这些部分按照梯度强度计算部16、参照范围设定部18、候选边缘检测部17、轮廓边缘选择部19的顺序连接。即，第3实施方式与第1实施方式的不同之处在于，梯度强度计算部16与参照范围设定部18连接，参照范围设定部18与候选边缘检测部17连接。而且梯度强度计算部16对管腔内部图像进行处理，计算各像素的梯度强度，输出给参照范围设定部18。参照范围设定部18设定每个参照方向的参照范围，输出给候选边缘检测部17。候选边缘检测部17检测轮廓候选边缘位置并输出给轮廓边缘选择部19。轮廓边缘选择部19从轮廓候选边缘位置选择轮廓边缘位置，例如输出并保存到记录部14中。

图36是示出第3实施方式的图像处理装置1b所进行的处理步骤的整体流程图。并且，此处所说明的处理是通过图像处理装置1b的各部分按照记录于记录部14b中的图像处理程序141b进行动作来实现的。并且在图36中，对与第1实施方式相同的处理步骤赋予同一符号。

如图36所示，在第3实施方式中，在步骤a7中由梯度强度计算部16的微分处理部163(参见图2)执行梯度强度计算处理，计算出各像素的带符号的梯度强度之后，由参照范围设定部18执行参照范围设定处理(步骤c9)。该参照范围设定处理是通过与第1实施方式中说明的图6的步骤a11相同的步骤进行的。

接着，候选边缘检测部17执行轮廓候选边缘检测处理，根据步骤a7中计算出的各像素的梯度强度检测轮廓候选边缘位置(步骤c11)。处理的步骤本身与第1实施方式所说明的图6的步骤a9相同。其中，在第3实施方式中，从与在步骤c9中划分出参照范围设定部18的上行梯度区域对应的各参照范围和与下行梯度区域对应的各参照范围中检测轮廓候选边缘位置，不对平坦区域进行轮廓候选边缘位置的检测。这是由于无需从平坦区域中检测轮廓边缘位置。具体而言，候选边缘检测部17一边参照横向参照范围划分图像和纵向参照范围划分图像，一边根据与横向分量梯度强度图像的上行梯度和下行梯度的区域对应的各参照范围内的像素以及与纵向分量梯度强度图像的上行梯度和下行梯度的区域对应的各参照范围内的像素的梯度强度，检测轮廓候选边缘位置。此后转移到步骤a13。

如上所述，根据第3实施方式，能取得与第1实施方式相同的效果，而且不以平坦区域作为对象，能够仅以上行梯度区域和下行梯度区域作为对象，检测轮廓候选边缘位置，因此与第1实施方式那样以所有像素为对象检测轮廓候选边缘位置的情况相比，能缩短处理时间。

并且，上述第1实施方式的图像处理装置1、第2实施方式的图像处理装置1a、第3实施方式的图像处理装置1b都可以通过个人计算机或工作站等计算机系统执行预先准备的程序来实现。下面对具有与第1～第3实施方式所说明的图像处理装置1、1a、1b相同的功能并执行图像处理程序141、141a、141b的计算机系统进行说明。

图37是示出本变形例的计算机系统400的结构的系统结构图，图38是示出构成该计算机系统400的主体部410的结构的框图。如图37所示，计算机系统400具有主体部410、用于利用来自主体部410的指示在显示画面421上显示图像等信息的显示器420、用于向该计算机系统400输入各种信息的键盘430、用于指定显示器420的显示画面421上的任意位置的鼠标440。

另外，如图37和图38所示，该计算机系统400的主体部410具有CPU 411、RAM412、ROM 413、硬盘驱动器(HDD)414、接受CD-ROM 460的CD-ROM驱动器415、以可拆装的方式连接USB存储器的USB端口416、连接显示器420、键盘430和鼠标440的I/O接口417、用于与局域网或广域网(LAN/WAN)N1连接的LAN接口418。

进而，该计算机系统400连接有用于连接因特网等公用线路N3的调制解调器450，而且经由LAN接口418以及局域网或广域网N1，连接有作为其他计算机系统的个人计算机(PC)481、服务器482、打印机483等。

而且，该计算机系统400通过读取并执行记录于记录介质的图像处理程序(例如第1实施方式的图像处理程序141、第2实施方式的图像处理程序141a、第3实施方式的图像处理程序141b)，实现图像处理装置(例如第1实施方式的图像处理装置1、第2实施方式的图像处理装置1a、第3实施方式的图像处理装置1b)。其中，记录介质除了CD-ROM 460和USB存储器470之外，还包括记录能够由计算机系统400读取的图像处理程序的如下所有记录介质，即：包括MO磁盘和DVD磁盘、软盘(FD)、IC卡等的“可移动记录介质”；配备在计算机系统400的内部或外部的HDD 414、RAM412、ROM 413等“固定物理介质”；如经由调制解调器450连接的公用线路N3、连接有作为其他计算机系统的PC 481和服务器482的局域网或广域网N1等那样在发送程序时短期存储程序的“通信介质”等。

即，图像处理程序是以可由计算机读取的方式记录在“可移动记录介质”、“固定物理介质”和“通信介质”等记录介质中的，计算机系统400通过从这些记录介质中读取并执行图像处理程序，实现图像处理装置。并且，图像处理程序不限于通过计算机系统400执行的形式，本发明同样可以用于由作为其他计算机系统的PC 481或服务器482执行图像处理程序的情况以及这些计算机和服务器协作执行图像处理程序的情况。

另外，本发明不限于上述第1～第3实施方式及其变形例，通过将各实施方式和变形例所公开的多个构成要素适当地组合起来，能形成各种发明。例如，可以从各实施方式和变形例所示的所有构成要素中删除某几个构成要素。或者还可以将不同实施方式和变形例所示的构成要素适当组合起来形成各种发明。

根据上述所说明的本发明，能够取得高精度地从对象图像检测出对象物的轮廓边缘的效果。

Claims (11)

1.一种图像处理装置，其具有：

梯度强度计算部，其根据对预定对象物进行拍摄而得到的对象图像的像素值，计算各像素的梯度强度；

候选边缘检测部，其根据上述各像素的梯度强度，检测轮廓候选边缘位置；

参照范围设定部，其根据上述各像素的梯度强度，对从上述轮廓候选边缘位置中选择轮廓边缘位置时所参照的作为所述对象图像内的区域的参照范围进行设定；以及

轮廓边缘选择部，其从上述各参照范围内的多个轮廓候选边缘位置中选择1个轮廓候选边缘位置，作为上述轮廓边缘位置。

2.根据权利要求1所述的图像处理装置，其中，

上述参照范围设定部具有：

参照方向指定部，其指定对上述参照范围进行设定的参照方向；以及

参照范围取得部，其取得包含上述轮廓候选边缘位置且沿着上述参照方向连续的上行梯度范围或下行梯度范围，作为上述参照范围。

3.根据权利要求2所述的图像处理装置，其中，

上述参照方向指定部指定多个参照方向，

上述参照范围取得部按照每个上述参照方向取得上述参照范围。

4.根据权利要求3所述的图像处理装置，其中，

上述多个参照方向是包括上述对象图像的横向和纵向在内的2个以上的方向。

5.根据权利要求2所述的图像处理装置，其中，

上述参照方向指定部具有参照方向计算部，该参照方向计算部计算上述轮廓候选边缘位置的法线方向，作为上述参照方向。

6.根据权利要求2所述的图像处理装置，其中，

上述参照范围取得部具有梯度强度阈值部，该梯度强度阈值部对上述参照方向上的像素的上述梯度强度的值进行阈值处理，取得沿着上述参照方向的上述上行梯度范围或上述下行梯度范围。

7.根据权利要求1所述的图像处理装置，其中，

上述候选边缘检测部在上述参照范围设定部所设定的上述参照范围内检测上述轮廓候选边缘位置。

8.根据权利要求1所述的图像处理装置，其中，

上述轮廓边缘选择部具有：

边缘特性取得部，其针对上述轮廓候选边缘位置不中断地连续的每条轮廓候选边缘线，取得上述轮廓候选边缘位置的上述梯度强度的最大值，并将该梯度强度的最大值作为相应的轮廓候选边缘线上的上述轮廓候选边缘位置的边缘特性；以及

边缘特性比较部，其比较上述参照范围内包含的上述轮廓候选边缘位置的边缘特性，根据该比较结果选择上述轮廓边缘位置。

9.根据权利要求8所述的图像处理装置，其中，

上述梯度强度计算部计算上述各像素的梯度强度在多个方向上的方向分量，

上述候选边缘检测部根据上述各像素的梯度强度在上述多个方向上的方向分量，检测上述轮廓候选边缘位置，

上述参照范围设定部以上述多个方向为参照方向，按照每个该参照方向设定上述参照范围，

上述边缘特性比较部具有：

方向分量轮廓边缘选择部，其按照每个上述参照方向，从对应的上述参照范围中选择方向分量轮廓边缘位置；以及

方向分量轮廓边缘合并部，其将每个上述参照方向的上述方向分量轮廓边缘位置中可靠度高的方向分量轮廓边缘位置合并起来，作为上述轮廓边缘。

10.一种图像处理方法，其中，

该图像处理方法具有如下步骤：

梯度强度计算步骤，在该步骤中，根据对预定对象物进行拍摄而得到的对象图像的像素值，计算各像素的梯度强度；

候选边缘检测步骤，在该步骤中，根据上述各像素的梯度强度，检测轮廓候选边缘位置；

参照范围设定步骤，在该步骤中，根据上述各像素的梯度强度，对从上述轮廓候选边缘位置中选择轮廓边缘位置时所参照的作为所述对象图像内的区域的参照范围进行设定；以及

轮廓边缘选择步骤，在该步骤中，从上述各参照范围内的多个轮廓候选边缘位置中选择1个轮廓候选边缘位置，作为上述轮廓边缘位置。

11.一种图像处理方法，其中，

该图像处理方法具有如下步骤：

梯度强度计算步骤，在该步骤中，根据对预定对象物进行拍摄而得到的对象图像的像素值，计算各像素的梯度强度；

参照范围设定步骤，在该步骤中，根据上述各像素的梯度强度，对从轮廓候选边缘位置中选择轮廓边缘位置时所参照的作为所述对象图像内的区域的参照范围进行设定；

候选边缘检测步骤，在该步骤中，根据上述参照范围内的像素的上述梯度强度，检测上述参照范围内的轮廓候选边缘位置；以及

轮廓边缘选择步骤，在该步骤中，从上述各参照范围内的多个轮廓候选边缘位置中选择1个轮廓候选边缘位置，作为上述轮廓边缘位置。