CN102446349A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明的图像处理装置具有：轮廓候选边缘检测部，其根据对象图像的各像素的梯度强度检测边缘，将该边缘作为轮廓候选边缘；轮廓边缘检测部，其对轮廓候选边缘的梯度强度进行阈值处理，检测轮廓边缘；插值线生成部，其将轮廓边缘的端点作为连接源，将其他的轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的轮廓边缘的端点相同、且作为连接目的地的其他的轮廓边缘的端点不同的多组端点对之间进行连接；以及轮廓边缘插值部，其根据多个插值线上的像素的像素值梯度从多个插值线中选择任一个插值线，使用选择的插值线对选择的该插值线所要连接的端点对之间的轮廓边缘进行插值。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及从对象图像检测轮廓边缘的图像处理装置和图像处理方法。

背景技术

通常，图像内的边缘检测是通过检测梯度变化最大的位置(梯度陡峭、该梯度强度的值与周围相比较大的位置)来进行的，基本上，是通过根据图像的亮度值的梯度来计算梯度强度，对该梯度强度进行阈值处理(thresholding)来进行检测。在使用这样的边缘检测方法来从图像中检测轮廓边缘时，存在这样的情况：由于边缘检测算法的精度、噪声、图像的不鲜明(模糊)等要因、或者主观的轮廓部等而使轮廓边缘发生中断。作为用于连接这样的中断而离散的轮廓边缘的方法，以往使用动态轮廓法和边缘跟踪法等。然而，在使用以往的动态轮廓法的方法中，存在不能适当区别应连接的边缘与噪声边缘的问题。另一方面，边缘跟踪法是根据边缘的延伸方法或微分的正交方向等信息来跟踪边缘的方法，由于依赖于局部信息，因而存在跟踪不了不耐噪声的应连接的边缘的情况。

作为用于解决这样的现有问题的技术，例如在日本特开2009-15735号公报中示出了一种适当地判别边缘的切断位置的对应关系来连接边缘的方法。在该日本特开2009-15735号公报的技术中，首先，将计测区域分割成多个分割小区域，对各小区域赋予编号。接着，对各边缘赋予单独的边缘标签。接着，从各小区域内包含的边缘的分布中提取存在中断的边缘的小区域。接着，在提取出的小区域中，根据附近的边缘标签估计出应连接的边缘。然后，使用贝济埃(Bezier)曲线等将估计为应连接的边缘之间平滑连接。

在上述的日本特开2009-15735号公报中，在应连接的边缘的估计中使用边缘间的距离、各边缘的方向、边缘与其连接部分的平滑度等。因此，在应连接的边缘间有距离的情况下，或在应连接的边缘的方向发生偏差的情况下，以及在应连接的边缘与其连接部分不平滑的情况下，存在误选择应连接的边缘的可能性。

发明内容

本发明就是鉴于上述情况而完成的，本发明的目的是提供一种可适当连接中断的轮廓边缘的图像处理装置和图像处理方法。

本发明的一个方面涉及的图像处理装置具有：轮廓候选边缘检测部，其根据对象图像的各像素的梯度强度来检测边缘，将该边缘作为轮廓候选边缘；轮廓边缘检测部，其对所述轮廓候选边缘的梯度强度进行阈值处理，来检测轮廓边缘；插值线生成部，其将所述轮廓边缘的端点作为连接源，将其他的所述轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的所述轮廓边缘的端点相同、且作为连接目的地的所述其他的所述轮廓边缘的端点不同的多组端点对之间进行连接；以及轮廓边缘插值部，其根据所述多个插值线上的像素的像素值梯度，从所述多个插值线中选择任一个插值线，使用选择的所述插值线对选择的该插值线所要连接的所述端点对之间的轮廓边缘进行插值。

并且，本发明的另一方面涉及的图像处理方法包括：轮廓候选边缘检测步骤，其根据对象图像的各像素的梯度强度来检测边缘，将该边缘作为轮廓候选边缘；轮廓边缘检测步骤，其对所述轮廓候选边缘的梯度强度进行阈值处理，来检测轮廓边缘；插值线生成步骤，其将所述轮廓边缘的端点作为连接源，将其他的所述轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的所述轮廓边缘的端点相同、且作为连接目的地的所述其他的所述轮廓边缘的端点不同的多组端点对之间进行连接；以及轮廓边缘插值步骤，其根据所述多个插值线上的像素的像素值梯度，从所述多个插值线中选择任一个插值线，使用选择的所述插值线对选择的该插值线所要连接的所述端点对之间的轮廓边缘进行插值。

将以下的本发明的详细说明与附图对照起来阅读，能够进一步加深对于上述内容和本发明的其他目的、特征、优点以及技术和产业上的意义的理解。

附图说明

图1是说明实施方式1的图像处理装置的功能结构例的框图。

图2是说明实施方式1的轮廓候选边缘检测部的结构例的框图。

图3是说明实施方式1的插值线生成部的结构例的框图。

图4是示出实施方式1的图像处理装置进行的处理过程的流程图。

图5是示出实施方式1中的轮廓候选边缘检测处理的详细处理过程的流程图。

图6是说明轮廓边缘的检测原理的图。

图7是示出实施方式1中的插值线生成处理的详细处理过程的流程图。

图8是示出关注像素和关注像素的8个附近像素的图。

图9是说明初始插值线生成原理的图。

图10是说明初始插值线生成原理的另一图。

图11是说明初始插值线生成原理的又一图。

图12是示出实施方式1中的初始插值线生成处理的详细处理过程的流程图。

图13是说明初始插值线决定处理的图。

图14是示出实施方式1中的插值线最优化处理的详细处理过程的流程图。

图15是说明初始插值线最优化处理的图。

图16是说明实施方式1的变形例1中的轮廓候选边缘检测部的结构例的框图。

图17是示出变形例1中的轮廓候选边缘检测处理的详细处理过程的流程图。

图18是说明分支边缘去除处理的图。

图19是说明变形例2中的插值线生成部的结构例的框图。

图20是说明实施方式2的图像处理装置的功能结构例的框图。

图21是说明实施方式2的轮廓边缘插值部的结构例的框图。

图22是示出实施方式2的图像处理装置进行的处理过程的整体流程图。

图23是示出实施方式2中的轮廓边缘插值处理的详细处理过程的流程图。

图24是示出应用了本发明的计算机系统的结构的系统结构图。

图25是示出构成图24的计算机系统的主体部的结构的框图。

具体实施方式

以下，参照附图说明本发明的优选实施方式。另外，本发明不受该实施方式限定。并且，在各附图的记载中，对相同部分标注相同符号来表示。

本实施方式的图像处理装置是例如以内窥镜或胶囊内窥镜等医用观察装置拍摄被检者体内的消化道等管腔内部而得到的图像(管腔内部图像)作为对象图像进行处理的装置，具体地说，是用于进行从管腔内部图像检测粘膜结构等的轮廓边缘、并连接中断的轮廓边缘的处理的装置。这里，本实施方式的图像处理装置所处理的管腔内部图像例如是每个像素都具备针对R(红)、G(绿)、B(蓝)的各波长成分的像素值的彩色图像。该管腔内部图像主要拍摄了粘膜结构等活体组织的表面结构。以下，以从管腔内部图像检测粘膜结构等的轮廓边缘并连接中断的轮廓边缘的情况为例进行说明。另外，对象图像不限定于在本实施方式中例示的管腔内部图像，可广泛应用于从对象图像检测轮廓边缘并连接中断的轮廓边缘的情况。

实施方式1

首先，说明实施方式1的图像处理装置。图1是说明实施方式1的图像处理装置1的功能结构例的框图。并且，图2是说明实施方式1的轮廓候选边缘检测部16的结构例的框图，图3是说明实施方式1的插值线生成部18的结构例的框图。另外，在图1～图3中，用实线示出将图像处理装置1的各部分之间连接来传送图像信号等数据信号的数据信号线，用虚线示出传送控制信号的控制信号线。

如图1所示，实施方式1的图像处理装置1具有：外部接口(I/F)部11，操作部12，显示部13，记录部14，运算部15，以及控制图像处理装置1整体的动作的控制部20。

外部I/F部11用于取得由内窥镜或胶囊内窥镜等医用观察装置所拍摄的管腔内部图像的图像数据，通过该外部I/F部11所取得的图像数据被记录在记录部14内，通过运算部15进行处理，之后根据需要适当显示在显示部13上。例如在将可移动型记录介质用于与医用观察装置之间的图像数据交接的情况下，外部I/F部11由读取装置构成，该读取装置可自由拆装地安装该记录介质，并读取所保存的管腔内部图像的图像数据。并且，当采用在合适的场所设置预先保存了由医用观察装置拍摄的管腔内部图像的图像数据的服务器并从该服务器取得图像数据的结构的情况下，外部I/F部11由用于与服务器连接的通信装置等构成。而且，通过该外部I/F部11与服务器进行数据通信，取得管腔内部图像的图像数据。并且，当采用经由电缆从医用观察装置取得图像数据的结构的情况下，外部I/F部11由输入图像数据的接口装置等构成。

操作部12例如由键盘、鼠标、触摸面板、各种开关等实现，向控制部20输出操作信号。显示部13由LCD或EL显示器等显示装置实现，在控制部20的控制下，显示包含由胶囊内窥镜等医用观察装置拍摄的图像的显示画面在内的各种画面。

记录部14由能够更新记录的闪速存储器等称为ROM或RAM的各种IC存储器、内置或通过数字通信端子连接的硬盘、CD-ROM等信息记录介质及其读取装置等实现，记录有用于使图像处理装置1进行动作实现该图像处理装置1具备的各种功能的程序、和在该程序的执行中使用的数据等。例如，在记录部14内记录有由外部I/F部11取得的管腔内部图像的图像数据。并且，在记录部14内还记录有用于实现实施方式1的处理并从管腔内部图像检测粘膜结构等的轮廓边缘、连接中断的轮廓边缘的图像处理程序141。

运算部15由CPU等硬件实现，进行用于处理管腔内部图像并检测粘膜结构等的轮廓边缘、连接中断的轮廓边缘的各种运算处理。该运算部15具有：轮廓候选边缘检测部16，轮廓边缘检测部17，以及插值线生成部18。这里，轮廓候选边缘检测部16、轮廓边缘检测部17以及插值线生成部18按该顺序连接。并且，经由外部I/F部11取得且被记录在记录部14内的管腔内部图像的图像信号被输入到轮廓候选边缘检测部16。而且，从插值线生成部18输出由运算部15的各部对管腔内部图像进行处理所获得的插值轮廓边缘的信息(插值轮廓边缘图像)，该信息例如被记录在记录部14内。

轮廓候选边缘检测部16从成为处理对象的管腔内部图像检测轮廓候选边缘。如图2所示，该轮廓候选边缘检测部16具有线边缘提取部161和轮廓候选边缘选择部162。

线边缘提取部161根据管腔内部图像的各像素的梯度强度提取线边缘。这里，线边缘是指宽度为1像素的边缘。轮廓候选边缘选择部162选择由线边缘上的像素中的、管腔内部图像中的平坦区域(梯度变化小且平坦的区域)外的像素构成的线边缘部分作为轮廓候选边缘。按以上构成的轮廓候选边缘检测部16将轮廓候选边缘输出到轮廓边缘检测部17。

轮廓边缘检测部17对从轮廓候选边缘检测部16输入的轮廓候选边缘上的各像素的梯度强度进行阈值处理，检测轮廓边缘。该轮廓边缘检测部17将检测出的轮廓边缘与轮廓候选边缘一起输出到插值线生成部18。

插值线生成部18生成对轮廓边缘的中断进行插值的插值线。在实施方式1中，生成对轮廓边缘的端点之间进行连接的插值线。如图3所示，该插值线生成部18具有：端点检测部181，端点对选择部182，初始插值线生成部183，以及插值线最优化部186。

端点检测部181检测从轮廓边缘检测部17输入的轮廓边缘的端点。端点对选择部182选择由端点检测部181检测出的端点中的2个作为端点对。在实施方式1中，针对轮廓边缘的每个端点，选择作为连接对象的至少一个其他轮廓边缘的端点，作为端点对。

初始插值线生成部183生成对由端点对选择部182所选择的端点对之间进行连接的插值线的初始路径(以下适当称为“初始插值线”)。该初始插值线生成部183具有近似曲面生成部184和初始插值线决定部185。近似曲面生成部184根据管腔内部图像的各像素的像素值，生成对该像素值的变化进行了近似的近似曲面。初始插值线决定部185根据由近似曲面生成部184所生成的近似曲面决定初始插值线。

插值线最优化部186将插值线的初始路径(初始插值线)最优化为使由插值线上的像素的梯度强度(像素值梯度)所决定的成本值(以下称为“梯度成本”)最小的路径。例如，插值线最优化部186应用公知的动态轮廓法(蛇形法)来最优化初始插值线，获得插值线。该插值线最优化部186具有控制点设定部187和插值线更新部188。控制点设定部187在初始插值线上设定控制点。插值线更新部188针对控制点设定部187所设定的每个控制点计算梯度成本，使各控制点移动来更新插值线的初始路径，以使该梯度成本变小。

按以上构成的插值线生成部18利用所生成的插值线、和通过该插值线连接的轮廓边缘形成插值轮廓边缘，将以各像素的像素值作为表示是否是插值轮廓边缘上的像素的标志信息的插值轮廓边缘图像输出到例如记录部14进行保存。

控制部20由CPU等硬件实现。该控制部20根据经由外部I/F部11取得的图像数据和从操作部12输入的操作信号、记录在记录部14内的程序和数据等，对构成图像处理装置1的各部分进行指示和数据的传送等，统一控制图像处理装置1整体的动作。

图4是示出实施方式1的图像处理装置1进行的处理过程的整体流程图。另外，这里说明的处理是通过由图像处理装置1的各部分按照记录在记录部14内的图像处理程序141进行动作来实现的。

如图4所示，首先，控制部20执行图像取得处理，取得处理对象的管腔内部图像(步骤a1)。通过这里的处理，经由外部I/F部11取得管腔内部图像的图像数据，将其记录在记录部14内。在这样取得图像数据之后，该管腔内部图像的图像数据处于可由运算部15读入的状态。以下，以管腔内部图像的左上部为基准，设横向的像素坐标为x，设纵向的像素坐标为y。

接着，在运算部15中，轮廓候选边缘检测部16执行轮廓候选边缘检测处理(步骤a3)。在该轮廓候选边缘检测处理中，计算各像素的梯度强度。然后，根据计算出的各像素的梯度强度，检测在梯度方向相同的区域即梯度范围内梯度变化最大的位置(脊)，获得轮廓候选边缘。图5是示出实施方式1中的轮廓候选边缘检测处理的详细处理过程的流程图。

如图5所示，在轮廓候选边缘检测处理中，首先，轮廓候选边缘检测部16的线边缘提取部161执行噪声去除处理，从管腔内部图像中去除噪声(步骤b1)。该噪声去除处理例如可通过对在图4的步骤a1所取得的管腔内部图像的图像数据进行保存了边缘的平滑化处理来实现。这里，例如使用对于尖峰噪声强的中值(Median)滤波器进行平滑化处理。这是因为，在管腔内部图像中，作为与尖峰噪声相当的噪声区域，可能会包含产生基于照明光的正面反射的区域(正面反射区域)。作为滤波器尺寸，例如采用11×11的规格。在管腔内部图像中，除了粘膜结构的轮廓边缘之外，还包括例如粘膜表面的柔毛(绒毛)等导致的凹凸和因为基于照明光的正面反射区域等而产生的边缘(噪声边缘)。根据步骤b1的噪声去除处理，可抑制上述的噪声边缘，可减少轮廓边缘的误检测。另外，不限于中值滤波器，例如还可以进行例如使用k最邻近平均化滤波器或双向(Bilateral)滤波器等其他边缘保存型滤波器的平滑化处理。

接着，线边缘提取部161执行结构信息取得处理，根据在步骤b1的噪声除去处理后的管腔内部图像的图像数据，取得粘膜结构表面的形状变化信息(结构信息)(步骤b3)。作为管腔内部图像所拍摄的血管和出血部位等结构成分的血红蛋白具备吸收较多的短波长频带光的特性。通过该血红蛋白在短波长频带的吸光特性，波长成分大多由短波长频带构成的G(绿)成分和B(蓝)成分由于血红蛋白的吸光而使得亮度值降低。因此，在管腔内部图像中可能包含血管和出血部位等作为噪声边缘。另一方面，波长成分大多由长波长频带构成的R(红)成分的吸光较少，大部分光被反射，因而适合于用作反映了粘膜结构的信息。因此，在实施方式1中，为了在后续处理中高精度地检测出粘膜结构的轮廓边缘，取得R(红)的波长成分(R成分)的图像(R成分图像：将各像素的像素值作为R(红)成分的值的图像)作为粘膜结构表面的形状变化信息。根据步骤b3的结构信息取得处理，可减少将粘膜表面的颜色变化所产生的噪声边缘误检测为轮廓边缘的情况。

接着，线边缘提取部161执行线边缘提取处理(步骤b5)。作为处理过程，首先，对在步骤b3所取得的R成分图像I(x，y)进行使用了1阶微分滤波器的微分滤波处理，计算各像素的梯度强度g(x，y)。这里，例如使用索贝尔(sobel)滤波器，取得梯度强度图像(以各像素的像素值作为梯度强度的值的图像)、横向成分梯度强度图像(以各像素的像素值作为梯度强度的横向成分的值的图像)、纵向成分梯度强度图像(以各像素的像素值作为梯度强度的纵向成分的值的图像)。

具体来说，首先，使用例如3×3的横向(x方向)的索贝尔滤波器和3×3的纵向(y方向)的索贝尔滤波器，进行使用3×3的附近区域的滤波。然后，取得使用了横向索贝尔滤波器的微分滤波处理的输出sobelX(x，y)作为各像素的梯度强度的横向成分。另一方面，取得使用了纵向索贝尔滤波器的微分滤波处理的输出sobelY(x，y)作为各像素的梯度强度的纵向成分。之后，将这些梯度强度的横向成分和纵向成分进行合成，取得各像素的梯度强度g(x，y)。另外，不限于索贝尔滤波器，还可以使用其他微分滤波器进行微分滤波处理。

然后，使用针对各像素应用了横向索贝尔滤波器的微分滤波处理的输出sobelX(x，y)和针对各像素应用了纵向索贝尔滤波器的微分滤波处理的输出sobelY(x，y)，根据下式(1)以梯度变化最大的方向θ(x，y)作为梯度方向，分别对各像素进行计算。以下，将梯度变化最大的方向称为“梯度变化方向”。

$\mathrm{\θ}(x,y)\text{=arctan}\left(\frac{\mathrm{sobelY}(x,y)}{\mathrm{sobelX}(x,y)}\right)...\left(1\right)$

之后，根据各像素的梯度变化方向θ(x，y)，从梯度变化方向相同的区域即梯度范围中检测梯度强度g(x，y)的凸位置。该凸位置的检测是通过判定在梯度变化方向上连接的梯度变化方向θ(x，y)相同的像素中、梯度强度g(x，y)的值最大的像素来进行的。据此，可提取线边缘(宽度是1像素的边缘)。

接着，轮廓候选边缘选择部162执行轮廓候选边缘选择处理(步骤b7)。作为处理过程，首先，提取管腔内部图像中的平坦区域。具体地说，根据各像素的梯度强度g(x，y)提取梯度变化小的区域，作为平坦区域。作为平坦区域的梯度强度g(x，y)的值的范围可以预先设定。然后，选择由线边缘上的像素中的、平坦区域以外的像素构成的线边缘部分作为轮廓候选边缘。

之后，根据下式(2)、(3)，获得将轮廓候选边缘上的像素的像素值G(x，y)设为该梯度强度g(x，y)、将除此之外的像素的像素值G(x，y)设为“0”的轮廓候选边缘梯度强度图像。

在轮廓候选边缘上的像素的情况下，G(x，y)＝g(x，y) ...(2)

在除此之外的情况下，G(x，y)＝0 ...(3)

并且，根据下式(4)、(5)，获得以各像素的像素值作为表示是否是轮廓候选边缘上的像素的标志信息的轮廓候选边缘图像，具体地说，将轮廓候选边缘上的像素的像素值H(x，y)设为“1”、将除此之外的像素的像素值H(x，y)设为“0”的轮廓候选边缘图像。

在轮廓候选边缘上的像素的情况下，H(x，y)＝1  ...(4)

在除此之外的情况下，H(x，y)＝0  ...(5)

在按以上执行了轮廓候选边缘选择处理的情况下，回到图4的步骤a3，之后转移到步骤a5。然后，在步骤a5中，轮廓边缘检测部17执行轮廓边缘检测处理。在该轮廓边缘检测处理中，从在步骤a3检测出的轮廓候选边缘上的像素中去除梯度强度g(x，y)的值小的像素，使成为轮廓边缘的像素范围缩小。例如，轮廓边缘检测部17进行滞后(hysteresis)阈值处理(2阶阈值处理)，检测轮廓边缘。

图6(a)是示出在图4的步骤a3检测出的轮廓候选边缘的一例的示意图，示出3个轮廓候选边缘EL1、EL21、EL22。并且，图6(b)和图6(c)以横轴作为图6(a)中的轮廓候选边缘EL1上的坐标(x，y)，以纵轴作为相应的各像素的梯度强度g(x，y)的值，示出图6(a)中的轮廓候选边缘EL1上的梯度强度g(x，y)的变化曲线。轮廓边缘检测部17首先通过使用图6(b)中所示的第1阈值对轮廓候选边缘EL1上的梯度强度g(x，y)进行阈值处理，将梯度强度g(x，y)在阈值以上的范围，具体地说，图6(a)所示的轮廓候选边缘EL1上的像素P13～像素P14的范围作为轮廓边缘。接着，轮廓边缘检测部17使用值比图6(c)中所示的第1阈值小的第2阈值对轮廓候选边缘EL1上的梯度强度g(x，y)进行阈值处理，进一步检测梯度强度g(x，y)在第2阈值以上的像素中的、与在使用了第1阈值的阈值处理中检测出的范围的端点即像素P13、P14连续而未中断的轮廓候选边缘EL1上的像素，具体地说，即像素P11～像素P13和像素P14～像素P15的范围作为轮廓边缘，最终将轮廓候选边缘EL1上的像素P13～像素P15的范围作为轮廓边缘。对于像素P15～像素P11的范围，不检测为轮廓边缘。另外，对于轮廓候选边缘EL21、EL22，也同样地检测轮廓边缘。

之后，根据下式(6)、(7)，获得以各像素的像素值作为表示是否是轮廓边缘上的像素的标志信息的轮廓边缘图像，具体地说，将轮廓边缘上的像素的像素值C(x，y)设为“1”、将除此之外的像素的像素值C(x，y)设为“0”的轮廓边缘图像。

在轮廓边缘上的像素的情况下，C(x，y)＝1  ...(6)

在除此之外的情况下，C(x，y)＝0  ...(7)

另外，作为具体实现以上说明的线边缘提取处理(图5的步骤b5)和轮廓边缘检测处理(图4的步骤a5)的算法，可使用公知的坎尼边缘检测算法(Canny edge detector/参考：CG-ARTS協会、デイジタル画像処理、209P-輪郭線検出)。

接着，插值线生成部18执行插值线生成处理(步骤a7)。图7是示出实施方式1中的插值线生成处理的详细处理过程的流程图。如图7所示，在插值线生成处理中，首先，插值线生成部18的端点检测部181执行端点检测处理，检测轮廓边缘的端点(步骤c1)。

这里，依次关注轮廓边缘上的像素，判别周围(例如8个附近像素)的轮廓边缘上的像素的存在图形，从而检测轮廓边缘的端点。图8是示出关注的轮廓边缘上的像素(关注像素)P3和该关注像素P3的8附近像素的图。在端点检测处理中，为了识别关注像素P3的8附近像素，如图8中的8附近像素的各网格所示，将各自的坐标从左上起绕右设定为a、b、c、d、e、f、g、h。然后，在该8附近像素a～h中的任一个是轮廓边缘上的像素的情况下(条件1)，将关注像素P3判定为端点。例如，在8附近像素a～h中的仅8附近像素a是轮廓边缘上的像素的情况下，将关注像素P3判定为端点。关于8附近像素b～h也是一样。

而且，在附近像素a～h中的相邻的2个像素是轮廓边缘上的像素的情况下(条件2)，将关注像素P3判定为端点。例如，在8附近像素a～h中的相邻的8附近像素a、b这两个是轮廓边缘上的像素的情况下，将关注像素P3判定为端点。对于8附近像素[b，c]、[c，d]、[d，e]、[e，f]、[f，g]、[g，h]、[h，a]的相邻的2个像素的各组合，也是一样。

在实际处理中，端点检测部181根据轮廓边缘图像，按照下式(8)、(9)，判定C(x，y)＝1的像素的8附近像素是否满足条件1或条件2，从而检测轮廓边缘的端点。

对于C(x，y)＝1的像素，

在满足条件1或条件2的情况下，C(x，y)＝2       ...(8)

在不满足条件1或条件2的情况下，C(x，y)＝1     ...(9)

其中，

条件1：

C(a)+C(b)+C(c)+C(d)+C(e)+C(f)+C(g)+C(h)＝1

条件2：

C(a)+C(b)+C(c)+C(d)+C(e)+C(f)+C(g)+C(h)＝2

且C(a)C(b)+C(b)C(c)+C(c)C(d)+C(d)C(e)+C(e)C(f)+C(f)C(g)+C(g)C(h)+C(h)C(a)＝1

在上述式(8)、(9)中，将图8所示的8附近像素a～h的像素值C(x，y)的合计是“1”作为条件1，根据该条件1，判定8附近像素a～h中的任一个是轮廓边缘位置的情况。并且，将8附近像素a～h的像素值C(x，y)的合计是“2”、且相邻的2个像素的像素值C(x，y)相乘的值的合计是“1”作为条件2，根据该条件2，判定8附近像素中的相邻2个像素是轮廓边缘位置的情况。端点检测部181依照式(8)，针对轮廓边缘位置即C(x，y)＝1的像素中的满足条件1或条件2的端点的像素设定为C(x，y)＝2。并且，端点检测部181依照式(9)，针对C(x，y)＝1的像素中的既不满足条件1也不满足条件2的像素仍设定为C(x，y)＝1。

另外，这里，依照式(8)、式(9)检测轮廓边缘的端点，然而检测方法不限定于此。例如，可以通过使用端点形状(例如参照图8所说明的关注像素P3及其8附近像素a～h中的轮廓边缘上的像素的存在图形)的滤波器的匹配等来检测端点，只要能检测轮廓边缘的端点，可以适当采用别的方法。

在按以上检测出轮廓边缘的端点之后，接着，如图7所示，端点对选择部182执行端点对选择处理(步骤c3)。在该端点对选择处理中，针对轮廓边缘的端点(C(x，y)＝2；以下适当称为“连接源端点”)，从其他轮廓边缘的端点(C(x，y)＝2)中选择至少一个作为连接对象的(作为画插值线的对方的)端点，将连接源端点、与如上所述针对该连接源端点选择作为连接对象的其他轮廓边缘的端点(以下适当称为“连接目的地端点”)的组合作为端点对。另外，如后所述，在针对这里所选择的端点对所生成的插值线上的每个控制点的梯度成本之和大于阈值的情况下，在步骤c9中判定为不结束处理，返回到步骤c3。在该情况下，针对该轮廓边缘的端点(连接源端点)，将连接目的地端点变更为别的轮廓边缘的端点，再次选择端点对。

例如，在着眼于从图6(a)所示的轮廓候选边缘EL1检测出的轮廓边缘的一个端点即像素P15的情况下，从轮廓候选边缘EL21检测出的轮廓边缘的端点P21或从轮廓候选边缘EL22检测出的轮廓边缘的端点P22等被选择为连接目的地端点。

在实际处理中，例如，将连接目的地端点与连接源端点之间的距离以及连接源端点的梯度变化方向等用作参数，根据该参数的值，在每次进行步骤c3的处理时依次从连接源端点以外的轮廓边缘的端点中选择1个作为连接目的地端点。例如，在将连接目的地端点与连接源端点之间的距离用作参数的情况下，在连接源端点的全部方位中，对于连接目的地端点与连接源端点之间的距离在预定距离内的轮廓边缘的端点(C(x，y)＝2)，从最近的端点起依次选择其中的端点作为连接目的地端点。并且，在将连接源端点与连接目的地端点之间的距离以及连接源端点的梯度变化方向这两者用作参数的情况下，从轮廓边缘的端点(C(x，y)＝2)中、在以垂直于连接源端点的梯度变化方向的方向为中心的放射状的范围内，从其梯度变化方向朝向与连接源端点的梯度变化方向垂直的方向或者与该垂直方向接近的方向、且与连接源端点的距离近的端点起依次选择连接目的地端点。另外，也可以仅将连接源端点的梯度变化方向用作参数，选择连接目的地端点。

接着，初始插值线生成部183依次以在步骤c3所选择的端点对作为关注对象来执行初始插值线生成处理，针对全部端点对生成连接其连接源端点和连接目的地端点的初始插值线(步骤c5)。

图9～图11是着眼于关注对象的端点对来说明初始插值线的生成原理的图。这里，图9是示出对管腔内部图像的各像素的像素值变化进行了近似的近似曲面C4的图，将关注对象的端点对即轮廓边缘EL41的连接源端点P41和轮廓边缘EL42的连接目的地端点P42图示在近似曲面C4上的对应位置(z位置)。并且，图10是从z轴方向侧示出图9所示的近似曲面C4的平面图，图11是从y轴方向侧示出图9所示的近似曲面C4的侧面图。

如图9～图11的各图所示，在初始插值线生成处理中，首先，根据管腔内部图像的各像素的像素值，生成对该像素值的变化进行了近似的近似曲面C4。然后，求出包含关注对象的端点对即连接源端点P41和连接目的地端点P42的平面P4(关于该平面P4的详情，参照图13进行后述)与近似曲面C4的交线，生成以交线上的连接源端点P41和连接目的地端点P42作为两端的在图9和图10中由单点划线所示的线段作为初始插值线L4。

图12是示出实施方式1中的初始插值线生成处理的详细处理过程的流程图。如图12所示，在初始插值线生成处理中，首先，初始插值线生成部183的近似曲面生成部184执行近似曲面生成处理，根据管腔内部图像的像素值生成对该像素值的变化进行了近似的近似曲面(步骤d1)。这里，例如通过对管腔内部图像进行低通滤波处理，生成近似曲面。具体地说，例如进行离散余弦变换(DCT)，仅使用低维度的基底来构成近似曲面。基底的数量使用当所生成的近似曲面与管腔内部图像的亮度值之差在预定阈值以下时的基底的数量。另外，近似曲面的生成方法不限定于此。除此之外，例如还可以进行基于最小平方法的函数近似来生成近似曲面。这里，基于最小平方法的函数近似是计算表示数据分布(管腔内部图像的各像素的像素值分布)的似然多项式的系数的公知方法。

接着，初始插值线决定部185执行初始插值线决定处理，决定连接作为关注对象的端点对的连接源端点和连接目的地端点的插值线的初始路径(初始插值线)(步骤d3)。图13是说明初始插值线决定处理的图，将关注对象的端点对的连接源端点P51和连接目的地端点P52图示于在图12的步骤d1所生成的近似曲面上的对应位置(z位置)。另外，在图13中，省略了近似曲面的图示。在初始插值线决定处理中，首先，作为包含作为关注对象的端点对的连接源端点P51和连接目的地端点P52的平面，决定包含直线L52的平面P5，该直线L52是与通过连接源端点P51和连接目的地端点P52的直线(详细地说，通过与连接源端点P51和连接目的地端点P52的坐标(x，y)对应的近似曲面上的位置(z位置)的直线)L51正交、且与管腔内部图像的坐标平面即xy平面平行的直线。然后，求出所决定的平面P5与在图12的步骤d1所生成的近似曲面的交线，生成以该交线上的连接源端点P51和连接目的地端点P52作为两端的在图13中由单点划线所示的线段作为初始插值线L5。更详细地说，将由该单点划线所示的初始插值线L5上的各像素的坐标(x，y)作为初始插值线上的像素。

另外，这里，生成对管腔内部图像的各像素的像素值的变化进行了近似的近似曲面来生成初始插值线，然而初始插值线的生成方法不限定于此。例如，也可以将连接端点对之间(其连接源端点和连接目的地端点之间)的直线作为初始插值线。并且，还可以使用贝济埃(Bezier)曲线等近似曲线连接端点对之间，将该近似曲线用作初始插值线。在按以上针对关注对象的端点对生成了初始插值线之后，回到图7的步骤c5，之后转移到步骤c7。

然后，在步骤c7中，插值线最优化部186依次以在步骤c3所选择的端点对作为关注对象执行插值线最优化处理，对连接全部端点对的初始插值线进行最优化。如上所述，在实施方式1中，使用动态轮廓法(蛇形法)，将初始插值线最优化为梯度成本最小的路径。图14是示出实施方式1中的插值线最优化处理的详细处理过程的流程图。并且，图15是说明初始插值线最优化处理的图，示出关注对象的端点对即轮廓边缘EL61的连接源端点P61和轮廓边缘EL62的连接目的地端点P62、以及连接它们的初始插值线E6。

如图14所示，在插值线最优化处理中，首先，插值线最优化部186的控制点设定部187执行控制点设定处理，在连接关注对象的端点对的初始插值线上例如以一定间隔设定多个控制点(步骤e1)。例如，在图15的例子中，在初始插值线E6上以等间隔设定4个控制点Pc。

接下来，插值线更新部188执行插值线更新处理(步骤e3)。例如，插值线更新部188使用在步骤e1所设定的各控制点的位置处的梯度强度的值来针对每个控制点计算梯度成本，使各控制点移动来更新初始插值线，以使计算出的梯度成本之和变小。例如，如在图15中的控制点Pc-1的周围由箭头所示那样，通过使各控制点Pc朝其周围8个方向中的任一方向移动，来更新初始插值线E6。另外，在这样更新初始插值线E6时，其两端不移动，而固定在连接源端点P61和连接目的地端点P62的位置。

对梯度成本的计算进行说明，首先，求出各控制点Pc的位置处的轮廓边缘的方向。轮廓边缘的方向是这样获得的：根据在其控制点Pc的位置周围(例如8个附近像素)的轮廓边缘的信息，使用正切(tanθ)计算以水平方向为0°的角度(以-90°≤θ＜90°表记)。

例如，将图8所示的关注像素P3设定为控制点Pc的位置。这里，假定根据轮廓边缘的信息，8附近像素a～h中的8个附近像素h、d这2个是轮廓边缘上的像素。在该情况下，关注像素P3即控制点Pc的轮廓边缘的方向(θ(P3))根据下式(10)得到为θ(P3)＝0°。x(h)和x(d)是8附近像素h、d各自的x坐标，y(h)和y(d)是8附近像素h、d各自的y坐标。

$\mathrm{\θ}\left(P3\right)\text{=arctan}\left(\frac{\mathrm{abs}(y\left(h\right)-y\left(d\right))}{\mathrm{abs}(x\left(h\right)-x\left(d\right))}\right)...\left(10\right)$

同样，根据轮廓边缘的信息，在8附近像素g、d这2个是轮廓边缘上的像素的情况下，关注像素P3即控制点Pc的轮廓边缘的方向(θ(P3))根据下式(11)得到为θ(P3)＝135°。x(g)和x(d)是8附近像素g、d各自的x坐标，y(g)和y(d)是8附近像素g、d各自的y坐标。

$\mathrm{\θ}\left(P3\right)=\arctan \left(\frac{\mathrm{abs}(y\left(g\right)-y\left(d\right))}{\mathrm{abs}(x\left(g\right)-x\left(d\right))}\right)...\left(11\right)$

并且，依照上述的式(1)针对各控制点Pc分别计算梯度变化方向。然后，计算轮廓边缘的方向与梯度变化方向的差值，差值越大，计算出的梯度成本就越小，差值越小，计算出的梯度成本就越大。例如，计算差值的倒数来用作梯度成本的值。

最终，在插值线更新部188使控制点移动来更新了路径后的梯度成本之和大于更新前的梯度成本之和、且即使重复更新、更新后的梯度成本之和也不变化的情况下，认为插值线的初始路径被最优化，结束步骤e3的处理。然后，回到图7的步骤c7，之后转移到步骤c9。

然后，在步骤c9中，插值线生成部18进行判定处理，针对在步骤c3所选择的每个端点对，根据在步骤c7的插值线最优化处理中最优化后的插值线上的每个控制点的梯度成本之和是否在预先设定的阈值以下，来判定是否结束处理。由于梯度成本之和大于阈值的端点对之间不应连接，因而在存在梯度成本之和大于阈值的端点对的情况下，判定为不结束处理，回到步骤c3，重复上述处理。在该情况下的步骤c3中，针对判定为大于阈值的端点对的连接源端点，变更连接目的地端点，再次选择端点对。之后，针对所选择的端点对进行步骤c5及之后的处理。

另一方面，在全部端点对的梯度成本之和都在阈值以下的情况下，结束处理，此时，将以下三条边缘用作插值轮廓边缘：以该连接源端点作为端点的轮廓边缘，以连接目的地端点作为端点的轮廓边缘，以及使连接源端点和连接目的地端点之间的连接最优化后的插值线。然后，获得以各像素的像素值作为表示是否是插值轮廓边缘上的像素的标志信息的插值轮廓边缘图像，具体地说，将所形成的插值轮廓边缘上的像素的像素值设为“1”、将除此之外的像素的像素值设为“0”的插值轮廓边缘图像。之后，回到图4的步骤a7，转移到步骤a9。

然后，在步骤a9中，运算部15执行插值轮廓边缘图像输出处理，将作为步骤a7的插值线生成处理的结果而获得的插值轮廓边缘图像输出到例如记录部14进行保存。

如以上说明那样，在实施方式1中，通过以轮廓边缘的端点作为连接源端点，以其他的轮廓边缘的端点作为连接目的地端点来选择端点对。然后，将连接该端点对之间的插值线的初始路径最优化为插值线上的像素的像素值梯度的成本值(梯度成本)最小的路径，从而生成插值线。据此，可沿着粘膜结构的轮廓形状生成连接端点对之间的插值线。因此，可针对作为连接源端点的轮廓边缘的端点适当选择应连接的轮廓边缘的端点，可利用所生成的插值线对这些连接源端点和连接目的地端点之间的中断进行适当插值。因此，可适当连接中断的轮廓边缘。

变形例1

图16是说明实施方式1的变形例1中的轮廓候选边缘检测部16a的结构例的框图。变形例1的图像处理装置可采用以图16所示的轮廓候选边缘检测部16a来置换图1的轮廓候选边缘检测部16的结构来实现。另外，在图16中，对与实施方式1相同的结构标注相同标号。如图16所示，在变形例1中，轮廓候选边缘检测部16a具有：线边缘提取部161，分支边缘去除部163a，以及轮廓候选边缘选择部162。

分支边缘去除部163a去除从由线边缘提取部161提取出的线边缘分支出的线边缘部分。并且，在变形例1中，轮廓候选边缘选择部162从由分支边缘去除部163a去除分支边缘后的线边缘上的像素中选择由平坦区域外的像素构成的边缘部分作为轮廓候选边缘。

该变形例1与实施方式1的不同在于在图4的整体流程图中的步骤a3的轮廓候选边缘检测处理。图17是示出变形例1中的轮廓候选边缘检测处理的详细处理过程的流程图。另外，在图17中，对与实施方式1相同的处理步骤标注相同标号。

如图17所示，在变形例1中，在线边缘提取部161提取出线边缘之后，分支边缘去除部163a执行分支边缘去除处理(步骤f6)。图18是说明分支边缘去除处理的图，在图18(a)中，例示出在图17的步骤b5提取出的线边缘EL7。在分支边缘去除处理中，首先，检测提取出的线边缘的端点，并检测线边缘的分支点。然后，在从分支点到端点的长度小于预先设定的预定长度的情况下，将从该分支点到端点的线边缘部分从线边缘中去除。例如，如图18(a)所示，在图17的步骤f6提取出的线边缘EL7进行分支，假定从分支点P71到端点P72的长度小于预定长度。在该情况下，将从分支点P71到端点P72的线边缘部分从线边缘EL7去除(图18(b))。在按以上执行了分支边缘去除处理之后，与实施方式1一样地进行步骤b7及之后的处理。

变形例2

图19是说明实施方式1的变形例2中的插值线生成部18b的结构例的框图。变形例2的图像处理装置可通过以图19所示的插值线生成部18b来置换图1的插值线生成部18来实现。另外，在图19中，对与实施方式1相同的结构标注相同标号。如图19所示，在变形例2中，插值线生成部18b具有：端点检测部181，端点对选择部182，初始插值线生成部183，以及插值线最优化部186b。然后，在变形例2中，插值线最优化部186b具有路径搜索部189b。

该变形例2与实施方式1的不同在于在图6的插值线生成处理中，取代步骤c7的插值线最优化处理而进行路径搜索处理。在该路径搜索处理中，路径搜索部189b依次以端点对作为关注对象，根据连接关注对象的端点对的插值线的初始路径，使用路径搜索算法搜索梯度成本最小的路径。

作为路径搜索算法，公知有例如遗传算法、A-star算法等，也可以使用任一路径搜索算法。例如，遗传算法是进行以形成某世代的个体的集合为基本单位的进化型计算的算法。在该遗传算法中，首先生成初始集团，从初始集团中选择个体。然后，对所选择的个体进行交叉或突然变异来形成下世代集团。之后，针对下世代集团重复进行处理，最终选择适应度高的个体。在使用该遗传算法的情况下，作为表征各个体的基因的染色体，例如使用插值线上的各像素中的梯度强度的方向成分(在图5的步骤b3计算出的梯度强度的横向成分(左右)和纵向(上下)成分)的组合。并且，评价值使用梯度成本(插值线上的各像素中的梯度成本之和)。

实施方式2

首先，说明实施方式2的图像处理装置的结构。图20是说明实施方式2的图像处理装置1c的功能结构例的框图。并且，图21是说明构成运算部15c的轮廓边缘插值部19c的结构例的框图。另外，对于与在实施方式1中所说明的结构相同的结构，标注相同标号。如图20所示，实施方式2的图像处理装置1c具有：外部I/F部11，操作部12，显示部13，记录部14c，运算部15c，以及控制图像处理装置1c整体的动作的控制部20。

在记录部14c内记录有用于实现实施方式2的处理、从管腔内部图像检测粘膜结构等的轮廓边缘、连接中断的轮廓边缘的图像处理程序141c。

并且，运算部15c包括：轮廓候选边缘检测部16，轮廓边缘检测部17，插值线生成部18c，以及轮廓边缘插值部19c。这里，轮廓候选边缘检测部16、轮廓边缘检测部17、插值线生成部18c以及轮廓边缘插值部19c按该顺序连接。

插值线生成部18c与实施方式1相同地构成，如图3所示且所说明的那样，具有：端点检测部181，端点对选择部182，初始插值线生成部183，以及插值线最优化部186，初始插值线生成部183具有近似曲面生成部184和初始插值线决定部185，插值线最优化部186具有控制点设定部187和插值线更新部188。实施方式2的插值线生成部18c针对作为连接源端点的轮廓边缘的端点，生成将其与多个连接目的地端点之间连接的多个插值线。然后，该插值线生成部18c将针对每个连接源端点所生成的多个插值线输出到轮廓边缘插值部19c。

轮廓边缘插值部19c从由插值线生成部18c针对每个连接源端点所生成的多个插值线中选择一个，使用所选择的插值线对相应的端点对间的轮廓边缘进行插值。如图21所示，该轮廓边缘插值部19c具有：梯度成本取得部191c，插值线选择部192c，以及插值轮廓边缘形成部193c。

梯度成本取得部191c取得从插值线生成部18c输入的每个连接源端点的多个插值线各自的梯度成本。插值线选择部192c根据梯度成本取得部191c所取得的梯度成本，从每个连接源端点的多个插值线中分别选择1个。插值轮廓边缘形成部193c按照针对每个连接源端点所选择的插值线，使用所选择的插值线、以及以通过所选择的插值线连接的端点对的连接源端点作为端点的轮廓边缘和以连接目的地端点作为端点的轮廓边缘来形成插值轮廓边缘。

图22是示出实施方式2的图像处理装置1c进行的处理过程的整体流程图。另外，这里说明的处理是通过由图像处理装置1c的各部分按照记录在记录部14c内的图像处理程序141c进行动作来实现的。另外，在图22中，对与实施方式1相同的处理步骤标注相同标号。

如图22所示，在实施方式2中，在步骤a5中，轮廓边缘检测部17执行轮廓边缘检测处理，在检测出轮廓边缘之后，插值线生成部18c执行插值线生成处理(步骤g7)。该插值线生成处理的处理过程自身与实施方式1相同(参照图7)。不过，在实施方式2中，在图7所示的步骤c3的端点对选择处理中，针对作为连接源端点的轮廓边缘的端点(C(x，y)＝2)，选择作为连接目的地端点的多个其他轮廓边缘的端点(C(x，y)＝2)，针对每个连接源端点生成多组端点对。

这里，在选择连接目的地端点时，在将连接目的地端点与连接源端点之间的距离用作参数的情况下，选择在连接源端点的全部方位中，与连接源端点之间的距离在预定距离内的全部轮廓边缘的端点(C(x，y)＝2)作为连接目的地端点。并且，在将连接目的地端点与连接源端点之间的距离以及连接源端点的梯度变化方向这两者用作参数的情况下，选择连接目的地端点与连接源端点之间的距离在预定距离内的轮廓边缘的端点(C(x，y)＝2)中、以垂直于连接源端点的梯度变化方向的方向为中心的预定角度范围内的全部轮廓边缘的端点(C(x，y)＝2)作为连接目的地端点。并且，在仅将连接源端点的梯度变化方向用作参数的情况下，例如，选择以垂直于连接源端点的梯度变化方向的方向为中心的预定角度范围内的全部轮廓边缘的端点(C(x，y)＝2)作为连接目的地端点。

之后，依次将针对每个连接源端点生成了多组的端点对作为关注对象，与实施方式1一样对各端点对依次进行初始插值线生成处理(图7的步骤c5)、插值线最优化处理(图7的步骤c7)、判定处理(图7的步骤c9)。该插值线生成处理的结果是，针对每个连接源端点，生成分别连接该多组各端点对之间的多个插值线。

在按以上执行了插值线生成处理之后，接着，如图22所示，轮廓边缘插值部19c依次将在步骤g7选择了多组端点对的连接源端点作为关注对象，针对全部连接源端点执行轮廓边缘插值处理(步骤g8)。图23是示出实施方式2中的轮廓边缘插值处理的详细处理过程的流程图。

如图23所示，在轮廓边缘插值处理中，首先，轮廓边缘插值部19c的梯度成本取得部191c执行梯度成本取得处理(步骤h1)。在该梯度成本取得处理中，梯度成本取得部191c针对关注对象的连接源端点，在如图22的步骤g7所生成的多个插值线上分别设定多个参照点，取得各参照点的梯度成本值。此时，在多个插值线上例如以一定间隔分别设定相同数量的参照点。各参照点的梯度成本值与实施方式1(参照图14的步骤e3的说明)一样计算。然后，针对每个插值线计算各参照点的梯度成本之和。

接下来，插值线选择部192c执行插值线选择处理，针对关注对象的连接源端点，从在图22的步骤g7所生成的多个插值线中选择一个(步骤h3)。在该插值线选择处理中，插值线选择部192c例如根据在步骤h1计算出的每个插值线的梯度成本之和，从这些插值线中选择梯度成本之和在预先设定的阈值以下且最小的插值线。

然后，插值轮廓边缘形成部193c执行插值轮廓边缘形成处理(步骤h5)。在该插值轮廓边缘形成处理中，插值轮廓边缘形成部193c使用针对关注对象的连接源端点在步骤h3所选择的插值线、以及以关注对象的连接源端点作为端点的轮廓边缘和以通过所选择的插值线与关注对象的连接源端点连接的连接目的地端点作为端点的轮廓边缘，来形成插值轮廓边缘。

如以上说明那样，在实施方式2中，针对成为连接源端点的轮廓边缘的端点选择不同的多个连接目的地端点来生成多组端点对，生成分别连接各端点对的插值线。然后，根据插值线上的像素的像素值梯度的成本值(梯度成本)，从所生成的多个插值线中选择一个，使用所选择的插值线、以及以通过所选择的插值线连接的连接源端点作为端点的轮廓边缘和以连接目的地端点作为端点的轮廓边缘来形成插值轮廓边缘。据此，可取得与实施方式1相同的效果，可针对成为连接源端点的轮廓边缘的端点适当选择应连接的轮廓边缘的端点，可使用插值线对这些连接源端点和连接目的地端点之间的中断进行适当插值。因此，可适当连接中断的轮廓边缘。

另外，在上述各实施方式1、2中，从轮廓边缘的端点中选择2个端点作为端点对，生成连接所选择的端点对之间的插值线，然而也可以从轮廓候选边缘的端点中选择2个端点作为端点对。或者，还可以选择轮廓边缘的端点中的1个和轮廓候选边缘的端点中的1个作为端点对。在该情况下，轮廓候选边缘的端点可以按照与轮廓边缘的端点检测相同的过程来计算。

并且，上述实施方式1的图像处理装置1、实施方式2的图像处理装置1c可以通过在个人计算机或工作站等计算机系统中执行预先准备好的程序来实现。以下，对具有与在各实施方式1、2中所说明的图像处理装置1、1c相同的功能、且执行图像处理程序141、141c的计算机系统进行说明。

图24是示出本变形例中的计算机系统400的结构的系统结构图，图25是示出构成该计算机系统400的主体部410的结构的框图。如图24所示，计算机系统400具有：主体部410，用于根据来自主体部410的指示在显示画面421上显示图像等信息的显示器420，用于向该计算机系统400输入各种信息的键盘430，以及用于指定显示器420的显示画面421上的任意位置的鼠标440。

并且，如图24和图25所示，该计算机系统400中的主体部410具有：CPU 411，RAM 412，ROM 413，硬盘驱动器(HDD)414，接受CD-ROM 460的CD-ROM驱动器415，以可拆装的方式连接USB存储器470的USB端口416，连接显示器420、键盘430和鼠标440的I/O接口417，以及用于与局域网或广域网(LAN/WAN)N1连接的LAN接口418。

而且，该计算机系统400连接有用于连接到因特网等公用线路N3的调制解调器450，而且经由LAN接口418和局域网或广域网N1，连接有作为其他计算机系统的个人计算机(PC)481、服务器482、打印机483等。

而且，该计算机系统400通过读出并执行记录于记录介质内的图像处理程序(例如实施方式1的图像处理程序141、实施方式2的图像处理程序141c)来实现图像处理装置(例如实施方式1的图像处理装置1、实施方式2的图像处理装置1c)。这里，记录介质除了CD-ROM 460和USB存储器470之外，还包括记录可由计算机系统400读取的图像处理程序的如下所有记录介质：包括MO盘和DVD盘、软盘(FD)、IC卡等的“可移动记录介质”；配备在计算机系统400内外的HDD 414、RAM 412、ROM 413等的“固定物理介质”；如经由调制解调器450连接的公用线路N3、连接有作为其他计算机系统的PC 481和服务器482的局域网或广域网N1等那样在发送程序时短期存储程序的“通信介质”等。

即，图像处理程序是以可由计算机读取的方式记录在“可移动记录介质”、“固定物理介质”和“通信介质”等记录介质内的程序，计算机系统400通过从这样的记录介质中读出并执行图像处理程序来实现图像处理装置。另外，图像处理程序不限定于由计算机系统400执行，本发明同样也可以用于由作为其他计算机系统的PC 481或服务器482执行图像处理程序的情况、以及这些计算机和服务器协作执行图像处理程序的情况。

并且，本发明不限定于上述各实施方式1、2和变形例1、2自身，通过将各实施方式和变形例所公开的多个构成要素适当组合，可形成各种发明。例如，可以从各实施方式和变形例所示的全部构成要素中删除若干构成要素来形成各种发明。或者还可以将不同实施方式和变形例所示的构成要素适当组合来形成各种发明。

根据上述说明的本发明，取得可适当连接中断的轮廓边缘的效果。

Claims (17)

1.一种图像处理装置，该图像处理装置具有：

轮廓候选边缘检测部，其根据对象图像的各像素的梯度强度来检测边缘，将该边缘作为轮廓候选边缘；

轮廓边缘检测部，其对所述轮廓候选边缘的梯度强度进行阈值处理，来检测轮廓边缘；

插值线生成部，其将所述轮廓边缘的端点作为连接源，将其他的所述轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的所述轮廓边缘的端点相同、且作为连接目的地的所述其他的所述轮廓边缘的端点不同的多组端点对之间进行连接；以及

轮廓边缘插值部，其根据所述多个插值线上的像素的像素值梯度，从所述多个插值线中选择任一个插值线，使用选择的所述插值线对选择的该插值线所要连接的所述端点对之间的轮廓边缘进行插值。

2.根据权利要求1所述的图像处理装置，其中，所述轮廓候选边缘是宽度为1像素的线边缘。

3.根据权利要求1所述的图像处理装置，其中，所述轮廓候选边缘检测部具有分支边缘去除部，在所述边缘进行分支并且从该边缘的分支点到所述边缘的端点的长度小于预定长度的情况下，所述分支边缘去除部从所述边缘中去除小于该预定长度的从所述分支点到所述边缘的端点的边缘部分。

4.根据权利要求1所述的图像处理装置，其中，所述轮廓候选边缘检测部具有轮廓候选边缘选择部，该轮廓候选边缘选择部选择所述对象图像中的梯度变化小的平坦区域外的边缘部分作为所述轮廓候选边缘。

5.根据权利要求1所述的图像处理装置，其中，所述插值线生成部具有：

端点检测部，其检测所述轮廓边缘的端点；

端点对选择部，其将所述轮廓边缘的端点中的一个作为所述连接源，针对作为该连接源的所述轮廓边缘的端点，选择多个作为所述连接目的地的所述其他的所述轮廓边缘的端点来作为所述多组端点对；

初始插值线生成部，其生成连接所述多组端点对之间的插值线的初始路径；以及

插值线最优化部，其将所述插值线的初始路径最优化为由所述插值线上的像素的像素值梯度所决定的成本值最小的路径。

6.根据权利要求5所述的图像处理装置，其中，所述端点对选择部根据距作为所述连接源的所述轮廓边缘的端点的距离和/或作为所述连接源的所述轮廓边缘的端点的梯度方向，选择作为所述连接目的地的所述其他的所述轮廓边缘的端点。

7.根据权利要求5所述的图像处理装置，其中，所述初始插值线生成部具有：

近似曲面生成部，其生成对所述对象图像的各像素的像素值变化进行了近似的近似曲面；以及

初始插值线决定部，其决定包含如下直线的平面：该直线与通过所述近似曲面上的与所述端点对的坐标对应的位置的直线正交、且与所述对象图像的坐标平面平行，将以该平面与所述近似曲面的交线上的所述端点对作为两端的线段作为所述插值线的初始路径。

8.根据权利要求7所述的图像处理装置，其中，所述近似曲面生成部通过对所述对象图像的各像素的像素值变化进行函数近似来生成所述近似曲面。

9.根据权利要求7所述的图像处理装置，其中，所述近似曲面生成部对所述对象图像进行低通滤波处理来生成所述近似曲面。

10.根据权利要求5所述的图像处理装置，其中，所述初始插值线生成部将连接所述端点对之间的直线作为所述插值线的初始路径。

11.根据权利要求5所述的图像处理装置，其中，所述初始插值线生成部将连接所述端点对之间的近似曲线作为所述插值线的初始路径。

12.根据权利要求5所述的图像处理装置，其中，所述插值线最优化部具有：

控制点设定部，其在所述插值线的初始路径上以预定间隔设定控制点；以及

插值线更新部，其使所述控制点移动来更新所述插值线的初始路径，使得所述控制点的所述成本值变小。

13.根据权利要求5所述的图像处理装置，其中，所述插值线最优化部根据所述插值线上的像素处的所述轮廓边缘的方向和所述插值线上的像素处梯度的变化最大的方向计算所述成本值。

14.根据权利要求5所述的图像处理装置，其中，所述插值线最优化部具有路径搜索部，该路径搜索部使用路径搜索算法搜索所述成本值最小的路径。

15.根据权利要求1所述的图像处理装置，其中，所述轮廓边缘插值部具有：

梯度成本取得部，其在所述多个插值线上分别设定多个参照点，取得该设定的各参照点的所述成本值；

插值线选择部，其针对所述多个插值线的各方比较所述各参照点的所述成本值，从该多个插值线中选择所述成本值在预定阈值以下且最小的插值线；以及

插值轮廓边缘形成部，其使用所述插值线选择部所选择的插值线、以及以该插值线所连接的所述端点对的所述连接源作为端点的所述轮廓边缘和以所述端点对的所述连接目的地作为端点的所述其他的所述轮廓边缘形成插值轮廓边缘。

16.根据权利要求15所述的图像处理装置，其中，所述梯度成本取得部在所述多个插值线上分别设定相同数量的所述参照点。

17.一种图像处理方法，该图像处理方法包括：

轮廓候选边缘检测步骤，其根据对象图像的各像素的梯度强度来检测边缘，将该边缘作为轮廓候选边缘；

轮廓边缘检测步骤，其对所述轮廓候选边缘的梯度强度进行阈值处理，来检测轮廓边缘；

插值线生成步骤，其将所述轮廓边缘的端点作为连接源，将其他的所述轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的所述轮廓边缘的端点相同、且作为连接目的地的所述其他的所述轮廓边缘的端点不同的多组端点对之间进行连接；以及

轮廓边缘插值步骤，其根据所述多个插值线上的像素的像素值梯度，从所述多个插值线中选择任一个插值线，使用选择的所述插值线对选择的该插值线所要连接的所述端点对之间的轮廓边缘进行插值。

Images