CN102737388B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置和图像处理方法。图像处理装置具有：近似面计算部，其计算对图像内的检查对象区域所包含的像素的像素值进行近似的多个近似面；近似面选择部，其根据检查对象区域内的像素的像素值与上述多个近似面的关系，从上述多个近似面内选择至少一个近似面；近似区域决定部，其决定通过上述至少一个近似面进行近似的近似区域；以及异常部检测部，其根据近似区域内的像素的像素值、和与该像素的坐标对应的至少一个近似面中的近似面上的值检测异常部。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及从图像中检测异常部的图像处理装置以及图像处理方法。

背景技术

一直以来，作为用于减轻通过内窥镜或胶囊内窥镜等医用观察装置拍摄被检者的体内(管腔内)而得到的活体内图像的观察中的医生等的负担的技术之一，公知有从图像中检测出血部位等异常部的技术(例如参照日本特开2005-192880号公报)。日本特开2005-192880号公报公开了如下技术：首先将对图像内的各像素或图像进行矩形分割而得到的各区域映射到基于颜色信息的特征空间，在特征空间内进行聚类，之后根据各聚类的大小或重心坐标等信息确定正常粘膜聚类和异常部聚类，检测属于异常部聚类的像素或矩形区域作为异常部。另外，作为颜色信息，是像素值(R，G，B)、或根据该像素值计算出的值，可列举用R/(R+G+B)或G/(R+G+B)等给出的色度、或用R/G给出的色比等。

但是，在特征空间内，由于摄影状态和个体差的波动等，正常粘膜的像素值分布具有一定程度的宽度。另一方面，在活体内图像中还存在异常部，该异常部具有不从这种正常粘膜的像素值分布偏离的像素值，并且像素值变化(伴随图像的坐标变化的像素值变化)与周围(正常粘膜区域)的像素值变化不同。但是，在特征空间内，在拍摄时失去图像空间中的位置信息，因此不能检测到这种异常部。

发明内容

本发明正是鉴于上述情况而作出的，其目的在于提供能够高精度地检测表现出与周围不同的像素值变化的异常部的图像处理装置以及图像处理方法。

本发明的一个方式的图像处理装置具有：近似面计算部，其计算对图像内的检查对象区域所包含的像素的像素值进行近似的多个近似面；近似面选择部，其根据所述检查对象区域内的像素的像素值与所述多个近似面的关系，从所述多个近似面内选择至少一个近似面；近似区域决定部，其决定通过所述至少一个近似面对所述像素的像素值进行近似的近似区域；以及异常部检测部，其根据所述近似区域内的像素的像素值、和该像素的坐标处的所述至少一个近似面上的值检测异常部。

本发明的另一方式的图像处理方法包括：近似面计算步骤，计算对图像内的检查对象区域所包含的像素的像素值进行近似的多个近似面；近似面选择步骤，根据所述检查对象区域内的像素的像素值与所述多个近似面的关系，从所述多个近似面内选择至少一个近似面；近似区域决定步骤，决定通过所述至少一个近似面对所述像素的像素值进行近似的近似区域；以及异常部检测步骤，根据所述近似区域内的像素的像素值与该像素的坐标处的所述至少一个近似面上的值检测异常部。

如果将以下本发明的详细说明与附图对照着进行阅读，则能够进一步理解以上所述的情况以及本发明的其它目的、特征、优点和技术及产业上的意义。

附图说明

图1是示出本发明实施方式1的图像处理装置的结构的框图。

图2是示出图1所示的图像处理装置的动作的流程图。

图3是示出被图1所示的图像处理装置取入的图像的一例的示意图。

图4是表示图3所示的y＝y_A处的沿着x方向的像素值z的曲线图。

图5是说明近似面的计算处理的图。

图6是说明近似面的选择和近似区域的决定处理的图。

图7是说明近似面的选择处理的图。

图8是说明近似区域的决定处理的图。

图9是说明异常部的检测处理的图。

图10是示出近似面计算部的动作的流程图。

图11是示出近似面选择部的动作的流程图。

图12是示出近似区域决定部的动作的流程图。

图13是示出变形例1-1中的近似面选择部的结构的框图。

图14是示出变形例1-1中的近似面选择部的动作的流程图。

图15是示出变形例1-2中的近似面选择部的结构的框图。

图16是示出变形例1-2中的近似面选择部的动作的流程图。

图17是示出变形例1-3中的近似区域决定部的结构的框图。

图18是示出变形例1-3中的近似区域决定部的动作的流程图。

图19是示出变形例1-4中的近似区域决定部的结构的框图。

图20是示出变形例1-4中的近似区域决定部的动作的流程图。

图21是示出实施方式2的图像处理装置的结构的框图。

图22是示出图21所示的近似面计算部的动作的流程图。

图23是示出变形例2-1中的计算次数设定部的结构的框图。

图24是示出变形例2-2中的像素提取部的结构的框图。

图25是示出实施方式3的图像处理装置的结构的框图。

图26A和图26B是说明实施方式3的图像处理的图。

图27是示出图25所示的图像处理装置的动作的流程图。

图28是示出图25所示的近似面重新计算部的动作的流程图。

具体实施方式

以下，参照附图说明本发明的实施方式的图像处理装置以及图像处理方法。另外，本发明不受这些实施方式限定。另外，在各附图的记载中，对相同部分标注相同标号来示出。

以下说明的实施方式的图像处理装置对利用例如内窥镜或胶囊内窥镜等医用观察装置拍摄被检者的体内(管腔内)所得的活体内图像进行处理，具体而言，进行从活体内图像中检测表现出与周围像素处的像素值变化不同的变化的区域即异常部的处理。此外，在以下的实施方式中实施了图像处理的活体内图像例如是在各像素中具有针对R(红)、G(绿)、B(蓝)的各颜色成分的像素级别(像素值)的彩色图像。

实施方式1

图1是示出本发明实施方式1的图像处理装置的结构的框图。图1所示的图像处理装置1具有：控制部10，其控制图像处理装置1整体的动作；图像取得部11，其取得通过医用观察装置拍摄的活体内图像的图像数据；输入部12，其受理从外部输入的输入信号；显示部13，其进行各种显示；存储部14，其存储由图像取得部11取得的图像数据和各种程序；以及运算部15，其对图像数据执行预定的图像处理。

控制部10由CPU等硬件来实现，其通过读入存储在存储部14中的各种程序，根据从图像取得部11输入的图像数据和从输入部12输入的操作信号等，向构成图像处理装置1的各个部分进行指示或者数据传送等，对图像处理装置1整体的动作进行统一控制。

图像取得部11根据包含医用观察装置的系统的方式而适当构成。例如，在医用观察装置是胶囊型内窥镜，且使用可与医用观察装置之间交换图像数据的可移动型记录介质的情况下，图像取得部11由拆装自如地安装该记录介质并读出已保存的活体内图像的图像数据的读出装置构成。另外，在采用预先保存由医用观察装置所拍摄的活体内图像的图像数据的服务器的情况下，图像取得部11由与服务器连接的通信装置等构成，并与服务器进行数据通信来取得活体内图像的图像数据。或者，还可以由经由电缆从内窥镜等医用观察装置输入图像信号的接口装置等构成图像取得部11。

输入部12通过例如键盘、鼠标、触摸面板及各种开关等输入器件来实现，其将所接收的输入信号输出到控制部10。

显示部13由LCD或EL显示器等显示装置来实现，在控制部10的控制下，显示包含活体内图像在内的各种画面。

存储部14由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者通过数据通信端子连接的硬盘、或CD-ROM等信息记录介质及其读取装置等来实现。存储部14除了存储由图像取得部11所取得的活体内图像的图像数据以外，还存储用于使图像处理装置1动作并使图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言，存储部14存储用于执行从活体内图像中检测异常部的处理的图像处理程序141。

运算部15由CPU等硬件来实现，通过读入图像处理程序141，处理活体内图像的图像数据，进行用于从活体内图像中检测异常部的各种运算处理。

接着，对运算部15的详细结构进行说明。

运算部15具有：近似面计算部16，其根据活体内图像内的检查对象区域所包含的像素的像素值(例如G分量的像素值)，计算对检查对象区域所包含的像素的像素值进行近似的多个近似面；近似面选择部17，其从多个近似面中选择至少一个近似面；近似区域决定部18，其决定通过所选择的近似面进行近似的近似区域；对象区域重新设定部19，其将所决定的近似区域以外的活体内图像内的区域设定为新的检查对象区域，并控制从近似面的计算到近似区域的决定的一系列处理的重复；以及异常部检测部20，其根据近似区域内的像素的像素值、和该像素的坐标处的近似面上的值，从活体内图像中检测异常部。

近似面计算部16具有：计算次数设定部161，其设定近似面的计算次数；像素提取部162，其从检查对象区域内提取在各近似面的计算中使用的多个像素；以及近似函数计算部163，其计算对所提取的多个像素的像素值进行近似的近似函数，近似面计算部16根据所计算的近似函数取得近似面。

近似面选择部17具有：近似面接近区域检测部171，其按照每个近似面检测检查对象区域内的像素的像素值与各像素的坐标处的近似面上的值(以下简称作近似值)接近的区域(以下称作近似面接近区域)；以及近似评价值计算部172，其计算用于评价近似面接近区域中的近似面的近似程度的评价值，近似面选择部17根据计算出的评价值，从多个近似面内选择至少一个近似面。上述近似面接近区域检测部171包含计算像素值与近似值之间的差分值的差分值计算部171a，并根据该差分值检测近似面接近区域。此外，上述近似评价值计算部172包含计算近似面接近区域的面积的面积计算部172a，并计算该面积作为评价值。

近似区域决定部18具有：候选区域检测部181，其从检查对象区域内检测预定的像素区域作为近似区域的候选区域(以下称作近似候选区域)；以及候选区域变形部182，其使近似候选区域变形以使其包含近似候选区域内的特定区域、与近似候选区域邻接的近似候选区域外的区域，近似区域决定部18将变形后的近似候选区域决定为近似区域。候选区域检测部181包含计算与各像素的坐标处的近似值z’之间的差分值Δz的差分值计算部181a，并根据该差分值检测候选区域。该候选区域变形部182包含对候选区域进行形态学处理(morphological operation)的形态学处理部182a。

异常部检测部20包含计算像素值与近似值之间的差分值的差分值计算部201，并根据该差分值检测异常部。

接着，说明图像处理装置1的动作。图2是示出图像处理装置1的动作的流程图。

首先，在步骤S101中，图像取得部11从外部取得活体内图像组，并存储到存储部14中。运算部15从存储部14中依次读出要实施图像处理的图像。图3是示出从存储部14中读出的图像的一例的示意图。以下，将构成图3所示的图像100的各像素的坐标表示为(x，y)。此外，图4是表示图3的y＝y_A处的沿着x方向的像素值z的曲线图。以下，为了帮助动作原理的理解，参照由像素的一维坐标(x坐标)和像素值z构成的二维显示的图进行说明。另外，像素值z被标准化成最大值为1。

在步骤S102中，如图5所示，近似面计算部16计算对检查对象区域内的像素的像素值进行近似的多个近似面S₁、S₂、...。另外，第一次将图像100的整体(在x方向上用区域R₀示出)设定为检查对象区域。近似面的计算处理的具体情况将后述。

在接下来的步骤S103中，近似面选择部17从多个近似面内选择至少一个近似面，该近似面使得检查对象区域内的像素的像素值与各像素的坐标处的近似值接近的区域尽可能宽。例如，在图5所示的近似面S₁～S_N内，选择图6所示的近似面S_A。

在步骤S104中，近似区域决定部18按照由近似面选择部17选择的每个近似面，决定检查对象区域内的像素的像素值近似的近似区域。例如，对于图6所示的近似面S_A，区域R₁成为近似区域。

在步骤S105中，对象区域重新设定部19判定通过近似区域决定部18决定的近似区域是否与检查对象区域整体一致。在近似区域与检查对象区域不一致的情况下(步骤S105：否)，对象区域重新设定部19将所决定的近似区域以外的区域设定为新的检查对象区域(步骤S106)。例如，被决定为近似区域的区域R₁是第一次设定的检查对象区域R₀的一部分(R₁≠R₀)。因此，此时，区域R₂和R₃被设定为下一个检查对象区域。

之后，动作返回步骤S102。由此，分别针对新设定的区域R₂和R₃的各个区域，计算多个近似面S₁’、S₂’、...(参照图7)，之后进行选择至少一个近似面(例如近似面S_B)的处理。并且，进行决定利用该近似面S_B进行近似的近似区域R₄的处理(参照图8)。

通过重复这种动作，能够得到对构成图像100的像素的像素值z进行近似的近似面S_A(区域R₁)、近似面S_B(区域R₄)、近似面S_C(区域R₃)、近似面S_D(区域R₅)和近似面S_E(区域R₆)。与这些近似面和近似区域相关的信息被存储到存储部14。

在近似区域与检查对象区域一致的情况下，即对图像100内的所有区域决定了近似区域的情况下(步骤S105：是)，异常部检测部20进行从活体内图像中检测异常部的处理(步骤S107)。

具体而言，异常部检测部20计算近似区域内的像素的像素值z与各像素的坐标处的近似值z’之间的差分值Δz(Δz＝z-z’)(参照图9)。并且，异常部检测部20检测差分值Δz为预定阈值以上的区域作为异常部。

另外，差分值Δz可以重新计算，也可以在通过之前的处理计算出的值被存储在存储部14中的情况下，从存储部14中取得。

在步骤S108中，运算部15输出异常部的检测结果并存储到存储部14中。此外，显示部13也可以在控制部10的控制下，以预定的形式对所输出的检测结果进行画面显示。

接着，对多个近似面的计算处理(步骤S102)进行详细说明。图10是示出近似面计算部16的动作的流程图。

首先，在步骤S111中，计算次数设定部161设定近似面的计算次数N。作为该次数N，可以每次使用预先设定的固定值，也可以仅第一次使用预先设定的值，之后在每次在后述的步骤S106中新设定检查对象区域时，减少计算次数N的值来进行设定。这是因为，与如图5所示那样图像100整体为检查对象区域(区域R₀)的情况相比，如图7所示，新设定的检查对象区域(区域R₂、R₃)比较窄，因此即使用较少的计算次数，也能够容易地计算出良好的近似面。

在接下来的步骤S112中，近似面计算部16将示出处理次数的计数器i设定为1。

在步骤S113中，像素提取部162从检查对象区域内提取多个像素。这些像素之后被用于近似函数的计算。因此，提取近似函数中的未知数的数量以上的像素。例如，在包含2个变量的二次函数的情况下，应计算的未知数(系数)为6个，因此提取6个以上的像素。

在步骤S114中，近似函数计算部163使用所提取的像素的坐标(x，y)和像素值z来计算近似函数。具体而言，近似函数计算部163通过将所提取的像素的坐标和像素值(x₁，y₁，z₁)、(x₂，y₂，z₂)、...代入到期望的函数中，制成联立方程式或过剩条件方程式，并通过解该联立方程式或过剩条件方程式，推定出函数中所包含的系数。另外，作为像素值z，可以直接使用R值、G值、B值，也可以使用根据R值、G值、B值计算出的亮度、色差、色调、颜色饱和度、明度等。

例如，在计算通过下式(1)给出的二次函数的情况下，系数(常数)a～f是应求出的未知数。

z＝ax²+by²+cxy+dx+ey+f(1)

此时，解出通过最小平方法得到的下式(2)即可。

$\left[\begin{array}{c}a\\ b\\ c\\ d\\ e\\ f\end{array}\right]={(A^t\×A)}^{-1}\×A^t\×\left[\begin{array}{c}{z}_1\\ z_2\\ M\\ z_n\end{array}\right]---\left(2\right)$

其中，

$A=\left[\begin{array}{cccccc}{x_1}^2& {y_1}^2& x_1{y}_1& x_1& y_1& 1\\ {x_2}^2& {y_2}^2& x_2{y}_2& x_2& y_2& 1\\ M& M& M& M& M& M\\ {x_n}^2& {y_n}^2& x_n{y}_n& x_n& y_n& 1\end{array}\right]$

在步骤S115中，近似面计算部16判定计数器i是否达到计算次数N。在计数器i没有达到计算次数N的情况下(步骤S115：否)，近似面计算部16对计数器i进行增加(步骤S116)，动作返回步骤S113。

另一方面，在计数器i达到了计算次数N的情况下(步骤S115：是)，近似面计算部16通过将检查对象区域内的所有坐标(x，y)代入到通过N次的处理计算出的N个近似函数中，计算与各坐标(x，y)对应的近似值z’。由此，计算出N个近似面S₁、S₂、...S_N(步骤S117)。

接着，对近似面的选择处理(步骤S103)进行详细说明。图11是示出近似面选择部17的动作的流程图。

首先，在步骤S121中，近似面接近区域检测部171按照每个近似面计算检查对象区域内的像素的像素值z与各像素的坐标处的近似值z’之间的差分值Δz。

在步骤S122中，近似面接近区域检测部171针对各近似面S₁～S_N检测差分值Δz的绝对值在预定阈值以下的区域。由此检测出的区域是近似面接近区域。

在步骤S123中，近似评价值计算部172按照每个近似面计算近似面接近区域的面积，作为评价近似面的近似程度的评价值。

在步骤S124中，近似面选择部17选择近似面接近区域的面积最大的至少一个近似面。

接着，对近似区域的决定处理(步骤S104)进行详细说明。图12是示出近似区域决定部18的动作的流程图。

在步骤S131中，候选区域检测部181按照通过近似面选择部17选择的每个近似面，计算检查对象区域内的像素的像素值与各像素的坐标处的近似值之间的差分值Δz。

在步骤S132中，候选区域检测部181检测差分值Δz的绝对值在预定阈值以下的区域作为近似候选区域。

另外，候选区域检测部181也可以替代执行步骤S131和S132，从在近似面接近区域的检测时(步骤S122)检测到的近似面接近区域内，提取与所选择的近似面对应的近似面接近区域。此时，只要存储部14存储与通过近似面接近区域检测部171检测到的近似面接近区域相关的信息，候选区域检测部181从存储部14取得该信息即可。由此，能够减少运算部15中的运算量。

在步骤S133中，候选区域变形部182通过形态学的闭(closing)处理，使近似候选区域变形。形态学的闭处理是指如下处理：在使被称作构造要素的基本图形外切近似候选区域并移动时得到构造要素的外周通过的轨迹(小 秀文著，“モルフオロジ”，コロナ公司)。

此处，通过近似面选择部17选择的近似面是对检查对象区域内的部分区域的像素值变化进行近似的面，该部分区域的大半部分被包含在近似候选区域中。但是，位于部分区域的内部或邻接部的异常部表现出与部分区域的像素值变化不同的像素值变化，因此没有被包含在本来应该包含的近似候选区域中的可能性较高。因此，为了根据与周围的像素值变化的不同，检测异常部的像素值变化，需要在异常部的像素位置处，得到对周围的像素值变化进行近似的面。

因此，候选区域变形部182通过对近似候选区域实施闭处理，对近似候选区域进行变形以堵塞近似候选区域内部的孔(非近似候选区域)、和近似候选区域边界的局部裂缝。

在步骤S134中，近似区域决定部18将变形后的近似候选区域决定为近似区域。由此，在近似候选区域的内部或邻接部中存在异常部的情况下，能够使这些区域包含在像素值以与周围的像素值变化相同的趋势进行变化的面、即在计算近似候选区域时使用的近似面的近似区域中。其结果，能够根据近似区域内的像素的像素值与各像素的坐标处的近似值的差，检测异常部。

如以上所说明那样，根据实施方式1，求出对检查对象区域内的像素的像素值进行近似的近似面、和通过该近似面进行近似的近似区域，并计算近似区域内的像素的像素值和对应的坐标处的近似面上的值之间的差分值，由此能够高精度地检测表现出与周围不同的像素值变化的异常部。

另外，以上对相对于一种波长分量(例如G分量)的处理进行了说明，但是也可以对多个波长分量应用实施方式1。具体而言，首先根据R分量，进行近似面的计算(步骤S102)、选择(步骤S103)和近似区域的决定(步骤S104)处理。接着，在根据R分量决定的近似区域内，分别根据G分量和B分量，计算近似面(步骤S102)并进行选择(步骤S103)处理。并且，按照每个波长分量计算各像素的像素值与近似值之间的差分，并根据该差分值按照每个波长分量检测异常部(步骤S107)。

此处，R分量是远离血液的吸收频带的波长分量，并且在像素值的3个分量内也是波长最长的分量，因此难以受到活体中的吸收、散射的影响，表现出最反映作为摄像对象的活体组织的构造(粘膜形状等)的像素值。因此，可以说基于R分量的近似面反映了粘膜形状等。另一方面，G分量和B分量在出血部位等异常部中容易受到血液对于照明光的吸光的影响。因此，如上所述，在根据R分量决定的近似区域内，根据G分量和B分量计算近似面，由此能够在反映了粘膜形状等的区域中，良好地检测活体内的吸光较多的存在颜色变化的病变部(出血部位等)。

变形例1-1

接着，参照图13来说明实施方式1的变形例1-1。

变形例1-1的图像处理装置替代图1所示的近似面选择部17而具有近似面选择部17-2，该近似面选择部17-2具有近似面接近区域检测部171和近似评价值计算部172-2。近似评价值计算部172-2包含方差值计算部172b，方差值计算部172b计算检查对象区域内的像素的像素值z与各像素的坐标处的近似值z’之间的差分值Δz的方差，并且近似评价值计算部172-2计算方差作为评价近似面的近似程度的评价值。

图14是示出变形例1-1中的近似面选择部17-2的动作的流程图。另外，步骤S121和S122中的动作与在实施方式1中说明的动作相同。

在接着步骤S122的步骤S141中，近似评价值计算部172-2按照每个近似面计算近似面接近区域内的差分值Δz的方差。

在步骤S142中，近似面选择部17-2选择差分值Δz的方差最小的至少一个近似面。

根据变形例1-1，能够从多个近似面S₁～S_N内，选择更适合检查对象区域内的部分像素值变化的近似面。因此，在之后执行的异常部检测处理中能够高精度地检测表现出与周围不同的像素值变化的异常部。

变形例1-2

接着，参照图15来说明实施方式1的变形例1-2。

变形例1-2的图像处理装置替代图1所示的近似面选择部17而具有近似面选择部17-3。近似面选择部17-3具有近似面接近区域检测部171、和计算用于评价待连结的近似面接近区域中的近似面的近似程度的评价值的近似评价值计算部172-3，并根据该评价值从多个近似面内选择至少一个近似面。

近似评价值计算部172-3具有：区域连结部172c，其通过标示处理(参考：CG-ARTS協会，デイジタル画像処理，第181～182页)，将近似面接近区域内的相互邻接的像素彼此连结起来并作为一个连结区域；以及面积计算部172d，其计算各连结区域的面积。

图16是示出近似面选择部17-3的动作的流程图。另外，步骤S121和S122中的动作与在实施方式1中说明的动作相同。

在接着步骤S122的步骤S151中，区域连结部172c通过对图像100实施标示处理，将近似面接近区域内的相互邻接的像素彼此连结起来并作为一个连结区域。

在步骤S152中，面积计算部172d计算各连结区域的面积。

在步骤S153中，近似面选择部17-3选择连结区域的面积最大的至少一个近似面。

根据变形例1-2，在选择近似面时，能够抑制由于检查对象区域内的像素的像素值与该像素的坐标处的近似值局部一致而产生的噪声区域的影响，来选择近似面。因此，在之后执行的异常部检测处理中能够高精度地检测变现出与周围不同的像素值变化的异常部。

变形例1-3

接着，参照图17来说明实施方式1的变形例1-3。

变形例1-3的图像处理装置替代图1所示的近似区域决定部18而具有近似区域决定部18-2。近似区域决定部18-2具有检测近似候选区域的候选区域检测部181-2、和使检测到的近似候选区域变形的候选区域变形部182，并将变形后的近似候选区域决定为近似区域。

候选区域决定部181-2除了差分值计算部181a以外，还具有通过标示处理将近似候选区域内的相互邻接的像素彼此连结起来并作为一个连结区域的区域连结部181b、和计算各连结区域的面积的面积计算部181c，候选区域决定部181-2根据连结区域的面积决定近似区域的候选。

图18是示出近似区域决定部18-2的动作的流程图。另外，步骤S131、S132、S133、S134中的动作与在实施方式1中说明的动作相同。

在接着步骤S132的步骤S161中，区域连结部181b通过标示处理，将近似候选区域内的相互邻接的像素彼此连结起来并作为一个连结区域。

在步骤S162中，面积计算部181c计算各连结区域的面积。

在步骤S163中，候选区域检测部181-2选择面积最大的连结区域作为最终的近似候选区域。

根据变形例1-3，在决定近似区域时，能够抑制由于检查对象区域内的像素的像素值与该像素的坐标处的近似值局部一致而产生的噪声区域的影响，来决定近似区域。因此，在之后执行的异常部检测处理中能够高精度地检测表现出与周围不同的像素值变化的异常部。

变形例1-4

接着，参照图19来说明实施方式1的变形例1-4。

变形例1-4的图像处理装置替代图1所示的近似区域决定部18而具有近似区域决定部18-3。近似区域决定部18-3具有检测近似候选区域的候选区域检测部181、和通过使内包于检测到的近似候选区域内的内包区域合并到该近似候选区域来使近似候选区域变形的候选区域变形部182-3，并将变形后的候选区域决定为近似区域。

候选区域变形部182-3具有使内包于候选区域内的内包区域合并到该候选区域的内包区域合并部182b。内包区域合并部182b包含：内包区域检测部182b-1，其检测由近似候选区域以外的像素构成的、不与图像100的端部接触的区域作为内包区域；以及区域信息计算部182b-2，其计算与内包区域相关的信息(例如面积)，内包区域合并部182b将面积为预定阈值以下的内包区域合并到近似候选区域。

图20是示出近似区域决定部18-3的动作的流程图。另外，步骤S131和S132中的动作与实施方式1相同。

在接着步骤S132的步骤S171中，内包区域检测部182b-1对所提取的近似候选区域及其以外的区域实施标示处理，检测由近似候选区域以外的像素构成的、不与图像100的端部接触的区域作为内包区域。

在步骤S172中，区域信息计算部182b-2计算内包区域的面积，作为与内包区域相关的信息。

在步骤S173中，候选区域变形部182-3通过将面积为预定阈值以下的内包区域合并到近似候选区域，进行近似候选区域的变形。

之后的步骤S134中的动作与实施方式1相同。

根据变形例1-4，在面积为预定阈值以下的内包区域是异常部的情况下，能够在该异常部的像素位置处，取得适合周围的像素值变化的近似面。因此，在之后执行的异常部检测处理中能够高精度地检测表现出与周围不同的像素值变化的异常部。

实施方式2

接着，说明本发明的实施方式2。图21是示出实施方式2的图像处理装置的结构的框图。图21所示的图像处理装置2替代图1所示的近似面计算部16而具有运算部30，该运算部30具有近似面计算部31。关于其他结构，与在实施方式1中说明的结构相同。

近似面计算部31具有：计算次数设定部311，其设定近似面的计算次数；像素提取部312，其从检查对象区域内提取在近似函数的计算中使用的多个像素；以及近似函数计算部163。另外，关于近似函数计算部163的动作，与在实施方式1中说明的动作相同。

计算次数设定部311具有计算在近似面的计算次数的设定中使用的信息(区域信息)的区域信息计算部311a。区域信息计算部311a包含计算检查对象区域的面积的面积计算部311a-1。

此处，检查对象区域的面积较大的情况与该面积较小的情况相比，检查对象区域内的像素值变化富于起伏的可能性高。因此，在检查对象区域的面积较大的情况下，计算更多的近似面的方法能够计算出适合检查对象区域内的部分像素值变化的近似面的可能性更大。因此，在实施方式2中，根据检查对象区域的面积设定近似面的计算次数。

像素提取部312具有设定在近似面的计算中使用的像素的提取范围的提取范围设定部312a，并从所设定的提取范围内提取像素。提取范围设定部312a包含局部区域设定部312a-1，并设定通过该局部区域设定部312a-1设定的局部区域作为像素的提取范围。

此处，在检查对象区域内像素值变化富于起伏的情况下，在从被一定程度限制的区域内提取近似面计算用的像素的方法能够计算出适合检查对象区域内的部分像素值变化的近似面的可能性变大。因此，在实施方式2中，为了从被限定的局部区域提取像素，在检查对象区域内设定预定大小的多个区域。

接着，说明图像处理装置2的动作。图像处理装置2整体的动作与图2所示的动作相同，对于检查对象区域的多个近似面的计算处理(步骤S102)中的详细动作与实施方式1不同。

图22是示出近似面计算部31的动作的流程图。

首先，在步骤S201中，区域信息计算部311a计算面积S作为检查对象区域的信息。

在接下来的步骤S202中，计算次数设定部311计算kS(k为正的常数)，并通过四舍五入等将该kS整数化。设定由此得到的值作为对于该检查对象区域的近似面的计算次数N。

在接下来的步骤S203中，近似面计算部31将计数器i设定为1。

在步骤S204中，提取范围设定部312a在检查对象区域内设定具有预定半径的多个局部区域。

在步骤S205中，像素提取部312从一个局部区域内提取多个像素。

之后的步骤S114～S117中的动作与实施方式1相同。

如以上所说明那样，根据实施方式2，检查对象区域的面积越大，就将近似面的计算次数设定得越多，因此容易计算适合检查对象区域内的部分像素值变化的近似面。此外，根据实施方式2，根据从检查对象区域内的被限定的局部区域内提取的像素计算近似面，因此仍然容易计算适合检查对象区域内的部分像素值变化的近似面。因此，在之后执行的异常部检测处理中能够高精度地检测表现出与周围不同的像素值变化的异常部。

变形例2-1

接着，参照图23来说明实施方式2的变形例2-1。

变形例2-1的图像处理装置替代图21所示的计算次数设定部311而具有计算次数设定部311-2，该计算次数设定部311-2具有区域信息计算部311b。区域信息计算部311b包含边缘量计算部311b-1，计算边缘量作为在设定近似面的计算次数时使用的区域信息。

此处，在检查对象区域内边缘较多的情况下，检查对象区域内的像素值变化富于起伏的可能性高。因此，在边缘较多的情况下，计算更多的近似面的方法能够计算适合检查对象区域内的部分像素值变化的近似面的可能性更大。因此，在变形例2-1中，根据检查对象区域的边缘量设定近似面的计算次数。

具体而言，计算次数设定部311-2进行如下的运算。首先，区域信息计算部311b使用公知的微分滤波器(参考：CG-ARTS協会，デイジタル画像処理，第114页)，取得图像100中的边缘强度，并计算检查对象区域内的边缘强度的平均值V。接着，计算次数设定部311-2使用该边缘强度的平均值V计算k’V(k’是正的常数)，并通过对该k’V四舍五入等将其整数化。将由此得到的值设定为对于该检查对象区域的近似面的计算次数N。

根据变形例2-1，将近似面的计算次数设定成与检查对象区域中的边缘强度的平均值成比例，因此容易计算适合检查对象区域内的部分像素值变化的近似面。因此，在之后执行的异常部检测处理中能够高精度地检测变现出与周围不同的像素值变化的异常部。

变形例2-2

接着，参照图24来说明实施方式2的变形例2-2。

变形例2-2的图像处理装置替代图21所示的像素提取部312而具有像素提取部312-2，该像素提取部312-2具有提取范围设定部312b。提取范围设定部312b包含区域连结部312b-1，将通过区域连结部312b-1成为连结区域的区域设定为像素的提取范围。

此处，例如图8所示，当进行近似面和近似区域的决定处理时，被细致分割的检查对象区域增加。因此，在变形例2-2中，通过对图像100实施标示处理，将检查对象区域内的相互邻接的像素彼此连结起来，并将由此得到的连结区域设定为在近似面的计算中使用的多个像素的提取范围。

具体而言，像素提取部312-2进行如下的运算。首先，提取范围设定部312b对图像100实施标示处理，设定将检查对象区域内的相互邻接的像素彼此连结起来得到的连结区域。像素提取部312-2从同一连结区域内提取多个像素。

根据变形例2-2，从连结后的检查对象区域内提取在近似面的计算中使用的多个像素，因此容易计算更适合于检查对象区域内的部分像素值变化的近似面。因此，在之后执行的异常部检测处理中能够高精度地检测表现出与周围不同的像素值变化的异常部。

实施方式3

接着说明实施方式3。图25是示出实施方式3的图像处理装置的结构的框图。图25所示的图像处理装置3除了图1所示的近似面计算部16～异常部检测部20以外，还具有运算部40，该运算部40具有近似面重新计算部41。近似面重新计算部41对针对某个近似面所决定的近似区域，重新计算近似度更高的近似面。

此处，如图26A所示，决定了某个近似区域R₂₀的近似面S₂₀根据从检查对象区域提取出的任意的多个像素(例如像素P₁、P₂、P₃)而计算出。因此，该近似面不限于最适合于近似区域R₂₀的近似面。因此，在实施方式3中，如图26B所示，与近似面S₂₀的计算时相比根据近似区域R₂₀内的更多的像素(例如P₄～P₈)的像素值，计算相对于近似区域R₂₀近似度更高的近似面S₂₁。或者，也可以使用近似区域R₂₀内的所有像素计算近似面。

近似面重新计算部41具有：权重设定部411，其对于近似区域内的像素设定权重；以及近似函数计算部412，其根据设定了权重的像素的像素值计算近似函数。

权重设定部411具有：差分值计算部411a，其计算近似区域内的像素的像素值z与该像素的坐标处的已计算的近似面上的近似值z’之间的差分值Δz；以及轮廓像素检测部411b，其检测近似区域内的轮廓像素，权重设定部411设定赋予给近似区域内的各像素的权重。

图27是示出图像处理装置3的动作的流程图。在图像处理装置3中，在步骤S104中，在决定了针对所选择的近似面的近似区域后，近似面重新计算部41根据该近似区域内的像素的像素值，重新计算近似面(步骤S300)。另外，步骤S101～S104和S105～S109的动作与在实施方式1中说明的动作相同。

图28是示出近似面重新计算部41的动作的流程图。

首先，在步骤S301中，差分值计算部411a计算近似区域内的像素的像素值z与该像素的坐标处的已计算的近似面(例如图26A的近似面S₂₀)上的近似值z’之间的差分值Δz。

在步骤S302中，权重设定部411根据差分值Δz的绝对值设定对于近似区域内的各像素的权重。具体而言，对于差分值Δz的绝对值越大的像素，权重设定部411将权重的值设定得越小。其理由是因为：当使用可能存在于近似区域内的异常部或噪声等(即偏离值)的像素值时，重新计算的近似面的近似度没有提高，因此降低这些偏离值的权重。此时，针对差分值Δz的绝对值大于预定阈值的像素，也可以将权重例如设为零。

在步骤S303中，轮廓像素检测部411b利用例如轮廓追踪(参考：CG-ARTS協会，デイジタル画像処理，第178页)等公知的方法，检测近似区域中的轮廓像素。

在步骤S304中，权重设定部411以对于轮廓像素的权重比对于轮廓像素以外的像素的权重高的方式重新设定权重。此处，增大对于轮廓像素的权重是为了使对于相互邻接的近似区域的近似面更连续。

在步骤S305中，近似函数计算部412根据近似区域内的像素的坐标和像素值(x₁，y₁，z₁)、(x₂，y₂，z₁)、...，以及在像素(x₁，y₁)、(x₂，y₂)、...中分别设定的权重w₁、w₂计算近似函数。近似函数的具体计算方法与在实施方式1中说明的计算方法相同。但是，替代式(2)中的矩阵A，代入考虑了像素的权重的下述矩阵wB。

$\mathrm{wB}=\left[\begin{array}{cccccc}{w}_1{x_1}^2& w_1{y_1}^2& w_1{x}_1{y}_1& w_1{x}_1& w_1{y}_1& w_1\\ w_2{x_2}^2& w_2{y_2}^2& w_2{x}_2{y}_2& w_2{x}_2& w_2{y}_2& w_2\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ w_n{x_n}^2& w_n{y_n}^2& w_n{x}_n{y}_n& w_n{x}_n& w_n{y}_n& w_n\end{array}\right]$

在步骤S306中，近似面重新计算部41通过在计算出的近似函数中代入近似区域内的所有像素的坐标，计算与各坐标对应的近似值。由此计算新的近似面(例如图26B的近似面S₂₁)。

根据以上所说明的实施方式3，能够相对于所决定的近似区域计算近似度更高的近似面。因此，在之后执行的异常部检测处理中能够高精度地检测表现出与周围不同的像素值变化的异常部。

如以上所说明那样，根据实施方式1～3以及它们的变形例，取得对检查对象区域所包含的像素的像素值进行近似的近似面、和通过该近似面进行近似的近似区域，并根据近似区域内的像素的像素值和该像素的坐标处的近似面上的值检测异常部，因此能够高精度地检测表现出与周围不同的像素值变化的异常部。

以上所说明的实施方式1～3以及它们的变形例的图像处理装置能够通过在个人计算机或工作站等计算机系统中执行在记录介质中记录的图像处理程序来实现。此外，也可以经由局域网、广域网(LAN/WAN)或互联网等公共线路，将这种计算机系统连接到其他计算机系统或服务器等设备上进行使用。此时，实施方式1～3以及它们的变形例的图像处理装置也可以经由上述网络取得活体内图像的图像数据，并且将图像处理结果输出到经由上述网络连接的各种输出设备(浏览器或打印机等)，还将图像处理结果存储到经由这些网络连接的存储装置(记录介质及其读取装置等)中。

另外，本发明不直接限定为各实施方式1～3及它们的变形例，可通过适当组合各实施方式或变形例所公开的多个构造要素来形成各种发明。例如，可从各实施方式或变形例所示的全部构造要素中去除几个构造要素来形成，也可适当组合不同实施方式或变形例所示的构造要素来形成。

Claims (26)

1.一种图像处理装置，其具有：

近似面计算部，其使用从图像内的检查对象区域提取的像素的像素值，计算对所述检查对象区域内的像素的像素值进行近似的多个近似面；

近似面选择部，其根据所述检查对象区域内的像素的像素值与由所述近似面计算部计算的多个近似面的关系，从所述多个近似面内选择至少一个近似面；

近似区域决定部，其决定通过由所述近似面选择部选择的至少一个近似面对所述检查对象区域内的像素的像素值进行近似的近似区域；以及

异常部检测部，其根据所述近似区域内的像素的像素值、和该像素的坐标处的所述至少一个近似面上的值检测异常部。

2.根据权利要求1所述的图像处理装置，其中，

所述近似面选择部具有：

近似面接近区域检测部，其针对每个近似面检测所述检查对象区域内的像素的像素值与该像素的坐标处的所述至少一个近似面上的值接近的近似面接近区域；以及

近似评价值计算部，其计算表示所述近似面接近区域中的近似面的近似程度的评价值，

所述近似面选择部根据所述评价值，从所述多个近似面内选择至少一个近似面。

3.根据权利要求2所述的图像处理装置，其中，

所述近似面接近区域检测部具有针对每个近似面计算所述检查对象区域内的像素的像素值与该像素的坐标处的所述至少一个近似面上的值之间的差分值的差分值计算部，

所述近似面接近区域检测部通过将所述差分值与预定阈值进行比较来检测所述近似面接近区域。

4.根据权利要求2所述的图像处理装置，其中，

所述近似评价值计算部具有计算所述近似面接近区域的面积作为所述评价值的面积计算部，

所述近似面选择部选择所述近似面接近区域的面积最大的近似面。

5.根据权利要求2所述的图像处理装置，其中，

所述近似评价值计算部具有方差值计算部，该方差值计算部计算所述近似面接近区域内的像素的像素值与该像素的坐标处的所述至少一个近似面上的值之间的差分值的方差，作为所述评价值，

所述近似面选择部选择所述方差最小的近似面。

6.根据权利要求2所述的图像处理装置，其中，

所述近似评价值计算部具有将所述近似面接近区域内的相互邻接的像素彼此连结起来作为一个连结区域的区域连结部，

所述近似评价值计算部针对同一个连结区域计算所述评价值。

7.根据权利要求1所述的图像处理装置，其中，

所述近似面计算部具有：

像素提取部，其从所述检查对象区域提取在所述多个近似面各自的计算中使用的多个像素；以及

近似函数计算部，其计算以所提取的像素的坐标为变量，对该坐标处的像素值进行近似的近似函数。

8.根据权利要求1所述的图像处理装置，其中，所述近似面计算部具有计算次数设定部，该计算次数设定部根据与所述检查对象区域相关的信息设定近似面的计算次数。

9.根据权利要求8所述的图像处理装置，其中，

所述计算次数设定部具有计算所述检查对象区域的面积的面积计算部，

所述计算次数设定部将所述面积作为与所述检查对象区域相关的信息，设定所述近似面的计算次数。

10.根据权利要求8所述的图像处理装置，其中，

所述计算次数设定部具有计算所述检查对象区域所包含的边缘量的边缘量计算部，

所述计算次数设定部将所述边缘量作为与所述检查对象区域相关的信息，设定所述近似面的计算次数。

11.根据权利要求7所述的图像处理装置，其中，

所述像素提取部具有在所述检查对象区域内设定提取在所述多个近似面各自的计算中使用的多个像素的范围的提取范围设定部，

所述像素提取部从所述范围内提取所述多个像素。

12.根据权利要求11所述的图像处理装置，其中，

所述提取范围设定部具有设定局部区域作为所述范围的局部区域设定部，

所述像素提取部从所述范围内提取所述多个像素。

13.根据权利要求11所述的图像处理装置，其中，

所述提取范围设定部具有将所述检查对象区域内的相互邻接的像素彼此连结起来作为一个连结区域的区域连结部，

所述像素提取部从同一个连结区域内提取所述多个像素。

14.根据权利要求1所述的图像处理装置，其中，

所述近似区域决定部具有：

候选区域检测部，其检测所述近似区域的候选区域；以及

候选区域变形部，其对所述候选区域进行变形，

所述近似区域决定部决定通过所述候选区域变形部进行变形后的候选区域作为所述近似区域。

15.根据权利要求14所述的图像处理装置，其中，

所述候选区域检测部具有针对每个近似面计算所述检查对象区域内的像素的像素值与该像素的坐标处的所述至少一个近似面上的值之间的差分值的差分值计算部，

所述候选区域检测部通过将所述差分值与预定阈值进行比较来检测候选区域。

16.根据权利要求15所述的图像处理装置，其中，

所述候选区域检测部还具有：

区域连结部，其将所述候选区域内的相互邻接的像素彼此连结起来作为一个连结区域；以及

面积计算部，其计算所述连结区域的面积，

所述候选区域检测部选择所述面积最大的所述连结区域作为最终的候选区域。

17.根据权利要求14所述的图像处理装置，其中，

所述候选区域变形部具有对所述候选区域进行形态学处理的形态学处理部，

所述近似区域决定部将通过形态学处理进行变形后的所述候选区域决定为所述近似区域。

18.根据权利要求14所述的图像处理装置，其中，

所述候选区域变形部具有使内包于所述候选区域内的内包区域合并到该候选区域的内包区域合并部，

所述近似区域决定部将通过合并所述内包区域而进行了变形后的所述候选区域决定为所述近似区域。

19.根据权利要求18所述的图像处理装置，其中，

内包区域合并部具有：

内包区域检测部，其检测内包于所述候选区域中的内包区域；以及

内包区域信息计算部，其计算与所述内包区域相关的信息，

内包区域合并部在与所述内包区域相关的信息满足预定条件的情况下，将所述内包区域合并到所述候选区域。

20.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具有近似面重新计算部，该近似面重新计算部根据所述近似区域内的多个像素的像素值，重新计算对该近似区域内的像素的像素值进行近似的近似面。

21.根据权利要求20所述的图像处理装置，其中，

所述近似面重新计算部具有：

权重设定部，其对于所述近似区域内的像素设定权重；以及

近似函数计算部，其使用所述权重，计算以所述近似区域内的像素的坐标为变量，对该坐标处的像素值进行近似的近似函数。

22.根据权利要求21所述的图像处理装置，其中，

所述权重设定部具有差分值计算部，该差分值计算部计算所述近似区域内的像素的像素值与各像素的坐标处的已计算的所述近似面上的近似值之间的差分值，

所述权重设定部根据所述差分值对各像素设定权重。

23.根据权利要求21所述的图像处理装置，其中，

所述权重设定部具有检测所述近似区域中的轮廓像素的轮廓像素检测部，

所述权重设定部将对于所述轮廓像素的权重设定得比对于轮廓像素以外的像素的权重高。

24.根据权利要求1所述的图像处理装置，其中，

所述异常部检测部具有差分值计算部，该差分值计算部计算所述近似区域内的像素的像素值与该像素的坐标处的所述至少一个近似面上的值之间的差分值，

所述异常部检测部通过将所述差分值与预定阈值进行比较来检测异常部。

25.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具有对象区域重新设定部，该对象区域重新设定部在所述图像内将通过所述近似区域决定部决定的近似区域以外的区域设定为新的检查对象区域，并控制所述近似面计算部、所述近似面选择部和所述近似区域决定部中的处理的重复执行。

26.一种图像处理方法，其包含：

近似面计算步骤，使用从图像内的检查对象区域提取的像素的像素值，计算对所述检查对象区域内的像素的像素值进行近似的多个近似面；

近似面选择步骤，根据所述检查对象区域内的像素的像素值与由所述近似面计算步骤计算的多个近似面的关系，从所述多个近似面内选择至少一个近似面；

近似区域决定步骤，决定通过由所述近似面选择步骤选择的至少一个近似面对所述检查对象区域内的像素的像素值进行近似的近似区域；以及

异常部检测步骤，根据所述近似区域内的像素的像素值与该像素的坐标处的所述至少一个近似面上的值检测异常部。