CN103164852B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法。图像处理装置具有：特征量计算部，其计算图像内的各像素的特征量；近似形状计算部，其在以特征量为分量的特征空间中计算对该特征量分布的分布区域的形状进行近似的近似形状；以及异常部检测部，其根据近似形状和上述分布区域的形状，检测图像内的异常部。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及从图像检测特定区域的图像处理装置以及图像处理方法。

背景技术

作为从图像检测特定区域的技术，例如在日本特开2008－93172号公报中公开了一种图像处理装置的结构，该图像处理装置针对拍摄活体内部得到的体腔内图像（管腔内图像），根据关注像素和位于其周围的多个周围像素的像素值变化量检测异常部（病变部候选区域）。更详细地说，在日本特开2008－93172号公报中，以关注像素为中心按照每个预先设定的方向（纵向、横向、斜向等），从关注像素隔开预定距离，计算相对设定的周围像素的平均像素值与关注像素的像素值的差分值，并根据这些差分值检测相对于周围产生了预定的像素值变化的区域作为异常部。

但是，在如上所述那样根据关注像素和周围像素的像素值变化检测异常部的方法中，需要根据作为检测对象的异常部的大小，设定关注像素与周围像素的距离。因此，在为了检测较小的异常部而将距离设定得较短的情况下，如果异常部较大，则有时不能在关注像素和周围像素之间充分检测表示边界的像素值变化，从而检测灵敏度可能降低。另一方面，在为了检测较大的异常部而将距离设定得较长的情况下，如果异常部较小，则检测远离异常部的周围的像素的像素值变化，从而可能产生将正常的像素值变化错误检测为异常部等问题。

发明内容

本发明正是鉴于上述情况而做出的，其目的在于提供不论作为检测对象的异常部的大小如何，都能够稳定地检测异常部的图像处理装置以及图像处理方法。

本发明的一个方式的图像处理装置具有：特征量计算部，其计算图像内的各像素的特征量、或将所述图像分割为多个区域后的各区域的特征量；近似形状计算部，其在以所述特征量为分量的特征空间中计算对所述特征量分布的分布区域的形状进行近似的近似形状；以及异常部检测部，其根据所述近似形状和所述分布区域的形状，检测所述图像内的异常部。

本发明的另一方式的图像处理方法包含：特征量计算步骤，计算图像内的各像素的特征量、或将所述图像分割为多个区域后的各区域的特征量；近似形状计算步骤，在以所述特征量为分量的特征空间中计算对所述特征量分布的分布区域的形状进行近似的近似形状；以及异常部检测步骤，根据所述近似形状和所述分布区域的形状，检测所述图像内的异常部。

如果将以下本发明的详细说明与附图对照着进行阅读，则能够进一步理解以上所述的情况以及本发明的其它目的、特征、优点和技术及产业上的意义。

附图说明

图1是示出本发明实施方式1的图像处理装置的结构的框图。

图2是示出图1所示的图像处理装置的动作的流程图。

图3是示出R－G特征空间中的特征量分布和对该分布拟合直线的结果的例子的曲线图。

图4是示出变形例1－1的图像处理装置的图形拟合部的结构的框图。

图5是示出变形例1－1的图像处理装置的动作的流程图。

图6是示出R－G特征空间中的特征量分布和对该分布拟合曲线的结果的例子的曲线图。

图7是示出变形例1－2的图像处理装置的图形拟合部的结构的框图。

图8是示出变形例1－2的图像处理装置的动作的流程图。

图9是示出变形例1－3的图像处理装置的异常部检测部的结构的框图。

图10是示出变形例1－3的图像处理装置的动作的流程图。

图11是示出变形例1－4的图像处理装置的异常部检测部的结构的框图。

图12是示出变形例1－4的图像处理装置的动作的流程图。

图13是示出本发明实施方式2的图像处理装置的运算部的结构的框图。

图14是示出实施方式2的图像处理装置的动作的流程图。

图15是示出图14的步骤S200中的详细动作的流程图。

图16是示出变形例2－1的图像处理装置的鲁棒性估计部的结构的框图。

图17是示出变形例2－1的图像处理装置的动作的流程图。

图18是示出本发明实施方式3的图像处理装置的运算部的结构的框图。

图19是示出实施方式3的图像处理装置的动作的流程图。

图20是示出图19的步骤S301中的详细动作的流程图。

图21是示出图像内的像素的特征量被分群为两个群组的例子的示意图。

具体实施方式

以下，参照附图说明本发明的实施方式的图像处理装置以及图像处理方法。另外，本发明不受这些实施方式限定。另外，在各附图的记载中，对相同部分标注相同标号来示出。

以下，作为一例，对相对于通过内窥镜等医用观察装置拍摄被检体的管腔内而取得的管腔内图像（以下也简称作图像）的图像处理进行说明。这种管腔内图像例如是在各像素位置处具有针对R（红）、G（绿）、B（蓝）的各颜色分量的像素级（像素值）的彩色图像。此外，一般而言，在管腔内图像中显现消化管内部的粘膜，有时显现出食物残渣和气泡等。管腔内图像中的检查区域基本上为粘膜区域，病变部在粘膜区域内大多显现为与通常粘膜不同的色调。

另外，本发明不限于管腔内图像，还能够广泛应用于从其他的一般图像内检测特定区域的图像处理装置。

（实施方式1）

图1是示出本发明实施方式1的图像处理装置的结构的框图。如图1所示，图像处理装置1具有：控制部10，其控制该图像处理装置1整体的动作；图像取得部11，其取得通过医用观察装置拍摄的管腔内图像的图像数据；输入部12，其受理从外部输入的输入信号；显示部13，其显示包含管腔内图像和各种信息的画面；记录部14；以及运算部100，其进行从管腔内图像中检测异常部的运算处理。

控制部10由CPU等硬件来实现，其通过读入存储在记录部14中的各种程序，根据从图像取得部11输入的图像数据和从输入部12输入的操作信号等，向构成图像处理装置1的各个部分进行指示或者数据传送等，对图像处理装置1整体的动作进行集中控制。

图像取得部11根据包含医用观察装置的系统的方式适当构成。例如，在医用观察装置是胶囊型内窥镜，且使用与医用观察装置之间交换管腔内图像的图像数据的可移动型记录介质的情况下，图像取得部11由拆装自如地安装该记录介质并读出存储在记录介质中的图像数据的读出装置构成。另外，在设置预先保存由医用观察装置取得的管腔内图像的图像数据的服务器的情况下，图像取得部11由与服务器连接的通信装置等构成，并与服务器进行数据通信来取得图像数据。或者，还可以由经由电缆从内窥镜等医用观察装置输入图像信号的接口装置等构成图像取得部11。

输入部12通过例如键盘、鼠标、触摸面板及各种开关等来实现，其将从外部接收到的输入信号输出到控制部10。

显示部13由LCD或EL显示器等显示装置来实现。

记录部14由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者外装的硬盘、CD－ROM等信息记录介质及其读取装置等来实现。记录部14除了存储由图像取得部11所取得的管腔内图像的图像数据以外，还存储用于使图像处理装置1动作并使该图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。例如，记录部14存储从管腔内图像中检测异常部的图像处理程序14a。

运算部100由CPU等硬件来实现，通过读入图像处理程序14a，处理管腔内图像的图像数据，进行用于从管腔内图像中检测作为病变部候选区域的异常部的各种运算处理。运算部100具有：特征量计算部110，其计算图像内的各像素的特征量；近似形状计算部120，其在以特征量为分量的特征空间中计算对该特征量分布的分布区域的形状（以下也称作分布形状）进行近似的近似形状（以下也称作模型）；以及异常部检测部130，其根据近似形状与分布形状的相关，检测图像内的异常部。

其中，特征量计算部110优选计算两种以上的特征量。由此，在之后的处理中，生成通过与这两种以上的特征量对应的轴伸展成的二维以上的特征空间。

近似形状计算部120具有对特征量的分布形状拟合几何学图形的图形拟合部121，将图形拟合部121拟合的图形设为特征量的分布形状的近似形状。具体而言，图形拟合部121包含对特征量的分布形状拟合直线的直线拟合部121a。

异常部检测部130的特征在于，具有计算图像内的各像素的特征量与上述模型的特征空间内距离的特征空间内距离计算部131，并根据特征空间内距离检测异常部。

接着，说明图像处理装置1的动作。图2是示出图像处理装置1的动作的流程图。

首先，在步骤S101中，运算部100从记录部14取得处理对象的图像。

在接下来的步骤S102中，特征量计算部110取得R分量的值和G分量的值作为各像素的特征量。此处，取得R分量和G分量的值是因为，这两个分量是在活体内的吸收/散射的程度不同的分量，能够根据两个分量的差高精度地检测病变部。另外，当然可以使用其他颜色分量的组合、或通过公知的转换处理二次计算的值作为特征量。具体而言，可以使用通过YCbCr转换计算的亮度、色差、通过HSI转换计算的色调、饱和度和亮度等。

在步骤S103中，直线拟合部121a在以R分量和G分量的值为轴的二维的特征空间（R－G特征空间）中，通过对在步骤S102中计算出的特征量的分布拟合直线（图形），计算对特征量的分布形状进行近似的模型。具体而言，通过最小二乘法对特征量的分布拟合表示直线的下式（1），求出系数a和b。

G=axR+b…（1）

在式（1）中，系数a和b使用构成特征量的分布的各像素的R分量的值Ri和G分量的值Gi（i=1～n，其中n是数据数），由通过最小二乘法得到的下式（2）给出。

$\left[\begin{array}{c}a\\ b\end{array}\right]={(A^t\×A)}^{-1}\×A^t\×\left[\begin{array}{c}G1\\ G2\\ .\\ .\\ .\\ \mathrm{Gn}\end{array}\right]...\left(2\right)$

其中， $A=\left[\begin{array}{cc}R1& 1\\ R2& 1\\ .& .\\ .& .\\ .& .\\ \mathrm{Rn}& 1\end{array}\right]$

图3是示出R－G特征空间中的特征量（Ri，Gi）分布和对该分布拟合直线的结果的例子的曲线图。另外，在图3中，对R分量和G分量的值进行标准化使得上限为1。图3所示的直线L1是对特征量的分布形状进行近似的模型（直线模型），利用式子G=a₀xR+b₀（a₀、b₀是常数）表示。

另外，在本实施方式1中将上式（1）用于拟合，但是也可以使用除此以外的直线的式子（aR+bG+c=0）。

在步骤S104中，特征空间内距离计算部131计算各像素的特征量与模型的特征空间内距离。具体而言，将各像素的R分量的值Ri代入到直线模型的式子G=a₀xR+b₀的右边的R，求出直线上的G分量的值Gi_model，并计算该值Gimodel与实际的G分量的值Gi的差的绝对值d=｜Gi-G_imodel｜。该值d是直线模型与表示各像素的特征量的点（Ri，Gi）之间的与G分量轴平行的特征空间内距离。

另外，作为特征空间内距离，可以使用点（Ri，Gi）与直线模型的距离、即从点（Ri，Gi）降下至直线aR+bG+c=0的垂线的长度。

在步骤S105中，异常部检测部130通过对特征空间内距离d进行阈值处理，检测与作为病变部候选区域的异常部对应的像素（异常部像素）。具体而言，求出特征空间内距离d为预定阈值以上的像素，并检测该像素作为异常部像素。例如，在图3中，检测超过阈值Th₁和阈值Th₂的区域（代表性的是区域S₁、区域S₂等）所包含的像素作为异常部像素。

然后，在步骤S106中，运算部100输出异常部像素的检测结果。具体而言，在图像上对在步骤S105中检测出的异常部像素进行标记并显示在显示部13上等。并且运算部100将异常部像素的检测结果记录到记录部14中。由此，图像处理装置1中的处理结束。

如以上所说明那样，根据实施方式1，针对对图像内的像素的特征量的分布形状进行近似的模型，检测特征空间内距离为预定阈值以上的像素作为病变部，因此不论图像内的病变部的大小如何，都能够稳定地检测病变部。

另外，在图3中，包含在区域S₁中的像素具有相对于模型G分量较大的特征。这种异常部可能是G分量的吸收较小的褪色系（白色系）的病变部。另一方面，包含在区域S₂中的像素具有相对于模型G分量较小的特征。这种异常部可能是G分量的吸收较大的红色系的病变部。因此，也可以包含标号评价特征空间内距离d，识别病变部的种类。

（变形例1－1）

接着说明实施方式1的变形例1－1。

变形例1－1的图像处理装置替代图1所示的图形拟合部121而具有图4所示的图形拟合部122。图形拟合部122包含对特征量的分布形状拟合曲线的曲线拟合部122a。其他结构与实施方式1相同。

图5是示出变形例1－1的图像处理装置的动作的流程图。另外，步骤S101、S102和S104～S106的动作与实施方式1相同。

在承接步骤S102的步骤S113中，曲线拟合部122a通过在R-G特征空间中，对在步骤S102中计算出的特征量的分布拟合曲线（图形），计算对特征量的分布形状进行近似的模型。具体而言，通过最小二乘法对特征量的分布拟合表示曲线的下式（3），求出系数a、b、c。

G=axR²+bxR+c…（3）

在式（3）中，系数a、b和c使用构成特征量分布的各像素的R分量的值Ri和G分量的值Gi（i=1～n，其中n是数据数），由通过最小二乘法得到的下式（4）给出。

$\left[\begin{array}{c}a\\ b\\ c\end{array}\right]={(A^t\×A)}^{-1}\×A^t\×\left[\begin{array}{c}G1\\ G2\\ .\\ .\\ .\\ \mathrm{Gn}\end{array}\right]...\left(4\right)$

其中， $A=\left[\begin{array}{ccc}{R1}^2& R1& 1\\ {R2}^2& R2& 1\\ .& .& .\\ .& .& .\\ .& .& .\\ {\mathrm{Rn}}^2& \mathrm{Rn}& 1\end{array}\right]$

图6是示出R－G特征空间中的特征量（Ri，Gi）分布和对该分布拟合二次曲线的结果的例子的曲线图。图6所示的二次曲线L2是对特征量的分布形状进行近似的模型（曲线模型），利用式子G=a₁xR²+b₁xR+c₁（a₁、b₁、c₁是常数）表示。

之后，图像处理装置的动作转移到步骤S104。

另外，在变形例1－1中，将二次曲线用于拟合，但是也可以使用除此以外的曲线。例如，能够将取幂（G=axR^b）、对数（G=axlogR+b）、指数（G=axb^R）等的曲线用于拟合。

如以上所说明那样，根据变形例1－1，通过自由度比直线高的曲线（图形）对特征量的分布形状进行近似，因此能够更稳定地检测病变部。

（变形例1－2）

接着说明实施方式1的变形例1－2。

变形例1－2的图像处理装置替代图1所示的图形拟合部121而具有图7所示的图形拟合部123。图形拟合部123包含：曲线拟合部123a，其针对特征量的分布形状拟合多个曲线（图形）；以及拟合结果选择部123b，其从对多个曲线进行了拟合的结果内选择拟合精度最高的结果。

图8是示出变形例1－2的图像处理装置的动作的流程图。另外，步骤S101、S102和S104～S106的动作与实施方式1相同。

在承接步骤S102的步骤S123中，曲线拟合部123a通过在R－G特征空间中，对在步骤S102中计算出的特征量的分布拟合多个曲线（图形），计算对特征量的分布形状进行近似的多个模型。具体而言，与变形例1－1同样，针对相互不同的多种曲线（二次曲线、三次曲线、取幂、指数、对数等）的式子进行对特征量的分布拟合曲线的式子来计算系数的处理。另外，此时，在拟合处理中可以包含直线（一次曲线）的式子。

在步骤S124中，拟合结果选择部123b选择拟合精度最高的曲线，并将所选择的曲线设为该分布形状的模型。具体而言，分别针对在步骤S123中计算出的模型的各个式子G=f（R），使用下式（5）所示的最小二乘法中的误差评价函数来计算评价值E，并选择该评价值E最小的曲线的拟合结果。

$E=\underset{i}{\mathrm{\Σ}}{(\mathrm{Gi}-f\left(\mathrm{Ri}\right))}^2...\left(5\right)$

例如，在拟合曲线为式（3）所示的二次曲线的情况下，评价值由下式（6）给出。

$E=\underset{i}{\mathrm{\Σ}}{\{\mathrm{Gi}-(a\×{\mathrm{Ri}}^2+b\×\mathrm{Ri}+c)\}}^2...\left(6\right)$

之后，图像处理装置的动作转移到步骤S104。

如以上所说明那样，根据变形例1－2，通过拟合精度最高的曲线（图形）对特征量的分布形状进行近似，因此能够更稳定地检测病变部。

另外，在上述变形例1－2中，使用表示R－G特征空间中的特征量的点（Ri，Gi）与曲线模型（G=f（R））在G分量轴中的误差计算出评价值E，但是也可以通过取表示特征量的点与曲线模型之间的距离总和来计算评价值。

（变形例1－3）

接着说明实施方式1的变形例1－3。

变形例1－3的图像处理装置替代图1所示的异常部检测部130而具有图9所示的异常部检测部140。异常部检测部140除了特征空间内距离计算部131以外，还具有检测特征空间内距离的分布的偏离值的偏离值检测部141，异常部检测部140根据偏离值检测部141的检测结果检测异常部。

图10是示出变形例1－3的图像处理装置的动作的流程图。另外，步骤S101～S104和S106的动作与实施方式1相同。

在承接步骤S104的步骤S115中，偏离值检测部141通过检测特征空间内距离d的分布的偏离值来检测异常部像素。具体而言，求出在步骤S104中计算出的所有特征空间内距离d的方差值和标准偏差，检测具有该标准偏差的预定倍以上的特征空间内距离d的像素作为异常部像素。之后，动作转移到步骤S106。

如以上所说明那样，根据变形例1－3，根据与特征空间内距离的分布对应地适当设定的阈值检测特征空间内距离的偏离值，因此能够稳定地检测病变部。

（变形例1－4）

接着说明实施方式1的变形例1－4。

变形例1－4的图像处理装置替代图1所示的异常部检测部130而具有图11所示的异常部检测部150。异常部检测部150除了特征空间内距离计算部131以外，还具有区域连结部151，区域连结部151根据特征空间内距离d检测预定像素，并在图像内对检测出的像素进行连结，异常部检测部150根据通过区域连结部151连结的连结区域的特征量检测异常部。

图12是示出变形例1－4的图像处理装置的动作的流程图。另外，步骤S101～S104和S106的动作与实施方式1相同。

在承接步骤S104的步骤S125中，区域连结部151在图像内对特征空间内距离d为预定阈值以上的像素进行连结。具体而言，提取在步骤S104中计算出的特征空间内距离d为预定阈值以上的像素，并根据这些像素的坐标对像素进行图像化。之后，通过公知的标示处理（参照CG－ARTS协会“数字图像处理”第181页），求出对彼此相邻的阈值以上的像素进行了连结的连结区域。

在接下来的步骤S126中，异常部检测部150计算连结区域的面积（即像素数），并检测面积为阈值以上的连结区域内的像素作为异常部像素。

之后，动作转移到步骤S106。

如以上所说明那样，根据变形例1－4，在特征空间内距离d为阈值以上的像素中，仅检测在图像内形成预定大小的区域的像素作为异常部像素，因此能够抑制微小的噪声等的错误检测，更稳定地检测病变部。

（实施方式2）

接着，说明本发明的实施方式2。

实施方式2的图像处理装置替代图1所示的运算部100而具有图13所示的运算部200。运算部200具有特征量计算部110、近似形状计算部210和异常部检测部130。其中，特征量计算部110和异常部检测部130的结构和动作与实施方式1相同。

近似形状计算部210具有排除特征量分布的偏离值来估计模型的鲁棒性估计部211，并根据鲁棒性估计部211的估计结果，对特征量的分布形状进行近似。更详细地说，鲁棒性估计部211包含反复估计部211a，反复估计部211a递归地反复模型的估计和基于估计结果的偏离值去除。

图14是示出实施方式2的图像处理装置的动作的流程图。另外，步骤S101、S102和S104～S106的动作与实施方式1相同。

在承接步骤S102的步骤S200中，鲁棒性估计部211通过在R－G特征空间中，针对在步骤S102中计算出的特征量的分布，使用鲁棒性估计来拟合模型，由此对特征量的分布形状进行近似。

参照图15说明该步骤S200中的详细动作。

在步骤S201中，反复估计部211a通过针对R－G特征空间中的特征量的分布拟合直线，计算直线模型（参照图3）。另外，该步骤S201中的详细动作与在图2的步骤S103中说明的动作相同。

在接下来的步骤S202中，反复估计部211a计算各像素的特征量与直线模型的特征空间内距离d（参照图3）。另外，该步骤S202中的详细动作与在图2的步骤S104中说明的动作相同。

在步骤S203中，反复估计部211a针对特征空间内距离d的分布排除成为偏离值的像素。更详细地说，求出在步骤S202中计算出的所有特征空间内距离d的方差值和标准偏差，排除具有该标准偏差的预定倍以上的特征空间内距离d的像素作为偏离值。

在步骤S204中，反复估计部211a通过针对排除偏离值后的R－G特征空间中的特征量的分布再次拟合直线，计算直线模型。另外，该步骤S204的详细动作除了待使用的数据（像素值）数由于排除了偏离值而减少以外，与步骤S201相同。

在步骤S205中，反复估计部211a判定拟合次数是否为预定值以上。在拟合次数小于预定值的情况下（步骤S205：否），反复估计部211a反复步骤S202～S204。另一方面，在拟合次数为预定值以上的情况下（步骤S205：是），将该时刻的步骤S204中的拟合结果设为特征量的分布形状的模型（步骤S206）。

之后动作返回主例程。

如以上所说明那样，根据实施方式2，能够通过从特征量的分布排除偏离值，来针对特征量的分布形状进行精度更高的近似，因此能够更稳定地检测病变部。

（变形例2－1）

接着说明实施方式2的变形例2－1。

变形例2－1的图像处理装置替代图13所示的鲁棒性估计部211而具有图16所示的鲁棒性估计部212。鲁棒性估计部212包含最优估计搜索部212a，该最优估计搜索部212a从基于从特征量分布内提取出的多个不同采样数据估计出的多个估计结果中，搜索估计精度最高的估计结果。

接着，对变形例2－1的图像处理装置的动作进行说明。变形例2－1的图像处理装置整体的动作与图14所示的动作相同，步骤S200中的详细动作不同。

图17是示出图14的步骤S200中的详细动作的流程图。

首先，在步骤S211中，最优估计搜索部212a从R－G特征空间内的特征量分布中提取多个特征量数据。另外，待提取的特征量数据可以是随机的。

在接下来的步骤S212中，最优估计搜索部212a通过对提取出的特征量数据拟合直线，计算直线模型。另外，该步骤S212中的详细动作除了待使用的数据（像素值）不同的方面以外，与在图2的步骤S103中说明的动作相同。

在步骤S213中，最优估计搜索部212a计算各像素的特征量与直线模型的特征空间内距离d（参照图3）。另外，该步骤S213中的详细动作与在图2的步骤S104中说明的动作相同。

在步骤S214中，最优估计搜索部212a计算特征空间内距离d为预定阈值以下的像素的个数N。

在步骤S215中，最优估计搜索部211a判定拟合次数是否为预定值以上。在拟合次数小于预定值的情况下（步骤S215：否），最优估计搜索部212a反复步骤S211～S214的处理。另一方面，在拟合次数为预定值以上的情况下（步骤S215：是），选择特征空间内距离d为阈值以下的像素的个数N最大的模型，并将该模型设为特征量的分布形状的模型（步骤S216）。

之后，图像处理装置的动作返回主例程。

如以上所说明那样，根据变形例2-1，能够通过从进行多次估计而得到的相互不同的估计结果中，搜索最优的估计结果，针对特征量的分布形状进行精度更高的近似，因此能够更稳定地检测病变部。

（实施方式3）

接着，说明本发明的实施方式3。

实施方式3的图像处理装置替代图1所示的运算部100而具有图18所示的运算部300。运算部300具有：特征量计算部110；确定图像内的检查区域的检查区域确定部310；近似形状计算部320，其针对通过检查区域确定部310确定的检查区域，计算对R－G特征空间中的特征量的分布形状进行近似的近似形状；以及异常部检测部330，其根据分布形状及其近似形状从检查区域中检测异常部。其中，特征量计算部110的结构和动作与实施方式1相同。此外，近似形状计算部320和异常部检测部330的结构和动作除了处理对象不是图像整体而被限定在检查区域内的方面以外，分别与图1所示的近似形状计算部120和异常部检测部130相同。

检查区域确定部310具有分群部311，其对图像内的各像素的特征量的分布进行群组区分；群组确定部312，其确定包含检查区域内各像素的特征量的群组，检查区域确定部310根据群组确定部312对群组的确定结果，确定检查区域。

图19是示出实施方式3的图像处理装置的动作的流程图。另外，步骤S101、S102和S106的动作与实施方式1相同。

在承接步骤S102的步骤S301中，检查区域确定部301根据各像素的特征量确定检查区域。

参照图20和图21说明该步骤S301中的详细动作。

在图20的步骤S311中，分群部311对图像内的各像素的特征量的分布进行群组区分（分群）。作为分群法，可以使用分层法、k－means法（参照CG－ARTS协会“数字图像处理”第231页）、期望值最大化算法（EM算法）、自身组织化映射等公知的方法来实现。图21示出图像内的像素的特征量（Ri，Gi）被分群为两个群组CL1、CL2的例子。

在接下来的步骤S312中，群组确定部312确定与作为检查区域的粘膜区域对应的群组。可以使用几个方法作为群组的确定方法。以下，对如下方法进行说明：用概率模型对事先生成的训练数据（每个像素的特征量与检查区域的判定结果成对的数据）的特征量分布进行近似，并根据近似结果确定粘膜区域。

首先，群组确定部312通过用训练数据中的属于粘膜区域的像素的数量除以训练数据中的所有像素的数量，估计粘膜区域的产生概率Pc。

接着，群组确定部312分别针对训练数据的R－G特征空间中的粘膜区域的特征量分布、和非粘膜区域（粘膜区域以外的部分）的特征量分布，使用公知的期望值最大化算法（EM算法）进行混合正态分布的拟合，估计粘膜区域和非粘膜区域双方的特征量分布的概率密度函数。该情况下，概率密度函数由作为正态分布f（Ci）的线性和的式子的下式（7）给出。

其中，a_j≥0且

在式（7）中，特征向量Ci是表示图像内的像素的特征量（Ri，Gi）的向量。此外，f_j（ci）是表示第j个（j=1、2、…、j_N）的正态分布的式子，a_j是预定的系数（常数）。

此外，群组确定部312分别计算通过分群部311进行了群组区分后的各群组CL₁、CL₂的重心坐标C_g1（R_g1，G_g1）、C_g2（R_g2，G_g2）。另外，重心坐标是包含在该群组中的像素的特征量的平均值。

并且，群组确定部312通过使用这些重心坐标C_g1（R_g1，G_g1）、C_g2（R_g2，G_g2）、上述粘膜区域的产生概率Pc和概率密度函数f₁、以及非粘膜区域的产生概率（=1－Pc）和概率密度函数f₂进行公知的最大后验概率估计，估计重心坐标C_g1、C_g2的在粘膜区域中的归属概率。具体而言，在粘膜区域中的归属概率P由下式（8）给出。

群组确定部312将重心坐标C_g1、C_g2的归属概率为预定阈值（例如0.5等）以上的群组确定为表示粘膜区域的群组。

之后，动作返回主例程。

在步骤S302中，近似形状计算部320通过对R－G特征空间中的与检查区域对应的像素的特征量的分布拟合例如直线等的图形，计算对特征量的分布形状进行近似的模型。另外，拟合的图形除了直线以外，也可以是在实施方式2中说明的曲线等图形。

在步骤S303中，异常部检测部330计算和检查区域对应的各像素的特征量、与通过拟合得到的模型的特征空间内距离。

在步骤S304中，异常部检测部330通过对特征空间内距离进行阈值处理，检测异常部像素。

如以上所说明那样，根据实施方式3，确定图像内的检查区域（粘膜区域），仅对检查区域内的像素的特征量的分布形状进行近似，因此能够生成受响食物残渣和气泡等不需要区域的特征量分布影响的、精度高的模型，能够稳定地检测病变部。

（变形例3－1）

在实施方式3中，对根据概率模型确定粘膜区域的群组的方法进行了说明，但是也可以使用除此以外的方法。例如，可以在对图像内的像素的特征量进行了分群（步骤S301）后，计算各群组的重心坐标（R_C1，G_C1）、（R_C2，G_C2），并对这些重心坐标进行阈值处理，确定粘膜区域的群组。此时使用的阈值可以从例如训练数据取得。或者，也可以通过针对各群组所包含的各像素，对特征量进行阈值处理，判别是否为粘膜区域，将判别为粘膜区域的像素比例为预定阈值以上的群组判定为粘膜区域的群组。另外，关于在各像素的判别中使用的阈值，例如也可以从训练数据取得。

（实施方式4）

在以上所说明的实施方式1～3中，根据图像内的各像素的特征量分布进行了异常部的检测处理，但是可以不根据像素单位，而根据将图像分割为多个区域后的各区域的特征量分布进行同样的处理。

例如如下那样进行图像向多个区域的分割。首先，计算处理对象的图像所包含的各像素的边缘强度。在边缘强度的计算时，使用索贝尔滤波等微分滤波处理等公知的方法即可。接着，将图像分割为以边缘强度的脊部作为边界的多个边缘区域。更详细地说，生成以各像素边缘强度为像素值的边缘强度图像，取得边缘强度图像内的像素处的边缘强度的梯度方向。将此时的梯度方向取为边缘强度的值变小的方向。并且，搜索从各像素出发并沿着梯度方向移动时到达的极小值的像素，分割图像使得到达彼此相邻的极小值的像素的出发点的像素包含在同一区域中（参考：国际公开第2006/080239号）。

另外，作为图像的分割方法，还可以使用分水岭（watershed）算法（参考：LucVincent and Pierre Soille，“Watersheds in Digital Spaces：An Efficient Algorithm Based onImmersion Simulations”，IEEE Transactions on Pattern Analysis and MachineIntelligence，Vol．13，No．6，pp．583－598，June1991）等公知的方法。

根据实施方式4，得到基于汇总了多个像素的区域单位的特征量的特征量的分布形状，因此能够进行反映了每个区域的特征的可靠性的判定和判别基准的生成，并且能够提高运算速度。

（实施方式5）

在实施方式1～3中，通过对特征量的分布形状拟合直线或曲线，计算出了对分布形状进行近似的直线模型或曲线模型，但也可以使用除此以外的各种图形进行拟合。例如，在对以两种特征量为分量的二维特征空间中的特征量的分布形状进行近似的情况下，可以拟合圆、椭圆、三角形、四边形等图形。另外，在通过这些图形对特征量的分布形状进行近似的情况下，例如计算表示特征量的点与模型周边的距离作为特征空间内距离即可。

（实施方式6）

在实施方式1～3中，作为具体例子，使用了两种特征量（R分量和G分量的值）进行运算处理，但是也可以使用3种以上的特征量。该情况下，作为用于拟合的图形，除了直线和曲线以外，还能够使用二维图形或三维图形（例如球、圆柱等）。

如以上所说明那样，根据上述实施方式1～6和变形例，根据对以图像内的各像素或各区域的特征量为分量的特征空间中的特征量分布形状进行近似的近似形状，检测异常部，因此不论图像内所包含的异常部的大小如何，都能够稳定地检测异常部。

以上所说明的实施方式1～6以及变形例的图像处理装置能够通过在个人计算机或工作站等计算机系统中执行记录介质所记录的图像处理程序来实现。此外，也可以经由局域网（LAN）、广域网（WAN）或互联网等的公共线路，将这种计算机系统连接到其他计算机系统或服务器等设备上进行使用。此时，实施方式1～6以及变形例的图像处理装置也可以经由这些网络取得管腔内图像的图像数据，并且将图像处理结果输出到经由这些网络连接的各种输出设备（浏览器或打印机等），或将图像处理结果存储到经由这些网络连接的存储装置（记录介质及其读取装置等）中。

另外，本发明不直接限定为实施方式1～6以及变形例，可通过适当组合各实施方式或变形例所公开的多个结构要素来形成各种发明。例如，可从各实施方式或变形例所示的全部结构要素中去除几个结构要素来形成，也可适当组合不同实施方式或变形例所示的结构要素来形成。

Claims (15)

1.一种图像处理装置，其具有：

特征量计算部，其计算图像内的各像素的特征量、或将所述图像分割为多个区域后的各区域的特征量；

近似形状计算部，其在以所述特征量为分量的特征空间中计算对所述特征量分布的分布区域的形状进行近似的近似形状，其具有对所述分布区域的形状拟合几何学图形的图形拟合部，将所述图形拟合部拟合的图形作为所述近似形状；以及

异常部检测部，其根据所述近似形状和所述分布区域的形状，检测所述图像内的异常部。

2.根据权利要求1所述的图像处理装置，其中，

所述特征量计算部计算两种以上的特征量，

所述特征空间是以所述两种以上的特征量为分量的二维以上的空间。

3.根据权利要求2所述的图像处理装置，其中，

所述图像为管腔内图像，

所述特征量计算部计算活体内的吸收/散射的程度不同的两个以上的波长成分作为特征量。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述图形拟合部具有对所述分布区域的形状拟合直线的直线拟合部。

5.根据权利要求1所述的图像处理装置，其中，

所述图形拟合部具有对所述分布区域的形状拟合曲线的曲线拟合部。

6.根据权利要求1所述的图像处理装置，其中，

所述图形拟合部具有拟合结果选择部，该拟合结果选择部从拟合多个所述几何学图形的结果内选择拟合精度最高的结果。

7.根据权利要求1所述的图像处理装置，其中，

所述近似形状计算部具有排除所述特征量的分布的偏离值来估计所述近似形状的鲁棒性估计部，并根据所述鲁棒性估计部的估计结果，设置所述近似形状。

8.根据权利要求7所述的图像处理装置，其中，

所述鲁棒性估计部具有反复估计部，所述反复估计部递归地反复所述近似形状的估计和基于该估计结果的偏离值去除。

9.根据权利要求7所述的图像处理装置，其中，

所述鲁棒性估计部具有最优估计搜索部，所述最优估计搜索部从所述特征量的分布内提取相互不同的多个采样数据，从基于该多个采样数据估计出的多个估计结果中，搜索估计精度最高的估计结果。

10.根据权利要求1所述的图像处理装置，其中，

所述异常部检测部具有特征空间内距离计算部，该特征空间内距离计算部计算所述图像内的各像素或所述各区域的特征量与所述近似形状的特征空间内距离，所述异常部检测部根据所述特征空间内距离检测异常部。

11.根据权利要求10所述的图像处理装置，其中，

所述异常部检测部还具有检测所述特征空间内距离的分布的偏离值的偏离值检测部，并根据所述偏离值检测部的检测结果检测异常部。

12.根据权利要求10所述的图像处理装置，其中，

所述异常部检测部还具有区域连结部，所述区域连结部根据所述特征空间内距离检测预定像素或区域，并在所述图像内对检测出的该像素或该区域进行连结，所述异常部检测部根据由所述区域连结部连结的连结区域内的所述特征量检测异常部。

13.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具有确定所述图像内的检查区域的检查区域确定部，

所述近似形状计算部使用所述检查区域内的所述特征量计算所述近似形状。

14.根据权利要求13所述的图像处理装置，其中，

所述检查区域确定部具有：

分群部，其对所述图像内的特征量的分布进行群组区分；以及

群组确定部，其确定包含所述检查区域内的特征量的群组，

根据所述群组确定部对所述群组的确定结果确定所述检查区域。

15.一种图像处理方法，其包含：

特征量计算步骤，计算图像内的各像素的特征量、或将所述图像分割为多个区域后的各区域的特征量；

近似形状计算步骤，在以所述特征量为分量的特征空间中计算对所述特征量分布的分布区域的形状进行近似的近似形状，其中，对所述分布区域的形状拟合几何学图形，将拟合的图形作为所述近似形状；以及

异常部检测步骤，根据所述近似形状和所述分布区域的形状，检测所述图像内的异常部。