CN101794434B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法，该图像处理装置(10)包括：区域分割部(16)，其根据特定波长成分的值，将图像分割为1个以上的区域，其中，所述特定波长成分是从包含在通过拍摄体腔内而获得的图像中的多个波长成分或变换多个波长成分而获得的波长成分中，根据在生物体内的吸收或散射的程度确定的；以及关注对象部位确定部(17)，其使用与所分割的区域相应的判别基准，确定区域内的关注对象部位。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及对拍摄体腔内得到的、由多个波长成分构成的图像进行处理的图像处理装置及图像处理方法。

背景技术

作为从对体腔内进行拍摄得到的图像中检测出关注对象部位的图像处理装置，例如公知有从胶囊型内窥镜拍摄的消化管内图像中检测异常部位的图像处理装置(参照日本特开2005-192880号公报)。在该日本特开2005-192880号公报公开的技术中，首先将胶囊型内窥镜拍摄的体腔内的RGB图像的各像素、或将该体腔内的RGB图像矩形分割后的各区域，映射到基于其颜色信息(色度＝R/(R+G+B)、G/(R+G+B)、颜色对比度＝R/G等)的特征空间。并且，在特征空间内进行聚类后，基于各类的大小或重心坐标等的信息确定正常粘膜类和异常部位类，并将属于异常部位类的像素或矩形区域检测为异常部位。

在日本特开2005-192880号公报中，在基于颜色信息的特征空间内，对图像内整个区域的像素或矩形分割后的区域进行划一处理。其中，胶囊型内窥镜通过管内的内液对消化管内的近景至远景进行拍摄。此处，拍摄近景时和拍摄远景时，光通过的内液的量不同，且图像内的摄像对象的颜色信息也发生变化。例如，通过以胆汁为代表的黄色内液进行拍摄时，正常粘膜和异常部位(病变部位)的颜色都在远景时比近景时泛黄。即、在基于颜色信息的特征空间中，用于判别近景处的正常部位与病变部位之间的边界，不一定与用于判别远景处的正常部位与病变部位之间的边界一致。因此，如日本特开2005-192880号公报中所述，对从近景到远景映射的图像内整个区域，在颜色信息的特征空间内进行划一处理的方法中，存在不能高精度地判别正常粘膜和病变部位的问题。另外，虽然在此对判别正常粘膜和病变部位的情况进行了叙述，但不限于此，例如在想要判别粘膜和内容物的情况下等也同样不能高精度地判别粘膜和内容物。

发明内容

作为本发明的一方式的图像处理装置，该图像处理装置对通过拍摄体腔内得到的由多个波长成分构成的图像进行处理，该图像处理装置的特征在于，所述图像处理装置包括：区域分割部，其根据特定波长成分的值，将所述图像分割为1个以上的区域，其中，所述特定波长成分是根据生物体内的吸收或散射的程度从所述多个波长成分或通过变换所述多个波长成分得到的波长成分中确定的；以及关注对象部位确定部，其使用与通过所述区域分割部进行分割得到的区域相应的判别基准，确定所述区域内的关注对象部位。

并且，作为本发明的另一方式的图像处理方法，该图像处理方法对通过拍摄体腔内得到的由多个波长成分构成的图像进行处理，该图像处理方法的特征在于，所述图像处理方法包括执行如下处理的步骤：根据特定波长成分的值，将所述图像分割为1个以上的区域，其中，所述特定波长成分是根据生物体内的吸收或散射的程度从所述多个波长成分或通过变换所述多个波长成分得到的波长成分中确定的；以及使用与通过进行分割得到的所述区域相应的判别基准，确定所述区域内的关注对象部位。

如果参照附图阅读以下本发明的详细说明，则可以进一步地理解，上述的内容、本发明的其它目的、特征、优点以及技术上和产业上的意义。

附图说明

图1是表示包含图像处理装置的图像处理系统的整体结构的概略示意图。

图2是表示腔内图像的一例的示意图。

图3是说明实施方式1的图像处理装置的功能结构的框图。

图4是表示实施方式1的图像处理装置进行的处理步骤的整体流程图。

图5是表示直方图的计算例的图。

图6是说明层级分类的原理的说明图。

图7是表示对图2所示的腔内图像的区域分割结果的一例的示意图。

图8是说明利用聚类的分类效果的示意图。

图9是表示训练数据的一例的图。

图10是表示发生概率/系数表的数据结构例的图。

图11是表示训练数据的规定层级与基于处理图像的直方图的层级重叠的例子的图。

图12是说明实施方式2的图像处理装置的功能结构的框图。

图13是表示实施方式2的图像处理装置进行的处理步骤的整体流程图。

具体实施方式

以下，参照附图详细说明本发明的优选实施方式。另外，本发明不受该实施方式的限定。并且，在各附图的记载中，对同一部分附上同一标号来表示。

首先说明实施方式1。在实施方式1中，说明如下情况：利用原色系滤波器(R：红；G：绿；B：蓝)处理拍摄了消化管等体腔内的图像(以下称为“腔内图像”)，并检测病变部位。

图1是表示包含实施方式1的图像处理装置的图像处理系统的整体结构的概略示意图。如图1所示，图像处理系统由胶囊型内窥镜3、接收装置5、图像处理装置10等构成。胶囊型内窥镜3拍摄被检体1内部的图像(腔内图像)。接收装置5接收从胶囊型内窥镜3无线发送的腔内图像。图像处理装置10基于由接收装置5接收的腔内图像，处理由胶囊型内窥镜3拍摄的腔内图像并显示。在接收装置5和图像处理装置10之间的图像数据的交接中，使用例如便携型的存储介质(便携存储介质)7。

胶囊型内窥镜3具有摄像功能和无线功能等，并从被检体1的口饮入并导入到被检体1内部，且在体腔内移动的同时依次拍摄腔内图像。并且，将拍摄的腔内图像无线发送到体外。在实施方式1中，由胶囊型内窥镜3拍摄的腔内图像是在各像素位置上具有针对R(红)、G(绿)、B(蓝)的各波长成分的像素电平(像素值)的彩色图像。

接收装置5具有接收用天线A1～An，该接收用天线A1～An分散配置在被检体1中的与胶囊型内窥镜3的通过路径对应的体表上的位置。并且，接收装置5通过各接收用天线A1～An接收从胶囊型内窥镜3无线发送的图像数据。该接收装置5构成为可自由地装卸便携存储介质7，并且接收的图像数据依次保存在便携存储介质7。如此，由胶囊型内窥镜3拍摄的被检体1内部的腔内图像通过接收装置5以时间序列顺序积蓄到便携存储介质7而进行保存。

图像处理装置10是医师等观察/诊断由胶囊型内窥镜3拍摄的腔内图像的装置，且可以由工作站或个人电脑等通用计算机实现。该图像处理装置10构成为可自由地装卸便携存储介质7，并且对保存在便携存储介质7的腔内图像进行处理，以时间序列顺序依次显示在例如LCD或EL显示器等的显示器上。

图2是表示由胶囊型内窥镜3拍摄并由图像处理装置10处理的腔内图像的一例的示意图。在腔内图像中，通过内液映射粘膜31、即接近摄像时的胶囊型内窥镜3的近景的粘膜到腔深部的远景的粘膜，并且映射内容物33或泡35、病变37等的重要部分。此处，消化管内的内液是正常胆汁所致的黄色液体，且在R、G、B的各波长成分中很难以R、G、B顺序吸收/散射。因此，随着在近景中映射为粉色的粘膜移动到远景，阶段性地发生如下所述的颜色变化，即首先由于B成分的值变小而呈现出黄色、之后由于G成分的值变小而呈现出红色。

图3是说明实施方式1的图像处理装置10的功能结构的框图。在实施方式1中，图像处理装置10具有：图像获取部11、输入部12、显示部13、存储部14、运算部15及对装置各部进行控制的控制部18。

图像获取部11用于获取由胶囊型内窥镜3拍摄并通过接收装置5保存在便携存储介质7中的腔内图像。例如，图像获取部11上可自由装卸地安装便携存储介质7，并且读取并获取积蓄在所安装的便携存储介质7的腔内图像的图像数据。该图像获取部11例如由与便携存储介质7的种类相应的读写装置来实现。另外，通过胶囊型内窥镜3拍摄的腔内图像的获取，不限定于使用便携存储介质7的结构。例如，也可以代替图像获取部11而具有硬盘，并在该硬盘内预先保存由胶囊型内窥镜3拍摄的腔内图像。或者，也可以代替便携存储介质7设置其它服务器，并在该服务器中预先保存腔内图像。此时，图像获取部11由用于与服务器连接的通信装置等构成，并通过该图像获取部11与服务器连接，从而从服务器获取腔内图像。

输入部12例如由键盘或鼠标、触摸面板、各种开关等实现，并根据操作输入将操作信号输出到控制部18。显示部13由LCD或EL显示器等的显示装置来实现，并通过控制部18的控制，显示包含腔内图像的显示画面的各种画面。

存储部14由可更新存储的闪存等的称为ROM或RAM的各种IC存储器、内置或连接在数据通信端子的硬盘、CD-ROM等的信息存储介质及其读取装置等实现。该存储部14中存储有程序和该程序的执行中使用的数据等，其中该程序用于使图像处理装置10动作，实现该图像处理装置10具有的各种功能。并且，存储有用于从腔内图像检测作为关注对象部位一例的病变部位的图像处理程序141。

运算部15由CPU等的硬件实现，并处理由图像获取部11获取的腔内图像，进行用于从腔内图像检测病变部位的各种运算处理。该运算部15具有区域分割部16、作为关注对象确定部的病变部位确定部17。

区域分割部16在腔内图像中，基于特定波长成分的值将图像分割为1个以上的区域。即，区域分割部16在腔内图像中，确定与对应于特定波长成分的像素值的各层级对应的1个以上的区域。该区域分割部16具有像素值层级分类部160，该像素值层级分类部160具有像素值直方图计算部161。像素值层级分类部160将图像内的像素的特定波长成分的值分类到对应的层级。像素值直方图计算部161计算像素内的像素的特定波长成分的值的直方图。

病变部位确定部17利用与区域分割部16分割的各区域相应的判别基准，确定各区域内的病变部位。即，病变部位确定部17利用与区域分割部16确定的各区域相应的判别基准，确定各区域内的病变部位。在实施方式1中，病变部位确定部17对每个区域进行各区域内的像素特征量的聚类，并针对每个区域设定作为判别基准的一例的类判别基准来判别病变部位类，将属于病变部位类的像素确定为病变部位。该病变部位确定部17具有像素特征量计算部171、像素特征量聚类部172。像素特征量计算部171对每个区域计算像素特征量。像素特征量聚类部172对每个区域进行像素特征量分布的聚类。

控制部18由CPU等的硬件实现。该控制部18根据从图像获取部11输入的图像数据或从输入部12输入的操作信号、存储在存储部14中的程序或数据等，向构成图像处理装置10的各部进行指示或转送数据等，并统一地控制图像处理装置10整体的动作。

图4是表示实施方式1的图像处理装置10进行的处理步骤的整体流程图。此处说明的处理是由运算部15执行存储在存储部14的图像处理程序141来实现的。

如图4所示，首先，运算部15获取作为处理对象的腔内图像(步骤S101)。通过此处的处理，运算部15通过控制部18获取由图像获取部11从便携存储介质7读取而获取的处理对象的腔内图像的图像数据。另外，在实施方式1中，腔内图像是作为原色系(RGB)的图像来获取。

接着，在区域分割部16中，像素值层级分类部160的像素值直方图计算部161计算所获取的腔内图像内的各像素的R成分的直方图(步骤S103)。如上所述，在实施方式1中获取的腔内图像由R、G、B的波长成分构成。此处，R成分是波长最长的成分，且是在生物体中吸收/散射的程度低、很难在生物体内吸收/散射的波长成分。因此，R成分是在抑制了摄像对象或内液对照明光和反射光的吸收/散射的状态下对从腔内图像的近景到远景进行图像化得到的腔内图像中最容易获得反映了距摄像对象的距离的信息的成分。因此，在实施方式1中，将R成分作为特定波长成分。并且，像素值直方图计算部161通过对横轴取R成分的灰度级区间、并对纵轴取具有与灰度级区间相当的R成分的值的像素的度数，计算直方图。图5是表示直方图的计算例的图。另外，图5中，R成分的值归一化为0～1，并归一化成使度数的总和为1。

接着，如图4所示，像素值层级分类部160将步骤S103中计算出的直方图的谷作为边界将R成分的值分类到1个以上的层级(步骤S105)。图6是说明此处进行的层级分类的原理的说明图。图6所示的度数数据G4是用折线简易地表示直方图的度数变化的数据。并且，度数数据G4下的坐标是通过将直方图的灰度级区间简易地表示为坐标得到的。梯度方向是根据对应的关注坐标的度数与接近该关注坐标的坐标的度数之差求出的方向，表示度数的值增加最多的方向。另外，梯度方向表示为“极”的坐标是度数比接近的任何坐标都高的极值坐标。

进行层级分类时，像素值层级分类部160首先求出梯度方向。例如，将关注坐标作为坐标“3”时，如度数数据G4中所示，接近度数相对于关注坐标“3”的度数增加最多的方向的坐标为坐标“4”。因此，作为关注坐标“3”的梯度方向，在图6中设定了正面右向的箭头表示的方向(→)。

如此，当要求出各坐标的梯度方向时，像素值层级分类部160将各坐标分别作为始点，沿着梯度方向搜索极值坐标。图6中，将搜索该极值坐标时的搜索坐标的变化表示为“沿着梯度方向的极值坐标的搜索步骤”。例如，说明以坐标“1”为始点的搜索步骤。在坐标“1”的情况下，由于梯度方向为右方向，因此在第一次搜索步骤(n＝1)中，得出右邻的坐标“2”(41)。接着，在得到的坐标“2”的情况下，梯度方向也为右方向，在第二次搜索步骤(n＝2)中，得出坐标“2”的右邻的坐标“3”(43)。之后，也依次沿着梯度方向继续进行搜索时，最终(n＝4)达到坐标“5”的极值坐标(45)。同样地，当以坐标“2”为始点进行搜索时，最终(n＝3)达到坐标“5”的极值坐标(47)。当以全部的坐标作为始点进行同样的搜索时，坐标“1”～“9”到达极值坐标“5”，坐标“10”～“15”到达极值坐标“12”。从该结果可以将坐标“1”～“9”分类为一个层级C1、将坐标“10”～“15”分类为下一个层级C2，并且可以将直方图的谷(图6中用坐标“9”表示的灰度级和用坐标“10”表示的灰度级之间)作为边界进行层级分类。

另外，此处表示了使用梯度方向的层级分类的方法，但是也可以是求出接近的两个灰度级间的度数变化，并将该变化值为规定的值以上的灰度级间作为边界进行层级分类。并且，为了调整进行层级分类时的分类数，也可以变更直方图的灰度级区间的宽度，或对直方图进行平滑化处理。

并且，基于直方图设定了层级分类的边界，但也可以预先固定地设定边界。此时，不需要像素值直方图计算部161，可以简化装置结构，并且不需要图4的步骤S103及步骤S105的一部分的处理步骤，可以缩短处理时间。

并且，如图4所示，区域分割部16在腔内图像中，基于层级分类的结果将图像分割为1个以上的区域(步骤S107)。即，区域分割部16确定与对特定波长成分的像素值进行分类得到的各层级对应的1个以上的区域。这可以通过对具有处于同一层级的值的像素赋予同一标签值来实现。此处，步骤S107的处理结果得到的区域数在构成层级分类的结果图像的各像素分类在同一层级时为一个，包含区域分割部16进行的区域分割结果得到的区域为一个的情况。图7是表示对于图2所示的腔内图像的区域分割结果的一例的示意图。图7中，将从R成分的值变小的远景到R成分的值变大的近景，分割为6个层级的区域。另外，为了确定各区域，对每个区域设定区域编号(图7中为区域1～区域6)。此处，图7中，各层级的区域都为一个连结的区域。相对于此，在存在粘膜的褶等的腔内图像中，根据对象的映射方法，有时同一层级的区域不一定在图像内连结，形成多个区域。但是，在该情况下，也仍将同一层级的数据作为摄像距离类似的一个区域来处理，对执行后续的处理步骤是没有问题的。

另外，也可以在对层级分类的结果进行图像化后，进行已经公知的标示处理(参考：CG-ARTS协会，数字图像处理，181P，标示)，进行考虑了像素的连结性的区域分割。并且，也可以基于该区域分割结果，执行后续的处理步骤。该情况下，不仅可以对摄像距离类似的每个区域进行处理，还可以对位置类似的每个区域进行处理，由此可以进行更高精度的病变部位的确定。

接着，如图4所示，病变部位确定部17将表示处理对象的区域编号的符号x设定为1(步骤S109)。并且，病变部位确定部17的像素特征量计算部171计算区域x内的各像素的像素特征量(步骤S111)。此处，像素特征量如下：像素的R、G、B成分的值；或基于R、G、B成分2次计算的亮度、色差、色调、彩度、明度、颜色对比度等的值；或针对包含对象的像素及其附近像素的像素组进行的前述各值的统计量(平均值、标准偏差值、失真度、锐利度、度数分布等)；或纹理信息(频率特征，共生矩阵等)(参考：CG-ARTS协会，数字图像处理，192P，区域特征量)。特别是在生物体内，通常可根据相当于血液的吸收波段的波长成分，确认正常粘膜与病变部位之间的差异。因此，在此处例如利用接近血液的吸收波段的G成分或B成分的值计算像素特征量。

接着，病变部位确定部17的像素特征量聚类部172对区域x内的像素特征量的分布进行聚类，并对于各类，例如将重心等的信息作为类信息分别计算(步骤S113)。此处，将特征量的轴伸展的空间称为特征空间。聚类是指基于数据间的类似性，将特征空间内的数据分布划分为称作类的块的方法，例如可以使用称为分层法或k-means法的已经公知的方法来实现(参考：CG-ARTS协会，数字图像处理，231P，聚类)。并且类的重心是通过计算属于类的数据的各特征量的平均值来求出的。

此处，参照图8说明进行聚类的效果。图8是说明利用聚类的分类效果的示意图。在腔内图像内，在认为摄像距离相同的区域x内，对于正常粘膜和病变部位而言，主要是色调不同。因此，在图8所示的表示颜色信息的特征空间中，形成互相不同的分布的类。但是，根据被检者的个体差异等，有时其分布位置出现变动。在图8中，用实线和虚线表示分布位置的变动。具体地讲，用实线表示对从某个被检者获取的腔内图像中的某个摄像距离处的区域x进行的正常粘膜和病变部位的分布的一例。另一方面，用虚线表示对从另外的被检者获取的腔内图像中的摄像距离为与区域x相同的区域x’进行的正常粘膜和病变部位的分布的一例。此处，在例如要根据图8中用点划线表示的类判别基准Th_all判别各数据时，导致对图8中打上阴影线来表示的部分的数据，产生误判别。对此，先将数据聚类后，用类判别基准Th_all判别各类的重心，从而判别正常粘膜类和病变部位类。并且，对于属于各类的数据赋予各类的判别结果时，在用实线表示的区域x的情况下，可用Th_x判别，在用虚线表示的区域x’的情况下，可用Th_x’判别，都可以进行良好的判别。

例如，着眼于对图8中用实线表示的区域x内的数据进行聚类获得的类51、53。此时，通过用类判别基准Th_all判别各类51、53的重心511、531，可以将重心531判别为正常粘膜类、将重心511判别为病变部位类。并且，在如上判别各类51、53之后，对属于各类的数据赋予各类的判别结果时，可以用边界Th_x来判别且可以进行良好的判别。另一方面，关于对用虚线表示的区域x’内的数据进行聚类获得的61、63，通过用类判别基准Th_a11判别重心611、631，可以将重心631判别为正常粘膜类、将重心611判别为病变部位类。并且，在如上判别各类61、63之后，对属于各类的数据赋予各类的判别结果时，可以用边界Th_x’来判别且可以进行良好的判别。

在实施方式1中，如图4所示，病变部位确定部17设定区域x中的类判别基准而判别病变部位类，并将属于病变部位类的区域x内的像素确定为病变部位(步骤S115)。上面已经叙述了伴随着从近景移到远景，根据内液的影响摄像对象的色调变化的情况。因此，需要对摄像距离类似的每个区域设定类判别基准。在实施方式1中，将R成分的各层级整理为摄像距离类似的区域，因此对R成分的每个层级设定类判别基准。作为类判别基准的设定方法，此处说明使用训练数据的方法。

训练数据是通过用于判别的特征量和正解判别结果成对的数据，事先对映射正常粘膜、病变部位、泡、内容物等的样本图像进行处理来获得的。具体地讲是，首先将样本图像的各像素的R成分的值分类到预先设定的1个以上的层级，从而将样本图像分割为1个以上的区域。即，将样本图像的各像素的R成分的值分类到预先设定的1个以上的层级，从而在样本图像中确定与各层级对应的1个以上的区域。接着，对分割的每个区域求出映射正常粘膜、病变部位、泡、内容物等的各部位(以下称为“种类”)的像素的特征量，获得使该值和各种类的判别结果成对的训练数据。图9是表示训练数据的一例的图。如图9所示，训练数据例如是作为将R成分层级和判别结果及特征量对应起来的数据表来准备。

这样准备训练数据时，使用该训练数据对R成分的1个以上的每个层级，求出各种类的发生概率及各种类的概率密度函数的系数。

首先，基于所准备的各种类的训练数据数，根据下式(1)求出各种类的发生概率Pc(i)(i＝1～NC)。NC表示种类数。并且，ND(i)是种类i的数据数。

$\mathrm{Pc}\left(i\right)=\frac{\mathrm{ND}\left(i\right)}{\underset{j=1}{\overset{\mathrm{NC}}{\mathrm{\Σ}}}\mathrm{ND}\left(j\right)}---\left(1\right)$

接着，求出包含在各种类的训练数据中的数据特征向量Fn＝(fn_1，fn_2，......，fn_k)^t。此处，fn_j是第n个训练数据的第j个特征量值，k是特征量的维数。并且，基于所求出的特征向量Fn，根据下式(2)对每个种类求出平均向量μ和协方差矩阵Z。

$\mathrm{\μ}=\frac{1}{\mathrm{ND}}\underset{n=1}{\overset{\mathrm{ND}}{\mathrm{\Σ}}}\mathrm{Fn},$ $Z=\frac{1}{\mathrm{ND}}\underset{n=1}{\overset{\mathrm{ND}}{\mathrm{\Σ}}}(\mathrm{Fn}-\mathrm{\μ}){(\mathrm{Fn}-\mathrm{\μ})}^t---\left(2\right)$

并且，对每个种类计算如下式(3)所示的概率密度函数P的系数。

$P=\frac{1}{{\left(2\mathrm{\π}\right)}^{K/2}\×{\left|Z\right|}^{1/2}}\exp \{{(v-\mathrm{\μ})}^t\×-\frac{1}{2}{Z}^{-1}\×(v-\mathrm{\μ})\}---\left(3\right)$

即、根据式(3)，对每个种类计算概率密度函数P的各系数μ、其中，|Z|是Z的矩阵、Z^-1是Z的逆矩阵、v是判别对象的特征向量。并且，如此事先准备训练数据，并将对R成分的每个规定层级求出的各种类的发生概率Pc(i)和各种类的概率密度函数P(i)的各系数作为发生概率/系数表存储在存储部14中。

图10是表示发生概率/系数表的数据结构例的图。如图10所示，发生概率/系数表是针对R成分的1个以上的每个层级，将种类、发生概率Pc(i)、概率密度函数P(i)的各系数对应起来的数据表。另外，在图10中，将上述概率密度函数P(i)的各系数分别表示为系数1、2、3。

此处，有时得到训练数据时设定的R成分的1个以上的层级与基于处理对象的腔内图像的直方图的层级(图4的步骤S105中分类的各层级)不一致。因此，为了将如上所述根据训练数据预先作成的发生概率/系数表，适用到基于处理对象的腔内图像的直方图的各层级，计算训练数据中的层级(发生概率/系数表中的规定层级)与腔内图像中的层级重叠的信息。

图11是表示训练数据的层级与基于处理对像的腔内图像(处理图像)的直方图的层级重叠的例子的图。例如，图11所示的处理图像的层级H4与训练数据的层级L4～L6重叠。并且，层级H4与规定层级L4重叠的量是a、层级H4与层级L5重叠的量是W(层级L5的层级宽度)、层级H4与规定层级L6重叠的量是b。

因此，根据下式(4)分别计算用于在层级H4的区域中判别的信息、即各种类的发生概率和概率密度函数的各系数。

如上所述，通过考虑重叠，可以对处理对象的腔内图像的各种层级，计算各种类的发生概率和概率密度函数的系数。

在实际的处理中，病变部位确定部17首先通过上述的方法求出与区域x对应的R成分的层级中的各种类的发生概率Pc(i)和概率密度函数P(i)的系数。并且，病变部位确定部17基于所求出的各值和成为判别对象的类的重心的特征向量v，计算Pc(i)×P(i)(i＝1～NC)，由此计算判别对象的类的对各种类的归属概率。并且，病变部位确定部17将成为最高归属概率的种类判别为判别对象的类的种类。另外，对每个层级设定各种类的发生概率Pc(i)和概率密度函数P(i)而判别类的做法相当于对每个层级设定类判别基准。并且，病变部位确定部17将属于类的种类判别结果判别为病变部位类的类的区域x内的像素确定为病变部位。

另外，此处示出了对区域x内的像素特征量的分布进行聚类，并基于对于类的种类的判别结果确定病变部位的方法。对此，也可以不进行聚类，而利用各像素特征量(特征向量)对每个像素求出对各种类的归属概率，并确定病变部位。此情况下，不需要像素特征量聚类部172，可以简化装置结构，并且不需要图4的步骤S113中说明的处理步骤，可以缩短处理时间。

并且，关于种类的判别方法，说明了使用各种类的发生概率和概率密度函数的方法，然而只要是可以对每个层级设定基准并进行判别即可。即、也可以使用在图案识别中使用的例如决策树或邻域法、称为支持向量机(SupportVectorMachine：SVM)的其他的一般方法。

之后，如图4所示，运算部15判定x是否是所有区域数以下，并判定成为处理对象的区域的有无(步骤S117)。步骤S117中的判定结果为“是”时，判断为存在未处理的区域，将表示处理对象的区域编号的符号x设为x＝x+1(步骤S119)，进行步骤S111-步骤S117的处理。另一方面，在步骤S117中的判定结果为“否”时，判断为处理了全部的区域并移到步骤S121。即、运算部15输出处理对象的腔内图像内的病变部位确定结果(步骤S121)，结束图像处理装置10的运算部15中的处理。例如，运算部15通过控制部18将对病变部位确定结果进行图像化得到的病变部位确定图像化结果显示输出到显示部13。

如以上说明，根据实施方式1，可以基于R成分的值将作为原色系(RGB)的图像取得的腔内图像分割为1个以上的区域。即，可以在作为原色系(RGB)的图像取得的腔内图像中确定分割为与R成分的值对应的1个以上的区域。从而可以将R成分的值类似的像素范围分割为一个区域，其结果可以将腔内图像分割为摄像距离类似的每个区域。即，可以将R成分的值类似的像素范围确定为一个区域，其结果，可以将腔内图像确定为摄像距离类似的每个区域。并且，可以对所分割的每个区域设定类判别基准并判别病变部位类，将属于判别为病变部位类的类的像素确定为病变部位。从而，可以高精度地检测出映射到腔内图像的病变部位。

另外，在实施方式1中，说明了对使用R、G、B的3个波长的原色系滤波器拍摄的腔内图像进行处理的情形，但是同样也适用于对由比3个波长多的波长成分构成的腔内图像进行处理的情形。此时，基于生物体中的吸收或散射的程度，将难以散射/吸收的特定的波长成分事先决定(确定)为特定波长成分，如实施方式1的R成分那样处理即可。此处，一般波长越长散射越难，因此也可以将多个波长中波长最长的成分作为特定波长。

并且，在实施方式1中，说明了作为关注对象部位的一例检测病变部位的情形，但是同样也可以适用于将血管或粘膜作为关注对象部位进行检测的情形。此时，对每个区域进行各区域内的像素特征量的聚类，并对每个区域设定类判别基准来判别关注对象类，将属于关注对象类的像素确定为关注对象部位。此时，通过使用事先准备的样本图像获得训练数据，与实施方式1同样可以检测作为关注对象部位的血管或粘膜。

接着，说明实施方式2。在实施方式2中，说明了对使用补色系滤波器(C：青绿色；M：深红色；Y：黄色)拍摄消化管等的体腔内的图像(腔内图像)进行处理，并检测病变部位的情形。此处的补色表示与原色的R、G、B分别混合时成为白色的颜色，并且对R的补色是用G+B表示的C、G的补色是用R+B表示的M、B的补色是用R+G表示的Y。即、由于存在这样的关系，可以基于补色系成分的值估计原色系成分的值。

图12是说明实施方式2的图像处理装置10b的功能结构的框图。另外，对与实施方式1中说明的结构相同的结构标以相同的符号。如图12所示，图像处理装置10b具有图像获取部11、输入部12、显示部13、存储部14b、运算部15b、对装置各部进行控制的控制部18。

在实施方式2的存储部14b中存储有图像处理程序141b。并且，运算部15b具有区域分割部16b、作为关注对象确定部的病变部位确定部17b。

区域分割部16b具有作为特定波长成分计算部的信号变换部162b、小区域分割部163b、平均值层级分类部165b。并且，小区域分割部163b具有边缘提取部164b，平均值层级分类部165b具有平均值直方图计算部166b。信号变换部162b将补色系成分的腔内图像变换为原色系成分的腔内图像。小区域分割部163b将图像分割为多个小区域。边缘提取部164b提取图像内的边缘。平均值层级分类部165b基于小区域内的像素的特定波长成分的值计算小区域内平均值，并将该小区域内平均值分类到对应的层级。平均值直方图计算部166b计算每个小区域的小区域内平均值的直方图。

病变部位确定部17b具有小区域特征量计算部173b、小区域特征量聚类部174b。小区域特征量计算部173b对每个区域计算小区域特征量。小区域特征量聚类部174b对每个区域进行小区域特征量分布的聚类。

即、实施方式2的图像处理装置10b相对于实施方式1的图像处理装置10b不同点在于，实施方式2的图像处理装置10b还具有信号变换部162b，其将腔内图像的各波长成分(C、M、Y)变换为用于后续处理的其他的波长成分(R、G、B)。进而，不同点在于，具有新的小区域分割部163b，其在进行基于特定波长成分(R成分)的区域分割之前，基于图像的边缘进行小区域分割。

图13是表示实施方式2的图像处理装置10b进行的处理步骤的整体流程图。此处说明的处理是通过运算部15b执行存储在存储部14b中的图像处理程序141b来实现的。

如图13所示，首先运算部15b获取作为处理对象的腔内图像(步骤S201)。根据此处的处理，运算部15b通过控制部18获取由图像获取部11从便携存储介质7读取而获得的处理对象的腔内图像的图像数据。另外，在实施方式2中，以补色系(CMY)的图像获取腔内图像。

接着，在区域分割部16b中，信号变换部162b将补色系成分的腔内图像变换为原色系成分的腔内图像(步骤S203)。补色和原色的关系如上所述。因此，根据下式(5)将各像素的补色系成分的值(C、M、Y)分别变换为原色系成分的值(R、G、B)。

$R=\frac{M+Y-C}{2},$ $G=\frac{C+Y-M}{2},$ $B=\frac{C+M-Y}{2}---\left(5\right)$

另外，在此表示了将补色系成分(C、M、Y)变换为原色系成分(R、G、B)的例子，但也可以将补色系成分先变换为亮度色差成分后再变换为原色系成分。或者，也可以使用补色系成分以外的更多波长的成分，只要可以根据多个波长成分计算在生物体内难以散射/吸收的特定的波长成分即可。

接着，小区域分割部163b的边缘提取部164b提取图像内的边缘(步骤S205)。作为顺序，首先生成由图像的G成分构成的G成分图像。使用G成分是由于，其接近血液中的血红蛋白的吸收波段，因此可以很好地表示粘膜的结构和病变部位的边界等腔内图像的结构信息。另外，也可以使用根据其他的波长成分、或已经公知的变换处理2次计算出的亮度、色差、色调、彩度、明度、颜色对比度等的值。并且，根据已经公知的1次微分滤波器(普鲁伊特滤波器(Prewittfilter)、索贝尔滤波器(Sobelfilter)等)或2次微分滤波器(拉普拉斯滤波器(Laplacianfilter)、LOG(LaplacianofGaussian)滤波器等)，进行滤波并进行边缘提取(参考：CG-ARTS协会、数字图像处理、114P、边缘提取)。

并且，小区域分割部163b基于边缘将图像分割为多个小区域，并将各小区域的R成分平均值计算为小区域内平均值(步骤S207)。作为基于边缘的图像分割的方法，例如可以使用WO2006/080239中公开的方法。如果简单地说明步骤，则首先对边缘提取结果的图像，根据需要进行去除噪声为目的的平滑化处理。之后，求出实施了平滑化处理的边缘提取结果的图像的各像素中的像素值的梯度方向。此时，梯度方向成为与附近像素之间的像素值的差为最小(负的值最大)的方向。接着，求出各像素沿着像素值的梯度方向到达的极值像素，并将像素分割为到达邻接的极值像素的各像素成为同一区域。

另外，作为其他的分割方法，也可以使用分水岭(watershed)算法(参考：LucVincentandPierreSoille.Watershedsindigitalspaces；Anefficientalgorithmbasedonimmersionsimulations.TransactionsonPatternAnalysisandMachineIntelligence，Vol.13，No6，pp.583-598，June1991.)。分水岭算法是如下的图像分割方法：在将图像的像素值信息看作高度的地形中，逐渐注满水时，可以使积攒到不同洼坑的水之间形成边界。因此，对于边缘提取图像，通过在进行适当的平滑化之后执行分水岭算法，可以根据边缘进行图像分割。

将图像分割为多个小区域时，小区域分割部163b计算各小区域内的像素的R成分的值的平均值。如此，通过基于边缘将图像分割为多个小区域，并以所分割的小区域单位进行后续的处理，可以抑制根据孤立的像素噪声引起的误检测，并可以沿着病变部位的形状高精度地进行确定。并且，与以像素单位处理的情形相比可以缩短处理时间。

另外，也可以不进行边缘提取而将图像分割为规定大小的矩形的多个小区域。此时，不需要边缘提取部164b，可以简化装置结构，并且不需要图13的步骤S205及步骤S207的部分处理步骤，可以缩短处理时间。

并且，接着在步骤S209以后的处理中，以小区域单位进行在实施方式1中以像素单位进行的处理(图4的步骤S103～步骤S117的各处理)。关于详细的处理步骤，可以与实施方式1同样地进行。

即、在步骤S209中，平均值层级分类部165b的平均值直方图计算部166b计算各小区域的R成分平均值的直方图。接着，平均值层级分类部165b以在步骤S209中计算出的直方图的谷为边界，将R成分平均值分类到1个以上的层级(步骤S211)。并且，区域分割部16b对于腔内图像，根据层级分类的结果将图像分割为1个以上的区域(步骤S213)。即，区域分割部16b对于腔内图像，确定与分类的各层级对应的1个以上的区域。

接着，如图13所示，病变部位确定部17b将表示处理对象的区域编号的符号x设定为1(步骤S215)。并且，病变部位确定部17b的小区域特征量计算部173b计算区域x内的各小区域的小区域特征量(步骤S217)。此处，小区域特征量如下：小区域内的像素的R、G、B成分的值；或从R、G、B成分的值2次计算得到的亮度、色差、色调、彩度、明度、颜色对比度等的值的统计量(平均值、标准差值、失真度、锐利度、度数分布等)；或纹理信息(频率特征，共生矩阵等)(参考：CG-ARTS协会，数字图像处理，192P，区域特征量)。如在实施方式1中所述，在生物体内，通常可以根据与血液的吸收波段相当的波长成分，确认正常粘膜和病变部位之间的差异。因此，此处例如使用与血液的吸收波段接近的G成分或B成分的值计算像素特征量。

接着，病变部位确定部17b的小区域特征量聚类部174b对区域x内的小区域特征量的分布进行聚类，并对于各类，例如将重心等的信息作为类信息分别进行计算(步骤S219)。并且，病变部位确定部17b设定区域x中的类判别基准来判别病变部位类，并将属于病变部位类的区域x内的小区域确定为病变部位(步骤S221)。

之后，如图13所示，运算部15b判定x是否为所有区域数以下，并判定成为处理对象的区域的有无(步骤S223)。步骤S223中的判定结果为“是”时，判断为存在未处理的区域，将表示处理对象的区域编号的符号x设为x＝x+1(步骤S225)，进行步骤S217-步骤S223的处理。另一方面，在步骤S223中的判定结果为“否”时，判断为处理了全部的区域并移到步骤S227。即、运算部15b输出处理对象的腔内图像内的病变部位确定结果(步骤S227)，结束图像处理装置10b的运算部15b中的处理。

如以上说明，根据实施方式2，可以将补色系成分(CMY)的腔内图像变换到原色系成分(RGB)的腔内图像，并基于对每个小区域求出的R成分平均值将腔内图像分割为1个以上的区域。即，可以将补色系成分(CMY)的腔内图像变换到原色系成分(RGB)的腔内图像，并确定对每个小区域求出的R成分平均值与所分类的层级对应的1个以上的区域。并且，可以对所分割的每个区域设定类判别基准来判别病变部位类，将属于判别为病变部位类的类的像素确定为病变部位。从而，可以取得与实施方式1同样的效果，可以高精度地检测出映射到腔内图像的病变部位。

另外，在上述实施方式1、2中，说明了根据RGB的腔内图像及CMY的腔内图像检测作为关注对象部位的一例的病变部位的情形，但不限定于此。即、可以作为处理由多个波长成分构成的腔内图像、并检测关注对象部位的图像处理装置而广泛利用。

根据本发明，可以基于特定波长成分的值，将上述图像分割为1个以上的区域，其中，特定波长成分是从构成对体腔内进行拍摄得到的图像的多个波长成分或变换该多个波长成分而获得的波长成分中，根据在生物体内吸收或散射的程度特定的。此处，在生物体内的吸收或散射的程度低、被生物体内很难吸收或散射的波长成分是最容易获得反映了到摄像对象的距离的信息的成分。将这样的波长成分作为特定波长成分，将图像分割为1个以上的区域时，可以将图像分割为摄像距离类似的每个区域。并且，可以使用如此分割的每个区域中设定的判别基准，确定区域内的关注对象部位。从而，可以高精度地检测拍摄了体腔内的图像内的关注对象部位。

Claims (21)

1.一种图像处理装置，该图像处理装置对通过拍摄体腔内得到的由多个波长成分构成的图像进行处理，

该图像处理装置的特征在于，

所述图像处理装置包括：

区域分割部，其根据特定波长成分的值，将所述图像分割为1个以上的区域，其中，所述特定波长成分是所述多个波长成分或通过变换所述多个波长成分得到的波长成分中，生物体内的吸收或散射的程度最低的波长成分；以及

关注对象部位确定部，其使用与通过所述区域分割部进行分割得到的区域相应的判别基准，确定所述区域内的关注对象部位。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述区域分割部将所述多个波长成分中波长最长的成分作为所述特定波长成分，并基于该特定波长成分的值将所述图像分割为所述1个以上的区域。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述区域分割部包括特定波长成分计算部，该特定波长成分计算部基于所述多个波长成分的值计算所述特定波长成分的值，

并且，所述区域分割部基于所述特定波长成分计算部计算出的特定波长成分的值，将所述图像分割为所述1个以上的区域。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述区域分割部包括像素值层级分类部，该像素值层级分类部将所述图像内的像素的所述特定波长成分的值分类到对应的层级，

所述区域由具有由所述像素值层级分类部分类为同一层级的特定波长成分的值的像素构成。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述像素值层级分类部包括像素值直方图计算部，该像素值直方图计算部计算所述特定波长成分的值的直方图，

并且，所述像素值层级分类部基于所述像素值直方图计算部计算出的直方图，将所述特定波长成分的值分类到所述对应的层级。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述关注对象部位确定部包括像素特征量计算部，该像素特征量计算部对每个所述区域计算区域内的各像素的像素特征量，

并且，所述关注对象部位确定部通过将所述像素特征量计算部对每个所述区域计算出的像素特征量与每个所述区域的判别基准分别进行比较，来确定所述区域内的关注对象部位。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述关注对象部位确定部包括：

像素特征量计算部，其对每个所述区域计算区域内的各像素的像素特征量；以及

像素特征量聚类部，其对由所述像素特征量计算部对每个所述区域计算出的像素特征量的分布进行聚类，

并且，所述关注对象部位确定部通过将各类的信息与每个所述区域的判别基准分别进行比较，来对每个所述区域判别关注对象类，并将属于判别为该关注对象类的类的像素确定为所述区域内的关注对象部位，其中，所述各类的信息是根据所述像素特征量聚类部进行聚类的结果，对每个所述区域获得的。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述区域分割部包括小区域分割部，该小区域分割部将所述图像内分割为多个小区域，

并且，所述区域分割部基于由所述小区域分割部分割得到的所述小区域内的像素的所述特定波长成分的值，计算小区域内平均值，并基于该小区域内平均值，将所述图像分割为所述1个以上的区域。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述小区域分割部包括边缘提取部，该边缘提取部提取所述图像内的边缘，

并且，所述小区域分割部基于所述边缘提取部提取的边缘，将所述图像分割为所述多个小区域。

10.根据权利要求8所述的图像处理装置，其特征在于，

所述区域分割部包括平均值层级分类部，该平均值层级分类部将所述小区域的所述小区域内平均值分类到对应的层级，

所述区域由具有由所述平均值层级分类部分类为同一层级的所述小区域内平均值的小区域构成。

11.根据权利要求10所述的图像处理装置，其特征在于，

所述平均值层级分类部包括平均值直方图计算部，该平均值直方图计算部计算所述小区域内平均值的直方图，

并且，所述平均值层级分类部基于所述平均值直方图计算部计算出的直方图，将所述小区域内平均值分类到所述对应的层级。

12.根据权利要求8所述的图像处理装置，其特征在于，

所述关注对象部位确定部包括小区域特征量计算部，该小区域特征量计算部对每个所述区域计算区域内的各小区域的小区域特征量，

并且，所述关注对象部位确定部通过将所述小区域特征量计算部对每个所述区域计算出的小区域特征量与每个所述区域的判别基准分别进行比较，来确定所述区域内的关注对象部位。

13.根据权利要求8所述的图像处理装置，其特征在于，

所述关注对象部位确定部包括：

小区域特征量计算部，其对每个所述区域计算区域内的各小区域的小区域特征量；以及

小区域特征量聚类部，其对所述小区域特征量计算部对每个所述区域计算出的小区域特征量的分布进行聚类，

并且，所述关注对象部位确定部通过将各类的信息与每个所述区域的判别基准分别进行比较，来对每个所述区域判别关注对象类，并将属于判别为该关注对象类的类的小区域确定为所述区域内的关注对象部位，其中，所述各类的信息是根据所述小区域特征量聚类部进行聚类的结果获得的。

14.根据权利要求6或7所述的图像处理装置，其特征在于，

所述像素特征量计算部基于所述区域内的像素的与血液的吸收波段相当的波长成分的值，计算所述像素特征量。

15.根据权利要求12或13所述的图像处理装置，其特征在于，

所述小区域特征量计算部基于构成所述区域内的小区域的像素的与血液的吸收波段相当的波长成分的值，计算所述小区域特征量。

16.根据权利要求1所述的图像处理装置，其特征在于，

所述图像是RGB图像。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述特定波长成分是所述图像的R成分。

18.根据权利要求14所述的图像处理装置，其特征在于，

所述图像是RGB图像，所述与血液的吸收波段相当的波长成分是所述图像的G成分或B成分。

19.根据权利要求15所述的图像处理装置，其特征在于，

所述图像是RGB图像，所述与血液的吸收波段相当的波长成分是所述图像的G成分或B成分。

20.根据权利要求1所述的图像处理装置，其特征在于，

所述关注对象部位是映射有病变、血管、以及粘膜中的任一个的部分。

21.一种图像处理方法，该图像处理方法对通过拍摄体腔内得到的由多个波长成分构成的图像进行处理，

该图像处理方法的特征在于，

所述图像处理方法包括执行如下处理的步骤：

根据特定波长成分的值，将所述图像分割为1个以上的区域，其中，所述特定波长成分是所述多个波长成分或通过变换所述多个波长成分得到的波长成分中，生物体内的吸收或散射的程度最低的波长成分；以及

使用与通过进行分割得到的所述区域相应的判别基准，确定所述区域内的关注对象部位。