CN107529963B - 图像处理装置、图像处理方法和存储介质 - Google Patents

Abstract

目的在于提供一种能够精度良好地检测管内的特定区域的图像处理装置、图像处理方法和图像处理程序。图像处理装置具有：管内摄影状况解析部，其在对管内进行摄影而得到的管内图像中，对于根据被摄体与拍摄该被摄体的一侧的关系而确定的管内摄影状况进行解析；以及特定区域检测部，其计算针对管内图像的多个特定区域识别指标，通过与管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域。

Description

图像处理装置、图像处理方法和存储介质

技术领域

本发明涉及对管内图像实施图像处理的图像处理装置、图像处理方法和存储介质。

背景技术

以往，公开了根据内窥镜图像的像素值梯度信息即像素值面形状特征量来检测活体内的异常区域的技术或根据作为内窥镜图像的轮廓特征量的边缘信息来检测异常区域的技术(例如，参照专利文献1)。在这些技术中，评价像素值梯度的等方性、即评价是否对周围的任意方向都产生了相等的梯度，或者评价边缘形状是否为规定大小的圆弧形状，由此检测异常区域。

在先技术文献

专利文献

专利文献1：日本特开2007-244519号公报

发明内容

发明要解决的课题

内窥镜图像包括对管内壁从正面进行摄影、从侧面进行摄影、摄影距离远、近、发生了焦点模糊、发生了运动抖动等在各种摄影状况下拍摄到的图像。异常区域等规定的特定区域的显现方式会根据摄影状况而发生变化，因此存在若不考虑这种变化而应用相同的检测技术，则检测性能无法提高的问题。

本发明就是鉴于上述情况而完成的，其目的在于提供能够精度良好地对管内的特定区域进行检测的图像处理装置、图像处理方法和图像处理程序。

用于解决课题的手段

为了解决上述课题，达成目的，本发明的图像处理装置的特征在于，具有：管内摄影状况解析部，其在对管内进行摄影而得到的管内图像中对于根据被摄体与拍摄该被摄体的一侧的关系而确定的管内摄影状况进行解析；以及特定区域检测部，其计算针对所述管内图像的多个特定区域识别指标，通过与所述管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域。

本发明的图像处理方法的特征在于，包括：管内摄影状况解析步骤，在对管内进行摄影而得到的管内图像中，对于根据被摄体与拍摄该被摄体的一侧的关系而确定的管内摄影状况进行解析；以及特定区域检测步骤，计算针对所述管内图像的多个特定区域识别指标，通过与所述管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域。

本发明的计算机可读取的存储介质存储了图像处理程序，其特征在于，该图像处理程序使计算机执行如下步骤：管内摄影状况解析步骤，在对管内进行摄影而得到的管内图像中，对于根据被摄体与拍摄该被摄体的一侧的关系而确定的管内摄影状况进行解析；以及特定区域检测步骤，计算针对所述管内图像的多个特定区域识别指标，通过与所述管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域。

发明效果

根据本发明，通过与管内的摄影状况对应的特定区域识别指标的综合判定来检测特定区域，因此能够精度良好地检测管内的特定区域。

附图说明

图1是用于说明本发明的实施方式的概要的图(之1)。

图2是用于说明本发明的实施方式的概要的图(之2)。

图3是表示本发明的第1实施方式的图像处理装置的功能结构的框图。

图4是表示本发明的第1实施方式的图像处理装置进行的处理的概要的流程图。

图5是表示本发明的第1实施方式的图像处理装置的管深部区域检测部进行的处理的概要的流程图。

图6是表示本发明的第1实施方式的变形例1-1的图像处理装置的功能结构的框图。

图7是表示本发明的第1实施方式的变形例1-1的图像处理装置进行的处理的概要的流程图。

图8是表示本发明的第1实施方式的变形例1-1的图像处理装置的内壁梯度计算部进行的处理的概要的流程图。

图9是表示本发明的第1实施方式的变形例1-2的图像处理装置的功能结构的框图。

图10是示意性表示本发明的第1实施方式的变形例1-2的图像处理装置的形状方向分别识别部设定的特征量计算区域的设定例的图。

图11是表示本发明的第1实施方式的变形例1-2的图像处理装置进行的处理的概要的流程图。

图12是表示本发明的第1实施方式的变形例1-3的图像处理装置的功能结构的框图。

图13是表示本发明的第1实施方式的变形例1-3的图像处理装置进行的处理的概要的流程图。

图14是表示本发明的第2实施方式的图像处理装置的功能结构的框图。

图15是表示本发明的第2实施方式的图像处理装置进行的处理的概要的流程图。

图16是表示本发明的第2实施方式的图像处理装置的摄影距离估计部进行的处理的概要的流程图。

图17是表示本发明的第2实施方式的变形例2-1的图像处理装置的功能结构的框图。

图18是表示本发明的第2实施方式的变形例2-1的图像处理装置进行的处理的概要的流程图。

图19是表示本发明的第2实施方式的变形例2-1的图像处理装置的焦点模糊解析部进行的处理的概要的流程图。

图20是表示本发明的第2实施方式的变形例2-2的图像处理装置的功能结构的框图。

图21是表示本发明的第2实施方式的变形例2-2的图像处理装置进行的处理的概要的流程图。

图22是表示本发明的第2实施方式的变形例2-2的图像处理装置的运动抖动解析部进行的处理的概要的流程图。

图23是表示本发明的第2实施方式的变形例2-3的图像处理装置的功能结构的框图。

图24是表示本发明的第2实施方式的变形例2-3的图像处理装置进行的处理的概要的流程图。

图25是表示本发明的第2实施方式的变形例2-4的图像处理装置的功能结构的框图。

图26是表示本发明的第2实施方式的变形例2-4的图像处理装置进行的处理的概要的流程图。

图27是表示本发明的第3实施方式的图像处理装置的功能结构的框图。

图28是表示本发明的第3实施方式的图像处理装置进行的处理的概要的流程图。

图29是表示本发明的第4实施方式的图像处理装置的功能结构的框图。

图30是表示本发明的第4实施方式的图像处理装置进行的处理的概要的流程图。

具体实施方式

以下，根据附图，对用于实施本发明的方式(以下，称作“实施方式”)进行说明。

图1和图2是用于说明本发明的实施方式的概要的图。具体而言，图1和图2是示意性表示由被导入活体内来观察活体的内窥镜拍摄到的活体的图像(管内图像)的图。

内窥镜大多从斜向对活体的管内壁的粘膜面进行摄影。这种情况下，如图1所示，在内窥镜所拍摄的管内图像中会拍到从摄影距离较近的管近前的粘膜面到摄影距离较远的管深部的粘膜面的范围，有时也会拍到存在发生病变的可能性的异常区域。

与此相对，如图2所示，内窥镜有时还会从正面对活体管内壁的粘膜面进行摄影。在从正面对粘膜面摄影的情况下，不会拍到管深部，异常区域的显现方式也与从斜向摄影的情况不同。

此外，在内窥镜所拍摄的图像中，到活体管内壁粘膜面的摄影距离根据图像而不同，有时还会在图像上发生焦点模糊或运动抖动。

本实施方式的图像处理装置的特征在于，对上述摄影状况的差异进行解析以进行包含异常区域在内的特定区域的适应性检测。这里，特定区域指的是管内图像中的被摄体的性状或状态满足规定条件的区域。例如，在管内图像是活体的管内图像(活体内管腔图像)的情况下，指的是活体的组织性状或活体内的状态满足规定条件的区域。更具体而言，例如可以举出疮口、溃疡、糜烂、息肉、肿瘤、充血、绒毛异常等的活体的组织性状发生变化的区域和出血等的活体内的状态变化所发生的区域等异常区域。特定区域既可以是图像的一部分区域，也可以是图像整体的区域。另外，关于内窥镜所拍摄的图像，设想的是在各像素位置处具有针对R(红)、G(绿)、B(蓝)的各波长成分的像素值的彩色图像，然而并不限定于此。

(第1实施方式)

图3是表示本发明的第1实施方式的图像处理装置的功能结构的框图。该图所示的图像处理装置1具有运算部2和存储部3。

运算部2具有：管内摄影状况解析部4，其对于在管内图像内根据被摄体与摄影侧的关系而确定的管内摄影状况进行解析；以及特定区域检测部5，其进行与管内摄影状况对应的特定区域的检测。

管内摄影状况解析部4具有对管内图像中的管深部区域进行检测的管深部区域检测部41。管深部区域检测部41具有：低吸收波长成分选择部411，其选择活体内的吸收/散射的程度最低的低吸收波长成分；边缘周边区域排除部412，其将低吸收波长成分的管内图像中的边缘周边区域的像素排除；以及低像素值区域检测部413，其在将边缘周边区域的像素排除后的低吸收波长成分的图像中检测规定的阈值以下的区域。

一般地，将由低像素值区域检测部413检测出的像素集中存在的区域认为是管深部区域。管深部区域检测部41对由低像素值区域检测部413检测出的像素进行公知的标记处理(参考：CG-ARTS協会：ディジタル画像処理：181P，ラベリング)，将所连结的像素归纳为1个区域后，检测出面积在规定的阈值以上的区域中的最大的区域作为管深部区域。管深部区域检测部41在不存在规定的阈值以上的区域时，检测为不存在管深部区域。

例如在由R、G、B成分构成的图像的情况下，低吸收波长成分选择部411选择远离血液的吸收波段且为长波长的成分、即作为不易受到活体内的吸收/散射的影响的成分的R成分。低吸收波长成分选择部411通过进行这种选择，由此能够抑制在粘膜表面上显现的血管等导致的像素值降低，可得到与到粘膜表面的摄影距离最为相关的像素值信息。

边缘周边区域排除部412例如应用公知的边缘提取处理(参考：CG-ARTS協会：ディジタル画像処理：114P，エッジ抽出：209P，輪郭線検出)而确定了边缘区域后，对该边缘区域进行公知的扩展处理(参考：CG-ARTS協会：ディジタル画像処理：179P，収縮·膨張処理)，由此确定周边区域并排除。边缘周边区域排除部412将边缘周边区域排除，由此能够将由粘膜皱襞引起的在轮廓边缘周边产生的阴影部分那样的存在可能被误检测为管深部的粘膜(照明光不易到达的低吸收波长成分的像素值降低的粘膜)的区域排除掉。

低像素值区域检测部413在将边缘周边区域排除后的低吸收波长成分的图像中，检测像素值在规定的阈值以下的像素。另外，低像素值区域检测部413在将边缘周边区域排除后的低吸收波长成分的管内图像中，可以检测具有根据该管内图像的像素所取的像素值范围而设定的阈值以下的像素值的像素。

特定区域检测部5具有：特征范围分别识别部51，其计算基于根据范围不同的多个区域而计算出的特征量的多个特定区域识别指标；以及综合判定部52，其通过与管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域。

特征范围分别识别部51首先将范围从小到大的多个特征量计算区域设定于图像内的任意位置处。此时，还设定了中心位置相同而范围不同的多个特征量计算区域。并且，特征范围分别识别部51在各区域内计算特征量。作为特征量，可以考虑计算已公知的颜色、轮廓(边缘)、像素值面形状(像素值梯度)、纹理等各种特征量。从一个特征量计算区域计算出的多个特征量作为特征矢量而被汇总起来。产生所设定的特征量计算区域的数量个特征矢量。

此后，特征范围分别识别部51根据特征矢量来计算特定区域识别指标。作为根据特征矢量来计算特定区域识别指标的方法存在公知的各种方法。例如，作为一般的统计识别的方法，根据下式(1)所示的概率模型，可以计算出关于特征矢量x是否满足特定条件的特定区域识别指标P(x)。

【数1】

在式(1)的右边，k是特征矢量的维数，x是识别对象的检查区域的特征矢量(k×1矩阵)，μ是特定区域的样本(多个)的特征矢量的平均矢量(k×1矩阵)，Z是特定区域的样本(多个)的特征矢量的方差协方差矩阵(k×k矩阵)，|Z|是Z的矩阵式，Z^-1是Z的逆矩阵。

另外，这里举例示出了使用概率模型的特定区域识别指标计算方法，然而只要能够计算出特定区域识别指标则可以使用任意方法。例如，还可以使用基于与代表性的特征矢量之间的特征空间距离的方法或基于特征空间内的与识别边界间的距离的方法等来计算特定区域识别指标。

下面对综合判定部52的处理进行说明。在管深部区域位于图像内的情况下，处于从斜向对管内壁摄影的状态，因此可认为基于使用全体管构造的大区域的信息的特定区域的检测精度较高。这种情况下，综合判定部52重视基于特征量计算区域的大的特征量的特定区域识别指标来进行判定。更具体而言，综合判定部52对多个特定区域识别指标中的各个特定区域识别指标分别乘以与所重视的程度对应的权重并相加，由此计算出最终的判定指标，该值在阈值以上的情况下，检测作为特定区域。这样，重视特定区域识别指标指的是使该特定区域识别指标的权重大于其他的特定区域识别指标的权重来进行运算。

另一方面，在深部区域不存在于图像内的情况下，处于从正面对管内壁进行摄影的状态，因此无法充分地进行基于使用全体管构造的大区域的信息的特定区域的检测。反而在用于特征量计算的区域的范围较大的情况下，由于与精度降低有关的区域(镜面反射、残渣、泡、正常皱襞等)的混入而存在检测精度低的可能性。这种情况下，综合判定部52重视基于特征量计算范围小的特征量(局部的信息)的特定区域识别指标来进行综合判定，检测特定区域。

运算部2通过使用CPU(Central Processing Unit：中央处理单元)等通用处理器或ASIC(Application Specific Integrated Circuit：专用集成电路)等执行特定功能的各种运算电路等的专用处理器来实现。在运算部2是通用处理器的情况下，读入存储部3所存储的各种程序来进行对于构成图像处理装置1的各部的指示或数据的传送等，统括地控制图像处理装置1整体的动作。此外，在运算部2是专用处理器的情况下，处理器既可以单独执行各种处理，也可以通过使用存储部3所存储的各种数据等，由处理器和存储部3共同或结合起来执行各种处理。在后述的实施方式和变形例中所说明的运算部也当然也可以与运算部2同样地实现。

存储部3由ROM(Read Only Memory：只读存储器)或RAM(Random Access Memory：随机存取存储器)等各种IC存储器、内置或通过数据通信端子连接的硬盘或CD-ROM等的信息记录装置及其读取装置等实现。存储部3除了存储图像处理装置1所取得的管内图像的图像数据，此外还存储用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序以及在该程序的执行中使用的数据等。具体而言，存储部3存储本第1实施方式的图像处理程序或在该图像处理中使用的阈值等各种参数。在后述的实施方式中说明的存储部当然也可以与存储部3同样地实现。

存储部3所存储的图像处理程序等各种程序还可以记录于计算机可读取的记录介质中。此外，关于各种程序在存储部3或记录介质中的记录，既可以在将计算机或记录介质作为产品出厂时进行，也可以通过经由通信网络的下载来进行。这里所说的通信网络例如可通过现有的公共线路网、LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)等实现，不管是有线还是无线。

具有以上结构的图像处理装置1既可以使用1个计算机来实现，也可以使用多个计算机来实现。后者的情况下，还可以在经由通信网络进行数据的发送接收的同时，以相互协作的方式进行处理。另外，这里所谓的计算机例如可由通用的个人计算机或服务器等构成。关于这一点，对于在后述的实施方式和变形例中说明的图像处理装置而言也可以同样理解。

另外，还可以使如下的处理器来具备以上说明的图像处理装置1的功能，该处理器构成被导入到被检体内对该被检体内进行观察的内窥镜系统的一部分，并对该内窥镜系统整体进行控制。关于这一点，对于在后述的实施方式和变形例中说明的图像处理装置而言可以说是同样的。

图4是表示由图像处理装置1执行的处理的概要的流程图。首先，运算部2取得作为处理对象的管内图像(步骤S1)。

接着，管深部区域检测部41检测管内图像中的管深部区域(步骤S2)。图5是表示由管深部区域检测部41进行的处理的概要的流程图。以下，参照图5对管深部区域检测部41的处理进行说明。首先，低吸收波长成分选择部411选择在活体内的吸收/散射的程度最低的低吸收波长成分(步骤S11)。例如，在由R、G、B成分构成的图像的情况下，低吸收波长成分选择部411如上所述选择R成分。

此后，边缘周边区域排除部412将低吸收波长成分的管内图像中的边缘周边区域的像素排除(步骤S12)。由此，可防止边缘周边区域被误检测为管深部区域。

接着，低像素值区域检测部413在将边缘周边区域排除后的低吸收波长成分的图像中，检测像素值低的区域即具有规定的阈值以下的像素值的像素的区域(步骤S13)。如上所述，管深部的摄影距离较远，因此低吸收波长成分的图像的像素值变低。

最后，管深部区域检测部41根据由低像素值区域检测部413检测出的区域，进行公知的标记处理等，由此检测管深部区域(步骤S14)。由此，管深部区域检测部41的管深部区域检测处理(步骤S2)结束。

另外，在本第1实施方式中，示出了根据与摄影距离相关的像素值检测管深部区域的方法，然而这仅为一例，例如还可以根据日本特开2003-93328号公报所示的方法等来检测管深部区域。

此外，也可以在进行管深部区域检测处理之前，进行光学系统或照明系统所引起的像素值不均的校正、镜面反射、残渣和泡等非粘膜区域的排除等处理。由此，可抑制后续的各处理的精度的降低。

在步骤S2后续的步骤S3中，特征范围分别识别部51计算基于根据范围不同的多个区域而计算出的特征量的多个特定区域识别指标(步骤S3)。特征范围分别识别部51例如根据上述式(1)所示的概率模型来计算特定区域识别指标P(x)。

此后，综合判定部52根据管深部区域的有无，变更所重视的特定区域识别指标来进行综合判定，检测特定区域(步骤S4)。

最后，运算部2输出特定区域的检测结果(步骤S5)。由此，图像处理装置1结束一系列的处理。另外，步骤S2的管深部区域检测处理和步骤S3的特定区域识别指标计算处理的顺序可以相反，也可以并行进行。

根据以上说明的本发明的第1实施方式，根据管深部区域的有无对特征量计算范围不同的多个特定区域识别指标进行综合判定，因此针对由于针对管内壁的摄影方向(斜向，正面)的差异而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

(变形例1-1)

图6是表示第1实施方式的变形例1-1的图像处理装置的功能结构的框图。在该图所示的图像处理装置1A中，对具有与图3所示的图像处理装置1同样的功能的构成部位赋予与图3同样的标号。

图像处理装置1A具有运算部2A和存储部3。运算部2A具有管内摄影状况解析部4A和特定区域检测部5。

管内摄影状况解析部4A具有计算管内图像中的管内壁的梯度(内壁梯度)的内壁梯度计算部42。内壁梯度计算部42具有选择活体内的吸收/散射的程度最低的低吸收波长成分的低吸收波长成分选择部411、以及计算低吸收波长成分的像素值梯度的像素值梯度计算部421。

像素值梯度计算部421根据规定大小的X方向的1次微分滤波器输出ΔX和同样大小的Y方向的1次微分滤波器输出ΔY来计算像素值梯度的大小和方向(参考：CG-ARTS協会：ディジタル画像処理：115P，微分フィルタ)。像素值梯度计算部421既可以在各像素位置处计算管内壁的梯度，也可以按照规定的采样间隔来计算。

特定区域检测部5的综合判定部52根据内壁梯度的大小来变更所重视的特定区域识别指标并进行综合判定，检测特定区域。在多个部位计算出的内壁梯度的大小的平均值在规定的阈值以上的情况下，认为处于从斜向对管内壁进行摄影的状态，可认为基于使用全体管构造的大区域的信息的特定区域的检测精度高。这种情况下，综合判定部52重视基于特征量计算范围大的特征量的特定区域识别指标来进行判定。

另一方面，在内壁梯度的大小的平均值小于规定的阈值的情况下，认为处于从正面对管内壁进行摄影的状态，在用于特征量计算的区域的范围大的情况下，存在检测精度低的可能性。这种情况下，综合判定部52重视基于特征量计算范围小的特征量的特定区域识别指标来进行判定。

图7是表示图像处理装置1A进行的处理的概要的流程图。在图7中，对与图4所示的流程图同样的处理赋予相同的步骤标号。以下，对步骤S1后续的处理进行说明。

在步骤S2A中，内壁梯度计算部42计算管内图像中的管内壁的梯度(步骤S2A)。图8是表示内壁梯度计算部42进行的处理的概要的流程图。以下，参照图8对内壁梯度计算部42的处理进行说明。首先，低吸收波长成分选择部411选择活体内的吸收/散射的程度最低的低吸收波长成分(步骤S21)。

接着，像素值梯度计算部421计算所选择的低吸收波长成分的像素值梯度(步骤S22)。由此，内壁梯度计算部42进行的管内图像中的管内壁的梯度计算处理(步骤S2A)结束。

在步骤S2A后续的步骤S3中，特征范围分别识别部51计算基于根据范围不同的多个区域而计算出的特征量的多个特定区域识别指标(步骤S3)。

此后，综合判定部52根据内壁梯度的大小，变更所重视的特定区域识别指标并进行综合判定，检测特定区域(步骤S4A)。

最后，运算部2A输出特定区域的检测结果(步骤S5)。由此，图像处理装置1A结束一系列的处理。另外，步骤S2A的内壁梯度计算处理和步骤S3的特定区域识别指标计算处理的顺序可以相反，也可以并行进行。

根据以上说明的第1实施方式的变形例1-1，根据内壁梯度的大小，对特征量计算范围不同的多个特定区域识别指标进行综合判定，因此针对由于针对管内壁的摄影方向(斜向、正面)的差异而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

另外，在本变形例1-1中，管内摄影状况解析部4A可以构成为还具有在第1实施方式中说明的管深部区域检测部41。这种情况下，综合判定部52根据管深部区域的有无和内壁梯度的大小来进行综合判定。

(变形例1-2)

图9是表示第1实施方式的变形例1-2的图像处理装置的功能结构的框图。在该图所示的图像处理装置1B中，对具有与图3所示的图像处理装置1同样的功能的构成部位赋予与图3同样的标号。

图像处理装置1B具有运算部2B和存储部3。运算部2B具有管内摄影状况解析部4和特定区域检测部5B。

特定区域检测部5B具有形状方向分别识别部53和综合判定部52，该形状方向分别识别部53计算基于根据形状和/或方向不同的多个区域而计算出的特征量的多个特定区域识别指标。

图10是示意性表示形状方向分别识别部53所设定的特征量计算区域的设定例的图。如图10所示，形状方向分别识别部53以管内图像201的任意的位置C为中心，设定由圆形区域和长径方向互不相同的多个椭圆区域(图10中为4个椭圆区域)构成的特征量计算区域群202。形状方向分别识别部53既可以一边在管内图像201按照规定的规则扫描特征量计算区域群202的中心位置一边设定多个特征量计算区域群202，也可以同时并行地设定具有互不相同的中心位置的多个特征量计算区域群202。此外，特征量计算区域群的区域的形状不限于图10所述的情况。例如，形状方向分别识别部53可以在设定了圆形区域后，一边使该圆形区域旋转一边在管内图像201上进行扫描，由此设定多个特征量计算区域。

综合判定部52根据深部区域的方向，变更所重视的特定区域识别指标来进行综合判定，检测特定区域。在管深部区域位于图像内的情况下，处于从斜向对管内壁进行摄影的状态，如图1所示，异常区域成为在深部区域的方向(纵深方向)上短而在与深部区域的方向垂直的方向上长的像而容易显现出来。因此，可认为基于根据与其近似的形状的区域而计算出的特征量的特定区域的检测精度高。这种情况下，综合判定部52重视基于根据在与深部区域的方向垂直的方向上长的区域而计算出的特征量的特定区域识别指标来进行判定。

另一方面，在管深部区域不存在于图像内的情况下，可认为是从正面对管内壁进行摄影的状态，不会发生所述那样的像的长度的变化(参照图2)。这种情况下，综合判定部52重视基于根据不依赖方向的圆形区域而计算出的特征量的特定区域识别指标来进行判定。

另外，在从斜向进行摄影的状况下，根据摄影侧的上下在旋转方向上像也会发生变化。这种情况下，综合判定部52也可以重视基于根据与管深部区域的方向一致的方向的区域而计算出的特征量的特定区域识别指标来进行判定。

图11是表示图像处理装置1B进行的处理的概要的流程图。在图11中，对与图4所示的流程图同样的处理赋予相同的步骤标号。以下，对步骤S2后续的处理进行说明。

在步骤S3B中，形状方向分别识别部53计算基于根据形状和/或方向不同的多个区域而计算出的特征量的多个特定区域识别指标(步骤S3B)。形状方向分别识别部53例如使用图10所示的特征量计算区域群202，根据多个特征量计算区域来计算特征量。

接着，综合判定部52根据管深部区域的方向，变更所重视的特定区域识别指标来进行综合判定，检测特定区域(步骤S4B)。

最后，运算部2B输出特定区域的检测结果(步骤S5)。由此，图像处理装置1B结束一系列的处理。另外，步骤S2的管深部区域检测处理和步骤S3B的特定区域识别指标计算处理的顺序可以相反，也可以并行进行。

根据以上说明的变形例1-2，根据管深部区域的方向对特征量计算区域的形状和/或方向不同的多个特定区域识别指标进行综合判定，因此针对由于针对管内壁的摄影方向的差异而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

另外，在本变形例1-2中，代替图像处理装置1B具有管内摄影状况解析部4的情况，还可以构成为具有在变形例1-1中说明的管内摄影状况解析部4A。这种情况下，综合判定部52根据内壁梯度的大小进行综合判定。

在内壁梯度的大小的平均值在规定的阈值以上的情况下，可认为是从斜向对管内壁进行摄影的状态，如图1所示，异常区域成为在内壁梯度的方向(进深方向)上短而在与内壁梯度的方向垂直的方向上长的像而容易显现出来。因此，可认为基于根据与其相似的形状的区域而计算出的特征量的异常区域的检测精度高。这种情况下，综合判定部52重视基于根据在与内壁梯度的方向垂直的方向上较长的区域而计算出的特征量的特定区域识别指标来进行判定。

另一方面，在内壁梯度的大小的平均值小于规定的阈值的情况下，可认为处于从正面对管内壁进行摄影的状态，不会发生所述那样的像的长度的变化(参照图2)。这种情况下，综合判定部52重视基于根据不依赖方向的圆形区域而计算出的特征量的特定区域识别指标来进行判定。

上述内容对斜向摄影时的形状进行了说明，而在从斜向进行摄影的状态下，根据摄影机的上下方向，在旋转方向上像也会发生变化。于是，综合判定部52可以重视基于根据与内壁梯度的方向一致的方向的区域而计算出的特征量的特定区域识别指标来进行判定。

此外，在本变形例1-2中，管内摄影状况解析部4可以构成为还具有在变形例1-1中说明的内壁梯度计算部42。这种情况下，综合判定部52根据管深部区域的方向和内壁梯度的方向进行综合判定。

(变形例1-3)

图12是表示第1实施方式的变形例1-3的图像处理装置的功能结构的框图。在该图所示的图像处理装置1C中，对具备与图3所示的图像处理装置1同样的功能的构成部位赋予与图3同样的标号。

图像处理装置1C具有运算部2C和存储部3。运算部2C具有管内摄影状况解析部4和特定区域检测部5C。

特定区域检测部5C具有计算基于种类不同的特征量的多个特定区域识别指标的特征种类分别识别部54和综合判定部52。特征种类分别识别部54在图像内的任意的位置处设定特征量计算区域，按照颜色、轮廓、像素值面形状、纹理等每个特征量来计算多个特定区域识别指标。

综合判定部52根据管深部区域的有无，变更所重视的特定区域识别指标来进行综合判定。在管深部区域存在于图像内的情况下，处于从斜向对管内壁进行摄影的状态，因此特定区域表面的轮廓线会变得清晰(参照图1)。因此，可认为基于轮廓特征量的特定区域的检测精度高。这种情况下，综合判定部52重视基于轮廓特征量的特定区域识别指标来进行判定。

另一方面，在管深部区域不存在于图像内的情况下，可认为处于从正面对管内壁进行摄影的状态，特定区域表面的轮廓线与从斜向进行摄影的状态相比容易变得不清晰(参照图2)。其中，像素值面形状(像素值梯度)或纹理变得易于捕捉。因此，可认为基于像素值面形状特征量或纹理特征量的特定区域的检测精度高。这种情况下，综合判定部52重视基于像素值面形状特征量或纹理特征量的特定区域识别指标来进行综合判定。

图13是表示图像处理装置1C进行的处理的概要的流程图。在图13中，对与图4所示的流程图同样的处理赋予相同的步骤标号。以下，对步骤S2后续的处理进行说明。

在步骤S3C中，特征种类分别识别部54计算基于种类不同的特征量的多个特定区域识别指标(步骤S3C)。

此后，综合判定部52根据管深部区域的有无，变更所重视的特定区域识别指标来进行综合判定，检测特定区域(步骤S4C)。

最后，运算部2C输出特定区域的检测结果(步骤S5)。由此，图像处理装置1C结束一系列的处理。另外，步骤S2的管深部区域检测处理和步骤S3C的特定区域识别指标计算处理的顺序可以相反，也可以并行进行。

根据以上说明的变形例1-3，根据管深部区域的有无，对特征量的种类不同的多个特定区域识别指标进行综合判定，因此针对由于针对管内壁的摄影方向(斜向、正面等)的差异而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

另外，在本变形例1-3中，还可以代替图像处理装置1C具有管内摄影状况解析部4的情况，构成为具有在变形例1-1中说明的管内摄影状况解析部4A。这种情况下，综合判定部52根据内壁梯度的大小，变更所重视的特定区域识别指标来进行综合判定。

在内壁梯度的大小的平均值在规定的阈值以上的情况下，处于从斜向对管内壁进行摄影的状态，因此异常区域表面的轮廓线变得清晰(参照图1)。这种情况下，综合判定部52重视基于轮廓特征量的特定区域识别指标来进行判定。

另一方面，在内壁梯度的大小的平均值小于规定的阈值的情况下，可认为处于从正面对管内壁进行摄影的状态，异常区域表面的轮廓线与从斜向进行摄影的状态相比容易变得不清晰(参照图2)。其中，像素值面形状(像素值梯度)或纹理变得易于捕捉。这种情况下，综合判定部52重视基于像素值面形状特征量或纹理特征量的特定区域识别指标来进行判定。

在本变形例1-3中，管内摄影状况解析部4还可以构成为还具有在变形例1-1中说明的内壁梯度计算部42。这种情况下，综合判定部52根据管深部区域的有无和内壁梯度的大小来进行综合判定。

(第2实施方式)

图14是表示本发明的第2实施方式的图像处理装置的功能结构的框图。在该图所示的图像处理装置6中，对具备与图3所示的图像处理装置1同样的功能的构成部位赋予与图3同样的标号。

图像处理装置6具有运算部7和存储部3。运算部7具有管内摄影状况解析部8和特定区域检测部5。

管内摄影状况解析部8具有对到管内壁的摄影距离进行估计的摄影距离估计部81。作为进行摄影距离估计的方法，已公知有各种方法。在本第2实施方式中，作为一例，对将摄影对象假定为均等扩散面的摄影距离估计的方法进行说明。

摄影距离估计部81具有选择活体内的吸收/散射的程度最低的低吸收波长成分的低吸收波长成分选择部811。这是为了抑制在粘膜表面拍到的血管等造成的像素值降低，获得与到粘膜表面的摄影距离最为相关的像素值信息。例如，在由R、G、B成分构成的图像的情况下，如在第1实施方式中说明的那样，选择R成分。

摄影距离估计部81根据所选择的低吸收波长成分的像素值来估计假定了均等扩散面的摄影距离。具体而言，摄影距离估计部81根据下式(2)在管内图像中的多个部位估计摄影距离r。

【数2】

这里，式(2)的右边的I是事先测定的光源的放射强度，K是粘膜表面的扩散反射系数，θ是粘膜表面的法线矢量与从该表面到光源的矢量所构成的角度，L是拍到了摄影距离估计对象的粘膜表面的像素的R成分值。其中，扩散反射系数K通过事先测定平均值而得到。此外，角度θ作为由内窥镜末端与粘膜表面的位置关系而确定的值，在事先设定平均值。

另外，摄影距离估计部81代替对由式(2)定义的摄影距离r进行估计的情况，可以使用与摄影距离r具有相关的像素值来进行后面的适应性处理。

摄影距离估计部81在多个部位计算出的摄影距离的平均值小于规定的阈值的情况对应于摄影距离较近的状况。在摄影距离较近的情况下，与摄影距离较远的情况相比，被摄体被拍得较大。这种情况下，综合判定部52重视基于特征量计算范围大的特征量的特定区域识别指标来进行综合判定。

另一方面，在摄影距离的平均值在规定的阈值以上的情况下，可认为处于摄影距离较远的状态，对象被拍得较小。此外，在用于特征量计算的区域的范围较大的情况下，由于导致精度降低的区域(镜面反射、残渣、泡、正常皱襞等)的混入而存在检测精度低的可能性。这种情况下，综合判定部52重视基于特征量计算范围小的特征量的特定区域识别指标来进行判定。

图15是表示图像处理装置6执行的处理的概要的流程图。首先，运算部7取得作为处理对象的管内图像(步骤S31)。

接着，摄影距离估计部81估计到管内壁的摄影距离(步骤S32)。图16是表示摄影距离估计部81进行的处理的概要的流程图。以下，参照图16对摄影距离估计部81的处理进行说明。首先，低吸收波长成分选择部811选择活体内的吸收/散射的程度最低的低吸收波长成分(步骤S41)。

此后，摄影距离估计部81根据所选择的低吸收波长成分的像素值来估计假定了均等扩散面的摄影距离(步骤S42)。具体而言，摄影距离估计部81根据上述式(2)估计摄影距离。由此，摄影距离估计部81的摄影距离估计处理(步骤S32)结束。

另外，在摄影距离估计部81进行摄影距离估计处理之前，运算部7可以进行由光学系统或照明系统引起的像素值不均的校正、镜面反射、残渣和泡等非粘膜区域的排除等的处理。由此，可抑制后续的各处理的精度的降低。

此外，还可以在内窥镜中预先设置测距传感器等检测手段，根据其检测结果由摄影距离估计部81估计摄影距离。

在步骤S32之后，特征范围分别识别部51计算基于根据范围不同的多个区域而计算出的特征量的多个特定区域识别指标(步骤S33)。该处理与在第1实施方式中说明的步骤S3的处理相同。

此后，综合判定部52根据摄影距离的远近，变更所重视的特定区域识别指标来进行综合判定，检测特定区域(步骤S34)。

最后，运算部7输出特定区域的检测结果(步骤S35)。由此，图像处理装置6结束一系列的处理。另外，步骤S32的摄影距离估计处理和步骤S33的特定区域识别指标计算处理的顺序可以相反，也可以同时进行。

根据以上说明的本发明的第2实施方式，根据摄影距离的远近对特征量计算范围不同的多个特定区域识别指标进行综合判定，因此针对由于针对管内壁的摄影距离的差异而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

(变形例2-1)

图17是表示第2实施方式的变形例2-1的图像处理装置的功能结构的框图。在该图所示的图像处理装置6A中，对具备与图14所示的图像处理装置6同样的功能的构成部位赋予与图14同样的标号。

图像处理装置6A具有运算部7A和存储部3。运算部7A具有管内摄影状况解析部8A和特定区域检测部5。

管内摄影状况解析部8A具有对管内图像的焦点模糊进行解析的焦点模糊解析部82。焦点模糊解析部82具有镜面反射排除部821和空间频率解析部822。

镜面反射排除部821例如根据在日本特开2012-11137号公报中公开的方法，判别管内图像中的镜面反射并将其排除。

空间频率解析部822对管内图像的规定的成分(例如G成分等)进行公知的2维傅里叶变换(参考：CG-ARTS協会：ディジタル画像処理：128P，2维傅里叶变换)而求出傅里叶频谱后，一边使从表示低频成分的中心起的距离发生变化，一边计算该距离成为规定范围的环状区域内的频谱之和，由此求出动径分布。在该动径分布中，距离较小的部分表示管内图像的低频成分，距离较大的部分表示管内图像的高频成分。一般地，高频成分较少的图像的焦点模糊较大。

图18是表示图像处理装置6A进行的处理的概要的流程图。在图18中，对与图15所示的流程图同样的处理赋予相同的步骤标号。以下，对步骤S31后续的处理进行说明。

在步骤S32A中，焦点模糊解析部82对管内图像的焦点模糊状态进行解析(步骤S32A)。图19是表示焦点模糊解析部82进行的处理的概要的流程图。以下，根据图19对焦点模糊解析部82的处理进行说明。首先，镜面反射排除部821判别管内图像中的镜面反射并将其排除(步骤S51)。

接着，空间频率解析部822在对管内图像的规定的成分进行2维傅里叶变换后，计算通过2维傅里叶变换而得到的2维傅里叶频谱的动径分布(步骤S52)。

最后，焦点模糊解析部82根据2维傅里叶频谱的动径分布来解析焦点模糊状态(步骤S53)。具体而言，管内图像中的高频成分(动径分布中距离较大的部分)越少，则焦点模糊解析部82判定为焦点模糊的程度越大。

在步骤S32A之后，特征范围分别识别部51计算基于根据范围不同的多个区域而计算出的特征量的多个特定区域识别指标(步骤S33)。

接着，综合判定部52根据焦点模糊的程度，变更所重视的特定区域识别指标并进行综合判定，检测特定区域(步骤S34A)。在焦点模糊的程度较大的情况下，与焦点模糊的程度较小的情况相比，被摄体像成为范围更大的像。焦点模糊的程度越大，综合判定部52越重视基于特征量计算范围大的特征量的特定区域识别指标来进行综合判定。

最后，运算部7A输出特定区域的检测结果(步骤S35)。由此，图像处理装置6A结束一系列的处理。另外，步骤S32A的焦点模糊状态解析处理和步骤S33的特定区域识别指标计算处理的顺序可以相反，也可以并行进行。

根据以上说明的变形例2-1，根据焦点模糊的程度对特征量计算范围不同的多个特定区域识别指标进行综合判定，因此针对由于焦点模糊而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

另外，在本变形例2-1中，管内摄影状况解析部8A可以构成为还具有在第2实施方式中说明的摄影距离估计部81。这种情况下，综合判定部52根据摄影距离的远近和焦点模糊的程度来进行综合判定。

(变形例2-2)

图20是表示第2实施方式的变形例2-2的图像处理装置的功能结构的框图。在该图所示的图像处理装置6B中，对具备与图17所示的图像处理装置6A同样的功能的构成部位赋予与图17同样的标号。

图像处理装置6B具有运算部7B和存储部3。运算部7B具有管内摄影状况解析部8B和特定区域检测部5。

管内摄影状况解析部8B具有解析管内图像中的运动抖动的运动抖动解析部83。运动抖动解析部83具有镜面反射排除部821和空间频率解析部831。

空间频率解析部831计算2维傅里叶频谱的角度分布和动径分布。具体而言，空间频率解析部831在对管内图像的规定的成分(例如G成分等)进行2维傅里叶变换而求出了2维傅里叶频谱后，一边使相对于穿过表示低频成分的中心的水平线的角度发生变化一边计算该角度在规定范围的扇状区域内的频谱之和，由此求出角度分布。此外，空间频率解析部831将与在变形例2-1中说明的方法同样的方法用于角度是规定范围的扇状区域内，由此求出角度是规定范围的扇状区域内的动径分布。

图21是表示图像处理装置6B进行的处理的概要的流程图。在图21中，对与图15所示的流程图同样的处理赋予相同的步骤标号。以下，对步骤S31后续的处理进行说明。

在步骤S32B中，运动抖动解析部83对管内图像的运动抖动状态进行解析(步骤S32B)。图22是表示运动抖动解析部83进行的处理的概要的流程图。以下，根据图22对运动抖动解析部83的处理进行说明。首先，镜面反射排除部821将管内图像中的镜面反射排除(步骤S61)。

接着，空间频率解析部831计算2维傅里叶频谱的角度分布和动径分布(步骤S62)。

运动抖动解析部83根据角度分布和动径分布来解析运动抖动状态(步骤S63)。具体而言，运动抖动解析部83根据角度分布来解析运动抖动的方向，并根据按照该解析结果而缩小了角度后的区域的动径分布，解析运动抖动状态。例如，在运动抖动发生于大致一定的方向上的情况下，在与该方向对应的角度方向上会发生相对较高的频谱的分布。这种情况下，运动抖动解析部83根据频谱的分布相对较高的区域附近的动径分布，解析运动抖动的状态。

内窥镜中存在被称作面顺次方式的摄影方式。这种情况下，按照时序依次照射R、G、B的照明光，并通过1个图形传感器进行摄影。因此，发生运动抖动的波长成分既有可能仅限于任意一种波长成分，也有可能产生于波长成分间。因此，在面顺次方式的情况下，运动抖动解析部83根据R、G、B的各波长成分进行运动抖动的解析，并且在波长成分间进行运动抖动的解析。作为波长成分间的运动抖动的解析，求出波长成分的图像之和来生成合成图像，对该合成图像进行上述的空间频率解析等即可。

在步骤S32B之后，特征范围分别识别部51计算基于根据范围不同的多个区域而计算出的特征量的多个特定区域识别指标(步骤S33)。

接着，综合判定部52根据运动抖动的程度，变更所重视的特定区域识别指标并进行综合判定，检测特定区域(步骤S34B)。在运动抖动的程度较大的情况下，与运动抖动的程度较小的情况相比，被摄体像成为范围更大的像。运动抖动的程度越大，综合判定部52越重视基于特征量计算范围大的特征量的特定区域识别指标来进行综合判定。

最后，运算部7B输出特定区域的检测结果(步骤S35)。由此，图像处理装置6B结束一系列的处理。另外，步骤S32B的运动抖动状态解析处理和步骤S33的特定区域识别指标计算处理的顺序可以相反，也可以并行进行。

根据以上说明的变形例2-2，根据运动抖动的状态(方向和程度)，对特征量计算范围不同的多个特定区域识别指标进行综合判定，因此针对由于运动抖动而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

另外，在本变形例2-2中并非一定进行将镜面反射排除的处理。

此外，在本变形例2-2中，管内摄影状况解析部8B可以构成为还具有在第2实施方式中说明的摄影距离估计部81和/或在变形例2-1中说明的焦点模糊解析部82。这种情况下，综合判定部52根据摄影距离的远近和/或焦点模糊的程度以及运动抖动的程度来进行综合判定。

(变形例2-3)

图23是表示第2实施方式的变形例2-3的图像处理装置的功能结构的框图。在该图所示的图像处理装置6C中，对具备与图12所示的图像处理装置1C和图14所示的图像处理装置6同样的功能的构成部位赋予与图12和图14同样的标号。

图像处理装置6C具有运算部7C和存储部3。运算部7C具有管内摄影状况解析部8和特定区域检测部5C。

特定区域检测部5C具有特征种类分别识别部54和综合判定部52。

综合判定部52根据摄影距离的远近，变更所重视的特定区域识别指标来进行综合判定，检测特定区域。在多个部位计算出的摄影距离的平均值小于规定的阈值的情况下、即摄影距离较近的情况下，特定区域表面的纹理或轮廓线被拍得清晰。这种情况下，综合判定部52重视基于纹理特征量或轮廓特征量的特定区域识别指标来进行综合判定。

另一方面，摄影距离的平均值在规定的阈值以上的情况下、即摄影距离较远的情况下，由于分辨率的降低，导致纹理变得不清晰，而且由于暗部噪声等的影响会使得轮廓线也容易变得不清晰。然而，颜色或像素值面形状能够维持比较稳定的状态。于是，综合判定部52重视基于颜色特征量或像素值面形状特征量的特定区域识别指标来进行判定。

此外，在摄影距离较近的情况下，在颜色成分中会产生饱和的成分(尤其在活体中R成分容易饱和)，存在颜色平衡被破坏的可能性。因此，综合判定部52也可以在不重视基于颜色特征量的特定区域识别指标的情况下进行判定。

图24是表示图像处理装置6C进行的处理的概要的流程图。在图24中，对与图15所示的流程图同样的处理赋予相同的步骤标号。以下，对步骤S32后续的处理进行说明。

在步骤S33C中，特征种类分别识别部54计算基于种类不同的特征量的多个特定区域识别指标(步骤S33C)。

此后，综合判定部52根据摄影距离的远近，变更所重视的特定区域识别指标来进行综合判定，检测特定区域(步骤S34)。

最后，运算部7C输出特定区域的检测结果(步骤S35)。由此，图像处理装置6C结束一系列的处理。另外，步骤S32的摄影距离估计处理和步骤S33C的特定区域识别指标计算处理的顺序可以相反，也可以并行进行。

根据以上说明的变形例2-3，根据摄影距离的远近对特征量的种类不同的多个特定区域识别指标进行综合判定，因此针对由于摄影距离的差异而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

另外，在本变形例2-3中，可以代替管内摄影状况解析部8，而设置具有焦点模糊解析部82的管内摄影状况解析部8A或具有运动抖动解析部83的管内摄影状况解析部8B。

在具备管内摄影状况解析部8A的情况下，综合判定部52根据焦点模糊的程度，变更所重视的特定区域识别指标来进行综合判定。在焦点模糊较小的情况下，特定区域表面的纹理或轮廓线被拍得清晰。这种情况下，综合判定部52重视基于纹理特征量或轮廓特征量的特定区域识别指标来进行综合判定。

另一方面，在焦点模糊较大的情况下，纹理或轮廓线变得不清晰。然而，颜色或像素值面形状能够维持比较稳定的状态。这种情况下，综合判定部52重视基于颜色特征量或像素值面形状特征量的特定区域识别指标来进行综合判定。

在具备管内摄影状况解析部8B的情况下，综合判定部52根据运动抖动的程度，变更所重视的特定区域识别指标来进行综合判定。例如，在运动抖动的程度较小的情况下，特定区域表面的纹理或轮廓线被拍得清晰，因此综合判定部52重视基于纹理特征量或轮廓特征量的特定区域识别指标来进行综合判定。

另一方面，在运动抖动较大的情况下，纹理或轮廓线变得不清晰。然而，颜色或像素值面形状能够维持比较稳定的状态。这种情况下，综合判定部52重视基于颜色特征量或像素值面形状特征量的特定区域识别指标来进行判定。

另外，在面顺次方式的内窥镜中发生了运动抖动的情况下，会发生色差，颜色特征量也变得不稳定。因此，在这种情况下，综合判定部52可以在不重视基于颜色特征量的特定区域识别指标的情况下进行判定。

在本变形例2-3中，管内摄影状况解析部8还可以构成为具有摄影距离估计部81、焦点模糊解析部82和运动抖动解析部83中的任意2个或全部。

(变形例2-4)

图25是表示第2实施方式的变形例2-4的图像处理装置的功能结构的框图。在该图所示的图像处理装置6D中，对具备与图9所示的图像处理装置1B和图20所示的图像处理装置6B同样的功能的构成部位赋予与图9和图20同样的标号。

图像处理装置6D具有运算部7D和存储部3。运算部7D具有管内摄影状况解析部8B和特定区域检测部5B。

图26是表示图像处理装置6D进行的处理的概要的流程图。在图26中，对与图21所示的流程图同样的处理赋予相同的步骤标号。以下，对步骤S32B后续的处理进行说明。

在步骤S33D中，形状方向分别识别部53计算基于根据形状和/或方向不同的多个区域而计算出的特征量的多个特定区域识别指标(步骤S33D)。形状方向分别识别部53例如使用图10所示的特征量计算区域群202，根据多个区域来计算特征量。

此后，综合判定部52根据运动抖动的方向、程度，变更所重视的特定区域识别指标来进行综合判定，检测特定区域(步骤S34D)。在发生了运动抖动的情况下，摄影对象被以在运动抖动的方向上伸长了运动抖动的程度(大小)的形式被拍到。这种情况下，综合判定部52重视基于根据在运动抖动的方向上伸长了运动抖动的程度后的形状的特征量计算区域而计算出的特征量的特定区域识别指标来进行综合判定。

最后，运算部7D输出特定区域的检测结果(步骤S35)。由此，图像处理装置6D结束一系列的处理。另外，步骤S32B的运动抖动状态解析处理和步骤S33D的特定区域识别指标计算处理的顺序可以相反，也可以并行进行。

根据以上说明的变形例2-4，根据运动抖动的状态，对特征量计算区域的形状和/或方向不同的多个特定区域识别指标进行综合判定，因此针对由于运动抖动而发生的图像的变化，能够重视基于更为有效的特征量的特定区域识别指标，能够精度良好地检测特定区域。

(第3实施方式)

图27是表示本发明的第3实施方式的图像处理装置的功能结构的框图。该图所示的图像处理装置9具有运算部10和存储部11。运算部10具有管内摄影状况解析部12和特定区域检测部13。存储部11具有参数存储部111。

管内摄影状况解析部12既可以是在第1实施方式和2中分别说明的多个管内摄影状况解析部中的任意一个，也可以是将它们适当组合而构成的。

特定区域检测部13具有：识别器分别识别部131，其计算基于不同的识别器的多个特定区域识别指标；以及综合判定部132，其重视如下的特定区域识别指标来进行综合判定，检测特定区域，该特定区域识别指标基于根据与管内摄影状况同等的管内摄影状况下的示教数据而制作出的识别参数的识别器。

识别器分别识别部131首先在图像内的任意的位置处设定特征量计算区域。接着，识别器分别识别部131根据各特征量计算区域内计算特征量，根据该特征量计算基于不同的识别参数的识别器的多个特定区域识别指标。这里，识别参数指的是特征空间内的识别边界、与管内摄影状况对应的分布模型、识别函数、代表模式(模板)等。此处所谓的同等表示的是管内摄影状况解析部12的解析结果(深部的有无或方向、内壁梯度的大小或方向、摄影距离的远近、焦点模糊的有无、运动抖动的有无等)虽然允许存在规定的误差但几乎相同的情况。实际情况下，对预先得到的多个图像进行与管内摄影状况解析同样的解析(该解析既可以是机械的处理，也可以是人力进行的作业)，在确定了各解析结果的图像后，根据基于各个解析结果的图像的示教数据，制作出与各个解析结果对应的参数，并使用这些参数来计算多个特定区域识别指标。

例如，为了在从斜向对管内壁进行摄影得到的图像中检测特定区域，根据在从斜向对管内壁进行摄影得到的图像中拍到的特定区域的示教数据而制作的识别参数适用。与此相对，为了在从正面对管内壁进行摄影得到的图像中检测特定区域，根据在从正面对管内壁进行摄影得到的图像中拍到的特定区域的示教数据而制作的识别参数适用。关于管深部区域或内壁梯度方向的差异、摄影距离的远近、焦点模糊的程度、运动抖动的程度等管内摄影状况，根据同等的管内摄影状况下的示教数据而制作的识别参数也适用。此外，在复合地发生了多个管内摄影状况的情况下，根据符合这种复合的管内摄影状况的示教数据而制作的识别参数最适用。在本第3实施方式中，识别器分别识别部131预先制作好与管内摄影状况的差异对应的多个识别参数，对根据特征量计算区域求出的特征量(特征矢量)，计算基于这些多个识别参数的特定区域识别指标。

存储部11具有的参数存储部111将根据与多个管内摄影状况分别对应的多个示教数据而制作的识别参数与管内摄影状况对应起来存储。另外，还可以将识别参数预先存储于外部装置，由综合判定部132从外部装置取得参数以取得识别参数。

图28是表示图像处理装置9执行的处理的概要的流程图。首先，运算部10取得作为处理对象的管内图像(步骤S71)。

接着，管内摄影状况解析部12对管内图像的摄影状况进行解析(步骤S72)。

此后，识别器分别识别部131计算基于不同的识别参数的识别器的多个特定区域识别指标(步骤S73)。

接着，综合判定部132从参数存储部111中提取出根据与管内摄影状况同等的管内摄影状况下的示教数据而制作的识别参数，重视基于该识别参数的识别器的特定区域识别指标来进行综合判定，检测特定区域(步骤S74)。

最后，运算部10输出特定区域检测结果(步骤S75)。由此，图像处理装置9结束一系列的处理。另外，步骤S72的管内摄影状况解析处理和步骤S73的特定区域识别指标计算处理的顺序既可以相反，也可以并行进行。

根据以上说明的本发明的第3实施方式，根据管内摄影状况对基于不同的识别参数的识别器的多个特定区域识别指标进行综合判定，因此针对由于管内摄影状况的差异而发生的图像的变化，能够重视基于更为有效的识别器的特定区域识别指标，能够精度良好地检测特定区域。

另外，综合判定部132还可以进行在第1和第2实施方式中说明的综合判定。

(第4实施方式)

图29是表示本发明的第4实施方式的图像处理装置的功能结构的框图。在该图所示的图像处理装置14中，对具备与图3所示的图像处理装置1同样的功能的构成部位赋予与图3同样的标号。

图像处理装置14具有运算部15和存储部3。运算部15具有区域分割部16、管内摄影状况解析部17和特定区域检测部18。

区域分割部16对管内图像进行区域分割。作为区域分割的方法，可以举出规定大小的矩形分割或基于边缘的区域分割(参照日本特开2012-238041号公报)等的方法。另外，在进行矩形分割的情况下，可以将矩形的一部分重叠来进行分割。

管内摄影状况解析部17既可以是在第1和第2实施方式中分别说明的多个管内摄影状况解析部中的任意1个，也可以是将它们适当组合起来而得到的。

特定区域检测部18既可以是在第1至第3实施方式中分别说明的多个特定区域检测部中的任意1个，也可以将它们适当组合起来。

图30是表示图像处理装置14执行的处理的概要的流程图。首先，运算部15取得作为处理对象的管内图像(步骤S81)。

接着，区域分割部16对管内图像进行区域分割(步骤S82)。

此后，管内摄影状况解析部17对各分割区域的管内摄影状况进行解析(步骤S83)。

接着，特定区域检测部18在各分割区域计算多个特定区域识别指标(步骤S84)。

此后，特定区域检测部18在各分割区域进行与管内摄影状况对应的特定区域识别指标的综合判定，检测特定区域(步骤S85)。

最后，运算部15输出特定区域检测结果(步骤S86)。由此，图像处理装置14结束一系列的处理。另外，步骤S83的管内摄影状况解析处理和步骤S84的特定区域识别指标计算处理的顺序既可以相反，也可以并行进行。

根据以上说明的本发明的第4实施方式，针对每个分割区域进行与管内摄影状况对应的特定区域的检测，因此能够精度良好地检测特定区域。

(其他的实施方式)

以上，对用于实施本发明的方式进行了说明，然而本发明不应仅限于上述第1至第4实施方式的内容。例如，除了可用于活体用的内窥镜图像以外，还可以应用于在CT结肠镜检查中生成的虚拟内窥镜的管腔内图像或由工业用内窥镜拍摄到的管内图像。

这样，本发明还可以包含以上未记载的各种实施方式等。

标号说明

1，1A，1B，1C，6，6A，6B，6C，6D，9，14 图像处理装置

2，2A，2B，2C，7，7A，7B，7C，7D，10，15 运算部

3，11 存储部

4，4A，8，8A，8B，12，17 管内摄影状况解析部

5，5B，5C，13，18 特定区域检测部

16 区域分割部

41 管深部区域检测部

42 内壁梯度计算部

51 特征范围分别识别部

52，132 综合判定部

53 形状方向分别识别部

54 特征种类分别识别部

81 摄影距离估计部

82 焦点模糊解析部

83 运动抖动解析部

111 参数存储部

131 识别器分别识别部

201 管内图像

202 特征量计算区域群

411，811 低吸收波长成分选择部

412 边缘周边区域排除部

413 低像素值区域检测部

421 像素值梯度计算部

821 镜面反射排除部

822，831 空间频率解析部

Claims (23)

1.一种图像处理装置，其特征在于，具有：

管内摄影状况解析部，其在对管内进行摄影而得到的管内图像中对于根据被摄体与摄影侧之间的位置关系而确定的管内摄影状况进行解析；以及

特定区域检测部，其计算针对所述管内图像的多个特定区域识别指标，通过与所述管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域，

其中，所述管内摄影状况包括：管深部区域或内壁梯度方向的差异、摄影距离的远近、焦点模糊的程度和运动抖动的程度中的至少一个。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述特定区域检测部具有：

特征范围分别识别部，其计算多个特定区域识别指标，该多个特定区域识别指标基于根据范围不同的多个区域而计算出的特征量；以及

综合判定部，其根据所述管内摄影状况来变更多个特定区域识别指标中的所重视的特定区域识别指标并进行综合判定。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述管内摄影状况解析部具有检测所述管内图像中的管深部区域的管深部区域检测部和计算所述管内图像内的管内壁的梯度的内壁梯度计算部中的至少一方，

所述综合判定部根据所述管深部区域的有无和所述管内壁的梯度中的至少一方变更所重视的特定区域识别指标并进行综合判定。

4.根据权利要求3所述的图像处理装置，其特征在于，

在存在所述管深部区域的情况下，所述综合判定部重视基于与不存在所述管深部区域的情况相比计算范围大的特征量的所述特定区域识别指标。

5.根据权利要求3所述的图像处理装置，其特征在于，

在所述管内壁的梯度为阈值以上的情况下，所述综合判定部重视基于与所述管内壁的梯度小于所述阈值的情况相比计算范围大的特征量的所述特定区域识别指标。

6.根据权利要求2所述的图像处理装置，其特征在于，

所述管内摄影状况解析部具有估计到所述管内图像中的管内壁的摄影距离的摄影距离估计部、解析所述管内图像的焦点模糊的状态的焦点模糊解析部和解析所述管内图像的运动抖动的状态的运动抖动解析部中的至少任意一方，

所述综合判定部根据所述摄影距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方，变更所重视的所述特定区域识别指标并进行综合判定。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述摄影距离越大、所述焦点模糊的程度越大或所述运动抖动的程度越大，所述综合判定部越重视基于计算范围大的特征量的所述特定区域识别指标。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述特定区域检测部具有：

形状方向分别识别部，其计算基于根据形状和/或方向不同的多个区域而计算出的特征量的多个特定区域识别指标；以及

综合判定部，其根据所述管内摄影状况变更所述多个特定区域识别指标中的所重视的特定区域识别指标并进行综合判定。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述管内摄影状况解析部具有从所述管内图像中检测管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方，

所述综合判定部根据所述管深部区域的方向和所述管内壁的梯度的方向中的至少一方，变更所重视的所述特定区域识别指标并进行综合判定。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述综合判定部重视基于在与所述管深部区域的方向或所述管内壁的梯度的方向垂直的方向上长的计算区域形状的特征量的所述特定区域识别指标。

11.根据权利要求8所述的图像处理装置，其特征在于，

所述管内摄影状况解析部具有对所述管内图像的运动抖动的状态进行解析的运动抖动解析部，

所述综合判定部根据所述运动抖动的状态，变更所重视的所述特定区域识别指标并进行综合判定。

12.根据权利要求1所述的图像处理装置，其特征在于，

所述特定区域检测部具有：

特征种类分别识别部，其计算基于被分类为颜色、轮廓、像素值面形状、纹理中的任意种类的种类不同的特征量的多个特定区域识别指标；以及

综合判定部，其根据所述管内摄影状况变更所述多个特定区域识别指标中的所重视的特定区域识别指标并进行综合判定。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述管内摄影状况解析部具有检测所述管内图像中的管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方，

所述综合判定部根据所述管深部区域的有无和所述管内壁的梯度中的任意一方，变更所重视的所述特定区域识别指标并进行综合判定。

14.根据权利要求13所述的图像处理装置，其特征在于，

在存在所述管深部区域的情况下，或所述管内壁的梯度在规定值以上的情况下，所述综合判定部重视基于轮廓特征量的所述特定区域识别指标。

15.根据权利要求13所述的图像处理装置，其特征在于，

在不存在所述管深部区域的情况下，或所述管内壁的梯度小于规定值的情况下，所述综合判定部重视基于像素值面形状特征量或纹理特征量的所述特定区域识别指标。

16.根据权利要求12所述的图像处理装置，其特征在于，

所述管内摄影状况解析部具有估计到所述管内图像中的管内壁的摄影距离的摄影距离估计部、解析所述管内图像的焦点模糊的状态的焦点模糊解析部和解析所述管内图像的运动抖动的状态的运动抖动解析部中的至少任意一方，

所述综合判定部根据所述摄影距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方，变更所重视的所述特定区域识别指标并进行综合判定。

17.根据权利要求16所述的图像处理装置，其特征在于，

在所述摄影距离大的情况下、所述焦点模糊的程度在规定的程度以上的情况下、或所述运动抖动的程度在规定的程度以上的情况下，所述综合判定部重视基于颜色特征量或像素值面形状特征量的所述特定区域识别指标。

18.根据权利要求16所述的图像处理装置，其特征在于，

在所述摄影距离小的情况下、所述焦点模糊的程度小于规定的程度的情况下、或运动抖动的程度小于规定的程度的情况下，所述综合判定部重视基于纹理特征量的所述特定区域识别指标。

19.根据权利要求1所述的图像处理装置，其特征在于，

所述特定区域检测部具有：

识别器分别识别部，其计算基于不同的多个识别器的多个特定区域识别指标；以及

综合判定部，其根据所述管内摄影状况变更所述多个特定区域识别指标中的所重视的特定区域识别指标并进行综合判定。

20.根据权利要求19所述的图像处理装置，其特征在于，

所述综合判定部重视基于如下识别参数的识别器的所述特定区域识别指标，该识别参数是根据与解析出的管内摄影状况同等的管内摄影状况下的示教数据而制作出的。

21.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还具有对所述管内图像进行区域分割的区域分割部，

所述特定区域检测部按照由所述区域分割部分割出的每个区域，通过与所述管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域。

22.一种图像处理方法，其特征在于，包括：

管内摄影状况解析步骤，在管内图像中，对于根据被摄体与摄影侧之间的位置关系而确定的管内摄影状况进行解析；以及

特定区域检测步骤，计算针对所述管内图像的多个特定区域识别指标，通过与所述管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域，

其中，所述管内摄影状况包括：管深部区域或内壁梯度方向的差异、摄影距离的远近、焦点模糊的程度和运动抖动的程度中的至少一个。

23.一种计算机可读取的存储介质，该存储介质存储了图像处理程序，其特征在于，该图像处理程序使计算机执行如下步骤：

管内摄影状况解析步骤，在对管内进行摄影而得到的管内图像中，对于根据被摄体与摄影侧之间的位置关系而确定的管内摄影状况进行解析；以及

特定区域检测步骤，计算针对所述管内图像的多个特定区域识别指标，通过与所述管内摄影状况对应的特定区域识别指标的综合判定来检测特定区域，

其中，所述管内摄影状况包括：管深部区域或内壁梯度方向的差异、摄影距离的远近、焦点模糊的程度和运动抖动的程度中的至少一个。

Images