CN107708521B - 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序 - Google Patents

Abstract

提供一种提供图像处理装置等，能够针对由内窥镜拍摄的图像，判别诊断的必要性低的图像，进行高效的诊断支援。图像处理装置(4)具有：动作判定部(110)，其根据由插入到被检体的内窥镜拍摄的图像，判定拍摄时的该内窥镜的操作者的动作；图像确定部(120)，其根据动作判定部(110)的判定结果，确定作为特定区域的检测对象的检测对象图像；以及检测部(130)，其从检测对象图像检测特定区域。

Description

图像处理装置、内窥镜系统、图像处理方法以及图像处理程序

技术领域

本发明涉及从由观察活体内的内窥镜拍摄的图像中检测异常部的图像处理装置、内窥镜系统、图像处理方法以及图像处理程序。

背景技术

近年来，作为能够非侵入地观察活体的管腔内的医用观察装置，内窥镜广泛普及。此外，从由内窥镜拍摄的图像中预先去除不适于观察的图像，或者提取病变等具有特定特征的图像，或者针对观察对象的图像事先进行画质改善的诊断支援技术的开发也一直在进展。

例如在专利文献1中公开了如下技术：在通过腺管开口形态(pit pattern)分析等进行诊断时，作为预处理包含模糊化或镜面反射等，进行诊断不需要的低品质图像的删除、以及高对比度化和超分辨率等画质改善。

现有技术文献

专利文献

专利文献1：日本特表2010-512173号公报

发明内容

发明所要解决的课题

由内窥镜拍摄的图像所需的处理能够通过医生即内窥镜的操作者在拍摄中进行的动作，一定程度上进行假定。例如，在操作者对被检体进行了一些处置的情况下，已经发现了病变的可能性较高，所以对在处置中拍摄的图像进行诊断的必要性较低。此外，在操作者使用窄带光等特殊光进行观察的情况下，鉴别已经发现的病变的可能性较高，所以从在特殊光下拍摄的图像中重新搜索病变的必要性较低。

关于此点，在上述专利文献1中，根据画质来判别诊断不需要的图像并改善诊断对象的图像的画质等，实现了诊断支援的效率化，但不进行与操作者的动作相应的图像的判别、对原来无需诊断的图像进行多余的处理等，诊断支援的效率化被限制。

本发明正是鉴于上述问题而完成的，其目的在于提供一种能够根据内窥镜的操作者的动作而对由内窥镜拍摄的图像判别诊断的必要性较低的图像，进行高效的诊断支援的图像处理装置、内窥镜系统、图像处理方法以及图像处理程序。

用于解决课题的手段

为了解决上述课题，实现目的，本发明的图像处理装置的特征在于，具有：动作判定部，其根据由插入到被检体的内窥镜拍摄的图像，判定所述图像的拍摄时的该内窥镜的操作者的动作；图像确定部，其根据所述动作判定部的判定结果，确定是否将所述图像作为特定区域的检测对象图像；以及检测部，其从所述检测对象图像中检测所述特定区域。

本发明的图像处理方法的特征在于，包含：动作判定步骤，运算部根据由插入到被检体的内窥镜拍摄的图像，判定所述图像的拍摄时的该内窥镜的操作者的动作；图像确定步骤，所述运算部根据所述动作判定步骤中的判定结果，确定是否将所述图像作为特定区域的检测对象图像；以及检测步骤，所述运算部从所述检测对象图像检测所述特定区域。

本发明的图像处理程序的特征在于，使计算机执行以下步骤：动作判定步骤，根据由插入到被检体的内窥镜拍摄的图像，判定所述图像的拍摄时的该内窥镜的操作者的动作；图像确定步骤，根据所述动作判定步骤中的判定结果，确定是否将所述图像作为特定区域的检测对象图像；以及检测步骤，从所述检测对象图像检测所述特定区域。

发明效果

根据本发明，能够根据图像的拍摄时的内窥镜的操作者的动作，确定特定区域的检测对象图像，所以能够提取诊断所需的图像来检测特定区域。因此，能够进行高效的诊断支援。

附图说明

图1是示出本发明实施方式1的内窥镜系统的结构例的示意图。

图2是示出图1所示的图像处理装置的结构的框图。

图3是示出图2所示的处置动作判定部的结构的框图。

图4是示出图2所示的鉴别动作判定部的结构的框图。

图5是示出图2所示的注视动作判定部的结构的框图。

图6是用于说明褶皱里侧确认动作的示意图。

图7是示出图2所示的插入动作判定部的结构的框图。

图8是示出本发明实施方式1的图像处理方法的流程图。

图9是示出根据图像来判定动作的处理的详细情况的流程图。

图10是示出本发明实施方式2的图像处理装置具备的运算部的结构的框图。

图11是示出本发明实施方式2的图像处理方法的流程图。

图12是示出检测对象区域的设定处理的详细情况的流程图。

图13是示出本发明实施方式3的图像处理装置具备的运算部的结构的框图。

图14是示出本发明实施方式3的图像处理方法的流程图。

具体实施方式

以下，参照附图说明本发明实施方式的图像处理装置、内窥镜系统、图像处理方法以及图像处理程序。另外，本发明不受这些实施方式限定。另外，在各附图的记载中，对相同部分标注相同标号来示出。

(实施方式1)

图1是示出本发明实施方式1的内窥镜系统的结构例的示意图。图1所示的内窥镜系统1具有：内窥镜2，其插入到被检体的体内进行拍摄，生成图像并输出；光源装置3，其产生从内窥镜2的前端射出的照明光；图像处理装置4，其对内窥镜2生成的图像实施各种图像处理；以及显示装置5，其显示由图像处理装置4实施图像处理后的图像。

内窥镜2具有：插入部21，其具有挠性，呈细长形状；操作部22，其与插入部21的基端侧连接，受理各种操作信号的输入；以及通用缆线23，其从操作部22起在与插入部21延伸的方向不同的方向上延伸，内置有与图像处理装置4和光源装置3连接的各种电缆。

插入部21具有：前端部24；弯曲部25，其由多个弯曲块构成，弯曲自如；挠性针管26，其与弯曲部25的基端侧连接，具有挠性，呈长条状。在该插入部21的前端部24设置有：照明部，其利用光源装置3产生的照明光对被检体内进行照射；光学系统，其会聚在被检体内反射的照明光；CCD或CMOS等摄像元件，其通过接收由光学系统会聚的照明光并进行光电转换，生成图像信号。以下，也将这些光学系统和摄像元件统一称作摄像部。

在操作部22与前端部24之间连接有：集合电缆，其捆束有与图像处理装置4之间进行电信号的收发的多个信号线；以及光导，其传送光。多个信号线中包含将摄像元件输出的图像信号传送到图像处理装置4的信号线、及将图像处理装置4输出的控制信号传送到摄像元件的信号线等。

操作部22具有：弯曲旋钮22a，其使弯曲部25在上下方向和左右方向上弯曲；处置器具插入部22b，其插入生检针、活体钳子、激光手术刀和检査探头等处置器具；多个开关22c，其是除了输入图像处理装置4、光源装置3的操作指示信号以外，还输入送气单元、送水单元、气体输送单元等周边设备的操作指示信号的输入部。

通用缆线23至少内置有光导和集合电缆。此外，在与通用缆线23的操作部22相连的一侧不同的一侧的端部设置有：连接器部27，其在光源装置3上拆装自如；以及电连接器部29，其经由形成线圈状的线圈电缆28与连接器部27电连接，与图像处理装置4拆装自如。从摄像元件输出的图像信号经由线圈电缆28和电连接器部29，输入到图像处理装置4。此外，与对操作部22进行的操作相关的信息、与从光源装置3输出的照明光的种类(通常光、特殊光等)或强度等相关的信息等作为系统信息，经由线圈电缆28和电连接器部29输入到图像处理装置4。

图2是示出图1所示的图像处理装置4的结构的框图。图像处理装置4对在内窥镜2的检査中拍摄的图像进行与内窥镜的操作者在拍摄时进行的动作相应的图像处理。由内窥镜2拍摄的图像通常是在各像素位置处具有针对R(红)、G(绿)、B(蓝)的波长成分的像素级(像素值)的彩色图像。

如图2所示，图像处理装置4具有：控制部10，其控制该图像处理装置4全体的动作；图像取得部11，其从内窥镜取得图像；操作输入部12，其将与从外部进行的操作相应的输入信号输入到控制部10；输出部13，其是将显示用的图像信号输出到显示装置5的接口；存储部14，其存储图像取得部11取得的图像或各种程序；以及运算部15，其对图像数据执行规定的图像处理。

控制部10使用CPU(Central Processing Unit：中央处理器)等通用处理器或ASIC(application specific integrated circuit：面向特定用途的集成电路)等执行特定功能的各种运算电路等专用处理器来构成。在控制部10为通用处理器的情况下，通过读入存储部14存储的各种程序，进行对构成图像处理装置4的各个部的指示和数据的传送等，统一控制图像处理装置4全体的动作。此外，在控制部10为专用处理器的情况下，处理器可以单独执行各种处理，也可以通过使用存储部14存储的各种数据等，由处理器和存储部14协作或结合地执行各种处理。

图像取得部11由从内窥镜2取入图像的接口构成。或者，可以构成为将从内窥镜2输出的图像暂时存储到服务器等存储装置中，在该情况下，图像取得部11由与服务器连接的通信装置等构成，与服务器之间进行数据通信来取得图像。

操作输入部12由例如键盘、鼠标、触摸面板及各种开关等输入器件构成，将根据针对这些输入设备的来自外部的操作而产生的输入信号输入到控制部10。

输出部13在控制部10的控制下，将显示用的图像信号输出到显示装置5，使其显示各种画面。

存储部14由能够进行更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或者CD-ROM等信息存储装置及针对该信息存储装置的信息的写入读取装置等构成。存储部14除了存储图像取得部11取得的图像数据以外，还存储用于使图像处理装置4动作并使图像处理装置4执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言，存储部14具有程序存储部141，该程序存储部141存储使该图像处理装置4对由内窥镜拍摄的图像执行与拍摄时的操作者的动作相应的图像处理的图像处理程序。

运算部15使用CPU等通用处理器或ASIC等执行特定功能的各种运算电路等专用处理器构成。在运算部15为通用处理器的情况下，通过读入程序存储部141存储的图像处理程序，对由内窥镜拍摄的图像执行与拍摄时的操作者的动作相应的图像处理。此外，在运算部15为专用处理器的情况下，处理器可以单独执行各种处理，也可以通过使用存储部14存储的各种数据等，由处理器和存储部14协作或结合地执行图像处理。

接着，对运算部15的结构进行说明。如图2所示，运算部15具有：动作判定部110，其根据由内窥镜2拍摄的被检体内的图像，判定该图像的拍摄时的操作者的动作；图像确定部120，其根据操作者的动作的判定结果，确定是否将该图像作为异常区域的检测对象图像；以及检测部130，其从检测处理图像检测异常区域。这里，异常区域是指如病变部那样呈现与正常的粘膜区域不同的样貌的特定区域，根据异常的种类，利用颜色特征量、形状特征量或纹理特征量等进行识别。

动作判定部110具有：处置动作判定部111、鉴别动作判定部112、注视动作判定部113和插入动作判定部114。动作判定部110可以具有这些判定部内的至少1个，也可以全部具有这4个判定部。

处置动作判定部111判定判定对象的图像的拍摄时的操作者的动作是否是对被检体进行处置的处置动作。处置动作包含使用各种处置器具来进行治疗等的动作、及对被检体内送水来进行清洗的动作。

图3是示出处置动作判定部111的结构的框图。如图3所示，处置动作判定部111具有处置器具判定部111a和清洗动作判定部111b。处置动作判定部111可以具有处置器具判定部111a和清洗动作判定部111b中的至少任意一个，也可以具有双方。处置动作判定部111根据这些判定部的判定结果，判定处置动作的有无。

处置器具判定部111a判定是否从图像内检测出处置器具区域，在该处置器具区域中拍到了在被检体的处置中使用的处置器具。内窥镜检査中使用的处置器具包括：切除作为在粘膜上皮局部隆起的病变的息肉的息肉切除术所使用的高频勒除器、捏住无收缩的小息肉进行切除的热活检中使用的热活检钳子、在切除隆起较少且平坦的早期肿瘤等病变时将生理盐水等注入到粘膜下层用的局部注射针等。

这些处置器具的前端均为金属制，设置于管形状的轴的前端部。所以，在由内窥镜照射了照明光时，作为高亮度的管形状区域显现在图像内。因此，处置器具判定部111a检测亮度比阈值高且呈管形状的区域，作为处置器具区域。详细而言，处置器具判定部111a首先根据图像内的各像素的RGB颜色成分生成亮度直方图，根据由粘膜区域等构成的主要分布的山来确定阈值并进行阈值处理，由此提取高亮度区域。接下来，提取该高亮度区域的轮廓，通过霍夫变换(Hough Transform)等判定该轮廓是否通过由直线和圆形构成的几何学的形状构成。在高亮度区域的轮廓由几何学的形状构成的情况下，将该高亮度区域判定为处置器具区域。在从图像内检测出处置器具区域的情况下，处置器具判定部1111判定是否在拍摄时进行了使用处置器具的处置动作。

清洗动作判定部111b判定是否从图像内检测出清洗区域，在该清洗区域中拍到了向被检体内送水的清洗用的水。清洗区域呈现由于照明光被水面或水滴反射而产生的镜面反射，且面积和位置的时间变化较大。因此，清洗动作判定部111b检测亮度高且面积和位置的时间变化大的区域，作为清洗区域。详细而言，清洗动作判定部111首先根据图像内的各像素的像素值来计算亮度，通过针对亮度的阈值处理，提取高亮度区域。而且，根据提取出的高亮度区域的边界附近的亮度，提取边界附近的亮度差大的高亮度区域，作为镜面反射区域。而且，取得与该图像的规定帧前(例如前一帧)的图像之间的镜面反射区域的面积和位置的差分，在这些差分比阈值大的情况下，判定为该镜面反射区域是清洗区域。

或者，清洗动作判定部111b可以检测图像内的特定的频率成分(例如高频成分)的时间变化大的区域，作为清洗区域。在从图像内检测出清洗区域的情况下，清洗动作判定部111b判定为在拍摄时进行了清洗动作。

作为判定处置动作的其他方法，可以在内窥镜2的处置器具插入部22b中设置检测处置器具被插入到被检体内的情况的传感器，从内窥镜2取得从该传感器输出的检测信号，由此系统性地判定是否进行了处置动作。或者，可以通过从内窥镜系统1取得表示从送水箱向内窥镜2送水用的泵在工作中的信号，系统性地判定进行了清洗动作的情况。

鉴别动作判定部112判定判定对象的图像的拍摄时的操作者的动作是否是对在图像内被观察的病变等判断(鉴别)病变的程度的鉴别动作。图4是示出鉴别动作判定部112的结构的框图。如图4所示，鉴别动作判定部112具有：放大判定部112a、染色判定部112b、特殊光判定部112c、正面观察判定部112d和运动判定部112e。鉴别动作判定部112可以具有这些判定部中的至少1个，也可以具有全部。鉴别动作判定部112根据这些判定部的判定结果，判定鉴别动作的有无。

放大判定部112a判定判定对象的图像是否是放大图像、即是否是使内窥镜2的前端部24与粘膜接近至规定距离以下而拍摄出的图像。详细而言，放大判定部112a首先取得图像的中心附近的距离信息。这里，距离信息是指表示从内窥镜2的前端部24到被摄体的距离的信息。使用如下的值作为距离信息：利用在作为被摄体的粘膜表面拍摄到的血管等引起的吸收少且可观察到与粘膜表面之间的距离的相关性。例如，与像素值的RGB的各颜色成分中的R成分对应的波长成分从血红蛋白的吸光频带离开且为长波长，所以难于受到活体内的吸收、散射的影响，所以该波长成分的衰减量对应于在被检体内行进的距离。因此，能够使用R成分的值作为距离信息。在该情况下，能够判断为：R成分的值越大，距离越近，R成分的值越小，距离越远。放大判定部112a根据这样的距离信息，将图像的中心附近的距离比阈值小的图像判定为放大图像。例如在使用R成分的值作为距离信息的情况下，将图像的中心附近的像素的像素值的R成分的值比阈值大的图像判定为放大图像。

或者，作为判定放大图像的其他方法，放大判定部112a可以分析图像内的腺管开口形态。很多情况下操作者对图像进行放大时是想要详细观察粘膜上的腺管开口形态的情况。所以，操作者操作内窥镜2以便一定程度上清楚且较大地拍摄到腺管开口形态。因此，通过预先取得从放大了图像时的腺管开口形态提取的频率成分，对该频率成分与从判定对象的图像提取出的频率成分进行比较，能够判定该判定对象的图像是否是放大图像。

作为判定放大图像的又一其他方法，放大判定部112a可以通过从内窥镜2取得将内窥镜2中的拍摄模式切换为放大观察时的切换信号，系统性地进行判定。

染色判定部112b判定判定对象的图像是否是对作为被摄体的粘膜实施染色后的染色图像。详细而言，染色判定部112b首先在图像内设定关注区域，根据该关注区域内的各像素的RGB各颜色成分，计算平均颜色。而且，判定该平均颜色是否从通常的粘膜区域的色相分布偏离。例如，在利用大肠检査中使用的靛蓝胭脂红对粘膜进行了染色的情况下，平均颜色朝蓝色方向偏移。在这样的情况下，染色判定部112b判定为该图像是染色图像。

特殊光判定部112c判定判定对象的图像是否是使用特殊光拍摄出的特殊光图像。详细而言，特殊光判定部112c首先在图像内设定关注区域，根据该关注区域内的各像素的RGB各颜色成分，计算平均颜色。而且，判定该平均颜色是否从通常的粘膜区域的色相分布偏离。例如，在使用拍摄粘膜深部的血管的绿色波段的窄带光进行拍摄的情况下，平均颜色朝绿色方向偏移。在这样的情况下，特殊光判定部112c判定为该图像是特殊光图像。

或者，作为判定特殊光图像的其他方法，特殊光判定部112c可以通过从内窥镜2取得将内窥镜2中的拍摄模式切换为特殊光拍摄模式时的切换信号，系统性进行判定。

正面观察判定部112d判定判定对象的图像是否是从正面拍摄了作为被摄体的粘膜而得到的正面观察图像。正面观察是指在内窥镜2的前端部24设置的摄像部的视野从正面捕捉到与管腔的侧面相抵的粘膜的状态。

这里，由于照明光难以到达管腔的进深方向的管深部，所以在摄像部的视野朝向管深部方向的情况下，在图像内的中心附近拍到亮度低的管深部区域。此外，在该情况下，与管腔的侧面相抵的粘膜被倾斜地拍摄到，所以图像内的粘膜区域的梯度强度变大。与此相对，在摄像部的视野朝向粘膜的方向的情况下，管深部区域未被拍到图像内，并且粘膜区域是支配性的，并且，粘膜区域的梯度强度变小。因此，正面观察判定部112d将如下图像判定为正面观察图像：该图像中未检测出管深部区域，粘膜区域是支配性的，即，占据图像内的面积的规定比率以上，且粘膜区域的梯度强度为阈值以下。粘膜区域的梯度强度可以根据粘膜区域的距离信息进行计算。

管深部区域被检测为亮度低、具有一定程度大小的面积、且比较接近圆形的形状(非细长的形状)的区域。因此，正面观察判定部112d首先从图像内检测亮度为阈值以下的低亮度区域，判定该低亮度区域的面积是否为规定值以上。在低亮度区域的面积为规定值以上的情况下，正面观察判定部112d进一步判定低亮度区域是否为细长形状。例如能够计算低亮度区域的面积与低亮度区域的外接矩形的面积的比率，根据该比率来进行细长形状的判定。具体而言，在该比率为规定值以下的情况下，低亮度区域的形状为细长形状，判定为该低亮度区域不是管深部区域。另一方面，在上述比率比规定值大的情况下，该低亮度区域为比较接近圆形的形状(非细长的形状)，判定为该低亮度区域是管深部区域。

运动判定部112e判定是否持续一定期间以上拍摄了在图像内拍到的构造的运动小的图像。详细而言，运动判定部112e首先计算表示与规定帧前(例如1个帧或几个帧)的图像之间对应的构造的运动的量，提取该量为阈值以下的图像，作为运动小的小运动图像。而且，判定判定对象的图像是否为小运动图像、且是否在判定对象的图像之前，持续一定期间以上拍摄了小运动图像。

说明表示图像内拍到的构造的运动的量的一例。首先，将图像内分割为多个矩形区域，针对各矩形区域，通过块匹配法(参考：CG－ARTS協会、“ディジタル画像処理”、第二版、第243页)计算运动矢量。而且，能够使用运动矢量的长度的代表值(最大值或平均值等)，作为表示构造的运动的量，该运动矢量表示在进行对比的图像之间相关值高的矩形区域彼此的运动量。

注视动作判定部113判定判定对象的图像的拍摄时的操作者的动作是否是操作者注视被检体内的某个区域的注视动作。图5是示出注视动作判定部113的结构的框图。如图5所示，注视动作判定部113具有处置区域判定部113a、正面观察判定部113b、近景判定部113c、运动判定部113d和褶皱里侧确认判定部113e。另外，注视动作判定部113可以具有这些各个部中的至少1个，也可以具有全部。注视动作判定部113根据这些判定部的判定结果，判定注视动作的有无。

处置区域判定部113a判定在判定对象的图像中是否存在立即实施处置的区域。是因为如果存在立即实施处置的区域，则认为操作者当然正在注视该处置区域。在被检体内实施了处置的情况下，可观察在图像内拍到有止血用的夹子等器具或出血的痕迹的区域。处置区域判定部113a检测拍到有这样的器具和出血的痕迹的区域，作为立即实施处置的处置区域。

夹子等器具在图像内被观察为与粘膜区域不同颜色的管形状区域。因此，处置区域判定部113a首先根据图像内的各像素的RGB各颜色成分计算颜色特征量的分布，提取呈现与粘膜区域的颜色特征量的分布不同的分布的区域作为候选区域。而且，进行如下处理：从候选区域提取轮廓，进一步通过霍夫变换等从该轮廓提取直线或曲线这样的几何学的形状。而且，将从轮廓提取了几何学的形状的候选区域判定为拍到了器具的区域。此外，针对出血区域，根据图像内的各像素的RGB各颜色成分计算颜色比G/R，通过对该颜色比进行阈值处理，提取鲜艳的红色区域。

正面观察判定部113b判定判定对象的图像是否是从正面拍摄粘膜而得到的正面观察图像。正面观察图像的判定方法与鉴别动作判定部112的正面观察判定部112d相同。

近景判定部113c判定判定对象的图像是否是拍摄到内窥镜2的前端部24的距离为规定值以下的区域而得到的近景图像。详细而言，近景判定部113c首先取得图像内的各个部的距离信息，计算这些距离信息的代表值(最大值或平均值等)。而且，在该代表值为规定范围内的情况下，判定为该图像是近景图像。与上述放大图像的判定同样，能够使用像素值的R成分的值作为距离信息。

运动判定部113d判定是否连续一定期间以上拍摄了在图像内拍到的构造的运动小的图像。表示构造的运动的量的计算方法和判定方法与鉴别动作判定部112的运动判定部112e相同。

褶皱里侧确认判定部113e判定判定对象的图像是否是在粘膜的褶皱里侧的确认动作中拍摄的图像。通过在图像内是否拍到内窥镜2的插入部21的一部分的判定来进行该判定。图6是用于说明褶皱里侧确认动作的示意图。如图6所示，在相对于内窥镜2(参照图1)的插入部21的插入方向观察粘膜的褶皱P1的里侧的情况下，使弯曲部25弯曲以便绕回来观看基端侧。所以，有时插入部21自身被拍入到前端部24所设置的摄像部的视野V中。在这样在图像中拍到了内窥镜2的一部分的情况下，褶皱里侧确认判定部113e判定为该图像是在褶皱里侧确认动作中拍摄的图像。

内窥镜2的拍到了插入部21的区域被检测为呈现与粘膜区域的颜色特征量的分布不同的分布、且呈管形状的区域。具体而言，插入部21呈现黑色附近的颜色分布。因此，褶皱里侧确认判定部113e首先根据图像内的各像素的RGB颜色成分，提取插入部21取得的颜色特征量的分布中包含的区域作为候选区域。而且，从候选区域提取轮廓，通过霍夫变换等从该轮廓提取直线或曲线的几何学的形状。而且，在从轮廓提取了几何学的形状的情况下，判定为候选区域是插入部21的一部分。

插入动作判定部114判定判定对象的图像的拍摄时的操作者的动作是否是从被检体的肛门在朝向盲肠的方向上插入内窥镜的插入动作。这里，在利用内窥镜进行大肠的检査的情况下，通常，将内窥镜从肛门插入到大肠内，在使内窥镜2的前端部24行进至盲肠附近后，在从大肠拔出内窥镜2的归路中进行病变部等的观察。所以，在插入内窥镜2的去路中，操作者全力进行插入动作，不怎么进行作为诊断的观察。所以，操作者的动作是内窥镜2的插入动作(去路)还是拔出动作(归路)的判定涉及作为诊断对象的图像的选择。

图7是示出插入动作判定部114的结构的框图。如图7所示，插入动作判定部114具有去路判定部114a和移动方向判定部114b。插入动作判定部114可以具有去路判定部114a和移动方向判定部114b中的至少任意一方，也可以具有双方。插入动作判定部114根据这些判定部的判定结果，判定插入动作的有无。

去路判定部114a判定插入到被检体内的内窥镜2(参照图1)是否正在去路、即从肛门朝向小肠侧的方向上进行移动。详细而言，去路判定部114a根据内窥镜2的插入部21(参照图6)中的插入到大肠的部分的长度即插入长度和沿着大肠的形状弯曲的插入部21的插入形状中的至少任意一方，判定内窥镜2是否正在去路中进行移动。能够通过在内窥镜2中设置内窥镜插入形状观测装置(UPD)，取得插入长度或插入形状作为系统信息。去路判定部114a根据从UPD得到的插入长度或插入形状，将内窥镜2的前端部24到达盲肠附近为止的区间判定为去路。

或者，去路判定部114a可以针对由内窥镜2依次拍摄的图像，判定是否拍到了盲肠附近，将到拍到有盲肠附近的图像最开始出现为止的区间判定为去路。

这里，在从大肠侧观察盲肠时，盲肠除了通过回盲瓣与小肠相连以外成为终点，所以在图像中未拍到管深部区域。因此，在虽然使内窥镜2沿着大肠的管形状前进，但在图像中未拍到有管深部区域的情况下，能够判定为内窥镜2的前端部24到达了盲肠附近。管深部区域的检测方法与鉴别动作判定部112的正面观察判定部112d(参照图4)相同。

但是，在前端部24正面观察粘膜的情况下，即使不是盲肠附近，图像中也未拍到有管深部区域。所以，在图像内粘膜区域是支配性的情况下，可以根据粘膜区域中的亮度的梯度强度，判定前端部24是否到达了盲肠附近。在粘膜区域的亮度的梯度强度较小(阈值以下)的情况下，由于前端部24正面观察粘膜，所以当改变了前端部24的朝向时，有可能拍到管深部区域。另一方面，在粘膜区域的亮度的梯度强度较大(阈值以上)的情况下，前端部24朝向管的深处(行进方向)，所以在这样的状态下未检测出管深部区域的情况下，能够判定为到达了盲肠附近。

移动方向判定部114b判定内窥镜2是朝向该内窥镜2的前端部24移动、还是朝向该内窥镜2的基端部移动。在内窥镜2朝向内窥镜2的前端部24移动的情况下，可以说内窥镜2正在去路中进行移动。另一方面，在内窥镜2朝向内窥镜2的基端部移动的情况下，可以说内窥镜2正在归路中进行移动。

移动方向判定部114b取得插入部21的插入形状，根据该插入形状，确定图像内的管深部方向。另外，能够与去路判定部114a同样，取得插入形状作为系统信息。例如，通过使用内窥镜插入形状观测装置(Endoscope Position Detecting Unit：UPD)，能够取得内窥镜的前端位置或插入长度的数据，所以在插入长度伸长的情况下，判定为内窥镜2朝向前端部24移动，在插入长度变短的情况下，判定为内窥镜2朝向基端部移动。或者，可以根据粘膜褶皱的轮廓边缘形状来检测图像内的管深部方向。这里，粘膜褶皱的轮廓边缘基本上向与管深部方向相反侧凸出。因此，提取粘膜褶皱的轮廓边缘，通过判定该轮廓边缘的凹凸，能够确定管深部方向。

移动方向判定部114b还取得与判定对象的图像的规定帧前(例如前一帧)的图像之间的运动矢量，根据该运动矢量与图像内的管深部方向的关系，检测内窥镜2的移动方向。即，在运动矢量的方向与图像内的进深方向一致的情况下，可以说内窥镜2朝向前端部24移动。另一方面，在运动矢量的方向与图像内的管深部方向为相反朝向的情况下，可以说内窥镜2朝向基端部移动。

图像确定部120根据动作判定部110的判定结果，确定异常区域的检测对象图像。具体而言，通过动作判定部110将在一些动作中拍摄的图像从异常区域的检测对象图像排除，将除此以外的图像确定为异常区域的检测对象图像。

检测部130执行如下处理：从由图像确定部120确定为检测对象图像的图像中检测异常区域。

接着，说明本实施方式1的图像处理方法。图8是示出本实施方式1的图像处理方法的流程图。

首先，在步骤S10中，运算部15取得由内窥镜2拍摄的图像，作为判定对象的图像。详细而言，在操作者通过针对操作输入部12的操作，输入了开始由内窥镜系统1对被检体内的检査的命令时，操作输入部12产生表示该命令的输入信号并输入到控制部10。与此同时，在控制部10的控制下，图像取得部11开始来自内窥镜2的图像的取得。图像取得部11取得的图像暂时保存到存储部14中，运算部15通过从存储部14按照时间序列依次读出而取得图像。

在接下来的步骤S11中，动作判定部110根据取得的图像，判定在该图像的拍摄时进行的动作。如上所述，动作判定部110可以具有处置动作判定部111、鉴别动作判定部112、注视动作判定部113和插入动作判定部114中的至少1个，但在本实施方式1中，设为具有这些全部来进行说明。

图9是示出根据图像来判定动作的处理的详细情况的流程图。首先，在步骤S111中，处置动作判定部111判定是否在该图像的拍摄时进行了处置动作。在本实施方式1中，设为处置动作判定部111具有处置器具判定部111a和清洗动作判定部111b的双方，分别进行针对图像的判定。在处置器具判定部111a从该图像检测出处置器具区域的情况、或清洗动作判定部111b从图像检测出清洗区域的情况下，处置动作判定部111判定为在该图像的拍摄时进行了处置动作。

在判定为在该图像的拍摄时进行了处置动作的情况下(步骤S111：是)，动作判定部110判定为在动作中拍摄了该图像(步骤S112)。之后处理返回主例程。另一方面，在判定为该图像的拍摄时未进行处置动作的情况下(步骤S111：否)，处理转移到步骤S113。

在步骤S113中，鉴别动作判定部112判定是否在该图像的拍摄时进行了鉴别动作。在本实施方式1中，设为鉴别动作判定部112具有放大判定部112a～运动判定部112e的全部，分别进行针对该图像的判定。在放大判定部112a判定为该图像是放大图像的情况、染色判定部112b判定为该图像是染色图像的情况、特殊光判定部112c判定为该图像是特殊光图像的情况、正面观察判定部112d判定为该图像是正面观察图像的情况、或运动判定部112e判定为在至该图像为止连续一定期间以上拍摄了小运动图像的情况下，鉴别动作判定部112判定为在该图像的拍摄时进行了鉴别动作。

在判定为在该图像的拍摄时进行了鉴别动作的情况下(步骤S113：是)，处理转移到步骤S112。另一方面，在判定为在该图像的拍摄时未进行鉴别动作的情况下(步骤S113：否)，处理转移到步骤S114。

在步骤S114中，注视动作判定部113判定是否在该图像的拍摄时进行了注视动作。在本实施方式1中，设为注视动作判定部113具有处置区域判定部113a～褶皱里侧确认判定部113e的全部，分别进行针对该图像的判定。在处置区域判定部113a从该图像内检测出处置区域的情况、正面观察判定部113b判定为该图像是正面观察图像的情况、近景判定部113c判定为该图像是近景图像的情况、运动判定部113d判定为在至该图像为止连续一定期间以上拍摄了小运动图像的情况、或褶皱里侧确认判定部113e判定为该图像是在褶皱里侧确认动作中拍摄的情况下，注视动作判定部113判定为在该图像的拍摄时进行了注视动作。

在判定为在该图像的拍摄时进行了注视动作的情况下(步骤S114：是)，处理转移到步骤S112。另一方面，在判定为在该图像的拍摄时未进行注视动作的情况下(步骤S114：否)，处理转移到步骤S115。

在步骤S115中，插入动作判定部114判定是否在该图像的拍摄时进行了内窥镜的插入动作。在本实施方式1中，设为插入动作判定部114具有去路判定部114a和移动方向判定部114b的双方，分别进行针对该图像的判定。在去路判定部114a判定为内窥镜2在去路中行进中的情况、或移动方向判定部114b判定为内窥镜2在管深部方向上行进中的情况下，插入动作判定部114判定为在该图像的拍摄时进行了内窥镜的插入动作。

在判定为在该图像的拍摄时进行了插入动作的情况下(步骤S115：是)，处理转移到步骤S112。另一方面，在判定为在该图像的拍摄时未进行插入动作的情况下(步骤S115：否)，动作判定部110判定为该图像是在操作者未进行规定动作时拍摄的(步骤S116)。之后处理返回主例程。

另外，可以同时并行进行上述步骤S111、S113、S114、S115的全部或一部分的判定，针对由此得到的多个判定结果，预先确定判定的优先级。例如，可以依照处置动作判定、鉴别动作判定、注视动作判定、插入动作判定的顺序设定优先级，按照优先级从高到低的顺序查询判定结果。或者，可以同时对照这些判定结果，在至少1个判定为在动作中的情况下，判定为在动作中拍摄了该图像。

在接着步骤S11的步骤S12中，图像确定部120将被判定为在操作者未进行规定动作时拍摄的图像确定为异常区域的检测对象图像。具体而言，将在不进行处置动作、鉴别动作、注视动作和插入动作中的任意一方时拍摄的图像确定为检测对象图像。

在接下来的步骤S13中，检测部130从检测对象图像检测异常区域。详细而言，首先，针对检测对象图像，将粘膜区域设定为检测对象区域。具体而言，根据检测对象图像内的颜色特征量或形状特征量或频率成分，去除作为非粘膜区域的残渣区域、气泡区域、暗部区域和镜面反射区域。

残渣区域、气泡区域、暗部区域和镜面反射区域的检测方法能够使用公知的各种方法。作为一例，能够根据颜色特征量，将残渣区域作为比粘膜的颜色特征量的分布区域相对靠黄绿侧分布的区域而检测出来，该颜色特征量是根据图像内的各像素的像素值(RGB的各颜色成分)而计算出的。粘膜的颜色特征量的分布区域根据图像内的平均颜色或主要的颜色特征量的分布范围等预先取得。此外，能够将气泡区域作为具有规定范围的频率成分的区域而检测出来。能够根据图像内的各像素的RGB各颜色成分计算亮度，通过对该亮度进行阈值处理而检测暗部区域。镜面反射区域能够根据颜色特征量来提取白色区域，根据该白色区域的周围(粘膜区域)的像素的像素值的变化，通过曲面近似等对边界进行插补来检测，该颜色特征量是根据各像素的RGB各颜色成分而计算出的。另外，作为颜色特征量，能够使用对RGB各颜色成分进行YCbCr转换而计算出的色差、通过HSI转换而计算出的色相、彩度、G/R、B/G等颜色比。或者，可以直接使用RGB各颜色成分作为颜色特征量。

接下来，检测部130将检测对象区域内的任意1个以上的区域设定为判别区域，对各判别区域计算特征量。作为特征量，能够使用颜色特征量、轮廓(边缘)或面形状(像素值梯度)等形状特征量、纹理特征量等各种特征量。而且，将这些特征量合并为1个特征矢量，根据该特征矢量，计算用于判别各判别区域是否是异常区域的判别指标。判别指标的计算方法能够使用公知的技术。作为一例，计算基于下式(1)所示的概率模型的判别指标P(x)。检测部130检测判别指标P(x)比事先取得的阈值大的判别区域，作为异常区域。

【数1】

判定指标P(x)是表示判别区域的特征矢量是否像是异常区域的特征矢量的指标。可以说判定指标P(x)的值越大，判别区域越像是异常区域。即，判定指标P(x)表示判别区域与异常区域的一致度。此外，式(1)所示的记号x表示判定区域的特征矢量(k行1列)。此外，记号μ是事先取得的多个异常区域的样本中的特征矢量的平均矢量(k行1列)。记号Z是事先取得的异常区域的多个样本中的特征矢量的方差协方差矩阵(k行k列)。记号|Z|是该矩阵Z的矩阵式，记号Z^-1是矩阵Z的逆矩阵。

另外，针对判别区域是否是异常区域的判别，除使用式(1)的方法以外，还能够使用各种方法。例如，可举出基于判别区域的特征矢量与异常区域的代表性的特征矢量的特征空间距离的方法、或在特征空间内设定分类边界的方法。

在接下来的步骤S14中，运算部15输出检测部130的异常区域的检测结果。详细而言，在从判定对象的图像检测出异常区域的情况下，控制部10生成对检测出的异常区域进行强调显示的图像，使显示装置5进行显示。作为强调显示的一例，在原来的判定对象的图像上叠加显示包围异常区域的线或指示异常区域的箭头等。或者，可以在原来的判定对象的图像上重叠显示“有异常区域”这样的文本。然后，针对该判定对象图像的处理结束。

如以上所说明那样，根据本实施方式1，判定对象的图像的拍摄时的操作者的动作，进行了规定动作的图像不作为异常区域的检测对象，仅从除此以外的图像检测异常区域，所以能够进行高效的诊断支援。

(变形例)

接着，对本发明实施方式1的变形例进行说明。在上述实施方式1中，动作判定部110对判定对象的各图像执行了处置动作判定、鉴别动作判定、注视动作判定和插入动作判定的全部判定。但是，这些动作判定未必需要全部进行，可以设置为操作者能够选择执行的动作判定的种类。

例如，在仅观察被检体内而不进行任何处置的情况下，无需进行处置动作判定。此外，在插入动作已经结束的阶段中，无需进行插入动作判定。这样，按照检査的目的或检査中的阶段，使操作者适当选择使动作判定部110执行的动作判定的种类，能够有效地进行图像处理。

执行的动作判定的种类能够通过针对操作输入部12的操作而输入。在从操作输入部12输入了选择1个以上的动作判定的信号的情况下，动作判定部110使与所选择的动作判定的种类相应的判定部执行处理即可。

(实施方式2)

接着，对本发明实施方式2进行说明。图10是示出本实施方式2的图像处理装置具备的运算部的结构的框图。本实施方式2的图像处理装置具有图10所示的运算部16，来替代图1所示的运算部15。除运算部16以外的图像处理装置的各个部的结构和动作与实施方式1相同。

运算部16具有：动作判定部110，其判定判定对象的图像的拍摄时的操作者的动作；图像确定部120，其确定异常区域的检测对象图像；分类部210，其按照规定条件对异常区域的检测对象图像进行分类；以及检测部220，其根据分类部210的分类结果，进行异常区域的检测处理。其中的动作判定部110和图像确定部120的结构和动作与实施方式1相同。

分类部210具有照明光分类部211、非粘膜区域检测部212和图像变化分类部213，这些各个部按照各自的条件对由图像确定部120确定的检测对象图像进行分类。另外，分类部210可以具有这些各个部中的至少1个，也可以具有全部。

照明光分类部211根据在拍摄时使用的照明光，对检测对象图像进行分类。具体而言，将检测对象图像分类为利用白色光拍摄的图像、和利用特定的波段的窄带光即特殊光拍摄的图像。与鉴别动作判定部112的特殊光判定部112c同样，根据判定对象的图像中的平均颜色进行该分类。照明光分类部211将在图像内设定的关注区域的平均颜色相对于粘膜区域中的色相分布朝绿色方向偏离的图像分类为利用特殊光拍摄的图像，将除此以外的图像分类为利用通常光拍摄的图像。

非粘膜区域检测部212进行从检测对象图像中检测拍到有钳子等处置器具、夹子等器具或内窥镜2的一部分等的区域等除粘膜以外的区域,即非粘膜区域的处理，根据是否检测到这样的非粘膜区域，对检测对象图像进行分类。拍到有钳子等处置器具的区域的检测方法与处置动作判定部111的处置器具判定部111a(参照图3)相同。拍到有夹子等器具的区域的检测方法与注视动作判定部113的处置区域判定部113a(参照图5)相同。拍到有内窥镜2的一部分的区域的检测方法与注视动作判定部113的褶皱里侧确认判定部113e(同上)相同。

图像变化分类部213利用检测对象图像相对于前面的帧的图像的变化的大小，对检测对象图像进行分类。详细而言，图像变化分类部213计算规定帧前(例如前一帧)的图像与该图像之间的运动矢量。另外，与鉴别动作判定部112的运动判定部112e(参照图4)同样，将图像内分割为多个矩形区域，通过针对各矩形区域的块匹配法来计算运动矢量。

而且，图像变化分类部213将进行对比的图像之间相关值高的矩形区域的数量作为表示图像的变化的量来进行分类。即，将相关值高的矩形区域小于规定数的图像分类为变化大的图像。另一方面，将相关值高的矩形区域存在规定数以上的图像分类为变化小的图像。而且，在变化小的图像沿着时间序列持续规定期间的情况下，图像变化分类部213将在该连续的期间包含的图像判定为变化小持续图像。

检测部220具有检测对象区域设定部221，该检测对象区域设定部221根据分类部210的分类结果，在检测对象图像内设定检测对象区域。检测对象区域设定部221根据分类部210的结构而具有不清晰区域限定部221a、非粘膜区域排除部221b和新出现区域限定部221c中的至少1个。在分类部210具有照明光分类部211、非粘膜区域检测部212和图像变化分类部213全部的情况下，检测对象区域设定部221也具有不清晰区域限定部221a、非粘膜区域排除部221b和新出现区域限定部221c全部。

不清晰区域限定部221a针对由照明光分类部211分类为利用特殊光拍摄的检测对象图像，限定为纹理结构不清晰的区域来限定检测对象区域。

非粘膜区域排除部221b针对非粘膜区域检测部212检测出非粘膜区域的检测对象图像，将非粘膜区域以外的区域设定为检测对象区域。

新出现区域限定部221c针对由图像变化分类部213根据检测对象图像的变化的大小而进行了分类后的检测对象图像，设定检测对象区域。这里，新出现区域是指在先前的帧的图像内不存在而在该检测对象图像中新出现的区域、即在内窥镜2的行进方向上新进入视野的区域。

接着，说明本实施方式2的图像处理方法。图11是示出本实施方式2的图像处理方法的流程图。另外，图11的步骤S10～S12与实施方式1相同(参照图8)。

在接着步骤S12的步骤S21中，分类部210对在步骤S12中确定的检测对象图像进行分类。在本实施方式2中，设为分类部210具有照明光分类部211、非粘膜区域检测部212和图像变化分类部213全部，各个部进行检测对象图像的分类。即，进行检测对象图像是否是利用特殊光拍摄的图像的分类、是否从检测对象图像检测出非粘膜区域的分类、及检测对象图像相对于先前的帧的图像的变化的大小的分类。

在接下来的步骤S22中，检测对象区域设定部221根据步骤S21中的检测对象图像的分类结果，设定检测对象区域。图12是示出检测对象区域的设定处理的详细情况的流程图。在本实施方式2中，设为检测对象区域设定部221具有不清晰区域限定部221a、非粘膜区域排除部221b和新出现区域限定部221c全部来进行说明。

在步骤S221中，检测对象区域设定部221判定是否将检测对象图像分类为了利用特殊光拍摄的图像。在未分类为利用特殊光拍摄的图像的情况下(步骤S221：否)，处理直接转移到步骤S223。

另一方面，在将检测对象图像分类为了利用特殊光拍摄的图像的情况下(步骤S221：是)，不清晰区域限定部221a将该检测对象图像内纹理结构不清晰的区域设定为检测对象区域(步骤S222)。

这里，特殊光拍摄通常是为了在鉴别动作中对关注区域的纹理结构的状态进行分类而进行的。所以，考虑不将纹理结构不清晰的区域、即模糊的区域作为鉴别对象。因此，在本步骤S222中，将不成为鉴别对象的该模糊的区域设定为检测对象区域。对于模糊的区域，能够根据图像内的频率成分的对比度是否在鉴别动作时的容许范围内而进行提取。即，将对比度在鉴别动作时的容许范围外的区域设定为检测对象区域。然后，处理转移到步骤S223。

在步骤S223中，检测对象区域设定部221判定是否将检测对象图像分类为了检测出非粘膜区域的图像。在未分类为检测出非粘膜区域的图像的情况下(步骤S223：否)，处理直接转移到步骤S225。

另一方面，在分类为了检测出非粘膜区域的图像的情况下(步骤S223：是)，非粘膜区域排除部221b针对该检测对象图像，将非粘膜区域以外的区域设定为检测对象区域(步骤S224)。具体而言，对非粘膜区域进行遮罩处理。另外，在步骤S222中已经设定了检测对象区域的情况下，新加入了检测对象区域。然后，处理转移到步骤S225。

在步骤S225中，检测对象区域设定部221判定是否将检测对象图像分类为了变化大的图像。在分类为了变化大的图像的情况下(步骤S225：是)，新出现区域限定部221c将图像全体设定为检测对象区域(步骤S226)。之后处理返回主例程。

另一方面，在将检测对象图像分类为了变化小的图像的情况下(步骤S225：否)，新出现区域限定部221c将在该检测对象图像中新出现的新出现区域设定为检测对象区域(步骤S227)。另外，在步骤S222或S224中已经设定了检测对象区域的情况下，新加入检测对象区域。

新出现区域的位置和大小是根据从图像变化分类部213通过块匹配法而得到的运动方向和运动宽度来确定的。详细而言，首先，根据运动方向，对内窥镜2的运动进行分类。具体而言，在运动方向在规定以上的数量中朝向相同方向的情况下，将内窥镜2的运动分类为平行移动。此外，在运动方向以1个点为基准朝向外侧的情况、即运动方向从1个点朝向外侧扩散的情况下，将内窥镜2的运动分类为前进。在运动方向以1个点为基准朝向内侧的情况、即运动方向朝向1个点会聚的情况下，将内窥镜2的运动分类为后退。在除此以外的模式的情况下，设为未检测出新出现区域，对该检测对象图像进行与变化大的图像相同的处理。

接下来，根据运动方向和运动宽度，估计新出现区域的位置和尺寸。具体而言，在内窥镜2的运动的分类为平行移动的情况下，新出现区域的位置为图像端(左右上下)的4个方向中的任意一个，根据运动方向的基端侧的方向、即运动的出发点的方向来确定。例如，在运动方向从左下朝向右上的情况下，新出现区域的位置成为图像的左端和下端。此外，新出现区域的大小根据将以运动宽度为矢量的运动方向矢量分解为了新出现区域的位置的方向的成分时的各成分的大小来确定。

在内窥镜2的运动的分类为前进的情况下，新出现区域的位置为运动方向的基端侧集中的上述1个点，新出现区域的大小被确定为运动宽度。在内窥镜2的运动的分类为后退的情况下，新出现区域的位置为图像端的全部4个方向，新出现区域的大小被确定为运动宽度。之后处理返回主例程。

在接着步骤S22的步骤S23中，检测部220从在步骤S22中所设定的检测对象区域检测异常区域。异常区域的检测处理除了检测对象被限定于检测对象区域以外，与实施方式1(参照图8的步骤S13)相同。接下来的步骤S14也与实施方式1相同。

如以上所说明那样，根据本实施方式2，针对根据图像的拍摄时的操作者的动作而确定的异常区域的检测对象图像，进一步进行基于操作者的动作的分类，根据该分类结果，缩小异常区域的检测对象区域，所以能够进行更高效的图像处理。

(实施方式3)

接着，对本发明实施方式3进行说明。图13是示出本实施方式3的图像处理装置具备的运算部的结构的框图。本实施方式3的图像处理装置具有图13所示的运算部17，来替代图1所示的运算部15。除运算部17以外的图像处理装置的各个部的结构和动作与实施方式1相同。

运算部17相对于图10所示的运算部16，除检测对象区域设定部221以外，还具有检测部310，该检测部310具有检测参数设定部311。除检测参数设定部311以外的运算部17的各个部的结构与实施方式2相同。

检测参数设定部311针对图像确定部120确定的检测对象图像，根据分类部210进行的分类结果，设定在针对检测对象区域设定部221设定的检测对象区域的异常区域的检测处理中使用的检测参数。

接着，说明本实施方式3的图像处理方法。图14是示出本实施方式3的图像处理方法的流程图。另外，图14的步骤S10～S22与实施方式2相同(参照图11)。

在接着步骤S22的步骤S31中，检测参数设定部311根据步骤S21中的分类结果，设定从在步骤S22中设定的检测对象区域分别检测异常区域时的检测参数。这里，检测参数包含表示异常区域的特征量的特征空间中的识别边界、异常区域的特征量的分布模型、识别函数、代表性的分布图案等。根据由分类部210分类的变形，使用教师数据事先生成这样的检测参数，并存储到存储部14中。

作为具体例，在将被分类为利用特殊光拍摄的图像的检测对象图像中的、纹理结构清晰的区域设定为检测对象区域的情况下(参照图12的步骤S222)，从存储部14读出根据与通常光不同的特殊光的颜色分布模型而生成的检测参数并针对该检测对象区域进行设定。此外，在将除了非粘膜区域以外的粘膜区域设定为了检测对象区域的情况下(参照图12的步骤S224)，从存储部14读出根据通常光下的粘膜的颜色分布模型而生成的检测参数并进行设定。而且，在将粘膜区域且新出现区域这样的多个拍摄状况复合性发生的区域设定为了检测对象区域的情况下，从存储部14读出根据与这些拍摄状况对应的教师数据而生成的检测参数并进行设定。

本发明不直接限定为实施方式1～3及变形例，可通过适当组合各实施方式或变形例所公开的多个结构要素来形成各种发明。例如，可从各实施方式或变形例所示的全部结构要素中去除几个结构要素来形成，也可适当组合不同实施方式或变形例所示的结构要素来形成。

标号说明

1：内窥镜系统；2：内窥镜；3：光源装置；4：图像处理装置；5：显示装置；10：控制部；11：图像取得部；12：操作输入部；13：输出部；14：存储部；141：程序存储部；15、16、17：运算部；21：插入部；22：操作部；22a：弯曲旋钮；22b：处置器具插入部；22c：开关；23：通用缆线；24：前端部；25：弯曲部；26：可挠针管；27：连接器部；28：线圈电缆；29：电连接器部；111：处置动作判定部；111a：处置器具判定部；111b：清洗动作判定部；112：鉴别动作判定部；112a：放大判定部；112b：染色判定部；112c：特殊光判定部；112d、113b：正面观察判定部；112e、113d：运动判定部；113：注视动作判定部；113a：处置区域判定部；113c：近景判定部；113e：褶皱里侧确认判定部；114：插入动作判定部；114a：去路判定部；114b：移动方向判定部；120：图像确定部；130、220、310：检测部；210：分类部；211：照明光分类部；212：非粘膜区域检测部；213：图像变化分类部；221：检测对象区域设定部；221a：不清晰区域限定部；221b：非粘膜区域排除部；221c：新出现区域限定部；311：检测参数设定部。

Claims (29)

1.一种图像处理装置，其特征在于，具有：

动作判定部，其根据由插入到被检体的内窥镜拍摄的图像，判定所述图像的拍摄时的该内窥镜的操作者的动作；

图像确定部，其根据所述动作判定部的判定结果，确定是否将所述图像作为特定区域的检测对象图像；以及

检测部，其从所述检测对象图像中检测所述特定区域。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述动作判定部具有处置动作判定部，该处置动作判定部判定所述拍摄时的操作者的动作是否是对所述被检体进行处置的处置动作。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述处置动作判定部具有处置器具判定部，该处置器具判定部从所述图像内检测亮度比阈值高且呈管形状的区域作为处置器具区域，

在所述处置器具判定部检测出所述处置器具区域的情况下，所述处置动作判定部判定为所述拍摄时的操作者的动作是所述处置动作。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述处置动作判定部具有清洗动作判定部，该清洗动作判定部从所述图像内检测呈现镜面反射的镜面反射区域，取得所述图像与所述图像的规定帧前的图像之间的所述镜面反射区域的面积和位置的差分，在所述差分大于规定阈值的情况下，将所述镜面反射区域作为清洗区域，

在所述清洗动作判定部检测出所述清洗区域的情况下，所述处置动作判定部判定为所述拍摄时的操作者的动作是所述处置动作。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述动作判定部具有鉴别动作判定部，该鉴别动作判定部判定所述拍摄时的操作者的动作是否是鉴别所述图像内的任意部分的鉴别动作。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述鉴别动作判定部具有放大判定部，该放大判定部判定所述图像是否是使所述内窥镜的前端部接近被摄体至规定距离以下而拍摄的放大图像，

在所述放大判定部判定为所述图像是所述放大图像的情况下，所述鉴别动作判定部判定为所述拍摄时的操作者的动作是所述鉴别动作。

7.根据权利要求5所述的图像处理装置，其特征在于，

所述鉴别动作判定部具有染色判定部，该染色判定部判定所述图像是否是拍摄了被染色的被摄体而得到的染色图像，

在所述染色判定部判定为所述图像是所述染色图像的情况下，所述鉴别动作判定部判定为所述拍摄时的操作者的动作是所述鉴别动作。

8.根据权利要求5所述的图像处理装置，其特征在于，

所述鉴别动作判定部具有特殊光判定部，该特殊光判定部判定所述图像是否是使用特殊光而拍摄的特殊光图像，

在所述特殊光判定部判定为所述图像是所述特殊光图像的情况下，所述鉴别动作判定部判定为所述拍摄时的操作者的动作是所述鉴别动作。

9.根据权利要求5所述的图像处理装置，其特征在于，

所述鉴别动作判定部具有正面观察判定部，该正面观察判定部判定所述图像是否是从正面拍摄被摄体而得到的正面观察图像，

在所述正面观察判定部判定为所述图像是所述正面观察图像的情况下，所述鉴别动作判定部判定为所述拍摄时的操作者的动作是所述鉴别动作。

10.根据权利要求5所述的图像处理装置，其特征在于，

所述鉴别动作判定部具有运动判定部，该运动判定部判定所述图像是否是小运动图像、且在所述图像之前连续一定期间以上拍摄了所述小运动图像，

在所述运动判定部判定为所述图像是所述小运动图像、且在所述图像之前连续一定期间以上拍摄了所述小运动图像的情况下，所述鉴别动作判定部判定为所述拍摄时的操作者的动作是所述鉴别动作，

其中，所述小运动图像是表示在与规定帧前的图像之间对应的构造的运动的量为阈值以下的图像。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述动作判定部具有注视动作判定部，该注视动作判定部判定所述拍摄时的操作者的动作是否是注视被摄体的注视动作。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述注视动作判定部具有处置区域判定部，该处置区域判定部从所述图像内检测具有与粘膜区域不同的颜色的管形状的区域和出血区域，

在所述处置区域判定部检测出所述管形状的区域和所述出血区域的情况下，所述注视动作判定部判定为所述拍摄时的操作者的动作是所述注视动作。

13.根据权利要求11所述的图像处理装置，其特征在于，

所述注视动作判定部具有正面观察判定部，该正面观察判定部判定所述图像是否是从正面拍摄被摄体而得到的正面观察图像，在所述正面观察判定部判定为所述图像是所述正面观察图像的情况下，所述注视动作判定部判定为所述拍摄时的操作者的动作是所述注视动作。

14.根据权利要求11所述的图像处理装置，其特征在于，

所述注视动作判定部具有近景判定部，该近景判定部判定所述图像是否是拍摄距所述内窥镜的前端部的距离为规定值以下的区域而得到的近景图像，

在所述近景判定部判定为所述图像是所述近景图像的情况下，所述注视动作判定部判定为所述拍摄时的操作者的动作是所述注视动作。

15.根据权利要求11所述的图像处理装置，其特征在于，

所述注视动作判定部具有运动判定部，该运动判定部判定所述图像是否是小运动图像、且是否在所述图像之前连续一定期间以上拍摄了所述小运动图像，

在所述运动判定部判定为所述图像是所述小运动图像、且在所述图像之前连续一定期间以上拍摄了所述小运动图像的情况下，所述注视动作判定部判定为所述拍摄时的操作者的动作是所述注视动作，

其中，所述小运动图像是表示在与规定帧前的图像之间对应的构造的运动的量为阈值以下的图像。

16.根据权利要求11所述的图像处理装置，其特征在于，

所述注视动作判定部从所述图像检测拍到有所述内窥镜的一部分的内窥镜区域，在从所述图像检测出所述内窥镜区域的情况下，判定为所述拍摄时的操作者的动作是所述注视动作。

17.根据权利要求1所述的图像处理装置，其特征在于，

所述动作判定部具有插入动作判定部，该插入动作判定部判定所述拍摄时的操作者的动作是否是将所述内窥镜插入到所述被检体内的插入动作。

18.根据权利要求17所述的图像处理装置，其特征在于，

所述插入动作判定部具有去路判定部，该去路判定部判定从所述被检体的肛门插入的所述内窥镜是否正在从所述被检体的大肠朝向盲肠的去路中移动，

在所述去路判定部判定为所述内窥镜正在所述去路中移动的情况下，所述插入动作判定部判定为所述拍摄时的操作者的动作是所述插入动作。

19.根据权利要求17所述的图像处理装置，其特征在于，

所述插入动作判定部具有移动方向判定部，该移动方向判定部判定所述内窥镜在该内窥镜的前端部与基端部中的哪个方向上移动，

在所述移动方向判定部判定为所述内窥镜朝向该内窥镜的前端部移动的情况下，所述插入动作判定部判定为所述拍摄时的操作者的动作是所述插入动作。

20.根据权利要求1所述的图像处理装置，其特征在于，

在所述拍摄时的操作者的动作为规定动作的情况下，所述图像确定部不将所述图像作为所述特定区域的检测对象图像。

21.根据权利要求20所述的图像处理装置，其特征在于，

该图像处理装置还具有操作输入部，该操作输入部对该图像处理装置输入信息，所述图像确定部根据从所述操作输入部输入的信息，设定所述规定动作。

22.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还具有分类部，该分类部按照规定条件对所述检测对象图像进行分类，

所述检测部具有检测对象区域设定部，该检测对象区域设定部根据所述分类部的分类结果，对所述检测对象图像设定所述特定区域的检测对象区域。

23.根据权利要求22所述的图像处理装置，其特征在于，

所述分类部具有照明光分类部，该照明光分类部根据拍摄时的照明光的种类，对所述检测对象图像进行分类，

所述检测对象区域设定部针对被分类为拍摄时的照明光是特殊光的检测对象图像，根据该检测对象图像的频率成分的对比度，设定所述检测对象区域。

24.根据权利要求22所述的图像处理装置，其特征在于，

所述分类部具有非粘膜区域检测部，该非粘膜区域检测部从所述检测对象图像内检测非粘膜区域，

所述检测对象区域设定部针对检测出所述非粘膜区域的检测对象图像，将所述非粘膜区域以外的区域设定为所述检测对象区域。

25.根据权利要求22所述的图像处理装置，其特征在于，

所述分类部具有图像变化分类部，该图像变化分类部根据所述检测对象图像相对于规定帧前的图像的变化的大小，对所述检测对象图像进行分类，

所述检测对象区域设定部针对被分类为变化大的检测对象图像，将该检测对象图像全体设定为所述检测对象区域，针对被分类为变化小的检测对象图像，将在先前帧的图像中不存在的新出现区域设定为所述检测对象区域。

26.根据权利要求22所述的图像处理装置，其特征在于，

该图像处理装置还具有检测参数设定部，该检测参数设定部根据所述分类部的分类结果，设定在从所述检测对象区域检测所述特定区域时使用的检测参数。

27.一种内窥镜系统，其特征在于，具有：

权利要求1～26中的任意一项所述的图像处理装置；以及

所述内窥镜。

28.一种图像处理方法，其特征在于，包含：

动作判定步骤，运算部根据由插入到被检体的内窥镜拍摄的图像，判定所述图像的拍摄时的该内窥镜的操作者的动作；

图像确定步骤，所述运算部根据所述动作判定步骤中的判定结果，确定是否将所述图像作为特定区域的检测对象图像；以及

检测步骤，所述运算部从所述检测对象图像检测所述特定区域。

29.一种计算机可读介质，其上存储计算机程序，其特征在于，所述计算机程序被处理器执行，以实现如下步骤：

动作判定步骤，根据由插入到被检体的内窥镜拍摄的图像，判定所述图像的拍摄时的该内窥镜的操作者的动作；

图像确定步骤，根据所述动作判定步骤中的判定结果，确定是否将所述图像作为特定区域的检测对象图像；以及

检测步骤，从所述检测对象图像检测所述特定区域。

Images