CN104883946A - 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法 - Google Patents

Abstract

图像处理装置包括：图像取得部(390)，其通过摄像部(200)的摄像而取得包含被摄体像的摄像图像；距离信息取得部(340)，其取得基于摄像时的从摄像部(200)到被摄体的距离的距离信息；已知特性信息取得部(350)，其取得表示与被摄体的构造有关的已知特性的信息即已知特性信息；以及凹凸确定部(310)，其根据距离信息和已知特性信息，进行从被摄像的所述被摄体中确定与由已知特性信息确定的特性一致的被摄体的凹凸部的凹凸确定处理。

Description

图像处理装置、电子设备、内窥镜装置、程序和图像处理方法

技术领域

本发明涉及图像处理装置、电子设备、内窥镜装置、程序和图像处理方法等。

背景技术

在使用内窥镜装置的活体内部的观察、诊断中，广泛利用通过观察活体表面的微小的凹凸状态来识别是否是早期病变部的手法。并且，不仅是活体用的内窥镜装置，在工业用的内窥镜装置中，观察被摄体(狭义地讲为被摄体表面)的凹凸构造也是有用的，例如能够进行在很难直接目视的管内部等产生的龟裂的检测等。并且，在内窥镜装置以外的图像处理装置中，多数情况下，根据作为处理对象的图像来检测被摄体的凹凸构造也是有用的。

以往，作为摄像图像的构造(例如槽等凹凸构造)的强调处理，广泛利用对特定空间频率进行强调的处理，但是，该手法不适用于上述这种微小的凹凸状态的检测。并且，还公知有如下手法：不是通过图像处理来检测凹凸状态，而是在被摄体侧产生某种变化，对变化后的被摄体进行摄像。作为一例，存在如下手法：如果是活体用的内窥镜装置，则通过散布靛胭脂等色素，对活体自身进行染色并对表层粘膜施加对比度。但是，色素散布需要劳力时间以及成本，而且，散布的色素可能会损害被摄体本来的色彩，或者导致凹凸以外的构造的视觉辨认性降低。进而，如果是针对活体的色素散布，则还可能产生对患者的侵袭性较高的问题。

在专利文献1中公开了如下手法：对局部的提取区域的关注像素与其周边像素的亮度级别进行比较，在关注区域比周边区域暗的情况下进行着色处理，由此对凹凸构造进行强调。

作为活体的凹凸构造的具体例，考虑使用活体表面的腺管构造(被称为腺管开口形态(pit pattern))。例如，在大肠的早期病变诊断中利用腺管开口形态。该诊断方法被称为腺管开口形态诊断，针对根据从正常状态到病变的种类而分类为6种类型(I型～V型)的腺管开口形态形状，通过被观察的腺管开口形态与哪个分类相似来进行判定。

在专利文献2中记载了使用内窥镜和光探针取得三维光断层图像的装置，并公开了如下手法：根据该三维光断层图像，针对多个深度位置切出与活体组织的深度方向垂直的平面的XY画面像，根据其平均图像对腺管开口形态形状进行强调显示。

现有技术文献

专利文献

专利文献1：日本特开2003-88498号公报

专利文献2：日本特开2010-68865号公报

发明内容

发明要解决的课题

专利文献1的处理是基于如下假设的处理：在从摄像部到被摄体(活体表面)的距离较远的情况下，从活体表面反射的反射光量变少，从而较暗地进行摄像。由此，例如在亮点周边部、基于近前构造的影子的区域、血管及其周边的粘膜等与活体表面的微细凹凸没有直接关系的情况下，在产生亮度变化的区域内误检测凹凸构造。

并且，实施腺管开口形态诊断的情况相当于已经在筛选观察中发现疑似病变部的区域的状态并且是使内窥镜前端接近该区域进行精査观察的状态。在接近和放大观察状态下，成为观察对象的活体表面的摄像图像的倍率增大，所以，活体与摄像部之间的相对运动所引起的影响较大。特别是在通过专利文献2的手法取得上述三维光断层图像的情况下，由于需要进行光探针的扫描动作，所以，无法忽视由于活体与摄像部之间的相对运动而引起的XY图像内的腺管开口(pit)形状的变形。因此，存在无法稳定地计算与腺管开口形态检测中使用的模型图案之间的相似度、无法取得高精度的图像的课题。

根据本发明的若干个方式，能够提供根据与被摄体有关的已知特性信息和距离信息而高精度地检测该被摄体的凹凸部的图像处理装置、电子设备、内窥镜装置、程序和图像处理方法。

用于解决课题的手段

本发明的一个方式涉及一种图像处理装置，该图像处理装置包括：图像取得部，其通过摄像部的摄像而取得包含被摄体像的摄像图像；距离信息取得部，其取得基于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息；已知特性信息取得部，其取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息；以及凹凸确定部，其根据所述距离信息和所述已知特性信息，进行从被摄像的所述被摄体中确定与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部的凹凸确定处理。

在本发明的一个方式中，取得与被摄体之间的距离信息和已知特性信息，确定与由已知特性信息确定的特性一致的被摄体的凹凸部。由此，能够通过使用图像处理的手法高精度地确定凹凸部等。

本发明的另一个方式涉及一种电子设备，该电子设备包括上述图像处理装置。

本发明的另一个方式涉及一种内窥镜装置，该内窥镜装置包括上述图像处理装置。

根据本发明的另一个方式，由于能够在摄像图像中确定活体的凹凸部，所以，能够容易地发现病变部等。

本发明的另一个方式涉及一种程序，该程序使计算机作为上述各部发挥功能。

本发明的另一个方式涉及一种图像处理方法，进行通过摄像部的摄像而取得包含被摄体像的摄像图像的处理；进行取得基于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息的处理；进行取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息的处理；以及根据所述距离信息和所述已知特性信息，进行从被摄像的所述被摄体中确定与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部的凹凸确定处理。

附图说明

图1是图像处理装置的系统结构例。

图2是包含第1实施方式的图像处理装置的内窥镜装置的结构例。

图3是第1实施方式的图像处理部的结构例。

图4(A)～图4(F)是说明第1实施方式的提取处理的图。

图5是第1实施方式的距离信息取得部、凹凸信息提取部的结构例。

图6是包含第2实施方式的图像处理装置的内窥镜装置的结构例。

图7是第2实施方式的图像处理部的结构例。

图8(A)～图8(D)是说明第2实施方式的提取处理的图。

图9是第2实施方式的凹凸信息提取部的结构例。

图10是包含第3实施方式的图像处理装置的内窥镜装置的结构例。

图11是第3实施方式的图像处理部的结构例。

图12是第3实施方式的凹凸信息提取部的结构例。

图13是第3实施方式的距离信息取得部的结构例。

图14是包含第4实施方式的图像处理装置的图像记录再现装置和胶囊内窥镜的结构例。

图15是第4实施方式的图像处理部的结构例。

图16是第5实施方式的图像处理部的结构例。

图17(A)是腺管构造的剖视图的例子，图17(B)是摄像图像中的腺管构造的例子。

图18(A)、图18(B)是求出表面形状信息的处理的说明图。

图19(A)、图19(B)是基准图案和修正图案的例子。

图20是表面形状计算部的结构例。

图21是第5实施方式的分类处理部的结构例。

图22是分类处理的结果即分类映射图的例子。

图23是包含第6实施方式的图像处理装置的内窥镜装置的结构例。

图24是第6实施方式的分类处理部的结构例。

图25是保持多个基准图案的情况的例子。

图26(A)～图26(D)是使用多个基准图案的情况下的分类处理的结果即分类映射图的例子。

图27(A)～图27(F)是说明相似度计算处理的图。

图28(A)～图28(F)是腺管开口形态的例子。

具体实施方式

下面，对本实施方式进行说明。另外，以下说明的本实施方式并非不合理地限定权利要求范围所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必须结构要件。

1.本实施方式的手法

如图1所示，本实施方式的图像处理装置包括：图像取得部390，其通过摄像部(后述图2的摄像部200等)的摄像而取得包含被摄体像的摄像图像；距离信息取得部340，其取得基于摄像时的从摄像部到被摄体的距离的距离信息；已知特性信息取得部350，其取得表示与被摄体的构造有关的已知特性的信息即已知特性信息；以及凹凸确定部310，其根据距离信息和已知特性信息，进行从摄像图像中被摄像的被摄体中确定与由已知特性信息确定的特性一致的被摄体的凹凸部的凹凸确定处理。

这里，由凹凸确定部310确定的凹凸部可以是具有由已知特性信息确定的给定维度(dimension)(宽度、深度、高度等)的槽或息肉等微小的凹凸构造，也可以是上述活体表面的腺管构造(腺管开口形态)。

首先，对将微小的凹凸构造作为对象的情况进行说明。由于距离信息取得部340取得的距离信息是与从摄像部到被摄体的距离对应的信息，所以，如图4(A)所示是表示被摄体(如果是活体用的内窥镜装置，则为活体，特别是其表面)的构造的信息。即，距离信息包含被摄体表面的微小的凹凸构造。

但是，在距离信息中还包含被摄体表面的其他构造的信息。例如，利用内窥镜装置观察的活体大多是食道、大肠等管腔状部分。该情况下，由于活体壁面成为具有给定曲率的曲面，所以，由距离信息表示的距离包含与该情况对应的值的变动。如果是图4(A)的例子，则距离信息包含各种各样的其他构造，整体表示越向右方向行进则从摄像部到被摄体的距离越增加的构造。

并且，在被摄体表面可能还包含与希望由本实施方式的手法确定的凹凸构造不同的凹凸构造。例如，如图2的2、3、4所示，在胃或大肠等活体的表面发现褶皱构造。在距离信息中包含与这些褶皱构造有关的信息，但是，在本实施方式中，在使用内窥镜装置的观察中假设的凹凸部是指与这种活体表面明显看到的构造不同维度的微小的凹凸构造。

由此，为了在进行强调处理等时适当确定有用的凹凸部，需要适当提取包含由于各种构造而引起的距离变动的距离信息中的与期望的凹凸构造有关的信息。在工业用的内窥镜装置中也是同样的，在距离信息中包含与圆形管的曲面相当的距离变动、为了使管具有给定功能而预先挖掘的槽、由于深度较低而使得即使遗漏也不会成为障碍的损伤等的信息，但是，也可以将它们除外，提取有用的凹凸构造作为提取凹凸信息。

因此，本申请人提出如下手法：取得表示与被摄体的构造有关的已知特性的信息即已知特性信息，在摄像图像中确定与由该已知特性信息确定的特性一致的被摄体的凹凸部。已知特性信息是能够分离被摄体表面的构造中的本实施方式中有用的构造和没用的构造的信息。具体而言，可以保持上述活体壁面的曲率等信息、褶皱的维度信息等作为已知特性信息，将距离信息中的与已知特性信息一致的信息除外，将除外处理后的信息作为提取凹凸信息，由此确定凹凸部。或者，也可以将有用的凹凸构造的维度信息作为已知特性信息，在该情况下，提取距离信息中的与已知特性信息一致的信息作为提取凹凸信息，确定凹凸部即可。即，在已知特性信息中包含与除外对象对应的信息和与提取对象对应的信息，但是，在以下说明中，使用该双方进行说明。这里的“由已知特性信息确定的特性”表示与提取对象对应且不与除外对象对应的特性，例如是具有能够明确分离提取对象和除外对象的值作为边界值(或具有由该边界值决定的范围的值)的特性。

另外，假设典型的褶皱的尺寸或有用的凹凸构造的维度等根据作为观察对象的部位(如果是上部消化器官系统则为胃、如果是下部消化器官系统则为大肠等)而不同。由此，优选已知特性信息不是一个信息，能够根据观察对象进行选择、变更等。

并且，即使取得已知特性信息作为被摄体的实际尺寸(例如微米等单位的尺寸)的信息，也需要进行将其转换为图像上(距离信息上)的尺寸的处理。例如，关于给定实际尺寸的褶皱构造，在与摄像部较近的位置处进行摄像的情况下，图像上的尺寸较大，与此相对，在与摄像部较远的位置处进行摄像的情况下，图像上的尺寸较小。因此，在本实施方式中，根据由距离信息表示的值(距离)，自适应地变更处理。具体而言，根据距离信息的值而自适应地控制从距离信息中提取出提取凹凸信息时使用的提取处理参数。

接着，对确定腺管开口形态作为凹凸部的例子进行说明。另外，下面以腺管开口形态为例进行说明，但是，本实施方式能够广泛应用于通过使用二维图案的匹配处理来确定构造物的手法，可以使用腺管开口形态以外的图案。

关于活体表面的腺管开口形态，如图28(A)～图28(F)所示，根据是正常状态还是异常状态，并且在异常状态的情况下根据病变的发展度等，得知其形状变化。例如，如果是正常粘膜，则如图28(A)所示，腺管开口形态接近圆形，当病变发展时，成为图28(B)的星芒状、图28(C)、图28(D)的管状型这样的复杂形状，当进一步发展时，如图28(F)所示，腺管开口形态有时消失。由此，预先保持这些典型图案作为基准图案，通过判定摄像图像中被摄像的被摄体表面与该基准图案的相似度等，能够判定被摄体的状态。这种对腺管开口形态诊断进行辅助的手法在专利文献2等中被公开。

但是，腺管开口形态的典型形状和摄像图像上的腺管开口形态的外貌不一定一致。如上所述，在活体中包含管腔构造的壁面、褶皱等构造。由此，充分考虑摄像部的光轴方向和活体表面不是正交的情况，该情况下，即使在活体表面存在圆形的腺管开口形态，也认为在摄像图像上成为椭圆形等形状。例如，如图17(A)所示，考虑如下情况：在活体表面存在褶皱2，对在该褶皱2的表面看到圆形的腺管开口形态(正常腺管40)的被摄体进行摄像。该情况下，如图17(B)所示，由于摄像部的光轴方向与活体表面所成的角度，观察到本来圆形状的腺管开口形态进行各种变形。

根据图17(B)可知，即使简单地进行基准图案与摄像图像的匹配处理，在由于上述理由而使腺管开口形态变形的区域中，也无法进行高精度的检测处理。而且，由于在接近、放大观察时进行腺管开口形态诊断，所以，当考虑到由于摄像部与活体的相对运动而引起的影响较大这点、以及专利文献2的手法中需要进行光探针的扫描动作这点时，不能忽视摄像图像中的腺管开口形态的变形。

因此，本申请人提出如下手法：根据已知特性信息和距离信息取得表示被摄体表面的构造的表面形状信息，通过利用使用该表面形状信息设定的分类基准的分类处理来确定凹凸部。这里，表面形状信息表示被摄体表面的全局的构造，可以是例如图18(B)所示的曲面(将图18(A)的微小的凹凸构造除外的距离信息)，也可以是该曲面的法线向量的集合。

通过使用表面形状信息，如图19(A)、图19(B)所示，如果在作为处理对象的被摄体表面区域中存在基准图案，则能够估计出观察到该图案在摄像图像上如何变形。即，关于是否在被摄体表面看到与基准图案对应的腺管开口形态，如图19(B)所示，只要将通过表面形状信息进行变形处理后的图案(以下为修正图案)作为分类基准进行分类处理即可。

另外，在以腺管开口形态为例进行说明的分类处理中，已知特性信息是腺管开口形态，具体而言为腺管开口形状和尺寸等信息。

下面，对第1～第6实施方式进行说明。另外，下面，如图2所示，以内窥镜装置为例进行说明，但是，在图1中，如上所述，本实施方式不限于内窥镜装置，能够应用于图像处理装置。

第1～第4实施方式对应于使用提取凹凸信息来确定微小的凹凸构造的手法。在第1实施方式中说明如下手法：根据从与多个视点对应的摄像图像中得到的视差信息来取得距离信息，并且通过形态学处理而从距离信息中提取出提取凹凸信息。在第1实施方式中，提取处理参数成为形态学处理中使用的构造要素的尺寸。并且，在第2实施方式中说明如下手法：使用Time of Flight(飞行时间)方式取得距离信息，并且通过滤波处理(特别是低通滤波处理)提取出提取凹凸信息。在第2实施方式中，提取处理参数成为决定滤波处理中使用的滤波器的频率特性的参数。

并且，在第3实施方式中说明如下手法：基于从与多个视点对应的摄像图像中得到的视差信息的手法、以及与Time of Flight方式组合而取得距离信息并且通过滤波处理(特别是高通滤波处理)提取出提取凹凸信息的手法。并且，在第4实施方式中，对将胶囊内窥镜作为对象的实施方式进行说明。

另外，距离信息的取得处理和提取凹凸信息的提取处理的组合能够进行各种变更。即，可以组合基于视差信息的手法和滤波处理，也可以组合Time of Flight方式和形态学处理。除此之外，本实施方式能够通过上述手法的任意组合来实现。

并且，第5～第6实施方式对应于如下手法：通过使用表面形状信息生成分类基准并进行分类处理，确定凹凸部(狭义地讲为腺管构造，但是不限于此)。在第5实施方式中说明如下手法：保持正常状态的腺管开口形态作为基准图案，进行根据是否是正常状态而对摄像图像的被摄体的各区域进行分类的分类处理。

并且，在第6实施方式中说明如下手法：保持多个状态的腺管开口形态(例如正常状态和1个或多个异常状态的腺管开口形态)作为基准图案，进行根据符合哪种状态(或不符合任意一种状态)而对摄像图像的被摄体的各区域进行分类的分类处理。并且，在第6实施方式中还说明如下手法：使用对基准图案进行变形后的修正图案，从摄像图像中取得第2基准图案，将利用表面形状信息对该第2基准图案进行变形后的第2修正图案作为分类基准。这样，通过从实际摄像的被摄体中求出分类基准，能够期待检测精度的进一步提高。

2.第1实施方式

图2示出包含第1实施方式的图像处理装置(对应于图像处理部301)的内窥镜装置的结构例。构成第1实施方式的内窥镜装置由光源部100、摄像部200、处理器部300、显示部400、外部接口部500构成。

光源部100由白色光源101、具有多个分光透射率的旋转滤色片102、驱动旋转滤色片102的旋转驱动部103、以及使来自旋转滤色片102的具有分光特性的光会聚到光导纤维201的入射端面的会聚透镜104构成。

旋转滤色片102由三原色的红色滤色片、绿色滤色片、蓝色滤色片、旋转马达构成。

旋转驱动部103根据来自处理器部300的控制部302的控制信号，与摄像元件206、207的摄像期间同步地使旋转滤色片102以规定转速旋转。例如，当使滤色片在1秒内旋转20圈时，各滤色片以六十分之一秒的间隔横切入射白色光，摄像元件206、207以六十分之一秒的间隔对三原色的各色光(R或G或B)的来自观察对象的反射光进行摄像，完成图像的转送。即，该实施例成为以六十分之一秒的间隔以面顺次的方式对R图像、G图像、B图像进行摄像的内窥镜装置的例子，实质上的帧率成为20fps。

摄像部200形成为细长且能够弯曲，以使得能够插入到例如胃或大肠等体腔内。在摄像部200中具有用于对由光源部100会聚的光进行引导的光导纤维201、使由光导纤维201引导至前端的光扩散并对观察对象进行照射的照明透镜203、使从观察对象返回的反射光会聚的物镜204、205、用于检测会聚后的成像光的摄像元件206、207、将来自摄像元件206、207的光电转换后的模拟信号转换为数字信号的A/D转换部209、记录摄像部200的镜体ID信息和包含制造偏差的固有信息的存储器210、以及能够相对于处理器部300进行拆装的连接器212。这里，所述摄像元件206、207为单色单板摄像元件，可以利用CCD或CMOS等。

物镜204、205配置在分开规定间隔的位置，配置在能够拍摄规定视差图像(以后记为立体图像)的位置，在摄像元件206、207中分别形成左图像和右图像。并且，从摄像元件206和207输出的左图像和右图像在A/D转换部209中被转换为数字信号并输出到图像处理部301。并且，存储器210与控制部302连接，将镜体ID信息和包含制造偏差的固有信息送到控制部302。

处理器部300由图像处理部301和控制部302构成。

显示部400是CRT或液晶监视器等能够进行动态图像显示的显示装置。

外部接口部500是用于供用户对该内窥镜装置进行输入等的接口，构成为包括用于进行电源的接通/断开的电源开关、用于开始进行拍摄操作的快门按钮、用于切换拍摄模式和其他各种模式的模式切换开关(例如用于进行活体表面的凹凸部的选择性的强调处理的开关)等。而且，该外部接口部500将所输入的信息输出到控制部302。

并且，设胃或大肠等活体表面存在有正常活体预先具有的褶皱2、3、4以及病变部10、20、30。病变部10是凹陷型的稍微凹进的早期病变，病变20是隆起型的稍微突出的早期病变，病变部30是粘膜面不整齐的早期病变。另外，如在病变部10的周边、褶皱4的右侧也示出凹凸部那样，在正常部中也看到与病变部中看到的凹凸相同的(例如维度非常相似)凹凸部。在本实施方式的手法中，不是进行病变部的检测本身，而是进行病变检测等中有用的提取凹凸信息的取得，所以，不用区分病变部中包含的凹凸部和正常部中包含的凹凸部来进行处理。

接着，根据图3对图像处理部301进行详细说明。图像处理部301由图像取得部390、图像构成部320、距离信息取得部340(距离映射图计算部)、已知特性信息取得部350、凹凸确定部310、强调处理部330构成，凹凸确定部310还由凹凸信息提取部360、确定处理部370构成。

通过图像取得部390取得由从摄像部200的摄像元件206、207输出的左图像和右图像构成的立体图像，所取得的立体图像被输入到图像构成部320和距离信息取得部340。图像构成部320对被摄像的立体图像实施规定图像处理(OB处理、增益处理、γ处理)以使其成为能够输出到显示部400的图像，并将其输出到强调处理部330。

距离信息取得部340将构成被摄像的立体图像的左图像作为基准图像，在穿过位于左图像的局部区域的中央的关注像素的核线上进行与右图像的局部区域之间的匹配运算，计算最大相关的位置作为视差。在距离信息取得部340中进一步将计算出的视差转换为Z方向的距离并取得距离信息(狭义地讲为距离映射图)，所取得的距离信息被输出到凹凸确定部310的凹凸信息提取部360。

已知特性信息取得部350从控制部302(或未图示的存储部)中取得已知特性信息。具体而言，取得来自活体表面的由于病变部而引起的希望提取的活体固有的凹凸部的尺寸(宽度、高度、深度等维度信息)以及基于观察部位信息的部位固有的管腔和褶皱的尺寸(宽度、高度、进深等维度信息)等作为已知特性信息。这里，观察部位信息是根据从存储器210输入到控制部302的镜体ID信息而决定的表示作为观察对象的部位的信息，该观察部位信息也可以包含在已知特性信息中。例如是如下信息：如果是上部消化器官用镜体则判定为观察部位为食道、胃、十二指肠，如果是下部消化器官用镜体则判定为观察部位为大肠。由于希望提取的凹凸部的维度信息以及部位固有的管腔和褶皱的维度信息根据部位而不同，所以，在已知特性信息取得部350中，将根据观察部位信息取得的标准的管腔和褶皱的尺寸等信息输出到凹凸信息提取部360。另外，观察部位信息不限于由镜体ID信息决定的信息，也可以在外部接口部500中由用户使用可操作的开关进行选择等，通过其他手法来决定。

凹凸信息提取部360根据已知特性信息决定提取处理参数，根据所决定的提取处理参数进行提取凹凸信息的提取处理。

首先，凹凸信息提取部360对所输入的距离信息实施N×N像素的规定尺寸的低通滤波处理，提取大致的距离信息。然后，根据提取出的大致的距离信息，自适应地决定提取处理参数。提取处理参数的详细情况在以后进行说明，但是，例如是与和距离映射图的距离信息正交的平面位置处的距离信息自适应的形态学的核心尺寸(构造要素的尺寸)、与所述平面位置的距离信息自适应的低通特性的滤波器、与所述平面位置自适应的高通特性的滤波器。即，成为对与距离信息对应的适当的非线性和线性的低通滤波器和高通滤波器进行变更的变更信息。

接着，凹凸信息提取部360通过根据所决定的提取处理参数进行提取处理，仅提取被摄体中实际存在的期望尺寸的凹凸部。这些提取出的凹凸部在确定处理部370中与摄像图像对应起来。这里的提取凹凸信息是后述图4(C)、图4(E)等的信息，这是因为，认为有时在与摄像图像的对应中需要进行规定处理。例如，在取得提取凹凸信息作为具有摄像图像的常数倍尺寸的凹凸图像的情况下，为了将凹凸图像上的凹凸部的位置转换为摄像图像上的位置，在确定处理部370中进行凹凸图像的变倍处理等。但是，在凹凸信息提取部360中，在取得与从图像构成部320输出的图像相同尺寸的提取凹凸信息(凹凸图像)的情况下，作为省略确定处理部370的结构，也可以将该提取凹凸信息输出到强调处理部330。

强调处理部330对摄像图像(例如从图像构成部320输出的左右图像中的作为视差计算的基准的左图像)进行与所确定的凹凸部对应的期望的强调处理(例如可以是针对亮度的强调、针对颜色的色相或彩度强调)，仅将处理后的左图像输出到显示部400。即，不作为立体图像进行输出，而是进行2D图像显示。但是，本实施方式中的显示图像不限于此，也可以输出进行强调显示后的立体图像。或者，也可以输出进行强调显示后的2D图像和未进行强调显示的立体图像双方并进行交替显示。

接着，使用图4(A)～图4(F)对凹凸信息提取部360中的提取处理参数的决定处理进行详细说明。图4(A)～图4(F)的提取处理参数是形态学处理的开处理和闭处理中利用的构造要素(球)的直径。图4(A)是示意地示出被摄体的活体表面和摄像部200的垂直方向的截面的图。位于活体表面中的褶皱2、3、4例如为胃壁的褶皱。并且，早期病变部10、20、30形成在活体表面中。

希望通过凹凸信息提取部360中的提取处理参数的决定处理实现的是，决定不从这种活体表面中提取褶皱2、3、4而仅提取早期病变部10、20、30的提取处理参数。

为了实现这种情况，需要使用来自控制部302的由于病变部而引起的希望提取的活体固有的凹凸部的尺寸(宽度、高度、深度等维度信息)以及基于观察部位信息的部位固有的管腔和褶皱的尺寸(宽度、高度、进深等维度信息)。

如果使用这2个信息来决定针对实际的活体表面而在开处理和闭处理中描绘的球的直径，则能够仅提取具有特定维度特性的凹凸部。将球的直径设定为比基于观察部位信息的部位固有的管腔和褶皱的尺寸小、且比由于病变部而引起的希望提取的活体固有的凹凸部的尺寸大的直径。更详细地讲，最好设定为褶皱的尺寸的一半以下的直径且由于病变而引起的希望提取的活体固有的凹凸部的尺寸以上即可。图4(A)～图4(F)中描绘了在开处理和闭处理中使用满足上述条件的球的例子。

图4(B)是进行闭处理后的活体表面，可知通过决定适当的提取处理参数(构造要素的尺寸)，得到维持基于活体壁面的距离变化、褶皱等的构造、并且嵌入了作为提取对象的维度的凹凸部中的凹部的信息。通过取得利用闭处理得到的信息与原来的活体表面(对应于图4(A))的差分，能够仅提取图4(C)这样的活体表面的凹部。

同样，图4(D)是进行开处理后的活体表面，可知得到削去了作为提取对象的维度的凹凸部中的凸部的信息。由此，通过取得利用开处理得到的信息与原来的活体表面的差分，能够仅提取图4(E)这样的活体表面的凸部。

如上所述，针对实际的活体表面使用完全相同尺寸的球进行开处理、闭处理即可，但是，由于立体图像作为距离信息越远则越小的区域成像在摄像元件上，所以，为了提取期望尺寸的凹凸部，进行如下控制即可：在距离信息较近的情况下增大上述球的直径，在距离信息较远的情况下减小上述球的直径。

图4(F)中示出针对对距离映射图进行开处理、闭处理的情况下的平均距离信息进行控制以变更球的直径的情况。即，为了针对距离映射图提取期望的凹凸部，需要以光学倍率对活体表面的真实大小进行校正以使其与摄像元件上的成像图像上的像素间距的大小一致。因此，凹凸信息提取部360取得根据来自存储器210的镜体ID信息而决定的摄像部200的光学倍率等即可。

接着，进行图5所示的距离信息取得部340、已知特性信息取得部350、凹凸信息提取部360的详细框图的说明。距离信息取得部340由立体匹配部341和视差/距离转换部342构成。并且，凹凸信息提取部360由局部平均距离计算部361、形态学特性设定部362、闭处理部363-1、开处理部363-2、凹部提取部364、凸部提取部365构成。

从摄像部200输出的立体图像被输入到立体匹配部341，将左图像作为基准图像，相对于右图像在核线上对处理对象像素及其周边区域(规定尺寸的块)进行块匹配，计算视差信息。计算出的视差信息在视差/距离转换部342中被转换为距离信息。该转换包含摄像部200的光学倍率的校正处理。

狭义地讲，转换后的距离信息作为由与立体图像相同尺寸的像素构成的距离映射图输出到局部平均距离计算部361。局部平均距离计算部361对所输入的距离映射图进行例如3×3像素的平均值计算，计算局部区域中的平均距离。计算出的平均距离被输入到形态学特性设定部362，进而，根据来自控制部302的由于病变部而引起的希望提取的活体固有的凹凸部的尺寸(宽度、高度、深度等维度信息)以及基于观察部位信息的部位固有的管腔和褶皱的尺寸(宽度、高度、进深等维度信息)，决定开处理和闭处理中使用的球的直径(本实施方式中的提取处理参数)。

所决定的球的直径信息作为具有与距离映射图相同的像素数的直径映射图被输入到闭处理部363-1和开处理部363-2。闭处理部363-1和开处理部363-2通过直径映射图以像素单位对直径进行变更，进行闭处理和开处理。闭处理部363-1的处理结果被输出到凹部提取部364。并且，开处理部363-2的处理结果被输出到凸部提取部365。

对凹部提取部364输入闭处理前后的距离映射图，通过从闭处理前的距离映射图中减去闭处理后的距离映射图，输出仅提取出期望的凹部的凹部图像。另一方面，对凸部提取部365输入开处理前后的距离映射图，通过从开处理前的距离映射图中减去开处理后的距离映射图，输出仅提取出期望的凸部的凸部图像。

如上所述，根据第1实施方式，由于能够不受观察部位固有的褶皱和管腔形状影响而高精度地提取由于病变部而引起的希望提取的活体固有的凹凸部，所以，能够针对显示图像选择性地对由于病变部而引起的凹凸部进行强调显示等。

在以上的本实施方式中，如图1或图3所示，图像处理装置包括：图像取得部390，其通过摄像部200的摄像而取得包含被摄体像的摄像图像；距离信息取得部340，其取得基于摄像时的从摄像部200到被摄体的距离的距离信息；已知特性信息取得部350，其取得表示与被摄体的构造有关的已知特性的信息即已知特性信息；以及凹凸确定部310，其根据距离信息和已知特性信息，进行从摄像图像中被摄像的被摄体中确定与由已知特性信息确定的特性一致的被摄体的凹凸部的凹凸确定处理。

这里，距离信息是根据从摄像部200到被摄体的距离而取得的各种信息。例如，在本实施方式中，如上所述，在利用立体光学系统进行三角测量的情况下，将以连结产生视差的2个透镜(图2的物镜204、205)的面的任意点为基准的距离作为距离信息即可。另一方面，在第2实施方式等中，在使用后述Time of Flight方式的情况下，例如，取得以摄像元件面的各像素位置为基准的距离作为距离信息。它们是将距离计测的基准点设定在摄像部200中的例子，但是，基准点可以设定在摄像部200以外的任意场所、例如包含摄像部或被摄体的三维空间内的任意场所，使用这种基准点的情况下的信息也包含在本实施方式的距离信息中。

认为从摄像部200到被摄体的距离例如是从摄像部200到被摄体的进深方向的距离。作为一例，使用摄像部200的光轴方向上的距离即可，如图4(A)所示，在与光轴垂直的方向上设定了视点的情况下，可以是该视点中观察到的距离(如果是图4(A)的例子，则为箭头所示的上下方向上的从摄像部200到被摄体的距离)。

例如，距离信息取得部340也可以通过公知的坐标转换处理，将以摄像部200的第1基准点为原点的第1坐标系中的各对应点的坐标，转换为以三维空间内的第2基准点为原点的第2坐标系中的对应点的坐标，根据该转换后的坐标来计测距离。该情况下，第2坐标系中的从第2基准点到各对应点的距离成为第1坐标系中的从第1基准点到各对应点的距离、即“从摄像部到各对应点的距离”，两者一致。

并且，距离信息取得部340也可以在能够维持与在摄像部200中设定了基准点的情况下取得的距离映射图上的各像素间的距离值的大小关系相同的大小关系的位置设置假想的基准点，由此，取得基于从摄像部200到对应点的距离的距离信息。例如，在从摄像部200到3个对应点的实际距离为“3”、“4”、“5”的情况下，距离信息取得部340也可以在维持了各像素间的距离值的大小关系的情况下，取得将这些距离一律设为一半得到的“1.5”、“2”、“2.5”。该情况下，与在摄像部200中设定了基准点的情况相比，凹凸信息提取部360使用不同的参数作为提取处理参数。这是因为，由于在提取处理参数的决定中需要使用距离信息，所以，在由于距离计测的基准点变化而使距离信息的表现方式变化的情况下，提取处理参数的决定手法也发生变化。例如，在本实施方式中，如上所述，在通过形态学处理提取出提取凹凸信息的情况下，对提取处理中使用的构造要素的尺寸(例如球的直径)进行调整，使用调整后的构造要素来实施凹凸部的提取处理。

由此，能够使用已知特性信息和距离信息，从摄像图像中被摄像的被摄体中确定具有给定特性的凹凸部，所以，能够高精度地检测被摄体的凹凸部(狭义地讲为被摄体表面的凹凸部，但是不限于此)。此时，由于不需要使用色素散布等的使被摄体侧变化的手法，所以，还具有不用考虑强调对象以外的被摄体的视觉辨认性降低、将活体作为对象的情况下的侵袭性的问题等的优点。

并且，凹凸确定部310也可以包括凹凸信息提取部360，该凹凸信息提取部360根据距离信息和已知特性信息，从距离信息中提取表示与由已知特性信息确定的特性一致的被摄体的凹凸部的信息作为提取凹凸信息。然后，凹凸确定部310根据提取凹凸信息进行凹凸确定处理。

由此，能够从距离信息(例如图4(A)所示的信息)中提取出提取凹凸信息(例如图4(C)或图4(E)所示的信息)，使用该提取凹凸信息在摄像图像上确定凹凸部。即，能够进行如下处理：使用包含被摄体的三维信息的距离信息，取得与具有期望特性的凹凸部有关的信息，通过将该信息与摄像图像对应起来，确定期望的凹凸部位于被摄像的被摄体中的哪个部分。另外，狭义地讲，提取凹凸信息可以是具有与距离映射图或由图像构成部320构成的图像对应的像素数(例如相同的像素数)、且各像素值成为与凹凸对应的值的凹凸图像。认为与凹凸对应的值是如下值：例如凸部为正值，凹部为负值，凸部的高度越高、并且凹部的深度越深，则其绝对值越大。但是，提取凹凸信息不限于凹凸图像，也可以是其他形式的信息。

并且，凹凸信息提取部360也可以根据已知特性信息来决定提取处理参数，根据所决定的提取处理参数，提取被摄体的凹凸部作为提取凹凸信息。

由此，能够使用由已知特性信息决定的提取处理参数进行提取凹凸信息的提取处理(例如分离处理)。关于提取处理的具体手法，考虑本实施方式中上述的形态学处理、后述的滤波处理等，但是，无论使用哪种处理，为了高精度地提取出提取凹凸信息，需要进行从距离信息中包含的各种构造的信息中提取与期望凹凸部有关的信息并将其他构造(例如褶皱等活体固有的构造)除外的控制。这里，通过根据已知特性信息来设定提取处理参数，实现这种控制。

并且，已知特性信息取得部350也可以提取表示被摄体的种类的种类信息、以及与种类信息相关联的与被摄体的凹凸部有关的信息即凹凸特性信息作为已知特性信息。然后，凹凸信息提取部360根据种类信息和凹凸特性信息来决定提取处理参数，根据所决定的提取处理参数提取被摄体的凹凸部作为提取凹凸信息。

这里，种类信息是用于确定被摄体的种类的信息。例如，在考虑工业用内窥镜的情况下，也可以是确定作为观察对象的装置等的信息。或者，也可以是确定更窄范围内的种类的信息，例如可以是确定对装置中包含的粗细不同的多个管中的哪种粗细的管进行观察的信息。凹凸特性信息是确定希望从距离信息中提取的被摄体的凹凸的特性的信息。具体而言，包含表示距离信息中包含的凹凸中的作为除外对象的凹凸的特性的信息、以及表示作为提取对象的凹凸的特性的信息中的至少一方的信息。

由此，能够使用种类信息和凹凸特性信息作为已知特性信息来决定提取处理参数。在上述管的粗细的例子中可知，如果观察对象的种类不同，则应该提取的凹凸部的维度等不同。由此，本实施方式的图像处理装置按照每个种类信息保持多个凹凸特性信息，根据所取得的种类信息选择适当的凹凸特性信息，由此决定适当的提取处理参数。另外，凹凸特性信息可以是作为基准的一个信息，也可以根据种类信息对这一个值进行转换并使用。

并且，摄像图像是对活体的内部进行摄像而得到的活体内图像，已知特性信息取得部350也可以取得表示被摄体对应于活体的哪个部位的部位信息以及与活体的凹凸部有关的信息即凹凸特性信息作为已知特性信息。然后，凹凸信息提取部360根据部位信息和凹凸特性信息决定提取处理参数，根据所决定的提取处理参数提取被摄体的凹凸部作为提取凹凸信息。

由此，在将活体内图像作为对象的情况下(例如在活体用的内窥镜装置中应用本实施方式的图像处理装置的情况下)，能够取得与该活体内图像的被摄体的部位有关的部位信息作为已知特性信息。在将活体内图像作为对象而应用本实施方式的手法的情况下，假设提取早期病变部的检测等中有用的凹凸构造作为提取凹凸信息，但是，早期病变部中特征性的凹凸部的特性(例如维度信息)可能根据部位而不同。并且，作为除外对象的活体固有的构造(褶皱等)当然也根据部位而不同。由此，如果将活体作为对象，则需要进行与部位对应的适当处理，在本实施方式中，根据部位信息进行该处理。

考虑各种具体手法，但是，例如未图示的存储部存储与所述活体的第1～第N部位的各部位对应的第1～第N凹凸特性信息，在通过所述部位信息确定为所述被摄体对应于第k部位的情况下，所述凹凸信息提取部360也可以使用所述第1～第N凹凸特性信息中的第k凹凸特性信息来决定所述提取处理参数。或者，未图示的存储部存储基准凹凸特性信息作为所述凹凸特性信息，所述凹凸信息提取部360也可以根据所述部位信息对所述基准凹凸特性信息进行转换处理，使用所述转换处理后的所述凹凸特性信息来决定所述提取处理参数。

并且，凹凸信息提取部360也可以根据已知特性信息决定开处理和闭处理中使用的构造要素的尺寸作为提取处理参数，使用所决定的尺寸的构造要素进行开处理和闭处理，提取被摄体的凹凸部作为提取凹凸信息。

由此，如图4(A)～图4(F)所示，能够根据开处理和闭处理(广义地讲为形态学处理)提取出提取凹凸信息。此时的提取处理参数是开处理和闭处理中使用的构造要素的尺寸。由于在图4(A)中假设球作为构造要素，所以，提取处理参数成为表示球的直径等的参数。具体而言，如上所述，在对褶皱等作为除外对象的形状进行了基于构造要素的处理的情况下(图4(A)中在表面滑动球的情况下)，决定不破坏该形状(追随于形状而使球移动)的构造要素的尺寸。相反，在作为提取凹凸信息而对作为提取对象的凹凸部进行了基于构造要素的处理的情况下，决定消除该凹凸部(在从上方滑动的情况下不会进入凹部、或者在从下方滑动的情况下不会进入凸部)的构造要素的尺寸即可。另外，由于形态学处理是广泛公知的手法，所以省略详细说明。

并且，凹凸信息提取部360也可以设定为，与开处理和闭处理的处理对象像素对应的距离信息的值越大，则提取处理参数即构造要素的尺寸越小。

由此，能够取得实际尺寸与图像上尺寸的对应。由于已知特性信息是与被摄体的构造有关的已知特性，所以，假设利用认为在实际空间中的情况下的实际尺寸(例如由微米、毫米等单位决定的尺寸)来表现。但是，考虑图4(A)等可知，在从摄像部200到被摄体的距离中存在偏差，而且，即使是实际尺寸相同的被摄体(例如相同宽度的槽)，与距离较大的被摄体相比，观察到距离较小的被摄体较大。由此，如果不进行实际尺寸与距离信息上看到的尺寸(如果是距离信息由像素单位表示的距离映射图，则为由像素单位决定的尺寸)的转换，很难进行与由已知特性信息确定的特性一致的凹凸部的提取。因此，在本实施方式中，通过根据距离信息的值对提取处理参数进行变更，进行该转换。具体而言，距离越大，则应该提取的对象的凹凸部看起来越小，所以，将构造要素的尺寸设定为较小即可。另外，该情况下，根据摄像部200中的摄像倍率，实际尺寸与图像上尺寸的对应关系变化，所以，优选凹凸信息提取部360从摄像部200取得摄像倍率的信息，进行基于该摄像倍率的转换处理。

并且，被摄体具有全局的三维构造和与全局的三维构造相比成为局部的凹凸构造，凹凸信息提取部360也可以提取被摄体所具有的全局的三维构造和局部的凹凸构造中的、与由已知特性信息确定的特性一致的被摄体的凹凸部作为提取凹凸信息。

由此，在被摄体具有全局的构造和局部的构造的情况下，使用已知特性信息来决定应该提取哪个构造，能够提取与所决定的构造有关的信息作为提取凹凸信息。

并且，摄像图像是对活体的内部进行摄像而得到的活体内图像，被摄体具有活体内部的管腔构造即活体的全局的三维构造、以及管腔构造中形成的与全局的三维构造相比成为局部的凹凸构造，凹凸信息提取部360也可以提取被摄体中包含的全局的三维构造和凹凸部中的、与由已知特性信息确定的特性一致的被摄体的凹凸部作为提取凹凸信息。

由此，在将活体内图像作为对象的情况下，本实施方式的手法能够作为提取距离信息中包含的全局的(这里是指空间频率低于凹凸部的构造)三维构造和凹凸部中的凹凸部的处理来实现。如上所述，在本实施方式中，在将活体内图像作为对象的情况下，将早期病变部的发现中有用的凹凸部作为提取对象。即，不需要将活体固有的褶皱、由于壁面的曲率而引起的构造等的活体固有的三维构造作为提取对象，凹凸信息提取部360将它们除外来提取凹凸部即可。该情况下，除外的部分成为全局的构造(空间频率较低的构造)，提取对象成为局部的构造(空间频率较高的构造)，所以，进行设定与其中间部分相当的空间频率等作为边界(狭义地讲设为提取处理参数)的处理等。

并且，距离信息取得部340也可以在所取得的摄像图像的各像素中，取得将与从摄像部到各像素中被摄像的被摄体的距离有关的信息对应起来的距离映射图作为距离信息。

这里，距离映射图是距离信息的下位概念，例如在设摄像部200的光轴方向为Z轴的情况下，是将从XY平面的各点(例如各像素)到被摄体的Z轴方向上的距离(进深/深度)作为该点的值的映射图。

由此，能够取得距离映射图作为距离信息。该情况下，能够按照每个像素容易地将距离信息以及从该距离信息中提取的提取凹凸信息与进行图像构成处理等后的被摄体的图像(由图像构成部320取得的图像)对应起来。由此，能够容易地掌握在被摄体图像的哪个位置存在作为提取对象的凹凸部，在使用强调处理部330等进行凹凸部的强调处理时，也容易判定应该强调的像素和不应该强调的像素。

并且，摄像部200具有多个视点，图像取得部390也可以经由摄像部200取得与多个视点分别对应的多个摄像图像，距离信息取得部340根据从所取得的多个摄像图像中得到的视差信息取得距离信息。

由此，根据通过来自多个视点的图像而取得的视差信息，能够取得距离信息。视差信息的取得手法和向距离信息的转换手法等作为立体匹配处理而广泛公知，所以省略详细说明。该情况下，作为摄像元件(图2中为206和207)，能够利用拜耳排列的单板元件等广泛使用的元件，所以容易实现。并且，由于这种元件在小型化等方面得到进展，所以，即使考虑需要与视点数对应的元件和光学系统，也能够使摄像部200小型化，内窥镜装置等的利用领域广泛。

并且，以上的本实施方式能够应用于包含上述图像处理装置的电子设备。

由此，能够实现通过本实施方式的手法来检测凹凸部的电子设备。这里的电子设备可以包含摄像部200和用于生成距离信息的硬件(如果是本实施方式，则为立体光学系统，但是，也可以是后述Time of Flight方式中的激光器光源105或测距传感器214等)，也可以仅包含其中一方，或者也可以不包含其双方。本实施方式的电子设备例如可以是取得来自人工卫星的信息的设备(例如PC或服务器)。该情况下，通过从人工卫星发出激光，计测从人工卫星到富士山的距离，本发明的电子设备经由网络从人工卫星取得映出富士山的图像和距离信息。然后，电子设备从记录部取得表示富士山上的破火山口(凹部)的几何学信息的信息作为已知特性信息，根据其特性，考虑进行在图像上识别富士山上形成的破火山口部分这样的处理。

并且，如图2所示，以上的本实施方式能够应用于包含上述图像处理装置的内窥镜装置。

由此，能够实现通过本实施方式的手法来检测凹凸部的内窥镜装置。如上所述，公知活体的微小的凹凸部在早期病变部的发现中是有用的，与此相对，以往，该凹凸部的检测精度不充分，不是使用图像处理，而是使用对于被检者来说侵袭性较高的色素散布等手法。根据本实施方式的手法，能够通过图像处理高精度地检测凹凸部，所以，在医疗领域等中是有用的。另外，在本实施方式的手法中，检测与早期病变部等中看到的凹凸部相同特性的凹凸部，所以，不仅检测图2的病变部10、20、30的凹凸部，还检测正常部的凹凸部而不用进行区分。即，所输出的提取凹凸信息在早期病变部的发现中确实是有用的，但是，本实施方式的手法并未涉及实际上如何检测早期病变部。

另外，本实施方式的图像处理装置等可以通过程序来实现其处理的一部分或大部分。该情况下，通过由CPU等处理器执行程序，实现本实施方式的图像处理装置等。具体而言，读出信息存储装置中存储的程序，CPU等处理器执行所读出的程序。这里，信息存储装置(计算机可读取的装置)存储程序和数据等，其功能可以通过光盘(DVD、CD等)、HDD(硬盘驱动)或存储器(卡型存储器、ROM等)等实现。然后，CPU等处理器根据信息存储装置中存储的程序(数据)进行本实施方式的各种处理。即，在信息存储装置中存储有用于使计算机(具有操作部、处理部、存储部、输出部的装置)作为本实施方式的各部发挥功能的程序(用于使计算机执行各部的处理的程序)。

3.第2实施方式

图6是第2实施方式的内窥镜装置的功能框图。构成第2实施方式的内窥镜装置也由光源部100、摄像部200、处理器部300、显示部400、外部接口部500构成。

首先，光源部100由白色LED和蓝色激光器光源105、以及使白色LED和蓝色激光器的合成光会聚在光导纤维201的入射端面的会聚透镜104构成。白色LED和蓝色激光器光源105根据来自控制部302的控制进行脉冲点亮控制。并且，蓝色激光器例如使用比白色LED发光的蓝色更短波长的波长。

摄像部200形成为细长且能够弯曲，以使得能够插入到例如胃或大肠等体腔内。在摄像部200中配置有用于对由光源部100会聚的光进行引导的光导纤维201、使由光导纤维201引导至前端的光扩散并对观察对象进行照射的照明透镜203、使从观察对象返回的反射光会聚的物镜204、仅反射所会聚的成像光的蓝色激光器光的波长并透射除此以外的波长的光的二色棱镜217、检测从蓝色激光器光的发光开始到摄像开始时刻的时间的Time of Flight方式的测距传感器214、检测白色LED光的成像光的摄像元件213。进而，摄像部200具有将来自摄像元件213的光电转换后的模拟信号和来自测距传感器214的距离信息的模拟信号转换为数字信号的A/D转换部209、记录摄像部200的镜体ID信息和包含制造偏差的固有信息的存储器210、以及能够相对于处理器部300进行拆装的连接器212。这里，所述摄像元件213为原色单板摄像元件(拜耳排列)，可以利用CCD或CMOS等。

并且，A/D转换部209中被转换为数字信号的来自摄像元件213的图像被输出到图像处理部301，来自测距传感器214的距离信息在A/D转换部209中被转换为数字信号并输出到距离映射图记录部303。并且，存储器210与控制部302连接，将镜体ID信息和包含制造偏差的固有信息送到控制部302。

处理器部300由图像处理部301、控制部302、距离映射图记录部303构成。

显示部400是CRT或液晶监视器等能够进行动态图像显示的显示装置。

外部接口部500是用于供用户对该内窥镜装置进行输入等的接口，构成为包括用于进行电源的接通/断开的电源开关、用于开始进行拍摄操作的快门按钮、用于切换拍摄模式和其他各种模式的模式切换开关(例如用于进行活体表面的凹凸部的选择性的强调处理的开关)等。而且，该外部接口部500将所输入的信息输出到控制部302。

接着，根据图7对图像处理部301进行详细说明。图像处理部301由图像取得部390、图像构成部320、已知特性信息取得部350、凹凸确定部310、强调处理部330构成，凹凸确定部310还由凹凸信息提取部360、确定处理部370构成。

通过图像取得部390取得从摄像部200的摄像元件213输出的图像，所取得的图像被输入到图像构成部320。并且，来自测距传感器214的距离信息被输入到距离映射图记录部303。图像构成部320对被摄像的图像实施规定图像处理(OB处理、增益处理、γ处理)以使其成为能够输出到显示部400的图像，并将其输出到强调处理部330。

距离映射图记录部303中记录的来自测距传感器214的距离映射图(设为与摄像元件213的像素数相同的像素)被输出到凹凸信息提取部360。

利用图9对第2实施方式的凹凸信息提取部360进行说明。凹凸信息提取部360由局部平均距离计算部361、低通特性设定部366、低通处理部367、凹部提取部364和凸部提取部365构成。

这里，本实施方式的凹凸信息提取部360通过根据局部平均距离来变更低通滤波器的频率特性，由此进行与第1实施方式的形态学相似的处理。另外，低通滤波器可以是线性高斯滤波器，也可以是非线性双向(Bilateral)滤波器。即，由于在距离较近的情况下，图像内的由于病变而引起的凹凸部较大，在距离较远的情况下，图像内的由于病变而引起的凹凸部较小，所以，需要根据距离信息来变更所述低通滤波器的特性，从而生成提取期望凹凸部所需要的基准面。即，本实施方式中的提取处理参数成为决定低通滤波器的特性(狭义地讲为频率特性)的参数。

关于从距离映射图记录部303输出的距离映射图，在局部平均距离计算部361中计算与第1实施方式相同的例如3×3像素的平均值，并将其输出到低通特性设定部366。

从已知特性信息取得部350对低通特性设定部366输入由于病变部而引起的希望提取的活体固有的凹凸部的尺寸(宽度、高度、深度等维度信息)以及基于观察部位信息的部位固有的管腔和褶皱的尺寸(宽度、高度、进深等维度信息)作为已知特性信息。并且，对低通特性设定部366输入摄像部200的光学倍率和局部平均距离，首先，在使距离映射图(Z方向)的大小和对应于与z方向正交的坐标系(像素间距)的被摄体的大小一致后，决定能够使上述由于病变部而引起的希望提取的活体固有的凹凸部变得平滑、且保持了观察部位固有的管腔和褶皱的构造的低通滤波器的特性。

低通滤波器采用公知的高斯滤波器或双向滤波器，其特性由σ控制，也可以生成与距离映射图的像素一对一对应的σ映射图(在双向滤波器的情况下，也可以利用亮度差的σ和距离的σ双方或任意一方生成σ映射图)。这里，“亮度差的σ”中的亮度表示将距离映射图视为图像时的像素值，所以，亮度差表示Z方向上的距离的差。另一方面，“距离的σ”中的距离表示XY方向的关注像素与周边像素之间的距离。另外，高斯滤波器可以由下式(1)表示，双向滤波器可以由下式(2)表示。

【数式1】

$f\left(x\right)=\frac{1}{N}\exp (-\frac{{(x-x0)}^2}{2{\mathrm{\σ}}^2})\mathrm{.....}\left(1\right)$

【数式2】

$f\left(x\right)=\frac{1}{N}\exp (-\frac{{(x-x0)}^2}{2{\mathrm{\σ}}_c^2})\×\exp (-\frac{{\left(p\right(x)-p(x0\left)\right)}^2}{2{\mathrm{\σ}}_v^2})\mathrm{.....}\left(2\right)$

例如，这里，关于该σ映射图，即使不是像素单位，也可以生成进行间疏处理后的σ映射图并将其输出到低通处理部367。在低通处理部367中，根据距离映射图和σ映射图使期望的低通滤波器作用于距离映射图。

决定低通滤波器的特性的σ例如设定为比与希望提取的活体固有的凹凸部的尺寸对应的距离映射图的像素间距离D1的规定倍α(>1)大、且比与观察部位固有的管腔和褶皱的尺寸对应的距离映射图的像素间距离D2的规定倍β(<1)小的值。例如，可以设σ＝(α*D1+β*D2)/2*Rσ。

并且，作为低通滤波器的特性，也可以设定更加急剧的锐截止特性。该情况下，不是利用σ，而是利用截止频率fc对滤波器特性进行控制。截止频率fc指定为使上述D1周期的频率F1截止并使D2周期的频率F2通过即可。例如，可以设为fc＝(F1+F2)/2*Rf。

这里，Rσ是局部平均距离的函数，如果局部平均距离变小则输出值变大，如果局部平均距离变大则输出值变小。另一方面，Rf是如果局部平均距离变小则输出值变小、如果局部平均距离变大则输出值变大的函数。

凹部提取部364被输入低通处理部367的输出以及来自距离映射图记录部303的距离映射图，仅提取从未进行低通处理的距离映射图中减去低通处理结果而为负的区域，由此能够输出凹部图像。凸部提取部365被输入低通处理部367的输出以及来自距离映射图记录部303的距离映射图，仅提取从未进行低通处理的距离映射图中减去低通处理结果而为正的区域，由此能够输出凸部图像。

图8(A)～图8(D)示出与基于低通滤波器的由于病变而引起的期望凹凸部的提取有关的想法。可知，通过对图8(A)的距离映射图进行使用低通滤波器的滤波处理，如图8(B)所示，得到维持基于活体壁面的距离变化、褶皱等的构造、并且去除了作为提取对象的维度的凹凸部的信息。即使不进行第1实施方式那样的开处理和闭处理这两个处理，低通滤波处理结果也成为提取期望凹凸部的基准局面(图8(B))，所以，利用与大体的距离映射图(图8(A))之间的减法处理，如图8(C)所示能够提取凹凸部。与第1实施方式中根据大致的距离信息自适应地变更构造要素的尺寸的情况同样，在第2实施方式中，根据大致的距离信息来变更低通滤波器的特性即可，图8(D)示出该例子。

以后的处理与第1实施方式相同，所以省略。

如上所述，根据第2实施方式，关于距离信息，设置Time of Flight方式的测距传感器，进而将测距用的照明设为蓝色激光器，所以，针对粘膜层的进入较少，能够提取与活体表面的凹凸对应的距离信息，所以，其结果，能够不受观察部位固有的褶皱和管腔形状影响而高精度地仅提取由于病变部而引起的希望提取的活体固有的凹凸部。

在以上的本实施方式中，凹凸信息提取部360根据已知特性信息，决定针对距离信息的滤波处理中使用的滤波器的频率特性作为提取处理参数，使用具有所决定的频率特性的滤波器进行滤波处理，提取被摄体的凹凸部作为提取凹凸信息。

由此，如图8(A)～图8(D)所示，能够根据滤波处理(在本实施方式中使用低通滤波器进行说明，但是，也可以使用第3实施方式中后述的高通滤波器或带通滤波器)提取出提取凹凸信息。此时的提取处理参数是滤波处理中使用的滤波器的特性(狭义地讲为空间频率特性)。具体而言，如上所述，根据与褶皱等除外对象对应的频率和与凹凸部对应的频率决定σ的值和截止频率即可。

并且，如图6所示，摄像部200包括射出蓝色光的光源部(蓝色激光器光源105)以及接收基于被摄体的蓝色光的反射光的测距元件(测距传感器214)，距离信息取得部340也可以根据从光源部射出蓝色光的时刻到测距元件接收到反射光的时刻的时间信息来取得距离信息。

由此，能够使用Time of Flight方式取得距离信息。通过使用该方式，能够从来自测距传感器214的传感器信息本身取得距离信息，或者仅通过对传感器信息进行简单的校正处理而取得距离信息，所以，与立体匹配等相比，处理容易。并且，通过使用波长较短的蓝色光，能够抑制照射光进入到被摄体内部(狭义地讲为活体内部)。由此，作为被摄体的凹凸部，特别是在提取被摄体表面的凹凸部时，能够高精度地求出与被摄体表面之间的距离信息，所以，能够提高提取精度等。

4.第3实施方式

图10是第3实施方式的内窥镜装置的功能框图。构成第3实施方式的内窥镜装置也由光源部100、摄像部200、处理器部300、显示部400、外部接口部500构成。

与第2实施方式的不同之处在于，光源部100为白色LED和红外激光器光源106，在摄像部200中设有摄像元件215和216这两个摄像元件。如第1实施方式那样，摄像元件215、216将立体图像输出到处理器部300，摄像元件215和216中的至少任意一方针对红外光将Time of Flight方式的测距传感器像素层叠在原色单板的RGB像素的下层。通过这种结构，立体图像被输出到图像处理部301，对距离映射图记录部303输出利用红外线检测到的距离映射图。

接着，使用图11对图像处理部301进行详细说明。图像处理部301由图像取得部390、图像构成部320、距离信息取得部601、已知特性信息取得部350、凹凸确定部310、强调处理部330构成，凹凸确定部310还由凹凸信息提取部360、确定处理部370构成。

通过图像取得部390取得从摄像部200的摄像元件215、216输出的由左图像和右图像构成的立体图像，所取得的立体图像被输入到图像构成部320和距离信息取得部601。

图像构成部320对被摄像的立体图像实施规定图像处理(OB处理、增益处理、γ处理)以使其成为能够输出到显示部400的图像，并将其输出到强调处理部330。

如图13所示，距离信息取得部601由立体匹配部602和视差/距离转换部342构成。立体匹配部602将构成被摄像的立体图像的左图像作为基准图像，在穿过位于左图像的局部区域的中央的关注像素的核线上进行与右图像的局部区域之间的匹配运算，计算最大相关的位置作为视差。此时，在匹配运算中，仅探索与距离映射图记录部303中记录的距离对应的视差的位置周边。即，在本实施方式中，根据通过Time ofFlight方式取得并存储在距离映射图记录部303中的距离映射图，限定距离信息取得时的探索范围，在使用立体图像的距离信息取得中探索被限定的该探索范围。由此，在立体匹配中，不仅能够高速进行匹配，还能够防止误判定。在距离信息取得部601中，由于从匹配处理中取得视差信息，所以，将所取得的视差信息转换为Z方向的距离，将转换后的距离映射图输出到凹凸信息提取部360。

在第3实施方式中，凹凸信息提取部360在提取凹凸信息的提取处理中利用高通滤波器。图12示出其详细情况，由距离信息取得部601取得的距离映射图被输入到局部平均距离计算部361，计算与第1、第2实施方式相同的局部平均距离并将其输出到高通特性设定部368。

与第2实施方式相同，高通特性设定部368从已知特性信息取得部350输入由于病变部而引起的希望提取的活体固有的凹凸部的尺寸(宽度、高度、深度等维度信息)以及基于观察部位信息的部位固有的管腔和褶皱的尺寸(宽度、高度、进深等维度信息)作为已知特性信息。并且，对高通特性设定部368输入摄像部200的光学倍率和局部平均距离，首先，在使距离映射图(Z方向)的大小和对应于与z方向正交的坐标系(像素间距)的被摄体的大小一致后，决定保持上述由于病变部而引起的希望提取的活体固有的凹凸部、并截止观察部位固有的管腔和褶皱的构造的高通滤波器的特性。

作为高通滤波器的特性，例如利用截止频率fhc来控制滤波器特性。截止频率fhc指定为使上述D1周期的频率F1通过并使D2周期的频率F2截止即可。例如，可以设为fhc＝(F1+F2)/2*Rf。这里，Rf是如果局部平均距离变小则输出值变小、如果局部平均距离变大则输出值变大的函数。

与第2实施方式同样，按照每个像素来设定高通滤波器特性，能够通过高通处理部369直接提取由于病变部而引起的希望提取的凹凸部。具体而言，如图8(C)所示，不取得差分而直接取得提取凹凸信息，所取得的提取凹凸信息被输出到凹部提取部364、凸部提取部365。

凹部提取部364通过从由所输入的凹凸部构成的提取凹凸信息中仅提取符号为负的区域，由此输出凹部图像。并且，凸部提取部365通过从由所输入的凹凸部构成的提取凹凸信息中仅提取符号为正的区域，由此输出凸部图像。

以后的处理与第1、第2实施方式相同，所以省略。

如上所述，根据第3实施方式，在距离信息的取得中，设置立体图像和Time ofFlight方式的测距传感器，首先，将测距用的照明设为红色激光器来提取活体表面的距离信息，然后，通过立体匹配高精度地计算距离信息。由此，通过所述距离信息对立体匹配的匹配范围施加限制，所以，能够减少匹配误判定，进而能够实现处理速度的提高。

在以上的本实施方式中，距离信息取得部340取得表示从摄像部200到被摄体的距离的低精度的暂定距离信息，将通过所取得的暂定距离信息缩小范围后的探索范围作为对象，根据从多个摄像图像得到的视差信息，取得与暂定距离信息相比精度较高的距离信息。

由此，在进行取得视差信息并求出距离信息的处理(立体匹配)的情况下，能够减轻处理负荷并缩短处理时间等。在未缩小探索范围的情况下，计算量庞大，而且，在由于某些要因而无法匹配的情况下强行取得匹配，由此，所取得的距离信息的精度可能显著降低。关于这点，即使与提取凹凸信息的提取中使用的最终距离信息相比精度较低，如果能够抓住距离信息的概要，则通过在灵活运用该信息的基础上进行探索，也能够抑制产生上述问题。

并且，如图10所示，摄像部200包括射出红外光的光源部(红色激光器光源106)、以及接收基于被摄体的红外光的反射光的测距元件，距离信息取得部340也可以根据从光源部射出红外光的时刻到测距元件接收到反射光的时刻的时间信息来取得暂定距离信息。

此时，摄像部200也可以具有在配置有摄像图像的结构中使用的RGB像素的单板元件的下层层叠了测距元件的摄像元件。在图10中假设摄像元件215、216中的一方是这种元件。

由此，通过使用红外光的Time of Flight方式，能够取得暂定距离信息。红外光是Time of Flight方式中广泛使用的照射光，但是，由于波长较长，所以，在被摄体表面不进行反射而进入到被摄体内部(狭义地讲为活体内部)，在该被摄体内部散射的光可能被测距元件检测到。该情况下，认为很难取得准确的距离信息，但是，能够取得足够用于限定立体匹配的探索范围的信息。进而，还能够在通常的元件(例如单板拜耳排列的元件)的下层层叠测距元件，该情况下，与图6的例子不同，不需要对图像构成用的光和测距用的光进行分离(图10假设该情况，不存在与图6的二色棱镜217相当的部件)，所以，能够简化摄像部200的结构，能够实现摄像部200的小型化等。

5.第4实施方式

图14是第4实施方式的胶囊内窥镜装置的功能框图。构成第4实施方式的胶囊内窥镜装置700由白色LED701、红外线激光器702、物镜706、照明用透镜704和705、与第3实施方式中使用的摄像元件相同的摄像元件703(Time of Flight方式的测距传感器(利用红外光)合体的元件)、控制部707、无线发送部708构成。

控制部707进行控制以使白色LED701和红外线激光器702进行脉冲发光，结合发光定时，摄像元件703将摄像图像和距离映射图输出到无线发送部708。

无线发送部708与图像记录&再现装置710的无线接收部711进行无线通信，将摄像图像和距离映射图转送到图像记录&再现装置710。被转送的摄像图像和距离映射图被输出到图像处理部720。图像处理部720根据距离映射图和摄像图像进行病变识别处理，将其输出到图像存储部730和显示部740。图像存储部730中蓄积的图像经由无线发送部750发送到服务器。

图像处理部720的详细情况如图15所示，由距离信息取得部721、已知特性信息取得部729、凹凸确定部722、图像构成部(前半部分)723、已知特性信息存储部726、病变识别处理部727、图像选择&图像构成部(后半部分)728构成。

与第1～第3实施方式同样，凹凸确定部722由凹凸信息提取部7222和确定处理部7223构成。另外，已知特性信息取得部729和确定处理部7223的处理与第1～第3实施方式的已知特性信息取得部350和确定处理部370相同，所以省略详细说明。并且，关于凹凸信息提取部7222，不同之处在于Time of Flight方式中使用的光为红外光，但是，成为与第2实施方式的凹凸信息提取部360相同的处理，所以省略说明。

图像构成部(前半部分)723进行OB处理、WB处理、去马赛克、颜色矩阵处理，将向病变识别处理部727和图像选择&图像构成部(后半部分)728进行输出。

从凹凸确定部722向病变识别处理部727输出确定了凹凸部的信息。在病变识别处理部727中，根据确定了凹凸部的摄像图像和与凹凸部对应的图像的颜色信息来判定有无病变部。

判定结果被送到图像选择&图像构成部(后半部分)728，对在图像构成处理部(前半部分)723中处理后的图像进行γ处理、放大缩小、增强处理，将其输出到显示部740和图像存储部730。

如上所述，根据第4实施方式，使用Time of Flight方式的测距传感器来进行距离信息的取得，所以，能够在图像识别处理中利用活体表面的凹凸部，由此，能够降低图像识别的误判定率，所以，能够删除不需要的图像，能够有效实现图像精简。

6.第5实施方式

第5实施方式的内窥镜装置的功能框图与第1实施方式中示出的图1相同。但是，在本实施方式中，如图17(A)所示，作为观察对象的大肠的活体表面1具有隆起病变的息肉2，在息肉2的粘膜表层具有正常腺管40和异常腺管50，并且，在息肉2的根部具有腺管构造消失的凹陷型病变60。并且，图17(B)是从上方观察活体表面1的息肉2的上部的示意图，正常腺管40示出大致圆形的形状，异常腺管50呈与正常腺管40不同的形状。

接着，根据图16对图像处理部301进行详细说明。与第1实施方式等同样，图像处理部301由图像取得部390、图像构成部320、距离信息取得部340、已知特性信息取得部350、凹凸确定部310、强调处理部330构成。而且，在与第1实施方式的图3进行比较的情况下，凹凸确定部310的结构不同，本实施方式的凹凸确定部310由表面形状计算部380和分类处理部385构成。下面，省略与第1实施方式等相同的结构的说明，对凹凸确定部310的各部进行说明。

表面形状计算部380通过对从距离信息取得部340输入的距离信息(例如距离映射图)实施闭处理或施加自适应低通滤波器的处理，提取规定构造要素以上的构造。这里，规定构造要素是观察部位的活体表面1上形成的希望进行分类判定的腺管构造。

通过已知特性信息取得部350取得构造要素信息作为已知特性信息之一，并从已知特性信息取得部350输出到表面形状计算部380。具体而言，构造要素信息是根据来自存储器210的镜体ID信息决定的摄像部200的光学倍率、以及由希望从活体表面1的表面构造中分类的腺管构造的尺寸(宽度信息)决定的大小信息，这对应于以规定距离对所述腺管构造进行摄像的情况下的摄像图像上的尺寸。

这里，例如通过控制部302，根据从存储器210输入的镜体ID信息来决定观察部位。例如是如下信息：如果是上部消化器官用镜体则判定为观察部位为食道、胃、十二指肠，如果是下部消化器官用镜体则判定为观察部位为大肠。根据所述观察部位将标准的腺管尺寸预先记录在控制部302内，该信息被输出到表面形状计算部380。关于观察部位的决定方法，作为利用镜体ID信息以外的方法进行决定的例子，也可以在外部接口部500中通过用户可操作的开关进行选择。

表面形状计算部380根据所输入的距离信息而自适应地生成表面形状计算信息。表面形状计算信息的详细情况在后面进行说明，但是，例如是与距离映射图的关注位置的距离信息自适应的形态学的核心尺寸(构造要素的尺寸)，或者与所述距离信息自适应的低通特性的滤波器。即，成为对与距离信息对应的自适应的非线性和线性的低通滤波器进行变更的变更信息。

所生成的表面形状信息与距离映射图一起被输入到分类处理部385，在分类处理部385中，修正使用于对所述腺管构造(腺管开口形态)进行分类的一个正常腺管构造模型化而得到的基本腺管开口(2值图像)，生成与摄像图像的活体表面的三维形状自适应的修正腺管开口作为分类基准。这里，由于假设了腺管开口形态，所以使用基本腺管开口、修正腺管开口这样的用语，但是，作为更加广义的用语，可以置换为基准图案、修正图案。

进而，分类处理部385进行基于所生成的分类基准(修正腺管开口形态)的分类处理。还对分类处理部385输入来自图像构成部320的进行了规定图像处理后的图像，通过公知的图案匹配处理来判定修正腺管开口是否存在于摄像图像上，如图22所示，对分类区域进行分组而得到的分类映射图(2值图像)被输出到强调处理部330。进而，对强调处理部330输入从图像构成部320输出的进行了规定图像处理的图像(与所述分类图像相同尺寸)。

然后，在强调处理部330中，使用表示图22的分类结果的信息，对从图像构成部320输出的图像进行强调处理。

接着，使用图18(A)、图18(B)对表面形状计算部380进行详细说明。在图18(A)中示出被摄体的活体表面1和摄像部200的垂直方向的截面，进而，对通过形态学处理(闭处理)来计算表面形状的状态进行模式化。这里，设闭处理中利用的构造要素(球)的半径为表面形状计算信息即希望分类的腺管构造的尺寸的2倍以上(包含该值)。不拾取正常腺管40、异常腺管50、腺管消失区域60的微小凹凸，提取活体表面1的更加平滑的三维表面形状，减少对所述基本腺管开口进行修正而得到的修正腺管开口的修正误差。

图18(B)是闭处理后的活体表面的截面，进而示出针对活体表面计算法线向量的结果。该法线向量成为表面形状信息。但是，表面形状信息不限于法线向量，也可以是图18(B)所示的曲面本身，除此之外，还可以是能够表现表面形状的其他信息。

为了实现该情况，只要从已知特性信息取得部350取得活体固有的腺管的尺寸(长度方向的宽度等)作为已知特性信息即可。如果使用该信息来决定针对实际的活体表面在闭处理中描绘的球的半径，则能够仅提取期望的表面形状。球的半径设定为比所述腺管的尺寸大。

构造要素的尺寸存在差异，但是，闭处理本身与第1实施方式相同，所以省略详细说明。并且，也可以使用距离信息或摄像部200的摄像倍率等自适应地决定构造要素的尺寸，这点也与第1实施方式相同。

接着，进行图20所示的表面形状计算部380的详细框图的说明。表面形状计算部380由形态学特性设定部381、闭处理部382、法线向量计算部383构成。

从已知特性信息取得部350对形态学特性设定部381输入已知特性信息即活体固有的腺管的尺寸(长度方向的宽度等)，决定表面形状计算信息(闭处理中使用的球的半径等)。

所决定的球的半径信息作为具有与距离映射图相同的像素数的半径映射图被输入到闭处理部382。闭处理部382通过所述半径映射图以像素单位变更半径并进行闭处理。闭处理部382的处理结果被输出到法线向量计算部383。

法线向量计算部383被输入闭处理后的距离映射图，通过距离映射图的关注样本位置及其相邻的两个样本位置的三维信息来定义平面，计算所定义的平面的法线向量。计算出的法线向量作为与距离映射图相同采样数的法线向量映射图被输出到分类处理部385。

如图21所示，分类处理部385由分类基准数据存储部3851、投影转换部3852、探索区域尺寸设定部3853、相似度计算部3854、区域设定部3855构成。

在分类基准数据存储部3851中存储有使图19(A)所示的活体表面中露出的正常腺管模型化而得到的基本腺管开口。该基本腺管开口是2值图像，是与对处于规定距离的正常腺管进行摄像的情况相当的大小的图像。该基本腺管开口形态被输出到投影转换部3852。

对投影转换部3852输入来自距离信息取得部340的距离映射图、来自表面形状计算部380的法线向量映射图、以及来自控制部302的光学倍率。提取与距离映射图的关注样本位置的距离信息对应的样本位置的法线向量，进行针对基本腺管开口的投影转换，进而，结合光学倍率进行倍率校正，生成修正腺管开口，作为分类基准输出到相似度计算部3854。图19(B)示出修正腺管开口的例子。由投影转换部3852生成的修正腺管开口的尺寸被输出到探索区域尺寸设定部3853。

探索区域尺寸设定部3853设定修正腺管开口形态的尺寸的纵横2倍的区域作为相似度计算处理的探索区域，将其输出到相似度计算部3854。

对相似度计算部3854输入来自投影转换部3852的关注样本位置的修正腺管开口、来自探索区域尺寸设定部3853的与所述修正腺管开口对应的探索区域，从由图像构成部320输出的进行了规定图像处理后的图像中提取所述探索区域。

在相似度计算部3854中，在对提取出的探索区域图像实施高通滤波或带通滤波处理而截止了低频成分后，生成进行了2值化处理的2值探索区域。在2值探索区域内，利用分类基准即修正腺管开口进行图案匹配处理(利用差分绝对值和计算相关值)并计算相关值，该峰值位置和最大相关值(差分绝对值和的最小值)映射图被输出到区域设定部3855。另外，作为相关值的计算方法，也可以使用POC(Phase OnlyCorrelation：纯相位相关法)等其他手法。在使用POC的情况下，旋转和倍率变化不变，所以，能够提高相关计算的精度。

区域设定部3855根据从相似度计算部3854输入的最大相关值映射图，提取差分绝对值和为规定阈值T以下(包含该值)的区域，进而，在该区域内的最大相关值的位置与相邻探索范围的最大相关值的位置之间计算三维距离。在计算出的三维距离包含在规定误差的范围内的情况下，将包含该最大相关位置的区域作为正常区域来进行分组，将图22所示的分类映射图输出到强调处理部330。

如上所述，根据第5实施方式，根据活体的表面形状进行与正常腺管的腺管开口形状的变更对应的分类判定，所以，能够提高与异常腺管区域之间的分类精度。

在以上的本实施方式中，如图16所示，凹凸确定部310包括根据距离信息和已知特性信息求出被摄体的表面形状信息的表面形状计算部380、以及根据表面形状信息生成分类基准并使用所生成的分类基准进行分类处理的分类处理部385。然后，凹凸确定部310进行使用分类基准的分类处理作为凹凸确定处理。

由此，根据距离信息和已知特性信息求出表面形状信息，通过利用使用该表面形状信息生成的分类基准的分类处理，能够确定凹凸部。由此，根据由表面形状信息表示的表面形状，能够自适应地生成分类基准并进行分类处理等。考虑各种由于上述摄像部200的光轴方向与被摄体表面所成的角度而引起的摄像图像上的构造物的变形等、基于表面形状的分类处理的精度降低要因，但是，根据本实施方式的手法，在这种情况下，也能够高精度地进行分类处理即凹凸确定处理。

并且，已知特性信息取得部350也可以取得与给定状态下的被摄体的构造物对应的基准图案作为已知特性信息，分类处理部385生成通过对基准图案进行基于表面形状信息的变形处理而取得的修正图案作为分类基准，使用所生成的分类基准进行分类处理。

由此，针对作为已知特性信息而取得的基准图案，能够将进行基于表面形状信息的变形处理后的修正图案作为分类基准来进行分类处理，所以，在被摄体的构造物由于表面形状而变形的状态下进行摄像的情况下，也能够高精度地进行分类处理。具体而言，如图17(B)所示，在进行各种变形的状态下对圆形的腺管构造进行摄像，但是，根据基准图案(图19(A)的基准腺管开口)，根据表面形状生成适当的修正图案(图19(B)的修正腺管开口)并将其作为分类基准，由此，在变形的区域中也能够适当地对腺管开口形态进行检测、分类。另外，利用例如图21所示的投影转换部3852来进行基于表面形状信息的变形处理。

并且，分类处理部385也可以在摄像图像的各图像内位置处求出摄像图像中被摄像的被摄体的构造物与修正图案即分类基准的相似度，根据所求出的相似度进行分类处理。

由此，能够使用摄像图像中的构造物与分类基准(修正图案)的相似度来进行分类处理。图27(A)～图27(F)示出具体例。如图27(A)所示，在将某个图像内位置作为处理对象位置的情况下，通过根据该处理对象位置处的表面形状信息而使基准图案变形，如图27(B)所示，取得该处理对象位置处的修正图案。根据所取得的修正图案，如图27(C)所示，设定处理对象位置的周边的探索区域(如果是上述例子，则为修正图案的纵横2倍的尺寸的区域)，如图27(D)所示，在该探索区域中取得被摄像的构造物与修正图案的匹配。如果以像素单位进行该匹配，则按照每个像素计算相似度。然后，如图27(E)所示，确定探索区域中的与相似度的峰值对应的像素，判定该像素中的相似度是否为给定阈值以上。如果相似度为阈值以上，则在以该峰值位置为基准的修正图案的大小的区域(在图27(E)中将修正图案的中心部作为基准位置，但是不限于此)中检测到修正图案，所以，能够进行该区域是与基准图案一致的区域这样的分类。另外，如图27(F)所示，也可以将表示修正图案的形状的内部作为与分类基准一致的区域，能够进行各种变形实施。另一方面，在相似度小于阈值的情况下，在处理对象位置的周边区域中不存在与基准图案匹配的构造。通过在各图像内位置处进行该处理，在摄像图像内设定0个、1个或多个与基准图案一致的区域以及除此以外的区域。然后，在存在多个与基准图案一致的区域的情况下，通过对这些区域中的重合的区域或接近的区域进行统合，最终得到图22所示的分类结果。但是，这里所述的基于相似度的分类处理的手法是一例，也可以通过其他手法来进行分类处理。并且，关于相似度的具体计算手法，公知有计算图像间相似度、图像间相异度的各种手法，所以省略详细说明。

并且，已知特性信息取得部350也可以取得与正常状态下的被摄体的构造物对应的基准图案作为已知特性信息取得。

由此，如图22所示，能够进行将摄像图像分类为正常区域和不正常区域的分类处理。关于不正常区域，例如如果是活体用内窥镜，则是疑似为活体的病变部的区域。由于假设了用户对这种区域的关注度较高，所以，通过适当进行分类，能够抑制应该关注的区域的遗漏等。

并且，被摄体具有全局的三维构造和与所述全局的三维构造相比成为局部的凹凸构造，表面形状计算部380也可以通过从距离信息中提取被摄体所具有的全局的三维构造和局部的凹凸构造中的全局的三维构造，求出表面形状信息。

由此，在将被摄体的构造分为全局构造和局部构造的情况下，能够根据全局构造求出表面形状信息。在本实施方式中，根据表面形状信息生成分类基准。该情况下，即使存在比基准图案小的凹凸构造，基于该凹凸构造的摄像图像上的基准图案的变形等的影响也不大，作为分类处理的精度降低要因，由于比基准图案大的构造即全局构造而引起的精度降低是主导性的。进而可以说，通过使用局部的凹凸构造生成分类基准，基准图案的变形处理(求出修正图案的处理)的精度可能降低。例如，设被摄体面与摄像部200的光轴方向垂直，在该面的一部分中存在比基准图案小的凹陷。该情况下，在对被摄体进行摄像而得到的图像上，假设与基准图案相当的被摄体构造被摄像为如基准图案那样或与其充分接近的形状，如果直接使用基准图案则能够进行匹配。但是，当使用局部凹陷的信息时，该凹陷部分中的被摄体面与光轴方向所成的角度与90度相差较远，对凹陷部分周边的分类基准即修正图案施加无用的变形。由此，在本实施方式中，通过根据全局的三维构造求出表面形状信息，高精度地进行分类处理。

并且，表面形状计算部380也可以求出由全局的三维构造表示的被摄体的表面的法线向量作为表面形状信息。

由此，如图18(B)所示，能够将被摄体表面的(狭义地讲为正交)法线向量作为表面形状信息。但是，表面形状信息不限于法线向量，可以是表示全局的三维构造的面本身(图18(B)中可以说是表示闭处理的结果的信息)，也可以是与被摄体面相切的切线的集合，还可以是表示表面形状的其他信息。

并且，已知特性信息取得部350也可以取得与给定状态下的被摄体的构造物对应的基准图案作为已知特性信息取得，分类处理部385生成通过对基准图案进行基于法线向量相对于给定基准方向朝向的角度的变形处理而取得的修正图案作为分类基准，使用所生成的分类基准进行分类处理。

由此，在求出法线向量作为表面形状信息的情况下，通过使用该法线向量的方向的变形处理，能够生成分类基准。这里，给定基准方向是摄像部200的光轴方向、或由该光轴方向决定的方向，通过使用基准方向和法线向量朝向的角度，能够估计出与该法线向量对应的位置处的被摄体构造以何种程度变形而被摄像到摄像图像中。由此，如图19(A)、图19(B)所示，通过对基准图案实施与估计结果相同的变形处理，能够高精度地进行分类处理。

7.第6实施方式

图23是第6实施方式的内窥镜装置的功能框图。构成本发明的第6实施方式的内窥镜装置也由光源部100、摄像部200、处理器部300、显示部400、外部接口部500构成。

与第3实施方式的不同之处在于，光源部100成为白色LED和红外激光器光源106，摄像部200的摄像元件215为一个，相对于红外光将Time of Flight方式的测距传感器像素层叠在原色单板的RGB像素的下层。根据这种结构，来自摄像元件215的图像被输出到图像处理部301，对距离映射图记录部303输出利用红外线检测到的距离映射图。

本实施方式的图像处理部301的结构与第5实施方式中说明的图16相同，所以省略详细说明。并且，表面形状计算部380的处理也与第5实施方式的内容相同。但是，与第2实施方式同样，能够进行如下变形等：不进行形态学处理，而进行滤波处理。

图24示出本实施方式的分类处理部385的结构例。在与第5实施方式的图21进行比较的情况下，构成为追加了第2分类基准数据生成部3856。

在本实施方式中，与第5实施方式的不同之处在于，不仅针对正常腺管准备作为分类基准的基本腺管开口，还针对异常腺管准备作为分类基准的基本腺管开口，进而，提取实际的摄像图像的腺管开口形态，将其作为第2分类基准数据(第2基准图案)对分类基准数据进行置换，根据置换后的第2分类基准数据重新进行相似度计算。

对不同之处进行详细说明。在分类处理部385的分类基准数据存储部3851中，不仅记录正常腺管的基本腺管开口，还记录图25所示的多个腺管开口，将其输出到投影转换部3852。投影转换部3852的处理与第5实施方式相同，对分类基准数据存储部3851中存储的全部腺管开口进行投影转换处理，将针对多个分类类型的修正腺管开口输出到探索区域尺寸设定部3853和相似度计算部3854。

在相似度计算部3854中，针对多个修正腺管开口生成各个最大相关值映射图。但是，在本实施方式中，该时点的最大相关值映射图不是用于分类映射图的生成(分类处理的最终输出的生成)，而是被输出到第2分类基准数据生成部3856，用于新的分类基准数据的生成。

在第2分类基准数据生成部3856中，采用相似度计算部3854中判定为相似度较高(差分绝对值为规定值以下)的图像上的位置的腺管开口图像作为分类基准。由此，不是预先准备的标准的模型化的腺管开口，能够进行最佳的精度更高的分类判定。

具体而言，对第2分类基准数据生成部3856输入来自相似度计算部3854的每个分类的最大相关值映射图、来自图像构成部320的图像、来自距离信息取得部340的距离映射图、来自控制部302的光学倍率、来自已知特性信息取得部350的每个分类的腺管的尺寸。然后，第2分类基准数据生成部3856根据每个分类的最大相关值的样本位置的距离信息、腺管的尺寸、光学倍率提取与该位置对应的图像数据。

进而，第2分类基准数据生成部3856取得从提取出的实际图像中去除了低频成分后的灰色标度图像(用于抵消明亮度的差异)，将该灰色标度图像作为第2分类基准数据，与法线向量和距离信息一起输出到分类基准数据存储部3851，分类基准数据存储部3851存储所输出的第2分类基准数据和关联信息。由此，能够在各分类中收集与被摄体的相关性较高的第2分类基准数据。

另外，关于上述第2分类基准数据，不排除基于摄像部200的光轴方向与被摄体面所成的角度以及从摄像部200到被摄体面的距离的变形的影响。由此，第2分类基准数据生成部3856也可以在进行了抵消这些影响的处理后，生成第2分类基准数据。具体而言，针对上述灰色标度图像，以使得与对在给定基准方向上位于给定距离的部分进行摄像的情况相当的方式进行变形处理(投影转换处理和变倍处理)，将进行变形处理结果作为第2分类基准数据即可。

在生成第2分类基准数据后，将该第2分类基准数据作为对象，在投影转换部3852、探索区域尺寸设定部3853、相似度计算部3854中再次进行处理即可。具体而言，对第2分类基准数据进行投影转换处理，生成第2修正图案，将所生成的第2修正图案作为分类基准，进行与第5实施方式相同的处理。

另外，绝大多数情况下，本实施方式中使用的异常腺管的基本腺管开口不是点对象。由此，在相似度计算部3854中的相似度计算(使用修正图案的情况和使用第2修正图案的情况双方)中，实施旋转不变的POC(Phase Only Correction)来计算相似度即可。

在区域设定部3855中，生成图26(A)～图26(D)所示的分类映射图。图26(A)是在分类为正常腺管的修正腺管开口中得到相关性的区域，图26(B)和图26(C)是在分类为分别不同的异常腺管的修正腺管开口中得到相关性的区域。而且，图26(D)对3个分类映射图(多值图像)进行合成。各个分类中得到相关性的区域的重叠区域可以作为分类未确定区域，也可以置换为恶性级别较高的分类。从区域设定部3855向强调处理部330输出图26(D)的合成后的分类映射图。

然后，在强调处理部330中，根据多值图像的分类映射图进行亮度或颜色的强调处理等。

除此之外，本实施方式中省略说明的处理与第5实施方式相同。如上所述，根据第6实施方式，不仅是正常腺管，还包含多种异常腺管的图案在内进行分类判定，并且，不是平均的基准而是从摄像图像中取得分类基准本身，所以，能够提高分类判定的精度。

在以上的本实施方式中，已知特性信息取得部350也可以取得与异常状态下的被摄体的构造物对应的基准图案作为已知特性信息。

由此，例如如图25所示，能够取得多个基准图案，使用这些基准图案生成分类基准，进行分类处理。考虑各种分类处理的具体手法，但是，例如根据第1～第N(N为2以上(包含该值)的整数)基准图案生成第1～第N分类基准，针对各个分类基准将摄像图像分为与分类基准一致的区域和不一致的区域，对其结果进行统合即可。使用各个分类基准的处理结果的例子为图26(A)～图26(C)，对它们进行统合的结果(分类处理的结果输出)的例子为图26(D)。

并且，已知特性信息取得部350也可以取得与给定状态下的被摄体的构造物对应的基准图案作为已知特性信息，分类处理部385通过对基准图案进行基于表面形状信息的变形处理，取得修正图案，在摄像图像的各图像内位置处求出摄像图像中被摄像的被摄体的构造物与修正图案的相似度，根据所求出的相似度取得第2基准图案候选。然后，分类处理部385也可以根据所取得的第2基准图案候选和表面形状信息生成新的基准图案即第2基准图案，生成通过对第2基准图案进行基于表面形状信息的变形处理而取得的第2修正图案作为分类基准，使用所生成的分类基准进行分类处理。

由此，能够根据摄像图像生成第2基准图案，使用该第2基准图案进行分类处理。由此，能够根据实际在摄像图像中被摄像的被摄体生成分类基准，所以，该分类基准良好地反映出作为处理对象的被摄体的特性，与直接使用作为已知特性信息而取得的基准图案的情况相比，能够进一步提高分类处理的精度等。

以上对应用了本发明的6个实施方式1～6及其变形例进行了说明，但是，本发明不限于各实施方式1～6及其变形例，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过对上述各实施方式1～6和变形例所公开的多个结构要素进行适当组合，能够形成各种发明。例如，可以从各实施方式1～6和变形例所记载的全部结构要素中删除若干个结构要素。进而，也可以对不同实施方式和变形例中说明的结构要素进行适当组合。这样，能够在不脱离发明主旨的范围内进行各种变更和应用。

标号说明

10、20、30：病变部；40：正常腺管；50：异常腺管；60：腺管消失区域；100：光源部；101：白色光源；102：旋转滤色片；103：旋转驱动部；104：会聚透镜；105：蓝色激光器光源；106：红外激光器光源；200：摄像部；201：光导纤维；203：照明透镜；204：物镜；206、215、216：摄像元件；209：A/D转换部；210：存储器；212：连接器；213：摄像元件；214：测距传感器；217：二色棱镜；300：处理器部；301：图像处理部；302：控制部；303：距离映射图记录部；310：凹凸确定部；320：图像构成部；330：强调处理部；340：距离信息取得部；341：立体匹配部；342：视差/距离转换部；350：已知特性信息取得部；360：凹凸信息提取部；361：局部平均距离计算部；362：形态学特性设定部；363-1：闭处理部；363-2：开处理部；364：凹部提取部；365：凸部提取部；366：低通特性设定部；367：低通处理部；368：高通特性设定部；369：高通处理部；370：确定处理部；380：表面形状计算部；381：形态学特性设定部；382：闭处理部；383：法线向量计算部；385：分类处理部；390：图像取得部；3851：分类基准数据存储部；3852：投影转换部；3853：探索区域尺寸设定部；3854：相似度计算部；3855：区域设定部；3856：分类基准数据生成部；400：显示部；500：外部接口部；601：距离信息取得部；700：胶囊内窥镜装置；701：白色LED；702：红外线激光器；703：摄像元件；704：照明用透镜；706：物镜；707：控制部；708：无线发送部；710：再现装置；711：无线接收部；720：图像处理部；721：距离信息取得部；722：凹凸确定部；726：已知特性信息存储部；727：病变识别处理部；729：已知特性信息取得部；730：图像存储部；740：显示部；750：无线发送部；7222：凹凸信息提取部；7223：确定处理部。

Claims (29)

1.一种图像处理装置，其特征在于，该图像处理装置包括：

图像取得部，其通过摄像部的摄像而取得包含被摄体像的摄像图像；

距离信息取得部，其取得基于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息；

已知特性信息取得部，其取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息；以及

凹凸确定部，其根据所述距离信息和所述已知特性信息，进行从被摄像的所述被摄体中确定与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部的凹凸确定处理。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述凹凸确定部包括凹凸信息提取部，该凹凸信息提取部根据所述距离信息和所述已知特性信息，从所述距离信息中提取表示与由所述已知特性信息确定的所述特性一致的所述被摄体的所述凹凸部的信息，作为提取凹凸信息，

所述凹凸确定部根据所述提取凹凸信息进行所述凹凸确定处理。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述凹凸信息提取部根据所述已知特性信息决定提取处理参数，根据所决定的所述提取处理参数，提取所述被摄体的所述凹凸部作为所述提取凹凸信息。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述已知特性信息取得部取得表示所述被摄体的种类的种类信息、以及与所述种类信息相关联的与所述被摄体的所述凹凸部有关的信息即凹凸特性信息作为所述已知特性信息，

所述凹凸信息提取部根据所述种类信息和所述凹凸特性信息决定所述提取处理参数，根据所决定的所述提取处理参数提取所述被摄体的所述凹凸部作为所述提取凹凸信息。

5.根据权利要求3所述的图像处理装置，其特征在于，

所述摄像图像是对活体的内部进行摄像而得到的活体内图像，

所述已知特性信息取得部取得表示所述被摄体与所述活体的哪个部位对应的部位信息、以及与所述活体的所述凹凸部有关的信息即凹凸特性信息作为所述已知特性信息，

所述凹凸信息提取部根据所述部位信息和所述凹凸特性信息决定所述提取处理参数，根据所决定的所述提取处理参数提取所述被摄体的所述凹凸部作为所述提取凹凸信息。

6.根据权利要求3所述的图像处理装置，其特征在于，

所述凹凸信息提取部根据所述已知特性信息，决定开处理和闭处理中使用的构造要素的尺寸作为所述提取处理参数，

使用所决定的尺寸的所述构造要素进行所述开处理和所述闭处理，提取所述被摄体的所述凹凸部作为所述提取凹凸信息。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述凹凸信息提取部设定为，与所述开处理和所述闭处理的处理对象像素对应的所述距离信息的值越大，则所述提取处理参数即所述构造要素的所述尺寸越小。

8.根据权利要求3所述的图像处理装置，其特征在于，

所述凹凸信息提取部根据所述已知特性信息，决定针对所述距离信息的滤波处理中使用的滤波器的频率特性作为所述提取处理参数，

使用具有所决定的所述频率特性的所述滤波器进行所述滤波处理，提取所述被摄体的所述凹凸部作为所述提取凹凸信息。

9.根据权利要求2所述的图像处理装置，其特征在于，

所述被摄体具有全局的三维构造和与所述全局的三维构造相比成为局部的凹凸构造，

所述凹凸信息提取部提取所述被摄体所具有的所述全局的三维构造和所述局部的凹凸构造中的、与由所述已知特性信息确定的特性一致的所述被摄体的所述凹凸部作为所述提取凹凸信息。

10.根据权利要求2所述的图像处理装置，其特征在于，

所述摄像图像是对活体的内部进行摄像而得到的活体内图像，

所述被摄体具有作为所述活体内部的管腔构造的全局的三维构造、以及所述管腔构造中形成的与所述全局的三维构造相比成为局部的凹凸构造，

所述凹凸信息提取部提取所述被摄体所具有的所述全局的三维构造和所述局部的凹凸构造中的、与由所述已知特性信息确定的特性一致的所述被摄体的所述凹凸部作为所述提取凹凸信息。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述距离信息取得部取得距离映射图作为所述距离信息，该距离映射图是在所取得的所述摄像图像的各像素中，将与从所述摄像部到所述各像素中拍摄的所述被摄体的所述距离有关的信息对应起来得到的。

12.根据权利要求1所述的图像处理装置，其特征在于，

所述摄像部具有多个视点，

所述图像取得部借助于所述摄像部取得与所述多个视点分别对应的多个所述摄像图像，

所述距离信息取得部根据从所取得的多个所述摄像图像得到的视差信息取得所述距离信息。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述距离信息取得部取得表示从所述摄像部到所述被摄体的距离的低精度的暂定距离信息，

将通过所取得的所述暂定距离信息缩小范围后的探索范围作为对象，根据从多个所述摄像图像得到的所述视差信息，取得与所述暂定距离信息相比精度较高的所述距离信息。

14.根据权利要求13所述的图像处理装置，其特征在于，

所述摄像部包括射出红外光的光源部、以及接收由所述被摄体产生的所述红外光的反射光的测距元件，

所述距离信息取得部根据从所述光源部射出所述红外光的时刻到所述测距元件接收到所述反射光的时刻的时间信息，取得所述暂定距离信息。

15.根据权利要求14所述的图像处理装置，其特征在于，

所述摄像部具有在单板元件的下层层叠了所述测距元件的摄像元件，其中，该单板元件配置有用于构成所述摄像图像的RGB像素。

16.根据权利要求1所述的图像处理装置，其特征在于，

所述摄像部包括射出蓝色光的光源部、以及接收由所述被摄体产生的所述蓝色光的反射光的测距元件，

所述距离信息取得部根据从所述光源部射出所述蓝色光的时刻到所述测距元件接收到所述反射光的时刻的时间信息，取得所述距离信息。

17.根据权利要求1所述的图像处理装置，其特征在于，

所述凹凸确定部包括：

表面形状计算部，其根据所述距离信息和所述已知特性信息求出所述被摄体的表面形状信息；以及

分类处理部，其根据所述表面形状信息生成分类基准，使用所生成的所述分类基准进行分类处理，

所述凹凸确定部进行使用了所述分类基准的所述分类处理作为所述凹凸确定处理。

18.根据权利要求17所述的图像处理装置，其特征在于，

所述已知特性信息取得部取得与给定状态下的所述被摄体的构造物对应的基准图案作为所述已知特性信息，

所述分类处理部生成修正图案作为所述分类基准，使用所生成的所述分类基准进行所述分类处理，其中，该修正图案是通过对所述基准图案进行基于所述表面形状信息的变形处理而取得的。

19.根据权利要求18所述的图像处理装置，其特征在于，

所述分类处理部在所述摄像图像的各图像内位置处求出所述摄像图像中拍摄的所述被摄体的所述构造物与作为所述修正图案的所述分类基准之间的相似度，根据所求出的所述相似度进行所述分类处理。

20.根据权利要求18所述的图像处理装置，其特征在于，

所述已知特性信息取得部取得与正常状态下的所述被摄体的所述构造物对应的所述基准图案作为所述已知特性信息。

21.根据权利要求20所述的图像处理装置，其特征在于，

所述已知特性信息取得部取得与异常状态下的所述被摄体的所述构造物对应的所述基准图案作为所述已知特性信息。

22.根据权利要求17所述的图像处理装置，其特征在于，

所述已知特性信息取得部取得与给定状态下的所述被摄体的构造物对应的基准图案作为所述已知特性信息，

所述分类处理部通过对所述基准图案进行基于所述表面形状信息的变形处理，取得修正图案，

在所述摄像图像的各图像内位置处求出所述摄像图像中拍摄的所述被摄体的所述构造物与所述修正图案之间的相似度，根据所求出的所述相似度取得第2基准图案候选，

根据所取得的所述第2基准图案候选和所述表面形状信息，生成作为新的基准图案的第2基准图案，

生成通过对所述第2基准图案进行基于所述表面形状信息的变形处理而取得的第2修正图案作为所述分类基准，使用所生成的所述分类基准进行所述分类处理。

23.根据权利要求17所述的图像处理装置，其特征在于，

所述被摄体具有全局的三维构造和与所述全局的三维构造相比成为局部的凹凸构造，

所述表面形状计算部通过从所述距离信息中提取所述被摄体所具有的所述全局的三维构造和所述局部的凹凸构造中的所述全局的三维构造，求出所述表面形状信息。

24.根据权利要求23所述的图像处理装置，其特征在于，

所述表面形状计算部求出由所述全局的三维构造表示的所述被摄体的表面的法线向量作为所述表面形状信息。

25.根据权利要求24所述的图像处理装置，其特征在于，

所述已知特性信息取得部取得与给定状态下的所述被摄体的构造物对应的基准图案作为所述已知特性信息，

所述分类处理部生成修正图案作为所述分类基准，使用所生成的所述分类基准进行所述分类处理，其中，该修正图案是通过对所述基准图案进行基于所述法线向量相对于给定基准方向的朝向角度的变形处理而取得的。

26.一种电子设备，其特征在于，该电子设备包括权利要求1～25中的任意一项所述的图像处理装置。

27.一种内窥镜装置，其特征在于，该内窥镜装置包括权利要求1～25中的任意一项所述的图像处理装置。

28.一种程序，其特征在于，该程序使计算机执行以下步骤：

进行通过摄像部的摄像而取得包含被摄体像的摄像图像的处理；

进行取得基于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息的处理；

进行取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息的处理；以及

进行凹凸确定处理，即，根据所述距离信息和所述已知特性信息，从被摄像的所述被摄体中确定与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部。

29.一种图像处理方法，其特征在于，

进行通过摄像部的摄像而取得包含被摄体像的摄像图像的处理；

进行取得基于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息的处理；

进行取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息的处理；以及

根据所述距离信息和所述已知特性信息，进行从被摄像的所述被摄体中确定与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部的凹凸确定处理。