CN103037751A - 图像处理装置 - Google Patents

Abstract

本发明的图像处理装置具备：将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明部(120)；在被摄物体由三种以上的直线偏振光分别照射时，依次拍摄被摄物体的摄像部(140)；和图像处理部(150)。图像处理部(150)具有：变动亮度处理部(1302)，其处理由摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态；反射判定部(1305)，其基于变动亮度处理部(1302)的输出，判别在凹陷区域进行二次反射而形成回光的多重反射区域、和在被摄物体表面进行一次反射而形成回光的一次反射区域；镜像搜索部(1306)，其决定在被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对。图像处理部(150)基于多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像。

Description

图像处理装置

技术领域

本发明涉及一种能够获得表面凹凸信息的图像处理装置，该表面凹凸信息超出了从摄像元件所取得的二维亮度图像中得到的信息。

背景技术

内窥镜对于由粘膜覆盖的生物体的脏器器官的壁表面进行照明光照射而进行摄像。在这样的内窥镜的领域，在表面的颜色变化的同时，需要确认表面的微细的凹凸的纹理。但是在内窥镜中，按照被摄物体上不发生阴影的方式而使照明的光轴和摄像的光轴的夹角大体为0°，因此难以通过阴影捕捉表面的微细的凹凸构造。针对这一课题提出的现有技术是，在现存的基于彩色亮度的内窥镜摄像系统的状态下，通过图像处理的设计，根据图像的浓淡信息识别表面凹凸。另外，还提出有使用偏振照明和偏振摄像的偏振光内窥镜。

前者的技术，例如公开在专利文献1中。该技术中，比较所拍摄的彩色图像的特定像素的信号电平值与其周围8个像素的平均信号电平值。然后，特定像素的信号电平值低时，判断为被摄物体的对应部位从周围凹陷(塌陷)。然后，在判断为从周围塌陷的区域，通过降低红色像素信号和绿色像素信号的信号电平值而强调蓝色成分。由此，监控器装置所再现的彩色图像，正好呈现出通常的内窥镜检查中由医师实施的蓝色系色素溶液散布所类似的颜色对比，脏器表面的凹凸变得清楚。

后者的技术有专利文献2和专利文献3。其中公开有一种内窥镜，该内窥镜具备如下：向物体照射特定的偏振成分的光的偏振光照射部；接收来自所述物体的回光中的所述特定的偏振成分的光、和与所述回光中的所述特定的偏振成分不同的偏振成分的光，且进行偏振摄像的偏振光镶嵌型的光接收部，该内窥镜生成表示所述物体的表面的形状变化的形状变化图像。特别是观察者容易辨认粘膜的表面凹凸，就是因为偏振特性计算部计算出偏振方位并能够生成表面的倾斜信息的二维分布。

专利文献4、专利文献5和非专利文献1，公开的是可以使偏振面旋转的器件。

先行技术文献

专利文献

专利文献1：专利3869698号公报

专利文献2：特开2009-246770号公报

专利文献3：特开2010-104424号公报

专利文献4：特开平11-313242号公报

专利文献5：US2009/0079982A1

专利文献6：专利第4235252号

非专利文献

非专利文献1：Nicolas Lefaudeux，et.al：″Compact and robust linearStokes polarization camera″，Proc.SPIE，Vol.6972，69720B，Polarization：Measurement，Analysis，and Remote Sensing VIII(2008)

非专利文献2：池内克史：“基于反射率分布图，根据二维浓淡图像再构成三维形状的两个方法”，电子信息通信学会志′82/7，Vol.J65-DNo.7，PP842-849

在现有技术中，为了使表面的凹部(沟槽)明显化，在通常的亮度图像处理中，多使用“凹部比邻接像素暗”这样的特征。但是实际上，其不成立的形状的凹部也很多。以本发明者的经验而判明的事实是，例如在具有平坦的底面的凹部、和具有在邻接的倾斜面相互使光反射这样的形状的凹部，形成底部和斜面的像素，反而比周围的像素反射得明亮。在这样的形状的凹部，现有的亮度图像处理无效，误判多发。

另外使用偏振光的现有技术中，向物体照射圆偏振成分的光，基于来自物体的回光所关联的椭圆偏振光的方位，能够计算表面的倾斜度。但是，在上述生物体中所见的这种无定形的一般的凹部，求得其表面法线困难。

另一方面，关于所推定的凹凸信息的显示，现有技术中作为实施凹部(沟槽)的明显化的显示技术而进行“伪色素散布处理”等凹部区域的二维显示，但这无法感受表面凹凸的真实感(逼真感)这样的课题存在。

发明内容

本发明正是要解决上述的课题，其目的在于，提供一种不仅亮度、而且被摄物体表面的微细凹凸能够高真实性地再现的且可小型实现的图像处理装置。

本发明的图像处理装置，具备：将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明部；所述三种以上的直线偏振光分别照射所述被摄物体时，依次拍摄所述被摄物体的摄像部；和图像处理部。所述图像处理部具有如下：变动亮度处理部，其处理由所述摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态；反射判定部，其基于所述变动亮度处理部的输出，判别在所述凹陷区域进行二次反射而形成回光的所述多重反射区域、和在所述被摄物体表面进行一次反射而形成回光的一次反射区域；镜像搜索部，其决定在所述被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对。所述图像处理部基于所述多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像。

在有的实施方式中，所述图像处理部还具有如下：从所述多重反射区域的各对生成凹槽片段(グル一ブセグメント：groove segment)，且连接所述凹槽片段，由此推定所述凹陷区域的位置的凹陷区域连接部；决定所述凹陷区域的截面形状的截面形状模型化部。

在有的实施方式中，所述图像处理部还具备法线再现部，其将所述多重反射区域中的表面法线和所述一次反射区域中的表面法线加以统一而生成法线图像。

在有的实施方式中，还具有如下：设定光源位置的光源方向设定部；生成在使所述光源位置虚拟变动时的光源变动图像的光源变动图像生成部；将所述光源变动图像和亮度图像重叠合成地显示的图像显示部。

在有的实施方式中，所述光源变动图像生成部使用所述法线图像和物理反射模型而生成所述被摄物体的亮度图像。

在有的实施方式中，所述偏振照明部和所述摄像部被安装于内窥镜。

在有的实施方式中，所述偏振照明部通过使非偏振光透过偏振面转换元件，而照射偏振面按三种以上依次变化的直线偏振光。

在有的实施方式中，所述偏振照明部具有将非偏振光引导至所述偏振面转换元件的光导向设备。

在有的实施方式中，所述摄像部具有黑白摄像元件或彩色摄像元件。

在有的实施方式中，还具有亮度算术平均部，其通过对于在将偏振面的角度不同的三种以上的直线偏振光依次照射到被摄物体时由所述摄像部取得的多个亮度图像进行加法算术平均，生成与在非偏振照明下的图像所相当的平均亮度图像。

在有的实施方式中，所述变动亮度处理部，基于从所述摄像部输出的像素信号，求得所述偏振面的角度与各像素的亮度值的关系，且生成：按各像素所述亮度值为最大的且由所述偏振面的角度所定义的亮度最大角图像、和按各像素随着所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比率所定义的亮度调制度图像。

在有的实施方式中，具有图像显示部，其将所述亮度最大角图像、所述亮度调制度图像的任意一个与亮度图像重叠合成地显示。

在有的实施方式中，所述反射判定部，基于所述亮度最大角图像和所述亮度调制度图像，在以所述亮度最大角为色相角、以所述亮度调制度为色度的伪彩色图像中，将具有所预先设定的值以上的亮度调制度的像素，作为构成所述多重反射区域的像素进行提取。

在有的实施方式中，所述凹陷区域连接部，推定所述凹陷区域的表面法线的Azimuth(方位)角。

在有的实施方式中，所述截面形状模型化部，对于所述凹陷区域的截面形状以特定的函数进行模型化，利用所述多重反射区域的表面法线的Azimuth角大致达到45度的性质，推定所述凹陷区域的任意位置的表面法线的Zenith(天顶)角。

在有的实施方式中，所述偏振照明部将偏振面按三种以上依次变化的透过了偏振面转换元件的光，经由中继透镜光学系统，照射到所述被摄物体。

在有的实施方式中，所述偏振照明部具有：使同心圆状态的多个环状照明或面照明光源与偏振面转换元件加以组合的光学系统。

在有的实施方式中，所述偏振照明部具有：将具有比摄像系统的光轴更靠内侧朝向的照明系统光轴的面照明光源与偏振面转换元件加以组合的光学系统。

在有的实施方式中，所述偏振照明部具有：使消偏振宽带分束器和面照明光源和偏振面转换元件加以组合的光学系统。

本发明的图像处理方法，是包括如下工序的图像处理方法：将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体上的偏振照明工序；所述被摄物体由所述三种以上的直线偏振光分别照射时，依次拍摄所述被摄物体的摄像工序；和图像处理工序。并且，所述图像处理工序包括：处理由所述摄像工序拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态的变动亮度处理工序；基于所述变动亮度处理工序的结果，判定在所述凹陷区域进行二次反射而形成回光的所述多重反射区域、与在所述被摄物体表面进行一次反射而形成回光的一次反射区域的反射判定工序；决定在所述被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对的镜像搜索工序；基于所述多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像的工序。

本发明的内窥镜装置，具备：将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体上的偏振照明部；在所述被摄物体由所述三种以上的直线偏振光分别照射时，依次拍摄所述被摄物体的摄像部；图像处理部；基于图像处理部的输出而显示图像的显示部。并且，所述图像处理部具备：处理由所述摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态的变动亮度处理部；基于所述变动亮度处理部的输出，生成伪彩色图像的伪彩色图像转换部。所述变动亮度处理部，基于从所述摄像部输出的像素信号，求得所述偏振面的角度与各像素的亮度值的关系，且生成：按各像素所述亮度值最大的且由所述偏振面的角度所定义的亮度最大角图像、和按各像素随着所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比率所定义的亮度调制度图像。所述伪彩色图像转换部，基于所述亮度最大角图像和所述亮度调制度图像，生成以所述亮度最大角为色相角、以所述亮度调制度为色度的伪彩色图像，且将所述伪彩色图像和亮度图像进行合成而显示于所述显示部。

在本发明的图像处理装置中，因为具备将偏振面的角度不同的三种以上的直线偏振光依次照射到被摄物体上的偏振照明部、和在被摄物体由三种以上的直线偏振光分别照射时依次拍摄被摄物体的摄像部，所以不需要重新开发特别的偏振摄像元件，就能够与彩色图像同时地取得与表面的凹凸形状所对应的反射偏振状态的相关信息。如此，在本发明中，根据反射偏振状态，得到表面凹凸的信息。因为能够直接利用通常的彩色摄像元件，所以也不需要使用高成本的偏振摄像元件，就能够取得用于辨认表面凹凸的信息。

附图说明

图1A是表示本发明的图像处理装置的基本构成的图

图1B是模式化地表示偏振面的角度不同的三种的直线偏振光的偏振方向的立体图

图1C是表示关于本发明的实施方式1的图像处理装置的构成的图

图2是表示偏振面控制元件的操作的图

图3是偏振面角度的定义图

图4(a)和(b)是表示关于本发明的实施方式1的摄像元件的光敏器件配置例的图

图5(a)和(b)是入射光对于被摄物体表面从正上方入射而进行一次反射的图

图6是表示以横轴为入射角时的P波和S波的能量的菲涅耳反射率的曲线图

图7(a)和(b)是表示偏振照明的偏振面旋转所造成的按像素的亮度变动的曲线图

图8(a)和(b)是二次反射造成的偏振反射光的亮度变动的说明图

图9(a)是表示最简单的凹槽(沟槽)的形状的图，(b)是表示入射光的反射的情况的图

图10(a)是表示具有底面和斜面的凹槽(沟槽)形状，(b)是表示入射光的反射的情况的图

图11(a)是表示隆起(凸部)密集的形状的图，(b)是表示入射光的反射的情况的图

图12(a)是表示凹坑(凹部)形状的图，(b)是表示入射光的反射的情况的图

图13是表示关于本发明的实施方式1的图像处理程序的构成的方块图

图14是由四种偏振照明所对应的偏振亮度试样、进行余弦函数拟合的图

图15是说明一次/二次反射判定部的处理的流程图

图16A是表示作为拍摄景象的图11的形状的图

图16B是模式化地表示分离的一次反射区域REF1的图

图16C是模式化地表示分离的二次反射区域REF2的图

图17A是说明镜像搜索部的处理的图

图17B是说明镜像搜索部的处理的图

图18A是说明镜像搜索部的处理的流程图

图18B是表示一个反射区域的数据的图

图19是说明被搜索区域的搜索详情的图

图20A是表示实际被摄物体的亮度图像的图

图20B是使亮度最大角图像YPH与亮度调制度图像YD成为一个伪彩色图像的图

图20C是表示以量子化处理判定为二次反射的微小反射区域的图

图20D是表示通过镜像搜索部的处理提取凹槽片段的结果的图

图21A是说明多个镜像对的发生原因的图(剖面图)

图21B是说明多个镜像对的发生原因的图(反射区域的图)

图22是说明凹陷区域连接部的处理的流程图

图23A是表示凹陷区域连接部的凹槽片段的设定处理结果的图

图23B是表示凹陷区域连接部的凹槽片段的放大处理结果的图

图23C是表示凹陷区域扩张部的细化的化理结果的图

图23D是表示凹陷区域扩张部的法线决定的处理结果的图

图24A是表示凹坑的情况下的凹陷区域连接的处理结果的图(凹槽片段的设定)

图24B是表示凹坑的情况下的凹陷区域连接的处理结果的图(凹槽片段的放大)

图24C是表示凹坑的情况下的凹陷区域连接的处理结果图(细化)

图24D是表示凹坑的情况下的凹陷区域连接的处理结果的图(法线推定)

图25是说明照相机坐标系的法线矢量的Azimuth(方位)角，Zenith(天顶)角的图

图26是说明法线推定部的处理的流程图

图27是推定的凹槽的俯视图和剖面图

图28是一次反射区域的法线推定的原理图

图29A是通过迭代法推定的表面法线和被摄物体剖面图

图29B是模式化地表现所推定的法线图像的图

图30是表面法线与光源、视点的几何学的关系

图31是表示光源变动图像的示例的图

图32A是表示亮度图像和光源变动图像的合成部的构成例的图

图32B是表示亮度图像和光源变动图像的合成的图

图33A是表示亮度图像与伪彩色图像的合成部的构成例的图

图33B是表示亮度图像与伪彩色图像的合成的图

图34是表示关于本发明的实施方式1的变形例的图像处理程序的构成的方块图

图35A是表示REF1区域为凸起区域时的图

图35B是表示REF1区域为凹陷区域时的图

图36是表示本发明的第二实施方式的图

图37是表示本发明的第一、第二实施方式的变形例的图

图38是表示本发明的第一、第二实施方式的变形例的图

图39是表示本发明的第一、第二实施方式的变形例的图

图40是表示本发明的第一、第二实施方式的变形例的图

图41是表示本发明的第一、第二实施方式的变形例的图

具体实施方式

本发明的图像处理装置的示例，如图1A所示，具备偏振照明部120、摄像部140、变动亮度处理部1302、反射判定部1305、镜像搜索部1306。变动亮度处理部1302、反射判定部1305和镜像搜索部1306被包含在图像处理部150中。

就偏振照明部120而言，将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体100上。本发明在作为拍摄对象的被摄物体100的表面，存在多个凹陷区域100a。被摄物体100例如在生物体的脏器表面，可观察到多个凹陷区域。直线偏振光由存在于被摄物体100的表面的凹陷区域100a和凹陷区域100a以外的区域反射、且入射到摄像部140。摄像部140在三种以上的直线偏振光分别照射被摄物体100时，依次拍摄被摄物体100。

图1B是模式化地表示偏振面的角度不同的三种的直线偏振光的偏振方向的立体图。图示的三个偏振状态10、12、14，分别具有角度不同的偏振面。在模式化地表示图1B的各偏振状态10、12、14的圆形的内部，记述有双方向的箭头。该箭头表示规定直线偏振光的偏振面的电场矢量的振动方向。

图1B中表示右手系的XYZ坐标。在本说明书中，在由摄像部140取得的图像面内，设定X轴和Y轴，将Z轴的反方向设定为视线(光轴)方向。直线偏振光的偏振面，是与振动的电场矢量平行的、且包含光轴的平面。采用上述的坐标系时，直线偏振光的电场矢量的振动方向与XY平面平行。因此，就偏振面的角度(ΨI)而言，相对于X轴的正方向而由偏振方向(电场矢量的振动方向)形成的角度规定。关于该角度ΨI，后面参照图3更详细地说明。

在本发明中，从偏振照明部120将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体100上，摄像部140在被摄物体100由三种以上的直线偏振光分别照射时，依次对于被摄物体100进行拍摄。

再次参照图1A。变动亮度处理部1302，基于从摄像部140输出的像素信号，求得偏振面的角度与各像素的亮度值的关系，生成“亮度最大角图像”和“亮度调制度图像”。在本说明书中，所谓“亮度最大角图像”，是就通过拍摄所得到的构成图像的各像素而言亮度值最大的由偏振面的角度定义的图像。例如，由某一坐标(x，y)特定的像素P(x，y)的亮度值，如果在被摄物体100由具有角度45°的偏振面的直线偏振光照射时达到最大，则对于该像素P(x，y)，设定作为亮度最大角的45°的值。一个“亮度最大角图像”，通过对于各像素设定这样的亮度最大角的值而构成。另一方面，所谓“亮度调制度图像”，是由关于各像素而随着偏振面的变化的亮度值的变动的振幅与亮度平均值的比率所定义的图像。如果某一像素P(x，y)的亮度调制度为0.3，则对于该像素P(x，y)设定0.3的值。一个“亮度调制度图像”，是通过对于各像素设定这样的亮度调制度的值而构成。

如此，本说明书的所谓“图像”，不只意味着由人的视觉直接辨认出的亮度图像，而且还广义地包含分别给予到多个像素的数值的阵列。例如显示一个“亮度最大角图像”时，能够以在“亮度最大角图像”的各像素所设定的亮度最大角的值所对应的明度显示图像。如此表现的“亮度最大角图像”，虽然包含人的视觉能够辨认的明暗的图案，但其与表示被摄物体的亮度的通常的亮度图像不同。另外，在本说明书中，为了简单，有将表示各种“图像”的数据本身称为“图像”的情况。

图1A所示的反射判定部1305，基于变动亮度处理部1302的输出，判别在凹陷区域进行二次反射而形成回光的多重反射区域、和在被摄物体表面进行一次反射而形成回光的一次反射区域。如后述，在被摄物体表面的凹陷区域和凹陷区域以外的区域之间，偏振反射状态存在差异，因此能够判别这些区域。在凹陷区域，因为多重反射(代表性的是二次反射)产生，所以多重反射区域就构成显示出同样的偏振反射状态的对(配对)。这样的多重反射区域的代表性的一例，可以是截面为V字状的凹槽(沟槽)。具有这样的凹槽这种最简单的构造的例子，如后述的图9所示，是在一个方向上直线延伸的凹槽。但是，具有多重反射区域的凹陷区域，具有截面大致倾斜/弯曲成V字状或U字状的表面即可，可以具有其他的形态。如之后说明的，在图10至图12所例示这样的形态下，其截面中也存在大致倾斜或弯曲成V字状或U字状的面。因此，在这样的面产生多重反射，能够观察到显示出同样的偏振反射状态的区域的对。

这样的表示同样的偏振反射状态的多重反射区域的对，在被摄物体的表面连绵，形成更宽阔的凹陷区域。因为该凹陷区域的代表例是凹槽，所以在本说明书中，有将包含多重反射区域的对的凹陷区域称为“凹槽”的情况。但是，本说明书的“凹槽”，并不限于在被摄物体的表面沿着一个方向延长的沟槽状的凹陷区域。本说明书中的“凹槽”，可以是具有严格地说称不上凹槽的形状(例如，图11和图12所示这样的形状)的凹陷区域。

镜像搜索部1306决定在被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域的对。关于该对的决定方法，稍后详细说明。图像处理部150，基于多重反射区域的对，生成表示被摄物体表面的凹陷区域的图像。

图1C是模式化地表示本发明的实施方式1的图像处理装置的整体构成的图。

就本图像处理装置而言，其具备内窥镜101和控制装置102。内窥镜101包括如下：具有摄像元件110的前端部113；具有光导向设备105和视频信号线111的插入部103。内窥镜101的插入部103，如图示这样，具有在左右长、且可挠性弯曲的构造。光导向设备105在弯曲的状态下也能够传送光。

控制装置102具备光源104和图像处理器108。从光源104发出的白色非偏振光，经由光导向设备105而传导至前端部113的偏振面控制元件106，成为照射到被摄物体上的直线偏振的光121。偏振面控制元件106，例如由偏光板和液晶元件构成，能够通过电压将非偏振光转换成任意的偏振面的直线偏振光。

就偏振面控制元件106而言，其是使用了液晶的且可以使偏振面旋转的器件。其构成例在专利文献4、专利文献5以及非专利文献1等中已经公开。偏振面控制元件106，例如能够由铁电液晶、偏振薄膜和1/4波片等加以组合的电压外加型液晶器件构成。并且，该偏振照明通过照明透镜107被照射到被摄物体上。

同步装置112向偏振面控制元件106输送偏振面旋转的指示信号，且使照明的偏振面旋转，并向摄像元件110输送拍摄开始信号而取得视频，将以上的处理实施多次。

来自被摄物体的回光122，通过摄影透镜109而在摄像元件110上成像。摄像元件110可以是黑白摄像元件、或者具有彩色马赛克的单板彩色摄像元件。所拍摄的视频信号，经由视频信号线111而到达图像处理器108。

在本实施方式中，图1A的偏振照明部120由光源104、光导向设备105、偏振面控制元件106和照明透镜107实现。另外，图1A的摄像部140由摄影透镜109和摄像元件110实现。图1A的变动亮度处理部1302、反射判定部1305和镜像搜索部1306，由图像处理器108实现。

接着，参照图2说明偏振面控制元件106的操作。

在偏振面0°状态203下拍摄第一图像，在偏振面45°状态204下拍摄第二图像，在偏振面90°状态205下拍摄第三图像，在偏振面135°状态206下拍摄第四图像。各偏振面不需要各错开45°，只要错开的是使180°除以3以上的整数的角度即可。摄像元件为高灵敏度时，或者照明的照度高时，因为能够缩短曝光时间，所以能够更细微地设定旋转角。

就偏振面的旋转所需的时间而言，根据上述文献，存在操作速度从20(ms)左右至40～100(μsec)左右的高速型。如果使用高速型的液晶，并且将摄像元件的灵敏度提高至可以在此时间下进行拍摄的程度，则即使实施方向的偏振旋转而进行拍摄，也可以使运动图像视频的拍摄拥有充分的性能。另外图像处理对于最低4帧的图像拍摄单位进行实施，但是，通过使处理为流水线(パイプライン：Pipeline)处理，可以使实际所花费的处理时间纳入1帧时间内。

如图1C所表明的，照明透镜107的光轴与摄影透镜109的光轴大体相等。这是为了在由内窥镜进行观察时，在被摄物体上尽量不使影子发生。

还有，在内窥镜通常使用的方法中，大多是要将非偏振光照射到被摄物体上的情况。在本发明中，例如，通过将上述第一图像至第四图像的各个偏振图像相加，能够生成非偏振的平均亮度图像。根据本发明者们的实验判明，若将偏振面的角度ΨI为等间隔的多个偏振光照射到被摄物体时的回光的图像相加，则偏振光的效果抵消，因此，结果是能够得到与使用非偏振照明同样的效果。

图3是表示偏振照明的偏振面的角度ΨI的定义的图。如前述，朝向被摄物体设定X-Y坐标系。偏振面的角度ΨI是按照使X轴的方向为0°的方式如图3所示的方式定义。角度ΨI在反射中被保存时，反射光的偏振面的角度与入射光的偏振面的角度同等。若使偏振面的角度ΨI增加或减少，则以180°为周期，使同等的偏振状态反复。即，以偏振面的角度ΨI为变量的函数，是具有180°的周期的周期函数。还有，在本说明书中，在将偏振照明的偏振面的角度ΨI称为“入射偏振面角度”的情况。

图4(a)和(b)分别是表示摄像元件110的摄像面的构成例的图。如图4(a)所示，在摄像面，多个光敏器件(光电二极管)以行和列状(X-Y方向)被规则地排列。在彩色摄像时，如图4(b)所示，设置有透过RGB三种的波长的光的彩色马赛克滤光镜。各个光敏器件通过光电转换按照入射的光的量而生成电信号。这部分能够使用一般的单板彩色摄像元件。如此作为摄像元件110，能够利用现有的彩色亮度图像用的摄像元件。在本实施方式中，可以通过以照明光为直线偏振光、且一边使其偏振面旋转一边进行拍摄，由此可以取得被摄物体的表面信息。因此，若使用专利文献2和专利文献3所公开的这种用于进行偏振摄像的偏光马赛克形的光接收元件等，在偏振图像上会发生莫尔条纹等的赝像，但根据本实施方式，具有使这样的画质劣化要因消除的优点。

接着，对于使偏振照明的偏振面旋转时的亮度的变动的性质进行说明。

图5表示对于表面801入射入射角接近0的偏振光、且由照相机观测直接反射的情况。图5(a)、(b)，入射的偏振光的偏振面有90°不同。但是，就反射光的直线偏振光而言，只是光的行进方向改变，作为能量的亮度不发生变动。这基于以下的理由。

图6是表示基于菲涅耳理论的镜面反射率的入射角依存性的曲线图，横轴表示入射角，纵轴表示菲涅耳反射率。折射率假设为n＝1.8。视为垂直入射的0°～15°附近的入射角度，相当于范围601。如从曲线图读取的，在该范围601内，无论P波还是S波，其反射率大体相同。因此，偏振光大体垂直入射表面时，P波和S波这样的偏振光对于表面的区别不存在，而是以相同举动反射。即回光的偏振状态与入射光相同。因此，不会由于偏振面变化而使回光的亮度变动。还有，这一事实在折射率n＝1.4～2.0的自然物体中也普遍成立。

如上，对于光滑表面以大体为0的入射角度入射偏振光、其进行1次反射而被观测时，即便使偏振照明的偏振面只旋转角度ΨI，因为反射光的能量不变，所以所观测到的亮度Y也不变。

图7表示，相对于有凹凸的表面而偏振照明的偏振面的角度ΨI为0°、45°、90°、135°时所得到的、亮度图像的特定的像素的亮度Y的变动。如此在凹凸表面，亮度Y对于各偏振照明的偏振面的角度ΨI示出周期性的变动。以下，详述其理由。

图8表示在有凹凸的表面形成有凹槽801、且在其斜面发生二次的反射的情况。该多重反射被认为在表面的凹凸多的被摄物体表面经常发生，第一次和第二次的反射的性质重要。根据几何学上的配置，极少会在与二次反射大体相同的位置发生三次反射，虽然也有这种情况，但其发生频率极低，因此以后只关注二次反射。

一般将反射的性质分为镜面反射和漫反射时，能够设想如下四种现象：

1)第一次：漫反射      第二次：镜面反射

2)第一次：漫反射      第二次：漫反射

3)第一次：镜面反射    第二次：漫反射

4)第一次：镜面反射    第二次：镜面反射。

但是根据实验判明，被摄物体表面光滑时，4)的无论第一次还是第二次都将镜面反射这一现象作为主要的现象考虑。

如图8(a)所示，相对于凹槽的主轴方向802垂直偏振的偏振照明为P波。若再次参照图6，则被摄物体凹槽的倾斜角假定为45°左右，若对其从正上方入射照明光，则如从602的菲涅耳反射率的曲线图所读取的，在此入射角范围内，与S波相比较，P波的反射率极弱。此外P波在经由一次和二次反射的期间进一步变弱。另一方面，图8(b)所示的S偏振光，即使经二次反射也没怎么变弱。其结果是，在对于凹槽形成P波的入射偏振面，反射光在能量上也极弱，亮度下降。另一方面，在作为S波的入射偏振面，反射光其能量却没怎么衰减，亮度也高。

如果以如上方式假定表面凹槽，能够说明由实验取得的、因入射光的偏振面的旋转所造成的反射光的亮度变化。

将凹槽的二次反射作为偏振现象进行检测，能够使用偏振光旋转照明而进行亮度变动，对其进行观测。但是，上述这样的凹槽模型只是稍做人工处理的沟槽。生物体的脏器、粘膜表面的凹凸则呈现各种各样的形状。图9至图12是使这样的现实的凹凸模型化的图。

图9表示最简单的凹槽(沟槽)。其只由两种斜面901形成，大体从正上方入射的光，在斜面进行二次反射(902)，而形成回光。在此模型化中，凹槽中只存在二次反射现象。因此，某种程度上，在分辨率低的状况下，多是凹槽中心最暗，即使是使用现有的基于亮度的图像处理，也可以检测出凹凸。

但是在以下的形状中，一次反射与二次反射混杂，基于亮度的凹凸检测变得困难。

图10是凹槽具有底面1001的情况，是可见浅而宽的陷落部等的形状。这种情况下，从正上方入射的光，不仅在斜面1004进行二次反射(1002)而形成回光，而且在底面进行一次反射(1103)。因此若以亮度进行观测，则凹槽的中心变得最明亮，成为凹部比周围暗这样反常识的状态，而使利用亮度的图像处理中凹凸判定困难。

图11是平坦部上的凸形状1105密集的区域的形状，是隆起状的肿瘤等发生时可见的形状。为了简单，使凸部模型化为半球状，但凸部1105的间隙部1101能够视为凹部，从大体正上方入射的光如图11(b)所示，在邻接的表面进行二次反射(1102)而变成回光。

在隆起的部分，光进行一次反射而形成亮度非常高的区域，但在间隙的凹部的底部，也有一次反射光发生的区域1104存在。该区域1104屡次达到非常高的亮度。因此，若以亮度进行观测，则成为凹部比周围明亮这样的状态，根据由亮度进行的凹凸判定，难以正确检测图11所示这样的凹陷区域。

图12表示在平坦部上单独存在有凹坑状的凹部1204的形状。凹部1204作为半球状的凹坑而模型化。这种情况下，因为也存在面对面的斜面的对，所以大致从正上方入射的光进行二次反射(1201)而形成回光。但是，因为入射光在底面进行一次反射(1202)，所以若以亮度进行观测，则变成凹部1204的中心1203为最明亮的状态。其结果是，成为凹部1204比周围暗这样反常识的状态，因此根据由亮度进行的凹凸判定，难以正确地检测图12所示这样的凹陷区域。

相对于在以亮度进行的图像处理中难以得到凹凸信息的多样的形状，在本实施方式中，从使用了旋转偏振照明的信息通过切分一次反射与二次反射现象，就能够正确地检测表面凹凸信息。

图13是表示图像处理程序108的构成的方块图。本实施方式所实行的图像处理，采用的原理是，通过照射偏振面旋转的偏振照明，根据观测亮度变动的信息而检测凹凸。使照明的偏振面角度ΨI变为0°、45°、90°、135°时分别拍摄的四张亮度图像群1301被输入到图像处理程序108。

使偏振照明旋转时的亮度变动判明为周期180°的余弦函数，因此变动亮度处理部1302将其与余弦函数进行最佳拟合。亮度变动将照明的偏振面的角度设为ΨI，以如下方式表现。

[算式1]

$Y\left({\mathrm{\ψ}}_I\right)=Y_{\mathrm{\ψI}\_\mathrm{ave}}+A_I\cos \left(2({\mathrm{\ψ}}_I-{\mathrm{\ψ}}_0)\right)$ (式1)

图14表示该亮度变动的余弦函数，且示出上述的振幅A_I、相位Ψ_o、平均值YΨ_{I_ave}。4个取样点，为了简单，以恰好放置在该余弦函数上的方式进行描绘。从4个等间隔的角度取样拟合余弦函数而推定上述的值的手法如下。首先，以下式求得非偏振照明下的原图像的亮度YΨ_{I_ave}。其近似于再现非偏振照明下的亮度图像，该图像能够作为内窥镜的通常观察图像加以利用。

[算式2]

(式2)

$\≈\frac{1}{2}(Y_{\max }+Y_{\min })$

在变动亮度处理部1302，从取样的亮度进行向余弦函数的使用了最小二乘误差的最佳拟合。在此，由0°、45°、90°、135°这四个方向的试样实施。余弦函数由振幅、相位、平均值这三种信息决定，因此为了使其决定，如果是三点以上取样，则实际上哪一点都可以。但是45°取样时，具有最佳拟合简单的性质。

首先，以如下方式定义偏振光角度为0°、45°(＝π/4)、90°(＝π/2)、135°(＝3π/4)下的亮度I₀、I₁、I₂、I₃的二乘误差E。

[算式3]

$E={\left(Y({\mathrm{\ψ}}_I=0)I_0\right)}^2+{(Y({\mathrm{\ψ}}_I=\frac{\mathrm{\π}}{4})-I_1)}^2+{(Y({\mathrm{\ψ}}_I=\frac{\mathrm{\π}}{2})-I_2)}^2+{(Y({\mathrm{\ψ}}_I=\frac{3\mathrm{\π}}{4})-I_3)}^2$

$={(Y_{\mathrm{\ψI}\_\mathrm{AVE}}+A_I\cos \left(2_{\mathrm{\ψO}}\right)-I_0)}^2+{(Y_{\mathrm{\ψI}\_\mathrm{AVE}}+A_I\sin \left(2{\mathrm{\ψ}}_O\right)-I_1)}^2+$

${(T_{\mathrm{\ψI}\_\mathrm{AVE}}-A_I\cos \left({2\mathrm{\ψ}}_O\right)-I_2)}^2+{(Y_{\mathrm{\ψI}\_\mathrm{AVE}}-A_I\sin \left({2\mathrm{\ψ}}_O\right)-I_3)}^2$

(式3)

使该二乘误差最小化的余弦函数的相位Ψ_o，由下式求得。

[算式4]

(式4)

根据此式，其解由下式给出。

[算式5]

$\left\{\begin{array}{c}{{\mathrm{\ψ}}_O}^{(+)}=\frac{1}{2}{\cos }^{-1}\left(\sqrt{\frac{c^2}{a^2+c^2}}\right)\\ {{\mathrm{\ψ}}_O}^{(-)}=\frac{1}{2}{\cos }^{-1}(-\sqrt{\frac{c^2}{a^2+c^2}})\end{array}\right.$ (式5)

[算式6]

${_\begin{array}{c}a\≡(I_3-I_1)\\ c\≡(I_0-I_2)\end{array}$ (式6)

反三角函数等的数学函数中，一般设有以下这样的限制。

[算式7]

0≤acos(x)≤π    (式7)

若考虑其角度范围，则通过进行根据a与c的大小关系的情况区分，则能够以如下方式，计算取最小值的角度和取最大值的角度。

[算式8]

(式8)

将取其最大值的Ψ0max的值直接作为亮度最大角图像YPH即可。

[算式9]

YPH＝ψ_Omax    (式9)

接着，求得振幅的最大值和最小值。首先，为了求得振幅AI，使用下式进行二乘误差的最小化。

[算式10]

$\frac{\∂E}{\∂A_I}=0$ (式10)

使用振幅A_I，使振幅的最大值和最小值如下。

[算式11]

$Y_{\max }=Y_{\mathrm{\ψI}\_\mathrm{AVE}}+A_I$

$Y_{\min }=Y_{\mathrm{\ψI}\_\mathrm{AVE}}+A_I$

$A_I=\frac{1}{2}[(I_0-I_2)\cos \left({2\mathrm{\ψ}}_O\right)-(I_3-I_1)\sin \left(2{\mathrm{\ψ}}_O\right)]$ (式11)

若使用(式11)的振幅最大值Ymax和最小值Ymin，则亮度调制度图像YD由下式12求得。

[算式12]

$\mathrm{YD}=\frac{Y_{\max }-Y_{\mathrm{mi}n}}{Y_{\max }-Y_{\min }}$ (式12)

还有，向余弦函数的一般的最佳拟合可以在3点以上的试样中进行，其方法例如专利文献6所述。

通过以上的处理，能够得到亮度最大角图像YPH和亮度调制度图像YD。这些信息如图13所示，被传送至反射判定部1305。亮度最大角图像YPH和亮度调制度图像YD这两种图像，大多作为伪彩色图像以归纳为一个的方式表现。这种情况下，表现色彩的色相角的是亮度最大角图像YPH，表现色彩的色度的是亮度调制度图像YD。

另外，如图13所示，在不同的偏振照明下拍摄的图像群1301，在亮度算术平均部1310被进行加法算术平均，变得与非偏振照明下拍摄的图像等价。其成为作为通常的彩色图像而发挥功能的亮度图像Y。

反射判定部1305，使用亮度最大角图像YPH、亮度调制度图像YD和亮度图像Y，对于被摄物体表面发生的反射进行识别并判定为一次反射和二次反射。

图15是说明反射判定部1305的处理的流程图。

在步骤S1501中，输入亮度调制度图像YD和亮度图像Y。在步骤S1502中，判定亮度调制度图像YD的各像素的值(调制度)是否在规定的阈值水平TH_YD以上。在步骤S1504中，如式13所示，(i)将调制度为规定的阈值水平TH_YD以上的像素所构成的图像区域(REF2＝YES)判定为二次反射区域。另一方面，(ii)将调制度比规定的阈值水平TH_YD小的像素所构成的图像区域(REF2＝No)判定为非二次反射。如此，能够只将存在规定的阈值水平TH_YD以上的亮度调制度的反射区域作为二次反射区域REF2的像素区域进行分离。

[算式13]

$\mathrm{REF}2=\left\{\begin{array}{cc}\mathrm{YSE}& (\mathrm{YD}\&GreaterEqual;\mathrm{TH}\_\mathrm{YD})\\ \mathrm{NO}& (\mathrm{YD}<\mathrm{TH}\_\mathrm{YD})\end{array}\right.$ (式13)

在步骤S1503中，判定步骤S1502中判定为REF2＝No(非二次反射)的区域的亮度值Y，是否比规定的阈值TH_Y大。像素的亮度值Y在规定的阈值TH_Y以上时(式14REF1＝YES)，在步骤1505中，将由这样的像素构成的区域判定为一次反射区域REF1。一次反射区域REF1和二次反射区域REF2构成“镜面反射区域”。还有，二次反射区域REF2，因为能够包含发生二次以上的反射的区域，所以也称为“多重反射区域”。然后，像素的亮度值Y比规定的阈值TH_Y小(式14REF1＝No)之际，由这样的像素构成的区域不是镜面反射区域。

[算式14]

$\mathrm{REF}1=\left\{\begin{array}{cc}\mathrm{YSE}& (Y\&GreaterEqual;\mathrm{TH}\_Y)\\ \mathrm{NO}& (Y<\mathrm{TH}\_Y)\end{array}\right.$ (式14)

通过以上的处理，一次反射区域REF1与二次反射区域REF2在图像上被分离。另外，一次反射区域REF1和二次反射区域REF2均不是的区域，从“镜面反射区域”中被区别。

图16A模式化地表示，对于在平坦部上发生隆起状的肿瘤等的景象(图11)、进行了反射判定部1305的处理的结果。在图16B中，一次反射区域作为有影线的圆形区域记述。一次反射区域是存在于隆起部的顶峰附近和凹部的底面的高亮度区域。如图16C所示，二次反射区域1601、1602、1603的各对，位于隆起部之间接触的凹部的斜面。

图17A、B是进一步模式化地表示该处理结果的附图。表示分离提取的具有各种的形状的微小反射区域171、172、173、174、175，作为属性而具有亮度最大角H的情形。

亮度最大角H是180度周期的角度。亮度最大角H相等的区域在图17A、B中，由纹理图案表现。图17A所示的区域171、172，具有相当于角度H1的属性，图17B所示的区域173、174、175，具有相当于角度H2的属性。换言之，就是区域171、172的亮度最大角H为H1，区域173、174、175亮度最大角H为H2。

在以下所示的镜像搜索中，首先，发现图16C的二次反射区域1601、1602或1603这样的形成镜像对的区域，判定为凹部。发现图17A的区域171和区域172这样的对时，作为其二值图像的形状可靠性低，不太有用。但是二次反射区域具有的角度H1却成为重大的线索。说到原因，是由于角度H1表示凹槽主轴角度，而成对的区域必然存在于与凹槽主轴正交的方向。搜索只在与该凹槽主轴正交的直线上进行即可。与该凹槽主轴正交的直线称为搜索线176。例如，图17A的区域171所对应的搜索线176，是通过区域171的质心178、且与角度H1正交的线。在图17B的示例中，区域173所对应的镜像，位于通过区域173的质心、且与角度H2正交的直线(搜索线177)上。因此，与区域173对应的镜像，只在搜索线177上搜索即可。在图17B的示例中，具有与角度值H2相等的角度值的区域175虽然位于区域173的邻域，但该区域175不在搜索线177上。即，区域173和区域175，不构成二次反射区域的对。根据在搜索线上进行搜索的方法，不会将区域175和与区域173构成对的区域弄错。

接下来，一边参照图18A，一边说明镜像搜索部1306的处理。图18A是表示镜像搜索部1306的处理的一例的流程图。

在步骤S1801中，输入二次反射区域图像。其是包含图16C所例示这样的表示二次反射区域的对的二值图像、亮度最大角图像YPH和亮度调制度图像YD的数据。具体的数据的例子后述(图18B)。以下，将亮度最大角图像YPH的各像素的亮度最大角的值称为YPH值，将亮度调制度图像YD的各像素的调制度称为YD值。

在步骤1802中，为了进行反射判定部1305中以(式13)说明的二值化处理，而将发生的图像上的细小的分散的微小区域作为噪音除去。这使用通常的二值图像的缩小/放大处理即可。

在步骤1803中，对二值图像加以标记，按区域计算像素数、质心坐标、YD值、YPH值的平均值。在此，在YD值和YPH值的平均计算中，使用以YD值为色彩的色度、以YPH值为色彩的色相而加以表现的伪彩色值(R、G、B)。

图18B表示一个反射区域的伪彩色值(R、G、B)的例子。该区域是由图像上的存在于X轴坐标275-278和Y轴坐标183-186的11个像素构成的区域。各像素以伪彩色值保持YD、YPH值，这通过在红RED、绿GREEN、蓝BLUE的各平面相同的坐标的像素位置存储8比特值来实现。例如，在构成该区域的(X、Y)＝(278，184)的像素中存储(RED、GREE、BLUE)＝(255、231、227)。在上述步骤1803的计算中，若计算质心位置和伪彩色值的平均值，则该区域的质心坐标为(GCX、GCY)＝(276.5、184.6)，平均色为(RED_AVE、GREE_AVE、BLUE_AVE)＝(255、228.09、223.45)。由此，就凹槽主轴角度H而言，通过使用从所周知的RGB_HSV转换等，得到H＝0.0245，即约8.82°。这一角度是360度周期，但凹槽主轴角度

为180度周期，因此使H的1/2的值为凹槽主轴角度

即可。因此，图18B的例子的凹槽主轴角度φ约为4.41°。在此状态下，作为区域编号nr，能够得到使区域加以标记的二值图像，各区域的属性、统计量得以确定。

接着说明实际的搜索程序。

在图18A的步骤S1804中，作为初始设定，将搜索区域编号nr设为1。在步骤S1805中，对于搜索区域计算搜索线。所谓该搜索线，如前述说明的，是规定在搜索镜像时使用的搜索范围。在步骤S1806中，将被搜索区域编号nr1设为1，在步骤S1807中实际进行搜索。

按以下方法进行，即，仅将在上述伪彩色值的意思下为“类似色彩”且与搜索线的距离D小的区域作为镜像候选Mrrcand，将搜索线上距离Len进行存储。

图19是说明该被搜索区域的搜索的详情的图。

由此将进行构成二次反射区域的对的另一方的区域的搜索的作为基准的区域设定为搜索区域191，凹槽主轴方向为以箭头192表现的方向。首先，运用判定搜索区域191和被搜索区域之间的主轴角度是否类似的算式15，判定搜索区域191与类似色彩的区域，同时确定搜索线193。

[算式15]

ΔH＝min(360-|H(nr)-H(nr1)|，|H(nr)-H(nr1)|)

(式15)

搜索线的方程式使用当前的搜索区域的质心坐标和二次反射凹槽的主轴角度φ而以如下方式表示。

[算式16]

(式16)

因此对于搜索区域(编号nr)的搜索线，被搜索区域(编号nr1)和搜索线的垂直距离D的条件如下。

[算式17]

(式17)

满足(式15)和(式17)的条件双方时，以如下方式计算搜索线上距离Len。

[算式18]

$\mathrm{Len}=\sqrt{P^{t}P}$

(式18)

在步骤S1809中，判定对于搜索区域nr，全部的被搜索区域的搜索是否结束，如果未结束，则设置下面的被搜索区域nr1(S1808)。

在步骤S1810中，将搜索线上距离Len分类，从短距离中选择两个。这成为镜像对，但不能是距离过远的镜像对。因此在步骤S1811中，如果从短距离至第二号比最大距离LEN_TH小，则认定为镜像之对。

[算式19]

(式19)

由求得的镜像对的区域生成相当于凹槽的中垂线。该线段称为凹槽片段，使长度为GRVLEN而能够以如下方式表现。

[算式20]

(式20)

在步骤S1812，如果确认全部的区域nr被搜索，则处理结束，未结束时进入到下面的搜索区域(步骤S1813)。

如果以上的处理结束，则能够在反射区域的群中结合该镜像对，且设定假设存在于其中间位置的、作为凹槽的局部性的细分化的候选的凹槽片段。

图20A至图20D是表示实际被摄物体中提取凹槽片段的实验图像的图。

图20A是由在旋转偏振照明下拍摄被摄物体的四张图像所生成的亮度图像。使用的是设想为具有类似于脏器表面的凹凸形状和反射特性的鱼卵，具体来说是使用“盐腌大马哈鱼卵”的集合体。在表面大量观察到作为照明的环状照明的一次反射的像和基于半透明的特性的环状的像，这在亮度图像处理中成为严重的噪音。但是在本发明的偏振处理中，如处理结果的图20B至图20D，这几乎不成为问题而可以正常地进行处理。

图20B是表示实施了变动亮度处理部1302的处理的结果的图，将亮度最大角图像YPH和亮度调制度图像YD汇总而表示一个伪彩色图像。

图20C是表示反射判定部的结果的图，表示以量子化处理而判定为二次反射的微小反射区域被分离/提取的结果。这些微小区域相当于图16C、图17A、17B的各区域。

图20D是表示实施了镜像搜索部1306的处理的结果的图，在一个一个鱼卵的轮廓线附近提取凹槽片段。提取出多个平行线2001的部分相当于发现多个镜像区域对的部分。

图21A和图21B是说明该多个镜像对的发生原因的图。图21A是被摄物体表面的凹凸的剖面图，因为描绘的是斜面具有拐点的曲线，所以在(A)点和(D)点发生一个二次反射，在(B)点和(C)点发生另一个二次反射。因此，如图21B，在同一搜索线上观测到四个二次反射区域，结果是提取出三条凹槽片段。这种情况下，根据另外的算法也可以判定本来的凹槽中心是(B)与(C)的中点。

凹陷区域连接部1307，通过连接所推定的凹槽片段彼此，生成一体的凹陷区域并确定法线的Azimuth(方位)角。

接着，一边参照图22，一边说明凹陷区域连接部1307的处理。图22是表示凹陷区域连接部1307的处理的流程的流程图。

在图22所示的步骤S221中，将由镜像搜索部1306进行了凹槽片段化的、图像内的全部的凹槽片段S作为对象。在步骤S222中，依存于各凹槽片段S具有的方向，实行二值图像处理的放大处理。该放大处理的方向，依存于各个凹槽片段的方向来决定，使之对于凹槽片段的主轴及其垂直方向大体为均等地放大，以凹槽片段为凹槽的底而再生凹槽的斜面区域。

在步骤S223中，通过图像处理，将上述的放大区域接近的彼此相互连接，使依存于微小反射区域而离散的凹槽片段成为大而连续的连接凹槽区域。在步骤S224中，以二值图像处理使连接凹槽区域细化，由此确定连续的连接凹槽区域的底所对应的细线。在步骤S225中，设定以该细线的垂线且朝向细线的方向的矢量，将其作为凹槽的法线矢量的Azimuth(方位)角加以推定。

在步骤S226中，以二次函数等的既有的函数形式拟合连接凹槽区域内的截面形状，由此推定凹槽的Zenith(天顶)角。这时微小反射区域的反射强度为约束条件。其利用的是，如图10、图11、图12等所表明的，在各截面中发生强烈二次反射的斜面角度是相对于垂线约45度邻域。实施这些处理推定连接凹槽区域，推定这一处所的表面法线矢量，即Azimuth(方位)角和Zenith(天顶)角。就实例说明以上的处理。

图23A至图23D是表示弯曲的凹槽的例子的图，该凹槽可以认为是存在于隆起的凸起区域的周围的凹槽。图23A表示微小反射区域151、152和所设定的凹槽片段179。图23B表示凹槽片段179的放大处理的结果。图23C表示与其他的凹槽片段连接，并实施了细化处理的情况。在这一阶段，连接凹槽区域在图像的左下向中心弯曲，作为其谷底的底面位置由细线表示。图23D表示对于所得到的凹槽，推定出法线的方位角的结果。

图24A至图24D是表示平坦的面内的塌陷(凹坑)的示例的图。凹坑的形状，因为考虑凹槽为点对称，所以二次反射的镜像对在理论上存在无数。图24A是微小反射区域2000和微小反射区域2001构成镜像对，推定出凹槽片段2004。另外，微小反射区域2002和微小反射区域2003构成镜像对，推定出凹槽片段2005。图24B表示对于凹槽片段进行放大处理的结果。可知该放大区域构成一个十字形的闭区域。若由此实施细化，则推定出底面的一点。在图24C中，图示了由凹槽片段求得的作为凹陷区域的凹坑和该凹坑的底面的一点。图24D表示对于所得到的凹坑的区域，推定出法线的方位角的结果。

截面形状模型化部1308，接收经过以上的处理而推定出Azimuth(方位)角的结果，在凹陷区域推定Zenith(天顶)角，并确定表示法线的两个角度。若决定凹陷区域的Azimuth(方位)角和Zenith(天顶)角，则生成凹陷区域的法线图像。

图25是对于方位角和天顶角进行说明的图。法线矢量三维矢量，但因为长度被正规化为1，所以自由度是2，以角度表现时，以画面内的方位角Ψ和与视线相对的天顶角θ表现。在通常的右手系，在图像内设定X-Y轴，Z轴的反方向为视线(光轴)方向。与法线的三个成分(Nx、Ny、Nz)的关系如图所示。即，如果通过偏振信息求得方位角Ψ和天顶角θ，则这一点的表面法线如下。

[算式21]

N_X＝cosψsinθ

N_Y＝sinψsinθ    (式21)

N_z＝cosθ

图26表示截面形状模型化部1308的处理的流程。在步骤S2601中，以Azimuth(方位)角已经推定出的状态下，推定Zenith(天顶)角。

凹槽截面以特定的函数形式拟合虽然无妨，但在此使用正态分布函数。

图27表示从被摄物体正上方观看所推定的凹槽的俯视图和剖面。为了简单，凹槽在X＝0下沿Y轴方向延长。在此，以使用了称为σ的参数的正态分布函数表现截面形状。就正态分布函数而言，由于其参数仅以一个σ表现，很简单，又与生物体一般的各种的凹槽的形状类似，所以选定其作为使图10图12的各种截面形状近似的正态分布函数。

[算式22]

$Z=-\frac{1}{\sqrt{{2\mathrm{\&pi;\&sigma;}}^2}}{e}^{-\frac{x^2}{{2\mathrm{\&sigma;}}^2}}$ (式22)

在此，若计算截面形状的梯度，则其能够使用法线的天顶角，以如下方式表现。

[算式23]

$\tan \mathrm{\&theta;}=\frac{\mathrm{dZ}}{\mathrm{dx}}=\frac{x}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}^3}{e}^{-\frac{x^2}{{2\mathrm{\&sigma;}}^2}}$ (式23)

那么，若假定应最佳拟合的微小反射区域2701的位置在x轴上为W，在此的θ为反射强度最强的θ＝45度，则能够得到

[算式24]

$e^{-\frac{W^2}{{2\mathrm{\&sigma;}}^2}}=\frac{\sqrt{\mathrm{\&pi;}}{\mathrm{\&sigma;}}^3}{W}$ (式24)

由此求得参数σ。如上，凹槽的截面形状以正态分布函数表现，同时依据从凹槽底面的中心线2702偏离的值W决定Zeinth(天顶)角。还有，正态分布函数的值随着远离凹槽中心，逐渐过渡为平坦部。因此，该模型适合作为胃等的粘膜表面的凹部的模型。

如果该函数形式一旦决定，则在从凹槽中心线距离x的点的天顶角θ，作为算式25求得。

[算式25]

$\mathrm{\&theta;}={\tan }^{-1}\left(\frac{x}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}^3}{e}^{-\frac{x^2}{{2\mathrm{\&sigma;}}^2}}\right)$ (式25)

还有，当然也可以使用正态分布函数以外的截面形状模型。

在步骤S2602中，根据求得的方位角Ψ和天顶角θ，运用(式21)求得照相机坐标系的被摄物体表面的法线矢量(Nx、Ny、Nz)，使其成为二维的法线图像。

从至此说明的可知，在本发明中虽然使用偏振信息，但Azimuth角、Zenith角均不会发生不定性(Ambiguity)。这是与通常的偏振图像处理大不相同的优点，因为本来就是在只将凹部模型化而加以推定这样的立场上进行设计。

以上的处理，是在被摄物体表面发生二次反射的凹陷区域的法线的推定处理，接下来说明发生一次反射的区域的处理。

高亮度区域处理部1312，确定图16中作为在被摄物体表面具有非常明亮亮度的区域REF1而被提取的部分的法线。

图28是表示法线确定的原理的图，根据在一次反射的镜面反射下入射角与反射角相等的性质，REF1区域的表面法线N1能够作为视点矢量V和光源矢量L的2等分矢量进行计算。

在以上的处理中，REF2(二次反射)区域和REF1(一次反射)区域的表面法线能够确定。但是这些法线只是局所性地求得。下面要决定涉及被摄物体表面全域的整体的法线。

法线再现部1313，根据理论上的表面反射模型和所观测到的单一图像的亮度的关系，使用法线的连续性假定，针对法线未决定区域求得法线，决定整体的法线。在该区域，因为二次反射几乎不发生，所以可以考虑由照明、法线和视线的方向，以一次的反射决定亮度，能够使用历来被很好使用的来自SFS(Shape From Shading：从明暗恢复形状)的阴影的形状复原(非专利文献2)的手法。

在此手法中，首先，作为三维空间内的矢量的表面法线(Nx、Ny、Nz)，以经由(p、q)梯度空间表现被摄物体的外缘线约束上便利的(f、g)空间而预先表现。在其返还式中使用(式26)、(式27)即可。

[算式26]

$p=\frac{\&PartialD;z}{\&PartialD;x}=-\frac{N_x}{N_Z}$ $q=\frac{\&PartialD;z}{\&PartialD;y}=-\frac{N_y}{N_Z}$ (式26)

[算式27]

$f=\frac{2p}{1+\sqrt{1+p^2+q^2}},$ $g=\frac{2q}{1+\sqrt{1+p^2+q^2}}$ (式27)

接下来，为了根据实际在某一像素位置(x，y)观测到的亮度E(x、y)来推定法线(f、g)，而假定(式28)的关系。因此需要法线和观测亮度的理论上的关系R(f、g)。虽然这也可以实验性地求得，但能够在光源位置已知下根据使被摄物体的反射特性近似的各种物理反射模型的算式得到。例如作为镜面反射模型，能够使用后述的Cook-Torrance(クツク＝トランス)模型。

[算式28]

E(x，y)＝R(f，g)    (式28)

接着，根据被摄物体表面光滑这样的设定，假定以下的法线连续性的算式。

[算式29]

f² _x+f² _y+g² _x+g² _y→min    (式29)

因此，为了使(式28)和(式29)并立而使以下的积分最小化。

[算式30]

$\&Integral;\&Integral;[\mathrm{\&lambda;}{(E(x,y)-R(f,g))}^2+(f_x^2+f_y^2+g_x^3+g_y^2)]\mathrm{dxdy}\&RightArrow;\min$ (式30)

就该最小化问题而言，回到解开以下的欧拉方程式，并能够离散地使用迭代法解开。

[算式31]

$\left\{\begin{array}{c}{\&dtri;}^{2}f=\mathrm{\&lambda;}(E-R)R_f\\ {\&dtri;}^{2}g=\mathrm{\&lambda;}(E-R)R_g\end{array}\right.$ (式31)

最后从所求得的(f、g)空间，经由(p、q)空间，将法线矢量进行逆变换而求得。

图29A模式化地表示通过该迭代法，逐渐地成形表面的凸起部分的法线的情形。初期的表面如2901这样平坦，但若应用迭代法，则如2902、2903这样逐渐形成凸起区域。还有，凹槽区域的法线群、REF1区域的法线能够作为约束条件使用。通过以上的处理，能够生成法线图像N。

图29B是模式化地表现法线图像的图。在亮度图像的各像素上附带有这一处的表面法线矢量的数据。以下的说明是关于合成显示如此生成的图像的部分。

首先，如图1C所示，法线图像N被输送到光源变动图像生成部117。在光源变动图像生成部117，对于求得的法线图像，通过赋予照相机视点方向和照明光源方向，使用物理反射模型公式生成亮度图像。在此，作为良好表现被摄物体的镜面反射的模型公式，使用Cook-Torrance模型。据此，亮度Is由下式表达。

[算式32]

$I_S=K\frac{\mathrm{FG}\frac{1}{{4m}^2{\cos }^4\mathrm{\&alpha;}}\exp (-\frac{{\tan }^2\mathrm{\&alpha;}}{m^2})}{\cos {\mathrm{\&theta;}}_r}$ (式32)

图30是表示使用Cook-Torrance模型时的矢量与角度的关系的图，描绘的是表面法线N、光源矢量L和视点矢量V。若使用光源矢量L和视点矢量V的二等分矢量H，则上式的α是二等分矢量H和法线N的夹角，θr是视线矢量和法线N的夹角。菲涅耳系数F和几何衰减因子G由下式表现。

[算式33]

$F=\frac{1}{2}\frac{{(g-c)}^2}{{(g+c)}^2}(1+\frac{{[c(g+c)-1]}^2}{{[c(g-c)+1]}^2})$ (式33)

[算式34]

$G=\min \{1,\frac{2(N\&CenterDot;H)(N\&CenterDot;V)}{(V\&CenterDot;H)},\frac{2(N\&CenterDot;H)(N\&CenterDot;L)}{(V\&CenterDot;H)}\}$ (式34)

另外系数K是与入射照度关联的系数。如果使用该Cook-Torrance模型，则能够由表面法线图像生成亮度图像，但为此除了折射率n以外，还需要赋予视线矢量V、光源矢量L等几何学上的设定。

就光源方向设定部114而言，是用于设定该光源矢量的人机界面，由在内窥镜诊断等之中作为观察用户的医师进行自由设定。该设定就是使照明光源从实际的内窥镜的光源以外场所，例如向左侧、右侧、上侧、下侧进行照射这样的虚拟的设定，能够使对象的表面凹凸十分逼真地图像化。

图31模式化地表示这样的光源变动的图像。因为该图像基于推定的法线图像，所以照明变更能够在计算机上自由地更换，能够解决作为内窥镜的缺点之一的不能变更照明位置而使表面凹凸的观察困难这一课题。

实际上以Cook-Torrance模型表现的图像是只有光泽部的镜面反射图像。例如，在彩色图像的情况下，镜面反射图像只基于白色光源，所以成为黑白图像，仅是这样还欠缺逼真感。因此在图像合成部115，与亮度图像Y进行合成显示。

图32A是说明该合成处理的图。

亮度图像Y与光源变动图像SY被送至图像合成部115，首先，由图像成分分离部3202将漫反射图像DY分离。该分离通过从亮度图像Y上、减去使光源设定在与拍摄时相同状态下的镜面反射图像、即光源变动图像SY来实施。所述的彩色成分等残存在该漫反射图像DY中。接着，生成使光源在任意的位置变化时的光源变动图像SY，由加权系数设定部3204对其进行加权，由累加部3203进行相加合成。合成图像被送到显示部。

图32B是由以上的合成处理实现的显示图像的示例。光源3206是虚拟设定的任意的平行光源。若使其如图32B的(A)至(D)这样自由设定方向，则被摄物体图像如图像3208A至3208D这样变化。特别是一次反射的镜面反射部3207和阴影部3209与光源的位置变化一起移动这一点，能够在视觉上感知凹凸。医师除了通常的亮度图像以外，还能够看到十分逼真地强调出凹凸的图像，从而能够得到对于诊断有效的信息。

图33A是表示合成处理的另一方式的图。这种情况下，不是合成由法线图像N生成的亮度图像，而是合成由至此加工的以前的信息、即亮度最大角图像YPH和亮度调制度图像YD所生成的伪彩色图像。若亮度最大角图像YPH和亮度调制度图像YD被输入图像合成部115，则首先由伪彩色转换部3301转换成伪彩色图像C。在此转换中，能够利用众所周知的HSV-RGB转换等。

接着，该图像由加权部3303进行加权，与同样由加权部3302进行了加权的亮度图像一起被送至累加部3304而进行相加合成。这种情况下，伪彩色显示，其色相表示表面的凹槽的Azimuth(方位)角。

图33B是由以上的合成处理实现的显示图像的示例。例如，各伪彩色显示3305、3306、3307分别表示在Azimuth角＝45°、90°、135°的方向有凹槽。据此，医师能够了解表面的沟槽的状态、和哪里变成凹坑等等。若与图31的情况比较，则直观感觉稍有不足，但具有能够正视进行图像处理前的信息的优点。还有，这里虽然是合成伪彩色图像，但也可以将亮度最大角YPH图像和亮度调制度YD图像作为黑白图像进行合成。

还有，如图1C所示的图像处理装置的构成所表明的，在本装置中，因为没有采用切换观察的照明光而观察另外的信息的构成，所以处理可以全部并列实行。即具有的特征是，可以一边观察通常的内窥镜检查所必须的彩色图像、即亮度图像Y，同时将与光源变动图像SY的合成图像、或与伪彩色图像C的合成图像等一次显示在显示部116。当然扫描内窥镜医师也可能适宜切换显示。

(第一实施方式的变形例)

一边参照图34、图35A、图35B，一边说明第一实施方式的变形例。

在第一实施方式中，图16所示的在被摄物体表面具有非常明亮的亮度的REF1(一次反射)区域假定为凸起区域，进行法线确定(参照图28)。但是，如一边参照图11和图12一边说明的，REF1(一次反射)区域也有是凹陷区域的可能性。

在该变形例的装置中，具备判定REF1(一次反射)区域是凹陷区域和凸起区域的哪一种的凹凸判定部。以下，假定被摄物体的表面是球状区域的集合体。

参照图34。图34是表示本变形例的构成的图。本变形例的构成和图13的构成之间的第一差异点在于，本变形例的装置具备凹凸判定部1314。在该例中，由高亮度区域处理部1312检测的REF1区域被判定为凸起区域时，实施由法线再现部1313进行的处理。还有，REF1区域被判定为凹陷区域时，将该区域从REF1区域除外，进行之后的处理。

图35A表示REF1区域为凸起区域的情况。在图35A所示的例子中，在球状区域1320存在REF1区域1324，在其周围存在三处REF2区域1321、1322、1323。将以REF1区域1324为起点而以REF2区域1321、1322、1323各自为终点的二维的位置矢量设为V。将表现REF2区域1321、1322、1323各自的凹槽的轴的矢量设为T。该矢量T可以是进行了镜像搜索其结果发现的凹槽片段，也可以是未进行镜像搜索而仅作为凹槽主轴所取得的。该矢量T的方向虽然确定，但朝向不定。

如图35A所示，矢量T以在REF1区域1324的周围旋转的方式包围，因此矢量T和矢量V大体正交。两矢量之间的角度越接近直角，矢积越远离0。因此，图35A所示的情况下，关于矢量T与矢量V，下式成立。

[算式35]

E(|V×T|)＞Tresh    (式35)

在此，使用矢量V与矢量T的矢积的绝对值的理由，是由于不用考虑矢量T的方向。“E”表示多个二次反射区域中的平均值，“Thresh”表示预先设定的固定的阈值。“Thresh”的大小，能够根据被摄物体的种类而设定不同的值，但也可以通过实验或计算来决定。

在此变形例中，式34成立时，凹凸判定部1314将REF1区域1324判定为凸起区域。

图35B表示REF1区域是凹陷区域的情况。这种情况下，在多个REF2区域1326、1327、1328所包围的区域的中央存在REF1区域1325。但是，若建立以REF1区域1325为起点而以REF2区域为终点的位置矢量T，和REF2区域1326、1327、1328的各个凹槽主轴矢量V，则矢量T和矢量V几乎平行。因此，REF1区域1324是凹陷区域时，下式36成立。

[算式36]

E(|V×T|)≤Tresh

(式36)

如此，凹凸判定部1314基于矢量T和矢量V的矢积的绝对值的大小，能够识别一次反射区域是凹陷区域还是凸起区域。

(第二实施方式)

第一实施方式的图像处理装置，是摄像元件位于前端部的所谓软镜型。本发明的内窥镜不限定为软镜型，也可以是硬镜型。

以下，一边参照图36，一边说明本发明的图像处理装置的第二实施方式(硬镜型)。图36是表示本实施方式的内窥镜101的构成例的方块图。在本实施方式中，内窥镜101以外的构成，与图1C所示的图像处理装置的构成一样，因此这些构成的说明在此不再重复。

本实施方式的图像处理装置具备的内窥镜101，具备摄像用中继透镜光学系统3401和照明用中继透镜光学系统3302。摄像用中继透镜光学系统3401，其将由摄影透镜109得到的被摄物体的像引导至位于内窥镜的根部的摄像元件110，且在硬性内窥镜中是一般性的构成。在本实施方式中，在光源104的正前方设置有偏振面控制元件106。从光源104射出的非偏振光被转换成旋转直线偏振光，该直线偏振光通过照明用中继透镜光学系统3302期间，维持偏振状态而从照明透镜107照射。根据本实施方式，不需要在内窥镜前端部设置图1C的偏振面控制元件106，能够减小前端部的口径。另外，作为使偏振面旋转的手段，也可以采用比上述的偏振面控制元件106大的构成。例如，也可以利用使具有多个不同的透射偏振面的起偏镜旋转的机构，来替代偏振面控制元件106。

在照明用中继透镜光学系统3302中，需要在途中维持偏振状态，但在摄像用中继透镜光学系统3401中，维持亮度本身即可。因此，摄像用中继透镜光学系统3401的调整变得轻松。照明用中继透镜光学系统3302，能够由使用了维持偏振状态的保偏光纤的光导向设备代用。

在本实施方式中，关于使用旋转偏振照明拍摄亮度图像、且图像处理程序得以进行的处理，也与第一实施方式相同。

(第一和第二实施方式的变形例)

与第一实施方式、第二实施方式共通，而在前端部的偏光旋转照明部的构成中认为有各种的变形例。为了在被摄物体的凹凸使镜面反射大量发生，希望尽可能采用均匀而大面积的照明。但是，由于是内窥镜，所以希望前端部口径尽量小、且构造简单。

一边参照图37至图41，一边说明偏振照明部120的前端部的多样的构成例。在这些附图的左侧表示前端部113的正视图，在右侧表示前端部113的剖面图。

图37表示具备与第一实施方式的前端部的构成所接近的前端部的构成例。在此例中，在照明透镜107的外侧装配有偏振面控制元件106。

图38表示在前端部具有环状照明部306的构成例。使从环状照明部306出射的光，通过在中央空出孔的圆环形状的偏振面控制元件106而进行转换。该环状照明部306，能够通过如下方式构成，即，使从光导向设备105分岔出的各个光纤的多个端面排列在圆周上。

图39表示在前端部具有宽度宽的构成宽阔的环状照明部307的构成例。该环状照明部307具有配置在宽度宽的环状区域内的多个LED芯片，作为整体能够得到环状的面发光。从环状照明部307发出的光，通过在中央空出孔的圆环形状的偏振面控制元件106时，其偏振面得到控制。

图40表示按照相对于摄像的光轴而使照明的光轴倾斜的方式使前端部的中央凹陷的构成例。在凹陷的中央部定位摄影透镜109，在其周围排列多个LED光源308。由此，呈现出以大的光源包围被摄物体部位的周围的效果，因此使镜面反射大量发生。

图41表示使用了能够使照明的光轴与拍摄的光轴相同的同轴落射照明的构成例。从圆形的面发光型的LED照明光源309发出的非偏振光，通过圆形的偏振面控制元件106后，以45度的角度入射宽带消偏振BS(分束器)。宽带消偏振BS使在可视光的范围入射的偏光的1/2透过、且使1/2反射，但这时具有维持偏振光的特性。因此，直线偏振光直接照射到被摄物体上。另外回光也同样有1/2透过而入射到摄影透镜109。在此构成中，从光源发出的光的一部分透过宽带消偏振BS后，在装置内部反射，为了使之达到最小而希望设置光吸収板310。在此虽然使用板形的宽带消偏振BS，但也可以使用立方体型的。这种情况下，光源的反射进一步加强，因此需要对策。

还有，也可以使用发出直线偏振光的LED光源，通过偏振面控制元件使其偏振面旋转。

还有，上述的实施方式的全部，是将旋转偏振照明与亮度摄像元件加以组合而构成，但如果被摄物体是镜面反射物体，则也可以将其置换为非偏振照明与偏振摄像元件的组合。这种情况下，不再需要图1C的偏振面控制元件106，而将摄像元件110置换为偏振摄像元件。作为偏振摄像元件，能够使用可以在可视彩色亮度下以一定波长区域进行偏振摄像的元件。这种情况下的处理部，接收一张偏振摄像图像而取代图13所示的亮度图像群1301来进行处理。图13的亮度最大各图像YPH和亮度调制度图像YD，分别置换为偏振主轴角(相位)图像和偏振度图像即可。

产业上的可利用性

本发明可以广泛应用于医疗用内窥镜、皮肤科、牙科、眼科、外科等的医学用途的照相机，工业用内窥镜、指纹拍摄装置、表面检查装置等需要对于被摄物体的表面凹凸进行观察、检查、辨认的图像处理领域。

符号的说明

100   被摄物体

100a  被摄物体的凹陷区域

101   内窥镜

102   控制装置

103   插入部

104   光源

105   光导向设备

106   偏振面控制元件

107   照明透镜

108   图像处理器

109   摄影透镜

110   摄像元件

111   视频信号线

112   同步装置

113   前端部

114   光源方向设定部

115   图像合成部

116   显示部

117   光源变动图像生成部

120   偏振照明部

140   摄像部

150   图像处理部

1302  变动亮度处理部

1305  反射判定部

1306  镜像搜索部

Claims (21)

1.一种图像处理装置，其中，

具备：

将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明部；

所述三种以上的直线偏振光分别照射所述被摄物体时，依次拍摄所述被摄物体的摄像部；和

图像处理部，

所述图像处理部具有：

变动亮度处理部，其处理由所述摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态；

反射判定部，其基于所述变动亮度处理部的输出，判别在所述凹陷区域进行二次反射而形成回光的所述多重反射区域、和在所述被摄物体表面进行一次反射而形成回光的一次反射区域；

镜像搜索部，其决定在所述被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对，

并且，所述图像处理部基于所述多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像。

2.根据权利要求1所述的图像处理装置，其中，

所述图像处理部还具有：

从所述多重反射区域的各对生成凹槽片段，且连接所述凹槽片段，由此推定所述凹陷区域的位置的凹陷区域连接部；

决定所述凹陷区域的截面形状的截面形状模型化部。

3.根据权利要求2所述的图像处理装置，其中，

所述图像处理部还具备法线再现部，该法线再现部将所述多重反射区域中的表面法线和所述一次反射区域中的表面法线加以统一而生成法线图像。

4.根据权利要求3所述的图像处理装置，其中，

还具有：

设定光源位置的光源方向设定部；

生成在使所述光源位置虚拟变动时的光源变动图像的光源变动图像生成部；

将所述光源变动图像和亮度图像重叠合成地显示的图像显示部。

5.根据权利要求4所述的图像处理装置，其中，

所述光源变动图像生成部使用所述法线图像和物理反射模型而生成所述被摄物体的亮度图像。

6.根据权利要求1至5中任一项所述的图像处理装置，其中，

所述偏振照明部和所述摄像部被安装于内窥镜。

7.根据权利要求1所述的图像处理装置，其中，

所述偏振照明部通过使非偏振光透过偏振面转换元件，而照射偏振面按三种以上依次变化的直线偏振光。

8.根据权利要求1所述的图像处理装置，其中，

所述偏振照明部具有：将非偏振光引导至所述偏振面转换元件的光导向设备。

9.根据权利要求1所述的图像处理装置，其中，

所述摄像部具有黑白摄像元件或彩色摄像元件。

10.根据权利要求1所述的图像处理装置，其中，

还具有亮度算术平均部，其通过对于在将偏振面的角度不同的三种以上的直线偏振光依次照射到被摄物体时由所述摄像部取得的多个亮度图像进行加法算术平均，生成与在非偏振照明下的图像所相当的平均亮度图像。

11.根据权利要求1至10中任一项所述的图像处理装置，其中，

所述变动亮度处理部，基于从所述摄像部输出的像素信号，求得所述偏振面的角度和各像素的亮度值的关系，且生成：按各像素所述亮度值为最大的且由所述偏振面的角度所定义的亮度最大角图像、和按各像素随着所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比率所定义的亮度调制度图像。

12.根据权利要求11所述的图像处理装置，其中，

还具有图像显示部，其将所述亮度最大角图像、所述亮度调制度图像的任意一个与亮度图像重叠合成地显示。

13.根据权利要求11所述的图像处理装置，其中，

所述反射判定部，基于所述亮度最大角图像和所述亮度调制度图像，

在以所述亮度最大角为色相角、以所述亮度调制度为色度的伪彩色图像中，将具有所预先设定的值以上的亮度调制度的像素，作为构成所述多重反射区域的像素进行提取。

14.根据权利要求2所述的图像处理装置，其中，

所述凹陷区域连接部，推定所述凹陷区域的表面法线的方位角。

15.根据权利要求2所述的图像处理装置，其中，

所述截面形状模型化部，对于所述凹陷区域的截面形状以特定的函数进行模型化，

利用所述多重反射区域中的表面法线的方位角大致达到45度的性质，推定所述凹陷区域的任意位置的表面法线的天顶角。

16.根据权利要求1所述的图像处理装置，其中，

所述偏振照明部将偏振面按三种以上依次变化的透过了偏振面转换元件的光，经由中继透镜光学系统，照射到所述被摄物体上。

17.根据权利要求1所述的图像处理装置，其中，

所述偏振照明部具有：使同心圆状态的多个环状照明或面照明光源与偏振面转换元件加以组合的光学系统。

18.根据权利要求1所述的图像处理装置，其中，

所述偏振照明部具有：将具有比摄像系统的光轴更靠内侧朝向的照明系统光轴的面照明光源与偏振面转换元件加以组合的光学系统。

19.根据权利要求1所述的图像处理装置，其中，

所述偏振照明部具有：使消偏振宽带分束器和面照明光源和偏振面转换元件加以组合的光学系统。

20.一种图像处理方法，其中，

包括如下工序：

将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明工序；

所述被摄物体由所述三种以上的直线偏振光分别照射时，依次拍摄所述被摄物体的摄像工序；和

图像处理工序，

并且，所述图像处理工序包括：

处理由所述摄像工序拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态的变动亮度处理工序；

基于所述变动亮度处理工序的结果，判定在所述凹陷区域进行二次反射而形成回光的所述多重反射区域、和在所述被摄物体表面进行一次反射而形成回光的一次反射区域的反射判定工序；

决定在所述被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对的镜像搜索工序；

基于所述多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像的工序。

21.一种内窥镜装置，其中，

具备：

将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明部；

在所述被摄物体由所述三种以上的直线偏振光分别照射时，依次拍摄所述被摄物体的摄像部；

图像处理部；和

基于图像处理部的输出而显示图像的显示部，

并且，所述图像处理部具有：

处理由所述摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态的变动亮度处理部；和

基于所述变动亮度处理部的输出，生成伪彩色图像的伪彩色图像转换部，

并且，所述变动亮度处理部，基于从所述摄像部输出的像素信号，求得所述偏振面的角度与各像素的亮度值的关系，且生成：按各像素所述亮度值为最大的且由所述偏振面的角度所定义的亮度最大角图像、和按各像素随着所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比率所定义的亮度调制度图像，

所述伪彩色图像转换部，基于所述亮度最大角图像和所述亮度调制度图像，生成以所述亮度最大角为色相角、以所述亮度调制度为色度的伪彩色图像，且将所述伪彩色图像和亮度图像进行合成而显示于所述显示部。

Images