CN102742258A - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置，实施方式中的偏振面控制元件(106)由偏振板和液晶元件构成，通过电压，可将非偏振光变换为任意偏振面的线偏振光。同步装置(112)向偏振面控制元件(106)发送偏振面旋转的指示，使照明的偏振面旋转来照射被摄体的同时，向摄像元件(110、)发送摄影开始信号以获取影像，并实施多次该动作。摄像影像的信号经由影像信号线(111)被发送至图像处理器(108)。在图像处理器中，对伴随照明偏振面的变化的所述亮度值的变动进行处理，根据亮度最大角图像求出表面法线的方位角的候选，并根据亮度调制度图像求出表面法线的天顶角，解决方位角的不确定性来生成表面凹槽的法线图像。

Description

图像处理装置

技术领域

本发明涉及能够取得超出了根据由摄像元件获取到的2维亮度图像得到的信息的表面凹凸信息的图像处理装置。

背景技术

在对被半透明的粘膜覆盖的生物体的脏器表面进行照明来进行摄像的内窥镜领域中，需要回避来自表面的正反射(镜面反射)的同时，确认表面的纹理、表面下的血管图像等。因此，提出了使用偏振光照明和偏振光摄像的偏振内窥镜。例如，专利文献1中公开了一种内窥镜，其具备对物体照射特定偏振光成分的光的偏振光照射部、和受光部，生成表示所述物体的表面的形状变化的形状变化图像。该内窥镜的受光部接收来自物体的返回光中的所述特定偏振光成分的光、以及所述返回光中的与所述特定偏振光成分不同的偏振光成分的光。专利文献1中公开的摄像部具备RGB的彩色马赛克、被排列成朝向偏振光透过轴不同的3个方向的偏振片。在专利文献1中，特别是为了观察者容易识别粘膜的表面凹凸，偏振光特性计算部能够计算出偏振光方位并生成表面的倾斜信息的2维分布。

【现有技术文献】

【专利文献】

【专利文献1】JP特开2009-246770号公报

【专利文献2】JP特开平11-313242号公报

【专利文献3】美国专利申请公开第2009/0079982号

【专利文献4】JP特开2007-86720号公报

【专利文献5】国际公开第2008/149489号

【非专利文献】

【非专利文献1】Nicolas Lefaudeux，et.al：″Compact and robust linearStokes polarization camera″，Proc.SPIE，Vol.6972，69720B，Polarization：Measurement，Analysis，and RemoteSensing VIII(2008)；

【非专利文献2】Cary A.Atkinson，Edwin R.hancock：″Recovery ofsurface oroentatin from diffuse polarization″，IEEE Transaction of imageprocessing，Vol 15，No.6，June 2006，PP1653-1664.

【非专利文献3】宮崎大輔、池内克史：「偏光と放物的曲面の解析による透明物体の表面形状計測」、信息処理学会論文誌、Vol.44，No.SIG9、July2003、86-93

发明内容

(发明要解决的技术课题)

根据发明人的实验，在引用文献1公开的这种摄像部中，无法得到每1像素的正确的偏振光信息。此外，因与被摄体的空间频率的干涉，在偏振图像中发生显著的莫尔条纹，进而由于彩色马赛克的一部分被偏振光马赛克化，因此再现的全彩色图像的画质也会劣化。

本发明是为了解决上述技术问题而提出的，其主要目的在于提供一种能够以像素为单位获得偏振光信息、并基于该偏振光信息获取被摄体表面的凹凸信息的图像处理装置。

(用于解决课题的手段)

本发明的图像处理装置具备：具备：偏振光照明部，其对被摄体依次照射偏振面的角度不同的3种以上的线偏振光；摄像部，其在由所述3种以上的线偏振光的每种线偏振光照射所述被摄体时，依次拍摄所述被摄体，此时在不经由偏振片的情况下接收来自所述被摄体的返回光，以获取亮度值；变动亮度处理部，其基于从所述摄像部输出的表示亮度值的信号，求出所述偏振面的角度与各像素的亮度值之间的关系，生成亮度最大角图像及亮度调制度图像，该亮度最大角图像是根据在各像素中所述亮度值成最大的所述偏振面的角度来定义的，该亮度调制度图像是根据在各像素中伴随所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比例来定义的；和法线推测部，其基于所述亮度最大角图像及所述亮度调制度图像，以像素为单位，推测在所述被摄体的表面存在的V字凹槽内的倾斜面的法线。

在某个实施方式中，所述法线推测部具有：方位角处理部，其根据所述亮度最大角图像，求出所述法线的方位角的候选；天顶角处理部，其根据所述亮度调制度图像，求出所述法线的天顶角；和方位角不确定性处理部，其从所述法线的方位角的候选中决定所述法线的一个方位角。

在某个实施方式中，所述图像处理装置具备：法线图像生成部，其生成由所述法线推测部推测出的法线的图像。

在某个实施方式中，所述方位角不确定性处理部基于与非偏振光照明下的图像相当的非偏振亮度图像、或者所述亮度调制度图像，从所述法线的方位角的候选中选择一个方位角。

在某个实施方式中，所述变动亮度处理部对由所述摄像部获取到的多个亮度图像进行相加平均，由此生成所述非偏振亮度图像，并提供给所述方位角不确定性处理部。

在某个实施方式中，所述方位角不确定性处理部基于所述非偏振亮度图像的空间的梯度向量、及所述亮度调制度图像的空间的梯度向量的至少一方，从所述法线的方位角的候选中选择一个方位角。

在某个实施方式中，所述偏振光照明部及所述摄像部被安装在内窥镜中。

在某个实施方式中，所述偏振光照明部使非偏振光透过能改变偏振面的偏振面变换元件，从而照射偏振面依次变化3种以上的线偏振光。

在某个实施方式中，所述偏振光照明的光轴与所述摄像部的光轴之间的角度在15°以下。

在某个实施方式中，所述摄像部具有单色摄像元件或者彩色摄像元件。

在某个实施方式中，所述图像处理装置具备：照明方向设定部，其用于使所述被摄体的照明方向假想地自由改变；和亮度图像生成部，其基于所述法线推测部的输出，生成从所述照明方向进行照明的状态下的所述被摄体的亮度图像。

在某个实施方式中，所述偏振光照明部在输出级具备分光滤波器，该分光滤波器使与所述被摄体的表面的分光反射率特性极小的反射率相当的波段透过。

在某个实施方式中，所述偏振光照明部具备：环型照明光源，其发射非偏振光；和环型偏振面变换元件，其将从所述环型照明光源发射出的非偏振光变换为所述线偏振光，且能够依次改变所述线偏振光的偏振面的角度。

本发明的图像处理方法包括如下步骤：对被摄体依次照射偏振面的角度不同的3种以上的线偏振光；在由所述3种以上的线偏振光的每种线偏振光照射所述被摄体时，依次拍摄所述被摄体，此时在不经由偏振片的情况下接收来自所述被摄体的返回光，以获取亮度值；求出所述偏振面的角度与各像素的亮度值之间的关系，生成亮度最大角图像及亮度调制度图像，该亮度最大角图像是根据在各像素中所述亮度值成最大的所述偏振面的角度来定义的，该亮度调制度图像是根据在各像素中伴随所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比例来定义的；和基于所述亮度最大角图像及所述亮度调制度图像，以像素为单位，推测在所述被摄体的表面存在的V字凹槽内的倾斜面的法线。

本发明的图像处理器接收照射被摄体的线偏振光的偏振面的角度是3种以上不同的角度的多个偏振图像，通过图像处理，以像素为单位，推测在所述被摄体的表面存在的V字凹槽内的倾斜面的法线，其中，所述图像处理器执行如下的步骤：根据所述多个偏振图像求出所述偏振面的角度与各像素的亮度值之间的关系，并生成亮度最大角图像及亮度调制度图像，该亮度最大角图像是根据在各像素中所述亮度值成最大的所述偏振面的角度来定义的，该亮度调制度图像是根据在各像素中伴随所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比例来定义的；和基于所述亮度最大角图像及所述亮度调制度图像，以像素为单位，推测在所述被摄体的表面存在的V字凹槽内的倾斜面的法线。

(发明效果)

在本发明的图像处理装置中，具备向被摄体依次照射偏振面的角度不同的3种以上的线偏振光的偏振光照明部、在由3种以上的线偏振光的各偏振光照射被摄体时依次拍摄被摄体并在此时不经由偏振片的情况下接收来自所述被摄体的返回光以获取亮度值的摄像部，因此，不需要重新开发特别的偏振摄像元件，就能够在获取彩色图像的同时获取与亮度最大角图像、亮度调制度图像相当的信息。并且，根据这些图像可获得表面凹凸的法线信息。由于能够直接利用通常的彩色摄像元件，因此不需要使用高成本的偏振摄像元件，也不会因莫尔条纹等使得画质劣化，能够获取用于识别表面凹凸的信息。

附图说明

图1A是表示本发明的图像处理装置的构成例的图。

图1B是表示偏振光照明的偏振状态的图。

图1C是表示本发明的实施方式1中的图像处理装置的结构的图。

图2是表示偏振面控制元件的动作的图。

图3是偏振面角度的定义图。

图4(a)及(b)分别是表示本发明的实施方式1中可使用的摄像元件的光感知单元配置例的图。

图5是表示用于获取彩色图像和偏振图像的其他图像处理装置的结构的图。

图6是表示图5的图像处理装置中的偏振摄像元件的光感知单元配置的图。

图7A是表示因偏振光照明的偏振面旋转引起的亮度图案图像的变化的图。

图7B是表示因偏振光照明的偏振面旋转引起的亮度图案图像的变化的示意图。

图8(a)及(b)是入射光从正上方入射至被摄体表面之后进行一次反射的图。

图9是表示将横轴设为入射角时的P波和S波的能量的菲涅耳反射率的曲线。

图10A是表示由偏振光照明的偏振面旋转引起的每个像素的亮度变动的曲线。

图10B是表示在图10A的曲线所示的数据获取中用到的采样的表面形状的照片图。

图10C是示意地表示图10B的表面形状的图。

图11(a)是表示偏振光照明的偏振方向的图，(b)是表示由偏振光照明引起的亮度变动的情况的图。

图12(a)及(b)是基于多重反射的偏振光反射光的亮度变动的说明图。

图13(a)、(b)、(c)是从正上方观察被摄体表面的凹槽的图。

图14A是偏振光以ΨI＝0°入射至凹槽时的图。

图14B是在图14A的状态下在与凹槽方位角Ψ平行、垂直的方向上产生反射光的图。

图15是非偏振光入射至凹槽后在与凹槽方位角Ψ平行、垂直的方向上产生反射光的图。

图16是与本发明的实施方式1相关的图像处理器的结构图。

图17是根据与4种偏振光照明对应的偏振光亮度采样来进行余弦函数拟合的图。

图18A是表示表面法线的XYZ成分与方位角Ψ、天顶角θ的关系的图。

图18B是表示表面法线N与光源向量L、视线向量V、2等分向量H之间关系的图。

图19A是在法线的方位角的180°不确定性解決中利用亮度梯度向量的图。

图19B是在法线的方位角的180°不确定性解決中利用亮度调制度梯度向量的图。

图19C是解决法线的方位角Ψ的不确定性的流程图。

图20A是表示入射角θ和基于菲涅耳反射的偏振度的关系的理论值的曲线。

图20B是表示天顶角θ的搜索范围的图。

图20C是决定天顶角θ的流程图。

图21(a)是表示对被摄体使用了双凸透镜板的实验结果的图，(b)是示意性放大表示了(a)的一部分的图。

图22是说明在双凸透镜板的截面处发生1次反射和2次反射的现象的图。

图23是表示双凸透镜板的亮度和亮度调制度YD的实验结果的图。

图24A是表示星型凹槽被摄体例的图。

图24B是示意地表示了图25A的图。

图25是表示星型被摄体的凹槽的法线向量的方位角

推测结果的图。

图26是表示星型被摄体的凹槽的法线向量的天顶角θ推测结果的图。

图27A是表示对星型被摄体的法线图像照射4个方向的照明的图像生成实验结果的图。

图27B是示意地表示图27A的图。

图28是表示本发明的实施方式2中的图像处理装置的结构的图。

图29是表示最优化的分光滤波器的特性的图。

图30A是表示本发明的实施方式3的结构的图。

图30B是表示本发明的实施方式3的外观的图。

具体实施方式

如图1A所示，本发明的图像处理装置的例具备：偏振光照明部120、摄像部140、变动亮度处理部160、法线推测部170。变动亮度处理部160及法线推测部170包含在图像处理部150中。

偏振光照明部120向被摄体100依次照射偏振面的角度不同的3种以上的线偏振光。在本发明的作为摄像对象的被摄体100的表面上，存在多个槽(以下，称为“凹槽”)100a。在被摄体100的例如生物体的脏器表面观察到多个凹槽。线偏振光被存在于被摄体100的表面的凹槽100a反射，入射至摄像部140。摄像部140在通过3种以上的线偏振光分别照射被摄体100时，依次对被摄体100进行摄像，此时，在不经由偏振片的情况下接收来自所述被摄体的返回光，以获取亮度值。

在本说明书中，“返回光”是指从偏振光照明部120照出的光之中被被摄体100的表面反射并入射至摄像部140的光。为了通过来自照明光源120的光来照射存在于被摄体100的表面的凹槽100a的内部，优选偏振光照明部120的光轴与摄像部140的光轴之间的角度不能过大。偏振光照明部120的光轴与摄像部140的光轴之间的角度例如被设定在15°以下。

图1B是示意地表示偏振面的角度不同的3种线偏振光的偏振方向的立体图。图示的3个偏振状态10、12、14分别具有角度不同的偏振面。在示意地表示图1B的各偏振状态10、12、14的环的内部，记载了双向的箭头。该箭头表示规定线偏振光的偏振面的电场向量的振动方向。

图1B中表示右手系的XYZ坐标。在本说明书中，在由摄像部140获取的图像面内设定X轴及Y轴，将Z轴的朝向设定为视线(光轴)方向。线偏振光的偏振面是与振动的电场向量平行的、包含光轴的平面。在采用上述的坐标系的情况下，线偏振光的电场向量的振动方向与XY平面平行。因此，偏振面的角度(ΨI)是由偏振方向(电场向量的振动方向)相对于X轴的正方向形成的角度来规定的。在后面参照图3对该角度ΨI进行更为详细的说明。

在本发明中，从偏振光照明部120向被摄体100依次照射偏振面的角度不同的3种以上的线偏振光，摄像部140在由3种以上的线偏振光分别照射被摄体100时，依次对被摄体100进行摄像，此时，在不经由偏振片的情况下接收来自所述被摄体的返回光，以获取亮度值。

再次参照图1A。变动亮度处理部160基于表示从摄像部140输出的亮度值的信号，求出偏振面的角度与各像素的亮度值之间的关系，生成“亮度最大角图像”及“亮度调制度图像”。在本说明书中，所谓“亮度最大角图像”是针对构成通过摄像得到的图像的各像素，根据亮度值最大的偏振面的角度定义的图像。例如，在由根据某个坐标(x、y)确定的像素P(x、y)的亮度值在由具有角度45°的偏振面的线偏振光照射被摄体100时成最大的情况下，针对该像素P(x、y)设定作为亮度最大角的45°的值。一个“亮度最大角图像”通过对各像素设定这种亮度最大角的值构成。另一方面，所谓“亮度调制度图像”是根据针对各像素随着偏振面的变化而亮度值变动的振幅与亮度平均值之间的比例定义的图像。如果某个像素P(x、y)处的亮度调制度为0.3，则对该像素P(x、y)设定0.3的值。一个“亮度调制度图像”通过对各像素设定这种亮度调制度的值构成。

这样，本说明书中的“图像”不仅仅意味着通过人们的视觉直接识别的亮度图像，还广泛地包括对多个像素的每一个赋予的数值的排列。例如，在显示一个“亮度最大角图像”的情况下，能够按照与对“亮度最大角图像”的各像素设定的亮度最大角的值相应的明度来显示图像。这样表现的“亮度最大角图像”尽管包含可通过人们的视觉识别的明暗图案，但这不同于表示被摄体的亮度的通常的亮度图像。此外，在本说明书中，为了便于说明，有时将表示各种“图像”的数据本身称为“图像”。

图1A所示的法线推测部170基于亮度最大角图像及亮度调制度图像，以像素为单位推测在被摄体100的表面存在的V字凹槽100a内的倾斜面的法线。在从正前方观察V字凹槽100a时，V字凹槽100a内的倾斜面的法线的方位角与V字凹槽100a延伸的方向垂直。在本发明优选的实施方式中，首先决定V字凹槽100a的方向、即V字凹槽100a内的倾斜面的法线的方位角。然后，决定V字凹槽100a内的倾斜面的法线的天顶角。将在后面详细说明本发明中的法线推测部170基于何种原理以像素为单位来推测V字凹槽100a内的倾斜面的法线。

(实施方式1)

图1C是示意地表示本发明的实施方式1中的图像处理装置的整体结构的图。

本图像处理装置具备内窥镜101、控制装置102。内窥镜101具备：具有摄像传感器的前端部113、具有光导向体(light guide)105、和具有影像信号线111的插入部103。内窥镜101的插入部103如图示那样具有左右较长、且能够挠性弯曲的构造。光导向体106即便在弯曲的状态下也能够传送光。再者，在内窥镜中，存在如本实施方式那样具有挠性的插入部103的软性镜、和具有非挠性插入部的硬性镜。作为内窥镜的另一种类型的硬性镜，具有如下构造，即插入部103利用中继光学系统等向位于后方的摄像元件引导返回光。本发明无论对于软性镜还是硬性镜都能够适用。

控制装置102中包括光源104、图像处理器108、同步装置112。从光源104发出的白色非偏振光经由光导向体105被引导至前端部113的偏振面控制元件106。偏振面控制元件106例如由偏振板和液晶元件构成，能够通过电压将非偏振光变换为任意偏振面的线偏振光。

偏振面控制元件106是能够使利用液晶的偏振面旋转的设备。该构成例已经被专利文献2、3以及非专利文献1等公开。偏振面控制元件106例如能够由组合了强非传导性液晶、偏振膜、1/4波长板等的电压施加型液晶设备来构成。偏振面控制元件106将由光源104产生且通过光导向体105之后的非偏振光变换为在任意角度具有偏振面的线偏振光。

同步装置112向偏振面控制元件106发出偏振面旋转的指示，使照明的偏振面进行旋转。该偏振光照明通过照明透镜107后照射被摄体。同步装置112同时向摄像元件110发送摄影开始信号来获取影像，将以上的处理实施多次。

来自被摄体的返回光通过摄影透镜109后在摄像元件110上成像。该摄像元件110可以是单色摄像元件、或者具有彩色马赛克的单板彩色摄像元件。摄像影像的信号经由影像信号线111后到达图像处理器108。

在本实施方式中，通过光源104、光导向体105、偏振面控制元件106、及照明透镜107实现图1A的偏振光照明部120。此外，通过摄影透镜109及摄像元件110实现图1A的摄像部140。通过图像处理器108实现图1A的变动亮度处理部160及法线推测部170。

接下来，参照图2说明偏振面控制元件106的动作。

在偏振面为0°的状态203下拍摄第1图像，在偏振面为45°的状态204下拍摄第2图像，在偏振面为90°的状态205下拍摄第3图像，在偏振面为135°的状态206下拍摄第4图像。该角度也可以是45°以外的角度，只要是180°除以3以上的整数而得到的角度即可。由于在摄像元件为高灵敏度的情况下、或者照明的照度较高的情况下能够缩短曝光时间，因此能够将旋转角设定得更细。

根据上述文献，偏振面的旋转所需的时间存在动作速度为20(ms)左右的较慢类型直至40～100(μsec)左右的高速型。如果使用高速型的液晶且将摄像元件的灵敏度提高至能够实现该时间内的摄像的程度，即便实施4方向的偏振光旋转来进行摄影，也能够使动态影像的摄影具有充分的性能。

由图1C可知，照明透镜107的光轴与摄影透镜109的光轴大致相等。这是为了在通过内窥镜观察时在被摄体上尽量不产生影子。

再者，在内窥镜的通常的使用方法中，多数情况下希望对被摄体照射非偏振光。在本发明中，例如通过对上述第1图像至第4图像的各个偏振图像进行相加，从而能够生成非偏振光的平均亮度图像。通过发明人的实验判断出，若对将偏振面的角度ΨI为等间隔的多个偏振光照射到被摄体时的返回光的图像进行相加，则由于偏振光的效果被抵消，因此结果可获得与使用非偏振光照明同样的效果。

图3是表示偏振光照明中的偏振面的角度ΨI的定义的图。如上述，朝向被摄体设定X-Y坐标系。假定偏振面的角度ΨI是将X轴负方向设定为0°、将Y轴正方向设定为正向的结果。角度ΨI在反射中被保存的情况下，反射光的偏振面的角度与入射光的偏振面的角度相同。当使偏振面的角度ΨI一直增加或者一直减少时，在180°的周期中同一偏振状态会反复出现。即，将偏振面的角度ΨI作为变量的函数是具有180°周期的周期函数。再者，在本说明书中，有时将偏振光照明中的偏振面的角度ΨI称为“入射偏振面角度”。

图4(a)及(b)分别是表示摄像元件110的摄像面的构成例的图。如图4(a)所示，在摄像面上，多个光感知单元(光电二极管)规则地排列成行状及列状。在彩色摄像的情况下，如图4(b)所示，设置透过RGB3种波长的彩色马赛克滤波器。各光感知单元通过光电变换与入射的光量相应地生成电信号。这样，作为摄像元件110，能够利用现有的亮度图像用的摄像元件。在本实施方式中，使照明光成为线偏振光，使照明光的偏振面旋转的同时进行摄像，从而获得被摄体的表面信息。

在同时获取彩色图像和偏振图像的方法中，除了如本发明那样在时间轴上展开偏振光获取的方法以外，还可以考虑在时间轴上展开彩色摄影的所谓的彩色面顺序方式。

图5是表示这种其他结构的图。与图1C的结构的不同在于，来自光源104的非偏振光白色通过旋转彩色滤色器501而成为彩色照明，在时间轴上依次被照射。光导向体105直接透过该彩色照明。尽管来自被摄体的返回光一般成为偏振光，但是摄像元件也可以是单色图像用元件。因此，能够应用利用了例如专利文献4中记载的这种图案偏振片(pattern polarizer)的单色偏振图像摄像元件。

图6是配置了这种图案偏振片的单色偏振图像摄像元件的例子。这种摄像元件可由使用专利文献4中公开的光子结晶的偏振光成像元件构成。

由于该单色偏振摄像元件的图案偏振片具有波长依赖性，因此无法获得RGB的全波段的偏振图像。例如，若将图案偏振片设计成与B波段对应，则只能获得B偏振图像。再有，为了获得偏振图像、特别是偏振度及偏振角度，在偏振光马赛克的空间处理图像中实施2×2单元的空间的一种差分操作，受其影响，在B偏振图像中产生莫尔条纹是无法避免的。本申请的发明人通过实验发现，使用该图案偏振片时的莫尔条纹发生与仅仅基于像素采样的莫尔条纹不同，如上述那样，用于获得偏振图像的空间的图像处理中存在主要原因，与通常的像素采样的莫尔条纹发生相比是非常显著的。由此，在图5的结构中偏振光观察下的画质劣化严重。

在本实施方式中，能够使用通常的摄像元件并以1个像素为单位获取偏振光信息，这样可避免该问题。即，本实施方式中的摄像部接收返回光、输出表示亮度值的信号这些都不经由偏振片。再有，通过彩色RGB各波长成分可获得偏振图像。也不需要成本高的偏振摄像元件。

接下来，说明使偏振光照明的偏振面旋转时的亮度变动。在以下的说明中，被摄体并不是生物体脏器粘膜，而是以塑料、木头等一般材质的物体为例。这是因为粘膜表面的反射基本上是镜面反射，反射并不依赖于被摄体的材质，作为物理现象可视为相同。

图7A及图7B是发明人将表面光滑的陶瓷制杯子和表面具有微细凹凸的木板作为被摄体来进行了偏振光摄像而得到的图像。位于图7A的左侧的2个图像是以入射偏振面角度ΨI＝0°的偏振光照明来照射被摄体时的亮度图像。另一方面，位于图7A的右侧的2个图像是以入射偏振面角度ΨI＝90°的偏振光照明来照射被摄体时的亮度图像。

图7B的4个图像分别是示意地描绘出图7A的4个图像的图。根据位于图7A及图7B的上部的图像可知，在表面光滑的陶瓷中，即便改变偏振光照明的偏振，也几乎没有观测到亮度图案的变化。但是，在存在多个凹凸的木板中，根据位于图7A及图7B的下部的图像可知，当改变偏振光照明的偏振面的角度ΨI时，观测到的亮度图像中有较大的变化。以下，说明这种差异。

图8表示入射角相对于表面801接近于零的偏振光入射并使用照相机来观测直接反射的情况。在图8(a)、(b)中，入射的偏振光的偏振面相差90°。但是，反射光的线偏振光只有光的行进方向有改变，而作为能量的亮度与入射光几乎相同。这是因为如下的原因。

图9表示基于菲涅耳理论的镜面反射率的入射角依赖性的曲线。横轴表示入射角，纵轴表示菲涅耳反射率。假定折射率为NN＝1.8。视为垂直入射的0°～15°附近的入射角度相当于范围901。根据曲线可知，在该入射角范围901中，P波、S波的反射率大致相同。因此，在偏振光大致垂直入射至表面的情况下，相对于表面的P波和S波这种偏振光没有区别，以相同的动作进行反射。再者，该事实在折射率n＝1.4～2.0的自然物体中广泛成立。

如以上，相对于光滑的表面以大致为零的入射角度入射偏振光，在一次反射之后对其进行观测时，由于即便使偏振光照明的偏振面旋转角度ΨI，反射光的能量也没有变化，因此观测到的亮度Y不变。

图10A是表示改变入射至木板的表面的光(偏振光照明)的偏振面的同时拍摄亮度图像时的同一像素的亮度变动的曲线。图10B是成为摄像对象的木板的亮度图像(非偏振光照明时的亮度图像)。图10C是示意地表示图10B示出的木板的表面的凹凸的图。

图11表示在偏振光照明的偏振面的角度ΨI为0°、45°、90°、135°时所得到的亮度图像的特定像素处的亮度Y的变动。根据该曲线可知，亮度Y相对于各偏振光照明的偏振面的角度ΨI周期性变动。木板的表面并不光滑，存在多个凹槽，入射光在此处进行多重反射。因此，认为亮度Y是依赖于照明的偏振角度ΨI而引起的变动。以下详细叙述其原因。

图12表示在表面形成凹槽1201、在其斜面发生2次多重反射的情况。认为该多重反射会在表面的凹凸较多的被摄体表面例如布、木材、人的皮肤、皮等各种自然物中发生。因为第1次和第2次反射的性质较为重要，第3次以后的多重反射的亮度变小，几乎可以忽略，因此仅考虑2次反射。一般，在将反射的性质分为镜面反射和漫反射的情况下，可假设以下的4种现象：

1)第1次：漫反射第2次：镜面反射

2)第1次：漫反射第2次：漫反射

3)第1次：镜面反射第2次：漫反射

4)第1次：镜面反射第2次：镜面反射。

其中，1)和2)通过最初的反射，作为散射光而成为非偏振光，向所有的方向进行反射。但是，通过实验可知，在被摄体被着色而亮度较暗的情况下，该第1次的漫反射成分比较弱。这意味着光向被摄体的内部的浸透较少，根据菲涅耳理论，与其互补的3)、4)的镜面反射的现象突出。此外，如3)那样将第2次考虑为漫反射的情况下，根据其入射和反射的几何学关系，当然4)也会同时发生。在该情况下，无论以偏振度、亮度的哪个为基准，镜面反射都会成为主要的亮度成分。

根据以上，4)的第1次、第2次都将镜面反射这一现象考虑为主要的现象即可。凹槽的斜面的表面并不完全光滑，照明光也不是完全的平行光的情况下，即便说成镜面反射，也是不同于理想的镜面的。因此，根据实验能够确认，即便在不完全满足正反射条件的位置，也能够比较容易地观测、拍摄这2次反射，其偏振光特性是由镜面反射引起的。

接下来，参照图12(a)、(b)。图12(a)及图12(b)中分别表示了在被摄体的表面存在的凹槽1201的一部分。凹槽1201的至少一部分在被摄体表面上向一方向延长。将该延长方向称为“主轴方向”。现实的凹槽1201不需要以直线状延伸，也可以以曲线状延伸。即便是以曲线状延伸，也能够将其一部分进似地视为在主轴方向上延伸的直线状凹槽。

再者，在被摄体表面存在的凹槽1201的截面能够由V字形状来近似。因此，在生物体的脏器表面存在的那种凹槽也能够称为“V字凹槽”。这种V字凹槽的截面并不需要是严格意义上的“V字”，也可以包含曲面。如果大致上具有“V字型”截面的凹槽存在于被摄体表面，则能够应用以下的说明。后面参照的图22所示的那种、被相邻的2个凸面夹着的凹部在垂直于纸面的方向上延伸的构造也是V字凹槽的一例。

如图12(a)所示，相对于凹槽的主轴方向1202垂直入射的偏振光照明是P波。再次参照图9，假设被摄体的凹槽1201的倾斜角为45°左右，向该处从正上方照明入射时，根据菲涅耳反射率的曲线可知，在该入射角范围902中，与S波相比P波的反射率变得极弱。再有，P波在经过1次及2次反射的期间内进一步变弱。另一方面，图12(b)所示的S偏振光经过2次反射后，几乎没有变弱。其结果，在相对于凹槽而成为P波的入射偏振面，反射光在能量方面变得非常弱，亮度下降。另一方面，在成为S波的入射偏振面内，反射光的能量几乎没有衰减，亮度也很高。

如果以上述方式来假定表面凹槽，则能够说明实验中得到的通过入射光的偏振面的旋转而引起的反射光的亮度变化。

本申请的发明人发现：通过凹槽处的偏振光照明的2次反射而得到的亮度Y的变化的函数形状，实质上与入射了非偏振光时进行同等的变动。以下来说明这一点。

图13(a)是从表面的正上方观察被摄体表面的凹槽的图。这相当于从上方观察图12。图13(a)中记载了与摄像图像面平行的X-Y坐标。由Ψ表示在与凹槽1201的主轴方向1202垂直的方向、和X轴的正部分之间所形成的角度。图13(b)表示入射至被摄体的偏振光照明的偏振面的角度ΨI，图13(c)是将图13(a)的内容和图13(b)的内容表示为一个的图。以后，假定通过角度Ψ来指定凹槽的朝向。这与凹槽的主轴的方位角相差90°。

图14A是用于说明为了简单起见设定ΨI＝0从而偏振面与X轴一致时相对于凹槽被分配为垂直和水平方向的入射光能量的图。凹槽的方向由角度Ψ确定。假定入射光如图12所示那样在凹槽内进行2次反射。此时，观测具有某角度

的偏振面的线偏振光的亮度。图14B是表示被观测亮度的线偏振光的角度ψ的图。当将角度处的偏振光亮度设定为I(Ψ、

时，能够通过以下公式来表现。其中，将凹槽的方向(Ψ)及主轴方向(π/2-Ψ)的能量反射率分别设为A及B。

【数学式1】

(式1)

该偏振光亮度I(Ψ、通过式1的变形，由以下的式2表示。根据该式2可知，偏振光亮度I(Ψ、关于

以周期π进行变动。

【数学式2】

(式2)

在此，将入射偏振面角度设为一般的ΨI，而不是0°。根据以上的讨论，入射偏振面角度为ΨI、观测角度为

时的偏振光亮度由以下的公式给出。

【数学式3】

(式3)

由于该式所示的偏振光亮度是在特定方向的观测角度

处观测的偏振光亮度，因此在进行非偏振光的平均亮度的观测时，只要关于观测角度

对式3所示的偏振光亮度进行1周期积分即可。1周期是指180°＝π。通过该积分，涉及

的正弦函数、余弦函数成为零。即，可如以下公式那样关于ΨI以180°的周期函数来表现入射偏振面角ΨI的偏振光入射至以角度Ψ确定的凹槽、并进行2次反射时所观测到的亮度PY(ΨI、Ψ)。

【数学式4】

(式4)

在亮度PY(ΨI、Ψ)为式4所示的ΨI的余弦函数的情况下，亮度PY(ΨI、Ψ)在Ψ＝ΨI处取得最大值。因此，将亮度PY(ΨI、Ψ)取得最大的角度Ψ＝ΨI称为亮度最大角YPH。此外，考虑到余弦函数项在+1～-1间变动，对于变动的振幅，能够考虑亮度变动的调制度。设将该比例称为亮度调制度YD。通过以下的式得到该亮度调制度YD。

【数学式5】

$\mathrm{YD}=\frac{\mathrm{MAX}-\mathrm{MIN}}{\mathrm{MAX}+\mathrm{MIN}}=\frac{B-A}{A+B}$ (式5)

再者，亮度最大角YPH及亮度调制度YD以像素为单位给出。因此，将对构成图像的各像素设定了亮度最大角YPH的图像称为“亮度最大角图像YPH”。同样，将对构成图像的各像素设定了亮度调制度YD的图像称为“亮度调制度图像YD”。

尽管该亮度最大角YPH及亮度调制度YD分别是与通常的偏振光观测中的偏振光主轴角及偏振度对应的量，但是其量的关系并不明确。因此，为了明确两者的关系，研究非偏振光的照明入射至凹槽时的2次反射的偏振状态。

图15是非偏振光1501入射至凹槽时的图。在非偏振光1501入射至具有Ψ角度的凹槽的情况下，由于认为能量在凹槽的主轴方向及其垂直方向上被均等地分配，因此乘以能量反射率A、B而得到的能量向凹槽的主轴方向及其垂直方向射出。在以角度进行了偏振光观测的情况下，根据图12的说明可知，偏振光亮度在凹槽的主轴方向上取得最大值(反射率B)，在主轴的垂直方向上取得最小值(反射率A)。通过以下的式6计算出偏振度DOP。

【数学式6】

$\mathrm{DOP}=\frac{\mathrm{MAX}-\mathrm{MIN}}{\mathrm{MAX}+\mathrm{MIN}}=\frac{B-A}{A+B}$ (式6)

根据上述的讨论判断出，使偏振光照明下的偏振面的角度ΨI旋转时的亮度变动的相位角、即亮度最大角YPH与非偏振光照明时的偏振光主轴相一致。同样，也判断出使偏振光照明下的偏振面的角度ΨI旋转时的亮度变动的振幅、即亮度调制度YD与非偏振光照明时的偏振度DOP相一致。由此，能够将以非偏振光的照明为前提的菲涅耳反射理论和表面法的理论应用于本发明中的偏振光亮度的变动。

本实施方式中的图像处理器108获取上述的亮度最大角图像YPH及亮度调制度图像YD，从而获取被摄体的表面凹凸信息。接下来，参照图16说明图像处理器108的构成例和动作。

图16是表示图像处理器108的结构的框图。将照明的入射偏振面角度ΨI改变为0°、45°、90°、135°，以各个入射偏振面角度ΨI的偏振光来照射被摄体的同时，获取由4幅亮度图像构成的亮度图像组1601。这样拍摄的4幅亮度图像组1601被输入至图像处理器108的变动亮度处理部160。

如上述，使偏振光照明的偏振面旋转时的亮度变动成为周期180°的余弦函数。在变动亮度处理部160中，将亮度变动拟合为余弦函数。将照明的偏振面的角度ΨI作为变量，以如下方式表现表示亮度变动的Y(ΨI)。

【数学式7】

Y(ψ_I)＝Y_{ψI_ave}+A_Icos(2(ψ_I-ψ₀))    (式7)

图17表示该亮度变动的余弦函数，表示上述的振幅AI、相位Ψo、平均值Y_{ΨI_ave}。为了简单起见，4个采样点被描绘为正好处于该余弦函数上。

根据4个等间隔的角度采样拟合余弦函数来推测上述值的方法如下。首先，通过以下的式求出非偏振光照明下的原图像的亮度Y_{ΨI_ave}。该式的右边表示将从在ΨI＝0°、45°、90°、135°的偏振光照明下照射的被摄体得到的4个亮度图像相加、并平均化后的结果。亮度Y_{ΨI_ave}近似再现了非偏振光照明下的亮度图像，能够用作内窥镜的通常观察图像。因此，能够将亮度Y_{ΨI_ave}称为“非偏振光平均亮度图像”。

【数学式8】

(式8)

接下来，根据所采样的亮度对余弦函数进行利用了最小2乘误差的最佳拟合。在此，根据0°、45°、90°、135°这4个方向的采样来实施。由于余弦函数由振幅、相位、平均值这3种信息来决定，因此为了解决这些信息，只要是3点采样以上即可，实际上也可以是多个点。但是，存在45°采样时具有最佳拟合较为简单的性质。

首先，以如下方式定义偏振角度为0°、45°(＝π/4)、90°(＝π/2)、135°(＝3π/4)的亮度的2乘误差E。

【数学式9】

$E={(Y({\mathrm{\ψ}}_I=0)-I_0)}^2+{(Y({\mathrm{\ψ}}_I=\frac{\mathrm{\π}}{4})-I_1)}^2+{(Y({\mathrm{\ψ}}_I=\frac{\mathrm{\π}}{2})-I_2)}^2+{(Y({\mathrm{\ψ}}_I=\frac{3\mathrm{\π}}{4})-I_3)}^2$

$={(Y_{\mathrm{\ψI}\_\mathrm{AVE}}+A_I\cos \left({2\mathrm{\ψ}}_O\right)-I_0)}^2+{(Y_{\mathrm{\ψI}\_\mathrm{AVE}}+A_I\sin \left({2\mathrm{\ψ}}_O\right)-I_1)}^2+$

${(Y_{\mathrm{\ψI}\_\mathrm{AVE}}-A_I\cos \left({2\mathrm{\ψ}}_O\right)-I_2)}^2+{(Y_{\mathrm{\ψI}\_\mathrm{AVE}}-A_I\sin \left({2\mathrm{\ψ}}_O\right)-I_3)}^2$ (式9)

通过以下式求得使该2乘误差最小化的余弦函数的相位Ψo。

【数学式10】

$\frac{\∂E}{{\∂\mathrm{\ψ}}_O}={4A}_I[(I_3-I_1)\cos \left({2\mathrm{\ψ}}_O\right)+(I_0-I_2)\sin \left({2\mathrm{\ψ}}_O\right)]=0$ (式10)

根据该式，其解如下。

【数学式11】

$\left\{\begin{array}{c}{{\mathrm{\ψ}}_O}^{(+)}=\frac{1}{2}{\cos }^{-1}\left(\sqrt{\frac{c^2}{a^2+c^2}}\right)\\ {{\mathrm{\ψ}}_O}^{(-)}=\frac{1}{2}{\cos }^{-1}(-\sqrt{\frac{c^2}{a^2+c^2}})\end{array}\right.$ (式11)

【数学式12】

$\left\{\begin{array}{c}a\≡(I_3-I_1)\\ c\≡(I_0-I_2)\end{array}\right.$ (式12)

在反三角函数等数学函数中一般有如下的限制。

【数学式13】

0≤acos(x)≤π    (式13)

当考虑该角度范围时，根据a和c的大小关系进行区分，从而能够以如下方式计算出取得最小值的角度和取得最大值的角度。

【数学式14】

(式14)

将取该最大值的Ψ0max的值直接设定为亮度最大角图像YPH即可。

【数学式15】

YPH＝ψ_Omax    (式15)

接下来，求出振幅的最大值和最小值。首先，为了求出振幅AI，利用以下的式进行2乘误差的最小化。

【数学式16】

$\frac{\∂E}{\∂A_I}=0$ (式16)

【数学式17】

$A_I=\frac{1}{2}[(I_0-I_2)\cos \left({2\mathrm{\ψ}}_O\right)-(I_3-I_1)\sin \left({2\mathrm{\ψ}}_O\right)]$ (式17)

利用振幅A_I，得到如下的振幅的最大值和最小值。

【数学式18】

Y_max＝Y_{ψI_AVE}+A_I

Y_min＝Y_{ψI_AVE}-A_I    (式18)

因此，在(式5)中将(式18)的振幅最大值Ymax和最小值Ymin分别用作MAX、MIN，求出亮度调制度图像YD。

再者，对余弦函数的一般最佳拟合在3点以上的采样下才可进行，其方法例如在专利文献5中有记载。

通过以上处理获得亮度最大角图像YPH和亮度调制度图像YD。在图16中，对亮度最大角图像YPH赋予参照符号“YPH”，对亮度调制度图像YD赋予参照符号“YPH”。如图16所示，将亮度最大角图像YPH发送至方位角处理部1604，将亮度调制度图像YD发送至天顶角处理部1606。

图18A是表示确定被摄体的表面的法线方向的2个角度、即方位角和天顶角的图。法线向量是3维向量，但长度被归一化为1。因此，法线向量的自由度为2，在以角度表现时，由画面内的方位角Ψ、相对于视线的天顶角θ来表现。在通常的右手系中，在图像内设定X-Y轴，Z轴的朝向为视线(光轴)方向。法线的3个分量(Nx，Ny，Nz)之间的关系如图所示。如果求出了方位角Ψ和天顶角θ，则该点处的表面法线如下。

【数学式19】

N_X＝cosψsinθ

N_Y＝sinψsinθ    (式19)

N_Z＝cosθ

在方位角处理部1604中，利用亮度最大角图像YPH来计算方位角Ψ。在此，根据上述讨论，参考与入射非偏振光时的镜面反射相关的菲涅耳理论。在该理论中，如非专利文献2中那样入射非偏振光，并利用照相机前的偏振板对其进行偏振光观测。此时，在被摄体表面进行了镜面反射的反射光中P波衰减，S波变得突出。因此，凹槽表面的法线的方位角Ψ与亮度最小的偏振面的角度相等。由该方位角Ψ确定的方向在亮度最大的偏振面上与直角的方向一致。若将此应用于本发明的偏振光照明，则凹槽表面的法线的方位角Ψ在偏振光亮度最大角的方向上与直角方向一致。即，能够利用亮度最大角图像YPH来求出方位角Ψ。

在此成为问题的是如非专利文献2中所介绍的“180°不确定”那样，在该方位角Ψ中存在180°的不确定性。即，作为凹槽表面的法线的方位角Ψ，求出相差180°的2个候选。在此，将从这2个候选中选择一个的处理称为“不确定性的处理”。

在图16所示的方位角不确定性处理部1607中，为了进行不确定性的处理，使用非偏振亮度图像1612、或者亮度调制度亮度调制度图像YD。

接下来，参照图19A及图19B，说明方位角不确定性处理部1607的处理内容。图19A示出凹槽的亮度图像及截面结构1902。由于凹槽比各个像素的尺寸大，因此在一个凹槽内存在亮度分布。再者，凹槽的截面结构1902具有2个倾斜面，倾斜面的倾斜角度在30～60°的范围内。

当照明光大致从正上方照射凹槽时，在亮度图像中，在以网点示出的区域1903中亮度值较高(明亮)，在凹槽的底边附近区域1913中亮度值较低(发暗)。即，在凹槽的内部，亮度值具有梯度。若对在非偏振光照明下得到的亮度Y_{ΨI_ave}实施空间微分处理，来计算亮度值的梯度向量，则得到亮度梯度向量1904、1905。梯度向量1904、1905是针对凹槽内的2个倾斜面分别计算出的。

另一方面，由于利用亮度最大角图像YPH求出的方位角Ψ具有180°的不确定性，因此在A点处得到2个候选1906a、1906b，在B点处得到2个候选1907a、1907b。在此，这些候选向量在图19A中被显示成与凹槽的正确朝向有些许偏差，但这是为了容易理解以下的角度差说明而设定的，本质上并非如此。

并且，当采用相对于亮度梯度向量的角度差较大的方位角Ψ时，在A点处采用候选1906a，在B点处采用候选1907a。因此，在A点选择以向下的箭头表示的候选1906a的方位角Ψ，在B点正确求出以向上的箭头表示的候选1907a的方位角Ψ。

接下来，参照图19B说明根据亮度调制度图像YD从2个候选中选择一个的例子。

当照明光从大致正上方照射凹槽时，由于凹槽内的2次反射，在凹槽底面附近处偏振度DOP较高。根据上述理论，使偏振光照明旋转时的亮度调制度值也表现出同样的举动。因此，在亮度调制度图像YD中，在凹槽底边附近1913的区域1908中值(亮度调制度)较大，在凹槽的外侧处值较低。因此，当计算亮度调制度图像YD的梯度向量时，计算亮度调制度梯度向量1909、1910。另一方面，由于使用亮度最大角图像YPH求出的方位角Ψ具有180°的不确定性，因此在A点处得到2个候选1911a、1911b，在B点处得到2个候选1912a、1912b。在此，在使用亮度调制度的梯度向量与亮度最大角的角度差的评价值，从而采用角度差较小的方位角Ψ时，在A点处采用候选1911a，在B点处采用候选1912a。再者，在图19A，图19B中，为了方便起见，描绘成梯度向量的计算位置与法线向量的计算位置不同。在实际的图像处理中，梯度向量是在推测法线向量的A点、B点的位置处正确计算的。

再者，在以上的说明中，给出一种错觉是即便单独使用亮度梯度向量、或者亮度调制度向量也可正确地求出法线向量，但实际上这些信息包含了在空间微分中产生的诸多噪声，单独使用是完全不具有可靠性的。需要注意的是，与使用了本发明的偏振光照明的亮度最大角图像一起使用才开始成为有用的信息。

图19C是方位角的决定顺序的流程图。

在步骤S19C01中，通过使亮度最大角图像YPH的值(亮度最大角)旋转90°，从而求出凹槽的方位角Ψ的候选Ψ1。在步骤S19C02中，求出使候选Ψ1旋转180°之后的另一个方位角候选Ψ2。在步骤S19C03中，计算根据亮度梯度、或者亮度调制度的任意一个求出的梯度角(gradangle)和候选Ψ1、Ψ2之间的角度差的评价值Δ1、Δ2。

【数学式20】

Δ1＝min(|ψ1-gradangle|，360-|ψ1-gradangle|)    (式20)

Δ2＝min(|ψ2-gradangle|，360-|ψ2-gradangle|)

只要根据被摄体的表面凹凸的性质来决定是使用亮度梯度还是使用亮度调制度即可。但是，实际中，亮度的变动直接表现表面法线的简单状况很少。因多重反射、其他的工程影响，亮度受到法线以外的影响而出现各种变化。相比之下，亮度调制度图像具有可稳定获取的特征，并且如本发明中所公开的那样，如果在偏振光照明方面下工夫，则在进行观测的摄像元件侧无需深究就能够轻而易举地获取亮度调制度图像，因此其具有较大的有效性。

在步骤S19C04中，选择是使用亮度梯度还是使用亮度调制度梯度。在前者的情况下，设定步骤S19C05的条件来选择Ψ1、Ψ2之中角度差较大的一方，以决定Ψ。另一方面，在后者的情况下，设定步骤S19C06的条件，从而选择Ψ1、Ψ2之中角度差较小的一方，以决定Ψ。

在天顶角处理部1606中，使用亮度调制度图像YD来计算天顶角θ。在现阶段，还不存在正确地在理论上解释了表面凹槽的2次反射中偏振度与天顶角θ之间关系的现有技术。在本实施方式中，采用入射了非偏振光时的菲涅耳理论。在该情况下，如非专利文献2中记载的那样，入射非偏振光，利用照相机前的偏振板来对其进行偏振光观测。此时，若计算在被摄体表面处进行了镜面反射的反射光的偏振度DOP，则在表面的法线的天顶角与该DOP之间使用了折射率NN的菲涅耳理论的曲线关系成立。将其应用于本发明的偏振光照明时，可代替DOP而使用亮度调制度图像YD值来决定天顶角。其中，如非专利文献2及非专利文献3中所说明的那样，该天顶角中存在夹杂着布鲁斯特角(Brewster′s angle)的不确定性。

说明该不确定性。图20A是在1.5至3.0之间改变折射率NN的同时描绘了照明的入射角与偏振度DOP的关系的图。入射角直接是表面的天顶角。当增大折射率时，最大位置在角度较大的方向上从55°移动至70°附近。在非偏振光的入射光以入射角θ入射至被摄体表面、且以出射角θ进行镜面反射的情况下，使用材质的折射率NN，根据以下的菲涅耳反射的式来计算偏振度DOP。

【数学式21】

$\mathrm{DOP}=\frac{{\mathrm{FF}}_S-{\mathrm{FF}}_P}{{\mathrm{FF}}_S+{\mathrm{FF}}_P}$

${\mathrm{FF}}_S={\left(\frac{\cos \mathrm{\θ}-\sqrt{{\left(\mathrm{NN}\right)}^2-{\sin }^2\mathrm{\θ}}}{\cos \mathrm{\θ}+\sqrt{{\left(\mathrm{NN}\right)}^2-{\sin }^2\mathrm{\θ}}}\right)}^2$ (式21)

${\mathrm{FF}}_P={\left(\frac{-{\left(\mathrm{NN}\right)}^2\cos \mathrm{\θ}+\sqrt{{\left(\mathrm{NN}\right)}^2-{\sin }^2\mathrm{\θ}}}{{\left(\mathrm{NN}\right)}^2\cos \mathrm{\θ}+\sqrt{{\left(\mathrm{NN}\right)}^2-{\sin }^2\mathrm{\θ}}}\right)}^2$

上述的不确定性是指：在根据DOP求出天顶角的情况下，夹着曲线最大的角度、即布鲁斯特角而推测出2个角度，从而无法决定为其中一方。

图20B是表示解决夹着该布鲁斯特角的不确定性的方法的图。假定由内窥镜观察的生物体内的表面粘膜引起的凹槽倾斜角大致为与布鲁斯特角相当的55°以下。并且，将搜索范围限制在图20B所示的0°至布鲁斯特角，由此来解决困难。

图20C是用于决定天顶角的流程图。

在步骤S20C01中，设定偏振度差的最大值MINDIF，在步骤S20C02中，根据折射率NN，理论上求出布鲁斯特角θ_B。在步骤S20C03中将θ设置为0°，在S20C04中如果小于布鲁斯特角，则进行以后的计算。首先，在步骤S20C05中，求出(式21)所示的理论上的偏振度DOP，在步骤S20C06中，计算该DOP与亮度调制度YD的差分绝对值DIF。在步骤S20C07中，在该DIF小于MINDIF的情况下，将θ_MIN设置为该θ，对MINDIF设置为DIF。并且，在S20C09中，使θ的角度一度一度地增加来继续进行循环处理。在步骤S20C04中脱离了该循环处理的情况下，将θ_MIN决定为天顶角。

在法线图像生成部1608中，根据所求得的方位角和天顶角θ，利用(式19)求出照相机坐标系中的被摄体表面的法线向量(Nx，Ny，Nz)，将其作为2维的法线图像。

在亮度图像生成部1609中，针对求出的法线图像，通过给出照相机视点方向和照明光源方向，从而使用物理反射典型公式来生成亮度图像。在此，作为很好地表现被摄体的镜面反射的典型公式，使用Cook-Torrance模型。据此，亮度Is可由以下的公式表示。

【数学式22】

$I_S=K\frac{\mathrm{FG}\frac{1}{{4m}^2{\cos }^4\mathrm{\α}}\exp (-\frac{{\tan }^2\mathrm{\α}}{m^2})}{\cos {\mathrm{\θ}}_r}$ (式22)

图18B是表示使用Cook-Torrance模型时的向量与角度之间关系的图，描绘了表面法线N、光源向量L、视点向量V。当使用光源向量L和视点向量V的2等分向量H时，上式中的α是2等分向量H与法线N所成的角度，θr是视线向量与法线N所成的角度。菲涅耳系数F及几何衰减率G由以下的式表示。

【数学式23】

$F=\frac{1}{2}\frac{{(g-c)}^2}{{(g+c)}^2}(1+\frac{{[c(g+c)-1]}^2}{{[c(g-c)+1]}^2})$ (式23)

【数学式24】

$G=\min \{1,\frac{2(N\·H)(N\·V)}{(V\·H)},\frac{2(N\·H)(N\·L)}{(V\·H)}\}$ (式24)

此外，系数K是与入射照度相关的系数。如果使用该Cook-Torrance模型，则可根据表面法线图像生成亮度图像，为此，除了折射率NN以外，还需要提供视线向量V、光源向量L等几何学的设定。

照明方向设定部1610是设定该光源向量的要素，在内窥镜诊断等中由进行观察的用户、即医生自由设定。

通过以上的处理，根据2维图像来推测表面的凹凸，作为表面法线图像，生成反映到亮度的亮度图像1611。因为该图像是基于推测出的法线图像而得到的，因此能够在计算机上自由地改变照明变更，能够解决作为内窥镜缺点之一的因无法变更照明位置而难以观察表面凹凸的这一技术问题。

再者，图16所示的各构成要素分别可以由特别的硬件实现，也可以由硬件及软件的组合来实现。在本实施方式中，可通过处理器实现上述的构成要素的至少一部分。此外，本实施方式的图像处理部的动作可由图像处理部的存储器内存储的计算机程序来规定。这种计算机程序是使图像处理装置中设置的处理器执行各种步骤(图19C、图20C)的指令集。

图21(a)是表示本实施方式的表面法线推测的实验结果的图。被摄体是具有半圆拱型截面的双凸透镜板。由于被摄体支配着镜面反射，因此被涂抹成红色系统、或者巧克力色系统。对该被摄体实施了上述的处理。

图21(a)的上部图像表示图16的非偏振亮度图像1612，图21(a)的下部图像表示图16的亮度调制度图像YD。在非偏振亮度图像中，白色的(明度较高)像素表示高亮度，但在亮度调制度图像中，暗(明度较低)的像素表示高的值(调制度)。图21(b)是示意地描绘出图21(a)的被四角形包围的一部分的图。在亮度图像中，相当于凸部2101的高亮度部分(白色部分2104)和相当于凹部2102的低亮度部分(斜线部分2103)反复。另一方面，在亮度调制度图像中，亮度调制度高的部分(网点部分2105)和低的部分(白色部分2106)进行反复。并且，低亮度部分对应于高的亮度调制度。

图22是图21所示的被摄体(双凸板)的截面图。在双凸板中，凹凸是周期性存在的，照明光在凸部2201处反射一次之后被照相机摄像。形成凸部2201的像的光是1次反射，成为非常高的亮度。由于凹部2202形成有凹槽，因此光进行2次反射之后被照相机摄像。由此，被凹部2202反射之后的光的像成为略低的亮度。

图23表示图21中的亮度及亮度调制度的分布图。图中的曲线2301表示亮度，曲线2302表示亮度调制度。可知在低亮度的部分(曲线2301的凹部)亮度调制度会增加。

图24是表示其他被摄体的俯视图。该被摄体是在塑料板上加工出A至I的8个槽、并进行涂抹之后的结果。图24A是表示根据实物的被摄体所得到的亮度图像的照片的图，图24B是其示意图。平面内的槽彼此的方位角度间隔为22.5°。

图25和图26分别是针对图24的被摄体的A至I的各凹槽实施图16的方位角不确定性处理部1607及天顶角处理部1606来推测出方位角Ψ、天顶角θ的结果。赋予网点的曲线表示正解，赋予斜线的曲线表示推测结果。再者，正解是使用激光位移计来测量的。

观察该结果可知，在图25的方位角推测结果中，以大致10°左右的误差进行了推测。另一方面，图26的天顶角的推测中误差略大。

图27是对图24的被摄体实施图16的全部处理之后的亮度图像的结果。在图27A中，(a)是使照明光源的位置从右侧朝向画面照射时的图像，(b)是从左侧朝向画面照射时的图像，(c)是从下侧朝向画面照射时的图像，(d)是从上侧朝向画面照射时的图像。图27B表示其示意图，(a)至(d)分别对应于图所定的(a)至(d)。可知由A至I所指定的凹槽因照明方向的变化，凹槽被清楚地表现。因此，针对图24A所示的这种只能从正面进行照明的内窥镜图像能够提供清楚的凹凸图像。

(实施方式2)

接下来，参照图28说明本发明的图像处理装置的第2实施方式。

本实施方式的图像处理装置具备与图1C基本相同的结构，不同点在于追加了滤色器2801。

根据发明人的实验可知，可凹槽中观测到的偏振状态因被摄体的颜色而出现很大的变化。即，通过波长520(nm)附近的窄带观测可知，将巧克力色、红色等被摄体作为整体成为较暗的图像，在凹槽中能够观测非常强的偏振光，相对于此，在黄色系统色中，作为整体可得到明亮的图像，但凹槽中的偏振光非常弱。推测其原因在于，在明亮的颜色中漫反射成分处于支配地位，2次反射的镜面反射几乎消失。在本实施方式中，为了观测强的偏振光，使用与被摄体的分光反射率较低的波段一致的偏振光照明光。例如，在上述黄色的情况下，使用作为补色的蓝色系统的照明色，可进行较暗的图像的摄影。希望照明光的波段在考虑被摄体的分光反射率的情况下进行决定。

图29是表示内窥镜观察中的作为代表性脏器的大肠粘膜的分光反射率的例子的图。大肠粘膜在520-600(nm)处具有较强的吸收。因此，如果使分光滤波器的特性与该低反射率区域相一致，从而使其具有2801的特性，则在该波段内，以比较暗的颜色进行摄影，因此适合于本发明中叙述的基于偏振光的表面凹槽的观察。为了该目的，滤波器2801被设置在光源104的输出级。再者，也可以将滤波器2801为通常的彩色图像观察的情况来加以利用。此外，彩色滤色器也可以设置在摄像侧110之前。

(实施方式3)

以下，参照图30A及图30B来说明本发明的图像处理装置的第2实施方式。本实施方式的图像处理装置不仅仅适用于内窥镜，还是适用于皮肤科、牙科等医疗用途的带有照明的照相机、指纹摄影装置、表面检测装置等装置。

图30A表示本实施方式的一构成例。本实施方式的图像处理装置取代图1C的内窥镜101，具备装置400。该装置400具有：环形照明4001、环状偏振面控制元件4002、摄影透镜4003、摄像元件4004。

图30B是表示图30A的示意外观的图。在本实施方式中，在环形照明4001上设置环状偏振面控制元件4002。从光纤等光导向体向环形照明4001及偏振面控制元件4002输入非偏振光，如图2所示那样，使照明的偏振面旋转至例如0°、45°、90°、135°。

再者，环形照明4001也可以是不使用来自光源的光导向体的基于LED等的自发光光源。此外，如果摄像光轴与照明光的光轴所成的角度在15°以下，则也可以是环形照明以外的频闪发光照明。通过使用环形照明，即便是使用一个照明灯难以观察的被摄体，也能够高精度地实施表面凹凸、凹槽的推测。特别是，因为照明光的光轴与摄影光轴大致相同、且被均匀化，因此适用于产品表面的伤痕或凹凸的检查装置、指纹摄影装置、皮肤科用的皮肤凹凸摄影装置等。摄影元件4004、未图示的图像处理器可使用实施方式1中的图像处理器。

再者，在上述实施方式中，将照明的线偏振光的旋转角度的间隔设定为45°，但该角度也未必要相同，可以彼此不同。此外，该角度的间隔也并不限定于45°。不过，为了决定余弦函数的3个参数，需要3个以上的采样。即，照明的线偏振光的旋转角度需要进行3种以上的变动。在采样角度为3种的情况下，例如可选择0°、60°、120°的3个角度。

(产业上的可利用性)

本发明能够广泛应用于医疗用内窥镜照相机、皮肤科、牙科、内科、外科等医疗用途的照相机、工业用内窥镜照相机、指纹摄像装置、表面检查装置等需要进行被摄体的表面凹凸的观察、检查、识别的图像处理领域。

符号说明

101  内窥镜

102  控制装置

103  插入部

104  光源

105  光导向体

106  偏振面控制元件

107  照明透镜

108  图像处理器

109  摄影透镜

110  摄像元件

111  影像信号线

112  同步装置

113  前端部

120  偏振光照明部

140  摄像部

150  图像处理部

160  变动处理部

170  法线推测部

Claims (15)

1.一种图像处理装置，其具备：

偏振光照明部，其对被摄体依次照射偏振面的角度不同的3种以上的线偏振光；

摄像部，其在由所述3种以上的线偏振光的每种线偏振光照射所述被摄体时，依次拍摄所述被摄体，此时在不经由偏振片的情况下接收来自所述被摄体的返回光，以获取亮度值；

变动亮度处理部，其基于从所述摄像部输出的表示亮度值的信号，求出所述偏振面的角度与各像素的亮度值之间的关系，生成亮度最大角图像及亮度调制度图像，该亮度最大角图像是根据在各像素中所述亮度值成最大的所述偏振面的角度来定义的，该亮度调制度图像是根据在各像素中伴随所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比例来定义的；和

法线推测部，其基于所述亮度最大角图像及所述亮度调制度图像，以像素为单位，推测在所述被摄体的表面存在的V字凹槽内的倾斜面的法线。

2.根据权利要求1所述的图像处理装置，其中，

所述法线推测部具有：

方位角处理部，其根据所述亮度最大角图像，求出所述法线的方位角的候选；

天顶角处理部，其根据所述亮度调制度图像，求出所述法线的天顶角；和

方位角不确定性处理部，其从所述法线的方位角的候选中决定所述法线的一个方位角。

3.根据权利要求1或2所述的图像处理装置，其中，

所述图像处理装置具备：法线图像生成部，其生成由所述法线推测部推测出的法线的图像。

4.根据权利要求1至3的任一项所述的图像处理装置，其中，

所述方位角不确定性处理部基于与非偏振光照明下的图像相当的非偏振亮度图像、或者所述亮度调制度图像，从所述法线的方位角的候选中选择一个方位角。

5.根据权利要求4所述的图像处理装置，其中，

所述变动亮度处理部对由所述摄像部获取到的多个亮度图像进行相加平均，由此生成所述非偏振亮度图像，并提供给所述方位角不确定性处理部。

6.根据权利要求4或5所述的图像处理装置，其中，

所述方位角不确定性处理部基于所述非偏振亮度图像的空间的梯度向量、及所述亮度调制度图像的空间的梯度向量的至少一方，从所述法线的方位角的候选中选择一个方位角。

7.根据权利要求1所述的图像处理装置，其中，

所述偏振光照明部及所述摄像部被安装在内窥镜中。

8.根据权利要求1至7的任一项所述的图像处理装置，其中，

所述偏振光照明部使非偏振光透过能改变偏振面的偏振面变换元件，从而照射偏振面依次变化3种以上的线偏振光。

9.根据权利要求1至8的任一项所述的图像处理装置，其中，

所述偏振光照明的光轴与所述摄像部的光轴之间的角度在15°以下。

10.根据权利要求1至9的任一项所述的图像处理装置，其中，

所述摄像部具有单色摄像元件或者彩色摄像元件。

11.根据权利要求1至10的任一项所述的图像处理装置，其中，

所述图像处理装置具备：

照明方向设定部，其用于使所述被摄体的照明方向假想地自由改变；和

亮度图像生成部，其基于所述法线推测部的输出，生成从所述照明方向进行照明的状态下的所述被摄体的亮度图像。

12.根据权利要求1至11的任一项所述的图像处理装置，其中，

所述偏振光照明部在输出级具备分光滤波器，该分光滤波器使与所述被摄体的表面的分光反射率特性极小的反射率相当的波段透过。

13.根据权利要求1至12的任一项所述的图像处理装置，其中，

所述偏振光照明部具备：

环型照明光源，其发射非偏振光；和

环型偏振面变换元件，其将从所述环型照明光源发射出的非偏振光变换为所述线偏振光，且能够依次改变所述线偏振光的偏振面的角度。

14.一种图像处理方法，其包括如下步骤：

对被摄体依次照射偏振面的角度不同的3种以上的线偏振光；

在由所述3种以上的线偏振光的每种线偏振光照射所述被摄体时，依次拍摄所述被摄体，此时在不经由偏振片的情况下接收来自所述被摄体的返回光，以获取亮度值；

求出所述偏振面的角度与各像素的亮度值之间的关系，生成亮度最大角图像及亮度调制度图像，该亮度最大角图像是根据在各像素中所述亮度值成最大的所述偏振面的角度来定义的，该亮度调制度图像是根据在各像素中伴随所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比例来定义的；和

基于所述亮度最大角图像及所述亮度调制度图像，以像素为单位，推测在所述被摄体的表面存在的V字凹槽内的倾斜面的法线。

15.一种图像处理器，接收照射被摄体的线偏振光的偏振面的角度是3种以上不同的角度的多个偏振图像，通过图像处理，以像素为单位，推测在所述被摄体的表面存在的V字凹槽内的倾斜面的法线，其中，所述图像处理器执行如下的步骤：

根据所述多个偏振图像求出所述偏振面的角度与各像素的亮度值之间的关系，并生成亮度最大角图像及亮度调制度图像，该亮度最大角图像是根据在各像素中所述亮度值成最大的所述偏振面的角度来定义的，该亮度调制度图像是根据在各像素中伴随所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比例来定义的；和

基于所述亮度最大角图像及所述亮度调制度图像，以像素为单位，推测在所述被摄体的表面存在的V字凹槽内的倾斜面的法线。

Images