CN102356628A

CN102356628A - 图像处理装置

Info

Publication number: CN102356628A
Application number: CN2010800121557A
Authority: CN
Inventors: 金森克洋
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2009-12-08
Filing date: 2010-10-27
Publication date: 2012-02-15
Anticipated expiration: 2030-10-27
Also published as: EP2512124A1; JP4762369B2; JPWO2011070708A1; US8654246B2; CN102356628B; WO2011070708A1; EP2512124B1; EP2512124A4; US20110267483A1

Abstract

本发明的实施方式的图像处理装置(101)，具有偏振光光源(102)、偏振照相机(103)。在拍摄被摄物体(104)时，使偏振面旋转的偏振照明光(105)被照射到被摄物体上。由被摄物体表面反射的偏振反射光(106)会到达偏振照相机(103)，而图像被记录。偏振照相机(103)具有偏振成像元件(201)、亮度偏振信息处理部(202)、偏振面控制部(204)、成像控制部(205)。通过每次由偏振面控制部(204)使偏振照明光变化而对图像进行拍摄，能够对应各偏振状态而得到多个亮度图像(Y)和偏振相位图像(P)。由此，通过高分辨率化图像处理部(203)，高分辨率法线图像(208)、高分辨率亮度图像(209)得以生成。

Description

图像处理装置

技术领域

本发明涉及具有自动变焦功能的图像处理装置，其能够生成比由成像元件可以取得的原本的1像素有着更高清晰度的高分辨率图像。

背景技术

随着数字视频设备的发达，民用数字静态照相机的成像元件(也称摄像元件)的像素数目超过1000万像素。其结果是，静止图像在影印用途中可达成充分的高分辨率化。但是在以下的用途中，却要求超出成像极限的高分辨率化。

(i)在网购等之中，自由放大显示相当于商品的一部分的感兴趣的区域的用途。

(ii)以医疗用图像诊断等详细观察病灶等的用途。

(iii)在监控摄像机中详细观察犯人等的用途。

(iv)在生物统计学中，对于面部、虹膜、指纹图像进行分析等的用途。

针对这样的要求，使成像元件的分辨率提高所对应的尝试，近年来正在达到极限。其理由在于，由于光学的限度，即使1像素达到高清晰，分辨率也无法提高。为了超过该极限，透镜和成像元件的单一像素尺寸必然地变大。其结果是，数码相机、电影、小型监控摄像头，此外还有医疗用的内窥镜这样的小型摄像机的实现变得困难。

使用小型摄像机，同时进一步细化分割现有的亮度的1像素而实现高分辨率化的尝试，一般是被称为“超分辨技术”的图像高分辨率化技术。在该技术中，一般是输入通过对被摄物体进行连拍或运动图像拍摄所得到的多张图像。然后，在这多张图像间，寻求拍摄到被摄物体的同一部位的像素之间的对应，根据对应的像素群推定高分辨图像上的图案。但是，网购的商品拍照和医用图像通常是一张静止图像。另外，在监控摄像机视频中，即使是运动图像，大多也只能得到离散的静止图像。因此，在这些情况下，无法使用现有的“动态”的高分辨率化技术。

另外，在现有技术中，时间方面不同的多帧图像中所包含的被摄物体对应部分的移动量在使用以亮度为基础的对应关联(対応付け)下得以检测出。因此，在有光泽的表面等大量发生表面的镜面反射的区域，移动量的检测变得困难。

以静止图像为前提，在光泽表面也可以进行1像素的分割，这一技术公开在非专利文献1中。在该技术中，选定的是在金属制的硬币和石雕等镜面反射主体下、微平面(micro-facetマイクロフアセツト)物理反射模型成立的被摄物体。由固定的照相机在使照明光源的方向发生各种变化的同时拍摄大量的被摄物体图像。然后，适用于微平面模型，由此大量的图像推定1像素内的微细法线的空间分布，计算在对1像素内的微细形状进行照明时的亮度。在该高分辨率化方法的前半部分，由光源移动的大量的摄影构筑分布在1像素内的微细区域法线的直方图。在后半部分，满足该直方图的微细区域法线的空间内排列的组合，主要作为以法线的可积性为基础的能量最小化问题被解决。在此，所谓“法线的可积性”意思是，若在被摄物体的表面假定赋予闭合的路径，则作为该路径上的法线的线积分值的表面高度信息，在绕路径一周而回归到原本的位置时，与该位置的原本的表面高度相同。

一边使照明光源移动、一边拍摄多张图像而进行图像的高分辨率化的技术被公开在非专利文献2中。在该技术中，选择的是毛绒玩具的人偶和运动鞋等完全漫反射模型成立的被摄物体。拍摄8张至16张图像，实施2×2图像高分辨率化。根据该技术，采用法线图像、albedo(アルベド)图像的分辨率的劣化模型、法线的可积分性约束条件和马尔可夫随机场(Markov random field)的概率模型，使被摄物体的法线和albedo反射率两方面同时得以高分辨率化。

还是，专利文献1公开有一种图案化起偏器。专利文献2和非专利文献3公开有可以使偏振面旋转的器件。这些文献所公开的元件可以利用于后述的本发明的实施方式。

先行技术文献

专利文献

专利文献1：特开2007-86720号公报

专利文献2：特开平11-313242号公报

专利文献3：特开2007-316161号公报

非专利文献

非专利文献1：Ping Tan et.al，″Resolution-Enhanced photometricStereo″，European Conference on Computer Vision，3：58-71，2006.

非专利文献2：Manjunath et.al，″Simultaneousestimation ofsuper-resolved depth map and intensity field using photometric cue″，Computer vision and Image understanding 101(2006)，pp31-44.

非专利文献3：Lawrence B.Wolff，″Polarizationvision：a new sensoryapproach to image understanding″，Image and Computing 15(1997)81-93.

在现有的技术中，存在以下的课题。

即，为了建立来自各种角度的入射光，需要进行比较大的光源移动。因此，需要制作专用的照明装置，设置在实验室中。因此，不能将如闪光灯这样简易的光源设置在小型照相机上进行拍摄。

发明内容

本发明为了解决上述课题而做，其主要目的在于，提供一种图像处理装置，通过没有大的光源移动伴随的拍摄，就能够推定1像素内的微小区域中的法线。

本发明的图像处理装置，具有如下：偏振光光源，其将偏振面依次变化的作为直线偏振光的偏振照明光照射到被摄物体表面；从所述被摄物体表面的反射光取得所述被摄物体表面的亮度图像的照相机，其具有排列有多个光敏器件的成像面，该光敏器件分别具有相当于1像素的尺寸；高分辨率化处理部，其使用伴随所述偏振面的变化的所述亮度图像的亮度变量，推定所述被摄物体表面的比1像素小的多个亚像素区域的法线，使用推定的法线使所述亮度图像高分辨率化，所述照相机取得所述被摄物体表面的亮度图像时，在所述偏振光光源和所述照相机的配置关系被固定的状态下，所述直线偏振光的偏振面变化。

在有的实施方式中，所述偏振光光源的光轴和所述照相机的光轴之间的角度为10°以下。

在有的实施方式中，所述照相机是偏振照相机，其具有透射向特定的方位偏振的直线偏振光的偏振光滤光片。

在有的实施方式中，所述偏振光滤光片具有多个图案化起偏器，该图案化起偏器被配置在与所述多个光敏器件分别对向的位置。

在有的实施方式中，所述照相机是取得单色亮度图像或彩色亮度图像的照相机。

在有的实施方式中，所述偏振光光源在静止图像拍摄时，一边使偏振面变化一边将偏振照明光照射到被摄物体上，在运动图像拍摄时，照射偏振面随机的非偏振光，实行静止图像和运动图像的高分辨率化。

在有的实施方式中，所述偏振光光源具有如下：分别能够独立发光的多个分割光源；设于所述多个分割光源对面位置的多个图案化起偏器，所述直线偏振光的偏振面的方向，由图案化起偏器的偏振光透光轴的方向规定，该图案化起偏器透过从所述多个分割光源之中的一部分的分割光源放射的光。

在有的实施方式中，所述高分辨率处理部将如下成分进行分离：将伴随所述偏振面变化的所述亮度变量利用于每种彩色成分，从所述被摄物体表面的多重反射成分中，分离两次都呈现镜面反射的成分，和至少一次呈现漫反射的成分。

在有的实施方式中，所述高分辨率处理部根据所述被摄物体表面的反射状态，将所述亮度图像的1像素分类为多个区域，推定各区域中的亮度、法线和面积比，由此决定1像素内的法线直方图。

在有的实施方式中，所述多个区域，在各像素内形成朝着一个方位延伸的至少一个凹槽(グル一ブ)。

在有的实施方式中，所述高分辨率化处理部，利用向所述被摄物体表面大约从正上方照射的偏振照明光而在所述被摄物体表面发生的光的多重反射现象，推定所述亮度图像的1像素内的法线直方图。

在有的实施方式中，所述高分辨率化处理部，利用所述被摄物体表面的光的多重反射现象，推定所述亮度图像的1像素内的法线直方图。

在有的实施方式中，所述高分辨率化处理部，根据推定的1像素内的法线直方图，决定所述1像素内的所述亚像素区域的配置而生成高分辨率法线图像。

在有的实施方式中，所述多个区域由如下区域构成：通过所述偏振照明光的一次反射，使所述反射光到达所述照相机的S区域；通过所述偏振照明光的二次多重反射，使所述反射光到达所述照相机的T区域；和未使所述反射光到达所述照相机的D区域。

本发明的图像处理方法，其实行的是，将偏振面依次变化的作为直线偏振光的偏振照明光照射到被摄物体表面，从所述被摄物体表面的反射光取得所述被摄物体表面的亮度图像，使用随着所述偏振面的变化的所述亮度图像的亮度变量，推定所述被摄物体表面的比1像素小的多个亚像素区域的法线，使用推定的法线使所述亮度图像高分辨率化，所述照相机取得所述被摄物体表面的亮度图像时，是在所述偏振光光源和所述照相机的配置关系被固定的状态下使所述直线偏振光的偏振面变化。

本发明的程序是用于如下装置的程序，该装置具有如下：偏振光光源，其将偏振面依次变化的作为直线偏振光的偏振照明光照射到被摄物体表面；从所述被摄物体表面的反射光取得所述被摄物体表面的亮度图像的照相机，其具有排列有多个光敏器件的成像面，该光敏器件分别具有相当于1像素的尺寸，所述程序在所述装置上运行如下步骤：将偏振面依次变化的作为直线偏振光的偏振照明光照射到被摄物体表面的步骤；从所述被摄表面的反射光取得所述被摄物体表面的亮度图像的步骤；使用随着所述偏振面的变化的所述亮度图像的亮度变量，推定所述被摄物体表面的比1像素小的亚像素区域的法线，使用推定的法线使所述亮度图像高分辨率化的步骤。

在本发明的图像处理装置中，通过偏振状态不同的偏振照明光的照射，得到反映出被摄物体表面的1像素内的微细的区域具有的凹凸构造的信息。基于如此获得的信息，推定1像素内的凹凸构造的法线的分布。其结果是，根据本发明，不需要光源的进行大的移动。

附图说明

图1A是用于说明高分辨率化的图

图1B是表示本发明的实施方式1的图

图2是实施方式1的图像处理装置结构图

图3是表示偏振光光源的结构的图

图4是偏振面角度的定义图

图5是表示偏振照相机的成像元件的光敏器件的配置例的图

图6是表示由偏振照相机的偏振信息造成的亮度变化的和图

图7A是表示由偏振照明光的偏振面旋转造成的亮度图案图像的变化的图

图7B是表示由偏振照明光的偏振面旋转造成的亮度图案图像的变化的模式图

图8A是表示由偏振照明光的偏振面旋转造成的按像素的亮度变动的标绘图

图8B是表示在图8A的标绘图所示的数据的取得上所使用的试样的表面形状的照片

图8C是模式化地展现图8B的表面形状的图

图9(a)～(c)是表示由偏振照明光的亮度变动的意义的图

图10是说明微平面模型的图

图11是表示微平面的微细法线的方向的图

图12(a)和(b)是入射光对于微平面发生直接反射的图

图13是表示在以横轴为入射角时的P波和S波的菲涅尔反射率的标绘图

图14(a)和(b)是入射光因为微平面之间成对而发生多重反射的图

图15是表示成对的微平面的位置关系的图

图16是说明被摄物体表面的“三区域模型”的图

图17(a)是表现三区域模型的凹凸存在于1像素内的状态的图，(b)是表示偏振照明光的偏振面的角度和主轴1701的主方位角ΨImax的关系的图

图18(a)和(b)是表示法线矢量和照相机坐标系与梯度空间的关系的图

图19是表示对于凹槽，偏振面如何变化的图

图20是表示“三区域模型”的各区域中的法线、反射亮度、面积比率的图

图21是表示梯度空间的法线的位置的图

图22是表示梯度空间的1像素内法线的直方图的图

图23(a)～(c)是表示法线配置的分配方法的图(之一)

图24(a)～(c)是表示法线配置的分配方法的图(之二)

图25(a)～(c)是表示法线配置的分配方法的图(之三)

图26(a)～(c)是表示法线配置的分配方法的图(之四)

图27(a)和(b)是表示1像素内的全部区域成为S区域时的法线配置的图

图28(a)和(b)是表示8维空间的排列空间(arrangement space)的图

图29(a)和(b)是表示构成法线的可积性的条件的线积分的方向的图

图30(a)～(c)是表示作为1像素的法线和亮度的高分辨率化的效果的图

图31是表示实施方式1的处理步骤的流程图

图32是表示本发明的实施方式2的图

图33是实施方式2的图像处理装置结构图

图34(a)和(b)是表示实施方式2的照相机的成像元件的光敏器件的配置例的图

图35是表示实施方式2的处理步骤的流程图

图36是表示本发明的实施方式3的图

图37是表示实施方式3的处理步骤的流程图

图38是实施方式4的偏振照明的结构图

图39是表示实施方式4的照明的时间轴上的变化的图

图40是表示本发明的实施方式5的图

图41(a)和(b)是表示多重反射的种类1)的图

图42(a)和(b)是表示多重反射的种类2)的图

图43(a)和(b)是表示多重反射的种类3)的图

图44是表示实施方式5的彩色反射成分分离的矢量图

图45是表示实施方式5的处理步骤的流程图

具体实施方式

本发明的图像处理装置具有偏振光光源和照相机(成像装置)，该偏振光光源将使偏振面依次变化的直线偏振光作为偏振照明光而照射到被摄物体表面；该照相机具有分别有着相当于1像素的尺寸多个光敏器件，且从被摄物体表面的反射光取得被摄物体表面的亮度图像。本发明的图像处理装置还具有使亮度图像高分辨率化的高分辨率化处理部。该高分辨率化处理部使用与偏振面的变化所伴随的亮度图像的亮度变量，推定被摄物体表面中的比1像素小的亚像素区域的法线。然后，使用所推定的法线使亮度图像高分辨率化。在本发明中，在照相机取得被摄物体表面的亮度图像时，在偏振光光源和照相机的配置关系被固定的状态下直线偏振光的偏振面发生变化。通过利用照明光的偏振状态，不使光源的位置发生大的移动，就可以求得1像素内的法线分布(法线直方图)。

本说明书中的所谓“高分辨率化”，如图1A所示，针对本质上亮度被平均化的1像素，推定该1像素所包含的多个亚像素区域的亮度，提高亮度图像的分辨率。1像素内所包含的各个亚像素区域的亮度，能够通过求得各亚像素区域的法线来得以决定。高分辨率化处理部，并不限于由专用的硬件实现的情况，通过软件和硬件的组成也能够良好地实现。例如，在具有公知结构的硬件(处理器)上安装运行本发明的处理的软件(程序)，由此能够构成本发明的高分辨率处理装置。这样的程序优选以记录在记录介质上的状态被安装到图像处理装置，但也可以经由通信线或通过无线安装到图像处理装置上。

在本发明中，如后述详细说明的，首先利用被照射有偏振照明光的被摄物体表面的多重反射，求得1像素内的法线直方图。然后，决定与构成该法线直方图的各个法线相对应的亚像素区域的配置。

还有，“1像素”的尺寸相当于在成像元件的成像面上所排列的各个光敏器件(光电二极管)的尺寸。通常，1个光敏器件相当于1个像素，但也有邻接的4个光敏器件的中心部作为1像素发挥功能的情况。在这样的情况下，1像素的尺寸也相当于光敏器件的尺寸。

以下，一边参照附图，一边说明本发明的图像处理装置的实施方式。

(实施方式1)

图1B是模式化地表示图1B的本发明的实施方式1的图像处理装置的整体构造的图，

具有自动变焦功能的本实施方式的图像处理装置101，具有偏振光光源102、偏振照相机103。在拍摄被摄物体104时，来自偏振光光源102的偏振照明光105被照射到被摄物体104上。由被摄物体104的表面所反射的偏振照明光(偏振反射光106)到达偏振照相机103，偏振信息被记录在偏振照相机103内。偏振照相机103如后述，能够取得被摄物体104的亮度图像和偏振信息这两方。

偏振照明光105与偏振反射光106的夹角LV107优选为10°以下。通过减小角度LV107，利用在被摄物体104上的微细的构造所发生的光的多重反射(反复反射interrefiection)，可以取得关于凹凸构造的信息。另外，通过减小角度LV107，能够减少由摄物体104的表面的影子的影响。通过使角度LV107达到10°以下，在折射率1.4～2.0的自然物体中，光的P偏振光和S偏振光显示出大致等价的特性，这由菲涅尔反射理论可知。关于其详情后述。

图2是表示本实施方式的偏振照相机103的结构例的图。

该偏振照相机103具有：偏振成像元件201；亮度偏振信息处理部202；偏振面控制部204；成像控制部205。

每次由偏振面控制部204使偏振照明光的偏振面变化而对图像进行拍摄。由此，能够对应偏振面不同的各偏振状态而获得多个亮度图像Y(260)和偏振相位图像P(270)。通过高分辨率化处理部203，高分辨率化法线图像208和高分辨率亮度图像209得以生成。

本实施方式的偏振照相机103，能够同时实时取得单色图像和偏振图像。该偏振照相机103输出亮度图像Y、偏振度图像D、偏振相位图像P这三种图像数据。

内置于偏振照相机103内的偏振成像元件201，同时取得亮度图像和被摄物体的部分偏振光的图像。因此，在偏振成像元件201中，将具有多个不同的偏振光主轴的微细图案化起偏器的阵列配置在CCD和MOS传感器等的成像元件上。作为微细的图案化起偏器，能够利用光子晶体和构造双折射波片和线栅等。该结构公开在专利文献1中。

图3是表示偏振光光源102的结构例。偏振光光源102具有：偏振滤光片301、发生非偏振光的光源302、活动反射镜308、反射镜309、活动反射镜控制部312、快门310、311。

偏振滤光片301由组合了扭转向列液晶单元(ツイステツドネマイツク液晶セル)和偏振滤光片的外加电压型液晶器件等构成。偏振滤光片部301将从光源302发生的非偏振的光，转换成在任意的偏振角度具有偏振面的直线偏振光。可以使偏振面旋转的器件的结构例，公开在专利文献2、3、非专利文献3等中。

活动反射镜308可以从图3的位置A移动到位置B。活动反射镜308处于位置A时，来自光源302的光通过301和快门311、一边使偏振面旋转一边照射该被摄物体。同时拍摄图像，将其多次实施。即，在偏振面为0°的状态下(图的状态303)拍摄第一图像，在偏振面为45°的状态下(图的状态304)拍摄第二图像，在偏振面为90°的状态下(图的状态305)拍摄第三图像，在偏振面为135°的状态下(图的状态306)拍摄第四图像。

偏振面的旋转所需要的时间，根据上述专利文献，为20(ms)左右。这可以认为是收敛于运动图像的一帧时间内。因此，若实施4个方向的偏振旋转而进行拍摄，则实质以8(帧)左右的时间＝约0.5(sec)一组摄影结束。这一时间内，期望被摄物体和照相机的相对的运动为零。

还有，使偏振滤光片301的功能关闭(OFF)，也能够将非偏振光照射到被摄物体上。这种情况下，活动反射镜308移动到图3的位置B。然后，光从光源302被引导向反射镜309，通过快门310照射到被摄物体上。这时，光的偏振面如参照符号307所示，在全部的方向上随机存在。如此，取快门310、311彼此开合的状态，以防止同时照射偏振光和非偏振光。

图4是表示偏振面的角度Ψ_I的定度的图。朝向被摄物体设定X-Y坐标系，就偏振面的角度而言，以X轴负向为0°、以Y轴正向为正向地定义旋转角。偏振光入射角度Ψ_I在反射中被保存时，反射光的偏振面角度与入射光的偏振面角度相同。

图5是表示偏振成像元件201的成像面。在成像面，多个光敏器件(光电二极管)规则地排列成行或列状。各个光敏器件通过光电转换，根据入射的光的量而生成电信号。在本实施方式的偏振照相机103中，成像面由图案化起偏器的阵列覆盖。对于偏振成像元件201的各光敏器件，有一个图案起偏器相对应。邻接的4个光敏器件所对应的4个图案起偏器，分别按照偏振光透射面为0°、45°、90°、135°的方式设定。图5的像素组501、502分别由2×2像素构成，其中心位置移动1像素。取得来自该像素组502的4个像素的数据以后，能够取得来自像素组203的4个像素的数据。如此，通过一边1像素1像素挪动一边对2×2像素的窗口进行处理，能够在实质上不损失分辨率的状态下获得偏振光信息和亮度信息。即，成像元件的分辨率(像素数或光电二极管数)为1120×868时，能够得到1119×867画素的Y、D、P图像。

在图5的例子中，基于邻接的4个光敏器件的信号，能够获得位于其中心部的区域的偏振信息。例如，像素组501的中心区域(尺寸相当于1个光敏器件的尺寸)作为“1像素”发挥作用。虽然1像素的尺寸相当于1个光敏器件的尺寸，但是1像素的中心位置并不局限于光敏器件的中心位置。

根据本发明，能够推定具有比1个光敏器件的尺寸更小的尺寸的区域的法线，求得这样的微细的区域的亮度。

接着，参照图6，说明亮度图像Y、偏振相位图像P的求法。

最初，将振幅设为Ao、图案起偏器的偏振光透射面角度设为Ψo、相位设为Φo，以如下方式假设表示偏振信息的正弦函数的算式。

[算式1]

f(ψ_O)＝A_Ocos(2(ψ_O-φ_O)) (式1)

在图2所示的亮度偏振信息处理部202中，从以45°的间隔偏振角度不同的4个偏振图像的4个亮度值来对亮度图像Y进行计算，生成亮度图像Y206。

[算式2]

Y = \frac{1}{4} (I_{0} + I_{1} + I_{2} + I_{3})

(式2)

亮度偏振信息处理部202中，进行从所取样的4个亮度值向余弦函数的拟合。首先，偏振角度为0°、45°(＝π/4)，90°(＝π/2)，135°(＝3π/4)的亮度的平方误差E以如下方式定义。

[算式3]

E = {(f (0) - I_{0})}^{2} + {(f (\frac{π}{4}) - I_{1})}^{2} + {(f (\frac{π}{2}) - I_{2})}^{2} + {(f (\frac{3 π}{4}) - I_{3})}^{2}

= {(A_{O} \cos (2 φ_{O}) - I_{0})}^{2} + {(A_{O} \sin (2 φ_{O}) - I_{1})}^{2} + {(- A_{O} \cos (2 φ_{O}) - I_{2})}^{2} + {(- A_{O} \sin (2 φ_{O}) - I_{3})}^{2}

(式3)

使该平方误差最小化的余弦函数的相位由下式求得。

[算式4]

\frac{&PartialD; E}{&PartialD; φ_{O}} = (I_{3} - I_{0}) \cos (2 φ_{O}) + (I_{0} - I_{2}) \sin (2 φ_{O}) = 0

(式4)

根据该式，其解由下式5、6给出。

[算式5]

\{\begin{matrix} {φ_{O}}^{(+)} = \frac{1}{2} \cos^{- 1} (\sqrt{\frac{c^{2}}{a^{2} + c^{2}}}) \\ {φ_{O}}^{(-)} = \frac{1}{2} \cos^{- 1} (- \sqrt{\frac{c^{2}}{a^{2} + c^{2}}}) \end{matrix}

(式5)

[算式6]

\{\begin{matrix} a &equiv; (I_{3} - I_{1}) \\ c &equiv; (I_{0} - I_{2}) \end{matrix}

(式6)

在由软件进行的安装中，反三角函数等的数学函数一般会强加以下这样的限制。

[算式7]

0≤acos(x)≤π (式7)

若考虑该角度范围，则根据来自a和c的大小关系的情况，取最小值的角度和取最大值的角度能够由以下方式计算。

[算式8]

(式8)

该取最大值的Ψmax的值直接作为偏振相位图像P207即可。

[算式9]

P = ψ_{O \max}

(式9)

接着，求振幅的最大值和最小值。首先，为了求振幅Ao，采用下式进行平方误差的最小化。

[算式10]

\frac{&PartialD; E}{&PartialD; A_{O}} = 0

(式10)

[算式11]

A_{O} = \frac{1}{2} [(I_{0} - I_{2}) \cos (2 φ_{O}) - (I_{3} - I_{0}) \sin (2 φ_{O})]

(式11)

使用得到的振幅Ao，振幅的最大值和最小值如下。

[算式12]

I_Omax＝Y+A_O

(式12)

I_Omin＝Y-A_O

如此在本实施方式中，在固定照明条件下进行一次摄影时，能够从拍摄的偏振图像得到亮度图像Y、偏振图像P这两种图像信息。

如前述，因为能够得到与成像元件的图像分辨率大致同等的分辨率，所以认为，亮度图像Y的分辨率与在成像元件上没有设置图案化起偏器的状态的亮度图像的分辨率相比，大体上没有变化。另一方面，利用本实施方式的成像元件，除了亮度图像Y以外，也能够同时获得偏振图像P。因此，根据本实施方式，作为偏振信息会增加偏振相位和偏振度。即，使用偏振照相机，能够得到关于被摄物体的表面反射的、比现有的亮度图像信息更多的信息。

在本实施方式中，还一边改变偏振照明光的偏振面，一边进行偏振照相机的摄影。由此，可实现仅亮度的成像(也称摄像)不可能取得的、含有1像素内的微细区域(亚像素)的信息的图像。

图7A和图7B表示本发明者们将表面光滑的陶瓷杯和表面具有微细凹凸的木板作为被摄物体而进行了偏振成像的图像。位于图7A的左侧的两个图像，是照明的偏振面的角度＝0°的偏振图像。另一方面，位于图7A的右侧的两处图像，是照明的偏振面的角度＝90°的偏振图像。图7B的四个图像，分别是模式化地描述图7A的四个图像的图。这些图所示的图像均相当于图2所示的亮度图像Y。

如位于图7A和图7B的上层的图像所表明的，在表面光滑的陶瓷中，即使让偏振照明光的偏振光变化，也不太能够观测到亮度图案的变化。但是，在存在大量凹凸的木板中，如位于图7A和图7B的下层的图像所表明的，判明若使偏振照明光的偏振面变化，则所观测的亮度图像有很大的变化。

图8A是表示在一边使入射木板的表面的光(偏振照明光)的偏振面变化一边拍摄亮度图像时的、同一像素值的亮度变动的标绘图。图8B是作为拍摄对象的木板的亮度图像。图8C是模式化地表示图8B的木板的表面的凹凸的图。

图8A表示在偏振照明光的偏振面的角度ΨI为0°、45°、90°、135°时得到的亮度图像的特定的像素的亮度Y。由该标绘图可知，亮度Y相对于各偏振照明光的偏振面的角度ΨI显示出周期性变动。关于这样的亮度Y的角度ΨI的依存性的信息，是在不使照明的偏振状态变化而进行成像后的普通的偏振成像中观测不到的新信息。

图9(a)～(c)说明的是，在使偏振照明光的偏振面的角度以ΨI＝0°、45°、90°、135°这4种变化而取得偏振图像时所得到的信息。图9(a)表示照明的偏振面的角度。由被摄物体反射的偏振照明的光，会入射由偏振光透光轴的角度Ψo＝0°、45°、90°、135°这样的图案起偏器的马赛克构成的偏振像素。由各角度的偏振像素所得到的亮度的空间的变化在9(c)的标绘图中由曲线901表示。曲线901的偏振相位，相当于相对于图5所示的光接收元件上的起偏器马赛克的4像素的位置的偏振光透光轴的角度Ψo而得到的空间上的变动。亮度Y的变动成为在伴随照明的偏振面的变化的ΨI的轴上所得到的时间上的变动(图9(b))，这一点值得注意。

现在，认为该亮度Y的变化的函数近似为周期180°的余弦函数。将照明的偏振面的角度作为ΨI以如下方式表现。

[算式13]

Y(ψ_I)＝A_Icos(2(ψ_I-φ_I)) (式13)

在该函数中，包含振幅、相位、平均值这三种信息。取得使用振幅与平均值的最大值Ymax、最小值Ymin和赋予最大值与最小值的角度ΨImax、ΨImin的信息。从4个等间隔的角度试样对余弦函数进行拟合来推定上述的值的方法，直接使用(式1)～(式12)中说明的方法。

作为非偏振光的通常的输入亮度的原图像的理论亮度由下式求得。

[算式14]

(式14)

\approx \frac{1}{2} (Y_{\max} + Y_{\min})

接着，说明被摄物体表面的1像素内的凹凸的模型。

本实施方式中采用的微细凹凸模型，是在基于物理的计算机图形学领域被广泛使用的“微平面模型”。

图10是表示观察有凹凸的表面时的1像素内的微细法线分布的立体图。表示照相机的1像素的区域1001虽然具有平均亮度但是其内部的亮度分布不清楚。即，不能拍摄到1个像素内的构造。

在微细凹凸模型中，假定由表面只示出镜面反射的假设的微细面(微平面)构成，且认为此各个微平面具有微细法线。因为各微平面只呈现镜面反射，所以若决定照明方向L和视点方向V，则在其角度关系中，有发光的微平面1002的群和不发光的微平面1003的群。存在于1像素内的全部的发光的微平面1002的亮度加以合计，就相当于1像素的平均亮度。来自不发光的微平面的亮度为零(漆黑)。

如图11所示，发光的微平面1002的微细法线，相当于照明矢量L和视线矢量V的恰好二等分矢量H。即，推定1像素以内的凹凸构造，这将推定该微平面的微细法线。

接着，考虑偏振照明光向微平面入射时的作用。但是，入射的偏振照明光和摄影的照相机的视线之间的角度，如图1的角度107所示，设想为接近于零度这样特殊的几何学的关系。

图12表示对于微平面1201入射入射角接近于零的偏振光、而直接反射由照相机观测的状况。在图12(a)、(b)中，入射的偏振光的偏振以90°不同。但是，反射光的偏振信息在仅光的行进方向改变下与入射光大致相同。其理由如下。

图13是表示菲涅尔反射率的入射角依存性的标绘图。横轴为入射角，纵轴为菲涅尔反射率。其依存性在折射率n＝1.8的假定下得以描述。看作大致垂直入射的0°～10°附近的入射角度就相当于范围1301。如从标绘图中读取的，在该范围1301中，无论是P偏振光还是S偏振光，反射率均相同。因此，偏振光大致垂直入射表面时，相对于表面的P波和S波这样的偏振光的区别几乎不存在。还有，该事实在折射率n＝1.4～2.0的自然物体中广泛成立。

入射角度为10°以下时，即使偏振照明光旋转，反射率也几乎不变，反射光的能量也没有变化，因此观测到的亮度不变。即，不会随着入射偏振面的旋转而发生亮度变动。这样的情况下，使亮度Y的角度ΨI依存性在图8A所示的这一实验结果中消失。

图14(a)和(b)表示，偏振照明光以零附近的入射角入射同一被摄物体而反射光由照相机观察的状态。在该例中，两个微平面成对，认为会发生多重反射。具体来说，假定两个微平面形成凹槽(Groove)：槽1401，在其斜面发生两次反射。

这种多重反射被认为会在表面的凹凸多的被摄物体表面发生，例如布、木材、人的肌肤、皮革等各种各样的自然物。第一次和第二次的反射的性质很重要，第三次以后的多重反射亮度很小，大体上能够忽视。一般来说，将反射的性质分成镜面反射和漫反射时，能够设想如下4种现象：

1)第一次：漫反射第二次：镜面反射

2)第一次：漫反射第二次：漫反射

3)第一次：镜面反射第二次：漫反射

4)第一次：镜面反射第二次：镜面反射。

其中，1)和2)经由最初的反射而作为漫射光，就成为非偏振光，光向所有的方向反射。但是若根据实验，则被摄物体着色而亮度暗淡时，该第一次的漫反射成分比较弱。这意味着，光向被摄物体的内部的浸透少，根据菲涅尔理论，与之有互补性的3)、4)的镜面反射的现象占据优势。另外，如3)认为第二次为漫反射时，根据该入射与反射的几何学的关系，可知当然4)也同时发生。这时，无论在偏振度、亮度的哪种标准下，镜面反射的现象都成为主要的亮度成分。

由上，将4)的无论第一次或第二次镜面反射的现象作为主要的现象考虑即可。

图15表示假定第一次、第二次均为镜面反射时的成为对的微平面的位置关系。形成凹槽(Groove)的斜面1501、1502距被摄物体的微小的表面1503测量的角度为α和β。另外，第一次反射的入射角为θ1，第二次反射的入射角为θ2。此外，若入射光、反射光与凹槽斜面的夹角为γ和δ，则以下的关系成立。

[算式15]

(式15)

但是，角度LV是由图1定义的入射角和反射角，假定为0°～10°左右。若考虑凹槽的斜面大体对称，则α＝β成立。因此能够推定下式。

[算式16]

θ₁＝θ₂≈45°∶50°(式16)

再次参照图13。图13的菲涅尔反射率的标绘图中，记述有相当于上述的角度范围的范围1302。如从标绘图所读取的，在该入射角的范围1302中，P偏振光的反射率极弱。

如图14(a)所示，相对于凹槽的主轴方向1402垂直入射的偏振照明光为P偏振光。根据上述理由，该P偏振光在经由一次和二次反射期间变得极弱。另一方面，图14(b)所示的S偏振光，即使经过二次反射也不太弱。其结果是，对于凹槽作为P偏振光的入射偏振面，反射光在能量上也极弱，亮度降低。另一方面，作为S偏振光的入射偏振面，反射光其能量也没怎么衰减，亮度也高。

如果假定，以如上方式形成微平面成对的凹槽，则能够说明由实验得到的入射光的偏振面的旋转带来的反射光的亮度变化。因此，在本发明的优选的实施方式中，使用对其加以活用的以下的表面模型。

图16是说明由以上的考察得到的被摄物体表面的“三区域模型”的图。所谓三区域模型，是从多重反射和偏振光现象的观点出发、使1像素的表面凹凸的法线构造简略化的模型。在三区域模型中，1像素中以下的三种二维区域分别以一定的面积比率混合。还有，在该模型中，如后述凹槽被分离为T区域和D区域。

1)直接反射区域：S(specular)区域：

是由入射光直接反射、且对于入射光的偏振面旋转而反射亮度没有变动的微平面所形成的区域。该区域的微平面法线相当于入射光和照相机视点矢量的二等分线。

2)二次反射区域：T(Twice Reflection)：

入射光因凹槽而发生两次反射而进行第二次反射的区域。由对于入射的偏振面旋转而反射亮度发生变化的微平面形成。

3)暗区域D(Dark)区域：

由入射光反射到与照相机无关的方向、且对亮度没有帮助的微平面形成的区域。该区域进一步分为两类。第一是形成凹槽的第一次反射的区域，照明凹槽以外的斜面，但从照相机拍摄视点出发是没有发光的区域。第二是把光向完全不同的未知方向反射的区域。但是，因为该未知方向的情况不便处理，所以在本发明的优选的实施方式中，假定具有与建立T区域的第一反射相同的方向的微平面法线。该区域的反射亮度对于入射光的偏振面旋转也没有变动。

认为此三区域与构成1像素内的凹凸相对应。通过求得各区域中的法线，即微平面法线和1像素内的各微平面的面积比率，能够推定法线直方图。还有，微平面的法线的方法具有两个自由度。具体来说，由方位角度和天顶角可特定出法线的方向。

以下，说明法线的方向、亮度、面积比率的求法。

图17(a)是模式化地表示，三区域模型的凹凸在被摄物体表面的1像素内、在某一方位角排成一列存在的状态的立体图。凹槽的主轴1701相当于主方位角ΨImax。图17(b)是表示偏振照明光的偏振面的角度和主轴1701的主方位角ΨImax的关系的图。

由图14的考察可知，该主轴1701与使偏振照明光旋转时的最大亮度的方向一致。因此，自此以后，以主方位角等同于ΨImax对待。

S、T、D各区域中的微平面法线的方法，共同具有从该主方位角ΨImax偏移90°的角度ΨImin，分别由具有天顶角的两个自由度的角度表现。

首先，S区域的法线的天顶角等于入射光与反射光的二等分角。法线自此以后，在照相机坐标系中被作为照相机投影面上的点表现。这与后面的梯度空间(p、q)意思大致相同。

图18(a)和(b)表示入射光L和反射光V和照相机坐标系XYZ的关系。在照相机坐标系中，照明矢量为下式。

[算式17]

(\begin{matrix} X \\ Y \\ Z \end{matrix}) = (\begin{matrix} \tan &angle; LV \cos ψ_{I} \\ \tan &angle; LV \sin ψ_{I} \\ - 1 \end{matrix})

(式17)

因此，作为该矢量和照相机的视点的矢量的二等分线，S区域的法线为下式，成为大体上朝向照相机视点的法线。还有，在此ΨI为照明的偏振面角度。

[算式18]

(\begin{matrix} X \\ Y \\ Z \end{matrix}) = (\begin{matrix} \tan (\frac{&angle; LV}{2}) \cos ψ_{I} \\ \tan (\frac{&angle; LV}{2}) \sin ψ_{I} \\ - 1 \end{matrix}) \approx (\begin{matrix} 0 \\ 0 \\ - 1 \end{matrix})

(式18)

其次考虑T区域。如S区域的法线，也可以在几何学意义上求概略值。但是在此，是根据由偏振照相机取得的偏振相位图像P而求得。若观察P图像可知，在入偏振角ΨIN和观测到的相位角Ψout之间，有一定旋转角的偏移。譬如，作ΨI＝45°时，若观测该旋转角的偏移量ΔΨ，则根据菲涅尔理论求得θ。

图19是表示，对于与凹槽的主轴平行的S轴和垂直的P轴的坐标系，偏振光的能量Ep和Es与偏振光以哪种方式变化的图。若设入射角为θ，折射率为n，则P波和S波所对应的能量的菲涅尔反射率使用Fp(θ、n)、Fs(θ、n)而成为如下方式。为了简单，视θ1＝θ2。

[算式19]

Δψ = ψ_{OUT} - ψ_{IN}

= \tan^{- 1} (\frac{E_{P} \cdot {F_{P}}^{2} (θ_{1}, n)}{E_{S} \cdot {F_{S}}^{2} (θ_{1}, n)}) - ψ_{IN}

(式19)

= \tan^{- 1} (\tan (ψ_{IN}) \cdot \frac{{F_{P}}^{2} (θ_{1}, n)}{{F_{S}}^{2} (θ_{1}, n)}) - ψ_{IN}

在此，偏振照明光的偏振面角度ΨI与凹槽的夹角ΨIN，根据从偏振面旋转观察到的值Ψimax等于凹槽的主轴角度，能够由以下方式决定。

[算式20]

ψ_{IN} = ψ_{I} - ψ_{I_{I \max}}

(式20)

折射率n因为涉及被摄物体的量，所以本质上未知。在此，作为近似值采用n＝1.5～1.8即可。还有，该值是塑料、树脂、玻璃等存在于自然界中的典型的电介质的折射率。

[算式21]

\frac{{F_{P}}^{2} (θ_{1}, n)}{{F_{S}}^{2} (θ_{1}, n)} = \frac{\tan (ψ_{IN} + Δψ)}{\tan (ψ_{IN})}

(式21)

如此决定满足式21的θ1即可。

因此，T区域的法线的天顶角在照相机坐标系中为下式。

[算式22]

(\begin{matrix} X \\ Y \\ Z \end{matrix}) \approx (\begin{matrix} \sin θ_{1} \cos ψ_{I \min} \\ \sin θ_{1} \sin ψ_{I \min} \\ - 1 \end{matrix})

(式22)

D区域的法线根据三区域模型的假定为下式即可。

[算式23]

(\begin{matrix} X \\ Y \\ Z \end{matrix}) \approx (\begin{matrix} - \sin θ_{1} \cos ψ_{I \min} \\ - \sin θ_{1} \sin ψ_{I \min} \\ - 1 \end{matrix})

(式23)

接着，对于各区域的亮度进行考察。绝对的亮度由于在实际的实验条件下的偏振照明光照度和照相机设定而发生变动，因此基准值需要根据观测到的亮度图像Y的观测求得。作为该基准值，使用图像内的镜面反射区域的最大亮度MAX_Y。该最大亮度在三区域模型的S区域占据1像素的全体(100％)时取得。最大亮度MAX_Y为S区域的亮度Is。

[算式24]

I_S＝MAX_Y (式24)

S区域的亮度是照明光一次反射时的反射亮度。这相当于在图13的菲涅尔反射率的曲线中，入射角度处于范围1301的区域内时的反射带来的亮度。因此，根据该式，假设折射率n＝1.5～1.8，以入射角θ1进行一次反射，再以入射角θ1进行第二次反射的T区域的P波和S波的反射亮度，能够由如下方式推定。

[算式25]

{IP}_{T} = \frac{MAX_Y}{F_{P} (0, n)} \cdot {F_{P}}^{2} (θ_{1}, n)

(式25)

{IS}_{T} = \frac{MAX_Y}{F_{S} (0, n)} \cdot {F_{S}}^{2} (θ_{1}, n)

D区域的亮度使用图像内的镜面反射区域的最小亮度MIN_Y。该最小亮度在三反射模型占据1像素的全体(100％)时取得。

[算式26]

I_D＝MIN_Y (式26)

图20是表示三区域模型的各区域中的微平面法线、反射亮度和面积比率的图。首先，三区域的反射亮度以如下方式假定为Is、IP_T、IS_T、Id。需要注意的是，由T区域，P波和S波的入射造成的反射亮度有所不同。

1)S区域…Is

2)T区域…P波入射时，IP_T、S波入射时IS_T

3)D区域…Id

这些亮度值，如上述，能够由观测值推定。因此，只有对于1像素的单位面积的面积比是未知数。这些未知数如下为As、A_T、(1-As-A_T)。

1)S区域···As

2)T区域···A_T

3)D区域···(1-As-A_T)

入射偏振光为P波时观测到的1像素的亮度和为S波时观测到的1像素的亮度，可知分别与亮度最小值Ymin、最大值Ymax对应。因此，关于亮度的最大值Ymax和最小值Ymin，以下加权平均的算式成立。

[算式27]

\{\begin{matrix} A_{S} \cdot I_{S} + A_{T} \cdot {IP}_{T} + (1 - A_{S} - A_{T}) \cdot I_{D} = Y_{\min} \\ A_{S} \cdot I_{S} + A_{T} \cdot {IS}_{T} + (1 - A_{S} - A_{T}) \cdot I_{D} = Y_{\max} \end{matrix}

(式27)

即，未知数As、A_T、A_D能够由下式推定。

[算式28]

\{\begin{matrix} A_{T} = \frac{Y_{\max} - Y_{\min}}{{IS}_{T} - {IP}_{T}} \\ A_{S} = \frac{Y_{\min} - I_{D}}{I_{S} - I_{D}} - A_{T} \cdot \frac{{IP}_{T} - I_{D}}{I_{S} - I_{D}} \\ A_{D} = 1 - A_{T} - A_{S} \end{matrix}

(式28)

以上，以三区域模型在1像素内进行模型化时，能够推定各区域的法线、亮度、面积比率全部。但是，法线的表面形式是基于照相机坐标系中的方位角和天顶角的角度表现，这在以后的分析不方便。因此，将法线转换成梯度空间(p、q)。

[算式29]

N = (\begin{matrix} N_{x} & N_{y} & N_{z} \end{matrix}) = (\begin{matrix} \frac{&PartialD; z}{&PartialD; x} & \frac{&PartialD; z}{&PartialD; y} & - 1 \end{matrix}) = (\begin{matrix} p & q & - 1 \end{matrix})

(式29)

梯度空间(p、q)，实质上可以认为是图18所示的照相机投影面平面。

图21是表示在二维梯度空间中求得的微平面法线的位置的图。S区域的法线大致位于原点上。在与被摄物体表面的凹槽的主轴方向直交的线2102上定位T区域和D区域的法线。图22是由三区域模型得到的微平面法线的直方图。在主方位角的线上，3个区域的分布具有各自的面积比的高度而成为排成一列的形状。

以上能够推定1像素内法线直方图，因此以下决定法线的最佳配置。在此，在1像素内分割成2×2的4像素而求法线，以此情况为例进行说明。向高分辨率的自动变焦再度反复2×2而能够实现。

首先，属于由直方图得到的各区域的像素如下。

[算式30]

S区域···[As×4]＝Ns(像素)

T区域·[A_T×4]＝N_T(像素)

D区域···4-Ns-N_T(像素) (式30)

其中，[]是高斯符号。

图23～图26表示，作为初始法线排列而将1像素一分为四的亚像素中分配上述三种区域所对应的法线配置的方法。该分配方法依存于凹槽的主方位角Ψimax的角度，因此每45°范围进行一次划分，以图23～图26进行说明。

图23(a)表示三区域的直方图的一例。在该例中，T区域为2像素，D区域为1像素，S区域为1像素。主方位角的范围为接近于X轴的水平方向。一边尽可能使T区域和D区域的法线成对，一边使之与主方位角直交。这时，认为有如图23(b)所示，相对于主方位角的线2301而形成谷的凹陷(Convcave)型、和如图23(c)所示这样形成峰的凸起(convex)型的两类排列，分别有组合两种排列的组合。在该图中显示，S区域的法线垂直接近纸面且朝向近身。

在图24、图25、图26中，以同一法线直方图描绘只有主方位角不同的情况。均是相对于主方位角的线、与之形成谷的凹陷和形成脊的凸起的情况，排列的候选合计为4种。还有值得注意的是，排列的组合数根据直方图而发生变动。

图27(a)和(b)是全部成为S区域的直方图的情况，排列的可能性如图27(b)为1种。

如上，根据图22所示的1个法线分布函数(由三区域模型得到的微平面法线的直方图)和图17(a)和(b)所表示的主方位角Ψimax的信息，产生多个空间排列的可能性。因此，从这4种候选决定最佳排列即可，这一决定方法与非专利文献1所述的方法相同。但是，因为有三区域模型和主方位角的信息，所以候选数从本来的4！＝24种大幅减少，最佳化变得容易。

法线的最佳化基本上以非专利文献1所述的、使能量评价函数最大化的迭代法(繰りかえし法)实施即可。以下说明简单的处理流程。

图28(a)和(b)表示由法线直方图得到的法线排列被作为8维的排列空间(arrangement space)内的1点表现的状况。该8维的密度分布函数由高斯混合模型(GMM：Gaussian Mixture Model)表示。将该概率密度分布函数称为テクストン(textons)GMM模型。在由同样的法线直方图分布生成的等价类(equivalence class)内，存在代表其的4像素法线排列，该8维的结合矢量称为3Dテクストン(3Dtexton)或仅称为テクストン。求解テクストン是目的。解テクストン的最佳先择是利用由法线计算表面时的可积分性的拘束条件实现。若设各像素S＝(x、y)中的テクストン为L(S)，则可积分性由线积分为零的条件计算。

图29(a)是说明使用法线的可积分性的最佳化的图。如非专利文献1中这样，条件是在2×2像素的单元中考虑线积分，使该线积分为零。

[算式31]

Intg₁(s，L(s))＝a_x+b_x-b_y-d_y-d_x-c_x+c_y+a_y＝0 (式31)

其是，各像素的法线使用梯度空间的表现。

[算式32]

a＝(a_x，a_y，1)b＝(b_x，b_y，1)c＝(c_x，c_y，1)d＝(d_x，d_y，1) (式32)

因此各像素的可积分性的能量函数设置为，

[算式33]

E₁(S，L(S))＝exp(-||Intg₁(S，L(S))||²) (式33)

通过使该能量函数最大化，能够使上述线积分最小。

设邻接的像素对为s、t时，需要还考虑该重叠像素区域的可积分性。图29(b)表示该移动像素(shifted pixel)2901的条件。积分值的条件为下式。

[算式34]

Intg₂(s，t，L(s)，L(t))＝e_x+f_x-f_y-h_y-h_x-g_x+g_y+e_y＝0 (式34)

该重叠像素区域的テクストン也应从解テクストン获得。但是，因为是从本来的像素中不会出现的排列图案，所以在图28中，处于偏离像素的位置2802。但是因为出现概率能够由テクストンGMM模型的高斯函数成分的最大值表现，所以由该概率加权。即，该像素对的条件是使以下最大化在。

[算式35]

E_{2} (s, t, L (s), L (t)) = \exp (- {| | {intg}_{2} (s, t, L (s), L (t)) | |}^{2}) \cdot \max_{1 \leq i \leq T} p_{i_{j}} (efgh)

(式35)

解テクストン是在图像整体中使两个能量函数的积最大化而获得

[算式36]

{L_{i_{1}}, L_{i_{2}}, L, L_{i_{T}}} = \arg \max \underset{s}{Π} E_{1} (s, L (s) \underset{Neighbor (s, t)}{Π} E_{2} (s, t, L (s), L (t))

(式36)

在此，s表示图像的总像素，Neighbor(s、t)表示全部的4个邻域的像素对。

因为该最佳化处理复杂，所以为了高效率地实行，而遵循以下两个阶段的步骤：1)由概率置信传播法(belief propagation)求得以可积分性为拘束条件的初始解；2)由该初始解，通过使用了马尔可夫链蒙特卡尔理论(Markov chain Monte Carlo)法的最佳化使之收敛。关于详情，遵循非专利文献1.以上的最佳化处理的结果是，能够决定最佳的法线空间配置。

图30(a)～(c)是表示汇总以上的处理而显示1像素的高分辨率化的效果。通过以上的处理，使原图像的1像素高分辨率化为2×2的4像素中的法线，以图30(b)的方式得到最佳配置。若是这样则如图19所示，在三区域模型是中，S、D、I各区域法线方向与亮度惟一地对应，因此作为其结果是，能够使1像素内作为亮度而高分辨率化为2×2像素。但是，像素亮度应该彻底以非偏振照明下的摄影为基准。因此，妱图30(a)所示，原图像的亮度为图9的平均亮度Ymax，高分辨率化的亮度为如下(参照图30(c))。

1)S区域…Is

2)T区域…(IP_T+IS_T)/2

3)D区域…Id

图31是表示从本发明的被摄物体拍摄经图像处理而推定1像素以内的法线分布直方图、法线排列，再推定至1像素内亮度的排列的全部步骤的流程图。在图31中，由虚线包围的部分相当于高分辨率化处理部的处理。高分辨度化处理部内置的程序是，使图31中由虚线包围的部分的处理步骤在例如公知的硬件上运行的程序。

在步骤S3101中，作为实验环境，测量偏振照明光和照相机视点的夹角∠LV。其为附属于照相机的闪光灯装置时已知。另外，构成被摄物体的菲涅尔反射率的基础的折射率n的值，譬如假定为n＝1.8。

在步骤S3102中，一边使偏振面的角度ΨI旋转，一边将偏振照明光照射到被摄物体上而实施偏振摄影。然后取得各ΨI角度的Y图像和P图像。

在步骤3103中，以亮度变动的Y图像的各像素通过(式14)进行函数拟合。该方法直接使用(式1)～(式12)所采用的方法即可。由此求得亮度最大、最小的相位角ΨImax、Ψimin、这时的亮度YImax、YImin。

在步骤S3104中，求三区域模型的S、T、D各区域的法线的方位(Azimuth)角和天顶(AZenith)角。该角度两个自由度表现法线。方法采用(式17)～(式21)。在此使用的图13的菲涅尔反射的理论曲线描述为假定折射率的n＝1.8。

在步骤3105中，求三区域模型中的S、T、D各区域的亮度。遵循(式22)～(式24)。

在步骤3106中，使用式(26)求三区域模型中的S、T、D各区域的面积比。

在步骤3107中，将法线的表现方式从角度转换成照相机坐标系中的梯度空间(p、q)后，求得由图21、图22所示的1像素内的法线直方图。

在步骤3108中，如图23～图28所示，根据法线的直方图分布求1像素内的法线的最佳排列。

在步骤3109中，如图30所示根据在1像素内最佳配置的法线求亮度。

(实施方式2)

在第一实施方式中，使用偏振照明光和偏振照相机实施高分辨率化。但是，偏振照相机是要制作图案起偏器的复杂特殊的形态，因此昂贵。此外，由偏振片带来的光量降低造成灵敏度变低，有画质降低的可能性。在本实施方式中，与实施方式1相同，可以一边使用偏振面旋转的偏振照明光，一边在图像摄影中利用通常的观测亮度的照相机进行自动变焦。

图32是表示第二实施方式的图。根据本实施方式的结构，与图1所示的结构不同的点只在于，照相机3201不是偏振照相机，而是观测通常的亮度的照相机。

图33是说明该照相机3201的图。该照相机3201具有亮度成像元件3301、偏振面控制部204、成像控制部205。每次由偏振面控制部204使偏振照明光变化而对图像进行拍摄。由此，对应各偏振状态而得到多个亮度图像Y(206)。再由高分辨率化处理部3303生成高分辨率化法线图像208和高分辨率亮度图像209。

图34是表示亮度成像元件3301的图。该亮度成像元件3301中不存在图5所示这样的图案起偏器。因此，原本的成像元件的分辨率为1120×868时，能够得到作为相同分辨率的1120×868像素的Y图像。另外，图34(a)的亮度成像元件中书写的是单色成像元件，但如图34(b)，也可以利用搭载有已知的Bayer(ベイヤ一)型马赛克的彩色成像元件。但是，从照相机3201输出的图像只有亮度图像Y，不能取得作为偏振信息的P图像。因此，由(式21)所示的三区域模型的凹槽的斜面的入射角θ1无法求得。因此假定为如下。

[算式37]

α＝β(式37)

然后，运用(式15)只根据如下几何学的关系，

[算式38]

(式38)

确定T区域的法线角度α，确定法线的天顶角θ1。如此得到式39。

[算式39]

(\begin{matrix} X \\ Y \\ Z \end{matrix}) \approx (\begin{matrix} \sin α \cos ψ_{I \min} \\ \sin α \sin ψ_{I \min} \\ - 1 \end{matrix})

(式39)

D区域的法线根据三区域模型的假定，由下式40表示。

[算式40]

(\begin{matrix} X \\ Y \\ Z \end{matrix}) \approx (\begin{matrix} - \sin α \cos ψ_{I \min} \\ - \sin α \sin ψ_{I \min} \\ - 1 \end{matrix})

(式40)

图35是表示本发明的实施方式2的处理的流程的流程图。

与图31的流程图不同的部分只在于：在步骤S3501中，实施使照明的偏振面ΨI变化的摄影而就各ΨI取得Y图像的部分；和在步骤S3502中，求得S、T、D区域中的方位角和天顶角的部分。还有，由虚线包围的部分相当于高分辨率化处理部的处理。

还有，在本实施方式2中，使图像为彩色亮度图像的结构包含在其中。该方法是如下任意一种方法都可以，即作为亮度照相机使用彩色照相机的方法、和使偏振照明光彩色化的方法，但由于均是公知技术，所以省略详细的说明。

另外在本实施方式2中，医疗用途中使图像为多波段彩色亮度图像的结构也包含在其中。该方法是作为亮度照相机使用多波段彩色照相机的方法，由于是公知的技术，所以省略说明。

另外在本实施方式2中，监控摄像机用途中使图像为红外图像、使偏振光源为红外光源等的结构也包含在其中，但因为是公知的技术，所以省略说明。

(实施方式3)

以下，说明可以一边切换运动图像与静止图像一边进行摄影的图像处理装置的实施方式。本实施方式，作为基本的结构，也可以采用实施方式1和2的任意的结构。在此，以具有实施方式2的结构的情况为例进行说明。

一般运动图像的拍摄、再现中，关于人的分辨率的感觉稍微降低，高分辨度化的效果难以显现。但是，在静止图像的拍摄、再现中，高分辨率有效。例如，在医疗用内窥镜照相机等领域，通常医师以运动图像进行拍摄观察，但在病灶部分则实施静止图像摄影。

因此，在运动图像摄影时以非偏振光光源进行通常的运动图像拍摄，实施现有类型的运动图像高分辨率化处理。另一方面，根据操作指令在拍摄静止图像时，照射可自动变焦的偏振光源而拍摄图像。

现有类型的运动图像高分辨率化处理后述。首先，说明拍摄静止图像的情况。

图36是表示本实施方式的摄像机3500的结构的图。在本实施方式中，运动图像、静止图像指令输入部3601搭载于照相机上。运动图像摄影时，非偏振照明光的照射经由偏振面控制部204、成像控制部205进行。同时来自成像元件3301的图像信号经由运动图像静止图像选择部3602，在亮度运动图像列存储缓冲器3603内依时连续地被取得。从亮度运动图像列存储缓冲器3603内读取的图像信号由基于“动态”的已有的运动图像高分辨率化处理部3604进行处理，作为高分辨率运动图像3605存储。

另一方面，在静止图像摄像时，偏振照明光的照射经由偏振面控制部204、成像控制部205进行。同时来自成像元件3301的图像信号经由3602，被作为亮度图像存储在存储器中，由高分辨率化处理部3303进行实施方式2中说明的高分辨率化处理。

图37是表示控制方法的流程图。

最初在步骤S3700中判断有无静止图像摄像指令的输入。在步骤S3700中没有静止图像摄像指令输入(NO)时，进行运动图像摄影。具体来说，在步骤S3701中，非偏振照明光为ON，在步骤S3702中录制运动图像，在步骤S3703中进行已有的运动图像高分辨率化处理。在该运动图像高分辨率化处理中，例如使用专利文献3所公开的这种现有技术。

该运动图像高分辨率化技术，是使用多帧运动图像间的动作的一般性的技术，实行的是以下的处理。

进行插补(補間)而生成最初的高分辨率推定图像。进行校准而生成校准图像。使高分辨率推定图像模糊化，使模糊化图像和校准图像相减而生成残差图像。使用没有缺损的周边像素的残差值插补缺损残差。使用点扩展反函数从残差图像生成反投影图像，使平滑化图像和反投影图像组合而生成强调系数。将强调系数在高分辨率推定图像更新而生成新的高分辨率推定图像，由此由没有缺损的周边像素的残差值插补缺损像素的残差值。

在步骤S3700中，有静止图像摄影指令输入(YES)时，进行静止图像摄影。具体来说，在步骤S3704中，偏振照明光为ON。然后在步骤S3501中，一边变换偏振照明光的偏振面，一边进行静止图像拍摄。然后在步骤S3500中进行本实施方式2中说明的高分辨率化处理。

根据以上的处理，运动图像、静止图像都进行了高分辨率化处理，并且在静止图像部分也能够得到高分辨率法线图像。

(实施方式4)

在本实施方式中，将实施方式1和2中的偏振光光源102，替换成可以更高速地旋转偏振面的光源3800。由此，在本实施方式中，即使在运动图像摄影中也直接采用静止图像的技术而实现高分辨率化。偏振光光源102以外的结构，与图1和图2、图32和图33所结构相同。

图38表示用于按45°使偏振面高速旋转的偏振光光源的结构。该偏振光光源具有图案化起偏器滤光片3801和LED面光源3802。

作为图案化起偏器滤光片3801，除薄膜型的偏振片之外，还能够利用光子晶体和构造双折射波片和线栅等。LED面光源3802按照相对于具有按45°不同的偏振面的图案起偏器3701的各自独立亮灯的方式分割。然后，与0°、45°、90°、135°的图像化起偏器分别相当的LED面光源3802中的4个分割发光区域A、B、C、D依次亮灯。例如，分割发光区域A亮灯时，其他分割发光区域B、C、D不亮灯。这时，分割发光区域发出的光不是偏振光，但是入射到图案化起偏器滤光片3801中0°角度的图案化起偏器。仅向该图案化起偏器的偏振光透光轴的方向偏振的光能够透过图案化起偏器滤光片3801。如此，通过使分割发光区域A、B、C、D依次亮灯，如图38的参照符号303～306所示，出射光的偏振面旋转。各个分割发光区域A、B、C、D至少含有1个LED元件。

还有为了简单，在图38所示的结构中，图案起偏器滤光片3801具有四等分结构，但是例如也可以采用偏振面的方位为不同的4个图案化起偏器、和在各图案化起偏器上所分配的发光区域被分割得更细小的结构。

另外，如果使全部的分割发光区域亮灯，则也能够作为非偏振光光源307发挥作用。根据该结构，能够将偏振面的旋转所需要的时间缩短至作为LED的亮灯响应速度的10(μS)左右，帧切换时间内结束偏振面的变化。由此，在运动图像摄影时改变偏振面的时间变短至不构成问题的程度。

图39表示使用该偏振光光源拍摄运动图像时的时间图。时间t1(3901)表示偏振面切换时间，时间t2(3902)表示1帧的成像曝光时间。这时，在1张偏振图像摄影中，需要t1+t2＝T(sec)。因此，为了高分辨率，需要以4T(sec)为1组的4张不同的偏振面照明下的图像。为了使运动图像高分辨率，需要在该4T(sec)的时间内使被摄物体静止不动。因此，在拍摄通常的被摄物体的运动图像中，必须满足下式。

[算式41]

4T(sec)＜1/30(sec) (式41)

因此，需要如下这样的高速摄影。

[算式42]

T(sec)＜1/120(sec) (式42)

这样的高速摄影，只要也使成像元件高速化，并且提高本实施方式中的照明的照度而缩短曝光时间即可。结果在运动图像中，也能够自如地实现高分辨率化。

(实施方式5)

本实施方式与实施方式2相同，可以一边使用偏振面旋转的偏振照明光，一边在图像摄影中利用通常的彩色亮度的照相机进行自动变焦。

图40是表示实施方式5的图。与实施方式2的图33的不同点只在于，照相机3201是通常的彩色照相机。彩色照相机通过彩色成像元件4001，分别在R、G、B的波段取得R图像4002、G图像4003、B图像4004。

通过每次由偏振面控制部204使偏振照明光变化而拍摄彩色图像，能够对应各偏振状态而得到多个作为彩色亮度图像的4002、4003、4004。然后，通过彩色高分辨率化处理部4005的处理，生成高分辨率法线图像208和高分辨率彩色图像4006。本实施方式的主要效果在于，不是实施方式2的图像单纯的彩色化，而是通过使用彩色信息，正确地分离各种不需要的多重反射成分，从而能够利用物理方面需要的多重反射成分这一点。

在一边参照图14一边进行的说明中，假定微平面形成凹槽：槽1401，在其斜面发生两次次反射。将这时的第一次次和第二次反射的性质分离成镜面反射和漫反射时，能够假设有如下4种现象，

1)第一次：漫反射第二次：镜面反射

2)第一次：漫反射第二次：漫反射

3)第一次：镜面反射第二次：漫反射

4)第一次：镜面反射第二次：镜面反射

在实施方式2中，被摄物体的着色暗淡时，以4)的第一次或第二次均为镜面反射的现象作为主要的现象考虑并分析。但是一般来说，需要进行将1)～3)的多重反射的成分作为成分从观测亮度中分离的前处理。在实施方式2中，因为假设为单色处理，所以正确地实施该分离有困难。

在本实施方式中，使用RGB的彩色成分解决该问题。以下说明各多重反射的物理的性质。

还有，在以下的说明中，由于反射现象导致光的颜色和偏振光的属性改变这一点是重点。漫射光值得注意的点在于，(i)因为有曾经渗透到介质的内部的光射出，所以照明光为白色时会被物体的介质的颜色着色；和(ii)出射时的偏振光依存于出射角，在本实施方式中为45-50°，因此极低，几乎是非偏振光。

图41描述的是相当于上述1)的两次反射。第一次反射中成为非偏振光的漫射光的光具有物体的介质固有的颜色，因此在第二次镜面反射中成为着色的反射成分，并且作为镜面反射呈现部分偏振光。在图中，将之以椭圆4101、4102表现。还有椭圆并不是准确地表现部分偏振光的形状，而是模式化地表现。在此若改变入射光的偏振方向，则在介质内折射、渗透的光量变化，因此面向第二次反射的入射光量变动，结果是第二次的反射成分的光量变动，因此4101、4102这样的椭圆的大小变动，亮度变动。

图42描述的是相当于上述2)的两次反射。在第一次反射中着色的漫射光第二次再度作为着色的漫射光射出。另外，若改变入射光的偏振方向，则在介质内折射、渗透的光量变化，因此面向第二次反射的入射光量变动，结果是第二次的反射成分的光量也变动，但反射光为非偏振光。

图43描述的是相当于上述3)的两次反射。第一次反射中发生镜面反射的光，以颜色白色光的状态成为镜面反射的偏振光。然后第二次作为着色的非偏振光的漫射光反射，但是，若改变入射光的偏振方向，则第一次反射的光量变化，因此结果是第二次的反射成分的光量变动。

以上，若归纳最终观测到的两次反射后的光的性质，则如表1。

[表1]

在本实施方式中，主要利用的4)的1、2次均只有镜面反射的反射光维持白色光，相对于此，1)～3)的反射光全部是着物体色的彩色光。若改变照明的偏振方向，则两种亮度成分均分别发生变动，为了将其分离，只是单一的亮度是不可能的。

因此，使用彩色照相机一边依次改变偏振照明光的偏振面一边进行摄影，使彩色亮度R、G、B的变化的函数近似为周期180°的余弦函数。设照明的偏振面的角度为ΨI如下。在此，亮度I和振幅A作为均具有(R、G、B)三种成分的矢量。该亮度变动中的相位ΦI一般各色均通用。

[算式43]

I(ψ_I)＝A_Icos(2(ψ_I-φ_I)) (式43)

在此得到的最小值假定为物体色。

[算式44]

I_D＝I_min (式44)

另外设光源色已知并为下式，

[算式45]

I_L (式45)

则以下的矢量方程式成立。

图44在RGB色空间内表示该矢量的关系的概念图。

[算式46]

I＝α·I_L+β·I_D (式46)

该方程式对于两个未知数具有RGB三种成分，因此能够由最小二乘法说明。作为结果是使用得到的权系数，能够对于变动的亮度进行成分分离，表1中的4)的反射成分如下。

[算式47]

I₄₎＝α·I_L (式47)

图45是表示以上操作的流程图。与实施方式2中说明的图34不同的只有如下部分：在S4501中取得彩色RGB图像的部分，和在S4502中从彩色RGB成分中分离在表1的4)的1、2次反射中均为镜面反射的成分。分离的亮度成分具有照明的白色，因此可以只看作亮度处理，流程图的其他部分相同。在此得到的高分辨率图像因为只有镜面反射成分，所以使用式46再度将其合成，由此能够得到最终的高分辨率彩色图像。

还有，通过实施方式1～5，以偏振照明光的偏振面旋转角递增45°为例进行了说明，但该角度任意。

产业上的可利用性

本发明可以广泛应用于民用数码相机、电影摄影机、医疗用图像诊断装置、医疗用内窥镜照相机、监控摄像头、机器人视觉、表面检查装置等。

符号说明

101 自动变焦照相机装置

102 偏振光光源

103 偏振照相机

104 被摄物体

105 偏振照明光

106 偏振反射光

107 角度∠LV

201 偏振成像元件

202 亮度偏振信息处理部

203 高分辨率化处理部

204 偏振面控制部

205 成像控制部

206 亮度图像Y

207 偏振相位图像P

208 高分辨率化法线图像

209 高分辨率亮度图像。

Claims

1.一种图像处理装置，其中，具有：

偏振光光源，其将作为使偏振面依次变化的直线偏振光的偏振照明光照射到被摄物体表面；

照相机，其具有排列有多个光敏器件的成像面，并从所述被摄物体表面的反射光取得所述被摄物体表面的亮度图像，该多个光敏器件分别具有相当于1像素的尺寸；

高分辨率化处理部，其使用与所述偏振面的变化所伴随的所述亮度图像的亮度变量，对所述被摄物体表面中的比1像素小的多个亚像素区域的法线进行推定，且使用所推定的法线使所述亮度图像高分辨率化，

所述照相机取得所述被摄物体表面的亮度图像时，在所述偏振光光源和所述照相机的配置关系被固定的状态下，所述直线偏振光的偏振面变化。

2.根据权利要求1所述的图像处理装置，其中，

所述偏振光光源的光轴和所述照相机的光轴之间的角度为10°以下。

3.根据权利要求1所述的图像处理装置，其中，

所述照相机是偏振照相机，该偏振照相机具有使在特定的方位偏振的直线偏振光透射的偏振光滤光片。

4.根据权利要求3所述的图像处理装置，其中，

所述偏振光滤光片具有多个图案化起偏器，该图案化起偏器被配置在与所述多个光敏器件分别对向的位置。

5.根据权利要求1所述的图像处理装置，其中，

所述照相机是取得单色亮度图像或彩色亮度图像的照相机。

6.根据权利要求1～5中任一项所述的图像处理装置，其中，

所述偏振光光源中，

在静止图像拍摄时，一边使偏振面变化一边将偏振照明光照射到被摄物体上；

在运动图像拍摄时，偏振面随机的非偏振光得以照射；

实行静止图像和运动图像的高分辨率化。

7.根据权利要求1～6中任一项所述的图像处理装置，其中，

所述偏振光光源具有：

分别能够独立发光的多个分割光源；

在与所述多个分割光源对向的位置所设置的多个图案化起偏器，

所述直线偏振光的偏振面的方向，由从所述多个分割光源之中的一部分的分割光源放射的光透过的图案化起偏器的偏振光透光轴的方向所规定。

8.根据权利要求1～7中任一项所述的图像处理装置，其中，

所述高分辨率处理部中，

通过将与所述偏振面的变化所伴随的所述亮度变量按彩色成分加以利用，由此，从所述被摄物体表面的多重反射成分中分离：两次都呈现镜面反射的成分、和至少一次呈现漫反射的成分。

9.根据权利要求1～8中任一项所述的图像处理装置，其中，

所述高分辨率处理部中，根据所述被摄物体表面的反射状态，将所述亮度图像的1像素分类为多个区域，推定各区域中的亮度、法线和面积比，由此决定1像素内的法线直方图。

10.根据权利要求9所述的图像处理装置，其中，

所述多个区域形成：在各像素内沿一个方位延伸的至少一个凹槽。

11.根据权利要求1～8中任一项所述的图像处理装置，其中，

所述高分辨率化处理部中，利用通过向所述被摄物体表面从大致正上方照射的偏振照明光而在所述被摄物体表面所发生的光的多重反射现象，推定所述亮度图像的1像素内的法线直方图。

12.根据权利要求1～8中任一项所述的图像处理装置，其中，

所述高分辨率化处理部中，通过利用所述被摄物体表面的光的多重反射现象，来推定所述亮度图像的1像素内的法线直方图。

13.根据权利要求9～12中任一项所述的图像处理装置，其中，

所述高分辨率化处理部中，根据所推定的1像素内的法线直方图，决定所述1像素内的所述亚像素区域的配置，而生成高分辨率法线图像。

14.根据权利要求8所述的图像处理装置，其中，

所述多个区域由如下区域构成：

通过所述偏振照明光的一次反射，使所述反射光到达所述照相机的S区域；

通过所述偏振照明光的二次多重反射，使所述反射光到达所述照相机的T区域；和

未使所述反射光到达所述照相机的D区域。

15.一种图像处理方法，其中，

将作为使偏振面依次变化的直线偏振光的偏振照明光照射到被摄物体表面，

从所述被摄物体表面的反射光取得所述被摄物体表面的亮度图像，

使用与所述偏振面的变化所伴随的所述亮度图像的亮度变量，对所述被摄物体表面中的比1像素小的多个亚像素区域的法线进行推定，且使用推定的法线使所述亮度图像高分辨率化，

并且，在所述照相机取得所述被摄物体表面的亮度图像时，在所述偏振光光源和所述照相机的配置关系被固定的状态下，使所述直线偏振光的偏振面变化。

16.一种程序，其是在具备偏振光光源和照相机的装置所使用的程序，其中，

所述偏振光光源将作为使偏振面依次变化的直线偏振光的偏振照明光照射到被摄物体表面，

所述照相机具有排列有多个光敏器件的成像面，且从所述被摄物体表面的反射光取得所述被摄物体表面的亮度图像，该光敏器件分别具有相当于1像素的尺寸，

所述程序使所述装置运行如下步骤：

将作为使偏振面依次变化的直线偏振光的偏振照明光照射到被摄物体表面的步骤；

从所述被摄表面的反射光取得所述被摄物体表面的亮度图像的步骤；

使用与所述偏振面的变化所伴随的所述亮度图像的亮度变量，对所述被摄物体表面的比1像素小的亚像素区域的法线进行推定，且使用所推定的法线使所述亮度图像高分辨率化的步骤。