CN102017601A - 图像处理装置、图像分割程序及图像合成方法 - Google Patents

Abstract

本发明提供一种图像处理装置、图像分割程序及图像合成方法。偏振图像摄像部(103)取得含有偏振信息的第一偏振图像。偏振信息取得部(104)根据第一偏振图像取得第一偏振信息。投光控制部(102)使投光部(101)变化，且由偏振图像摄像部(103)再次取得第二偏振图像。偏振信息取得部(104)根据第二偏振图像取得第二偏振信息。光源依存度推定部(105)根据从第一、第二偏振图像求出的第一、第二偏振信息，取得光源依存度。区域分割部(106)，利用偏振信息和光源依存度信息，进行区域分割。

Description

图像处理装置、图像分割程序及图像合成方法

技术领域

本发明涉及一种图像处理技术，尤其涉及一种用于提高在被拍摄体的形状信息取得和图像合成时成为问题的图像分割精度的技术。

背景技术

已知物体的外观由被被拍摄体的表面所反射的入射光作为“光泽”(てかり)而被观测的镜面反射成分、和通过在物体内部重复进行散射(スキヤツタリング)而被观测的漫反射(拡散反射)成分等多个成分构成。

近几年，为了以数字档案馆(デジタルア一カイブ)为目的的信息压缩和取得被拍摄体的形状/表面材料，将图像按照这样的各成分来分离的方法(例如非专利文献1、非专利文献2、非专利文献3)进行得较广泛。这是因为，通过按照所分离的每个成分来进行处理，能够进行更高精度的处理。

作为将图像如此分离为各成分的方法，分离为镜面反射成分和漫反射成分的方法较广泛地进行。尤其利用偏振信息的方法，能够利用简单的装置来分离镜面反射和漫反射，因此被研究得较广泛。该方法，通过将直线偏振后的光源向被拍摄体照射，并且置在照相机和被拍摄体之间的直线偏振光滤光器(

光フイルタ)在光轴周围旋转，从而对镜面反射成分和漫反射成分进行分离。

已知，当设定直线偏振光滤光器的旋转角度(偏振主轴角度)为φ时，在被观测的各像素中的亮度值相对于旋转角度φ以sin函数的形状来变化。将该sin函数的振幅成分设定为“镜面反射成分”，且设偏斜(バイアス)成分为“漫反射成分”，从而能够进行图像分离。即，关于构成图像的各多个像素，根据镜面反射成分及漫反射成分中的哪一个为支配性的(支配的)，能够将其像素分配到“镜面反射区域”及“漫反射区域”的其中的一方。换言之，由镜面反射成分支配的像素构成“镜面反射区域”，由漫反射成分支配的像素构成“镜面反射区域”。

如此，对于被拍摄体表面进行区域分割的方法，按照以下，能够依赖 (依存)镜面反射和漫反射的偏振特性(

光特性)的差异而执行。

·镜面反射成分是由表面反射产生的，因此保持入射光的偏振特性。由此，作为在照相机中所观测到的亮度的偏振光成分而被观测。

·就漫反射而言，由于重复进行散射，因此失去入射光的偏振特性。由此，作为在照相机中所观测到的亮度的非偏振光成分被观测。

这些偏振特性以以下的两个条件为前提。

(条件1)在将直线偏振光进行投光的情况下，镜面反射成分作为偏振光成分而被观测。

(条件2)在将直线偏振光进行投光的情况下，漫反射成分作为非偏振光成分而被观测。

参照图74(a)至(c)对以往的区域分割进行说明。

图74(b)及(c)是分别表示利用以往的区域分割对图74(a)的图像进行分割的镜面反射区域及漫反射区域。即，在图74(b)中，由白色像素所示的区域是作为“镜面反射区域”而被分割的区域，相对于此，在图74(c)中，由白色像素所示的区域是作为“漫反射区域”而被分割的区域。

对这些图像进行观察时，遮蔽边缘(エツジ)附近即球的周边部(图74(b)的区域A)作为“镜面反射区域”而被分割。但是，镜面反射产生在正反射区域及其附近。在这种遮蔽边缘区域中推定镜面反射成分是表示分离精度不充分。

产生这种问题的原因在于，由于漫反射成分的一部分成为偏振光，因此不满足(条件2)。以下，参照图72及图73对产生这种问题的原因进行考察。

图72及图73分别是在被拍摄体的折射率n＝1.1、1.3、1.5、2.0的情况下表示镜面反射成分的偏振度的图(グラフ)及表示漫反射成分的偏振度的图(例如参照L.B.Wolffand T.E.Boult，“Constraining object featuresusing a polarization reflectance model”，IEEE Transactions on PatternAnalysis and Machine Intelligence，Vol.13，No.7，pp.635-657，1991)。这里，图72的图的横轴是表示入射角，纵轴是表示偏振度，而且图73的图的横轴是表示出射角，纵轴是表示偏振度。从该图可知以下情况：

·在出射角充分大的区域以外，漫反射成分的偏振度充分小；

·在出射角充分大的区域中，漫反射成分的偏振度，与镜面反射成分的偏振度相比充分大。

即，可知以下的情况：

·在出射角充分大的区域以外，(条件2)成立；

·在出射角充分大的区域中，(条件2)不成立。

其较大的原因在于，在图74中所示的以往的区域分割中，镜面反射成分和漫反射成分的分离未准确地起到作用。

非专利文献1：Y.Sato，M.D.Wheeler，and K.Ikeuchi，“Object shapeand reflectance modeling from observation”，SIGGRAPH 97，pp.379-387，1997

非专利文献2：宫崎大辅，柴田卓司，池内克史，“Wavelet-Texture法：基于Daubechies小波(ウエ一ブレツト)、参数(パラメトリツク)反射模型(モデル)和圆偏振光片(円

光板)的BTF压缩”，电子信息通信学会论文杂志，Vol.J90-D No.8，pp.2081-2093，2007

非专利文献3：T.Shibata，T.Takahashi，D.Miyazaki，Y.Sato，K.Ikeuchi，“Creating Photorealistic Virtual Model with Polarization Based VisionSystem”，in Proceedings of SPIE(Polarization Science and Remote Sensing II，Part of SPIE′s International Symposium on Optics and Photonics 2005)，Vol.5888，pp.25-35，2005

由于近几年的照相机的高动态范围(ダイナミツクレンジ)化，这种问题的严重性(重要性)今后进一步增加。在以往的照相机中，由于亮度的动态范围不是充分宽，因此观测到漫反射偏振度的情况较少。但是，由于近几年照相机的高动态范围化的进展，如前面所述的分离精度的恶化成了较大的问题。

这种镜面反射成分和漫反射成分的分离精度之恶化，在进行被使用在数字档案馆或扩张现实的领域中的模基(モデルベ一ス)图像合成时，成为较大的问题，即合成质感(質感)大不相同的图像。模基图像合成是在CG(Computer Graphics)的领域中被广泛应用的技术。由于能够进行视点变换和光源环境变化等多种图像处理，因此作为数字档案馆和交互式(インタラクテイブ)图像的提示方法非常有效。另外，也能有效地进行数据压缩。作为其一例，已知将图像分离为镜面反射成分和漫反射成分，并且就镜面反射成分和漫反射成分而言，分别以Cook-Torrance模型和Lambertian模型来对图像进行模型化的方法。

对图75(a)中所示的像，关于被拍摄体的区域C取得了在图75(b)的图中所示的数据。图75(b)是关于图75(a)的区域C，将视线矢量(ベクトル)与照明方向矢量的中间矢量β、镜面反射成分的亮度值Is分别在横轴、纵轴上图线化(グラフ化)的图。在图75(b)的图中，白色○是对关于区域C所观测到的强度值Is进行绘图(プロツトした)的结果。另外，黑色■是对Cook-Torrance模型的各反射参数进行推定而作成图的结果。从该图可知，模型设备(モデルフイツテイング)没有良好地工作。

图76是表示利用以往的区域分割方法作成的合成图像。如此，在利用推定中失败的参数进行图像合成的情况下，合成图像的质感成为离实物很远。这样的推定失败的原因在于，伴随所述镜面反射成分和漫反射成分的分离精度的恶化，尤其在中间矢量β较大的区域中，亮度值Is被推定为大于实际值。镜面反射成分和漫反射成分的分离精度的不充分度，是在各模型的参数推定时，利用和实际不同的镜面反射成分和漫反射成分而产生的。由此推定和实际不同的模型参数(モデルパラメ一タ)。如以上所述，图像的准确区域分割，在模基图像合成中非常重要。

发明内容

本发明的图像处理装置，其通过对被拍摄体进行摄像，进行对于所述被拍摄体表面的光学性区域分割，所述图像处理装置具有偏振图像摄像部，其通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，而取得被拍摄体的偏振图像，且基于所述被拍摄体表面的偏振状态、表示在变化从光源发射的光的偏振状态及光源位置中的至少一方的情况下的所述被拍摄体表面的偏振状态变化程度的光源依存度，进行区域分割。

在优选的实施方式中，具有：投光单元，其具备所述光源，并且能够使从所述光源发射的光的偏振状态及光源位置中的至少一方变化；和控制部，其进行基于所述投光单元的从所述光源发射的光的偏振状态和光源位置中的至少一方的变化，与基于所述偏振图像摄像部的摄像的同步处理。

在优选的实施方式中，具有：投光控制部，其使从所述光源发射的光的偏振状态变化；偏振信息取得部，其根据所取得的所述偏振图像，关于构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；光源依存度推定部，其对利用所述投光控制部而使得从所述光源发射的光的偏振状态变化时的、由所述偏振信息取得部所生成的偏振信息进行比较，从而推定光源依存度信息；以及区域分割部，其基于由所述偏振信息取得部生成的偏振信息和由所述光源依存度推定部推定出的光源变动信息，进行区域分割。

在优选的实施方式中，所述偏振信息取得部，作为偏振信息生成偏振度、偏振光相位、偏振推定误差、偏振光最大亮度值及偏振光最小亮度值的其中的至少一个。

在优选的实施方式中，所述区域分割部以所述被拍摄体表面被分割成漫反射区域及镜面反射区域中的其中之一的方式进行所述区域分割。

在优选的实施方式中，所述区域分割部以所述被拍摄体的表面被分割为光源依存偏振光区域、光源依存非偏振光区域、光源非依存偏振光区域及光源非依存非偏振光区域的其中之一的方式进行所述区域分割。

在优选的实施方式中，所述区域分割部以所述被拍摄体表面进一步被分割为阴影区域的方式进行所述区域分割。

在优选的实施方式中，所述投光控制部使直线偏振光的主轴方向变化。

在优选的实施方式中，所述投光控制部使直线偏振光的主轴方向变化90度。

在优选的实施方式中，具有偏振状态不同的多个投光部，且所述投光控制部通过对多个投光部进行切换，从而使偏振状态变化。

在优选的实施方式中，投光部处于偏振图像摄像部附近。

在优选的实施方式中，光源依存度推定部将偏振光相位及偏振度中的至少一方的变化值作为偏振光依存度而进行推定。

在优选的实施方式中，具有：投光位置变化部，其使所述光源的位置变化；偏振信息取得部，其根据所取得的所述偏振图像，关于构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；光源依存度推定部，其对利用所述投光控制部而使得所述光源的位置变化时的、由所述偏振信息取得部所生成的偏振信息进行比较，从而推定光源依存度信息；和区域分割部，其基于由所述偏振信息取得部生成的偏振信息和由所述光源依存度推定部推定出的光源变动信息，进行区域分割。

在优选的实施方式中，具有光源位置不同的多个投光部，且所述投光位置变化部对多个投光部进行切换，从而使投光部的位置变化。

在优选的实施方式中，所述投光位置变化部通过移动投光部，从而使光源位置变化。

在优选的实施方式中，所述区域分割部以所述被拍摄体表面被分割为漫反射区域及镜面反射区域的其中之一的方式进行所述区域分割。

在优选的实施方式中，所述区域分割部以所述被拍摄体表面被分割为镜面反射区域、漫反射区域及阴影区域的其中之一的方式进行所述区域分割。

在优选的实施方式中，所述区域分割部以所述被拍摄体表面被分割为镜面反射区域、漫反射区域、attached shadow区域及cast shadow区域的其中之一的方式进行所述区域分割。

本发明的图像处理系统，具有投光装置和区域分割装置，通过对被拍摄体进行摄像而进行针对所述被拍摄体表面的光学性区域分割，其中，所述投光装置具有：投光部，其将直线偏振光向所述被拍摄体投光；和投光控制部，其使所述投光部的直线偏振光的偏振状态发生变化，所述区域分割装置具有：偏振图像摄像部，其通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，从而取得所述被拍摄体的偏振图像；摄像判定部，其对由所述偏振图像摄像部在过去所摄像的偏振图像和当前所摄像的偏振图像进行比较，而判断所摄像的偏振状态是否充分变化；偏振信息取得部，其根据所取得的所述偏振图像，对于构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；光源依存度推定部，其对由所述摄像判定部判定为利用所述投光控制部而使所述投光部的偏振状态发生了变化时的、由所述偏振信息取得部所生成的偏振信息进行比较，从而推定光源依存度信息；以及区域分割部，其利用由所述偏振信息取得部所生成的偏振信息和由所述光源依存度推定部所推定出的光源变动信息，进行区域分割。

本发明的其它图像处理系统，具有投光装置和区域分割装置，且通过对被拍摄体进行摄像而进行针对所述被拍摄体表面的光学性区域分割，其中，所述投光装置具有：投光部，其将直线偏振光投光到所述被拍摄体；投光控制部，其使所述投光部的直线偏振光的偏振状态发生变化；以及通信部，其将通知投光的信号向所述区域分割装置发送，且从所述区域分割装置接收通知摄像结束的信号，所述区域分割装置具有：通信部，其从所述投光装置接收通知投光的信号，且向所述投光装置发送通知摄像结束的信号；偏振图像摄像部，其通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，而取得被拍摄体的偏振图像；摄像判定部，其对由所述偏振图像摄像部在过去所摄像的偏振图像和当前所摄像的偏振图像进行比较，且判断所摄像的偏振状态是否充分变化；偏振信息取得部，其根据所取得的所述偏振图像，针对构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；光源依存度推定部，其对由所述摄像判定部判定为利用所述投光控制部而使得所述投光部的偏振状态发生了变化时的、由所述偏振信息取得部所生成的偏振信息进行比较，从而推定光源依存度信息；以及区域分割部，其利用由所述偏振信息取得部所生成的偏振信息和由所述光源依存度推定部所推定出的光源变动信息，进行区域分割。

本发明的区域分割方法，通过对被拍摄体进行摄像，而进行针对所述被拍摄体表面的光学性区域分割，其中，包括：投光步骤，其中将直线偏振光向所述被拍摄体投光；投光控制步骤，其中使所述投光部的直线偏振光的偏振状态发生变化；偏振图像摄像步骤，其中通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，从而取得被拍摄体的偏振图像；偏振信息取得步骤，其中根据所取得的所述偏振图像，针对构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；控制步骤，其中进行所述投光控制步骤和所述偏振图像摄像步骤的同步处理；光源依存度推定步骤，其中对利用所述投光控制步骤而使所述投光步骤的偏振状态变化时的、在所述偏振信息取得步骤中生成的偏振信息进行比较，从而推定光源依存度信息；以及区域分割步骤，其中利用由所述偏振信息取得步骤所生成的偏振信息和由所述光源依存度推定步骤所推定出的光源变动信息，进行区域分割。

本发明的程序，用于通过对被拍摄体进行摄像而进行对于所述被拍摄体表面的光学性区域分割的区域分割装置，所述程序由计算机(コンピユ一タ)执行包含在所述区域分割方法中的步骤。

本发明的模基(モデルベ一ス)图像合成装置，其其具有参数推定装置和图像合成装置，并利用反射模型对图像进行合成，其中，所述参数推定装置具有：图像摄像部，其对被拍摄体进行摄像；区域分割部，其利用权利要求15所述的区域分割方法，进行针对由所述图像摄像部所摄像的图像的光学性区域分割；光源信息推定部，其对与照射在被拍摄体上的光源有关的光源信息进行推定；形状信息取得部，其将被拍摄体表面的法线信息或三维位置信息作为形状信息而取得；参数推定部，其根据所摄像的被拍摄体，按被所述区域分割部所分割的每个区域，对由所述光源信息推定部所推定的光源信息和由所述形状信息取得部所取得的形状信息进行模型化，从而推定反射模型参数；和参数数据库，其对在所述参数推定部中所推定出的反射参数进行保持，所述图像合成装置具有：视点/光源信息取得部，其取得所合成的图像的视点、光源信息；以及构思图部，其利用保持在所述参数数据库中的反射参数信息，对基于在所述视点/光源信息取得部中所取得的视点、光源信息的图像，进行合成。

本发明的模基图像合成方法，其含有参数推定步骤和图像合成方法步骤，且利用反射模型来合成图像，其中，所述参数推定步骤包括：图像摄像步骤，其中对被拍摄体进行摄像；区域分割步骤，其中利用上述的区域分割方法，进行针对由所述图像摄像部所摄像的图像的光学性区域分割；光源信息推定步骤，其中对与照射在被拍摄体的光源有关的光源信息进行推定；形状信息取得步骤，其中将被拍摄体表面的法线信息或三维位置信息作为形状信息而取得；以及参数推定步骤，其中根据被摄像的被拍摄体，按被所述区域分割部所分割的每个区域，对由所述光源信息推定部所推定出的光源信息和由所述形状信息取得部所取得的形状信息进行模型化，从而推定反射模型参数，图像合成步骤包括：视点/光源信息取得步骤，其取得所合成的图像的视点、光源信息；和构思图步骤，其中利用由所述形状信息取得步骤所推定出的反射参数信息，对基于在所述视点/光源信息取得部中所取得的视点、光源信息的图像进行合成。

发明效果

根据本发明的图像处理，通过利用光源状态的依存度和偏振信息这两种信息，而能够准确地分割镜面反射区域和漫反射区域。另外，通过将基于光源状态的依存度和偏振信息这两种信息的区域分割利用在模基图像合成方法的参数推定中，从而能够合成忠实于(忠実な)被拍摄体的图像。

附图说明

图1是本发明的第1本实施方式所涉及的区域分割装置的方框图。

图2是表示本发明的第1本实施方式所涉及的区域分割方法的处理流程的流程图。

图3是表示搭载了本发明的第1本实施方式所涉及的区域分割装置的照相机的结构例的图。

图4是表示本发明中的图案偏振体和摄像装置中的摄像元件的关系的示意图。

图5是用于说明本发明的图案偏振体的排列状态的示意图。

图6是用于说明本发明中的正弦函数亮度变化和观测亮度点的示意图。

图7是对作为球体的地球仪的被拍摄体进行摄像的图像、根据该图像求出的偏振度ρ1和偏振光相位φmax1、偏振推定误差E1的图。

图8是对作为球体的地球仪的被拍摄体进行摄像的图像、根据该图像求出的偏振度ρ1和偏振光相位φmax1、偏振推定误差E1的图。

图9是将图7的图像根据亮度的高低分割为多个区域的图

图10是对泡沫苯乙烯(発

スチロ一ル)制的头部模型的被拍摄体进行摄像的图像、根据该图像求出的偏振度ρ1和偏振光相位

偏振推定误差E1的图。

图11是在光源的偏振状态与图7不同的状态下，对作为球体的地球仪的被拍摄体进行摄像的图像、根据该图像求出的偏振度ρ2和偏振光相位

偏振推定误差E2的图。

图12是在光源的偏振状态与图7不同的状态下，对作为球体的地球仪的被拍摄体进行摄像的图像、根据该图像求出的偏振度ρ2和偏振光相位

偏振推定误差E2的示意图。

图13是将图11的图像根据亮度的高低分割为多个区域的图。

图14是对由本发明的第1本实施方式所涉及的光源依存度推定部求出的偏振光相位的差值进行图像化的示意图。

图15是用于对偏振光位相差进行说明的示意图。

图16是表示本发明的第1本实施方式所涉及的区域分割部中的区域分割基准的图。

图17是表示本发明的第1本实施方式所涉及的区域分割部的处理流程的流程图。

图18是表示本发明的第1本实施方式所涉及的区域分割部的其它处理流程的流程图。

图19是表示本发明的第1本实施方式所涉及的区域分割部的其它处理流程的流程图。

图20是对被拍摄体即台球弹子(ビリヤ一ドボ一ル)进行摄像的图像和其示意图。

图21是表示基于本发明的第1本实施方式所涉及的区域分割装置的摄像条件的系统(システム)图。

图22是表示本发明的第1本实施方式所涉及的区域分割方法的处理的中间结果的图。

图23是将图22的图像根据亮度的高低分割为多个区域的图。

图24是表示本发明的第1本实施方式所涉及的区域分割方法的处理的中间结果的示意图。

图25是表示本发明的第1本实施方式所涉及的区域分割方法的处理结果的图。

图26是表示本发明的第1本实施方式所涉及的区域分割方法的其它处理结果的图。

图27是表示基于本发明的第1本实施方式所涉及的区域分割装置的摄像条件的其它系统图。

图28是表示搭载了本发明第1本实施方式所涉及的区域分割装置的照相机的其它结构例的图。

图29是表示本发明的第1本实施方式所涉及的区域分割部中的其它区域分割基准的图。

图30是表示本发明的第1本实施方式所涉及的区域分割部的其它处理流程的流程图。

图31是本发明的第2本实施方式所涉及的区域分割装置的方框图。

图32是表示本发明的第2本实施方式所涉及的区域分割方法的处理流程的流程图。

图33是表示搭载了本发明的第2本实施方式所涉及的区域分割装置的照相机的结构例的图。

图34是表示搭载了本发明的第2本实施方式所涉及的区域分割装置的照相机的结构例的图。

图35是表示基于本发明的第2本实施方式所涉及的区域分割装置的摄像条件的系统图。

图36是表示基于本发明的第2本实施方式所涉及的区域分割装置的摄像条件的其它系统图。

图37是表示本发明的第2本实施方式所涉及的区域分割方法的处理的中间结果的图。

图38是表示本发明的第2本实施方式所涉及的区域分割方法的处理的中间结果的示意图。

图39是将图37的图像根据亮度的高低分割为多个区域的图。

图40是表示基于本发明的第2本实施方式所涉及的区域分割装置的各发光装置与摄像装置的位置关系的示意图。

图41是表示本发明的第2本实施方式所涉及的区域分割方法的处理结果的示意图。

图42是表示本发明的第2本实施方式所涉及的区域分割方法的其它处理结果的示意图。

图43是表示本发明的第2本实施方式所涉及的区域分割部中的包括阴影区域的区域分割基准的图。

图44是表示对本发明的第2本实施方式所涉及的阴影区域也进行区域分割的区域分割部的处理流程的流程图。

图45是用于说明由attached shadow和cast shadow产生的阴影的分类的示意图。

图46是用于对attached shadow区域中的多重反射光的入射进行说明的示意图。

图47是用于对cast shadow区域中的多重反射光的入射进行说明的示意图。

图48是表示本发明的第2本实施方式所涉及的区域分割部中的包括attached shadow和cast shadow的区域分割基准的图。

图49是表示对本发明的第2本实施方式所涉及的attached shadow和cast shadow也进行区域分割的区域分割部的处理流程的流程图。

图50是表示本发明的第2本实施方式所涉及的区域分割部中的包括attached shadow和cast shadow的其它区域分割基准的图。

图51是表示对本发明的第2本实施方式所涉及的attached shadow和cast shadow也进行区域分割的区域分割部的其它处理流程的流程图。

图52是本发明的第3本实施方式所涉及的区域分割系统的方框图。

图53是表示本发明的第3本实施方式所涉及的区域分割方法的处理流程的流程图。

图54是表示搭载了本发明的第3本实施方式所涉及的区域分割装置的照相机和发光装置的结构例的图。

图55是表示本发明的第3本实施方式所涉及的区域分割方法的处理流程的流程图。

图56是本发明的第3本实施方式所涉及的区域分割系统的其它方框图。

图57是表示本发明的第3本实施方式所涉及的区域分割方法的其他的处理流程的流程图。

图58是表示搭载了本发明的第3本实施方式所涉及的区域分割装置的照相机和发光装置的其它结构例的图。

图59是表示本发明的一实施方式所涉及的图像合成装置的结构的方框图。

图60是表示本发明的一实施方式所涉及的图像合成方法中的参数推定方法的处理流程的流程图。

图61是表示本发明的一实施方式所涉及的图像合成方法中的图像合成推定方法的处理流程的流程图。

图62是表示搭载了本发明的图像合成装置的照相机的结构例的图。

图63是用于说明利用了镜面球的光源推定方法的示意图。

图64是用于说明法线方向矢量、视线矢量、光源方向矢量的关系的示意图。

图65是用于说明表述漫反射成分和镜面反射成分的亮度值差异的定数S_r的示意图。

图66是表示本发明的一实施方式所涉及的图像合成处理中的镜面反射图像的参数推定处理流程的图。

图67是用于说明表示入射照度的式子的各参数的概念图。

图68是利用表示单纯形法(シンプレツクス法)的参数推定处理流程的流程图。

图69是表示单纯形法中的参数更新处理流程的流程图。

图70是利用本发明的第1实施方式所涉及的区域分割装置来求出BRDF的示意图。

图71是表示在本发明的一实施方式所涉及的图像合成处理中的参数DB中保持的模型参数(モデルパラメ一タ)的示意图。

图72是表示在被拍摄体的折射率为n＝1.1、1.3、1.5、2.0的情况下的镜面反射成分的对于入射角的偏振度的图。

图73是表示在被拍摄体的折射率为n＝1.1、1.3、1.5、2.0的情况下的漫反射成分的对于出射角的偏振度的图。

图74是表示由以往的区域分割来所分割的镜面反射区域及漫反射区域的图。

图75是为了对以往方法的问题点进行说明而求出BRDF的示意图。

图76是利用以往的区域分割方法作成的合成图像。

图中：101-投光部，102-投光控制部，103-偏振图像摄像部，104-偏振信息取得部，105-光源依存度推定部，106-区域分割部，107-摄像判定部，108-投光装置，109-区域分割装置，110-通信部，111-通信部，112-投光位置变化部，120-控制部，121-投光单元，122-偏振信息取得部。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

(第1实施方式)

首先，对本发明的第1实施方式中的图像处理装置的简要进行说明。本实施方式的图像处理装置，通过对投光部(光源)的偏振光状态进行变化，从而计算光源依存度。通过利用偏振信息和伴随偏振光状态变化的光源依存度，进行被拍摄体的区域分割。

图1是本实施方式所涉及的图像处理装置的方框图。该图像处理装置是通过对被拍摄体进行摄像，将被拍摄体表面分割为光学性质不同的多个区域(进行区域分割)的装置。

该图像处理装置具备：投光单元121，其对偏振光状态进行变化，从而使直线偏振光向被拍摄体投光；偏振信息取得部122，其取得被拍摄体的偏振信息；控制部120，其进行投光单元121及偏振信息取得部122的同步处理；光源依存度推定部105，其在通过投光单元121使得偏振光状态(在本实施方式中，直线偏振光的偏振主轴方向)变化时，对偏振信息取得部122中生成的各偏振信息进行比较，从而推定光源依存度信息；区域分割部106，其利用由偏振信息取得部122生成的偏振信息和由依存度推定部105推定出的光源变动信息，进行区域分割。

投光单元121具有：投光部101，其使直线偏振光向所述被拍摄体投光；投光控制部102，其使投光部101的直线偏振光的偏振光状态产生变化。偏振信息取得部122具有：偏振图像摄像部103，其取得被拍摄体的偏振图像；偏振信息取得部104，其生成与所受光的偏振光有关的信息即偏振信息；偏振图像摄像部103，通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，从而取得被拍摄体的偏振图像。偏振信息取得部104，根据所取得的所述偏振图像，关于构成该偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息。

图2是表示本实施方式所涉及的区域分割方法的处理流程的流程图。在图2的步骤S101中，投光部101将在由投光控制部102指示出的主轴方向上偏振的偏振光向被拍摄体投光。在步骤S102中，偏振图像摄像部103通过后述的图案偏振体将被拍摄体在摄像像素中进行受光，从而取得含有偏振信息的图像即第一偏振图像。这通过在控制部120的控制下，投光单元121和偏振信息取得部122进行同步处理从而得以实现。

图案偏振体具有如后述的三个方向以上的偏振主轴角度。在步骤S103中，偏振信息取得部104，关于构成被摄像后的所述第一偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息。

在步骤S104中，投光控制部102以投光部101的直线偏振光的主轴方向变化的方式对投光部101进行控制，投光部101将与步骤S101不同偏振状态的偏振光向被拍摄体投光。在步骤S105中，偏振图像摄像部103再次通过图案偏振体201，由摄像元件对被拍摄体进行受光，从而取得第二偏振图像。这通过在控制部120的控制下由投光单元121和偏振信息取得部122进行同步处理而实现。

第一偏振图像和第二偏振图像为投光部101的直线偏振光的主轴方向发生变化的偏振图像。在步骤S106中，偏振信息取得部104，关于构成再次摄像的所述第二偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与受光后的偏振光有关的信息即偏振信息。

在步骤S107中，光源依存度推定部105，通过对从第一偏振图像及第二偏振图像中由所述偏振信息取得部104所取得的偏振信息进行比较，从而推定光源依存度。在步骤S108中，区域分割部106，利用由所述偏振信息取得部104生成的偏振信息和由所述光源依存度推定部105所推定出的光源依存度信息，进行区域分割。

这里，投光控制部102、偏振图像摄像部103、偏振信息取得部104、光源依存度推定部105、区域分割部106及控制部120，通过CPU204执行程序而实现。但是，也可以利用硬件(ハ一ドウエア)来实现这些功能的全部或一部分。存储器(メモリ)203保存由偏振图像摄像部103所摄像的偏振图像、由偏振信息取得部104所取得的偏振信息、由光源依存度推定部105所推定出光源依存度信息。

接着，参照图3对搭载了本实施方式所涉及的图像处理装置的照相机的结构和动作进行说明。图3是表示这样照相机的结构例的方框图。图3的照相机具备：图案偏振体201、摄像装置202、存储器203、CPU204、投光控制装置208、发光装置207、旋转机构206及偏振体205。

在步骤S101中，使偏振光从图3的照相机向被拍摄体投光。在利用闪光(フラツシユ)作为发光装置207的情况下，由于在闪光的前方设置有偏振光滤光器(偏振体205)，因此能够使偏振光向被拍摄体进行投光。作为利用偏振光的机构，也可以利用液晶偏振体等。

偏振体205通过旋转机构206旋转。投光控制部102通过对旋转机构206进行控制，从而使偏振光的主轴方向变化。在作为偏振体不利用偏振光滤光器，而利用液晶偏振体的情况下，投光控制部102，通过使对液晶偏振体施加的电压变化，使偏振光的主轴方向变化。

以下，对具有图3中所示的结构的照相机的动作进行详细说明。

首先，在图2中所示的步骤S101中，图1的投光部101利用发光装置207和偏振体205，将在被投光控制部102指示的主轴方向上偏振的偏振光向被拍摄体投光。这，例如在利用照相机的闪光作为发光装置207的情况下，可以通过在闪光的前方设置偏振光滤光器(偏振体205)而实现。作为利用偏振光的机构，也可以利用液晶偏振体等。

偏振体205通过旋转机构206旋转。投光控制部102通过对旋转机构206进行控制，从而使偏振光的主轴方向变化。在作为偏振体不利用偏振光滤光器，而利用液晶偏振体的情况下，也可以由投光控制部102使对液晶偏振体施加的电压产生变化，从而使偏振光的主轴方向变化。

在步骤S102中，偏振图像摄像部103，通过图案偏振体201，由摄像装置202对被拍摄体进行受光，从而取得含有偏振信息的图像即第一偏光图像。这，通过由CPU120使基于发光装置207的发光与基于旋转机构206的偏振体205的旋转及基于摄像装置202的摄像相同步而执行。

图4是表示图1中所示的偏振图像摄像部103中所包含的图案偏振体201和摄像装置202的关系的示意图。在本实施方式中，在摄像装置202中重复设置有图案偏振体201。优选与摄像装置202的摄像面平行地设置图案偏振体201。入射光透过图案偏振体201而到达摄像元件202，且亮度被观测，因此偏振图像摄像部103能够取得偏振信息。

图5是表示该四种类的图案偏振体，且各像素内的直线表示被配置在各像素上的微小偏振片的偏振主轴方向。即，该摄像装置具备：具有由偏振光轴的旋转角(φi＝0°、45°、90°、135°)规定的四种类的偏振方向的像素。图案偏振体显示TM波透过、且TE波反射(不透过)的偏振特性。

这样的特性，例如可以利用“川岛，佐藤，川上，长岛，太田，青木，‘使用图案化偏振体的偏振光成像设备(イメ一ジングデバイス)和利用技术的开发’，电子信息通信学会2006年总合全国大会，No.D-11-52，P52，2006”中记载的光子晶体(フオトニツク

晶)作成。在光子晶体的情况下，具有与形成在表面的槽平行的振动面的光成为TE波，具有与槽垂直的振动面的光成为TM。在取得该偏振信息时，优选亮度的动态范围(ダイナミツクレンジ)和位(ビツト)数尽量大(例如为16位)。

在图2的步骤S103中，偏振信息取得部104，关于构成第一偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息。对该处理进行详细叙述。

公知透过偏振体的光(在偏振主轴方向上偏振的直线偏振光)的亮度，由于偏振体的偏振主轴角而变化。图6是表示透过不同偏振主轴角度φi＝0°、45°、90°、135°的四种类偏振体的亮度401至404形成一条正弦函数曲线(カ一ブ)的样子。该正弦函数曲线是表示图5的点501上的偏振特性。这里，图5是从入射光方向观察图4的四种类偏振体201和摄像元件202的示意图。

另外，偏振主轴角度0°和180°(π)是相同的。此外，当求出该正弦函数曲线时，优选采用摄影γ(ガンマ)＝1的照相机，或者通过线性(リニアリテイ)校正而校正为摄影γ＝1。虽然画出该四个点正好处于一条正弦函数曲线上，但实际上，由多数观测点以180度周期的正弦函数为最佳值而确定一条曲线。

偏振信息取得部104，取得该曲线的振幅和相位信息而作为偏振信息。具体而言，对相对于图案偏振体的主轴角φ的反射光亮度I进行如下的近似。

[数学式1]

I(φ)＝A·sin2(φ-B)+C                (式1)

其中如图6中所示，A、B、C为常数，分别表达由偏振体产生的亮度的变动曲线的振幅、相位、平均值。那么，式1可以展开为如下：

[数学式2]

I(φ)＝a·sin2φ+b·cos2φ+C          (式2)

其中，

[数学式3]

$A=\sqrt{a^2+b^2},\sin (-2B)=\frac{b}{\sqrt{a^2+b^2}},\cos (-2B)=\frac{a}{\sqrt{a^2+b^2}}$ (式3)

[数学式4]

$B=-\frac{1}{2}{\tan }^{-1}\left(\frac{b}{a}\right)$ (式4)

即，在4个像素的样品(サンプル)(φ_i I_i)中，通过求出使得以下的式5最小的A、B、C，从而能够进行正弦函数即式1的近似。其中，I_i表示偏振片旋转角度为φ_i时的观测亮度。另外，N为样品数，这里是4。

[数学式5]

$f(a,b,C)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(I_i-a\·\sin 2{\mathrm{\φ}}_i-b\cos 2{\mathrm{\φ}}_i-C)}^2$ (式5)

通过以上的处理，确定正弦函数近似的A、B、C三个参数(パラメ一タ)。利用这样求出的参数，偏振信息取得部104，作为偏振信息取得以下的偏振度ρ、偏振光相位φ_max、偏振推定误差E、偏振光最大亮度值I_max、偏振光最小亮度值I_min的其中的至少一个。

·偏振度ρ

[数学式6]

$\mathrm{\ρ}=\frac{I_{\max }-I_{\min }}{I_{\max }+I_{\min }}=\frac{A}{C}=\frac{A}{\stackrel{\‾}{I}}$ (式6)

·偏振光相位φ_max(0≤φ_max≤π[rad])

[数学式7]

${\mathrm{\φ}}_{\max }=\frac{\mathrm{\π}}{4}+B$ (式7)

·偏振推定误差E

[数学式8]

$E=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{(I_i-A\·\sin 2({\mathrm{\ψ}}_i-B)-C)}^2$ (式8)

·偏振光最大亮度值I_max

[数学式9]

I_max＝A+C                  (式9)

·偏振光最小亮度值I_min

[数学式10]

I_min＝C-A                  (式10)

这里，偏振度是表示光的偏振多少的指标，偏振光相位是依赖偏振主轴角度而变化的亮度成最大的角度。另外，偏振推定误差是指对四个像素的样品进行观测的亮度与根据通过进行近似而得到的上述正弦函数所确定的亮度相差的合计。另外，偏振光最大亮度值是使图案偏振体的主轴角φ变化时能够取的最大亮度值，偏振光最小亮度值是使图案偏振体的主轴角φ变化时能够取的最小亮度值，是非偏振光成分亮度值。

图7是对于作为球体的地球仪，将由第一偏振图像求出的偏振度ρ1、偏振光相位φ_max1及偏振推定误差E1作为图像而示出的图。在该图中，图7(a)是表示被拍摄体即地球仪的图像，图7(b)是表示对于图7(a)的被拍摄体的偏振度ρ1，图7(c)是表示对于图7(a)的被拍摄体的偏振光相位φ_max1(0°为黑，180°为白)，图7(d)是表示对于图7(a)的被拍摄体的偏振推定误差E1。另外，图8是将图7的各图像示意性表示的图(使浓淡明了化的图)。在该图中，各区域(A01～D04)对应图9中的各区域。图9是将图7的图像按照亮度的高低分割成多个区域的图。所有区域都意味着亮度越高(白)，值就越大。

图10是表示对泡沫苯乙烯制的头部模型进行了同样处理的结果。从这些图像可知，在遮蔽边缘(エツジ)附近偏振度较大，且偏振相位在不被被拍摄体的阴影覆盖的区域中以180°的周期绕球体周围顺时针旋转的方式单调增加。这些偏振信息图像，与被拍摄体的表面法线方向具有较深的关联，且成为对形状进行推定的线索。

在图7(b)～图7(d)中，背景区域(Ba01～Ba04)的数据错乱。其原因在于，由于背景区域非常暗，因此亮度分辨率变得较低。由此，偏振信息的可靠性降低而数据错乱。通过加长曝光时间等而提高背景区域的亮度，从而在背景区域中也能够取得充分的精度的偏振信息。也可以对背景区域进行掩模(マスク)处理，从而不进行区域分割处理。

在步骤S104中，投光控制部102将投光部101控制为，将与已经取得所述第一偏振图像时不同偏振状态的偏振光向被拍摄体投光。投光部101，将在由投光控制部102指示的主轴方向上偏振的偏振光向被拍摄体再次进行投光。

此时的偏振状态变化是指，例如改变偏振主轴方向。投光控制部102，只要使得偏振主轴方向例如旋转90度即可。

在步骤S105中，偏振图像摄像部103，按照以上所述，通过图案偏振体201由摄像元件对被拍摄体进行受光，从而取得含有偏振信息的图像即第2偏光图像。这通过在控制部120的控制下由投光单元121和偏振信息取得部122进行同步处理而实现。这，例如只要在由控制部120将变化了偏振信息的偏振光以0.2秒的间隔来投光的情况下，利用控制部120，使偏振图像摄像部103与在步骤S102中的对摄像进行偏振光投光时同步，而且，将从步骤S102到步骤S105的摄像为止的间隔设定为0.2秒即可。由此，用户(ユ一ザ)通过一次摄像操作就能够取得第一偏振图像和第二偏振图像的两张图像。

在步骤S106中，偏振信息取得部104，对构成所摄像的所述第二偏振图像的各单位像素，按照以上所述，使用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光后的偏振光有关的信息即偏振信息。

图11是将由第二偏振图像求出的偏振度ρ2、偏振光相位φ_max2及偏振推定误差E2作为图像而示出的图。在该图中，图11(a)是表示作为被拍摄体法人地球仪的图像，图11(b)是表示对于图11(a)的被拍摄体的偏振度ρ2，图11(c)是表示对于图11(a)的被拍摄体的偏振光相位φ_max2(0°为黑，180°为白)，图11(d)是表示对于图11(a)的被拍摄体的偏振推定误差E2。另外，图12是将图11的各图像示意性表示的图。在该图中，各区域(A11～D14)对应图13中的各区域(A11～D14)。图13是将图11的图像按照亮度的高低分割成多个区域的图。所有区域都显示亮度越高(白)，值就越大。

在图2的步骤S107中，光源依存度推定部105，通过对根据第一偏振图像及第二偏振图像由偏振信息取得部104所取得的偏振信息进行比较，从而对光源依存度进行推定。对该处理进行详细叙述。

如上所述，在镜面反射区域和漫反射区域中光源依存度不同。这里，为了对光源依存度进行调查(調ベる)，在本实施方式中，使透射光的偏振光轴方向变化。如上所述，通过在投光控制部102的控制下，将偏振光轴方向90度不同的直线偏振光投光，从而得到了第一偏振图像和第二偏振图像。通过对由这些图像求出的偏振光相位信息进行比较，从而推定光源的依存度。另外，对图7和图11进行比较而可以明确，偏振度ρ1及偏振度ρ2在区域B12中具有大致相同的大小(相同亮度)。这被认为起因于，虽然在被拍摄体上进行投光的偏振光的偏振主轴角度不同，但被镜面反射区域反射的偏振光的亮度偶然大致相等。

图14是表示将由第一偏振图像求出的偏振光相位φ_max1和由第二偏振图像求出的偏振光相位φ_max2的差值图像化的图。在该图中，亮度高的(白的)像素是表示差值较大的像素。

如上所述，由于由表面反射产生镜面反射区域，因此保持入射光的偏振特性。即，镜面反射区域被认为，光源依存度较高。另一方面，就漫反射区域而言，重复进行散射，因此失去了入射光的偏振特性。即，被认为不受入射光的影响且光源依存度较低。

因此，光源依存度推定部105，利用对于第一偏振图像和第二偏振图像的像素的偏振光相位差，按照下式，作为光源依存度对第一光源依存度LDφ进行推定。

[数学式11]

(式11)

其中，是由下式表达的、偏振相位φ_max1[rad]和φ_max2[rad]的考虑了周期π的差值。另外，其值域为[0，π/2]。

[数学式12]

(式12)

图15是表示φ_max1与φ_max2之间关系的图。第一光源依存度LDφ在第一偏振图像和第二偏振图像的偏振光相位相等的情况下为0，偏振光相位差越大，其值就越大，在偏振光相位差最大(π/2)的情况下成为1。即，在偏振光相位依存光源的偏振状态变化而变化的情况下，第一光源依存度LDφ变大，在偏振光相位不受光源的偏振状态变化的影响的情况下，第一光源依存度LDφ变小。

光源依存度未必是对于第一偏振图像和第二偏振图像的像素的偏振光相位差，例如也可以是针对第一偏振图像和第二偏振图像的偏振度的差即第二光源依存度LDρ。此时，可以由下式表示第二光源依存度LDρ。

[数学式13]

LD_ρ＝|ρ₁-ρ₂|                        (式13)

第二光源依存度LDρ，与第一光源依存度LDφ同样，在第一偏振图像和第二偏振图像的偏振度相等的情况下为1，偏振度相差越大，其值就越大，在偏振度相差最大(1.0)的情况下成为0。即，在偏振度依存光源的偏振状态变化而变化的情况下，第二光源依存度LDρ变大，在偏振度不受光源的偏振状态变化的影响的情况下，第二光源依存度LDρ变小。另外，如上所述，虽然向被拍摄体投光的偏振光的偏振主轴角度不同，但具有被镜面放射区域反射的光的亮度偶然成为相等的情况。为了避免在这样情况下产生的误判定，也可以采用偏振光轴方向三种类以上的不同偏振光而取得不同的三个以上的偏振图像，且基于这些偏振图像，对偏振度的差进行评价。

在图2的步骤S108中，区域分割部106，基于由偏振信息取得部104生成的偏振信息和由光源依存度推定部105推定出的光源依存度信息，进行区域分割。以下，对该处理进行详细叙述。

图16是表示区域分割部106的图像分割基准。另外，图17是表示区域分割部106的处理流程的流程图。以下对该处理流程进行说明。

首先，在图17的步骤S201中，区域分割部106为了确定像素属于非偏振光区域、偏振光区域的哪一个，对像素的偏振度ρ1的大小和阈值Thρ进行比较，从而判定偏振度ρ为阈值Thρ以上还是小于Thρ。在像素的偏振度ρ1小于阈值Thρ的情况下(在步骤S201中为否(NO))，判断为该像素包含在漫反射非偏振光区域中(步骤202)，并结束处理。另一方面，在像素的偏振度ρ1为阈值Thρ以上的情况下(在步骤S201中为是(Yes))，确定光源依存度推定部105所推定出的第一光源依存度LDφ是否大于阈值Thρ(步骤S203)。在第一光源依存度LDφ为阈值Thρ以上的情况下(在步骤S203中为是)，判断为像素是镜面反射偏振光区域(步骤S204)，并结束处理。另一方面，在第一光源依存度LDφ小于阈值Thρ的情况下(在步骤S203中为否)，判断为像素包含在漫反射偏振光区域中(步骤S205)，并结束处理。

偏振度的阈值Thρ也可以根据被拍摄体的折射率或被拍摄体的法线方向、光源方向、视线方向等来设定。如图72、图73中所示，只要求出折射率和入射角、出射角，就能够唯一地确定被拍摄体的镜面反射成分和漫反射成的偏振度。由此，只要将在图72、图73中求出的镜面反射成分或漫反射成分的偏振度作为Thρ而利用即可。例如，在被拍摄体的折射率为1.3、入射角为30度的情况下，根据图73，可以认为漫反射成分的偏振度必须成为0.05以下，因此作为阈值Thρ设定0.05即可。

另外，在不能得到被拍摄体的折射率或被拍摄体的法线方向、光源方向、视线方向等信息的情况下，也可以基于漫反射成分的偏振度能够采取的最大值，作为阈值Thρ而进行设定。例如，当假定不存在折射率2.0以上的被拍摄体时，根据图73，可以认为漫反射成分的偏振度的最大值为0.6左右，因此作为阈值Thρ设定0.8左右即可。

只要由实验确定第一光源依存度LDφ的阈值Thφ即可，例如只要设定为0.5即可。偏振度的阈值Thρ也可以由实验确定。

在步骤S201中，也可以不使用由第一偏振图像求出的偏振度ρ1进行比较，而使用由第二偏振图像求出的偏振度ρ2来进行比较。此时，只要进行与阈值Thρ之间的比较即可。另外，也可以使用由第一偏振图像求出的偏振度ρ1和由第二偏振图像求出的偏振度ρ2的平均值。例如，在使光源的直线偏振光的主轴90度变化的情况下，通过求出偏振度ρ1和偏振度ρ2的平均值，而能够取得与照射非偏振光成分的光源的情况大致等效的偏振度。由此，能够施行更准确的区域分割。此时，只要进行与阈值Thρ之间的比较即可。

在步骤S201中，也可以使用由第一偏振图像求出的偏振推定误差E1进行比较。该处理，在光源的稳定性较低等亮度值误差较大的情况下有效。图18是表示该情况的区域分割部106中的处理流程的流程图。在图18中，与图17共通的步骤中附上与图17相同的符号，其中省略其详细说明。

在图18的步骤S206中，区域分割部106判定偏振推定误差E1的大小是阈值ThE以上，还是不足阈值。在像素的偏振推定误差E1为阈值ThE以上的情况下(在步骤S206中为否)，判断为像素是漫反射非偏振光区域(步骤S202)，且结束处理。另一方面，在偏振推定误差E1不足阈值ThE的情况下(在步骤S206中为是)，比较光源依存度推定部105所推定出的第一光源依存度LDφ是否大于阈值Thφ(步骤S203)。

在步骤S203中，也可以使用对于所述第一偏振图像和第二偏振图像的偏振度的差即第二光源依存度LDρ。由于偏振度强烈受到多重反射等的影响，因此在不易受到多重反射的影响的被拍摄体中使用偏振度差即第二光源依存度LDρ是较有效的。所谓不易受到多重反射的影响的被拍摄体，具体地指的是被拍摄体的形状为凸形状的被拍摄体。也可以组合使用第一光源依存度LDφ和第二光源依存度LDρ。此时，只要求出式11和式13的加权平均即可。通过组合利用两个偏振信息，从而能够施行较可靠的(ロバスト)区域分割。

图19是表示该情况的区域分割部106中的处理流程的流程图。在图19中，与图17共通的步骤中附上与图17相同的符号，其中省略其详细说明。在步骤S207中，在第二光源依存度LDρ为阈值Thρ以上的情况下(在步骤S207中为是)，判断为像素是镜面反射偏振光区域(步骤S204)，且结束处理。另一方面，在第二光源依存度LDρ小于阈值Thρ的情况下(在步骤S207中为否)，判断为像素是漫反射偏振光区域(步骤S205)，并结束处理。

由实验确定第二光源依存度LDρ的阈值Thρ即可，例如设定为0.2即可。

图20、图22～图26是表示实施了基于本实施方式的区域分割的结果。另外，图21是表示实施了基于本实施方式的区域分割的摄像条件的图。

如图21中所示，发光装置207被设置在摄像装置202附近，偏振体的主轴方向通过旋转机构206变化90度。图20(a)是表示被拍摄体即台球弹子。图20(b)是表示图20(a)中所示的台球弹子表面的图像中的、由白的像素构成的区域中附上符号“B21”，在其他区域中附上符号“A21”的图。另外，图20(c)是示意性示出图20(b)的图(使浓淡明了化的图)。在该图中，各区域A21、B21对应图20(b)中的各区域A21、B21。

图22是表示将图20(a)中所示的台球弹子作为被拍摄体，在利用投光控制部102使偏振主轴方向在水平方向和垂直方向上变化的情况下，由偏振信息取得部104所取得的偏振信息。图22(a)是表示根据将偏振光的主轴方向作为水平方向而摄像的第一偏振图像求出的偏振度ρ1，图22(b)是表示根据第一偏振图像求出的偏振光相位φ_max1，图22(c)是表示根据将偏振光的主轴方向作为垂直方向所摄像的第二偏振图像求出的偏振度ρ2，图22(d)是表示根据第二偏振图像求出的偏振光相位φ_max2，图22(e)是表示根据偏振光相位φ_max1和偏振光相位φ_max2求出的第一光源依存度LDφ。

在图22(a)至图(d)中分别显示，明亮度(明度)越高的像素，偏振度ρ1、偏振光相位φ_max1、偏振度ρ2、偏振光相位φ_max2的值就越大。另外，在图22(e)中，以白表达第一光源依存度LDφ的值为1的情况，以黑表达第一光源依存度LDφ的值为0的情况。

图23是将图22的图像按照亮度的高低分割为多个区域的图。图24是示意性示出图22的各图像的图(使浓淡明了化的图)。在该图中，各区域(A31～D35)对应图23中的各区域。另外，图25是表示利用图22的偏振信息来实施了基于本实施方式的区域分割的结果。图25(a)是表示在步骤S201中，对于第一偏振图像的偏振度ρ1为阈值Thρ以上的像素。另外，图25(b)、(c)及(d)是分别表示在本实施方式中被分割的“漫反射非偏振光区域”、“镜面反射偏振光区域”及“漫反射偏振光区域”。另外，图25(e)是表示漫反射非偏振光区域和漫反射偏振光区域的并集即“漫反射区域”。在图25中，由白色像素构成的区域是表示从其他区域(黑像素构成的区域)分割出的区域。

在以往的仅基于偏振度而进行区域分割的方法中，由于将图25(a)中所示的白像素区域和图25(b)中所示的白像素区域分别分配为“镜面反射区域”和“漫反射区域”，因此如上所述，将遮蔽边缘附近即区域A(图25(a))错误地含入镜面反射区域中，从而在所分割的各区域范围中产生较大的误差。

另一方面，在本实施方式中的区域分割方法中，除了偏振信息之外，还利用光源依存度，因此将图25(c)中所示的白像素区域和图25(e)中所示的白像素区域分别分配为“镜面反射区域”和“漫反射区域”。由此，与以往的方法相比，能够施行准确的区域分割。

图26是表示在步骤S201中，不利用由第一偏振图像求出的偏振度ρ1进行比较，而利用由第二偏振图像求出的偏振度ρ2的结果。图26(a)是表示在步骤S201中、对于第二偏振图像的偏振度ρ2为阈值Thρ以上的像素。另外，图26(b)、(c)及(d)是分别表示在本实施方式的区域分割中所分割的“漫反射非偏振光区域”、“镜面反射偏振光区域”及“漫反射偏振光区域”。另外，图26(e)是表示漫反射非偏振光区域和漫反射偏振光区域的并集即“漫反射区域”。在图26中，由白色像素构成的区域是表示从其他区域(黑像素构成的区域)分割出的区域。

与参照图25进行说明的区域分割方法同样，即使采用对于第二偏振图像的偏振度ρ2，由于利用偏振信息及光源依存度两者，因此与以往方法相比，也能施行准确的区域分割。

当对图25、图26进行比较时，在图26(c)中可以观察到由白像素构成的区域B，但在图25(c)中不出现那样的区域B。入射在物体表面而反射的光的偏振状态，受所入射的直线方向的偏振方向和入射角或出射角之间关系的影响，且具有入射到某物体表面的直线偏振光的反射光偏振度由于偏振方向而变高的情况。在这样的情况下，关于发射偏振度那么高的反射光的像素，具有错误判断“镜面反射区域”的一部分的可能性。为了可靠地防止这样的错误判断，在图19的步骤S201中，也可以利用由第一偏振图像求出的偏振度ρ1和由第二偏振图像求出的偏振度ρ2的加权和来进行比较处理。

另外，如图27中所示，也可以使用由多个发光装置207及发光装置207-2构成的发光部101，由各发光装置207、207-2将不同偏振状态的偏振光投光。此时，优选为多个发光装置207、207-2被设置在附近。图27是示意性表示实施基于本实施方式的区域分割时的发光装置207、207-2和摄像装置202、被拍摄体等的配置关系的图。在图27中，与图21共通的结构要件中附上相同的符号，且其中省略其详细说明。

图28是表示搭载了本实施方式所涉及的图像处理装置的照相机的结构例。在图28中，与图3共通的结构要件中附上与图3相同的符号，且其中省略其详细说明。

图28中所示的投光控制部102，对作为光源发挥功能的发光装置207及发光装置207-2进行切换，从而使偏振光的主轴方向变化。具体而言，偏振体205相对于发光装置207的偏振主轴方向和偏振体205-2相对于发光装置207-2的偏振主轴方向具有彼此正交的关系。由此，与图3中所示的装置不同，不需要旋转机构206，所以能够实现照相机的小型化。

另外，在本实施方式中，图案偏振体201中使用了光子晶体，但只要是偏振元件，也可以使用薄膜(フイルム)式偏振元件，或者金属丝格栅(ワイヤ一グリツド)式和基于其它原理的偏振元件。另外，也可以不利用图案偏振体，而旋转安装在摄像装置的透镜(レンズ)前的偏振片而进行摄像，从而取得偏振主轴按时间序列(時系列的に)不同的亮度。该方法，例如在特开平11-211433号公报中已被公开。

另外，优选将发光装置207设置在摄像装置202附近。其原因在于，由于采用这样的配置，由来自发光装置207的投光而在被拍摄体上产生的阴影区域减小。关于阴影，在本实施方式的区域分割方法中尚未考虑，因此产生阴影时，难以进行区域分割。在阴影区域中，由于受多重反射等的影响，光线变复杂而失去偏振信息的可靠性。由此在阴影区域中区域分割的精度恶化。为了提高区域分割精度，使阴影不易产生是很重要的。

区域分割部106，也可以取代将图像分割为“镜面反射区域”和“漫反射区域”，而将图像分割为“光源依存偏振光区域”、“光源依存非偏振光区域”、“光源非依存偏振光区域”和“光源非依存非偏振光区域”等四个区域。对该处理进行详细叙述。

图29是表示本实施方式所涉及的区域分割部106的图像分割基准。图30是表示本实施方式所涉及的区域分割部106的处理流程的流程图。在图30中，与图17共通的步骤中附上与图17相同的符号，且其中省略其详细说明。

首先，区域分割部106判定各像素属于非偏振光区域及偏振光区域的其中的哪一个，且进行将图像分割成非偏振光区域和偏振光区域的区域分割，因此对像素的偏振度ρ1的大小和阈值Thρ进行比较，从而判定偏振度ρ是阈值Thρ以上还是小于阈值Thρ(步骤S201)。在像素的偏振度ρ1为阈值Thρ以上的情况下(在步骤S201中为是)，判断为该像素包含在偏振光区域中，且判断光源依存度推定部105所推定的第一光源依存度LDφ是否为阈值Thφ以上(步骤S203)。在第一光源依存度LDφ为阈值Thφ以上的情况下(在步骤S203中为是)，判断为像素包含在光源依存偏振光区域中(步骤S208)，并结束处理。

另一方面，在第一光源依存度LDφ小于阈值Thφ的情况下(在步骤S203中为否)，判断为像素包含在光源非依存偏振光区域中(步骤S209)，并结束处理。

另外，在像素的偏振度ρ1小于阈值Thρ的情况下(在步骤S201中为否)，判断为像素包han在非偏振光区域中，且对光源依存度推定部105所推定的第一光源依存度LDφ是否为阈值Thφ2以上进行比较(步骤S210)。在第一光源依存度LDφ为阈值Thφ2以上的情况下(在步骤S210中为是)，判断为该像素包含在光源依存非偏振光区域中(步骤S211)，并结束处理。另一方面，在第一光源依存度LDφ小于阈值Thφ2的情况下(在步骤S210中为否)，判断为像素包含在光源非依存非偏振光区域中(步骤S212)，并结束处理。

只要设定为步骤S210中的光源依存度的阈值Thφ2与步骤S203的阈值Thφ相等即可。另外，只要如以上所述那样设定偏振度的阈值Thρ和第一光源依存度LDφ的阈值Thφ即可。另外，在步骤S203和步骤S210中，也可以不使用相同阈值Thφ，而使用不同阈值。此时亮度分辨率被认为，在非偏振光区域中，与偏振光区域相比较小，因此优选设定Thφ2的值小于Thφ。

另外，为了解决阴影区域的问题，如后面所述，区域分割部106，也可以在所分割的区域上加“阴影区域”。

如以上所述，通过利用本发明的区域分割方法，能够进行利用了偏振信息和光源依存度的区域分割。这样的区域分割，也能够进行将漫反射成分的偏振光成分也加进考虑中的镜面反射区域和漫反射区域的分割。

(第二实施方式)

接下来对本发明的第二实施方式中的图像处理装置的简要进行说明。本实施方式的图像处理装置，通过使投光部位置(光源位置)变化，而对光源依存度进行计算。利用伴随偏振信息和光源位置变化的光源依存度，从而进行被拍摄体的区域分割。

图31是本实施方式所涉及的图像处理装置的方框图。在图31中，与图1共通的结构要件中附上与图1相同的符号，且其中省略其详细说明。与第一实施方式不同的是，取代投光控制部102，具有投光位置变化部112。本实施方式的图像处理装置，不是利用投光控制部102来使偏振光的主轴方向变化，而由投光位置变化部112来使发光装置207的位置变化。

将非偏振光向被拍摄体投光的情况的偏振光相位依赖被拍摄体的法线信息。但是，由于镜面反射成分和漫反射成分，该关系不同。

首先，考虑镜面反射成分。被拍摄体的表面法线具有两个自由度。这里，通过求出包含光的入射线和入射点(观测点)法线矢量的入射面、以及在入射面内的所谓入射角的两个角度而确定。已经周知：镜面反射成分的入射面在从偏振图像求出的图6中，与亮度成为最小值的角度相等(例如，Ondfej Drbohlav and Sara Radim，“Using polarization to determineintrinsic surface properties”，Proc.SPIE Vol.3826，pp.253-263，1999)。

接着，考虑漫反射成分。如上所述，被拍摄体的表面法线具有两个自由度。这里，光重复进行散射，并求出包含从被拍摄体表面射出的出射光的光线和出射点(观测点)法线矢量的出射面、在出射面内的出射角等两个角度，从而确定该自由度。已经周知：漫反射成分的出射面在从偏振图像所求出的图6中与亮度成为最大的角度相等(例如，USP5,028,138号公报)。即，偏振光相位信息在镜面反射成分中依赖于入射角，但在漫反射成分中不依赖入射角。在按照固定照相机位置的状态来使光源位置变化的情况下，仅有入射角变化。由此，虽然在镜面反射成分中其偏振特性变化，但在漫反射成分中其偏振特性不变。

由于镜面反射成分只产生在被拍摄体中的、正反射附近的一部分区域，因此该情况还关系到使光源位置变化从而使得作为镜面反射区域的区域成为漫反射区域的情况。总之，在按照固定照相机位置的状态来使光源位置变化的情况下，虽然在较多的镜面反射成分中其偏振特性变化，但在大部分漫反射成分中其偏振特性不变。在本实施方式的区域分割方法中，利用该特性进行区域分割。

图32是表示本实施方式中的区域分割方法的处理流程的流程图。在图32中，在与图2共通的步骤及所对应的步骤中附上与图2相同的符号，且其中省略其详细说明。另外，图33是表示搭载了本实施方式所涉及的区域分割装置的照相机的结构例。在图33中，在与图3共通的结构要件及所对应的结构要件中附上与图3相同的符号，且其中省略其详细说明。

本实施方式中的投光位置变化部112(图31)，例如通过图33中所示的投光位置变化装置213而实现。透光位置变化装置213为使发光装置207的位置变化的装置，且使用电动机(モ一タ)等来实现。另外，也可以将发光装置207安装在机器人(ロボツト)的臂(ア一ム)等工作部。图像处理装置也可以具有多个发光装置207、207-2。图34是表示搭载了具有多个发光装置207、207-2的本实施方式所涉及的区域分割装置的照相机的结构例。此时，投光位置变化装置213通过对发光装置207、207-2进行切换，从而能够使发光装置的位置(光源位置)变化。

在图32中，投光部101利用控制部120所指示的光源位置的发光装置207，对非偏振光进行投光(步骤S301)。偏振图像摄像部103，通过图案偏振体201，由摄像元件对被拍摄体进行受光，从而取得含有偏振信息的图像即第三偏振图像(步骤S102)。这，通过在控制部120的控制下，由投光单元121和偏振信息取得部122进行同步处理而实现。此时，图案偏振体具有如上所述的三个方向以上的偏振主轴角度。偏振信息取得部104，如上所述，生成与所受光的偏振光有关的信息即偏振信息(步骤103)。投光位置变化部112，以与步骤S101不同位置的发光装置207发光的方式移动投光部101，且投光部101从与步骤S301不同位置向被拍摄体将非偏振光投光(步骤S302)。

偏振图像摄像部103，再次通过图案偏振体201，由摄像元件对被拍摄体进行受光，从而取得第四偏振图像(步骤S105)。这通过在控制部120的控制下，由投光单元121和偏振信息取得部122进行同步处理而实现。第三偏振图像和第四偏振图像是所述投光部101的光源(发光装置207)位置发生变化后的偏振图像。偏振信息取得部104，再次，关于构成所摄像的所述第四偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息(步骤106)。光源依存度推定部105，对根据第三偏振图像及第四偏振图像由所述偏振信息取得部所取得的偏振信息进行比较，从而推定光源依存度(步骤S107)。区域分割部106，利用由所述偏振信息取得部104生成的偏振信息和由所述光源依存度推定部105所推定出的光源依存度信息，进行区域分割(步骤S108)。

以下，利用附图对该处理进行详细说明。

在步骤S301中，投光部101，从控制部120所指示的光源位置的发光装置207将非偏振光投光。这，只要由多个发光装置207构成投光部101，且由投光位置变化部112对进行投光的发光装置207、207-2进行切换，从而使光源位置变化即可。图35是表示实施了基于本实施方式的区域分割的摄像条件的系统图。在图35中，在与图21共通的结构要件中附上与图3相同的符号，且其中省略其详细说明。

也可以设定为投光位置变化部112，由投光位置变化装置213来移动发光装置207，从而使光源位置变化。利用电动机等来实现投光位置变化装置213。也可以将发光装置207设置在机器人的工作部中。图36是表示实施了基于本实施方式的区域分割的摄像条件的系统图。在图36中，在与图35共通的结构要件中附上与图35相同的符号，且其中省略其详细说明。

在步骤S102中，如上所述，偏振图像摄像部103，通过图案偏振体201，由摄像元件对被拍摄体进行受光，从而取得含有偏振信息的图像即第三偏振图像。这，通过在控制部120的控制下，由投光单元121和偏振信息取得部122进行同步处理而实现。

在步骤S103中，如上所述，偏振信息取得部104，关于构成所摄像的所述第三偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息。

在步骤S302中，投光位置变化部112，通过以与步骤S301不同位置的发光装置207-2发光的方式对投光部101进行控制，从而投光部101从与步骤301不同的位置向被拍摄体投光。这如上所述，只要由多个发光装置207、207-2构成投光部101，或者，通过移动发光装置207使光源位置变化即可。

在步骤S105中，偏振图像摄像部103，如上所述，图案偏振体201，由摄像元件对被拍摄体进行受光，从而对含有偏振信息的图像即第四偏振图像再次进行摄像。这，通过在控制部120的控制下，由投光单元121和偏振信息取得部122进行同步处理而实现。第四偏振图像，与第三偏振图像相比，被拍摄体是相同的，但只是透射光的偏振状态不同的图像。

在步骤S106中，如上所述，偏振信息取得部104，关于构成所摄像的所述第四偏振图像的各单位像素，如上所述，利用透过与所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息。

在步骤S107中，如上所述，光源依存度推定部105，对根据第三偏振图像及第四偏振图像由所述偏振信息取得部所取得的偏振信息进行比较，从而推定光源依存度。这里，作为偏振信息，对偏振光相位信息进行比较，从而推定光源依存度。

在步骤S108中，如上所述，区域分割部106，利用由所述偏振信息取得部104生成的偏振信息和由所述光源依存度推定部105所推定出的光源依存度信息，进行区域分割。另外，区域分割部106的图像分割基准与图16同样，表示区域分割部106的处理流程的流程图也与图17同样。

图37～图42是表示实施了基于本实施方式的区域分割的结果。图37是表示在以地球仪为被拍摄体、由投光位置变化部112使发光装置207的位置变化的情况下，由偏振信息取得部104所取得的偏振信息。在该图中，图37(a)是表示从第三偏振图像求出的偏振度ρ3，所述第三偏振图像是以将发光装置207朝向图像的方式配置在右侧而进行摄像的，图37(b)是表示从第三偏振图像求出的偏振光相位φ_max3，图37(c)是表示从将发光装置207-2配置在照相机上方而进行摄像的第四偏振图像求出的偏振度ρ4，图37(d)是表示从第四偏振图像求出的偏振光相位φ_max4，图37(e)是表示从偏振光相位φ_max3和φ_max4求出的第一光源依存度LDφ。在图37(e)中，用白表达第一光源依存度LDφ的值1的情况，用黑表达0的情况。另外，图38是示意性示出图37的各图像的图(使浓淡明了化的图)。在该图中，各区域(A41～E45)对应图39中的各区域。图39是将图7的图像按照亮度的高低分割成多个区域的图。

图40是表示此时的发光装置207、207-2和摄像装置202的位置关系的示意图。另外，图41是表示利用图37的偏振信息，实施了基于本实施方式的区域分割的结果。在该图中，图41(a)是表示在步骤S201中对于第三偏振图像的偏振度ρ3为阈值Thρ以上的像素。另外，图41(b)(c)(d)是分别表示在本实施方式的区域分割中所分割的漫反射非偏振光区域、镜面反射偏振光区域、漫反射偏振光区域。另外，图41(e)是表示求出漫反射非偏振光区域和漫反射偏振光区域的并集的漫反射区域。在图41中，白色像素分别表示所分割的区域。在以往的只利用偏振度的方法中，将图41(a)、图41(b)分别分割为镜面反射区域、漫反射区域，因此如上所述，在遮蔽边缘附近产生较大的误差。另一方面，在本实施方式中的区域分割方法中，除了偏振信息之外，还利用光源依存度，因此将图41(c)、图41(e)分别分割为镜面反射区域、漫反射区域。由此，与以往的方法相比，能够施行准确的区域分割。

另外，图42是表示在步骤S201中，不利用从第三偏振图像求出的偏振度ρ3进行比较，而利用从第四偏振图像求出的偏振度ρ4的结果。在该图中，图42(a)是表示在步骤S201中对于第四偏振图像的偏振度ρ4为阈值Thρ以上的像素。另外，图42(b)(c)(d)是分别表示在本实施方式的区域分割中所被分割的漫反射非偏振光区域、镜面反射偏振光区域、漫反射偏振光区域。另外，图42(e)是表示求出漫反射非偏振光区域和漫反射偏振光区域的并集的、漫反射区域。在图42中，白色像素分别表示所分割的区域。与图41同样，不管是使用哪个输入图像的情况，在本实施方式中的区域分割方法中，除了偏振信息之外，还利用光源依存度，因此与以往的方法相比，都能施行准确的区域分割。但是，在图41及图42中，在背景区域中数据错乱。其原因在于，如以上所述，由于背景区域非常暗，因此亮度分辨率降低。由此，偏振信息的可靠性降低而数据错乱。通过加长曝光时间等而提高背景区域的亮度，从而能够取得即使在背景区域，也具有充分精度的偏振信息。也可以对背景区域进行掩模处理，从而不进行区域分割处理。另外，关于阴影区域，在区域分割中也失败。其原因在于，关于阴影，如上所述，本实施方式的区域分割方法不考虑阴影。

区域分割部106，也可以进行将阴影区域考虑进去的区域分割。此时，除了偏振信息、光源依存度信息之外，优选利用图像的亮度信息。图43是表示该处理中的区域分割部106的图像分割基准。另外，图44是表示对阴影区域也进行区域分割的本实施方式所涉及的区域分割部106的处理流程的流程图。在图44中，在与图17共通的步骤中附上与图17相同的符号，这里省略其详细说明。对该处理进行说明。

区域分割部106，首先要推定像素是否为阴影区域，因此对所设定的阈值和亮度值进行比较，从而判定亮度值是否为阈值以下(步骤S401)。这，如上所述，利用阴影区域的亮度值较低的情况，将亮度值为阈值以下的像素推定为阴影区域。如此，由实验确定用于推定阴影区域的阈值即可，例如，对于16位单色(ビツトモノクロ)图像，设定为256即可。另外，作为用于检测阴影区域的亮度值，也可以利用由偏振信息取得部104所取得的偏振光最大亮度值Imax、偏振光最小亮度值Imin，或者偏振光最大亮度值Imax和偏振光最小亮度值Imin的平均值、加权平均值(例如，Imax+2·Imin)等。尤其，在利用偏振光最小值Imin的情况下，亮度值变得非常高，且能够减小产生过度感光(白とび(overexposure))的可能性较高的镜面反射成分的影响，因此非常有效。另外，平均值即Imax+Imin为，在非偏振光的光源下与在未设置偏振体的情况下所摄像的图像等效的图像。由此，利用该平均值进行图像处理，从而能够进行与不利用通常的偏振光的情况同样的处理。

在像素值的亮度值为阈值以下的情况下(在步骤S401中为是)，判断为像素是阴影区域(步骤S402)，且结束处理。另一方面，在像素值的亮度值为阈值以上的情况下(在步骤S401中为否)，判断为像素不是阴影区域，且进入图17的步骤S201而进行所述区域分割处理。

另外，也可以通过利用偏振信息，将阴影区域进一步分割为attachedshadow和cast shadow区域。对该处理进行详细叙述。

首先对attached shadow和cast shadow进行说明。图45是用于对所谓attached shadow和cast shadow的阴影分类进行说明的示意图。这里，放置在某个面605的被拍摄体604被光源602照射。在该图中，606和607都表示阴影。606是因为被拍摄体604的法线不朝向光源602而产生的attached shadow。另外，607是在605中光被遮蔽物即被拍摄体604遮蔽而产生的cast shadow。

接着，对attached shadow和cast shadow的偏振特性的差异进行说明。首先，假定在地面上摄像的大部分摄像场景(シ一ン)中成立的、满足以下条件3的摄像场景中进行摄像。

条件3：“在被拍摄体所存在的摄像场景中存在在附近具有广面(広い面)的物体，光源处于从某个广面起相对于被拍摄体朝向相反方向处”

这，例如在如下的摄像场景下成立。

1、在室内场景下，被拍摄体即球被放置在桌子上。另外，该球被设置在屋顶上的荧光灯照射。

2、在室内场景下，被拍摄体即人物坐在放置于地面(床面)的椅子上。另外，该人物被从窗口射入的阳光照射。

3、在室外场景下，被拍摄体即汽车在道路上行走。该被拍摄体被阳光照射。

另外，由于墙和房屋也具有广面，因此在地面上摄像的大部分摄像场景中该条件成立。

在该条件3成立的情况下，首先考虑attached shadow。如图45中所示，attached shadow是因为被拍摄体的法线朝向与光源相反方向而产生的阴影。这里根据条件3，当考虑在与光源相反方向上存在广面和在阴影区域中实际上存在多个蔓延(回り込み)光(多重反射光)时，可认为多重反射光从各种方向向attached shadow中入射。即，可认为相对于照相机和attached shadow所产生的像素的法线，存在成为正反射的多重反射光。图46是表示该样子的示意图。在该图中示出搭载了本实施方式所涉及的区域分割装置的摄像装置601。

如上所述，已知被拍摄体表面的反射特性被表达为光泽即镜面反射成分与无光泽(マツト)的反射成分即漫反射成分之和。就漫反射成分而言，向被拍摄体投光的光源处于任何方向上时都能被观测到，但镜面反射成分为只在光源处于相对于被拍摄体法线方向和视线方向大致正反射的方向上的情况下才被观察到的、方向依存性较强的成分。这，关于偏振特性，也成立。

已知，在被拍摄体是产生光泽即镜面反射的物体的情况下，在光从所有方向被投光的情况下，被拍摄体强烈地受到由正反射成分即镜面反射产生的影响(例如，关于透明物体，齐藤恩惠，佐藤洋一，池内克史，柏木宽，“基于图像中最亮处(ハイライト)的偏振光分析的透明物表面形状测定”，电子信息通信学会论文杂志，D-II，Vol.J82-D-II，No.9，pp.1383-1390，1999)。由此，attached shadow具有镜面反射的偏振特性。

从示出了镜面反射成分和漫反射成分的偏振度的所述图72、图73可知，在光从所有的方向入射的情况下，镜面反射成分的偏振度比漫反射成分的偏振度高。由此可以推定为，即使是偏振特性，镜面反射成分也支配。

另外，在出射角接近90°、且排除(除外)遮蔽边缘的情况下，如从图72、图73中所知，镜面反射成分的偏振度比漫反射成分高。由此，就表示镜面反射成分的反射特性的attached shadow而言，偏振度相对变高。

接着，考虑cast shadow。如图45中所示，cast shadow为光被一些遮蔽物遮蔽而产生的阴影。这里，当考虑条件3时，cast shadow较容易地产生在具有接近广面的法线方向的面上。由此，多重反射光与attachedshadow相比，只从所限定的方向入射。由此可认为，光源处于正反射方向的可能性较低。图47是表示该样子的示意图。

此外，如图73中所示，漫反射成分的偏振度相对低。由此可知，castshadow的偏振光成分成比较小。在阴影区域中，由于亮度其本身较小，因此推定较小的偏振光成分是非常困难的。由此cast shadow的偏振推定误差非常大。

总括以上，阴影区域的偏振特性被分类为如下。

○attached shadow

·偏振度较高，偏振推定误差较小。

·在较多的情况下，表示镜面反射特性。

○cast shadow

·偏振度较低，偏振推定误差较大。

·在较多的情况下，表示漫反射特性。

通过利用该分类基准，将阴影分割为attached shadow和cast shadow。

图48是表示该处理中的区域分割部106的图像分割基准。另外，图49是表示进行还含有attached shadow和cast shadow的区域分割的本实施方式所涉及的区域分割部106的处理流程的流程图。在图49中，与图44共通的步骤中附上与图44相同的符号，其中省略其详细说明。对该处理进行详细叙述。

区域分割部106，首先推定像素是否为阴影区域，因此对所设定的阈值和亮度值进行比较，从而判定亮度值是否为阈值以下(步骤S401)。这如上所述，利用阴影区域亮度值较低的情况，将亮度值为阈值以下的像素推定为阴影区域。在像素的亮度值大于阈值的情况下，判断为像素不是阴影区域(在步骤S401中为否)，且进入图17的步骤S201，进行所述区域分割处理。另一方面，在像素的亮度值为阈值以下的情况下，判断为像素是阴影区域(在步骤S401中为是)，且判断由偏振信息取得部104所取得的偏振推定误差E是否大于阈值Th_Err(步骤S403)。在偏振推定误差E为阈值Th_Err以下的情况下(在步骤S403中为否)，判断为像素是attached shadow(步骤S404)，且结束处理。另一方面，在偏振推定误差E大于阈值Th_Err的情况下(在步骤S403中为是)，判断为像素是castshadow(步骤S405)，且结束处理。

此时的阈值Th_Err以摄像图像的亮度值和式1的振幅成分A、偏斜(バイアス)成分C为基准而确定即可。例如，在以振幅成分A为基准确定阈值Th_Err的情况下，确定为如下即可。

[数学式14]

Th_Err＝(Th_E)²·(2A)²·N    (式14)

该式表示偏振推定误差E，相对于振幅成分A，以何种程度不同。其中，Th_E为适当的正的常数，且由实验确定即可，例如设定为0.3即可。另外，N为所述样品数。

将阴影分割为attached shadow和cast shadow的基准并不局限于偏振推定误差信息，例如也可以为偏振度信息。对该处理进行详细叙述。

图50是表示该处理中的区域分割部106的图像分割基准。另外，图51是表示对阴影区域进行区域分割的本实施方式所涉及的区域分割部106的处理流程的流程图。在图51中，在与图49共通的步骤中附上与图49相同的符号，且其中省略其详细说明。对该处理进行说明。

如上所述，区域分割部106推定像素是否为阴影区域，因此对所设定的阈值和亮度值进行比较，从而判定亮度值是否为阈值以下(步骤S401)。在亮度值超过阈值的情况下(在步骤S401中为否)，进入图17的步骤S201，且进行所述区域分割处理。另一方面，在亮度值为阈值以下的情况下(在步骤S401中为是)，判断为像素是阴影区域，且判断由偏振信息取得部104所取得的偏振度ρ是否大于阈值Thρ3(步骤S406)。在偏振度ρ为阈值Thρ3以上的情况下(在步骤S406中为否)，判断为像素为attached shadow(步骤S404)，且结束处理。另一方面，在偏振推定误差E小于阈值Thρ3的情况下(在步骤S406中为是)，判断为像素为castshadow(步骤S405)，且结束处理。

此时，只要设定为步骤S406中的偏振度的阈值Thρ3与步骤S203的阈值Thρ相等即可。在步骤S203和步骤S406中，也可以不使用相同的阈值Thρ，而利用不同的阈值。此时，在阴影区域中，亮度分辨率被认为，与偏振光成分相比较小，因此优选设Thρ3的值小于Thρ。

如上所述，通过利用本发明的区域分割方法，而能够进行利用偏振信息和光源依存度的区域分割。这样的区域分割，也能进行将漫反射成分的偏振光也加进考虑中的镜面反射成分和漫反射成分的分割。另外，除了偏振信息和光源依存度之外，还能进行也利用了亮度信息的区域分割。这样的区域分割，除了进行将阴影区域也加进考虑中的镜面反射成分和漫反射成分的分割之外，还能进行attached shadow和cast shadow的分割。

(第三实施方式)

图52是表示本实施方式所涉及的区域分割系统中的方框图。在图52中，在与图1共通的结构要件中附上与图1相同的符号，且其中省略其详细说明。

和第一实施方式的差异在于，分离了投光装置108与区域分割装置109，且区域分割装置109具有摄像判定部107。另外，图53是表示本实施方式所涉及的区域分割方法的处理流程的流程图。在图53中，在与图2共通的步骤中附上与图2相同的符号，且其中省略其详细说明。另外，图54是表示搭载了本实施方式所涉及的区域分割装置的照相机和投光装置的结构例。在图54中，在与图3共通的结构要件中附上与图3相同的符号，且其中省略其详细说明。

本实施方式的区域分割系统为一种区域分割系统，其具有投光装置108和区域分割装置109，且通过对被拍摄体进行摄像而对被拍摄体表面进行光学性区域分割，其中投光装置108具有：投光部101，其将直线偏振光向所述被拍摄体投光；和投光控制部102，其对投光部101的直线偏振光的偏振状态进行变化，并将主轴方向的不同的偏振光按时间序列向被拍摄体投光。另外，区域分割装置109具备：偏振图像摄像部103，其通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，从而取得被拍摄体的偏振图像；摄像判定部107，其对在过去由偏振图像摄像部103所摄像的偏振图像和当前所摄像的偏振图像进行比较，且判断所摄像的偏振状态是否充分变化；偏振信息取得部104，其根据所取得的所述偏振图像，关于构成该偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息；光源依存度推定部105，其对通过投光控制部102而使投光部101的偏振状态变化时在偏振信息取得部104中生成的偏振信息进行比较，从而推定光源依存度信息；以及区域分割部106，其利用由偏振信息取得部104生成的偏振信息和由光源依存度推定部105所推定出的光源变动信息，进行区域分割。

接着，对本实施方式的区域分割装置109进行详细叙述。

首先，在步骤S102中，如上所述，偏振图像摄像部103，通过图案偏振体201，由摄像元件对被拍摄体进行受光，从而取得含有偏振信息的图像即第一偏振图像。

在步骤S103中，如上所述，偏振信息取得部104，关于构成所摄像的所述第一偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息。

在步骤S105中，如上所述，偏振图像摄像部103，通过图案偏振体201，由摄像元件对被拍摄体进行受光，从而再次摄像含有偏振信息的图像即第二偏振图像。

在步骤S501中，摄像判定部107对所述第一偏振图像和第二偏振图像进行比较，且判断所摄像的偏振光状态是否充分变化。这只要对所摄像的偏振图像的亮度值进行比较即可。具体而言，在作成所摄像的第二偏振图像和第一偏振图像的差图像、且其差值的最大值为阈值以上的情况下，只要判断成所摄像的偏振状态充分变化即可。此时的阈值，只要由实验确定即可，例如，对于16位单色图像，只要设定为1000即可。

在本实施方式的区域分割方法中，投光装置108和区域分割装置109分体构成，且投光装置108不能取得与区域分割装置109同步。由此，区域分割装置109，通过区域判定部107来判断所摄像的图像的偏振状态是否变化。

在摄像判定部107判断为偏振光状态充分变化的情况下(在步骤S501中为是)，在步骤S106中，如上所述，偏振信息取得部104，关于构成所摄像的所述第二偏振图像的各单位像素，利用与透过所述三个方向以上的偏振体的光的亮度的对应关系，生成与所受光的偏振光有关的信息即偏振信息。另一方面，在摄像判定部107判断为偏振光状态不充分变化的情况下(在步骤S501中为否)，如上所述，区域分割装置109再次取得含有偏振信息的图像即第二偏振图像。步骤S106以后的处理与第一实施方式同样，因此省略详细说明。

为了判断所摄像的偏振光状态是否充分变化，也可以不取得偏振图像，而取得偏振信息。此时，在生成第二偏振信息和第一偏振信息的差，且其差的最大值为阈值以上的情况下，只要判断为所摄像的偏振光状态充分变化即可。此时的阈值，只要由实验确定即可，例如在作为偏振信息对偏振光相位的差进行计算的情况下，只要设定阈值为90度即可，另外，在作为偏振信息对偏振度的差进行计算的情况下，只要设定阈值为0.1即可。

图55是表示本实施方式所涉及的区域分割方法的处理流程的流程图。在图55中，在与图53共通的步骤中附上与图53相同的符号，且其中省略其详细说明。

本实施方式中的区域分割系统，通过对投光装置108和区域分割装置109进行分离，能够实现更小型的区域分割装置109。

也可以设定为，投光装置108和区域分割装置109不进行同步处理，而区域分割装置109根据来自投光装置108的同步信号进行摄像。对该处理进行说明。

图56是表示本实施方式所涉及的图像处理系统的方框图。在图56中，在与图52共通的结构要件中附上与图52相同的符号，且其中省略其详细说明。与图52中所示的结构的差异在于，投光装置108、区域分割装置109同时具有通信部110、111，而且在区域分割装置109中不存在摄像判定部107这一点。图57是表示本实施方式中的区域分割方法的处理流程的流程图。在图57中，在与图2共通的步骤中附上与图2相同的符号，且其中省略其详细说明。图58是表示搭载了本实施方式所涉及的区域分割装置的照相机和投光装置的结构例。在图58中，在与图54共通的结构要件中附上与图54相同的符号，且其中省略其详细说明。

如上所述，通过步骤S101，投光部101将由投光控制部102所指示的主轴方向上偏振的偏振光投光。之后，投光装置108通过通信装置209，将通知投光的信号向区域分割装置109发送(步骤S502)。区域分割装置109，由通信装置210对通知所述投光的信号进行接收时(步骤S503)，如上所述，偏振图像摄像部103，通过图案偏振体201由摄像元件对被拍摄体进行受光，从而取得含有偏振信息的图像即第一偏振图像(步骤S102)。此时，如上所述，图案偏振体具有三个方向以上的偏振主轴角度。如上所述，偏振信息取得部104生成与所受光的偏振光有关的信息即偏振信息(步骤S103)，区域分割装置109，通过通信装置210，将通知第一偏振图像的摄像完成的信号向投光装置108发送(步骤S504)。投光装置108，由通信装置209对通知所述摄像完成的信号进行接收时(步骤S505)，如上所述，投光控制部102将投光部101控制为，使得与取得所述第一偏振图像时不同偏振状态的偏振光向被拍摄体投光。并且，投光部101将在由投光控制部102所指示的主轴方向上偏振的偏振光再次向被拍摄体投光(步骤S104)。然后，投光装置108再次地、通过通信装置209，将通知投光的信号向区域分割装置109发送(步骤S506)。区域分割装置109，由通信装置210对通知所述投光的信号进行接收(步骤S507)，如上所述，通过步骤S105～S108，取得第二偏振图像，最终实施区域分割。

也可以设定为，投光装置108不具有投光控制部102，而具有投光位置变化部112，且如上所述，使光源的位置变化。本实施方式中的区域分割系统，使投光装置108和区域分割装置109分离，且通过通信而取得投光和摄像的同步，从而能够实现更小型的区域分割装置109并且高效率的区域分割。

(利用区域分割的模基图像合成)

本发明的区域分割，对使用于数字档案馆等的模基图像合成处理特别有效。模基图像合成能够使所摄像的图像的光源方向或视线方向任意地变化，因此作为摄像数据的交互(インタラクテイブ)提示方法非常重要。另外，对提供临场之感(臨場感)也非常有效。由此，模基图像合成处理能够利用于虚拟博物馆(バ一チヤルミユ一ジアム)或AR(AugmentedReality)等的应用中。原来，在这样的模基图像合成中，对摄像图像进行了区域分离从而将它分割为镜面反射成分和漫反射成分，且利用了按照每个成分都不同的模型，但如上所述，由于镜面反射成分和漫反射成分的分离不充分，因此产生画像质量恶化问题。产生该问题的原因为如下：在各模型中的参数推定时利用了与实际不同的镜面反射成分和漫反射成分，因此推定了与实际不同的参数。如此，在利用与实际不同的参数来合成图像的情况下，如上所述，在生成视点变换图像和光源变换图像时输出的图像中产生较大的误差。

通过利用本发明的区域分割方法，能够实现画像质量恶化少的模基图像合成。对该方法进行说明。

首先，对该处理的概念进行说明。本发明的图像合成处理，由参数推定装置300和图像合成装置301构成。利用以下的五种输入信息。

○被拍摄体的漫反射图像

○被拍摄体的镜面反射图像

○被拍摄体的三维形状信息

○光源位置/色/照度

○合成图像中的视点/光源信息

(参数推定装置、图像合成装置的实施方式)

图59是表示本发明的一实施方式所涉及的参数推定装置300和图像合成装置301的结构的方框图。

图59的参数推定装置300具备：图像摄像部302，其利用摄像装置进行摄像；区域分割部303，其利用上述的区域分割方法将图像分割为镜面反射区域和漫反射区域；光源信息推定部304，其对照射在被拍摄体的光源的方向、位置、亮度、色、波谱(スペクトル)信息等光源信息进行推定；形状信息取得部305，其取得被拍摄体表面法线信息或三维位置信息作为形状信息；参数推定部306，其根据被摄像的被拍摄体，按被所述区域分割部303分割的每个区域，使由所述光源信息推定部推定出的光源信息和由所述形状信息取得部所取得的形状信息模型化，从而推定反射模型参数；参数DB(数据库)307，其对在所述参数推定部306中推定出的反射参数进行保持。

另外，图像合成装置301具备：视点/光源信息取得部308，其取得所合成的图像的视点或光源信息；构思图部(レンダリング)309，其利用保持在参数DB307中的模基参数信息，合成基于由所述视点/光源信息取得部308所取得的视点或光源信息的图像。

首先，参照图60、图61对本实施方式中的参数推定方法的处理流程进行说明。图60、图61是表示本实施方式所涉及的图像合成方法中的参数推定方法和图像合成方法的处理流程的流程图。

在图60的步骤S601中，图像摄像部302，由所述偏振图像摄像部103及偏振信息取得部104对被拍摄体进行摄像，且取得偏振光最大亮度值Imax和偏振光最小亮度值Imin的加权平均值Imax+2·Imin。在步骤S602中，区域分割部303，利用所述的区域分割方法，将由图像摄像部302摄像的图像分割为漫反射区域和镜面反射区域。

在步骤S603中，光源信息推定部304，作为光源信息取得光源方向、还有色信息和/或照度信息。在步骤S604中，形状信息取得部305取得被拍摄体的形状信息即表面法线信息或被拍摄体的三维位置信息。

在步骤S605中，参数推定部306，对于由区域分割部303分割的漫反射图像和镜面反射图像，通过利用由所述光源信息推定部推定出的光源信息和由所述形状信息取得部所取得的形状信息，由不同的方法来推定各反射参数。在步骤S606中，参数DB307，将由参数推定部306求出的漫反射成分的反射参数和镜面反射成分的反射参数、以及由形状信息取得部305所取得的形状信息作为模型参数而进行保存。

接着，参照图61对图像合成推定方法的处理流程进行说明。

首先，在步骤S607中，构思图部309呼出保持在所述参数DB307中的模型参数信息。在步骤S608中，视点/光源信息取得部308取得所合成的图像的视点或光源方向、还有色信息和照度信息。在步骤S609中，构思图部309，利用保持在所述参数DB307中的模型参数信息，合成基于由所述视点/光源信息取得部308所取得的视点或光源信息的图像。

图62是表示搭载了本实施方所涉及的图像合成装置的照相机的结构例。

图59中所示的区域分割部303、光源信息推定部304、形状信息取得部305、参数推定部306及构思图部309，通过图61的CPU204执行程序而得以实现。但是，也可以利用硬件来实现这些机构的功能的全部或一部分。

图59的视点/光源信息取得部308，通过图61的用户接口(ユ一ザインタ一フエイス)部212来实现。存储器203，将由图像摄像部302所摄像的偏振图像、由区域分割部303所取得的镜面反射成分及漫反射成分图像、由光源信息推定部所推定出光源信息、由形状信息取得部305所取得的形状信息、由参数推定部306所推定出的反射参数信息、以及由视点/光源信息取得部所取得的视点/光源信息作为模型参数而进行保存。

以下对各处理进行说明。

首先，对图59的参数推定装置300进行说明。

图像摄像部302，利用CCD或CMOS等摄像装置对被拍摄体进行摄像。优选这样所摄像的图像，亮度非常高的镜面反射成分和漫反射成分不同时饱和，且以充分的亮度分辨率来被进行记录。由此，优选利用能够对冷却CCD照相机或多重曝光摄像等较广的动态范围(ダイナミツクレンジ)进行摄像的摄像装置。这样的图像摄像部，也可以是由所述偏振信息取得部104所取得的偏振光最大亮度值Imax和偏振光最小亮度值Imin的加权平均值Imax+2·Imin。尤其，加权平均值即Imax+2·Imin，在直线偏振光光源时，是与在未设置偏振体的情况下所摄像的图像等价的图像。由此，通过利用该加权平均值进行图像处理，从而能够进行与不利用通常的偏振光的情况同样的处理。

图59的区域分割部303，利用所述区域分割方法，将由图像摄像部302所摄像的图像分割为漫反射区域和镜面反射区域。

光源信息推定部304，作为光源信息，取得光源方向、还有色信息和/或照度信息。这，例如只要在被拍摄体附近配置用于推定光源信息的已知形状的镜面等，并根据由图像摄像部302所摄像的其镜面图像进行推定即可(例如，“神原诚之，横矢直和，‘考虑基于光源环境的实时推定的光学相容性的基于视觉(ビジヨンベ一ス)的扩张现实感’，电子信息通信学会技术研究报告，图案识别/媒体(メデイア)理解，PRMU2002-190，PP.7-12，2003”)。对该处理进行详细叙述。

利用看作图63中所示的镜面的镜面球401进行光源信息推定部304的处理。将镜面球401设置在被拍摄体附近，且假设已知其位置和法线方向。由图像摄像部302对该镜面球401进行摄像。此时，摄像环境映入镜面球401中。产生映入的位置是相对于该镜面球上的法线方向，视线方向和朝向映入对象的方向成正反射关系的位置。由此，当已知镜面球的位置和其法线方向时，根据镜面上的所映入的图像，能够检测映入对象的方向。另外，当考虑光源的亮度值较高时，从被摄像的镜面球图像中，通过对高亮度的像素进行检测，从而能够取得光源方向。另外，当已知镜面的反射率时，也能取得光源的色信息、发射亮度等光源照度信息。

作为光源信息，不仅取得光源方向，或者也可以取代光源方向，取得光源位置信息。这，例如只要利用两个所述镜面球，或者使用使摄像装置的位置变化而摄像的多个图像，且利用图像处理领域中公知的立体(ステレオ)图像处理技术即可。

也可以对这样的镜面球不经常进行摄像，而使用以前进行摄像而求出的光源信息。这，在室内的监视照相机那样光源环境不变的情况下较有效。在这样的情况下，只要设置照相机之后，对镜面球进行摄像，并且取得光源信息即可。

光源信息推定部304，也可以不利用如看作镜面的球401那样的参照物体，而利用被拍摄体，对光源方向进行推定。对该方法进行说明。首先在摄像了被拍摄体的图像区域中，选择亮度值最高的像素。如后面所述，由形状信息取得部305，对被拍摄体的形状信息即表面法线信息进行推定，因此亮度值最高的像素的法线方向是已知的。这里，亮度值最高的像素，当假定映入有正反射方向的光源时，与利用所述参照物体的方法同样，能够从法线方向取得光源的方向。

另外，也可以通过在摄像装置601中设置照度计211，而作为光源信息对入射照度进行测定。关于入射照度信息的利用方法，在后面进行叙述。

形状信息取得部305取得被拍摄体的形状信息即表面的法线信息或被拍摄体的三维位置信息。作为取得被拍摄体形状信息的机构，例如只要使用狭缝(スリツト)光投影法、图案光投影法、激光雷达(レ一ザレ一ダ)法等既存的方法即可。

形状信息的取得并不限于这些方法。例如，也可以使用利用多个照相机的立体视觉、利用照相机移动的运动-立体(モ一シヨンステレオ)法、利用使光源位置变化的同时进行摄像的图像的照度差立体法、利用毫米波(ミリ波)或超声波对与被拍摄体之间的距离进行测定的方法、还有利用反射光的偏振特性的方法(例如，USP5，028，138号或“宫崎大辅，池内克史，‘基于偏振光光线跟踪(レイトレ一シング)法的透明物体表面形状的推定方法’，电子信息通信学会论文杂志，Vol.J88-D-II，No.8，pp.1432-1439，2005”)。这里，对照度差立体法和利用偏振特性的方法进行说明。

照度差立体法是利用光源方向不同的三张以上的图像来推定被拍摄体法线方向和反射率的方法。例如“H.Hayakawa，″Photometric Stereounder a light source with arbitrary motion″，Journal of the Optical Society ofAmericaA，vol.11，pp.3079-89，1994”是通过在图像上取得六个点以上的反射率相等的点作为已知信息，且利用它作为约束条件，从而虽然不知道光源的位置信息，但也推定以下参数的方法。

·被拍摄体信息：图像上的各点的法线方向和反射率

·光源信息：被拍摄体的观察点上的光源方向和照度

这里，进行只利用由所述漫反射/镜面反射分离方法所分离的漫反射图像的照度差立体法。原来，该方法假定的是被拍摄体的完全漫反射，因此在存在镜面反射的被拍摄体中产生较大的误差。但是，通过只利用所分割的漫反射区域，从而能够消除由镜面反射成分的存在而产生推定误差。

将光源方向不同的漫反射图像，由如下的亮度矩阵I_d来表达。

[数学式15]

$I_d=\left[\begin{array}{ccc}{i}_{d1\left(1\right)}& \mathrm{\Λ}& i_{\mathrm{dF}\left(1\right)}\\ M& O& M\\ i_{d1\left(P\right)}& \mathrm{\Λ}& i_{\mathrm{dF}\left(P\right)}\end{array}\right]$ (式15)

其中，i_df(p)表示光源方向f的漫反射图像的像素p的亮度值。另外，图像的像素数为P像素、在不同光源方向上摄像的图像张数为F张。可是，根据Lambertian模型，将漫反射图像的亮度值，能够表达为如下。

[数学式16]

i_f(p)＝(ρ_dp·n_p ^T)·(t_f·L_f)                    (式16)

其中，ρ_dp是表示像素p的反射率(反照率(アルベド))，n_p是表示像素p的法线方向矢量，t_f是表示光源f的入射照度，L_f是表示光源f的方向矢量。

由式15、式16导出下式。

[数学式17]

I＝R·N·L·T＝S·M                (式17)

其中，

[数学式18]

$R=\left[\begin{array}{ccc}{\mathrm{\ρ}}_1& & 0\\ & O& \\ 0& & {\mathrm{\ρ}}_P\end{array}\right]$

[数学式19]

$N={\left[\begin{array}{ccc}{n}_1& \mathrm{\Λ}& n_P\end{array}\right]}^T=\left[\begin{array}{ccc}{n}_{1x}& n_{1y}& n_{1z}\\ M& M& M\\ n_{\mathrm{Px}}& n_{\mathrm{Py}}& n_{\mathrm{Pz}}\end{array}\right]$

[数学式20]

$L=\left[\begin{array}{ccc}{L}_1& \mathrm{\Λ}& L_F\end{array}\right]=\left[\begin{array}{ccc}{l}_{x1}& \mathrm{\Λ}& l_{\mathrm{xF}}\\ l_{y1}& \mathrm{\Λ}& l_{\mathrm{yF}}\\ l_{z1}& \mathrm{\Λ}& l_{\mathrm{zF}}\end{array}\right]$

[数学式21]

$T=\left[\begin{array}{ccc}{t}_1& & 0\\ & O& \\ 0& & t_F\end{array}\right]$

[数学式22]

$S={\left[\begin{array}{ccc}{s}_1& \mathrm{\Λ}& s_P\end{array}\right]}^T=\left[\begin{array}{ccc}{s}_{1x}& s_{1y}& s_{1z}\\ M& M& M\\ s_{\mathrm{Px}}& s_{\mathrm{Py}}& s_{\mathrm{Pz}}\end{array}\right]=P\·N$ (式18)

[数学式23]

$M=\left[\begin{array}{ccc}{M}_1& \mathrm{\Λ}& M_F\end{array}\right]=\left[\begin{array}{ccc}{m}_{x1}& \mathrm{\Λ}& m_{\mathrm{xF}}\\ m_{y1}& \mathrm{\Λ}& m_{\mathrm{yF}}\\ m_{z1}& \mathrm{\Λ}& m_{\mathrm{zF}}\end{array}\right]=L\·T$

其中，R称为表面反射矩阵，N称为表面法线矩阵，L称为光源方向矩阵，T称为光源强度矩阵，S称为表面矩阵，M称为光源矩阵。

当利用奇异值分解时，能够如下展开式17。

[数学式24]

I＝U·∑·V                            (式19)

[数学式25]

U＝[U′U″]

$\mathrm{\Σ}=\left[\begin{array}{cc}{\mathrm{\Σ}}^{\′}& 0\\ 0& {\mathrm{\Σ}}^{\′\′}\end{array}\right]$

$V=\left[\begin{array}{c}{V}^{\′}\\ V^{\′\′}\end{array}\right]$

其中，

[数学式26]

U^T·U＝V^T·V＝V·V^T＝E

E表示单位矩阵。另外，U’为P×3矩阵，U”为P×(F-3)矩阵，∑’为3×3矩阵，∑”为(F-3)×(F-3)矩阵，V’为3×F矩阵，V”为(F-3)×F矩阵。其中，U”、V”是作为信号成分的U’、V’的正交基础(基底)，即，被认为噪声成分。当利用奇异值分解时，式19可以变形为如下。

[数学式27]

$\hat{I}=U^{\′}\·{\mathrm{\Σ}}^{\′}\·V^{\′}=\hat{S}\·\hat{M}$ (式20)

[数学式28]

$\hat{S}=U^{\′}\·(\±{\left[\mathrm{\Σ}\right]}^{1/2})$

$\hat{M}=(\±{\left[\mathrm{\Σ}\right]}^{1/2})\·V^{\′}$

即，虽然通过求解式20，能够同时取得形状信息和光源信息，但剩下以下的3×3矩阵A的不确定性。

[数学式29]

$S=\hat{S}\·A$ (式21)

[数学式30]

$M=A^{-1}\·\hat{M}$ (式22)

其中，A为任意3×3矩阵。为了取得形状信息和光源信息，需要求出该矩阵A。这，例如只要已知在画面上的六个点以上处反射率相等即可。例如，当设定任意六个点k1～k6的反射率相等时，

[数学式31]

(s_k1)²＝(s_k2)²＝(s_k3)²＝(s_k4)²＝(s_k5)²＝(s_k6)²＝1             (式23)

根据式18、式21及式23，得

[数学式32]

${\left(s_{\mathrm{ki}}\right)}^2={({{\hat{s}}_{\mathrm{ki}}}^T\·A)}^2={({{\hat{s}}_{\mathrm{ki}}}^T\·A)}^T\·({{\hat{s}}_{\mathrm{ki}}}^T\·A)=({{\hat{s}}_{\mathrm{ki}}}^T\·A)\·{({{\hat{s}}_{\mathrm{ki}}}^T\·A)}^T={{\hat{s}}_{\mathrm{ki}}}^T\·A\·A^T\·{\hat{s}}_{\mathrm{ki}}=1$ (式24)

而且，当设定

[数学式33]

B＝A·A^T                        (式25)

时，式24成为如下：

[数学式34]

${{\hat{s}}_{\mathrm{ki}}}^T\·B\·{\hat{s}}_{\mathrm{ki}}=1$ (式26)

其中，根据式25，矩阵B是对称的，因此矩阵B的未知数为6。即，只要已知在画面上的六个点以上处反射率相等，就能够解出式26。

另外，当已知矩阵B时，在式25中利用奇异值分解，从而能够解出矩阵A。而且，根据式21及式式22，取得形状信息和光源信息。

根据以上，关于已知反射率相等的六个点以上的像素的被拍摄体，通过对光源方向进行变更而取得三张以上的图像，从而能够得到以下的信息。

·被拍摄体信息：图像上的各点法线方向矢量和反射率

·光源信息：被拍摄体的观察点上的光源方向矢量和发射亮度

但是，由上述的处理所求出的被拍摄体的反射率和光源的发射亮度是相对的，为了求出绝对值，在画面上的六个点以上处反射率已知等、与上述不同的已知信息是必要的。

如上所述，在照度差立体法和利用偏振特性的方法中，取得表面法线信息。另一方面，在狭缝光投影法或立体视觉等方法中，取得被拍摄体的三维位置信息。被拍摄体表面的法线信息是指被拍摄体的在三维位置信息的微小空间中的倾斜信息，且哪一个也都是被拍摄体的形状信息。

根据以上的处理，形状信息取得部305取得被拍摄体的形状信息即表面法线信息或被拍摄体的三维位置信息。

通过以上的处理，取得以下的信息。

○被拍摄体的漫反射图像

○被拍摄体的镜面反射图像

○被拍摄体的三维形状信息

○光源位置/照度

接着，参数推定部306，对于由区域分割部303所分割的漫反射成分和镜面反射成分，利用不同的方法来推定各反射参数。首先，对漫反射成分的处理进行说明。

参数推定部306，利用由区域分割部303所分割的漫反射区域，对被拍摄体的反照率进行推定。反照率对光源信息不受影响，因此通过利用反照率图像进行处理，从而能够实现对光源变动较可靠(ロバスト)的处理。

对该处理进行说明。首先，对物体的反射特性进行说明。当假定双色性反射模型时，作为漫反射成分和镜面反射成分之和由下式表达物体的亮度。

[数学式35]

I＝I_a+I_d+I_s                            (式27)

其中，I为摄像装置所摄像的被拍摄体的亮度值，I_a为环境光成分，I_d为漫反射成分，I_s为镜面反射成分。这里，环境光成分是指光源的光被物体等散射后的间接光。其被散射在空间的所有处，并且在直接光(接光)达不到的阴影部分处也提供微弱的光明。由此，通常作为噪声而被处理的情况较多。

当认为环境光成分充分小，且作为噪声可以忽视时，图像可以分离为漫反射成分和镜面反射成分。

根据式16，在扩散反射成分中成立以下的关系。

[数学式36]

${\mathrm{\ρ}}_{\mathrm{dp}}=\frac{i_{f\left(p\right)}}{t_f\·\cos {\mathrm{\θ}}_i}$ (式28)

其中，θ_i是表示被拍摄体的法线方向矢量与光源方向矢量所形成角度。这里，通过光源信息推定部304及形状信息取得部305，已知角度θ_i。另外，如后面所述，也能对光源的入射照度t_f进行推定，因此可以由式28求出被拍摄体的反照率ρ_dp。

也可以不求出被拍摄体的反照率，而根据下式，求出将光源的发射亮度与反照率相乘的疑似反照率，且利用该疑似反照率。

[数学式37]

$t_f\·{\mathrm{\ρ}}_{\mathrm{dp}}=\frac{i_{f\left(p\right)}}{\cos {\mathrm{\θ}}_i}$

接着，对镜面反射成分的反射参数的推定进行说明。

参数推定部306，利用由形状信息取得部305所取得的被拍摄体的法线信息、由区域分割部303所分割的漫反射图像和镜面反射图像，对表达该被拍摄体的参数进行推定。这里，对利用广泛使用在Computer-Graphics领域中的Cook-Torrance模型的方法进行说明。

在Cook-Torrance模型中，对镜面反射图像进行如下式的模型化。

[数学式38]

I_s＝K_sρ_s，λ                        (式29)

[数学式39]

$K_s=\frac{1}{\mathrm{\π}}{E}_i{k}_s$ (式30)

[数学式40]

${\mathrm{\ρ}}_{s,\mathrm{\λ}}=\frac{F_{\mathrm{\λ}}\mathrm{DG}}{n\·V}$ (式31)

[数学式41]

$F_{\mathrm{\λ}}=\frac{1}{2}\frac{{(g_{\mathrm{\λ}}-c)}^2}{{(g_{\mathrm{\λ}}+c)}^2}(1+\frac{{[c(g_{\mathrm{\λ}}+c)-1]}^2}{{[c(g_{\mathrm{\λ}}-c)+1]}^2})$ (式32)

[数学式42]

c＝L·H    (式33)

[数学式43]

$g_{\mathrm{\λ}}=\sqrt{{n_{\mathrm{\λ}}}^2-1+c^2}$ (式34)

[数学式44]

$D=\frac{1}{4m^2{\cos }^4\mathrm{\β}}\exp \{-\frac{{\tan }^2\mathrm{\β}}{m^2}\}$ (式35)

[数学式45]

$G=\min \left\{\begin{array}{ccc}1,& \frac{2(n\·H)(n\·V)}{(V\·H)},& \frac{2(n\·H)(n\·L)}{(V\·H)}\end{array}\right\}$ (式36)

[数学式46]

$E_i=\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}{I}_{j}n\·L_j$ (式37)

其中，E_i表示入射照度，ρ_sλ是表示波长λ中的镜面反射成分的双方向反射率，n是表示被拍摄体的法线方向矢量，V是表示视线矢量，L是表示光源方向矢量，H是表示视线矢量和照明方向矢量的中间矢量，β是表示中间矢量H和法线矢量n的角度(参照图64)。另外，Fλ为由非涅耳(フレネル)方程求出的来自电介质表面的反射光比例即非涅耳系数，D为微面元(マイクロフアセツト)分布函数，G是表示由物体表面的凸凹产生的遮光影响的几何衰减率。而且，nλ为被拍摄体的折射率，m是表示被拍摄体表面的粗糙度的系数，I_j为入射光的发射亮度。另外，k_s为镜面反射成分的系数。

此外，当利用式16的Lambertian模型时，式27被展开为如下。

[数学式47]

I＝I_a+I_d+I_s＝I_a+K_D+K_sρ_s，λ                    (式38)

其中，

[数学式48]

$K_D=\frac{1}{\mathrm{\π}}{S}_r{E}_i{k}_d{\mathrm{\ρ}}_d$ (式39)

[数学式49]

$S_r=\frac{\mathrm{dpx}\·\mathrm{dpy}}{2{\mathrm{\πr}}^2}$ (式40)

其中，ρ_d为漫反射成分的反射率(反照率)，dpx、dpy为摄像装置的1像素的x方向、y方向的长度，r是表示摄像装置的离开观察点O的距离。另外，k_d是满足以下关系式的系数。

[数学式50]

k_d+k_s＝1                        (式41)

Sr为用于表达漫反射成分和镜面反射成分的亮度值的差异的常数，表示漫反射成分从被拍摄体向所有方向反射能量。图65是用于说明该常数Sr的示意图。在图65中，在观察点O处所反射的漫反射成分能量扩展为半球状。这里，摄像装置601离观察点O的距离为r，因此可以由式40表示达到摄像装置的1摄像元件的能量与在观察点O处反射的总能量之比例S_r。

根据以上，参数推定部306，由式29～式40推定镜面反射成分的反射参数。

总括以上的关系式，用于进行参数推定的已知参数和应当推定的参数成为如下。

(已知参数)

○环境光成分I_a

○漫反射成分I_d

○镜面反射成分I_s

○被拍摄体的法线方向矢量n

○光源方向矢量L

○视线矢量V

○中间矢量H

○中间矢量H和法线矢量n的角度β

○摄像装置601的1像素的x方向、y方向的长度dpx、dpy

○摄像装置601和观察点O的距离r

(应当推定的参数)

○入射照度E_i

○镜面反射成分的系数k_s

○被拍摄体表面的粗糙度m

○被拍摄体的折射率ηλ

这里，漫反射成分的系数k_d及漫反射成分的反射率(反照率)ρ_d也是未知参数，但只推定镜面反射成分的参数，因此这里不进行推定处理。

图66是表示参数推定部306的处理流程的图。该处理，由以下的两个阶段构成。

首先使用光源信息，求出入射照度E_i(步骤S701)。这里，使用由光源信息推定部304所取得的光源位置信息、由形状信息取得部305求出的摄像装置和被拍摄体的距离信息、还有由光源信息取得部304求出的光源照度。由下式求出该入射照度E_i。

[数学式51]

$E_i=\frac{{R_1}^2}{{R_2}^2}\·\frac{\cos {\mathrm{\θ}}_1}{\cos {\mathrm{\θ}}_2}\·I_i$ (式42)

设在摄像装置601中，如上所述，设置有照度计211。这里，I_i表示由照度计211测定出的光源602的入射照度，R₁是表示摄像装置601和光源602的距离，R₂表示光源602和观察点O的距离，θ₁是表示观察点O上的法线方向矢量n和光源方向矢量LC所形成的角度，θ₂是表示摄像装置601中的光轴方向和光源方向矢量LA所形成的角度(参照图67)。这里，在被拍摄体的大小被认为与光源602和观察点O的距离R₂相比充分小的情况下，距离R₂在被拍摄体上的所有观察点O处相等。由此，在式42中，(R₁/R₂)成为常数，实际上成为不需要进行测量。另外，θ₁是已知的。这是因为由形状信息取得部已知在观察点O上的法线方向矢量n，且由光源信息推定部304已知光源方向矢量LC。另外，在由光源信息推定部304推定光源位置的情况下，θ₂是已知的。由此，式42的右边成为全部已知。

接着，利用单纯形法对未知参数m、ηλ、k_s进行推定(步骤S702)。单纯形法是在称为单纯形的图形的定点处分配变量，并且改变单纯形的大小和形状而进行函数的最佳化的方法(大田登，“色再现光学的基础”，pp.90-92，日冕社(コロナ社))。单纯形是n维空间的(n+1)各点的集合。其中，n为推定的未知数的数目，这里为“3”。由此单纯形为四面体。以矢量x_i来表示单纯形的定点，且如下确定新矢量。

[数学式52]

$x_h=\underset{x_i}{\arg \max }\left\{f\left(x_i\right)\right\},$ i＝1，2，…，n+1        (式43)

[数学式53]

$x_s=\underset{x_i}{\arg \max }\left\{f\left(x_i\right)\right\},$ i≠h

[数学式54]

$x_l=\underset{x_i}{\arg \min }\left\{f\left(x_i\right)\right\},$ i＝1，2，…，n+1

[数学式55]

$x_0=\mathrm{\Σ}\frac{x_i}{n+1},$ i≠h，i＝1，2，…，n+1  (式44)

其中，

[数学式56]

$\underset{x_i}{\arg \max }\left\{f\left(x_i\right)\right\},$

[数学式57]

$\underset{x_i}{\arg \min }\left\{f\left(x_i\right)\right\}$

表示分别使得函数f(x_i)最大、最小的x_i。

另外，将使用于该方法中的三种类的操作确定为如下。

1、镜像：

[数学式58]

x_r＝(1+α)x₀-αx_h      (式45)

2、扩张：

[数学式59]

x_c＝βx_r+(1-β)x_h      (式46)

3、收缩：

[数学式60]

x_c＝γx_h+(1-γ)x₀      (式47)

其中，α(＞0)、β(＞1)、γ(1＞γ＞0)为系数。

单纯形法基于如下期望：即，通过在单纯形的定点中选择函数值的最大值，从而其镜像中的函数值减小。若该期望为正确，则通过重复进行相同的过程(プロセス)而求出函数的最小值。即，由三种类的操作来更新在初始值中给出的参数，且重复参数的更新重复直到与评价函数所示的目标(タ一ゲツト)之间误差不足阈值为止。这里，作为参数用m、ηλ、k_s来表示，作为评价函数用式48来表示，且利用了由式29计算出的镜面反射成分图像和由区域分割部303求出的镜面反射成分图像之间的差ΔI_s。

[数学式61]

$\mathrm{\Δ}{I}_s=\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{M}_{s(i,j)}{({i_{s(i,j)}}^{\′}-i_{s(i,j)})}^2$ (式48)

其中，i_s(i，j)’、i_s(i，j)分别为所计算出的镜面反射图像的推定值I_s’和由区域分割部303求出的镜面反射成分图像I_s的像素(i，j)的亮度值，M_s(i，j)是在像素(i，j)具有镜面反射成分的情况下为1，在不具有镜面反射成分的情况下为0的函数。

对该处理进行详细说明。图68是用于说明该处理流程的流程图。

首先，在存储重复运算的更新次数的计数器(カウンタ一)n和k中代入0，从而进行初始化(步骤S711)。这里，计数器n是存储到底变更了几次初始值的次数的计数器，k是存储相对于某初始值进行了几次基于单纯形的候补参数的更新的次数的计数器。

接着，利用随机数，确定推定参数的候补参数m’、ηλ’、k_s’的初始值(步骤S712)。此时，根据各参数的物理约束条件，如下确定了初始值的产生范围。

[数学式62]

m≥0

η_λ≥1.0

0≤k_s≤1.0

0≤F_λ≤1.0

0≤D                  (式49)

接着，将这样求出的候补参数代入式29，而求出镜面反射图像的推定值I_s(步骤S713)。而且，由式48求出所计算出的镜面反射图像的推定值I_s’和由区域分割部303求出的镜面反射成分图像之间的差ΔI_s，且将它作为单纯形法的评价函数(步骤S714)。在这样求出的ΔI_s充分小的情况下(在步骤S715中为是)，认为参数推定成功，且选择候补参数m’、ηλ’、k_s’作为推定参数m、ηλ、k_s，并结束处理。另一方面，在ΔI_s较大的情况下(在步骤S715中为否)，利用单纯形法进行候补参数的更新。

在进行候补参数的更新之前，进行更新次数的评价。首先，在存储更新次数的计数器k上加1(步骤S716)，且判断计数器k的大小(步骤S717)。在计数器k充分大的情况下(在步骤S717中为否)，虽然充分进行重复运算，但由于落在局部最小(ロ一カルミニマム)，因此即使照这样重复更新，也判断为达不到最佳值，且对初始值进行变更而企图从局部最小的脱离。由此，在计数器n上加1，且在计数器k 上加进0(步骤S721)。这里，判定计数器n的值是否高于阈值，而且确定照原样继续进行处理，还是判定为不能处理而结束处理(步骤S722)。这里，在n大于阈值的情况下(在步骤S722中为否)，判定为该图像不能推定而结束处理。另一方面，在n小于阈值的情况下(在步骤S722中为是)，在式49的范围内从随机数再次重新选择初始值(步骤S712)，且重复进行处理。对于这样的k的阈值，例如只要选择100等即可。

另一方面，在步骤S717中，在计数器k为阈值以下的情况下(在步骤S717中为是)，利用式45～式47对候补参数进行变更(步骤S718)。对该处理在后面进行叙述。

接着，判断这样变形后的候补参数作为解是否有意义(步骤S719)。即，由于所变形的参数有可能落入无物理意义的值(例如，粗糙度参数m为负值等)中，因此重复进行单纯形法，从而将其去除。这，例如只要给出如下的条件，且在满足该条件的情况下判定为有意义的参数、在不满足的情况下判定为无意义的参数即可。

[数学式63]

0≤m

1.0≤η_λ

0.0≤k_s≤1.0

0.0≤D

0.0≤F_λ≤1.0               (式50)

这些值，能够由被拍摄体求出。例如，当折射率为ηλ时，是由被拍摄体的材料性质确定的值。例如公知，如果是塑料(プラスチツク)，则为1.5～1.7；如果是玻璃(ガラス)，则为1.5～1.9，因此只要利用这些值即可。即，在被拍摄体为塑料的情况下，设定折射率ηλ为1.5～1.7即可。

在变形的参数满足式50的情况下(在步骤S719中为是)，其候补参数被认为是有意义的值，因此作为新的候补参数而进行设定(步骤S720)，且重复进行更新处理(步骤S713)。另一方面，在所变形的参数不满足式50的情况下(在步骤S719中为否)，停止对于其初始值的更新处理，并根据新的初始值进行更新(步骤S721)。

这里，对步骤S718的变形处理进行详细叙述。图69是表示该处理流程的流程图。这里，对候补参数m’、ηλ’、k_s’进行矢量表述，且将它作为参数。即，

[数学式64]

x＝[m′η_s，λ′k_s′]^T

首先，利用式43、式44及式45，计算进行了镜像操作的参数x_r，且根据式48计算以x_r表示的镜面反射成分图像之间的差ΔI_s(x_r)(步骤S731)。接着，对这样求出的ΔI_s(x_r)和第二评价函数不好的ΔI_s(x_s)进行比较(步骤S732)。这里，在ΔI_s(x_r)小于ΔI_s(x_s)的情况下(在步骤S732中为是)，对进行了镜像操作的评价值ΔI_s(x_r)和当前评价值最好的ΔI_s(x_l)进行比较(步骤S733)。这里，在ΔI_s(x_r)为ΔI_s(x_l)以上的情况下(在步骤S733中为否)，将评价值最低的x_h向x_r变更(步骤S734)，且结束处理。

另一方面，在ΔI_s(x_r)小于ΔI_s(x_l)的情况下(在步骤S733中为是)，利用式46进行扩张处理，而对参数x_e和以x_e表示的镜面反射成分图像之间的差ΔI_s(x_e)进行计算(步骤S735)。接着，将这样求出的ΔI_s(x_e)和基于镜像操作的ΔI_s(x_r)进行比较(步骤S736)。这里，在ΔI_s(x_e)小于ΔI_s(x_r)的情况下(在步骤S736中为是)，将评价值最不好的x_h向x_e变更(步骤S737)，且结束处理。

另一方面，在ΔI_s(x_e)为ΔI_s(x_r)以上的情况下(在步骤S736中为否)，将评价值最不好的x_h向x_r变更(步骤S734)，且结束处理。

另外，在步骤S732中，在ΔI_s(x_r)大于ΔI_s(x_s)的情况下(在步骤S732中为否)，对进行了镜像操作的评价值ΔI_s(x_r)和当前评价值最不好的ΔI_s(x_h)进行比较(步骤S738)。这里，在ΔI_s(x_r)小于ΔI_s(x_h)的情况下(在步骤S738中为是)，将评价值最不好的x_h向x_r变更(步骤S739)，且利用式46，计算进行了收缩操作的参数x_c和以x_c来表示的镜面反射成分图像的差ΔI_s(x_c)(步骤S740)。另一方面，在ΔI_s(x_r)为ΔI_s(x_h)以上的情况下(在步骤S738中为否)，不对x_h进行变更，而计算进行了收缩操作的参数x_c和以x_c来表示的镜面反射成分图像之间的差ΔI_s(x_c)(步骤S740)。

接着，对这样求出的ΔI_s(x_c)和评价值最不好的ΔI_s(x_h)进行比较(步骤S741)。这里，在ΔI_s(x_c)小于ΔI_s(x_h)的情况下(在步骤S741中为是)，将评价值最不好的x_h向x_c变更(步骤S742)，且结束处理。

另一方面，在ΔI_s(x_c)为ΔI_s(x_h)以上的情况下(在步骤S741中为否)，根据下式对所有的候补参数x_i(i＝1，2，3，4)进行变更，且结束处理。

[数学式65]

$x_i=\frac{1}{2}(x_i+x_l)$

通过重复进行以上的处理，推定镜面反射图像中的未知参数即m、ηρ、k_s。

根据以上的处理，能够对所有的未知参数进行推定。

图70是关于图75(a)的区域C，将中间矢量β和镜像反射成分的亮度值Is分别在横轴上和纵轴上作成图的图。在该图中，白色○是将关于区域C所观测的亮度值Is作成图的图。另外，黑色■是推定Cook-Torrance模型的各参数，且作成图的图。

另外，如上所述，图75(b)是利用了以往的区域分割方法的图。图76是表示利用以往的区域分割方法所作成的合成图像。如此，在参数推定中失败的情况下，合成图像的质感成为离实物很远。

根据这些图，在以往的区域分割方法中，镜面反射成分和漫反射成分的分离精度较低，因此可知在反射参数推定中失败。由此，合成后的图像，如图76中所示，质感成为与实际的图像大不同。另一方面，在本专利的区域分割方法中，不产生这样的问题。

用于参数推定中的模型未必是Cook-Torrance模型，例如也可以是Torrance-Sparrow模型或Phong模型、简易Torrance-Sparrow模型(例如，“K.Ikeuchi and K.Sato，‘determining reflectance properties of an objectusing range and brightness images’，IEEE Transactions on Pattern Analysisand Machine Intelligence，vol.13，no.11，pp.1139-1153，1991”)。

参数推定法，未必是单纯形法，例如也可以利用倾斜(勾配)法或最小自乘法等一般的参数推定方法。

以上的处理，可以按照每个像素来进行，也可以进行区域分割而对按每个区域相等的参数组进行推定。在按每个像素进行处理的情况下，优选通过移动光源或摄像装置，或者被拍摄体，而取得被拍摄体的法线方向矢量n或光源方向矢量L，或者视线矢量V等已知参数变动后的样品。另外，在按每个区域进行处理的情况下，优选以按每个区域求出的参数的离散减小的方式对区域分割进行变更，从而进行最佳参数推定。

参数DB307，将在参数推定部306中求出的漫反射成分的反射参数、镜面反射成分的反射参数、以及由形状信息取得部305所取得的形状信息作为模型参数而保持。图71是表示保持在参数DB307中的模型参数的示意图。

根据以上的处理，参数推定装置300推定漫反射成分的反射参数和镜面反射成分的反射参数，且将所推定出的参数信息保持在参数DB307中。

接着，对图像合成装置301进行说明。

视点/光源信息取得部308取得所合成的图像的视点或光源信息。这，只要用户输入视点位置或光源位置/光源照度、还有环境光成分信息即可。另外，在扩张现实感那样的现实世界中对CG图像进行构思图的情况下，也可以利用所述光源信息推定部304，对光源信息进行推定。

构思图部309，是利用保持在所述参数DB307中的模型参数信息，合成根据由所述视点/光源信息取得部308取得的视点或光源信息的图像。构思图部309，通过对漫反射成分和镜面反射成分，分别不同地进行构思图而被进行构思图的漫反射成分、镜面反射成分及环境光成分信息进行合成，从而合成图像。

首先，对漫反射成分进行说明。如上所述，反照率图像是用光源矢量和被拍摄体法线方向矢量的内积除算漫反射成分图像的图像。由此，对保持在参数DB中的反照率图像(由参数推定部306来推定)及形状信息(由形状信息取得部305取得)，利用由视点/光源信息取得部308所取得的光源方向矢量信息，从而能够合成漫反射成分。具体而言，通过求出由视点/光源信息取得部308所取得的光源方向矢量和被拍摄体的法线方向矢量的内积，且进一步乘算反照率图像，从而合成漫射成分图像。在由视点/光源信息取得部308输入多个光源的情况下，对各光源分别合成漫反射成分图像，且加合(足し合わせる)该图像，从而合成一张漫反射成分图像。

接着，对镜面反射成分进行说明。对保持在参数DB中的镜面反射参数(由参数推定部306推定的)及形状信息(由形状信息取得部305取得的)，利用由视点/光源信息取得部308所取得的光源方向矢量信息，从而能够合成镜面反射成分。具体而言，通过代入由式29～式37推定出的参数，从而合成镜面反射成分图像。

通过对这样求出的漫反射成分图像、镜面反射成分图像及在视点/光源信息取得部308中所取得的环境光成分信息进行合成，构思图部309合成根据由所述视点/光源信息取得部308所取得的视点或光源信息的图像。

如上所述，通过利用本发明的区域分割方法，能够高精度地进行在数字档案馆等中使用的模基图像合成。

产业上的利用可能性

根据本发明所涉及的图像处理，通过利用光源状态的依存度和偏振信息等两个信息，能够更准确地分割镜面反射区域和漫反射区域。由此给予以拍快照(スナツプシヨツト)的方式摄像的图像，能够实现区域分割处理，因此在各种数码静像照相机(デジタルスチルカメラ)、数码电影摄影机(デジタルム一ビ一カメラ)、监视照相机等中有用。

Claims (18)

1.一种图像处理装置，其通过对被拍摄体进行摄像，进行针对所述被拍摄体表面的光学性区域分割，其特征在于，

具有：偏振图像摄像部，其通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，而取得被拍摄体的偏振图像，并且，

基于所述被拍摄体表面的偏振状态，以及对使从光源发射的光的偏振状态及光源位置的至少一方变化时的所述被拍摄体表面的偏振状态的变化的程度进行表示的光源依存度，进行区域分割。

2.根据权利要求1所述的图像处理装置，其特征在于，

具有：

投光单元，其具备所述光源，并且能够使从所述光源发射的光的偏振状态及光源位置中的至少一方变化；和

控制部，其进行基于所述投光单元的从所述光源发射的光的偏振状态和光源位置中的至少一方的变化，与基于所述偏振图像摄像部的摄像的同步处理。

3.根据权利要求2所述的图像处理装置，其特征在于，

具有：

投光控制部，其使从所述光源发射的光的偏振状态变化；

偏振信息取得部，其根据所取得的所述偏振图像，关于构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；

光源依存度推定部，其对利用所述投光控制部而使得从所述光源发射的光的偏振状态变化时的、由所述偏振信息取得部所生成的偏振信息进行比较，从而推定光源依存度信息；以及

区域分割部，其基于由所述偏振信息取得部生成的偏振信息和由所述光源依存度推定部推定出的光源变动信息，进行区域分割。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述偏振信息取得部，作为偏振信息生成偏振度、偏振光相位、偏振推定误差、偏振光最大亮度值及偏振光最小亮度值的至少其中之一。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述区域分割部以所述被拍摄体表面被分割成漫反射区域及镜面反射区域中的其中之一的方式进行所述区域分割。

6.根据权利要求4所述的图像处理装置，其特征在于，

所述区域分割部以所述被拍摄体表面被分割成漫反射非偏振光区域、漫反射偏振光区域及镜面反射偏振光区域中的其中之一的方式进行所述区域分割。

7.根据权利要求4所述的图像处理装置，其特征在于，

所述区域分割部以所述被拍摄体的表面被分割为光源依存偏振光区域、光源依存非偏振光区域、光源非依存偏振光区域及光源非依存非偏振光区域的其中之一的方式进行所述区域分割。

8.根据权利要求2所述的图像处理装置，其特征在于，

具有：

投光位置变化部，其使所述光源的位置变化；

偏振信息取得部，其根据所取得的所述偏振图像，关于构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；

光源依存度推定部，其对利用所述投光控制部而使得所述光源的位置变化时的、由所述偏振信息取得部所生成的偏振信息进行比较，从而推定光源依存度信息；和

区域分割部，其基于由所述偏振信息取得部生成的偏振信息和由所述光源依存度推定部推定出的光源变动信息，进行区域分割。

9.根据权利要求8所述的图像处理装置，其特征在于，

具有光源位置不同的多个投光部，且

所述投光位置变化部对所述多个投光部进行切换，从而变化投光部的位置。

10.根据权利要求8所述的图像处理装置，其特征在于，

所述投光位置变化部，通过移动投光部，而使光源位置变化。

11.根据权利要求8所述的图像处理装置，其特征在于，

所述区域分割部以所述被拍摄体表面被分割为漫反射区域及镜面反射区域的其中之一的方式进行所述区域分割。

12.根据权利要求8所述的图像处理装置，其特征在于，

所述区域分割部以所述被拍摄体表面被分割为镜面反射区域、漫反射区域及阴影区域的其中之一的方式进行所述区域分割。

13.一种图像处理系统，具有投光装置和区域分割装置，通过对被拍摄体进行摄像而进行针对所述被拍摄体表面的光学性区域分割，其特征在于，

所述投光装置具有：

投光部，其将直线偏振光向所述被拍摄体投光；和

投光控制部，其使所述投光部的直线偏振光的偏振状态发生变化，

所述区域分割装置具有：

偏振图像摄像部，其通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，从而取得所述被拍摄体的偏振图像；

摄像判定部，其对由所述偏振图像摄像部在过去所摄像的偏振图像和当前所摄像的偏振图像进行比较，而判断所摄像的偏振状态是否充分变化；

偏振信息取得部，其根据所取得的所述偏振图像，对于构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；

光源依存度推定部，其对由所述摄像判定部判定为利用所述投光控制部而使所述投光部的偏振状态发生了变化时的、由所述偏振信息取得部所生成的偏振信息进行比较，从而推定光源依存度信息；以及

区域分割部，其利用由所述偏振信息取得部所生成的偏振信息和由所述光源依存度推定部所推定出的光源变动信息，进行区域分割。

14.一种图像处理系统，其具有投光装置和区域分割装置，且通过对被拍摄体进行摄像而进行针对所述被拍摄体表面的光学性区域分割，其特征在于，

所述投光装置具有：

投光部，其将直线偏振光投光到所述被拍摄体；

投光控制部，其使所述投光部的直线偏振光的偏振状态发生变化；以及

通信部，其将通知投光的信号向所述区域分割装置发送，且从所述区域分割装置接收通知摄像结束的信号，

所述区域分割装置具有：

通信部，其从所述投光装置接收通知投光的信号，且向所述投光装置发送通知摄像结束的信号；

偏振图像摄像部，其通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，而取得被拍摄体的偏振图像；

摄像判定部，其对由所述偏振图像摄像部在过去所摄像的偏振图像和当前所摄像的偏振图像进行比较，且判断所摄像的偏振状态是否充分变化；

偏振信息取得部，其根据所取得的所述偏振图像，针对构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；

光源依存度推定部，其对由所述摄像判定部判定为利用所述投光控制部而使得所述投光部的偏振状态发生了变化时的、由所述偏振信息取得部所生成的偏振信息进行比较，从而推定光源依存度信息；以及

区域分割部，其利用由所述偏振信息取得部所生成的偏振信息和由所述光源依存度推定部所推定出的光源变动信息，进行区域分割。

15.一种区域分割方法，其通过对被拍摄体进行摄像，而进行针对所述被拍摄体表面的光学性区域分割，其特征在于，包括：

投光步骤，其中将直线偏振光向所述被拍摄体投光；

投光控制步骤，其中使所述投光部的直线偏振光的偏振状态发生变化；

偏振图像摄像步骤，其中通过对透过偏振主轴角度不同的三个方向以上的偏振体的光进行受光，从而取得被拍摄体的偏振图像；

偏振信息取得步骤，其中根据所取得的所述偏振图像，针对构成该偏振图像的单位像素的每个，利用与透过所述三个方向以上的偏振体的光的亮度之间的对应关系，生成与所受光的偏振光有关的偏振信息；

控制步骤，其中进行所述投光控制步骤和所述偏振图像摄像步骤的同步处理；

光源依存度推定步骤，其中对利用所述投光控制步骤而使所述投光步骤的偏振状态变化时的、在所述偏振信息取得步骤中生成的偏振信息进行比较，从而推定光源依存度信息；以及

区域分割步骤，其中利用由所述偏振信息取得步骤所生成的偏振信息和由所述光源依存度推定步骤所推定出的光源变动信息，进行区域分割。

16.一种程序，其用于通过对被拍摄体进行摄像而进行针对所述被拍摄体表面的光学性区域分割的区域分割装置，其特征在于，

由计算机执行在权利要求15所述的区域分割方法中包含的步骤。

17.一种模基图像合成装置，其具有参数推定装置和图像合成装置，并利用反射模型对图像进行合成，其特征在于，

所述参数推定装置具有：

图像摄像部，其对被拍摄体进行摄像；

区域分割部，其利用权利要求15所述的区域分割方法，进行针对由所述图像摄像部所摄像的图像的光学性区域分割；

光源信息推定部，其对与照射在被拍摄体上的光源有关的光源信息进行推定；

形状信息取得部，其将被拍摄体表面的法线信息或三维位置信息作为形状信息而取得；

参数推定部，其根据所摄像的被拍摄体，按被所述区域分割部所分割的每个区域，对由所述光源信息推定部所推定的光源信息和由所述形状信息取得部所取得的形状信息进行模型化，从而推定反射模型参数；和

参数数据库，其对在所述参数推定部中所推定出的反射参数进行保持，

所述图像合成装置具有：

视点/光源信息取得部，其取得所合成的图像的视点、光源信息；以及

构思图部，其利用保持在所述参数数据库中的反射参数信息，对基于在所述视点/光源信息取得部中所取得的视点、光源信息的图像，进行合成。

18.一种模基图像合成方法，含有参数推定步骤和图像合成方法步骤，且利用反射模型来合成图像，其特征在于，

所述参数推定步骤包括：

图像摄像步骤，其中对被拍摄体进行摄像；

区域分割步骤，其中利用权利要求15所述的区域分割方法，进行针对由所述图像摄像部所摄像的图像的光学性区域分割；

光源信息推定步骤，其中对与照射在被拍摄体的光源有关的光源信息进行推定；

形状信息取得步骤，其中将被拍摄体表面的法线信息或三维位置信息作为形状信息而取得；以及

参数推定步骤，其中根据被摄像的被拍摄体，按被所述区域分割部所分割的每个区域，对由所述光源信息推定部所推定出的光源信息和由所述形状信息取得部所取得的形状信息进行模型化，从而推定反射模型参数，

图像合成步骤包括：

视点/光源信息取得步骤，其取得所合成的图像的视点、光源信息；和

构思图步骤，其中利用由所述形状信息取得步骤所推定出的反射参数信息，对基于在所述视点/光源信息取得部中所取得的视点、光源信息的图像进行合成。

Images