CN102177719B - 摄像装置朝向检测装置和具备该装置的移动体 - Google Patents

Abstract

本发明提供摄像装置朝向检测装置和具备该装置的移动体，其利用能够同时取得偏振图像和彩色图像的偏振照相机，由蓝天偏振图像取得部(100)取得作为天空的一部分偏振信息的蓝天偏振图像。太阳位置取得部(1301)取得摄影时的太阳位置，由照相机朝向推定部(101)利用来自太阳位置取得部(1301)的信息求得上述蓝天偏振图像在整个天空中是哪个方位·区域的偏振图案。最后，输出照相机(摄像装置)在地球上朝向哪个方位。由此，不必另外具备传感器，也无需捕捉整个天空·太阳，就能取得照相机方位、以及照相机与太阳的相对位置关系。

Description

摄像装置朝向检测装置和具备该装置的移动体

技术领域

本发明涉及在摄影时能够取得摄像装置与太阳的相对位置关系的摄像装置朝向检测装置。此外，本发明也涉及具备摄像装置朝向检测装置的摄像装置和移动体。

背景技术

伴随着近年来数字照相机的普及，对数字照相机取得的图像进行的图像处理的重要性不断提高。这种图像处理实际上有各种各样，例如：(i)以往，占据照相机摄影时失败的主要原因的逆光的修正；(ii)作为数字变焦已知的图像高清晰化；(iii)识别人脸等，并自动对焦的识别处理；(iv)在现实图像上重叠显示通过电脑图案假想制作的图像的扩展现实等。

这些图像处理是以图像摄像时摄像元件中记录的、被摄体的“可视”为基础进行处理。该物体的“可视”是来自光源的光被被摄体表面反射并通过摄像元件对该反射光进行受光而得到。因此，光源信息在图像处理中非常重要。也就是说，取得光源信息用于摄像和图像处理是非常有效的。例如，特意将被摄体置于半逆光状态从而带来自然的立体感的这种手法被广泛使用。但是，这种摄影成功与否要因状况而定，很大程度上要依赖于摄影者的灵感和经验。

如果光源信息可知，则例如通过照相机的处理能够指示摄影方向，使得摄影者能效仿上述手法顺利进行摄影。此外，也可以基于光源信息进行自动曝光修正。在专利文献1中，提出了如下方法：在照相机上部安装传感器进行光源检测，对摄影者指示摄影方向。在专利文献1的技术中，作为用于识别光源方向的传感器，采用在光电转换元件上安装鱼眼透镜的部件。求得从整个天空聚光后的光强度在传感器上最大的位置，决定光源方向。但是，此时，在高位置看得见窗户反射之后的太阳等的情况下，这样在现实太阳的方向以外的方向也存在强光源，从而在太阳方向检测中有可能出现失败。

在专利文献2中提出如下方法：为了取得更加正确反映太阳位置的信息，利用整个天空的偏振(偏光)状态。根据本文献所公开的技术，与专利文献1同样要在照相机上部设置光源检测部。该光源检测部中，由具备偏振滤片的整个天空观测传感器进行整个天空的偏振摄影。从转动偏振传感器摄影而得到的多个图像中，取得整个天空的偏振特性，据此进行太阳方向的判定。对于天空的偏振，在非专利文献1中也有所提及，与上述专利文献1、2同样，利用能对广阔的天空区域进行摄影的鱼眼摄像头，观测天空的偏振状态。此外，尽管没有阐述具体方法，但提到了从偏振状态求得太阳方向的可能性。

专利文献3公开了一种图案化偏光器(polarizer)，用于取得偏振主轴不同的多个偏振图像。

对于天空的偏振图案(polarization pattern偏振模式)，在非专利文献2、非专利文献3、和非专利文献4中也有所记载。

专利文献1：JP特开平8-160507号公报

专利文献2：JP特开2004-117478号公报

专利文献3：JP特开2007-86720号公报

非专利文献1：“Polarization Analysis of the Skylight Caused by RayleighScattering and Sun Orientation Estimation using Fisheye-Lens Camera”、Daisuke Miyazaki et al、电子信息通信学会模式识别·媒体理解研究会、Vol.108，No.198，pp.25-32，2008

非专利文献2：“How the clear-sky angle of polarization pattern continuesunderneathclouds：Full-sky measurements and implications for animalorientation”、Istvan Pomozi et al，The Journal of Experimental Biology 204、2933-2942(2001)

非专利文献3：《光与电波》德丸仁著森北出版2000年3月21日发行

非专利文献4：“Polarization singularities in the clear sky”M.V.Berry、etal、New Journal of Physics 6(2004)162

但是，根据上述现有技术，由于需要在摄像元件以外在照相机上部设置整个天空观测传感器，因此不得不说在尺寸方面存在劣势。此外，对于摄影者来说不易握持，带来了不便。

再有，为了取得光源信息，需要通过照相机上部的传感器取得整个天空的图像。例如，要试着考虑实际使用时的情况，例如：为了拍摄纵长的照片，使照相机向右侧倾斜90度进行摄影的情况；或者在有屋顶的屋外环境下拍摄风景的情况等。该情况下，照相机上部的传感器无法捕获光源信息。也就是说，在摄影场所·摄影姿势的自由度较高的照相机摄影中，传感器无法正确捕获整个天空的情况较多。

此外，在基于上述传感器的整个天空摄影时，大部分情况下在其摄影范围内包含太阳。但是，由于太阳光过于强烈，因此例如需要减少入射光分量的机构。也就是说，包含太阳的这种对照相机摄影·光电转换元件的输入并非易事。

如上所述，在这些现有技术中存在诸多制约，在重视可用性的照相机摄影中，希望有一种自由度更高的太阳·照相机朝向检测技术。

发明内容

本发明是考虑以上的问题点进行的，目的在于提供一种装置，不用配备整个天空观测传感器，能够基于场景(scene)图像中的部分天空的状态，检测摄像装置与太阳的相对位置关系、摄像装置的朝向。

此外，本发明的另一个目的在于提供一种具备这种摄像装置的移动体(包括便携终端、便携电话、汽车等)，具有检测该移动体的朝向的功能。

本发明的摄像装置朝向检测装置检测具备摄像部的摄像装置的朝向，该摄像部通过摄影取得包括偏振相位图像的偏振图像、以及亮度图像，所述摄像装置朝向检测装置具备：图像处理部，根据所述偏振图像和亮度图像，生成表示所述亮度图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像；朝向推定部，根据所述蓝天偏振相位图像，推定由所述摄像部的朝向决定的摄像装置朝向；和输出部，输出表示由所述朝向推定部推定的摄像装置朝向的信息。

在优选的实施方式中，具备：太阳位置取得部，其取得与摄影时的太阳位置相关的信息。所述朝向推定部利用所述信息进行摄像装置朝向的推定。

在优选的实施方式中，具备：整个天空偏振映射取得部，根据与所述太阳位置相关的信息，取得表示摄影时天空的偏振状态的整个天空偏振映射。所述朝向推定部根据所述蓝天偏振相位图像和所述整个天空偏振映射，推定所述摄像装置朝向。

在优选的实施方式中，所述整个天空偏振映射取得部从包括整个天空偏振映射的数据库中，取得表示摄影时天空的偏振状态的整个天空偏振映射。

在优选的实施方式中，具备保存所述数据库的存储装置。

在优选的实施方式中，具备通信装置，其访问保存所述数据库的外部存储装置。

在优选的实施方式中，所述整个天空偏振映射取得部通过计算生成表示摄影时天空的偏振状态的整个天空偏振映射。

在优选的实施方式中，所述朝向推定部基于所述蓝天区域的偏振相位计算所述蓝天区域的方向，推定所述摄像装置的朝向。

在优选的实施方式中，具备：整个天空偏振映射取得部，其取得表示摄影时天空的偏振状态的整个天空偏振映射。所述朝向推定部以检索模式和计算模式的至少一种模式进行动作，在所述检索模式中，根据所述蓝天偏振相位图像和所述整个天空偏振映射，搜索所述蓝天区域的方位；在所述计算模式中，基于所述蓝天区域的偏振相位，计算所述蓝天区域的方向。

在优选的实施方式中，具备水平度修正部，对所述摄像装置的倾斜进行修正。

在优选的实施方式中，所述摄像装置的倾斜包括横摇方向的倾斜。

在优选的实施方式中，所述摄像装置具备水平器。由所述水平器取得水平度，根据所取得的水平度对摄像装置的倾斜进行修正。

在优选的实施方式中，具备视场角取得部，其取得摄像范围的视场角，根据取得的视场角决定蓝天区域的范围。

在优选的实施方式中，所述摄像部具备偏振主轴角度不同的多个偏光器，根据透过所述多个偏光器的光取得所述偏振图像。

在优选的实施方式中，所述偏振图像除了所述偏振相位图像以外还包括偏振度图像。

在优选的实施方式中，所述图像处理部，在天空的偏振度为基准值以上时，利用偏振度截取所述蓝天区域，在所述偏振度比所述基准值低时，利用色调截取所述蓝天区域，并输出所述蓝天偏振相位图像。

在优选的实施方式中，具备可靠度判定部，其判定推定结果的可靠度，将信息提示给使用者。

在优选的实施方式中，具备太阳高度判定部，根据基于与摄影时太阳位置相关的信息得到的太阳高度，判定可否进行推定。

在优选的实施方式中，根据太阳的高度和方位以及摄像装置朝向，进行坐标转换，从而取得照相机坐标中的太阳位置。

本发明的摄像装置(照相机)具备：摄像装置，具有摄像部，其取得包括偏振相位图像的偏振图像、以及亮度图像；和上述任意一种摄像装置朝向检测装置。

本发明的移动体是具备上述任意一种摄像装置朝向检测装置的移动体，其具备：摄像装置，具有摄像部，其取得包括偏振相位图像的偏振图像、以及亮度图像；和移动体朝向推定部，根据所述移动体的朝向与所述摄像装置朝向之间的关系，基于检测到的所述摄像装置朝向，决定所述移动体的朝向。

本发明的便携设备是具备上述任意一种摄像装置朝向检测装置的便携设备，其具备：摄像装置，具有摄像部，其取得包括偏振相位图像的偏振图像、以及亮度图像；和便携设备朝向推定部，根据所述便携设备的朝向与所述摄像装置朝向之间的关系，基于检测到的所述摄像装置朝向，决定所述便携设备的朝向。

本发明的图像输入装置具备：摄像部，通过摄像取得包括偏振相位图像的偏振图像、以及亮度图像；图像处理部，根据所述偏振图像和亮度图像，生成表示所述亮度图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像；朝向推定部，根据所述蓝天偏振相位图像，推定由所述摄像部的朝向决定的摄像装置朝向；和输出部，输出由所述摄像部拍摄的图像数据、以及表示由所述朝向推定部推定的摄像装置朝向的信息。

本发明的图像格式保存：图像数据；表示摄影时的时间的数据；表示摄影位置的经度纬度的数据；和表示摄像装置朝向的数据。

本发明的摄像装置朝向检测方法包括：由摄像装置取得偏振图像和亮度图像的步骤；根据所述偏振图像和亮度图像，生成表示所述亮度图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像的步骤；根据所述蓝天偏振相位图像，推定摄像装置朝向的步骤；和输出表示摄像装置朝向的信息的步骤。

本发明的程序用于摄像装置朝向检测装置，该摄像装置朝向检测装置利用天空的偏振图案检测摄影时的摄像装置朝向，所述程序使计算机实行如下步骤：由摄像装置取得偏振图像和亮度图像的步骤；根据所述偏振图像和亮度图像，生成表示所述亮度图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像的步骤；根据所述蓝天偏振相位图像，推定摄像装置朝向的步骤；和输出表示摄像装置朝向的信息的步骤。

根据本发明，在各种摄影位置·摄影姿势的屋外场景的摄影中，不必配备整个天空观测传感器，利用天空的部分偏振信息，就能够取得摄像装置和移动体的朝向。

附图说明

图1A是表示在屋外照相机获取视线方向(z轴方向)的风景照片的情况。

图1B是表示拍摄的场景图像的一例的示意图。

图1C是表示整个天空的偏振相位图案的例子。

图1D是表示整个天空的偏振相位图案的其他例子。

图1E是表示照相机视线方向(z轴方向)与太阳位置之间关系的一例。

图1F是表示本发明的第1实施方式中的图像输入装置的结构框图。

图2是用于本发明的说明的、表示围绕照相机的旋转方向的概念图。

图3是表示场景图像·场景偏振图像取得部的结构框图。

图4是表示彩色偏振取得部301的基本结构的示意图。

图5(a)和(b)是从上方观察偏振图像摄像部的摄像面的一部分的示意图。

图6(a)、(b)、(c)是分别示意表示B、G、R偏振图像的波长特性的曲线。

图7是表示G的彩色滤波器的透过区域和偏振分离区域的曲线。

图8是表示透过了具有不同偏振主轴的偏光器的光的亮度曲线。

图9(a)、(b)、(c)分别是场景图像·场景偏振图像取得部所拍摄的偏振度图像、偏振相位图像、彩色图像(亮度图像)，(d)是彩色图像的示意图。

图10(a)、(b)是表示场景图像的横摇水平度修正的示意图。

图11A是表示蓝天偏振图像处理部的结构框图。

图11B是表示蓝天偏振图像处理部的其他结构框图。

图11C是表示蓝天偏振图像处理部的另外的结构框图。

图12(a)～(f)是表示实际将本方法应用于白天东方天空场景图像时的处理结果。

图13(a)～(d)是表示对图12的图像的最终处理结果。

图14(a)～(f)是表示实际将本方法应用于傍晚东方天空场景图像时的处理结果(失败)。

图15(a)～(d)是表示本方法中利用色调相似度应用于傍晚东方天空场景图像时的处理结果。

图16(a)和(b)是表示照相机朝向取得部的结构框图。

图17(a)～(c)是表示整个天空偏振映射和蓝天偏振相位图像的关系的概念图。

图18(a)、(b)是表示天体坐标系的示意图。

图19是表示摄像图像与照相机的关系的示意图。

图20是表示照相机、图像坐标系、天体坐标系之间的关系的示意图。

图21是表示本发明的第2实施方式中的图像输入装置的结构框图。

图22A是表示第2实施方式中的蓝天偏振图像处理部的示意图。

图22B是表示第2实施方式中的蓝天偏振图像处理部的其他结构框图。

图22C是表示表示第2实施方式中的蓝天偏振图像处理部的另外的结构框图。

图23(a)～(f)是表示实际将本方法应用于白天东方天空场景图像时的处理结果。

图24是表示本发明的第2实施方式中的照相机朝向取得部的第1模式的结构框图。

图25是表示由整个天空偏振映射候补取得部得到的搜索候补区域的概念图。

图26是表示本发明的第2实施方式中的照相机朝向取得部的第1模式的其他结构框图。

图26B是表示整个天空偏振图像的搜索可靠度下降时的整个天空的偏振映射的概念图。

图27是表示本发明的第2实施方式中的照相机朝向取得部的第2模式的结构框图。

图28是表示本发明的第3实施方式中的图像输入装置的结构框图。

图29是表示本发明的第3实施方式中的输出部的结构框图。

图30是表示图像格式的示意图。

图31是表示基于本发明的照相机朝向检测方法的一例流程图。

图32A是表示本发明的第4实施方式中的移动体朝向检测装置的结构框图。

图32B是表示本发明的第4实施方式中的数据库260中保存的数据构造的一例。

图33是表示本发明的第4实施方式中的移动体朝向检测方法的一例流程图。

图34是表示本发明的第4实施方式中的移动体朝向检测装置的一个使用例。

图35是表示本发明的第4实施方式中的移动体朝向检测装置的设置例。

图36是表示本发明的第4实施方式中的移动体朝向检测装置的圈外显示的一例。

图37是表示本发明的第5实施方式中的便携设备朝向检测装置的结构框图。

图38是表示本发明的第5实施方式中便携设备朝向检测装置的一例流程图。

图39是表示本发明的第5实施方式中便携设备朝向检测装置的一个使用例。

图40是表示本发明的第5实施方式中便携设备朝向检测装置的设置例。

图41是表示本发明的第5实施方式中便携设备朝向检测装置的圈外显示的一例。

图42是表示本发明的第6实施方式中的照相机朝向检测装置的结构。

图43是表示本发明的第6实施方式中的场景图像·场景偏振图像取得部的结构框图。

图44是表示本发明的第6实施方式中的偏振取得部的基本结构的示意图。

图45是从上方观察本发明的第6实施方式中的偏振图像摄影部的摄像面的一部分的示意图。

图46A是表示本发明的第6实施方式中的蓝天偏振图像处理部的结构框图。

图46B是表示本发明的第6实施方式中的蓝天偏振图像处理部的其他结构框图。

图46C是表示本发明的第6实施方式中的蓝天偏振图像处理部的另外的结构框图。

图46D是表示本发明的第6实施方式中的蓝天偏振图像处理部的其他结构框图。

图47是表示本发明的第6实施方式中的摄像装置朝向(照相机朝向)检测方法的一例流程图。

图48(a)、(b)是分别表示本发明的第6实施方式中的摄像装置朝向(照相机朝向)检测方法的其他例子的框图和流程图。

图中：

10照相机

100蓝天偏振相位图像取得部

100a场景图像·场景偏振图像取得部

100b横摇水平度修正部

100c蓝天偏振图像处理部

101照相机朝向推定部

102输出部

1301太阳位置取得部

1302整个天空相位映射取得部

1303蓝天区域方向推定部

1304视场角取得部

1305蓝天区域方向计算部

1901纵摇方向水平度取得部

1902太阳高度判定部

1904可靠度判定部

2301坐标转换部

2401图像格式

具体实施方式

本发明是基于如下想法完成的，即：着眼于蓝天处于偏振状态，利用其偏振的图案，根据场景图像中包含的蓝天区域的偏振信息，能够推定摄像装置的朝向。

如图1A所示，考虑在屋外摄像装置(为了简单，称为“照相机”)10取得视线方向(z方向)的风景照片的情况。在此，如图1B所示，以在拍摄到的场景图像中包含一部分蓝天(蓝天区域)为前提。在图1B所示的场景图像内的蓝天区域附上斜线，设该斜线示意表示蓝天的偏振相位。在此，所谓偏振相位是表示偏振主轴方向的角度(相位角度)，由围绕照相机视线方向(z轴方向)的旋转角度规定。

偏振相位的方向(相位角度)并不被人的视觉直接识别，是在通常图像(亮度图像)中未被表现的信息。但是，当在照相机10的前方配置偏振滤片，并围绕图1A所示的照相机视线方向(z轴方向)旋转偏振滤片时，在特定的旋转角度来自蓝天的光(偏振光)能够以最高的透过率透过偏振滤片。此时偏振滤光器的透过轴方向(角度)相当于位于照相机视线方向(z轴)前端的蓝天区域的偏振方向(相位角度)。

图1C和图1D是表示整个天空的偏振相位图案的例子，在各自的圆内表示半球状的整个天空具有的偏振相位的图案。该圆的中心相当于天顶(天空中心)，外周相当于地平线。图1C、图1D中记载着多个曲线，各曲线的任意位置处的切线方向表示该位置的偏振相位(角度)的朝向。对于整个天空的偏振图案，在最简单的模型中是在以太阳为中心的同心圆方向具有偏振方向，但实际上通过实测可知具有特异偏振特性的点存在4个。在非专利文献4中对此有详细说明。

如后面所说明的那样，蓝天的偏振随着天空中太阳的位置而变化。因此，若基于摄影时间、摄影位置(经度、纬度)等信息求得天空中太阳的位置，则该时刻的天空的偏振图案确定。只要提供了摄影时间·位置，天空任意位置处的偏振相位都能通过计算求得，但也可以将天空上的位置与偏振相位相对应的映射(整个天空映射)作为数据库预先保存在存储装置中。

图1E是表示照相机视线方向(z轴方向)与太阳的位置关系的例子。在照相机视线方向(z轴方向)的前端示意表示进行摄影的场景图像的矩形范围(图像区域)。该矩形范围中记载的箭头表示该方向的蓝天区域的偏振方向(偏振相位的朝向)。由于某时间的蓝天的偏振相位，因天空的位置而不同，因此若照相机朝向改变则拍摄的蓝天区域的偏振相位的朝向也变化。

根据本发明优选的方式，从数据库或者通过计算取得天空的偏振信息，另一方面，为了检测摄影场景中包含的蓝天区域的偏振状态，通过对比天空的偏振信息，能够求得摄影方向、太阳位置与照相机的关系。此外，根据其他方式，不利用数据库，通过计算求得蓝天区域的方向，据此也可以推定照相机朝向(摄像装置朝向)。

以下，参照附图对本发明的实施方式进行说明。

(实施方式1)

图1F表示本发明涉及的图像输入装置的结构。该图像输入装置具备：蓝天偏振相位图像取得部100、照相机朝向推定部101、输出部102。蓝天偏振相位图像取得部100具有场景图像·场景偏振图像取得部100a、横摇(roll)水平度修正部100b、蓝天偏振图像处理部100c，输出蓝天偏振相位图像Φsky。

在本说明书中，所谓“偏振图像”是指构成图像的多个像素分别显示其像素的偏振信息的图像。偏振信息包括偏振度和偏振相位(相位角度)。因此，所谓“偏振图像”只要没有特别限定，就是指二维显示各个像素的偏振度的“偏振度图像”、和二维显示各个像素的偏振相位的“偏振相位图像”的总称。

此外，各像素的偏振度和偏振相位的大小(数值)可由该像素中的明亮度和色调来表现。在本申请的附图中，由明亮度的高低来表现偏振度和偏振相位的大小。

接下来，对基于本实施方式的图像输入装置的详细结构和动作进行说明。

首先，参照图2对与本说明书中使用的照相机的旋转相位相关的用语进行说明。

围绕向照相机侧方延伸的轴(在此为x轴)的旋转201是平摇(yaw)。此外，围绕向照相机上下方向延伸的轴(在此为y轴)的旋转202是纵摇(pitch)。最后，围绕向照相机前后方向延伸的轴(在此为z轴)的旋转203是横摇(roll)。

此外，优选图1F所示的结构要素的全部结构要素收纳于图2所示的照相机中，但例如场景图像·场景偏振图像取得部100a和计测横摇方向的倾斜的水平器可配备在图2的照相机内，横摇水平度修正部100b、蓝天偏振图像处理部100c、照相机朝向推定部101、以及输出部102可设置在照相机外部。

由于照相机具备作为场景图像·场景偏振图像取得部100a发挥功能的摄像部，因此根据照相机朝向拍摄的场景图像·场景偏振图像内容发生变化。

优选用于推定照相机朝向的一系列处理在照相机内部实行，但也未必在照相机内部实行。

在本说明书中，将具备取得亮度图像和偏振图像的“摄像部”、用户能够改变摄像方向的装置称为“照相机”。与是否内置在该照相机中无关，将推定照相机朝向(摄像装置朝向)的装置称为“照相机朝向检测装置”或“摄像装置朝向检测装置”。此外，将具备这种“摄像部”和“摄像装置朝向检测装置(照相机朝向检测装置)”双方的装置称为“图像输入装置”。从“摄像部”向“摄像装置朝向检测装置(照相机朝向检测装置)”发送场景图像和场景偏振图像的数据，该数据的收发能够通过可换式存储器、通信线、网络等各种信息传输介质进行。

具备这种“摄像装置朝向检测装置”的装置并不限定于照相机等的摄像装置。例如，也可以在便携终端(包括笔记本个人电脑)、便携电话等便携设备中配备“摄像装置”和“摄像装置朝向检测装置”。此外，也可以在汽车或二轮车等移动体上配备“摄像装置”和“摄像装置朝向检测装置”。

便携设备或移动体的朝向不需要与具备这些装置的摄像装置的朝向一致。由于便携设备或移动体的朝向与摄像装置的朝向存在规定关系，因此只要检测出摄像装置朝向，就能够根据该检测出的摄像装置朝向求得便携设备或移动体的朝向。

此外，本说明书中的“照相机”并不限定于通常人们手持进行摄影的所谓一般的照相机。认为配备于汽车等移动体的摄像装置也包含在“照相机”中。

接下来，参照图3对本实施方式的场景图像·场景偏振图像取得部100a的结构进行说明。在屋外，需要取得场景图像和场景偏振图像的双方。由于因为风而存在云的运动等，因此也优选实时取得偏振图像。此外，尽管优选同时取得场景图像·场景偏振图像，但也可以间隔几秒左右取得。

在现有技术中，一般在取得偏振图像时，使偏振片旋转从而拍摄多个图像，但是在屋外是不实用的。例如在专利文献3中公开了以往的同时取得单色图像和偏振图像的技术。在该技术中，为了同时取得亮度图像和被摄体的部分偏振的图像，将具有多个不同偏振主轴(透过轴)的图案化偏光器对摄像元件在空间上配置。作为图案化偏光器(偏振器)，利用光子结晶或构造双折射波长板阵列。但是，在这些技术中，无法同时取得彩色图像和偏振图像。

相对于此，图3的场景图像·场景偏振图像取得部100a构成为：在对被摄体实时取得彩色图像信息的同时，取得偏振图像信息，输出2种偏振图像信息(偏振度图像ρ和偏振相位图像Φ)。

在图3的场景图像·场景偏振图像取得部100a中，通过透镜300a和光圈300b的入射光入射至彩色偏振取得部301。彩色偏振取得部301能够从该入射光实时取得彩色动态图像信息和偏振图像信息。从彩色偏振取得部301输出表示彩色动图像信息和偏振信息图像信息，分别提供给彩色信息处理部302和偏振信息处理部303。彩色信息处理部302和偏振信息处理部303，对上述信号实施各种处理，输出彩色图像C、偏振度图像ρ、偏振相位图像Φ。

图4是表示彩色偏振取得部301的基本结构的示意图。在图示的例子中，彩色滤片401和图案化偏光器402重叠设置在摄像元件像素403的前面。入射光透过彩色滤片401和图案化偏光器402到达摄像元件，由摄像元件像素403观测亮度。根据这种实施方式，采用彩色马赛克(colormosaic)型单板彩色摄像元件，能够同时取得彩色图像信息和偏振图像信息的双方。

图5(a)是从光轴方向的正上方观察彩色偏振取得部301中的一部分摄像面的图。图5(a)中为了简单仅示出了摄像面中16个像素(4×4)。图示的4个矩形区域501至504分别表示在4个像素单元上设置的拜尔(bayer)型彩色马赛克滤片的对应部分。矩形区域501是B(蓝色)滤片区域，覆盖像素单元B1至B4。在像素单元B1至B4紧密结合分别具有不同偏振主轴的B(蓝色)用图像化偏光器。在此，所谓“偏振主轴”是与透过偏光器的光的偏振波面(透过偏振波面)平行的轴。在本实施方式中，在同一颜色的像素内相邻配置具有不同角度的透过偏振波面的偏光器单位(微小偏振片)。更加详细而言，透过偏振波面的方向彼此不同的4种偏光器单位配置在R(红色)、G(绿色)、B(蓝色)的各相同颜色的像素内。一个偏光器单位对应4个微细偏振像素。在图5(a)中，对各个偏振像素附于G1等的符号。

图5(b)表示紧密接合B(蓝色)用图案化偏光器的4个微细偏振像素中分配的偏振主轴。在图5(b)中，各微细偏振像素中记载的直线示意表示微小偏振片的偏振主轴方向。在图5(b)的例子中，4个微细偏振像素分别具有角度ψi＝0°、45°、90°、135°的偏振主轴。

在矩形区域502、504的像素上分别紧密结合4个G(绿色)用图案化偏光器，在矩形区域503的像素上分别紧密结合4个R(红色)用图案化偏光器。图中，由参照符号“505”表示的位置表示总括了本摄像系统中矩形区域501中的4个像素的假设像素位置。各矩形区域502～504的图案化偏光器也如图5(b)所示那样，被分割成具有4个不同的偏振主轴的部分。

这样，在本实施方式中具有如下特征，也就是对于各彩色像素包含具有不同偏振主轴的多个微细偏振像素，彩色马赛克排列自身是任意的。在以下的说明中，将各微细偏振像素称为“偏振像素”。

图16(a)至(c)分别示意表示B(蓝色)、G(绿色)、R(红色)盼偏振像素的波长特性的曲线。各曲线的纵轴是透过光的强度，横轴是波长。B、G、R用的偏振像素具有如下偏振特性：在B、G、R各波段透过TM波(Transverse Magnetic Wave)、反射(不透过)TE波(Transverse ElectricWave)。TM波是磁场分量相对于入射面为横向的波，TE波是电场分量相对于入射面为横向的波。

图6(a)中表示B偏振图像的偏振特性602、603与B用彩色滤片的透过特性601。偏振特性602、603分别表示TM波和TE波的透过率。

图6(b)中表示G偏振图像的偏振特性605、606与G用彩色滤片的透过特性604。偏振特性605、606分别表示TM波和TE波的透过率。

图6(c)中表示R偏振图像的偏振特性608、609与R用彩色滤片的透过特性607。偏振特性608、609分别表示TM波和TE波的透过率。

图6(a)至图(c)所示的特性例如能够利用专利文献3所述的光子结晶来实现。在光子结晶的情况下，具有与其表面形成的槽平行的电场矢量振动面的光为TE波，具有垂直的电场矢量振动面的光为TM波。

本实施方式中重点在于，如图6(a)至(c)所示，在B、G、R的透过波段分别使用表示偏振分量特性的图案化偏光器。

图7表示在G彩色滤片的透过区域与基于偏振特性6101、6102确定的偏振分离区域之间波长错开的情况。如果是具有这种特性的偏光器，则无法进行作为本发明目的的动作。

使用单色亮度和偏振滤片的情况下，尽管不需要表示偏振分离特性的波长区域最优化，但针对每个彩色像素取得偏振信息时，需要使彩色的分离特性与偏振的分离特性相匹配。

在本说明书中，利用表示偏振像素的偏振主轴方位的4个数字“1、2、3、4”和用于区别彩色的3个符号“R、G、B”组合(例如“R1”或“G1”等)表示偏振像素的特性。由于偏振像素R1和偏振像素G1中数字是相同的，因此偏振主轴的方位一致，但由于RGB符号不同，所以相当于透过光的波段不同的偏振像素。在本实施方式中，通过图4所示的彩色滤片401和图案化偏光器402的组合，来实现这种偏振像素的排列。

为了准确取得被摄体特别亮的镜面反射部分包含的偏振分量、被摄体的影区域包含的偏振分量等，优选摄像元件的亮度动态范围和位数尽量大(例如16位)。

基于图5所示的结构对每个偏振像素取得的亮度信息在图3的偏振信息处理部303中进行处理。以下，对该处理进行说明。

图8是表示透过了4种偏光器的光的亮度701～704，这4种偏光器具有方向不同的偏振主轴(ψi＝0°、45°、90°、135°)。在此，将偏振主轴的旋转角ψ为ψi时的观测亮度设为Ii。其中，“i”是1以上N以下的整数，“N”为采样数。图8所示的例子中，N＝4，i＝1、2、3、4。图8中表示与4个像素的采样(ψi、Ii)相对应的亮度701～704。

偏振主轴的角度ψi与亮度701～704之间的关系由正弦函数曲线表现。图8中以亮度701～704的4个点位于1条正弦函数曲线上的方式记载。基于更多的观测亮度决定正弦函数曲线的情况下，也可存在观测亮度的一部分从正弦函数曲线上略微偏离的情况，此时也没问题。

此外，本说明书中所谓的“偏振信息”是表示亮度相对于偏振主轴角度的依赖性的正弦函数曲线中的振幅调制度和相位信息。

在实际处理中，对图5(a)所示的同一彩色区域501～504的每一个将内部的4个像素亮度值作为采样，以如下的方式对相对于图案化偏光器的主轴角ψ的反射光亮度I进行近似。

I(ψ)＝A·sin 2(ψ-B)+C    (式1)

在此，如图8所示那样A、B、C为常数，分别表示偏振亮度的波动曲线的振幅、相位、平均值。在图8的例子中，B取负值。(式1)能够以如下方式展开。

I(ψ)＝a·sin 2ψ+b·cos 2ψ+C    (式2)

其中，A和B分别由以下的(式3)和(式4)表示。

$A=\sqrt{a^2+b^2},\sin (-2B)=\frac{b}{\sqrt{a^2+b^2}},\cos (-2B)=\frac{a}{\sqrt{a^2+b^2}}$ (式3)

$B=-\frac{1}{2}{\tan }^{-1}\left(\frac{b}{a}\right)$ (式4)

如求得使以下的(式5)最小的A、B、C，则能够由(式1)的正弦函数近似亮度I与偏振主轴角ψ之间的关系。

$f(a,b,C)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(I_i-a\·\sin 2{\mathrm{\ψ}}_i-b\·\cos 2{\mathrm{\ψ}}_i-C)}^2$ (式5)

在以上的处理中，针对一个颜色确定正弦函数近似的A、B、C的3个参数。这样，求得表示偏振度ρ的偏振图像和表示偏振相位Φ的偏振相位图像。偏振度ρ表示相应像素的光发生偏振的程度，偏振相位Φ表示相应像素的光的部分偏振的主轴角度。此外，对于偏振的主轴角度0°和180°是相同的。值ρ和Φ(0≤Φ≤π)分别通过以下的(式6)和(式7)算出。

$\mathrm{\ρ}=\frac{I_{\max }-I_{\min }}{I_{\max }+I_{\min }}=\frac{A}{C}=\frac{A}{\stackrel{\‾}{I}}$ (式6)

$\mathrm{\φ}=\frac{\mathrm{\π}}{4}+B$ (式7)

此外，本实施方式的图案化偏光器也可以是光子结晶、薄膜型偏振元件、线栅网格型、基于其他原理的偏振元件。

图3所示的彩色信息处理部302利用从彩色偏振取得部301输出的信息计算彩色亮度。透过了偏光器的光的亮度与入射至偏光器之前的光具有的本来亮度不同。在非偏振照明的情况下，理论上对偏振的所有偏振主轴上的观测亮度进行平均化之后的值相当于入射至偏光器之前的光具有的本来亮度。当以IR1表现角度偏振像素R1的像素的观测亮度时，能够基于以下的(式8)计算彩色亮度。

${\stackrel{\‾}{I}}_R=(I_{R1}+I_{R2}+I_{R3}+I_{R4})/4$

${\stackrel{\‾}{I}}_G=(I_{G1}+I_{G2}+I_{G3}+I_{G4})/4$

${\stackrel{\‾}{I}}_B=(I_{B1}+I_{B2}+I_{B3}+I_{B4})/4$ (式8)

通过得到各偏振像素中的亮度，能够生成通常的彩色马赛克图像。基于马赛克图像在各像素转换为具有RGB像素值的彩色图像，由此生成彩色图像C。这种转换例如采用拜尔马赛克的插值方法等的公知插值技术来实现。

利用图5(b)所示的4个偏振像素得到彩色图像C、偏振图像ρ、偏振相位图像Φ中的各像素的亮度和偏振信息。因此，能够认为各个亮度和偏振信息代表位于图5(b)所示的4个偏振像素中心的假设像素点505中的值。这样，彩色图像和偏振图像的分辨率降低至本来彩色单板摄像元件具有的分辨率的纵1/2×横1/2。因此，优选摄像元件像素数尽量较大。

图9中表示实际的偏振图像ρ、偏振相位图像Φ、彩色图像C的例子。图9是将远处的建筑物的场景作为被摄体的图像。图9(a)的偏振度图像ρ中，由像素的明亮度表现偏振的强度，像素的明亮度越高(白)则该像素的偏振越高。图9(b)的偏振相位图像Φ中，由明亮度表现偏振相位的角度。偏振相位对明亮度分配0至180度的值来表现。要注意的是，由于相位角度中存在周期性，因此偏振相位图像上的白色和黑色的相位角度实际上是连续的。图9(c)的彩色图像C是通常的RGB彩色的亮度图像。不过，该图中并未表现色调，记载了仅由明亮度来表现各像素的亮度的单色亮度图像。图9(d)是对应图9(c)的图像的示意图。照片中难以分辨清楚，不过801为天空，802为云、803为建筑物、804为树丛、805为照相机架的一部分。

此外，如图10所示，作为以后处理的前提，以场景摄影中水平线在画面内也为水平的方式进行修正。拍摄到的场景图像·场景偏振图像的倾斜修正，在横摇水平度修正部100b(图1F)中进行。在此，修正的是围绕照相机光轴的倾斜。也就是说，通过围绕方向203旋转θr来修正倾斜，使得图2的x轴与地面水平。

以下，参照图10对水平度修正的一例进行说明。

首先，作为拍摄到的图像例子，假设得到如图10(a)所示那样倾斜的图像。如图10(a)所示那样规定相对地面的垂线9011、地面的水平线902。此时，若假定图像为未变形的理想图像(或者，上述那样修正之后的图像)，则能够将图2的照相机x轴视为与图10(a)的x轴等价，图像的水平的线902也就是照相机x轴方向相对地面的倾斜度为θr。因此，首先由照相机内部设置的水平器检测该倾斜度θr。所搭载的水平器例如是JP特开2007-240832号公报公开的那种、只要是能搭载于照相机内部的水平器就可以。

接下来，利用水平器得到的倾斜度θr，进行偏振相位图像的偏振相位修正。具体而言，通过以如下的式9对式7中得到的Φ进行修正，能够得到修正之后的偏振相位图像Φnew。

φ_new＝φ+θ_r      (式9)

此外，如果可能，为了后面的处理也对场景图像·场景偏振图像进行倾斜修正(水平修正)。尽管场景图像·场景偏振图像的倾斜修正不是必需的，可以在倾斜图像的状态下直接进行后面的处理，但为了简化说明，在此实施倾斜修正。图10(b)是倾斜修正后的图像。修正前的图10(a)中的相对地面的垂线9011在图10(b)中旋转θr旋转至新的垂线9012，该垂线9012与平行于X’轴的图像的水平的线902正交。

图10(a)中的像素903的坐标(Xr，Yr)将像素旋转了角度θr之后，转换为以下的式10表示的坐标(Xr’，Yr’)。坐标(Xr’，Yr’)的像素在图10(b)中作为像素904记载。

x_r′＝x_rcosθ-y_rsinθ

y_r′＝x_rsinθ+y_rcosθ        (式10)

将这种转换应用于图像内的所有像素，从而能够将在横摇方向倾斜拍摄的图像，修正为除去了倾斜之后的图像(倾斜修正)。

此外，对于该修正，只要了解相对于水平线的天空区域的偏振相位角即可，因此例如也可以在除去了云区域之后进行。另外，在不进行本修正时，在后面的照相机朝向推定部的计算中，只要对所有照相机坐标对整个天空偏振映射进行坐标转换即可。

接下来，参照图11对蓝天偏振图像处理部100c的结构进行说明。

蓝天偏振图像处理部100c将偏振度图像ρ、偏振相位图像Φ、彩色图像C作为输入，输出蓝天偏振相位图像ΦSKY。蓝天偏振相位图像ΦSKY用于从场景中推定照相机朝向、太阳朝向。

在蓝天偏振图像处理部100c中，偏振度二值化部1001以阈值T ρ对偏振度图像ρ进行二值化。亮度转换部1002将彩色图像C转换为亮度图像Y。亮度二值化部1003、1004利用阈值TC1、TC2对转换后的亮度图像Y进行二值化处理。图像运算部1005，对由偏振度二值化部1001二值化之后的偏振度图像ρ’与亮度二值化部1003中二值化之后的亮度图像C1’进行逻辑与(AND)运算，输出遮罩图像(mask image)A’。

色调相似度转换部1006对彩色图像C进行HSV转换，输出表现了与天空颜色之间的色调相似度的色调相似度图像h。色调相似度二值化部1007以阈值TH对色调相似度图像h进行阈值处理，输出仅提取出天空色调区域的图像h’。图像运算部1008，对由亮度二值化部1004二值化之后的亮度C2’、与由色调相似度二值化部1007二值化之后的特定色调进行逻辑与运算。

输出选择部1009根据偏振度判定部1010的输出ρd，决定采用基于二值化后的亮度·偏振度图像C1’、ρ’生成的第1蓝天区域遮罩图像A’，还是采用基于二值化之后的亮度·色调相似度图像C2’、h’生成的第2蓝天区域遮罩图像B’。

图像远算部1011，在采用的蓝天区域遮罩图像Msky与偏振相位图像Φ之间进行逻辑与运算，生成蓝天偏振相位图像Φsky。

作为现有的蓝天区域检测方法，是从彩色图像中搜索图像上的色调与蓝色类似、且平坦的区域。在该方法中，针对包含有云天空的蓝天，可从彩色信息和纹理特征准确求得。但是，由于利用彩色信息，因此存在如下问题：(i)像有晚霞的天空那样彩色的色调信息从蓝色到洋红、红色逐渐变化的情况下，或(ii)地上的建筑物为蓝色、白色的情况下，无法与实际的天空或云进行辨别。

这样，就希望能够在不明确使用因天空的物理因素变化多样的彩色信息的情况下，仅以单一亮度信息检测天空。在进行这种检测时，例如假定场景图像中亮度最高的区域为天空即可。通过实验基于这种假设进行天空检测时，在有云的天空或有晚霞的天空的情况下，也可得到某种程度良好的结果。但是，在晴天时，与天空的亮度相比，多数情况下地面建筑物进行镜面反射后的亮度更高，无法得到良好的结果。在晴天的情况下，与太阳光的正反射相比，人工物体(建筑物)通过接受蓝天的全方位照明从而在其平滑表面产生预想以上较强的镜面反射被认为是主要原因。

因此，在本实施方式中，除了亮度以外利用场景的偏振度来检测蓝天区域。这利用了晴天白天时的天空的偏振度在水平线附近非常高的特点。在非专利文献2中，从早晨(日出)到傍晚(日落)的12小时按照1小时为单位记录了整个天空的偏振状态，根据该文献，除了早晨和傍晚的东西方向大部分的时间段在地平线附近天空的偏振度较强。根据实验了解到，由于多数情况下该天空的偏振度比地面上的山等远景、建筑物等人工物体的偏振度强，因此可成为有效的天空检测机构。不过，地面上的建筑物屋顶或玻璃等也出现非常强的偏振。为了除去因该建筑物等引起的偏振，只要生成并用了上述偏振度和亮度阈值的遮罩图像，并检测要除去的区域即可。

然而，如上所述，早晨和傍晚时在太阳通道的东西方向地平线附近的偏振度较低，而且特别在早晨的西面方向天空、以及傍晚的东面方向天空其亮度也经常较低，因此，有时将出现无法应用本方法的情况。该情况下，利用彩色色调和亮度进行检测即可。关于该情况的详细内容后述。

以下，参照表示实际场景图像的图12，对具备图11A结构的蓝天偏振图像处理部100c的动作进行说明。此外，在以下的说明中，实际场景图像中摄像范围是圆区域，但这是由于实验时照相机装置中的透镜的暗角(vignetting)引起的，在本质上可以以矩形图像来考虑。

蓝天偏振图像处理部100c根据条件能够由图11A所示的虚线包围的最小结构1012实现。首先，参照图12、图13对最小结构1012的动作进行说明。

图12(a)是场景图像的偏振度图像ρ。图12(b)是示意表示图12(a)的偏振度图像ρ的内容的图。如图12(b)所示，场景图像包含：天空区域1101、建筑物区域1102、云区域1103、地面区域1104、照相机架1105。

由偏振度二值化部1001对偏振度图像ρ进行处理后的结果成为图12(c)的图像(ρ’)。在此，设定二值化阈值Tρ＝0.14。二值化阈值Tρ由偏振度直方图决定。在该场景中，天空区域1101以及地上的建筑物等风景1102、1104被分为偏振度高的区域和低的区域，从而制作出双峰性分布。将偏振度直方图中的2个峰值的中间值设为阈值Tρ。在此，二值化阈值Tρ是用于判定偏振度高低的阈值，满足0＜Tρ＜1的关系。

在图中，建筑物右侧的云区域1103在偏振度较低的情况下也被除去。只有下部的黑色照相机架台1105出现较强的偏振，无法除去残留下来。

图12(d)是在亮度转换部1002中对场景图像的彩色图像C进行处理之后的亮度图像Y。在亮度二值化部1003中对亮度转换之后的亮度图像进行二值化处理(TC1＝0.4)，其结果成为图12(e)的图像(C1’)。在该场景中，天空区域1101的亮度和建筑物1102的亮度大致相等，难以以亮度进行分离，但这种情况下通过恰当设定阈值TC1、TC2，能够除去照相机架台等暗部。为了评价亮度值，本实施方式中的阈值TC1、TC2进行归一化处理，使得其大小为0＜TC1＜1、0＜TC2＜1。例如，以8位表现亮度值的情况下，在此将0～255的亮度值归一化为0～1的数值之后，与阈值TC1、TC2进行比较。以16位表现亮度值的情况下，将0～65535的亮度值归一化为0～1的数值，然后与阈值TC1、TC2进行比较。

在图像运算部1005中，对以上的2种遮罩图像ρ’、C1’进行逻辑与运算处理，如图12(f)所示那样，能够得到除去了一部分偏振度较低的云区域的、分离出仅有蓝天区域的遮罩图案A’。由输出选择部1009选择该遮罩图案A’，在图像运算部1011中与图13(a)的偏振相位图像Φ进行逻辑与运算处理。图13(b)是与图12(b)相同的场景图像的示意图。图13(c)与图12(f)同样表示遮罩图像A’。

通过以上处理，得到图13(d)的蓝天偏振相位图像Φsky。

在此需要注意：在决定蓝天区域时，原则上优选除去云区域。在后面的照相机朝向检测中，需要在蓝天偏振相位图像Φsky与整个天空偏振映射之间检索对应的点。当然，对于整个天空偏振映射，不考虑云的存在。当利用由于云的存在偏振相位被打乱的蓝天偏振相位图像Φsky时，有可能引起推定差错。

此外，特别在云较薄的情况下，即便在云区域中有时偏振相位也不会变乱。此时，蓝天区域也可以包含云。偏振相位是否由于云而变乱，关键在于云区域的偏振度的下降程度。根据基于偏振决定蓝天区域的本实施方式，存在能够自动除去偏振度较低的云区域的优点。

接下来，利用表示拍摄到傍晚东方的场景的图14，对最小结构1012中无法进行处理的情况进行说明。

图14(a)至(f)分别表示场景偏振度图像ρ、场景图像的示意图、二值化之后的场景偏振度图像ρ’、场景亮度图像Y、二值化之后的场景亮度图像C2’。如图14(b)所示，该场景图像包含天空区域1201、建筑物区域1202、地面区域1203、照相机架1204。

进行与参照图12(a)～(f)所说明的处理相同的处理，其结果最终将获得图14(f)所示的遮罩图像A’。明显蓝天区域的检测是失败的。其原因是：图14(a)的场景偏振图像ρ中的蓝天区域的偏振度较低，另外亮度也较低。

因此，在本实施方式中，这种情况下利用图11A所示的偏振度判定部1010。基于场景偏振度图像ρ的偏振度直方图求得平均偏振度，在平均偏振度比规定阈值(Tρ1＝0.1)低的情况下，不采用该方式，切换至利用彩色色调和亮度的方法。以下，参照图11A和图15对其处理进行说明。

首先，在色调相似度转换部1006中，求得表示作为天空色调的蓝色色调角、和彩色图像C的色调角之间差异的色调角度的误差，来让彩色图像C转换为色调相似度图像。在此，将天空的色调设定为蓝色是基于如下的假设：使用该彩色图像的处理仅限于天空的偏振度较低亮度也低的情况，是早晨的西方天空和傍晚的东方天空的其中一个，因此，天空的颜色可视为蓝色。

将典型天空的蓝色的色调角(0°～360°)设为Hsky(＝254°)，将输入的场景的色调角设为Htest。利用从周知的RGB空间到HSV(色调、饱和度、亮度)空间的色调H的转换式(RGB_to_H)，进一步考虑到色调角为360度周期，则色调相似度ΔH由下式表示。

Htest＝RGB_to_H(R，G，B)

Hmin＝min(Htest，Hsky)

Hmax＝max(Htest，Hsky)

ΔH＝min(Hmax-Hmin，Hmin+360-Hmax)    (式11)

在色调相似度二值化部1007中对该色调相似度图像h进行阈值处理，由此得到蓝天区域候补的遮罩图像h’。图15(a)表示由色调相似度转换部从与图14的场景图像相同的场景图像转换之后的色调误差图像。

图15(b)表示图15(a)的场景图像的示意图。图15(c)是在亮度二值化部1004中进行阈值(TC2＝0.29)处理之后的亮度二值化结果，图15(d)是在图像运算部1008中对图15(a)所示的二值化结果h’与图15(c)所示的亮度二值化结果C2’进行逻辑与运算之后的遮罩图像B’。

在图11A的输出选择部1009中，从偏振度判定部1010输出的ρd未超过阈值的情况下，代替基于偏振度的遮罩图像A’采用该遮罩图像B’。此时，在图像运算部1011中对遮罩图像B’与偏振相位图像Φ进行逻辑与运算，从而得到蓝天偏振相位图像Φsky。

此外，如上所述，是否能够仅由最小结构1012来实施，很大方面依赖于时刻。因此，代替利用偏振度判定部1010切换用于提取蓝天区域的遮罩，可以基于摄影时间切换遮罩。例如将午后4点以后直至日落定义为傍晚，在不是傍晚的情况下仅以最小结构1012决定蓝天区域，在傍晚时可以利用图11A的全部结构进行切换。

接下来，参照图11B、图11C对蓝天偏振图像处理部100c的其他结构例进行说明。

在图11A所示的蓝天偏振图像处理部100c中，如上所述那样，输出选择部1009根据偏振度判定部1010的输出ρd，决定是采用第1蓝天区域遮罩A’还是采用第2蓝天区域遮罩B’，第1蓝天区域遮罩A’是基于二值化之后的亮度·偏振度图像C1’、ρ’生成的，第2蓝天区域遮罩B’是基于二值化之后的亮度·色调相似度图像C2’、h’生成的。

与此相对，在图11B的蓝天偏振图像处理部100c中，在制作第1蓝天区域遮罩A’和第2蓝天区域遮罩B’之前，选择部1014根据偏振度判定部1010的输出决定应该制作哪个遮罩。例如，从偏振度判定部1010输出的ρd未超过阈值的情况下，图11B的选择部1014选择制作第2蓝天区域遮罩B’，而不是第1蓝天区域遮罩A’。其结果，图11B的蓝天偏振图像处理部100c不制作第1蓝天区域遮罩A’，而仅制作第2蓝天区域遮罩B’。然后，对图像运算部1011仅输入第2蓝天区域遮罩B’。因此，仅制作所选择的遮罩即可，能够省去用于制作不使用的遮罩的处理。

在图11C的蓝天偏振图像处理部100c中，同样在制作第1蓝天区域遮罩A’和第2蓝天区域遮罩B’之前，选择部1014也决定应该制作哪个遮罩。不过，在图11C的蓝天偏振图像处理部100c中，是基于时间信息取得部1016输出的摄影时间信息决定遮罩的选择，而不是基于偏振度判定部1010的输出ρd决定。时刻表示傍晚(例如午后4点至日落)时，图11C的选择部1014选择制作第2蓝天区域遮罩B’，而不是第1蓝天区域遮罩A’。其结果，对图像运算部1011仅输入第2蓝天区域遮罩B’。

接下来，由照相机朝向推定部101求得照相机方向。图16中表示照相机朝向推定部101的结构。

图16(a)表示实行检索模式的结构，该结构具备：太阳位置取得部1301、整个天空偏振相位映射取得部1302、蓝天区域方向推定部1303、以及视场角取得部1304。

图16(b)表示实行计算模式的结构，该结构具备：太阳位置取得部1301、视场角取得部1304、以及蓝天区域方向计算部1305。

对于这些结构，都是输入相同的蓝天偏振相位图像Φ，太阳位置取得部1301的结构也是共通的。照相机朝向推定部101既可以具备图16(a)和(b)所示结构的双方，也可以仅具备其中一方。此外，对于使用哪种模式，可以摄影者选择，也可以在照相机内部自动决定。对于各模式的详细内容后述。

照相机朝向推定部101求得拍摄到的偏振相位图案在整个天空中处于哪个方向。因此，首先对天空的偏振状态进行说明。

从天空照射的太阳光具有电磁波的性质。电磁波在传播时，存在介质变化或传播路径的结构性变化的情况下，或者突然出现物体的情况下，在出现变化的区域辐射二次电磁波。这就是散射。

作为产生再辐射的构造的该散射体，比电波的波长足够大的情况下，能够将散射体表面的现象局部地作为平面波反射·入射来处理。该情况下产生的散射是“几何光学散射”。

另一方面，散射体比波长足够小时，散射体表面的电磁场能够以静磁场近似。这种情况下产生的散射是“瑞利散射”。瑞利散射的散射特性与散射体的形状无关，表示与微小偶极子的指向性相同的特性。

此外，散射体与波长大致相同大小、也就是处于几何光学散射与瑞利散射之间的情况下，极化时在散射体的表面或内部流过过渡电流。该过渡现象产生谐振，表示特殊的散射现象。这是“米氏散射(Mie scattering)”。

由于大气中作为介质存在太阳光波长的约千分之一左右的小分子，因此太阳光进行瑞利散射。在瑞利散射中，由于分子散射时以与波长的四次方成反比例的散射系数进行散射，因此可以说越是波长短的光，散射越强。

若试着考虑天空的颜色，之所以白天的天空是蓝色，是因为波长较短的蓝色发生较强的散射之后到达我们的眼睛。另一方面，之所以傍晚为红色，是因为作为光源的太阳与我们的距离变长，蓝色分量消散，作为透过光剩余的红色光到达我们的眼睛。光在瑞利散射时，由于与作为光源的太阳的位置关系，而带有偏振波性质。这主要是因为在天空偏振图案出现之后，时时刻刻都在逐渐变化。

考虑某平面波入射至球状散射体的情况。散射体与光的波长相比足够小的情况下，散射体内部的电极化瞬间确定，对于十分远的散射场，能够近似成具备散射体的极化电荷偶极距的微小偶极子。特别在散射角为π/2时，这将成为完全偏振波。此时，得到与散射面垂直方向的偏振相位，该散射面连接了太阳、蓝天上的观测点、视点。除此以外的情况下，偏振波相位特性依赖于太阳、观测点、视点的位置关系，当从地面观察天空的偏振时，观测到向以太阳为中心的圆的切线方向的偏振分量较强。

根据非专利文献3，实测结果为除太阳以外具有特异的偏振特性的特异点存在3个。在非专利文献4中，利用考虑了这些的理论模型，成功获得接近现实的天空偏振图案。

此外，存在云的区域中偏振特性有所不同。云是水滴等云粒的集合，如果是薄云则可透过，若云层较厚则变得雪白从而看不见对面侧。这是因为在云的粒子间引起多重散射。所谓多重散射是指：在某散射体进行散射之后的光下一次入射至其他散射体再次引起散射这种的反复散射。特别在散射体数量较多分布密集时，散射分光之后的光重合而变白，同样地由于散射引起偏振的光也重合从而偏振特性消失。当然，偏振特性并不可能完全消失，也有由于云厚和云量等偏振特性残留的情况。因此，在本方法中，在初期阶段并未除去云区域，而仅除去偏振度低的区域，仅对能够利用天空偏振的区域应用该方法。

接下来，对于照相机朝向推定部101的内容，首先说明图16(a)所示的检索模式。

如前所述，天空的偏振图案依赖于太阳的位置(太阳的高度以及方位：以下，仅简称为“太阳位置”)。因此，首先需要由太阳位置取得部1301取得表示太阳位置的信息(以下，简称为“取得太阳位置”)。

由于太阳位置因仰望整个天空的日期、时间、位置(经度纬度)而存在多种变化，因此，例如一般利用照相机中内置的时钟和GPS等计算整个天空中的太阳高度和方位，从而得到太阳位置。对此时的太阳高度·方位的计算方法进行说明。

将角度变量设为θ0，利用自该年元旦起的经过天数dn以如下方式定义θ0。

${\mathrm{\θ}}_0=\frac{2\mathrm{\π}(\mathrm{dn}-1)}{365}$ (式12)

将该日的太阳赤纬设为δ时，利用θ0以如下方式求得。

δ＝0.006918-0.399912cosθ₀+0.070257sinθ₀-0.006758cos2θ₀+0.000907sin 2θ₀-0.002697cos3θ₀+0.001480sin3θ₀

(式13)

当设纬度为Φ、经度为λ、均时差为Eq、日本标准时间为JST、标准子午线经度JSK时，太阳的时角t以如下步骤求得。

Eq＝0.000075+0.001868cosθ₀-0.032077sinθ₀-0.014615cos2θ₀-0.040849sin2θ₀(式14)

$t=\frac{(\mathrm{JST}-12)\mathrm{\π}}{12}+(\mathrm{JSK}-\mathrm{\λ})+\mathrm{Eq}$ (式15)

据此，能够以如下公式求得太阳方位θs、高度hs。

(式16)

(式17)

以上的计算根据立正大中川研究室的近似计算式。

此外，这种计算方法仅是一例，作为太阳位置的计算方法存在很多。例如，也能以“日出·日落的计算”長沢工(地人书馆)等文献中记载的计算式求得。或者，也能以利用理科年表的方法等求得。

接下来，由整个天空偏振相位映射取得部1302取得摄影时摄影地点上的整个天空的偏振相位图案。例如，如非专利文献3那样，通过实际观测记录各太阳高度·方位处的偏振相位图案制作成数据，对此积累形成数据库。从这样制作成的数据库取得与摄影时的太阳高度·方位对应的整个天空偏振相位映射，则可知整个天空的偏振图案。此外，没有与摄影时的太阳高度·方位同等的数据时，利用多个近似数据进行补充即可。

此外，也可以利用非专利文献1、非专利文献2、或非专利文献4中的计算式，基于太阳高度·方位通过理论计算求得整个天空的偏振相位映射。

图17中表示通过基于上述理论模型的计算得到的整个天空的偏振相位图案的概念图、以及与蓝天偏振相位图案的映射关系的概念图。图17(a)的中心的大圆是午前9点左右的整个天空偏振图的例子。虽然为了容易理解，相位图案由虚线描绘，但实际映射上的各点都具有相位，该图中是使其相位面的一部分可视化。

如该图所示，整个天空的偏振图案成为以太阳1401为中心的同心圆状的图案。更加具体而言，清楚了作为特异点已知的Babinet点1402、Arago点1403等带来的影响。天顶正下方的点1404是照相机位置。定义从天顶向地平线垂直延伸的线即地平线的垂线(Local Meridian)。来自从照相机位置观察到的整个天空图的各点的光，相对于各自所属的Local Meridian具有如何倾斜的偏振相位，这在图中以虚线表示。对于相位图的状态，以下详细说明。此外，如表示出位置1405的偏振相位Φpix的图中一并记述的那样，相位的方向被定义为：沿着Local Meridian的方向为0°，顺时针为正。在位置1405～1408的图中，由虚线箭头表示各自的偏振相位方向。将通过照相机视线方向前端的天空上的一点的Local Meridian作为基准线，决定该相位的大小。映射上的相位线以何种方式与基准线相交，决定了偏振相位的方向(相位角度)。地平线附近的位置1405处的相位角度相对Local Meridian约为-20°。太阳路径上的位置1406处的相位角度相对Local Meridian约为±90°。已知是在太阳路径上的所有点都是这样的。位置1407处的相位角度相对Local Meridian约为40°。太阳附近的位置1408处的相位角度相对Local Meridian约为0°。

这样可知，根据照相机方位的不同，所取得的相对Local Meridian的偏振相位是不同的。

图17(b)、(c)中表示拍摄的偏振相位图像的示意图1409、1410。图中的箭头只是为了说明而示意表示偏振相位的方向，实际在照片上不会出现。

如对场景图像·场景偏振图像摄影部100a的说明时所述那样，各像素具有表示偏振相位的值。从多个像素的偏振相位的排列，就可知道对天空的哪部分进行了摄影。

以下，对决定摄影方向的优选例子进行说明。

首先，假设在某时刻，得到图17(b)所示的蓝天偏振相位图像1409和图17(c)所示的蓝天偏振相位图像1410。尽管这些可以在相同场景中看到，但天空的偏振相位图案不同。对于蓝天偏振相位图像1409，天空区域的偏振光全部在11点钟方向具有偏振轴。另一方面，在蓝天偏振相位图像1410中，天空区域的偏振光全部在2点钟方向具有偏振轴。将这2个蓝天偏振相位图像1409、1410与图17(a)所示的天空的偏振图案进行比较，例如可知蓝天偏振相位图像1409中拍摄了具有位置1405的偏振相位的北方向。此外，同样可知蓝天偏振相位图像1410中拍摄了具有位置1407的偏振相位的南方向。这样，即便是场景图像中看起来相同的2幅图像，根据图像中包含的天空区域的偏振相位的差异，也能够识别出是视线方向不同的场景。

在图17(a)中，为了简单，偏振相位图案以二维坐标表示。但实际的相位偏振图案的搜索，如图18(a)、(b)所示那样，优选以三维地球坐标进行。图18是表示地球坐标系中的太阳以及照相机朝向的关系的概念图。对于求得照相机朝向，将方位设为θ1，将仰角设为θ2。设x轴+方向为北、-方向为南、y轴+方向为西、-方向为东的方位。此外，未必以这种方式取得坐标，只要在取得坐标的过程中可获取方位与天体的对应关系即可，可以是其他方式。在图18的情况下，将东侧取为0度，照相机的方位是围绕北旋转的角度。照相机的仰角是从地平线垂直向上方仰望的角度。这些便是求得的照相机朝向。

在图18(a)中，太阳1501处于坐标Ps。对应蓝天偏振相位图像中某一点的、天体1505上的点1502坐标为Pv。参照符号1503是Pv处的偏振相位Φpix。照相机1504的位置处于坐标Pc(0，0，0)。Ps的天顶角(zenith angle)为Φ2，Pv的天顶角为θ2。图18(b)是从z轴上方向下观察图18(a)的x-y平面的图。Ps的方位角为Φ1，Pv的方位角为θ1。

在此，若将天体1505的半径设为r，位于坐标Ps、Pv的各点能够利用Φ1～θ2以如下方式表示。

Ps(xs，ys，zs)＝(rsinφ1cosφ2，-rcosφ1cosφ2，rsinφ2)

Pv(xv，yv，zv)＝(rsinθ1cosθ2，-rcosθ1cosθ2，rsinθ2)    (式18)

(其中：0≤θ1，Φ1≤2π，0≤Φ2，θ2≤π/2)

在此，为了取得摄影图像的像素位置与天体上的位置的对应，将摄影图像的像素位置置换为相对照相机中心的角度。

图19中表示照相机与摄影图像的位置关系的概略图。对与图18共同的结构要素附于相同的参照符号。

将处理对象的像素位置1601设为Pg(pgx、pgy)。此外，假定图像中心1602对应图18的Pv1502，将其坐标设为Pgc(cx、cy)。此外，将照相机的x方向视场角设为θpx，将y方向视场角设为θpy。该视场角由图16的视场角取得部1304取得。对于视场角，因为由镜头的焦距和芯片尺寸决定，因此作为数据预先保持在照相机内部的存储器中即可。在此，从中取得视场角利用。视场角用于决定蓝天区域的范围。

将连接照相机1504和Pg1601的直线、与连接照相机1504和Pgc1602的直线之间的角度，在wx方向设为θpx’，在wy方向设为θpy’。此外，由于已经在图像中实施了水平度修正，因此θp’仅对照相机仰角方向的θ2起作用。此时，这些角度θpx’、θpy’能够以下式表示。

${\mathrm{\θpx}}^{\text{'}}=\frac{\mathrm{\θpx}}{2}\frac{(\mathrm{cx}-\mathrm{pgx})}{\mathrm{cx}},{\mathrm{\θpy}}^{\text{'}}=\frac{\mathrm{\θpy}}{2}\frac{(\mathrm{cy}-\mathrm{pgy})}{\mathrm{cy}},$ (式19)

此时，与Pg对应的天体位置Pgv以下式表示。

$(\mathrm{xv},\mathrm{yv},\mathrm{zv})=\left(r\sin (\mathrm{\θ}1+\frac{\mathrm{\θpx}}{2}\frac{(\mathrm{cx}-\mathrm{pgx})}{\mathrm{cx}})\cos (\mathrm{\θ}2+\frac{\mathrm{\θpy}}{2}\frac{(\mathrm{cy}-\mathrm{pgy})}{\mathrm{cy}}\right),$

$-r\cos (\mathrm{\θ}1+\frac{\mathrm{\θpx}}{2}\frac{(\mathrm{cx}-\mathrm{pgx})}{\mathrm{cx}})\cos (\mathrm{\θ}2+\frac{\mathrm{\θpy}}{2}\frac{(\mathrm{cy}-\mathrm{pgy})}{\mathrm{cy}}),$

$r\sin (\mathrm{\θ}2+\frac{\mathrm{\θpy}}{2}\frac{(\mathrm{cy}-\mathrm{pgy})}{\mathrm{cy}})$ (式20)

(其中：0≤θ1，Φ1≤2π，0≤Φ2，θ2≤π/2)

此外，由于若已知从视点到太阳、和从视点到观测点的矢量便可知偏振相位，因此后面可以设定天体半径r＝1。通过以上，求得与各像素对应的偏振相位在天体上的位置。

图20表示照相机1504、图像区域2000、天体1505的俯视图。从照相机1504连接图像中心1602的线在天体1505上达到点1502。此外，对于与图18、图19相同的结构要素，附于相同的参照符号。视场角1603、1604的范围等同于摄影范围。

在照相机朝向的推定中，也可以应用现有的图案匹配方法。由于偏振相位将0°～180°设为1周期，因此对于180°～360°的相位，从其相位减去180也收纳于0°～180°的范围内。

作为最简单的图案匹配方法，可以利用SSD(Sum of SquaredDifference)。当假定整个天空偏振映射时，可知上述的照相机中心像素位置Pgc在整个天空偏振映射上相当于哪里。此时，求得蓝天偏振图像的各像素位置处的偏振相位、与整个天空偏振映射上与所述各像素位置对应的位置的偏振相位之差，并计算平方误差。一边改变假定的照相机朝向一边计算平方误差，决定使其误差最小的照相机朝向。具体而言，将之前的整个天空偏振图案上的点Pgv1607的偏振相位设为Φpgv。此外，将实际图像上的点Pg1601的偏振相位设为Φpg，将平方误差设为Err。此时，平方误差Err以下式表示。

$\mathrm{Err}=\sqrt{\stackrel{\mathrm{\φsky}}{\mathrm{\Σ}}{({\mathrm{\φ}}_{\mathrm{pg}}-{\mathrm{\φ}}_{\mathrm{pgv}})}^2}$ (式21)

由于平方误差Err最小的部分是相位最匹配的情况，因此改变与图像中心pgc1606对应的整个天空图案上的点Pv1502，使得该平方误差Err最小。

关于这种匹配，在“用于基于区域匹配的二维同时子像素推定法”清水雅夫奥富正敏(电子信息通信学会论文集D-II、Vol.J87-D-II、No.2、pp.554-564、February、2004)中有详细说明。实际上，使θ1、θ2变化，利用上述文献记载的推定法，能够以子像素(sub pixel)精度求得Pv1502。将结果作为此时照相机看到的方位，将以上得到的照相机方位θ1、θ2输出至照相机朝向输出部。

接下来，对图16(b)所示的计算模式进行说明。

与检索模式相同，由太阳位置取得部1301取得太阳位置。在此，如上所述，在非专利文献1或非专利文献3中，由公式求出理论上的整个天空偏振图案。反之，利用由此得到的图案和太阳位置进行计算，能够取得照相机的方位角。

例如，利用非专利文献1的公式时，将蓝天偏振图像中某像素的偏振相位设为Φpg，以下公式成立。

tanφ_pgcosθ₂cosφ₂sin(φ₁-θ₁)-sinθ₂cosφ₂cos(φ₁-θ₁)+cosθ₂sinφ₂＝0

(式22)

计算模式中求得的是，规定与图19的像素中心Pgc对应的天体上的位置Pv(θ1、θ2)的2个变量θ1、θ2(参照图18)。在此，蓝天偏振相位图像的像素(蓝天区域的像素)大部分情况下存在多个。由于这些视场角是已知的，因此能够将各像素Pg的位置设为Pgv(θ1+θpx’、θ2+θpy’)。此外，θpx’、θpy’可基于视场角和像素位置通过式19求得。

以上，能够基于与蓝天偏振相位图像中各像素对应的Φpg、Φ1、Φ2利用式22计算θ1、θ2。在求得θ1、θ2的过程中，最少只要对3个点进行计算即可，但考虑到实际偏振相位图像中存在噪声等，因此优选利用尽量多的点。例如，采用反复适用动态设计法的方法即可。

对于以上求得的照相机的朝向，最后将由横摇平行度的修正部修正了θr°之后的围绕照相机坐标z轴的倾斜，旋转至原样。这只要对式10进行反向计算即可。

此外，计算模式中使用的公式并不限于上述式22。利用其他求得天空偏振的公式，也能同样取得照相机朝向。

接下来，对图1F的输出部102进行说明。输出部102将通过上述方式取得的照相机的方位和仰角作为后面所需形式的数据进行输出。也就是说，以与具体情况相应的输出形式输出表示图19的θ1、θ2的信息。

(实施方式2)

图21表示本发明的第2实施方式涉及的照相机朝向检测装置的结构的框图。在图21中，对于与图1F所示的结构要素相同的结构要素附于相同的符号，在此省略其详细说明。

实施方式1与本实施方式之间的第1个不同点在于，相对于实施方式1的装置具备“蓝天偏振相位图像取得部100”(图1F)，本实施方式的装置具备“蓝天偏振图像取得部1700”。在本说明书中，“蓝天偏振图像”是指蓝天偏振相位图像和蓝天偏振度图像的双方。也就是说，在本实施方式中，不仅取得蓝天偏振相位图像，还取得蓝天偏振度图像。在实施方式1与本实施方式之间的第2个不同点在于，具备“照相机朝向推定部1701”，其实行与实施方式1的“照相机朝向推定部101”不同的处理。

以下，对本实施方式中的蓝天偏振图像取得部1700和照相机朝向推定部1701的结构和动作进行说明。

图22A表示蓝天偏振图像取得部1700中的蓝天偏振图像处理部100c的结构图。对于与图11A所示的结构要素相同的结构要素，附于相同的符号，并省略其详细说明。

在图22A中，与图11A的不同之处在于，作为输出不仅输出蓝天偏振相位图像Φsky，还输出蓝天偏振度图像ρsky。在本实施方式中，尽管在输出选择部1009中也采用第1遮罩图像A’或第2遮罩图像B’的其中一个，但在本实施方式中，由图像运算部1801进行所采用的遮罩图像(称为“遮罩图像C’”)与偏振度图像ρ的与运算，计算蓝天偏振度图像ρsky，并与蓝天偏振相位图像Φsky一起输出。

以下，利用实际拍摄的图23的场景图像进行说明。

图23(a)的图像是场景图像的偏振相位图像Φ，图23(b)的图像是场景图像的偏振度图像ρ。如图23(c)的示意图所示，图像中包含天空区域1101、建筑物区域1102、云区域1103、地面区域1104、照相机架1105。此外，这些符号与图12中对应的各区域的符号相同。

图23(d)的图像是由最小结构12012生成的遮罩图像A’。由图像运算部1011与偏振相位图像Φ进行逻辑与运算之后的结果是图23(e)的蓝天偏振相位图像Φsky，由图像运算部1801与偏振度图像ρ进行逻辑与运算之后的结果是图23(f)的蓝天偏振度图像ρsky。同时，已知具有天空的特征性的图案。天空的偏振度图案也与偏振相位图案同样，可基于太阳位置通过计算而求得，因此，能够用于照相机朝向的推定。

此外，与图11A的蓝天偏振图像处理部100c的变形例(图11B、图11C)同样，对于图22A的蓝天偏振图像处理部100c，也可以有图22B、图22C所示的变形。也就是说，在图22B的结构例中，在制作第1蓝天区域遮罩A’和第2蓝天区域遮罩B’之前的阶段，选择部1014基于偏振度判定部1010的输出决定应该制作哪个遮罩。此外，在图22C的结构例中，在制作第1蓝天区域遮罩A’和第2蓝天区域遮罩B’之前的阶段，选择部1014基于摄影时间信息决定应该制作哪个遮罩。

接下来，图24和图27中表示图21的照相机朝向推定部1701的结构。图24表示检索模式的结构，图27表示计算模式的结构。对与图16的结构要素相同的结构要素，都附于相同符号，在此省略其详细说明。实施方式1中对应的结构与本实施方式的结构之间的不同点在于，将蓝天偏振图像作为输入，也就是将蓝天偏振相位图像Φsky和蓝天偏振度图像ρsky都作为输入。

首先，参照图24。

纵摇水平度取得部1901取得照相机的纵摇方向的角度、即仰角。整个天空偏振映射候补区域取得部1903以照相机的视场角和仰角为基础，对与取得的蓝天偏振图像对应的整个天空偏振映射区域截取出成为候补区域的部分。蓝天区域方向推定部1303起到与实施方式1中的蓝天区域方向推定部1303相同的作用。可靠度判定部1904判定所取得的照相机朝向的可靠度。以下，对各部的详细内容进行说明。

纵摇水平度取得部1901取得照相机的仰角。由此，限制了后面的整个天空偏振映射的搜索区域。作为方法，例如将与偏振图像取得部1700的横摇水平度修正部100b具有的水平器相同的部件，设置在同一平面使其能够取得仰角即可。如上所述，所搭载的水平器只要是例如专利文献中记载的这种、能搭载于照相机内部的水平器即可。所求得的仰角相当于θ2。由此，在蓝天区域方向推定部1303中，通过只改变照相机的方位角θ1，就能以简单的方式求得照相机的方位。

图25中表示概念图。与图17相同，在表示天空偏振相位的图中，示出了太阳1401和照相机位置1404。在拍摄的偏振图像的示意图1409中，以箭头示出了天空的偏振相位。此外，即便对于整个天空偏振度映射，由于与本搜索区域限制的步骤相同，因此省略图示。

若照相机的视场角和仰角已知，则与拍摄到的场景图像内的蓝天区域进行整个天空偏振映射的匹配时，由整个天空偏振映射候补取得部1903能够将搜索范围限制在整个天空偏振映射内的带状区域2001(θ2：恒定)。在该区域2001的内部，使仰角·视场角固定，与对实施方式1说明的方式同样地，进行仅将照相机方位作为变量的检索即可。因此，能够期待检索的高速化。

在此，参照二维图进行了说明，但在图18所示的三维坐标上进行匹配时，也只要将θ2固定，进行仅改变θ1的匹配即可。

此外，由于有可能存在计测偏差等，因此也未必使视场角和仰角固定，可以针对所取得的视场角的前后和仰角前后的适当范围的数值，恰当改变然后用于匹配。

接下来，参照图26对基于太阳高度判定可靠度的方式进行说明。图26A的结构具有的特征在于，具备太阳位置取得部1301和太阳高度判定部1302。

太阳高度判定部1302，针对从太阳位置取得部1301得到的太阳高度，若在规定的高度以上则判定“不可靠”，处理停止，进行错误显示等的处理。这是因为：太阳接近天顶时，偏振映射在东西南北大致相等，这样判定的可靠度下降。

图26B表示太阳2101位于天顶时的天空偏振相位图案。太阳2101完全位于天顶的结果，无论朝向哪个方位，相对Local Meridian的偏振相位都会为90°。这样将无法求得照相机朝向。

实际上太阳怎样通过天顶附近，因纬度经度和季节而不同，所以，太阳的中天高度距天顶在某阈值以内的范围时，不能判定照相机朝向。该情况下，停止照相机朝向取得，对使用者进行错误显示之后结束处理。例如，太阳高度在天顶角为5度以内的情况下，设定为不可判定。

在优选的实施方式中，具备图24所示的侧摇方向水平度取得部1901、整个天空偏振映射候补区域1903、以及图26A所示的太阳位置取得部1301和太阳高度判定部1302。

根据图24、图26A的结构例，最后由可靠度判定部1904判定推定结果的可靠度，并提示给使用者。在图26A的结构例中，由于得到太阳高度的信息，因此能够据此评价可靠度，但在可靠度评价中也可以利用太阳高度以外的信息。例如，在取得多个候补区域的情况下，若候补区域数目较多，则可以使可靠度降低。或者，选择了偏振度较低的区域的情况下，可以使可靠度降低。

在可靠度低时，使用者需要针对该信息的某些手段。例如具有如下机构，在提示了多个照相机朝向的情况下，从中选择与实际摄影方向·摄影位置·太阳位置最接近的照相机朝向。或者，存在通过后述照相机的推荐功能来改变摄影方向的这种机构、或在许可摄影状况时，将摄影时间延期至照相机显示部提出的时间的这种机构。

接下来，参照图27对计算模式进行说明。

在图27中，对与图16(b)相同的部分附于相同的符号。与图16(b)的不同点在于，具备部分蓝天区域方向计算部1304，作为输入至部分蓝天区域方向计算部1304的信息，还包括侧摇方向的水平度和太阳高度的判定结果。作为计算这些参量时的制约条件，与实施方式1同样，通过计算求得蓝天区域方向。例如，如果太阳高度判定部1902的输出结果是“因高度过高，无法计算”，则停止以后的计算，与可靠度判定部1904中判断为“不可靠”的情况同样，在显示器等通知无法判定的意思。

此外，侧摇方向的水平度已知、或者通过计算能得出的情况下，进行式22的计算时，由于只要求出θ1即可，因此能进行简单且可靠度高的推定。与检索模式同样，最后由可靠度判定部1904判定推定结果的可靠度，通知给使用者。在可靠度低时，与上述说明同样，使用者需要采用某些手段。

(实施方式3)

图28是表示本发明的第3实施方式涉及的照相机朝向检测装置的结构的图。在图28中，对与图21的结构要素相同的结构要素附于相同的符号，在此省略其详细说明。

本实施方式的特征在于输出部2201的结构和功能。输出部2201具备如下部分：计算照相机坐标中的太阳的方向，将包含表示太阳方向的信息和表示照相机朝向的信息的数据作为规定的格式形式制作·输出。以下，对输出部2201进行说明。

图29中表示输出部2201的结构。以照相机的方位·仰角为基础，通过坐标转换部2301计算照相机坐标中的太阳位置。然后，由图像格式制作部2302制作包含照相机朝向·太阳方向等的格式图像Im。以下，对其流程进行说明。

作为照相机朝向，假设在天体上得到CamVect(xcm，ycm，zcm)。假设太阳在天体上为Ps(xs，ys，zs)。首先，针对CamVect，需要使照相机光轴方向与z轴一致。此时，考虑3×3的旋转矩阵R1。

若将满足以下式26的R1应用于太阳坐标Ps，则求得照相机光轴朝向z轴方向时的太阳位置。

$\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right)=R1\·\left(\begin{array}{c}{x}_{\mathrm{cm}}\\ y_{\mathrm{cm}}\\ z_{\mathrm{cm}}\end{array}\right)$

                              (式23)

此外，此时的照相机坐标由于是横摇水平度被修正之后的状态，因此利用蓝天偏振图像取得部所取得的横摇方向水平度的值，返回至实际的照相机坐标的状态。对此，只要准备对式10进行反向计算的旋转矩阵R2即可。

由此，针对天体坐标上的太阳Ps(xs，ys，zs)，利用R1、R2以如下方式求得照相机坐标上的太阳SUNcm(xscm，yscm，zscm)。

$\left(\begin{array}{c}{x}_{\mathrm{scm}}\\ y_{\mathrm{scm}}\\ z_{\mathrm{scm}}\end{array}\right)=R2\·R1\·\left(\begin{array}{c}{x}_s\\ y_s\\ z_s\end{array}\right)$

                                 (式24)

接下来，对图像格式制作部2302进行说明。本发明除了用于照相机内部的处理以外，也可以在照相机外部，例如利用拍摄的图像以计算机进行后续处理时利用。因此，将照相机朝向和太阳方向的信息取出至外部的独有格式是必要的。

图30表示图像格式2401的例子。图像格式2401的特征在于，在摄影时使拍摄到的图像Im同时具有：

·时刻、纬度经度数据2402

·天体坐标上的照相机朝向(方位·仰角)信息2403·2404

·照相机坐标上的太阳位置信息2405

·蓝天区域分割结果数据2406

·蓝天区域偏振相位图像2407

·数字照相机图像数据2408等

当然，也可以同时具有其他一般图像格式所具有的信息。

根据应用的不同，最低限度的信息有所不同，但是作为最低限度的信息，要具备摄影位置的经度纬度、和照相机朝向(方位)。从本图像输入装置输出本格式的图像。

通过具有以上信息，从而不仅在照相机内部，在照相机外部的计算机上等也能进行如下的处理。

(i)基于摄影位置和照相机朝向，识别·标注摄影对象·摄影物体

(ii)基于照相机位置和太阳位置，进行逆光修正·颜色修正等图像修正

(iii)蓝天区域的颜色转换

(iv)图像的真伪判断

以下，对这些的4个应用例进行说明。

首先，对(i)进行说明。例如，在巴黎的凯旋门前等观光地拍摄了某照片。此时，若照相机具备GPS，则可知是“在凯旋门附近拍摄的照片”，但根据这些，无法知道是拍摄了凯旋门、还是以凯旋门为背景拍摄了香榭丽舍大道。

如果利用本方法，则由于已知照相机的方位2403，因此通过与世界地图进行比对，从而能清楚拍摄了凯旋门还是香榭丽舍。若利用该方法，例如也能用于个人保存在PC中的图像的摄影对象分类。或者，成为web上存在的图像信息的、能用于摄影对象分类的信息。

进而，通过利用照相机的仰角2405的信息，能够大致识别照相机视点方向。若已知照相机光轴方向，例如在个人或web上的针对各摄影对象分类的图像间进行图像合成时能作为非常有效的信息而利用，对于CG·CV领域的利用能够提供有效的信息。

接下来，对(ii)进行说明。由于太阳方向坐标2404已完成导出，因此可知太阳相对于照相机的位置关系。例如，如果照相机朝向太阳的方向则预测为逆光，因此，进行逆光修正或者向使用者“推荐逆光修正”。该情况下，能进行如下的取景提示，即：针对照相机“推荐”的朝向，在显示部进行若照相机靠近该朝向则聚焦、相反若偏离该朝向则焦点虚化等的处理，则能够进行让使用者自然使照相机面向推荐的朝向。此外，由于还可以根据日期时间、纬度经度数据2402、照相机朝向·仰角数据2403·2405，在PC上计算太阳位置，因此未必将太阳方向2404也按格式导出完毕。

接下来，对(iii)进行说明。由于格式中保存蓝天区域分割结果数据2406，因此能够利用该数据将白天拍摄的照片的蓝天区域的颜色转换为傍晚的颜色、或者作为转换候补进行提示等。此外，通过在蓝天区域以外的部分实施其他转换(稍许变暗等)或者要使其实施，从而能进行更加自然的场景图像的转换，能够在图像处理软件中提供有效的信息。

最后，对(iv)进行说明。由于具有蓝天区域偏振图像2407，因此即是某图像的数字照相机图像数据2401、时刻数据2402通过图像转换·头(header)改写被转换为黎明那样的情况下，也能通过与本方法中利用的黎明的偏振映射进行比对，判断其是否为加工之后的数据，从而能够应用于图像真伪判断。

这四个仅是代表的应用例，能以本格式实施的后续处理并不限于此。

如上所述，根据具备本发明的照相机朝向检测装置的图像输入装置(照相机等)，因为根据场景图像内的蓝天区域的偏振信息推定照相机朝向，因此无需用于取得整个天空的偏振图案的特别镜头。

此外，基于本发明的照相机朝向检测方法如图31所示，包括：步骤S2500，由照相机取得偏振图像和彩色图像；步骤S2502，根据偏振图像和彩色图像，生成表示彩色图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像；步骤S2504，基于蓝天偏振相位图像推定照相机朝向；和步骤S2506，输出表示照相机朝向的信息。实行这种步骤的本发明的照相机朝向检测方法并不限定于用在具有上述结构的装置中，也能应用于具有其他结构的装置来实施。此外，若预先准备使计算机实行上述步骤的程序，由该程序控制内置在照相机等图像输入装置中的计算机的动作，则容易通过改变程序来改善图像输入装置的动作。

(实施方式4)

以下，对本发明的第4实施方式进行说明。

上述实施方式与具备“摄像装置朝向检测部”的摄像装置相关联，但本实施方式与具备“摄像装置朝向检测部”的移动体(典型的是汽车)相关联。也就是说，本实施方式中的移动体包括具有摄像部的摄像装置和上述摄像装置朝向检测装置，该摄像装置具有摄像部，其取得包含偏振相位图像的偏振图像、以及亮度图像。另外，该移动体具备移动体朝向推定部，其根据移动体朝向与摄像装置朝向之间的关系，基于检测到的摄像装置朝向决定移动体的朝向。

一般情况下，在汽车导航系统中，通过GPS求得车的位置，以车辆是在前进还是在后退为前提，根据车辆移动时的位置变化，求得车辆的前面朝向何方(方位)。

但是，在移动体停止时，没有位置变化。因此，方位取得过程中，需要基于过去的数据进行推定。不仅是在停止时，如十字路口那样在大致相同位置朝向发生变化的情况下，GPS的位置数据也没有变化。因此，基于过去的方位数据和行驶时车轮的旋转数等信息，推定移动体的方位。

在该方法中，以过去的状况为基础进行推定，这样由于移动体的停止时间、路面状况·停止前的行驶状况的不同，有时无法正确表示当前的实际方位。例如，车辆转弯之后停止的情况下等，由于无法基于车轮的旋转数算出车辆的转弯方向，因此无法推定车辆是朝向哪个方向之后停止的。

与此相对，作为更直接求得方位的方法，考虑利用传统的方位磁针，但周知方位磁针容易受到磁场的影响。也就是说，如果在方位磁针附近存在产生磁力的物质，则方位很容易变乱。像车这种搭载于金属的移动体的情况下，有可能因为移动体的磁化而方位磁针失常。此外，有很多场所可以说无法检测地磁，还存在无法用于这种场所的问题。

图32A表示本实施方式中的移动体具备的移动体朝向检测装置的结构图。与上述各实施方式的结构不同的部分在于，移动体朝向检测装置具备：求得移动体朝向的移动体朝向推定部2600、输出移动体朝向的移动体朝向输出部2601。再有，在本实施方式中，提供规定照相机朝向与移动体朝向之间关系的信息的数据库260，与移动体朝向推定部2600连接。该数据库260既可以是移动体自备，也可以通过有线或无线与设置在移动体外部的数据库260连接。

接下来，参照图33对本实施方式中的移动体朝向的检测动作进行说明。图33是表示本实施方式中的移动体具备的移动体朝向检测装置的动作的流程图。在图32A所示的场景图像·场景偏振图像取得部(图像摄像部)100a中，实行图像摄像步骤S2700之后，在蓝天偏振图像处理部100c中实行图像处理步骤S2701。这样，取得蓝天偏振图像。

接下来，在照相机朝向推定部101中实行照相机朝向推定步骤S2702，由此，推定摄像元件的朝向(摄像装置朝向)。基于表示推定出的摄像装置朝向的信息，由移动体朝向推定部2600实行移动体朝向推定步骤S2703，来推定移动体的朝向。

在此，说明摄像装置朝向与移动体朝向之间的关系。然后，像参照图35所说明的那样，摄像装置朝向与移动体朝向之间的关系因照相机(摄像部)的安装位置而变化。因此，摄像装置朝向未必与移动体朝向一致。因而，根据例如移动体上的摄像部的安装位置(简称为“照相机位置”)，从摄像装置朝向求得移动体朝向。

在本实施方式中，具有图32B所示这种构造的数据(表)保存在数据库260内。参照数据库260内的数据，根据移动体上的照相机位置(前、后、右、左)，对表示照相机朝向的坐标进行转换，就能够算出移动体朝向的坐标。例如，摄像装置设置在汽车后部的情况下，移动体的方位是将照相机朝向的方位旋转180度之后的结果。

严格地说，照相机朝向与移动体朝向之间的关系不仅取决于照相机位置，还由照相机的视线方向与移动体朝向之间的关系规定。因此，优选保存在数据库260中的数据中具有表示照相机朝向与移动体朝向的更正确的关系的信息。

最后，在移动体朝向输出部2601，通过实行移动体朝向输出步骤S2704，从而进行处理以便能将移动体的朝向信息以显示器或声音等提示给使用者。

参照图34，对本实施方式中的移动体(车辆2801)的动作例进行说明。

在此，表示车辆2801进入十字路口2800并停止的状况。在利用GPS等速度差值的方法中，为了了解当前车辆的朝向，需要选择与十字路口连接的任意一条道路，然后行驶一定距离。此时，若所选的道路与打算通过的道路不同时，需要重新从十字路口进入正确的道路，这是很麻烦的。相对于此，若利用本发明，仅取得图34的图像区域2802所示的车外蓝天偏振图像，不必行驶一定距离，就能够将车辆的朝向提示给使用者。

此外，作为提示方法，可以如图34所示那样利用显示器2803，也可以是声音警告2804。特别在显示器2803上没显示当前地附近的地图的情况下，通过将车辆的朝向以箭头2805的形式显示在地图上，所带来的效果是使用者能够容易了解自己车辆的朝向。

以下，对本实施方式进行详细说明。

参照图32A。由于图32A所示的场景图像·场景偏振图像取得部100a、蓝天偏振图像处理部100c、以及照相机朝向推定部101与图1F所示的相同编号的处理部分别进行同一动作，因此这里省略说明。对于横摇水平度修正部100b，既可以是与图1F同样的动作，也可以是以下说明的其他动作。

摄像部在行驶过程中被固定在车上或车内。因而，暂时存储设置时相对于地面的横摇水平度，然后利用设置的水平度进行修正即可。由于可以不是每次都进行水平线的提取，因此存在能进行更高速处理的效果。

接下来，对移动体朝向推定部2600进行说明。

图35中表示移动体上偏振摄像元件(摄像装置)2900的代表设置例。图35中图示了本实施方式涉及的移动体(汽车)2901～2904。

在移动体2901中，如偏振摄像元件2905那样，设置在前面发动机罩上的位置、或者后面发动机罩上的位置。这样一来，能够从不影响驾驶的、较高的位置取得蓝天偏振相位图像。

也可以如移动体2902那样，将偏振摄像元件2906或偏振摄像元件2907设置在比发动机罩低的位置例如车体下部附近。这样一来，能够减少给外观带来的影响。此外，也可以如偏振摄像元件2907那样，倾斜设置。

如移动体2903上偏振摄像元件2908那样，若设置在驾驶席正前方的窗口、或者副驾驶席的窗口等，能够从更高的位置稳定取得蓝天偏振图像。

此外，由于上述的偏振摄像元件2905～2908是仅设置位置不同的相同偏振摄像元件，因此称为偏振摄像元件2900。

并不是永久设置在固定位置，使用者可以在乘车前的时刻、任意喜欢的时间段决定偏振摄像元件2900的设置位置。例如，如能够以线缆等连接摄像装置和包含蓝天偏振图像处理部的装置，则如移动体2904所示那样，用户能够从更广的范围选择摄像部的位置。这样一来，能够实现符合各种使用者情况的利用方法，这将非常便利。只要是能够取得车外的蓝天偏振相位图像的位置、并且是不朝向车体的正上方(图像中包含太阳的可能性非常高)的方向，则使用者可以在任意位置以任意朝向设置摄像部。因此，在此图示的配置例以外，只要设置在满足之前的设置条件的位置即可。

此外，已知屋外有雨或云的情况下、或者因时间带或位置的关系照相机朝向推定精度显著下降的情况下，可以如图36所示那样，从本实施方式的装置向处于这种状况下的移动体3000发送消息。例如，如显示器3001所示那样，显示“可靠度较低，无法利用”，或者由声音警告3002向使用者传达无法利用本发明的装置的意思。这样一来，能够降低使用者接收错误信息的可能性。

(实施方式5)

以下，对本发明的第5实施方式进行说明。

一般情况下，在具有便携设备的汽车导航系统中，通过GPS求得移动人物的位置，以人物的前进或者后退为前提，根据人物移动时的位置变化，求得人物朝向何方(方位)。

但是，存在人物停止时没有位置变化的问题。因此，为了取得方位，取得基于过去的数据进行推定。然而，因为人物的步行速度比车辆慢很多，所以难以基于过去的方位数据高精度地推定人物的朝向。特别是突然站住观察周围时，提供该人物朝向何方、眼前的道路相当于地图上的那条道路的这种信息非常困难。

在本实施方式中的朝向检测装置中，即便人物不行走的状态下，也能够推定人物手持的便携设备的朝向。

图37表示本实施方式中的便携设备朝向检测装置的结构例。在图37的结构中，与其他实施方式的结构不同的部分在于，具备求得便携设备朝向的便携设备朝向推定部3100、输出便携设备朝向的便携设备朝向输出部3101。

接下来，参照图38对本实施方式中的便携设备朝向的检测动作进行说明。图38是表示本实施方式中的移动体具备的便携设备朝向检测装置的动作流程图。在图32A的场景图像·场景偏振图像取得部100a中实行图像摄像步骤S3200之后，在蓝天偏振图像处理部100c中实行图像处理步骤S3201。这样，取得蓝天偏振图像。

接下来，在照相机朝向推定部101中通过实行照相机朝向推定步骤S3202推定摄像元件的朝向。根据推定出的朝向信息，在便携设备朝向推定部3100中实行便携设备朝向推定步骤S3203，由此推定便携设备的朝向。

在本实施方式中，通过利用参照图32A、32B说明的数据库，能够基于照相机朝向和便携设备朝向之间的关系从照相机朝向决定便携设备朝向。

最后，在便携设备朝向输出部3101中，通过便携设备朝向输出步骤S3204，以显示器或声音等将便携设备的朝向信息提示给使用者。

图39中图示了使用状况的例子。在此，表示人物3301到达分岔路口3300而停止行走的状况。在利用GPS等速度差值的方法中，为了了解当前人物的朝向，需要选择与分岔路口连接的任意一条道路，然后行走一定距离。此时，若所选的道路与打算通过的道路不同时，需要重新从分岔路口进入正确的道路，这是很麻烦的。相对于此，若利用本发明，仅取得图39的图像区域3302所示的车外蓝天偏振图像，不必徒劳地行走长距离，就能够将便携设备的朝向提示给使用者。此外，作为提示方法，可以如图39所示那样利用显示器3303，也可以是声音警告3304。特别在显示器3303上显示当前地附近的地图的情况下，通过将便携设备的朝向以箭头3305的形式显示在地图上，所带来的效果是使用者能够容易了解自身的朝向。

以下，对本实施方式进行更加详细说明。

由于图37所示的场景图像·场景偏振图像取得部100a、蓝天偏振图像处理部100c、以及照相机朝向推定部101与图1F所示的相同编号的处理部分别进行同一动作，因此这里省略说明。

对于横摇水平度修正部100b，既可以是与图1F同样的动作，也可以追加以下说明的其他动作。

摄像元件相对于地面的横摇水平度是表示便携设备的手持状态的要素。一般情况下，摄像元件与显示器都固定于便携设备来搭载。观察显示器的使用者的状态一般是与地面垂直地站立或坐着。因而，若要判断摄像元件相对于地面的水平度，其与显示器相对于使用者的水平度等同。因而，如果追加如下处理，就能让使用者容易识别朝向，即：横摇水平度不仅用于蓝天偏振相位的处理，还输入至输出部，进行修正使其进行与水平度相应的显示。

接下来，对便携设备朝向推定器3100进行说明。

首先，图40中表示便携设备上偏振摄像元件3400的代表设置例。图40中图示了本实施方式涉及的便携设备(便携电话)3401～3403。

如便携设备3401上的偏振摄像元件3400所示，使便携电话自带的照相机利用能够同时拍摄彩色图像·偏振图像的偏振摄像元件，从而能够在不对使用者带来不方便的情况下，取得蓝天偏振相位图像。

此外，该情况下，本实施方式的装置除了作为照相机朝向检测装置动作以外，例如可以针对任意的便携电话自带照相机摄影图像，转换为图13(a)所示的表示偏振相位的图像，并进行输出。此外，也可以用于图13(d)所示这种的图像转换，制作仅去除了天空的图像，或将天空的区域置换为其他纹理。此外，如便携设备3402的偏振摄像元件3404那样，在确认显示器时，通过在高度最高的位置附近设置偏振摄像元件3404，从而能从更高的位置可靠地取得蓝天偏振图像。

此外，并不是永久设置在固定位置，可以作为能由线缆连接的外部部件，使用者在任意喜欢的时间段决定元件的设置位置。如便携设备3403所示那样，只要是能够取得蓝天偏振相位图像的位置、并且是不朝向正上方(图像中包含太阳的可能性非常高)的方向，则使用者可以在任意位置以任意朝向进行设置。这样，由于各使用者可简单地进行蓝天区域取得位置的调整，因此这是很方便的。

这里，上述图示以外，对于设置在满足之前的设置条件的位置的情况，也全部包含在本发明的本实施方式中。

此外，已知屋外有雨或云的情况下、或者因时间带或位置的关系照相机朝向推定精度显著下降的情况下，可以如图41所示那样，从本发明装置向处于这种状况下的便携设备3500发送消息。例如，如显示器3501所示那样，显示“可靠度较低，无法利用”，或者由声音警告3502向使用者传达无法利用本发明装置的意思。这样一来，能够降低使用者接收错误信息的可能性。

(实施方式6)

以下对本发明的第6实施方式进行说明。

上述的本发明的实施方式特征在于具备彩色偏振图像摄像部，但在基于本发明的摄像装置朝向的检测中，也未必需要取得彩色图像。例如，根据单色的亮度图像也能够决定摄像装置朝向。图42是表示本发明的第6实施方式中的摄像装置朝向检测装置的结构图。在图42的结构中，与其他实施方式中的结构不同的部分在于，具备取得场景图像的场景图像·场景偏振图像取得部3600a、以及求得蓝天区域偏振状态的蓝天偏振图像处理部3600c。对于除此以外的结构，由于与实施方式1的结构相同，因此这里省略说。

对于本发明的摄像装置朝向检测装置，优选所有的结构要素都收纳在图43所示的照相机中。但是，图42的图像取得部3600可具备例如场景图像·场景偏振图像取得部3600a和计测横摇方向倾斜度的水平器，横摇水平度修正部100b、蓝天偏振图像处理部3600c、照相机朝向推定部101、以及输出部102设置在照相机外部。

图43中表示场景图像·场景偏振图像取得部3600a的结构。

由于照相机具备作为场景图像·场景偏振图像取得部3600a发挥功能的摄像部，因此根据照相机的朝向，拍摄到的场景图像·场景偏振图像的内容发生变化。

优选用于推定照相机朝向的一系列处理在照相机内部实行，但也未必在照相机内部实行。

图43中表示本实施方式的场景图像·场景偏振图像取得部3600a的结构。需要在屋外取得场景图像以及场景偏振图像的双方。由于风而存在云的运动等，从而优选实时取得偏振图像。此外，优选同时取得场景图像和场景偏振图像，但也可以间隔几秒左右取得。

图43的场景图像·场景偏振图像取得部3600a构成为：针对被摄体实时取得亮度图像信息，同时取得偏振图像信息，输出2种偏振图像信息(偏振度图像ρ和偏振相位图像Φ)。

图43的场景图像·场景偏振图像取得部3600a中，通过镜头3700a和光圈3700b的入射光，入射至偏振取得部3701。基于该入射光，偏振取得部3701能够实时取得亮度运动图像信息和偏振图像信息的双方。从偏振取得部3701输出表示亮度运动图像信息和偏振图像信息的信号，分别提供给亮度信息处理部3702和偏振信息处理部3703。亮度信息处理部3702和偏振信息处理部3703对上述信号实施各种处理，输出亮度图像C、偏振度图像ρ和偏振相位图像Φ。

在偏振取得部3701中，同时取得单色图像和偏振图像。为此，能够利用例如专利文献3公开的技术。在该技术中，以同时取得亮度图像和被摄体的部分偏振的图像为目的，在摄像元件以空间方式配置图案化偏光器，该图案化偏光器(偏振器)具有多个不同的偏振主轴(透过轴)。作为图案化偏光器，利用光子结晶或构造双折射波长板阵列。图44表示这种偏振亮度摄像元件的一例。窄带彩色滤片3800、和图案化偏光器3801重叠设置在摄像元件像素3802的前面。入射光透过窄带彩色滤片3800、图案化偏光器3801之后到达摄像元件，由摄像元件像素3802观测单色亮度。这样一来，能够同时取得亮度图像信息和偏振图像信息的双方。此外，窄带彩色滤片3800优选利用具有例如500～550(nm)透过频带的部件，以便选择图案化偏光器动作的波段。

图45是从光轴方向的正上方观察偏振取得部3701的摄像面的一部分的图。为了说明简单，仅图示了摄像面之中紧密相接的4个微细偏振像素(2×2)。各微细偏振像素上记述的条纹示意表示微小偏振片的偏振主轴方向。在图45的例子中，4个微细偏振像素分别具有角度ψi＝0°、45°、90°、135°的偏振主轴。

此外，为了可靠取得被摄体特别亮的镜面反射部分包含的偏振分量、被摄体的影区域中包含的偏振分量等，因此优选摄像元件的亮度动态范围和位数尽量较大(例如16位)。

由图45所示的结构对每个偏振像素取得的亮度信息，在图43的偏振信息处理部3703中进行处理。该处理与参照图8所说明的处理相同。

在以上处理中确定正弦函数近似的A、B、C3个参量。这样，求得表示偏振度ρ的偏振度图像和表示偏振相位Φ的偏振相位图像。偏振度ρ表示相应像素的光发生偏振的程度，偏振相位Φ表示相应像素的光的部分偏振的主轴角度。此外，偏振的主轴角度中0和180°(π)是相同的。值ρ和Φ(0≤Φ≤π)分别像实施方式1那样通过(式6)和(式7)算出。

此外，本实施方式的图案化偏光器也可以是光子结晶、薄膜型偏振元件、线栅网格型、基于其他原理的偏振元件。

图43所示的亮度信息处理部3702利用从偏振取得部3701输出的信息计算亮度。透过了偏光器的光的亮度，与入射至偏光器之前的光具有的本来亮度不同。在非偏振照明的情况下，理论上对偏振的所有偏振主轴上的观测亮度进行平均化之后的值，相当于入射至偏光器之前的光具有的本来亮度。当以I1表现角度偏振像素P1的像素的观测亮度时，能够通过进行与(式8)相同的观察亮度平均化，来计算亮度。

通过得到各偏振像素中的亮度，能够生成通常的亮度图像。

利用图45所示的4个偏振像素得到亮度图像C、偏振图像ρ、偏振相位图像Φ中的各像素的亮度和偏振信息。因此，能够认为各个亮度和偏振信息代表位于图45所示的4个偏振像素中心的假设像素点3900中的值。这样，亮度图像和偏振图像的分辨率降低至本来摄像元件具有的分辨率的纵1/2×横1/2。因此，优选摄像元件像素数尽量较大。

由于由图42所示的横摇水平度修正部100b进行的拍摄到的场景图像·场景偏振图像的倾斜修正与实施方式1相同，因此省略说明。

接下来，参照图46A对蓝天偏振图像处理部3600c的结构进行说明。

蓝天偏振图像处理部3600c将偏振度图像ρ、偏振相位图像Φ、亮度图像Y作为输入，输出蓝天偏振相位图像ΦSKY。蓝天偏振相位图像ΦSKY用于从场景中推定照相机朝向、太阳朝向。

在蓝天偏振图像处理部3600c中，偏振度二值化部1001以阈值Tρ对偏振度图像ρ进行二值化。亮度二值化部1003利用阈值TC1亮度图像Y进行二值化处理。图像运算部1005，对偏振度二值化部1001中二值化之后的偏振度图像ρ’与亮度二值化部1003中二值化之后的亮度图像C1’进行与(逻辑与)运算，输出遮罩图像A’。

图像远算部1011，对采用的蓝天区域遮罩图像Msky与偏振相位图像Φ进行逻辑与运算，生成蓝天偏振相位图像Φsky。

此外，二值化阈值Tρ基于根据图像中各像素的偏振度制作的直方图决定。将偏振度直方图中的偏振度2个峰值的中间值设为阈值Tρ即可。在此，二值化阈值Tρ是用于判定偏振度高低的阈值，满足0＜Tρ＜1的关系。

在图像运算部1005中，对以上的2种遮罩图像ρ’、C1’进行逻辑与运算处理，能够得到除去了一部分偏振度较低的云区域的、仅分离出蓝天区域的遮罩图案A’。在图像运算部1011中，对该遮罩图像A’与偏振相位图像Φ进行逻辑与运算处理。

通过以上处理，得到蓝天偏振相位图像Φsky。

在此需要注意：在决定蓝天区域时，原则上优选除去云区域。在后面的照相机朝向检测中，需要检索在蓝天偏振相位图像Φsky与整个天空偏振映射之间对应的点。当然，对于整个天空偏振映射，不考虑云的存在。当利用由于云的存在偏振相位被打乱的蓝天偏振相位图像Φsky时，有可能引起推定差错。

此外，特别在云较薄的情况下，即便在云区域偏振相位也不会变乱。此时，蓝天区域也可以包含云。偏振相位是否由于云而变乱，关键在于云区域的偏振度的下降程度。根据基于偏振决定蓝天区域的本实施方式，存在能够自动除去偏振度较低的云区域的优点。

此外，图像上出现的天空区域的偏振度较低的情况下，有时上述的蓝天区域提取将失败。为了防止这种情况，可以利用图46B所示的输出选择部4001、偏振度判定部1010。输出选择部4001根据偏振度判定部1010的输出ρd，决定是否采用基于二值化之后亮度图像C1’、偏振度图像ρ’生成的第1蓝天区域遮罩图像A’。

具体而言，由偏振度判定部1010基于场景偏振度图像ρ的偏振度直方图求得平均偏振度。接下来，在图46B的输出选择部4001中，从偏振度判定部1010输出的平均偏振度ρd未超过阈值的情况下，由于基于偏振度的蓝天偏振相位图像Φsky的提取可靠度较低，因此停止处理。在比规定阈值例如Tρ1＝0.1低的情况下，切换至圈外显示即可。

此外，如前所述，是否能够由图46A的结构来实施，很大方面依赖于时刻。因此，代替利用输出选择部4001、偏振度判定部1010切换可否提取蓝天区域，可以基于摄影时间来切换。例如将午后4点以后直至日落定义为傍晚，在不是傍晚的情况下以图46A的结构决定蓝天区域，在傍晚时可以利用图46B的结构判断可否提取。

接下来，参照图46C、图46D对蓝天偏振图像处理部3600c的其他结构例进行说明。

在图46B所示的蓝天偏振图像处理部3600c中，如上所述那样，输出选择部4001根据偏振度判定部1010的输出ρd，决定是否采用基于二值化之后的亮度·偏振度图像C1’、ρ’生成的蓝天区域遮罩A’。

与此相对，在图46C的蓝天偏振图像处理部100c中，在制作蓝天区域遮罩A’之前的阶段，选择部4101中根据偏振度判定部1010的输出ρd，决定是否应该制作遮罩。例如，从偏振度判定部1010输出的ρd未超过阈值的情况下，图46C的选择部4101不制作蓝天区域遮罩A’而选择处理停止。其结果，图46C的蓝天偏振图像处理部3600c不制作第1蓝天区域遮罩A’，停止处理。对于使用者来说，可以进行圈外显示等。因此，仅在偏振度足够高时制作遮罩即可，能够节省用于制作并不使用的遮罩的处理。

在图46D的蓝天偏振图像处理部3600c中，同样在制作第1蓝天区域遮罩A’之前的阶段，选择部4201也决定是否应该制作遮罩。不过，在图46D的蓝天偏振图像处理部3600c中，是基于时间信息取得部1016输出的摄影时间信息决定是否制作遮罩，而不是基于偏振度判定部1010的输出ρd决定。时刻表示傍晚(例如午后4点至日落)时，图46D的选择部4201判定不制作第1蓝天区域遮罩A’。其结果，并不制作遮罩A’，停止处理。与图46C同样，由于未制作不使用的遮罩，因此具有提高处理效率的效果。

利用通过以上步骤制作的蓝天偏振相位图像、或蓝天偏振图像，进行摄像装置朝向的推定。此外，对于图42所示的照相机朝向推定部101、以及输出部102的动作，由于与其他实施方式相同，因此这里省略详细说明。

此外，本实施方式中的照相机朝向检测方法如图47所示，包括：步骤S4300，由照相机取得偏振图像和亮度图像；步骤S4301，根据偏振图像和亮度图像，生成表示亮度图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像；步骤S4302，基于蓝天偏振相位图像推定照相机朝向；和步骤S4303，输出表示照相机朝向的信息。实行这种步骤的本发明的照相机朝向检测方法并不限定于用在具有上述结构的装置中，也能应用于具有其他结构的装置来实施。此外，若预先准备使计算机实行上述步骤的程序，由该程序控制内置在照相机等图像输入装置中的计算机的动作，则容易通过改变程序来改善图像输入装置的动作。

此外，本实施方式中的照相机朝向检测方法特别在图46B、图46C、图46D的例子所示的情况下，也就是以偏振度判定部1010的输出结果为基础，在输出选择部4001中判定可否继续处理时，在不能继续处理的情况下，照相机朝向推定部101可以不进行动作。

因此，如图48(a)所示，本装置可以具备如下的通路，该通路用于从蓝天偏振图像处理部3600c向输出部102发送例如“不能继续处理”的指示并对用户进行显示。同样，如图48(b)所示那样，对于实现本装置的方法，可以从生成蓝天偏振相位图像的步骤S4301直接到输出步骤，输出可否继续处理的信息。通过采用上述结构或流程，其效果在于能够防止在照相机朝向推定部中发生无用的处理。

(产业上的利用可能性)

由于本发明的图像输入装置，通过利用天空的偏振现象，能够以完全无源的方法取得一般环境场景中的照相机-太阳之间的光源信息，因此能应用于各种数字照相机、数字摄像机、监视器等。并且，即便在对于在今后照相机小型化时被认为是不足之处的图像亮度信息，通过计算机图形处理提供信息量的情况下，也能够作为实用的输入装置来利用。

Claims (24)

1.一种摄像装置朝向检测装置，其检测具备摄像部的摄像装置的朝向，该摄像部通过摄影取得包括偏振相位图像的偏振图像、以及亮度图像，所述摄像装置朝向检测装置特征在于，具备：

图像处理部，根据所述偏振图像和亮度图像，生成表示所述亮度图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像；

朝向推定部，根据所述蓝天偏振相位图像，推定由所述摄像部的朝向决定的摄像装置朝向；和

输出部，输出表示由所述朝向推定部推定的摄像装置朝向的信息。

2.根据权利要求1所述的摄像装置朝向检测装置，其特征在于，

具备：太阳位置取得部，其取得与摄影时的太阳位置相关的信息，

所述朝向推定部利用所述信息进行摄像装置朝向的推定。

3.根据权利要求2所述的摄像装置朝向检测装置，其特征在于，

具备：整个天空偏振映射取得部，根据与所述太阳位置相关的信息，取得表示摄影时天空的偏振状态的整个天空偏振映射，

所述朝向推定部，根据所述蓝天偏振相位图像和所述整个天空偏振映射，推定所述摄像装置朝向。

4.根据权利要求3所述的摄像装置朝向检测装置，其特征在于，

所述整个天空偏振映射取得部，从包括整个天空偏振映射的数据库中，取得表示摄影时天空的偏振状态的整个天空偏振映射。

5.根据权利要求4所述的摄像装置朝向检测装置，其特征在于，

具备保存所述数据库的存储装置。

6.根据权利要求4所述的摄像装置朝向检测装置，其特征在于，

具备：通信装置，其访问保存所述数据库的外部存储装置。

7.根据权利要求3所述的摄像装置朝向检测装置，其特征在于，

所述整个天空偏振映射取得部，通过计算生成表示摄影时天空的偏振状态的整个天空偏振映射。

8.根据权利要求1所述的摄像装置朝向检测装置，其特征在于，

所述朝向推定部基于所述蓝天区域的偏振相位计算所述蓝天区域的方向，推定所述摄像装置的朝向。

9.根据权利要求1所述的摄像装置朝向检测装置，其特征在于，

具备：整个天空偏振映射取得部，其取得表示摄影时天空的偏振状态的整个天空偏振映射，

所述朝向推定部以检索模式和计算模式的至少一种模式进行动作，

在所述检索模式中，根据所述蓝天偏振相位图像和所述整个天空偏振映射，搜索所述蓝天区域的方向；在所述计算模式中，基于所述蓝天区域的偏振相位，计算所述蓝天区域的方向。

10.根据权利要求1所述的摄像装置朝向检测装置，其特征在于，

具备：水平度修正部，对所述摄像装置的倾斜进行修正。

11.根据权利要求10所述的摄像装置朝向检测装置，其特征在于，

所述摄像装置的倾斜包括横摇方向的倾斜。

12.根据权利要求11所述的摄像装置朝向检测装置，其特征在于，

所述摄像装置具备水平器，

由所述水平器取得水平度，根据所取得的水平度对摄像装置的倾斜进行修正。

13.根据权利要求1所述的摄像装置朝向检测装置，其特征在于，

具备：视场角取得部，其取得摄像范围的视场角，根据取得的视场角决定蓝天区域的范围。

14.根据权利要求1所述的摄像装置朝向检测装置，其特征在于，

所述摄像部具备偏振主轴角度不同的多个偏光器，

根据透过所述多个偏光器的光，取得所述偏振图像。

15.根据权利要求1所述的摄像装置朝向检测装置，其特征在于，

所述偏振图像除了所述偏振相位图像以外还包括偏振度图像。

16.根据权利要求1所述的摄像装置朝向检测装置，其特征在于，

所述图像处理部，在天空的偏振度为基准值以上时，利用偏振度截取所述蓝天区域，在所述偏振度比所述基准值低时，利用色调截取所述蓝天区域，并输出所述蓝天偏振相位图像。

17.根据权利要求2所述的摄像装置朝向检测装置，其特征在于，

具备：可靠度判定部，判定推定结果的可靠度，将信息提示给使用者。

18.根据权利要求17所述的摄像装置朝向检测装置，其特征在于，

具备：太阳高度判定部，根据基于与摄影时太阳位置相关的信息得到的太阳高度，判定可否进行推定。

19.根据权利要求2所述的摄像装置朝向检测装置，其特征在于，

根据太阳的高度和方位以及摄像装置朝向，进行坐标转换，从而取得照相机坐标中的太阳位置。

20.一种摄像装置，其特征在于，具备：

摄像装置，具有摄像部，其取得包括偏振相位图像的偏振图像、以及亮度图像；和

权利要求1所述的摄像装置朝向检测装置。

21.一种移动体，具备权利要求1所述的摄像装置朝向检测装置，其特征在于，具备：

摄像装置，具有摄像部，其取得包括偏振相位图像的偏振图像、以及亮度图像；和

移动体朝向推定部，根据所述移动体的朝向与所述摄像装置朝向之间的关系，基于检测到的所述摄像装置朝向，决定所述移动体的朝向。

22.一种便携设备，具备权利要求1所述的摄像装置朝向检测装置，其特征在于，具备：

摄像装置，具有摄像部，其取得包括偏振相位图像的偏振图像、以及亮度图像；和

便携设备朝向推定部，根据所述便携设备的朝向与所述摄像装置朝向之间的关系，基于检测到的所述摄像装置朝向，决定所述便携设备的朝向。

23.一种图像输入装置，其特征在于，具备：

摄像部，通过摄影取得包括偏振相位图像的偏振图像、以及亮度图像；

图像处理部，根据所述偏振图像和亮度图像，生成表示所述亮度图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像；

朝向推定部，根据所述蓝天偏振相位图像，推定由所述摄像部的朝向决定的摄像装置朝向；和

输出部，输出由所述摄像部拍摄的图像数据、以及表示由所述朝向推定部推定的摄像装置朝向的信息。

24.一种摄像装置朝向检测方法，其特征在于，包括：

由摄像装置取得偏振图像和亮度图像的步骤；

根据所述偏振图像和亮度图像，生成表示所述亮度图像中包含的蓝天区域的偏振相位的蓝天偏振相位图像的步骤；

根据所述蓝天偏振相位图像，推定摄像装置朝向的步骤；和

输出表示摄像装置朝向的信息的步骤。

Images