CN102316329A - 图像处理装置 - Google Patents

Abstract

本发明公开一种图像处理装置，其备有：彩色偏振光取得部(101)，其具有单板彩色摄像元件以及图案化偏振体，所述单板彩色摄像元件具有彩色马赛克滤光器，所述图案化偏振体中在所述彩色马赛克滤光器的同一色像素内具有不同角度的透过偏振面偏振体单位相邻接而配置；彩色信息处理部(102)，其通过对透过同一色像素内的多个偏振体单位后的光的辉度进行平均化而取得平均彩色辉度信息；偏振信息处理部(103)，其用正弦函数对透过同一色像素内的多个偏振体单位后的光的辉度与所述偏振体单位的透过偏振面的角度的关系进行近似。

Description

图像处理装置

本申请是基于国际申请号为PCT/JP2008/001136、国际申请日为2008年5月1日、国家申请号为200880001295.7、发明名称为“图像处理装置”的申请案的分案申请。

技术领域

本发明涉及能够取得彩色信息以及偏振信息这两方的图像处理装置以及图像输入方法。

背景技术

近年的数字摄像机的进步非常显著，将来，预想在移动电话的照相机中也能够得到HDTV画质。可是，若将光学系、摄像元件小型化，则由于灵敏度、透镜衍射极限等，会产生图像摄像的极限的问题，因此，可以认为将来高精细化也会达到极限。此时，对不满意的被拍摄体的图像信息施加计算机图形学的处理对于画质提高较为有效。可是，为此，被拍摄体的3维形状信息、对被拍摄体进行照明的光源等，必须取得图像生成过程中的物理信息。为了取得形状信息，通常，需要T投光激光、LED光源的有源传感器(アクテイブセンサ)、2眼立体视(2眼ステレオ)等距离测量系统。这些是较大规模的系统，并且存在各种的制约。例如存在照相机和被拍摄体的距离充其量不过只有数m程度、对象被拍摄体限于固形物且明亮的扩散物体等制约。为此，不能够用于远距离的屋外场景摄影、毛发或衣服较为重要的人物摄影。

以往，作为完全被动的被拍摄体形状传感方式，具有利用偏振的技术。这是利用了如下原理的技术：即来自照射了非偏振的自然光的被拍摄体的反射光(镜面反射光或扩散反射光)因表面的朝向、视点这样的几何学的因素而呈现出种种的部分偏振。为了该信息的取得，需要将被拍摄体各像素的部分偏振状态作为偏振图像而取得。

在非专利文献1中，公开了一边对在照相机的透镜前安装的液晶型偏振板进行控制一边取得动态图像的照相机。若使用此，则能够将彩色动态图像和被拍摄体的部分偏振的信息作为图像而取得。可是，通过一边在液晶上施加电压而改变偏振板的偏振主轴一边取得数帧，能够首先取得一个偏振信息。因此，在彩色图像和偏振图像中产生数帧的错位，不能够同时地取得这些的图像。该技术，与机构地使偏振板旋转的技术等同。

在非专利文献2以及非专利文献3中公开了如下技术内容：即为了同时取得辉度图像和被拍摄体的部分偏振的图像而在摄像元件空间配置具有多个不同的偏振主轴的图案化(图案化)偏振体。作为图案化偏振体，利用光子晶体、构造双折射(複屈折)波长板阵列。可是，在这些技术中，只能够同时取得单色图像和偏振图像。

专利文献1公开了如下技术内容：即通过在ベイヤ彩色马赛克和G像素的一部设置偏振滤光器，而使摄像元件的一部分具有偏振特性，而同时取得彩色图像和偏振信息。在该技术中，从彩色图像取得抑制了镜面反射成分后的图像。在该技术中，由于进行了取得在不同的两个的偏振像素间存在的差这样的单纯操作，因此不能够完全得到被拍摄体的部分偏振信息。

【专利文献1】特开2006-254331号公报

【非专利文献1】Lawrence B.Wolff：“Polarization vision：a new sensory approach to image understanding”，Image and Vision Computing 15(1997)PP.81-93，Elsevier Science B.V.

【非专利文献2】川島，佐藤，川上，長嶋，太田，青木：’图案化偏振体を用いた偏振イメ一ジングデバイス和利用技术的開発’電子信息通信学会2006年総合全国大会，No.D-11-52，P 52，March 2006

【非专利文献3】菊田，岩田：’偏振图像测量系统’，Oplus E，Vol.25，No.11，P 1241-1247，2003

在以往的技术中，不能够同时取得被拍摄体的彩色图像和被拍摄体的部分偏振的偏振图像。为此，不能够取得彩色动态图像，并且不能够取得时间上没有错位的形状信息。

若使用以往的技术，则虽然能够同时取得单色辉度图像和偏振图像，但是对于彩色化，需要针对R、G、B这3个波段(バンド)的波长带域取得偏振信息。为此，产生了以下的课题：

1)彩色分离特性和偏振特性相干涉。

2)难于彩色辉度取得和偏振信息取得的兼顾。

所谓的第1彩色分离特性和偏振特性的干涉，是指偏振体、偏振光束分离器等光学系的物理特性通常存在偏振分离特性因波长而较大地变化，并不能够在可见光全部的波长带域具有相同的特性这样的问题。例如，偏振光束分离器能够在某波长带将输入的非偏振分离为P波和S波，但是若偏离该波长带则不动作。同样，虽然非偏振半反射镜(ハ一フミラ一)能够在不变更偏振特性的情况下分离为特定波长的光，但是在较宽的波长域中会不改变偏振特性而分离。该问题会产生如下的副作用：即所入射的光的偏振状态对色分解特性产生影响。为此，不能够如单色时那样，容易地使用偏振体，需要与所利用的彩色分别地，以偏振特性在对应的狭波长带域成为所望的特性的方式使性能最佳化。

彩色辉度取得和偏振信息取得的兼顾较为困难的第2课题，是不能够独立地取得彩色辉度信息和偏振信息，两者会混合的问题。偏振信息的精度，因得到不同的多个偏振轴中的辉度观测结果而提高。可是，1个的彩色中得到较多的偏振信息，在系统构成上是困难的。为此，需要将在不同种类的彩色中色散的偏振信息按照一定的方法再度进行归一。

发明内容

本发明为解决上述课题而提出，旨在提供一种能够同时取得彩色图像和偏振信息取得的图像处理方法和图像输入方法。

本发明的图像处理装置的特征在于，备有：彩色偏振光取得部，其具有单板彩色摄像元件以及偏振体单位相邻接而配置的图案化偏振体，所述单板彩色摄像元件包括彩色马赛克滤光器，所述图案化偏振体在所述彩色马赛克滤光器的同一色像素内具有不同角度的透过偏振面，偏振信息处理部，其用正弦函数对透过同一色像素内的多个偏振体单位后的光的辉度和所述偏振体单位的透过偏振面的角度的关系进行近似；彩色信息处理部，其通过对透过同一色像素内的多个偏振体单位后的光的辉度进行平均化而取得平均彩色辉度信息。

基于本发明的其他的图像处理装置，备有：彩色偏振取得部，其具有将入射光分解为多个不同色的色分解元件，和各自对由所述色分解元件分解后的不同色的光进行受光的多个摄像元件；偏振信息处理部，其所述多个摄像元件的输出而得到偏振信息；彩色信息处理部，其基于所述多个摄像元件的输出而得到平均彩色辉度信息，所述多个摄像元件，具有：从所述分解后的不同色中包含的第1色的光中取得高分辨率单色图像至少一个的高分辨率摄像元件；从所述分解后的不同色中包含的第2色的光中取得低分辨率图像至少一个的低分辨率摄像元件，所述低分辨率摄像元件，具有：在不同的方向具有透过偏振面的多个偏振体单位邻接而排列的图案化偏振体，所述偏振信息处理部，将透过所述多个偏振体单位后的光的辉度进行归一而取得所述偏振信息。

在优选的实施方式中，所述色分解元件，所述色分解元件，将入射光色分解为R、G、B的光，所述高分辨率单色元件接受G光。

在优选的实施方式中，对于同一的色的像素所使用的所述偏振体单位的偏振的波长依存特性，在与该色相对应的波长带域内大致相等。

在优选的实施方式中，所述图案化偏振体，对于每个的像素，具有透过偏振面的角度以θ°不同(180/θ)种类的偏振体单位。

在优选的实施方式中，所述低分辨率摄像元件的数目是多个，与多个低分辨率摄像元件相对应的多个图案化偏振元件，作为整体，具有透过偏振面的角度以θ°不同(180/θ)种类的偏振体单位。

基于本发明的其他的图像处理装置，具有：彩色偏振取得部，其具有：将入射光分解为多个不同色的色分解元件，各自对由所述色分解元件分解后的不同色的光进行接受的多个偏振光束分离器，以及含有对各偏振光束分离器的反射光和透过光分别进行受光的一对的摄像元件的多个摄像元件；偏振信息处理部，即基于所述多个摄像元件的输出而的得到偏振信息；彩色信息处理部，其基于所述多个摄像元件的输出而得到平均彩色辉度信息，所述偏振信息处理部对入射到所述多个摄像元件的光的辉度进行归一而取得所述偏振信息。

在优选的实施方式中，所述多个偏振光束分离器中的透过偏振面的角度相互不同。

在优选的实施方式中，所述多个偏振光束分离器中的透过偏振面的角度相互以±30°不同。

在优选的实施方式中，所述偏振信息处理部，通过对不同色而得到的不同的偏振的观测辉度成算校正系数，而得到与一个的色相关的辉度校正值。

本发明的图像输入方法的特征在于，具有：对于R、G、B的各图像，取得彩色偏振信息的观测值的步骤；使用校正系数将多个彩色图像的不同的偏振状态中的辉度归一为彩色的辉度的步骤；对于每个像素，利用正弦函数对归一后的辉度的变动进行近似；从正弦函数的最大值和最小值生成偏振度图像的步骤；对R、G、B的平均辉度进行求取而生成彩色辉度图像的步骤。

根据本发明的图像处理装置，通过消除彩色分离特性和偏振分离特性的干涉，而在摄像系统上寻求彩色辉度和偏振观测的兼顾，从能够同时得到彩色图像和偏振信息，因此能够适用于彩色动态图像。

附图说明

图1是表示本发明中的图像处理装置的构成的方框图。

图2是彩色偏振光取得部的第1实施方式的构成的说明图。

图3(a)和(b)分别是第1实施方式的彩色滤光器和图案化偏振元件的排列状态的说明图。

图4(a)和(b)分别是第1实施方式的彩色滤光器和图案化偏振元件的其他的排列状态的说明图。

图5(a)至(c)是第1实施方式的图案化偏振元件的波长特性的说明图。

图6是用于说明图案化偏振元件的彩色分离特性和偏振分离特性的干涉的图。

图7是对第1实施方式中的正弦函数状辉度变动和观测辉度点进行说明的示意图。

图8是对塑料球被拍摄体进行表示的图。

图9(a)和(b)分别是偏振度图像ρ(x，y)和偏振相位图像φ(x，y)的图。

图10(a)和(b)分别是对偏振度图像ρ(x，y)和偏振相位图像φ(x，y)的说明进行表示的示意图。

图11(a)和(b)分别是对镜面反射图像和扩散反射图像进行表示的照片，(c)和(d)分别是对镜面反射图像和扩散反射图像进行表示的示意图。

图12是对第1实施方式中的偏振信息处理部和彩色信息处理部的动作进行说明的流程图。

图13A是对彩色偏振光取得部的构成例进行表示的图。

图13B的(a)至(c)是对图13A的构成例中的G、R、B的图案化偏振体的排列进行表示的图。

图13C是对彩色偏振光取得部的第2实施方式的构成进行表示的图。

图14(a)至(c)，是对第2实施方式中的R、B的图案化偏振体的排列进行表示的图。

图15(a)和(b)，是对第2实施方式中的R和B的图案化偏振体的其他的排列进行表示的图。

图16是对第2的实施方式中的正弦函数状辉度变动和观测辉度点进行说明的图。

图17是对第2实施方式中色散为彩色后的偏振信息的向G的归一化进行说明的图。

图18是对第2实施方式中色散为彩色后的偏振信息的向R的归一化进行说明的图。

图19是对第2的实施方式中的偏振信息处理部和彩色信息处理部的动作进行说明的流程图。

图20是彩色偏振光取得部的第3实施方式的构成的说明图。

图21(a)至(c)是对第3实施方式中的偏振光束分离器的配置进行表示的图。

图22是对第3的实施方式中的R、G、B的偏振信息的观测角度进行表示的图。

图23是对第3实施方式中的正弦函数状辉度变动和观测辉度点进行说明的图。

图24是对第3的实施方式中色散为彩色后的偏振信息的归一化进行说明的图。

图25是对第3实施方式中的偏振信息处理部和彩色信息处理部的动作进行说明的流程图。

图中：

100a透镜

100b光阑

101彩色偏振光取得部

102偏振信息处理部

103彩色信息处理部

具体实施方式

以下，参照附图对本发明的图像处理装置和图像处理方法的实施方式进行说明。

(第1的实施方式)

图1对本说明书中说明的本发明的实施方式的所有共通的基本的构成进行表示的方框图。本实施方式的装置在从被拍摄体实时取得彩色图像信息的同时取得偏振图像信息，并作为两种类的偏振图像(偏振度图像ρ和偏振相位图像φ)而输出。通过透镜100a和光阑100b后的入射光，入射到彩色偏振光取得部101。彩色偏振光取得部101能够从该入射光，实时取得彩色动态图像信息和偏振图像信息这两方。本实施方式的彩色偏振光取得部101中，能够同时取得与色相关的信息(彩色信息)和与偏振相关的信息(偏振信息)。从彩色偏振光取得部101输出表示彩色动态图像信息和偏振信息图像信息的信号，并分别提供给彩色信息处理部102和偏振信息处理部103。彩色信息处理部102和偏振信息处理部103对上述信号实施各种的处理，并输出彩色图像Im、偏振度图像ρ、偏振相位图像φ。

图2是表示彩色偏振光取得部101的基本的构成的示意图。在图示的例子中，彩色滤光器201和图案化偏振体202，与摄像元件像素203的前表面重叠而设置。并且，彩色滤光器和图案化偏振体的设置的顺序是任意的。入射光，透过彩色滤光器201和图案化偏振体202而到达摄像元件，并通过摄像元件像素203观测辉度。如此根据本实施方式，能够使用彩色马赛克型的单板彩色摄像元件而同时取得彩色信息和偏振信息这两方。

图3(a)是从光轴方向的正上观察彩色偏振光取得部101中的摄像面的一部分的图。在图3(a)，为了简单，而在摄像面中，仅仅示出了16个像素(4×4)。图示的4个的矩形区域301～304，分别示出了在4个的像素单元上设置的ベイヤ型彩色马赛克滤光器的对应部分。矩形区域301是B滤光器区域，将像素单元B1～B4覆盖。在像素单元B1～B4中，分别具有不同的偏振主轴的B用图案化偏振体紧贴着。这里，所谓‘偏振主轴’，是与透过偏振体的光的偏振面(透过偏振面)平行的轴。在本实施方式中，在同一色的像素内具有不同角度的透过偏振面的偏振体单位(微小偏振板)相互邻接而配置。更详细来说，透过偏振面的方向相互不同的4种的偏振体单位配置在R、G、B的各同一色的像素内。1个偏振体单位，与1个微细的偏振像素相对应。在图3(a)中，对于每个偏振像素，赋予G1等的配色(符合)。

图3(b)表示B用图案化偏振体分割为紧贴的4个的微细偏振像素的偏振主轴。图3(b)中，记载于各微细偏振像素的直线，示意性地表示微小偏振板的偏振主轴方向。在图3(b)的例中，4个的微细偏振像素分别具有角度Ψi＝0°，45°，90°，135°的偏振主轴。

在矩形区域302、304的像素4个的G用图案化偏振体相紧贴，在矩形区域303的像素4个的R用图案化偏振体相紧贴。图中，参考符号‘305’所示的位置，是对将本摄像系统中的4个像素一括地假想的像素位置。各矩形区域302～304的图案化偏振体，如图3(b)所示那样被分割为具有不同的4个的偏振主轴的部分。

图4(a)是表示彩色偏振光取得部101中的像素排列的其他的例子的图。在该例中，在45°倾斜的3×3方框内G像素配置为十字型，G像素的周围的4像素交互地配置R、G。图4(b)表示各彩色像素的微细构造，各彩色像素，由4种微细偏振像素构成。

如此在本实施方式中，特征在于：对于各彩色像素，包含具有不同的偏振主轴的多个微细偏振像素，彩色马赛克排列自身是任意的。在以下的说明中，将每个的微细偏振像素称为‘偏振像素’。

图5(a)至(c)，分别是示意性地表示B、G、R偏振像素的波长特性的曲线图。各曲线图的纵轴是透过光的强度，横轴是波长。B、G、R用的偏振像素，具有使B、G、R的各波长带域中TM(Transverse Magnetic Wave)波透过，而使TE(Transverse Electric Wave)波反射(不透过)的偏振特性。TM波，是磁场成分相对于入射面而横向的波，TE波是电场成分相对于入射面而横向的波。

在图5(a)，示出了B偏振图像的偏振特性402、403，和B用彩色滤光器的透过特性401。偏振特性402、403，分别表示TM波和TE波的透过率。

在图5(b)中，示出了G偏振图像的偏振特性405、406，G用的彩色滤光器的透过特性404。偏振特性405，406分别表示TM波和TE波的透过率。

在图5(c)，示出了R偏振图像的偏振特性408、409，和R用彩色滤光器的透过特性407。偏振特性408、409，分别表示TM波和TE波的透过率。

图5(a)至(c)所示的那样的特性，例如能够使用非专利文献2中所记载的光子晶体而实现。对于光子晶体的情况，具有与在其表面形成的沟平行的电场矢量振动面的光成为TE波，具有垂直的电场矢量振动面的光成为TM波。

在本实施方式中重要的点，在于：如图5(a)至(c)所示那样，B、G、R的透过波长带域的各个中使用表示偏振分离特性的图案化偏振体。

图6表示由G的彩色滤光器的透过域和由偏振特性4101，4102所确定的偏振分离域之间波长错位的情况。根据表示这种特性的偏振体，不能够进行作为本发明的目的的动作。

在使用单色辉度和偏振滤光器的情况下，不需要表示偏振分离特性的波长域的最佳化，但是在针对每个彩色的像素取得偏振信息的情况下，需要将彩色的分离特性和偏振的分离特性进行整合。

在本说明书中，使用表示偏振像素中的偏振主轴的方位的4个的数字‘1、2、3、4’和对彩色进行区别的3个的符号‘R、G、B’的组合(例如‘R1’、’G1’等)，而作为表示偏振像素的特性。偏振像素R1和偏振像素G1，因数字相同，偏振主轴的方向一致，但是RGB符号不同，因此透过的光的波长带域与不同的偏振像素相当。在本实施方式中，通过图2所示的彩色滤光器201和图案化偏振体202的组合而实现这种偏振像素的排列。

为了确实地取得被拍摄体的特别明亮的镜面反射部分中所包含的偏振成分、被拍摄体的阴影(影)区域中所包含的偏振成分等，优选为，摄像元件的辉度动态范围(ダイナミツクレンジ)和比特(ビツト)数尽可能大(例如16位)。

由图2所示的构成针对每个偏振像素所取得的辉度的信息，在图1的偏振信息处理部103中被处理。以下，对该处理进行说明。

图7表示透过具有方向不同的偏振主轴(Ψi＝0°，45°，90°，135°)的4种的偏振体后的光的辉度501～504。这里，偏振主轴的旋转角Ψ将Ψ_i时中的观测辉度作为I_i。其中，在设‘i’为1以上N以下的整数、‘N’为样本数的图7所示的例中，N＝4，而成为i＝1、2、3、4。在图7中，示出了与4像素的样本(Ψi，Ii)对应的辉度501～504。

偏振主轴的角度Ψi和辉度501～504的关系，由正弦函数所表达。在图7中，以辉度501～504这4点位于1条正弦函数曲线上的方式被记载，但是在基于更多的观测辉度而决定正弦函数曲线的情况下，有时观测辉度的一部分也可能从正弦函数曲线上稍微地偏离。

另外，本说明书中的所谓的“偏振信息”，是指表示辉度对偏振主轴角度的依存性的正弦函数曲线的振幅调制度和相位信息。

在实际的处理中，对于图3(a)所示的每个同一彩色区域301～304，将内部的4个像素辉度值作为样本，并按照以下方式对与图案化偏振体的主轴角Ψ的对应的反射光辉度I进行近似。

【数学式1】

I(ψ)＝A·sin 2(ψ-B)+C    (式1)

这里，如图5所示的那样，A、B、C是常数，并分别对偏振光辉度的变动曲线的振幅、相位、平均值进行表达。(式1)，能够按照以下的方式进行展开。

【数学式2】

I(ψ)＝a·sin 2ψ+b·cos 2ψ+C      (式2)

其中，A和B分别由以下的(式3)和(式4)所表示。

【数学式3】

$A=\sqrt{a^2+b^2},$ $\sin (-2B)=\frac{b}{\sqrt{a^2+b^2}},$ $\cos (-2B)=\frac{a}{\sqrt{a^2+b^2}}$ (式3)

【数学式4】

$B=-\frac{1}{2}{\tan }^{-1}\left(\frac{b}{a}\right)$ (式4)

若求取使以下的(式5)为最小的A、B、C，能够对辉度I和偏振主轴角Ψ的关系利用(式1)的正弦函数进行近似。

【数学式5】

$f(a,b,C)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(I_i-a\·\sin 2{\mathrm{\ψ}}_i-b\·{\cos 2\mathrm{\ψ}}_i-C)}^2$ (式5)

在以上的处理中，对于一个的彩色，正弦函数近似的A、B、C这3个参数是确定的。

如此，求取表示偏振度ρ的偏振度图像和表示偏振相位φ的偏振相位图像。偏振度ρ表示对应像素的光所偏振的程度，偏振相位φ表示对应像素的光的部分偏振的主轴角度。另外，偏振的主轴角度，0和180°(π)是同一的。值ρ和φ(0≤φ≤π)，分别由以下的(式6)和(式7)所算出。

【数学式6】

$\mathrm{\ρ}=\frac{I_{\max }-I_{\min }}{I_{\max }+I_{\min }}=\frac{A}{C}=\frac{A}{\stackrel{\‾}{I}}$ (式6)

【数学式7】

$\mathrm{\φ}=\frac{\mathrm{\π}}{4}+B$ (式7)

另外，本实施方式的图像处理装置，输出偏振度图像ρ和偏振相位图像φ，但是所输出的偏振信息可以是从图7的正弦函数所得到的信息，也可以是其他的信息的组合。例如，也可以将正弦函数的最高辉度Imax，最低辉度Imin的值，和采用各个的值的角度Ψmax＝φ，Ψmin等的组合作为偏振信息而输出。

图8是作为球体的塑料制球被拍摄体的输入图像。图9(a)和(b)分别表示相对于图8的被拍摄体的偏振度图像ρ(x，y)和偏振相位图像φ(x，y)的例子。图9的图像，在各图像中，以偏振度ρ、偏振相位φ越大，表示越高的亮度(明度)的方式进行显示。

图10(a)和(b)是用于说明图9的图像的示意图。在偏振度图像ρ(x，y)中，像素位置从照相机的视线方向和球的表面法线同一的中心附近，越向着方位7101的朝向远离，其像素的偏振度ρ越增加。另外，在球的表面法线相对于照相机的视线方向接近90度的球的遮蔽边缘(和背景的边界)附近中，偏振度ρ变得最大。图10(a)中，以等高线对该偏振度ρ示意性地进行表达。

图10(b)的偏振相位图像φ(x，y)中，可知：相对于表示相位＝0度的图像的天地方向的垂线偏振相位以180度周期而沿球体的周围按照反时针方向以箭头符号7102、7103的朝向而单调增加。根据这些偏振信息图像，更加明白：偏振度ρ和偏振相位φ，与拍摄体的表面法线的2自由度的朝向相当。即偏振信息能够推定被拍摄体的形状。

另外，本实施方式中，将被拍摄体的反射光中扩散反射成分的偏振度图像和偏振相位图像作为输出，但是这也可以是镜面反射成分，该情况下偏振相位φ是以90°不同的相位。

另外，作为偏振信息，除了所谓的(ρ，φ)组合外，可以是从图5的正弦函数得到的信息，也可以是其他的信息的组合，也可以是从该信息生成的图像。例如从偏振信息分离被拍摄体的扩散反射成分和镜面反射成分在应用方面是重要的。在利用本发明对此进行执行的过程中，相对于镜面反射区域的偏振，也可以在ρ(x，y)上乘以一定的比率而从原图像减算。图11(a)至(d)示出了如此而生成的图像的例。

图1所示的彩色信息处理部102，使用从彩色偏振光取得部101输出的信息，而计算彩色辉度。透过偏振体后的光的辉度，与入射到偏振体前的光所具有的本来的辉度不同。非偏振照明的情况下，理论上，将偏振光的全部的偏振主轴中的观测辉度平均化后的值，与入射到偏振体之前的光所具有的本来的辉度相当。若将偏振像素R1中的观测辉度表达为I_R1，则能够基于以下的(式8)，算出彩色辉度。

【数学式8】

${\stackrel{\‾}{I}}_R=(I_{R1}+I_{R2}+I_{R3}+I_{R4})/4$

${\stackrel{\‾}{I}}_G=(I_{G1}+I_{G2}+I_{G3}+I_{G4})/4$ (式8)

${\stackrel{\‾}{I}}_B=(I_{B1}+I_{B2}+I_{B3}+I_{B4})/4$

通过得到各偏振像素中的辉度，能够生成通常的彩色马赛克图像。通过基于马赛克图像而在各像素变换为具有RGB像素值的彩色图像，从而生成彩色图像Im。这样的变换，能够利用例如拜尔(ベイヤ一)马赛克的插补方法等的公知的插补技术而实现。

彩色图像Im、偏振度图像ρ、偏振相位图像φ的各个中的各像素的辉度和偏振信息，能够使用图3(b)所示的4个的偏振像素而得到，因此可以认为每个辉度和偏振信息，表示位于图3(b)所示的4个的偏振像素的中心的假想像素点305中的值。因此，彩色图像和偏振图像的分辨率，均降低到摄像元件的分辨率的纵1/2×横1/2。

可是，本实施方式中，如图3、图4所示的那样，在1色的彩色马赛克像素内存在多个微细的偏振体，因此，与不使用微细图像而4分割的彩色马赛克像素的情况下的分辨率相比较时，分辨率是等同的。

接下来，参照图12，对图1中的彩色信息处理部102和偏振信息处理部103的动作进行说明。

首先，最初由彩色偏振光取得部101同时实时取得彩色动态图像和偏振信息图像。在步骤S801～S803中，取得彩色动态图像的R、G、B的各像素中的多个偏振光辉度的观测值。步骤S801～S803的顺序是任意的，也可以并列地执行。具体来说，在R、G、B的彩色马赛克像素内取得4种偏振光辉度。表示偏振光辉度的信号，被送入到偏振信息处理部103，在步骤S804～S808中，按照以下的方式进行处理。

即，步骤S804～S806的各个中，基于从R像素、G像素、B像素的各个得到的变动辉度，算出正弦函数参数。正弦函数参数，由前述的(式1)中的A、B、C所规定。步骤S804～S806的处理，也是相互独立的，是按照任意的顺序进行的，也可以并列地执行。

其后，通过图1的彩色信息处理部102，执行步骤S808的处理。具体来说，使用前述的(式8)，求取R、G、B的平均辉度，而生成彩色辉度图像I(x，y)。

根据本实施方式的图像处理装置，能够解决以下所示的以往技术的课题1)、2)。

1)彩色分离特性和偏振特性的干涉；

2)彩色辉度取得和偏振信息取得的兼顾较为困难。

即，对于课题1)，根据本实施方式，能够对R、G、B的彩色分别独立地利用在各波长的狭窄带域中偏振特性动作的偏振元件而消除干涉。另外，对于课题2)，根据本实施方式，能够在一个的彩色分离系统中完全包含偏振信息分离系统，而对于每1种的彩色得到偏振信息。

另外，本实施方式中，虽然在图案化偏振体中使用光子晶体，但是偏振元件也可以是膜(フイルム)型的偏振元件、线栅(ワイヤ一グリツド)型、以及基于其他原理的偏振元件。

(第2实施方式)

以下，对基于本发明图像处理装置的第2实施方式进行说明。

第1实施方式中，使用单板彩色摄像系统，因此与以往的摄像元件所具有的分辨率相比，分辨率降低。这样的分辨率的降低，是由根据光线的入射位置对彩色进行分离彩色马赛克滤光器所引起的。本实施方式中，可以作为彩色马赛克滤光器的替代，使用根据波长带域将入射到同一区域的光分离为不同色的色分解元件，并利用此而与第1的实施方式相比进一步提高分辨率。

本实施方式的基本的构成，也在图1的方框图中示出，因此这里也适宜，参照图1。本实施方式的图像处理装置，也在从被拍摄体实时地取得彩色图像信息的同时取得偏振图像信息，并作为两种的偏振图像(偏振度图像和偏振相位图像)而输出。通过透镜100a和光阑100b后的光，入射到彩色偏振光取得部101，彩色偏振光取得部101从该入射光实时地取得彩色动态图像信息和偏振图像信息这两方。如后述的那样，本实施方式的彩色偏振光取得部101，备有色分解棱镜。从彩色偏振光取得部101输出表示彩色动态图像信息和偏振信息图像信息的信号，并分别发送到彩色信息处理部102和偏振信息处理部103。彩色信息处理部102和偏振信息处理部103，对上述信号实施各种的处理，输出彩色图像Im、偏振度图像ρ、偏振相位图像φ。

首先，参照图13A和图13B而对色分解(分色：ダイクロツク)棱镜的彩色偏振光取得部101的最单纯的构成例进行说明。图13A所例示的彩色偏振光取得部101，备有：附加了R的图案化偏振体的摄像元件1201、附加了R的图案化偏振体的摄像元件1202、以及附加了R的图案化偏振体的摄像元件1203，通过色分解棱镜被分立后的R、G、B的光，分别入射到摄像元件1201、1202、1203。

图13B是表示分别附加于摄像元件1201、1202、1203这3种图案化偏振体的排列的图。在该例中，在R、G、B的图案化偏振体的每个中，透过偏振面重复0度、45度、90度、135度这样的组合的图案。另外，偏振的波长特性，满足图5所示的特性。

图13B所示的排列的例中，在4像素中构成1套，因此如参照图3而说明的那样，能够针对RGB的每一各色取得偏振信息。另外，通过将4像素的辉度平均，也能够取得彩色图像。

可是，在上述的构成例中，残留有对于人类的视觉特性较为重要的G像素的空间分辨率降低的问题。以下，参照图13C，对解决了该课题的彩色偏振光取得部101的构成进行说明。

本实施方式的彩色偏振光取得部101，具有：色分解棱镜900；R、G、B专用的摄像元件901、902、903；以及R和B用的图案化偏振体904、905。以下将图案化偏振体904、905中的设置有微小的各偏振(偏向)元件单位的像素，称为偏振像素。

通过使用色分解棱镜900，能够从被拍摄体的各像素取得R、G、B的图像信息，因此分辨率提高。另外，在本实施方式中，将图案化偏振体配置在R用摄像元件901和B用摄像元件903之前，而不配置在G用摄像元件902之前。为此，能够使G图像的分辨率比R图像、B图像的分辨率更高。G光与R、B光相比是人类的视觉灵敏度最高的色，因此通过将G图像高分辨率化，能够有效地得到分辨率增加的视觉效果。

图14(a)至(c)，是表示R和B用的图案化偏振体904、905，以及对应的G用的像素的图。在G用摄像元件902，不设置图案化偏振体。B用的图案化偏振体905和R用图案化偏振体904，分别如图5(a)和图5(c)所示的那样，在B光和R光的波长带域中具有偏振特性。R用图案化偏振体904的偏振主轴，如下所示。

[表1]

偏振像素	R1	R2	R3	R4
					偏振主轴	0°	45°	90°	135°

另一方面，B用图案化偏振体905的偏振主轴如下所示。

[表2]

偏振像素	B6	B7	B8	B9
					偏振主轴	22.5°	67.5°	112.5°	157.5°

对从4种的偏振像素得到偏振信息进行表达的像素，是中心像素1001。

图案化偏振体904、905中的排列的特征如下所示。

(1)在由2×2像素组成的方框内中，偏振主轴的不同的4个的偏振像素相邻接。

(2)上述的各方框内中，相邻接的偏振像素的偏振主轴相互45°相异。

(3)偏振像素R1～R4、B5～B9的偏振主轴，在从0°到180°之间等间隔(22.5°)地存在。

若满足这些的性质，则偏振像素R1～R4和偏振像素B5～B9的排列顺序是任意的。例如，也可以按照图15(a)所示那样的顺序进行排列。图15(a)中，示出了偏振像素R1～R4和偏振像素B5～B8的其他的配置例。另外，在图15(b)的例中，作为R像素排列偏振像素R5～R8，作为B像素排列偏振像素R1～R4。这里，通过赋予偏振像素的参考符号1～9，而如以下所示那样，对偏振主轴的角度进行规定。

[表3]

1	2	3	4	5	6	7	8
								0°	22.5°	45°	67.5°	90°	112.5°	135°	157.5°

这样的图案化偏振体，能够使用例如非专利文献2中所记载的光子晶体而制作。

本实施方式中，具有不同的8个方位的偏振主轴色散为像素R和像素B而配置，但是通过对从这些的像素得到的辉度信息进行归一而处理，能够得到合计8点的不同的偏振角度中的辉度信息。以下，对该归一化处理的方法进行说明。

图16是表示使用图13C所示的构成的彩色偏振光取得部101而对被拍摄体进行观测的情况下所得到的辉度的偏振主轴方向依存性的曲线图。位于自然界的被拍摄体是各种各样的。可是，在假定金属以外的电介质的情况下，对被拍摄体照射照明而得到的反射光的性质，由菲涅耳(フレネル)反射理论所记述。为此，镜面反射和扩散反射的任何一种情况下，其偏振的性质，在R、G、B的波长带域中并不较大地变化。即，表示R、G、B的辉度变动的正弦函数，均是周期180°，以相等的相位变化。因此，使用(式6)的偏振度ρ的关系式，3种的辉度变动，能够用(式9)所示的式表达。

【数学式9】

$I_R\left(\mathrm{\ψ}\right)={\stackrel{\‾}{I}}_R+A_R\sin (2\mathrm{\ψ}-2B)={\stackrel{\‾}{I}}_R[1+\mathrm{\ρ}\sin (2\mathrm{\ψ}-2B)]$

$I_G\left(\mathrm{\ψ}\right)={\stackrel{\‾}{I}}_G+A_G\sin (2\mathrm{\ψ}-2B)={\stackrel{\‾}{I}}_G[1+\mathrm{\ρ}\sin (2\mathrm{\ψ}-2B)]$ (式9)

$I_B\left(\mathrm{\ψ}\right)={\stackrel{\‾}{I}}_B+A_B\sin (2\mathrm{\ψ}-2B)={\stackrel{\‾}{I}}_B[1+\mathrm{\ρ}\sin (2\mathrm{\ψ}-2B)]$

折射率η、光的入射角、和出射角，在R、G、B之间实质上是一定的，因此偏振度ρ也在R、G、B之间成为一定。为此，(式9)中的3种正弦函数的变动部分，对于R，G，B是共通的。

图16所示的曲线1101、1102、1103，分别表示R、G、B的辉度变化。另外，线(ライン)1104、1105、1106分别表示R、G、B的平均辉度。

本实施方式中，由于具有图13C所示的构成，因此在G摄像元件902没有设置图案化偏振体。为此，G的辉度变动观测值不存在，曲线1102，始终不过是从理论式求得的曲线。可是，由线1105所表示的G的辉度平均值不是理论值，而是图14所示的像素G₀₀至像素G₁₁这4个像素的辉度的平均值。该平均值，作为点1001中的辉度值而被观测。图16中的点1107，表示G的辉度平均值是实测值，因此是曲线图中记载的。

由白点所示的辉度I_R1～I_R4，表示基于图14所示的R用图案化偏振体904的4像素的观测辉度，由黑点所示的观测辉度I_R5～I_R8，表示基于B用图案化偏振体905的4像素的观测辉度。即，4方向的偏振信息，色散为R和B这两种的彩色成分。根据本发明者们的实验，若仅仅基于偏振主轴4方向的辉度测定值而决定1条的辉度变化曲线，则有时噪声变得较多，不容易以较高的精度决定辉度变化曲线。可是，如本实施方式那样，若偏振主轴使用8方向的辉度测定值，则能够降低噪声，因此能够以高精度决定辉度变化曲线。将基于针对不同色而得到的辉度测定值而决定1个辉度变化曲线的情况称作“归一化”。为了归一化，需要对测定的辉度I_R1～I_R4，I_B5～I_B8，实施(式10)所示的变换而进行校正。通过使用校正后的辉度值而进行归一化，从而决定正弦函数曲线。

【数学式10】

I_R1′＝K_rr·I_R1，I_R2′＝K_rr·I_R2，I_G3′＝K_rr·I_R3，I_G4′＝K_rr·I_R4

$K_{\mathrm{rr}}=\frac{{\stackrel{\‾}{I}}_G}{{\stackrel{\‾}{I}}_R}=\left(\frac{I_{G00}+I_{G01}+I_{G10}+I_{G11}}{I_{R1}+I_{R2}+I_{R3}+I_{R4}}\right)$ (式10)

I_B5′＝K_bb·I_B5，I_B6′＝K_bb·I_B6，I_B7′＝K_bb·I_B7，I_B8′＝K_bb·I_B8

$K_{\mathrm{bb}}=\frac{{\stackrel{\‾}{I}}_G}{{\stackrel{\‾}{I}}_B}=\left(\frac{I_{G00}+I_{G01}+I_{G10}+I_{G11}}{I_{B1}+I_{B2}+I_{B3}+I_{B4}}\right)$

图17是表示该归一化的结果。以与本来不存在的假想的G的辉度变动曲线一致的方式对R和B的辉度观测值进行校正而进行归一化。辉度I’_R1～I’_R4，I’_B5～I’_B8，位于平均辉度成为线1105的正弦函数曲线上。对于这些8点的辉度校正值，算出(式5)所示的最小2乘误差成为最小的正弦函数曲线。

这里，对于G设定假想的辉度变化曲线，并以R和B的辉度位于G的辉度变化曲线上的方式进行归一化，但是也可以按照其他色的辉度位于G以外的色的辉度曲线上的方式进行归一化。

图18示出了将B的辉度归一在R的辉度后的归一化的例。该情况下，基于以下的(式11)，从B的辉度I_B5～I_B8算出B的辉度校正值I”_B5～I”_B8。

【数学式11】

I″_B5＝L_bb·I_B5，I″_B6＝L_bb·I_B6，I″_B7＝L_bb·I_B7，I″_B8＝L_bb·I_B8

                                                                     (式11)

$L_{\mathrm{bb}}=\frac{{\stackrel{\‾}{I}}_R}{{\stackrel{\‾}{I}}_B}=\left(\frac{I_{R1}+I_{R2}+I_{R3}+I_{R4}}{I_{B1}+I_{B2}+I_{B3}+I_{B4}}\right)$

可知：R和B的辉度值，分别位于理论上周期为180度的正弦函数曲线上。为此，R和B的辉度值，分别由将同一彩色中相位(偏振主轴的方向)等间隔错开(ずれ)的4点中的辉度的观测值进行平均后的值，所赋予。即，R和B的辉度值，由以下的(式12)所表达。

【数学式12】

${\stackrel{\‾}{I}}_R=(I_{R1}+I_{R2}+I_{R3}+I_{R4})/4$ (式12)

${\stackrel{\‾}{I}}_B=(I_{B1}+I_{B2}+I_{B3}+I_{B4})/4$

另一方面，G的辉度值，在G用摄像元件902之前不存在偏振体，因此等于辉度的观测值。

根据本实施方式，对于G能够得到高分辨率图像，对于R和B，与G相比，能够得到分辨率降低到1/4后的图像。可是，对人类的视灵敏度最产生影响的G的分辨率较高，因此作为全体，能够期待人眼所感知的画质不会太劣化。

在本实施方式中，叙述了通过使用色分解棱镜提高分辨率度，但是也具有色分解中不产生如彩色马赛克滤光器那样因光吸収而引起的损失(ロス)那样的优点。粗略估计与彩色马赛克滤光器相比能够有效地使用大约3倍的光量，因此同时也实现了灵敏度提高。

图19是用于与图1中的图像处理装置相对应地对本实施方式的动作进行说明的图。

首先，最初由彩色偏振光取得部101同时实时取得彩色动态图像和偏振信息图像。在步骤S1301～S1303中，取得彩色动态图像的R、G、B的各像素中的多个偏振光辉度的观测值。步骤S1301～S1303的顺序是任意的，也可以并列地执行。对于G，以高分辨率取得实际的辉度，但是对于R和B，以低分辨率仅仅取得通过偏振体后的辉度。

由于两者的分辨率不同，因此作为偏振信息图像，在图14的位置1001中，将R和B的偏振信息归一化。在步骤S1304中，根据(式10)，使用校正系数Krr将R图像的不同的偏振光辉度归一为G。同样，在步骤S1305中，使用校正系数Kbb将B图像的不同的偏振光辉度归一为G。这些步骤S1304～S1306的顺序也是任意的，也可以并列地被执行。

在步骤S1306中，生成图14的位置1001中的偏振度图像ρ(x，y)和偏振相位图像φ(x，y)。

图1所示的彩色信息处理部102中，基于(式11)，生成与R和B的位置1001相当的低分辨率图像(步骤S1307)，并将G的高分辨率图像和像素位置归一而生成彩色辉度图像Im(x，y)(S1308)。

根据本实施方式的图像处理装置，能够解决以下所示的以往技术的课题1)、2)：

1)彩色分离特性和偏振特性的干涉；

2)彩色辉度取得和偏振信息取得的兼顾较为困难。

即，对于课题1)，按照本实施方式，能够对R、G、B的彩色分别以各波长的较窄带域独立地利用偏振特性动作的偏振元件而消除干涉。另外，对于课题2)，在本实施方式中，进行基于色分解棱镜的R、G、B分离，将G作为通常的彩色辉度像素，将R和B作为偏振像素。不足的偏振角度信息，能够通过在R和B的观测辉度值上乘以一定的校正系数进行归一化，而求取。由此，以得到实质上6种偏振角度信息的方式实现彩色辉度和偏振信息的取得的兼顾。

另外，在本实施方式中，虽然在图案化偏振体中使用光子晶体，但是偏振元件是膜型的偏振元件、线栅(ワイヤ一グリツド)型、基于其他原理的偏振元件也可以。

(第3的实施方式)

以下，对基于本发明的图像处理装置的第3的实施方式进行说明。

第2实施方式中，由于使用图案化偏振体，因此特别是R和B的分辨率与原来的摄像元件中的分辨率相比降低。本实施方式中，能够回避R和B的分辨率降低。

本实施方式的基本的构成，也在图1的方框图中示出，这里也适宜参照图1。本实施方式的图像处理装置，也与从被拍摄体实时地取得彩色图像信息同时地取得偏振图像信息，并作为两种的偏振图像(偏振度图像和偏振相位图像)而输出。通过透镜100a和光阑100b后的光，入射到彩色偏振光取得部101，从该入射光，彩色偏振光取得部101实时地取得彩色动态图像信息和偏振图像信息这两方。如后述的那样，本实施方式的彩色偏振光取得部101，具有色分解棱镜。从彩色偏振光取得部101，输出表示彩色动态图像信息和偏振信息图像信息的信号，并分别被发送到彩色信息处理部102和偏振信息处理部103。彩色信息处理部102和偏振信息处理部103，对上述信号实施各种的处理，并输出彩色图像Im、偏振度图像ρ、偏振相位图像φ。

参照图20而对本实施方式中的彩色偏振光取得部101的构成进行说明。

图20是表示本实施方式中的彩色偏振光取得部101的构成的图。该彩色偏振光取得部101，具有：色分解棱镜900和R、G、B用的偏振光束分离器1407、1408、1409。由R用的偏振光束分离器1408分离后的R光，分别入射到取得P偏振成分的摄像元件1401和取得S偏振成分的摄像元件1402。同样，被G用的偏振光束分离器1407所分离的G光，分别入射到取得P偏振成分的摄像元件1403和取得S偏振成分的摄像元件1404，被B用的偏振光束分离器1409所分离后的B光，分别入射到取得P偏振成分的摄像元件1406和取得S偏振成分的摄像元件1405。

本实施方式中，作为图案化偏振体的替代，使用偏振光束分离器而取得偏振信息，因此分辨率不降低，另外，也能够从视觉灵敏度高的G成分取得偏振信息。

另外，“偏振光束分离器”，是利用其偏振成分对入射光进行分离的滤光器，相对于入射光线的光轴以45°的角度倾斜的滤光器面，透过P偏振成分，而对S偏振成分进行反射。偏振光束分离器的动作波长域，与图案化偏振体的情况下同样，并非跨度可视光全域，而是比较狭窄。本实施方式中，如图5所示，均以在色分解棱镜所3色分解的RGB波长域中各个动作波长域相一致的方式设计R用光束分离器1407、G用光束分离器1408、和B用的光束分离器1408。

通常，偏振光束分离器中，仅仅从P成分和S成分垂直的2方向的偏振得到偏振信息。可是，本实施方式中，通过将R用的偏振光束分离器1407和B用的偏振光束分离器1409围绕各自的光轴以规定的角度旋转而固定，能够得到多个偏振角度中的偏振信息。图20所示的、R用和B用的摄像元件1407、1409的记载中，其旋转角度有些不明了，图21是用于对旋转角度更加详细地进行说明的图。图20是表示R、G、B用的各光束分离器1407～1409围绕各自的光轴旋转而固定，并且摄像元件也与此相对应而被设置的构成的图。

如图21所示的那样，R用的偏振光束分离器1407相对于G用的偏振光束分离器1408旋转+30°，B用的偏振光束分离器1409相对于G用的偏振光束分离器1408旋转-30°。为此，能够进行：G的偏振以0°和90°，R的偏振以30°和120°，B的偏振以60°和150°的角度旋转后的偏振主轴中的观测。即，利用摄像元件1401，取得Rp(R光的P偏振成分)，利用摄像元件1402取得Rs(R光的S偏振成分)。同样，利用摄像元件1403，取得Gp(G光的P偏振成分)，利用摄像元件1404取得Gs(G光的S偏振成分)。另外同样地，利用摄像元件1405，取得Bs(G光的S偏振成分)，利用摄像元件1406取得Bp(B光的P偏振成分)。

图22，是在同一的角度坐标上表示由图20和图21所示的光束分离器所观测的偏振的主轴角度的图。图22中的符号，是图20、图21的对应的摄像元件的参考符号。观测辉度的偏振的偏振主轴，从0°到180°，以Gp，Rp，Bs，Gs，Rs，Bp的顺序，以每30°旋转。

图23表示R的辉度变化曲线1701，G的辉度变化曲线1702，B的辉度变化曲线1703，以及R、G、B的平均辉度1704、1705、1706。由摄像元件1403、1404所观测的辉度I_GP、I_GS，由斜线的圆(サ一クル)所表示。另外，由摄像元件1401、1402所观测的辉度I_RP、I_RS，由白的圆所表示，由摄像元件1405、1406所观测的辉度I_BS、I_BP，由黑的圆所表示。即，与P和S偏振的相垂直的偏振主轴相关的偏振信息，色散为R、G、和B这3种的彩色成分。理论上，不能够从2点的辉度值确定1根的正弦函数曲线，因此不能够对彩色分别确定正弦函数曲线。本实施方式中，通过对针对各彩色所观测的辉度值进行归一化，而决定正弦函数曲线。为了归一化，如针对第2实施方式所说明的那样，对于所得到的6个的辉度I_RP～I_BS，实施(式13)的变换。即，使用校正系数Kr，Kb进行将R和B的辉度归一(合わせ込む)到G的辉度的校正。使用进行校正后而归一后的辉度的样本，能够实施正弦函数曲线的确定。

【数学式13】

I_RP′＝Kr·I_RP，I_RS′＝Kr·I_RS

I_GP′＝I_GP，I_GS′＝I_GS

I_BP′＝Kb·I_BP，I_BS′＝Kb·I_BS

(式13)

$\mathrm{Kr}=\frac{{\stackrel{\‾}{I}}_G}{{\stackrel{\‾}{I}}_R}=\left(\frac{I_{\mathrm{GP}}+I_{\mathrm{GS}}}{I_{\mathrm{RP}}+I_{\mathrm{RS}}}\right)$

$\mathrm{Kb}=\frac{{\stackrel{\‾}{I}}_G}{{\stackrel{\‾}{I}}_B}=\left(\frac{I_{\mathrm{GP}}+I_{\mathrm{GS}}}{I_{\mathrm{BP}}+I_{\mathrm{BS}}}\right)$

图24表示利用上述的归一化而得到的正弦函数曲线。R和B的观测值被归一化，并位于G的辉度变动曲线上。对于如此得到的6点的辉度，若通过进行(式5)的最小2乘误差最佳化而确定正弦函数曲线，则能够以较高的精度求取偏振信息。

彩色辉度的正弦函数曲线的周期，是周期180°，因此若以相同的彩色对相位90°不同的2点的观测值进行平均，则能够求取其彩色的辉度值。

【数学式14】

${\stackrel{\‾}{I}}_R=(I_{\mathrm{RP}}+I_{\mathrm{RS}})/2$

${\stackrel{\‾}{I}}_G=(I_{\mathrm{GP}}+I_{\mathrm{GS}})/2$ (式14)

${\stackrel{\‾}{I}}_B=(I_{\mathrm{BP}}+I_{\mathrm{BS}})/2$

如此在本实施方式中，由于使用偏振光束分离器，因此不仅能够回避R和B的分辨率降低，还能够消除基于偏振滤光器的光吸収的光量的损失，并能够实现灵敏度的提高。

图25是与图1中的图像处理装置相对应而对其动作进行说明的图，对于彩色偏振光取得部作成针对第3的实施方式所叙述的彩色偏振光取得部。最初由彩色偏振光取得部101对彩色动态图像和偏振信息图像同时地实时取得，其信号被发送到偏振信息处理部103，并按照以下的方式进行处理。首先，在S1901～S1903的步骤中，取得由101进行摄像的R、G、B的各图像不同的多个偏振光辉度的观测值。即，在R、G、B图像中取得各个P偏振和S偏振这样的两种偏振光辉度，因此作为图像各2枚取得R、G、B图像。从该S1901到S1903的处理顺序是任意的，也可以并列地被执行。

接下来，在S1904中，使用校正系数Kr将R图像的不同的偏振光辉度归一到G，同样在S1904中使用校正系数Kb将B图像的不同的偏振光辉度归一到G。该处理，能够使用(式13)的处理而被执行，结果按照R、G、B归一为合计6枚的图像。该S1904和S1905的处理的顺序也是任意的，并且也可以并列地被执行。接下来，在S1906中，使用这些的图像对每个像素使用(式5)而确定正弦函数，即参数A、B、C。最后，在S1907中，使用(式6)而生成偏振度图像ρ(x，y)。

彩色信息处理部102中，取得P偏振和S偏振这2枚R、G、B图像后，从这些，使用(式14)而求取R、G、B的平均辉度，而生成彩色辉度图像I(x，y)。

产业上的利用可能性

本发明的图像处理装置，能够在不特别使用其他的投光装置等的情况下取得来自被拍摄体的偏振信息，因此能够适用于各种数码照相机、数字摄像机、监视照相机等。另外，对于今后的照相机的小型化时被认为不足的图像辉度信息，能够使用从偏振信息算出的表面的形状信息等而进行加工处理。

Claims (3)

1.一种彩色偏振摄像装置，其被组合于图像处理装置而使用，所述图像处理装置具备取得偏振信息的偏振信息处理部和取得彩色辉度信息的彩色信息处理部，该彩色偏振摄像装置的特征在于，

具有：

单板彩色摄像元件，其具有彩色马赛克滤光器；以及

图案化偏振体，其在所述彩色马赛克滤光器的同一色像素内配置具有不同角度的透过偏振面的多个偏振体单位。

2.根据权利要求1所述的彩色偏振摄像装置，其特征在于，

针对同一色的像素所使用的所述偏振体单位的偏振的波长依存特性在与该色相对应的波长带域内大致相等。

3.根据权利要求1所述的彩色偏振摄像装置，其特征在于，

所述图案化偏振体对于每个像素具有透过偏振面的角度以θ°不同的多种偏振体单位，所述偏振体单位的透过偏振面的角度的种类有180/θ种。

Images