CN101569205A - 图像处理装置 - Google Patents

Abstract

本发明公开一种图像处理装置，具有：彩色偏振光取得部(101)，其包含单板彩色摄像元件，所述单板彩色摄像元件具有彩色马赛克滤光器(201)和图案化偏振体(202)，所述图案化偏振体(202)中具有不同角度的透过偏振面的多个偏振体单位被设置在所述彩色马赛克滤光器(201)内的同一色(G)的多个像素上；偏振信息处理部(103)，其用正弦函数对G像素中透过所述偏振体单位的光的辉度与偏振体单位的透过偏振面的角度之间的关系进行近似；彩色马赛克插补部(103)，其通过进行彩色辉度的插补，而得到在注目像素中没有得到的彩色辉度，从而生成彩色辉度图像。

Description

图像处理装置

技术领域

本发明涉及能够同时取得来自被拍摄体的彩色信息和偏振信息的图像处理装置。

背景技术

近年的数字摄像机的进步异常显著，预想将来移动电话的照相机中也能够得到HDTV画质。可是，若光学系统、摄像元件小型化，则产生因灵敏度、透镜衍射极限等产生的图像摄像极限的问题，因此，认为将来高精细化也会达到极限。在该情况下，在不足的被拍摄体的图像信息中添加计算机图形学的处理对于画质提高较为有效。可是，因此没有取得被拍摄体的3维形状信息、将被拍摄体照明的光源等图像生成过程中的物理信息。在形状信息的取得过程中，通常，需要使用激光、LED(Light EmittingDiode)光的有源传感器、2眼立体视(2眼ステレオ)等距离测量系统。这些除了为较大规模的系统外，还存在各种的制约。例如照相机和被拍摄体的距离充其量不过只有数m程度、对象被拍摄体被局限于固形物且明亮的扩散物体等制约。因此，在远距离的屋外场景摄影，和/或毛发、衣服较为重要的人物摄影中不能够利用。

以往，作为完全被动(受动)的被拍摄体形状检测(センシング)方式，存在利用偏振的技术。这是利用了如下原理的技术：即来自被非偏振的自然光照射了的被拍摄体的反射光(镜面反射光或扩散反射光)，由于表面的朝向、视点这样的几何学的因素而呈现出种种的部分偏振。为了该信息的取得，需要将被拍摄体各像素的部分偏振状态作为偏振图像而取得。

非专利文献1中，公开了一边对安装于照相机的透镜前的液晶型偏振板进行控制一边取得动态图像的照相机。若使用此，则能够将彩色动态图像和被拍摄体的部分偏振的信息作为图像而取得。可是，通过一边在液晶上施加电压而改变偏振板的偏振主轴一边取得数帧，能够首先取得一个的偏振信息。因此，在彩色图像和偏振图像中产生数帧的错位，不能够同时取得这些的图像。该技术，与机构地使偏振板旋转的技术等同。

非专利文献2和非专利文献3中，公开了为了同时取得辉度图像和被拍摄体的部分偏振的图像而在摄像元件上空间地配置具有多个不同的偏振主轴的图案化偏振体的技术方案。作为图案化偏振体，可以利用光子晶体、构造复折射波长板阵列。可是，这些技术中，只能够同时取得单色图像和偏振图像。

专利文献1，公开了通过在拜尔(Bayer)(ベイヤ)彩色马赛克中的G(green)像素的一部上配置偏振滤光器，而使摄像元件的一部具有偏振特性，并同时取得彩色图像和偏振信息的技术方案。在该技术中，从彩色图像取得抑制了镜面反射成分后的图像。在该技术中，由于进行了取得在不同的两个偏振像素之间存在的差这样的单纯操作，因此不能够完全取得被拍摄体的部分偏振的信息。

【专利文献1】特开2006-254331号公报

【非专利文献1】Lawrence B.Wolff：“Polarization vision：a new sensory approach to image understanding”，Image and Vision Computing 15(1997)PP.81-93，Elsevier Science B.V.

【非专利文献2】川島，佐藤，川上，長嵨，太田，青木：’图案化偏振体を用いた偏振イメ一ジングデバイス和利用技术的開発’電子信息通信学会2006年総合全国大会，No.D-11-52，P52，March 2006

【非专利文献3】菊田，岩田：’偏振图像测量系统’，O plus E，Vol.25，No.11，P1241-1247，2003

以往的技术中，不能够同时取得被拍摄体的彩色图像和被拍摄体的部分偏振的偏振图像。为此，不能够取得彩色动态图像，且不能够取得时间上不错位的形状信息。

专利文献1中，在彩色图像添加一部分偏振信息而对彩色图像进行控制，并对镜面反射进行抑制。在该技术中，如图37所示，将像素以拜尔马赛克状配置。图37中，G1和G2，均表示G像素，但是在G2的位置配置偏振体，在G1的位置不配置偏振体。另一方面，R1和B1，分别表示R(赤)和B(青)的像素，在这些的像素位置不设置偏振体。即，在该像素配置中，仅仅G2像素作为偏振像素而发挥功能。

基于专利文献1的装置的处理，将G1和G2的像素位置中的辉度差乘以固定倍数，并分别加算于R1、G1、B1这样的非偏振像素。由此，能够对彩色辉度值进行控制。在该构成中，即使取得彩色图像和偏振信息，由于在G2的像素位置设置有偏振体，因此不能够取得正确的G辉度，在插补后的彩色图像产生色错位。

此外，由于仅仅使用1种的偏振像素，因此所取得的部分偏振的信息是不完全的。结果，不清楚在各像素位置中在其中一个的方向上产生哪种程度的部分偏振。也即，不能够取得完全的偏振图像。

发明内容

本发明为了解决上述课题而提出，其目的在于提供一种能够与彩色图像一起同时取得对偏振的方向和程度进行表达的偏振图像的图像处理装置和图像处理方法。

另外，本发明的其他的目的，在于提供一种能够适当地用于上述的图像处理装置的图案化偏振体，和备有该图案化偏振体的单板摄像元件。

本发明的图像处理装置，具有：彩色偏振光取得部，其包含单板彩色摄像元件，所述单板彩色摄像元件具有彩色马赛克滤光器和图案化偏振体，所述图案化偏振体中具有不同角度的透过偏振面的多个偏振体单位被设置在所述彩色马赛克滤光器内的同一色的多个像素上；偏振信息处理部，其用正弦函数对所述同一色的多个像素中透过所述偏振体单位的光的辉度与所述偏振体单位的透过偏振面的角度之间的关系进行近似；彩色马赛克插补部，其通过进行彩色辉度的插补，而得到在注目像素中没有得到的彩色辉度，从而生成彩色辉度图像。

在优选的实施方式中，所述图案化偏振体，具有如下构成：即透过偏振面的角度相互不同的4种偏振体单位邻接而配置。

在优选的实施方式中，所述彩色马赛克滤光器，具有如下构成：即单一特定色的像素以锯齿形格子状排列，所述偏振体单位，配置于以所述锯齿形格子状排列的像素。

在优选的实施方式中，所述特定色是R(红)、G(绿)、B(蓝)中的G(绿)。

本发明的图像处理方法具有：使用在彩色像素排列中的单一特定色的多个像素设置有透过偏振面的角度不同的偏振体单位的单板彩色摄像元件，对各像素的辉度进行观测的步骤；根据在所述单一特定色的多个像素所观测到的辉度取得偏振信息的步骤；通过基于所述单一特定色和其他的2色的光的辉度，而对彩色辉度空间地进行插补，从而生成彩色辉度图像的步骤。

本发明的图像处理装置，具有：彩色偏振光取得部，其包含单板彩色摄像元件，所述单板彩色摄像元件具有彩色马赛克滤光器和图案化偏振体，所述图案化偏振体中具有不同角度的透过偏振面的多个偏振体单位被设置于所述彩色马赛克滤光器内的不同色的多个像素；偏振信息处理部，其利用正弦函数对所述不同色的多个像素中透过所述偏振体单位后的光的辉度或校正辉度与所述偏振体单位的透过偏振面的角度的关系进行近似；彩色马赛克插补部，其通过进行色辉度的插补，而得到在注目像素没有得到的彩色辉度，从而生成彩色辉度图像。

在优选的实施方式中，所述彩色马赛克滤光器具有单一特定色的像素排列为锯齿形格子状的结构，在所述排列为锯齿形格子状的像素中，透过偏振面角度相互不同的4种偏振体单位邻接而配置，并在其他色的像素配置有透过偏振面的角度相互不同的至少两种偏振体单位。

在优选的实施方式中，所述特定色是R(红)、G(绿)、B(蓝)中的G(绿)。

在优选的实施方式中，所述彩色马赛克插补部，通过对在注目像素近旁在具有透过偏振面的角度相互θ°不同的(180/θ)种类的偏振体单位的同一色像素所观测到的辉度进行平均化，而消除偏振的效果，从而对彩色辉度进行插补。

在优选的实施方式中，所述彩色马赛克插补部，基于在注目像素近旁由透过偏振面的角度相等的不同的色的像素所观测到的辉度，对彩色辉度进行推定。

在优选的实施方式中，在同一色的像素中使用的偏振体单位的偏振波长依存特性，在与该色相对应的波长带域内相互大致相等。

本发明的图像处理方法，具有：使用在彩色像素排列中的不同色的多个像素设置有透过偏振面的角度不同的偏振体单位的单板彩色摄像元件，对各像素的辉度进行观测的步骤；基于同一色且透过偏振面的角度不同的多个像素的辉度取得偏振信息的步骤；对注目像素近旁中的不同色且透过偏振面角度不同的多个像素的辉度进行校正而取得偏振信息的步骤；以及分别利用注目像素近旁中的同一色且具有透过偏振面的角度相互以θ°不同的(180/θ)种的偏振体单位的像素的辉度，和不同色且具有透过偏振面的角度相等的偏振体单位的像素，对在注目像素中没有得到的彩色辉度进行推定，从而生成彩色辉度图像的步骤。

本发明的图案化偏振体，具有与彩色像素排列的至少1色的像素对应而二维地排列的多个偏振体单位，其中，所述多个偏振体单位，包含透过偏振面的角度相互不同的偏振体单位。

在优选的实施方式中，所述多个偏振体单位以锯齿形格子状排列，并在邻接的偏振体单位之间不配置偏振体单位。

在优选的实施方式中，所述多个偏振体单位，具有如下结构：即周期性地排列由透过偏振面角度相互θ°不同的(180/θ)种的偏振体单位组成的组。

在优选的实施方式中，所述多个偏振体单位，具有：偏振体单位，其与锯齿形格子状排列的特定色的像素相对应；偏振体单位，其与所述锯齿形格子状排列的特定色的像素以外的像素相对应。

在优选的实施方式中，与所述锯齿形格子状排列的特定色的像素相对应的偏振体单位，具有如下结构：即周期性地排列由透过偏振面的角度以相互θ°不同的(180/θ)种类的偏振体单位组成的组，与所述特定色的像素以外的像素相对应的偏振体单位，具有如下结构：即周期性地排列由透过偏振面的角度不同的两种偏振体单位组成的组。

本发明的单板彩色摄像元件，备有：上述任何一种图案化偏振体；以及与各像素重合的方式配置有所述图案化偏振体的各偏振体单位的彩色马赛克滤光器。

本发明的图像处理装置，具有：彩色偏振光取得部，其具有单板彩色摄像元件，所述单板彩色摄像元件具有彩色马赛克滤光器和图案化偏振体，所述图案化偏振体中具有不同的4个以上的角度的透过偏振面的多个偏振体单位被设置于所述彩色马赛克滤光器内的同一色的多个像素；偏振信息处理部，其用正弦函数对所述同一色的多个像素中透过所述偏振体单位后的光的辉度与所述偏振体单位的透过偏振面的角度之间的关系进行近似；彩色马赛克插补部，其通过进行彩色辉度的插补，将由透过偏振面的角度相互不同、且邻接的3个的偏振体单位形成的三角形区域作为像素单位而生成彩色辉度图像。

根据本发明，将多种偏振体单位组合于彩色马赛克滤光器的像素排列而使用，因此能够同时取得与彩色辉度和偏振相关的信息，并能够进行处理。

附图说明

图1是表示本发明中的图像处理装置的构成的方框图。

图2是表示本发明中的彩色偏振光取得部的构成的图。

图3是偏振体单位的4种偏振主轴的说明图。

图4(a)和(b)是第1实施方式的彩色滤光器和图案偏振元件的排列状态的说明图。

图5(a)和(b)是第1实施方式的彩色滤光器和图案偏振元件的排列状态的其他例的说明图。

图6(a)和(b)是具有课题的彩色滤光器和图案偏振元件的排列状态的说明图。

图7是具有课题的彩色滤光器和图案偏振元件的排列状态的其他例的说明图。

图8是第1实施方式中的R(B)像素周边的图。

图9是对第1实施方式中的正弦函数状辉度变动和观测辉度点进行说明的图。

图10是第1实施方式中的G像素周边的图。

图11是对第1实施方式中的彩色马赛克插补部的动作进行说明的流程图。

图12是对第1的实施方式中的偏振信息处理部102的动作进行说明的流程图。

图13(a)是对作为球体的塑料制球被拍摄体的输入图像，(b)和(c)分别是表示与(a)的被拍摄体相对应的偏振度图像ρ(x，y)和偏振相位图像φ(x，y)的例的图像。

图14(a)和(b)是表示偏振度图像ρ(x，y)和偏振相位图像φ(x，y)的被拍摄体上的数值变化的示意图。

图15(a)到(d)，是表示向镜面反射成分图像和扩散反射成分图像的分离的例子的图。

图16(a)和(b)是表示第2实施方式中的彩色滤光器和图案化偏振体的排列的图。

图17(a)和(b)是表示第2实施方式中的彩色滤光器和图案化偏振体的其他排列的图。

图18(a)至(c)，是对第2实施方式中的图案化偏振体的波长特性进行说明的图。

图19是第2实施方式中的R(B)像素周边的图。

图20是对第2实施方式中使用偏振信息的彩色辉度推定进行说明的图。

图21是第2实施方式中的G像素周边的图。

图22是对第2实施方式中色散为彩色的偏振信息的归一化进行说明的图。

图23是对第2实施方式中的彩色马赛克插补部的动作进行说明的流程图。

图24是对第2实施方式中的偏振信息处理部的动作进行说明的流程图。

图25是表示第3实施方式中的彩色滤光器和图案化偏振体的排列的图。

图26是表示第3实施方式中的彩色滤光器和图案化偏振体的其他排列的图。

图27是第3实施方式中的R(B)像素周边的图。

图28是第3实施方式中的G像素周边的图。

图29(a)和(b)是对第4实施方式中的彩色滤光器和图案化偏振体的排列和单位像素的形状进行说明的图。

图30(a)和(b)是对第4实施方式中的彩色滤光器和图案化偏振体的排列、以及单位像素的形状进行说明的图。

图31(a)和(b)是对第4实施方式中的其他彩色滤光器和图案化偏振体的排列，以及单位像素的形状进行说明的图。

图32是对第4实施方式中的三角形区域的集合和G彩色辉度的插补方法进行说明的图。

图33是对第4实施方式中的三角形区域的集合和B彩色辉度的插补方法进行说明的图。

图34是对第4实施方式中的三角形区域的集合和R彩色辉度的插补方法进行说明的图。

图35是表示第4实施方式中的彩色马赛克插补部的处理的流程图。

图36是表示第4实施方式中的偏振信息处理部的处理的流程图。

图37是以往技术的说明图。

图中：

100    透镜

101    彩色偏振光取得部

102    偏振信息处理部

103    彩色马赛克插补部

104    彩色图像帧存储器

105    偏振度图像帧存储器

106    偏振相位图像帧存储器

107    马赛克图像帧存储器

具体实施方式

以下，参照附图对基于本发明的图像处理装置和图像处理方法的实施方式进行说明。以下所说明的本发明的优选实施方式，大概具有以下的构成。

实施方式1：彩色马赛克中，仅在G像素配置偏振体。

实施方式2：在彩色马赛克中的R、G、B的所有的像素配置偏振体。

实施方式3：仅在彩色马赛克中的G和R或G和B配置偏振体。

实施方式4：与实施方式1同样仅在G像素设置4种偏振体，但是选择邻接的3种偏振体而进行偏振信息取得和彩色插补。

(实施方式1)

图1是表示本说明书中说明的本发明的实施方式的所有共通的基本的构成的方框图。本实施方式的装置，能够从被拍摄体实时取得彩色图像信息，同时取得偏振图像信息，并作为两种类的偏振图像(偏振度图像ρ和偏振相位图像φ)而输出。偏振度图像ρ和偏振相位图像φ可以是静止、动态图像的任何一种。

通过图1所示的透镜100后的入射光，入射到彩色偏振光取得部101。彩色偏振光取得部101从该入射光同时取得彩色动态图像和偏振信息图像的数据。从彩色偏振光取得部101输出的彩色马赛克图像的数据被存储马赛克图像帧存储器107。

从马赛克图像帧存储器107顺次读出马赛克图像的数据，并发送到彩色马赛克插补部102而进行插补处理。插补处理的结果，对于一像素，存储在由RGB的3平面(プレ一ン)构成的彩色图像帧存储器104，也进行适宜读出。

从马赛克图像帧存储器107，顺次读出像素信号，并被发送到偏振信息处理部103。这些像素信号，在偏振信息处理部103中被处理，并被存储在偏振度图像帧存储器105和偏振相位图像帧存储器106。从偏振度图像帧存储器105输出偏振度图像(ρ)的数据，并从偏振相位图像帧存储器106输出偏振相位图像(φ)的数据。

图2是表示彩色偏振光取得部101的基本的构成的示意图。在图示的例中，彩色马赛克滤光器201和图案化偏振体202，在摄像元件像素203的前表面被重叠而设置。彩色马赛克滤光器201和图案化偏振体202的重叠顺序也可以是相反。入射光204透过彩色马赛克滤光器201和图案化偏振体202而到达摄像元件，并利用摄像元件像素203按照像素单位观测辉度。根据本实施方式，能够使用单板彩色摄像元件而同时取的彩色信息和偏振信息的两方。另外，图案化偏振体202，如后面详细说明的那样，由包含透过偏波面的角度相互不同的偏振体单位(セグメント)的多数的偏振体单位构成。每个的偏振体单位，典型地具有与1像素相当的大小，但是不需要偏振体单位配置在彩色马赛克滤光器201的全部的像素。

这样的图案化偏振体202，能够使用例如非专利文献2所记载的光子晶体而实现。光子晶体的情况下，具有与在其表面形成的沟平行的电场矢量(振动面)的光成为TE波(Transverse Electric Wave，电场成分相对于入射面横朝向)，垂直的电场矢量(振动面)的光成为TM波(TransverseMagnetic Wave，磁场成分相对于入射面横朝向)。并且，偏振体单位，表现出在各波长带域中TM波透过、TE波反射(不透过)的偏振特性。

图3示意性地表示由图案化偏振体202的各偏振体单位所描绘的斜线的意思。图3所示的各像素内的斜线，表示各像素上设置的微小偏振板(偏振体单位)的偏振主轴方向。这里，所谓‘偏振主轴’，是透过偏振体的光的与偏波面(透过偏波面)平行的轴。

偏振体单位透过在主轴方向具有振动面的光，并对具有与此垂直的振动面的光进行遮断。本说明书中，偏振体编号1～4的偏振体单位，分别对角度Ψ＝0°、45°、90°、135°的偏振主轴进行分配。偏振体单位的偏振透过率，依存于所利用的光的波长，因此与彩色马赛克滤光器的透过波长带相一致而设计。例如由符号(符合)‘G1’所特定的偏振体单位以在‘G’的波长带域中透过主轴方向为‘1’(即，角度Ψ＝0°)的方向的偏振的方式进行设计。

图4(a)表示本实施方式的彩色偏振光取得部101中的纵8个×横8个的合计16个的像素的配置。图4(a)的例中，在拜尔型彩色马赛克滤光器中的G像素的位置中配置‘G1’～‘G4’这4种的偏振体单位，但是在R像素和B像素的位置没有配置偏振体单位。在图4(a)中，仅仅示出了8×8＝64个的像素，但是在实际的彩色偏振光取得部101中，在与摄像面平行的面内周期性地排列与图4(a)所示的64个的像素方框(ブロツク)相同的多数的像素方框。

图4(b)中，从图4(a)所示的像素方框省略R像素和B像素的记载，并且，示出了对G像素中的偏振体单位的主轴方向进行规定的数字。即，图4(b)中的编号‘1’～‘4’分别表示配置了‘G1’～‘G4’的偏振体单位的像素。没有标出编号‘1’～‘4’的空白的像素，是R像素和B像素的其中一方，如前述的那样，由于在这些的像素不设置偏振体单位，因此能够称为’非偏振像素’。

在图4(b)所示的配置中，各自由4×4＝16个的像素构成的两个的方框(A)和，同样各自由4×4＝16个的像素构成的两个方框(B)组合在一起。该配置，具有以下的特征点。

(1-1)由编号‘1’～‘4’所表示的不同的4种的偏振像素位于组401中包含的非偏振像素的近旁4连结位置。另外，所谓‘近旁4连结位置’，表示位于边相对于中心图像邻接的十字位置的4像素。同样的情况，也适合其他任意的非偏振像素。即，对于任何的非偏振像素，不同的4种偏振像素均位于近旁4连结位置。如此，在非偏振像素的近旁存在4个不同的偏振像素，因此能够以较高的精度得到非偏振像素的位置中的偏振信息。

(1-2)像素组402～405，分别由位于中心的偏振像素和位于其近旁8连结(倾斜)位置的4个的偏振像素的合计5个的偏振像素构成。为了对这些的组402～405的各个中包含的合计5个像素附加编号，必须包含编号‘1’～‘4’的全部。另外，在5个像素中附加的编号中的1个是重复的。例如组合402中包含的5个的像素中，分别分配为编号‘1’、‘2’、‘3’、‘3’、‘4’，编号‘3’重复。这样，在偏振像素的近旁8连结位置，存在所有种类的图案化偏振体，因此偏振像素的位置中的偏振信息也能够以较高的精度得到。

(1-3)将图4(b)所示的8×8＝64个的像素配置作为1个的单位周期图案而在上下左右周期性地重复铺满，能够维持单位周期图案的边界附近中的连续性而充满(埋め尽く)摄像面的全体。

图5(a)和(b)是用于说明从其他视点说明上述像素配置的特征的图。图5(a)表示与图4的像素配置相同的像素配置，图5(b)表示具有同样的性质的其他的像素配置例。这些配置中，在相互平行的多个对角直线的各个上以不同相位交互地配置两种偏振像素。例如，在对角直线505～508，分别重复1-2-1-2-···，3-4-3-4-···，2-1-2-1···，4-3-4-3···，这样的排列。同样，在对角直线514～517中，以1-3-1-3···，2-4-2-4-···，3-1-3-1-···，4-2-4-2···的方式变化相位而排列两种像素。

图6(a)和(b)表示与图4的像素配置相类似的像素配置。其中，图6(a)和(b)所示的配置中，偏振像素的近旁8连结位置中的偏振像素的种类不足4种，因此不能够在本实施方式1中采用。即，图6(a)和(b)所示的配置，备有上述的特征点(1-1)～(1-3)中特征点(1-1)和(1-3)，但是不具有特征点(1-2)。例如在图6(a)中的偏振像素620的近旁8连结位置，不存在编号‘1’、‘4’的偏振像素，在图6(b)中的偏振像素630的近旁8连结位置，不存在编号‘1’、‘2’的偏振像素。在对角直线601～604，分别重复1-2-1-2-···，3-4-3-4-···，2-1-2-1···，3-4-3-4···，这样的排列，在3-4-6-4的排列没有相位的变化。图6(b)的配置中也同样，在对角直线610，612中的1-3-1-3的排列，没有相位的变化。

图7表示与图4的像素配置类似的其他像素配置。该配置，也是在偏振像素的近旁8连结位置偏振像素的种类不足，因此在本发明的实施中不能够采用。这里，示出了各自铺满由4×4＝16个的像素构成的方框的配置，该配置也是具有上述特征点中的特征点(1-1)和(1-3)，而不具有特征点(1-2)。例如，在图7所示的组502中，由编号‘3’所特定的偏振像素的近旁8连结位置中，仅仅存在编号‘2’、’4’这两种的偏振像素。这样的配置中，存在能够从其周围的偏振像素的适当地得到非偏振像素(白方框(マス))的偏振信息，而不能够从其周围的偏振像素适当地得到偏振像素的偏振信息的问题。

如从以上的考察所明了的那样，本实施方式中，作为兼具前述的3个特征点的像素配置，能够适当地采用图4或图5所示的例子。以下的说明中，对于采用图4所示的像素配置的情况进行。

参照图8和图10，说明使用本实施方式的图案化偏振体而取得偏振信息和彩色信息的原理和处理。图8和图10，记载了用于从图4所示的像素配置提取由4×4＝16个的像素构成的1方框，并对方框内中的像素位置进行特定的下标(x，y)。下标x和y，分别是1～4的整数，是识别方框内中的矩阵(マトリツクス)的行和列的数字。

<R像素位置的偏振信息>

以图8的R₃₃为例进行说明。图8中，R₁₁、R₁₃、R₃₁、R₃₃，分别表示像素坐标(x：横，y：纵)＝(1，1)，(1，3)，(3，1)，(3，3)中的R像素。另外，B₂₂、B₂₄、B₄₂、B₄₄，分别表示像素坐标(2，2)、(2，4)、(4，2)、(4，4)中的B像素。这些R像素和B像素是非偏振像素。

另一方面，(G1)₁₂、(G3)₁₄、(G2)₂₁、(G4)₂₃、(G3)₃₂、(G2)₃₄、(G4)₄₁、(G1)₄₃，分别表示像素坐标(1，2)的G1像素、(1，4)的G3像素、(2，1)的G2像素、(2，3)的G4像素、(3，2)的G3像素、(3，4)的G2像素、(4，1)的G4像素、(4，3)的G1像素。G1～G4像素，分别是偏振主轴的朝向不同的4种偏振像素。

图8所示的R₁₁等的记号，是对像素位置进行特定并对该像素位置中的观测辉度进行表示的记号。

如图8所示那样，在用圆包围记号的非偏振像素R₃₃的近旁4连结位置，配置偏振主轴的方向不同的4种偏振像素，即(G1)₄₃、(G2)₃₄、(G3)₃₂、(G4)₂₃。这些4个的偏振像素G均存在于离非偏振像素R₃₃空间上非常近的位置，因此基于从这些4个的偏振像素G得到的偏振信息，能够取得非偏振像素R₃₃中的偏振信息。

图9是透过具有方向不同的偏振主轴(Ψi＝0°、45°、90°、135°)的4种偏振体后的G光的辉度901～904。这里，将偏振主轴的旋转角ψ为ψ_i时的观测辉度设为I_i。其中，‘i’，为1以上N以下的整数，‘N’为样本数，图7所示的例中，由于是N＝4，因此成为i＝1，2，3，4。在图9中，示出了与4个G像素的样本(ψ_i，I_i)对应的辉度901～904。

偏振主轴的角度Ψi和辉度901～904的关系，由正弦函数所表达。表示该辉度的4点，以正好位于(ちようど乘る)在1根的正弦函数曲线上的方式进行描绘，但是正弦函数相对于表示由实际的所观测到的辉度的4点，作为基于最小二乘法的最佳值而被决定。

另外，所谓本说明书中的‘偏振信息’，是指对辉度相对于偏振主轴角度的依存性进行表示的正弦函数曲线中的振幅调制度ρ和相位信息φ的参数。

偏振体单位的相对于偏振主轴的角ψ(图3参照)的观测辉度，由以下的式所表示。

【数学式1】

I(ψ)＝A·sin2(ψ-B)+C                    (式1)

这里如图9所示的那样，A、B、C是常数，分别表示偏振辉度的变动曲线的振幅、相位、平均值。(式1)能够按照以下方式进行展开。

【数学式2】

I(ψ)＝a·sin2ψ+b·cos2ψ+C              (式2)

其中，A和B，分别由以下的(式3)和(式4)所表示。

【数学式3】

$A=\sqrt{a^2+b^2},$ $\sin (-2B)=\frac{b}{\sqrt{a^2+b^2}},$ $\cos (-2B)=\frac{a}{\sqrt{a^2+b^2}}$ (式3)

【数学式4】

$B=-\frac{1}{2}{\tan }^{-1}\left(\frac{b}{a}\right)$ (式4)

4像素的样本(ψ_iI_i)中，若求取将以下的(式5)最小化的A、B、C，则能够决定正弦函数(式1)。其中，I_i表示偏振板旋转角ψ_i时的观测辉度，N表示样本数(这里为4)。

【数学式5】

$f(a,b,C)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(I_i-a\&CenterDot;\sin 2{\mathrm{\&psi;}}_i-b\&CenterDot;\cos 2{\mathrm{\&psi;}}_i-C)}^2$ (式5)

这里，由编号‘1’～‘4’所特定的偏振体单位中的偏振主轴的角度限于ψi＝0°、45°、90°、135°的情况，如以下的(式6)～(式8)所示的那样，能够不使用最小2乘法，直接从观测辉度求得(式5)的结果。

【数学式6】

$A=\frac{1}{2}\sqrt{{(I_1-I_3)}^2+{(I_2-I_4)}^2}$ (式6)

【数学式7】

$B=\frac{1}{2}{\tan }^{-1}\left(\frac{I_1-I_3}{I_2-I_4}\right)$ (式7)

【数学式8】

$C=\frac{1}{4}(I_1+I_2+I_3+I_4)$ (式8)

根据以上的处理，确定正弦函数近似的A、B、C这3个参数。如此，能够求得表示各像素中的偏振度ρ的偏振度图像和表示各像素中的偏振相位φ的偏振相位图像。偏振度ρ表示对应像素的光偏振的程度，偏振相位φ表示采用图9的近似后的正弦函数的最大值的角度位置。该角度在图像面内，表示来自被拍摄体的反射光引起内部扩散反射的情况下的被拍摄体的表面法线所存在的面的角度。另外，关于偏振主轴的角度，0°和180°(π)是同一的。

值ρ、φ(0≤φ≤π)，分别由以下的(式9)和(式10)所算出。

【数学式9】

$\mathrm{\&rho;}=\frac{I_{\max }-I_{\min }}{I_{\max }+I_{\min }}=\frac{A}{C}$ (式9)

【数学式10】

$\mathrm{\&phi;}=\frac{\mathrm{\&pi;}}{4}+B$ (式10)

<R像素位置的彩色辉度的插补>

R像素中应该插补的彩色辉度是B和G的辉度。对于B辉度，将位于图8的R₃₃的近旁8连结位置的4点的B像素中的辉度的平均值作为B辉度的插补值。

【数学式11】

${\hat{B}}_{33}=(B_{22}+B_{24}+B_{42}+B_{44})/4$ (式11)

对于G辉度，首先采用位于R₃₃的周围4连结位置的4点G像素(偏振像素)的辉度的平均。如此，若将相对于180°成为间隔角度θ的(180/θ)种类的偏振像素的辉度全部加算而进行平均操作，则如图9的辉度901和辉度903，以及辉度902和辉度904那样，将正弦函数上相位正好相反(正反对)的两个样本点加算平均，因此与正弦函数的平均值C相等。即，基于偏振的辉度的变动的效果被抵消而计算出平均辉度，因此能够将此作为G辉度的插补值。其中，透过偏振板后的辉度与没有偏振板的情况相比较，辉度衰减到1/2，需要2倍的校正。

上述的说明中，为了简单，将偏振体单位的最大透过率T作为1(100％)。为此没有偏振体的状态下的G辉度值与透过偏振体后消除了偏振效果后的平均辉度相等。可是，对于不能够实现100％透过率的现实的偏振体单位的情况，上述的G插补值需要使用偏振体单位的最大透过率T而进行校正，G的插补值如以下那样。

【数学式12】

${\hat{G}}_{33}=[({\left(G1\right)}_{43}+{\left(G2\right)}_{34}+{\left(G3\right)}_{32}+{\left(G4\right)}_{23})/4T]\&times;2$ (式12)

另外，这些插补式是基于线形插补的插补式。作为拜尔型马赛克滤光器的插补方式，以往，存在使用辉度梯度的方法等，因此若适当利用这些方法，则能够以更高的精度进行插补。

<B像素位置的偏振信息>

以图8的B₂₂为例进行说明。在作为B像素的B₂₂的近旁，配置偏振主轴的方向不同的4个的偏振像素(G1)₁₂，(G2)₂₁，(G3)₃₂，(G4)₂₃，因此能够利用与针对R像素所说明的方法同样的方法，得到偏振信息。

<B像素位置的彩色辉度的插补>

B像素中，应该插补的彩色辉度，是R和G的辉度。对于R的辉度，如以下的(式13)所示，采用图8的B₂₂的近旁8连结位置存在的4种R像素中的观测辉度的平均，而作为R辉度的插补值。

【数学式13】

${\hat{R}}_{22}=(R_{11}+R_{13}+R_{31}+R_{33})/4$ (式13)

对于G的辉度，也可以，如以下的(式14)所示那样，采用4种偏振像素的辉度平均消除偏振效果，而作为G的插补值。

【数学式14】

${\hat{G}}_{22}=[({\left(G1\right)}_{12}+{\left(G2\right)}_{21}+{\left(G3\right)}_{32}+{\left(G4\right)}_{23})/4T]\&times;2$ (式14)

另外，这些的插补式是基于线形插补的式子，如前述的那样可以适当利用其他的公知的方法，也能够进行更高精度的插补。

<G像素位置的偏振信息>

以图10的(G4)₂₃为例进行说明。图10所示的下标的意味等，是与图8所示的相同。

在(G4)₂₃的近旁8连结位置存在偏振主轴方向不同的4种的偏振像素(G1)₁₂，(G3)₁₄，(G3)₃₂，(G2)₃₄。为此，基于这些的偏振像素中得到的观测辉度，决定图9所示的辉度曲线，也能够得到偏振信息。其中，与R、B像素的情况不同，由于包含两个的偏振像素G3，因此两个的偏振信息重复。为此，也可以使用以下的两种方法的其中之一。

作为第1方法，舍弃(G3)₁₄或(G3)₃₂的其中1个的信息而仅使用不同的4种的不同的图案化偏振体的信息。在该情况下，与其他的色像素同样，使用(式6)～(式8)而决定辉度曲线。该方法，具有计算简单优点。

第2方法是从包含2个重复点的5点的观测辉度，使用(式5)的最小2乘法而决定辉度曲线的方法。

<G像素位置的彩色辉度>

G像素是设置有偏振体单位的像素，因此该像素位置中，除了R和B的辉度的外，也需要计算原来的G辉度。

首先，根据R和B的辉度插补进行说明。如从图4所明了的那样，G像素的周边(G(き)像素的上下或左右)，必须存在R像素和B像素。这里以图10的(G4)₂₃像素为例进行说明。在(G4)₂₃的像素的上下R像素、在左右B像素各存在2像素。为此，若对两个的R像素和两个的B像素的各个进行平均化，则能够求得(G4)₂₃的像素位置中的R和B的平均辉度。即，对于G像素位置中的R辉度和B辉度，能够按照以下的(式15)所示的那样进行线形插补。

【数学式15】

${\hat{R}}_{23}=(R_{13}+R_{33})/2$ ${\hat{B}}_{23}=(B_{22}+B_{24})/2$ (式15)

接下来，对于G辉度进行说明。

在G像素的近旁4连结位置、8连结位置的任何之一均不存在能够用于插补那样的G像素。为此，使用已经插补后的R像素和B像素位置中的G插补值，而按照以下的(式16)所示的那样进行插补。

【数学式16】

${\hat{G}}_{23}=({\hat{G}}_{13}+{\hat{G}}_{22}+{\hat{G}}_{33}+{\hat{G}}_{24})/4$ (式16)

接下来，参照图11，对图1中的彩色马赛克插补部102的动作进行说明。

首先，由彩色偏振光取得部101所取得的彩色马赛克图像的数据被存储在马赛克图像帧存储器107。步骤S1101中读出马赛克图像的以下的注目像素，同时也读出近旁4连结位置的像素的辉度。

步骤S1102中，如果注目像素是R像素，则进入步骤S1103。步骤S1103中，使用(式11)(式12)而对B和G辉度进行插补，并存储在彩色图像帧存储器104的注目像素位置的B和G平面(プレ一ン)。同时，在R平面(プレ一ン)，也原样存储有该注目像素的R辉度，因此(RGB)的全彩色辉度全部被存储在彩色图像帧存储器104。

接下来，步骤S1104中，若注目像素是B像素，则进入步骤S105。步骤S1105中，使用(式13)(式14)而对R和G辉度进行插补，并存储在彩色图像帧存储器104的注目像素位置的R和G平面(プレ一ン)。同时，在B平面(プレ一ン)，原样存储该注目像素的B辉度，因此(RGB)的全彩色辉度全部存储在彩色图像帧存储器104。

接下来，在注目像素为G像素的情况下，进入步骤S1106。步骤S1106中，使用(式15)对R和B辉度进行插补而存储。这里，由于没有对周围的G辉度进行插补，因此G的插补不可能。重复以上的处理直到步骤S1107中所有像素结束。

接下来，在步骤S1108中，从结束了插补后的彩色图像帧存储器104确定G辉度未定的像素和近旁的確定了的G辉度。步骤S1109中，使用(式16)对G像素辉度进行插补，再度存储到彩色图像帧存储器104。步骤S1110中，重复进行上述的处理，直到确定了图像中包含的G像素的全部的G辉度。

以上处理的结果，具有各像素中的(RGB)辉度值的彩色辉度图像I(x，y)的数据，在彩色图像帧存储器104内生成。该I(x，y)的图像尺寸，如从作成过程所明了的那样，与彩色马赛克图像的图像尺寸相等。结果，偏振体单位存在，并且具有与使用通常的单板彩色马赛克的插补图像同一的色再现性，并且能够插补生成分辨率也不降低的全彩色图像。

接下来，参照图12对图1的偏振信息处理部103的动作进行说明。

首先，在彩色偏振光取得部101中取得的彩色马赛克图像的数据也被存储在马赛克图像帧存储器107。步骤S1201中，读出马赛克图像的下一个注目像素，同时也读出近旁4连结位置的像素辉度。在步骤S1202中注目像素是R像素的情况下，进入步骤S1203。在步骤S1203中，使用R像素的近旁4连结位置中的G1～G4像素，从(式6)～(式8)算出正弦函数参数。

接下来，在步骤S1204中，在注目像素为B像素的情况下，同样在步骤S1205中使用近旁4连结位置中的G1～G4像素而从(式6)～(式8)算出函数参数。

在注目像素为G像素的情况下，也可以，在步骤S1206中，在G像素位置基于(式6)～(式8)使用近旁G1至G4而确定正弦函数参数。或者，如前述那样，由于G3的信息两个重复，因此也可以从含有两个重复的5点的信息利用(式5)的最小2乘法而确定辉度变化曲线。

步骤S1207中，从针对各像素而决定的正弦函数参数A、B、C使用(式9)(式10)而作成偏振度ρ和偏振相位φ，并在偏振图像帧存储器105和偏振相位图像帧存储器106与该像素附加对应而存储。重复以上的处理，直到在步骤S1208中马赛克图像帧存储器的全像素都结束。

如此，在偏振度图像帧存储器105内生成偏振度图像ρ(x，y)的数据，并在偏振相位图像帧存储器106内生成偏振相位图像φ(x，y)的数据。这些图像的尺寸，如从其作成过程所明了的那样，与彩色马赛克图像的图像尺寸相等。结果，虽然仅仅在G像素配置图案化偏振体，但是能够以与全彩色图像I(x，y)相同的分辨率得到偏振信息。

另外，图11和图12的处理，互相独立，因此也可以并列地执行这些处理。另外，这些处理，可以用软件实施，也可以用硬件执行同样的处理。

本实施方式中，使用从光子晶体形成的图案化偏振体，但是也可以使用膜型的偏振元件，或线栅(ワイヤ一グリツド)型，或基于其他原理的偏振元件。

图13(a)是作为球体的塑料制球被拍摄体的输入图像。图13(b)和(c)分别表示相对于图13(a)的被拍摄体的偏振度图像ρ(x，y)和偏振相位图像φ(x，y)的例。图13(a)、(b)中，各图像中，以偏振度ρ、偏振相位φ越大，表现出越高的亮度的方式进行表示。

图14(a)和(b)是用于说明图13(b)和(c)的图像的示意图。在偏振度图像ρ(x，y)中，像素位置从照相机的视线方向和球的表面法线成为同一的中心附近向方位1401的朝向越远离，其像素的偏振度ρ也越增加。另外，在球的表面法线相对于照相机的视线方向接近于90°的球的遮蔽边缘(与背景的边界)附近中，偏振度ρ变得最大。在图14(a)中，用等高线示意性地表达了该偏振度ρ。

可知：在图14(b)的偏振相位图像φ(x，y)中，相对于表示相位＝0°的图像的天地方向的垂线，偏振相位以180°周期围绕球体的周围以反时针旋转沿箭头符号1402，1403的朝向单调增加。根据这些偏振信息图像，明确得知：偏振度ρ和偏振相位φ，与被拍摄体的表面法线的2自由度的朝向相当。即偏振信息能够对被拍摄体的形状进行推定。

另外，本实施方式中，被拍摄体的反射光中输出扩散反射成分的偏振度图像和偏振相位图像，但是这也可以是镜面反射成分，在该情况下偏振相位φ也可以是与90°不同的相位。

另外，作为偏振信息，除了所谓的(ρ，φ)组合，可以是从图5的正弦函数得到的信息，也可以是其他信息的组合，也可以是从该信息生成的图像。例如从偏振信息分离被拍摄体的扩散反射成分和镜面反射成分在应用方面是重要的。为了在本发明中执行此，也可以相对于镜面反射区域的偏振，在ρ(x，y)上乘以一定的比率而从原图像减算。图15(a)至(d)示出了如此而生成的图像的例。

(实施方式2)

以下，对基于本发明的图像处理装置的第2实施方式进行说明。

本实施方式的基本构成，如图1的方框图所示，因此这里也适合参照图1。本实施方式的图像处理装置的特征性点在于：在R、G、B的全部的像素设置构成图案化偏振体的偏振体单位。

图16(a)是表示本实施方式中的彩色偏振光取得部101的像素配置的图。与实施方式1中的像素配置的不同点在于，不仅在G像素，而且在R像素和B像素也设置偏振体单位。图16(b)是在图16(a)中增加记载将与G像素邻接的R像素或B像素中具有与G像素的偏振主轴平行的偏振主轴的像素和该G像素连接的线段组的附图。

该排列，是将拜尔型彩色马赛克滤光器作为基本的排列，在G像素的位置，配置具有由编号1～4所特定的偏振主轴方向的4种偏振像素G1～G4。G1～G4的像素配置，与图4所示的G1～G4的像素配置相同。本实施方式的像素配置与图4的像素配置不同点，在于：除了在G像素上设置偏振体单位外，将R1(偏振主轴方向＝0°)和R3(偏振主轴方向＝90°)配置在R像素的位置，并将B2(偏振主轴方向＝45°)和B4(偏振主轴方向＝135°)配置在B像素的位置。

该像素配置的特征点如下：

(2-1)对于R像素和B像素的各个，通过设置偏振主轴的角度以90°不同的两种偏振体单位，能够有选择地配置偏振的相位以90°不同的偏振像素。

(2-2)在G1～G4的全部的G像素的近旁4连结位置，存在具有与该G像素的偏振主轴的角度同一角度的偏振主轴的B像素或R像素。例如，在G2的近旁4连结位置存在R2，图16(b)所示的直线组的各个，是表示形成这样的对的两个像素的结合的线段。

(2-3)在G1～G4的全部的G像素的近旁4连结位置，存在具有由编号‘1’，‘2’，‘3’，‘4’特定的偏振主轴的偏振像素。图16的配置中，包含注目像素的5个的像素的组合被点线所围绕。在由这些的点线所围绕的5个的像素的中心位置，存在G像素，在G像素的近旁4连结位置，存在R和B偏振像素。例如在G 4像素的近旁4连结位置，存在R1、B2、R3、B4这4个偏振像素，这些4个偏振像素中的偏振主轴的角度，分别是0°、45°、90°、135°。

基于特征点(2-1)的效果，对偏振的相位以90°不同的两个的偏振像素的观测辉度进行加算平均，抵消了偏振的效果，因此能够得到通常的彩色辉度。

基于特征点(2-2)的效果，如后述那样，能够进行由(式20)、(式23)、(式24)等所表达的插补。即，对于在周围存在不同色的情况下从在相同的像素位置已经插补后的其他的彩色辉度值实施偏振信息的归一化的情况是较为重要的。

基于特征点(2-3)的效果，对于在G像素算出偏振信息算出的情况是较为重要的。

图17(a)和(b)表示具有上述特征点的其他的配置例。图17(a)和(b)所示的符号、直线组，如针对图16(a)和(b)所说明的那样。

在实际的装置中，由上述的8×8像素组成的单位周期在上下左右重复配置。

图18(a)至(c)，分别是示意性表示B、G、R偏振像素的波长特性的曲线图。各曲线图的纵轴是透过光的强度，横轴是波长。B、G、R用的偏振像素，具有在B、G、R的各波长带域中透过TM波、反射TE波(不透过)的偏振特性。TM波，是磁场成分相对于入射面的横朝向的波，TE波，是电场成分相对于入射面的横朝向的波。

在图18(a)，示出了B偏振图像的偏振特性1802、1803、B用彩色滤光器的透过特性1801。偏振特性1802、1803，分别表示TM波和TE波的透过率。

在图18(b)中，示出了G偏振图像的偏振特性1805、1806，G用的彩色滤光器的透过特性1804。偏振特性1805、1806，分别表示TM波和TE波的透过率。

在图18(c)，示出了R偏振图像的偏振特性1808、1809，R用彩色滤光器的透过特性1807。偏振特性1808、1809，分别表示TM波和TE波的透过率。

从图18(a)至(c)所示的特性，能够使用例如非专利文献2所记载的光子晶体而实现。在光子晶体的情况下，具有与在其表面形成的沟平行的电场矢量振动面的光成为TE波，具有垂直的电场矢量振动面的光成为TM波。

本实施方式中重要点在于，如图18(a)至(c)所示的那样，在B、G、R的透过波长带域的各个中使用表示偏振分离特性的图案化偏振体。

本说明书中，使用表示偏振像素中的偏振主轴的方位的4个数字‘1、2、3、4’和用于对彩色进行区别的3个符号‘R、G、B’的组合(例如‘R1’、‘G1’等)，而表示偏振像素的特性。偏振像素R1和偏振像素G1中，数字是相同的，因此偏振主轴的方向一致，但是由于RGB符号不同，因此透过的光的波长带域与不同的偏振像素相当。本实施方式中，利用图2所示的彩色滤光器201和图案化偏振体202的组合来实现这样的偏振像素的排列。

通过对具有这样的特性的偏振体单位的偏振主轴角度进行调整而排列，能够如图16、图17所示的那样，实现与彩色和偏振相关的复合马赛克排列。这样的波长特性，在第1实施方式中是重要的，但是对于RGB全部的彩色像素设置偏振体单位的第2实施方式中更为重要。

以下，作为图案化偏振体的配置图使用图19和图21，进行偏振信息和彩色信息的取得原理和处理的说明。图19和图21，均从图16的配置提取由左上4×4＝16个像素构成的方框，并将2维的像素位置(x，y)作为下标而记载。

<R像素位置的偏振信息>

以图19的(R1)₃₃为例进行说明。

图19中，(R1)₁₁、(R3)₁₃、···(B2)₂₂等，表示各个坐标(x：横，y：纵)＝(1，1)中的R1的偏振像素，(1，3)中的R3的偏振像素，(2，2)中的B2的偏振像素。这些记号，如前述那样，表示像素，并且表示数学式中在对应像素观测到的辉度大小。

在(R1)₃₃的近旁4连结位置，配置从G1到G4的同色，且偏振主轴角度不同的4种偏振像素(G1)₄₃，(G2)₃₄，(G3)₃₂，(G4)₂₃。与针对实施方式1所说明的方法同样，能够从这些偏振像素的观测辉度得到(R1)₃₃中的偏振信息。由此，不限于由(R1)₃₃所示的位置的R像素，对于存在于R1、R3的像素位置存在的全部的R像素成立。

<R像素位置的辉度>

本实施方式的R像素中设置偏振体单位，因此R像素中，不仅G和B的辉度，也有必要推定包含R的辉度的全部的彩色辉度。

能够从位于R像素的周边的G1～G4的4像素求得G辉度。在G1～G4的4像素的各个所观测的辉度，是透过偏振体单位的G光的辉度，但是G1～G4的4像素的偏振主轴角度以每45°而不同，因此通过对这些像素中的观测辉度进行平均的操作，能够消除偏振的效果而求出G光的平均辉度。

上述的说明中，为了简单，将偏振体单位的最大透过率T设为1(100％)。为此，没有偏振体的状态下的G辉度值，和透过偏振体后消除了偏振效果后的平均辉度相等。可是，在不能够实现100％透过率的现实的偏振体单位的情况下，需要使用偏振体单位的最大透过率T而校正上述的G插补值，(R1)₃₃的像素位置中的G辉度的插补值成为以下那样。

【数学式17】

${\hat{G}}_{33}=[({\left(G1\right)}_{43}+{\left(G2\right)}_{34}+{\left(G3\right)}_{32}+{\left(G4\right)}_{23})/4T]\&times;2$ (式17)

同样，对于B辉度，以90°相位不同的B2和B4的像素存在于R像素的近旁8连结位置，因此能够通过平均操作消除偏振效果而求取。这里，若使用偏振体单位中的B光的最大透过率T，则(R1)₃₃的像素位置中的B辉度的插补值，如以下的(式18)所示的那样被表达。另外，这里，假定偏振体单位的最大透过率T，对于R、G、B同一地设计，但是这对于本发明并非必须的事项。

【数学式18】

${\hat{B}}_{33}=[({\left(B2\right)}_{22}+{\left(B2\right)}_{44}+{\left(B4\right)}_{24}+{\left(B4\right)}_{42})/4T]\&times;2$ (式18)

接下来，对R辉度的插补进行说明。在R像素的周围，不存在能够用于插补的R的偏振像素。为此，本实施方式中，进行色散为彩色的偏振信息的归一化。以下，对该归一化进行说明。

图20所示的曲线2001，2002，2003分别表示R、G、B的辉度变化。曲线图的纵轴是辉度I，横轴是偏振主轴角度Ψ。如图20所示的黑点‘R1’，白点‘G1’、‘G2’、‘G3’、‘G4’，分别表示图19的(R1)₃₃和在位于其周边4个的G像素观测的辉度值。这里，假想偏振体单位的最大透过率100％的情况，线2004、2005、2006，分别表示R、G、B的平均辉度(没有偏振体的情况下所观测的辉度的平均值)。

位于自然界的被拍摄体是各种各样的。可是，在对金属以外的电介质假想设想的情况下，将照明照射到被拍摄体而得到的反射光的性质，由菲涅耳(フレネル)反射的理论所记述。为此，在镜面反射和扩散反射的任何一种的情况下，其偏振的性质，均在R、G、B的波长带域中较大地变化。即，表示R、G、B的辉度变动的正弦函数，均是周期180°，并以相等的相位变化。因此，使用(式9)的偏振度ρ的关系式，表示R、G、B的辉度变化的I_R(Ψ)，I_G(Ψ)，I_B(Ψ)，分别能够由(式19)所表达。

【数学式19】

I_R(ψ)＝I_R+A_Rsin(2ψ-2B)＝I_R[1+ρsin(2ψ-2B)]

I_G(ψ)＝I_G+A_Gsin(2ψ-2B)＝I_G[1+ρsin(2ψ-2B)]            (式19)

I_B(ψ)＝I_B+A_Bsin(2ψ-2B)＝I_B[1+ρsin(2ψ-2B)]

折射率η、光的入射角和出射角，在R、G、B之间实质上是一定的，因此偏振度ρ也在R、G、B之间为一定。为此，(式19)中的3种正弦函数的变动部分，对于R、G、B是共通的。

其结果，图20的3根偏振辉度的曲线2001、2002、2003的辉度比率，与平均辉度2004、2005、2006的比率相等。即，R1和G1的辉度比率，与R和G的辉度比率相等。

若利用上述的性质，则通过在已经求得的G的辉度插补值(由式17所确定的值)上乘算R1像素的辉度值和与R1像素邻接的G1像素的辉度值的比率，能够推定R的平均辉度(没有图案化偏振体的情况下的理想辉度)。最大透过率T的效果已经包含在G的辉度插补值中，因此(R1)₃₃的像素位置中的R辉度，能够由以下的(式20)所表达。

【数学式20】

${\hat{R}}_{33}=\frac{{\left(R1\right)}_{33}}{{\left(G1\right)}_{43}}\&times;{\hat{G}}_{33}$ (式20)

以上，虽然针对R1像素的例进行了说明，但是对于R3像素也同样地能够从周围对角度90°不同的G辉度和B辉度空间地进行插补，对于R辉度能够使用R3和G3像素的辉度比进行求取。

<B像素位置的偏振信息>

这里，以图19的(B2)₂₂为例进行说明。偏振信息，与R像素同样，能够从周边的G1～G4像素中的观测辉度得到，因此省略说明。

<B像素位置的彩色辉度>

以图19的(B2)₂₂为例进行说明。需要对R、G、B全部的彩色辉度进行求取。

首先，偏振主轴的角度90°不同的R1和R3像素存在于(B2)₂₂的周边，因此如(式21)所示，通过对在R1和R3的像素所得到的观测辉度进行平均，消除偏振的效果，而求取(B2)₂₂中的R辉度。

【数学式21】

${\hat{R}}_{22}=[({\left(R1\right)}_{11}+{\left(R1\right)}_{33}+{\left(R3\right)}_{13}+{\left(R3\right)}_{31})/4T]\&times;2$ (式21)

另外，对于G的辉度，如(式22)所示那样，能够通过对由位于周边的G1～G4的4个的像素所得到的观测辉度进行平均，消除偏振的效果而求取。

【数学式22】

${\hat{G}}_{22}=[({\left(G1\right)}_{12}+{\left(G2\right)}_{21}+{\left(G3\right)}_{32}+{\left(G4\right)}_{23})/4T]\&times;2$ (式22)

另外，在(B2)₂₂的周边，不存在能够在B辉度的空间的马赛克插补中使用的B像素。可是，根据以下的(式23)，基于G2的辉度值和已经求得的G的辉度插补值的关系，能够从B2的辉度值决定B的平均辉度(没有图案化偏振体的情况下的理想辉度)。

【数学式23】

${\hat{B}}_{22}=\frac{{\left(B2\right)}_{22}}{{\left(G2\right)}_{21}}\&times;{\hat{G}}_{22}$ (式23)

以上的事项，对于B2的例进行了说明，但是对于B4的像素也同样成立。即，对于相对于B4的周围角度是偏振主轴角度以45°和90°不同的对的G辉度、R辉度进行空间插补，对于B辉度使用B4和G4的辉度比而进行求取。

<G像素位置的偏振信息>

以图21的(G4)₂₃为例进行说明。在该像素的近旁4连结位置，存在R1、R3、B2、B4。可是，R光和B光的偏振主轴角度，分别只有2个。为了决定正弦函数参数A、B、C，需要最低3个的不同的偏振主轴角度中的观测辉度，因此对于同一彩色在仅观测2个偏振主轴角度中的辉度的情况下，不能够决定正弦函数参数。为了解决该问题，使用(式19)。

图22记载了从(G4)₂₃的近旁4连结位置中的4个的偏振像素得到的观测辉度和，理论的正弦函数曲线。两个的黑点，分别表示R1和R3的辉度，附加有斜线两个的点，分别表示(B2)₂₂和(B4)₂₄的辉度。如以下的(式24)所示那样，通过在(B2)₂₂和(B4)₂₄的观测辉度上乘算系数K，能够对辉度进行校正。

【数学式24】

(B2′)₂₂＝K×(B2)₂₂

(B4′)₂₄＝K×(B4)₂₄                            (式24)

$k=\frac{\hat{R}}{\hat{B}}=\frac{{\left(R1\right)}_{33}+{\left(R3\right)}_{13}}{{\left(B2\right)}_{22}+{\left(B4\right)}_{24}}$

该校正的结果，如图22的箭头符号2207所示那样，在R的曲线上附着(乗る)有4点R1、R3、B2’、B4’。并能够使用该4点决定正弦曲线，因此能够基于该正弦曲线得到偏振信息。

上述的事项，针对G4的例进行了说明，但是对于G1～G3完全同样成立。

<G像素位置的辉度>

以图21的(G4)₂₃为例，按照以下方式对R、G、B的彩色辉度进行插补、推定。

首先，在(G4)₂₃的上下邻接位置存在偏振主轴角度90°不同的偏振像素即R1和R3，因此通过对这些像素位置中的观测辉度进行平均，能够消除偏振效果，得到(G4)₂₃中的R辉度。这里，T是偏振体单位的最大透过率。

【数学式25】

${\hat{R}}_{23}=[({\left(R1\right)}_{33}+{\left(R3\right)}_{13})/2T]\&times;2$ (式25)

同样，关于(G4)₂₃中的B辉度，若对在与(G4)₂₃的左右邻接的B2和B4的偏振像素所观测的辉度进行平均，则能够得到消除了偏振效果后的插补值。

【数学式26】

${\hat{B}}_{23}=[({\left(B2\right)}_{22}+{\left(B4\right)}_{24})/2T]\&times;2$ (式26)

接下来，对G像素的辉度进行说明。该像素是G4像素，因此能够使用邻接的B4像素的辉度和所推定的B辉度，按照以下的(式27)所示的方式进行推定。

【数学式27】

${\hat{G}}_{23}=\frac{{\left(G4\right)}_{23}}{{\left(B4\right)}_{24}}\&times;{\hat{B}}_{23}$ (式27)

另外，这里，对于G4的例进行了说明，但是对于G1～G3的像素也基本上是同样的。即，若对R和B空间地进行插补，并对R或B的插补后的辉度乘算一定的比率，则能够对G像素的辉度进行插补。该比率，在G1的情况下是G1和R1的辉度比，在G2的情况下是G2和B2的辉度比，在G3的情况下是G3和R3的辉度比。

接下来，参照图23，对本实施方式中的彩色马赛克插补部103的动作进行说明。

最初由彩色偏振光取得部101所取得的彩色马赛克图像的数据被存储在马赛克图像帧存储器107。

步骤S2301中，读出马赛克图像帧存储器107的最初的注目像素，同时也读出近旁4连结位置的像素辉度。在步骤S2302中，若注目像素是R像素，则进入S2303。在步骤S2303中，使用(式17)、(式18)对G和B辉度进行插补。接下来，基于之前插补的G辉度在步骤S2304利用(式20)对R辉度进行插补。

接下来，在步骤S2305中，若注目像素是B像素，则进入步骤S2306。在步骤S2306中，使用(式21)(式22)而对R和G辉度进行插补，接下来基于之前插补后的G辉度，在步骤S2307使用(式23)对B辉度进行插补。

接下来，在注目像素G像素的情况下，进入步骤S2308。在步骤S2308中，使用(式25)、(式26)对R和B辉度进行插补，在步骤S2309中，基于之前插补的B辉度或R辉度，使用(式27)等对G辉度进行插补。被插补的像素的辉度值(RGB)，在步骤S2310中存储于彩色图像帧存储器104。

在步骤S2311中重复以上的处理，直到马赛克图像帧存储器107的全像素都结束。

接下来，参照图24，对本实施方式中的偏振信息处理部103的动作进行说明。最初由彩色偏振光取得部101取得的彩色马赛克图像的数据被存储在马赛克图像帧存储器107。

步骤S2401中，读出马赛克图像的下一个注目像素，同时也读出近旁4连结位置的像素辉度。在注目像素为步骤S2402中R像素的情况下，进入步骤S2403。步骤S2403中，基于R像素位置的4连结近旁的G1～G4像素的辉度，从(式6)～(式8)算出正弦函数参数。

接下来，在步骤S2404，在注目像素为B像素的情况下，也同样地在步骤S2405中基于近旁4连结位置中的G1～G4像素的辉度，从(式6)～(式8)算出正弦函数参数。在注目像素为G像素的情况下，在步骤S2406中，在G像素位置使用(式24)，使用位于近旁4连结位置的R1和R3、作为施加了校正后的辉度即的B2’和B4’这合计4样本的辉度，同样地决定(式6)～(式8)的正弦函数参数。

步骤S2407中，从针对各像素决定的正弦函数，使用(式9)(式10)而作成偏振度ρ和偏振相位φ，并在偏振图像帧存储器105和偏振相位图像帧存储器106中与该像素附加对应而存储。

重复以上的处理，直到步骤S2408中马赛克图像帧存储器的全像素结束为止。

根据以上的处理，在偏振度图像帧存储器105内，生成偏振度图像ρ(x，y)的数据，另外，在偏振相位图像帧存储器106内生成偏振相位图像φ(x，y)的数据。这些图像的尺寸，如从其作成过程所明了的那样，与彩色马赛克图像的图像尺寸等同。作为结果，具有以与全彩色图像I(x，y)相同的分辨率得到偏振信息的效果。

另外，图23和图24的处理，相互独立，因此可以并列地用软件实施，也可以用硬件执行同样的处理。

另外，本实施方式中，记载了在图案化偏振体中使用光子晶体的情况，但是如果是偏振元件，则使用膜型的偏振元件，或线栅(ワイヤ一グリツド)型、或基于其他原理的偏振元件也无妨。

(实施方式3)

以下，对基于本发明的图像处理装置的第3实施方式进行说明。

本实施方式的基本构成也在图1的方框图中示出，因此这里也适宜参照图1。本实施方式的图像处理装置的特征性点在于，仅在G和R的像素，或G和B的像素设置构成偏振体单位的偏振体单位。

图25是表示本实施方式中的彩色偏振光取得部101的像素配置。该排列，是以拜尔型彩色马赛克滤光器为基本的排列，在G像素的位置，配置具有由编号1～4所特定的偏振主轴方向的4种偏振像素G1～G4。G1～G4的像素配置，与图4所示的G1～G4的像素配置相同。本实施方式的像素配置与图4的像素配置不同的点在于，除了在G像素设置偏振体单位外，将R1(偏振主轴方向＝0°)和R3(偏振主轴方向＝90°)配置在R像素的位置。另外，在B像素的位置不配置偏振体的方面，本实施方式的配置与实施方式2的配置不同。

该像素配置的特征点，如下。

(3-1)作为R像素仅仅配置具有相位以90°不同的偏振主轴两种偏振体单位。

(3-2)在G1～G4像素的全部的近旁2连结位置，必定存在不同的两种的R像素。

基于特征点(3-1)和(3-2)的效果，是若对两者进行加算平均，则抵消偏振的效果，而成为通常的彩色辉度。

除了G像素，也可以仅在B像素设置偏振体单位。另外，作为偏振主轴角度90°不同的偏振体单位，可以使用由编号‘2’和‘4’所特定的。图26表示该情况下的配置例。

以下的说明中，对于采用图25的配置的例进行说明。

用于G像素和R像素的偏振体单位，与第2实施方式同样，具有图18所示的波长特性。

以下，作为图案化偏振体的配置图，参照图27或图28。图27和图28中，均从图25的配置抽出由左上4×4＝16个的像素构成的方框，并将2维的像素位置(x，y)作为下标而记载。

<R像素位置的偏振信息>

以图27的(R1)₃₃为例进行说明。在R像素(R1)₃₃的近旁4连结位置，配置G1到G4的同色且种类不同的4种偏振像素(G1)₄₃、(G2)₃₄、(G3)₃₂、(G4)₂₃，由此，能够与第1实施方式同样得到偏振信息。省略详细。另外，这在全部的R1、R3的像素位置成立。

<R像素位置的辉度>

R像素，是设置有偏振体单位的偏振像素，因此需要对R像素位置中的R、G、B的全部的彩色辉度进行推定。

G辉度，是G1～G4的周边4像素透过偏振体单位后的辉度，但是偏振的主轴角度以45°不同的像素存在4种，因此通过由该平均操作抵消偏振的效果而求取平均辉度。上述的G插补值需要使用偏振体单位的G光的最大透过率T而进行校正，G的插补值如下。

【数学式28】

${\hat{G}}_{33}=[({\left(G1\right)}_{43}+{\left(G2\right)}_{34}+{\left(G3\right)}_{32}+{\left(G4\right)}_{23})/4T]\&times;2$ (式28)

同样，B辉度按照以下的方式被插补。

【数学式29】

${\hat{B}}_{33}=(B_{22}+B_{24}+B_{42}+B_{44})/4$ (式29)

在R辉度周边不存在能够使用像素，因此如(式30)等，使用插补后G辉度值，以及G1和R1的比率，进行插补。

【数学式30】

${\hat{R}}_{33}=\frac{{\left(R1\right)}_{33}}{{\left(G1\right)}_{43}}\&times;{\hat{G}}_{33}=\frac{{\left(R1\right)}_{33}}{{\left(G1\right)}_{43}}\&times;[({\left(G1\right)}_{43}+{\left(G2\right)}_{34}+{\left(G3\right)}_{32+}{\left(G4\right)}_{23})/4T]\&times;2$ (式30)

<B像素位置的偏振信息>

若以图27的B₂₂为例进行说明，则对于偏振信息，与R像素同样能够利用周边的G1～G4而得到，因此省略说明。

<B像素位置的彩色辉度>

以该图28的B₂₂为例进行说明。所求取的是R、G的彩色辉度。首先，对于R，由于在周边像素内存在90°角度不同的R1和R3，因此能够用这些的平均抵消偏振的效果而求取。

【数学式31】

${\hat{R}}_{22}=[({\left(R1\right)}_{11}+{\left(R3\right)}_{13}+{\left(R3\right)}_{31}+{\left(R1\right)}_{33})/4T]\&times;2$ (式31)

另外，对于G，能够利用G1至G4的周边4像素的平均抵消偏振的效果而求取。

【数学式32】

${\hat{G}}_{22}=[({\left(G1\right)}_{12}+{\left(G2\right)}_{21}+{\left(G3\right)}_{32}+{\left(G4\right)}_{23})/4T]\&times;2$ (式32)

<G像素位置的偏振信息>

以图28的(G4)₂₃为例进行说明。在该像素的近旁4连结位置，作为偏振像素，由于仅仅存在R1、R3，因此与实施方式1同样，通过基于存在于近旁8连结位置的4种的G1～G4的像素(G1)₁₂、(G3)₁₄、(G3)₃₂、(G2)₃₄中的观测辉度决定G辉度曲线，而得到偏振信息。其中，与R、B像素的情况不同，G3的信息是2个重复，因此可以使用以下的两种方法的任何一种。

第1方法中，舍弃(G3)₁₄或(G3)₃₂的其中1个的信息，基于不同的4种图案化偏振体的信息，使用(式6)～(式8)而决定辉度曲线。

第2方法中，从含有重复的2个的5点信息，经过(式5)的最小2乘法而决定辉度曲线。

<G像素位置的彩色辉度>

G像素是设置有偏振体单位的偏振像素，因此在该位置中，需要除了R和B的辉度外也计算G的辉度。首先，对R和B的辉度插补进行说明。

如从图28所明了的那样，在G像素的周边，R像素和B像素存在上下或左右。这里，也以图28的(G4)₂₃为例进行说明。在(G4)₂₃的上下存在有R1和R3，因此能够利用平均化处理抵消偏振的效果而求取平均辉度。另外，由于在左右存在B像素，因此这也能够利用平均化处理求值。利用此，如以下的(式33)所示的那样，对R辉度和B辉度进行线形插补。

【数学式33】

${\hat{R}}_{23}=[({\left(R3\right)}_{13}+{\left(R1\right)}_{33})/2T]\&times;2$ ${\hat{B}}_{23}=(B_{22}+B_{24})/2$ (式33)

接下来，对于G辉度，能够使用已经在周围计算的G辉度，按照以下的(式34)所示的方式进行插补。

【数学式34】

${\hat{G}}_{23}=({\hat{G}}_{13}+{\hat{G}}_{22}+{\hat{G}}_{33}+{\hat{G}}_{24})/4$ (式34)

动作流程大致与第1实施方式中的动作流程相同，因此这里省略说明。

上述的各实施方式中，使用拜尔排列的彩色马赛克滤光器，但是能够在本发明中使用的彩色马赛克滤光器的排列不限于拜尔型，也可以是具有其他类型的排列的滤光器。另外，排列密度最高的像素的色不限于G(グリ一ン)，也可以是其他色。

(实施方式4)

以下，对基于本发明图像处理装置的第4实施方式进行说明。

本实施方式的基本的构成，也在图1的方框图中示出，因此这里也适宜参照图1。本实施方式的图像处理装置中的特征性点在于如下方面：即与第1实施方式同样，仅在G像素设置4种偏振体单位，但是偏振信息取得和彩色插补的单位仅选择3种偏振体而实现，结果作为三角形像素进行插补处理。

图29(a)表示本实施方式中的彩色偏振光取得部101的像素配置。该排列是以拜尔型彩色马赛克滤光器为基本的排列，在G像素的位置，配置具有由编号1～4所特定的偏振主轴方向的4种偏振像素G1～G4。G1～G4的像素配置，与图4所示的G1～G4的像素配置相同。可是，根据这样的像素配置，如在图29(b)所示那样，能够用由不同的3种偏振体单位构成的三角形像素填满平面。本实施方式中，将该三角形像素作为单位而实施偏振信息取得和彩色插补。

图30表示与图5的像素配置同一的像素配置，图31表示与图6的像素配置同一的像素配置。第1实施方式的说明中，图6的像素配置在偏振信息取得中并不适宜，但是由于本实施方式中三角形像素的各个也可以含有3种偏振体单位，因此能够采用图31所示的像素配置。

<三角形像素位置的偏振信息>

如图30和图31所示，本实施方式中的各三角形像素，具有从相邻的4种偏振体单位1～4空缺(欠落)1个的偏振像素的构成。本实施方式中，基于从位于各三角像素的定点的3种偏振体单位得到的偏振信息，求取正弦函数参数A、B、C。

首先，通过对偏振的相位处于反转关系的两个的不同的角度的2个的辉度进行加算平均而求算参数C。为此，对于空缺的各偏振像素，利用以下的表1的右栏所示的式求取参数C。

[表1]

空缺的偏振像素	C的算出方法
		1	(I2+I4)/2
2	(I1+I3)/2
		3	(I2+I4)/2
4	(I1+I3)/2

接下来，空缺的偏振像素的辉度信息，能够由如以下的表2的右栏所示的式所求取。

[表2]

空缺的偏振像素	C的算出方法
		1	I1＝2C-I3
2	I2＝2C-I4
		3	I3＝2C-I1
4	I4＝2C-I2

根据以上的计算，能够得到偏振像素的辉度I₁～I₄，因此能够使用(式6)～(式8)求取其他的参数A、B。

另外，针对每个三角形像素求取偏振度和偏振相位，是指以三角形像素为单位而构成偏振度图像帧存储器105和偏振相位帧存储器106的图像。

<G的彩色辉度的插补>

图32是对图29(a)中的三角形像素的集合进行描绘的图，三角形的各顶点(a)～(i)与G的偏振像素1、2、3、4的其中之一相对应。如图32所示的那样，本实施方式中彩色辉度插补也以三角形像素为单位而实施。

关于将由图32所示的(a)(b)(e)(d)构成的斜正方形分割为上下的三角形(a)(b)(d)的G辉度即G_u，三角形(b)(e)(d)的G辉度即G_d，若将各顶点像素中的观测辉度设为I_a～I_e，则能够由以下的(式35)和(式36)所求取。

【数学式35】

$G_U=\frac{2(I_a+I_b+I_d)}{3T}$ (式35)

【数学式36】

$G_d=\frac{2(I_b+I_d+I_e)}{3T}$ (式36)

这里，(式35)、(式36)中的常数2，是非偏振的光透过直线偏振体的情况下光量成为1/2的现象的校正项。另外，这些的式中的T表示偏振体的透过率，T是由非100％引起的校正项。

同样，能够求取图32的全部的三角形区域中的G辉度G_u，G_d。另外，这些三角形像素的各个成为具有1个辉度的单位。

<B的彩色辉度的插补>

图33是表示为了取得图32所示的三角形像素的B的彩色辉度而需要的像素的图。图33所示的9个的顶点(a)～(i)，位于三角形像素的顶点，并与G的偏振像素1、2、3、4的其中之一相对应。在图33，作为为了取得插补所必需的数据的像素位置，图示了由上述的顶点(a)～(i)构成的三角形像素的外侧的4个的顶点(α)(β)(γ)(δ)，也图示了更外侧的顶点(μ)(v)。

图33中，由点线围成的矩形区域3301～3304，表示具有B彩色辉度的正方形像素。B像素位于矩形区域3301～3304内，B像素的面积占三角形像素的面积的50％。作为上下的三角形像素也采用该值。若基于该考虑方法，图33中B值存在的区域，是附加了斜线后的区域。具体来说，是斜正方形(b)(c)(f)(e)，斜正方形(e)(h)(g)(d)，三角形(α)(b)(a)，三角形(a)(d)(β)，三角形(f)(γ)(i)，三角形(h)(i)(δ)。

B辉度空缺的三角形区域，是斜正方形(a)(b)(e)(d)和斜正方形(e)(f)(i)(h)中包含的各个2个的白区域所示的三角形。这些的三角形像素中的B彩色辉度，必须由插补生成。为此，可以通过对矩形区域3301～3304的B彩色辉度平均而进行插补。假若例如以B₃₃₀₁那样记载矩形区域3301的B辉度，则能够利用以下的(式37)计算插补值。

【数学式37】

$B=\frac{B_{3301}+B_{3302}+B_{3303}+B_{3304}}{4}$ (式37)

其中，需要将斜正方形的区域上下分割为2个三角形像素。利用B彩色辉度和G彩色辉度具有相关性，能够对三角形像素的每个利用以下的(式38)计算B彩色辉度B_u，B_d。

【数学式38】

$B_U=\frac{{2G}_u}{G_u+G_d}B$ (式38)

$B_d=\frac{2G_d}{G_u+G_d}B$

<R的彩色辉度的插补>

图34是为了取得图32所示的三角形像素的R彩色辉度而表示必要的像素的图。为了取得插补所需要的数据，也描绘了由顶点(a)～(i)构成的三角形像素的外侧的G像素位置即4个的顶点(ε)(ζ)(η)(θ)。这里，之所以存在R像素，是因为根据与先前的B像素同样的考虑方法，是附加了斜线后的区域。具体来说，是斜正方形(a)(b)(e)(d)，斜正方形(e)(f)(i)(h)的位置，三角形(ε)(c)(b)，三角形(c)(ζ)(f)，三角形(d)(g)(η)，三角形(g)(h)(θ)。不具有R像素的三角形像素的插补，与B像素的插补同样，能够由以下(式39)(式40)计算出。

【数学式39】

$R=\frac{R_{3401}+R_{3402}+R_{3403}+R_{3404}}{4}$ (式39)

【数学式40】

$R_u=\frac{2G_u}{G_u+G_d}R$ (式40)

$R_d=\frac{2G_d}{G_u+G_d}R$

根据以上的处理，对于图29所示的每个三角形像素，生产偏振度图像和偏振相位图像，乃至(RGB)全彩色辉度图像。

若将彩色偏振光取得部101的像素排列和构成由三角形像素组成的图像的像素排列重叠而显示，则三角形像素和原始(元になる)的正方形像素的面积相等。可是，在不使用三角形像素的情况下，偏振信息、G彩色辉度的插补结果所处的中心坐标位置从原来的正方格子的坐标系错位。由于担心该处理变得复杂化，本实施方式中，将偏振度图像等的输出图像作为由三角形像素构成的图像而输出。

基于本实施方式中生成的上述的偏振度图像等，将图像在显示装置显示的情况下，需要以适宜地对显示装置中的像素排列进行整合的方式对图像数据进行处理。这样的处理，可以在显示装置一侧进行，但是也可以采用本实施方式的在图像处理装置内进行后输出到外部的构成。

接下来，一边参照图1和图35，一边对本实施方式中的彩色马赛克插补部102的动作进行说明。

首先，假设将由彩色偏振光取得部101取得的彩色马赛克图像的数据存储在马赛克图像帧存储器107。步骤S3501中马赛克图像的G辉度的像素的组合(G1-G2-G3)作为1单位而被读出。步骤S3502中，使用(式35)或(式36)而对G辉度进行插补。步骤S3503中，在彩色图像帧存储器104的G平面(プレ一ン)作为三角形像素而存储G辉度。步骤S3504中，判定全部的G辉度的像素的组合(G1-G2-G3)是否结束。在没有结束的情况下，重复步骤3501～3504的处理。在步骤S3504中判定为‘结束’的情况下，进入步骤S3505。

步骤S3505中，从马赛克图像帧存储器取得B辉度和R辉度的像素。该取得也可以并行地被执行。步骤S3506中，在B像素、R像素面积上占三角形像素的50％的情况下，作为三角形像素的B像素和R像素采用该值。步骤S3507中，对于B辉度空缺的三角形像素，使用(式37)、(式38)而进行插补，对于R辉度的空缺的三角形像素使用(式39)、(式40)而进行插补。

步骤S3508中，将上述插补后的B辉度的三角形像素和R辉度的三角形像素，分别，存储于彩色图像帧存储器104的B、R平面(プレ一ン)。步骤S3509中，对于马赛克图像帧存储器中包含的全部的B辉度像素、R辉度像素，判定上述的处理是否结束。在判定为没有结束的情况下，重复步骤S3505～S3509的处理。

以上的处理的结果，在彩色图像帧存储器104内生成具有各像素的(RGB)辉度值的彩色辉度图像I(x，y)的数据。该I(x，y)的图像，处于三角形像素构造中，但是能够对使用通常的拜尔彩色马赛克的单板彩色摄像元件和具有同程度的色再现性的全彩色图像进行插补生成。

接下来，参照图1和图36对本实施方式中的偏振信息处理部103的动作进行说明。

首先，将彩色偏振光取得部101中取得的彩色马赛克图像的数据存储于马赛克图像帧存储器107。步骤S3601中，从马赛克图像帧存储器读出G辉度像素(G1-G2-G3)的组合。接下来，使用所谓的G1、G2、G3的偏振辉度，使用(式6)至(式8)和表1、表2而确定正弦函数参数A、B、C。

步骤S3603中，使用(式9)(式10)而作成偏振度ρ和偏振相位φ。

步骤S3604中，将生成的值在偏振图像帧存储器105和偏振相位图像帧存储器106存储于三角形像素的位置。

重复以上的处理，直到在步骤S3605中判定为马赛克图像帧存储器的全像素都结束。如此，在偏振度图像帧存储器105内生成偏振度图像ρ(x，y)的数据，另外在偏振相位图像帧存储器106内生成偏振相位图像φ(x，y)的数据。这些图像的尺寸，如从其生成过程所明了的那样，与彩色马赛克图像的图像构造不同，成为三角形像素的构造。作为结果，虽然仅在G像素配置图案化偏振体，但是能够以全彩色图像I(x，y)相同的像素构造和分辨率，取得偏振信息。

另外，图35和图36的处理相互独立，因此也可以并行地执行这些处理。另外，这些的处理可以用软件实施，也可以用硬件执行同样的处理。

本实施方式中，虽然使用了从光子晶体形成的图案化偏振体，但是也可以使用膜型的偏振元件、线栅(ワイヤ一グリツド)型、基于其他原理的偏振元件。

另外，实施方式4中，使用将4种偏振体单位排列于G像素的摄像装置，而取得将三角形像素作为最小单位的偏振信息和彩色辉度信息，但是排列的偏振体的种类不限于4种，也可以是5种以上。重要点在于不同的3种偏振体单位配置于三角形像素的顶点。

另外，也可以在1个图像处理装置中选择执行实施方式1的处理和实施方式4的处理。具有共通的硬件的图像处理装置，若具有进行实施方式1的处理软件和进行实施方式4的处理的软件，能够选择地执行任何一种处理。

本发明的图像处理装置和图像处理方法，能够同时取得来自被拍摄体的彩色信息和偏振信息，因此能够适用于各种数字静物(デジタルスチル)照相机、数字摄像机、监视照相机、车载搭载照相机等。

Claims (19)

1、一种图像处理装置，其特征在于，

具有：

彩色偏振光取得部，其包含单板彩色摄像元件，所述单板彩色摄像元件具有彩色马赛克滤光器和图案化偏振体，所述图案化偏振体中具有不同角度的透过偏振面的多个偏振体单位被设置在所述彩色马赛克滤光器内的同一色的多个像素上；

偏振信息处理部，其用正弦函数对所述同一色的多个像素中透过所述偏振体单位的光的辉度与所述偏振体单位的透过偏振面的角度之间的关系进行近似；

彩色马赛克插补部，其通过进行彩色辉度的插补，而得到在注目像素中没有得到的彩色辉度，从而生成彩色辉度图像。

2、根据权利要求1所述的图像处理装置，其特征在于，

所述图案化偏振体，具有如下构成：即透过偏振面的角度相互不同的4种偏振体单位邻接而配置。

3、根据权利要求1或2所述的图像处理装置，其特征在于，

所述彩色马赛克滤光器，具有如下构成：即单一特定色的像素以锯齿形格子状排列，

所述偏振体单位，配置于以所述锯齿形格子状排列的像素。

4、根据权利要求3所述的图像处理装置，其特征在于，

所述特定色是R(红)、G(绿)、B(蓝)中的G(绿)。

5、一种图像处理方法，其特征在于，

具有：

使用在彩色像素排列中的单一特定色的多个像素设置有透过偏振面的角度不同的偏振体单位的单板彩色摄像元件，对各像素的辉度进行观测的步骤；

根据在所述单一特定色的多个像素所观测到的辉度取得偏振信息的步骤；

通过基于所述单一特定色和其他的2色的光的辉度，而对彩色辉度空间地进行插补，从而生成彩色辉度图像的步骤。

6、一种图像处理装置，其特征在于，

具有：

彩色偏振光取得部，其包含单板彩色摄像元件，所述单板彩色摄像元件具有彩色马赛克滤光器和图案化偏振体，所述图案化偏振体中具有不同角度的透过偏振面的多个偏振体单位被设置于所述彩色马赛克滤光器内的不同色的多个像素；

偏振信息处理部，其利用正弦函数对所述不同色的多个像素中透过所述偏振体单位后的光的辉度或校正辉度与所述偏振体单位的透过偏振面的角度的关系进行近似；

彩色马赛克插补部，其通过进行色辉度的插补，而得到在注目像素没有得到的彩色辉度，从而生成彩色辉度图像。

7、根据权利要求6所述的图像处理装置，其特征在于，

所述彩色马赛克滤光器具有单一特定色的像素排列为锯齿形格子状的结构，

在所述排列为锯齿形格子状的像素中，透过偏振面角度相互不同的4种偏振体单位邻接而配置，并在其他色的像素配置有透过偏振面的角度相互不同的至少两种偏振体单位。

8、根据权利要求7所述的图像处理装置，其特征在于，

所述特定色是R(红)、G(绿)、B(蓝)中的G(绿)。

9、根据权利要求6所述的图像处理装置，其特征在于，

所述彩色马赛克插补部，通过对在注目像素近旁在具有(180/θ)种类的偏振体单位的同一色像素所观测到的辉度进行平均化，而消除偏振的效果，从而对彩色辉度进行插补，所述(180/θ)种类的偏振体单位，其透过偏振面的角度相互θ°不同。

10、根据权利要求6所述的图像处理装置，其特征在于，

所述彩色马赛克插补部，基于在注目像素近旁由透过偏振面的角度相等的不同的色的像素所观测到的辉度，对彩色辉度进行推定。

11、根据权利要求1或6所述的图像处理装置，其特征在于，

在同一色的像素中使用的偏振体单位的偏振波长依存特性，在与该色相对应的波长带域内相互大致相等。

12、一种图像处理方法，其特征在于，

具有：

使用在彩色像素排列中的不同色的多个像素设置有透过偏振面的角度不同的偏振体单位的单板彩色摄像元件，对各像素的辉度进行观测的步骤；

基于同一色且透过偏振面的角度不同的多个像素的辉度取得偏振信息的步骤；

对注目像素近旁中的不同色且透过偏振面角度不同的多个像素的辉度进行校正而取得偏振信息的步骤；以及

分别利用注目像素近旁中的同一色且具有透过偏振面的角度相互以θ°不同的(180/θ)种的偏振体单位的像素的辉度，和不同色且具有透过偏振面的角度相等的偏振体单位的像素，对在注目像素中没有得到的彩色辉度进行推定，从而生成彩色辉度图像的步骤。

13、一种图案化偏振体，具有与彩色像素排列的至少1色的像素对应而二维地排列的多个偏振体单位，其特征在于，

所述多个偏振体单位，包含透过偏振面的角度相互不同的偏振体单位。

14、根据权利要求13所示的图案化偏振体，其特征在于，

所述多个偏振体单位以锯齿形格子状排列，并在邻接的偏振体单位之间不配置偏振体单位。

15、根据权利要求14所示的图案化偏振体，其特征在于，

所述多个偏振体单位，具有如下结构：即周期性地排列由透过偏振面角度相互θ°不同的(180/θ)种的偏振体单位组成的组。

16、根据权利要求13所示的图案化偏振体，其特征在于，

所述多个偏振体单位，具有：

偏振体单位，其与锯齿形格子状排列的特定色的像素相对应；

偏振体单位，其与所述锯齿形格子状排列的特定色的像素以外的像素相对应。

17、根据权利要求13所示的图案化偏振体，其特征在于，

与所述锯齿形格子状排列的特定色的像素相对应的偏振体单位，具有如下结构：即周期性地排列由透过偏振面的角度以相互θ°不同的(180/θ)种类的偏振体单位组成的组，

与所述特定色的像素以外的像素相对应的偏振体单位，具有如下结构：即周期性地排列由透过偏振面的角度不同的两种偏振体单位组成的组。

18、一种单板彩色摄像元件，其特征在于，

备有：

权利要求13～17中任一项所述的图案化偏振体；以及

以与各像素重合的方式配置有所述图案化偏振体的各偏振体单位的彩色马赛克滤光器。

19、一种图像处理装置，其特征在于，

具有：

彩色偏振光取得部，其具有单板彩色摄像元件，所述单板彩色摄像元件具有彩色马赛克滤光器和图案化偏振体，所述图案化偏振体中具有不同的4个以上的角度的透过偏振面的多个偏振体单位被设置于所述彩色马赛克滤光器内的同一色的多个像素；

偏振信息处理部，其用正弦函数对所述同一色的多个像素中透过所述偏振体单位后的光的辉度与所述偏振体单位的透过偏振面的角度之间的关系进行近似；

彩色马赛克插补部，其通过进行彩色辉度的插补，将由透过偏振面的角度相互不同、且邻接的3个的偏振体单位形成的三角形区域作为像素单位而生成彩色辉度图像。

Images