CN109804621A - 图像处理装置、图像处理方法和图像拾取装置 - Google Patents

Abstract

成像单元20具有下述配置：其中布置有非偏振像素和偏振像素，并且偏振像素针对至少两个偏振方向的各个角度设置。去马赛克处理单元50根据由成像单元20生成的拍摄图像来生成非偏振图像和针对各个偏振方向的偏振分量图像。偏振信息生成单元60根据由去马赛克处理单元50生成的非偏振图像和偏振分量图像来生成指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。由于如上所述不仅使用偏振分量图像而且还使用不会发生光量减少的非偏振图像来生成偏振信息，因此可以获得与基于偏振分量信息生成偏振信息时相比更准确的偏振信息。

Description

图像处理装置、图像处理方法和图像拾取装置

技术领域

本技术涉及图像处理装置、图像处理方法和图像拾取装置以准确地获取偏振信息。

背景技术

传统地，已经公开了一种利用图像拾取单元和偏振滤波器获取偏振图像的方法。例如，专利文献1公开了一种获取多个偏振方向上的偏振图像的方法，在该方法中，在图像拾取单元的前方设置偏振滤波器并且通过转动该偏振滤波器来执行拍摄。此外，已经公开了一种利用偏振滤波器赋予像素多个偏振方向中的任何方向，通过每次进行图像拍摄来获取其中以像素为单位表示每个偏振方向的偏振分量的偏振图像的方法。

此外，存在从以像素为单位表示每个偏振方向的偏振分量的偏振图像获得的关于被拍摄对象的法线信息。例如，在非专利文献1和2中，通过将多个偏振方向中的每个偏振方向的偏振分量替换为模型表达式来计算法线信息。

引用列表

专利文献

专利文献1：国际公布第2008/099589号

非专利文献

非专利文献1：Lawrence B.Wolff和Terrance E.Boult：“Constraining ObjectFeatures Using a Polarization Reflectance Model(使用偏振反射模型来限制对象特征)”，IEEE Transaction on pattern analysis and machine intelligence(IEEE模式分析和机器智能学报)，第13卷，第7号，1991年7月

非专利文献2：Gary A.Atkinson和Edwin R.Hancock：“Recovery of surfaceorientation from diffuse polarization(从散射偏振恢复表面定向)”，IEEETransactions of Image Processing(IEEE图像处理学报)，第15卷，第6期，第1653至1664页，2006年

发明内容

本发明要解决的技术问题

同时，当非偏振光经过偏振滤波器时，通过阻挡在特定偏振方向上振荡的光、比如竖直振荡的光而仅获得水平光；然而，由于对竖直振荡光的阻挡引起了光量减少。因此，由于光量减少而导致的偏振图像中的噪声增加阻碍了从该偏振图像中准确地获取偏振信息。

因此，本技术提供了能够准确地获取偏振信息的图像处理装置、图像处理方法和图像拾取装置。

问题的解决方案

根据本技术的第一方面，

一种图像处理装置，包括：

去马赛克处理单元，被配置成根据包括非偏振像素和至少两个偏振方向的每个偏振方向的偏振像素的拍摄图像，来生成非偏振图像和每个偏振方向的偏振分量图像；以及

偏振信息生成单元，被配置成根据由所述去马赛克处理单元生成的所述非偏振图像和所述偏振分量图像，来生成指示所述拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。

在该技术中，去马赛克处理单元根据包括非偏振像素和至少两个偏振方向的每个偏振方向上的偏振像素的拍摄图像，来生成非偏振图像和每个偏振方向的偏振分量图像。在生成偏振分量图像时，例如针对偏振方向中的每个偏振方向，利用目标像素、目标像素的周边像素中的在其中偏振像素的偏振方向与目标像素的偏振方向相同的像素位置处的偏振像素、以及像素位置等于偏振像素和在目标像素的像素位置处的非偏振像素，并且利用偏振方向相同的像素位置处的非偏振像素的像素平均值与目标像素的像素位置处的非偏振像素的像素值之间的关系，相对于偏振方向相同的像素位置处的偏振像素的像素平均值来计算目标像素的像素位置处的偏振像素的像素值，从而生成每个偏振方向的偏振分量图像。

此外，设置有：像素处理单元，被配置成利用非偏振像素来生成偏振像素的像素位置处的像素，并且生成非偏振图像；以及噪声去除单元，基于目标像素的像素位置处的非偏振像素以及偏振方向与目标像素相同的周边像素的像素位置处的非偏振像素，来计算要用于平滑滤波处理的权重，该噪声去除单元利用计算出的权重、目标像素以及偏振方向与目标像素相同的周边像素的像素位置处的偏振像素来计算目标像素的像素位置处的偏振像素的像素值，噪声去除单元对目标像素的像素位置处的偏振像素执行噪声去除，并且去马赛克处理单元利用经噪声去除单元进行噪声去除之后的偏振像素来生成偏振分量图像。

偏振信息生成单元例如基于偏振方向、目标像素位置处的非偏振像素和偏振方向中的每个偏振方向的偏振像素来计算指示目标像素位置处的偏振特性的偏振模型表达式的偏振参数，并且生成指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。此外，偏振信息生成单元使用灵敏度与偏振像素相等的非偏振像素的像素值作为偏振参数。

此外，设置有法线信息生成单元，其基于由偏振信息生成单元生成的偏振信息来生成关于被拍摄对象的法线信息。

根据该技术的第二方面，

一种图像处理方法包括：由去马赛克处理单元根据包括非偏振像素和至少两个偏振方向的每个偏振方向上的偏振像素的拍摄图像来生成非偏振图像和每个偏振方向的偏振分量图像；以及

由偏振信息生成单元根据由去马赛克处理单元生成的非偏振图像和偏振分量图像来生成指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。

根据本技术的第三方面，

一种图像拾取装置，在该图像拾取装置中布置有非偏振像素和偏振像素，

偏振像素被设置在至少两个偏振方向的每个偏振方向上。

在该技术中，布置有非偏振像素和偏振像素，偏振像素被设置在每个偏振方向上，使得至少两个偏振方向相对于各自具有矩形形状的像素的边角度对称。此外，例如，非偏振像素和偏振像素被布置成使得在2×2像素区域中，非偏振像素均被设置在对角像素位置处并且其余像素是偏振像素。此外，每个偏振方向的偏振像素的颜色相同，并且非偏振像素是每个预定颜色分量的像素。

此外，设置有像素控制单元，其进行控制以使非偏振像素的灵敏度与偏振像素的灵敏度相同，例如，像素控制单元控制非偏振像素或偏振像素的曝光时间段以使非偏振像素的灵敏度与偏振像素的灵敏度相同。此外，设置有像素处理单元，并且例如，该像素处理单元利用非偏振像素进行插值处理，或者执行对偏振方向相同的相邻偏振像素的统合处理和对相邻非偏振像素的统合处理，该像素处理单元生成非偏振图像或者生成非偏振图像和偏振图像。此外，像素处理单元对颜色相同的像素执行统合处理。本发明的效果

根据该技术，由去马赛克处理单元根据包括非偏振像素和至少两个偏振方向的每个偏振方向上的偏振像素的拍摄图像生成了非偏振图像和每个偏振方向的偏振分量图像，并且根据该非偏振图像和偏振分量图像生成了指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。如上所述，不仅利用偏振分量图像而且还利用不会使光量减少的高度灵敏的非偏振图像来生成偏振信息。因此，与基于偏振分量图像生成偏振信息的情况相比，可以获取准确的偏振信息。注意，本说明书中描述的效果仅是示例性的而并非意在进行限制并且可以具有附加效果。

附图说明

图1是示出图像处理装置的实施方式的配置的图。

图2是例示图像拾取单元的第一实施方式的配置的视图。

图3是例示图像拾取单元的第一实施方式中的图像传感器的配置的视图。

图4是例示图像拾取单元的第一实施方式中的偏振滤波器的配置的视图。

图5是例示图像拾取单元的第二实施方式中的图像传感器的配置的视图。

图6是用于描述图像拾取单元的第二实施方式中的图像传感器的操作的时序图。

图7是例示图像拾取单元的第三实施方式中的偏振滤波器的配置的视图。

图8是用于描述偏振方向与矩形像素之间的位置关系的视图。

图9是示出多个偏振方向上的偏振像素被布置成彼此相邻的情况的示例的视图。

图10是用于描述图像处理单元的第一实施方式的视图。

图11是用于描述图像处理单元的第二实施方式的视图。

图12是例示噪声去除单元的实施方式的配置的视图。

图13是用于描述噪声去除单元的操作的视图。

图14是用于描述噪声去除单元的其他操作的视图。

图15是例示去马赛克处理单元的第一实施方式的视图。

图16是例示去马赛克处理单元的第二实施方式的视图。

图17是用于描述去马赛克处理单元的第二实施方式的操作的视图。

图18是用于描述被拍摄对象的形状与偏振图像之间的关系的视图。

图19是例示亮度与偏振角之间的关系的曲线图。

图20是用于描述根据非偏振图像和两个偏振方向的每个偏振方向的偏振分量图像来计算偏振模型表达式的参数的情况的曲线图。

图21是用于描述根据非偏振图像和四个偏振方向的每个偏振方向的偏振分量图像来计算偏振模型表达式的参数的情况的曲线图。

图22是示出图像处理装置的实施方式的处理的流程图。

图23是例示生成彩色图像的图像拾取单元的配置的视图。

图24是例示彩色马赛克滤波器与偏振滤波器(两个偏振方向)之间的关系的视图。

图25是例示彩色马赛克滤波器与偏振滤波器(四个偏振方向)之间的关系的视图。

图26是示出车辆控制系统的示意性配置的示例的框图。

图27是示出车外信息检测器和图像拾取单元的安装位置的示例的说明图。

具体实施方式

在下文中，将描述用于执行本技术的模式。注意，将按以下顺序给出描述。

1.图像处理装置的实施方式的配置和操作

1-1.关于图像拾取单元

1-1-1.图像拾取单元的第一实施方式

1-1-2.图像拾取单元的第二实施方式

1-1-3.图像拾取单元的第三实施方式

1-2.关于像素处理单元

1-2-1.像素处理单元的第一实施方式

1-2-2.像素处理单元的第二实施方式

1-3.关于噪声去除单元

1-4.关于去马赛克处理单元

1-4-1.去马赛克处理单元的第一实施方式

1-4-2.去马赛克处理单元的第二实施方式

1-5.偏振信息生成单元

1-5-1.偏振信息生成单元的第一操作

1-5-2.偏振信息生成单元的第二操作

1-6.法线信息生成单元

2.其他实施方式

3.应用示例

<1.图像处理装置的实施方式的配置和操作>

图1例示了图像处理装置的实施方式的配置。图像处理装置10包括图像拾取单元20、去马赛克处理单元50、偏振信息生成单元60和法线信息生成单元70。此外，图像处理装置10可以根据图像拾取单元20的配置而设置有像素处理单元30，或者可以设置有噪声去除单元40以便减少由于噪声引起的不利影响。注意，图像拾取单元20、法线信息生成单元70等可以与图像处理装置10分离。

<1-1.图像拾取单元>

图像拾取单元20包括布置的非偏振像素和偏振像素，偏振像素被设置在至少两个偏振方向的每个偏振方向上，并且该图像拾取单元20生成拍摄图像的图像信号以将该图像信号输出至像素处理单元30、噪声去除单元40或去马赛克处理单元50。

<1-1-1.图像拾取单元的第一实施方式>

根据图像拾取单元的第一实施方式，图像拾取单元根据非偏振像素和至少两个偏振分量的每个偏振分量的像素来生成拍摄图像的图像信号。图2例示了根据第一实施方式的图像拾取单元的配置。图像拾取单元20-1包括布置在图像传感器21-1的入射面上的偏振滤波器22-1。

图3例示了图像拾取单元的第一实施方式中的图像传感器的配置。图像传感器21-1包括：像素阵列单元211，其中多个像素布置为阵列、例如二维矩阵；竖直扫描电路212；以及水平扫描电路213，竖直扫描电路212和水平扫描电路213例如用于控制对像素阵列单元211的驱动。注意，为了简化描述，在像素阵列单元211中仅指示了行方向和列方向上的一些像素。

尽管未示出，但是像素阵列单元211中的像素各自具有光电二极管、电荷转移晶体管和复位晶体管。每个像素通过复位线和选择线连接至竖直扫描电路212，并且通过信号线连接至水平扫描电路213。

竖直扫描电路212通过复位线向像素的复位晶体管输出复位信号并且使该复位晶体管释放存储的电荷。此后，竖直扫描电路212通过选择线向偏振像素和非偏振像素的各个电荷转移晶体管输出读取信号，并且使信号线输出在从输出复位信号到输出读取信号的曝光时间段期间存储的电荷作为信号电流。水平扫描电路213执行将从每个像素读取的信号电流转换为数字像素信号的处理、对像素信号的增益调整处理等，并且按照竖直方向上的像素顺序将处理后的像素信号输出至像素处理单元30、噪声去除单元40或去马赛克处理单元50。此外，竖直扫描电路212和水平扫描电路213对每条线执行上述处理。

图4例示了图像拾取单元的第一实施方式中的偏振滤波器的配置。偏振滤波器22-1包括非偏振像素以及以多个偏振方向中的至少两个偏振方向设置的偏振像素。使用光子液晶、线栅等来设置具有至少两个偏振方向的偏振像素。在图4的(a)中，示出了两个偏振方向的情况，例如，两个偏振方向的偏振角α满足“α0＝0°以及α1＝45°”。在图4的(b)中，示出了四个偏振方向的情况，例如，四个偏振方向的偏振角α满足“α0＝0°，α1＝45°，α2＝90°以及α3＝135°”。此外，如图4所示，偏振滤波器22-1具有使得每个2×2像素区域包括位于两个像素位置(例如，对角线位置)的非偏振像素并且其余像素均为偏振像素的配置。

如上所述配置的图像拾取单元依序读取像素信号，并且生成包括偏振像素和非偏振像素的拍摄图像的图像信号，以将得到的信号输出至去马赛克处理单元50或者通过像素处理单元30或噪声去除单元40输出至去马赛克处理单元50。

<1-1-2.图像拾取单元的第二实施方式>

接下来将描述图像拾取单元的第二实施方式。根据图像拾取单元的第二实施方式，图像传感器与根据第一实施方式的图像传感器不同，并且像素控制单元执行使偏振像素的灵敏度与非偏振像素的灵敏度相同的控制并且生成拍摄图像的图像信号。

图5例示了根据图像拾取单元的第二实施方式的图像传感器的配置。图像传感器21-2包括：像素阵列单元211，其中多个像素布置为二维矩阵；竖直扫描电路212-2；以及水平扫描电路213。图像传感器21-2控制偏振像素和非偏振像素的曝光时间段，以使偏振像素的灵敏度与非偏振像素的灵敏度相同。注意，为了简化描述，在像素阵列单元211中仅指示了行方向和列方向上的一些像素。

尽管未示出，但是像素阵列单元211中的像素均具有光电二极管、电荷转移晶体管和复位晶体管。偏振像素中的每个通过偏振像素复位线和选择线连接至竖直扫描电路212-2，并且通过信号线连接至水平扫描电路213。此外，非偏振像素中的每个通过非偏振像素复位线和选择线连接至竖直扫描电路212-2，并且通过信号线连接至水平扫描电路213。注意，在图5中用箭头指示偏振像素中的偏振方向。

竖直扫描电路212-2通过偏振像素复位线向偏振像素的复位晶体管输出复位信号并且使该复位晶体管释放存储的电荷。此外，竖直扫描电路212-2通过非偏振像素复位线向非偏振像素的复位晶体管输出复位信号并且使该复位晶体管释放存储的电荷。此后，竖直扫描电路212通过选择线向偏振像素和非偏振像素的各个电荷转移晶体管输出读取信号，并且使信号线输出在从输出复位信号到输出读取信号的曝光时间段期间存储的电荷作为信号电流。水平扫描电路213执行将从每个像素读取的信号电流转换为数字像素信号的处理、对像素信号的增益调整处理等，并且按照竖直方向上的像素顺序将处理后的像素信号输出至去马赛克处理单元50。此外，竖直扫描电路212和水平扫描电路213对每条线执行上述处理。此外，竖直扫描电路212-2控制偏振像素或非偏振像素的曝光时间段，以使偏振像素的灵敏度与非偏振像素的灵敏度相同。例如，竖直扫描电路212作为像素控制单元进行操作，控制非偏振像素的复位信号的定时并且控制非偏振像素的曝光时间段以使非偏振像素的灵敏度等于偏振像素的灵敏度，从而实现使偏振像素的灵敏度与非偏振像素的灵敏度相同。

图6是用于描述图像拾取单元的第二实施方式中的图像传感器的操作的时序图。例如，在拍摄到非偏振被拍摄对象的情况下，图像拾取单元20-2独立地控制偏振像素复位信号的输出和非偏振像素复位信号的输出，从而调整非偏振像素的曝光时间段以使偏振像素和非偏振像素的信号电平相等。

图6的(a)指示了用于从偏振像素和非偏振像素读取与存储的电荷对应的信号的读取信号SCa。图6的(d)指示了针对偏振像素的复位信号SCbp，并且图6的(c)指示了偏振像素中的存储电荷量。在响应于复位信号SCbp而从偏振像素释放存储的电荷之后，根据从复位信号SCbp结束的时间点t1起的入射光来在偏振像素中存储电荷。

图6的(d)指示了针对非偏振像素的复位信号SCbn，并且图6的(e)指示了非偏振像素中的存储电荷量。在响应于复位信号SCbn而从非偏振像素释放存储的电荷之后，根据从复位信号SCbn结束的时间点t2起的入射光来在非偏振像素中存储电荷。

在偏振像素和非偏振像素中，读取信号SCa在时间点t3处读取存储的电荷。换言之，对于偏振像素而言，从时间点t1至t3的时间段对应于曝光时间Tep，并且对于非偏振像素而言，从时间点t2至t3的时间段对应于曝光时间Ten。因此，即使当偏振像素和非偏振像素的灵敏度不同时，根据非偏振像素相对于偏振像素的灵敏度将曝光时间Ten缩短为曝光时间Tep也会使得能够生成其中偏振像素的信号电平SLp等于非偏振像素的信号电平SLn的图像信号。

注意，图像拾取单元可以在水平扫描电路213处执行像素控制单元的操作，并且可以调整像素信号的增益以使偏振像素的灵敏度与非偏振像素的灵敏度相同。

根据这种图像拾取单元的第二实施方式，图像拾取单元20-2可以生成其中在偏振像素与非偏振像素之间没有灵敏度差异的拍摄图像的图像信号。

<1-1-3.图像拾取单元的第三实施方式>

接下来，将描述图像拾取单元的第三实施方式。在如图像拾取单元的第一实施方式所示在多个偏振方向上设置偏振像素的情况下，存在由于例如难以在精细像素处形成偏振器而导致发生灵敏度变化的可能。因此，在图像拾取单元中发生灵敏度变化的情况下，即使在例如拍摄到具有均匀亮度的非偏振对象时，偏振像素中生成的像素信号之间的信号电平也会发生变化。因此，根据图像拾取单元的第三实施方式，使用具有与第一和第二实施方式中的各个偏振滤波器的配置不同的配置的偏振滤波器来减小由于偏振方向的差异引起的灵敏度变化。

在图像拾取单元的第三实施方式中使用的偏振滤波器22-3具有使得偏振方向相对于图像传感器的矩形像素的边角度对称的配置。图7例示了图像拾取单元的第三实施方式中的偏振滤波器的配置。例如，图7的(a)所示的偏振滤波器的偏振方向具有“α0＝22.5°以及α1＝67.5°”。此外，图7的(a)所示的偏振滤波器的偏振方向具有“α0＝22.5°，α1＝67.5°，α2＝112.5°以及α3＝157.5°”。

图8是用于描述偏振方向与矩形像素之间的位置关系的视图。如图8所示，在将具有“α0＝22.5°”的偏振像素沿竖直方向或水平方向翻转时，偏振方向具有“α3＝157.5°”。此外，当参考边切换时，换言之，在“α0＝22.5°”的偏振像素旋转90°时，偏振方向具有“α2＝112.5°”，并且在将该偏振像素沿竖直方向或水平方向进一步翻转时，偏振方向具有“α1＝67.5°”。如上所述，例如，当偏振滤波器22-3具有相对于图像传感器的矩形像素的边角度对称的偏振方向时，无论偏振方向如何，在精细像素处形成偏振滤波器的难度是恒定的。因此，例如，与使用图4所示的具有不呈角度对称的偏振方向的偏振滤波器的情况相比，可以更加减小由于偏振方向的差异导致的偏振像素之间的灵敏度变化。此外，当偏振方向具有“α0＝22.5°，α1＝67.5°，α2＝112.5°以及α3＝157.5°”时，偏振方向之间的角度差可以相等(45°)。注意，偏振方向不限于上述角度，并且即使当例如偏振方向具有“10°，80°，100°和170°”时，偏振方向相对于图像传感器的矩形像素的边也呈角角度对称。在这种情况下，偏振方向之间的角度差是不定的(20°或70°)。此外，偏振方向可以具有包括对于上述角度的容许误差EA的范围，例如，“22.5°±EA、67.5°±EA、...”。

此外，在多个偏振方向上的偏振像素被布置成彼此相邻的情况下，在相邻像素之间发生串扰。因此，在相邻像素之间具有大的角度差的像素被布置成彼此间隔开。例如，如图9所示，具有90°角度差的偏振像素被布置在对角位置处。

根据这种图像拾取单元的第三实施方式，到图像传感器的像素的偏振方向之间的位置关系在多个偏振方向上是相同的。因此，例如，在精细像素处形成偏振滤波器的难度在各个偏振方向上是恒定的，由此可以减小由于偏振方向的差异引起的灵敏度变化。

<1-2.关于像素处理单元>

基于由图像拾取单元20生成的拍摄图像的图像信号，像素处理单元30生成包括非偏振像素的非偏振图像的图像信号，或者生成包括多个偏振方向上的偏振像素的偏振图像的图像信号和非偏振图像的图像信号，并且将得到的信号输出至噪声去除单元40或去马赛克处理单元50。

此外，对于像素处理单元30，如图4的(a)所示，在图像拾取单元20中的像素布置中，在每个2×2像素区域包括位于两个像素位置处的非偏振像素并且其余像素是偏振方向不同的偏振像素的情况下，并且在噪声去除单元40执行噪声去除的情况下，像素处理单元30以第一模式执行处理。此外，如图4的(b)所示，在图像拾取单元20中的像素布置中，在每个2×2像素区域包括位于两个像素位置处的非偏振像素并且其余像素是偏振方向相同的偏振像素的情况下，像素处理单元30以第二模式执行处理。

<1-2-1.像素处理单元的第一实施方式>

在图像处理单元的第一实施方式中，将描述生成非偏振图像的情况。图10是用于描述图像处理单元的第一实施方式的视图。

如图10的(a)所示，像素处理单元30包括非偏振像素插值单元31。非偏振像素插值单元31通过利用周边非偏振像素的像素值进行插值处理来计算偏振像素的像素位置处的像素值，针对该偏振像素的位置未获得非偏振像素的像素值。例如，如图10的(b)所示，在计算由双框指示的位置(x，y)处的非偏振像素值Q(x，y)时，计算具有定位在外围的非偏振像素值Q(x，y-1)、Q(x-1，y)、Q(x+1，y)和Q(x+1，y+1)的表达式(1)以计算像素值Q(x，y)。

Q(x,y)＝(Q(x,y-1)+Q(x-1,y)+Q(x+1,y)+Q(x+1,y+1))/4

···(1)

像素处理单元30利用偏振像素的每个像素位置的周边非偏振像素执行插值处理，并且如图10的(a)所示，根据由图像拾取单元20生成的拍摄图像(换言之，包括偏振像素和非偏振像素的拍摄图像)来生成非偏振图像。

<1-2-2.像素处理单元的第二实施方式>

在像素处理单元30的第二实施方式中将描述下述情况：执行对偏振方向相同的相邻偏振像素的统合处理和对相邻非偏振像素的统合处理以生成非偏振图像和偏振图像。图11是用于描述图像处理单元的第二实施方式的视图。

如图11的(a)所示，像素处理单元30包括像素值计算单元32。像素值计算单元32设置单位区域使得每个单位区域包括偏振方向相同的像素和非偏振像素，并且对于单位区域中的偏振方向相同的偏振像素和非偏振像素中的每个执行像素相加或像素平均。在例如图像拾取单元20的像素布置具有图4的(b)所示的配置的情况下，如图11的(b)所示，像素值计算单元32将每个2×2像素区域设置为包括偏振方向相同的像素和非偏振像素的单位区域。此外，如白色箭头所示，像素值计算单元32确定单位区域中包括的偏振方向相同的两个像素的像素相加值或像素平均值作为偏振图像的像素值，并且确定单位区域中包括的两个非偏振像素的像素相加值或像素平均值作为非偏振图像的像素值。注意，由于2×2的像素区域被设置为单位区域，因此由像素值计算单元32生成的包括多个偏振方向上的偏振像素的偏振图像以及非偏振图像具有1/2的分辨率。

<1-3.关于噪声去除单元>

噪声去除单元40利用非偏振图像对由图像拾取单元20生成的拍摄图像或由像素处理单元30生成的偏振图像执行噪声去除。噪声去除单元40基于目标像素(其是要去除噪声的像素)的像素位置处的非偏振像素以及偏振方向与目标像素相同的周边像素的像素位置处的非偏振像素，来计算用于平滑滤波处理的权重，然后使用计算出的权重、目标像素以及偏振方向与目标像素相同的周边像素的位置处的偏振像素来计算目标像素的像素位置处的偏振像素的像素值。噪声去除单元40将权重增加为更靠近要去除噪声的目标像素的部分并且执行平滑滤波处理，从而对拍摄图像或偏振图像的偏振像素执行噪声去除。在下文中，在噪声去除单元的实施方式中，将描述使用联合双边滤波器作为平滑滤波器的情况。

图12例示了噪声去除单元的实施方式的配置。噪声去除单元40包括权重计算单元41、乘法单元42和44以及积分单元43和45。权重计算单元41使用来自非偏振图像的目标像素和位于目标像素周边的周边像素，使用目标像素与周边像素之间的亮度差以及像素之间的距离，并且计算目标像素和周边像素的各自的权重以将这些权重输出至乘法单元42和44。

乘法单元42使用偏振图像和由权重计算单元41计算的权重，并且将目标像素和周边像素的像素值乘以权重以将相乘的结果输出至积分单元43。乘法单元44使用非偏振图像和由权重计算单元41计算的权重，并且将目标像素和周边像素的像素值乘以权重以将相乘的结果输出至积分单元45。

积分单元43对乘法单元42的相乘结果进行积分，并且将结果确定为对目标像素(由双框指示的像素)进行噪声去除之后的偏振图像的像素值。积分单元45对乘法单元44的相乘结果进行积分，并且将结果确定为对目标像素(由双框指示的像素)进行噪声去除之后的非偏振图像的像素值。

噪声去除单元40将非偏振像素中的每个像素确定为目标像素、如上所述依序计算权重、将目标像素和周边像素乘以权重并且对相乘结果进行积分，由此去除偏振图像和非偏振图像中的噪声从而将去除噪声之后的偏振图像输出至去马赛克处理单元50。

图13是用于描述噪声去除单元的操作的视图；图13的(a)示出了由图像拾取单元20生成的拍摄图像；以及图13的(b)示出了由像素处理单元30的非偏振像素插值单元31生成的非偏振图像。

噪声去除单元40的权重计算单元41将偏振方向等于目标像素位置“x，y”处的偏振像素的周边像素的位置确定为周边像素位置。因此，图中所示的像素位置“x-2，y-2”、“x，y-2”、“x+2，y-2”、“x-2，y”、“x+2，y”、“x-2，y+2”、“x，y+2”和“x+2，y+2”中的每个都是周边像素位置。

这里，在偏振图像中，目标像素的像素值具有“P(x，y)”，并且周边像素位置处的像素值具有“P(x-2，y-2)”、“P(x，y-2)”、“P(x+2，y-2)”、“P(x-2，y)”、“P(x+2，y)”、“P(x-2，y+2)”、“P(x，y+2)”和“P(x+2，y+2)”。此外，在非偏振图像中，目标像素的像素值具有“Q(x，y)”，并且周边像素位置处的像素值具有“Q(x-2，y-2)”、“Q(x，y-2)”、“Q(x+2，y-2)”、“Q(x-2，y)”、“Q(x+2，y)”、“Q(x-2，y+2)”、“Q(x，y+2)”或“Q(x+2，y+2)”。

权重计算单元41基于表达式(2)根据距目标像素的距离来计算权重S(i，j)。此外，权重计算单元41基于表达式(3)根据目标像素与周边像素之间的亮度差来计算权重T(i，j)。注意，表达式(2)中的σs和表达式(3)中的σt是标准差。此外，在图13的情况下，“i＝-2,0,2且j＝-2,0,2”。

[数学式1]

乘法单元42使用偏振图像和由权重计算单元41计算的权重并且将目标像素和周边像素的像素值乘以权重。积分单元43对乘法单元42的相乘结果进行积分，并且将得到的值确定为对目标像素进行噪声去除之后的偏振图像的像素值。换言之，乘法单元42和积分单元43计算表达式(4)以计算出对目标像素进行噪声去除之后的偏振像素值Pnr(x，y)。注意，在图13的情况下，偏振方向相同的周边像素每隔一个像素交替地定位，从而如表达式(4)所示每隔一个像素使用权重和像素值。

[数学式2]

乘法单元44使用非偏振图像和由权重计算单元41计算的权重并且将目标像素和周边像素的像素值乘以权重。积分单元45对乘法单元44的相乘结果进行积分，并且将得到的值确定为对目标像素进行噪声去除之后的非偏振图像的像素值。此外，对于非偏振像素上的噪声去除，不仅利用偏振方向相同的周边像素位置来计算权重而且还利用偏振方向不同的周边像素位置处的非偏振像素来计算权重，并且执行噪声去除。换言之，乘法单元44和积分单元45计算表达式(5)以计算出对目标像素进行噪声去除之后的非偏振像素值Qnr(x，y)。

[数学式3]

此外，在像素处理单元30中，在由像素值计算单元32生成包括多个偏振方向上的偏振像素的偏振图像以及非偏振图像的情况下，可以通过进行类似的处理来去除偏振图像和非偏振图像的每个中的噪声。图14是用于描述噪声去除单元的另一操作的视图；图14的(a)例示了由像素值计算单元32生成的偏振图像；图14的(b)例示了由像素值计算单元32生成的非偏振图像。注意，在像素值计算单元32中，2×2像素区域被设定为单位区域，因而图13中的两个像素对应于图14中的一个像素。在图14中，每隔一个像素来放置偏振方向相同的像素，从而与上述情况类似地计算权重，利用计算的权重和偏振方向相同的周边像素的像素值，并且可以计算出进行噪声去除之后的目标像素的像素值。

如上所述，噪声去除单元40去除偏振图像或者偏振图像和非偏振图像中的噪声，并且将进行噪声去除后的图像输出至去马赛克处理单元50。此外，噪声去除单元40利用高度灵敏的非偏振图像来计算将用于平滑滤波处理的权重，从而实现高度准确的对偏振像素的噪声去除。注意，平滑滤波器不限于联合双边滤波器，并且可以通过使用其他平滑滤波器、例如高斯滤波器等来根据非偏振图像计算出权重。

<1-4.关于去马赛克处理单元>

去马赛克处理单元根据图像拾取单元中的偏振像素和非偏振像素的像素布置来执行去马赛克，从而生成每个偏振方向的偏振分量图像或者偏振分量图像和非偏振图像。

<1-4-1.去马赛克处理单元的第一实施方式>

在去马赛克处理单元的第一实施方式中，将描述偏振像素和非偏振像素的像素布置对应于将描述的拜耳排列的情况。

图15例示了去马赛克处理单元的第一实施方式。去马赛克处理单元包括拜耳对应处理单元51。例如，如图4的(a)所示，在图像拾取单元20中的像素布置中，在每个2×2像素区域包括位于两个对角线位置的非偏振像素并且其余像素为偏振方向不同的偏振像素的情况下，像素布置对应于拜耳排列。换言之，每个非偏振像素对应于拜耳排列中的绿色像素，满足“α0＝0°”的偏振方向上的偏振像素对应于拜耳排列中的红色像素(或蓝色像素)，并且满足“α1＝45°”的偏振方向上的偏振像素对应于拜耳排列中的蓝色像素(或红色像素)。因此，拜耳对应处理单元51执行根据拜耳排列中的红色像素、蓝色像素和绿色像素生成每种颜色的图像信号的处理，该处理类似于例如在“B.Gunturk，J.Glotzbach，Y.Altunbasak，R.schafer和R.Mersereau，“Demosaicing:Color filter arrayinterpolation(颜色滤波器阵列插值),”，IEEE信号处理杂志，第22卷第1期，2005年1月”中公开的处理。拜耳对应处理单元51执行这样的处理并且基于从图像拾取单元20提供的图像信号或者从图像拾取单元20经过像素处理单元30或噪声去除单元40提供的图像信号，生成每个偏振方向的偏振分量图像和非偏振图像的各个图像信号。注意，可以使用由像素处理单元30生成的非偏振图像作为上述非偏振图像。

<1-4-2.去马赛克处理单元的第二实施方式>

在去马赛克处理单元的第二实施方式中，将描述偏振像素和非偏振像素的布置不同于拜耳排列的情况。去马赛克处理单元使用从像素处理单元30提供的图像信号或者从像素处理单元30经过噪声去除单元40提供的图像信号来执行去马赛克。此外，根据去马赛克处理单元的第二实施方式，目标像素、目标像素的周边像素中在偏振方向与目标像素相同的像素位置处的偏振像素、以及像素位置与偏振像素相同和处于目标像素的像素位置处的非偏振像素被用于计算每个偏振方向的目标像素的像素位置处的偏振像素的像素值。

在与偏振像素相比具有更高灵敏度的非偏振像素的像素间隔等于或小于偏振方向相同的像素间隔的情况下，根据非偏振像素生成的非偏振图像与根据偏振方向相同的像素生成的偏振分量图像相比具有更高的分辨率。因此，去马赛克处理单元假设非偏振像素与偏振像素之间存在正相关，并且根据非偏振图像插入偏振分量图像中缺失的高频分量，从而获得高分辨率的偏振分量图像。例如，去马赛克处理单元利用偏振方向相同的像素位置处的非偏振像素的像素平均值与目标像素的像素位置处的非偏振像素的像素值之间的关系，相对于偏振方向相同的像素位置处的偏振像素的像素平均值来计算目标像素的像素位置处的偏振像素的像素值。注意，在去马赛克处理单元的第二实施方式中，将描述偏振方向具有四个方向的情况。

图16例示了去马赛克处理单元的第二实施方式。去马赛克处理单元包括偏振像素平均处理单元52、非偏振像素平均处理单元53、中心像素获取单元54和相关处理单元55。

偏振像素平均处理单元52利用目标像素和位于目标像素周边的周边像素，计算相对于每个偏振方向的目标像素的像素平均值，然后将得到的值输出至相关处理单元55。

与偏振像素平均处理单元52计算每个偏振方向的像素平均值的情况相同，非偏振像素平均处理单元53使用目标像素和位于目标像素周边的周边像素，根据像素位置中的像素来计算像素平均值，然后将得到的值输出至相关处理单元55。

中心像素获取单元54从非偏振图像中提取目标像素的图像值以将所提取的图像值输出至相关处理单元55。

相关处理单元55根据由偏振像素平均处理单元52计算的每个偏振方向的像素平均值、由非偏振像素平均处理单元53针对每个偏振方向的像素平均值计算的像素平均值，以及由中心像素获取单元54提取的目标像素的像素值，计算目标像素的每个偏振方向的像素值。

将参照图17描述去马赛克处理单元的第二实施方式的操作。图17的(a)示出了偏振图像，并且图17的(b)示出了非偏振图像。去马赛克处理单元的偏振像素平均处理单元52使用偏振图像中的目标像素位置“x，y”和周边像素位置“x-1，y-1”、“x，y-1”、“x+1，y-1”、“x-1，y”、“x+1，y”、“x-1，y+1”、“x，y+1”和“x+1，y+1”处的像素，并且计算每个偏振方向的像素平均值。这里，在偏振图像中，目标像素位置处的像素值具有“P(x，y)”，并且周边像素位置处的像素值具有“P(x-1，y-1)”、“P(x，y-1)”、“P(x+1，y-1)”、“P(x-1，y)”、“P(x+1，y)”、“P(x-1，y+1)”、“P(x，y+1)”和“P(x+1，y+1)”。此外，在非偏振图像中，目标像素位置处的像素值具有“Q(x，y)”，并且周边像素位置处的像素值具有“Q(x-1，y-1)”、“Q(x，y-1)”、“Q(x+1，y-1)”、“Q(x-1，y)”、“Q(x+1，y)”、“Q(x-1，y+1)”、“Q(x，y+1)”和“Q(x+1，y+1)”。

偏振像素平均处理单元52例如基于表达式(6)计算在目标像素位置“x，y”处的“α0＝0°”的偏振方向上的像素平均值mP0(x，y)。类似地，偏振像素平均处理单元52基于表达式(7)计算在目标像素位置“x，y”处的“α1＝45°”的偏振方向上的像素平均值mP1(x，y)。此外，偏振像素平均处理单元52基于表达式(8)计算在目标像素位置“x，y”处的“α2＝90°”的偏振方向上的像素平均值mP2(x，y)。此外，偏振像素平均处理单元52基于表达式(9)计算在目标像素位置“x，y”处的“α3＝135°”的偏振方向上的像素平均值mP3(x，y)。

mP0(x，y)＝P(x，y) ···(6)

mP1(x，y)＝(P(x-1，y)+P(x+1，y))/2 ···(7)

mP2(x，y)＝(P(x-1，y-1)+P(x+1，y-1)+P(x-1，y+1)+P(x+1，y+1))/4

···(8)

mP3(x，y)＝(P(x，y-1)+P(x，y+1))/2 ···(9)

与计算每个偏振方向的像素平均值的情况相同，非偏振像素平均处理单元53使用非偏振图像中的目标像素和目标像素的周边像素并且根据像素位置处的像素值来计算像素平均值。例如，非偏振像素平均处理单元53基于表达式(10)相对于在目标像素位置“x，y”处的“α0＝0°”的偏振方向上的像素平均值来计算像素平均值mQ0(x，y)。类似地，非偏振像素平均处理单元53基于表达式(11)相对于“α1＝45°”的偏振方向上的像素平均值来计算像素平均值mQ1(x，y)。此外，非偏振像素平均处理单元53基于表达式(12)相对于“α2＝90°”的偏振方向上的像素平均值来计算像素平均值mQ2(x，y)。此外，非偏振像素平均处理单元53基于表达式(13)相对于“α3＝135°”的偏振方向上的像素平均值来计算像素平均值mQ3(x，y)。

mQ0(x，y)＝Q(x，y) ···(10)

mQ1(x，y)＝(Q(x-1，y)+Q(x+1，y))/2 ···(11)

mQ2(x，y)＝(Q(x-1，y-1)+Q(x+1，y-1)+Q(x-1，y+1)+Q(x+1，y+1))/4

···(12)

mQ3(x，y)＝(Q(x，y-1)+Q(x，y+1))/2 ···(13)

相关处理单元55确定偏振像素与非偏振像素之间存在正相关，并且根据从偏振图像计算的像素平均值、从非偏振图像计算的像素平均值以及非偏振图像中的目标像素的像素值来计算目标像素位置处的每个偏振方向的像素值。

例如，相关处理单元55基于表达式(14)计算在目标像素位置“x，y”处的“α0＝0°”的偏振方向上的偏振像素的像素值P0(x，y)。类似地，相关处理单元55基于表达式(15)计算在目标像素位置“x，y”处的“α1＝45°”的偏振方向上的偏振像素的像素值P1(x，y)。此外，相关处理单元55基于表达式(16)计算在目标像素位置“x，y”处的“α2＝90°”的偏振方向上的偏振像素的像素值P2(x，y)。此外，相关处理单元55基于表达式(17)计算在目标像素位置“x，y”处的“α3＝135°”的偏振方向上的偏振像素的像素值P3(x，y)。注意，相关处理单元55输出像素值Q(x，y)作为非偏振图像的目标像素的像素值。

P0(x，y)＝mP0(x，y)·Q(x，y)/mQ0(x，y) ···(14)

P1(x，y)＝mP1(x，y)·Q(x，y)/mQ1(x，y) ···(15)

P2(x，y)＝mP2(x，y)·Q(x，y)/mQ2(x，y) ···(16)

P3(x，y)＝mP3(x，y·Q(x，y)/mQ3(x，y) ···(17)

去马赛克处理单元使用偏振图像的每个像素作为目标像素来执行上述处理，从而生成每个偏振方向的偏振分量图像。此外，在去马赛克处理单元的第二实施方式中，非偏振像素的信号分量通过像素平均值被归一化并被叠加在偏振像素上。因此，例如，可以改善诸如由于偏振像素的频率限制引起的折叠之类的问题，并且可以在每个偏振方向上生成具有与非偏振图像的分辨率相等的分辨率的偏振分量图像。注意，在没有设置像素处理单元30的情况下，去马赛克处理单元50执行由像素处理单元30执行的处理，并且生成其中对应于拜耳排列的像素布置包括偏振像素和非偏振像素的图像或者非偏振图像。

＜1-5.偏振信息生成单元＞

偏振信息生成单元60使用由去马赛克处理单元50生成的偏振分量图像和非偏振图像来生成偏振信息。

这里，将利用图18描述被拍摄对象与偏振图像之间的关系。例如，如图18所示，光源LT用于照射被拍摄对象OB，并且摄像装置CM通过偏振板PL拍摄被拍摄对象OB。在这种情况下，对于拍摄图像而言，被拍摄对象OB的亮度根据偏振板PL的偏振方向而改变。注意，为了便于描述，例如，通过旋转偏振板PL来执行拍摄以获取多个偏振图像，并且最高亮度被定义为Imax且最低亮度被定义为Imin。此外，在二维坐标系中的x轴和y轴在偏振板PL的平面上时，将偏振板PL旋转时y轴方向相对于x轴的角定义为偏振角υ。

当旋转180度时，偏振板PL返回至原始偏振状态并且具有180度的周期。此外，将观察到最大亮度Imax时的偏振角υ定义为方位角φ(观察到的光的偏振相位)。在作出这样的定义的情况下，在偏振板PL旋转时观察到的亮度I可以由下面的表达式(18)表示。此外，也可以将表达式(18)表达为表达式(19)。注意，在表达式(19)中，偏振参数Wa、偏振参数Wb和偏振参数Wc是分别利用表达式(20)、表达式(21)和表达式(22)计算的值。

[数学式4]

I＝Wa·sin(2·u)+Wb·cos(2·u)+Wc ...(19)

图19例示了亮度与偏振角之间的关系。此外，该示例示出了漫反射偏振模型，而对于镜面反射，方位角从偏振角偏移90度。对于作为指示亮度与偏振角之间的关系的偏振模型表达式的表达式(18)或(19)，偏振角υ在偏振图像的生成中是明显的，而最大亮度Imax、最小亮度Imin和方位角φ是变量。因此，与表示表达式(18)或(19)的偏振模型表达式进行拟合使得能够基于拟合的偏振模型表达式将方位角φ辨别为具有最大亮度的偏振角。

<1-5-1.偏振信息生成单元的第一操作>

对于偏振信息生成单元的第一操作，将利用图20描述根据两个偏振方向的每个偏振方向的偏振分量图像和非偏振图像来计算表达式(19)的偏振模型表达式的参数的情况。

具有偏振角α0的偏振方向上的偏振分量图像中的目标像素被定义为亮度(像素值)I0。此外，具有偏振角α1的偏振方向上的偏振分量图像中的目标像素被定义为亮度(像素值)I1。

偏振信息生成单元60利用非偏振像素的亮度(像素值)Ic并且基于表达式(23)计算偏振参数Wc。表达式(23)中的系数K是用于吸收偏振像素与非偏振像素之间的灵敏度差异的系数，并且亮度Ic是非偏振像素的像素值。对于图像拾取单元20的第一实施方式，系数K是用于在预先拍摄了预定被拍摄对象的情况下均衡非偏振像素的像素值和偏振像素的像素值的系数。此外，对于图像拾取单元20的第二实施方式，系数K是进一步包括像素控制单元的操作的系数，并且在像素控制单元执行使偏振像素的灵敏度与非偏振像素的灵敏度相同的控制的情况下，系数K满足“K＝1”。因此，在如图像拾取单元20的第二实施方式中那样偏振像素和非偏振像素的灵敏度相同的情况下，灵敏度与偏振像素相等的非偏振像素的亮度(像素值)对应于偏振参数Wc。

Wc＝K·Ic ···(23)

偏振信息生成单元60基于两个偏振方向上的偏振像素和非偏振像素使用例如最小二乘法来计算表达式(19)的偏振模型表达式中的偏振参数Wa和Wb。这里，如表达式(24)中那样定义偏振参数x。此外，如表达式(25)中那样定义偏振模型A。此外，如表达式(26)中那样定义亮度y。在如上所述定义了偏振参数x、偏振模型A和亮度y的情况下，理想地建立y＝Ax。因此，使用最小二乘法基于表达式(27)计算偏振参数x。

[数学式5]

x＝(A^TA)^-1A^T _y ···(27)

这里，如图4的(a)所示，在偏振方向具有“α0＝0°以及α1＝45°”的情况下，偏振参数Wa和偏振参数Wb是分别利用表达式(28)和表达式(29)计算的值。此外，偏振参数Wc是利用表达式(23)计算的值。

Wa＝I1-K·Ic ...(28)

Wb＝I0-K·Ic ...(29)

此外，在如图像拾取单元的第三实施方式中那样偏振方向具有“α0＝22.5°以及α1＝67.5°”的情况下，偏振参数Wa和偏振参数Wb分别是利用表达式(30)和表达式(31)计算的值。注意，偏振参数Wc是利用表达式(23)计算的值。

[数学式6]

偏振信息生成单元60计算偏振参数Wa、Wb和Wc以获取偏振模型表达式，并且生成指示所获取的偏振模型表达式的偏振信息。

<1-5-2.偏振信息生成单元的第二操作>

对于偏振信息生成单元的第二操作，将利用图21描述根据四个偏振方向的每个偏振方向的偏振分量图像和非偏振图像来计算表达式(19)的偏振模型表达式的参数的情况。

偏振信息生成单元60使用例如最小二乘法来计算表达式(19)中的偏振模型表达式中的偏振参数Wa、Wb和Wc。注意，具有“α0＝0°”的偏振方向上的偏振分量图像中的目标像素被定义为亮度(像素值)I0。此外，具有“α1＝45°，α2＝90°以及α3＝135°”的偏振方向上的偏振分量图像中的目标像素被定义为亮度(像素值)I1、I2和I3。

偏振信息生成单元60如表达式(24)中那样定义偏振参数x。此外，如表达式(32)中那样定义偏振模型A。此外，如表达式(33)中那样定义亮度y。在如上所述定义了偏振参数x、偏振模型A和亮度y的情况下，理想地建立y＝Ax。因此，与第一操作中类似，使用最小二乘法基于表达式(27)来计算偏振参数x。

[数学式7]

这里，在偏振方向具有“α0＝0°，α1＝45°，α2＝90°以及α3＝135°”的情况下，偏振参数Wa、偏振参数Wb和偏振参数Wc是分别利用表达式(34)、表达式(35)和表达式(23)计算的值。

Wa＝(I1-I3)/2 ...(34)

Wb＝(I0-I2)/2 ...(35)

此外，如图像拾取单元的第三实施方式中那样，在偏振方向具有“α0＝22.5°，α1＝67.5°，α2＝112.5°以及α3＝157.5°”的情况下，偏振参数Wa和偏振参数Wb是分别利用表达式(36)和表达式(37)计算的值。此外，偏振参数Wc是利用表达式(23)计算的值。

[数学式8]

注意，在仅使用偏振分量图像的情况下，可以利用表达式(38)来计算偏振参数Wc。

Wc＝(I0+I1+I2+I3)/4 ...(38)

如上所述，偏振信息生成单元60计算偏振参数Wa、Wb和Wc以获取偏振模型表达式，并且生成指示所获取的偏振模型表达式的偏振信息。

此外，在图像拾取单元中的偏振像素包括两个偏振方向上的像素的情况下，当偏振像素中的任何一个中像素值饱和时，不能生成正确的偏振信息。然而，在图像拾取单元中的偏振像素包括四个偏振方向上的像素的情况下，即使四个偏振方向上的像素中的任何一个中像素值饱和，也可以利用其他三个偏振像素计算出三个偏振参数。因此，与图像拾取单元包括两个偏振方向上的偏振像素的情况相比，可以实现针对由于饱和等导致的像素值损失的鲁棒性。

<1-6.法线信息生成单元>

基于由偏振信息生成单元60生成的偏振信息，法线信息生成单元70生成法线信息，例如，指示方位角和天顶角的法线信息。

例如，法线信息生成单元70例如基于表达式(39)来计算方位角φ。此外，法线信息生成单元70基于表达式(40)来计算天顶角θ。注意，表达式(40)中的参数A、B、C和D是分别利用表达式(41)、(42)、(43)和(44)计算的值，并且表达式(40)和(41)中指示的偏振度ρ是基于表达式(45)计算的。此外，在表达式(41)、(43)和(44)中，参数A、C和D是利用被拍摄对象OB的折射率n计算的。

[数学式9]

B＝4ρ ···(42)

C＝1+n² ...(43)

D＝1-n² ...(44)

图22是示出图像处理装置的实施方式的处理的流程图。在步骤ST1中，图像处理装置获取拍摄图像。图像处理装置使用包括偏振像素和非偏振像素的图像拾取单元来生成拍摄图像，然后进行到步骤ST2。

在步骤ST2中，图像处理装置生成每个偏振方向的偏振分量图像和非偏振图像。图像处理装置10使用拍摄图像执行去马赛克，并且生成偏振分量图像作为每个偏振方向的偏振图像以及非偏振图像。此外，图像处理装置10使用非偏振图像来生成具有高图像质量的偏振分量图像。此外，在图像处理装置10中，非偏振图像可以用于从拍摄图像中的偏振像素中去除噪声，并且可以执行去马赛克。图像处理装置10生成偏振分量图像和非偏振图像，然后进行到步骤ST3。

在步骤ST3中，图像处理装置生成偏振信息。图像处理装置10基于目标像素中的每个偏振方向的像素值和非偏振像素值来执行与偏振模型表达式的拟合，以生成指示拟合的偏振模型表达式的偏振信息，然后进行到步骤ST4。

在步骤ST4中，图像处理装置生成法线信息。图像处理装置10基于在步骤ST3中生成的偏振信息来计算目标像素处的方位角和天顶角，并且生成指示计算出的方位角和天顶角的法线信息。

如上所述，图像处理装置根据由图像拾取单元20生成的其中布置有非偏振像素和至少两个偏振方向的每个偏振方向上的偏振像素的拍摄图像，通过去马赛克处理单元50生成非偏振图像和每个偏振方向的偏振分量图像。此外，图像处理装置根据由去马赛克处理单元50生成的非偏振图像和偏振分量图像，通过偏振信息生成单元60生成指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。如上所述，不仅利用偏振分量图像而且还利用高度灵敏的非偏振图像来生成偏振信息。因此，与基于偏振分量图像生成偏振信息的情况相比，可以获取高度准确的偏振信息。此外，去马赛克处理单元50能够通过使用非偏振图像来生成每个偏振方向的高分辨率偏振分量图像。此外，噪声去除单元可以利用高度灵敏的非偏振图像来高度准确地执行对偏振图像和偏振像素的噪声去除。

<2.其他实施方式>

同时，对于上述图像处理装置，已经描述了由图像拾取单元生成的拍摄图像是单色图像的情况；然而，拍摄图像也可以是彩色图像。图23例示了生成彩色图像的图像拾取单元的配置。在图像拾取单元20生成彩色图像的情况下，在图像传感器21的入射面上设置有彩色马赛克滤波器23。注意，彩色马赛克滤波器23不限于被设置在图像传感器21与偏振滤波器22之间，还可以将其设置在偏振滤波器22的入射面上。

偏振滤波器22和彩色马赛克滤波器23各自具有每个方向上设置有相同颜色的像素的配置，使得偏振方向不同的偏振像素不会由于颜色的不同而受到影响。此外，偏振滤波器22和彩色马赛克滤波器23被配置成使得获取每种颜色的非偏振像素的像素值。

图24例示了彩色马赛克滤波器与偏振滤波器(两个偏振方向)之间的关系。在图24的(a)中，偏振滤波器22具有下述配置：其中在每个2×2像素区域中容纳两个偏振方向不同的偏振像素和两个非偏振像素。此外，彩色马赛克滤波器23具有下述配置：其中每个2×2像素区域包括红色(R)、绿色(G)或蓝色(B)的颜色单元，并且4×4像素区域包括红色2×2像素区域、蓝色2×2像素区域和两个绿色2×2像素区域。在这种情况下，在图像拾取单元20中，每个2×2像素区域生成有两个偏振方向的每个偏振方向的偏振像素的像素值以及红色、绿色或蓝色中的任一颜色的非偏振像素的像素值。

在图24的(b)中，彩色马赛克滤波器23具有下述配置：其中每个2×2像素区域包括红色(R)、绿色(G)或蓝色(B)的颜色单元。此外，偏振滤波器22具有下述配置：其中在每个绿色2×2像素区域中容纳两个偏振方向不同的偏振像素和两个非偏振像素，并且4×4像素区域包括红色2×2像素区域、蓝色2×2像素区域和两个绿色2×2像素区域。在这种情况下，在图像拾取单元20中，每个2×2像素区域生成有红色、绿色或蓝色中的任一颜色的非偏振像素的像素值，以及两个偏振方向上的绿色的偏振像素的像素值。

在图24的(c)中，偏振滤波器22具有下述配置：其中在每个2×2像素区域中容纳两个偏振方向不同的偏振像素和两个非偏振像素。此外，彩色马赛克滤波器23具有下述配置：其中每个2×2像素区域包括三个绿色(G)像素和一个红色(R)或蓝色(B)像素，并且4×4像素区域包括两个包括红色像素的2×2像素区域和两个包括蓝色像素的2×2像素区域。在这种情况下，在图像拾取单元20中，每个2×2像素区域生成有作为绿色像素和红色像素或者绿色像素和蓝色像素的非偏振像素的像素值以及两个偏振方向的每个偏振方向上的绿色的偏振像素的像素值。

在图24的(d)中，彩色马赛克滤波器23具有下述配置：其中每个2×2像素区域包括两个白色像素和两个红色(R)、绿色(G)或蓝色(B)像素。此外，4×4像素区域包括一个包括红色像素的2×2像素区域、一个包括蓝色像素的2×2像素区域以及两个包括绿色像素的2×2像素区域。此外，偏振滤波器22具有下述配置：其中在包括绿色像素的2×2像素区域中包括作为偏振方向相同的偏振像素的白色像素，并且在4×4像素区域中设置有两个偏振方向中的每个偏振方向上的两个偏振像素。在这种情况下，在图像拾取单元20中，每个2×2像素区域生成有红色、绿色或蓝色中的任一颜色的非偏振像素的像素值以及包括绿色像素的2×2像素区域中的两个偏振方向的任何偏振方向上的偏振像素的像素值。

在图(24)的(e)中，彩色马赛克滤波器23具有下述配置：其中每个2×2像素区域包括两个白色像素、一个绿色(G)像素和一个红色(R)像素，或者包括两个白色像素、一个绿色(G)像素和一个蓝色(B)像素。此外，4×4像素区域包括两个包括红色像素的2×2像素区域和两个包括蓝色像素的2×2像素区域。此外，偏振滤波器22具有下述配置：其中在每个2×2像素区域中包括作为偏振像素的一个白色像素，并且在4×4像素区域中设置有两个偏振方向中的每个方向上的两个偏振像素。在这种情况下，在图像拾取单元20中，每个2×2像素区域生成有绿色和红色或者绿色和蓝色的非偏振像素的像素值，以及两个偏振方向中的任何偏振方向上的偏振像素的像素值。

此外，在图24中，在图像拾取单元20中，每个4×4像素区域生成有每种颜色的非偏振像素的像素值以及每个偏振方向的偏振像素的像素值。

图25例示了彩色马赛克滤波器与偏振滤波器(四个偏振方向)之间的关系。在图25的(a)中，彩色马赛克滤波器23具有下述配置：其中每个2×2像素区域包括两个白色像素和红色(R)、绿色(G)或蓝色(B)中任一颜色的两个像素。此外，4×4像素区域包括一个包括红色像素的2×2像素区域、一个包括蓝色像素的2×2像素区域以及两个包括绿色像素的2×2像素区域。此外，偏振滤波器22具有下述配置：其中在每个2×2像素区域中包括作为任何偏振方向上的偏振像素的白色像素，并且在4×4像素区域中设置有四个偏振方向中的每个方向上的两个偏振像素。在这种情况下，在图像拾取单元20中，每个2×2像素区域生成有红色、绿色或蓝色中任一颜色的非偏振像素的像素值，以及四个偏振方向中的任一偏振方向上的偏振像素的像素值。

在图(25)的(b)中，彩色马赛克滤波器23具有下述配置：其中每个2×2像素区域包括两个白色像素、一个绿色(G)像素和一个红色(R)像素，或者包括两个白色像素、一个绿色(G)像素和一个蓝色(B)像素。此外，4×4像素区域包括两个包括红色像素的2×2像素区域和两个包括蓝色像素的2×2像素区域。此外，偏振滤波器22具有下述配置：其中在每个2×2像素区域中包括作为偏振方向不同的偏振像素的两个白色像素，并且在4×4像素区域中包括四个偏振方向中的每个方向上的两个偏振像素。在这种情况下，在图像拾取单元20中，每个2×2像素区域生成有绿色和红色或者绿色和蓝色的非偏振像素的像素值，以及两个偏振方向上的偏振像素的像素值。在这种情况下，在图像拾取单元20中，每个2×2像素区域生成有绿色和红色或者绿色和蓝色的非偏振像素的像素值，以及四个偏振方向中的任意两个偏振方向上的偏振像素的像素值。

在图25的(c)中，彩色马赛克滤波器23具有下述配置：其中每个2×2像素区域包括红色(R)、绿色(G)或蓝色(B)的颜色单元，并且4×4像素区域包括红色2×2像素区域、蓝色2×2像素区域和两个绿色2×2像素区域。此外，偏振滤波器22具有下述配置：其中在每个绿色2×2像素区域中设置有偏振方向各自不同的四个偏振像素。在这种情况下，在图像拾取单元20中，在红色或蓝色2×2像素区域中生成非偏振像素的像素值，并且在绿色2×2像素区域中生成每个偏振方向上的偏振像素的像素值。

此外，在图25的(a)和(b)中，在图像拾取单元20中，每个4×4像素区域生成有每种颜色的非偏振像素的像素值以及每个偏振方向的偏振像素的像素值。

在由图像拾取单元20生成彩色拍摄图像的情况下，在去马赛克处理单元50中，从彩色拍摄图像生成每个颜色分量的非偏振图像。此外，去马赛克处理单元50生成每个偏振方向的偏振分量图像。偏振信息生成单元60使用由去马赛克处理单元50生成的偏振分量图像和非偏振图像来生成偏振信息。偏振像素是如上所述的白色或相同颜色的像素，因此偏振像素不会由于颜色的不同而受到影响。因此，即使在使用彩色拍摄图像时也可以正确地生成偏振信息。注意，在图25的(c)中，绿色像素是偏振像素，因此绿色像素的灵敏度低于作为非偏振像素的红色像素或蓝色像素。因此，根据偏振像素的较低灵敏度针对绿色像素的像素值执行校正使得能够生成与以下情形类似的颜色分量图像：其中，每种颜色分量的像素是通过对拜耳排列执行常规的去马赛克而获得的非偏振像素。

如上所述，由图像拾取单元生成彩色拍摄图像使得能够通过使用颜色生成高度准确的偏振信息。此外，在由图像拾取单元生成彩色拍摄图像的情况下，像素处理单元30可以通过利用颜色相同的像素执行统合处理来生成每种颜色的非偏振图像。

此外，图像处理装置的配置不限于图1所示的配置。例如，像素处理单元30具有根据如上所述的图像拾取单元20的像素配置的配置。因此，图像拾取单元20和像素处理单元30可以一体地形成。此外，在仅使用图像拾取单元20的情况下，例如，在不会发生由于偏振像素的较低灵敏度引起的影响的图像拍摄环境中，可以省略噪声去除单元40。

<3.应用示例>

根据本公开内容的技术适用于各种产品。例如，根据本公开内容的技术可以被提供为用于配备给任何类型的可移动对象的装置，可移动对象例如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶、机器人、建筑机械、农业机械(拖拉机)。

图26是示出作为可应用根据本公开内容的技术的可移动对象控制系统的示例的车辆控制系统7000的示意性配置示例的框图。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图26所示的示例中，车辆控制系统7000包括：驱动系统控制单元7100；车身系统控制单元7200；电池控制单元7300；车外信息检测单元7400；车内信息检测单元7500；以及集成控制单元7600。连接多个控制单元的通信网络7010例如可以是符合任意标准的车载通信网络，例如控制器区域网(CAN)、本地互联网(LIN)、局域网(LAN)或FlexRay(注册商标)。

控制单元各自包括：微型计算机，其根据各种程序执行计算处理；存储单元，其存储要由微型计算机执行的程序、将用于各种类型的计算的参数等；以及驱动电路，其驱动将被以各种方式控制的设备。除了用于通过通信网络7010与其他控制单元进行通信的网络接口(I/F)之外，控制单元各自还包括用于利用有线通信或无线通信与车内设备或车外设备或者与传感器等进行通信的通信I/F。作为集成控制单元7600的功能配置，在图26中示出了微型计算机7610；通用通信I/F 7620；专用通信I/F 7630；定位单元7640；信标接收单元7650；车内设备I/F 7660；声音与图像输出单元7670；车载网络I/F 7680；以及存储单元7690。类似地，其他控制单元也各自包括微型计算机、通信I/F、存储单元等。

驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统有关的设备的操作。例如，驱动系统控制单元7100用作控制设备，例如：生成车辆驱动力的驱动力生成设备，例如内燃机或驱动电机；将驱动力传递至车轮的驱动力传递机构；调节车辆转向角的转向机构；以及生成车辆制动力的制动设备。驱动系统控制单元7100可以具有作为诸如防抱死制动系统(ABS)或电子稳定控制(ESC)的控制设备的功能。

车辆状态检测单元7110连接至驱动系统控制单元7100。例如，车辆状态检测单元7110包括下述至少之一：检测车身的轴旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器或者检测例如加速器踏板的操作量、制动踏板的操作量、方向盘的转向角度、发动机的转速或车轮的转速的传感器。驱动系统控制单元7100利用从车辆状态检测单元7110输入的信号来执行计算处理以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序来控制内置于车身中的各种设备的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动窗设备或者针对各种灯(例如前照灯、尾灯、刹车灯、方向指示灯或雾灯)的控制设备。在这种情况下，车身系统控制单元7200能够接收从替代钥匙的便携式设备发射的无线电波的输入或者各种开关的信号的输入。车身系统控制单元7200接收这些无线电波或信号的输入并控制车辆的门锁设备、电动窗设备、灯等。

电池控制单元7300根据各种程序来控制用作驱动电机的电力供应源的二次电池7310。例如，从包括二次电池7310的电池设备向电池控制单元7300输入关于例如电池温度、电池输出电压和电池剩余容量的信息。电池控制单元7300利用这些信号来执行计算处理以控制对电池设备中包括的二次电池7310或冷却设备等的温度调节。

车外信息检测单元7400检测关于配备有车辆控制系统7000的车辆外部的信息。例如，图像拾取单元7410或车外信息检测器7420中的至少一个连接至车外信息检测单元7400。图像拾取单元7410包括飞行时间(ToF)摄像装置、立体摄像装置、单目摄像装置、红外摄像装置或不同摄像装置中的至少一种。车外信息检测器7420例如包括下述至少之一：用于检测当前天气或气候的环境传感器，或者用于检测配备有车辆控制系统7000的车辆周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下述至少之一：用于检测阴雨天气的雨滴传感器、用于检测雾的雾传感器、用于检测日光度的日光传感器或者用于检测降雪的雪传感器。周边信息检测传感器可以是下述至少之一：超声波传感器、雷达设备或者光检测和测距、激光成像检测和测距(LIDAR)设备。图像拾取单元7410和车外信息检测器7420中的每个可以被设置为独立的传感器或设备，或者可以被设置为其中统合了多个传感器或多个设备的设备。

这里，图27示出了图像拾取单元7410和车外信息检测器7420的安装位置的示例。图像拾取单元7910、7912、7914、7916和7918被设置在例如车辆7900的前鼻部、侧视镜、后保险杠、后门或车厢的风挡上部中的至少一个位置处。在前鼻部处设置的图像拾取单元7910和设置在车厢的风挡上部的图像拾取单元7918主要获取车辆7900前方的图像。在侧视镜处设置的图像拾取单元7912和7914主要获取车辆7900的侧方图像。在后保险杠或后门处设置的图像拾取单元7916主要获取车辆7900后方的图像。在车厢的风挡上部处设置的图像拾取单元7918主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。

注意，在图27中，示出了图像拾取单元7910、7912、7914和7916的相应拍摄范围的示例。拍摄范围a表示设置在前鼻部处的图像拾取单元7910的拍摄范围，拍摄范围b和c表示设置在侧视镜处的图像拾取单元7912和7914的相应的拍摄范围，并且拍摄范围d表示设置在后保险杠或后门处的图像拾取单元7916的拍摄范围。例如，将由图像拾取单元7910、7912、7914和7916拍摄的多段图像数据进行叠加以获得从上方观察到的车辆7900的俯视图像。

在车辆7900的前部、后部、侧部、角部和车厢的风挡上部处设置的车外信息检测器7920、7922、7924、7926、7928和7930例如可以是超声波传感器或雷达设备。在车辆7900的前鼻部、后保险杠、后门和车厢的风挡上部处设置的车外信息检测器7920、7926和7930可以是例如LIDAR设备。这些车外信息检测器7920至7930主要用于检测前方车辆、行人、障碍物等。

返回图26，继续进行说明。车外信息检测单元7400使图像拾取单元7410拍摄车外图像，并且接收拍摄的图像数据。此外，车外信息检测单元7400从连接的车外信息检测器7420接收检测信息。在车外信息检测器7420是超声波传感器、雷达设备或LIDAR设备的情况下，车外信息检测单元7400发送超声波、电磁波等并接收关于所接收的反射波的信息。车外信息检测单元7400可以基于所接收的信息对人、汽车、障碍物、标志、路面上的字符等执行对象检测处理或距离检测处理。车外信息检测单元7400可以基于所接收的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息计算距车外对象的距离。

此外，车外信息检测单元7400可以基于所接收的图像数据执行用于识别人、汽车、障碍物、标志、路面上的字符等的图像识别处理或距离检测处理。车外信息检测单元7400可以对接收的图像数据执行诸如失真校正或对准的处理，并且将接收的图像数据和由不同的图像拾取单元7410拍摄的图像数据进行组合以生成俯视图像或全景图像。车外信息检测单元7400可以利用由不同的图像拾取单元7410拍摄的图像数据来执行视点转换处理。

车内信息检测单元7500检测车内信息。例如，检测驾驶员的状态的驾驶员状态检测单元7510连接至车内信息检测单元7500。驾驶员状态检测单元7510可以包括用于拍摄驾驶员的摄像装置、用于检测关于驾驶员的生物信息的生物传感器、用于收集车厢中的语音的麦克风等。生物传感器被设置在例如座位表面、方向盘等处，并且生物传感器检测关于坐在座位上的乘员或者握着方向盘的驾驶员的生物信息。车内信息检测单元7500可以基于从驾驶员状态检测单元7510输入的检测信息来计算驾驶员的疲劳程度或专注程度，并且可以确定驾驶员是否正在打瞌睡。车内信息检测单元7500可以对收集的语音的语音信号执行噪声消除处理等。

集成控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。输入单元7800连接至集成控制单元7600。输入单元7800可以设置有乘员可以用来执行输入操作的装置例如触摸面板、按钮、麦克风、开关或控制杆。通过对经由麦克风输入的语音执行语音识别所获得的数据可以输入到集成控制单元7600中。输入单元7800可以是例如使用红外线或其他无线电波的远程控制设备，或者是响应于车辆控制系统7000的操作的外部连接设备如移动电话或个人数字助理(PDA)。输入单元7800可以是例如摄像装置，并且在这种情况下乘员可以利用手势输入信息。替选地，可以输入通过检测乘员佩戴的可穿戴设备的移动而获得的数据。此外，输入单元7800可以包括例如基于由乘员等利用输入单元7800输入的信息而生成输入信号并且将输入信号输出至集成控制单元7600的输入控制电路等。乘员等操作输入单元7800以将各种数据片段输入到车辆控制系统7000中或者命令车辆控制系统7000进行处理操作。

存储单元7690可以包括存储将由微型计算机执行的各种程序的只读存储器(ROM)，以及存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以设置有诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。

通用通信I/F 7620是协调与外部环境7750中存在的各种设备的通信的通用通信I/F。在通用通信I/F 7620中可以实现蜂窝通信协议比如全球移动通信系统(GSM)、WiMAX、长期演进(LTE)或高级LTE(LTE-A)，或者无线通信协议比如无线局域网(LAN)(也被称为Wi-Fi(注册商标))或蓝牙(注册商标)。通用通信I/F 7620可以通过基站或接入点连接至外部网络(例如，因特网、云网络或商业运营商的专用网络)上存在的设备(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可以利用对等(P2P)技术连接至存在于车辆附近的终端(例如，驾驶员、行人或商店的终端或者机器型通信终端(MTC))。

专用通信I/F 7630是支持被制定用于在车辆中使用的通信协议的通信I/F。例如，在专用通信I/F 7630中可以实现诸如车辆环境中的无线接入(wireless access invehicle environment，WAVE)的通信协议、专用短程通信(dedicated short rangecommunications，DSRC)(其中每个通信是低层IEEE 802.11p和上层IEEE 1609的组合)或者诸如蜂窝通信协议的标准协议。通常，专用通信I/F 7630执行车辆到任何(V2X)的通信，该通信是至少包括车辆与车辆的通信、车辆与基础设施的通信、车辆与家的通信或者车辆与行人的通信的概念。

定位单元7640例如从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的全球定位系统(GPS)信号)以执行定位，并且生成包括车辆的纬度、经度和海拔的定位信息。注意，定位单元7640可以通过与无线接入点交换信号来指定当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或具有定位功能的智能电话的终端获取位置信息。

信标接收单元7650例如接收从安装在道路上的无线电台等发送的无线电波或电磁波，并且获取例如关于当前位置、拥堵、道路封闭或所需时间的信息。注意，信标接收单元7650的功能可以被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是协调微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可以通过使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。此外，车内设备I/F 7660可以通过未示出的连接终端(以及必要情况下的线缆)建立诸如通用串行总线(USB)、高清晰度多媒体接口(HDMI)或移动高清链路(MHL)的有线通信。车内设备7760可以包括例如下述至少之一：乘员拥有的移动设备或可穿戴设备，或者车辆中携带或附接至车辆的信息设备。此外，车内设备7760可以包括执行去往任何目的地的路线搜索的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是协调微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来交换信号等。

集成控制单元7600的微型计算机7610基于通过通用通信I/F 7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车内设备I/F 7660或者车载网络I/F 7680中的至少一个所获得的信息，根据各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于获取的车内信息和车外信息来计算驱动力生成设备、转向机构或制动设备的控制目标值，并且可以向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行协调控制以用于提供高级驾驶员辅助系统(ADAS)的功能的目的，所述功能包括车辆的碰撞避免或撞击缓冲、基于车辆间距离的跟进行驶、保持车速行驶、车辆碰撞警告、对车辆的车道偏离警告等。此外，微型计算机7610基于所获取的车辆周边信息来控制驱动力生成设备、转向机构、制动设备等，从而可以执行协调控制以用于例如自动驾驶(在不依赖于驾驶员的操作的情况下自主行驶)的目的。

微型计算机7610可以基于通过通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内设备I/F 7660或车载网络I/F 7680中的至少一个获取的信息，生成车辆与诸如周围结构和人的对象之间的三维距离信息，并且可以创建包括车辆的当前位置处的周边信息的本地地图信息。此外，微型计算机7610可以基于所获取的信息来预测诸如车辆的碰撞、行人等的接近、在道路封闭情况下进入道路的危险，并且可以生成警告信号。警告信号可以是例如用于生成警报声或用于打开警告灯的信号。

声音与图像输出单元7670将声音或图像中的至少一个的输出信号发送至能够以视觉或听觉方式向车辆乘员或车辆外部进行通知的输出设备。在图26的示例中，例示了作为输出设备的音频扬声器7710、显示单元7720和仪表面板7730。例如，显示单元7720可以包括车载显示器或平视显示器中的至少一种。显示单元7720可以具有增强现实(AR)显示功能。除这些设备之外，输出设备可以是诸如耳机、乘客佩戴的眼镜型显示器的可穿戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以各种格式比如文本、图像、表格、曲线图可视地显示通过微型计算机7610执行的各种类型的处理而获得的结果或者从其他控制单元接收的信息。此外，在输出设备是语音输出设备的情况下，语音输出设备将包括再现的语音数据、声学数据等的音频信号转换为模拟信号从而可听地输出得到的信号。

注意，在图26所示的示例中，可以将通过通信网络7010连接的至少两个控制单元整体地形成为一个控制单元。替选地，各个控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括未示出的其他控制单元。此外，在以上描述中，可以由其他控制单元来提供由所述控制单元中的任何一个执行的一些或全部功能。即，只要通过通信网络7010发送和接收信息，就可以由任何控制单元执行预定的计算处理。类似地，连接至任何控制单元的传感器或设备可以连接至其他控制单元，并且多个控制单元可以通过通信网络7010相互发送和接收检测信息。

对于这样的车辆控制系统，在将根据本技术的图像处理装置应用于例如车外信息检测器的情况下，可以在车外信息检测器中准确地获取偏振信息和法线信息。此外，可以获取非偏振图像。因此，使用由车外信息检测器获取的偏振信息、法线信息和非偏振图像使得能够以高准确度实现障碍物检测等，从而可以构造出能够实现更安全行驶的车辆控制系统。

此外，上述图像处理装置可以是图像拾取设备、包括图像拾取功能的电子设备等。此外，说明书中描述的一系列处理可以由硬件、软件或其组合来执行。对于由软件执行处理的情况，在并入专用硬件的计算机的存储器中安装记录处理序列的程序以使软件执行处理。替选地，可以在可执行各种类型的处理的通用计算机中安装程序以使计算机执行处理。

例如，程序可以被预先记录在作为存储介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)中。替选地，可以将程序临时地或永久地存储(记录)在可移除存储介质例如软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(BD(注册商标))、磁盘或半导体存储卡中。这种可移除存储介质可以作为所谓的封装软件被提供。

此外，除了将来自可移除存储介质的程序安装到计算机中，还可以通过诸如局域网(LAN)或因特网的网络将程序无线地或有线地从下载站点传输至计算机。在计算机中，以这种方式传输的程序可以被接收并被安装在诸如硬盘的内置记录介质中。

注意，本说明书中描述的效果仅是示例性的而并非意在进行限制，并且可能存在未描述的附加效果。此外，本技术不应被解释为限于上述技术的实施方式。本技术的实施方式以例证的形式公开了本技术，并且明显的是，在不脱离本技术的主旨的情况下，本领域技术人员可以对实施方式进行修改和替换。换言之，为了判定本技术的主旨，应当考虑权利要求书的范围。

此外，本技术的图像处理装置还可以具有下述配置。

(1)一种图像处理装置，包括：

去马赛克处理单元，被配置成根据包括非偏振像素和至少两个偏振方向的每个偏振方向的偏振像素的拍摄图像，来生成非偏振图像和每个偏振方向的偏振分量图像；以及

偏振信息生成单元，被配置成根据由所述去马赛克处理单元生成的所述非偏振图像和所述偏振分量图像，来生成指示所述拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。

(2)根据(1)所述的图像处理装置，

其中，针对所述偏振方向中的每个偏振方向，所述去马赛克处理单元利用目标像素、所述目标像素的周边像素中的与所述目标像素的偏振方向相同的像素位置处的偏振像素、以及像素位置与所述偏振像素相同和在所述目标像素的像素位置处的非偏振像素，计算所述目标像素的像素位置处的偏振像素的像素值。

(3)根据(2)所述的图像处理装置，

其中，所述去马赛克处理单元利用偏振方向相同的像素位置处的非偏振像素的像素平均值与所述目标像素的像素位置处的非偏振像素的像素值之间的关系，相对于偏振方向相同的像素位置处的偏振像素的像素平均值来计算所述目标像素的像素位置处的偏振像素的像素值。

(4)根据(1)至(3)中的任意一项所述的图像处理装置，还包括：

像素处理单元，被配置成利用非偏振像素来生成偏振像素的像素位置处的像素，以生成非偏振图像；以及

噪声去除单元，被配置成：基于目标像素的像素位置处的非偏振像素以及偏振方向与所述目标像素相同的周边像素的像素位置处的非偏振像素来计算要用于平滑滤波处理的权重，并且利用计算出的所述权重、所述目标像素以及偏振方向与所述目标像素相同的周边像素的像素位置处的偏振像素来计算所述目标像素的像素位置处的偏振像素的像素值，

其中，所述去马赛克处理单元利用经所述噪声去除单元进行噪声去除之后的偏振像素来生成偏振分量图像。

(5)根据(1)至(4)中的任意一项所述的图像处理装置，

其中，所述偏振信息生成单元基于所述偏振方向、目标像素位置处的非偏振像素和所述偏振方向中的每个偏振方向的偏振像素，来计算指示所述目标像素位置处的所述偏振特性的偏振模型表达式的偏振参数。

(6)根据(5)所述的图像处理装置，

其中，所述偏振信息生成单元使用灵敏度与所述偏振像素相等的所述非偏振像素的像素值作为所述偏振参数。

(7)根据(1)至(6)中的任意一项所述的图像处理装置，还包括：

法线信息生成单元，被配置成基于由所述偏振信息生成单元生成的偏振信息来生成所述被拍摄对象的法线信息。

此外，本技术中的图像拾取装置还可以具有下述配置。

(1)一种图像拾取装置，在所述图像拾取装置中布置有非偏振像素和偏振像素，

在至少两个偏振方向的每个偏振方向设置所述偏振像素。

(2)根据(1)所述的图像拾取装置，还包括：

像素控制单元，被配置成进行控制以使所述非偏振像素的灵敏度与所述偏振像素的灵敏度相同。

(3)根据(2)所述的图像拾取装置，

其中，所述像素控制单元控制所述非偏振像素或所述偏振像素的曝光时间段，以使所述非偏振像素的灵敏度与所述偏振像素的灵敏度相同。

(4)根据(1)至(3)中的任意一项所述的图像拾取装置，

其中，所述至少两个偏振方向相对于矩形形状的像素的边角度对称。

(5)根据(1)至(4)中的任意一项所述的图像拾取装置，

其中，在2×2像素区域中，在对角像素位置处设置所述非偏振像素，并且其余像素是偏振像素。

(6)根据(1)至(5)中的任意一项所述的图像拾取装置，

其中，所述偏振方向中的每个偏振方向的偏振像素的颜色相同，并且所述非偏振像素是每个预定颜色分量的像素。

(7)根据(1)至(6)中的任意一项所述的图像拾取装置，还包括：

像素处理单元，被配置成利用非偏振像素执行插值处理，或者执行对偏振方向相同的邻近的偏振像素的统合处理和对邻近的非偏振像素的统合处理，并且被配置成生成非偏振图像或者生成非偏振图像和偏振图像。

(8)根据(7)所述的图像拾取装置，

其中，所述像素处理单元执行对颜色相同的像素的统合处理。

工业实用性

在该技术的图像处理装置、图像处理方法和图像拾取装置中，由去马赛克处理单元根据包括非偏振像素和至少两个偏振方向的每个偏振方向上的偏振像素的拍摄图像生成了非偏振图像和每个偏振方向的偏振分量图像；根据该非偏振图像和偏振分量图像生成了指示拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。因此，不仅利用偏振分量图像而且还利用光量不会减少的非偏振图像来生成偏振信息。因此，与基于偏振分量图像生成偏振信息的情况相比，可以获取准确的偏振信息。因此，本技术适合于能够利用偏振信息执行控制等的设备，例如车辆控制系统等。

附图标记列表

10 图像处理装置

20、20-1、20-2 图像拾取单元

21、21-1、21-2 图像传感器

22、22-1、22-3 偏振滤波器

23 彩色马赛克滤波器

30 像素处理单元

31 非偏振像素插值单元

32 像素值计算单元

40 噪声去除单元

41 权重计算单元

42、44 乘法单元

43、45 积分单元

50 去马赛克处理单元+

51 拜耳对应处理单元

52 偏振像素平均处理单元

53 非偏振像素平均处理单元

54 中心像素获取单元

55 相关处理单元

60 偏振信息生成单元

70 法线信息生成单元

211 像素阵列单元

212、212-2 竖直扫描电路

213 水平扫描电路

Claims (16)

1.一种图像处理装置，包括：

去马赛克处理单元，被配置成根据包括非偏振像素和至少两个偏振方向的每个偏振方向的偏振像素的拍摄图像，来生成非偏振图像和每个偏振方向的偏振分量图像；以及

偏振信息生成单元，被配置成根据由所述去马赛克处理单元生成的所述非偏振图像和所述偏振分量图像，来生成指示所述拍摄图像中包括的被拍摄对象的偏振特性的偏振信息。

2.根据权利要求1所述的图像处理装置，

其中，针对所述偏振方向中的每个偏振方向，所述去马赛克处理单元利用目标像素、所述目标像素的周边像素中的与所述目标像素的偏振方向相同的像素位置处的偏振像素、以及像素位置与所述偏振像素相同和在所述目标像素的像素位置处的非偏振像素，计算所述目标像素的像素位置处的偏振像素的像素值。

3.根据权利要求2所述的图像处理装置，

其中，所述去马赛克处理单元利用偏振方向相同的像素位置处的非偏振像素的像素平均值与所述目标像素的像素位置处的非偏振像素的像素值之间的关系，相对于偏振方向相同的像素位置处的偏振像素的像素平均值来计算所述目标像素的像素位置处的偏振像素的像素值。

4.根据权利要求1所述的图像处理装置，还包括：

像素处理单元，被配置成利用非偏振像素来生成偏振像素的像素位置处的像素，以生成非偏振图像；以及

噪声去除单元，被配置成：基于目标像素的像素位置处的非偏振像素以及偏振方向与所述目标像素相同的周边像素的像素位置处的非偏振像素来计算要用于平滑滤波处理的权重，并且利用计算出的所述权重、所述目标像素以及偏振方向与所述目标像素相同的周边像素的像素位置处的偏振像素来计算所述目标像素的像素位置处的偏振像素的像素值，

其中，所述去马赛克处理单元利用经所述噪声去除单元进行噪声去除之后的偏振像素来生成偏振分量图像。

5.根据权利要求1所述的图像处理装置，

其中，所述偏振信息生成单元基于所述偏振方向、目标像素位置处的非偏振像素和所述偏振方向中的每个偏振方向的偏振像素，来计算指示所述目标像素位置处的所述偏振特性的偏振模型表达式的偏振参数。

6.根据权利要求5所述的图像处理装置，

其中，所述偏振信息生成单元使用灵敏度与所述偏振像素相等的所述非偏振像素的像素值作为所述偏振参数。

7.根据权利要求1所述的图像处理装置，还包括：

法线信息生成单元，被配置成基于由所述偏振信息生成单元生成的偏振信息来生成所述被拍摄对象的法线信息。

8.一种图像处理方法，包括：

由偏振信息生成单元根据包括非偏振像素和至少两个偏振方向的每个偏振方向的偏振像素的拍摄图像来生成指示被拍摄对象的偏振特性的偏振信息。

9.一种图像拾取装置，在所述图像拾取装置中布置有非偏振像素和偏振像素，

在至少两个偏振方向的每个偏振方向设置所述偏振像素。

10.根据权利要求9所述的图像拾取装置，还包括：

像素控制单元，被配置成进行控制以使所述非偏振像素的灵敏度与所述偏振像素的灵敏度相同。

11.根据权利要求10所述的图像拾取装置，

其中，所述像素控制单元控制所述非偏振像素或所述偏振像素的曝光时间段，以使所述非偏振像素的灵敏度与所述偏振像素的灵敏度相同。

12.根据权利要求9所述的图像拾取装置，

其中，所述至少两个偏振方向相对于矩形形状的像素的边角度对称。

13.根据权利要求9所述的图像拾取装置，

其中，在2×2像素区域中，在对角像素位置处设置所述非偏振像素，并且其余像素是偏振像素。

14.根据权利要求9所述的图像拾取装置，

其中，所述偏振方向中的每个偏振方向的偏振像素的颜色相同，并且所述非偏振像素是每个预定颜色分量的像素。

15.根据权利要求9所述的图像拾取装置，还包括：

像素处理单元，被配置成利用非偏振像素执行插值处理，或者执行对偏振方向相同的邻近的偏振像素的统合处理和对邻近的非偏振像素的统合处理，并且被配置成生成非偏振图像或者生成非偏振图像和偏振图像。

16.根据权利要求15所述的图像拾取装置，

其中，所述像素处理单元执行对颜色相同的像素的统合处理。