CN109565546A - 图像处理设备、信息生成设备以及信息生成方法 - Google Patents

Abstract

校正信息生成部50用具有均匀强度的测量光照射用于获取偏振图像的偏振图像获取部20。基于从偏振图像获取部20获取的测量偏振图像，校正信息生成部50生成用于校正由于偏振方向的差异而在测量偏振图像中发生的灵敏度变化的变化校正信息，并且将该变化校正信息存储在校正信息存储部30中。校正处理部40使用先前生成并存储在校正信息存储部30中的变化校正信息来校正偏振图像获取部20之后获取的偏振图像中由于偏振方向的差异而发生的灵敏度变化。因此，可以使从校正处理部40输出的偏振图像成为灵敏度变化等被校正的高质量偏振图像。

Description

图像处理设备、信息生成设备以及信息生成方法

技术领域

本技术涉及图像处理设备、信息生成设备和信息生成方法，并且使得可以获取高质量偏振图像。

背景技术

过去已经公开了一种通过使用成像部和偏振器来生成偏振图像的方法。例如，在专利文献1中公开的方法通过将偏振器设置在成像部的前方并旋转偏振器以进行图像捕获来生成具有多个偏振方向的偏振图像。另一公开的方法通过在为各个像素设置具有不同偏振方向的偏振器的情况下执行一次图像捕获操作来生成具有多个偏振方向的偏振图像。

此外，根据具有多个偏振方向的偏振图像来生成关于对象的法线信息。例如，在非专利文献1和非专利文献2中公开的方法通过将具有多个偏振方向的偏振图像应用于偏振模型方程来生成法线信息。

引用列表

专利文献

专利文献1

WO 2008/099589

非专利文献1

Lawrence B.Wolff和Terrance E.Boult，“Constraining Object FeaturesUsing a Polarization Reflectance Model”，IEEE Transaction on pattern analysisand machine intelligence(IEEE模式分析和机器智能事务)，第13卷，第7号，1991年7月

非专利文献2

Gary A.Atkinson和Edwin R.Hancock，“Recovery of surface orientationfrom diffuse polarization”，IEEE Transactions of Image Processing(IEEE图像处理事务)，第15卷，第6期，第1653至1664页，2006年

发明内容

技术问题

其中，在利用具有用于每个像素的偏振器的图像传感器生成偏振图像时，例如由于难以在微小像素上形成偏振器而发生灵敏度变化。因此，即使捕获具有均匀亮度的非偏振对象的图像，得到的偏振图像的亮度也会变化。

鉴于上述情况，本技术的目的是提供一种获取高质量偏振图像的图像处理设备、信息生成设备和信息生成方法。

问题的解决方案

根据本技术的第一方面，提供了一种图像处理设备，其包括校正处理部。该校正处理部使用预先生成的校正信息来校正由于偏振方向的差异引起的灵敏度变化。

本技术使测量光照射部将具有均匀强度的测量光照射到具有偏振成像元件的偏振图像获取部上，该偏振成像元件设置有偏振器。然后，偏振图像获取部获取包括具有多个偏振方向的像素的偏振图像。基于所获取的偏振图像，校正增益被预先存储在校正信息存储部中，作为用于校正由于偏振方向的差异而在偏振图像中引起的灵敏度变化的校正信息。例如，针对每个偏振方向或针对偏振图像中的每个像素生成校正信息。此外，校正信息包括用于校正偏振图像中的阴影的信息。此外，当偏振图像是彩色图像时，针对偏振图像的每个颜色分量生成校正信息，并且校正信息包括用于校正偏振图像的白平衡的信息。校正处理部使用在校正信息存储部中存储的预先生成的校正信息来校正由于偏振方向的差异而在偏振图像中引起的灵敏度变化。

根据本技术的第二方面，提供了一种信息生成设备，其包括测量光照射部和校正信息生成部。测量光照射部将具有均匀强度的测量光照射到获取偏振图像的偏振图像获取部上。校正信息生成部基于在从测量光照射部照射测量光的情况下由偏振图像获取部获取的偏振图像来生成校正信息，该校正信息用于校正由于偏振方向的差异而在偏振图像中引起的灵敏度变化。

本技术使测量光照射部将具有均匀强度的测量光照射到获取偏振图像的偏振图像获取部上。测量光照射部例如将非偏振光照射到偏振图像获取部上。替选地，测量光照射部经由球状漫射板(spherical diffusion plate)将测量光照射到偏振图像获取部上。校正信息生成部允许测量光照射部将测量光照射到使用预定成像光学系统的偏振图像获取部上，并且校正信息生成部基于由偏振图像获取部获取的偏振图像来生成校正信息，该校正信息用于校正由于偏振方向的差异而在偏振图像中引起的灵敏度变化。

此外，测量光照射部经由板状漫射板(flat diffusion plate)将测量光照射到偏振图像获取部上，并且校正信息生成部改变偏振图像获取部相对于板状漫射板的取向。替选地，测量光照射部经由板状漫射板将测量光照射到偏振图像获取部上，并且校正信息生成部基于偏振图像获取部的焦距和光轴中心来针对每个像素生成校正信息。

根据本技术的第三方面，提供了一种信息生成方法，包括：从测量光照射部向获取偏振图像的偏振图像获取部上照射具有均匀强度的测量光；以及由校正信息生成处理部基于在从测量光照射部照射测量光的情况下由偏振图像获取部获取的偏振图像来生成校正信息，该校正信息用于校正由于偏振方向的差异而在偏振图像中引起的灵敏度变化。

发明的有益效果

根据本技术，通过使用预先生成的校正信息对偏振图像执行校正处理，以校正由于偏振方向的差异引起的灵敏度变化。这使得可以获取高质量偏振图像。注意，本说明书中描述的优点仅是说明性的而非限制性的。此外，本技术可以提供另外的优点。

附图说明

图1是示出对偏振图像的获取的图。

图2是示出亮度与偏振角之间的关系的图。

图3是示出偏振度与天顶角之间的关系的图。

图4是示出其中使用了图像处理设备的偏振图像系统的配置的图。

图5是示出偏振图像获取部的配置的图。

图6是示出偏振器和滤色器的图。

图7是示出偏振器和滤色器的组合的图。

图8是示出校正处理部的操作的流程图。

图9是示出校正处理部的处理结果的图。

图10是示出校正处理部的处理结果的图。

图11是示出由偏振图像获取部获取的测量偏振图像的一部分的图。

图12是示出校正信息生成部的第一实施方式的图。

图13是示出根据第一实施方式的操作的流程图。

图14是示出校正信息生成部的第二实施方式的图。

图15是示出根据第二实施方式的操作的流程图。

图16是示出校正信息生成部的第三实施方式的图。

图17是示出根据第三实施方式的操作的流程图。

图18是示出偏振图像获取部捕获板状漫射板的图像的情况的图。

图19是示出对法线的计算的图。

图20是示出校正信息生成部的第四实施方式的图。

图21是示出根据第四实施方式的操作的流程图。

图22是示出车辆控制系统的示意性配置的实例的框图。

图23是车外信息检测部和成像部的安装位置的实例的示图。

具体实施方式

现在将描述本技术的实施方式。应当注意，将按照以下顺序给出描述。

1.偏振图像的获取

2.偏振图像系统的配置

3.校正处理部的操作

4.变化校正信息的生成

4-1.校正信息生成部的第一实施方式

4-2.校正信息生成部的第二实施方式

4-3.校正信息生成部的第三实施方式

4-4.校正信息生成部的第四实施方式

5.替选配置和操作

6.示例性应用

<1.偏振图像的获取>

图1示出了对偏振图像的获取。例如，如图1所示，光源LT照射对象OB，并且成像部CM通过偏振器PL捕获对象OB的图像。在这种情况下，使得对于捕获的图像，对象OB的亮度根据偏振器PL的偏振方向而改变。为了便于说明，假设例如当旋转偏振方向时，最高亮度为Imax而最低亮度为Imin。此外，假设当二维坐标系的x轴和y轴在偏振器的平面中并且旋转偏振器的偏振方向时，相对于x轴的y轴方向的角度为偏振角νpol。当以z轴方向为轴使偏振器的偏振方向旋转180度时，偏振器的偏振方向恢复到先前的偏振状态，即，偏振器的偏振方向具有180度的周期。此外，当偏振方向被旋转时观察到的亮度l可以由式(1)表示。应当注意，图2示出了亮度和偏振角之间的关系。

[数学式1]

在式(1)中，偏振角νpol在偏振图像生成时是明显的，并且最大亮度Imax、最小亮度Imin和方位角φ是变量。因此，当使用具有三个或更多个不同偏振方向的偏振图像的亮度来对式(1)中所指示的偏振模型方程进行拟合时，可以基于指示亮度与偏振角之间关系的偏振模型方程来估计期望方位角φ的亮度。

此外，对象表面的法线可以通过使用极坐标系由方位角φ和天顶角θ表示。假设天顶角θ是从z轴朝向法线测量的角度，而方位角φ是如前文所述的相对于x轴的y轴方向的角度。这里，基于式(2)，可以根据最小亮度Imin和最大亮度Imax来计算偏振度ρ。

[数学式2]

已知偏振度和天顶角之间的关系例如在漫反射的情况下具有图3中的(a)所示的特性，并且在镜面反射的情况下具有图3中的(b)所示的特性。例如，如果天顶角θ为0，则偏振度ρ为0。更具体地，最小亮度Imin等于最大亮度Imax，使得亮度是固定的而与方位角φ无关。

<2.偏振图像系统的配置>

图4示出了使用根据本技术的图像处理设备的偏振图像系统的配置。偏振图像系统10包括偏振图像获取部20、校正信息存储部30和校正处理部40。此外，偏振图像系统10可以使用校正信息生成部50，该校正信息生成部50生成变化校正信息并将其存储在校正信息存储部30中。

偏振图像获取部20获取包括具有多个偏振方向的像素的偏振图像。图5示出了偏振图像获取部的配置。偏振图像获取部20包括例如CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器的图像传感器200以及偏振器201，或者偏振图像获取部20包括图像传感器200、偏振器201和滤色器202。图像传感器200对通过偏振器201或通过偏振器201和滤色器202入射的对象光执行光电转换，并且生成响应于该对象光的图像信号，即，表示偏振图像的图像信号。偏振图像获取部20将表示偏振图像的图像信号输出至校正处理部40。此外，在使用校正信息生成部50的情况下，偏振图像获取部20将表示偏振图像的图像信号输出至校正信息生成部50。

图6示出了偏振器和滤色器。图6中的(a)和(b)示出了偏振器201的偏振模式。要求偏振器201仅提取线性偏振光。因此，例如将线栅或光子液晶用作偏振器201。图6中的(a)示出了设置具有多个偏振方向(例如，四个方向，即0度、45度、90度和135度)的像素以便在一个像素对应于一个偏振分量单元的假设下对例如式(1)所指示的偏振模型方程进行拟合的情况。而且，图6的(b)示出了滤色器的颜色分量布置单元例如对应于2×2像素单元，并且在将2×2像素单元视为偏振单元的假设下如上文所述的那样设置具有多个偏振方向(例如，四个方向，即0度、45度、90度和135度)的像素的情况。

图6中的(c)至(g)示出了滤色器。滤色器是马赛克滤色器，其具有例如红色、蓝色和绿色(RGB)颜色分量。滤色器不限于如图6中的(c)所示的在一个像素对应于一个颜色分量单元的假设下RGB颜色分量呈拜耳(Bayer)阵列的情况。替选地，如图6中的(d)所示，滤色器可以被配置成使得2×2像素组作为一个颜色分量单元而重复。此外，如图6中的(e)所示，滤色器可以被配置成使得白色像素被重复地混合到拜耳阵列中。此外，如图6中的(f)所示，滤色器可以被配置成使得在一个颜色分量单元具有2×2像素的基础上将白色像素重复地混合到2×2颜色分量单元的阵列中。此外，如图6中的(g)所示，滤色器可以被配置成使得重复地混合例如红外(IR)像素，以便即使在夜间或黑暗的地方也能捕获具有高灵敏度的图像。

滤色器和偏振器被组合使用以针对每个颜色分量获取四个偏振分量。图7示出了偏振器和滤色器的组合。

图7中的(a)示出了如图6中的(d)所示的那样配置滤色器并且如图6中的(a)所示的那样配置所采用的偏振器的情况。该组合使得每个颜色分量单元包括具有特定偏振方向的像素，以便针对每个颜色分量获取四个偏振分量。

图7中的(b)示出了如图6中的(d)所示的那样配置滤色器并且如图6中的(b)所示的那样配置所采用的滤色器的情况。该组合使得当偏振器的偏振分量单元相对于滤色器的颜色分量单元在左右方向和上下方向上仅相移一个像素时，具有特定偏振方向的像素被包括在每个颜色分量单元中。因此，可以针对每个颜色分量获取四个偏振分量。

在偏振器的偏振分量单元对应于2×2像素组的情况下，从针对每个偏振分量单元获取的偏振分量的不同偏振分量单元的相邻区域泄露的偏振分量的比率低于在1×1像素情况下的比率。此外，在使用线栅作为偏振器的情况下，具有垂直于栅格方向(线方向)的电场分量的偏振光被透射，使得线越长，透射率越高。因此，在偏振分量单元对应于2×2像素组的情况下，透射率高于1×1像素的情况下的透射率。因此，与使用图7的(a)所示的组合的情况相比，通过使用图7的(b)所示的组合，偏振图像获取部能够改善擦除率。此外，在偏振分量单元对应于2×2像素组的情况下，偏振方向上的像素偏差大于1×1像素的情况下的像素偏差。因此，与使用图7的(b)所示的组合的情况相比，通过使用图7的(a)所示的组合，偏振图像获取部能够增加法线的准确度。

图7的(c)示出了如图6的(c)所示的那样配置滤色器并且如图6的(b)所示的那样配置所采用的偏振模式的情况。该组合使得每个颜色分量的像素被包括在每个偏振分量单元中。因此，可以针对每个颜色分量获取四个偏振分量。此外，由于颜色分量单元对应于1×1像素，因此颜色分量像素阵列的偏差小于2×2像素的情况下的偏差。因此，与使用例如图7的(a)所示的组合的情况相比，通过使用图7的(c)所示的组合，偏振图像获取部能够提供改进的质量。

图7的(d)示出了如图6的(f)所示的那样配置滤色器并且如图6的(b)所示的那样配置所采用的偏振模式的情况。该组合使得当偏振模式的偏振分量单元相对于滤色器的颜色分量单元在左右方向和上下方向上仅相移一个像素时，具有特定偏振方向的像素被包括在每个颜色分量单元中。因此，可以针对每个颜色分量获取四个偏振分量。此外，白色像素被包括在颜色分量单元中。因此，与所采用的滤色器不包括任何白色像素的情况、使用例如图7的(b)所示的组合的情况相比，可以实现改善的灵敏度。

图4所示的校正信息存储部30存储由校正信息生成部50预先计算的变化校正信息。如稍后描述的，变化校正信息例如是校正增益，根据在从校正信息生成部的测量光照射部向获取偏振图像的偏振图像获取部20照射具有均匀强度的测量光的情况下由偏振图像获取部20获取的偏振图像，校正增益校正由于偏振方向的差异而在偏振图像中引起的灵敏度变化。此外，如果偏振图像是彩色图像，则校正信息存储部30存储针对每个颜色分量的变化校正信息。

校正处理部40通过使用校正信息存储部30中存储的变化校正信息来设定偏振图像校正信息，并且使用所设定的偏振图像校正信息对由偏振图像获取部20获取的偏振图像执行校正处理。

校正信息生成部50生成变化校正信息，该变化校正信息用于校正偏振图像获取部20中的灵敏度变化或者校正偏振图像获取部20中的灵敏度变化和阴影。校正信息生成部50执行针对偏振图像中的每个偏振方向生成变化校正信息的处理，或者执行针对偏振图像中的每个像素生成变化校正信息的处理。校正信息生成部50使校正信息存储部30存储所生成的变化校正信息。

<3.校正处理部的操作>

现在将描述校正处理部40的操作。校正处理部40通过根据偏振图像校正信息调整每个像素的增益来对由偏振图像获取部20获取的偏振图像执行校正处理。式(3)是在校正处理期间对偏振图像使用的校正式。在式(3)中，像素值Iij是由偏振图像获取部20获取的偏振图像中的像素位置(i,j)处的像素的像素值。像素值BK指示黑电平。可以针对整个画面使用黑电平的同一像素值BK。替选地，可以针对每个像素预先测量要使用的像素值BK。假设偏振图像校正信息GAij是像素位置(i，j)处的像素的校正增益，并且例如，如式(4)所指示的，偏振图像校正信息GAij是根据灵敏度变化测量的结果预先生成的并且被存储在校正信息存储部30中的变化校正信息GVij。

Cij＝(Iij-BK)×GAij···(3)

GAij＝GVij···(4)

校正处理部40通过使用偏振图像校正信息GAij和像素值Iij对偏振图像中的像素位置(i，j)处的像素执行式(3)中的计算，来计算通过校正灵敏度变化获得的像素值Cij。

此外，偏振图像校正信息不限于用于校正灵敏度变化的校正信息，而是可以包括用于阴影校正和白平衡校正的校正信息。

可以针对由偏振图像获取部20使用的成像光学系统的每个部分进行测量并且基于测量结果生成用于阴影校正的信息(下文中称为“阴影校正信息”)GS，或者可以例如根据透镜设计数据来计算该阴影校正信息GS。应当注意，阴影校正信息GS将被存储在校正信息存储部30中。

当进行灵敏度变化校正和阴影校正时，校正处理部40从校正信息存储部30获取针对偏振图像中的像素位置(i，j)处的像素的变化校正信息GVij和阴影校正信息GSij，并且根据式(5)设定偏振图像校正信息GAij。此外，校正处理部40通过使用像素值Iij和设定的偏振图像校正信息GAij对偏振图像中的像素位置(i，j)处的像素执行如式(3)所指示的计算，来计算通过进行灵敏度变化校正和阴影校正而获得的像素值Cij。

GAij＝GVij×GSij···(5)

应当注意，校正信息生成部50能够生成不仅包括灵敏度校正信息还包括阴影校正信息的变化校正信息。在这种情况下，校正处理部40能够通过将变化校正信息GVij设定为偏振图像校正信息GAij来进行灵敏度变化校正和阴影校正。

用于白平衡校正的信息(下文中称为“白平衡校正信息”)GW可以例如通过采用白平衡检测机制来生成，或者根据例如由用户限定的照明设置来生成。此外，可以基于偏振图像生成白平衡校正信息。例如，在使用具有四个偏振方向的像素的亮度值如图2所示的那样对指示与偏振角相关的亮度变化的偏振模型方程(例如，cos函数)进行拟合的情况下，拟合后的偏振模型方程的幅度变化与镜面反射分量对应。因此，可以通过检测每个颜色分量中具有最高亮度的像素位置来检测照明像素位置。此外，生成用于将检测到的照明像素位置的颜色视为白色的校正信息，并将其用作白平衡校正信息。

当进行灵敏度变化校正和白平衡校正时，校正处理部40通过使用针对偏振图像中的像素位置(i，j)处的像素的变化校正信息GVij和白平衡校正信息GWij，根据式(6)设定偏振图像校正信息GAij。此外，校正处理部40通过使用像素值Iij和设定的偏振图像校正信息GAij对偏振图像中的像素位置(i，j)处的像素执行如式(3)所指示的计算，来计算通过进行灵敏度变化校正和白平衡校正而获得的像素值Cij。

GAij＝GVij×GWij···(6)

此外，在进行灵敏度变化校正、阴影校正和白平衡校正时，校正处理部40通过使用针对偏振图像中的像素位置(i，j)处的像素的变化校正信息GVij、阴影校正信息GSij和白平衡校正信息GWij，根据式(7)计算偏振图像校正信息GAij。此外，校正处理部40通过使用像素值Iij和设定的偏振图像校正信息GAij对偏振图像中的像素位置(i，j)处的像素执行如式(3)所指示的计算，来计算通过进行灵敏度变化校正、阴影校正和白平衡校正而获得的像素值Cij。

GAij＝GVij×GSij×GWij···(7)

图8是示出校正处理部的操作的流程图。在步骤ST1中，校正处理部获取偏振图像。在从偏振图像获取部20获取偏振图像之后，校正处理部40进行到步骤ST5。此外，在步骤ST2中，校正处理部获取变化校正信息。在针对每个偏振方向的变化校正信息被存储在校正信息存储部30中的情况下，校正处理部40获取关于校正目标像素的偏振方向的变化校正信息。在针对每个像素的变化校正信息被存储在校正信息存储部30中的情况下，校正处理部40获取关于校正目标像素的像素位置的变化校正信息。在获取到关于校正目标像素的变化校正信息之后，校正处理部40进行到步骤ST3。

在步骤ST3中，校正处理部40获取阴影校正信息。在从校正信息存储部30获取到关于校正目标像素的阴影校正信息之后，校正处理部40进行到步骤ST4。

在步骤ST4中，校正处理部获取白平衡校正信息。在获取到由白平衡检测机制生成的白平衡校正信息、取决于例如由用户限定的照明设置的白平衡校正信息或者基于偏振图像生成的白平衡校正信息之后，校正处理部40进行到步骤ST5。

在步骤ST5中，校正处理部执行校正计算处理。校正处理部40通过使用在步骤ST2至ST4的处理期间获取的校正信息来设定偏振图像校正信息GAij。此外，校正处理部40通过使用所设定的偏振图像校正信息GAij执行如式(3)所指示的计算，来生成经过灵敏度变化校正和其他校正的偏振图像。

应当注意，可以通过优先获取任何校正信息来执行步骤ST2至ST4中的处理。此外，可以根据需要执行步骤ST3或ST4中的处理。例如在变化校正信息包括用于进行阴影校正的信息的情况下，应该省略步骤ST3中的处理。此外，在偏振图像是彩色图像的情况下，应该执行步骤ST4中的处理。此外，校正处理部40可以根据需要重复图8所示的处理以处理偏振图像的所有像素。

图9和图10示出了校正处理部的处理结果。图9的(a)示出了例如通过将非偏振光照射到偏振图像获取部20上而获得的偏振图像的亮度统计图(luminance histogram)。应当注意，所示出的亮度统计图涉及不同的偏振方向。在一些情况下，与不同偏振方向相关的亮度统计图的平均亮度值可能由于例如由偏振器形成方面的困难引起的灵敏度变化而彼此不同。

这里，在如稍后结合校正信息生成部的第一实施方式描述的那样针对每个偏振方向计算偏振图像校正信息的情况下，进行像素值校正以使得不同偏振方向在平均亮度值方面等于具有最大平均亮度值的偏振方向。因此，如图9的(b)所示，与经处理的偏振图像的不同偏振方向相关的亮度统计图是这样，使得不同偏振方向的平均亮度值彼此相等。

此外，在如稍后结合校正信息生成部的实施方式描述的那样根据所有像素的平均值来针对每个像素计算偏振图像校正信息的情况下，进行像素值校正以使得每个像素的像素值等于所有像素的平均值。因此，如图9的(c)所示，与经处理的偏振图像的不同偏振方向相关的亮度统计图是这样，使得变化小于图9的(a)和(b)所示的变化而与偏振方向无关，并且因此该模式表示平均亮度值。

图10的(a)示出了在捕获具有均匀亮度的对象的图像时受灵敏度变化和画面左上角的阴影影响的偏振图像。校正处理部40通过例如根据上面的式(5)计算偏振图像校正信息GAij，并且通过使用所计算的偏振图像校正信息GAij，来执行校正处理以校正灵敏度变化和阴影。因此，如图10的(b)所示，从校正处理部40输出的经过校正处理的偏振图像是经过灵敏度变化校正和阴影校正的高质量偏振图像。

如上所述，本技术能够对例如由偏振图像获取部20获取的偏振图像的灵敏度变化进行校正。因此，能够获得高质量偏振图像。此外，由于可以获得高质量偏振图像，因此可以在例如对偏振图像执行处理时避免由于灵敏度变化导致的处理性能劣化。

<4.变化校正信息的生成>

现在将描述变化校正信息的生成。校正信息生成部50包括测量光照射部和校正信息生成处理部。测量光照射部将具有均匀强度的测量光照射到获取偏振图像的偏振图像获取部20上。校正信息生成处理部根据在从测量光照射部照射测量光的情况下由偏振图像获取部获取的偏振图像来生成变化校正信息，该变化校正信息对由于偏振方向的差异而在偏振图像中引起的灵敏度变化进行校正。此外，校正信息生成处理部将生成的变化校正信息存储在校正信息存储部30中。在要生成变化校正信息时，优选的是通过使用足够明亮的测量光增加曝光时间来获取测量偏振图像，以避免噪声引起的不利影响。此外，可以通过对多个获取的偏振图像执行平均处理并使用平均偏振图像来减小测量偏振图像中的噪声。如上所述，在所采用的测量偏振图像没有受噪声显著影响时，可以适当地生成根据偏振图像获取部20的变化校正信息。

图11示出了由偏振图像获取部获取的测量偏振图像的一部分。图11的(a)示出了测量偏振图像是黑白图像的情况。图11的(b)示出了测量偏振图像是彩色图像的情况。此外，附图标记“C1”表示处于测量偏振图像中并且具有第一偏振方向的像素的像素值。附图标记“C2”表示处于测量偏振图像中并且具有第二偏振方向的像素的像素值。附图标记“C3”表示处于测量偏振图像中并且具有第三偏振方向的像素的像素值。附图标记“C4”表示处于测量偏振图像中并且具有第四偏振方向的像素的像素值。附图标记“R1”表示处于测量偏振图像中并且具有第一偏振方向的红色像素的像素值。附图标记“R2”表示处于测量偏振图像中并且具有第二偏振方向的红色像素的像素值。附图标记“R3”表示处于测量偏振图像中并且具有第三偏振方向的红色像素的像素值。附图标记“R4”表示处于测量偏振图像中并且具有第四偏振方向的红色像素的像素值。类似地，附图标记“G1”至“G4”表示具有不同偏振方向的绿色像素的像素值，并且附图标记“B1”至“B4”表示具有不同偏振方向的蓝色像素的像素值。应当注意，附图标记“C1”至“C4”、“R1”至“R4”、“G1”至“G4”和“B1”至“B4”是通过排除黑电平的像素值BK而获得的像素值。此外，第一偏振方向至第四偏振方向被限定成允许对偏振模型方程进行拟合。此外，在稍后描述的第三实施方式中，偏振方向被设定为具有90度的角度差。

<4-1.校正信息生成部的第一实施方式>

图12示出了校正信息生成部的第一实施方式。校正信息生成部50-1的测量光照射部51-1使用照射平行的非偏振光作为测量光的光源。校正信息生成处理部52-1根据在测量光照射部51-1将测量光照射到偏振图像获取部20上的情况下生成的偏振图像来生成变化校正信息。

图13是示出根据第一实施方式的操作的流程图。在步骤ST11中，校正信息生成部通过使用平行的非偏振光来获取测量偏振图像。校正信息生成部50-1使测量光照射部51-1将平行的非偏振光照射到偏振图像获取部20上，允许校正信息生成处理部52-1获取由偏振图像获取部20生成的测量偏振图像并且然后进行到步骤ST12。

在步骤ST12中，校正信息生成部生成变化校正信息。基于所获取的测量偏振图像，校正信息生成部50-1中的校正信息生成处理部52-1如稍后所述的那样，生成指示针对每个偏振方向或每个像素的校正值的变化校正信息，并且然后进行到步骤ST13。

在步骤ST13中，校正信息生成部使得变化校正信息被存储。校正信息生成部50-1中的校正信息生成处理部52-1使校正信息存储部30存储生成的变化校正信息。

现在将描述变化校正信息的生成。在使用平行的非偏振光作为照明光的情况下，理想的测量偏振图像使得像素值均彼此相等，而与偏振方向和像素位置无关。然而，如果根据偏振器的偏振方向发生了灵敏度变化，则根据像素的偏振方向发生像素值变化。因此，校正信息生成部50-1中的校正信息生成处理部52-1生成校正测量偏振图像中的像素值变化的并且指示针对每个偏振方向或每个像素的校正值的变化校正信息。

在测量偏振图像是黑白图像的情况下，校正信息生成处理部52-1通过根据图11A所示的测量偏振图像的整个区域或中心区域中的每个偏振方向的平均像素值(C1mean，C2mean，C3mean，C4mean)执行如式(8)或式(9)所指示的计算来计算出基准像素值Cbase。

Cbase＝(C1mean+C2mean+C3mean+C4mean)/4···(8)

Cbase＝Max(C1mean，C2mean，C3mean，C4mean)···(9)

接下来，校正信息生成处理部52-1通过执行如式(10)至式(13)所指示的计算来生成针对每个偏振方向的变化校正信息。应当注意，“GVd1”表示针对第一偏振方向的校正增益，并且“GVd2”至“GVd4”分别表示针对第二偏振方向至第四偏振方向的校正增益。此外，与使用式(9)相比，使用式(8)计算基准像素值Cbase时，计算出的基准像素值Cbase不易受例如噪声的影响。此外，在使用式(9)计算基准像素值Cbase时，校正增益的值不小于“1”。因此，通过使用变化校正信息执行校正处理不会降低像素值或使饱和像素值去饱和。

GVd1＝Cbase/C1mean···(1O)

GVd2＝Cbase/C2mean···(11)

GVd3＝Cbase/C3mean···(12)

GVd4＝Cbase/C4mean···(13)

在测量偏振图像是彩色图像的情况下，校正信息生成处理部52-1根据图11的(b)所示的测量偏振图像执行类似处理。当生成例如关于红色像素的变化校正信息时，校正信息生成处理部52-1根据测量偏振图像的整个区域或中心区域中的红色像素的每个偏振方向的平均像素值(R1mean，R2mean，R3mean，R4mean)如式(14)或式(15)所指示的那样计算基准像素值Cbase。

Rbase＝(R1mean+R2mean+R3mean+R4mean)/4···(14)

Rbase＝Max(R1mean，R2mean，R3mean，R4mean)···(15)

接下来，校正信息生成处理部52-1通过执行如式(16)至式(19)所指示的计算来生成针对红色像素的每个偏振方向的变化校正信息。应当注意，“GVd1R”表示针对红色像素的第一偏振方向的校正增益，并且“GVd2R”至“GVd4R”分别表示针对红色像素的第二偏振方向至第四偏振方向的校正增益。

GVd1R＝Rbase/R1mean···(16)

GVd2R＝Rbase/R2mean···(17)

GVd3R＝Rbase/R3mean···(18)

GVd4R＝Rbase/R4mean···(19)

此外，校正信息生成处理部52-1通过以与红色像素的情况类似的方式对绿色像素和蓝色像素执行处理，来另外生成针对绿色像素的每个偏振方向的变化校正信息和针对蓝色像素的每个偏振方向的变化校正信息。

此外，在要生成针对每个像素的变化校正信息的情况下，校正信息生成处理部52-1如式(20)所指示的那样对每个像素执行计算。

GVij＝Cbase/Cij···(20)

在测量偏振图像是彩色图像的情况下，校正信息生成处理部52-1根据图11的(b)所示的测量偏振图像对每种颜色执行类似处理。当生成例如针对红色像素的变化校正信息时，校正信息生成处理部52-1如式(21)所指示的那样对每个像素执行计算。

GVRij＝Rbase/Rij···(21)

此外，校正信息生成处理部52-1通过以与红色像素的情况类似的方式对绿色像素和蓝色像素执行处理，来另外生成针对每个绿色像素的变化校正信息GVGij和针对蓝色像素的每个偏振方向的变化校正信息GVBij。校正信息生成处理部52-1使校正信息存储部30存储生成的变化校正信息。

<4-2.校正信息生成部的第二实施方式>

图14是示出校正信息生成部的第二实施方式的图。校正信息生成部50-2中的测量光照射部51-2包括球状漫射板DBa和光源LT。测量光照射部51-2的球状漫射板DBa被配置成使得球状中心与偏振图像获取部20的主点重合，并且使得经由球状漫射板DBa入射到偏振图像获取部20上的测量光在该球状漫射板DBa的任何点处的天顶角θ为0(零)。基于在测量光照射部51-2将测量光照射到偏振图像获取部20上的情况下生成的偏振图像，校正信息生成处理部52-2生成变化校正信息。

图15是示出根据第二实施方式的操作的流程图。在步骤ST21中，校正信息生成部通过使用球状漫射板获取测量偏振图像。校正信息生成部50-2中的测量光照射部51-2通过球状漫射板DBa将测量光照射到校正信息生成部50-2上。校正信息生成部50-2中的校正信息生成处理部52-2获取由偏振图像获取部20生成的测量偏振图像，并且然后进行到步骤ST22。

在步骤ST22中，校正信息生成部生成变化校正信息。在以天顶角θ为0(零)的方式提供照明的情况下，如前文所述，最小亮度Imin等于最大亮度Imax。更具体地，在不发生灵敏度变化的情况下，像素值彼此相等，而与偏振方向无关。因此，基于所获取的测量偏振图像，校正信息生成部50-2中的校正信息生成处理部52-2如稍后所述的那样生成指示针对每个偏振方向或每个像素的校正值的变化校正信息，并且然后进行到步骤ST23。

在步骤ST23中，校正信息生成部使得变化校正信息被存储。校正信息生成部50-2中的校正信息生成处理部52-2使校正信息存储部30存储生成的变化校正信息。

现在将描述变化校正信息的生成。在以天顶角θ为0(零)的方式提供照明的情况下，由偏振图像获取部20获取的理想测量偏振图像是这样，使得像素值彼此相等，而与偏振方向和像素位置无关。然而，如果根据偏振器的偏振方向发生了灵敏度变化，则根据像素的偏振方向发生像素值变化。因此，校正信息生成部50-2中的校正信息生成处理部52-2生成校正测量偏振图像中的像素值变化并且指示针对每个偏振方向或每个像素的校正值的变化校正信息。

在测量偏振图像是黑白图像的情况下，校正信息生成处理部52-2通过基于图11的(a)所示的测量偏振图像如在第一实施方式的情况下那样地执行如式(8)至式(13)所指示的计算，来生成针对每个偏振方向的变化校正信息。而且，在测量偏振图像是彩色图像的情况下，校正信息生成处理部52-2根据图11的(b)所示的测量偏振图像对每种颜色执行类似处理。在例如关于红色像素的变化校正信息的情况下，校正信息生成处理部52-2通过执行如式(14)至式(19)所指示的计算来生成针对红色像素的每个偏振方向的变化校正信息，如在第一实施方式的情况下那样地。此外，校正信息生成处理部52-2通过以与红色像素的情况类似的方式对绿色像素和蓝色像素执行处理，来生成针对绿色像素的每个偏振方向的变化校正信息和针对蓝色像素的每个偏振方向的变化校正信息。

此外，如果在要生成针对每个像素的变化校正信息的情况下测量偏振图像是黑白图像，则校正信息生成处理部52-2如式(20)所指示的那样对每个像素执行计算。而且，如果测量偏振图像是彩色图像，则校正信息生成处理部52-2如式(21)所指示的那样对每个像素执行计算。此外，校正信息生成处理部52-2通过以与红色像素的情况类似的方式对绿色像素和蓝色像素执行处理，来生成针对每个绿色像素的变化校正信息和针对蓝色像素的每个偏振方向的变化校正信息。

<4-3.校正信息生成部的第三实施方式>

图16是示出校正信息生成部的第三实施方式的图。校正信息生成部50-3中的测量光照射部51-3包括板状漫射板DBb和光源LT。基于关于偏振图像获取部20的焦距信息和光轴中心信息，校正信息生成处理部52-3通过使用在测量光照射部51-3经由板状漫射板将测量光照射到偏振图像获取部20上的情况下生成的偏振图像来生成校正信息。

图17是示出根据第三实施方式的操作的流程图。在步骤ST31中，校正信息生成部通过使用板状漫射板获取测量偏振图像。校正信息生成部50-3中的校正信息生成处理部52-3经由板状漫射板DBb将测量光照射到校正信息生成部50-3上。校正信息生成部50-3中的校正信息生成处理部52-3获取由偏振图像获取部20生成的测量偏振图像，并且然后进行到步骤ST33。

在步骤ST32中，校正信息生成部获取光轴中心信息和焦距信息。在获取指示光轴中心的位置的光轴中心信息和指示在板状漫射板的图像捕获时的焦距的焦距信息之后，校正信息生成部50-3中的校正信息生成处理部52-3进行到步骤ST33。应当注意，光轴中心信息和焦距信息可以由用户输入或者根据偏振图像获取部20使用的成像光学系统的特性预先获取，并且然后被存储在校正信息生成处理部52-3中。另外的替选方案是执行校准以获取光轴中心信息和焦距信息。应当注意，可以仅在要生成针对每个像素的校正信息的情况下执行步骤ST32中的处理。

在步骤ST33中，校正信息生成部生成变化校正信息。基于所获取的测量偏振图像，校正信息生成部50-2中的校正信息生成处理部52-2如稍后所述的那样生成指示针对每个偏振方向或每个像素的校正值的变化校正信息，并且然后进行到步骤ST34。

在步骤ST34中，校正信息生成部使得变化校正信息被存储。校正信息生成部50-3中的校正信息生成处理部52-3使校正信息存储部30存储生成的变化校正信息。

现在将描述变化校正信息的生成。在测量偏振图像的光轴中心附近的区域中，天顶角θ几乎等于0(零)。而且，天顶角θ在远离光轴的视角处较大。此外，在天顶角θ几乎等于0(零)的情况下，可以认为最小亮度Imin和最大亮度Imax基本相等。更具体地，在不发生灵敏度变化的情况下，像素值基本彼此相等，而与偏振方向无关。因此，基于测量图像的光轴中心附近区域的图像，校正信息生成部50-3中的校正信息生成处理部52-3生成指示针对每个偏振方向的校正值的变化校正信息。

在测量偏振图像是黑白图像的情况下，校正信息生成处理部52-3通过基于图11的(a)所示的测量偏振图像如在第一实施方式的情况下那样地执行如式(8)至式(13)所指示的计算，来生成针对每个偏振方向的变化校正信息。而且，在测量偏振图像是彩色图像的情况下，校正信息生成处理部52-3基于图11的(b)所示的测量偏振图像对每种颜色执行类似处理。例如在要生成关于红色像素的变化校正信息的情况下，校正信息生成处理部52-3通过执行如式(14)至式(19)所指示的计算来生成针对红色像素的每个偏振方向的变化校正信息，如在第一实施方式的情况下那样地。此外，校正信息生成处理部52-3通过以与红色像素的情况类似的方式对绿色像素和蓝色像素执行处理，来生成针对绿色像素的每个偏振方向的变化校正信息和针对蓝色像素的每个偏振方向的变化校正信息。

现在将描述要针对每个像素生成变化校正信息的情况。图18示出了偏振图像获取部捕获板状漫射板的图像的情况。当测量偏振图像中的像素位置远离偏振图像获取部20的光轴中心时，法线的倾斜度(天顶角θ)较高。图18的(a)从与偏振图像获取部20中的成像光学系统的光轴方向正交的方向上的视点示出了作为偏振图像获取部20中的成像光学系统的中心的主点与板状漫射板DBb之间的关系。而且，图18的(b)从光轴方向上的视点示出了该关系。应当注意，图18的(c)示出了测量偏振图像中的像素的视点方向彼此平行时的法线方向。

如上所述，法线的倾斜度随着测量偏振图像中的像素而变化，并且在像素位置从光轴中心向外移动时增加。更具体地，天顶角θ是这样，使得最小亮度Imin与最大亮度Imax之间的差随着像素位置从光轴中心向外移动而增加，如图18的(d)所述的那样。

因此，校正信息生成处理部52-3根据光轴中心位置、焦距和校正目标像素位置计算在校正目标像素位置处观察到的法线，并且将计算出的法线应用于偏振模型方程。此外，校正信息生成处理部52-3根据光轴中心附近的像素值设定基准值(Imax+Imin)/2，将该基准值应用到偏振模型方程，计算理想亮度值并且生成关于校正目标像素位置的变化校正信息。

图19是示出对法线的计算的图。图19的(a)示出了偏振图像获取部20和板状漫射板DBb的布置。图19的(b)示出了方位角φ。图19的(c)描绘了天顶角θ。此外，在图19中假设光轴中心LC处于坐标(Cx，Cy)处，并且校正目标像素HP处于坐标(Hx，Hy)处。可以根据式(22)将(以mm表示的)焦距fm转换为以像素为单位的焦距f。应当注意，式(22)中的“ps”表示像素的像素尺寸(以mm/像素表示)。

f＝fm/ps···(22)

可以根据式(23)计算校正目标像素HP的方位角φ。此外，可以根据式(24)计算校正目标像素HP的天顶角θ。

[数学式3]

此外，在从板状漫射板的后部提供照明以便将测量光照射到偏振图像获取部20上的情况下，可以将测量光视为原则上不会引起镜面反射的漫反射光。校正信息生成处理部52-3通过使用照射测量光的情况下由偏振图像获取部20获取的偏振图像的像素值来对由式(1)表示的偏振模型方程执行拟合。此外，式(1)可以由式(25)表示，并且式(25)中的偏振度ρ可以根据式(2)来计算。

[数学式4]

此外，由于根据式(24)计算了天顶角θ，因此根据式(26)计算偏振度ρ。应当注意，式(26)被称为指示漫反射光的偏振度的式子。假设折射率n表示板状漫射板的折射率。

[数学式5]

在如上所述的那样执行算术处理时，在偏振模型方程中，指示校正目标像素HP的偏振方向的偏振角vpol、方位角φ和偏振度ρ是已知值。因此，估计((Imax+Imin)/2)使得能够计算出校正目标像素HP的理想亮度lpol。

在估计((Imax+Imin)/2)时，将偏振方向相差90度的像素值的平均值假设为估计值。式(27)表示偏振方向相差90度的两个像素值lpol、lpol+90的加。根据式(27)明显的是，(Imax+Imin)是像素值lpol和像素值lpol+90相加的结果。

[数学式6]

因此，校正信息生成处理部52-3可以将偏振方向相差90度的像素的平均像素值用作((Imax+Imin)/2)的估计值。此外，在估计((Imax+Imin)/2)估计时，使用在光轴中心附近的区域中的偏振方向相差90度的像素来消除天顶角θ的影响。

更具体地，校正信息生成处理部52-3通过使用光轴中心附近的区域中的针对每个偏振方向的相同数量的像素值(具有i方向的m个像素值和具有j方向的m个像素值)来执行如式(28)所指示的计算，并且将计算出的平均值视为估计值((Imax+Imin)/2)base。

[数学式7]

此外，校正信息生成处理部52-3通过使用指示校正目标像素HP的偏振方向的偏振角vpol、校正目标像素HP的方位角φ、偏振度ρ和估计值((Imax+Imin)/2)base执行如式(29)所指示的计算来计算出理想亮度值ID。

[数学式8]

此外，校正信息生成处理部52-3根据像素位置(i，j)处的校正目标像素HP的像素值Cij和理想亮度值IDij，通过使用式(30)来生成变化校正信息GVij。

GVij＝IDij/Cij···(30)

如上所述，校正信息生成处理部52-3将偏振图像的每个像素视为校正目标像素，针对每个像素生成校正信息GV并且使校正信息存储部30存储生成的校正信息GV。

而且，在使用远心光学系统作为偏振图像获取部20的成像光学系统的情况下，无论是使用板状漫射板还是球状漫射板，每个像素都面向漫射板。因此，在使用板状漫射板和远心光学系统的情况下，可以以与第二实施方式类似的方式生成变化校正信息。

<4-4.校正信息生成部的第四实施方式>

图20是示出校正信息生成部的第四实施方式的图。校正信息生成部50-4中的测量光照射部51-4进行操作，使得来自光源LT的照明光经由板状漫射板DBb入射在偏振图像获取部20上。校正信息生成处理部52-4通过控制旋转部53使校正目标像素面向板状漫射板DBb。旋转部53使偏振图像获取部20在横滚方向(pan direction)或俯仰方向上旋转。此外，校正信息生成处理部52-4通过使用校正目标像素周围的像素的像素值和面向板状漫射板DBb的校正目标像素的像素值，以与第一实施方式或第二实施方式类似的方式生成关于校正目标像素的变化校正信息。

图21是示出根据第四实施方式的操作的流程图。在步骤ST41中，校正信息生成部使校正目标像素面向板状漫射板。校正信息生成部50-4在横滚方向或俯仰方向上驱动偏振图像获取部20，直到偏振图像获取部20的校正目标像素面向板状漫射板。完成步骤ST41后，校正信息生成部50-4进行到步骤ST42。

在步骤ST42中，校正信息生成部50-4通过使用板状漫射板获取测量偏振图像。校正信息生成部50-1使测量光照射部51-1经由板状漫射板将照明光照射到偏振图像获取部20上，使得校正信息生成处理部52-4获取由偏振图像获取部20生成的测量偏振图像并且然后进行到步骤ST43。

在步骤ST43中，校正信息生成部生成变化校正信息。校正信息生成部50-4中的校正信息生成处理部52-4生成指示针对校正目标像素或校正目标像素的偏振方向的校正值的变化校正信息，如在第一实施方式和第二实施方式的情况下那样，并且然后进行到步骤ST44。

在步骤ST44中，校正信息生成部确定是否终止变化校正信息生成处理。校正信息生成部50-4确定是否完成了关于期望像素的变化校正信息的生成。在没有针对一个或更多个像素完成变化校正信息的生成的情况下，校正信息生成部50-4进行到步骤ST45。而且，在针对期望像素完成了变化校正信息的生成的情况下，校正信息生成部50-4进行到步骤ST46。

在步骤ST45中，校正信息生成部更新校正目标像素。校正信息生成部50-4将其变化校正信息尚未被生成的像素视为新校正目标像素，返回到步骤ST41并且使该新校正目标像素面向板状漫射板。

在步骤ST46中，校正信息生成部使得变化校正信息被存储。校正信息生成部50-4中的校正信息生成处理部52-4使校正信息存储部30存储生成的变化校正信息。

此外，在要在横滚方向或俯仰方向上调整偏振图像获取部20的取向以使校正目标像素面向板状漫射板的情况下，需要高精度的取向调整机制来进行调整，直到每个像素面向板状漫射板。因此，可以在将由多个像素形成的每个区域中的像素视为校正目标像素的情况下生成变化校正信息，并且可以将生成的变化校正信息用作针对该区域中的每个像素的变化校正信息。

以上已经参照将针对每个偏振方向生成变化校正信息的情况和将针对每个像素生成变化校正信息的情况描述了第一实施方式至第三实施方式。此外，已经参照将针对每个像素生成变化校正信息的情况描述了第四实施方式。然而，第四实施方式中的校正信息生成部可以针对每个偏振方向或每个像素生成变化校正信息，并且使校正信息存储部30存储所生成的变化校正信息。例如，在具有相同偏振方向的像素的灵敏度变化明显小于偏振图像获取部20中的阈值的情况下，生成针对每个偏振方向的变化校正信息。而且，在具有相同偏振方向的像素的灵敏度变化明显不小于阈值的情况下，生成针对每个像素的变化校正信息。应当注意，在针对每个偏振方向生成变化校正信息的情况下，指示变化校正信息的数据量小于在针对每个像素生成变化校正信息的情况下的数据量。因此，可以减小校正信息存储部30的存储容量。此外，校正处理部40不需要从校正信息存储部30读取针对每个像素的变化校正信息。因此，可以高效地执行校正处理。此外，即使在要针对每个像素生成变化校正信息的情况下遇到显著变化，也可以比要针对每个偏振方向生成变化校正信息的情况更精确地执行校正处理。

<5.替选配置和操作>

顺便提及，为了生成变化校正信息，用于将偏振图像获取部20安装在例如各种设备中的预定的成像光学系统被附接到偏振图像获取部20。在这种情况下，根据预定的成像光学系统的特性的测量光通过偏振器和滤色器入射到图像传感器200上。因此，校正信息生成部50能够针对每个像素生成变化校正信息，以便生成用于校正由预定成像光学系统引起的阴影以及例如由偏振器变化引起的灵敏度变化的变化校正信息。

此外，当在不使用成像光学系统的情况下针对每个像素生成变化校正信息时，校正信息生成部能够生成用于仅校正例如由偏振器变化引起的灵敏度变化的变化校正信息。此外，在通过使用仅校正灵敏度变化的针对每个像素的变化校正信息校正利用附接的成像光学系统获取的偏振图像的像素值的情况下，校正后的偏振图像中的像素值变化表示由成像光学系统的特性引起的变化。因此，使用仅校正灵敏度变化的针对每个像素的变化校正信息使得可以测量成像光学系统的与偏振图像获取有关的特性。

<6.示例性应用>

根据本公开的技术可用于各种产品。根据本公开的技术可以被实现为例如要安装在例如汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)的各种类型的移动体中之一中的设备。

图22是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施方式的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图22所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图22所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。

车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。

图23示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图23示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。

布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。

回到图22，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理,以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F,调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM)、全球互通微波接入(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。

专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以通过，接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统(PHS)或具有定位功能的智能电话。

信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图22的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。

顺便提及，在图22所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。

在上述车辆控制系统7000中，成像部7410、7910、7912、7914、7916、7918使用偏振图像获取部。此外，包括在图22所示的示例性应用中的集成控制单元7600包括校正信息存储部30和校正处理部40。这种配置使得成像部7410、7910、7912、7914、7916、7918能够获取具有不显著的灵敏度变化的偏振图像。因此，所获取的偏振图像可以用于例如驾驶辅助和驾驶控制。应当注意，校正信息存储部30和校正处理部40可以由用于图22所示的集成控制单元7600的模块(例如，由单个管芯形成的集成电路模块)来实现。

本说明书中描述的一系列处理可以由硬件、软件或者硬件和软件的组合来执行。在由软件执行这些处理的情况下，可以将记录了处理序列的程序安装在专用硬件中包含的计算机的存储器中并且然后执行该程序，或者可以将程序安装在能够执行各种处理的通用计算机中并且然后执行该程序。

例如，可以将程序预先记录在用作记录介质的硬盘、SSD(固态驱动器)或者ROM(只读存储器)上。替选地，可以将程序临时或永久地存储(记录)在软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、BD(蓝光盘(Blu-ray，注册商标))、磁盘、半导体存储卡或其他可移除记录介质上。这样的可移除记录介质可以作为所谓的套装软件被提供。

作为将程序从可移除记录介质安装到计算机上的方法的替选方案，可以经由诸如LAN(局域网)或因特网的网络以无线或有线方式将程序从下载站点传输至计算机。在这样的情况下，计算机可以接收所传输的程序并且将其安装在内置硬盘或其他记录介质上。

本说明书中描述的优点仅是说明性的而非限制性的。本技术不限于上述的优点并且可以提供另外的优点。此外，对本技术的解释不限于结合前述实施方式描述的那些。本技术的实施方式以说明性方式公开了本技术。明显的是，在不脱离本技术的精神和范围的情况下，本领域技术人员可以修改或改变这些实施方式。更具体地，应该在考虑所附权利要求的情况下确定本技术的精神。

此外，根据本技术的图像处理设备也可以采用以下配置。

(1)一种图像处理设备，包括校正处理部，所述校正处理部使用预先生成的校正信息来校正由于偏振方向的差异而在偏振图像中引起的灵敏度变化。

(2)根据以上(1)所述的图像处理设备，其中，所述偏振图像是包括多个偏振方向中的每个偏振方向的像素的图像，并且所述偏振图像由具有偏振成像元件的偏振图像获取部获取，所述偏振成像元件设置有偏振器。

(3)根据以上(1)或(2)所述的图像处理设备，其中，针对每个偏振方向生成所述校正信息。

(4)根据以上(1)至(3)中任一项所述的图像处理设备，其中，针对所述偏振图像中的每个像素位置生成所述校正信息。

(5)根据以上(1)至(4)中任一项所述的图像处理设备，其中，所述校正信息包括用于校正所述偏振图像中的阴影的信息。

(6)根据以上(1)至(5)中任一项所述的图像处理设备，其中，所述偏振图像是彩色图像，并且针对所述偏振图像的每个颜色分量生成所述校正信息。

(7)根据以上(6)所述的图像处理设备，其中，所述校正信息包括用于校正所述偏振图像的白平衡的信息。

(8)根据以上(2)所述的图像处理设备，其中，所述校正信息是校正增益，基于在测量光照射部将具有均匀强度的测量光照射到所述偏振图像获取部上的情况下由所述偏振图像获取部获取的偏振图像，所述校正增益校正由于偏振方向的差异而在所述偏振图像中引起的灵敏度变化。

(9)根据以上(1)至(8)中任一项所述的图像处理设备，还包括校正信息存储部，所述校正信息存储部存储所述校正信息。

而且，根据本技术的信息生成设备也可以采用以下配置。

(1)一种信息生成设备，包括测量光照射部和校正信息生成部。所述测量光照射部将具有均匀强度的测量光照射到获取偏振图像的偏振图像获取部上。所述校正信息生成部基于在从所述测量光照射部照射所述测量光的情况下由所述偏振图像获取部获取的偏振图像来生成校正信息，所述校正信息用于校正由于偏振方向的差异而在所述偏振图像中引起的灵敏度变化。

(2)根据上述的(1)所述的信息生成设备，其中，所述测量光照射部照射非偏振光作为所述测量光。

(3)根据上述的(1)所述的信息生成设备，其中，所述测量光照射部经由球状漫射板将所述测量光照射到所述偏振图像获取部上。

(4)根据上述的(1)所述的信息生成设备，其中，所述测量光照射部经由板状漫射板将所述测量光照射到所述偏振图像获取部上，并且所述校正信息生成部改变所述偏振图像获取部相对于所述板状漫射板的取向并且然后生成所述校正信息。

(5)根据上述的(1)所述的信息生成设备，其中，所述测量光照射部经由板状漫射板将所述测量光照射到所述偏振图像获取部上，并且所述校正信息生成部基于所述偏振图像获取部的焦距和光轴中心来针对每个像素生成校正信息。

工业应用

基于在具有均匀强度的测量光照射到获取偏振图像的偏振图像获取部上的情况下获取的偏振图像，根据本技术的图像处理设备、信息生成设备和信息生成方法预先生成用于校正由于偏振方向的差异而在所获取的偏振图像中引起的灵敏度变化的校正信息，并且使用预先生成的校正信息对偏振图像执行校正处理以校正由于偏振方向的差异引起的灵敏度变化。因此，根据本技术的图像处理设备、信息生成设备和信息生成方法能够获取高质量偏振图像，并且适合于例如通过使用偏振图像执行三维形状识别的装置。

附图标记列表

10...偏振图像系统

20...偏振图像获取部

30...校正信息存储部

40...校正处理部

50、50-1、50-2、50-3、50-4...校正信息生成部

51-1、51-2、51-3、51-4...测量光照射部

52-1、52-2、52-3、52-4...校正信息生成处理部

53...旋转部

200...图像传感器

201...偏振器

202...滤色器

Claims (15)

1.一种图像处理设备，包括：

校正处理部，其使用预先生成的校正信息来校正由于偏振方向的差异而在偏振图像中引起的灵敏度变化。

2.根据权利要求1所述的图像处理设备，其中，所述偏振图像是包括多个偏振方向中的每个偏振方向的像素的图像，并且所述偏振图像由具有偏振成像元件的偏振图像获取部获取，所述偏振成像元件设置有偏振器。

3.根据权利要求1所述的图像处理设备，其中，针对每个偏振方向生成所述校正信息。

4.根据权利要求1所述的图像处理设备，其中，针对所述偏振图像中的每个像素位置生成所述校正信息。

5.根据权利要求1所述的图像处理设备，其中，所述校正信息包括用于校正在所述偏振图像中引起的阴影的信息。

6.根据权利要求1所述的图像处理设备，其中，所述偏振图像是彩色图像，并且针对所述偏振图像的每个颜色分量生成所述校正信息。

7.根据权利要求6所述的图像处理设备，其中，所述校正信息包括用于校正所述偏振图像的白平衡的信息。

8.根据权利要求2所述的图像处理设备，其中，所述校正信息是校正增益，基于在测量光照射部将具有均匀强度的测量光照射到所述偏振图像获取部上的情况下由所述偏振图像获取部获取的偏振图像，所述校正增益校正由于偏振方向的差异而在所述偏振图像中引起的灵敏度变化。

9.根据权利要求1所述的图像处理设备，还包括：

校正信息存储部，所述校正信息存储部存储所述校正信息。

10.一种信息生成设备，包括：

测量光照射部，其将具有均匀强度的测量光照射到获取偏振图像的偏振图像获取部上；以及

校正信息生成处理部，其基于在从所述测量光照射部照射所述测量光的情况下由所述偏振图像获取部获取的偏振图像来生成校正信息，所述校正信息用于校正由于偏振方向的差异而在所述偏振图像中引起的灵敏度变化。

11.根据权利要求10所述的信息生成设备，其中，所述测量光照射部照射非偏振光作为所述测量光。

12.根据权利要求10所述的信息生成设备，其中，所述测量光照射部经由球状漫射板将所述测量光照射到所述偏振图像获取部上。

13.根据权利要求10所述的信息生成设备，其中，所述测量光照射部经由板状漫射板将所述测量光照射到所述偏振图像获取部上，并且

所述校正信息生成处理部改变所述偏振图像获取部相对于所述板状漫射板的取向，并且然后生成所述校正信息。

14.根据权利要求10所述的信息生成设备，其中，所述测量光照射部经由板状漫射板将所述测量光照射到所述偏振图像获取部上，并且

所述校正信息生成处理部基于所述偏振图像获取部的焦距和光轴中心来针对每个像素生成校正信息。

15.一种信息生成方法，包括：

将具有均匀强度的测量光从测量光照射部照射到获取偏振图像的偏振图像获取部上；以及

由校正信息生成处理部基于在从所述测量光照射部照射所述测量光的情况下由所述偏振图像获取部获取的偏振图像来生成校正信息，所述校正信息用于校正由于偏振方向的差异而在所述偏振图像中引起的灵敏度变化。