CN108353153A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN108353153A
CN108353153A CN201680064325.3A CN201680064325A CN108353153A CN 108353153 A CN108353153 A CN 108353153A CN 201680064325 A CN201680064325 A CN 201680064325A CN 108353153 A CN108353153 A CN 108353153A
Authority
CN
China
Prior art keywords
component
pixel
polarized component
polarization
picture element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680064325.3A
Other languages
English (en)
Other versions
CN108353153B (zh
Inventor
栗田哲平
海津俊
近藤雄飞
平泽康孝
陆颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108353153A publication Critical patent/CN108353153A/zh
Application granted granted Critical
Publication of CN108353153B publication Critical patent/CN108353153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/02—Polarimeters of separated-field type; Polarimeters of half-shadow type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

偏振成像单元21生成包括多个偏振分量中的每个偏振分量的像素的偏振图像。去马赛克单元41通过使用偏振图像的目标像素的像素信号和位于目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来计算每个偏振分量的像素信号。在一个示例中，针对每个偏振分量，通过使用位于目标像素附近的每个相同偏振分量的像素的像素信号，来计算低频分量。此外，获取指示目标像素的像素信号与偏振图像的偏振分量的低频分量之间的关系的分量信息。此外，基于每个偏振分量的分量信息和低频分量，计算目标像素中的每个偏振分量的像素信号。可以针对偏振图像的每个像素获得每个偏振分量的像素信号，因此可以高分辨率地获取法线信息或非偏振光图像。

Description

图像处理装置和图像处理方法
技术领域
该技术使得可以从包括多个偏振分量中的每个偏振分量的像素的偏振图像获取高分辨率信息。
背景技术
在现有技术中，需要获取偏振信息以获得摄影对象的三维形状等。在一个示例中，专利文献1公开了一种图像捕获装置，该装置设置有具有彩色马赛克滤波器的图像捕获元件和具有限定彩色马赛克滤波器的每个单色像素内的不同角度的偏振透射平面的偏振器，使得生成指示颜色信息和偏振信息的信号。此外，通过使用指示颜色信息和偏振信息的信号来执行用于通过对通过每个单色像素内的多个偏振器单元传输的光线的强度进行平均来获取颜色强度信息的处理。此外，执行用于将通过每个单色像素内的偏振器单元传输的光线的强度与偏振器单元的偏振透射平面的角度之间的关系近似为正弦函数以获取偏振信息的处理。在专利文献2中，针对具有拜耳(Bayer)型彩色马赛克滤波器的图像捕获元件的绿色(G)像素设置四种类型的偏振器，从而生成颜色信息和偏振信息。此外，使用设置有四种类型的偏振器的绿色像素来获取红色(R)像素或蓝色(B)像素的位置处的偏振信息。此外，执行用于通过使用包括三个偏振器单元的三角形区域作为像素单元来根据生成的信号生成彩色强度图像的彩色马赛克插值处理，其中所述三个偏振器单元具有限定互不相同的角度的偏振透射平面并且彼此相邻。
引用列表
专利文献1：JP 4235252B
专利文献2：JP 4500360B
发明内容
技术问题
然而，专利文献1公开了其中具有互不相同的方向的透射偏振平面的四种类型的偏振器单元被布置在R、G和B的相同颜色的像素中的配置。因此，在执行用于通过对光的强度进行平均来获取颜色强度信息的处理以及用于通过正弦函数的近似来获取偏振信息的处理的情况下，所得到的颜色亮度信息和偏振信息将是具有降低的分辨率的信息。
另外，专利文献2公开了其中拜耳滤波器必须被用作彩色马赛克滤波器并且使用提供有四种类型的偏振器的绿色像素来生成偏振信息的配置。因此，如果摄影对象光中的绿色分量较小，则将不能获取偏振信息。
因此，本技术意在提供一种能够从包括多个偏振分量中的每个偏振分量的像素的偏振图像获取高分辨率信息的图像处理装置和图像处理方法。
问题解决方案
该技术的第一方面是一种图像处理装置，该装置包括：去马赛克单元，其被配置成使用包括多个偏振分量中的每个偏振分量的像素的偏振图像的目标像素的像素信号和位于目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来计算目标像素中的不同于偏振图像的偏振分量的每个偏振分量的像素信号。
在该技术中，针对包括多个偏振分量中的每个偏振分量的像素的偏振图像的目标像素来计算每个偏振分量的像素信号。在一个示例中，去马赛克单元针对每个相同偏振分量使用位于目标像素附近的像素的像素信号来执行二维滤波，并且计算每个偏振分量的低频分量。此外，去马赛克单元基于所计算的每个偏振分量的低频分量以及指示偏振图像的每个偏振分量的低频分量与目标像素的像素信号之间的关系的分量信息来计算目标像素中的每个偏振分量的像素信号。去马赛克单元通过将偏振图像的每个像素用作目标像素来生成每个偏振分量的偏振图像。此外，在包括所述多个偏振分量中的每个偏振分量的像素的偏振图像是彩色偏振图像的情况下，去马赛克单元针对每个颜色分量使用位于目标像素附近的每个相同偏振分量的像素的像素信号并且针对每个颜色分量计算每个偏振分量的像素信号。
另外，图像处理装置包括：法线信息获取单元，其被配置成使用由去马赛克单元计算的所述多个偏振分量中的每个偏振分量的像素信号来获取法线信息。在偏振图像是彩色偏振图像的情况下，法线信息获取单元通过使用由去马赛克单元针对每个偏振分量计算的每个颜色分量的像素信号来计算每个偏振分量的亮度，并且基于所计算的每个偏振分量的亮度来获取法线信息。此外，调节彩色偏振图像的白平衡，并且法线信息获取单元针对每个偏振分量使用由去马赛克单元使用经过白平衡调节的彩色偏振图像计算出的每个颜色分量的像素信号来计算每个偏振分量的色差，并且基于所计算的每个偏振分量的色差来获取法线信息。法线信息获取单元使用所述多个偏振分量中的每个偏振分量的亮度差或色差来对偏振特征模型进行拟合，并且根据经拟合的偏振特征模型获取法线信息。
另外，图像处理装置包括非偏振图像获取单元，该非偏振图像获取单元被配置成根据由去马赛克单元计算出的多个偏振分量中的每个偏振分量的像素信号来生成非偏振图像的像素信号。在偏振图像是彩色偏振图像的情况下，非偏振图像获取单元通过使用由去马赛克单元针对每个颜色分量计算的每个偏振分量的像素信号来针对每个颜色分量计算非偏振图像的像素信号。非偏振图像获取单元对所述多个偏振分量中的每个偏振分量的像素信号进行平均并且计算非偏振图像的像素信号。
此外，图像处理装置包括校正像素信息存储单元，该校正像素信息存储单元被配置成存储包括未能获得与入射光对应的像素信号的校正像素的位置信息的校正像素信息。去马赛克单元基于所述多个偏振分量的偏振特征模型、通过使用具有不同偏振分量的外围像素的像素信号来计算由校正像素信息指示的校正像素的像素信号。
该技术的第二方面是一种图像处理方法，该方法包括：使用包括多个偏振分量中的每个偏振分量的像素的偏振图像的目标像素的像素信号和位于目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来计算目标像素中的不同于偏振图像的偏振分量的每个偏振分量的像素信号。
发明的有益效果
根据本技术，包括多个偏振分量中的每个偏振分量的像素的偏振图像的目标像素的像素信号和位于目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号的使用使得用于计算目标像素中的不同于偏振图像的偏振分量的每个偏振分量的像素信号的去马赛克能够被执行。因此，可以针对每个像素获得多个偏振分量的像素信号，并且可以针对每个像素容易地获得例如法线信息或非偏振图像的像素信号之类的高分辨率信息。此外，本文中描述的效果仅仅是说明性的而非限制性的，或者可以存在另外的有益效果。
附图说明
[图1]图1是图示了第一实施例的配置的图。
[图2]图2是图示了偏振成像单元的配置的图。
[图3]图3是图示了偏振分量的图。
[图4]图4是图示了去马赛克单元的配置的图。
[图5]图5是被图示以描述低通滤波的图。
[图6]图6是图示了偏振分量之间的相关性的图。
[图7]图7是图示了每个偏振分量的偏振图像的图。
[图8]图8是被图示以描述摄影对象的形状与偏振图像之间的关系的图。
[图9]图9是图示了亮度与偏振角之间的关系的图。
[图10]图10是图示了偏振角与天顶角之间的关系的图。
[图11]图11是图示了法线信息的获取的情况的图。
[图12]图12是图示了第一实施例的操作的流程图。
[图13]图13是图示了去马赛克的流程图。
[图14]图14是图示了第二实施例的配置的图。
[图15]图15是图示了偏振成像单元的配置的图。
[图16]图16是图示了偏振分量的图。
[图17]图17是图示了去马赛克单元的配置的图。
[图18]图18是被图示以描述低通滤波的图。
[图19]图19是图示了针对每个颜色分量生成的每个偏振分量的偏振图像的图。
[图20]图20是图示了用于每个颜色的非偏振图像的图。
[图21]图21是图示了第二实施例的操作的流程图。
[图22]图22是图示了第三实施例的配置的图。
[图23]图23是图示了第三实施例的操作的流程图。
[图24]图24是图示了第四实施例的配置的图。
[图25]图25是图示了去马赛克/信号校正单元的配置的图。
[图26]图26是被图示以描述低通滤波的图。
[图27]图27是图示了每个偏振分量的像素信号与拟合曲线之间的关系的图。
[图28]图28是图示了第四实施例的操作的流程图。
[图29]图29是图示了去马赛克/信号校正处理的流程图。
[图30]图30是图示了彩色马赛克滤波器和偏振滤波器的图案的图。
[图31]图31是图示了车辆控制系统的概要配置的框图。
[图32]图32是图示了偏振成像单元的安装示例的图。
具体实施例
下面将描述用于实施本技术的方式。此外，将以下面的顺序给出描述。
1.第一实施例
2.第二实施例
3.第三实施例
4.第四实施例
5.其他实施例
6.应用示例
<1.第一实施例>
图1图示了本技术的图像处理装置的第一实施例的配置。图像处理装置11包括偏振成像单元21、去马赛克单元41、非偏振图像获取单元51以及法线信息获取单元61。
偏振成像单元21生成包括多个偏振分量中的每个偏振分量的像素的偏振图像的图像信号。图2图示了偏振成像单元的配置。偏振成像单元21被配置使得具有三个或更多个偏振方向上的像素配置的偏振滤波器211被布置在图像传感器210的入射表面上。此外，图2图示了其中每个像素是四种不同类型的偏振方向(由箭头指示的偏振方向)中的任一种偏振方向的偏振滤波器211被布置在图像传感器210的前表面上的情况。偏振成像单元21将所生成的偏振图像的图像信号输出至去马赛克单元41。如图3所示，将基于四个偏振方向是C1至C4偏振分量的假设来给出描述。
去马赛克单元41使用包括由偏振成像单元21生成的多个偏振分量中的每个偏振分量的像素的偏振图像的图像信号来执行去马赛克，并且针对每个偏振分量生成图像信号。在去马赛克时，通过使用偏振图像的目标像素的像素信号和位于目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号，计算目标像素中的不同于偏振图像的偏振分量的每个偏振分量的像素信号。图4图示了去马赛克单元的配置。去马赛克单元41包括低频分量计算单元411、分量信息获取单元412和信号计算单元413。
低频分量计算单元411通过针对相同偏振分量中的每个偏振分量使用位于由偏振成像单元21生成的偏振图像中的目标像素附近的像素的像素信号来计算每个偏振分量的低频分量。低频分量计算单元411针对每个偏振分量使用位于目标像素附近的相同偏振分量的像素的像素信号来执行二维滤波，并且计算每个偏振分量的低频分量。图5是被图示以描述低通滤波的图。低频分量计算单元411在一个示例中使用二维加权滤波器来计算低频分量。在图5中，(a)图示了在二维滤波器中使用的像素，并且在图5中，(b)图示了滤波器系数。低频分量计算单元411使用二维5×5抽头滤波器计算由对角线指示的目标像素的每个偏振分量的低频分量。此外，在图5中，(a)图示了目标像素是C3偏振分量的像素的情况。
在低频分量计算单元411计算每个偏振分量的低频分量的情况下，低频分量计算单元411通过使用相同偏振分量的像素的像素信号和与5×5抽头内的像素对应的滤波器系数来计算目标像素中的每个偏振分量的低频分量。具体地，通过将相同偏振分量的像素的信号乘以与每个偏振分量的像素对应的滤波器系数并且通过将相乘结果的加权和除以权重总和来计算低频分量。
如图5的(a)所示，在目标像素(x＝2，y＝2)是C3偏振分量的情况下，低频分量计算单元411使用公式(1)计算C3偏振分量的低频分量C3LPF。此外，在以下公式中，SCn(x，y)表示Cn偏振分量在坐标(x，y)处的像素信号。低频分量计算单元411使用公式(2)不仅计算目标像素中的C3偏振分量的低频分量SC3LPF，而且还计算目标像素中的C1偏振分量的低频分量SC1LPF。此外，低频分量计算单元411使用公式(3)来计算目标像素中的C2偏振分量的低频分量SC2LPF，并且使用公式(4)来计算目标像素中的C4偏振分量的低频分量SC4LPF。
SC3LPF＝((1*SC3(0,0)+6*SC3(2,0)+1*SC3(4,0)
+6*SC3(0,2)+36*SC3(2,2)+6*SC3(4,2)
+1*SC3(0,4)+6*SC3(2,4)+1*SC3(4,4))/64 (1)
SC1LPF＝((16*SC1(1,1)+16*SC1(3,1)+16*SC1(1,3)
+16*SC1(3,3))/64 (2)
SC2LPF＝((4*SC2(1,0)+4*SC2(3,0)+24*SC2(1,2)
+24*SC2(3,2)+4*SC2(1,4)+4*SC2(3,4))/64 (3)
SC4LPF＝((4*SC4(0,1)+24*SC4(2,1)+4*SC4(4,1)
+4*SC4(0,3)+24*SC4(2,3)+4*SC4(4,3))/64 (4)
低频分量计算单元411通过执行以上描述的处理来针对每个像素计算低频分量SC1LPF至SC4LPF，并且将低频分量SC1LPF至SC4LPF输出至分量信息获取单元412和信号计算单元413，其中所述处理是通过将由偏振成像单元21生成的偏振图像中的每个像素用作目标像素来执行的。
分量信息获取单元412获取指示针对偏振图像中的目标像素由低频分量计算单元411计算的偏振图像的偏振分量的低频分量与目标像素的像素信号之间的关系的分量信息。在一个示例中，分量信息获取单元412将通过将下述值设置为目标像素的像素信号(以下称为“高频添加增益”)而获得的增益设置为分量信息，所述值是通过将高频分量添加到目标像素的低频分量上而获得的。在目标像素在一个示例中是图5的(a)所示的坐标(2,2)处的像素——即C3偏振分量——的情况下，分量信息获取单元412使用公式(5)来计算高频添加增益SChpg。
SChpg＝SC3(2,2)/SC3LPF (5)
类似地，在目标像素是坐标(3,2)处的像素——即C2偏振分量——的情况下，分量信息获取单元412使用公式(6)来计算高频添加增益SChpg。
SChpg＝SC2(3,2)/SC2LPF (6)
分量信息获取单元412通过将由偏振成像单元21生成的偏振图像中的每个像素用作目标像素来计算每个像素位置处的高频添加增益SChpg，并且将所计算的高频添加增益SChpg输出至信号计算单元413。
信号计算单元413基于由低频分量计算单元411计算的每个偏振分量的低频分量和由分量信息获取单元412获取的分量信息来计算目标像素中的每个偏振分量的像素信号。信号计算单元413将目标像素的偏振图像的偏振分量的低频分量与像素信号之间的关系应用于另一偏振分量的低频分量与另一偏振分量的像素信号之间的关系。换言之，信号计算单元413根据由分量信息获取单元412计算的目标像素的高频添加增益和由低频分量计算单元411计算的目标像素的每个偏振分量的低频分量来计算目标像素中的每个偏振分量的像素信号。图6图示了偏振分量之间的关系。信号计算单元413将偏振图像中的目标像素的像素信号SCx与低频分量SCxLPF之间的关系应用于目标像素中的另一偏振分量的像素信号SCn(n≠x)与低频分量SCnLPF之间的关系，并且计算像素信号SCn。换言之，信号计算单元413基于公式(7)根据高频添加增益SChpg和低频分量SCnLPF来计算像素信号SCn。
SCn＝SCnLPF*SChpg (7)
现在描述目标像素是图5的(a)中的坐标(2,2)的情况。在这种情况下，信号计算单元413将C3偏振分量的像素信号SC3与低频分量SC3LPF之间的关系应用于C1偏振分量的像素信号SC1与低频分量SC1LPF之间的关系，并且因此基于公式(8)来计算C1偏振分量的像素信号SC1。
SC1＝SC1LPF*SChpg
＝SC1LPF*(SC3(2,2)/SC3LPF)
＝(16*SC1(1,1)+16*SC1(3,1)+16*SC1(1,3)
+16*SC1(3,3))*SC3(2,2)/(1*SC3(0,0)
+6*SC3(2,0)+1*SC3(4,0)+6*SC3(0,2)
+36*SC3(2,2)+6*SC3(4,2)+1*SC3(0,4)
+6*SC3(2,4)+1*SC3(4,4)) (8)
类似地，信号计算单元413将C3偏振分量的像素信号SC3与低频分量SC3LPF之间的关系应用于C2偏振分量的像素信号SC2与低频分量SC2LPF之间的关系或者C4偏振分量的像素信号SC4与低频分量SC4LPF之间的关系。换言之，信号计算单元413基于公式(9)和(10)来计算目标像素中的C2偏振分量的像素信号SC2和C4偏振分量的像素信号SC4。
SC2＝SC2LPF*SChpg
＝SC2LPF*(SC3(2,2)/SC3LPF) (9)
SC4＝SC4LPF*SChpg
＝SC4LPF*(SC3(2,2)/SC3LPF) (10)
此外，信号计算单元413通过将由偏振成像单元21生成的偏振图像中的每个像素用作目标像素来执行类似的处理，如图7所示生成每个偏振分量的偏振图像，并且将偏振图像输出至非偏振图像获取单元51和法线信息获取单元61。
非偏振图像获取单元51根据由去马赛克单元41生成的每个偏振分量的偏振图像来生成非偏振图像。非偏振图像获取单元51通过针对每个像素基于公式(11)对各个像素的偏振分量进行平均来计算像素信号，从而生成灰度非偏振图像。
SC(x,y)＝(SC1(x,y)+SC2(x,y)+SC3(x,y)+SC4(x,y))/4 (11)
法线信息获取单元61基于由去马赛克单元41生成的每个偏振分量的偏振图像来获取法线信息，例如，方位角、天顶角和法线图像。
现在参照图8来描述摄影对象的形状与偏振图像之间的关系。在一个示例中，如图8所示，用光源LT来照亮摄影对象OB，并且摄像机CM通过偏振板PL来捕获摄影对象OB。在这种情况下，在所捕获的图像中，拍摄对象OB的亮度取决于偏振板PL的偏振方向而变化。此外，为了便于描述，在一个示例中，通过旋转偏振板PL来执行图像捕获以获取多个偏振图像，并且最大亮度被设置为Imax并且最小亮度被设置为Imin。此外，当二维坐标中的x轴和y轴在偏振板PL的平面上时，将旋转偏振板PL时y轴方向相对于x轴的角度设置成偏振角υ。
当被旋转180度时，偏振板PL返回到原始偏振状态并且因此具有180度周期。此外，将观测到最大亮度Imax时的偏振角υ设置成方位角α。这样的定义使得可以通过公式(12)来表示在旋转偏振板PL时观测到的亮度I。此外，图9图示了亮度与偏振角之间的关系的示例。此外，该示例示出漫反射的偏振特征模型，并且在镜面反射的情况下，方位角偏离偏振角90度。
[数学.1]
在作为表示亮度与偏振角之间的关系的偏振特征模型公式的公式(12)中，偏振角υ在生成偏振图像时是明显的，并且因此最大亮度Imax、最小亮度Imin和方位角α是变量。因此，通过使用具有三个或更多个偏振方向的偏振图像的亮度来拟合公式(12)中表示的偏振特征模型公式使得可以区分作为基于被拟合的极化特征模型公式在其处获得最大亮度的偏振角的方位角α。
另外，用极坐标系来表示相对于物体表面的法线，并且法线被设置成方位角α和天顶角θ。此外，天顶角θ是从z轴到法线的角度，并且方位角α是如上所描述的y轴方向相对于x轴的角度。此处，在旋转偏振板PL时获得最小亮度Imin和最大亮度Imax的情况下，可以基于公式(13)来计算偏振度ρ。
[数学.2]
在漫反射的情况下，已知偏振度与天顶角之间的关系在一个示例中根据菲涅耳方程具有图10所示的特征。因此，可以根据图10所示的特征、基于偏振度ρ来区分天顶角θ。此外，图10所示的特征仅仅是说明性的，并且取决于摄影对象的折射率等而变化。在一个示例中，随着折射率增加，偏振度增加。
法线信息获取单元61以这种方式针对每个像素计算方位角α和天顶角θ，并且针对每个像素将所计算的方位角α和天顶角θ设置为法线信息。因此，法线信息获取单元61可以针对每个像素位置获取法线信息。图11图示了获取法线信息的情况。此外，黑色圆圈指示可以从其获取法线信息的像素。在相关技术的方法中，如图11的(b)所示，每2×2像素单元获取法线信息。另一方面，如图11的(a)所示，法线信息获取单元61可以针对每个像素位置获取法线信息。此外，法线信息获取单元61可以将方位角和天顶角转换成图像并且将方位角和天顶角设置为法线信息。在一个示例中，法线信息获取单元61将法线信息设置为双通道图像，并且将方位角和天顶角中的每一个表示为亮度值。
图12是图示了第一实施例的操作的流程图。在步骤ST1中，图像处理装置11获取偏振图像。图像处理装置11获取包括多个偏振分量中的每个偏振分量的像素的偏振图像，并且然后进行至步骤ST2。
在步骤ST2中，图像处理装置11执行去马赛克。图像处理装置11对在步骤ST1中获取的偏振图像执行去马赛克，生成每个偏振分量的偏振图像，并且然后进行至步骤ST3。
图13是图示了去马赛克的流程图。在步骤ST201中，图像处理装置11计算低频分量。图像处理装置11在一个示例中使用相同偏振分量的像素信号来执行二维滤波，计算目标像素中的每个偏振分量的低频分量并且然后进行至步骤ST202。
在步骤ST202中，图像处理装置11获取分量信息。图像处理装置11获取指示目标像素中的偏振图像的偏振分量的低频分量与目标像素的像素信号之间的关系的分量信息，并且然后进行至步骤ST203。
在步骤ST203中，图像处理装置11计算不同偏振分量的信号。图像处理装置11基于在步骤ST202中获取的分量信息和在步骤ST201中计算的每个偏振分量的低频分量来生成目标像素中的每个偏振分量的像素信号。此外，图像处理装置11针对在步骤ST1中获取的偏振图像的每个像素来执行步骤ST201至ST203中的处理、并且针对每个偏振分量生成指示每个像素的偏振分量的偏振图像，然后进行至图12的步骤ST3。
在步骤ST3中，图像处理装置11执行非偏振图像获取处理。在一个示例中，图像处理装置11使用通过在步骤ST2中执行去马赛克而获得的每个偏振分量的偏振图像来针对每个像素对偏振分量进行平均，通过将经平均的像素信号设置为相关像素的像素信号来获取非偏振图像，并且然后进行至步骤ST4。
在步骤ST4中，图像处理装置11执行法线信息获取处理。图像处理装置11通过使用通过在步骤ST2中执行去马赛克而获得的每个偏振分量的偏振图像来针对每个像素执行对偏振特征模型公式的拟合，基于经拟合的偏振特征模型公式来获取方位角或天顶角，并且将方位角或天顶角设置为法线信息。此外，可以对方位角和天顶角进行成像并且可以将方位角和天顶角设置为法线信息。
如以上所描述的，根据第一实施例，针对包括多个偏振分量中的每个偏振分量的像素的偏振图像中的每个像素来计算每个偏振分量的像素信号，并且因此去马赛克单元可以在不导致分辨率劣化的情况下生成每个偏振分量的偏振图像。此外，由去马赛克单元生成的每个偏振分量的偏振图像的使用使得可以在不导致分辨率劣化的情况下生成非偏振图像。此外，每个像素的多个偏振分量的像素信号的计算使得可以针对每个像素获取法线信息。
<2.第二实施例>
现在描述第二实施例。在以上描述的第一实施例中，描述了偏振成像单元21生成黑-和-白偏振图像的情况，但是在第二实施例中，将描述生成彩色偏振图像的情况。
图14图示了本技术的图像处理装置的第二实施例的配置。图像处理装置12包括偏振成像单元22、去马赛克单元42、彩色非偏振图像获取单元52以及法线信息获取单元62。
偏振成像单元22生成包括多个偏振分量中的每个偏振分量的像素的彩色偏振图像的图像信号。图15图示了偏振成像单元的配置。偏振成像单元22被配置使得具有三个或更多个偏振方向上的像素配置的偏振滤波器211被布置在图像传感器210的入射表面上。此外，图15图示了其中每个像素是四种不同类型的偏振方向(由箭头指示的偏振方向)中的任一种的偏振滤波器211被布置在图像传感器210的前表面上的情况。此外，彩色马赛克滤波器212被提供在偏振滤波器211的入射表面侧或图像传感器侧。彩色马赛克滤波器212是其中被设置为一个颜色分量单元的2×2像素和包括一个红色分量单元、一个蓝色分量单元和两个绿色分量单元的2×2颜色分量单元被重复提供的阵列。偏振成像单元22将所生成的彩色偏振图像的图像信号输出至去马赛克单元42。如图16所示，将基于红色分量的四个偏振方向被称为R1至R4偏振分量、蓝色分量的四个偏振方向被称为B1至B4偏振分量并且绿色分量的四个偏振方向被称为G1至G4偏振分量的假设来给出以下描述。
去马赛克单元42使用包括由偏振成像单元22生成的多个偏振分量中的每个偏振分量的像素的彩色偏振图像的图像信号来执行去马赛克，并且针对每个颜色分量生成每个偏振分量的图像信号。在去马赛克时，针对每个颜色分量使用偏振图像的目标像素的像素信号和位于目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号，并且针对每个颜色分量计算目标像素中的每个偏振分量的像素信号。图17图示了去马赛克单元的配置。去马赛克单元42包括低频分量计算单元421、分量信息获取单元422和信号计算单元423。
低频分量计算单元421针对每个颜色分量并且针对相同偏振分量中的每个偏振分量来使用由偏振成像单元22生成的彩色偏振图像中的位于目标像素附近的像素的像素信号，并且因此针对每个颜色分量来计算每个偏振分量的低频分量。低频分量计算单元421针对每个颜色分量的每个偏振分量使用位于目标像素附近的相同偏振分量的像素的像素信号来执行二维滤波，并且输出每个偏振分量的低频分量。图18是被图示以描述低通滤波的图。低频分量计算单元421在一个示例中使用二维加权滤波器来计算低频分量。在图18中，(a)图示了在二维滤波器中使用的像素，并且在图18中，(b)图示了滤波器系数。低频分量计算单元421在一个示例中使用9×9抽头二维滤波器来针对每个颜色分量针对由双线帧指示的目标像素中的每个偏振分量计算低频分量。此外，在图18中，(a)图示了目标像素是R3偏振分量的像素的情况。
在低频分量计算单元421针对每个颜色分量计算每个偏振分量的低频分量的情况下，低频分量计算单元421通过使用相同偏振分量和颜色分量的像素的像素信号并且使用与9×9抽头内的像素相对应的滤波器系数来针对每个分量颜色计算目标像素中的每个偏振分量的低频分量。具体地，针对每个偏振分量，将相同颜色分量和偏振分量的像素的信号乘以与该像素对应的滤波器系数，并且将相乘结果的加权和除以权重总和以计算低频分量。
如图18的(a)所示，在目标像素(x＝4，y＝4)是R3偏振分量的情况下，低频分量计算单元421使用公式(14)来计算R3偏振分量的低频分量R3LPF。此外，在下面描述的公式中，SRn(x，y)表示Rn偏振分量在坐标(x，y)处的像素信号，SGn(x，y)表示Gn偏振分量在坐标(x，y)处的像素信号，并且SBn(x，y)表示Bn偏振分量在坐标(x，y)处的像素信号。
低频分量计算单元421使用公式(15)来不仅计算目标像素中的R3偏振分量的低频分量SR3LPF而且计算目标像素中的R1偏振分量的低频分量SR1LPF。此外，低频分量计算单元421使用公式(16)来计算目标像素中的R2偏振分量的低频分量SR2LPF，并且使用公式(17)来计算目标像素中的R4偏振分量的低频分量SR4LPF。
SR3LPF＝(1*SR3(0,0)+14*SR3(4,0)+1*SR3(8,0)
+14*SR3(0,4)+196*SR3(4,4)+14*SR3(8,4)
+1*SR3(0,8)+14*SR3(4,8)+1*SR3(8,8))/256 (14)
SR1LPF＝(16*SR1(1,1)+48*SR1(5,1)+48*SR1(1,5)
+144*SR1(5,5))/256 (15)
SR2LPF＝(4*SR2(1,0)+12*SR2(5,0)+56*SR2(1,4)
+168*SR2(5,4)+4*SR2(1,8)
+12*SR2(5,8))/256 (16)
SR4LPF＝(4*SR4(0,1)+56*SR4(4,1)+4*SR4(8,1)
+12*SR4(0,5)+168*SR4(4,5)
+12*SR4(8,5))/256 (17)
此外，低频分量计算单元421不仅针对目标像素中的红色分量而且还针对目标像素中的绿色分量和蓝色分量来计算每个偏振分量的低频分量。在一个示例中，使用公式(18)来计算目标像素中的G3偏振分量的低频分量SG3LPF，并且使用公式(19)来计算目标像素中的B3偏振分量的低频分量SB3LPF。此外，低频分量计算单元421类似地计算绿色分量和蓝色分量的其他偏振分量的低频分量。
SG3LPF＝(8*SG3(2,0)+8*SG3(6,0)+8*SG3(0,2)
+112*SG3(4,2)+8*SG3(8,2)+112*SG3(2,4)
+112*SG3(6,4)+8*SG3(0,6)+112*SG3(4,6)
+8*SG3(8,6)+8*SG3(2,8)+8*SG3(6,8))/512 (18)
SB3LPF＝(64*SB3(2,2)+64*SB3(6,2)+64*SB3(2,6)
+64*SB3(6,6))/256 (19)
低频分量计算单元421通过将由偏振成像单元22生成的偏振图像中的每个像素用作目标像素来执行以上描述的处理，并且针对每个像素计算低频分量SR1LPF至SR4LPF、SG1LPF至SG4LPF以及SB1LPF至SB4LPF。低频分量计算单元421将所计算的低频分量输出至分量信息获取单元422和信号计算单元423。
分量信息获取单元422以与以上描述的分量信息获取单元412类似的方式来获取指示由低频分量计算单元421针对偏振图像中的目标像素计算的偏振图像的偏振分量的低频分量与目标像素的像素信号之间的关系的分量信息。在一个示例中，分量信息获取单元422将通过将下述值设置为目标像素的像素信号而获得的高频添加增益设置为分量信息，所述值是通过将高频分量添加到目标像素的低频分量上而获得的。在目标像素在一个示例中是图18的(a)所示的坐标(4,4)处的像素的情况下，分量信息获取单元422使用公式(20)来计算高频添加增益SDhpg。
SDhpg＝SR3(4,4)/SR3LPF (20)
类似地，在目标像素是坐标(3,4)处的像素的情况下，分量信息获取单元422使用公式(21)来计算高频添加增益SDhpg。
SDhpg＝SG2(3,4)/SG2LPF (21)
分量信息获取单元422通过将由偏振成像单元22生成的彩色偏振图像中的每个像素用作目标像素来计算每个像素位置处的高频添加增益SChpg，并且将所计算的高频添加增益SChpg输出至信号计算单元423。
信号计算单元423基于由低频分量计算单元421计算的每个偏振分量和每个颜色分量的低频分量并且基于由分量信息获取单元422获取的分量信息，针对每个颜色分量来计算目标像素中的每个偏振分量的像素信号。
信号计算单元423将目标像素中的偏振图像的偏振分量的低频分量与像素信号之间的关系应用于目标像素中的另一偏振分量的低频分量与另一偏振分量的像素信号之间的关系，并且因此计算目标像素中的每个偏振分量的像素信号。此外，信号计算单元423使用目标像素中的偏振图像的偏振分量的低频分量与像素信号之间的关系，针对每个颜色分量来计算目标像素中的每个偏振分量的像素信号。信号计算单元423基于公式(22)至(24)根据高频添加增益SDhpg和低频分量SRnLPF(SGnLPF、SBnLPF)来计算像素信号SRn(SGn、SBn)。
SRn＝SRnLPF*SDhpg (22)
SGn＝SGnLPF*SDhpg (23)
SBn＝SBnLPF*SDhpg (24)
在一个示例中，在目标像素是图18的(a)中的坐标(4,4)的情况下，信号计算单元423基于公式(25)来计算目标像素中的G2偏振分量的像素信号SG2。
SG2＝SG2LPF*SDhpg
＝SG2LPF*(SR3(4,4)/SR3LPF)
＝(12*G2(3,0)+4*G2(7,0)+32*G2(1,2)+96*G2(5,2)
+168*G2(3,4)+56*G2(7,4)+32*G2(1,6)
+96*G2(5,6)+12*G2(3,8)
+4*G2(7,8))/512*R3(2,2)/(1*R3(0,0)
+14*R3(4,0)+1*R3(8,0)+14*R3(0,4)
+196*R3(4,4)+14*R3(8,4)+1*R3(0,8)
+14*R3(4,8)+1*R3(8,8))*256 (25)
另外，信号计算单元423通过将由偏振成像单元22生成的彩色偏振图像中的每个像素用作目标像素来执行类似的处理，如图19所示针对每个颜色分量来生成每个偏振分量的偏振图像，并且将该偏振图像输出至非偏振图像获取单元52和法线信息获取单元62。
彩色非偏振图像获取单元52根据在去马赛克单元42中针对每个颜色分量生成的每个偏振分量的偏振图像来生成非偏振图像。彩色非偏振图像获取单元52针对每个像素执行公式(26)至(28)的算术运算，对四个不同偏振分量的像素信号进行平均，针对每个颜色分量计算非偏振像素信号，并且如图20所示针对每个颜色分量生成非偏振图像。
SR(x,y)＝(SR1(x,y)+SR2(x,y)+SR3(x,y)+SR4(x,y))/4 (26)
SG(x,y)＝(SG1(x,y)+SG2(x,y)+SG3(x,y)+SG4(x,y))/4 (27)
SB(x,y)＝(SB1(x,y)+SB2(x,y)+SB3(x,y)+SB4(x,y))/4 (28)
法线信息获取单元62基于由去马赛克单元42生成的每个偏振分量的彩色偏振图像来获取法线信息。
在去马赛克单元42中，针对每个偏振分量并且针对每个颜色分量来生成彩色偏振图像。因此，法线信息获取单元62对用于由去马赛克单元42生成的彩色偏振图像的像素(x，y)的每个偏振分量执行公式(29)的算术运算，并且针对每个偏振分量计算亮度I。
I(x,y)＝R(x,y)+2*G(x,y)+B(x,y) (29)
法线信息获取单元62通过执行与第一实施例的法线信息获取单元61的处理类似的处理来获取法线信息，该处理是通过使用针对每个偏振分量计算的亮度来执行的。
图21是图示了第二实施例的操作的流程图。在步骤ST11中，图像处理装置12获取彩色偏振图像。图像处理装置12获取包括三个或更多个方向的偏振分量的像素信号的彩色偏振图像，并且然后进行至步骤ST12。
在步骤ST12中，图像处理装置12执行去马赛克。图像处理装置12对在步骤ST12中获取的彩色偏振图像执行去马赛克，针对每个偏振分量生成每个颜色分量的偏振图像，并且然后进行至步骤ST13。
在步骤ST13中，图像处理装置12执行彩色非偏振图像获取处理。图像处理装置12通过使用通过步骤ST12中的去马赛克获得的每个偏振分量的每个颜色的图像来针对每个像素计算偏振分量的每个颜色分量的平均信号，并且将所计算的平均信号设置为像素的像素信号。图像处理装置12执行这样的处理以获取非偏振颜色分量中的每个非偏振颜色分量的图像，并且然后进行至步骤ST14。
在步骤ST14中，图像处理装置12执行法线信息获取处理。图像处理装置12使用通过在步骤ST12中执行去马赛克而获得的每个颜色分量的每个偏振分量的图像，并且通过针对每个像素使用相同偏振分量的每个颜色分量的像素信号来计算每个偏振分量的亮度。此外，对于每个像素，使用每个偏振分量的亮度来执行对模型公式的拟合，并且基于指示亮度与偏振角之间的关系的模型公式来获取方位角或天顶角，并且因此方位角或天顶角被设置为法线信息。此外，方位角和天顶角可以被成像并且可以被设置为法线信息。
如以上所描述的，根据第二实施例，对于包括多个偏振分量中的每个偏振分量的像素的彩色马赛克彩色偏振图像的每个像素，针对每个颜色分量计算每个偏振分量的像素信号，并且可以在不导致分辨率劣化的情况下针对每个颜色分量在去马赛克单元中生成每个偏振分量的偏振图像。此外，针对每个像素生成多个偏振分量的每个颜色分量的像素信号，并且因此可以在不使分辨率劣化的情况下获得每个颜色分量的非偏振图像。此外，在去马赛克单元中，可以针对每个像素计算多个偏振分量和颜色分量中的每一个的像素信号，并且因此可以针对每个像素获取法线信息。
<3.第三实施例>
现在描述第三实施例。在第三实施例中，类似于第三实施例，生成彩色偏振图像。另外，在第三实施例中，将描述使用色差来获取法线信息的情况。
图22示出了本技术的图像处理装置的第三实施例的配置。图像处理装置13包括偏振成像单元22、白平衡调整单元31、去马赛克单元42、颜色非偏振图像获取单元52和法线信息获取单元63。
偏振成像单元22以与第二实施例类似的方式被配置，并且生成包括多个偏振分量中的每个偏振分量的像素的彩色偏振图像的图像信号。偏振成像单元22将所生成的彩色偏振图像的图像信号输出至白平衡调整单元31。
白平衡调整单元31对由偏振成像单元22生成的彩色偏振图像执行白平衡调整。在一个示例中，当白色摄影对象被偏振成像单元22捕获时，白平衡调整单元31基于公式(30)至(32)调整每个颜色分量的增益，使得指示白色摄影对象的图像信号变成指示白色的信号。此外，根据光源来设置增益Rgain、Ggain和Bgain。
SR＝Rgain*SR (30)
SG＝Ggain*SG (31)
SB＝Bgain*SB (32)
白平衡调整单元31将经过白平衡调整的彩色偏振图像的图像信号输出至去马赛克单元42。
去马赛克单元42使用经过白平衡调整单元31的白平衡调整的彩色偏振图像的图像信号执行与第二实施例类似的去马赛克，并且针对每个颜色分量生成每个偏振的图像信号。如图19所示，去马赛克单元42针对每个颜色分量生成每个偏振分量的偏振图像，并将该偏振图像输出至彩色非偏振图像获取单元52和标准信息获取单元63。
彩色非偏振图像获取单元52根据在去马赛克单元42中针对每个颜色分量生成的每个偏振分量的偏振图像生成非偏振图像。类似于第二实施例，彩色非偏振图像获取单元52执行针对每个像素的每个颜色分量对不同偏振分量的像素信号进行平均的处理并且针对每个颜色分量生成非偏振图像。
法线信息获取单元63基于由去马赛克单元42生成的针对每个偏振分量并且针对每个颜色分量的彩色偏振图像来获取法线信息。在去马赛克单元42中，针对每个偏振分量并且针对每个颜色分量来生成彩色偏振图像。因此，法线信息获取单元63对由去马赛克单元42生成的彩色偏振图像的像素(x，y)上的每个偏振分量执行公式(33)的算术运算，并计算每个偏振分量的色差I'。
[数学.3]
法线信息获取单元62通过使用针对每个偏振分量计算的色差I'，以与第二实施例的法线信息获取单元62类似的方式执行对公式(34)的偏振特征模型公式的拟合，并且基于经拟合的偏振特征模型公式来获取法线信息。
[数学.4]
图23是示出第三实施例的操作的流程图。在步骤ST21中，图像处理装置13获取彩色偏振图像。图像处理装置13获取包括三个或更多个方向的偏振分量的像素信号的彩色偏振图像，并且然后进行至步骤ST22。
在步骤ST22中，图像处理装置13执行白平衡调整。图像处理装置13调整每个颜色的像素信号的增益，使得白色摄影对象可以显示为白色，并且然后进行至步骤ST23。
在步骤ST23中，图像处理装置13执行去马赛克。图像处理装置13对在步骤ST22中经过白平衡调整的彩色偏振图像执行去马赛克，并且针对每个颜色分量的每个偏振分量生成偏振图像，并且然后进行至步骤ST24。
在步骤ST24中，图像处理装置13执行彩色非偏振图像获取处理。图像处理装置13针对每个像素通过使用在步骤ST23中通过去马赛克获得的每个偏振分量的每个颜色的图像来计算偏振分量的每个颜色分量的平均信号，并将计算的平均信号设置为像素的像素信号。图像处理装置13执行这样的处理以获取每个非偏振颜色分量的图像，并且然后进行至步骤ST25。
在步骤ST25中，图像处理装置13执行法线信息获取处理。图像处理装置13使用通过在步骤ST23中执行去马赛克而获得的针对每个颜色分量的每个偏振分量的图像，并且针对每个像素通过使用相同偏振分量的每个颜色分量的像素信号来计算每个偏振分量的色差。另外，对于每个像素，使用每个偏振分量的色差来执行对模型公式的拟合，并且基于指示亮度和偏振角之间的关系的模型公式来获取方位角或天顶角，并因此将方位角或天顶角设置为法线信息。另外，方位角和天顶角可以被成像并且可以被设置为法线信息。
如上所述，在第三实施例中，对于包括多个偏振分量中的每个偏振分量的像素的彩色马赛克彩色偏振图像的每个像素，针对每个颜色分量计算每个偏振分量的像素信号，并且可以在不导致分辨率劣化的情况下在去马赛克单元中针对每个颜色分量生成每个偏振分量的偏振图像。另外，针对每个像素生成针对多个偏振分量的每个颜色分量的像素信号，并且因此可以在分辨率不劣化的情况下获得每个颜色分量的非偏振图像。此外，在去马赛克单元中，可以针对每个像素计算针对多个偏振分量和颜色分量中的每一个的像素信号，并且因此可以针对每个像素获取法线信息。另外，基于色差获取法线信息，因此即使在难以根据偏振图像的亮度正确地获取法线信息的情况下，也可以正确地获取法线信息。此外，在去马赛克单元中，使用经过白平衡调整的彩色偏振图像执行去马赛克，所以可以在不受照明光的颜色等的影响的情况下获取法线信息。
<4.第四实施例>
现在描述第四实施例。可能存在在图像传感器中生成未能获得与入射光对应的像素信号的像素的情况，其中，所述像素例如是其像素信号小于与入射光对应的信号水平的缺陷像素或者其中像素信号不管入射光如何均饱和的饱和像素。另外，在图像传感器中，提供用于像平面相位差AF的像素(以下称为“ZAF像素”)，因此在某些情况下其可能无法获得与由其他像素获得的与入射光对应的像素信号等同的像素信号。
因此，在第四实施例中，描述了这样的情况：通过将未能获得与入射光对应的像素信号的像素(例如缺陷像素，饱和像素或者ZAF像素)设置为校正像素来对校正像素执行信号水平校正处理。
图24图示了本技术的图像处理装置的第四实施例的配置。图像处理装置13包括偏振成像单元22、去马赛克/信号校正单元43、彩色非偏振图像获取单元52和法线信息获取单元62(63)。
偏振成像单元22以与第二实施例类似的方式配置，并且生成包括多个偏振分量中的每个偏振分量的像素的彩色偏振图像的图像信号。偏振成像单元22将所生成的彩色偏振图像的图像信号输出至白平衡调整单元31。
白平衡调整单元31以与第三实施例类似的方式对由偏振成像单元22生成的彩色偏振图像执行白平衡调整，并将经过白平衡调整的图像信号输出至去马赛克/信号校正单元43。
去马赛克/信号校正单元43通过使用来自白平衡调整单元31的彩色偏振图像的图像信号来执行去马赛克和像素信号校正处理，并且生成每个颜色分量的每个偏振分量的图像信号。图25图示了去马赛克/信号校正单元的配置。去马赛克/信号校正单元43包括校正像素信息存储单元430、低频分量计算单元431、分量信息获取单元432和信号计算单元433。
校正像素信息存储单元430存储校正像素信息，校正像素信息包括未能获得与摄影对象对应的像素信号的校正像素的位置信息。在一个示例中，在校正像素信息存储单元430中，在图像传感器的制造过程中预先存储ZAF像素的位置信息。另外，在一个示例中，通过在制造过程中在整个屏幕上捕获白色或黑色摄影对象而检测到的缺陷像素或饱和像素的位置信息被存储在校正像素信息存储单元430中。此外，缺陷像素或饱和像素的位置信息不限于在制造过程中检测并存储该位置信息的情况。在一个示例中，用户执行偏振成像单元22的校准并且在整个屏幕上捕获白色或黑色摄影对象的配置是可能的，并且因此可以另外存储新检测到的缺陷像素或饱和像素的位置信息。校正像素信息存储单元430将存储的校正像素信息输出到低频分量计算单元431和组件信息获取单元432。
低频分量计算单元431针对每个颜色分量和每个相同的偏振分量使用位于经过白平衡调整单元31的白平衡调整的彩色偏振图像中的目标像素附近的像素的像素信号，并且针对每个颜色分量计算每个偏振分量的低频分量。低频分量计算单元431通过针对每个颜色分量的每个偏振分量使用位于目标像素附近的相同偏振分量的像素的像素信号来执行二维滤波，并且因此针对每个颜色分量输出每个偏振分量的低频分量。此外，低频分量计算单元431执行低通滤波，使得不使用由校正图像信息指示的校正像素。图26是被图示为描述低通滤波的图。低频分量计算单元431在一个示例中使用二维加权滤波器来计算低频分量。在图26中，(a)示出二维滤波器使用的像素，以及在图26中，(b)示出滤波器系数。低频分量计算单元431针对每个颜色分量在一个示例中使用9×9抽头二维滤波器计算针对由双线框指示的目标像素中的每个偏振分量的低频分量。此外，在图26中，(a)示出目标像素是R3偏振分量的像素的情况。另外，在图26的(a)中，没有对角线的像素(0,1)、(1,6)、(2,2)、(4,4)、(4,8)、(6,4)、(7,7)和(8,3)是由来自校正像素信息存储单元430的校正像素信息所指示的校正像素。
在低频分量计算单元431针对每个颜色分量计算每个偏振分量的低频分量的情况下，低频分量计算单元431针对每个颜色分量通过使用相同偏振分量和颜色分量的像素的像素信号并使用与9×9抽头内的像素对应的滤波器系数来计算目标像素中的每个偏振分量的低频分量。具体地，对于每个偏振分量，将相同颜色分量和偏振分量的像素的信号乘以与该像素对应的滤波器系数，并将相乘结果的加权和除以权重总和来计算低频分量。
如图26的(a)中所示，在目标像素(x＝4，y＝4)是R3偏振分量并且目标像素是校正像素的情况下，低频分量计算单元431在不使用校正像素的情况下执行滤波。具体地，使用公式(35)来计算R3偏振分量的低频分量R3LPF。另外，低频分量计算单元431不仅计算目标像素中的R3偏振分量的低频分量SR3LPF，而且使用公式(36)计算目标像素中的R1偏振分量的低频分量SR1LPF。此外，低频分量计算单元431使用公式(37)计算目标像素中的R2偏振分量的低频分量SR2LPF，并使用公式(38)计算目标像素中的R4偏振分量的低频分量SR4LPF。
SR3LPF＝(1*SR3(0,0)+14*SR3(4,0)+1*SR3(8,0)
+14*SR3(0,4)+14*SR3(8,4)+1*SR3(0,8)
+1*SR3(8,8))/46 (35)
SR1LPF＝(16*SR1(1,1)+48*SR1(5,1)+48*SR1(1,5)
+144*SR1(5,5))/256 (36)
SR2LPF＝(4*SR2(1,0)+12*SR2(5,0)+56*SR2(1,4)
+168*SR2(5,4)+4*SR2(1,8)
+12*SR2(5,8))/256 (37)
SR4LPF＝(56*SR4(4,1)+4*SR4(8,1)+12*SR4(0,5)
+168*SR4(4,5)+12*SR4(8,5))/252 (38)
此外，低频分量计算单元431在不使用校正像素的情况下不仅对目标像素的红色分量执行滤波而且对绿色分量和蓝色分量执行滤波，并计算每个偏振分量的低频分量。在一个示例中，使用公式(39)来计算目标像素中的G3偏振分量的低频分量SG3LPF，并且使用公式(40)来计算目标像素中的B3偏振分量的低频分量SB3LPF。另外，对于其他偏振分量来类似地计算低频分量。
SG3LPF＝(8*SG3(2,0)+8*SG3(6,0)+8*SG3(0,2)
+112*SG3(4,2)+8*SG3(8,2)+112*SG3(2,4)
+8*SG3(0,6)+112*SG3(4,6)+8*SG3(8,6)
+8*SG3(2,8)+8*SG3(6,8))/400 (39)
SB3LPF＝(64*SB3(6,2)+64*SB3(2,6)
+64*SB3(6,6))/192 (40)
低频分量计算单元431通过将由偏振成像单元22生成的偏振图像中的每个像素用作目标像素来执行上述处理，并且针对每个像素计算低频分量SR1LPF至SR4LPF，SG1LPF至SG4LPF以及SB1LPF至SB4LPF。低频分量计算单元431将计算出的低频分量输出至分量信息获取单元432和信号计算单元433。
分量信息获取单元432以与第一实施例中的分量信息获取单元412类似的方式来获取指示偏振图像中的目标像素的像素信号与由低频分量计算单元431针对该目标像素计算的偏振图像的偏振分量的低频分量之间的关系的分量信息。在一个示例中，分量信息获取单元432通过将下述值设置为目标像素的像素信号而获得的高频添加增益设置为分量信息，所述值是通过将高频分量添加到目标像素的低频分量上而获得的。在目标像素在一个示例中是图26的(a)中所示的坐标(4,4)处的像素(即校正像素)的情况下，分量信息获取单元432使用偏振分量所特有的可被近似为偏振特征模型公式的属性，并因此计算坐标(4,4)处的R3偏振分量。
在此，在偏振方向在一个示例中是0°、45°、90°和135°的情况下，偏振特征模型的曲线和每个偏振分量的像素信号具有图27所示的关系并且满足公式(41)的关系。
SR1+SR3＝SR2+SR4 (41)
因此，分量信息获取单元432基于公式(42)计算坐标(4,4)处的R3偏振分量的像素信号SR3，并且使用计算结果基于公式(43)来计算高频添加增益SDhpg。
SR3(4,4)＝SR2(5,4)+SR4(4,5)-SR1(5,5) (42)
SDhpg＝SR3(4,4)/SR3LPF (43)
以这种方式，在目标像素是校正像素的情况下，分量信息获取单元432使用偏振分量的属性来计算偏振分量的像素信号，并且使用所计算的像素信号来计算高频添加增益。另外，在目标像素不是校正像素的情况下，分量信息获取单元432以与第二和第三实施例的分量信息获取单元422类似的方式计算高频添加增益SDhpg。
分量信息获取单元432通过将在由偏振成像单元22生成的彩色偏振图像中的每个像素用作目标像素，与该目标像素是否是校正像素无关地计算高频添加增益SDhpg，并且将计算的高频添加增益SDhpg输出至信号计算单元433。
信号计算单元433针对每个颜色分量基于由低频分量计算单元431计算的每个偏振分量和每个颜色分量的低频分量以及由分量信息获取单元432获取的分量信息来计算目标像素中的每个偏振分量的像素信号。
信号计算单元433将像素信号与目标像素中的偏振图像的偏振分量的低频分量之间的关系应用于另一偏振分量的像素信号与目标像素中的另一偏振分量的低频分量之间的关系，并且因此计算目标像素中的每个偏振分量的像素信号。此外，信号计算单元423使用像素信号与目标像素中的偏振图像的偏振分量的低频分量之间的关系，针对每个颜色分量计算目标像素中的每个偏振分量的像素信号。
此外，信号计算单元433通过将由偏振成像单元22生成的彩色偏振图像中的每个像素用作目标像素来执行类似处理，如图19所示针对每个颜色分量生成每个偏振分量的偏振图像，并将该偏振图像输出至非偏振图像获取单元52和法线信息获取单元62(63)。
彩色非偏振图像获取单元52根据在去马赛克/信号校正单元43中针对每个颜色分量生成的每个偏振分量的偏振图像来生成非偏振图像。彩色非偏振图像获取单元52通过以与第二实施例类似的方式对每个颜色分量的四个不同的偏振分量的像素信号进行平均来计算每个颜色分量的像素信号，由此获取每个颜色分量的非偏振图像。
法线信息获取单元62(63)基于由去马赛克/信号校正单元43生成的每个偏振分量的偏振图像来获取法线信息。法线信息获取单元62(63)在一个示例中基于公式(29)来计算亮度(或者基于公式(33)计算色差)，使用所计算的亮度执行与第二(第三)实施例类似的处理，并且获取法线信息。
图28是示出第四实施例的操作的流程图。在步骤ST31中，图像处理装置14获取彩色偏振图像。图像处理装置14获取包括三个或更多个方向的偏振分量的像素信号的彩色偏振图像，并且然后进行至步骤ST32。
在步骤ST32中，图像处理装置14执行白平衡调整。图像处理装置14调整每个颜色的像素信号的增益，使得白色摄影对象可以显示为白色，并且然后进行至步骤ST33。
在步骤ST33中，图像处理装置14执行去马赛克/像素校正处理。图像处理装置14对在步骤ST32中经过白平衡调整的彩色偏振图像执行去马赛克和信号校正处理，并且针对每个颜色分量生成多个偏振分量的偏振图像。
图29是示出去马赛克/信号校正处理的流程图。在步骤ST331中，图像处理装置14获取校正像素信息。图像处理装置14获取包括为信号校正所需的像素(例如，缺陷像素)的位置的校正像素信息，并且然后进行至步骤ST332。
在步骤ST332中，图像处理装置14计算低频分量。在一个示例中，图像处理装置14使用相同偏振分量的像素信号执行二维滤波，并且计算目标像素中的每个偏振分量的低频分量。另外，图像处理装置14在不使用由校正像素信息指示的校正像素的情况下执行二维滤波，并且然后进行至步骤ST333。
在步骤ST333中，图像处理装置14获取分量信息。图像处理装置14获取指示目标像素的像素信号与目标像素的偏振图像的偏振分量的低频分量之间的关系的分量信息。另外，在校正像素信息表明目标像素是未能获得与入射光对应的像素信号的像素的情况下，图像处理装置14使用偏振分量特有的属性来计算目标像素的像素信号。图像处理装置14使用与目标像素的颜色分量相同但具有不同偏振分量的相邻像素的像素信号，根据偏振特征模型公式中的相位与像素信号之间的关系来计算目标像素的像素信号，并且然后进行至步骤ST334。
在步骤ST334中，图像处理装置14计算不同偏振分量的信号。图像处理装置14基于在步骤ST333中获取的分量信息和在步骤ST332中计算的每个偏振分量的低频分量来生成目标像素中的每个偏振分量的像素信号。另外，图像处理装置14针对在步骤ST31中获取的偏振图像的每个像素执行步骤ST332至ST334中的处理并且针对每个偏振分量生成指示每个像素的偏振分量的偏振图像，然后进行至图27的步骤ST34。
在步骤ST34中，图像处理装置14执行彩色非偏振图像获取处理。图像处理装置13使用通过在步骤ST33中执行去马赛克/信号校正处理而获得的每个偏振分量的每个颜色分量的图像，并因此针对每个像素计算每个颜色分量的偏振分量的平均信号，并且将该平均信号设为像素的像素信号。图像处理装置14执行这样的处理以获取非偏振光的每个颜色分量的图像，并且然后进行至步骤ST35。
在步骤ST35中，图像处理装置14执行法线信息获取处理。图像处理装置14使用通过在步骤ST33中执行去马赛克/信号校正处理而获得的每个颜色分量的每个偏振分量的图像，并且针对每个像素使用相同偏振分量的每个颜色分量的像素信号来计算亮度或色差。另外，对于每个像素，使用每个偏振分量的亮度或色差来执行对偏振特征模型公式的拟合，并且基于经拟合的偏振特征模型公式来获取方位角或天顶角以将方位角或天顶角设置为法线信息。另外，方位角和天顶角可以被成像并且可以被设置为法线信息。
如上所述，在第四实施例中，对于包括多个偏振分量中的每个偏振分量的像素的彩色马赛克彩色偏振图像的每个像素，针对每个颜色分量计算每个偏振分量的像素信号，并且可以在不导致分辨率劣化的情况下在去马赛克/信号校正单元中针对每个颜色分量生成每个偏振分量的偏振图像。另外，针对每个像素生成多个偏振分量的每个颜色分量的像素信号，并且因此可以在分辨率不劣化的情况下获得每个颜色分量的非偏振图像。此外，在去马赛克单元中，可以针对每个像素计算多个偏振分量和颜色分量中的每一个的像素信号，并且因此可以针对每个像素获取法线信息。此外，在存在缺陷像素或饱和像素并且未能获得与入射光对应的像素信号的情况下，计算与缺陷像素或饱和像素的位置处的入射光对应的像素信号。另外，在提供有用于焦点调整的ZAF像素并且未能根据ZAF像素中的入射光获得与由另一像素获得的像素信号等效的图像信号的情况下，计算与在ZAF像素的位置处的入射光对应的像素信号。因此，对由去马赛克/信号校正单元生成的多个偏振分量的每个颜色分量的偏振图像的使用使得能够通过减小的缺陷像素或饱和像素和ZAF像素的影响来获取法线信息。另外，对由去马赛克/信号校正单元生成的多个偏振分量的每个颜色分量的偏振图像的使用使得能够获得缺陷像素等的影响从中被移除的每个颜色分量的非偏振图像。
<5.其他实施例>
在上述实施例中，给出了对以下案例的描述：使用其中2×2像素被重复布置为一个颜色分量单元的彩色马赛克滤波器以及其中2×2像素的颜色分量单元包括沿四个不同偏振方向的像素的偏振滤波器。然而，彩色马赛克滤波器或偏振滤波器可以具有其他布置。图30示出了可以在本技术的图像处理装置中使用的彩色马赛克滤波器和偏振滤波器。此外，图30的(a)至(f)示出了彩色图案，并且图30的(g)和(h)示出了偏振图案。
彩色图案不限于图30的(a)中所示的2×2像素被重复提供为一个颜色分量单元的布置，而是可以是图30的(b)中所示的拜耳阵列。另外，如图30的(c)中所示，可以使用以下配置：其中，白色像素被嵌入在其中2×2像素被重复提供为一个颜色分量单元的布置中。如图30的(d)中所示，其可以具有其中白色像素被嵌入在拜耳阵列中的配置。此外，如图30的(e)中所示，在一个示例中，可以将红外(IR)像素嵌入在拜耳阵列中，以使得即使在夜间等也能够进行高灵敏度的图像捕获。另外，如果如图30的(f)中所示所有像素都是白色像素，则可以执行与第一实施例的处理类似的处理。此外，在拜耳阵列中，与其中2×2像素被重复提供为一个颜色分量单元的布置相比，每个颜色分量的像素的布置是均匀的，因此可以使二维滤波器小于其中2×2像素被重复提供为一个颜色分量单元的布置的二维滤波器。
如图30的(g)中所示，偏振图案可以包括四个不同偏振方向的2×2像素的像素单元，或者如图30的(h)中所示，将2×2像素的像素单元设置为偏振单元，并且利用四个不同的偏振方向来配置2×2偏振单元。
将彩色图案和偏振图案彼此组合地使用以获得每个颜色分量的四个偏振分量。在一个示例中，在彩色马赛克滤波器是图30的(a)和(c)的情况下，使用图30的(g)中所示的偏振图案。另外，在彩色马赛克滤波器是图30的(b)、(d)和(e)的情况下，使用图30的(h)中所示的偏振图案。此外，在彩色马赛克滤波器是图30的(a)和(c)的情况下，可以通过将相位沿水平方向和垂直方向移动一个像素来使用图30的(h)中所示的偏振图案。
此外，白平衡调整单元不仅被提供在第三和第四实施例的配置中，而且被提供在第二实施例的配置中，使得可以使用经过白平衡调整的彩色偏振图像的图像信号来执行去马赛克。
此外，上述第一至第四实施例中示出的流程图中的处理不限于按照步骤顺序执行处理的顺序处理，并且图像获取处理和法线信息获取处理可以并行地执行。另外，流水线处理使得能够例如以帧为单位依次获取偏振图像，并且因此可以获取非偏振图像和法线信息。此外，上述第一至第四实施例示出了其中图像处理装置包括偏振成像单元的配置，但是可以将偏振成像单元与图像处理装置分开提供。
<6.应用示例>
现在描述图像处理装置(图像处理方法)的应用示例。图31是示出使用本技术的图像处理装置的车辆控制系统的示意性配置的框图。车辆控制系统90包括经由通信网络920彼此连接的多个控制单元或检测单元。在图31所示的示例中，车辆控制系统90包括驱动系统控制单元931、车身系统控制单元932、电池控制单元933、车辆外部信息检测单元934、无线通信单元935和集中控制单元940。在一个示例中，通信网络920可以是符合诸如控制单元区域网络(CAN)、本地互联网络(LIN)、局域网(LAN)、FlexRay(注册商标)等的任何标准的车载通信网络。另外，集中控制单元940连接至输入单元951、音频输出单元952和显示单元953。
每个控制单元包括根据各种程序执行算术运算处理的微型计算机、存储由微型计算机执行的程序、用于各种算术运算的参数等的存储单元以及驱动要控制的各种目标装置的驱动电路。
驱动系统控制单元931根据各种程序来控制与车辆的驱动系统有关的设备的操作。在一个示例中，驱动系统控制单元931用作例如内燃机或驱动马达之类的用于生成车辆的驱动力的驱动力生成装置、用于将驱动力传递到车轮的驱动力传递机构、以及用于调整车辆的转向角的转向机构。另外，驱动系统控制单元931可以具有作为诸如用于生成车辆的制动力的制动装置之类的控制装置的功能和作为诸如防抱死制动系统(ABS)、电子稳定性控制(ESC)等的控制装置的功能。
驱动系统控制单元931连接至车辆状态检测单元9311。在一个示例中，车辆状态检测单元9311包括用于检测车身的轴旋转运动的角速度的陀螺仪传感器、用于检测车辆的加速度的加速度计以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机RPM、驾驶速度等的传感器中的至少一个。驱动系统控制单元931使用从车辆状态检测单元9311输入的信号执行算术运算处理，并且控制内燃机、驱动电机、电动助力转向装置、制动装置等。
车身系统控制单元932根据各种程序来控制装备在车身上的各种装置的操作。在一个示例中，车身系统控制单元932用作无钥匙进入系统、智能钥匙系统、电动车窗装置或用于各种灯的控制装置，所述各种灯例如是车头灯、尾灯、制动灯、转向信号灯、雾灯等。在这种情况下，车身系统控制单元932可以接收从代替钥匙的便携式装置发送的无线电波或各种开关的信号。车身系统控制单元932接收这样的无线电波或信号的输入并且控制车辆的门锁装置、电动车窗装置、灯等。
电池控制单元933根据各种程序控制作为驱动电机的电源的二次电池9331。在一个示例中，诸如电池温度、电池输出电压和电池的剩余容量的信息从包括二次电池9331的电池装置被输入到电池控制单元933。电池控制单元933使用这些信号执行算术运算处理并执行对二次电池9331的温度调节控制或对电池装置中提供的冷却装置等的控制。
车辆外部信息检测单元934检测装备有车辆控制系统90的车辆外部的信息。车辆外部信息检测单元934使用本技术的图像处理装置11(12、13或14)。
图32是图示偏振成像单元的安装示例的图。图像处理装置11(12、13或14)的偏振成像单元21(22)在一个示例中在车辆80的前鼻、侧镜、后保险杠和后门以及车辆乘客车厢中的挡风玻璃的上部中的至少一个的位置处被提供。在前鼻处提供的偏振成像单元21-A和在车辆乘客车厢中的挡风玻璃的上部提供的偏振成像单元21-B主要获取车辆80前方的图像。在侧镜中提供的偏振成像单元21-C和21-D主要获取车辆80侧面的图像。在后保险杠或后门中提供的偏振成像单元21-E主要获取车辆80后方的图像。另外，图32图示了偏振成像单元21-A至21-E中的每一个的拍摄范围的示例。图像捕获范围AR-a指示在前鼻中提供的偏振成像单元21-A的图像捕获范围。图像捕获范围AR-c和图像捕获范围AR-d分别指示在侧视镜上提供的偏振成像单元21-C和偏振成像单元21-D的图像捕获范围。图像捕获范围AR-e指示在后保险杠或后门中提供的偏振成像单元21-E的图像捕获范围。
返回参照图31，车辆外部信息检测单元934捕获车辆的周围区域的图像，并且获取偏振图像。另外，车辆外部信息检测单元934从所获取的偏振图像获取摄影对象的偏振特征。此外，车辆外部信息检测单元934使用所获取的偏振特征来生成可用于车辆控制等的信息。
无线通信单元935经由诸如专用短程通信(DSRC，注册商标)之类的无线通信网络与管理车辆的外部情况(例如，其他车辆或路况)的管理中心进行通信，并将接收到的信息输出至集中控制单元940。另外，无线通信单元935将由车辆外部信息检测单元934获取的偏振特征等发送至其他车辆、管理中心等。此外，无线通信单元935可以经由诸如无线LAN无线通信网络之类的无线通信网络、诸如3G、LTE和4G之类的用于移动电话的无线通信网络等与管理中心进行通信。另外，无线通信单元935可以接收全球导航卫星系统(GNSS)的信号等，执行定位，并将定位结果输出至集中控制单元940。
集中控制单元940连接至输入单元951、音频输出单元952和显示单元953。输入单元951在一个示例中被提供为可由车辆驾驶员操作的装置，例如触摸面板、按钮、麦克风、开关或控制杆。输入单元951基于由车辆驾驶员等输入的信息生成输入信号，并且将输入信号输出至集中控制单元940。
音频输出单元952通过基于来自集中控制单元940的音频信号输出声音来向车辆驾驶员可听地通知信息。显示单元953基于来自集中控制单元940的图像信号来显示图像并且向车辆驾驶员可视地通知信息。
集中控制单元940包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。只读存储器(ROM)存储要由中央处理单元(CPU)执行的各种程序。随机存取存储器(RAM)存储诸如各种参数、算术运算结果或传感器信号之类的信息。CPU执行存储在ROM中的各种程序，并且根据来自输入单元951的输入信号、通过经由通信网络920与每个控制单元、车辆外部信息检测单元和无线通信单元通信而获得的信息、以及存储在RAM中的信息等来控制车辆控制系统90中的整体操作。另外，集中控制单元940生成指示要被可听地通知给车辆驾驶员的信息的音频信号并将该音频信号输出至音频输出单元952，并且集中控制单元940生成可视地通知信息的图像信号并将该图像信号输出至显示单元953。另外，集中控制单元940使用无线通信单元935与车辆外部存在的各种装置(例如其他车辆或管理中心)进行通信。另外，集中控制单元940支持基于存储在ROM或RAM中的地图信息和从无线通信单元935获取的定位结果的车辆驾驶。
此外，在图31所示的示例中，经由通信网络920连接的至少两个控制单元可以被集成为一个控制单元。替选地，每个控制单元可以包括多个控制单元。此外，车辆控制系统90可以包括未示出的另一控制单元。另外，在以上描述中，由任何控制单元执行的一些或全部功能可以被提供给其他控制单元。换言之，只要经由通信网络920发送和接收信息，就可以由任何控制单元执行预定的算术运算处理。
在这样的车辆控制系统中，在本技术的图像处理装置在一个示例中被应用于车辆外部信息检测单元的情况下，车辆外部信息检测单元可以获取高分辨率法线信息或非偏振图像。因此，可以通过使用由车辆外部信息检测单元获取的法线信息或非偏振图像来准确地检测障碍物等，从而构建能够实现更安全的驾驶的车辆控制系统。
此外，上述图像处理装置可以是图像捕获装置、具有图像捕获功能的电子设备等。此外，本文描述的一系列处理可以通过硬件、软件或其组合来执行。在通过软件执行处理的情况下，可以通过将其中记录有处理序列的程序安装在嵌入在专用硬件中的计算机的存储器中来执行处理，或者可以通过将该程序安装在能够执行各种处理的专用计算机中来执行处理。
在一个示例中，可以将程序预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)中。替选地，可以将程序暂时或永久地存储(记录)在可移除记录介质中(上)，所述可移除记录介质例如是柔性盘、致密盘只读存储器(CD-ROM)、磁光盘(MO)盘、数字通用盘(DVD)、蓝光盘(注册商标)(BD)、磁盘或半导体存储卡。这样的可移除记录介质可以作为所谓的软件包来提供。
另外，程序不仅可以通过可移除记录介质安装在计算机上，而且可以经由诸如局域网(LAN)或因特网之类的网络从下载站点无线地或有线地传送至计算机。在这样的计算机中，以上述方式传送的程序可以被接收并安装在诸如内置硬件之类的记录介质上。
注意，本说明书中描述的效果仅仅是示例，而不是限制性的；并且可以展现未描述的额外效果。此外，本技术不应被解释为限于本技术的上述实施例。本技术的实施例以范例的形式公开了本技术，并且显而易见的是，本领域技术人员可以在不脱离本技术的主旨的情况下进行实施例的修改或替换。换言之，为了确定本技术的主旨，应该考虑权利要求书。
另外，本技术也可以如下配置。
(1)一种图像处理装置，包括：
去马赛克单元，其被配置成使用包括多个偏振分量中的每个偏振分量的像素的偏振图像的目标像素的像素信号和位于所述目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来计算所述目标像素中的不同于所述偏振图像的偏振分量的每个偏振分量的像素信号。
(2)根据(1)所述的图像处理装置，
其中，所述去马赛克单元基于每个偏振分量的低频分量以及指示所述目标像素的像素信号与所述偏振图像的偏振分量的低频分量之间的关系的分量信息来计算所述目标像素中的每个偏振分量的像素信号，每个偏振分量的低频分量是通过针对相同偏振分量中的每个偏振分量使用位于所述目标像素附近的像素的像素信号来计算的。
(3)根据(2)所述的图像处理装置，还包括：
低频分量计算单元，其被配置成通过使用位于所述目标像素附近的相同偏振分量的像素的像素信号执行二维滤波来计算所述低频分量。
(4)根据(1)至(3)中任一项所述的图像处理装置，
其中，所述去马赛克单元通过将所述偏振图像的每个像素用作所述目标像素来生成每个偏振分量的偏振图像。
(5)根据(1)至(4)中任一项所述的图像处理装置，还包括：
法线信息获取单元，其被配置成通过使用由所述去马赛克单元计算的多个偏振分量中的每个偏振分量的像素信号来获取法线信息。
(6)根据(5)所述的图像处理装置，
其中，所述法线信息获取单元通过使用所述多个偏振分量中的每个偏振分量的像素信号来执行对偏振特征模型的拟合，以根据经拟合的偏振特征模型来获取所述法线信息。
(7)根据(1)至(4)中任一项所述的图像处理装置，
其中，包括所述多个偏振分量中的每个偏振分量的像素的所述偏振图像是彩色偏振图像，并且
所述去马赛克单元针对每个颜色分量使用位于所述目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来针对每个颜色分量计算所述目标像素中的每个偏振分量的像素信号。
(8)根据(7)所述的图像处理装置，还包括：
法线信息获取单元，其被配置成通过使用由所述去马赛克单元计算的所述目标像素的像素信号来获取法线信息。
(9)根据(8)所述的图像处理装置，
其中，所述法线信息获取单元针对每个偏振分量通过使用由所述去马赛克单元计算的每个颜色分量的像素信号来计算每个偏振分量的亮度，以基于所计算的每个偏振分量的亮度来获取所述法线信息。
(10)根据(8)所述的图像处理装置，还包括：
白平衡调整单元，其被配置成调整所述彩色偏振图像的白平衡，
其中，所述去马赛克单元使用经过所述白平衡调整的所述彩色偏振图像来针对每个颜色分量计算所述多个偏振分量中的每个偏振分量的像素信号，并且
所述法线信息获取单元通过针对每个偏振分量使用由所述去马赛克单元计算的每个颜色分量的像素信号来计算每个偏振分量的色差，以基于所计算的每个偏振分量的色差来获取所述法线信息。
(11)根据(1)至(6)中任一项所述的图像处理装置，还包括：
非偏振图像获取单元，其被配置成根据所述多个偏振分量中的每个偏振分量的像素信号来生成非偏振图像的像素信号。
(12)根据(11)所述的图像处理装置，
其中，所述非偏振图像获取单元通过对所述多个偏振分量中的每个偏振分量的像素信号进行平均来计算所述非偏振图像的像素信号。
(13)根据(7)至(12)中任一项所述的图像处理装置，
其中，包括所述多个偏振分量中的每个偏振分量的像素的所述偏振图像是彩色偏振图像，
所述去马赛克单元针对每个颜色分量使用位于所述目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来针对每个颜色分量计算所述目标像素中的每个偏振分量的像素信号，并且
所述非偏振图像获取单元通过针对每个颜色分量使用由所述去马赛克单元计算的每个偏振分量的像素信号来针对每个颜色分量计算所述非偏振图像的像素信号。
(14)根据(1)至(13)中任一项所述的图像处理装置，还包括：
校正像素信息存储单元，其被配置成存储校正像素信息，
其中，所述去马赛克单元基于所述多个偏振分量的偏振特征模型通过使用具有不同偏振分量的外围像素的像素信号来计算由所述校正像素信息指示的校正像素的像素信号。
(15)根据(14)所述的图像处理装置，
其中，所述校正像素信息包括未能获得与入射光对应的像素信号的像素的位置信息。
工业应用性
在本技术的图像处理装置和图像处理方法中，对包括多个偏振分量中的每个偏振分量的像素的偏振图像的目标像素的像素信号和位于目标像素附近的相同偏振分量的像素的像素信号的使用使得用于计算与目标像素中的偏振图像的偏振分量不同的每个偏振分量的像素信号的去马赛克能够被执行。因此，可以针对每个像素获得多个偏振分量的像素信号，并且因此可以针对每个像素容易地获得具有高分辨率的信息，所述信息例如是法线信息和非偏振图像的像素信号。因此，适用于使用法线信息或非偏振图像来执行控制等的装置，例如车辆控制系统等。
附图标记列表
11,12,13,14 图像处理装置
21,22 偏振成像单元
31 白平衡调整单元
41,42 去马赛克单元
43 去马赛克/信号校正单元
51 非偏振图像获取单元
52 彩色非偏振图像获取单元
61,62,63 法线信息获取单元
210 图像传感器
211 偏振滤波器
212 彩色马赛克滤波器
411,421,431 低频分量计算单元
412,422,432 分量信息获取单元
413,423,433 信号计算单元
430 校正像素信息存储单元

Claims (16)

1.一种图像处理装置，包括：
去马赛克单元，其被配置成使用包括多个偏振分量中的每个偏振分量的像素的偏振图像的目标像素的像素信号和位于所述目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来计算所述目标像素中的不同于所述偏振图像的偏振分量的每个偏振分量的像素信号。
2.根据权利要求1所述的图像处理装置，
其中，所述去马赛克单元基于每个偏振分量的低频分量以及指示所述目标像素的像素信号与所述偏振图像的偏振分量的低频分量之间的关系的分量信息来计算所述目标像素中的每个偏振分量的像素信号，每个偏振分量的低频分量是通过针对相同偏振分量中的每个偏振分量使用位于所述目标像素附近的像素的像素信号来计算的。
3.根据权利要求2所述的图像处理装置，还包括：
低频分量计算单元，其被配置成通过使用位于所述目标像素附近的相同偏振分量的像素的像素信号执行二维滤波来计算所述低频分量。
4.根据权利要求1所述的图像处理装置，
其中，所述去马赛克单元通过将所述偏振图像的每个像素用作所述目标像素来生成每个偏振分量的偏振图像。
5.根据权利要求1所述的图像处理装置，还包括：
法线信息获取单元，其被配置成通过使用由所述去马赛克单元计算的多个偏振分量中的每个偏振分量的像素信号来获取法线信息。
6.根据权利要求5所述的图像处理装置，
其中，所述法线信息获取单元通过使用所述多个偏振分量中的每个偏振分量的像素信号来执行对偏振特征模型的拟合，以根据经拟合的偏振特征模型来获取所述法线信息。
7.根据权利要求1所述的图像处理装置，
其中，包括所述多个偏振分量中的每个偏振分量的像素的所述偏振图像是彩色偏振图像，并且
所述去马赛克单元针对每个颜色分量使用位于所述目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来针对每个颜色分量计算所述目标像素中的每个偏振分量的像素信号。
8.根据权利要求7所述的图像处理装置，还包括：
法线信息获取单元，其被配置成通过使用由所述去马赛克单元计算的所述目标像素的像素信号来获取法线信息。
9.根据权利要求8所述的图像处理装置，
其中，所述法线信息获取单元针对每个偏振分量通过使用由所述去马赛克单元计算的每个颜色分量的像素信号来计算每个偏振分量的亮度，以基于所计算的每个偏振分量的亮度来获取所述法线信息。
10.根据权利要求8所述的图像处理装置，还包括：
白平衡调整单元，其被配置成调整所述彩色偏振图像的白平衡，
其中，所述去马赛克单元使用经过所述白平衡调整的所述彩色偏振图像来针对每个颜色分量计算所述多个偏振分量中的每个偏振分量的像素信号，并且
所述法线信息获取单元通过针对每个偏振分量使用由所述去马赛克单元计算的每个颜色分量的像素信号来计算每个偏振分量的色差，以基于所计算的每个偏振分量的色差来获取所述法线信息。
11.根据权利要求1所述的图像处理装置，还包括：
非偏振图像获取单元，其被配置成根据所述多个偏振分量中的每个偏振分量的像素信号来生成非偏振图像的像素信号。
12.根据权利要求11所述的图像处理装置，
其中，所述非偏振图像获取单元通过对所述多个偏振分量中的每个偏振分量的像素信号进行平均来计算所述非偏振图像的像素信号。
13.根据权利要求11所述的图像处理装置，
其中，包括所述多个偏振分量中的每个偏振分量的像素的所述偏振图像是彩色偏振图像，
所述去马赛克单元针对每个颜色分量使用位于所述目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来针对每个颜色分量计算所述目标像素中的每个偏振分量的像素信号，并且
所述非偏振图像获取单元通过针对每个颜色分量使用由所述去马赛克单元计算的每个偏振分量的像素信号来针对每个颜色分量计算所述非偏振图像的像素信号。
14.根据权利要求1所述的图像处理装置，还包括：
校正像素信息存储单元，其被配置成存储校正像素信息，
其中，所述去马赛克单元基于所述多个偏振分量的偏振特征模型通过使用具有不同偏振分量的外围像素的像素信号来计算由所述校正像素信息指示的校正像素的像素信号。
15.根据权利要求14所述的图像处理装置，
其中，所述校正像素信息包括未能获得与入射光对应的像素信号的像素的位置信息。
16.一种图像处理方法，包括：
使用包括多个偏振分量中的每个偏振分量的像素的偏振图像的目标像素的像素信号以及位于所述目标像素附近的相同偏振分量中的每个偏振分量的像素的像素信号来计算所述目标像素中的不同于所述偏振图像的偏振分量的每个偏振分量的像素信号。
CN201680064325.3A 2015-11-10 2016-09-09 图像处理装置和图像处理方法 Active CN108353153B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015-220412 2015-11-10
JP2015220412 2015-11-10
JP2016-080220 2016-04-13
JP2016080220 2016-04-13
PCT/JP2016/076607 WO2017081925A1 (ja) 2015-11-10 2016-09-09 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN108353153A true CN108353153A (zh) 2018-07-31
CN108353153B CN108353153B (zh) 2020-10-23

Family

ID=58696017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680064325.3A Active CN108353153B (zh) 2015-11-10 2016-09-09 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US10460422B2 (zh)
EP (1) EP3376759B1 (zh)
JP (1) JP6750633B2 (zh)
CN (1) CN108353153B (zh)
WO (1) WO2017081925A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537218A (zh) * 2021-07-27 2021-10-22 京东数科海益信息科技有限公司 图像识别方法及其装置
CN114930800A (zh) * 2020-01-09 2022-08-19 索尼集团公司 图像处理装置、图像处理方法和成像装置
US11676245B2 (en) 2018-05-24 2023-06-13 Sony Corporation Information processing apparatus and method for processing information

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
JP7230824B2 (ja) 2017-11-21 2023-03-01 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
US11663831B2 (en) * 2017-12-21 2023-05-30 Sony Corporation Image processing device and image processing method
JP2020080366A (ja) * 2018-11-13 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 受光装置
CN111198445B (zh) * 2018-11-16 2021-10-01 华为技术有限公司 一种分光偏振成像的设备和方法
WO2020105679A1 (ja) 2018-11-21 2020-05-28 ソニー株式会社 ワーク判別システム、ワーク判別装置及びワーク判別方法
US10853913B2 (en) * 2019-03-11 2020-12-01 Qualcomm Incorporated Color filter array pattern conversion
CN114586066A (zh) * 2019-10-30 2022-06-03 索尼集团公司 图像处理装置、图像处理方法和图像处理程序
CN115039400A (zh) 2020-01-31 2022-09-09 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
WO2021210300A1 (ja) * 2020-04-15 2021-10-21 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
KR20240029039A (ko) * 2021-07-05 2024-03-05 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1806448A (zh) * 2003-06-12 2006-07-19 株式会社尼康 图像处理方法、图像处理程序以及图像处理器
CN101995758A (zh) * 2009-08-06 2011-03-30 索尼公司 成像装置和视频记录/播放系统
US20130063629A1 (en) * 2011-09-09 2013-03-14 Apple Inc. Digital camera with light splitter
CN104025577A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 图像处理装置、方法以及摄像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557324A (en) * 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
CN101584222B (zh) 2007-05-31 2011-10-12 松下电器产业株式会社 图像处理装置
EP3217660B1 (en) 2007-06-15 2018-10-31 Panasonic Intellectual Property Management Co., Ltd. Image processing device
CN101868979B (zh) * 2007-12-07 2013-03-27 松下电器产业株式会社 拍摄装置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP2010271049A (ja) * 2009-05-19 2010-12-02 Sony Corp ２次元固体撮像装置
JP5863005B2 (ja) * 2011-09-01 2016-02-16 株式会社リコー 撮像装置
KR20150004858A (ko) * 2012-04-20 2015-01-13 워싱톤 유니버시티 스펙트럼 편광 이미징 센서
JP5820794B2 (ja) * 2012-10-05 2015-11-24 オリンパス株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1806448A (zh) * 2003-06-12 2006-07-19 株式会社尼康 图像处理方法、图像处理程序以及图像处理器
CN101995758A (zh) * 2009-08-06 2011-03-30 索尼公司 成像装置和视频记录/播放系统
US20130063629A1 (en) * 2011-09-09 2013-03-14 Apple Inc. Digital camera with light splitter
CN104025577A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 图像处理装置、方法以及摄像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676245B2 (en) 2018-05-24 2023-06-13 Sony Corporation Information processing apparatus and method for processing information
CN114930800A (zh) * 2020-01-09 2022-08-19 索尼集团公司 图像处理装置、图像处理方法和成像装置
CN114930800B (zh) * 2020-01-09 2024-05-28 索尼集团公司 图像处理装置、图像处理方法和成像装置
CN113537218A (zh) * 2021-07-27 2021-10-22 京东数科海益信息科技有限公司 图像识别方法及其装置
CN113537218B (zh) * 2021-07-27 2024-02-06 京东科技信息技术有限公司 图像识别方法及其装置

Also Published As

Publication number Publication date
EP3376759B1 (en) 2021-04-14
US10460422B2 (en) 2019-10-29
CN108353153B (zh) 2020-10-23
JPWO2017081925A1 (ja) 2018-08-23
US20180308217A1 (en) 2018-10-25
WO2017081925A1 (ja) 2017-05-18
JP6750633B2 (ja) 2020-09-02
EP3376759A1 (en) 2018-09-19
EP3376759A4 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
CN108353153A (zh) 图像处理装置和图像处理方法
JP6673327B2 (ja) 画像処理装置と画像処理方法および撮像素子
JP6693530B2 (ja) 画像処理装置と画像処理方法
CN107003110A (zh) 图像处理装置和图像处理方法
CN102484721B (zh) 四通道滤色片阵列图案
TWI468021B (zh) 影像感測器件及使用照度及色度感測器之影像擷取之方法
JP5749741B2 (ja) ノイズ低減方法
CN111357282B (zh) 图像处理装置、图像处理方法、程序和固态成像装置
CN103975585A (zh) 图像处理装置
CN103916610B (zh) 用于动态后视镜的眩光减少
JP2013529400A (ja) 色フィルタアレイ画像反復デノイズ
US20170134650A1 (en) Surroundings detection device for a vehicle and method for detecting an image with the aid of a surroundings detection device
CN113557709A (zh) 成像装置、图像处理装置和图像处理方法
JP2000316163A (ja) カラー撮像素子及び撮像装置
CN109644241A (zh) 图像处理设备和图像处理方法
CN108028022A (zh) 图像处理装置、图像处理方法和车辆控制系统
US9013625B2 (en) Control device, control method, and program
JP2010109798A (ja) 撮像装置
EP4142300A1 (en) Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus
JP2012065093A (ja) 撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant