CN108293093B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN108293093B
CN108293093B CN201680065663.9A CN201680065663A CN108293093B CN 108293093 B CN108293093 B CN 108293093B CN 201680065663 A CN201680065663 A CN 201680065663A CN 108293093 B CN108293093 B CN 108293093B
Authority
CN
China
Prior art keywords
sensitivity
polarization
image
low
characteristic model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680065663.9A
Other languages
English (en)
Other versions
CN108293093A (zh
Inventor
小柳津秀纪
平泽康孝
近藤雄飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108293093A publication Critical patent/CN108293093A/zh
Application granted granted Critical
Publication of CN108293093B publication Critical patent/CN108293093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Polarising Elements (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

偏振图像处理单元30‑1的低灵敏度偏振特性模型计算单元31基于由低灵敏度成像单元21生成的多个偏振方向上的低灵敏度偏振图像来计算低灵敏度偏振特性模型。非饱和偏振图像提取单元32从由高灵敏度成像单元22生成的多个偏振方向上的高灵敏度偏振图像中提取在尚未发生饱和的偏振方向上的图像。高灵敏度分量获取单元33‑1根据高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的图像，来计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与低灵敏度偏振特性模型相同的相位分量。此外，高灵敏度分量获取单元33‑1获取高灵敏度偏振特性模型的幅度作为拍摄对象的偏振分量，并且获取高灵敏度偏振特性模型的最小值作为拍摄对象的非偏振分量。可以从图像中以高灵敏度确定拍摄对象的偏振特性。

Description

图像处理设备和图像处理方法
技术领域
本技术涉及一种图像处理设备和图像处理方法，并且旨在从图像中以高灵敏度确定拍摄对象的偏振特性。
背景技术
在现有技术中，偏振被用于分离反射分量等。在一个示例中，在专利文献1中，穿过偏振器单元(其中偏振器区域被分成多个偏振方向)的透射光的强度被拟合到作为偏振特性模型的余弦曲线，从而分离成非偏振分量和作为反射分量的偏振分量。
引用列表
专利文献
专利文献1：JP 4974543B
发明内容
技术问题
同时，在将透射光的强度拟合到余弦曲线的情况下，如果来自拍摄对象的强反射光(例如，反射的日光)穿过上述偏振器单元并入射在图像传感器上，则从图像传感器输出的图像信号将是饱和信号，这是因为入射光较强。由于这个原因，难以将每个偏振分量的亮度与偏振特性模型进行拟合。另外，如果将入射光的量设置为受限制或者将曝光时间设置为缩短，以这样的方式使得从图像传感器输出的信号不饱和，则每个偏振分量的亮度降低，并且因此，偏振特性模型是低灵敏度偏振特性模型，这在一个示例中导致非偏振分量水平的降低。因此，由于包括图像传感器中的噪声、信号处理中的舍入误差等的影响，拍摄对象的非偏振分量的图像将是图像质量恶化的图像。
鉴于此，本技术提供了一种图像处理设备和图像处理方法，其能够从图像中以高灵敏度确定拍摄对象的偏振特性。
问题的解决方案
本技术的第一方面是一种图像处理设备，包括：偏振图像处理单元，该偏振图像处理单元被配置为基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像，来确定高灵敏度图像的偏振特性，以基于高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。
在本技术中，偏振图像处理单元基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定高灵敏度图像的偏振特性。在一个示例中，偏振图像处理单元基于低灵敏度偏振图像来计算低灵敏度偏振特性模型，并且基于低灵敏度特性模型和高灵敏度偏振图像中尚未发生饱和的偏振方向的图像、或者基于低灵敏度偏振特性模型的平均值与高灵敏度偏振图像的亮度之间的比率以及低灵敏度偏振特性模型，来计算高灵敏度偏振特性模型。
在基于低灵敏度特性模型和高灵敏度偏振图像中尚未发生饱和的偏振方向的图像来计算高灵敏度偏振特性模型的情况下，偏振图像处理单元基于低灵敏度偏振特性模型的相位信息和高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的图像，来根据高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的亮度计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的低灵敏度偏振特性模型相同的相位分量。替代地，偏振图像处理单元基于高灵敏度偏振图像中在尚未发生饱和的偏振方向上的亮度与低灵敏度偏振图像中在相同偏振方向上的亮度之间的关系、以使得低灵敏度偏振特性模型和高灵敏度偏振特性模型中的偏移的总和与幅度之间的比率等于高灵敏度偏振图像和低灵敏度偏振图像的相关联亮度值之间的比率的方式，来计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的低灵敏度偏振特性模型相同的相位分量。另外，在多个偏振方向上的所有高灵敏度偏振图像都处于饱和状态的情况下，偏振图像处理单元基于高灵敏度偏振图像来计算高灵敏度偏振特性模型。
在使用非偏振图像作为高灵敏度图像的情况下，偏振图像处理单元基于低灵敏度偏振特性模型的平均值与高灵敏度图像的亮度之间的比率，来根据低灵敏度偏振特性模型计算高灵敏度偏振特性模型。
在一个示例中，偏振图像处理单元基于高灵敏度偏振特性模型，来获取高灵敏度偏振特性模型的幅度作为拍摄对象的偏振分量，并且获取高灵敏度偏振特性模型的最小值作为拍摄对象的非偏振分量。偏振图像处理单元在多个偏振方向上的所有高灵敏度偏振图像都处于饱和状态的情况下，基于低灵敏度偏振特性模型来获取拍摄对象的非偏振分量或偏振分量。
此外，图像处理设备设置有成像控制单元，该成像控制单元用于通过改变成像单元的曝光时间来生成低灵敏度偏振图像和高灵敏度图像。在一个示例中，成像控制单元以下述这样的方式来控制曝光时间：低灵敏度偏振图像中的偏振方向在三个或更多个方向上处于非饱和状态，并且高灵敏度图像中的偏振方向在一个或多个方向上处于非饱和状态。
此外，图像处理设备设置有成像单元，该成像单元被配置为生成低灵敏度偏振图像和高灵敏度图像。成像单元以像素为单位设置偏振方向，并且生成包括多个偏振方向上的像素的低灵敏度偏振图像。另外，成像单元具有用于通过改变曝光时间来生成低灵敏度偏振图像和高灵敏度图像的配置、包括被配置为生成低灵敏度偏振图像的低灵敏度成像单元和被配置为通过限制入射光量大于由低灵敏度成像单元限制的入射光量来生成高灵敏度图像的高灵敏度成像单元的配置、或者包括被配置为生成低灵敏度偏振图像的低灵敏度像素和被配置为通过限制入射光量大于由低灵敏度像素限制的入射光量来生成高灵敏度图像的高灵敏度像素的配置。
本技术的第二方面是一种图像处理方法，包括：基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像，来确定高灵敏度图像的偏振特性；以及基于高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。
本发明的有益效果
根据本技术，基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定高灵敏度图像的偏振特性，并且基于高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。因此，可以从图像中以高灵敏度确定拍摄对象的偏振特性，由此获取高灵敏度非偏振分量或偏振分量。而且，这里描述的效果仅仅是说明性的而非限制性的，或者可以具有其他有益效果。
附图说明
[图1]示出第一实施例的配置的图。
[图2]示出成像单元的配置的图。
[图3]示出针对目标像素中的每个偏振方向的亮度的图。
[图4]示出偏振特性模型的图。
[图5]示出第一实施例的操作的流程图。
[图6]示出各个偏振方向上的所有亮度值都处于饱和状态或非饱和状态的情况的图。
[图7]示出第一实施例的另一操作的流程图。
[图8]示出第二实施例的配置的图。
[图9]示出偏振特性模型的图。
[图10]示出第二实施例的操作的流程图。
[图11]表示第三实施例的配置的图。
[图12]示出针对目标像素中的每个偏振方向的亮度的图。
[图13]示出偏振特性模型的图。
[图14]示出第三实施例的操作的流程图。
[图15]示出了设置有成像控制单元的情况下的配置。
[图16]示出通过调整曝光时间来获取低灵敏度偏振图像和高灵敏度偏振图像(或高灵敏度非偏振图像)的情况下的操作的图。
[图17]示出通过切换曝光时间来交替地生成低灵敏度偏振图像和高灵敏度偏振图像的情况下的操作的图。
[图18]示出同时生成低灵敏度偏振图像和高灵敏度偏振图像的成像单元的配置的图。
[图19]示出色彩马赛克滤光器和偏振图案的图。
[图20]示出使用图像处理设备的车辆控制系统的示意配置的框图。
[图21]示出成像单元的安装示例的图。
具体实施方式
下面将描述用于执行本技术的模式。此外，将按下面的顺序给出描述。
1.第一实施例
2.第二实施例
3.第三实施例
4.其他实施例
5.应用示例
<1.第一实施例>
图1示出了本技术的第一实施例的配置。图像处理设备10-1包括成像单元20-1和偏振图像处理单元30-1。
成像单元20-1包括低灵敏度成像单元21和高灵敏度成像单元22，高灵敏度成像单元22具有比低灵敏度成像单元21更高的灵敏度。
低灵敏度成像单元21和高灵敏度成像单元22各自生成包括用于多个偏振分量中的每一个的像素的偏振图像的图像信号。图2示出了成像单元的配置。在成像单元20-1中，低灵敏度成像单元21被配置成使得具有利用三个或更多个方向的偏振方向的像素布置的偏振滤光器211被布置在图像传感器210的入射表面上。此外，在图2中，偏振滤光器211具有其中多个偏振器单元(在一个示例中为2×2像素)彼此相邻提供的配置。替代地，在一个示例中，偏振器单元以像素为单位具有四个偏振方向：θ0(例如，0°的偏振角)、θ1(例如45°)、θ2(例如90°)、以及θ3(例如135°)。
低灵敏度成像单元21被配置为使得即使入射光具有高亮度，从图像传感器210输出的图像信号也不饱和。在一个示例中，用于限制入射光量的光量限制单元212(例如，ND滤光器)以使得图像信号在每个像素处不饱和的方式被提供在图像传感器210或偏振滤光器211的入射表面侧上被设置在图像传感器210或偏振滤光器211的入射表面侧，以使得图像信号在每个像素处不饱和。低灵敏度成像单元21将所生成的偏振图像的图像信号输出到偏振图像处理单元30-1。
高灵敏度成像单元22具有这样的配置，其中具有利用三个或更多个方向的偏振方向的像素布置的偏振滤光器211被布置在图像传感器210的入射表面上，这类似于低灵敏度成像单元21。在一个示例中，高灵敏度成像单元22具有不包括光量限制单元并且具有比低灵敏度成像单元21更高灵敏度的配置。高灵敏度成像单元22将所生成的偏振图像的图像信号输出到偏振图像处理单元30-1。
偏振图像处理单元30-1基于通过由低灵敏度成像单元21捕获拍摄对象获得的具有多个偏振方向的低灵敏度偏振图像、以及由高灵敏度成像单元22获得的具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像(即，具有与低灵敏度偏振图像相同的多个偏振方向的高灵敏度偏振图像)，来确定高灵敏度图像的偏振特性。另外，偏振图像处理单元30-1基于所确定的高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。
偏振图像处理单元30-1包括低灵敏度偏振特性模型计算单元31、非饱和偏振图像提取单元32和高灵敏度分量获取单元33-1。偏振图像处理单元30-1基于低灵敏度偏振图像来计算低灵敏度偏振图像的偏振特性模型(以下称为
“低灵敏度偏振特性模型”)、基于低灵敏度偏振特性模型和高灵敏度图像来计算高灵敏度图像的偏振特性模型(以下称为“高灵敏度偏振特性模型”)、并且基于高灵敏度偏振特性模型来获取拍摄对象的非偏振分量或偏振分量。
低灵敏度偏振特性模型计算单元31根据具有四个偏振方向的低灵敏度偏振图像的目标像素(i,j)处的亮度值Fm(i,j)来计算低灵敏度偏振特性模型。此外，“M”是指示偏振方向的指标，并且偏振方向θ0至θ3被设置为m ＝ 0至3。另外，低灵敏度偏振图像的目标像素(i,j)和高灵敏度图像的目标像素(i,j)是指示拍摄对象的相同位置的像素。
已知偏振特性模型可以由公式(1)表示。因此，低灵敏度偏振特性模型计算单元31基于目标像素(i,j)的每一个偏振分量的亮度值Fm(i,j)来计算系数Af(i,j)、Bf(i,j)和θf(i,j)。
Fm(i，j)＝Af(i，F[1+cos(2θm+2θf(i,j))]+Bf(i,j)
(1)
非饱和偏振图像提取单元32基于公式(2)从由高灵敏度成像单元22生成的具有偏振方向(例如四个方向)的高灵敏度偏振图像的目标像素(i,j)的亮度值Gm(i,j)中提取处于非饱和状态的偏振方向的亮度，并且生成高灵敏度非饱和设置非饱和集合。此外，在公式(2)中，阈值Th是用于确定亮度是否饱和的值，并且在一个示例中，阈值Th被预设为高灵敏度成像单元22中的饱和水平，并且如果亮度等于阈值Th，则确定亮度是饱和的。
G(i,j)＝[Gn(i,j):n≤3,Gn(i,j)＜Th] (2)
高灵敏度分量获取单元33-1根据低灵敏度偏振特性模型的相位信息和高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的亮度来计算高灵敏度偏振特性模型。低灵敏度偏振图像的目标像素(i,j)和高灵敏度图像的目标像素(i,j)是指示拍摄对象的相同位置的像素，因此低灵敏度偏振特性模型和高灵敏度偏振特性模型的相位彼此相同。因此，高灵敏度分量获取单元33-1通过使用高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的亮度，来计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的低灵敏度偏振特性模型相同的相位分量。具体地，高灵敏度分量获取单元33-1通过使用高灵敏度非饱和设置非饱和集合SG(i，j)的多个元素，来计算指示高灵敏度偏振特性模型的公式(3)的系数Ag(i，j)和Bg(i，j)。
Gm(i，j)＝Ag(i，j)[1+cos(2θm+2θf(i，j))]+Bg(i，j)
(3)
在公式(3)中，由低灵敏度偏振特性模型计算单元31计算“θf(i，j)”。因此，多个元素仅需被包括在高灵敏度非饱和设置非饱和集合SG(i，j)中以计算系数Ag(i，j)和Bg(i，j)。高灵敏度分量获取单元33-1使用计算出的系数Ag(i，j)和Bg(i，j)，基于高灵敏度偏振特性模型来获取偏振分量。
在一个示例中，如后面将描述的图3所示，在亮度在目标像素(i，j)(G2(i，j)＝g2并且G3(i，j)＝g3)处的偏振方向θ2(m＝2)和θ3(m＝3)上处于非饱和状态的情况下，可以通过求解公式(4)的二次联立方程来计算系数Ag(i，j)和Bg(i，j)。
G2(i，j)＝Ag(i，j)[1+cos(2θ2+2θf(i，j))]+Bg(i，j)
G3(i，j)＝Ag(i，j)[1+cos(2θ3+2θf(i，j))]+Bg(i，j)
(4)
高灵敏度分量获取单元33-1通过将计算出的系数Ag(i，j)和Bg(i，j)代入公式(3)来计算高灵敏度偏振特性模型。另外，高灵敏度分量获取单元33-1在一个示例中计算来自高灵敏度偏振特性模型的幅度，并且将其设置为高灵敏度偏振图像中的偏振分量。另外，高灵敏度分量获取单元33-1在一个示例中计算来自高灵敏度偏振特性模型的最小值，并且将其设置为高灵敏度偏振图像中的非偏振分量。此外，高灵敏度分量获取单元33-1可以计算高灵敏度偏振特性模型的平均值以生成高灵敏度非偏振图像。
接下来，将描述第一实施例的操作。图3示出了针对目标像素中的每个偏振方向的亮度。在一个示例中，入射光量在低灵敏度成像单元21中受到限制，因此即使入射光较强，亮度也不饱和。然而，入射光量在高灵敏度成像单元22中不受限制，因此如果入射光较强，则目标像素的亮度将是饱和的。在一个示例中，图3示出了亮度在偏振方向θ0和偏振方向θ1上是饱和的情况。在图3中，目标像素处的偏振方向θ0上的亮度值g0饱和成亮度值g′0，并且偏振方向θ1上的亮度值g1饱和成亮度值g′1。而且，在饱和水平被设置为阈值Th的情况下，亮度值g′0和g′1等于阈值Th。
偏振图像处理单元30-1的低灵敏度偏振特性模型计算单元31基于针对低灵敏度偏振图像的目标像素处的各个偏振方向的亮度值f0、f1、f2和f3来计算系数Af、Bf和θf。换句话说，低灵敏度偏振特性模型计算单元31计算图4所示的低灵敏度偏振特性模型Ff(θ)。
非饱和偏振图像提取单元32将高灵敏度偏振图像的目标像素处的每个偏振方向的亮度与阈值Th进行比较，以生成包括不饱和偏振方向上的亮度的高灵敏度非饱和非饱和集合。在一个示例中，在高灵敏度偏振图像的目标像素处的各个偏振方向的亮度值是g0、g1、g2和g3，并且亮度值g2和g3小于阈值Th的情况下，高灵敏度非饱和非饱和集合包括偏振方向θ2上的亮度值g2和偏振方向θ3上的亮度值g3。
高灵敏度分量获取单元33-1基于在高灵敏度偏振图像的目标像素处设置的高灵敏度非饱和设置非饱和集合中的亮度值g2和g3来计算系数Af和Bf。换句话说，低灵敏度偏振特性模型和高灵敏度偏振特性模型的相位彼此相同，因此高灵敏度分量获取单元33-1计算系数Af和Bf，并且将系数Af和Bf代入公式(3)，由此计算图4所示的高灵敏度偏振特性模型Fg(θ)。此外，高灵敏度分量获取单元33-1输出高灵敏度偏振特性模型Fg(θ)的幅度作为偏振分量。另外，高灵敏度分量获取单元33-1输出高灵敏度偏振特性模型Fg(θ)的最小值作为非偏振分量。
偏振图像处理单元30-1顺序地移动目标像素的位置，并使得低灵敏度偏振特性模型计算单元31、非饱和偏振图像提取单元32和高灵敏度分量获取单元33-1重复执行上述处理，由此基于高灵敏度图像的偏振特性来输出拍摄对象的非偏振分量或偏振分量的图像。
图5是示出第一实施例的操作的流程图。在步骤ST1中，图像处理设备10-1获取低灵敏度偏振图像和高灵敏度偏振图像。图像处理设备10-1获取包括多个偏振方向上的像素(例如，具有三个或更多个方向的偏振方向的像素)的低灵敏度偏振图像，并且获取具有比低灵敏度偏振图像更高灵敏度的高灵敏度偏振图像，然后进行到步骤ST2。
在步骤ST2中，图像处理设备10-1计算低灵敏度偏振特性模型。图像处理设备10-1使用多个偏振方向上的低灵敏度偏振图像的亮度对偏振特性模型进行拟合，并且计算低灵敏度偏振特性模型，然后进行到步骤ST3。
在步骤ST3中，图像处理设备10-1生成高灵敏度非饱和集合。图像处理设备10-1从高灵敏度偏振图像中提取非饱和状态的偏振方向上的亮度，并且生成高灵敏度非饱和集合，然后进行到步骤ST4。
在步骤ST4中，图像处理设备10-1通过使用高灵敏度非饱和非饱和集合来计算高灵敏度偏振特性模型。图像处理设备10-1通过使用包括在高灵敏度非饱和非饱和集合中的多个偏振方向上的亮度来计算如上所述的系数Af和Bf。图像处理设备10-1通过使用计算出的系数Ag和Bg代替在步骤ST2中计算出的低灵敏度偏振特性模型中的系数Af和Bf来计算高灵敏度偏振特性模型，然后进行到步骤ST5。
在步骤ST5中，图像处理设备10-1获取高灵敏度分量。图像处理设备10-1获取高灵敏度偏振特性模型的幅度值作为偏振分量，并获取高灵敏度偏振特性模型的最小值作为非偏振分量。另外，图像处理设备10-1输出基于高灵敏度偏振特性模型获取的偏振分量和/或非偏振分量。
图像处理设备10-1顺序地移动目标像素的位置，针对每个目标像素执行上述处理，并且基于高灵敏度图像的偏振特性来输出拍摄对象的非偏振分量或偏振分量的图像。
此外，在高灵敏度偏振图像中的各个偏振方向上的所有亮度值都处于饱和状态或非饱和状态的情况下，高灵敏度分量获取单元33-1从与每个状态相对应的偏振特性模型中提取偏振分量或非偏振分量。图6示出了各个偏振方向上的所有亮度值都处于饱和状态或非饱和状态的情况。如图6的(a)所示，在高灵敏度偏振图像中各个偏振方向上的亮度值均未饱和的情况下，根据包括在高灵敏度非饱和设置非饱和集合中的每个偏振方向上的亮度来计算系数Ag(i,j)、Bg(i,j)和θf(i,j)以计算高灵敏度偏振特性模型。而且，如图6的(b)所示，在高灵敏度偏振图像中各个偏振方向上的所有亮度值都饱和的情况下，高灵敏度分量获取单元33-1从低灵敏度偏振特征模型中获取偏振分量或非偏振分量。
图7是示出第一实施例的其他操作的流程图。在步骤ST11中，图像处理设备10-1获取低灵敏度偏振图像和高灵敏度偏振图像。图像处理设备10-1获取包括多个不同偏振方向上的像素(例如具有三个或更多个方向的偏振方向的像素)的低灵敏度偏振图像，并且获取具有比低灵敏度偏振图像更高灵敏度的高灵敏度偏振图像，然后进行到步骤ST12。
在步骤ST12中，图像处理设备10-1判别高灵敏度偏振图像的各个偏振方向上的所有亮度值是处于饱和状态还是非饱和状态。在所有亮度值都处于饱和状态或非饱和状态的情况下，图像处理设备10-1进行到步骤ST17，而在饱和状态和非饱和状态的亮度被包括的情况下，图像处理设备10-1进行到步骤ST13。
在步骤ST13中，图像处理设备10-1判别处于非饱和状态的亮度是否具有多个偏振方向。在非饱和状态下的亮度是多个偏振方向的情况下，图像处理设备10-1进行到步骤ST14，而在非饱和状态下的亮度仅为一个偏振方向的情况下，图像处理设备10-1进行到步骤ST18。
在步骤ST14中，图像处理设备10-1计算低灵敏度偏振特性模型。图像处理设备10-1使用多个偏振方向上的低灵敏度偏振图像的亮度对偏振特性模型进行拟合，并且计算低灵敏度偏振特性模型，然后进行到步骤ST15。
在步骤ST15中，图像处理设备10-1生成高灵敏度非饱和集合。图像处理设备10-1从高灵敏度偏振图像中提取处于非饱和状态的亮度，并且生成高灵敏度非饱和集合，然后进行到步骤ST16。
在步骤ST16中，图像处理设备10-1通过使用高灵敏度非饱和非饱和集合来计算高灵敏度偏振特性模型。图像处理设备10-1通过使用包括在高灵敏度非饱和非饱和集合中的多个偏振方向上的亮度来计算如上所述的系数Af和Bf。图像处理设备10-1通过使用计算出的系数Ag和Bg代替在步骤ST14中计算出的低灵敏度偏振特性模型中的系数Af和Bf来计算高灵敏度偏振特性模型，然后进行到步骤ST20。
如果处理从步骤ST12进行到步骤ST17，则图像处理设备10-1判别它们是否全部处于饱和状态。在判别出各个偏振方向上的所有亮度值都处于饱和状态的情况下，图像处理设备10-1进入步骤ST18。在判别出各个偏振方向上的所有亮度值都处于非饱和状态的情况下，图像处理设备10-1进行到步骤ST19。
如果处理从步骤ST13或ST17进行到步骤ST18，则图像处理设备10-1计算低灵敏度偏振特性模型。图像处理设备10-1通过使用多个偏振方向上的低灵敏度偏振图像来执行对偏振特性模型的拟合，并且计算低灵敏度偏振特性模型，然后进行到步骤ST20。
如果处理从步骤ST17进行到步骤ST19，则图像处理设备10-1计算高灵敏度偏振特性模型。图像处理设备10-1通过使用多个偏振方向上的高灵敏度偏振图像来执行对偏振特性模型的拟合，并且计算高灵敏度偏振特性模型，然后进行到步骤ST20。
在步骤ST20中，图像处理设备10-1获取高灵敏度分量。图像处理设备10-1获取在步骤ST16、ST18或ST19中创建的偏振特性模型的幅度作为偏振分量，并且获取偏振特性模型的最小值作为非偏振分量。另外，图像处理设备10-1输出基于偏振特性模型获取的偏振分量和/或非偏振分量。
图7中所示的处理使得即使在各个偏振方向上的所有亮度值都处于饱和状态或非饱和状态时，图像处理设备10-1也可以输出偏振分量和/或非偏振分量作为与偏振相关的分量。
根据如上所述的第一实施例，即使高灵敏度偏振图像中的一些偏振方向上的偏振图像饱和，也可以基于低灵敏度偏振特性模型和高灵敏度偏振图像来计算高灵敏度偏振特性模型。因此，可以以高灵敏度确定拍摄对象的偏振特性。另外，可以基于高灵敏度偏振特性模型以高灵敏度获得偏振分量或非偏振分量，因此，在一个示例中，可以获得具有令人满意的图像质量的非偏振图像。
<2.第二实施例>
接下来，将描述第二实施例。图8示出了本技术的第二实施例的配置。图像处理设备10-2包括成像单元20-2和偏振图像处理单元30-2。
成像单元20-2包括低灵敏度成像单元21和具有比低灵敏度成像单元21更高灵敏度的高灵敏度成像单元22，这类似于第一实施例。低灵敏度成像单元21和高灵敏度成像单元22具有与第一实施例的配置相类似的配置。
低灵敏度成像单元21被配置为使得即使入射光具有高亮度，从图像传感器输出的图像信号也不饱和。在一个示例中，用于限制入射光量的光量限制单元被设置在图像传感器或偏振滤光器的入射表面侧，以使得图像信号不饱和。低灵敏度成像单元21将生成的偏振图像的图像信号输出到偏振图像处理单元30-2。
高灵敏度成像单元22具有这样的配置，其中具有利用三个或更多个方向的偏振方向的像素布置的偏振滤光器被布置在图像传感器的入射表面上，这类似于低灵敏度成像单元21。在一个示例中，高灵敏度成像单元22具有不包括光量限制单元并且具有比低灵敏度成像单元21更高灵敏度的配置。高灵敏度成像单元22将所生成的偏振图像的图像信号输出到偏振图像处理单元30-2。
偏振图像处理单元30-2基于通过由低灵敏度成像单元21捕获拍摄对象获得的具有多个偏振方向的低灵敏度偏振图像、以及由高灵敏度成像单元22获得的具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像(例如，具有多个偏振方向的高灵敏度偏振图像)，来确定高灵敏度图像的偏振特性。另外，偏振图像处理单元30-2基于所确定的高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。
偏振图像处理单元30-2包括低灵敏度偏振特性模型计算单元31、非饱和偏振图像提取单元32和高灵敏度分量获取单元33-2。偏振图像处理单元30-2以使得低灵敏度偏振特性模型和高灵敏度偏振特性模型中的偏移的总和与幅度之间的比率等于高灵敏度偏振图像和低灵敏度偏振图像的相关联的亮度值之间的比率的方式，来计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的低灵敏度偏振特性模型相同的相位分量。
低灵敏度偏振特性模型计算单元31根据由低灵敏度成像单元21生成的具有四个或更多个方向的偏振方向的低灵敏度偏振图像的目标像素(i,j)处的亮度值Fm(i,j)来计算偏振特性模型的系数Af(i,j)，Bf(i,j)和θf(i,j)，这与第一实施例类似。
非饱和偏振图像提取单元32通过从由高灵敏度成像单元22生成的具有四个或更多个方向的偏振方向的高灵敏度偏振图像的目标像素(i,j)处的亮度值Gm(i,j)中提取处于非饱和状态的偏振方向上的亮度，来生成高灵敏度非饱和集合，这与第一实施例类似。
高灵敏度分量获取单元33-2使用高灵敏度偏振图像中未饱和的偏振方向上的亮度与低灵敏度偏振图像中的偏振方向上的相关联亮度之间的关系，并且因此计算高灵敏度偏振特性模型。
这里，低灵敏度偏振特性模型和高灵敏度偏振特性模型中的偏移的总和与幅度之间的比率，即，高灵敏度偏振图像中未饱和的亮度值Gm(i,j)和低灵敏度偏振图像中的相位的相关联的亮度值Fm(i,j)之间的比率由公式(5)表示。
Gm(i,j)＝CfgFm(i,j) (5)
因此，高灵敏度分量获取单元33-2通过使用公式(5)中表示的关系，根据公式(1)中表示的低灵敏度偏振特性模型来计算公式(6)中表示的高灵敏度偏振特性模型。
Gm(i,j)＝Cfg[Ag(i,j)[1+cos(2θm+2θf(i,j))]+Bg(i,j)] (6)
高灵敏度分量获取单元33-2在一个示例中计算来自高灵敏度偏振特性模型的幅度，并将其设置为高灵敏度偏振图像中的偏振分量。另外，高灵敏度分量获取单元33-2在一个示例中计算来自高灵敏度偏振特性模型的最小值，并将其设置为高灵敏度偏振图像中的非偏振分量。此外，高灵敏度分量获取单元33-2可以计算高灵敏度偏振特性模型的平均值以生成高灵敏度非偏振图像。
接下来，将描述第二实施例的操作。低灵敏度偏振图像中的目标图像的偏振方向和亮度之间的关系以及高灵敏度偏振图像中的目标图像的偏振方向和亮度之间的关系具有图3所示的关系，这与第一实施例类似。
偏振图像处理单元30-2的低灵敏度偏振特性模型计算单元31基于针对低灵敏度偏振图像的目标像素处的各个偏振方向的亮度值f0、f1、f2和f3来计算系数Af、Bf和θf。换句话说，低灵敏度偏振特性模型计算单元31计算图9所示的低灵敏度偏振特性模型Ff(θ)。
非饱和偏振图像提取单元32将高灵敏度偏振图像的目标像素处的每个偏振方向的亮度与阈值Th进行比较，以生成包括不饱和偏振方向上的亮度的高灵敏度非饱和设置非饱和集合。在一个示例中，如图3所示，在高灵敏度偏振图像的目标像素处的各个偏振方向的亮度值是g0、g1、g2和g3，并且亮度值g2和g3小于阈值Th的情况下，高灵敏度非饱和设置非饱和集合包括偏振方向θ2上的亮度值g2和偏振方向θ3上的亮度值g3。
高灵敏度分量获取单元33-2使用低灵敏度偏振特性模型和高灵敏度偏振特性模型中的偏移的总和与幅度之间的比率，并且因此基于高灵敏度偏振图像中未饱和的亮度和低灵敏度偏振特性模型来计算高灵敏度偏振特性模型。
这里，在图9中，在一个示例中指示高灵敏度偏振图像中未饱和的亮度值g3与低灵敏度偏振图像中的相位的相关联亮度值f3之间的关系的系数Cfg是“Cfg＝g3/f3”。高灵敏度分量获取单元33-2基于系数Cfg和公式(1)来计算图9所示的高灵敏度偏振特性模型Fg(θ)。此外，高灵敏度分量获取单元33-2输出高灵敏度偏振特性模型Fg(θ)的幅度作为偏振分量。另外，高灵敏度分量获取单元33-2输出高灵敏度偏振特性模型Fg(θ)的最小值作为非偏振分量。
偏振图像处理单元30-2顺序地移动目标像素的位置，并使得低灵敏度偏振特性模型计算单元31、非饱和偏振图像提取单元32和高灵敏度分量获取单元33-2重复执行上述处理，从而基于高灵敏度图像的偏振特性来输出拍摄对象的非偏振分量或偏振分量的图像。
图10是示出第二实施例的操作的流程图。在步骤ST31中，图像处理设备10-2获取低灵敏度偏振图像和高灵敏度偏振图像。图像处理设备10-2获取包括多个不同偏振方向上的像素(例如，具有三个或更多个方向的偏振方向的像素)的低灵敏度偏振图像，并且获取具有比低灵敏度偏振图像更高灵敏度的高灵敏度偏振图像，然后进入步骤ST32。
在步骤ST32中，图像处理设备10-2计算低灵敏度偏振特性模型。图像处理设备10-2使用多个偏振方向上的低灵敏度偏振图像的亮度对偏振特性模型进行拟合，并且计算低灵敏度偏振特性模型，然后进行到步骤ST33。
在步骤ST33中，图像处理设备10-2生成高灵敏度非饱和集合。图像处理设备10-2从高灵敏度偏振图像中提取非饱和状态的偏振方向上的亮度，并且生成高灵敏度非饱和集合，然后进行到步骤ST34。
在步骤ST34中，图像处理设备10-2通过使用处于非饱和状态的一个偏振方向上的亮度来计算高灵敏度偏振特性模型。图像处理设备10-2通过使用处于非饱和状态的一个偏振方向上的亮度来如上所述计算系数Cfg。图像处理设备10-2通过将在步骤ST32中计算出的低灵敏度偏振特性模型乘以系数Cfg来计算高灵敏度偏振特性模型，然后进行到步骤ST35。
在步骤ST35中，图像处理设备10-2获取高灵敏度分量。图像处理设备10-2获取高灵敏度偏振特性模型的幅度值作为偏振分量，并获取高灵敏度偏振特性模型的最小值作为非偏振分量。另外，图像处理设备10-2输出基于偏振特性模型获取的偏振分量和/或非偏振分量。
图像处理设备10-2顺序地移动目标像素的位置，针对每个目标像素执行上述处理，并且基于高灵敏度图像的偏振特性来输出拍摄对象的非偏振分量或偏振分量的图像。
此外，在高灵敏度偏振图像中各个偏振方向上的亮度值都没有饱和的情况下，高灵敏度分量获取单元33-2可以通过根据包括在高灵敏度非饱和集合中的各个偏振方向上的亮度来计算系数Ag(i,j)、Bg(i,j)和θf(i,j)，来确定高灵敏度偏振特性模型。此外，在高灵敏度偏振图像中的各个偏振方向上的所有亮度值都饱和的情况下，高灵敏度分量获取单元33-2从低灵敏度偏振特征模型中获取偏振分量或非偏振分量。在这种情况下，图像处理设备10-2对图7所示的第一实施例的其他操作执行类似的处理。在第二实施例中，即使处于非饱和状态的亮度是一个偏振方向，也可以计算高灵敏度偏振特性模型，因此不一定执行与图7中的步骤ST13的处理类似的处理。
根据如上所述的第二实施例，即使在高灵敏度偏振图像中一些偏振方向上的偏振图像是饱和的，也可以基于低灵敏度偏振特性模型和高灵敏度偏振图像来计算高灵敏度偏振特性模型，这与第一实施例类似。因此，可以以高灵敏度确定拍摄对象的偏振特性。此外，可以基于高灵敏度偏振特性模型以高灵敏度获取偏振分量或非偏振分量，因此，在一个示例中，可以获得具有令人满意的图像质量的非偏振图像。此外，在第二实施例中，只要可以从高灵敏度偏振图像中的一个偏振方向上的图像中获得处于非饱和状态的亮度，就可以计算高灵敏度偏振特性模型，因此，其可以具有比第一实施例更宽的应用范围。
<3.第三实施例>
接下来，将描述第三实施例。图11示出了本技术的第三实施例的配置。图像处理设备10-3包括成像单元20-3和偏振图像处理单元30-3。
成像单元20-3包括低灵敏度成像单元21和具有比低灵敏度成像单元21更高灵敏度的高灵敏度成像单元23。
低灵敏度成像单元21具有与第一实施例的配置类似的配置。低灵敏度成像单元21被配置为使得即使入射光具有高亮度，从图像传感器输出的图像信号也不饱和。在一个示例中，用于限制入射光量的光量限制单元以使得图像信号未饱和的方式被提供在图像传感器或偏振滤光器的入射表面侧上。低灵敏度成像单元21将所生成的偏振图像的图像信号输出到偏振图像处理单元30-3。
高灵敏度成像单元23在不使用光量限制单元或偏振滤光器的情况下执行图像捕获，并且生成具有比低灵敏度成像单元21更高灵敏度的非偏振图像。高灵敏度成像单元23将所生成的高灵敏度非偏振图像的图像信号输出到偏振图像处理单元30-3。
偏振图像处理单元30-3基于通过由低灵敏度成像单元21捕获拍摄对象获得的具有多个偏振方向的低灵敏度偏振图像、以及由高灵敏度成像单元22获得的具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像(例如，高灵敏度非偏振图像)，来确定高灵敏度图像的偏振特性。另外，偏振图像处理单元30-3基于所确定的高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。
偏振图像处理单元30-3包括低灵敏度偏振特性模型计算单元31和高灵敏度分量获取单元33-3。偏振图像处理单元30-3基于低灵敏度偏振特性模型的平均值与高灵敏度图像的亮度之间的比率，根据低灵敏度偏振特性模型来计算高灵敏度偏振特性模型。
低灵敏度偏振特性模型计算单元31根据由低灵敏度成像单元21生成的具有四个或更多个方向的偏振方向的低灵敏度偏振图像的目标像素(i,j)处的亮度值Fm(i,j)来计算低灵敏度偏振特性模型的系数Af(i,j)，Bf(i,j)和θf(i,j)，这与第一实施例类似。
高灵敏度分量获取单元33-3通过使用低灵敏度偏振图像中的各个偏振方向上的亮度值的平均值来计算高灵敏度偏振特性模型。通过对低灵敏度偏振图像中的各个偏振方向的亮度值求平均而获得的图像对应于低灵敏度亮度非偏振图像。因此，高灵敏度非偏振图像的亮度值H(i,j)与目标像素(i,j)处的低灵敏度非偏振图像的平均值Favg(i,j)可以表示为公式(7)。
H(i,j)＝CfhFavg(i,j) (7)
因此，高灵敏度分量获取单元33-3计算与低灵敏度偏振特性模型在相位上相同的偏振特性模型(即指示低灵敏度偏振特性模型的平均值Favg(i,j)的相位处的亮度值H(i,j)的偏振特性模型)，作为高灵敏度偏振特性模型。换句话说，公式(8)中所示的偏振特性模型被设置为高灵敏度偏振特性模型。
H(i,j)＝Cfh[Af(i,j){1+cos(2θm+2θf(i,j)))+Bf(i，j)]
(8)
在一个示例中，高灵敏度分量获取单元33-3将高灵敏度特性模型的幅度设置为偏振分量。另外，高灵敏度分量获取单元33-3在一个示例中将高灵敏度特性模型的最小值设置为非偏振分量。
接下来，将描述第三实施例的操作。图12示出了低灵敏度偏振图像中的目标图像的每个偏振方向的亮度。而且，亮度值hq指示高灵敏度非偏振图像中的目标像素处的亮度。
偏振图像处理单元30-3的低灵敏度偏振特性模型计算单元31基于针对低灵敏度偏振图像的目标像素处的各个偏振方向的亮度值f0、f1、f2和f3来计算系数Af、Bf和θf。换句话说，低灵敏度偏振特性模型计算单元31计算图13所示的低灵敏度偏振特性模型Ff(θ)。
高灵敏度分量获取单元33-3通过使用低灵敏度偏振特性模型的平均值与高灵敏度非偏振图像的亮度之间的关系来获取高灵敏度偏振特性模型。
这里，如图13所示，对于目标像素，基于低灵敏度偏振图像的平均值是favg，并且高灵敏度非偏振图像的亮度值是hq，因此系数Cfh是“Cfh＝hq/favg”。高灵敏度分量获取单元33-3基于系数Cfh和公式(1)来计算图13所示的高灵敏度偏振特性模型Ff(θ)。此外，高灵敏度分量获取单元33-3输出高灵敏度偏振特性模型Ff(θ)的幅度作为偏振分量。另外，高灵敏度分量获取单元33-3输出高灵敏度偏振特性模型Ff(θ)的最小值作为非偏振分量。
偏振图像处理单元30-3顺序地移动目标像素的位置，并使得低灵敏度偏振特性模型计算单元31和高灵敏度分量获取单元33-3重复执行上述处理，从而基于高灵敏度图像的偏振特性来输出拍摄对象的非偏振分量或偏振分量的图像。
图14是示出第三实施例的操作的流程图。在步骤ST41中，图像处理设备10-3获取低灵敏度偏振图像和高灵敏度非偏振图像。图像处理设备10-3获取包括多个不同偏振方向上的像素(例如，具有三个或更多个方向的偏振方向的像素)的低灵敏度偏振图像，并且获取具有比低灵敏度偏振图像更高的灵敏度并且是非偏振的高灵敏度非偏振图像，然后进行到步骤ST42。
在步骤ST42中，图像处理设备10-3计算低灵敏度偏振特性模型。图像处理设备10-3使用多个偏振方向上的低灵敏度偏振图像的亮度对偏振特性模型进行拟合，并计算低灵敏度偏振特性模型，然后进行到步骤ST43。
在步骤ST43中，图像处理设备10-3从低灵敏度偏振图像中生成平均值图像。图像处理设备10-3对低灵敏度偏振图像中的不同偏振方向上的亮度值进行平均以生成平均值图像，然后进行到步骤ST44。
在步骤ST44中，图像处理设备10-3计算高灵敏度偏振特性模型。图像处理设备10-3计算使平均值图像的亮度等于高灵敏度非偏振图像的亮度的系数Cfh。图像处理设备10-3通过将计算出的系数Cfh乘以在步骤ST42中创建的低灵敏度偏振特性模型来计算高灵敏度偏振特性模型，然后进行到步骤ST45。
在步骤ST45中，图像处理设备10-3获取高灵敏度分量。图像处理设备10-3获取高灵敏度偏振特性模型的幅度值作为偏振分量，并获取高灵敏度偏振特性模型的最小值作为非偏振分量。另外，图像处理设备10-3输出基于偏振特性模型获取的偏振分量和/或非偏振分量。
图像处理设备10-3顺序地移动目标像素的位置，针对每个目标像素执行上述处理，并且基于高灵敏度图像的偏振特性来输出拍摄对象的非偏振分量或偏振分量的图像。
根据如上所述的第三实施例，可以基于低灵敏度偏振特性模型和高灵敏度非偏振图像来计算高灵敏度偏振特性模型。因此，可以以高灵敏度确定拍摄对象的偏振特性。另外，可以基于高灵敏度偏振特性模型以高灵敏度获得偏振分量或非偏振分量，因此，在一个示例中，可以获得具有令人满意的图像质量的非偏振图像。此外，在第三实施例中，可以在不使用偏振图像作为高灵敏度图像的情况下计算高灵敏度偏振特性模型，因此成像单元可以以比第一实施例或第二实施例更容易的方式配置。
<4.其他实施例>
尽管以上描述给出了为低灵敏度提供光量限制单元以在上述实施例的成像单元中生成低灵敏度偏振图像的情况，但是成像单元不限于上述配置，只要成像单元能够获取低灵敏度偏振图像和高灵敏度偏振图像(或高灵敏度非偏振图像)即可。在一个示例中，可以通过调整曝光时间来获取低灵敏度偏振图像和高灵敏度偏振图像(或高灵敏度非偏振图像)。
图15示出了在图像处理设备设置有成像控制单元的情况下的配置，其中该成像控制单元控制成像单元的曝光时间以生成低灵敏度偏振图像和高灵敏度图像。图像处理设备10-4包括成像单元20-4和偏振图像处理单元30-4。
成像单元20-4包括以与第一和第二实施例类似的方式配置的低灵敏度成像单元21-4和具有比低灵敏度成像单元21-4更高灵敏度的高灵敏度成像单元22-4。可以通过偏振图像处理单元30-4的成像控制单元35来控制低灵敏度成像单元21-4和高灵敏度成像单元22-4中的每一个的曝光时间。
在低灵敏度成像单元21-4中，成像控制单元35以下述这样的方式来调整其曝光时间：即使入射光具有高亮度，从图像传感器输出的图像信号在三个方向的偏振方向上也处于非饱和状态。低灵敏度拍摄单元21-4将所生成的偏振图像的图像信号输出到偏振图像处理单元30-2。
在高灵敏度成像单元22-4中，成像控制单元35以下述这样的方式来调整其曝光时间：即使入射光具有高亮度，从图像传感器输出的图像信号在一个或多个偏振方向上也处于非饱和状态。高灵敏度成像单元22-4将所生成的偏振图像的图像信号输出到偏振图像处理单元30-4。
偏振图像处理单元30-4基于通过由低灵敏度成像单元21捕获拍摄对象获得的具有多个偏振方向的低灵敏度偏振图像、以及由高灵敏度成像单元22获得的具有比低灵敏度偏振图像更高的灵敏度的高灵敏度图像(例如，具有多个偏振方向的高灵敏度偏振图像)，来确定高灵敏度图像的偏振特性。另外，偏振图像处理单元30-4基于所确定的高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。此外，偏振图像处理单元30-4控制成像单元20-4的曝光。偏振图像处理单元30-4包括低灵敏度偏振特性模型计算单元31-4、非饱和偏振图像提取单元32-4、高灵敏度分量获取单元33-4和成像控制单元35。
低灵敏度偏振特性模型计算单元31-4基于由低灵敏度成像单元21-4生成的低灵敏度偏振图像来计算低灵敏度偏振特性模型，这与第一实施例类似。另外，低灵敏度偏振特性模型计算单元31-4向成像控制单元35通知处于非饱和状态的偏振方向。
非饱和偏振图像提取单元32-4根据由高灵敏度成像单元22-4生成的高灵敏度偏振图像来计算高灵敏度非饱和集合，这与第一实施例类似。非饱和偏振图像提取单元32-4将计算出的高灵敏度非饱和集合输出到高灵敏度分量获取单元33-4。另外，非饱和偏振图像提取单元32-4向成像控制单元35通知处于非饱和状态的偏振方向。
高灵敏度分量获取单元33-4执行与第一实施例的高灵敏度分量获取单元33-1或第二实施例的高灵敏度分量获取单元33-2的处理类似的处理，并且计算指示高灵敏度偏振图像的偏振特性的偏振特征模型。
成像控制单元35以下述这样的方式来控制曝光时间：从低灵敏度偏振特性模型计算单元31-4和非饱和偏振图像提取单元32-4通知的处于非饱和状态的偏振方向在低灵敏度偏振图像中的三个或更多个方向上处于非饱和状态，并且在高灵敏度偏振图像中的一个或多个方向上处于非饱和状态。
图16示出了通过调整曝光时间来获取低灵敏度偏振图像和高灵敏度偏振图像(或高灵敏度非偏振图像)的情况下的操作。而且，在图16中，(a)表示低灵敏度成像单元的曝光时段，并且在图16中，(b)表示高灵敏度成像单元的曝光时段。在一个示例中，低灵敏度成像单元和高灵敏度成像单元针对每个帧执行图像捕获，并且低灵敏度成像单元使得曝光时间比高灵敏度成像单元的曝光时间更短，并且因此将亮度处于非饱和状态的偏振方向设置为三个或更多个方向。另外，高灵敏度成像单元使得曝光时间比高灵敏度成像单元的曝光时间更长，并且因此将亮度处于非饱和状态的偏振方向设置为一个或多个方向。曝光时间的这种控制使得可以基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定高灵敏度图像的偏振特性，而不管反射光的强度如何。
此外，上述实施例示出了分开提供低灵敏度成像单元和高灵敏度成像单元的情况，但是它们中的一个成像单元既可以生成低灵敏度偏振图像，也可以生成高灵敏度偏振图像。在它们中的一个图像单元既可以生成低灵敏度偏振图像也可以生成高灵敏度偏振图像的情况下，成像控制单元在一个示例中针对每个帧切换曝光时间。图17示出了在曝光时间被切换为交替地生成低灵敏度偏振图像和高灵敏度偏振图像的情况下的操作。在奇数帧中，在亮度处于非饱和状态的偏振方向是三个或更多个方向的曝光时间中生成低灵敏度偏振图像。另外，在偶数帧中，在比生成低灵敏度偏振图像时的曝光时间更长的曝光时间(例如，亮度处于非饱和状态的偏振方向是一个或多个方向的曝光时段)中生成高灵敏度偏振图像。以这种方式，曝光时间的切换使得一个成像单元可以交替地生成低灵敏度偏振图像和高灵敏度偏振图像。另外，当一个成像单元交替地生成低灵敏度偏振图像和高灵敏度偏振图像时，具有相同位置的像素指示拍摄对象在低灵敏度偏振图像和高灵敏度偏振图像中的相同位置。因此，可以通过在相同像素位置处使用低灵敏度偏振图像和高灵敏度偏振图像来计算高灵敏度偏振特性模型，并且在一个示例中，因此不需要低灵敏度成像单元和高灵敏度成像单元执行使得拍摄对象位于相同位置的设置，由此容易地计算高灵敏度偏振特性模型。
此外，在一个成像单元生成低灵敏度偏振图像和高灵敏度偏振图像的情况下，其中同时生成低灵敏度偏振图像和高灵敏度偏振图像的配置可用作针对每个像素具有不同灵敏度的配置。图18示出了同时生成低灵敏度偏振图像和高灵敏度偏振图像的成像单元的配置。成像单元20a包括被提供在图像传感器210的入射表面上的偏振滤光器211和光量限制单元(ND滤光器)213。偏振滤光器211具有这样的配置，其中具有利用三个或更多个方向的偏振方向的像素布置的偏振滤光器211被布置。而且，图18示出了使用偏振滤光器211的情况，其中多个块被布置为彼此相邻，多个块中的每一个包括2×2像素，其偏振方向以像素为单位是下述四个方向：θ0(例如0°)、θ1(例如45°)、θ2(例如90°)以及θ3(例如135°)。光量限制单元213被配置为以偏光器为基本单位来限制光量。另外，光量限制单元被配置为包括以交错方式布置的第一光量限制单元ND1和第二光量限制单元ND2。第二光量限制单元ND2具有比第一光量限制单元更大的光量限制。使用这样的成像单元20a使得可以生成低灵敏度偏振图像和高灵敏度偏振图像。此外，在这种情况下，在低灵敏度偏振图像和高灵敏度偏振图像中，它们的像素位置彼此不一致，因此可以执行内插处理等以获得低灵敏度偏振图像和高灵敏度偏振图像针对每个像素的亮度。
尽管上述实施例示出了低灵敏度偏振图像或者高灵敏度偏振图像和高灵敏度非偏振图像是黑白图像的情况，但是可以生成色彩图像作为偏振图像或者非偏振图像。在这种情况下，成像单元在一个示例中使用色彩马赛克滤光器来生成红色像素、绿色像素和蓝色像素的像素信号。图19示出了色彩马赛克滤光器和偏振图案。在图19中，(a)至(f)表示色彩图案，并且(g)和(h)表示偏振图案。在图19的(g)和(h)中，偏振方向由箭头表示。
作为色彩图案，使用图19(a)所示的布置，其中，2×2像素被重复提供作为一个色彩分量，其中2×2色彩分量单元包括一个红色分量单元、一个蓝色分量单元、以及两个绿色分量单元，或者使用图19的(b)所示的拜尔阵列，其中色彩分量单元是一个像素。另外，可以使用图19的(a)所示的其中两个绿色分量单元之一是白色像素的配置，如图19的(c)所示，或者可以使用其中白色像素被嵌入在拜耳阵列中的配置，如图19的(d)所示。此外，如图19的(e)所示，在一个示例中，红外(IR)像素可以被嵌入到拜耳阵列中，以使得即使在夜晚等也能够进行高度灵敏的拍摄。另外，在图19中，(f)表示全部像素被布置为白色像素的情况。而且，在图19中，红色像素表示为“R”，绿色像素表示为“G”，蓝色像素表示为“B”，白色像素表示为“W”，并且红外像素表示为“IR”。
偏振图案可以包括像素单元是具有不同偏振方向的2×2像素的像素，如图19的(g)所示，或者可以包括其中2×2像素的像素单元被设置为偏振单元并且2×2偏振单元针对每个偏振单元具有不同偏振方向的像素，如图19的(h)所示。
色彩图案和偏振图案组合使用以获得针对每个色彩分量的四个偏振分量。在一个示例中，在色彩马赛克滤光器是图19的(a)和(c)的情况下，使用图19的(g)所示的偏振图案。另外，在色彩马赛克滤光器是图19的(b)、(d)和(e)的情况下，使用图19的(h)所示的偏振图案。此外，在色彩马赛克滤光器是图19的(a)和(c)的情况下，可以通过在水平方向和垂直方向上将相位移动一个像素来使用图19的(h)所示的偏振图案。另外，在使用色彩去马赛克滤光器的情况下，如果使用具有相同色彩分量的相同偏振方向上的亮度执行内插处理等，则可以在每个像素位置处针对每个色彩分量生成每个偏振分量的亮度。因此，可以针对每个色彩分量执行上述实施例的处理，以创建高灵敏度偏振特性模型，并且获得针对每个色彩分量的偏振分量和非偏振分量，从而针对每个高质量色彩分量生成非偏振图像或者针对每个高质量色彩分量根据非偏振图像生成色彩非偏振图像。
此外，上述第一和第二实施例中所示的流程图中的处理不限于按照步骤顺序执行的顺序处理，并且低灵敏度偏振特性模型和高灵敏度非饱和集合可以并行生成。另外，流水线处理可以允许在一个示例中以帧为基础顺序地获取低灵敏度偏振图像和高灵敏度光学图像，并且允许获取偏振分量和/或非偏振分量。此外，上述第一至第三实施例示出了其中图像处理设备包括成像单元的配置，但是成像单元可以与图像处理设备分开提供。
<5.应用示例>
现在描述图像处理设备(图像处理方法)的应用示例。图20是示出使用本技术的图像处理设备的车辆控制系统的示意性配置的图。车辆控制系统90包括经由通信网络920彼此连接的多个控制单元或检测单元。在图20所示的示例中，车辆控制系统90包括驱动系统控制单元931、车身系统控制单元932、电池控制单元933、车辆外部信息检测单元934、无线通信单元935和集中控制单元940。在一个示例中，通信网络920可以是符合诸如控制单元区域网络(CAN)、本地互联网络(LIN)、局域网(LAN)、FlexRay(注册商标)等的任何标准的车载通信网络。另外，集中控制单元940连接到输入单元951、音频输出单元952和显示单元953。
每个控制单元包括根据各种程序执行算术运算处理的微型计算机，存储由微型计算机执行的程序、用于各种算术运算的参数等的存储单元，以及驱动各种目标设备受控的驱动电路。
驱动系统控制单元931根据各种程序来控制与车辆的驱动系统有关的装置的操作。在一个示例中，驱动系统控制单元931用作诸如内燃机或驱动电机之类的用于生成车辆驱动力的驱动力生成设备、用于将驱动力传递到车轮的驱动力传递机构、以及用于调节车辆的转向角的转向机构。另外，驱动系统控制单元931可以用作诸如用于生成车辆的制动力的制动设备之类的控制设备，以及用作诸如防抱死制动系统(ABS)、电子稳定性控制(ESC)等的控制设备。
驱动系统控制单元931连接到车辆状态检测单元9311。在一个示例中，车辆状态检测单元9311包括用于检测车身的轴旋转运动的角速度的陀螺仪传感器、用于检测车辆的加速度的加速度计、以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机RPM、驱动速度等的传感器。驱动系统控制单元931使用从车辆状态检测单元9311输入的信号执行算术运算处理，并且控制内燃机、驱动电机、电动助力转向设备、制动设备等。
车身系统控制单元932根据各种程序来控制车身上所装备的各种设备的操作。在一个示例中，车身系统控制单元932用作无钥匙进入系统、智能钥匙系统、电动车窗设备、或用于各种灯(例如，前照灯、尾灯、制动灯、转向信号灯、雾灯等)的控制设备。在这种情况下，车身系统控制单元932可以接收从代替钥匙的便携式设备发送的无线电波或各种开关的信号。车身系统控制单元932接收这种无线电波或信号的输入并且控制车辆的门锁设备、电动车窗设备、灯等。
电池控制单元933根据各种程序控制作为驱动电机的电源的二次电池9331。在一个示例中，诸如电池温度、电池输出电压和电池的剩余容量之类的信息从包括二次电池9331的电池设备输入到电池控制单元933。电池控制单元933使用这些信号执行算术运算处理，并执行对二次电池9331的温度调节控制或对提供在电池设备中的冷却设备等的控制。
车辆外部信息检测单元934检测装备有车辆控制系统90的车辆外部的信息。车辆外部信息检测单元934使用本技术的图像处理设备10-1(或10-2、10-3或10-4)。
图21是示出成像单元的安装示例的图。在一个示例中，图像处理设备10-1(10-2、10-3或10-4)的偏振成像单元20-1(或20-2、20-3或20-4)被提供在车辆80的前鼻、侧后视镜、后保险杠和后门，以及车辆乘客舱中的挡风玻璃的上部中的至少一个的位置处。提供在前鼻处的成像单元20-A和提供在车辆乘客舱中的挡风玻璃的上部的成像单元20-B主要获取车辆80前方的图像。提供在侧后视镜中的成像单元20-C和20-D主要获取车辆80的侧面的图像。提供在后保险杠或后门中的成像单元20-E主要获取车辆80后方的图像。此外，图21示出了成像单元20-A至20-E中的每一个的拍摄范围的示例。图像捕获范围AR-a指示提供在前鼻中的成像单元20-A的图像捕获范围。图像捕获范围AR-c和AR-d分别表示提供在侧后视镜上的成像单元20-C和20-D的图像捕获范围。图像捕获范围AR-e指示提供在后保险杠或后门中的成像单元20-E的图像捕获范围。
返回参考图20，车辆外部信息检测单元934捕获车辆的周边区域的图像，并且获取偏振图像。另外，车辆外部信息检测单元934从所获取的偏振图像中获取拍摄对象的偏振特性。此外，车辆外部信息检测单元934使用所获取的偏振特性来生成可用于车辆控制等的信息。
无线通信单元935经由诸如专用短程通信(DSRC，注册商标)之类的无线通信网络与管理车辆的外部情况(例如，其他车辆或路况)的管理中心进行通信，并将接收到的信息输出到集中控制单元940。另外，无线通信单元935将由车辆外部信息检测单元934获取的偏振特性等发送到其他车辆、管理中心等。此外，无线通信单元935可以经由诸如无线LAN无线通信网络、用于移动电话的无线通信网络(例如，3G、LTE和4G)等的无线通信网络与管理中心进行通信。另外，无线通信单元935可以接收全球导航卫星系统(GNSS)的信号等，执行定位，并将定位结果输出到集中控制单元940。
集中控制单元940连接到输入单元951、音频输出单元952和显示单元953。在一个示例中，输入单元951被提供为可由车辆驾驶员操作的设备，例如触摸面板、按钮、麦克风、开关或控制杆。输入单元951基于由车辆驾驶员等输入的信息生成输入信号，并将其输出到集中控制单元940。
音频输出单元952基于来自集中控制单元940的音频信号通过输出声音来向车辆驾驶员可听地通知信息。显示单元953基于来自集中控制单元940的图像信号显示图像并向车辆驾驶员可视地通知信息。
集中控制单元940包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。只读存储器(ROM)存储要由中央处理单元(CPU)执行的各种程序。随机存取存储器(RAM)存储诸如各种参数、算术运算结果或传感器信号之类的信息。CPU执行存储在ROM中的各种程序，并根据来自输入单元951的输入信号、通过经由通信网络920与每个控制单元、车辆外部信息检测单元和无线通信单元进行通信所获得的信息、以及存储在RAM中的信息等来控制车辆控制系统90中的整体操作。另外，集中控制单元940生成指示要被可听地通知给车辆驾驶员的信息的音频信号并将其输出到音频输出单元952，并且集中控制单元940生成可视地通知信息的图像信号并将其输出到显示单元953。另外，集中控制单元940使用无线通信单元935与车辆外部存在的各种设备(例如，其他车辆或管理中心)进行通信。另外，集中控制单元940基于存储在ROM或RAM中的地图信息和从无线通信单元935中获取的定位结果来支持车辆驾驶。
而且，在图20所示的示例中，经由通信网络920连接的至少两个控制单元可以被集成为一个控制单元。替代地，每个控制单元可以包括多个控制单元。此外，车辆控制系统90可以包括未示出的另一控制单元。另外，在以上描述中，由任何控制单元执行的一些或全部功能可以被提供给其他控制单元。换句话说，只要经由通信网络920发送和接收信息，预定的算术运算处理就可以由任何控制单元执行。
在这样的车辆控制系统中，在本技术的图像处理设备在一个示例中应用于车辆外部信息检测单元的情况下，车辆外部信息检测单元可以获取具有令人满意的图像质量的图像，即使反射光较强，反射分量也从该图像中被去除。因此，可以通过使用由车辆外部信息检测单元获取的图像来准确且容易地检测障碍物等，从而构建实现更安全的驾驶的车辆控制系统。
此外，上述图像处理设备可适用于监测系统。在采用监测系统的情况下，即使当由于反射光的影响而难以观看拍摄对象时，也可以获得拍摄对象的具有令人满意的图像质量的图像，其中反射分量从该图像中被去除，从而轻松监测拍摄对象。此外，上述图像处理设备不限于车辆控制系统或监测系统，而是可应用于成像装置、具有成像功能的电子装置等。此外，这里描述的一系列处理可以通过硬件、软件或其组合来执行。在通过软件执行处理的情况下，可以通过安装其中处理序列被记录在嵌入在专用硬件中的计算机的存储器中的程序来执行处理，或者可以通过安装可以执行各种处理的通用计算机中的程序来执行处理。
在一个示例中，可以将程序预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)上。替代地，可以将该程序暂时或永久地存储(记录)在诸如软盘、光盘只读存储器(CD-ROM)、磁光盘(MO)、数字通用盘(DVD)、蓝光盘(注册商标)(BD)、磁盘或半导体存储卡之类的可移动记录介质中(上)。这种可移动记录介质可以作为所谓的软件包来提供。
另外，程序不仅可以从可移动记录介质安装在计算机上，而且可以通过诸如局域网(LAN)或互联网之类的网络从下载站点无线或有线地传输到计算机。在这样的计算机中，以上述方式传输的程序可以被接收并安装在诸如内置硬件之类的记录介质上。
注意，本说明书中描述的效果仅仅是示例，而不是限制性的；并且可以展现未描述的附加效果。此外，本技术不被解释为限于上述技术的实施例。本技术的实施例以示例的形式公开了本技术，并且显而易见的是，本领域技术人员可以在不脱离本技术的主旨的情况下对实施例进行修改或替换。换句话说，为了确定本技术的要点，应该考虑权利要求。
另外，本技术还可以被配置为如下所示。
(1)一种图像处理设备，包括：
偏振图像处理单元，该偏振图像处理单元被配置为基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定高灵敏度图像的偏振特性，以基于高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。
(2)根据(1)所述的图像处理设备，
其中，偏振图像处理单元基于低灵敏度偏振图像来计算低灵敏度偏振特性模型，基于低灵敏度偏振特性模型和高灵敏度图像来计算指示高灵敏度图像的偏振特性的高灵敏度偏振特性模型，并且基于高灵敏度偏振特性模型来获取拍摄对象的非偏振分量或偏振分量。
(3)根据(2)所述的图像处理设备，
其中，高灵敏度图像是偏振图像，以及，
偏振图像处理单元基于低灵敏度偏振特性模型和高灵敏度偏振图像中尚未发生饱和的偏振方向上的图像来计算高灵敏度偏振特性模型。
(4)根据(3)所述的图像处理设备，
其中，偏振图像处理单元根据低灵敏度偏振特性模型的相位信息和高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的图像来计算高灵敏度偏振特性模型。
(5)根据(4)所述的图像处理设备，
其中，偏振图像处理单元根据高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的亮度来计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的低灵敏度偏振特性模型相同的相位分量。
(6)根据(3)所述的图像处理设备，
其中，偏振图像处理单元基于高灵敏度偏振图像中在尚未发生饱和的偏振方向上的亮度与低灵敏度偏振图像中在相同偏振方向上的亮度之间的关系，根据低灵敏度偏振特性模型来计算高灵敏度偏振特性模型。
(7)根据(6)所述的图像处理设备，
其中，偏振图像处理单元以使得低灵敏度偏振特性模型和高灵敏度偏振特性模型中的偏移的总和与幅度之间的比率等于高灵敏度偏振图像和低灵敏度偏振图像的相关联亮度值之间的比率的方式，来计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的低灵敏度偏振特性模型相同的相位分量。
(8)根据(3)至(7)中任一项所述的图像处理设备，
其中，偏振图像处理单元在多个偏振方向上的所有高灵敏度偏振图像都处于饱和状态的情况下，基于低灵敏度偏振特性模型来获取拍摄对象的非偏振分量或偏振分量。
(9)根据(3)至(7)中任一项所述的图像处理设备，
其中，偏振图像处理单元在多个偏振方向上的所有高灵敏度偏振图像都处于非饱和状态的情况下，基于高灵敏度偏振图像来计算高灵敏度偏振特性模型。
(10)根据(2)所述的图像处理设备，
其中，高灵敏度图像是非偏振图像，以及，
偏振图像处理单元基于低灵敏度偏振特性模型的平均值与高灵敏度图像的亮度之间的比率，来根据低灵敏度偏振特性模型计算高灵敏度偏振特性模型。
(11)根据(2)至(10)中任一项所述的图像处理设备，
其中，偏振图像处理单元将高灵敏度偏振特性模型的幅度设置为偏振分量，以及将高灵敏度偏振特性模型的最小值设置为非偏振分量。
(12)根据(1)至(11)中任一项所述的图像处理设备，还包括：
成像控制单元，该成像控制单元被配置为通过改变成像单元的曝光时间来使成像单元生成低灵敏度偏振图像和高灵敏度图像。
(13)根据(12)所述的图像处理设备，
其中，成像控制单元以下述这样的方式来控制曝光时间：低灵敏度偏振图像中的偏振方向在三个或更多个方向上处于非饱和状态，以及高灵敏度图像中的偏振方向在一个或多个方向上处于非饱和状态。
(14)根据(1)至(13)中任一项所述的图像处理设备，还包括：
成像单元，该成像单元被配置为生成低灵敏度偏振图像和高灵敏度图像。
(15)根据(1)至(14)中任一项所述的图像处理设备，
其中，成像单元生成包括多个偏振方向上的像素的低灵敏度偏振图像，偏振方向中的每一个以像素为单位被设置。
(16)根据(14)所述的图像处理设备，
其中，成像单元通过改变曝光时间来生成低灵敏度偏振图像和高灵敏度图像。
(17)根据(14)所述的图像处理设备，
其中，成像单元包括低灵敏度成像单元和高灵敏度成像单元，其中低灵敏度成像单元被配置为生成低灵敏度偏振图像，以及高灵敏度成像单元被配置为通过限制入射光量大于由低灵敏度成像单元限制的入射光量来生成高灵敏度图像。
(18)根据(14)所述的图像处理设备，
其中，成像单元包括低灵敏度像素和高灵敏度像素，其中低灵敏度像素被配置为生成低灵敏度偏振图像，以及高灵敏度像素被配置为通过限制入射光量大于由低灵敏度像素限制的入射光量来生成高灵敏度图像。
工业实用性
在本技术的图像处理设备和图像处理方法中，基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像，来获得高灵敏度图像的偏振特性，并且因此基于高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。因此，可以从图像中以高灵敏度确定拍摄对象的偏振特性，并且可以获取高灵敏度非偏振分量或偏振分量。因此，在一个示例中，其适用于优选去除来自捕获图像的反射光的影响的系统，例如车辆控制系统、监测系统等。
参考标记列表
10、10-1至10-4图像处理设备
20、20-1至20-4、20a、20-A至20-E成像单元
21、21-4低灵敏度成像单元
22、22-4、23高灵敏度成像单元
30-1至30-4偏振图像处理单元
31、31-4低灵敏度偏振特性模型计算单元
32、32-4非饱和偏振图像提取单元
33-1、33-2、33-3、33-4高灵敏度分量获取单元
35成像控制单元
80车辆
210图像传感器
211偏振滤光器
212、213光量限制单元(ND滤光器)。

Claims (19)

1.一种图像处理设备，包括：
偏振图像处理单元，所述偏振图像处理单元被配置为基于多个偏振方向上的低灵敏度偏振图像和具有比所述低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定所述高灵敏度图像的偏振特性，以基于所述高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。
2.根据权利要求1所述的图像处理设备，
其中，所述偏振图像处理单元基于所述低灵敏度偏振图像来计算低灵敏度偏振特性模型，基于所述低灵敏度偏振特性模型和所述高灵敏度图像来计算指示所述高灵敏度图像的偏振特性的高灵敏度偏振特性模型，并且基于所述高灵敏度偏振特性模型来获取所述拍摄对象的所述非偏振分量或所述偏振分量。
3.根据权利要求2所述的图像处理设备，
其中，所述高灵敏度图像是偏振图像，以及，
所述偏振图像处理单元基于所述低灵敏度偏振特性模型和所述高灵敏度偏振图像中尚未发生饱和的偏振方向上的图像来计算所述高灵敏度偏振特性模型。
4.根据权利要求3所述的图像处理设备，
其中，所述偏振图像处理单元根据所述低灵敏度偏振特性模型的相位信息和所述高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的图像来计算所述高灵敏度偏振特性模型。
5.根据权利要求4所述的图像处理设备，
其中，所述偏振图像处理单元根据所述低灵敏度偏振特性模型的相位信息和所述高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的亮度来计算所述高灵敏度偏振特性模型，所述高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的所述低灵敏度偏振特性模型相同的相位分量。
6.根据权利要求3所述的图像处理设备，
其中，所述偏振图像处理单元基于所述高灵敏度偏振图像中在尚未发生饱和的偏振方向上的亮度与所述低灵敏度偏振图像中在相同偏振方向上的亮度之间的关系，根据所述低灵敏度偏振特性模型来计算所述高灵敏度偏振特性模型。
7.根据权利要求6所述的图像处理设备，
其中，所述偏振图像处理单元以使得所述低灵敏度偏振特性模型和所述高灵敏度偏振特性模型中的偏移的总和与幅度之间的比率等于所述高灵敏度偏振图像和所述低灵敏度偏振图像的相关联亮度值之间的比率的方式，来计算所述高灵敏度偏振特性模型，所述高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的所述低灵敏度偏振特性模型相同的相位分量。
8.根据权利要求3所述的图像处理设备，
其中，所述偏振图像处理单元在所述多个偏振方向上的所有高灵敏度偏振图像都处于饱和状态的情况下，基于所述低灵敏度偏振特性模型来获取所述拍摄对象的所述非偏振分量或所述偏振分量。
9.根据权利要求3所述的图像处理设备，
其中，所述偏振图像处理单元在多个偏振方向上的所有高灵敏度偏振图像都处于非饱和状态的情况下，基于所述高灵敏度偏振图像来计算所述高灵敏度偏振特性模型。
10.根据权利要求2所述的图像处理设备，
其中，所述高灵敏度图像是非偏振图像，以及，
所述偏振图像处理单元基于所述低灵敏度偏振特性模型的平均值与所述高灵敏度图像的亮度之间的比率，来根据所述低灵敏度偏振特性模型计算所述高灵敏度偏振特性模型。
11.根据权利要求2所述的图像处理设备，
其中，所述偏振图像处理单元将所述高灵敏度偏振特性模型的幅度设置为所述偏振分量，以及将所述高灵敏度偏振特性模型的最小值设置为所述非偏振分量。
12.根据权利要求1所述的图像处理设备，还包括：
成像控制单元，所述成像控制单元被配置为通过改变成像单元的曝光时间来使所述成像单元生成所述低灵敏度偏振图像和所述高灵敏度图像。
13.根据权利要求12所述的图像处理设备，
其中，所述成像控制单元以下述这样的方式来控制所述曝光时间：所述低灵敏度偏振图像中的偏振方向在三个或更多个方向上处于非饱和状态，以及所述高灵敏度图像中的偏振方向在一个或多个方向上处于非饱和状态。
14.根据权利要求1所述的图像处理设备，还包括：
成像单元，所述成像单元被配置为生成所述低灵敏度偏振图像和所述高灵敏度图像。
15.根据权利要求14所述的图像处理设备，
其中，所述成像单元生成包括所述多个偏振方向上的像素的所述低灵敏度偏振图像，所述偏振方向中的每一个偏振方向以像素为单位被设置。
16.根据权利要求14所述的图像处理设备，
其中，所述成像单元通过改变曝光时间来生成所述低灵敏度偏振图像和所述高灵敏度图像。
17.根据权利要求14所述的图像处理设备，
其中，所述成像单元包括低灵敏度成像单元和高灵敏度成像单元，其中所述低灵敏度成像单元被配置为生成所述低灵敏度偏振图像，以及所述高灵敏度成像单元被配置为通过限制入射光量大于由所述低灵敏度成像单元限制的入射光量来生成所述高灵敏度图像。
18.根据权利要求14所述的图像处理设备，
其中，所述成像单元包括低灵敏度像素和高灵敏度像素，其中所述低灵敏度像素被配置为生成所述低灵敏度偏振图像，以及所述高灵敏度像素被配置为通过限制入射光量大于由所述低灵敏度像素限制的入射光量来生成所述高灵敏度图像。
19.一种图像处理方法，包括：
基于多个偏振方向上的低灵敏度偏振图像和具有比所述低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定所述高灵敏度图像的偏振特性；以及
基于所述高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。
CN201680065663.9A 2015-11-19 2016-09-09 图像处理设备和图像处理方法 Active CN108293093B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-226741 2015-11-19
JP2015226741 2015-11-19
PCT/JP2016/076606 WO2017085993A1 (ja) 2015-11-19 2016-09-09 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN108293093A CN108293093A (zh) 2018-07-17
CN108293093B true CN108293093B (zh) 2020-11-03

Family

ID=58719196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065663.9A Active CN108293093B (zh) 2015-11-19 2016-09-09 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US10523873B2 (zh)
JP (1) JP6693530B2 (zh)
CN (1) CN108293093B (zh)
WO (1) WO2017085993A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6827240B2 (ja) * 2017-03-22 2021-02-10 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置
WO2019131303A1 (ja) * 2017-12-28 2019-07-04 シャープ株式会社 虹彩認証装置
CN112204364A (zh) * 2018-06-05 2021-01-08 索尼公司 信息生成装置、信息生成方法和程序
JP2020136429A (ja) * 2019-02-18 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
JPWO2021070867A1 (zh) * 2019-10-07 2021-04-15
JP7446804B2 (ja) 2019-12-18 2024-03-11 キヤノン株式会社 撮像装置およびその制御方法、プログラム
JP7479831B2 (ja) * 2019-12-18 2024-05-09 キヤノン株式会社 撮像装置およびその制御方法、プログラム
US11758290B2 (en) 2020-01-09 2023-09-12 Sony Group Corporation Image processing device, image processing method, and image pickup device
JP7551301B2 (ja) * 2020-02-25 2024-09-17 キヤノン株式会社 撮像装置
DE102022201523A1 (de) 2021-09-10 2023-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ein Bildsensor, ein Verfahren zum Betreiben eines Bildsensors, ein Verfahren zum Herstellen eines Bildsensors und ein stationäres Gerät oder ein Fahrzeug oder eine Drohne mit einem Bildsensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1451230A (zh) * 2000-07-21 2003-10-22 纽约市哥伦比亚大学托管会 图象拼合方法与设备
CN101815964A (zh) * 2007-10-19 2010-08-25 柯达公司 具有捕获能力的显示装置
CN102025927A (zh) * 2009-09-16 2011-04-20 索尼公司 固态成像器件和电子装置
JP2011135360A (ja) * 2009-12-24 2011-07-07 Fujifilm Corp システム、制御方法、および、プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2297784Y (zh) 1997-04-30 1998-11-18 沈阳变压器厂一分厂 一种穿缆油纸电容套管
US7079247B2 (en) * 2003-07-08 2006-07-18 Marine Biological Laboratory Instantaneous polarization measurement system and method
JP4974543B2 (ja) 2005-08-23 2012-07-11 株式会社フォトニックラティス 偏光イメージング装置
US7964840B2 (en) 2008-06-19 2011-06-21 Omnivision Technologies, Inc. High dynamic range image sensor including polarizer and microlens
JP5950196B2 (ja) * 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
JP5995140B2 (ja) 2012-01-19 2016-09-21 株式会社リコー 撮像装置及びこれを備えた車両システム並びに画像処理方法
WO2014017409A1 (en) * 2012-07-23 2014-01-30 Ricoh Company, Ltd. Stereo camera
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1451230A (zh) * 2000-07-21 2003-10-22 纽约市哥伦比亚大学托管会 图象拼合方法与设备
CN101815964A (zh) * 2007-10-19 2010-08-25 柯达公司 具有捕获能力的显示装置
CN102025927A (zh) * 2009-09-16 2011-04-20 索尼公司 固态成像器件和电子装置
JP2011135360A (ja) * 2009-12-24 2011-07-07 Fujifilm Corp システム、制御方法、および、プログラム

Also Published As

Publication number Publication date
WO2017085993A1 (ja) 2017-05-26
JPWO2017085993A1 (ja) 2018-09-06
CN108293093A (zh) 2018-07-17
US10523873B2 (en) 2019-12-31
US20180359401A1 (en) 2018-12-13
JP6693530B2 (ja) 2020-05-13

Similar Documents

Publication Publication Date Title
CN108293093B (zh) 图像处理设备和图像处理方法
CN108353153B (zh) 图像处理装置和图像处理方法
CN107251553B (zh) 图像处理装置、图像处理方法和图像拾取元件
CN109804621B (zh) 图像处理装置、图像处理方法和图像拾取装置
CN109937568B (zh) 图像处理装置和图像处理方法
CN108028892B (zh) 信息获得设备和信息获得方法
JP7040447B2 (ja) 画像処理装置および情報生成装置と情報生成方法
CN111357282B (zh) 图像处理装置、图像处理方法、程序和固态成像装置
US10877288B2 (en) Imaging device and imaging method
CN111480057B (zh) 图像处理装置、图像处理方法和程序
JP2020205108A (ja) 情報記録装置、情報記録方法及び情報記録用プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant