CN111357282B - 图像处理装置、图像处理方法、程序和固态成像装置 - Google Patents

图像处理装置、图像处理方法、程序和固态成像装置 Download PDF

Info

Publication number
CN111357282B
CN111357282B CN201880073836.0A CN201880073836A CN111357282B CN 111357282 B CN111357282 B CN 111357282B CN 201880073836 A CN201880073836 A CN 201880073836A CN 111357282 B CN111357282 B CN 111357282B
Authority
CN
China
Prior art keywords
color
polarization
pixel
specific color
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880073836.0A
Other languages
English (en)
Other versions
CN111357282A (zh
Inventor
栗田哲平
陆颖
近藤雄飞
平泽康孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111357282A publication Critical patent/CN111357282A/zh
Application granted granted Critical
Publication of CN111357282B publication Critical patent/CN111357282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Polarising Elements (AREA)

Abstract

非偏振分量图像生成单元32‑1生成特定颜色非偏振分量图像信号和非特定颜色非偏振分量图像信号。偏振分量图像生成单元33‑1生成特定颜色偏振分量图像信号和非特定颜色偏振分量图像信号。特定颜色偏振特性检测单元34‑1使用具有三个或更多个偏振方向的特定颜色偏振像素或非偏振像素和具有两个偏振方向的偏振像素的像素信号来检测特定颜色偏振特性。非特定颜色偏振特性检测单元35基于特定颜色偏振特性检测单元34‑1检测到的特定颜色偏振特性、非特定颜色非偏振像素的像素信号以及非特定颜色偏振像素的像素信号，来检测非特定颜色偏振特性，其中非特定颜色偏振像素的偏振方向的数目比特定颜色情况下的偏振方向少。因此，可以逐个颜色地检测偏振特性，而无需假设逐个颜色的偏振度相等。

Description

图像处理装置、图像处理方法、程序和固态成像装置
技术领域
本技术涉及适于获得良好图像质量的输出图像并且获取每种颜色的偏振特性的图像处理装置、图像处理方法、程序和固态成像装置。
背景技术
迄今为止，同时获取给定对象的成像图像和偏振图像。例如，专利文献1指出，在每个具有不同颜色分量的像素中，具有单个特定颜色分量的这些像素配备有用作至少三个不同角度的透射轴的偏振器，以便从单个特定颜色分量的像素的值获取偏振特性，并且每个颜色分量的像素值被用于在获取每个颜色分量的成像图像时进行插值。专利文献1还指出，在计算颜色亮度镜面反射分量时，在不同颜色分量的镜面反射分量在偏振度方面等于单个特定颜色分量的镜面反射分量的假设下，计算与单个特定颜色分量不同的颜色分量的镜面反射分量。
引文列表
专利文献
[专利文献1]日本专利特许公开第2010-166580号
发明内容
技术问题
尽管专利文献1假设偏振度对于每种颜色是相同的，但是在偏振度从一种颜色到另一种颜色变化的情况下，难以高度准确地计算镜面反射分量。
因此，本技术的目的是提供用于检测每种颜色的偏振特性的图像处理装置、图像处理方法、程序和固态成像装置。
问题的解决方案
根据本技术的第一方面，提供了一种图像处理装置，包括非特定颜色偏振特性检测部，该非特定颜色偏振特性检测部被配置成基于特定颜色的偏振特性、与特定颜色不同的非特定颜色的非偏振像素的像素信号、以及非特定颜色的偏振像素的像素信号来检测非特定颜色的偏振特性，其中非特定颜色的偏振像素比特定颜色的偏振像素具有更少的偏振方向。
该技术的图像处理装置使用非偏振像素的像素信号生成特定颜色的非偏振分量图像信号，并且使用非特定颜色的非偏振像素的像素信号生成非特定颜色的非偏振分量图像信号。图像处理装置还使用特定颜色的偏振像素的像素信号生成特定颜色的偏振分量图像信号，并且使用非特定颜色的偏振像素的像素信号生成非特定颜色的偏振分量图像信号。通过使用具有相同颜色和相同偏振方向的像素的像素信号执行滤波处理，生成每种颜色的非偏振分量图像信号和偏振分量图像信号。基于目标像素位置的低频分量和高频分量针对每种颜色以及针对每个偏振方向生成目标像素位置的像素信号，通过使用围绕目标像素位置并且与目标像素位置的像素具有相同的颜色和偏振方向的像素执行滤波处理，针对每种颜色以及针对每个偏振方向来计算像素目标位置的低频分量，例如，使用目标像素位置的像素信号以及与目标像素位置的像素具有相同的颜色和偏振方向的目标像素位置的低频分量来计算目标像素位置的高频分量。
图像处理装置例如使用具有至少三个偏振方向的特定颜色的偏振像素或非偏振像素的像素信号以及具有两个偏振方向的偏振像素的像素信号来检测特定颜色的偏振特性。图像处理装置还基于特定颜色的偏振特性、基于与特定颜色不同的非特定颜色的非偏振像素的像素信号、以及基于非特定颜色的偏振像素的像素信号来检测非特定颜色的偏振特性，其中非特定颜色的偏振像素比特定颜色的偏振像素具有更少的偏振方向。例如，图像处理装置通过在假设特定颜色的方位角等于非特定颜色的方位角的情况下计算非特定颜色的偏振度，并且基于非偏振分量图像信号、偏振分量图像信号和特定颜色的偏振特性，来检测非特定颜色的偏振特性。
图像处理装置还通过假设镜面反射是白色，基于特定颜色和非特定颜色的偏振特性来计算颜色平衡因子。使用计算的颜色平衡因子，图像处理装置对非偏振分量图像信号或偏振分量图像信号执行白平衡调整。另外，图像处理装置可以优选地根据一方面基于偏振特性的颜色平衡因子与另一方面基于颜色信息的颜色平衡因子之间的差异量或镜面反射量来调整颜色平衡因子，其中颜色信息用于再现白色对象的白色。图像处理装置然后可以使用调整的颜色平衡因子执行白平衡调整。
根据本技术的第二方面，提供了一种图像处理方法，包括使非特定颜色偏振特性检测部基于特定颜色的偏振特性、与特定颜色不同的非特定颜色的非偏振像素的像素信号、以及非特定颜色的偏振像素的像素信号来检测非特定颜色的偏振特性，其中非特定颜色的偏振像素比特定颜色的偏振像素具有更少的偏振方向。
根据本技术的第三方面，提供了一种用于使计算机对包括偏振像素和非偏振像素的图像执行处理的程序，该处理包括基于特定颜色的偏振特性、与特定颜色不同的非特定颜色的非偏振像素的像素信号、以及非特定颜色的偏振像素的像素信号来检测非特定颜色的偏振特性，其中非特定颜色的偏振像素比特定颜色的偏振像素具有更少的偏振方向。
顺便提及，本技术的程序可以使用诸如光盘、磁盘或半导体存储器的存储介质，或者经由诸如网络的通信介质，以计算机可读格式提供给能够执行各种程序代码的通用计算机。当以计算机可读方式提供该程序时，计算机执行由该程序定义的处理。
根据本技术的第四方面，提供了一种固态成像装置，其包括：被配置成允许检测偏振特性的特定颜色的像素，以及非特定颜色的像素，该非特定颜色的像素由非偏振像素构成以及由比特定颜色的偏振像素具有更少的偏振方向的偏振像素构成，非特定颜色不同于特定颜色。
有益效果
根据该技术，基于特定颜色的偏振特性、与特定颜色不同的非特定颜色的非偏振像素的像素信号、以及比特定颜色的偏振像素具有更少的偏振方向的非特定颜色的偏振像素的像素信号，来检测非特定颜色的偏振特性。因此，可以以高准确性检测每种颜色的偏振特性。顺便提及，应当注意，本说明书中所陈述的有利效果仅是实例，而不是对该技术的限制。从本说明书中可以得到另外的有利效果。
附图说明
[图1]是示出本技术的第一实施例的示例性配置的图。
[图2]是示出固态成像装置的部分配置的图。
[图3]是示出特定颜色为绿色且非特定颜色为红色和蓝色的像素阵列的图。
[图4]是示出了按分量划分之前的图像和划分之后的图像的图。
[图5]是用于说明非偏振分量图像生成部32-1的操作的图。
[图6]是用于说明偏振分量图像生成部33-1的操作的图。
[图7]是示出绿色分量图像的图。
[图8]是示出红色分量图像和蓝色分量图像的图。
[图9]是示出示例性偏振特性(偏振模型)的图。
[图10]是示出第一实施例的操作的流程图。
[图11]是示出本技术的第二实施例的示例性配置的图。
[图12]是用于说明非偏振分量图像生成部32-2的操作的图。
[图13]是示出第二实施例的操作的流程图。
[图14]是示出本技术的第三实施例的示例性配置的图。
[图15]是示出固态成像装置的示例性像素阵列的图。
[图16]是用于说明非偏振分量图像生成部32-3的操作的图。
[图17]是示出非偏振分量图像和偏振分量图像的图。
[图18]是示出本技术的第四实施例的示例性配置的图。
[图19]是用于说明颜色平衡因子的图。
[图20]是示出第四实施例的操作的流程图。
[图21]是示出本技术的第五实施例的示例性配置的图。
[图22]是描述第五实施例的操作的流程图。
[图23]是示出示例性部分像素阵列(部分1)的图。
[图24]是示出示例性部分像素阵列(部分2)的图。
[图25]是示出固态成像装置的示例性像素配置的图。
[图26]是用于说明固态成像装置中的图像传感器的操作的图。
[图27]是示出固态成像装置的像素和读出信号线的图。
[图28]是用于说明读出像素信号的操作的图。
[图29]是示出车辆控制系统的示意性配置的实例的框图。
[图30]是车外信息检测部和成像部的安装位置的实例的图。
具体实施例
下面描述用于实现本技术的实施例。注意，将按以下顺序给出描述。
1.第一实施例
1-1.第一实施例的配置
1-2.第一实施例的具体实例和操作
2.第二实施例
2-1.第二实施例的配置
2-2.第二实施例的具体实例和操作
3.第三实施例
3-1.第三实施例的配置
3-2.第三实施例的具体实例和操作
4.第四实施例
4-1.第四实施例的配置
4-2.第四实施例的具体实例和操作
5.第五实施例
5-1.第五实施例的配置
5-2.第五实施例的具体实例和操作
6.其他实施例
7.固态成像装置的其他配置
7-1.像素阵列
7-2.信号读出
8.使用情况实例
<1.第一实施例>
<1-1.第一实施例的配置>
图1示出了本技术的第一实施例的示例性配置。成像系统10-1包括固态成像装置20和图像处理装置30-1。图像处理装置30-1包括偏振分量划分部31、非偏振分量图像生成部32-1、偏振分量图像生成部33-1、特定颜色偏振特性检测部34-1和非特定颜色偏振特性检测部35。
固态成像装置20具有被配置成允许检测偏振特性的特定颜色的像素，以及不同于特定颜色的非特定颜色的像素，该非特定颜色的像素由非偏振像素构成以及由比特定颜色的像素具有更少的偏振方向的偏振像素构成。固态成像装置20对从每个像素读出的像素信号执行模数转换(A/D转换)等，以生成偏振RAW图像的图像信号。固态成像装置20将图像信号输出至图像处理装置30-1。固态成像装置20还可以对要输出至图像处理装置30-1的图像信号执行白平衡调整。
图像处理装置30-1中的偏振分量划分部31将从固态成像装置20提供的偏振RAW图像的图像信号划分成非偏振像素的信号和偏振像素的信号，以便生成非偏振图像信号和偏振图像信号。偏振分量划分部31将非偏振像素信号输出至非偏振分量图像生成部32-1，并且将偏振图像信号输出至偏振分量图像生成部33-1。
非偏振分量图像生成部32-1使用非偏振图像信号中的特定颜色的信号生成特定颜色的非偏振分量图像信号，并且使用非偏振图像信号中的非特定颜色的信号生成非特定颜色的非偏振分量图像信号。非偏振分量图像生成部32-1将特定颜色的非偏振分量图像信号输出至特定颜色偏振特性检测部34-1，并且将非特定颜色的非偏振分量图像信号输出至非特定颜色偏振特性检测部35。
偏振分量图像生成部33-1使用偏振图像信号中的特定颜色的信号生成特定颜色的偏振分量图像信号，并且使用偏振图像信号中的非特定颜色的信号生成非特定颜色的偏振分量图像信号。偏振分量图像生成部33-1将特定颜色的偏振分量图像信号输出至特定颜色偏振特性检测部34-1，并且将非特定颜色的偏振分量图像信号输出至非特定颜色偏振特性检测部35。
特定颜色偏振特性检测部34-1基于特定颜色的非偏振分量图像信号和偏振分量图像信号来检测特定颜色的偏振特性。此外，特定颜色偏振特性检测部34-1将检测到的特定颜色的偏振特性输出至非特定颜色偏振特性检测部35。
非特定颜色偏振特性检测部35基于由特定颜色偏振特性检测部34-1检测到的特定颜色的偏振特性、非特定颜色的非偏振像素的像素信号、以及比特定颜色的偏振像素具有更少的偏振方向的非特定颜色的偏振像素的像素信号，来检测非特定颜色的偏振特性。
<1-2.第一实施例的具体实例和操作>
图2示出了固态成像装置的部分配置。固态成像装置20具有设置在图像传感器21的光入射面上的彩色马赛克滤光器22和偏振器23。图像传感器21对经由彩色马赛克滤光器22和偏振器23进入的入射光执行每个像素的光电转换，以生成像素信号。图像传感器21还从每个像素读出像素信号，用于模数转换等，生成偏振RAW图像的图像信号并且将该图像信号输出至图像处理装置30-1。例如彩色马赛克滤光器22具有按照拜耳阵列布置的红色、绿色及蓝色颜色单元区域。顺便提及，颜色单元区域不限于单像素区域，并且可以是多像素区域(例如，2×2像素区域)。偏振器23被设置成检测关于特定颜色的像素的偏振特性。例如，偏振器23使用例如具有至少三个偏振方向的偏振像素或非偏振像素和具有两个偏振方向的偏振像素来进行配置。此外，偏振器23使用非特定颜色的非偏振像素和具有一个偏振方向的非特定颜色的偏振像素来进行配置。
图3示出了特定颜色为绿色且非特定颜色为红色和蓝色的像素阵列。例如，2×2像素构成颜色单元区域，其中4×4像素形成包括红色、绿色和蓝色颜色单元区域的拜耳阵列中的像素阵列重复单元。另外，偏振像素由在像素阵列重复单元的中间部分中的包括两个绿色像素、一个红色像素和一个蓝色像素的2×2像素区域构成。上两个像素和下两个像素具有不同的偏振方向。例如，上两个像素具有90度的透射轴，而下两个像素具有135度的透射轴。即，在像素阵列重复单元中，具有特定颜色的绿色像素由具有不同偏振方向的两个偏振像素和六个非偏振像素构成。具有非特定颜色的红色像素和蓝色像素由一个偏振像素和三个非偏振像素构成。
固态成像装置20对由非偏振像素和偏振像素生成的像素信号执行诸如白平衡调整的调整，并且将调整的像素信号输出至图像处理装置30-1。白平衡调整涉及使用基于颜色信息的颜色平衡因子来再现白色对象的白色。具体地，使用与使用中的照明光源一致地预先设置的颜色平衡因子(白平衡增益)gR、gG和gB来计算下面给出的表达式(1)至(3)。注意，在表达式中，DRs代表尚未经过白平衡调整的红色像素信号，并且DRw代表在白平衡调整之后获得的红色像素信号。同样地，DGs和DBs分别表示未经过白平衡调整的红色像素信号和蓝色像素信号，并且DGw和DBw分别表示在白平衡调整之后获得的绿色像素信号和蓝色像素信号。优选地，白平衡调整可以由图像处理装置30-1执行。
DRw＝gR×DGs...(1)
DGw＝gG×DGs...(2)
DBw＝gB×DGs...(3)
图像处理装置30-1中的偏振分量划分部31将从固态成像装置20提供的偏振RAW图像的图像信号划分成非偏振像素的信号和偏振像素的信号，以便生成非偏振图像信号和偏振图像信号。此外，偏振分量划分部31使非偏振图像信号和偏振图像信号在分辨率(像素数)方面相等。在固态成像装置20被配置成具有图3中所示的像素阵列的情况下，三个非偏振像素被集成为一个像素，因为2×2像素颜色单元区域具有一个偏振像素和三个非偏振像素。例如，通过对2×2像素颜色单元区域中的三个非偏振图像的像素值求平均来计算一个像素的像素值。
图4示出了按偏振分量划分之前的图像和划分之后的图像。图4中的子图(a)示出了偏振RAW图像，图4中的子图(b)示出了非偏振图像，并且图4中的子图(c)呈现了偏振图像。给定偏振RAW图像中的每个2×2像素颜色单元区域，偏振分量划分部31将由圆圈指示的非偏振像素整合成一个非偏振图像像素。此外，偏振分量划分部31通过从偏振RAW图像中的每个2×2像素颜色单元区域提取偏振像素来获得一个偏振图像像素。因此，从偏振RAW图像中，获得了垂直方向和水平方向上具有一半的分辨率(像素数)的拜耳阵列中的非偏振图像和偏振图像。偏振分量划分部31将非偏振图像信号输出至非偏振分量图像生成部32-1，并且将偏振图像信号输出至偏振分量图像生成部33-1。
使用从偏振分量划分部31提供的非偏振图像信号，非偏振分量图像生成部32-1生成每种颜色的非偏振分量图像信号。非偏振分量图像生成部32-1例如执行插值处理，以使用具有相同颜色并且位于目标像素位置的周边的像素的像素值来计算目标像素位置的像素值。
图5是用于说明非偏振分量图像生成部32-1的操作的图。图5中的子图(a)示出了非偏振图像。例如，当计算目标像素位置Ps1处的红色分量的像素值DRs1时，非偏振分量图像生成部32-1使用红色像素PR0的像素值DR0和红色像素PR1至PR3的像素值DR1至DR3，通过下面给出的表达式(4)执行计算，其中这些像素位于目标像素位置的周围。非偏振分量图像生成部32-1获得位于目标像素位置周围的红色像素的像素值的平均值，并且将该平均值视为目标像素位置Ps1处的红色分量的像素值DRs1。另外，例如当计算对目标像素位置Ps2处的绿色分量的像素值DGs2时，非偏振分量图像生成部32-1使用绿色像素PG0的像素值DG0和绿色像素PG1的像素值DG1，通过下面给出的表达式(5)执行计算，其中这些像素位于目标像素位置的周围。非偏振分量图像生成部32-1获得位于目标像素位置周围的绿色像素的像素值的平均值，并且将该平均值视为目标像素位置Ps2处的绿色分量的像素值DGs2。
DRs1＝(DR0+DR1+DR2+DR3)/4...(4)
DGs2＝(DF0+DR1)/2...(5)
顺便提及，插值处理不限于图5中所示的方法。例如，当计算目标像素位置Ps1处的红色分量的像素值DRs1时，非偏振分量图像生成部32-1可以使用与隔着目标像素位置Ps1而彼此相对的红色分量的两个像素来执行插值处理。此外，在计算目标像素位置Ps2处的绿色分量的像素值DGs2时，非偏振分量图像生成部32-1可以使用与目标像素位置的上侧、下侧、左侧和右侧相邻的绿色分量的四个像素来执行插值处理。
非偏振分量图像生成部32-1使用非偏振图像信号对每种颜色执行插值处理。通过这样做，非偏振分量图像生成部32-1生成具有与非偏振图像的分辨率(像素数)相同的分辨率的每种颜色的非偏振分量图像，如图5中的子图(b)所示。非偏振分量图像生成部32-1将特定颜色的非偏振分量图像信号输出至特定颜色偏振特性检测部34-1，并且将非特定颜色的非偏振分量图像信号输出至非特定颜色偏振特性检测部35。
偏振分量图像生成部33-1使用从偏振分量划分部31提供的偏振图像信号来生成每种颜色的偏振分量图像信号。另外，在给定涉及多个偏振方向的颜色的情况下，偏振分量图像生成部33-1针对每个偏振方向生成偏振分量图像信号。偏振分量图像生成部33-1使用具有相同颜色和相同偏振方向并且位于目标像素位置的周围的像素的像素值，执行例如滤波处理以计算目标像素位置的像素值。图6是用于说明偏振分量图像生成部33-1的操作的图。图6中的子图(a)示出了偏振图像，并且图6中的子图(b)指示示例性的滤波器因子。另外，在给定偏振图像的情况下，偏振分量图像生成部33-1使用具有相同颜色和相同偏振方向并且位于目标像素位置的周围的像素的像素值，对目标像素位置的像素值进行滤波处理。通过这样做，偏振分量图像生成部33-1生成如图6中的子图(c)至(f)所示的每个偏振方向上的每种颜色的偏振图像。偏振分量图像生成33-1将每个偏振方向上的特定颜色的偏振分量图像信号输出至特定颜色偏振特性检测部34-1，并且将非特定颜色的偏振分量图像信号输出至非特定颜色偏振特性检测部35。
特定颜色偏振特性检测部34-1基于由非偏振分量图像生成部32-1获得的特定颜色的非偏振分量图像信号和由偏振分量图像生成部33-1获取的每个偏振方向上的特定颜色的偏振分量图像信号来检测特定颜色的偏振特性。
已知指示偏振特性的偏振模型由下面给出的表达式(6)表示。注意，在表达式(6)中，符号“y”代表在偏振角“x”处的观察亮度(像素值)，并且符号“c”表示如下面给出的表达式(7)所示的非偏振像素的像素值Ic。另外，符号“a”和“b”表示基于下面给出的表达式(8)和(9)计算出的参数值。下面给出的表达式(8)和(9)中的符号“K”代表吸收非偏振像素与偏振像素之间的灵敏度差异的增益。当透射轴处于预定角度时，应用像素值I0。当透射轴处于相对于预定角度为45度时，应用像素值I1。例如，通过针对每个像素或针对由多个像素构成的每个区域的校准，预先设置用于吸收灵敏度差异的增益。
y＝a·sin(2x)+b·cos(2x)+c...(6)
C＝Ic...(7)
a＝C-KI0...(8)
b＝c-KI1(9)
基于下面给出的表达式(10)计算偏振度ρ，并且通过使用下面给出的表达式(11)计算方位角
Figure BDA0002491625390000101
[数学式.1]
Figure BDA0002491625390000111
Figure BDA0002491625390000112
因此，获得由以下表达式(12)定义的偏振特性(偏振模型)：
Figure BDA0002491625390000113
此处，在像素阵列如图3所示的情况下，特定颜色是绿色。另外，通过非偏振分量图像生成部32-1获得绿色的非偏振分量图像，并且通过偏振分量图像生成部33-1获取透射轴为90度和135度的绿色的偏振分量图像。应当注意，图7示出了绿色分量图像。图7中的子图(a)是非偏振分量图像，图7中的子图(b)是透射轴为90度的偏振分量图像，并且图7中的子图(c)是透射轴为135度的偏振分量图像。在假设具有绿色的非偏振像素的像素值为Ic、透射轴为135度的偏振像素的像素值为I0并且透射轴为90度的偏振像素的像素值为I1的情况下，特定颜色偏振特性检测部34-1检测每个像素的偏振模型。特定颜色偏振特性检测部34-1将检测到的特定颜色的偏振特性输出至非特定颜色偏振特性检测部35。
非特定颜色偏振特性检测部35基于由非偏振分量图像生成部32-1获得的非特定颜色的非偏振分量图像信号、由偏振分量图像生成部33-1获取的非特定颜色的偏振分量图像信号、以及由特定颜色偏振特性检测部34-1检测到的特定颜色的偏振特性，来检测非特定颜色的偏振特性。
非特定颜色偏振特性检测部35在假设方位角
Figure BDA0002491625390000115
对于特定颜色和非特定颜色是相同的情况下检测非特定颜色的偏振特性。在方位角
Figure BDA0002491625390000114
对于特定颜色和非特定颜色是相同的情况下，上述表达式(12)中的未知参数是参数c和偏振度ρ。因此，非特定颜色偏振特性检测部35使用由非偏振分量图像生成部32-1获得的非特定颜色的非偏振像素的像素值Ic作为参数c，基于上述表达式(10)来计算偏振度ρ。
此处，在像素阵列如图3所示的情况下，非特定颜色是红色和蓝色。另外，通过非偏振分量图像生成部32-1获得红色和蓝色的非偏振分量图像，并且通过偏振分量图像生成部33-1获取透射轴为90度的红色的偏振分量图像和透射轴为135度的蓝色的偏振分量图像。注意，图8示出了红色分量图像和蓝色分量图像。图8中的子图(a)是红色的非偏振分量图像，图8中的子图(b)是红色的偏振分量图像，图8中的子图(c)是蓝色的非偏振分量图像，并且图8中的子图(d)是蓝色的偏振分量图像。
非特定颜色偏振特性检测部35在假设红色的非偏振像素具有像素值Ic、红色的偏振像素的透射轴(为90度)具有偏振角x并且红色的偏振像素的像素值为观察亮度y的情况下计算红色的每个像素的偏振度ρ。同样，非特定颜色偏振特性检测部35在假设蓝色的非偏振像素具有像素值Ic、蓝色的偏振像素的透射轴(为135度)具有偏振角x并且像素值为观察亮度y的情况下计算蓝色的每个像素的偏振度ρ。这样，即使非特定颜色的偏振方向比特定颜色的偏振方向少，非特定颜色偏振特性检测部35也可以检测非特定颜色的偏振特性。
图9示出了示例性偏振特性(偏振模型)。图9中的子图(a)指示由特定颜色偏振特性检测部34-1检测到的特定颜色(绿色分量)的偏振模型。另外，图9中的子图(b)示出了由非特定颜色偏振特性检测部34-1检测到的非特定颜色(例如，红色分量)的偏振模型。图9中的子图(c)示出了由非特定颜色偏振特性检测部34-1检测到的另一非特定颜色(例如，蓝色分量)的偏振模型。注意，在图9中，每个小的黑色圆圈表示从偏振像素获得的像素值。此外，绿色的非偏振像素具有像素值CG，红色的非偏振像素具有像素值CR，并且蓝色的非偏振像素具有像素值CB。
图10是示出第一实施例的操作的流程图。在步骤ST1中，图像处理装置划分偏振分量。图像处理装置30-1将从固态成像装置20提供的偏振RAW图像的图像信号划分为非偏振像素的信号和偏振像素的信号，以便生成非偏振图像信号和偏振图像信号。然后，图像处理装置30-1进行至步骤ST2。
在步骤ST2中，图像处理装置生成非偏振分量图像。在进行至步骤ST3之前，图像处理装置30-1从在步骤ST1中获得的非偏振图像信号中生成每种颜色的非偏振分量图像信号。
在步骤ST3中，图像处理装置生成偏振分量图像。图像处理装置30-1从在步骤ST1中获得的偏振图像信号中生成每个偏振方向上的每种颜色的偏振分量图像信号。然后，图像处理装置30-1进行至步骤ST4。
在步骤ST4中，图像处理装置检测特定颜色的偏振特性。图像处理装置30-1基于在步骤ST3中生成的特定颜色的偏振分量图像信号和在步骤ST2中生成的特定颜色的非偏振分量图像信号来检测特定颜色的偏振特性。然后，图像处理装置30-1进行至步骤ST5。
在步骤ST5中，图像处理装置检测非特定颜色的偏振特性。图像处理装置30-1基于在步骤ST4中检测到的特定颜色的偏振特性、在步骤ST2中生成的非特定颜色的非偏振分量图像信号和在步骤ST3中生成的非特定颜色的偏振分量图像信号来检测非特定颜色的偏振特性。
如上所述，即使在偏振度从一种颜色到另一种颜色变化的情况下，第一实施例也允许对每种颜色的偏振特性进行高度准确的检测。此外，允许非特定颜色的偏振像素具有比特定颜色的偏振像素的偏振方向更少的偏振方向，使得由于配置的偏振像素而引起的图像质量的劣化降低。
<2.第二实施例>
以下说明本技术的第二实施例。在上述第一实施例中，从图像处理装置30-1输出的非偏振图像的分辨率(像素数)在垂直方向和水平方向上是由固态成像装置20获取的图像的分辨率的一半(1/2)。相比之下，第二实施例使从图像处理装置输出的非偏振图像和偏振图像的分辨率等于从固态成像装置提供的偏振RAW图像的分辨率。
<2-1.第二实施例的配置>
图11示出了第二实施例的示例性配置。成像系统10-2包括固态成像装置20和图像处理装置30-2。图像处理装置30-2包括非偏振分量图像生成部32-2、偏振分量图像生成部33-2、特定颜色偏振特性检测部34-2和非特定颜色偏振特性检测部35。
固态成像装置20以与第一实施例类似的方式进行配置。固态成像装置20将经过白平衡调整的偏振RAW图像的图像信号输出至图像处理装置30-2。
图像处理装置30-2中的非偏振分量图像生成部32-2通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每种颜色的非偏振分量图像信号。另外，非偏振分量图像生成部32-2将特定颜色的非偏振分量图像信号输出至特定颜色偏振特性检测部34-2，并且将非特定颜色的非偏振分量图像信号输出至非特定颜色偏振特性检测部35。
偏振分量图像生成部33-2使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理，从而生成每个偏振方向上的每种颜色的偏振分量图像信号。偏振分量图像生成部33-2还将每个偏振方向上的特定颜色的偏振分量图像信号输出至特定颜色偏振特性检测部34-2，并且将每个偏振方向上的非特定颜色的偏振分量图像信号输出至非特定颜色偏振特性检测部35。
特定颜色偏振特性检测部34-2基于特定颜色的非偏振分量图像信号和偏振分量图像信号来检测特定颜色的偏振特性。特定颜色偏振特性检测部34-2还将检测到的特定颜色的偏振特性输出至非特定颜色偏振特性检测部35。
非特定颜色偏振特性检测部35基于由特定颜色偏振特性检测部34-1检测到的特定颜色的偏振特性、非特定颜色的非偏振像素的像素信号、以及比特定颜色的偏振像素具有更少偏振方向的非特定颜色的偏振像素的像素信号，来检测非特定颜色的偏振特性。
<2-2.第二实施例的具体实例和操作>
固态成像装置20具有图2所示的上述配置。例如，固态成像装置20具有诸如图3中所示的像素阵列。
图像处理装置30-2中的非偏振分量图像生成部32-2通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每种颜色的非偏振分量图像信号。非偏振分量图像生成部32-2使用来自目标像素位置的周围的每种颜色的非偏振像素的像素值来计算目标像素位置处的每种颜色的非偏振低频分量。另外，非偏振分量图像生成部32-2通过将目标像素位置的像素值除以与目标像素位置处的颜色相同的颜色的非偏振低频分量来计算目标像素位置处的高频分量。另外，非偏振分量图像生成部32-2通过将目标像素位置处的高频分量乘以目标像素位置处的每种颜色的非偏振低频分量来计算目标像素位置处的每种颜色的非偏振像素值。
图12是用于说明非偏振分量图像生成部32-2的操作的图。图12中的子图(a)示出了从固态成像装置20提供的偏振RAW图像的像素布置，并且图12中的子图(b)指示了示例性的滤波器因子。例如，在图12中的子图(a)中所示的非偏振蓝色像素是目标像素位置Ps的情况下，通过使用图12中的子图(b)中所示的滤波器因子，使用来自目标像素位置的周围的具有相同颜色的非偏振像素的像素值，通过执行滤波处理来计算每种颜色的非偏振低频分量。例如，通过将具有绿色并且位于目标像素位置的周围的非偏振像素的像素值乘以与非偏振绿色像素相对应的滤波器因子，并且通过将乘法的结果之和除以在乘法中使用的滤波器因子之和，来计算目标像素位置处的绿色的非偏振低频分量。
非偏振分量图像生成部32-2通过将目标像素位置的像素值除以与目标像素位置处的偏振方向相同的偏振方向上的相同颜色的低频分量，来计算目标像素位置处的高频分量。例如，在图12中的子图(a)中所示的非偏振蓝色像素是目标像素位置Ps的情况下，通过将作为目标像素位置Ps的非偏振蓝色像素的像素值除以在目标像素位置处计算的蓝色像素的非偏振低频分量来计算目标像素位置处的高频分量。
另外，非偏振分量图像生成部32-2通过将目标像素位置处的高频分量分别乘以目标像素位置处的每种颜色的非偏振低频分量来计算每种颜色的非偏振像素值。例如，通过将在目标像素位置处计算的高频分量乘以在目标像素位置处计算的绿色的非偏振低频分量，来计算目标像素位置处的绿色的非偏振像素值。
这样，非偏振分量图像生成部32-2将在目标像素位置处计算的每种颜色的非偏振低频分量乘以在目标像素位置处计算的高频分量，从而生成每种颜色的非偏振分量图像信号，而不降低水平方向和垂直方向上的分辨率(像素数)。非偏振分量图像生成部32-2将特定颜色的非偏振图像信号输出至特定颜色偏振特性检测部34-2，并且将非特定颜色的非偏振图像信号输出至非特定颜色偏振特性检测部35。
偏振分量图像生成部33-2使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理，从而生成每个偏振方向上的每种颜色的偏振图像信号。偏振分量图像生成部33-2使用来自目标像素位置的周围的每个偏振方向上的每种颜色的偏振像素的像素值，计算目标像素位置处的每个偏振方向上的每种颜色的偏振低频分量。此外，偏振分量图像生成部33-2通过将目标像素位置处的像素值除以与目标像素位置处的相同偏振方向上的相同颜色的低频分量来计算目标像素位置处的高频分量。此外，偏振分量图像生成部33-2将目标像素位置处的高频分量乘以目标像素位置处的每个偏振方向上的每种颜色的偏振低频分量，从而计算目标像素位置处的每个偏振方向上的每种颜色的偏振像素值。
例如，在图12的子图(a)中所示的非偏振蓝色像素是目标像素位置Ps的情况下，通过使用图12的子图(b)中所示的滤波器因子，使用来自目标像素位置的周围的相同偏振方向上的相同颜色的偏振像素的像素值，通过执行滤波处理来计算每个偏振方向上的每种颜色的偏振低频分量。例如，通过将目标像素位置周围的偏振红色像素的像素值乘以与偏振红色像素相对应的滤波器因子，并且通过将乘法的结果之和除以在乘法中使用的滤波器因子之和，来计算目标像素位置处的红色的低频分量。
偏振分量图像生成部33-2通过将目标像素位置处的像素值除以与目标像素位置处相同偏振方向上的相同颜色的低频分量来计算目标像素位置处的高频分量。例如，在图12中的子图(a)中所示的非偏振蓝色像素是目标像素位置Ps的情况下，通过将作为目标像素位置Ps的非偏振蓝色像素的像素值除以在目标像素位置处计算的蓝色像素的非偏振低频分量来计算目标像素位置处的高频分量。
此外，偏振分量图像生成部33-2通过将目标像素位置处的高频分量分别乘以目标像素位置处的每个偏振方向上的每种颜色的偏振低频分量来计算每个偏振方向上的每种颜色的偏振像素值。例如，通过将在目标像素位置处计算的高频分量乘以在目标像素位置处计算的红色的偏振低频分量，来计算目标像素位置处的红色的非偏振像素值。
这样，偏振分量图像生成部33-2将在目标像素位置处计算的每个偏振方向上的每种颜色的偏振低频分量乘以在目标像素位置处计算的高频分量，从而生成每个偏振方向上的每种颜色的偏振分量图像信号，而不降低水平方向和垂直方向上的分辨率(像素数)。偏振分量图像生成部33-2将特定颜色的偏振图像信号输出至特定颜色偏振特性检测部34-2，并且将非特定颜色的偏振图像信号输出至非特定颜色偏振特性检测部35。
特定颜色偏振特性检测部34-2基于由非偏振分量图像生成部32-2获得的特定颜色的非偏振图像信号和由偏振分量图像生成部33-2获取的特定颜色的偏振图像信号，执行与第一实施例的处理类似的处理，从而检测特定颜色的偏振特性。特定颜色偏振特性检测部34-2将检测到的特定颜色的偏振特性输出至非特定颜色偏振特性检测部35。
非特定颜色偏振特性检测部35基于由非偏振分量图像生成部32-2获得的非特定颜色的非偏振图像信号、由偏振分量图像生成部33-2获取的非特定颜色的偏振图像信号以及由特定颜色偏振特性检测部34-2检测到的特定颜色的偏振特性，执行与第一实施例的处理类似的处理，从而检测非特定颜色的偏振特性。
图13是示出第二实施例的操作的流程图。在步骤ST11中，图像处理装置生成非偏振分量图像。图像处理装置30-2通过使用从固态成像装置20提供的偏振RAW图像的图像信号中的相同颜色的非偏振像素的信号执行滤波处理，来生成每种颜色的非偏振分量图像信号。然后，图像处理装置30-2进行至步骤ST12。
在步骤ST12中，图像处理装置生成偏振分量图像。图像处理装置30-2通过使用从固态成像装置20提供的偏振RAW图像的图像信号中的相同偏振方向上的相同颜色的偏振像素的信号执行滤波处理，来生成每个偏振方向上的每种颜色的偏振分量图像信号。然后，图像处理装置30-2进行至步骤ST13。
在步骤ST13中，图像处理装置检测特定颜色的偏振特性。图像处理装置30-2基于在步骤ST12中生成的特定颜色的偏振分量图像信号和在步骤ST11中生成的特定颜色的非偏振分量图像信号来检测特定颜色的偏振特性。然后，图像处理装置30-2进行至步骤ST14。
在步骤ST14中，图像处理装置检测非特定颜色的偏振特性。图像处理装置30-2基于在步骤ST13中检测到的特定颜色的偏振特性、在步骤ST11中生成的非特定颜色的非偏振分量图像信号和在步骤ST12中生成的非特定颜色的偏振分量图像信号来检测非特定颜色的偏振特性。
与第一实施例一样，上述第二实施例即使在偏振度从一种颜色到另一种颜色变化的情况下也允许高度精确地检测每种颜色的偏振特性。此外，允许非特定颜色的偏振像素具有比特定颜色的偏振像素的偏振方向少的偏振方向，使得由于配置的偏振像素引起的图像质量的劣化降低。此外，可以生成每个偏振方向上每种颜色的非偏振图像和每种颜色的偏振图像，而不会导致分辨率的劣化。
<3-1.第三实施例的配置>
图14示出了本技术的第三实施例的示例性配置。成像系统10-3包括固态成像装置20和图像处理装置30-3。图像处理装置30-3包括非偏振分量图像生成部32-3、偏振分量图像生成部33-3、特定颜色偏振特性检测部34-3和非特定颜色偏振特性检测部35。
固态成像装置20以与第一实施例类似的方式进行配置，并且具有与第一实施例的像素阵列不同的像素阵列。图15示出了固态成像装置的示例性像素阵列。这是绿色像素具有四个偏振方向的实例，其中红色像素和蓝色像素各自具有一个偏振方向。固态成像装置20将经过白平衡调整的偏振RAW图像的图像信号输出至图像处理装置30-3。
图像处理装置30-3生成每种颜色的非偏振图像，生成每个偏振方向上每种颜色的偏振图像，并且检测每种颜色的偏振特性，而不管配置在固态成像装置20中的像素阵列如何。
图像处理装置30-3中的非偏振分量图像生成部32-3通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每种颜色的非偏振分量图像信号。非偏振分量图像生成部32-3将特定颜色的非偏振分量图像信号输出至特定颜色偏振特性检测部34-3，并且将非特定颜色的非偏振分量图像信号输出至非特定颜色偏振特性检测部35。
偏振分量图像生成部33-3使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理，从而生成每个偏振方向上的每种颜色的偏振分量图像信号。偏振分量图像生成部33-3将特定颜色的偏振分量图像信号输出至特定颜色偏振特性检测部34-3，并且将非特定颜色的偏振分量图像信号输出至非特定颜色偏振特性检测部35。
特定颜色偏振特性检测部34-3基于特定颜色的偏振分量图像信号或特定颜色的非偏振分量图像信号和偏振分量图像信号来检测特定颜色的偏振特性。特定颜色偏振特性检测部34-3还将检测到的特定颜色的偏振特性输出至非特定颜色偏振特性检测部35。
非特定颜色偏振特性检测部35基于非特定颜色的非偏振分量图像信号和偏振分量图像信号以及特定颜色的偏振特性来检测非特定颜色的偏振特性。
<3-2.第三实施例的具体实例和操作>
固态成像装置20具有图2中所示的上述配置。例如，固态成像装置20具有诸如图15中所示的像素阵列。
图像处理装置30-3中的非偏振分量图像生成部32-3通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每种颜色的非偏振分量图像信号。非偏振分量图像生成部32-3使用具有相同颜色并且位于目标像素位置的周围的非偏振像素的值，来计算在目标像素位置处的每种颜色的非偏振像素值，该目标像素位置是2×2像素颜色区域单元的中间位置。
图16是用于说明非偏振分量图像生成部32-3的操作的图。图16中的子图(a)示出了从固态成像装置20提供的图像信号的像素布置，并且图16中的子图(b)指示了示例性滤波器因子。例如，在2×2像素蓝色区域单元的中间位置是如图16中的子图(a)所示的目标像素位置Ps的情况下，通过使用图16中的子图(b)所示的滤波器因子，通过使用具有相同颜色并且位于目标像素位置周围的非偏振像素的值执行滤波处理，来计算目标像素位置处的非特定颜色像素的非偏振像素值。具体地，将位于目标像素位置周围的非偏振蓝色像素的像素值乘以与非偏振蓝色像素相对应的滤波器因子。乘法结果之和除以乘法中使用的滤波器因子之和。因此，计算目标像素位置处的非偏振蓝色像素的像素值。另外，使用非偏振红色像素执行类似的处理，以计算目标像素位置处的红色像素的非偏振像素值。
图17示出了非偏振分量图像和偏振分量图像。非偏振分量图像生成部32-3计算目标像素位置处的非特定颜色的非偏振像素的值，从而生成图17中的子图(a)中所示的红色的非偏振分量图像和图7中的子图(b)中示出的蓝色的非偏振分量图像，这些图像在水平方向和垂直方向上具有一半的分辨率(像素数)。非偏振分量图像生成部32-3将非特定颜色的非偏振分量图像信号输出至非特定颜色偏振特性检测部35。
偏振分量图像生成部33-3通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每个偏振方向上的每种颜色分量的偏振分量图像信号。与非偏振分量图像生成部32-3一样，偏振分量图像生成部33-3使用具有相同偏振方向上相同颜色并且位于目标像素位置周围的偏振像素的值，计算在目标像素位置处的每个偏振方向上的每种颜色的偏振像素值，该目标像素位置是2×2像素颜色区域单元的中间位置。
例如，在2×2像素蓝色颜色区域单元的中间位置是如图16中子图(a)所示的目标像素位置Ps的情况下，偏振分量图像生成部33-3通过使用图16中子图(b)所示的滤波器因子，使用具有相同偏振方向上相同颜色并且位于目标像素位置周围的偏振像素的像素值来执行滤波处理，从而计算目标像素位置处的每个偏振方向上的每种颜色的偏振像素值。具体地，将具有相同偏振方向并且位于目标像素位置Ps周围的蓝色像素的偏振像素值乘以与相同偏振蓝色像素相对应的滤波器因子。乘法结果之和除以乘法中使用的滤波器因子之和。因此，计算目标像素位置处的偏振蓝色像素的像素值。此外，使用红色像素和绿色像素执行类似的处理，以便计算在目标像素位置处的红色像素的偏振像素值和在每个偏振方向上的绿色像素的偏振像素值。
这样，偏振分量图像生成部33-3计算目标像素位置处的每个偏振方向上的每种颜色的偏振像素的像素值，从而生成图17中的子图(c)至(h)中所示的每个偏振方向上的每种颜色的偏振图像，该图像在水平方向和垂直方向上具有一半的分辨率(像素数)。注意，在图17中，子图(c)至(h)示出了在每个偏振方向上的绿色的偏振分量图像，子图(g)示出了红色的偏振分量图像，并且子图(h)示出了蓝色的偏振分量图像。偏振分量图像生成部33-3将作为特定颜色的绿色的偏振分量图像信号输出至特定颜色偏振特性检测部34-3，并且将作为非特定颜色的红色和蓝色的偏振分量图像信号输出至非特定颜色偏振特性检测部35。
特定颜色偏振特性检测部34-3基于由偏振分量图像生成部33-3获得的特定颜色的偏振分量图像信号来检测特定颜色的偏振特性。偏振分量图像生成部33-3生成如图17中的子图(c)至(h)所示的四个偏振方向上的偏振分量图像。因此，使用以下表达式(13)至(15)来计算上述表达式(6)中的参数a、b和c：
a＝(I45-I135)/2...(13)
b＝(I0-I90)/2...(14)
c＝(I0+I45+I90+I135)/4...(15)
此外，如上所述，偏振度ρ使用表达式(10)来计算，方位角
Figure BDA0002491625390000201
使用表达式(11)来计算。由此获得如上给出的表达式(12)所定义的偏振特性。特定颜色偏振特性检测部34-3将检测到的特定颜色的偏振特性输出至非特定颜色偏振特性检测部35。
非特定颜色偏振特性检测部35基于由非偏振分量图像生成部32-3获得的非特定颜色的非偏振分量图像信号、由偏振分量图像生成部33-3获取的非特定颜色的偏振分量图像信号、以及由特定颜色偏振特性检测部34-3检测到的特定颜色的偏振特性，通过执行与第一实施例的处理类似的处理来检测非特定颜色的偏振特性。
注意，非偏振分量图像生成部32-3生成特定颜色的非偏振分量图像信号，而不是特定颜色的非偏振分量图像信号。然而，通过使用在透射轴之间具有45度的角度差的四个偏振方向上的偏振图像来计算在每个像素位置处的偏振像素值的平均值，非偏振分量图像生成部32-3可以在不依赖于特定颜色的非偏振像素的情况下生成特定颜色的非偏振分量图像。
注意，第三实施例的操作类似于图13的流程图中描述的操作。第三实施例执行与第二实施例的滤波处理不同的上述滤波处理，从而生成非偏振分量图像和偏振分量图像并且检测每种颜色的偏振特性。
与第一实施例一样，上述第三实施例即使在偏振度从一种颜色到另一种颜色变化的情况下也允许高度准确地检测每种颜色的偏振特性。此外，允许非特定颜色的偏振像素具有比特定颜色的偏振像素的偏振方向更少的偏振方向，使得由于配置的偏振像素引起的图像质量的劣化降低。此外，因为针对每个颜色区域单元生成非偏振分量图像和偏振分量图像，并且因为检测每种颜色的偏振特性，所以可以处理固态成像装置的各种像素阵列。
<4.第四实施例>
尽管上述第一实施例至第三实施例使用偏振RAW图像的经白平衡调整的图像信号来检测每种颜色的偏振特性并生成每种颜色的偏振分量图像和非偏振分量图像，但是可以使用未经过白平衡调整的图像信号来执行这些处理。下面结合使用未经过白平衡调整的图像信号的情况来说明该技术的第四实施例。
<4-1.第四实施例的配置>
图18示出了第四实施例的示例性配置。成像系统10-4包括固态成像装置20和图像处理装置30-4。图像处理装置30-4包括非偏振分量图像生成部32-4、偏振分量图像生成部33-4、特定颜色偏振特性检测部34-4、非特定颜色偏振特性检测部35、颜色平衡因子计算部36和颜色平衡调整部38。
固态成像装置20具有与第一、第二或第三实施例的像素阵列类似的像素阵列。固态成像装置20将未经过白平衡调整的偏振RAW图像的图像信号输出至图像处理装置30-4。
图像处理装置30-4中的非偏振分量图像生成部32-4通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每种颜色的非偏振分量图像信号。非偏振分量图像生成部32-4将特定颜色的非偏振分量图像信号输出至特定颜色偏振特性检测部34-4，并且将非特定颜色的非偏振分量图像信号输出至非特定颜色偏振特性检测部35。
偏振分量图像生成部33-4通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每个偏振方向上的每种颜色的偏振分量图像信号。偏振分量图像生成部33-4将特定颜色的偏振分量图像信号输出至特定颜色偏振特性检测部34-4，并且将非特定颜色的偏振分量图像信号输出至非特定颜色偏振特性检测部35。
特定颜色偏振特性检测部34-4基于特定颜色的非偏振分量图像信号和偏振分量图像信号来检测特定颜色的偏振特性。特定颜色偏振特性检测部34-4将检测到的特定颜色的偏振特性输出至非特定颜色偏振特性检测部35。
非特定颜色偏振特性检测部35基于非特定颜色的非偏振分量图像和偏振分量图像以及特定颜色的偏振特性来检测非特定颜色的偏振特性。非特定颜色偏振特性检测部35将由特定颜色偏振特性检测部34-4检测到的非特定颜色的经检测的偏振特性和特定颜色的偏振特性输出至颜色平衡因子计算部36。
颜色平衡因子计算部36基于特定颜色的偏振特性和非特定颜色的偏振特性来计算颜色平衡因子。颜色平衡因子计算部36将计算出的颜色平衡因子输出至颜色平衡调整部38。
颜色平衡调整部38使用由颜色平衡因子计算部36计算出的颜色平衡因子，对非偏振分量图像和偏振分量图像执行白平衡调整。
<4-2.第四实施例的具体实例和操作>
固态成像装置20具有图2中所示的上述配置。例如，固态成像装置20具有诸如图3或图15中所示的像素阵列。
图像处理装置30-4中的非偏振分量图像生成部32-4执行与第二或第三实施例中的非偏振分量图像生成部32-2或32-3的处理类似的处理。同样，偏振分量图像生成部33-4、特定颜色偏振特性检测部34-4和非特定颜色偏振特性检测部35执行与第二或第三实施例中它们的对应部分的处理类似的处理。优选地，第一实施例的偏振分量划分部31可以在第四实施例中被配置成执行与第一实施例的处理类似的处理。非特定颜色偏振特性检测部35将由特定颜色偏振特性检测部34-4检测到的非特定颜色的经检测的偏振特性和特定颜色的偏振特性输出至颜色平衡因子计算部36。此外，特定颜色偏振特性检测部34-4和非特定颜色偏振特性检测部35将每个颜色分量的非偏振分量图像信号和每个偏振方向上的每个颜色分量的偏振分量图像信号输出至颜色平衡调整部38。
颜色平衡因子计算部36基于特定颜色的偏振特性和非特定颜色的偏振特性来计算颜色平衡因子。在基于偏振特性计算颜色平衡因子时，颜色平衡因子计算部36将镜面反射分量视为白色。
上述表达式(19)中的偏振特性的幅度cρ表示镜面反射分量。在镜面反射分量是白色的情况下，特定颜色的偏振特性的幅度等于非特定颜色的偏振特性的幅度。因此，颜色平衡因子计算部36计算使非特定颜色的偏振特性的幅度与特定颜色的偏振特性的幅度相等的增益，作为颜色平衡因子。
图19是用于说明颜色平衡因子的图。当镜面反射分量被认为是白色时，特定颜色的偏振特性的幅度等于非特定颜色的偏振特性的幅度。由此可见，当特定颜色如上所述为绿色时，下面给出的表达式(16)定义了一方面绿色偏振图像的幅度cGρG与另一方面红色偏振图像的幅度cRρR和蓝色偏振图像的幅度cBρB之间的关系。注意，假设绿色的非偏振像素具有像素值CG，红色的非偏振像素具有像素值CR，并且蓝色的非偏振像素具有像素值CB，并且绿色具有偏振度ρG，红色具有偏振度ρR，并且蓝色具有偏振度ρB。因此，颜色平衡因子计算部36计算增益gR和gB作为颜色平衡因子。
cGρG＝gRcRρR＝gBcBρB...(16)
因此，基于特定颜色的偏振特性和非特定颜色的偏振特性，颜色平衡因子计算部36通过下面的表达式(17)和(18)执行计算以获得颜色平衡因子gR和gB。颜色平衡因子计算部36将计算出的颜色平衡因子gR和gB输出至颜色平衡调整部38。
gR＝(cGρG)/(cFρR)...(17)
gB＝(CGρG)/(cBρB)...(18)
颜色平衡调整部38使用由颜色平衡因子计算部36计算的颜色平衡因子对非特定颜色的非偏振图像和偏振图像执行增益调整，从而生成每个偏振方向上的每种颜色的经白平衡调整的非偏振分量图像信号和每种颜色的经白平衡调节的偏振分量图像信号。
图20是示出第四实施例的操作的流程图。在步骤ST21中，图像处理装置生成非偏振分量图像。图像处理装置30-4通过使用从固态成像装置20提供的偏振RAW图像的图像信号中的相同颜色的非偏振像素的信号执行滤波处理，来生成每种颜色的非偏振分量图像信号。然后，图像处理装置30-4进行至步骤ST22。
在步骤ST22中，图像处理装置生成偏振分量图像。图像处理装置30-4通过使用从固态成像装置20提供的偏振RAW图像的图像信号中的相同偏振方向上的相同颜色的偏振像素的信号执行滤波处理，来生成每个偏振方向上的每种颜色的偏振分量图像信号。然后，图像处理装置30-4进行至步骤ST23。
在步骤ST23中，图像处理装置检测特定颜色的偏振特性。图像处理装置30-4基于在步骤ST22中生成的特定颜色的偏振分量图像信号和在步骤ST21中生成的特定颜色的非偏振分量图像信号来检测特定颜色的偏振特性。然后，图像处理装置30-4进行至步骤ST24。
在步骤ST24中，图像处理装置检测非特定颜色的偏振特性。图像处理装置30-4基于在步骤ST23中检测到的特定颜色的偏振特性、在步骤ST21中生成的非特定颜色的非偏振分量图像信号、以及在步骤ST22中生成的非特定颜色的偏振分量图像信号来检测非特定颜色的偏振特性。然后，图像处理装置30-4进行至步骤ST25。
在步骤ST25中，图像处理装置计算颜色平衡因子。图像处理装置30-4基于在步骤ST23中检测到的特定颜色的偏振特性和在步骤ST24中检测到的非特定颜色的偏振特性，计算使非特定颜色的偏振特性的幅度与特定颜色的偏振特性的幅度相等的增益，作为颜色平衡因子。然后，图像处理装置30-4进行至步骤ST26。
在步骤ST26中，图像处理装置执行颜色平衡调整。图像处理装置30-4通过使用在步骤ST25中计算的颜色平衡因子，对在步骤ST21中生成的非特定颜色的非偏振分量图像信号执行增益调整。优选地，图像处理装置30-4可以使用在步骤ST25中计算的颜色平衡因子，对在步骤ST22中生成的非特定颜色的偏振分量图像信号执行增益调整。
与第一实施例一样，上述第四实施例即使在偏振度从一种颜色到另一种颜色变化的情况下也允许高度准确地检测每种颜色的偏振特性。此外，允许非特定颜色的偏振像素具有比特定颜色的偏振像素的偏振方向更少的偏振方向，使得由于配置的偏振像素引起的图像质量的劣化降低。此外，因为基于偏振特性计算颜色平衡因子，所以即使在照明光源未知或者成像区域中不包括白色对象的情况下，也可以获得经过高度准确的白平衡调整的图像信号。
<5.第五实施例>
下面结合以下情况来解释本技术的第五实施例：可以获取基于偏振特性的颜色平衡因子和基于颜色信息的颜色平衡因子，其中该颜色信息用于再现白色对象的白色。
<5-1.第五实施例的配置>
图21示出了第五实施例的示例性配置。成像系统10-5包括固态成像装置20和图像处理装置30-5。图像处理装置30包括非偏振分量图像生成部32-5、偏振分量图像生成部33-5、特定颜色偏振特性检测部34-5、非特定颜色偏振特性检测部35、颜色平衡因子计算部36、颜色平衡因子调整部37和颜色平衡调整部38。
固态成像装置20具有与第一、第二或第三实施例的像素阵列类似的像素阵列。固态成像装置20将未经白平衡调整的偏振RAW图像的图像信号输出至图像处理装置30-5。
图像处理装置30-5中的非偏振分量图像生成部32-5通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每种颜色的非偏振分量图像信号。非偏振分量图像生成部32-5将特定颜色的非偏振分量图像信号输出至特定颜色偏振特性检测部34-5，并且将非特定颜色的非偏振分量图像信号输出至非特定颜色偏振特性检测部35。
偏振分量图像生成部33-5通过使用从固态成像装置20提供的偏振RAW图像的图像信号执行滤波处理来生成每个偏振方向上的每种颜色的偏振分量图像信号。偏振分量图像生成部33-5将特定颜色的偏振分量图像信号输出至特定颜色偏振特性检测部34-5，并且将非特定颜色的偏振分量图像信号输出至非特定颜色偏振特性检测部35。
特定颜色偏振特性检测部34-5基于特定颜色的非偏振分量图像信号和偏振分量图像信号来检测特定颜色的偏振特性。特定颜色偏振特性检测部34-5将检测到的特定颜色的偏振特性输出至非特定颜色偏振特性检测部35。
非特定颜色偏振特性检测部35基于非特定颜色的非偏振分量图像和偏振分量图像以及特定颜色的偏振特性来检测非特定颜色的偏振特性。非特定颜色偏振特性检测部35将检测到的非特定颜色的偏振特性和由特定颜色偏振特性检测部34-5检测到的特定颜色的偏振特性输出至颜色平衡因子计算部36。
颜色平衡因子计算部36基于特定颜色的偏振特性和非特定颜色的偏振特性来计算颜色平衡因子。颜色平衡因子计算部36将计算出的颜色平衡因子输出至颜色平衡调整部38。
颜色平衡因子调整部37使用基于颜色信息的颜色平衡因子和由颜色平衡因子计算部36计算的颜色平衡因子来调整颜色平衡因子，从而生成经调整的颜色平衡因子，其中该颜色信息用于再现白色对象的白色。优选地，基于颜色信息的颜色平衡因子可以从固态成像装置20获取，或者可以存储在图像处理装置30-5中。颜色平衡因子调整部37将经调整的颜色平衡因子输出至颜色平衡调节部38。
颜色平衡调整部38使用由颜色平衡因子调整部37生成的经调整的颜色平衡因子对非偏振图像和偏振图像执行白平衡调整。
<5-2.第五实施例的具体实例和操作>
固态成像装置20具有图2中所示的上述配置。例如，固态成像装置20具有诸如图3或图15中所示的像素阵列。
图像处理装置30-5中的非偏振分量图像生成部件32-5执行与第二或第三实施例中的非偏振分量图像生成部32-2或32-3的处理类似的处理。同样，偏振分量图像生成部33-5、特定颜色偏振特性检测部34-5和非特定颜色偏振特性检测部35执行与第二或第三实施例中它们的对应部分的处理类似的处理。优选地，第一实施例的偏振分量划分部31可以在第五实施例中被配置成执行与第一实施例的处理类似的处理。非特定颜色偏振特性检测部35将检测到的非特定颜色的偏振特性和由特定颜色偏振特性检测部34-5检测到的特定颜色的偏振特性输出至颜色平衡因子计算部36。另外，特定颜色偏振特性检测部34-5和非特定颜色偏振特性检测部35将每个偏振方向上的每个颜色分量的非偏振分量图像信号和每个颜色分量的偏振分量图像信号输出至颜色平衡调整部38。
与第四实施例一样，颜色平衡因子计算部36基于特定颜色的偏振特性和非特定颜色的偏振特性来计算颜色平衡因子。颜色平衡因子计算部件36基于所计算的偏振特性将颜色平衡因子输出至颜色平衡因子调整部37。
颜色平衡因子调整部37使用基于颜色信息的颜色平衡因子和基于偏振特性并且由颜色平衡因子计算部36计算的颜色平衡因子来调整颜色平衡因子，从而生成调整的颜色平衡因子。
例如，颜色平衡因子调整部37计算一方面基于颜色信息的红色颜色平衡因子gR1与另一方面基于偏振特性并且由颜色平衡因子计算部36计算的红色颜色平衡因子gR2之间的差绝对值。在差绝对值落在阈值内的情况下，颜色平衡因子调整部37将基于偏振特性的红色颜色平衡因子gR2视为经调整的颜色平衡因子gR。在差绝对值超过阈值的情况下，颜色平衡因子调整部37将基于颜色信息的红色颜色平衡因子gR1视为经调整的颜色平衡因子gR。此外，颜色平衡因子调整部37对蓝色执行类似的处理，从而以类似的方式设置经调整的颜色平衡因子gB。
即使在照明光源未知或成像区域中不包括白色对象的情况下，也通过上述处理基于偏振特性生成经调整的颜色平衡因子。另外，在基于偏振特性的颜色平衡因子的准确性由于减少的镜面反射分量而降低的情况下，基于颜色信息的颜色平衡因子被用作经调整的颜色平衡因子，从而防止经调整的颜色平衡因子的准确性显著下降。
优选地，颜色平衡因子调整部37可以使用基于颜色信息的颜色平衡因子的平均值和基于偏振特性的颜色平衡因子的平均值作为调整的颜色平衡因子。
此外，颜色平衡因子调整部37可以在设置红色的经调整的颜色平衡因子gR的同时设置混合比率α，如下面的表达式(19)所示：
gR＝(1-α)gR1+αgR2...(19)
颜色平衡因子调整部37可以类似地设置用于蓝色的经调整的颜色平衡因子。
在这样的情况下，随着混合比率α变得越接近1，基于偏振特性的颜色平衡因子的比例变得越高。混合比率α例如可以根据镜面反射来设置。镜面反射量越大，则认为基于偏振特性的颜色平衡因子的可靠性越高，因此混合比率α越接近1。例如，使用镜面反射量s和像素信号的饱和水平Dmax来计算混合比率α，如下面的表达式(20)所示：
a＝s/Dmax...(20)
颜色平衡调整部38使用由颜色平衡因子调整部37生成的经调整的颜色平衡因子，对非特定颜色的非偏振图像和偏振图像执行增益调整。通过这样做，颜色平衡调整部38生成每种颜色的经白平衡调整的非偏振分量图像信号和在每个偏振方向上的每种颜色的经白平衡调整的偏振分量图像信号。
优选地，颜色平衡因子调整部37可以向用户呈现基于颜色信息的颜色平衡因子以及基于偏振特性并且由颜色平衡因子计算部36计算的颜色平衡因子。通过这样做，颜色平衡因子调整部37可以生成由用户指定的经调整的颜色平衡因子。
图22是示出第五实施例的操作的流程图。在步骤ST31中，图像处理装置生成非偏振分量图像。图像处理装置30-5通过使用从固态成像装置20提供的偏振RAW图像的图像信号中的相同颜色的非偏振像素的信号执行滤波处理，来生成每种颜色的非偏振分量图像信号。然后，图像处理装置30-5进行至步骤ST32。
在步骤ST32中，图像处理装置生成偏振分量图像。图像处理装置30-5通过使用从固态成像装置20提供的偏振RAW图像的图像信号中的相同偏振方向上的相同颜色的偏振像素的信号执行滤波处理，来生成每个偏振方向上的每种颜色的偏振分量图像信号。然后，图像处理装置30-5进行至步骤ST33。
在步骤ST33中，图像处理装置检测特定颜色的偏振特性。图像处理装置30-5基于在步骤ST32中生成的特定颜色的偏振分量图像信号和在步骤ST31中生成的特定颜色的非偏振分量图像信号来检测特定颜色的偏振特性。然后，图像处理装置30-5进行至步骤ST34。
在步骤ST34中，图像处理装置检测非特定颜色的偏振特性。图像处理装置30-5基于在步骤ST33中检测到的特定颜色的偏振特性、在步骤ST31中生成的非特定颜色的非偏振分量图像信号、以及在步骤ST32中生成的非特定颜色的偏振分量图像信号来检测非特定颜色的偏振特性。然后，图像处理装置30-5进行至步骤ST35。
在步骤ST35中，图像处理装置计算颜色平衡因子。图像处理装置30-5基于在步骤ST33中检测到的特定颜色的偏振特性和在步骤ST34中检测到的非特定颜色的偏振特性，计算使非特定颜色的偏振特性的幅度与特定颜色的偏振特性的幅度相等的增益，作为颜色平衡因子。然后，图像处理装置30-5进行至步骤ST36。
在步骤ST36中，图像处理装置调整颜色平衡因子。图像处理装置30-5使用基于颜色信息的颜色平衡因子和基于偏振特性并在步骤ST35中计算的颜色平衡因子来生成调整的颜色平衡因子。然后，图像处理装置30-5进行至步骤ST37。
在步骤ST37中，图像处理装置执行颜色平衡调整。图像处理装置30-5通过使用在步骤ST36中生成的经调整的颜色平衡因子，对在步骤ST31中生成的非特定颜色的非偏振分量图像信号执行增益调整。优选地，图像处理装置30-5可以使用在步骤ST36中生成的经调整的颜色平衡因子，对在步骤ST32中生成的非特定颜色的偏振分量图像信号执行增益调整。
与第一实施例一样，上述第五实施例即使在偏振度从一种颜色到另一种颜色变化的情况下也允许对每种颜色的偏振特性进行高度准确检测。此外，允许非特定颜色的偏振像素具有比特定颜色的偏振像素的偏振方向更少的偏振方向，使得由于配置的偏振像素引起的图像质量的劣化降低。此外，因为基于偏振特性计算颜色平衡因子，所以即使在照明光源未知或成像区域中不包括白色对象的情况下，也可以获得经过高度准确的白平衡调整的图像信号。此外，在基于偏振特性的颜色平衡因子的准确性由于减少的镜面反射分量而降低的情况下，基于颜色信息的颜色平衡因子被用于执行高度准确的白平衡调整。
<6.其他实施例>
图像处理装置使用的图像信号不限于由具有上述像素阵列的固态成像装置生成的图像信号。例如，固态成像装置可以具有诸如在随后的段落“7固态成像装置的其他配置”中讨论的像素阵列的像素阵列。此外，像素颜色不限于原色，并且可以包括补色。
尽管上述实施例被配置成输出特定颜色和非特定颜色的偏振特性以及特定颜色和非特定颜色的偏振分量图像信号和非偏振分量图像信号，但是其它实施例可以被配置成仅输出偏振特性。另外，尽管第四实施例和第五实施例被配置成输出白平衡调整的图像信号，但是其它实施例可以被配置成输出颜色平衡因子和未进行白平衡调整的图像信号。此外，滤波处理不限于以上结合相应实施例说明的滤波处理，并且可以在实施例之间切换。例如，第二实施例在生成偏振图像和非偏振图像时执行的滤波处理可以被第一实施例在生成偏振图像和非偏振图像时使用。此外，通过以下述方式执行滤波处理，可以更准确地检测特定颜色和非特定颜色的偏振特性：生成提供比上述实施例所提供的图像质量更好的图像质量的非偏振分量图像信号和偏振分量图像信号。
此外，示出操作的上述流程图不限于连续执行流程图中的步骤的顺序处理。例如，非偏振图像的生成和偏振图像的生成可以一个接一个地进行或彼此并行地进行。作为另一实例，可以执行流水线处理，使得每次获得处理所需的像素信号时，可以对每个像素执行滤波处理和偏振特性计算。
<7.固态成像装置的其它配置>
固态成像装置20不限于涉及顺序读出像素的信号的图3或图15中所示的像素阵列的配置。下面结合关注像素阵列和像素信号读出的其它配置来说明固态成像装置。
<7-1.像素阵列>
如上所述，固态成像装置20的像素阵列仅需要具有被配置成允许检测偏振特性的特定颜色的像素，以及与特定颜色不同的非特定颜色的像素，该非特定颜色的像素由非偏振像素构成以及由比特定颜色的偏振像素具有更少偏振方向的非特定颜色的偏振像素构成。
图23和图24示出了示例性部分像素阵列(4×4像素阵列重复单元)。图23中的子图(a)包括2×2颜色像素区域，每个颜色像素区域具有绿色的特性颜色，并且由在四个不同偏振方向上偏振的像素构成。还包括2×2颜色像素区域，每个颜色像素区域具有红色和蓝色的非特定颜色，并且由在一个偏振方向上偏振的一个像素和三个非偏振像素构成。
图23中的子图(b)包括2×2颜色像素区域，每个颜色像素区域具有绿色的特定颜色，并且由在三个不同偏振方向上偏振的像素和一个非偏振像素构成。还包括2×2颜色像素区域，每个颜色像素区域具有红色和蓝色的非特定颜色，并且由在一个偏振方向上偏振的一个像素和三个非偏振像素构成。
图23中的子图(c)包括2×2颜色像素区域，每个颜色像素区域具有绿色的特定颜色，并且由在两个不同的偏振方向上偏振的两个像素和两个非偏振像素构成。还包括2×2颜色像素区域，每个颜色像素区域具有红色和蓝色的非特定颜色，并且由在一个偏振方向上偏振的一个像素和三个非偏振像素构成。
此外，图23中的子图(d)至(f)示出了包括特定颜色的两个颜色区域单元的4×4像素阵列重复单元作为实例，其中两个颜色区域单元中仅有一个具有偏振像素。
即使当固态成像装置20被配置成具有如图23中的子图(a)至(f)所示的像素阵列时，图像处理装置也通过执行上述处理来高度准确地检测每种颜色的偏振特性。如此配置的图像处理装置还获得每种颜色的非偏振图像和偏振图像。
像素阵列也可以如图24中所示出的进行配置。图24中的子图(a)示出绿色和红色是特定颜色而蓝色是非特定颜色的实例。图24中的子图(b)示出了示例性像素阵列，其中颜色区域单位是一个像素。图24中的子图(c)和(d)示出了三原色(红色、绿色和蓝色)的像素被补充以白色像素的实例。在这样的情况下，白色是特定颜色，而红色、绿色和蓝色是非特定颜色。优选地，可以提供对红外区域敏感的像素，而不是仅提供白色像素。此外，如图24中的子图(e)所示，像素阵列可以被配置成倾斜45度。
如上所述，固态成像装置20的像素阵列仅需要被配置成能够计算特定颜色的偏振特性，并且具有偏振方向比特定颜色的偏振像素的偏振方向少的非特定颜色的偏振像素以及非偏振像素。
<7-2.信号读出>
顺便提及，当配备有偏振器时，偏振像素具有比非偏振像素的灵敏度更低的灵敏度。因此，第一实施例使用用于吸收像素之间的灵敏度差异的增益K来检测偏振特性。以下是对生成在非偏振像素与偏振像素之间没有灵敏度差异的像素信号的以其他方式配置的固态成像装置的说明。
图25示出了固态成像装置的示例性像素配置。图像传感器21包括具有例如以二维矩阵排列的多个像素的像素阵列部211，以及用于可控制地驱动像素阵列211的垂直扫描电路212和水平扫描电路213。注意，为了简化说明的目的，在像素阵列部211中仅指示了行和列方向上的一些像素。另外，像素阵列部211的像素与它们的像素颜色和偏振方向一起在图中呈现。
尽管未示出，但是像素阵列部211的像素各自包括光电二极管、电荷转移晶体管和复位晶体管。每个像素经由复位线和选择线与垂直扫描电路212连接，并且经由信号线与水平扫描电路213连接。
垂直扫描电路212经由给定偏振像素的复位线将复位信号输出至该偏振像素的复位晶体管，使该偏振像素的复位晶体管对其中累积的电荷放电。垂直扫描电路212还经由给定非偏振像素的复位线将复位信号输出至该非偏振像素的复位晶体管，使该非偏振像素的复位晶体管对其中累积的电荷放电。此后，垂直扫描电路212经由选择线将读出信号输出至偏振像素和非偏振像素的电荷转移晶体管，使这些像素在从输出复位信号的时间到输出读出信号的时间范围的曝光时段期间输出在其中累积的电荷，这些电荷作为信号电流被输出到信号线上。水平扫描电路213执行将从每个像素读出的信号电流转换为数字像素信号并对其执行降噪的处理。水平扫描电路213将这样处理的像素信号以水平方向上的像素的顺序输出到图像处理装置30。此外，垂直扫描电路212和水平扫描电路213逐行执行上述处理。此外，垂直扫描电路212以使偏振像素或非偏振像素的灵敏度匹配的方式控制这些像素的曝光时段。例如，垂直扫描电路212控制用于非偏振像素的复位信号的定时，以调整它们的曝光周期，使得非偏振像素和偏振像素在灵敏度上匹配。
图26是用于说明固态成像装置中的图像传感器的操作的图。固态成像装置20独立地控制偏振像素复位信号的输出和非偏振像素复位信号的输出。通过这样做，固态成像装置20以这样的方式调整非偏振像素的曝光时段，使得当获取对象的非偏振图像时，偏振像素的信号电平变得等于非偏振像素的信号电平。
图26中的子图9(a)示出了用于读出反映偏振像素或非偏振像素中所累积的电荷的信号的读出信号SCa。图26中的子图(b)指示用于偏振像素的复位信号SCbp。图26中的子图(c)示出了在偏振像素中累积的电荷量。给定复位信号SCbp，在从复位信号SCbp终止的时间点t1开始累积反映入射光的电荷之前，偏振像素对累积的电荷进行放电。
图26中的子图(d)示出了用于非偏振像素的复位信号SCbn，并且图26中的子图(e)示出了在非偏振像素中累积的电荷量。给定复位信号SCbn，在从复位信号SCbn终止的时间点t2开始累积反映入射光的电荷之前，非偏振像素对累积的电荷进行放电。
给定读取信号SCa，偏振像素和未偏振像素在时间点t3处读出它们的累积电荷。即，从时间点t1到时间点t3范围的时间段是用于偏振像素的曝光时间Tep，并且从时间点t2到时间点t3范围的时间段是用于非偏振像素的曝光时间Ten。因此，当使得曝光时间Ten短于曝光时间Tep以保持非偏振像素相对于偏振像素的灵敏度时，可以生成图像信号，使得尽管偏振像素与非偏振像素之间的灵敏度不同，偏振像素的信号电平SLp也变得等于非偏振像素的信号电平SLn。
优选地，固态成像装置20可以以这样的方式对像素信号执行增益调整，使得在水平扫描电路213中偏振像素和非偏振像素的灵敏度匹配。
因此，上述固态成像装置能够生成在偏振像素与非偏振像素之间没有灵敏度差异的成像图像的图像信号。这消除了图像处理装置考虑偏振像素与非偏振像素之间的灵敏度差异的需要，从而允许图像处理装置容易地检测偏振特性。
顺便提及，在固态成像装置被配置成包含CMOS图像传感器的情况下，固态成像装置允许像素信号的插值读出。另外，在像素信号的插值读出的情况下，可以以高帧率读取像素信号，从而提高像素信号的S/N比。
以下是对固态成像装置执行来自像素的信号的插值读出的情况的说明。图27示出了固态成像装置的像素和读出信号线。图27中的子图(a)示出了固态成像装置20的示例性像素阵列的一部分。此外，图27中的子图(b)示出了读出信号线。尽管未示出，但是固态成像装置20的像素均包括光电二极管、电荷转移晶体管和复位晶体管。在给定复位信号以驱动复位晶体管的情况下，每个像素对其中累积的电荷进行放电。此后，给定用于驱动电荷转移晶体管的读出信号，每个像素输出在从复位终止的时间到开始读出的时间范围的曝光时段期间累积在其中的电荷作为像素信号，这些像素信号被输出到读出信号线上。读出信号线与模拟/数字转换(A/D)部连接。模拟/数字转换(A/D)部将从每个像素读出的模拟像素信号转换为数字像素信号，并且在执行降噪之后，将数字像素信号输出至图像处理装置30。
图28是用于说明读出像素信号的操作的图。固态成像装置20从与相同读出信号线连接的相同列的像素中具有相同颜色和相同偏振方向的像素顺序地以插值方式读出像素信号。图28中的子图(a)示出了固态成像装置20的示例性像素阵列的一部分。例如，如图28中的子图(b)所示，固态成像装置20经由读出信号线VSL0从两个非偏振红色像素以插值方式读出像素信号，以便生成一个非偏振红色像素的数字像素信号。此外，固态成像装置20经由读出信号线VSL1从两个非偏振红色像素以插值方式读出像素信号，以便生成一个非偏振红色像素的数字像素信号。此外，固态成像装置20经由读出信号线VSL2从两个非偏振绿色像素以插值方式读出像素信号，以便生成一个非偏振绿色像素的数字像素信号。此外，固态成像装置20经由读出信号线VSL3从两个非偏振绿色像素以插值方式读出像素信号，以便生成一个非偏振绿色像素的数字像素信号。以这样的方式，固态成像装置20生成一行的像素信号。
然后，固态成像装置20生成下一行的像素信号。例如，如图28中的子图(c)所示，固态成像装置20经由读出信号线VSL0从两个非偏振红色像素以插值方式读出像素信号，以便生成一个非偏振红色像素的数字像素信号。此外，固态成像装置20经由读出信号线VSL1从两个偏振红色像素(透射轴成90度角)以插值方式读出像素信号，以便生成一个偏振红色像素(透射轴成90度角)的数字像素信号。此外，固态成像装置20经由读出信号线VSL2从两个偏振绿色像素(透射轴成90度角)以插值方式读出像素信号，以便生成一个偏振绿色像素(透射轴成90度角)的数字像素信号。此外，固态成像装置20经由读出信号线VSL3从两个非偏振绿色像素以插值方式读出像素信号，以便生成一个偏振绿色像素的数字像素信号。以这样的方式，固态成像装置20生成另一行的像素信号。
此外，如图28中的子图(d)和(e)所示，例如，固态成像装置20经由读出信号线VSL0至VSL3从两个非偏振像素以插值方式读出像素信号，以便生成一个非偏振像素的数字像素信号，并且经由读出信号线VSL0至VSL3从相同偏振方向的两个偏振像素以插值方式读出像素信号，以便生成一个偏振像素的数字像素信号。以这样的方式，固态成像装置20在垂直方向上连续地对作为信号插值的目标的像素进行移位，从而生成每行的像素信号。因此，从固态成像装置20输出的图像信号在垂直方向上具有一半的分辨率，如图28中的子图(f)所示。在这样的情况下，图像处理装置可以执行将水平方向上的分辨率减半的处理，使得输出图像的纵横比将保持不变。
通过如上所述地插值读出像素，固态成像装置20可以将具有高帧率和高S/N比的偏振RAW图像的图像信号输出至图像处理装置30-1(30-2至30-5)。
<8.使用情况实例>
本公开内容的技术可以应用于各种产品。例如，本公开内容的技术可以被实现为要被安装在诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船舶和机器人的移动物体中的任何一个上的装置。
图29是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施例的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图29所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，从移动设备传输的作为钥匙或者各种开关信号的替代的无线电波可被输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图29的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。
图30是示出成像部12031的安装位置的实例的示图。
在图30中，成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图30示出成像部12101～12104的拍摄范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
成像部12101～12104中的至少一个可具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101～12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
以上说明了可以应用本公开内容的技术的示例性车辆控制系统。根据本公开内容的技术的固态成像装置20可以用作以上说明的组件中的成像部12031。此外，本公开内容的技术的图像处理装置30可以用作上述组件中的车辆外信息检测单元12030。将本公开内容的技术应用于车辆控制系统使得车辆控制系统能够以高准确性获得每种颜色的偏振特性。通过允许去除反射并且三维地识别对象的形状，该技术提供了对减少驾驶员疲劳和实现自动驾驶所需的信息的高度准确的获取。
上述一系列处理可以由硬件、软件或两者的组合来执行。在要执行基于软件的处理的情况下，将记录所涉及的处理顺序的程序以用于程序执行的专用硬件安装到计算机的内部存储器中。替选地，程序可以被安装到能够执行用于执行程序的各种处理的通用计算机中。
例如，程序可以预先记录在用作记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)上。替选地，程序可以临时或永久地存储(记录)在可移除记录介质上，例如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、BD(蓝光盘(注册商标))、磁盘或半导体存储卡。这样的可移除记录介质可以作为通常所称的封装软件来提供。
除了从可移除记录介质安装到计算机中之外，程序还可以经由诸如LAN(局域网)或因特网的网络以有线或无线方式从下载站点传送到计算机。计算机可以接收由此传送的程序，并且将程序安装到诸如硬盘的内部记录介质上。
本说明书中所陈述的有利效果仅是实例，而不是对本技术的限制。可能存在从本说明书中得到的且未被本说明书覆盖的额外有利效果。当解释时，本技术不应限于以上讨论的实施例。这些实施例仅作为公开本技术的说明而呈现。显然，在不脱离本技术的精神和范围的情况下，实施例的许多替选、修改和变型对于本领域技术人员将变得明显。因此，本技术的范围应当考虑所附权利要求及其合法等效物而不是由所给出的实例来确定。
本公开内容也可以优选地以以下配置来实现
(1)
一种图像处理装置，包括：
非特定颜色偏振特性检测部，其被配置成基于特定颜色的偏振特性、与所述特定颜色不同的非特定颜色的非偏振像素的像素信号、以及所述非特定颜色的偏振像素的像素信号来检测所述非特定颜色的偏振特性，其中所述非特定颜色的偏振像素比所述特定颜色的偏振像素具有更少的偏振方向。
(2)
根据以上段落(1)所述的图像处理装置，其中，
所述非特定颜色偏振特性检测部在假设所述特定颜色的方位角等于所述非特定颜色的方位角的情况下检测所述非特定颜色的偏振特性。
(3)
根据以上段落(2)所述的图像处理装置，其中，
所述非特定颜色偏振特性检测部基于所述特定颜色的偏振特性、所述非特定颜色的非偏振像素的像素信号、以及所述非特定颜色的偏振像素的像素信号来计算所述非特定颜色的偏振度，其中所述非特定颜色的偏振像素比所述特定颜色的偏振像素具有更少的偏振方向。
(4)
根据以上段落(1)至(3)中任一项所述的图像处理装置，还包括：
特定颜色偏振特性检测部，其被配置成使用具有至少三个偏振方向的所述特定颜色的偏振像素或非偏振像素的像素信号以及具有两个偏振方向的偏振像素的像素信号来检测所述特定颜色的偏振特性。
(5)
根据以上段落(1)至(4)中任一项所述的图像处理装置，还包括：
非偏振分量图像生成部，其被配置成使用所述特定颜色的非偏振像素的像素信号来生成所述特定颜色的非偏振分量图像信号，并且使用所述非特定颜色的非偏振像素的像素信号来生成所述非特定颜色的非偏振分量图像信号；以及
偏振分量图像生成部，其被配置成使用所述特定颜色的偏振像素的像素信号来生成所述特定颜色的偏振分量图像信号，并且使用所述非特定颜色的偏振像素的像素信号来生成所述非特定颜色的偏振分量图像信号。
(6)
根据以上段落(5)所述的图像处理装置，其中，
所述非偏振分量图像生成部和所述偏振分量图像生成部通过使用具有相同颜色和相同偏振方向的像素的像素信号执行滤波处理，来分别生成所述非偏振分量图像信号和所述偏振分量图像信号。
(7)
根据以上段落(6)所述的图像处理装置，其中，
所述非偏振分量图像生成部和所述偏振分量图像生成部基于目标像素位置的低频分量和高频分量针对每种颜色以及针对每个偏振方向生成所述目标像素位置的像素信号，其中通过使用围绕所述目标像素位置并且与所述目标像素位置的像素具有相同的颜色和偏振方向的像素执行滤波处理，针对每种颜色以及针对每个偏振方向来计算所述像素目标位置的低频分量，其中使用所述目标像素位置的像素信号以及与所述目标像素位置的像素具有相同的颜色和偏振方向的所述目标像素位置的低频分量，来计算所述目标像素位置的高频分量。
(8)
根据以上段落(5)至(7)中任一项所述的图像处理装置，其中，
所述特定颜色和所述非特定颜色的偏振像素和非偏振像素的像素信号包括经过白平衡调整的信号。
(9)
根据以上段落(5)至(7)中任一项所述的图像处理装置，还包括：
颜色平衡因子计算部，其被配置成基于所述特定颜色的偏振特性和所述非特定颜色的偏振特性来计算颜色平衡因子。
(10)
根据以上段落(9)所述的图像处理装置，其中，
所述颜色平衡因子计算部通过假设镜面反射是白色来计算所述颜色平衡因子。
(11)
根据以上段落(9)或(10)所述的图像处理装置，还包括：
颜色平衡调整部，其被配置成使用由所述颜色平衡因子计算部计算的所述颜色平衡因子对所述非偏振分量图像信号或所述偏振分量图像信号执行白平衡调整。
(12)
根据以上段落(11)所述的图像处理装置，还包括：
颜色平衡因子调整部，其被配置成根据由所述颜色平衡因子计算部计算的并且基于所述偏振特性的颜色平衡因子以及基于颜色信息的颜色平衡因子，来调整所述颜色平衡因子，其中所述颜色信息用于再现白色对象的白色，其中，
所述颜色平衡调整部使用由所述颜色平衡因子调整部调整的颜色平衡因子来执行所述白平衡调整。
(13)
根据以上段落(12)所述的图像处理装置，其中，
所述颜色平衡因子调整部根据一方面基于偏振特性的颜色平衡因子与另一方面基于颜色信息的颜色平衡因子之间的差异量或镜面反射量来调整颜色平衡因子。
工业适用性
根据本技术的图像处理装置、图像处理方法、程序和固态成像装置，基于特定颜色的偏振特性、与特定颜色不同的非特定颜色的非偏振像素的像素信号、以及比特定颜色的偏振像素具有更少的偏振方向的非特定颜色的偏振像素的像素信号，来检测非特定颜色的偏振特性。这使得可以高准确性地检测每种颜色的偏振特性。因此，本技术的图像处理装置、图像处理方法、程序和固态成像装置可以有利地应用于使用偏振信息执行控制的设备，诸如车辆控制系统。
附图标记列表
10-1至10-5 成像系统
20 固态成像装置
21 图像传感器
22 彩色马赛克滤光器
23 偏振器
30-1至30-5 图像处理装置
31 偏振分量划分部
32-1至32-5 非偏振分量图像生成部
33-1至33-5 偏振分量图像生成部
34-1至34-5 特定颜色偏振特性检测部
35 非特定颜色偏振特性检测部
36 颜色平衡因子计算部
37 颜色平衡因子调整部
38 颜色平衡调整部

Claims (20)

1.一种图像处理装置，包括：
非特定颜色偏振特性检测部，其被配置成基于特定颜色的偏振特性、与所述特定颜色不同的非特定颜色的非偏振像素的像素信号、以及所述非特定颜色的偏振像素的像素信号来检测所述非特定颜色的偏振特性，其中所述非特定颜色的偏振像素比所述特定颜色的偏振像素具有更少的偏振方向。
2.根据权利要求1所述的图像处理装置，其中，
所述非特定颜色偏振特性检测部在假设所述特定颜色的方位角等于所述非特定颜色的方位角的情况下检测所述非特定颜色的偏振特性。
3.根据权利要求2所述的图像处理装置，其中，
所述非特定颜色偏振特性检测部基于所述特定颜色的偏振特性、所述非特定颜色的非偏振像素的像素信号、以及所述非特定颜色的偏振像素的像素信号来计算所述非特定颜色的偏振度，其中所述非特定颜色的偏振像素比所述特定颜色的偏振像素具有更少的偏振方向。
4.根据权利要求1所述的图像处理装置，还包括：
特定颜色偏振特性检测部，其被配置成使用具有至少三个偏振方向的所述特定颜色的偏振像素或非偏振像素的像素信号以及具有两个偏振方向的偏振像素的像素信号来检测所述特定颜色的偏振特性。
5.根据权利要求1所述的图像处理装置，还包括：
非偏振分量图像生成部，其被配置成使用所述特定颜色的非偏振像素的像素信号来生成所述特定颜色的非偏振分量图像信号，并且使用所述非特定颜色的非偏振像素的像素信号来生成所述非特定颜色的非偏振分量图像信号；以及
偏振分量图像生成部，其被配置成使用所述特定颜色的偏振像素的像素信号来生成所述特定颜色的偏振分量图像信号，并且使用所述非特定颜色的偏振像素的像素信号来生成所述非特定颜色的偏振分量图像信号。
6.根据权利要求5所述的图像处理装置，其中，
所述非偏振分量图像生成部和所述偏振分量图像生成部通过使用具有相同颜色和相同偏振方向的像素的像素信号执行滤波处理，来分别生成所述非偏振分量图像信号和所述偏振分量图像信号。
7.根据权利要求6所述的图像处理装置，其中，
所述非偏振分量图像生成部和所述偏振分量图像生成部基于目标像素位置的低频分量和高频分量针对每种颜色以及针对每个偏振方向生成所述目标像素位置的像素信号，其中通过使用围绕所述目标像素位置并且与所述目标像素位置的像素具有相同的颜色和偏振方向的像素执行滤波处理，针对每种颜色以及针对每个偏振方向来计算所述目标像素位置的低频分量，其中使用所述目标像素位置的像素信号以及与所述目标像素位置的像素具有相同的颜色和偏振方向的所述目标像素位置的低频分量，来计算所述目标像素位置的高频分量。
8.根据权利要求5所述的图像处理装置，其中，
所述特定颜色和所述非特定颜色的偏振像素和非偏振像素的像素信号包括经过白平衡调整的信号。
9.根据权利要求5所述的图像处理装置，还包括：
颜色平衡因子计算部，其被配置成基于所述特定颜色的偏振特性和所述非特定颜色的偏振特性来计算颜色平衡因子。
10.根据权利要求9所述的图像处理装置，其中，
所述颜色平衡因子计算部通过假设镜面反射是白色来计算所述颜色平衡因子。
11.根据权利要求9所述的图像处理装置，还包括：
颜色平衡调整部，其被配置成使用由所述颜色平衡因子计算部计算的所述颜色平衡因子对所述非偏振分量图像信号或所述偏振分量图像信号执行白平衡调整。
12.根据权利要求11所述的图像处理装置，还包括：
颜色平衡因子调整部，其被配置成根据由所述颜色平衡因子计算部计算的并且基于所述偏振特性的颜色平衡因子以及基于颜色信息的颜色平衡因子，来调整所述颜色平衡因子，其中所述颜色信息用于再现白色对象的白色，其中
所述颜色平衡调整部使用由所述颜色平衡因子调整部调整的颜色平衡因子来执行所述白平衡调整。
13.根据权利要求12所述的图像处理装置，其中，
所述颜色平衡因子调整部根据一方面基于偏振特性的颜色平衡因子与另一方面基于颜色信息的颜色平衡因子之间的差异量或镜面反射量来调整颜色平衡因子。
14.一种图像处理方法，包括：
使非特定颜色偏振特性检测部基于特定颜色的偏振特性、与所述特定颜色不同的非特定颜色的非偏振像素的像素信号、以及所述非特定颜色的偏振像素的像素信号来检测所述非特定颜色的偏振特性，其中所述非特定颜色的偏振像素比所述特定颜色的偏振像素具有更少的偏振方向。
15.一种存储程序的记录介质，所述程序使计算机对包括偏振像素和非偏振像素的图像执行处理，所述处理包括：
基于特定颜色的偏振特性、与所述特定颜色不同的非特定颜色的非偏振像素的像素信号、以及所述非特定颜色的偏振像素的像素信号来检测所述非特定颜色的偏振特性，其中所述非特定颜色的偏振像素比所述特定颜色的偏振像素具有更少的偏振方向。
16.一种固态成像装置，包括：
特定颜色的像素，其被配置成允许检测偏振特性；以及
非特定颜色的像素，其由非偏振像素构成以及由比所述特定颜色的偏振像素具有更少的偏振方向的偏振像素构成，所述非特定颜色不同于所述特定颜色，
其中，所述固态成像装置基于从每个所述像素读出的像素信号生成图像信号，并且将所述图像信号输出至根据权利要求1所述的图像处理装置以进行处理。
17.根据权利要求16所述的固态成像装置，其中，
使用具有至少三个偏振方向的偏振像素或非偏振像素和具有两个偏振方向的偏振像素来配置所述特定颜色的像素，以及
使用非偏振像素和具有一个偏振方向的偏振像素来配置所述非特定颜色的像素。
18.根据权利要求17所述的固态成像装置，其中
在利用所述特定颜色的像素和所述非特定颜色的像素配置的像素阵列重复单元中，使用非偏振像素和具有一个偏振方向的偏振像素来配置所述非特定颜色的像素，作为以下配置：所述特定颜色的像素包括具有至少三个偏振方向的偏振像素或非偏振像素和具有两个偏振方向的偏振像素。
19.根据权利要求16所述的固态成像装置，还包括：
第一扫描电路，其被配置成通过单独地控制所述偏振像素的曝光时段和所述非偏振像素的曝光时段，来生成在偏振像素与非偏振像素之间没有灵敏度差异的像素信号。
20.根据权利要求16所述的固态成像装置，还包括：
第二扫描电路，其被配置成以插值方式读出具有相同颜色和相同偏振方向的像素的信号。
CN201880073836.0A 2017-11-21 2018-09-18 图像处理装置、图像处理方法、程序和固态成像装置 Active CN111357282B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017223423 2017-11-21
JP2017-223423 2017-11-21
PCT/JP2018/034389 WO2019102698A1 (ja) 2017-11-21 2018-09-18 画像処理装置と画像処理方法とプログラムおよび固体撮像装置

Publications (2)

Publication Number Publication Date
CN111357282A CN111357282A (zh) 2020-06-30
CN111357282B true CN111357282B (zh) 2023-04-18

Family

ID=66631530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073836.0A Active CN111357282B (zh) 2017-11-21 2018-09-18 图像处理装置、图像处理方法、程序和固态成像装置

Country Status (4)

Country Link
US (1) US11605661B2 (zh)
JP (1) JP7230824B2 (zh)
CN (1) CN111357282B (zh)
WO (1) WO2019102698A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405601B2 (en) * 2019-09-17 2022-08-02 Meta Platforms Technologies, Llc Polarization capture device, system, and method
US11758290B2 (en) * 2020-01-09 2023-09-12 Sony Group Corporation Image processing device, image processing method, and image pickup device
JPWO2022019025A1 (zh) * 2020-07-20 2022-01-27
WO2022196038A1 (ja) * 2021-03-19 2022-09-22 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
DE102022201523A1 (de) * 2021-09-10 2023-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ein Bildsensor, ein Verfahren zum Betreiben eines Bildsensors, ein Verfahren zum Herstellen eines Bildsensors und ein stationäres Gerät oder ein Fahrzeug oder eine Drohne mit einem Bildsensor
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4833525A (en) 1985-03-29 1989-05-23 Canon Kabushiki Kaisha High speed color balance adjusting device capable of compensating for a flickering light source
US5090807A (en) * 1990-01-10 1992-02-25 Environmental Research Institute Of Michigan Real time optical pre-detection processing of multispectral image data
US8054371B2 (en) 2007-02-19 2011-11-08 Taiwan Semiconductor Manufacturing Company, Ltd. Color filter for image sensor
WO2009072260A1 (ja) 2007-12-07 2009-06-11 Panasonic Corporation 画像処理装置および画像処理方法ならびに撮像装置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP5950196B2 (ja) 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
JP5783929B2 (ja) * 2012-02-20 2015-09-24 キヤノン株式会社 撮像装置
EP2957215B1 (en) * 2013-02-15 2020-05-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
JP6192428B2 (ja) * 2013-08-20 2017-09-06 オリンパス株式会社 撮像装置
JP6673327B2 (ja) * 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
EP3376759B1 (en) 2015-11-10 2021-04-14 Sony Corporation Image processing device and image processing method
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
JP6486288B2 (ja) * 2016-02-09 2019-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JPWO2019102698A1 (ja) 2020-12-03
JP7230824B2 (ja) 2023-03-01
US20200350353A1 (en) 2020-11-05
CN111357282A (zh) 2020-06-30
US11605661B2 (en) 2023-03-14
WO2019102698A1 (ja) 2019-05-31

Similar Documents

Publication Publication Date Title
CN111357282B (zh) 图像处理装置、图像处理方法、程序和固态成像装置
CN108353153B (zh) 图像处理装置和图像处理方法
EP3264754B1 (en) Image processing device, image processing method and image capturing element
JP6693530B2 (ja) 画像処理装置と画像処理方法
US20180302551A1 (en) Signal processing apparatus and imaging apparatus
WO2018074064A1 (ja) 画像処理装置と画像処理方法および撮像装置
US20210075990A1 (en) Solid-state imaging element, electronic device, and method for controlling solid-state imaging element
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2020230636A1 (ja) 画像認識装置および画像認識方法
TWI842952B (zh) 攝像裝置
JP7147784B2 (ja) 画像処理装置と画像処理方法およびプログラム
CN113875217A (zh) 图像识别装置和图像识别方法
JP2021158668A (ja) 撮像制御装置及び移動体
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
WO2017122395A1 (ja) 画像データ処理回路および撮像回路
US11818333B2 (en) Imaging device, imaging system, and failure detection method
WO2017169079A1 (ja) 画像処理装置、画像処理方法および撮像素子
US20230394847A1 (en) Image processing system, image processing method, and storage medium
WO2020166284A1 (ja) 撮像装置
WO2023286297A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020100399A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant