CN107251553B - 图像处理装置、图像处理方法和图像拾取元件 - Google Patents

图像处理装置、图像处理方法和图像拾取元件 Download PDF

Info

Publication number
CN107251553B
CN107251553B CN201580076551.9A CN201580076551A CN107251553B CN 107251553 B CN107251553 B CN 107251553B CN 201580076551 A CN201580076551 A CN 201580076551A CN 107251553 B CN107251553 B CN 107251553B
Authority
CN
China
Prior art keywords
polarization
image
unit
reflection component
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580076551.9A
Other languages
English (en)
Other versions
CN107251553A (zh
Inventor
近藤雄飞
平泽康孝
陆颖
中谷文香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107251553A publication Critical patent/CN107251553A/zh
Application granted granted Critical
Publication of CN107251553B publication Critical patent/CN107251553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

图像拾取单元20针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在相同偏振像素块中设置有预定颜色的像素。校正处理单元31对由图像拾取单元20生成的偏振图像执行诸如白平衡校正之类的校正处理。偏振图像处理单元32通过使用经校正处理的偏振图像来分离和提取反射分量。通过使用在分离和提取后所获得的反射分量的偏振图像，例如可以准确地生成法线信息。

Description

图像处理装置、图像处理方法和图像拾取元件
技术领域
本技术涉及图像处理装置、图像处理方法和图像拾取元件并且能够生成高准确度的法线信息。
背景技术
在过去，公开了使用成像单元和偏振器来生成偏振图像的方法。例如，专利文献1公开了一种方法，在该方法中将偏振器布置于成像单元的前方，以通过在旋转该偏振器的同时进行拍摄来生成具有多个偏振方向的偏振图像。同时，还公开了通过使用具有针对相应像素设置的不同偏振方向的偏振器进行一次成像来生成具有彼此不同的多个偏振方向的偏振图像的方法。
此外，根据具有多个偏振方向的偏振图像来生成与对象有关的法线信息。例如，在非专利文献1和非专利文献2中，通过将具有多个偏振方向的偏振图像应用于模型公式来生成法线信息。
引用列表
专利文献
专利文献1：国际公开第2008/099589号
非专利文献
非专利文献1：Lawrence B.Wolff和Terrance E.Boult:"Constraining ObjectFeatures Using a Polarization Reflectance Model(使用偏振反射模型限制对象特征)",IEEE Transaction on pattern analysis and machine intelligence,第13卷,第7号,1991年7月
非专利文献2：Gary A.Atkinson和Edwin R.Hancock:"Recovery of surfaceorientation from diffuse polarization(从漫偏振恢复表面方向)",IEEETransactions of Image Processing,第15卷,第6期,1653-1664页,2006年
发明内容
本发明要解决的问题
顺带提及，对象表面上的反射包括镜面反射和漫反射，其中，偏振方式在相应类型的反射之间有所不同。因此，需要通过考虑反射分量来处理偏振图像。
因此，本技术提供了用于分离或提取反射分量的图像处理装置、图像处理方法和图像拾取元件。
解决问题的方案
根据本技术的第一方面，提供了一种图像处理装置，该图像处理装置包括偏振图像处理单元，该偏振图像处理单元使用由图像拾取元件生成的偏振图像来分离或提取反射分量，该图像拾取元件具有以下配置：针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在相同偏振像素块中设置有各个预定颜色的像素。
在本技术中，偏振图像处理单元使用由图像拾取元件生成的偏振图像来分离反射分量或提取漫反射分量，该图像拾取元件具有以下配置：针对例如三个或更多个方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在相同偏振像素块中设置有各个预定颜色的像素。此外，法线信息生成单元被设置成根据分离或提取反射分量之后的偏振图像来生成法线信息。例如，在将反射分量分离成漫反射分量和镜面反射分量的情况下，法线信息生成单元根据指示漫反射分量的偏振图像和指示镜面反射分量的偏振图像中的每个偏振图像来生成法线信息，并且然后通过将具有由偏振角的差引起的较大亮度变化的反射分量或相对于由偏振角的差引起的预定亮度变化具有较小误差的反射分量视为主导反射分量来对每个偏振图像进行加权，由此来合成法线信息。此外，例如，在漫反射分量被提取的情况下，法线信息生成单元根据指示漫反射分量的偏振图像来生成法线信息。同时，校正处理单元被设置成针对每个颜色来调节偏振图像的增益，以使得根据增益调节之后的偏振图像来分离或提取反射分量。此外，非偏振图像生成单元被设置成根据偏振图像来生成非偏振图像。
根据本技术的第二方面，提供了一种图像处理方法，该图像处理方法包括：在偏振图像处理单元中使用由图像拾取元件生成的每个预定颜色的偏振图像来分离或提取反射分量，该图像拾取元件具有以下配置：在该配置中，针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在该相同偏振像素块中设置有各个颜色的像素。
根据本技术的第三方面，提供了一种图像拾取元件，该图像拾取元件包括：
偏振器，在该偏振器中，针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块；
滤色器，在该滤色器中，在偏振器的相同偏振像素块中设置有各个预定颜色的像素；以及
传感器单元，该传感器单元基于透过偏振器和滤色器的物光来生成图像信号。
在本技术中，滤色器例如以以下方式配置：在像素的行方向和列方向上重复地设置用作预定颜色阵列的像素块的颜色图案单元块，而偏振器以以下方向配置：在像素的行方向和列方向上重复地设置用作像素块的偏振图案单元块，在该像素块中针对多个相应偏振方向设置有相同偏振像素块。通过生成颜色图案单元块与偏振图案单元块之间的位置差，在相同偏振像素块中设置各个预定颜色的像素。
此外，偏振器的相同偏振像素块的尺寸可以等于颜色图案单元块的尺寸。同时，偏振器可以具有以下配置：例如，在像素的列方向或行方向上交替地设置有偏振方向彼此正交的相同偏振像素块，并且滤色器可以具有设置在相同偏振像素块中的各个预定颜色的像素。此外，例如，偏振器通过以下方式来配置：在像素的行方向(或列方向)上以预定的顺序重复地设置具有不同偏振方向的相同偏振像素块，并且在后一行(或后一列)中相对于前一行(或前一列)在行方向(或列方向)上生成块位置差，并且在行方向(或列方向)上以预定的顺序重复地设置具有与前一行(或前一列)的偏振方向不同的偏振方向的相同偏振像素块。滤色器可以具有被设置在相同偏振像素块中的各个预定颜色的像素。此外，偏振器可以具有以下配置：例如，在相同偏振像素块中设置非偏振像素，并且滤色器可以设置非偏振像素的颜色，以使得当非偏振像素被选择时的颜色阵列变为预定的颜色阵列。此外，滤色器可以具有以下配置：例如，在相同偏振像素块中设置有三原色的像素和白色像素。
本发明的效果
根据本技术，对由图像拾取元件生成的偏振图像执行分离或提取反射分量的处理，该图像拾取元件具有以下配置：针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在相同偏振像素块中设置有各个预定颜色的像素。因此，例如，可以通过考虑反射分量来生成高准确度的法线信息。注意，本说明书中描述的效果仅用作示例而不应被解释为限制性的。还可能存在其他效果。
附图说明
图1是示出成像系统的基本配置的图。
图2是例示成像单元的配置的图。
图3是用于说明偏振图像的生成动作的图。
图4是示出拾取的图像和反射分量的图。
图5是用于说明四个偏振方向上的像素的亮度值的拟合的图。
图6是用于说明偏振图像中的亮度变化的图。
图7是例示亮度与偏振角之间的关系的图。
图8是例示(在漫反射的情况下的)偏振度与天顶角之间的关系的图。
图9是例示(在镜面反射的情况下的)偏振度与天顶角之间的关系的图。
图10是用于说明非偏振图像生成单元的动作的图。
图11是示出成像系统的基本动作的流程图。
图12是示出针对偏振图像的校正处理的流程图。
图13是示出第一实施方式的配置的图。
图14是用于说明色差计算的图。
图15是用于说明使用HSV空间来去除镜面反射分量的处理的图。
图16是示出第一实施方式的动作的流程图。
图17是示出镜面反射去除处理的流程图。
图18是示出另一镜面反射去除处理的流程图。
图19示出第二实施方式的配置。
图20是示出第二实施方式的动作的流程图。
图21是例示成像单元的另一配置的图。
图22是例示成像单元的另一配置的图。
图23是例示成像单元的另一配置的图。
图24是例示成像单元的另一配置的图。
图25是用于说明在设置白色像素的情况下的配置和动作的图。
图26是例示在成像单元的另一配置中设置白色像素的情况的图。
图27是例示车辆控制系统的示意性配置的框图。
图28是示出成像单元的安装示例的图。
具体实施方式
在下文中，将描述用于执行本技术的模式。注意，将按以下顺序给出描述。
1.成像系统的基本配置
2.成像系统的第一实施方式
3.成像系统的第二实施方式
4.成像单元的其他配置
5.应用示例
<1.成像系统的基本配置>
图1示出了使用本技术的图像处理装置的成像系统的基本配置。成像系统10具有成像单元20和图像处理单元30。此外，图像处理单元30具有例如校正处理单元31、偏振图像处理单元32、法线信息生成单元35和非偏振图像生成单元39。
成像单元20使用具有高消光比的偏振光来生成具有多个偏振方向的偏振图像。使用诸如互补金属氧化物半导体(COMS)或电荷耦合器件(CCD)之类的图像拾取元件来配置成像单元20。成像单元20在通过光电转换生成与物光对应的图像信号的传感器单元的成像表面上设置有偏振器和滤色器。偏振器具有以下配置：针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，以使得可以生成具有高消光比的偏振图像。滤色器具有以下配置：在偏振器的相同偏振像素块中设置有各个预定颜色的像素。成像单元20基于透过偏振器和滤色器的物光向图像处理单元30输出由传感器单元生成的图像信号。
图2例示了成像单元的配置。图2的(A)例示了成像单元的偏振器的配置。偏振器21通过以下方式来配置：将具有相同偏振方向的2×2像素单元视为相同偏振像素块，并且在像素的行方向和列方向上重复地设置有4×4像素的偏振图案单元块，每一个偏振图案单元块均由偏振方向彼此不同的四个相同偏振像素块构成。注意，在稍后描述的图2和图21至图26的(A)中，将偏振方向图示为阴影线方向。此外，图2、图10、图14和图21例示了成像单元中的像素区域的一部分。
图2的(B)例示了成像单元的滤色器的配置。例如，滤色器22将红色像素R、绿色像素G和蓝色像素B中的每一个视为2×2的像素单元。此外，如图2的(B)所示，滤色器22具有由一个红色像素R、一个蓝色像素B和两个绿色像素G构成的颜色图案单元块，该颜色图案单元块被重复地设置在像素的行方向和列方向上以形成作为拜耳阵列的颜色阵列。
如图2的(c)所示，成像单元20以如下方式设置有偏振器和滤色器：颜色图案单元块相对于偏振图案单元块在水平方向和竖直方向二者上生成一个像素的位置差。当以这种方式设置偏振器和滤色器时，将一个红色像素R、一个蓝色像素B和两个绿色像素G包括在一个相同偏振像素块中。同时，相同颜色的2×2像素的像素块包括四个偏振方向上的像素。通过按上面所描述的那样来配置成像单元，与使用偏振方向以1×1像素为单位进行改变的偏振器的情况相比，可以生成具有高消光比的多个偏振方向的偏振图像。
图像处理单元30的校正处理单元31针对每个颜色对由成像单元20生成的偏振图像的增益进行调节，以使得偏振图像处理单元32可以在不受照明光的差异、图像拾取元件的变化等的影响的情况下执行处理。校正处理单元31执行例如对图像拾取元件的灵敏度变化校正、对透镜的阴影校正以及白平衡校正作为校正处理。
灵敏度变化和透镜的阴影是特定于个体的，并且根据像素位置和颜色的不同而不同。因此，校正处理单元31基于公式(1)使用提前通过测量等获得的校正值(增益)GM来执行传感器变化校正和阴影校正。
BBij＝(BAij-BK)×GM...(1)
应当注意，在公式(1)中，“BAij”是在像素位置(i，j)处的像素值，“BK”是黑电平值，并且“BBij”是校正像素值。此外，黑电平值在一些情况下在整个画面中使用相同的值，或者在其他情况下使用针对每个像素提前测量的不同值。
白平衡校正是进行调节使得照明的颜色变为白色的校正。校正处理单元31可以使用以与常规成像装置的自动白平衡校正机制相似的方式计算的校正值，或者可以使用通过由用户自身指定照明条件的机制计算的校正值。还可以根据通过成像单元20生成的偏振图像来计算校正值。
图3是用于说明偏振图像的生成动作的图。如图3所示，使用光源LT来照亮对象OB，并且成像单元20对对象OB进行成像。图4是示出拾取的图像和反射分量的图。图4的(A)示出了由成像单元生成的拾取图像，并且该拾取图像具有图4的(B)所示的漫反射分量和图4的(C)所示的镜面反射分量。注意，漫反射分量的水平和镜面反射分量的水平根据偏振方向而改变。镜面反射通常由照明引起，并且如在后面描述中使用的图8和图9所示，镜面反射与漫反射的偏振度相比容易以更高偏振度进行偏振。此外，如图5所示，在使用四个偏振方向上的像素的亮度值来执行对指示相对于偏振角的亮度变化的偏振模型公式(例如余弦函数)的拟合的情况下，拟合函数中的振幅分量对应于偏振分量。注意，图5中的黑圆指示四个偏振方向上的像素的亮度值。因此，校正处理单元31通过将该偏振分量视为镜面反射分量来针对每个颜色执行处理，并且可以通过对在所有颜色中偏振分量的亮度为高的像素位置简单地进行检测来检测照明的像素位置。相应地，计算校正值，以使得该检测的像素位置变为白色。
对于白平衡校正的校正值而言，参照例如绿色像素来计算针对红色像素的校正值(增益)GWred和针对蓝色像素的校正值(增益)GWblue，并且然后基于公式(2)和公式(3)来校正红色像素的像素值和蓝色像素的像素值。注意，在公式(2)中，“BDred”指示校正之后的红色像素的像素值，而“BCred”指示校正之前的红色像素的像素值。同时，在公式(3)中，“BDblue”指示校正之后的蓝色像素的像素值，而“BCblue”指示校正之前的蓝色像素的像素值。
BDred＝BCred×GWred...(2)
BDblue＝BCblue×GWblue...(3)
校正处理单元31以该方式对偏振图像执行白平衡校正并且向偏振图像处理单元32输出经校正的偏振图像。
偏振图像处理单元32根据经校正的偏振图像来分离或提取反射分量并且向法线信息生成单元35输出分离或提取的反射分量的偏振图像。
法线信息生成单元35根据分离或提取的反射分量的偏振图像来生成法线信息。法线信息生成单元35获得分离的反射分量的每一个或提取的反射分量的偏振模型公式。此外，法线信息生成单元35根据偏振模型公式来获得方位角和天顶角以设置作为法线信息。
图6是用于说明偏振图像中的亮度变化的图。如图6所示，使用光源LT来照亮对象OB，并且成像单元CM经由偏振片PL对对象OB进行成像。在这种情况下，已知的是，在由成像单元CM生成的偏振图像中，对象OB的亮度随着偏振片PL的旋转而改变。文中，将在旋转偏振片PL时的最高亮度设置为Imax，并且将最低亮度设置为Imin。此外，当假定二维坐标中的x轴和y轴为偏振片PL的平面方向时，将在旋转偏振片PL时在xy平面上相对于x轴的角设置为偏振角υpol。偏振片PL具有180度的周期，因此偏振片PL在旋转180度时返回至原偏振状态。
图7例示了亮度与偏振角之间的关系。图7的(A)示出了漫反射中的亮度与偏振角之间的关系，而图7的(B)示出了镜面反射中的亮度与偏振角之间的关系。
在漫反射的情况下，将观察到最大亮度Idmax时的偏振角υpol设置为方位角φd。当做出这样的限定时，可以用公式(4)来表示指示在旋转偏振片PL时观察到的亮度Idpol的变化、即由偏振角的差引起的预定亮度变化的偏振模型公式。
[数学公式1]
在公式(4)中，在将最大亮度Idmax、最小亮度Idmin和方位角φd用作变量的同时，偏振角υpol在生成偏振图像时是明显的。因此，由于变量的数量为3个，因此法线信息生成单元35使用表示具有三个或更多个偏振方向的漫反射分量的偏振图像的亮度来执行对公式(4)所示的函数的拟合，并且基于指示亮度与偏振角之间的关系的函数来确定获得最大亮度的方位角φd。
此外，通过极坐标系统来表示对象表面法线并且将法线信息设置为方位角φd和天顶角θd。注意，假定天顶角θd是从z轴朝向法线方向的角并且假定方位角φd是在y轴方向上相对于上述x轴的角。文中，即使在使用通过旋转偏振片PL而获得的最小亮度Idmin和最大亮度Idmax时，也可以通过计算公式(5)来计算偏振度ρd。
[数学公式2]
已知的是，根据菲涅耳(Fresnel)方程，偏振度与天顶角之间的关系具有例如图8所示的特性，并且可以根据图8所示的特性基于偏振度ρd来确定天顶角θd。注意，图8所示的特性是一个示例，并且特性取决于对象的折射率而改变。
同时，在镜面反射的情况下，将观察到最小亮度Ismin时的偏振角υpol设置为方位角φs。当做出这样的限定时，可以用公式(6)来表示指示在旋转偏振片PL时观察到的亮度Ispol、即由偏振角的差引起的预定亮度变化的偏振模型公式。
[数学公式3]
在公式(6)中，在将最大亮度Ismax、最小亮度Ismin和方位角φs用作变量的同时偏振角υpol在生成偏振图像时是明显的。因此，由于变量的数量为3个，因此法线信息生成单元35使用表示具有三个或更多个偏振方向的镜面反射分量的偏振图像的亮度来执行对公式(6)所示的函数的拟合，并且基于指示亮度与偏振角之间的关系的函数来确定获得最小亮度的方位角φs。
此外，通过极坐标系统来表示对象表面法线并且将法线信息设置为方位角φs和天顶角θs。注意，假定天顶角θs是从z轴朝向法线方向的角并且假定方位角φs是在y轴方向上相对于上述x轴的角。文中，即使在使用通过旋转偏振片PL而获得的最小亮度Ismin和最大亮度Ismax时，也可以通过计算公式(7)来计算偏振度ρs。
[数学公式4]
已知的是，偏振度与天顶角之间的关系具有例如图9所示的特性并且可以根据图9所示的特性基于偏振度ρs来确定一个或两个天顶角θd。注意，图9所示的特性是示例，并且该特性随着对象的折射率的不同而改变。此外，图9例示了确定两个天顶角、即天顶角θs1和天顶角θs2的情况。注意，在将在稍后描述的成像系统的第二实施方式中描述确定两个天顶角的情况下的处理。
因此，法线信息生成单元35基于具有三个或更多个偏振方向的每个反射分量的偏振图像，根据偏振方向和偏振图像的亮度来获得亮度与偏振角之间的关系，以确定方位角φd和方位角φs。此外，法线信息生成单元35使用根据亮度与偏振角之间的关系而获得的最大亮度和最小亮度来计算偏振度，然后基于指示偏振度与天顶角之间的关系的特性曲线来确定与计算的偏振度对应的天顶角θd和天顶角θs。以这种方式，法线信息生成单元35基于具有三个或更多个偏振方向的偏振图像针对每个像素位置来获得对象的法线信息(方位角和天顶角)，以生成法线信息。
此外，由于法线信息生成单元35根据具有三个或更多个偏振方向的偏振图像来生成法线信息，因此成像单元的偏振器具有以下配置：在偏振图案单元块内，包括具有彼此不同的至少三个偏振方向的相同偏振像素块。
在输出与法线信息对应的图像的情况下，成像系统10设置有非偏振图像生成单元39。非偏振图像生成单元39根据已被图像处理单元30的校正处理单元31执行校正处理的偏振图像，生成与未设置有偏振器的情况对应的非偏振图像。图10是用于说明非偏振图像生成单元的动作的图。在成像单元20例如按图10的(A)所示的那样(类似于图2)被配置的情况下，非偏振图像生成单元39具有包括在具有相同颜色的2×2像素尺寸的块内的彼此不同的四个偏振方向上的偏振像素。因此，如图10的(B)所示，非偏振图像生成单元39针对具有相同颜色的2×2像素尺寸的每个块来计算像素值的平均值，以设置作为非偏振图像的像素值。通过执行这样的处理，可以生成水平方向上的像素数量和竖直方向上的像素数量分别大致为(1/2)倍并且颜色阵列为拜耳阵列的非偏振图像。
图11是示出了成像系统的基本动作的流程图。在步骤ST1中，成像系统10生成偏振图像。成像系统10的成像单元20使用具有高消光比的偏振光来生成具有多个偏振方向的偏振图像，然后进行至步骤ST2。
在步骤ST2中，成像系统10对偏振图像执行校正处理。成像系统10的校正处理单元31针对每个颜色来调节偏振图像的增益，以使得可以在不受照明光的差异、图像拾取元件的特性变化等的影响的情况下处理偏振图像。
图12是示出了针对偏振图像的校正处理的流程图。在步骤ST11中，校正处理单元31获取偏振图像。校正处理单元31获取由成像单元20生成的偏振图像，然后进行至步骤ST12。
在步骤ST12中，校正处理单元31执行传感器变化校正和阴影校正。校正处理单元31使用以测量等方式提前获得的校正值(增益)来执行传感器变化校正和阴影校正，然后进行至步骤ST13。
在步骤ST13中，校正处理单元31计算用于白平衡校正的校正值。校正处理单元31基于由常规成像装置执行的自动白平衡校正的机制、用于由用户自身指定照明条件的机制或镜面反射分量来计算用于白平衡校正的校正值(增益)，然后进行至步骤ST14。
在步骤ST14中，校正处理单元31执行白平衡校正。校正处理单元31使用在步骤ST13中计算的校正值来对偏振图像执行白平衡校正，然后进行至图11的步骤ST3。
在步骤ST3中，成像系统10对偏振图像执行反射分量处理。成像系统10的偏振图像处理单元32根据在步骤ST2中已被执行校正处理的偏振图像来执行分离或提取反射分量的处理，然后进行至步骤ST4。
在步骤ST4中，成像系统10生成法线信息。成像系统10的法线信息生成单元35根据分离的或提取的反射分量的偏振图像来生成法线信息。
在步骤ST5中，成像系统10生成输出图像。成像系统10的非偏振图像生成单元39根据在步骤ST2中已被执行校正处理的偏振图像来生成与未设置有偏振器的情况对应的非偏振图像。
如上所述，由于成像单元可以同时生成具有多个偏振方向的偏振图像，因此可以避免偏振图像的时间分辨率的劣化。因此，可以容易地获取例如正在移动的对象的偏振特性。此外，由于成像单元通过以下方式来被配置：将具有相同偏振方向的多个像素设置作为相同偏振像素块，并且在相同偏振像素块中包括各个颜色的像素，因此可以以具有高消光比的偏振光来生成偏振图像。此外，由于通过使用以具有高消光比的偏振光生成的偏振图像且考虑反射分量来生成法线信息，因此可以生成高准确度的法线信息。
<2.成像系统的第一实施方式>
接下来，将描述成像系统的第一实施方式。第一实施方式将描述根据镜面反射已被去除的偏振图像来生成法线信息的情况，以生成在室外条件等条件下会造成问题的镜面反射的影响减少的法线信息。
图13示出了第一实施方式的配置。成像系统10具有成像单元20和图像处理单元30。此外，图像处理单元30具有例如校正处理单元31、偏振图像处理单元32、法线信息生成单元35和非偏振图像生成单元39，其中，使用镜面反射去除单元33作为偏振图像处理单元32。
如上所述，成像单元20使用具有高消光比的偏振光来生成具有多个偏振方向的偏振图像。
成像单元20在传感器单元的成像表面上设置有偏振器和滤色器。偏振器具有以下配置：针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，以使得可以生成具有高消光比的偏振图像。滤色器具有以下配置：在偏振器的相同偏振像素块中设置有各个预定颜色的像素。成像单元20向图像处理单元30输出生成的偏振图像。
图像处理单元30的校正处理单元31针对每个颜色对由成像单元20生成的偏振图像的增益进行调节，以使得镜面反射去除单元33可以在不受照明光的差异、图像拾取元件的特性变化等的影响的情况下执行处理。校正处理单元31执行例如对图像拾取元件的灵敏度变化校正、对透镜的阴影校正以及白平衡校正作为校正处理，然后向镜面反射去除单元33输出经校正的偏振图像。
镜面反射去除单元33从经校正的偏振图像中去除镜面反射分量，以便减少镜面反射的影响。镜面反射去除单元33向法线信息生成单元35输出镜面反射分量已被去除的偏振图像、即通过提取漫反射分量而获得的偏振图像。
镜面反射由于在成像场景中处于主导的光源而发生。此外，由于在白平衡的校正时根据照明的颜色来调整校正值，因此认为生成镜面反射的照明的颜色是消色差的。在这种情况下，表示照明的颜色的RGB值具有相同的值，因此可以通过获得色差来去除镜面反射分量。相应地，镜面反射去除单元33基于公式(8)针对每个相同偏振像素块、即如图14所示的黑圆的每个位置，根据已被校正处理单元31执行白平衡校正等的偏振图像来获得色差I'υpol。镜面反射去除单元33针对每个相同偏振像素块而使用该块内的红色像素的像素值Rυpol、绿色像素的像素值Gυpol和蓝色像素的像素值Bυpol来执行这样的处理，从而生成仅具有漫反射分量的偏振图像，即镜面反射分量已被去除的图像。注意，在颜色阵列被配置为如图14所示的拜耳阵列的情况下，例如，将两个绿色像素的像素值Gυ1和像素值Gυ2的平均值作为绿色像素的像素值Gυpol。
[数学公式5]
此外，例如，在光源是白光的假设下，镜面反射去除单元33生成光源的镜面反射分量被去除的偏振图像。对于去除镜面反射分量而言，可以使用例如在以下文献中公开的技术：“D.Miyazaki,R.Tan,K.Hara,和K.Ikeuchi.的Polarization-based inverserendering from a single view(从单个视点的基于偏振的逆渲染).Proceedings ofInternational Conference on Computer Vision,982-987页,2003年”。也就是说，基于公式(9)将颜色空间从RGB空间转换成M空间，然后基于公式(10)生成镜面反射分量被去除的图像。通过基于公式(11)将镜面反射分量被去除的图像从M空间返回至RGB空间，可以生成镜面反射分量已被去除的偏振图像。
[数学公式6]
此外，镜面反射去除单元33可以使用例如在以下文献中描述的技术来去除镜面反射分量：“Image Processing Society Research Report(图像处理社会研究报告)2006-CVIM-155,2006年9月9日,Realtime Removal of Specular Reflection Component Basedon Dichromatic Reflection Model(基于双反射模型的镜面反射分量的实时去除),Tomoaki Higo,Daisuke Miyazaki,Katsushi Ikeuchi”。该技术利用漫反射分量的饱和度和亮度(强度)在被投射到HSV空间上时在一个色相空间中具有比例关系的事实。图15是用于说明使用HSV空间去除镜面反射分量的处理的图。如图15的(B)所示，镜面反射去除单元33针对每个色相使用如图15的(A)所示的通过转换RGB空间而获得的HSV空间来绘制饱和度与亮度之间的关系。此外，如图15的(C)所示，镜面反射去除单元33针对近似直线LA去除亮度比提前设置的预定量高的分量作为镜面反射分量。
法线信息生成单元35根据镜面反射分量已被去除的偏振图像、即仅指示漫反射分量的偏振图像来生成法线信息。由于偏振图像仅指示漫反射分量，因此法线信息生成单元35使用该偏振图像中的四个偏振方向上的像素的亮度来执行对公式(4)所示的函数的拟合，并且基于指示亮度与偏振角之间的关系的函数来确定获得最大亮度的方位角φd。此外，通过计算公式(5)来计算偏振度ρd，并基于偏振度ρd来确定天顶角θ。法线信息生成单元35将指示确定的方位角φd和天顶角θd的信息设置作为法线信息。
图16是示出了第一实施方式的动作的流程图。在步骤ST21中，成像系统10生成偏振图像。如在图11的步骤ST1中那样，成像系统10的成像单元20使用具有高消光比的偏振光来生成具有多个偏振方向的偏振图像，然后进行至步骤ST22。
在步骤ST22中，成像系统10对偏振图像执行校正处理。如在图11所示的步骤ST2中那样，成像系统10的校正处理单元31针对每个颜色来调节偏振图像的增益，以使得可以在不受照明光的差异、图像拾取元件的特性变化等的影响的情况下处理偏振图像，然后进行至步骤ST23。
在步骤ST23中，成像系统10对偏振图像执行镜面反射去除处理。成像系统10的镜面反射去除单元33使用上述技术，根据在步骤ST22中已被执行校正处理的偏振图像来执行去除镜面反射分量的处理，以生成漫反射分量的偏振图像，然后进行至步骤ST24。
图17是示出了镜面反射去除处理的流程图。注意，图17示出针对每个偏振方向来计算色差的情况。在步骤ST31中，镜面反射去除单元33获取偏振图像。镜面反射去除单元33获取已由校正处理单元31执行校正处理的偏振图像，然后进行至步骤ST32。
在步骤ST32中，镜面反射去除单元33计算色差。镜面反射去除单元33使用具有相同偏振方向的相同偏振像素块中的红色像素的像素值、绿色像素的像素值和蓝色像素的像素值来计算色差，然后进行至步骤ST33。
在步骤ST33中，镜面反射去除单元33执行色差输出处理。如上所述，由于色差具有不受镜面反射分量的影响的值，因此镜面反射去除单元33向法线信息生成单元35输出指示在步骤ST32中计算的色差的偏振图像。
图18是示出另一镜面反射去除处理的流程图。注意，图18示出生成镜面反射分量已被去除的偏振图像的情况。在步骤ST41中，镜面反射去除单元33获取偏振图像。镜面反射去除单元33获取已由校正处理单元31执行校正处理的偏振图像，然后进行至步骤ST42。
在步骤ST42中，镜面反射去除单元33生成镜面反射去除图像。镜面反射去除单元33使用在上述文献中公开的技术来生成镜面反射分量已被去除的偏振图像，然后进行至步骤ST43。
在步骤ST43中，镜面反射去除单元33执行偏振图像输出处理。镜面反射去除单元33向法线信息生成单元35输出在步骤ST42中生成的偏振图像、即漫反射分量的偏振图像。
在图16的步骤ST24中，成像系统10生成法线信息。成像系统10的法线信息生成单元35根据指示漫反射分量的偏振图像来生成法线信息。
在步骤ST25中，成像系统10生成输出图像。成像系统10的非偏振图像生成单元39根据在步骤ST22中已被执行校正处理的偏振图像来生成与未设置有偏振器的情况对应的非偏振图像。
如上所述，在第一实施方式中，可以从偏振图像去除镜面反射分量。此外，根据指示漫反射分量的偏振图像来生成法线信息，该指示漫反射分量的偏振图像是通过从偏振图像中去除镜面反射分量而获得的。因此，尽管镜面反射和漫反射在对象表面发生，但可以去除镜面反射的影响并且生成具有高准确度的法线信息。此外，如上述基本配置的情况那样，可以防止偏振图像的时间分辨率的劣化。此外，可以使用具有高消光比的偏振光来生成偏振图像并且可以根据该偏振图像来生成法线信息。
<3.成像系统的第二实施方式>
接下来，将描述成像系统的第二实施方式。第二实施方式将描述使镜面反射分量和漫反射分量分离并且对针对分离之后的每个反射分量生成的法线信息进行合成的情况。
图19示出了第二实施方式的配置。成像系统10具有成像单元20和图像处理单元30。图像处理单元30具有例如校正处理单元31、偏振图像处理单元32、法线信息生成单元35和非偏振图像生成单元39。此外，图像处理单元30使用反射分量分离单元34作为偏振图像处理单元32，并且使用镜面反射法线信息生成单元36、漫反射法线信息生成单元37以及法线信息合成单元38作为法线信息生成单元35。
如上所述，成像单元20使用具有高消光比的偏振光来生成具有多个偏振方向的偏振图像。
成像单元20在传感器单元的成像表面上设置有偏振器和滤色器。偏振器具有以下配置：针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，以使得能够生成具有高消光比的偏振图像。滤色器具有以下配置：在偏振器的相同偏振像素块中设置有各个预定颜色的像素。成像单元20向图像处理单元30输出生成的偏振图像。
图像处理单元30的校正处理单元31针对每个颜色对由成像单元20生成的偏振图像的增益进行调节，以使得镜面反射去除单元33可以在不受照明光的差异、图像拾取元件的特性变化等的影响的情况下执行处理。校正处理单元31执行例如对图像拾取元件的灵敏度变化校正、对透镜的阴影校正以及白平衡校正作为校正处理，然后向反射分量分离单元34输出经校正的偏振图像。
反射分量分离单元34使镜面反射分量和漫反射分量分离。反射分量分离单元34可以使用上述技术来分离镜面反射分量。因此，反射分量分离单元34使用与镜面反射去除单元33的技术类似的技术将偏振图像分离成漫反射分量的偏振图像和镜面反射分量的偏振图像。反射分量分离单元34向镜面反射法线信息生成单元36输出镜面反射分量的偏振图像并且向漫反射法线信息生成单元37输出漫反射分量的偏振图像。
镜面反射法线信息生成单元36使用具有三个或更多个偏振方向的镜面反射分量的偏振图像的亮度来执行对上述公式(6)所示的偏振模型公式的拟合，并且基于指示亮度与偏振角之间的关系的拟合函数来确定获得最小亮度的方位角φs。镜面反射法线信息生成单元36还通过使用最小亮度Ismin和最大亮度Ismax计算上述公式(7)来计算偏振度ρs，并且根据图9所示的特性基于偏振度ρs来确定一个或两个天顶角θs。镜面反射法线信息生成单元36向法线信息合成单元38输出指示确定的方位角φs和天顶角θs的信息作为法线信息。注意，如将在之后描述的，在由法线信息合成单元38进行的合成处理期间使用由偏振角的差引起的亮度变化来执行加权的情况下，镜面反射法线信息生成单元36向法线信息合成单元38输出最小亮度Ismin和最大亮度Ismax。同时，在由法线信息合成单元38进行的合成处理期间使用关于由偏振角的差引起的预定亮度变化的误差来执行加权的情况下，镜面反射法线信息生成单元36向法线信息合成单元38输出拟合误差Es。拟合误差Es是在对指示预定亮度变化的公式(6)的偏振模型公式执行拟合的情况下的函数值与偏振图像的亮度之间的差，并且例如使用针对各个偏振方向的函数值与亮度之间的误差的累计值或平均值。
漫反射法线信息生成单元37使用具有三个或更多个偏振方向的漫反射分量的偏振图像的亮度来执行对上述公式(4)所示的偏振模型公式的拟合，并且基于指示亮度与偏振角之间的关系的拟合函数来确定获得最大亮度的方位角φd。漫反射法线信息生成单元37还通过使用最小亮度Idmin和最大亮度Idmax计算上述公式(5)来计算偏振度ρd，并且根据图8所示的特性基于偏振度ρd来确定天顶角θd。漫反射法线信息生成单元37向法线信息合成单元38输出指示确定的方位角φd和天顶角θd的信息作为法线信息。注意，如将在之后描述的那样，在由法线信息合成单元38进行的合成处理期间使用由偏振角的差引起的亮度变化来执行加权的情况下，漫反射法线信息生成单元37向法线信息合成单元38输出最小亮度Idmin和最大亮度Idmax。同时，在由法线信息合成单元38进行的合成处理期间使用关于由偏振角的差引起的预定亮度变化的误差来执行加权的情况下，漫反射法线信息生成单元37向法线信息合成单元38输出拟合误差Ed。拟合误差Ed是在对指示预定亮度变化的公式(4)的函数执行拟合的情况下的函数值与偏振图像的亮度之间的差，并且例如使用针对各个偏振方向的函数值与亮度之间的误差的累计值或平均值。
法线信息合成单元38对由镜面反射法线信息生成单元36生成的法线信息和由漫反射法线信息生成单元37生成的法线信息执行合成处理。例如，法线信息合成单元38对获取的法线信息求平均作为对法线信息的合成处理。具体地，基于公式(12)来执行合成处理以生成方位角φds。此外，由于有时由镜面反射法线信息生成单元36来确定天顶角θs1和天顶角θs2，因此基于公式(13)或公式(14)来执行合成处理以确定天顶角θds。
[数学公式7]
在|θd-θs1|≤|θd-θs2|的情况下,
在|θd-θs1|＞|θd-θs2|的情况下,
此外，当对由镜面反射法线信息生成单元36生成的法线信息和由漫反射法线信息生成单元37生成的法线信息执行合成处理时，法线信息合成单元38可以根据漫反射和镜面反射中处于主导的反射来执行加权。例如，可以将由偏振角的差引起的亮度变化用于加权，或者可以将关于由偏振角的差引起的预定亮度变化的误差用于加权。
接下来，将描述使用由偏振角的差引起的亮度变化来执行加权的情况。法线信息合成单元38将具有由偏振角的差引起的较大亮度变化的反射分量设置作为主导反射分量。即，法线信息合成单元38通过针对每个反射分量计算亮度的振幅并选择具有较大振幅的一个反射分量来合成法线信息。此外，由于有时针对镜面反射分量确定两个天顶角，因此选择更接近针对漫反射分量获得的天顶角的那一个天顶角。公式(15)指示用于计算漫反射分量的振幅Ad的公式，而公式(16)指示用于计算镜面反射分量的振幅As的公式。
Ad＝Idmax-Idmin...(15)
As＝Ismax-Ismin...(16)
如公式(17)所示，法线信息合成单元38通过使用漫反射分量的振幅和镜面反射分量的振幅进行加权来执行合成处理，以生成方位角φds。同时，如公式(18)和公式(19)所示，法线信息合成单元38通过使用漫反射分量的振幅和镜面反射分量的振幅进行加权来执行合成处理以生成天顶角θds。
[数学公式8]
在|θd-θs1|≤|θd-θs2|的情况下,
在|θd-θs1|＞|θd-θs2|的情况下,
接下来，将描述使用关于由偏振角的差引起的预定亮度变化的误差来执行加权的情况。法线信息合成单元38通过选择具有作为关于预定亮度变化的误差的较小拟合误差的反射分量来合成法线信息。此外，由于有时针对镜面反射分量确定两个天顶角，因此选择更靠近针对漫反射分量获得的天顶角的那一个天顶角。如公式(20)所示，法线信息合成单元38通过使用漫反射分量的拟合误差Ed和镜面反射分量的拟合误差Es进行加权来执行合成处理以生成方位角φds。同时，如公式(21)和公式(22)所示，法线信息合成单元38通过使用漫反射分量的拟合误差Ed和镜面反射分量的拟合误差Es进行加权来执行合成处理以生成天顶角θds。
[数学公式9]
在|θd-θs1|≤|θd-θs2|的情况下,
在|θd-θs1|＞|θd-θs2|的情况下,
此外，法线信息合成单元38可以选择根据漫反射分量的偏振图像生成的法线信息和根据镜面反射分量的偏振图像生成的法线信息中的一个作为对法线信息的合成。文中，法线信息合成单元38选择漫反射和镜面反射二者中的处于主导的反射的法线信息。例如，法线信息合成单元38认为具有由偏振角的差引起的较大亮度变化的反射是主导的，并且选择具有漫反射分量的振幅Ad或镜面反射分量的振幅As中的较大幅度的法线信息。替选地，法线信息合成单元38认为具有关于由偏振角的差引起的预定亮度变化的较小误差的反射是主导的，并且选择具有漫反射分量的拟合误差Ed或镜面反射分量的拟合误差Es中的较小误差的法线信息。替选地，法线信息合成单元38可以确定相对于周围的法线信息的误差并且选择具有较小误差的法线信息。替选地，法线信息合成单元38可以通过组合这些方法来选择法线信息，或者也可以通过组合另一方法来选择法线信息。此外，在镜面反射分量的法线信息被选择并且如上所述确定了天顶角θs1和天顶角θs2的情况下，法线信息合成单元38从天顶角θs1和天顶角θs2中选择与由漫反射分量的法线信息指示的天顶角θd具有较小角度差的天顶角。
图20是示出第二实施方式的动作的流程图。在步骤ST51中，成像系统10生成偏振图像。如在图11的步骤ST1中那样，成像系统10的成像单元20使用具有高消光比的偏振光来生成具有多个偏振方向的偏振图像，然后进行至步骤ST52。
在步骤ST52中，成像系统10对偏振图像执行校正处理。如在图11所示的步骤ST2中那样，成像系统10的校正处理单元31针对每个颜色来调节偏振图像的增益，以使得可以在不受照明光的差异、图像拾取元件的特性变化等的影响的情况下处理偏振图像，然后进行至步骤ST53。
在步骤ST53中，成像系统10对偏振图像执行反射分量分离处理。成像系统10的反射分量分离单元34使用上述技术从在步骤ST52中已被执行校正处理的偏振图像分离镜面反射分量和漫反射分量，然后进行至步骤ST54和步骤ST55。
在步骤ST54中，成像系统10基于镜面反射分量来生成法线信息。成像系统10的镜面反射法线信息生成单元36根据镜面反射分量的偏振图像来生成法线信息，然后进行至步骤ST56。
在步骤ST55中，成像系统10基于漫反射分量来生成法线信息。成像系统10的漫反射法线信息生成单元37根据漫反射分量的偏振图像来生成法线信息，然后进行至步骤ST56。
在步骤ST56中，成像系统10执行法线信息合成处理。成像系统10的法线信息合成单元38对在步骤ST54中获取的法线信息和在步骤ST55中获取的法线信息进行合成。
在步骤ST57中，成像系统10生成非偏振图像。成像系统10的非偏振图像生成单元39根据在步骤ST52中已被执行校正处理的偏振图像生成与未设置有偏振器的情况对应的非偏振图像。
如上所述，在第二实施方式中，可以从偏振图像分离镜面反射分量和漫反射分量。此外，针对每个反射分量生成法线信息。此外，合成针对每个反射分量生成的法线信息。此外，在合成法线信息期间，根据在对象表面的反射中镜面反射分量和漫反射分量中的处于主导的反射分量来合成法线信息。因此，可以通过考虑镜面反射生成具有高准确度的法线信息。此外，如在上述基本配置的情况下，可以防止偏振图像的时间分辨率的劣化。此外，可以使用具有高消光比的偏振光来生成偏振图像并且可以根据该偏振图像来生成法线信息。
<4.成像单元的其他配置>
顺带提及，成像单元的配置不限于图2所示的配置。图21例示了成像单元的其他配置，其中，滤色器具有颜色图案单元块，该颜色图案单元块是在像素的行方向和列方向上重复设置的预定颜色阵列的单元。此外，偏振器将相同偏振像素块的尺寸设置成等于颜色图案单元块的尺寸。
在图21中，如图21的(A)所示，成像单元的偏振器21将具有相同偏振方向的2×2像素单元设置为相同偏振像素块。此外，偏振器21具有以下配置：在像素的行方向和列方向上重复地设置有由偏振方向彼此不同的四个相同偏振像素块构成的4×4像素的偏振图案单元块。
同时，如图21的(B)所示，滤色器22将由一个红色像素R、一个蓝色像素B和两个绿色像素G构成的2×2像素块设置作为颜色图案单元块。此外，滤色器22被配置成在像素的行方向和列方向上重复地设置有该颜色图案单元块的拜耳阵列。
此外，如图21的(C)所示，偏振器和滤色器被配置成使得相同偏振像素块的位置与颜色图案单元块的位置重合。注意，在稍后描述的图21的(C)、图21的(D)、图22的(C)、图22的(D)、图23的(C)、图23(D)以及图24的(C)中，以放大的方式示出像素，以使得容易识别像素的配置。
在以该方式配置成像单元的情况下，由于如图2所示的情况那样，相同偏振像素块以2×2像素为单位，因此可以如图2所示的成像单元那样使用具有高消光比的偏振光来生成偏振图像。
此外，在使用具有如图21的(D)所示的配置的成像单元的情况下，非偏振图像生成单元针对每个预定颜色来计算偏振方向彼此不同的最接近的四个像素的平均像素值，以设置作为针对每个颜色的非偏振图像的像素值。注意，图21的(D)例示了红色像素的情况。在该情况下，与图10的(B)所示的情况不同，关于非偏振图像的像素数量，在水平方向和竖直方向上的像素数量不大致为(1/2)倍。此外，由于针对每个颜色按顺序地对偏振方向彼此不同的最接近的四个像素的平均像素值进行计算，以设置作为非偏振图像的像素值，因此可以容易地生成颜色阵列是拜耳阵列的非偏振图像。
在图22中，如图22的(A)所示，成像单元的偏振器21将具有相同偏振方向的2×2像素单元设置作为相同偏振像素块。此外，在偏振器21中，在像素的行方向和列方向上重复地设置由偏振方向彼此不同的四个相同偏振像素块构成的4×4像素的偏振图案单元块。此外，偏振器21被配置成使得例如在水平方向上相邻的相同偏振像素块的偏振方向具有90度的差。
同时，如图22的(B)所示，滤色器22将由一个红色像素R、一个蓝色像素B和两个绿色像素G构成的2×2像素块设置作为颜色图案单元块。此外，滤色器22被配置成在像素的行方向和列方向上重复地设置有颜色图案单元块的拜耳阵列。
此外，如图22的(C)所示，偏振器和滤色器被配置成使得相同偏振像素块的位置与颜色图案单元块的位置重合。
在以该方式配置成像单元的情况下，如图22的(D)所示，非偏振图像生成单元针对每个颜色对在偏振方向上具有90度的差以及在水平方向上最靠近彼此的两个像素的平均值进行计算，以设置作为非偏振图像的像素值。因此，与图10的(B)所示的情况不同，非偏振图像的像素数量在水平方向和竖直方向不大致为(1/2)倍。此外，由于将针对每个颜色的两个像素值的平均值用作非偏振像素值，因此可以容易地生成颜色阵列为拜耳阵列的非偏振图像。
注意，尽管图22例示了将偏振方向相差90度的相同偏振像素块设置成在水平方向上彼此相邻的情况，但可以采用用于将相同偏振像素块设置成在竖直方向上彼此相邻的配置。在该情况下，非偏振图像生成单元39针对每个颜色将在偏振方向上具有90度的差并且在竖直方向上彼此最靠近的两个像素值的平均值设置作为非偏振图像的像素值。
在图23中，如图23的(A)所示，在成像单元的偏振器21中，将一个非偏振像素设置在以2×2像素为单位的相同偏振像素块中。此外，在偏振器21中，在像素的行方向和列方向上重复地设置由偏振方向彼此不同的四个相同偏振像素块构成的4×4像素的偏振图案单元块。
同时，如图23的(B)所示，在滤色器22中，将相同偏振像素块内的三个偏振像素设置为红色像素R、绿色像素G和蓝色像素B。此外，针对相同偏振像素块内的一个非偏振像素，将像素的颜色设置成使得从每个相同偏振像素块中选择非偏振像素时的颜色阵列成为期望的颜色阵列，例如图23的(C)所示的拜耳阵列。
如图23的(D)所示，在以该方式配置成像单元的情况下，非偏振图像生成单元从每个相同偏振像素块中选择非偏振像素，从而能够容易地生成水平方向和竖直方向上的尺寸大致为(1/2)倍并且颜色阵列为拜耳阵列的非偏振图像。此外，由于未使用偏振像素，因此可以生成不受偏振光影响的非偏振图像。
在图24中，在成像单元的偏振器21中，以预定的顺序在像素的行方向上重复地设置具有不同偏振方向的相同偏振像素块。此外，在后一行中，在行方向上生成块位置相对于前一行的差，并且以预定的顺序在行方向上重复地设置具有与前一行的偏振方向不同的偏振方向的相同偏振像素块。例如，如图24的(A)所示，偏振器21将具有相同偏振方向的2×2像素单元设置作为相同偏振像素块。此外，偏振器21被配置成使得在水平方向上相邻的相同偏振像素块的偏振方向具有90度的差。此外，偏振器21被配置成使得关于被布置在水平方向上的相同偏振像素块，后一行中的相同偏振像素块组、即在竖直方向的下侧上相邻的相同偏振像素块具有与前一行中的相同偏振像素块的偏振方向不同的偏振方向，并且相对于在水平方向上相邻的相同偏振像素块在偏振方向上具有90度的差。此外，偏振器21被配置成使得后一行中的相同偏振像素块组相对于前一行中的相同偏振像素块组在水平方向上生成1像素的块位置差。
同时，如图24的(B)所示，滤色器22将由一个红色像素R、一个蓝色像素B和两个绿色像素G构成的2×2像素块设置作为颜色图案单元块。此外，滤色器22被配置成在像素的行方向和列方向上重复地设置颜色图案单元块的拜耳阵列。
此外，如图24的(C)所示，偏振器和滤色器被配置成使得相同偏振像素块的位置与颜色图案单元块的位置重合。
在以该方式配置成像单元的情况下，如图22的(D)所示的情况那样，非偏振图像生成单元针对每个颜色对在偏振方向上具有90度的差并且在水平方向上彼此最靠近的两个像素的平均值进行计算，以设置作为非偏振图像的像素值。因此，与图10的(B)所示的情况不同，关于非偏振图像的像素数量，在水平方向和竖直方向上的像素数量不大致为(1/2)倍。而且，由于将针对每个颜色的两个像素值的平均值用作非偏振像素值，因此可以容易地生成颜色阵列为拜耳阵列的非偏振图像。
注意，尽管图24例示了将在偏振方向上具有90度的差的相同偏振像素块并排地设置在行方向(水平方向)上的情况，但可以将相同偏振像素块并排地设置在列方向(竖直方向)上，以使得在随后列中的相同偏振像素块组被放置于在竖直方向上移动1像素的位置处。在该情况下，非偏振图像生成单元针对每个颜色对在偏振方向上具有90度的差并且在竖直方向上彼此最靠近的两个像素值的平均值进行计算，以设置作为非偏振图像的像素值。
此外，由于在后一行(列)中的相同偏振像素块的块位置在水平方向(竖直方向)上移动1像素，因此与图22的配置相比能够提高法线信息的空间分辨率。
此外，图2和图21至图24例示了相同偏振像素块是由红色像素、绿色像素和蓝色像素构成的情况，但是也可以采用在相同偏振像素块中设置有白色像素的配置。图25是用于说明在设置有白色像素的情况下的配置和动作的图。图25的(A)例示了在图2所示的成像单元20中设置白色像素(W)的情况。在成像单元20中，因为设置有偏振器所以灵敏度可能会降低。因此，在等于或低于提前设置的亮度水平的黑暗图像部分中，使用如图25的(B)所示的白色像素来执行椭圆偏振技术(ellipsometry)。同时，如图25的(C)所示，在比设置的亮度程度更亮的图像部分中，使用红色像素、绿色像素和蓝色像素来执行椭圆偏振技术，以生成法线信息。此外，由于镜面反射分量在黑暗图像部分中较小，因此将法线信息生成为仅有漫反射分量的图像。以这种方式，与未设置有白像素的情况相比，可以扩大生成法线信息的动态范围。
此外，在镜面反射分量去除处理期间计算色差的情况下，如果假定W＝R+G+B，则可以将公式(8)替换成公式(23)。此外，由于白色像素的S/N比好，因此在色差计算期间白色像素几乎不受噪声影响。
[数学公式10]
图26例示了在成像单元的另一配置中设置有白色像素的情况。图26的(A)示出了在具有图21所示的配置的成像单元中设置有白色像素的情况。图26的(B)示出了在具有图22所示的配置的成像单元中设置有白色像素的情况。图26的(C)示出了在具有图24所示的配置的成像单元中设置有白色像素的情况。
即使采用成像单元的这种其他配置，由于可以同时生成具有多个偏振方向的偏振图像，因此可以防止偏振图像的时间分辨率的劣化。此外，由于成像单元通过以下方式来配置：将具有相同偏振方向的多个像素设置作为相同偏振像素块，并且将各个颜色的像素包括在相同偏振像素块中，因此可以使用具有高消光比的偏振光来生成偏振图像。此外，通过使用利用具有高消光比的偏振光生成的偏振图像，可以生成具有高准确度的法线信息。注意，成像单元的颜色阵列不限于拜耳阵列，并且可以使用其他颜色阵列。
此外，在上述实施方式中，将相同偏振像素块的尺寸设置为2×2像素。然而，如果像素尺寸由于成像单元提高至高分辨率而降低，则存在即使用2×2像素的尺寸也不能获得足够的消光比的风险。在这种情况下，例如，如果将相同偏振像素块扩大到4×4像素，则可以获取具有足够消光比的偏振图像。还是在这种情况下，例如可以通过执行以下处理容易地生成非偏振图像：对具有彼此正交的偏振方向的相同颜色的两个接近像素的平均值进行计算、对具有彼此正交的偏振方向的相同颜色的四个接近像素的平均值进行计算、或根据针对平均值已被计算的像素位置之间的像素计算的平均值来计算像素值。
注意，在上述流程图中指示的处理不限于以步骤顺序执行处理的顺序处理，而是还可以通过流水线处理或并行处理来执行。此外，滤色器不限于以上描述的原色系统，而是还可以使用互补色系统的滤色器。
<5.应用示例>
接下来，将描述图像处理装置(图像处理方法)的应用示例。图27是例示使用本技术的图像处理装置的车辆控制系统的示意性配置的框图。车辆控制系统90包括经由通信网络920连接的多个控制单元和检测单元。在图27所示的示例中，车辆控制系统90包括驱动系统控制单元931、车身系统控制单元932、电池控制单元933、车辆外部信息检测单元934、无线通信单元935和集成控制单元940。通信网络920可以是符合任意标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)和FlexRay(注册商标)。此外，输入单元951、音频输出单元952和显示单元953连接至集成控制单元940。
每个控制单元包括用于根据各种程序执行计算处理的微计算机、用于存储由微计算机执行的程序或用于各种计算任务的参数等的存储单元以及用于驱动要被控制的各种装置的驱动电路。
驱动系统控制单元931根据各种程序对与汽车的驱动系统有关的装置的动作进行控制。例如，驱动系统控制单元931充当用于生成车辆的驱动力的驱动力生成装置例如内燃机或驱动马达、用于向轮传输驱动力的驱动力传输机构以及用于调节车辆转向角的转向机构。此外，驱动系统控制单元931可以具有作为诸如用于生成车辆的制动力的制动装置之类的控制装置的功能、或作为诸如防抱死制动系统(ABS)或电子稳定控制(ESC)之类的控制装置的功能。
车辆状态检测单元9311连接至驱动系统控制单元931。例如，车辆状态检测单元9311包括用于检测车身的轴向旋转运动的角速度的陀螺仪传感器、用于检测车辆的加速度的加速度传感器或用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、引擎速度、运行速度等的传感器中的至少一个。驱动系统控制单元931使用从车辆状态检测单元9311输入的信号来执行计算处理并且对内燃机、驱动马达、电动助力转向装置、制动装置等进行控制。
车身系统控制单元932根据各种程序对装配在车身上的各种装置的动作进行控制。例如，车身系统控制单元932充当无钥匙进入系统、智能钥匙系统、电动窗装置或用于各种灯例如前照灯、尾灯、刹车灯、转向信号灯、雾灯等的控制装置。在这种情况下，车身系统控制单元932可以接收从替代钥匙的便携式设备发送的无线电波或来自各种开关的信号的输入。车身系统控制单元932接受上述无线电波或信号的输入并且对车辆的门锁装置、电动窗装置、灯等进行控制。
电池控制单元933根据各种程序来控制作为驱动马达的电力供给源的二次电池9331。例如，将诸如电池温度、电池输出电压、电池的剩余容量等的信息从包括二次电池9331的电池装置输入至电池控制单元933。电池控制单元933使用这些信号来执行计算处理并且对包括在电池装置中的二次电池9331或冷却装置等的温度调节进行控制。
车辆外部信息检测单元934检测安装有车辆控制系统90的车辆外部的信息。在车辆外部信息检测单元934中，利用使用了本技术的图像处理装置的成像系统。
图28是示出成像单元的安装示例的图。例如，将成像系统的成像单元20设置在车辆80的前鼻翼、侧镜、后保险杠、后门和车厢的挡风玻璃的上部中的至少一个位置处。被设置在前鼻翼处的成像单元20-A和被设置在车厢的挡风玻璃的上部处的成像单元20-B主要获取车辆80前方的图像。被设置在侧镜处的成像单元20-C和成像单元20-D主要获取车辆80两侧的图像。被设置在后保险杠或后门处的成像单元20-E主要获取车辆80后方的图像。注意，图28示出了成像单元20-A至成像单元20-E的相应拍摄范围的示例。成像范围AR-a指示被设置在前鼻翼处的成像单元20-A的成像范围，成像范围AR-c和成像范围AR-d分别指示被设置在侧镜处的成像单元20-C和成像单元20-D的成像范围，并且成像范围AR-e指示被设置在后保险杠或后门处的成像单元20-E的成像范围。
返回至图27，车辆外部信息检测单元934对车辆的周围区域进行成像并且获取偏振图像。此外，车辆外部信息检测单元934根据获取的偏振图像分离或提取反射分量并且例如生成可以用于车辆控制等的信息例如反射分量被分离或去除的图像。
无线通信单元935经由无线通信网络例如专用短程通信(DSRC)(注册商标)与车辆外部例如其他车辆或管理道路状况的管理中心进行通信，并且将接收到的信息输出至集成控制单元940。此外，无线通信单元935可以将通过车辆外部信息检测单元934获取的信息发送至其他车辆、管理中心等。注意，无线通信单元935可以经由无线通信网络例如无线LAN的无线通信网络、用于移动电话的无线通信网络例如3G、LTE、4G等的无线通信网络与管理中心进行通信。此外，无线通信单元935可以接收来自全球导航卫星系统(GNSS)等的信号以执行定位，并将定位结果输出至集成控制单元940。
输入单元951、音频输出单元952和显示单元953连接至集成控制单元940。输入单元951通过可以被乘员操作以进行输入的装置例如触摸板、按钮、麦克风、开关或操作杆来实现。输入单元951基于由乘员等输入的信息来生成输入信号以输出至集成控制单元940。
音频输出单元952通过基于来自集成控制单元940的音频信号来输出音频向车辆的乘员可听地通知信息。显示单元953基于来自集成控制单元940的图像信号来显示图像并且视觉上向车辆的乘员通知信息。
集成控制单元940包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)等。只读存储器(ROM)存储有要由中央处理单元(CPU)执行的各种程序。随机存取存储器(RAM)存储有诸如各种参数、计算结果或传感器值之类的信息。CPU执行存储在ROM中的各种程序并且根据来自输入单元951的输入信号、通过经由通信网络920与相应的控制单元、车辆外部信息检测单元和无线通信单元进行通信而获取的信息、存储在RAM中的信息等控制车辆控制系统90内的全部动作。同时，集成控制单元940生成指示要向车辆的乘员可听地通知的信息的音频信号以输出至音频输出单元952并且生成要向乘员视觉上通知信息的图像信号以输出至显示单元953。集成控制单元940还使用无线通信单元935与在车辆外部存在的各种设备例如其他车辆和管理中心进行通信。此外，集成控制单元940基于存储在ROM或RAM中的地图信息以及获取自无线通信单元935的定位结果来执行车辆驱动支持。
注意，在图27所示的示例中，可以将经由通信网络920连接的至少两个控制单元集成作为一个控制单元。替选地，每个控制单元可以由多个控制单元构成。此外，车辆控制系统90可以包括未示出的其他控制单元。此外，在上述描述中，可以将分配给控制单元中的一个控制单元的一些或所有功能设置在另一个控制单元中。换言之，只要经由通信网络920发送或接收信息，则可以由控制单元中的一个控制单元来执行预定的计算处理。
在这样的车辆控制系统中，在根据本技术的成像处理装置应用于例如车辆外部信息检测单元的情况下，车辆外部信息检测单元基于例如反射分量被分离和去除的周围区域的图像来识别对象，从而能够容易地识别通过反射光难以识别的对象。因此，通过使用本技术的图像处理装置(图像处理方法)，可以构建能够进行安全驾驶的车辆控制系统。此外，由于容易识别通过反射光难以识别的对象，因此本技术的图像处理装置可以应用于监测系统等。
此外，本说明书中描述的一系列处理过程可以通过硬件、软件或两者的复杂配置来执行。在通过软件来执行处理的情况下，将记录处理序列的程序安装在包含专用硬件的计算机内的存储器上并执行该程序。替选地，可以在能够执行各种处理过程的通用计算机上安装并执行用于执行上述处理的程序。
例如，可以提前将程序记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器上。替选地，可以将程序临时地或永久地存储或保持(记录)在可移除记录介质例如软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(BD)(注册商标)、磁盘或半导体存储卡上。可以将这样的可移除记录介质设置为所谓的软件包。
此外，除了将来自可移除记录介质的程序安装在计算机上之外，可以将程序经由诸如局域网(LAN)或因特网的网络从下载站无线地或有线地传输至计算机。可以在计算机中接收以这种方式传输的程序并且将程序安装在记录介质例如内置硬盘上。
注意，本说明书中描述的效果仅用作示例而不应被解释为限制性的。还可以存在本文中未描述的其他的效果。此外，本技术不应被解释为限制于上述实施方式。这些实施方式以范例的形式公开本技术并且明显地，本领域技术人员可以在不脱离本技术的主旨的情况下对这些实施方式进行修改和替换。即，为了判断本技术的主旨，应该考虑权利要求书。
此外，本技术的图像处理装置可以具有以下配置。
(1)一种图像处理装置，所述图像处理装置包括偏振图像处理单元，所述偏振图像处理单元使用由图像拾取元件生成的偏振图像来分离或提取反射分量，所述图像拾取元件具有以下配置：在所述配置中，针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在所述相同偏振像素块中设置有各个预定颜色的像素。
(2)根据(1)所述的图像处理装置，其中，所述偏振图像处理单元使用所述偏振图像来提取漫反射分量。
(3)根据(1)所述的图像处理装置，其中，所述偏振图像处理单元使用所述偏振图像来分离漫反射分量和镜面反射分量。
(4)根据(1)所述的图像处理装置，还包括法线信息生成单元，所述法线信息生成单元根据反射分量已被所述偏振图像处理单元分离或提取的偏振图像来生成法线信息。
(5)根据(4)所述的图像处理装置，其中，
所述偏振图像处理单元使用所述偏振图像来提取漫反射分量，以及
所述法线信息生成单元根据指示由所述偏振图像处理单元提取的漫反射分量的偏振图像来生成所述法线信息。
(6)根据(4)所述的图像处理装置，其中，
所述偏振图像处理单元使用所述偏振图像来分离漫反射分量和镜面反射分量，以及
所述法线信息生成单元对根据指示由所述偏振图像处理单元分离的所述漫反射分量的偏振图像而生成的法线信息和根据指示由所述偏振图像处理单元分离的所述镜面反射分量的偏振图像而生成的法线信息进行合成。
(7)根据(6)所述的图像处理装置，其中，所述法线信息生成单元对指示所述漫反射分量的所述偏振图像和指示所述镜面反射分量的所述偏振图像进行加权并且合成所述法线信息。
(8)根据(7)所述的图像处理装置，其中，所述法线信息生成单元根据漫反射和镜面反射中哪一个处于主导来执行加权并且合成所述法线信息。
(9)根据(8)所述的图像处理装置，其中，所述法线信息生成单元将具有由偏振角的不同引起的较大亮度变化的反射分量设置为主导反射分量。
(10)根据(8)所述的图像处理装置，其中，所述法线信息生成单元将相对于由偏振角的不同引起的预定亮度变化具有较小误差的反射分量设置为主导反射分量。
(11)根据(1)至(10)中任一项所述的图像处理装置，还包括校正处理单元，所述校正处理单元针对所述偏振图像调节所述预定颜色中的每个预定颜色的增益，其中，
所述偏振图像处理单元根据增益已被所述校正处理单元调节的所述偏振图像来分离或提取所述反射分量。
(12)根据(1)至(11)中任一项所述的图像处理装置，还包括非偏振图像生成单元，所述非偏振图像生成单元根据所述偏振图像针对每个颜色使用偏振方向彼此正交的像素来生成非偏振图像。
工业实用性
根据本技术的图像处理装置、图像处理方法和图像拾取元件，对由图像拾取元件生成的偏振图像来执行分离或提取反射分量的处理，该图像拾取元件具有以下配置：针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在相同偏振像素块中设置有相应预定颜色的像素。因此，例如，可以通过考虑反射分量来生成高准确度的法线信息。因此，适合用于获取对象的三维形状等的设备。
附图标记列表
10 成像系统
20 成像单元
21 偏振器
22 滤色器
30 图像处理单元
31 校正处理单元
32 偏振图像处理单元
33 镜面反射去除单元
34 反射分量分离单元
35 法线信息生成单元
36 镜面反射法线信息生成单元
37 漫反射法线信息生成单元
38 法线信息合成单元
39 非偏振图像生成单元
80 车辆
90 车辆控制系统

Claims (13)

1.一种图像处理装置，包括：
偏振图像处理单元，所述偏振图像处理单元使用由图像拾取元件生成的偏振图像来分离或提取反射分量，所述图像拾取元件具有以下配置：在所述配置中，针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在所述相同偏振像素块中设置有各个预定颜色的像素；以及
法线信息生成单元，所述法线信息生成单元根据所述偏振图像处理单元已分离或提取了所述反射分量后的偏振图像来生成法线信息，
其中，所述偏振图像处理单元使用由所述图像拾取元件生成的所述偏振图像来分离漫反射分量和镜面反射分量，
其中，所述法线信息生成单元对指示所述漫反射分量的所述偏振图像和指示所述镜面反射分量的所述偏振图像进行加权并且合成所述法线信息。
2.根据权利要求1所述的图像处理装置，其中，
所述法线信息生成单元根据漫反射和镜面反射中哪一个处于主导来执行加权并且合成所述法线信息。
3.根据权利要求2所述的图像处理装置，其中，
所述法线信息生成单元将具有由偏振角的不同引起的较大亮度变化的反射分量设置为主导反射分量。
4.根据权利要求2所述的图像处理装置，其中，
所述法线信息生成单元将相对于由偏振角的不同引起的预定亮度变化具有较小误差的反射分量设置为主导反射分量。
5.根据权利要求1所述的图像处理装置，还包括校正处理单元，所述校正处理单元针对所述偏振图像调节所述预定颜色中的每个预定颜色的增益，其中，所述偏振图像处理单元根据增益已被所述校正处理单元调节的所述偏振图像来分离或提取所述反射分量。
6.根据权利要求1所述的图像处理装置，还包括非偏振图像生成单元，所述非偏振图像生成单元根据所述偏振图像针对每个颜色使用偏振方向彼此正交的像素来生成非偏振图像。
7.一种图像处理方法，包括：
在偏振图像处理单元中使用由图像拾取元件生成的每个预定颜色的偏振图像来分离或提取反射分量，所述图像拾取元件具有以下配置：在所述配置中，针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块，并且在所述相同偏振像素块中设置有各个颜色的像素；以及
根据所述偏振图像处理单元已分离或提取了所述反射分量后的偏振图像来生成法线信息，
其中，使用由所述图像拾取元件生成的所述偏振图像来分离漫反射分量和镜面反射分量，以及
对指示所述漫反射分量的所述偏振图像和指示所述镜面反射分量的所述偏振图像进行加权和合成以生成所述法线信息。
8.一种图像拾取元件，包括：
偏振器，在所述偏振器中，针对多个偏振方向中的每个偏振方向设置有由具有相同偏振方向的多个像素构成的相同偏振像素块；
滤色器，在所述滤色器中，在所述偏振器的所述相同偏振像素块中设置有各个预定颜色的像素；以及
传感器单元，所述传感器单元基于透过所述偏振器和所述滤色器的物光来生成图像信号，
其中，所述滤色器通过以下方式来配置：在像素的行方向和列方向上重复地设置用作预定颜色阵列的单元的颜色图案单元块，以及
所述偏振器的所述相同偏振像素块的尺寸等于所述颜色图案单元块的尺寸。
9.根据权利要求8所述的图像拾取元件，其中，
所述滤色器通过以下方式来配置：在像素的行方向和列方向上重复地设置用作预定颜色阵列的像素块的颜色图案单元块，
所述偏振器通过以下方式来配置：在像素的行方向和列方向上重复地设置用作像素块的偏振图案单元块，在所述像素块中针对多个偏振方向中的每个偏振方向设置有所述相同偏振像素块，以及
生成所述颜色图案单元块与所述偏振图案单元块之间的位置差，并且在所述相同偏振像素块中设置各个预定颜色的像素。
10.根据权利要求8所述的图像拾取元件，其中，
所述偏振器在像素的行方向或列方向上交替地设置有偏振方向彼此正交的所述相同偏振像素块。
11.根据权利要求8所述的图像拾取元件，其中，
所述偏振器通过以下方式来配置：在像素的行方向上以预定的顺序重复地设置具有不同偏振方向的所述相同偏振像素块，并且在下一行中，在行方向上相对于前一行生成块位置的差，并且在行方向上以预定的顺序重复地设置具有与前一行的偏振方向不同的偏振方向的所述相同偏振像素块；或者
在像素的列方向上以预定的顺序重复地设置具有不同偏振方向的所述相同偏振像素块，并且在下一列中，在列方向上相对于前一列生成块位置的差，并且在列方向上以预定的顺序重复地设置具有与前一列的偏振方向不同的偏振方向的所述相同偏振像素块。
12.根据权利要求8所述的图像拾取元件，其中，
所述偏振器具有被设置在所述相同偏振像素块中的非偏振像素，以及所述滤色器针对所述非偏振像素设置颜色，以使得当非偏振像素被选择时的颜色阵列变为期望的阵列。
13.根据权利要求8所述的图像拾取元件，其中，
所述滤色器具有被设置在所述相同偏振像素块中的三原色的像素和白色像素。
CN201580076551.9A 2015-02-27 2015-12-08 图像处理装置、图像处理方法和图像拾取元件 Active CN107251553B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015038164 2015-02-27
JP2015-038164 2015-02-27
PCT/JP2015/084400 WO2016136085A1 (ja) 2015-02-27 2015-12-08 画像処理装置と画像処理方法および撮像素子

Publications (2)

Publication Number Publication Date
CN107251553A CN107251553A (zh) 2017-10-13
CN107251553B true CN107251553B (zh) 2019-12-17

Family

ID=56789644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580076551.9A Active CN107251553B (zh) 2015-02-27 2015-12-08 图像处理装置、图像处理方法和图像拾取元件

Country Status (6)

Country Link
US (1) US10362280B2 (zh)
EP (1) EP3264754B1 (zh)
JP (1) JP6673327B2 (zh)
CN (1) CN107251553B (zh)
TW (1) TWI682671B (zh)
WO (1) WO2016136085A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2929648T3 (es) * 2015-04-30 2022-11-30 Sony Group Corp Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
US10168273B1 (en) * 2017-07-01 2019-01-01 Kla-Tencor Corporation Methods and apparatus for polarizing reticle inspection
JP7230824B2 (ja) * 2017-11-21 2023-03-01 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
CN111356895A (zh) * 2017-11-24 2020-06-30 索尼公司 检测装置以及生产电子装置的方法
US11637967B2 (en) 2018-04-09 2023-04-25 Sony Corporation Information processing apparatus, information processing method, and calibration apparatus
US20210211619A1 (en) * 2018-06-05 2021-07-08 Sony Corporation Information generation device, information generation method and program
US11796308B2 (en) * 2018-08-24 2023-10-24 Yamaha Hatsudoki Kabushiki Kaisha Three-dimensional measuring apparatus, three-dimensional measuring method
JP2020038107A (ja) * 2018-09-04 2020-03-12 株式会社三井フォトニクス 温度計測装置
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
CN113557709A (zh) * 2019-04-19 2021-10-26 索尼集团公司 成像装置、图像处理装置和图像处理方法
WO2021033326A1 (ja) * 2019-08-22 2021-02-25 オリンパス株式会社 撮像素子、内視鏡および内視鏡システム
JP2021056164A (ja) * 2019-10-01 2021-04-08 富士ゼロックス株式会社 情報処理装置、発光装置、情報処理システム、及びプログラム
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
JPWO2021084907A1 (zh) * 2019-10-30 2021-05-06
CN110708453A (zh) * 2019-11-12 2020-01-17 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
CN110784633B (zh) * 2019-11-12 2021-07-16 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
CN110995968B (zh) * 2019-11-25 2021-08-20 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备和成像方法
US20230342963A1 (en) * 2019-12-13 2023-10-26 Sony Group Corporation Imaging device, information processing device, imaging method, and information processing method
CN113516607B (zh) * 2021-04-23 2024-02-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN113286067B (zh) * 2021-05-25 2023-05-26 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备及成像方法
JP2022182346A (ja) * 2021-05-28 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2023111625A (ja) * 2022-01-31 2023-08-10 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558282A (zh) * 2007-02-13 2009-10-14 松下电器产业株式会社 图像处理系统、方法、装置、以及图像格式
CN101887900A (zh) * 2009-05-11 2010-11-17 索尼公司 二维固态摄像装置及其偏光数据处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5764747B2 (ja) * 2011-09-02 2015-08-19 パナソニックＩｐマネジメント株式会社 偏光撮像素子および内視鏡

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558282A (zh) * 2007-02-13 2009-10-14 松下电器产业株式会社 图像处理系统、方法、装置、以及图像格式
CN101887900A (zh) * 2009-05-11 2010-11-17 索尼公司 二维固态摄像装置及其偏光数据处理方法

Also Published As

Publication number Publication date
EP3264754A4 (en) 2018-09-05
JPWO2016136085A1 (ja) 2017-12-07
EP3264754B1 (en) 2022-02-16
JP6673327B2 (ja) 2020-03-25
US20180013988A1 (en) 2018-01-11
WO2016136085A1 (ja) 2016-09-01
TWI682671B (zh) 2020-01-11
CN107251553A (zh) 2017-10-13
US10362280B2 (en) 2019-07-23
EP3264754A1 (en) 2018-01-03
TW201705758A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN107251553B (zh) 图像处理装置、图像处理方法和图像拾取元件
US11405603B2 (en) Imaging device, image processing device and image processing method
US10460422B2 (en) Image processing device and image processing method
CN109804621B (zh) 图像处理装置、图像处理方法和图像拾取装置
US10523873B2 (en) Image processing device and image processing method
CN109565546B (zh) 图像处理设备、信息生成设备以及信息生成方法
EP3606057B1 (en) Image processing device and image processing method
CN109155824B (zh) 图像处理设备和图像处理方法以及学习设备和学习方法
CN111357282B (zh) 图像处理装置、图像处理方法、程序和固态成像装置
CN110915204A (zh) 图像处理装置、图像处理方法、程序和成像装置
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant