CN112106350A - 固态成像装置、用于信息处理的装置和方法以及校准方法 - Google Patents

固态成像装置、用于信息处理的装置和方法以及校准方法 Download PDF

Info

Publication number
CN112106350A
CN112106350A CN201980031730.9A CN201980031730A CN112106350A CN 112106350 A CN112106350 A CN 112106350A CN 201980031730 A CN201980031730 A CN 201980031730A CN 112106350 A CN112106350 A CN 112106350A
Authority
CN
China
Prior art keywords
polarization
pixels
pixel
pixel group
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980031730.9A
Other languages
English (en)
Inventor
平泽康孝
陆颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112106350A publication Critical patent/CN112106350A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

偏振成像单元20被配置成在各自包括多个像素的各个像素组中设置有微透镜，其中，像素组各自具有偏振方向互不相同的至少三个偏振像素，每个像素组中包括的像素经由对通过对应的微透镜入射的光执行光电转换来获取偏振图像。信息处理单元30的偏振状态计算单元31使用以下来以高准确度获取拍摄对象的偏振状态：使用偏振成像单元20和主透镜15获取的拍摄对象的偏振图像；以及根据主透镜的、针对各个微透镜设置并预先存储在校正参数存储单元32中的校正参数。

Description

固态成像装置、用于信息处理的装置和方法以及校准方法
技术领域
本技术涉及固态成像装置、信息处理装置、信息处理方法和校准方法，并且允许准确地获取偏振状态。
背景技术
近年来，已经执行对象的三维形状的获取，并且有源方法或无源方法被用于这样的三维形状的获取。在有源方法中，辐射诸如光的能量，并且基于从对象反射的能量的量执行三维测量。因此，需要能量辐射单元来辐射能量。此外，有源方法引起用于能量辐射的成本和功耗的增加，并且无法容易地使用。相较于有源方法，无源方法使用图像的特征进行测量，不需要能量辐射单元，并且不会引起用于能量辐射的成本和功耗的增加。例如，当使用无源方法来获取三维形状时，使用立体摄像装置来生成深度图。此外，还执行偏振成像，在偏振成像中，获取具有多个偏振方向的偏振图像以生成法线图等。
在偏振图像的获取中，可以通过在偏振板被布置在成像单元前并且偏振板围绕处于成像单元的光轴方向上的轴旋转的情况下捕获图像，来获取具有多个偏振方向的偏振图像。此外，专利文献1描述了以在成像单元的每个像素中布置一个的方式布置不同偏振方向的偏振器，使得可以通过一次图像捕获来获取具有多个偏振方向的偏振图像。
引文列表
专利文献
专利文献1：日本专利申请特许公开第2009-055624号
发明内容
本发明要解决的问题
顺便提及，在以在成像单元的每个像素中布置一个的方式布置不同偏振方向的偏振器的方法中，针对每个偏振方向使用位于不同位置处的多个像素以生成具有多个偏振方向的偏振图像。位于不同位置处的像素对应于对象上的不同位置，并且在具有快速改变的形状的对象、具有纹理化表面的对象、对象的边缘等情况下，存在可能以较低的准确度获得偏振状态等的可能性。
因此，本技术的目的是提供允许准确地获取偏振状态的固态成像装置、信息处理装置、信息处理方法和校准方法。
问题的解决方案
该技术的第一方面提供了：
一种固态成像装置，其中，
包括多个像素的每个像素组设置有微透镜，
像素组包括具有不同偏振方向的至少三个偏振像素，以及
像素组中包括的像素对经由微透镜入射的光执行光电转换。
该技术提供了一种配置，在该配置中，包括多个像素的每个像素组设置有微透镜，并且像素组包括具有不同偏振方向的至少三个偏振像素。此外，在该配置中，像素组可以包括具有相同偏振方向的两个像素。在像素组包括位于2×2像素的二维区域中的像素的情况下，像素组由具有特定角度的偏振方向的偏振像素、具有与特定角度成45度角度差的偏振方向的偏振图像、以及两个非偏振像素构成。在像素组包括位于n×n像素(n是等于或大于3的自然数)的二维区域中的像素的情况下，彼此相距一个像素的偏振像素具有相同的偏振方向。此外，在该配置中，每个像素组可以设置有滤色器，并且相邻像素组的滤色器可以在允许通过的光的波长方面不同。像素组中包括的像素对经由微透镜入射的光执行光电转换，以生成单色偏振图像或彩色偏振图像。
该技术的第二方面提供了：
一种信息处理装置，包括：
偏振状态计算单元，该偏振状态计算单元通过使用利用主透镜和针对每个像素组设置有微透镜的固态成像装置而获取的对象的偏振图像、以及根据主透镜而针对每个微透镜预先设置的校正参数，计算对象的偏振状态，其中，每个像素组包括具有不同偏振方向的至少三个偏振像素。
在该技术中，偏振状态计算单元通过使用利用主透镜和针对每个像素组设置有微透镜的固态成像装置而获取的对象的偏振图像、以及根据主透镜而针对每个微透镜预先设置的校正参数，计算对象的偏振状态，其中，每个像素组包括具有不同偏振方向的至少三个偏振像素。此外，像素组可以包括具有相同偏振方向的两个像素。可以使用每个像素组中的具有相同偏振方向的像素中的一个像素来生成一个视点图像，并且可以使用这些像素中的另一个像素来生成另一个视点图像，使得深度信息生成单元可以基于一个视点图像和另一个视点图像来生成用于指示到对象的距离的深度信息。法线信息生成单元可以基于所计算的对象的偏振状态来生成用于指示对象的法线的法线信息。此外，当生成了深度信息和法线信息时，信息集成单元可以基于所生成的深度信息和法线信息而生成准确的深度信息。
该技术的第三方面提供了：
一种信息处理方法，包括：
由偏振状态计算单元通过使用利用主透镜和针对每个像素组设置有微透镜的固态成像装置而获取的对象的偏振图像、以及根据主透镜而针对每个微透镜预先设置的校正参数来计算对象的偏振状态，其中，每个像素组包括具有不同偏振方向的至少三个偏振像素。
该技术的第四方面提供了：
一种校准方法，包括：
由校正参数生成单元来生成用于将基于偏振图像计算的光源的偏振状态校正为光源的已知偏振状态的校正参数，该偏振图像是通过使用主透镜和针对每个像素组设置有微透镜的固态成像装置对处于已知偏振状态的光源进行成像而获得的，其中，每个像素组包括具有不同偏振方向的至少三个偏振像素。
在该技术中，校正参数生成单元控制光源的偏振状态的切换和固态成像装置的成像，以使固态成像装置针对多个偏振状态中的每一个而获取偏振图像。固态成像装置具有以下配置，在该配置中，包括具有不同偏振方向的至少三个偏振像素的每个像素组设置有微透镜，并且使用主透镜来对处于已知偏振状态的光源进行成像并且获取偏振图像。校正参数生成单元生成用于将基于所获取的偏振图像而计算的光源的偏振状态校正为光源的已知偏振状态的校正参数。
本发明的效果
根据该技术，固态成像装置具有以下配置，在该配置中，包括多个像素的每个像素组设置有微透镜，并且像素组包括具有不同偏振方向的至少三个偏振像素，并且包括在像素组中的像素对经由微透镜入射的光执行光电转换。此外，信息处理装置使用利用固态成像装置和主透镜获取的对象的偏振图像以及根据主透镜而针对每个微透镜预先设置的校正参数来计算对象的偏振状态。因此，可以准确地获取偏振状态。注意，本文描述的效果仅是说明性的，并且不旨在是限制性的，并且可以存在附加的效果。
附图说明
图1是示出系统的配置的图。
图2是用于描述偏振图像与观察目标之间的关系的图。
图3是示出亮度与偏振角之间的关系的图。
图4是示出偏振成像单元的像素结构的一部分的图。
图5是示出偏振成像单元的另一像素布置的图。
图6是用于描述偏振成像单元的操作的图。
图7是示出入射在每个像素上的光已通过的位置的图。
图8是示出信息处理单元的第一实施例的操作的流程图。
图9是示出生成校正参数的校准装置的配置的图。
图10是示出包括具有相同偏振特性的像素集合的像素布置的图。
图11是示出信息处理单元的第二实施例的配置的图。
图12是用于描述多个视点图像的生成的图。
图13是示出信息处理单元的第二实施例的操作的流程图。
图14是示出信息处理单元的第三实施例的配置的图。
图15是示出偏振度与天顶角之间的关系的图。
图16是用于描述信息集成处理的图。
图17是示出信息处理单元的第三实施例的操作的流程图。
具体实施方式
下面将描述用于实施本技术的方式。注意，将按以下顺序进行描述。
1.系统的配置
2.偏振成像单元的配置和操作
3.信息处理单元的配置和操作
3-1.信息处理单元的第一实施例
3-2.校正参数的生成
3-3.信息处理单元的第二实施例
3-4.信息处理单元的第三实施例
3-5.信息处理单元的其他实施例
4.应用示例
<1.系统的配置>
图1示出了使用本技术的固态成像装置和信息处理装置的系统的配置。系统10包括主透镜15、偏振成像单元20和信息处理单元30。注意，偏振成像单元20对应于本技术的固态成像装置，并且信息处理单元30对应于本技术的信息处理装置。
偏振成像单元20使用主透镜15来捕获对象的图像，获取具有多个偏振方向的偏振图像，并且将偏振图像输出至信息处理单元30。信息处理单元30使用由偏振成像单元20获取的偏振图像以及根据主透镜15而针对每个微透镜预先设置的校正参数来计算对象的偏振状态。
<2.偏振成像单元的配置和操作>
此处，将描述偏振图像与观察目标之间的关系。如图2所示，例如，用光源LT来照射对象OB，并且成像单元41经由偏振板42捕获对象OB的图像。在这种情况下，捕获的图像在对象OB的亮度方面根据偏振板42的偏振方向而改变。注意，最高亮度被表示为Imax，并且最低亮度被表示为Imin。此外，假设二维坐标的x轴和y轴在偏振板42的平面上，则将偏振板42的偏振方向表示为偏振角υ，该偏振角是相对于x轴的y轴方向上的角度。偏振板42的偏振方向具有180度的周期，并且180度的旋转使偏振状态返回到原始状态。此外，将观察到最大亮度Imax时的偏振角υ表示为方位角
Figure BDA0002772160590000051
利用这样的限定，可以通过式(1)的偏振模型式给出当偏振板42的偏振方向暂时改变时观察到的亮度I。即，可以计算对象OB的偏振状态。注意，图3示出了亮度与偏振角之间的关系。
[数学.1]
Figure BDA0002772160590000061
偏振成像单元20具有下述配置，该配置中，包括多个像素的每个像素组设置有微透镜，并且像素组包括具有不同偏振方向的至少三个偏振像素。每个像素组中包括的像素对经由微透镜入射的光执行光电转换，并且这允许准确地计算对象的偏振状态。
图4示出了偏振成像单元20的像素结构的一部分。例如，偏振成像单元20的像素构成了各自包括2×2像素的像素组，并且偏振器202a至202d分别被布置在构成一个像素组的像素201a至201d的入射表面上。偏振器202a至202d例如是线栅偏振器等。对应像素中的偏振器具有不同的偏振方向。例如，设置在像素201a中的偏振器202a允许0度偏振光通过。此外，像素201b中的偏振器202b允许135度偏振光通过，像素201c中的偏振器202c允许45度偏振光通过，并且像素201d中的偏振器202d允许90度偏振光通过。即，像素201a是具有0度的偏振方向的偏振像素，其输出根据0度偏振光的观察值(像素值或亮度值)，并且像素201b是具有135度的偏振方向的偏振像素，其输出根据135度偏振光的观察值。此外，像素201c是具有45度的偏振方向的偏振像素，其输出根据45度偏振光的观察值，并且像素201d是具有90度的偏振方向的偏振像素，其输出根据90度偏振光的观察值。
以这种方式在像素的入射表面侧设置偏振器并且设置各自包括具有四个偏振方向的偏振像素的像素组，使得可以获得每个偏振方向的观察值，并且计算每个像素组的偏振状态。此外，可以通过执行插值处理来计算每个像素的偏振状态，在该插值处理中，具有相同偏振方向的偏振像素的观察值被用于计算具有另一偏振方向的偏振像素的位置的观察值。
针对每个像素组布置微透镜203，并且已经通过微透镜203的光入射在像素组的每个像素上。注意，仅需要为包括多个像素的每个像素组设置一个微透镜203，并且像素组不限于位于2×2像素的二维区域中的像素。此外，图4示出了每个偏振器允许0度、45度、90度或135度偏振光通过的情况，但是这些角度可以是任何其他角度，只要该配置允许偏振状态的计算即可，即，只要这些角度在三个不同的偏振方向上(偏振方向可以包括非偏振)即可。图5示出了偏振成像单元的另一像素布置。图5的(a)和(b)示出由偏振方向的角度相差45度或135度的两个偏振像素、以及两个非偏振像素构成像素组的情况。此外，偏振成像单元20可以获取彩色偏振图像，并且图5的(c)示出了在获取红色偏振图像、绿色偏振图像和蓝色偏振图像的情况下的像素布置。在获取彩色偏振图像的情况下，设置了滤色器，以使得相邻像素组可以在允许通过的光的波长方面不同。注意，图5的(c)示出了以像素组作为一个颜色单元的拜耳颜色阵列的情况。
图6是用于描述偏振成像单元的操作的图。图6的(a)示出了没有微透镜的常规偏振成像单元的光路，并且图6的(b)示出了使用微透镜的本技术的偏振成像单元的光路。
来自对象OB的光被主透镜15会聚并且入射在偏振成像单元20上。注意，图6示出了具有第一偏振方向的偏振像素201e和具有与第一方向不同的第二偏振方向的偏振像素201f。
在图6的(a)所示的常规配置中，主透镜15的焦平面在偏振成像单元20的成像表面(传感器表面)处，并且这使得入射在偏振像素201e上的光和入射在偏振像素201f上的光指示对象OB的不同位置。因此，在使用偏振像素201e和偏振像素201f的观察值的情况下，不能准确地计算对象的偏振状态。
在图6的(b)中所示的本技术的配置中，每个像素组设置有微透镜203，并且微透镜203的位置在主透镜15的焦平面的位置处。在这种情况下，已通过主透镜15的上侧的、来自对象OB上的期望位置的光被会聚并且经由微透镜203入射在偏振像素201f上。此外，已通过主透镜15的下侧的、来自对象OB上的期望位置的光被会聚并且经由微透镜203入射在偏振像素201e上。即，偏振成像单元20执行与所谓的光场摄像装置的操作类似的操作，并且偏振像素201e和偏振像素201f的观察值指示对象OB上的期望位置的偏振状态。因此，可以通过使用偏振像素201e和偏振像素201f的观察值，比以前更准确地计算对象的偏振状态。
<3.信息处理单元的配置和操作>
接下来，将描述信息处理单元的配置和操作。在设置有微透镜的像素组的情况下，如图6的(b)中所示，入射在像素组中的像素上的光是已通过主透镜15中因像素而不同的部分并且被会聚的光。图7示出了在设置有微透镜203的2×2像素的像素组的情况下入射在每个像素上的光已通过的位置。例如，已通过主透镜15中的右下四分之一区域LA4的光被会聚并且入射在像素201a上。此外，已通过主透镜15中的左下四分之一区域LA3的光被会聚并且入射在像素201b上，已通过主透镜15中的右上四分之一区域LA2的光被会聚并且入射在像素201c上，并且已通过主透镜15中的左上四分之一区域LA1的光被会聚并且入射在像素201d上。以这种方式，入射在对应像素上的光已经通过主透镜的不同区域，并且存在偏振状态根据光路的不同而改变的可能性。因此，信息处理单元30校正由主透镜15引起的偏振状态的改变，并且比以前更准确地计算对象的偏振状态。
<3-1.信息处理单元的第一实施例>
如图1所示，信息处理单元30包括偏振状态计算单元31和校正参数存储单元32。偏振状态计算单元31基于由偏振成像单元20获取的具有多个偏振方向的偏振图像来计算对象的偏振状态。此外，偏振状态计算单元31使用存储在校正参数存储单元32中的校正参数来校正偏振图像中的由透镜引起的偏振状态的改变，并且计算对象的偏振状态。
作为偏振状态的计算，偏振状态计算单元31计算指示偏振状态的斯托克斯矢量S。此处，当将具有0度的偏振方向的偏振像素的观察值表示为I0，将具有45度的偏振方向的偏振像素的观察值表示为I45，将具有将90度的偏振方向的偏振像素的观察值表示为I90，并且将具有135度的偏振方向的偏振像素的观察值表示为I135时，斯托克斯矢量与观察值之间的关系由式(2)给出。
[数学.2]
Figure BDA0002772160590000081
在斯托克斯矢量S中，分量s0指示非偏振的平均亮度或亮度。此外，分量s1指示0度的偏振方向的观察值与90度的偏振方向的观察值之间的差，并且分量s2指示45度的偏振方向的观察值与135度的偏振方向的观察值之间的差。
顺便提及，如图6的(b)所示，入射在像素组的对应像素上的多条光已经通过主透镜15的不同部分。图7示出了入射在像素组的每个像素上的光已通过的主透镜中的位置。例如，已通过主透镜15中的右下四分之一区域LA4的光入射在像素201a上。此外，已通过主透镜15中的左下四分之一区域LA3的光入射在像素201b上，已通过主透镜15中的右上四分之一区域LA2的光入射在像素201c上，并且已通过主透镜15中的左上四分之一区域LA1的光入射在像素201d上。以这种方式，入射在对应像素上的多条光已经通过主透镜的不同区域，并且存在偏振状态由于入射光的路径的差异而不同地改变的可能性。因此，偏振状态计算单元31从校正参数存储单元32获取每个微透镜的校正参数，并且使用所获取的校正参数来计算斯托克斯矢量S。式(3)表示用于计算偏振状态的等式。偏振状态计算单元31通过使用设置有微透镜203的像素组的对应像素的观察值I0、I45、I90和I135以及根据主透镜15而针对每个微透镜预先设置的校正参数P，来计算由像素组的像素指示的对象位置处的斯托克斯矢量S。注意，稍后将描述校正参数的细节。
[数学.3]
Figure BDA0002772160590000091
图8是示出信息处理单元的第一实施例的操作的流程图。在步骤ST1中，信息处理单元获取偏振图像。信息处理单元30获取通过利用偏振成像单元20使用主透镜15对期望的对象进行成像而获得的偏振图像，并且操作进行至步骤ST2。
在步骤ST2中，信息处理单元获取校正参数。信息处理单元30的偏振状态计算单元31从校正参数存储单元32获取根据主透镜15的每个微透镜203的校正参数，并且操作进行至步骤ST3。
在步骤ST3中，信息处理单元计算偏振状态。偏振状态计算单元31通过使用像素组的每个像素的观察值和与该像素组的微透镜对应的校正参数进行式(3)的计算来计算斯托克斯矢量S。
以这种方式，根据信息处理单元的第一实施例，校正在主透镜中发生的偏振状态的改变，并且可以比以前更准确地计算对象的偏振状态。
<3-2.校正参数的生成>
接下来，将描述校正参数的生成。
在由偏振成像单元20使用主透镜15对发射作为照明光的、具有斯托克斯矢量S的线性偏振光的偏振照明单元进行成像的情况下，斯托克斯矢量S与偏振图像的对应像素的观察值之间的关系由式(4)给出。
[数学.4]
Figure BDA0002772160590000101
此外，由偏振像素生成的观察值通常满足I0+I90＝I45+I135，因此，式(4)可以转换成式(5)。此外，式(5)的矩阵A的逆是式(6)。
[数学.5]
Figure BDA0002772160590000102
Figure BDA0002772160590000103
通过从式(6)中去除第四列而获得的式(7)中所示的矩阵B可以用于基于式(8)来计算在观察到具有斯托克斯矢量S的照明光的情况下的观察值。
[数学.6]
Figure BDA0002772160590000111
Figure BDA0002772160590000112
此外，在具有斯托克斯矢量S的照明光通过透镜的情况下，当已经通过透镜的照明光被表示为斯托克斯矢量S'＝[s0，s1，s2]T时，那么照明光通过透镜之前的斯托克斯矢量S与照明光通过透镜之后的斯托克斯矢量S'＝[s0'，s1'，s2']T之间的关系由式(9)给出。注意，式(9)的矩阵M是穆勒矩阵，并且指示当照明光通过透镜时的偏振状态的改变，并且式(9)可以被表示为式(10)。
[数学.7]
S′＝MS…(9)
Figure BDA0002772160590000113
因此，可以基于式(11)来计算由偏振成像单元20观察到具有斯托克斯矢量S的照明光的情况下的观察值。
[数学.8]
Figure BDA0002772160590000114
此处，在为2×2像素的每个像素组设置了微透镜的情况下，入射在对应像素上的多条光通过主透镜15中的不同区域，并且不同的穆勒矩阵与对应像素相对应。此处，与图7所示的左上透镜区域LA1对应的穆勒矩阵被表示为M1，与右上透镜区域LA2对应的穆勒矩阵被表示为M2，与左下透镜区域LA3对应的穆勒矩阵被表示为M3，并且与右下透镜区域LA4对应的穆勒矩阵被表示为M4。在这种情况下，使用式(12)来计算具有斯托克斯矢量S的光通过透镜的每个部分的情况下的对应偏振方向的观察值In＝[I0 n、I45 n、I90 n、I135 n](n＝1、2、3或4)。
[数学.9]
ln＝BMnS(n＝1，2，3，4)…(12)
然而，如上所述，入射在像素201a上的照明光已经通过透镜的右下四分之一区域LA4。此外，入射在像素201b上的照明光已经通过透镜的左下四分之一区域LA3，入射在像素201c上的照明光已经通过透镜的右上四分之一区域LA2，并且入射在像素201d上的照明光已经通过透镜的左上四分之一区域LA1。因此，实际观察值由式(13)给出。注意，式(13)中的mrc n指示穆勒矩阵Mn的第r行第c列中的元素。此外，式(13)的每一行是独立的，并且在各行之间没有共同的mrc n。
[数学.10]
Figure BDA0002772160590000121
例如，可以基于式(14)来计算像素201a的观察值I0 4。此外，当针对具有斯托克斯矢量S的照明光获得6组观察值I0 4时，可以计算式(14)中的mrc 4。以类似的方式，计算元素mrc 1、mrc 2、和mrc 3，并且然后可以基于观察值来计算斯托克斯矢量S。即，计算元素mrc 1、mrc 2、mrc 3、和mrc 4，并且将其用作校正参数P。
[数学.11]
Figure BDA0002772160590000122
图9示出了生成校正参数的校准装置的配置。校准装置50包括上述主透镜15和用于获取偏振图像的偏振成像单元20、偏振照明单元51和校正参数生成单元52。偏振照明单元51朝向主透镜15发射具有已知偏振方向的线性偏振光作为照明光。偏振成像单元20通过使用主透镜15对偏振照明单元51进行成像以获取偏振图像。校正参数生成单元52控制偏振照明单元51切换到具有不同斯托克斯矢量S的照明光并且输出该照明光。此外，校正参数生成单元52控制偏振成像单元20在从偏振照明单元51输出的照明光的每次切换时获取偏振图像。此外，校正参数生成单元52使用下述偏振图像来生成每个微透镜的校正参数：针对具有不同斯托克斯矢量S的多种类型照明光中的每一种而获取了一个偏振图像。
具体地，偏振光照明单元51被配置成在具有不同斯托克斯矢量S的六种类型的线性偏振光之间切换并且发射线性偏振光作为照明光，并且校正参数生成单元52使偏振成像单元20针对具有不同斯托克斯矢量S的六种类型的照明光中的每一种而获取偏振图像。基于具有不同斯托克斯矢量S的六种类型的照明光的捕获图像的观察值和照明光的斯托克斯矢量S，校正参数生成单元52如上所述的那样计算元素mrc 1、mrc 2、mrc 3、和mrc 4，并且将这些元素用作校正参数。
顺便提及，在图7所示的配置的情况下，折射是当偏振光通过透镜时改变偏振状态的仅有因素。折射的穆勒矩阵M由式(15)给出。
[数学.12]
Figure BDA0002772160590000131
因此，使用折射的穆勒矩阵使得可以更容易地计算校正参数。即，当使用折射的穆勒矩阵时，上述式(11)被转换为式式(16)，并且式(12)被转换为式(17)。这使得更容易计算校正参数。
[数学.13]
Figure BDA0002772160590000132
Figure BDA0002772160590000133
在式(17)中，an、bn和cn(n＝1、2、3或4)是对应于透镜的各部分的穆勒矩阵的元素。此外，根据以上式(1)和图3明显的是，偏振特性具有180度对称性，并且在具有180度对称性的光学系统中发生偏振状态的相同改变。为此，相同的穆勒矩阵对应于主透镜的左上区域LA1和右下区域LA4，并且相同的穆勒矩阵对应于右上区域LA2和左下区域LA3。即，满足“(a1,b1,c1)＝(a4,b4,c4)”和“(a2,b2,c2)＝(a3,b3,c3)”。因此，可以从具有一个偏振方向的偏振光获得两个等式。在这种情况下，由于在式(17)中存在五个未知数(例如，a1、b1、a2、b2和c2)，因此可以通过获得具有不同斯托克斯矢量S的三种类型的照明光的观察值来生成校正参数。
注意，可以将式(17)的矩阵的伪逆保存在校正参数存储单元32中，使得偏振态计算单元31可以计算斯托克斯矢量S。替选地，可以仅保存构成矩阵的五个未知数，使得可以在计算实际偏振状态时计算伪逆矩阵。此外，可以保存与所有微透镜对应的校正参数，或者可以保存与一些微透镜对应的校正参数。在这种情况下，对于对应的校正参数未被存储的微透镜，可以例如使用位于周围的微透镜的校正参数来执行插值处理并且计算校正参数。
<3-3.信息处理单元的第二实施例>
接下来，将描述信息处理单元的第二实施例。在第二实施例中，基于由偏振成像单元20获取的偏振图像来生成深度信息。此外，在基于偏振图像来生成深度信息的情况下，针对偏振成像单元中的每个微透镜的像素组包括具有相同偏振特性的像素集合。
图10示出了包括具有相同偏振特性的像素集合的像素布置。图10的(a)示出了具有相同偏振特性的像素集合是同一行中的非偏振像素PN01和PN02的情况。图10的(b)示出了以下情况：由位于n×n像素(n是等于或大于3的自然数)的二维区域中的像素(例如，3×3像素的二维区域中的像素)构成像素组，并且具有相同偏振特性的像素集合是具有相同偏振方向并且在同一行中彼此相距一个像素的偏振像素PP01和PP02。注意，具有相同偏振特性的像素集合不限于在像素组中的中间行中彼此相距一个像素的偏振像素的集合，并且可以是上方行或下方行中的偏振像素的集合。此外，具有相同偏振特性的像素集合可以是同一列中的像素。
图11示出了信息处理单元的第二实施例的配置。信息处理单元30包括偏振状态计算单元31、校正参数存储单元32和深度信息生成单元33。
偏振状态计算单元31和校正参数存储单元32具有与第一实施例中的配置类似的配置，并且偏振状态计算单元31基于由偏振成像单元20获取的具有多个偏振方向的偏振图像来计算对象的偏振状态。此外，偏振状态计算单元31使用存储在校正参数存储单元32中的校正参数来校正偏振图像中的由透镜引起的偏振状态的改变，并且计算对象的偏振状态。
深度信息生成单元33根据由偏振成像单元20获取的偏振图像生成多个视点图像，并且基于视点图像来计算到对象的距离。图12是用于描述多个视点图像的生成的图。深度信息生成单元33使用来自设置有微透镜的每个像素组的具有相同偏振特性的像素集合中的一个像素来生成第一图像并且使用另一个像素来生成第二图像。深度信息生成单元33例如使用非偏振像素PN01来生成第一图像G01并且使用非偏振像素PN02来生成第二图像G02，其中，非偏振像素PN01是来自2×2像素的每个像素组的具有相同偏振特性的像素集合中的一个像素，非偏振像素PN02是该像素集合中的另一个像素。如上所述，入射在非偏振像素PN01上的光和入射在非偏振像素PN02上的光通过了主透镜15的不同区域，并且非偏振像素PN01和非偏振像素PN02是具有不同视点的像素。即，使用来自每个像素组的具有相同偏振特性的像素集合中的一个像素的第一图像和使用另一个像素的第二图像对应于由立体摄像装置捕获的两个视点图像。因此，使用对应于由立体摄像装置捕获的两个视点图像的第一图像和第二图像按照与以前类似的方式来执行立体匹配处理，计算到对象的距离(深度)，并且输出用于指示所计算的距离的深度信息。
图13是示出信息处理单元的第二实施例的操作的流程图。在步骤ST11中，信息处理单元获取偏振图像。信息处理单元30获取通过利用偏振成像单元20使用主透镜15对期望的对象进行成像而获得的偏振图像，并且操作进行至步骤ST12。
在步骤ST12中，信息处理单元获取校正参数。信息处理单元30的偏振状态计算单元31从校正参数存储单元32获取根据主透镜15的每个微透镜203的校正参数，并且操作进行至步骤ST13。
在步骤ST13中，信息处理单元计算偏振状态。偏振状态计算单元31使用像素组的每个像素的观察值和与该像素组的微透镜对应的校正参数来计算斯托克斯矢量S，并且操作进行至步骤ST14。
在步骤ST14中，信息处理单元生成多视点图像。信息处理单元30的深度信息生成单元33使用来自设置有微透镜的每个像素组的具有相同偏振特性的像素集合中的一个像素来生成第一图像以及使用另一个像素来生成第二图像，作为多视点图像，并且然后操作进行至步骤ST15。
在步骤ST15中，信息处理单元生成深度信息。深度信息生成单元33使用在步骤ST14中生成的多视点图像执行立体匹配处理等，计算到对象的距离，并且生成用于指示所计算的距离的深度信息。
注意，第二实施例的操作不限于图13所示的顺序，只要在步骤ST13的处理之前执行步骤ST12的处理并且在步骤ST15的处理之前执行步骤ST14的处理即可。
以这种方式，根据信息处理单元的第二实施例，校正了在偏振图像中已经发生的由透镜引起的偏振状态的改变，并且可以比以前更准确地计算对象的偏振状态。此外，根据第二实施例，可以生成深度信息。
<3-4.信息处理单元的第三实施例>
接下来，将描述信息处理单元的第三实施例。在第三实施例中，生成了比第二实施例中的深度信息更准确的深度信息。
图14示出了信息处理单元的第三实施例的配置。信息处理单元30包括偏振状态计算单元31、校正参数存储单元32、深度信息生成单元33、法线信息生成单元34和信息集成单元35。
偏振状态计算单元31和校正参数存储单元32具有与第一实施例中的配置类似的配置，并且偏振状态计算单元31基于由偏振成像单元20获取的具有多个偏振方向的偏振图像来计算对象的偏振状态。此外，偏振状态计算单元31使用存储在校正参数存储单元32中的校正参数来校正偏振图像中的由透镜引起的偏振状态的改变，计算对象的偏振状态，并且将所计算的偏振状态输出至法线信息生成单元34。
具有与第一实施例中类似的配置的深度信息生成单元33根据由偏振成像单元20获取的偏振图像生成多个视点图像，基于视点图像来计算到对象的距离，并且将用于指示所计算的距离的深度信息输出至信息集成单元35。
法线信息生成单元34基于由偏振状态计算单元31计算的偏振状态来计算对象的法线。此处，当改变图2所示的偏振板42的偏振方向并且获得最小亮度Imin和最大亮度Imax时，可以基于式(18)计算偏振度ρ。此外，如式(18)所示，可以使用对象OB的相对折射率nr和天顶角θ来计算偏振度ρ，其中，天顶角θ是从z轴朝向法线的角度。注意，这种情况下的z轴是视线轴，其指示从对象OB的观察目标点朝向成像单元41的光线的方向。
[数学.14]
Figure BDA0002772160590000171
偏振度与天顶角之间的关系具有例如图15所示的特性，并且该特性可以被用于基于偏振度ρ来计算天顶角θ。注意，根据式(18)明显的是，图15所示的特性取决于相对折射率nr，并且偏振度随着相对折射率nr的增大而增大。
因此，法线信息生成单元34基于使用式(18)计算的偏振度ρ来计算天顶角θ。此外，生成用于指示天顶角θ和方位角
Figure BDA0002772160590000172
的法线信息并将其输出至信息集成单元35，其中，方位角
Figure BDA0002772160590000173
是观察到最大亮度Imax时的偏振角υ。
信息集成单元35对由深度信息生成单元33生成的深度信息和由法线信息生成单元34生成的法线信息进行集成，并且生成比由深度信息生成单元33计算的距离更准确的深度信息。
例如，在深度信息中未获取深度值的情况下，信息集成单元35基于由法线信息指示的对象的表面形状和由深度信息指示的深度值，从已获得深度值的像素开始跟踪对象的表面形状。信息集成单元35跟踪表面形状以计算与尚未获得深度值的像素对应的深度值。此外，信息集成单元35将估计的深度值包括在由深度信息生成单元33生成的深度信息中，从而生成并输出具有等于或高于由深度信息生成单元33生成的深度信息的准确度的准确度的深度信息。
图16是用于描述信息集成处理的图。注意，为了简化描述起见，将对一条线的集成处理作为示例进行描述。假设已经如图16的(a)所示对对象OB进行成像，已由深度信息生成单元33计算图16的(b)所示的深度值，并且已由法线信息生成单元34计算图16的(c)所示的法线。此外，在深度信息中，例如，假设最左侧像素的深度值为“2(米)”，并且对于用“x”表示的其他像素没有存储深度值。信息集成单元35基于法线信息来估计对象OB的表面形状。此处，可以基于从左端起的第二像素的法线方向，确定该像素对应于从与最左侧像素对应的对象表面沿朝着偏振成像单元20的方向倾斜的表面。因此，信息集成单元35从最左侧像素开始跟踪对象OB的表面形状，并且例如将从左端起的第二像素的深度值估计为“1.5(米)”。此外，信息集成单元35将估计的深度值存储在深度信息中。可以基于从左端起的第三像素的法线方向，确定该像素对应于面对偏振成像单元20的表面。因此，信息集成单元35从最左侧像素开始跟踪对象OB的表面形状，并且例如将从左端起的第三像素的深度值估计为“1(米)”。此外，信息集成单元35将估计的深度值存储在深度信息中。可以确定从左端起的第四像素对应于从与从左端起的第三像素对应的对象表面沿远离偏振成像单元20的方向倾斜的表面。因此，信息集成单元35从最左侧像素开始跟踪对象OB的表面形状，并且例如将从左端起的第四像素的深度值估计为“1.5(米)”。此外，信息集成单元35将估计的深度值存储在深度图中。以类似的方式，例如，从左端起的第五像素的深度值被估计为“2(米)”，并且被存储在深度图中。
以这种方式，信息集成单元35对深度信息和法线信息进行集成，通过基于法线信息从由深度信息指示的深度值开始跟踪表面形状来估计深度值。因此，甚至在由深度信息生成单元33生成的图16的(b)所示的深度信息中缺失一些深度值的情况下，信息集成单元35也可以补充缺失的深度值。因此，可以生成图16的(d)所示的深度信息，该深度信息具有等于或高于图16的(b)所示的深度信息的准确度的准确度。
图17是示出信息处理单元的第三实施例的操作的流程图。在步骤ST21中，信息处理单元获取偏振图像。信息处理单元30获取通过利用偏振成像单元20使用主透镜15对期望的对象进行成像而获得的偏振图像，并且操作进行至步骤ST22。
在步骤ST22中，信息处理单元获取校正参数。信息处理单元30的偏振状态计算单元31从校正参数存储单元32获取根据主透镜15的每个微透镜203的校正参数，并且操作进行至步骤ST23。
在步骤ST23中，信息处理单元计算偏振状态。偏振状态计算单元31使用像素组的每个像素的观察值和与该像素组的微透镜对应的校正参数来计算斯托克斯矢量S，并且操作进行至步骤ST24。
在步骤ST24中，信息处理单元生成多视点图像。信息处理单元30的深度信息生成单元33使用来自设置有微透镜的每个像素组的具有相同偏振特性的像素集合中的一个像素来生成第一图像以及使用另一个像素来生成第二图像，作为多视点图像，并且然后操作进行至步骤ST25。
在步骤ST25中，信息处理单元生成深度信息。深度信息生成单元33使用在步骤S24中生成的多视点图像执行立体匹配处理等，计算到对象的距离，并且生成用于指示所计算的距离的深度信息。然后，操作进行至步骤ST26。
在步骤ST26中，信息处理单元生成法线信息。信息处理单元30的法线信息生成单元34根据在步骤ST23中计算的偏振状态来计算天顶角和方位角，并且生成用于指示所计算的天顶角和方位角的法线信息。然后，操作进行至步骤ST27。
在步骤ST27中，信息处理单元执行信息集成处理。信息处理单元30的信息集成单元35对在步骤ST25中生成的深度信息和在步骤ST26中生成的法线信息进行集成，并且生成比在步骤ST25中生成的深度信息更准确的深度信息。
注意，第三实施例的操作不限于图17所示的顺序，只要在步骤ST23的处理之前执行步骤ST22的处理，在步骤ST26的处理之前执行步骤ST23的处理，在步骤ST25的处理之前执行步骤ST24的处理，并且在步骤ST27的处理之前执行步骤ST25、ST26的处理即可。
以这种方式，根据信息处理单元的第三实施例，校正了在主透镜中发生的偏振状态的改变，并且可以比以前更准确地计算对象的偏振状态。此外，可以基于所计算的对象的偏振状态来准确地生成法线信息。此外，可以通过将基于由偏振成像单元获取的偏振图像而生成的深度信息和法线信息进行集成来生成准确的深度信息。
<3-5.信息处理单元的其他实施例>
在信息处理单元的第二实施例和第三实施例中，生成了深度信息。替选地，信息处理单元可以被配置成计算偏振状态并且生成法线信息而不生成深度信息。
此外，信息处理单元可以设置有图像处理单元，并且图像处理单元可以使用所计算的偏振状态来执行对对象的图像的图像处理，例如反射分量的调整或去除。如上所述，由偏振状态计算单元31计算的斯托克斯矢量S被用于校正在主透镜中发生的偏振状态的改变，并且比以前更准确地指示对象的偏振状态。因此，图像处理单元使用由偏振状态计算单元31计算的斯托克斯矢量S和式(7)所示的矩阵B来计算式(8)，并且使用每个偏振方向的计算的观察值来获得式(1)的偏振模型式。该偏振模型式的振幅指示镜面反射分量，并且最小值指示漫反射分量。这允许例如基于由偏振状态计算单元31计算的斯托克斯矢量S来准确地调整或去除镜面反射分量。
此外，偏振成像单元20和信息处理单元30不限于其被单独设置的情况。替选地，偏振成像单元20和信息处理单元30可以被整体配置，其中偏振成像单元20或信息处理单元30中的一者的配置被包括在另一者中。
<4.应用示例>
根据本公开的技术可以应用于各种领域。例如，根据本公开的技术可以具体化为安装在诸如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船舶或机器人的任何类型的对象上的装置。此外，该技术可以具体化为安装在工厂的生产过程中使用的设备或建设领域中使用的设备上的装置。当将该技术应用于这样的领域时，可以校正在偏振状态信息中发生的由透镜引起的偏振状态的改变，并且可以基于经校正的偏振状态信息准确地执行法线信息的生成、反射分量的分离等。因此，可以在三个维度上准确地把握周围环境，并且可以减少驾驶员或工人的疲劳。此外，可以更安全地执行自动驾驶等。
根据本公开的技术也可以应用于医疗领域。例如，当将该技术应用于在手术期间使用手术部位的捕获图像的情况时，可以准确地获得手术部位的三维形状的图像或没有反射的图像。这减少了操作者的疲劳，并且实现了更安全且更可靠的手术。
此外，根据本公开的技术可以应用于诸如公共服务的领域。例如，当将对象的图像发布在书籍、杂志等中时，可以从对象的图像中准确地去除不必要的反射分量等。
说明书中描述的一系列处理可以由硬件、软件或两者的组合来执行。在由软件执行处理的情况下，将记录有处理顺序的程序安装在内置在专用硬件中的计算机的存储器中，并且然后执行该程序。替选地，程序可以安装在能够执行各种类型的处理的通用计算机上，并且然后执行该程序。
例如，程序可以被预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)中。替选地，可以将程序暂时或永久地存储(记录)在可移除记录介质中，所述可移除记录介质例如是柔性盘、致密盘只读存储器(CD-ROM)、磁光盘(MO)盘、数字通用盘(DVD)、蓝光盘(注册商标)(BD)、磁盘或半导体存储卡。可以提供这样的可移除记录介质作为所谓的软件包。
此外，该程序可以从可移除记录介质安装在计算机上，或者可以经由诸如局域网(LAN)或因特网的网络从下载站点无线或有线地传输至计算机。计算机可以接收以此方式传输的程序，并且将程序安装在诸如内置硬盘的记录介质上。
注意，本文描述的效果仅是说明性的，并且不旨在是限制性的，并且可以存在未描述的附加效果。此外，本技术不应当被解释为限于上述技术的实施例。该技术的实施例以范例的形式公开了本技术，并且明显的是，本领域技术人员可以在不脱离本技术的要旨的情况下对实施例进行修改和替换。即，为了确定本技术的要旨，应当考虑权利要求。
此外，本技术的固态成像装置还可以如下所述的那样配置。
(1)一种固态成像装置，其中，
包括多个像素的每个像素组被设置有微透镜，
像素组包括具有不同偏振方向的至少三个偏振像素，
像素组中包括的像素对经由微透镜入射的光执行光电转换。
(2)根据(1)所述的固态成像装置，其中，
所述像素组包括具有相同偏振方向的两个像素。
(3)根据(2)所述的固态成像装置，其中，
所述像素组包括位于2×2像素的二维区域中的像素，并且
所述像素组由具有特定角度的偏振方向的偏振像素、具有与所述特定角度成45度角度差的偏振方向的偏振图像、以及两个非偏振像素构成。
(4)根据(2)所述的固态成像装置，其中，
所述像素组包括位于n×n像素(n是等于或大于3的自然数)的二维区域中的像素，并且
彼此至少相距至少一个像素的偏振像素具有相同的偏振方向。
(5)根据(1)至(4)中任一项所述的固态成像装置，其中，
每个所述像素组设置有滤色器，并且
相邻像素组的滤色器在允许通过的光的波长方面不同。
工业适用性
在该技术的固态成像装置、信息处理装置、信息处理方法和校准方法中，固态成像装置具有以下配置，在该配置中，包括多个像素的每个像素组设置有微透镜，并且像素组包括具有不同偏振方向的至少三个偏振像素，并且像素组中包括的像素对经由微透镜入射的光执行光电转换。此外，信息处理装置使用利用固态成像装置和主透镜获取的对象的偏振图像以及根据主透镜而针对每个微透镜预先设置的校正参数，计算该对象的偏振状态。因此，可以准确地获取偏振状态。因此，该技术适用于在三个维度上把握周围环境的领域、调整反射分量的领域等。
附图标记列表
10 系统
15 主透镜
20 偏振成像单元
30 信息处理单元
31 偏振状态计算单元
32 校正参数存储单元
33 深度信息生成单元
34 法线信息生成单元
35 信息集成单元
41 成像单元
42 偏振板
50 校准装置
51 偏振照明单元
52 校正参数生成单元
201a至201f 像素
202a至202d 偏振器
203 微透镜

Claims (13)

1.一种固态成像装置，其中，
包括多个像素的每个像素组设置有微透镜，
所述像素组包括具有不同偏振方向的至少三个偏振像素，
所述像素组中包括的像素对经由所述微透镜入射的光执行光电转换。
2.根据权利要求1所述的固态成像装置，其中，
所述像素组包括具有相同偏振方向的两个像素。
3.根据权利要求2所述的固态成像装置，其中，
所述像素组包括位于2×2像素的二维区域中的像素，并且
所述像素组由具有特定角度的偏振方向的偏振像素、具有与所述特定角度成45度角度差的偏振方向的偏振图像、以及两个非偏振像素构成。
4.根据权利要求2所述的固态成像装置，其中，
所述像素组包括位于n×n像素(n是等于或大于3的自然数)的二维区域中的像素，并且
彼此相距至少一个像素的偏振像素具有相同偏振方向。
5.根据权利要求1所述的固态成像装置，其中，
每个所述像素组设置有滤色器，并且
相邻像素组的滤色器在允许通过的光的波长方面不同。
6.一种信息处理装置，包括：
偏振状态计算单元，所述偏振状态计算单元通过使用利用主透镜和针对每个像素组设置有微透镜的固态成像装置而获取的对象的偏振图像、以及根据所述主透镜而针对每个微透镜预先设置的校正参数，计算所述对象的偏振状态，其中，每个像素组包括具有不同偏振方向的至少三个偏振像素。
7.根据权利要求6所述的信息处理装置，还包括：
深度信息生成单元，所述深度信息生成单元根据所述偏振图像生成多视点图像，并且基于所述多视点图像生成用于指示到所述对象的距离的深度信息。
8.根据权利要求7所述的信息处理装置，还包括：
法线信息生成单元，所述法线信息生成单元基于由所述偏振状态计算单元计算的所述对象的偏振状态来生成用于指示所述对象的法线的法线信息；以及
信息集成单元，所述信息集成单元基于由所述法线信息生成单元生成的所述法线信息来生成比由所述深度信息生成单元生成的深度信息更准确的深度信息。
9.根据权利要求7所述的信息处理装置，其中，
所述像素组包括具有相同偏振方向的两个像素，并且
所述深度信息生成单元使用每个所述像素组中的具有相同偏振方向的像素中的一个像素来生成一个视点图像，使用每个所述像素组中的具有相同偏振方向的像素中的另一像素来生成另一视点图像，并且基于所述一个视点图像和所述另一视点图像来生成用于指示到所述对象的距离的深度信息。
10.根据权利要求7所述的信息处理装置，还包括：
法线信息生成单元，所述法线信息生成单元基于由所述偏振状态计算单元计算的所述对象的偏振状态来生成用于指示所述对象的法线的法线信息。
11.一种信息处理方法，包括：
由偏振状态计算单元通过使用利用主透镜和针对每个像素组设置有微透镜的固态成像装置而获取的对象的偏振图像以及根据所述主透镜而针对每个微透镜预先设置的校正参数，计算所述对象的偏振状态，其中，每个像素组包括具有不同偏振方向的至少三个偏振像素。
12.一种校准方法，包括：
由校正参数生成单元生成用于将基于偏振图像计算的光源的偏振状态校正为所述光源的已知偏振状态的校正参数，所述偏振图像是通过使用主透镜和针对每个像素组设置有微透镜的固态成像装置对处于所述已知偏振状态的所述光源进行成像而获得的，其中，每个像素组包括具有不同偏振方向的至少三个偏振像素。
13.根据权利要求12所述的校准方法，其中，
所述校正参数生成单元控制所述光源的偏振状态的切换以及所述固态成像装置的成像以使所述固态成像装置针对多个偏振状态中的每一个来获取偏振图像，并且基于所获取的偏振图像来生成所述校正参数。
CN201980031730.9A 2018-05-18 2019-02-18 固态成像装置、用于信息处理的装置和方法以及校准方法 Withdrawn CN112106350A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018096043 2018-05-18
JP2018-096043 2018-05-18
PCT/JP2019/005778 WO2019220722A1 (ja) 2018-05-18 2019-02-18 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法

Publications (1)

Publication Number Publication Date
CN112106350A true CN112106350A (zh) 2020-12-18

Family

ID=68539984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031730.9A Withdrawn CN112106350A (zh) 2018-05-18 2019-02-18 固态成像装置、用于信息处理的装置和方法以及校准方法

Country Status (4)

Country Link
US (1) US20210235060A1 (zh)
JP (1) JPWO2019220722A1 (zh)
CN (1) CN112106350A (zh)
WO (1) WO2019220722A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243721B2 (ja) * 2018-06-05 2023-03-22 ソニーグループ株式会社 情報生成装置と情報生成方法およびプログラム
JP7238121B2 (ja) * 2019-06-11 2023-03-13 富士フイルム株式会社 撮像装置
CN112672008B (zh) * 2020-12-14 2022-09-06 杭州联吉技术有限公司 一种镜片的调整方法及装置
CN115855064B (zh) * 2023-02-15 2023-05-30 成都理工大学工程技术学院 一种基于imu多传感器融合的室内行人定位融合方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7582857B2 (en) * 2006-04-18 2009-09-01 The Trustees Of The University Of Pennsylvania Sensor and polarimetric filters for real-time extraction of polarimetric information at the focal plane
CN101584222B (zh) * 2007-05-31 2011-10-12 松下电器产业株式会社 图像处理装置
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US9464938B2 (en) * 2014-02-06 2016-10-11 The Boeing Company Systems and methods for measuring polarization of light in images
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
US9741163B2 (en) * 2015-12-22 2017-08-22 Raytheon Company 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections
JP7040447B2 (ja) * 2016-08-24 2022-03-23 ソニーグループ株式会社 画像処理装置および情報生成装置と情報生成方法
US11561084B2 (en) * 2017-04-19 2023-01-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Polarization sensitive devices, methods and applications

Also Published As

Publication number Publication date
JPWO2019220722A1 (ja) 2021-07-01
US20210235060A1 (en) 2021-07-29
WO2019220722A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
CN112106350A (zh) 固态成像装置、用于信息处理的装置和方法以及校准方法
US10574972B2 (en) Image processing device, image processing method, and imaging device
JP4852591B2 (ja) 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
US9041770B2 (en) Three-dimensional image capture device
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20220210322A1 (en) Imaging apparatus, image processing apparatus, and image processing method
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
CN115516283A (zh) 偏振成像摄像头
WO2019078032A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
JP5850648B2 (ja) 撮像装置
JP2014155071A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
WO2012153504A1 (ja) 撮像装置および撮像装置の制御プログラム
JP2010139624A (ja) 撮像素子および撮像装置
EP3958055A1 (en) Interchangeable lens, information processing device, information processing method, and program
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム
US20230239580A1 (en) Image processing apparatus, image processing method, and program
JP5476702B2 (ja) 撮像素子および撮像装置
JP5338118B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP2019219594A (ja) 処理装置、撮像装置、交換レンズ、処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201218

WW01 Invention patent application withdrawn after publication