CN112204364A - 信息生成装置、信息生成方法和程序 - Google Patents

信息生成装置、信息生成方法和程序 Download PDF

Info

Publication number
CN112204364A
CN112204364A CN201980036205.6A CN201980036205A CN112204364A CN 112204364 A CN112204364 A CN 112204364A CN 201980036205 A CN201980036205 A CN 201980036205A CN 112204364 A CN112204364 A CN 112204364A
Authority
CN
China
Prior art keywords
polarization
noise
information generating
noise amount
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980036205.6A
Other languages
English (en)
Inventor
三原基
海津俊
栗田哲平
平泽康孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112204364A publication Critical patent/CN112204364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3167—Modulator illumination systems for polarizing the light beam
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

信息生成装置30从偏振成像单元20获取针对至少3个(m≥3)偏振方向的观测值。噪声量计算单元35‑1基于第一偏振方向的观测值来计算噪声量。类似地，噪声量计算单元35‑2至35‑m基于第二偏振方向至第m偏振方向的观测值来计算噪声量。偏振模型估计单元36使用针对每个偏振方向的观测值和由噪声计算单元35‑1至35‑m计算的噪声量来对偏振模型进行估计。因此，可以计算出相对于噪声具有鲁棒性的偏振模型。

Description

信息生成装置、信息生成方法和程序
技术领域
该技术涉及信息生成装置、信息生成方法和程序，并且对针对噪声具有鲁棒性的偏振模型进行计算。
背景技术
当通过使用偏振来分离反射分量等时，已经实践了将通过偏振器透射的透射光的强度拟合为作为偏振模型的余弦曲线。例如，在专利文献1中，基于拟合后的余弦曲线来执行非偏振分量和作为反射分量的偏振分量的分离。此外，在专利文献2中，通过基于低灵敏度偏振图像对低灵敏度偏振模型进行计算并且对具有与来自高灵敏度偏振图像中不饱和图像的低灵敏度偏振模型相同相位分量的高灵敏度偏振模型进行计算来以高灵敏度获得对象的偏振特性。
引用列表
专利文献
专利文献1：日本专利第4974543号
专利文献2：WO 2017/085993 A
发明内容
本发明要解决的问题
顺便提及，已知在根据高灵敏度偏振图像中的不饱和图像计算高灵敏度偏振模型的情况下，在通过最小二乘法进行的函数拟合中，在观测值的变化遵循具有相同方差的正态分布的情况下，拟合精度良好。因此，例如，当偏振图像包括其中方差根据亮度而变化的图像传感器的散粒噪声时，计算出的偏振模型的精度降低。
因此，本技术的目的是提供一种能够对针对噪声具有鲁棒性的偏振模型进行计算的信息生成装置、信息生成方法和程序。
问题的解决方案
该技术的第一方面在于一种信息生成装置，该信息生成装置包括：
噪声量计算单元，其基于针对多个偏振方向中的每一个的观测值来计算噪声量；以及
偏振模型估计单元，其通过使用观测值和由噪声量计算单元计算出的噪声量来对偏振模型进行估计。
在该技术中，通过使用示出了针对多个偏振方向中的每一个的观测值与方差之间的关系的噪声方差模型，将取决于观测值的方差计算为噪声量。可以预先存储噪声方差模型，或者通过根据捕获的图像对多个观测区域例如平坦区域或静止区域进行检测，并且根据观测区域中的每一个中的多个观测值和平均观测值来获得方差，可以根据多个观测区域中的平均观测值和方差来生成噪声方差模型。信息生成装置通过使用观测值和计算出的噪声量来对偏振模型进行估计，或者检测饱和状态下的观测值，并且不使用饱和状态下的观测值来对偏振模型进行估计。
此外，执行使针对具有不同灵敏度或曝光时间的多个驱动模式中的每一个获取的多个偏振方向中的每一个的观测值一致的水平校正，并且通过使用校正后的观测值、水平校正中使用的校正增益以及噪声方差模型来计算噪声量。此外，可以通过使用校正后的观测值和计算出的噪声量来对偏振模型进行估计。
针对多个偏振方向中的每一个的观测值，使用其中偏振方向为三个或更多个方向的观测值。此外，可以包括偏振成像单元，该偏振成像单元获取针对多个偏振方向中的每一个的观测值。此外，偏振成像单元可以存储噪声方差模型，并且噪声量计算单元可以通过使用存储在偏振成像单元中的噪声方差模型来计算噪声量。
该技术的第二方面在于：
一种信息生成方法，包括：
基于针对多个偏振方向中的每一个的观测值，通过噪声量计算单元来计算噪声量；以及
通过偏振模型估计单元通过使用观测值和由噪声量计算单元计算出的噪声量来对偏振模型进行估计。
该技术的第三方面在于：
一种程序，该程序使计算机基于针对多个偏振方向中的每一个的观测值执行信息的生成，
该程序使计算机执行：
基于针对多个偏振方向中的每一个的观测值来计算噪声量的过程；以及
通过使用观测值和计算出的噪声量来对偏振模型进行估计的过程。
注意，本技术的程序例如是可以被提供给能够通过以计算机可读形式提供的存储介质、通信介质来执行各种程序代码的通用计算机的程序，例如，诸如光盘、磁盘或半导体存储器的存储介质或者诸如网络的通信介质。通过以计算机可读形式提供这样的程序，根据计算机上的程序来实现处理。
本发明的效果
根据该技术，通过基于针对多个偏振方向中的每一个的观测值来计算噪声量并且使用观测值和计算出的噪声量来估计偏振模型。因此，变得可以计算对于噪声具有鲁棒性的偏振模型。注意，在本说明书中描述的有利效果仅是示例，并且本技术的有利效果不限于这些效果并且可以包括附加效果。
附图说明
图1是例示信息生成系统的配置的图。
图2是例示偏振成像单元的配置的图。
图3是例示信息生成单元的第一实施方式的配置的图。
图4是示出第一实施方式的操作的流程图。
图5是例示针对应当具有相同亮度的每个区域的观测值的图。
图6是例示信息生成单元的第二实施方式的配置的图。
图7是示出第二实施方式的操作的流程图。
图8是例示信息生成单元的第三实施方式的配置的图。
图9是例示噪声方差模型估计单元的操作的图。
图10是示出第三实施方式的操作的流程图。
图11是例示第四实施方式中的噪声方差模型估计单元的操作的图。
图12是示出第四实施方式的操作的流程图。
图13是例示信息生成单元的第五实施方式的配置的图。
图14是例示水平校正单元的操作的图。
图15是示出第五实施方式的操作的流程图。
图16是例示信息生成单元的第六实施方式的配置的图。
图17是示出第六实施方式的操作的流程图。
具体实施方式
以下是用于实施本技术的实施方式的描述。注意，将按以下顺序进行描述。
1.信息生成系统
2.偏振成像单元
2-1.偏振图像的噪声
3.信息生成单元
3-1.第一实施方式
3-2.噪声方差模型的系数
3-3.第二实施方式
3-4.第三实施方式
3-5.第四实施方式
3-6.第五实施方式
3-7.第六实施方式
3-8.其他实施方式
4.从偏振模型获得的信息
5.应用示例
<1.信息生成系统>
当在旋转偏振元件的同时观测场景时，观测值(亮度)根据偏振元件的方向而改变。此处，当偏振元件的旋转角(偏振角)为“υ”时，能够通过等式(1)所示的偏振模型来表示观测值的变化。
I(υ)＝Asin(2υ)+Bcos(2υ)+C…(1)
图1例示了信息生成系统的配置。信息生成系统10包括偏振成像单元20和信息生成单元30。偏振成像单元20获取期望的对象的偏振图像，信息生成单元30基于由该偏振成像单元20获取的偏振图像来对针对期望的对象的偏振模型进行估计，并且计算等式(1)的参数A、B和C。
<2.偏振成像单元>
偏振成像单元20获取针对多个偏振方向中的每一个的观测值。图2例示了偏振成像单元的配置。例如，如图2的(a)所示，偏振成像单元20包括布置在图像传感器201中的具有多个偏振方向的像素配置的偏振滤光器202，并且偏振成像单元20获取偏振图像。注意，图2的(a)例示了偏振滤光器202布置在图像传感器201的前表面上的情况，其中每个像素是四个不同偏振方向(偏振方向由箭头指示)的像素中的任一个。如果如上所述配置偏振成像单元，则可以以2×2像素块的单位获取针对多个偏振方向中的每一个的观测值。此外，如果通过使用沿相同偏振方向的像素值执行插值处理并且对沿不同偏振方向的像素位置处的观测值进行计算，则可以针对每个像素获取针对多个偏振方向中的每一个的观测值。此外，例如，如图2的(b)所示，偏振成像单元20可以在将偏振成像单元20的透镜光轴作为旋转轴的情况下，通过在图像传感器201的前表面上设置如由箭头所示的可旋转的偏振板205并且通过对偏振板205的多个旋转位置中的每一个执行成像来获取针对多个偏振方向中的每一个的偏振图像。如果如上所述配置偏振成像单元，则对于不移动的对象，可以获取针对像素的多个偏振方向中的每一个的观测值。此外，尽管未示出，但是利用其中在多个成像单元的前面设置有具有不同偏振方向的偏振板的配置，可以通过使用来自相同位置的多个成像单元顺序地执行成像来生成具有不同偏振方向的多个偏振图像。
<2-1.偏振图像的噪声>
偏振成像单元20通过使用如上所述的图像传感器来配置，并且在图像传感器中生成的噪声被分类为固定图案噪声和随机噪声。固定图案噪声是与成像的时间无关而在图像上的固定位置处生成的噪声。由于光电二极管的放大电路的特性的变化而生成固定图案噪声。随机噪声主要由光学散粒噪声和热噪声生成。光学散粒噪声是通过下述事实而生成的：到达图像传感器的光电二极管的光子数目在统计上波动。虽然光学散粒噪声由泊松分布建模，但是光学散粒噪声被表示为在其中亮度在某种程度上大的区域中的正态分布。热噪声是通过下述事实而生成的噪声：放大器电路中的电阻器中的自由电子由于热运动而不规则振动，并且由正态分布表示。
因此，观测到的图像传感器的随机噪声被观测为主要通过将光学散粒噪声的正态分布和热噪声的正态分布相加在一起而获得的分布。也就是说，在图像传感器中生成的噪声由等式(2)所示的正态分布表示，其中分布的标准偏差σ(i)、方差σ2(i)和平均值i作为参数。注意，在通过使用图像传感器观测亮度的情况下，分布的平均值i对应于真实的亮度值。
[表达式1]
Figure BDA0002804331990000061
此外，已知由于散粒噪声引起的方差相对于亮度值线性增加，并且在本发明中，通过使用两个系数c0和c1将方差σ2(i)表示为等式(3)中所示的参数噪声方差模型。注意，噪声方差模型的系数c0对应于热噪声的分布的方差，而系数c1和观测值i的乘法结果对应于散粒噪声的分布的方差。此外，噪声方差模型的系数c0和c1的值根据图像传感器的驱动参数(例如，增益和曝光时间)而变化。注意，通过切换驱动参数执行的每个成像操作也被称为驱动模式。
σ2(i)＝c0+c1·i…(3)
<3.信息生成单元>
信息生成单元30至少包括噪声量计算单元和偏振模型估计单元。噪声量计算单元对由偏振成像单元20获取的各个多个偏振方向的观测值的方差进行计算。在本技术中，认为观测值的方差是由噪声生成的，并且计算观测值的方差即噪声的方差作为噪声量。偏振模型估计单元使用观测值和由噪声量计算单元计算出的噪声量以作为一组偏振像素的块为单位或以像素为单位来对偏振模型进行估计，在该偏振模型中，与由偏振成像单元获取的观测值的差异小。具体地，偏振模型估计单元基于由偏振成像单元20获取的偏振图像，通过使用噪声方差模型来对图像传感器中生成的噪声量进行计算，基于偏振图像和噪声量对偏振模型进行估计，并且计算等式(1)的参数A、B和C。由于计算出了三个参数A、B和C，因此信息生成单元30使用沿至少三个或更多个偏振方向(偏振方向可以包括非偏振)的观测值。此外，信息生成单元30通过使用沿三个或更多个偏振方向的观测值和方差来计算参数。
<3-1.第一实施方式>
图3例示了信息生成单元的第一实施方式的配置。信息生成单元30包括噪声量计算单元35-1至35-m以及偏振模型估计单元36。针对偏振成像单元的第一偏振亮度获取单元201-1至第m偏振亮度获取单元201-m分别设置噪声量计算单元35-1至35-m，该偏振成像单元生成用于参数的计算的像素值。例如，在偏振成像单元20具有图2的(a)中所示的配置的情况下，并且通过使用在2×2像素的二维区域内具有不同偏振方向的四个像素的观测值(亮度值)来计算参数，具有不同偏振方向的四个像素对应于第一偏振亮度获取单元201-1至第四偏振亮度获取单元201-4。此外，在偏振成像单元20具有图2的(b)中所示的配置的情况下，并且通过对于每个像素使用具有不同偏振方向的沿四个方向的观测值来计算参数，其中偏振板的偏振方向彼此不同的各个四个旋转位置的像素是第一偏振亮度获取单元201-1至第四偏振亮度获取单元201-4。
噪声量计算单元35-1至35-m各自计算噪声的方差作为噪声量。噪声方差模型的系数c0和c1的值被预先存储在噪声量计算单元35-1至35-m中，并且噪声量计算单元35-1至35-m基于等式(3)各自计算方差，其中将针对每个像素的观测值作为平均值i并且将方差输出至偏振模型估计单元36。注意，稍后将描述噪声方差模型的系数c0和c1的细节。
偏振模型估计单元36使用由偏振成像单元20获取的观测值(亮度值)和由噪声量计算单元35-1至35-m计算出的噪声量来计算偏振模型的参数A、B和C，使得例如根据噪声量和由偏振成像单元获取的观测值加权的偏振模型之间的差异最小化。具体地，使用加权最小二乘法对等式(4)执行计算并且计算参数A、B和C，使得平方误差最小化。等式(5)示出了在等式(4)中使用的矩阵F。等式(6)示出了在等式(4)中使用的矩阵I，并且矩阵I示出了由偏振成像单元20获取的观测值。此外，等式(7)示出了在等式(4)中使用的矩阵W，矩阵W中的对角线分量是方差的倒数，并且根据方差的倒数执行加权。注意，示出了“FT”是矩阵F的转置矩阵，并且()-1是逆矩阵。
[表达式2]
Figure BDA0002804331990000081
Figure BDA0002804331990000082
Figure BDA0002804331990000083
Figure BDA0002804331990000084
图4是示出第一实施方式的操作的流程图。在步骤ST1中，信息生成单元获取偏振图像。信息生成单元30获取偏振图像并且进行至步骤ST2，所述偏振图像示出了由偏振成像单元20生成的沿多个偏振方向的观测值。
在步骤ST2中，信息生成单元计算噪声量。信息生成单元30基于等式(3)通过使用预设系数c0和c1以及观测值来计算噪声量，并且进行至步骤ST3。
在步骤ST3中，信息生成单元计算参数。信息生成单元30通过使用在步骤ST1中获取的偏振图像的观测值和在步骤ST2中计算出的噪声量，通过例如最小二乘法来计算偏振模型的参数。
如上所述，根据第一实施方式变得可以对针对图像传感器中生成的噪声具有鲁棒性的偏振模型进行估计。
<3-2.噪声方差模型的系数>
接下来，将给出在噪声量计算单元35-1至35-m中使用的系数c0和c1的描述。噪声方差模型估计单元通过使用图表的偏振捕获图像来对噪声方差模型进行估计并且对噪声方差模型的系数c0和c1进行计算，所述图表具有利用以预定驱动模式设置的图像传感器获取的各种亮度。
噪声方差模型估计单元例如根据图表中应当具有相同亮度的区域的平均观测值和该区域中的每个观测值来测量观测值的变化。图5例示了针对应当具有相同亮度的每个区域的观测值。由图像传感器201成像的图表MK在图5的(a)中例示，并且图表MK包括例如具有不同亮度的四个区域Pa1至Pa4。在图5的(b)中，针对区域Pa1至Pa4的平均值ia1至ia4中的每一个，示出了针对图表的每个区域的观测值。在假定由于噪声引起的观测值的变化遵循正态分布的情况下，存在下述特性：当实际观测值为中心时，约99％的变化落在正态分布的标准偏差σ的三倍内。根据该特性，可以对观测值以什么标准偏差的水平变化进行估计。针对区域Pa1至Pa4的平均值ia1至ia4中的每一个，在图5的(c)中示出了方差。噪声方差模型估计单元执行线性回归以对等式(3)中所示的噪声方差模型的系数c0和c1进行计算，其中区域Pa1至Pa4的平均值ia1至ia4与区域Pa1至Pa4的方差之间的对应被拟合成直线。
<3-3.第二实施方式>
图6例示了信息生成单元的第二实施方式的配置。信息生成单元30具有其中针对第一实施方式还设置有饱和检测单元31-1至31-m的配置。与噪声量计算单元35-1至35-m类似，针对偏振成像单元的第一偏振亮度获取单元201-1至第m偏振亮度获取单元201-m分别设置饱和检测单元31-1至31-m，该偏振成像单元生成用于参数的计算的像素值。
饱和检测单元31-1至31-m各自检测饱和状态下的观测值。饱和检测单元31-1至31-m各自将观测值与图像传感器的最大输出值进行比较，并且将作为最大输出值的观测值确定为饱和状态下的像素(被称为饱和像素)。饱和检测单元31-1将指示检测到的饱和像素的饱和像素信息输出至噪声量计算单元35-1。类似地，饱和检测单元31-2至31-m将指示检测到的饱和像素的饱和像素信息输出至噪声量计算单元35-2至35-m。
噪声量计算单元35-1至35-m各自基于饱和像素信息和针对每个像素的观测值来计算方差。噪声量计算单元35-1至35-m各自例如将被确定为饱和像素信息中的饱和像素的像素的方差设置为预定值，使得偏振模型估计单元36通过排除饱和状态下的观测值来对偏振模型进行估计。具体地，将被确定为饱和像素的像素的方差设置为无穷大，并且将等式(7)中所示的矩阵W中的方差的倒数设置为“0”，从而通过排除饱和状态下的观测值来估计偏振模型。
偏振模型估计单元36使用由偏振成像单元20获取的观测值(亮度值)和由噪声量计算单元35-1至35-m计算出的噪声量来执行等式(4)的计算，并且通过最小二乘法计算偏振模型的参数A、B和C。
图7是示出第二实施方式的操作的流程图。在步骤ST11中，信息生成单元获取偏振图像。信息生成单元30获取偏振图像并且进行至步骤ST12，所述偏振图像示出了由偏振成像单元20生成的沿多个偏振方向的观测值。
在步骤ST12中，信息生成单元检测饱和像素。信息生成单元30将其观测值为图像传感器的最大输出值的像素设置为饱和像素，并且进行至步骤ST13。
在步骤ST13中，信息生成单元计算噪声量。基于步骤ST12中的饱和像素检测结果，信息生成单元30基于等式(2)通过使用预设系数c0和c1以及观测值的平均值i来计算不饱和像素的方差，并且将饱和像素的方差设置为无穷大。信息生成单元对饱和像素的方差和不饱和像素的方差进行计算作为噪声量，并且进行至步骤ST14。
在步骤ST14中，信息生成单元计算参数。信息生成单元30通过例如最小二乘法通过使用在步骤ST11中获取的偏振图像的观测值和在步骤ST13中计算出的噪声量来计算偏振模型的参数。
如上所述，类似于第一实施方式，根据第二实施方式变得可以对针对图像传感器中生成的噪声具有鲁棒性的偏振模型进行估计。此外，根据第二实施方式，在偏振模型的估计中排除了饱和像素，使得可以准确地估计偏振模型。
<3-4.第三实施方式>
接下来，在第三实施方式中，对噪声方差模型进行估计，从而不需要预先进行计算系数c0和c1的处理。通过从由偏振成像单元20获取的偏振图像中检测多个观测区域，并且从多个观测值和观测区域中的每一个的平均观测值中获得方差，基于平均观测值与多个观测区域中的方差之间的关系来对噪声方差模型进行估计。
图8例示了信息生成单元的第三实施方式的配置。信息生成单元30包括噪声方差模型估计单元33、噪声量计算单元35-1至35-m和偏振模型估计单元36。针对偏振成像单元的第一偏振亮度获取单元201-1至第m偏振亮度获取单元201-m分别设置噪声量计算单元35-1至35-m，该偏振成像单元生成用于参数的计算的观测值。
噪声方差模型估计单元33基于由第一偏振亮度获取单元201-1至第m偏振亮度获取单元201-m获取的观测值来对噪声方差模型进行估计。基于由第一偏振亮度获取单元201-1至第m偏振亮度获取单元201-m获取的观测值，噪声方差模型估计单元33对多个没有纹理的平坦区域(例如，其中观测值之间的差异在预设阈值内的沿二维方向的区域)进行检测，并且针对平坦区域中的每一个计算观测值的平均值和方差。假设平坦区域是例如其中观测值之间的差异在预设阈值内的区域。此外，噪声方差模型估计单元33执行线性回归以对等式(3)中所示的噪声方差模型的系数c0和c1进行计算，其中多个平坦区域的平均值与方差之间的对应被拟合成直线。噪声方差模型估计单元33将计算出的系数c0和c1输出至噪声量计算单元35-1至35-m。注意，如果噪声方差模型估计单元33通过使用利用在不同驱动模式下设置的图像传感器获取的观测值来对噪声方差模型进行估计，则平均值的变化大于一个驱动模式的情况下的平均值的变化，并且变得可以准确地对噪声方差模型进行估计。
图9例示了第三实施方式中的噪声方差模型估计单元的操作。噪声方差模型估计单元33从沿多个偏振方向的偏振图像中检测平坦区域。例如，在图9的(a)中例示了从偏振图像检测出的四个平坦区域Pb1至Pb4。对于平坦区域Pb1至Pb4的平均值ib1至ib4中的每一个，在图9的(b)中示出了观测值。注意，对于平坦区域的平均值，如果使用对于多个驱动模式中的每一个的平均值，而不限于一个驱动模式，则可以扩大平均值的分布。对于平坦区域Pb1至Pb4的平均值ib1至ib4中的每一个，在图9的(c)中示出了方差。如图9的(c)所示，噪声方差模型估计单元33执行线性回归以对等式(3)中所示的噪声方差模型的系数c0和c1进行计算，其中平坦区域Pb1至Pb4的平均值ib1至ib4与平坦区域Pb1至Pb4的方差之间的对应被拟合成直线。
噪声量计算单元35-1至35-m各自计算噪声的方差作为噪声量。噪声量计算单元35-1至35-m基于等式(3)通过使用由噪声方差模型估计单元33计算出的系数c0和c1来各自计算方差，其中针对每个像素的观测值作为等式(3)中的平均值i。噪声量计算单元35-1至35-m各自将计算出的方差作为噪声量输出至偏振模型估计单元36。
与第一实施方式类似，偏振模型估计单元36通过最小二乘法使用由偏振成像单元20获取的观测值和由噪声量计算单元35-1至35-m计算出的噪声量来计算偏振模型的参数A、B和C。
图10是示出第三实施方式的操作的流程图。在步骤ST21中，信息生成单元获取偏振图像。信息生成单元30获取偏振图像并且进行至步骤ST22，所述偏振图像示出了由偏振成像单元20生成的沿多个偏振方向的观测值。
在步骤ST22中，信息生成单元检测平坦区域。信息生成单元30从偏振图像中对多个没有纹理的平坦区域进行检测，并且进行至步骤ST23。
在步骤ST23中，信息生成单元对噪声方差模型进行估计。信息生成单元30通过对在步骤ST22中检测到的针对多个平坦区域中的每一个的观测值的平均和方差进行计算来执行线性回归，以及对等式(3)中所示的噪声方差模型的系数c0和c1进行计算，并且进行至步骤ST24。
在步骤ST24中，信息生成单元计算噪声量。信息生成单元30基于等式(3)通过使用在步骤ST22中计算出的系数c0和c1以及观测值来计算方差作为噪声量，并且进行至步骤ST25。
在步骤ST25中，信息生成单元计算参数。信息生成单元30通过例如最小二乘法通过使用在步骤ST21中获取的偏振图像的观测值和在步骤ST23中计算出的噪声量来计算偏振模型的参数。
如上所述，与第一实施方式类似，根据第三实施方式，即使不预先存储噪声方差模型的参数，也可以对噪声方差模型进行估计，并且变得可以对针对图像传感器中生成的噪声具有鲁棒性的偏振模型进行估计。
<3-5.第四实施方式>
接下来，将描述第四实施方式。在第三实施方式中，将多个平坦区域检测为多个观测区域，并且通过使用平坦区域的观测值来对噪声方差模型进行估计，但是在第四实施方式中，将多个静止区域检测为基于时间方向的多个偏振图像的观测区域。
信息生成单元的第四实施方式被配置成与第三实施方式类似，并且噪声方差模型估计单元33的操作与第三实施方式的操作不同。
噪声方差模型估计单元33例如基于针对由第一偏振亮度获取单元201-1至第m偏振亮度获取单元201-m获取的多个帧的观测值以及图像传感器的驱动模式来对噪声方差模型进行估计。例如，基于针对由第一偏振亮度获取单元201-1至第m偏振亮度获取单元201-m获取的多个帧的观测值，噪声方差模型估计单元33对多个不移动的静止区域(例如，其中在相同位置处的观测值的在时间方向上的差异在预设阈值内的区域)进行检测，并且对针对静止区域中的每一个的观测值的平均值和方差进行计算。此外，噪声方差模型估计单元33执行其中将多个静止区域的平均值与方差之间的对应拟合成直线的线性回归，并且对等式(3)中所示的噪声方差模型的系数c0和c1进行计算。噪声方差模型估计单元33将计算出的系数c0和c1输出至噪声量计算单元35-1至35-m。
图11例示了第四实施方式中的噪声方差模型估计单元的操作。在图11的(a)中示出了多个帧的偏振图像组。噪声方差模型估计单元33从偏振图像组中检测静止区域。假设图11的(a)例示了在时间t1和时间t2处的偏振图像，并且噪声方差模型估计单元33对例如四个静止区域Pc1至Pc4进行检测。对于静止区域Pc1至Pc4的平均值ic1至ic4中的每一个，在图11的(b)中示出了观测值。对于静止区域Pc1至Pc4的平均值ic1至ic4中的每一个，在图11的(c)中示出了方差。如图11的(c)所示，噪声方差模型生成单元33执行其中将静止区域Pc1至Pc4的平均值ic1至ic4与静止区域Pc1至Pc4的方差之间的对应拟合成直线的线性回归，并且对等式(3)中所示的噪声方差模型的系数c0和c1进行计算。
噪声量计算单元35-1至35-m各自计算噪声的方差作为噪声量。噪声量计算单元35-1至35-m基于等式(3)通过使用由噪声方差模型估计单元33计算出的系数c0和c1来各自计算方差，其中针对每个像素的观测值作为等式(3)中的平均值i。噪声量计算单元35-1至35-m各自将计算出的方差作为噪声量输出至偏振模型估计单元36。
与第一实施方式类似，偏振模型估计单元36通过最小二乘法使用由偏振成像单元20获取的观测值和由噪声量计算单元35-1至35-m计算出的噪声量来计算偏振模型的参数A、B和C。
图12是示出第四实施方式的操作的流程图。在步骤ST31中，信息生成单元获取多个帧的偏振图像。信息生成单元30获取由偏振成像单元20生成的多个帧的偏振图像，并且进行至步骤ST32。
在步骤ST32中，信息生成单元检测静止区域。信息生成单元30从在步骤ST31中获取的多个帧的偏振图像中检测多个静止区域，并且进行至步骤ST33。
在步骤ST33中，信息生成单元对噪声方差模型进行估计。信息生成单元30通过对在步骤ST32中检测到的针对多个静止区域中的每一个的观测值的平均和方差进行计算来执行线性回归，计算等式(3)中所示的噪声方差模型的系数c0、c1，并且进行至步骤ST34。
在步骤ST34中，信息生成单元计算噪声量。信息生成单元30基于等式(3)通过使用在步骤ST33中计算出的系数c0和c1以及观测值来计算方差作为噪声量，并且进行至步骤ST35。
在步骤ST35中，信息生成单元计算参数。信息生成单元30通过例如最小二乘法通过使用在步骤ST31中获取的偏振图像的观测值和在步骤ST33中计算出的噪声量来计算偏振模型的参数。
如上所述，与第三实施方式类似，根据第四实施方式，即使不预先存储噪声方差模型的参数，也可以对噪声方差模型进行估计，并且变得可以对针对图像传感器中生成的噪声具有鲁棒性的偏振模型进行估计。
<3-6.第五实施方式>
接下来，在第五实施方式中，以比第一实施方式至第四实施方式的动态范围更高的动态范围来对偏振模型进行估计。第五实施方式的偏振成像单元20通过切换驱动模式并且在多个驱动模式下执行成像来获取多个驱动模式下的偏振图像。信息生成单元30基于由偏振成像单元20获取的多个模式下的偏振图像基于观测值和针对观测值的灵敏度来对偏振模型进行估计。
偏振成像单元20被配置成能够改变灵敏度或曝光时间，并且每当灵敏度或曝光时间改变时获取偏振图像。例如，在偏振成像单元20具有图2的(a)中所示的配置的情况下，可以在多个不同的驱动模式下执行成像以获取多个偏振图像，或者可以使针对每个像素的曝光时间可变以在一个成像中获取包括不同曝光时间的多个观测值的偏振图像。此外，通过针对每个像素设置具有不同的光衰减量的中性密度滤光器，可以通过一个成像来获取包括处于不同灵敏度的多个观测值的偏振图像。此外，在偏振成像单元20具有图2的(b)中所示的配置的情况下，例如，在多个不同的驱动模式下执行以沿期望的多个方向设置偏振板的偏振方向来获取偏振图像的操作。注意，偏振成像单元20仅需要获取具有不同灵敏度或曝光时间的多个偏振图像，并且不限于上述配置。
图13例示了信息生成单元的第五实施方式的配置。注意，图13示出了下述情况：其中针对n种类型的驱动模式中的每一个提供用于获取沿m种类型的偏振方向的观测值的像素组作为偏振成像单元20，并且针对第一驱动模式至第n驱动模式中的每一个沿第一偏振方向υ1至第m偏振方向υm获取观测值。此外，在第一驱动模式下沿第一偏振方向的观测值为“i1,1”，在第一驱动模式下沿第二偏振方向的观测值为“i1,2”……在第n驱动模式下沿第m偏振方向的观测值为“in,m”。
信息生成单元30包括水平校正单元32-1,1至32-1,m、……、32-n,1至32-n,m、噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m和偏振模型估计单元36。
水平校正单元32-1,1至32-1,m、……、32-n,1至32-n,m各自执行使针对多个偏振方向中的每一个的观测值一致的水平校正，所述观测值是针对多个操作模式中的每一个获取的。例如，水平校正单元32-1,1利用增益来对取决于获取的偏振图像的灵敏度和曝光时间的观测值进行校正，并且将经校正的观测值输出至噪声量计算单元35-1,1和偏振模型估计单元36。类似地，水平校正单元32-2,1至32-2,m、……、32-n,1至32-n,m利用增益来对取决于获取的偏振图像的灵敏度和曝光时间的观测值进行校正，并且将经校正的观测值输出至噪声量计算单元35-2,1至35-2,m、……、35-n,1至35-n,m和偏振模型估计单元36。水平校正单元32-1,1至32-1,m、……、32-n,1至32-n,m设置增益，使得对于每个偏振方向的观测值彼此相等，而与灵敏度或曝光时间无关。
图14例示了水平校正单元的操作，并且注意，图14示出了水平校正单元32-1,1至32-1,m和32-n,1至32-n,m的操作，例如，在偏振方向的数目为m的情况下。例如，水平校正单元32-1,1将由偏振成像单元20中的第一灵敏度的偏振亮度获取单元获取的沿偏振方向υ1的观测值“i1,1”乘以r1。类似地，水平校正单元32-1,2至32-1,m将由第一灵敏度的偏振亮度获取单元获取的沿偏振方向υ2至υm的观测值“i1,2、i1,3、……、i1,m”乘以r1。此外，水平校正单元32-n,1将由偏振成像单元20中的第n灵敏度的偏振亮度获取单元获取的沿偏振方向υ1的观测值“in,1”乘以rn。类似地，水平校正单元32-n,2至32-n,m将由第n灵敏度的偏振亮度获取单元获取的沿偏振方向υ2至υm的观测值“in,2、in,3、……、in,m”乘以rn。因此，水平校正后的观测值为“r1×i1,1＝rn×in,1”、“r1×i1,2＝rn×in,2”、“r1×i1,3＝rn×in,3”、……、“r1×i1,m＝rn×in,m”。
噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m各自计算噪声的方差作为噪声量。在将观测值i校正为观测值“r×i”的情况下，噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m将方差设置为“r2×σ2(i)”。噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m将计算出的方差作为噪声量输出至偏振模型估计单元36。
偏振模型估计单元36使用在对由偏振成像单元20获取的观测值进行水平校正之后的观测值以及由噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m计算出的噪声量基于等式(8)来计算偏振模型的参数A、B和C。等式(9)示出了在等式(8)中使用的矩阵F。等式(10)示出了在等式(8)中使用的矩阵I，并且矩阵I示出了由偏振成像单元20获取的观测值。此外，等式(11)示出了在等式(8)中使用的矩阵W，并且矩阵W是示出了方差的倒数的对角矩阵。
[表达式3]
Figure BDA0002804331990000161
Figure BDA0002804331990000162
Figure BDA0002804331990000163
Figure BDA0002804331990000164
图15是示出第五实施方式的操作的流程图。在步骤ST41中，信息生成单元获取多个驱动模式下的偏振图像。信息生成单元30获取由偏振成像单元20生成的多个驱动模式下的偏振图像，并且进行至步骤ST42。
在步骤ST42中，信息生成单元执行水平校正。信息生成单元30对在步骤ST41中获取的偏振图像执行水平校正，执行水平校正使得多个驱动模式下的偏振图像的观测值在相同的像素位置处彼此相等，并且进行至步骤ST43。
在步骤ST43中，信息生成单元计算噪声量。信息生成单元30基于等式(3)通过使用预设系数c0和c1以及在步骤ST42中校正的观测值来计算噪声的方差作为噪声量，并且进行至步骤ST44。
在步骤ST44中，信息生成单元计算参数。信息生成单元30通过例如最小二乘法通过使用在步骤ST42中校正的观测值和在步骤ST43中计算出的噪声量来计算偏振模型的参数。
如上所述，根据第五实施方式，可以根据在多个不同驱动模式下获取的偏振图像来对具有高动态范围并且其中噪声被最大抑制的偏振模型进行估计。
<3-7.第六实施方式>
接下来，在第六实施方式中，在不使用饱和像素的情况下，以比第一实施方式至第四实施方式的动态范围更高的动态范围来对偏振模型进行估计。第六实施方式的偏振成像单元20通过切换驱动模式并且在多个驱动模式下执行成像来获取多个驱动模式下的偏振图像。信息生成单元30基于由偏振成像单元20获取的对于各个多个驱动模式的偏振图像在不使用饱和像素的情况下对偏振模型进行估计。
偏振成像单元20被配置成能够与第五实施方式类似地改变灵敏度或曝光时间，每当灵敏度或曝光时间改变时获取偏振图像，并且将获取的偏振图像输出至信息生成单元30。
图16例示了信息生成单元的第六实施方式的配置。注意，示出了其中偏振成像单元20在第一驱动模式至第n驱动模式中的每一个下沿第一偏振方向υ1至第m偏振方向υm获取观测值的情况。此外，在第一驱动模式下沿第一偏振方向的观测值为“i1,1”，在第一驱动模式下沿第二偏振方向的观测值为“i1,2”……在第n驱动模式下沿第m偏振方向的观测值为“in,m”。
信息生成单元30包括饱和检测单元31-1,1至31-1,m、……、31-n,1至31-n,m、水平校正单元32-1,1至32-1,m、……、32-n,1至32-n,m、噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m和偏振模型估计单元36。
饱和检测单元31-1,1确定在第一驱动模式下沿第一偏振方向的观测值是否在饱和状态下，并且将确定结果输出至噪声量计算单元35-1,1。饱和检测单元31-1,2确定在第一驱动模式下沿第二偏振方向的观测值是否在饱和状态下，并且将确定结果输出至噪声量计算单元35-1,2。饱和检测单元31-1,3至31-1,m、……、31-n,1至31-n,m也类似地执行饱和像素的确定，并且将确定结果输出至噪声量计算单元35-1,3至35-1,m、……、35-n,1至35-n,m。
水平校正单元32-1,1利用增益来对取决于获取的偏振图像的灵敏度和曝光时间的观测值进行校正，并且将经校正的观测值输出至噪声量计算单元35-1,1和偏振模型估计单元36。类似地，水平校正单元32-1,2至32-1,m、……、32-n,1至32-n,m还类似地利用增益来对取决于获取的偏振图像的灵敏度和曝光时间的观测值进行校正，并且将经校正的观测值输出至噪声量计算单元35-1,2至35-1,m、……、35-n,1至35-n,m和偏振模型估计单元36。水平校正单元32-1,1至32-1,m、……、32-n,1至32-n,m设置增益，使得对于每个偏振方向的观测值彼此相等，而与灵敏度或曝光时间无关。
噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m各自计算噪声的方差作为噪声量。在将观测值i校正为观测值r×i的情况下，噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m将方差设置为“r2×σ2(i)”。此外，在由饱和检测单元31-1,1将像素确定为饱和像素的情况下，噪声量计算单元35-1,1将方差设置为无穷大。类似地，在由饱和检测单元31-1,2至31-1,m、……、31-n,1至31-n,m将像素确定为饱和像素的情况下，噪声量计算单元35-1,2至35-1,m、……、35-n,1至35-n,m将方差设置为无穷大。噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m将计算出的方差作为噪声量输出至偏振模型估计单元36。
偏振模型估计单元36使用在对由偏振成像单元20获取的观测值进行水平校正之后的观测值以及由噪声量计算单元35-1,1至35-1,m、……、35-n,1至35-n,m计算出的噪声量来计算偏振模型的参数A、B和C。
图17是示出第六实施方式的操作的流程图。在步骤ST51中，信息生成单元获取多个驱动模式下的偏振图像。信息生成单元30获取由偏振成像单元20生成的多个驱动模式下的偏振图像，并且进行至步骤ST52。
在步骤ST52中，信息生成单元检测饱和像素。信息生成单元30将其观测值为图像传感器的最大输出值的像素设置为饱和像素，并且进行至步骤ST53。
在步骤ST53中，信息生成单元执行水平校正。信息生成单元30对在步骤ST51中获取的偏振图像执行水平校正，执行水平校正使得多个驱动模式下的偏振图像的观测值在相同的像素位置处彼此相等，并且进行至步骤ST54。
在步骤ST54中，信息生成单元计算噪声量。信息生成单元30基于等式(3)通过使用预设系数c0和c1以及在步骤ST53中校正的观测值来计算方差作为噪声量。此外，信息生成单元30将在步骤ST52中检测到的饱和像素的方差设置为无穷大，并且进行至步骤ST55。
在步骤ST55中，信息生成单元计算参数。信息生成单元30通过例如最小二乘法通过使用在步骤ST53中校正的观测值和在步骤ST54中计算出的噪声量来计算偏振模型的参数。
如上所述，与第五实施方式类似，根据第六实施方式，可以根据在多个不同驱动模式下获取的偏振图像来对具有高动态范围并且其中噪声被最大抑制的偏振模型进行估计。此外，根据第六实施方式，在偏振模型的估计中排除了饱和像素，使得可以准确地对偏振模型进行估计。注意，在水平校正单元的增益高并且经校正的观测值在饱和状态下的情况下，在偏振模型的估计中可以将饱和状态下的像素排除为饱和像素。
<3-8.其他实施方式>
偏振成像单元20和信息处理单元30不限于单独设置，并且偏振成像单元20和信息处理单元30可以整体配置，并且偏振成像单元20和信息处理单元30中的一个可以包括在另一个中。
此外，在上述实施方式中，描述了下述情况：其中将噪声方差模型的系数c0和c1预先存储在噪声量计算单元中，或者其中噪声方差模型估计单元计算噪声方差模型的系数c0和c1的情况。然而，信息生成单元30可以从偏振成像单元20获取噪声方差模型的系数c0和c1。例如，在偏振成像单元20和信息处理单元30单独设置的情况下，当制造偏振成像单元20时对噪声方差模型进行估计，并且存储系数c0和c1。此外，当输出观测值时，偏振成像单元20输出噪声方差模型的系数c0和c1作为附加信息。当根据观测值对正态模型进行估计时，信息生成单元30通过使用被指示为观测值的附加信息的噪声方差模型的系数c0和c1来计算噪声量。如果使用这样的配置，则即使在切换和使用不同的偏振成像单元20的情况下，也变得可以容易地对针对噪声具有鲁棒性的正态模型进行估计。
此外，在第五实施方式中，针对每个驱动模式和每个偏振方向设置水平校正单元和噪声量计算单元，并且在第六实施方式中，针对每个驱动模式和每个偏振方向设置饱和检测单元、水平校正单元和噪声量计算单元；然而，例如，在其中通过在改变驱动模式的同时执行多次成像来获取偏振图像的情况下，可以仅针对一个驱动模式设置针对每个偏振方向的水平校正单元、噪声量计算单元和饱和检测单元以对每个驱动模式顺序执行处理，并且偏振模型估计单元可以通过使用每个驱动模式的观测值和噪声量来对正态模型进行估计。如果使用这样的配置，则可以简单地配置信息生成单元。
<4.从偏振模型获得的信息>
接下来，将例示从偏振模型获得的信息。当坐标系改变时，等式(1)中所示的偏振模型等式变为等式(12)。基于等式(13)计算等式(12)中的偏振度ρ，并且基于等式(14)计算方位角
Figure BDA0002804331990000203
注意，偏振度ρ指示偏振模型等式的振幅，并且方位角
Figure BDA0002804331990000204
指示偏振模型等式的相位。
[表达式4]
I(υ)＝C·(1+ρ·cos(2(υ-φ))…(12)
Figure BDA0002804331990000201
Figure BDA0002804331990000202
已知如果对象的偏振度和折射率是清楚的，则可以计算出天顶角θ(例如，WO2016/088483A)。因此，可以通过使用偏振模型等式来生成指示方位角
Figure BDA0002804331990000205
和天顶角θ的法线信息。此外，参数C指示观测值的平均，并且偏振度ρ指示偏振模型等式的振幅。因此，可以通过从平均值中减去最大振幅来计算漫反射分量。此外，可以通过从观测值中减去漫反射分量来计算镜面反射分量。也就是说，通过由使用根据本公开内容的技术对针对噪声具有鲁棒性的偏振模型进行估计，可以生成针对噪声具有鲁棒性的法线信息并且计算反射分量，使得例如可以获得具有比以前更高的S/N比的反射减少的图像，并且可以以比以前更高的精度对对象的表面方向进行估计。此外，可以获得具有比以前更高的S/N比的任意偏振方向图像(伪PL滤光器图像)。
<5.应用示例>
根据本公开内容的技术可以应用于各种领域。本技术可以应用于安装在任何类型的移动体上的装置，例如，汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动、飞机、无人机、轮船、机器人等。此外，本技术可以应用于安装在工厂的生产过程中使用的装置上或在建筑领域中使用的装置上的装置。当本技术应用于这样的领域时，通过例如基于估计的偏振模型生成法线信息，可以在三个维度上准确地把握周围环境，并且可以减少驾驶者或工人的疲劳。此外，变得可以更安全地执行自动驾驶等。
根据本公开内容的技术也可以应用于医疗领域。例如，如果生成法线信息，基于估计的偏振模型而去除镜面反射分量等，则可以准确地获得手术部位的三维形状或无反射的图像，并且变得可以减少外科医生的疲劳，并且安全以及更可靠地执行手术。此外，根据本公开内容的技术可以应用于诸如公共服务的领域。例如，当将对象的图像发布在书、杂志等中时，可以基于估计的偏振模型从对象的图像中准确地去除不必要的反射分量等。
说明书中描述的一系列处理步骤可以由硬件、软件或两者的组合来执行。在执行通过软件进行的处理的情况下，将记录处理序列的程序安装在并入专用硬件中的计算机中的存储器中，并且执行该程序。可替选地，可以在能够执行各种类型的处理的通用计算机中安装和执行该程序。
例如，程序可以被预先记录在作为记录介质的只读存储器(ROM)、固态驱动器(SSD)或硬盘中。可替选地，程序可以被暂时地或永久地存储(记录)在可移除记录介质中，该可移除记录介质例如为软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、Blu-ray Disc(蓝光盘，注册商标)(BD)、磁盘或半导体存储卡。可以提供这样的可移除记录介质作为所谓的封装软件。
此外，除了从可移除记录介质安装至计算机之外，程序还可以通过诸如局域网(LAN)或因特网的网络从下载站点无线地或有线地传送至计算机。计算机可以接收以这种方式发送的程序，并且将程序安装在诸如内置硬盘的记录介质中。
注意，本说明书中描述的有利效果仅是示例，并且本技术的有利效果不限于这些示例，而是可以包括本文中未描述的附加效果。此外，不应当将本技术解释为限于上述技术的实施方式。该技术的实施方式通过示例公开了本技术，并且应当明显的是，本领域技术人员可以在不脱离本技术的范围的情况下对那些实施方式进行修改或者利用其他实施方式将其替代。换句话说，在理解本技术的主题时应当考虑权利要求。
此外，本技术的信息生成装置还可以具有以下配置。
(1)一种信息生成装置，包括：
噪声量计算单元，其基于针对多个偏振方向中的每一个的观测值来计算噪声量；以及
偏振模型估计单元，其通过使用所述观测值和由所述噪声量计算单元计算出的所述噪声量来对偏振模型进行估计。
(2)根据(1)所述的信息生成装置，其中，所述噪声量计算单元通过使用示出了在所述观测值与方差之间的关系的噪声方差模型来计算所述噪声量。
(3)根据(2)所述的信息生成装置，其中，所述噪声量计算单元将对应于所述观测值的方差设置为所述噪声量。
(4)根据(2)至(3)中任一个所述的信息生成装置，其中，所述噪声方差模型预先存储在所述噪声量计算单元中。
(5)根据(2)至(3)中任一个所述的信息生成装置，还包括：
噪声方差模型估计单元，其根据捕获的图像检测多个观测区域，根据所述观测区域中的每一个中的多个观测值和平均观测值来获得方差，并且根据所述多个观测区域中的平均观测值和方差来对噪声方差模型进行估计，其中，
所述噪声量计算单元通过使用由所述噪声方差模型估计单元估计的所述噪声方差模型来计算所述噪声量。
(6)根据(5)所述的信息生成装置，其中，所述噪声方差模型估计单元将所述捕获的图像中的平坦区域设置为所述观测区域。
(7)根据(5)所述的信息生成装置，其中，所述噪声方差模型估计单元将所述捕获的图像中的静止区域设置为所述观测区域。
(8)根据(1)至(7)中任一个所述的信息生成装置，还包括：
饱和检测单元，其检测饱和状态下的观测值，其中，
所述偏振模型估计单元排除所述饱和状态下的观测值，并且然后对所述偏振模型估计。
(9)根据(8)所述的信息生成装置，其中，
所述噪声量计算单元将所述饱和检测单元中的所述饱和状态下的观测值的噪声量设置为预定值，并且
所述偏振模型估计单元通过将所述噪声量设置为所述预定值而排除所述饱和状态下的观测值，并且然后对所述偏振模型进行估计。
(10)根据(1)至(9)中任一个所述的信息生成装置，还包括：
水平校正单元，其执行使得针对所述多个偏振方向中的每一个的观测值一致的水平校正，所述观测值是针对多个驱动模式中的每一个获取的，其中，
所述噪声量计算单元，其通过使用由所述水平校正单元校正的所述观测值、在所述水平校正中使用的校正增益和所述噪声方差模型来计算所述噪声量，以及
所述偏振模型估计单元通过使用由所述水平校正单元校正的所述观测值和由所述噪声量计算单元计算出的所述噪声量来对所述偏振模型进行估计。
(11)根据(10)所述的信息生成装置，其中，所述多个驱动模式是具有不同灵敏度或曝光时间的驱动模式。
(12)根据(1)至(11)中任一个所述的信息生成装置，其中，针对所述多个偏振方向中的每一个的观测值是其中所述偏振方向为三个或更多个方向的观测值。
(13)根据(1)至(12)中任一个所述的信息生成装置，还包括：偏振成像单元，其获取针对所述多个偏振方向中的每一个的观测值。
(14)根据(13)所述的信息生成装置，其中，
所述偏振成像单元存储噪声方差模型，并且
所述噪声量计算单元通过使用存储在所述偏振成像单元中的所述噪声方差模型来计算所述噪声量。
工业适用性
在该信息生成装置、信息生成方法和该技术的程序中，基于针对各个多个偏振方向的观测值来计算噪声量，并且通过使用观测值和计算出的噪声量来对偏振模型进行估计。因此，变得可以计算针对噪声具有鲁棒性的偏振模型。因此，适用于使用基于偏振模型计算出的法线信息、反射分量等的装置。
附图标记列表
10 信息生成系统
20 偏振成像单元
30 信息生成单元
31-1至31-m、31-1,1至31-n,m 饱和检测单元
32-1,1至32-n,m 水平校正单元
33 噪声方差模型估计单元
35-1至35-m、35-1,1至35-n,m 噪声量计算单元
36 偏振模型估计单元
201 图像传感器
202 偏振滤光器
205 偏振板

Claims (16)

1.一种信息生成装置，包括：
噪声量计算单元，其基于针对多个偏振方向中的每一个的观测值来计算噪声量；以及
偏振模型估计单元，其通过使用所述观测值和由所述噪声量计算单元计算出的所述噪声量来对偏振模型进行估计。
2.根据权利要求1所述的信息生成装置，其中，
所述噪声量计算单元通过使用示出了在所述观测值与方差之间的关系的噪声方差模型来计算所述噪声量。
3.根据权利要求2所述的信息生成装置，其中，
所述噪声量计算单元将对应于所述观测值的方差设置为所述噪声量。
4.根据权利要求2所述的信息生成装置，其中，
所述噪声方差模型预先存储在所述噪声量计算单元中。
5.根据权利要求2所述的信息生成装置，还包括：
噪声方差模型估计单元，其根据捕获的图像检测多个观测区域，根据所述观测区域中的每一个中的多个观测值和平均观测值来获得方差，并且根据所述多个观测区域中的平均观测值和方差来生成噪声方差模型，其中，
所述噪声量计算单元通过使用由所述噪声方差模型估计单元估计的所述噪声方差模型来计算所述噪声量。
6.根据权利要求5所述的信息生成装置，其中，
所述噪声方差模型估计单元将所述捕获的图像中的平坦区域设置为所述观测区域。
7.根据权利要求5所述的信息生成装置，其中，
所述噪声方差模型估计单元将所述捕获的图像中的静止区域设置为所述观测区域。
8.根据权利要求1所述的信息生成装置，还包括：
饱和检测单元，其检测饱和状态下的观测值，其中，
所述偏振模型估计单元排除所述饱和状态下的观测值，并且然后对所述偏振模型进行估计。
9.根据权利要求8所述的信息生成装置，其中，
所述噪声量计算单元将所述饱和检测单元中的所述饱和状态下的观测值的噪声量设置为预定值，并且
所述偏振模型估计单元通过将所述噪声量设置为所述预定值而排除所述饱和状态下的观测值，并且然后对所述偏振模型进行估计。
10.根据权利要求1所述的信息生成装置，还包括：
水平校正单元，其执行使得针对所述多个偏振方向中的每一个的观测值一致的水平校正，所述观测值是针对多个驱动模式中的每一个获取的，其中，
所述噪声量计算单元通过使用由所述水平校正单元校正的所述观测值、在所述水平校正中使用的校正增益和所述噪声方差模型来计算所述噪声量，以及
所述偏振模型估计单元，通过使用由所述水平校正单元校正的所述观测值和由所述噪声量计算单元计算出的所述噪声量来对所述偏振模型进行估计。
11.根据权利要求10所述的信息生成装置，其中，
所述多个驱动模式是具有不同灵敏度或曝光时间的驱动模式。
12.根据权利要求1所述的信息生成装置，其中，
针对所述多个偏振方向中的每一个的观测值是其中所述偏振方向为三个或更多个方向的观测值。
13.根据权利要求1所述的信息生成装置，还包括：
偏振成像单元，其获取针对所述多个偏振方向中的每一个的观测值。
14.根据权利要求13所述的信息生成装置，其中，
所述偏振成像单元存储噪声方差模型，并且
所述噪声量计算单元通过使用存储在所述偏振成像单元中的所述噪声方差模型来计算所述噪声量。
15.一种信息生成方法，包括：
由噪声量计算单元基于针对多个偏振方向中的每一个的观测值，计算噪声量；以及
由偏振模型估计单元通过使用所述观测值和由所述噪声量计算单元计算出的所述噪声量来对偏振模型进行估计。
16.一种程序，所述程序使计算机基于针对多个偏振方向中的每一个的观测值执行信息的生成，
所述程序使所述计算机执行：
基于针对所述多个偏振方向中的每一个的观测值来计算噪声量的过程；以及
通过使用所述观测值和计算出的噪声量来对偏振模型进行估计的过程。
CN201980036205.6A 2018-06-05 2019-03-13 信息生成装置、信息生成方法和程序 Pending CN112204364A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-107625 2018-06-05
JP2018107625 2018-06-05
PCT/JP2019/010209 WO2019235019A1 (ja) 2018-06-05 2019-03-13 情報生成装置と情報生成方法およびプログラム

Publications (1)

Publication Number Publication Date
CN112204364A true CN112204364A (zh) 2021-01-08

Family

ID=68770175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980036205.6A Pending CN112204364A (zh) 2018-06-05 2019-03-13 信息生成装置、信息生成方法和程序

Country Status (5)

Country Link
US (1) US20210211619A1 (zh)
EP (1) EP3805717B1 (zh)
JP (1) JP7243721B2 (zh)
CN (1) CN112204364A (zh)
WO (1) WO2019235019A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053116A (ja) * 2007-08-28 2009-03-12 Olympus Corp 画像処理装置および画像処理プログラム
CN101584222A (zh) * 2007-05-31 2009-11-18 松下电器产业株式会社 图像处理装置
JP2011133361A (ja) * 2009-12-24 2011-07-07 Fujifilm Corp 偏光状態取得装置、偏光状態取得方法、および、プログラム
US20130016189A1 (en) * 2011-07-11 2013-01-17 Sony Corporation Image processing apparatus, image processing method, and program
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム
US20150285811A1 (en) * 2012-10-18 2015-10-08 Centre National De La Recherche Scientifique Multifunctional coupling reagents having an azlactone function
CN105814607A (zh) * 2013-12-16 2016-07-27 索尼公司 图像处理装置以及图像处理方法
WO2017002716A1 (ja) * 2015-07-01 2017-01-05 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法
CN106461538A (zh) * 2014-06-06 2017-02-22 国立大学法人筑波大学 偏振敏感光学图像测量系统以及搭载于该系统上的程序
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
US20170223339A1 (en) * 2014-12-01 2017-08-03 Sony Corporation Image processing apparatus and image processing method
JP2017208642A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
US20170366802A1 (en) * 2015-02-27 2017-12-21 Sony Corporation Imaging device, image processing device and image processing method
JP2018029279A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4974543B2 (ja) 2005-08-23 2012-07-11 株式会社フォトニックラティス 偏光イメージング装置
US9423484B2 (en) * 2013-10-22 2016-08-23 Polaris Sensor Technologies, Inc. Sky polarization and sun sensor system and method
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
US10168542B2 (en) * 2015-08-26 2019-01-01 Raytheon Company Polarized pixelated filter array with reduced sensitivity to misalignment for polarimetric imaging
JP6869652B2 (ja) * 2016-07-01 2021-05-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
EP3509294B1 (en) * 2016-08-31 2020-08-12 Sony Corporation Image processing device and image processing method
CN112106350A (zh) * 2018-05-18 2020-12-18 索尼公司 固态成像装置、用于信息处理的装置和方法以及校准方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584222A (zh) * 2007-05-31 2009-11-18 松下电器产业株式会社 图像处理装置
JP2009053116A (ja) * 2007-08-28 2009-03-12 Olympus Corp 画像処理装置および画像処理プログラム
JP2011133361A (ja) * 2009-12-24 2011-07-07 Fujifilm Corp 偏光状態取得装置、偏光状態取得方法、および、プログラム
US20130016189A1 (en) * 2011-07-11 2013-01-17 Sony Corporation Image processing apparatus, image processing method, and program
US20150285811A1 (en) * 2012-10-18 2015-10-08 Centre National De La Recherche Scientifique Multifunctional coupling reagents having an azlactone function
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム
CN105814607A (zh) * 2013-12-16 2016-07-27 索尼公司 图像处理装置以及图像处理方法
CN106461538A (zh) * 2014-06-06 2017-02-22 国立大学法人筑波大学 偏振敏感光学图像测量系统以及搭载于该系统上的程序
US20170223339A1 (en) * 2014-12-01 2017-08-03 Sony Corporation Image processing apparatus and image processing method
US20170366802A1 (en) * 2015-02-27 2017-12-21 Sony Corporation Imaging device, image processing device and image processing method
WO2017002716A1 (ja) * 2015-07-01 2017-01-05 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
JP2017208642A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2018029279A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Also Published As

Publication number Publication date
JP7243721B2 (ja) 2023-03-22
EP3805717A4 (en) 2021-05-05
EP3805717A1 (en) 2021-04-14
US20210211619A1 (en) 2021-07-08
EP3805717B1 (en) 2023-05-17
WO2019235019A1 (ja) 2019-12-12
JPWO2019235019A1 (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
KR101574733B1 (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
JP6244407B2 (ja) 深度測定の品質の向上
US8300985B2 (en) Image-registration method, medium, and apparatus
TWI345916B (en) Motion estimation method
JP2015019958A5 (ja) 磁気共鳴イメージング装置、画像処理装置、画像処理方法、及び画像処理プログラム
EP2261853A1 (en) Image processing apparatus, medium, and method
WO2016017450A1 (ja) 画像処理装置、画像処理方法、プログラム、およびイメージセンサ
US20080273793A1 (en) Signal processing apparatus and method, noise reduction apparatus and method, and program therefor
KR20110136016A (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
JP2010020758A5 (zh)
RU2013147816A (ru) Изображение с зависящим от контрастности разрешением
JP2015022027A5 (zh)
JP2012124682A5 (zh)
JP2017010092A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
RU2019120831A (ru) Устройство и способ для генерирования изображения интенсивности светового излучения
JP2006279359A5 (zh)
JP2015201731A5 (zh)
WO2012004906A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN112204364A (zh) 信息生成装置、信息生成方法和程序
KR20120138476A (ko) 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치
JP2019096222A5 (zh)
JP6552325B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2019205073A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
JP2017010094A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10068339B2 (en) Image processing device, image processing system, image processing method and image processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination