CN115152205B - 摄像装置及方法 - Google Patents

摄像装置及方法 Download PDF

Info

Publication number
CN115152205B
CN115152205B CN202180014967.3A CN202180014967A CN115152205B CN 115152205 B CN115152205 B CN 115152205B CN 202180014967 A CN202180014967 A CN 202180014967A CN 115152205 B CN115152205 B CN 115152205B
Authority
CN
China
Prior art keywords
polarization
polarization angle
opening
region
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180014967.3A
Other languages
English (en)
Other versions
CN115152205A (zh
Inventor
岸根庆延
川中子睦
冈田和佳
平川友也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN115152205A publication Critical patent/CN115152205A/zh
Application granted granted Critical
Publication of CN115152205B publication Critical patent/CN115152205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种能够拍摄高品质的多光谱图像的摄像装置及方法。摄像装置具备：光学系统，在光瞳位置或光瞳位置的附近具有3个以上的开口区域，各开口区域分别具备不同的组合的偏振滤光片及带通滤光片，由此各开口区域分别使不同的偏振角度及波长区域的组合的光透过；图像传感器，二维地配置有分别接收不同的偏振角度的光的3种以上的像素；及处理器，对从图像传感器输出的信号进行干扰去除处理，生成每个开口区域的图像信号。光学系统具有3种以上的偏振滤光片，在将偏振滤光片设为偏振角度的顺序的情况下，相邻的偏振滤光片的偏振角度的差分至少1个不同。

Description

摄像装置及方法
技术领域
本发明涉及一种摄像装置及方法，尤其涉及一种拍摄多个波长区域的图像(多光谱图像)的摄像装置及方法。
背景技术
专利文献1中记载了如下技术，使用具有3个透光区域的偏振滤色片和具备3个偏振滤光片的成像元件，一次拍摄3个波长区域的图像(多光谱图像)。
以往技术文献
专利文献
专利文献1：国际公开第2014/020791号
发明内容
本发明的技术所涉及的1个实施方式提供一种能够拍摄高品质的多光谱图像的摄像装置及方法。
用于解决技术课题的手段
(1)一种摄像装置，其具备：光学系统，在光瞳位置或光瞳位置的附近具有3个以上的开口区域，各开口区域分别具备不同的组合的偏振滤光片及带通滤光片，由此各开口区域分别使不同的偏振角度及波长区域的组合的光透过；图像传感器，二维地配置有分别接收不同的偏振角度的光的3种以上的像素；及处理器，对从图像传感器输出的信号进行干扰去除处理，生成每个开口区域的图像信号，其中，光学系统具有3种以上的偏振滤光片，在将偏振滤光片设为偏振角度的顺序的情况下，相邻的偏振滤光片的偏振角度的差分至少1个不同。
(2)根据(1)所述的摄像装置，其中，根据透过各开口区域的光的灵敏度，设定各偏振滤光片的偏振角度。
(3)根据(1)或(2)所述的摄像装置，其中，设定在各偏振滤光片的偏振角度设定为与差分全部相等的情况相比各开口区域的图像信号的噪声量之差缩小的偏振角度。
(4)根据(1)或(2)所述的摄像装置，其中，设定在各偏振滤光片的偏振角度设定为各开口区域的图像信号的噪声量之差最小化的偏振角度。
(5)根据(1)或(2)所述的摄像装置，其中，设定在各偏振滤光片的偏振角度设定为与差分全部相等的情况相比基于干扰去除处理的噪声放大量降低的偏振角度。
(6)根据(1)或(2)所述的摄像装置，其中，设定在各偏振滤光片的偏振角度设定为基于干扰去除处理的噪声放大量最小化的偏振角度。
(7)根据(1)或(2)所述的摄像装置，其中，设定在各偏振滤光片的偏振角度设定为灵敏度相对低的开口区域的图像信号和其他开口区域的图像信号的干扰量减少的偏振角度。
(8)根据(1)或(2)所述的摄像装置，其中，在处理器根据干扰矩阵进行干扰去除处理的情况下，设定在各偏振滤光片的偏振角度设定为与差分全部相等的情况相比干扰矩阵的条件数减少的偏振角度。
(9)根据(1)或(2)所述的摄像装置，其中，在处理器根据干扰矩阵进行干扰去除处理的情况下，设定在各偏振滤光片的偏振角度设定为干扰矩阵的条件数最小化的偏振角度。
(10)根据(1)至(9)中任一项所述的摄像装置，其中，光学系统具有分别单独更换带通滤光片及偏振滤光片的至少一者的更换机构。
(11)根据(1)至(9)中任一项所述的摄像装置，其中，光学系统具有带通滤光片及偏振滤光片的至少一者旋转的旋转结构。
(12)一种摄像方法，其使用光学系统和图像传感器对从图像传感器输出的信号进行干扰去除处理，生成每个开口区域的图像信号，所述光学系统在光瞳位置或光瞳位置的附近具有3个以上的开口区域，各开口区域分别具备不同的组合的偏振滤光片及带通滤光片，由此各开口区域分别使不同的偏振角度及波长区域的组合的光透过，所述图像传感器二维地配置有分别接收不同的偏振角度的光的3种以上的像素，其中，光学系统具有3种以上的偏振滤光片，在将偏振滤光片设为偏振角度的顺序的情况下，相邻的偏振滤光片的偏振角度的差分至少1个不同。
(13)根据(12)所述的摄像方法，其中，根据透过各开口区域的光的灵敏度，设定各偏振滤光片的偏振角度。
(14)根据(12)或(13)所述的摄像方法，其中，设定在各偏振滤光片的偏振角度设定为与差分全部相等的情况相比各开口区域的图像信号的噪声量之差缩小的偏振角度。
(15)根据(12)或(13)所述的摄像方法，其中，设定在各偏振滤光片的偏振角度设定为各开口区域的图像信号的噪声量之差最小化的偏振角度。
(16)根据(12)或(13)所述的摄像方法，其中，设定在各偏振滤光片的偏振角度设定为与差分全部相等的情况相比基于干扰去除处理的噪声放大量降低的偏振角度。
(17)根据(12)或(13)所述的摄像方法，其中，设定在各偏振滤光片的偏振角度设定为基于干扰去除处理的噪声放大量最小化的偏振角度。
(18)根据(12)或(13)所述的摄像方法，其中，设定在各偏振滤光片的偏振角度设定为灵敏度相对低的开口区域的图像信号和其他开口区域的图像信号的干扰量减少的偏振角度。
(19)根据(12)或(13)所述的摄像方法，其中，在根据干扰矩阵进行干扰去除处理的情况下，设定在各偏振滤光片的偏振角度设定为与差分全部相等的情况相比干扰矩阵的条件数减少的偏振角度。
(20)根据(12)或(13)所述的摄像方法，其中，在根据干扰矩阵进行干扰去除处理的情况下，设定在各偏振滤光片的偏振角度设定为干扰矩阵的条件数最小化的偏振角度。
附图说明
图1是表示摄像装置的概略结构的图。
图2是开口板的主视图。
图3是图1的3-3剖视图。
图4是图1的4-4剖视图。
图5是表示图像传感器的像素的排列的概略结构的图。
图6是表示图像传感器的概略结构的图。
图7是表示1个像素(图6的虚线部)的概略结构的剖视图。
图8是表示各像素块中的偏振滤光片元件的排列图案的一例的图。
图9是表示信号处理部的概略结构的框图。
图10是图像生成的概念图。
图11是摄像装置的动作的概念图。
图12是表示噪声量的计算的一例的图。
图13是表示噪声量的计算的另一例的图。
图14是表示偏振角度的调整方法的一例的图。
图15是表示偏振角度的调整方法的一例的图。
图16是表示偏振角度的调整方法的一例的图。
图17是表示偏振角度的调整方法的另一例的图。
图18是表示各噪声评价方法中的噪声的评价值的计算结果的一例的图。
图19是表示基于各噪声评价方法的偏振角度的调整的一例的图。
图20是表示基于标准偏差的噪声的评价值的变动状态的图表。
图21是表示干扰矩阵的条件数的变动状态的图表。
图22是表示噪声量的变动状态的图表。
图23是表示基于各噪声评价方法的偏振角度的调整的另一例的图。
图24是表示基于标准偏差的噪声的评价值的变动状态的图表。
图25是表示干扰矩阵的条件数的变动状态的图表。
图26是表示噪声量的变动状态的图表。
图27是表示拍摄9个波长区域的多光谱图像的摄像装置的一例的概念图。
图28是表示优化偏振滤光片的步骤的一例的流程图。
具体实施方式
以下，按照附图对本发明的优选的实施方式进行详细说明。
[摄像装置的结构]
在此，以拍摄3个波长区域的图像(3带多光谱图像)的情况为例进行说明。
图1是表示摄像装置的概略结构的图。如图1所示，摄像装置1具备成像透镜10、图像传感器100及信号处理部200。
[成像透镜]
成像透镜10组合多个透镜12而构成。成像透镜10通过使一部分透镜组或整体沿着光轴L前后移动来调节焦点。成像透镜10是光学系统的一例。
如图1所示，成像透镜10在光轴L上具有开口板14。开口板14配置在成像透镜10的光瞳位置或光瞳位置的附近。另外，光瞳位置的附近是指从入射光瞳到出射光瞳。
图2是开口板的主视图。如图2所示，开口板14具有3个开口区域14A、14B、14C。以下，根据需要，将开口区域14A设为第1开口区域14A，将开口区域14B设为第2开口区域14B，将开口区域14C设为第3开口区域14C，来区分3个开口区域14A～14C。开口板14具有圆盘形状，在周向上被分割为三等分，设置有3个开口区域14A～14C。
图3是图1的3-3剖视图。图4是图1的4-4剖视图。如图3及图4所示，在各开口区域14A、14B、14C中分别设置有带通滤光片16A、16B、16C及偏振滤光片18A、18B、18C。以下，根据需要，将设置在第1开口区域14A中的带通滤光片16A设为第1带通滤光片16A，将设置在第2开口区域14B中的带通滤光片16B设为第2带通滤光片16B，将设置在第3开口区域14C中的带通滤光片16C设为第3带通滤光片16C，来区分3个带通滤光片16A～16C。并且，将设置在第1开口区域14A中的偏振滤光片18A设为第1偏振滤光片18A，将设置在第2开口区域14B中的偏振滤光片18B设为第2偏振滤光片18B，将设置在第3开口区域14C中的偏振滤光片18C设为第3偏振滤光片18C，来区分3个偏振滤光片18A～18C。
各带通滤光片16A～16C的种类分别不同。即，分别透过的光的波长区域(透过波长区域)不同。第1带通滤光片16A使波长区域λ1的光透过。第2带通滤光片16B使波长区域λ2的光透过。第3带通滤光片16C使波长区域λ3的光透过。对于各带通滤光片16A、16B、16C的透过波长区域，设定与所拍摄的多光谱图像的各波长区域对应的波长区域。本例是拍摄波长区域λ1、波长区域λ2及波长区域λ3的图像作为多光谱图像时的例子。
各偏振滤光片18A～18C的种类分别不同。即，分别透过的光的偏振角度(透过偏振角度)不同。第1偏振滤光片18A使偏振角度θ1的光(直线偏振光)透过。第2偏振滤光片18B使偏振角度θ2的光(直线偏振光)透过。第3偏振滤光片18C使偏振角度θ3的光(直线偏振光)透过。关于偏振角度，将水平设为0°，设定在0°以上且小于180°的范围内。
在本实施方式的摄像装置1中，非等间隔的偏振角度(方位角)设定在各偏振滤光片18A～18C。即，在将偏振滤光片18A～18C设为偏振角度的顺序的情况下，以相邻的偏振滤光片18A～18C的偏振角度的差分至少1个不同的方式设定各偏振滤光片18A～18C的偏振角度θ1～θ3。例如，假设3个偏振滤光片18A～18C的偏振角度θ1～θ3的关系为θ1＜θ2＜θ3。在该情况下，第1偏振滤光片18A和第2偏振滤光片18B处于相邻的偏振滤光片的关系，并且第2偏振滤光片18B和第3偏振滤光片18C处于相邻的偏振滤光片的关系。因此，第1偏振滤光片18A与第2偏振滤光片18B的偏振角度的差分(|θ2-θ1|)不同于第2偏振滤光片18B与第3偏振滤光片18C的偏振角度的差分(|θ3-θ2|)。关于设定在各偏振滤光片18A～18C的偏振角度θ1～θ3的具体的设定方法在后面叙述。
开口板14配置在成像透镜10的光瞳位置或光瞳位置的附近。由此，成像透镜10的光瞳区域被分割为3个区域(3个光瞳区域)。具体而言，分割为由开口板14的第1开口区域14A划定的第1光瞳区域、由开口板14的第2开口区域14B划定的第2光瞳区域及由开口板14的第3开口区域14C划定的第3光瞳区域。入射到成像透镜10的光通过各光瞳区域(各开口区域14A、14B、14C)入射到图像传感器100。
在各开口区域14A～14C中分别设置有带通滤光片16A～16C及偏振滤光片18A～18C。因此，光学特性不同的光从各开口区域14A～14C入射到图像传感器100。具体而言，波长区域λ1、偏振角度θ1的光从第1开口区域14A入射到图像传感器100。波长区域λ2、偏振角度θ2的光从第2开口区域14B入射到图像传感器100。波长区域λ3、偏振角度θ3的光从第3开口区域14C入射到图像传感器100。
[图像传感器]
本实施方式的图像传感器100由在各像素中设置有起偏器(偏振滤光片元件)的图像传感器(所谓的偏振图像传感器)构成。
图5是表示图像传感器的像素的排列的概略结构的图。
如图5所示，图像传感器100在其受光面具有多个种类的像素P1、P2、P3、P4。各像素P1～P4沿着水平方向(x轴方向)及垂直方向(y轴方向)以恒定间距有规则地排列。
在本实施方式的图像传感器100中，由相邻的4个(2×2个)像素P1～P4构成1个像素块PB(X，Y)，该像素块PB(X，Y)沿着水平方向(x轴方向)及垂直方向(y轴方向)有规则地排列。以下，根据需要，将像素P1设为第1像素P1，将像素P2设为第2像素P2，将像素P3设为第3像素P3，将像素P4设为第4像素P4，来区分各像素P1～P4。各像素P1～P4分别具有不同的光学特性。
图6是表示图像传感器的概略结构的图。图7是表示1个像素(图6的虚线部)的概略结构的剖视图。
图像传感器100具有像素阵列层110、偏振滤光片元件阵列层120及微透镜阵列层140。各层从像面侧朝向物体侧依次配置有像素阵列层110、偏振滤光片元件阵列层120、微透镜阵列层140。
像素阵列层110通过二维地排列大量光电二极管112而构成。1个光电二极管112构成1个像素。各光电二极管112沿着水平方向(x方向)及垂直方向(y方向)有规则地配置。
偏振滤光片元件阵列层120通过二维地排列4种偏振滤光片元件122A、122B、122C、122D而构成。以下，根据需要，将偏振滤光片元件122A设为第1偏振滤光片元件122A，将偏振滤光片元件122B设为第2偏振滤光片元件122B，将偏振滤光片元件122C设为第3偏振滤光片元件122C，将偏振滤光片元件122D设为第4偏振滤光片元件122D，来区分各偏振滤光片元件122A～122D。各偏振滤光片元件122A～122D以与光电二极管112相同的间隔配置，按每个像素设置。各偏振滤光片元件122A～122D的透过的光的偏振角度不同。第1偏振滤光片元件122A使偏振角度Θ1的光透过。第2偏振滤光片元件122B使偏振角度Θ2的光透过。第3偏振滤光片元件122C使偏振角度Θ3的光透过。第4偏振滤光片元件122D使偏振角度Θ4的光透过。关于偏振角度，将水平设为0°，设定在0°以上且小于180°的范围内。在本实施方式中，以等间隔的方式设定各偏振滤光片元件122A～122D的偏振角度Θ1～Θ4。即，在将各偏振滤光片元件122A～122D设为偏振角度的顺序的情况下，以相邻的偏振滤光片的偏振角度的差分全部相等的方式设定各偏振滤光片元件122A～122D的偏振角度Θ1～Θ4。具体而言，第1偏振滤光片元件122A的偏振角度设定为0°，第2偏振滤光片元件122B的偏振角度设定为45°，第3偏振滤光片元件122C的偏振角度设定为90°，第4偏振滤光片元件122D的偏振角度设定为135°。在该情况下，以每45°间隔设定各偏振滤光片元件122A～122D的偏振角度Θ1～Θ4。
图8是表示各像素块中的偏振滤光片元件的排列图案的一例的图。
如图8所示，在本实施方式的摄像装置中，在第1像素P1中设置有第1偏振滤光片元件122A，在第2像素P2中设置有第2偏振滤光片元件122B，在第3像素P3中设置有第3偏振滤光片元件122C，在第4像素P4中设置有第4偏振滤光片元件122D。因此，在第1像素P1中，接收偏振角度Θ1的光(直线偏振光)。在第2像素P2中，接收偏振角度Θ2的光(直线偏振光)。在第3像素P3中，接收偏振角度Θ3的光(直线偏振光)。在第4像素P4中，接收偏振角度Θ4的光(直线偏振光)。
微透镜阵列层140通过二维地排列大量微透镜142而构成。各微透镜142以与光电二极管112相同的间隔配置，按每1个像素设置。微透镜142是以高效地使来自成像透镜10的光聚集到光电二极管112的目的而设置。
如上所述构成的图像传感器100在各像素块PB(X，Y)中，各像素P1、P2、P3、P4如下接收来自成像透镜10的光。即，第1像素P1经由第1偏振滤光片元件122A接收偏振角度Θ1的光。第2像素P2经由第2偏振滤光片元件122B接收偏振角度Θ2的光。第3像素P3经由第3偏振滤光片元件122C接收偏振角度Θ3的光。第4像素P4经由第4偏振滤光片元件122D接收偏振角度Θ4的光。如此，像素块PB(X，Y)的各像素P1、P2、P3、P4分别接收不同的偏振角度Θ1～Θ4的光。
[信号处理部]
信号处理部200对从图像传感器100输出的信号进行处理，生成成像透镜10的各开口区域14A～14C的图像信号(图像数据)。如上所述，在本实施方式的摄像装置1中，在成像透镜10的各开口区域14A～14C中设置有带通滤光片16A～16C。因此，通过生成各开口区域14A～14C的图像信号，来生成与各带通滤光片16A～16C的透过波长区域λ1～λ3对应的图像的图像信号。
图9是表示信号处理部的概略结构的框图。
如图9所示，信号处理部200包括模拟信号处理部200A、图像生成部200B及系数存储部200C。
模拟信号处理部200A读入从图像传感器100的各像素输出的模拟像素信号，实施规定的信号处理(例如，相关双采样处理、放大处理等)后，将其转换为数字信号并输出。
图像生成部200B对转换为数字信号后的像素信号实施规定的信号处理，生成成像透镜10的各开口区域14A、14B、14C的图像信号。即，生成各波长区域λ1～λ3的图像信号。图像生成部200B由处理器构成，通过处理器执行规定的程序，实现图像生成部200B的功能。
图10是图像生成的概念图。
各像素块PB(X，Y)包括第1像素P1、第2像素P2、第3像素P3及第4像素P4。因此，通过从各像素块PB(X，Y)分离并提取第1像素P1、第2像素P2、第3像素P3、第4像素P4的像素信号，生成4个图像信号D1、D2、D3、D4。然而，在该4个图像信号[)1～D4中产生干扰(串扰)。即，由于来自各开口区域14A～14B的光入射到各像素P1～P4，因此所生成的图像成为各开口区域14A～14C的图像混合而成的图像。因此，图像生成部200B进行去除干扰的处理(干扰去除处理)，生成各开口区域14A～14C的图像信号。
以下，对在信号处理部200中进行的干扰去除处理进行说明。
将由各像素块PB(X，Y)的第1像素P1获得的像素信号(信号值)设为α1，将由第2像素P2获得的像素信号设为α2，将由第3像素P3获得的像素信号设为α3，将由第4像素P4获得的像素信号设为α4。从各像素块PB(X，Y)获得4个像素信号α1、α2、α3、α4。图像生成部200B对该4个像素信号α1～α4实施规定的信号处理以去除干扰，计算各开口区域14A～14C的像素信号β1、β2、β3。具体而言，通过使用下述矩阵(干扰去除矩阵)A的式1来计算各开口区域14A～14C的像素信号β1～β3。
[数式1]
[数式2]
另外，像素信号β1是与第1开口区域14A对应的像素信号，像素信号β2是与第2开口区域14B对应的像素信号，像素信号β3是与第3开口区域14C对应的像素信号。因此，从像素信号β1生成与第1开口区域14A对应的图像信号，从像素信号β2生成与第2开口区域14B对应的图像信号，从像素信号β3生成与第3开口区域14C对应的图像信号。
如下求出干扰去除矩阵A。
将各开口区域14A～14C的像素信号β1～β3与各像素P1～P4的像素信号α1～α4干扰的比例(干扰量)设为bij(i＝1～4、j＝1～3)。
b11是第1开口区域14A的像素信号β1与第1像素P1的像素信号α1干扰的比例。b12是第2开口区域14B的像素信号β2与第1像素P1的像素信号α1干扰的比例。b13是第3开口区域14C的像素信号β3与第1像素P1的像素信号α1干扰的比例。
b21是第1开口区域14A的像素信号β1与第2像素P2的像素信号α2干扰的比例。b22是第2开口区域14B的像素信号β2与第2像素P2的像素信号α2干扰的比例。b23是第3开口区域14C的像素信号β3与第2像素P2的像素信号α2干扰的比例。
b31是第1开口区域14A的像素信号β1与第3像素P3的像素信号α3干扰的比例。b32是第2开口区域14B的像素信号β2与第3像素P3的像素信号α3干扰的比例。b33是第3开口区域14C的像素信号β3与第3像素P3的像素信号α3干扰的比例。
b41是第1开口区域14A的像素信号β1与第4像素P4的像素信号α4干扰的比例。b42是第2开口区域14B的像素信号β2与第4像素P4的像素信号α4干扰的比例。b43是第3开口区域14C的像素信号β3与第4像素P4的像素信号α4干扰的比例。
在由各像素块PB(X，Y)的各像素P1～P4获得的像素信号α1～α4与各开口区域14A～14C的像素信号β1～β3之间，以下关系成立。
关于由第1像素P1获得的像素信号α1，以下式2的关系成立(“*”是积算的记号)。
b11*β1+b12*β2+b13*β3＝α1…式2
关于由第2像素P2获得的像素信号α2，以下式3的关系成立。
b21*β1+b22*β2+b23*β3＝α2…式3
关于由第3像素P3获得的像素信号α3，以下式4的关系成立。
b31*β1+b32*β2+b33*β3＝α3…式4
关于由第4像素P4获得的像素信号α4，以下式5的关系成立。
b41*β1+b42*β2+b43*β3＝α4…式5
在此，上述式2～5的联立方程式能够由使用矩阵(干扰矩阵)B的下述式6表示。
[数式3]
[数式4]
干扰矩阵B是以各开口区域14A～14C的像素信号β1～β3与各像素P1～P4的像素信号α1～α4干扰的比例bij为要素的矩阵。
作为式2～5的联立方程式的解的β1～β3通过将上述式6的两边乘以干扰矩阵B的逆矩阵B-1来计算。
[数式5]
如此，各开口区域14A～14C的像素信号β1～β3能够使用上述式7，根据各像素块PB(X，Y)的各像素P1～P4的信号值(像素信号)α1～α4来计算。
上述式1将上述式7的逆矩阵B-1作为干扰去除矩阵A(B＝A)。因此，能够通过求出干扰矩阵B来获取干扰去除矩阵A。并且，能够通过求出干扰量(干扰比率)bij来获取干扰矩阵B。
系数存储部200C存储用于进行干扰去除处理的矩阵A的各要素aij作为系数组。系数存储部200C例如由ROM(Read Only Memory：只读存储器)、EEPROM(ErasableProgrammable Read-only Memory：电可擦可编程只读存储器)、HDD(Hard Disk Drive：硬盘驱动器)等存储装置构成。
图像生成部200B从系数存储部200C获取系数组，根据从各像素块PB(X，Y)的各像素P1～P4获得的像素信号α1～α4，通过上述式1计算各开口区域14A～14C的像素信号β1～β3，生成各开口区域14A～14C的图像信号。所生成的图像信号成为各开口区域14A～14C透过的光的波长区域λ1～λ3的图像信号。
由图像生成部200B生成的各开口区域14A～14C的图像信号输出到外部，根据需要存储在存储装置(未图示)中。并且，根据需要显示在显示器(未图示)上。
[摄像动作]
图11是摄像装置的动作的概念图。
入射到成像透镜10的光通过第1开口区域(第1光瞳区域)14A、第2开口区域(第2光瞳区域)14B、第3开口区域(第3光瞳区域)14C入射到图像传感器100。通过各开口区域14A～14C，成为特性互不相同的3种光而入射到图像传感器100。具体而言，波长区域λ1、偏振角度θ1的光从第1开口区域14A入射到图像传感器100。波长区域λ2、偏振角度θ2的光从第2开口区域14B入射到图像传感器100。波长区域λ3、偏振角度θ3的光从第3开口区域14C入射到图像传感器100。
信号处理部200对从图像传感器100输出的信号进行处理，生成各开口区域14A～14C的图像信号。即，对从图像传感器100的各像素P1～P4获得的信号实施干扰去除处理，生成各开口区域14A～14C的图像信号。由于各开口区域14A～14C分别使不同的波长区域λ1～λ3的光透过，因此通过生成各开口区域14A～14C的图像信号，来生成3个波长区域λ1～λ3的图像信号。
如此，根据本实施方式的摄像装置1，能够以1次拍摄来拍摄多个波长区域的图像(多光谱图像)。
[成像透镜的偏振滤光片的偏振角度的设定]
[概要]
在对从图像传感器输出的信号进行干扰去除处理而生成各开口区域的图像的情况下，若透过各开口区域的光存在灵敏度差，则存在灵敏度相对低的开口区域的图像的噪声增大的问题。即，存在灵敏度相对低的波长区域的图像的噪声增大的问题。
在此，透过各开口区域的光的灵敏度(各波长区域的光的灵敏度)I由光源的光谱特性、带通滤光片的光谱特性、成像透镜的光谱特性及图像传感器的光谱特性决定，由下式表示。
[数式6]
tl(λ)：光源的光谱特性
带通滤光片的光谱特性
to(λ)：成像透镜的光谱特性
ts(λ)：图像传感器的光谱特性
即，透过各开口区域的光的灵敏度通过将透过各开口区域的光的波长区域中的光源、带通滤光片、成像透镜及图像传感器的亮度强度相乘来决定。
在进行干扰去除处理而生成各开口区域的图像的情况下，各图像的噪声量由“透过各开口区域的光的灵敏度”及“基于干扰去除处理的噪声放大量”来决定。并且，“基于干扰去除处理的噪声放大量”由各开口区域的图像信号的干扰量来决定。
在本实施方式的摄像装置中，通过调整设置在各开口区域中的偏振滤光片的偏振角度，调整各开口区域的图像信号的干扰量，控制各开口区域的图像的噪声量。具体而言，通过减少灵敏度相对低的开口区域的图像信号与其他开口区域的图像信号的干扰量，降低灵敏度相对低的开口区域的图像的噪声量，生成整体上良好的多光谱图像。
[关于噪声量的说明]
首先，对干扰去除处理后的各开口区域14A～14C的图像(各波长区域λ1～λ3的图像)中产生的噪声量进行说明。
如上所述，在图像传感器100的各像素P1～P4的像素信号α1～α4与各开口区域14A～14C的像素信号β1～β3之间，下式关系成立。
[数式7]
矩阵B是干扰矩阵。
[数式8]
在将各像素P1～P4的像素信号α1～α4的噪声量设为1的情况下，各开口区域14A～14C的像素信号β1～β3的噪声量PV(PV＝[PV1，PV2，PV3])可通过下式导出。
PV1＝Abs(B-1)×sum(B)
在此，Abs(B-1)是返回矩阵B的逆矩阵B-1的绝对值的函数。并且，sum(B)是返回矩阵B的排列要素之和的函数。即，将干扰矩阵B的列作为矢量处理，将各列之和作为行矢量返回。
各像素P1～P4的像素信号α1～α4的噪声量表示所谓的RAW图像(由各像素P1～P4的像素信号α1～α4生成的图像)的噪声量，各开口区域14A～14C的像素信号β1～β3的噪声量表示各开口区域14A～14C的图像信号的噪声量。
图12是表示噪声量的计算的一例的图。
图12表示在成像透镜10的各开口区域14A～14C的偏振角度θ1～θ3的设定为θ1＝0°、θ2＝45°、θ3＝90°，且图像传感器100的各像素P1～P4的偏振角度Θ1～Θ4的设定为Θ1＝0°、Θ2＝45°、Θ3＝90°、Θ4＝135°的情况下，透过各开口区域14A～14C的光的灵敏度相等时的噪声量的计算例。在该情况下，通过设定在各开口区域14A～14C的偏振角度与设定在各像素P1～P4的偏振角度的角度差的余弦(cos)的平方来求出干扰量。因此，第j开口区域的像素信号与第i像素的像素信号干扰的比例bij通过cos2(|θj-Θi|)来计算。其中，Θi是设置在第i像素中的偏振滤光片元件的偏振角度，θj是设置在第j开口区域中的偏振滤光片的偏振角度。
如图12所示，在透过各开口区域14A～14C的光的灵敏度相等的情况下，在将各像素P1～P4的像素信号α1～α4的噪声量设为1的情况下，各开口区域14A～14C的图像信号的噪声量PV1～PV3分别为PV1＝2.75、PV2＝3.00、PV3＝2.75。
图13是表示噪声量的计算的另一例的图。
图13表示透过各开口区域14A～14C的光的灵敏度不同时的噪声量的计算例。具体而言，表示透过第3开口区域14C的光的灵敏度为透过其他开口区域的光的灵敏度的40％时的例子。在该情况下，如图13所示，各开口区域14A～14C的图像信号的噪声量PV1～PV3分别为PV1＝2.30、PV2＝2.40、PV3＝5.0()，灵敏度相对低的第3开口区域14C的图像信号的噪声增大。
[偏振角度的优化]
通过调整设置在各开口区域14A～14C中的偏振滤光片18A～18C的偏振角度θ1～θ3，调整各开口区域14A～14C的图像信号的干扰量，降低灵敏度相对低的开口区域的图像的噪声量。以下，举出具体例，对偏振角度θ1～θ3的调整方法(设定方法)进行说明。
(1)调整例1
在此，以透过第2开口区域14B的光的灵敏度为透过其他开口区域的光的灵敏度的20％的情况为例进行说明。在该情况下，当将透过第1开口区域14A及第3开口区域14C的光的灵敏度设为1时，透过第2开口区域14B的光的灵敏度为0.2。并且，在各开口区域14A～14C之间，以下关系成立：透过第1开口区域的光的灵敏度＝透过第3开口区域的光的灵敏度，透过第1开口区域的光的灵敏度＞透过第2开口区域的光的灵敏度，透过第3开口区域的光的灵敏度＞透过第2开口区域的光的灵敏度。另外，透过第1开口区域的光的灵敏度的含义与波长区域λ1的光的灵敏度的含义相同。透过第2开口区域的光的灵敏度的含义与波长区域λ2的光的灵敏度的含义相同。透过第3开口区域的光的灵敏度的含义与波长区域λ3的光的灵敏度的含义相同。
图14是表示偏振角度的调整方法的一例的图。在图14中，表(A)表示比较例，表(B)表示调整例。
首先，作为成为基准的比较例，计算将各开口区域14A～14C的偏振角度(设置在各开口区域14A～14C中的偏振滤光片18A～18C的偏振角度)θ1～θ3等间隔地设定时(将设置在各开口区域中的偏振滤光片的偏振角度设为角度顺序的情况下，相邻的偏振滤光片的差分全部相等的情况)的噪声量。在此，将各开口区域14A～14C的偏振角度θ1～θ3设为θ1＝0°、θ2＝60°、θ3＝120°。另外，图像传感器100的各像素P1～P4的偏振角度Θ1～Θ4设定为Θ1＝0°、Θ2＝45°、Θ3＝90°、Θ4＝135°。
当将各像素P1～P4的像素信号的噪声量(所谓的RAW图像的噪声量)设为1时，各开口区域14A～14C的图像信号中产生的噪声量PV1～PV3分别为PV1＝1.9、PV2＝9.1、PV3＝2.1。
如图14的表(A)所示，在透过各开口区域14A～14C的光的灵敏度不同的情况下，若将各开口区域14A～14C的偏振角度θ1～θ3等间隔地设定，则灵敏度相对低的开口区域的图像信号的噪声增大。在本例的情况下，第2开口区域14B的图像信号的噪声增大。
为了降低灵敏度相对低的开口区域的图像信号的噪声量，如下调整各开口区域14A～14C的偏振角度θ1～θ3。即，以灵敏度相对低的开口区域的图像信号和其他开口区域的图像信号的干扰量减少的方式调整各开口区域14A～14C的偏振角度θ1～θ3。具体而言，使其他开口区域的偏振角度与灵敏度相对低的开口区域的偏振角度分离。
在本例的情况下，使第1开口区域14A的偏振角度θ1及第3开口区域14C的偏振角度θ3与第2开口区域14B的偏振角度θ2分离。具体而言，使第1开口区域14A的偏振角度θ1及第3开口区域14C的偏振角度θ3分别从等间隔的状态向远离第2开口区域14B的偏振角度θ2的方向偏移。图14的表(B)表示从等间隔的状态偏移20°时的例子。其结果，第1开口区域14A的偏振角度θ1设定为160°(＝-20°)，第3开口区域14C的偏振角度θ3设定为140°。通过这样设定，各开口区域14A～14C的图像信号中产生的噪声量PV1～PV3分别为PV1＝4.1、PV2＝5.0、PV3＝4.7，与等间隔的情况相比，第2开口区域14B的图像信号的噪声量降低。另外，关于第1开口区域14A及第3开口区域14C的图像信号，与等间隔的情况相比，噪声量增大。这是因为，通过调整，第1开口区域14A的图像信号与第3开口区域14C的图像信号的分离性下降(干扰量增加)。然而，在观察所生成的图像整体的情况下，噪声大致均等地产生，因此能够获得更优选的图像。即，由于均成为均质的图像，因此与仅在一部分图像中品质劣化的情况相比，能够获得更优选的图像(整体上为高品质的图像)。
另外，在本例的情况下，如图14的表(B)所示，调整后的各开口区域14A～14C的偏振角度θ1～θ3为θ1＝160°、θ2＝60°、θ3＝140°。在该情况下，在设为角度顺序的情况下相邻的偏振角度的差分成为|θ3-θ2|＝80°、|θ1-θ3|＝20°，成为不同的角度间隔。
(2)调整例2
在此，以透过第1开口区域14A及第3开口区域14C的光的灵敏度为透过第2开口区域14B的光的灵敏度的20％的情况为例进行说明。在该情况下，当将透过第2开口区域14B的光的灵敏度设为1时，透过第1开口区域14A及第3开口区域14C的光的灵敏度为0.2。并且，在各开口区域14A～14C之间，以下关系成立：透过第1开口区域的光的灵敏度＝透过第3开口区域的光的灵敏度，透过第2开口区域的光的灵敏度＞透过第1开口区域的光的灵敏度，透过第2开口区域的光的灵敏度＞透过第1开口区域的光的灵敏度。
图15是表示偏振角度的调整方法的一例的图。在图15中，表(A)表示比较例，表(B)表示调整例。
首先，作为成为基准的比较例，计算将各开口区域14A～14C的偏振角度(设置在各开口区域14A～14C中的偏振滤光片18A～18C的偏振角度)θ1～θ3等间隔地设定时的噪声量。
当将各像素P1～P4的像素信号的噪声量设为1时，各开口区域14A～14C的图像信号中产生的噪声量PV1～PV3分别为PV1＝5.5、PV2＝1.5、PV3＝6.1。
在本例的情况下，如图15的表(A)所示，第1开口区域14A及第3开口区域14C的图像信号的噪声增大。
为了降低灵敏度相对低的开口区域的图像信号的噪声量，如下调整各开口区域14A～14C的偏振角度θ1～θ3。即，使灵敏度相对低的开口区域彼此的偏振角度分离。具体而言，通过使第1开口区域14A的偏振角度θ1与第3开口区域14C的偏振角度θ3分离，提高灵敏度相对低的第1开口区域14A与第3开口区域14C的图像信号的分离性，降低灵敏度相对低的第1开口区域14A及第3开口区域14C的图像信号的噪声量。在该情况下，第1开口区域14A的偏振角度θ1及第3开口区域14C的偏振角度θ3分别调整为靠近第2开口区域14B的偏振角度θ2的方向。
图15的表(B)表示使第1开口区域14A的偏振角度θ1及第3开口区域14C的偏振角度θ3分别从等间隔的状态偏移10°时的例子。在该情况下，第1开口区域14A的偏振角度θ1设定为10°，第3开口区域14C的偏振角度θ3设定为110°。通过这样设定，各开口区域14A～14C的图像信号中产生的噪声量PV1～PV3分别为PV1＝5.10、PV2＝1.78、PV3＝5.58，与等间隔的情况相比，第1开口区域14A及第3开口区域14C的图像信号的噪声量降低。并且，其结果，各图像之间的噪声量之差缩小，能够获得整体上更优选的图像。
(3)调整例3
在此，以透过第1开口区域14A的光的灵敏度为透过第2开口区域14B的光的灵敏度的50％，透过第3开口区域14C的光的灵敏度为透过第2开口区域14B的光的灵敏度的20％的情况为例进行说明。在该情况下，当将透过第2开口区域14B的光的灵敏度设为1时，透过第1开口区域14A的光的灵敏度为0.5，透过第3开口区域14C的光的灵敏度为0.2。并且，在各开口区域14A～14C之间，透过第2开口区域的光的灵敏度＞透过第1开口区域的光的灵敏度＞透过第3开口区域的光的灵敏度的关系成立。
图16是表示偏振角度的调整方法的一例的图。在图16中，表(A)表示比较例，表(B)表示调整例。
首先，作为成为基准的比较例，计算将各开口区域14A～14C的偏振角度(设置在各开口区域14A～14C中的偏振滤光片18A～18C的偏振角度)θ1～θ3等间隔地设定时的噪声量。
当将各像素P1～P4的像素信号的噪声量设为1时，各开口区域14A～14C的图像信号中产生的噪声量PV1～PV3分别为PV1＝2.8、PV2＝1.7、PV3＝7.2。
在本例的情况下，如图16的表(A)所示，灵敏度相对低的第3开口区域14C的图像信号的噪声增大。
为了降低灵敏度相对低的开口区域的图像信号的噪声量，如下调整各开口区域14A～14C的偏振角度θ1～θ3。即，通过使其他开口区域的偏振角度与灵敏度相对低的开口区域的偏振角度分离，提高灵敏度相对低的开口区域的图像信号的分离性，降低灵敏度相对低的开口区域的图像信号的噪声量。在本例中，使第1开口区域14A的偏振角度θ1与第2开口区域14B的偏振角度θ2靠近。由此，第1开口区域14A的图像信号和第2开口区域14B的图像信号的分离性下降，另一方面，第3开口区域14C的图像信号的分离性提高，灵敏度相对低的第3开口区域14C的图像信号的噪声量降低。
图16的表(B)是表示使第1开口区域14A的偏振角度θ1从等间隔的状态向靠近第2开口区域14B的偏振角度θ2的方向偏移30°时的例子。在该情况下，第1开口区域14A的偏振角度θ1设定为30°。通过这样设定，各开口区域14A～14C的图像信号中产生的噪声量PV1～PV3分别为PV1＝4.1、PV2＝2.7、PV3＝5.6，与等间隔的情况相比，第3开口区域14C的图像信号的噪声量降低。并且，其结果，各图像之间的噪声量之差缩小，能够获得整体上更优选的图像。
图17是表示偏振角度的调整方法的另一例的图。图17表示从上述调整(图16中说明的调整)进一步施加调整时的一例。在图17中，表(A)表示上述调整后的状态。并且，表(B)表示施加进一步的调整后的状态。
在施加进一步的调整的情况下，如表(B)所示，使第2开口区域14B的偏振角度θ2与第3开口区域14C的偏振角度θ3分离。另外，表(B)表示使第3开口区域14C的偏振角度θ3向远离第2开口区域14B的偏振角度θ2的方向偏移10°时的例子。在该情况下，第3开口区域14C的偏振角度θ3设定为130°。通过这样设定，各开口区域14A～14C的图像信号中产生的噪声量PV1～PV3分别为PV1＝4.3、PV2＝2.4、PV3＝5.3，第3开口区域14C的图像信号的噪声量进一步降低。
如以上所说明，各开口区域的偏振角度根据透过各开口区域的光的灵敏度来调整并设定。此时，设定为与设为等间隔的情况(差分全部相等的情况)相比各开口区域的图像信号的噪声量之差缩小。优选设定为各开口区域的图像信号的噪声量之差最小化的偏振角度。另外，这里的“最小化”包括实质上视为最小化的情况，即大致最小的状态。
为了与设为等间隔的情况相比以各开口区域的图像信号的噪声量之差缩小的方式设定，设定为与设为等间隔的情况相比，基于干扰去除处理的噪声放大量降低。为此，以灵敏度相对低的开口区域的图像信号和其他开口区域的图像信号的干扰量减少的方式设定各开口区域的偏振角度。另外，优选以基于干扰去除处理的噪声放大量最小化(包括大致最小)的方式设定各开口区域的偏振角度。
[其他噪声评价方法]
关于干扰去除处理后的各开口区域14A～14C的图像(各波长区域λ1～λ3的图像)中产生的噪声，也能够通过标准偏差(standard deviation，STD)及干扰矩阵B的条件数等进行评价。
基于标准偏差的噪声的评价值例如能够通过以下方法来计算。首先，作为初始值，设定图像传感器的各像素P1～P4的像素信号的噪声(例如，±1的随机数)，将干扰去除矩阵与该噪声相乘，由此计算各开口区域14A～14C的图像信号的噪声值。而且，一边用随机数等改变初始值，一边实施多次(例如，100回)上述计算。由此，能够获得多个(例如，100个)各开口区域14A～14C的图像信号的噪声值。计算所获得的多个噪声值的标准偏差，计算噪声的评价值。
图18是表示各噪声评价方法中的噪声的评价值的计算结果的一例的图。
在本例中，不改变各开口区域的偏振角度的设定，仅改变灵敏度来计算噪声的评价值。各开口区域的偏振角度设定为：将第1开口区域的偏振角度θ1设为θ1＝0°，将第2开口区域的偏振角度θ2设为θ2＝60°，将第3开口区域的偏振角度θ3设为θ3＝120°。即，设为等间隔。
在图18所示的表中，A表示将透过第1开口区域的光的灵敏度设为1，将透过第2开口区域的光的灵敏度设为1，将透过第3开口区域的光的灵敏度设为1时的计算结果。即，表示透过各开口区域的光的灵敏度全部相等时的噪声的评价值的计算结果。B表示将透过第1开口区域的光的灵敏度设为1，将透过第2开口区域的光的灵敏度设为0.5，将透过第3开口区域的光的灵敏度设为0.5时的计算结果。C表示将透过第1开口区域的光的灵敏度设为1，将透过第2开口区域的光的灵敏度设为0.5，将透过第3开口区域的光的灵敏度设为0.25时的计算结果。D表示将透过第1开口区域的光的灵敏度设为1，将透过第2开口区域的光的灵敏度设为0.5，将透过第3开口区域的光的灵敏度设为0.1时的计算结果。
[基于通过各评价方法求出的噪声的评价值的偏振角度的优化方法]
(1)根据标准偏差评价噪声时的偏振角度的调整方法
在根据标准偏差评价噪声的情况下，能够通过与根据噪声量PV设定偏振角度的情况相同的方法来优化各开口区域的偏振角度。具体而言，根据透过各开口区域的光的灵敏度设定各开口区域的偏振角度，并以灵敏度相对低的开口区域的图像信号和其他开口区域的图像信号的干扰量减少的方式设定各开口区域的偏振角度。此时，以与等间隔的情况(差分全部相等的情况)相比各开口区域的图像信号的噪声量(噪声的评价值)之差缩小的方式设定各开口区域的偏振角度。优选以各开口区域的图像信号的噪声量之差最小化(包括大致最小化的情况)的方式设定各开口区域的偏振角度。由此，灵敏度相对低的开口区域的图像的噪声量降低，能够生成整体上为高品质的图像(多光谱图像)。
(2)根据干扰矩阵的条件数评价噪声时的偏振角度的调整方法
在根据干扰矩阵B的条件数评价噪声的情况下，以与设为等间隔的情况相比条件数减少的方式设定各开口区域的偏振角度。优选以干扰矩阵B的条件数最小化(包括大致最小化的情况)的方式设定各开口区域的偏振角度。
干扰矩阵B的条件数是表示各种被摄体及条件的噪声量的指标。因此，通过减少干扰矩阵B的条件数，能够降低噪声量，从而能够生成高品质的多光谱图像。
另外，通过减少用于计算条件数的开口区域的数量，也能够仅优化(降低噪声)特定的开口区域的图像(波长区域的图像)。
[调整例]
(1)调整例1
图19是表示基于各噪声评价方法的偏振角度的调整的一例的图。
图19表示透过第1开口区域的光的灵敏度为1，透过第2开口区域的光的灵敏度为0.5，透过第3开口区域的光的灵敏度为0.25时的调整例。即，表示图18的表中C的情况的调整例。任一情况均表示调整第2开口区域14B的偏振角度θ2及第3开口区域14C的偏振角度θ3，优化设定在各开口区域的偏振角度时的例子。
在图19所示的表中，C1表示根据基于标准偏差的噪声的评价值调整各开口区域的偏振角度时的例子。即，表示以基于标准偏差的噪声的评价值之差降低的方式调整时的例子。
在图19所示的表中，C2表示根据干扰矩阵B的条件数调整各开口区域的偏振角度时的例子。即，表示以干扰矩阵B的条件数减少的方式调整时的例子。
在图19所示的表中，C3表示根据噪声量PV调整各开口区域的偏振角度时的例子。即，表示以噪声量PV降低的方式调整时的例子。
在任一情况下，各图像之间的噪声之差均缩小，均能够生成整体上优选的图像(多光谱图像)。
另外，如图19所示，调整的结果，设定在各开口区域的偏振角度不是等间隔。即，在将设定在各开口区域的偏振角度设为偏振角度的顺序的情况下，相邻的偏振角度的差分至少1个不同。
图20是表示基于标准偏差的噪声的评价值的变动状态的图表。
图20表示在透过第1开口区域的光的灵敏度为1，透过第2开口区域的光的灵敏度为0.5，透过第3开口区域的光的灵敏度为0.25的情况下，以等间隔的情况(θ1＝0°、θ2＝60°、θ3＝120°的情况)为初始值，改变第2开口区域及第3开口区域的偏振角度θ2、θ3时的噪声评价值的变动状态。
在图20所示的图表中，无色(与背景颜色相同)区域是产生与初始值(θ1＝0°、θ2＝60°、θ3＝120°)等同以上的噪声的条件的区域。另一方面，有色区域是与初始值相比噪声降低的条件的区域。有色区域是浓度越深的区域噪声越降低的条件的区域。因此，通过至少选择有色区域的条件，与等间隔的情况相比，能够降低所产生的噪声。
图21是表示干扰矩阵的条件数的变动状态的图表。
图21表示在透过第1开口区域的光的灵敏度为1，透过第2开口区域的光的灵敏度为0.5，透过第3开口区域的光的灵敏度为0.25的情况下，以等间隔的情况为初始值，改变第2开口区域及第3开口区域的偏振角度θ2、θ3时的条件数的变动状态。
在图21所示的图表中，无色区域是产生与初始值等同以上的噪声的条件的区域。另一方面，有色区域是与初始值相比噪声越降低的条件的区域，且是浓度越深的区域噪声越降低的条件的区域。因此，通过至少选择有色区域的条件，与等间隔的情况相比，能够降低所产生的噪声。
图22是表示噪声量的变动状态的图表。
图22表示在透过第1开口区域的光的灵敏度为1，透过第2开口区域的光的灵敏度为0.5，透过第3开口区域的光的灵敏度为0.25的情况下，以等间隔的情况为初始值，改变第2开口区域及第3开口区域的偏振角度θ2、θ3时的噪声量PV的变动状态。
在图22所示的图表中，无色区域是产生与初始值等同以上的噪声的条件的区域。另一方面，有色区域是与初始值相比噪声越降低的条件的区域，且是浓度越深的区域噪声越降低的条件的区域。因此，通过至少选择有色区域的条件，与等间隔的情况相比，能够降低所产生的噪声。
(2)调整例2
图23是表示基于各噪声评价方法的偏振角度的调整的另一例的图。
图23表示透过第1开口区域的光的灵敏度为1，透过第2开口区域的光的灵敏度为0.5，透过第3开口区域的光的灵敏度为0.1时的调整例。即，表示图18的表中D的情况的调整例。任一情况均表示调整第2开口区域14B的偏振角度θ2及第3开口区域14C的偏振角度θ3，优化设定在各开口区域的偏振角度时的例子。
在图23所示的表中，D1表示根据基于标准偏差的噪声的评价值调整各开口区域的偏振角度时的例子。即，表示以基于标准偏差的噪声的评价值之差降低的方式调整时的例子。
在图23所示的表中，D2表示根据干扰矩阵B的条件数调整各开口区域的偏振角度时的例子。即，表示以干扰矩阵B的条件数减少的方式调整时的例子。
在图23所示的表中，D3表示根据噪声量PV调整各开口区域的偏振角度时的例子。即，表示以噪声量PV降低的方式调整时的例子。
在任一情况下，各图像之间的噪声之差均缩小，均能够生成整体上优选的图像(多光谱图像)。
另外，如图23所示，调整的结果，设定在各开口区域的偏振角度不是等间隔。即，在将设定在各开口区域的偏振角度设为偏振角度的顺序的情况下，相邻的偏振角度的差分至少1个不同。
图24是表示基于标准偏差的噪声的评价值的变动状态的图表。
图24表示在透过第1开口区域的光的灵敏度为1，透过第2开口区域的光的灵敏度为0.5，透过第3开口区域的光的灵敏度为0.1的情况下，以等间隔的情况(θ1＝0°、θ2＝60°、θ3＝120°的情况)为初始值，改变第2开口区域及第3开口区域的偏振角度θ2、θ3时的噪声评价值的变动状态。
在图24所示的图表中，无色(与背景颜色相同)区域是产生与初始值(θ1＝0°、θ2＝60°、θ3＝120°)等同以上的噪声的条件的区域。另一方面，有色区域是与初始值相比噪声越降低的条件的区域，且是浓度越深的区域噪声越降低的条件的区域。因此，通过至少选择有色区域的条件，与等间隔的情况相比，能够降低所产生的噪声。
图25是表示干扰矩阵的条件数的变动状态的图表。
图25表示在透过第1开口区域的光的灵敏度为1，透过第2开口区域的光的灵敏度为0.5，透过第3开口区域的光的灵敏度为0.1的情况下，以等间隔的情况为初始值，改变第2开口区域及第3开口区域的偏振角度θ2、θ3时的条件数的变动状态。
在图25所示的图表中，无色区域是产生与初始值等同以上的噪声的条件的区域。另一方面，有色区域是与初始值相比噪声越降低的条件的区域，且是浓度越深的区域噪声越降低的条件的区域。因此，通过至少选择有色区域的条件，与等间隔的情况相比，能够降低所产生的噪声。
图26是表示噪声量的变动状态的图表。
图26表示在透过第1开口区域的光的灵敏度为1，透过第2开口区域的光的灵敏度为0.5，透过第3开口区域的光的灵敏度为0.1的情况下，以等间隔的情况为初始值，改变第2开口区域及第3开口区域的偏振角度θ2、θ3时的噪声量PV的变动状态。
在图26所示的图表中，无色区域是产生与初始值等同以上的噪声的条件的区域。另一方面，有色区域是与初始值相比噪声降低的条件的区域。有色区域是浓度越深的区域噪声越降低的条件的区域。因此，通过至少选择有色区域的条件，与等间隔的情况相比，能够降低所产生的噪声。
[其他实施方式]
[摄像装置的变形例]
在上述实施方式中，以将本发明适用于将成像透镜的光瞳区域分割为3个区域，拍摄3个波长区域的多光谱图像的摄像装置的情况为例进行了说明，但本发明的适用并不限定于此。能够适用于将成像透镜的光瞳区域分割为3个以上的区域，拍摄3个以上的波长区域的多光谱图像的摄像装置。
并且，也可以在图像传感器的各像素中设置有光谱滤波器元件。可以使用多个种类的光谱滤波器元件。通过使用多个种类的光谱滤波器元件，在各像素中，能够接收光谱灵敏度和偏振角度的组合不同的光。由此，能够拍摄更多的多光谱图像。
图27是表示拍摄9个波长区域的多光谱图像的摄像装置的一例的概念图。
如图27所示，在本例的成像透镜10中设置有第1开口板15A及第2开口板15B。第1开口板15A及第2开口板15B配置在成像透镜10的光瞳位置或其附近。
在第1开口板15A上设置有3个开口区域。在第1开口区域中设置有使偏振角度θ1的光透过的第1偏振滤光片。在第2开口区域中设置有使偏振角度θ2的光透过的第2偏振滤光片。在第3开口区域中设置有使偏振角度θ3的光透过的第3偏振滤光片。
在第2开口板15B中设置有9个开口区域。在第1开口区域中设置有使波长区域λ11的光透过的第1带通滤光片。在第2开口区域中设置有使波长区域λ12的光透过的第2带通滤光片。在第3开口区域中设置有使波长区域λ13的光透过的第3带通滤光片。在第4开口区域中设置有使波长区域λ21的光透过的第4带通滤光片。在第5开口区域中设置有使波长区域λ22的光透过的第5带通滤光片。在第6开口区域中设置有使波长区域λ23的光透过的第6带通滤光片。在第7开口区域中设置有使波长区域λ31的光透过的第7带通滤光片。在第8开口区域中设置有使波长区域λ32的光透过的第8带通滤光片。在第9开口区域中设置有使波长区域λ33的光透过的第9带通滤光片。
第2开口板15B的第1至第3开口区域与第1开口板15A的第1开口区域连通。因此，偏振角度θ1的光入射到第2开口板15B的第1至第3开口区域。第2开口板15B的第4至第6开口区域与第1开口板15A的第2开口区域连通。因此，偏振角度θ2的光入射到第2开口板15B的第4至第6开口区域。第2开口板15B的第7至第9开口区域与第1开口板15A的第3开口区域连通。因此，偏振角度θ3的光入射到第2开口板15B的第7至第9开口区域。
根据以上结构的成像透镜10，光瞳区域被分割为9个区域，各区域分别使不同的偏振角度及波长区域的组合的光透过。
图像传感器100的1个像素块由9个像素P1～P9构成。在各像素P1～P9中分别设置有不同的组合的偏振滤光片元件及光谱滤波器元件。具体而言，在第1像素P1中设置有偏振角度Θ1的偏振滤光片元件及光谱灵敏度λA的光谱滤波器元件(例如，在红色波长区域具有光谱灵敏度的峰的光谱滤波器元件)。在第2像素P2中设置有偏振角度Θ2的偏振滤光片元件及光谱灵敏度λA的光谱滤波器元件。在第3像素P3中设置有偏振角度Θ3的偏振滤光片元件及光谱灵敏度λA的光谱滤波器元件。在第4像素P4中设置有偏振角度Θ1的偏振滤光片元件及光谱灵敏度λB的光谱滤波器元件(例如，在绿色波长区域具有光谱灵敏度的峰的光谱滤波器元件)。在第5像素P5中设置有偏振角度Θ2的偏振滤光片元件及光灵敏度λB的光谱滤波器元件。在第6像素P6中设置有偏振角度Θ3的偏振滤光片元件及光谱灵敏度λB的光谱滤波器元件。在第7像素P7中设置有偏振角度Θ1的偏振滤光片元件及光谱灵敏度λC的光谱滤波器元件(例如，在蓝色波长区域具有光谱灵敏度的峰的光谱滤波器元件)。在第8像素P8中设置有偏振角度Θ2的偏振滤光片元件及光谱灵敏度λC的光谱滤波器元件。在第9像素P9中设置有偏振角度Θ3的偏振滤光片元件及光谱灵敏度λC的光谱滤波器元件。即，将3种偏振滤光片元件及3种光谱滤波器元件进行组合，在各像素中设置有偏振滤光片元件及光谱滤波器元件。
根据以上结构的图像传感器100，在各像素块中，各像素P1～P9接收不同的偏振角度及光谱灵敏度的光。
信号处理部200对从图像传感器100输出的信号进行处理，生成各波长区域λ11～λ33的图像信号。具体而言，进行干扰去除处理，生成各波长区域λ11～λ33的图像信号。
在本例的摄像装置1中，在成像透镜10中设置有3种偏振滤光片。对于该3种偏振滤光片，通过上述实施方式中说明的方法优化偏振角度。通过优化偏振角度，能够拍摄抑制了噪声的良好的图像(多光谱图像)。例如，以干扰矩阵的条件数最小化的方式设定各偏振滤光片的偏振角度。
[成像透镜的变形例]
上述实施方式的成像透镜设为在1个开口板上具备偏振滤光片及带通滤光片的结构，但也可以设为在不同的偏振片上具备偏振滤光片及带通滤光片的结构。
并且，上述实施方式的成像透镜中，圆盘状的开口板在周向上被等分割，设置有多个开口区域，但开口区域的形状及布局并不限定于此。关于开口区域的形状及布局，能够根据开口区域的数量、摄像对象等，选择最佳的形状及布局。
[调整机构]
如上所述，在进行干扰去除处理而生成各开口区域的图像的情况下，各图像的噪声量由“透过各开口区域的光的灵敏度”及“基于干扰去除处理的噪声放大量”来决定。
“透过各开口区域的光的灵敏度”根据光源及被摄体而变化。因此，优选设为能够根据光源及被摄体适当更换所使用的偏振滤光片的结构。因此，优选成像透镜10具备偏振滤光片的更换机构。
作为偏振滤光片的更换机构，可以设为作为单元更换整体的结构，并且也可以设为分别单独更换各偏振滤光片的结构。在作为单元更换整体的情况下，准备偏振滤光片的组合不同的多个单元，根据状况(光源及被摄体)适当更换所使用的单元。
关于带通滤光片，也同样优选具备更换机构。在该情况下，与偏振滤光片的情况同样地，可以设为作为单元更换整体的结构，并且也可以设为分别单独更换各带通滤光片的结构。
并且，成像透镜也可以具备在各开口区域改变带通滤光片及偏振滤光片的组合的机构。例如，能够设为带通滤光片及偏振滤光片的至少一者旋转的结构(旋转结构)，并且设为使至少一者旋转而改变带通滤光片及偏振滤光片的组合的结构。具体而言，设为将带通滤光片及偏振滤光片安装在不同的开口板上，至少一者的开口板能够以光轴为中心旋转的结构。由此，通过使开口板旋转，能够改变带通滤光片及偏振滤光片的组合(所谓的转台状的切换机构)。
另外，在该情况下，若使偏振滤光片侧固定，使带通滤光片侧能够旋转，则不需要根据旋转来改变干扰去除的参数，因此更优选。
[信息的提示]
如上所述，“透过各开口区域的光的灵敏度”根据光源及被摄体而变化。因此，也能够设为根据光源及被摄体向用户提示最佳的偏振滤光片的结构。在该情况下，根据通过拍摄而获得的各图像(多光谱图像)测量噪声量，提示可进一步降低噪声的偏振滤光片(偏振角度)。例如，将可进一步降低噪声的组合的偏振滤光片显示在显示器等。
图28是表示优化并提示偏振滤光片的步骤的一例的流程图。
首先，利用标准的偏振滤光片的组合拍摄被摄体(步骤S1)。例如，用等间隔的组合的偏振滤光片拍摄被摄体。另外，带通滤光片使用实际使用的波长区域的组合。
接着，测量通过拍摄而获得的各开口区域的图像(各波长区域的图像)的噪声量(步骤S2)。
接着，优化在各开口区域中设定的偏振角度，以降低各开口区域的图像的噪声量(步骤S3)。例如，以干扰矩阵的条件数最小化的方式设定各开口区域的偏振角度。并且，在能够设定的偏振角度受限制的情况(例如，能够更换的偏振滤光片有限的情况等)下，在受限制的范围内优化偏振角度。
接着，提示优化的偏振角度(步骤S4)。例如，显示在显示器上。
接着，以成为所提示的偏振角度的组合的方式更换各开口区域所具备的偏振滤光片(步骤S5)。更换可以设为分别单独进行的结构，也可以设为更换整体的结构。
由此，能够根据被摄体及光源来拍摄高品质的多光谱图像。
[图像生成部的硬件结构]
图像生成部的硬件结构是如下所示的各种处理器。各种处理器包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Proce ssing Unit：中央处理器)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的两个以上的处理器(例如，多个FPGA，或CPU和FPGA的组合)构成。并且，也可以由一个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第一，有如下方式：如以客户端或服务器等计算机为代表那样，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥功能。第二，有如下方式：如以片上系统(System On Chip：SoC)等为代表那样，使用由1个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部使用1个以上的上述各种处理器作为硬件结构而构成。
而且，更具体而言，这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的电路。
符号说明
1-摄像装置，4A-开口区域，10-成像透镜，12-透镜，14-开口板，14A-第1开口区域，14B-第2开口区域，14C-第3开口区域，15A-第1开口板，15B-第2开口板，16A-第1带通滤光片，16B-第2带通滤光片，16C-第3带通滤光片，18A-第1偏振滤光片，18B-第2偏振滤光片，18C-第3偏振滤光片，100-图像传感器，110-像素阵列层，112-光电二极管，120-偏振滤光片元件阵列层，122A-第1偏振滤光片元件，122B-第2偏振滤光片元件，122C-第3偏振滤光片元件，122D-第4偏振滤光片元件，140-微透镜阵列层，142-微透镜，200-信号处理部，200A-模拟信号处理部，200B-图像生成部，200C-系数存储部，D1-图像信号，D2-图像信号，D3-图像信号，D4-图像信号，L-光轴，P1-第1像素，P2-第2像素，P3-第3像素，P4-第4像素，P5-第5像素，P6-第6像素，P7-第7像素，P8-第8像素，P9-第9像素，PB(X，Y)-像素块，Θ1-第1偏振滤光片元件的偏振角度，Θ2-第2偏振滤光片元件的偏振角度，Θ3-第3偏振滤光片元件的偏振角度，Θ4-第4偏振滤光片元件的偏振角度，α1-像素信号，α2-像素信号，α3-像素信号，α4-像素信号，β1-像素信号，β2-像素信号，β3-像素信号，θ1-第1偏振滤光片的偏振角度，θ2-第2偏振滤光片的偏振角度，θ3-第3偏振滤光片的偏振角度，λ1-第1带通滤光片的透过波长区域，λ2-第2带通滤光片的透过波长区域，λ3-第3带通滤光片的透过波长区域，λ11-第1带通滤光片的透过波长区域，λ12-第2带通滤光片的透过波长区域，λ13-第3带通滤光片的透过波长区域，λ21-第4带通滤光片的透过波长区域，λ22-第5带通滤光片的透过波长区域，λ23-第6带通滤光片的透过波长区域，λ31-第7带通滤光片的透过波长区域，λ32-第8带通滤光片的透过波长区域，λ33-第9带通滤光片的透过波长区域，λA-光谱滤波器元件的光谱灵敏度，λB-光谱滤波器元件的光谱灵敏度，λC-光谱滤波器元件的光谱灵敏度，S1～S5-优化并提示偏振滤光片的步骤。

Claims (18)

1.一种摄像装置，其具备：
光学系统，在光瞳位置或光瞳位置的附近具有3个以上的开口区域，各所述开口区域分别具备不同的组合的偏振滤光片及带通滤光片，由此各所述开口区域分别使不同的偏振角度及波长区域的组合的光透过；
图像传感器，二维地配置有分别接收不同的偏振角度的光的3种以上的像素；及
处理器，对从所述图像传感器输出的信号进行干扰去除处理，生成每个所述开口区域的图像信号，其中，
所述光学系统具有3种以上的所述偏振滤光片，在将所述偏振滤光片设为偏振角度的顺序的情况下，相邻的所述偏振滤光片的偏振角度的差分至少1个不同，
根据透过各所述开口区域的光的灵敏度，设定各所述偏振滤光片的偏振角度。
2.根据权利要求1所述的摄像装置，其中，
设定在各所述偏振滤光片的偏振角度设定为与所述差分全部相等的情况相比各所述开口区域的所述图像信号的噪声量之差缩小的偏振角度。
3.根据权利要求1所述的摄像装置，其中，
设定在各所述偏振滤光片的偏振角度设定为各所述开口区域的所述图像信号的噪声量之差最小化的偏振角度。
4.根据权利要求1所述的摄像装置，其中，
设定在各所述偏振滤光片的偏振角度设定为与所述差分全部相等的情况相比基于所述干扰去除处理的噪声放大量降低的偏振角度。
5.根据权利要求1所述的摄像装置，其中，
设定在各所述偏振滤光片的偏振角度设定为基于所述干扰去除处理的噪声放大量最小化的偏振角度。
6.根据权利要求1所述的摄像装置，其中，
设定在各所述偏振滤光片的偏振角度设定为灵敏度相对低的所述开口区域的图像信号和其他所述开口区域的图像信号的干扰量减少的偏振角度。
7.根据权利要求1所述的摄像装置，其中，
在所述处理器根据干扰矩阵进行所述干扰去除处理的情况下，
设定在各所述偏振滤光片的偏振角度设定为与所述差分全部相等的情况相比所述干扰矩阵的条件数减少的偏振角度。
8.根据权利要求1所述的摄像装置，其中，
在所述处理器根据干扰矩阵进行所述干扰去除处理的情况下，
设定在各所述偏振滤光片的偏振角度设定为所述干扰矩阵的条件数最小化的偏振角度。
9.根据权利要求1至8中任一项所述的摄像装置，其中，
所述光学系统具有单独更换所述带通滤光片及所述偏振滤光片的至少一者的更换机构。
10.根据权利要求1至8中任一项所述的摄像装置，其中，
所述光学系统具有所述带通滤光片及所述偏振滤光片的至少一者旋转的旋转结构。
11.一种摄像方法，其使用光学系统和图像传感器对从所述图像传感器输出的信号进行干扰去除处理，生成每个开口区域的图像信号，所述光学系统在光瞳位置或光瞳位置的附近具有3个以上的所述开口区域，各所述开口区域分别具备不同的组合的偏振滤光片及带通滤光片，由此各所述开口区域分别使不同的偏振角度及波长区域的组合的光透过，所述图像传感器二维地配置有分别接收不同的偏振角度的光的3种以上的像素，其中，
所述光学系统具有3种以上的所述偏振滤光片，在将所述偏振滤光片设为偏振角度的顺序的情况下，相邻的所述偏振滤光片的偏振角度的差分至少1个不同，
根据透过各所述开口区域的光的灵敏度，设定各所述偏振滤光片的偏振角度。
12.根据权利要求11所述的摄像方法，其中，
设定在各所述偏振滤光片的偏振角度设定为与所述差分全部相等的情况相比各所述开口区域的所述图像信号的噪声量之差缩小的偏振角度。
13.根据权利要求11所述的摄像方法，其中，
设定在各所述偏振滤光片的偏振角度设定为各所述开口区域的所述图像信号的噪声量之差最小化的偏振角度。
14.根据权利要求11所述的摄像方法，其中，
设定在各所述偏振滤光片的偏振角度设定为与所述差分全部相等的情况相比基于所述干扰去除处理的噪声放大量降低的偏振角度。
15.根据权利要求11所述的摄像方法，其中，
设定在各所述偏振滤光片的偏振角度设定为基于所述干扰去除处理的噪声放大量最小化的偏振角度。
16.根据权利要求11所述的摄像方法，其中，
设定在各所述偏振滤光片的偏振角度设定为灵敏度相对低的所述开口区域的图像信号和其他所述开口区域的图像信号的干扰量减少的偏振角度。
17.根据权利要求11所述的摄像方法，其中，
在根据干扰矩阵进行所述干扰去除处理的情况下，
设定在各所述偏振滤光片的偏振角度设定为与所述差分全部相等的情况相比所述干扰矩阵的条件数减少的偏振角度。
18.根据权利要求11所述的摄像方法，其中，
在根据干扰矩阵进行所述干扰去除处理的情况下，
设定在各所述偏振滤光片的偏振角度设定为所述干扰矩阵的条件数最小化的偏振角度。
CN202180014967.3A 2020-02-28 2021-02-22 摄像装置及方法 Active CN115152205B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-033962 2020-02-28
JP2020033962 2020-02-28
PCT/JP2021/006660 WO2021172284A1 (ja) 2020-02-28 2021-02-22 撮像装置及び方法

Publications (2)

Publication Number Publication Date
CN115152205A CN115152205A (zh) 2022-10-04
CN115152205B true CN115152205B (zh) 2024-06-07

Family

ID=77490510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180014967.3A Active CN115152205B (zh) 2020-02-28 2021-02-22 摄像装置及方法

Country Status (4)

Country Link
US (1) US12096135B2 (zh)
JP (1) JP7326581B2 (zh)
CN (1) CN115152205B (zh)
WO (1) WO2021172284A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4044574A4 (en) * 2019-10-07 2022-11-09 Sony Semiconductor Solutions Corporation ELECTRONIC DEVICE
JP7309640B2 (ja) * 2020-03-18 2023-07-18 株式会社東芝 光学検査装置
WO2022181094A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 光学装置、光学装置の作動方法、及びプログラム
CN117999793A (zh) * 2021-09-29 2024-05-07 富士胶片株式会社 数据处理装置、方法及程序以及多光谱相机
CN117999792A (zh) * 2021-09-30 2024-05-07 富士胶片株式会社 信息处理装置、方法及程序以及摄像装置
US20230154143A1 (en) * 2021-11-16 2023-05-18 Intrinsic Innovation Llc Polarization event cameras
WO2023157396A1 (ja) * 2022-02-15 2023-08-24 富士フイルム株式会社 レンズ装置、情報処理装置、プログラム、及び撮像装置の製造方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474646A (zh) * 2010-05-11 2012-05-23 松下电器产业株式会社 三维摄像装置
JP2013102322A (ja) * 2011-11-08 2013-05-23 Sony Corp 撮像装置及び撮像方法
WO2014020791A1 (ja) * 2012-08-02 2014-02-06 パナソニック株式会社 偏光カラー撮像装置
JP2018036314A (ja) * 2016-08-29 2018-03-08 富士フイルム株式会社 偏光イメージセンサーおよび偏光イメージセンサーの製造方法
CN108076264A (zh) * 2016-11-11 2018-05-25 株式会社东芝 摄像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474646A (zh) * 2010-05-11 2012-05-23 松下电器产业株式会社 三维摄像装置
JP2013102322A (ja) * 2011-11-08 2013-05-23 Sony Corp 撮像装置及び撮像方法
WO2014020791A1 (ja) * 2012-08-02 2014-02-06 パナソニック株式会社 偏光カラー撮像装置
JP2018036314A (ja) * 2016-08-29 2018-03-08 富士フイルム株式会社 偏光イメージセンサーおよび偏光イメージセンサーの製造方法
CN108076264A (zh) * 2016-11-11 2018-05-25 株式会社东芝 摄像装置

Also Published As

Publication number Publication date
CN115152205A (zh) 2022-10-04
JPWO2021172284A1 (zh) 2021-09-02
JP7326581B2 (ja) 2023-08-15
US12096135B2 (en) 2024-09-17
US20220385863A1 (en) 2022-12-01
WO2021172284A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
CN115152205B (zh) 摄像装置及方法
US8027041B1 (en) Compact snapshot multispectral imaging system
US11706506B2 (en) Imaging apparatus
JP5446521B2 (ja) 撮像装置
JP6131546B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
EP3700197B1 (en) Imaging device and method, and image processing device and method
JP5310483B2 (ja) 撮像装置
US11627263B2 (en) Imaging apparatus
CN112805992B (zh) 摄像装置
WO2022004572A1 (ja) レンズ装置、撮像装置、及び撮像方法
JP7135108B2 (ja) 撮像装置及び撮像方法
WO2020085149A1 (ja) 撮像装置及び撮像方法
WO2020213418A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
US11982899B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP6815628B2 (ja) マルチスペクトル撮像装置
CN117999792A (zh) 信息处理装置、方法及程序以及摄像装置
WO2024047944A1 (ja) 校正用部材、筐体装置、校正装置、校正方法、及びプログラム
CN117999793A (zh) 数据处理装置、方法及程序以及多光谱相机
CN117214121A (zh) 使用空间上分离的光谱阵列的成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant