CN114041085A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN114041085A
CN114041085A CN202080042622.4A CN202080042622A CN114041085A CN 114041085 A CN114041085 A CN 114041085A CN 202080042622 A CN202080042622 A CN 202080042622A CN 114041085 A CN114041085 A CN 114041085A
Authority
CN
China
Prior art keywords
band
light
pixel
polarization
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080042622.4A
Other languages
English (en)
Other versions
CN114041085B (zh
Inventor
岸根庆延
小野修司
冈田和佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114041085A publication Critical patent/CN114041085A/zh
Application granted granted Critical
Publication of CN114041085B publication Critical patent/CN114041085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种拍摄4频带以上的多光谱图像的摄像装置。摄像装置(1)具有摄像光学系统(10)、图像传感器(100)及信号处理部(200)。摄像光学系统(10)在光瞳附近具有带通滤波器单元(16)和偏振滤波器单元(18)，该带通滤波器单元(16)的开口区域中的至少一个使多种波段的光透射，该偏振滤波器单元(18)使透射带通滤波器单元(16)的光向多个方向偏振。图像传感器(100)接收透射多种光谱滤波元件和多种偏振滤波元件之后的光。信号处理部(200)通过对从图像传感器(100)输出的信号进行处理来生成多个图像信号。摄像装置(1)中，带通滤波器单元(16)的至少一个开口区域所具有的透射波段的数量为光谱滤波元件的透射波段的数量以下。

Description

摄像装置
技术领域
本发明涉及一种摄像装置。
背景技术
专利文献1中记载了一种使用具有偏振特性及颜色特性(波长选择性)不同的三个透光区域的偏振滤色器板和具备偏振特性不同的三个偏振滤波器的成像元件来拍摄三个波段的图像(所谓的3频带的多光谱图像)的技术。
以往技术文献
专利文献
专利文献1：国际公开第2014/020791号
发明内容
本发明的技术所涉及的一个实施方式提供一种拍摄4频带以上的多光谱图像的摄像装置。
用于解决技术课题的手段
(1)一种摄像装置，其具有：摄像光学系统，在摄像光学系统的光瞳附近具有第1光学元件和第2光学元件，该第1光学元件具有多个开口区域，开口区域中的至少一个使多种波段的光透射，该第2光学元件使透射第1光学元件的光向多个方向偏振；图像传感器，接收透射摄像光学系统的光，并且接收透射透射波段不同的多种第3光学元件和透射偏振方向不同的多种第4光学元件之后的光；及信号处理部，通过对从图像传感器输出的信号进行处理来生成多个图像信号，第1光学元件的至少一个开口区域所具有的透射波段数为第3光学元件的透射波段数以下。
(2)在上述(1)的摄像装置中，第1光学元件的所有开口区域使多种波段的光透射。
(3)在上述(1)的摄像装置中，第1光学元件的至少一个开口区域使一种波段的光透射。
(4)在上述(1)至(3)任一项的摄像装置中，第2光学元件使透射第1光学元件的光的一部分以非偏振光的方式直接通过。
(5)在上述(1)或(2)的摄像装置中，设置于第1光学元件的开口区域的数量为第4光学元件的透射偏振方向数以下，所有开口区域具有与第3光学元件的透射波段数相同数量的透射波段数。
(6)在上述(1)至(4)任一项的摄像装置中，第1光学元件的至少一个开口区域具有与第3光学元件所具有的多个波段部分重复的透射波段。
(7)在上述(1)至(6)任一项的摄像装置中，在将摄像光学系统的透射波段数设为k、将第3光学元件的透射波段数设为m、将第4光学元件的透射偏振方向数设为n的情况下，摄像光学系统及图像传感器满足k≤m×n的关系。
(8)在上述(1)至(7)任一项的摄像装置中，第1光学元件的至少一组开口区域使相同波段的光透射。
(9)在(1)至(8)任一项的摄像装置中，第1光学元件的至少一个开口区域配置于光轴上。
(10)在上述(1)至(9)任一项的摄像装置中，信号处理部通过进行干扰去除处理来说生成多个图像信号。
附图说明
图1是表示本发明所涉及的摄像装置的第1实施方式的概略结构的图。
图2是带通滤波器单元的主视图。
图3是表示第1带通滤波器的透射波长特性的曲线图。
图4是表示第2带通滤波器的透射波长特性的曲线图。
图5是偏振滤波器单元的主视图。
图6是表示图像传感器的像素的排列的概略结构的图。
图7是表示图像传感器的概略结构的图。
图8是表示一个像素(图7的虚线部分)的概略结构的剖视图。
图9是表示设置于各像素块的偏振滤波元件的排列图案的一例的图。
图10是表示第1光谱滤波元件的透射波长特性的一例的曲线图。
图11是表示第2光谱滤波元件的透射波长特性的一例的曲线图。
图12是表示设置于各像素块的光谱滤波元件的排列图案的一例的图。
图13是表示信号处理部的概略结构的框图。
图14是图像生成的概念图。
图15是摄像装置的动作的概念图。
图16是设置于第2实施方式的摄像装置的偏振滤波器单元的主视图。
图17是带通滤波器单元的主视图。
图18是表示第1带通滤波器的透射波长特性的曲线图。
图19是表示第2带通滤波器的透射波长特性的曲线图。
图20是表示第3带通滤波器的透射波长特性的曲线图。
图21是偏振滤波器单元的主视图。
图22是表示第4实施方式的摄像装置的第2带通滤波器的透射波长特性的曲线图。
图23是由第2带通滤波器和第1光谱滤波元件的组合实现的透射波长特性的说明图。
图24是由第2带通滤波器和第2光谱滤波元件的组合实现的透射波长特性的说明图。
图25是表示设置于第5实施方式的摄像装置的各像素块的偏振滤波元件的排列图案的一例的图。
图26是设置于第6实施方式的摄像光学系统的带通滤波器单元的主视图。
图27是表示第1带通滤波器的透射波长特性的曲线图。
图28是表示第2带通滤波器的透射波长特性的曲线图。
图29是表示第3带通滤波器的透射波长特性的曲线图。
图30是设置于第6实施方式的摄像光学系统的偏振滤波器单元的主视图。
图31是表示图像传感器的像素的排列的概略结构的图。
图32是表示设置于各像素块的偏振滤波元件的排列图案的一例的图。
图33是表示第1光谱滤波元件的透射波长特性的一例的曲线图。
图34是表示第2光谱滤波元件的透射波长特性的一例的曲线图。
图35是表示第3光谱滤波元件的透射波长特性的一例的曲线图。
图36是表示设置于各像素块的光谱滤波元件的排列图案的一例的图。
图37是第6实施方式的摄像装置的动作的概念图。
图38是表示带通滤波器单元的另一例的图。
图39是表示偏振滤波器单元的另一例的图。
图40是表示偏振滤波器单元的另一例的图。
图41是表示带通滤波器单元的另一例的图。
图42是表示偏振滤波器单元的另一例的图。
图43是表示设定于第1带通滤波器的透射波长特性的另一例的曲线图。
图44是表示设定于第2带通滤波器的透射波长特性的另一例的曲线图。
图45是表示设定于第1带通滤波器的透射波长特性的另一例的曲线图。
图46是设置于第7实施方式的摄像光学系统的带通滤波器单元的主视图。
图47是设置于第7实施方式的摄像光学系统的偏振滤波器单元的主视图。
图48是表示图像传感器的像素的排列的概略结构的图。
图49是表示设置于各像素块的偏振滤波元件的排列图案的一例的图。
图50是表示设置于各像素块的光谱滤波元件的排列图案的一例的图。
图51是第7实施方式的摄像装置的动作的概念图。
图52是表示第8实施方式的带通滤波器单元的一例的主视图。
图53是表示第8实施方式的带通滤波器单元的另一例的主视图。
图54是表示带通滤波器单元的一例的主视图。
图55是表示偏振滤波器单元的一例的主视图。
具体实施方式
以下，参考附图对本发明的优选实施方式进行详细说明。
《第1实施方式》
[摄像装置的结构]
图1是表示本发明所涉及的摄像装置的第1实施方式的概略结构的图。
本实施方式的摄像装置为拍摄4频带的多光谱图像的摄像装置。本实施方式的摄像装置主要具备摄像光学系统10、图像传感器100及信号处理部200。
[摄像光学系统]
摄像光学系统10通过组合多个透镜12而构成。摄像光学系统10在其光瞳附近具有带通滤波器单元16及偏振滤波器单元18。并且，摄像光学系统10具有未图示的焦点调节机构。焦点调节机构例如通过使摄像光学系统10整体沿着光轴L前后移动来调节焦点。
图2是带通滤波器单元的主视图。
带通滤波器单元16为第1光学元件的一例。带通滤波器单元16由具备两个开口区域16Al、16A2的框体16A和设置于该框体16A的两个带通滤波器16B1、16B2构成。另外，以下，根据需要，将设置于框体16A的一个开口区域16A1称为第1开口区域16A1、将另一个开口区域16A2称为第2开口区域16A2来区分两个开口区域16A1、16A2。并且，将设置于第1开口区域16A1的带通滤波器16B1称为第1带通滤波器16B1、将设置于第2开口区域16A2的带通滤波器16B2称为第2带通滤波器16B2来区分两个带通滤波器16B1、16B2。
设置于框体16A的两个开口区域16A1、16A2具有圆形的开口形状，并且夹着光轴L对称地配置。框体16A具有遮光性，仅使光从两个开口区域16A1、16A2通过。
第1带通滤波器16B1及第2带通滤波器16B2由所谓的多带通滤波器构成，并且分别使多种波段的光透射。在本实施方式的摄像装置中，第1带通滤波器16B1及第2带通滤波器16B2分别使两种波段的光透射。另外，第1带通滤波器16B1及第2带通滤波器16B2使互不相同的波段的光透射。
图3是表示第1带通滤波器的透射波长特性的曲线图。
如图3所示，第1带通滤波器16B1使波段λ11的光及波段λ12的光透射。
图4是表示第2带通滤波器的透射波长特性的曲线图。
如图4所示，第2带通滤波器16B2使波段λ21的光及波段λ22的光透射。
图5是偏振滤波器单元的主视图。
偏振滤波器单元18为第2光学元件的一例。偏振滤波器单元18使透射带通滤波器单元16的光向多个方向偏振。偏振滤波器单元18由具备两个开口区域18A1、18A2的框体18A和设置于该框体18A的一个开口区域18A2的一个偏振滤波器18B2构成。另外，以下，根据需要，将设置于框体18A的一个开口区域18A1称为第1开口区域18A1、将另一个开口区域18A2称为第2开口区域18A2来区分两个开口区域18A1、18A2。偏振滤波器18B2设置于第2开口区域18A2。
框体18A具有遮光性，仅使光从两个开口区域18A1、18A2通过。两个开口区域18A1、18A2与带通滤波器单元16的两个开口区域16A1、16A2对应，并且重叠配置于相同的位置。即，第1开口区域18A1具有与带通滤波器单元16的第1开口区域16A1相同的开口形状(圆形)，并且重叠配置于相同的位置。并且，第2开口区域18A2具有与带通滤波器单元16的第2开口区域16A2相同的开口形状，并且重叠配置于相同的位置。因此，通过带通滤波器单元16的第1开口区域16A1之后的光通过偏振滤波器单元18的第1开口区域18A1，并且通过带通滤波器单元16的第2开口区域16A2之后的光通过偏振滤波器单元18的第2开口区域18A2。
设置于第2开口区域18A2的偏振滤波器18B2使偏振方向θ(例如，方位角60°)的光透射。偏振方向(偏振方位)由偏振透射轴与x轴(水平轴)在与光轴L正交的xy平面上所成的角度(方位角)表示。
偏振滤波器仅设置于第2开口区域18A2。因此，第1开口区域18A1使非偏振光透射。
以上结构的摄像光学系统10中，光瞳区域被带通滤波器单元16及偏振滤波器单元18分割为两个区域。即，分割为由带通滤波器单元16的第1开口区域16A1和偏振滤波器单元18的第1开口区域18A1划定的第1光瞳区域及由带通滤波器单元16的第2开口区域16A2和偏振滤波器单元18的第2开口区域18A2划定的第2光瞳区域。从各光瞳区域射出不同特性的光。即，射出波段λ11的非偏振光(第1光)、波段λ12的非偏振光(第2光)、波段λ21的偏振方向θ的光(第3光)及波段λ22的偏振方向θ的光(第4光)。第1光及第2光为通过带通滤波器单元16的第1开口区域16A1及偏振滤波器单元18的第1开口区域18A1之后的光。第3光及第4光为通过带通滤波器单元16的第2开口区域16A2及偏振滤波器单元18的第2开口区域18A2之后的光。
[图像传感器]
图6是表示图像传感器的像素的排列的概略结构的图。
如图6所示，图像传感器100在其受光面上具有多种像素P1、P2、P3、P4。各像素P1～P4沿着水平方向(x轴方向)及垂直方向(y轴方向)以规定间距有规律地排列。
本实施方式的图像传感器100由相邻的4个(2×2个)像素P1～P4构成一个像素块PB(X，Y)，该像素块PB(X，Y)沿着水平方向(x轴方向)及垂直方向(y轴方向)有规律地排列。以下，根据需要，以像素P1为第1像素P1、以像素P2为第2像素P2、以像素P3为第3像素P3、以像素P4为第4像素P4来区分各像素P1～P4。各像素P1～P4分别具有不同的光学特性。
图7是表示图像传感器的概略结构的图。图8是表示一个像素(图7的虚线部分)的概略结构的剖视图。
图像传感器100具有像素阵列层110、偏振滤波元件阵列层120、光谱滤波元件阵列层130及微透镜阵列层140。各层从像面侧朝向物体侧依次配置有像素阵列层110、偏振滤波元件阵列层120、光谱滤波元件阵列层130、微透镜阵列层140。
像素阵列层110通过二维地排列多个光电二极管112而构成。一个光电二极管112构成一个像素。各光电二极管112沿着水平方向(x方向)及垂直方向(y方向)有规律地配置。
偏振滤波元件阵列层120通过二维地排列透射偏振方向(所透射的光的偏振方向)不同的两种偏振滤波元件122A、122B而构成。以下，根据需要，以偏振滤波元件122A为第1偏振滤波元件122A、以偏振滤波元件122B为第2偏振滤波元件122B来区分各偏振滤波元件122A、122B。各偏振滤波元件122A、122B以与光电二极管112相同的间隔配置，并且针对每个像素设置。第1偏振滤波元件122A使第1偏振方向θ1(例如，方位角90°)的光透射。第2偏振滤波元件122B使与第1偏振方向θ1不同的第2偏振方向θ2(例如，方位角0°)的光透射。偏振滤波元件122A、122B为第4光学元件的一例。
在各像素块PB(X，Y)中，有规律地排列有偏振滤波元件122A、122B。
图9是表示设置于各像素块的偏振滤波元件的排列图案的一例的图。
如图9所示，在本实施方式的摄像装置中，像素块内的第1像素P1及第4像素P4中设置有第1偏振滤波元件122A，第2像素P2及第3像素P3中设置有第2偏振滤波元件122B。
光谱滤波元件阵列层130通过二维地排列透射波长特性互不相同的两种光谱滤波元件132A、132B而构成。以下，根据需要，以光谱滤波元件132A为第1光谱滤波元件132A、以光谱滤波元件132B为第2光谱滤波元件132B来区分各光谱滤波元件132A、132B。各光谱滤波元件132A、132B以与光电二极管112相同的间隔配置，并且针对每个像素设置。光谱滤波元件132A、132B为第3光学元件的一例。
图10是表示第1光谱滤波元件的透射波长特性的一例的曲线图。并且，图11是表示第2光谱滤波元件的透射波长特性的一例的曲线图。
如图10所示，第1光谱滤波元件132A使波段λA的光透射。另一方面，如图11所示，第2光谱滤波元件132B使与第1光谱滤波元件132A不同的波段λB的光透射。
并且，如图10及图11所示，设置于摄像光学系统10的带通滤波器单元16中，第1带通滤波器16B1允许透射的波段λ11、λ12及第2带通滤波器16B2允许透射的波段λ21、λ22设定在第1光谱滤波元件132A的透射波段λA及第2光谱滤波元件132B的透射波段λB的范围内。具体而言，第1带通滤波器16B1允许透射的波段λ11及第2带通滤波器16B2允许透射的波段λ21设定在第1光谱滤波元件132A的透射波段λA的范围内。并且，第1带通滤波器16B1允许透射的波段λ12及第2带通滤波器16B2允许透射的波段λ22设定在第2光谱滤波元件132B的透射波段λB的范围内。
图12是表示设置于各像素块的光谱滤波元件的排列图案的一例的图。
如图12所示，在各像素块PB(X，Y)中，有规律地排列有光谱滤波元件132A、132B。在本实施方式的摄像装置中，第1像素P1及第2像素P2中设置有第1光谱滤波元件132A，第3像素P3及第4像素P4中设置有第2光谱滤波元件132B。
微透镜阵列层140通过二维地排列多个微透镜142而构成。各微透镜142以与光电二极管112相同的间隔配置，并且针对每个像素设置。微透镜142以将来自摄像光学系统10的光高效地会聚于光电二极管112上为目的而设置。
如上构成的图像传感器100中，各像素块PB(X，Y)中的各像素P1～P4如下接收来自摄像光学系统10的光。即，第1像素P1经由第1光谱滤波元件132A(波段λA)及第1偏振滤波元件122A(偏振方向θ1)接收来自摄像光学系统10的光。并且，第2像素P2经由第1光谱滤波元件132A(波段λA)及第2偏振滤波元件122B(偏振方向θ2)接收来自摄像光学系统10的光。并且，第3像素P3经由第2光谱滤波元件132B(波段λB)及第2偏振滤波元件122B(偏振方向θ2)接收来自摄像光学系统10的光。并且，第4像素P4经由第2光谱滤波元件132B(波段λB)及第1偏振滤波元件122A(偏振方向θ1)接收来自摄像光学系统10的光。如此，像素块PB(X，Y)的各像素P1～P4通过具有不同组合的光谱滤波元件132A、132B和偏振滤波元件122A、122B，分别接收不同波段及不同偏振特性的光。
[信号处理部]
信号处理部200通过对从图像传感器100输出的信号进行处理来生成4频带的多光谱图像的图像信号(图像数据)。即，生成透射摄像光学系统10的带通滤波器单元16的四种波段λ11、λ12、λ21、λ22的图像信号。
图13是表示信号处理部的概略结构的框图。
如图13所示，信号处理部200包括模拟信号处理部200A、图像生成部200B及系数存储部200C。
模拟信号处理部200A读入从图像传感器100的各像素输出的模拟像素信号，实施规定的信号处理(例如，相关双采样处理、扩增处理等)之后，转换为数字信号进行输出。
图像生成部200B通过对转换为数字信号之后的像素信号实施规定的信号处理来生成各波段λ11、λ12、λ21、λ22的图像信号。
图14是图像生成的概念图。
各像素块PB(X，Y)包括第1像素P1、第2像素P2、第3像素P3及第4像素P4。因此，通过从各像素块PB(X，Y)中分离并提取第1像素P1、第2像素P2、第3像素P3、第4像素P4的像素信号，可生成四个图像信号D1～D4。然而，在该四个图像信号中发生了干扰(串扰)。即，由于各波段的光入射于各像素P1～P4，因此所生成的图像会成为以规定的比例混合有各波段的图像的图像。因此，图像生成部200B通过进行干扰去除处理来生成各波段的图像信号。
以下，对信号处理部200中进行的干扰去除处理进行说明。
将由各像素块PB(X，Y)的第1像素P1获得的像素信号(信号值)设为α1，将由第2像素P2获得的像素信号设为α2，将由第3像素P3获得的像素信号设为α3，将由第4像素P4获得的像素信号设为α4。从各像素块PB(X，Y)可获得四个像素信号α1～α4。图像生成部200B根据该四个像素信号α1～α4来计算与各波段λ11、λ12、λ21、λ22的光对应的四个像素信号β1～β4，去除干扰。具体而言，通过使用下述矩阵A的式1来计算与各波段λ11、λ12、λ21、λ22的光对应的四个像素信号β1～β4，去除干扰。
[数式1]
Figure BDA0003402166870000101
[数式2]
Figure BDA0003402166870000102
另外，像素信号β1为与波段λ11的光对应的像素信号，像素信号β2为与波段λ12的光对应的像素信号，像素信号β3为与波段λ21的光对应的像素信号，像素信号β4为与波段λ22的光对应的像素信号。因此，由像素信号β1生成波段λ11的图像信号，由像素信号β2生成波段λ12的图像信号，由像素信号β3生成波段λ21的图像信号，由像素信号β4生成波段λ22的图像信号。以下，对能够通过上述式1去除干扰的理由进行说明。
干扰因各波段λ11、λ12、λ21、λ22的光混入到各像素P1～P4中而发生。将从摄像光学系统10射出的各波段λ11、λ12、λ21、λ22的光被各像素P1～P4接收的比例(干扰比率)设为bij(i＝1～4、j＝1～4)。在此，b11为波段λ11的光被第1像素P1接收的比例，b12为波段λ12的光被第1像素P1接收的比例，b13为波段λ21的光被第1像素P1接收的比例，b14为波段λ 22的光被第1像素P1接收的比例。并且，b21为波段λ11的光被第2像素P2接收的比例，b22为波段λ12的光被第2像素P2接收的比例，b23为波段λ 21的光被第2像素P2接收的比例，b24为波段λ 22的光被第2像素P2接收的比例。并且，b31为波段λ11的光被第3像素P3接收的比例，b32为波段λ12的光被第3像素P3接收的比例，b33为波段λ21的光被第3像素P3接收的比例，b34为波段λ22的光被第3像素P3接收的比例。并且，b41为波段λ11的光被第4像素P4接收的比例，b42为波段λ12的光被第4像素P4接收的比例，b43为波段λ21的光被第4像素P4接收的比例，b44为波段λ22的光被第4像素P4接收的比例。该比例bij由设定于摄像光学系统10的透射波段及透射偏振方向(包括非偏振)以及设定于图像传感器100的各像素的透射波段及透射偏振方向唯一地确定。即，由设定于带通滤波器单元16的各开口区域16A1、16A2的透射波段和设定于图像传感器100的各光谱滤波元件132A、132A的透射波段的组合以及设定于偏振滤波器单元18的各开口区域18A1、18A2的透射偏振方向(包括非偏振)和设定于图像传感器100的各偏振滤波元件122A、122B的偏振方向的组合唯一地确定。因此，从摄像光学系统10射出的各波段λ11、λ12、λ21、λ22的光被各像素P1～P4接收的比例bij可以事先求出。
以下关系在由各像素块PB(X，Y)的各像素P1～P4获得的像素信号α1～α4和与各波段λ11、λ12、λ21、λ22的光对应的像素信号β1～β4之间成立。
关于由第1像素P1获得的像素信号α1，“b11*β1+b12*β2+b13*β3+b14*β4＝α1……式2”成立(“*”为积算的符号)。
关于由第2像素P2获得的像素信号α2，“b21*β1+b22*β2+b23*β3+b24*β4＝α2……式3”成立。
关于由第3像素P3获得的像素信号α3，“b31*β1+b32*β2+b33*β3+b34*β4＝α3……式4”成立。
关于由第4像素P4获得的像素信号α4，“b41*β1+b42*β2+b43*β3+b44*β4＝α4……式5”成立。
在此，上述式2～5的联立方程式可以由使用矩阵B的下述式6表示。
[数式3]
Figure BDA0003402166870000121
[数式4]
Figure BDA0003402166870000122
式2～5的联立方程式的解即β1～β4可通过在上述式6的两边乘以矩阵B的逆矩阵B-1来计算。
[数式5]
Figure BDA0003402166870000123
如此，与各波段λ11、λ12、λ21、λ22对应的像素信号β1～β4能够根据从摄像光学系统10射出的各波段λ11、λ12、λ21、λ22的光被像素块PB(X，Y)的各像素P1～P4接收的比例由各像素P1～P4的信号值(像素信号)α1～α4来计算。
上述式1中，将上述式7的逆矩阵B-1设为A(B-1＝A)。因此，式1中的矩阵A的各要素aij能够通过求出矩阵B的逆矩阵B-1来获取。
系数存储部200C存储用于进行干扰去除处理的矩阵A的各要素aij作为系数组。
图像生成部200B从系数存储部200C获取系数组，通过上述式1根据从各像素块PB(X，Y)的各像素P1～P4获得的像素信号α1～α4计算与各波段λ11、λ12、λ21、λ22对应的像素信号β1～β4，生成各波段λ11、λ12、λ21、λ22的图像信号。
由图像生成部200B生成的各波段λ11、λ12、λ21、λ22的图像信号输出至外部，并根据需要存储于存储装置(未图示)中。并且，根据需要显示于显示器(未图示)。
[摄像装置的作用]
图15是本实施方式的摄像装置的动作的概念图。
入射于摄像光学系统10的光成为不同特性的四种光入射于图像传感器100。具体而言，成为波段λ11的非偏振光(第1光)、波段λ12的非偏振光(第2光)、波段λ21的偏振方向θ的光(第3光)及波段λ22的偏振方向θ的光(第4光)入射于图像传感器100。
在图像传感器100的各像素块PB(X，Y)中，从摄像光学系统10射出的各波段的光以规定的比例被各像素P1～P4接收。即，通过设置于各像素P1～P4的偏振滤波元件122A、122B及光谱滤波元件132A、132B的作用以规定的比例bij接收各波段的光。
信号处理部200根据从图像传感器100的各像素块PR(X，Y)的各像素P1～P4获得的像素信号α1～α4来计算与各波段λ11、λ12、λ21、λ22的光对应的像素信号β1～β4，生成各波段λ11、λ12、λ21、λ22的图像信号。即，进行基于使用矩阵A的式1的运算处理(干扰去除处理)，根据从图像传感器100获得的各像素P1～P4的像素信号α1～α4来计算与各波段λ11、λ12、λ21、λ22的光对应的像素信号β1～β4，生成各波段λ11、λ12、λ21、λ22的图像信号。
如此，根据本实施方式的摄像装置，能够通过一个摄像光学系统10和一个(单板)图像传感器100来拍摄四种波段的图像(4频带的多光谱图像)。
并且，在本实施方式的摄像装置中，在摄像光学系统10的带通滤波器单元16中，使多种波段的光从一个开口区域透射。由此，与单独提取各波段的光的结构相比，能够加大开口尺寸。由此，能够提高灵敏度。尤其，通过将设定于各开口区域的透射波段数(设置于各开口区域的带通滤波器的透射波段数)设为与图像传感器的透射波段数(设置于图像传感器的光谱滤波元件的种类数)相同的数量，能够尽可能加大开口尺寸，从而能够提高灵敏度。
并且，在本实施方式的摄像装置中，在摄像光学系统10的偏振滤波器单元18中，将一个开口区域设为直接通过。由此，能够防止由偏振引起的光量减少。因此，通过该结构，也能够提高灵敏度。并且，通过该结构，还能够同时拍摄偏振图像。
《第2实施方式》
本实施方式的摄像装置与上述第1实施方式的摄像装置的不同点在于，在偏振滤波器单元18的第1开口区域18A1及第2开口区域16A2这两个开口区域设置有偏振滤波器18B1、18B2。其他结构与上述第1实施方式的摄像装置相同。因此，在此仅对偏振滤波器单元18的结构进行说明。
图16是设置于本实施方式的摄像装置的偏振滤波器单元的主视图。
如图16所示，在第1开口区域18A1及第2开口区域18A2这两个开口区域设置有偏振滤波器18B1、18B2。以下，以设置于第1开口区域18A1的偏振滤波器18B1为第1偏振滤波器18B1、以设置于第2开口区域18A2的偏振滤波器18B1为第2偏振滤波器18B2来区分两个偏振滤波器18B1、18B2。第1偏振滤波器18B1使第1偏振方向θ1(例如，方位角150°)的光透射。第2偏振滤波器18B2使与第1偏振方向θ1不同的第2偏振方向θ2(例如，方位角60°)的光透射。如此，偏振滤波器单元18可以在框体18A的所有各开口区域18A1、18A2设置偏振滤波器18B1、18B2。
另外，如本实施方式那样，在所有各开口区域设置偏振滤波器的情况下，也可以将设置于图像传感器的多种偏振滤波元件中的一个设为直接通过的结构。
并且，在拍摄4频带的多光谱图像的情况下，通过采用以下结构，能够防止干扰。即，将设置于偏振滤波器单元18的第1偏振滤波器18B1及第2偏振滤波器18B2的透射偏振方向设为彼此正交的方向，并且将设置于图像传感器100的第1偏振滤波元件122A及第2偏振滤波元件122B的透射偏振方向设为彼此正交的方向。例如，对偏振滤波器单元18的第1偏振滤波器18B1使用使方位角90°的光透射的偏振滤波器，对第2偏振滤波器18B2使用使方位角0°的光透射的偏振滤波器。另一方面，对图像传感器100的第1偏振滤波元件122A使用使方位角90°的光透射的偏振滤波元件，对第2偏振滤波元件122B使用使方位角0°的光透射的偏振滤波元件。由此，在图像传感器100中，能够接收分离的各波段的光。因此，在信号处理部200中，无需进行干扰去除处理即可生成各波段的图像信号。
《第3实施方式》
本实施方式的摄像装置与上述第1实施方式的摄像装置的不同点在于，带通滤波器单元16及偏振滤波器单元18的结构。其他结构与上述第1实施方式的摄像装置相同。因此，在此仅对偏振滤波器单元18及带通滤波器单元16的结构进行说明。
图17是带通滤波器单元的主视图。
如图17所示，本实施方式的带通滤波器单元16具有三个开口区域16A1、16A2、16A3。以下，根据需要，将开口区域16A1称为第1开口区域16A1、将开口区域16A2称为第2开口区域16A2、将开口区域16A3称为第3开口区域16A3来区分三个开口区域16A1、16A2、16A3。
第1开口区域16A1具有矩形的开口形状，并且配置于等分框体16A的一侧的区域。第2开口区域16A2及第3开口区域16A3均具有圆形的开口形状，并且配置于等分框体16A的另一侧的区域。
各开口区域16A1～16A3中分别设置有所透射的波段不同的带通滤波器16B1、16B2、16B3。以下，将设置于第1开口区域16A1的带通滤波器16B1称为第1带通滤波器16B1、将设置于第2开口区域16A2的带通滤波器16B2称为第2带通滤波器16B2、将设置于第3开口区域16A3的带通滤波器16B3称为第3带通滤波器16B3来区分三个带通滤波器16B1、16B2、16B3。
图18是表示第1带通滤波器的透射波长特性的曲线图。
如图18所示，第1带通滤波器16B1由所谓的多带通滤波器构成，其使两种波段的光透射。具体而言，使波段λ11的光及波段λ12的光透射。另外，图18中虚线所示的两个波段λA、λB的曲线图分别为设置于图像传感器100的第1光谱滤波元件132A及第2光谱滤波元件132B的透射波长特性的曲线图(波段λA的曲线图为第1光谱滤波元件132A的透射波长特性的曲线图，波段λB的曲线图为第2光谱滤波元件132B的透射波长特性的曲线图)。第1带通滤波器16B1允许透射的波段λ11、λ12设定在第1光谱滤波元件132A及第2光谱滤波元件132B允许透射的波段λA、λB的范围内。具体而言，一个波段λ11设定在第1光谱滤波元件132A允许透射的波段λA的范围内，另一个波段λ12设定在第2光谱滤波元件132B允许透射的波段λB的范围内。
图19是表示第2带通滤波器的透射波长特性的曲线图。
如图19所示，第2带通滤波器16B2使一种波段的光透射。具体而言，使波段λ2的光透射。另外，图19中虚线所示的波段λA的曲线图为设置于图像传感器100的第1光谱滤波元件132A的透射波长特性的曲线图。第2带通滤波器16B2允许透射的波段λ2设定在第1光谱滤波元件132A允许透射的波段λA的范围内。
图20是表示第3带通滤波器的透射波长特性的曲线图。
如图20所示，第3带通滤波器16B3使一种波段的光透射。具体而言，如图20所示，使波段λ3的光透射。另外，图20中虚线所示的波段λB的曲线图为设置于图像传感器100的第2光谱滤波元件132B的透射波长特性的曲线图。第3带通滤波器16B3允许透射的波段λ3设定在第2光谱滤波元件132B允许透射的波段λB的范围内。
图21是偏振滤波器单元的主视图。
如图21所示，与带通滤波器单元16相同地，偏振滤波器单元18在框体18A中具有三个开口区域18A1、18A2、18A3。以下，将开口区域18A1称为第1开口区域18A1、将开口区域18A2称为第2开口区域18A2、将开口区域18A3称为第3开口区域18A3来区分三个开口区域18A1、18A2、18A3。
各开口区域18A1～18A3具有与带通滤波器单元16中的对应的开口区域16A1～16A3相同的开口形状，并且重叠配置于相同的位置。因此，通过带通滤波器单元16的各开口区域16A1～16A3之后的光入射于对应的各开口区域18A1～18A3。
第1开口区域18A1设为直接通过。因此，非偏振光通过第1开口区域18A1。
第2开口区域18A2及第3开口区域18A3中设置有偏振滤波器18B2。偏振滤波器18B2使偏振方向θ(例如，方位角60°)的光透射。
根据以上结构的摄像装置，通过带通滤波器单元16的第1开口区域16A1之后的光通过偏振滤波器单元18的第1开口区域18A1，并入射于图像传感器100。并且，通过带通滤波器单元16的第2开口区域16A2之后光通过偏振滤波器单元18的第2开口区域18A2，并入射于图像传感器100。并且，通过带通滤波器单元16的第3开口区域16A3之后光通过偏振滤波器单元18的第3开口区域18A3，并入射于图像传感器100。
带通滤波器单元16的第1开口区域16A1中设置有使两种波段λ11、λ12的光透射的带通滤波器(第1带通滤波器16B1)。并且，第2开口区域18A2及第3开口区域18A3中设置有使一种波段λ2、λ3的光透射的带通滤波器(第2带通滤波器16B2、第3带通滤波器16B3)。因此，从摄像光学系统10射出不同特性的四种光。即，射出波段λ11的非偏振光(第1光)、波段λ12的非偏振光(第2光)、波段λ21的偏振方向θ的光(第3光)及波段λ22的偏振方向θ的光(第4光)。因此，在本实施方式的摄像装置中，也能够与上述第1实施方式的摄像装置相同地拍摄四个波段的图像(4频带的多光谱图像)。
另外，在本实施方式中，将偏振滤波器单元18的第1开口区域18Al设为直接通过，但也可以与上述第2实施方式相同地设置使通过的光向规定的偏振方向偏振的偏振滤波器。
《第4实施方式》
本实施方式的摄像装置与上述第1实施方式的摄像装置的不同点在于，带通滤波器单元16的结构。具体而言，设置于带通滤波器单元16的第2开口区域16A2的第2带通滤波器16B2的透射波长特性与上述第1实施方式的摄像装置不同。其他结构与上述第1实施方式的摄像装置相同。因此，在此仅对第2带通滤波器16B2的透射波长特性进行说明。
图22是表示本实施方式的摄像装置的第2带通滤波器的透射波长特性的曲线图。
另外，在图22中，虚线所示的波段λA的曲线图为设置于图像传感器100的第1光谱滤波元件132A的透射波长特性的曲线图，虚线所示的波段λB的曲线图为第2光谱滤波元件132B的透射波长特性的曲线图。
如图22所示，设置于本实施方式的摄像装置的第2带通滤波器16B2使一种波段λ2的光透射。该透射波段设定为横跨设置于图像传感器100的第1光谱滤波元件132A的透射波段和第2光谱滤波元件132B的透射波段。换言之，该透射波段的一部分设定为与第1光谱滤波元件132A的透射波段及第2光谱滤波元件132B的透射波段重复。
通过使用以上结构的第2带通滤波器16B2，图像传感器100实质上接收四个波段的光。即，透射第2带通滤波器16B2的光为一种波段λ2的光，但被第1光谱滤波元件132A及第2光谱滤波元件132B实质上分离成两种波段。因此，与由第1带通滤波器16B1分离的两个波段的光一并接收四种波段的光。
图23是由第2带通滤波器和第1光谱滤波元件的组合实现的透射波长特性的说明图。如图23所示，若通过第2带通滤波器16B2之后的光入射，则设置有第1光谱滤波元件132A的像素接收斜线所示的波段的光。即，接收第2带通滤波器16B2允许透射的波段λ2和第1光谱滤波元件132A允许透射的波段λA重叠的波段λ2A的光。
图24是由第2带通滤波器和第2光谱滤波元件的组合实现的透射波长特性的说明图。如图24所示，若通过第2带通滤波器16B2之后的光入射，则设置有第2光谱滤波元件132B的像素接收斜线所示的波段的光。即，接收第2带通滤波器16B2允许透射的波段λ2和第2光谱滤波元件132B允许透射的波段λB重叠的波段λ2B的光。
如此，即使第2带通滤波器16B2为使一种波段λ2的光透射的结构，也能够通过设置于图像传感器100的第1光谱滤波元件132A及第2光谱滤波元件132B实质上分离成两种波段的光。并且，通过该结构，能够简化带通滤波器的制作。进而，还能够减少光相对于滤波器倾斜地入射时发生的波长位移。
《第5实施方式》
在上述第1实施方式的摄像装置中，在拍摄4频带的多光谱图像的情况下，由四个像素构成一个像素块，组合两种偏振滤波元件和两种光谱滤波元件，从而改变了各像素的光学特性。也可以对设置于一个像素块的各像素的偏振滤波元件使用互不相同的偏振特性的偏振滤波元件。以下，对如下情况进行说明：在拍摄4频带的多光谱图像的情况下，由四个像素构成一个像素块，各像素中设置有透射偏振方向不同的偏振滤波元件。另外，除偏振滤波元件的排列不同以外，与上述第1实施方式的摄像装置相同。因此，在此仅对偏振滤波元件的排列进行说明。
图25是表示设置于本实施方式的摄像装置的各像素块的偏振滤波元件的排列图案的一例的图。
如图25所示，在本实施方式的摄像装置中，构成一个像素块PB(X，Y)的四个像素P1～P4中设置有透射偏振方向不同的偏振滤波元件122A～122D。具体而言，第1像素P1中设置有使第1偏振方向θ1(例如，90°)的光透射的第1偏振滤波元件122A。第2像素P2中设置有使第2偏振方向θ2(例如，0°)的光透射的第2偏振滤波元件122B。第3像素P3中设置有使第3偏振方向θ3(例如，45°)的光透射的第3偏振滤波元件122C。第4像素P4中设置有使第4偏振方向θ4(例如，135°)的光透射的第4偏振滤波元件122D。
另外，设置于带通滤波器单元的开口区域的数量可以设定为图像传感器的透射偏振方向的数量以下(设置于图像传感器的偏振滤波元件的种类数以下)。在该情况下，通过将设定于各开口区域的透射波段数设为与图像传感器的透射波段数相同的数量，能够尽可能加大开口尺寸。并且，由此能够提高灵敏度。
《第6实施方式》
本实施方式的摄像装置拍摄9频带的多光谱图像。摄像装置具备摄像光学系统10、图像传感器100及信号处理部200，关于这一点与上述第1实施方式的摄像装置相同(参考图1)。
[摄像光学系统]
本实施方式的摄像装置的摄像光学系统10与上述第1实施方式的摄像光学系统的不同点在于，带通滤波器单元16及偏振滤波器单元18的结构。
图26是设置于本实施方式的摄像光学系统的带通滤波器单元的主视图。
带通滤波器单元16在框体16A中具有三个开口区域16A1、16A2、16A3。以下，根据需要，将开口区域16A1称为第1开口区域16A1、将开口区域16A2称为第2开口区域16A2、将开口区域16A3称为第3开口区域16A3来区分各开口区域16A1～16A3。
各开口区域16A1～16A3具有相同的开口形状(矩形)，并且以光轴L为中心对称地配置。具体而言，第2开口区域16A2配置于光轴上，第1开口区域16A1及第3开口区域16A3夹着该第2开口区域16A2对称地配置。
各开口区域16A1～16A3中分别设置有透射波长特性不同的带通滤波器16B1～16B3。以下，根据需要，将设置于第1开口区域16A1的带通滤波器16B1称为第1带通滤波器16B1、将设置于第2开口区域16A2的带通滤波器16B2称为第2带通滤波器16B2、将设置于第3开口区域16A3的带通滤波器16B3称为第3带通滤波器16B3来区分各带通滤波器16B1～16B3。
图27是表示第1带通滤波器的透射波长特性的曲线图。
如图27所示，第1带通滤波器16B1由多带通滤波器构成，其使三种波段的光透射。具体而言，使波段λ11的光、波段λ12及波段λ13的光透射。
图28是表示第2带通滤波器的透射波长特性的曲线图。
如图28所示，第2带通滤波器16B2也由多带通滤波器构成，其使三种波段的光透射。具体而言，使波段λ21的光、波段λ22及波段λ23的光透射。
图29是表示第3带通滤波器的透射波长特性的曲线图。
如图29所示，第3带通滤波器16B3也由多带通滤波器构成，其使三种波段的光透射。具体而言，使波段λ31的光、波段λ32及波段λ33的光透射。
图30是设置于本实施方式的摄像光学系统的偏振滤波器单元的主视图。
如图30所示，偏振滤波器单元18在框体18A中具有三个开口区域18A1、18A2、18A3。以下，根据需要，将开口区域18A1称为第1开口区域18A1、将开口区域18A2称为第2开口区域18A2、将开口区域18A3称为第3开口区域18A3来区分各开口区域18A1～18A3。
三个开口区域18A1、18A2、18A3与带通滤波器单元16的三个开口区域16A1、16A2、16A3对应，并且重叠配置于相同的位置。即，第1开口区域18A1具有与带通滤波器单元16的第1开口区域16A1相同的开口形状，并且重叠配置于相同的位置。并且，第2开口区域18A2具有与带通滤波器单元16的第2开口区域16A2相同的开口形状，并且重叠配置于相同的位置。并且，第3开口区域18A3具有与带通滤波器单元16的第3开口区域16A3相同的开口形状，并且重叠配置于相同的位置。因此，通过带通滤波器单元16的第1开口区域16A1之后的光通过第1开口区域18A1，通过带通滤波器单元16的第2开口区域16A2之后的光通过第2开口区域18A2，通过带通滤波器单元16的第3开口区域16A3之后的光通过第3开口区域18A3。
第2开口区域18A2及第3开口区域18A3中分别设置有透射偏振方向不同的偏振滤波器18B2、18B3。具体而言，第2开口区域18A2中设置有使偏振方向θ2(例如，方位角150°)的光通过的偏振滤波器18B2。第3开口区域18A3中设置有使偏振方向θ3(例如，方位角150°)的光通过的偏振滤波器18B3。
偏振滤波器仅设置于第2开口区域18A2及第3开口区域18A3。因此，第1开口区域18A1使非偏振光透射。
摄像光学系统10通过带通滤波器单元16及偏振滤波器单元18的组合将光瞳区域分割为三个区域。即，分割为由带通滤波器单元16的第1开口区域16A1和偏振滤波器单元18的第1开口区域18A1划定的第1光瞳区域、由带通滤波器单元16的第2开口区域16A2和偏振滤波器单元18的第2开口区域18A2划定的第2光瞳区域及由带通滤波器单元16的第3开口区域16A3和偏振滤波器单元18的第3开口区域18A3划定的第3光瞳区域。从各光瞳区域射出不同特性的光。即，射出波段λ11的非偏振光(第1光)、波段λ12的非偏振光(第2光)、波段λ13的非偏振光(第3光)、波段λ21的偏振方向θ2的光(第4光)、波段λ22的偏振方向θ2的光(第5光)、波段λ23的偏振方向θ2的光(第6光)、波段λ31的偏振方向θ3的光(第7光)、波段λ32的偏振方向θ3的光(第8光)及波段λ33的偏振方向θ3的光(第9光)。
[图像传感器]
图31是表示图像传感器的像素的排列的概略结构的图。
如图31所示，本实施方式的摄像装置的图像传感器100由相邻的9个(3个×3个)像素P1～P9构成一个像素块PB(X，Y)。以下，根据需要，以像素P1为第1像素P1、以像素P2为第2像素P2、以像素P3为第3像素P3、以像素P4为第4像素P4、以像素P5为第5像素P5、以像素P6为第6像素P6、以像素P7为第7像素P7、以像素P8为第8像素P8、以像素P9为第9像素P9来区分各像素P1～P9。
图像传感器100具有像素阵列层110、偏振滤波元件阵列层120、光谱滤波元件阵列层130及微透镜阵列层140，这一点与上述第1实施方式的摄像装置相同(参考图7)。本实施方式的图像传感器100的不同点在于，偏振滤波元件阵列层120及光谱滤波元件阵列层130的结构。
偏振滤波元件阵列层120中设置有透射偏振方向不同的三种偏振滤波元件122A、122B、122C。以下，根据需要，以偏振滤波元件122A为第1偏振滤波元件122A、以偏振滤波元件122B为第2偏振滤波元件122B、以偏振滤波元件122C为第3偏振滤波元件122C来区分各偏振滤波元件122A～122C。第1偏振滤波元件122A使偏振方向θ1(例如，方位角90°)的光透射。第2偏振滤波元件122B使偏振方向θ2(例如，方位角45°)的光透射。第3偏振滤波元件122C使偏振方向θ3(例如，方位角0°)的光透射。
图32是表示设置于各像素块的偏振滤波元件的排列图案的一例的图。
如图32所示，第1像素P1、第4像素P4及第7像素P7中设置有第1偏振滤波元件122A。并且，第2像素P2、第5像素P5及第8像素P8中设置有第2偏振滤波元件122B。并且，第3像素P3、第6像素P6及第9像素P9中设置有第3偏振滤波元件122C。
光谱滤波元件阵列层130中设置有透射波长特性互不相同的三种光谱滤波元件132A、132B、132C。以下，根据需要，以光谱滤波元件132A为第1光谱滤波元件132A、以光谱滤波元件132B为第2光谱滤波元件132B、以光谱滤波元件132C为第3光谱滤波元件132C来区分各光谱滤波元件132A～132C。
图33是表示第1光谱滤波元件的透射波长特性的一例的曲线图。
如图33所示，第1光谱滤波元件132A使波段λA(例如，红色(Red，R)波段)的光透射。设置于摄像光学系统10的带通滤波器单元16中，第1带通滤波器16B1允许透射的波段λ11、第2带通滤波器16B2允许透射的波段λ21及第3带通滤波器16B3允许透射的波段λ31设定在第1光谱滤波元件132A的透射波段λA的范围内。
图34是表示第2光谱滤波元件的透射波长特性的一例的曲线图。
如图34所示，第2光谱滤波元件132B使波段λB(例如，绿色(Green，G)波段)的光透射。设置于摄像光学系统10的带通滤波器单元16中，第1带通滤波器16B1允许透射的波段λ12、第2带通滤波器16B2允许透射的波段λ22及第3带通滤波器16B3允许透射的波段λ32设定在第2光谱滤波元件132B的透射波段λB的范围内。
图35是表示第3光谱滤波元件的透射波长特性的一例的曲线图。
如图35所示，第3光谱滤波元件132C使波段λC(例如，蓝色(Blue，B)波段)的光透射。设置于摄像光学系统10的带通滤波器单元16中，第1带通滤波器16B1允许透射的波段λ13、第2带通滤波器16B2允许透射的波段λ23及第3带通滤波器16B3允许透射的波段λ33设定在第3光谱滤波元件132C的透射波段λC的范围内。
图36是表示设置于各像素块的光谱滤波元件的排列图案的一例的图。
如图36所示，第1像素P1、第2像素P2及第3像素P3中设置有第1光谱滤波元件132A。并且，第4像素P4、第5像素P5及第6像素P6中设置有第2光谱滤波元件132B。并且，第7像素P7、第8像素P8及第9像素P9中设置有第3光谱滤波元件132C。
如上构成的图像传感器100中，各像素块PB(X，Y)中的各像素P1～P9如下接收来自摄像光学系统10的光。即，第1像素P1经由第1光谱滤波元件132A及第1偏振滤波元件122A接收来自摄像光学系统10的光。第2像素P2经由第1光谱滤波元件132A及第2偏振滤波元件122B接收来自摄像光学系统10的光。第3像素P3经由第1光谱滤波元件132A及第3偏振滤波元件122C接收来自摄像光学系统10的光。第4像素P4经由第2光谱滤波元件132B及第1偏振滤波元件122A接收来自摄像光学系统10的光。第5像素P5经由第2光谱滤波元件132B及第2偏振滤波元件122B接收来自摄像光学系统10的光。第6像素P6经由第2光谱滤波元件132B及第2偏振滤波元件122B接收来自摄像光学系统10的光。第7像素P7经由第3光谱滤波元件132C及第1偏振滤波元件122A接收来自摄像光学系统10的光。第8像素P8经由第3光谱滤波元件132C及第2偏振滤波元件122B接收来自摄像光学系统10的光。第9像素P9经由第3光谱滤波元件132C及第3偏振滤波元件122C接收来自摄像光学系统10的光。如此，像素块PB(X，Y)的各像素P1～P9通过具有不同组合的光谱滤波元件132A～132C和偏振滤波元件122A～122C，分别接收不同特性的光。
[信号处理部]
信号处理部200通过对从图像传感器100输出的信号进行处理来生成9频带的多光谱图像的图像信号。即，生成透射摄像光学系统10的带通滤波器单元16的四个波段λ11、λ12、λ13、λ21、λ22、λ23、λ31、λ32、λ33的图像信号。信号处理部200通过进行规定的干扰去除处理来生成各波段的图像信号，关于这一点与上述第1实施方式的信号处理部200相同。
[摄像装置的作用]
图37是本实施方式的摄像装置的动作的概念图。
入射于摄像光学系统10的光成为不同特性的九种光入射于图像传感器100。具体而言，成为波段λ11的非偏振光(第1光)、波段λ12的非偏振光(第2光)、波段λ13的非偏振光(第2光)、波段λ21的偏振方向θ2的光(第4光)、波段λ22的偏振方向θ2的光(第5光)、波段λ23的偏振方向θ2的光(第6光)、波段λ31的偏振方向θ3的光(第7光)、波段λ32的偏振方向θ3的光(第8光)、波段λ33的偏振方向θ3的光(第9光)入射于图像传感器100。
在图像传感器100的各像素块PB(X，Y)中，从摄像光学系统10射出的光以规定的比例被各像素P1～P9接收。即，波段λ11的光、波段λ12的光、波段λ13的光、波段λ21的光、波段λ22的光、波段λ23的光、波段λ31的光、波段λ32的光、波段λ33的光以规定的比例被接收。
信号处理部200根据从图像传感器100的各像素块PB(X，Y)的各像素P1～P9获得的像素信号α1～α9来计算与各波段λ11、λ12、λ13、λ21、λ22、λ23、λ31、λ32、λ33的光对应的像素信号β1～β9，生成各波段λ11、λ12、λ13、λ21、λ22、λ23、λ31、λ32、λ33的图像信号。
如此，根据本实施方式的摄像装置，能够通过一个摄像光学系统10和一个图像传感器100来拍摄9频带的多光谱图像。
[带通滤波器单元及偏振滤波器单元的变形例]
图38是表示带通滤波器单元的另一例的图。图39是表示偏振滤波器单元的另一例的图。
如图38所示，本例子的带通滤波器单元16中，框体16A具有九个开口区域，并且在各开口区域中单独设置有使各波段λ11、λ12、λ13、λ21、λ22、λ23、λ31、λ32、λ33的光透射的带通滤波器。因此，各波段λ11、λ12、λ13、λ21、λ22、λ23、λ31、λ32、λ33的光借助通过各开口区域来进行分离。
如图39所示，偏振滤波器单元18中，与带通滤波器单元对应地，框体18A也具有九个开口区域，各开口区域中也均设置有偏振滤波器。另外，在本例子中，组合使用了透射偏振方向不同的三种偏振滤波器(偏振方向θ1、θ2、θ3)，但也可以将其中一种设为非偏振(直接通过)。
图40是表示偏振滤波器单元的另一例的图。
相对于图39所示的偏振滤波器单元，本例子的偏振滤波器单元18中，将具有相同的偏振特性的开口区域结合为一个。如此，通过将具有相同的偏振特性的开口区域结合为一个，能够容易制作滤波器。另外，在该情况下，与带通滤波器单元16重叠时的开口形状(作为开口区域而透视的形状(虚线所示的形状))成为实质上的开口区域(光瞳区域)的形状。
图41是表示带通滤波器单元的另一例的图。图42是表示偏振滤波器单元的另一例的图。
如图41所示，本例子的带通滤波器单元16中，框体16A具有七个开口区域。七个开口区域中的一个设置有多带通滤波器，其使三种波段λ11、λ12、λ13的光透射。剩余的开口区域分别设置有使一种波段λ21、λ22、λ23、λ31、λ32、λ33的光透射的带通滤波器。
如图42所示，偏振滤波器单元18中，与带通滤波器单元对应地，框体18A也具有七个开口区域。各开口区域中设置有偏振滤波器(偏振方向θ1、θ2、θ3)。
如本例子那样，通过适当使用多带通滤波器，能够加大开口尺寸。由此，能够提高灵敏度。
图43～图45是表示设定于带通滤波器单元的各带通滤波器的透射波长特性的另一例(变形例)的曲线图。另外，图43是表示设定于第1带通滤波器的透射波长特性的另一例的曲线图。并且，图44是表示设定于第2带通滤波器的透射波长特性的另一例的曲线图。并且，图45是表示设定于第1带通滤波器的透射波长特性的另一例的曲线图。
如图43所示，第1带通滤波器使两种波段λ11、λ12的光透射。在此，一个波段λ11设定为横跨设置于图像传感器100的第1光谱滤波元件132A及第2光谱滤波元件132B的透射波段λA、λB。换言之，该波段的一部分设定为与第1光谱滤波元件132A的透射波段λA及第2光谱滤波元件132B的透射波段λB重复。另一个波段λ12设定在设置于图像传感器100的第3光谱滤波元件132C的透射波段λC的范围内。
如图44所示，第2带通滤波器使三种波段λ21、λ22、λ23的光透射。在此，波段λ21设定在设置于图像传感器100的第1光谱滤波元件132A的透射波段λA的范围内。并且，波段λ22设定在设置于图像传感器100的第2光谱滤波元件132B的透射波段λB的范围内。并且，波段λ23设定在设置于图像传感器100的第3光谱滤波元件132C的透射波段λC的范围内。
如图45所示，第3带通滤波器使三种波段λ31、λ32、λ33的光透射。在此，波段λ31设定在设置于图像传感器100的第1光谱滤波元件132A的透射波段λA的范围内。并且，波段λ32设定在设置于图像传感器100的第2光谱滤波元件132B的透射波段λB的范围内。并且，波段λ33设定在设置于图像传感器100的第3光谱滤波元件132C的透射波段λC的范围内。
根据以上结构的带通滤波器单元，在摄像光学系统中，八种波段λ11、λ12、λ21、λ22、λ23、λ31、λ32、λ33的光被分离。然而，在图像传感器中，实质上能够接收九种波段的光。即，由第1带通滤波器分离的波段λ11的光被第1光谱滤波元件132A及第2光谱滤波元件132B实质上分离成两个波段。因此，在图像传感器中，实质上能够接收九种波段的光。
《第7实施方式》
本实施方式的摄像装置拍摄12频带的多光谱图像。另外，摄像装置具备摄像光学系统10、图像传感器100及信号处理部200，关于这一点与上述第1实施方式的摄像装置相同(参考图1)。
[摄像光学系统]
本实施方式的摄像装置的摄像光学系统与上述第1实施方式的摄像装置1的摄像光学系统10的不同点在于，带通滤波器单元16及偏振滤波器单元18的结构。
图46是设置于本实施方式的摄像光学系统的带通滤波器单元的主视图。
带通滤波器单元16在框体16A中具有三个开口区域(第1开口区域16A1、第2开口区域16A2、第3开口区域16A3)。各开口区域16A1～16A3中分别设置有透射波长特性不同的带通滤波器(第1带通滤波器16B1、第2带通滤波器16B2、第3带通滤波器16B3)。各带通滤波器16B1～16B3由多带通滤波器构成，其使互不相同的四种波段的光透射。具体而言，第1带通滤波器16B1使波段Rλ1、6λ1、Bλ1、IRλ1的光透射。第2带通滤波器16B2使波段Rλ2、Gλ2、Bλ2、IRλ2的光透射。第3带通滤波器16B3使波段Rλ3、Gλ3、Bλ3、IRλ3的光透射。
图47是设置于本实施方式的摄像光学系统的偏振滤波器单元的主视图。
如图47所示，偏振滤波器单元18在框体18A中具有三个开口区域(第1开口区域18A1、第2开口区域18A2、第3开口区域18A3)。各开口区域18A1～18A3中分别设置有透射偏振方向不同的偏振滤波器(第1偏振滤波器18B1、第2偏振滤波器18B2、第3偏振滤波器18B3)。具体而言，第1偏振滤波器18B1使偏振方向θ1的光透射。第2偏振滤波器18B2使偏振方向θ2的光透射。第3偏振滤波器18B3使偏振方向θ3的光透射。
从以上结构的摄像光学系统射出不同特性的十二种光。即，射出波段Rλ1的偏振方向θ1的光(第1光)、波段Gλ1的偏振方向θ1的光(第2光)、波段Bλ1的偏振方向θ1的光(第3光)、波段IRλ1的偏振方向θ1的光(第4光)、波段Rλ2的偏振方向θ2的光(第5光)、波段Gλ2的偏振方向θ2的光(第6光)、波段Bλ2的偏振方向θ2的光(第7光)、波段IRλ2的偏振方向θ2的光(第8光)、波段Rλ3的偏振方向θ3的光(第9光)、波段Gλ3的偏振方向θ3的光(第10光)、波段Bλ3的偏振方向θ3的光(第11光)、波段IRλ3的偏振方向θ3的光(第12光)。
[图像传感器]
图48是表示图像传感器的像素的排列的概略结构的图。
如图48所示，本实施方式的图像传感器100由相邻的16个(4个×4个)像素P1～P16构成一个像素块PB(X，Y)。以下，根据需要，以像素P1为第1像素P1、以像素P2为第2像素P2、以像素P3为第3像素P3、以像素P4为第4像素P4、以像素P5为第5像素P5、以像素P6为第6像素P6、以像素P7为第7像素P7、以像素P8为第8像素P8、以像素P9为第9像素P9、以像素P10为第10像素P10、以像素P11为第11像素P11、以像素P12为第12像素P12、以像素P13为第13像素P13、以像素P14为第14像素P14、以像素P15为第15像素P15、以像素P16为第16像素P16来区分各像素P1～P16。
图像传感器100具有像素阵列层110、偏振滤波元件阵列层120、光谱滤波元件阵列层130及微透镜阵列层140，这一点与上述第1实施方式的摄像装置相同(参考图7)。本实施方式的图像传感器100的不同点在于，偏振滤波元件阵列层120及光谱滤波元件阵列层130的结构。
偏振滤波元件阵列层120中设置有透射偏振方向不同的四种偏振滤波元件(第1偏振滤波元件122A、第2偏振滤波元件122B、第3偏振滤波元件122C、第4偏振滤波元件122D)。具体而言，第1偏振滤波元件122A使偏振方向θ1(例如，方位角45°)的光透射。第2偏振滤波元件122B使偏振方向θ2(例如，方位角90°)的光透射。第3偏振滤波元件122C使偏振方向θ3(例如，方位角135°)的光透射。第4偏振滤波元件122D使偏振方向θ4(例如，方位角0°)的光透射。
图49是表示设置于各像素块的偏振滤波元件的排列图案的一例的图。
如图49所示，第1像素P1、第3像素P3、第9像素P9及第11像素P11中设置有第1偏振滤波元件122A。并且，第2像素P2、第4像素P4、第10像素P10及第12像素P12中设置有第2偏振滤波元件122B。并且，第5像素P5、第7像素P7、第13像素P13及第15像素P15中设置有第3偏振滤波元件122C。并且，第6像素P6、第8像素P8、第14像素P14及第16像素P16中设置有第4偏振滤波元件122D。
光谱滤波元件阵列层130中设置有透射波长特性互不相同的四种光谱滤波元件(第1光谱滤波元件132A、第2光谱滤波元件132B、第3光谱滤波元件132C、第4光谱滤波元件132D)。
图50是表示设置于各像素块的光谱滤波元件的排列图案的一例的图。
如图50所示，第1像素P1、第2像素P2、第5像素P5及第6像素P6中设置有第1光谱滤波元件132A。并且，第3像素P3、第4像素P4、第7像素P7及第8像素P8中设置有第2光谱滤波元件132B。并且，第9像素P9、第10像素P10、第13像素P13及第14像素P14中设置有第3光谱滤波元件132C。并且，第11像素P11、第12像素P12、第15像素P15及第16像素P16中设置有第4光谱滤波元件132D。
作为一例，在本实施方式的摄像装置中，第1光谱滤波元件132A由使红色(Red，R)波段Rλ的光透射的光谱滤波元件构成。第2光谱滤波元件132B由使绿色(Green，G)波段Gλ的光透射的光谱滤波元件构成。第3光谱滤波元件132C由使蓝色(Blue，B)波段Bλ的光透射的光谱滤波元件构成。第4光谱滤波元件132D由使红外(InfraRed，IR)波段IRλ的光透射的光谱滤波元件构成。
第1带通滤波器16B1允许透射的四种波段Rλ1、Gλ1、Bλ1、IRλ1分别设定在第1光谱滤波元件132A的透射波段Rλ、第2光谱滤波元件132B的透射波段Gλ、第3光谱滤波元件132C的透射波段Bλ、第4光谱滤波元件132D的透射波段IRλ的范围内。即，波段Rλ1设定在第1光谱滤波元件132A的透射波段Rλ的范围内。并且，波段Gλ1设定在第2光谱滤波元件132B的透射波段Gλ的范围内。并且，波段Bλ1设定在第3光谱滤波元件132C的透射波段Bλ的范围内。并且，波段IRλ1设定在第4光谱滤波元件132D的透射波段IRλ的范围内。
并且，第2带通滤波器16B2允许透射的四种波段Rλ2、Gλ2、Bλ2、IRλ2分别设定在第1光谱滤波元件132A的透射波段Rλ、第2光谱滤波元件132B的透射波段Gλ、第3光谱滤波元件132C的透射波段Bλ、第4光谱滤波元件132D的透射波段IRλ的范围内。即，波段Rλ2设定在第1光谱滤波元件132A的透射波段Rλ的范围内。并且，波段Gλ2设定在第2光谱滤波元件132B的透射波段Gλ的范围内。并且，波段Bλ2设定在第3光谱滤波元件132C的透射波段Bλ的范围内。并且，波段IRλ2设定在第4光谱滤波元件132D的透射波段IRλ的范围内。
并且，第3带通滤波器16B3允许透射的四种波段Rλ3、Gλ3、Bλ3、IRλ3分别设定在第1光谱滤波元件132A的透射波段Rλ、第2光谱滤波元件132B的透射波段Gλ、第3光谱滤波元件132C的透射波段Bλ、第4光谱滤波元件132ID的透射波段IRλ的范围内。即，波段Rλ3设定在第1光谱滤波元件132A的透射波段Rλ的范围内。并且，波段Gλ3设定在第2光谱滤波元件132B的透射波段Gλ的范围内。并且，波段Bλ3设定在第3光谱滤波元件132C的透射波段Bλ的范围内。并且，波段IRλ3设定在第4光谱滤波元件132D的透射波段IRλ的范围内。
如上构成的图像传感器100中，各像素块PB(X，Y)中的各像素P1～P16如下接收来自摄像光学系统10的光。即，第1像素P1经由第1光谱滤波元件132A及第1偏振滤波元件122A接收来自摄像光学系统10的光。第2像素P2经由第1光谱滤波元件132A及第2偏振滤波元件122B接收来自摄像光学系统10的光。第3像素P3经由第2光谱滤波元件132B及第1偏振滤波元件122A接收来自摄像光学系统10的光。第4像素P4经由第2光谱滤波元件132B及第2偏振滤波元件122B接收来自摄像光学系统10的光。第5像素P5经由第1光谱滤波元件132A及第3偏振滤波元件122C接收来自摄像光学系统10的光。第6像素P6经由第1光谱滤波元件132A及第4偏振滤波元件122D接收来自摄像光学系统10的光。第7像素P7经由第2光谱滤波元件132B及第3偏振滤波元件122C接收来自摄像光学系统10的光。第8像素P8经由第2光谱滤波元件132B及第4偏振滤波元件122D接收来自摄像光学系统10的光。第9像素P9经由第3光谱滤波元件132C及第1偏振滤波元件122A接收来自摄像光学系统10的光。第10像素P10经由第3光谱滤波元件132C及第2偏振滤波元件122B接收来自摄像光学系统10的光。第11像素P11经由第4光谱滤波元件132D及第1偏振滤波元件122A接收来自摄像光学系统10的光。第12像素P12经由第4光谱滤波元件132D及第2偏振滤波元件122B接收来自摄像光学系统10的光。第13像素P13经由第3光谱滤波元件132C及第3偏振滤波元件122C接收来自摄像光学系统10的光。第14像素P14经由第3光谱滤波元件132C及第4偏振滤波元件122D接收来自摄像光学系统10的光。第15像素P15经由第4光谱滤波元件132D及第3偏振滤波元件122C接收来自摄像光学系统10的光。第16像素P16经由第4光谱滤波元件132D及第4偏振滤波元件122D接收来自摄像光学系统10的光。
[信号处理部]
信号处理部200通过对从图像传感器100输出的信号进行处理来生成12频带的多光谱图像的图像信号。即，生成透射摄像光学系统的带通滤波器单元16的十二种波段Rλ1、Gλ1、Bλ1、IRλ1、Rλ2、Gλ2、Bλ2、IRλ2、Rλ3、Gλ3、Bλ3、IRλ3的图像信号。信号处理部200通过进行规定的干扰去除处理来生成各波段的图像信号，关于这一点与上述第1实施方式的信号处理部200相同。
[摄像装置的作用]
图51是本实施方式的摄像装置的动作的概念图。
入射于摄像光学系统10的光成为不同特性的十二种光入射于图像传感器100。具体而言，成为波段Rλ1的偏振方向θ1的光(第1光)、波段Gλ1的偏振方向θ1的光(第2光)、波段Bλ1的偏振方向θ1的光(第3光)、波段IRλ1的偏振方向θ1的光(第4光)、波段Rλ2的偏振方向θ2的光(第5光)、波段Gλ2的偏振方向θ2的光(第6光)、波段Bλ2的偏振方向θ2的光(第7光)、波段IRλ2的偏振方向θ2的光(第8光)、波段Rλ3的偏振方向θ3的光(第9光)、波段Gλ3的偏振方向θ3的光(第10光)、波段Bλ3的偏振方向θ3的光(第11光)、波段IRλ3的偏振方向θ3的光(第12光)入射于图像传感器100。
在图像传感器100的各像素块PB(X，Y)中，从摄像光学系统10射出的光(第1光～第12光)以规定的比例被各像素P1～P16接收。
信号处理部200根据从图像传感器100的各像素块PB(X，Y)的各像素P1～P16获得的像素信号α1～α16来计算与各波段Rλ1、Gλ1、Bλ1、IRλ1、Rλ2、Gλ2、Bλ2、IRλ2、Rλ3、Gλ3、Bλ3、IRλ3的光对应的像素信号β1～β12，生成各波段Rλ1、Gλ1、Bλ1、IRλ1、Rλ2、Gλ2、Bλ2、IRλ2、Rλ3、Gλ3、Bλ3、IRλ3的图像信号。
如此，根据本实施方式的摄像装置，能够通过一个摄像光学系统10和一个图像传感器100来拍摄12频带的多光谱图像。
[拍摄N频带的多光谱图像的摄像装置]
如上所述，根据本发明，能够拍摄4频带以上的多光谱图像。现在，将设置于图像传感器的偏振滤波元件的种类设为n种(n≥2)，将光谱滤波元件的种类设为m种(m≥2)。n表示基于偏振滤波元件的图像传感器的透射偏振方向数，m表示基于光谱滤波元件的图像传感器的透射波段数。
将通过摄像装置拍摄的多光谱图像的频带数设为N。在本发明的摄像装置中，最多能够拍摄N＝m×n频带的多光谱图像。在该情况下，图像传感器的一个像素块由具有不同的偏振滤波元件和光谱滤波元件的组合的m×n个像素构成。
将从摄像光学系统射出的波段的种类(包括与光谱滤波元件组合进行分离的情况)设为k种。即，将摄像光学系统的透射波段数设为k。在本发明的摄像装置中，最多能够拍摄n×m频带的多光谱图像，因此k≤m×n。摄像光学系统及图像传感器设定为满足k≤m×n。具体而言，摄像光学系统中，开口区域设定为满足k≤m×n，并且透射各开口区域的光的波段及偏振方向设定为满足k≤m×n。并且，图像传感器中，一个像素块设定为满足k≤m×n，并且构成各像素块的像素的偏振滤波元件和光谱滤波元件的组合设定为满足k≤m×n。
另外，摄像光学系统的透射波段数k的计数在光谱滤波元件及图像传感器中均具有灵敏度的波段内进行。即，例如，即使摄像光学系统具有使λ1～λ4这四个波段的光透射的结构，在图像传感器对波段λ4的光不具有灵敏度的情况下，实质上的透射波段数也为k＝3。同样地，在光谱滤波元件对波段λ2的光不具有灵敏度的情况下(实质上不使波段λ4的光透射的情况下)，实质上的透射波段数也为k＝3。因此，在拍摄4频带以上的多光谱图像的情况下，设定在光谱滤波元件(第3光学元件)及图像传感器中均具有灵敏度的波段内拍摄的频带(即，摄像光学系统的透射波段(第1光学元件的透射波段))。
现在，考虑将设置于图像传感器的偏振滤波元件的种类设为n种、将光谱滤波元件的种类设为m种、n×m＝q、一个像素块由q个像素构成的情况。在该情况下，从图像传感器的各像素块输出q个像素信号α1、α2、……、αq。在摄像光学系统射出k个波段的光的情况下，用于根据该q个像素信号α1、α2、……、αq来计算与各波段的光对应的k个像素信号β1、β2、……、βk的运算式使用矩阵A如下定义。
[数式6]
Figure BDA0003402166870000321
[数式7]
Figure BDA0003402166870000322
如上所述，矩阵A为以各波段的光被各像素块的各像素接收的比例为要素的矩阵B的逆矩阵B-1。
另外，关于摄像光学系统，优选设为带通滤波器单元的至少一个开口区域使多种波段的光透射的结构。即，设为对至少一个开口区域设置使多种波段的光透射的带通滤波器(多带通滤波器)的结构。由此，能够加大开口面积，从而提高灵敏度。在该情况下，由一个开口区域透射的波段的数量(透射波段数)最多可设定至设置于图像传感器的光谱滤波元件的种类的数量。另外，设置于图像传感器的光谱滤波元件的种类表示图像传感器中的光谱滤波元件的透射波段数，因此带通滤波器单元的至少一个开口区域所具有的透射波段的数量可以设定为光谱滤波元件的透射波段的数量以下。
《第8实施方式》
若摄像光学系统中设置有一组具有相同的透射波长特性的带通滤波器，则图像会在离焦时位移。利用该性质，能够容易检测焦点。以下，对使得容易检测焦点的摄像装置进行说明。另外，关于带通滤波器单元以外的结构，与上述第1实施方式的摄像装置相同。因此，在此仅对带通滤波器单元的结构进行说明。
图52是表示本实施方式的带通滤波器单元的一例的主视图。
如图52所示，本例子的带通滤波器单元16在框体16A中具有三个开口区域(第1开口区域16Al、第2开口区域16A2、第3开口区域16A3)。三个开口区域16A1～16A3具有相同的开口形状，第1开口区域16A1及第3开口区域16A3夹着第2开口区域16A2对称地配置。
各开口区域16A1～16A3中设置有带通滤波器(第1带通滤波器16B1、第2带通滤波器16B2、第3带通滤波器16B3)。第1带通滤波器16B1及第3带通滤波器16B3具有相同的透射波长特性，其使波段λ11、λ12、λ13的光透射。另一方面，第2带通滤波器16B2具有与第1带通滤波器16B1及第3带通滤波器16B3不同的透射波长特性，其使波段λ21、λ22、λ23的光透射。
根据具备本实施方式的带通滤波器单元16的摄像装置，关于通过了第1开口区域16A1的波段λ11、λ12、λ13的图像及通过了第2开口区域16A2的波段λ11、λ12、λ13的图像，图像会在离焦时位移，因此能够容易检测焦点。
图53是表示本实施方式的带通滤波器单元的另一例的主视图。
如图53所示，本例子的带通滤波器单元16在框体16A中具有七个开口区域(第1开口区域16A1、第2开口区域16A2、第3开口区域16A3、第4开口区域16A4、第5开口区域16A5、第6开口区域16A6、第7开口区域16A7)。关于七个开口区域16A1～16A7，除第1开口区域16A1以外，具有相同的开口形状，并且夹着第1开口区域16A1对称地配置。
各开口区域16A1～16A7中设置有带通滤波器(第1带通滤波器16B1、第2带通滤波器16B2、第3带通滤波器16B3、第4带通滤波器16B4、第5带通滤波器16B5、第6带通滤波器16B6、第7带通滤波器16B7)。第1带通滤波器16B1由多带通滤波器构成，其使三种波段(λ11、λ12、λ13)的光透射。其他带通滤波器16B2～167由使一种波段的光透射的带通滤波器构成，并且除第2带通滤波器16B2及第5带通滤波器16B5以外，使互不相同的波段的光透射。第2带通滤波器16B2及第5带通滤波器16B5具有相同的透射波长特性，其使波段λ21的光透射。
根据具备本实施方式的带通滤波器单元16的摄像装置，关于通过了第2开口区域16A2的波段λ21的图像及通过了第5开口区域16A5的波段λ21的图像，图像会在离焦时位移，因此能够容易检测焦点。
《第9实施方式》
在上述各实施方式中，将设置于带通滤波器单元及偏振滤波器单元的开口区域的开口形状设为圆形或矩形，但开口区域的开口形状并不限定于此。
图54是表示带通滤波器单元的一例的主视图。图55是表示偏振滤波器单元的一例的主视图。
如图54及图55所示，本例子的带通滤波器单元16及偏振滤波器单元18分别具有中央开口区域16a1、18a1和配置于该中央开口区域16a1、18a1的周围的多个外周开口区域16a2、16a3、16a4、16a5、16a6、16a7、18a2、18a3、18a4、18a5、18a6、18a7。中央开口区域18a1、16a1作为具有圆形的开口形状的区域而配置于摄像光学系统的光轴上。外周开口区域16a2、16a3、16a4、16a5、16a6、16a7、18a2、18a3、18a4、18a5、18a6、18a7作为具有扇形的开口形状的区域而沿着周向以规定的间隔配置于中央开口区域16a1、18a1的周围。
带通滤波器单元16的各开口区域(中央开口区域16a1及外周开口区域16a2、16a3、16a4、16a5、16a6、16a7)中设置有具有规定的波长透射特性的带通滤波器(16b1、16b2、16b3、16b4、16b5、16b6、16b7)。具体而言，中央开口区域16a1中设置有使三种波段λ11、λ12、λ13的光透射的带通滤波器(多带通滤波器)16b1。外周开口区域16a2中设置有使一种波段λ31的光透射的带通滤波器16b2。外周开口区域16a3中设置有使一种波段λ22的光透射的带通滤波器16b3。外周开口区域16a4中设置有使一种波段λ32的光透射的带通滤波器16b4。外周开口区域16a5中设置有使一种波段λ23的光透射的带通滤波器16b5。外周开口区域16a6中设置有使一种波段λ33的光透射的带通滤波器16b6。外周开口区域16a7中设置有使一种波段λ21的光透射的带通滤波器16b7。
偏振滤波器单元18的各开口区域(中央开口区域18a1及外周开口区域18a2、18a3、18a4、18a5、18a6、18a7)中设置有偏振滤波器(18b1、18b2、18b3)。具体而言，中央开口区域18a1中设置有使偏振方向θ1的光透射的偏振滤波器18b1。外周开口区域18a2、18a4、18a6中设置有使偏振方向θ2的光透射的偏振滤波器18b3。外周开口区域18a3、18a5、18a7中设置有使偏振方向θ3的光透射的偏振滤波器18b2。
通常，透镜越接近中心部(光轴)，像差越少，画质越高。因此，通过根据所要求的画质设定各区域的透射波段，能够针对每个波段控制得到的图像的画质。例如，通过将要求高画质的波段分配到中央开口区域，能够针对每个波段控制画顾。
关于开口区域的设定(光瞳区域的分割方式)，此外还可以采用分割成同心圆状的方式、沿着周向分割的方式、分割成网格状的方式等各种方式。并且，关于各开口区域的尺寸(面积)，也无需全部一致，可以使每个开口区域存在差异。
《其他实施方式》
[摄像光学系统的结构]
在上述实施方式中，分别由不同的光学元件构成了带通滤波器单元及偏振滤波器单元，但也可以由具备带通滤波器单元及偏振滤波器单元的功能的一个光学元件构成。例如，可以设为在一个框体中保持带通滤波器及偏振滤波器的结构。
[图像传感器的结构]
构成一个像素块的像素的排列并不限定于上述各实施方式的排列。可以根据构成一个像素块的像素的数量等来适当变更像素的排列。
并且，在上述实施方式中，设为偏振滤波元件及光谱滤波元件配置于光电二极管与微透镜之间的结构，但也可以设为将某一个或两个配置于微透镜的前方(被摄体侧)的结构。另外，通过将偏振滤波元件及光谱滤波元件配置于微透镜与光电二极管之间，能够有效地防止光混入相邻的像素中。由此，能够进一步防止干扰。
[信号处理部中的干扰去除处理]
在信号处理部中，也可以在不进行干扰去除处理的情况下生成各波段的图像信号。例如，如上所述，通过设置于摄像光学系统的偏振滤波器的透射偏振方向和设置于图像传感器的偏振滤波元件的透射偏振方向的组合，能够在不发生干扰的情况下接收各波段的光。因此，在这种情况下，无需进行干扰去除处理即可生成各波段的图像信号。并且，即使在发生干扰的情况下，若其影响较小或用户认为能够接受，则也可以在不进行干扰去除处理的情况下生成各波段的图像信号。
[信号处理部的结构]
信号处理部200中的图像生成部200B(运算部)的功能可以使用各种处理器(processor)来实现。各种处理器例如包括执行软件(程序)来实现各种功能的通用的处理器即CPU(Central Processing Unit，中央处理器)。并且，上述各种处理器还包括专用于图像处理的处理器即GPU(Graphics Proces sing Unit，图形处理器)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)等能够在制造后变更电路结构的处理器即可编程逻辑器件(Prog rammable Logic Device：PLD)。此外，ASIC(Application SpecificInteg rated Circuit，专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等也包括在上述各种处理器中。
各部的功能可以由一个处理器来实现，也可以由相同种类或不同种类的多个处理器(例如，多个FPGA、CPU和FPGA的组合或CPU和GPU的组合)来实现。并且，也可以通过一个处理器来实现多个功能。作为由一个处理器构成多个功能的例子，首先，有如下方式：由一个以上的CPU和软件的组合构成一个处理器，并由该处理器实现多个功能，以服务器等计算机为代表。其次，有如下方式：使用由一个IC(Integrated Circuit，集成电路)芯片来实现系统整体的功能的处理器，以片上系统(System On Chip：SoC)等为代表。如此，各种功能是作为硬件结构使用一个以上的上述各种处理器而构成的。进而，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。这些电路可以为使用逻辑和、逻辑乘积、逻辑否定、异或逻辑和及组合这些而成的逻辑运算来实现上述功能的电路。
在上述处理器或电路执行软件(程序)时，将要执行的软件的处理器(计算机)可读取的编码存储于ROM(Read Only Memory，只读存储器)等非暂时性记录介质中，并由处理器参考该软件。存储于非暂时性记录介质中的软件包括用于执行图像的输入、分析、显示控制等的程序。也可以将编码记录于各种光磁记录装置、半导体存储器等非暂时性记录介质中，而不是ROM。在进行使用软件的处理时，例如也可以将RAM(Random Access Memory，随机存取存储器)用作临时存储区域，并且例如也可以参考存储于未图示的EEPROM(Flectronically Erasable and Programmable Read Only Memory，电可擦可编程只读存储器)中的数据。
信号处理部200的系数存储部200C例如可以由ROM(Read-only Memory，只读存储器)、EEPROM(电可擦可编程只读存储器)等存储器来实现。
[摄像装置的结构]
摄像装置也可以构成为可更换摄像光学系统的镜头可换式摄像装置。此时，矩阵A是针对每个镜头(摄像光学系统)唯一地确定的，因此针对每个镜头准备矩阵A，并将其系数组存储于系数存储部中。在更换镜头的情况下，从系数存储部读出与所更换的镜头对应的矩阵A的系数组，执行运算处理，生成各图像。
符号说明
1-摄像装置，10-摄像光学系统，12-透镜，16-带通滤波器单元，16A-框体，16A1-第1开口区域，16A2-第2开口区域，16A3-第3开口区域，16A4-第4开口区域，16A5-第5开口区域，16A6-第6开口区域，16A7-第7开口区域，16B1-第1带通滤波器，16B2-第2带通滤波器，16B3-第3带通滤波器，16B4-第4带通滤波器，16B5-第5带通滤波器，16B6-第6带通滤波器，16B7-第7带通滤波器，16a1-中央开口区域，16a2-外周开口区域，16a3-外周开口区域，16a4-外周开口区域，16a5-外周开口区域，16a6-外周开口区域，16a7-外周开口区域，16b2-带通滤波器，16b3-带通滤波器，16b4-带通滤波器，16b5-带通滤波器，16b6-带通滤波器，16b7-带通滤波器，18-偏振滤波器单元，18A-框体，18A1-第1开口区域，18A2-第2开口区域，18A3-第3开口区域，18B1-第1偏振滤波器，18B2-第2偏振滤波器，18B3-第3偏振滤波器，18a1-中央开口区域，18a2-外周开口区域，18a3-外周开口区域，18a4-外周开口区域，18a5-外周开口区域，18a6-外周开口区域，18a7-外周开口区域，18b1-偏振滤波器，18b2-偏振滤波器，18b3-偏振滤波器，22-波段，32B-光谱滤波元件，100-图像传感器，110-像素阵列层，112-光电二极管，120-偏振滤波元件阵列层，122A-第1偏振滤波元件，122B-第2偏振滤波元件，122C-第3偏振滤波元件，122D-第4偏振滤波元件，130-光谱滤波元件阵列层，132A-第1光谱滤波元件，132B-第2光谱滤波元件，132C-第3光谱滤波元件，132D-第4光谱滤波元件，140-微透镜阵列层，142-微透镜，200-信号处理部，200A-模拟信号处理部，200B-图像生成部，200C-系数存储部，P1-第1像素，P2-第2像素，P3-第3像素，P4-第4像素，P5-第5像素，P6-第6像素，P7-第7像素，P8-第8像素，P9-第9像素，P10-第10像素，P11-第11像素，P12-第12像素，P13-第13像素，P14-第14像素，P15-第15像素，P16-第16像素，PB(X，Y)-像素块。

Claims (10)

1.一种摄像装置，具有：
摄像光学系统，在所述摄像光学系统的光瞳附近具有第1光学元件和第2光学元件，所述第1光学元件具有多个开口区域，所述开口区域中的至少一个透射多种波段的光，所述第2光学元件使透射所述第1光学元件的光向多个方向偏振；
图像传感器，接收透射所述摄像光学系统的光，并且接收对透射波段不同的多种第3光学元件和透射偏振方向不同的多种第4光学元件进行了透射的光；及
信号处理部，对从所述图像传感器输出的信号进行处理，生成多个图像信号，
所述第1光学元件的至少一个所述开口区域具有的透射波段数为所述第3光学元件的透射波段数以下。
2.根据权利要求1所述的摄像装置，其中，
所述第1光学元件的所有所述开口区域透射多种波段的光。
3.根据权利要求1所述的摄像装置，其中，
所述第1光学元件的至少一个所述开口区域透射一种波段的光。
4.根据权利要求1至3中任一项所述的摄像装置，其中，
所述第2光学元件将透射所述第1光学元件的光的一部分作为非偏振光的光而直接通过。
5.根据权利要求1或2所述的摄像装置，其中，
设置于所述第1光学元件的所述开口区域的数量为所述第4光学元件的透射偏振方向数以下，所有所述开口区域具有与所述第3光学元件的透射波段数相同数量的透射波段数。
6.根据权利要求1至4中任一项所述的摄像装置，其中，
所述第1光学元件的至少一个所述开口区域具有与所述第3光学元件具有的多个波段一部分重复的透射波段。
7.根据权利要求1至6中任一项所述的摄像装置，其中，
在将所述摄像光学系统的透射波段数设为k、将所述第3光学元件的透射波段数设为m、将所述第4光学元件的透射偏振光方向数设为n的情况下，所述摄像光学系统及所述图像传感器满足k≤m×n的关系。
8.根据权利要求1至7中任一项所述的摄像装置，其中，
所述第1光学元件的至少一组所述开口区域透射相同波段的光。
9.根据权利要求1至8中任一项所述的摄像装置，其中，
所述第1光学元件的至少一个所述开口区域配置于光轴上。
10.根据权利要求1至9中任一项所述的摄像装置，其中，
所述信号处理部通过进行干扰去除处理来生成多个所述图像信号。
CN202080042622.4A 2019-06-11 2020-06-03 摄像装置 Active CN114041085B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019108829 2019-06-11
JP2019-108829 2019-06-11
PCT/JP2020/021935 WO2020250773A1 (ja) 2019-06-11 2020-06-03 撮像装置

Publications (2)

Publication Number Publication Date
CN114041085A true CN114041085A (zh) 2022-02-11
CN114041085B CN114041085B (zh) 2023-04-04

Family

ID=73781803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080042622.4A Active CN114041085B (zh) 2019-06-11 2020-06-03 摄像装置

Country Status (4)

Country Link
US (1) US11627263B2 (zh)
JP (1) JP7285322B2 (zh)
CN (1) CN114041085B (zh)
WO (1) WO2020250773A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019745B (zh) * 2021-11-10 2023-08-01 安徽科技学院 一种可过滤强光或偏振光的成像拍摄系统和方法
FR3130369B1 (fr) * 2021-12-14 2024-06-28 Safran Electronics & Defense Caméra multispectrale à acquisition instantanée

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060251408A1 (en) * 2004-01-23 2006-11-09 Olympus Corporation Image processing system and camera
JP2009118359A (ja) * 2007-11-09 2009-05-28 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP2009153074A (ja) * 2007-12-21 2009-07-09 Olympus Corp 画像撮影装置
US20090244355A1 (en) * 2008-03-27 2009-10-01 Olympus Corporation Filter switching device, photographing lens, camera, and image pickup system
CN103033940A (zh) * 2011-09-30 2013-04-10 索尼公司 成像装置和成像方法
JP2013148504A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
JP2013258647A (ja) * 2012-06-14 2013-12-26 Canon Inc レンズ装置および撮像装置
CN103703770A (zh) * 2012-08-02 2014-04-02 松下电器产业株式会社 偏振彩色摄像装置
JP2015087401A (ja) * 2013-10-28 2015-05-07 キヤノン株式会社 撮像装置
JP2016090290A (ja) * 2014-10-31 2016-05-23 パナソニックＩｐマネジメント株式会社 撮像装置、分光システム、および分光方法
WO2016111308A1 (ja) * 2015-01-07 2016-07-14 平本　政夫 マルチスペクトル撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7997732B2 (en) * 2008-10-06 2011-08-16 The Catholic University Of America Lenslet array for retinal oximetry
JP5693379B2 (ja) 2011-05-27 2015-04-01 富士フイルム株式会社 撮像装置
US9219866B2 (en) * 2013-01-07 2015-12-22 Ricoh Co., Ltd. Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
US11249289B2 (en) * 2019-01-25 2022-02-15 Bodkin Design And Engineering Llc Spectral imager and spectral imaging method
US11838675B2 (en) * 2021-02-23 2023-12-05 GM Global Technology Operations LLC Depth imaging camera with polarization-coded aperture

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060251408A1 (en) * 2004-01-23 2006-11-09 Olympus Corporation Image processing system and camera
JP2009118359A (ja) * 2007-11-09 2009-05-28 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP2009153074A (ja) * 2007-12-21 2009-07-09 Olympus Corp 画像撮影装置
US20090244355A1 (en) * 2008-03-27 2009-10-01 Olympus Corporation Filter switching device, photographing lens, camera, and image pickup system
CN103033940A (zh) * 2011-09-30 2013-04-10 索尼公司 成像装置和成像方法
JP2013148504A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
JP2013258647A (ja) * 2012-06-14 2013-12-26 Canon Inc レンズ装置および撮像装置
CN103703770A (zh) * 2012-08-02 2014-04-02 松下电器产业株式会社 偏振彩色摄像装置
JP2015087401A (ja) * 2013-10-28 2015-05-07 キヤノン株式会社 撮像装置
JP2016090290A (ja) * 2014-10-31 2016-05-23 パナソニックＩｐマネジメント株式会社 撮像装置、分光システム、および分光方法
WO2016111308A1 (ja) * 2015-01-07 2016-07-14 平本　政夫 マルチスペクトル撮像装置

Also Published As

Publication number Publication date
WO2020250773A1 (ja) 2020-12-17
CN114041085B (zh) 2023-04-04
US11627263B2 (en) 2023-04-11
JP7285322B2 (ja) 2023-06-01
US20220078359A1 (en) 2022-03-10
JPWO2020250773A1 (zh) 2020-12-17

Similar Documents

Publication Publication Date Title
CN115152205B (zh) 摄像装置及方法
CN113966605B (zh) 摄像装置
JP4138867B2 (ja) 複眼方式のカメラモジュール
CN114041085B (zh) 摄像装置
JP2016036127A (ja) 撮像装置および撮像システム
JP2009177728A (ja) 撮像装置
JP7261192B2 (ja) レンズ装置、撮像装置、撮像方法、及び撮像プログラム
US11796722B2 (en) Optical element, optical device, and imaging apparatus for acquiring multispectral images
WO2021153473A1 (ja) レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム
JPWO2021085367A5 (zh)
JP2022039246A (ja) 領域抽出装置及び方法並びに対象物検出装置及び方法
JP7441313B2 (ja) レンズ装置、撮像装置、及び撮像方法
JPWO2020250773A5 (zh)
JP7220302B2 (ja) 撮像装置、撮像光学系及び撮像方法
CN112805992B (zh) 摄像装置
WO2020213418A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
WO2020213419A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
WO2021153472A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US20230319385A1 (en) Optical member, lens device, and imaging apparatus
WO2023145444A1 (ja) 撮像装置、および撮像装置の作動方法
WO2023188512A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN116868119A (zh) 透镜装置、滤光片单元及摄像装置
CN117322002A (zh) 固态成像装置和电子设备
CN117957849A (zh) 信息处理方法、信息处理装置、信息处理程序及信息处理系统
JP2020178158A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant