CN112840643B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN112840643B
CN112840643B CN201980066394.1A CN201980066394A CN112840643B CN 112840643 B CN112840643 B CN 112840643B CN 201980066394 A CN201980066394 A CN 201980066394A CN 112840643 B CN112840643 B CN 112840643B
Authority
CN
China
Prior art keywords
pixel
optical
polarization
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980066394.1A
Other languages
English (en)
Other versions
CN112840643A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112840643A publication Critical patent/CN112840643A/zh
Application granted granted Critical
Publication of CN112840643B publication Critical patent/CN112840643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/281Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for attenuating light intensity, e.g. comprising rotatable polarising elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125Colour sequential image capture, e.g. using a colour wheel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明提供一种能够通过一个图像传感器获取高质量的多光谱图像的摄像装置。该摄像装置具备:图像传感器(100),具备多个像素块,该像素块组合光谱透射率不同的n种光谱滤波元件和透射偏振方位不同的m种偏振滤波元件并由各像素接收q种光,其中,n≥2,2≤m≤3,q=n×m;光学系统(10),具备所透射的光的波段不同的k个光学区域,且在各光学区域设置有偏振滤波器部,其中,k≤q;及信号处理部(200),处理由图像传感器(100)获得的各像素的信号即像素信号,生成光学系统(10)的各光学区域的图像。信号处理部(200)对由图像传感器(100)的各像素块获得的q个像素信号(x1、x2、……、xq)进行规定的运算处理,计算与光学系统(100)的各光学区域对应的k个像素信号(X1、X2、……、Xk),生成各光学区域的图像。

Description

摄像装置
技术领域
本发明涉及一种摄像装置,尤其涉及一种获取多个波段的图像(多光谱图像)的摄像装置。
背景技术
作为获取多个波段的图像(多光谱图像)的摄像装置,专利文献1中记载了一种具有如下结构的摄像装置:分割光学系统的光瞳部分,在分割后的光瞳部分分别配置光谱透射率不同的光学滤波器,且在图像传感器的前方配置有微透镜阵列。该摄像装置通过由微透镜阵列产生的光线分离效果将来自光瞳部分不同的光学区域的光分别引导至不同的像素,由此通过一个图像传感器获取多光谱图像。
然而,由微透镜阵列引起的光线的分离并不一定是完美的。因此,在专利文献1的摄像装置中,存在光泄漏至相邻的像素而发生干扰(串扰)的问题。
为了解决该问题,专利文献2中提出了一种对由各像素获得的信号(像素信号)实施规定的信号处理来去除干扰的影响的技术。
以往技术文献
专利文献
专利文献1:国际公开第2012/143983号
专利文献2:国际公开第2015/004886号
发明内容
发明要解决的技术课题
然而,在使用微透镜阵列分离光线的情况下,在各像素中发生的干扰的量根据像素的位置而不同。因此,在专利文献2的摄像装置中,为了获得更高质量的图像,需要针对每个像素求出干扰的发生量。然而,这需要大量的劳力。
本发明是鉴于这种情况而完成的,其目的在于,提供一种能够通过一个图像传感器获取高质量的多光谱图像的摄像装置。
用于解决技术课题的手段
用于解决上述课题的方法如下。
(1)一种摄像装置,其具备:图像传感器,具备多个像素块,在将n设为满足n≥2的整数、将m设为满足2≤m≤3的整数、将q设为n与m的乘积的情况下,该像素块组合光谱透射率不同的n种第1光学滤波元件和透射偏振方位不同的m种第2光学滤波元件并由各像素接收q种光;光学系统,在将k设为满足k≤q的整数的情况下,具备所透射的光的波段不同的k个光学区域,且在各光学区域设置有偏振滤波器部;存储部,在将i设为满足1≤i≤k的整数、将j设为满足1≤j≤q的整数的情况下,存储由k行q列的矩阵A构成的系数组,该矩阵A的各要素由aij表示;及运算部,从存储部获取系数组,根据下述式从由图像传感器的各像素块获得的q个像素信号x1、x2、……、xq计算与光学系统的各光学区域对应的k个像素信号X1、X2、……、Xk。
[数学式1]
Figure GDA0003011672850000021
根据本方式,通过按像素块单位对由图像传感器的各像素获得的信号实施规定的运算处理,可获得与光学系统的各光学区域对应的信号。即,可获得无干扰(串扰)的信号。由此,能够获取高质量的多光谱图像。
(2)根据上述(1)的摄像装置,其中,矩阵A通过计算以入射于光学系统的各光学区域的光被图像传感器的各像素块的各像素接收的比例为要素的矩阵的逆矩阵来获取。
根据本方式,通过计算以入射于光学系统的各光学区域的光被图像传感器的各像素块的各像素接收的比例为要素的矩阵B的逆矩阵B-1来求出上述运算式的矩阵A。
(3)根据上述(2)的摄像装置,其中,在将基于偏振的透射率设为c、将基于光谱透射率的透射率设为d的情况下,入射于光学系统的各光学区域的光被图像传感器的各像素块的各像素接收的比例由c与d的乘积来计算。
根据本方式,上述矩阵B的各要素由基于偏振的透射率c与基于光谱透射率的透射率d的乘积来计算。
(4)根据上述(3)的摄像装置,其中,基于偏振的透射率c通过计算透射光学区域的光的透射偏振方位与像素所接收的光的透射偏振方位的角度差的余弦的平方来求出,基于光谱透射率的透射率d根据透射光学区域的光的波段和设置于像素的第1光学滤波元件的光谱透射率来求出。
根据本方式,基于偏振的透射率c由透射光学区域的光的透射偏振方位与像素所接收的光的透射偏振方位的角度差的余弦的平方来求出。并且,基于光谱透射率的透射率d根据透射光学区域的光的波段和设置于像素的第1光学滤波元件的光谱透射率来求出。
(5)根据上述(1)至(4)中任一项的摄像装置,其中,光学系统中,具有相同的透射偏振方位的偏振滤波器部的数量为n以下。
根据本方式,在光学系统中,具有相同的透射偏振方位的偏振滤波器部的数量为图像传感器侧所具备的第1光学滤波元件的种类的数量以下。
(6)根据上述(1)至(5)中任一项的摄像装置,其中,图像传感器的各像素块具有组合光谱透射率不同的3种第1光学滤波元件和透射偏振方位不同的3种第2光学滤波元件并由各像素接收9种光的结构。
根据本方式,图像传感器的各像素块具有组合光谱透射率不同的3种第1光学滤波元件和透射偏振方位不同的3种第2光学滤波元件并由各像素单独地接收9种光的结构。
(7)根据上述(6)的摄像装置,其中,光学系统具备所透射的光的波段不同的9个光学区域。
根据本方式,光学系统可具备所透射的光的波段不同的9个光学区域。
(8)根据上述(7)的摄像装置,其中,光学系统具备各3个设置有相同的透射偏振方位的偏振滤波器部的光学区域。
根据本方式,光学系统可具备各3个设置有相同的透射偏振方位的偏振滤波器部的光学区域。
(9)根据上述(8)的摄像装置,其中,光学系统所具备的偏振滤波器部的透射偏振方位的组合与图像传感器所具备的第2光学滤波元件的透射偏振方位的组合相同。
根据本方式,可构成为光学系统所具备的偏振滤波器部的透射偏振方位的组合与图像传感器所具备的第2光学滤波元件的透射偏振方位的组合相同。例如,在光学系统所具备的偏振滤波器部的透射偏振方位为0°、60°、90°的情况下,图像传感器所具备的第2光学滤波元件的透射偏振方位也为0°、60°、90°。
(10)根据上述(1)至(9)中任一项的摄像装置,其中,光学系统在各光学区域设置不同透射波长的窄带滤波器。
根据本方式,光学系统在各光学区域设置不同透射波长的窄带滤波器。
(11)根据上述(10)的摄像装置,其中,光学系统在光瞳位置设置窄带滤波器。
根据本方式,光学系统在光瞳位置设置窄带滤波器。
(12)根据上述(1)至(11)中任一项的摄像装置,其中,图像传感器在构成各像素的光电二极管与微透镜之间具有第1光学滤波元件及第2光学滤波元件。
根据本方式,图像传感器具有在构成各像素的光电二极管与微透镜之间具备第1光学滤波元件及第2光学滤波元件的结构。
发明效果
根据本发明,能够通过一个图像传感器获取高质量的多光谱图像。
附图说明
图1是表示本发明所涉及的摄像装置的一实施方式的概略结构的图。
图2是光瞳分割滤波器的正视图。
图3是光谱滤波器的正视图。
图4是表示设定于各光谱滤波器部的透射波长的一例的曲线图。
图5是偏振滤波器的正视图。
图6是表示设定于偏振滤波器的各偏振滤波器部的偏振方向的一例的图。
图7是表示图像传感器的像素的排列的概略结构的图。
图8是表示图像传感器的概略结构的图。
图9是表示一个像素(图8的虚线部分)的概略结构的剖视图。
图10是表示各像素块所具备的偏振滤波元件的排列图案的一例的图。
图11是表示各光谱滤波元件的光谱透射率的设定的一例的曲线图。
图12是表示各像素块所具备的光谱滤波元件的排列图案的一例的图。
图13是表示信号处理部的概略结构的框图。
图14是图像生成的概念图。
图15是表示设置于各像素的光谱滤波元件的光谱透射率与透射光学系统的各光学区域的光的波段之间的关系的一例的曲线图。
图16是本实施方式的摄像装置的动作的概念图。
图17是设置于图像传感器的各像素的光谱滤波元件的光谱透射率的曲线图。
图18是表示被摄体图像的一例的图。
图19是表示由从图像传感器输出的像素信号x1~x9生成的图像的例子的图。
图20是表示对从图像传感器输出的像素信号x1~x9进行干扰去除处理而生成的图像的例子的图。
具体实施方式
以下,参考附图对本发明的优选实施方式进行详细说明。
[装置结构]
在此,以获取9个波段的图像(多光谱图像)的情况为例进行说明。
图1是表示本发明所涉及的摄像装置的一实施方式的概略结构的图。
如图1所示,摄像装置1具备光学系统10、图像传感器100及信号处理部200。
〔光学系统〕
光学系统10具备透镜12及光瞳分割滤波器14。
透镜12使被摄体的光学像成像于图像传感器100的受光面上。透镜12具有与摄像装置1的用途对应的结构。
光瞳分割滤波器14设置于光学系统10的光瞳位置或其附近,且将光学系统10的光瞳部分分割为9个光学区域。光瞳分割滤波器14通过重叠光谱滤波器16和偏振滤波器18而构成。
图2是光瞳分割滤波器的正视图。
如图2所示,光瞳分割滤波器14具有在周向上分割为9等份的9个光学区域Sj(j=1、2、3、4、5、6、7、8、9)。以下,根据需要,将符号S1的光学区域设为第1光学区域S1,将符号S2的光学区域设为第2光学区域S2,将符号S3的光学区域设为第3光学区域S3,将符号S4的光学区域设为第4光学区域S4,将符号S5的光学区域设为第5光学区域S5,将符号S6的光学区域设为第6光学区域S6,将符号S7的光学区域设为第7光学区域S7,将符号S8的光学区域设为第8光学区域S8,将符号S9的光学区域设为第9光学区域S9来区分9个光学区域Sj。
各光学区域Sj设定为分别使不同波段的光透射。并且,在9个光学区域Sj中,由第1光学区域s1、第2光学区域S2及第3光学区域S3构成的光学区域组、由第4光学区域S4、第5光学区域S5及第6光学区域S6构成的光学区域组以及由第7光学区域S7、第8光学区域S8及第9光学区域S9构成的光学区域组设定为使偏振方向(透射偏振方位)互不相同的光透射。这种结构通过组合以下结构的光谱滤波器16及偏振滤波器18来实现。
图3是光谱滤波器的正视图。
光谱滤波器16具有在周向上分割为9等份的9个光谱滤波器部F1~F9。以下,根据需要,将符号F1的光谱滤波器部设为第1光谱滤波器部F1,将符号F2的光谱滤波器部设为第2光谱滤波器部F2,将符号F3的光谱滤波器部设为第3光谱滤波器部F3,将符号F4的光谱滤波器部设为第4光谱滤波器部F4,将符号F5的光谱滤波器部设为第5光谱滤波器部F5,将符号F6的光谱滤波器部设为第6光谱滤波器部F6,将符号F7的光谱滤波器部设为第7光谱滤波器部F7,将符号F8的光谱滤波器部设为第8光谱滤波器部F8,将符号F9的光谱滤波器部设为第9光谱滤波器部F9来区分9个光谱滤波器部F1~F9。各光谱滤波器部F1~F9分别与光瞳分割滤波器14的各光学区域S1~S9对应。即,第1光谱滤波器部F1与第1光学区域S1对应,第2光谱滤波器部F2与第2光学区域S2对应,第3光谱滤波器部F3与第3光学区域S3对应,第4光谱滤波器部F4与第4光学区域S4对应,第5光谱滤波器部F5与第5光学区域S5对应,第6光谱滤波器部F6与第6光学区域S6对应,第7光谱滤波器部F7与第7光学区域S7对应,第8光谱滤波器部F8与第8光学区域S8对应,第9光谱滤波器部F9与第9光学区域S9对应。
各光谱滤波器部F1~F9具有使不同波段的光透射的结构。即,分别具有不同的光谱透射率特性。
图4是表示设定于各光谱滤波器部的透射波长的一例的曲线图。
将透射第1光谱滤波器部F1的光的波段设为第1波段Δf1,将透射第2光谱滤波器部F2的光的波段设为第2波段Δf2,将透射第3光谱滤波器部F3的光的波段设为第3波段Δf3,将透射第4光谱滤波器部F4的光的波段设为第4波段Δf4,将透射第5光谱滤波器部F5的光的波段设为第5波段Δf5,将透射第6光谱滤波器部F6的光的波段设为第6波段Δf6,将透射第7光谱滤波器部FF7的光的波段设为第7波段Δf7,将透射第8光谱滤波器部F8的光的波段设为第8波段Δf8,将透射第9光谱滤波器部F9的光的波段设为第9波段Δf9。在本实施方式的摄像装置1中,设定为各光谱滤波器部F1~F9使窄带的光(尤其,特定的波段内的9个波段)透射。
图5是偏振滤波器的正视图。
偏振滤波器18具有在周向上分割为3等份的3个偏振滤波器部G1~G3。以下,根据需要,将符号G1的偏振滤波器部设为第1偏振滤波器部G1,将符号G2的偏振滤波器部设为第2偏振滤波器部G2,将符号G3的偏振滤波器部设为第3偏振滤波器部G3来区分3个偏振滤波器部G1~G3。第1偏振滤波器部G1与光瞳分割滤波器14的第1光学区域S1~第3光学区域S3对应,第2偏振滤波器部G2与光瞳分割滤波器14的第4光学区域S4~第6光学区域S6对应,第3偏振滤波器部G3与光瞳分割滤波器14的第7光学区域S7~第9光学区域S9对应。
图6是表示设定于偏振滤波器的各偏振滤波器部的偏振方向的一例的图。
偏振方向(透射偏振方位)由偏振透射轴与X轴在与光轴L正交的XY平面上所成的角度(方位角)表示。图6中,符号Aa表示第1偏振滤波器部G1的偏振透射轴,符号Ab表示第2偏振滤波器部G2的偏振透射轴,符号Ac表示第3偏振滤波器部G3的偏振透射轴。如图6所示,各偏振滤波器部G1~G3具有分别使不同偏振方向(透射偏振方位)的光透射的结构。将透射第1偏振滤波器部G1的光的偏振方向(透射偏振方位)设为α1,将透射第2偏振滤波器部G2的光的偏振方向(透射偏振方位)设为α2,将透射第3偏振滤波器部G3的光的偏振方向(透射偏振方位)设为α3。在本实施方式的摄像装置1中,第1偏振滤波器部G1设定为透射方位角0°(α1=0°)的光,第2偏振滤波器部G2设定为透射方位角60°(α2=60°)的光,第3偏振滤波器部G3设定为透射方位角120°(α3=120°)的光。
通过在同一轴上重叠以上结构的光谱滤波器16及偏振滤波器18来构成光瞳分割滤波器14。该光瞳分割滤波器14如下发挥作用。即,穿过光瞳分割滤波器14的第1光学区域S1的光穿过光谱滤波器16的第1光谱滤波器部F1及偏振滤波器18的第1偏振滤波器部G1。因此,第1波段Δf1的光沿着偏振方向α1偏振(直线偏振)而从第1光学区域S1射出。并且,穿过光瞳分割滤波器14的第2光学区域S2的光穿过光谱滤波器16的第2光谱滤波器部F2及偏振滤波器18的第1偏振滤波器部G1。因此,第2波段Δf2的光沿着偏振方向α1偏振(直线偏振)而从第2光学区域S2射出。并且,穿过光瞳分割滤波器14的第3光学区域S3的光穿过光谱滤波器16的第3光谱滤波器部F3及偏振滤波器18的第1偏振滤波器部G1。因此,第3波段Δf3的光沿着偏振方向α1偏振(直线偏振)而从第3光学区域S3射出。并且,穿过光瞳分割滤波器14的第4光学区域S4的光穿过光谱滤波器16的第4光谱滤波器部F4及偏振滤波器18的第2偏振滤波器部G2。因此,第4波段Δf4的光沿着偏振方向α2偏振(直线偏振)而从第4光学区域S4射出。并且,穿过光瞳分割滤波器14的第5光学区域S5的光穿过光谱滤波器16的第5光谱滤波器部F5及偏振滤波器18的第2偏振滤波器部G2。因此,第5波段Δf5的光沿着偏振方向α2偏振(直线偏振)而从第5光学区域S5射出。并且,穿过光瞳分割滤波器14的第6光学区域S6的光穿过光谱滤波器16的第6光谱滤波器部F6及偏振滤波器18的第2偏振滤波器部G2。因此,第6波段Δf6的光沿着偏振方向α2偏振(直线偏振)而从第6光学区域S6射出。并且,穿过光瞳分割滤波器14的第7光学区域S7的光穿过光谱滤波器16的第7光谱滤波器部F7及偏振滤波器18的第3偏振滤波器部G3。因此,第7波段Δf7的光沿着偏振方向α3偏振(直线偏振)而从第7光学区域S7射出。并且,穿过光瞳分割滤波器14的第8光学区域S8的光穿过光谱滤波器16的第8光谱滤波器部F8及偏振滤波器18的第3偏振滤波器部G3。因此,第8波段Δf8的光沿着偏振方向α3偏振(直线偏振)而从第8光学区域S8射出。并且,穿过光瞳分割滤波器14的第9光学区域S9的光穿过光谱滤波器16的第9光谱滤波器部F9及偏振滤波器18的第3偏振滤波器部G3。因此,第9波段Δf9的光沿着偏振方向α3偏振(直线偏振)而从第9光学区域S9射出。
光学系统10设置成能够整体沿着光轴L而前后移动。由此,进行调焦。
〔图像传感器〕
图7是表示图像传感器的像素的排列的概略结构的图。
如图7所示,图像传感器100在其受光面上具有多个像素Pi(i=1、2、3、4、5、6、7、8、9)。像素Pi沿着水平方向(x方向)及垂直方向(y方向)以规定间距有规律地排列。
本实施方式的图像传感器100由相邻的9个(3个×3个)的像素Pi构成一个像素块PB(x,y),该像素块PB(x,y)沿着水平方向(x方向)及垂直方向(y方向)有规律地排列。以下,根据需要,将符号P1的像素设为第1像素P1,将符号P2的像素设为第2像素P2,将符号P3的像素设为第3像素P3,将符号P4的像素设为第4像素P4,将符号P5的像素设为第5像素P5,将符号P6的像素设为第6像素P6,将符号P7的像素设为第7像素P7,将符号P8的像素设为第8像素P8,将符号P9的像素设为第9像素P9来区分一个像素块PB(x,y)所具备的9个像素。各像素Pi分别接收不同特性的光。
图8是表示图像传感器的概略结构的图。图9是表示一个像素(图8的虚线部分)的概略结构的剖视图。
图像传感器100具有像素阵列层110、偏振滤波元件阵列层120、光谱滤波元件阵列层130及微透镜阵列层140。各层从像面侧朝向物体侧依次配置有像素阵列层110、偏振滤波元件阵列层120、光谱滤波元件阵列层130、微透镜阵列层140。
像素阵列层110通过二维地排列多个光电二极管112而构成。一个光电二极管112构成一个像素。各光电二极管112沿着水平方向(x方向)及垂直方向(y方向)有规律地配置。
偏振滤波元件阵列层120通过二维地排列偏振方向(透射偏振方位)互不相同的3种偏振滤波元件122A、122B、122C而构成。以下,根据需要,将符号122A的偏振滤波元件设为第1偏振滤波元件122A,将符号122B的偏振滤波元件设为第2偏振滤波元件122B,将符号122C的偏振滤波元件设为第3偏振滤波元件122C来区分3种偏振滤波元件122A、122B、122C。各偏振滤波元件122A、122B、122C以与光电二极管112相同的间隔配置,且针对每个像素设置。将透射第1偏振滤波元件122A的光的偏振方向(透射偏振方位)设为β1,将透射第2偏振滤波元件122B的光的偏振方向(透射偏振方位)设为β2,将透射第3偏振滤波元件122C的光的偏振方向(透射偏振方位)设为β3。在本实施方式的摄像装置1中,第1偏振滤波元件122A设定为透射方位角0°(β=0°)的光,第2偏振滤波元件122B设定为透射方位角60°(β2=60°)的光,第3偏振滤波元件122C设定为透射方位角120°(β3=120°)的光。偏振滤波元件122A、122B、122C为第2光学滤波元件的一例。
在各像素块PB(x,y)中,有规律地排列有偏振滤波元件122A、122B、122C。
图10是表示各像素块所具备的偏振滤波元件的排列图案的一例的图。
如图10所示,在本实施方式的摄像装置1中,像素块内的第1列像素即第1像素P1、第4像素P4及第7像素P7上设置有第1偏振滤波元件122A,像素块内的第2列像素即第2像素P2、第5像素P5及第8像素P8上设置有第2偏振滤波元件122B,像素块内的第3列像素即第3像素P3、第6像素P6及第9像素P9上设置有第3偏振滤波元件122C。
光谱滤波元件阵列层130通过二维地排列光谱透射率互不相同的3种光谱滤波元件132A、132B、132C而构成。以下,根据需要,将符号132A的光谱滤波元件设为第1光谱滤波元件132A,将符号132B的光谱滤波元件设为第2光谱滤波元件132B,将符号132C的光谱滤波元件设为第3光谱滤波元件132C来区分3种光谱滤波元件132A、132B、132C。各光谱滤波元件132A、132B、132C以与光电二极管112相同的间隔配置,且针对每个像素设置。光谱滤波元件132A、132B、132C为第1光学滤波元件的一例。
图11是表示各光谱滤波元件的光谱透射率的设定的一例的曲线图。
图11中,实线所示的曲线图T1为第1光谱滤波元件132A的光谱透射率的曲线图。并且,虚线所示的曲线图T2为第2光谱滤波元件132B的光谱透射率的曲线图。并且,单点虚线所示的曲线图T3为第3光谱滤波元件132C的光谱透射率的曲线图。
如图11所示,各光谱滤波元件132A、132B、132C具有使透射光学系统10所具备的光谱滤波器16的各光谱滤波器部F1~F9的光以不同透射率透射的结构。尤其,在本实施方式的摄像装置1中,第1光谱滤波元件132A具有使短波段的光更多地透射的特性,第2光谱滤波元件132B具有使中间波段的光更多地透射的特性,第3光谱滤波元件132C具有使长波段的光更多地透射的特性。
图12是表示各像素块所具备的光谱滤波元件的排列图案的一例的图。
如图12所示,在各像素块PB(x,y)中,有规律地排列有光谱滤波元件132A、132B、132C。在本实施方式的摄像装置1中,像素块内的第1行像素即第1像素P1、第2像素P2及第3像素P3上设置有第1光谱滤波元件132A,像素块内的第2行像素即第4像素P4、第5像素P5及第6像素P6上设置有第2光谱滤波元件132B,像素块内的第3行像素即第7像素P7、第8像素P8及第9像素P9上设置有第3光谱滤波元件132C。
微透镜阵列层140通过二维地排列多个微透镜142而构成。各微透镜142以与光电二极管112相同的间隔配置,且针对每个像素设置。微透镜142以将来自光学系统10的光高效地会聚于光电二极管112上为目的而设置。
如上构成的图像传感器100中,各像素块PB(x,y)中的各像素Pi如下接收来自光学系统10的光。即,第1像素P1经由第1光谱滤波元件132A及第1偏振滤波元件122A接收来自光学系统10的光。并且,第2像素P2经由第1光谱滤波元件132A及第2偏振滤波元件122B接收来自光学系统10的光。并且,第3像素P3经由第1光谱滤波元件132A及第3偏振滤波元件122C接收来自光学系统10的光。并且,第4像素P4经由第2光谱滤波元件132B及第1偏振滤波元件122A接收来自光学系统10的光。并且,第5像素P5经由第2光谱滤波元件132B及第2偏振滤波元件122B接收来自光学系统10的光。并且,第6像素P6经由第2光谱滤波元件132B及第3偏振滤波元件122C接收来自光学系统10的光。并且,第7像素P7经由第3光谱滤波元件132C及第1偏振滤波元件122A接收来自光学系统10的光。并且,第8像素P8经由第3光谱滤波元件132C及第2偏振滤波元件122B接收来自光学系统10的光。并且,第9像素P9经由第3光谱滤波元件132C及第3偏振滤波元件122C接收来自光学系统10的光。如此,像素块PB(x,y)的各像素Pi通过具有不同组合的光谱滤波元件132A、132B、132C和偏振滤波元件122A、122B、122C,分别接收不同特性的光。
〔信号处理部〕
信号处理部200对从图像传感器100输出的信号进行处理来生成由光学系统10的各光学区域Sj获取的图像数据。
图13是表示信号处理部的概略结构的框图。
如图13所示,信号处理部200包括模拟信号处理部200A、图像生成部200B及系数存储部200C。
模拟信号处理部200A读入从图像传感器100的各像素输出的模拟的像素信号,实施规定的信号处理(例如,相关双采样处理、扩增处理等)之后,转换为数字信号进行输出。
图像生成部200B对转换为数字信号之后的像素信号实施规定的信号处理,生成与各光学区域Sj对应的图像数据。即,生成由各光学区域Sj获取的图像的图像数据。
图14是图像生成的概念图。
各像素块PB(x,y)中包括第1像素P1、第2像素P2、第3像素P3、第4像素P4、第5像素P5、第6像素P6、第7像素P7、第8像素P8及第9像素P9。因此,通过从各像素块PB(x,y)分离并提取第1像素P1、第2像素P2、第3像素P3、第4像素P4、第5像素P5、第6像素P6、第7像素P7、第8像素P8及第9像素P9的像素信号,生成9个图像数据D1~D9。
即,通过从各像素块PB(x,y)分离并提取第1像素P1的像素信号,生成第1图像数据D1。并且,通过从各像素块PB(x,y)分离并提取第2像素P2的像素信号,生成第2图像数据D2。并且,通过从各像素块PB(x,y)分离并提取第3像素P3的像素信号,生成第3图像数据D3。并且,通过从各像素块PB(x,y)分离并提取第4像素P4的像素信号,生成第4图像数据D4。并且,通过从各像素块PB(x,y)分离并提取第5像素P5的像素信号,生成第5图像数据D5。并且,通过从各像素块PB(x,y)分离并提取第6像素P6的像素信号,生成第6图像数据D6。并且,通过从各像素块PB(x,y)分离并提取第7像素P7的像素信号,生成第7图像数据D7。并且,通过从各像素块PB(x,y)分离并提取第8像素P8的像素信号,生成第8图像数据D8。并且,通过从各像素块PB(x,y)分离并提取第9像素P9的像素信号,生成第9图像数据D9。
然而,在该9个图像数据D1~D9中发生了干扰(串扰)。即,来自光学系统10的各光学区域Sj的光入射于各像素Pi,因此生成的图像会成为以规定的比例混合各光学区域Sj的图像而成的图像。因此,图像生成部200B通过进行以下运算处理来去除干扰(串扰)。
现在,将从各像素块PB(x,y)的第1像素P1获得的像素信号(信号值)设为x1,将从第2像素P2获得的像素信号设为x2,将从第3像素P3获得的像素信号设为x3,将从第4像素P4获得的像素信号设为x4,将从第5像素P5获得的像素信号设为x5,将从第6像素P6获得的像素信号设为x6,将从第7像素P7获得的像素信号设为x7,将从第8像素P8获得的像素信号设为x8,将从第9像素P9获得的像素信号设为x9。从各像素块PB(x,y)可获得9个像素信号x1~x9。图像生成部200B根据使用矩阵A的下述式1从该9个像素信号x1~x9计算与各光学区域S1~S9对应的9个像素信号X1~X9,去除干扰。
[数学式2]
Figure GDA0003011672850000131
[数学式3]
Figure GDA0003011672850000141
另外,像素信号X1为与第1光学区域S1对应的像素信号,像素信号X2为与第2光学区域S2对应的像素信号,像素信号X3为与第3光学区域S3对应的像素信号,像素信号X4为与第4光学区域S4对应的像素信号,像素信号X5为与第5光学区域S5对应的像素信号,像素信号X6为与第6光学区域S6对应的像素信号,像素信号X7为与第7光学区域S7对应的像素信号,像素信号X8为与第8光学区域s8对应的像素信号,像素信号X9为与第9光学区域S9对应的像素信号。因此,从像素信号X1生成由第1光学区域S1获取的图像,从像素信号X2生成由第2光学区域S2获取的图像,从像素信号X3生成由第3光学区域S3获取的图像,从像素信号X4生成由第4光学区域S4获取的图像,从像素信号X5生成由第5光学区域S5获取的图像,从像素信号X6生成由第6光学区域S6获取的图像,从像素信号X7生成由第7光学区域S7获取的图像,从像素信号X8生成由第8光学区域S8获取的图像,从像素信号X9生成由第9光学区域S9获取的图像。
以下,对能够根据上述式1去除干扰的理由进行说明。
干扰是因来自各光学区域Sj的光混入各像素Pi中而发生。现在,假设入射于光学系统10的第j光学区域Sj(j=1~9)的光被各像素块PB(x,y)的第i像素Pi(i=1~9)接收的比例(干扰量(还称为干扰比率))为bij(i=1~9、j=1~9),则以下关系在由各像素块PB(x,y)的各像素Pi获得的像素信号xi和与光学系统10的各光学区域Sj对应的像素信号Xj之间成立。
即,关于由第1像素P1获得的像素信号x1,以下式2成立(“*”为乘法运算的符号)。
b11*X1+b12*X2+b13*X3+b14*X4+b15*X5+b16*X6+b17*X7+b18*X8+b19*X9=x1……式2
并且,关于由第2像素P2获得的像素信号x2,以下式3成立。
b21*X1+b22*X2+b23*X3+b24*X4+b25*X5+b26*X6+b27*X7+b28*X8+b29*X9=x2……式3
并且,关于由第3像素P3获得的像素信号x3,以下式4成立。
b31*X1+b32*X2+b33*X3+b34*X4+b35*X5+b36*X6+b37*X7+b38*X8+b39*X9=x3……式4
并且,关于由第4像素P4获得的像素信号x4,以下式5成立。
b41*X1+b42*X2+b43*X3+b44*X4+b45*X5+b46*X6+b47*X7+b48*X8+b49*X9=x4……式5
并且,关于由第5像素P5获得的像素信号x5,以下式6成立。
b51*X1+b52*X2+b53*X3+b54*X4+b55*X5+b56*X6+b57*X7+b58*X8+b59*X9=x5……式6
并且,关于由第6像素P6获得的像素信号x6,以下式7成立。
b61*X1+b62*X2+b63*X3+b64*X4+b65*X5+b66*X6+b67*X7+b68*X8+b69*X9=x6……式7
并且,关于由第7像素P7获得的像素信号x7,以下式8成立。
b71*X1+b72*X2+b73*X3+b74*X4+b75*X5+b76*X6+b77*X7+b78*X8+b79*X9=x7……式8
并且,关于由第8像素P8获得的像素信号x8,以下式9成立。
b81*X1+b82*X2+b83*X3+b84*X4+b85*X5+b86*X6+b87*X7+b88*X8+b89*X9=x8……式9
并且,关于由第9像素P9获得的像素信号x9,以下式10成立。
b91*X1+b92*X2+b93*X3+b94*X4+b95*X5+b96*X6+b97*X7+b98*X8+b99*X9=x9……式10
通过对X1~X9求解式2~10的联立方程式,能够获取原始图像的像素信号(即,与各光学区域S1~S9对应的像素信号X1~X9)。
在此,上述联立方程式可以由使用矩阵B的下述式11表示。
[数学式4]
Figure GDA0003011672850000161
[数学式5]
Figure GDA0003011672850000162
式2~10的联立方程式的解即X1~X9可通过在上述式11的两边乘以矩阵B的逆矩阵B-1来计算。
[数学式6]
Figure GDA0003011672850000171
如此,与各光学区域S1~S9对应的像素信号X1~X9能够根据入射于光学系统10的各光学区域S1~S9的光被像素块PB(x,y)的各像素P1~P9接收的比例从各像素P1~P9的信号值(像素信号)x1~x9来计算。
上述式1中,将上述式12的逆矩阵B-1设为矩阵A(B-1=A)。因此,式12中的矩阵A的各要素aij能够通过求出矩阵B的逆矩阵B-1来获取。矩阵B的各要素bij(i=1~9、j=1~9)为入射于光学系统10的第j光学区域Sj(j=1~9)的光被各像素块PB(x,y)的第i像素Pi(i=1~9)接收的比例(干扰量)。在将基于偏振的透射率设为c、将基于光谱透射率的透射率设为d的情况下,该比例由透射率c与透射率d的乘积来计算。
在此,基于偏振的透射率c由透射光学区域的光的透射偏振方位与像素所接收的光的透射偏振方位的角度差的余弦的平方来计算。
并且,基于光谱透射率的透射率d根据透射光学区域的光的波段和设置于像素的光谱滤波元件的光谱透射率来求出。
例如,关于光学系统10的第j光学区域Sj与图像传感器100的第i像素Pi之间的关系,若将透射第j光学区域Sj的光的透射偏振方位设为θj,将第i像素Pi所接收的光的透射偏振方位设为φi,则基于偏振的透射率c由它们的角度差(|θj-φi|)的余弦(cos)的平方(cos2(|θj-φi|))来计算。
并且,基于光谱透射率的透射率d根据透射第j光学区域Sj的光的波段和设置于第i像素Pi的光谱滤波元件132A、132B、132C的光谱透射率来求出。即,根据设置于第i像素Pi的光谱滤波元件132A、132B、132C的光谱透射率从透射第j光学区域Sj的光的波段求出。
在本实施方式的摄像装置1中,透射第1光学区域S1、第2光学区域S2及第3光学区域S3的光的透射偏振方位为α1,透射第4光学区域S4、第5光学区域S5及第6光学区域S6的光的透射偏振方位为α2,透射第7光学区域S7、第8光学区域S8及第9光学区域S9的光的透射偏振方位为α3。并且,由各像素块PB(x,y)的第1像素P1、第4像素P4及第7像素P7接收的光的透射偏振方位为β1,由第2像素P2、第5像素P5及第8像素P8接收的光的透射偏振方位为β2,由第3像素P3、第6像素P6及第9像素P9接收的光的透射偏振方位为β3。
因此,第1光学区域S1、第2光学区域S2及第3光学区域S3与各像素P1~P9之间的基于偏振的透射率c中,第1像素P1由c=(cos2(|α1-β1|))、第2像素P2由c=(cos2(|α1-β2|))、第3像素P3由c=(cos2(|α1-β3|))、第4像素P4由c=(cos2(|α1-β1|))、第5像素P5由c=(cos2(|α1-β2|))、第6像素P6由c=(cos2(|α1-β3|))、第7像素P7由c=(cos2(|α1-β1|))、第8像素P8由c=(cos2(|α1-β2|))、第9像素P9由c=(cos2(|α1-β3|))来计算。
并且,第4光学区域S4、第5光学区域S5及第6光学区域S6与各像素P1~P9之间的基于偏振的透射率c中,第1像素P1由c=(cos2(|α2-β1|))、第2像素P2由c=(cos2(|α2-β2|))、第3像素P3由c=(cos2(|α2-β3|))、第4像素P4由c=(cos2(|α2-β1|))、第5像素P5由c=(cos2(|α2-β2|))、第6像素P6由c=(cos2(|α2-β3|))、第7像素P7由c=(cos2(|α2-β1|))、第8像素P8由c=(cos2(|α2-β32|))、第9像素P9由c=(cos2(|α2-β3|))来计算。
并且,第7光学区域S7、第8光学区域S8及第9光学区域S9与各像素P1~P9之间的基于偏振的透射率c中,第1像素P1由c=(cos2(|α3-β1))、第2像素P2由c=(cos2(|α3-β2|))、第3像素P3由c=(cos2(|α3-β3|))、第4像素P4由c=(cos2(|α3-β1|))、第5像素P5由c=(cos2(|α3-β2|))、第6像素P6由c=(cos2(|α3-β3|))、第7像素P7由c=(cos2(|α3-β1|))、第8像素P8由c=(cos2(|α3-β2|))、第9像素P9由c=(cos2(|α3-β3|))来计算。
在本实施方式中,α1=0°、α2=60°、α3=120°、β1=0°、β2=60°、β3=120°,因此第1光学区域S1、第2光学区域S2及第3光学区域S3与各像素P1~P9之间的基于偏振的透射率c中,第1像素P1的c=1,第2像素P2的c=0.25,第3像素P3的c=0.25,第4像素P4的c=1,第5像素P5的c=0.25,第6像素P6的c=0.25,第7像素P7的c=1,第8像素P8的c=0.25,第9像素P9的c=0.25。并且,第4光学区域S4、第5光学区域S5及第6光学区域S6与各像素P1~P9之间的基于偏振的透射率c中,第1像素P1的c=0.25,第2像素P2的c=1,第3像素P3的c=0.25,第4像素P4的c=0.25,第5像素P5的c=1,第6像素P6的c=0.25,第7像素P7的c=0.25,第8像素P8的c=1,第9像素P9的c=0.25。并且,第7光学区域S7、第8光学区域S8及第9光学区域S9与各像素P1~P9之间的基于偏振的透射率c中,第1像素P1的c=0.25,第2像素P2的c=0.25,第3像素P3的c=1,第4像素P4的c=0.25,第5像素P5的c=0.25,第6像素P6的c=1,第7像素P7的c=0.25,第8像素P8的c=0.25,第9像素P9的c=1。
关于第j光学区域Sj与第i像素Pi之间的基于偏振的透射率c,由以cij(i=1~9、j=1~9)为要素的下述9行9列的矩阵C表示。
[数学式7]
Figure GDA0003011672850000191
本实施方式的摄像装置1中,α1=0°、α2=60°、α3=120°、β1=0°、β2=60°、β3=120°,因此矩阵C如下。
[数学式8]
Figure GDA0003011672850000201
另一方面,关于基于光谱透射率的透射率d,由以dij(i=1~9、j=1~9)为要素的下述9行9列的矩阵D表示。
[数学式9]
Figure GDA0003011672850000202
在此,dij为第j光学区域Sj与第i像素Pi之间的透射率。该透射率根据设置于第i像素Pi的光谱滤波元件132A、132B、132C的光谱透射率从透射第j光学区域Sj的光的波段(中心波长或峰值波长)求出。
图15是表示设置于各像素的光谱滤波元件的光谱透射率与透射光学系统的各光学区域的光的波段之间的关系的一例的曲线图。
如上所述,在本实施方式的摄像装置1中,第1像素P1、第2像素P2及第3像素P3中设置有第1光谱滤波元件132A。因此,第1像素P1、第2像素P2及第3像素P3具有相同的光谱透射率(图15中实线曲线图T1)。并且,在本实施方式的摄像装置1中,第4像素P4、第5像素P5及第6像素P6中设置有第2光谱滤波元件132B。第4像素P4、第5像素P5及第6像素P6具有相同的光谱透射率(图15中虚线曲线图T2)。并且,在本实施方式的摄像装置1中,第7像素P7、第8像素P8及第9像素P9中设置有第3光谱滤波元件132C。因此,第7像素P7、第8像素P8及第9像素P9具有相同的光谱透射率(图15中单点虚线曲线图T3)。
根据图15所示的曲线图,第1光学区域S1与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d11=0.7,第2像素P2的d21=0.7,第3像素P3的d31=0.7,第4像素P4的d41=0.4,第5像素P5的d51=0.4,第6像素P6的d61=0.4,第7像素P7的d71=0.3,第8像素P8的d81=0.3,第9像素P9的d91=0.3。
并且,第2光学区域S2与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d12=0.75,第2像素P2的d22=0.75,第3像素P3的d32=0.75,第4像素P4的d42=0.6,第5像素P5的d52=0.6,第6像素P6的d62=0.6,第7像素P7的d72=0.4,第8像素P8的d82=0.4,第9像素P9的d92=0.4。
并且,第3光学区域S3与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d13=0.72,第2像素P2的d23=0.72,第3像素P3的d33=0.72,第4像素P4的d43=0.73,第5像素P5的d53=0.73,第6像素P6的d63=0.73,第7像素P7的d73=0.45,第8像素P8的d83=0.45,第9像素P9的d93=0.45。
并且,第4光学区域S4与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d14=0.64,第2像素P2的d24=0.64,第3像素P3的d34=0.64,第4像素P4的d44=0.8,第5像素P5的d54=0.8,第6像素P6的d64=0.8,第7像素P7的d74=0.5,第8像素P8的d84=0.5,第9像素P9的d94=0.5。
并且,第5光学区域S5与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d15=0.55,第2像素P2的d25=0.55,第3像素P3的d35=0.55,第4像素P4的d45=0.85,第5像素P5的d55=0.85,第6像素P6的d65=0.85,第7像素P7的d75=0.55,第8像素P8的d85=0.55,第9像素P9的d95=0.55。
并且,第6光学区域S6与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d16=0.47,第2像素P2的d26=0.47,第3像素P3的d36=0.47,第4像素P4的d46=0.81,第5像素P5的d56=0.81,第6像素P6的d66=0.81,第7像素P7的d76=0.6,第8像素P8的d86=0.6,第9像素P9的d96=0.6。
并且,第7光学区域S7与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d17=0.4,第2像素P2的d27=0.4,第3像素P3的d37=0.4,第4像素P4的d47=0.7,第5像素P5的d57=0.7,第6像素P6的d67=0.7,第7像素P7的d77=0.67,第8像素P8的d87=0.67,第9像素P9的d97=0.67。
并且,第8光学区域S8与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d18=0.35,第2像素P2的d28=0.35,第3像素P3的d38=0.35,第4像素P4的d48=0.56,第5像素P5的d58=0.56,第6像素P6的d68=0.56,第7像素P7的d78=0.7,第8像素P8的d88=0.7,第9像素P9的d98=0.7。
并且,第9光学区域S9与各像素P1~P9之间的基于光谱透射率的透射率中,第1像素P1的d19=0.25,第2像素P2的d29=0.25,第3像素P3的d39=0.25,第4像素P4的d49=0.4,第5像素P5的d59=0.4,第6像素P6的d69=0.4,第7像素P7的d79=0.6,第8像素P8的d89=0.6,第9像素P9的d99=0.6。
因此,在本实施方式的摄像装置1中,矩阵D如下。
[数学式10]
Figure GDA0003011672850000231
如上所述,入射于光学系统10的第j光学区域Sj的光被各像素块PB(x,y)的第i像素Pi接收的比例bij由基于偏振的透射率cij与基于光谱透射率的透射率dij的乘积(bij=cij*dij)来计算。因此,以bij为要素的矩阵B由矩阵C与矩阵D的阿达玛乘积表示。
[数学式11]
Figure GDA0003011672850000232
[数学式12]
Figure GDA0003011672850000233
[数学式13]
Figure GDA0003011672850000241
在本实施方式的摄像装置1中,矩阵B的各要素bij如下计算。
[数学式14]
Figure GDA0003011672850000242
该矩阵B存在逆矩阵B-1。即,矩阵B不存在相同要素排列的行及列,因此存在逆矩阵(矩阵C存在相同要素排列的列(例如,第1列、第4列及第6列为相同要素排列,第2列、第5列及第7列为相同要素排列,第3列、第6列及第9列为相同要素排列。)。并且,矩阵D存在相同要素排列的行(例如,第1行~第3行为相同要素排列,第4行~第6行为相同要素排列,第7行~第9行为相同要素排列。)。然而,由矩阵C与矩阵D的阿达玛乘积求出的矩阵B不存在相同要素排列的行及列。因此,矩阵B存在逆矩阵B-1。)。
矩阵B的逆矩阵B-1如下。
[数学式15]
Figure GDA0003011672850000251
因此,在本实施方式的摄像装置1中,从各像素P1~P9的像素信号x1~x9计算与各光学区域S1~S9对应的像素信号X1~X9的运算式如以下式13。
[数学式16]
Figure GDA0003011672850000252
系数存储部200C将该9行9列的矩阵A的各要素aij存储为系数组。系数存储部200C为存储部的一例。
图像生成部200B从系数存储部200C获取系数组,根据上述式1从由各像素块PB(x,y)的各像素P1~P9获得的像素信号x1~x9计算与光学系统10的各光学区域S1~S9对应的像素信号X1~X9,生成各光学区域S1~S9的图像数据。图像生成部200B为运算部的一例。
由图像生成部200B生成的各光学区域S1~S9的图像数据输出至外部,并根据需要存储于存储装置中。并且,根据需要显示于显示器(未图示)。
[动作]
图16是本实施方式的摄像装置的动作的概念图。
来自被摄体Obj的光穿过光学系统10的各光学区域S1~S9被图像传感器100的各像素P1~P9接收。
此时,穿过了光学系统10的第1光学区域S1的光使被摄体Obj的第1光学像OI1成像于图像传感器100的受光面上。该第1光学像OI1为由沿着规定的偏振方向(方位角α1)直线偏振的第1波段Δf1的光形成的光学像。
并且,穿过了光学系统10的第2光学区域S2的光使被摄体Obj的第2光学像OI2成像于图像传感器100的受光面上。该第2光学像OI2为由沿着规定的偏振方向(方位角α1)直线偏振的第2波段Δf2的光形成的光学像。
并且,穿过了光学系统10的第3光学区域S3的光使被摄体Obj的第3光学像OI3成像于图像传感器100的受光面上。该第3光学像OI3为由沿着规定的偏振方向(方位角α1)直线偏振的第3波段Δf3的光形成的光学像。
并且,穿过了光学系统10的第4光学区域S4的光使被摄体Obj的第4光学像OI4成像于图像传感器100的受光面上。该第4光学像OI4为由沿着规定的偏振方向(方位角α2)直线偏振的第4波段Δf4的光形成的光学像。
并且,穿过了光学系统10的第5光学区域S5的光使被摄体Obj的第5光学像OI5成像于图像传感器100的受光面上。该第5光学像OI5为由沿着规定的偏振方向(方位角α2)直线偏振的第5波段Δf5的光形成的光学像。
并且,穿过了光学系统10的第6光学区域S6的光使被摄体Obj的第6光学像OI6成像于图像传感器100的受光面上。该第6光学像OI6为由沿着规定的偏振方向(方位角α2)直线偏振的第6波段Δf6的光形成的光学像。
并且,穿过了光学系统10的第7光学区域S7的光使被摄体Obj的第7光学像OI7成像于图像传感器100的受光面上。该第7光学像OI7为由沿着规定的偏振方向(方位角α3)直线偏振的第7波段Δf7的光形成的光学像。
并且,穿过了光学系统10的第8光学区域S8的光使被摄体Obj的第8光学像OI8成像于图像传感器100的受光面上。该第8光学像OI8为由沿着规定的偏振方向(方位角α3)直线偏振的第8波段Δf8的光形成的光学像。
并且,穿过了光学系统10的第9光学区域S9的光使被摄体Obj的第9光学像OI9成像于图像传感器100的受光面上。该第9光学像OI9为由沿着规定的偏振方向(方位角α3)直线偏振的第9波段Δf9的光形成的光学像。
图像传感器100由各像素P1~P9接收来自光学系统10的各光学区域S1~S9的光,并将与其受光量对应的信号(像素信号)x1~x9输出至信号处理部200。
此时,第1像素P1经由规定的光谱透射率的第1光谱滤波元件132A(参考图15的曲线图T1)以规定的透射率接收来自各光学区域S1~S9的光,并且经由第1偏振滤波元件122A接收规定的偏振方向(方位角β1)上的光。然后,将与其受光量对应的像素信号x1输出至信号处理部200。
并且,第2像素P2经由第1光谱滤波元件132A以规定的透射率接收来自各光学区域S1~S9的光,并且经由第2偏振滤波元件122B接收规定的偏振方向(方位角β2)上的光。然后,将与其受光量对应的像素信号x2输出至信号处理部200。
并且,第3像素P3经由第1光谱滤波元件132A以规定的透射率接收来自各光学区域S1~S9的光,并且经由第3偏振滤波元件122C接收规定的偏振方向(方位角β3)上的光。然后,将与其受光量对应的像素信号x3输出至信号处理部200。
并且,第4像素P4经由规定的光谱透射率的第2光谱滤波元件132B(参考图15的曲线图T2)以规定的透射率接收来自各光学区域S1~S9的光,并且经由第1偏振滤波元件122A接收规定的偏振方向(方位角β1)上的光。然后,将与其受光量对应的像素信号x4输出至信号处理部200。
并且,第5像素P5经由第2光谱滤波元件132B以规定的透射率接收来自各光学区域S1~S9的光,并且经由第2偏振滤波元件122B接收规定的偏振方向(方位角β2)上的光。然后,将与其受光量对应的像素信号x5输出至信号处理部200。
并且,第6像素P6经由第2光谱滤波元件132B以规定的透射率接收来自各光学区域S1~S9的光,并且经由第3偏振滤波元件122C接收规定的偏振方向(方位角β3)上的光。然后,将与其受光量对应的像素信号x6输出至信号处理部200。
并且,第7像素P7经由规定的光谱透射率的第3光谱滤波元件132C(参考图15的曲线图T3)以规定的透射率接收来自各光学区域S1~S9的光,并且经由第1偏振滤波元件122A接收规定的偏振方向(方位角β1)上的光。然后,将与其受光量对应的像素信号x7输出至信号处理部200。
并且,第8像素P8经由第3光谱滤波元件132C以规定的透射率接收来自各光学区域S1~S9的光,并且经由第2偏振滤波元件122B接收规定的偏振方向(方位角β2)上的光。然后,将与其受光量对应的像素信号x8输出至信号处理部200。
并且,第9像素P9经由第3光谱滤波元件132C以规定的透射率接收来自各光学区域S1~S9的光,并且经由第3偏振滤波元件122C接收规定的偏振方向(方位角β3)上的光。然后,将与其受光量对应的像素信号x9输出至信号处理部200。
信号处理部200从由图像传感器100的各像素块PB(x,y)的各像素P1~P9获得的像素信号x1~x9计算与光学系统10的各光学区域S1~S9对应的像素信号X1~X9,生成由各光学区域S1~S9获得的图像ID1~ID9的图像数据。即,根据使用矩阵A的式1进行运算处理,从由图像传感器100获得的各像素P1~P1的像素信号x1~x9计算与各光学区域S1~S9对应的像素信号X1~X9,生成由各光学区域S1~S9获得的图像ID1~ID9的图像数据。
如此,根据本实施方式的摄像装置1,能够由一个光学系统10和一个图像传感器100获取9个波段的图像(多光谱图像)。并且,来自光学系统10的光能够在均匀的条件下入射于图像传感器100的各像素块PB(x,y),因此能够简单地生成高质量的图像。
[实施例]
在光瞳部分被分割为9个部分的上述实施方式的摄像装置1中,如下设定光学系统10所具备的光谱滤波器16及偏振滤波器18以及设置于图像传感器100的各像素P1~P9的偏振滤波元件122A、122B、122C及光谱滤波元件132A、132B、132C。
将光学系统10所具备的偏振滤波器18的第1偏振滤波器部G1的透射偏振方位α1设为0°,将第2偏振滤波器部G2的透射偏振方位α2设为60°,将第3偏振滤波器部G3的透射偏振方位α3设为120°。此时,透射第1光学区域S1、第2光学区域S2及第3光学区域S3的光的偏振方向为0°,透射第4光学区域S4、第5光学区域S5及第6光学区域S6的光的偏振方向为60°,透射第7光学区域S7、第8光学区域S8及第9光学区域S9的光的偏振方向为120°。
将光学系统10所具备的光谱滤波器16的第1光谱滤波器部F1的透射波段设为Δf1,将其中心波长设为λ1,将第2光谱滤波器部F2的透射波段设为Δf2,将其中心波长设为λ2,将第3光谱滤波器部F3的透射波段设为Δf3,将其中心波长设为λ3,将第4光谱滤波器部F4的透射波段设为Δf4,将其中心波长设为λ4,将第5光谱滤波器部F5的透射波段设为Δf5,将其中心波长设为λ5,将第6光谱滤波器部F6的透射波段设为Δf6,将其中心波长设为λ6,将第7光谱滤波器部F7的透射波段设为Δf7,将其中心波长设为λ7,将第8光谱滤波器部F8的透射波段设为Δf8,将其中心波长设为λ8,将第9光谱滤波器部F9的透射波段设为Δf9,将其中心波长设为λ9。此时,透射第1光学区域S1的光的波段为Δf1(中心波长λ1),透射第2光学区域S2的光的波段为Δf2(中心波长λ2),透射第3光学区域S3的光的波段为Δf3(中心波长λ3),透射第4光学区域S4的光的波段为Δf4(中心波长λ4),透射第5光学区域S5的光的波段为Δf5(中心波长λ5),透射第6光学区域S6的光的波段为Δf6(中心波长λ6),透射第7光学区域S7的光的波段为Δf7(中心波长λ1),透射第8光学区域S8的光的波段为Δf8(中心波长λ8),透射第9光学区域S9的光的波段为Δf9(中心波长λ9)。
将设置于图像传感器100的各像素的第1偏振滤波元件122A的透射偏振方位β1设为0°,将第2偏振滤波元件122B的透射偏振方位β2设为60°,将第3偏振滤波元件122C的透射偏振方位β3设为120°。此时,由第1像素P1接收的光的偏振方向为0°,由第2像素P2接收的光的偏振方向为60°,由第3像素P3接收的光的偏振方向为120°,由第4像素P4接收的光的偏振方向为0°,由第5像素P5接收的光的偏振方向为60°,由第6像素P6接收的光的偏振方向为120°,由第7像素P7接收的光的偏振方向为0°,由第8像素P8接收的光的偏振方向为60°,由第9像素P9接收的光的偏振方向为120°。
图17是设置于图像传感器的各像素的光谱滤波元件的光谱透射率的曲线图。图17中,实线所示的曲线图T1为第1光谱滤波元件132A的光谱透射率的曲线图。并且,虚线所示的曲线图T2为第2光谱滤波元件132B的光谱透射率的曲线图。并且,单点虚线所示的曲线图T3为第3光谱滤波元件132C的光谱透射率的曲线图。
在以上结构的光学系统10及图像传感器100中,关于第j光学区域Sj与第i像素Pi之间的基于偏振的透射率c,由以cij(i=1~9、j=1~9)为要素的下述9行9列的矩阵C表示。
[数学式17]
Figure GDA0003011672850000301
并且,关于基于光谱透射率的透射率d,由以dij(i=1~9、j=1~9)为要素的下述9行9列的矩阵D表示。
[数学式18]
Figure GDA0003011672850000302
表示来自各光学区域Sj的光的干扰量的矩阵B由上述矩阵C与矩阵D的阿达玛乘积求出。
[数学式19]
Figure GDA0003011672850000311
去除干扰的运算式(式1)的矩阵A通过求出矩阵B的逆矩阵B-1来获取。
[数学式20]
Figure GDA0003011672850000312
因此,在本实施例的摄像装置中,从各像素P1~P9的像素信号x1~x9计算与各光学区域S1~S9对应的像素信号X1~X9的运算式如以下式14。
[数学式21]
Figure GDA0003011672850000313
图18是表示被摄体图像的一例的图。
现在,考虑由上述结构的摄像装置拍摄图18所示的图像的情况。
图19是表示由从图像传感器输出的像素信号x1~x9生成的图像的例子的图。
在图19中,符号CI1的图像表示由来自各像素块PB(x,y)的第1像素P1的像素信号x1生成的图像。并且,符号CI2的图像表示由来自各像素块PB(x,y)的第2像素P2的像素信号x2生成的图像。并且,符号CI3的图像表示由来自各像素块PB(x,y)的第3像素P3的像素信号x3生成的图像。并且,符号CI4的图像表示由来自各像素块PB(x,y)的第4像素P4的像素信号x4生成的图像。并且,符号CI5的图像表示由来自各像素块PB(x,y)的第5像素P5的像素信号x5生成的图像。并且,符号CI6的图像表示由来自各像素块PB(x,y)的第6像素P6的像素信号x6生成的图像。并且,符号CI7的图像表示由来自各像素块PB(x,y)的第7像素P7的像素信号x7生成的图像。并且,符号6I8的图像表示由来自各像素块PB(x,y)的第8像素P8的像素信号x8生成的图像。并且,符号CI9的图像表示由来自各像素块PB(x,y)的第9像素P9的像素信号x9生成的图像。这些图像CI1~CI9为发生了干扰的图像。
图20是表示对从图像传感器输出的像素信号x1~x9进行干扰去除处理而生成的图像的例子的图。
从由图像传感器的各像素块获得的9个像素信号x1~x9计算与光学系统10的各光学区域S1~S9对应的9个像素信号X1~X9,生成由各光学区域S1~S9获得的图像ID1~ID9的图像数据。即,根据上述式14从各像素P1~P9的像素信号x1~x9计算与各光学区域S1~S9对应的像素信号X1~X9,生成由各光学区域S1~S9获得的图像ID1~ID9的图像数据。
另外,在图20中,符号ID1的图像表示由第1光学区域S1获得的图像。并且,符号ID2的图像表示由第2光学区域S2获得的图像。并且,符号ID3的图像表示由第3光学区域S3获得的图像。并且,符号ID4的图像表示由第4光学区域S4获得的图像。并且,符号ID5的图像表示由第5光学区域S5获得的图像。并且,符号ID6的图像表示由第6光学区域S6获得的图像。并且,符号ID7的图像表示由第7光学区域S7获得的图像。并且,符号ID8的图像表示由第8光学区域S8获得的图像。并且,符号ID9的图像表示由第9光学区域S9获得的图像。图像ID1~ID9中的所有图像均可获得去除干扰后的清晰的图像。
[变形例]
〔要获取的图像的数量〕
在上述实施方式中,以获取不同波段的9个图像的情况为例进行了说明,但要获取的图像的数量并不限定于此。在本发明的摄像装置中,如下设定能够获取的图像的数量k。
现在,将设置于图像传感器的各像素的光谱滤波元件(第1光学滤波元件)的种类设为n种,且将偏振滤波元件(第2光学滤波元件)的种类(透射偏振方位的种类)设为m种。n为2以上的整数(n≥2),m为2以上且3以下的整数(2≤m≤3)。在一个像素块中,各像素由不同的光谱滤波元件和偏振滤波元件的组合构成。因此,此时,一个像素块由(n×m)个像素构成。将n与m的乘积(n×m)设为q(q=n×m)。在本发明的摄像装置中,能够获取的图像的数量k为构成一个像素块的像素的数量q以下(k≤q)。其中,k为3以上的整数。
如此,要获取的图像的数量k并不一定需要与构成一个像素块的像素的数量q相同。也可以由要获取的图像的数量以上的数量的像素构成一个像素块。
光学系统具备要获取的图像的数量k的光学区域。另外,在各光学区域设置偏振滤波器部,但光学系统侧的偏振滤波器部设定为满足以下条件。即,关于设置于各光学区域的偏振滤波器部的透射偏振方位,将具有相同的透射偏振方位的光学区域的数量设为u。该数量u为图像传感器侧的光谱滤波元件(第1光学滤波元件)的种类的数量以下。因此,若图像传感器侧的光谱滤波元件(第1光学滤波元件)的种类为n种,则具有相同的透射偏振方位的光学区域的数量u为图像传感器侧的光谱滤波元件(第1光学滤波元件)的种类的数量n以下(u≤n)。
通过组合n种光谱滤波元件及m种偏振滤波元件,在一个像素块由q个像素构成的情况下,能够从图像传感器的各像素块获取q个像素信号x1、x2、……、xq。在光学系统具有k个光学区域的情况下,用于从该q个像素信号x1、x2、……、xq计算与光学系统的各光学区域对应的k个像素信号X1、X2、……、Xk的运算式使用矩阵A来如下定义。
[数学式22]
Figure GDA0003011672850000341
[数学式23]
Figure GDA0003011672850000342
如上所述,矩阵A通过计算以入射于光学系统的各光学区域的光被图像传感器的各像素块的各像素接收的比例为要素的矩阵B的逆矩阵B-1来获取。并且,该比例由基于偏振的透射率c与基于光谱透射率的透射率d的乘积来计算。
〔偏振滤波器部和偏振滤波元件的透射偏振方位的设定〕
在上述实施方式中,设置于光学系统的各光学区域的偏振滤波器部的透射偏振方位的组合与图像传感器所具备的偏振滤波元件(第2光学滤波元件)的透射偏振方位的组合相同(均为方位角0°、60°、120°的组合)。然而,该组合并不一定需要相同。例如也可以在光学系统侧使用45°、90°、135°的组合,在图像传感器侧使用0°、60°、120°的组合。另外,通过设为相同的组合,能够容易计算基于偏振的透射率c。
〔对各光学区域设定的透射波段〕
对光学系统的各光学区域设定的透射波段可以任意设定。例如也可以构成为细分特定的波段并获取每个被细分出的波段的图像。此时,可以获取特定的波段的多光谱图像。
在获取被细分的窄带的图像的情况下,在各光学区域配置使所期望的波段的光透射的窄带滤波器。
〔光瞳分割方式〕
在上述实施方式中,构成为在周向上均等地分割光学系统的光瞳部分来设置多个光学区域,但光瞳分割方式并不限定于此。此外,还可以采用分割为同心圆状的方式、分割为栅格状的方式、分割为狭缝状的方式等。
〔图像传感器的结构〕
构成一个像素块的像素的排列并不限定于上述实施方式的排列。可以根据构成一个像素块的像素的数量等来适当变更像素的排列。
并且,在上述实施方式中,构成为偏振滤波元件及光谱滤波元件配置于光电二极管与微透镜之间,但也可以构成为将其中任一个或两个配置于微透镜的前方(被摄体侧)。另外,通过将偏振滤波元件及光谱滤波元件配置于微透镜与光电二极管之间,能够有效地防止光混入相邻的像素中。由此,能够进一步防止干扰。
〔信号处理部的结构〕
信号处理部200中的图像生成部200B(运算部)的功能可以使用各种处理器(processor)来实现。各种处理器例如包括执行软件(程序)来实现各种功能的通用的处理器即CPU(Central Processing Unit,中央处理器)。并且,上述各种处理器还包括专用于图像处理的处理器即GPU(Graphics Proces sing Unit,图形处理单元)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)等能够在制造后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)。此外,ASIC(Application SpecificIntegrated Circuit,专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等也包括在上述各种处理器中。
各部的功能可以由一个处理器来实现,也可以由相同种类或不同种类的多个处理器(例如,多个FPGA、或CPU和FPGA的组合、或CPU和GPU的组合)来实现。并且,也可以通过一个处理器来实现多个功能。作为由一个处理器构成多个功能的例子,首先,有如下方式:由一个以上的CPU和软件的组合构成一个处理器,并由该处理器实现多个功能,以服务器等计算机为代表。其次,有如下方式:使用由一个IC(Integrated Circuit,集成电路)芯片来实现系统整体的功能的处理器,以片上系统(System On Chip:SoC)等为代表。如此,各种功能是作为硬件结构使用一个以上的上述各种处理器而实现的。进而,更具体而言,这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。这些电路可以为使用逻辑和、逻辑乘积、逻辑否定、异或逻辑和及组合这些而成的逻辑运算来实现上述功能的电路。
在上述处理器或电路执行软件(程序)时,将要执行的软件的处理器(计算机)可读取的编码存储于ROM(Read Only Memory,只读存储器)等非暂时性记录介质中,并由处理器参考该软件。存储于非暂时性记录介质中的软件包括用于执行图像的输入、分析、显示控制等的程序。也可以将编码记录于各种光磁记录装置、半导体存储器等非暂时性记录介质中,而不是ROM。在进行使用软件的处理时,例如也可以将RAM(Random Access Memory,随机存取存储器)用作临时存储区域,并且例如也可以参考存储于未图示的EEPROM(Electronically Erasable and Programmable Read Only Memory,电可擦可编程只读存储器)中的数据。
信号处理部200的系数存储部200C例如可以由ROM(Read-only Memory,只读存储器)、EEPROM(电可擦可编程只读存储器)等存储器来实现。
〔摄像装置的结构〕
摄像装置也可以构成为可更换光学系统的镜头可换式摄像装置。此时,矩阵A是针对每个镜头(光学系统)唯一地确定的,因此针对每个镜头准备矩阵A,并将其系数组存储于系数存储部中。在镜头被更换的情况下,从系数存储部读出与所更换的镜头对应的矩阵A的系数组,执行运算处理,生成各光学区域的图像。
符号说明
1-摄像装置,10-光学系统,12-透镜,14-光瞳分割滤波器,16-光谱滤波器,18-偏振滤波器,100-图像传感器,110-像素阵列层,112-光电二极管,120-偏振滤波元件阵列层,122A-第1偏振滤波元件,122B-第2偏振滤波元件,122C-第3偏振滤波元件,130-光谱滤波元件阵列层,132A-第1光谱滤波元件,132B-第2光谱滤波元件,132C-第3光谱滤波元件,140-微透镜阵列层,142-微透镜,200-信号处理部,200A-模拟信号处理部,200B-图像生成部,200C-系数存储部,CI1-由来自第1像素P1的像素信号x1生成的图像,CI2-由来自第2像素P2的像素信号x2生成的图像,CI3-由来自第3像素P3的像素信号x3生成的图像,CI4-由来自第4像素P4的像素信号x4生成的图像,CI5-由来自第5像素P5的像素信号x5生成的图像,CI6-由来自第6像素P6的像素信号x6生成的图像,CI7-由来自第7像素P7的像素信号x7生成的图像,CI8-由来自第8像素P8的像素信号x8生成的图像,CI9-由来自第9像素P9的像素信号x9生成的图像,D1-从像素块提取第1像素P1的像素信号而生成的第1图像数据,D2-从像素块提取第2像素P2的像素信号而生成的第2图像数据,D3-从像素块提取第3像素P3的像素信号而生成的第3图像数据,D4-从像素块提取第4像素P4的像素信号而生成的第4图像数据,D5-从像素块提取第5像素P5的像素信号而生成的第5图像数据,D6-从像素块提取第6像素P6的像素信号而生成的第6图像数据,D7-从像素块提取第7像素P7的像素信号而生成的第7图像数据,D8-从像素块提取第8像素P8的像素信号而生成的第8图像数据,D9-从像素块提取第9像素P9的像素信号而生成的第9图像数据,F1-光谱滤波器的第1光谱滤波器部,F2-光谱滤波器的第2光谱滤波器部,F3-光谱滤波器的第3光谱滤波器部,F4-光谱滤波器的第4光谱滤波器部,F5-光谱滤波器的第5光谱滤波器部,F6-光谱滤波器的第6光谱滤波器部,F7-光谱滤波器的第7光谱滤波器部,F8-光谱滤波器的第8光谱滤波器部,F9-光谱滤波器的第9光谱滤波器部,G1-偏振滤波器的第1偏振滤波器部,G2-偏振滤波器的第2偏振滤波器部,G3-偏振滤波器的第3偏振滤波器部,ID1-光学系统的第1光学区域的图像,ID2-光学系统的第2光学区域的图像,ID3-光学系统的第3光学区域的图像,ID4-光学系统的第4光学区域的图像,ID5-光学系统的第5光学区域的图像,ID6-光学系统的第6光学区域的图像,ID7-光学系统的第7光学区域的图像,ID8-光学系统的第8光学区域的图像,ID9-光学系统的第9光学区域的图像,L-光轴,OI1-由光学系统的第1光学区域获得的被摄体的第1光学像,OI2-由光学系统的第2光学区域获得的被摄体的第2光学像,OI3-由光学系统的第3光学区域获得的被摄体的第3光学像,OI4-由光学系统的第4光学区域获得的被摄体的第4光学像,OI5-由光学系统的第5光学区域获得的被摄体的第5光学像,OI6-由光学系统的第6光学区域获得的被摄体的第6光学像,OI7-由光学系统的第7光学区域获得的被摄体的第7光学像,OI8-由光学系统的第8光学区域获得的被摄体的第8光学像,OI9-由光学系统的第9光学区域获得的被摄体的第9光学像,Obj-被摄体,P1-第1像素,P2-第2像素,P3-第3像素,P4-第4像素,P5-第5像素,P6-第6像素,P7-第7像素,P8-第8像素,P9-第9像素,Pi-第i像素,PB(x,y)-像素块,S1-光学系统的第1光学区域,S2-光学系统的第2光学区域,S3-光学系统的第3光学区域,S4-光学系统的第4光学区域,S5-光学系统的第5光学区域,S6-光学系统的第6光学区域,S7-光学系统的第7光学区域,S8-光学系统的第8光学区域,S9-光学系统的第9光学区域,Sj-光学系统的第j光学区域,T1-第1光谱滤波元件的光谱透射率的曲线图,T2-第2光谱滤波元件的光谱透射率的曲线图,T3-第3光谱滤波元件的光谱透射率的曲线图,X1-与光学系统的第1光学区域对应的像素信号,X2-与光学系统的第2光学区域对应的像素信号,X3-与光学系统的第3光学区域对应的像素信号,X4-与光学系统的第4光学区域对应的像素信号,X5-与光学系统的第5光学区域对应的像素信号,X6-与光学系统的第6光学区域对应的像素信号,X7-与光学系统的第7光学区域对应的像素信号,X8-与光学系统的第8光学区域对应的像素信号,X9-与光学系统的第9光学区域对应的像素信号,Xj-与光学系统的第j光学区域对应的像素信号,x1-第1像素的像素信号,x2-第2像素的像素信号,x3-第3像素的像素信号,x4-第4像素的像素信号,x5-第5像素的像素信号,x6-第6像素的像素信号,x7-第7像素的像素信号,x8-第8像素的像素信号,x9-第9像素的像素信号,xi-第i像素的像素信号,Δf1-第1光谱滤波器部所透射的光的波段(第1波段),Δf2-第2光谱滤波器部所透射的光的波段(第2波段),Δf3-第3光谱滤波器部所透射的光的波段(第3波段),Δf4-第4光谱滤波器部所透射的光的波段(第4波段),Δf5-第5光谱滤波器部所透射的光的波段(第5波段),Δf6-第6光谱滤波器部所透射的光的波段(第6波段),Δf7-第7光谱滤波器部所透射的光的波段(第7波段),Δf8-第8光谱滤波器部所透射的光的波段(第8波段),Δf9-第9光谱滤波器部所透射的光的波段(第9波段),α1-第1偏振滤波器部所透射的光的偏振方向(透射偏振方位、方位角),α2-第2偏振滤波器部所透射的光的偏振方向(透射偏振方位、方位角),α3-第3偏振滤波器部所透射的光的偏振方向(透射偏振方位、方位角),β1-第1偏振滤波元件所透射的光的偏振方向(透射偏振方位、方位角),β2-第2偏振滤波元件所透射的光的偏振方向(透射偏振方位、方位角),β3-第3偏振滤波元件所透射的光的偏振方向(透射偏振方位、方位角),λ1-第1光谱滤波器部的透射波段的中心波长,λ2-第2光谱滤波器部的透射波段的中心波长,λ3-第3光谱滤波器部的透射波段的中心波长,λ4-第4光谱滤波器部的透射波段的中心波长,λ5-第5光谱滤波器部的透射波段的中心波长,λ6-第6光谱滤波器部的透射波段的中心波长,λ7-第7光谱滤波器部的透射波段的中心波长,λ8-第8光谱滤波器部的透射波段的中心波长,λ9-第9光谱滤波器部的透射波段的中心波长。

Claims (12)

1.一种摄像装置,其具备:
图像传感器,具备多个像素块,在将n设为满足n≥2的整数、将m设为满足2≤m≤3的整数、将q设为n与m的乘积的情况下,所述像素块组合光谱透射率不同的n种第1光学滤波元件和透射偏振方位不同的m种第2光学滤波元件并由各像素接收q种光;
光学系统,在将k设为满足k≤q的整数的情况下,具备所透射的光的波段不同的k个光学区域,且在各所述光学区域设置有偏振滤波器部;
存储部,在将i设为满足1≤i≤k的整数、将j设为满足1≤j≤q的整数的情况下,存储由k行q列的矩阵A构成的系数组,所述矩阵A的各要素由aij表示;及
运算部,从所述存储部获取所述系数组,根据下述数学式1从由所述图像传感器的各所述像素块获得的q个像素信号x1、x2、……、xq计算与所述光学系统的各所述光学区域对应的k个像素信号X1、X2、……、Xk,
数学式1:
Figure FDA0003363479710000011
2.根据权利要求1所述的摄像装置,其中,
所述矩阵A通过计算以入射于所述光学系统的各所述光学区域的光被所述图像传感器的各所述像素块的各所述像素接收的比例为要素的矩阵的逆矩阵来获取。
3.根据权利要求2所述的摄像装置,其中,
在将基于偏振的透射率设为c、将基于光谱透射率的透射率设为d的情况下,入射于所述光学系统的各所述光学区域的光被所述图像传感器的各所述像素块的各所述像素接收的比例由c与d的乘积来计算。
4.根据权利要求3所述的摄像装置,其中,
基于偏振的所述透射率c通过计算透射所述光学区域的光的透射偏振方位与所述像素所接收的光的透射偏振方位的角度差的余弦的平方来求出,
基于光谱透射率的所述透射率d根据透射所述光学区域的光的波段和设置于所述像素的所述第1光学滤波元件的光谱透射率来求出。
5.根据权利要求1至4中任一项所述的摄像装置,其中,
所述光学系统中,具有相同的透射偏振方位的所述偏振滤波器部的数量为n以下。
6.根据权利要求1至4中任一项所述的摄像装置,其中,
所述图像传感器的各所述像素块具有组合光谱透射率不同的3种所述第1光学滤波元件和透射偏振方位不同的3种所述第2光学滤波元件并由各所述像素接收9种光的结构。
7.根据权利要求6所述的摄像装置,其中,
所述光学系统具备所透射的光的波段不同的9个所述光学区域。
8.根据权利要求7所述的摄像装置,其中,
9个所述光学区域中的每3个所述光学区域与具有相同的透射偏振方位的所述偏振滤波器部对应。
9.根据权利要求8所述的摄像装置,其中,
所述光学系统所具备的所述偏振滤波器部的透射偏振方位的组合与所述图像传感器所具备的所述第2光学滤波元件的透射偏振方位的组合相同。
10.根据权利要求1至4中任一项所述的摄像装置,其中,
所述光学系统在各所述光学区域设置不同透射波长的窄带滤波器。
11.根据权利要求10所述的摄像装置,其中,
所述光学系统在光瞳位置设置所述窄带滤波器。
12.根据权利要求1至4中任一项所述的摄像装置,其中,
所述图像传感器在构成各所述像素的光电二极管与微透镜之间具有所述第1光学滤波元件及所述第2光学滤波元件。
CN201980066394.1A 2018-10-09 2019-09-26 摄像装置 Active CN112840643B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018190963 2018-10-09
JP2018-190963 2018-10-09
PCT/JP2019/038019 WO2020075523A1 (ja) 2018-10-09 2019-09-26 撮像装置

Publications (2)

Publication Number Publication Date
CN112840643A CN112840643A (zh) 2021-05-25
CN112840643B true CN112840643B (zh) 2022-01-14

Family

ID=70163973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066394.1A Active CN112840643B (zh) 2018-10-09 2019-09-26 摄像装置

Country Status (5)

Country Link
US (1) US11122242B2 (zh)
EP (1) EP3866462B1 (zh)
JP (1) JP6908793B2 (zh)
CN (1) CN112840643B (zh)
WO (1) WO2020075523A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7416798B2 (ja) * 2019-07-17 2024-01-17 富士フイルム株式会社 フィルターおよび撮像装置
JP7309640B2 (ja) * 2020-03-18 2023-07-18 株式会社東芝 光学検査装置
WO2023188513A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027393A (ja) * 2010-07-27 2012-02-09 Olympus Corp 撮像装置
CN103033940A (zh) * 2011-09-30 2013-04-10 索尼公司 成像装置和成像方法
CN103703769A (zh) * 2011-07-29 2014-04-02 株式会社理光 成像装置、对象检测设备、光学滤波器以及光学滤波器的制造方法
CN104797970A (zh) * 2012-10-29 2015-07-22 脱其泰有限责任公司 采用针对对象分类的角度分辨散射和光谱分辨测量的系统、设备和方法
JP2015211430A (ja) * 2014-04-30 2015-11-24 パナソニックIpマネジメント株式会社 撮像装置および演算回路
CN105210361A (zh) * 2013-02-13 2015-12-30 萨尔布吕肯大学 全光成像设备
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
CN106572792A (zh) * 2014-06-05 2017-04-19 海德堡大学 用于多光谱成像的方法和部件

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP5310483B2 (ja) * 2009-10-28 2013-10-09 株式会社リコー 撮像装置
EP2536153B1 (en) 2011-04-22 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Image capture device, image capture system, and image capture method
US9118796B2 (en) * 2012-08-02 2015-08-25 Panasonic Intellectual Property Management Co., Ltd. Polarization color image capture device
WO2015004886A1 (ja) 2013-07-12 2015-01-15 パナソニックIpマネジメント株式会社 撮像装置
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
US10708557B1 (en) * 2018-12-14 2020-07-07 Lyft Inc. Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027393A (ja) * 2010-07-27 2012-02-09 Olympus Corp 撮像装置
CN103703769A (zh) * 2011-07-29 2014-04-02 株式会社理光 成像装置、对象检测设备、光学滤波器以及光学滤波器的制造方法
CN103033940A (zh) * 2011-09-30 2013-04-10 索尼公司 成像装置和成像方法
CN104797970A (zh) * 2012-10-29 2015-07-22 脱其泰有限责任公司 采用针对对象分类的角度分辨散射和光谱分辨测量的系统、设备和方法
CN105210361A (zh) * 2013-02-13 2015-12-30 萨尔布吕肯大学 全光成像设备
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
JP2015211430A (ja) * 2014-04-30 2015-11-24 パナソニックIpマネジメント株式会社 撮像装置および演算回路
CN106572792A (zh) * 2014-06-05 2017-04-19 海德堡大学 用于多光谱成像的方法和部件

Also Published As

Publication number Publication date
JP6908793B2 (ja) 2021-07-28
EP3866462B1 (en) 2022-11-02
WO2020075523A1 (ja) 2020-04-16
JPWO2020075523A1 (ja) 2021-09-02
US11122242B2 (en) 2021-09-14
US20210211617A1 (en) 2021-07-08
EP3866462A1 (en) 2021-08-18
EP3866462A4 (en) 2021-11-10
CN112840643A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112840643B (zh) 摄像装置
EP3399355B1 (en) Dual-core focusing image sensor, focusing control method for the same, and electronic device
TWI507012B (zh) 3次元攝像裝置(一)
EP3633973B1 (en) Image processing device, imaging system, image processing method, and recording medium
TWI572022B (zh) 晶圓級陣列相機及其製造方法
CN102630019B (zh) 去马赛克的方法和装置
CN1650216A (zh) 波前编码成像系统的优化图像处理
CN104012076A (zh) 成像设备和电子信息仪器
CN102630018A (zh) 去马赛克的方法和装置
US11627263B2 (en) Imaging apparatus
CN112805992B (zh) 摄像装置
EP2871830A1 (en) Optical assembly for plenoptic camera
KR102083835B1 (ko) 딥 러닝 기반 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체 및 딥 러닝 기반 이미지 센싱장치
GB2505955A (en) Micro lens array with a colour filter set and imaging apparatus suitable for a light-field colour camera
EP3746978B1 (en) A filter array for demosaicing
CN112697276A (zh) 墨色不均匀的led显示模块墨色采集方法及其排序方法
Hauser et al. Design of binary-phase diffusers for a compressed sensing snapshot spectral imaging system with two cameras
WO2023145444A1 (ja) 撮像装置、および撮像装置の作動方法
CN111727453B (zh) 用于去马赛克的滤波器阵列
CN116325778A (zh) 使用像素重排获得的压缩图像传感器模块
CN114609619A (zh) 光学定位系统及方法
CN112492282A (zh) 图像传感器、摄像头模组及电子设备
WO2017061258A1 (ja) 撮像装置
Lin et al. Parallel computation of fan-beam back-projection reconstruction algorithm in computed tomography
JPH0218532A (ja) 並列画像変換装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant