CN112805992B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN112805992B
CN112805992B CN201980064764.8A CN201980064764A CN112805992B CN 112805992 B CN112805992 B CN 112805992B CN 201980064764 A CN201980064764 A CN 201980064764A CN 112805992 B CN112805992 B CN 112805992B
Authority
CN
China
Prior art keywords
optical
pixel
image
light
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980064764.8A
Other languages
English (en)
Other versions
CN112805992A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112805992A publication Critical patent/CN112805992A/zh
Application granted granted Critical
Publication of CN112805992B publication Critical patent/CN112805992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0053—Driving means for the movement of one or more optical element
    • G03B2205/0084—Driving means for the movement of one or more optical element using other types of actuators

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种能够使用一个成像元件来获取3个独立的高质量的图像的摄像装置。该摄像装置具备：光学系统(10)，具有使偏振方向互不相同的光穿过的3个光学区域(12A、12B、12C)；成像元件(100)，具有多个以接收偏振方向互不相同的光的3个像素为一组的像素单元；及图像处理部(200)，从由成像元件(100)的各像素单元获得的3个像素信号(x1、x2、x3)计算与光学系统(10)的各光学区域(12A、12B、12C)对应的3个像素信号(X1、X2、X3)，生成各光学区域(12A、12B、12C)的图像。

Description

摄像装置
技术领域
本发明涉及一种摄像装置，尤其涉及一种通过一个成像元件独立地获取3个图像的摄像装置。
背景技术
专利文献1中记载了一种摄像装置，其将光学系统的光瞳区域分割为两个区域，使用起偏器及检偏器分离穿过各区域的光，并由不同的像素接收，由此能够通过一个成像元件独立地获取两个图像。然而，专利文献1的摄像装置能够获取的图像限定于两个。
另一方面，专利文献2中记载了一种摄像装置，其将光学系统的光瞳部分分割为两个以上的区域，并通过微透镜阵列将来自各区域的光分别引导至不同的像素，由此能够通过个成像元件独立地获取两个以上的图像。
然而，由微透镜阵列引起的光线的分离并不一定是完美的。因此，在专利文献2的摄像装置中，存在光泄漏至相邻的像素而发生干扰(串扰)的问题。
为了解决该问题，专利文献3中提出了一种对由各像素获得的信号(像素信号)实施规定的信号处理来去除干扰的影响的技术。
以往技术文献
专利文献
专利文献1：日本特开2009-169096号公报
专利文献2：国际公开第2012/143983号
专利文献3：国际公开第2015/004886号
发明内容
发明要解决的技术课题
然而，在使用微透镜阵列分离光线的情况下，在各像素中发生的干扰的量根据像素的位置而不同。因此，在专利文献3的摄像装置中，为了获得更高质量的图像，需要针对每个像素求出干扰的发生量。然而，这需要大量的劳力。
本发明是鉴于这种情况而完成的，其目的在于，提供一种能够使用一个成像元件来获取3个独立的高质量的图像的摄像装置。
用于解决技术课题的手段
(1)一种摄像装置，其具备：光学系统，具有使偏振方向互不相同的光穿过的3个光学区域；成像元件，在将N设为满足N≥3的整数的情况下，具有多个以接收偏振方向互不相同的光的N个像素为一组的像素单元；存储部，在将i、j设为满足1≤i≤3、1≤j≤N的整数的情况下，存储由3行N列的矩阵A构成的系数组，该矩阵A的各要素由aij表示；及运算部，从存储部获取系数组，根据下述式从由成像元件的各像素单元获得的N个像素信号x1、x2、……、xN计算与光学系统的各光学区域对应的3个像素信号X1、X2、X3。
[数学式1]
根据本方式，通过对由成像元件的各像素单元获得的N个像素信号x1、x2、……、xN进行规定的运算处理，可获得与光学系统的各光学区域对应的像素信号X1、X2、X3。由此，能够使用一个成像元件来获取3个独立的高质量的图像。
(2)根据上述(1)的摄像装置，其中，矩阵A通过计算以入射于光学系统的各光学区域的光被成像元件的各像素单元的各像素接收的比例为要素的矩阵的逆矩阵来获取。
根据本方式，通过计算以入射于光学系统的各光学区域的光被成像元件的各像素单元的各像素接收的比例为要素的矩阵B的逆矩阵B-1，可获取矩阵A的各要素。
(3)根据上述(2)的摄像装置，其中，入射于光学系统的各光学区域的光被成像元件的各像素单元的各像素接收的比例通过计算穿过光学系统的各光学区域的光的偏振方向和由成像元件的各像素单元的各像素接收的光的偏振方向的角度差的余弦的平方来获取。
根据本方式，通过计算穿过光学系统的各光学区域的光的偏振方向和由成像元件的各像素单元的各像素接收的光的偏振方向的角度差的余弦的平方，可求出矩阵B的各要素。
(4)根据上述(1)至(3)中任一项的摄像装置，其中，成像元件具有多个以接收偏振方向互不相同的光的3个像素为一组的像素单元。
根据本方式，一个像素单元可由3个(与光学区域的分割数量相同)像素构成。
(5)根据上述(1)至(3)中任一项的摄像装置，其中，穿过光学系统的各光学区域的光的偏振方向的组合与由成像元件的各像素单元的各像素接收的光的偏振方向的组合相同。
根据本方式，穿过光学系统的各光学区域的光的偏振方向的组合与由成像元件的各像素单元的各像素接收的光的偏振方向的组合具有相同的设定。由此，能够简化求出矩阵A的各要素时的运算处理。
(6)根据上述(1)至(5)中任一项的摄像装置，其中，光学系统在光瞳位置具有偏振方向互不相同的3个偏振滤波器。
根据本方式，偏振方向互不相同的3个偏振滤波器设置于光瞳位置。
(7)根据上述(1)至(6)中任一项的摄像装置，其中，光学系统的各光学区域分别具有不同的焦距。
根据本方式，光学系统的各光学区域分别具有不同的焦距。
(8)根据上述(1)至(6)中任一项的摄像装置，其中，光学系统的各光学区域分别对焦于不同距离的被摄体。
根据本方式，光学系统的各光学区域具有分别对焦于不同距离的被摄体的结构。
(9)根据上述(1)至(6)中任一项的摄像装置，其中，光学系统的各光学区域分别使不同波段的光透射。
根据本方式，光学系统的各光学区域具有分别使不同波段的光透射的结构。
(10)根据上述(1)至(6)中任一项的摄像装置，其中，光学系统的各光学区域彼此具有视差。
根据本方式，光学系统的各光学区域彼此具有视差。
(11)根据上述(1)至(6)中任一项的摄像装置，其中，光学系统的各光学区域中的至少2个具有视差。
根据本方式，光学系统的3个光学区域中的至少2个具有视差。例如，2个光学区域设定为相同的焦距，且具有左右视差。
(12)根据上述(1)至(11)中任一项的摄像装置，其中，成像元件在各像素具有偏振元件。
根据本方式，在各像素设置偏振元件。
(13)根据上述(12)的摄像装置，其中，成像元件在构成各像素的光电二极管与微透镜之间具有偏振元件。
根据本方式，构成各像素的光电二极管与微透镜之间设置有偏振元件。
发明效果
根据本发明，能够通过一个成像元件独立地获取高质量的3个图像。
附图说明
图1是表示第1实施方式的摄像装置的概略结构的图。
图2是表示光学系统的概略结构的正视图。
图3是表示设置于各光学区域的偏振滤波器的概略结构的正视图。
图4是表示设定于各偏振滤波器的偏振方向的一例的图。
图5是表示成像元件的概略结构的图。
图6是表示一个像素(图5的虚线部分)的概略结构的剖视图。
图7是表示3种偏振元件的排列图案的一例的图。
图8是表示偏振元件的一个单元的结构的图。
图9是表示成像元件的像素的排列的一例的图。
图10是表示信号处理部的概略结构的框图。
图11是图像生成的概念图。
图12是表示由图像生成部生成的图像的一例的图。
图13是表示第2实施方式的摄像装置的概略结构的图。
图14是表示拍摄情形的一例的图。
图15是表示通过拍摄而得的图像(去除干扰之前的图像)的一例的图。
图16是表示去除干扰之后的图像的一例的图。
图17是表示通过拍摄而得的图像(去除干扰之前的图像)的一例的图。
图18是表示成像元件的像素的排列的一例的图。
图19是表示通过拍摄而得的图像(去除干扰之前的图像)的一例的图。
图20是表示光学区域的另一分割例的图。
图21是表示光学区域的另一分割例的图。
图22是表示光学区域的另一分割例的图。
图23是表示像素的另一排列例的图。
图24是表示像素的另一排列例的图。
图25是表示像素的另一排列例的图。
具体实施方式
以下，参考附图对本发明的优选实施方式进行详细说明。
[第1实施方式]
图1是表示第1实施方式的摄像装置的概略结构的图。
如图1所示，本实施方式的摄像装置1具备光学系统10、成像元件100及信号处理部200。
〔光学系统〕
图2是表示光学系统的概略结构的正视图。
如图1及图2所示，光学系统10具有同心圆状的3个光学区域12A、12B、12C。将中央的光学区域12A设为第1光学区域12A，将中间的光学区域12B设为第2光学区域12B，将最外周的光学区域12C设为第3光学区域12C。各光学区域12A、12B、12C分别具有不同的光学特性。在本实施方式中，各光学区域12A、12B、12C分别具有对焦于不同距离的被摄体的结构。具体而言，第1光学区域12A具有对焦于近距离的被摄体的结构，第2光学区域12B具有对焦于中距离的被摄体的结构，第3光学区域12C具有对焦于远距离的被摄体的结构。另外，这里的近距离、中距离及远距离的区别是相对的。即，第2光学区域12B具有对焦于比第1光学区域12A更远距离的被摄体的结构，第3光学区域12C具有对焦于比第2光学区域12B更远距离的被摄体的结构。
如图1所示，各光学区域12A、12B、12C分别单独地设置有偏振滤波器14A、14B、14C。各偏振滤波器14A、14B、14C分别设置于光学系统10的光瞳位置或其附近。将设置于第1光学区域12A的偏振滤波器14A设为第1偏振滤波器14A，将设置于第2光学区域12B的偏振滤波器14B设为第2偏振滤波器14B，将设置于第3光学区域12C的偏振滤波器14C设为第3偏振滤波器14C。各偏振滤波器14A、14B、14C分别具有不同的偏振方向。
图3是表示设置于各光学区域的偏振滤波器的概略结构的正视图。
各偏振滤波器14A、14B、14C配置成同心圆状。第1偏振滤波器14A与第1光学区域12A对应地呈圆形，且使入射于第1光学区域12A的光透射。第2偏振滤波器14B与第2光学区域12B对应地呈环状，且使入射于第2光学区域12B的光透射。第3偏振滤波器14C与第3光学区域12C对应地呈环状，且使入射于第3光学区域12C的光透射。
图4是表示设定于各偏振滤波器的偏振方向的一例的图。
偏振方向由偏振透射轴与X轴在与光轴L正交的XY平面上所成的角度φ(方位角)表示。如图4所示，第1偏振滤波器14A构成为使其偏振透射轴Aa与X轴所成的角度φa为0°(方位角0°)的光透射。第2偏振滤波器14B构成为使其偏振透射轴Ab与X轴所成的角度φb为60°(方位角60°)的光透射。第3偏振滤波器14C构成为使其偏振透射轴Ac与X轴所成的角度φc为120°(方位角120°)的光透射。其结果，在本实施方式的光学系统10中，从第1光学区域12A射出方位角0°的光(直线偏振光)，从第2光学区域12B射出方位角60°的光(直线偏振光)，从第3光学区域12C射出方位角120°的光(直线偏振光)。
光学系统10设置成能够整体沿着光轴L而前后移动。由此，进行调焦。另外，也可以构成为能够按光学区域移动。
〔成像元件〕
图5是表示成像元件的概略结构的图，是分解成像元件的一部分来放大示出的图。图6是表示一个像素(图5的虚线部分)的概略结构的剖视图。
如图5所示，成像元件100具有像素阵列层110、偏振元件阵列层120及微透镜阵列层130。
像素阵列层110通过二维地排列多个光电二极管112而构成。一个光电二极管112构成一个像素。各光电二极管112沿着x轴方向及y轴方向有规律地配置。
偏振元件阵列层120设置于像素阵列层110与微透镜阵列层130之间。偏振元件阵列层120通过二维地排列偏振方向(偏振透射轴的方向)互不相同的3种偏振元件122A、122B、122C而构成。将使第1偏振方向的光透射的偏振元件122A设为第1偏振元件122A，将使第2偏振方向的光透射的偏振元件122B设为第2偏振元件122B，将使第3偏振方向的光透射的偏振元件122C设为第3偏振元件122C。各偏振元件122A、122B、122C以与光电二极管112相同的间隔配置，且针对每个像素设置。因此，一个光电二极管112上设置有3种偏振元件122A、122B、122C中的任一个。
图7是表示3种偏振元件的排列图案的一例的图。
如图7所示，3种偏振元件122A、122B、122C沿着x轴方向及y轴方向以规定的顺序有规律地排列。
在图7所示的例子中，通过交替配置以第1偏振元件122A、第2偏振元件122B、第3偏振元件122C的顺序重复配置的行和以第3偏振元件122C、第2偏振元件122B、第1偏振元件122A的顺序重复配置的行，以规定的图案有规律地排列了3种偏振元件122A、122B、122C。如此排列的偏振元件122A、122B、122C由将3种偏振元件122A、122B、122C各包括一个的3个一组的偏振元件构成一个单元，该单元沿着x轴方向及y轴方向有规律地排列。
图8是表示偏振元件的一个单元的结构的图。
如图8所示，一个单元构成为将第1偏振元件122A、第2偏振元件122B及第3偏振元件122C各包括一个。
如上所述，各偏振元件122A、122B、122C具有互不相同的偏振方向。在本实施方式中，第1偏振元件122A构成为使方位角0°的光透射。第2偏振元件122B构成为使方位角60°的光透射。第3偏振元件122C构成为使方位角120°的光透射。因此，设置有第1偏振元件122A的光电二极管112接收方位角0°的光(直线偏振光)。设置有第2偏振元件122B的光电二极管112接收方位角60°的光(直线偏振光)。设置有第3偏振元件122C的光电二极管112接收方位角120°的光(直线偏振光)。
微透镜阵列层130通过二维地排列多个微透镜132而构成。各微透镜132以与光电二极管112相同的间隔配置，且针对每个像素设置。微透镜132以将来自光学系统10的光高效地会聚于光电二极管112上为目的而设置。
图9是表示成像元件的像素的排列的一例的图。
在各像素设置第1偏振元件122A、第2偏振元件122B及第3偏振元件122C中的任一个偏振元件。将设置有第1偏振元件122A的像素(图中A的图像)设为第1像素102A，将设置有第2偏振元件122B的像素(图中B的图像)设为第2像素102B，将设置有第3偏振元件122C的像素(图中C的图像)设为第3像素102C。成像元件100以将第1像素102A、第2像素102B及第3像素102C各包括一个的3个一组的像素为一个单元，且具有多个该单元。将该3个一组的像素的单元设为像素单元U(x，y)。如图9所示，像素单元U(x，y)沿着x轴方向及y轴方向有规律地排列。
第1像素102A具备第1偏振元件122A，因此接收方位角0°的光(直线偏振光)。因此，第1像素102A主要接收来自第1光学区域12A的光，且接收一部分来自第2光学区域12B及第3光学区域12C的光。
第2像素102B具备第2偏振元件122B，因此接收方位角60°的光(直线偏振光)。因此，第2像素102B主要接收来自第2光学区域12B的光，且接收一部分来自第1光学区域12A及第3光学区域12C的光。
第3像素102C具备第3偏振元件122C，因此接收方位角120°的光(直线偏振光)。因此，第3像素102C主要接收来自第3光学区域12C的光，且接收一部分来自第1光学区域12A及第2光学区域12B的光。
〔信号处理部〕
信号处理部200对从成像元件100输出的信号进行处理来生成由光学系统10的各光学区域12A、12B、12C获取的图像数据。
图10是表示信号处理部的概略结构的框图。
如图10所示，信号处理部200包括模拟信号处理部200A、图像生成部200B及系数存储部200C。
模拟信号处理部200A读入从成像元件100的各像素输出的模拟的像素信号，实施规定的信号处理(例如，相关双采样处理、扩增处理等)之后，转换为数字信号进行输出。
图像生成部200B对转换为数字信号之后的像素信号实施规定的信号处理，生成与各光学区域12A、12B、12C对应的图像数据。即，生成由各光学区域12A、12B、12C获取的图像。
图11是图像生成的概念图。
各像素单元U(x，y)中包括各一个第1像素102A、第2像素102B及第3像素102C。因此，通过从各像素单元U(x，y)分离并提取第1像素102A、第2像素102B及第3像素102C的像素信号，生成3个图像数据。即，生成从各像素单元U(x，y)的第1像素102A提取像素信号而构成的第1图像数据DA、从各像素单元U(x，y)的第2像素102B提取像素信号而构成的第2图像数据DB及从各像素单元U(x，y)的第3像素102C提取像素信号而构成的第3图像数据DC。
如上所述，由第1像素102A接收的光主要为来自第1光学区域12A的光，但其一部分包括来自第2光学区域12B及第3光学区域12C的光。因此，第1图像数据DA所表示的图像主要为由第1光学区域12A获取的图像，但为被由第2光学区域12B及第3光学区域12C获取的图像干扰的图像。即，为由第2光学区域12B及第3光学区域12C获取的图像隐约浮现的图像。同样地，第2图像数据DB所表示的图像为由第2光学区域12B获取的图像被由第1光学区域12A及第3光学区域12C获取的图像干扰的图像，第3图像数据DC所表示的图像为由第3光学区域12C获取的图像被由第1光学区域12A及第2光学区域12B获取的图像干扰的图像。
因此，图像生成部200B进行去除干扰(串扰)的处理，生成由各光学区域12A、12B、12C获取的图像。干扰去除如下进行。
现在，将由第1像素102A获得的像素信号(信号值)设为x1，将由第2像素102B获得的像素信号设为x2，将由第3像素102C获得的像素信号设为x3。由各像素单元U(x，y)可获得3个像素信号x1、x2、x3。图像生成部200B根据使用矩阵A的下述式1从该3个像素信号x1、x2、x3计算与各光学区域12A、12B、12C对应的像素信号X1、X2、X3(即，由各光学区域12A、12B、12C获得的图像的像素信号X1、X2、X3)，去除干扰。
[数学式2]
[数学式3]
以下，对能够根据上述式1计算由各光学区域12A、12B、12C获得的图像的像素信号X1、X2、X3的理由(即，能够去除干扰的理由)进行说明。
干扰是因来自各光学区域12A、12B、12C的光混入各像素102A、102B、102C中而发生。入射于各光学区域12A、12B、12C的光被各像素102A、102B、102C接收的比例(干扰量(还称为干扰比率))根据设置于各光学区域12A、12B、12C的偏振滤波器14A、14B、14C的偏振方向与设置于各像素102A、102B、102C的偏振元件122A、122B、122C的偏振方向之间的关系唯一地确定。
现在，若将入射于第1光学区域12A的光被第1像素102A接收的比例(干扰量)设为b11，将入射于第2光学区域12B的光被第1像素102A接收的比例设为b12，将入射于第3光学区域12C的光被第1像素102A接收的比例设为b13，则以下关系在X1、X2、X3与x1之间成立。
b11*X1+b12*X2+b13*X3＝x1……(式2)
并且，若将入射于第1光学区域12A的光被第2像素102B接收的比例设为b21，将入射于第2光学区域12B的光被第2像素102B接收的比例设为b22，将入射于第3光学区域12C的光被第2像素102B接收的比例设为b23，则以下关系在X1、X2、X3与x2之间成立。
b21*X1+b22*X2+b23*X3＝x2……(式3)
并且，若将入射于第1光学区域12A的光被第3像素102C接收的比例设为b31，将入射于第2光学区域12B的光被第3像素102C接收的比例设为b32，将入射于第3光学区域12C的光被第3像素102C接收的比例设为b33，则以下关系在X1、X2、X3与x3之间成立。
b31*X1+b32*X2+b33*X3＝x3……(式4)
通过对X1、X2、X3求解式2～4的联立方程式，能够获取原始图像的像素信号(即，由各光学区域12A、12B、12C获得的图像的像素信号X1、X2、X3)。
在此，上述联立方程式可以由使用矩阵B的下述式5表示。
[数学式4]
[数学式5]
X1、X2、X3可通过在两边乘以矩阵B的逆矩阵B-1来计算。
[数学式6]
[数学式7]
如此，由各光学区域12A、12B、12C获得的图像的像素信号X1、X2、X3可以根据入射于各光学区域12A、12B、12C的光被各像素102A、102B、102C接收的比例(干扰量)从各像素102A、102B、102C的像素信号x1、x2、x3计算。
上述式1中的矩阵A为矩阵B的逆矩阵B-1(A＝B-1)。因此，矩阵A的各要素aij(i＝1、2、3；j＝1、2、3)可以通过求出矩阵B的逆矩阵B-1来获取。矩阵B的各要素bij(i＝1、2、3；j＝1、2、3)为入射于各光学区域12A、12B、12C的光被各像素102A、102B、102C接收的比例(干扰量)。即，1行的要素b11为入射于第1光学区域12A的光被第1像素102A接收的比例(干扰量)，要素b12为入射于第2光学区域12B的光被第1像素102A接收的比例，要素b13为入射于第3光学区域12C的光被第1像素102A接收的比例。并且，2行的要素b21为入射于第1光学区域12A的光被第2像素102B接收的比例，要素b22为入射于第2光学区域12B的光被第2像素102B接收的比例，要素b23为入射于第3光学区域12C的光被第2像素102B接收的比例。并且，3行的要素b31为入射于第1光学区域12A的光被第3像素102C接收的比例，要素b32为入射于第2光学区域12B的光被第3像素102C接收的比例，要素b33为入射于第3光学区域12C的光被第3像素102C接收的比例。即，矩阵B的各要素bij为入射于第j光学区域的光被第i像素接收的比例。该矩阵B的逆矩阵B-1是存在的。因此，通过求出矩阵B的逆矩阵B-1，能够求出矩阵A的各要素aij。
关于入射于各光学区域12A、12B、12C的光被各像素102A、102B、102C接收的比例(干扰量)，由穿过各光学区域12A、12B、12C的光的偏振方向和由各像素102A、102B、102C接收的光的偏振方向的角度差的余弦(cos)的平方来求出。因此，例如，若将穿过第j光学区域之后的光(直线偏振光)的偏振方向(方位角)设为αj，将由第i像素接收的光的偏振方向(方位角)设为βi，则入射于第j光学区域的光被第i像素接收的比例(干扰量)由cos2(|αj-βi|)来计算。因此，要素bij由cos2(|αj-βi|)来计算。
在本实施方式的摄像装置1中，穿过第1光学区域12A的光(直线偏振光)的偏振方向(方位角)为0°。并且，穿过第2光学区域12B的光的偏振方向为60°。并且，穿过第3光学区域12C的光的偏振方向为120°。并且，由第1像素102A接收的光(直线偏振光)的偏振方向(方位角)为0°。并且，由第2像素102B接收的光的偏振方向为60°。并且，由第3像素102C接收的光的偏振方向为120°。
因此，矩阵B的各要素bij中，b11＝1，b12＝0.25，b13＝0.25，b21＝0.25，b22＝1，b23＝0.025、b31＝0.25，b32＝0.25，b33＝1。
[数学式8]
该矩阵B的逆矩阵B-1是存在的，且其各要素aij中，a11＝1.1111，a12＝-0.2222，a13＝-0.2222，a21＝-0.2222，a22＝1.1111，a23＝-0.2222，a31＝-0.2222，a32＝-0.2222，a33＝1.1111。
[数学式9]
系数存储部200C将作为该矩阵B的逆矩阵B-1求出的3行3列的矩阵A的各要素aij存储为系数组。系数存储部200C为存储部的一例。
图像生成部200B从系数存储部200C获取系数组，根据上述式1从由各像素单元U(x，y)获得的3个像素信号x1、x2、x3计算与光学系统10的各光学区域12A、12B、12C对应的3个像素信号X1、X2、X3，生成各光学区域12A、12B、12C的图像数据。图像生成部200B为运算部的一例。
由图像生成部200B生成的各光学区域12A、12B、12C的图像数据输出至外部，并根据需要存储于存储装置中。并且，根据需要显示于显示器(未图示)。
图12是表示由图像生成部生成的图像的一例的图。
图像ImA为由第1光学区域12A获得的图像。该图像ImA为对焦于近距离的被摄体(猫)而中距离及远距离的被摄体则模糊的图像(是中距离的被摄体(人)的模糊程度为中等而远距离的被摄体(公交车)的模糊则较大的图像。)。
图像ImB为由第2光学区域12B获得的图像。该图像ImB为对焦于中距离的被摄体(人)而近距离及远距离的被摄体则模糊的图像(是近距离的被摄体(猫)及远距离的被摄体(公交车)的模糊程度为中等的图像。)。
图像ImC为由第3光学区域12C获得的图像。该图像ImC为对焦于远距离的被摄体(公交车)而近距离及中距离的被摄体则模糊的图像(是中距离的被摄体(人)的模糊程度为中等而近距离的被摄体(猫)的模糊较大的图像。)。
如图12所示，所有图像ImA、ImB、ImC均可获得无干扰的清晰的图像。
如此，根据本实施方式的摄像装置1，能够使用一个成像元件100来获取3个独立的高质量的图像。并且，其结构能够通过设置于光学系统10的各光学区域12A、12B、12C的偏振滤波器14A、14B、14C及设置于成像元件100的各像素102A、102B、102C的偏振元件122A、122B、122C的组合来实现，因此能够简化整体结构。
[第2实施方式]
图13是表示第2实施方式的摄像装置的概略结构的图。
本实施方式的摄像装置1构成为拍摄具有不同焦距的3个图像的装置。因此，光学系统10的结构与上述第1实施方式的摄像装置1不同。因此，在此仅对光学系统10的结构进行说明。
〔光学系统〕
如图13所示，具有相同光轴L的3个光学区域12A、12B、12C。各光学区域12A、12B、12C分别具有不同的焦距。中央的第1光学区域12A为广角的光学区域，具有规定的焦距。中间的第2光学区域12B为长焦的光学区域，具有比第1光学区域12A长的焦距。最外周的第3光学区域12C为超长焦的光学区域，具有比第2光学区域12B长的焦距。在本实施方式中，由反射弯曲光学系统构成了第2光学区域12B及第3光学区域12C。通过由反射弯曲光学系统构成长焦系光学区域，能够使光学系统的结构紧凑。
各光学区域12A、12B、12C分别单独地设置有偏振滤波器14A、14B、14C。将设置于第1光学区域12A的偏振滤波器14A设为第1偏振滤波器14A，将设置于第2光学区域12B的偏振滤波器14B设为第2偏振滤波器14B，将设置于第3光学区域12C的偏振滤波器14C设为第3偏振滤波器14C。各偏振滤波器14A、14B、14C分别具有不同的偏振方向。在本实施方式中，第1偏振滤波器14A构成为使方位角0°的光透射，第2偏振滤波器14B构成为使方位角60°的光透射，第3偏振滤波器14C构成为使方位角120°的光透射。其结果，在本实施方式的光学系统10中，从第1光学区域12A射出方位角0°的光(直线偏振光)，从第2光学区域12B射出方位角60°的光(直线偏振光)，从第3光学区域12C射出方位角120°的光(直线偏振光)。
光学系统10构成为各光学区域12A、12B、12C沿着光轴L单独地前后移动。由此，能够单独地对各光学区域12A、12B、12C进行调焦。另外，也可以构成为使整个光学系统10沿着光轴L前后移动。
〔图像生成〕
与上述第1实施方式的摄像装置1相同地，根据式1从由各像素单元U(x，y)获得的3个像素信号x1、x2、x3计算与各光学区域12A、12B、12C对应的像素信号X1、X2、X3，生成各光学区域12A、12B、12C的图像数据。
图14是表示拍摄情形的一例的图。
如图14所示，第1光学区域12A以视角θ1拍摄被摄体。第2光学区域12B以视角θ2拍摄被摄体。第3光学区域12C以视角θ3拍摄被摄体。
图15是表示通过拍摄而得的图像(去除干扰之前的图像)的一例的图。
图像Ia为通过从各像素单元U(x，y)的第1像素102A提取像素信号而生成的图像。该图像Ia主要为由第1光学区域12A获取的广角图像，但为被由第2光学区域12B获取的长焦图像及由第3光学区域12C获取的超长焦图像干扰的图像(为由第2光学区域12B获取的长焦图像及由第3光学区域12C获取的超长焦图像隐约浮现的图像。)。
图像Ib为通过提取各像素单元U(x，y)的第2像素102B的像素信号而生成的图像。该图像Ib主要为由第2光学区域12B获取的长焦图像，但为被由第1光学区域12A获取的广角图像及由第3光学区域12C获取的图像干扰的图像(为由第1光学区域12A获取的广角图像及由第3光学区域12C获取的图像隐约浮现的图像。)。
图像Ic为通过从各像素单元U(x，y)的第3像素102C提取像素信号而生成的图像。该图像Ic主要为由第3光学区域12C获取的超长焦图像，但为被由第1光学区域12A获取的广角图像及由第2光学区域12B获取的长焦图像干扰的图像(为由第1光学区域12A获取的广角图像及由第2光学区域12B获取的图像隐约浮现的图像。)。
信号处理部200中的图像生成部200B使用下述式6针对由各像素单元U(x，y)获得的3个像素信号x1、x2、x3计算与各光学区域12A、12B、12C对应的像素信号X1、X2、X3，去除干扰。
[数学式10]
图16是表示去除干扰之后的图像的一例的图。
图像ImA为由第1光学区域12A获得的图像，可获得广角图像。图像ImB为由第2光学区域12B获得的图像，可获得长焦图像。图像[mC为由第3光学区域12C获得的图像，可获得超长焦图像。所有图像ImA、ImB、ImC均可获得无干扰的清晰的图像。
如此，在本实施方式的摄像装置1中，也能够使用一个成像元件100来获取3个独立的高质量的图像。
[第3实施方式]
在上述第1及第2实施方式的摄像装置1中，设置于光学系统10的各光学区域12A、12B、12C的偏振滤波器14A、14B、14C的偏振方向(方位角)的组合为0°、60°、120°且设置于各像素单元U(x，y)的各像素102A、102B、102C的偏振元件122A、122B、122C的偏振方向(方位角)的组合为0°、60°、120°，但设定于各偏振滤波器14A、14B、14C的偏振方向的组合及设定于各偏振元件122A、122B、122C的偏振方向的组合并不限定于此。只要为偏振方向互不相同的组合即可。
以下，作为偏振方向的组合的另一例，对设置于光学系统10的各光学区域12A、12B、12C的偏振滤波器14A、14B、14C的偏振方向的组合为0°、45°、90°且设置于各像素单元U(x，y)的各像素102A、102B、102C的偏振元件122A、122B、122C的偏振方向的组合为0°、60°、120°的情况进行说明。
〔装置结构〕
在此，在上述第2实施方式的摄像装置1中，对改变设置于光学系统10的各光学区域12A、12B、12C的偏振滤波器14A、14B、14C的偏振方向(方位角)的组合及设置于成像元件100的各像素102A、102B、102C的偏振元件122A、122B、122C的偏振方向(方位角)的组合的情况的例子进行说明。
将设置于光学系统10的第1光学区域12A的第1偏振滤波器14A的偏振方向(方位角)设为0°，将设置于第2光学区域12B的第2偏振滤波器14B的偏振方向(方位角)设为45°，将设置于第3光学区域12C的第3偏振滤波器14C的偏振方向(方位角)设为90°。此时，从第1光学区域12A射出方位角0°的光(直线偏振光)，从第2光学区域12B射出方位角45°的光(直线偏振光)，从第3光学区域12C射出方位角90°的光(直线偏振光)。
将设置于成像元件100的第1像素102A的偏振元件122A的偏振方向(方位角)设为0°，将设置于第2像素102B的偏振元件122B的偏振方向(方位角)设为45°，将设置于第3像素102C的偏振元件122C的偏振方向(方位角)设为90°。此时，由第1像素102A接收方位角0°的光(直线偏振光)，由第2像素102B接收方位角45°的光(直线偏振光)，由第3像素102C接收方位角90°的光(直线偏振光)。
〔图像生成〕
图17是表示通过拍摄而得的图像(去除干扰之前的图像)的一例的图。
图像Ia为通过从各像素单元U(x，y)的第1像素102A提取像素信号而生成的图像。该图像Ia主要为由第1光学区域12A获取的广角图像，但为被由第2光学区域12B获取的长焦图像干扰的图像(为由第2光学区域12B获取的长焦图像隐约浮现的图像。)。
图像Ib为通过提取各像素单元U(x，y)的第2像素102B的像素信号而生成的图像。该图像Ib主要为由第2光学区域12B获取的长焦图像，但为被由第1光学区域12A获取的广角图像及由第3光学区域12C获取的图像干扰的图像(为由第1光学区域12A获取的广角图像及由第3光学区域12C获取的图像隐约浮现的图像。)。
图像Ic为通过从各像素单元U(x，y)的第3像素102C提取像素信号而生成的图像。该图像Ic主要为由第3光学区域12C获取的超长焦图像，但为被由第2光学区域12B获取的长焦图像干扰的图像(为由第2光学区域12B获取的图像隐约浮现的图像。)。
关于入射于各光学区域12A、12B、12C的光被各像素102A、102B、102C接收的比例(干扰量)，由穿过各光学区域12A、12B、12C的光的偏振方向和由各像素102A、102B、102C接收的光的偏振方向的角度差的余弦(cos)的平方来求出。因此，例如，若将穿过第j光学区域之后的光(直线偏振光)的偏振方向(方位角)设为αj，将由第i像素接收的光的偏振方向(方位角)设为βi，则入射于第j光学区域的光被第i像素接收的比例(干扰量)由cos2(|αj-βi|)来计算。因此，矩阵B的各要素bij由cos2(|aj-βi|)来计算。
现在，若将入射于第1光学区域12A的光被第1像素102A接收的比例(干扰量)设为b11，将入射于第2光学区域12B的光被第1像素102A接收的比例设为b12，将入射于第3光学区域12C的光被第1像素102A接收的比例设为b13，则b11＝1，b12＝0.5，b13＝0。并且，若将入射于第1光学区域12A的光被第2像素102B接收的比例设为b21，将入射于第2光学区域12B的光被第2像素102B接收的比例设为b22，将入射于第3光学区域12C的光被第2像素102B接收的比例设为b23，则b21＝0.5，b22＝1，b23＝0.5。并且，若将入射于第1光学区域12A的光被第3像素102C接收的比例设为b31，将入射于第2光学区域12B的光被第3像素102C接收的比例设为b32，将入射于第3光学区域12C的光被第3像素102C接收的比例设为b33，则b31＝0，b32＝0.5，b33＝1。因此，矩阵B可如下设定。
[数学式11]
该矩阵B的逆矩阵B-1是存在的，且其各要素aij中，a11＝1.5，a12＝-1，a13＝0.5，a21＝-1，a22＝2，a23＝-1，a31＝0.5，a32＝-1，a33＝1.5。
[数学式12]
系数存储部200C将作为该矩阵B的逆矩阵B-1求出的3行3列的矩阵A的各要素aij存储为系数组。
图像生成部200B使用下述式7针对由各像素单元U(x，y)获得的3个像素信号x1、x2、x3计算与各光学区域12A、12B、12C对应的像素信号X1、X2、X3，生成各光学区域12A、12B、12C的图像。
[数学式13]
所生成的各光学区域12A、12B、12C图像分别为无干扰的清晰的图像(参考图16)。
如此，关于设置于光学系统10的各光学区域12A、12B、12C的偏振滤波器14A、14B、14C及设置于各像素单元U(x，y)的各像素102A、102B、102C的偏振元件122A、122B、122C，只要为偏振方向互不相同的组合即可。
另外，通过使设置于各光学区域的偏振滤波器的偏振方向的组合与设置于各像素单元的各像素的偏振元件的偏振方向的组合相同，能够简化求出矩阵A的工序。即，能够简化设定矩阵B并求出其逆矩阵B-1的运算的工序。
[第4实施方式]
上述第1及第2实施方式的摄像装置1中，设置于光学系统10的光学区域的数量与设置于成像元件100的各像素单元U(x，y)的像素的数量相同。设置于成像元件100的各像素单元U(x，y)的像素的数量并不一定需要为3个。只要至少具备3个接收偏振方向互不相同的光的图像即可。因此，成像元件100的各像素单元U(x，y)也可以由4个像素构成。以下，对由4个像素构成成像元件100的各像素单元U(x，y)的情况进行说明。
〔成像元件〕
成像元件100的基本结构与上述第1实施方式的摄像装置1的成像元件100相同。即，成像元件100具有像素阵列层110、偏振元件阵列层120及微透镜阵列层130。
图18是表示成像元件的像素的排列的一例的图。
成像元件100具有如下结构：以将第1像素102A(图中A的像素)、第2像素102B(图中B的像素)、第3像素102C(图中C的像素)及第4像素102D(图中D的像素)各包括一个的4个一组的像素为一个单元，且具备多个该单元。将该4个一组的像素的单元设为像素单元U(x，y)。如图18所示，像素单元U(x，y)沿着x轴方向及y轴方向有规律地排列。
在像素单元U(x，y)的各像素设置偏振方向互不相同的偏振元件。第1像素102A中设置有使方位角0°的光透射的偏振元件。因此，由第1像素102A接收方位角0°的光(直线偏振光)。第2像素102B中设置有使方位角45°的光透射的偏振元件。因此，由第2像素102B接收方位角45°的光(直线偏振光)。第3像素102C中设置有使方位角90°的光透射的偏振元件。因此，由第3像素102C接收方位角90°的光。第4像素102D中设置有使方位角135°的光透射的偏振元件。因此，由第4像素102D接收方位角135°的光。
〔光学系统〕
关于光学系统10，与上述第2实施方式的摄像装置1相同地，设置有具有不同焦距的3个光学区域12A、12B、12C。但是，在本实施方式的摄像装置1中，设置于第1光学区域12A的第1偏振滤波器14A构成为使方位角0°的光透射，设置于第2光学区域12B的第2偏振滤波器14B构成为使方位角45°的光透射，设置于第3光学区域12C的第3偏振滤波器14C构成为使方位角90°的光透射。因此，在本实施方式的光学系统10中，从第1光学区域12A射出方位角0°的光(直线偏振光)，从第2光学区域12B射出方位角45°的光(直线偏振光)，从第3光学区域12C射出方位角90°的光(直线偏振光)。
〔信号处理〕
信号处理部200以像素单元U(x，y)为单位对由成像元件100获得的针对每个像素的信号(像素信号)进行处理，生成由光学系统10的各光学区域12A、12B、12C获得的图像。
图19是表示通过拍摄而得的图像(去除干扰之前的图像)的一例的图。图19中示出了在图14所示的拍摄情形下进行拍摄的情况下由各像素单元U(x，y)的像素信号生成的图像。
图像Ia为通过从各像素单元U(x，y)的第1像素102A提取像素信号而生成的图像。该图像Ia主要为由第1光学区域12A获取的广角图像，但为被由第2光学区域12B获取的图像干扰的图像。即，为由第2光学区域12B获取的长焦图像隐约浮现的图像。这是因为，穿过第1光学区域12A、第2光学区域12B、第3光学区域12C的光的偏振方向(方位角)分别为0°、45°、90°，而由第1像素102A接收的光的偏振方向(方位角)则为0°。
图像Ib为通过提取各像素单元U(x，y)的第2像素102B的像素信号而生成的图像。该图像Ib主要为由第2光学区域12B获取的长焦图像，但为被由第1光学区域12A获取的广角图像及由第3光学区域12C获取的超长焦图像干扰的图像(为由第1光学区域12A获取的广角图像及由第3光学区域12C获取的超长焦图像隐约浮现的图像。)。这是因为，穿过第1光学区域12A、第2光学区域12B、第3光学区域12C的光的偏振方向(方位角)分别为0°、45°、90°，而由第2像素102B接收的光的偏振方向(方位角)则为45°。
图像Ic为通过从各像素单元U(x，y)的第3像素102C提取像素信号而生成的图像。该图像Ic主要为由第3光学区域12C获取的超长焦图像，但为被由第2光学区域12B获取的长焦图像干扰的图像(为由第2光学区域12B获取的长焦图像隐约浮现的图像。)。这是因为，穿过第1光学区域12A、第2光学区域12B、第3光学区域12C的光的偏振方向(方位角)分别为0°、45°、90°，而由第3像素102C接收的光的偏振方向(方位角)则为90°。
图像Id为通过从各像素单元U(x，y)的第4像素102D提取像素信号而生成的图像。该图像Id为被第1光学区域12A及第3光学区域12C的图像相等地干扰的图像。这是因为，穿过第1光学区域12A、第2光学区域12B、第3光学区域12C的光的偏振方向(方位角)分别为0°、45°、90°，而由第4像素102D接收的光的偏振方向(方位角)则为135°。
信号处理部200中的图像生成部200B中，根据使用矩阵A的下述式8针对由各像素单元U(x，y)获得的4个像素信号x1、x2、x3、x4计算与各光学区域12A、12B、12C对应的像素信号X1、X2、X3，去除干扰。
[数学式14]
[数学式15]
另外，矩阵A的各要素aij(i＝1、2、3；j＝1、2、3、4)如下求出。
现在，若将入射于第1光学区域12A的光被第1像素102A接收的比例(干扰量)设为b11，将入射于第2光学区域12B的光被第1像素102A接收的比例设为b12，将入射于第3光学区域12C的光被第1像素102A接收的比例设为b13，则以下关系在X1、X2、X3与x1之间成立。
b11*X1+b12*X2+b13*X3＝x1……(式9)
并且，若将入射于第1光学区域12A的光被第2像素102B接收的比例设为b21，将入射于第2光学区域12B的光被第2像素102B接收的比例设为b22，将入射于第3光学区域12C的光被第2像素102B接收的比例设为b23，则以下关系在X1、X2、X3与x2之间成立。
b21*X1+b22*X2+b23*X3＝x2……(式10)
并且，若将入射于第1光学区域12A的光被第3像素102C接收的比例设为b31，将入射于第2光学区域12B的光被第3像素102C接收的比例设为b32，将入射于第3光学区域12C的光被第3像素102C接收的比例设为b33，则以下关系在X1、X2、X3与x3之间成立。
b31*X1+b32*X2+b33*X3＝x3……(式11)
并且，若将入射于第1光学区域12A的光被第4像素102D接收的比例设为b41，将入射于第2光学区域12B的光被第4像素102D接收的比例设为b42，将入射于第3光学区域12C的光被第4像素102D接收的比例设为b43，则以下关系在X1、X2、X3与x4之间成立。
b41*X1+b42*X2+b43*X3＝x4……(式12)
上述式9～12的联立方程式可以由使用矩阵B的下述式13表示。
[数学式16]
[数学式17]
如上所述，矩阵A为矩阵B的逆矩阵B-1(A＝B-1)。因此，矩阵A的各要素aij(i＝1、2、3；j＝1、2、3、4)可以通过求出矩阵B的逆矩阵B-1来获取。
矩阵B的各要素bij(i＝1、2、3、4；j＝1、2、3)为入射于第j光学区域的光被第i像素接收的比例。该比例由穿过第j光学区域的光的偏振方向(方位角)与由第i像素接收的光的偏振方向(方位角)的角度差的余弦(cos)的平方来求出。因此，例如，若将穿过第j光学区域之后的光的偏振方向(方位角)设为αj，将由第i像素接收的光的偏振方向(方位角)设为βi，则该比例由cos2(αj-βi|)来计算。即，矩阵B的各要素bij由cos2(|αj-βi|)来计算。
在本实施方式的摄像装置1中，穿过第1光学区域12A的光(直线偏振光)的偏振方向(方位角)为0°。并且，穿过第2光学区域12B的光的偏振方向为45°。并且，穿过第3光学区域12C的光的偏振方向为90°。并且，由第1像素102A接收的光(直线偏振光)的偏振方向(方位角)为0°。并且，由第2像素102B接收的光的偏振方向为45°。并且，由第3像素102C接收的光的偏振方向为90°。并且，由第4像素102D接收的光的偏振方向为135°。
因此，矩阵B的各要素bij中，b11＝1，b12＝0.5，b13＝0，b21＝0.5，b22＝1，b23＝0.5，b31＝0，b32＝0.5，b33＝1，b41＝0.5，b42＝0，b43＝0.5。
[数学式18]
该矩阵B的逆矩阵B-1是存在的，且其各要素aij(i＝1、2、3；j＝1、2、3、4)中，a11＝0.75，a12＝-0.25，a13＝-0.25，a14＝0.75，a21＝0，a22＝1，a23＝0，a24＝-1，a31＝-0.25，a32＝-0.25，a33＝0.75，a34＝0.75。
[数学式19]
因此，在本实施方式的摄像装置1中，能够根据下述式14计算与各光学区域12A、12B、12C对应的像素信号X1、X2、X3。
[数学式20]
如图16所示，由计算出的像素信号X1、X2、X3生成的各光学区域12A、12B、12C的图像为无干扰的清晰的图像。
如此，设置于成像元件100的各像素单元U(x，y)的像素的数量并不一定需要为3个，即使为4个以上的像素，也能够通过去除干扰来生成清晰的图像。
在像素单元U(x，y)由接收偏振方向互不相同的光的N个(N为满足N≥3的整数)像素构成的情况下，与各光学区域12A、12B、12C对应的3个像素信号X1、X2、X3可以由使用矩阵A的下述式15来计算。
[数学式21]
[数学式22]
另外，i、j为满足1≤i≤3、1≤j≤N的整数。
矩阵A通过计算以入射于光学系统10的各光学区域的光被成像元件的各像素单元的各像素接收的比例为要素的矩阵B的逆矩阵B-1来获取。因此，在设定有矩阵B的情况下，设置于光学系统的各光学区域的偏振滤波器的偏振方向和设置于各像素单元的像素的偏振元件的偏振方向只要为可求出其逆矩阵B-1的条件即可。
如此，通过由4个以上的像素构成一个像素单元，能够使用多个像素冗长地进行拍摄，且受光量也增加，因此可获得噪声少的最终图像。
[其他实施方式]
〔光学系统的结构〕
在上述实施方式中，以光学系统的各光学区域分别具有不同的焦距的情况、分别对焦于不同距离的被摄体的情况为例进行了说明，但光学系统的结构并不限定于此。此外，例如，各光学区域也可以构成为分别使不同波段的光透射。并且，各光学区域也可以构成为彼此具有视差。例如，可以构成为将3个光学区域中的2个设定为相同焦距，并拍摄具有左右视差的图像。或者，可以构成为将3个光学区域均设定为相同焦距，并拍摄具有3个视点的视差的图像。由此，例如能够由一个成像元件拍摄立体图像。并且，能够测定距离。
并且，在上述实施方式中，构成为将光学系统的光学区域(光瞳区域)分割为三个同心圆状的区域，但分割方式并不限定于此。
图20是表示光学区域的另一分割例的图。
如图20所示，也可以为将光瞳部分在周向上分割为三个部分的结构。此时，例如通过分别设定为相同焦距，能够拍摄具有3个视点的视差的图像。并且，例如通过将左右2个区域设定为相同焦距，能够拍摄具有左右视差的图像。
图21是表示光学区域的另一分割例的图。
如图21所示，也可以为将光瞳部分在上下方向上分割为三个部分的结构。
图22是表示光学区域的另一分割例的图。
如图22所示，也可以为将光瞳部分分割为中央区域和外周区域，进而将外周区域分割为左右两个区域的结构。此时，例如通过将外周的2个区域设定为左右相同的焦距，能够拍摄具有左右视差的图像。
〔成像元件的结构〕
构成一个像素单元的像素的排列并不限定于上述实施方式的排列。
图23是表示像素的另一排列例的图。
如图23所示，也可以构成为由沿着纵向(y方向)排成一列的3个一组的像素102A、102B、102C构成一个像素单元U(x，y)，且沿着x方向及y方向有规律地排列该像素单元。
图24是表示像素的另一排列例的图。
如图24所示，也可以构成为由沿着横向(x方向)排成一列的3个一组的像素102A、102B、102C构成一个像素单元U(x，y)，且沿着x方向及y方向有规律地排列该像素单元。
图25是表示像素的另一排列例的图。
图25所示的成像元件100中，将像素的形状设为八角形状，且在每个水平线上将像素的位置沿着水平方向(x方向)错开1/2间距来配置成栅格状。此时，也由3个一组的像素构成一个像素单元U(x，y)。
并且，当生成彩色图像时，以像素单元为单位配置滤色器。例如，以像素单元为单位按规定的滤波器排列(例如，拜耳法排列)配置红色、绿色、蓝色滤色器。
并且，在上述实施方式中，构成为偏振元件配置于光电二极管与微透镜之间，但也可以构成为配置于微透镜的前方(被摄体侧)。另外，通过将偏振元件配置于微透镜与光电二极管之间，能够有效地防止光混入相邻的像素中。由此，能够进一步防止干扰。
〔信号处理部的结构〕
信号处理部200中的图像生成部200B(运算部)的功能可以使用各种处理器(processor)来实现。各种处理器例如包括执行软件(程序)来实现各种功能的通用的处理器即CPU(Central Processing Unit，中央处理器)。并且，上述各种处理器还包括专用于图像处理的处理器即GPU(Graphics Processing Unit，图形处理单元)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)等能够在制造后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)。此外，ASIC(Application SpecificIntegrated Circuit，专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等也包括在上述各种处理器中。
各部的功能可以由一个处理器来实现，也可以由相同种类或不同种类的多个处理器(例如，多个FPGA、或CPU和FPGA的组合、或CPU和GPU的组合)来实现。并且，也可以通过一个处理器来实现多个功能。作为由一个处理器构成多个功能的例子，首先，有如下方式：由一个以上的CPU和软件的组合构成一个处理器，并由该处理器实现多个功能，以服务器等计算机为代表。其次，有如下方式：使用由一个IC(Integrated Circuit，集成电路)芯片来实现系统整体的功能的处理器，以片上系统(System On Chip：SoC)等为代表。如此，各种功能是作为硬件结构使用一个以上的上述各种处理器而实现的。进而，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。这些电路可以为使用逻辑和、逻辑乘积、逻辑否定、异或逻辑和及组合这些而成的逻辑运算来实现上述功能的电路。
在上述处理器或电路执行软件(程序)时，将要执行的软件的处理器(计算机)可读取的编码存储于ROM(Read Only Memory，只读存储器)等非暂时性记录介质中，并由处理器参考该软件。存储于非暂时性记录介质中的软件包括用于执行图像的输入、分析、显示控制等的程序。也可以将编码记录于各种光磁记录装置、半导体存储器等非暂时性记录介质中，而不是ROM。在进行使用软件的处理时，例如也可以将RAM(Random Access Memory，随机存取存储器)用作临时存储区域，并且例如也可以参考存储于未图示的EEPROM(Electronically Erasable and Programmable Read Only Memory，电可擦可编程只读存储器)中的数据。
信号处理部200的系数存储部200C例如可以由ROM(Read-only Memory，只读存储器)、EEPROM(电可擦可编程只读存储器)等存储器来实现。
〔信号处理方法〕
也可以构成为由具有不同偏振方向的4个以上的像素构成一个像素单元，并使用来自其中3个像素的像素信号来生成各光学区域的图像。例如，可以构成为在由接收方位角0°、45°、90°、135°的光的4个一组的像素构成一个像素单元的情况下，使用接收方位角0°、45°、90°的光的像素的像素信号来生成各光学区域的图像。
〔摄像装置的结构〕
摄像装置也可以构成为可更换光学系统的镜头可换式摄像装置。此时，矩阵A是针对每个镜头(光学系统)唯一地确定的，因此针对每个镜头准备矩阵A，并将其系数组存储于系数存储部中。在镜头被更换的情况下，从系数存储部读出与所更换的镜头对应的矩阵A的系数组，执行运算处理，生成各光学区域的图像。
符号说明
1-摄像装置，10-光学系统，12A-第1光学区域，12B-第2光学区域，12C-第3光学区域，14A-第1偏振滤波器，14B-第2偏振滤波器，14C-第3偏振滤波器，100-成像元件，102A-第1像素，102B-第2像素，102C-第3像素，102D-第4像素，110-像素阵列层，112-光电二极管，120-偏振元件阵列层，122A-第1偏振元件，122B-第2偏振元件，122C-第3偏振元件，130-微透镜阵列层，132-微透镜，200-信号处理部，200A-模拟信号处理部，200B-图像生成部，200C-系数存储部，Aa-第1偏振滤波器的偏振透射轴，Ab-第2偏振滤波器的偏振透射轴，Ac-第3偏振滤波器的偏振透射轴，DA-第1图像数据，DB-第2图像数据，DC-第3图像数据，Ia-由第1像素获得的图像，Ib-由第2像素获得的图像，Ic-由第3像素获得的图像，Id-由第4像素获得的图像，ImA-第1光学区域的图像，ImB-第2光学区域的图像，ImC-第3光学区域的图像，L-光轴，U(x，y)-像素单元。

Claims (13)

1.一种摄像装置，其具备：
光学系统，具有使偏振方向互不相同的光穿过的3个光学区域；
成像元件，所述成像元件的各个像素具有偏振元件，在将N设为满足N≥3的整数的情况下，所述成像元件具有多个以经由所述偏振元件接收偏振方向互不相同的光的N个像素为一组的像素单元；
存储部，在将i、j设为满足1≤i≤3、1≤j≤N的整数的情况下，存储由3行N列的矩阵A构成的系数组，所述矩阵A的各要素由aij表示；及
运算部，从所述存储部获取所述系数组，根据下述式从由所述成像元件的各所述像素单元获得的N个像素信号x1、x2、……、xN计算与所述光学系统的各所述光学区域对应的3个像素信号X1、X2、X3，
[数学式1]
2.根据权利要求1所述的摄像装置，其中，
所述矩阵A通过计算以入射于所述光学系统的各所述光学区域的光被所述成像元件的各所述像素单元的各所述像素接收的比例为要素的矩阵的逆矩阵来获取。
3.根据权利要求2所述的摄像装置，其中，
入射于所述光学系统的各所述光学区域的光被所述成像元件的各所述像素单元的各所述像素接收的比例通过计算穿过所述光学系统的各所述光学区域的光的偏振方向和由所述成像元件的各所述像素单元的各所述像素接收的光的偏振方向的角度差的余弦的平方来获取。
4.根据权利要求1至3中任一项所述的摄像装置，其中，
所述成像元件具有多个以经由所述偏振元件接收偏振方向互不相同的光的3个所述像素为一组的所述像素单元。
5.根据权利要求1至3中任一项所述的摄像装置，其中，
穿过所述光学系统的各所述光学区域的光的偏振方向的组合与由所述成像元件的各所述像素单元的各所述像素接收的光的偏振方向的组合相同。
6.根据权利要求1至3中任一项所述的摄像装置，其中，
所述光学系统在光瞳位置具有偏振方向互不相同的3个偏振滤波器。
7.根据权利要求1至3中任一项所述的摄像装置，其中，
所述光学系统的各所述光学区域分别具有不同的焦距。
8.根据权利要求1至3中任一项所述的摄像装置，其中，
所述光学系统的各所述光学区域分别对焦于不同距离的被摄体。
9.根据权利要求1至3中任一项所述的摄像装置，其中，
所述光学系统的各所述光学区域分别使不同波段的光透射。
10.根据权利要求1至3中任一项所述的摄像装置，其中，
所述光学系统的各所述光学区域彼此具有视差。
11.根据权利要求1至3中任一项所述的摄像装置，其中，
所述光学系统的各所述光学区域中的至少2个具有视差。
12.根据权利要求1至3中任一项所述的摄像装置，其中，
所述成像元件具有多个以经由所述偏振元件接收偏振方向互不相同的光的4个所述像素为一组的所述像素单元。
13.根据权利要求1至3中任一项所述的摄像装置，其中，
所述成像元件在构成各所述像素的光电二极管与微透镜之间具有所述偏振元件。
CN201980064764.8A 2018-10-03 2019-09-26 摄像装置 Active CN112805992B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-188418 2018-10-03
JP2018188418 2018-10-03
PCT/JP2019/038018 WO2020071253A1 (ja) 2018-10-03 2019-09-26 撮像装置

Publications (2)

Publication Number Publication Date
CN112805992A CN112805992A (zh) 2021-05-14
CN112805992B true CN112805992B (zh) 2024-04-23

Family

ID=70055244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980064764.8A Active CN112805992B (zh) 2018-10-03 2019-09-26 摄像装置

Country Status (5)

Country Link
US (1) US11457202B2 (zh)
EP (1) EP3863278B1 (zh)
JP (1) JP7169363B2 (zh)
CN (1) CN112805992B (zh)
WO (1) WO2020071253A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647092A (zh) * 2020-12-18 2022-06-21 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统
CN113473033A (zh) * 2021-07-02 2021-10-01 广州爱闪思光电科技有限公司 一种高动态成像设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102177706A (zh) * 2009-10-07 2011-09-07 松下电器产业株式会社 摄像装置和固体摄像元件
WO2012043211A1 (ja) * 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置
WO2015198851A1 (ja) * 2014-06-23 2015-12-30 コニカミノルタ株式会社 測距装置及び測距方法
JP2016111678A (ja) * 2014-12-02 2016-06-20 キヤノン株式会社 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
CN108432233A (zh) * 2016-01-18 2018-08-21 富士胶片株式会社 摄像装置及图像数据生成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169096A (ja) 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP5742281B2 (ja) * 2011-02-17 2015-07-01 ソニー株式会社 撮像装置、画像処理方法およびプログラム
WO2012143983A1 (ja) 2011-04-22 2012-10-26 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
JP6286678B2 (ja) 2013-07-12 2018-03-07 パナソニックＩｐマネジメント株式会社 撮像装置
US9876992B2 (en) * 2014-04-30 2018-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and distance measuring apparatus using the same
JP6466656B2 (ja) * 2014-06-19 2019-02-06 オリンパス株式会社 撮像素子および撮像装置
EP3228977A4 (en) * 2014-12-01 2018-07-04 Sony Corporation Image-processing device and image-processing method
US10451486B2 (en) * 2016-12-23 2019-10-22 Arizona Board Of Regents On Behalf Of The University Of Arizona Imaging apparatus, methods, and applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102177706A (zh) * 2009-10-07 2011-09-07 松下电器产业株式会社 摄像装置和固体摄像元件
WO2012043211A1 (ja) * 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置
WO2015198851A1 (ja) * 2014-06-23 2015-12-30 コニカミノルタ株式会社 測距装置及び測距方法
JP2016111678A (ja) * 2014-12-02 2016-06-20 キヤノン株式会社 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
CN108432233A (zh) * 2016-01-18 2018-08-21 富士胶片株式会社 摄像装置及图像数据生成方法

Also Published As

Publication number Publication date
EP3863278B1 (en) 2023-04-19
US20210211633A1 (en) 2021-07-08
CN112805992A (zh) 2021-05-14
US11457202B2 (en) 2022-09-27
JPWO2020071253A1 (ja) 2021-09-09
EP3863278A1 (en) 2021-08-11
WO2020071253A1 (ja) 2020-04-09
EP3863278A4 (en) 2021-11-03
JP7169363B2 (ja) 2022-11-10

Similar Documents

Publication Publication Date Title
US10127682B2 (en) System and methods for calibration of an array camera
EP3220352B1 (en) Method and device for processing lightfield data
CN107004685B (zh) 固体摄像器件和电子装置
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US10027908B2 (en) Image sensor unit and imaging apparatus
TWI507012B (zh) ３次元攝像裝置（一）
EP2797312B1 (en) Imaging device and electronic information device
CN105872525A (zh) 图像处理装置和图像处理方法
JP5310483B2 (ja) 撮像装置
CN112805992B (zh) 摄像装置
US11706506B2 (en) Imaging apparatus
WO2011142062A1 (ja) ３次元撮像装置
US11122242B2 (en) Imaging device
US20150268392A1 (en) Filter-array-equipped microlens and solid-state imaging device
US11627263B2 (en) Imaging apparatus
CN117395485A (zh) 集成式偏振光场深度感知成像装置及采用该装置的方法
US9645290B2 (en) Color filter array and solid-state image sensor
JP7182437B2 (ja) 複眼撮像装置
WO2012153504A1 (ja) 撮像装置および撮像装置の制御プログラム
US9386207B2 (en) Image-capturing apparatus
CN115152205A (zh) 摄像装置及方法
JP6055595B2 (ja) 立体画像撮影装置および立体画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant