CN105814882B - 摄像模块及摄像装置 - Google Patents

摄像模块及摄像装置 Download PDF

Info

Publication number
CN105814882B
CN105814882B CN201480067516.6A CN201480067516A CN105814882B CN 105814882 B CN105814882 B CN 105814882B CN 201480067516 A CN201480067516 A CN 201480067516A CN 105814882 B CN105814882 B CN 105814882B
Authority
CN
China
Prior art keywords
optical system
image
light receiving
lens
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480067516.6A
Other languages
English (en)
Other versions
CN105814882A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105814882A publication Critical patent/CN105814882A/zh
Application granted granted Critical
Publication of CN105814882B publication Critical patent/CN105814882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/04—Reversed telephoto objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0804—Catadioptric systems using two curved mirrors
    • G02B17/0808—Catadioptric systems using two curved mirrors on-axis systems with at least one of the mirrors having a central aperture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0856—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Abstract

本发明提供一种能够提高同时拍摄的不同特性的多个图像的画质及分辨率的摄像模块及摄像装置。本发明涉及一种摄像装置，所述摄像装置具备：多透镜，由使光轴共同的中央光学系统即广角透镜及环状光学系统即长焦透镜构成；图像传感器(18)；及阵列透镜，配设于图像传感器(18)的入射面侧并由微透镜即光瞳成像透镜构成的。本发明的优选方式中，根据由分配于阵列透镜的每一微透镜的3×3个受光单元构成的每个单元块(B)的光瞳像，生成不同特性的2个图像。单元块(B)构成为具有与2个图像中的一个图像对应的周围8个受光单元，单元块内的周围8个受光单元输出为了生成1个图像而必要的所有波长区域的RGB的像素信号。

Description

摄像模块及摄像装置
技术领域
本发明涉及一种摄像模块及摄像装置，尤其涉及一种能够同时拍摄不同特性的多个图像的摄像模块及摄像装置。
背景技术
以往，如图20所示，提出有具备如下的摄像装置：摄影光学系统1，由配置于相同光轴上的中央部的中央光学系统(广角透镜)1a及其周边部的环状光学系统(长焦透镜)1b且特性与中央光学系统1a不同的环状光学系统1b构成；图像传感器3；及阵列透镜2，由配设于图像传感器3的入射面侧的多个微透镜(光瞳成像透镜)构成，并通过各微透镜使摄影光学系统的光瞳像成像于图像传感器3上(专利文献1)。
上述摄影光学系统1的像面在阵列透镜2上，阵列透镜2使摄影光学系统1的光瞳像成像于图像传感器3上。
图21表示图像传感器3上的1个受光单元3a及阵列透镜2的1个微透镜成像于图像传感器3上的摄影光学系统1的光瞳像。该光瞳像具有与中央光学系统1a对应的中央光瞳像(广角透镜成分)及与环状光学系统1b对应的环状光瞳像(长焦透镜成分)。
图22(a)部分表示对每1个微透镜分配图像传感器3的5×5的受光单元3a的一例。
如图22(a)部分所示，5×5的25个受光单元组的每一个中，其中央部的受光单元受光中央光瞳像(广角透镜成分)，其周边部的受光单元受光环状光瞳像(长焦透镜成分)。
25个受光单元组的每一个中，从受光广角透镜成分的受光单元生成广角图像的1像素量的图像信号，同样地从受光长焦透镜成分的受光单元生成长焦图像的1像素量的图像信号，由此如图22(b)部分及图22(c)部分所示，获得与广角透镜对应的广角图像及与长焦透镜对应的长焦图像。
图22所示的例子中，图像传感器3的受光单元数与从图像传感器3获得的广角图像及长焦图像的像素数之间的关系为受光单元数∶像素数(×图像数)＝25∶1(×2)。
如图22所示，若对每1个微透镜分配图像传感器3的5×5的受光单元3a，则会产生与图像传感器3的受光单元数相比，从图像传感器3获得的不同特性的图像(上述例子中，为广角图像及长焦图像)的像素数大幅降低的问题。
抑制从图像传感器3获得的不同特性的图像的像素数降低的最简单的方法是减少分配于每1个微透镜的受光单元的数量(分配数)。能够与减少分配数的量相应地增加可取出的不同特性的图像的像素数。
图23(a)部分及图23(b)部分分别表示对每1个微透镜分配图像传感器3的5×5的受光单元3a的例子及分配3×3的受光单元3a的例子。
即，对摄影光学系统进行同心圆分割时，能够分配于阵列透镜的每1个微透镜的受光单元的分配数的极限为3×3，此时的图像传感器3的受光单元数与从图像传感器3获得的广角图像或长焦图像的像素数之间的关系为受光单元数∶像素数＝9∶1。
但是，专利文献1中记载有为了拍摄彩色图像，以预先设定的图案在受光元件排列有滤色器的内容，但并没有有关具体滤色器排列的记载。
另一方面，专利文献2、3中记载有如下摄像装置，即，使用通常的成像透镜及配设于图像传感器的入射面侧的阵列透镜(微透镜阵列)，通过透镜阵列将成像透镜的通过光线分离为自多个视点的光线，并且使其入射于图像传感器的各受光单元，从而获取基于受光量的像素信号。
专利文献2、3中记载有通过1个微透镜的光线被3×3个受光单元接收，还记载有在图像传感器上设置有拜耳排列的滤色器，在每个受光单元设置有红(R)、绿(G)、蓝(B)中的任一滤色器。
从与各微透镜对应的3×3个受光单元提取相同位置的受光单元的输出信号来重构图像，由此能够生成9个视点图像，但如此生成的视点图像也成为拜耳排列的彩色图像(马赛克图像)(参考专利文献2的图11)。
作为光瞳分割构件的一例，可举出通过设置于每个受光单元的微透镜及遮光罩，使通过多透镜的不同特性的各区域的光束入射于不同受光单元的构件(专利文献1)。
以往技术文献
专利文献
专利文献1：日本专利公开2012-253670号公报
专利文献2：日本专利公开2013-90059号公报
专利文献3：日本专利公开2013-115532号公报
发明的概要
发明要解决的技术课题
现在，对如下结构的摄像装置进行研究，即，在专利文献1中记载的摄像装置中，如图24(a)部分所示，适用如专利文献2、3中记载的具有通常的拜耳排列的图像传感器，且将3×3的受光单元分配于1个微透镜。另外，具有该结构的摄像装置并非公知的摄像装置。
图24(a)部分所示的图像传感器及阵列透镜将格子状的6×6的受光单元(2×2的阵列透镜)作为基本块，并且该基本块沿水平方向及垂直方向反复配置而构成。
图24(b)部分表示基本块，基本块将1个微透镜及针对该1个微透镜的3×3的受光单元作为单元块，由4个单元块构成。
图24(c1)部分及图24(c2)部分分别表示单元块(3×3)的中央的受光单元(入射有通过图20所示的中央光学系统1a的光束的受光单元)组及周围的8个受光单元(入射有通过图20所示的环状光学系统1b的光束的受光单元)组。
如图24(c1)部分所示，中央的受光单元组的图像成为拜耳排列的马赛克图像。由此，通过对拜耳排列的马赛克图像进行去马赛克处理(还称为同步化处理)，一定能够获得彩色图像。
另一方面，如图24(c2)部分所示，周围的8个受光单元组中，混在有包含RGB的所有受光单元的8个受光单元、没有R的受光单元的8个受光单元及没有B的受光单元的8个受光单元，作为RGB的受光单元的配置，欠缺平衡。
具体而言，中央的受光单元为G的受光单元的3×3的受光单元的周围的8个受光单元具有2个R的受光单元、4个G的受光单元及2个B的受光单元，具有RGB的所有颜色信息。
另一方面，中央的受光单元为R的3×3的受光单元的周围的8个受光单元具有4个G的受光单元、4个B的受光单元，没有R的受光单元，同样地中央的受光单元为B的3×3的受光单元的周围的8个受光单元具有4个R的受光单元、4个G的受光单元，没有B的受光单元。
因此，没有R的受光单元或B的受光单元的3×3的受光单元的周围的8个受光单元需要进行使用以相邻的单元块获得的R的受光单元或B的受光单元来补偿等的处理，除了费工夫之外，还产生通过周围8个受光单元组生成的图像的分辨性能下降的问题。
并且，如前述那样对摄影光学系统进行同心圆分割时，能够分配于阵列透镜的每1个微透镜的受光单元的分配数的极限为3×3，存在同时拍摄的不同特性的图像的像素数降低的问题。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够提高同时拍摄的不同特性的多个图像的画质及分辨率的摄像模块及摄像装置。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式所涉及的摄像模块为同时拍摄特性不同的X(X为2以上的整数)个被摄体像，并对X个被摄体像中的至少1个被摄体像输出多个波长区域的像素信号的摄像模块，其中，所述摄像模块具备：多透镜，具有供被摄体光入射的X个区域，使特性不同的被摄体像在X个区域的每个区域中相同像面上重叠并成像；光瞳分割构件，按X个区域的每个区域分割多透镜的光瞳像；及Y(X+1以上的整数)个光电转换器，与分别受光通过光瞳分割构件分割的X个光瞳像的X个受光区域对应配设，X个受光区域中的至少1个受光区域中配设有多个光电转换器，配设于1个受光区域的多个光电转换器输出多个波长区域的像素信号。
根据本发明的一方式，使特性在X个区域的每一区域不同的多透镜的光瞳图像且通过光瞳分割构件分割的X个光瞳像入射于与X个受光区域对应配设的Y(X+1以上的整数)个光电转换器。并且，在X个受光区域中的至少1个受光区域配设多个光电转换器，多个光电转换器输出多个波长区域的像素信号，因此对于同时拍摄的不同特性的X张图像中的至少1个图像，能够从与1个光瞳像对应的多个光电转换器获取多个波长区域的像素信号，并能够提高每1像素的分辨率。
本发明的另一方式所涉及的摄像模块中，优选配设于1个受光区域的多个光电转换器输出为了生成构成图像的像素而必要的所有波长区域的像素信号，该图像由多个波长区域的信息构成。
配设于1个受光区域的多个光电转换器输出为了生成构成由多个波长区域的信息构成的图像的像素而必要的所有波长区域的像素信号，因此对于X个图像中的至少1个图像，能够仅使用来自配设于1个受光区域的多个光电转换器的像素信号，获得已进行去马赛克处理的1像素的图像信号。
相反，从配设于1个受光区域的多个光电转换器输出的多个像素信号内不包含为了生成构成由多个波长区域的信息构成的图像的像素而必要的所有波长区域的像素信号时(特定波长区域的像素信号欠缺时)，需要对从周围的Y个光电转换器输出的像素信号(特定波长区域的像素信号)进行插值来生成特定波长区域的像素信号，此时会产生输出图像的分辨率(实际像素数)降低的问题，但通过本发明的另一方式，能够消除这种问题。
本发明的另一其他方式所涉及的摄像模块中，优选光瞳分割构件为由排列成2维状的微透镜构成的阵列透镜，并且该阵列透镜配设于光电转换器的入射面侧，并通过各个微透镜使多透镜的光瞳像入射于Y个光电转换器。
本发明的另一方式所涉及的摄像模块中，优选在将光瞳分割构件及Y个光电转换器设为单元块时，配设于1个受光区域的多个光电转换器包含输出相同波长区域的像素信号的2个以上的光电转换器，2个以上的光电转换器相对于单元块的中心配置于对称位置。
本发明的另一其他方式所涉及的摄像模块中，配设于1个受光区域的多个光电转换器输出红(R)、绿(G)及蓝(B)的每个波长区域的像素信号。由此，能够从配设于1个受光区域的多个光电转换器获取所有颜色信息，能够生成高精细的彩色图像。
本发明的另一其他方式所涉及的摄像模块中，优选多透镜由中央的第1光学系统及设置于第1光学系统的周边部且特性与第1光学系统不同的第2光学系统构成。由中央的第1光学系统及设置于第1光学系统的周边部的第2光学系统构成的多透镜例如与由分割为上下的光学系统构成的摄影光学系统相比，透镜性能优异。
本发明的另一其他方式所涉及的摄像模块中，多透镜中，第1光学系统及第2光学系统中的一个为广角光学系统，另一个为长焦光学系统。由此，能够通过一次拍摄同时获取广角图像及长焦图像。
本发明的另一其他方式所涉及的摄像模块中，优选多透镜的第1光学系统为圆形的中央光学系统，第2光学系统为相对于中央光学系统配设成同心圆状的环状光学系统。
本发明的另一其他方式所涉及的摄像模块中，优选多透镜的第1光学系统为圆形的中央光学系统，第2光学系统为相对于中央光学系统配设成同心圆状的环状光学系统，在将光瞳分割构件及Y个光电转换器设为单元块时，单元块具有排列成格子状的3×3个光电转换器，与中央光学系统对应的中央光瞳像入射于单元块的中央的光电转换器，与环状光学系统对应的环状光瞳像入射于单元块的周围的8个光电转换器。
本发明的另一其他方式所涉及的摄像模块中，优选单元块的中央的光电转换器输出红(R)、绿(G)及蓝(B)的波长区域的像素信号中的任一个像素信号，并且多个单元块的中央的光电转换器中输出R、G及B的波长区域的像素信号的光电转换器被周期性地排列。由此，从3×3个光电转换器的中央的光电转换器输出的像素信号包含R、G及B的波长区域的像素信号，能够获得为了生成1个图像而必要的所有波长区域的像素信号。
本发明的另一其他方式所涉及的摄像模块中，优选单元块的周围的8个光电转换器由输出G的波长区域的像素信号的4个光电转换器、输出R的波长区域的像素信号的2个光电转换器及输出B的波长区域的像素信号的2个光电转换器构成。由此，RGB的像素信号的个数的比例成为1∶2∶1，能够较多地配置最有助于获得亮度信号的G的光电转换器。
本发明的另一其他方式所涉及的摄像模块中，优选将排列成格子状的6×6个光电转换器作为基本块，该基本块沿水平方向及垂直方向被反复配置而构成图像传感器。6×6个光电转换器的基本块沿水平方向及垂直方向反复，因此在进行后段中的去马赛克处理等图像处理时，能够根据反复图案进行处理。
本发明的另一其他方式所涉及的摄像模块中，优选阵列透镜使通过各个微透镜分别入射于光电转换器上的光瞳像中相互相邻的光瞳像的一部分彼此在光电转换器上重复。
若将分配于阵列透镜的每一微透镜的光电转换器的分配数设为少于3×3的分配，则相邻的微透镜的光瞳像彼此开始重叠(产生串扰)。通常，无法从产生有串扰的光电转换器取出光线空间(光场)，如专利文献2、3那样从各光瞳像各取出1个与相同视点位置对应的像素信号来重构图像时，无法生成正确的图像。
然而，本发明中，只要能够获取同时拍摄的不同特性的X张图像的像素信号即可，因此只要至少与X个受光区域(不同受光区域)对应的光瞳像彼此不重叠即可。即，即使相互相邻的光瞳像的一部分彼此在光电转换器上重复，也仅是相同特性的光瞳像附近的图像重叠，虽然特性稍有变化，但作为图像不会产生破绽。
如此，阵列透镜使相互相邻的光瞳像的一部分彼此在光电转换器上重复，因此能够使实际分配于阵列透镜的每一微透镜的光电转换器的分配数少于3×3，其结果，能够增加同时拍摄的不同特性的图像的像素数。
本发明的另一其他方式所涉及的摄像模块中，优选多透镜由中央的第1光学系统及设置于第1光学系统的周边部且特性与第1光学系统不同的第2光学系统构成，在将光瞳分割构件及Y个光电转换器设为单元块时，单元块具有排列成格子状的3×3个光电转换器，多透镜的第1光学系统为圆形的中央光学系统，第2光学系统为相对于中央光学系统配设成同心圆状的环状光学系统，与第1光学系统对应的中央光瞳像入射于单元块的中央的光电转换器，与第2光学系统对应的环状光瞳像入射于单元块的周围的8个光电转换器，将排列成格子状的4×4个光电转换器作为基本块，该基本块沿水平方向及垂直方向被反复配置而构成图像传感器。
本发明的另一其他方式所涉及的摄像模块中，优选多透镜由中央的第1光学系统及设置于第1光学系统的周边部且特性与第1光学系统不同的第2光学系统构成，多透镜的第1光学系统为圆形的中央光学系统，第2光学系统为相对于中央光学系统配设成同心圆状的环状光学系统，阵列透镜使通过各个微透镜分别成像于Y个光电转换器的光瞳像中相互相邻的与环状光学系统对应的环状光瞳像的一部分彼此在Y个光电转换器上重复，并且使相互相邻的与中央光学系统对应的中央光瞳像和与第2光学系统对应的环状光瞳像的一部分重复，环状光学系统形成为与和对应于中央光学系统的中央光瞳像重复的环状光瞳像的一部分对应的部分被遮光，或与和对应于中央光学系统的中央光瞳像重复的环状光瞳像的一部分对应的部分欠缺。
根据本发明的另一其他方式，环状光学系统形成为一部分被遮光或一部分欠缺，避免中央光瞳像与环状光瞳像在光电转换器上重复。由此，能够进一步减少阵列透镜的每一微透镜的光电转换器的实际分配数。
本发明的另一其他方式所涉及的摄像模块中，优选多透镜由中央的第1光学系统及设置于第1光学系统的周边部且特性与第1光学系统不同的第2光学系统构成，多透镜的第1光学系统为圆形的中央光学系统，第2光学系统为相对于中央光学系统配设成同心圆状的环状光学系统，且该环状光学系统通过特性不同的第3光学系统与第4光学系统交替配置而成，阵列透镜使通过各微透镜分别成像于Y个光电转换器的光瞳像中相互相邻的与环状光学系统的第3光学系统对应的第1环状光瞳像彼此在Y个光电转换器上重复，并且使相互相邻的与环状光学系统的第4光学系统对应的第2环状光瞳像彼此在Y个光电转换器上重复。由此，能够通过1次拍摄同时获取3种不同特性的图像。
本发明的另一其他方式所涉及的摄像模块中，优选光电转换器排列成六方格子状，在将光瞳分割构件及Y个光电转换器设为单元块时，单元块由1个中央的光电转换器及周围的6个光电转换器构成，与中央光学系统对应的中央光瞳像入射于中央的光电转换器，与环状光学系统的第3光学系统对应的第1环状光瞳像入射于周围的6个光电转换器中从中央的光电转换器起向呈120度的3方向的3个光电转换器，与环状光学系统的第4光学系统对应的第2环状光瞳像入射于周围的6个光电转换器中从中央的光电转换器起向呈120度的3方向的其他3个光电转换器。
本发明的另一其他方式所涉及的摄像模块中，优选多透镜的中央光学系统为广角光学系统，环状光学系统的第3光学系统及第4光学系统分别为不同焦距的长焦光学系统。由此，能够通过1次拍摄同时获取广角图像及摄影倍率分别不同的2张长焦图像。
本发明的另一其他方式所涉及的摄像模块中，优选多透镜的中央光学系统为广角光学系统，环状光学系统的第3光学系统及第4光学系统分别为不同摄影距离的长焦光学系统。由此，能够通过1次拍摄同时获取广角图像及对焦于不同摄影距离的被摄体的2张长焦图像。
本发明的另一其他方式所涉及的摄像模块中，优选环状光学系统具有使光束反射2次以上的反射光学系统。由此，能够缩短环状光学系统的光轴方向的尺寸，并能够使装置紧凑。
本发明的另一其他方式所涉及的摄像装置具备：上述任一摄像模块；及图像生成部，在将光瞳分割构件及Y个光电转换器设为单元块时，根据从1个单元块内的光电转换器输出的像素信号，生成构成至少1个图像的1像素量的图像信号，该至少1个图像由多个波长区域的信息构成。
根据本发明的另一方式，对于同时拍摄的X张图像中的至少1个图像，能够使用单元块内的像素信号生成1像素量的已进行去马赛克处理的图像信号，并能够提高图像的画质及分辨率。
发明效果
根据本发明，能够提高同时拍摄的不同特性的多个图像中的至少1个图像的画质及分辨率。并且，阵列透镜使相互相邻的多透镜的光瞳像的一部分彼此在光电转换器上重复，因此能够减少实际分配于阵列透镜的每一微透镜的光电转换器的分配数，其结果，能够增加可同时拍摄的不同特性的图像的像素数。
附图说明
图1是包含本发明所涉及的摄像模块的摄像装置的外观立体图。
图2是表示图1所示的摄像装置的内部结构的实施方式的框图。
图3是表示适用于图1所示的摄像装置的摄影光学系统的第1实施方式的剖视图。
图4是为了说明本发明所涉及的摄像装置的第1实施方式而使用的阵列透镜及图像传感器的主要部分放大图。
图5是表示配设于适用于本发明所涉及的摄像装置的图像传感器的滤色器的第1实施方式的滤色器排列等的图。
图6是表示配设于适用于本发明所涉及的摄像装置的图像传感器的滤色器的第2实施方式的滤色器排列等的图。
图7是为了说明图像传感器中的优选滤色器排列而使用的图。
图8是为了说明图像传感器中的优选滤色器排列而使用的其他图。
图9是为了说明本发明所涉及的摄像装置的第2实施方式而使用的阵列透镜及图像传感器的主要部分放大图。
图10是表示本发明所涉及的摄像装置的第2实施方式中的图像传感器的滤色器排列等的图。
图11是表示第2实施方式中的图像传感器的滤色器排列的第1变形例的图。
图12是表示第2实施方式中的图像传感器的滤色器排列的第2变形例的图。
图13是表示第2实施方式中的图像传感器的滤色器排列的第3变形例的图。
图14是表示为了说明本发明所涉及的摄像装置的第3实施方式而使用的摄影光学系统、阵列透镜及图像传感器等的图。
图15是表示为了说明本发明所涉及的摄像装置的第4实施方式而使用的摄影光学系统、阵列透镜及图像传感器等的图。
图16是表示第4实施方式中的图像传感器的滤色器排列的图。
图17是表示可适用于图1所示的摄像装置的摄影光学系统的第2实施方式的剖视图。
图18是作为摄像装置的另一实施方式的智能手机的外观图。
图19是表示智能手机的主要部分结构的框图。
图20是表示具备具有中央光学系统及环状光学系统的摄影光学系统、阵列透镜及图像传感器的以往的摄像装置的图。
图21是表示1个受光单元与光瞳像之间的关系的图。
图22是表示成像于以往的图像传感器上的各光瞳像的一例的图。
图23是表示成像于以往的图像传感器上的各光瞳像的其他例的图。
图24是为了说明发明所要解决的课题而使用的图。
具体实施方式
以下，根据附图对本发明所涉及的摄像模块及摄像装置的实施方式进行说明。
<摄像装置的外观>
图1是包含本发明所涉及的摄像模块的摄像装置的外观立体图。如图1所示，摄像装置10的前面配置有多透镜(摄影光学系统)12、闪光发光部19等，上面设置有快门按钮38-1。L1表示多透镜12的光轴。
图2是表示摄像装置10的内部结构的实施方式的框图。
该摄像装置10将所拍摄的图像记录于存储卡54，主要特征在于包含多透镜12、阵列透镜16及图像传感器18等的摄像模块11。
[摄影光学系统]
图3是表示适用于摄像装置10(摄像模块11)的多透镜的第1实施方式的剖视图。
如图3所示，多透镜12由分别配置于相同光轴上的中央部的中央光学系统(第1光学系统)13及其周边部的环状光学系统(第2光学系统)14构成。
中央光学系统13为由第1透镜13a、第2透镜13b、第3透镜13c、第4透镜13d及共同透镜15构成的广角光学系统(广角透镜)，使广角图像成像于阵列透镜16上。
环状光学系统14为由第1透镜14a、第2透镜14b、第1反射镜14c(反射光学系统)、第2反射镜14d(反射光学系统)及共同透镜15构成的长焦光学系统(长焦透镜)，使长焦图像成像于阵列透镜16上。经由第1透镜14a及第2透镜14b入射的光束通过第1反射镜14c及第2反射镜14d反射2次之后通过共同透镜15。光束通过第1反射镜14c及第2反射镜14d折回，由此缩短焦距较长的长焦光学系统(长焦透镜)的光轴方向的长度。
[本发明所涉及的摄像装置的第1实施方式]
接着，对本发明所涉及的摄像装置的第1实施方式进行说明。
图4是图2及图3所示的阵列透镜16及图像传感器18的主要部分放大图。
阵列透镜16由多个微透镜(光瞳成像透镜)16a排列成2维状而构成，各微透镜的水平方向及垂直方向的间隔与图像传感器18的受光单元(光电转换器)18a的3个量的间隔对应。即，阵列透镜16的各微透镜使用相对于水平方向及垂直方向的各方向与每隔2个受光单元的位置对应而形成的微透镜。
并且，阵列透镜16的各微透镜16a使与多透镜12的中央光学系统13及环状光学系统14对应的圆形的中央光瞳像(第1光瞳像)17a及环状光瞳像(第2光瞳像)17b成像于图像传感器18的所对应的受光区域的受光单元18a上。
根据图4所示的第1实施方式的阵列透镜16及图像传感器18，对阵列透镜16的每一微透镜16a，分配有格子状(正方格子状)的3×3个受光单元18a。以下，将1个微透镜16a及与1个微透镜16a对应的受光单元组(3×3个受光单元18a)称为单元块。
中央光瞳像17a仅成像于单元块的中央的受光单元18a，环状光瞳像17b成像于单元块的周围的8个受光单元18a。
根据本发明所涉及的摄像装置10(摄像模块11)，如后述，能够同时拍摄与中央光学系统13对应的广角图像及与环状光学系统14对应的长焦图像。
[图像传感器的第1实施方式]
图5是表示适用于本发明所涉及的摄像装置10(摄像模块11)的图像传感器18的图，尤其是表示配设于图像传感器18的滤色器的第1实施方式的滤色器排列等的图。另外，图5上省略了阵列透镜16，但以圆形表示的区域表示包含通过阵列透镜16的各微透镜16a成像有光瞳像的3×3个受光单元的单元块。
如图5(a)部分所示，图像传感器18的摄像面上设置有由配设于各受光单元上的滤色器构成的滤色器排列。
该滤色器排列由使红(R)、绿(G)及蓝(B)的各波长区域的光透射的3原色的滤色器(以下，称为R滤波器、G滤波器、B滤波器)构成。并且，各受光单元上配置有RGB滤波器的任一个。以下，将配置有R滤波器的受光单元称为“R受光单元”，将配置有G滤波器的受光单元称为“G受光单元”，将配置有B滤波器的受光单元称为“B受光单元”。
图5(a)部分所示的滤色器排列将6×6个受光单元作为基本块B(参考图5(a)部分的以粗框表示的块及图5(b)部分)，并由基本块B沿水平方向及垂直方向反复配置而构成。
如图5(b)部分所示，基本块B由4个单元块B1～B4构成。
图5(c1)部分及图5(c2)部分分别表示4个单元块B1～B4的中央的受光单元(入射有通过图3所示的中央光学系统13的光束的受光单元)组及周围的8个受光单元(入射有通过图3所示的环状光学系统14的光束的受光单元)组。
如图5(c1)部分所示，中央的受光单元组的图像成为拜耳排列的马赛克图像。由此，通过对拜耳排列的马赛克图像进行去马赛克处理，一定能够获得彩色图像。
另一方面，如图5(c2)部分所示，单元块B1～B4的各中央的受光单元的周围的8个受光单元组在8个受光单元内包含RGB的所有受光单元(R受光单元、G受光单元、B受光单元)，并且无论是单元块B1～B4中的哪一个，均以相同图案配置有RGB受光单元。
具体而言，各单元块B1～B4的4角的4个受光单元中配置有G受光单元，隔着中央的受光单元的上下2个受光单元中配置有R受光单元，隔着中央的受光单元的左右2个受光单元中配置有B受光单元。
并且，R受光单元、G受光单元及B受光单元分别相对于单元块的中央的受光单元(中心)配置于对称位置。由此，能够使用单元块内的RGB的受光单元的输出信号，生成该每个单元块的去马赛克处理(同步化处理)之后的构成图像的1个像素(RGB的像素值)。
即，通过求出单元块内的4个G受光单元的输出信号(像素值)的平均值，能够获取单元块(1微透镜)的中心位置的G像素的像素值，同样地通过求出单元块内的2个R受光单元的像素值的平均值及2个B受光单元的像素值的平均值，能够分别获取单元块的中心位置的R像素及B像素的像素值。
由此，对于通过单元块的周围的8个受光单元组生成的与环状光学系统14(长焦光学系统)对应的长焦图像，能够使用单元块内的RGB的受光单元的像素值来进行去马赛克处理，无需对周围的单元块的受光单元的像素值进行插值来生成特定波长区域的像素的像素值，不会使输出图像的分辨率(实际像素数)下降。
并且，单元块B1～B4的周围的8个受光单元具有2个R受光单元、4个G受光单元、2个B受光单元，RGB的受光单元的比例为1∶2∶1，较多地配置有最有助于获得亮度信号的G受光单元。
回到图2，摄像装置10(摄像模块11)具备图3中说明的具有中央光学系统13及环状光学系统14的多透镜12、图4及图5中说明的第1实施方式的阵列透镜16及图像传感器18。整个装置的动作根据存储于EEPROM(ElectricallyErasableProgrammableRead-OnlyMemory)56的相机控制程序，通过中央处理装置(CPU)40集中控制。另外，EEPROM56中，除了相机控制程序之外，还存储有图像传感器18的像素的缺陷信息、使用于图像处理等的各种参数和表等。
摄像装置10中设置有快门按钮38-1、模式转盘(模式切换装置)、播放按钮、菜单/确认(MENU/OK)键、十字键、返回键(BACK键)等操作部38。来自该操作部38的信号输入至CPU40，CPU40根据输入信号控制摄像装置10的各电路，例如进行摄影动作控制、图像处理控制、图像数据的记录/播放控制、液晶显示器(LCD)30的显示控制等。
快门按钮38-1(图1)是输入摄影开始命令的操作按钮，由具有半按时打开的S1开关及全按时打开的S2开关的二级行程开关构成。
模式转盘是切换拍摄静态图像的自动摄影模式、手动摄影模式、拍摄人物、风景、夜景等场景位置及动态图像的动态图像模式的选择构件。并且，摄影模式时，模式转盘作为切换获取经由中央光学系统13成像的广角图像(第1图像)的第1摄影模式、获取经由环状光学系统14成像的长焦图像(第2图像)的第2摄影模式及同时获取广角图像及长焦图像的混合摄影模式等的选择构件发挥作用。
播放按钮是用于切换为将拍摄记录的静态图像或动态图像显示于液晶显示器30的播放模式的按钮。菜单/确认键是兼备作为用于进行在液晶显示器30的画面上显示菜单的指令的菜单按钮的功能及作为发出选择内容的确定及执行等的指令的确认按钮的功能的操作键。十字键是输入上下左右4个方向的命令的操作部，作为从菜单画面选择项目或从各菜单命令各种设定项目的选择的按钮(光标移动操作构件)发挥作用。并且，十字键的上/下键作为摄影时的变焦开关或者播放模式时的播放变焦开关发挥作用，左/右键作为播放模式时的画面进给(正方向/反方向进给)按钮发挥作用。返回键在选择项目等所希望的对象的删除或命令内容的取消或者返回至前一操作状态时等中使用。
摄影模式时，被摄体光经由多透镜12及阵列透镜16成像于图像传感器18的受光面。
成像于图像传感器18的各受光单元(光电转换器)的受光面的被摄体像转换为与其入射光量相应的量的信号电压(或电荷)。
积蓄在图像传感器18的信号电压(或电荷)积蓄于受光单元本身或所附设的电容器。所积蓄的信号电压(或电荷)通过传感器控制部32，利用使用X-Y地址方式的MOS型成像元件(所谓的CMOS传感器)的方法，与受光单元位置的选择一同被读出。
由此，能够从图像传感器18读出表示与中央光学系统13对应的中央的受光单元组的广角图像的像素信号及表示与环状光学系统14对应的周围8个受光单元组的长焦图像的像素信号。
从图像传感器18读出的像素信号(电压信号)通过相关双采样处理(为了减轻传感器输出信号中包含的噪声(尤其是热噪声)等，通过获取每一个受光单元的输出信号中包含的馈通成分电平与信号成分电平之差来获得准确的像素数据的处理)，每个受光单元的像素信号被采样保持，被放大之后添加至A/D转换器20。A/D转换器20将依次输入的像素信号转换成数字信号并输出至图像输入控制器22。另外，MOS型传感器中有内置有A/D转换器的传感器，此时，从图像传感器18直接输出数字信号。
通过选择图像传感器18的受光单元位置来读出像素信号，能够选择性地读出表示广角图像的像素信号与表示长焦图像的像素信号。
即，通过选择性地读出图像传感器18的入射有中央光瞳像17a的受光单元的像素信号，能够按每一微透镜获取1个表示受光单元(3×3的受光单元的中央的受光单元)的广角图像的像素信号(表示拜耳排列的马赛克图像的像素信号)，另一方面，通过选择性地读出图像传感器18的入射有环状光瞳像17b的8个受光单元的像素信号，能够按每一微透镜获取8个像素信号。
另外，从图像传感器18读出所有像素信号来临时存储于存储器(SDRAM)48，数字信号处理部(图像生成部)24根据存储于存储器48的像素信号，与上述相同地对广角图像及长焦图像这两个图像的像素信号进行分组。
并且，数字信号处理部24对经由图像输入控制器22输入的数字像素信号(RGB的点顺序的R信号、G信号、B信号)进行偏移处理、伽马校正处理及对RGB的马赛克图像的信号的去马赛克处理等规定的信号处理。在此，去马赛克处理是根据与单板式图像传感器18的滤色器排列对应的RGB的马赛克图像按每个像素计算所有颜色信息的处理，还称为同步处理。例如，当为由RGB三颜色的滤色器构成的图像传感器18时，是根据由RGB构成的马赛克图像按每个像素计算RGB所有的颜色信息的处理。
即，数字信号处理部24中包含的去马赛克处理部中，在广角图像(拜耳排列的马赛克图像)的G受光单元的位置上没有R受光单元、B受光单元，因此分别对该G受光单元的周围的R受光单元、B受光单元的R信号、B信号进行插值来生成G受光单元的位置的R信号、B信号。同样地，马赛克图像的R受光单元的位置上没有G受光单元、B受光单元，因此分别对该R受光单元的周围的G受光单元、B受光单元的G信号、B信号进行插值来生成R受光单元的位置上的G信号、B信号，并且，马赛克图像的B受光单元的位置上没有G受光单元、R受光单元，因此分别对该B受光单元的周围的G受光单元、R受光单元的G信号、R信号进行插值来生成B受光单元的位置的G信号、R信号。
另一方面，长焦图像按每一微透镜16a由8个(3×3的单元块的周围8个)马赛克图像构成，且8个受光单元内包含RGB的所有颜色信息(R受光单元、G受光单元、B受光单元)，因此去马赛克处理部能够使用单元块内的8个受光单元的输出信号来生成已对每个单元块进行去马赛克处理的构成图像的1个像素(RGB的像素值)。
具体而言，对长焦图像的马赛克图像进行去马赛克处理的去马赛克处理部(图像生成部)通过求出单元块内的4个G受光单元的像素值的平均值，计算单元块(1个微透镜)的中心位置的像素的G的像素值，同样地通过求出单元块内的2个R受光单元的像素值的平均值及2个B受光单元的像素值的平均值，分别计算单元块的中心位置的像素的R的像素值及B的像素值。
通过上述去马赛克处理部生成的广角图像及长焦图像的2个去马赛克图像中的长焦图像的去马赛克图像使用单元块内的8个受光单元的输出信号进行去马赛克处理，因此与使用(插值)周围的单元块的受光单元的输出信号来进行去马赛克处理的广角图像的去马赛克图像相比，分辨率实际上较高。
并且，数字信号处理部24进行从通过去马赛克处理部进行去马赛克处理的RGB的颜色信息(R信号、G信号、B信号)生成亮度信号Y及色差信号Cb、Cr的RGB/YC转换等。
在数字信号处理部24中被处理的图像信号输入至VRAM(VideoRandomAccessMemory)50。从VRAM50读出的图像信号在视频编码器28中被编码，并输出至设置于相机背面的液晶显示器30，由此被摄体像显示于液晶显示器30的显示画面上。
若操作部38的快门按钮38-1被第1阶段按压(半按)，则CPU40开始AE动作，从A/D转换器20输出的图像数据被引入AE检测部44。
AE检测部44中，对整个画面的图像信号进行积算，或者对在画面中央部与周边部进行了不同的加权的图像信号进行积算，并将该积算值输出至CPU40。CPU40根据从AE检测部44输入的积算值计算出被摄体的明度(摄影Ev值)，根据该摄影Ev值并根据规定的程序线图确定光圈(未图示)的光圈值及图像传感器18的电子快门(快门速度)，并根据该确定的光圈值控制光圈，并且根据所确定的快门速度经由传感器控制部32控制图像传感器18中的电荷积蓄时间。
若AE动作结束，快门按钮38-1被第2阶段按压(全按)，则响应该按压而从A/D转换器20输出的图像数据从图像输入控制器22输入至存储器(SDRAM：Synchronous DynamicRAM)48，并被临时存储。临时存储于存储器48的图像信号通过数字信号处理部24适当读出，并在其中进行规定的信号处理而再次存储于存储器48。
存储于存储器48的图像信号分别输出至压缩/扩展处理部26，执行JPEG(JointPhotographic Experts Group)等规定的压缩处理之后，经由媒体控制器52记录于存储卡54。
并且，若通过模式转盘选择第1摄影模式或第2摄影模式，则能够选择性地获取广角图像或长焦图像，若通过模式转盘选择混合摄影模式，则能够同时获取广角图像及长焦图像。由此，无需进行广角光学系统与长焦光学系统的机械性切换或变焦透镜的变焦操作就能够获取广角图像及长焦图像。
[图像传感器的第2实施方式]
图6是表示适用于本发明所涉及的摄像装置10(摄像模块11)的图像传感器18的另一实施方式的图，尤其是表示配设于图像传感器18的滤色器的第2实施方式的滤色器排列等的图。
如图6(a)部分所示，图像传感器18的另一实施方式的滤色器排列与图5(a)部分所示的滤色器排列同样地，将6×6个受光单元作为基本块B(参考图6(a)部分的以粗框表示的块及图6(b)部分)，并由基本块B沿水平方向及垂直方向反复配置而构成。
如图6(b)部分所示，基本块B由4个单元块B1～B4构成。
图6(c1)部分及图6(c2)部分分别表示4个单元块B1～B4的中央的受光单元组及周围的8个受光单元组。
如图6(c1)部分所示，中央的受光单元组的图像成为拜耳排列的马赛克图像。由此，通过对拜耳排列的马赛克图像进行去马赛克处理，一定能够获得彩色图像。
另一方面，如图6(c2)部分所示，单元块B1～B4的各中央的受光单元的周围的8个受光单元组在8个受光单元内包含RGB的所有受光单元(R受光单元、G受光单元、B受光单元)，并且无论是单元块B1～B4中的哪一个，均以相同图案配置有RGB的受光单元。
具体而言，隔着各单元块R1～B4的中央的受光单元的上下左右4个受光单元中配置有G受光单元，单元块的左上及右下的2个受光单元中配置有R受光单元，单元块的右上及左下的2个受光单元中配置有B受光单元。
并且，R受光单元、G受光单元及B受光单元分别相对于单元块的中央的受光单元(中心)配置于对称位置。由此，能够使用单元块内的RGB的受光单元的输出信号来生成该每个单元块的去马赛克处理之后的构成图像的1个像素(RGB的像素值)。
即，通过求出单元块内的4个G受光单元的像素值的平均值，能够获取单元块(1个微透镜)的中心位置的G受光单元的像素值，同样地通过求出单元块内的2个R受光单元的像素值的平均值及2个B受光单元的像素值的平均值，能够分别获取单元块的中心位置的像素的R的像素值及B的像素值。
并且，单元块B1～B4的周围的8个受光单元具有2个R受光单元、4个G受光单元、2个B受光单元，RGB的受光单元的比例成为1∶2∶1，较多地配置有最有助于获得亮度信号的G受光单元。
另外，上述实施方式中，在各中央的受光单元以规定图案周期性地配置有滤色器，以使单元块B1～B4的中央的受光单元组的图像成为拜耳排列的马赛克图像，但并不限于此，配置于各中央的受光单元的滤色器可配置G条纹R/G完整方格、X-Trans(注册商标)排列等滤色器，总之滤色器只要排列成能够获得所有波长区域的像素信号即可。
[更优选的周围8像素的滤波器配置(1)]
关于对具有3×3个受光单元的单元块的周围的8个受光单元的滤色器配置，除了图5及图6所示的第1、第2实施方式以外，还可考虑各种配置。
图7(a)部分及图7(b)部分分别表示图5(a)部分所示的滤色器的第1实施方式，尤其表示透射多透镜12中的环状光学系统14的光束通过微透镜16a的指向性而入射的3×3个单元块的周围的8个受光单元中的入射区域。
如图7(a)部分所示，图像中心(图像传感器18的光轴附近的单元块)中，透射环状光学系统14的光束的入射区域呈整齐的圆环状，因此不会产生周围的8个受光单元中的RGB的滤波器配置之差。
另一方面，作为光学透镜的普通性质，已知越是远离光轴的图像周边，越产生“遮光”。如本例的环状光学系统14，当为具有圆环光瞳的光学透镜时，向传感器面的入射光图案因“遮光”从圆形变成月牙状(图7(b)部分～图7(e)部分)。
即，在图像传感器18的周边，单元块的周围8个受光单元中，往往只能在偏向一侧的受光单元检测到光。此时，为了获取所有颜色的信息，优选事先将输出各波长区域的像素信号的RGB的受光单元均匀地分配于8个受光单元。
当为图7(b)部分所示的滤色器排列(第1实施方式)时，即使是图像传感器18的4角周边的单元块，月牙状光束也会均匀地入射于周围8个RGB的受光单元，入射有月牙状光束的RGB的各受光单元的面积比变得大致相等(G≈R＝B)。
并且，当为图7(c)部分所示的滤色器排列(图6(a)部分所示的第2实施方式)时，月牙状光束也会均匀地入射于周围8个RGB的受光单元，入射有月牙状光束的RGB的各受光单元的面积比变得大致相等(G≈R≈B)。
另一方面，当为图7(d)部分所示的滤色器排列时，周围8个RGB的受光单元在周围方向上并未均匀地配置，入射有月牙状光束的RGB的各受光单元的面积比变得不均匀(G＞＞R＞B)。同样地，当为图7(e)部分所示的滤色器排列时，周围8个RGB的受光单元在周围方向上并未均匀地配置，入射有月牙状光束的RGB的各受光单元的面积比变得不均匀(G＞R＝B)。
如上述，作为具有3×3个受光单元的单元块的周围8个受光单元的滤波器配置，如图5(a)部分及图6(b)部分所示的第1、第2实施方式，更优选RGB的受光单元在周围方向上均匀地(以重心成为单元块的中心的方式)配置。
[更优选的周围8像素的滤波器配置(2)]
接着，对从减少滤色器的制造工序及干扰(串扰)的观点考虑更优选的周围8个受光单元的滤波器配置进行说明。
图8(a)部分及图8(b)部分分别表示图5(a)部分及图6(b)部分所示的第1、第2实施方式的滤色器排列。
如图8(a)部分所示，排列具有3×3个受光单元的单元块时，更优选以成为相同种类的方式配置与相邻的单元块相接的像素彼此的波长滤波器(滤色器)。
其理由如下。
(1)若为相同种类，则能够连结滤波器部，因此形成波长滤波器的制造工序变得简单。
(2)若为相同种类(相同颜色)，则即使存在来自相邻的单元块的信号的干扰(串扰)时，也只是会降低空间分辨率。如果干扰信号为不同颜色的成分时，除了空间分辨率的下降之外，还产生颜色信号的误差，从而图像品质会下降。
因此，更优选以成为相同种类的方式配置与相邻的单元块相接的像素彼此的波长滤波器。
当为图8(a)部分所示的第1实施方式的滤色器排列时，排列具有3×3个受光单元的单元块时的周围8个受光单元中，就G受光单元而言，2×2个的4个G受光单元相邻，并且周围8个受光单元中，就R受光单元而言，沿垂直方向2个相邻，B受光单元沿水平方向2个相邻。
另一方面，当为图8(b)部分所示的第2实施方式的滤色器排列时，排列具有3×3个受光单元的单元块时的周围8个受光单元中，就G受光单元而言，2个相邻，但周围8个受光单元中的R受光单元及B受光单元中，相邻的所有方向的受光单元及波长滤波器不同。
因此，图8(a)部分及图8(b)部分所示的第1、第2实施方式的滤色器排列中，第1实施方式的滤色器排列的滤色器的制造工序变得简单，且能够降低干扰，因此可以说是更优选的滤色器排列。
<像素的高密度化>
接着，对以如下方式实现像素的高密度化的实施方式进行说明，即，不改变图像传感器的受光单元数，大幅降低分配于阵列透镜的每一微透镜的受光单元的分配数，增加同时拍摄的不同特性的多个图像的像素数。
[本发明所涉及的摄像装置的第2实施方式]
图9是为了说明本发明所涉及的摄像装置(摄像模块)的第2实施方式而使用的阵列透镜116及图像传感器118的主要部分放大图。另外，第2实施方式的摄像装置与图1至图3所示的第1实施方式的摄像装置10的主要不同点在于阵列透镜116及图像传感器118，因此以下对该不同点进行说明。
图9中，阵列透镜116由多个微透镜116a排列成2维状而构成，各微透镜的水平方向及垂直方向的间隔与图像传感器118的受光单元118a的2个量的间隔对应。即，阵列透镜116的各微透镜使用相对于水平方向及垂直方向的各方向，与每隔1个受光单元的位置对应而形成的微透镜。
并且，阵列透镜116的各微透镜116a使与多透镜12的中央光学系统13及环状光学系统14对应的圆形的中央光瞳像117a及环状光瞳像117b成像于图像传感器118上。
在此，相互相邻的环状光瞳像117b的一部分彼此在图像传感器118上重叠。即，阵列透镜116配置于图像传感器118的入射面侧的适当的位置，构成为通过各微透镜116a分别成像于图像传感器118上的中央光瞳像117a及环状光瞳像117b中，相互相邻的环状光瞳像117b的一部分彼此在图像传感器118上重复。
根据图9所示的第2实施方式的阵列透镜116及图像传感器118，中央光瞳像117a仅成像于图像传感器118上的1个受光单元118a(3×3个中央的受光单元)，环状光瞳像117b成像于成像有中央光瞳像117a的受光单元118a的周围的8个受光单元118a。并且，成像于8个受光单元118a的环状光瞳像117b与沿水平方向及垂直方向(上下左右方向)相邻的环状光瞳像117b在1个受光单元量的范围内重复。
本发明所涉及的摄像装置只要能够拍摄与中央光学系统13对应的广角图像及与环状光学系统14对应的长焦图像即可，因此只要中央光瞳像117a与环状光瞳像117b不重叠即可。即，即使相互相邻的环状光瞳像117b的一部分彼此在图像传感器118上重复，作为图像也不会产生破绽。
图10(a)部分及图10(b)部分是表示配设于图像传感器118的滤色器排列等的图。
如图10(a)部分所示，配设于图像传感器118的滤色器排列将4×4个受光单元作为基本块B(图10(a)部分的以粗框表示的块)，并由基本块B沿水平方向及垂直方向反复配置而构成。
并且，如图10(b)部分所示，图像传感器118具有对每一微透镜16a分配有3×3个受光单元的单元块(4种单元块B1～B4)，相邻的单元块相互在1个受光单元量的范围内重复。
图10(b)部分所示的4个单元块B1～B4成为与图5(b)部分所示的4个单元块B1～B4相同的滤色器排列，单元块B1～B4的各中央的受光单元组的图像成为拜耳排列的马赛克图像。
并且，单元块B1～B4的各中央的受光单元的周围的8个受光单元中，各单元块B1～B4的4角的4个受光单元中配置有G受光单元，隔着中央的受光单元的上下2个受光单元中配置有R受光单元，隔着中央的受光单元的左右2个受光单元中配置有B受光单元，周围8个受光单元的RGB的受光单元在周围方向上均匀地配置。
如上述，根据本发明所涉及的摄像装置的第2实施方式，若将图像传感器118的受光单元数设为M，将可从图像传感器获得的广角图像及长焦图像的像素数设为N，则受光单元数M与像素数N之比为M∶N＝4∶1，能够使其大于第1实施方式时的比(M∶N＝9∶1)。即，能够实现广角图像及长焦图像的像素的高密度化，并能够提高分辨率。
[本发明所涉及的摄像装置的第2实施方式的第1变形例]
图11(a)部分及图11(b)部分分别为表示第2实施方式的第1变形例的图，尤其第2实施方式的第1变形例的图像传感器的滤色器排列与第2实施方式不同。
图11(a)部分所示的图像传感器218将4×4个受光单元作为基本块B(图11(a)部分的以粗框表示的块)，并由基本块B沿水平方向及垂直方向反复配置而构成。
如图11(a)部分所示，第2实施方式的第1变形例中，在基本块B内存在2组2×2个的G受光单元，G的滤色器的制造工序变得简单，且能够降低干扰。
并且，如图11(b)部分所示，图像传感器218具有对每一微透镜16a分配有3×3个受光单元的单元块(4种单元块B1～B4)，相邻的单元块相互在1个受光单元量的范围内重复。
如图11(b)部分所示，4个单元块B1～B4的周围8个受光单元均具有2个R受光单元、4个G受光单元及2个B受光单元。并且，中心为G受光单元的单元块B1、B4具有R受光单元、B受光单元的配置不同的2个图案。
[本发明所涉及的摄像装置的第2实施方式的第2变形例]
图12(a)部分及图12(b)部分分别是表示第2实施方式的第2变形例的图，尤其第2实施方式的第2变形例的图像传感器的滤色器排列与前述的实施方式不同。
图12(a)部分所示的图像传感器318将4×4个受光单元作为基本块B(图12(a)部分的以粗框表示的块)，并由基本块B沿水平方向及垂直方向反复配置而构成。
如图12(a)部分所示，第2实施方式的第2变形例中，基本块B内存在1组2×2个R受光单元、2组2×2个G受光单元及1组2×2个B受光单元，RGB的滤色器的制造工序变得最简单，且最能够降低干扰。
并且，如图12(b)部分所示，图像传感器318具有对每一微透镜16a分配有3×3个受光单元的单元块(4种单元块B1～B4)，相邻的单元块相互在1个受光单元量的范围内重复。
如图12(b)部分所示，4个单元块B1～B4中的中心为G受光单元的单元块B1、B4的周围8个受光单元具有2个R受光单元、4个G受光单元及2个B受光单元，中心为R受光单元的单元块B2的周围8个受光单元具有3个R受光单元、4个G受光单元及1个B受光单元，中心为B受光单元的单元块B3的周围8个受光单元具有1个R受光单元、4个G受光单元及3个B受光单元，RGB的受光单元的颜色平衡低于第2实施方式的第1变形例。
[本发明所涉及的摄像装置的第2实施方式的第3变形例]
图13(a)部分及图13(b)部分分别是表示第2实施方式的第3变形例的图，尤其第2实施方式的第3变形例的图像传感器的滤色器排列与前述的实施方式不同。
图13(a)部分所示的图像传感器418将正方格子状的4×4个受光单元作为基本块B(图13(a)部分的以粗框表示的块)，并由基本块B沿水平方向及垂直方向反复配置而构成。
如图13(a)部分所示，第2实施方式的第3变形例中，基本块B内存在1组2×2个G受光单元，G的滤色器的制造工序变得简单，且能够降低干扰。
并且，如图13(b)部分所示，图像传感器418具有对每一微透镜16a分配有3×3个受光单元的单元块(4种单元块B1～B4)，相邻的单元块相互在1个受光单元量的范围内重复。
如图13(b)部分所示，4个单元块B1～B4中的中心为G受光单元的单元块B1、B4的周围8个受光单元具有2个R受光单元、4个G受光单元及2个B受光单元，中心为R受光单元的单元块B2的周围8个受光单元具有1个R受光单元、4个G受光单元及3个B受光单元，中心为B受光单元的单元块B3的周围8个受光单元具有3个R受光单元、4个G受光单元及1个B受光单元，RGB的受光单元的颜色平衡低于第2实施方式的第1变形例。
[本发明所涉及的摄像装置的第3实施方式]
接着，利用图14对本发明所涉及的摄像装置的第3实施方式进行说明。另外，第3实施方式的摄像装置与第1、2实施方式的主要不同点在于多透镜、阵列透镜及图像传感器，因此以下对该不同点进行说明。
首先，作为多透镜，使用图14(b)部分所示的可获得中央光瞳像517a及环状光瞳像517b的多透镜来代替图14(a)部分所示的可获得中央光瞳像17a及环状光瞳像17b的前述的多透镜12。作为图14(b)部分所示的可获得中央光瞳像517a及环状光瞳像517b的多透镜，能够通过对图3所示的多透镜12中的环状光学系统14的一部分进行遮光来构成。
即，与环状光瞳像517b对应的环状光学系统能够通过仅在上下左右四方形成局部开口部，并对其他部分进行遮光来构成。由此，可获得局部欠缺的环状光瞳像517b。
另外，也可仅在中央光学系统的上下左右的周边部(与环状光学系统的局部开口部对应的位置)配置特性与环状光学系统相同的4个光学系统，以此代替对环状光学系统形成局部开口部及遮光部。
另一方面，如图14(c)部分所示，阵列透镜的各微透镜设为相对于图像传感器518的排列成格子状的各受光单元518a交错配置。并且，使通过该阵列透镜的各微透镜成像于图像传感器上的光瞳像入射于3×3个受光单元。
该环状光瞳像517b与相邻的中央光瞳像517a重叠的部分欠缺，因此中央光瞳像517a与环状光瞳像517b不会在图像传感器518上重叠。
另一方面，阵列透镜的各微透镜能够以交错状紧密配置，能够使分配于阵列透镜的每一微透镜的图像传感器的受光单元的分配数少于第2实施方式。即，若将图像传感器的受光单元数设为M，将可从图像传感器获得的广角图像及长焦图像的像素数设为N，则受光单元数M与像素数N之比为M∶N＝2∶1。
图14(d)部分是表示配设于图像传感器518的滤色器排列的图。
如图14(d)部分所示，配设于图像传感器518的滤色器排列将4×4个受光单元作为基本块B(图14(d)部分的以粗框表示的块)，并由基本块B沿水平方向及垂直方向反复配置而构成。
并且，同图中，以粗框表示的受光单元对应于与1个微透镜对应的3×3个受光单元的中央的受光单元。
与交错配置的阵列透镜的各微透镜对应的3×3个受光单元的中央的受光单元组的图像成为RGB的受光单元交错配置的马赛克图像。本例中，RGB的受光单元交错配置的马赛克图像中，交替排列有G受光单元沿水平方向连续的G排及交替配置有B受光单元与R受光单元的BR排。
另一方面，3×3个受光单元的隔着中央的受光单元的上下左右4个受光单元包含RGB的受光单元。即，隔着中央的G受光单元的上下受光单元为G受光单元，隔着中央的G受光单元的左右受光单元为R受光单元及B受光单元。并且，R或B的隔着中央的受光单元的上下受光单元为R受光单元及B受光单元，隔着中央的R或B受光单元的左右受光单元为G受光单元。
即，与仅在上下左右四方形成有局部开口部的环状光瞳像517b(图14(b)部分)对应的4个受光单元中均匀地分配有RGB的受光单元，具有1个R受光单元、2个G受光单元、1个B受光单元。
由此，生成长焦图像时，能够从与1微透镜对应的5个受光单元中隔着中央的受光单元的上下左右4个受光单元获得所有波长区域的像素信号。
[本发明所涉及的摄像装置的第4实施方式]
接着，利用图15及图16对本发明所涉及的摄像装置的第4实施方式进行说明。另外，第4实施方式的摄像装置与第1、2、3实施方式的主要不同点在于多透镜、阵列透镜及图像传感器，因此以下对该不同点进行说明。
首先，作为多透镜，使用图15(b)部分所示的可获得中央光瞳像617a及环状光瞳像617b、617c的多透镜来代替图15(a)部分所示的可获得中央光瞳像17a及环状光瞳像17b的多透镜12。
此时，由分割为同心圆状的中央光学系统及环状光学系统构成的多透镜中的环状光学系统以与中央光瞳像617a对应的中央光学系统为中心，仅在每60度不同方向的六方向形成局部开口部，且由与120度的三方向的环状光瞳像617b及环状光瞳像617c对应的配置于开口部的2组光学系统(第3光学系统、第4光学系统)构成。
第4实施方式中，与中央光瞳像617a对应的中央光学系统为广角光学系统，与环状光瞳像617b及环状光瞳像617c对应的第3光学系统及第4光学系统分别为不同焦距的2种长焦光学系统。
并且，如图15(c)部分所示，图像传感器618中，以六方格子状排列有受光单元618a。
另一方面，如图15(c)部分所示，阵列透镜的各微透镜设为，相对于图像传感器618的排列成六方格子状的各受光单元618a交错配置，沿水平方向每隔1个而配置，沿垂直方向每隔2个而配置。
并且，通过阵列透镜的各微透镜分别成像于图像传感器618上的中央光瞳像617a入射于与各微透镜的中心位置对应的1个受光单元，环状光瞳像617b(第1环状光瞳像)及环状光瞳像617c(第2环状光瞳像)分别入射于与各微透镜的中心位置对应的1个受光单元的周围的6个受光单元(位于120度三方向的3×2个受光单元)。
如图15(c)部分所示，环状光瞳像617b及环状光瞳像617c分别与相邻的环状光瞳像617b及环状光瞳像617c在图像传感器618上重叠，但环状光瞳像617b与环状光瞳像617c不会重叠。
若将图像传感器618的受光单元数设为M，将可从图像传感器618获得的广角图像、不同焦距的2个长焦图像的像素数设为N，则受光单元数M与像素数N之比为M∶N＝3∶1。
另外，第4实施方式中，与环状光瞳像617b及环状光瞳像617c对应的第3光学系统及第4光学系统分别为不同焦距的2种长焦光学系统，但并不限于此，例如，可以是不同摄影距离(焦点位置)的2个长焦光学系统。
图16(a)部分～图16(f)部分分别是表示配设于图像传感器618的滤色器排列的图。
图16(a)部分所示的滤色器排列将左上所示的9个受光单元作为基本块，并由基本块沿水平方向及垂直方向反复配置而构成。
并且，同图中，以粗框表示的受光单元对应于与1个微透镜对应的7个受光单元(1个中央的受光单元及周围的6个受光单元)中的中央的受光单元。
与交错配置的阵列透镜的各微透镜对应的7个受光单元的中央的受光单元组的图像成为RGB的受光单元交错配置的马赛克图像，水平方向的各排上包含RGB的受光单元。
另一方面，中央的受光单元的周围6个受光单元中与120度三方向的环状光瞳像617b对应的位于120度三方向的3个受光单元上分别各分配有1个RGB的受光单元，同样地，与120度三方向的环状光瞳像617c对应的位于120度三方向的3个受光单元也分别各分配有1个RGB的受光单元。
由此，分别生成2个长焦图像时，能够从与1个微透镜对应的7个受光单元中的周围6个受光单元获得所有波长区域的像素信号。
另外，图16(b)部分～图16(f)部分所示的滤色器排列分别与上述图16(a)部分所示的滤色器排列同样地，也能够从与1个微透镜对应的7个受光单元中的周围6个受光单元获得2组所有波长区域的像素信号。
[摄影光学系统的第2实施方式]
图17是表示可适用于摄像装置10(摄像模块11)的多透镜的第2实施方式的剖视图。
该多透镜112由分别配置于相同光轴上的中央部的中央光学系统113及其周边部的环状光学系统114构成。
中央光学系统113为由第1透镜113a、第2透镜113b及共同透镜115构成的长焦光学系统，具有视场角α。
环状光学系统114为由透镜114a及共同透镜115构成的广角光学系统，具有视场角β(β＞α)，比中央光学系统113更广角。
该多透镜112与图3所示的多透镜12相比，不同点在于，未使用反射镜，并且中央光学系统113为长焦光学系统，环状光学系统114为广角光学系统。
作为摄像装置10的其他实施方式，例如可举出具有相机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，举智能手机为例，参考附图进行详细说明。
<智能手机的构成>
图18是表示作为摄像装置10的其他实施方式的智能手机500的外观的图。图18所示的智能手机500具有平板状框体502，在框体502的一侧的面具备作为显示部的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。并且，框体502具备扬声器531、麦克风532、操作部540及相机部541。另外，框体502的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用折叠构造或具有滑动机构的结构。
图19是表示图18所示的智能手机500的结构的框图。如图19所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System)接收部570、动作传感器部580、电源部590及主控制部501。另外，作为智能手机500的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部510根据主控制部501的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的接收。
显示输入部520是所谓的触摸面板，其具备显示面板521及操作面板522，所述显示输入部通过主控制部501的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。欣赏所生成的3D图像时，显示面板521优选为3D显示面板。
显示面板521是将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备的装置。
操作面板522是以能够视觉辨认显示于显示面板521的显示面上的图像的方式载置，并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号检测显示面板521上的操作位置(坐标)。
如图18所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，但也可以配置成操作面板522完全覆盖显示面板521。采用该配置时，操作面板522还可以具备对显示面板521以外的区域也检测用户操作的功能。换言之，操作面板522也可以具备针对与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板521的大小完全一致，但未必一定要使两者一致。并且，操作面板522可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体502的大小等而适当设计。此外，作为在操作面板522中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可以采用任意方式。
通话部530具备扬声器531和麦克风532，将通过麦克风532输入的用户的语音转换成能够在主控制部501中处理的语音数据来输出至主控制部501、或者对通过无线通信部510或外部输入输出部560接收的语音数据进行解码而从扬声器531输出。并且，如图18所示，例如能够将扬声器531及麦克风532搭载于与设置有显示输入部520的面相同的面。
操作部540为使用键开关等的硬件键，接收来自用户的命令。例如，操作部540搭载于智能手机500的框体502的显示部的下部、下侧面，是用手指等按下时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部550存储主控制部501的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、及已下载的内容数据，并且临时存储流数据等。并且，存储部550由内置于智能手机的内部存储部551及具有装卸自如的外部存储器插槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551与外部存储部552使用闪存类型(flash memory type)、硬盘类型(harddisk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等存储介质来实现。
外部输入输出部560发挥与连结于智能手机500的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机500连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由语音/视频I/O(Input/Output)端子连接的外部语音/视频设备、无线连接的外部语音/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、耳机等。外部输入输出部能够将从这种外部设备接收传送的数据传递至智能手机500内部的各构成要件、或将智能手机500内部的数据传送至外部设备。
GPS接收部570根据主控制部501的命令，接收从GPS卫星ST1～STn发送的GPS信号，根据所接收的多个GPS信号执行测位运算处理，检测包括该智能手机500的纬度、经度、高度的位置。GPS接收部570在能够从无线通信部510或外部输入输出部560(例如无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部580例如具备三轴加速度传感器等，根据主控制部501的命令，检测智能手机500的物理动作。通过检测智能手机500的物理动作，可检测智能手机500的移动方向或加速度。该检测结果输出至主控制部501。
电源部590根据主控制部501的命令，向智能手机500的各部供给蓄积在电池(未图示)中的电力。
主控制部501具备微处理器，根据存储部550所存储的控制程序或控制数据进行动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部501根据存储部550所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部560来与相对设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部501具备根据所接收的数据或所下载的流数据等图像数据(静态图像或动态图像的数据)在显示输入部520显示影像等的图像处理功能。图像处理功能是指主控制部501对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部520的功能。
而且，主控制部501执行对显示面板521的显示控制及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于对于无法完全落入显示面板521的显示区域的较大图像等，接收使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或者通过操作面板522接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部501具备判定对操作面板522操作的位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外缘部分(非显示区域)，并控制操作面板522的感应区域或软件键的显示位置的触摸面板控制功能。
并且，主控制部501还能够检测对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并不是以往的简单的触摸操作，而是指通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部541是使用CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)等成像元件进行电子摄影的数码相机。能够将前述的摄像装置10(或摄像模块11)适用于该相机部541。无需机械性切换机构等就能够拍摄广角图像及长焦图像，适合作为组装于如智能手机500的薄型便携终端的相机部。
并且，相机部541能够通过主控制部501的控制，将通过摄像获得的图像数据转换成例如JPEG(Joint Photographic coding Experts Group)等的压缩的图像数据，并记录于存储部550，或者能够通过外部输入输出部560和无线通信部510输出。图18所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限定于此，可搭载于显示输入部520的背面，或者也可以搭载有多个相机部541。另外，搭载有多个相机部541时，还能够切换用于进行摄影的相机部541来单独摄影、或者同时使用多个相机部541来进行摄影。
并且，相机部541能够利用于智能手机500的各种功能中。例如，能够在显示面板521显示通过相机部541获取的图像，或者作为操作面板522的操作输入之一利用相机部541的图像。并且，当GPS接收部570检测位置时，还能够参考来自相机部541的图像来检测位置。而且，还能够参考来自相机部541的图像，不使用三轴加速度传感器或者与三轴加速度传感器同时使用来判断智能手机500的相机部541的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部541的图像。
[其他]
本实施方式中，作为用于生成同时拍摄的不同特性的多个图像中的至少1个图像的各波长区域的像素，对每一微透镜分配RGB的三颜色的受光单元，但从多个波长获得1个输出的彩色图像传感器中除了三颜色(RGB等)的彩色图像传感器之外，还有其他2颜色的彩色图像传感器，因此可对每一微透镜分配2颜色的受光单元。
虽然识别数少于3颜色，但结构变得简单，因此根据用途，有时2颜色也充分，此时，可从各2个波长区域的颜色信号(颜色信息)获得1种图像输出。
因此，本发明的最小结构构成为，对Y个(Y＝3)的像素分配1个微透镜，而且对第1个组分配X个(X＝2)所感测的波长区域不同的受光单元来检测2种波长(2颜色感测)，对第2个组分配1个受光单元来检测1种波长。由此，能够使第1个组(2颜色感测)的有效数据采样数与微透镜的数相等，使第2组的采样数也与微透镜的数相等。
并且，作为输出用于生成1个图像的各波长区域的像素信号的受光单元，可代替RGB的受光单元的任一受光单元或除了RGB的受光单元之外，还分配具有与透明(白色)、翡翠色等其他颜色对应的滤色器的受光单元。而且，可分配具有截断可见光来仅使红外光透射的滤波器的受光单元，由此能够获取红外图像。
并且，本实施方式的多透镜中，将中央光学系统及环状光学系统中的一个设为广角光学系统并将另一个设为长焦光学系统，但并不限于此，例如，可考虑适用不同对焦距离的2种光学系统、不同空间频率特性(模糊)的2种光学系统等各种光学系统。
而且，本实施方式中，作为多透镜使用多个不同特性的光学系统被同心圆分割的透镜，但并不限于此，可以是上下4分割或者4分割为上下左右的摄像光学系统。
并且，图3所示的多透镜12的反射镜型的透镜结构中的反射镜并不限于凹面镜或凸面镜，可以是平面镜，并且，反射镜的个数也并不限于2个，也可设置3个以上。
并且，也可设置使中央光学系统及环状光学系统的共同透镜或图像传感器沿光轴方向移动的移动机构，并由此进行调焦。
并且，本实施方式中，作为光瞳分割构件使用阵列透镜16，但并不限于此，也可适用如下构件：在阵列透镜16的各微透镜16a的位置设置销孔，通过各销孔使多透镜的光瞳像入射于多个受光单元的构件；通过对每个受光单元设置的微透镜及遮光罩，使通过多透镜的不同特性的各区域的光束入射于不同受光单元的构件(例如，专利文献1)。
而且，本发明并不限定于上述的实施方式，当然能够在不脱离本发明精神的范围内进行各种变形。

Claims (14)

1.一种摄像模块，其同时拍摄特性不同的X个被摄体像，并对所述X个被摄体像中的至少1个被摄体像输出多个波长区域的像素信号，其中，X为2以上的整数，所述摄像模块具备：
多透镜，具有供被摄体光入射的X个区域，使特性在X个区域的每个区域中不同的被摄体像在相同像面上重叠并成像；
光瞳分割构件，按所述X个区域的每个区域分割所述多透镜的光瞳像；及
Y个光电转换器，与分别接收通过所述光瞳分割构件分割的X个光瞳像的X个受光区域对应配设，
其中，Y为X+1以上的整数，
所述X个受光区域中的至少1个受光区域中配设有多个光电转换器，
配设于所述1个受光区域的多个光电转换器输出所述多个波长区域的像素信号，
所述光瞳分割构件为由排列成2维状的微透镜构成的阵列透镜，并且该阵列透镜配设于所述光电转换器的入射面侧，并通过各个微透镜使所述多透镜的光瞳像入射于所述Y个光电转换器，
所述多透镜由中央的第1光学系统及设置于所述第1光学系统的周边部且特性与该第1光学系统不同的第2光学系统构成，
所述多透镜的第1光学系统为圆形的中央光学系统，所述第2光学系统为相对于所述中央光学系统配设成同心圆状的环状光学系统，
所述阵列透镜使通过各个微透镜分别入射于所述光电转换器上的光瞳像中相互相邻的与所述第2光学系统对应的环状光瞳像的一部分彼此在所述光电转换器上重叠。
2.根据权利要求1所述的摄像模块，其中，
所述多透镜中，所述第1光学系统及第2光学系统中的一个为广角光学系统，另一个为长焦光学系统。
3.根据权利要求1所述的摄像模块，其中，
在将所述光瞳分割构件及所述Y个光电转换器设为单元块时，所述单元块具有排列成格子状的3×3个光电转换器，
与所述第1光学系统对应的中央光瞳像入射于所述单元块的中央的光电转换器，
与所述第2光学系统对应的环状光瞳像入射于所述单元块的周围的8个光电转换器，
将排列成格子状的4×4个光电转换器作为基本块，该基本块沿水平方向及垂直方向被反复配置而构成图像传感器。
4.根据权利要求1至3中任一项所述的摄像模块，其中，
所述环状光学系统具有使光束反射2次以上的反射光学系统。
5.一种摄像模块，其同时拍摄特性不同的X个被摄体像，并对所述X个被摄体像中的至少1个被摄体像输出多个波长区域的像素信号，其中，X为2以上的整数，所述摄像模块具备：
多透镜，具有供被摄体光入射的X个区域，使特性在X个区域的每个区域中不同的被摄体像在相同像面上重叠并成像；
光瞳分割构件，按所述X个区域的每个区域分割所述多透镜的光瞳像；及
Y个光电转换器，与分别接收通过所述光瞳分割构件分割的X个光瞳像的X个受光区域对应配设，
其中，Y为X+1以上的整数，
所述X个受光区域中的至少1个受光区域中配设有多个光电转换器，
配设于所述1个受光区域的多个光电转换器输出所述多个波长区域的像素信号，
所述光瞳分割构件为由排列成2维状的微透镜构成的阵列透镜，并且该阵列透镜配设于所述光电转换器的入射面侧，并通过各个微透镜使所述多透镜的光瞳像入射于所述Y个光电转换器，
所述多透镜由中央的第1光学系统及设置于所述第1光学系统的周边部且特性与该第1光学系统不同的第2光学系统构成，
所述多透镜的第1光学系统为圆形的中央光学系统，所述第2光学系统为相对于所述中央光学系统配设成同心圆状的环状光学系统，
所述阵列透镜使通过各个微透镜分别成像于所述Y个光电转换器的光瞳像中相互相邻的与所述环状光学系统对应的环状光瞳像的一部分彼此在所述Y个光电转换器上重叠，并且使相互相邻的与所述中央光学系统对应的中央光瞳像和与所述第2光学系统对应的环状光瞳像的一部分重叠，
所述环状光学系统形成为与对应于所述中央光学系统的中央光瞳像重叠的环状光瞳像的一部分所对应的部分被遮光，或与对应于所述中央光学系统的中央光瞳像重叠的环状光瞳像的一部分所对应的部分欠缺。
6.根据权利要求5所述的摄像模块，其中，
所述环状光学系统具有使光束反射2次以上的反射光学系统。
7.一种摄像模块，其同时拍摄特性不同的X个被摄体像，并对所述X个被摄体像中的至少1个被摄体像输出多个波长区域的像素信号，其中，X为2以上的整数，所述摄像模块具备：
多透镜，具有供被摄体光入射的X个区域，使特性在X个区域的每个区域中不同的被摄体像在相同像面上重叠并成像；
光瞳分割构件，按所述X个区域的每个区域分割所述多透镜的光瞳像；及
Y个光电转换器，与分别接收通过所述光瞳分割构件分割的X个光瞳像的X个受光区域对应配设，
其中，Y为X+1以上的整数，
所述X个受光区域中的至少1个受光区域中配设有多个光电转换器，
配设于所述1个受光区域的多个光电转换器输出所述多个波长区域的像素信号，
所述光瞳分割构件为由排列成2维状的微透镜构成的阵列透镜，并且该阵列透镜配设于所述光电转换器的入射面侧，并通过各个微透镜使所述多透镜的光瞳像入射于所述Y个光电转换器，
所述多透镜由中央的第1光学系统及设置于所述第1光学系统的周边部且特性与该第1光学系统不同的第2光学系统构成，
所述多透镜的第1光学系统为圆形的中央光学系统，所述第2光学系统为相对于所述中央光学系统配设成同心圆状的环状光学系统，且该环状光学系统通过特性不同的第3光学系统与第4光学系统交替配置而成，
所述阵列透镜使通过各微透镜分别成像于所述Y个光电转换器的光瞳像中相互相邻的与所述环状光学系统的第3光学系统对应的第1环状光瞳像彼此在所述Y个光电转换器上重叠，并且使相互相邻的与所述环状光学系统的第4光学系统对应的第2环状光瞳像彼此在所述Y个光电转换器上重叠。
8.根据权利要求7所述的摄像模块，其中，
所述多透镜的中央光学系统为广角光学系统，所述环状光学系统的第3光学系统及第4光学系统分别为不同焦距的长焦光学系统。
9.根据权利要求7所述的摄像模块，其中，
所述多透镜的中央光学系统为广角光学系统，所述环状光学系统的第3光学系统及第4光学系统分别为不同摄影距离的长焦光学系统。
10.根据权利要求7所述的摄像模块，其中，
所述光电转换器排列成六方格子状，
在将所述光瞳分割构件及所述Y个光电转换器设为单元块时，所述单元块由1个中央的光电转换器及周围的6个光电转换器构成，
与所述中央光学系统对应的中央光瞳像入射于所述中央的光电转换器，与所述环状光学系统的第3光学系统对应的第1环状光瞳像入射于所述周围的6个光电转换器中从所述中央的光电转换器起向呈120度的3方向的3个光电转换器，与所述环状光学系统的第4光学系统对应的第2环状光瞳像入射于所述周围的6个光电转换器中从所述中央的光电转换器起向呈120度的3方向的其他3个光电转换器。
11.根据权利要求10所述的摄像模块，其中，
所述多透镜的中央光学系统为广角光学系统，所述环状光学系统的第3光学系统及第4光学系统分别为不同焦距的长焦光学系统。
12.根据权利要求10所述的摄像模块，其中，
所述多透镜的中央光学系统为广角光学系统，所述环状光学系统的第3光学系统及第4光学系统分别为不同摄影距离的长焦光学系统。
13.根据权利要求7至12中任一项所述的摄像模块，其中，
所述环状光学系统具有使光束反射2次以上的反射光学系统。
14.一种摄像装置，其具备：
权利要求1至13中任一项所述的摄像模块；及
图像生成部，在将所述光瞳分割构件及所述Y个光电转换器设为单元块时，根据从1个所述单元块内的光电转换器输出的像素信号，生成构成至少1个图像的1像素量的图像信号，所述至少1个图像由所述多个波长区域的信息构成。
CN201480067516.6A 2013-12-20 2014-12-08 摄像模块及摄像装置 Active CN105814882B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013263660A JP6151632B2 (ja) 2013-12-20 2013-12-20 撮像モジュール及び撮像装置
JP2013-263660 2013-12-20
PCT/JP2014/082391 WO2015093332A1 (ja) 2013-12-20 2014-12-08 撮像モジュール及び撮像装置

Publications (2)

Publication Number Publication Date
CN105814882A CN105814882A (zh) 2016-07-27
CN105814882B true CN105814882B (zh) 2018-10-02

Family

ID=53402681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067516.6A Active CN105814882B (zh) 2013-12-20 2014-12-08 摄像模块及摄像装置

Country Status (5)

Country Link
US (1) US10027918B2 (zh)
EP (1) EP3086546B1 (zh)
JP (1) JP6151632B2 (zh)
CN (1) CN105814882B (zh)
WO (1) WO2015093332A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9876946B2 (en) * 2015-08-03 2018-01-23 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
EP3131292B1 (en) * 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array
EP3339931B1 (en) * 2015-08-19 2021-09-22 FUJIFILM Corporation Lens device
JP6409134B2 (ja) 2015-08-19 2018-10-17 富士フイルム株式会社 撮像装置
EP3340605B1 (en) * 2015-08-19 2019-08-21 Fujifilm Corporation Imaging device, imaging method, program, and non-temporary recording medium
JP2018198344A (ja) * 2015-10-08 2018-12-13 富士フイルム株式会社 レンズ装置、撮像ユニット及び撮像装置
JP2018197765A (ja) * 2015-10-08 2018-12-13 富士フイルム株式会社 撮像装置
USD861211S1 (en) * 2015-12-08 2019-09-24 Coast Cutlery Co. Headlamp
USD843035S1 (en) * 2016-01-03 2019-03-12 Industrial Revolutions, Inc. Headlamp
USD812278S1 (en) * 2016-01-03 2018-03-06 Industrial Revolution, Inc. Headlamp assembly with adjustable head strap
JP6545829B2 (ja) 2016-01-18 2019-07-17 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
JPWO2018030213A1 (ja) * 2016-08-09 2019-06-13 ソニー株式会社 固体撮像素子、固体撮像素子の瞳補正方法、撮像装置及び情報処理装置
JP2020043435A (ja) * 2018-09-07 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理プログラム
EP3686642A1 (en) * 2019-01-24 2020-07-29 Depixus Multichannel close-up imaging device
TWI710793B (zh) 2019-08-23 2020-11-21 大立光電股份有限公司 光學攝影系統及電子裝置
JP2022085551A (ja) * 2020-11-27 2022-06-08 セイコーエプソン株式会社 画像処理装置
CN112911150A (zh) * 2021-01-29 2021-06-04 广州合易威视信息科技有限公司 一种目标区域高清人脸自动抓拍方法
KR102635554B1 (ko) * 2021-11-26 2024-02-13 국방과학연구소 이미지를 생성하기 위한 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101874219A (zh) * 2007-11-27 2010-10-27 伊斯曼柯达公司 双焦距透镜系统
CN103237162A (zh) * 2013-04-15 2013-08-07 华中科技大学 光学数据采集装置及产生输出与场景对应图像数据的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583746A (ja) * 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> ３次元表示装置
JPH0583746U (ja) * 1992-04-14 1993-11-12 コニカ株式会社 フィルム一体型カメラの多焦点レンズ
JP5302663B2 (ja) * 2008-12-24 2013-10-02 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP5359465B2 (ja) 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5246424B2 (ja) * 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
CN103155543B (zh) * 2010-10-01 2014-04-09 富士胶片株式会社 成像设备
GB2488519A (en) * 2011-02-16 2012-09-05 St Microelectronics Res & Dev Multi-channel image sensor incorporating lenslet array and overlapping fields of view.
EP2536153B1 (en) * 2011-04-22 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Image capture device, image capture system, and image capture method
JP5693379B2 (ja) * 2011-05-27 2015-04-01 富士フイルム株式会社 撮像装置
JP5634946B2 (ja) * 2011-06-06 2014-12-03 富士フイルム株式会社 撮像装置
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置
JP2013090059A (ja) 2011-10-14 2013-05-13 Sony Corp 撮像装置、画像生成システム、サーバおよび電子機器
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101874219A (zh) * 2007-11-27 2010-10-27 伊斯曼柯达公司 双焦距透镜系统
CN103237162A (zh) * 2013-04-15 2013-08-07 华中科技大学 光学数据采集装置及产生输出与场景对应图像数据的方法

Also Published As

Publication number Publication date
US10027918B2 (en) 2018-07-17
WO2015093332A1 (ja) 2015-06-25
EP3086546B1 (en) 2018-08-01
JP6151632B2 (ja) 2017-06-21
CN105814882A (zh) 2016-07-27
JP2015119456A (ja) 2015-06-25
US20160269667A1 (en) 2016-09-15
EP3086546A1 (en) 2016-10-26
EP3086546A4 (en) 2016-12-14

Similar Documents

Publication Publication Date Title
CN105814882B (zh) 摄像模块及摄像装置
CN105474626B (zh) 摄像装置
CN104520745B (zh) 摄像装置
CN106464788B (zh) 摄像装置
CN104584542B (zh) 图像处理装置、图像处理方法及摄像装置
CN105580348B (zh) 摄像装置及摄像方法
CN104838646B (zh) 图像处理装置、图像处理方法、程序及记录介质
CN104995912B (zh) 摄像装置、图像处理装置及图像处理方法
CN104782110B (zh) 图像处理装置、摄像装置及图像处理方法
CN104380168B (zh) 摄像装置及自动调焦方法
CN104995904B (zh) 摄像装置
EP2833624B1 (en) Solid-state image capture element, image capture device, and solid-state image capture element drive method
CN106464786B (zh) 摄像装置
CN104641626B (zh) 摄像装置及对焦确认显示方法
CN107431760A (zh) 摄像装置、摄像装置的图像处理方法以及程序
CN105008976B (zh) 摄像装置、信号处理方法、信号处理程序
CN105594197A (zh) 摄像装置及摄像方法
CN104350739A (zh) 摄像元件及摄像装置
CN104205827B (zh) 图像处理装置及方法、以及摄像装置
CN104205332A (zh) 摄像元件以及摄像装置
CN104365089A (zh) 摄像装置及图像显示方法
CN105409198B (zh) 摄像装置及图像处理方法
CN104396227B (zh) 摄像装置
CN110447223A (zh) 成像元件以及摄像装置
CN104584532B (zh) 图像处理装置、摄像装置、计算机、图像处理方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant