CN108432233B - 摄像装置及图像数据生成方法 - Google Patents

摄像装置及图像数据生成方法 Download PDF

Info

Publication number
CN108432233B
CN108432233B CN201680076743.4A CN201680076743A CN108432233B CN 108432233 B CN108432233 B CN 108432233B CN 201680076743 A CN201680076743 A CN 201680076743A CN 108432233 B CN108432233 B CN 108432233B
Authority
CN
China
Prior art keywords
image data
light receiving
pixel
optical system
interference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680076743.4A
Other languages
English (en)
Other versions
CN108432233A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108432233A publication Critical patent/CN108432233A/zh
Application granted granted Critical
Publication of CN108432233B publication Critical patent/CN108432233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种能够减少消除干扰之后的图像中出现的噪声的摄像装置及图像数据生成方法。使用具备不同摄像特性的多个光学系统的拍摄透镜(10)和在各像素具备不同干扰比例的多个受光传感器的图像传感器(100)，一次性地拍摄与各光学系统对应的图像的摄像装置(1)中，使图像传感器(100)的各像素所具备的受光传感器的数量(m)比拍摄透镜(10)所具备的光学系统的数量(n)多，即m＞n。由此，能够减少消除干扰之后的图像中出现的噪声。

Description

摄像装置及图像数据生成方法
技术领域
本发明涉及一种摄像装置及图像数据生成方法，尤其涉及一种通过使用具 备多个光学系统的拍摄透镜及各受光传感器关于光的入射角具有指向性的图像 传感器，能够一次性地拍摄多个图像的摄像装置及图像数据生成方法。
背景技术
已知有通过使用具备多个光学系统的拍摄透镜及各受光传感器关于光的入 射角具有指向性的图像传感器，能够一次性地拍摄多个图像的摄像装置(例如， 专利文献1)。该摄像装置中，用图像传感器的各受光传感器选择性地接收通过 拍摄透镜的各光学系统的光，由此拍摄与各光学系统对应的图像。但是，很难 用各受光传感器完全分离来自各光学系统的光来受光。其结果，产生干扰(串 扰)。干扰是来自其他光学系统的光混入并被受光的现象。若产生干扰，则会 拍摄重叠有其他光学系统的图像的图像(参考图13及图14)。专利文献2及3 中，提出有相互利用通过拍摄获得的各光学系统的图像，并通过信号处理，从各图像消除干扰的影响的方法。
以往技术文献
专利文献
专利文献1：国际公开第2013/018471号
专利文献2：国际公开第2013/146506号
专利文献3：日本特开2014-178190号公报
发明内容
发明要解决的技术课题
但是，通过拍摄获得的图像中，由于各种原因而产生噪声。噪声是随机产 生的细微的变动成分，在图像中表现为粗糙感。如专利文献2及3，通过信号处 理消除干扰的影响时，若处理对象的图像中包含噪声，则存在处理结果中也出 现噪声的影响的问题。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够减少消除干扰 之后的图像中出现的噪声的摄像装置及图像数据生成方法。
用于解决技术课题的手段
用于解决课题的方法如下。
(1)一种摄像装置，其具备：拍摄透镜，n设为满足n＞1的整数时，具备 不同摄像特性的n个光学系统；图像传感器，m设为满足m＞n的整数时，在各 像素具备不同干扰比例的m个受光传感器；一次图像数据生成部，从图像传感 器的各像素的各受光传感器获取图像信号，生成m个一次图像数据；及二次图 像数据生成部，对m个一次图像数据以像素单位实施干扰消除处理，生成与各 光学系统对应的n个二次图像数据。
以往，这种摄像装置中，图像传感器的各像素具备与拍摄透镜所具备的光 学系统的数量(n)相同的数量的受光传感器(n＝m)。例如，拍摄透镜所具备 的光学系统的数量(n)是2时，图像传感器的各像素所具备的受光传感器的数 量(m)也是2。本申请的发明人发现通过使各像素所具备的受光传感器的数量 (m)比光学系统的数量(n)多，能够减少在干扰消除处理之后获得的图像的噪 声。因此，本方式中，使图像传感器的各像素所具备的受光传感器的数量(m) 比光学系统的数量(n)多。由此，能够减少消除干扰之后的图像中出现的噪声。
另外，“干扰比例”是指从各光学系统接收的光的比例。例如，假设拍摄 透镜具备3个光学系统。将3个光学系统设为第1光学系统、第2光学系统、 第3光学系统。假设受光传感器中的干扰比例为第1光学系统∶第2光学系统∶ 第3光学系统＝0.8∶0.1∶0.1。此时，受光传感器中，若将总受光量设为1，则以 从第1光学系统受光0.8、从第2光学系统受光0.1、从第3光学系统受光0.1 的比例接收光。即，用受光传感器受光的光中，80％为来自第1光学系统的光， 10％为来自第2光学系统的光，10％为来自第3光学系统的光。
“干扰比例不同”是指从各光学系统接收的光的比例不同。因此，不同干扰 比例的受光传感器是指从各光学系统接收的光的比例不同的受光传感器。
并且，“干扰消除处理”是指从图像消除干扰的影响的处理。若产生干扰， 则会拍摄重叠有其他光学系统的图像的图像。通过干扰消除处理，分离其他光 学系统的图像并去除。
而且，“摄像特性”是指与拍摄相关的性质，“不同摄像特性的光学系统” 是指与拍摄相关的性质互不相同的光学系统。例如，是不同焦距的光学系统、 不同对焦距离的光学系统、不同透射波长特性的光学系统等。
(2)根据(1)的摄像装置，其中，将一次图像数据的像素值设为A1、A2、……、 Am，将二次图像数据的像素值设为B1、B2、……、Bn，将干扰比例设为C1＝C11∶ C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn时，二次 图像数据生成部作为干扰消除处理，求解以下联立方程式A1＝C11*B1+C12*B2 +……+C1n*Bn、A2＝C21*B1+C22*B2+……+C2n*Bn、……、Am＝Cml*B1+Cm2*B2+…… +Cmn*Bn来生成二次图像数据。
根据本方式，二次图像数据生成部作为干扰消除处理，求解以下联立方程 式A1＝C11*B1+C12*B2+……+C1n*Bn、A2＝C21*B1+C22*B2+……+C2n*Bn、……、 Am＝Cm1*B1+Cm2*B2+……+Cmn*Bn来生成二次图像数据。由此，能够减少消除干 扰之后的图像中出现的噪声。
(3)根据(1)所述的摄像装置，其中，将以一次图像数据的像素值A1、A 2、……、Am作为要素的m行1列的矩阵设为A，将以二次图像数据的像素值B1、 B2、……、Bn作为要素的n行1列的矩阵设为B，将以干扰比例C1＝C11∶C12∶……∶ C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn作为要素的m行n列的 矩阵设为C，将C的逆矩阵设为C-1时，二次图像数据生成部作为干扰消除处理， 求解以下矩阵方程式B＝C-1*A来生成二次图像数据。
根据本方式，二次图像数据生成部作为干扰消除处理，求解以下矩阵方程 式B＝C-1*A来生成二次图像数据。由此，能够减少消除干扰之后的图像中出现的 噪声。另外，矩阵C不规则时，计算矩阵C的一般逆矩阵来获取逆矩阵C-1。一般 逆矩阵例如能够通过Moor-Penrose逆矩阵等公知的方法计算。
(4)根据(3)的摄像装置，其还具备存储有逆矩阵C-1的信息的逆矩阵信息 存储部，二次图像数据生成部利用存储于逆矩阵信息存储部的逆矩阵C-1的信息， 求解矩阵方程式。
根据本方式，预先计算运算所需的逆矩阵C-1。由此，能够提高干扰消除的 处理速度。
(5)根据(4)的摄像装置，其中，逆矩阵信息存储部存储每个像素的逆矩 阵C-1的信息。
根据本方式，按每个像素计算逆矩阵C-1。由此，能够以高精度消除干扰。
(6)根据(1)至(5)中任一项的摄像装置，其还具备获取拍摄场景的信 息的拍摄场景信息获取部，二次图像数据生成部根据拍摄场景，变更二次图像 数据的生成中使用的一次图像数据的数量。
根据本方式，根据拍摄场景，变更二次图像数据的生成中使用的一次图像 数据的数量。例如，担心噪声的拍摄场景中，增加二次图像数据的生成中使用 的一次图像数据的数量。另一方面，并不担心噪声的拍摄场景中，减少二次图 像数据的生成中使用的一次图像数据的数量。由此，能够根据拍摄场景适当地 处理图像数据。在担心噪声的拍摄场景中，通过增加二次图像数据的生成中使 用的一次图像数据的数量，能够更加抑制噪声。另一方面，在并不担心噪声的 拍摄场景中，通过减少二次图像数据的生成中使用的一次图像数据的数量，能 够提高处理速度。
(7)根据(6)的摄像装置，其中，拍摄场景信息获取部分析一次图像数据， 确定拍摄场景。
根据本方式，分析一次图像数据来确定拍摄场景。由此，能够自动确定拍 摄场景。
(8)根据(1)至(7)中任一项的摄像装置，其中，受光传感器具备：光 电转换元件；微透镜，使拍摄透镜的射出瞳的像成像于光电转换元件；及遮光 罩，配置于微透镜与受光传感器之间，根据遮光罩的形状和/或微透镜的成像特 性不同，干扰比例不同。
根据本方式，各像素所具备的受光传感器具备光电转换元件、微透镜及遮 光罩而构成。并且，各受光传感器通过改变各个遮光罩的形状和/或微透镜的成 像特性，改变干扰比例。在此，“成像特性”是指与成像相关的性质，“微透 镜的成像特性不同”是指与微透镜的成像相关的性质互不相同。例如，是指微 透镜的透镜光焦度、倍率、成像位置等不同。
(9)根据(1)至(7)中任一项的摄像装置，其中，受光传感器具备：光 电转换元件；及微透镜，使拍摄透镜的射出瞳的像成像于光电转换元件，根据 微透镜的成像特性不同，干扰比例不同。
根据本方式，各像素所具备的受光传感器具备光电转换元件、微透镜而构 成。并且，各受光传感器通过改变各个微透镜的成像特性，改变干扰比例。
(10)根据(1)至(9)中任一项的摄像装置，其中，拍摄透镜所具备的n 个光学系统的焦距不同。
根据本方式，拍摄透镜所具备的各光学系统由焦距互不相同的光学系统构 成。由此，例如如长焦图像与广角图像，能够拍摄焦距互不相同的图像。
(11)根据(1)至(9)中任一项的摄像装置，其中，拍摄透镜所具备的n 个光学系统的对焦距离不同。
根据本方式，拍摄透镜所具备的各光学系统由对焦距离互不相同的光学系 统构成。由此，如对焦于近距离的被摄体的图像与对焦于远距离的被摄体的图 像，能够拍摄对焦距离互不相同的图像。
(12)根据(1)至(9)中任一项的摄像装置，其中，拍摄透镜所具备的n 个光学系统的透射波长特性不同。
根据本方式，拍摄透镜所具备的各光学系统由透射波长特性互不相同的光 学系统构成。“透射波长特性”是指使特定的波长区域的光透射的性质，“不 同透射波长特性的光学系统”是指使特定的波长区域的光透射的性质互不相同 的光学系统。例如，拍摄透镜由2个光学系统构成的情况如下，即，其中一个 光学系统由使红外光区域的光透射的光学系统构成，另一个光学系统由使可见 光区域的光透射的光学系统构成。
(13)根据(10)至(12)中任一项的摄像装置，其中，拍摄透镜所具备的 n个光学系统配置成同心状。
(14)一种利用摄像装置的图像数据生成方法，该摄像装置具备：拍摄透镜， n设为满足n＞1的整数时，具备不同摄像特性的n个光学系统；及图像传感器，m 设为m＞n的整数时，在各像素具备不同干扰比例的m个受光传感器，所述摄像装 置的图像数据生成方法具备：对图像传感器进行曝光的工序；从图像传感器的 各像素的各受光传感器获取图像信号，生成m个一次图像数据的工序；及对m个 一次图像数据以像素单位实施干扰消除处理，生成与各光学系统对应的n个二次 图像数据的工序。
本方式中，使图像传感器的各像素所具备的受光传感器的数量(m)比拍摄 透镜所具备的光学系统的数量(n)多。由此，能够减少消除干扰之后的图像中 出现的噪声。
(15)根据(14)的摄像装置的图像数据生成方法，其中，将一次图像数据 的像素值设为A1、A2、……、Am，将二次图像数据的像素值设为B1、B2、……、 Bn，将干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝ Cm1∶Cm2∶……∶Cmn时，作为干扰消除处理，求解以下联立方程式A1＝C11*B1+C12 *B2+……+C1n*Bn、A2＝C21*B1+C22*B2+……+C2n*Bn、……、Am＝Cm1*B1+Cm2*B2 +……+Cmn*Bn来生成二次图像数据。
本方式中，作为干扰消除处理，进行求解以下联立方程式A1＝C11*B1+C12*B 2+……+C1n*Bn、A2＝C21*B1+C22*B2+……+C2n*Bn、……、Am＝Cm1*B1+Cm2*B2 +……+Cmn*Bn的处理来生成二次图像数据的处理。由此，能够减少消除干扰之 后的图像中出现的噪声。
(16)根据(14)的摄像装置的图像数据生成方法，其中，将以一次图像数 据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以二次图像 数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以干扰比 例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn 作为要素的m行n列的矩阵设为C，将C的逆矩阵设为C-1时，作为干扰消除处理， 求解以下矩阵方程式B＝C-1*A来生成二次图像数据。
本方式中，作为干扰消除处理，进行求解以下矩阵方程式B＝C-1*A的处理来 生成二次图像数据。由此，能够减少消除干扰之后的图像中出现的噪声。另外， 矩阵C不规则时，计算矩阵C的一般逆矩阵来获取逆矩阵C-1。
根据本方式，拍摄透镜通过将多个光学系统配置成同心状来构成。
发明效果
根据本发明，能够减少消除干扰之后的图像中出现的噪声。
附图说明
图1是表示摄像装置的系统结构的框图。
图2是表示拍摄透镜的概略结构的主视图。
图3是图2的3-3剖视图。
图4是表示第1光学系统的概略结构的剖视图。
图5是表示第2光学系统的概略结构的剖视图。
图6是图像传感器的受光面的主视图。
图7是放大图像传感器的1个像素的主视图。
图8是表示受光传感器的概略结构的剖视图。
图9是表示受光传感器的一例的图。
图10是表示受光传感器的一例的图。
图11是从图像传感器的输出生成9个一次图像数据的概念图。
图12是从图像传感器的输出生成各个一次图像数据的概念图。
图13是表示第1一次图像数据FI1所表示的图像的一例的图。
图14是表示第2一次图像数据FI2所表示的图像的一例的图。
图15是表示第1二次图像数据SI1所表示的图像的图。
图16是表示第2二次图像数据SI2所表示的图像的图。
图17是第1一次图像数据的结构的概念图。
图18是第2一次图像数据的结构的概念图。
图19是以矩阵表现一次图像数据与二次图像数据之间的关系的概念图。
图20是表示一次图像数据与二次图像数据之间的关系的矩阵方程式。
图21是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。
图22是利用逆矩阵表示一次图像数据与二次图像数据之间的关系的矩阵方 程式。
图23是表示一次图像数据与二次图像数据之间的关系的概念图。
图24是以矩阵表现一次图像数据与二次图像数据之间的关系的概念图。
图25是表示一次图像数据与二次图像数据之间的关系的矩阵方程式。
图26是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。
图27是利用逆矩阵表示一次图像数据与二次图像数据之间的关系的矩阵方 程式。
图28是表示假设没有干扰时的一次图像数据与二次图像数据之间的关系的 曲线图。
图29是表示存在干扰时的一次图像数据与二次图像数据之间的关系的曲线 图。
图30是表示m＞n时的一次图像数据与二次图像数据之间的关系的曲线图。
图31是数字信号处理部所具备的功能的框图。
图32是表示摄像装置的第2实施方式的系统结构的框图。
图33是m＝n时生成的第1二次图像数据所表示的图像。
图34是m＝n时生成的第1二次图像数据所表示的图像。
图35是m＞n时生成的第1二次图像数据所表示的图像。
图36是m＞n时生成的第2二次图像数据所表示的图像。
具体实施方式
以下，根据附图，对本发明的优选实施方式进行详细说明。
[第1实施方式]
《摄像装置的装置结构》
图1是表示摄像装置的系统结构的框图。
摄像装置1主要具备拍摄透镜10、图像传感器100、透镜驱动控制部210、 图像传感器驱动控制部212、模拟信号处理部214、数字信号处理部216、显示 部218、工作存储器220、存储部222、媒体接口224、系统控制部226及操作 部228而构成。
<拍摄透镜>
图2是表示拍摄透镜的概略结构的主视图。图3是图2的3-3剖视图。
拍摄透镜10具备2个光学系统20及30。2个光学系统20及30配置成同 心状。因此，各光学系统20及30具有相同的光轴L。以下，将中央的光学系统 20称作第1光学系统，将外周的光学系统30称作第2光学系统，根据需要区别 各光学系统。
第1光学系统20及第2光学系统30由焦距互不相同的光学系统构成。第1 光学系统20由广角光学系统构成，第2光学系统30由长焦光学系统构成。在 此，广角光学系统是指焦距比标准的光学系统(视场角为50°前后的光学系统) 短的光学系统。并且，长焦光学系统是指焦距比标准的光学系统长的光学系统。
〔第1光学系统〕
图4是表示第1光学系统的概略结构的剖视图。另外，该图中，虚线表示 通过第1光学系统20的光的光线轨迹。
如图4所示，第1光学系统20由3组8个透镜构成。第1光学系统20在 第2透镜组与第3透镜组之间具有光圈22。光圈22具有环状的遮光部。光圈 22使环状的遮光部的内径扩大和收缩来调节通过第1光学系统20的光的光量。
〔第2光学系统〕
图5是表示第2光学系统的概略结构的剖视图。另外，该图中，虚线表示 通过第2光学系统30的光的光线轨迹。
如图5所示，第2光学系统30由所谓的反射光学系统构成。第2光学系统 30具备第1透镜30a、第2透镜30b、第3透镜30c、主镜30d及副镜30e。第 2光学系统30配置于第1光学系统20的外周，因此各构成要件形成为环状。
第1透镜30a、第2透镜30b及第3透镜30c从物体侧以第1透镜30a、第 2透镜30b、第3透镜30c的顺序沿着光轴L配置。
主镜30d具备于第3透镜30c的像面侧的面。主镜30d通过在第3透镜30c 的像面侧的面形成反射膜，一体具备于第3透镜30c。主镜30d具备于第3透镜 30c的像面侧的面的整面。
副镜30e具备于第2透镜30b的像面侧的面。副镜30e通过在第2透镜30b 的像面侧的面形成反射膜，一体具备于第2透镜30b。副镜30e具备于第2透镜 30b的像面侧的面的内周部分。
入射于第2光学系统30的光通过第1透镜30a、第2透镜30b、第3透镜 30c，入射于主镜30d。入射于主镜30d的光在主镜30d反射，再次通过第3透 镜30c入射于副镜30e。入射于副镜30e的光在副镜30e反射而出射。
第2光学系统30在副镜30e的后段具有光圈32。光圈32具有环状的遮光 部。光圈32扩大和收缩环状遮光部的外径，调整通过第2光学系统30的光的 光量。
〔共用透镜〕
拍摄透镜10具有在第1光学系统20及第2光学系统30中共用的共用透镜 40。通过第1光学系统20及第2光学系统30的光分别经由共用透镜40入射于 图像传感器100。共用透镜40具有调整经由第1光学系统20及第2光学系统 30入射于图像传感器100的光的入射角度的作用。
〔调焦机构〕
第1光学系统20及第2光学系统30分别独立地被调焦。第1光学系统20 通过使整个光学系统沿着光轴L前后移动来调焦。同样地，第2光学系统30通 过使整个光学系统沿着光轴L前后移动来调焦。虽未图示，但拍摄透镜10中具 备用于使第1光学系统20沿着光轴L前后移动的机构(调焦机构)及用于使第 2光学系统30沿着光轴L前后移动的机构(调焦机构)。
<图像传感器>
图6是图像传感器的受光面的主视图。
图像传感器100在受光面具备多个像素110。多个像素110以二维矩阵状排 列于受光面。
图7是放大图像传感器的1个像素的主视图。另外，该图中，斜线表示基 于遮光罩的遮罩区域。对于遮光罩，将进行后述。
图像传感器100在1个像素110具备多个受光传感器。多个受光传感器排 列为二维矩阵状。如图7所示，本实施方式的图像传感器100在1个像素110 具备9个受光传感器120a～120i。9个受光传感器120a～120i以3行3列(3×3) 的排列，配置为二维矩阵状。以下，将符号120a的受光传感器称作第1受光传 感器，将符号120b的受光传感器称作第2受光传感器，将符号120c的受光传 感器称作第3受光传感器，将符号120d的受光传感器称作第4受光传感器，将 符号120e的受光传感器称作第5受光传感器，将符号120f的受光传感器称作 第6受光传感器，将符号120g的受光传感器称作第7受光传感器，将符号120h 的受光传感器称作第8受光传感器，将符号120i的受光传感器称作第9受光传 感器，根据需要区别各受光传感器。
9个受光传感器120a～120i具有互不相同的干扰比例。“具有不同的干扰 比例”是指从各光学系统以不同比例接收光。即，各受光传感器120a～120i从 第1光学系统20及第2光学系统30以不同比例接收光。
图8是表示受光传感器的概略结构的剖视图。另外，该图中，以波浪线表 示的区域L1概念性地表示从第1光学系统20入射的光，以斜格表示的区域L2 概念性地表示从第2光学系统30入射的光。
各受光传感器120a～120i的基本结构相同。各受光传感器120a～120i具 备光电转换元件130、微透镜132及遮光罩134而构成。
光电转换元件130接收光，积蓄与所接收的光的强度成比例的电荷。光电 转换元件130例如由光电二极管构成。
微透镜132使第1光学系统20及第2光学系统30的射出瞳的像成像于光 电转换元件130。
遮光罩134配置于微透镜132与光电转换元件130之间。遮光罩134对通 过微透镜132的光的一部分进行遮光。
受光传感器120a～120i通过调整遮光罩134的形状，调整干扰比例。
图9是表示受光传感器的一例的图。该图(A)是受光传感器的剖视图(该 图(B)的A-A剖视图)，该图(B)是受光传感器的主视图。另外，该图(B) 中，以斜线表示的区域表示遮光罩134的遮光区域。
图9表示主要接收来自第1光学系统20的光的情况的一例。此时，如图9 (B)所示，遮光罩134设为在中央具备圆形开口部134A的形状。本例的受光 传感器120a～120i中，如图9(A)所示，来自第2光学系统30的光被遮光罩 134遮光，因此主要来自第1光学系统20的光被光电转换元件130受光。
图10是表示受光传感器的一例的图。该图(A)是受光传感器的剖视图(该 图(B)的A-A剖视图)，该图(B)是受光传感器的主视图。另外，该图(B) 中，以斜线表示的区域表示遮光罩134的遮光区域。
图10表示主要接收来自第2光学系统30的光的情况的一例。此时，如图 10(B)所示，遮光罩134设为具备环状开口部134A的形状。本例的受光传感 器120a～120i中，如图10(A)所示，来自第1光学系统20的光被遮光罩134 遮光，因此主要来自第2光学系统30的光被光电转换元件130受光。
如此，受光传感器120a～120i能够通过调整遮光罩134的形状，调整干扰 比例。
图像传感器100读取积蓄在各像素110的各受光传感器120a～120i的光电 转换元件130的电荷量，输出与电荷量相应的信号作为图像信号。通过对该图 像信号进行处理，能够获取与各光学系统对应的图像数据。对于该处理，将在 后面进行详细叙述。
<透镜驱动控制部>
透镜驱动控制部210根据来自系统控制部226的指令，控制拍摄透镜10的 驱动。即，为了调节第1光学系统20的焦点，控制第1光学系统20的调焦机 构的驱动，且为了调节第2光学系统30的焦点，控制第2光学系统30的调焦 机构的驱动。并且，为了调节第1光学系统20的光量，控制第1光学系统20 的光圈22的驱动，且为了调节第2光学系统30的光量，控制第2光学系统30 的光圈32的驱动。
<图像传感器驱动控制部>
图像传感器驱动控制部212根据来自系统控制部226的指令，控制图像传 感器100的驱动。即，控制来自图像传感器100的图像信号的读取。
<模拟信号处理部>
模拟信号处理部214读入从图像传感器100输出的模拟图像信号，实施规 定的模拟信号处理。并且，模拟信号处理部214将已实施规定的模拟信号处理 的图像信号转换为数字信号来输出。
<数字信号处理部>
数字信号处理部216读入转换为数字信号的图像信号，实施规定的信号处 理，从而生成与各光学系统对应的图像数据。对于该处理，将在后面进行详细 叙述。
<显示部>
显示部218例如由液晶显示器构成，显示已拍摄的图像或拍摄中的图像(所 谓的实时取景图像)。并且，显示部218根据需要，作为GUI(GUI：Graphical User Interface(图形用户界面))发挥功能。
<工作存储器>
工作存储器220例如由RAM(RAM：Random Access Memory(随机存取存储 器))构成，作为工作存储器发挥功能。
<存储部>
存储部222例如由EEPROM(EEPROM：Flectrically Erasable Programmable Read-Only Memory(电可擦除可编程只读存储器))等非易失性存储器构成。 存储部222中存储有控制所需的数据、信号处理所需的数据等。
<媒体接口>
媒体接口224根据来自系统控制部226的指令，对存储卡等外部存储器230 进行数据的读写。
<系统控制部>
系统控制部226集中控制整个摄像装置的动作。系统控制部226例如由具 备CPU(Central Processing Unit(中央处理器))、ROM(Read Only Memory (只读存储器))、RAM的微型计算机构成，执行规定的控制程序，控制整个摄 像装置1。控制所需的程序及各种数据存储于ROM。
<操作部>
操作部228具备电源按钮或快门按钮等各种操作按钮及其驱动电路而构成。 操作部228的操作信息输入至系统控制部226。系统控制部226根据来自操作部 228的操作信息控制各部。
摄像装置1如以上那样构成。
《与各光学系统对应的图像数据的生成处理》
<处理的概要>
如上所述，图像传感器100中，在各像素110具备9个受光传感器120a～ 120i。因此，通过获取与每个像素对应的受光传感器的图像信号，能够通过1 次拍摄生成9个图像数据。但是，该9个图像数据中产生有干扰。因此，本实 施方式的摄像装置1中，对通过拍摄获得的9个图像数据实施干扰消除处理， 生成与各光学系统对应的图像数据。以下，对各处理进行说明。
另外，以下内容中，将从图像传感器100的各像素获取所对应的受光传感 器的图像信号来生成的9个图像数据称作一次图像数据，将对该9个一次图像 数据实施干扰消除处理来生成的图像数据称作二次图像数据，根据需要，区别 两者。
<一次图像数据的生成>
图11是从图像传感器的输出生成9个一次图像数据的概念图。
一次图像数据通过从图像传感器100的各像素110获取所对应的受光传感 器120a～120i的图像信号来生成。
例如，通过从图像传感器100的各像素110获取第1受光传感器120a的图 像信号，生成与第1受光传感器120a对应的一次图像数据。同样地，通过从图 像传感器100的各像素110获取第2受光传感器120b的图像信号，生成与第2 受光传感器120b对应的一次图像数据。
在此，将用从各像素110的第1受光传感器120a获取的图像信号生成的一 次图像数据设为第1一次图像数据FI1，将用从各像素110的第2受光传感器 120b获取的图像信号生成的一次图像数据设为第2一次图像数据FI2，将用从 各像素110的第3受光传感器120c获取的图像信号生成的一次图像数据设为第 3一次图像数据FI3，将用从各像素110的第4受光传感器120d获取的图像信 号生成的一次图像数据设为第4一次图像数据FI4，将用从各像素110的第5受 光传感器120e获取的图像信号生成的一次图像数据设为第5一次图像数据FI5， 将用从各像素110的第6受光传感器120f获取的图像信号生成的一次图像数据设为第6一次图像数据FI6，将用从各像素110的第7受光传感器120g获取的 图像信号生成的一次图像数据设为第7一次图像数据FI7，将用从各像素110的 第8受光传感器120h获取的图像信号生成的一次图像数据设为第8一次图像数 据FI8，将用从各像素110的第9受光传感器120i获取的图像信号生成的一次 图像数据设为第9一次图像数据FI9。
图12是从图像传感器的输出生成各个一次图像数据的概念图。尤其，该图 表示从图像传感器的输出生成第1一次图像数据FI1的情况。
如图12所示，第1一次图像数据FI1通过从图像传感器100的各像素110 获取第1受光传感器120a的图像信号来生成。例如，第1一次图像数据FI1的 像素位置(0，0)上的值(像素值)通过从位于图像传感器100的像素位置(0，0) 的第1受光传感器120a获取图像信号来生成。同样地，第1一次图像数据FI1 的像素位置(0，1)上的值(像素值)通过从位于图像传感器100的像素位置(0，1) 的第1受光传感器120a获取图像信号来生成。如此，第1一次图像数据FI1的 各像素的值(像素值)通过从位于图像传感器100的对应的像素110的第1受 光传感器120a获取图像信号来生成。
另外，像素位置(x，y)以xy坐标表示像素的位置。如下设定xy坐标。即， 如图6所示，图像传感器100中，将画面左上角作为坐标原点，将水平方向作 为x坐标，将垂直方向作为y坐标。此时，特定的像素的位置表现为(x，y)。 对于图像数据也相同，将画面左上角作为坐标原点，将水平方向作为x坐标， 将垂直方向作为y坐标。
其他一次图像数据也同样地，通过从图像传感器100的各像素110获取所 对应的受光传感器的图像信号来生成。
<二次图像数据的生成>
二次图像数据通过对一次图像数据以像素单位进行干扰消除处理来生成。 以下，对干扰消除处理进行说明。
〔干扰消除处理的基本概念〕
首先，对干扰消除处理的基本概念进行说明。在此，为了便于理解发明， 将拍摄透镜所具备的光学系统的数量(n)为2个、图像传感器的各像素所具备 的受光传感器的数量(m)为2个的情况为例，进行说明。
关于拍摄透镜所具备的2个光学系统，将其中一个光学系统设为第1光学 系统，将另一个光学系统设为长焦第2光学系统。第1光学系统由广角光学系 统构成，第2光学系统由长焦光学系统构成。
并且，关于各像素所具备的2个受光传感器，将其中一个受光传感器设为 第1受光传感器，将另一个受光传感器设为第2受光传感器。假设各像素所具 备的第1受光传感器为全部相同的干扰比例。同样地，假设各像素所具备的第2 受光传感器为全部相同的干扰比例。
将第1受光传感器的干扰比例设为C1＝C11∶C12，将第2受光传感器的干扰 比例设为C2＝C21∶C22。在此，关于第1受光传感器，干扰比例C1为C11∶C12表 示从第1光学系统及第2光学系统接收的光的比例为第1光学系统∶第2光学系 统＝C11∶C12。即，表示从第1光学系统以C11且从第2光学系统以C12的比例 接收光。同样地，关于第2受光传感器，干扰比例C2为C21∶C22表示从第1光 学系统及第2光学系统受光的光的比例为第1光学系统∶第2光学系统＝C21∶C22。
图像传感器在1像素具备2个受光传感器(第1受光传感器及第2受光传 感器)(m＝2)，因此通过1次拍摄生成2个一次图像数据。将基于第1受光传 感器的一次图像数据设为第1一次图像数据FI1，将基于第2受光传感器的一次 图像数据设为第2一次图像数据FI2。第1一次图像数据FI1以干扰比例 C1＝C11∶C12的比例产生干扰，第2一次图像数据FI2以干扰比例C2＝C21∶C22的 比例产生干扰。
图13是表示第1一次图像数据FI1所表示的图像的一例的图。并且，图14 是表示第2一次图像数据FI2所表示的图像的一例的图。另外，图13及图14 所示的例子中，示出了第1受光传感器的干扰比例C1为C11＞C12且第2受光 传感器的干扰比例C2为C21<C22的情况的例子。即，示出了第1受光传感器 构成为更多地接收来自第1光学系统的光，第2受光传感器构成为更多地接收 来自第2光学系统的光的情况的例子。此时，如图13所示，从第1受光传感器 获得的图像(第1一次图像数据FI1所表示的图像)成为除了原本的第1光学 系统的图像(广角图像)以外，还隐约重叠有第2光学系统的图像(长焦图像) 的图像。另一方面，如图14所示，从第2受光传感器获得的图像(第2一次图 像数据FI2所表示的图像)成为除了原本的第2光学系统的图像(长焦图像) 以外，还隐约重叠有第1光学系统的图像(广角图像)的图像。
作为二次图像数据，拍摄透镜所具备的光学系统的数量为2(m＝2)，因此 生成2个二次图像数据。将与第1光学系统对应的二次图像数据设为第1二次 图像数据SI1，将与第2光学系统对应的二次图像数据设为第2二次图像数据 SI2。
图15是表示第1二次图像数据SI1所表示的图像的图，图16是表示第2 二次图像数据SI2所表示的图像的图。如图15及图16所示，第1二次图像数 据SI1及第2二次图像数据SI2所表示的图像成为已消除干扰的影响的图像。
现在，将某一特定像素位置(x，y)上的第1一次图像数据FI1的像素值设 为A1，将第2一次图像数据FI2的像素值设为A2。并且，将所对应的像素中的 第1二次图像数据SI1的像素值设为B1，将第2二次图像数据SI2的像素值设 为B2。
第1二次图像数据SI1及第2二次图像数据SI2的各像素值B1及B2能够 通过求解以下联立方程式来计算。
A1＝C11*B1+C12*B2
A2＝C21*B1+C22*B2
即，第1一次图像数据FI1是以C11∶C12的比例包含第1二次图像数据SI1 的成分(含义与第1光学系统的成分相同)与第2二次图像数据SI2的成分(含 义与第2光学系统的成分相同)的数据。因此，若以式表示该关系，则成为 A1＝C11*B1+C12*B2。同样地，第2一次图像数据FI2是以C21∶C22的比例包含 第1二次图像数据SI1的成分(第1光学系统的成分)与第2二次图像数据SI2 的成分(第2光学系统的成分)的数据，因此若以式表示该关系，则成为 A2＝C21*B1+C22*B2。若以图表示该关系，则成为如图17及图18。
图17是第1一次图像数据的结构的概念图。
如该图所示，第1一次图像数据FI1以C11的比例包含第1二次图像数据 SI1的成分，且以C12的比例包含第2二次图像数据SI2的成分。若以式表示该 关系，则关于特定的像素位置(x，y)，成立A1＝C11*B1+C12*B2的关系。
图18是第2一次图像数据的结构的概念图。
如该图所示，第2一次图像数据FI2以C21的比例包含第1二次图像数据 SI1的成分，且以C22的比例包含第2二次图像数据SI2的成分。若以式表示该 关系，则关于特定的像素位置(x，y)，成立A2＝C21*B1+C22*B2的关系。
因此，通过以像素单位求解上述联立方程式，能够计算第1二次图像数据 SI1及第2二次图像数据SI2的各像素值B1、B2，并能够生成第1二次图像数 据SI1及第2二次图像数据SI2。并且，通过求解该联立方程式，能够生成消除 干扰的影响的图像数据(第1二次图像数据SI1及第2二次图像数据SI2)。
在此，关于联立方程式，能够使用矩阵来求解。
图19是以矩阵表现一次图像数据与二次图像数据之间的关系的概念图。并 且，图20是表示一次图像数据与二次图像数据之间的关系的矩阵方程式。
如图19及图20所示，若将以第1一次图像数据FI1及第2一次图像数据 FI2的像素值A1及A2作为要素的2行1列的矩阵设为A，将以第1二次图像数 据SI1及第2二次图像数据SI2的像素值B1及B2作为要素的2行1列的矩阵 设为B，将以第1受光传感器的干扰比例C1＝C11∶C12及第2受光传感器的干扰 比例C2＝C21∶C22作为要素的2行2列的矩阵设为C，则上述联立方程式能够表 现为A＝C*B。
并且，关于第1二次图像数据SI1及第2二次图像数据SI2的像素值B1及 B2，能够通过在上述矩阵方程式A＝C*B的两边乘以C的逆矩阵C-1来计算。即， 能够通过求解B＝C-1*A来计算。
图21是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。并且，图22是利用逆矩阵表示一次图像数据与二次图像数据之间的关系的 矩阵方程式。
如图21及图22所示，第1二次图像数据SI1及第2二次图像数据SI2的 像素值B1及B2能够通过在矩阵A乘以矩阵C的逆矩阵C-1来计算。
各像素所具备的受光传感器的干扰比例为已知，因此关于逆矩阵C-1，能够 预先获取。因此，若能够获取各一次图像数据的像素值A1及A2，则能够利用逆 矩阵C-1计算各二次图像数据的像素值B1及B2。
如上所述，通过对一次图像数据实施规定的运算处理(干扰消除处理)， 能够生成消除干扰的影响的二次图像数据。
〔成为m＞n的情况的干扰消除处理〕
成为m＞n的情况是指图像传感器的各像素所具备的受光传感器的数量(m∶m 是整数)比拍摄透镜所具备的光学系统的数量(n∶n是满足n＞1的整数)多的 情况。本实施方式的摄像装置1中，拍摄透镜10所具备的光学系统的数量(n) 为2，图像传感器100的各像素110所具备的受光传感器的数量(m)为9，因 此符合m＞n的情况。该情况下，干扰消除处理的基本的思考方式也相同。
图23是表示一次图像数据与二次图像数据之间的关系的概念图。
假设如下，即，图像传感器100的特定的像素位置(x，y)所具备的第1受 光传感器120a的干扰比例C1为C1＝C11∶C12，第2受光传感器120b的干扰比例 C2为C2＝C21∶C22，第3受光传感器120c的干扰比例C3为C3＝C31∶C32，第4受 光传感器120d的干扰比例C4为C4＝C41∶C42，第5受光传感器120e的干扰比例 C5为C5＝C51∶C52，第6受光传感器120f的干扰比例C6为C6＝C61∶C62，第7受 光传感器120g的干扰比例C7为C7＝C71∶C72，第8受光传感器120h的干扰比例 C8为C8＝C81∶C82，第9受光传感器120i的干扰比例C9为C9＝C91∶C92。
此时，第1一次图像数据FI1成为以C11∶C12的比例包含第1二次图像数 据SI1的成分(含义与第1光学系统20的成分相同)与第2二次图像数据SI2 的成分(含义与第2光学系统30的成分相同)的数据。若以式表示该关系，则 第1一次图像数据FI1关于特定的像素位置(x，y)，成立A1＝C11*B1+C12*B2 的关系。
第2一次图像数据FI2成为以C21∶C22的比例包含第1二次图像数据SI1 的成分与第2二次图像数据SI2的成分的数据。若以式表示该关系，则第2一 次图像数据FI2关于特定的像素位置(x，y)，成立A2＝C21*B1+C22*B2的关系。
即，将各一次图像数据的特定的像素位置(x，y)上的像素值设为A1、 A2、……、A9，将各二次图像数据的特定的像素位置(x，y)的像素值设为B1、 B2时，在各一次图像数据与二次图像数据之间，成立以下关系。
A1＝C11*B1+C12*B2
A2＝C21*B1+C22*B2
A3＝C31*B1+C32*B2
A4＝C41*B1+C42*B2
A5＝C51*B1+C52*B2
A6＝C61*B1+C62*B2
A7＝C71*B1+C72*B2
A8＝C81*B1+C82*B2
A9＝C91*B1+C92*B2
通过求解该联立方程式，能够计算第1二次图像数据SI1及第2二次图像 数据SI2的各像素值B1及B2，能够生成第1二次图像数据SI1及第2二次图像 数据SI2。并且，通过求解该联立方程式，能够生成消除干扰的影响的图像数据 (第1二次图像数据SI1及第2二次图像数据SI2)。
〔利用逆矩阵的解法〕
如上所述，关于联立方程式，能够利用矩阵来求解。
图24是用矩阵表现一次图像数据与二次图像数据之间的关系的概念图。并 且，图25是表示一次图像数据与二次图像数据之间的关系的矩阵方程式。
如图24及图25所示，若将以各一次图像数据FI1～FI9的特定的像素位置 (x，y)的像素值A1～A9作为要素的9行1列的矩阵设为A，将以各二次图像数 据SI1、SI2的特定的像素位置(x，y)的像素值B1及B2作为要素的2行1列 的矩阵设为B，将以各受光传感器120a～120i的干扰比例C1＝C11∶C12、 C2＝C21∶C22、……、C9＝C91∶C92作为要素的9行2列的矩阵设为C，则上述联 立方程式能够表现为A＝C*B。
并且，关于第1二次图像数据SI1及第2二次图像数据SI2的像素值B1及 B2，能够通过在上述矩阵方程式A＝C*B的两边乘以C的逆矩阵C-1来计算。即， 能够通过求解B＝C-1*A来计算。
图26是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。并且，图27是利用逆矩阵表示一次图像数据与二次图像数据之间的关系的 矩阵方程式。
如图26及图27所示，第1二次图像数据SI1及第2二次图像数据SI2的 像素值B1及B2能够通过在矩阵A乘以矩阵C的逆矩阵C-1来计算。
各像素所具备的受光传感器的干扰比例为已知，因此关于逆矩阵C-1，能够 预先获取。
另外，矩阵C不规则时，关于其逆矩阵C-1，计算矩阵C的一般逆矩阵来获 取逆矩阵C-1。一般逆矩阵例如能够通过Moor-Penrose逆矩阵等公知方法计算。
如此，关于二次图像数据，能够通过求解矩阵方程式B＝C-1*A来计算。并且， 通过求解该矩阵方程式B＝C-1*A，能够生成已消除干扰的影响的二次图像数据。
<设为m＞n时的效果>
如上所述，如果仅仅是消除干扰的影响，则设为m＝n即可。即，图像传感 器的各像素具备与拍摄透镜所具备的光学系统的数量相同的数量的受光传感器 即可。
但是，m＝n时，若一次图像数据中包含噪声，则存在该噪声的影响还出现在 二次图像数据中的问题。
本申请的发明人发现如下内容，即，通过设为m＞n，即，使图像传感器的 各像素所具备的受光传感器的数量(m)比拍摄透镜所具备的光学系统的数量(n) 多，能够减少消除干扰之后的图像中出现的噪声。以下，对该点进行研究。
〔噪声减少的机理〕
(1)m＝n时
首先，考虑m＝n的情况。为了便于说明，将拍摄透镜所具备的光学系统的 数量(n)设为2个。因此，图像传感器的各像素所具备的受光传感器的数量(m) 也是2个。将其中一个光学系统设为第1光学系统，将另一个光学系统设为第2 光学系统。并且，将其中一个受光传感器设为第1受光传感器，将另一个受光 传感器设为第2受光传感器，将第1受光传感器的干扰比例设为C1＝C11∶C12， 将第2受光传感器的干扰比例设为C2＝C21∶C22。此时，特定的像素位置(x，y) 上的一次图像数据及二次图像数据的关系成为A1＝C11*B1+C12*B2、 A2＝C21*B1+C22*B2。
(A)没有干扰时
没有干扰的情况是各受光传感器仅接收来自所对应的光学系统的光的情 况。即，是第1受光传感器仅接收来自第1光学系统的光，第2受光传感器仅 接收来自第2光学系统的光的情况。此时，第1受光传感器的干扰比例 C1＝C11∶C12成为C11＝1、C12＝0，第2受光传感器的干扰比例C2成为C21＝0、C22＝1。 因此，一次图像数据与二次图像数据之间的关系成为A1＝C11*B1、A2＝C22*B2。
图28是表示假设没有干扰时的一次图像数据与二次图像数据之间的关系的 曲线图。该图中，纵轴是第1二次图像数据的像素值B1，横轴是第2二次图像 数据的像素值B2。
图28中，以实线表示的直线α1是表示假设没有噪声时的式A1＝C11*B1的 直线。并且，以实线表示的直线α2是假设没有噪声时的式A2＝C22*B2的直线。
没有干扰时，一次图像数据与二次图像数据一对一对应。此时，出现在一 次图像数据的噪声仅出现在所对应的二次图像数据。
在一次图像数据中产生的噪声作为2个式的解的误差而出现。图28中，以 虚线表示的直线α1a及直线α1b是表示一次图像数据中显现噪声时的式A1＝ C11*B1的直线。并且，直线α2a及直线α2b是表示一次图像数据中显现噪声时 的式A2＝C22*B2的直线。若一次图像数据中出现噪声，则各式的直线振动。即， 各式的直线从以实线表示的位置平行移动。
各式的直线振动的范围是可能产生的误差的范围。若设为以虚线表示的直 线α1a、α1b及α2a、α2b的位置是可能产生的振动的最大的位置，则以斜线 表示的区域Sα成为可能产生的误差的范围。
没有干扰时，一次图像数据中出现的噪声仅出现在所对应的二次图像数据， 因此其影响是有限的。
(B)有干扰时
有干扰时，特定的像素位置(x，y)上的一次图像数据与二次图像数据的关 系成为A1＝C11*B1+C12*B2、A2＝C21*B1+C22*B2。
图29是表示有干扰时的一次图像数据与二次图像数据之间的关系的曲线 图。该图中，纵轴是第1二次图像数据的像素值，横轴是第2二次图像数据的 像素值。
图29中，以实线表示的直线β1是表示假设没有噪声时的式 A1＝C11*B1+C12*B2的直线。并且，以实线表示的直线β2是表示假设没有噪声 时的式A2＝C21*B1+C22*B2的直线。
如图29所示，有干扰时，各直线倾斜。干扰成分越增加，该倾角越变大。 并且，该倾角越变大，2个直线所呈的角度越宽。
如上所述，一次图像数据中产生的噪声作为2个式的解的误差而出现。图 29中，以虚线表示的直线β1a及直线β1b是表示一次图像数据中显现噪声时的 式A1＝C11*B1+C12*B2的直线。并且，直线β2a及直线β2b是表示一次图像数 据中显现噪声时的式A2＝C21*B1+C22*B2的直线。若在一次图像数据中出现噪声， 则各式的直线振动。
各式的直线振动的范围是可能产生的误差的范围。若设为以虚线表示的直 线β1a、β1b及β2a、β2b的位置是可能产生的振动的最大的位置，则以斜线 表示的区域Sβ成为可能产生的误差的范围。如图29所示，2个直线所呈的角 度越变宽，该范围越变大。如上所述，各受光传感器的干扰成分越增加，2个直 线所呈的角度越变大。因此，可以说干扰成分越增加，噪声所带来的影响越变 大。即，噪声易被放大。
(2)m＞n的情况
接着，考虑m＞n的情况。为了便于说明，将拍摄透镜所具备的光学系统的 数量(n)设为2个，将图像传感器的各像素所具备的受光传感器的数量(m) 设为3个。将其中一个光学系统设为第1光学系统，将另一个光学系统设为第2 光学系统，并将3个受光传感器分别设为第1受光传感器、第2受光传感器、 第3受光传感器。并且，将第1受光传感器的干扰比例设为C1＝C11∶C12，将第 2受光传感器的干扰比例设为C2＝C21∶C22，将第3受光传感器的干扰比例设为 C3＝C31∶C32。此时，特定的像素位置(x，y)上的一次图像数据及二次图像数据的关系成为A1＝C11*B1+C12*B2、A2＝C21*B1+C22*B2、A3＝C31*B1+C32*B2。
图30是表示m＞n的情况下的一次图像数据与二次图像数据之间的关系的 曲线图。该图中，纵轴是第1二次图像数据的像素值，横轴是第2二次图像数 据的像素值。
图30中，以实线表示的直线γ1是表示假设没有噪声时的式 A1＝C11*B1+C12*B2的直线。并且，以实线表示的直线γ2是表示假设没有噪声 时的式A2＝C21*B1+C22*B2的直线。并且，以实线表示的直线γ3是表示假设没 有噪声时的式A3＝C31*B1+C32*B2的直线。
并且，图30中，以虚线表示的直线γ1a、γ1b是表示在一次图像数据出现 噪声时的式A1＝C11*B1+C12*B2的直线。并且，以虚线表示的直线γ2a、γ2b是 表示在一次图像数据出现噪声时的式A2＝C21*B1+C22*B2的直线。并且，以虚线 表示的直线γ3a及γ3b是表示在一次图像数据出现噪声时的式 A3＝C31*B1+C32*B2的直线。
通过增加1个像素所具备的受光传感器的数量(m)，用于计算二次图像数 据的式的数量(直线的数量(＝m))增加。并且，通过该式的数量增加，其解 的分布会变得稳定。其结果，能够减少一次图像数据中产生的噪声对二次图像 数据带来的影响。
如此，通过增加用于计算二次图像数据的式的数量，能够减少在二次图像 数据出现的噪声的影响。解的稳定性通过增加用于计算二次图像数据的式的数 量，更加提高，因此优选每一像素所具备的受光传感器的数量较多。
并且，为更加提高稳定性，与具备干扰比例相近的受光传感器相比，更优 选具备具有各种干扰比例的受光传感器。即，优选使各受光传感器的干扰比例 具有偏差。
《数字信号处理部的结构》
上述的一系列信号处理由数字信号处理部216进行。数字信号处理部216 从图像传感器100的各像素的各受光传感器获取图像信号来生成一次图像数据， 且对该一次图像数据以像素单位实施干扰消除处理，生成与各光学系统对应的 二次图像数据。
图31是数字信号处理部所具备的功能的框图。
具备生成一次图像数据的一次图像数据生成部216A与生成二次图像数据的 二次图像数据生成部216B。
一次图像数据生成部216A从图像传感器的各像素获取所对应的受光传感器 的图像信号，生成m个一次图像数据。本实施方式的摄像装置1在图像传感器 100的各像素110具备9个(m＝9)受光传感器120a～120i，因此生成9个一次 图像数据。
二次图像数据生成部216B对在一次图像数据生成部216A生成的9个一次 图像数据，按每个像素实施干扰消除处理，生成与各光学系统对应的n个二次 图像数据。本实施方式的摄像装置1在拍摄透镜10具备2个(n＝2)光学系统， 因此生成2个二次图像数据。具体而言，生成与第1光学系统20对应的第1二 次图像数据及与第2光学系统30对应的第2二次图像数据。
干扰消除处理进行求解联立方程式A1＝C11*B1+C12*B2+……+C1n*Bn、 A2＝C21*B1+C22*B2+……+C2n*Bn、……、Am＝Cm1*B1+Cm2*B2+……+Cmn*Bn的处 理。本实施方式的摄像装置1中，m＝9、n＝2，因此通过求解联立方程式 A1＝C11*B1+C12*B2、A2＝C21*B1+C22*B2、A3＝C31*B1+C32*B2，生成与各光学系 统对应的二次图像数据。
二次图像数据生成部216B实施利用矩阵求解联立方程式的处理。即，求解 矩阵方程式B＝C-1*A来生成二次图像数据。运算中使用的逆矩阵C-1的信息存储于 存储部222。存储部222具备在其存储区域的一部分存储逆矩阵C-1的信息的逆 矩阵信息存储部222A。另外，逆矩阵C-1的信息以像素单位存储。
二次图像数据生成部216B按所处理的每个像素读取逆矩阵C-1的信息，实施 干扰消除处理。
《摄像装置中的处理的流程(图像数据生成方法)》
本实施方式的摄像装置中，以如下顺序生成记录用的图像数据：(1)基于 拍摄命令的曝光(曝光工序)；(2)基于曝光的一次图像数据的生成(一次图 像数据生成工序)；及(3)基于一次图像数据的二次图像数据的生成(二次图 像数据生成工序)。
记录用的拍摄(曝光)根据来自操作部228的命令来实施。在此，设为全 按快门按钮来发出记录用的拍摄的命令。摄影者在进行各光学系统的调焦之后， 全按快门按钮来发出记录用的拍摄的命令。
若快门按钮被全按，则首先实施测光处理。根据从系统控制部226、图像传 感器100获得的图像信号，计算EV值(EV：Exposure Value(曝光值))，确 定曝光。
若确定曝光，则以所确定的曝光，图像传感器100被曝光(曝光工序)。 通过曝光，在各受光传感器120a～120i的光电转换元件130积蓄电荷。图像传 感器100读取积蓄在各受光传感器120a～120i的光电转换元件130的电荷量， 输出与电荷量相应的图像信号。
从图像传感器100输出的图像信号经由模拟信号处理部214读入工作存储 器220。对读入到该工作存储器220的图像信号，由数字信号处理部216实施规 定的信号处理，由此生成与各光学系统对应的图像数据(第1二次图像数据及 第2二次图像数据)。即，按每个像素获取各受光传感器的图像信号，生成9 个一次图像数据(一次图像数据生成工序)，并对该9个一次图像数据实施干 扰消除处理，由此生成与各光学系统对应的图像数据(第1二次图像数据及第2 二次图像数据)(二次图像数据生成工序)。所生成的图像数据(第1二次图像数据及第2二次图像数据)根据需要转换成规定格式的数据形式，记录于外 部存储器230。
如此，根据本实施方式的摄像装置1，能够通过1次操作同时拍摄与各光学 系统对应的图像。
并且，生成与各光学系统对应的图像数据(第1二次图像数据及第2二次 图像数据)时，通过根据9个一次图像数据来生成图像数据，能够减少噪声。
[第2实施方式]
图32是表示摄像装置的第2实施方式的系统结构的框图。
本实施方式的摄像装置1与上述第1实施方式的摄像装置的不同点在于， 还具备拍摄场景信息获取部232。
拍摄场景信息获取部232获取拍摄场景的信息。拍摄场景的信息是关于拍 摄何种场景的信息。例如，人像、集体照片、风景、夜景、运动、宏等的信息 相当于此。
本实施方式的摄像装置1中，根据拍摄场景信息获取部232中获取的拍摄 场景的信息，切换数字信号处理部216中的处理内容。具体而言，切换二次图 像数据的生成中使用的一次图像数据的数量。
如上所述，在二次图像数据产生的噪声能够通过增加一次图像数据的数量 来减少。另一方面，所容许的噪声的电平根据每个拍摄场景而不同。例如，与 风景相比，人像要求高电平且低噪声。
因此，本实施方式的摄像装置1中，根据拍摄场景切换二次图像数据的生 成中使用的一次图像数据的数量。例如，担心噪声的拍摄场景中，增加二次图 像数据的生成中使用的一次图像数据的数量。由此，能够抑制产生噪声。另一 方面，不担心噪声的拍摄场景中，减少二次图像数据的生成中使用的一次图像 数据的数量。由此，能够减少伴随干扰消除处理的运算负荷，能够提高处理速 度。
本实施方式的摄像装置1中，拍摄场景的信息由用户经由操作部228输入。 拍摄场景信息获取部232获取经由操作部228输入的信息，获取拍摄场景的信 息。输入通过由用户选择预先准备的拍摄场景来进行。例如，作为拍摄场景， 事先准备人像、集体照片、风景、夜景、运动、宏等的场景。
系统控制部226根据拍摄场景信息获取部232中获取的拍摄场景的信息， 切换二次图像数据的生成中使用的一次图像数据的数量。预先确定拍摄场景与 二次图像数据的生成中使用的一次图像数据的数量之间的关系，用表进行管理。 表中还记录所使用的一次图像数据的信息。即，还记录关于使用基于哪个位置 的受光传感器的一次图像数据的信息。该表存储于存储部222。系统控制部226 参考存储于存储部222的表，确定二次图像数据的生成中使用的一次图像数据。
数字信号处理部216根据基于系统控制部226的命令，进行二次图像数据 的生成。即，使用系统控制部226中发出命令的一次图像数据，进行干扰消除 处理，生成二次图像数据。
如此，本实施方式的摄像装置1中，根据拍摄场景，变更二次图像数据的 生成中使用的一次图像数据的数量。由此，能够适当生成二次图像数据。
另外，上述实施方式中，设为由用户输入拍摄场景的信息的结构，但还能 够设为分析通过拍摄获得的图像，自动确定拍摄场景的结构。此时，拍摄场景 信息获取部作为图像解析部发挥功能，分析至少1个一次图像数据来确定拍摄 场景。
[其他实施方式]
《图像传感器的变形例》
图像传感器的各像素所具备的受光传感器的数量(m)比拍摄透镜所具备的 光学系统的数量(n)多即可。即，满足m＞n即可。
另外，各像素所具备的受光传感器中，优选分散的干扰比例。即，与具备 干扰比例相近的多个受光传感器相比，优选具备干扰比例散乱的多个受光传感 器。
另外，上述实施方式中，通过以3行3列(3×3)排列的9个受光传感器 构成了图像传感器的1个像素，但构成1个像素的受光传感器的排列并不限定 于此。例如，1个像素由3个受光传感器构成时，能够由以1行3列(1×3)排 列的3个受光传感器构成图像传感器的1个像素。并且，构成1个像素的受光 传感器可离散地配置于受光面上。
并且，上述实施方式中，为了便于说明，未提及彩色图像，但生成彩色图 像时，以规定的滤波器排列在各像素配置滤色器。
《调整干扰比例的方法》
上述实施方式中，通过遮光罩的形状调整各受光传感器的干扰比例，但调 整受光传感器的干扰比例的方法并不限定于此。此外，例如还能够通过改变微 透镜的成像特性来调整干扰比例。例如，能够通过改变微透镜的透镜光焦度、 倍率、成像位置等来改变干扰比例。此时，不需要遮光罩。
另外，还能够同时使用遮光罩与微透镜来调整干扰比例。即，还能够通过 改变遮光罩的形状与微透镜的成像特性双方来调整干扰比例。
《拍摄透镜的变形例》
上述实施方式中，在拍摄透镜具备2个光学系统，但拍摄透镜所具备的光 学系统的数量(n)并不限定于此。拍摄透镜中具备摄像特性互不相同的2个以 上的光学系统即可。
并且，上述实施方式中，拍摄透镜具备不同焦距的光学系统，但拍摄透镜 所具备的光学系统的种类并不限定于此。此外，例如可具备对焦距离互不相同 的光学系统。由此，如对焦于近距离的被摄体的图像与对焦于远距离的被摄体 的图像，能够同时拍摄对焦距离互不相同的图像。并且，例如，还可具备透射 波长特性互不相同的光学系统。由此，例如，通过具备使红外光区域的光透射 的光学系统及使可见光区域的光透射的光学系统，能够同时拍摄红外光图像与 可见光图像。
并且，上述实施方式中，设为多个光学系统配置成同心状的结构，但多个 光学系统的配置并不限定于此。例如，还能够设为将光轴为中心，沿圆周方向 分割区域，并在各区域配置光学系统的结构。
《干扰消除处理的变形例》
如上所述，干扰消除处理按每个像素进行，利用矩阵时，按每个像素读取 逆矩阵C-1的信息，实施干扰消除处理。因此，逆矩阵C-1的信息按每个像素存储 于逆矩阵信息存储部222A。另一方面，各像素所具备的受光传感器的干扰比例 在像素之间近似时，可确定成为代表的逆矩阵来实施干扰消除处理。即，可在 各像素中使用共同的逆矩阵来实施干扰消除处理。由此，能够减少运算负荷。 并且，还可将画面分割为多个区域，按每个区域确定共同的逆矩阵。
《干扰消除处理的一般化》
若将拍摄透镜所具备的光学系统的数量设为n，将图像传感器的各像素所具 备的受光传感器的数量设为m(m＞n)，则一次图像数据生成m个，二次图像数 据生成n个。此时，若将各一次图像数据的像素值设为A1、A2、……、Am，将 二次图像数据的像素值设为B1、B2、……、Bn，将干扰比例设为 C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn， 则数字信号处理部216作为干扰消除处理，求解以下联立方程式 A1＝C11*B1+C12*B2+……+C1n*Bn、A2＝C21*B1+C22*B2+……+C2n*Bn、……、 Am＝Cm1*B1+Cm2*B2+……+Cmn*Bn来生成二次图像数据。
以各受光传感器的干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn作为要素的m行n列的矩阵C不规则时，通过 计算矩阵C的一般逆矩阵来求解矩阵方程式。
实施例
为了确认本发明的效果，进行了以下实验。
模拟性地生成一次图像数据，并在设为m＝n的情况与设为m＞n的情况下， 进行了比较在二次图像数据出现的噪声的实验。
<一次图像数据的生成>
合成2个图像数据W及T来模拟性地生成了一次图像数据。所合成的图像 的数量相当于拍摄透镜所具备的光学系统的数量(n)。由于合成了2个图像数 据W及T，因此成为n＝2。
并且，所生成的一次图像数据的数量相当于图像传感器的各像素所具备的 受光传感器的数量(m)。因此，若将所生成的一次图像数据的数量设为2，则 成为m＝n。
并且，合成时的混合比例(合成2个图像数据W及T的比例)相当于各受 光传感器的干扰比例。例如，若以W∶T＝0.8∶0.2的混合比例合成2个图像数据W 及T，则所生成的一次图像数据的干扰比例为0.8∶0.2。
<m＝n时>
设为m＝2，生成2个一次图像数据(第1一次图像数据及第2一次图像数据)， 并对所生成的2个一次图像数据实施干扰消除处理，生成了2个二次图像数据 (第1二次图像数据及第2二次图像数据)。
第1一次图像数据的干扰比例设为W∶T＝0.8∶0.2，第2一次图像数据的干扰 比例设为W∶T＝0.2∶0.8。
图33是在m＝n的情况下生成的第1二次图像数据所表示的图像。并且，图 34是在m＝n的情况下生成的第2二次图像数据所表示的图像。
<m>n的情况>
设为m＝9，生成9个一次图像数据(第1一次图像数据、第2一次图像数据、 第3一次图像数据、第4一次图像数据、第5一次图像数据、第6一次图像数 据、第7一次图像数据、第8一次图像数据及第9一次图像数据)，并对所生 成的9个一次图像数据实施干扰消除处理，生成了2个二次图像数据(第1二 次图像数据及第2二次图像数据)。
设为如下，即，第1一次图像数据的干扰比例为W∶T＝0.9∶0.1，第2一次图 像数据的干扰比例为W∶T＝0.1∶0.9，第3一次图像数据的干扰比例为 W∶T＝0.8∶0.2，第4一次图像数据的干扰比例为W∶T＝0.2∶0.8，第5一次图像数 据的干扰比例为W∶T＝0.7∶0.3，第6一次图像数据的干扰比例为W∶T＝0.3∶0.7， 第7一次图像数据的干扰比例为W∶T＝0.6∶0.4，第8一次图像数据的干扰比例为 W∶T＝0.4∶0.6，第9一次图像数据的干扰比例为W∶T＝0.5∶0.5。
图35在m＞n的情况下生成的第1二次图像数据所表示的图像。并且，图 36是在m＞n的情况下生成的第2二次图像数据所表示的图像。
<比较>
如图33～图36所示，确认到通过设为m＞n，能够减少噪声。
符号说明
1-摄像装置，10-拍摄透镜，20-第1光学系统，22-光圈，30-第2光学系 统，30a-第1透镜，30b-第2透镜，30c-第3透镜，30d-主镜，30e-副镜，32- 光圈，40-共用透镜，100-图像传感器，110-像素，120a-第1受光传感器，120b- 第2受光传感器，120c-第3受光传感器，120d-第4受光传感器，120e-第5受 光传感器，120f-第6受光传感器，120g-第7受光传感器，120h-第8受光传感 器，120i-第9受光传感器，130-光电转换元件，132-微透镜，134-遮光罩，134A-开口部，210-透镜驱动控制部，212-图像传感器驱动控制部，214-模拟信号处理部，216-数字信号处理部，216A-一次图像数据生成部，216B-二次图像数据生成部，218-显示部，220-工作存储器，222-存储部，222A-逆矩阵信息存储部， 224-媒体接口，226-系统控制部，228-操作部，230-外部存储器，232-拍摄场景信息获取部，FI1-第1一次图像数据，FI2-第2一次图像数据，FI3-第3一次图像数据，FI4-第4一次图像数据，FI5-第5一次图像数据，FI6-第6一次图像数据，FI7-第7一次图像数据，FI8-第8一次图像数据，FI9-第9一次图像数据，SI1-第1二次图像数据，SI2-第2二次图像数据，L-光轴，L1-区域， L2-区域，Sβ-区域，Sα-区域。

Claims (14)

1.一种摄像装置，具备：
拍摄透镜，在将n设为满足n＞1的整数时，具备摄像特性不同的n个光学系统；
图像传感器，在将m设为满足m＞n的整数时，每个像素具备m个受光传感器，该m个受光传感器具有互不相同的干扰比例，其中，所述干扰比例是指从各所述光学系统接收的光的比例；
一次图像数据生成部，从所述图像传感器的各像素的各所述受光传感器获取图像信号，生成与各所述受光传感器对应的m个一次图像数据；及
二次图像数据生成部，对m个所述一次图像数据以像素单位实施干扰消除处理，生成与各所述光学系统对应的n个二次图像数据，
将所述一次图像数据的像素值设为A1、A2、……、Am，将所述二次图像数据的像素值设为B1、B2、……、Bn，将所述干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn时，作为所述干扰消除处理，所述二次图像数据生成部对以下联立方程式A1＝C11*B1+C12*B2+……+C1n*Bn、A2＝C21*B1+C22*B2+……+C2n*Bn、……、Am＝Cm1*B1+Cm2*B2+……+Cmn*Bn进行求解来生成所述二次图像数据。
2.根据权利要求1所述的摄像装置，其中，
将以所述一次图像数据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以所述二次图像数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以所述干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn作为要素的m行n列的矩阵设为C，将C的逆矩阵设为C-1时，作为所述干扰消除处理，所述二次图像数据生成部对以下矩阵方程式B＝C-1*A进行求解来生成所述二次图像数据。
3.根据权利要求2所述的摄像装置，其中，
所述摄像装置还具备存储有所述逆矩阵C-1的信息的逆矩阵信息存储部，
所述二次图像数据生成部利用存储于所述逆矩阵信息存储部的所述逆矩阵C-1的信息，对所述矩阵方程式进行求解。
4.根据权利要求3所述的摄像装置，其中，
所述逆矩阵信息存储部存储每个所述像素的所述逆矩阵C-1的信息。
5.根据权利要求1或2所述的摄像装置，其中，
所述摄像装置还具备获取拍摄场景的信息的拍摄场景信息获取部，
所述二次图像数据生成部根据所述拍摄场景变更所述二次图像数据的生成中使用的所述一次图像数据的数量。
6.根据权利要求5所述的摄像装置，其中，
所述拍摄场景信息获取部分析所述一次图像数据来确定所述拍摄场景。
7.根据权利要求1所述的摄像装置，其中，
所述受光传感器具备：
光电转换元件；
微透镜，使所述拍摄透镜的射出瞳的像成像于所述光电转换元件；及
遮光罩，配置于所述微透镜与所述受光传感器之间，
干扰比例随所述遮光罩的形状和/或所述微透镜的成像特性不同而不同。
8.根据权利要求1所述的摄像装置，其中，
所述受光传感器具备：
光电转换元件；及
微透镜，使所述拍摄透镜的射出瞳的像成像于所述光电转换元件，
干扰比例随所述微透镜的成像特性不同而不同。
9.根据权利要求1所述的摄像装置，其中，
所述拍摄透镜所具备的n个所述光学系统的焦距不同。
10.根据权利要求1所述的摄像装置，其中，
所述拍摄透镜所具备的n个所述光学系统的对焦距离不同。
11.根据权利要求1所述的摄像装置，其中，
所述拍摄透镜所具备的n个所述光学系统的透射波长特性不同。
12.根据权利要求9所述的摄像装置，其中，
所述拍摄透镜所具备的n个所述光学系统配置成同心状。
13.一种利用摄像装置的图像数据生成方法，该摄像装置具备：拍摄透镜，在将n设为满足n＞1的整数时，具备摄像特性不同的n个光学系统；及图像传感器，在将m设为满足m＞n的整数时，每个像素具备m个受光传感器，该m个受光传感器具有互不相同的干扰比例，其中，所述干扰比例是指从各所述光学系统接收的光的比例，所述图像数据生成方法具备：
对所述图像传感器进行曝光的工序；
从所述图像传感器的各像素的各所述受光传感器获取图像信号，生成与各所述受光传感器对应的m个一次图像数据的工序；及
对m个所述一次图像数据以像素单位实施干扰消除处理，生成与各所述光学系统对应的n个二次图像数据的工序，
将所述一次图像数据的像素值设为A1、A2、……、Am，将所述二次图像数据的像素值设为B1、B2、……、Bn，将所述干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn时，作为所述干扰消除处理，对以下联立方程式A1＝C11*B1+C12*B2+……+C1n*Bn、A2＝C21*B1+C22*B2+……+C2n*Bn、……、Am＝Cm1*B1+Cm2*B2+……+Cmn*Bn进行求解来生成所述二次图像数据。
14.根据权利要求13所述的图像数据生成方法，其中，
将以所述一次图像数据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以所述二次图像数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以所述干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn作为要素的m行n列的矩阵设为C，将C的逆矩阵设为C-1时，作为所述干扰消除处理，对以下矩阵方程式B＝C-1*A进行求解来生成所述二次图像数据。
CN201680076743.4A 2016-01-18 2016-12-07 摄像装置及图像数据生成方法 Active CN108432233B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-007049 2016-01-18
JP2016007049 2016-01-18
PCT/JP2016/086289 WO2017126242A1 (ja) 2016-01-18 2016-12-07 撮像装置、及び、画像データ生成方法

Publications (2)

Publication Number Publication Date
CN108432233A CN108432233A (zh) 2018-08-21
CN108432233B true CN108432233B (zh) 2020-08-18

Family

ID=59362631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680076743.4A Active CN108432233B (zh) 2016-01-18 2016-12-07 摄像装置及图像数据生成方法

Country Status (5)

Country Link
US (1) US10691002B2 (zh)
EP (1) EP3407592B1 (zh)
JP (1) JP6545829B2 (zh)
CN (1) CN108432233B (zh)
WO (1) WO2017126242A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071253A1 (ja) * 2018-10-03 2020-04-09 富士フイルム株式会社 撮像装置
CN113038043B (zh) * 2021-03-25 2021-12-03 无锡物联网创新中心有限公司 一种传感器阵列电串扰消除方法
CN114650373A (zh) * 2022-03-21 2022-06-21 维沃移动通信有限公司 成像方法及装置、图像传感器、成像设备和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150672A (zh) * 2006-09-21 2008-03-26 松下电器产业株式会社 固体摄像装置、其驱动方法以及摄像机
CN102636473A (zh) * 2012-04-27 2012-08-15 四川大学 激发光偏离共线型光学系统检测装置及其检测方法
CN104380167A (zh) * 2012-04-25 2015-02-25 株式会社尼康 焦点检测装置、焦点调节装置及相机
WO2015093332A1 (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置
WO2015182488A1 (ja) * 2014-05-26 2015-12-03 コニカミノルタ株式会社 複眼撮像光学系及び複眼撮像装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5269425B2 (ja) * 2008-01-29 2013-08-21 株式会社東芝 固体撮像素子および固体撮像装置
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
CN103155543B (zh) * 2010-10-01 2014-04-09 富士胶片株式会社 成像设备
WO2013018471A1 (ja) 2011-07-29 2013-02-07 富士フイルム株式会社 撮像装置
WO2013024636A1 (ja) * 2011-08-16 2013-02-21 富士フイルム株式会社 撮像装置
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置
JP5623356B2 (ja) * 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
JP5647751B2 (ja) 2012-03-27 2015-01-07 富士フイルム株式会社 撮像装置及び撮像方法
CN104520745B (zh) * 2012-08-06 2016-09-28 富士胶片株式会社 摄像装置
JP6156724B2 (ja) 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
JP5886793B2 (ja) * 2013-06-11 2016-03-16 浜松ホトニクス株式会社 固体撮像装置
JP6286678B2 (ja) * 2013-07-12 2018-03-07 パナソニックＩｐマネジメント株式会社 撮像装置
JP6077967B2 (ja) 2013-08-27 2017-02-08 富士フイルム株式会社 撮像装置
US9438778B2 (en) * 2014-08-08 2016-09-06 Industrial Technology Research Institute Image pickup device and light field image pickup lens
KR102219784B1 (ko) * 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
JP2016127389A (ja) * 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
TWI552603B (zh) * 2015-05-19 2016-10-01 晶相光電股份有限公司 影像校正系統以及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150672A (zh) * 2006-09-21 2008-03-26 松下电器产业株式会社 固体摄像装置、其驱动方法以及摄像机
CN104380167A (zh) * 2012-04-25 2015-02-25 株式会社尼康 焦点检测装置、焦点调节装置及相机
CN102636473A (zh) * 2012-04-27 2012-08-15 四川大学 激发光偏离共线型光学系统检测装置及其检测方法
WO2015093332A1 (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置
WO2015182488A1 (ja) * 2014-05-26 2015-12-03 コニカミノルタ株式会社 複眼撮像光学系及び複眼撮像装置

Also Published As

Publication number Publication date
JPWO2017126242A1 (ja) 2018-10-25
EP3407592B1 (en) 2020-01-29
US20180299754A1 (en) 2018-10-18
JP6545829B2 (ja) 2019-07-17
CN108432233A (zh) 2018-08-21
WO2017126242A1 (ja) 2017-07-27
EP3407592A4 (en) 2018-12-12
EP3407592A1 (en) 2018-11-28
US10691002B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
CN102369721B (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
CN102396235B (zh) 产生具有减轻的移动模糊的全色图像
CN102365860B (zh) 利用彩色滤光片阵列图像产生全彩图像
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
WO2015045829A1 (ja) 撮像装置及び撮像方法
KR20140136727A (ko) 전자 센서와, 그의 제어 방법
US10674074B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on a plurality of parallax images
CN108432233B (zh) 摄像装置及图像数据生成方法
EP2866430A1 (en) Imaging apparatus and its control method and program
JP5525109B2 (ja) 撮像装置
JP5507761B2 (ja) 撮像装置
JP2006087088A (ja) 撮像装置および撮像方法
US9332205B2 (en) Image pickup element, image pickup apparatus, and image processing method
CN108605083B (zh) 摄像装置及图像数据生成方法
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
JP6929511B2 (ja) 撮像素子、及び、撮像装置
US20170155882A1 (en) Image processing apparatus, image processing method, imaging apparatus, and recording medium
CN117528239A (zh) 摄像模组、对焦方法、装置、电子设备及介质
JP2020127179A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant