CN104170377B - 图像处理装置、摄像装置 - Google Patents

图像处理装置、摄像装置 Download PDF

Info

Publication number
CN104170377B
CN104170377B CN201380014377.6A CN201380014377A CN104170377B CN 104170377 B CN104170377 B CN 104170377B CN 201380014377 A CN201380014377 A CN 201380014377A CN 104170377 B CN104170377 B CN 104170377B
Authority
CN
China
Prior art keywords
pixel
parallax
image
color component
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380014377.6A
Other languages
English (en)
Other versions
CN104170377A (zh
Inventor
石贺健
石贺健一
芝崎清茂
浜岛宗树
森晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN104170377A publication Critical patent/CN104170377A/zh
Application granted granted Critical
Publication of CN104170377B publication Critical patent/CN104170377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Abstract

获取含有第1像素的第1像素值、第2像素的第2像素值及第3像素的第3像素值的第1图像数据，第1像素具有构成被摄物体像的色彩的颜色成分的第1成分色的第1滤光片及与基准方向对应的无视差开口部，第2像素具有第2成分色的第2滤光片及相对于基准方向在一方向产生视差的视差开口部，第3像素具有第2滤光片及在与一方向相反的另一方向产生视差的视差开口部，对于第2像素的像素位置，对该像素位置的第2像素值和假想第3像素值进行平均化处理而计算第4像素值，对于第3像素的像素位置，对该像素位置的第3像素值和假想第2像素值进行平均化处理而计算第5像素值，使用第1像素值、第4像素值及第5像素值，生成2D图像数据的第2图像数据。

Description

图像处理装置、摄像装置
技术领域
本发明涉及图像处理装置、摄像装置及图像处理程序。
背景技术
已知使用单一摄像光学系统，通过一次拍摄生成相互具有视差的多个视差图像的摄像装置。
现有技术文献
专利文献1：日本特开2003－7994号公报
发明内容
在这种摄像装置中，作为视差像素和单一光学系统的组合所产生的固有现象，在视差图像间产生照度不一致等的失衡。在利用视差图像进行图像处理时，该视差图像间的失衡会产生不良影响。
本发明的第1方式中的图像处理装置，具有：获取部，其获取含有第1像素的第1像素值、第2像素的第2像素值以及第3像素的第3像素值的第1图像数据，其中，该第1像素具有构成被摄物体像的色彩的多个颜色成分中的第1成分色的第1滤光片及与基准方向对应的无视差开口部，该第2像素具有多个颜色成分中的第2成分色的第2滤光片及相对于基准方向在一个方向上产生视差的视差开口部，该第3像素具有第2滤光片及在与该一个方向相反的另一个方向上产生视差的视差开口部；计算部，其相对于第2像素的像素位置，对该像素位置处的第2像素值、使用周边的第3像素的第3像素值计算出的假想第3像素值进行平均化处理而计算出第4像素值，以及相对于第3像素的像素位置，对该像素位置处的第3像素值、使用周边的第2像素的第2像素值计算出的假想第2像素值进行平均化处理而计算出 第5像素值；以及图像生成部，其使用第1像素值、第4像素值及第5像素值，生成至少含有第1成分色和第2成分色的颜色信息在内的基准方向的作为2D图像数据的第2图像数据。
本发明的第2方式中的摄像装置是具有对被摄物体像进行拍摄的摄像元件、以及上述图像处理装置的摄像装置，其中，第1图像数据是基于摄像元件的输出而生成的。
本发明的第3方式中的图像处理程序，使计算机执行下述步骤，即：获取步骤，获取含有第1像素的第1像素值、第2像素的第2像素值以及第3像素的第3像素值的第1图像数据，其中，该第1像素具有构成被摄物体像的色彩的多个颜色成分中的第1成分色的第1滤光片及与基准方向对应的无视差开口部，该第2像素具有多个颜色成分中的第2成分色的第2滤光片及相对于基准方向在一个方向上产生视差的视差开口部，该第3像素具有第2滤光片及在与该一个方向相反的另一个方向上产生视差的视差开口部；计算步骤，相对于第2像素的像素位置，对该像素位置中的第2像素值、使用周边的第3像素的第3像素值计算出的假想第3像素值进行平均化处理而计算出第4像素值，相对于第3像素的像素位置，对该像素位置中的第3像素值、使用周边的第2像素的第2像素值计算出的假想第2像素值进行平均化处理而计算出第5像素值；以及图像生成步骤，使用第1像素值、第4像素值及第5像素值，生成至少含有第1成分色和第2成分色的颜色信息在内的基准方向上的作为2D图像数据的第2图像数据。
此外，上述的发明概要并没有例举出本发明的全部必要技术特征。另外，这些特征组的子组合也能够构成发明。
附图说明
图1是表示拜耳型G视差像素阵列及该阵列的频率空间中的分辨率的图。
图2是用于说明左右视差像素之间的照度不一致的问题的图。
图3是用于说明模糊了的被摄物体像的图。
图4是表示像素阵列图及该阵列的频率空间中的分辨率的图。
图5是表示像素阵列图及该阵列的频率空间中的分辨率的图。
图6是将无视差像素从全开口变换为半开口的说明图。
图7是说明数码相机10的结构的图。
图8是说明摄像元件100的剖面的结构的图。
图9是表示将摄像元件100的一部分放大后的情况的示意图。
图10是说明视差像素和被摄物体之间的关系的概念图。
图11是说明生成视差图像的处理的概念图。
图12是说明拜耳阵列的图。
图13是说明无视差像素中的散焦的概念的图。
图14是说明视差像素中的散焦的概念的图。
图15是表示无视差像素和视差像素的光强度分布的图。
图16是说明视差像素的种类为2种的情况下的开口部104的开口形状的图。
图17是表示视差像素的种类为2种的情况下的重复图案110的变例的一个例子的图。
图18是用于说明增益值的计算的图。
图19是用于说明增益修正的图。
图20是用于说明临时视差图像的生成的图。
图21是用于说明增益值的计算的图。
图22是用于说明局部增益修正的图。
图23是说明G成分的插补的图。
图24是说明彩色视差层数据的生成处理的图。
具体实施方式
以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的所有特征组合不必为发明的解决手段所必须的。
本实施方式所涉及的数码相机作为图像处理装置及摄像装置的 一个方式，构成为能够通过一次拍摄对一个场景生成多个视点数的图像。将视点彼此不同的各个图像称为视差图像。
在专利文献1中公开了一种摄像方式，其在单板式的拜耳阵列型的彩色固体成像元件上，在一半像素中铺满仅左开口的视差像素，剩余的一半像素中铺满仅右开口的视差像素，从而能够利用一台相机通过一次拍摄而形成立体图像。但是，在专利文献1中具有下述问题，即：没有写明从摄像数据生成左眼用和右眼用的彩色图像的具体方法，对于半开口的视差像素的摄像元件具有什么样的传感器特性，为了得到高析像的立体图像会遇到什么课题、且必须怎样应对则是完全没有记述。
本发明的目的在于，提供一种基于光学系统和传感器特性而生成高析像的立体图像的方法。根据本发明，能够使用具有左眼用和右眼用的半开口的视差像素的单板摄像元件，适当地应对在拍摄立体图像时发生的左眼用和右眼用像素之间的照度分布不一致的问题，从而生成高析像的右眼用和左眼用的图像。
首先，记述与单板摄像元件中具有左开口掩模和右开口掩模的视差像素的传感器特性相关的实验事实和用于得到高析像的立体图像的算法的思想。
考虑图1(上部)所示的拜耳型G视差像素阵列的情况。即，彩色滤光片阵列采用拜耳阵列构造，对一侧的G像素设置左开口的视差像素作为开口掩模，对另一侧的G像素设置右开口的视差像素作为开口掩模。此外，对R像素和B像素设置全开口的无视差像素。
与该阵列的空间频率相关的分辨率在图1(下部)示出。如果将像素间隔设为a，则传感器像素所持有的极限析像频率具有以虚线包围的奈奎斯特(Nyquist)频率kx＝[-π/a，+π/a]，ky＝[-π/a，+π/a]的范围的析像力。但是，若为了在1个传感器面上将彩色滤光片和开口掩模的种类多元化而分解为特定的开口掩模的特定色来观察极限析像频率，则极限析像频率仅仅保持了完全无法达到原本像素所具有的奈奎斯特频率的析像力。即，左视点的G成分的图像、右视点的G成 分的图像、无视差的中间视点的R成分的图像、无视差的中间视点的B成分的图像在传感器像素的x、y两个方向上都仅具有一半区域的kx＝[-π/(2a)，+π/(2a)]、ky＝[-π/(2a)，+π/(2a)]的范围的析像力。根据上述状况，即使生成了左视点的RGB彩色图像和右视点的RGB彩色图像，但基本上能够期待的只是kx＝[-π/(2a)，+π/(2a)]，ky＝[-π/(2a)，+π/(2a)]的范围的析像力程度的图像，像素无法提升至原本具有的奈奎斯特极限性能kx＝[-π/a，+π/a]，ky＝[-π/a，+π/a]。
针对这样的课题，假设如果能够成为在获取左视差像素和右视差像素的G成分的同时获取无视差的G成分的状况，则在构造上成为与无视差的通常的拜耳阵列相同的状况，能够使用现有的拜耳插补的技术，作为无视差的中间图像而生成直到图像原本的奈奎斯特频率kx＝[-π/a，+π/a]，ky＝[-π/a，+π/a]的范围均具备析像力的彩色图像。然后，在频率空间将仅具备小面积的析像力的左视点的图像和无视差的中间图像进行叠加，从而能够使最终的左视点的彩色图像以析像到图像原本的奈奎斯特频率的形式输出。对于右视点的彩色图像也是同样的。
可以预想到为了从由上述的有视差的G成分构成的拜耳阵列全部转换为无视差的拜耳阵列，需要在检测与左视差和右视差相当的位置偏移的基础上，需要增加一个转换为无视差状态所需的位移处理这一复杂的处理手续。即，需要用于消除视差的视差检测及位移处理。通常，位置偏移检测存在精度极限，这在实现方面也是一个较大的障碍。
即使假设顺利地进行了用于消除视差的位移处理，在实际中也会遇到另一个较大的障碍。即，由于视差像素的假想光瞳位置从中央偏移，所以左视差像素捕捉到被摄物体像而得到的图像的右侧较亮，左侧较暗。相反地，右视差像素的图像的左侧较亮，右侧较暗。即，即使是同一个被摄物体像，通过右视差像素和左视差像素捕捉到的也是照度完全不同的图像。这是由于，在作为拜耳阵列交替排列时，增益平衡完全不同的G像素进行了排列，从而导致在进行通常的拜耳插补 时，会产生格子图案(check pattern)状的伪构造。在实验上已经明确了光学系统的光圈值越大，左右的视差像素之间的照度分布的不一致越大。由此，即使是事先根据光学条件而拍摄同样面来掌握照度不匀的特性这一对策，也由于需要针对所有透镜的每一个存储全部的修正数据，现实中是很困难的。其情况在图2中示出。
实际上，无视拍摄到的数据的视差并将其假设为无视差的拜耳阵列而进行通常的拜耳插补的试验结果能够确认到，由于G像素的增益不一致而导致在图像整面产生格子图案，进而，由于视差偏移或增益的不一致性，图像各个位置都发生与视差偏移量相当的带状的色斑伪色。
这样，提出了一种基于单眼光瞳分割方式的被摄物体像的特性而同时解决视差像素之间的照度不一致的问题、和因视差导致的被摄物体位置不一致的问题的方法。即，如图14所示，在单眼光瞳分割方式的摄像中，对焦了的被摄物体像在左右视差像素中不产生视差偏移，仅在非对焦位置的被摄物体像中产生左右的视差偏移。即，视差仅包含在模糊的像中。如图3所示，模糊了的被摄物体像，能够通过简单地平均而生成没有视差的像。由此，在捕捉一像素单位的图像构造的变化那样的焦点位置处，即使取左右之间的视差平均，也会保持原样的没有变化的构造而生成摄像信号，另一方面，在模糊了的被摄物体像的位置处，通过取左右之间的视差平均，能够完全消除视差，并且还能够完全消除由于照度不均导致的增益不一致的问题，从而同时解决这2个问题。在实验中也非常惊异地确认到能够完美地解决这2个问题。这样，就打开了用于生成高析像度的无视差的中间图像的途径。即，无需事先进行同样面的拍摄这样的繁杂操作，直接利用被摄物体像自身的数据而修正左右之间的照度不均，能够实现单眼光瞳分割方式所特有的非常简单的解决对策。
此外，作为取平均的方法，存在算术平均和几何平均这两种方法，在算术平均的情况下，在中间位置生成将分离为2个的模糊幅度合计的较大模糊幅度的被摄物体像，在几何平均的情况下，在中间位置生 成与分离为2个的模糊幅度相同的模糊幅度的被摄物体像。在算术平均的情况下，形成具有与全开口的无视差像素相同的模糊幅度的被摄物体像，在几何平均的情况下，形成与半开口的视差像素相同的模糊幅度的被摄物体像。
此外，无视差的中间图像也能够作为现有的高析像的2维图像而进行显示器显示或打印输出。
<实施方式1>
---拜耳型G视差像素阵列---
示出使用以图1的上部的阵列图作为基本格子而周期性配置的摄像元件的例子。其倒格子空间的频率析像区域也针对各色和各视差的组合进行示出。如果将频率设为f，则以由k＝2πf所表示的波数k的k空间进行记述。频率析像区域通过由表示倒格子空间的晶胞(威格纳-赛兹原胞(Wigner-Seitz cell))的第一布里渊区(Brillouin zone)记述。通过以下处理，能够得到通过无视差的中间图像(基准图像)使频率析像向外侧延伸而接近奈奎斯特频率的效果。
流程图
1)色·视差多元化马赛克图像数据输入
2)色·视差马赛克图像的全局增益平衡修正
3)临时视差图像的生成
4)基于左右的局部照度分布修正而生成无视差色马赛克图像
(局部增益平衡修正)
5)无视差基准图像的生成
6)实际视差图像的生成
7)向输出色空间的变换
详细说明
1)色·视差多元化马赛克图像数据输入
图1的色和视差被多元化后的单板式马赛克图像：M(x，y)
灰阶为通过A/D转换而输出的线性灰阶。即，具有与光量成比例的像素值。有时也将其称为RAW数据。
2)色·视差马赛克图像的全局增益平衡修正
关于进入左视差像素的照度和进入右视差像素的照度，光圈越小，会产生不仅左右之间的相对分布差异变大，图像整体的平均信号电平也会出现较大差异这一现实问题，因此，在本阶段进行取得整体明亮度的整合的增益修正。因此，直接使用拍摄到的被摄物体像，计算左视差像素的像素值的图像整体平均值和右视差像素的像素值的图像整体的平均值这是基于如下假设：即使存在视差，也由于在左右视差像素捕捉了相同区域的被摄物体像，所以即使不对同样面进行拍摄，也能够从被摄物体像本身得到电平调合所需的信号信息。作为左右之间的基准点，以使得信号电平调合为平均值的方式进行增益修正。此时，基准点的取得方法有算术平均和几何平均这两种方法。
简单地将马赛克图像M(x，y)内的G成分的左视差像素的信号面表示为Ltmosaic(x，y)，将G成分的右视差像素的信号面表示为Rtmosaic(x，y)。
a)算术平均的情况
平均值
对左视差像素的增益值
对右视差像素的增益值
对左视差像素的全局增益修正
对右视差像素的全局增益修正
b)几何平均的情况
平均值
对左视差像素的增益值
对右视差像素的增益值
对左视差像素的全局增益修正
对右视差像素的全局增益修正
在本实施方式中采用算术平均。这样，将左视差像素以1个增益系数修正、右视差像素以1个增益系数修正而得到的马赛克图像作为M＇(x，y)输出。此外，本步骤也能够通过仅进行步骤4的局部增益修正而同时实现，因此，根据情况也可以省略。
3)临时视差图像的生成
生成空间频率析像度较低的分辨率的左视差图像和右视差图像。
进行仅集中了左视差像素的G色面内的单纯平均插补。使用相邻的像素值根据距离之比进行线性插补。相同地，进行仅集中了右视差像素的G色面内的单纯平均插补。即，基于Ltmosaic(x，y)生成Lt(x，y)，基于Rtmosaic(x，y)生成Rt(x，y)。
临时左视差图像：Lt(x，y)
临时右视差图像：Rt(x，y)
此外，在生成临时左视差图像Lt(x，y)和临时右视差图像Rt(x，y)时，也可以导入信号面内的方向判定而高精细地进行。
4)基于左右照度分布修正而生成无视差色马赛克图像
(局部增益平衡修正)
下面，以与步骤1中进行的全局增益修正相同的思路，进行像素单位的局部增益修正，从而使画面内的左视差像素和画面内的右视差像素的照度调合。由此，生成增益整合后的新拜耳面。这与替换为平均值等价，能够生成消除了视差的拜耳面。将其写作MN(x，y)。
在此情况下，对于作为各像素的基准点而整齐的目标值的设定方法，也存在选择算术平均的方法和选择几何平均的方法这两种。
a)算术平均的情况
各像素的平均值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
对左视差像素的各像素的局部增益修正
Lt(x，y)·gLt(x，y)＝m(x，y)
对右视差像素的各像素的局部增益修正
Rt(x，y)·gRt(x，y)＝m(x，y)
b)几何平均的情况
各像素的平均值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
对左视差像素的各像素的局部增益修正
Lt(x，y)·gLt(x，y)＝m(x，y)
对右视差像素的各像素的局部增益修正
Rt(x，y)·gRt(x，y)＝m(x，y)
对各像素实施局部增益修正的处理实际上仅代入最先求出的各像素的平均值即可。在该意义下，局部增益修正能够称为用于消除视差的调制处理。在本实施方式中采用算术平均。像这样将左视点的图像和右视点的图像的平均值作为新的G像素位置的无视差像素值，改写拜耳面的数据，输出无视差拜耳面的图像MN(x，y)。
5)无视差基准图像的生成
这样，能够根据取得G成分的照度平衡且消除了视差的拜耳面MN(x，y)，使用现有的颜色插补的技术，而将直到与传感器具备的像素数相当的奈奎斯特频率为止都具有分辨率的无视差的彩色图像生成为中间图像。例如，作为公知的拜耳插补技术的最优异的例子，具有与本申请人为同一发明人的US公开2010/021853所示的插补算法。在该技术中，导入了将与本申请人为同一发明人的提高方向判定的分辨率而对纵横的奈奎斯特频率进行析像的技术USP6,836,572、提高计算插值时的倾斜方向的分辨率的技术USP7,236,628、基于颜色判定法的适当伪色对策技术和提高方向判定的分辨率的技术USP7,565,007、基于彩色渐变判定法的适当伪色对策技术USP7,391,903和提高方向判定的分辨率的技术的应用进行综合使用而得到的最佳的高性能去马赛克技术。
以下并不示出上述内容的全部，仅取出提高负责亮度的G成分的纵横奈奎斯特析像和斜向析像的部分、以及为了提高R、B成分的分辨率而使用色差插补的部分进行记述。
5-1)通过灰阶变换而向伽玛空间的转移
为了进行上述的高析像的拜耳插补，进一步执行实现均匀噪声空间的灰阶变换，而在插补用的伽玛空间(图像处理空间)进行插值的预测。该方法是从与本申请人为同一发明人的USP7,957,588导入的方法。
将输入信号设为x，将输出信号设为y，将输入信号的灰阶和输 出信号的灰阶均定义在[0，1]的范围内。输入输出特性以通过(x，y)＝(0，0)及(1，1)的方式定义灰阶曲线(伽玛曲线)。如果将实际输入灰阶X的最大值设为Xmax，将输出灰阶Y的最大值设为Ymax，则x＝X/Xmax，y＝Y/Ymax，灰阶变换通过如下进行：
在这里，y＝f(x)的灰阶特性为
正偏移值ε设定为，越是成为暗电流噪声成分增加的高感光度的拍摄条件，正偏移值ε越大。
5-2)颜色插补处理
对于颜色插补处理的部分，仅将与本申请人为同一发明人的USP7,957,588(WO2006/006373)所示的简单处理再次重新记述。其中，(x，y)使用[i，j]的符号进行说明。另外，将灰阶变换后的MN面上的G成分用G符号进行参照，将R、B成分用Z符号进行参照。
在步骤S4中，CPU如下所示进行插补处理。在这里，将具有R成分的颜色信息的像素称为R像素，将具有B成分的颜色信息的像素称为B像素，将具有G成分的颜色信息的像素称为G像素，将与插补处理用的空间中的像素位置[i，j]所示出的像素对应的R成分的信号值以R[i，j]表示，G成分的信号值以G[i，j]表示，B成分的信号值以B[i，j]表示。
(方向判定)
CPU关于由像素位置[i，j]示出的非G像素的像素(R像素或B像素)，分别由下述算式(3)、(4)算出纵向的类似度CvN[i，j]、及横向的类似度ChN[i，j]。
[算式A]
Cv[i，j]＝{|G[i，j-1]-G[i，j+1]|+(|G[i，j-1]-Z[i，j]|+|G[i，j+1]-Z[i，j]|)/2}/2…(3)
Ch[i，j]＝{|G[i-1，j]-G[i+1，j]|+(|G[i-1，j]-Z[i，j]|+|G[i+1，j]-Z[i，j]|)/2}/2…(4)
其中，Z[i，j]是由像素位置[i，j]表示的R成分或B成分的信号值。第一项是表示2像素间隔的同色间的类似度的同色间类似度，第二项是表示相邻像素间隔的非同色间的类似度的非同色间类似度。非同色间类似度有对纵横的奈奎斯特频率进行析像的能力。
上述算式(3)、(4)中的第1项的绝对值是通过G色成分彼此进行比较而检测出大致的方向性的数值。上述算式(3)、(4)的第2项及第3项的绝对值是用于检测通过第1部分无法检测的精细类似性的数值。CPU分别按照各坐标计算出由上述算式(3)、(4)得到的纵向的类似度及横向的类似度，基于作为对象的坐标[i，j]中的纵横的类似度，通过下述算式(5)判定类似性的方向。
[算式B]
其中，Th是为了避免由于信号值含有的噪声导致的错误判定而使用的判定阈值，根据上述ISO感光度而变化。HV[i，j]示出与像素位置[i，j]相关的类似性的方向，HV[i，j]＝0的情况表示纵横两个方向类似，HV[i，j]＝1的情况表示纵向类似，HV[i，j]＝-1的情况表示横向类似。
(G插补)
CPU基于所判定的类似方向，利用R成分或B成分的凹凸信息而进行G成分的插补。即，能够通过观察位于插补对象位置的其他颜色成分的信息和位于附近的相同颜色的颜色成分的信息，判断图像构造是向上凸出还是向下凸出，从而得到是否应对仅基于周边的G成分的内分点插补所无法预测的外分点进行插补的信息。即，将通过其他颜色成分的采样而得到的高频成分的信息叠加在插补对象颜色成分上。关于G色插补，对于WO2006/006373的例如图4所示的中央R 像素的位置[i，j]，在纵向类似的情况下通过下述算式(6)及(9)计算，在横向类似的情况下通过下述算式(7)及(10)计算。对于B像素的位置进行G色插补的情况的像素位置由WO2006/006373的图5示出。
[算式C]
HV[i，j]＝1的情况下，G[i，j]＝Gv[i，j] (6)
HV[i，j]＝-1的情况下，G[i，j]＝Gh[i，j] (7)
HV[i，j]＝0的情况下，G[i，j]＝(Gv[i，j]+Gh[i，j])/2 (8)
Gv[i，j]＝(G[i，j-1]+G[i，j+1])/2+(2×Z[i，j]-Z[i，j-2]-Z[i，j+2])/4 (9)
Gh[i，j]＝(G[i-1，j]+G[i+1，j])/2+(2×Z[i，j]-Z[i-2，j]-Z[i+2，j])/4…(10)
其中，Z[i，j]是由像素位置[i，j]示出的R成分或B成分的信号值。通过针对第一项的插补对象的颜色成分的平均值，加上第二项的基于其他颜色成分的二次微分的修正项，从而产生提高倾斜方向的空间分辨率的作用。
上述算式(9)中的第1项表示相对于像素位置[i，j]纵向排列的G成分的信号值G[i，j-1]及G[i，j+1]计算出的平均值。上述算式(9)中的第2项表示根据纵向排列的R成分的信号值R[i，j]、R[i，j-2]及R[i，j+2]计算出的变化量。通过将G成分的信号值的平均值加上R成分的信号值的变化量，得到G成分的插值G[i，j]。由于这样的插补在G成分的内分点以外也能够预测，所以为了方便称为外插补。
上述算式(10)与上述纵向的外插补的情况相同地，使用相对于像素位置[i，j]横向排列的像素的信号值，沿横向进行外插补。
CPU在类似的方向分类为纵横两个方向的情况下，通过上述算式(9)及(10)分别求出G色插值，将算出的2个G色插值进行平均而作为G色插值。
(R插补)
R色插补对于WO2006/006373的例如图6所示的R像素的位置[i，j]以外的像素位置[i+1，j]、[i，j+1]、[i+1，j+1]，分别通过下述算式(11)～ (13)计算。此时，利用与基于上述G插补得到的全部像素位置对应的G成分信号值(WO2006/006373的图7)的凹凸信息。
[算式D]
R[i+1，j]＝(R[i，j]+R[i+2，j])/2+(2×G[i+1，j]-G[i，j]-G[i+2，j])/2 (11)
R[i，j+1]＝(R[i，j]+R[i，j+2])/2+(2×G[i，j+1]-G[i，j]-G[i，j+2])/2 (12)
R[i+1，j+1]＝(R[i，j]+R[i+2，j]+R[i，j+2]+R[i+2，j+2])/4
(13)
+(2×G[i+1，j+1]-G[i，j]-G[i+2，j]-G[i，j+2]＝G[i+2，j+2])/4
上述算式(11)～(13)中的第1项表示根据与成为R成分插补的对象的坐标相邻的R成分信号值计算出的平均值，上述算式(11)～(13)中的第2项表示根据成为R成分插补的对象的坐标及与该坐标相邻的G成分信号值计算出的变化量。即，与在G插补进行的外插补相同地，将R成分信号值的平均值加上G成分的信号值的变化量而得到R成分的插值。这与在R位置处生成色差Cr＝R-G，在该色差面内进行平均插补的方式等价。
(B插补)
关于B成分插补也与R成分相同地进行插补处理。对于WO2006/006373的例如图8所示的B像素的位置[i，j]以外的像素位置[i+1，j]、[i，j+1]、[i+1，j+1]，分别通过下述算式(14)～(16)计算。此时，利用与基于上述G插补得到的全部像素位置对应的G成分信号值(WO2006/006373的图9)的凹凸信息。
[算式E]
B[i+1，j]＝(B[i，j]+B[i+2，j])/2+(2×G[i+1，j]-G[i，j]-G[i+2，j])/2 (14)
B[i，j+1]＝(B[i，j]+B[i，j+2])/2+(2×G[i，j+1]-G[i，j]-G[i，j+2])/2 (15)
B[i+1，j+1]＝(B[i，j]+B[i+2，j]+B[i，j+2]+B[i+2，j+2])/4
(16)
+(2×G[i+1，j+1]-G[i，j]-G[i+2，j]-G[i，j+2]-G[i+2，j+2])/4
根据上述算式(14)～(16)，对B成分信号值的平均值加上G成分的信号值的变化量而得到B成分的插值。这与在B位置处生成色差Cb＝B-G，在该色差面内进行平均插补的方式等价。由于R成分及B成分的采样频率与G成分相比较低，所以利用色差R-G、色差B-G而反映G成分信号值所具有的高频成分。由此，将上述那样 的对色度成分的插补为了方便而称为色差插补。
5-3)通过逆灰阶变换而向原始线性灰阶空间的转变
对于进行了拜耳插补的RGB各色面，实施步骤5-1的逆灰阶变换而恢复线性灰阶的RGB数据。
由此，得到的无视差的RGB彩色图像以RN(x，y)、GN(x，y)、BN(x，y)表示。它们是用线性灰阶表示的RGB数据。
6)生成实际的视差图像
使用步骤3中生成的析像力较低的临时左视差图像Lt(x，y)和步骤5中作为中间处理而生成的析像力较高的无视差的彩色图像RN(x，y)、GN(x，y)、BN(x，y)，生成实际输出的析像力较高的左视差的彩色图像RLt(x，y)、GLt(x，y)、BLt(x，y)。相同地，使用步骤3中生成的析像力较低的临时右视差图像Rt(x，y)和步骤5中作为中间处理而生成的析像力较高的无视差的彩色图像RN(x，y)、GN(x，y)、BN(x，y)，生成实际输出的析像力较高的右视差的彩色图像RRt(x，y)、GRt(x，y)、BRt(x，y)。这由于是通过对临时视差图像具有的视差成分叠加而实现位移处理的，所以能够称为视差调制。
作为视差调制的方式，能够考虑具有将算术平均取为基准点的方法和将几何平均取为基准点的方法这2种。任一种都能够得到视差调制效果，但在摄像元件的无视差像素的开口掩模为全开口时，优选采用算术平均作为基准点的方式，在无视差像素的开口掩模为与有视差像素相同的半开口时，优选采用将几何平均作为基准点的方式。由此，在本实施方式中使用将算术平均作为基准点的方式。
a)将算术平均作为基准点的视差调制
左视差调制
右视差调制
b)将几何平均作为基准点的视差调制
左视差调制
右视差调制
像这样，可知在步骤6中定义的视差调制运算式、与在步骤4中定义的用于左右之间的照度不均修正的视差消除运算式(局部增益 平衡修正)乘以正好处于反比关系的项而施加调制。由此，在步骤6中向增加视差的方向工作，在步骤4中向消除视差的方向工作。
7)向输出色空间的变换
像这样得到的高析像的无视差的中间彩色图像RN(x，y)、GN(x，y)、BN(x，y)和高析像的左视差的彩色图像RLt(x，y)、GLt(x，y)、BLt(x，y)、以及高析像的右视差的彩色图像RRt(x，y)、GRt(x，y)、BRt(x，y)分别基于传感器的分光特性的照相机RGB而向标准sRGB色空间进行色矩阵变换和伽玛变换，从而输出为输出色空间的图像而。
效果1
作为基于了单眼光瞳分割方式特有的特性的解决方案，具有能够同时消除左右之间的照度分布不一致、以及因视差存在而导致的被摄物体位置不一致的效果。即，能够巧妙地利用仅在模糊中产生视差的这一被摄物体像的性质，通过平均操作而在尽可能地不降低空间析像的情况下，使视差偏移和照度差异这2个问题一致，从而生成无视差的中间图像。
效果2
能够原样继续利用现有的去马赛克技术的资产，能够生成高析像的图像。
补充1
图6是将无视差像素从全开口变换为半开口的说明图。
在实施方式1～3中，由于无视差像素具有左视差像素和右视差像素的开口面积之和即全开口时的模糊幅度，所以在用于在有视差像素中生成无视差像素值的照度分布修正中，采用了下述方法，即，对左右的视差像素值取算术平均，从而与拍摄到的无视差像素的被摄物体像的模糊幅度一致。而且，在最后施加视差调制时，如下所示进行调制，即，由于形成了无视差彩色图像与全开口的模糊幅度一致的被摄物体像，所以在保持固定比例的视差调制的分母，将基于左视点像和右视点像的算术平均而具有全开口的模糊幅度的像作为基准点，使 得视差调制后的左右彩色图像再次成为具有半开口的模糊幅度的像。
对此，实施方式1～3的无视差像素，在以与左视差像素和右视差像素形状相同且开口面积相同的开口掩模配置在像素的中央时，在用于在有视差像素中生成无视差像素值的照度分布修正中，采用下述方法，即，作为左右的视差像素值的平均值而使用几何平均，而与拍摄到的无视差像素的被摄物体像的模糊幅度一致。而且，在最后施加视差调制时，如下所示进行调制，即，由于形成了无视差色图像与半开口的模糊幅度一致的被摄物体像，所以在保持固定比例的视差调制的分母，将通过对左视点像和右视点像的几何平均而具有半开口的模糊幅度的像作为基准点，使得视差调制后的左右彩色图像再次成为具有半开口的模糊幅度的像。
即，在无视差像素具有全开口的掩模面积时，无论是用于照度不均修正的视差消除处理还是最后施加视差调制的处理，都优选进行以算术平均为基准点的运算。另一方面，在无视差像素具有半开口的掩模面积时，无论是用于照度不均修正的视差消除处理还是最后施加视差调制的处理，都优选进行以几何平均作为基准点的运算。
该思路在以下的实施方式中全部通用。
<实施方式2>
---拜耳型RGB稀疏的视差像素阵列---
示出使用以图4的上部的阵列图作为基本格子而周期性配置的摄像元件的例子。其倒格子空间的频率析像区域也以各色和各视差的组合进行示出。该阵列是捕捉到单眼光瞳分割方式的仅模糊了的被摄物体区域产生视差这一性质，将视差像素的密度进行稀疏配置，将剩余的像素尽可能分配为无视差像素的构造的摄像元件。无视差像素及有视差像素都以拜耳阵列作为基本构造，形成对左视差像素及右视差像素均配置了R∶G∶B＝1∶2∶1的彩色滤光片的构造。即，与实施方式1相比更重视基于原始信号捕捉的无视差的中间图像的析像力，通过视差调制将其高频成分叠加到左视差像素和右视差像素，由此得到高析像的立体图像。由此，形成具有在非对焦区域也得到高析像的2D图 像和3D图像的能力的色·视差阵列。
流程图：与实施方式1相同。
详细说明
1)色·视差多元化马赛克图像数据输入
图4的色和视差多元化后的单板式马赛克图像：M(x，y)
将灰阶设为通过A/D转换而输出的线性灰阶。
2)色·视差马赛克图像的全局增益平衡修正
直接使用拍摄到的被摄物体像，计算无视差像素的像素值的图像整体的平均值、左视差像素的像素值的图像整体的平均值和右视差像素的像素值的图像整体的平均值与实施方式1不同，存在3个信号电平。首先，作为左右之间的基准点，以使得信号电平调合为平均值的方式进行增益修正。此时，基准点的取得方法有算术平均和几何平均这两种方法。然后，在左右平均后的信号电平和无视差像素的信号电平之间进行几何平均，以使得信号电平调合为该平均值的方式进行增益修正。该手续对GRB的各个色成分进行。各自对应的平均值通过
而改写。
简单地将马赛克图像M(x，y)内的
R成分的无视差像素的信号面表示为RN_mosaic(x，y)，
R成分的左视差像素的信号面表示为RLt_mosaic(x，y)，
R成分的右视差像素的信号面表示为RRt_mosaic(x，y)，
G成分的左视差像素的信号面表示为GN_mosaic(x，y)，
G成分的无视差像素的信号面表示为GLt_mosaic(x，y)，
G成分的右视差像素的信号面表示为GRt_mosaic(x，y)，
B成分的无视差像素的信号面表示为BN_mosaic(x，y)，
B成分的左视差像素的信号面表示为BLt_mosaic(x，y)，
B成分的右视差像素的信号面表示为BRt_mosaic(x，y)。
a)左右之间算术平均的情况
平均值
对无视差像素的增益值
对左视差像素的增益值
对右视差像素的增益值
对无视差像素的全局增益修正
对左视差像素的全局增益修正
对右视差像素的全局增益修正
b)左右之间几何平均的情况
平均值
对无视差像素的增益值
对左视差像素的增益值
对右视差像素的增益值
对无视差像素的全局增益修正
对左视差像素的全局增益修正
对右视差像素的全局增益修正
在所有无视差像素具有全开口掩模时，采用算术平均型方式。在所有无视差像素具有半开口掩模时，采用几何平均型方式。由此，在本实施方式中采用算术平均型。这样，将无视差像素以1个增益系数修正、将左视差像素以1个增益系数修正、将右视差像素以1个增益系数修正而得到的马赛克图像作为M′(x，y)输出。
3)临时视差图像的生成
生成空间频率析像度较低的分辨率的临时左视差图像和临时右 视差图像。
进行仅集中了左视差像素的G色面内的单纯平均插补。使用相邻的像素值根据距离之比进行线性插补。相同地，进行仅集中了右视差像素的G色面内的单纯平均插补。相同地，进行仅集中了无视差像素的G色面内的单纯平均插补。将同样的处理对于R、G、B分别进行。即，基于RLt_mosaic(x，y)生成RLt(x，y)，基于RRt_mosaic(x，y)生成RRt(x，y)，基于RN_mosaic(x，y)生成RN(x，y)，基于GLt_mosaic(x，y)生成GLt(x，y)，基于GRt_mosaic(x，y)生成GRt(x，y)，基于GN_mosaic(x，y)生成GN(x，y)，基于BLt_mosaic(x，y)生成BLt(x，y)，基于BRt_mosaic(x，y)生成GRt(x，y)，基于BN_mosaic(x，y)生成GN(x，y)。
临时R成分的无视差图像：RN(x，y)
临时G成分的无视差图像：GN(x，y)
临时B成分的无视差图像：BN(x，y)
临时R成分的左视差图像：RLt(x，y)
临时G成分的左视差图像：GLt(x，y)
临时B成分的左视差图像：BLt(x，y)
临时R成分的右视差图像：RRt(x，y)
临时G成分的右视差图像：GRt(x，y)
临时B成分的右视差图像：BRt(x，y)
此外，在生成临时无视差图像RN(x，y)、GN(x，y)、BN(x，y)时，可以导入信号面内的方向判定而高精度地进行。
4)根据左右照度分布修正而生成无视差色马赛克图像
(局部增益平衡修正)
下面，以与步骤1中进行的全局增益修正相同的思路，进行像素单位的局部增益修正，从而首先使画面内的左视差像素和画面内的右视差像素的照度调合。通过该操作而消除左右之间的视差。在此基础上，使取得了左右平均的信号面和无视差像素的摄像信号面之间进一步进行照度调合。这样，生成在所有像素取得了增益整合后的新拜耳面。这与替换为平均值等价，能够生成消除了视差的拜耳面。将其 写作MN(x，y)。
在此情况下，对于作为各像素的基准点而整齐的目标值的设定方法，在消除左右之间的视差的方法中也存在选择算术平均的方法和选择几何平均的方法这两种。在所有无视差像素具有全开口的掩模面积时，为了使左右之间消除了视差的被摄物体像的模糊幅度与全开口的模糊幅度一致，需要选择算术平均型。另一方面，在所有无视差像素具有半开口的掩模面积时，为了使左右之间消除了视差的被摄物体像的模糊幅度与半开口的模糊幅度一致，需要选择几何平均型。
而且，在左右之间消除了视差的信号面和无视差像素的摄像信号面之间取得平均的操作，由于两者已经被调合为具有相同模糊幅度的被摄物体像，因此需要保存该模糊幅度。由此，此时共同地必须进行几何平均。下面举出上述内容的具体算式。
a)左右之间算术平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
对无视差像素的各像素的局部增益修正
对左视差像素的各像素的局部增益修正
对右视差像素的各像素的局部增益修正
b)左右之间几何平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
对无视差像素的各像素的局部增益修正
对左视差像素的各像素的局部增益修正
对右视差像素的各像素的局部增益修正
像这样，将左视点的图像、右视点的图像的平均值进一步与无视差的基准视点的图像取平均值而生成的像素值作为新的无视差像素值，改写拜耳面的数据，输出无视差拜耳面的图像MN(x，y)。
5)无视差基准图像的生成
与实施方式1相同。
6)实际的视差图像的生成
使用步骤3中生成的析像力较低的临时左视差图像RLt(x，y)、GLt(x，y)、BLt(x，y)和步骤5中作为中间处理而生成的析像力较高的无视差彩色图像RN(x，y)、GN(x，y)、BN(x，y)，生成实际输出的析像力较高的左视差的彩色图像R’Lt(x，y)、G’Lt(x，y)、B’Lt(x，y)。相同地，使用步骤3中生成的析像力较低的临时右视差彩色图像RRt(x，y)、GRt(x，y)、BRt(x，y)和步骤5中作为中间处理而生成的析像力较高的无视差的彩色图像RN(x，y)、GN(x，y)、BN(x，y)，生成实际输出的析像力较高的右视差的彩色图像R’Rt(x，y)、G’Rt(x，y)、B’Rt(x，y)。
作为视差调制的方式，能够考虑具有将算术平均取为基准点的方法和将几何平均取为基准点的方法这2种。任一种都能够得到视差调制效果，但在摄像元件的无视差像素的开口掩模为全开口时，采用将算术平均作为基准点的方式，在无视差像素的开口掩模为与有视差像素相同的半开口时，采用将几何平均作为基准点的方式。由此，在 本实施方式中使用将算术平均作为基准点的方式。
a)将算术平均作为基准点的视差调制
左视差调制
右视差调制
b)将几何平均作为基准点的视差调制
左视差调制
右视差调制
如果对上述算式进行改写，则为：
左视差调制
右视差调制
7)向输出色空间的变换
与实施方式1相同。
<实施方式3>
---黑白稀疏的视差像素阵列---
示出使用以图5的上部的阵列图作为基本格子而周期性配置的摄像元件的例子。其倒格子空间的频率析像区域也以各视差的组合进行示出。该阵列是捕捉到单眼光瞳分割方式的仅模糊了的被摄物体区域产生视差这一性质，将视差像素的密度进行稀疏配置，将剩余的像素尽可能分配为无视差像素的构造的黑白摄像元件。
流程图
1)视差多元化马赛克图像数据输入
2)视差马赛克图像的全局增益平衡修正
3)临时视差图像的生成
4)基于左右的局部照度分布修正而生成无视差基准图像
(局部增益平衡修正)
5)实际视差图像的生成
7)向输出彩色空间的变换
详细说明
1)视差多元化马赛克图像数据输入
图5的视差多元化后的单板式黑白马赛克图像：M(x，y)
将灰阶设为通过A/D转换而输出的线性灰阶。
2)视差马赛克图像的全局增益平衡修正
直接使用拍摄到的被摄物体像，计算无视差像素的像素值的图像整体的平均值左视差像素的像素值的图像整体的平均值和右视差像素的像素值的图像整体的平均值与实施方式2相同地，存在3个信号电平。首先，作为左右之间的基准点，以使得信号电平调合到平均值的方式进行增益修正。此时，基准点的取得方法有算术平均和几何平均这两种方法。然后，在左右平均后的信号电平和无视差像素的信号电平之间进行几何平均，以使得信号电平调合到该平均值的方式进行增益修正。
简单地将马赛克图像M(x，y)内的
无视差像素的信号面表示为Nmosaic(x，y)，
左视差像素的信号面表示为Ltmosaic(x，y)
右视差像素的信号面表示为Rtmosaic(x，y)，
a)左右之间算术平均的情况
平均值
对无视差像素的增益值
对左视差像素的增益值
对右视差像素的增益值
对无视差像素的全局增益修正
对左视差像素的全局增益修正
对右视差像素的全局增益修正
b)左右之间几何平均的情况
平均值
对无视差像素的增益值
对左视差像素的增益值
对右视差像素的增益值
对无视差像素的全局增益修正
对左视差像素的全局增益修正
对右视差像素的全局增益修正
在所有无视差像素具有全开口掩模时，采用算术平均型方式。在所有无视差像素具有半开口掩模时，采用几何平均型方式。由此，在本实施方式中采用算术平均型。这样，将无视差像素以1个增益系数修正、将左视差像素以1个增益系数修正、将右视差像素以1个增益系数修正而得到的马赛克图像作为M′(x，y)输出。
3)临时视差图像的生成
生成空间频率析像度较低的分辨率的临时左视差图像和临时右视差图像。
进行仅集中了左视差像素的信号面内的单纯平均插补。使用相邻的像素值根据距离之比进行线性插补。相同地，进行仅集中了右视差像素的信号面内的单纯平均插补。相同地，进行仅集中了无视差像素的信号面内的单纯平均插补。即，基于Ltmosaic(x，y)生成Lt(x，y)，基于Rtmosaic(x，y)生成Rt(x，y)，基于Nmosaic(x，y)生成N(x，y)
临时无视差图像：N(x，y)
临时左视差图像：Lt(x，y)
临时右视差图像：Rt(x，y)
此外，在生成临时无视差图像N(x，y)时，可以导入信号面内的方向判定而高精度地进行。
4)根据左右照度分布修正而生成无视差色基准图像
(局部增益平衡修正)
下面，以与步骤1中进行的全局增益修正相同的思路，进行像素单位的局部增益修正，从而首先使画面内的左视差像素和画面内的右视差像素的照度调合。通过该操作而消除左右之间的视差。在此基 础上，使取得了左右平均的信号面和无视差像素的摄像信号面之间进一步进行照度调合。这样，生成在所有像素进行了增益整合后的新的无视差的基准图像面。这与替换为平均值等价，能够生成消除了视差的中间图像面。将其写作N(x，y)。
a)左右之间算术平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
对无视差像素的各像素的局部增益修正
N(x，y)·gN(x，y)＝m(x，y)
对左视差像素的各像素的局部增益修正
Lt(x，y)·gLt(x，y)＝m(x，y)
对右视差像素的各像素的局部增益修正
Rt(x，y)·gRt(x，y)＝m(x，y)
b)左右之间几何平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
对无视差像素的各像素的局部增益修正
N(x，y)·gN(x，y)＝m(x，y)
对左视差像素的各像素的局部增益修正
Lt(x，y)·gLt(x，y)＝m(x，y)
对右视差像素的各像素的局部增益修正
Rt(x，y)·gRt(x，y)＝m(x，y)
像这样，将左视点的图像、右视点的图像的平均值进一步与无视差的基准视点的图像取平均值而生成的像素值作为新的无视差像素值，改写黑白面的数据，输出无视差黑白面的图像N(x，y)。
5)实际的视差图像的生成
使用步骤3中生成的析像力较低的临时左视差图像Lt(x，y)和步骤5中作为中间处理而生成的析像力较高的无视差黑白图像N(x，y)，生成实际输出的析像力较高的左视差的黑白图像Lt’(x，y)。相同地，使用步骤3中生成的析像力较低的临时右视差图像Rt(x，y)和步骤5中作为中间处理而生成的析像力较高的无视差的黑白图像N(x，y)，生成实际输出的析像力较高的右视差的彩色图像Rt’(x，y)。
作为视差调制的方式，能够考虑具有将算术平均取为基准点的方法和将几何平均取为基准点的方法这2种。任一种都能够得到视差调制效果，但在摄像元件的无视差像素的开口掩模为全开口时，采用算术平均作为基准点的方式，在无视差像素的开口掩模为与有视差像素相同的半开口时，采用将几何平均作为基准点的方式。由此，在本实施方式中使用将算术平均作为基准点的方式。
a)将算术平均作为基准点的视差调制
左视差调制
右视差调制
b)将几何平均作为基准点的视差调制
左视差调制
右视差调制
6)向输出色空间的变换
像这样得到的高析像的无视差的中间黑白图像N(x，y)和高析像的左视差的黑白图像Lt’(x，y)、高析像的右视差的黑白图像Rt’(x，y)分别进行适当的伽玛变换，从而输出为输出空间的图像。
<补充>
---现有的全部视差像素阵列---
即使针对现有技术的专利文献1所示的仅铺满有左视差像素和右视差像素的拜耳阵列的摄像元件，也可以对R视差像素和B视差像素进行与实施方式1所示的G视差像素相同的处理，能够生成无视差的拜耳阵列。对此，将实施了现有的拜耳插补的图像作为中间图像生成，利用从R、G、B分别得到的析像度较低的视差图像，使用与实施方式2相同的方法施加视差调制，能够生成高析像的左视差彩色图像和右视差彩色图像。像这样，能够应对在现有型的摄像元件中产生的左右视差像素之间的照度不均的问题。
此外，在实施方式1～3中，进行了左右视差像素的说明，但即使将上述摄像元件旋转90°而在上下得到视差，也能够完全相同地进行照度不均修正。另外，对于旋转45°而在斜向上产生视差的摄像元 件也完全相同。
<实施方式4>
图7是说明数码相机10的结构的图。数码相机10包括作为摄影光学系统的摄影透镜20，将沿光轴21入射的被摄物体光束引导至摄像元件100。摄影透镜20可以是相对于数码相机10能够装卸的交换式透镜。数码相机10包括：摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、LCD驱动电路210、AF传感器211。
另外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为+Z轴方向，将在与z轴垂直的平面中朝向纸面近前侧的方向定为+X轴方向，将纸面的上方向定为+Y轴方向。在之后的几个图中，以图7的座标轴为基准表示座标轴，以便能理解各个图的朝向。
摄影透镜20由多个光学透镜组构成，使来自场景的被摄物体光束在其焦点面附近成像。另外，在图7中，为了便于说明，摄影透镜20以设置在光瞳附近的一片假想透镜代表性地进行表示。摄像元件100设置于摄影透镜20的焦点面附近。摄像元件100为二维地排列有多个光电转换元件的例如CCD、CMOS传感器等图形传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被摄物体像转换成图像信号并向A/D转换电路202输出。
A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并输出给存储器203。图像处理部205将存储器203作为工作空间来实施各种图像处理，生成图像数据。尤其是，图像处理部205具有：从彩色图像数据及视差图像数据的对象像素位置提取像素值的像素值提取部231；以及使用提取出的像素值计算作为对象像素位置处的彩色图像数据的像素值的计算部233。关于各个处理的详细情况，将在后描述。
图像处理部205除此之外还承担依照所选的图像格式调整图像数据等图像处理的一般功能。所生成的图像数据由LCD驱动电路210转换成显示信号，由显示部209进行显示。并且，上述图像数据记录 在装设于存储卡IF207上的存储卡220中。
AF传感器211是对被摄物体空间设定有多个测距点的相位差传感器，在各个测距点处检测出被摄物体像的散焦量。一系列的拍摄过程从操作部208受理用户的操作并向控制部201输出操作信号而开始。拍摄过程中附带的AF、AE等的各种动作由控制部201控制并执行。例如，控制部201解析AF传感器211的检测信号，执行使构成摄影透镜20一部分的聚焦透镜移动的对焦控制。
以下对摄像元件100的结构进行详细说明。图8是表示摄像元件100的剖面的示意图。
摄像元件100从被摄物体侧开始依次排列有微透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108而构成。光电转换元件108由用于将入射光转换为电信号的光电二极管构成。光电转换元件108在基板109的表面二维地排列有多个。
由光电转换元件108转换后的图像信号以及控制光电转换元件108的控制信号等通过设在布线层105上的布线106进行收发。而且，具有与各个光电转换元件108一一对应地设置的开口部104的开口掩模103与布线层相接触地设置。如后所述，使开口部104按相对应的光电转换元件108偏移，并严格地规定相对位置。通过具有该开口部104的开口掩模103的作用，在光电转换元件108所接收的被摄物体光束上产生视差，详细内容将在后说明。
另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，也可以说成是，设有具有如下开口部104的开口掩模103：不限制对相对应的光电转换元件108入射的被摄物体光束，即，使入射光束全部穿过。虽然没有产生视差，但由于通过布线106所形成的开口107实质上规定了入射的被摄物体光束，因此也能够将布线106看作是使不产生视差的入射光束全部穿过的开口掩模。开口掩模103可以分别对应于各个光电转换元件108而独立排列，也可以与彩色滤光片102的制造工艺同样地，相对于多个光电转换元件108而一并形成。
彩色滤光片102设置于开口掩模103上。彩色滤光片102是与各个光电转换元件108一一对应地设置、被着色成相对于各个光电转换元件108而使特定波段透过的滤光片。为了输出彩色图像，只要排列彼此不同的至少2种彩色滤光片即可，但为了获得更高画质的彩色图像，排列3种以上的彩色滤光片为好。例如以格子状排列使红色波段透过的红色滤光片(R滤光片)、使绿色波段透过的绿色滤光片(G滤光片)以及使蓝色波段透过的蓝色滤光片(B滤光片)为好。具体的排列在后续记述。
微透镜101设置于彩色滤光片102上。微透镜101是用于将入射的被摄物体光束更多地引导至光电转换元件108的聚光透镜。微透镜101分别与光电转换元件108一一对应地设置。微透镜101优选考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被摄物体光束被引导至光电转换元件108。进一步地，可以与开口掩模103的开口部104的位置一同调整配置位置，以使后述的特定的被摄物体光束更多地入射。
像这样，将与各个光电转换元件108一一对应地设置的开口掩模103、彩色滤光片102及微透镜101的一个单位称为像素。尤其是，将设置有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如，当摄像元件100的有效像素区域为24mm×16mm左右时，像素数达到1200万个左右。
另外，在聚光效率、光电转换效率良好的图形传感器的情况下，也可以不设置微透镜101。另外，在背面照射型图形传感器的情况下，布线层105与光电转换元件108设置在相反侧。另外，如果使开口掩模103的开口部104具有颜色成分，则也能够将彩色滤光片102与开口掩模103一体形成。
另外，在本实施方式中，将开口掩模103和布线106单独设置，但也可以使布线106承担视差像素中的开口掩模103的功能。即，将所规定的开口形状利用布线106形成，利用该开口形状限制入射光束 而仅将特定的部分光束向光电转换元件108引导。在此情况下，优选形成开口形状的布线106位于布线层105中的最靠近光电转换元件108侧。
另外，开口掩模103也可以由重叠设置在光电转换元件108上的阻透膜形成。在此情况下，开口掩模103例如顺次层叠SiN膜和SiO2膜而形成阻透膜，通过蚀刻除去与开口部104相当的区域从而形成。
以下说明开口掩模103的开口部104与所产生的视差的关系。图9是表示将摄像元件100的一部分放大后的情况的示意图。此处，为了简化说明，暂不考虑有关彩色滤光片102的配色，后续内容再进行说明。在未提及彩色滤光片102的配色的以下说明中，能够认为是仅汇集了具有同色的彩色滤光片102的视差像素的图形传感器。因此，以下所说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。
如图9所示，开口掩模103的开口部104相对于各个像素相对偏移设置。而且，在相邻像素彼此之间，各个开口部104也设置于彼此错位的位置。
在图例中，作为开口部104相对于各个像素的位置，准备有沿左右方向彼此偏移的6种开口掩模103。而且，在整个摄像元件100中二维地且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从纸面左侧往纸面右侧逐渐偏移的开口掩模103的6个视差像素为一组。
图10为说明视差像素与被摄物体的关系的概念图。特别地，图10的(a)表示摄像元件100中的、排列在与摄影光轴21正交的中心处的重复图案110t的光电转换元件组，图10的(b)示意性地表示在周边部分排列的重复图案110u的光电转换元件组。图10的(a)、图10的(b)中的被摄物体30相对于摄影透镜20位于对焦位置。图10的(c)对应于图10的(a)，示意性地表示出当捕捉相对于摄影透镜20位于非对焦位置的被摄物体31时的关系。
首先说明摄影透镜20捕捉到处于对焦状态下的被摄物体30时的、视差像素与被摄物体的关系。被摄物体光束穿过摄影透镜20的光瞳被引导至摄像元件100，但对被摄物体光束穿过的整个截面区域规定了6个部分区域Pa～Pf。而且，从放大图中也可以看出，关于例如构成重复图案110t、110u的光电转换元件组的纸面左端的像素，对开口掩模103的开口部104f的位置进行设定，以使只有从部分区域Pf射出的被摄物体光束才能到达光电转换元件108。同样地，朝向右端的像素，与部分区域Pe对应地设定了开口部104e的位置、与部分区域Pd对应地设定了开口部104d位置、与部分区域Pc对应地设定了开口部104c的位置、与部分区域Pb对应地设定了开口部104b的位置、与部分区域Pa对应地设定了开口部104a的位置。
换言之，也可以说成是，例如根据由部分区域Pf与左端像素的相对位置关系定义的、从部分区域Pf射出的被摄物体光束(部分光束)的主光线Rf的斜率来设定开口部104f的位置。然后，当光电转换元件108经开口部104f接收到来自于位于对焦位置的被摄物体30的被摄物体光束时，如虚线所示，该被摄物体光束在光电转换元件108上成像。同样地，也可以说成是，朝向右端的像素，根据主光线Re的斜率设定开口部104e的位置、根据主光线Rd的斜率设定开口部104d的位置、根据主光线Re的斜率设定开口部104c的位置、根据主光线Rb的斜率设定开口部104b的位置、根据主光线Ra的斜率设定开口部104a的位置。
如图10的(a)所示，位于对焦位置的被摄物体30中的、从与光轴21相交叉的被摄物体30上的微小区域Ot放射的光束穿过摄影透镜20的光瞳到达构成重复图案110t的光电转换元件组的各个像素。即，构成重复图案110t的光电转换元件组的各个像素分别经由6个部分区域Pa～Pf接收到从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各个像素的错位相对应程度的大小，但实质上能够近似于大致同一物点。同样地，如图10的(b)所示，位于对焦位置的被摄物体30中的、从离开光轴21 的被摄物体30上的微小区域Ou放射的光束穿过摄影透镜20的光瞳到达构成重复图案110u的光电转换元件组的各个像素。即，构成重复图案110u的光电转换元件组的各个像素分别经由6个部分区域Pa～Pf接收到从一个微小区域Ou放射的光束。微小区域Ou也与微小区域Ot同样地，具有与构成重复图案110u的光电转换元件组的各个像素的错位相对应程度的大小，但实质上能够近似于大致同一物点。
也就是说，只要被摄物体30位于对焦位置，根据摄像元件100上的重复图案110的位置，光电转换元件组所捕捉到的微小区域各不相同，且构成光电转换元件组的各像素经由彼此不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，对应的像素彼此接收来自于同一部分区域的被摄物体光束。也就是说，在图中，例如重复图案110t、110u各自左端的像素接收来自于同一部分区域Pf的部分光束。
在与摄影光轴21正交的中心处排列的重复图案110t中左端像素接收来自于部分区域Pf的被摄物体光束的开口部104f的位置、与在周边部分排列的重复图案110u中左端像素接收来自于部分区域Pf的被摄物体光束的开口部104f的位置严格来讲是不同的。然而，从功能的角度来看，在用于接收来自于部分区域Pf的被摄物体光束的开口掩模这一点上，能够将它们作为同一种类开口掩模处理。因此，在图10的例子中，能够说在摄像元件100上排列的各个视差像素具有6种开口掩模之一。
接下来说明摄影透镜20捕捉处于非对焦状态的被摄物体31时的、视差像素与被摄物体的关系。在此情形中，来自于位于非对焦位置的被摄物体31的被摄物体光束也透过摄影透镜20的光瞳的6个部分区域Pa～Pf到达摄像元件100。然而，来自于处于非对焦位置的被摄物体31的被摄物体光束并不在光电转换元件108上成像，而是在其他位置成像。例如，如图10的(c)所示，当被摄物体31位于比被摄物体30更加远离摄像元件100的位置时，被摄物体光束在与光电转换元件108相比更靠近被摄物体31侧成像。相反，当被摄物体 31位于比被摄物体30更接近摄像元件100的位置时，被摄物体光束在与光电转换元件108相比被摄物体31的相反侧成像。
因此，在位于非对焦位置的被摄物体31中，从微小区域Ot’放射的被摄物体光束透过6个部分区域Pa～Pf中的任意一个，从而到达不同组的重复图案110中的对应像素。例如，如图10的(c)的放大图所示，透过部分区域Pd的被摄物体光束作为主光线Rd’入射到重复图案110t’中包含的具有开口部104d的光电转换元件108。而且，即使是从微小区域Ot’放射的被摄物体光束，透过其他部分区域的被摄物体光束也不会入射到重复图案110t’中包含的光电转换元件108，而是入射到其他重复图案中具有对应开口部的光电转换元件108。换言之，到达构成重复图案110t’的各光电转换元件108的被摄物体光束是从被摄物体31中互不相同的微小区域放射的被摄物体光束。也就是说，以Rd’为主光线的被摄物体光束入射到与开口部104d对应的108，以Ra+、Rb+、Rc+、Re+、Rf+为主光线的被摄物体光束入射到与其他开口部对应的光电转换元件108，但这些被摄物体光束是从被摄物体31中互不相同的微小区域放射的被摄物体光束。这种关系在图10的(b)中排列在周边部分的重复图案110u中也是一样的。
这样一来，当通过摄像元件100整体进行观察时，例如，由与开口部104a对应的光电转换元件108捕捉到的被摄物体像A和由与开口部104d对应的光电转换元件108捕捉到的被摄物体像D，如果是相对于位于对焦位置的被摄物体的像，就不会彼此错位，而如果是相对于位于非对焦位置的被摄物体的像，则会产生错位。而且，该错位根据位于非对焦位置的被摄物体相对于对焦位置朝哪一侧以何种程度错位，或者根据部分区域Pa与部分区域Pd的距离来确定方向和量。也就是说，被摄物体的像A与被摄物体的像D彼此成为视差像。该关系对于其他开口部也是相同的，因此对应于开口部104a～104f形成6个视差像。
因此，在如此构成的各个重复图案110中，汇集彼此对应的像素的输出便得到视差图像。也就是说，接收到从6个部分区域Pa～ Pf中的特定部分区域射出的被摄物体光束的像素的输出形成了视差图像。
图11为说明生成视差图像的处理的概念图。图中从左列开始依次表示：对与开口部104f对应的视差像素的输出进行收集而生成的视差图像数据Im_f的生成样子、由开口部104e的输出形成的视差图像数据Im_e的生成样子、由开口部104d的输出形成的视差图像数据Im_d的生成样子、由开口部104c的输出形成的视差图像数据Im_c的生成样子、由开口部104b的输出形成的视差图像数据Im_b的生成样子、由开口部104a的输出形成的视差图像数据Im_a的生成样子。首先，对基于开口部104f的输出形成的视差图像数据Im_f的生成样子进行说明。
由以6个视差像素为一组的光电转换元件组构成的重复图案110横向一列地排列。因此，具有开口部104f的视差像素，在除无视差像素之外的假想摄像元件100上沿左右方向每隔6个像素，且沿上下方向连续存在。这些各像素如上所述分别接收来自于各个不同微小区域的被摄物体光束。因此，对这些视差像素的输出进行汇集排列后便得到视差图像。
然而，由于本实施方式中的摄像元件100的各像素为正方像素，仅单纯地进行汇集会造成横向的像素数缩减到1/6的后果，从而生成纵向长的图像数据。因此，通过实施插补处理在横向成为六倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。然而，由于原本插补处理前的视差图像数据就是在横向上缩减到1/6的图像，因此，横向的析像度比纵向的析像度低。也就是说，能够说所生成的视差图像数据的数量与析像度的提高呈相反关系。此外，关于在本实施方式适用的具体的差值处理，将在后说明。
同样地得到视差图像数据Im_e～视差图像数据Im_a。即，数码相机10能够生成在横向具有视差的6个视点的视差图像。
在上述黑白6视差的情况下，为了生成无视差的2D中间图像，能够在实施方式3的延长线上考虑应对视差消除的照度不均的方法。 即，为了消除视差，在Im_f和Im_a之间进行算术平均而得到的图像数据作为Im_af。同样地，在Im_e和Im_b之间进行算术平均而得到的图像数据作为Im_be。此外，在Im_d和Im_c之间进行算术平均而得到的图像数据作为Im_cd。为了将这些消除了视差的3个图像的照度等级进行调合，作为最终输出图像Im_out而取3个图像的算术平均。即，Im_out＝(Im_af+Im_be+Im_cd)/3。这样得到的输出图像Im_out是消除了照度差的影响的无视差的2D图像，得到在6个视差范围内的模糊幅度全部调合为1个较宽的模糊幅度，即，得到与具有全开口掩模的无视差像素相同的模糊幅度的被摄物体的图像。
<实施方式1的追加说明>
说明彩色滤光片102和视差图像。图12是说明拜耳阵列的图。如图所示，拜耳阵列是将绿色滤光片分配给左上和右下的两个像素，将红色滤光片分配给左下的一个像素，将蓝色滤光片分配给右上的一个像素而得到的阵列。此处，将分配有绿色滤光片的左上像素作为Gb像素、将同样分配有绿色滤光片的右下像素作为Gr像素。另外，将分配有红色滤光片的像素作为R像素、将分配有蓝色滤光片的像素作为B像素。并且，将Gb像素和B像素排列的横向作为Gb行，将R像素和Gr像素排列的横向作为Gr行。并且，将Gb像素和R像素排列的纵向作为Gb列，将B像素和Gr像素排列的纵向作为Gr列。
关于这种彩色滤光片102的排列，能够通过对视差像素和无视差像素以怎样的周期分配哪种颜色的像素来设定庞大数量的重复图案110。例如，如果分配较多的无视差像素，则得到高析像度的2D图像数据，此外，如果对RGB各像素都均等地进行分配，则成为色偏较少的高画质的2D图像数据。但是，该情况下，由于视差像素的比例相对变小，因此使得由多个视差图像构成的3D图像的画质降低。另一方面，如果分配较多的视差像素，则形成高析像度的3D图像数据，此外，如果对RGB各像素都均等地进行分配，则能够使3D图像成为颜色再现性优异的高品质的彩色图像数据。但是，在此情况下，由于无视差像素相对减少，因此会输出析像度较低的2D图像。
在这种权衡关系中，根据将哪个像素作为视差像素或作为无视差像素来设定具有各种特征的重复图案110。在重复图案110中，例如分配有2种视差像素的情况下，能够设想各个视差像素为开口部104从中心向左偏移的视差Lt像素，以及开口部104从中心向右侧偏移的视差Rt像素。也就是说，从这种视差像素输出的2个视点的视差图像实现了所谓的立体视图。
下面，说明视差Lt像素及视差Rt像素受光的情况下的散焦的概念。首先，对无视差像素中的散焦的概念进行简单说明的图。图13是说明无视差像素中的散焦的概念的图。如图13的(a)所示，在作为被摄物体的物点存在于焦点位置的情况下，经过透镜光瞳而到达摄像元件受光面的被摄物体光束，示出以对应的像点的像素为中心而陡急的光强度分布。即，如果对通过透镜光瞳的有效光束整体进行受光的无视差像素排列在像点附近，则与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧降低。
另一方面，如图13的(b)所示，如果物点偏离焦点位置，则被摄物体光束与物点存在于焦点位置的情况相比，在摄像元件受光面上示出平缓的光强度分布。即，示出下述分布：在对应的像点的像素中的输出值降低的基础上，直到更周边像素均具有输出值。
另外，如图13的(c)所示，如果物点进一步偏离焦点位置，则被摄物体光束在摄像元件受光面上示出更加平缓的光强度分布。即，示出下述分布：在对应的像点的像素中的输出值进一步降低的基础上，直到更周边像素均具有输出值。
图14是说明视差像素中的散焦的概念的图。视差Lt像素及视差Rt像素接收从作为透镜光瞳的部分区域而分别设定为光轴对象的2个视差假想光瞳的任一个到达的被摄物体光束。
如图14的(a)所示，在作为被摄物体的物点存在于焦点位置的情况下，通过任意视差假想光瞳的被摄物体光束都示出以对应的像点的像素为中心而陡急的光强度分布。如果在像点附近排列视差Lt像素，则与像点对应的像素的输出值最大，排列在周边的像素的输出 值急剧降低。另外，即使在像点附近排列视差Rt像素，与像点对应的像素的输出值也最大，排列在周边的像素的输出值急剧降低。即，被摄物体光束通过任意一个视差假想光瞳，都会示出与像点对应的像素的输出值最大、排列在周边的像素的输出值急剧降低的分布，各自的分布彼此一致。
另一方面，如图14的(b)所示，如果物点偏离焦点位置，则与物点存在于焦点位置的情况相比，视差Lt像素示出的光强度分布的峰值出现在从与像点对应的像素向一个方向偏移了的位置处，且其输出值降低。另外，具有输出值的像素的幅度也变大。视差Rt像素示出的光强度分布的峰值，出现在从与像点对应的像素而朝向与视差Lt像素的所述一个方向相反的方向且等距离偏移了的位置处，同样地其输出值降低。另外，同样地，具有输出值的像素的幅度也变大。即，与物点存在于焦点位置的情况相比变得平缓的相同的光强度分布，彼此等距离地分离出现。另外，如图14的(c)所示，如果物点更加偏离焦点位置，则与图14的(b)的状态相比，进一步变得平缓的相同的光强度分布分离得更远而出现。即，能够说成是物点偏移焦点位置越多，模糊量和视差量越大。
如果将图13所说明的光强度分布的变化和图14所说明的光强度分布的变化各自曲线化，则如图15那样示出。在图15中，横轴表示像素位置，中心位置为与像点对应的像素位置。纵轴表示各像素的输出值，该输出值实际上与光强度成比例，所以在图中表示为光强度。
图15的(a)是表示图13所说明的光强度分布的变化的曲线图。分布曲线1801表示与图13的(a)对应的光强度分布，示出最陡急的情况。分布曲线1802表示与图13的(b)对应的光强度分布，另外，分布曲线1803表示与图13的(c)对应的光强度分布。可知与分布曲线1801相比较，峰值逐渐降低，并具有扩开的样子。
图15的(b)是表示图14所说明的光强度分布的变化的曲线图。分布曲线1804和分布曲线1805分别表示图14的(b)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图可知，它们的分 布构成相对于中心位置线对称的形状。另外，将它们相加的合成分布曲线1806，示出与相对于图14的(b)为同等散焦状态的图13的(b)的分布曲线1802相似的形状。
分布曲线1807和分布曲线1808分别表示图14的(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图可知，它们的分布也形成相对于中心位置线对称的形状。另外，将它们相加的合成分布曲线1809，示出与相对于图14的(c)为同等散焦状态的图13的(c)的分布曲线1803相似的形状。
图16是说明视差像素的种类为2种的情况下的开口部104的开口形状的图。图16的(a)示出视差Lt像素的开口部1041的形状和视差Rt像素的开口部104r的形状与通过中心线322将无视差像素的开口部104n的形状分割而得到的各个形状相同的例子。即，在图16的(a)中，无视差像素的开口部104n的面积为视差Lt像素的开口部1041的面积和视差Rt像素的开口部104r的面积之和。在本实施方式中，将无视差像素的开口部104n称为全开口的开口部，将开口部1041及开口部104r称为半开口的开口部。另外，在开口部位于光电转换元件的中央的情况下，称为该开口部朝向基准方向。视差Lt像素的开口部1041及视差Rt像素的开口部104r分别相对于通过对应的光电转换元件108的中心(像素中心)的假想中心线322，向彼此相反方向偏移。由此，视差Lt像素的开口部1041及视差Rt像素的开口部104r分别在相对于基准方向的一个方向、与该一个方向相反的另一个方向上产生视差。
图16的(b)示出在图16的(a)所示的具有各开口部的像素中物点偏离焦点位置的情况下的光强度分布。在图中，曲线Lt相当于图15的(b)的分布曲线1804，曲线Rt相当于图15的(b)的分布曲线1805。曲线N对应于无视差像素，示出与图15的(b)的合成分布曲线1806相似的形状。另外，各个开口部104n、开口部1041、开口部104r具有孔径光阑的功能。由此，具有面积为开口部1041(开口部104r)两倍的开口部104n的无视差像素的模糊幅度，成为与将 图15的(b)的合成分布曲线1806所示的Lt像素和视差Rt像素相加得到的曲线的模糊幅度相同的程度。
图16的(c)示出视差Lt像素的开口部1041的形状、视差Rt像素的开口部104r的形状、和视差C像素的开口部104c的形状全部为相同形状的例子。在这里，视差C像素称为无偏心像素。视差C像素从仅将以光瞳的中心部分为部分区域的被摄物体光束向光电转换元件108引导这一点，严密地说是输出视差图像的视差像素。但是，在这里，将具有与基准方向对应的开口部的像素定义为无视差像素。由此，作为基准方向而与图16的(a)的无视差像素相同地在光电转换元件的中央具有开口部的图16的(c)的视差C像素为无视差像素。另外，开口部1041、开口部104r、开口部104c具有与图16的(a)所示的开口部104n的一半面积。与图16的(a)的情况相同地，开口部1041及104r分别与通过光电转换元件108的中心(像素中心)的假想中心线322相接。
图16的(d)示出在图16的(c)所示的具有各开口部的像素中，物点偏离焦点位置的情况的光强度分布。在图中，曲线Lt相当于图15的(b)的分布曲线1804，曲线Rt相当于图15的(b)的分布曲线1805。另外，各个开口部104c、开口部1041、开口部104r具有孔径光阑的功能。由此，具有与开口部1041及开口部104r相同形状、相同面积的开口部104c的视差C像素的模糊幅度，成为与视差Lt像素及视差Rt像素的模糊幅度相同的程度。
图17是表示视差像素的种类为2种的情况下的重复图案110的一个例子的图。数码相机10的坐标系通过X轴、Y轴、Z轴定义，在摄像元件100中，以左上端的像素为基准，将右方定义为x轴，将下方定义为y轴。在图例中，将与拜耳阵列相同的4像素作为重复图案110。该重复图案110将摄像元件100的有效像素区域在上下左右周期性地排列而成。即，摄像元件100将图中粗线所示的重复图案110作为基本格子。R像素和B像素为无视差像素，将Gb像素分配给视差L像素，将Gr像素分配给视差R像素。在此情况下，以在被摄物 体位于对焦位置时，包含在同一重复图案110中的视差Lt像素和视差Rt像素接收从同一微小区域放射的光束的方式规定开口部104。另外，在该例子中，如在图16的(a)说明那样，无视差像素为全开口的开口部，视差Lt像素及视差Rt像素为半开口的开口部。此外，将像素间距设为a。
在图例中，由于将视见度高的绿色像素的Gb像素和Gr像素用作视差像素，因此能够期望得到对比度较高的视差图像。另外，由于将同样的绿色像素的Gb像素和Gr像素用作视差像素，因此易于从这2个输出进行变换运算成无视差输出，从而能够与作为无视差像素的R像素和B像素的输出一起生成高画质的2D图像数据。此外，在本实施方式中，作为实际上作为摄像元件100的像素并不存在的、兼具有RGB任一种的彩色滤光片的视差Lt像素及视差Rt像素的假想输出，将左侧视点及右侧视点的彩色图像数据通过变换运算并利用比较简单的处理而得到，这将在后详细说明。
图1(下部)是表示与通过采用了图17所示的重复图案110的摄像元件所拍摄到的图像的空间频率相关的分辨率的图。在图1(下部)，与空间频率相关的分辨率以由k＝2πf所表述的波数k的k空间(k-space)记述。其中，f表示频率。频率析像区域由表示倒格子空间的晶胞(威格纳-赛兹晶胞)的第一布里渊区记述。
如上述那样，在将像素间距设为a时，如果不配置彩色滤光片及开口掩模，则拍摄到的图像具有以虚线包围的奈奎斯特频率kx＝[-π/a，+π/a]，ky＝[-π/a，+π/a]的范围的析像力。即，以虚线包围的范围是图像具有的极限析像频率。但是，在本实施方式中，彩色滤光片和开口掩模与1个传感器面重合地配置在1个传感器面上。由于通过1个传感器面捕捉到的信息是固定的，所以通过功能划分，能够减少各个信息量。例如，通过利用开口掩模形成视差像素，相对地减少无视差像素数，因此，通过无视差像素得到的信息量减少。对于彩色滤光片也是相同地，通过划分为R、G、B这三种，能够减少各自的信息量。
由此，如果着眼于特定的开口掩模中的特定色的图像，则该图像的极限析像频率无法达到原本具有的奈奎斯特频率。具体地说，如图所示，例如左侧视点的G成分的图像GLt关于kx轴、ky轴这两个方向，仅具有原本具有的奈奎斯特频率的一半区域、即kx＝[-π/(2a)，+π/(2a)]，ky＝[-π/(2a)，+π/(2a)]的范围的析像力。右侧视点的G成分的图像GRt、无视差的中间视点的R成分的图像RN、无视差的中间视点的B成分的图像BN也是相同地。
由此，如果就这样生成左侧视点的RGB的彩色图像和右侧视点的RGB的彩色图像，这些图像的析像力具有kx＝[-π/(2a)，+π/(2a)]，ky＝[-π/(2a)，+π/(2a)]的范围。即，这些图像并不具有原本所具有的奈奎斯特频率kx＝[-π/a，+π/a]，ky＝[-π/a，+π/a]的范围的析像力。
在本实施方式中，图像处理部205为了对通过功能划分而减少的信息量进行补偿，而进行用于提高析像度的处理。具体地说，通过将作为视差像素的GLt像素及GRt像素置换为临时无视差像素GN，从而生成仅由无视差像素构成的拜耳阵列。这样，能够利用现有的拜耳插补的技术，作为无视差的中间图像而生成具有原本的奈奎斯特频率kx＝[-π/a，+π/a]，ky＝[-π/a，+π/a]的范围的析像力的彩色图像。进而，然后通过在频率空间中将仅具有较小析像力的左侧视点的图像和无视差的中间图像进行叠加，从而最终能够生成具有原本的奈奎斯特频率的范围的析像力的左侧视点的彩色图像。能够认为对于右侧视点的彩色图像也是相同的。
此外，图17所示的像素阵列中的各像素，在着眼于开口部104的情况下视差像素和无视差像素、以及在着眼于彩色滤光片102的情况下R像素、G像素、B像素等各种组合具备特征。由此，即使使摄像元件100的输出与其像素阵列一致而原样罗列，也不会成为表示特定像的图像数据。即，将摄像元件100的像素输出按具有同一特征的各个像素组进行分离并汇集后，才形成表示符合该特征的一个像的图像数据。例如，如已经使用图11进行说明那样，如果将视差像素的 输出按照其开口部的种类进行汇集，则得到彼此具有视差的多个视差图像数据。像这样，将按具有同一特征的像素组而分离并汇集得到的各个图像数据称为层数据(plane data)。
图像处理部205接收按照摄像元件100的像素阵列的顺序而罗列其输出值的RAW原始图像数据即马赛克图像数据Mmosaic(x，y)。在这里，将在各像素欠缺R、G、B的至少一个信息的图像称为马赛克图像，将形成马赛克图像的数据称为马赛克图像数据。但是，即使在各像素中欠缺R、G、B的至少一个信息，但在原本就不作为图像进行处理的情况下，例如在图像数据由单色像素的像素值构成的情况下，并不作为马赛克图像进行处理。此外，各输出值是与摄像元件100的各光电转换元件受光的受光量成比例的线性灰阶的值。
在本实施方式中，图像处理部205在该阶段进行用于对左右之间的整体明亮度进行整合的增益修正。这是由于：对于入射至左视差像素的光的照度和入射至右视差像素的光的照度，孔径光阑越是减小，不仅左右之间的相对分布产生越大的差异，作为图像整体的平均信号电平也产生越大的差异。在本实施方式中，将用于对左右之间的整体明亮度进行整合的增益修正称为全局增益修正。
图18是用于说明计算增益值的图。为了方便，将马赛克图像数据Mmosaic(x，y)内的G成分的左视差像素的马赛克图像数据表示为Ltmosaic(x，y)，将G成分的右视差像素的马赛克图像数据表示为Rtmosaic(x，y)，在图18中，也仅提取左右视差像素进行图示。但是，在图中以基于图17的例子来理解像素的种类的方式进行了记载，而实际上与各像素对应的输出值是并列的。
图19是用于说明增益修正的图。图像处理部205的计算部233在计算出对左右视差像素的增益值后，如图所示，对于Ltmosaic(x，y)及Rtmosaic(x，y)的各像素使用计算出的增益值进行增益修正。具体地说，利用以下(算式1)进行对左视差像素的增益修正，利用(算式2)进行对右视差像素的增益修正。此外，为了方便，将马赛克图像数据M′mosaic(x，y)内的G成分的左视差像素的马赛克图像数据表示 为Lt′mosaic(x，y)，将G成分的右视差像素的马赛克图像数据表示为Rt′mosaic(x，y)。
[算式1]
[算式2]
由此，图像处理部205的计算部233如图所示，能够生成对M mosaic(x，y)内的左视差像素及右视差像素分别通过1个增益系数修正得到的马赛克图像数据M′mosaic(x，y)。然后，图像处理部205作为临时视差图像而生成空间频率析像度较低的左视差图像和右视差图像。
图20是用于说明临时视差图像的生成的图。图像处理部205首先将马赛克图像数据M′mosaic(x，y)分离为多个层数据。该时刻的各层数据仅在RAW原始图像数据中输出值所存在的像素位置处存在输出值。因此，图像处理部205基于各层数据进行插补处理，生成填充了空格子的层数据。
在图20中，上图的左侧是表示从马赛克图像数据M′mosaic(x，y)仅提取了左视差像素的层数据即Lt′mosaic(x，y)的图，右侧是表示仅提取了右视差像素的层数据即Rt′mosaic(x，y)的图。在各图中，以基于图17的例子来理解像素的种类的方式进行了记载，但实际上与各像素对应的输出值是并列的。
在生成空间频率析像度较低的左视差图像数据即Lt′(x，y)时，图像处理部205的计算部233使用周边的左视差像素的像素值而通过插补处理计算成为空格子的像素值。例如，空格子PL1的像素值将倾斜方向相邻的4个左视差像素的像素值进行平均化运算而计算出。图像处理部205的计算部233关于所有空格子而对周边的左视差像素的 像素值进行平均化运算而进行插补处理，从而如图20的下左图所示，生成填充了空格子的层数据即Lt′(x，y)。此外，图像处理部205的计算部233可以使用通过插补处理计算出的像素值而进一步进行插补处理，也可以仅使用在RAW原始图像数据的阶段存在的输出值进行插补处理。
同样地，在生成空间频率析像度较低的右视差图像数据即Rt′(x，y)时，图像处理部205的计算部233使用周边的右视差像素的像素值而通过插补处理计算成为空格子的像素值。例如，空格子PR1的像素值将倾斜方向相邻的4个右视差像素的像素值进行平均化运算而计算出。图像处理部205的计算部233关于所有空格子而对周边的右视差像素的像素值进行平均化运算而进行插补处理，从而如图20的下右图所示，生成填充了空格子的层数据即Rt′(x，y)。
然后，图像处理部205的计算部233关于Lt′(x，y)的各像素而使用分别计算出的增益值进行增益修正，同样地，关于Rt′(x，y)的各像素而使用分别计算出的增益值进行增益修正。由此，使同一像素位置处的左视差像素和右视差像素的照度调合。在本实施方式中，相对于上述全局增益修正，而将像这样使用了以像素单位计算出的增益值的增益修正称为局部增益修正。
图21是用于说明增益值计算的图。如图所示，图像处理部205的计算部233根据Lt′(x，y)及Rt′(x，y)计算每个像素的平均值。在进行局部增益修正时，在这里作为平均值的计算方法，也考虑了算术平均和几何平均这两种。在这里，为了使消除了视差的G成分的无视差像素中的被摄物体像的模糊幅度与无视差像素的被摄物体像的模糊幅度一致而采用算术平均。在此情况下，具体地说，图像处理部205的计算部233根据以下(算式3)计算平均值。
[算式3]
图22是用于说明局部增益修正的图。如上述所示，通过对各像 素进行局部增益修正的处理而得到平均值。由此，如图所示，图像处理部205的计算部233仅通过分别将重复图案110的左右视差像素的像素值置换为通过(算式3)所计算出的m(xm，yn)，m(xm+1，yn+1)，就能够进行局部增益修正。基于这一意义，局部增益修正能够称为用于消除视差的调制处理。由此，能够得到视差Gb像素及视差Gr像素的像素值被置换为无视差G像素的像素值的拜耳阵列。
图像处理部205的计算部233通过将全部左右视差像素的像素值置换为通过(算式3)计算出的对应的平均值，从而生成MN(x，y)。此外，局部增益修正也可以不针对Lt′(x，y)及Rt′(x，y)的全部像素进行，而针对拜耳阵列中的与左视差像素及右视差像素的位置对应的像素进行。
然后，图像处理部205使用现有的颜色插补的技术，根据MN(x，y)，将各像素具有直到奈奎斯特频率的分辨率的无视差的彩色图像数据生成为中间图像数据。
图23是说明G成分的插补的图。G颜色插补相对于图23中左图所示的中央的R像素的位置[i，j]，参照图中的像素而计算。在对B像素的位置进行G颜色插补的情况下的像素位置，由图23的右图示出。
在本实施方式中，图像处理部205使用Lt′(x，y)、Rt′(x，y)、RN(x，y)、GN(x，y)、BN(x，y)这5个层数据，生成左侧视点的彩色图像数据及右侧视点的彩色图像数据。具体地说，图像处理部205通过将具有临时视差图像的视差成分叠加在无视差图像上，从而生成左右彩色图像数据。将该生成处理称为视差调制处理。
左侧视点的彩色图像数据由与左侧视点对应的红色层数据RLt(x，y)、绿色层数据GLt(x，y)及蓝色层数据BLt(x，y)这3个彩色视差层数据构成。相同地，右侧视点的彩色图像数据由与右侧视点对应的红色层数据RRt(x，y)，绿色层数据GRt(x，y)及蓝色层数据BRt(x，y)这3个彩色视差层数据构成。
图24是说明彩色视差层数据的生成处理的图。特别示出彩色视 差平面中的红色视差平面的RLt(x，y)和RRt(x，y)的生成处理。
在以上的说明中，作为构成被摄物体像的颜色的原色使用了红色、绿色及蓝色这3种颜色。但是，也可以将添加了翠绿色等4种以上的颜色作为原色。另外，也可以替代红色、绿色及蓝色而采用黄色、品红、蓝绿的组合而构成的补色3原色。
在上述中，例如图像处理部205含有的像素值提取部231及计算部233等作为构成数码相机10的各构成要素的功能而说明了各自的处理。另外，使控制部201及图像处理部205动作的控制程序可以使构成数码相机10的各硬件作为执行上述处理的构成要素起作用。另外，生成彩色图像数据的这些处理也可以不在数码相机10进行，而是在外部的个人计算机等设备中进行。在此情况下，外部的个人计算机等设备作为图像处理装置起作用。图像处理装置例如取得RAW原始图像数据而生成彩色图像数据。图像处理装置在取得了RAW原始图像数据的情况下，也执行上述平面分离处理、层数据的插补处理。另外，图像处理装置也可以取得在摄像装置侧实施了插补处理的层数据。在适用于个人计算机等的情况下，与上述处理相关的程序能够通过CD-ROM等存储介质、互联网等的数据信号而提供。
在以上的与实施方式2相关的说明中，在左右之间消除了视差的信号面和无视差像素的摄像信号面之间取平均的操作中，出于使模糊幅度相同这一目的而使用了几何平均。在计算无视差像素的像素值和左右视差像素的平均值之间的几何平均的情况下，对该像素值的权重和对该平均值的权重的分配是均等的。另一方面，视差像素的数量少于无视差像素的数量。而且，视差图像的析像力低于无视差图像的析像力。如上述那样，例如相对于无视差图像的RN、BN的奈奎斯特极限性能为kx＝[-π/(2a)，+π/(2a)]，ky＝[-π/(2a)，+π/(2a)]，视差图像的RLt、BLt、RRt、BRt的奈奎斯特极限性能为kx＝[-π/(8a)，+π/(8a)]，ky＝[-π/(8a)，+π/(8a)]。由此，如果使无视差像素的像素值和左右视差像素的平均值的权重的分配均等，则所得到的图像的析像力由于视差图像的析像力的影响而整体降低。由此，需要进行 研究来尽可能地接近无视差图像的析像力。因此，考虑摄像元件上的像素阵列中的无视差像素和视差像素的密度比来进行几何平均为好。具体地说，实施方式2所使用的无视差像素(N)、左视差像素(Lt)、右视差像素(Rt)之比为N∶Lt∶Rt＝14∶1∶1，即N∶(Lt+Rt)＝7∶1，因此，对视差像素施加7/8的权重，对无视差像素施加1/8的权重，从而形成重视高密度的无视差像素的分配。
如上述那样，使左右之间的视差消除的方法存在选择算术平均的方法和选择几何平均的方法这两种。在所有的无视差像素具有全开口的掩模面积的情况下，为了使左右之间消除了视差的被摄物体像的模糊幅度与全开口的模糊幅度一致而选择算术平均型为好。下面的a)示出选择了算术平均型的情况。
a)左右之间算术平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
另一方面，在所有无视差像素具有半开口的掩模面积时，为了使左右之间消除了视差的被摄物体像的模糊幅度与半开口的模糊幅度一致而选择几何平均型为好。以下的b)示出选择了几何平均型的情况。
b)左右之间几何平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
另外，在进行视差调制时，也能够考虑摄像元件上的像素阵列中的各视差像素彼此之间的RGB的密度比而取几何平均。即，左视差像素彼此之间为R∶G∶B＝1∶2∶1，右视差像素彼此之间也为R∶G∶B＝1∶2∶1，因此，对基于R成分的视差调制施加1/4次方的权重，对基于G成分的视差调制施加1/2次方的权重，对基于B成分的 视差调制施加1/4次方的权重，形成重视基于高密度的G成分进行的视差调制的分配。以下的a)示出以算术平均为基准点的视差调制。
a)以算术平均为基准点的视差调制
左视差调制
右视差调制
以下的b)示出以几何平均为基准点的视差调制。
b)以几何平均为基准点的视差调制
左视差调制
右视差调制
如果对上述算式进行改写，则为：
左视差调制
右视差调制
在使用黑白摄像元件的情况下，也能够考虑摄像元件上的像素阵列中的无视差像素和视差像素的密度比而取几何平均。具体地说，由于实施方式3所使用的无视差像素(N)、左视差像素(Lt)和右视差像素(Rt)之比为N∶Lt∶Rt＝14∶1∶1，即N∶(Lt+Rt)＝7∶ 1，所以对无视差像素施加7/8次方的权重，对视差像素施加1/8次方的权重，形成重视高密度的无视差像素的分配。以下的a)示出作为消除左右之间的视差的方法而选择了算术平均型的情况。
a)左右之间算术平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
以下的b)示出作为消除左右之间的视差的方法而选择几何平均型的情况。
b)左右之间几何平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
也能够考虑摄像元件上的像素阵列中的无视差像素和视差像素的密度比而取算术平均。特别是在上述各实施方式中说明的运算通过硬件实现的情况下有效。在这里，作为一个例子，示出在左右之间消除了视差的信号面和无视差像素的摄像信号面之间取平均的情况。在进行视差调制的情况下，能够对使用黑白摄像元件的情况同样地进行算术平均。以下的a)示出作为消除左右之间的视差的方法而选择了算术平均型的情况。
a)左右之间算术平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
以下的b)示出作为消除左右之间的视差的方法而选择几何平均型的情况。
b)左右之间几何平均的情况
各像素的平均值
对无视差像素的各像素的增益值
对左视差像素的各像素的增益值
对右视差像素的各像素的增益值
以上，使用实施方式对本发明进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，能够对上述实施方式加以各种变更或改进。此外，由权利要求的记载可知，这种加以各种变更或改进的实施方式也包含在本发明的技术范围内。
应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序，只要没有特别明示“在......之前”、“早于”等，另外只要前处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，为方便起见而使用“首先”、“然后”等进行了说明，但也并不意味着必须按照这样的顺序实施。
附图标记说明
10数码相机，20摄影透镜，21光轴，30、31被摄物体，100 摄像元件，101微透镜，102彩色滤光片，103开口掩模，104开口部，105布线层，106布线，107开口，108光电转换元件，109基板，110重复图案，201控制部，202A/D转换电路，203存储器，204驱动部，205图像处理部，207存储卡IF，208操作部，209显示部，210LCD驱动电路，211AF传感器，220存储卡，231像素值提取部，233计算部，322中心线，1801分布曲线，1802分布曲线，1803分布曲线，1804分布曲线，1805分布曲线，1806合成分布曲线，1807分布曲线，1808分布曲线，1809合成分布曲线。

Claims (21)

1.一种图像处理方法，使用由像素阵列构成的摄像元件，通过1个光学系统将被摄物体像拍摄在使左方向的视点、右方向的视点以及基准方向的视点同时彼此不同的像素而得到的第1图像，并输入第1图像，其中，该像素阵列由第1颜色成分至第n颜色成分构成的表色系表示，由1个像素中具有1个颜色成分的颜色信息的多个像素构成，对于具有第1颜色成分的像素配置具有相对于基准方向产生左方向的视差的开口掩模的左视差像素和具有相对于基准方向产生右方向的视差的开口掩模的右视差像素的至少2种像素，对于具有第2颜色成分至第n颜色成分的像素，配置具有产生基准方向的视点的开口掩模的无视差像素的至少一种像素，其中，n大于等于2，
对于各个所述像素，变换为具有与基准方向的视点相关的第1颜色成分至第n颜色成分的颜色信息的第2图像，
该图像处理方法的特征在于，具有如下步骤：
在第1图像的第1颜色成分的左视差像素的位置处，插补拍摄到的第1颜色成分的右视差像素的颜色信息，生成与右方向的视点相关的第1颜色成分的颜色信息的步骤；
在第1图像的第1颜色成分的左视差像素的位置上，计算与由摄像元件拍摄到的左方向的视点相关的第1颜色成分的颜色信息、和与所述生成的右方向的视点相关的第1颜色成分的颜色信息这2个视点之间的平均值的步骤；
在第1图像的第1颜色成分的右视差像素的位置处，插补拍摄到的第1颜色成分的左视差像素的颜色信息，生成与左方向的视点相关的第1颜色成分的颜色信息的步骤；
在第1图像的第1颜色成分的右视差像素的位置上，计算与由摄像元件拍摄到的右方向的视点相关的第1颜色成分的颜色信息、和与所述生成的左方向的视点相关的第1颜色成分的颜色信息这2个视点之间的平均值的步骤；
将所述计算出的第1颜色成分的2个视点之间的平均值的颜色信息、和第1图像的第2～第n颜色成分的颜色信息合并，输出1个像素中具有1个颜色成分的颜色信息的第3图像的步骤；以及
基于所述第3图像的颜色信息，生成所述第2图像的步骤。
2.根据权利要求1所述的图像处理方法，其特征在于，
还具有如下步骤：
使用第1颜色成分的左视差像素的颜色信息，对各个像素生成第1颜色成分的左方向的视点的图像的步骤；
使用第1颜色成分的右视差像素的颜色信息，对各个像素生成第1颜色成分的右方向的视点的图像的步骤；
至少使用所述生成的第1颜色成分的左方向的视点的图像、和所述第1颜色成分至第n颜色成分的基准方向的视点的第2图像，新生成具有第1颜色成分至第n颜色成分的左方向的视点的图像的步骤；以及
至少使用所述生成的第1颜色成分的右方向的视点的图像、和所述第1颜色成分至第n颜色成分的基准方向的视点的第2图像，新生成具有第1颜色成分至第n颜色成分的右方向的视点的图像的步骤。
3.根据权利要求1所述的图像处理方法，其特征在于，
在所述摄像元件的无视差像素的开口掩模具有将左视差像素的开口掩模及右视差的开口掩模相加而得到的2倍开口面积时，利用算术平均计算所述左视点和右视点这2个视点之间的平均值。
4.根据权利要求1所述的图像处理方法，其特征在于，
在所述摄像元件的无视差像素的开口掩模具有与左视差像素的开口掩模及右视差的开口掩模相同的开口面积时，利用几何平均计算所述左视点和右视点这2个视点之间的平均值。
5.根据权利要求1所述的图像处理方法，其特征在于，
根据所述第3图像生成第2图像的步骤具有：
使用所述第3图像的颜色信息，计算至少与2个方向相关的类似度的类似度计算步骤；
比较所述类似度的大小来判定类似性较高的方向的类似性判定步骤；以及
使用所述类似性较高的方向的颜色信息，对第3图像中欠缺的颜色成分进行插补的插补步骤。
6.根据权利要求5所述的图像处理方法，其特征在于，
具有在所述类似度计算步骤中对相同颜色成分之间的类似度进行计算的同色间类似度计算部、和对不同颜色成分之间的类似度进行计算的非同色间类似度计算部。
7.根据权利要求1所述的图像处理方法，其特征在于，
根据所述第3图像生成第2图像的步骤具有：
插补步骤，对于第3图像中欠缺的颜色成分，不仅使用欠缺的颜色成分的颜色信息，还同时使用与欠缺的颜色成分不同的其他颜色成分的颜色信息计算插值。
8.一种图像处理方法，使用由像素阵列构成的摄像元件，通过1个光学系统将被摄物体像拍摄到使左方向的视点、右方向的视点以及基准方向的视点同时彼此不同的像素而得到的第1图像，并输入第1图像，其中，该像素阵列由第1颜色成分至第n颜色成分构成的表色系表示，由1个像素中具有1个颜色成分的颜色信息的多个像素构成，对于具有第1颜色成分的像素配置具有相对于基准方向产生左方向的视差的开口掩模的左视差像素、具有相对于基准方向产生右方向的视差的开口掩模的右视差像素、以及具有产生基准方向的视点的开口掩模的无视差像素的至少3种像素，其中，n大于等于1，
对于各个所述像素，变换为具有与基准方向的视点相关的第1颜色成分至第n颜色成分的颜色信息的第2图像，
该图像处理方法的特征在于，具有如下步骤：
在第1图像的第1颜色成分的左视差像素的位置处，插补拍摄到的第1颜色成分的右视差像素的颜色信息，生成与右方向的视点相关的第1颜色成分的颜色信息的步骤；
在第1图像的第1颜色成分的左视差像素的位置处，使用拍摄到的第1颜色成分的无视差像素的颜色信息，生成与基准方向的视点相关的第1颜色成分的颜色信息的步骤；
在第1图像的第1颜色成分的左视差像素的位置上，计算出与由摄像元件拍摄到的左方向的视点相关的第1颜色成分的颜色信息、和与所述生成的右方向的视点相关的第1颜色成分的颜色信息这2个视点之间的平均值的步骤；
在第1图像的第1颜色成分的左视差像素的位置上，计算所述计算出的左方向的视点和右方向的视点这两个视点之间的第1颜色成分的平均值的颜色信息、以及与所述生成的基准方向的视点相关的第1颜色成分的颜色信息这3个视点之间的平均值的步骤；
在第1图像的第1颜色成分的右视差像素的位置处，插补拍摄到的第1颜色成分的左视差像素的颜色信息，生成与左方向的视点相关的第1颜色成分的颜色信息的步骤；
在第1图像的第1颜色成分的右视差像素的位置处，使用拍摄到的第1颜色成分的无视差像素的颜色信息，生成与基准方向的视点相关的第1颜色成分的颜色信息的步骤；
在第1图像的第1颜色成分的右视差像素的位置上，计算出与由摄像元件拍摄到的右方向的视点相关的第1颜色成分的颜色信息、和与所述生成的左方向的视点相关的第1颜色成分的颜色信息这2个视点之间的平均值的步骤；
在第1图像的第1颜色成分的右视差像素的位置上，计算所述计算出的左方向的视点和右方向的视点这两个视点之间的第1颜色成分的平均值的颜色信息、以及与所述生成的基准方向的视点相关的第1颜色成分的颜色信息这3个视点之间的平均值的步骤；
在第1图像的第1颜色成分的无视差像素的位置处，使用拍摄到的第1颜色成分的左视差像素的颜色信息，生成与左方向的视点相关的第1颜色成分的颜色信息的步骤；
在第1图像的第1颜色成分的无视差像素的位置处，使用拍摄到的第1颜色成分的右视差像素的颜色信息，生成与右方向的视点相关的第1颜色成分的颜色信息的步骤；
在第1图像的第1颜色成分的无视差像素的位置上，计算出与所述生成的左方向的视点相关的第1颜色成分的颜色信息、和与所述生成的右方向的视点相关的第1颜色成分的颜色信息这2个视点之间的平均值的步骤；
在第1图像的第1颜色成分的无视差像素的位置上，计算所述计算出的左方向的视点和右方向的视点这两个视点之间的第1颜色成分的平均值的颜色信息、以及与由摄像元件拍摄到的基准方向的视点相关的第1颜色成分的颜色信息这3个视点之间的平均值的步骤；
将所述计算的第1颜色成分的3个视点之间的平均值的颜色信息、和第1图像的其他颜色成分的颜色信息合并，输出1个像素中具有1个颜色成分的颜色信息的第3图像的步骤；以及
基于所述第3图像的颜色信息，生成所述第2图像的步骤。
9.根据权利要求8所述的图像处理方法，其特征在于，
所述3个视点之间的平均值是通过对所述像素阵列中的左视差像素、右视差像素和无视差像素之间的像素密度的分配比进行加权而计算出的。
10.一种图像处理装置，其特征在于，具有：
获取部，其取得含有第1像素的第1像素值、第2像素的第2像素值以及第3像素的第3像素值的第1图像数据，其中，所述第1像素具有构成被摄物体像的色彩的多个颜色成分中的第1成分色的第1滤光片及与基准方向对应的无视差开口部，所述第2像素具有所述多个颜色成分中的第2成分色的第2滤光片及在相对于所述基准方向的一个方向上产生视差的视差开口部，所述第3像素具有所述第2滤光片及在与所述一个方向相反的另一个方向上产生视差的视差开口部，第1图像是通过1个光学系统将被摄物体像拍摄不同方向的视点同时彼此不同的像素而得到的；
计算部，其对于所述第2像素的像素位置，计算对该像素位置处的所述第2像素值、插补周边的所述第3像素的所述第3像素值计算出的假想的所述第3像素值进行平均化处理而得到的第4像素值，对于所述第3像素的像素位置，计算对该像素位置处的所述第3像素值、插补周边的所述第2像素的所述第2像素值计算出的假想的所述第2像素值进行平均化处理而得到的第5像素值；以及
图像生成部，其使用所述第1像素值、所述第4像素值及所述第5像素值，生成至少含有所述第1成分色和所述第2成分色的颜色信息在内的所述基准方向上的作为2D图像数据的第2图像数据。
11.根据权利要求10所述的图像处理装置，其特征在于，
所述图像生成部使用含有所述第2像素值和所述计算部计算出的假想的所述第2像素值的第1视差图像数据、含有所述第3像素值和所述计算部计算出的假想的所述第3像素值的第2视差图像数据、以及所述第2图像数据，生成至少含有所述第1成分色和所述第2成分色的颜色信息的、所述一个方向和所述另一个方向上的作为3D图像数据的第3图像数据。
12.根据权利要求10或11所述的图像处理装置，其特征在于，
所述计算部作为所述平均化处理而使用算术平均。
13.根据权利要求12所述的图像处理装置，其特征在于，
所述计算部在所述第1像素的无视差开口部的开口面积与所述第2像素的视差开口部的开口面积和所述第3像素的视差开口部的开口面积之和相等的情况下，作为所述平均化处理而使用算术平均。
14.根据权利要求10或11所述的图像处理装置，其特征在于，
所述计算部作为所述平均化处理而使用几何平均。
15.根据权利要求14所述的图像处理装置，其特征在于，
所述计算部在所述第1像素的无视差开口部的开口面积与所述第2像素的视差开口部的开口面积和所述第3像素的视差开口部的开口面积相等的情况下，作为所述平均化处理而使用几何平均。
16.根据权利要求10或11所述的图像处理装置，其特征在于，
所述图像生成部在生成各个像素位置中具有分别对应于所述多个颜色成分的像素值的所述第2图像数据的情况下，基于使用相对于对象像素位置至少在2个方向的像素位置处存在的像素的像素值而运算出的类似度，确定插补处理所使用的插补处理像素，使用所述插补处理像素的像素值，计算所述对象像素位置中欠缺的颜色成分的像素值。
17.根据权利要求16所述的图像处理装置，其特征在于，
所述图像生成部使用所述多个颜色成分中的相同颜色成分的像素值，运算所述类似度。
18.根据权利要求16所述的图像处理装置，其特征在于，
所述图像生成部使用所述多个颜色成分中的不同颜色成分的像素值，运算所述类似度。
19.一种图像处理装置，其特征在于，具有：
获取部，其获取含有第1像素的第1像素值、第2像素的第2像素值、第3像素的第3像素值以及第4像素的第4像素值的第1图像数据，其中，所述第1像素具有构成被摄物体像的色彩的多个颜色成分中的第1成分色的第1滤光片及与基准方向对应的无视差开口部，所述第2像素具有所述多个颜色成分中的第2成分色的第2滤光片及在相对于所述基准方向的一个方向上产生视差的视差开口部，所述第3像素具有所述第2滤光片及在与所述一个方向相反的另一个方向上产生视差的视差开口部，所述第4像素具有所述第2滤光片及与所述基准方向对应的无视差开口部，第1图像是通过1个光学系统将被摄物体像拍摄不同方向的视点同时彼此不同的像素而得到的；
计算部，其对于所述第2像素的像素位置，计算对该像素位置处的所述第2像素值、插补周边的所述第3像素的所述第3像素值计算出的假想的所述第3像素值、以及插补周边的所述第4像素的所述第4像素值计算出的假想的所述第4像素值进行平均化处理而得到的第5像素值，对于所述第3像素的像素位置，计算对该像素位置处的所述第3像素值、使用周边的所述第2像素的所述第2像素值计算出的假想的所述第2像素值、以及使用周边的所述第4像素的所述第4像素值计算出的假想的所述第4像素值进行平均化处理而得到的第6像素值，对于所述第4像素的像素位置，计算对该像素位置处的所述第4像素值、使用周边的所述第2像素的所述第2像素值计算出的假想的所述第2像素值、以及使用周边的所述第3像素的所述第3像素值计算出的假想的所述第3像素值进行平均化处理而得到的第7像素值；以及
图像生成部，其使用所述第1像素值、所述第5像素值、所述第6像素值及所述第7像素值，生成至少含有所述第1成分色和所述第2成分色的颜色信息在内的所述基准方向上的作为2D图像数据的第2图像数据。
20.根据权利要求19所述的图像处理装置，其特征在于，
所述计算部根据所述第1像素及所述第4像素、所述第2像素、所述第3像素的数量而实施加权。
21.一种摄像装置，其具有：
摄像元件，其拍摄被摄物体像；以及
权利要求10至20中任一项所述的图像处理装置，
其特征在于，
所述第1图像数据基于所述摄像元件的输出而生成。
CN201380014377.6A 2012-03-16 2013-03-14 图像处理装置、摄像装置 Active CN104170377B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012061012 2012-03-16
JP2012-061012 2012-03-16
JP2012183511A JP6131546B2 (ja) 2012-03-16 2012-08-22 画像処理装置、撮像装置および画像処理プログラム
JP2012-183511 2012-08-22
PCT/JP2013/001746 WO2013136809A1 (ja) 2012-03-16 2013-03-14 画像処理装置、撮像装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104170377A CN104170377A (zh) 2014-11-26
CN104170377B true CN104170377B (zh) 2017-03-08

Family

ID=49160732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380014377.6A Active CN104170377B (zh) 2012-03-16 2013-03-14 图像处理装置、摄像装置

Country Status (4)

Country Link
US (1) US10027942B2 (zh)
JP (1) JP6131546B2 (zh)
CN (1) CN104170377B (zh)
WO (1) WO2013136809A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104322061B (zh) * 2012-06-22 2017-01-18 株式会社尼康 图像处理装置、摄像装置及图像处理方法
WO2014024500A1 (ja) 2012-08-10 2014-02-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN105122793B (zh) 2013-03-29 2017-05-10 株式会社尼康 图像处理装置、摄像装置及图像处理程序
WO2015141084A1 (ja) * 2014-03-18 2015-09-24 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6405243B2 (ja) * 2014-03-26 2018-10-17 キヤノン株式会社 焦点検出装置及びその制御方法
CN106165398B (zh) 2014-04-04 2019-07-02 株式会社尼康 摄像元件、摄像装置以及图像处理装置
JP6900161B2 (ja) * 2016-09-14 2021-07-07 キヤノン株式会社 焦点調節装置及び撮像装置
JP6723546B2 (ja) * 2016-10-07 2020-07-15 株式会社ディー・ディー・エス 情報処理プログラム及び情報処理装置
CN110176280B (zh) * 2019-05-10 2023-06-06 北京大学深圳研究生院 一种描述材料晶体结构的方法及其应用
US11367743B2 (en) * 2019-10-28 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens between multiple subpixels

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
JP4599672B2 (ja) 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
WO2002060186A1 (fr) 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
WO2004112401A1 (ja) 2003-06-12 2004-12-23 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置
WO2006006373A1 (ja) 2004-07-07 2006-01-19 Nikon Corporation 画像処理装置およびコンピュータプログラム製品
WO2007007878A1 (ja) * 2005-07-14 2007-01-18 Nikon Corporation 画像処理装置および画像処理方法
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
JP4976310B2 (ja) * 2005-11-22 2012-07-18 パナソニック株式会社 撮像装置
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
WO2009066770A1 (ja) 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
KR101484111B1 (ko) * 2008-09-25 2015-01-19 삼성전자주식회사 입체 이미지 센서
EP2348733A4 (en) * 2008-10-27 2012-09-12 Lg Electronics Inc METHOD AND APPARATUS FOR THE SYNTHESIS OF VIRTUAL VISUALIZATION IMAGES
JP5332978B2 (ja) * 2009-07-07 2013-11-06 ソニー株式会社 立体表示装置
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US8611654B2 (en) * 2010-01-05 2013-12-17 Adobe Systems Incorporated Color saturation-modulated blending of exposure-bracketed images
CN104977777A (zh) 2010-06-30 2015-10-14 富士胶片株式会社 摄像装置及摄像方法
CN103039066B (zh) 2010-06-30 2016-01-27 富士胶片株式会社 成像装置、图像处理装置以及图像处理方法
CN102934024B (zh) 2010-06-30 2015-07-22 富士胶片株式会社 摄像装置及摄像方法
KR101590146B1 (ko) * 2010-08-24 2016-02-01 후지필름 가부시키가이샤 고체 촬상 장치
JP5513326B2 (ja) * 2010-09-07 2014-06-04 キヤノン株式会社 撮像素子及び撮像装置
JP5385462B2 (ja) 2010-09-13 2014-01-08 富士フイルム株式会社 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
WO2012039346A1 (ja) 2010-09-22 2012-03-29 富士フイルム株式会社 立体撮像装置およびシェーディング補正方法
KR20120049636A (ko) * 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
US9532033B2 (en) 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
WO2013136819A1 (ja) 2012-03-16 2013-09-19 株式会社ニコン 撮像素子、撮像装置および撮像システム

Also Published As

Publication number Publication date
JP2013219737A (ja) 2013-10-24
US20150062307A1 (en) 2015-03-05
US10027942B2 (en) 2018-07-17
CN104170377A (zh) 2014-11-26
WO2013136809A1 (ja) 2013-09-19
JP6131546B2 (ja) 2017-05-24

Similar Documents

Publication Publication Date Title
CN104170377B (zh) 图像处理装置、摄像装置
CN103688536B (zh) 图像处理装置、图像处理方法
CN104429056B (zh) 图像处理方法、图像处理装置、摄像装置及图像处理程序
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
CN104010183B (zh) 包括至少一个拜耳型摄像机的阵列系统及关联的方法
CN202750183U (zh) 视差成像设备和视差成像系统
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
CN104041020B (zh) 彩色摄像元件
CN104521231B (zh) 图像处理装置和摄像装置
CN104185983B (zh) 摄像元件、摄像装置以及摄像系统
CN104412579B (zh) 彩色摄像元件以及摄像装置
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN103444183B (zh) 彩色摄像元件及摄像装置
CN103260045A (zh) 摄像装置及图像传感器阵列
CN104322061B (zh) 图像处理装置、摄像装置及图像处理方法
CN104412586B (zh) 图像处理装置、摄像装置
CN103621078B (zh) 图像处理装置和图像处理程序
CN104025577B (zh) 图像处理装置、方法以及摄像装置
CN104025580A (zh) 彩色摄像元件及摄像装置
CN104106003A (zh) 摄像装置
CN104041021B (zh) 图像处理装置及方法以及摄像装置
CN105359519A (zh) 摄像装置
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序
CN103999449A (zh) 摄像元件
CN103907188B (zh) 摄像元件、摄像装置及图像处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant