CN103430094A - 图像处理装置、拍摄装置以及图像处理程序 - Google Patents

图像处理装置、拍摄装置以及图像处理程序 Download PDF

Info

Publication number
CN103430094A
CN103430094A CN2012800122224A CN201280012222A CN103430094A CN 103430094 A CN103430094 A CN 103430094A CN 2012800122224 A CN2012800122224 A CN 2012800122224A CN 201280012222 A CN201280012222 A CN 201280012222A CN 103430094 A CN103430094 A CN 103430094A
Authority
CN
China
Prior art keywords
pixel
parallax
photo
electric conversion
conversion element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800122224A
Other languages
English (en)
Other versions
CN103430094B (zh
Inventor
森晋
浜岛宗树
芝崎清茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN103430094A publication Critical patent/CN103430094A/zh
Application granted granted Critical
Publication of CN103430094B publication Critical patent/CN103430094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Abstract

在使用通过一次曝光动作从一个拍摄系统输出的图像信号来生成多个视差图像的情况下，存在如下问题：由于被摄体光束向拍摄元件的各像素入射的入射角的不同，在视差图像间产生色调的不同。因此本发明提供一种图像处理装置，具有：图像数据取得部，其从拍摄元件取得视差图像数据，所述拍摄元件与至少一部分光电转换元件分别对应地具有彩色滤光片和开口掩模，至少输出2个视差图像数据；和修正部，其基于拍摄元件中的光电转换元件的位置和开口掩模的开口偏位的至少一方，修正在视差图像数据间所产生的对应像素的色平衡失调。

Description

图像处理装置、拍摄装置以及图像处理程序
技术领域
本发明涉及图像处理装置、拍摄装置以及图像处理程序。
背景技术
已知使用2个摄影光学系统来拍摄由右眼用图像和左眼用图像构成的立体图像的立体拍摄装置。这样的立体拍摄装置通过以一定的间隔来配置2个摄影光学系统，从而在对同一被摄体拍摄而获得的2个图像产生视差。
现有技术文献
专利文献
专利文献1：日本特开平8—47001号公报
发明内容
发明要解决的问题
如果是在利用独立的2个拍摄系统来取得右眼用图像和左眼用图像的情况下，事实上可能会将被摄体光束向各个拍摄元件入射的入射角的不同无视。但是存在如下问题：在使用通过一次曝光动作从一个拍摄系统输出的图像信号来生成多个视差图像的情况下，由于被摄体光束向拍摄元件的各像素入射的入射角的不同，在视差图像之间产生色调的不同。
用于解决问题的手段
本发明的第1方案的图像处理装置具有：图像数据取得部，其从拍摄元件取得视差图像数据，拍摄元件与至少一部分光电转换元件分别对应地具有彩色滤光片和开口掩模，输出至少2个视差图像数据；和修正部，其基于拍摄元件中的光电转换元件的位置和开口掩模的开口偏位的至少一方，修正在视差图像数据间所产生的对应像素的色平衡失调。
本发明的第2方案的拍摄装置包含上述图像处理装置和拍摄元件，对与相邻的n个所述光电转换元件中的至少3个所述光电转换元件对应设置的各所述开口掩模的开口进行定位，以使该开口包含在彩色滤光片图案的一个图案内，并且使来自所述入射光的截面区域内的互不相同的部分区域的光束分别穿过，以所述n个所述光电转换元件为一组的光电转换元件组周期性地排列，其中，所述彩色滤光片图案包含使互不相同的波段透过的至少2种所述彩色滤光片，n为3以上的整数。并且，拍摄装置基于设置于开口掩模的光电转换元件的输出信号来输出视差图像数据。
本发明的第3方案的图像处理程序使计算机执行如下步骤：图像数据取得步骤，从拍摄元件取得视差图像数据，所述拍摄元件与至少一部分光电转换元件分别对应地具有彩色滤光片和开口掩模，至少输出2个视差图像数据；和修正步骤，基于拍摄元件中的光电转换元件的位置和开口掩模的开口偏位的至少一方，修正在视差图像数据间所产生的对应像素的色平衡失调。
此外，上述的发明内容并不是列举了本发明的全部必要特征而得到的。另外，这些特征组的子组合也能另外构成发明。
附图说明
图1是说明本发明的实施方式的数字照相机(digital camera)的构成的图。
图2是表示本发明的实施方式的拍摄元件的截面的概略图。
图3是表示将拍摄元件的一部分放大后的形态的概略图。
图4是说明视差像素与被摄体的关系的概念图。
图5是说明用于生成视差图像的处理的概念图。
图6是表示重复图案的另一例的图。
图7是表示二维的重复图案的例子的图。
图8是说明开口部的另一形状的图。
图9是说明拜耳阵列的图。
图10是说明在视差像素的种类为2种的情况下的针对拜耳阵列的视差像素的分配的变形的图。
图11是表示变形的一例的图。
图12是表示另一变形的一例的图。
图13是表示又一变形的一例的图。
图14是表示视差图像和2D图像的生成过程的概念图。
图15是说明主光线相对于彩色滤光片的入射角的不同的图。
图16是表示视差图像间的色平衡失调的概念的图。
图17是表示主光线相对于彩色滤光片的入射角和透射率的关系的图。
图18是说明在安装有光瞳位置不同的透镜单元的情况下的主光线的入射角的不同的图。
图19是表示修正色平衡失调的处理流程的图。
具体实施方式
以下，通过发明的实施方式来说明本发明，但以下的实施方式并不是限定权利要求书涉及的发明。另外，实施方式中所说明的特征的全部组合并非是发明的解决手段所必须的。
作为拍摄装置的一个形态的本实施方式的数字照相机，构成为能够对一个场景通过一次摄影来生成多个视点数的图像。将视点互不相同的各个图像称为视差图像。
图1是说明本发明的实施方式的数字照相机10的构成的图。数字照相机10由主体单元30和可装卸于主体单元30的透镜单元50构成。透镜单元50所具有的摄影透镜20将沿着光轴21入射的被摄体光束导向主体单元30所具有的拍摄元件100。在本实施方式中，将数字照相机10作为可替换透镜单元50的透镜替换式照相机来说明，但也可以是透镜单元50与主体单元30一体构成的一类照相机。
主体单元30具有拍摄元件100、控制部201、A／D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、LCD驱动电路210以及AF传感器211。透镜单元50除了摄影透镜20以外还具有透镜控制部321、透镜存储器232。
此外，如图所示，将朝向拍摄元件100的平行于光轴21的方向定为z轴正方向，将在垂直于z轴的平面上朝向纸面近前的方向定为x轴正方向，将纸面上方定为y轴正方向。在以后的几个图中，以图1的坐标轴为基准，以使各个图的方向清楚的方式来表示坐标轴。
摄影透镜20由多个光学透镜组构成，使来自场景的被摄体光束成像在该摄影透镜20的焦点面附近。此外，图1中为了便于说明摄影透镜20而以配置在光瞳附近的虚拟的1片透镜为代表来表示。拍摄元件100配置在摄影透镜20的焦点面附近。拍摄元件100是二维排列有多个光电转换元件的例如CCD、CMOS传感器等图像传感器。拍摄元件100由驱动部204进行定时(timing)控制，将成像在受光面上的被摄体像转换成图像信号并输出到A／D转换电路202。
A／D转换电路202将拍摄元件100输出的图像信号转换成数字图像信号并输出到存储器203。图像处理部205将存储器203作为工作空间来实施各种图像处理，生成图像数据。图像处理部205另外也承担如下功能：与拍摄元件100的像素排列相适应地，根据所输入的图像信号生成作为非视差图像数据的2D图像数据及视差图像数据，或依照所选择出的图像格式来调整图像数据。所生成的图像数据可通过LCD驱动电路210被转换成显示信号而显示在显示部209上。而且，可被记录在安装于存储卡IF207的存储卡220中。
AF传感器211是对被摄体空间设置有多个测距点的相位差传感器，在各个测距点检测被摄体像的散焦量。通过操作部208接受用户的操作并向控制部201输出操作信号来开始一系列的摄影顺序。在控制部201中控制并执行按照摄影顺序的AF、AE等的各种动作。例如，控制部201解析AF传感器211的检测信号，将使构成摄影透镜20的一部分的聚焦透镜移动的对焦控制信号发送到透镜控制部231。
透镜控制部231负责透镜单元50的控制。例如从控制部201接收对焦控制信号，使聚焦透镜移动。另外，检测包含聚焦透镜在内的摄影透镜20的当前位置并发送到控制部201。透镜存储器232是存储有与透镜单元50有关的各种特性值的非易失性存储器。透镜控制部231按照控制部201的要求将摄影透镜20的位置信息、透镜存储器232存储的各种特性值等作为透镜信息发送到控制部201。
接着，对拍摄元件100的构成进行详细说明。图2是表示本发明的实施方式的拍摄元件的截面的概略图。如图所示，拍摄元件100构成为从被摄体侧依次排列有微透镜101、彩色滤光片102、开口掩模103、布线层105以及光电转换元件108。光电转换元件108由将入射的光转换成电信号的光电二极管构成。多个光电转换元件108呈二维状地排列在基板109的表面。
由光电转换元件108转换后的图像信号、控制光电转换元件108的控制信号等经由设置于布线层105的布线106来收发。另外，具有与各光电转换元件108一一对应地设置的开口部104的开口掩模103，与布线层接触地设置。开口部104如后述那样按对应的光电转换元件108来偏移，相对的位置被严格地确定。在后面进行详细说明，由于具有该开口部104的开口掩模103的作用，在光电转换元件108受光的被摄体光束产生视差。
另一方面，在不产生视差的光电转换元件108上，不存在开口掩模103。换言之，也可以说不限制对对应的光电转换元件108入射的被摄体光束，即设置具有使有效光束全部穿过的开口部104的开口掩模103。虽然不产生视差，但实质上因为由布线106形成的开口107规定入射的被摄体光束，所以也可以将布线106理解为不产生视差的使有效光束全部穿过的开口掩模。开口掩模103可以与各光电转换元件108对应地分别独立地排列，也可以与彩色滤光片102的制造工序同样地与多个光电转换元件108一起形成。
彩色滤光片102设置在开口掩模103上。彩色滤光片102是以使特定的波段透过各光电转换元件108的方式被着色的、与光电转换元件108分别一一对应地设置的滤光片。要输出彩色图像，只要排列互不相同的至少2种彩色滤光片即可，而要获得更高画质的彩色图像可以排列3种以上的彩色滤光片。例如可以将使红色波段透过的红色滤光片、使绿色波段透过的绿色滤光片以及使蓝色波段透过的蓝色滤光片呈格子状排列。在后面对具体的排列进行说明。
微透镜101设置在彩色滤光片102上。微透镜101是用于将入射的被摄体光束的较多光束导向光电转换元件108的聚光透镜。微透镜101与光电转换元件108分别一一对应地设置。微透镜101优选是考虑摄影透镜20的光瞳中心与光电转换元件108的相对的位置关系来使其光轴移位以使较多被摄体光束被导向光电转换元件108。进而，可以与开口掩模103的开口部104的位置一起来调整配置位置以使后述的特定的被摄体光束较多地入射。
如此，将与各个光电转换元件108一一对应地设置的开口掩模103、彩色滤光片102以及微透镜101的一个单位称为像素。特别是，将设有产生视差的开口掩模103的像素称为视差像素，将没有设有产生视差的开口掩模103的像素称为无视差像素。例如，在拍摄元件100的有效像素区域为24mm×16mm左右的情况下，像素数达到1200万左右。
此外，在聚光效率、光电转换效率良好的图像传感器的情况下，也可以不设置微透镜101。另外，在背面照射型图像传感器的情况下，将布线层105设置在与光电转换元件108相反的一侧。
接着，对开口掩模103的开口部104和所产生的视差的关系进行说明。图3是表示将拍摄元件100的一部分放大后的形态的概略图。在此，为了简单地说明，对于彩色滤光片102的配色将在后面再次提及而不考虑。在不提及彩色滤光片102的配色的以下的说明中，能够理解为仅将具有同色的彩色滤光片102的视差像素汇集的图像传感器。因此，以下说明的重复图案也可以作为同色的彩色滤光片102中的相邻像素来考虑。
如图3所示，开口掩模103的开口部104相对于各个像素而相对偏移地设置。而且，在相邻的像素彼此中，各个开口部104也被设置于互相变位后的位置。
在图示的例子中，准备了作为开口部104相对于各个像素的位置而彼此在左右方向上偏移的6种开口掩模103。而且，整个拍摄元件100中，二维且周期性地排列有以分别具有从纸面左侧向右侧逐渐偏移的开口掩模103的6个视差像素为一组的光电转换元件组。即，拍摄元件100可以说是包含一组光电转换元件组的重复图案110周期性地铺满而构成的。
图4是说明视差像素与被摄体的关系的概念图。特别是图4(a)表示在拍摄元件100中在与摄影光轴21垂直的中心排列的重复图案110t的光电转换元件组，图4(b)示意性地表示排列在周边部分的重复图案110u的光电转换元件组。图4(a)、(b)中的被摄体90相对于摄影透镜20存在于对焦位置。图4(c)与图4(a)对应，示意性地表示在捕捉到相对于摄影透镜20存在于非对焦位置的被摄体91的情况下的关系。
首先，说明在摄影透镜20捕捉存在于对焦状态的被摄体90的情况下的视差像素与被摄体的关系。被摄体光束穿过摄影透镜20的光瞳而被导向拍摄元件100，但对被摄体光束穿过的全部截面区域规定了6个部分区域Pa～Pf。而且，从放大图也可清楚：例如对于构成重复图案110t、110u的光电转换元件组的纸面左端的像素，以仅使从部分区域Pf射出的被摄体光束到达光电转换元件108的方式确定开口掩模103的开口部104f的位置。同样，对于朝向右端的像素，与部分区域Pe对应地确定开口部104e的位置，与部分区域Pd对应地确定开口部104d的位置，与部分区域Pc对应地确定开口部104c的位置，与部分区域Pb对应地确定开口部104b的位置，与部分区域Pa对应地确定开口部104a的位置。
换言之，也可以说是根据由例如部分区域Pf与左端像素的相对的位置关系定义的、从部分区域Pf射出的被摄体光束的主光线Rf的斜率，来确定开口部104f的位置。而且，在将来自存在于对焦位置的被摄体90的被摄体光束经由开口部104f由光电转换元件108受光的情况下，该被摄体光束如虚线所图示的那样成像在光电转换元件108上。同样，朝向右端的像素，可以说是根据主光线Re的斜率来确定开口部104e的位置，根据主光线Rd的斜率来确定开口部104d的位置，根据主光线Rc的斜率来确定开口部104c的位置，根据主光线Rb的斜率来确定开口部104b的位置，根据主光线Ra的斜率来确定开口部104a的位置。
如图4(a)所示，从存在于对焦位置的被摄体90中的与光轴21交叉的被摄体90上的微小区域Ot放射的光束，穿过摄影透镜20的光瞳而到达构成重复图案110t的光电转换元件组的各像素。也就是说，构成重复图案110t的光电转换元件组的各像素分别经由6个部分区域Pa～Pf接受从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各像素的位置偏离相对应程度的扩散，但实质上能够大致近似于同一物点。同样，如图4(b)所示，从存在于对焦位置的被摄体90中离开光轴21的被摄体90上的微小区域Ou放射的光束，穿过摄影透镜20的光瞳而到达构成重复图案110u的光电转换元件组的各像素。也就是说，构成重复图案110u的光电转换元件组的各像素分别经由6个部分区域Pa～Pf接受从一个微小区域Ou放射的光束。微小区域Ou与微小区域Ot同样，也具有与构成重复图案110u的光电转换元件组的各像素的位置偏离相对应程度的扩散，但实质上能够大致近似于同一物点。
即，只要被摄体90存在于对焦位置，与拍摄元件100上的重复图案110的位置相应地，光电转换元件组所捕捉的微小区域就不同，并且构成光电转换元件组的各像素经由互不相同的部分区域而捕捉同一微小区域。而且，在各个重复图案110中，对应的像素彼此接受来自相同部分区域的被摄体光束。即，在图中，例如重复图案110t、110u各自的左端的像素接受来自相同部分区域Pf的被摄体光束。
在与摄影光轴21垂直的中心排列的重复图案110t中左端像素接受来自部分区域Pf的被摄体光束的开口部104f的位置、和排列在周边部分的重复图案110u左端像素接受来自部分区域Pf的被摄体光束的开口部104f的位置严格来说是不同的。然而，从功能性的观点出发，在用于接受来自部分区域Pf的被摄体光束的开口掩模这一点上，能够将它们作为同一种开口掩模来处理。因此，在图4的例子中，可以说排列在拍摄元件100上的视差像素各自具有6种开口掩模中的一种。
接着，说明在摄影透镜20捕捉存在于非对焦状态的被摄体91的情况下的视差像素与被摄体的关系。在该情况下，来自存在于非对焦位置的被摄体91的被摄体光束也穿过摄影透镜20的光瞳的6个部分区域Pa～Pf而到达拍摄元件100。但是，来自存在于非对焦位置的被摄体91的被摄体光束不是成像在光电转换元件108上而是成像在其他位置。例如，如图4(c)所示，若被摄体91与被摄体90相比存在于更远离拍摄元件100的位置，则被摄体光束成像在相比于光电转换元件108更靠被摄体91侧。相反，若被摄体91与被摄体90相比存在于更接近拍摄元件100的位置，则被摄体光束成像在相比于光电转换元件108更靠与被摄体91相反的一侧。
因此，从存在于非对焦位置的被摄体91中的微小区域Ot′放射的被摄体光束，通过穿过6个部分区域Pa～Pf中的某一个而到达不同组的重复图案110中的对应像素。例如，如图4(c)的放大图所示，穿过了部分区域Pd的被摄体光束作为主光线Rd′而入射到包含在重复图案110t′中的具有开口部104d的光电转换元件108。而且，从微小区域Ot′放射而穿过了其他部分区域的被摄体光束，没有入射到包含在重复图案110t′中的光电转换元件108，而入射到其他重复图案中具有对应开口部的光电转换元件108。换言之，到达构成重复图案110t′的各光电转换元件108的被摄体光束是从被摄体91的互不相同的微小区域放射的被摄体光束。也就是说，向与开口部104d对应的108入射的是将主光线作为Rd′的被摄体光束，向与其他开口部对应的光电转换元件108入射的是将主光线作为Ra+、Rb+、Rc+、Re+、Rf+的被摄体光束，但这些被摄体光束是从被摄体91的互不相同的微小区域放射的被摄体光束。这样的关系在图4(b)中的排列在周边部分的重复图案110u中也是同样的。
于是，在观察拍摄元件100整体的情况下，例如，由与开口部104a对应的光电转换元件108捕捉到的被摄体像A和由与开口部104d对应的光电转换元件108捕捉到的被摄体像D，若是对存在于对焦位置的被摄体的像就相互没有偏离，若是对存在于非对焦位置的被摄体的像则会产生偏离。而且，根据存在于非对焦位置的被摄体相对于对焦位置向哪一侧偏离了多少、及部分区域Pa与部分区域Pd的距离，确定该偏离的方向和量。即，被摄体像A和被摄体像D相互成为视差像。该关系对于其他开口部而言也是同样的，因此与开口部104a～104f对应地形成6个视差像。
因此，在如此构成的各个重复图案110中，当将互相对应的像素的输出汇集时，获得视差图像。即，接受从6个部分区域Pa～Pf中的特定的部分区域射出的被摄体光束的像素的输出形成视差图像。
图5是说明用于生成视差图像的处理的概念图。图中从左列依次表示将与开口部104f对应的视差像素的输出集中而生成的视差图像数据Im_f的生成的形态、由开口部104e的输出实现的视差图像数据Im_e的生成的形态、由开口部104d的输出实现的视差图像数据Im_d的生成的形态、由开口部104c的输出实现的视差图像数据Im_c的生成的形态、由开口部104b的输出实现的视差图像数据Im_b的生成的形态、由开口部104a的输出实现的视差图像数据Im_a的生成的形态。首先对由开口部104f的输出实现的视差图像数据Im_f的生成的形态进行说明。
由以6个视差像素为一组的光电转换元件组构成的重复图案110排列成横向一排。因此，具有开口部104f的视差像素在拍摄元件100上在左右方向上每隔6个像素地存在，且在上下方向上连续地存在。这些各像素如上述那样接受来自分别不同的微小区域的被摄体光束。因此，当将这些视差像素的输出汇集排列时，获得视差图像。
但是，因为本实施方式中的拍摄元件100的各像素是正方像素，仅通过单纯地汇集将造成横向的像素数被减到1／6的结果，而生成纵长的图像数据。于是，通过实施插值处理在横向上成为6倍的像素数，从而生成视差图像数据Im_f作为本来纵横比的图像。但是，因为原本插值处理前的视差图像数据为横向上减到1／6的图像，所以横向的分辨率比纵向的分辨率低。即，可以说所生成的视差图像数据的数量与分辨率的提高为相反关系。
同样地获得视差图像数据Im_e～视差图像数据Im_a。也就是说，数字照相机10能够生成在横向上具有视差的6个视点的视差图像。
在上述的例子中，说明了将横向一排作为重复图案110而周期性地排列的例子，但重复图案110并不限于此。图6是表示重复图案110的另一例的图。
图6(a)是将纵向6个像素作为重复图案110的例子。但是，各个开口部104以从纸面上端的视差像素往下、从纸面左侧向右侧逐渐偏移的方式确定位置。通过如此排列的重复图案110，也能够生成在横向上给予视差的6个视点的视差图像。该情况与图3的重复图案110相比，可以说是取代牺牲纵向的分辨率而维持横向的分辨率的重复图案。
图6(b)是将斜向相邻的6个像素作为重复图案110的例子。各个开口部104以从纸面左上端的视差像素往右下、从纸面左侧向右侧逐渐偏移的方式确定位置。通过如此排列的重复图案110，也能够生成在横向上给予视差的6个视点的视差图像。该情况与图3的重复图案110相比，可以说是在将纵向的分辨率及横向的分辨率维持一定程度的同时增加视差图像的数量的重复图案。
分别比较图3的重复图案110和图6(a)、(b)的重复图案110，在都生成6个视点的视差图像的情况下，对于从不是视差图像的整体输出一张图像的情况下的分辨率，可以说不同之处在于牺牲纵向、横向的哪一个方向的分辨率。图3的重复图案110的情况为使横向的分辨率为1／6的构成。图6(a)的重复图案110的情况为使纵向的分辨率为1／6的构成。另外，图6(b)的重复图案110的情况为使纵向为1／3并使横向为1／2的构成。无论哪种情况，都在一个图案内与各像素对应地逐一设置有开口部104a～104f，构成为分别从对应的部分区域Pa～Pf的某一方接受被摄体光束。因此，无论哪个重复图案110，视差量都是同等的。
在上述的例子中，说明了生成在左右方向上给予视差的视差图像的情况，但当然也可以生成在上下方向上给予视差的视差图像，也可以生成在上下左右的二维方向上给予视差的视差图像。图7是表示二维的重复图案110的例子的图。根据图7的例子，以纵向6个像素横向6个像素这36个像素为一组光电转换元件组来形成重复图案110。准备了作为开口部104相对于各个像素的位置而在上下左右方向上相互偏移的36种开口掩模103。具体而言，各开口部104以从重复图案110的上端像素往下端像素从上侧向下侧逐渐偏移、同时从左端像素往右端像素从左侧向右侧逐渐偏移的方式确定位置。
具有这样的重复图案110的拍摄元件100能够输出在上下方向和左右方向上给予视差的36个视点的视差图像。当然不限于图7的例子，也可以以输出各种视点数的视差图像的方式确定重复图案110。
在以上的说明中，作为开口部104的形状而采用了矩形。特别是，在横向上给予视差的排列中，通过使没有偏移的上下方向的宽度比作为偏移方向的左右方向的宽度大，确保了导向光电转换元件108的光量。但是，开口部104的形状并没有限定于矩形。
图8是说明开口部104的另一形状的图。在图中，将开口部104的形状设为圆形。在圆形的情况下，根据与半球形状的微透镜101的相对的关系，能够防止预定外的被摄体光束成为杂散光而入射到光电转换元件108。
接着说明彩色滤光片102和视差图像。图9是说明拜耳阵列的图。如图所示，拜耳阵列是如下排列：将绿色滤光片分配给左上和右下这2个像素，将红色滤光片分配给左下这1个像素，将蓝色滤光片分配给右上这1个像素。在此，将被分配了绿色滤光片的左上的像素设为Gb像素，将同样被分配了绿色滤光片的右下的像素设为Gr像素。另外，将被分配了红色滤光片的像素设为R像素，将被分配了蓝色滤光片的像素设为B像素。而且，将Gb像素和B像素排列的横向设为Gb行，将R像素和Gr像素排列的横向设为Gr行。另外，将Gb像素和R像素排列的纵向设为Gb列，将B像素和Gr像素排列的纵向设为Gr列。
对于这样的彩色滤光片102的排列，通过将视差像素和无视差像素以什么样的周期分配给什么颜色的像素，能够设定庞大数量的重复图案110。如果将无视差像素的输出汇集，能够与通常的摄影图像同样地生成无视差的摄影图像数据。因此，如果相对地增加无视差像素的比例，则能够输出分辨率高的2D图像。在该情况下，因为视差像素变为相对少的比例，所以作为由多个视差图像构成的3D图像，画质降低。相反，如果增加视差像素的比例，作为3D图像，画质提高，但因为无视差像素相对减少，所以会输出分辨率低的2D图像。
在这样的二律背反的关系中，通过将哪个像素设为视差像素或设为无视差像素，来设定具有各种特征的重复图案110。图10是说明在视差像素的种类为2种的情况下的针对拜耳阵列的视差像素的分配的变形的图。该情况的视差像素假设为开口部104相比于中心偏向左侧的视差L像素和同样地偏向右侧的视差R像素。即，从这样的视差像素输出的2个视点的视差图像实现所谓的立体感。
对各个重复图案的特征性的说明如图所示那样。例如，如果较多地分配无视差像素则成为高分辨率的2D图像数据，如果对RGB的任一像素都均等地配置，则成为色差小的高画质的2D图像数据。在也利用视差像素的输出来生成2D图像数据的情况下，参照周边像素的输出来修正偏离的被摄体像。因此，即使例如全部R像素都为视差像素也能够生成2D图像，但其画质自然会降低。
另一方面，若较多地分配视差像素则成为高分辨率的3D图像数据，如果对RGB的任一像素都均等地分配，则在为3D图像的同时还成为色再现性好的高品质的彩色图像数据。在也利用无视差像素的输出来生成3D图像数据的情况下，根据无视差的被摄体像并参照周边的视差像素的输出来生成偏离的被摄体像。因此，即使例如全部R像素都为无视差像素也能够生成3D图像，但其画质自然会降低。
以下对几个变形进行说明。图11是表示变形的一例的图。图11的变形与图10中的重复图案分类A-1相当。
在图示例子中，将同为拜耳阵列的4个像素设为重复图案110。R像素和B像素为无视差像素，将Gb像素分配给视差L像素，将Gr像素分配给视差R像素。该情况下，同一重复图案110所包含的视差L像素和视差R像素，以分别接受穿过光瞳上的互不相同的部分区域的被摄体光束的方式确定开口部104。
在图示例子中，因为使用光敏度高的绿色像素即Gb像素和Gr像素作为视差像素，所以能够期待获得对比度高的视差图像。另外，因为使用同样作为绿色像素的Gb像素和Gr像素作为视差像素，所以容易从这2个输出换算成无视差的输出，输出作为无视差像素的R像素和B像素，并且能够生成高画质的2D图像数据。
图12是表示另一变形的一例的图。图12的变形与图10中的重复图案分类B—1相当。
在图示例子中，将拜耳阵列的4个像素左右连续2组得到的8个像素设为重复图案110。8个像素中，对左侧的Gb像素分配视差L像素，对右侧的Gb像素分配视差R像素。在这样的排列中，通过将Gr像素设为无视差像素，与图10的例子相比，更加期望2D图像的高画质化。
图13是表示又一变形的一例的图。图13的变形与图10中的重复图案分类D-1相当。
在图示例子中，将拜耳阵列的4个像素左右连续2组得到的8个像素设为重复图案110。8个像素中，对左侧的Gb像素分配视差L像素，对右侧的Gb像素分配视差R像素。进而，对左侧的R像素分配视差L像素，对右侧的R像素分配视差R像素。进而，对左侧的B像素分配视差L像素，对右侧的B像素分配视差R像素。对2个Gr像素分配无视差像素。
被分配给2个Gb像素的视差L像素和视差R像素，在捕捉存在于焦点面的被摄体时，接受从一个微小区域放射的光束。另外，被分配给2个R像素的视差L像素和视差R像素同样接受从与Gb像素时不同的一个微小区域放射的光束，被分配给2个B像素的视差L像素和视差R像素同样接受从与Gb像素及R像素时不同的一个微小区域放射的光束。因此，作为3D图像的分辨率增加。而且，因为获得了RGB的3色的输出，所以作为彩色图像的3D图像而获得高品质。
此外，如果如上述那样将视差像素的种类设为2种，则能获得2个视点的视差图像，但视差像素的种类当然也可以与想要输出的视差图像数相符地采用图3、图7、图8等所说明的各种数量。即使视点数增加，也能够形成各种重复图案110。因此，能够选择与规格、目的等相应的重复图案110。
在上述的例子中，对作为彩色滤光片排列而采用了拜耳阵列的情况进行了说明，但当然也可以为其他的彩色滤光片排列。如使用图3等说明的那样，在着眼于构成彩色滤光片排列的某一颜色来进行汇集的情况下，只要以形成以相邻的多个像素为一组光电转换元件组的重复图案、并输出视差图像的方式分配视差像素即可。此时，构成一组光电转换元件组的视差像素各自可以包括具有面向互不相同的部分区域的开口部104的开口掩模103。
因此，拍摄元件100只要如下即可：具有将入射光光电转换成电信号的二维排列的光电转换元件108、与光电转换元件108的至少一部分分别一一对应地设置的开口掩模103、和与光电转换元件108的至少一部分分别一一对应地设置的彩色滤光片102，对与相邻的n个(n为3以上的整数)光电转换元件108中的至少3个对应设置的各个开口掩模103的开口部104进行定位，以使开口部104包含在由彩色滤光片图案的一个图案内，并且使来自入射光的截面区域内的互不相同的部分区域的光束分别穿过，以n个光电转换元件108为一组的光电转换元件组周期性地排列，所述彩色滤光片图案由使互不相同的波段透过的至少2种彩色滤光片102构成。
在此，对作为彩色图像的视差图像的生成和作为彩色图像的2D图像的生成进行说明。图14是表示视差图像和2D图像的生成过程的概念图。在此，以使用图13说明的重复图案分类D-1为例进行说明。如图所示，将视差L像素的输出在维持拍摄元件100上的相对的位置关系的同时进行汇集，生成L图像数据。一个重复图案110所包含的视差L像素是在拜耳阵列的4个像素左右连续2组得到的8个像素中的左侧的Gb像素、R像素、B像素。因此，在作为无视差像素的左侧的Gr像素的位置插入Gb像素的输出。
因为如此生成的L图像数据是与拜耳阵列相当的图像信号排列而成的，所以能够采用对拜耳阵列的输出进行的图像处理来生成作为彩色图像的L图像数据。例如，能够生成作为可视图像形式的JPEG文件。但是，因为汇集了与一个重复图案110中的左侧的4个像素的位置相当的图像信号，所以与右侧的4个像素对应的图像信号欠缺，所生成的图像成为对实际的被摄体像在横向上进行了压缩的图像。因此，如使用图5说明的那样，L图像数据在某一阶段中被实施调整纵横比的插值处理。
同样，将视差R像素的输出在维持拍摄元件100上的相对的位置关系的同时进行汇集，生成R图像数据。在R图像数据的情况下，因为汇集了与一个重复图案110中的右侧的4个像素的位置相当的图像信号，所以与左侧的4个像素对应的图像信号欠缺。因此，与L图像数据同样，R图像数据在某一阶段中被实施调整纵横比的插值处理。
另外，将无视差像素的输出在维持拍摄元件100上的相对的位置关系的同时进行汇集，生成2D图像数据。但是，在图示例子中，一个重复图案110中仅2个Gr像素为无视差像素。因此，利用插值处理及平均化处理来生成其他像素位置的无视差的输出。具体而言，首先，Gb像素的输出由相邻的Gr像素的输出来插入。另外，对于2个R像素的输出而言，因为重复图案110所包含的R像素分别为视差L像素和视差R像素，所以实施将它们的输出平均化来当作各自的无视差输出的平均化处理。同样，对于2个B像素的输出而言，因为重复图案110所包含的B像素分别为视差L像素和视差R像素，所以实施将它们的输出平均化来当作各自的无视差输出的平均化处理。如此，如果实施插值处理及平均化处理，则能够采用对拜耳阵列的输出进行的图像处理来生成2D图像数据。
此外，以上的图像处理通过图像处理部205来执行。图像处理部205经由控制部201来受理从拍摄元件100输出的图像信号，如上述那样按各个像素的输出进行分配来生成L图像数据、R图像数据以及2D图像数据。
接着，对在视差图像间产生的色平衡失调及其对策进行说明。图15是说明主光线相对于彩色滤光片的入射角的不同的图。如上所述，视差像素的开口部104以面向设定于光瞳的特定的部分区域的方式确定其位置。
例如，在着眼于相对于光轴21在光轴外的具有大致相同像高的2个视差像素的情况下，一方的视差R像素中，面向部分区域PR地确定开口部104aR的位置，另一方的视差L像素中，面向部分区域PL地确定开口部104aL的位置。此时，穿过部分区域PR而朝向视差R像素的被摄体光束的主光线RaR相对于彩色滤光片102的入射角为θaR。另外，穿过部分区域PL而朝向视差L像素的被摄体光束的主光线RaL相对于彩色滤光片102的入射角为θaL。
若将彩色滤光片102的厚度设为d，则主光线RaR穿过彩色滤光片102时的光路长为d／cosθaR，主光线RaL穿过彩色滤光片102时的光路长为d／cosθaL。也就是说，虽然是对应的视差R像素和视差L像素，但对于彩色滤光片102的光路长却不同。因为在对于彩色滤光片102的光路长不同时到达光电转换元件108的光量产生差异，所以视差R像素和视差L像素虽然捕捉从被摄体的相同微小区域放射的光束，但各自的输出值却不同。即，输出不同的颜色信号。此外，在此，将穿过彩色滤光片102的光的物理长度作为光路长来说明。
图16是表示视差图像间的色平衡失调的概念的图。虽然捕捉从被摄体的相同微小区域放射的光束，但视差R像素和视差L像素却输出互不相同的信号，此时例如作为被摄体的衣服300的颜色在R图像和L图像中不同。使用这样的2个图像实现的立体感影像会让观看者产生不适感。
另外，在R图像及L图像各自的面内，存在发生色平衡失调的情况。返回到图15，着眼于光轴附近的视差L像素和相对于光轴具有一定像高的上述的视差L像素。光轴附近的视差L像素中，也面向部分区域PI地确定开口部104cL的位置，但穿过部分区域PL而朝向光轴附近的视差L像素的被摄体光束的主光线RcL相对于彩色滤光片102的入射角为θcL。另一方面，如上所述，穿过部分区域PL而朝向具有像高的视差L像素的被摄体光束的主光线RaL相对于彩色滤光片102的入射角为θaL。
如果彩色滤光片102的厚度都为d，主光线RcL穿过彩色滤光片102时的光路长为d／cosθcL，主光线RaL穿过彩色滤光片102时的光路长为d／cosθaL。也就是说，在光轴附近的视差L像素和具有像高的视差L像素中，对于彩色滤光片102的光路长不同。于是，即使在捕捉同一颜色的被摄体的情况下，各个视差L像素也会输出不同的颜色信号。根据图16的例子，相对于L图像中的衣服300，即使实际上作为整体是同一颜色，在图像中也会从中央附近向周边部渐变而出现颜色不均。这样的关系对于视差R像素而言也是同样的，在R图像中也出现与L图像对应的颜色不均。另外，结果是在L图像和R图像之间也不同。
也就是说，在拍摄元件100的像素构造中，因为拍摄元件100的受光面中的光电转换元件108的位置以及开口掩模103中的开口部104的偏位，可能发生色平衡失调。因此，在本实施方式中对该色平衡失调进行修正。
图17是表示主光线相对于彩色滤光片102的入射角和透射率的关系的图。横轴表示主光线相对于彩色滤光片102的入射角θ，纵轴表示作为入射前与射出后的光量之比即透射率。如图所示，透射率T(θ)由以θ＝0为最大值的曲线来表示。具体而言，在将彩色滤光片102的吸光系数设为α、将厚度设为d的情况下，由T(θ)=e(-α·d/cosθ)来表示。
在本实施方式中，通过将由主光线以入射角θ入射的被摄体光束实现的像素输出换算成以0入射角入射时的像素输出来进行修正处理。具体而言，在实际检测到的像素输出为I(θ)的情况下，图像处理部205针对各像素来执行将修正后的像素输出Ic(θ)换算成Ic(θ)={T(0)／T(θ)}·I(θ)的修正运算。
因为各视差像素的开口部104面向各自对应的部分区域地确定其位置，所以主光线相对于彩色滤光片102的入射角在各个视差像素中是已知的。各个视差像素中的主光线的入射角被预先存储在控制部201所内置的系统存储器内。
通过执行以上的修正处理，由拍摄元件100的受光面中的光电转换元件108的位置引起的色平衡失调和由开口部104的偏位引起的色平衡失调都被修正，所以数字照相机10能够输出高品质的彩色视差图像数据。
此外，在上述的修正处理中，通过换算成以0入射角入射时的像素输出而进行了修正处理，但作为修正基准的条件可以根据处理的目的来任意选择。例如，如果主要想缓解由于虽然捕捉从被摄体的相同微小区域放射的光束但视差R像素和视差L像素却输出互不相同的信号而引起的色平衡失调，则可以进行以一方的入射角为基准来修正另一方的入射角的处理。即，存在仅修正由开口部104的偏位引起的色平衡失调的情况，而在该情况下，可以不对作为基准的视差像素进行修正运算，因此运算量为一半，能够一并期待处理速度的提高。
在以上的说明中，对作为某基准的透镜单元50安装于主体单元30的情况进行了说明。即，说明了摄影透镜20的光瞳位置恒定、各个开口部104面向的部分区域也是被固定的区域的例子。对于最初的拍摄元件100的开口掩模103，假设安装有作为这样的基准的透镜单元50的情况，从而设置与各个光电转换元件108对应的开口部104。
因此，在将不是作为基准的透镜单元50的其他透镜单元50安装于主体单元30时，其光瞳位置有时与作为基准的透镜单元50的光瞳位置不同。另外，即使是在某状态下光瞳位置与作为基准的透镜单元50的光瞳位置大致一致的透镜单元50，也存在聚焦透镜、变焦透镜等光瞳位置随着构成透镜的移动而变化的透镜单元50。
如此，在与作为基准的光瞳位置不同的位置上存在光瞳的情况下，在上述的修正处理中可以考虑光瞳位置的变化量。图18是说明在安装有光瞳位置与基准位置不同的透镜单元50的情况下的主光线的入射角的不同的图。虽然离拍摄元件100的受光面的距离D0为作为基准的透镜单元50的光瞳位置，但在图中假设安装有距离D1为光瞳位置的透镜单元50的情况。特别是该图以也在图15中着眼的光轴附近的视差L像素为例进行放大表示。
在虽然该光轴附近的视差L像素中，以面向部分区域PL地确定开口部104cI的位置，但安装有光瞳位置为距离D1的透镜单元50的情况下，主要接受从该光瞳中的部分区域P′L射出的主光线R′cL的光束。因此，主光线R′cL以与来自部分区域PL的主光线RcL不同的角度入射到彩色滤光片102。如图所示将该入射角由θ′cL来表示。
在此，作为基准的透镜单元50的光瞳位置D0是已知的，入射角θcL表示为D0的函数。因此，如果能够检测所安装的透镜单元50的光瞳位置D1，就能够应用该函数来算出入射角θ′cL。如果算出入射角θ′cL，就能够如上述那样换算成以0入射角入射时的像素输出。
控制部201使用从透镜控制部231接受的透镜信息来决定所安装的透镜单元50的光瞳位置即距离D1。例如，在透镜单元50的光瞳位置与聚焦透镜等的透镜移动无关而恒定的情况下，控制部201作为透镜信息而接收透镜存储器232所存储的该光瞳位置，将该光瞳位置决定为距离D1。另外，控制部201在取得视差图像数据取得时的对焦信息的情况下，算出聚焦透镜位置的变位来决定距离D1。
如上所述，即使在所安装的透镜单元50的光瞳位置与作为基准的光瞳位置不同的情况下，也能够修正色平衡失调。此外，在上述中例示了光轴附近的视差L像素，但在具有像高的视差L像素中也同样地能够吸收主光线的入射角的不同。当然，因为视差R像素中的主光线的入射角的不同与上述的视差L像素的情况是同样的，对于R图像数据也能够同样地实施修正处理。
对色平衡失调产生影响的参数也可能存在其他参数。例如，因为透镜玻璃材料的特性，导致在透过光瞳的光轴附近的光束和透过周边部的光束中，有时存在透过时的衰减取决于波长的波长依赖性。在本实施方式中，因为以接受透过特定的部分区域的光束的方式设定视差像素，所以这样的波长依赖性可能成为色平衡失调的原因。因此，在这样的情况下，可以将预先实验模拟取得的按相对于摄影透镜20的光瞳的径向的波长的透射率信息作为查找表而存储在透镜存储器232中。控制部201能够从透镜控制部231中取得该查找表作为透镜信息并应用于修正处理。
另外，控制部201也可以作为透镜信息而取得视差图像数据取得时的光圈信息并应用于修正处理。在本实施方式中，因为以接受穿过特定的部分区域的光束的方式设定视差像素，所以根据光圈值而有时特定的部分区域被光圈遮挡。因此，图像处理部205根据从控制部201接收的光圈信息考虑被光圈遮挡的遮光区域，算出变化的主光线相对于彩色滤光片102的入射角。如果算出变化的主光线的入射角，则能够按上述那样执行修正处理。
在上述的说明中，在视差图像数据间执行了修正处理。但是，因为根据从拍摄元件100输出的图像信号也算出了捕捉同一被摄体的2D图像数据，所以在修正处理中也可以参照2D图像数据。例如，在视差图像数据中特定像素的输出与周边像素的输出相差阈值以上的情况下，图像处理部205参照2D图像数据来判断该输出是被摄体像的正确输出还是因噪声的影响导致的输出。具体而言，对视差图像数据和2D图像数据进行匹配处理来确定对应的像素，算出各个像素与周边像素具有多少差异。然后，如果该差异为预先设定的阈值以上，则判断为特定像素的输出异常。被判断为异常的特定像素的输出例如被替换成比较后的2D图像数据的像素输出。
接着，对修正处理的流程进行说明。图19是表示修正色平衡失调的处理流程的图。流程例如从结束曝光动作而拍摄元件100输出图像信号的时刻开始。
在步骤S101中，图像处理部205取得L图像数据、R图像数据以及2D图像数据。此外，图像处理部205在取得这些图像数据时，可以通过受理从拍摄元件100输出的图像信号并按像素的输出对3个图像数据进行分配生成来取得，也可以通过读取存储在存储卡220中的这些图像数据来取得。
进入步骤S102，控制部201经由透镜控制部231取得存储在透镜存储器232中的透镜信息。在从存储卡220中读取了拍摄完的图像数据的情况下，能够从文件的报头信息取得透镜信息。此外，在从存储卡220中读取拍摄完的图像数据的情况下，因为也假设为利用其他数字照相机10拍摄的图像数据的情况，所以同样地从报头信息取得拍摄元件信息。拍摄元件信息是拍摄元件100的信息，包含上述的像素排列信息、各视差像素中的主光线相对于作为基准的透镜单元50的入射角信息。
图像处理部205在步骤S103中执行通过上述的方法来这些修正L图像数据的像素值的修正处理。然后在步骤S104中实施匹配处理并参照2D图像数据。具体而言，如上所述，比较L图像数据的像素与2D图像数据的对应像素。其结果，在步骤S105中判断为是异常输出的情况下，进入步骤S106，执行由2D图像数据的对应像素输出进行替换的修正处理。在步骤S105中判断为不是异常输出的情况下以及在步骤S106中结束了修正处理的情况下，进入步骤S107，控制部201判断是否没有剩余应处理的视差图像数据。在该情况下，因为R图像数据还未处理，所以返回到步骤S103来执行R图像数据的处理。在所有的视差图像数据的处理结束之后结束一系列的处理。此外，步骤S105的判断处理在L图像数据、R图像数据以及2D图像数据的各图像数据中实施轮廓提取来进行区域划分，只要是同一区域内的像素的修正处理，可以修正因颜色、透射率的修正导致的亮度的变化。在该情况下，只要同一区域内的类似性不发生矛盾就可以判断为是正常输出。
在以上的实施方式中，图9之后说明的对L图像数据和R图像数据的处理，当然也能够应用于在前半部分说明的多视差图像数据。例如，在输出图7及图8所示那样的在纵向上也给予视差的视差图像数据的情况下，只要是不仅将主光线相对于彩色滤光片102的入射角在x方向上换算成0而在y方向上也换算成0即可。当然，即使在仅生成在横向上给予视差的视差图像数据的情况下，也可以添加在y方向上换算成0的处理。
另外，在上述实施方式中，以数字照相机10为例进行了说明，色平衡失调的修正处理并不限于摄影时，也可以在摄影后读取各个图像数据来执行该修正处理，因此可以在例如PC等设备中进行处理。在该情况下，取代作为拍摄装置的数字照相机10，PC作为图像处理装置发挥作用。
以上，使用实施方式说明了本发明，但本发明的技术范围并不限定于上述实施方式所记载的范围。能够对上述实施方式进行各种变更或改良对本领域技术人员来说是清楚的。进行了这样的变更或改良的形态也能够包含在本发明的技术范围内，从权利要求书的记载来看是清楚的。
在权利要求书、说明书以及附图中示出的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各处理的执行顺序，只要没有特别明示“比～前”、“先于”等也没有将前一处理的输出在后一处理中使用，就应该注意能够以任意的顺序来实现。关于专利要求书、说明书以及附图中的动作流程，即使为了方便而使用“首先，”、“接着，”等进行了说明，也并不意味着必须按照该顺序来实施。
附图标记的说明
10数字照相机，20摄影透镜，21光轴，30主体单元，50透镜单元，90、91被摄体，100拍摄元件，10微透镜，102彩色滤光片，103开口掩模，104开口部，105布线层，106布线，107开口，108光电转换元件，109基板，110重复图案，201控制部，202A／D转换电路，203存储器，204驱动部，205图像处理部，207存储卡IF，208操作部，209显示单元，210LCD驱动电路，211AF传感器，220存储卡，231透镜控制部，232透镜存储器，300衣服

Claims (9)

1.一种图像处理装置，具有：
图像数据取得部，其从拍摄元件取得视差图像数据，所述拍摄元件与至少一部分光电转换元件分别对应地具有彩色滤光片和开口掩模，输出至少2个所述视差图像数据；和
修正部，其基于所述拍摄元件中的所述光电转换元件的位置和所述开口掩模的开口偏位的至少一方，修正在所述视差图像数据间所产生的对应像素的色平衡失调。
2.根据权利要求1所述的图像处理装置，其中，
具有取得所述视差图像数据取得时的摄影透镜的透镜信息的透镜信息取得部，
所述修正部考虑所述透镜信息来修正所述色平衡失调。
3.根据权利要求2所述的图像处理装置，其中，
所述透镜信息包含所述摄影透镜的光瞳位置信息。
4.根据权利要求2或3所述的图像处理装置，其中，
所述透镜信息包含所述视差图像数据取得时的光圈信息。
5.根据权利要求2～4中任一项所述的图像处理装置，其中，
所述透镜信息包含对于所述摄影透镜的光瞳的径向的透射率信息。
6.根据权利要求1～5中任一项所述的图像处理装置，其中，
具有取得所述视差图像数据取得时的对焦信息的对焦信息取得部，
所述修正部考虑所述对焦信息来修正所述色平衡失调。
7.根据权利要求1～6中任一项所述的图像处理装置，其中，
所述图像数据取得部取得与所述视差图像数据一起从所述拍摄元件输出的非视差图像数据，
所述修正部参照所述非视差图像数据的对应像素来修正所述色平衡失调。
8.一种拍摄装置，包含所述拍摄元件和权利要求1～7中任一项所述的图像处理装置，
对与相邻的n个所述光电转换元件中的至少3个所述光电转换元件对应设置的各所述开口掩模的开口进行定位，以使该开口包含在彩色滤光片图案的一个图案内，并且使来自所述入射光的截面区域内的互不相同的部分区域的光束分别穿过，以所述n个所述光电转换元件为一组的光电转换元件组周期性地排列，其中，所述彩色滤光片图案包含使互不相同的波段透过的至少2种所述彩色滤光片，n为3以上的整数，
所述拍摄装置基于设有所述开口掩模的所述光电转换元件的输出信号来输出所述视差图像数据。
9.一种图像处理程序，使计算机执行如下步骤：
图像数据取得步骤，从拍摄元件取得视差图像数据，所述拍摄元件与至少一部分光电转换元件分别对应地具有彩色滤光片和开口掩模，输出至少2个所述视差图像数据；和
修正步骤，基于所述拍摄元件中的所述光电转换元件的位置和所述开口掩模的开口偏位的至少一方，修正在所述视差图像数据间所产生的对应像素的色平衡失调。
CN201280012222.4A 2011-03-30 2012-03-12 图像处理装置、拍摄装置以及图像处理程序 Active CN103430094B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011076408 2011-03-30
JP2011-076408 2011-03-30
PCT/JP2012/001704 WO2012132270A1 (ja) 2011-03-30 2012-03-12 画像処理装置、撮像装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN103430094A true CN103430094A (zh) 2013-12-04
CN103430094B CN103430094B (zh) 2017-03-01

Family

ID=46930064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280012222.4A Active CN103430094B (zh) 2011-03-30 2012-03-12 图像处理装置、拍摄装置以及图像处理程序

Country Status (5)

Country Link
US (1) US9854224B2 (zh)
JP (1) JP5942984B2 (zh)
KR (1) KR20140023953A (zh)
CN (1) CN103430094B (zh)
WO (1) WO2012132270A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110326284A (zh) * 2017-03-27 2019-10-11 株式会社尼康 摄像装置及摄像元件

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6003575B2 (ja) * 2012-11-22 2016-10-05 株式会社ニコン 撮像装置およびレンズユニット
US9030580B2 (en) * 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
IL257635A (en) * 2018-02-20 2018-04-30 Tech Innovation Momentum Fund Israel Limited Partnership System and method for light field imaging
WO2021033191A1 (en) * 2019-08-20 2021-02-25 Technology Innovation Momentum Fund (Israel) Limited Partnership Method and apparatus for authentication of a three-dimensional object

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
US20030071271A1 (en) * 1999-12-02 2003-04-17 Satoshi Suzuki Solid-state image sensor, production method of the same, and digital camera
CN101262606A (zh) * 2008-01-16 2008-09-10 宁波大学 一种多视点视频的处理方法
CN101449381A (zh) * 2006-04-03 2009-06-03 凸版印刷株式会社 彩色摄像元件以及彩色摄像元件制造方法
US20090140122A1 (en) * 2007-10-01 2009-06-04 Nikon Corporation Solid-state imaging device, electronic camera

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02228191A (ja) * 1989-02-28 1990-09-11 Toshiba Corp 立体カメラの色信号処理回路
JP2562733B2 (ja) * 1991-02-19 1996-12-11 三洋電機株式会社 白バランス調整装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JPH11209144A (ja) * 1998-01-21 1999-08-03 Hoya Corp 近赤外吸収フィルター用ガラスおよびそれを用いた近赤外吸収フィルター
JP3969688B2 (ja) * 1999-03-24 2007-09-05 株式会社リコー 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体
JP4646459B2 (ja) * 2001-08-01 2011-03-09 オリンパス株式会社 固体撮像装置
JP2003161912A (ja) * 2001-09-13 2003-06-06 Hit Design:Kk ３次元画像表示装置および３次元画像表示における色再現方法
JP3897712B2 (ja) * 2003-02-14 2007-03-28 キヤノン株式会社 立体画像表示装置
KR100770019B1 (ko) * 2004-12-06 2007-10-25 한국전자통신연구원 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
EP2482316B1 (en) 2006-04-03 2013-10-16 Toppan Printing Co., Ltd. Color imaging device manufacturing method
JP2007304525A (ja) * 2006-05-15 2007-11-22 Ricoh Co Ltd 画像入力装置および電子機器および画像入力方法
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
JP2012212975A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像装置および撮像装置の制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030071271A1 (en) * 1999-12-02 2003-04-17 Satoshi Suzuki Solid-state image sensor, production method of the same, and digital camera
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
CN101449381A (zh) * 2006-04-03 2009-06-03 凸版印刷株式会社 彩色摄像元件以及彩色摄像元件制造方法
US20090140122A1 (en) * 2007-10-01 2009-06-04 Nikon Corporation Solid-state imaging device, electronic camera
CN101262606A (zh) * 2008-01-16 2008-09-10 宁波大学 一种多视点视频的处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110326284A (zh) * 2017-03-27 2019-10-11 株式会社尼康 摄像装置及摄像元件

Also Published As

Publication number Publication date
US9854224B2 (en) 2017-12-26
KR20140023953A (ko) 2014-02-27
JP5942984B2 (ja) 2016-06-29
JPWO2012132270A1 (ja) 2014-07-24
CN103430094B (zh) 2017-03-01
WO2012132270A1 (ja) 2012-10-04
US20140055571A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
CN102685377B (zh) 摄像装置
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
CN202750183U (zh) 视差成像设备和视差成像系统
EP2160018B1 (en) Image pickup apparatus
KR101517704B1 (ko) 이미지를 기록하기 위한 이미지 기록 장치 및 방법
CN103688536B (zh) 图像处理装置、图像处理方法
US9648305B2 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
CN104170377B (zh) 图像处理装置、摄像装置
CN103037180A (zh) 图像传感器和摄像设备
JP6131545B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN104521231A (zh) 图像处理装置、摄像装置及图像处理装置的控制程序
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序
CN104185983A (zh) 摄像元件、摄像装置以及摄像系统
CN103621078B (zh) 图像处理装置和图像处理程序
CN104106003A (zh) 摄像装置
CN105359519A (zh) 摄像装置
WO2013057859A1 (ja) 撮像素子
CN103907188B (zh) 摄像元件、摄像装置及图像处理装置
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP6476630B2 (ja) 撮像装置
JP2014107594A (ja) 撮像素子および撮像装置
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2013162362A (ja) 撮像装置および撮像プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant