CN103688536B - 图像处理装置、图像处理方法 - Google Patents

图像处理装置、图像处理方法 Download PDF

Info

Publication number
CN103688536B
CN103688536B CN201280034591.3A CN201280034591A CN103688536B CN 103688536 B CN103688536 B CN 103688536B CN 201280034591 A CN201280034591 A CN 201280034591A CN 103688536 B CN103688536 B CN 103688536B
Authority
CN
China
Prior art keywords
pixel
parallax
image data
image
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280034591.3A
Other languages
English (en)
Other versions
CN103688536A (zh
Inventor
芝崎清茂
森晋
浜岛宗树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN103688536A publication Critical patent/CN103688536A/zh
Application granted granted Critical
Publication of CN103688536B publication Critical patent/CN103688536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Abstract

如果要取得分别是彩色图像的视差图像，就必须要准备用于拍摄各个视差图像的复杂的摄影光学系统和拍摄元件。为此，提供一种图像处理装置，包括：图像取得部，用于取得原始图像数据，该原始图像数据包括：具有构成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示所述被拍物的像的视差的像素值的像素；以及图像生成部，用于从所述原始图像数据生成：由具有所述原色的像素值的像素构成的原色图像数据、以及由具有所述视差的像素值的像素构成的视差图像数据。

Description

图像处理装置、图像处理方法
技术领域
本发明涉及一种图像处理装置、图像处理方法及程序。
背景技术
已知一种立体拍摄装置，使用两个摄影光学系统拍摄由右眼用图像和左眼用图像构成的立体图像。这种立体拍摄装置通过相隔一定的间隔设置两个摄影光学系统，使得在对同一被拍物进行拍摄得到的两个图像上产生视差。
现有技术文献：
专利文献1：日本特开平8-47001号公报
发明内容
发明要解决的问题:
如果要取得分别是彩色图像的视差图像，就必须要准备用于拍摄各个视差图像的复杂的摄影光学系统和拍摄元件。
解决问题的方案:
在本发明的第一方式中提供图像处理装置，该图像处理装置包括：图像取得部，用于取得原始图像数据，该原始图像数据包括：具有构成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示被拍物的像的视差的像素值的像素；以及图像生成部，用于从原始图像数据生成：由具有原色的像素值的像素构成的原色图像数据、以及由具有视差的像素值的像素构成的视差图像数据。
在本发明的第二方式中提供一种图像处理方法，该图像处理方法包括：图像取得步骤，取得原始图像数据，该原始图像数据包括：具有构成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示被拍物的像的视差的像素值的像素；以及图像生成步骤，从原始图像数据生成：由具有原色的像素值的像素构成的原色图像数据，以及由具有视差的像素值的像素构成的视差图像数据。
在本发明的第三方式中提供一种控制计算机的程序，该程序使计算执行：图像取得步骤，取得原始图像数据，该原始图像数据包括：具有构成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示被拍物的像的视差的像素值的像素；以及图像生成步骤，从原始图像数据生成：由具有原色的像素值的像素构成的原色图像数据，以及由具有视差的像素值的像素构成的视差图像数据。
另外，上述发明内容并未列举出本发明的全部可能特征。这些所述特征组的子组合也有可能构成发明。
附图说明
图1为本发明实施方式所述数码相机的结构说明图。
图2为表示本发明实施方式所述拍摄元件的截面示意图。
图3为将拍摄元件的一部分放大表示后的样子的示意图。
图4为说明视差像素与被拍物的关系的概念图。
图5为说明生成视差图像的处理的概念图。
图6为表示重复图案的另一例的图。
图7为表示二维重复图案的例子的图。
图8为开口部的另一形状的说明图。
图9为拜耳阵列的说明图。
图10为关于对拜耳阵列分配视差像素，有两种视差像素时的变例的说明图。
图11为表示变例的一例的图。
图12为表示另一变例的一例的图。
图13为表示又一变例的一例的图。
图14为说明另一彩色滤光片阵列的图。
图15为表示W像素与视差像素的阵列的一例的图。
图16为表示数码相机10的动作的一例的流程图。
图17表示由数码相机10处理的图像数据的一例。
图18表示步骤S14中的像素值的插值的一例。
图19表示新的RAW图像数据集合306。
图20示意性地表示由保存控制部238保存的RAW图像数据集合306的数据结构。
图21表示转换成RLt图像数据的例子。
图22表示新的RAW图像数据集合312。
图23表示由步骤S18生成的另一RAW图像数据集合314的例子。
图24表示另一重复图案的RAW原始图像数据与RAW图像数据集合330的关系。
图25为使用由图1～图24生成的RAW图像数据集合300等的例子的流程图。
具体实施方式
以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。
本实施方式所述数码相机作为拍摄装置的一个实施方式，通过一次拍摄生成多个视点数的图像，保存为图像数据集合。将视点各不相同的各个图像称为视差图像。
图1为本发明实施方式所述数码相机10的结构说明图。数码相机10包括作为摄影光学系统的摄影镜头20，将沿光轴21入射的被拍物光束引导至拍摄元件100。摄影镜头20也可以是相对于数码相机10能够装卸的更换式镜头。数码相机10包括：拍摄元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF（InterFace，接口）207、操作部208、显示部209、LCD驱动电路210、AF传感器21及保存控制部238。
另外，如图所示，将朝向拍摄元件100的与光轴21平行的方向定为+Z轴方向，将在与z轴垂直的平面中朝向纸面近前一侧的方向定为+X轴方向，将纸面的上方向定为+Y轴方向。与拍摄中的构图关系为，X轴成为水平方向，Y轴成为垂直方向。在之后的几个图中，以图1的座标轴为基准表示座标轴，以便能理解各个图的朝向。
摄影镜头20由多个光学透镜组构成，使被拍物光束在其焦点面附近成像。另外，在图1中，为了便于说明摄影镜头20，以设置在光瞳附近的一片假想透镜代表性地进行表示。拍摄元件100设置于摄影镜头20的焦点面附近。拍摄元件100为二维地排列有多个光电转换元件的例如CCD（电荷藕合器件，ChargeCoupledDevice）、CMOS（互补金属氧化物半导体，ComplementaryMetalOxideSemiconductor）传感器等图形传感器。拍摄元件100由驱动部204进行定时控制，将受光面上成像的被拍物的像转换成图像信号并输出给A/D转换电路202。
A/D转换电路202将由拍摄元件100输出的图像信号转换成数字信号并作为RAW原始图像数据输出给存储器203。图像处理部205将存储器203作为工作空间来进行各种图像处理，生成图像数据。具体地，图像处理部205具有：取得由A/D转换电路202输出的RAW原始图像数据的图像取得部231、从RAW原始图像数据生成RAW原色图像数据及RAW视差图像数据的图像生成部232、将RAW原色图像数据及RAW视差图像数据转换成RAW视差原色彩色图像数据等的图像转换部233。关于各个处理的详细情况，将在以后的描述。
图像处理部205除此之外还承担依照被选的图像格式调整图像数据等一般的图像处理功能。所生成的图像数据由LCD驱动电路210转换成显示信号，由显示部209进行显示。并且上述各种图像数据由保存控制部238记录在装设于存储卡IF207上的存储卡220中。
AF传感器211是对被拍物空间设定有多个测距点的相位差传感器，在各个测距点处检测出被拍物的像的散焦量。一系列的拍摄过程是从操作部208接收到用户的操作并向控制部201输出操作信号开始的。拍摄过程中附带的AF（AutoFocus，自动对焦），AE（AutomaticExposure，自动曝光）等的各种动作由控制部201控制执行。例如，控制部201解析AF传感器211的检测信号，执行使构成摄影镜头20一部分的聚焦透镜移动的对焦控制。
以下对拍摄元件100的结构进行详细说明。图2为表示本发明实施方式所述拍摄元件的截面示意图。图2（a）为将彩色滤光片102与开口掩模103分体构成的拍摄元件100的截面示意图。另外，图2（b）为作为拍摄元件100的变形例，具有将彩色滤光片部122与开口掩模部123一体构成的屏幕滤波器121的拍摄元件120的截面示意图。
如图2（a）所示，拍摄元件100被构成为从被拍物侧开始依次排列有微型透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108。光电转换元件108由用于将入射光转换为电信号的光电二极管构成。光电转换元件108在基板109的表面以二维方式排列有多个。
由光电转换元件108转换的图像信号以及控制光电转换元件108的控制信号等通过布线层105上设置的布线106进行收发。而且，具有与各个光电转换元件108一一对应设置且二维重复排列的开口部104的开口掩模103与布线层相接触地设置。如后所述，使开口部104相对于各个相应的光电转换元件108偏移，并严格地确定了相对位置。通过具有该开口部104的开口掩模103的作用，在光电转换元件108所接收的被拍物光束上产生视差，详细内容将在后续内容进行说明。
另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，设置的开口掩模103所具有的开口部104并不限制向相应的光电转换元件108入射的被拍物光束，即，使全部有效光束均穿过。虽然没有产生视差，但由于通过布线106所形成的开口107实质上规定了入射的被拍物光束，因此可以将布线106看作是使不产生视差的全部有效光束穿过的开口掩模。开口掩模103可以分别对应于各个光电转换元件108独立排列，也可以与彩色滤光片102的制造过程相同，对应于多个光电转换元件108统一形成。
彩色滤光片102设置于开口掩模103上。彩色滤光片102是分别与各个光电转换元件108一一对应设置、通过对各个光电转换元件108进行着色而使指定波段透过的滤光片。为了输出彩色图像，排列至少三种彼此不同的彩色滤光片即可。这些彩色滤光片可以说是用于生成彩色图像的原色滤光片。原色滤光片的组合例如为：使红色波段透过的红滤光片、使绿色波段透过的绿滤光片以及使蓝色波段透过的蓝滤光片。如后所述，这些彩色滤光片对应于光电转换元件108以网格状排列。彩色滤光片不仅可以是原色RGB的组合，也可以是YeCyMg的补色滤光片的组合。
微型透镜101设置于彩色滤光片102上。微型透镜101是用于将入射的被拍物光束更多地引导至光电转换元件108的聚光透镜。微型透镜101分别与光电转换元件108一一对应设置。微型透镜101优选考虑摄影镜头20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被拍物光束被引导至光电转换元件108。进一步地，可以与开口掩模103的开口部104的位置共同调整设置位置，以使后述指定的被拍物光束更多地入射。
如此，将与各个光电转换元件108一一对应设置的开口掩模103、彩色滤光片102及微型透镜101的一个单位称为像素。具体地，将设置有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如，当拍摄元件100的有效像素区域为24mm×16mm左右时，像素数达到1200万个左右。
另外，当采用集光效率、光电转换效率较好的图形传感器时，也可以不设置微型透镜101。另外，当采用背面照射型图形传感器时，布线层105设置于光电转换元件108的相对侧。
在彩色滤光片102与开口掩模103的组合中存在各种变例。在图2（a）中，如果使开口掩模103的开口部104具有颜色成分，则可以将彩色滤光片102与开口掩模103一体成形。并且，当将指定像素作为取得被拍物亮度信息的像素时，在该像素中也可以不设置相应彩色滤光片102。或者，也可以排列未施加着色的透明滤光片，以使可见光的几乎全部波段透过。
在将取得亮度信息的像素作为视差像素时，即将视差图像至少暂时作为单色图像进行输出时，可以采用如图2（b）所示的拍摄元件120的结构。即可以将屏幕滤波器121设置于微型透镜101与布线层105之间，该屏幕滤波器121由发挥彩色滤光片功能的彩色滤光片部122以及具有开口部104的开口掩模部123一体构成。
屏幕滤波器121被形成为在彩色滤光片部122处被实施了例如蓝绿红的着色，在开口掩模部123处除开口部104以外的掩模部分被实施了黑色的着色。由于采用屏幕滤波器121的拍摄元件120与拍摄元件100相比，从微型透镜101到光电转换元件108的距离较短，因此被拍物光束的集光效率较高。
以下说明开口掩模103的开口部104与所产生的视差的关系。图3为将拍摄元件100的一部分放大显示后的样子的示意图。此处，为了简化说明，此处暂不考虑有关彩色滤光片102的配色，后续内容再进行说明。在未提及彩色滤光片102的配色的以下说明中，可以认为是仅集成了具有同色（包含为透明的情形）的彩色滤光片102的视差像素的图形传感器。因此，以下所说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。
如图3所示，开口掩模103的开口部104相对于各个像素相对偏移设置。而且，在相邻像素的彼此之间，各个开口部104设置于彼此错位的位置。
在图中的例子中，作为开口部104相对于各个像素的位置，准备有沿X轴方向彼此偏移的六种开口掩模103。而且，在整个拍摄元件100中二维地且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从-X侧往+X侧逐渐偏移的开口掩模103的六个视差像素为一组。也就是说，拍摄元件100是由包含一组光电转换元件组的重复图案110周期性地铺展而成。
图4为说明视差像素与被拍物的关系的概念图。具体地，图4（a）表示在拍摄元件100中在与摄影光轴21相垂直的中心处排列的重复图案110t的光电转换元件组，图4（b）示意性地表示在周围部分排列的重复图案110u的光电转换元件组。图4（a）、图4（b）中的被拍物30位于相对于摄影镜头20的聚焦位置。图4（c）与图4（a）相对应地示意性地表示出当捕捉相对于摄影镜头20位于非聚焦位置的被拍物31时的关系。
首先说明由摄影镜头20捕捉处于聚焦状态下的被拍物30时，视差像素与被拍物的关系。被拍物光束穿过摄影镜头20的光瞳被引导至拍摄元件100，但对被拍物光束透过的整个截面区域规定了六个部分区域Pa～Pf。而且，从放大图中可以看出，例如构成重复图案110t、110u的光电转换元件组的-X侧端部的像素中，对开口掩模103的开口部104f的位置进行了设定，以使只有从部分区域Pf射出的被拍物光束才能到达光电转换元件108。同样地，对于从此往+X侧端部的像素，也分别设定了开口部104e与部分区域Pe对应的位置、开口部104d与部分区域Pd对应的位置、开口部104c与部分区域Pc对应的位置、开口部104b与部分区域Pb对应的位置、开口部104a与部分区域Pa对应的位置。
换言之，例如根据由部分区域Pf与-X侧端部像素的相对位置关系定义的、从部分区域Pf射出的被拍物光束的主光线Rf的倾斜来设定开口部104f的位置。然后，当光电转换元件108经开口部104f接收到来自于位于聚焦位置的被拍物30的被拍物光束时，如虚线所示，该被拍物光束在光电转换元件108上成像。同样地，也可以说是对于从此往+X侧端部的像素，分别根据主光线Re的倾斜设定开口部104e的位置、根据主光线Rd的倾斜设定开口部104d的位置、根据主光线Rc的倾斜设定开口部104c的位置、根据主光线Rb的倾斜设定开口部104b的位置、根据主光线Ra的倾斜设定开口部104a的位置。
如图4（a）所示，在位于聚焦位置的被拍物30中，从与光轴21相交叉的被拍物30上的微小区域Ot放射的光束穿过摄影镜头20的光瞳到达构成重复图案110t的光电转换元件群的各个像素。即，构成重复图案110t的光电转换元件组的各个像素分别透过六个部分区域Pa～Pf接收到从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各个像素的错位相对应程度的大小，但实质上能够近似于大致同一物点。同样地，如图4（b）所示，在位于聚焦位置的被拍物30中，从离开光轴21的被拍物30上的微小区域Ou放射的光束穿过摄影镜头20的光瞳到达构成重复图案110u的光电转换元件组的各个像素。即，构成重复图案110u的光电转换元件组的各个像素分别透过六个部分区域Pa～Pf接收到从一个微小区域Ou放射的光束。微小区域Ou也与微小区域Ot相同，具有与构成重复图案110u的光电转换元件组的各个像素的错位相对应程度的大小，但实质上能够近似于大致同一物点。
也就是说，只要被拍物30位于聚焦位置，对应于拍摄元件100上的重复图案110的位置，光电转换元件组所捕捉到的微小区域各不相同，且构成光电转换元件组的各像素透过彼此不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，相应像素彼此之间接收来自于同一部分区域的被拍物光束。也就是说，在图中，例如重复图案110t、110u的各个-X侧端部像素均接收来自于同一部分区域Pf的被拍物光束。
在与摄影光轴21相垂直的中心处排列的重复图案110t中的、供-X侧端部像素接收来自于部分区域Pf的被拍物光束的开口部104f的位置与在周围部分排列的重复图案110u中的、供-X侧端部像素接收来自于部分区域Pf的被拍物光束的开口部104f的位置严格来讲是不同的。然而，从功能的角度来看，在用于接收来自于部分区域Pf的被拍物光束的开口掩模这一点上，可以将他们作为同一种类开口掩模处理。因此，在图4的例子中，可以说在拍摄元件100上排列的各个视差像素具有六种开口掩模之一。
以下说明由摄影镜头20捕捉处于非聚焦状态的被拍物31时，视差像素与被拍物的关系。在此情形中，来自于位于非聚焦位置的被拍物31的被拍物光束也透过摄影镜头20的光瞳的六个部分区域Pa～Pf到达拍摄元件100。然而，来自于处于非聚焦位置的被拍物31的被拍物光束并不在光电转换元件108上成像，而是在其他位置成像。例如，如图4（c）所示，当被拍物31位于比被拍物30更加远离拍摄元件100的位置时，被拍物光束与光电转换元件108相比在更靠近被拍物31侧成像。相反，当被拍物31位于比被拍物30更接近拍摄元件100的位置时，被拍物光束与光电转换元件108相比在被拍物31的相对侧成像。
因此，在位于非聚焦位置的被拍物31中，从微小区域Ot’放射的被拍物光束透过六个部分区域Pa～Pf中的任意一个，从而到达不同组的重复图案110中的相应像素。例如，如图4（c）的放大图所示，透过部分区域Pd的被拍物光束作为主光线Rd’入射到重复图案110t’中包含的具有开口部104d的光电转换元件108。而且，即使是从微小区域Ot’放射的被拍物光束，透过其他部分区域的被拍物光束也不会入射到重复图案110t’中包含的光电转换元件108，而是入射到其他重复图案中具有相应开口部的光电转换元件108。换言之，到达构成重复图案110t’的各光电转换元件108的被拍物光束是从被拍物31中互不相同的微小区域放射的被拍物光束。也就是说，以Rd’为主光线的被拍物光束入射到与开口部104d对应的108，以Ra+、Rb+、Rc+、Re+、Rf+为主光线的被拍物光束入射到与其他开口部对应的光电转换元件108，这些被拍物光束都是从被拍物31中互不相同的微小区域放射的被拍物光束。这种关系在图4（b）中排列在周围部分的重复图案110u中也是一样的。
这样一来，当把拍摄元件100作为一个整体时，例如，由与开口部104a对应的光电转换元件108捕捉到的被拍物的像A和由与开口部104d对应的光电转换元件108捕捉到的被拍物的像D，如果是针对位于聚焦位置的被拍物的像，就不会彼此错位，而如果是针对位于非聚焦位置的被拍物的像，则会产生错位。而且，该错位根据位于非聚焦位置的被拍物相对于聚焦位置朝哪一侧以何种程度错位，或者根据部分区域Pa与部分区域Pd的距离来确定方向和量。也就是说，被拍物的像A与被拍物的像D彼此成为视差像。该关系对于其他开口部也是相同的，因此对应于开口部104a～104f形成六个视差像。另外，将部分区域Pa～Pf的排列方向称为视差方向。在本例的情形中为X轴方向。
因此，在如此构成的各个重复图案110中，收集彼此对应的像素的输出便得到视差图像。也就是说，接收到从六个部分区域Pa～Pf中的指定部分区域射出的被拍物光束的像素所进行的输出形成了视差图像。据此，由一个摄影镜头20便能够拍摄出视差图像而不需要复杂的光学系统。
图5为说明生成视差图像的处理的概念图。图中从纸面左列开始依次显示：对开口部104f对应的视差像素的输出进行收集而生成的视差图像数据Im_f的生成样子、由开口部104e的输出形成的视差图像数据Im_e的生成样子、由开口部104d的输出形成的视差图像数据Im_d的生成样子、由开口部104c的输出形成的视差图像数据Im_c的生成样子、由开口部104b的输出形成的视差图像数据Im_b的生成样子、由开口部104a的输出形成的视差图像数据Im_a的生成样子。首先，对开口部104f的输出形成的视差图像数据Im_f的生成样子进行说明。
由以六个视差像素为一组的光电转换元件组构成的重复图案110排列在X轴方向上。因此，具有开口部104f的视差像素在拍摄元件100上沿X轴方向相隔6个像素，且沿Y轴方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被拍物光束。因此，对这些视差像素的输出进行汇集排列后便得到X轴方向、即水平视差图像。
然而，由于本实施方式中的拍摄元件100的各像素为正方像素，仅进行单纯的汇集会造成X轴方向的像素数缩减到1/6，从而生成沿Y轴方向纵长形的图像数据。因此，通过实施插值处理在X轴方向变为六倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。然而，由于当初在插值处理前的视差图像数据是在X轴方向上缩减到1/6的图像，因此，X轴方向上的分辨率比Y轴方向上的分辨率低。也就是说，所生成的视差图像数据的数量与分辨率呈相反关系。
同样地得到视差图像数据Im_e～视差图像数据Im_a。即，数码相机10能够生成在X轴方向上具有视差的六个视点的水平视差图像。
虽然在上述例子中说明了将X轴方向作为重复图案110进行周期性排列的例子，但重复图案110并不限于此。图6为显示除重复图案110以外的另一例子的图。
图6（a）为将Y轴方向的六个像素作为重复图案110的例子。然而，对各个开口部104进行定位，以便从+Y侧端部的视差像素往-Y侧、从-X侧往+X侧逐渐偏移。根据这样排列而成的重复图案110也能够生成在X轴方向上赋予视差的六个视点的视差图像。此时，与图3的重复图案110相比，可以称为是维持了X轴方向上的分辨率的重复图案，而不牺牲Y轴方向上的分辨率。
图6（b）为将在相对于XY平面内的X轴倾斜的方向上相邻的六个像素作为重复图案110的例子。将各个开口部104定位为从-X侧且+Y侧端部的视差像素往+X侧且-Y侧、从-X侧往+X侧逐渐偏移。根据这样排列而成的重复图案110也能够生成在X轴方向上赋予视差的六个视点的水平视差图像。此时的重复图案与图3的重复图案110相比，在将Y轴方向上的分辨率及X轴方向上的分辨率维持一定程度的同时，增加了视差图像的数量。
将图3的重复图案110及图6（a）和图6（b）的重复图案110分别进行比较，在都生成六个视点的视差图像时，可以认为区别在于：相对于根据整个非视差图像输出一幅图像时的分辨率是否牺牲了Y轴方向和X轴方向中的某一方向上的分辨率。当为图3的重复图案110时，是使X轴方向上的分辨率为1/6的结构。当为图6（a）的重复图案110时，是使Y轴方向上的分辨率变为1/6的结构。另外，当为图6（b）的重复图案110时，是使Y轴方向变为1/3、使X轴方向变为1/2的结构。在任一情形中均被构成为，在一个图案内，对应于各个像素逐一设置开口部104a～104f，从各个所对应的部分区域Pa～Pf的任意一个接收到被拍物光束，从而使任意重复图案110都能有同等的视差量。
虽然在上述例子中针对生成在水平方向上赋予视差的视差图像的情形进行了说明，但当然地，既可以生成在垂直方向上赋予视差的视差图像，也可以生成在水平垂直的二维方向上赋予视差的视差图像。图7为显示二维重复图案110的例子的图。
根据图7所示例子，以Y轴六个像素X轴6个像素共36个像素为一组的光电转换元件组形成重复图案110。预先准备有开口部104相对于各个像素的位置彼此沿Y轴X轴方向偏移的36种开口掩模103。具体地，各开口部104在从重复图案110的+Y侧端部的像素到-Y侧端部的像素中被定位为从+Y侧往-Y侧逐渐偏移的同时，在从-X侧端部的像素到+X侧的像素中被定位为从-X侧往+X侧逐渐偏移。
具有这种重复图案110的拍摄元件100能够输出沿垂直方向及水平方向均赋予视差的36个视点的视差图像。当然并不仅限于图7所示例子，也可以对重复图案110进行设定以便输出各种各样视点数的视差图像。
在以上说明中，采用矩形作为开口部104的形状。尤其是在沿水平方向上赋予视差的排列中，通过使作为偏移方向的X轴方向的幅度比不偏移的Y轴方向的幅度更大，以确保引导至光电转换元件108的光量。然而，开口部104的形状并不限定于矩形。
图8为开口部104的另一形状的说明图。在图中，以圆形作为开口部104的形状。当设为圆形时，根据与作为半球形状的微型透镜101的相对关系，能够防止不希望的被拍物光束成为杂散光而入射到光电转换元件108。
以下说明彩色滤光片102和视差图像。图9为拜耳阵列的说明图。如图所示，拜耳阵列所指的阵列是将绿色滤光片分配给-X侧且+Y侧和+X侧且-Y侧的两个像素，将红色滤光片分配给-X侧且-Y侧的一个像素，将蓝色滤光片分配给+X侧且+Y侧的一个像素。此处，将分配有绿色滤光片的-X侧且+Y侧像素作为Gb像素、将同样分配有绿色滤光片的+X侧且-Y侧像素作为Gr像素。另外，将分配有红色滤光片的像素作为R像素、将分配有蓝色滤光片的像素作为B像素。并且，将排列有Gb像素和B像素的X轴方向作为Gb行，将排列有R像素和Gr像素的X轴方向作为Gr行。并且，将排列有Gb像素和R像素的Y轴方向作为Gb列，将排列有B像素和Gr像素的纵方向作为Gr列。
针对于这种彩色滤光片102的排列，可以通过对视差像素和无视差像素以怎样的周期分配哪种颜色的像素的方式来设定庞大数量的重复图案110。通过收集无视差像素的输出便能够生成与通常的摄影图像相同的无视差的摄影图像数据。因此，只要相对地增加无视差像素的比例，便能够输出分辨率较高的2D图像。此时，由于视差像素的比例相对变小，因此使得由多个视差图像构成的3D图像的立体信息减少。相反，如果增加视差像素的比例，虽然能增加3D图像的立体信息，但由于无视差像素相对减少，因此会输出分辨率较低的2D图像。
在这种权衡关系中，根据将哪个像素作为视差像素或作为无视差像素来设定具有各种特征的重复图案110。图10为关于对拜耳阵列分配视差像素，有两种视差像素时的变例的说明图。此时的视差像素假设为开口部104从中心往-X侧偏心的视差Lt像素，以及同样地往+X侧偏心的视差Rt像素。也就是说，从这种视差像素输出的两个视点的视差图像实现了所谓的立体视图。
针对各个重复图案的特征说明如图所示。例如，如果分配很多无视差像素，就会成为高分辨率的2D图像数据，如果针对任意的RGB像素都进行平均分配，则会成为色位移较小的高画质的2D图像数据。另一方面，如果分配很多视差像素的话，则会成为立体信息较多的3D图像数据，如果针对任意的RGB像素都进行平均分配，则在成为3D图像的同时，还得到高品质的彩色图像数据。
以下就几个变例进行说明。图11为显示变例的一例的图。图11的变例相当于图10中的A-1类重复图案。
在图中所示例子中，与拜耳阵列同样将四个像素作为重复图案110。R像素和B像素为无视差像素，在Gb像素分配视差Lt像素，在Gr像素分配视差Rt像素。此时确定开口部104，以便当被拍物位于聚焦位置时，同一重复图案110中包含的视差Lt像素和视差Rt像素接收到从同一微小区域射出的光束。
在图中所示的例子中，由于将作为灵敏度高的绿色像素的Gb像素和Gr像素用作视差像素，因此有望得到对比度较高的视差图像。另外，由于同样地将绿色像素的Gb像素和Gr像素用作视差像素，因此易于从这两个输出转换运算成无视差输出，从而能够与作为无视差像素的R像素和B像素的输出一起生成高画质的2D图像数据。
图12为显示另一变例的一例的图。图12的变例相当于图10中的B-1类重复图案。
在图中所示的例子中，将沿X轴方向的连续两组四个拜耳阵列像素共计八个像素作为重复图案110。在这八个像素中，在-X侧的Gb像素分配视差Lt像素，在+X侧的Gb像素分配视差Rt像素。在这种排列中，通过将Gr像素作为无视差像素，与图10的例子相比，有望得到更高画质的2D图像。
图13为显示又一变例的一例的图。图13的变例相当于图10中的D-1类重复图案。
在图中所示的例子中，将沿X轴方向的连续两组四个拜耳阵列像素共计八个像素作为重复图案110。在这八个像素中，在-X侧的Gb像素分配视差Lt像素，在+X侧的Gb像素分配视差Rt像素。进一步地，在-X侧的R像素分配视差Lt像素，在+X侧的R像素分配视差Rt像素。进一步地，在-X侧的B像素分配视差Lt像素，在+X侧的B像素分配视差Rt像素。在两个Gr像素分配无视差像素。
当被拍物位于聚焦位置时，分配给两个Gb像素的视差Lt像素和视差Rt像素接收从一个微小区域放射的光束。另外，分配给两个R像素的视差Lt像素和视差Rt像素接收从与Gb像素对应的微小区域不同的一个微小区域放射的光束，分配给两个B像素的视差Lt像素和视差Rt像素接收从与Gb像素及R像素对应的微小区域不同的一个微小区域放射的光束。因此，与图12所示例子相比，3D图像的立体信息在Y轴方向上变为三倍。而且，由于能够得到RGB的三色输出，因此作为彩色图像的3D图像具有高品质。
另外，如上所述，当视差像素的种类为两种时可以得到两个视点的视差图像，当然视差像素的种类可以配合于想要输出的视差图像数，采用如图3、图7、图8等所说明的那样的各种数量。即便视点数增加，也能够形成各种重复图案110。因此能够对应于规格、目的等选择相应的重复图案110。
虽然在上述例子中对采用拜耳阵列作为彩色滤光片阵列的情形进行了说明，当然采用其他彩色滤光片阵列也是无妨的。此时，构成一组光电转换元件组的各个视差像素具有朝向互不相同的部分区域的开口部104的开口掩模103即可。
因此，拍摄元件100包括：将入射光光电转换为电信号的二维排列的光电转换元件108、与光电转换元件108的至少一部分分别一对一对应设置的开口掩模103、与光电转换元件108的至少一部分分别一对一对应设置的彩色滤光片102，在相邻的n个（n为3以上的整数）光电转换元件108中，与至少两个（也可以为三个以上）对应设置的各个开口掩模103的开口部104被定位为，包含在由使互不相同波段透过的至少两种彩色滤光片102构成的彩色滤光片图案的一图案内，并使来自于入射光截面区域内的互不相同部分区域的光束分别通过，将以n个光电转换元件108为一组的光电转换元件组进行周期性排列即可。
图14为说明另一彩色滤光片阵列的图。如图示所示，另一彩色滤光片阵列是在图9所示的拜耳阵列的Gr像素分配绿色滤光片从而成为G像素进行保持、另一方面在Gb像素不分配彩色滤光片从而变为W像素的阵列。另外，如上所述，也可以排列有未施加着色的透明滤光片，以使可见光的几乎整个波段均透过W像素。
如果采用这种包含W像素的彩色滤光片阵列，虽然拍摄元件输出的色彩信息的精度会略微下降，但W像素所接收到的光量会比设置了彩色滤光片的情形更多，因此能够得到高精度的亮度信息。对W像素的输出进行汇集便能够形成单色图像。
当采用包含W像素的彩色滤光片阵列时，视差像素与无视差像素的重复图案110存在进一步的变例。例如，即使是在较暗的环境下拍摄到的图像，与从彩色像素输出的图像相比，从W像素输出的图像使被拍物的像的对比度更高。因此，如果向W像素分配视差像素，则在多个视差图像之间进行插值处理时，可望得到高精度的运算结果。如后所述，插值处理作为取得视差像素量的处理的一环来执行。因此，在对2D图像的分辨率及视差图像画质的影响的基础上，进一步考虑对所提取的其他信息带来的利弊，来设定视差像素与无视差像素的重复图案110。
图15为显示当采用图14所示另一彩色滤光片阵列时，W像素与视差像素的阵列的一例的图。图15的变例由于与拜耳阵列中的图12所示的B-1类重复图案相类似，因此此处记为B’-1。在图中所示例子中，将沿X轴方向连续的两组另一彩色滤光片阵列的四个像素共计八个像素作为重复图案110。在八个像素中，在-X侧的W像素分配视差Lt像素，在+X侧的W像素分配视差Rt像素。在这种阵列中，拍摄元件100将视差图像作为单色图像输出，并将2D图像作为彩色图像输出。
此时，拍摄元件100包括：将入射光光电转换为电信号的二维排列的光电转换元件108、分别与光电转换元件108的至少一部分一一对应设置的开口掩模103、分别与光电转换元件108的至少一部分一一对应设置的彩色滤光片102，对在相邻的n个（n为4以上的整数）光电转换元件108中与至少两个对应设置的各个开口掩模103的开口部104进行定位，以使该开口部104不包含在由使互不相同波段透过的至少三种彩色滤光片102构成的彩色滤光片图案的一图案内，并且来自于入射光的截面区域内的互不相同部分区域的光束分别穿过，以n个光电转换元件108为一组的光电转换元件组周期性排列即可。
图16为显示数码相机10的动作的一例的流程图。图16的流程图在从拍摄元件100取得拍摄图像时开始。
图像取得部231取得由A/D转换电路202对拍摄元件100的信号进行转换后得到的RAW原始图像数据(S10)。此处，RAW原始图像数据的一例为在将来自于拍摄元件100的信号进行A/D转换后，针对空缺像素进行去马赛克处理之前的数据。RAW原始图像数据并不限于此，也可以为在A/D转换后进行某些校正、可逆性压缩等可逆性图像处理后的图像数据。
图17表示由数码相机10处理的图像数据的一例。图17中的最上段示出了RAW原始图像数据的一例。在图17中例示了来自于图11所示图案(A-1)的拍摄元件100的输出。图17所示RAW原始图像数据包括：表示构成被拍物的色彩的R色的像素值的R像素、具有B色像素值的B像素、以及表示将G色与视差信息进行复用的像素值的Gb像素及Gr像素。RAW原始图像数据可以是对同一场景进行一次拍摄后生成的。
然后，图像生成部232将RAW原始图像数据的像素分离，生成由具有原色像素值的像素构成的RAW原色图像数据组302以及由具有视差像素值的像素构成的RAW视差图像数据组304(S12)。例如，在图17中，图像生成部232从RAW原始图像数据中抽出R像素生成R0图像数据。此处，由于在RAW原始图像数据中包含有不具有R色像素值的像素，例如B像素，因此在R0图像数据中，与B像素对应的像素的像素值处于空缺状态。同样地，图像生成部232从RAW原始图像数据中抽出B像素生成B0图像数据。
进一步地，图像生成部232从RAW原始图像数据中抽出Gb像素及Gr像素生成G0图像数据。此处，Gb像素具有将表示G色的信息与表示Lt视差的信息进行复用的像素值。此处，作为一例，图像生成部232将Gb像素的像素值及Gr像素的像素值原封不动地用作这些像素中的G色信息，生成G0像素数据。作为另一例，也可以参照Gb像素周围的像素的像素值来校正该Gb像素的像素值而生成G0图像数据，但该校正最好是可逆性的，以避免信息劣化。同样地，图像生成部232从RAW原始图像数据中抽出Gb像素生成Lt图像数据并抽出Gr像素生成Rt图像。
通过以上所示，生成了与RGB三原色相对应的R0图像数据、G0图像数据和B0图像数据，以及与X轴方向上的二视差相对应的Lt0图像数据和Rt0图像数据。此处，R0图像数据、G0图像数据及B0图像数据的组为RAW原色图像数据组302的一例，Lt0图像数据及Rt0图像数据的组为RAW视差图像数据组304的一例。进一步地，通过这些RAW原色图像数据组302及RAW视差图像数据组304构成RAW图像数据集合300。
图像生成部232对上述RAW原色图像数据组302及RAW视差图像数据组304中不具有像素值的像素内插像素值(S14)。
图18表示步骤S14中内插像素值的一例。在图18中，使用R0图像数据中具有像素值的像素的像素值，在不具有像素值的像素中内插像素值。例如，将与X轴方向、Y轴方向、或者X轴方向及Y轴方向最邻近且具有像素值的像素进行平均作为内插用的像素值。此外，也可以对除最邻近以外的像素进行加权平均，或者也可以参照其他RAW原色图像数据的像素等。也可以使用被称为去马赛克处理的方法。
图19表示新的RAW图像数据集合306。如图19所示，通过上述动作，图像生成部232对RAW原始图像数据中不具有原色像素值的像素内插原色像素值，生成与构成色彩的多个原色相对应的RAW原色图像数据组308。同样地，图像生成部232对RAW原始图像数据中不具有视差像素值的像素内插视差像素值，生成与视差个数相对应的RAW视差图像数据组310。RAW原色图像数据组308及RAW视差图像数据组310构成新的RAW图像数据集合306。
控制部201判断是否被要求对RAW图像数据集合306进行转换以生成新的RAW图像数据集合(S16)。该转换有时是由固件等要求的，有时是由用户要求的。该要求的有无被保存在存储器203中，控制部201通过参照存储器203来判断有无要求。
当步骤S16中不要求进行转换时(S16:否)，保存控制部238将RAW图像数据集合306保存在存储卡220中(S20)。此时，例如，保存控制部238将RAW图像数据集合306的整体作为一个文件赋予文件名进行保存。
图20示意性地表示了由保存控制部238所保存的RAW图像数据集合306的数据结构。图20所示数据具有文件头250和数据本体256。文件头250包括与文件相关的文件信息数据252以及指定RAW原始图像数据中的重复图案的信息数据254。
与文件相关的信息包括：RAW图像数据集合中的视差数、原色数、集合内的图像枚数、该数据本体256的图像数据的记载顺序。在图20所示例子中，对应于图17～图19所示例子，写入视差数“2”、原色数“3”、图像枚数“5”、图像顺序“RN、GN、BN、Lt、Rt”。
指定重复图案的信息包括：从构成RAW原始图像数据的像素中选出的一个指定关注像素的位置即关注位置、用于指定该关注像素的像素值表示哪种原色及视差的关注信息、具有原色像素值的像素的排列周期即原色周期、以及具有视差像素值的像素的排列的视差周期。图20所示例子中将(0,0)指定为关注位置。进一步地，对应于图17所示例子，写入原色信息“G”及视差信息“Lt”作为该关注信息。进一步地，写入“GB”和其下段的“RG”作为原色周期，并写入“LtN”及其下段“NRt”作为视差周期。据此，例如由于(0,0)处的像素的原色信息为“G”，y=0处的原色排列周期为“GB”，因此RAW原始图像数据的位置(2,0)处的像素的原色信息被指定为“G”。如上所述，通过指定上述重复图案的信息，能够指定RAW原始图像数据中的任意位置(n,m)处的像素的像素值表示哪种原色及视差。
另外，指定重复图案的信息并不仅限于图20所示信息。作为另一例，为各个重复图案预先分配ID，将该ID写入文件头中，据此来指定RAW原始图像数据的重复图案也是可以的。
在图20所示数据本体中，关于五个图像数据，将像素值与像素位置相对应地进行保存。另外，数据的存储方法并不限于图20所示方法。例如，通过编码等进行数据压缩并存储也是可以的。在此情形中，压缩最好为可逆性的操作。
另外，图20所示数据可以为整体上不依赖于显示装置的独自格式。即，可以为当被显示时以基于显像程序的显像为前提的数据。因此，图20所示数据虽然对来自于A/D转换电路202的RAW原始图像数据进行了插值等处理，但从在压缩转换为基于显像程序的JPEG等通用格式之前这一点来看，为中间数据。
在图16所示步骤S16中，当要求进行图像数据的转换时(S16:是)，图像转换部233将RAW图像数据集合306转换为另一RAW图像数据集合(S18)。另一RAW图像数据集合的例子为由一个图像数据具有一种原色和一种视差像素值的像素构成的图像数据的组。作为一例，关于RGB原色及LtRt视差，进一步说明了由表示一个像素的像素值为原色R和视差Lt的像素构成的RLt图像数据。
图21表示转换为RLt图像数据的例子。在图21中，从图19所示RAW图像数据集合306中的RN图像数据和Lt图像数据生成RLt图像数据。此时，例如，将RN图像数据的像素的像素值与Lt图像数据中相同位置的像素的像素值的运算值作为RLt图像数据中相应位置处的像素的像素值。也可以进行其他运算操作。
通过进行相同的转换，生成原色数×视差数的图像数据的组。如图22所示，通过该转换从RAW图像数据集合306生成了新的RAW图像数据集合312。
新的RAW图像数据集合312使用例如图20所示的数据结构作为一个文件通过保存控制部238保存于存储卡220中(S20)。至此该流程图结束。
以上根据图16～图22的实施方式将依赖于拍摄元件100的重复图案而将原色信息和视差信息复用的RAW原始图像数据分离成各原色信息与各视差信息相分离的RAW图像数据，因此能够使此后的图像数据处理变得容易。另外，当使用可逆性操作时，在分离后的RAW图像数据集合中也能够减少图像的劣化。另外，图16所示动作可以作为固件程序保存在数码相机10的程序存储器中，读出该程序以执行上述动作。
另外，在图16所示流程图中，在步骤S14中进行了像素值的内插，但也可以省略该步骤而前进到步骤S20。此时，图17所示RAW图像数据集合300被保存在存储卡220中。
图23表示通过步骤S18生成的另一RAW图像数据集合314的例子。图23所示RAW图像数据集合314具有作为RAWYC图像数据组316的、表示亮度的YN图像数据及表示色差的CN图像数据。YN图像数据及CN图像数据是通过将RAW原色图像数据组308中相同位置处的像素的RGB像素值转换为YC像素值而得到的。例如，通过Y=0.3R+0.59G+0.11B、Cr=R-Y、Cb=B-Y将RGB转换为YCrCb。将Y值作为YN图像数据的像素值，将Cr值及Cb值作为CN图像数据的像素值。据此，CN图像数据的一个像素成为(Cr,Cb)的二维值。
根据图23所示RAW图像数据集合314，比使用RGB时的数据量更少。进一步地，由于能够相对于亮度Y和色差C独立地控制数据压缩等，因此能够提高数据量的控制自由度。另外，在上述实施例中，虽然从RAW原色图像数据组308生成了YN图像数据及CN图像数据，但取而代之地也可以从图17所示RAW原色图像数据组302生成YN图像数据及CN图像数据。
进一步地，图像转换部233从图23所示RAWYC图像数据组316和RAW视差图像数据组310可以生成：表示各像素的像素值为亮度Y和视差Lt的YLt图像数据、表示各像素的像素值为亮度Y和视差Rt的YRt图像数据、表示各像素的像素值为色差C和视差Lt的CLt图像数据、表示各像素的像素值为色差C和视差Rt的CRt图像数据。从而能够得到比图23所示RAW图像数据集合314进一步压缩了数据量的RAW图像数据集合。另外，该RAW图像数据集合也可以从RAW图像数据集合306生成。
图24表示另一重复图案的RAW原始图像数据与RAW图像数据集合330的关系。图24表示图15所示重复图案(B’-1)的RAW原始图像数据。图24所示RAW原始图像数据的各个像素是原色信息或视差信息之一，但作为整个RAW原始图像数据，原色信息与视差信息是被复用的。
针对图24的RAW原始图像数据，在步骤S12中也可以与图17所示例子相同，将原色信息与视差信息相分离，生成RAW原色图像数据组332及RAW视差图像数据组334。进一步地，在步骤S14中，也可以对像素进行插值来生成新的RAW图像数据集合。
同样地，从基于图10所示的各个重复图案进行拍摄而得到的RAW图像数据能够得到由RAW原色图像数据组和RAW视差图像数据组构成的RAW图像数据。尤其是当视差数多于两个时，也可以通过相同的动作来得到RAW原色图像数据组和RAW视差图像数据组。
另外，在图16～图24所示实施方式中，保存控制部238将RAW图像数据集合作为一个文件进行保存，但保存方法并不限于此。作为其他例子，保存控制部238也可以将RAW图像数据集合中包含的各个图像数据组作为一个文件进行保存。此时，在各个文件中也可以附加有图20的文件头信息。另外，也可以代替在文件头中附加信息的方式，而是将图20所示文件信息及重复图案信息附加为图像数据文件额外的附加文件进行保存。
图25为表示使用根据图1～图24生成的RAW图像数据集合300等的例子的流程图。图25的流程图是当用户使用PC等要求使图像显示在指定的显示装置上时开始的。
首先，根据用户的选择，PC读出预先拷贝到硬盘等中的一RAW图像数据集合300等(S50)。例如，当用户选择RAW图像数据集合312时，PC将其读出。
然后，PC使用显像程序将读出的RAW图像数据集合312进行显像(S52)并进行显示(S54)。例如，显示装置显示右眼用图像和左眼用图像从而能够实现立体视效，当对各个图像数据使用JPEG时，PC从RAW图像数据集合312生成右眼用JPEG图像及左眼用JPEG图像。
此时，PC也可以自动地或根据用户请求对这些JPEG图像加入校正和视觉效果。在此情形下，由于原始数据是与来自于拍摄元件的RAW原始图像数据接近的RAW图像数据集合，因此也能够显示出劣化较少的图像。另外，也可以代替取得RAW原始图像数据生成原色图像数据组及视差图像数据组的方式，而采用与图～图24相同的方法从对来自于拍摄元件100的数据进行非可逆性处理后得到的原始图像数据生成原色图像数据组及视差图像数据组。
以上，使用实施方式对本发明进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，在上述实施方式的基础上可加以各种变更或改进。此外，由权利要求的记载可知，这种加以各种变更或改进的实施方式也包含在本发明的技术范围内。
应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序，只要没有特别明示“更早”、“早于”等，或者只要前面处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，为方便起见而使用“首先”、“然后”等进行了说明，但并不意味着必须按照这样的顺序实施。
附图标记说明
10数码相机、20摄影镜头、21光轴、30被拍物、100拍摄元件、101微型透镜、102彩色滤光片、103开口掩模、104开口部、105布线层、106布线、107开口、108光电转换元件、109基板、110重复图案、120拍摄元件、121屏幕滤波器、122彩色滤光片部、123开口掩模部、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、207存储卡IF、208操作部、209显示部、210LCD驱动电路、211AF传感器、220存储卡、231图像取得部、232图像生成部、233图像转换部、238保存控制部、300RAW图像数据集合、302RAW原色图像数据组、304RAW视差图像数据组、306RAW图像数据集合、308RAW原色图像数据组、310RAW视差图像数据组、312RAW图像数据集合、314RAW图像数据集合、316RAWYC图像数据组、330RAW图像数据集合、332RAW原色图像数据组、334RAW视差图像数据组。

Claims (19)

1.一种图像处理装置，对拍摄元件拍摄到的图像信号进行处理，所述拍摄元件包括：以二维方式排列有多个的光电转换元件；和开口掩膜，具有与各所述光电转换元件一一对应设置的开口部，在视差像素中设置有相对于各个像素相对偏移的所述开口掩膜的开口部，在无视差像素中没有设置产生视差的所述开口掩膜，其中，所述图像处理装置包括：
图像取得部，用于取得原始图像数据，该原始图像数据包括：具有构成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示所述被拍物的像的视差的像素值的像素；以及
图像生成部，用于从所述原始图像数据生成：由具有所述原色的像素值的像素构成的原色图像数据、以及由具有所述视差的像素值的像素构成的视差图像数据，
所述图像生成部对所述原始图像数据中不具有所述视差的像素值的像素内插所述视差的像素值，生成与视差个数相对应的所述视差图像数据的组，
其中，将视点各不相同的图像称为视差图像。
2.根据权利要求1所述的图像处理装置，其中，所述图像生成部对所述原始图像数据中不具有所述原色的像素值的像素内插所述原色的像素值，生成与构成色彩的多个原色相对应的所述原色图像数据的组。
3.根据权利要求1所述的图像处理装置，其中，所述图像生成部通过可逆性操作从所述原始图像数据生成所述原色图像数据及所述视差图像数据。
4.根据权利要求1所述的图像处理装置，其中进一步包括：保存控制部，用于将所述原色图像数据及所述视差图像数据保存在存储装置中。
5.根据权利要求4所述的图像处理装置，其中，所述保存控制部将所述原色图像数据及所述视差图像数据保存为一个文件。
6.根据权利要求5所述的图像处理装置，其中，所述保存控制部将使所述原始图像数据中包含的所述像素与所述像素的像素值所表示的信息相对应的附加信息附加于所述一个文件中进行保存。
7.根据权利要求6所述的图像处理装置，其中，所述保存控制部包含以下内容作为所述附加信息：
对指定的关注像素的位置进行指定的信息；
对所述关注像素的像素值表示哪种原色及视差进行指定的信息；
具有原色的像素值的像素的排列周期；以及
具有视差的像素值的像素的排列周期。
8.根据权利要求1所述的图像处理装置，其中，所述图像生成部将与构成色彩的多个原色信息相对应的所述原色图像数据的组中的像素的像素值转换为表示亮度信息的像素值及表示色差信息的像素值，生成亮度图像数据及色差图像数据。
9.根据权利要求8所述的图像处理装置，其中进一步包括：保存控制部，用于将所述亮度图像数据、所述色差图像数据及所述视差图像数据保存在存储装置中。
10.根据权利要求9所述的图像处理装置，其中，所述保存控制部将所述亮度图像数据、所述色差图像数据及所述视差图像数据保存为一个文件。
11.根据权利要求10所述的图像处理装置，其中，所述保存控制部将使所述原始图像数据中包含的所述像素与所述像素的像素值所表示的信息相对应的附加信息附加于所述一个文件中进行保存。
12.根据权利要求11所述的图像处理装置，其中，所述保存控制部包括如下内容作为所述附加信息：
对指定的关注像素的位置进行指定的信息；
对所述关注像素的像素值表示哪种原色及视差进行指定的信息；
具有原色的像素值的像素的排列周期；以及
具有视差的像素值的像素的排列周期。
13.一种图像处理装置，对拍摄元件拍摄到的图像信号进行处理，所述拍摄元件包括：以二维方式排列有多个的光电转换元件；和开口掩膜，具有与各所述光电转换元件一一对应设置的开口部，在视差像素中设置有相对于各个像素相对偏移的所述开口掩膜的开口部，在无视差像素中没有设置产生视差的所述开口掩膜，其中，所述图像处理装置包括：
图像取得部，用于取得原始图像数据，该原始图像数据包括：具有构成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示所述被拍物的像的视差的像素值的像素；以及
图像生成部，用于从所述原始图像数据生成：由具有所述原色的像素值的像素构成的原色图像数据、以及由具有所述视差的像素值的像素构成的视差图像数据，
所述图像生成部基于与构成色彩的多个原色相对应的所述原色图像数据的组中的像素的像素值以及与对应于视差个数的多个视差信息相对应的所述视差图像数据的组中的像素的像素值，按照与视差及原色的个数相对应的组，生成由具有任一视差中的任一原色的像素值的像素构成的视差原色图像数据，
其中，将视点各不相同的图像称为视差图像。
14.根据权利要求13所述的图像处理装置，其中进一步包括：保存控制部，用于将所述视差原色图像数据的组保存在存储装置中。
15.根据权利要求14所述的图像处理装置，其中，所述保存控制部将所述视差原色图像数据的组保存为一个文件。
16.根据权利要求15所述的图像处理装置，其中，所述保存控制部将使所述原始图像数据中包含的所述像素与所述像素的像素值所表示的信息相对应的附加信息附加于所述一个文件中进行保存。
17.根据权利要求16所述的图像处理装置，其中，所述保存控制部包括如下内容作为所述附加信息：
对指定的关注像素的位置进行指定的信息；
对所述关注像素的像素值表示哪种原色及视差进行指定的信息；
具有原色的像素值的像素的排列周期；以及
具有视差的像素值的像素的排列周期。
18.根据权利要求1～17中任一项所述的图像处理装置，其中，所述图像取得部取得对来自于拍摄元件的图像数据进行可逆性图像处理后得到的RAW图像数据作为所述原始图像数据。
19.一种图像处理方法，对拍摄元件拍摄到的图像信号进行处理，所述拍摄元件包括：以二维方式排列有多个的光电转换元件；和开口掩膜，具有与各所述光电转换元件一一对应设置的开口部，在视差像素中设置有相对于各个像素相对偏移的所述开口掩膜的开口部，在无视差像素中没有设置产生视差的所述开口掩膜，其中，所述图像处理方法包括：
图像取得步骤，取得原始图像数据，该原始图像数据包括：具有构成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示所述被拍物的像的视差的像素值的像素；以及
图像生成步骤，从所述原始图像数据生成：由具有所述原色的像素值的像素构成的原色图像数据、以及由具有所述视差的像素值的像素构成的视差图像数据，
在所述图像生成步骤中，对所述原始图像数据中不具有所述视差的像素值的像素内插所述视差的像素值，生成与视差个数相对应的所述视差图像数据的组，
其中，将视点各不相同的图像称为视差图像。
CN201280034591.3A 2011-05-30 2012-05-30 图像处理装置、图像处理方法 Active CN103688536B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011120302 2011-05-30
JP2011-120302 2011-05-30
PCT/JP2012/003565 WO2012164934A1 (ja) 2011-05-30 2012-05-30 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN103688536A CN103688536A (zh) 2014-03-26
CN103688536B true CN103688536B (zh) 2016-05-11

Family

ID=47258806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034591.3A Active CN103688536B (zh) 2011-05-30 2012-05-30 图像处理装置、图像处理方法

Country Status (4)

Country Link
US (1) US9860516B2 (zh)
JP (1) JP5804055B2 (zh)
CN (1) CN103688536B (zh)
WO (1) WO2012164934A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5702894B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
JP6288088B2 (ja) * 2013-07-05 2018-03-07 株式会社ニコン 撮像装置
JP6363889B2 (ja) * 2014-07-01 2018-07-25 キヤノン株式会社 撮像素子、撮像装置およびその制御方法
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
JP7172389B2 (ja) * 2018-09-28 2022-11-16 株式会社ニコン 撮像素子、撮像装置、及び、撮像素子の製造方法
US11699403B2 (en) 2019-02-25 2023-07-11 Visteon Global Technologies, Inc. Display system
US11953778B2 (en) 2019-02-25 2024-04-09 Visteon Global Technologies, Inc. System and method for adjusting light intensity in a display system
US11808957B2 (en) 2019-02-25 2023-11-07 Visteon Global Technologies, Inc. System and method for adjusting light intensity in a display system
US11747672B2 (en) 2019-02-25 2023-09-05 Visteon Global Technologies, Inc. System and method for adjusting light intensity in a display system
US11698554B2 (en) 2019-02-25 2023-07-11 Visteon Global Technologies, Inc. Display system
EP3931621A4 (en) * 2019-02-25 2023-01-18 Visteon Global Technologies, Inc. DISPLAY SYSTEM
KR20220078109A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 색공간 변환 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437168A (zh) * 2007-11-12 2009-05-20 索尼株式会社 图像拾取装置
CN101651145A (zh) * 2008-08-06 2010-02-17 三星电子株式会社 三维图像传感器的像素阵列
CN103229498A (zh) * 2010-11-29 2013-07-31 株式会社尼康 摄像元件及摄像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3186448B2 (ja) * 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
US7333678B1 (en) * 2003-05-20 2008-02-19 Micronas Usa, Inc. Edge adaptive demosaic system and method
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
JP4833947B2 (ja) * 2007-09-25 2011-12-07 富士フイルム株式会社 画像記録装置、画像編集装置及び画像記録方法
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
JP5010533B2 (ja) * 2008-05-21 2012-08-29 株式会社リコー 撮像装置
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP5532599B2 (ja) * 2008-12-17 2014-06-25 株式会社ニコン 固体撮像素子の製造方法及び撮像装置
JP5246424B2 (ja) 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437168A (zh) * 2007-11-12 2009-05-20 索尼株式会社 图像拾取装置
CN101651145A (zh) * 2008-08-06 2010-02-17 三星电子株式会社 三维图像传感器的像素阵列
CN103229498A (zh) * 2010-11-29 2013-07-31 株式会社尼康 摄像元件及摄像装置

Also Published As

Publication number Publication date
JP5804055B2 (ja) 2015-11-04
US20140184755A1 (en) 2014-07-03
JPWO2012164934A1 (ja) 2015-02-23
WO2012164934A1 (ja) 2012-12-06
CN103688536A (zh) 2014-03-26
US9860516B2 (en) 2018-01-02

Similar Documents

Publication Publication Date Title
CN103688536B (zh) 图像处理装置、图像处理方法
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
CN102917235B (zh) 图像处理装置和图像处理方法
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
JP5472584B2 (ja) 撮像装置
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
CN104170377B (zh) 图像处理装置、摄像装置
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
WO2014024500A1 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN104521231A (zh) 图像处理装置、摄像装置及图像处理装置的控制程序
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
CN104106003A (zh) 摄像装置
CN103999449A (zh) 摄像元件
WO2012169301A1 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
CN103503447B (zh) 拍摄装置及拍摄装置的控制方法
CN103907188A (zh) 摄像元件、摄像装置及图像处理装置
CN103843319A (zh) 摄像元件及摄像装置
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
KR20220116183A (ko) 촬상 장치, 정보 처리 방법, 및 프로그램
JP2014016537A (ja) 撮像装置
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP2013150055A (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant