CN103907188B - 摄像元件、摄像装置及图像处理装置 - Google Patents

摄像元件、摄像装置及图像处理装置 Download PDF

Info

Publication number
CN103907188B
CN103907188B CN201280053315.1A CN201280053315A CN103907188B CN 103907188 B CN103907188 B CN 103907188B CN 201280053315 A CN201280053315 A CN 201280053315A CN 103907188 B CN103907188 B CN 103907188B
Authority
CN
China
Prior art keywords
pixel
photo
conversion element
electric conversion
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280053315.1A
Other languages
English (en)
Other versions
CN103907188A (zh
Inventor
浜岛宗树
芝崎清茂
森晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN103907188A publication Critical patent/CN103907188A/zh
Application granted granted Critical
Publication of CN103907188B publication Critical patent/CN103907188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

为了获取上下方向的视差图像数据及左右方向的视差图像数据，需要在各个视点所对应的位置分别准备摄像装置。为此提供一种摄像元件，包括：二维排列的光电转换元件，将入射光光电转换为电信号；以及开口掩模，设置于光电转换元件上；以n个(n为4以上的整数)光电转换元件为一组的光电转换元件组周期性地排列，开口掩模的开口被偏移定位，从而关于针对光电转换元件组的二维阵列所指定的相正交的两个轴的每一个彼此呈线对称。

Description

摄像元件、摄像装置及图像处理装置
技术领域
本发明涉及一种摄像元件、摄像装置及图像处理装置。
背景技术
公知一种立体摄像装置，其使用两个摄影光学系统拍摄由右眼用图像和左眼用图像构成的立体图像。这种立体摄像装置通过以一定间隔配置两个摄像光学系统，使对同一被摄体进行拍摄而得到的两个图像产生视差。
现有技术文献
专利文献
专利文献1：日本特开平8-47001号公报
发明内容
发明要解决的问题:
为了得到上下方向的视差图像数据及左右方向的视差图像数据，需要在与各个视点对应的位置分别准备摄像装置。
解决问题的方案:
本发明第一方式中的摄像元件包括：二维排列的光电转换元件，其将入射光光电转换为电信号；以及开口掩模，其设置于光电转换元件上；以n个(n为4以上的整数)光电转换元件为一组的光电转换元件组周期性地排列，开口掩模的开口，以关于针对光电转换元件组的二维排列所指定的相正交的两个轴的每一个彼此呈线对称的方式被偏移定位。
本发明第二方式中的摄像装置包括：二维排列的光电转换元件，其将入射光光电转换为电信号；以及开口掩模，其设置于光电转换元件上；以n个(n为4以上的整数)光电转换元件为一组的光电转换元件组周期性地排列，开口掩模的开口以如下方式被偏移定位：在维持相对于各个光电转换元件的相对位置不变地、假想地重合于一个光电转换元件上时，开口掩模的开口关于针对该假想的光电转换元件所指定的相正交的两个轴的每一个彼此呈线对称。
本发明第三方式中的摄像装置包括：上述摄像元件；姿态检测部，其检测摄像元件的姿态；控制部，其基于由检测部检测到的姿态使选择电路选择指定的光电转换元件，并使加法器对来自于指定的光电转换元件的电信号进行相加；图像处理部，其对从摄像元件的加法器输出的图像信号进行处理。
本发明第四方式中的图像处理装置包括：输出图像数据获取部，其基于从上述摄像元件输出的电信号获取输出图像数据；开口信息获取部，其获取与摄像元件的开口的位置相关的开口位置信息；以及视差图像数据生成部，其基于开口位置信息对输出图像数据进行处理，而生成视差图像数据。
另外，上述发明内容并未列举出本发明的全部必要特征。另外，这些特征组的子组合也有能够构成发明。
附图说明
图1为本发明实施方式所涉及的数码相机的结构说明图。
图2为显示本发明实施方式所涉及的摄像元件的截面示意图。
图3为将摄像元件的一部分放大显示后的样子的示意图。
图4为说明视差像素与被摄体的关系的概念图。
图5为说明生成视差图像的处理的概念图。
图6为表示将赋予垂直视差的摄像元件的一部分放大后的样子的示意图。
图7为说明生成Y方向视差图像的处理的概念图。
图8为表示将本实施方式所涉及的摄像元件的一部分放大后的样子的示意图。
图9为表示包含一组光电转换元件组的重复图案的图。
图10为说明重复图案中所包含的视差像素与被摄体的关系的概念图。
图11为说明在横向上赋予视差的视差像素加法与输出的视差图像的关系的概念图。
图12为说明在纵向上赋予视差的视差像素加法与输出的视差图像的关系的概念图。
图13为表示摄像元件的电路结构的概念图。
图14为表示作为另一例的包含一组光电转换元件组的重复图案的像素阵列的图。
图15为说明赋予不同方向视差的视差像素加法的概念图。
图16为说明彩色滤光片图案与重复图案的组合例的图。
图17为表示将另一摄像元件的一部分放大后的样子的示意图。
图18为表示包含一组光电转换元件组的重复图案。
图19为说明赋予不同方向的视差的视差像素加法的概念图。
具体实施方式
以下通过发明的实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。
本实施方式所涉及的数码相机作为摄像装置的一个方式构成为，通过对一个场景进行一次拍摄便能生成多个视点数的图像。将视点各不相同的各个图像称为视差图像。
图1为本发明实施方式所涉及的数码相机10的结构说明图。数码相机10包括作为摄影光学系统的摄影透镜20，将沿光轴21入射的被摄体光束引导至摄像元件100。摄影透镜20可以是相对于数码相机10可装卸的交换式镜头。数码相机10包括：摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡接口(IF，InterFace)207、操作部208、显示部209、LCD驱动电路210、AF(Auto Focus,自动调焦)传感器211、ROM221及姿态传感器222。
另外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为+Z轴方向，将在与Z轴垂直的平面中朝向纸面近前的方向定为+X轴方向，将纸面的上方向定为+Y轴方向。与摄影中的构图的关系是，X轴成为水平方向，Y轴成为垂直方向。在之后的几个图中，以图1的座标轴为基准来显示座标轴，以便能理解各个图的朝向。
摄影透镜20由多个光学镜头组构成，使来自于场景的被摄体光束在其焦点面附近成像。另外，在图1中，为了便于说明摄影透镜20，以设置在光瞳附近的一个假想透镜为代表进行表示。摄像元件100配置于摄影透镜20的焦点面附近。摄像元件100为二维地排列有多个光电转换元件的例如CCD(电荷藕合器件，Charge Coupled Device)、CMOS(互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)传感器等图形传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被摄体像转换成图像信号并输出给A/D转换电路202。
A/D转换电路202将由摄像元件100输出的图像信号转换成数字图像信号并输出给存储器203。图像处理部205将存储器203作为工作空间来进行各种图像处理，生成图像数据。
图像处理部205也承担依照所选择的图像格式调整图像数据等图像处理的普通功能。生成的图像数据由LCD驱动电路210转换成显示信号，由显示部209进行显示。并且记录在装设于存储卡IF207上的存储卡220中。
AF传感器211为对被摄体空间设定有多个测距点的相位差传感器，在各个测距点处检测被摄体像的离焦量。操作部208受理用户操作，向控制部201输出操作信号，从而开始一系列的摄影过程。在摄影过程中所附带的AF、AE(Auto Expose，自动曝光)等各种动作由控制部201进行控制而执行。例如，控制部201解析AF传感器211的检测信号，执行使构成摄影透镜20的一部分的聚焦透镜进行移动的聚焦控制。ROM221为非易失性存储器，保存有控制数码相机10的程序和各种参数等。
以下对摄像元件100的结构进行详细说明。图2为表示本实施方式所涉及的摄像元件的剖面的示意图。图2的(a)为使彩色滤光片102与开口掩模103分体构成的摄像元件100的剖面示意图。另外，作为摄像元件100的变形例，图2的(b)为具有彩色滤光片部122与开口掩模部123一体构成的屏幕滤光片121的摄像元件120的剖面示意图。
如图2的(a)所示，从被摄体侧开始依次排列有微透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108，从而构成摄像元件100。光电转换元件108由将入射的光转换成电信号的光电二极管构成。光电转换元件108在基板109的表面上二维地排列有多个。
由光电转换元件108转换后的图像信号以及控制光电转换元件108的控制信号等通过布线层105上设置的布线106进行收发。而且，具有与各个光电转换元件108一一对应地设置的开口部104的开口掩模103与布线层接触地设置。如后所述，使开口部104相对于各个相应的光电转换元件108偏移，并严格地确定了相对位置。通过具有该开口部104的开口掩模103的作用，在光电转换元件108受光的被摄体光束上产生视差，详细内容将在后续内容进行说明。
另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，也可以说成是，设置有具有不限制向相应的光电转换元件108入射的被摄体光束、即使有效光束全部穿过的开口部104的开口掩模103。虽然没有产生视差，但由于实质上通过布线106所形成的开口107规定入射的被摄体光束，因此也可以将布线106看做是不产生视差的使有效光束全部穿过的开口掩模。开口掩模103可以分别对应于各个光电转换元件108独立排列，也可以与彩色滤光片102的制造工序相同，相对于多个光电转换元件108统一形成。
彩色滤光片102设置于开口掩模103上。彩色滤光片102是分别与各个光电转换元件108一一对应设置的、通过对各个光电转换元件108进行着色而使特定波段透过的滤光片。要输出彩色图像，只要排列彼此不同的至少三种彩色滤光片即可。这些彩色滤光片可以说是用于生成彩色图像的原色滤光片。原色滤光片的组合例如为：使红色波段透过的红色滤光片、使绿色波段透过的绿色滤光片、以及使蓝色波段透过的蓝色滤光片。如后所述，这些彩色滤光片与光电转换元件108对应地以网格状排列。彩色滤光片不仅可以为原色RGB的组合，也可以为YeCyMg的补色滤光片的组合。
微透镜101设置于彩色滤光片102上。微透镜101是用于将入射的被摄体光束更多地引导至光电转换元件108的聚光透镜。微透镜101分别与光电转换元件108一一对应设置。微透镜101优选的是，考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被摄体光束被引导至光电转换元件108。进一步地，可以与开口掩模103的开口部104的位置共同调整配置位置，以使后述的特定的被摄体光束更多地入射。
如此，将与各个光电转换元件108一一对应设置的开口掩模103、彩色滤光片102及微透镜101的一个单位称为像素。具体地，将设置有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如，当摄像元件100的有效像素区域为24mm×16mm左右时，像素数达到1200万个左右。
另外，在聚光效率、光电转换效率良好的图形传感器的情况下，可以不设置微透镜101。另外，在背面照射型图形传感器的情况下，布线层105设置于光电转换元件108的相反侧。
彩色滤光片102与开口掩模103的组合存在各种各样的变化。在图2的(a)中，只要使开口掩模103的开口部104具有彩色成分，就能够将彩色滤光片102与开口掩模103一体形成。另外，当将特定像素作为获取被摄体的亮度信息的像素的情况下，也可以不在该像素中设置相应的彩色滤光片102。或者也可以排列未施加着色的透明滤光片，以便使可见光的几乎整个波段透过。
当将获取亮度信息的像素作为视差像素的情况下，即，如果至少一旦将视差图像作为单色图像进行输出，则能够采用图2的(b)所示的摄像元件120的结构。即，可以在微透镜101与布线层105之间配设使发挥彩色滤光片功能的彩色滤光片部122与具有开口部104的开口掩模部123一体构成的屏幕滤光片121。
在彩色滤光片部122施加例如蓝绿红的着色，在开口掩模部123对除开口部104以外的掩模部分施加黑色的着色，从而形成屏幕滤光片121。采用屏幕滤光片121的摄像元件120与摄像元件100相比，由于从微透镜101到光电转换元件108的距离较短，因此使被摄体光束的聚光效率更高。
以下说明开口掩模103的开口部104与产生的视差的关系。图3为将摄像元件800的一部分放大显示后的样子的示意图。摄像元件800与本实施方式所采用的摄像元件100不同，但为了便于说明，首先就摄像元件800进行说明。另外，此处，为了简化说明，暂不考虑有关彩色滤光片102的配色，后续内容再进行说明。在未提及彩色滤光片102的配色的以下说明中，可以认为是仅将具有同色(包含透明的情况)的彩色滤光片102的视差像素汇集的图形传感器。因此，以下所说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。
如图3所示，开口掩模103的开口部104相对于各个像素相对偏移地设置。而且，在相邻像素的彼此之间，各个开口部104也设置于彼此错位的位置。
在图示的例子中，作为开口部104相对于各个像素的位置，准备有沿X轴方向彼此偏移的六种开口掩模103。而且，在整个摄像元件800中二维地且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从-X侧向+X侧逐渐偏移的开口掩模103的六个视差像素为一组。也就是说，摄像元件800是由包含一组光电转换元件组的重复图案110周期性地铺设而成。
图4为说明视差像素与被摄体的关系的概念图。具体地，图4的(a)表示在摄像元件800的与摄影光轴21相垂直的中心处排列的重复图案110t的光电转换元件组，图4的(b)示意性地表示在周围部分排列的重复图案110u的光电转换元件组。图4的(a)、(b)中的被摄体30位于相对于摄影透镜20的聚焦位置。图4的(c)与图4的(a)相对应，示意性地表示当捕捉到相对于摄影透镜20位于非聚焦位置的被摄体31时的关系。
首先说明由摄影透镜20捕捉处于聚焦状态下的被摄体30时的、视差像素与被摄体的关系。被摄体光束穿过摄影透镜20的光瞳被引导至摄像元件800，但对被摄体光束透过的整个截面区域规定了六个部分区域Pa～Pf。而且，从放大图中也可以看出，例如构成重复图案110t、110u的光电转换元件组的﹣X侧端的像素的、开口掩模103的开口部104f的位置被确定成，仅使从部分区域Pf射出的被摄体光束到达光电转换元件108。同样地，对于朝向+X侧端的像素，与部分区域Pe对应地确定开口部104e的位置、与部分区域Pd对应地确定开口部104d的位置、与部分区域Pc对应地确定开口部104c的位置、与部分区域Pb对应地确定开口部104b的位置、与部分区域Pa对应地确定开口部104a的位置。
换言之，也可以说是，根据例如由部分区域Pf与﹣X侧端像素的相对位置关系定义的、从部分区域Pf射出的被摄体光束的主光线Rf的倾斜来确定开口部104f的位置。然后，当光电转换元件108经由开口部104f接收到来自于位于聚焦位置的被摄体30的被摄体光束时，如虚线所示，该被摄体光束在光电转换元件108上成像。同样地，对于朝向+X侧端的像素，可以说是，根据主光线Re的倾斜设定开口部104e的位置、根据主光线Rd的倾斜设定开口部104d的位置、根据主光线Rc的倾斜设定开口部104c的位置、根据主光线Rb的倾斜设定开口部104b的位置、根据主光线Ra的倾斜设定开口部104a的位置。
如图4的(a)所示，从位于聚焦位置的被摄体30的、与光轴21相交叉的被摄体30上的微小区域Ot放射的光束穿过摄影透镜20的光瞳到达构成重复图案110t的光电转换元件组的各个像素。即，构成重复图案110t的光电转换元件组的各个像素分别经由六个部分区域Pa～Pf接收从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各个像素的错位相对应程度的扩散，但实质上能够近似于大致同一物点。同样地，如图4的(b)所示，从位于聚焦位置的被摄体30的、离开光轴21的被摄体30上的微小区域Ou放射的光束穿过摄影透镜20的光瞳到达构成重复图案110u的光电转换元件组的各个像素。即，构成重复图案110u的光电转换元件组的各个像素分别经由六个部分区域Pa～Pf接收从一个微小区域Ou放射的光束。微小区域Ou与微小区域Ot同样地，具有与构成重复图案110u的光电转换元件组的各个像素的错位相对应程度的扩散，但实质上能够近似于大致同一物点。
也就是说，只要被摄体30位于聚焦位置，与摄像元件800上的重复图案110的位置相应地，光电转换元件组所捕捉到的微小区域就不相同，且构成光电转换元件组的各像素经由彼此不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，相应像素彼此接收来自于同一部分区域的被摄体光束。也就是说，在图中，例如重复图案110t、110u各自的﹣X侧端的像素接收来自于同一部分区域Pf的被摄体光束。
在与摄影光轴21相垂直的中心处排列的重复图案110t中﹣X侧端的像素接收来自于部分区域Pf的被摄体光束的开口部104f的位置，与在周围部分排列的重复图案110u中﹣X侧端的像素接收来自于部分区域Pf的被摄体光束的开口部104f的位置严格地不同。然而，从功能的角度来看，在用于接收来自于部分区域Pf的被摄体光束的开口掩模这一点上，能够将他们作为同一种开口掩模处理。因此，在图4的例子中，可以说在摄像元件800上排列的各个视差像素具有六种开口掩模中的一种。
以下说明由摄影透镜20捕捉处于非聚焦状态的被摄体31时的、视差像素与被摄体的关系。在此情形中，来自于位于非聚焦位置的被摄体31的被摄体光束也透过摄影透镜20的光瞳的六个部分区域Pa～Pf到达摄像元件800。然而，来自于处于非聚焦位置的被摄体31的被摄体光束并不在光电转换元件108上成像，而是在其他位置成像。例如，如图4的(c)所示，当被摄体31位于比被摄体30更加远离摄像元件800的位置时，被摄体光束与光电转换元件108相比在更靠近被摄体31侧成像。相反，当被摄体31位于比被摄体30更接近摄像元件800的位置时，被摄体光束与光电转换元件108相比在被摄体31的相反侧成像。
因此，从位于非聚焦位置的被摄体31中的、微小区域Ot’放射的被摄体光束透过六个部分区域Pa～Pf中的某一个，而到达不同组的重复图案110中的相应像素。例如，如图4的(c)的放大图所示，透过部分区域Pd的被摄体光束作为主光线Rd’入射到包含在重复图案110t’中的具有开口部104d的光电转换元件108。而且，即使是从微小区域Ot’放射的被摄体光束，透过其他部分区域的被摄体光束也不会入射到包含在重复图案110t’中的光电转换元件108，而是入射到另一重复图案中的具有相应开口部的光电转换元件108。换言之，到达构成重复图案110t’的各光电转换元件108的被摄体光束是从被摄体31的互不相同的微小区域放射的被摄体光束。也就是说，主光线为Rd’的被摄体光束入射到与开口部104d对应的108，主光线为Ra+、Rb+、Rc+、Re+、Rf+的被摄体光束入射到与其他开口部对应的光电转换元件108，但这些被摄体光束是从被摄体31的互不相同的微小区域放射的被摄体光束。这种关系在图4的(b)中排列在周围部分的重复图案110u中也是一样的。
这样一来，当观察摄像元件800整体时，例如，由与开口部104a对应的光电转换元件108捕捉到的被摄体像A和由与开口部104d对应的光电转换元件108捕捉到的被摄体像D，如果是针对位于聚焦位置的被摄体的像，就不会彼此错位，如果是针对位于非聚焦位置的被摄体的像，则会产生错位。而且，该错位根据位于非聚焦位置的被摄体相对于聚焦位置朝哪一侧以何种程度错位，并且根据部分区域Pa与部分区域Pd的距离来确定方向和量。也就是说，被摄体像A与被摄体像D彼此成为视差像。该关系对于其他开口部也是相同的，因此与开口部104a～104f对应地在X轴方向上形成六个视差像。
因此，在如此构成的各个重复图案110中，汇集彼此对应的像素的输出便得到视差图像。也就是说，接收到从六个部分区域Pa～Pf中的特定部分区域射出的被摄体光束的像素的输出形成视差图像。
图5为说明生成视差图像的处理的概念图。图中从纸面左列开始依次表示：将与开口部104f对应的视差像素的输出汇集而生成的视差图像数据Im_f的生成样子、由开口部104e的输出形成的视差图像数据Im_e的生成样子、由开口部104d的输出形成的视差图像数据Im_d的生成样子、由开口部104c的输出形成的视差图像数据Im_c的生成样子、由开口部104b的输出形成的视差图像数据Im_b的生成样子、由开口部104a的输出形成的视差图像数据Im_a的生成样子。首先，对开口部104f的输出形成的视差图像数据Im_f的生成样子进行说明。
由以六个视差像素为一组的光电转换元件组构成的重复图案110排列在X轴方向上。因此，具有开口部104f的视差像素在摄像元件800上沿X轴方向相隔六个像素，且沿Y轴方向连续存在。这些各像素如上所述接收来自于分别不同的微小区域的被摄体光束。因此，对这些视差像素的输出进行汇集排列后便得到X轴方向，即水平视差图像。
然则，由于摄像元件800的各个像素为正方像素，仅通过单纯地汇集会造成X轴方向的像素数缩减到1/6的结果，从而生成纵长的图像数据。为此，通过实施插值处理使X轴方向变为六倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。然而，由于当初在插值处理前的视差图像数据是在X轴方向上缩减到1/6的图像，因此，X轴方向上的分辨率比Y轴方向上的分辨率低。也就是说，所生成的视差图像数据的数量与分辨率的提高呈相反关系。
同样地得到视差图像数据Im_e～视差图像数据Im_a。即，数码相机10能够生成在X轴方向上具有视差的六个视点的水平视差图像。
在上述例子中说明了使以六个视差像素为一组的X轴方向的重复图案110周期性排列的例子，该六个视差像素分别具有开口部104从﹣X侧向+X侧逐渐偏移的开口掩模103。该情况下，如使用图5所说明的那样，得到赋予X轴方向的视差即水平视差的六个视差图像。另一方面，若改变开口部104的偏移方向与重复图案110的排列，则能够得到赋予Y轴方向的视差即垂直视差的视差图像。图6为表示将赋予垂直视差的摄像元件900的一部分放大后的样子的示意图。
在图示的例子中，作为开口部104相对于各个像素的位置，准备互相在Y轴方向上偏移的六种开口掩模103。而且，整个摄像元件900二维且周期性排列有以六个视差像素为一组的光电转换元件组，该六个视差像素分别具有从+Y侧向﹣Y侧逐渐偏移的开口掩模103。也就是说，可以说摄像元件900由包含一组光电转换元件组的Y轴方向的重复图案110周期性地铺设而成。
图6中的摄像元件900以重复图案110为单位来看，可以认为具有使图3中说明的摄像元件800中的重复图案110旋转90度而得到的重复图案110。因此，图4中说明的光学关系对图6所示的摄像元件900也是同样适用的。即，与沿Y轴方向排列的重复图案110的开口部104a～104f相对应，在Y轴方向上形成六个视差像。因此，在各个重复图案110中，将互相对应的像素的输出汇集在一起时，便得到在垂直方向上赋予视差的视差图像。
图7为说明生成Y轴方向的视差图像的处理的概念图。图中从纸面左列开始依次表示：将与开口部104f对应的视差像素的输出汇集而生成的视差图像数据Im_f的生成样子、由开口部104e的输出形成的视差图像数据Im_e的生成样子、由开口部104d的输出形成的视差图像数据Im_d的生成样子、由开口部104c的输出形成的视差图像数据Im_c的生成样子、由开口部104b的输出形成的视差图像数据Im_b的生成样子、由开口部104a的输出形成的视差图像数据Im_a的生成样子。首先，对由开口部104f的输出形成的视差图像数据Im_f的生成样子进行说明。
由以六个视差像素为一组的光电转换元件组构成的重复图案110在Y轴方向上排列。因此，具有开口部104f的视差像素在摄像元件900上沿Y轴方向相隔六个像素存在且沿X轴方向连续存在。这些各像素如上所述接收来自于分别不同的微小区域的被摄体光束。因此，对这些视差像素的输出进行汇集排列后便得到Y轴方向、即垂直视差图像。
然而，由于摄像元件900的各像素为正方像素，仅进行单纯地汇集会造成Y轴方向的像素数缩减到1/6的结果，从而生成横长的图像数据。因此，通过实施插值处理在Y轴方向变为六倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。然而，由于当初在插值处理前的视差图像数据是在Y轴方向上缩减到1/6的图像，因此，Y轴方向上的分辨率比横向上的分辨率低。
同样地得到视差图像数据Im_e～视差图像数据Im_a。即，数码相机10能够生成在Y轴方向上具有视差的六个视点的垂直视差图像。
图3中的摄像元件800及图6中的摄像元件900使开口部104沿一列方向偏移，输出赋予沿着该方向的视差的视差图像组。然而，摄像元件根据重复图案110的阵列以及与各个光电转换元件108对应的开口掩模103中的开口部104的配置能够输出在XY的二维方向上赋予视差的视差图像组。在本实施方式中所采用的摄像元件100为这样的摄像元件。
图8为表示将本实施方式所涉及的摄像元件100的一部分放大后的样子的示意图。摄像元件100中，以构成纵两个横两个共四个视差像素的光电转换元件组为一组的重复图案110周期性地排列。并且，包含在一个重复图案110中的各个视差像素包括具有朝向互不相同的方向偏移的开口部104的开口掩模103。
图9为表示一个重复图案110所对应的视差像素的图。四个视差像素由相对于重复图案110排列在右上的UR像素、排列在右下的DR像素、排列在左下的DL像素及排列在左上的UL像素构成。UR像素包括具有相对于像素中心朝右上方偏移的开口部1041的开口掩模103。DR像素包括具有相对于像素中心朝右下方偏移的开口部1042的开口掩模103。DL像素包括具有相对于像素中心朝左下方偏移的开口部1043的开口掩模103。UL像素包括具有相对于像素中心朝左上方偏移的开口部1044的开口掩模103。
这些开口部1041～1044的每一个被配置在分别相对于经过重复图案110的中心的指定为横轴的x轴和被指定为纵轴的y轴彼此呈线对称的位置。换言之，开口部1041～1044的每一个被偏移定位，从而针对相对于构成重复图案110的光电转换元件组的二维阵列所指定的两个纵横正交的轴的每一个彼此呈线对称。也就是说，开口部1041和开口部1042这一对以及开口部1044和开口部1043这一对分别被配置在相对于x轴呈线对称的位置，并且，开口部1044和开口部1041这一对以及开口部1043和开口部1042这一对分别被配置在相对于y轴呈线对称的位置。
图10为说明包含在重复图案110中的视差像素与被摄体30的关系的概念图。重复图案110中的开口部1041～1044的每一个使在被摄体光束整体的剖面区域中经过在二维方向上规定的四个部分区域的任一个区域的部分光束通过，并导向各个光电转换元件。
具体地，如图10的(a)所示，例如，UR像素中的开口部1041仅使从被摄体30的微小区域O放射出的光束中的、经过了摄影透镜20的光瞳中的部分区域PUR的部分光束通过，并导向UR像素的光电转换元件108。同样地，DR像素中的开口部1042仅使从被摄体30的微小区域O放射出的光束中的、经过了摄影透镜20的光瞳的部分区域PDR的部分光束通过，并导向DR像素的光电转换元件108。另外，DL像素中的开口部1043仅使从被摄体30的微小区域O放射出的光束的、经过了摄影透镜20的光瞳中的部分区域PDL的部分光束通过，并导向DL像素的光电转换元件108。另外，UL像素中的开口部1044仅使从被摄体30的微小区域O放射出的光束中的、经过了摄影透镜20的光瞳中的部分区域PUL的部分光束通过，并导向UL像素的光电转换元件108。
因此，在如此构成的各个重复图案110中，将互相对应的像素的输出汇集，便得到视差图像。也就是说，接收到从四个部分区域PUR、PDR、PDL及PUL中的任一部分区域射出的被摄体光束的像素的输出分别形成视差图像。
具体地，图像处理部205汇集UR像素的输出并生成视差图像数据Im_UR，汇集DR像素的输出并生成视差图像数据Im_DR，汇集DL像素的输出并生成视差图像数据Im_DL，汇集UL像素的输出并生成视差图像数据Im_UL。在这些视差图像之间，如果被摄体存在于焦点面，则其像会相对地出现在同一位置。另一方面，如果存在于比焦点面更远的位置，则例如如图10的(b)所示，其像在Im_UR中会出现在往右上方相对偏移的位置、在Im_DR中会出现在往右下方相对偏移的位置、在Im_DL中会出现在往左下方相对偏移的位置、在Im_UL中会出现在往左上方相对偏移的位置。另外，如果存在于比焦点面更近的位置，则其像在Im_UR中会出现在往左下方相对偏移的位置、在Im_DR中会出现在往左上方相对偏移的位置、在Im_DL中会出现在往右上方相对偏移的位置、在Im_UL中会出现在往右下方相对偏移的位置。另外，这样的四个视差图像数据的每一个虽然像素数是全部像素数的1/4，但由于是对作为正方像素的上下左右的视差像素的任一个进行汇集而生成的，从而维持了长宽比。
当然，如图10的(b)所示，图像处理部205可以单独地汇集各个视差像素的输出并生成四个视差图像，但更为优选的是，与作为观察者的人的视觉特性相配合来生成视差图像。具体地，由于人的眼球沿左右方向配置，因此被观察的视差图像也优选在与眼球配置相对应的左右方向上赋予视差。另一方面，在进行拍摄时，用户有时会将数码相机10相对于被摄体摆成横向视角，有时也会摆成纵向视角。因此，无论是以横向视角进行拍摄还是以纵向视角进行拍摄，图像处理部205所生成的视差图像数据优选在观察时沿横向赋予视差。因此，本实施方式中的摄像元件100为了输出对与这样的视觉特性相一致的方向赋予视差的视差图像，进行视差像素的加法处理。
图11为说明沿横向赋予视差的视差像素加法与被输出的视差图像的关系的概念图。图11的(a)为表示相加的视差像素对的图。当输出沿横向赋予视差的视差图像时，将UR像素的输出与DR像素的输出相加，将UL像素的输出与DL像素的输出相加。即，将UR像素与DR像素的组合以及UL像素与DL像素的组合分别作为一对像素处理。
具体地，将UR像素的开口部1041与DR像素的开口部1042的组合看作是在重复图案110中往右侧偏移的一个开口部的GR开口部1101，并将UR像素与DR像素的相加输出处理成好像是来自于一个右视差像素的输出。同样地，将UL像素的开口部1044与DL像素的开口部1043的组合看作是作为在重复图案110中往左侧偏移的一个开口部的GL开口部1102，并将UL像素与DL像素的相加输出处理成好像是来自于一个左视差像素的输出。
如此，当分别汇集来自于假想的右视差像素的输出和来自于假想的左视差像素的输出，并施加用于进行长宽调整的插值处理时，能够得到如图11的(b)所示的作为在左右方向上赋予视差的图像的右视差图像数据Im_GR和左视差图像数据Im_GL。在用户将数码相机10摆成横向视角进行拍摄的情况下，只要生成这些视差图像数据，再现图像就会成为在横向上赋予视差的所谓立体图像。
图12为说明在纵向上赋予视差的视差像素加法与输出的视差图像的关系的概念图。图12的(a)为表示相加的视差像素对的图。当输出在纵向上赋予视差的视差图像时，将UL像素的输出与UR像素的输出相加，将DL像素的输出与DR像素的输出相加。即，将UL像素与UR像素的组合以及DL像素与DR像素的组合分别作为一对像素来处理。
具体地，将UL像素的开口部1044与UR像素的开口部1041的组合看作是在重复图案110中向上侧偏移的一个开口部的GU开口部1103，并将UL像素与UR像素的相加输出处理成好像是来自于一个上视差像素的输出。同样地，将DL像素的开口部1043与DR像素的开口部1042的组合看作是在重复图案110中向下侧偏移的一个开口部的GD开口部1104，并把DL像素与DR像素的相加输出处理成好像是来自于一个下视差像素的输出。
如此，分别汇集来自于假想的上视差像素的输出及来自于假想的下视差像素的输出，实施用于长宽调整的插值处理，便能够得到如图12的(b)所示的作为在上下方向上赋予视差的图像的上视差图像数据Im_GU和下视差图像数据Im_GD。然而，当用户将数码相机10摆成纵向视角进行拍摄时，这些图像数据在观察时沿纵向再现。即如图12的(c)所示，这些再现图像成为使图12的(b)的视差图像旋转90度后的、在横向上赋予视差的立体图像。该情况下，这些视差图像能够作为在横向上赋予视差的纵向视角的右视差图像数据Im_GR和左视差图像数据Im_GL来处理。
图13为表示摄像元件100的电路结构的概念图。与UR像素、DR像素、DL像素及UL像素分别对应的光电转换元件108分别连接在放大器610上。在放大器610的输出侧连接有栅开关611，栅开关611根据来自于控制线612的选择控制信号进行开闭。当栅开关611闭合时，被放大的图像信号经信号线613到达加法器614。
相对于一条信号线613闭合的栅开关611为一个。例如，在生成图10中说明的视差图像数据Im_UR的情形中，通过选择控制信号一次仅选择一个来自于UR像素的光电转换元件108的图像信号并依次发送给信号线613，在加法器614中不执行任何加法地输出给A/D转换电路202。另外，选择控制信号是经由驱动部204从控制部201传送而来的。在A/D转换电路202中被数字化的图像信号作为图像数据发送给图像处理部205，图像处理部205将其转换为预定格式的图像数据从而完成视差图像数据Im_UR。视差图像数据Im_DR、Im_DL及Im_UL也能够同样地生成。
另一方面，例如，在生成图11中所说明的视差图像数据Im_GR的情况下，首先通过选择控制信号选择来自于UR像素的光电转换元件108的图像信号并发送给信号线613。加法器614保持该UR图像信号。然后，通过选择控制信号选择来自于成对的DR像素的光电转换元件108的图像信号并发送给信号线613。然后，加法器614在所保持的UR图像信号上加上被发送来的DR图像信号，输出给A/D转换电路202。按各对像素反复执行。另外，该情况下，选择控制信号也是经由驱动部204从控制部201传送来的。在A/D转换电路202中被数字化的图像信号作为图像数据发送给图像处理部205，图像处理部205将其转换成预定格式的图像数据从而完成视差图像数据Im_GR。视差图像数据Im_GL也能够同样地生成。
另外，例如在生成图12中说明的视差图像数据Im_GU的情况下，首先通过选择控制信号选择来自于UR像素的光电转换元件108的图像信号并发送给信号线613。加法器614保持该UR图像信号。然后，通过选择控制信号选择来自于成对的UL像素的光电转换元件108的图像信号并发送给信号线613。然后，加法器614在所保持的UR图像信号上加上被发送来的UL图像信号，输出给A/D转换电路202。按各对像素反复执行。另外，该情况下，选择控制信号也是经由驱动部204从控制部201传送而来的。在A/D转换电路202中被数字化的图像信号作为图像数据发送给图像处理部205，图像处理部205将其转换为预定格式的图像数据，从而完成视差图像数据Im_GU。视差图像数据Im_GD也能够同样地生成。
控制部201根据由姿态传感器222检测出的数码相机10(进而是摄像元件100)的姿态决定作为视差图像数据是以Im_GR与Im_GL的组合进行输出还是以Im_GU与Im_GD的组合进行输出。即，当检测出数码相机10的朝向为横向的情况下，认为要在横向视角观察输出图像，则以Im_GR与Im_GL的组合进行输出来作为视差图像数据。另一方面，当检测出数码相机10的朝向为纵向的情况下，认为要在纵向视角观察输出图像，则以Im_GU与Im_GD的组合进行输出来作为视差图像数据。控制部201经由驱动部204向控制线612赋予选择控制信号，从而实现上述组合的输出。
本实施方式所涉及的摄像元件100的像素阵列并不限于图9所示的以纵两个横两个共四个视差像素作为一个重复图案110的像素阵列。图14为表示作为另一例的包含一组光电转换元件组的重复图案110的像素阵列的图。该例中的摄像元件100中，以构成纵三个横三个共九个视差像素的光电转换元件组为一组的重复图案110周期性地排列。
九个视差像素由相对于重复图案110在上层从右往左分别排列的UR像素、UC像素、UL像素，在中层从右往左分别排列的CR像素、CC像素、CL像素，在下层从右往左分别排列的DR像素、DC像素、DL像素构成。UR像素包括具有相对于像素中心朝右上方偏移的开口部1051的开口掩模103。CR像素包括具有相对于像素中心朝右方偏移的开口部1052的开口掩模103。DR像素包括具有相对于像素中心朝右下方偏移的开口部1053的开口掩模103。DC像素包括具有相对于像素中心朝下方偏移的开口部1054的开口掩模103。DL像素包括具有相对于像素中心朝左下方偏移的开口部1055的开口掩模103。CL像素包括具有相对于像素中心朝左方偏移的开口部1056的开口掩模103。UL像素包括具有相对于像素中心朝左上方偏移的开口部1057的开口掩模103。UC像素包括具有相对于像素中心朝上方偏移的开口部1058的开口掩模103。CC像素包括具有位于像素中心的开口部1050的开口掩模103。
这些开口部1050～1058的每一个被配置在相对于经过重复图案110的中心的被指定为横轴的x轴和被指定为纵轴的y轴的每一个彼此呈线对称的位置。换言之，开口部1050～1058的每一个被偏移定位，从而针对相对于构成重复图案110的光电转换元件组的二维阵列而指定的两个纵横正交轴的每一个彼此呈线对称。也就是说，开口部1051、1052、1053的组、开口部1058、1050、1054的组、及开口部1057、1056、1055的组分别被配置在相对于x轴呈线对称的位置。并且，开口部1057、1058、1051的组、开口部1056、1050、1052的组、及开口部1055、1054、1053的组分别被配置在相对于y轴呈线对称的位置。
图15为说明在图14的摄像元件100中赋予不同方向的视差的视差像素加法的概念图。只要根据其开口部的种类分别汇集摄像元件100的视差像素的输出，就能够得到九个视差图像数据。另外，若根据使用图11及图12所说明的概念进行视差像素加法，也能够得到对与视觉特性相一致的方向赋予视差的视差图像数据。
图15的(a)为关于在横向上赋予视差的视差像素加法而进行相加的视差像素的组的图。当输出在横向上赋予视差的视差图像时，将UR像素的输出、CR像素的输出及DR像素的输出相加，将UC像素的输出、CC像素的输出及DC像素的输出相加，将UL像素的输出、CL像素的输出及DL像素的输出相加。即，将UR像素、CR像素及DR像素的组合、UC像素、CC像素及DC像素的组合、UL像素、CL像素及DL像素的组合分别处理为组像素。
把各个组像素的相加输出当作像是来自于一个右视差像素、中视差像素及左视差像素的输出分别进行汇集，实施用于长宽调整的插值处理时，便能够得到作为在左右方向上赋予视差的图像的右视差图像数据Im_GR、中视差图像数据Im_GC及左视差图像数据Im_GL。在用户将数码相机10摆成横向视角进行拍摄的情况下，只要生成这些视差图像数据，以横向视角再现的再现图像就成为在横向上赋予视差的三视差图像。另外，UC像素、CC像素及DC像素的开口部1058、1050、1054的每一个虽然相对于左右方向没有偏移，但由于将来自于部分区域的部分光束导向光电转换元件108，因此也将它们的组像素处理为视差像素(中视差像素)。
图15的(b)为表示关于在纵向赋予视差的视差像素加法而进行相加的视差像素的组的图。当输出在纵向赋予视差的视差图像时，将UL像素的输出、UC像素的输出及UR像素的输出相加，将CL像素的输出、CC像素的输出及CR像素的输出相加，将DL像素的输出、DC像素的输出及DR像素的输出相加。在用户将数码相机10摆成纵向视角进行拍摄的情况下，只要生成这些视差图像数据，以纵向视角再现的再现图像就成为在横向上赋予视差的三视差图像。另外，LC像素、CC像素及RC像素的开口部1056、1050、1052的每一个虽然相对于上下方向没有偏移，但由于将来自于部分区域的部分光束导向光电转换元件108，因此也将它们的组像素处理为视差像素。
另外，在该阵列中，也可以执行在斜向赋予视差的视差像素加法。图15的(c)及图15的(d)为表示关于在斜向赋予视差的视差像素加法而进行相加的视差像素的组的图。该情况下，相对于中央的组像素为三视差像素的组合，两侧的组像素为二视差像素的组合，因此对所相加得到的图像信号的亮度值实施调整处理。
在以上的说明中，摄像元件100为仅由具有同色(包含透明的情形)的彩色滤光片102的视差像素构成的图形传感器。然而，当摄像元件100为具有图2所示的结构的彩色图形传感器时，摄像元件100成为如下构造：组合彩色滤光片图案与重复图案110，同时存在视差像素与无视差像素。以下表示其具体例。
图16为说明彩色滤光片图案1100与重复图案1110的组合例的图。此处通过将图9所示的UR像素、DR像素、DL像素及UL像素与彩色滤光片图案1100相组合的例子进行说明。
作为彩色滤光片图案1100，此处采用拜耳阵列。拜耳阵列是将绿色滤光片分配给左上和右下这两个像素，将红色滤光片分配给左下的一个像素、将蓝色滤光片分配给右上的1像素的阵列。此处，将分配有绿色滤光片的左上像素作为Gb像素，将同样分配有绿色滤光片的右下像素作为Gr像素。另外，将分配有红色滤光片的像素作为R像素，将分配有蓝色滤光片的像素作为B像素。
作为视差像素的UR像素、DR像素、DL像素及UL像素均被分配给Gb像素。具体地，UR像素与彩色滤光片图案1100中的右上的Gb像素相重叠配置，DR像素与彩色滤光片图案1100中的右下的Gb像素相重叠配置，DL像素与彩色滤光片图案1100中的左下的Gb像素相重叠配置，UL像素与彩色滤光片图案1100中的左上的Gb像素相重叠配置。因此，彩色滤光片图案1100在上下左右相连四组而成的周期图案1120成为相对于彩色滤光片与视差像素的组合的最小周期单位。
在该情况下的重复图案1110中，也还是使这些开口部1041～1044的每一个配置在相对于经过重复图案1110的中心的被指定为横轴的x轴和被指定为纵轴的y轴的每一个彼此呈线对称的位置。因此，通过将这些像素彼此相加，能够输出上述那样的视差图像。
若对该摄像元件100的阵列汇集无视差像素，则能够生成2D图像。其中，由于Gb像素为视差像素，因此利用Gr像素的像素值对作为2D图像数据而成为空置格的Gb像素的像素值进行插补。另外，彩色滤光片图案1100也可以不是拜耳阵列，可以将Gb像素变为未分配彩色滤光片的W像素。另外，如上所述，W像素也可以排列有未实施着色的透明滤光片，以使得可见光的几乎整个波段透过。
在以上的实施方式中，通过使摄像元件100具有控制线612和加法器614，能够通过模拟信号执行像素加法。然而，即使是组装有不具备例如加法器614的摄像元件100的数码相机10，也能够通过对输出图像数据实施图像处理，以数字方式执行像素加法，从而新生成视差图像数据。
这样的处理既可通过控制部201与图像处理部205的协作在数码相机10内完成而进行，也可以在外部的个人电脑等设备中进行。此时，数码相机10、外部的个人电脑等设备发挥图像处理装置的功能。
当执行这样的后处理时，作为图像处理装置的个人电脑等包括：获取由从摄像元件100输出的电信号形成的输出图像数据的输出图像数据获取部、获取与摄像元件100的开口部104的位置相关的开口位置信息的开口信息获取部、通过参照该开口信息对输出图像数据进行处理而生成视差图像数据的视差图像数据生成部。
如果为个人电脑，则输出图像数据获取部相当于外部通信单元、存储卡读取单元等。输出图像数据获取部获取未实施加法处理的例如图10的(b)所示的视差图像数据Im_UR、Im_DR、Im_DL、Im_UL。开口信息获取部在接收数据时可以共用这些单元，也可以单独设置获取部。开口信息为记录例如哪个像素是UR像素等视差像素的种类和位置的信息。视差图像数据生成部例如从视差图像数据Im_UR、Im_DR、Im_DL、Im_UL，依据开口信息对各个像素实施加法处理，生成视差图像数据Im_GR与Im_GL、以及Im_UG与Im_DG中的至少任意一个。
此时，视差图像数据生成部能够根据各种信息来决定生成哪个视差图像数据。例如，图像处理装置只要具备用于获取输出图像信号的时刻的摄像元件100的姿态信息的获取部，视差图像数据生成部就能够依照该姿态信息决定是以Im_GR与Im_GL的组合来生成视差图像数据，还是以Im_UG与Im_DG的组合来生成视差图像数据。
另外，图像处理装置只要具有例如通过对视差图像数据Im_UR、Im_DR、Im_DL、Im_UL进行处理而生成表示被摄体的景深信息的深度图的深度图生成部，就能够基于所生成的深度图来决定生成哪个视差图像数据。例如，视差图像数据生成部搜索在深度图中与出现最大景深差的交界相正交的方向，并生成在该方向上赋予视差的视差图像数据。
另外，也可以是，视差图像数据生成部不将来自于摄像元件100的输出信号分成视差图像数据进行获取，而是获取表示原始阵列中的像素值的RAW图像数据，并参照其中的视差像素的像素值来决定生成哪个视差图像数据。具体地，视差图像数据生成部计算相邻视差像素间的像素值之差，用统计方式搜索差值最大的方向，并生成在该方向上赋予视差的视差图像数据。
在以上所说明的实施方式中，开口部的每一个被配置在相对于经过重复图案110的中心的被指定为横轴的x轴及被指定为纵轴的y轴的每一个，彼此呈线对称的位置。换言之，开口部的每一个被偏移定位，从而针对相对于构成重复图案110的光电转换元件组的二维阵列而指定的两个纵横正交轴的每一个彼此呈线对称。然而，即使不对构成重复图案110的光电转换元件组的二维阵列直接定义两个轴，只要摄像元件具有以下所说明的开口部的偏移结构，就能够与上述摄像元件同样地获取对与视觉特性相一致的方向赋予视差的视差图像数据。
图17为表示将另一摄像元件1200的一部分放大后的样子的示意图。摄像元件1200为具有使各个像素排列成六角密堆积格即所谓的蜂窝结构的摄像元件。并且，如图示所示，相邻六个像素被定义为构成重复图案110的视差像素。六个视差像素由相对于重复图案110在上层从右往左分别排列的UR像素、UC像素、UL像素和在下层从右往左分别排列的DR像素、DC像素、DL像素构成。
UR像素包括具有相对于像素中心朝右上方偏移的三角形开口部104的开口掩模103。DR像素包括具有相对于像素中心朝右下方偏移的三角形开口部104的开口掩模103。DC像素包括具有相对于像素中心朝下方偏移的三角形开口部104的开口掩模103。DL像素包括具有相对于像素中心朝左下方偏移的三角形开口部104的开口掩模103。UL像素包括具有相对于像素中心朝左上方偏移的三角形开口部104的开口掩模103。UC像素包括具有相对于像素中心朝上方偏移的三角形开口部104的开口掩模103。
彩色滤光片设置在与构成重复图案110的视差像素相邻的无视差像素上。如图所示，分配有蓝色滤光片的B像素、分配有绿色滤光片的G像素及分配有红色滤光片的R像素上下相邻接地排列。
图18为表示包含一组光电转换元件组的重复图案110的图。具体地，图18的(a)为取出一个重复图案110进行表示的图。如图所示，即使对构成重复图案110的光电转换元件组的二维阵列指定了正交的x轴和y轴，开口部的每一个配置在相对于y轴呈线对称的位置，但不配置在相对于x轴呈线对称的位置。也就是说，各个像素由于排列成六角密堆积格，因此，UC像素与DC像素从左右相邻的像素沿y轴方向偏移了半个像素的量，从而破坏了相对于x轴的线对称性。
然而，如图18的(b)的左图所示，可以说各个开口部被偏移定位成，在使各个开口部维持相对于各个光电转换元件的相对位置的状态下假想地重合于一个光电转换元件上时，开口部的每一个针对相对于该假想的光电转换元件所指定的正交的x轴及y轴的每一个彼此呈线对称。另外，如图18的(b)的右图所示，如此所拼凑成的开口部的整体优选与无视差像素的开口部大致相同。即，各个开口部优选具有无视差像素的开口的1/6的大小。另外，与上述摄像元件同样地，构成重复图案110的视差像素的各个开口部被定位成，分别使来自于入射光的剖面区域内的互不相同的部分区域的光束通过。
图19为说明在摄像元件1200中赋予不同方向的视差的视差像素加法的概念图。只要将摄像元件1200的视差像素的输出按照其开口部的种类分别进行汇集，就能够得到六个视差图像数据。另外，若根据使用图11及图12所说明的概念进行视差像素加法，也能够得到对与视觉特性相一致的方向赋予视差的视差图像数据。
图19的(a)为表示关于在横向上赋予视差的视差像素加法而进行相加的视差像素的组的图。当输出在横向上赋予视差的视差图像时，将UR像素的输出与DR像素的输出相加，将UC像素的输出与DC像素的输出相加，将UL像素的输出与DL像素的输出相加。即，将UR像素与DR像素的组合、UC像素与DC像素的组合、UL像素与DL像素的组合分别处理为组像素。
将各组像素的相加输出作为像是来自于一个右视差像素、中视差像素及左视差像素的输出，分别进行汇集，并实施用于长宽调整的插值处理，便能够得到作为在左右方向上赋予视差的图像的右视差图像数据Im_GR、中视差图像数据Im_GC及左视差图像数据Im_GL。在用户将数码相机10摆成横向视角进行拍摄的情况下，只要生成这些视差图像数据，以横向视角再现的再现图像就成为在横向上赋予视差的三视差图像。
图19的(b)表示关于在纵向上赋予视差的视差像素加法而进行相加的视差像素的组的图。当输出在纵向上赋予视差的视差图像时，将UL像素的输出、UC像素的输出及UR像素的输出相加，将DL像素的输出、DC像素的输出及DR像素的输出相加。在用户将数码相机10摆成纵向视角进行拍摄的情况下，只要生成这些视差图像数据，以纵向视角再现的再现图像就成为在横向上赋予视差的二视差图像。
另外，在该阵列中也可以进行在斜向赋予视差的视差像素加法。图19的(c)及图19的(d)为表示关于在斜向赋予视差的视差像素加法而进行相加的视差像素的组的图。
以上所说明的蜂窝结构中的摄像元件1200是在无视差像素上分配了彩色滤光片的结构，当然也可以是在视差像素上分配彩色滤光片的结构。另外，也可以在无视差像素上分配某种颜色的彩色滤光片，而在视差像素上分配其他颜色的彩色滤光片。
以上，使用实施方式说明了本发明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，在上述实施方式的基础上可进行各种变更或改进。这种加以变更或改进的实施方式也包含在本发明的技术范围内，这也能够从权利要求书的记载得以明确。
符号说明
10数码相机、20摄影透镜、21光轴、30被摄体、100摄像元件、101微透镜、102彩色滤光片、103开口掩模、104开口部、105布线层、106布线、107开口、108光电转换元件、109基板、110重复图案、120摄像元件、121屏幕滤光片、122彩色滤光片部、123开口掩模部、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、207存储卡IF、208操作部、209显示部、210LCD驱动电路、211AF传感器、220存储卡、221ROM、610放大器、611栅开关、612控制线、613信号线、614加法器、800、900摄像元件、1041、1042、1043、1044、1050、1051、1052、1053、1054、1055、1056、1057、1058开口部、1100彩色滤光片图案、1101GR开口部、1102GL开口部、1103GU开口部、1104GD开口部、1110重复图案、1120周期图案、1200摄像元件。

Claims (9)

1.一种摄像元件，包括：
二维排列的光电转换元件，其将入射光光电转换为电信号；
开口掩模，其设置于所述光电转换元件上；
选择电路，其从各个光电转换元件组选择互相对应的至少两个所述光电转换元件，其中所述光电转换元件组以n个所述光电转换元件为一组，n为4以上的整数；和
加法器，其将来自于由所述选择电路选择的所述至少两个所述光电转换元件的所述电信号，按各个所述光电转换元件组分别相加，
所述光电转换元件组周期性地排列，
所述开口掩模的开口，以关于针对所述光电转换元件组的二维排列所指定的相正交的两个轴的每一个彼此呈线对称的方式被偏移定位，
所述选择电路选择设置有所述开口掩模的至少两个所述光电转换元件，使得所述开口相对于所述两个轴中的一个呈线对称的关系。
2.一种摄像元件，包括：
二维排列的光电转换元件，其将入射光光电转换为电信号；
开口掩模，其设置于所述光电转换元件上；
选择电路，其从各个光电转换元件组选择互相对应的至少两个所述光电转换元件，其中所述光电转换元件组以n个所述光电转换元件为一组，n为4以上的整数；和
加法器，其将来自于由所述选择电路选择的所述至少两个所述光电转换元件的所述电信号，按各个所述光电转换元件组分别相加，
所述光电转换元件组周期性地排列，
所述开口掩模的开口以如下方式被偏移定位：在维持所述开口掩模的开口相对于各个所述光电转换元件的相对位置不变地、将所述开口掩模的开口假想地重合于一个光电转换元件上时，所述开口掩模的开口关于针对该假想的光电转换元件所指定的相正交的两个轴的每一个彼此呈线对称，
所述选择电路选择所述开口掩模的开口被定位为朝向互不相同的方向偏移的至少两个所述光电转换元件。
3.根据权利要求1所述的摄像元件，其中，所述开口掩模的开口以使来自于所述入射光的剖面区域内的互不相同的部分区域的光束分别通过的方式被定位。
4.一种摄像装置，包括：
权利要求1所述的摄像元件；
姿态检测部，其检测所述摄像元件的姿态；
控制部，其基于由所述检测部检测到的姿态使所述选择电路选择指定的所述光电转换元件，并使所述加法器对来自于所述指定的所述光电转换元件的所述电信号进行相加；和
图像处理部，其对从所述摄像元件的所述加法器输出的图像信号进行处理。
5.一种图像处理装置，包括：
输出图像数据获取部，其基于从权利要求1所述的摄像元件输出的所述电信号获取输出图像数据；
开口信息获取部，其获取与所述摄像元件的所述开口的位置相关的开口位置信息；和
视差图像数据生成部，其基于所述开口位置信息对所述输出图像数据进行处理，而生成视差图像数据。
6.根据权利要求5所述的图像处理装置，其中，所述视差图像数据生成部，基于所述开口信息，对所述输出图像数据中与所述光电转换元件组对应的像素组的、互相对应的至少两个像素的像素值分别进行相加，生成所述视差图像数据。
7.根据权利要求6所述的图像处理装置，其中，包括：深度图生成部，其通过对所述输出图像数据进行处理，生成表示被摄体的景深信息的深度图；和
所述视差图像数据生成部基于所述深度图选择所述至少两个像素。
8.根据权利要求6所述的图像处理装置，其中，所述视差图像数据生成部基于相邻像素间的像素值之差选择所述至少两个像素。
9.根据权利要求6所述的图像处理装置，其中，包括：姿态信息获取部，其获取与所述摄像元件输出所述电信号时的所述摄像元件的姿态相关的姿态信息；
所述视差图像数据生成部基于所述姿态信息选择所述至少两个像素。
CN201280053315.1A 2011-09-14 2012-08-17 摄像元件、摄像装置及图像处理装置 Active CN103907188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011201142 2011-09-14
JP2011-201142 2011-09-14
PCT/JP2012/005187 WO2013038598A1 (ja) 2011-09-14 2012-08-17 撮像素子、撮像装置および画像処理装置

Publications (2)

Publication Number Publication Date
CN103907188A CN103907188A (zh) 2014-07-02
CN103907188B true CN103907188B (zh) 2016-12-28

Family

ID=47882851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280053315.1A Active CN103907188B (zh) 2011-09-14 2012-08-17 摄像元件、摄像装置及图像处理装置

Country Status (4)

Country Link
US (1) US9414046B2 (zh)
JP (1) JP5874729B2 (zh)
CN (1) CN103907188B (zh)
WO (1) WO2013038598A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363857B2 (ja) * 2014-03-24 2018-07-25 キヤノン株式会社 撮像素子、撮像装置、画像処理方法、並びにプログラム
JP6598473B2 (ja) * 2015-02-27 2019-10-30 キヤノン株式会社 撮像装置および画像処理装置
KR102299575B1 (ko) 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
EP3264761A1 (en) * 2016-06-23 2018-01-03 Thomson Licensing A method and apparatus for creating a pair of stereoscopic images using least one lightfield camera

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848329A (zh) * 2009-02-27 2010-09-29 卡西欧计算机株式会社 摄像装置及自动聚焦方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05145859A (ja) * 1991-11-25 1993-06-11 Hitachi Ltd 固体撮像装置およびその制御方法
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2005031460A (ja) * 2003-07-07 2005-02-03 Canon Inc 複眼光学系
JP5066851B2 (ja) * 2006-07-05 2012-11-07 株式会社ニコン 撮像装置
JP5045007B2 (ja) * 2006-07-05 2012-10-10 株式会社ニコン 撮像装置
JP4826507B2 (ja) * 2007-02-27 2011-11-30 株式会社ニコン 焦点検出装置および撮像装置
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
WO2012008209A1 (ja) * 2010-07-12 2012-01-19 富士フイルム株式会社 固体撮像装置
JP5611469B2 (ja) * 2011-09-09 2014-10-22 富士フイルム株式会社 立体撮像装置および方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848329A (zh) * 2009-02-27 2010-09-29 卡西欧计算机株式会社 摄像装置及自动聚焦方法

Also Published As

Publication number Publication date
CN103907188A (zh) 2014-07-02
JPWO2013038598A1 (ja) 2015-03-23
US20140333732A1 (en) 2014-11-13
US9414046B2 (en) 2016-08-09
WO2013038598A1 (ja) 2013-03-21
JP5874729B2 (ja) 2016-03-02

Similar Documents

Publication Publication Date Title
CN103229498B (zh) 摄像元件及摄像装置
CN102685377B (zh) 摄像装置
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN104170377B (zh) 图像处理装置、摄像装置
CN104185983B (zh) 摄像元件、摄像装置以及摄像系统
CN103260045A (zh) 摄像装置及图像传感器阵列
CN109246400A (zh) 拍摄元件及拍摄装置
US10412294B2 (en) Image sensor and image-capturing device
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN103907188B (zh) 摄像元件、摄像装置及图像处理装置
CN104412586B (zh) 图像处理装置、摄像装置
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
CN104106003A (zh) 摄像装置
CN103430094B (zh) 图像处理装置、拍摄装置以及图像处理程序
CN103828346B (zh) 固体摄像装置
CN103999449A (zh) 摄像元件
JP2013175812A (ja) 撮像素子および撮像装置
CN103503447B (zh) 拍摄装置及拍摄装置的控制方法
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
CN103545334B (zh) 3d cmos图像传感器的像素单元
JP2012212975A (ja) 撮像装置および撮像装置の制御プログラム
JP6051570B2 (ja) 撮像素子および撮像装置
JP2013090265A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant