CN103229498B - 摄像元件及摄像装置 - Google Patents

摄像元件及摄像装置 Download PDF

Info

Publication number
CN103229498B
CN103229498B CN201180057523.4A CN201180057523A CN103229498B CN 103229498 B CN103229498 B CN 103229498B CN 201180057523 A CN201180057523 A CN 201180057523A CN 103229498 B CN103229498 B CN 103229498B
Authority
CN
China
Prior art keywords
photo
electric conversion
parallax
conversion element
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180057523.4A
Other languages
English (en)
Other versions
CN103229498A (zh
Inventor
芝崎清茂
浜岛宗树
森晋
铃木智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN103229498A publication Critical patent/CN103229498A/zh
Application granted granted Critical
Publication of CN103229498B publication Critical patent/CN103229498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14629—Reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

存在如果要得到产生多个视差的图像就必须要准备与其数量对应的复杂的摄影光学系统的课题。本发明为了解决上述课题，提供一种摄像元件，包括：光电转换元件，其二维地排列，将入射光光电转换成电信号；开口掩模，其与各个光电转换元件一一对应地设置；彩色滤光片，其与各个光电转换元件一一对应地设置，对与相邻的n个(n为3以上的整数)光电转换元件中的、至少三个对应设置的各个开口掩模的开口进行定位，以使该开口包含在由使互不相同的波段透过的至少两种彩色滤光片构成的彩色滤光片图案的一图案内，并使来自于入射光的截面区域内的互不相同的部分区域的光束分别穿过，以n个光电转换元件为一组的光电转换元件组连续排列。

Description

摄像元件及摄像装置
技术领域
本发明涉及摄像元件及摄像装置。
背景技术
已知如下立体摄像装置：使用两个摄影光学系统拍摄由右眼用图像和左眼用图像构成的立体图像。这种立体摄像装置通过以一定间隔配置两个摄像光学系统，在对同一被摄物体进行拍摄而得到的两个图像上产生视差。
专利文献1：日本特开平8-47001号公报
发明内容
然而，为了得到多个产生视差的图像，必需准备与其数量相应的复杂的摄影光学系统。
为了解决上述问题，本发明第一形态的摄像元件包括：光电转换元件，其二维地排列，将入射光光电转换成电信号；开口掩模，其与各个光电转换元件一一对应地设置；彩色滤光片，其与各个光电转换元件一一对应地设置，对与相邻的n个(n为3以上的整数)光电转换元件中的至少三个对应地设置的各个开口掩模的开口进行定位，以使该开口包含在由使互不相同的波段透过的至少两种彩色滤光片构成的彩色滤光片图案的一图案内，并使来自于入射光的截面区域内的互不相同的部分区域的光束分别穿过，以n个光电转换元件为一组的光电转换元件组连续排列。
另外，本发明第二形态的摄像元件包括：光电转换元件，其二维地排列，将入射光光电转换成电信号；开口掩模，其与各个光电转换元件一一对应地设置，对与相邻的n个(n为3以上的整数)光电转换元件中的至少三个对应地设置的各个开口掩模的开口进行定位，以使来自于入射光的截面区域内的互不相同的部分区域的光束分别穿过，以n个光电转换元件为一组的光电转换元件组连续排列。
在本发明第三形态中提供一种摄像元件，包括：光电转换元件，其二维地排列，将入射光光电转换成电信号；开口掩模，其与各个所述光电转换元件一一对应地设置；对与相邻的n个(n为3以上的整数)所述光电转换元件中的至少三个对应地设置的各个所述开口掩模的开口进行定位，以使来自于所述入射光的截面区域内的互不相同的部分区域的光束分别穿过，以所述n个所述光电转换元件为一组的光电转换元件组连续排列，还包括波导，其至少减少穿过所述开口掩模的入射光的扩散，并将穿过所述开口掩模的入射光引导至所述光电转换元件。
在本发明第四形态中提供一种摄像元件，包括：光电转换元件，其二维地排列，将入射光光电转换成电信号；开口掩模，其与各个所述光电转换元件一一对应；彩色滤光片，其与各个所述光电转换元件一一对应地设置；对与相邻的n个(n为3以上的整数)所述光电转换元件中的至少三个对应地设置的各个所述开口掩模的开口进行定位，以使该开口包含在由使互不同的波段透过的至少两种所述彩色滤光片构成的彩色滤光片图案的一图案内，并使来自于所述入射光的截面区域内的互不相同的部分区域的光束分别穿过，以所述n个所述光电转换元件为一组的光电转换元件组连续排列，还包括波导，其至少减少穿过所述开口掩模的入射光的扩散，并将穿过所述开口掩模的入射光引导至所述光电转换元件。
在本发明第五形态中提供一种摄像装置，包括：上述摄像元件及将光引导至所述摄像元件的光学部件。
另外，上述发明内容并未列举出本发明的全部必要特征。另外，所述特征组的子组合也能构成发明。
附图说明
图1为本发明实施方式所述数码相机的结构说明图。
图2为表示本发明实施方式所述摄像元件的截面示意图。
图3为将摄像元件的一部分放大示出后的状态的示意图。
图4为说明视差像素与被摄物体的关系的概念图。
图5为说明生成视差图像的处理的概念图。
图6为表示重复图案的另一例的图。
图7为说明非相位偏移排列的视差像素与被摄物体的关系的概念图。
图8为说明相位偏移排列中的视差像素与被摄物体的关系的概念图。
图9为重复图案的说明图。
图10为二维的重复图案的例示图。
图11为开口部的另一形状的说明图。
图12为拜耳阵列的说明图。
图13为关于对拜耳阵列分配视差像素，有两种视差像素时的变例的说明图。
图14为表示变例的一例的图。
图15为表示另一变例的一例的图。
图16为表示又一变例的一例的图。
图17为表示再一变例的一例的图。
图18为关于对拜耳阵列分配视差像素，有三种视差像素时的变例的说明图。
图19为表示变例的一例的图。
图20为关于对拜耳阵列分配视差像素，有四种以上视差像素时的变例的说明图。
图21为另一彩色滤光片阵列的说明图。
图22为关于对另一彩色滤光片阵列分配视差像素，有两种视差像素时的变例的说明图。
图23为关于对另一彩色滤光片阵列分配视差像素，有三种视差像素时的变例的说明图。
图24为表示本发明实施方式所述另一摄像元件的截面示意图。
图25为另一彩色滤光片阵列的说明图。
图26为表示W像素与视差像素的阵列的一例的图。
图27为表示视差图像与2D图像的生成过程的概念图。
图28为摄像元件的纵剖视图。
图29为摄像元件的制造方法的说明图。
图30为摄像元件的制造方法的说明图。
图31为图30的槽周边的放大图。
图32为摄像元件的制造方法的说明图。
图33为摄像元件的制造方法的说明图。
图34为将波导变形后的实施方式所述摄像元件的纵剖视图。
图35为将波导变形后的实施方式所述摄像元件的纵剖视图。
图36为波导内部填充有空气的摄像元件的纵剖视图。
图37为由彩色滤光片构成波导内部的摄像元件的纵剖视图。
图38为改变了波导形状的摄像元件的纵剖视图。
图39为另一摄像元件的部分放大平面图。
具体实施方式
以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。
本实施方式所述数码相机作为一种摄像装置形态，通过对一个场景进行一次拍摄便能生成多个视点数的图像。将视点各不相同的各个图像称为视差图像。
图1为本发明实施方式所述数码相机10的结构说明图。数码相机10包括作为摄影光学系统的摄影透镜20，将沿光轴21入射的被摄物体光束引导至摄像元件100。摄影透镜20也可以是相对于数码相机10可装卸的交换式透镜。数码相机10包括：摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、存储卡IF(InterFace：接口)207、操作部208、显示部209及LCD驱动电路210。
另外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为z轴正方向，将在与z轴垂直的平面中朝向纸面近前侧的方向定为x轴正方向，将纸面的上方向定为y轴正方向。在之后的几个图中，以图1的座标轴为基准显示座标轴，以便能理解各个图的朝向。
摄影透镜20由多个光学透镜组构成，使来自于场景的被摄物体光束在其焦点面附近成像。另外，在图1中，为了便于说明摄影透镜20，以设置在光瞳附近的一个假想透镜为代表进行表示。摄像元件100设置于摄影透镜20的焦点面附近。摄像元件100为二维地排列有多个光电转换元件的例如CCD(电荷藕合器件，Charge Coupled Device)、CMOS(互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)传感器等图形传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被摄物体像转换成图像信号并输出给A/D转换电路202。
A/D转换电路202将由摄像元件100输出的图像信号转换成数字图像信号并输出给存储器203。作为控制部201的一部分的图像处理部205将存储器203作为工作空间来进行各种图像处理，生成图像数据。例如当生成JPEG(联合图像专家组，Joint PhotographicExperts Group)文件格式的图像数据时，在施加白平衡处理、灰度处理等处理后执行压缩处理。生成的图像数据由LCD驱动电路210转换成显示信号，由显示部209进行显示。并且记录在装设于存储卡IF207上的存储卡220中。
操作部208收到用户的操作后向控制部201输出操作信号，从而开始一连串的摄影过程。摄影过程所附带的AF(自动调焦，Auto Focus)、AE(自动曝光，Auto Exposure)等各种动作按照运算部206的运算结果而被执行。
数码相机10除了通常的摄影模式以外还具有视差图像摄影模式。用户能够通过在观看显示有菜单画面的显示部的同时对操作部208进行操作，来选择这些模式中任意一种。
以下，对摄像元件100的结构进行详细说明。图2为表示本发明实施方式所述摄像元件100的截面示意图。
从被摄物体侧开始依次排列有微透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108，从而构成摄像元件100。光电转换元件108由将入射的光转换成电信号的光电二极管构成。多个光电转换元件108在基板109的表面上二维排列。
由光电转换元件108转换的图像信号以及控制光电转换元件108的控制信号等通过布线层105上设置的布线106进行收发。而且，具有与各个光电转换元件108一一对应地设置的开口部104的开口掩模103与布线层相接触。如后所述，使开口部104相对于各个相应的光电转换元件108偏移，并严格地确定了相对位置。通过具有该开口部104的开口掩模103的作用，在光电转换元件108所接收的被摄物体光束上产生视差，详细内容将在后续内容进行说明。
另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，还可以看做是设置有具有如下开口部104的开口掩模103，所述开口部104并不限制向相应的光电转换元件108入射的被摄物体光束，也就是所述开口部104使全部有效光束均穿过。虽然没有产生视差，但由于通过布线106所形成的开口107实质上规定了入射的被摄物体光束，因此也可以将布线106看做是使不产生视差的全部有效光束穿过的开口掩模。开口掩模103可以分别对应于各个光电转换元件108独立排列，也可以与彩色滤光片102的制造工序相同地对应于多个光电转换元件108统一形成。
彩色滤光片102设置于开口掩模103上。彩色滤光片102是分别与各个光电转换元件108一一对应地设置、被着色成相对于各个光电转换元件108使特定波段透过的滤光片。为了输出彩色图像，只要排列至少两种彼此不同的彩色滤光片即可，但为了获得更高画质的彩色图像，最好排列三种以上的彩色滤光片。例如，可以网格状地排列有使红色波段透过的红色滤光片、使绿色波段透过的绿色滤光片、以及使蓝色波段透过的蓝色滤光片。有关具体的排列将在以后进行说明。
微透镜101设置于彩色滤光片102上。微透镜101是用于将入射的被摄物体光束更多地引导至光电转换元件108的聚光透镜。微透镜101分别与光电转换元件108一一对应地设置。微透镜101优选的是，考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被摄物体光束被引导至光电转换元件108。进一步地，可以与开口掩模103的开口部104的位置共同地调整设置位置，以使后述特定的被摄物体光束更多地入射。
如此，将与各个光电转换元件108一一对应地设置的开口掩模103、彩色滤光片102及微透镜101的一个单位称为像素。具体地，将设置有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如，当摄像元件100的有效像素区域为24mm×16mm左右时，像素数达到1200万个左右。
另外，如果图形传感器的聚光效率、光电转换效率良好，则可以不设置微透镜101。而且，在仅需输出黑白图像信号的情形中，不设置彩色滤光片102。另外，在背面照射型图形传感器的情形中，布线层105设置于光电转换元件108的相反侧。另外，只要使开口掩模103的开口部104具有彩色成分，就可以将彩色滤光片102与开口掩模103一体形成。
以下说明开口掩模103的开口部104与产生视差的关系。图3为将摄像元件100的一部分放大示出后的状态的示意图。此处，为了简化说明，暂不考虑有关彩色滤光片102的配色，后续内容再进行说明。当摄像元件100不具有彩色滤光片102时，则作为单色图形传感器生成单色的视差图像。另外，在未提及彩色滤光片102的配色的以下说明中，可以认为是仅汇集了具有同色的彩色滤光片102的视差像素的图形传感器。因此，以下所说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。
如图3所示，开口掩模103的开口部104相对于各个像素相对偏移地设置。而且，在相邻像素的彼此之间，各个开口部104也设置于彼此错位的位置。
在图示的例子中，关于开口部104相对于各个像素的位置，预先准备有沿左右方向彼此偏移的六种开口掩模103。而且，在整个摄像元件100中二维地且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从纸面左侧往右侧逐渐偏移的开口掩模103的六个视差像素为一组。也就是说，摄像元件100是由包含一组光电转换元件组的重复图案110周期性且连续地铺满而成。然而，也可以是，重复图案110在二维方向中的至少一个方向上连续铺满，而在另一个方向上非连续。另外，还可以是，摄像元件100在能够实质性地生成视差图像的范围内具有省略了部分重复图案110的部分。能够实质性地生成视差图像的范围例如为能够进行插值以避免产生像的不协调的范围。另外，重复图案110省略的部分即便是不会带来视觉影响的周边区域，也能实质性地生成视差图像。
图4为说明视差像素与被摄物体的关系的概念图。具体地，图4(a)表示在摄像元件100的与摄影光轴21相垂直的中心处排列的重复图案110t的光电转换元件组，图4(b)示意性地表示在周边部分排列的重复图案110u的光电转换元件组。图4(a)、(b)中的被摄物体30位于相对于摄影透镜20的聚焦位置。图4(c)与图4(a)相对应，示意性地表示当捕捉位于相对于摄影透镜20的非聚焦位置的被摄物体31时的关系。
首先说明由摄影透镜20捕捉到处于聚焦状态下的被摄物体30时的、视差像素与被摄物体的关系。被摄物体光束穿过摄影透镜20的光瞳被引导至摄像元件100，但对被摄物体光束透过的整个截面区域规定了六个部分区域Pa～Pf。而且，从放大图中也可以看出，例如对构成重复图案110t、110u的光电转换元件组的纸面左端的像素的、开口掩模103的开口部104f的位置进行设定，以使只有从部分区域Pf射出的被摄物体光束才能到达光电转换元件108。同样地，对于从此往右的像素，与部分区域Pe相对应地设定开口部104e的位置、与部分区域Pd相对应地设定开口部104d的位置、与部分区域Pc相对应地设定开口部104c的位置、与部分区域Pb相对应地设定开口部104b的位置、与部分区域Pa相对应地设定开口部104a的位置。
换言之，也可以说是例如根据由部分区域Pf与左端像素的相对位置关系定义的、从部分区域Pf射出的被摄物体光束的主光线Rf的倾斜来设定开口部104f的位置。然后，当光电转换元件108经开口部104f接收到来自于位于聚焦位置的被摄物体30的被摄物体光束时，如虚线所示，该被摄物体光束在光电转换元件108上成像。同样地，也可以说是对于从此往右的像素，根据主光线Re的倾斜设定开口部104e的位置、根据主光线Rd的倾斜设定开口部104d的位置、根据主光线Rc的倾斜设定开口部104c的位置、根据主光线Rb的倾斜设定开口部104b的位置、根据主光线Ra的倾斜设定开口部104a的位置。
如图4(a)所示，从位于聚焦位置的被摄物体30的、与光轴21相交叉的被摄物体30上的微小区域Ot放射的光束穿过摄影透镜20的光瞳到达构成重复图案110t的光电转换元件组的各个像素。即，构成重复图案110t的光电转换元件组的各个像素分别透过六个部分区域Pa～Pf接收到从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各个像素的位置偏移相对应程度的扩散，但也可以实质上近似于大致同一物点。同样地，如图4(b)所示，从位于聚焦位置的被摄物体30的、离开光轴21的被摄物体30上的微小区域Ou放射的光束穿过摄影透镜20的光瞳到达构成重复图案110u的光电转换元件组的各个像素。即，构成重复图案110u的光电转换元件组的各个像素分别透过六个部分区域Pa～Pf接收到从一个微小区域Ou放射的光束。微小区域Ou也与微小区域Ot相同，具有与构成重复图案110u的光电转换元件组的各个像素的位置偏移相对应程度的扩散，但也可以实质上近似于大致同一物点。
也就是说，只要被摄物体30位于聚焦位置，光电转换元件组所捕捉到的微小区域就会根据摄像元件100上的重复图案110的位置而不同，且构成光电转换元件组的各像素透过彼此不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，相应像素彼此之间接收来自于同一部分区域的被摄物体光束。也就是说，在图中，例如重复图案110t、110u的各个左端像素均接收来自于同一部分区域Pf的被摄物体光束。
在与摄影光轴21相垂直的中心处排列的重复图案110t中，左端像素接收来自于部分区域Pf的被摄物体光束的开口部104f的位置与在周边部分排列的重复图案110u中，左端像素接收来自于部分区域Pf的被摄物体光束的开口部104f的位置要严格地不同。然而，从功能的角度来看，在用于接收来自于部分区域Pf的被摄物体光束的开口掩模这一点上，可以将他们作为同一种类的开口掩模处理。因此，在图4的例子中，可以说在摄像元件100上排列的各个视差像素具有六种开口掩模的一种。
以下说明由摄影透镜20捕捉处于非聚焦状态的被摄物体31时的、视差像素与被摄物体的关系。在此情形中，来自于位于非聚焦位置的被摄物体31的被摄物体光束也透过摄影透镜20的光瞳的六个部分区域Pa～Pf到达摄像元件100。然而，来自于处于非聚焦位置的被摄物体31的被摄物体光束并不在光电转换元件108上成像，而是在其他位置成像。例如，如图4(c)所示，当被摄物体31位于比被摄物体30更加远离摄像元件100的位置时，被摄物体光束与光电转换元件108相比在被摄物体31侧成像。相反，当被摄物体31位于比被摄物体30更接近摄像元件100的位置时，被摄物体光束与光电转换元件108相比在被摄物体31的相反侧成像。
因此，在位于非聚焦位置的被摄物体31中，从微小区域Ot’放射的被摄物体光束透过六个部分区域Pa～Pf中的任意一个，从而到达不同组的重复图案110中的相应像素。例如，如图4(c)的放大图所示，透过部分区域Pd的被摄物体光束作为主光线Rd’入射到重复图案110t’中包含的具有开口部104d的光电转换元件108。而且，即使是从微小区域Ot’放射的被摄物体光束，透过其他部分区域的被摄物体光束也不会入射到重复图案110t’中包含的光电转换元件108，而是入射到另一重复图案中具有相应开口部的光电转换元件108。换言之，到达构成重复图案110t’的各光电转换元件108的被摄物体光束是从被摄物体31的互不相同的微小区域放射的被摄物体光束。也就是说，以Rd’为主光线的被摄物体光束入射到与开口部104d对应的108，以Ra+、Rb+、Rc+、Re+、Rf+为主光线的被摄物体光束入射到与其他开口部对应的光电转换元件108，但这些被摄物体光束都是从被摄物体31的互不相同的微小区域放射的被摄物体光束。这种关系在图4(b)中排列在周边部分的重复图案110u中也是一样的。
这样一来，当把摄像元件100作为一个整体时，例如，由与开口部104a对应的光电转换元件108捕捉到的被摄物体像A和由与开口部104d对应的光电转换元件108捕捉到的被摄物体像D，如果是针对位于聚焦位置的被摄物体的像，就不会彼此错位，而如果是针对位于非聚焦位置的被摄物体的像，则会产生错位。而且，该错位的方向和量根据位于非聚焦位置的被摄物体相对于聚焦位置朝哪一侧以何种程度错位，另外根据部分区域Pa与部分区域Pd的距离来确定。也就是说，被摄物体像A与被摄物体像D彼此成为视差像。该关系对于其他开口部也是相同的，因此对应于开口部104a～104f形成六个视差像。
因此，在如此构成的各个重复图案110中，收集彼此对应的像素的输出便得到视差图像。也就是说，接收到从六个部分区域Pa～Pf中的特定部分区域射出的被摄物体光束的像素所进行的输出形成了视差图像。
图5为说明生成视差图像的处理的概念图。图中从左列开始依次表示：对开口部104f对应的视差像素的输出进行收集而生成的视差图像数据Im_f的生成情况、由开口部104e的输出形成的视差图像数据Im_e的生成情况、由开口部104d的输出形成的视差图像数据Im_d的生成情况、由开口部104c的输出形成的视差图像数据Im_c的生成情况、由开口部104b的输出形成的视差图像数据Im_b的生成情况、由开口部104a的输出形成的视差图像数据Im_a的生成情况。首先，对开口部104f的输出形成的视差图像数据Im_f的生成情况进行说明。
由以六个视差像素为一组的光电转换元件组构成的重复图案110排列在一横列上。因此，具有开口部104f的视差像素在摄像元件100上沿左右方向相隔6个像素，且沿上下方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被摄物体光束。因此，对这些视差像素的输出进行汇集排列后便得到视差图像。
然而，由于本实施方式中的摄像元件100的各像素为正方像素，仅进行单纯的汇集会造成横方向的像素数缩减到1/6，从而生成纵长形的图像数据。因此，通过实施插值处理在横方向变为六倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。然而，由于插值处理前的视差图像数据原本是在横方向上缩减到1/6的图像，因此，横方向上的分辨率比纵方向上的分辨率低。也就是说，所生成的视差图像数据的数量与分辨率的提高呈相反关系。
同样地得到视差图像数据Im_e～视差图像数据Im_a。即，数码相机10能够生成在横方向上具有视差的6个视点的视差图像。
虽然在上述例子中说明了将一横列作为重复图案110进行周期性排列的例子，但重复图案110并不限于此。图6为表示重复图案110的另一例子的图。
图6(a)为将纵向的六个像素作为重复图案110的例子。然而，对各个开口部104进行定位，以便从纸面上端的视差像素往下、从纸面左侧往右侧逐渐偏移。根据这样排列而成的重复图案110也能够生成在横方向上赋予视差的六个视点的视差图像。此时，与图3的重复图案110相比，可以称为是牺牲纵方向上的分辨率而相应地维持横方向上的分辨率的重复图案。
图6(b)为将斜向相邻的六个像素作为重复图案110的例子。将各个开口部104定位为从纸面左上端的视差像素往右下、从纸面左侧往右侧逐渐偏移。根据这样排列而成的重复图案110也能够生成在横方向上赋予视差的六个视点的视差图像。此时，与图3的重复图案110相比，可以称为是在将纵方向上的分辨率及横方向上的分辨率维持一定程度的同时，增加了视差图像的数量的重复图案。
将图3的重复图案110及图6(a)和图6(b)的重复图案110分别进行比较，在均生成六个视点的视差图像时，可以认为区别在于是否相对于根据整个非视差图像输出一幅图像时的分辨率，牺牲了纵方向和横方向中的某一方向上的分辨率。当为图3的重复图案110时，是使横方向上的分辨率为1/6的结构。当为图6(a)的重复图案110时，是使纵方向上的分辨率为1/6的结构。另外，当为图6(b)的重复图案110时，是使纵方向为1/3、使横方向为1/2的结构。在任一情形中均构成为，在一个图案内，对应于各个像素逐一设置开口部104a～104f，从各个所对应的部分区域Pa～Pf的任意一个接收被摄物体光束。因此，使任意重复图案110都能有同等的视差量。
根据上述重复图案110，虽然分辨率与视差数处于权衡(trade-off)关系，但以下说明不减少视差的数量但也能提高分辨率的相位偏移排列的手法。首先对作为前提结构的、非相位偏移排列的结构进行说明。
图7为说明非相位偏移排列的视差像素与被摄物体的关系的概念图。根据图7所示的重复图案110，各个视差像素中的开口部104a～104i分别仅使来自于摄影透镜20的光瞳中的部分区域Pa～Pi的被摄物体光束穿过，从而使摄像元件100输出九个视点的视差图像。在此情形中，由于九个视差像素接收到从同一微小区域放射的光束，因此，与九个像素分别接收到从其他微小区域放射的光束相比，成为1/9的分辨率。例如，在位于聚焦位置的被摄物体30中，从微小区域Os3放射的被摄物体光束透过九个部分区域Pa～Pi从而被拆分，在像侧区域Is3成像。像侧区域Is3为对应于具有开口部104a～104i的一个重复图案110的区域。
同样地，从微小区域Os2放射的被摄物体光束透过九个部分区域Pa～Pi在像侧区域Is2成像。另外，从微小区域Os1放射的被摄物体光束透过九个部分区域Pa～Pi在像侧区域Is1成像。像侧区域Is2、Is3也是分别对应于具有开口部104a～104i的一个重复图案110的区域。也就是说，微小区域与重复图案110是一一对应的结构。因此，设置在视差像素上的开口部104a～104i在一个重复图案110内顺序排列。在图中，在重复图案110内，在右端视差像素上设置有开口部104a，朝左依次为b、c…，在左端视差像素上设置有开口部104i。该排列在形成摄像元件100的任意重复图案110中也都是相同的。
与此相对，相位偏移排列对视差像素进行排列并形成重复图案110，以便接收从一个微小区域放射的被摄物体光束中的、透过被选择的几个部分区域的光束而不是透过多个部分区域整体的光束。图8为说明相位偏移排列中的视差像素与被摄物体的关系的概念图。图中所示例子的相位偏移排列构成为，接收从一个微小区域放射的被摄物体光束中的、透过被选择的几个部分区域的光束，并使针对微小区域所选择的部分区域相对于相邻的微小区域发生变化。也有可能得到使所选择的部分区域固定的图案，但此处依照图中的例子进行说明。
在图7所示的排列中，由应该接收透过九个部分区域Pa～Pi的全部光的九个视差像素接收对从一个微小区域放射的被摄物体光束进行接收。另一方面，在图8的相位偏移排列中，由应该接收透过九个部分区域Pa～Pi中的三个部分区域的光的三个视差像素对从一个微小区域放射的被摄物体光束进行接收。这样一来，通过选择部分区域的一部分，增加了微小区域的数量并提高了分辨率。根据图中的例子，通过选择九个中的三个，使分辨率提高三倍。
关于具体的排列，在构成图8所示的重复图案110的各视差像素中，以不相邻的三个视差像素为一组，相当于重新交替排列的情形。更具体地，以具有开口部104a、d、g的视差像素为一组，以具有开口部104b、e、h的视差像素为一组，以具有开口部104c、f、i的视差像素为一组，将组与组的相对关系进行重组以使他们交替。也就是说，使相位偏移来排列各个组。根据图的例子，使相位偏移来进行排列的结果是，在新形成的重复图案110内，在右端视差像素上设置有开口部104g，朝左依次连续为e、c、a、h、f、d、b，在左端视差像素上设置有开口部104i。该排列在形成摄像元件100的任意重复图案110中也是同样的。
这种新形成的重复图案110中包含的各个视差像素并不像如图7所示的重复图案110那样只接收来自于位于聚焦位置的被摄物体30中的一个微小区域放射的被摄物体光束，而是接收来自于三个微小区域分别放射的被摄物体光束中的任意一束。例如，在图8所示像侧区域Ip9附近的重复图案110中所包含的各视差像素如放大图所示，由具有开口部104c、f、i的三个视差像素接收从微小区域Op9放射的被摄物体光束。然后，该重复图案110中包含的具有开口部104g、a、d的视差像素分别接收来自于另一微小区域的被摄物体光束，具有开口部104e、h、b的视差像素分别接收来自于又一微小区域的被摄物体光束。
图9为重复图案的说明图。图9(a)为与图7对应的九个像素的重复图案110，而不是由相位偏移排列而成的图案。此时，构成重复图案110的视差像素接收从微小区域Os1放射的全部光束。
图9(b)为与图8对应的九个像素的重复图案110，并且是由相位偏移排列而成的图案。此时，构成重复图案110的九个视差像素可以被定义为包括从右到左依次具有开口部104g、e、c、a、h、f、d、b、i的开口掩模103的光电转换元件组。另外，通过相位偏移排列而成的图案，由于各个视差像素并不接收来自于同一微小区域的被摄物体光束，因此，如果将相邻的九个像素作为一组，划分并设定成任意的像素段也是可以的。
在上述例子中说明了通过相位偏移排列而从生成九个视点的视差图像的重复图案110制成得到3倍分辨率的重复图案110的例子。相位偏移排列也存在其他各种各样的变例。通过将视差像素的排列以几何学进行组合，既考虑了视差图像数量及分辨率等的平衡，又能够设定成多种多样的重复图案110。
另外，根据上述例子，如图8所示，由基于相位偏移排列而成的重复图案110所造成的微小区域的间隔为等间隔。换言之，只要重复图案110相邻且连续，则可以说是各个视差像素所捕捉到的微小区域在某个被摄物体平面内至少沿一维方向等间隔。如果微小区域的间隔为等间隔，由于在所得到的视差图像上不会产生像的失真，因此能够得到无不适感的视差图像。
在上述例子中，以具有开口部104a、d、g的视差像素为一组、以具有开口部104b、e、h的视差像素为一组、以具有开口部104c、f、i的视差像素为一组，将如图9(a)所定义的重复图案110替换成图9(b)所示的重复图案110。此时，确定视差像素的组，以使位于聚焦位置的被摄物体30中的微小区域等间隔。通过图8所示例子说明了在被摄物体30中以x方向为一维方向进行等间隔的情形，但如后述，当要在y方向上也使应当赋予视差的开口部104变位时，可以在加上y方向所成的二维方向上确定视差像素的组，以使微小区域等间隔排列。也就是说，所选择的各个视差像素的组当被交替地进行相位偏移排列时，各个视差像素所对应的微小区域可以在x方向、y方向的至少一个方向上进行重组，以实现等间隔排列。当采用在二维方向上同时进行相位偏移排列时，由于分辨率不依赖于被摄物体区域而保持一定，因此优选的是，在位于聚焦位置的被摄物体30中重组微小区域，以实现等间隔排列。或者，考虑作为观察者的人类的视觉特性，优选的是，在位于聚焦位置的被摄物体30中至少在横方向上重组微小区域，以实现等间隔排列。另外，由于能够通过图像处理等消除像的失真，因此可以优先满足其他限制条件等，而采用微小区域的间隔不是等间隔的重复图案110。
通过上述例子主要说明了生成沿左右方向赋予视差的视差图像的情形，但当然也可以生成沿上下方向赋予视差的视差图像，或者生成沿上下左右的二维方向赋予视差的视差图像。图10为二维的重复图案110的例示图。
根据图10所示例子，以纵向六个像素横向六个像素共36个像素作为一组的光电转换元件组来形成重复图案110。预先准备有开口部104相对于各个像素的位置彼此沿上下左右方向偏移的36种开口掩模103。具体地，各开口部104在从重复图案110的上端像素到下端像素中被定位为从上侧往下侧逐渐偏移的同，在从左端像素到右端像素中被定位为从左侧往右侧逐渐偏移。
具有这种重复图案110的摄像元件100能够输出沿上下方向及左右方向均赋予视差的36个视点的视差图像。当然并不仅限于图10所示例子，也可以对重复图案110进行设定以便输出各种各样视点数的视差图像。此时，也可以将上述相位偏移排列应用于二维排列。
在以上说明中，采用矩形作为开口部104的形状。尤其是在沿横方向上赋予视差的排列中，通过使作为偏移方向的左右方向的幅度比不偏移的上下方向的幅度更大，以确保引导至光电转换元件108的光量。然而，开口部104的形状并不限定于矩形。
图11为开口部104的另一形状的说明图。在图中，以圆形作为开口部104的形状。当设为圆形时，根据与作为半球形状的微透镜101的相对关系，能够防止不希望的被摄物体光束成为杂散光而入射到光电转换元件108。
以下说明彩色滤光片102和视差图像。图12为拜耳阵列的说明图。如图所示，拜耳阵列所指的阵列是将绿色滤光片分配给左上和右下这两个像素，将红色滤光片分配给左下的一个像素，将蓝色滤光片分配给右上的一个像素。此处，将分配有绿色滤光片的左上像素作为Gb像素、将同样分配有绿色滤光片的右下像素作为Gr像素。另外，将分配有红色滤光片的像素作为R像素、将分配有蓝色滤光片的像素作为B像素。并且，将排列有Gb像素和B像素的横方向作为Gb行，将排列有R像素和Gr像素的横方向作为Gr行。并且，将排列有Gb像素和R像素的纵方向作为Gb列，将排列有B像素和Gr像素的纵方向作为Gr列。
针对于这种彩色滤光片102的排列，可以通过将视差像素和无视差像素以怎样的周期分配给哪种颜色的像素的方式来设定庞大数量的重复图案110。通过收集无视差像素的输出便可以生成与通常的摄影图像相同的无视差的摄影图像数据。因此，只要相对地增加无视差像素的比例，便能够输出分辨率较高的2D图像。此时，由于视差像素的比例相对变小，因此使得由多个视差图像构成的3D图像的画质下降。相反，如果增加视差像素的比例，虽然能提高3D图像的画质，但由于无视差像素相对减少，因此会输出分辨率较低的2D图像。
在这种权衡关系中，根据将哪个像素作为视差像素或作为无视差像素来设定具有各种特征的重复图案110。图13为关于对拜耳阵列分配视差像素，有两种视差像素时的变例的说明图。此时的视差像素假设为开口部104从中心往左侧偏心的视差L像素，以及同样地往右侧偏心的视差R像素。也就是说，从这种视差像素输出的两个视点的视差图像实现了所谓的立体视图。
针对各个重复图案的特征说明如图所示。例如，如果分配很多无视差像素，就会成为高分辨率的2D图像数据，如果针对任意的RGB像素都进行平均分配，则会成为色差较小的高画质的2D图像数据。当也利用视差像素的输出来生成2D图像数据时，参照周边像素的输出对发生了错位的被摄物体的像进行修正。因此，即使例如将全部R像素都作为视差像素，也能够生成2D图像，但其画质自然会降低。
另一方面，如果分配很多视差像素，就会成为高分辨率的3D图像数据，如果针对任意RGB像素都进行平均分配，则在成为3D图像的同时，会得到色彩再现性良好的高品质的彩色图像数据。当也利用无视差像素的输出来生成3D图像数据时，参照周围视差像素的输出从无视差的被摄物体的像生成发生了错位的被摄物体的像。因此，即使例如将全部R像素都为无视差像素，虽然也能够生成彩色的3D图像，但其品质自然很低。
以下就几个变例进行说明。图14为表示变例的一例的图。图14的变例相当于图13中的重复图案分类A-1。
在图中所示例子中，与将与拜耳阵列相同的四个像素作为重复图案110。R像素和G像素为无视差像素，在Gb像素分配视差L像素，在Gr像素分配视差R像素。此时，可以以使得在被摄物体处于聚焦位置时，同一重复图案110中包含的视差L像素与视差R像素接收到从同一微小区域放射的光束的方式设定开口部104，或者也可以以使得在被摄物体处于聚焦位置时，同一重复图案110中包含的视差L像素与视差R像素接收到从不同微小区域放射的光束的方式设定开口部104。当设定开口部104来接收从不同微小区域放射的光束时，作为相位偏移排列能够构成为，例如，在左右相邻的两个重复图案110中，分配给左侧的重复图案110的Gb像素的视差L像素与分配给右侧的重复图案110的Gr像素的视差R像素接收从同一微小区域放射的光束。
在图中所示的例子中，由于将灵敏度高的绿色像素的Gb像素和Gr像素用作视差像素，因此能够期待得到对比度较高的视差图像。另外，由于将相同的绿色像素的Gb像素和Gr像素用作视差像素，因此易于从这两个输出转换运算成无视差输出，能够与作为无视差像素的R像素和B像素的输出一起生成高画质的2D图像数据。
图15为表示另一变例的一例的图。图15的变例相当于图13中的重复图案分类B-1。
在图中所示例子中，将拜耳阵列的四个像素左右连续两组而成的八个像素作为重复图案110。在八个像素中，在左侧的Gb像素分配视差L像素，在右侧的Gb像素分配视差R像素。在这种阵列中，通过将Gr像素作为无视差像素，能够有望得到比图13所示例子更高画质的2D图像。
图16为表示又一变例的一例的图。图16的变例相当于图13中的重复图案分类C-1。
在图中所示例子中，将拜耳阵列的四个像素左右连续两组而成的八个像素作为重复图案110。在八个像素中，在左侧的Gb像素分配视差L像素，在右侧的Gb像素分配视差R像素。进一步地，在左侧的Gr像素也分配视差L像素，在右侧的Gr像素也分配视差R像素。当被摄物体位于聚焦位置时，在两个Gb像素分配的视差L像素和视差R像素接收从一个微小区域放射的光束，在两个Gr像素分配的视差L像素和视差R像素接收从与Gb像素对应的微小区域不同的一个微小区域放射的光束。因此，与图15所示例子相比，使3D图像的分辨率在纵方向上变为两倍。
图17为表示再一变例的一例的图。图17所示变例相当于图13中的重复图案分类D-1。
在图中所示例子中，将拜耳阵列的四个像素左右连续两组而成的八个像素作为重复图案110。在八个像素中，在左侧的Gb像素分配视差L像素，在右侧的Gb像素分配视差R像素。进一步地，在左侧的R像素分配视差L像素，在右侧的R像素分配视差R像素。进一步地，在左侧的B像素分配视差L像素，在右侧的B像素分配视差R像素。在两个Gr像素分配无视差像素。
当被摄物体位于聚焦位置时，分配给两个Gb像素的视差L像素和视差R像素接收从一个微小区域放射的光束。另外，在两个R像素分配的视差L像素和视差R像素接收从与Gb像素对应的微小区域不同的一个微小区域放射的光束，在两个B像素分配的视差L像素和视差R像素接收从与Gb像素及R像素对应的微小区域不同的一个微小区域放射的光束。因此，与图15所示例子相比，3D图像的分辨率在纵方向上变为三倍。而且，由于能够得到RGB的三色输出，因此作为彩色图像的3D图像具有高品质。
图18为关于对拜耳阵列分配视差像素，有三种视差像素时的变例的说明图。此时的视差像素假设为开口部104从中心往左侧偏心的视差L像素、无偏心的视差C像素及往右侧偏心的视差R像素。无偏心的视差C像素在仅仅将光瞳的中心部分作为部分区域的被摄物体光束引导至光电转换元件108的这一点来看，是输出视差图像的视差像素，与不限制对光电转换元件108入射的被摄物体光束的无视差像素不同。因此，通过这三种视差像素能输出三个视点的视差图像。
针对各个重复图案的特征说明如图所示。两个视点中的2D图像与3D图像的权衡关系与三个视点中也是一样的。
对在三个视点中的变例的一例进行说明。图19作为变例的一例，为相当于图18中的重复图案分类Bt-2的图。
在图中所示的例子中，将拜耳阵列的四个像素沿左右方向连续三组而成的12个像素作为重复图案110。在12个像素中，分别沿左右方向在三个Gb像素相应地分配视差L像素、视差C像素及视差R像素。在其他像素中全部分配无视差像素。
根据这种重复图案110，能够在使作为2D图像的分辨率、色彩品质维持在较高水平，并且还能够同时得到三个视点的视差图像。
图20为关于对拜耳阵列分配视差像素，有四种以上视差像素时的变例的一例的说明图。由此可见，即使增加了视点数，也能够形成各种各样的重复图案110。因此能够对应于规格、目的等选择相应的重复图案110。
虽然在上述例子中对采用拜耳阵列作为彩色滤光片阵列的情形进行了说明，当然采用其他彩色滤光片阵列也是无妨的。如利用图3等所说明的那样，当着眼于构成彩色滤光片阵列的某个颜色进行收集时，可以形成以多个相邻像素为一组光电转换元件组的重复图案，分配视差像素以输出视差图像。此时，构成一组光电转换元件组的各个视差像素可以具备具有朝向互不相同的部分区域的开口部104的开口掩模103。
图21为另一彩色滤光片阵列的说明图。如图所示，另一彩色滤光片阵列是将绿色滤光片分配给左上及右上这两个像素、将红色滤光片分配给左下的一个像素、将蓝色滤光片分配给右下的一个像素而成的阵列。此处，将分配有绿色滤光片的左上像素作为Gr像素、同样地将分配有绿色滤光片的右上像素作为Gb像素。另外，将分配有红色滤光片的像素作为R像素、将分配有蓝色滤光片的像素作为B像素。然后，将排列有Gr像素及Gb像素的横方向作为G行，将排列有R像素及B像素的横方向作为RB行。另外，将排列有Gr像素及R像素的纵方向作为Gr列，将排列有Gb像素及B像素的纵方向作为Gb列。
与拜耳阵列的情形相同，在这种另一彩色滤光片阵列情形中，也能够通过对视差像素和无视差像素以何种周期分配哪种颜色像素的方式来设定庞大数量的重复图案110。另外，如果相对地增加无视差像素的比例，则能够输出分辨率较高的2D图像，如果增加视差像素的比例，则能够提高3D图像的画质，这种关系也是相同的。
图22为关于对另一彩色滤光片阵列分配视差像素，有两种视差像素时的变例的说明图。对各个重复图案的特征说明如图所示。例如，如果分配很多无视差像素，则成为高分辨率的2D图像数据，如果对任意RGB像素进行平均分配，则成为色差较小的高画质的2D图像数据。当也利用视差像素的输出生成2D图像数据时，参照周边像素的输出对发生了错位的被摄物体像进行修正。因此，例如即使全部R像素均为视差像素，也能够生成2D图像，但其画质自然会降低。
另一方面，如果分配很多视差像素，则成为高分辨率的3D图像数据，如果对任意RGB像素进行平均分配，则成为作为3D图像且色彩再现性较好的高品质的彩色图像数据。当也利用无视差像素的输出生成3D图像数据时，参照周边视差像素的输出从无视差的被摄物体像生成发生了错位的被摄物体像。因此，例如即使全部R像素均为无视差像素，也能够生成彩色的3D图像，但其品质肯定要降低。
图23为关于对另一彩色滤光片阵列分配视差像素，有三种视差像素时的变例的说明图。此时的视差像素假定为开口部104从中心往左侧偏心的视差L像素、无偏心的视差C像素及往右侧偏心的视差R像素。
对各个重复图案的特征说明如图所示。在两个视点中的2D图像与3D图像的权衡关系与在三个视点中是相同的。
虽然图中进行了省略，但即使视差像素为四种以上，也能够形成各种各样的重复图案110。因此能够对应于规格、目的等选择相应的重复图案110。
图24为表示本发明实施方式所述另一摄像元件的截面示意图。在图2中示出了彩色滤光片102与开口掩模103为分体结构的摄像元件100的截面示意图，但在图24中，作为摄像元件100的变形例，示出了具有彩色滤光片部122与开口掩模部123为一体结构的屏幕滤光片121的摄像元件120的截面示意图。
将取得亮度信息的像素作为视差像素时，也就是如果将视差图像作为单色图像进行输出时，可以采用图24所示摄像元件120的结构。即，可以在微透镜101与布线层105之间设置由发挥彩色滤光片功能的彩色滤光片部122与具有开口部104的开口掩模部123一体构成的屏幕滤光片121。
例如在彩色滤光片部122着色蓝色、绿色、红色，将开口掩模部123的除开口部104以外的掩模部分着色成黑色，从而形成屏幕滤光片121。采用屏幕滤光片121的摄像元件120与摄像元件100相比，由于从微透镜101到光电转换元件108的距离较短，因此被摄物体光束的聚光效率较高。
图25为另一彩色滤光片阵列的说明图。如图所示，另一彩色滤光片阵列是在图12所示的拜耳阵列的Gr像素分配绿色滤光片从而作为G像素进行保持，另一方面，在Gb像素不分配彩色滤光片从而变为W像素的阵列。另外，如上所述，也可以对W像素排列未施加着色的透明滤光片，以使可见光的几乎整个波段均透过。
如果采用这种包含W像素的彩色滤光片阵列，虽然摄像元件输出的色彩信息的精度会略微下降，但W像素所接收到的光量比设置了彩色滤光片的情形更多，因此能够得到高精度的亮度信息。对W像素的输出进行汇集也能够形成单色图像。
当采用包含W像素的彩色滤光片阵列时，视差像素与无视差像素的重复图案110存在进一步的变例。例如，即使是在较暗的环境下拍摄到的图像，与从彩色像素输出的图像相比，从W像素输出的图像使被摄物体像的对比度更高。因此，如果向W像素分配视差像素，则在多个视差图像之间进行匹配处理时，能够期待得到高精度的运算结果。匹配处理作为取得写入到图像数据中的被摄物体像的距离信息的处理的一环而被执行。因此，在对2D图像的分辨率及视差图像画质的影响的基础上，进一步考虑对所提取的其他信息带来的利弊，来设定视差像素与无视差像素的重复图案110。
图26为表示当采用图25所示另一彩色滤光片阵列时的、W像素与视差像素的阵列的一例的图。图26的变例由于与拜耳阵列中的图15所示的重复图案分类B-1相类似，因此此处记为B’-1。在图中所示例子中，将另一彩色滤光片阵列的四个像素沿左右连续两组而成的八个像素作为重复图案110。在八个像素中，在左侧的W像素分配视差L像素，在右侧的W像素分配视差R像素。在这种阵列中，摄像元件100输出视差图像作为单色图像，并输出2D图像作为彩色图像。
此时，摄像元件100包括：将入射光光电转换为电信号的、二维排列的光电转换元件108、分别与光电转换元件108的至少一部分一一对应地设置的开口掩模103、分别与光电转换元件108的至少一部分一一对应地设置的彩色滤光片102，对与相邻的n个(n为4以上的整数)光电转换元件108中的、至少两个对应设置的各个开口掩模103的开口部104进行定位，以使该开口部104不包含在由使互不相同波段透过的至少两种彩色滤光片102构成的彩色滤光片图案的图案内，并且来自于入射光的截面区域内的互不相同部分区域的光束分别穿过，以n个光电转换元件108为一组的光电转换元件组可以周期性地连续排列。
此处，对生成作为单色图像的视差图像，以及生成作为彩色图像的2D图像进行说明。
图27为表示视差图像与2D图像的生成过程的概念图。如图所示，视差L像素的输出在保持摄像元件100上的相对位置关系的同时进行汇集，从而生成L图像数据。由于一个重复图案110中包含一个视差L像素，因此，可以认为形成L图像数据的各个视差L像素分别从互不相同的重复图案110被进行汇集。即，由于被收集的各个视差L像素的输出是对从被摄物体的互不相同的微小区域放射的光进行了光电转换的结果，因此，L图像数据成为了从特定视点(L视点)捕捉到的被摄物体的一个视差图像数据。而且，由于视差L像素被分配给了W像素，因此，L图像数据不具有色彩信息，从而生成为单色图像。
同样地，视差R像素的输出在保持摄像元件100上的相对位置关系的同时被汇集从而生成R图像数据。由于被汇集的各个视差R像素的输出是对从被摄物体的互不相同微小区域放射的光进行了光电转换的结果，因此，R图像数据成为从特定视点(R视点)捕捉到的被摄物体的一个视差图像数据。而且，由于视差R像素被分配给了W像素，因此，R图像数据不具有色彩信息，从而被生成为单色图像。
当被摄物体位于聚焦位置时，在一个重复图案110中，L像素与R像素接收到从被摄物体的同一微小区域放射的光束。另外，当被摄物体位于非聚焦位置时，在一个重复图案110中，L像素与R像素接收到被摄物体从彼此发生了错位的微小区域放射的光束。该错位的方向和量根据被摄物体位置相对于聚焦位置的相对关系以及光瞳的部分区域的关系来确定。因此，在各个L图像数据和R图像数据中，如果视差L像素和视差R像素在保持摄像元件100上的相对位置关系的同时被汇集，则会分别形成视差图像。
另外，无视差像素的输出在保持摄像元件100上的相对位置关系的同时被汇集，从而生成2D图像数据。此时，由于W像素为视差像素，因此，相对于仅仅由无视差像素构成的拜耳阵列的输出，缺少了相当于Gb像素的输出的输出。此时，例如作为所缺少的输出值代入G像素的输出值。也就是说，由G像素的输出进行插值处理。这样一来，只要实施插值处理，就能够采用针对拜耳阵列输出的图像处理以生成2D图像数据。
另外，以上的图像处理由图像处理部205执行。图像处理部205通过控制部201接收从摄像元件100输出的图像信号，如上所述基于各个像素的每个输出进行分配，从而生成L图像数据、R图像数据及2D图像数据。
在以上的实施方式中说明了摄像元件100由包含一组光电转换元件组的重复图案110周期性且连续地铺满而构成。然而，只要具有彩色滤光片的视差像素分别捕捉被摄物体的离散微小区域以输出视差图像即可，因此，也可以例如在周期性的重复图案110之间使无视差像素相连续。也就是说，包含视差像素的重复图案110即使不连续，只要具有周期性，也能够输出视差图像。另外，在本实施方式中，虽然对微透镜101与各个光电转换元件108一一对应地设置的情形进行了说明，但相对于多个光电转换元件108设置一个微透镜101也是可以的。此时，既可以相对于包含一组光电转换元件组的重复图案110设置一个微透镜101，也可以与重复图案110不相关地设置微透镜。
对改变了摄像元件的结构的另一实施方式进行说明。图28为摄像元件的纵剖视图。如图28所示，摄像元件16包括：基板40、多个光电转换元件42、绝缘层44、布线层46、布线层48、开口掩模50a～50f、波导56a～56f、多个彩色滤光片62、微透镜64。另外，布线层46为第一金属层的一例。布线层48为第二金属层的一例。开口掩模50a～50f为第三金属层的一例。在图28所示例子中示出了六种开口掩模50a～50f及与之对应的6种波导56a～56f。
基板40由硅、GaAs等半导体材料或蓝宝石等绝缘材料构成。
光电转换元件42输出与所接收到的光相对应的电信号。光电转换元件42形成于基板40的上面部。光电转换元件42可以适用光电二极管等。光电转换元件42在X方向及Y方向上隔开一定的间隔地呈二维状排列。
绝缘层44将光电转换元件42、布线层46和布线层48彼此绝缘。绝缘层44被形成为覆盖基板40及光电转换元件42。绝缘层44由氧化硅、氮化硅等绝缘材料构成。
布线层46及布线层48埋设于绝缘层44的内部。布线层48空出一定的间隔地层叠于布线层46的上方。布线层46及布线层48由金属等导电性材料构成。布线层46及布线层48对从光电转换元件42输出的电信号进行传输。
开口掩模50a～50f空出一定的间隔地层叠于布线层46的上方。开口掩模50a～50f设置于绝缘层44上。据此，布线层46、布线层48及开口掩模50a～50f从光电转换元件42侧经由绝缘层44依次进行层叠。开口掩模50a～50f由金属等能够对可见光进行遮光的材料构成。开口掩模50a～50f与各个光电转换元件42一一对应地设置。在开口掩模50a～50f上分别形成有开口66a～66f。关于开口66a～66f的位置等将在后续内容进行说明。
波导56a～56f形成于绝缘层44的内部。波导56a～56f的入射侧端部分别从开口掩模50a～50f延伸。波导56a～56f的另一端延伸至光电转换元件42。据此，波导56a～56f分别将开口66a～66f与光电转换元件42相连接。关于波导56a～56f的结构及功能将在后续内容进行说明。
彩色滤光片62例如由甲基丙烯酸酯等材料构成。彩色滤光片62形成于开口掩模50a～50f上以及从开口66a～66f露出的绝缘层44上。彩色滤光片62与各个光电转换元件42一一对应地设置。彩色滤光片62被着色成相对于各光电转换元件42使特定波段的光透过。如果要拍摄彩色图像，则需要排列至少两种互不相同的彩色滤光片62。如果要进一步拍摄高画质的彩色图像，则需要排列三种以上的彩色滤光片62。彩色滤光片62的组合的一例为使红色波段透过的红色滤光片、使绿色波段透过的绿色滤光片、使蓝色波段透过的蓝色滤光片的组合。将这些彩色滤光片62的组合进行周期性排列以形成一个彩色滤光片图案。另外，当输出黑白图像信号时，也可以省略彩色滤光片62。
微透镜64形成于彩色滤光片62上。微透镜64是用于使入射的被摄物体光束更多地引导至电转换元件42的聚光透镜。微透镜64与多个光电转换元件42中的每一个一一对应地设置。优选的是，考虑摄影透镜20的光瞳中心与光电转换元件42的相对位置关系来偏移摄影透镜20的光轴21，以便将更多的被摄物体光束引导至光电转换元件42。另外，如果摄像元件16的聚光效率、光电转换效率较佳，则也可以省略微透镜64。
将与各个光电转换元件42一一对应地设置的开口掩模50a～50f、波导56a～56f、彩色滤光片62、微透镜64的一个单位称为像素。具体地，将包含形成有产生视差的开口66a～66f的开口掩模50a～50f的像素称为视差像素，将包含形成有不产生视差的开口的开口掩模的像素称为无视差像素。例如，当摄像元件16的有效像素区域为24mm×16mm时，像素数达到1200万个左右。
通过该摄像元件16，当被摄物体光束沿摄影透镜20的光轴21入射时，由微透镜64进行聚光后入射到彩色滤光片62。通过彩色滤光片62仅使特定波段的光选择性地透过。之后，从特定方向入射的光穿过开口掩模50a～50f的开口66a～66f。光被波导56a～56f的外周壁部74a～74f反射，并同时作为光瞳拆分光入射到光电转换元件42，从而被转换为电信号。
图29、图30、图31、图32、图33为摄像元件的制造方法的说明图。另外，图31为图30所示槽周边的放大图。如图29所示，在基板40上形成光电转换元件42。然后，通过旋涂法等在基板40及光电转换元件42的整个上表面上形成绝缘层44a直到布线层46的下层。在绝缘层44a的上表面形成通过剥离法等而形成图案的布线层46。通过旋涂法等在布线层46及绝缘层44a的整个上表面形成绝缘层44b。在绝缘层44b的上表面形成通过剥离法等而形成图案的布线层48。然后，通过旋涂法等在布线层48及绝缘层44b的整个上表面形成绝缘层44c。另外，绝缘层44由绝缘层44a、44b、44c构成。
然后，如图30所示，通过干式刻蚀等各向异性刻蚀去除与波导56a～56f的外周壁部74a～74f相对应的区域的绝缘层44从而形成槽80。此处，在波导56a等的半径方向上，槽80比外周壁部74a等更厚。形成槽80以后，如图31所示，在去除了绝缘层44而成的槽80中埋设绝缘材料。由此，在所埋设的绝缘材料的内部保留有空气，如图30所示，形成填充有空气的外周壁部74a～74f。
然后，如图32所示，在绝缘层44上形成通过剥离法等而形成图案的多个开口掩模50a～50f。各个开口掩模50a～50f的开口66a～66f与波导56a～56f的上端的位置及大小相配合地形成。
如图33所示，彩色滤光片62形成于开口掩模50a～50f的上表面。另外，在开口掩模50a～50f的上表面涂布材料后，彩色滤光片62被形成为显现出各相应区域的颜色。此后，在彩色滤光片62的上表面形成微透镜64，从而制成如图28所示的摄像元件16。
进一步地采用图28说明波导56a等的结构及作用。如上所述，波导56a～56f的-Z侧端部的开口分别被形成为与开口掩模50a～50f的开口66a～66f具有大致相同的位置及大致相同的大小。波导56a～56f的下端的中心与光电转换元件42的中心相一致。
波导56a～56f分别具有外周壁部74a～74f。外周壁部74a等被形成为分别包围波导56a等的外周。在外周壁部74a等中充满空气，发挥气隙层的功能。由此，外周壁部74a等的折射率不同于波导56a等周围的绝缘层44的折射率。更具体地，在外周壁部74a的内侧填充有与空气的折射率不同的绝缘层44。当绝缘层44为氧化硅层时，绝缘层44的折射率比充满空气的外周壁部74a等更高。另外，也可以由钨、铝、铜等金属反射层构成外周壁部74a～74f。
优选的是，波导56a～56f的外周壁部74a～74f的倾斜角度被设置为使穿过相应开口掩模50a等的光束被外周壁部74a等反射后到达光电转换元件42中灵敏度高的中心附近。以图28左端的像素为例进行说明，从开口掩模50a的开口66a朝向图4(a)的部分区域Pf的方向来的光为光线L1，如果没有外周壁部74a，则有可能会入射到光电转换元件42中灵敏度差的周边部，或者脱离光电转换元件42而入射到相邻的光电转换元件42。与此相对，通过设定为使光线L1反射到相应光电转换元件42的中心附近的角度，可以更准确地聚光。进一步地，从朝向部分区域Pf的方向来的光线中穿过微透镜64的中心的光线L1和脱离中心的光线L2被该微透镜64聚光，但优选的是，设定为使其聚光点被外周壁部74a反射并反射到相应光电转换元件42的中心附近的角度。
既可以通过一次反射到达光电转换元件42的中心附近来确定外周壁部74a～74f的角度，也可以通过两次以上的反射到达来确定角度。进一步地，当波导56a～56f内的介质的折射率比外周壁部74a～74f的折射率更大时，优选的是，对上述反射角度进行设定以达到全反射。这样一来，能够更高效地使光入射到像素中。
如上所述，本实施方式所述摄像元件16通过设置六种开口掩模50a～50f能够生成视差图像。从而不需要多个光学系统等装置也能够获得视差图像。
另外，由于摄像元件16具有上述波导56a～56f，因此抑制了光经开口66a～66f的泄漏，从而能够高效地引导至光电转换元件42。另外，由于通过波导56a～56f抑制了光的泄漏，因此能够抑制应当由一个光电转换元件42接收的光被相邻光电转换元件42接收。从而能够得到由多个视差图像构成的高精度的立体图像。进一步地，通过在一个重复图案110上设置多个波导56a～56f，能够使不同光瞳拆分光入射到多个光电转换元件42。其结果为，能够得到更高精度的立体图像。
图34为将波导变形后的实施方式所述摄像元件的纵剖视图。如图34所示，本实施方式所述摄像元件116具有从布线层148延伸到光电转换元件42的波导156a～156f。此时，在布线层148中，位于波导156a等附近的布线层148分别延伸至波导156a等的外周壁部174a等。布线层148发挥了对穿过开口掩模50a等入射的光的一部分进行遮光的遮光膜的功能。另外，位于发挥遮光膜功能的区域的布线层148既可以发挥信号线的功能，也可以仅发挥单纯的遮光膜功能。另外，外周壁部174a～174f的倾斜角度可以分别与图33所示外周壁部74a～74f的倾斜角度相同。
图35为将波导变形后的实施方式所述摄像元件的纵剖视图。如图35所示，本实施方式所述摄像元件216具有从布线层246延伸到光电转换元件42的波导256a～256f。此处，在布线层148中，位于波导256a等附近的布线层246延伸到波导256a等的外周壁部274a等。布线层246发挥对穿过开口掩模50a等入射的光的一部分进行遮光的遮光膜的功能。另外，位于发挥遮光膜功能的区域的布线层246既可以发挥信号线功能，也可以发挥单纯的遮光膜功能。另外，外周壁部274a～274f的倾斜角度可以分别与图33的外周壁部74a～74f的倾斜角度相同。
图36为波导内部为空气的摄像元件的纵剖视图。如图36所示，本实施方式所述摄像元件616具有充满空气的波导656a～656f。由此，通过对波导656a～656f进行刻蚀便能容易地形成，同时能够省略外周壁部。另外，波导656a～656f的外周面，即绝缘层44的内周面的倾斜角度可以分别与图33所示外周壁部74a～74f的倾斜角度相同。另外，当空气的折射率小于绝缘层44的折射率时，在波导656a等的内侧不会发生全反射，但穿过开口66a等的光线在该交界面进行镜面反射，从而能够至少部分地集中于光电转换元件42的中央。
图37为由折射率大于空气的彩色滤光片构成波导内部的摄像元件的纵剖视图。如图37所示，本实施方式所述摄像元件316具有埋设于波导56a～56f内部的彩色滤光片362。由此，在能够使摄像元件316变薄的同时，还能够提高滤光片性能。另外，在波导56a～56f的内部，可以仅在接近表面的上部填充彩色滤光片362，而下部为空洞。另外，外周壁部74a～74f的倾斜角度可以分别与图33的外周壁部74a～74f的倾斜角度相同。
图38为改变了波导形状的摄像元件的纵剖视图。如图38所示，本实施方式所述摄像元件416具有被形成为与基板40及光电转换元件442的垂线相平行的波导456a～456f。例如，波导456a的形状为部分直锥台形。另外，在摄像元件416中，相邻的光电转换元件442与光电转换元件442的间隔与相应开口66a等的间隔相一致。据此，光电转换元件442的中心与相应开口66a等以及波导456a等的中心相一致。另外，波导456a的底面积与光电转换元件442的上表面面积相同。此时，将光电转换元件442的位置及大小形成为与波导456a等的底面位置及大小相对应。优选的是，波导56a～56f的外周壁部74a～74f的角度被设置为，使穿过相应开口掩模50a等的光束中穿过微透镜64的中心的光线直接到达光电转换元件442或由外周壁部74a等进行一次反射后到达光电转换元件442。
另外，在上述实施方式中，以形成有六种开口的开口掩模为例进行了说明，但也可以在摄像元件上设置形成有五种以下或七种以上开口的开口掩模。
图39为另一摄像元件的部分放大平面图。如图39所示，针对四个光电转换元件42及分别形成有开口566、568、570的四个开口掩模550、552、554设置一个微透镜564。从而可以简化微透镜564的结构。另外，通过晶体管等开关元件在时间上错开地从各光电转换元件42输出电信号。另外，可以对应于四个以外的光电转换元件42设置一个微透镜564。在图39中也与各个开口566、568、570相对应地设置图28所示的波导56a～56f。
另外，在图28～图39所示实施方式中，当各个像素中包含使如RGB这种使互不相同波长透过的多种类型的彩色滤光片62时，考虑折射率的波长分散设置相应像素的外周壁部74a～74f的倾斜角度，使得在各个波长中满足上述反射条件。进一步地，优选的是，使波导底面在高度方向上与光电转换元件实质性连接，但也可以与光电转换元件为入射波长程度以下的距离。
如上所述，可以针对彩色滤光片阵列，通过以怎样的周期为何种颜色的像素分配视差像素和无视差像素的方式来设定庞大数量的重复图案110。以上说明的波导结构对适用了庞大数量的重复图案110的任一个的摄像元件也能够适用。另外，通过以上的说明，通过设置开口掩模而使被摄物体光束产生视差，但通过将设置在布线层上的布线形成为与开口掩模相同的形状，可以使布线实质性地发挥开口掩模的功能。当在布线层上设置多层布线时，以使从被摄物体光束的入射方向将多个层投影而成的形状与开口掩模的形状相同的方式形成各个层，从而也能够使多个层整体发挥开口掩模的功能。另外，当由多层布线中的一层实现开口掩模功能时，优选的是，使多层布线中的最下层布线、即形成于最接近光电转换元件的位置的布线形成为与开口掩模相同的形状。此时，优选的是，使最下层布线与光电转换元件相接近。
以上，使用实施方式说明了本发明，但本发明的技术范围并不限于上述实施方式所记载的范围。本领域技术人员明白能够对上述实施方式施加多种变更或改进。这种变更或改进后方式也包含在本发明的技术范围内，这能够从权利要求书的记载得以明确。
附图标记说明
10数码相机、20摄影透镜、21光轴、30、31被摄物体、100摄像元件、101微透镜、102彩色滤光片、103开口掩模、104开口部、105布线层、106布线、107开口、108光电转换元件、109基板、110重复图案、120摄像元件、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、206运算部、207存储卡IF、208操作部、209显示部、210LCD驱动电路、220存储卡、16摄像元件、40基板、42光电转换元件、44绝缘层、46布线层、48布线层、50开口掩模、56波导、62彩色滤光片、64微透镜、66开口、74外周壁部、80槽、116摄像元件、148布线层、156波导、174外周壁部、216摄像元件、246布线层、256波导、274外周壁部、316摄像元件、362彩色滤光片、416摄像元件、442光电转换元件、456波导、550开口掩模、552开口掩模、554开口掩模、564微透镜、566开口、568开口、570开口、616摄像元件、656波导。

Claims (4)

1.一种摄像元件，包括：
光电转换元件，其将入射光光电转换成电信号；
开口掩模，其与各个所述光电转换元件一一对应地设置，所述开口掩模具有：被定位成使从相对于所述入射光所穿过的整个截面区域为互不相同的部分区域射出的光束分别穿过而产生视差的开口部、以及使所述入射光的全部有效光束穿过而不产生视差的开口部；
彩色滤光片，其分别与各个所述光电转换元件一一对应地设置，
由相邻的n个所述光电转换元件构成的一组光电转换元件组包括对应设置有所述彩色滤光片中的至少一个颜色的滤光片的多个所述光电转换元件，其中，n为3以上的整数，
对应设置有所述一个颜色的滤光片的多个所述光电转换元件包括：作为所述产生视差的开口部而具有与3个视点以上的视点数对应数量的、从中心往产生视差的方向偏心的所述开口部的所述光电转换元件；以及具有所述不产生视差的开口部的所述光电转换元件，
所述光电转换元件组连续排列。
2.根据权利要求1所述的摄像元件，其中，具有从中心往右侧偏心的所述开口部的开口掩模、具有从中心往左侧偏心的所述开口部的开口掩模、以及具有不产生视差的所述开口部的开口掩模分别分体设置。
3.根据权利要求1或2所述的摄像元件，其中，包括微透镜，其与各个所述光电转换元件一一对应地设置，
具有从中心往右侧偏心的所述开口部的开口掩模、具有从中心往左侧偏心的所述开口部的开口掩模、以及具有不产生视差的所述开口部的开口掩模的每一个均设置于所述微透镜与所述光电转换元件之间。
4.根据权利要求1或2所述的摄像元件，其中，当被摄物体位于聚焦位置时，所述一组光电转换元件组的对应设置有所述一个颜色的滤光片的所述光电转换元件中，对应设置有具有从中心往右侧偏心的所述开口部的开口掩模的所述光电转换元件、以及对应设置有具有从中心往左侧偏心的所述开口部的开口掩模的所述光电转换元件接收从所述被摄物体的一个微小区域放射的光束。
CN201180057523.4A 2010-11-29 2011-11-29 摄像元件及摄像装置 Active CN103229498B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2010-265784 2010-11-29
JP2010265784 2010-11-29
JP2010-265783 2010-11-29
JP2010265783 2010-11-29
JP2011070406 2011-03-28
JP2011-070405 2011-03-28
JP2011070405 2011-03-28
JP2011-070406 2011-03-28
JP2011090233 2011-04-14
JP2011-090233 2011-04-14
PCT/JP2011/006666 WO2012073491A1 (ja) 2010-11-29 2011-11-29 撮像素子、及び、撮像装置

Publications (2)

Publication Number Publication Date
CN103229498A CN103229498A (zh) 2013-07-31
CN103229498B true CN103229498B (zh) 2017-09-15

Family

ID=46161905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180057523.4A Active CN103229498B (zh) 2010-11-29 2011-11-29 摄像元件及摄像装置

Country Status (6)

Country Link
US (1) US9532033B2 (zh)
EP (1) EP2648405A4 (zh)
JP (1) JP5915537B2 (zh)
KR (1) KR20130121907A (zh)
CN (1) CN103229498B (zh)
WO (1) WO2012073491A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
CN103688536B (zh) * 2011-05-30 2016-05-11 株式会社尼康 图像处理装置、图像处理方法
JP5917125B2 (ja) * 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
EP2797312B1 (en) * 2011-12-21 2019-05-29 Sharp Kabushiki Kaisha Imaging device and electronic information device
CN104185983B (zh) 2012-03-16 2016-10-26 株式会社尼康 摄像元件、摄像装置以及摄像系统
JP6131546B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP6131545B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN104412586B (zh) 2012-04-25 2016-12-28 株式会社尼康 图像处理装置、摄像装置
JP5889719B2 (ja) * 2012-05-31 2016-03-22 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN104521231B (zh) * 2012-08-10 2016-12-21 株式会社尼康 图像处理装置和摄像装置
CN104429056B (zh) * 2012-08-10 2017-11-14 株式会社尼康 图像处理方法、图像处理装置、摄像装置及图像处理程序
WO2014049941A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 固体撮像装置及び撮像装置
JP6036840B2 (ja) * 2012-10-26 2016-11-30 株式会社ニコン 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
JP6052057B2 (ja) * 2013-05-22 2016-12-27 ソニー株式会社 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器
JPWO2014192300A1 (ja) * 2013-05-31 2017-02-23 株式会社ニコン 撮像素子、撮像装置、および画像処理装置
JP6288088B2 (ja) 2013-07-05 2018-03-07 株式会社ニコン 撮像装置
US9282265B2 (en) * 2013-09-09 2016-03-08 Omnivision Technologies, Inc. Camera devices and systems based on a single image sensor and methods for manufacturing the same
JP6363857B2 (ja) * 2014-03-24 2018-07-25 キヤノン株式会社 撮像素子、撮像装置、画像処理方法、並びにプログラム
CN106165398B (zh) * 2014-04-04 2019-07-02 株式会社尼康 摄像元件、摄像装置以及图像处理装置
JP6235412B2 (ja) * 2014-05-27 2017-11-22 ルネサスエレクトロニクス株式会社 半導体装置およびその製造方法
KR102268712B1 (ko) 2014-06-23 2021-06-28 삼성전자주식회사 자동 초점 이미지 센서 및 이를 포함하는 디지털 영상 처리 장치
JP6598473B2 (ja) * 2015-02-27 2019-10-30 キヤノン株式会社 撮像装置および画像処理装置
CN108140655A (zh) * 2015-09-25 2018-06-08 株式会社尼康 拍摄元件以及拍摄装置
JP2017157804A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 撮像装置
DE112017002541T5 (de) * 2016-05-19 2019-02-21 Mitsubishi Electric Corporation Festkörper-bildgebungseinrichtung und bildsensor
US10319765B2 (en) * 2016-07-01 2019-06-11 Canon Kabushiki Kaisha Imaging device having an effective pixel region, an optical black region and a dummy region each with pixels including a photoelectric converter
CN113489904B (zh) * 2016-07-13 2023-07-21 索尼公司 成像装置、成像器件和图像处理装置
KR20180033003A (ko) 2016-09-23 2018-04-02 삼성전자주식회사 입사광의 파장 스펙트럼을 검출하는 방법 및 이를 수행하는 전자 장치
US10116889B2 (en) * 2017-02-27 2018-10-30 Omnivision Technologies, Inc. Image sensor with two-dimensional split dual photodiode pairs
JP7381067B2 (ja) * 2019-11-19 2023-11-15 株式会社シグマ 撮像素子及び撮像装置
US11869910B1 (en) * 2023-03-30 2024-01-09 Visera Technologies Company Ltd. Light sensing element

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147665A (ja) * 2007-12-13 2009-07-02 Canon Inc 撮像装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
JP3827909B2 (ja) 2000-03-21 2006-09-27 シャープ株式会社 固体撮像装置およびその製造方法
US7262799B2 (en) 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
JP3703424B2 (ja) 2000-10-25 2005-10-05 キヤノン株式会社 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2004007566A (ja) * 2002-04-24 2004-01-08 Canon Inc 立体画像表示装置および立体画像表示システム
JP4618765B2 (ja) 2003-08-19 2011-01-26 キヤノン株式会社 撮像素子、該撮像素子を備えたデジタルカメラ
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
US20070145273A1 (en) * 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
JP5003132B2 (ja) * 2006-12-07 2012-08-15 ソニー株式会社 撮像素子および撮像装置
JP5040458B2 (ja) * 2007-06-16 2012-10-03 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP2009069255A (ja) 2007-09-11 2009-04-02 Sony Corp 撮像装置および合焦制御方法
JP5220375B2 (ja) 2007-09-28 2013-06-26 オリンパス株式会社 撮像装置及びそれを有する撮像機器
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
JP5050928B2 (ja) * 2008-02-28 2012-10-17 ソニー株式会社 撮像装置および撮像素子
JP5164617B2 (ja) 2008-03-11 2013-03-21 キヤノン株式会社 撮像装置及び画像処理方法
JP5253856B2 (ja) 2008-03-26 2013-07-31 株式会社東芝 固体撮像装置
JP5224046B2 (ja) 2008-09-08 2013-07-03 ソニー株式会社 画像処理装置、撮像装置および表示装置
JP2010074218A (ja) 2008-09-16 2010-04-02 Dainippon Printing Co Ltd 固体撮像素子とその製造方法および固体撮像素子を用いた撮像装置
JP5532599B2 (ja) 2008-12-17 2014-06-25 株式会社ニコン 固体撮像素子の製造方法及び撮像装置
JP5504874B2 (ja) 2009-02-23 2014-05-28 株式会社ニコン 撮像素子および撮像装置
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5278165B2 (ja) * 2009-05-26 2013-09-04 ソニー株式会社 焦点検出装置、撮像素子および電子カメラ
JP2011199755A (ja) 2010-03-23 2011-10-06 Fujifilm Corp 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147665A (ja) * 2007-12-13 2009-07-02 Canon Inc 撮像装置

Also Published As

Publication number Publication date
WO2012073491A1 (ja) 2012-06-07
JP5915537B2 (ja) 2016-05-11
US20120140100A1 (en) 2012-06-07
CN103229498A (zh) 2013-07-31
JPWO2012073491A1 (ja) 2014-05-19
KR20130121907A (ko) 2013-11-06
US9532033B2 (en) 2016-12-27
EP2648405A4 (en) 2014-07-30
EP2648405A1 (en) 2013-10-09

Similar Documents

Publication Publication Date Title
CN103229498B (zh) 摄像元件及摄像装置
CN102685377B (zh) 摄像装置
CN103688536B (zh) 图像处理装置、图像处理方法
CN104170377B (zh) 图像处理装置、摄像装置
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
CN103621078B (zh) 图像处理装置和图像处理程序
TWI738259B (zh) 組合光場相機和高解析度相機之相機模組及其使用晶圓級整合製程之方法
CN104106003A (zh) 摄像装置
JP6288088B2 (ja) 撮像装置
CN103907188B (zh) 摄像元件、摄像装置及图像处理装置
CN103999449A (zh) 摄像元件
JP6197316B2 (ja) 撮像素子および撮像装置
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序
CN104303302A (zh) 摄像元件以及摄像装置
CN103503447B (zh) 拍摄装置及拍摄装置的控制方法
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
CN209105345U (zh) 一种图像传感器以及成像模组
CN109474818A (zh) 一种图像传感器以及成像模组
JP6205770B2 (ja) 撮像素子および撮像システム
JP2012230300A (ja) 撮像装置及び撮像素子
JP6051570B2 (ja) 撮像素子および撮像装置
JP2013219180A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant