CN102625034B - 图像拾取单元 - Google Patents

图像拾取单元 Download PDF

Info

Publication number
CN102625034B
CN102625034B CN201110355100.2A CN201110355100A CN102625034B CN 102625034 B CN102625034 B CN 102625034B CN 201110355100 A CN201110355100 A CN 201110355100A CN 102625034 B CN102625034 B CN 102625034B
Authority
CN
China
Prior art keywords
lens
image pickup
image
pixel
elongated convex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110355100.2A
Other languages
English (en)
Other versions
CN102625034A (zh
Inventor
田尻真郎
田尻真一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102625034A publication Critical patent/CN102625034A/zh
Application granted granted Critical
Publication of CN102625034B publication Critical patent/CN102625034B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0062—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
    • G02B3/0068—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between arranged in a single integral body or plate, e.g. laminates or hybrid structures with other optical elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras In General (AREA)
  • Blocking Light For Cameras (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种图像拾取单元，其包括图像拾取透镜、设置在图像拾取透镜的图像形成平面上的透镜阵列以及具有沿彼此相交的第一方向和第二方向二维配置的多个像素的图像拾取器件。透镜阵列包括多个透镜部，每个透镜部均被分配给图像拾取器件中的m×n像素的区域，其中，m、n均为1以上的整数，并且m不同于n。

Description

图像拾取单元
技术领域
本发明涉及一种使用透镜阵列的图像拾取单元。
背景技术
在过去，已经提出或开发了各种图像拾取单元。在一些所提出的图像拾取单元中，图像拾取数据经预定的图像处理，然后被输出。例如，WO06/039486和Ren.Ng et al.“Light Field Photography with a Hand-HeldPlenoptic Camera”提出了一种使用被称作“光场摄影”的技术的图像拾取单元。在该图像拾取单元中，透镜阵列被布置在图像拾取透镜的焦平面上，另外，图像传感器被布置在透镜阵列的焦平面上。这使图像传感器接收形成在透镜阵列上的对象的图像，同时图像在视点方向上被分为射束，从而能够一次从多个视点获取图像。
发明内容
在上述的图像拾取单元中，图像传感器上的多个像素对应于透镜阵列中的一个透镜而设置，即，每个透镜的纵向尺寸和横向尺寸均等于像素间距的整数倍，从而能够获取与对应于透镜而设定的像素数目一致的视点图像。另外，对应于透镜而设定的纵向上的像素数目等于横向上的像素数目，即，透镜的纵向尺寸等于其横向尺寸。例如，一个透镜被分配给3×3个像素，或者透镜的纵向尺寸和横向尺寸均等于三个像素的间距，由此在纵向和横向上均可以获得三个视点图像(共九个视点图像)。通过预定的显示器显示以这种方式形成的各个视点方向上的图像(下文中，被称为视点图像)，从而能够实现例如立体图像显示。
然而，在可以显示多个视点图像的典型显示器中，纵向上的视点图像数目通常不等于横向上的视点图像数目。例如，当视点数目在横向上为两个以上时，则该数目在纵向上通常为1。在这种显示器中，从对应于3×3个视点的图像中选择并显示适当的视点图像。例如，当在显示器上选择性地显示来自纵向上的一个视点和横向上的三个视点的图像、或者1×3个视点图像时，来自三个视点中的两个视点的图像在纵向上没有被使用。因此，通过使用上述图像拾取单元而形成的多个视点图像的一部分是无用的。
另外，每个视点图像的分辨率等于图像传感器的分辨率(像素数目)除以视点数目(透镜阵列的透镜数目)的商。也就是说，要获取的视点图像的视点数目和每个图像的分辨率处于一权衡关系。因此，当存在未使用的视点图像时，每个视点图像的分辨率均降低。
期望提供一种能够在抑制分辨率降低的同时而能够获得所需的视点图像的图像拾取单元。
根据本发明的实施方式，提供了一种图像拾取单元，其包括图像拾取透镜、设置在图像拾取透镜的图像形成平面上的透镜阵列以及具有沿彼此相交的第一方向和第二方向二维配置的多个像素的图像拾取器件。该透镜阵列包括多个透镜部，每个透镜部均被分配给图像拾取器件中的m×n的像素区域，其中，m、n为1以上的整数，并且m不同于n。
在根据本发明实施方式的图像拾取单元中，从对象穿过图像拾取透镜的射束在视点方向上被分开并由图像拾取器件接收。该透镜阵列包括均被分配给m×n的像素区域的多个透镜部，从而获取在第一方向上的m个视点图像和在第二方向上的n个视点图像，即，总共获取m×n个视点图像。
根据本发明实施方式的图像拾取单元，提供了图像拾取透镜和具有二维配置的多个像素的图像拾取器件，以及包括多个透镜部(均被分配给m×n的像素区域)的透镜阵列设置在图像拾取透镜的图像形成平面上，从而能够仅适当地获得必要数目的视点图像。在该视点图像中，由于视点数目和分辨率处于一权衡关系，所以无用的视点图像数减少，从而能够抑制分辨率的降低。也就是说，可以在抑制分辨率降低的同时获取所需的视点图像。
应当理解，上述的总体描述和下面的详细描述均是示例性的，并且旨在提供对权利要求所限定的技术的进一步解释。
附图说明
附图用于提供了对本发明的进一步理解，并结合在本说明书中且构成本说明书的一部分。附图示出了实施方式，并与本说明书一起用来解释该技术的原理。
图1示出了根据本发明实施方式的图像拾取单元的总体构造。
图2是示出了透镜阵列和图像传感器的透视性构造的示意图。
图3A是从图2中的A观看的侧视图，并且图3B是从图2中的B观看的侧视图。
图4是示出了透镜阵列沿XY平面的构造的示意图。
图5A和图5B分别是示出了滤色片(color filter)的颜色排列的实例的示意图。
图6是用于解释在视点方向上分开的射束的示意图。
图7是示出了由图1中所示的图像拾取单元所获取的图像拾取数据的示意图。
图8A至图8C分别是示出了从图7中所示的图像拾取数据中获得的视点图像数据的示意图。
图9是根据比较例1的透镜和图像传感器的配置的示意图。
图10是根据比较例2的透镜和图像传感器的配置的示意图。
图11是用于解释由滤色片排列所提供的效果的示意图。
图12是示出了根据修改例1的透镜阵列的大体构造的示意图。
图13是示出了根据修改例2的透镜阵列和图像传感器的透视性构造的示意图。
图14A是从图13中的A观察的侧视图，并且图14B是从图13中的B观察的侧视图。
图15A和图15B分别是示出了根据修改例3的滤色片的颜色排列的示意图。
具体实施方式
下文中，将参考附图详细描述本发明的较佳实施方式。将以下列顺序进行描述。
1.实施方式(对应于一个透镜而设定1×3个像素且在透镜阵列的光入射面上和其光出射面上设置长形凸透镜的实施例)
2.修改例1(透镜阵列由超环面透镜(toroidal lens)构成的实施例)
3.修改例2(在图像传感器上直接形成透镜阵列的实施例)
4.修改例3(在对应于透镜设定1×2个像素的情况下的滤色片的实施例)
[实施方式]
[总体构造]
图1示出了根据本发明实施方式的图像拾取单元(图像拾取单元1)的总体构造。图像拾取单元1拾取对象2的图像并对该图像执行预定的图像处理，由此输出图像数据Dout。图像拾取单元1包括图像拾取透镜11、透镜阵列12、图像传感器13、图像处理部14、图像传感器驱动部15和控制部16。在下文中，当假定光轴为Z时，则在垂直于光轴Z的平面中，假定水平方向(横向)为X并假定垂直方向(纵向)为Y。
图像拾取透镜11为用于拾取对象2的图像的主透镜，例如，其由用于摄像机或照相机的典型的图像拾取透镜构成。孔径光阑10被布置在所述图像拾取透镜11的光入射面(或光出射面)上。
(透镜阵列12的构造)
透镜阵列12布置在图像拾取透镜11的焦平面(图像形成平面)上，并且例如，在诸如玻璃基板的基板上具有多个透镜部(下文描述的透镜部12L)。每个透镜部均被分配给图像传感器13的预定像素区域，具体地，为m×n像素区域，其中，m和n为彼此不同的1以上的整数。在下文中，假定透镜部对应于一像素区域而设置来进行描述，该像素区域沿纵向方向Y按m＝1和沿横向方向X按n＝3来配置像素。图像传感器13布置在透镜阵列12的焦平面上。
图2示出了图像传感器13和透镜阵列12的透视性构造。透镜阵列12分别在光入射侧(图像拾取透镜11侧)的平面上和光出射侧(图像传感器13侧)的平面上具有彼此正交且焦距不同的多个长形凸透镜12A和12B。图3A是示出了从图2中的A观看的透镜阵列12和图像传感器13的侧视图，图3B是示出了从图2中的B观看的透镜阵列12和图像传感器13的侧视图。在图3A中省略了长形凸透镜12B，在图3B中省略了长形凸透镜12A。
如图所示，例如，每个长形凸透镜12A沿纵向方向Y延伸并具有沿横向方向对应于三个像素(3p)的宽度。例如，每个长形凸透镜12B沿横向X延伸并具有沿纵向方向对应于一个像素(1p)的宽度。在该实施方式中，在XY平面中对应于透镜阵列12的长形凸透镜12A和长形凸透镜12B的交叉部分(crossing)的区域与分配给m×n(1×3)像素区域的透镜部12L相对应(图4)。通过这种方式，透镜部12L为在XY平面中具有不均匀纵横比(长∶宽＝1∶3)的矩形形状。
上述长形凸透镜12A和12B由诸如光致抗蚀剂的树脂材料构成，并且可以通过例如抗蚀剂回流(resist reflow)方法或纳米压印光刻而形成在包括玻璃或塑料的基板的两侧。另外，也可以通过模具成型来形成长形凸透镜。
由于各个长形凸透镜12A和12B被布置在透镜阵列12的不同表面上并且在焦距上不同，所以考虑到这些因素来设定透镜阵列12的位置(关于图像传感器13的相对位置)和其厚度(基板的厚度)。详细地，焦距f1和f2分别由以下表达式(2)和(3)来表示，其中，图像拾取透镜11的f数(f-number)由F表示，像素宽度(像素间距)由p表示，长形凸透镜12A的焦距由f1表示，长形凸透镜12B的焦距由f2表示，并且表达式(1)从这两个表达式中获得。
f1＝F×n×p......(2)
f2＝F×m×p......(3)
f1＝(n/m)×f2......(1)
因此，透镜阵列12的位置和厚度被设定为满足表达式(1)。这里，由于m×n＝1×3已经给定，所以位置和厚度被设定为焦距f1是焦距f2的三倍大。
图像传感器13接收来自透镜阵列12的射束并由此获取图像拾取数据D0。在图像传感器13中，多个像素以矩阵二维配置(沿纵向方向Y和横向方向X)。每个像素均由诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的固体图像拾取单元构成。在图像传感器13中，对象2的图像在对应于透镜阵列12的微透镜的二维坐标的像素区域中形成为具有与孔径光阑10的形状相似的图形(例如，圆形)的图像。
透镜阵列12的一个透镜部12L(长形凸透镜12A和12B的交叉部分)被分配给由多个像素中的m×n个像素的排列形成的像素区域。随着m×n的值增大，即，例如，随着对应于一个微透镜而设定的像素(在下文中，被称作透镜对应像素)的数目增大，后文描述的视点图像的视点的数目也增大。相反，随着透镜对应像素的数目减小(m×n的值减小)，每个视点图像的像素的数目(分辨率)增大。通过这种方式，视点图像的视点的数目和每个视点图像的分辨率处于折中关系。
滤色片被设置在图像传感器13的光接收面上。图5A和图5B示意性地示出了滤色片的颜色排列的实例。滤色片例如包括以1∶2∶1的比而排列(拜耳排列Bayer arrangement)的红色(R)、绿色(G)和蓝色(B)的相应颜色的滤光片。具体地，如图5A所示，R，G和B中的一个可以布置在每1×3像素区域处(在一个像素区域中为同种颜色)，或者如图5B所示，各个颜色被布置为使得相同颜色的像素互不相邻。当在两种情况中在对每个视点进行图像合成之后提供拜耳排列时，进行颜色排列使得相同颜色的像素如图5B所示那样彼此不相邻，从而抑制在不同视点方向上的射束之间的串扰。
图像处理部14对由图像传感器13获取的图像拾取数据D0执行预定的图像处理，并且例如输出图像数据Dout作为视点图像。后文将描述图像处理部14的具体图像处理操作。
图像传感器驱动部15驱动图像传感器13并控制图像传感器13的曝光和从图像传感器13的读取。
控制图像处理部14和图像传感器驱动部15中的每一个的操作的控制部16例如由微型计算机构成。
[操作和效果]
(图像拾取数据的获取)
在图像拾取单元1中，透镜阵列12设置在图像拾取透镜11和图像传感器13之间的预定位置处，从而图像传感器13记录来自对象2的射束作为每个射束的强度分布的射束向量保持信息和其前进方向(视点方向)。也就是说，通过透镜阵列12的射束在视点方向上被分开，并且各个分开的射束被图像传感器13的不同像素所接收。例如，如图6所示，在穿过具有对应于三个像素的宽度的长形凸透镜12A的射束中，在来自某个视点(第一视点)的方向上的射束(光束)L1由像素“1”接收，在来自其他视点(第二视点和第三视点)的方向上的射束L2和L3分别被像素“2”和“3”接收。在图6中，为了方便，对像素进行了编号。例如，图像传感器13响应于利用图像传感器驱动部15的驱动操作而线性顺次地读取数据，从而获得图像拾取数据D0。图7示意性地示出了图像拾取数据D0的排列。如图所示，在三个视点方向上的射束L1至L3中的每一个均被在1×3矩形像素区域(单位区域)U中的预定位置处的像素接收。
另外，由于滤色片如图5A和图5B所示的那样设置在图像传感器13的光接收面上，图像拾取数据D0被记录为对应于滤色片的颜色排列的颜色数据。通过以上方式获得的图像拾取数据D0被输出至图像处理部14。
(图像处理操作)
图像处理部14基于图像拾取数据D0而生成例如三个视点图像。具体地，针对图像拾取数据D0的每个单位区域U而提取一个位置处的像素(这里，为位于图7中的位置“1”、“2”和“3”中的每一处的像素)的像素数据，将提取的数据相互合成。也就是说，通过位置“1”处的相应像素数据的合成而产生第一视点的视点图像D1(图8A)，通过位置“2”处的相应像素数据的合成而产生第二视点的视点图像D2(图8B)，以及通过位置“3”处的相应像素数据的合成而产生第三视点的视点图像D3(图8C)。此后，例如，对三个视点图像进行诸如反马赛克处理的色彩插值处理，使得输出彩色视点图像作为图像数据Dout。应当注意，图像处理装置14可以具有例如缺陷检测部、夹紧处理部、缺陷校正部、色彩插值部、降噪处理部、轮廓增强部、白平衡调整部以及伽马校正部，这些部均在图中没有示出。
图9和图10示意性地示出了根据该实施方式的比较例(比较例1和2)的各自的透镜形状。在比较例1中，例如，如图9的(A)至(C)所示，透镜102被分配给3×3像素区域。在图9中，(A)示出了透镜102沿XY平面的形状，(B)示出了透镜102和图像传感器103在纵向上的配置，并且(C)示出了透镜102和图像传感器103在横向上的配置。也就是说，在比较例1中，通过使用具有彼此相等的纵向尺寸和横向尺寸的透镜而在视点方向上将射束分开。这种配置能够获取在纵向上的3个视点和在横向上的3个视点的总共3×3＝9个视点图像。
然而，在显示多个视点图像的显示器中，视点数目在纵向和横向之间通常是不同的。例如，显示器经常显示纵向上的一个视点图像和横向上的两个以上的视点图像。因此，比较例1仅使用所获取的九个视点图像中的选择性视点图像(例如1×3个视点图像)，而不使用剩余的视点图像(例如，六个视点的图像)。由于视点图像的视点数目(在这种情况下为九)和每个图像的分辨率为如前所述的权衡关系，分辨率随着视点数目的增加而降低。因此，期望无用视点图像的数目较小。
因此，如图10的(A)至(C)所示，圆柱形透镜被想到用作透镜104以减少纵向上的视点数目。在图10中，(A)示出了透镜104沿XY平面的形状，(B)示出了透镜104和图像传感器103在纵向上的配置，并且(C)示出了透镜104和图像传感器103在横向上的配置。在这种情况下，射束在横向上如比较例1中那样而在三个视点方向上被分开。然而，在纵向上，由于射束没有发生折射，或者折射效果较小，所以在光接收表面上形成了一点散焦图像。
在该实施方式中，透镜阵列12在透镜阵列12的光接收表面上具有长形凸透镜12A并在其光出射表面上具有长形凸透镜12B，其中，每个长形凸透镜12A沿纵向Y延伸，并在横向X上具有n倍(这里，为三倍)像素宽度的宽度，即，表现出在横向X上具有焦距f1的透镜功能。相反，每个长形凸透镜12B沿横向X延伸，并在纵向Y上具有m倍(这里，等于)像素宽度的宽度，即，表现出在纵向Y上具有焦距f2的透镜功能。另外，透镜阵列12的位置和厚度被设置为使得满足上述的预定条件表达式(1)。因此，穿过透镜阵列12的射束由于长形凸透镜12A的作用而在横向X上的三个视点中被分开，并分别被图像传感器13的三个像素所接收。在纵向Y上，射束由于长形凸透镜12B的作用而被一个像素接收作为一个视点方向上的射束。也就是说，穿过透镜阵列12的每个透镜部12L(长形凸透镜12A和12B的交叉部分)的各射束被1×3像素区域所接收。因此，如图7、图8A至图8C所示，来自纵向上的一个视点和来自横向上的三个视点的视点图像可以在没有无用的情况下基于获取的图像拾取数据D0而产生。
如上所述，在该实施方式中，由于透镜阵列12被布置在图像拾取透镜11和图像传感器13之间，来自对象12的射束可以在视点方向上被分开的同时而被接收。在透镜阵列12中，每个透镜部12L被分配给m×n像素区域：长形凸透镜12A具有对应于n个像素的宽度，并且长形凸透镜12B具有对应于m个像素的宽度。因此，穿过透镜阵列12的射束被传感器13的m×n像素区域接收。也就是说，在该实施方式中，即使显示器的所需视点数目在纵向和横向之间不同，例如，在纵向上为一个而在横向上为三个，可以在没有无用的情况下获取视点图像，从而能够防止由于视点图像的无用而造成的分辨率下降。因此，可以在抑制分辨率降低的同时获取期望的视点图像。
另外，滤色片被设置在图像传感器13的光接收面上，使得如图5B所示那样，颜色被排列为在相邻的像素之间为不相同，从而提供下面的效果。也就是说，如图11所示，当具有所需波长的光Sa集中在所需的区域上时，具有不同于所需波长的波长的光Sb可能由于透镜的色差而没有充分地集中。提供了如图5B所示的颜色排列，从而即使输出这种光Sb，也可以抑制关于相邻像素的射束泄漏，即，可以在不同的视点图像之间抑制色彩串扰(color crosstalk)。
在下文中，将描述本实施方式的修改例(修改例1至3)。在下文中，相同的参考标号被分配给与该实施方式中的部件相同的部件，而没有了重复的解释。
[修改例1]
图12是示出了根据修改例1的透镜阵列(透镜阵列17)的大体构造的示意图。在透镜阵列17中，与实施方式中的透镜阵列12不同，作为多个透镜部的超环面透镜12L1仅设置在光入射面(或光出射面)上。每个超环面透镜12L1在横向上具有n倍(这里，为三倍)像素宽度p的尺寸并且在纵向Y上具有m倍(这里，等于)像素宽度p的尺寸。另外，超环面透镜12L1具有不同的折射指数(refractive indicia)：在横向X上的焦距f1和在纵向Y上的焦距f2。透镜阵列17包括以阵列配置的这种超环面透镜12L1。
通过这种方式，具有折射指数分布的超环面透镜可以被用作透镜阵列17。即使在这种情况下，也可以提供与实施方式相同的效果。
[修改例2]
图13示出了根据修改例2的透镜阵列12和图像传感器13的配置关系。图14A是示出了从图13的A观察的透镜阵列12和图像传感器13的侧视图；并且图14B是从图13的B观察的透镜阵列12和图像传感器13的侧视图。在图14A省略了长形凸透镜12B，并且在图14B省略了长形凸透镜12A。在该修改例中，透镜阵列12一体地形成在图像传感器13的光接收面上。具体地，在该修改例中，透镜阵列12层压在图像传感器13上，同时其间具有树脂层18。例如，可以通过下面的方式形成这种层压结构。首先，在图像传感器13上形成树脂层18，然后，通过使用前述方法形成长形凸透镜12B。另一方面，通过使用前述方法在诸如玻璃基板的基板上形成长形凸透镜12A。具有形成在其上的长形凸透镜12A的玻璃基板在与长形凸透镜12B对齐的同时而层压在长形凸透镜12B上，从而形成层压结构。可选地，可以如下形成该层压结构。也就是说，长形凸透镜12A和12B可以通过使用尖端透镜(on-tip lens)的制造工艺而直接形成在图像传感器13上，这通常是针对图像传感器13上的光接收侧的每个像素所形成的。
通过这种方式，可以一体地设置透镜阵列12和图像传感器13。即使在这种情况下，也可以获得与该实施方式相同的效果。然而，在该修改例中，由于透镜阵列12和图像传感器13一体地形成，即使它们在老化后也几乎不发生移动，从而与所述实施方式相比更能够提高透镜阵列12关于图像传感器13的定位精度。应当注意的是，修改例2可以应用于如修改例1中那样的包括二维配置的多个超环面透镜的透镜阵列17。也就是说，透镜阵列17可以一体地设置在图像传感器13的光接收面上。
[修改3]
图15A和15B示意性地示出了根据修改例3的滤色片的颜色排列的实例。当在该实施方式中给出了对应于1×3像素区域的滤色片的实例时，在该修改例中给出了对应于1×2像素区域的滤色片的实施例。也就是说，当获取来自纵向上的一个视点和来自横向上的两个视点的视点图像时，对于拜耳排列，例如，如图15B所示，R、G及B中的一个可以被设置在每个1×2像素区域(在一个像素区域中为同种颜色)处，或如图15A所示，各颜色可以被布置为使得同种颜色彼此不相邻。当在对每个视点进行图像合成之后在这两种情况下提供拜耳排列时，进行颜色排列使得同种颜色像素如图15A所示那样彼此不相邻，从而抑制了不同视点方向上的射束之间的串扰。
尽管通过上文的实施方式和修改例描述了本发明，但本发明不限于上述实施方式等，并且可以进行各种修改和改变。例如，尽管实施方式通过使用了m×n＝1×3(或1×2)的透镜对应像素(像素区域)的情况描述了实施方式，但对应于每个透镜所设定的像素区域不限于此。例如，可以使用m＝1且n＝4以上的像素区域，或者使用m＝2且n＝3以上的像素区域。另外，视点数目不限于横向上的数目与纵向上数目相比而较大的情况，并且可以被设置为使纵向上数目大于横向上的数目。
此外，尽管通过图像拾取单元具有图像处理部以产生视点图像的情况描述了实施方式等，但也可以不必要地整体设置该图像处理部。另外，视点图像产生处理不限于以上情况，可以通过另外的图像处理方法来产生视点图像。
本发明包含于2010年11月5日向日本专利局提交的日本优先专利申请JP 2010-248398所涉及的主题，其全部内容结合于此作为参考。
本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变形，只要它们在所附权利要或其等价物的范围内。

Claims (7)

1.一种图像拾取单元，包括：
图像拾取透镜；
设置在所述图像拾取透镜的图像形成平面上的透镜阵列；以及
图像拾取器件，具有沿彼此相交的第一方向和第二方向二维配置的多个像素，
其中，所述透镜阵列包括多个透镜部，每一所述透镜部均被分配给所述图像拾取器件中的m×n的像素区域，其中，m和n均为1以上的整数，并且m不同于n，
其中，所述透镜阵列包括：
多个第一长形凸透镜，在光入射侧沿所述第一方向延伸，并且沿所述第二方向均具有n倍像素宽度的宽度；以及
多个第二长形凸透镜，在光出射侧沿所述第二方向延伸，并且沿所述第一方向均具有m倍像素宽度的宽度；
其中，所述多个透镜部分别形成在对应于所述第一长形凸透镜和所述第二长形凸透镜的交叉部分的区域中。
2.根据权利要求1所述的图像拾取单元，其中，所述透镜阵列被设置为使所述第一长形凸透镜和所述第二长形凸透镜的每个焦平面与所述图像拾取器件的光接收面一致。
3.根据权利要求2所述的图像拾取单元，其中，所述透镜阵列的厚度和位置被设置为满足以下表达式(1)，其中，f1表示每一所述第一长形凸透镜的焦距，且f2表示每一所述第二长形凸透镜的焦距，
f1＝(n/m)×f2…… (1)。
4.根据权利要求1所述的图像拾取单元，其中，所述多个透镜部中的每一个均由超环面透镜构成。
5.根据权利要求1至4中任一项所述的图像拾取单元，其中，所述透镜阵列与所述图像拾取器件一体地设置。
6.根据权利要求1至4中任一项所述的图像拾取单元，其中，滤色片设置在所述图像拾取器件的光接收面上；所述滤色片具有分别对应于所述图像拾取器件中的所述多个像素而配置的多个滤波元件；所述滤波元件对应于彼此具有不同颜色的所述多个像素中的任何相邻像素。
7.根据权利要求1所述的图像拾取单元，其中，所述图像拾取器件为图像传感器。
CN201110355100.2A 2010-11-05 2011-10-28 图像拾取单元 Expired - Fee Related CN102625034B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010248398A JP5672989B2 (ja) 2010-11-05 2010-11-05 撮像装置
JP2010-248398 2010-11-05

Publications (2)

Publication Number Publication Date
CN102625034A CN102625034A (zh) 2012-08-01
CN102625034B true CN102625034B (zh) 2016-09-28

Family

ID=46019302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110355100.2A Expired - Fee Related CN102625034B (zh) 2010-11-05 2011-10-28 图像拾取单元

Country Status (3)

Country Link
US (1) US8456552B2 (zh)
JP (1) JP5672989B2 (zh)
CN (1) CN102625034B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
WO2013094121A1 (ja) * 2011-12-21 2013-06-27 シャープ株式会社 撮像装置および電子情報機器
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
JP5846148B2 (ja) * 2013-03-27 2016-01-20 富士ゼロックス株式会社 レンズアレイ及びレンズアレイ製造方法
CN105472233B (zh) * 2014-09-09 2019-01-18 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
EP3131292B1 (en) 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array
JP6589464B2 (ja) * 2015-08-28 2019-10-16 大日本印刷株式会社 撮像モジュール、撮像装置
DE202016008547U1 (de) 2015-09-17 2018-05-14 Semiconductor Components Industries, Llc Pixel mit hohem Dynamikbereich unter Verwendung von Lichttrennung
JP6686349B2 (ja) * 2015-09-29 2020-04-22 大日本印刷株式会社 撮像モジュール、撮像装置
JP6627526B2 (ja) * 2016-01-19 2020-01-08 大日本印刷株式会社 撮像モジュール、撮像装置
WO2017056865A1 (ja) * 2015-09-29 2017-04-06 大日本印刷株式会社 レンズシート、レンズシートユニット、撮像モジュール、撮像装置
JP6686348B2 (ja) * 2015-09-29 2020-04-22 大日本印刷株式会社 撮像モジュール、撮像装置
JP6693086B2 (ja) * 2015-10-30 2020-05-13 大日本印刷株式会社 撮像モジュール、撮像装置
JP6724371B2 (ja) * 2016-01-12 2020-07-15 大日本印刷株式会社 撮像モジュール、撮像装置
JP6750230B2 (ja) * 2016-01-19 2020-09-02 大日本印刷株式会社 撮像モジュール、撮像装置
JP6910105B2 (ja) * 2016-01-25 2021-07-28 大日本印刷株式会社 レンズシート、撮像モジュール、及び撮像装置
JP6746941B2 (ja) * 2016-02-19 2020-08-26 大日本印刷株式会社 撮像モジュール、撮像装置
JP6878817B2 (ja) * 2016-10-07 2021-06-02 大日本印刷株式会社 撮像モジュール、撮像装置
KR102715892B1 (ko) * 2016-12-22 2024-10-10 엘지디스플레이 주식회사 가상 영상 디스플레이 장치 및 이를 포함하는 헤드 마운티드 디스플레이 장치
CN107135340A (zh) 2017-04-28 2017-09-05 广东欧珀移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
CN107105141B (zh) 2017-04-28 2019-06-28 Oppo广东移动通信有限公司 图像传感器、图像处理方法、成像装置和移动终端
US10593712B2 (en) * 2017-08-23 2020-03-17 Semiconductor Components Industries, Llc Image sensors with high dynamic range and infrared imaging toroidal pixels
KR20210081767A (ko) 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
JP2004226873A (ja) * 2003-01-27 2004-08-12 Sanyo Electric Co Ltd カメラモジュール及びその製造方法
KR100825550B1 (ko) * 2004-06-30 2008-04-25 도판 인사츠 가부시키가이샤 촬상 소자
KR101134208B1 (ko) * 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US7522341B2 (en) * 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
US8243157B2 (en) * 2006-02-07 2012-08-14 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
JP2008015395A (ja) * 2006-07-10 2008-01-24 Matsushita Electric Ind Co Ltd 立体画像表示装置
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
WO2009079971A2 (de) * 2007-12-21 2009-07-02 Osram Opto Semiconductors Gmbh Optoelektronische vorrichtung und bildaufnahmegerät
JP2009290268A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置
JP2010252277A (ja) * 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ

Also Published As

Publication number Publication date
JP5672989B2 (ja) 2015-02-18
US20120113302A1 (en) 2012-05-10
CN102625034A (zh) 2012-08-01
JP2012100204A (ja) 2012-05-24
US8456552B2 (en) 2013-06-04

Similar Documents

Publication Publication Date Title
CN102625034B (zh) 图像拾取单元
CN102685377B (zh) 摄像装置
CN101883215B (zh) 成像设备
US8451352B2 (en) Image pickup apparatus
US9100639B2 (en) Light field imaging device and image processing device
EP2160018B1 (en) Image pickup apparatus
WO2011045324A2 (de) Vorrichtung, bildverarbeitungsvorrichtung und verfahren zur optischen abbildung
CN103582846B (zh) 进深推定摄像装置
US9325954B2 (en) Color imaging element having phase difference detection pixels and imaging apparatus equipped with the same
JP6288088B2 (ja) 撮像装置
GB2540922B (en) Full resolution plenoptic imaging
CN103999449A (zh) 摄像元件
CN104303302A (zh) 摄像元件以及摄像装置
CN103503447A (zh) 拍摄装置及拍摄装置的控制程序
JP6234024B2 (ja) 撮像素子、及び撮像装置
US9819924B2 (en) Image pickup element and image pickup apparatus
Brückner Multiaperture Cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160928

Termination date: 20201028

CF01 Termination of patent right due to non-payment of annual fee