CN101883215B - 成像设备 - Google Patents

成像设备 Download PDF

Info

Publication number
CN101883215B
CN101883215B CN2010101709426A CN201010170942A CN101883215B CN 101883215 B CN101883215 B CN 101883215B CN 2010101709426 A CN2010101709426 A CN 2010101709426A CN 201010170942 A CN201010170942 A CN 201010170942A CN 101883215 B CN101883215 B CN 101883215B
Authority
CN
China
Prior art keywords
pixel
image
forming component
lenticule
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010101709426A
Other languages
English (en)
Other versions
CN101883215A (zh
Inventor
早坂健吾
山本健二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101883215A publication Critical patent/CN101883215A/zh
Application granted granted Critical
Publication of CN101883215B publication Critical patent/CN101883215B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种成像设备，包括：成像透镜，具有孔径光阑；成像元件，包括沿着纵向和横向二维排列的多个像素，并且根据所接收的光来获取成像数据；以及微透镜阵列，排列在所述成像透镜与所述成像元件之间，并且包括多个微透镜，在所述成像元件中的由m×n个像素所构成的像素区被分配给各个所述微透镜，其中，在所述微透镜与所述像素区之间设定小于一个像素宽度的位置偏移，m和n表示在所述纵向和所述横向上大于等于2的数。

Description

成像设备
相关申请的参考
本发明包含于2009年5月8日向日本专利局提交的日本专利申请第2009-113943号的主题，其全部内容结合于此，作为参考。
技术领域
本发明涉及一种采用微透镜的成像设备。
背景技术
已经提出并开发了各种各样的成像设备。此外，也已经提出了对于通过成像所获取的成像数据执行预定图像处理并输出所得数据的成像设备。
例如，PCT专利公开第WO06/039486号手册和Ren.Ng及其他七位共同作者，“Light Field Photography with a Hand-HeldPlenoptic Camera”，Stanford Tech Report CTSR 2005-02提出了采用称作“光场照像”技术的成像设备。在这种成像设备中，在用于成像透镜的成像目标的图像形成平面上排列了微透镜阵列，并且在这个微透镜阵列的焦点位置处提供成像元件。排列微透镜阵列，使得在成像元件上的多个像素被分配给微透镜阵列中的每个微透镜。由于这种特性，在成像元件中所获取的成像数据保存了关于光线的传播方向的信息以及光线的强度分布。这种成像数据经过了预定的图像处理，从而被重构作为任意视点的观察图像(下文中，简称为视差图像)或在任意焦点处的观察图像。
发明内容
重构图像的像素数(二维分辨率)等于微透镜阵列中的透镜数。这是因为重构图像的二维坐标的信息依赖于微透镜阵列的坐标。换句话说，重构图像的像素数等于通过将成像元件的所有像素数除以分配给每个微透镜的像素(下文中，简称为透镜分配像素)数所获取的值。另一方面，透镜分配像素数等于光线的角度信息的分辨率，即，重构图像的任意视点或焦点的分辨率。因此，这些分辨率与重构图像的像素数具有折中关系。
例如，当期望获取高分辨率的视差图像作为重构图像时，优选透镜分配像素数尽可能小。此外，当视差图像用于例如立体系统的三维显示时，因为只要能够获取左右两个视差图像作为用于左右眼的图像就足够了，所以透镜分配像素数经常设定为诸如2×2或3×3的相对小的数目。
但是，如果透镜分配像素数减小，则成像更容易受到主透镜的晕影(vignetting)和阴影(shading)的影响及诸如重影的微透镜边缘的影响，因此，很难获取具有高精度的所期望的视点的光线数据。这导致所生成的视差图像的图像质量劣化。具体地，如果透镜分配像素数设定为2×2(4)，则需要提取所有四个像素的图像数据，并且此后，为了获取微透镜边缘的影响减小的上述左右视差图像，需要通过使用这些图像数据执行积分处理。这导致例如以下缺点：视差图像的场深度由于积分处理而减小，以及用于获取视差图像的处理步骤数增多。因此，期望实现能够以高精度和高效率获取所期望的视点的光线数据的成像设备。
需要本发明提供能够以高精度和高效率获取所期望的视点的光线数据的成像设备。
根据本发明的模式，提供成像设备，包括：成像透镜，具有孔径光阑；成像元件，包括沿着纵向和横向二维排列的多个像素，并根据所接收的光获取成像数据；以及微透镜阵列，排列在成像透镜和成像元件之间，并包括多个微透镜。在成像元件中的由m×n(m和n表示在纵向和横向上大于等于2的数字)个像素所构成的像素区被分配给各个微透镜。在微透镜与像素区之间设定小于一个像素宽度的位置偏移。
在根据本发明模式的成像设备中，微透镜阵列排列在成像透镜与成像元件之间，并且预定像素区被分配给这个微透镜阵列中的每个微透镜。由于这个特性，以保存关于光线传播方向及光线强度分布的信息的这种方式通过成像元件接收通过各个微透镜的光线。因为在微透镜与像素区之间设定了小于一个像素宽度的位置偏移，所以由于微透镜边缘的影响被减小，并且仅通过抽取读出需要的像素数据。因此，提高了读取处理的速度。
在根据本发明模式的成像设备中，在成像透镜与成像元件之间提供微透镜阵列，并且预定像素区被分配给各个微透镜。因此，来自成像目标的光线能够作为其视点彼此不同的光线矢量被接收。因为在微透镜与像素区之间设定了小于一个像素宽度的位置偏移，所以能够以高精度和高效率获取所期望的视点的光线数据。
附图说明
图1为根据本发明第一实施例的成像设备的整体结构的示图；
图2为用于说明图1中所示的成像元件与微透镜之间的配置关系的示图；
图3为用于说明在成像元件上所接收的光线的示图；
图4为根据比较例1在成像元件中的左右视点的光接收区的示意图；
图5为在图1所示的成像元件中的左右视点的光接收区的示意图；
图6为在根据变形例1的成像元件与微透镜之间的配置关系及光接收区的示意图；
图7为根据变形例2的成像元件与微透镜之间的配置关系及光接收区的示意图；
图8为用于说明根据本发明第二实施例的成像元件与微透镜之间的配置关系的示意图；
图9为用于说明根据比较例2的成像元件的读取操作的示意图；
图10为用于说明在图8中所示的成像元件的读取操作的示意图；以及
图11为用于说明根据变形例3的成像元件与微透镜之间的配置关系及读取操作的示意图。
具体实施方式
下面，将参照附图详细描述本发明的实施例。将以下面的顺序进行描述。
1.第一实施例(透镜分配像素数为3×3并且沿着横向设定微透镜与像素之间的位置偏移的实例)
2.变形例1(沿着纵向设定位置偏移的实例)
3.变形例2(沿着斜向设定位置偏移的实例)
4.第二实施例(透镜分配像素数为2×2并且沿着纵向设定微透镜与像素之间的位置偏移的实例)
5.变形例3(沿着横向设定位置偏移的实例)
第一实施例
成像设备1的结构实例
图1为根据本发明第一实施例的成像设备1的整体结构。成像设备1执行成像目标2的成像，并且执行预定的图像处理，从而输出图像数据Dout。这个成像设备1包括成像透镜11、微透镜阵列12、成像元件13、图像处理器14、成像元件驱动器15及控制器16。
成像透镜11为用于成像目标2的成像的主透镜，并且由例如在摄像机、照像机等中所使用的通用成像透镜构成。在这个成像透镜11的光入射侧排列孔径光阑10。
通过在诸如玻璃的基板上形成多个微透镜来得到微透镜阵列12。微透镜阵列12排列在成像透镜11的焦平面(图像形成平面)上，并且成像元件13排列在微透镜的焦点位置。由例如固态透镜、液晶透镜或衍射透镜来构成每个微透镜。
成像元件13接收来自微透镜阵列12的光线，并获取成像数据D0。这个成像元件13包括以矩阵形式(沿着纵向和横向)二维排列的多个像素。每个像素由诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的固态成像元件构成。在成像元件13中，在相应于微透镜阵列12中的微透镜的二维坐标的像素区中，成像目标2的图像形成为具有与孔径光阑10的开口形状类似的形状(例如，圆形)的图像。
微透镜阵列12的每一个微透镜被分配给由多个像素中的m×n(m和n表示在纵向和横向上大于等于2的数，并且在本实施例中为3×3)个像素所构成的像素区。例如，由于m×n的值变大，即，由于分配给一个微透镜的像素(下文中，称作透镜分配像素)数变大，所以随后所描述的视差图像的角分辨率变高。另一方面，由于透镜分配像素数变小(m×n的值变小)，所以视差图像的像素数(二维分辨率)变高。如刚刚描述的一样，视差图像的角分辨率与其二维分辨率具有折中关系。在本实施例中，透镜分配像素数为3×3(9)。
在这个成像元件13的光接收平面上，提供了通过规则排列多色滤色片所形成的彩色滤色片(图1中没有示出)。就彩色滤色片而言，例如，其通过以预定比率排列红色(R)、绿色(G)及蓝色(B)的原色滤色片而形成。可以以像素为单位或以微透镜为单位来设定这个彩色滤色片的彩色编码。
成像元件与微透镜之间的配置关系
下面，将参照图2来描述成像元件13与微透镜之间的配置关系。对于成像元件13而言，例如，如果透镜分配像素数为3×3，则通常关于通过图2中的粗实线框所围绕的像素区13A排列微透镜(微透镜120M)，使其不包含位置偏移。由于这个结构，通过像素区13A中的9个像素的每一个接收通过各个微透镜的光线。
在本实施例中，在由3×3个像素构成的像素区13A与微透镜(微透镜12M)之间设定位置偏移d1。具体地，以相对于像素区13A沿着横向(在这个结构中，水平方向)偏移的这种状态排列微透镜12M。这个位置偏移d1的大小(偏移宽度)被设定为例如0.5Pw(Pw：像素宽度)。偏移宽度优选为0.5Pw。但是，偏移宽度不被限制于此，只要其小于一个像素的宽度即可。
例如，图像处理器14执行对于通过成像元件13所获取的成像数据D0的预定图像处理，并输出图像数据Dout作为视差图像。下文将描述这个图像处理器14的具体的图像处理操作。
成像元件驱动器15驱动成像元件13，并控制成像元件13的光接收操作。
控制器16控制图像处理器14和成像元件驱动器15的操作，并由例如微型计算机构成。
成像设备1的操作和效果
下面，将描述在成像设备1中的成像操作(光接收操作)和图像处理操作。就图像处理而言，将作为实例描述用于三维显示的目的生成左右两个视点的视差图像的视差图像生成处理。
成像操作
在成像设备1中，在成像透镜11与成像元件13之间的预定位置处提供微透镜阵列12。由于这个特性，将来自成像目标2的光线作为保存了关于光线传播方向及光线强度分布的信息的光线矢量记录在成像元件13中。具体地，如图3所示，如果假设直角坐标系(u，v)在成像透镜11的透镜平面上并且假设直角坐标系(x，y)在成像元件13的成像平面上，则通过四维函数LF(x，y，u，v)表示通过成像透镜11和成像元件13的光线L1。在成像元件13中，响应通过成像元件驱动器15的驱动操作以像素为单位读取光线数据，使得获取成像数据D0。
相应于微透镜阵列12中的微透镜的二维坐标以微透镜为单位在成像元件13上形成通过成像透镜11的成像目标2的图像。下面，将根据与比较例1的比较来描述当透镜分配像素数为3×3时的光接收区。图4为作为比较例1的在像素和微透镜120M排列成无位置偏移的情况下的左右视点的光接收区。为了方便，为对于获取光线数据必需的像素指定编号(其同样适用于随后的图中)。如果通过这种方式相对于由3×3个像素所构成的像素区13A没有位置偏移地排列微透镜120M，则为了从左右两个视点获取光线数据，利用在图4中通过“1”和“2”所表示的位置处的像素的像素数据。但是，在相应于“1”和“2”的位置的像素中，其光接收区DR和DL很容易受到微透镜边缘的影响(图4中通过虚线所围绕的部分)，因此，很难以高精度获取所期望的光线数据。
相反，在本实施例中，在像素区13A与微透镜12A之间设定位置偏移d1。图5为在成像元件13中的左右视点的光接收区。如图5所示，在本实施例中，为了获取左右两个视点的光线数据，利用在图5中通过“1”和“2”所表示的位置处的像素的像素数据。具体地，由于位置偏移d1，与比较例1相比，“1”和“2”的像素的光接收区DR和DL很难受到微透镜边缘的影响，因此，很容易以高精度获取所期望的光线数据。此外，如果希望获取左右两个视点的光线数据，则因此不需要除“1”和“2”之外的像素的像素数据。因此，优选通过成像元件驱动器15的驱动仅选择性读出必需的“1”和“2”的像素的像素数据。
另外，因为位置偏移d1的偏移宽度设定为0.5Pw，所以能够获取左侧视点的光线数据和右侧视点的光线数据，使其关于光轴彼此对称。这个特性能够减小左右视差图像之间的亮度差，并且能够使各个视差图像的亮度一致。
另一方面，在成像元件13的光接收平面侧排列彩色滤色片(没有示出)。因此，作为依赖于这个彩色滤色片的颜色排列的色彩数据，记录了成像数据D0。以上述方式所获取的成像数据D0被输出至图像处理器14。
图像处理操作
例如，图像处理器14根据成像数据D0生成左右两个视差图像。具体地，通过成像数据D0，为每个微透镜12M提取相同位置处的像素(在本实施例中，在图5中的“1”(或“2”)位置处的像素)，并且将所提取出的像素数据彼此合成。通过将在“1”位置处的像素的像素数据彼此合成，生成了左侧视点的视差图像，通过将在“2”位置处的像素的像素数据彼此合成，生成了右侧视点的视差图像。对于这些左右两个视差图像，通过色彩插值处理器(没有示出)执行诸如去马赛克处理的色彩插值处理。因此，彩色视差图像作为图像数据Dout被输出。例如，图像处理器14可以包括缺陷检测器、箝位处理器、缺陷校正处理器、色彩插值处理器、噪声降低处理器、轮廓增强处理器、白平衡调节处理器及伽马校正处理器(图中没有示出它们)。
如上所述，在本实施例中，微透镜阵列12排列在成像透镜11与成像元件13之间。因此，来自成像目标2的光线能够作为其视点彼此不同的光线矢量接收。此时，因为微透镜排列成相对于具有例如3×3个像素的像素区13A沿着横向偏移，所以能够以高精度获取左侧视点和右侧视点的光线数据，并避免了微透镜边缘的影响。此外，在这种情况下，如果仅选择性读出必需的像素数据(例如，在图5中的“1”和“2”位置处像素的像素数据)，则能够实现高速数据处理。因此，能够以高精度和高效率获取所期望的视点的光线数据。此外，这样能够生成包含较低的图像质量劣化的视差图像。
此外，以上述方式所生成的视差图像能够适当地用于例如立体系统或时分系统的三维图像显示。就三维显示系统的一个实例而言，将描述通常的立体系统的系统。在立体系统中，例如，通过等效于人眼的两台像机摄影所获取的用于左眼和右眼的两个图像(两个视差图像)通过使用两台投影仪同时投影在画面上，并且戴了偏光镜的观察者观察这个画面上的视频。此时，对于两台投影仪而言，彼此正交的偏振光线分别用作用于左眼和右眼的投影光线。作为偏光镜，使用这样的偏光镜，左眼镜片和右眼镜片仅透射彼此正交的偏振光线中的相应的一个。通过使用偏光镜，观察者通过左眼观察用于左眼的图像并通过右眼观察用于右眼的图像。这使观察者感知到图像为提供了深度感的三维图像。
在本实施例中，能够通过成像设备1生成左右两个视差图像，因此，不需要类似于上述系统中的两个像机。在成像设备1中所生成的左右两个视差图像通过使用类似于上述的投影仪投影在画面上，并且通过偏光镜观察投影的图像。因此，能够实现三维显示。因此，能够通过简单的结构实现提供了令人满意的显示质量的三维显示系统。
接下来，将在下面对变形例(变形例1和2)关于在上述第一实施例的成像设备1中的成像元件13与微透镜12M之间的配置关系进行描述。除了成像元件13与微透镜12M之间的配置关系不同之外，变形例1和2具有与上述第一实施例的成像设备1相同的结构。
变形例1
图6示出了根据变形例1的成像元件13与微透镜12M之间的配置关系。在本变形例中，以在成像元件13中相对于由3×3个像素所构成的像素区13A沿着纵向(在这个结构中，垂直方向)偏移(位置偏移d2)的这种状态排列微透镜12M。类似于在上述第一实施例中的位置偏移d1，位置偏移d2优选为0.5Pw。
在变形例1中，例如，由于这种配置关系，避免了在与上视点和下视点相应的像素的光接收区DB和DU中微透镜边缘的影响，并且能够以高精度获取上下两个视点的光线数据。此外，类似于上述第一实施例，如果仅选择性读出与这些上下视点相应的像素的像素数据，则能够实现高速数据处理。因此，能够实现与上述第一实施例相同的优势效果。
变形例2
图7示出了根据变形例2的成像元件13与微透镜12M之间的配置关系。在本变形例中，以在成像元件13中相对于由3×3个像素所构成的像素区13A沿着横向和纵向两个方向(即，沿着斜向)偏移(位置偏移d3)的这种状态排列微透镜12M。将位置偏移d3的偏移宽度设定为在“1”～“4”的各个位置处的像素移至由微透镜12M所围绕的区域的这样的大小，并且优选为这四个像素关于光轴彼此对称的这样的大小。
在变形例2中，由于这种配置关系，如果透镜分配像素数为3×3(即，9)，则在这9个像素的4个像素(“1”～“4”的像素)的光接收区中能够避免微透镜边缘的影响。在上述比较例1中的配置关系的情况下，即，如果相对于像素区13A无位置偏移地排列微透镜，则如图4所示，所有9个像素除了中心像素，即，所有8个周围像素受到微透镜边缘的影响。因此，很难以高精度获取许多视点的各光线数据。相反，本变形例的配置关系能够以高精度获取至少四个视点处的光线数据。此外，如果仅选择性读出这四个像素数据，则能够实现高速数据处理。因此，能够实现与上述第一实施例相同的优势效果。
第二实施例
图8示出了根据本发明第二实施例的成像元件与微透镜之间的配置关系。除了透镜分配像素数及成像元件13与微透镜17M之间的配置关系外，本实施例与上述第一实施例具有相同的结构。即，根据本实施例的配置关系被应用于根据第一实施例的成像设备1。在下面的描述中，对于与上述第一实施例中相同的组件给出相同的数字和符号，因此，将忽略对其的描述。
成像元件13与微透镜17M之间的配置关系
在本实施例中，透镜分配像素数为2×2(4)。在这种情况下，通常排列微透镜(微透镜170M)，使其相对于在图8中通过粗线框所围绕的像素区13B不包含位置偏移。由于这种结构，通过各个微透镜的光线被像素区13B中的四个像素的每一个接收。
在本实施例中，在由2×2个像素所构成的像素区13B与微透镜(微透镜17M)之间设定位置偏移d2。具体地，以相对于像素区13B沿着纵向(在这个结构中，垂直方向)偏移的这种状态排列微透镜17M。
第二实施例的操作和效果
下面，将根据与比较例2的比较来描述本实施例的操作和效果。图9为用于说明比较例2的在其间无位置偏移地排列成像元件130和微透镜170M的情况下的读取操作的示图。图10为用于说明本实施例中的读取操作的示图。
在本实施例中，在成像元件13中，类似于上述第一实施例，获取来自左右两个视点的成像目标2的光线数据。在图9所示的比较例2中，为了获取关于光轴彼此对称的左右两个视点的光线数据，需要对在相同纵向线上的像素的像素数据(即，在图9中的“1”和“3”像素的像素数据和“2”和“4”像素的像素数据)进行积分。因此，需要读出“1”～“4”的所有透镜分配像素的像素数据，因此，对于每个微透镜170M需要两条读取线(R1和R2)。此外，在比较例2中，在“1”～“4”的所有像素中，微透镜170M边缘的影响很大，因此，很难以高精度获取光线数据。此外，对这四个像素数据执行积分处理。这不仅引起处理步骤数增多的劣势，而且引起如果在随后阶段的图像处理中生成了视差图像则视差像素的场深度很小的劣势。
相反，在本实施例中，如图10所示，通过对于每个微透镜17M读出“1”和“2”位置处像素的像素数据，能够获取关于光轴彼此对称的左右两个视点的光线数据。即，通过利用包含位置偏移d2的配置关系，允许对于每个微透镜17M通过一条读取线R1读取。因此，通过仅选择性读取所需的像素数据，能够实现高速数据处理。另外，在这种情况下，也不需要像上述比较例2中一样的积分处理，因此，能够生成其场深度很大的视差图像。
此外，在图10的结构中，尽管在“1”和“2”位置处的像素的光接收区DR和DL轻微地受到微透镜边缘的影响，但是与上述比较例2相比，能够降低其影响。因此，在本实施例中，类似于上述第一实施例，也能够以高精度和高效率获取所期望视点的光线数据。
变形例3
图11示出了根据变形例3的成像元件13与微透镜17M之间的配置关系。在本变形例中，以在成像元件13中相对于由2×2个像素所构成的像素区13B沿着横向(在这个结构中，水平方向)偏移(位置偏移d1)的这种状态排列微透镜17M。
在变形例3中，由于这种配置关系，例如，在相应于上视点和下视点的像素(图11中“1”和“2”位置处的像素)的光接收区DB和DU中，减小了微透镜边缘的影响，使其更容易以高精度获取上下两个视点的光线数据。此外，仅通过一条读取线R1就能读出在“1”和“2”这些位置处像素的必需的像素数据，因此，能够实现高速数据处理。因此，能够实现与上述第二实施例相同的优势效果。
尽管已经在上面描述了本发明的实施例及其变形例，但是本发明不被限制于上述实施例，能够对其进行各种修改。例如，已经以透镜分配像素(m×n)数为2×2或3×3的情况作为实例描述了上面的实施例。但是，透镜分配像素数不被限制于此，m和n可以大于等于4。
此外，已将由成像元件13获取的成像数据所生成的视差图像应用于立体系统的三维显示的情况作为实例，描述了上面的实施例。但是，在本发明实施例中所获取的视差图像也能够用于除了上述三维显示的其它目的。例如，也能够通过利用类似于上述的方法根据成像数据生成至少两个视差图像，并根据这些视差图像执行预定的相关计算处理来获取与测量目标的距离信息。
本领域的技术人员能够理解的是，只要包含在本发明所附的权利要求书的范围内或其等同范围内，根据设计要求和其他因素，本发明可以有各种修改、组合、子组合和变化。

Claims (7)

1.一种成像设备，包括：
成像透镜，被配置为具有孔径光阑；
成像元件，被配置为包括沿着纵向和横向二维排列的多个像素，并且根据所接收的光来获取成像数据；以及
微透镜阵列，被配置为设置在所述成像透镜与所述成像元件之间，并且包括多个微透镜，在所述成像元件中的由m×n个像素所构成的像素区被分配给各个所述微透镜，m和n表示在所述纵向和所述横向上大于等于2的数，其中
在每个所述微透镜与相应的像素区之间设定小于一个像素宽度的相同位置偏移。
2.根据权利要求1所述的成像设备，其中
沿着所述纵向、所述横向或斜向设定所述位置偏移。
3.根据权利要求1所述的成像设备，其中
所述位置偏移的偏移宽度为0.5Pw，Pw表示像素宽度。
4.根据权利要求1所述的成像设备，其中
所述m和n各自为3，并且沿着水平方向设定所述位置偏移。
5.根据权利要求1所述的成像设备，其中
所述m和n各自为2，并且沿着垂直方向设定所述位置偏移。
6.根据权利要求1所述的成像设备，还包括
图像处理器，被配置为根据所述成像元件获取的成像数据，提取在所述多个微透镜间的相同位置处设置的各个像素的像素数据，并将所提取的像素数据彼此合成，从而生成多个视差图像。
7.根据权利要求1所述的成像设备，进一步包括
成像元件驱动器，被配置为以仅对所述多个像素中的部分像素选择性执行像素数据的读取的方式驱动所述成像元件。
CN2010101709426A 2009-05-08 2010-04-29 成像设备 Expired - Fee Related CN101883215B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-113943 2009-05-08
JP2009113943A JP5515396B2 (ja) 2009-05-08 2009-05-08 撮像装置

Publications (2)

Publication Number Publication Date
CN101883215A CN101883215A (zh) 2010-11-10
CN101883215B true CN101883215B (zh) 2013-05-08

Family

ID=43055092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101709426A Expired - Fee Related CN101883215B (zh) 2009-05-08 2010-04-29 成像设备

Country Status (3)

Country Link
US (1) US8456565B2 (zh)
JP (1) JP5515396B2 (zh)
CN (1) CN101883215B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011081187A1 (ja) * 2009-12-28 2011-07-07 株式会社ニコン 撮像素子、および、撮像装置
CN103026170B (zh) 2010-08-06 2015-04-01 松下电器产业株式会社 摄像装置以及摄像方法
JP5421207B2 (ja) 2010-08-25 2014-02-19 株式会社東芝 固体撮像装置
JP5254291B2 (ja) * 2010-09-07 2013-08-07 株式会社東芝 固体撮像装置
JP5127899B2 (ja) 2010-09-14 2013-01-23 株式会社東芝 固体撮像装置
JP5906062B2 (ja) * 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP5785398B2 (ja) * 2011-02-17 2015-09-30 キヤノン株式会社 撮像装置及び画像信号処理装置
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
JP5351195B2 (ja) * 2011-03-08 2013-11-27 株式会社東芝 固体撮像装置および携帯情報端末
WO2012143983A1 (ja) 2011-04-22 2012-10-26 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
US8717483B2 (en) 2011-04-22 2014-05-06 Panasonic Corporation Imaging device, imaging system, and imaging method
EP2725802A4 (en) 2011-06-23 2014-07-02 Panasonic Corp IMAGING DEVICE
WO2013069445A1 (ja) * 2011-11-11 2013-05-16 富士フイルム株式会社 立体撮像装置及び画像処理方法
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
WO2013080551A1 (ja) 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置
JP5310837B2 (ja) * 2011-12-28 2013-10-09 カシオ計算機株式会社 画像生成装置、デジタルカメラ、方法、及びプログラム
JP5917158B2 (ja) * 2012-01-13 2016-05-11 キヤノン株式会社 撮像装置、その制御方法及び撮像システム
TW201333537A (zh) * 2012-02-03 2013-08-16 Novatek Microelectronics Corp 感光裝置與光學設定方法
EP2829912B1 (en) * 2012-03-21 2017-05-24 FUJIFILM Corporation Image capture device
GB2501936B (en) * 2012-05-11 2016-11-30 Canon Kk Micro lens array and imaging apparatus
EP2750391B1 (en) 2012-12-31 2017-03-22 Nokia Technologies Oy Method, apparatus and computer program product for processing of images
WO2014112002A1 (ja) * 2013-01-15 2014-07-24 オリンパス株式会社 撮像素子、及び撮像装置
US20140354777A1 (en) * 2013-05-29 2014-12-04 Electronics And Telecommunications Research Institute Apparatus and method for obtaining spatial information using active array lens
JP6061816B2 (ja) 2013-08-22 2017-01-18 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015060068A (ja) 2013-09-18 2015-03-30 株式会社東芝 撮像レンズ及び固体撮像装置
JP2015060067A (ja) 2013-09-18 2015-03-30 株式会社東芝 撮像レンズ及び固体撮像装置
CN104090372B (zh) * 2014-07-11 2017-04-05 北京理工大学 基于衍射光学元件的波导式集成成像三维显示系统
JP6320870B2 (ja) * 2014-07-31 2018-05-09 株式会社東芝 顕微撮影装置を用いた観察方法
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
KR102018984B1 (ko) * 2018-05-15 2019-09-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 베이스라인을 증가시키기 위한 카메라 시스템
US11030724B2 (en) * 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
CN113596285B (zh) * 2020-04-30 2023-07-04 北京小米移动软件有限公司 摄像模组、电子设备和3d图像的生成方法
CN115278065A (zh) * 2022-07-18 2022-11-01 奕目(上海)科技有限公司 光场成像方法、光场成像系统、光场相机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006077506A1 (en) * 2005-01-18 2006-07-27 Koninklijke Philips Electronics N.V. Multi-view display device
CN101043046A (zh) * 2006-03-24 2007-09-26 松下电器产业株式会社 固态摄像设备
CN101065955A (zh) * 2004-10-01 2007-10-31 利兰·斯坦福青年大学托管委员会 成像装置及其方法
CN101345826A (zh) * 2007-07-13 2009-01-14 索尼株式会社 图像拾取设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178629B2 (ja) * 1992-11-24 2001-06-25 株式会社ニコン 固体撮像装置およびその製造方法
JP2004191893A (ja) * 2002-12-13 2004-07-08 Canon Inc 撮像装置
KR101134208B1 (ko) 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7522341B2 (en) * 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
JP4915126B2 (ja) * 2006-04-10 2012-04-11 株式会社ニコン 固体撮像装置、および電子カメラ
JP5066851B2 (ja) * 2006-07-05 2012-11-07 株式会社ニコン 撮像装置
JP5380782B2 (ja) * 2007-03-26 2014-01-08 株式会社ニコン 撮像装置
JP5115068B2 (ja) * 2007-07-13 2013-01-09 ソニー株式会社 撮像装置
US8680451B2 (en) * 2007-10-02 2014-03-25 Nikon Corporation Light receiving device, focus detection device and imaging device
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065955A (zh) * 2004-10-01 2007-10-31 利兰·斯坦福青年大学托管委员会 成像装置及其方法
WO2006077506A1 (en) * 2005-01-18 2006-07-27 Koninklijke Philips Electronics N.V. Multi-view display device
CN101043046A (zh) * 2006-03-24 2007-09-26 松下电器产业株式会社 固态摄像设备
CN101345826A (zh) * 2007-07-13 2009-01-14 索尼株式会社 图像拾取设备

Also Published As

Publication number Publication date
CN101883215A (zh) 2010-11-10
US8456565B2 (en) 2013-06-04
JP2010263501A (ja) 2010-11-18
US20100283884A1 (en) 2010-11-11
JP5515396B2 (ja) 2014-06-11

Similar Documents

Publication Publication Date Title
CN101883215B (zh) 成像设备
US8451352B2 (en) Image pickup apparatus
CN102917235B (zh) 图像处理装置和图像处理方法
US7643552B2 (en) Method for displaying three-dimensional image, method for capturing three-dimensional image, and three-dimensional display apparatus
CN101888481B (zh) 成像设备
CN102625034B (zh) 图像拾取单元
CN101867707B (zh) 成像装置
CN101800854B (zh) 图像拾取装置
CN102342116B (zh) 三维摄像装置
US20080225113A1 (en) Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data
KR101357163B1 (ko) 휘도를 향상한 오토 스테레오스코픽 디스플레이 장치
US20090116108A1 (en) Lenticular Autostereoscopic Display Device and Method, and Associated Autostereoscopic Image Synthesizing Method
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN101656835A (zh) 图像拾取设备、显示器和图像处理设备
CN102595170A (zh) 图像摄取装置和图像处理方法
CN103297796A (zh) 一种基于集成成像的双视3d显示方法
JP2020514811A5 (zh)
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
JP2020514810A5 (zh)
JP6288088B2 (ja) 撮像装置
US20140307060A1 (en) Image sensor
CN213634008U (zh) 一种裸眼三维图像显示装置
JP3234354B2 (ja) 投写型映像表示装置
KR102315931B1 (ko) 집적영상 디스플레이 장치
KR101305873B1 (ko) 3차원 픽셀 구조

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130508

Termination date: 20210429

CF01 Termination of patent right due to non-payment of annual fee