CN101345826A - 图像拾取设备 - Google Patents

图像拾取设备 Download PDF

Info

Publication number
CN101345826A
CN101345826A CNA2008101335149A CN200810133514A CN101345826A CN 101345826 A CN101345826 A CN 101345826A CN A2008101335149 A CNA2008101335149 A CN A2008101335149A CN 200810133514 A CN200810133514 A CN 200810133514A CN 101345826 A CN101345826 A CN 101345826A
Authority
CN
China
Prior art keywords
image pick
image
pixel
aperture diaphragm
pick
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101335149A
Other languages
English (en)
Other versions
CN101345826B (zh
Inventor
山本健二
吉冈重笃
市村功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101345826A publication Critical patent/CN101345826A/zh
Application granted granted Critical
Publication of CN101345826B publication Critical patent/CN101345826B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供了一种图像拾取设备，能够增加再生图像中的像素数量而不降低拾取图像的图像质量。该图像拾取设备包括：图像拾取透镜部，包括具有多个开口部的孔径光阑；图像拾取装置，基于所接收的光来获得图像拾取数据；以及微透镜阵列部，在图像拾取透镜部和图像拾取装置之间配置在图像拾取透镜部的焦平面上，并包括用于图像拾取装置的多个像素的一个微透镜。

Description

图像拾取设备
相关申请的交叉参考
本发明包含2007年7月13日提交的日本专利申请JP2007-184211的主题，其全部内容结合于此作为参考。
技术领域
本发明涉及使用微透镜阵列的图像拾取设备。
背景技术
过去，已经提出并开发了各种图像拾取设备。而且，已经提出了对通过拾取图像而获得的图像拾取数据执行预定图像处理以输出图像拾取数据的图像拾取设备。
例如，在国际专利公布第06/039486号以及Ren.Ng等人的“Light Field Photography with a Hand-Held Plenoptic Camera”，Stanford Tech Report CTSR 2005-02中，提出了使用被称为“光场摄影(Light Field Photography)”技术的图像拾取设备。该图像拾取设备包括图像拾取透镜、微透镜阵列、图像拾取装置和图像处理部，并在图像拾取透镜中包括在中心部分具有单个开口的孔径光阑。通过这种结构，由图像拾取装置获得的图像拾取数据包括感光面上光的强度分布以及关于光的行进方向的信息。因此，图像处理部能够再生从任意视点或任意方向(下文简称为视场)所观察到的图像。
发明内容
在上述微透镜阵列中，配置了多个微透镜，并且图像拾取装置的多个像素与每个微透镜相关联。在使用上述技术的情况下，再生图像中的像素数量等于微透镜阵列中微透镜的数量。这是因为关于再生图像的二维坐标信息由微透镜阵列的坐标来确定。因此，再生图像的二维坐标中像素数量等于通过将图像拾取装置的像素总数除以与每个微透镜相关联的像素数量而确定的数量。另一方面，与每个微透镜相关联的像素数量等于光线角度信息的分辨率，并确定再生图像的任意视场中的分辨率，即，确定视点的数量和再生图像的方向。因此，在任意视场中的分辨率与二维坐标中像素数量之间存在权衡关系。
因此，在图像拾取装置的总像素数量固定的情况下，当微透镜的数量增加时，图像拾取装置中与每个微透镜相关联的像素数量减少，从而可以增加再生图像的二维坐标中的像素数量。
然而，在与每个微透镜相关联的像素数量减少的情况下，被每个像素接收的光线的行进方向的分辨率降低，从而难以获得关于期望行进方向的光线的信息。因此，当通过图像处理形成再生图像时，再生图像的图像质量降低。
考虑到上述情况，期望提供一种获取图像拾取数据的图像拾取设备，能够当通过图像处理形成再生图像时增加像素的数量而不会降低再生图像的图像质量。
根据本发明的实施例，提供一种图像拾取设备，包括：图像拾取透镜部，包括孔径光阑，该孔径光阑包括多个开口部；图像拾取装置，基于所接收的光来获得图像拾取数据；以及微透镜阵列部，在图像拾取透镜部和图像拾取装置之间配置在图像拾取透镜部的焦平面上，并包括用于图像拾取装置的多个像素的一个微透镜。
在根据本发明的所述实施例的图像拾取设备中，在微透镜阵列部上形成通过图像拾取透镜部所拾取的对象的图像。然后，进入微透镜阵列部的光线到达图像拾取装置，并被对应于每个微透镜的多个像素所接收，从而获得包括关于光的行进方向的信息的图像拾取数据。在这种情况下，上述图像拾取透镜部的孔径光阑包括多个开口部，从而由每个开口部限制了光通量，并且在图像拾取装置中，在对应于每个开口部的像素区域中接收光。因此，即使在增加微透镜的数量以减小与每个微透镜相关联的图像拾取装置的像素数量的情况下，在一个像素中，光通量也会被开口部所限制，只有行进方向受到限制的光线才穿过开口部，使得与在图像拾取透镜的孔径光阑中配置单个开口部的现有技术相比，易于获得关于期望行进方向的光线的信息。
在根据本发明实施例的图像拾取装置中，图像拾取透镜的孔径光阑包括多个开口部，使得即使在增加微透镜的数量以减少与每个微透镜相关联的像素数量的情况下，在图像拾取装置中，通过每个开口部限制光通量后接收，使得在一个像素的感光区域中，易于获得关于期望行进方向的光线的信息。因此，当执行图像处理以获得再生图像时，可以增加再生图像中的像素数量，而不降低图像质量。
根据以下的描述，将更完整地呈现本发明的其它和进一步的目的、特征和优点。
附图说明
图1是示出根据本发明第一实施例的图像拾取设备的整体结构的示图；
图2是示出图1所示孔径光阑的示意性平面图；
图3A和图3B是示出微透镜阵列的示意性平面图；
图4是用于描述关于进入图像拾取装置的光线的信息的示图；
图5是示出作为比较实例的相关技术的图像拾取设备的整体结构的示图；
图6是示出在使用图5所示图像拾取设备的情况下的图像拾取装置上的感光区域的示图；
图7是由图5所示图像拾取设备实际获得的图像；
图8是示出比较实施例中感光区域的示图；
图9A和图9B是示出从图8所示感光区域中提取的像素的示图；
图10是示出根据本发明实施例的图像拾取装置上的感光区域的示图；
图11是示出从图10所示感光区域提取的像素的示图；
图12A和图12B是示出图1所示图像拾取设备的应用实例的示图；
图13A和图13B是示出根据修改例1的滤色器结构的示图；
图14是示出根据修改例2的孔径光阑的结构的示图；
图15是示出根据修改例3的孔径光阑的结构的示图；
图16是示出在使用图15所示孔径光阑的情况下的图像拾取装置上的感光区域的示图；以及
图17A和图17B是示出在使用图15所示孔径光阑的情况下的滤色器的结构的示图。
具体实施方式
下面，将参考附图详细描述优选实施例。
图1示出了根据本发明第一实施例的图像拾取设备(图像拾取设备1)的整体结构。图像拾取设备1拾取对象2的图像以输出图像拾取数据Dout，并且从靠近对象2的一侧开始依次包括孔径光阑(aperture stop)10、图像拾取透镜11、微透镜阵列12、图像拾取装置13、图像处理部14、图像拾取装置驱动部15和控制部16。
孔径光阑10是图像拾取透镜11的光学孔径光阑。稍后将描述孔径光阑10的具体结构。
图像拾取透镜11是用于拾取对象图像的主透镜，并包括例如用在摄像机、相机等中的典型图像拾取透镜。
在微透镜阵列12中，配置多个稍后描述的微透镜，并且微透镜阵列12配置在图像拾取透镜11的焦平面上(图中的符号f1是指图像拾取透镜11的焦距)。稍后将描述微透镜阵列12的具体结构。
图像拾取装置13接收来自微透镜阵列12的光以获得图像拾取数据，并配置在微透镜阵列12的焦平面上(图中的符号f2是指微透镜阵列12的焦距)。图像拾取装置13包括诸如以矩阵形式配置的多个CCD(电荷耦合器件)或多个CMOS(互补金属氧化物半导体)等的二维图像拾取装置。
在这种图像拾取装置13的感光面(靠近微透镜阵列12的面)上，以矩阵式配置M×N(M和N均为整数)个图像拾取像素(像素P)，并且多个像素P与微透镜阵列12中的一个微透镜相关联。例如，感光面上的像素P的数量为M×N＝3720×2520＝9374400。与每个微透镜相关联的像素数量(m×n)与再生图像的任意视场中的分辨率相关，从而再生图像的任意视场中的分辨率随m和n值的增加而增加。另一方面，(M/m)和(N/n)值与再生图像中的像素数量(分辨率)相关，使得再生图像中的像素数量随(M/m)和(N/n)值的增加而增加。因此，在再生图像的任意视场中的分辨率和像素数量之间存在权衡关系。
图像处理部14对通过图像拾取装置13获得的图像拾取数据执行预定的图像处理，并作为图像拾取数据Dout输出图像拾取数据。更具体地，例如，执行使用称为“光场摄影”技术的运算处理，从而可以在任意视场中再生图像。
图像拾取装置驱动部15驱动图像拾取装置13，并控制图像拾取装置13的感光操作。
控制部16控制图像处理部14和图像拾取装置驱动部15的操作，并包括例如微型计算机等。
接下来，参考图2描述孔径光阑10的具体结构。图2示出了孔径光阑10的示意性平面图。
例如，孔径光阑10为圆形，并包括4个开口部10A。例如，开口部10A沿孔径光阑10的圆周(在圆周侧的区域中)配置，以相对于孔径光阑10的中心点彼此旋转对称。不具体限制开口部10A的形状；然而，优选小尺寸的开口部10A。因为尺寸越小，越容易提取光线的行进方向。此外，开口部10A的数量优选等于在图像拾取装置13中与每个微透镜相关联的像素数量(在该实施例中，数量为4)。
接下来，参考图3A和图3B描述微透镜阵列12的具体结构。图3A和图3B是微透镜阵列12的平面图。
如图3A所示，在微透镜阵列12中，多个微透镜12-1以矩阵形式进行二维配置。微透镜12-1的平面形状为圆形。可选地，如图3B所示，可以二维地配置正方形微透镜12-2。此外，这种微透镜12-1和12-2由例如液晶透镜、液体透镜、衍射透镜等制成。
此外，图像拾取装置13的2×2＝4个像素P(四个像素P)与一个微透镜相关联，并且是该实施例中任意视场中的分辨率，使得能够获得总共四个视场中的图像。另一方面，微透镜阵列12包括通过将整个图像拾取装置13的像素数量除以4所确定的数量的微透镜，并且在该实施例中微透镜的数量是再生图像中像素的数量。在以下的描述中，图3A所示、二维配置的圆形微透镜阵列被用作微透镜阵列12。
接下来，将参照图1～图4、图10和图11描述根据本实施例的图像拾取设备1的功能和效果。图10示出了该实施例中图像拾取装置13的感光区域，以及图11示出了在图像处理期间从图10所示感光区域提取预定区域的状态。
首先，将参考图1～图4描述图像拾取设备1的基本功能。在图像拾取设备1中，在微透镜阵列12上形成由图像拾取透镜11所获得的对象2的图像。然后，微透镜阵列12的入射光线通过微透镜阵列12被图像拾取装置13接收。此时，根据入射光线的入射方向，微透镜阵列12的入射光线在图像拾取装置13的不同位置被接收。
这里，将参考图4描述由图像拾取装置13接收的光。如图4所示，假设在图像拾取透镜11的图像拾取透镜面上定义直角坐标系(u，v)，在图像拾取装置13的图像拾取面上定义直角坐标系(x，y)，并且图像拾取透镜11的图像拾取透镜面与图像拾取装置13的图像拾取面之间的距离为F，图中所示穿过图像拾取透镜11和图像拾取装置13的光线L1由四维函数LF(x，y，u，v)表示，使得在图像拾取装置13中存储处于以下状态的光线L1：除关于光线位置的信息之外，还保持光线的行进方向。换句话说，通过与每个微透镜相关联的多个像素的配置来确定光线的入射方向。
当以这种方式由图像拾取装置13接收光时，响应于图像拾取装置驱动部15的驱动操作，从图像拾取装置13获得图像拾取数据，并且图像拾取数据被输入至图像处理部14。图像处理部14响应于控制部16的控制对图像拾取数据执行预定的图像处理，从而根据图像拾取数据Dout输出再生图像。
接下来，参照图10和图11，通过与图5～图9A和图9B所示的相关技术的图像拾取设备相比较来描述图像拾取设备1的特性功能。图5示出了相关技术中使用孔径光阑的图像拾取设备的示意图，图6示出了在使用图5所示图像拾取设备的情况下的图像拾取装置的感光区域，图7示出了在图5所示图像拾取设备中实际获得的图像，图8、图9A和图9B示出了通过使用相关技术中的孔径光阑而减少与每个微透镜相关联的像素数量的情况下的感光区域。
如图5所示，相关技术的图像拾取设备从靠近对象2的一侧开始依次包括具有孔径光阑100的图像拾取透镜110、微透镜阵列120和图像拾取装置130，并且孔径光阑100在其中心部分包括一个圆形开口部100A。因此，如上所述，穿过孔径光阑100A的所有光线均保持关于行进方向的信息。
因此，在相关技术的结构中，如图6所示，在通过投影孔径光阑的圆形所形成的圆形感光区域130-1中接收光。此外，在图像拾取装置130中，一个微透镜与配置了15×15＝225个像素P的区域相关联。此外，如上所述，通过与每个微透镜相关联的像素P的位置来确定光线的入射方向。因此，在每个微透镜中提取在相同位置形成图像的一个像素P的输出之后，合成所提取的输出。从而，例如，获得图7所示一个方向上的再生图像。配置了与每个微透镜相关联的像素P的区域(再生像素区域130D)对应于再生图像的一个像素。
因此，在图像拾取装置13的像素数量固定的情况下，与每个微透镜相关联的像素数量越少，再生图像中像素的数量就越多，并且分辨率也就越高。
如图8所示，考虑到在相关技术中通过使用孔径光阑来增加微透镜的数量以将与每个微透镜相关联的像素数量设置为2×2＝4的情况。在这种情况下，如图9A所示，在提取的像素P10中，其感光区域具有扇形的形状。此时，如图9B所示，在圆弧附近的区域132A和顶角附近的区域中所接收到的光线的行进方向彼此不同。在一个提取像素P10的感光区域130-1中，所接收光线的行进方向的分散性增加，使得难以获得关于期望行进方向中的光线的信息。因此，在通过合成所提取像素P10来再生图像的情况下，当与每个微透镜相关联的像素数量减少时，可以增加再生图像中像素的数量，但图像质量下降。
另一方面，在本实施例中，孔径光阑10包括4个彼此旋转对称配置的开口部10A，使得如图10所示，在图像拾取装置13上，在配置与每个微透镜相关联的像素的区域(再生像素区域13D)中形成与4个开口部10A相对应的4个感光区域13-1。此外，与每个微透镜相关联的像素P的数量等于开口部10A的数量，即，4个(2×2)。
在这种结构中，如图11所示，在一个提取像素P1中的感光区域13-1中，与图9A和图9B所示的感光区域130-1相比，限制了进入图像拾取装置13的光通量，使得只有行进方向受到限制的光线穿过开口部10A。因此，易于获得关于一个提取像素P中期望行进方向的光线信息。
此外，多个开口部10A配置在孔径光阑10的圆周侧区域中，使得能够获得关于相对于正向具有更大视场的光线的信息。
如上所述，在本实施例中，当在孔径光阑10中配置4个开口部10A时，限制了进入图像拾取装置13的光通量，即使在与每个微透镜相关联的像素数量减少的情况下，也容易获得关于每个像素P中期望方向的光线的信息。因此，可以在不降低图像质量的情况下，增加再生图像中的像素数量。
此外，上述图像拾取设备1可应用于如图12A和图12B所示的数码相机3。图12A和图12B示出了数码相机3的示意图，图12A示出了正视图，而图12B示出了侧视图。数码相机3包括外壳300中的图像拾取设备1，并且在外壳300上配置快门17、闪光灯18、取景光学系统19等。此外，除这样的相机之外，图像拾取装置1还可应用于位置传感器、生物传感器、光学显微镜等。
接下来，将描述本发明的修改例。
修改例1
图13A和图13B示出了根据本发明修改例1的滤色器20和21的平面图。滤色器20和21均配置在图像拾取装置13的感光面上，以显示颜色拾取图像。
在图13A中，滤色器20具有对应于微透镜的每个区域12D，即，每个2×2像素的配置均被颜色编码的结构。此外，作为颜色配置，能够使用三原色滤色器的比例，即，红色(R)、绿色(G)和蓝色(B)的滤色器的比例为1∶2∶1且绿色滤色器规律地配置在对角线的结构(配置A)。在图13B中，滤色器21具有每个像素P均被颜色编码且使用与上述滤色器20相同的颜色配置(配置B)的结构。
因此，在本发明中，当配置每个预定像素区域均被颜色编码的滤色器时，可以显示颜色图像。此时，具体地，如图13A所示的滤色器20的情况下，当每个微透镜相应区域12D均被颜色编码时，与图13B不同，在每个微透镜中提取在相同位置中配置的像素以合成来自所提取像素的图像的情况下，即使在合成图像之后，也能建立相同的颜色配置。因此，与图13B相比，例如，容易执行诸如颜色内插的处理。
修改例2
图14示出了根据本发明修改例2的孔径光阑22的示意性平面图。孔径光阑22包括四个矩形开口部22A。此外，开口部22A在孔径光阑22的圆周侧彼此旋转对称配置。只要多个开口部具有相同的形状即可，开口部的形状不限于上述圆形，也可以是多边形。
修改例3
图15示出了根据本发明修改例3的孔径光阑23的示意性平面图。此外，图16示出了在使用孔径光阑23的情况下的图像拾取装置的感光区域，图17A和图17B示出了在使用孔径光阑23的情况下的滤色器的结构。孔径光阑23包括8个圆形开口部23A。此外，开口部23A在孔径光阑23的圆周侧彼此旋转对称配置。因此，如图16所示，在图像拾取装置13上，在配置与每个微透镜相关联的像素P的区域(再生像素区域25D)中形成对应于8个开口部23A的8个感光区域13-2。此外，与每个微透镜相关联的像素P的数量是9个(3×3)。
此外，在显示颜色图像的情况下，如图17A所示，可以配置滤色器26，其中，与每个微透镜相关联的像素P的每个配置(即，3×3的每个像素配置)均被颜色编码，或者如图17B所示，可以配置每个像素P均被颜色编码的滤色器27。然而，如图17A所示，当使用对应于每个微透镜的区域均被颜色编码的滤色器26时，与图17B不同，在每个微透镜中提取像素以合成来自所提取像素的图像的情况下，即使在合成图像之后也能建立相同的配置，使得与图17B相比，容易执行诸如颜色内插的处理。
可以在孔径光阑23的中心部分再配置一个开口部23A，使得开口部23A的数量变为9个。在这种结构中，除任意视场中的光线外，还能够获得在正向上行进的光线，使得可以再生正向上的图像。因此，在根据应用需要正向上的图像的情况下，优选地，开口部不仅配置在圆周侧，而且还配置在中心部分。
虽然参考实施例描述了本发明，但本发明不限于实施例，而是可以具有各种修改。例如，在上述实施例中，图像处理部14被描述为图像拾取设备1的一个部件；然而，图像处理部并不一定配置在图像拾取设备中。更具体地，图像处理部可以配置在除图像拾取设备以外的其它设备中，例如PC(个人计算机)等，并且在图像拾取设备中获得的图像拾取数据可以被传送至PC以在PC中对图像拾取数据执行图像处理。
此外，在上述实施例中，描述了孔径光阑中开口部的数量和与每个微透镜相关联的像素数量彼此相等的情况；然而，数量不是必须彼此相等，也可以彼此不同。
此外，在上述实施例中，在靠近图像拾取透镜的对象的一侧(入射侧)配置孔径光阑；然而，本发明不限于此，孔径光阑也可以配置在靠近图像拾取透镜的一侧(发射侧)或者在图像拾取透镜内。
在上述实施例中，红色、绿色和蓝色滤色器以1∶2∶1的比例配置且绿色滤色器配置在对角线上；然而，本发明并不限于这种情况，滤色器可以以任何其它比例进行配置，或者可以使用滤色器的任何其它配置。
本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (7)

1.一种图像拾取设备，包括：
图像拾取透镜部，包括孔径光阑，所述孔径光阑包括多个开口部；
图像拾取装置，基于所接收的光来获得图像拾取数据；以及
微透镜阵列部，在所述图像拾取透镜部和所述图像拾取装置之间配置在所述图像拾取透镜部的焦平面上，并包括用于所述图像拾取装置的多个像素的一个微透镜。
2.根据权利要求1所述的图像拾取设备，包括：
图像处理部，用于对通过所述图像拾取装置获取的图像拾取数据执行预定的图像处理。
3.根据权利要求2所述的图像拾取设备，其中：
在所述图像处理部从所述图像拾取数据中提取对应于各个微透镜的各个像素区域中相同位置的像素数据之后，所述图像处理部由所提取的像素数据合成再生图像。
4.根据权利要求1所述的图像拾取设备，其中：
所述开口部的数量等于所述图像拾取装置中与各个微透镜相关联的像素数。
5.根据权利要求1所述的图像拾取设备，其中：
所述孔径光阑具有圆形的形状，以及
所述多个开口部沿所述孔径光阑的圆周进行配置。
6.根据权利要求1所述的图像拾取设备，其中：
所述多个开口部相对于所述孔径光阑的中心点彼此旋转对称进行配置。
7.根据权利要求1所述的图像拾取设备，包括：
滤色器，在图像拾取装置的感光面上，所述滤色器将对应于各个微透镜的各个像素区域进行颜色编码。
CN2008101335149A 2007-07-13 2008-07-11 图像拾取设备 Expired - Fee Related CN101345826B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-184211 2007-07-13
JP2007184211A JP4967873B2 (ja) 2007-07-13 2007-07-13 撮像装置
JP2007184211 2007-07-13

Publications (2)

Publication Number Publication Date
CN101345826A true CN101345826A (zh) 2009-01-14
CN101345826B CN101345826B (zh) 2012-07-11

Family

ID=40247699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101335149A Expired - Fee Related CN101345826B (zh) 2007-07-13 2008-07-11 图像拾取设备

Country Status (3)

Country Link
US (1) US8130310B2 (zh)
JP (1) JP4967873B2 (zh)
CN (1) CN101345826B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883215A (zh) * 2009-05-08 2010-11-10 索尼公司 成像设备
CN101888481A (zh) * 2009-05-11 2010-11-17 索尼公司 成像设备
CN102625034A (zh) * 2010-11-05 2012-08-01 索尼公司 图像拾取单元
CN103650478A (zh) * 2011-03-07 2014-03-19 松下电器产业株式会社 摄像装置和测距装置
CN104459954A (zh) * 2013-09-18 2015-03-25 株式会社东芝 成像透镜和固态成像设备
WO2015051626A1 (zh) * 2013-10-10 2015-04-16 华为技术有限公司 一种光场相机
CN106162113A (zh) * 2016-08-30 2016-11-23 辽宁中蓝电子科技有限公司 彩色加黑白双色像素一体式设计的图像传感器
CN108769462A (zh) * 2018-06-06 2018-11-06 北京邮电大学 自由视角场景漫游方法及装置
CN109716750A (zh) * 2016-09-15 2019-05-03 微软技术许可有限责任公司 平面数字图像传感器
CN110672883A (zh) * 2019-10-17 2020-01-10 中国科学院长春应用化学研究所 一种基于周期纳米孔阵列和透镜介质微球阵列的近场超分辨光学成像方法

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834927B2 (en) * 2001-08-22 2010-11-16 Florida Atlantic University Apparatus and method for producing video signals
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
WO2009020977A1 (en) * 2007-08-06 2009-02-12 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
JP5187145B2 (ja) * 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
US8279325B2 (en) * 2008-11-25 2012-10-02 Lytro, Inc. System and method for acquiring, editing, generating and outputting video data
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8400555B1 (en) * 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
JP5644177B2 (ja) 2010-05-07 2014-12-24 ソニー株式会社 固体撮像装置、および、その製造方法、電子機器
CN103026170B (zh) 2010-08-06 2015-04-01 松下电器产业株式会社 摄像装置以及摄像方法
JP5421207B2 (ja) 2010-08-25 2014-02-19 株式会社東芝 固体撮像装置
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
JP5254291B2 (ja) * 2010-09-07 2013-08-07 株式会社東芝 固体撮像装置
JP5127899B2 (ja) 2010-09-14 2013-01-23 株式会社東芝 固体撮像装置
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
US8717483B2 (en) 2011-04-22 2014-05-06 Panasonic Corporation Imaging device, imaging system, and imaging method
EP2536153B1 (en) 2011-04-22 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Image capture device, image capture system, and image capture method
CN102959960B (zh) 2011-06-23 2015-04-01 松下电器产业株式会社 摄像装置
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
US10412367B2 (en) * 2011-08-05 2019-09-10 3D Media Ltd Multi-lens camera with a single image sensor
CN103314571B (zh) 2011-11-30 2017-09-29 松下知识产权经营株式会社 摄像装置和摄像系统
EP2797312B1 (en) * 2011-12-21 2019-05-29 Sharp Kabushiki Kaisha Imaging device and electronic information device
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
WO2013141007A1 (ja) * 2012-03-21 2013-09-26 富士フイルム株式会社 撮像装置
JP6064040B2 (ja) 2012-05-09 2017-01-18 ライトロ, インコーポレイテッドLytro, Inc. ライトフィールドの取り込み及び操作を改善するための光学系の最適化
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
WO2014112002A1 (ja) * 2013-01-15 2014-07-24 オリンパス株式会社 撮像素子、及び撮像装置
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
WO2015004886A1 (ja) * 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
JP6262984B2 (ja) 2013-10-18 2018-01-17 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
EP2871830A1 (en) * 2013-11-08 2015-05-13 Thomson Licensing Optical assembly for plenoptic camera
JP2015207815A (ja) * 2014-04-17 2015-11-19 キヤノン株式会社 撮像素子および撮像素子を備えた撮像装置
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6536877B2 (ja) 2014-07-31 2019-07-03 パナソニックＩｐマネジメント株式会社 撮像装置および撮像システム
EP3185747A1 (en) 2014-08-31 2017-07-05 Berestka, John Systems and methods for analyzing the eye
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
JP6598473B2 (ja) * 2015-02-27 2019-10-30 キヤノン株式会社 撮像装置および画像処理装置
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN106610521B (zh) * 2015-10-22 2019-11-19 中强光电股份有限公司 取像装置以及影像拍摄方法
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US11445125B2 (en) * 2017-12-12 2022-09-13 B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University Partial aperture imaging system
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP7328025B2 (ja) * 2019-06-27 2023-08-16 キヤノン株式会社 光学装置、およびそれを備える撮像システム
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW262541B (zh) * 1994-05-09 1995-11-11 Image Technology Internat Inc
US6639629B1 (en) * 1997-04-25 2003-10-28 Konica Corporation Camera having photographing elements for photoelectrically converting optical image into image signals
US6046466A (en) * 1997-09-12 2000-04-04 Nikon Corporation Solid-state imaging device
DE69929824T2 (de) * 1998-11-12 2006-08-31 3M Innovative Properties Co., St. Paul Farbkorrigierte projektionslinsen mit verwendung von diffraktiven optischen oberflächen
US6178046B1 (en) * 1999-04-21 2001-01-23 Intel Corporation Anti-aliasing diffractive aperture and method of using same
JP2002124654A (ja) * 2000-10-13 2002-04-26 Mitsubishi Electric Corp 固体撮像装置
JP4500434B2 (ja) * 2000-11-28 2010-07-14 キヤノン株式会社 撮像装置及び撮像システム、並びに撮像方法
JP2002320128A (ja) * 2001-04-20 2002-10-31 Canon Inc カード型カメラ
JP4262446B2 (ja) * 2002-06-21 2009-05-13 富士フイルム株式会社 固体撮像装置
JP4208232B2 (ja) * 2002-10-29 2009-01-14 フジノン株式会社 投写レンズの異形絞り設置構造およびこれを備えた投写型画像表示装置
JP2005031460A (ja) * 2003-07-07 2005-02-03 Canon Inc 複眼光学系
US7405761B2 (en) * 2003-10-01 2008-07-29 Tessera North America, Inc. Thin camera having sub-pixel resolution
SG149021A1 (en) * 2003-11-13 2009-01-29 Polyfuel Inc Ion conductive random copolymers
US7372497B2 (en) * 2004-04-28 2008-05-13 Taiwan Semiconductor Manufacturing Company Effective method to improve sub-micron color filter sensitivity
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US8243157B2 (en) * 2006-02-07 2012-08-14 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883215A (zh) * 2009-05-08 2010-11-10 索尼公司 成像设备
CN101883215B (zh) * 2009-05-08 2013-05-08 索尼公司 成像设备
CN101888481A (zh) * 2009-05-11 2010-11-17 索尼公司 成像设备
CN101888481B (zh) * 2009-05-11 2013-03-13 索尼公司 成像设备
CN102625034A (zh) * 2010-11-05 2012-08-01 索尼公司 图像拾取单元
CN103650478A (zh) * 2011-03-07 2014-03-19 松下电器产业株式会社 摄像装置和测距装置
CN104459954A (zh) * 2013-09-18 2015-03-25 株式会社东芝 成像透镜和固态成像设备
WO2015051626A1 (zh) * 2013-10-10 2015-04-16 华为技术有限公司 一种光场相机
US10321033B2 (en) 2013-10-10 2019-06-11 Huawei Technologies Co., Ltd. Light field camera
CN106162113A (zh) * 2016-08-30 2016-11-23 辽宁中蓝电子科技有限公司 彩色加黑白双色像素一体式设计的图像传感器
CN109716750A (zh) * 2016-09-15 2019-05-03 微软技术许可有限责任公司 平面数字图像传感器
CN109716750B (zh) * 2016-09-15 2021-01-22 微软技术许可有限责任公司 平面数字图像传感器
CN108769462A (zh) * 2018-06-06 2018-11-06 北京邮电大学 自由视角场景漫游方法及装置
CN108769462B (zh) * 2018-06-06 2020-05-05 北京邮电大学 自由视角场景漫游方法及装置
CN110672883A (zh) * 2019-10-17 2020-01-10 中国科学院长春应用化学研究所 一种基于周期纳米孔阵列和透镜介质微球阵列的近场超分辨光学成像方法

Also Published As

Publication number Publication date
JP4967873B2 (ja) 2012-07-04
US8130310B2 (en) 2012-03-06
US20090027542A1 (en) 2009-01-29
CN101345826B (zh) 2012-07-11
JP2009021919A (ja) 2009-01-29

Similar Documents

Publication Publication Date Title
CN101345826B (zh) 图像拾取设备
CN101500086B (zh) 图像拾取装置
CN101883215B (zh) 成像设备
US7620309B2 (en) Plenoptic camera
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
CN101437168B (zh) 图像拾取装置
EP2083447B1 (en) Image pickup apparatus
US8558915B2 (en) Photographing apparatus and method
CN101800854B (zh) 图像拾取装置
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
US9426349B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
CN103688536B (zh) 图像处理装置、图像处理方法
WO2013105383A1 (en) Image generation method, image generation apparatus, program, and storage medium
CN1429016A (zh) 固体电子图像感应装置及其控制方法
CN107431755A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
US20130093944A1 (en) Image pickup unit, image generation system, server, and electronic unit
JP6589006B2 (ja) シフトされたマイクロレンズアレイを有するイメージセンサ
CN103222267A (zh) 固体摄像元件、摄像装置和信号处理方法
EP4346199A1 (en) Imaging method and device for autofocusing
JPWO2013057859A1 (ja) 撮像素子
CN100446547C (zh) 具有扩大面积的光电管的固态图像传感器
CN106412532A (zh) 控制设备、摄像设备和控制方法
JP2003116144A (ja) 固体撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120711

Termination date: 20190711