CN101500085A - 图像摄取装置 - Google Patents

图像摄取装置 Download PDF

Info

Publication number
CN101500085A
CN101500085A CNA2009100098437A CN200910009843A CN101500085A CN 101500085 A CN101500085 A CN 101500085A CN A2009100098437 A CNA2009100098437 A CN A2009100098437A CN 200910009843 A CN200910009843 A CN 200910009843A CN 101500085 A CN101500085 A CN 101500085A
Authority
CN
China
Prior art keywords
image capture
image
pixel
lenticule
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2009100098437A
Other languages
English (en)
Inventor
市村功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101500085A publication Critical patent/CN101500085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0062—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

图像摄取设备包括：图像摄取镜头部分；根据被检测的光获取图像摄取数据的图像摄取设备；布置在图像摄取镜头部分的焦面上，位于图像摄取镜头部分和图像摄取设备之间，包括多个微透镜，每个微透镜相应于图像摄取设备的多个图像摄取像素而提供；由多个聚光元件构成的聚光部分，每个聚光元件会聚进入到图像摄取设备的每个图像摄取像素中的光，其中，在图像摄取设备上，在与每个微透镜相应的像素区内，聚光元件之间的间距小于像素尺寸，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于像素尺寸。

Description

图像摄取装置
技术领域
本发明涉及便用微透镜阵列的图像摄取装置。
背景技术
已经提出和研制了各种各样的图像摄取装置。已经提出了若干图像摄取装置，这些装置对由成像或摄取图像而得到的图像摄取数据进行预定图像处理，以便输出图像摄取数据。
例如，国际专利公开No.06/039486和Ren.Ng等的题为“Light FieldPhotography with a Hand-Held Plenoptic Camera”的斯坦福(Stanford)技术报告CTSR 2005-02中，就提出了使用称为“光场摄像术”的技术的图像摄取装置。这样的图像摄取装置包括图像摄取镜头、微透镜阵列、图像摄取设备和图像处理部分，以及在图像摄取镜头中含有中心部分中包括单孔径(aperture)的光圈(aperture stop)。在这样的配置中，通过图像摄取设备而得到的图像摄取数据包括在感光面上的光的强度分布以及光的行进方向的信息。因此，图像处理部分能够重构或再现从任意视点或任意方向(以下简称为视野)上观看的图像。
将由实施“光场摄像术”技术的摄影设备(light field camera，光场摄像机)得到的图像作为图像组输出，在此图像组中，例如，如像在国际专利公开No.06/039486中的图11所示的那样，将多个圆形图像排列在阵列中。该圆形图像相当于这样的一个图像(以下称为单元图像)，它是根据摄像镜头的出瞳形状，由每个微透镜在固态图像摄取设备的表面上生成的。
此外，通常，以预定间距为行列中的每个像素布置了固态图像摄取装置的感光部分。由于诸如传输区的电路部分是布置在每个像素的感光部分的周围，所以进入这个区域的光并不对图像摄取产生影响。因此，在大多数的固态图像摄取设备中布置了聚光部分(如像光折射部分)，它聚进入到除了感光部分以外的区域中的光，以便将光引导到感光部分中，从而获得较高的灵敏度。
在此情况下，如果在光学系统的光轴中心周围直接在每个像素上布置如像片上透镜之类的光折射装置，能有效地会聚大多数的光线。然而，主要的光线倾斜于远离光轴的外围区域中。因此，例如，如像在日本专利No.2600250和3170847中所描述的那样，进行图像高度校正，以使得片上透镜之间的间距小于像素间距，并使得片上透镜的中心位置和每个像素的像素中心位置之间的间隙随着与光轴相距的距离而逐渐增加。
发明内容
在上述“光场摄像机”中，将微透镜阵列布置在图像摄取镜头的成像面位置上，从而对于具有聚光性能的光折射装置(如像配置在固态图像摄取设备的光线入射侧上的片上透镜)光线的入射角大大不同于在相关技术中的图像摄取装置的情况。因此，如上所述，在其中进行图像高度校正的相关技术中的固态图像摄取装置被直接或无任何变化地安装在“光场摄像机”内的情况下，由于光量损失而引起单元图像中的亮度梯度的产生或信噪比(S/N比)的降低。因此，摄取图像的图像质量就会下降。
在获取图像摄取数据以包含关于光的行进方向的信息的情况下，希望提供能够根据图像摄取数据改进图像的图像质量的图像摄取装置。
根据本发明的实施例，提供了一种图像摄取装置，包括：图像摄取镜头部分；根据所检测的光获取图像摄取数据的图像摄取设备；微透镜阵列部分，布置在图像摄取镜头部分的焦面上，位于图像摄取镜头部分和图像摄取设备之间，包括多个微透镜，每个微透镜相应于图像摄取设备中的多个图像摄取像素而提供；由多个聚光元件构成的聚光部分，每个聚光元件会聚进入到图像摄取设备的每个图像摄取像素中的光，其中，在图像摄取设备上，在与每个微透镜相应的像素区内，聚光部分中的聚光元件之间的间距小于在图像摄取像素中预定方向上的像素尺寸，并且，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于在图像摄取像素中预定方向上的像素尺寸。
在根据本发明的具体实施例的图像摄取设备中，在微透镜阵列部分上形成由图像摄取镜头部分进行图像摄取的物体的图像。然后，进入到微透镜阵列部分中的光线到达图像摄取设备，并由分配给每个微透镜的多个图像摄取像素来检测，并由此得到包含关于光的行进方向的信息的图像摄取数据。在此情况下，在与每个微透镜相应的每个像素区内，在聚光部分中的聚光元件之间的间距小于在图像摄取像素中预定方向上的像素尺寸，并且，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于在图像摄取像素中预定方向上的像素尺寸，因此，在与每个微透镜相应的像素区内，防止了由于入射光的倾斜而在每个微透镜的中心区周围的图像摄取像素和外围区周围的图像摄取像素之间产生的亮度梯度。
在根据本发明的实施例的图像摄取设备中，优选地，在与每个微透镜相应的每个图像区内，聚光元件的中心位置与在每个微透镜的中心区内的图像摄取像素的像素中心位置相一致，并随着移向每个微透镜的外围区而逐渐从图像摄取像素的像素中心位置偏离。在这样的配置中，还考虑图像摄取镜头部分的视角和主光线的倾斜，以便提高每个像素区内的入射光线的聚光效率，并进而改进图像摄取数据的S/N(信噪比)。
在根据本发明的具体实施例的图像摄取设备中，在上述的图像摄取镜头部分包括光圈情况下，优选地满足下列的公式(1)。在这样的配置中，如果在微透镜之间的间距满足下列的公式(1)，则避免在图像摄取设备的感光面上的图像高度偏差出现在由图像摄取设备得到的图像摄取数据中。因此，在通过使用这样的图像摄取数据生成重构图像时，可以生成适合的重构图像。
p＝(m×s)×{L/(L+f)}        (1)
在此，p是微透镜之间的间距，s是在预定方向上的像素尺寸，m是在预定方向上的分配给每个微透镜的图像摄取像素的数量(整数)，L是光圈和微透镜阵列部分之间的距离，f是每个微透镜的焦距。
在根据本发明的具体实施例的图像摄取设备中，在上述图像摄取镜头部分包括光圈的情况下，该图像摄取设备可以包括图像高度校正部分，用于对由图像摄取设备获得的图像摄取数据进行图像高度校正，以使得在预定方向上的由每个微透镜在图像摄取设备上生成的图像的图像尺寸等于在预定方向上的图像摄取像素的像素尺寸的整数倍。在这样的配置中，在通过图像高度校正而得到的图像摄取数据中，不管光圈的位置如何，都不会发生在图像摄取设备的感光面上的图像高度偏差。因此，当使用通过这样的图像高度校正而得到的图像摄取数据来获取重构图像时，不管主镜头(图像摄取镜头部分)的光圈的位置如何。都可以获得合适的重构图像。
在根据本发明的具体实施例的图像摄取设备中，在与每个微透镜相应的像素区内，在聚光部分中的聚光元件之间的间距小于在图像摄取像素中预定方向上的像素尺寸，并且，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于图像摄取像素中预定方向上的像素尺寸，因此，在与每个微透镜相应的像素区内，可以防止由于入射光线的倾斜而引起的亮度梯度。因此，在获取图像摄取数据以便包括关于光的行进方向信息在内的情况下，可以根据图像摄取数据来改进图像质量。
通过下面的描述，本发明的上述和其他目的、特征和优点将会变得更加清楚。
附图说明
图1根据本发明的第一实施例示出了图像摄取装置的整体结构。
图2是图1所示的光圈的平面示意图。
图3是示于图1中的微透镜阵列的平面示意图。
图4是布置在图像摄取设备的感光面上的滤色镜的平面示意图。
图5是微透镜阵列、片上透镜和图像摄取设备的布置的例子的局部示意图。
图6是微透镜阵列、片上透镜和图像摄取设备的另一个布置的例子的局部示意图。
图7是图1所示的图像处理部分的配置例子的功能方块图。
图8A和8B是平面图，说明在微透镜阵列和图像摄取设备中的图像摄取模式。
图9是示意性的透视图，说明由图像处理部分进行的图像处理的例子。
图10是用于说明由图像处理部分进行的再聚焦演算处理的局部示意图。
图11是再聚焦演算处理中再聚焦面的确定位置的例子的局部示意图。
图12是再聚焦演算处理中再聚焦面的确定位置的另一个例子的局部示意图。
图13是图11所示的再聚焦演算处理中的排序处理的例子的平面示意图。
图14是图12所示的再聚焦演算处理中的排序处理的另一个例子的平面示意图。
图15是一个图例，用于根据本发明的第二实施例来说明比较例的图像摄取装置中的图像高度偏差。
图16是示意图，用于根据本发明的第二实施例来说明比较例的图像摄取装置中的图像高度偏差。
图17示出了根据本发明的第三实施例的图像处理部分的配置例子的功能方块图。
具体实施方式
以下将参照附图来详细说明本发明的推荐实施例。
第一实施例
图1根据本发明的第一实施例示出了图像摄取装置(图像摄取装置1)的整体结构。图像摄取装置1摄取物体2的图像，以输出图像摄取数据Dout。按从靠近物体2较近的侧开始的顺序，图像摄取装置1包括图像摄取镜头11，光圈10，微透镜阵列12，片上透镜18和图像摄取设备13。图像摄取装置1也包括图像处理部分14，图像摄取设备驱动部分15和控制部分16。
图像摄取镜头11是主镜头，用于摄取物体的图像，并包括例如用在视频摄像机、静止照相机和类似设备中的典型的图像摄取镜头。
光圈10是图像摄取镜头11的光学光圈。例如，如图2所示，光圈10在它的中心部分有一个圆形开孔部分10A。如下面将要详细说明的那样，通过光圈10A的全部光线都保持有光线行进方向的信息。布置光圈10和微透镜阵列12并使它们之间具有距离L。
例如，如图3所示，在微透镜阵列12中，将多个微透镜12-1以矩阵形式二维排列(微透镜12-1之间的间距为p12)，并将微透镜阵列12布置在图像摄取镜头11的图像生成面上(在图中用标号f1来表明图像摄取镜头11的焦距)。每个微透镜12-1的平面形状都是圆形的，并且每个微透镜12-1都由液晶透镜、液体透镜、衍射透镜或类似部件组成。
图像摄取设备13检测或接收来自微透镜阵列12的光，以便获取图像摄取数据D0，并将图像摄取设备13布置在微透镜阵列12的焦面上(在图中用标号f2来表明微透镜阵列12的焦距)。图像摄取设备13包括二维图像摄取设备，例如，以矩阵形式二维排列的多个CCD(电荷耦合器)或多个CMOS(互补型的金属-氧化物-半导体器件)。
在这样的图像摄取设备13的感光面(更靠近微透镜阵列12的面)上，以矩阵形式二维排列了M×N(在此，M和N都是整数)个图像摄取像素(下面将要说明像素P)，并将多个像素P分配给在微透镜阵列12中的一个微透镜12-1。在感光面上的像素P的数量为M×N＝3720×2520＝9374400。分配给每个微透镜12-1的像素数(m×n)与重构图像的任意视场的分辨率相关，因此，重构图像的任意视场的分辨率随着m和n的值而增加。另一方面，(M/m)和(N/n)的值与重构图像的像素数(分辨率)相关，因此，重构图像的像素数随着(M/m)和(N/n)的值而增加。于是，在重构图像的任意视场的分辨率和像素数之间存在着一个折衷关系。
在图像摄取设备13的感光面上，二维地为每个像素P(在图1中未示出)布置了如图4所示的滤色镜。滤色镜17是具有Bayer布置的滤色镜(原色滤光镜)，其中，红(R)、绿(G)、蓝(B)三个原色的滤色镜(红色滤光器17R，绿色滤光器17G，蓝色滤光器17B)按照R:G:B＝1:2:1的比例，并以方格模式来排列。将这样的滤色镜17布置在图像摄取设备13的感光面上，并由此图像摄取设备13所获取的图像摄取数据D0变为与滤色镜17的颜色相应的多个颜色(在此情况下为三个原色)的像素数据(彩色像素数据)。
片上透镜18起着聚光部分的作用，它将进入图像摄取设备13的光聚集到每个图像摄取像素中(下面将要说明每个像素P)，并在图像摄取设备13的感光面上相应于每个像素P来布置。
例如，如图5(在光轴外围区13C周围的区域中的示意性的断面结构，这个区域相应于微透镜阵列12的光轴的外围区(即入射光的主光线L0基本上沿着光轴行进的区域))和图6(在图像摄取设备13的像素外围区13E周围的区域中的示意性的断面结构，(这个区域的入射光的主光线L0相对于光轴有一定程度的倾斜))所示，在片上透镜18中，在图像摄取设备13上，在与每个微透镜12-1相应的像素区内，片上透镜18中的聚光元件之间的间距(pitch)p18小于在像素P中的预定方向上的像素尺寸s，并且，在分别与微透镜12-1相应的像素区之间的边界区内，片上透镜18中的聚光元件之间的间距p18大于在像素P中的预定方向上的像素尺寸s。
在图5和图6所示的两种情况下，在与每个微透镜12-1相应的每个像素区内，片上透镜18的聚光元件的中心位置与在每个微透镜12-1的中心区内的像素P的像素中心位置相一致，并随着移向每个微透镜12-1的外围区而逐渐从像素P的像素中心位置偏离。
通过加到抗蚀材料上的模式(pattem)转移处理生成片上透镜18。因此，如果将光掩模(photomask)之间的间距(pitch)设置为上述的间距(在片上透镜12中聚光元件之间的间距p18)，则生成上述的片上透镜18。
图像处理部分14对由图像摄取设备13获取的图像摄取数据D0进行随后将要说明的预定图像处理(图像处理包括排序(sort)处理)，并输出通过进行图像处理而得到的图像摄取数据Dout。更具体地说，例如，图像处理部分14利用称为“光场摄像术(Light Field Photography)”的技术进行再聚焦(refocus)演算处理。由此，图像处理部分14生成了聚焦在任意焦点上的图像(基于图像摄取数据Dout的重构图像)。下面将详细说明图像处理部分14的配置和再聚焦演算处理的操作。
图像摄取设备驱动部分15驱动图像摄取设备13，并控制图像摄取设备13的感光操作。
控制部分16控制图像处理部分14和图像摄取设备驱动部分15的操作，并包括如像微型计算机或类似的设备。
随后，将参照图7详细说明图像处理部分14的结构。图7示出了图像处理部分14的功能方块图。
图像处理部分14包括缺陷校正部分141、箝位(clamp)处理部分142、内插处理部分143、排序部分144、噪声消减部分145、边缘增强部分146、白平衡调整部分147、伽玛校正部分148。
缺陷校正部分141校正含于图像摄取数据D0中的、如像漏失或无效之类的缺陷(由图像摄取设备13中的异常而引起的缺陷)。箝位处理部分142进行在通过缺陷校正部分141进行的缺陷校正而得到的图像摄取数据上设置每个像素数据的黑电平(black level)的处理(箝位处理)。
内插处理部分143在由箝位处理部分142提供的图像摄取数据上进行内插处理，例如，在典型的Bayer布置上进行去嵌镶(demosaic)处理或类似的处理，以便获得图像摄取数据D1。
排序部分144在由内插处理部分143提供的图像摄取数据D1上进行预定的排序处理(分类像素数据的处理处理)，以便获得图像摄取数据D2。在进行这样的排序处理时，生成了聚焦在上述任意焦点上的重构图像。下面将要详细说明由排序部分144进行的排序处理的操作。
噪声消减部分145进行减少噪声的处理(例如，减少在暗处或感光度不足的地方摄取图像时所产生的噪声)，这些噪声含于由排序部分144提供的图像摄取数据D2之中。边缘增强部分146进行边缘增强处理，这就是在由噪声消减部分145提供的图像摄取数据上增强图像边缘的处理。
白平衡调整部分147在由边缘增强部分146提供的图像摄取数据上进行调整色彩平衡的处理(白平衡调整处理)，(调整和设置图像摄取数据，以使得红像素数据、绿像素数据和蓝像素数据的数目彼此相等)，在此，这样的色彩平衡可受到器件间个体差别——诸如图像摄取设备13的光谱灵敏度上的差别，滤色镜17的透射特性方面的差别或照明条件——的影响。
伽玛校正部分148在由白平衡调整部分147提供的图像摄取数据上进行预定的伽玛校正(色调和对比度校正)，以便获取图像摄取数据Dout。
下面，将参照图1到14来详细说明根据本实施例的图像摄取装置1的功能和作用。
首先，参照图1到4以及图7到14来说明图像摄取装置1的基本功能。
例如，在图像摄取装置1中，根据如图8A所示的每个微镜头12-1的形状(圆形)，在微透镜阵列12上生成由图像摄取镜头11拍摄到的物体2的图像。然后，进入微透镜阵列12的入射光线通过微透镜阵列12到达图像摄取设备13上，以及例如，如图8B所示，由感光区13-1来检测入射光线，在此感光区上投射光圈的圆形，并通过图像摄取设备13来获取图像摄取数据D0。此时，根据入射光线的入射方向，在图像摄取设备13中的不同位置上，检测射到微透镜阵列12上的入射光线。更具体地说，根据分配给每个微透镜12-1的像素P的位置来确定光线的入射方向。其中布置了分配给每个微透镜12-1的像素P的区域(重构像素区13D)与重构图像的一个像素相对应。
其次，将在图像摄取设备13中得到的图像摄取数据输入到图像处理部分14中。然后，在图像处理部分14中，在图像摄取数据D0上进行预定的图像处理(例如，上述的再聚焦演算处理)，从而，将通过图像处理得到的图像摄取数据Dout作为图像摄取装置1的输出数据(重构图像的图像数据)输出。
现在，参照图9到14来详细说明由图像处理部分14执行的图像处理操作(再聚焦演算处理操作)的基本部分。
首先，如图9所示，在图像摄取镜头11的图像摄取镜头面上定义矩形坐标系统(u，v)，并在图像摄取设备13的图像摄取面上定义矩形坐标系统(x，y)。将在图像摄取镜头11的图像摄取镜头面和图像摄取设备13的图像摄取面之间的距离定义为“F”。然后，用四维函数LF(x，y，u，v)来代表通过图像摄取镜头11和图像摄取设备13的光线L1。从而，将关于光线L1行进方向的信息以及关于光线L1的位置的信息记录到图像摄取设备13中。换句话说，通过分配给每个微透镜12-1的多个像素P的排列来确定光线的入射方向。
如图10所示，在确定了图像摄取镜头面110、图像摄取面130和再聚焦平面120之间的位置关系的情况下(确定再聚焦平面120以便满足F’＝αF)，用下列公式(1)来代表再聚焦平面120上的坐标(s，t)的图像摄取面130上的检测强度LF。此外，在再聚焦平面120上得到的图像EF’(s，t)是通过整合上述的相对于透镜孔径的检测强度LF而得到的值，所以用下列的公式(2)来代表图像EF’(s，t)。因此，在根据公式(2)来进行再聚焦计算操作时，根据通过进行图像处理而得到的图像摄取数据Dout来重构聚焦在任意焦点(再聚焦平面120)上的图像。
数学公式1
L F ′ ( s , t , u , v ) = L ( α · F ) ( s , t , u , v )
        = L F ( u + s - u α , v + t - v α , u , v )
        = L F { u ( 1 - 1 α ) + s α , v ( 1 - 1 α ) + t α , u , v }
                    .......(1)
E F ′ ( s , t ) = 1 F ′ 2 ∫ ∫ L F ′ ( s , t , u , v ) dudv
        = 1 α 2 F 2 ∫ ∫ L F { u ( 1 - 1 α ) + s α , v ( 1 - 1 α ) + t α , u , v } dudv
                   .......(2)
更具体地说，在图像处理部分14中，如图5所示，缺陷校正部分141校正由图像摄取设备13提供的图像摄取数据D0中的缺陷，以及箝位(clamp)处理部分142在图像摄取数据D0上进行箝位处理。然后，内插处理部分143在图像摄取数据D0上进行内插处理，排序部分144进行像素数据D1的排序处理。从而，从图像摄取数据D1产生了图像摄取数据D2。
在此情况下，当要由图像处理部分14通过再聚焦演算处理来生成下述重构图像时，进行其中例如有选择地提取图11所示的光线的排序处理，其中，该重构图像的焦点位置被确定位于照相时所确定的焦点位置(微透镜阵列12的位置)的后面(即更远侧上)。换句话说，在图像摄取镜头11和徵透镜阵列12之间生成其焦点位置被确定位于照相时所确定的焦点位置的后面的图像。这样，会聚了一次的光线又再散开，该光线根据其行进方向通过不同的微透镜阵列而到达图像摄取设备13上。因此，例如，如图13所示，对各个像素数据进行排序处理，以便从多个彼此不同的重构像素区13D中有选择地提取与这样的光线相应的像素数据D10。
另一方面，当要由图像处理部分14通过再聚焦演算处理来生成下述重构图像时，进行其中例如有选择地提取图12中所示的光线的排序处理，其中，该重构图像的焦点位置被确定位于照相时所确定的焦点位置(微透镜阵列12的位置)的前面(即更近侧上)。换句话说，在徵透镜阵列12后面生成其焦点位置被确定位于照相时所确定的焦点位置的前面的图像。这样，在图像摄取装置1中不生成图像，并且光线根据其传播的方向通过不同的微透镜阵列而到达图像摄取设备13上。因此，例如，如图14所示，对各个像素数据进行排序处理，以便从多个彼此不同的重构像素区13D中有选择地提取与这样的光线相应的像素数据D10。
下面，如图7所示，噪声消减部分145对通过这样的排序处理而得到的图像摄取数据D2进行噪声消减处理，以及边缘增强部分146对图像摄取数据D2进行边缘增强处理，然后，将图像摄取数据D2提供给白平衡调整部分147。由此，得到调整过其色彩平衡的图像摄取数据。然后，伽玛校正部分148对由白平衡调整部分147提供的图像摄取数据进行伽玛校正，以及从图像处理部分14中输出该图像摄取数据作为图像摄取数据Dout。由此，根据图像摄取数据Dout来重构聚焦在任意焦点(再聚焦面120)上的图像。
然后，参照图5和图6，下面将详细说明根据本实施例的图像摄取装置1的特性功能。
在根据本实施例的图像设取设备1中，考虑到在微透镜阵列12中的光折射，相应于图像摄取设备13的每个像素P而形成的片上透镜18(具有聚光性能的光折射装置)的中心位置从像素P的像素中心位置上偏离，例如，如图5和图6所示。
更具体地说，在与每个微透镜12-1相应的像素区内，在片上透镜18中的聚光元件之间的间距p18小于像素P中的预定方向上的像素尺寸s，并且，在分别与微透镜12-1相应的像素区之间的边界区内，在片上透镜18中的聚光元件之间的间距p18大于像素P中的预定方向上的像素尺寸s。由此，在与每个微透镜12-1相应的像素区内，就能避免由于入射光线倾斜而在微透镜12-1的中心区周围的像素P和在其外围区周围的像素之间产生的亮度梯度。
此外，在图5和图6所示的两种情况下，在与每个微透镜12-1相应的每个像素区内，片上透镜18中的聚光元件的中心位置与在每个微透镜12-1的中心区内的像素P的中心位置相一致，并随着移向每个微透镜12-1的外围区而逐渐从像素P的像素中心位置偏离。由此，因为还考虑到图像摄取镜头11的视角以及主光线L0的倾斜，提高了在每个像素区内的入射光的聚光效率，并改进了图像摄取数据D0的S/N比率(信号噪声比)。
如上所述，在本实施例中，在与每个微透镜12-1相应的像素区内，在片上透镜18中的聚光元件之间的间距p18小于在像素P中的预定方向上的像素尺寸s，并且，在分别与微透镜12-1相应的像素区之间的边界区内，在片上透镜18中的聚光元件之间的间距p18大于在像素P中的预定方向上的像素尺寸s。因此，在与每个微透镜12-1相应的像素区内，就能避免由于入射光的倾斜而引起的亮度梯度。因此，在获取图像摄取数据以便包括光的行进方向信息在内的情况下，能够改进基于图像摄取数据的图像的图像质量。
此外，在与微透镜12-1相应的每个像素区内，片上透镜18的聚光元件的中心位置与在每个微透镜12-1的中心区内的像素P的像素中心位置相一致，并从靠近像素P的像素中心位置上逐渐地向着每个微透镜12-1的外围区移动。由于还考虑到图像摄取镜头11的视角以及主光线L0的倾斜，因此提高在每个像素区内的入射光的聚光效率，并改进图像摄取数据D0的S/N比率(信号噪声比)。这样，能进而改进基于图像摄取数据的图像的图像质量。
此外，由图像摄取设备13通过使用具有图4所示的Bayer布置的滤色镜17来摄取彩色图像，由图像处理部分14中的内插处理部分143来进行色彩内插处理(例如，在一个或多个单元图像中的去嵌镶(demosaic)处理)。在相关技术的图像摄取装置中，由于在单元图像中产生的亮度梯度，可能不能适当地进行色彩内插处理，从而可能会引起色移(color shift)或色彩不均匀。相反，在根据本实施例的图像摄取装置1中，在拍摄这样的彩色图像时，可以防止色移或色彩不均匀的出现，并可以改进色彩的再现性。
第二实施例
下面，将说明本发明的第二实施例。使用与第一实施例相同的标号来表明相同的部件，在此不再加以说明。
在根据本实施例的微透镜阵列12中，当微透镜12-1之间的间距为“p12”时，在图像摄取设备13的图像摄取像素(下面将要说明的像素P)的预定方向上的像素尺寸是“s”，在预定方向上分配给每个微透镜12-1的像素的数量为“m”(整数)，在光圈10和微透镜12-1之间的距离为“L”，以及每个微透镜12-1的焦距是“f2”时，可以用下面的公式(11)来代表微透镜12-1之间的间距p12。
p12＝(m×s)×{L(L+f2)}    (11)
现在，参照图15和16，通过与比较例的比较来详细说明根据本实施例的图像摄取装置的特性功能。图15和16示出了在根据比较例的图像摄取装置(包含微透镜阵列102，而不是在图像摄取装置1中的微透镜阵列12，微透镜阵列102中的微透镜12-1之间的间距p12不满足上述公式(1))中、在出现了图像高度偏差的情况下(即图像高度偏差量Δ>0的情况下)的图像摄取状态。
首先，例如，如图15所示，在作为主镜头的图像摄取镜头11的光圈10的位置与图像摄取镜头11的主点P0有某些距离的情况下，如果进入微透镜阵列12的入射光的主光线L0相对于光轴有某种程度的倾斜(在主光线L0不在图像摄取镜头11的主点上的情况下)，依据光圈10的位置，根据微透镜12-1的形状(圆形)在图像摄取设备13上形成的图像(单元图像)之间的间距如图中箭头所示的那样，从位置P1移动到位置P2。
由此，例如，如图16所示，在图像摄取设备13的感光面(更靠近于微透镜阵列12的一侧上的平面)上出现了图像高度偏差量为Δ(在点Pd和点Pe之间的距离)的图像高度偏差。用下面的公式(12)和(13)来表示图像高度偏差量Δ，在此，在光轴和主光线L0之间的倾角是“θ”，在微透镜阵列102上形成的主光线L0的图像的图像高度(在点Pb和点Pf之间的距离)是“y”，在光圈10和微透镜阵列12之间的距离(在点Pa和点Pb之间的距离)是“L”，微透镜阵列12的焦距(在点Pb和点Pc之间的距离)是“f2”。此外，用下面的公式(14)来表示在微透镜阵列12上的图像高度y和在图像摄取设备13上形成的单元图像的图像高度(在点Pc和点Pe之间的距离)之间的比率。
tanθ＝(y/L)＝(Δ/f2)   (12)
Δ＝{(y×f2)/L}        (13)
(y+Δ)/y＝(L+f2)/L     (14)
这样，在图15和16所示的根据比较例的图像摄取装置中，由于在微透镜阵列102中的微透镜12-1之间的间距p12不满足上述公式(11)，因此出现了图像高度偏差，其大小为由上述的公式(12)和(13)所代表的图像高度偏差量Δ。换句话说，如上所述，即使在由图像摄取设备13得到的图像摄取数据D0包含光行进方向信息和光强度分布信息的情况下，微透镜12-1之间的间距p12也不等于图像摄取设备13的像素P的整数倍。因此，在预定方向上分配给每个微透镜12-1的像素P的数目就会发生变化，并且，在图像处理部分14中，不能得到如像再聚焦图像或任意视点图像之类的重构图像。
另一方面，在根据本实施例的图像摄取装置1中，在微透镜阵列12中，微透镜12-1之间的间距满足上述公式(11)。从而，根据上述比较例的图像高度校正因子的值(相当于上述公式14的逆)恒等于“1”。因此，在由图像摄取设备13得到的图像摄取数据D0中，防止了在图像摄取设备13的感光面(在更靠近微透镜阵列12一侧上的平面)上出现图像高度偏差(图像高度偏差量为Δ的图像高度偏差)。
如上所述，在本实施例中，微透镜12-1之间的间距p12满足上述公式(11)。这样，在由图像摄取设备13得到的图像摄取数据D0中，可以防止在图像摄取设备13的感光面上出现图像高度偏差。因此，当通过使用这样的图像摄取数据D0由图像处理部分14形成重构图像时，除了能有在第一实施例中的效果而外，还可以形成适合的重构图像。
此外，与下面将描述的第三实施例不同，在本实施例中，无需配置用于进行图像高度校正的图像高度校正部分(下面将要说明的图像高度校正部分149)，并且仅仅通过设置微透镜12-1之间的间距p12就实现了本实施例，因此，除非当设计微透镜12-1之间的间距时所确定的光圈10的位置被变动，否则能够容易地形成适合的重构图像。
第三实施例
下面，将说明本发明的等三实施例。本实施例的图像摄取装置具有与第二实施例的图像摄取装置相同的结构，而不同之处在于，该图像摄取装置包含下面将要说明的图像处理部分14A，而不是根据第二实施例的图像摄取装置的图像处理部分14，而且，代替在第二实施例中所述的微透镜阵列12，在本实施例中提供其中微透镜12-1之间的间距p12不满足上述公式(11)的微透镜阵列(对应于上述的微透镜阵列102)。因此，使用与第二实施例相同的标号来标记相同的部件，不再加以说明。
图17图示了用在根据本实施例的图像摄取装置中的图像处理部分(图像处理部分14)的功能方块图。图像处理部分14A配置不同于在第一实施例中所述的图像处理部分14之处在于，在内插处理部分143和排序部分144之间布置了图像高度校正部分149。
图像高度校正部分149在由图像摄取设备13获得的图像摄取数据(更具体地说，是通过由内插处理部分143进行内插处理而得到的图像摄取数据D1)上进行图像高度校正，以使得与每个微透镜12-1相应的图像摄取设备13上生成的图像(单元图像)在预定方向上的图像尺寸(相当于微透镜12-1之间的间距p12)等于图像摄取设备13的像素P在预定方向上的像素尺寸s的整数倍。由此，通过图像高度校正得到图像摄取数据D3，并将图像摄取数据D3提供给排序部分144。更具体地说，图像高度校正部分149通过使用由下列公式(15)和(16)代表的校正因子k在图像摄取数据D1上进行图像高度校正(图像高度校正部分149通过用校正因子k乘以图像摄取数据D1来得到图像摄取数据D3)。在此，在β＝1的情况下，根据公式(16)成立p12＝m×s。
K＝β×{L/(L+f2)}      (15)
B＝(m×s/p12)         (16)
在此配置中，在本实施例中，图像高度校正部分149在图像摄取数据D1上进行图像高度校正，以使得与微透镜12-1相应的图像摄取设备13上生成的图像(单元图像)在预定方向上的图像尺寸(对应于微透镜12-1之间的间距p12)等于像素P在预定方向上的像素尺寸s的整数倍。这样，在通过这样的图像高度校正得到的图像摄取数据D3上，不管光圈10的位置(在光圈10和微透镜阵列12之间的距离L)如何，在图像摄取设备13的感光面(在更靠近微透镜阵列12的一侧上的平面)上都不会出现图像高度偏差(图像高度偏差量为Δ的图像高度偏差)。因此，在图像处理部分14A使用通过进行图像高度校正而得到的图像摄取数据D3来生成重构图像时，如像在第二实施例的情况中那样，除了具有第一实施例的效果而外，不管主透镜(图像摄取透镜11)的光圈位置如何，都能够生成适合的重构图像。
在此，虽然是参照第一、第二和第三实施例来说明本发明的，但是，本发明并不限于这些实施例，并可以对其进行各种修改。
例如，在第二实施例中，说明了微透镜12-1之间的间距p12满足上述公式(11)的情况，在第三实施例中，说明了由图像高度校正部分149来进行图像高度校正的情况。然而，例如，可以将在第二和第三实施例中说明的配置组合起来。更具体地说，微透镜12-1之间的间距p12可以满足上述公式(11)，以及可以由图像高度校正部分149来进行图像高度校正。
此外，在上述实施例中，说明了作为图像摄取装置的部件的图像处理部分14和14A。然而，图像处理部分并非必须布置在图像摄取装置中。更具体地说，图像处理部分可以安装在除了图像摄取装置之外的设备例如PC(个人计算机)或类似的设备中，并可将在图像摄取装置中得到的图像摄取数据传送给PC，以便在PC中对图像摄取数据进行图像处理。
此外，在上述实施例中，可将光圈安装在图像摄取镜头的图像侧(出射侧)上。然而，本发明并非仅限于此，也可以将光圈安装在图像摄取镜头的对象侧(入射侧)上或图像摄取镜头中。
在上述实施例中，将片上透镜18作为在每个像素P的光线入射侧上形成的聚光部分的例子来加以描述的。然而，可以由任何其它的光折射结构、光导结构或类似的结构来实现这样的聚光部分。
在上述实施例中，作为滤色镜的例子，描述了具有Bayer布置的滤色镜，其中，红(R)、绿(G)、蓝(B)三个原色的滤色镜按照R:G:B＝1:2:1的比例以方格模式布置。然而，也可以使用具有任何其它配置的滤色镜。例如，可用具有如此配置的滤色镜(互补滤色镜)，在此配置中，将四个互补色(即黄(Y)、深红(M)、蓝绿(C)和绿(G))的滤色镜(即黄滤色镜、深红滤色镜、蓝绿滤色镜和绿滤色镜)按照Y:M:C:G＝1:1:1:1的比例以方格模式布置。
在上述的实施例中，作为图像摄取数据中的像素数据的内插处理的例子，描述了去镶嵌(demasaic)处理处理；然而，也可以进行任何其它的内插处理。
在上述的实施例中，作为在图像处理部分14中进行的包含排序处理的图像处理的例子，描述了使用“光场摄影术”的再聚焦运算处理。然而，包括这样的排序处理在内的图像处理并非仅限于此，例如，还可以使用焦点模糊处理、场的深度调整处理或类似的处理。
本领域普通技术人员应当了解，只要在所附的权利要求或其等同的范围内，可以根据设计要求和其它因素进行各种各样的修改、组合、次级组合和变更。

Claims (6)

1、一种图像摄取装置，包括：
图像摄取镜头部分；
根据所检测的光获取图像摄取数据的图像摄取设备；
微透镜阵列部分，布置在图像摄取镜头部分的焦面上，位于图像摄取镜头部分和图像摄取设备之间，包括多个微透镜，每个微透镜相应于图像摄取设备的多个图像摄取像素而提供；以及
由多个聚光元件构成的聚光部分，每个聚光元件会聚进入到图像摄取设备的每个图像摄取像素中的光，
其中，在图像摄取设备上，在相应于每个微透镜的像素区内，在聚光部分中的聚光元件之间的间距小于在图像摄取像素中预定方向上的像素尺寸，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于在图像摄取像素中预定方向上的像素尺寸。
2.根据权利要求1的图像摄取装置，其中，
在与每个微透镜相应的每个像素区内，聚光元件的中心位置与在每个微透镜的中心区内的图像摄取像素的像素中心位置相一致，并随着移向每个微透镜的外围区而逐渐从所述图像摄取像素的像素中心位置偏离。
3.根据权利要求1的图像摄取装置，进而包括：
图像处理部分，用于对由图像摄取设备获取的图像摄取数据进行预定的图像处理。
4.根据权利要求1的图像摄取装置，其中，
图像摄取镜头部分包括光圈，并满足下列的公式(1)，
p＝(m×s)×{L/(L+f)}     (1)
在此，p是微透镜之间的间距，s是在预定方向上的像素尺寸，m是在预定方向上分配给每个微透镜的图像摄取像素的数量(整数)，L是在光圈和微透镜阵列部分之间的距离，f是每个微透镜的焦距。
5.根据权利要求1的图像摄取装置，其中，
图像摄取镜头部分包括光圈，以及
图像摄取设备包括：
图像高度校正部分，用于对由图像摄取设备获得的图像摄取数据进行图像高度校正，以使得在预定方向上的、由每个微透镜在图像摄取设备上生成的图像的图像尺寸等于在预定方向上的图像摄取像素的像素尺寸的整数倍。
6.根据权利要求5的图像摄取装置，其中，
图像高度校正部分通过使用由下列公式(2)和(3)表示的校正因子k对图像摄取数据进行图像高度校正，
k＝β×{L/(L+f)}   (2)
β＝(m×s)/p       (3)
其中，p是微透镜之间的间距，s是在预定方向上的像素尺寸，m是在预定方向上分配给每个微透镜的图像摄取像素的数量(整数)，L是在光圈和微透镜阵列部分之间的距离，f是每个微透镜的焦距。
CNA2009100098437A 2008-01-28 2009-01-24 图像摄取装置 Pending CN101500085A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008016717A JP4483951B2 (ja) 2008-01-28 2008-01-28 撮像装置
JP016717/08 2008-01-28

Publications (1)

Publication Number Publication Date
CN101500085A true CN101500085A (zh) 2009-08-05

Family

ID=40559519

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2009100098437A Pending CN101500085A (zh) 2008-01-28 2009-01-24 图像摄取装置

Country Status (4)

Country Link
US (1) US8106994B2 (zh)
EP (1) EP2083447B1 (zh)
JP (1) JP4483951B2 (zh)
CN (1) CN101500085A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164293A (zh) * 2010-02-16 2011-08-24 索尼公司 图像处理装置、图像处理方法、图像处理程序和成像装置
CN103051832A (zh) * 2011-10-14 2013-04-17 索尼公司 摄像装置、图像生成系统、服务器以及电子装置
CN103118225A (zh) * 2011-10-04 2013-05-22 索尼公司 摄像装置
CN103188443A (zh) * 2011-12-28 2013-07-03 卡西欧计算机株式会社 图像生成装置、数字照相机及方法
CN105093472A (zh) * 2015-08-25 2015-11-25 华为技术有限公司 成像装置和成像方法
CN106170822A (zh) * 2013-12-23 2016-11-30 特拉华大学 3d光场相机和摄影方法
CN107135380A (zh) * 2016-02-29 2017-09-05 华为技术有限公司 一种彩色成像装置以及获取彩色图像的方法

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8019215B2 (en) * 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
JP5187145B2 (ja) 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
JP4952768B2 (ja) 2009-10-27 2012-06-13 株式会社ニコン 撮像装置および画像解析コンピュータプログラム
JP5490514B2 (ja) * 2009-12-22 2014-05-14 三星電子株式会社 撮像装置及び撮像方法
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
JP5906062B2 (ja) * 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
JP5984493B2 (ja) * 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
US9883164B2 (en) * 2011-08-03 2018-01-30 Sony Mobile Communications Inc. Optimizing usage of image sensors in a stereoscopic environment
JP5623356B2 (ja) * 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
JP5913934B2 (ja) 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
JP6102061B2 (ja) * 2012-02-28 2017-03-29 株式会社ニコン 画像処理装置
JP5882789B2 (ja) * 2012-03-01 2016-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
CN103681728B (zh) * 2012-09-20 2018-04-24 索尼公司 固体摄像装置及其方法以及电子设备
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP5953270B2 (ja) * 2013-07-04 2016-07-20 オリンパス株式会社 撮像装置
KR102103983B1 (ko) 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
AT515319B1 (de) * 2014-01-31 2015-08-15 Ait Austrian Inst Technology Verfahren zur Herstellung eines Abbilds eines Gegenstands
AT515318B1 (de) * 2014-01-31 2015-08-15 Ait Austrian Inst Technology Verfahren zur Ermittlung des Lichtfeldes eines Gegenstands
EP3161554A4 (en) * 2014-06-25 2018-03-14 Ramot at Tel-Aviv University Ltd. System and method for light-field imaging
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
US20170359565A1 (en) * 2015-02-20 2017-12-14 Sony Corporation Image pickup device and image pickup method
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
WO2016191035A1 (en) * 2015-05-26 2016-12-01 Lytro, Inc. Capturing light-field images with uneven and/or incomplete angular sampling
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN106610521B (zh) * 2015-10-22 2019-11-19 中强光电股份有限公司 取像装置以及影像拍摄方法
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
RU173871U1 (ru) * 2017-04-27 2017-09-15 Федеральное государственное бюджетное образовательное учреждение высшего образования "Сибирский государственный университет геосистем и технологий" (СГУГиТ) Датчик изображения
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
WO2018211601A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置および撮像システム
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
JP2019029913A (ja) * 2017-08-01 2019-02-21 キヤノン株式会社 撮像装置
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
KR20190085258A (ko) 2018-01-10 2019-07-18 삼성전자주식회사 이미지 센서
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600250B2 (ja) 1988-02-22 1997-04-16 ソニー株式会社 固体撮像装置およびビデオカメラ
JP3170847B2 (ja) 1992-02-14 2001-05-28 キヤノン株式会社 固体撮像素子及びそれを用いた光学機器
JP3155075B2 (ja) 1992-07-22 2001-04-09 旭テック株式会社 薬注装置
JP4054094B2 (ja) * 1996-12-27 2008-02-27 オリンパス株式会社 電子内視鏡
JPH10229180A (ja) 1997-02-14 1998-08-25 Sony Corp 固体撮像素子
US6995800B2 (en) 2000-01-27 2006-02-07 Canon Kabushiki Kaisha Image pickup apparatus utilizing a plurality of converging lenses
JP3709873B2 (ja) * 2003-02-19 2005-10-26 ソニー株式会社 固体撮像装置及び撮像カメラ
WO2005043893A1 (ja) 2003-11-04 2005-05-12 Matsushita Electric Industrial Co., Ltd. 撮像装置
US7936392B2 (en) 2004-10-01 2011-05-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP4728660B2 (ja) * 2005-02-23 2011-07-20 株式会社東芝 固体撮像装置およびそれを用いたカメラ装置
JP5463718B2 (ja) * 2009-04-16 2014-04-09 ソニー株式会社 撮像装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10015472B2 (en) 2010-02-16 2018-07-03 Sony Corporation Image processing using distance information
US9131222B2 (en) 2010-02-16 2015-09-08 Sony Corporation Phase difference detection method, program, and device
CN102164293B (zh) * 2010-02-16 2016-03-09 索尼公司 图像处理装置、图像处理方法和成像装置
CN102164293A (zh) * 2010-02-16 2011-08-24 索尼公司 图像处理装置、图像处理方法、图像处理程序和成像装置
CN103118225A (zh) * 2011-10-04 2013-05-22 索尼公司 摄像装置
CN103051832A (zh) * 2011-10-14 2013-04-17 索尼公司 摄像装置、图像生成系统、服务器以及电子装置
CN103188443A (zh) * 2011-12-28 2013-07-03 卡西欧计算机株式会社 图像生成装置、数字照相机及方法
CN103188443B (zh) * 2011-12-28 2016-02-24 卡西欧计算机株式会社 图像生成装置、数字照相机及方法
CN106170822A (zh) * 2013-12-23 2016-11-30 特拉华大学 3d光场相机和摄影方法
US10397545B2 (en) 2013-12-23 2019-08-27 University Of Deleware 3-D light field camera and photography method
WO2017031948A1 (zh) * 2015-08-25 2017-03-02 华为技术有限公司 成像装置和成像方法
CN105093472A (zh) * 2015-08-25 2015-11-25 华为技术有限公司 成像装置和成像方法
US10393990B2 (en) 2015-08-25 2019-08-27 Huawei Technologies Co., Ltd. Imaging apparatus and imaging method
CN107135380A (zh) * 2016-02-29 2017-09-05 华为技术有限公司 一种彩色成像装置以及获取彩色图像的方法
WO2017148109A1 (zh) * 2016-02-29 2017-09-08 华为技术有限公司 一种彩色成像装置以及获取彩色图像的方法
CN107135380B (zh) * 2016-02-29 2019-05-28 华为技术有限公司 一种彩色成像装置以及获取彩色图像的方法

Also Published As

Publication number Publication date
JP2009177728A (ja) 2009-08-06
US8106994B2 (en) 2012-01-31
JP4483951B2 (ja) 2010-06-16
EP2083447A1 (en) 2009-07-29
US20090190022A1 (en) 2009-07-30
EP2083447B1 (en) 2011-07-06

Similar Documents

Publication Publication Date Title
CN101500085A (zh) 图像摄取装置
JP6848941B2 (ja) 撮像素子および撮像装置
CN101800854B (zh) 图像拾取装置
CN206759600U (zh) 成像系统
CN206727071U (zh) 图像传感器
CN103037180B (zh) 图像传感器和摄像设备
CN204697179U (zh) 具有像素阵列的图像传感器
CN101500086B (zh) 图像拾取装置
US8466998B2 (en) Solid-state image sensor and imaging apparatus equipped with solid-state image sensor
US8581174B2 (en) Image sensor with prismatic de-multiplexing
CN100504452C (zh) 光学设备和光束分离器
KR100871564B1 (ko) 카메라 모듈
RU2554292C2 (ru) Датчик изображения и устройство формирования изображения
US20130278802A1 (en) Exposure timing manipulation in a multi-lens camera
JP3170847B2 (ja) 固体撮像素子及びそれを用いた光学機器
WO2013042518A1 (ja) デジタルカメラ
CN102227811B (zh) 固体图像拍摄元件以及图像拍摄装置
CN102484723B (zh) 固体摄像元件、摄像装置以及信号处理方法
CN103081106A (zh) 图像传感器和摄像设备
CN101656835A (zh) 图像拾取设备、显示器和图像处理设备
TWI676393B (zh) 影像感測器
CN102740006A (zh) 图像传感器和摄像设备
WO2013105383A1 (en) Image generation method, image generation apparatus, program, and storage medium
US20140071322A1 (en) Image pickup apparatus with image pickup device and control method for image pickup apparatus
TWI567963B (zh) 在彩色濾波器陣列上之光學隔離柵格

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090805