CN101455071B - 改进的全光照相机 - Google Patents

改进的全光照相机 Download PDF

Info

Publication number
CN101455071B
CN101455071B CN2007800190343A CN200780019034A CN101455071B CN 101455071 B CN101455071 B CN 101455071B CN 2007800190343 A CN2007800190343 A CN 2007800190343A CN 200780019034 A CN200780019034 A CN 200780019034A CN 101455071 B CN101455071 B CN 101455071B
Authority
CN
China
Prior art keywords
visual field
array
lens
camera
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800190343A
Other languages
English (en)
Other versions
CN101455071A (zh
Inventor
T·G·乔治沃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN101455071A publication Critical patent/CN101455071A/zh
Application granted granted Critical
Publication of CN101455071B publication Critical patent/CN101455071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G02B5/045—Prism arrays

Abstract

本发明提供了一种捕获关于进入照相机内部的光的方向分布的信息的全光照相机(plenoptic camera)。这种全光照相机包括主透镜，其接收来自物视场内的物体的光，并将接收到的光导向照相机的像面。这种照相机还包括在该照相机像面上的光检测器阵列，其捕获接收到的光以产生图像。与传统照相机不同，全光照相机包括位于物视场和主透镜之间的光学元件阵列。该阵列中的每个光学元件从与该阵列中的其他光学元件不同的角度接收来自物视场的光，并将物视场的不同视图导入主透镜。这样，光检测器阵列从阵列中的每一个光学元件接收物视场的不同视图。

Description

改进的全光照相机
技术领域
本发明涉及照相机。更特别地，本发明涉及一种捕获关于进入照相机内部的光线的方向分布的信息的“全光”照相机(plenoptic camera)的设计。
背景技术
传统照相机不能捕获大量的光学信息。特别是，传统照相机不能捕获关于进入照相机内部的光线的光圈位置的信息。在操作期间，传统数字照相机捕获表现了射到照相机内部光传感器上每个点的光的总量的二维(2D)图像。但是，这种2D图像没有包含关于射到光传感器上光的方向分布的信息。这种像素上的方向信息对应于光圈上的位置信息。
相比之下，“全光”照相机对四维(4D)光学相位空间或光场进行采样，在这样做的同时捕获关于光线的方向分布的信息。例如，参见[Adelson92]Adelson，T.，和Wang，J.Y.A.1992，“Single lens stereo with aplenopitc camera(全光照相机单透镜立体图像)”，IEEE Transactions onPattern Analysis and Machine Intelligence 14，2，1992年2月，pp99-106。还可以参见[Ng05]Ng，R.，Levoy，M.，Bredif，M.，Duval，G.，Horowitz，M.和Hanrahan，P.，“Light Field Photography with a Hand-Held PlenopticCamera(手持全光照相机的光场照片)”，Stanford University ComputerScience Tech Report CSTR 2005-02，2005年4月。这些文章描述了基于对传统数字照相机的修改的全光/光场照相机设计。
参考图1A，[Ng05]中描述的系统使用了一个置于离CCD阵列108很小距离(0.5mm)处的由大约100000个小透镜所组成的微型透镜阵列106。每个小透镜将从主透镜104到自身的光束分裂成来自主透镜光圈108上不同“针孔”位置的(100条)光线。将这些光线中的每一条记录为一个像素，并且每个小透镜下的这种像素共同构成100-像素的图像。如果称这种100-像素图像为一个“宏像素”，那么该照相机捕获的全光照片将包含接近100000个宏像素。通过适当地从每个宏像素中选择像素，能够创建利用虚拟针孔照相机所照出的传统图片。此外，通过适当地混合这种图像，能够对原来在拍摄时失焦的图像重新对焦，减少噪点，以及实现其他“光场”效果，如上述文章所述。
在[Ng05]所述原型中，使用具有接近100000个小透镜的阵列的16-百万像素传感器创建接近300*300宏像素的最终输出，其中每个小透镜一个宏像素。每个小透镜创建的宏像素包括接近150个像素。但是，由于称作“晕影(vignetting)”的问题所导致的边缘像素的低质量，只有大约100个这种像素是有用的。每个宏像素包括的这100个像素使捕获的数据等同于100幅传统图像，每一幅对应于对宏像素内部的像素的一种选择。由这种照相机处理数据所产生的每幅图片的大小等于小透镜的数量，因此是300*300。
遗憾地是，对于大多数实际应用来说，只有300*300像素的图像没有足够的分辨率。可以通过增加小透镜数量并将它们做得更小来增加像素数目。遗憾地是，现有技术不能够使用每幅图像的边界像素。应当注意，取决于系统是采用Grayscale模式还是Bayer模式工作，将丢失沿着宏像素边界大约2到4个像素的一个小条。当图像比较小时，这些很少的边界像素占据了图像的很大百分比。例如，在一幅10*10的彩色图像中，每个边缘上4个像素可能丢失，只剩下2*2＝4个中心像素。这种情况下，96％的信息丢失了！因为这个问题，[Ng05]中所述系统不能减少每个微型透镜的大小和透镜下图像的大小。因此，限制了微型透镜的数量，以及因此限制了图像分辨率(通常，在一个应用16-百万像素传感器的系统中，微型透镜的数量限制为少于100000)。
因此，需要一种克服上述问题的用于增加全光照相机分辨率的方法和设备。
发明内容
本发明的一个实施例提供了一种捕获关于进入照相机内部的光的方向分布的信息的全光照相机。和传统照相机一样，这种全光照相机包括主透镜，接收来自物视场中的物体的光，并将接收到的光导向照相机的像面。它还包括一个位于照相机像面上的光检测器阵列，捕获接收到的光以产生图像。但是，与传统照相机不同，全光照相机额外包括位于物视场和主透镜之间的光学元件阵列。这个阵列中的每个光学元件从与阵列中的其他光学元件不同的角度接收来自物视场的光，并从而将物视场的不同视图导入主透镜。以这种方式，光检测器阵列从阵列内的每个光学元件接收物视场的不同视图。
在这个实施例的一种变化中，光学元件阵列中的给定光学元件包括：透镜；棱镜；或透镜和棱镜。
在另一种变化中，透镜是具有负焦距的负透镜。
在另一种变化中，透镜是消色差透镜，以及棱镜是消色差棱镜。
在这个实施例的一种变化中，光检测器阵列是电荷耦合器件(CCD)阵列。
本发明的一个实施例额外地包括处理机制，配置用于处理光检测器阵列接收到的物视场的不同视图，以产生最终图像
在另一种变化中，当产生最终图像时，处理机制被配置用于使用物视场的不同视图来调整下列的一项或多项：最终图像的焦面；最终图像的视角；以及最终图像的景深。
在另一种变化中，当处理物视场的不同视图时，处理机制被配置用于完成不同视图之间的视图变形或插值操作，以产生物视场的附加视图，该附加视图看上去是从阵列中各光学元件位置之间的位置处获得的视图。
附图说明
图1A示出了现有技术的全光照相机。
图1B示出了根据本发明的一个实施例的全光照相机。
图2示出了根据本发明的一个实施例的全光照相机中附加的透镜和棱镜的布局。
图3示出了根据本发明的一个实施例的透镜和棱镜的阵列。
图4示出了根据本发明的一个实施例的透镜阵列和棱镜阵列。
图5示出了根据本发明的一个实施例的一个示例性场景。
图6呈现了通过根据本发明的一个实施例的透镜阵列获得的示例性场景的图像。
图7呈现了通过根据本发明的一个实施例的棱镜阵列获得的示例性场景的图像。
图8呈现了通过根据本发明的一个实施例的透镜阵列和棱镜阵列获得的示例性场景的图像。
图9A示出了根据本发明的一个实施例所生成的前景和背景同时对准焦距的示例性场景的图像。
图9B示出了根据本发明的一个实施例所生成的前景对准焦距的示例性场景的图像。
图9C示出了根据本发明的一个实施例所生成的背景对准焦距的示例性场景的图像。
图10呈现了根据本发明的一个实施例的如何在全光照相机内部引导光的流程图。
具体实施方式
为了使本领域中任何人能够做出和使用本发明，呈现下列描述，并且下列描述是在特殊应用以及这些应用的要求的上下文中提供的。在不偏离本发明精神和范围的条件下，本领域中的技术人员很容易想到对公开实施例的各种改变，以及将这里定义的基本原理应用于其他实施例和应用。这样，本发明不限于所示实施例，而是与权利要求所构成的宽范围相一致。
将详细描述中的数据结构和编码描述典型地存储在计算机可读存储介质中，该计算机可读存储介质可能是计算机系统使用的任何能够存储编码和/或数据的装置或介质。这包括，但不限于，磁性和光学存储装置例如磁盘驱动器，磁带，CD(压缩光盘)，DVD(数字通用光盘或数字视频光盘)，或任何计算机可用的能够存储数据的装置。
在[Ng05]所述系统中，每个宏像素的图像大小受限于照相机的设计。本发明提供了一种新的更容易构建的照相机，在视图数量和每幅视图图像大小之间的权衡上给予设计者更多灵活性。更特别地，本发明的一个实施例能够捕获少量(10幅)高分辨率图像，而[Ng05]中所述系统捕获大量(100幅)低分辨率图像。
因此，本发明的一个实施例提供了一种设计，其中将少量传统透镜置于照相机主透镜前面，而不是如[Ng05]中所公开的将大量微型透镜置于主透镜后面，因此使得更容易建立全光照相机。
应当注意，本发明使得在不丢失边缘像素质量的同时减少捕获的有效图像数量(从现有技术的100幅降到20幅，甚至10幅)成为了可能。这是[Ng05]所公开系统的主要问题，其将图像分辨率限制为300*300宏像素。使用相同类型的光学传感器，本发明能够为最终图像实现高得多的分辨率(例如，五倍的分辨率)。换句话说，本发明提供了用3D信息细节换取2D图像细节的灵活性。对于由少量3D表面组成的简单场景，少量图像足以捕获完整的3D细节。(例如，人类视觉系统只用两幅图像。)这说明希望减少图像数量，因为100幅图像可能太多了，10或20幅图像可能更合适。本发明的实施例使之成为了可能，而在现有技术中是不可能的。
代替将透镜阵列置于主透镜后面，如图1A所示的现有技术系统中那样，本发明将透镜阵列114置于主透镜116之前，如图1B所示。更具体地，本发明的一个实施例通过将19个透镜/棱镜置于主透镜之前代替将90000个透镜置于主透镜之后来实现更高分辨率的结果。
在图1B示出的本发明实施例中，将(大约10个到100个)透镜的阵列114和棱镜阵列112置于传统照相机主透镜116之前200mm到500mm处。应当注意，(棱镜阵列宽度)/(距主透镜的距离)的比值理想地等于主透镜116的f-值。
将每个透镜耦合到对应的消色差棱镜，其中取决于透镜位置，棱镜对不同透镜具有不同角度。特别地，选择每个棱镜，产生一个等于主照相机透镜观看棱镜的角度的角度偏移。以这种方式，所有棱镜创建了场景中同一物体的多个图像。应当注意，精确实现棱镜的角度和棱镜排列不是必须的，因为小错误不会影响最终图像的质量。但是，应该避免大错误以确保没有由图像的随机移位导致的像素浪费，这种像素浪费会产生缝隙和/或交迭。
在本发明的一个实施例中，所有透镜具有相同的负焦距，例如-100mm。这个焦距控制视野。应当注意，如果想要很好地定焦，所有透镜具有相同焦距很重要。
将照相机的主透镜116定焦在出现于负透镜之前的虚拟图像阵列上。应当注意阵列中每个透镜/棱镜从与阵列中的其他透镜/棱镜不同的角度接收来自图像区域110的光，并因此将图像区域110的不同视图导入照相机主透镜116。以这种方式，CCD阵列118捕获了一组图片，其中每幅图片提供了来自阵列中不同透镜/棱镜的物视场的不同视图。
通过处理装置120处理由CCD阵列118捕获的图片阵列以产生最终图像122。(应当注意处理装置120能够集成在照相机内也能位于照相机外)。通过适当地混合这些图像，处理装置120能够实现各种“光场”效果，例如图像重新对焦，减少噪点，调整视角，以及调整最终图像的景深。(关于这些光场效果中的某一些的详细描述，请参看[Adelson92]和[Ng05]，也可以参看发明人为Edward H.Adelson的美国专利No.5076687“Optical Ranging Apparatus”。)
在本发明的一个实施例中，处理装置120被额外配置用于完成不同视图之间的视图变形或插值操作，以产生物视场的附加视图，该附加视图看上去是从阵列中各透镜/棱镜位置之间的位置处获得的视图。以这种方式，本发明能够使用更少量的透镜(20个)产生大量图像(100幅)。(在发明人为Todor Georgiev的美国专利No.6351269“Multiple ImageMorphing”中描述了这种类型的视图变形操作。)
应当注意，生成这些附加视图极大地拓展了设计空间，因为所得到的系统生成了大量的“高分辨率”图像。这是相对于[Ng05]所述的捕获大量“低分辨率”图像的系统的进步。
示例性实施例
在本发明的一个示例性实施例中，透镜阵列114包含19个透镜(f＝-100mm)，和排列成六边形图案的18个棱镜，如图2和图3所示。应当注意，中心透镜没有棱镜，因为它位于照相机的主轴上。照相机主透镜的f值是f/2，对应于14度。为了适应该f值，如图2所示，选择偏移角度为4度、7度和8度的棱镜。在这个示例性实施例中，透镜的直径是25mm，透镜阵列114的总宽度是125mm。此外，将此阵列放在与主透镜116相距250mm处。(应当注意这个距离能够调整。)利用一个16-百万像素的CCD阵列，这个实施例能够捕获大约600*600像素的最终图像，在相同的照相机分辨率下，像素比[Ng05]所述照相机多4倍。
应当注意，一个看起来像长焦镜头的管筒可以从主透镜延伸到透镜阵列，防止光从侧面进入系统并防止在棱镜和透镜上形成反射点。
透镜和棱镜
本发明的一个实施例能够只使用棱镜操作和只使用透镜进行操作，但是优选地同时使用透镜和棱镜进行操作。为了说明这一点，通过在图4中示出的7个负透镜的阵列和对应的6个棱镜的阵列得到了多个图片。使用这些透镜和棱镜捕获图5中所出现的示例性场景的图像。
图6示出了只通过透镜阵列所得到的示例性场景的图像。应当注意，这些图像相对于彼此发生移位，并且不捕获场景的同一区域，尽管管帽附近有很小一片场景出现在所有的图像中。
图7呈现了只通过棱镜阵列所得到的示例性场景的图像。应当注意，这些棱镜使图像发生移位从而在每幅图像中捕获了场景的相同部分。但是，所得到的视野相当窄。
最终，图8呈现了同时通过透镜阵列和棱镜阵列所得到的示例性场景的图像。应当注意，棱镜使图像移位从而使所有图像居中，并且透镜扩展了视野。还应当注意，每两幅图像形成一幅立体图像对。
通过使用负透镜代替正透镜，形成图像的平面会离照相机更远。这样使得所得到的系统更加紧凑，因为它允许透镜阵列更靠近主透镜。生成结果图像
如上面所提及的，本发明可以实现各种“光场”效果，例如重新对焦，减少噪点，调整视角，以及调整图像景深。例如，图9A-图9C示出了根据本发明的一个实施例，在得到图片之后，系统的一个实施例如何能够虚拟地定焦在不同像面上。在图9A中，图像的景深很大，所以前景中的瓶子和背景中的管子都对准了焦距。在图9B中，减少了景深，将图像的焦面设置为更接近照相机，所以前景中的瓶子对准了焦距，而背景中的管子失焦了。在图9C中，将图像的焦面设置为更远离照相机，所以背景中的管子对准了焦距，而前景中的瓶子失焦了。
光学流程
图10提供了一个流程图，用于说明光如何在根据本发明的实施例的全光照相机内部传导。第一，在位于照相机主透镜和物视场之间的光学元件阵列处接收来自物视场中物体的光(步骤1002)。这个阵列中的每个光学元件从不同角度接收来自物视场的光，以及因此将物视场的不同视图导入主透镜。
接着，在主透镜处接收来自光学元件阵列的光，主透镜将接收到的光导向照相机的像面(步骤1004)。
然后，在位于照相机像面上的光检测器阵列处接收来自主透镜的光(步骤1006)，其中光检测器阵列从阵列中每个光学元件接收物视场的不同视图。
最后，处理光检测器阵列接收到的物视场的不同视图以产生最终图像(步骤1008)。
仅仅为了说明和描述的目的，提供了前面的对本发明实施例的描述。这些描述并不旨在穷尽本发明或将本发明限制为所公开的形式。相应地，对于本领域中的技术人员来说，许多改变和变化是很明显的。另外，上面的公开内容并不旨在限制本发明。通过权利要求定义本发明的范围。

Claims (20)

1.一种照相机，包括：
主透镜，其接收来自物视场中的物体的光，并将接收到的光导向照相机的像面；
位于照相机的像面上的光检测器阵列，其捕获接收到的光以产生图像；以及
位于物视场和主透镜之间的光学元件阵列，其中每个光学元件包括透镜，所述光学元件阵列中的每个光学元件从与所述光学元件阵列中的其他光学元件不同的角度接收来自物视场的光，并从而将物视场的不同视图导入主透镜，由此光检测器阵列从所述光学元件阵列中的每个光学元件接收物视场的不同视图；
其中所接收的所述物视场的不同视图相对于彼此发生位移，并且不捕获所述物视场的同一区域。
2.根据权利要求1所述的照相机，其中光学元件阵列中的给定光学元件包括：
透镜；
棱镜；或者
透镜和棱镜。
3.根据权利要求1所述的照相机，其中所述光学元件的透镜是具有负焦距的负透镜。
4.根据权利要求1所述的照相机，其中所述光学元件的透镜具有相同的负焦距。
5.根据权利要求1所述的照相机，其中光检测器阵列是电荷耦合器件(CCD)阵列。
6.根据权利要求1所述的照相机，还包括处理机制，其被配置用于处理光检测器阵列接收到的物视场的不同视图，以产生最终图像。
7.根据权利要求6所述的照相机，其中当产生最终图像时，处理机制被配置用于使用物视场的不同视图来调整下列的一项或多项：
最终图像的焦面；
最终图像的视角；以及
最终图像的景深。
8.根据权利要求6所述的照相机，其中当处理物视场的不同视图时，处理机制被配置用于完成不同视图之间的视图变形或插值操作，以产生物视场的附加视图，所述附加视图看上去是从所述光学元件阵列中各光学元件位置之间的位置处获得的视图。
9.一种采集光的方法，包括：
在位于物视场和照相机主透镜之间的光学元件阵列处接收来自物视场中物体的光，其中每个光学元件包括透镜，所述光学元件阵列中的每个光学元件从与所述光学元件阵列中的其他光学元件不同角度接收来自物视场的光，以及从而将物视场的不同视图导入主透镜；
在主透镜处接收来自光学元件阵列的光，主透镜将接收到的光导向照相机的像面；以及
在位于照相机的像面上的光检测器阵列处接收来自主透镜的光，其中光检测器阵列从所述光学元件阵列中的每个光学元件接收物视场的不同视图；
其中所接收的所述物视场的不同视图相对于彼此发生位移，并且不捕获所述物视场的同一区域。
10.根据权利要求9所述的方法，其中光学元件阵列中的给定光学元件包括：
透镜；
棱镜；或者
透镜和棱镜。
11.根据权利要求9所述的方法，其中所述光学元件的透镜是具有负焦距的负透镜。
12.根据权利要求9所述的方法，其中所述光学元件的透镜具有相同的负焦距。
13.根据权利要求9所述的方法，其中光检测器阵列是电荷耦合器件(CCD)阵列。
14.根据权利要求9所述的方法，还包括处理光检测器阵列所接收到的物视场的不同视图，以产生最终图像。
15.根据权利要求14所述的方法，其中产生最终图像包括使用物视场的不同视图来调整下列的一项或多项：
最终图像的焦面；
最终图像的视角；以及
最终图像的景深。
16.根据权利要求14所述的方法，其中处理物视场的不同视图包括完成不同视图之间的视图变形或插值操作，以产生物视场的附加视图，所述附加视图看上去是从所述光学元件阵列中各光学元件位置之间的位置处获得的视图。
17.一种成像系统，包括；
主透镜，其接收来自物视场中的物体的光，并将接收到的光导向像面；
光检测器阵列，其位于所述像面上，捕获接收到的光以产生图像；
位于物视场和主透镜之间的光学元件阵列，其中每个光学元件包括透镜，所述光学元件阵列中的每个光学元件从与所述光学元件阵列中的其他光学元件不同的角度接收来自物视场的光，以及从而将物视场的不同视图导入主透镜，由此光检测器阵列从所述光学元件阵列中的每个光学元件接收物视场的不同视图；以及
处理机制，其被配置用于处理光检测器阵列接收到的物视场的不同视图，以产生最终图像；
其中所接收的所述物视场的不同视图相对于彼此发生位移，并且不捕获所述物视场的同一区域。
18.根据权利要求17所述的成像系统，其中光学元件阵列中的给定光学元件包括：
具有负焦距的负透镜；以及
棱镜。
19.根据权利要求17所述的成像系统，其中当产生最终图像时，处理机制被配置用于使用物视场的不同视图来调整下列的一项或多项：
最终图像的焦面；
最终图像的视角；以及
最终图像的景深。
20.根据权利要求17所述的成像系统，其中在处理物视场的不同视图时，处理机制被配置用于完成不同视图之间的视图变形或插值操作，以产生物视场的附加视图，所述附加视图看上去是从所述光学阵列中各光学元件位置之间的位置处获得的视图。
CN2007800190343A 2006-04-04 2007-04-03 改进的全光照相机 Active CN101455071B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/398,403 US7620309B2 (en) 2006-04-04 2006-04-04 Plenoptic camera
US11/398,403 2006-04-04
PCT/US2007/065855 WO2007115281A1 (en) 2006-04-04 2007-04-03 Improved plenoptic camera

Publications (2)

Publication Number Publication Date
CN101455071A CN101455071A (zh) 2009-06-10
CN101455071B true CN101455071B (zh) 2013-04-03

Family

ID=38222707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800190343A Active CN101455071B (zh) 2006-04-04 2007-04-03 改进的全光照相机

Country Status (6)

Country Link
US (2) US7620309B2 (zh)
EP (1) EP2008445B1 (zh)
JP (1) JP4981124B2 (zh)
KR (1) KR20090016453A (zh)
CN (1) CN101455071B (zh)
WO (1) WO2007115281A1 (zh)

Families Citing this family (216)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4545190B2 (ja) * 2005-03-24 2010-09-15 パナソニック株式会社 撮像装置
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US7969577B2 (en) * 2006-09-14 2011-06-28 Asml Netherlands B.V. Inspection apparatus, an apparatus for projecting an image and a method of measuring a property of a substrate
TW200823595A (en) * 2006-11-28 2008-06-01 Univ Nat Taiwan Image capture device using programmable aperture
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US7872796B2 (en) 2007-01-25 2011-01-18 Adobe Systems Incorporated Light field microscope with lenslet array
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
US8559756B2 (en) * 2007-08-06 2013-10-15 Adobe Systems Incorporated Radiance processing by demultiplexing in the frequency domain
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
US20090160975A1 (en) * 2007-12-19 2009-06-25 Ncr Corporation Methods and Apparatus for Improved Image Processing to Provide Retroactive Image Focusing and Improved Depth of Field in Retail Imaging Systems
ES2372515B2 (es) * 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4941332B2 (ja) 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
US8155456B2 (en) * 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
JP2009290268A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
EP2133726B1 (en) * 2008-06-10 2011-06-01 Thomson Licensing Multi-image capture system with improved depth image resolution
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
EP2175632A1 (en) * 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
US8587681B2 (en) * 2008-11-21 2013-11-19 Omnivision Technologies, Inc. Extended depth of field for image sensor
US8279325B2 (en) * 2008-11-25 2012-10-02 Lytro, Inc. System and method for acquiring, editing, generating and outputting video data
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
JP5230456B2 (ja) * 2009-01-09 2013-07-10 キヤノン株式会社 画像処理装置および画像処理方法
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US8315476B1 (en) * 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
TW201044856A (en) * 2009-06-09 2010-12-16 Ind Tech Res Inst Image restoration method and apparatus
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US20110115916A1 (en) * 2009-11-16 2011-05-19 Eiji Yafuso System for mosaic image acquisition
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
KR20120116003A (ko) 2010-01-22 2012-10-19 더 트러스티이스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 광 확산기를 이용하여 이미지를 레코딩하는 시스템, 방법 및 매체
US8665367B2 (en) * 2010-01-29 2014-03-04 Sharp Laboratories Of America, Inc. Video resolution enhancement technique
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8860833B2 (en) 2010-03-03 2014-10-14 Adobe Systems Incorporated Blended rendering of focused plenoptic camera data
US8358366B1 (en) 2010-05-28 2013-01-22 Adobe Systems Incorporate Methods and apparatus for high-speed digital imaging
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8675993B2 (en) 2010-09-03 2014-03-18 Adobe Systems Incorporated Methods and apparatus for patch-based shape from shading
US20120056987A1 (en) * 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
US8780251B2 (en) * 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
DE102010047846B4 (de) * 2010-09-30 2017-11-09 Carl Zeiss Vision International Gmbh Optische Linse und Verfahren zum Herstellen einer optischen Linse
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9124881B2 (en) * 2010-12-03 2015-09-01 Fly's Eye Imaging LLC Method of displaying an enhanced three-dimensional images
JP5906062B2 (ja) 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
US8797432B2 (en) 2011-01-20 2014-08-05 Aptina Imaging Corporation Imaging system with an array of image sensors
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US20120188391A1 (en) * 2011-01-25 2012-07-26 Scott Smith Array camera having lenses with independent fields of view
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
GB2488519A (en) * 2011-02-16 2012-09-05 St Microelectronics Res & Dev Multi-channel image sensor incorporating lenslet array and overlapping fields of view.
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
JP5170276B2 (ja) 2011-03-31 2013-03-27 カシオ計算機株式会社 画像再構成装置、画像再構成方法、及び画像再構成プログラム
US9229581B2 (en) 2011-05-05 2016-01-05 Maxim Integrated Products, Inc. Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources
US8716649B2 (en) * 2011-05-05 2014-05-06 Maxim Integrated Products, Inc. Optical gesture sensor using a single illumination source
US8531581B2 (en) 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
JP5818514B2 (ja) * 2011-05-27 2015-11-18 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
WO2012170111A1 (en) * 2011-06-08 2012-12-13 Lytro, Inc. Storage and transmission of pictures including multiple frames
JP5984493B2 (ja) * 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
TWI437266B (zh) * 2011-07-28 2014-05-11 Univ Nat Taiwan Science Tech 集光透鏡模組
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
EP2751748B1 (en) 2011-08-30 2019-05-08 Digimarc Corporation Methods and arrangements for identifying objects
JP5206853B2 (ja) * 2011-09-08 2013-06-12 カシオ計算機株式会社 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
DE102011114325A1 (de) 2011-09-24 2013-03-28 Martin Häusler Plenoptisches Kameraobjektiv
US9100574B2 (en) 2011-10-18 2015-08-04 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8941750B2 (en) 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
JP5310837B2 (ja) * 2011-12-28 2013-10-09 カシオ計算機株式会社 画像生成装置、デジタルカメラ、方法、及びプログラム
EP2623964A1 (de) 2012-02-06 2013-08-07 Jürgen Kupper Röntgengerät und Röntgenverfahren zur Untersuchung eines dreidimensionalen Untersuchungsobjekts
US8953012B2 (en) 2012-02-13 2015-02-10 Raytheon Company Multi-plenoptic system with image stacking and method for wide field-of-regard high-resolution imaging
US9137441B2 (en) 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
JP5459337B2 (ja) 2012-03-21 2014-04-02 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
WO2013169671A1 (en) 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
JP6019729B2 (ja) * 2012-05-11 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8628014B1 (en) * 2012-05-15 2014-01-14 John M. Hoffer, Jr. Light field instruction symbol identifier and method of use
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
FR2994735B1 (fr) 2012-08-22 2014-08-01 Onera (Off Nat Aerospatiale) Procede et dispositif d'imagerie telemetrique
KR101951318B1 (ko) 2012-08-27 2019-04-25 삼성전자주식회사 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9667846B2 (en) * 2012-11-27 2017-05-30 Nokia Technologies Oy Plenoptic camera apparatus, a method and a computer program
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
CN105210361B (zh) * 2013-02-13 2019-04-12 萨尔布吕肯大学 全光成像设备
US9456141B2 (en) 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
US8978984B2 (en) 2013-02-28 2015-03-17 Hand Held Products, Inc. Indicia reading terminals and methods for decoding decodable indicia employing light field imaging
US10057498B1 (en) * 2013-03-15 2018-08-21 Cognex Corporation Light field vision system camera and methods for using the same
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP2014220564A (ja) * 2013-05-01 2014-11-20 キヤノン株式会社 画像再生装置、画像再生方法およびプログラム、並びに撮像装置
CN110061018B (zh) 2013-05-21 2023-11-28 弗托斯传感与算法公司 全光透镜在光传感器衬底上的单片集成
US10095183B2 (en) 2013-06-21 2018-10-09 University Of South Florida Full-color incoherent digital holography
US10151859B2 (en) 2013-09-23 2018-12-11 Lg Innotek Co., Ltd. Camera module and manufacturing method for same
KR102303389B1 (ko) * 2013-12-23 2021-09-16 유니버시티 오브 델라웨어 3-d 라이트 필드 카메라 및 사진술 방법
JP6228300B2 (ja) 2013-12-24 2017-11-08 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良
US9538075B2 (en) 2013-12-30 2017-01-03 Indiana University Research And Technology Corporation Frequency domain processing techniques for plenoptic images
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
KR102228456B1 (ko) * 2014-03-13 2021-03-16 삼성전자주식회사 깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
JP6362433B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
US8988317B1 (en) 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
US10203661B2 (en) 2014-07-10 2019-02-12 University Of South Florida Systems and methods for performing self-interference incoherent digital holography
WO2016033590A1 (en) 2014-08-31 2016-03-03 Berestka John Systems and methods for analyzing the eye
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
TWI529661B (zh) * 2014-10-17 2016-04-11 國立臺灣大學 快速建立景深圖的方法及影像處理裝置
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
US9444991B2 (en) 2014-11-13 2016-09-13 Lytro, Inc. Robust layered light-field rendering
EP3026884A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Plenoptic camera comprising a light emitting device
US9902120B2 (en) * 2015-02-09 2018-02-27 Omnivision Technologies, Inc. Wide-angle camera using achromatic doublet prism array and method of manufacturing the same
US10070055B2 (en) 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
DE102015006659A1 (de) 2015-05-22 2016-11-24 Martin Häusler Plenoptisches Kameraobjektiv
CN106303166A (zh) * 2015-05-22 2017-01-04 电信科学技术研究院 一种图像采集设备
US10033986B2 (en) 2015-05-26 2018-07-24 Google Llc Capturing light-field images with uneven and/or incomplete angular sampling
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US9557741B1 (en) * 2015-08-24 2017-01-31 Ford Global Technologies, Llc System and method for autonomous valet parking using plenoptic cameras
ITUA20161688A1 (it) 2016-03-15 2017-09-15 Univ Degli Studi Di Bari Dispositivo e procedimento di acquisizione plenottica di immagini.
WO2017192663A1 (en) 2016-05-06 2017-11-09 Arizona Board Of Regents On Behalf Of The University Of Arizona Plenoptic imaging apparatus, method, and applications
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
EP3264741A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling with improved resolution
EP3293959A1 (en) * 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
JP6855587B2 (ja) * 2016-10-18 2021-04-07 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． 視点から距離情報を取得するための装置及び方法
US10169849B2 (en) 2016-11-11 2019-01-01 International Business Machines Corporation Contextual personalized focus for variable depth of field photographs on social networks
CN106500629B (zh) * 2016-11-29 2022-09-27 深圳大学 一种显微三维测量装置及系统
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10369988B2 (en) 2017-01-13 2019-08-06 Ford Global Technologies, Llc Autonomous parking of vehicles inperpendicular parking spots
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
WO2018209703A1 (en) * 2017-05-19 2018-11-22 Shanghaitech University Method and system for snapshot multi-spectral light field imaging
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
GB201708861D0 (en) * 2017-06-02 2017-07-19 Purelifi Ltd Concentrator height reduction
US10683034B2 (en) 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10234868B2 (en) 2017-06-16 2019-03-19 Ford Global Technologies, Llc Mobile device initiation of vehicle remote-parking
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
CN111066263B (zh) * 2017-07-21 2023-10-03 加州理工学院 超薄平面无透镜相机
US11882371B2 (en) 2017-08-11 2024-01-23 California Institute Of Technology Lensless 3-dimensional imaging using directional sensing elements
DE102017118436A1 (de) * 2017-08-14 2019-02-14 Valeo Schalter Und Sensoren Gmbh Empfängereinheit für eine Laserabtastvorrichtung, Laserabtastvorrichtung, Fahrzeug und Verfahren zum Erfassen von Licht
US10218946B1 (en) * 2017-08-29 2019-02-26 Sony Interactive Entertainment LLC High spectrum camera
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
WO2019064047A1 (en) 2017-09-26 2019-04-04 Universita' Degli Studi Di Bari Aldo Moro DEVICE AND PROCESS FOR CONTEMPORARY CAPTURE OF STANDARD AND PLENOPTIC IMAGES
US10281921B2 (en) 2017-10-02 2019-05-07 Ford Global Technologies, Llc Autonomous parking of vehicles in perpendicular parking spots
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
US20190137731A1 (en) * 2017-11-03 2019-05-09 Sony Corporation Light field adapter for interchangeable lens cameras
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
CN107741644A (zh) * 2017-11-21 2018-02-27 杭州加速云信息技术有限公司 一种用于不同视角成像的成像装置
US10336320B2 (en) 2017-11-22 2019-07-02 Ford Global Technologies, Llc Monitoring of communication for vehicle remote park-assist
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10684627B2 (en) 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
WO2019174756A1 (en) * 2018-03-15 2019-09-19 Photonic Sensors & Algorithms, S.L. Plenoptic camera for mobile devices
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
FR3090904B1 (fr) 2018-12-19 2021-02-19 Office National Detudes Rech Aerospatiales Composant optique monolithique a plusieurs voies
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11523097B2 (en) 2019-03-22 2022-12-06 Universita' Degli Studi Di Bari Aldo Moro Process and apparatus for the capture of plenoptic images between arbitrary planes
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
CN110928113B (zh) * 2019-12-03 2021-10-08 西北工业大学 一种可变空间分辨率的光场采集装置
WO2021217031A1 (en) * 2020-04-23 2021-10-28 The Regents Of The University Of California Ultrafast light field tomography
EP3993385A1 (en) 2020-10-29 2022-05-04 Universitat de València A multiperspective photography camera device
US11947134B2 (en) 2021-01-22 2024-04-02 National Taiwan University Device of generating 3D light-field image
US11341224B2 (en) 2021-01-29 2022-05-24 Ut Battelle, Llc Handheld multi-sensor biometric imaging device and processing pipeline

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3985419A (en) * 1970-10-05 1976-10-12 Canon Kabushiki Kaisha Method of making a synthetic focused image hologram
US4193093A (en) * 1978-08-03 1980-03-11 The United States Of America As Represented By The Secretary Of The Navy CCD camera interface circuit
US5361127A (en) * 1992-08-07 1994-11-01 Hughes Aircraft Company Multi-image single sensor depth recovery system
US5729011A (en) * 1995-02-24 1998-03-17 Olympus Optical Co., Ltd. Spectroscopic apparatus and spectroscopic image recording apparatus

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US725567A (en) 1902-09-25 1903-04-14 Frederic E Ives Parallax stereogram and process of making same.
US2039648A (en) * 1933-05-06 1936-05-05 Perser Corp Camera for making parallax panoramagrams
JPS5040669B1 (zh) * 1970-11-13 1975-12-25
JPS5946376B2 (ja) * 1977-03-11 1984-11-12 富士写真フイルム株式会社 立体写真撮影装置
US4230942A (en) * 1979-03-26 1980-10-28 Honeywell Inc. Crossed cylindrical lens
US4580219A (en) * 1983-05-02 1986-04-01 General Electric Company Method for reducing image artifacts due to projection measurement inconsistencies
US4732453A (en) * 1984-12-10 1988-03-22 Integrated Images, Inc. Integral photography apparatus and method of forming same
US4849782A (en) * 1985-06-28 1989-07-18 Canon Kabushiki Kaisha Focus detecting device
US5076687A (en) * 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US5400093A (en) * 1992-12-28 1995-03-21 U.S. Philips Corporation Image projection system with autofocusing
KR950704670A (ko) * 1993-09-30 1995-11-20 가따다 데쯔야 공초점광학장치
JPH07270791A (ja) * 1994-03-25 1995-10-20 Nikon Corp 投射装置
FR2748579B1 (fr) * 1996-05-09 1998-08-21 Allio Pierre Dispositif de formation d'une image autostereoscopique et systeme le comprenant
BR9612680A (pt) * 1996-06-03 1999-07-20 Herman D Mims Método e aparelho para fotografia tridimensional
US6137535A (en) * 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
GB9702006D0 (en) * 1997-01-31 1997-03-19 Univ Montfort Lens arrangements
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US7002749B2 (en) 1997-07-08 2006-02-21 Kremen Stanley H Modular integral magnifier
US7532372B2 (en) 1997-07-08 2009-05-12 Kremen Stanley H Method for creating a holographic screen that reconstructs uniformly magnified three-dimensional images from projected integral photographs
US20010012149A1 (en) * 1997-10-30 2001-08-09 Shawn-Yu Lin Optical elements comprising photonic crystals and applications thereof
US6351269B1 (en) * 1998-04-17 2002-02-26 Adobe Systems Incorporated Multiple image morphing
JP3869116B2 (ja) * 1998-04-27 2007-01-17 日本放送協会 立体画像装置
US6268846B1 (en) * 1998-06-22 2001-07-31 Adobe Systems Incorporated 3D graphics based on images and morphing
JP3790371B2 (ja) * 1998-10-09 2006-06-28 日本放送協会 立体画像装置
US6339506B1 (en) * 1998-11-06 2002-01-15 Oni Systems Corp. Microlens array with spatially varying optical property
WO2001037025A1 (en) 1999-11-16 2001-05-25 Agilent Technologies, Inc. Confocal imaging
US6476805B1 (en) * 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
US6738533B1 (en) * 2000-03-29 2004-05-18 Microsoft Corporation Minimum sampling rate and minimum sampling curve for image-based rendering
JP2001330769A (ja) * 2000-05-24 2001-11-30 Canon Inc 撮像装置及びその制御方法
US7061532B2 (en) 2001-03-27 2006-06-13 Hewlett-Packard Development Company, L.P. Single sensor chip digital stereo camera
US7260323B2 (en) * 2002-06-12 2007-08-21 Eastman Kodak Company Imaging using silver halide films with micro-lens capture, scanning and digital reconstruction
JPWO2004036284A1 (ja) 2002-09-30 2006-02-16 独立行政法人科学技術振興機構 共焦点顕微鏡、共焦点顕微鏡を用いた蛍光測定方法及び偏光測定方法
US20040114807A1 (en) 2002-12-13 2004-06-17 Dan Lelescu Statistical representation and coding of light field data
JP2004200975A (ja) * 2002-12-18 2004-07-15 Canon Inc 撮像装置
JP2004239932A (ja) * 2003-02-03 2004-08-26 Noriji Ooishi 立体像撮影装置
US7057806B2 (en) 2003-05-09 2006-06-06 3M Innovative Properties Company Scanning laser microscope with wavefront sensor
US7702878B2 (en) * 2004-03-19 2010-04-20 Broadcom Corporation Method and system for scalable video data width
US7054067B2 (en) * 2003-05-27 2006-05-30 Nippon Hoso Kyokai Three-dimensional image optical system
DE10327733C5 (de) * 2003-06-18 2012-04-19 Limo Patentverwaltung Gmbh & Co. Kg Vorrichtung zur Formung eines Lichtstrahls
WO2005043893A1 (ja) * 2003-11-04 2005-05-12 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP4508619B2 (ja) * 2003-12-03 2010-07-21 キヤノン株式会社 固体撮像装置の製造方法
KR101134208B1 (ko) * 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US7653261B2 (en) * 2004-11-12 2010-01-26 Microsoft Corporation Image tapestry
US7636416B2 (en) * 2005-02-25 2009-12-22 Hitachi Medical Corporation X-ray CT apparatus comprising a tube current control unit
JP4545190B2 (ja) * 2005-03-24 2010-09-15 パナソニック株式会社 撮像装置
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
CN101288106B (zh) * 2005-09-13 2012-12-05 皇家飞利浦电子股份有限公司 用于计算机断层摄影胸部诊断的最佳视图的自动生成
US8009209B2 (en) * 2005-09-30 2011-08-30 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
WO2007092581A2 (en) * 2006-02-07 2007-08-16 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US7676073B2 (en) * 2006-08-29 2010-03-09 Siemens Medical Solutions Usa, Inc. System and method for reducing circular artifacts in tomographic imaging
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US7860333B2 (en) * 2007-01-09 2010-12-28 University Of Utah Research Foundation Systems and methods for deblurring data corrupted by shift variant blurring
JP4264569B2 (ja) * 2007-01-09 2009-05-20 ソニー株式会社 撮像装置
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
CN100585453C (zh) * 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置
US8559756B2 (en) * 2007-08-06 2013-10-15 Adobe Systems Incorporated Radiance processing by demultiplexing in the frequency domain
KR20090022596A (ko) * 2007-08-31 2009-03-04 삼성전기주식회사 회절형 광변조기 및 이를 포함하는 디스플레이 장치
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189065B2 (en) * 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3985419A (en) * 1970-10-05 1976-10-12 Canon Kabushiki Kaisha Method of making a synthetic focused image hologram
US4193093A (en) * 1978-08-03 1980-03-11 The United States Of America As Represented By The Secretary Of The Navy CCD camera interface circuit
US5361127A (en) * 1992-08-07 1994-11-01 Hughes Aircraft Company Multi-image single sensor depth recovery system
US5729011A (en) * 1995-02-24 1998-03-17 Olympus Optical Co., Ltd. Spectroscopic apparatus and spectroscopic image recording apparatus

Also Published As

Publication number Publication date
KR20090016453A (ko) 2009-02-13
US7620309B2 (en) 2009-11-17
EP2008445B1 (en) 2017-10-18
CN101455071A (zh) 2009-06-10
JP2009532993A (ja) 2009-09-10
JP4981124B2 (ja) 2012-07-18
EP2008445A1 (en) 2008-12-31
WO2007115281A1 (en) 2007-10-11
US20100020187A1 (en) 2010-01-28
US8238738B2 (en) 2012-08-07
US20070230944A1 (en) 2007-10-04

Similar Documents

Publication Publication Date Title
CN101455071B (zh) 改进的全光照相机
US7956924B2 (en) Fast computational camera based on two arrays of lenses
US8947578B2 (en) Apparatus and method of capturing image
CN204761572U (zh) 成像装置
US8130310B2 (en) Image pickup apparatus
Georgiev et al. Depth of Field in Plenoptic Cameras.
US8111320B2 (en) Multi-image capture system with improved depth image resolution
Galstian Smart mini-cameras
JP5515396B2 (ja) 撮像装置
Birklbauer et al. Panorama light‐field imaging
US8749620B1 (en) 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
CN204697179U (zh) 具有像素阵列的图像传感器
CN102124726B (zh) 具有可选择的硬接线归组的cmos图像传感器
JP2009003122A (ja) 撮像装置及びその制御方法
CN102917235A (zh) 图像处理装置、图像处理方法和程序
TW201338144A (zh) 包含具有用於三維成像之交替偏光之光學濾光器之影像感測器
CN102385168A (zh) 将像素矩阵划分为子组的立体成像方法和系统
CN109981939A (zh) 成像系统
WO2019174756A1 (en) Plenoptic camera for mobile devices
CN103888641A (zh) 图像处理装置及图像再对焦方法
US20120212581A1 (en) Image capture apparatus and image signal processing apparatus
JP2002191060A (ja) ３次元撮像装量
US20050254817A1 (en) Autostereoscopic electronic camera
Goldlücke et al. Plenoptic Cameras.
JP2022514766A (ja) 画像情報を蓄積するための多開口撮像装置を備える装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant