CN101636747B - 二维/三维数字信息获取和显示设备 - Google Patents

二维/三维数字信息获取和显示设备 Download PDF

Info

Publication number
CN101636747B
CN101636747B CN200880008775.6A CN200880008775A CN101636747B CN 101636747 B CN101636747 B CN 101636747B CN 200880008775 A CN200880008775 A CN 200880008775A CN 101636747 B CN101636747 B CN 101636747B
Authority
CN
China
Prior art keywords
described
dimensional
3d
equipment
information
Prior art date
Application number
CN200880008775.6A
Other languages
English (en)
Other versions
CN101636747A (zh
Inventor
初恩-赤恩·李
亚历山大·布莱斯托弗
Original Assignee
索尼株式会社
索尼电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US11/725,884 priority Critical
Priority to US11/725,884 priority patent/US8077964B2/en
Application filed by 索尼株式会社, 索尼电子有限公司 filed Critical 索尼株式会社
Priority to PCT/US2008/001760 priority patent/WO2008115324A1/en
Publication of CN101636747A publication Critical patent/CN101636747A/zh
Application granted granted Critical
Publication of CN101636747B publication Critical patent/CN101636747B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Abstract

一种二维/三维(2D/3D)数字获取和显示设备用于使得用户能够利用单个设备来捕获3D信息。在一个实施例中,设备具有单个可移动镜头以及传感器。在另一实施例中,设备具有单个镜头以及分束器和多个传感器。在另一实施例中,设备具有多个镜头和多个传感器,在另一实施例中,设备是具有附加的3D软件的标准数码相机。在一些实施例中,利用根据2D信息生成的深度图来从2D信息生成3D信息。在一些实施例中,直接利用相机的硬件配置来获取3D信息。3D信息然后能够被显示在设备上、发送到另一设备以被显示或打印。

Description

二维/三维数字信息获取和显示设备

技术领域

[0001] 本发明涉及二维/三维(2D/3D)成像领域。更具体地,本发明涉及用于2D/3D获取和显示的个人电子设备。

背景技术

[0002] 三维技术已发展了超过一个世纪,然而一般由于对普通用户的复杂性和成本而无法立足于主流当中。在消费电子和计算机领域中都比传统的阴极射线管(CRT)监视器和电视更适合于呈递三维(3D)图像的液晶显示(LCD)和等离子屏幕的出现已刺激了对该技术的兴趣。3D系统已从技术好奇有所进步,现在正成为用于娱乐、商业和科学应用的实际获取和显示系统。随着兴趣的提高,许多硬件和软件公司在3D产品上合作。

[0003] 近来,NTT DoCoMo公布了 Sharp mova SH251iS手机,其首次采用了能够呈递3D图像的彩色屏幕。单个数码相机允许其用户拍摄两个二维(2D)图像,然后利用编辑系统将它们转换为3D。3D图像被发送到其他电话,接受者如果拥有类似装备的手机则能够看到3D图像。不需要专门的眼镜来观看自动立体系统上的3D图像。但是该技术存在许多问题。为了看到良好的3D图像,用户的位置必须直接在电话前面并且离其屏幕大约一英尺远。如果用户随后稍微移动,则他将失去图像的聚焦。此外,由于仅利用一个相机,所以仅可以拍摄2D图像,然后通过3D编辑器将图像人工转换为3D图像。因此图像质量是一个问题。

[0004] 在授予Richards的美国专利N0.6,477,267中批准了一种从2D图像产生立体图像的方法,通过该方法,在原始图像中识别至少一个对象;描画这一个或多个对象的轮廓;为每个对象定义深度特性;以及相应地显示该图像的所选区域。但是如上所述,将2D图像转换为3D图像具有许多问题,最重要的是所得到的3D图像的质量。

[0005] 授予Gartner等人的美国专利N0.6,664,531公开了一种利用两个相机(这两个相机观察对象的视差效应)来捕获一对图像的可能配置,而不是利用一个相机来捕获2D图像。然后,左眼将观看这对立体图像中的一个图像,并且右眼将观看另一个图像。人脑能够容易地合并这对图像,以使得对象被作为3D图像观看。

[0006] 在授予Montgomery等人的美国专利N0.6,512,892中公开了利用两个相机获取3D图像的另一示例,该示例包括具有至少两个可移动并行检测器头的3D相机。

[0007] 如针对DoCoMo产品所述,用户在观看3D图像期间实质上必须静止不动,否则他将失去聚焦。这种问题的一个原因在于图像是多图像显示。多图像显示包括被交织成单个显示媒体的不同图像。多图像显示的最简单实现方式包括重复左-右图像的序列。每个相继图像之间的距离是65mm,这等于观看者眼睛之间的平均距离。然而,如果观看者向左或向右移动超过32mm,则观看者将看到颠倒的3D图像。颠倒的3D图像看起来不舒服并且不久之后将引起头疼和古恼。

[0008] 可通过利用多个图像(各自隔开65mm)来改善多图像显示。在多个图像的情况下,观看者可以向左或向右移动他的头,并且仍然将看到正确图像。然而,该技术存在其他问题。所需要的相机数目增大。例如,为了具有四个视图,需要四个相机。此外,由于各组数目是重复的,因此仍然存在产生颠倒3D图像的位置,只是位置变少而已。可通过在重复的组之间插入空场或黑场来克服颠倒的图像。黑场将去除颠倒的3D图像,但随后存在图像不是3D图像的位置。此外,所需的黑场的数目与所利用的相机的数目成反比,以使得所使用的相机越多,所需要的黑场越少。因此,多图像显示具有许多问题需要克服以使得观看者能够享受他的3D体验。

[0009]目前存在各种观看装置可用于观看3D图像。一种类型包括需要将透镜、棱镜或反射镜保持在观看者的眼睛附近的观看装置,这与不需要专门的眼睛物品的替代方式相比不那么方便。第二种类型包括透镜状系统(lenticular system),如果希望得到高分辨率图像,则由于与其生产相关联的精度量,针对高质量图像呈现来制造透镜状系统是相对困难和昂贵的。此外,与附接有透镜状阵列的显示设备所能够固有显示的分辨率相比,透镜状系统将总是呈现较低分辨率的图像。此外,透镜状系统不是很好地适用于诸如计算机显示器或电视之类的观看系统,因此使用范围不广。

[0010] 第三种类型的3D观看装置包括用于3D观看的视差光栅(paralIaxbarrier)。系统是与所看到或投影的图像成各种关系布置的、由散布有不透明部分的透明部分所构成的栅格,该图像是从左图像(最终将仅被观看者的左眼看到)中取出的区域和从右图像(最终将仅被观看者的右眼看到)中取出的区域的散布合成,这一个或多个栅格被置于隐藏右图像的区域使其不被左眼看到并且隐藏左图像的区域使其不被右眼看到的位置处,这使得每只眼睛看到显示画面中示出源自其适当图像的区域的部分。在这种系统中,大概一半显示画面不包含图像。

[0011] 在授予Kleinberger等人的美国专利N0.6, 252, 707中公开的第四种类型的3D图像观看装置包括用于在不使用眼镜的情况下来观看并投影全色、扁平屏幕的双目立体视图。光偏振层与光旋转装置或滤色器层的各种组合用于向适当的左眼或右眼显示左图像或右图像。

[0012] 一种用于解决就多图像显示而描述的问题的可能选项是跟踪系统。授予Richards等人的美国专利N0.6,163,336公开了一种具有跟踪系统的自动立体显示系统。Richards教导了一种跟踪系统,该跟踪系统知道观看者的位置,并且可以指示显示单元移动所显示的图像的位置,以使得所显示的图像对应于观看者的正确位置。

[0013] 另一问题是在基于测量图片的高频内容和改变聚焦设定直到该测量达到最大值而运行的现代数码相机中使用的被动自动聚焦系统。这种方法缓慢并且经常失败。授予Dougherty的美国专利N0.6,616,347作为现有技术公开了多个用于自动聚焦的双相机系统,尽管它们都具有包括太大、太贵和太重的问题。此外,在对来自两个相机的图像部分进行对准时存在困难。授予Szeliski等人的美国专利N0.6, 611, 268公开了利用两个摄像机,其中至少一个相机是用于估计场景的深度图的摄像机。

[0014] 此外,虽然如授予Tullis的美国专利N0.6, 535, 243中所公开的,存在多个无线手持式数码相机,但是这种无线设备缺乏3D能力。因此,对探索这种能力的需求增长。

[0015] 过去也开发了对3D图像的投影,但需要提高。授予Kleinberger等人的美国专利N0.6,252,707公开了一种3D投影仪系统,该系统包括在屏幕上投影3D图像而不需要专门的眼睛佩戴物的两个投影仪。投影仪是电影投影仪、电视投影仪、计算机所驱动的投影设备、幻灯片投影仪或者大小类似的某种其他设备,因此这些投影仪的大小很大。[0016] 也开发了其他技术。迪斯尼(Disney)创建了所谓的迪斯尼数字3D,该技术利用仅需要一个数字投影仪的专门技术来以3D呈现CGI电影。

[0017] 飞利浦开发了自动立体透镜状IXD监视器,该监视器显示2D和3D图像二者,其中不同角度的人能够在无需专门的观看眼镜的情况下观看屏幕。飞利浦还开发了用于移动电话的信号处理处理器,该处理器使得3D能够被实时呈递。

发明内容

[0018] 一种二维/三维(2D/3D)数字获取和显示设备用于使得用户能够利用单个设备来捕获3D信息。在一个实施例中,设备具有单个可移动镜头以及传感器。在另一实施例中,设备具有单个镜头以及分束器和多个传感器。在另一实施例中,设备具有多个镜头和多个传感器,在另一实施例中,设备是具有附加的3D软件的标准数码相机。在所有实施例中,利用根据2D信息生成的深度图来从2D信息生成3D信息。3D信息然后能够被显示在设备上、发送到另一设备以被显示或打印。

[0019] 在一个方面中,一种数字成像设备包括镜头、定位为通过镜头获取二维信息的传感器、用于根据二维信息计算三维信息的处理器以及耦合到处理器并用于显示三维信息的显示器。镜头和传感器中的至少一者是可移动的。二维信息用于生成真实深度图。数字成像设备是从包括数字静态相机和数字摄录机的组中选择的。二维信息包括一组图像。传感器是从包括电荷耦合器件和互补金属氧化物半导体的组中选择的。二维信息被处理,包括压缩、格式化、分辨率增强、色彩增强和失真校正。三维信息以立体格式存储在本地存储器中。立体格式是以下格式中的一种或多种:上下、行交替、并排、网络空间(cyberspace)、挤压的并排、JPS立体JPEG和2D+深度。显示器显示二维信息。三维信息在没有观看辅助器的情况下被观看。或者,需要观看辅助器来观看三维信息。设备还包括通信接口,该通信接口用于与一个或多个其他设备通信以发送和接收三维信息。通信接口无线地通信。设备还包括耦合到处理器的控制接口,用于控制显示器。

[0020] 在另一方面中,一种数字成像设备包括:镜头;分束器,该分束器的位置靠近镜头;多个传感器,这多个传感器的位置靠近分束器,用于获取二维信息;耦合到多个传感器的处理器,用于根据二维信息计算三维信息;以及耦合到处理器的显示器,用于显示三维信息。二维信息用于生成真实深度图。数字成像设备是从包括数字静态相机和数字摄录机的组中选择的。二维信息包括一组图像。多个传感器各自是从包括电荷耦合器件和互补金属氧化物半导体的组中选择的。二维信息被处理,包括压缩、格式化、分辨率增强、色彩增强和失真校正。三维信息以立体格式存储在本地存储器中。立体格式是以下格式中的一种或多种:上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。显示器显示二维信息。三维信息在没有观看辅助器的情况下被观看。或者,需要观看辅助器来观看三维信息。设备还包括通信接口,该通信接口用于与一个或多个其他设备通信以发送和接收三维信息。通信接口无线地通信。设备还包括耦合到处理器的控制接口,用于控制显示器。

[0021] 在另一方面中,一种数字成像设备包括:第一镜头;第二镜头;第一传感器,该第一传感器被定位为通过第一镜头获取三维信息;第二传感器,该第二传感器被定位为通过第二镜头获取三维信息;耦合到第一传感器和第二传感器的处理器,用于处理三维信息;以及耦合到处理器的显示器,用于显示三维信息。数字成像设备是从包括数字静态相机和数字摄录机的组中选择的。三维信息包括一组图像。第一传感器和第二传感器各自是从包括电荷耦合器件和互补金属氧化物半导体的组中选择的。三维信息被处理,包括压缩、格式化、分辨率增强、色彩增强和失真校正。三维信息以立体格式存储在本地存储器中。立体格式是以下格式中的一种或多种:上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。显示器显示二维信息。三维信息在没有观看辅助器的情况下被观看。或者,需要观看辅助器来观看三维信息。设备还包括通信接口,该通信接口用于与一个或多个其他设备通信以发送和接收三维信息。通信接口无线地通信。设备还包括耦合到处理器的控制接口,用于控制显示器。

[0022] 在另一方面中,一种数字成像设备,包括:镜头;传感器,该传感器被定位为通过镜头获取二维信息;处理器,用于实现根据二维信息计算三维信息的应用;以及耦合到处理器的显示器,用于显示三维信息。应用是被预加载的。或者,应用可作为附件。多个图像被传感器获取。在获取第一图像之后,相对于场景的角度和/或位置被改变以获取第二图像。角度和/或位置是徒手改变的。可使用连拍模式来获取二维信息。处理器实现失真校正。二维信息用于生成真实深度图。数字成像设备是从包括数字静态相机和数字摄录机的组中选择的。二维信息包括一组图像。传感器是从包括电荷耦合器件和互补金属氧化物半导体的组中选择的。二维信息被处理,包括压缩、格式化、分辨率增强和色彩增强。三维信息以立体格式存储在本地存储器中。立体格式是以下格式中的一种或多种:上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。显示器显示二维信息。三维信息在没有观看辅助器的情况下被观看。或者,需要观看辅助器来观看三维信息。设备还包括通信接口,该通信接口用于与一个或多个其他设备通信以发送和接收三维信息。通信接口无线地通信。设备还包括耦合到处理器的控制接口,用于控制显示器。

[0023] 在另一方面中,一种获取、生成并显示三维信息的方法包括获取二维信息、根据二维信息生成深度图、根据二维信息和深度图生成三维信息以及显示三维信息。三维信息被显示在获取设备上的显示器上。或者,三维信息被显示在次级设备的显示器上。或者,三维信息是通过打印而被显示的。二维信息是通过移动可移动镜头和可移动传感器中的至少一者而获取的。或者,二维信息是利用分束器和多个传感器获取的。或者,二维信息是利用多个镜头和多个传感器获取的。或者,二维信息是通过从不同角度和/或位置拍摄多个图片获取的。多个图片是徒手拍摄的。多个图片是利用连拍模式拍摄的。利用应用来根据二维Ih息生成二维息。

附图说明

[0024] 图1示出2D/3D获取和显示设备的一个实施例的框图。

[0025] 图2示出2D/3D获取和显示设备的一个实施例的框图。

[0026] 图3示出2D/3D获取和显示设备的一个实施例的框图。

[0027] 图4示出2D/3D获取和显示设备的一个实施例的框图。

[0028] 图5示出由2D/3D获取和显示设备实现的方法的流程图。

[0029] 图6示出由2D/3D获取和显示设备实现的方法的流程图。

具体实施方式[0030] 这里描述了 2D/3D获取和显示设备。2D/3D获取和显示设备允许用户捕获2D信息并将2D信息变换成诸如3D图像之类的3D信息。2D/3D获取和显示设备优选地被实现为数字静态相机(DSC)或者数字摄录机。

[0031] 图1示出2D/3D获取和显示设备100的一个实施例的框图。2D/3D获取和显示设备100包括用于确保设备的正确功能的多个组件。在获取2D信息的过程中利用可移动镜头102和传感器104。虽然镜头102在此被描述为可移动的,但是在一些实施例中,镜头102和/或传感器104是可移动的。传感器104能够是任何数字成像传感器,例如电荷耦合器件(CCD)或者CMOS成像器件。可移动镜头102使得能够以不同深度捕获多个2D图像,然后如 2006 年 6 月 22 日提交的题为 “Method of and Apparatus forGenerating a DepthMap Utilized in Autofocusing”的美国专利申请N0.11/473,694(该申请通过引用结合于此)中所公开的,利用2D信息来生成真实深度图。优选地,处理器106根据2D信息生成真实深度图。深度图能够用于自动聚焦。因为有足够的基于所获取的图像的信息来确定对象真正有多近或多远,所以该深度图是真实深度图。处理器106还用于进一步处理2D信息,包括压缩、格式化、根据2D信息和真实深度图生成3D信息、分辨率增强、色彩增强、失真校正和最终将2D和3D信息存储在本地存储器108中。在根据2D信息和真实深度图生成3D信息时还利用软件和/或其他硬件。以各种格式中的一种或多种来存储3D信息,这些格式包括但不限于上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。

[0032] 发送器110可选地可用于将3D信息发送给一个或多个其他电子设备(例如,显示设备),并且接收器112被可选地包括以从另一电子设备接收3D信息。3D信息通过任何适当手段发送到电子设备,这些手段包括但不限于有线、无线、红外、射频、蜂窝和卫星传输。显示设备显示3D信息存在许多可能性。一种显示设备利用视差光栅技术,其被用作3D立体显示器或者2D显示器。视差光栅包括以所定义的距离与像素平面相间隔的缝隙的阵列。整个窗口上的强度分布被建模为详细的像素结构和通过缝隙的孔的近场衍射的卷积,这在窗口平面上产生强度变化。此外,需要以高精确度将视差光栅与LCD对准。视差光栅能够变得透明以允许在2D和3D之间转换。

[0033] 另一显示设备利用透镜状元件来显示3D信息。透镜状元件通常是相对于诸如IXD之类的2D显示器垂直布置的柱面透镜。柱面透镜引导来自像素的发散光,因此在显示器前面仅以有限角度看到该像素。因此,不同的像素被引导至左视角或右视角。2D/3D切换扩散器耦合在透镜状元件之前,以允许观看者在2D和3D之间切换。当2D/3D切换扩散器关闭时,其对光进行散射并且防止光到达透镜状透镜,这产生了与通常的2D显示器类似的性倉泛。

[0034] 另一显示设备包括使用垂直定向的微棱镜的阵列作为视差元件,并且按列垂直交错的左图像和右图像被微棱镜引导至两个观看窗口。

[0035] 另一显示设备包括使用一系列的堆叠微偏振器元件来生成可切换的视差光栅。在LCD元件内构建微偏振器元件以避免公共视差问题。

[0036] 另一显示设备包括诸如彩色的、偏振的或者切换的眼镜之类的观看辅助器来观看3D信息,其中立体显示不是自动立体的。

[0037] 另一显示设备包括利用分束器,该分束器使用光偏振来分离左眼和右眼立体图像并将适当的图像引导至适当的眼睛。除了能够将3D信息发送到另一设备之外,2D/3D获取和显示设备100还包括显示所存储的3D信息的显示器116。显示器116还包括显示3D信息的各种适当和可用3D显示技术中的一种或多种。优选地,显示器116被内置在2D/3D获取和显示设备100中。优选地,显示器116能够在2D显示和3D显示之间切换,以使得用户能够以他/她所希望的维度来观看图像或者视频。如上所述,存在许多可用的3D显示类型,这些显示类型能够被并入在2D/3D获取和显示设备100中。优选地,2D/3D获取和显示设备100是与标准数码相机和摄录机相当的便携式大小,因此显示器116是适当的大小。由上可见,2D/3D获取和显示设备100内所包括的一些显示类型是自动立体显示和利用专门眼睛的显示。

[0038] 3D信息除了被显示在电子显示器上之外,还能够被打印以供3D观看。

[0039] 可选地利用控制接口 114来允许观看者控制电子设备100的多个方面,包括设定和其他特征。控制接口 114是用硬件和/或软件实现的。电源118向2D/3D获取和显示设备100提供电力。2D/3D获取和显示设备100的组件一起允许用户获取2D/3D信息、可选地将2D/3D信息发送给另一设备并显示2D/3D信息。

[0040] 图2示出2D/3D获取和显示设备200的一个实施例的框图。2D/3D获取和显示设备200包括用于确保设备的正确功能的多个组件。镜头202与分束器204、第一传感器206和第二传感器208 —起使用以获取2D信息,该信息包括图像在不同深度的多个拷贝以使得每个图像的模糊(blur)是不同的。第一传感器206和第二传感器208能够是任何数字成像传感器,例如CXD或者CMOS成像器件。如图2所示,第一传感器206离分束器204的距离为dl,并且第二传感器208离分束器的距离是d2,其中dl和d2不相等。通过利用两种不同模糊量来捕获图像,可以生成真实深度图,如2006年2月16日提交的题为“Method ofand Apparatus For Capturingand Generating Multiple Blurred Images,,的美国专利申请N0.11/357,631中所述,该申请通过引用结合于此。优选地,处理器210根据2D信息生成真实深度图。该深度图能够用于自动聚焦。处理器210还用于进一步处理2D信息,包括压缩、格式化、根据2D信息和真实深度图生成3D信息、分辨率增强、色彩增强、失真校正和最终将2D和3D信息存储在本地存储器212中。在根据2D信息和真实深度图生成3D信息时还利用软件和/或其他硬件。以各种格式中的一种或多种来存储3D信息,这些格式包括但不限于上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。

[0041] 发送器214可选地可用于将3D信息发送给一个或多个其他电子设备。接收器216被可选地包括以从另一电子设备接收3D信息。如上所述,其他电子设备能够是或者具有以各种方式显示3D信息的显示器。此外,3D信息通过任何适当手段发送到电子设备,这些手段包括但不限于有线、无线、红外、射频、蜂窝和卫星传输。

[0042] 除了发送到另一设备之外,2D/3D获取和显示设备200还包括显示所存储的3D信息的显示器220。如上所述,显示器220还包括显示3D信息的各种适当和可用3D显示技术中的一种或多种。可选地利用控制接口 218来允许观看者控制电子设备200的多个方面,包括设定和其他特征。电源222向2D/3D获取和显示设备200提供电力。2D/3D获取和显示设备200的组件一起允许用户获取2D/3D信息、可选地将2D/3D信息发送给另一设备并显示2D/3D信息。

[0043] 3D信息处理除了被显示在电子显示器上之外,还能够被打印以供3D观看。

[0044] 图3示出具有多个镜头的2D/3D获取和显示设备300的一个实施例的框图。具有多个镜头的2D/3D获取和显示设备300类似于2004年8月9日提交的题为“ThreeDimensional Acquisition and Visualization System forPersonal ElectronicDevices”的美国专利申请N0.10/915,648,该申请通过引用结合于此并且要求2004年3月 18 日提交且题为“Three-DimensionalAcquisition and Visualization System forPersonal Electronic Devices”的序号为60/554,673的美国临时申请(该临时申请也通过引用结合于此)在35U.S.C.§ 119(e)下的优先权。具有多个镜头的2D/3D获取和显示设备300包括用于确保设备的正确功能的多个组件。第一镜头302和第二镜头304被彼此基本平行地定位,并且在同时获取一组2D/3D图像信息的过程中被利用。由于在2D/3D信息中获取了立体对图像,因此2D/3D信息能够被认为是3D信息。第一传感器306和第二传感器308的位置分别靠近第一镜头302和第二镜头304,以适当地接收2D/3D图像信息。耦合到传感器306和308的处理器310用于生成真实深度图,如果需要的话。该深度图能够用于自动聚焦。然而,由于2D/3D信息包括立体对图像,因此真实深度图不是必须生成的。立体对图像已经是3D信息。处理器310还用于处理2D/3D信息,包括压缩、格式化、根据2D/3D信息和真实深度图生成3D信息(如果需要的话)、分辨率增强、色彩增强、失真校正和最终将2D和3D信息存储在本地存储器312中。在根据2D信息和真实深度图生成3D信息时还利用软件和/或其他硬件。以各种格式中的一种或多种来存储3D信息,这些格式包括但不限于上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。

[0045]发送器314可选地可用于将3D信息发送给一个或多个其他电子设备。接收器316被可选地包括以从另一电子设备接收3D信息。如上所述,其他电子设备能够是或者具有利用各种技术显示3D信息的显示器。此外,3D信息通过任何适当手段发送到电子设备,这些手段包括但不限于有线、无线、红外、射频、蜂窝和卫星传输。

[0046] 除了发送到另一设备之外,具有多个镜头的2D/3D获取和显示设备300还包括显示所存储的3D信息的显示器320。如上所述,显示器320还包括显示3D信息的各种适当和可用3D显示技术中的一种或多种。可选地利用控制接口 318来允许观看者控制具有多个镜头的2D/3D获取和显示设备300的多个方面,包括设定和其他特征。电源322向具有多个镜头的2D/3D获取和显示设备300提供电力。具有多个镜头的2D/3D获取和显示设备300内的3D获取和可视化设备的组件一起允许用户获取2D/3D信息、可选地将2D/3D信息发送给另一设备并显示2D/3D信息。

[0047] 3D信息除了处理被显示在电子显示器上之外,还能够被打印以供3D观看。

[0048] 图4示出2D/3D获取和显示设备400的一个实施例的框图。2D/3D获取和显示设备400是标准数码相机,其中专门的2D到3D转换应用被加载到相机上。该相机能够使应用被预加载或者可作为附件。在获取2D信息的过程中利用镜头402和传感器404。在本实施例中,2D/3D获取和显示设备400利用转换应用来将所获取的2D图像转换为3D图像。用户通过拍摄一个图像然后将2D/3D获取和显示设备400移到不同位置来拍摄该对象/场景的另一图像而拍摄多个图像。用户能够将2D/3D获取和显示设备400移动几毫米或者几英尺以按不同角度和/或位置获取图像。此外,用户能够徒手移动2D/3D获取和显示设备400,意味着用户不需要专门的装置来拍摄多个图片。另一种拍摄多个图像的方法是在2D/3D获取和显示设备400内使用连拍模式(burst mode),其中在短时间量内捕获多个图像。在多个图像被传感器404获取之后,与所添加的应用一起利用处理器406来处理每个图像的2D信息。处理包括确定真实深度图、压缩、格式化、根据2D信息生成3D信息以及最终存储在本地存储器408中。由于2D信息包括立体对图像,因此2D信息能够被作为3D信息来对待,以使得不需要真实深度图并且3D信息只是立体对图像。处理还能够包括分辨率增强和色彩增强。以各种格式中的一种或多种来存储3D信息,这些格式包括但不限于上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。应用还能够用于校正失真。

[0049] 发送器410可选地可用于将3D信息发送给一个或多个其他电子设备。接收器412被可选地包括以从另一电子设备接收3D信息。如上所述,其他电子设备能能够是或者具有利用各种技术来显示3D信息的显示器。此外,3D信息通过任何适当手段发送到电子设备,这些手段包括但不限于有线、无线、红外、射频、蜂窝和卫星传输。

[0050] 除了发送到另一设备之外,2D/3D获取和显示设备400还包括显示所存储的3D信息的显示器416。如上所述,显示器416还包括显示3D信息的各种适当和可用3D显示技术中的一种或多种。可选地利用控制接口 414来允许观看者控制2D/3D获取和显示设备400的多个方面,包括设定和其他特征。电源418向2D/3D获取和显示设备400提供电力。2D/3D获取和显示设备400的组件一起允许用户获取2D/3D信息、可选地将2D/3D信息发送给另一设备并显示2D/3D信息。

[0051] 图5示出由2D/3D获取和显示设备实现的过程的流程图。在步骤500,获取2D信息。2D信息包括图像和/或视频。此外,2D信息被以多种方式获取。在一个实施例中,可移动镜头与传感器利用不同的模糊来获取2D信息。在另一实施例中,分束器对图像信号进行划分,以使得其去往离图像距离不同的两个传感器,其中每个所获取的图像的模糊不同。在另一实施例中,使用多个镜头和传感器来同时从不同角度和/或位置获取2D信息。在另一实施例中,使用标准数码相机来获取2D信息。一旦被获取,处理器就在步骤502中对2D信息进行处理并生成真实深度图。深度图能够用于自动聚焦。如上所述,对2D图像进行处理包括利用其他硬件和/或软件。取决于2D信息如何被获取,实现不同形式的处理以适当地计算3D信息。然后在步骤504中,处理器利用深度图将2D信息转换为3D信息。在一些实施例中,使用应用来将2D信息转换为3D信息。然后在步骤506,3D信息在2D/3D获取和显示设备上被显示给观看者。在步骤508中,判断用户是否希望将3D信息发送到另一显示设备以显示3D信息。如果用户希望发送3D信息,则在步骤510,3D信息被发送并显示在另一显示器上。在步骤512,判断用户是否希望打印3D信息。如果用户希望打印3D信息,则在步骤514,3D信息被打印。

[0052] 图6示出由2D/3D获取和显示设备实现的方法的流程图。在步骤600,获取3D信息。3D信息包括图像和/或视频。此外,3D信息被以多种方式获取。在一个实施例中,使用多个镜头和传感器来同时从不同角度获取3D信息。在另一实施例中,通过从不同角度和/或位置拍摄同一对象/场景的两个单独图片,使用标准数码相机来获取3D信息。3D信息包括立体对图像。一旦被获取,处理器就在步骤602中处理3D信息。如上所述,对3D图像进行处理包括利用其他硬件和/或软件(如果必要的话)。然后在步骤604中,3D信息在2D/3D获取和显示设备上被显示给观看者。在步骤606,判断用户是否希望将3D信息发送到另一显示设备以显示3D信息。如果用户希望发送3D信息,则在步骤608,3D信息被发送并被显示在另一显示器上。在步骤610,判断用户是否希望打印3D信息。如果用户希望打印3D信息,则在步骤612,3D信息被打印。[0053] 为了利用2D/3D获取和显示设备,与使用标准数码相机或数字摄录机类似地来使用该设备。然而在一些实施例中,使用稍微有所不同。在设备具有单个可移动镜头以及传感器的实施例中,在传感器稍微移动的情况下设备接连迅速获取多个图像以确定深度图。在设备具有单个镜头以及分束器和多个传感器的实施例中,具有多个模糊的单个图像被获取以生成深度图。在具有多个镜头和多个传感器的实施例中,同时针对每个镜头/传感器组合获取图像以确定深度图。因此,在所有这些实施例中,用户在拍摄图片或者视频时几乎体会不到差别。在设备是具有附加的3D软件的标准数码相机的实施例中,用户需要拍摄两个或更多图片以用于生成深度图和3D图像。因此,在本实施例中,对于一个3D图像,必须拍摄两个图片。在连拍模式的实现方式的情况下,可以快速拍摄两个图片,以使得用户不体会到太多差别。在用户拍摄了必要的一个或多个图片之后,取决于用户的选择,能够以2D或3D来显示图像。在3D的情况下,取决于具体的技术实现方式,用户在观看图像时可能体会到轻微差别,例如,一些3D显示器需要正面(straight-on)视图,否则图像将会看起来模糊。一般而言,用户与标准数码相机或摄录机类似地观看显示器上的图像。

[0054] 工作时,2D/3D获取和显示设备与数码相机或数字摄录机基本类似地运行。一般而言,上面描述的实施例类似地运行。用户使用2D/3D获取和显示设备拍摄图片或者多个图片,该设备然后根据图片数据生成真实深度图,其然后用于生成3D图像。3D图像然后能够被显示在设备上、被传送到另一显示设备或者被打印。实施例的差别在于如何获取2D信息以及如何将其变换成3D信息。在一个实施例中,使用单个可移动镜头以及传感器。在另一实施例中,使用单个镜头以及分束器和两个传感器。另一实施例使用多个镜头和多个传感器。最后,一个实施例使用没有硬件修改的标准数码相机,并且利用软件来将2D信息变换成3D信息。在形成3D信息之后,能够使用显示器的多种实现方式中的任意一种来将3D信息显示给用户。

[0055] 以按照具体实施例描述了本发明,这些具体实施例包含了具体细节以帮助理解本发明的构建和操作的原理。这里的这种对具体实施例及其细节的提及不希望限制所附权利要求的范围。本领域技术人员将会容易地清楚,在为了说明而选择的实施例中可以作出其他各种修改,而不脱离由权利要求限定的本发明的精神和范围。

Claims (27)

1.一种数字成像设备,包括: a.镜头; b.传感器,被定位为通过所述镜头获取二维信息; c.处理器,用于实现一应用,该应用用于从所述二维信息生成真实深度图,并从所述二维信息和所述真实深度图计算三维图像;以及 d.耦合到所述处理器的显示器,用于显示所述三维图像, 其中,所述镜头和所述传感器中的至少一者是相对于彼此可移动的,使得能够以不同深度捕获一组二维图像,并且其中所述二维信息被从不同深度的所述一组二维图像生成。
2.如权利要求1所述的设备,其中,所述应用被预加载。
3.如权利要求1所述的设备,其中,所述应用能够作为附件。
4.如权利要求1所述的设备,其中,多个图像被所述传感器获取。
5.如权利要求1所述的设备,其中,在获取第一图像之后,相对于场景的角度和/或位置被改变以获取第二图像。
6.如权利要求5所述的设备,其中,所述角度和/或位置是徒手改变的。
7.如权利要求1所述的设备,其中,使用连拍模式来获取所述二维信息。
8.如权利要求1所述`的设备,其中,所述处理器实现失真校正。
9.如权利要求1所述的设备,其中,所述数字成像设备是从包括数字静态相机和数字摄录机的组中选择的。
10.如权利要求1所述的设备,其中,所述传感器是从包括电荷耦合器件和互补金属氧化物半导体的组中选择的。
11.如权利要求1所述的设备,其中,所述二维信息被处理,包括压缩、格式化、分辨率增强和色彩增强。
12.如权利要求1所述的设备,其中,所述三维信息以立体格式存储在本地存储器中。
13.如权利要求12所述的设备,其中,所述立体格式是以下格式中的一种或多种:上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。
14.如权利要求1所述的设备,其中,所述显示器显示二维信息。
15.如权利要求1所述的设备,其中,所述三维信息在没有观看辅助器的情况下被观看。
16.如权利要求1所述的设备,其中,需要观看辅助器来观看所述三维信息。
17.如权利要求1所述的设备,还包括通信接口,该通信接口用于与一个或多个其他设备通信以发送和接收所述三维信息。
18.如权利要求17所述的设备,其中,所述通信接口无线地通信。
19.如权利要求1所述的设备,还包括耦合到所述处理器的控制接口,用于控制所述显示器。
20.一种获取、生成并显示三维图像的方法,所述方法包括: a.获取不同深度的一组二维图像并且从不同深度的所述一组二维图像生成二维信息,其中,镜头和传感器中的至少一者是相对于彼此可移动的,使得能够以不同深度捕获所述一组二维图像; b.根据所述二维信息生成真实深度图;C.根据所述二维信息和所述真实深度图生成三维图像;以及 d.显示所述三维图像。
21.如权利要求20所述的方法,其中,所述三维信息被显示在获取设备上的显示器上。
22.如权利要求20所述的方法,其中,所述三维信息被显示在次级设备的显示器上。
23.如权利要求20所述的方法,其中,所述三维信息是通过打印而被显示的。
24.如权利要求20所述的方法,其中,所述二维信息是通过从不同角度和/或位置拍摄多个图片获取的。
25.如权利要求24所述的方法,其中,所述多个图片是徒手拍摄的。
26.如权利要求24所述的方法,其中,所述多个图片是利用连拍模式拍摄的。
27.如权利要求20所述的方法,其中,利用应用来根据所述二维信息生成所述三维信肩、ο`
CN200880008775.6A 2007-03-19 2008-02-08 二维/三维数字信息获取和显示设备 CN101636747B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/725,884 2007-03-19
US11/725,884 US8077964B2 (en) 2007-03-19 2007-03-19 Two dimensional/three dimensional digital information acquisition and display device
PCT/US2008/001760 WO2008115324A1 (en) 2007-03-19 2008-02-08 Two dimensional/three dimensional digital information acquisition and display device

Publications (2)

Publication Number Publication Date
CN101636747A CN101636747A (zh) 2010-01-27
CN101636747B true CN101636747B (zh) 2014-05-28

Family

ID=39766213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880008775.6A CN101636747B (zh) 2007-03-19 2008-02-08 二维/三维数字信息获取和显示设备

Country Status (5)

Country Link
US (1) US8077964B2 (zh)
EP (1) EP2132681A4 (zh)
JP (2) JP2010522475A (zh)
CN (1) CN101636747B (zh)
WO (1) WO2008115324A1 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2868168B1 (fr) * 2004-03-26 2006-09-15 Cnes Epic Appariement fin d'images stereoscopiques et instrument dedie avec un faible coefficient stereoscopique
US9124877B1 (en) 2004-10-21 2015-09-01 Try Tech Llc Methods for acquiring stereoscopic images of a location
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9137497B2 (en) * 2007-04-11 2015-09-15 At&T Intellectual Property I, Lp Method and system for video stream personalization
US8233077B2 (en) * 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
US8724013B2 (en) * 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
KR101488199B1 (ko) * 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체
EP2353298B1 (en) * 2008-11-07 2019-04-03 Telecom Italia S.p.A. Method and system for producing multi-view 3d visual contents
US20100194861A1 (en) * 2009-01-30 2010-08-05 Reuben Hoppenstein Advance in Transmission and Display of Multi-Dimensional Images for Digital Monitors and Television Receivers using a virtual lens
US8284236B2 (en) * 2009-02-19 2012-10-09 Sony Corporation Preventing interference between primary and secondary content in a stereoscopic display
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ
TWI457853B (zh) * 2009-03-24 2014-10-21 Ind Tech Res Inst 提供深度資訊之影像處理方法及其影像處理系統
US8279269B2 (en) * 2009-04-29 2012-10-02 Ke-Ou Peng Mobile information kiosk with a three-dimensional imaging effect
US20100289725A1 (en) * 2009-05-14 2010-11-18 Levine Robert A Apparatus for holding an image display device for viewing multi-dimensional images
KR20100135032A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
EP2446326A2 (de) * 2009-06-23 2012-05-02 SeeReal Technologies S.A. Lichtmodulationsvorrichtung für ein display zur darstellung zwei- und/oder dreidimensionaler bildinhalte mit variablen beugungselementen basierend auf linearen, parallelen elektroden
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
KR20110020082A (ko) * 2009-08-21 2011-03-02 엘지전자 주식회사 이동 단말기의 제어 장치 및 그 방법
DE102009040530A1 (de) * 2009-09-08 2011-03-10 Florian Maier Vorrichtung zur Positionierung und Kalibrierung von mindestens zwei Kameras mit einem halbdurchlässigen Spiegel zur plastischen Bildaufnahme
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
CA2791870C (en) 2010-03-05 2017-01-17 General Instrument Corporation Method and apparatus for converting two-dimensional video content for insertion into three-dimensional video content
CN102193274A (zh) * 2010-03-08 2011-09-21 华南师范大学 照相装置及其拍摄方法
US8830300B2 (en) * 2010-03-11 2014-09-09 Dolby Laboratories Licensing Corporation Multiscalar stereo video format conversion
TW201133123A (en) * 2010-03-22 2011-10-01 Kye Systems Corp Method of obtaining 3D image
US8358833B2 (en) 2010-04-27 2013-01-22 Indian Institute Of Technology Madras Recovering 3D structure using blur and parallax
WO2011136621A2 (en) 2010-04-30 2011-11-03 Lg Electronics Inc. An apparatus of processing an image and a method of processing thereof
JP5750779B2 (ja) * 2010-09-02 2015-07-22 オリンパス株式会社 撮像装置、画像通信システム、および画像通信方法
KR101737085B1 (ko) * 2010-11-05 2017-05-17 삼성전자주식회사 3차원 카메라
KR101734285B1 (ko) * 2010-12-14 2017-05-11 엘지전자 주식회사 이동 단말기의 영상 처리 장치 및 그 방법
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
US8718748B2 (en) 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
WO2012176020A1 (zh) * 2011-06-22 2012-12-27 Lo Pui Hing 可移动镜头的照相装置
US8368690B1 (en) 2011-07-05 2013-02-05 3-D Virtual Lens Technologies, Inc. Calibrator for autostereoscopic image display
US20130057655A1 (en) 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US8928729B2 (en) * 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US10419744B2 (en) * 2012-03-30 2019-09-17 Intel Corporation Techniques for user profiles for viewing devices
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9481134B2 (en) 2012-06-08 2016-11-01 Makerbot Industries, Llc Build platform leveling with tactile feedback
CN102722080B (zh) * 2012-06-27 2015-11-18 杭州南湾科技有限公司 一种基于多镜头拍摄的多用途立体摄像方法
CN102857777B (zh) * 2012-09-05 2015-03-11 深圳市华星光电技术有限公司 一种平面显示器及其显示控制方法
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
WO2014107434A1 (en) 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
KR101970577B1 (ko) * 2013-04-09 2019-04-19 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그의 아이-트랙킹 방법
US9473708B1 (en) 2013-08-07 2016-10-18 Google Inc. Devices and methods for an imaging system with a dual camera architecture
US9369727B2 (en) 2014-07-10 2016-06-14 Intel Corporation Storage of depth information in a digital image file
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2461022Y (zh) * 2000-10-19 2001-11-21 中国科学院长春光学精密机械与物理研究所 线阵电荷耦合器件数码立体照相机
CN2726521Y (zh) * 2004-04-14 2005-09-21 重庆大学 一种双图像传感器的数码无线传输内窥镜

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4349254A (en) * 1979-02-13 1982-09-14 Asahi Kogaku Kogyo Kabushiki Kaisha Camera focus detecting device
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
JPH0528873B2 (zh) 1987-09-18 1993-04-27 Tokyo Shibaura Electric Co
US4965840A (en) 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
US5148209A (en) 1990-07-12 1992-09-15 The Research Foundation Of State University Of New York Passive ranging and rapid autofocusing
JP3112485B2 (ja) * 1991-01-22 2000-11-27 オリンパス光学工業株式会社 立体電子スチルカメラ
US5577130A (en) 1991-08-05 1996-11-19 Philips Electronics North America Method and apparatus for determining the distance between an image and an object
US5604537A (en) 1992-09-10 1997-02-18 Canon Kabushiki Kaisha Imaging apparatus having an automatic focusing means
US6985168B2 (en) 1994-11-14 2006-01-10 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US5365597A (en) 1993-06-11 1994-11-15 United Parcel Service Of America, Inc. Method and apparatus for passive autoranging using relaxation
US6177952B1 (en) 1993-09-17 2001-01-23 Olympic Optical Co., Ltd. Imaging apparatus, image display apparatus and image recording and/or reproducing apparatus
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
AUPN003894A0 (en) 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
US6014259A (en) 1995-06-07 2000-01-11 Wohlstadter; Jacob N. Three dimensional imaging system
US6229913B1 (en) * 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
FR2735936B1 (fr) 1995-06-22 1997-08-29 Allio Pierre Procede d'acquisition d'images autostereoscopiques simulees
US6683652B1 (en) 1995-08-29 2004-01-27 Canon Kabushiki Kaisha Interchangeable lens video camera system having improved focusing
AUPN732395A0 (en) 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
US6252707B1 (en) 1996-01-22 2001-06-26 3Ality, Inc. Systems for three-dimensional viewing and projection
US5752100A (en) 1996-01-26 1998-05-12 Eastman Kodak Company Driver circuit for a camera autofocus laser diode with provision for fault protection
JPH10108152A (ja) 1996-09-27 1998-04-24 Sanyo Electric Co Ltd 携帯情報端末
US5974272A (en) 1997-10-29 1999-10-26 Eastman Kodak Company Parallax corrected image capture system
JP3500056B2 (ja) * 1997-11-10 2004-02-23 三洋電機株式会社 2次元映像を3次元映像に変換する装置および方法
EP1044432A4 (en) * 1997-12-05 2007-02-21 Dynamic Digital Depth Res Pty Improved image conversion and encoding techniques
US6535243B1 (en) 1998-01-06 2003-03-18 Hewlett- Packard Company Wireless hand-held digital camera
US6710920B1 (en) 1998-03-27 2004-03-23 Sanyo Electric Co., Ltd Stereoscopic display
US6593957B1 (en) 1998-09-02 2003-07-15 Massachusetts Institute Of Technology Multiple-viewer auto-stereoscopic display systems
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
KR100625029B1 (ko) 1999-05-28 2006-09-20 엘지.필립스 엘시디 주식회사 입체영상 표시장치
JP2001061165A (ja) 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
JP2001142166A (ja) 1999-09-15 2001-05-25 Sharp Corp 3dカメラ
US6611268B1 (en) 2000-05-30 2003-08-26 Microsoft Corporation System and process for generating 3D video textures using video-based rendering techniques
JP4398562B2 (ja) * 2000-03-07 2010-01-13 Hoya株式会社 3次元画像検出装置の焦点調節機構
CA2306515A1 (en) 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
US6829383B1 (en) 2000-04-28 2004-12-07 Canon Kabushiki Kaisha Stochastic adjustment of differently-illuminated images
US8164622B2 (en) * 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US6606406B1 (en) 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
JP2001346226A (ja) 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2004505393A (ja) 2000-08-09 2004-02-19 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド イメージ変換および符号化技術
US6616347B1 (en) 2000-09-29 2003-09-09 Robert Dougherty Camera with rotating optical displacement unit
US6925210B2 (en) 2001-07-09 2005-08-02 Michael Herf Method for blurring images in real-time
WO2003017680A1 (en) * 2001-08-15 2003-02-27 Koninklijke Philips Electronics N.V. 3d video conferencing system
US6583808B2 (en) 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US20030164875A1 (en) 2002-03-01 2003-09-04 Myers Kenneth J. System and method for passive three-dimensional data acquisition
KR100461339B1 (ko) * 2002-05-14 2004-12-10 주식회사 포디컬쳐 영상데이터 전송장치 및 방법
JP2004048644A (ja) 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
US20030222977A1 (en) 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
US7050625B2 (en) 2002-10-21 2006-05-23 Hewlett-Packard Development Company, L.P. Method and digital camera for indicating when image data has been captured for a three-dimensional target object
JP2004200814A (ja) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd 立体映像生成方法及び立体映像生成装置
US6876776B2 (en) 2003-02-14 2005-04-05 Ikonicys, Inc. System and method for auto-focusing an image
US7751694B2 (en) 2004-02-13 2010-07-06 Angstrom, Inc. Three-dimensional endoscope imaging and display system
US20050207486A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
US8049776B2 (en) 2004-04-12 2011-11-01 Angstrom, Inc. Three-dimensional camcorder
US7115870B2 (en) * 2004-03-22 2006-10-03 Thales Canada Inc. Vertical field of regard mechanism for driver's vision enhancer
US20050265580A1 (en) 2004-05-27 2005-12-01 Paul Antonucci System and method for a motion visualizer
US20060023197A1 (en) 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
DE102004047928B4 (de) * 2004-10-01 2011-02-24 Carl Mahr Holding Gmbh Optisches 3D-Messverfahren und Messeinrichtung
JP4440066B2 (ja) * 2004-10-14 2010-03-24 キヤノン株式会社 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
JP2006165601A (ja) * 2004-12-02 2006-06-22 Sony Corp 撮像装置及び撮像素子
US20060285832A1 (en) 2005-06-16 2006-12-21 River Past Corporation Systems and methods for creating and recording digital three-dimensional video streams
FR2887347B1 (fr) * 2005-06-17 2007-09-21 Canon Res Ct France Soc Par Ac Procede et dispositif de construction d'une carte de profondeur d'une image numerique
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US20070040924A1 (en) 2005-08-19 2007-02-22 Stereo Display, Inc. Cellular phone camera with three-dimensional imaging function
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2461022Y (zh) * 2000-10-19 2001-11-21 中国科学院长春光学精密机械与物理研究所 线阵电荷耦合器件数码立体照相机
CN2726521Y (zh) * 2004-04-14 2005-09-21 重庆大学 一种双图像传感器的数码无线传输内窥镜

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Earl Wong, et al..A New Method for Creating a Depth Map for Camera Auto Focus Using an All in Focus Picture and 2D Scale Space Matching.《2006 IEEE International Conference on Acoustics, Speech and Signal Processing, 2006》.2006,第1184-1187页. *

Also Published As

Publication number Publication date
EP2132681A1 (en) 2009-12-16
EP2132681A4 (en) 2012-04-11
US8077964B2 (en) 2011-12-13
CN101636747A (zh) 2010-01-27
US20080232680A1 (en) 2008-09-25
JP2010522475A (ja) 2010-07-01
JP2013192229A (ja) 2013-09-26
WO2008115324A1 (en) 2008-09-25

Similar Documents

Publication Publication Date Title
Tanimoto Free-viewpoint television
Fehn et al. Interactive 3-DTV-concepts and key technologies
US7084838B2 (en) Method and system for controlling the motion of stereoscopic cameras using a three-dimensional mouse
JP4580969B2 (ja) 自動立体ビデオ画像撮影装置
EP0836332B1 (de) Positionsadaptiver, autostereoskoper Monitor (PAM)
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
JP4835659B2 (ja) 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置
CN101888481B (zh) 成像设备
EP1489857B1 (en) 3-dimensional image processing method and device
EP0961506A1 (en) Autostereoscopic display
Redert et al. Advanced three-dimensional television system technologies
JP4649219B2 (ja) 立体画像生成装置
KR101185870B1 (ko) 3d 입체 영상 처리 장치 및 방법
US20040036763A1 (en) Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
DE69534763T2 (de) Vorrichtung zur Darstellung stereoskopischer Bilder und Bildaufnahmevorrichtung dafür
US7787009B2 (en) Three dimensional interaction with autostereoscopic displays
CN101072366B (zh) 基于光场和双目视觉技术的自由立体显示系统和方法
JP2005331844A (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP2004048644A (ja) 情報処理装置、情報処理システム、及び対話者表示方法
JP4291862B2 (ja) 立体テレビジョンシステム及び立体テレビジョン受像機
US20050185711A1 (en) 3D television system and method
KR101313740B1 (ko) 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
EP2332340B1 (en) A method of processing parallax information comprised in a signal
US20020030675A1 (en) Image display control apparatus
US9341935B2 (en) Image capturing device

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140528

Termination date: 20160208

CF01 Termination of patent right due to non-payment of annual fee