CN1765133A - 三维电视系统和提供三维电视的方法 - Google Patents

三维电视系统和提供三维电视的方法 Download PDF

Info

Publication number
CN1765133A
CN1765133A CNA2005800000782A CN200580000078A CN1765133A CN 1765133 A CN1765133 A CN 1765133A CN A2005800000782 A CNA2005800000782 A CN A2005800000782A CN 200580000078 A CN200580000078 A CN 200580000078A CN 1765133 A CN1765133 A CN 1765133A
Authority
CN
China
Prior art keywords
video
display unit
display
output
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800000782A
Other languages
English (en)
Inventor
汉斯彼得·普菲斯特
沃伊切赫·毛图希克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1765133A publication Critical patent/CN1765133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种三维电视系统包括获取级、显示级和传输网。获取级包括多台视频摄像机，用于实时获取动态变化场景的输入视频。显示级包括三维显示单元，用于同时显示从输入视频产生的输出视频。传输网将获取级连接到显示级。

Description

三维电视系统和提供三维电视的方法
技术领域
本发明一般涉及图像处理，尤其涉及获取、传送和再现自动立体图像。
背景技术
人的视觉系统根据多种线索来获取场景的三维信息。两种最重要的线索是双目视差和运动视差。双目视差是指每只眼看见场景的不同图像，而运动视差是指当头部在运动时看见场景的不同图像。1838年，利用世界上第一台三维显示设备演示了视差与深度感之间的联系。
从那以后，开发了许多立体图像显示器。三维显示器对娱乐、广告、信息演示、远地临场、科学观察、远程操作和艺术等许多应用而言具有巨大潜能。
1908年，曾对彩色摄影术和三维显示作出主要贡献的GabrielLippmann考虑制造一种能提供一种“逼真的窗口视图”的显示器。
1970年后，作为全息成像术先驱之一的Stephen Benton对Lippmann的设想进行了改进。他开始设计一种特征类似于电视的可伸缩空间显示系统，它能传送具有适当遮挡关系的全色3D图像。这种显示器提供了具有双目视差的图像即立体图像，该图像无需特殊透镜就能从任意观看点看到。这类显示器称为多视图自动立体显示器，因为它们为多个观众自然提供了双目视差和运动视差。
我们知道多种商用自动立体显示器。大多数现有系统都显示双目或立体图像，尽管近来提出的有些系统能显示多达24个视图。然而同时显示多个透视图固然要求成像媒体具有很高的分辨率。例如，具有16种不同水平视图的最大HDTV输出分辨率要求每一输出图像为1920×1080×16即高于3300万像素，这完全超过了最通用的显示技术。
只是到最近，才能满足这种高分辨率内容的实时获取、传送和显示的处理和带宽要求。
目前，许多数字电视信道都用以前单一模拟信道所占的同一带宽来传送。这使得人们重新开始致力于广播3D TV的发展。日本3D联盟和欧洲ATTEST项目都已开始发展和促进3D TV的I/O设备和分配机制。这两个团体的目标是要开发商业上可行的3D TV标准，这种标准与广播HDTV兼容，而且适应当前和未来的3D显示技术。
然而，到目前为止，还没有实现全功能的端对端3D TV系统。
实际上，许多出版物和专利中都描述了三维TV。由于这一工作涉及各种不同的科学和工程技术领域，因此提供了广泛的背景。
光场获取
光场表示在没有遮光板的空间范围内随位置和方向变化的辐射。本发明对没有场景几何形的光场的获取和基于模型的3D视频进行了区分。
本发明的一个目的在于，获取一种时变光场，该光场穿过一个2D光学歧管(manifold)并以最小延时通过另一个2D光学歧管发射同方向光场。
基于图像的制图法和3D显示器方面的早期工作涉及了静态光场的获取。早在1929年，描述了对大量对象的光学多摄像机记录方法以及第一种基于投影的3D显示器。这种系统采用了光学摄像机与幻灯投影机之间一一映射关系。
因此，需要通过在显示器上借助基于图像的再现产生新的虚拟视图来消除这种限制。
只是到最近，才实现了动态光场的获取，参见：Naemura et al.，“Real-time video-based rendering for augmented spatialcommunication”，Visual Communication and Image Processing，SPIE，620-631，1999。他们实现了一种灵活的4×4光场摄像机，并且一种更新的方案包括商用实时深度估算系统，参见：Naemura etal.，“Real-time video-based modeling and rendering of 3d scenes”，IEEE Computer Graphics and Applications，pp.66-73，March 2002。
另一种系统在专用128×128像素的随机存取CMOS传感器的前面使用了透镜阵列，参见：Ooi et al.，“Pixel independent random accessimage sensor for real time image-based rendering system”，IEEEInternational Conference on Image Processing，vol.II，pp.193-196，2001。Stanford的多摄像机阵列包括可配置结构中的128台摄像机，参见：Wilburn et al.，“The light field video camera”，Media Processors2002，vol.4674 of SPIE，2002。其中，专用硬件可使这些摄像机同步并且可将视频流存储到磁盘中。
MIT光场摄像机使用了与一组商用PC连接的8×8阵列的廉价成像机，参见：Yang et al.，“A real-time distributed light field camera”，Processings of the 13th Eurographics Workshop on Rendering，Eurographics Association，pp.77-86，2002。
所有这些系统为动态光场的导航和操纵提供了某种形式的基于图像的再现。
基于模型的3D视频
另一种获取3D TV内容的方法是利用一些稀疏排列的摄像机和一种场景模型。典型的场景模型其范围从深度地图到视觉外壳，或者人体形状的详细模型。
在某些系统中，来自摄像机的视频数据被投射到模型上，以产生逼真时变的表面纹理。
一种虚拟现实的最大3D视频演播室在屋顶安装50多台摄像机，参见：Kanade et al.，“Virtualized reality：Constructing virtual worldsfrom real scenes”，IEEE Multimedia，Immersive Telepresence，pp.34-47，January 1997。
Blue-C系统是少数3D视频系统之一，用以在空间临境环境中提供实时捕获、传送和即时显示，参见：Gross et al.，“Blue-C：A spatiallyimmersive display and 3d video portal for telepresence”，ACMTransactions on Graphics，22，3，pp.819-828，2003。Blue-C使用集中式处理器，用于压缩和传送3D“视频片段”。随着视图数量的增加，这会限制系统的可伸缩性。该系统还可以获取视觉外壳，但这局限于个体对象，而不是整个室内或室外的场景。
欧洲ATTEST项目利用每帧的深度地图来获取HDTV彩色图像，参见：Fehn et al.，“An evolutionary and optimized approach on3D-TV”，Proceedings of International Broadcast Conference，pp.357-365，2002。
目前已经建造一些实验性的HDTV摄像机，参见：Kawakita etal.，“High-definition three-dimension camera-HDTV version of anaxi-vision camera”，Tech.Rep.479，Japan Broadcasting Corp.(NHK)，Aug.2002。这些深度地图可以作为增强层发送到现有MPEG-2视频流中。2D内容可以利用深度重现过程进行转换。在接收机端，可以利用基于图像的再现过程来产生立体对或多视图3D图像。
然而，即使是利用精确的深度地图，由于场景中的遮挡或严重差异性，难以在显示端再现多个高质量视图。此外，单一视频流无法捕获重要的与视图相关的效果，比如镜面加亮区。
现实世界场景的深度或几何形的实时获取仍很困难。
光场压缩和传送
此外，我们知道静态光场的压缩和流式传输。然而，很少注意动态光场的压缩和传送。我们可以区分所有观看点编码(其中所有光场数据在显示设备中都可以使用)和有限观看点编码。通过将来自用户的信息发回到摄像机，有限观看点编码只发送特定视图所需的数据。这使得可以减小传输带宽，但这种编码并不适合于3D TV广播。
关于3D音频和视频的MPEG Ad-Hoc Group已经构成，以研究动态光场和其他多种3D视频情形的有效编码策略，参见：Smolic etal.，“Report on 3dav exploration”，ISO/IEC JTC1/SC29/WG11Docu ment N5878，July 2003。
用于动态光场编码的实验性系统采用称为时间编码的时域运动补偿，或采用称为空间编码的摄像机之间差异性预测，参见：Tanimotoet al.，“Ray-space coding using temporal and spatial predictions”，ISO/IEC JTC1/SC29/WG11Document M10410，December 2003。
多视图自动立体显示器：全息显示器
自从本世纪初以来，我们已经知道全息术。全息技术于1962年首先应用于图像显示。在该系统中，来自照明源的光在全息表面上被干涉条纹所衍射以重建原对象的光波阵面。全息图显示了连续模拟光场，而全息图的实时获取和显示一直以来被认为是3D TV的“圣杯”。
MIT的Stephen Benton的空间成像小组已在率先开发电子全息术。他们最近的设备“Mark-II Holographic Video Display”利用声-光调制器、束分裂器、运动反射镜和透镜来建立交互式全息图，参见：St.-Hillaire et al.，“Scaling up the MIT holographic video system”，Proceedings of the Fifth International Symposium on DisplayHolography，SPIE，1995。
在更近的系统中，已通过用LCD、聚焦灯阵列、光寻址空间调制器和数字微反射镜设备取代声-光调制器而删除运动部件。
所有目前的全息视频设备都使用单色激光。为了减小显示屏的尺寸，它们只提供了水平视差。显示硬件相对于图像尺寸(每维通常为几毫米)而言很大。
全息图的获取还需要细心控制的物理过程而且无法实时完成。至少在可预见到的将来，全息系统还不太可能在大显示器上获取、传送和显示动态的自然场景。
立体式显示器
立体式显示器扫描三维空间，并且单独寻址和照亮体素。目前有许多商业应用系统可用，比如空中交通管制、医疗和科学可视化。然而，立体系统产生了透明图像，这种图像无法提供很令人满意的三维感觉。由于它们色彩再现受限且缺少遮挡，因此立体式显示器无法很好地再现自然场景的光场。大尺寸立体式显示器的设计还有着难以克服的一些障碍。
视差显示器
视差显示器发射空间变化的定向光。许多早期的3D显示器研究集中在对Wheatstone的立体镜的改进上。F.Ives使用带有垂直裂缝的板作为具有交替的左眼/右眼图像条的图像上的栅栏，参见授权给Ives的美国专利号725,567“Parallax stereogram and process for makingsame”。所得到的设备是一种视差立体图。
为了扩展立体图的有限的视角和受限的观看位置，可以在交替的图像条之间使用更窄的裂缝和更小的间距。这些多视图图像是视差全景图。立体图和全景图只提供了水平视差。
球面透镜
1908年，Lippmann描述了用于代替裂缝的球面透镜阵列。通常，这种球面透镜常称为“苍蝇眼”透镜片。所得到图像是完整照片。完整照片是指每一像素或“小透镜”的辐射方向变化的真实平面光场。实验上已使用具有高分辨率LCD的完整透镜片，参见：Nakajima etal.，“Three-dimensional medical imaging display withcomputer-generated integral photography”，Computerized MedicalImaging and Graphics，25，3，pp.235-241，2001。成像媒体的分辨率必须很高。例如，具有4个水平和4个垂直视图的1024×768像素的输出需要每一输出图像有1200万像素。
3×3投影机阵列使用实验性高分辨率的3D完整视频显示器，参见：Liao et al.，“High-resolution integral videographyauto-stereoscopic display using multi-projeetor”，Proceedings of theNinth International Display Workshop，pp.1229-1232，2002。每台投影机都装有一个变焦镜头以得到2872×2150像素的显示。这种显示提供了具有水平和垂直视差的3个视图。对于240×180像素的输出分辨率，每个小透镜都涉及12个像素。针对几何图像变形，可以使用专用图像处理硬件。
双凸透镜状显示器
双凸透镜片自1930年后就已经知道了。双凸透镜片包括称为“双凸透镜(lenticules)”的细圆柱形透镜的线性阵列。这通过减小垂直视差可以减少图像数据量。双凸透镜图像为广告、杂志封面和明信片找到广泛的用途。
当今的商业自动立体显示器基于置于LCD或等离子体屏幕顶部的视差栅栏、子像素滤片或双凸透镜片的变动。视差栅栏通常会降低图像的一些亮度和锐度。通常限制了不同的透视图的数量。
例如，最高分辨率的LCD提供了3840×2400像素的分辨率。为水平视差增加例如16个视图会把水平输出分辨率降至240像素。
为了改善显示器的分辨率，1931年，H.Ives通过在双凸透镜片背面刷上散开的涂料并利用该片作为39台幻灯投影机的投影面，发明了多投影机双凸透镜显示器。从那以后，描述了双凸透镜片与多投影机阵列的许多不同的配置。
视差显示器方面的其他技术包括时分复用和基于跟踪的系统。在时分复用中，利用滑动窗或LCD遮光器在不同的时间投影多个视图。这固然减小了显示的帧频，并可能导致明显的闪烁。头部跟踪设计主要集中用于高质量立体图像对的显示。
多投影机显示器
可伸缩的多投影机显示器墙近来很流行，并且已实现了许多种系统，例如，参见：Raskar et al.，“The office of the future：A unifiedapproach to image-based modeling and spatially immersive displays”，Proceedings of SIGGRAPH’98，pp.179-188，1998。这些系统提供了很高分辨率、灵活性、高性能价格比、可伸缩性和大格式图像。多投影机系统的图形再现可以有效地在成组的PC上并行实现。
投影机还提供了必要的灵活性，以适应非平面显示几何形。对于大显示器，在有很高分辨率的显示媒体(如有机LED)可以使用之前，多投影机系统一直是多视图3D显示器的唯一选择。然而，许多投影机的人工排列很麻烦，并且在非平面屏幕或3D多视图显示器情况下根本不可能。
有些系统使用摄像机和反馈环，以便自动计算用于自动投影机排列的相对投影机姿态。在线性2轴台架上安装的数字摄像机还可以用于为多投影机整体显示系统排列投影机。
发明内容
本发明提供了一种用于实时获取和传送动态场景的3D图像的系统和方法。为了达到计算和带宽的高要求，本发明采用了分布式可伸缩结构。
该系统包括摄像机阵列、网络连接的处理器模块组和带有双凸透镜状屏幕的多投影机3D显示单元。该系统无需特殊观看镜就能为多个观看点提供立体彩色图像。不必设计完善的显示光学系统，我们采用了用于自动调整3D显示的摄像机。
在3D显示器的长期历史中，该系统首次提供了实时端对端3DTV。
附图说明
图1是根据本发明的3D TV系统的框图；
图2是根据本发明的解码器模块和用户模块的框图；
图3是根据本发明的具有背面投影的显示单元的顶视图；
图4是根据本发明的具有正面投影的显示单元的顶视图；和
图5是观众一侧与投影一侧的双凸透镜片之间的水平移位的示意图。
具体实施方式
系统结构
图1示出了根据我们的发明的3D TV系统。系统100包括获取级101、传送级102和显示级103。
获取级101包括同步视频摄像机阵列110。小的摄像机组与制作者模块120连接。制作者模块捕获实时的非压缩视频并利用标准MPEG编码方式对视频进行编码，以产生压缩视频流121。制作者模块还产生观看参数。
压缩视频流通过传输网130(它可以是广播、有线、卫星TV或因特网)进行传送。
在显示级103中，解码器模块140将各视频流解压缩。解码器模块通过高速网络150(如千兆比特以太网)连接到一组用户模块160。用户模块再现合适的视图并将输出图像发送到2D、立体对3D或多视图3D显示单元310。
控制器180将实效观看参数广播到解码器模块和用户模块，见图2。控制器还与一台或多台摄像机190连接。这些摄像机安置在投影区和/或观看区，为显示单元提供输入能力。
分布式处理用于使系统100在获取、传送和显示的视图的数量上可伸缩。该系统可以适合于其他输入和输出形式(比如专用光场摄像机)以及不对称处理。注意，我们的系统的总体结构并不取决于该特定类型的显示单元。
系统操作
获取级
每台摄像机110实时获取逐行扫描的高清晰度视频。例如，我们用16台彩色摄像机，它们具有1310×1030、每像素8比特的CCD传感器。这些摄像机通过IEEE-1394“火线”高性能组行总线111连接到制作者模块120。
全清晰度的最大传送帧频为例如每秒12帧。两台摄像机连接到8个制作者模块中的每一个。在我们的原型中的所有模块都有3GHz奔腾4处理器、2GB RAM和运行的Windows XP。应当注意，还可以使用其他处理器和软件。
我们的摄像机110具有允许通过视频同步进行完全控制的外部触发器。我们使用带有定制可编程逻辑器件(CPLD)的PCI卡来产生摄像机110的同步信号112。尽管可以构造具有软件同步的摄像机阵列，然而我们优先选择用于动态场景的精确硬件同步。
由于我们的3D显示器只示出了水平视差，因此我们按有规则间隔的线性和水平的阵列来排列摄像机110。通常，摄像机110可以随意排列，这是因为，我们在用户模块中采用了基于图像的再现方式来合成新视图，如下所述。理论上，每台摄像机的光轴垂直于公共摄像机平面，并且每台摄像机的“向上矢量”与摄像机的垂直轴对准。
实际上，不可能使多台摄像机精确地排成一行。我们采用标准校准过程来确定内在的(即焦距、径向畸变、色彩校准等)和外在的(即旋转和平移)摄像机参数。这些校准参数作为观看参数被当作部分视频流来广播，并且在摄像机排列中的相对差异可以通过在显示级103中再现校正的视图来处理。
间隔密集的摄像机阵列提供了最好的光场捕获，但当光场被欠抽样时可以使用高质量的重建滤光器。
在TV演播室内，可以放置很多摄像机。用户(摄像机操作员或观众)可以通过操纵杆选择摄像机的子集来显示场景的运动2D/3D窗，以便提供自由观看点的视频。
传送级
以每秒30帧传送16个分辨率为1310×1030且每像素24比特的非压缩视频流需要14.4Gb/s的带宽，这大大超出了目前的广播能力。对于动态多视图视频数据的压缩和传输，有两种基本的设计选择。要么采用空间或时空编码方式来压缩来自多台摄像机的数据，要么单独采用时间编码方式来压缩每一视频流。时间编码方式在每帧内还采用空间编码方式，但在视图之间却不采用空间编码方式。
第一种选择提供了较高的压缩，这是因为在视图之间存在着高相干性。然而，较高的压缩要求多个视频流通过集中式处理器来压缩。这种压缩中枢结构是不可伸缩的，因为更多视图的增加最终会压倒编码器的内部带宽。
因此，我们在分布式处理器上采用单独视频流的时间编码方式。这种策略还具有其他一些优点。现有宽带协议和压缩标准不需要改变。我们的系统与常规数字TV广播基础设施兼容，并且可以完全协调地与2D TV共存。
目前，数字广播网络承载着好几百个信道和大概一千多个MPEG-4信道。这使得可以为3D TV提供任意多个(如16个)信道。不过，应当注意，我们优先选择的传输策略是广播方式。
我们的系统还可以允许其他应用(如对等的3D视频会议)。采用现有2D编码标准的另一个优点是，接收机上的解码模块很好建立并且易于获得。此外，解码器模块140还可以合并到数字TV“机顶”盒中。解码器模块的数量可以取决于显示是2D的还是多视图3D的。
注意，我们的系统可以适应于其他3D TV压缩算法，只要多个视图可以被编码成例如2D视频加深度地图、被传送并在显示级103中被解码。
8个制作者模块通过千兆比特以太网连接到8个用户模块160。摄像机全清晰度(1310×1030)的视频流用MPEG-2进行编码紧接着通过制作者模块进行解码。这基本上对应于具有很大带宽的宽带网，几乎没有延时。
千兆比特以太网150提供了解码器模块与用户模块之间的全连通性，这对于我们的分布式再现和显示实现来说是很重要的。
显示级
显示级103产生了适当的图像，以在显示单元310上进行显示。显示单元可以是多视图3D单元、安装在头部的2D立体单元或常规2D单元。为了提供这种灵活性，该系统需要每时都能向终端用户提供所有可能的视图(即整个光场)。
控制器180通过指定观看参数(比如虚拟摄像机的位置、定向、视野和焦平面)来请求一个或多个虚拟视图。然后，利用这些参数相应地再现输出图像。
图2更详细示出了解码器模块和用户模块。解码器模块140将压缩视频121解压缩141成解压缩源帧142，并将当前解压缩帧通过网络150存储到虚拟视频缓冲器(VVB)162中。每个用户模块160都有存储所有当前解码帧(即特定时刻的所有获取视图)的数据的VVB。
用户模块160通过处理来自VVB162中的多个帧的图像像素产生输出视频的输出图像164。鉴于带宽和处理上的限制，不可能每个用户模块接收来自所有解码器模块的全部源帧。这还可能限制系统的可伸缩性。关键在于能事先确定源帧对每个用户的输出图像的贡献。下面，我们将集中在对某一特定用户(即某一特定虚拟视图及其相应的输出图像)的处理。
对于输出图像164中的每个像素o(u，v)，控制器180确定观看序号v和对输出像素有贡献的每个源像素s(v，x，y)的位置(x，y)。每台摄像机都有相关的用于该目的的唯一观看序号，例如1至16。我们采用非结构化亮度图(lumigraph)再现方式从输入视频流121产生输出图像。
每一输出像素都是k个源像素的线性组合：
o ( u , v ) = Σ i = 0 k w i s ( v , x , y ) - - - ( 1 )
混合权重wi可以由控制器根据虚拟视图信息预先确定。控制器将k个源像素(s)的位置(x，y)发送到每个解码器v以便进行像素选择143。请求用户模块的索引c发送到解码器以便进行从解码器模块到用户模块的像素路由选择145。
可选地，多个像素可以在解码器中进行缓冲以便进行像素块压缩144，然后再通过网络150发送。用户模块将像素块解压缩161，然后在VVB序号v中在位置(x，y)存储每一像素。
每一输出像素都请求来自k个源帧的像素。这意味着到VVB的网络150上的最大带宽为每秒帧数(fps)乘以输出图像尺寸的k倍。例如，如果k＝3、30fps并且HDTV输出分辨率例如为1280×720而每一像素12比特，那么最大带宽为118MB/s。以更多处理为代价，在采用像素块压缩144时，这一带宽可以大大降低。为了提供可伸缩性，使这一带宽与所传送视图总数无关是很重要的，我们的系统中就是这样的。
每一用户模块160中的处理过程如下所述。用户模块确定每一输出像素的公式(1)。权重wi是预先确定的并保存在查用表(LUT)165中。LUT165的存储器要求为输出图像164的尺寸的k倍。在我们的上述例子中，这相当于4.3MB。
假定是无损像素块压缩，那么用户模块可以容易地用硬件来实现。这意味着，解码器模块140、网络150和用户模块可以组合在同一块印刷电路板上，或者制作成专用集成电路(ASIC)。
我们宽松地使用术语“像素”。它通常表示某个像素，但它也可以是一个小矩形像素块的平均。此外，还可以将其他已知的滤波器应用于像素块，以便从多个周围的输入像素产生单个输出像素。
将源帧的预滤波块进行组合163以达到新的效果比如场深对于基于图像的再现而言是新颖的。尤其是，我们通过利用总区域表可以有效地进行预滤波图像的多视图再现。然后，利用公式(1)将像素的预滤波(总)块组合以形成输出像素。
我们还可以利用更高质量的混合，例如欠抽样光场。到目前为止，所请求的虚拟视图是静态的。然而，应当注意，所有源视图是通过网络150发送的。控制器180可以动态更新查用表165，以便于像素选择143、路由选择145和组合163。这使得光场的导航类似于接收机中具有随机存取图像传感器和帧缓冲器的实时光场摄像机。
显示单元
如图3中所示，对于背面投影的布置，显示单元构成为双凸透镜状屏幕310。我们使用16台投影机以1024×768输出分辨率在显示单元上显示输出视频。注意，投影机的分辨率可以小于我们所获取和传送的视频的分辨率(1310×1030像素)。
双凸透镜片310的两个关键参数是视野(FOV)和每英寸的双凸透镜的数量(LPI)，也可以参见图4和5。双凸透镜片的面积在30°的FOV和15个LPI时为6×4平方英尺。针对多视图3D显示器，优化双凸透镜的光学设计。
如图3中所示，背面投影显示器的双凸透镜片310包括投影机一侧的双凸透镜片301、观众一侧的双凸透镜片302、散射体303以及双凸透镜片与散射体之间的衬底304。两个双凸透镜片301-302背靠背安装在中间夹有光散射体303的衬底304上。我们使用了柔性背面投影织物。
背靠背双凸透镜片和散射体被合成为单一结构。为了使两片的双凸透镜尽可能精确对准，使用一种透明树脂。树脂可以UV硬化和对准。
投影一侧的双凸透镜片301充当光复用器，将投射光作为细垂直条纹聚集到散射体上，或正面投影的反射体403上，参见下面的图4。考虑每个双凸透镜是理想的针孔照相机，散射体/反射体上的条纹捕获三维光场(即2D位置和方位角)的与视图相关的辐射。
观众一侧的双凸透镜片充当光去复用器，并将与视图相关的辐射投射回观众320。
图4示出了正面投影显示器的另一种布置400。正面投影显示器的双凸透镜片410包括投影机一侧的双凸透镜片401、反射体403以及双凸透镜片与反射体之间的衬底404。双凸透镜片401利用衬底404和光反射体403进行安装。我们使用了柔性正面投影织物。
理想地，摄像机110相对于显示单元的布置以及投影机171相对于显示单元的布置是基本相同的。考虑到机械安装，相邻投影机之间在垂直方向上的偏移可能是必要的，这可以使输出图像中垂直分辨率损失较小。
如图5中所示，双凸透镜状显示器的观看区501与每一双凸透镜的视野(FOV)502有关。整个观看区(即180度)分割成多个观看区。这里，FOV为30°，因此有6个观看区。每个观看区相应于散射体303上的16个子像素510。
如果观众320从一个观看区移动到下一个观看区，那么就会出现突然的图像“移位”520。这种移位的出现是因为在观看区的边界处我们从一个双凸透镜的第16个子像素移动到相邻双凸透镜的第1个子像素。此外，双凸透镜片相对于彼此的平移也会导致观看区的变动(即明显的转动)。
我们的系统的观看区很大。我们估计场深范围从显示器前大约2米至远远超出15米。随着观众移开时，双目视差减小，而运动视差增大。我们把这归结为：如果显示器在远处，那么观众同时看到多个视图。因此，即使头部小的移动也会带来大的运动视差。为了增大观看区的范围，可以采用具有更宽FOV和更多LPI的双凸透镜片。
我们的3D显示器的局限性在于，它只提供了水平视差。我们相信这并不是一个严重的问题，只要观众保持静态。这一局限性可以利用完整透镜片以及二维摄像机和投影机阵列来纠正。对于在我们的双凸透镜状屏幕上具有某些垂直视差的显示图像，还可以采用头部跟踪技术。
我们的系统并不局限于在投影和观众一侧使用相同LPI的双凸透镜片。一种可能的设计方案是在投影机一侧具有双倍的双凸透镜数量。在散射体顶部的掩蔽可以每隔一个覆盖双凸透镜。镜片被偏移，使得投影机一侧的双凸透镜为观众一侧的某个双凸透镜提供图像。具有完整镜片或曲面镜向后反射的其他多投影机显示器同样也是可能的。
我们还可以增加垂直排列的具有不同强度(例如暗、中等和亮)的散射滤波器的投影机。于是，我们可以通过混合来自不同投影机的像素来改变每个视图的输出亮度。
我们的3D TV系统还可以用于点对点传输(比如在视频会议中)。
我们还可以使我们的系统适应具有可变形显示媒体(比如有机LED)的多视图显示单元。如果我们知道每个显示单元的定向和相对位置，那么，我们可以通过动态选择从解码器模块到用户的图像信息的路由来再现新的虚拟视图。
在其他应用当中，这还允许这样设计“不可见覆盖”：利用可变形显示媒体(比如，指向挂在物体周围的正面投影织物的微型多投影机，或者直接安装在物体表面的小有机LED和小透镜)来显示与视图相关的图像。这种“不可见覆盖”显示了物体不存在时可能看见的与视图相关的图像。对于动态变化的场景，我们可以在物体周围或物体上放置多台微型摄像机以获取与视图相关的图像，然后在“不可见覆盖”上显示。
本发明的效果
我们提供了一种具有可伸缩结构的3D TV系统，用于对动态光场进行分布式获取、传送和再现。一种新颖的分布式再现方法使得我们通过利用少量的计算和适度的带宽就可以插入新的视图。
尽管本发明通过一些优选实施方式的例子进行了描述，然而，应当理解，在本发明的思想和范围内可以作出其他适配和修改。因此，附属权利要求书的目的在于覆盖本发明的思想和范围内的所有这些变形和修改。

Claims (31)

1.一种三维电视系统，包括：
获取级，包括：
多台视频摄像机，每台视频摄像机用于实时获取动态变化场景的视频；
用于使多台视频摄像机同步的装置；和
与多台视频摄像机连接的多个制作者模块，这些制作者模块用于将所述视频压缩成压缩视频并确定多台视频摄像机的观看参数；
显示级，包括：
多个解码器模块，用于将压缩视频解压缩成非压缩视频；
多个用户模块，用于从解压缩视频中产生多个输出视频；
控制器，用于将所述观看参数广播到多个解码器模块和多个用户模块；
三维显示单元，用于根据所述观看参数同时显示所述多个输出视频；和
连接装置，用于连接所述多个解码器模块、多个用户模块和多个显示单元；以及
将获取级连接到显示级的传送级，用于传送所述多个压缩视频和观看参数。
2.权利要求1的系统，还包括：多台摄像机，用于获取三维显示单元上显示的校准图像以确定所述观看参数。
3.权利要求1的方法，其中，显示单元是投影机。
4.权利要求1的系统，其中，显示单元是有机发光二极管。
5.权利要求1的系统，其中，三维显示单元采用正面投影。
6.权利要求1的系统，其中，三维显示单元采用背面投影。
7.权利要求1的系统，其中，显示单元采用二维显示元件。
8.权利要求1的系统，其中，显示单元是柔性的，并且所述系统还包括无源显示元件。
9.权利要求1的系统，其中，显示单元是柔性的，并且所述系统还包括有源显示元件。
10.权利要求1的系统，其中，根据观众的观看方向显示不同的输出图像。
11.权利要求1的系统，其中，显示环境的与视图相关的静态图像，以使显示面消失。
12.权利要求1的系统，其中，显示环境的与视图相关的动态图像，以使显示面消失。
13.权利要求11或12的系统，其中，通过多台摄像机获取所述环境的与视图相关的图像。
14.权利要求1的系统，其中，每个制作者模块与所述多台视频摄像机的一个子集连接。
15.权利要求1的系统，其中，多台视频摄像机处于有规则间隔的线性和水平的阵列中。
16.权利要求1的系统，其中，多台视频摄像机任意排列。
17.权利要求1的系统，其中，每台视频摄像机的光轴垂直于公共平面，并且多台视频摄像机的向上矢量垂直对准。
18.权利要求1的系统，其中，观看参数包括视频摄像机的内在和外在参数。
19.权利要求1的系统，还包括：
选择装置，用于选择获取视频子集的多个摄像机的子集。
20.权利要求1的系统，其中，每个视频都被单独在时间上压缩。
21.权利要求1的系统，其中，观看参数包括每台视频摄像机的位置、定向、视野和焦平面。
22.权利要求1的系统，其中，对于输出视频中的每个输出像素o(x，y)，控制器确定视图序号v和解压缩视频中对输出视频中的输出像素有贡献的每个源像素s(v，x，y)的位置。
23.权利要求22的系统，其中，输出像素是k个源像素的如下线性组合：
o ( u , v ) = Σ i = 0 k w i s ( v , x , y )
其中，混合权重wi由控制器根据观看参数预先确定。
24.权利要求22的系统，其中，源像素块对每个输出像素有贡献。
25.权利要求1的系统，其中，三维显示单元包括显示器一侧的双凸透镜片、观众一侧的双凸透镜片、散射体以及每个双凸透镜片与散射体之间的衬底。
26.权利要求1的系统，其中，三维显示单元包括显示器一侧的双凸透镜片、反射体以及所述双凸透镜片与反射体之间的衬底。
27.权利要求1的系统，其中，摄像机相对于显示单元的布置以及显示单元相对于显示单元的布置基本上相同。
28.权利要求1的系统，其中，多台摄像机获取高动态范围的视频。
29.权利要求1的系统，其中，显示单元显示输出视频的高动态范围的图像。
30.一种三维电视系统，包括：
获取级，包括多台视频摄像机，每台视频摄像机用于实时获取动态变化场景的输入视频；
显示级，包括用于同时显示从所述输入视频产生的输出视频的三维显示单元；和
将获取级连接到显示级的传输网。
31.一种用于提供三维电视的方法，包括：
实时获取动态变化场景的多个同步视频；
确定所述多个视频的观看参数；
根据观看参数从多个同步输入视频产生多个输出视频；和
在三维显示单元上同时显示多个输出视频。
CNA2005800000782A 2004-02-20 2005-02-08 三维电视系统和提供三维电视的方法 Pending CN1765133A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/783,542 2004-02-20
US10/783,542 US20050185711A1 (en) 2004-02-20 2004-02-20 3D television system and method

Publications (1)

Publication Number Publication Date
CN1765133A true CN1765133A (zh) 2006-04-26

Family

ID=34861259

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800000782A Pending CN1765133A (zh) 2004-02-20 2005-02-08 三维电视系统和提供三维电视的方法

Country Status (5)

Country Link
US (1) US20050185711A1 (zh)
EP (1) EP1593273A1 (zh)
JP (1) JP2007528631A (zh)
CN (1) CN1765133A (zh)
WO (1) WO2005081547A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291441B (zh) * 2008-05-21 2010-04-21 深圳华为通信技术有限公司 一种手机及图像信息的处理方法
CN101473653B (zh) * 2006-06-13 2011-11-16 皇家飞利浦电子股份有限公司 用于识别并同步视频的指纹、器件、方法
CN102761731A (zh) * 2011-04-29 2012-10-31 华为终端有限公司 数据内容的显示方法、装置和系统
CN103051832A (zh) * 2011-10-14 2013-04-17 索尼公司 摄像装置、图像生成系统、服务器以及电子装置
CN103069352A (zh) * 2010-08-26 2013-04-24 索尼公司 与主动式快门眼镜的显示同步
CN103250419A (zh) * 2010-10-14 2013-08-14 汤姆逊许可公司 3d视频系统的遥控设备
WO2014053095A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for inter-component motion prediction in three-dimensional video coding
CN104104936A (zh) * 2013-04-05 2014-10-15 三星电子株式会社 用于形成光场图像的设备和方法
WO2015043098A1 (zh) * 2013-09-25 2015-04-02 清华大学深圳研究生院 一种多视角裸眼立体显示系统及其显示方法
CN105324994A (zh) * 2013-12-09 2016-02-10 Cjcgv株式会社 用于生成多投影图像的方法和系统
CN105519105A (zh) * 2013-09-11 2016-04-20 索尼公司 图像处理设备及方法
CN106605407A (zh) * 2014-09-03 2017-04-26 奈克斯特Vr股份有限公司 用于捕获、流传输和/或回放内容的方法和装置
CN108353157A (zh) * 2015-11-11 2018-07-31 索尼公司 编码设备和编码方法以及解码设备和解码方法

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US20050057438A1 (en) * 2004-08-27 2005-03-17 Remes Roberto Luis Garcia Apparatus and method for producing three-dimensional motion picture images
US20060072005A1 (en) * 2004-10-06 2006-04-06 Thomas-Wayne Patty J Method and apparatus for 3-D electron holographic visual and audio scene propagation in a video or cinematic arena, digitally processed, auto language tracking
US8275048B2 (en) * 2004-10-07 2012-09-25 Nippon Telegraph And Telephone Corporation Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
KR100711199B1 (ko) * 2005-04-29 2007-04-24 한국과학기술원 렌즈 방식의 3차원 모니터에서 잘못된 정렬에러 검출방법및 영상왜곡 보상방법
US7986335B2 (en) * 2005-05-02 2011-07-26 Lifesize Communications, Inc. Set top box videoconferencing system
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
US7471292B2 (en) * 2005-11-15 2008-12-30 Sharp Laboratories Of America, Inc. Virtual view specification and synthesis in free viewpoint
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US8044994B2 (en) * 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US7905606B2 (en) * 2006-07-11 2011-03-15 Xerox Corporation System and method for automatically modifying an image prior to projection
JP5055570B2 (ja) * 2006-08-08 2012-10-24 株式会社ニコン カメラおよび画像表示装置並びに画像記憶装置
WO2008043037A2 (en) * 2006-10-04 2008-04-10 Rochester Institute Of Technology Aspect-ratio independent, multimedia capture and editing systems and methods thereof
JP2010510558A (ja) 2006-10-11 2010-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 三次元グラフィックスのデータの作成
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
JP5179784B2 (ja) * 2007-06-07 2013-04-10 株式会社ユニバーサルエンターテインメント 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
EP2171689B1 (en) * 2007-06-29 2020-06-03 Midmark Corporation Synchronized views of video data and three-dimensional model data
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
US7720364B2 (en) * 2008-01-30 2010-05-18 Microsoft Corporation Triggering data capture based on pointing direction
US20090222729A1 (en) * 2008-02-29 2009-09-03 Deshpande Sachin G Methods and Systems for Audio-Device Activation
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8233032B2 (en) * 2008-06-09 2012-07-31 Bartholomew Garibaldi Yukich Systems and methods for creating a three-dimensional image
US8319825B1 (en) * 2008-06-16 2012-11-27 Julian Urbach Re-utilization of render assets for video compression
KR20110039537A (ko) * 2008-07-21 2011-04-19 톰슨 라이센싱 3ｄ 비디오 신호들을 위한 멀티 표준 코딩 장치
US7938540B2 (en) * 2008-07-21 2011-05-10 Disney Enterprises, Inc. Autostereoscopic projection system
US20100278232A1 (en) * 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
KR101594048B1 (ko) * 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20110123055A1 (en) * 2009-11-24 2011-05-26 Sharp Laboratories Of America, Inc. Multi-channel on-display spatial audio system
ES2784509T3 (es) * 2010-04-13 2020-09-28 Ge Video Compression Llc Codificación de mapas de significado y bloques de coeficiente de transformada
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8640182B2 (en) 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US20140022511A1 (en) * 2011-02-28 2014-01-23 Huei Pei Kuo Front-projection glasses-free, continuous 3d display
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
JP5708395B2 (ja) * 2011-09-16 2015-04-30 株式会社Ｊｖｃケンウッド 映像表示装置及び映像表示方法
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9473809B2 (en) 2011-11-29 2016-10-18 At&T Intellectual Property I, L.P. Method and apparatus for providing personalized content
US20130176407A1 (en) * 2012-01-05 2013-07-11 Reald Inc. Beam scanned display apparatus and method thereof
TWI447436B (zh) 2012-01-11 2014-08-01 Delta Electronics Inc 多視角立體顯示器
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9743119B2 (en) 2012-04-24 2017-08-22 Skreens Entertainment Technologies, Inc. Video display system
US11284137B2 (en) 2012-04-24 2022-03-22 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US10499118B2 (en) * 2012-04-24 2019-12-03 Skreens Entertainment Technologies, Inc. Virtual and augmented reality system and headset display
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP6016912B2 (ja) * 2012-06-12 2016-10-26 株式会社島精機製作所 ３次元計測装置と３次元計測方法
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
JP2017524281A (ja) * 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102662883B1 (ko) 2015-12-29 2024-05-03 레이아 인코포레이티드 무안경 입체 디스플레이 장치 및 디스플레이 방법
CN110192390A (zh) * 2016-11-24 2019-08-30 华盛顿大学 头戴式显示器的光场捕获和渲染
US10742894B2 (en) 2017-08-11 2020-08-11 Ut-Battelle, Llc Optical array for high-quality imaging in harsh environments
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
KR102401168B1 (ko) * 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
JP7416573B2 (ja) * 2018-08-10 2024-01-17 日本放送協会 立体画像生成装置及びそのプログラム
US11252392B2 (en) * 2019-02-22 2022-02-15 Avalon Holographies Inc. Layered scene decomposition CODEC with layered depth imaging
JP7322490B2 (ja) * 2019-04-25 2023-08-08 凸版印刷株式会社 ３次元画像表示システム及びその使用方法、並びに３次元画像表示ディスプレイ及びその使用方法、３次元画像表示ディスプレイパターンの計算方法
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1260682A (en) * 1915-01-16 1918-03-26 Clarence W Kanolt Photographic method and apparatus.
US4987487A (en) * 1988-08-12 1991-01-22 Nippon Telegraph And Telephone Corporation Method of stereoscopic images display which compensates electronically for viewer head movement
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
GB2284068A (en) * 1993-11-12 1995-05-24 Sharp Kk Three-dimensional projection display apparatus
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09238367A (ja) * 1996-02-29 1997-09-09 Matsushita Electric Ind Co Ltd テレビジョン信号送信方法，テレビジョン信号送信装置，テレビジョン信号受信方法，テレビジョン信号受信装置，テレビジョン信号送信受信方法，テレビジョン信号送信受信装置
JPH11103473A (ja) * 1997-09-26 1999-04-13 Toshiba Corp 立体映像表示装置
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101473653B (zh) * 2006-06-13 2011-11-16 皇家飞利浦电子股份有限公司 用于识别并同步视频的指纹、器件、方法
CN101291441B (zh) * 2008-05-21 2010-04-21 深圳华为通信技术有限公司 一种手机及图像信息的处理方法
CN103069352A (zh) * 2010-08-26 2013-04-24 索尼公司 与主动式快门眼镜的显示同步
CN103250419A (zh) * 2010-10-14 2013-08-14 汤姆逊许可公司 3d视频系统的遥控设备
CN103250419B (zh) * 2010-10-14 2015-09-16 汤姆逊许可公司 3d视频系统的遥控设备
CN102761731A (zh) * 2011-04-29 2012-10-31 华为终端有限公司 数据内容的显示方法、装置和系统
CN103051832A (zh) * 2011-10-14 2013-04-17 索尼公司 摄像装置、图像生成系统、服务器以及电子装置
WO2014053095A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for inter-component motion prediction in three-dimensional video coding
US10110915B2 (en) 2012-10-03 2018-10-23 Hfi Innovation Inc. Method and apparatus for inter-component motion prediction in three-dimensional video coding
CN104104936A (zh) * 2013-04-05 2014-10-15 三星电子株式会社 用于形成光场图像的设备和方法
US10085008B2 (en) 2013-09-11 2018-09-25 Sony Corporation Image processing apparatus and method
CN105519105A (zh) * 2013-09-11 2016-04-20 索尼公司 图像处理设备及方法
WO2015043098A1 (zh) * 2013-09-25 2015-04-02 清华大学深圳研究生院 一种多视角裸眼立体显示系统及其显示方法
US9641817B2 (en) 2013-12-09 2017-05-02 Cj Cgv Co., Ltd. Method and system for generating multi-projection images
CN105324994A (zh) * 2013-12-09 2016-02-10 Cjcgv株式会社 用于生成多投影图像的方法和系统
CN106605407A (zh) * 2014-09-03 2017-04-26 奈克斯特Vr股份有限公司 用于捕获、流传输和/或回放内容的方法和装置
CN108353157A (zh) * 2015-11-11 2018-07-31 索尼公司 编码设备和编码方法以及解码设备和解码方法
CN108353157B (zh) * 2015-11-11 2021-06-08 索尼公司 编码设备和编码方法以及解码设备和解码方法

Also Published As

Publication number Publication date
JP2007528631A (ja) 2007-10-11
EP1593273A1 (en) 2005-11-09
WO2005081547A1 (en) 2005-09-01
US20050185711A1 (en) 2005-08-25

Similar Documents

Publication Publication Date Title
CN1765133A (zh) 三维电视系统和提供三维电视的方法
Wien et al. Standardization status of immersive video coding
Matusik et al. 3D TV: a scalable system for real-time acquisition, transmission, and autostereoscopic display of dynamic scenes
US10528004B2 (en) Methods and apparatus for full parallax light field display systems
Vetro et al. Coding approaches for end-to-end 3D TV systems
EP3249930B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
Tanimoto FTV (free-viewpoint television)
Tanimoto Free viewpoint television (FTV)
Balogh et al. Real-time 3D light field transmission
Tanimoto Free-viewpoint television
US20060038879A1 (en) System and apparatus for recording, transmitting, and projecting digital three-dimensional images
Gotchev et al. Three-dimensional media for mobile devices
JP2008259171A (ja) ３次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム
Cserkaszky et al. Real-time light-field 3D telepresence
KR20190031943A (ko) 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
Fernando et al. 3DTV: processing and transmission of 3D video signals
Dick et al. 3D holoscopic video coding using MVC
US9681114B2 (en) System and method for adaptive scalable dynamic conversion, quality and processing optimization, enhancement, correction, mastering, and other advantageous processing of three dimensional media content
Kovács et al. Architectures and codecs for real-time light field streaming
Balogh et al. Natural 3D content on glasses-free light-field 3D cinema
CN115859662A (zh) 一种裸眼光场3d显示仿真方法
Grau et al. 3D-TV R&D activities in europe
KR20220054430A (ko) 볼류메트릭 비디오 콘텐츠를 전달하기 위한 방법 및 장치들
Kawakita et al. Glasses-free 200-view 3D video system for highly realistic communication
Saishu et al. Flatbed-type autostereoscopic display system and its image format for encoding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20060426