CN102938844B - 利用立体成像生成自由视点视频 - Google Patents

利用立体成像生成自由视点视频 Download PDF

Info

Publication number
CN102938844B
CN102938844B CN201210387178.7A CN201210387178A CN102938844B CN 102938844 B CN102938844 B CN 102938844B CN 201210387178 A CN201210387178 A CN 201210387178A CN 102938844 B CN102938844 B CN 102938844B
Authority
CN
China
Prior art keywords
scene
active
dimensional
video
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210387178.7A
Other languages
English (en)
Other versions
CN102938844A (zh
Inventor
查尔斯·日特尼克
辛·秉·康
亚当·柯克
帕特里克·斯威尼
阿米特·米塔尔
大卫·哈尼特
大卫·埃雷克
干尚·米特拉
克斯图提斯·帕蒂耶尤纳斯
亚龙·埃谢
西蒙·温德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN102938844A publication Critical patent/CN102938844A/zh
Application granted granted Critical
Publication of CN102938844B publication Critical patent/CN102938844B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了利用立体成像生成自由视点视频。提供了用于利用主动红外(IR)立体模块生成自由视点视频的方法和系统。该方法包括利用主动IR立体模块计算场景的深度图。可以通过下列步骤计算深度图：将IR圆点图样投影到场景上；从两个或更多个同步的IR摄像机中的每个IR摄像机捕获立体图像；检测立体图像内的IR圆点图样的多个圆点；计算对应于立体图像中的IR圆点图样的该多个圆点的特征描述符；基于每个立体图像中的对应特征描述符的比较来计算立体图像之间的视差图；以及利用视差图生成深度图。该方法还包括利用深度图生成场景的点云，生成点云的网格并从点云的网格生成场景的投影纹理图。该方法进一步包括利用投影纹理图生成场景的视频。

Description

利用立体成像生成自由视点视频
技术领域
本发明涉及用于生成自由视点视频的方法和系统。
背景技术
自由视点视频(FVV)为用于从多个角度同时地捕获整个场景的视频捕获和回放技术，并且其中在回放期间由观看者动态地控制观看视角。与由单个摄像机捕获并且具有固定的观看视角的特征的传统视频不同，FVV捕获涉及视频摄像机阵列及相关技术以从多个视角同时记录视频场景。在回放期间，合成已知的真实视点之间的中间合成视点，允许在摄像机阵列内的无缝空间导航。通常，更多个视频摄像机组成的更密集的摄像机阵列在FVV回放期间产生更逼真的结果。当在密集摄像机阵列中记录了更多的真实数据时，用于合成视点的基于图像的渲染方法更有可能生成高质量的输出，这是由于它们获知更多的实际数据。在具有较少的真实数据的较稀疏摄像机阵列中，在生成合成视点中必须做出更多的估计和近似，结果较不准确并因此较不逼真。
用于主动深度感测的较新技术，诸如来自Corporation(微软公司)的KinectTM系统，通过使用结构光(即，主动立体(active stereo))来从视频场景提取几何结构而改进了三维重建方法，这与仅仅依靠在环境或自然光照条件下利用视频摄像机捕获的图像数据的被动方法相反。结构光方法允许FVV提取更密集的深度数据，因为光图样在场景上提供了另外的纹理用于更密集的立体匹配。通过比较，被动方法在环境和自然光照条件下通常不能在看起来缺少纹理的表面处产生可靠的数据。由于产生更密集深度数据的能力，主动立体技术趋于需要更少的摄像机来用于高质量的3D场景重建。
对于现有技术，诸如来自Corporation的KinectTM系统，红外(IR)图样被投影到场景并且由单个IR摄像机捕获。能够通过发现光图样的局部偏移提取深度图。尽管有利用结构光技术的优点，但是多个问题限制了在FVV的创建中相似设备的效用。
发明内容
为了提供对此处所描述的一些方面的基本理解，下面呈现了对本发明的简单概要。该概要不是所要求保护的主题的广泛综述。既不旨在标识所要求保护的主题的要点或关键要素，也不旨在描绘本发明的范围。其唯一目的是以简单的形式呈现所要求保护的主题的一些概念作为在后面呈现的更详细的描述的前序。
实施例提供了一种用于利用主动红外(IR)立体模块生成视频的方法。所述方法包括利用主动IR立体模块计算场景的深度图。可以通过下列步骤计算深度图：将IR圆点(dot)图样投影到场景上，从两个或更多个同步的IR摄像机中的每一个IR摄像机捕获立体图像，检测立体图像内的IR圆点图样的多个圆点，计算对应于立体图像中的IR圆点图样的该多个圆点的多个特征描述符，基于每个立体图像中的对应特征描述符的比较来计算立体图像之间的视差图，以及利用视差图生成场景的深度图。所述方法还包括：利用深度图在三维空间中生成场景的点云。所述方法还包括生成点云的网格并从点云的网格中生成场景的投影纹理图。所述方法进一步包括通过组合投影纹理图与真实图像来生成视频。
另一实施例提供了一种用于利用主动IR立体模块生成视频的系统。该系统包括被配置为利用主动IR立体模块计算场景的深度图并且基于每个立体图像中的IR圆点图样的对应特征描述符的比较来计算场景的立体图像之间的视差图的深度图计算模块，以及被配置为利用深度图在三维空间中生成场景的点云的点云生成模块，其中主动IR立体模块包括三个或更多个同步的摄像机和IR圆点图样投影仪以将IR原点图样投影到场景上。所述模块还包括被配置为生成点云的网格的点云网格生成模块和被配置为从点云的网格生成场景的投影纹理图的投影纹理图生成模块。此外，所述模块包括被配置为利用投影纹理图生成场景的视频的视频生成模块。
此外，另一实施例提供了用于存储计算机可读指令的一个或更多个非易失性计算机可读存储介质。计算机可读指令在由一个或更多个处理设备执行时提供了用于利用主动IR立体模块生成视频的立体模块系统。计算机可读指令包括被配置为利用主动IR立体模块通过下列方式计算场景的深度图的代码：将IR圆点图样投影到场景上，从两个或更多个同步的IR摄像机中的每一个IR摄像机捕获立体图像，检测立体图像内的多个圆点，计算对应于立体图像中的多个圆点的多个特征描述符，计算立体图像之间的视差图，并利用视差图生成场景的深度图。计算机可读指令还包括代码，所述代码被配置为利用深度图在三维空间中生成场景的点云，生成点云的网格，从点云的网格生成场景的投影纹理图，并通过组合投影纹理图与真实图像来生成视频。
提供该概要来以简单的形式引入概念的选择，在下面还以详细的描述进一步描述了这些概念。该概要不旨在标识所要求保护的主题的要点特征或必要特征，也不旨在用来限制所要求保护的主题的范围。
附图说明
图1为用于利用主动IR立体模块生成自由视点视频(FVV)的立体模块系统的框图；
图2为可用于生成场景的深度图的主动IR立体模块的示意图；
图3为示出了利用主动IR立体模块生成深度图的方法的处理流程图；
图4为可用于标识立体图像内的特征描述符的一种类型的划分(binning)方法的示意图；
图5为可用于标识立体图像内的特征描述符的另一类型的划分方法的示意图；
图6为示出了用于利用主动IR立体模块生成FVV的方法的处理流程图；
图7为可用于生成场景的深度图的通过同步信号连接的主动IR立体模块的系统的示意图；
图8为示出了对于两个或更多个同步锁相的(genlocked)主动IR立体模块中的每一个主动IR立体模块生成深度图的方法的处理流程图；
图9为示出了用于利用两个或更多个同步锁相的主动IR立体模块生成FVV的方法的处理流程图；以及
图10为示出了存储适于利用主动IR立体模块生成FVV的代码的有形的计算机可读介质的框图。
贯穿本公开和附图使用相同的数字表示相似的组件和特征。100系列中的数字指的是最初在图1中建立的特征，200系列中的数字指的是最初在图2中建立的特征，300系列中的数字指的是最初在图3中建立的特征等等。
具体实施方式
如上面所讨论的，自由视点视频(FVV)为由观看者动态地控制观看视角的视频回放的技术。与由单个摄像机捕获并且具有固定的观看视角的特征的传统视频不同，FVV捕获利用视频摄像机阵列及相关技术来从多个视角同时记录视频场景。利用三维重建方法处理来自视频阵列的数据以提取场景的纹理映射几何结构。之后使用基于图像的渲染方法在任意视点处生成合成视点。在每个时间帧处恢复的纹理映射几何结构允许观看者控制虚拟摄像机或视点的空间和时间位置二者，这实质上为FVV。换言之，实现了通过空间和时间二者的虚拟导航。
此处公开的实施例阐明了利用主动立体观测(stereopsis)生成场景的FVV的方法和系统。立体观测(或仅“立体”)为从两个或更多个不同的视角提取场景的深度信息的处理。如果使用结构光，则立体具有“主动”的特征。可以通过利用来自不同视角的立体图像之间的视差检测的方法生成深度图来获得场景的三维视图。
通过跨越图像匹配点(point)来确定立体图像的深度分布。一旦已经标识了立体图像内的对应点，进行三角测量以恢复立体图像深度。三角测量为基于最小化反投影(back-projection)误差确定在三维空间中的每个点的位置的处理。反投影误差为被投影到立体图像上的三维点的投影点和原始提取的匹配点之间的距离的和。其它相似的误差可用于三角测量。
可以利用稀疏宽基线配置的一个或更多个主动IR立体模块生成场景的FVV。由于可以通过用来自主动IR立体模块的IR光图样扩充场景来实现更准确的几何结构，因此在主动IR立体模块中的稀疏摄像机阵列配置可以产生准确的结果。之后通过生成更准确的几何结构，可以将IR光图样用于增强基于图像的渲染方法，并且这些图样不会干扰RGB成像。
在实施例中，投影到场景上的IR光的使用允许在FVV处理期间从场景的视频中提取高度准确的几何结构。投影IR光的使用还允许使用稀疏摄像机阵列诸如以九十度隔开放置的轨道配置的四个模块来记录中央处或中央附近的场景。此外，利用稀疏摄像机阵列得到的结果比用传统的被动立体可能获得的结果更加逼真。
在实施例中，可以利用主动IR立体模块记录场景的深度图。如此处所使用的，“主动IR立体模块”指的是利用立体观测生成场景的三维深度图的一类成像设备。术语“深度图”通常用于三维计算机图形应用中以描述包含与从摄像机视点到场景中的对象表面的距离相关的信息的图像。立体视觉使用可包括亮度的图像特征来估计立体视差。可利用内部(intrinsic)和外部(extrinsic)摄像机配置将视差图转变成深度图。根据当前的方法，可以利用一个或更多个主动IR立体模块创建场景的三维深度图。
可以利用稀疏和密集立体技术的组合生成深度图。可以利用基于规则化的表示诸如马尔可夫随机场生成密集深度图。在图像处理和计算机视觉中，马尔可夫随机场为经常用来建模各种低到中级任务的非定向图形模型。可以利用特征描述符生成稀疏深度图。该方法允许生成可以以不同的概率组合的不同的深度图。较高概率表征稀疏深度图，较低概率表征密集深度图。为了此处所公开的方法的目的，利用稀疏立体观测生成的深度图可以是优选的，因为稀疏数据可比密集数据更可靠。通过比较立体图像之间的特征描述符计算稀疏深度图，这趋于以非常高置信度匹配或者根本不匹配。
在实施例中，主动IR立体模块可以包括随机红外(IR)激光圆点图样投影仪、一个或更多个RGB摄像机以及两个或更多个立体IR摄像机，将所有这些同步(即，同步锁相(genlock))。主动IR立体模块可以用于利用随机IR激光圆点图样投影仪将随机IR圆点图样投影到场景并且利用两个或更多个同步锁相的IR摄像机捕获场景的立体图像。术语“同步锁相”通常用于描述用于保持两个或更多个信号之间的时间相干性的技术，即，信号之间的同步。在主动IR立体模块中的摄像机的同步锁相确保跨越摄像机同时精确发生捕获。这确保在FVV导航期间在任意给定的时间处运动对象的网格会具有适当的形状和纹理。
可以在立体IR图像内检测圆点，并且可以对于圆点计算若干特征描述符。特征描述符可以提供用于来自两个或更多个同步锁相的摄像机的立体图像的比较的起点并且可包括立体图像中的兴趣点。例如，可以对一个立体图像中的特定圆点进行分析并且将其与另一同步锁相的立体图像中的对应圆点进行比较。
可以利用传统的立体技术计算两个或更多个立体图像之间的视差图，可以利用视差图生成场景的深度图。如此处所使用的，“视差图”指的是跨越两个或更多个立体图像的像素偏移的分布。视差图可用于测量从两个或更多个不同的对应视点捕获的立体图像之间的差。此外，可以使用简单的算法将视差图转变成深度图。
应当注意的是，当前的方法不局限于使用随机IR圆点图样投影仪或IR摄像机。而是可以使用投影可识别特征的任意类型的图样投影仪，所述可识别特征诸如圆点、三角形、栅格等。此外，可以使用能够检测投影到场景上的特征出现的任意类型的摄像机。
在实施例中，一旦已经利用主动IR立体模块确定了场景的深度图，可以利用深度图为场景生成点云。点云为可以提供场景的三维表示的一种类型的场景几何形状。一般来讲，点云为三维坐标系统中的顶点的集，可用于表示场景中的对象的外部表面。一旦已经生成了点云，可以对于点云中的每个点计算表面法线。
三维点云可用于生成点云的几何网格。如此处所使用的，几何网格为由限定三维对象的形状的顶点、边缘和面的集合组成的随机栅格。可以将来自主动IR立体模块的RGB图像数据投影到点云的网格上以生成投影纹理图。可以通过使来自RGB图像数据和点云的网格的作用混合而从投影纹理图生成FVV，以允许从任意数量的不同的摄像机角度观看场景。还可能对于每个立体模块单独地生成纹理映射几何网格，并且渲染涉及混合最邻近网格的渲染视图。
实施例提供了由同步信号连接的多个主动IR立体模块的系统。所述系统可包括任意数量的主动IR立体模块，每个主动IR立体模块包括三个或更多个同步锁相的摄像机。具体地，每个主动IR立体模块可包括两个或更多个同步锁相的IR摄像机和一个或更多个同步锁相的RGB摄像机。可以利用多个主动IR立体模块的系统从不同的位置或视角生成场景的深度图。
多个主动IR立体模块的系统可以利用主动IR立体模块之间的同步信号被同步锁相。同步信号可以为导致主动IR立体模块的时间相干性的任意信号。在该实施例中，主动IR立体模块的时间相干性确保所有的主动IR立体模块在相同的时刻捕获图像，从而来自主动IR立体模块的立体图像彼此直接相关。一旦所有的主动IR立体模块已经确认了同步信号的接收，则每个主动IR立体模块可以根据上述关于单个立体模块系统的方法生成深度图。
在实施例中，多个主动IR立体模块的上述系统利用基于随机IR圆点图样形式的随机光的算法，所述随机IR圆点图样被投影到场景上并且用两个或更多个同步锁相的立体IR摄像机记录以生成深度图。当使用另外的主动IR立体模块来记录同一场景时，从每个主动IR立体模块中的IR摄像机中建设性地观看多个随机IR圆点图样。这是可能的，因为随着向记录阵列增加更多的主动IR立体模块，多个主动IR立体模块不会经受干扰。
主动IR立体模块之间的干扰的问题由于随机IR圆点图样的性质而从根本上减少。每个主动IR立体模块不试图使由摄像机检测到的随机IR圆点图样匹配已经投影到场景上的特定构成的原始图样。相反，每个模块观测当前的圆点图样作为场景上的随机圆点纹理。因此，当正被投影到场景上的当前的圆点图样可以为来自多个随机IR圆点图样投影仪的圆点的组合时，由于圆点图样不与任意标准的圆点图样进行比较，因此圆点的实际的图样是不相关的。因此，这允许使用多个主动IR立体模块来成像同一场景而不会发生干扰。事实上，随着将更多的主动IR立体模块添加到FVV记录阵列中，在IR光谱中能看到的特征的量可以增加至一点，导致愈加准确的深度图。
一旦已经对每个主动IR立体模块创建了深度图，则每个深度图可用于生成场景的点云。此外，可以内插点云以包括没有被主动IR立体模块捕获的场景的区域。可以使由多个主动IR立体模块生成的点云组合以创建一个场景的点云。由于每个主动IR立体模块可以从不同的位置记录场景，因此组合的点云可以表示从多个不同的视角或视点获取的图像数据。此外，使来自主动IR立体模块的点云组合可以基于摄像机的校准对于场景创建单个世界坐标系。之后可以创建点云的网格并将其用于生成场景的FVV，如上所述。
作为初步事项，一些图在一个或更多个结构组件的情况下描述了概念，一个或更多个结构组件分别称作功能、模块、特征、元件等。可以以任意方式实施图中所示的各个组件，例如，通过软件，硬件(例如，分立的逻辑组件等)、固件等等，或者这些实施方式的任意组合。在一个实施例中，各种组件可以反映对应的组件在实际的实施方式中的使用。在其它实施例中，可以由若干实际的组件来实施图中所图示的任意单个组件。图中的任意两个或更多个单独的组件的描述可以反映由单个实际组件执行的不同的功能。下面所论述的图1提供关于可用于实施图中所示的功能的一个系统的细节。
其它的图以流程图的形式描述了概念。在这种形式中，特定的操作被描述为构成了以特定顺序实行的不同的块。这种实施方式为示例性的并且为非限制性的。此处所述的特定块可以一起组成组并以单个操作执行，可以将特定的块分成多个组件块，并且可以以与此处所图示的顺序不同的顺序实行特定的块，包括以并行方式执行块。可以由软件、硬件、固件、人工处理等或者这些实施方式的任意组合来实施流程图中所示的块。如此处所使用的，硬件可包括计算机系统、分立的逻辑组件、诸如专用集成电路(ASIC)等、以及其任意的组合。
关于术语，短语“被配置为”包括任意类型的功能被构成为执行所标识操作的任何方式。功能可以被配置为利用例如软件、硬件、固件等或者其任意组合执行操作。
术语“逻辑”包括执行任务的任意功能。例如，在流程图中所示的每个操作对应于执行该操作的逻辑。可以利用例如软件、硬件、固件等或者其任意组合执行操作。
如此处所使用的，术语“组件”、“系统”、“客户端”等旨在指示与计算机相关的实体，或者硬件、软件(例如，执行中)和/或固件，或者其组合。例如，组件可以是在处理器上运行的处理、对象、可执行者、程序、函数、库、子例程、和/或计算机或软件和硬件的组合。
借助于图示，在服务器上运行的应用程序和服务器二者都可以是组件。一个或更多个组件可以驻留在处理中并且可以在一个计算机上本地化组件和/或在两个或更多个计算机之间分布组件。术语“处理器”通常理解为指的是硬件组件，诸如计算机系统的处理单元。
此外，所要求保护的主题可以实施为利用标准的编程和/或工程技术来产生软件、固件、硬件或者其任意组合以控制计算机实施所公开的主题的方法、设备、或制品。此处所使用的术语“制品”旨在包括可从任意非暂态计算机可读设备或介质中访问的计算机程序。
非暂态计算机可读存储介质可包括但不限于磁性存储装置(例如，硬盘、软盘、以及磁条等)，光盘(例如，高密度盘(CD)以及数字通用光盘(DVD)等)，智能卡以及闪存装置(例如，卡、棒以及键驱动(key drive)等)。与此相反，计算机可读介质通常(即，不必然为存储介质)可以另外地包括通信介质，诸如用于无线信号的传输介质等。
图1为利用主动IR立体模块生成FVV的立体模块系统100的框图。立体模块系统100可包括适于执行存储的指令的处理器102以及存储可由处理器执行的指令的存储装置104。处理器102可以是单核处理器、多核处理器、计算集群、或任意数量的其它配置。存储装置104可包括随机访问存储器(RAM)、只读存储器(ROM)、闪存或任意其它适合的存储器系统。这些指令实施包括下列步骤的方法：利用主动IR立体模块计算场景的深度图；利用深度图在三维空间中生成场景的点云，生成点云的网格，根据点云的网格生成场景的投影纹理图，并通过创建投影纹理图生成FVV。处理器102通过总线106连接到一个或更多个输入和输出装置。
立体模块系统100还可包括适于存储主动立体算法110、深度图112、点云114、投影纹理图116、FVV处理算法118以及由立体模块系统100生成的FVV120的存储装置108。存储装置108可包括硬盘驱动器、光盘驱动器、指形驱动器(thumbdrive)、驱动器阵列或者其任意组合。网络接口控制器122可适于将立体模块系统100通过总线106连接到网络124。通过网络124，可以下载电子文本和成像输入文件126并存储在计算机的存储系统108中。此外，立体模块系统100可以在网络124上传送深度图、点云或者FVV。
立体模块系统100可以通过总线106链接到适于将系统100连接到显示装置130上的显示接口128，其中显示装置130可包括计算机监视器、摄像机、电视机、投影仪、虚拟现实显示器或者移动设备等。显示装置130还可以是三维立体显示装置。立体模块系统100内的人机接口132可以将系统连接到键盘134和定点装置136，其中定点装置136可包括鼠标、轨迹球、触控板、操纵杆、指示杆(pointing stick)、触笔或者触摸屏等。还应当注意的是，立体模块系统100可包括任意数量的其它组件，包括适于将立体模块系统100连接到打印装置的打印接口等。
立体模块系统100还可以通过总线106链接到适于将立体模块系统100连接到随机圆点图样投影仪140的随机圆点图样投影仪接口138。此外，摄像机接口142可适合于将立体模块系统100连接到三个或更多个同步锁相的摄像机144，其中三个或更多个同步锁相的摄像机可包括一个或更多个同步锁相的RGB摄像机和两个或更多个同步锁相的IR摄像机。随机圆点图样投影仪140和三个或更多个同步锁相的摄像机144可包括在主动IR立体模块146内。在实施例中，立体模块系统100可一次连接到多个主动IR立体模块146。在另一实施例中，可将每个主动IR立体模块146连接到单独的立体模块系统100。换言之，可以将任意数量的立体模块系统100连接到任意数量的主动IR立体模块146。在实施例中，每个主动IR立体模块146可包括模块上的本地存储器，使得每个主动IR立体模块146可本地存储场景的独立视图。此外，在另一实施例中，整个系统100可包括在主动IR立体模块146内。也可将任意数量的另外的主动IR立体模块通过网络124连接到主动IR立体模块146。
图2为可用于生成场景的深度图的主动IR立体模块202的示意图200。如所记载的，主动IR立体模块202可包括两个IR摄像机204和206、RGB摄像机208以及随机圆点图样投影仪210。可以使IR摄像机204和206同步锁相或同步。IR摄像机204和206的同步锁相确保摄像机是时间相干的，使得捕获的立体图像彼此直接关联。此外，除了两个IR摄像机204和206之外，还可以将任意数量的IR摄像机添加到主动IR立体模块202。另外，主动IR立体模块202不限于使用IR摄像机，因为许多其它类型的摄像机可以用在主动IR立体模块202中。
RGB摄像机208可以用来通过获取例如红、绿和蓝的三种不同的彩色信号而捕获场景的彩色图像。除了一个RGB摄像机208之外，还可以将任意数量的另外的RGB摄像机添加到主动IR立体模块202。RGB摄像机208的输出可以对用于FVV应用的深度图的创建提供有用的输出。
可使用随机圆点图样投影仪210将IR圆点的随机图样212投影到场景214上。此外，可以用任意类型的圆点投影仪代替随机圆点图样投影仪210。
可使用两个同步锁相的IR摄像机204和206捕获场景的图像，包括IR圆点的随机图样212。可以根据下面所述的图3中的方法分析来自两个IR摄像机204和206的图像以生成场景的深度图。
图3为示出了利用主动IR立体模块生成深度图的方法300的处理流程图。在块302处，将随机IR圆点图样投影到场景上。随机IR圆点图样可以是由主动IR立体模块中的投影仪生成的IR激光圆点图样。随机IR圆点图样还可以是由场景附近的任意模块投影的任意其它类型的圆点图样。
在块304处，可以从主动IR立体模块内的两个或更多个立体摄像机捕获立体图像。立体摄像机可以是如上面所讨论的IR摄像机，并且可以同步锁相以确保立体摄像机是时间相干的。块304处捕获的立体图像可包括来自块302的投影的随机IR圆点图样。
在块306处，可以在立体图像内检测圆点。可以在立体模块系统100内执行圆点的检测。具体地，可以由立体模块系统100内的圆点检测器处理立体图像以标识立体图像内的各个圆点。圆点检测器可以通过处理圆点中心(dot center)来达到子像素精度。
在块308处，可以对在立体图像内检测的圆点计算特征描述符。可以利用若干不同的方法计算特征描述符，包括几种不同的划分方法，如下面针对图4和图5所描述的。特征描述符可用于匹配立体图像之间的相似特征。
在块310处，可以计算立体图像之间的视差图。可以利用传统的立体技术计算视差图，诸如针对图1所讨论的主动立体算法。还可以使用特征描述符来创建视差图，所述视差图可以根据立体图像内的对应圆点的标识来映射立体图像之间的相似性。
在块312处，可以利用来自块310的视差图生成深度图。也可以利用传统的立体技术计算深度图，诸如针对图1所讨论的主动立体算法。深度图可以表示场景的三维视图。应当注意的是，该流程图不旨在指示应当以任何特定的顺序执行该方法的步骤。
图4为可用于在立体图像内标识特征描述符的一种类型的划分方法400的示意图。划分方法400利用应用于立体图像的二维栅格。可以将立体图像内的圆点分配给给定区块(bin)中的特定坐标位置。这可允许基于相邻圆点的坐标标识各个圆点的特征描述符。
图5为可用于在立体图像内标识特征描述符的另一类型的划分方法500的示意图。该划分方法500利用同心圆和栅格，例如，形成另一个二维区块框架的极坐标系。选择栅格的中心点，并且可以通过每个区块对于所选轴线的角度及其距中心点的距离定位每个区块。在区块内，圆点可以用其空间位置、强度或径向位置来表征。对于空间上的定位，在不存在歧义的情况下，区块可以用内部圆点的硬计数(hard count)表征，或者用在区块之间交迭的圆点的软计数(soft count)表征。对于强度调制，可以估算在特定区块内的所有圆点的总亮度(aggregate luminance)，或者可以计算强度直方图。此外，在特定区块内，可以基于特定圆点与相邻圆点之间的距离和参考角度对每个圆点确定径向描述符。
尽管图4和图5图示了可用于标识立体图像中的特征描述符的两种类型的划分方法，但是应当注意的是，可以使用任意其它类型的划分方法。此外，还可使用与划分无关的用于标识特征描述符的其它方法。
图6为示出了利用主动IR立体模块生成FVV的方法600的处理流程图。如上面针对图2所讨论的，可使用单个主动IR立体模块生成适于用记录场景的稀疏阵列摄像机渲染的FVV的纹理映射几何模型。在块602处，如上面针对图3所讨论的，可以利用主动IR立体模块为场景计算深度图。此外，如上面所讨论的，可以利用稀疏和密集立体观测的组合创建场景的深度图。
在块604处，可以利用深度图为场景生成点云。这通过将深度图转变成在三维空间中的点云并为点云中的每个点计算表面法线来实现。在块606处，可以生成点云的网格以限定场景中的三维对象的形状。
在块608处，可以通过将来自主动IR立体模块的RGB图像数据投影到点云的网格上来生成投影纹理图。在块610处，可以通过使来自RGB图像数据和点云的网格的作用混合而从投影纹理图生成FVV，以允许从不同的摄像机角度观看场景。在实施例中，可以在诸如三维立体显示的显示装置上显示FVV。此外，可以使得能够由用户在FVV回放期间进行时空导航。时空导航可以允许用户在空间和时间二者中交互地控制视频观看窗口。
图7为可用于生成场景708的深度图的通过同步信号706连接的主动IR立体模块702和704的系统700的示意图。应当注意的是，除了两个主动IR立体模块702和704之外，系统还可以采用任意数量的主动IR立体模块。此外，主动IR立体模块702和704中的每个可以包括两个或更多个立体摄像机710、712、714和716、一个或更多个RGB摄像机718和720、以及随机圆点图样投影仪722和724，如上面针对图2所讨论的。
用于主动IR立体模块702和704的随机圆点图样投影仪722和724中的每个随机圆点图样投影仪可用于将随机IR圆点图样726投影到场景708上。然而，应当注意的是，不是每个主动IR立体模块702和704都必须包括随机圆点图样投影仪722和724。可以从任意数量的主动IR立体模块或者从独立于主动IR立体模块的任意数量的单独的投影装置将任意数量的随机IR圆点图样投影到场景上。
主动IR立体模块702和704之间的同步信号706可用于同步锁相主动IR立体模块702和704，使得它们在相同的时刻操作。根据上面提及的图3的方法，可以对主动IR立体模块702和704中的每一个主动IR立体模块生成深度图。
图8为示出了对于两个或更多个同步锁相的主动IR立体模块中的每一个主动IR立体模块生成深度图的方法800的处理流程图。在块802处，将随机IR圆点图样投影到场景上。随机IR圆点图样可以是由主动IR立体模块中的投影仪生成的IR激光圆点图样。随机IR圆点图样也可以是由场景附近的任意模块投影的任意其它类型的圆点图样。此外，系统中的任意数量的主动IR立体模块可以同时投影随机IR圆点图样。如上面所讨论的，由于圆点图样的随机性质，到场景上的多个圆点图样的交迭不会引起干扰问题。
在块804处，可以生成同步信号。同步信号可用于同步锁相两个或更多个主动IR立体模块。这确保主动IR立体模块的时间相干性。此外，同步信号可以由一个中心模块生成并被发送到每个主动IR立体模块，可以由一个主动IR立体模块生成并被发送到所有其它的主动IR立体模块，可以由每个主动IR立体模块生成并被发送到每个其它的主动IR立体模块，等等。还应当注意的是，软件或硬件同步锁相可用于保持主动IR立体模块之间的时间相干性。在块806处，可以通过建立由每个主动IR立体模块对同步信号的接收来确认主动IR立体模块的同步锁相。在块808处，根据针对图3所述的方法，可以由每个主动IR立体模块生成场景的深度图。尽管每个主动IR立体模块可生成独立的深度图，但是主动IR立体模块的同步锁相确保了所有的摄像机在相同的时刻记录场景。这允许利用从多个不同的视角获取的深度图创建准确的FVV。
图9为示出了利用两个或更多个同步锁相的主动IR立体模块生成FVV的方法900的处理流程图。在块902处，可以对于两个或更多个同步锁相的主动IR立体模块中的每个主动IR立体模块计算深度图，如上面针对图8所讨论的。主动IR立体模块可以从不同的位置记录场景并且可以通过网络通信或任意类型的同步信号来同步锁相以确保每个模块中的所有摄像机时间上同步。
在块904处，如针对图6所讨论的，可以对于两个或更多个同步锁相的主动IR立体模块中的每个主动IR立体模块生成点云。在块906处，基于在后处理中的摄像机的校准，可以将独立生成的点云组合成单个点云，或者世界坐标系。
在块908处，在对于点计算了法线之后，可以生成组合的点云的几何网格。在块910处，可以通过利用RGB图像数据和组合点云的网格创建投影纹理图来生成FVV。可以将RGB图像数据以视图独立的纹理映射(view-dependent texture mapping)方式纹理映射到组合点云的网格上，使得不同的观看角度产生来自两个RGB图像的成比例混合的作用。在实施例中，可以在显示装置上显示FVV，并且可以使得用户能够进行时空导航。
图10为示出了存储适于利用主动IR立体模块生成FVV的代码的有形计算机可读介质1000的框图。可以由处理器1002通过计算机总线1004访问有形计算机可读介质1000。此外，有形计算机可读介质1000可包括被配置为命令处理器1002执行当前方法的步骤的代码。
此处所讨论的各种软件组件可以存储在有形的计算机可读介质1000上，如图10所示。例如，深度图计算模块1006可以被配置为利用主动IR立体模块计算场景的深度图。点云生成模块1008可以被配置为利用深度图在三维空间中生成场景的点云。点云网格生成模块1010可以被配置为生成点云的网格。投影纹理图生成模块1012可以被配置为生成场景的投影纹理图，以及视频生成模块1014可被配置为通过组合投影纹理图与真实图像来生成FVV。
应当注意的是，图10的框图不旨在指示有形计算机可读介质1000必须包括所有的软件组件1006、1008、1010、1012和1014。此外，有形计算机可读介质1000可包括图10中未示出的另外的软件组件。例如，有形计算机可读介质1000还可包括被配置为在显示装置上显示FVV的视频显示模块和被配置为使得能够由用户在FVV回放期间进行时空导航的视频回放模块。
在实施例中，可以当前的系统和方法用来利用稀疏和密集数据二者创建场景几何结构的三维表示。根据稀疏数据创建的特定点云中的点会接近百分之百的置信度水平，而根据密集数据创建的点云中的点可能会具有非常低的置信度水平。通过使稀疏和密集数据混合在一起，产生的场景的三维表示可以呈现三维可视化的准确度和丰富性之间的平衡。从而，以这种方式，可以对于每个特定的应用根据所期望的FVV的质量创建不同类型的FVV。
当前的系统和方法可用于多种应用。在实施例中，利用主动立体生成的FVV可用于电话会议应用。例如，使用多个主动IR立体模块来生成电话会议的FVV可允许在分散地点的人有效地感觉像是他们都在同一房间中一样。
在另一实施例中，可以将当前的系统和方法用于游戏应用。例如，使用多个主动IR立体模块生成FVV可以允许对来自不同的地点一起玩游戏的多个人的准确的三维渲染。由主动IR立体模块捕获的动态实时数据可用于创建增强的现实体验，其中玩游戏的人可以虚拟地看见来自不同的地点玩游戏的其它人的三维图像。游戏应用的用户还可以在FVV回放期间控制观看窗口以通过空间和时间导航。FVV还可用于教练体育运动，例如潜水，其中可以通过叠加在不同的时刻或由不同的运动员完成的动作来比较动作。
尽管已经用具体结构特征和/或方法行为的语言对主题进行了描述，但是应当理解的是，所附的权利要求所限定的主题不必然限于上述的具体特征或行为。而是，公开了上述具体特征和行为作为实施权利要求的示例形式。
根据本发明的实施例，提供了如下的方案：
1.一种利用主动红外(IR)立体模块生成视频的方法，包括：
利用所述主动IR立体模块计算场景的深度图，其中计算所述深度图包括：
将IR圆点图样投影到所述场景上；
从两个或更多个同步的IR摄像机中的每个IR摄像机捕获立体图像；
检测所述立体图像内的所述IR圆点图样的多个圆点；
计算对应于所述立体图像中的所述IR圆点图样的所述多个圆点的多个特征描述符；
基于每个所述立体图像中的对应特征描述符的比较来计算所述立体图像之间的视差图；以及
利用所述视差图生成所述场景的深度图；
利用所述深度图在三维空间中生成所述场景的点云；
生成所述点云的网格；
从所述点云的所述网格生成所述场景的投影纹理图；以及
利用所述投影纹理图生成所述场景的所述视频。
2.根据附记1所述的方法，其中所述视频为自由视点视频(FVV)。
3.根据附记1所述的方法，包括：
在显示装置上显示所述视频；以及
使得能够由用户在视频回放期间进行时空导航。
4.根据附记1所述的方法，包括利用一个或更多个IR投影仪、一个或更多个同步的RGB摄像机、或者其任意组合从两个或更多个同步的IR摄像机中的每个IR摄像机捕获立体图像。
5.根据附记1所述的方法，包括：
对两个或更多个同步的主动IR立体模块中的每个主动IR立体模块计算深度图；
对所述两个或更多个同步的主动IR立体模块中的每个主动IR立体模块在三维空间中生成所述场景的点云；
组合通过所述两个或更多个同步的主动IR立体模块生成的点云；
创建所组合的点云的网格；以及
通过在所述网格上创建投影纹理图生成所述视频。
6.根据附记5所述的方法，其中对两个或更多个同步的主动IR立体模块中的每个主动IR立体模块计算所述深度图包括：
将IR圆点图样投影到场景上；
生成用于同步锁相所述两个或更多个同步的主动IR立体模块的同步信号；以及
确认所述两个或更多个同步的主动IR立体模块中的每个主动IR立体模块已经接收到所述同步信号，并且，如果接收到确认，则对所述两个或更多个同步的主动IR立体模块中的每个主动IR立体模块生成所述场景的所述深度图。
7.根据附记1所述的方法，其中利用所述深度图在三维空间中生成所述场景的所述点云包括将所述深度图转变成三维点云。
8.根据附记1所述的方法，其中生成所述点云的所述网格包括将所述点云转变成作为所述场景中的对象的三维表示的几何网格。
9.根据附记1所述的方法，其中生成所述场景的所述投影纹理图包括通过将来自所述主动IR立体模块的RGB图像数据投影到所述点云的所述网格上生成所述投影纹理图。
10.根据附记1所述的方法，其中通过创建所述投影纹理图生成所述视频包括利用基于图像的渲染方法来组合所述投影纹理图与真实图像，以创建真实图像之间的合成视点。
11.一种用于利用主动红外(IR)立体模块生成视频的系统，包括：
深度图计算模块，所述深度图计算模块被配置为：利用所述主动IR立体模块计算场景的深度图，其中所述主动IR立体模块包括三个或更多个同步的摄像机和IR圆点图样投影仪以将IR原点图样投影到所述场景上；并且基于每个所述立体图像中的IR圆点图样的对应特征描述符的比较来计算所述场景的立体图像之间的视差图；
点云生成模块，所述点云生成模块被配置为利用所述深度图在三维空间中生成所述场景的点云；
点云网格生成模块，所述点云网格生成模块被配置为生成所述点云的网格；
投影纹理图生成模块，所述投影纹理图生成模块被配置为从所述点云的所述网格生成所述场景的投影纹理图；以及
视频生成模块，所述视频生成模块被配置为利用所述投影纹理图生成所述场景的所述视频。
12.根据附记11所述的系统，包括：
视频显示模块，所述视频显示模块被配置为在显示装置上显示所述视频；以及
视频回放模块，所述视频回放模块被配置为使得能够由用户在视频回放期间进行时空导航。
13.根据附记11所述的系统，其中所述系统包括用于在房间中利用一个或更多个主动IR立体模块来生成实时视频的会议系统。
14.根据附记11所述的系统，其中所述系统包括用于利用连接到游戏装置的一个或更多个主动IR立体模块来生成实时视频的游戏系统。
15.根据附记14所述的系统，其中所述三个或更多个同步的摄像机包括两个或更多个同步的IR摄像机和一个或更多个同步的RGB摄像机。
16.一个或更多个非易失性计算机可读存储介质，用于存储计算机可读指令，所述计算机可读指令在由一个或更多个处理装置执行时提供用于利用主动红外(IR)立体模块来生成视频的立体模块系统，所述计算机可读指令包括代码，所述代码被配置为：
利用所述主动IR立体模块计算场景的深度图，其中
计算所述深度图包括：
将IR圆点图样投影到所述场景上；
从两个或更多个同步的IR摄像机中的每个IR摄像机捕获立体图像；
检测所述立体图像内的多个圆点；
计算对应于所述立体图像中的所述多个圆点的多个特征描述符；
计算所述立体图像之间的视差图；以及
利用所述视差图生成所述场景的深度图；
利用所述深度图在三维空间中生成所述场景的点云；
生成所述点云的网格；
从所述点云的所述网格生成所述场景的投影纹理图；以及
通过组合所述投影纹理图与真实图像生成所述视频。
17.根据附记16所述的非易失性计算机可读存储介质，其中所述计算机可读指令包括被进一步配置为进行如下步骤的代码：
在显示装置上显示所述视频；以及
使得能够由用户在视频回放期间进行时空导航。
18.根据附记16所述的非易失性计算机可读存储介质，其中所述主动IR立体模块包括两个或更多个同步的IR摄像机、一个或更多个同步的RGB摄像机、或者其任意组合。
19.根据附记16所述的非易失性计算机可读存储介质，其中所述计算机可读指令包括被进一步配置为进行以下步骤的代码：
对两个或更多个同步的主动IR立体模块中的每个主动IR立体模块计算深度图；
对所述两个或更多个同步的主动IR立体模块中的每个主动IR立体模块在三维空间中生成所述场景的点云；
组合通过所述两个或更多个同步的主动IR立体模块生成的点云；
创建所组合的点云的网格；以及
通过创建所述场景的投影纹理图生成所述视频。
20.根据附记19所述的非易失性计算机可读存储介质，其中被配置为对所述两个或更多个同步的主动IR立体模块中的每个主动IR立体模块计算所述深度图的代码还包括被配置为进行如下步骤的代码：
将IR圆点图样投影到场景上；
生成用于同步锁相所述两个或更多个同步的主动IR立体模块的同步信号；以及
确认所述两个或更多个同步的主动IR立体模块中的每个主动IR立体模块已经接收到所述同步信号，并且，如果接收到确认，则对所述两个或更多个同步的主动IR立体模块中的每个主动IR立体模块生成所述场景的所述深度图。

Claims (10)

1.一种利用主动红外(IR)立体模块(146,702,704)生成视频的方法，包括：
利用所述主动IR立体模块(146,702,704)计算(602)场景(708)的深度图(112)，其中计算所述深度图(112)包括：
将IR圆点图样(726)投影(302)到所述场景(708)上；
从两个或更多个同步的IR摄像机(144,710,712,714,716,718,720)中的每个IR摄像机捕获(304)立体图像；
检测(306)所述立体图像内的所述IR圆点图样(726)的多个圆点；
计算(308)对应于所述立体图像中的所述IR圆点图样(726)的所述多个圆点的多个特征描述符；
基于每个所述立体图像中的对应特征描述符的比较来计算(310)所述立体图像之间的视差图；以及
利用所述视差图生成(312)所述场景(708)的深度图(112)；
利用所述深度图(112)在三维空间中生成(604)所述场景(708)的点云(114)；
生成(606)所述点云(114)的网格；
从所述点云(114)的所述网格生成(608)所述场景(708)的投影纹理图(116)；以及
利用所述投影纹理图(116)生成(610)所述场景(708)的所述视频。
2.根据权利要求1所述的方法，其中所述视频为自由视点视频(FVV)(120)。
3.根据权利要求1所述的方法，包括：
在显示装置(130)上显示所述视频；以及
使得能够由用户在视频回放期间进行时空导航。
4.根据权利要求1所述的方法，包括利用一个或更多个IR投影仪(140,722,724)、一个或更多个同步的RGB摄像机、或者其任意组合从两个或更多个同步的IR摄像机(144,710,712,714,716,718,720)中的每个IR摄像机捕获立体图像。
5.根据权利要求1所述的方法，包括：
对两个或更多个同步的主动IR立体模块(146,702,704)中的每个主动IR立体模块计算(902)深度图(112)；
对所述两个或更多个同步的主动IR立体模块(146,702,704)中的每个主动IR立体模块在三维空间中生成(904)所述场景(708)的点云(114)；
组合(906)通过所述两个或更多个同步的主动IR立体模块(146,702,704)生成的点云(114)；
创建(908)所组合的点云的网格；以及
通过在所述网格上创建投影纹理图(116)生成(910)所述视频。
6.根据权利要求5所述的方法，其中对两个或更多个同步的主动IR立体模块(146,702,704)中的每个主动IR立体模块计算所述深度图包括：
将IR圆点图样(726)投影到场景(708)上；
生成用于同步锁相所述两个或更多个同步的主动IR立体模块(146,702,704)的同步信号；以及
确认所述两个或更多个同步的主动IR立体模块(146,702,704)中的每个主动IR立体模块已经接收到所述同步信号，并且，如果接收到确认，则对所述两个或更多个同步的主动IR立体模块(146,702,704)中的每个主动IR立体模块生成所述场景(708)的所述深度图(112)。
7.根据权利要求1所述的方法，其中利用所述深度图(112)在三维空间中生成所述场景(708)的所述点云(114)包括将所述深度图(112)转变成三维点云(114)。
8.根据权利要求1所述的方法，其中生成所述点云(114)的所述网格包括将所述点云(114)转变成作为所述场景(708)中的对象的三维表示的几何网格。
9.一种用于利用主动红外(IR)立体模块(146,702,704)生成视频的系统，包括：
深度图计算模块(1006)，所述深度图计算模块(1006)被配置为：利用所述主动IR立体模块(146,702,704)计算场景(708)的深度图(112)，其中所述主动IR立体模块(146,702,704)包括三个或更多个同步的摄像机(144,710,712,714,716,718,720)和IR圆点图样投影仪(140,722,724)以将IR原点图样投影到所述场景(708)上；并且基于每个所述立体图像中的IR圆点图样的对应特征描述符的比较来计算所述场景(708)的立体图像之间的视差图；
点云生成模块(1008)，所述点云生成模块被配置为利用所述深度图(112)在三维空间中生成所述场景(708)的点云(114)；
点云网格生成模块(1010)，所述点云网格生成模块被配置为生成所述点云(114)的网格；
投影纹理图生成模块(1012)，所述投影纹理图生成模块被配置为从所述点云(114)的所述网格生成所述场景(708)的投影纹理图(116)；以及
视频生成模块(1014)，所述视频生成模块被配置为利用所述投影纹理图(116)生成所述场景(708)的所述视频。
10.根据权利要求9所述的系统，包括：
视频显示模块，所述视频显示模块被配置为在显示装置上显示所述视频；以及
视频回放模块，所述视频回放模块被配置为使得能够由用户在视频回放期间进行时空导航。
CN201210387178.7A 2011-10-13 2012-10-12 利用立体成像生成自由视点视频 Expired - Fee Related CN102938844B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/273,213 2011-10-13
US13/273,213 US20130095920A1 (en) 2011-10-13 2011-10-13 Generating free viewpoint video using stereo imaging

Publications (2)

Publication Number Publication Date
CN102938844A CN102938844A (zh) 2013-02-20
CN102938844B true CN102938844B (zh) 2015-09-30

Family

ID=47697710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210387178.7A Expired - Fee Related CN102938844B (zh) 2011-10-13 2012-10-12 利用立体成像生成自由视点视频

Country Status (5)

Country Link
US (1) US20130095920A1 (zh)
EP (1) EP2766875A1 (zh)
CN (1) CN102938844B (zh)
HK (1) HK1182248A1 (zh)
WO (1) WO2013056188A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013078479A1 (en) * 2011-11-23 2013-05-30 Thomson Licensing Method and system for three dimensional visualization of disparity maps
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US9571810B2 (en) 2011-12-23 2017-02-14 Mediatek Inc. Method and apparatus of determining perspective model for depth map generation by utilizing region-based analysis and/or temporal smoothing
US20130162763A1 (en) * 2011-12-23 2013-06-27 Chao-Chung Cheng Method and apparatus for adjusting depth-related information map according to quality measurement result of the depth-related information map
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US9204130B2 (en) * 2013-02-06 2015-12-01 Caterpillar Inc. Method and system for creating a three dimensional representation of an object
CN105164549B (zh) * 2013-03-15 2019-07-02 优步技术公司 用于机器人的多传感立体视觉的方法、系统和设备
US9191643B2 (en) 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
WO2015098288A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 画像処理装置、および画像処理方法
US10643343B2 (en) * 2014-02-05 2020-05-05 Creaform Inc. Structured light matching of a set of curves from three cameras
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
WO2015152829A1 (en) * 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
US10455212B1 (en) 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
EP3221851A1 (en) * 2014-11-20 2017-09-27 Cappasity Inc. Systems and methods for 3d capture of objects using multiple range cameras and multiple rgb cameras
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
TWI610250B (zh) * 2015-06-02 2018-01-01 鈺立微電子股份有限公司 監測系統及其操作方法
CN106937105B (zh) * 2015-12-29 2020-10-02 宁波舜宇光电信息有限公司 基于结构光的三维扫描装置及目标物体的3d图像建立方法
EP3249921A1 (en) * 2016-05-24 2017-11-29 Thomson Licensing Method, apparatus and stream for immersive video format
CN106844289A (zh) * 2017-01-22 2017-06-13 苏州蜗牛数字科技股份有限公司 基于手机摄像头扫描环境进行建模的方法
US11665308B2 (en) 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications
CN107071383A (zh) * 2017-02-28 2017-08-18 北京大学深圳研究生院 基于图像局部分割的虚拟视点合成方法
US10417810B2 (en) * 2017-05-31 2019-09-17 Verizon Patent And Licensing Inc. Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene
EP3419286A1 (en) * 2017-06-23 2018-12-26 Koninklijke Philips N.V. Processing of 3d image information based on texture maps and meshes
US10997786B2 (en) 2017-08-07 2021-05-04 Verizon Patent And Licensing Inc. Systems and methods for reconstruction and rendering of viewpoint-adaptive three-dimensional (3D) personas
US11095854B2 (en) 2017-08-07 2021-08-17 Verizon Patent And Licensing Inc. Viewpoint-adaptive three-dimensional (3D) personas
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
US11012676B2 (en) 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content
US10516876B2 (en) 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging
US10949700B2 (en) * 2018-01-10 2021-03-16 Qualcomm Incorporated Depth based image searching
US10771766B2 (en) * 2018-03-30 2020-09-08 Mediatek Inc. Method and apparatus for active stereo vision
WO2019191819A1 (en) * 2018-04-05 2019-10-10 Efficiency Matrix Pty Ltd Computer implemented structural thermal audit systems and methods
CN109063567B (zh) * 2018-07-03 2021-04-13 百度在线网络技术（北京）有限公司 人体识别方法、装置及存储介质
CN109410272B (zh) * 2018-08-13 2021-05-28 国网陕西省电力公司电力科学研究院 一种变压器螺母识别与定位装置及方法
US10699430B2 (en) 2018-10-09 2020-06-30 Industrial Technology Research Institute Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof
US11460931B2 (en) 2018-10-31 2022-10-04 Hewlett-Packard Development Company, L.P. Recovering perspective distortions
JP7211835B2 (ja) * 2019-02-04 2023-01-24 ｉ－ＰＲＯ株式会社 撮像システムおよび同期制御方法
CN111866484B (zh) * 2019-04-30 2023-06-20 华为技术有限公司 点云编码方法、点云解码方法、装置及存储介质
US11706402B2 (en) * 2019-05-31 2023-07-18 Nippon Telegraph And Telephone Corporation Image generation apparatus, image generation method, and program
CN113538558B (zh) * 2020-04-15 2023-10-20 深圳市光鉴科技有限公司 基于ir图的体积测量优化方法、系统、设备及存储介质
CN111939563B (zh) * 2020-08-13 2024-03-22 北京像素软件科技股份有限公司 目标锁定方法、装置、电子设备及计算机可读存储介质
CN112614190B (zh) * 2020-12-14 2023-06-06 北京淳中科技股份有限公司 投影贴图的方法及装置
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060592A (zh) * 2006-04-19 2007-10-24 中国科学院自动化研究所 同视场多光谱视频流的获取装置和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122062A (en) * 1999-05-03 2000-09-19 Fanuc Robotics North America, Inc. 3-D camera
JP3807477B2 (ja) * 1999-10-04 2006-08-09 富士写真フイルム株式会社 情報記録装置及びその通信方法、電子カメラ、並びに通信システム
US6701006B2 (en) * 2002-06-26 2004-03-02 Nextengine, Inc. Apparatus and method for point cloud assembly
US7149368B2 (en) * 2002-11-19 2006-12-12 Microsoft Corporation System and method for synthesis of bidirectional texture functions on arbitrary surfaces
US7747067B2 (en) * 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US8335357B2 (en) * 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus
US7256899B1 (en) * 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US7909248B1 (en) * 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
WO2009101153A2 (en) * 2008-02-13 2009-08-20 Ubisoft Entertainment S.A. Live-action image capture
EP2430614B1 (de) * 2009-05-11 2013-09-18 Universität zu Lübeck Verfahren zur echtzeitfähigen, rechnergestützten analyse einer eine veränderliche pose enthaltenden bildsequenz
US8773514B2 (en) * 2009-08-27 2014-07-08 California Institute Of Technology Accurate 3D object reconstruction using a handheld device with a projected light pattern
FR2950138B1 (fr) * 2009-09-15 2011-11-18 Noomeo Procede de numerisation tridimensionnelle a recalage rapide
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060592A (zh) * 2006-04-19 2007-10-24 中国科学院自动化研究所 同视场多光谱视频流的获取装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Virtualized Reality: Perspectives on 4D Digitization of Dynamic Events;Takeo Kanade, P.J.Naryanan;《IEEE Computer Graphics and Applications》;20070630;第32-40页 *

Also Published As

Publication number Publication date
WO2013056188A1 (en) 2013-04-18
EP2766875A4 (en) 2014-08-20
EP2766875A1 (en) 2014-08-20
CN102938844A (zh) 2013-02-20
US20130095920A1 (en) 2013-04-18
HK1182248A1 (zh) 2013-11-22

Similar Documents

Publication Publication Date Title
CN102938844B (zh) 利用立体成像生成自由视点视频
US11687151B2 (en) Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
US9237330B2 (en) Forming a stereoscopic video
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN102982530A (zh) 生成深度图
US9007422B1 (en) Method and system for mutual interaction using space based augmentation
Koyama et al. Live mixed-reality 3d video in soccer stadium
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
TWI567659B (zh) 照片表示視圖的基於主題的增強
US9041819B2 (en) Method for stabilizing a digital video
US20110306413A1 (en) Entertainment device and entertainment methods
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
JPWO2015098807A1 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
CN103548333A (zh) 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
CN106843790B (zh) 一种信息展示系统和方法
US20230281912A1 (en) Method and system for generating a target image from plural multi-plane images
US20200372671A1 (en) Image processing
Ohta et al. Live 3D video in soccer stadium
KR102521221B1 (ko) 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램
JP5422538B2 (ja) 画像処理装置、表示装置、方法およびそのプログラム
TW201928761A (zh) 影像擷取之設備及方法
CN116863107A (zh) 增强现实提供方法、装置以及非暂时性计算机可读介质
KR20200117685A (ko) 가상 객체 인식 방법, 상기 가상 객체를 이용한 증강 현실 콘텐츠 제공 방법 및 이를 위한 증강 방송 시스템
Louis et al. Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1182248

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150612

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150612

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1182248

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150930

Termination date: 20191012