CN109791704A - 用于自由运行fvv应用的基于多层uv映射的纹理渲染 - Google Patents

用于自由运行fvv应用的基于多层uv映射的纹理渲染 Download PDF

Info

Publication number
CN109791704A
CN109791704A CN201780061344.5A CN201780061344A CN109791704A CN 109791704 A CN109791704 A CN 109791704A CN 201780061344 A CN201780061344 A CN 201780061344A CN 109791704 A CN109791704 A CN 109791704A
Authority
CN
China
Prior art keywords
texture
mapping
free viewpoint
stream
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780061344.5A
Other languages
English (en)
Other versions
CN109791704B (zh
Inventor
广田洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109791704A publication Critical patent/CN109791704A/zh
Application granted granted Critical
Publication of CN109791704B publication Critical patent/CN109791704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明描述了一种可伸缩纹理数据表示，其通过使用时间一致的纹理UV映射而允许用于遮蔽的空间‑时间纹理合成，通过使用附加的多层纹理UV映射而允许用于无缝/高光颜色的视图相关的纹理映射，并且通过使用额外的流UV映射而允许用于自然映射的视图相关的纹理对准。

Description

用于自由运行FVV应用的基于多层UV映射的纹理渲染
相关申请的交叉引用
本申请在35U.S.C.§119(e)下要求2016年10月7日提交的标题为“MULTI-LAYER UVMAP BASED TEXTURE RENDERING FOR FREE-RUNNING FVV APPLICATIONS”的美国临时专利申请序列号62/405,696和2016年11月28日提交的标题为“MULTI-LAYER UV MAP BASEDTEXTURE RENDERING FOR FREE-RUNNING FVV APPLICATIONS”的美国临时专利申请序列号62/426,739的优先权，二者出于所有目的通过引用的方式被全文合并在此。
技术领域
本发明涉及三维图形学。更具体来说，本发明涉及稀疏视图多视图三维图形学。
背景技术
自由视点视频(FVV)是允许用户在任何时间改变视频的视点的视频。举例来说，正在观看体育视频的用户可以把从本垒板后方的视角观看体育视频改变到从外野的视角。这就允许用户/观看者从独有的视角观看内容。
之前的纹理合成方面的尝试利用了单层纹理UV映射，但是随后通过合并来自不同摄影机的纹理观察到纹理接缝或低对比度颜色。纹理合成方面的其他尝试在表面上全局对准来自不同摄影机的纹理，并且很容易观察到不自然地伸缩的纹理。
发明内容
本文中描述了一种可伸缩纹理数据表示，其通过使用时间一致的纹理UV映射而允许用于遮蔽(occlusion)的空间-时间纹理合成，通过使用附加的多层纹理UV映射而允许用于无缝/高光(specular)颜色的视图相关的纹理映射，并且通过使用额外的流UV映射而允许用于自然映射的视图相关的纹理对准。
在一个方面中，一种编程在设备的存储器中的用以在自由视点视频内容中的对象上渲染纹理的方法包括在UV映射域内实施图像修复(inpainting)，利用多层纹理UV映射组合各个纹理片段，并且使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于对象的时间一致的纹理。在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。利用多层纹理UV映射包括采用加权和来组合各个纹理片段。使用流UV映射包括生成并且存储纹理的全局对准信息。实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。所述方法还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。所述方法还包括使用最多10个视频摄影机来采集自由视点视频内容。所述方法还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
在另一个方面中，一种装置包括：用于存储应用的非瞬时性存储器，所述应用用于在UV映射域内实施图像修复，利用多层纹理UV映射组合各个纹理片段，并且使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于对象的时间一致的纹理；以及耦合到存储器的处理器，所述处理器被配置成对所述应用进行处理。在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。利用多层纹理UV映射包括采用加权和来组合各个纹理片段。使用流UV映射包括生成并且存储纹理的全局对准信息。实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。所述装置还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。所述装置还包括使用最多10个视频摄影机来采集自由视点视频内容。所述装置还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
在另一个方面中，一种系统包括：分别被配置成捕获自由视点视频内容的多个摄影机设备；第一计算设备，其被配置成在UV映射域内实施图像修复，利用多层纹理UV映射组合各个纹理片段，并且使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于自由视点视频内容中的对象的时间一致的纹理；以及第二计算设备，其被配置成在该第二计算设备上显示自由视点视频内容。在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。利用多层纹理UV映射包括采用加权和来组合各个纹理片段。使用流UV映射包括生成并且存储纹理的全局对准信息。实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。所述系统还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。所述系统还包括使用最多10个视频摄影机来采集自由视点视频内容。所述系统还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
附图说明
图1示出了根据一些实施例的基于多层UV映射的纹理渲染方法的图示。
图2示出了根据一些实施例的通过基于UV映射的合成所解决的三个问题的图像。
图3示出了根据一些实施例的纹理UV映射。
图4示出了根据一些实施例的UV映射域内的图像修复的图示。
图5示出了根据一些实施例的视图独立的纹理映射对照视图相关的纹理映射(用于纹理合成的单层对照多层UV映射)的图示。
图6示出了根据一些实施例的使用视图相关的纹理对准来解决不正确形状问题的图示。
图7示出了根据一些实施例的被配置成实施基于UV映射的合成的示例性计算设备的方块图。
图8示出了根据一些实施例的设备网络的图示。
具体实施方式
稠密视图3D视频捕获利用许多摄影机(例如40-100+)从许多不同的角度捕获内容。更具体来说，每一个摄影机之间的摄影机间距可能非常小(例如小于5度)。在稠密视图3D视频捕获中，处理与稀疏视图3D视频捕获相比是相对简单的，这是因为在稀疏视图中会发生在稠密视图3D视频捕获期间所不会出现的问题。举例来说，在使用稀疏视图3D视频捕获时，遮蔽的问题要大得多。
稀疏视图3D视频捕获使用少得多的摄影机从许多不同的角度捕获内容。举例来说，对于稠密视图3D视频捕获使用100个摄影机的相同空间，稀疏视图3D视频捕获可以使用10个或更少的摄影机。换句话说，摄影机之间的间距(在至少一个或每一个轴上)可以是45度或者甚至90度。
UV映射是把2D图像投影到3D模型的表面上以用于纹理映射的3D建模处理。由于X、Y和Z被用来标示模型空间中的3D对象的轴，因此U和V是2D纹理的轴。
本文中描述了一种可伸缩纹理数据表示，其通过使用时间一致的纹理UV映射而允许用于遮蔽的空间-时间纹理合成，通过使用附加的多层纹理UV映射而允许用于无缝/高光颜色的视图相关的纹理映射，并且通过使用额外的流UV映射而允许用于自然映射的视图相关的纹理对准。
关于各层的层叠，能够按照不同的方式生成各层，比如按照对象、按照反射率或者其他方式。此外，由于所述方法的可伸缩性，根据情况(例如带宽、处理能力)能够选择一层或几层。
图1示出了根据一些实施例的基于多层纹理UV映射的纹理渲染方法的图示。在步骤100中，捕获内容。在步骤120中，对所捕获的内容进行处理。在步骤140中，传送经过处理的内容。在步骤160中，渲染所传送的内容。在步骤180中，显示所渲染的内容。
正如本文中所描述的那样，在步骤100中，使用稀疏视图3D视频摄影机捕获内容。举例来说，多个摄影机从多个不同的角度捕获3D视频，比如从对象的前方、后方、左侧和右侧进行捕获。
在步骤120中，对所捕获的内容进行处理。处理包括几何处理和纹理处理。几何处理包括重建360度形状(例如使用可视外壳)和时间一致性(例如网格跟踪)。360度形状重建能够利用具有3D稠密化的多视图立体或者任何其他类型的形状生成，比如使用网格模板，基于所采集的内容比较和选择模板，并且基于所采集的内容的形状使用多个视图修改模板。网格跟踪能够包括任何类型的网格跟踪，比如概率网格跟踪或者在非刚性形变中对网格进行时间跟踪，或者如在出于所有目的通过引用的方式被全文合并在此的标题为“ROBUST MESH TRACKING AND FUSION BY USING PART-BASED KEY-FRAMES AND PRIORI-MODEL”的美国专利申请号案号Sony-69500中所描述的那样。在授予Collet等人(MicrosoftCorp)的“High-Quality Streamable Free-Viewpoint Video”中描述了网格跟踪实现方式的另一个实例，其中教导了估计每一帧作为关键帧的可行性分数，选择最有希望的非跟踪帧作为关键帧，并且实施非线性配准以把关键帧网格配合到相邻的帧，重复所述方法直到每一帧都与关键帧相关联。网格跟踪对于能够通过把网格序列分离成关键帧和预测帧而实施的网格压缩是很重要的，其中关键帧网格包括几何和连接性信息，并且几何信息包括顶点位置和UV坐标。纹理处理能够利用空间-时间合成，比如基于UV映射的合成。
正如本文中所描述的那样，通过以下步骤实施基于UV映射的合成：在UV映射域内实施图像修复以解决遮蔽，使用多层纹理UV映射和加权方案以避免明显的纹理接缝，并且利用流UV映射进行视图相关的对准以防止不正确的形状。
在步骤140中，传送(例如流送)经过处理的内容。传送经过处理的内容能够包括任何类型的3D编码以用于几何和纹理的紧凑数据表示。在一些实施例中，经过处理的内容的传送包括从第一设备到第二设备编码和解码内容。
在步骤160中，渲染所传送的内容。举例来说，渲染设备使用经过处理的形状信息和纹理信息来渲染FVV视频。
在步骤180中，显示所渲染的FVV视频(例如在电视上或者在虚拟现实头戴式耳机上)。
在一些实施例中，实施更少的或附加的步骤。在一些实施例中，各个步骤的顺序被修改。
在一些实施例中，本文中所描述的步骤发生在同一个设备上，并且在一些实施例中，所述步骤发生在分开的设备上(例如捕获设备、处理设备、传送设备、渲染设备和显示设备)。在另一个实例中，捕获设备包括多个3D摄影机，处理设备是服务器或计算设备，并且渲染/显示设备是电视。
图2示出了根据一些实施例的通过基于UV映射的合成所解决的三个问题的图像。基于UV映射的合成解决了FVV内容中的对象的遮蔽、纹理接缝和不正确形状。由于FVV内容是使用稀疏地间隔的摄影机所捕获的，因此遮蔽(例如对象的某个方面被遮挡或者不可见)的几率大大增加。在把来自不同摄影机的多个纹理缝合在一起时，纹理接缝是非常明显并且有碍美观的。此外，由于种种误差，对象的形状可能是不正确的，因此需要在表面上将来自不同摄影机的纹理彼此全局地对准，否则所述纹理会发生错位。但是即使进行了全局对准，仍然会观察到不自然地拉伸的纹理。
为了解决遮蔽问题，利用了图像修复(例如填充未被任何摄影机捕获的区域)。
图3示出了根据一些实施例的纹理UV映射。UV映射是通过把3D形状解绕(unwrapping)到2D域上而生成的。UV解绕器的一个实例是Microsoft的UVAtlas。基于这些对应性，随后将所捕获的图像卷曲(warp)到被称作纹理UV映射的所生成的该UV映射上。使用纹理UV映射的一个好处是所有纹理在2D域内总是可访问的。这就允许使用任何种类的传统2D图像修复技术。
图4示出了根据一些实施例的UV映射域内的图像修复的图示。在纹理UV映射上，通过周围的纹理能够很容易地对被遮蔽的纹理进行空间图像修复，这也被称作空间合成。此外，通过使用时间配准的网格(例如随着时间移动的形状)，时间合成也是可能的，这是因为纹理随着时间保持在相同的UV位置处。时间合成是使用在早前的时间和后来的时间所捕获的纹理以用于被遮蔽的纹理的图像修复的另一种说法。举例来说，在时间0处采集的纹理UV映射包括当人在站立时所采集的纹理，在时间1处采集的纹理UV映射包括当人在做手倒立时所采集的纹理，并且在时间2处采集的纹理UV映射包括当人再次站立时所采集的纹理。通过使用空间合成和时间合成，来自纹理UV映射的纹理和/或纹理UV映射能够被用来对纹理UV映射中的任何被遮蔽的(缺失的)纹理进行图像修复(例如填充)。
图5示出了根据一些实施例的视图独立的纹理映射对照视图相关的纹理映射(用于纹理合成的单层对照多层UV映射)的图示。通过使用单层UV映射，来自每一个摄影机的纹理被缝合在一起，从而生成完整的面部(或其他对象)。但是如图所示，在每一个摄影机之间存在差异，该差异影响被缝合在一起的每一个纹理块的外观(例如颜色)。其结果是，每一个纹理块之间的接缝是明显的。
通过使用多层纹理UV映射，存在来自每一个摄影机的多个层(例如颜色)，并且通过使用多个层的加权和，能够将纹理块之间的差异最小化，从而使得纹理接缝是不明显的。摄影机的加权能够取决于用于渲染的虚拟摄影机被配置/定位在何处(＝视图相关)。举例来说，如图所示，虚拟摄影机被定位在摄影机0附近，因此摄影机0的权重大于摄影机1，并且摄影机1的权重大于摄影机2，这是因为摄影机2是最远的摄影机。虚拟摄影机能够被定位在任何位置。在一些实施例中，用户控制虚拟摄影机被定位在何处。举例来说，如果用户选择从特定位置观看FVV内容，该位置就是虚拟摄影机的位置。在一些实施例中，(例如由系统)自动确定虚拟摄影机位置。举例来说，计算机系统确定从对象的侧面示出FVV内容是最佳的，因为这样允许观看者看到对象的整体，并且计算机系统从作为虚拟摄影机的位置的侧面角度示出视频。关于加权，能够通过任何方式来使用加权。举例来说，将多层纹理UV映射乘以不同的权重，从而提供其对象的外观不具有明显纹理接缝的纹理的加权和。虽然对于每一个摄影机指派了一层，但是能够使用任何种类的层指派。举例来说，基于可见性的层指派把来自第N个最佳可见摄影机的纹理存储到第N层，这意味着每一层包括来自多个摄影机的纹理。Volino等人的“Optimal Representation of Multi-View Video”也描述了多层纹理映射视频，其使用视图之间的基于表面的光流对准来校正几何重建和摄影机校准中的误差。Volino的方法利用重建的并且时间对准的网格序列取得摄影机视图的集合，其中网格重建是使用多视图重建和表面对准技术而实施的。
图6示出了根据一些实施例的使用视图相关的纹理对准来解决不正确形状问题的图示。通过使用流UV映射，当把纹理放置在形状上时，纹理被对准，从而使其适当地覆盖形状以便最小化畸变的可见性。通过在生成纹理UV映射时把全局对准信息存储到UV映射来利用流UV映射。全局对准信息表明每一个纹理将被定位在何处。在一些实施例中，全局对准信息存储每一个纹理的坐标。在一些实施例中，全局对准信息表明每一个纹理被定位在哪一个纹理的旁边。全局对准信息表明如何把纹理拉伸回到原始位置。全局对准信息能够通过任何方式被确定，比如分析来自每一个摄影机的所捕获的纹理信息，包括坐标/位置信息，并且把该信息存储在UV映射中，从而生成包括纹理信息和全局坐标/对准信息的流UV映射。基于虚拟摄影机位置，能够对摄影机视图应用权重，其中更靠近虚拟摄影机的摄影机具有更高权重(＝视图相关)，并且能够使用加权流UV映射。针对纹理优化加权流UV映射。举例来说，权重被应用(例如相乘)到存储在流UV映射中的信息，从而生成经过伸缩的纹理UV映射，其能够被应用于形状从而使其看起来像是适当地定形的FVV对象(例如形状仍然是不准确的，但是经过伸缩的纹理隐藏不准确处)。
图7示出了根据一些实施例的被配置成实施基于UV映射的合成的示例性计算设备的方块图。计算设备700能够被用来采集、存储、计算、处理、传送和/或显示例如图像和视频(例如FVV)之类的信息。计算设备700能够实施任何基于UV映射的合成方面，比如捕获、处理、传送、渲染和/或显示。一般来说，适合于实施计算设备700的硬件结构包括网络接口702、存储器704、处理器706、(多个)I/O设备708、总线710以及存储设备712。只要选择具有足够速度的适当的处理器，则关于处理器的选择并不是至关重要的。存储器704能够是本领域内已知的任何传统的计算机存储器。存储设备712能够包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清晰度盘/驱动器、ultra-HD(超高清晰度)驱动器、闪存卡或者任何其他存储设备。计算设备700能够包括一个或多个网络接口702。网络接口的一个实例包括连接到以太网或其他类型的LAN的网卡。(多个)I/O设备708能够包括以下各项当中的一项或多项：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口以及其他设备。被用来实施基于UV映射的合成的(多个)基于UV映射的合成应用730可能被存储在存储设备712和存储器704中，并且按照应用通常被处理的那样被处理。比图7中示出的更多或更少的组件能够被包括在计算设备700中。在一些实施例中，包括基于UV映射的合成硬件720。虽然图7中的计算设备700包括用于基于UV映射的合成的应用730和硬件720，但是基于UV映射的合成能够在硬件、固件、软件或者其任意组合中被实施在计算设备上。例如在一些实施例中，基于UV映射的合成应用730被编程在存储器中，并且使用处理器来执行。在另一个实例中，在一些实施例中，基于UV映射的合成硬件720是包括特别被设计成实施基于UV映射的合成的门的已编程硬件逻辑。
在一些实施例中，(多个)基于UV映射的合成应用730包括几个应用和/或模块。在一些实施例中，模块还包括一个或多个子模块。在一些实施例中，能够包括更少的或附加的模块。
在一些实施例中，基于UV映射的合成硬件720包括摄影机组件，比如透镜、图像传感器和/或任何其他摄影机组件。
适当的计算设备的实例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏机、数字摄影机、数字摄录一体机、摄影机电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频盘写入器/播放器(例如DVD写入器/播放器、高清晰度盘写入器/播放器、超高清晰度盘写入器/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能首饰(例如智能手表)或者任何其他适当的计算设备。
图8示出了根据一些实施例的设备网络的图示。多个摄影机800被利用来采集3D/FVV视频内容。视频内容在一个或多个处理器设备802处被处理(包括图像修复、利用多层纹理UV映射、使用流UV映射)。经过处理的内容通过网络804(例如因特网、蜂窝网络或者任何其他网络)被传送/流送到一个或多个渲染器/显示设备806。在一些实施例中，内容在没有网络的情况下被直接传送到一个或多个渲染器/显示设备806。在一些实施例中，渲染器设备和显示设备是分开的设备。设备网络当中的一个或多个设备(例如处理器设备、渲染器/显示设备)被配置成实施本文中所描述的基于UV映射的合成实现方式。一个或多个处理器设备802以及一个或多个渲染器/显示设备806能够是任何设备，比如服务器、个人计算机、智能电话、电视、游戏系统、虚拟现实系统或本文中所描述的任何设备或者本文中所描述的设备的任意组合。在一些实施例中，(多个)摄影机800实施基于UV映射的合成的附加方面，比如处理和/或渲染。
为了利用本文中所描述的基于UV映射的合成，使用例如数字摄影机/摄录一体机之类的设备来采集3D/FVV内容。基于UV映射的合成能够在用户辅助的情况下实施或者在没有用户参与的情况下自动实施，以便高效地并且准确地对于3D/FVV内容处理/应用纹理。随后，在重放所采集的内容时，显示出更加准确的内容(例如具有更少的伪像或者没有伪像)。
在操作中，基于UV映射的合成与之前的实现方式相比生成更加准确的内容，特别是时间一致的纹理。此外，基于UV映射的合成解决了关于纹理的三个重要问题：遮蔽、纹理接缝和不正确的形状。
用于自由运行FVV应用的基于多层UV映射的纹理渲染
1、一种编程在设备的存储器中的用以在自由视点视频内容中的对象上渲染纹理的方法，包括：
在UV映射域内实施图像修复；
利用多层纹理UV映射组合各个纹理片段；以及
使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于对象的时间一致的纹理。
2、条款1的方法，其中，在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。
3、条款1的方法，其中，利用多层纹理UV映射包括采用加权和来组合各个纹理片段。
4、条款1的方法，其中，使用流UV映射包括生成并且存储纹理的全局对准信息。
5、条款1的方法，其中，实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。
6、条款1的方法，还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。
7、条款1的方法，还包括使用最多10个视频摄影机来采集自由视点视频内容。
8、条款1的方法，还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
9、一种装置，包括：
用于存储应用的非瞬时性存储器，所述应用用于：
在UV映射域内实施图像修复；
利用多层纹理UV映射组合各个纹理片段；以及
使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于对象的时间一致的纹理；以及
耦合到存储器的处理器，所述处理器被配置成对所述应用进行处理。
10、条款9的装置，其中，在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。
11、条款9的装置，其中，利用多层纹理UV映射包括采用加权和来组合各个纹理片段。
12、条款9的装置，其中，使用流UV映射包括生成并且存储纹理的全局对准信息。
13、条款9的装置，其中，实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。
14、条款9的装置，还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。
15、条款9的装置，还包括使用最多10个视频摄影机来采集自由视点视频内容。
16、条款9的装置，还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
17、一种系统，包括：
分别被配置成捕获自由视点视频内容的多个摄影机设备；
第一计算设备，其被配置成：
在UV映射域内实施图像修复；
利用多层纹理UV映射组合各个纹理片段；以及
使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于自由视点视频内容中的对象的时间一致的纹理；以及
第二计算设备，其被配置成：
在该第二计算设备上显示自由视点视频内容。
18、条款17的系统，其中，在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。
19、条款17的系统，其中，利用多层纹理UV映射包括采用加权和来组合各个纹理片段。
20、条款17的系统，其中，使用流UV映射包括生成并且存储纹理的全局对准信息。
21、条款17的系统，其中，实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。
22、条款17的系统，还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。
23、条款17的系统，还包括使用最多10个视频摄影机来采集自由视点视频内容。
24、条款17的系统，还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
前面通过合并有细节的具体实施例描述了本发明，以便促进对于本发明的构造和操作的原理的理解。本文中在涉及到具体实施例及其细节时不意图限制所附权利要求的范围。本领域技术人员将很容易认识到，在不背离由权利要求定义的本发明的精神和范围的情况下，在为了进行说明所选择的实施例中可以作出其他多种修改。

Claims (24)

1.一种编程在设备的存储器中的用以在自由视点视频内容中的对象上渲染纹理的方法，包括：
在UV映射域内实施图像修复；
利用多层纹理UV映射组合各个纹理片段；以及
使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于对象的时间一致的纹理。
2.根据权利要求1所述的方法，其中，在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。
3.根据权利要求1所述的方法，其中，利用多层纹理UV映射包括采用加权和来组合各个纹理片段。
4.根据权利要求1所述的方法，其中，使用流UV映射包括生成并且存储纹理的全局对准信息。
5.根据权利要求1所述的方法，其中，实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。
6.根据权利要求1所述的方法，还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。
7.根据权利要求1所述的方法，还包括使用最多10个视频摄影机来采集自由视点视频内容。
8.根据权利要求1所述的方法，还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
9.一种装置，包括：
用于存储应用的非瞬时性存储器，所述应用用于：
在UV映射域内实施图像修复；
利用多层纹理UV映射组合各个纹理片段；以及
使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于对象的时间一致的纹理；以及
耦合到存储器的处理器，所述处理器被配置成对所述应用进行处理。
10.根据权利要求9所述的装置，其中，在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。
11.根据权利要求9所述的装置，其中，利用多层纹理UV映射包括采用加权和来组合各个纹理片段。
12.根据权利要求9所述的装置，其中，使用流UV映射包括生成并且存储纹理的全局对准信息。
13.根据权利要求9所述的装置，其中，实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。
14.根据权利要求9所述的装置，还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。
15.根据权利要求9所述的装置，还包括使用最多10个视频摄影机来采集自由视点视频内容。
16.根据权利要求9所述的装置，还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
17.一种系统，包括：
分别被配置成捕获自由视点视频内容的多个摄影机设备；
第一计算设备，其被配置成：
在UV映射域内实施图像修复；
利用多层纹理UV映射组合各个纹理片段；以及
使用流UV映射对形状应用纹理从而防止不正确的形状，其中通过实施图像修复、利用多层纹理UV映射以及使用流UV映射来产生用于自由视点视频内容中的对象的时间一致的纹理；以及
第二计算设备，其被配置成：
在该第二计算设备上显示自由视点视频内容。
18.根据权利要求17所述的系统，其中，在UV映射域内实施图像修复包括使用在不同的时间捕获的纹理填充用于对象的纹理的任何被遮蔽方面。
19.根据权利要求17所述的系统，其中，利用多层纹理UV映射包括采用加权和来组合各个纹理片段。
20.根据权利要求17所述的系统，其中，使用流UV映射包括生成并且存储纹理的全局对准信息。
21.根据权利要求17所述的系统，其中，实施图像修复、利用多层纹理UV映射以及使用流UV映射被包括在对于自由视点视频内容的处理中，所述处理还包括几何处理。
22.根据权利要求17所述的系统，还包括传送、渲染和显示自由视点视频内容，其中所述自由视点视频内容包括具有时间一致的纹理的对象。
23.根据权利要求17所述的系统，还包括使用最多10个视频摄影机来采集自由视点视频内容。
24.根据权利要求17所述的系统，还包括使用在每一个轴上与其他摄影机具有至少30度分隔的视频摄影机来采集自由视点视频内容。
CN201780061344.5A 2016-10-07 2017-10-03 用于自由运行fvv应用的基于多层uv映射的纹理渲染方法、系统和装置 Active CN109791704B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662405696P 2016-10-07 2016-10-07
US62/405,696 2016-10-07
US201662426739P 2016-11-28 2016-11-28
US62/426,739 2016-11-28
US15/723,021 US10453244B2 (en) 2016-10-07 2017-10-02 Multi-layer UV map based texture rendering for free-running FVV applications
US15/723,021 2017-10-02
PCT/US2017/054985 WO2018067601A1 (en) 2016-10-07 2017-10-03 Multi-layer uv map based texture rendering for free-running fvv applications

Publications (2)

Publication Number Publication Date
CN109791704A true CN109791704A (zh) 2019-05-21
CN109791704B CN109791704B (zh) 2023-05-23

Family

ID=61829024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780061344.5A Active CN109791704B (zh) 2016-10-07 2017-10-03 用于自由运行fvv应用的基于多层uv映射的纹理渲染方法、系统和装置

Country Status (4)

Country Link
US (1) US10453244B2 (zh)
JP (1) JP6845490B2 (zh)
CN (1) CN109791704B (zh)
WO (1) WO2018067601A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114556433A (zh) * 2019-10-21 2022-05-27 索尼集团公司 信息处理装置、3d数据生成方法及程序
WO2021200261A1 (ja) * 2020-04-03 2021-10-07 ソニーグループ株式会社 情報処理装置、生成方法、およびレンダリング方法
US11875462B2 (en) * 2020-11-18 2024-01-16 Adobe Inc. Systems for augmented reality authoring of remote environments
US11804007B2 (en) * 2021-03-31 2023-10-31 Disney Enterprises, Inc. 3D digital model surface rendering and conversion
US11978149B2 (en) * 2021-06-21 2024-05-07 The Weather Company, Llc UV map using weight painting
US20230306648A1 (en) * 2022-03-25 2023-09-28 Tencent America LLC Mesh parameterization with temporally correlated uv atlases

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074921A1 (en) * 2002-07-24 2006-04-06 Total Immersion Method and system enabling real time mixing of synthetic images and video images by a user
US20120242790A1 (en) * 2001-05-04 2012-09-27 Jared Sandrew Rapid workflow system and method for image sequence depth enhancement
CN103345771A (zh) * 2013-06-28 2013-10-09 中国科学技术大学 一种基于建模的图像高效渲染方法
US20140064614A1 (en) * 2012-09-06 2014-03-06 Cyberlink Corp. Systems and Methods for Multi-Resolution Inpainting
CN104574501A (zh) * 2014-12-19 2015-04-29 浙江大学 一种针对复杂三维场景的高质量纹理映射方法
CN105374065A (zh) * 2014-08-08 2016-03-02 想象技术有限公司 用于在渲染图像中使用的可重新照明纹理

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266068B1 (en) 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
GB2532003A (en) 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN104575501B (zh) 2015-01-19 2017-11-03 北京云知声信息技术有限公司 一种收音机语音操控指令解析方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242790A1 (en) * 2001-05-04 2012-09-27 Jared Sandrew Rapid workflow system and method for image sequence depth enhancement
US20060074921A1 (en) * 2002-07-24 2006-04-06 Total Immersion Method and system enabling real time mixing of synthetic images and video images by a user
US20140064614A1 (en) * 2012-09-06 2014-03-06 Cyberlink Corp. Systems and Methods for Multi-Resolution Inpainting
CN103345771A (zh) * 2013-06-28 2013-10-09 中国科学技术大学 一种基于建模的图像高效渲染方法
CN105374065A (zh) * 2014-08-08 2016-03-02 想象技术有限公司 用于在渲染图像中使用的可重新照明纹理
CN104574501A (zh) * 2014-12-19 2015-04-29 浙江大学 一种针对复杂三维场景的高质量纹理映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARCO VOLINO等: "Layered View-Dependent Texture Maps", 《CVMP "13: PROCEEDINGS OF THE 10TH EUROPEAN CONFERENCE ON VISUAL MEDIA PRODUCTION》 *

Also Published As

Publication number Publication date
US10453244B2 (en) 2019-10-22
CN109791704B (zh) 2023-05-23
US20180101978A1 (en) 2018-04-12
JP6845490B2 (ja) 2021-03-17
WO2018067601A1 (en) 2018-04-12
JP2019534511A (ja) 2019-11-28

Similar Documents

Publication Publication Date Title
Huang et al. 6-DOF VR videos with a single 360-camera
CN109791704A (zh) 用于自由运行fvv应用的基于多层uv映射的纹理渲染
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
Lin et al. Deep multi depth panoramas for view synthesis
Schroers et al. An omnistereoscopic video pipeline for capture and display of real-world VR
JP2016537901A (ja) ライトフィールド処理方法
KR102141319B1 (ko) 다시점 360도 영상의 초해상화 방법 및 영상처리장치
EP4036863A1 (en) Human body model reconstruction method and reconstruction system, and storage medium
WO2020184174A1 (ja) 画像処理装置および画像処理方法
Chen et al. Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera
JP2024510230A (ja) 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測
Mulligan et al. Stereo-based environment scanning for immersive telepresence
Cheng et al. Quad‐fisheye Image Stitching for Monoscopic Panorama Reconstruction
Kurillo et al. A framework for collaborative real-time 3D teleimmersion in a geographically distributed environment
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US20200195904A1 (en) Depth Based 3D Reconstruction using an A-Priori Depth Scene
da Silveira et al. Omnidirectional visual computing: Foundations, challenges, and applications
Baričević et al. User-perspective AR magic lens from gradient-based IBR and semi-dense stereo
Vasudevan et al. A methodology for remote virtual interaction in teleimmersive environments
Hapák et al. Real-time 4D reconstruction of human motion
Papadopoulos et al. Acuity-driven gigapixel visualization
Guo et al. Real-time augmented reality with occlusion handling based on RGBD images
KR20210077636A (ko) 다시점 비디오 부호화 및 복호화 방법
Chen et al. A quality controllable multi-view object reconstruction method for 3D imaging systems
GB2573172A (en) 3D skeleton reconstruction with 2D processing reducing 3D processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant