CN109997358B - 用于自由视点视频流式传输的以解码器为中心的uv编解码器 - Google Patents

用于自由视点视频流式传输的以解码器为中心的uv编解码器 Download PDF

Info

Publication number
CN109997358B
CN109997358B CN201780073335.8A CN201780073335A CN109997358B CN 109997358 B CN109997358 B CN 109997358B CN 201780073335 A CN201780073335 A CN 201780073335A CN 109997358 B CN109997358 B CN 109997358B
Authority
CN
China
Prior art keywords
free
video content
decoder
decoded
viewpoint video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780073335.8A
Other languages
English (en)
Other versions
CN109997358A (zh
Inventor
D·格拉兹斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109997358A publication Critical patent/CN109997358A/zh
Application granted granted Critical
Publication of CN109997358B publication Critical patent/CN109997358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

用于自由视点视频流式传输的以解码器为中心的编解码器使得能够实现对多层自由视点视频的捕获、预处理、编码、解码和渲染的更高效和更准确的处理。

Description

用于自由视点视频流式传输的以解码器为中心的UV编解码器
对相关申请的交叉引用
本申请援引35U.S.C.119(e)要求于2016年11月28日提交的标题为“DECODER-CENTRIC UV CODEC FOR FREE-VIEWPOINT VIDEO STREAMING”的美国临时专利申请序列No.62/426,900的优先权，该申请通过引用整体并入本文，用于所有目的。
技术领域
本发明涉及三维图形。更具体而言，本发明涉及稀疏视图多视图三维图形。
背景技术
自由视点视频(FVV)是允许用户随时改变视频的视点的视频。例如，观看体育视频的用户可以从从本垒板后面的视角观看体育视频变为从外场的视角观看体育视频。这使用户/观看者能够从独特的视角查看内容。
发送FVV尤其在尝试流式传输视图相关的FVV时具有挑战，诸如在从编码器侧向解码器侧发送相机元数据时产生的瓶颈。
发明内容
用于自由视点视频流式传输的以解码器为中心的编解码器实现了对多层自由视点视频的捕获、预处理、编码、解码和渲染的更高效和更准确的处理。
在一个方面，一种方法包括预处理自由视点视频内容，使用编码器使用解码的几何形状将自由视点视频内容编码为编码的自由视点视频内容，使用解码器将编码的自由视点视频内容解码为解码的自由视点视频内容并在设备上渲染解码的自由视点视频内容。预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和纹理映射。UV图谱(atlas)生成和纹理映射利用来自解码器的解码的形状。UV图谱生成生成具有附加元数据的多层纹理，以保留自由视点视频内容的视图相关特点。可以向解码器发信号通知视图无关信息(例如，单层UV图)与相对于视图相关信息(例如，具有附加元数据的多层UV图)的使用。作为元数据的示例，编码器可以发送相机配置(例如，捕获场景的多个相机的外在和内在参数)，并且对于每个纹理层可以发送促成特定UV层中那个具体纹理信息的相机的ID，使得解码器可以根据渲染的查看位置选择最佳的相机。用以解码器为中心的体系架构对自由视点视频内容进行编码包括用信号通知视图相关信息的使用，使用几何形状编码器编码顶点坐标以及使用UV纹理编码器编码纹理。解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息。该方法还包括在解码器处生成相机标识信息，以用于将编码的自由视点视频内容解码为解码的自由视点视频内容。该方法还包括使用最多10个摄像机获取自由视点视频内容。该方法还包括使用在来自其它相机的每个轴上具有至少30度分离的摄像机来获取自由视点视频内容。
在另一方面，一种装置包括：用于存储应用的非瞬态存储器，该应用用于：预处理自由视点视频内容，使用编码器使用解码的几何形状将自由视点视频内容编码为编码的自由视点视频内容；以及处理器，耦合到存储器，该处理器被配置用于处理该应用。预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和纹理映射。UV图谱生成和纹理映射利用来自解码器的解码的形状。对自由视点视频内容进行编码包括使用几何形状编码器编码顶点坐标以及使用UV纹理编码器对纹理进行编码。
在另一方面，一种装置包括：用于存储应用的非瞬态存储器，该应用用于：通过在解码器处生成相机标识信息以用于将编码的自由视点视频内容解码为解码的自由视点视频内容，使用解码器将编码的自由视点视频内容解码为解码的自由视点视频内容并渲染解码的自由视点视频内容；以及处理器，耦合到存储器，该处理器被配置用于处理该应用。解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息。
在另一方面，一种系统包括：多个相机设备，每个相机设备被配置用于捕获自由视点视频内容；第一计算设备，被配置用于：预处理自由视点视频内容并使用编码器使用解码的几何形状将自由视点视频内容编码为编码的自由视点视频内容；以及第二计算设备，被配置用于：使用解码器将编码的自由视点视频内容解码为解码的自由视点视频内容并在第二计算设备上渲染解码的自由视点视频内容。预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和纹理映射。UV图谱生成和纹理映射利用来自解码器的解码的形状。对自由视点视频内容进行编码包括使用几何形状编码器编码顶点坐标并使用UV纹理编码器对纹理进行编码。解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息。第二计算设备还被配置用于在解码器处生成相机标识信息，以用于将编码的自由视点视频内容解码为解码的自由视点视频内容。
附图说明
图1图示了根据一些实施例的、在视点视频体系架构中执行的操作的流程图。
图2图示了根据一些实施例的、用于压缩和传输自由视点视频数据内容的实施例的示例。
图3图示了根据一些实施例的、使用元数据信息的传输用于多层自由视点视频数据内容的体系架构的实施例的示例。
图4图示了根据一些实施例的、使用元数据信息的传输用于多层自由视点视频数据内容的体系架构的实施例的另一个示例。
图5图示了根据一些实施例的以解码器为中心的UV编解码器(UVC)体系架构的流程图。
图6图示了根据一些实施例的以解码器为中心的UV编解码器(UVC)体系架构的流程图。
图7图示了根据一些实施例的、实现用于FVV流式传输的以解码器为中心的编解码器的设备的图。
图8图示了根据一些实施例的、被配置为实现以解码器为中心的UV编解码器的示例性计算设备的框图。
图9图示了根据一些实施例的设备的网络的图。
具体实施方式
在自由视点体系架构中，场景是从若干不同视点捕获的。捕获的内容通常在捕获侧被处理，并变换成被编码和进一步发送的格式。解码器将接收编码的数据格式，将其解压缩并将其传递到渲染器，渲染器将使用接收到的内容来生成查看者所需的查看位置。用于传输的格式必须使渲染器能够灵活地生成具有照片般逼真质量的任何所需查看位置，这对数据格式和带宽施加了若干约束。
在获取阶段，密集视图3D视频捕获可以利用许多相机(例如，40-100+)来捕获来自许多不同角度的内容。更具体而言，相机之间的间距可以在每个相机之间非常小(例如，小于5度)。在密集视图3D视频捕获中，数据带宽是主要关注点，并且甚至用于诸如MVC之类的多视图捕获的视频压缩标准也具有由视图之间的冗余量和场景中的时间改变量调节的性能。
为了减轻捕获视图的数量并仍然启用自由视图导航，几何形状可以用作代理来修改所获取的视点并合成先前未捕获的查看位置。获得场景的几何形状的一种途径是利用有源深度相机或从捕获的视图执行深度估计。由这种处理阶段产生的表示格式可以是每个捕获的RGB像素的深度，也称为深度图。还可以使用诸如3D-HEVC之类的可用标准来完成稀疏RGB相机视图和对应深度图的传输。但是，通常相机被约束到线性布置并且彼此靠近，这限制了导航空间。而且，当使用稀疏视图3D视频捕获时，遮挡更加令人担忧。
在计算机图形学中，通过利用3D网格作为几何形状代理来完成全自由视点导航。还可以使用当前可用的标准(诸如用于网格压缩的MPEG AFX编码工具)来压缩3D网格。对于自由视点导航，捕获的视图以及网格几何形状可以用于传输，但性能仍受捕获视图数量的限制。视图数量越密集，渲染就越真实，但纹理传输所需的带宽也越多。
将网格用作几何形状代理并减少用于纹理传输的带宽的一种途径是仅发送与3D网格的表面相关联的纹理。在一些实现中，3D网格表面的纹理被映射到2D纹理图谱中，也称为UV图。对于传输，网格连同它们相应的UV图是选择的格式，这显著地减少了传输带宽。但是，最终渲染质量受限于独立于视图的质量，即，无论查看位置如何，网格表面都将呈现相同的RGB值，对于可能根据查看位置改变其纹理值的照片般逼真的物体不是这样。
保留表面纹理图谱的照片逼真感的一种途径是使用分层纹理图。依赖于视图的纹理特点由捕获相机与网格之间的相对位置提供。为了保留这个特性，纹理层记录来自不同相机的纹理。顶层为每个网格面存储具有最高等级(rank)的相机，由正常面和相机视轴之间的角度提供。在后续层中，存储来自不同视角的相机。在解码器侧，取决于所选择的查看位置，可以从包含更接近期望查看位置的相机位置的层中选择纹理，因此提供更接近逼真捕捉物体的视图。
多层UV纹理方案需要更多带宽用于纹理传输。而且，也可能需要向层发送纹理的排名。如果排名依赖于几何形状，那么几何形状压缩中的伪像会损害排名结果，这导致排名数据的传输以避免由几何伪像产生的纹理伪像。这种元数据的传输会严重影响带宽，并且会成为高效数据传输的瓶颈。
本文描述的是一种带宽高效的编码器体系架构，并且避免了元数据信息的传输。编码器体系架构仍然使用多层方案，但是通过使用解码的几何形状信息进行纹理映射和排名操作来避免繁重的元数据传输。利用这种新体系架构，针对自由视点视频的高效多层纹理传输是可能的。
密集视图3D视频捕获利用许多相机(例如，40-100+)来捕获来自许多不同角度的内容。更具体而言，相机之间的间距可以在每个相机之间非常小(例如，小于5度)。在密集视图3D视频捕获中，与稀疏视图3D视频捕获相比，处理相对简单，因为在稀疏视图中存在在密集视图3D视频捕获期间不出现的问题。例如，在使用稀疏视图3D视频捕获时，遮挡更加令人担忧。
稀疏视图3D视频捕获使用少得多的相机来捕获来自许多不同角度的内容。例如，稀疏视图3D视频捕获可以使用10个或更少的相机用于密集视图3D视频捕获使用100个相机的相同空间。换句话说，相机之间的间距(在至少一个轴或每个轴上)可以是45度或甚至90度。由于稀疏视图3D视频捕获中的相机相距很远，因此难以执行形状重建，因为立体匹配不是一种选择。而且，视图之间的冗余量减少，这影响压缩算法的性能。在这种情况下，利用网格和网格表面中的纹理的数据格式对于更高的效率是优选的。
为了在稀疏视图360度捕获系统中实现针对FVV的时间上一致和照片般逼真的纹理合成，利用多层纹理数据表示。多层纹理数据表示包含在2D纹理中组合的若干相机的纹理贡献，这些纹理贡献按照对相机进行排名的标准排序。相机标准的一个可能的实施例是相机和正被捕获的3D模型表面数据之间的角度，但是其它标准也是适用的。为了使用多层数据渲染视图相关视图，还发送发起纹理的相机的标识(ID)。
给定接收到的压缩网格，解码器生成相机ID信息。以解码器为中心的方案在解码器侧基于解码的网格生成相机ID信息。为了避免编码器与解码器之间的不匹配，编码器使用解压缩的网格而不是原始的未压缩网格来执行纹理映射。通过避免传输诸如相机ID信息之类的元数据信息并利用解压缩的网格进行纹理映射，避免了UV坐标(UV是纹理图谱的轴，描绘3D模型表面的纹理的2D图像)的传输。这显著降低了试图相关数据传输所需的位速率。
UV映射是将2D图像投影到3D模型的表面上以进行纹理映射的3D建模过程。由于X、Y和Z被用于表示模型空间中的3D物体的轴，因此U和V是2D纹理的轴。在FVV中，能够存在物体的多个视点(例如，从不同角度)，这意味着存在在编码和解码FVV内容时使用的额外数据/元数据。但是，通过实现以解码器为中心的编解码器，从编码器发送/流式传输到解码器的额外数据/元数据的量显著减少。
图1图示了根据一些实施例的、在视点视频体系架构中执行的操作的流程图。在步骤100中，捕获内容。在步骤120中，预处理捕获的内容。在步骤140中，对经处理的内容进行编码。在步骤160中，对编码的内容进行解码。在步骤180中，渲染解码的内容。
如本文所述，使用稀疏视图3D摄像机捕获内容。例如，多个相机从多个不同角度(诸如在要捕获的物体的前方、后方、左侧和右侧)捕获3D视频。
捕获的内容被预处理。预处理包括网格生成、网格跟踪、UV图谱生成和纹理映射。网格生成包括任何类型的网格生成，诸如使用网格模板、基于获取的内容比较和选择模板，以及使用多个视图基于所获取的内容的形状来修改模板。网格跟踪包括任何类型的网格跟踪，诸如在时间上跟踪非刚性变形的网格，或者如标题为“ROBUST MESH TRACKING ANDFUSION BY USING PART-BASED KEY-FRAMES AND PRIORI-MODEL”的美国专利申请No.律师案卷号Sony-69500中所描述的，该申请通过引用整体并入本文，用于所有目的。UV图谱生成生成纹理图谱或瓦片图，其包含子图像的集合，每个子图像是用于3D模型的一部分的纹理图。UV图谱生成能够以任何方式执行，包括基于诸如具体形状、身体部位和/或任何其它分组之类的分组来分离所获取的内容。在一些实施例中，UV图谱生成使用压缩的形状(或压缩形状的解压缩版本)和/或来自解码器的解码的形状以生成UV图谱。纹理映射包括将来自所获取的内容的纹理分量应用于所生成的网格(例如，模型)。在一些实施例中，基于压缩(或压缩形状的解压缩版本)和/或解码的形状来评估纹理映射。
从网格跟踪，顶点坐标和顶点连通性由几何形状编码器编码。诸如多层UV纹理之类的纹理由UV纹理编码器使用伴随的多层相机ID进行编码。来自几何形状编码器的编码的内容(例如，编码的形状/几何信息)被发送(例如，流式传输)到几何形状解码器，并且来自UV纹理编码器的编码的内容(例如，编码的纹理信息)被发送(例如，流式传输)到UV纹理解码器。几何形状解码器对编码的内容(例如，编码的形状/几何信息)进行解码。UV纹理解码器通过生成相机ID信息来对编码的内容(例如，编码的纹理信息)进行解码，以与适当的纹理信息对应。使用来自几何形状解码器的解码的形状信息生成相机ID信息，该解码的形状信息能够被用于确定适当的相机ID信息。例如，物体的几何形状与特定的相机ID相关联，并且基于所确定的物体的几何形状，能够确定相机ID。
然后，渲染设备能够使用来自几何形状解码器的解码的形状信息、来自UV纹理解码器的解码的纹理以及相机ID来渲染FVV视频。在一些实施例中，渲染包括显示FVV视频和/或使用户能够操纵FVV视频。
图2图示了根据一些实施例的、用于压缩和传输自由视点视频数据内容的实施例的示例。如本文所述，使用稀疏视图3D相机捕获内容。例如，多个相机从多个不同角度(诸如在要捕获的物体的前方、后方、左侧和右侧)捕获3D视频。
在一些实施例中，捕获的内容经过网格生成222。网格生成222包括任何类型的网格生成，诸如使用网格模板、基于获取的内容比较和选择模板，以及使用多个视图基于所获取的内容的形状来修改模板。然后，几何形状编码器242对生成的网格数据进行编码。捕获的内容也进入MV纹理编码器244。MV纹理编码器244对多视图纹理进行编码。
在一些实施例中，捕获的内容经过网格生成222、网格跟踪224、UV图谱生成226和纹理映射228。网格生成222包括任何类型的网格生成，诸诸如使用网格模板、基于获取的内容比较和选择模板，以及使用多个视图基于所获取的内容的形状来修改模板。网格跟踪224包括任何类型的网格跟踪，诸如在时间上跟踪非刚性变形的网格，或者如标题为“ROBUSTMESH TRACKING AND FUSION BY USING PART-BASED KEY-FRAMES AND PRIORI-MODEL”的美国专利申请No.律师案卷号Sony-69500中所描述的，该申请通过引用整体并入本文，用于所有目的。UV图谱生成226生成纹理图谱或瓦片图，其包含子图像的集合，每个子图像是用于3D模型的一部分的纹理图。UV图谱生成226能够以任何方式执行，包括基于诸如具体形状、身体部位和/或任何其它分组之类的分组来分离所获取的内容。在一些实施例中，UV图谱生成226使用压缩的形状(或压缩形状的解压缩版本)和/或来自解码器的解码的形状以生成UV图谱。纹理映射228包括将来自所获取的内容的纹理分量应用于所生成的网格(例如，模型)。在一些实施例中，基于压缩(或压缩形状的解压缩版本)和/或解码的形状来评估纹理映射228。
然后，几何形状编码器242使用网格跟踪数据和UV图谱对生成的网格数据进行编码。在应用纹理映射228之后，捕获的内容也前进到UV纹理编码器246。UV纹理编码器246对UV纹理进行编码。
图3图示了根据一些实施例的、使用元数据信息的传输用于多层自由视点视频数据内容的体系架构的实施例的示例。如本文所述，使用稀疏视图3D摄像机捕获内容。例如，多个相机从多个不同角度(诸如在要捕获的物体的前方、后方、左侧和右侧)捕获3D视频。
在一些实施例中，捕获的内容经历网格生成222、网格跟踪224、UV图谱生成326和多层纹理映射228。本文已经描述了网格生成222、网格跟踪224、UV图谱生成326和多层纹理映射228。
然后，几何形状编码器242使用网格跟踪数据和UV图谱对生成的网格数据进行编码。在应用多层纹理映射328之后，捕获的内容也进入ML-UV(多层UV)纹理编码器344和元数据编码器346。ML-UV纹理编码器344使用UV图谱信息对多层UV纹理进行编码。
来自几何形状编码器342的编码的内容(例如，编码的形状/几何信息)被发送(例如，流式传输)到几何形状解码器362，并且来自ML-UV纹理编码器344的编码的内容(例如，编码的纹理信息)被发送(例如，流式传输)到纹理解码器364，并且编码的元数据346被发送(例如，流式传输)到元数据解码器366。几何形状解码器362对编码的内容(例如，编码的形状/几何信息)进行解码。纹理解码器364对编码的内容(例如，编码的纹理信息)进行解码。元数据解码器366对编码的元数据内容进行解码。
然后，渲染设备382能够使用来自几何形状解码器362的解码的形状信息、来自纹理解码器364的解码的纹理和来自元数据解码器366的解码的元数据来渲染FVV视频。在一些实施例中，渲染包括显示FVV视频和/或使用户能够操纵FVV视频。
图4图示了根据一些实施例的、使用元数据信息的传输用于多层自由视点视频数据内容的体系架构的实施例的特定示例。如本文所述，使用稀疏视图3D摄像机捕获内容。例如，多个相机从多个不同角度(诸如在要捕获的物体的前方、后方、左侧和右侧)捕获3D视频。
在一些实施例中，捕获的内容经历网格生成222、网格跟踪224、UV图谱生成326和多层纹理映射228。本文已经描述了网格生成222、网格跟踪224、UV图谱生成326和多层纹理映射228。
然后，几何形状编码器242使用网格跟踪数据(例如，顶点坐标和顶点连通性)和UV图谱(例如，纹理坐标)对生成的网格数据进行编码。在应用多层纹理映射328之后，捕获的内容也进入ML-UV(多层UV)纹理编码器344和元数据编码器346。ML-UV纹理编码器344使用UV图谱信息对多层UV纹理(例如，2k×2k纹理图像的若干层)进行编码。
元数据编码器346对多层相机ID(例如，具有与UV图(2k×2k)相同尺寸的图像)进行编码，但是其中发送相机ID来代替RGB值。来自几何形状编码器342的编码的内容(例如，编码的形状/几何信息)被发送(例如，流式传输)到几何形状解码器362，并且来自ML-UV纹理编码器344的编码的内容(例如，编码的纹理信息)被发送(例如，流式传输)到纹理解码器364，并且编码的元数据346被发送(例如，流式传输)到元数据解码器366。
在一些实施例中，几何形状编码器仅仅是MPEG网格压缩标准AFX，其可以编码具有顶点坐标、顶点连通性和纹理坐标的网格序列，总位速率为64Mbps。多层UV纹理编码器344可以是多个视频编码器，例如，用于视频压缩的MPEG标准AVC。来自多个视频编码器的具有2k×2k分辨率和3层的多层UV图的压缩可以实现33Mbps。在这同一个实施例中，相机ID信息可以用诸如PNG编码器之类的无损图像编码器进行压缩，并且可以达到87Mbps。总共184Mbps用于视图相关信息的传输，并且这个位速率的几乎一半用于相机ID信息的传输。几何形状解码器362对编码的内容(例如，编码的形状/几何信息)进行解码。纹理解码器364对编码的内容(例如，编码的纹理信息)进行解码。元数据解码器366对编码的元数据内容进行解码。然后，渲染设备382能够使用来自几何形状解码器362的解码的形状信息、来自纹理解码器364的解码的纹理和来自元数据解码器366的解码的元数据来渲染FVV视频。在一些实施例中，渲染包括显示FVV视频和/或使用户能够操纵FVV视频。
图5图示了根据一些实施例的以解码器为中心的UV编解码器(UVC)体系架构的流程图。如本文所述，使用稀疏视图3D摄像机捕获内容。例如，多个相机从多个不同角度(诸如在要捕获的物体的前方、后方、左侧和右侧)捕获3D视频。
在一些实施例中，捕获的内容经历网格生成222、网格跟踪224、UV图谱生成326和多层纹理映射228。本文已经描述了网格生成222、网格跟踪224、UV图谱生成326和多层纹理映射228。
然后，几何形状编码器242仅使用网格跟踪数据对生成的网格数据进行编码。在应用多层纹理映射328之后，捕获的内容也进入ML-UV(多层UV)纹理编码器344。ML-UV纹理编码器344使用UV图谱信息对多层UV纹理进行编码。
来自几何形状编码器342的编码的内容(例如，编码的形状/几何信息)被发送(例如，流式传输)到几何形状解码器362，并且来自ML-UV纹理编码器344的编码的内容(例如，编码的纹理信息)被发送(例如，流式传输)到纹理解码器364。几何形状解码器362对编码的内容(例如，编码的形状/几何信息)进行解码。几何形状解码器362能够在编码器侧被复制，并且还将几何信息发送到UV图谱生成326以用于多层纹理映射。还使用来自几何形状解码器362的几何信息来实现元数据创建466。纹理解码器364对编码的内容(例如，编码的纹理信息)进行解码。
然后，渲染设备382能够使用来自几何形状解码器362的解码的形状信息、来自纹理解码器364的解码的纹理以及使用来自几何形状解码器362的解码的几何形状创建566的元数据来渲染FVV视频。在一些实施例中，渲染包括显示FVV视频和/或使用户能够操纵FVV视频。
图6图示了根据一些实施例的以解码器为中心的UV编解码器(UVC)体系架构的流程图。如本文所述，使用稀疏视图3D摄像机捕获内容。例如，多个相机从多个不同角度(诸如在要捕获的物体的前方、后方、左侧和右侧)捕获3D视频。
捕获的内容被预处理。预处理包括网格生成222、网格跟踪224、UV图谱生成326和纹理映射328。网格生成222包括任何类型的网格生成，诸如使用网格模板、基于获取的内容比较和选择模板，以及使用多个视图基于所获取的内容的形状来修改模板。网格跟踪224包括任何类型的网格跟踪，诸如在时间上跟踪非刚性变形的网格，或者如标题为“ROBUSTMESH TRACKING AND FUSION BY USING PART-BASED KEY-FRAMES AND PRIORI-MODEL”的美国专利申请No.律师案卷号Sony-69500中所描述的，该申请通过引用整体并入本文，用于所有目的。UV图谱生成326生成纹理图谱或瓦片图，其包含子图像的集合，每个子图像是用于3D模型的一部分的纹理图。UV图谱生成326能够以任何方式执行，包括基于诸如具体形状、身体部位和/或任何其它分组之类的分组来分离所获取的内容。在一些实施例中，UV图谱生成326使用压缩的形状(或压缩形状的解压缩版本)和/或来自解码器的解码的形状以生成UV图谱。纹理映射328包括将来自所获取的内容的纹理分量应用于所生成的网格(例如，模型)。在一些实施例中，基于压缩(或压缩形状的解压缩版本)和/或解码的形状来评估纹理映射328。
从网格跟踪224，顶点坐标和顶点连通性由几何形状编码器342编码。在一些实施例中，几何形状编码器可以是用于动态网格压缩的MPEG标准，也称为FAMC，其可以产生低至5Mbps的位速率。诸如多层UV(1K×1K)纹理之类的纹理由UV纹理编码器344编码。在一些实施例中，多层纹理编码器可以是用于按层的视频压缩的MPEG标准的实例，诸如H.264/AVC。MPEG编码器可以生成低至14Mbps的总位速率，以编码三层的1k×1k纹理，总共19Mbps以发送视图相关的自由视点数据。来自几何形状编码器342的编码的内容(例如，编码的形状/几何信息)被发送(例如，流式传输)到几何形状解码器362，并且来自UV纹理编码器344的编码的内容(例如，编码的纹理信息)被发送(例如，流式传输)到UV纹理解码器364。几何形状解码器362对编码的内容(例如，编码的形状/几何信息)进行解码。使用解码的几何形状，解码器可以在本地创建566相机ID信息以与适当的纹理信息对应。使用来自几何形状解码器362的解码的形状信息生成相机ID信息，该解码的形状信息能够用于确定适当的相机ID信息。例如，物体的几何形状与具体的相机ID相关联，并且基于所确定的物体的几何形状，能够确定相机ID。
然后，渲染设备382能够使用来自几何形状解码器362的解码的形状信息、解码的纹理以及在解码器侧创建的相机ID566来渲染FVV视频。在一些实施例中，渲染包括显示FVV视频和/或使用户能够操纵FVV视频。在一些实施例中，编码器可以在发送几何形状和纹理信息之前用信号通知多层(例如，视图相关)方案相对于单层(例如，视图无关)方案的使用。
在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改步骤的次序。此外，图5是具有具体设置和测量的示例性实施例。应该理解的是，具有诸如不同分辨率设置之类的其它设置的实施例是可能的。
在一些实施例中，本文描述的步骤发生在同一设备上，并且在一些实施例中，步骤发生在分开的设备(例如，捕获设备、预处理设备、编码器设备、解码器设备和渲染设备)上。在另一个示例中，捕获设备包括多个3D相机，预处理、编码和解码设备是服务器或计算设备，并且渲染设备是电视。在又一个示例中，捕获设备包括多个3D相机，并且预处理设备和编码设备经由网络耦合到解码设备和渲染设备。
图7图示了根据一些实施例的、实现用于FVV流式传输的以解码器为中心的编解码器的设备的图。捕获设备700从多个不同角度捕获FVV内容。例如，定位稀疏数量(例如，10个或更少)的相机以同时视频记录物体/场景。在预处理设备702处处理捕获的内容(例如，内容的多个层)。预处理设备702执行网格生成、网格跟踪、UV图谱生成和纹理映射。预处理设备702能够是服务器或任何其它计算设备。在预处理之后，适当的内容(例如，顶点坐标/连通性、多层UV和多层相机ID)进入编码设备704以进行编码。编码设备704能够是服务器的部分(用于预处理)、不同的服务器或不同的计算设备。然后将编码的内容(例如，编码的形状/几何形状和编码的UV纹理)发送(例如，流式传输)到解码设备706，以对编码的内容进行解码。解码设备706通常是通过网络(例如，LAN或互联网)耦合到编码设备704的分开的设备。然后在渲染设备708处接收解码的内容以用于渲染(和显示)。在一些实施例中，解码设备706和渲染设备708是同一个设备(例如，电视、具有监视器的计算机)的一部分，并且在一些实施例中，解码设备706和渲染设备708在不同设备中/上。
图8图示了根据一些实施例的、被配置为实现以解码器为中心的UV编解码器的示例性计算设备的框图。计算设备800能够用于获取、存储、计算、处理、传送和/或显示诸如图像和视频(例如，FVV)之类的信息。计算设备800能够实现任何以解码器为中心的UV编解码器方面，诸如捕获、预处理、编码、解码和/或渲染。一般而言，适于实现计算设备800的硬件结构包括网络接口802、存储器804、处理器806、(一个或多个)I/O设备808、总线810和存储设备812。只要选择具有足够速度的合适处理器，处理器的选择并不重要。存储器804能够是本领域中已知的任何常规计算机存储器。存储设备812能够包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清晰度盘/驱动器、超高清驱动器、闪存卡或任何其它存储设备。计算设备800能够包括一个或多个网络接口802。网络接口的示例包括连接到以太网或其它类型的LAN的网卡。(一个或多个)I/O设备808能够包括以下当中的一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其它设备。用于实现以解码器为中心的UV编解码器的(一个或多个)以解码器为中心的UV编解码器应用830可能存储在存储设备812和存储器804中，并且在应用通常被处理时被处理。图8中所示的更多或更少的部件能够包括在计算设备800中。在一些实施例中，包括以解码器为中心的UV编解码器硬件820。虽然图8中的计算设备800包括用于以解码器为中心的UV编解码器的应用830和硬件820，但是以解码器为中心的UV编解码器能够以硬件、固件、软件或其任意组合在计算设备上实现。例如，在一些实施例中，以解码器为中心的UV编解码器应用830被编程在存储器中并使用处理器执行。在另一个示例中，在一些实施例中，以解码器为中心的UV编解码器硬件820是编程的硬件逻辑，包括专门设计用于实现以解码器为中心的UV编解码器的门。
在一些实施例中，(一个或多个)以解码器为中心的UV编解码器应用830包括若干应用和/或模块。在一些实施例中，模块也包括一个或多个子模块。在一些实施例中，能够包括更少或附加的模块。
在一些实施例中，以解码器为中心的UV编解码器硬件820包括诸如透镜、图像传感器和/或任何其它相机部件之类的相机部件。
合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制台、数码相机、数码摄像机、相机电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频光盘刻录机/播放器(例如、DVD刻录机/播放器、高清光盘刻录机/播放器、超高清盘刻录机/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能珠宝(例如、智能手表)或任何其它合适的计算设备。
图9图示了根据一些实施例的设备的网络的图。利用多个相机900来获取3D/FVV视频内容。在一个或多个处理器/编码器设备902处处理和编码视频内容。经编码的内容通过网络904(例如，互联网、蜂窝网络或任何其它网络)发送/流式传输到一个或多个解码器/渲染器设备906。在一些实施例中，在没有网络的情况下直接将内容发送到一个或多个解码器/渲染器设备906。设备的网络中的一个或多个设备(例如，处理器/编码器设备、解码器/渲染器设备)被配置为执行本文描述的以解码器为中心的UV编解码器实现。一个或多个处理器/编码器设备902和一个或多个解码器/渲染器设备906能够是任何设备，诸如服务器、个人计算机、智能电话、电视、游戏系统或本文描述的任何设备或文描述的设备的任意组合。在一些实施例中，(一个或多个)相机900实现以解码器为中心的UV编解码器的附加方面，诸如预处理和/或编码。
为了利用本文描述的以解码器为中心的UV编解码器，诸如数码相机/便携式相机之类的设备被用于获取3D/FVV内容。以解码器为中心的UV编解码器能够在用户帮助下实现，或者在没有用户参与的情况下自动实现，以高效地编码、发送、解码和渲染3D/FVV内容。然后，在回放所获取的内容时，显示更准确的内容(例如，具有更少或没有伪像)。
在操作中，以解码器为中心的UV编解码器生成比先前的实现更准确的内容。另外，通过利用编码器处的解码器几何形状并通过从解码器处的几何形状推断出相机ID，以解码器为中心的UV编解码器更高效。通过使用以解码器为中心的UV编解码器，从编码器向解码器发送的元数据要少得多。
用于自由视点视频流式传输的以解码器为中心的UV编解码器的一些实施例
1.一种方法，包括：
预处理自由视点视频内容；
使用编码器，使用解码的几何形状将自由视点视频内容编码为编码的自由视点视频内容；
使用解码器，将编码的自由视点视频内容解码为解码的自由视点视频内容；以及
在设备上渲染解码的自由视点视频内容。
2.如条款1所述的方法，其中预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和纹理映射。
3.如条款2所述的方法，其中UV图谱生成和纹理映射利用来自解码器的解码的形状。
4.如条款1所述的方法，其中编码自由视点视频内容包括使用几何形状编码器对顶点坐标进行编码以及使用UV纹理编码器对纹理进行编码。
5.如条款1所述的方法，其中解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。
6.如条款1所述的方法，其中渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息。
7.如条款1所述的方法，还包括在解码器处生成相机标识信息，以用于将编码的自由视点视频内容解码为解码的自由视点视频内容。
8.如条款1所述的方法，还包括使用最多10个摄像机获取自由视点视频内容。
9.如条款1所述的方法，还包括使用在每个轴上与其它相机分离至少30度的摄像机获取自由视点视频内容。
10.如条款1所述的方法，还包括用信号通知多层纹理的使用以用于视图相关的渲染。
11.如条款1所述的方法，还包括将相机标识与多层纹理表示的每个纹理层中的像素相关联。
12.一种装置，包括：
用于存储应用的非瞬态存储器，该应用用于：
预处理自由视点视频内容；
使用编码器，使用解码的几何形状将自由视点视频内容编码为编码的自由视点视频内容；以及
处理器，耦合到存储器，处理器被配置用于处理该应用。
13.如条款12所述的装置，其中预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和纹理映射。
14.如条款13所述的装置，其中UV图谱生成和纹理映射利用来自解码器的解码的形状。
15.如条款12所述的装置，其中编码自由视点视频内容包括使用几何形状编码器对顶点坐标进行编码以及使用UV纹理编码器对纹理进行编码。
16.一种装置，包括：
用于存储应用的非瞬态存储器，该应用用于：
使用解码器，通过在解码器处生成相机标识信息以用于将编码的自由视点视频内容解码为解码的自由视点视频内容，将编码的自由视点视频内容解码为解码的自由视点视频内容；以及
渲染解码的自由视点视频内容；以及
处理器，耦合到存储器，处理器被配置用于处理该应用。
17.如条款16所述的装置，其中解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。
18.条款16的装置，其中渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息。
19.一种系统，包括：
多个相机设备，每个相机设备被配置用于捕获自由视点视频内容；
第一计算设备，被配置用于：
预处理自由视点视频内容；以及
使用编码器，使用解码的几何形状将自由视点视频内容编码为编码的自由视点视频内容；以及
第二计算设备，被配置用于：
使用解码器，将编码的自由视点视频内容解码为解码的自由视点视频内容；以及
在第二计算设备上渲染解码的自由视点视频内容。
20.如条款19所述的系统，其中预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和纹理映射。
21.如条款19所述的系统，其中UV图谱生成和纹理映射利用来自解码器的解码的形状。
22.如条款19所述的系统，其中编码自由视点视频内容包括使用几何形状编码器对顶点坐标进行编码以及使用UV纹理编码器对纹理进行编码。
23.如条款19所述的系统，其中解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。
24.如条款19所述的系统，其中渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息。
25.如条款19所述的系统，其中第二计算设备还被配置用于在解码器处生成相机标识信息，以用于将编码的自由视点视频内容解码为解码的自由视点视频内容。
已经根据结合细节的具体实施例描述了本发明，以促进理解本发明的构造和操作的原理。本文对具体实施例及其细节的这种引用并非旨在限制所附权利要求的范围。对于本领域技术人员来说显而易见的是，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在为说明而选择的实施例中进行其它各种修改。

Claims (10)

1.一种方法，包括：
预处理自由视点视频内容；
使用编码器，将自由视点视频内容编码为编码的自由视点视频内容，其中编码自由视点视频内容包括使用几何形状编码器对顶点坐标进行编码以及使用UV纹理编码器对纹理进行编码；
使用解码器从解码的形状信息生成相机标识信息，以用于将编码的自由视点视频内容解码为解码的自由视点视频内容，其中从解码的形状信息生成相机标识信息包括从解码的形状信息确定物体的几何形状以及基于所确定的物体的几何形状确定相机标识；
使用所述解码器，将编码的自由视点视频内容解码为解码的自由视点视频内容；以及
在设备上渲染解码的自由视点视频内容，其中渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息，
其中预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和多层纹理映射，并且
其中UV图谱生成和多层纹理映射利用来自解码器的解码的形状。
2.如权利要求1所述的方法，其中解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。
3.如权利要求1所述的方法，还包括使用最多10个摄像机获取自由视点视频内容。
4.如权利要求1所述的方法，还包括使用在每个轴上与其它相机分离至少30度的摄像机获取自由视点视频内容。
5.如权利要求1所述的方法，还包括用信号通知多层纹理的使用以用于视图相关的渲染。
6.如权利要求1所述的方法，还包括将相机标识与多层纹理表示的每个纹理层中的像素相关联。
7.一种装置，包括：
用于存储应用的非瞬态存储器，该应用用于：
预处理自由视点视频内容；
使用编码器，将自由视点视频内容编码为编码的自由视点视频内容，其中编码自由视点视频内容包括使用几何形状编码器对顶点坐标进行编码以及使用UV纹理编码器对纹理进行编码；
使用解码器从解码的形状信息生成相机标识信息，以用于将编码的自由视点视频内容解码为解码的自由视点视频内容，其中从解码的形状信息生成相机标识信息包括从解码的形状信息确定物体的几何形状以及基于所确定的物体的几何形状确定相机标识；
使用所述解码器，将编码的自由视点视频内容解码为解码的自由视点视频内容；以及
渲染解码的自由视点视频内容，其中渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息，
其中预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和多层纹理映射，并且
其中UV图谱生成和多层纹理映射利用来自解码器的解码的形状；以及
处理器，耦合到存储器，该处理器被配置用于处理该应用。
8.如权利要求7所述的装置，其中解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。
9.一种系统，包括：
多个相机设备，每个相机设备被配置用于捕获自由视点视频内容；
第一计算设备，被配置用于：
预处理自由视点视频内容；以及
使用编码器，将自由视点视频内容编码为编码的自由视点视频内容，其中编码自由视点视频内容包括使用几何形状编码器对顶点坐标进行编码以及使用UV纹理编码器对纹理进行编码；以及
第二计算设备，被配置用于：
使用解码器从解码的形状信息生成相机标识信息，以用于将编码的自由视点视频内容解码为解码的自由视点视频内容，其中从解码的形状信息生成相机标识信息包括从解码的形状信息确定物体的几何形状以及基于所确定的物体的几何形状确定相机标识；
使用所述解码器，将编码的自由视点视频内容解码为解码的自由视点视频内容；以及
在第二计算设备上渲染解码的自由视点视频内容，其中渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息，
其中预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和多层纹理映射，并且
其中UV图谱生成和多层纹理映射利用来自解码器的解码的形状。
10.如权利要求9所述的系统，其中解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。
CN201780073335.8A 2016-11-28 2017-11-20 用于自由视点视频流式传输的以解码器为中心的uv编解码器 Active CN109997358B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662426900P 2016-11-28 2016-11-28
US62/426,900 2016-11-28
US15/816,094 2017-11-17
US15/816,094 US10389994B2 (en) 2016-11-28 2017-11-17 Decoder-centric UV codec for free-viewpoint video streaming
PCT/US2017/062461 WO2018098054A1 (en) 2016-11-28 2017-11-20 Decoder-centric uv codec for free-viewpoint video streaming

Publications (2)

Publication Number Publication Date
CN109997358A CN109997358A (zh) 2019-07-09
CN109997358B true CN109997358B (zh) 2022-02-22

Family

ID=62191154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073335.8A Active CN109997358B (zh) 2016-11-28 2017-11-20 用于自由视点视频流式传输的以解码器为中心的uv编解码器

Country Status (6)

Country Link
US (1) US10389994B2 (zh)
EP (1) EP3526966A1 (zh)
JP (1) JP6939883B2 (zh)
KR (1) KR102194758B1 (zh)
CN (1) CN109997358B (zh)
WO (1) WO2018098054A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242484B1 (en) * 2017-10-17 2019-03-26 8i Limited UV mapping and compression
EP3509308A1 (en) * 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream
JP7271099B2 (ja) * 2018-07-19 2023-05-11 キヤノン株式会社 ファイルの生成装置およびファイルに基づく映像の生成装置
KR102287133B1 (ko) * 2018-11-30 2021-08-09 한국전자기술연구원 자유 시점 영상 제공 방법 및 장치
US10911735B2 (en) * 2019-02-22 2021-02-02 Avalon Holographics Inc. Layered scene decomposition CODEC with asymptotic resolution
CN110223382B (zh) * 2019-06-13 2021-02-12 电子科技大学 基于深度学习的单帧图像自由视点三维模型重建方法
US11120623B2 (en) * 2019-06-25 2021-09-14 HypeVR Optimized volumetric video playback
US10964089B1 (en) 2019-10-07 2021-03-30 Sony Corporation Method and apparatus for coding view-dependent texture attributes of points in a 3D point cloud
CN114556962B (zh) * 2019-11-29 2024-01-30 中兴通讯股份有限公司 多视点视频处理方法和装置
US11704839B2 (en) 2019-12-17 2023-07-18 Electronics And Telecommunications Research Institute Multiview video encoding and decoding method
EP4085634A4 (en) * 2020-01-02 2024-01-10 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR CODING AND DECODING VOLUMETRIC VIDEOS
US11601636B2 (en) * 2020-05-22 2023-03-07 Google Llc Methods, systems, and media for generating an immersive light field video with a layered mesh representation
US20230107834A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC Method and apparatus of adaptive sampling for mesh compression by encoders
US20230162404A1 (en) * 2021-11-22 2023-05-25 Tencent America LLC Decoding of patch temporal alignment for mesh compression
US20230177736A1 (en) * 2021-12-03 2023-06-08 Tencent America LLC Method and apparatus for chart based mesh compression
JP2024008741A (ja) * 2022-07-09 2024-01-19 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP2024008742A (ja) * 2022-07-09 2024-01-19 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2024053371A1 (ja) * 2022-09-06 2024-03-14 ソニーグループ株式会社 情報処理システム、および情報処理システムの作動方法、並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1145512A (zh) * 1995-06-20 1997-03-19 索尼公司 再现语音信号的方法和装置以及传输该信号的方法
EP2187641A3 (en) * 1997-10-27 2010-12-15 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus and image decoding method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US805874A (en) * 1902-09-11 1905-11-28 Frank B Cook Automatic fire-extinguisher system.
JP2000132683A (ja) * 1998-10-23 2000-05-12 Toshiba Corp 多視点画像符号化方法
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
US8878836B2 (en) 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
EP2309648A1 (en) * 2009-09-14 2011-04-13 Thomson Licensing Method for encoding floating-point data, method for decoding floating-point data, and corresponding encoder and decoder
CN102291579B (zh) * 2011-07-06 2014-03-05 北京航空航天大学 一种快速的多目立体视频分形压缩与解压缩方法
JP5870618B2 (ja) * 2011-10-21 2016-03-01 大日本印刷株式会社 自由視点映像表示装置
US9237329B1 (en) * 2012-10-18 2016-01-12 Google Inc. Systems and methods for capturing data of an object
US9483845B2 (en) * 2013-04-26 2016-11-01 Nvidia Corporation Extending prediction modes and performance of video codecs
KR20160079068A (ko) * 2013-12-03 2016-07-05 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램
US9807373B1 (en) * 2013-12-27 2017-10-31 Google Inc. Systems and devices for acquiring imagery and three-dimensional (3D) models of objects
EP3143774A4 (en) * 2014-05-13 2018-04-25 PCP VR Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
GB2526838B (en) * 2014-06-04 2016-06-01 Imagination Tech Ltd Relightable texture for use in rendering an image
FR3028990B1 (fr) * 2014-11-21 2018-01-19 Institut National Des Sciences Appliquees De Lyon Procedes de compression et de decompression de donnees representatives d’un objet tridimensionnel numerique et support d'enregistrement d'informations contenant ces donnees
JP6501348B2 (ja) * 2014-12-26 2019-04-17 Kddi株式会社 自由視点画像生成装置、方法およびプログラム
US10362290B2 (en) * 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1145512A (zh) * 1995-06-20 1997-03-19 索尼公司 再现语音信号的方法和装置以及传输该信号的方法
EP2187641A3 (en) * 1997-10-27 2010-12-15 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus and image decoding method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Optimal Representation of Multi-View Video;Volino等;《Surrey research insight》;20140905;正文第4-5部分 *

Also Published As

Publication number Publication date
CN109997358A (zh) 2019-07-09
KR20190068622A (ko) 2019-06-18
JP2020513703A (ja) 2020-05-14
US20180152688A1 (en) 2018-05-31
WO2018098054A1 (en) 2018-05-31
EP3526966A1 (en) 2019-08-21
US10389994B2 (en) 2019-08-20
KR102194758B1 (ko) 2020-12-23
JP6939883B2 (ja) 2021-09-22

Similar Documents

Publication Publication Date Title
CN109997358B (zh) 用于自由视点视频流式传输的以解码器为中心的uv编解码器
US11599968B2 (en) Apparatus, a method and a computer program for volumetric video
US10567464B2 (en) Video compression with adaptive view-dependent lighting removal
US10419737B2 (en) Data structures and delivery methods for expediting virtual reality playback
US10600233B2 (en) Parameterizing 3D scenes for volumetric viewing
US10341632B2 (en) Spatial random access enabled video system with a three-dimensional viewing volume
US10546424B2 (en) Layered content delivery for virtual and augmented reality experiences
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
US10484697B2 (en) Simultaneous localization and mapping for video coding
US11430156B2 (en) Apparatus, a method and a computer program for volumetric video
WO2019229293A1 (en) An apparatus, a method and a computer program for volumetric video
WO2019115867A1 (en) An apparatus, a method and a computer program for volumetric video
WO2019122504A1 (en) Method for encoding and decoding volumetric video data
US11196977B2 (en) Unified coding of 3D objects and scenes
US20220217314A1 (en) Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device
TW202106000A (zh) 傳送容積視訊內容之方法及裝置
WO2019077199A1 (en) APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
CN112806015A (zh) 全向视频的编码和解码
KR20230078685A (ko) 다중평면 이미지 기반 볼류메트릭 비디오의 깊이를 시그널링하기 위한 방법 및 장치
WO2024074962A1 (en) Efficient mapping coordinate creation and transmission
Verlani Proxy Based Compression of Depth Movies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant