CN110166757A - 用计算机实现的压缩数据的方法、系统、存储介质 - Google Patents

用计算机实现的压缩数据的方法、系统、存储介质 Download PDF

Info

Publication number
CN110166757A
CN110166757A CN201910098092.4A CN201910098092A CN110166757A CN 110166757 A CN110166757 A CN 110166757A CN 201910098092 A CN201910098092 A CN 201910098092A CN 110166757 A CN110166757 A CN 110166757A
Authority
CN
China
Prior art keywords
frame
grid
compression
sequence
atlas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910098092.4A
Other languages
English (en)
Other versions
CN110166757B (zh
Inventor
李众
杨杰胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jjk Holdings Ltd
Original Assignee
Jjk Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jjk Holdings Ltd filed Critical Jjk Holdings Ltd
Publication of CN110166757A publication Critical patent/CN110166757A/zh
Application granted granted Critical
Publication of CN110166757B publication Critical patent/CN110166757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种用计算机实现的压缩数据的方法、系统、存储介质。基于网格的原始视频数据(或3D视频数据)包括帧序列，每帧包括几何数据(例如，三角网格或其他网格)和定义一个或多个对象的纹理图。基于跨帧的一致网格拓扑对原始3D视频数据进行分段。对于每个片段，定义一致的网格序列(CMS)，并且生成一致的纹理图集(CTA)。每个片段的CMS和CTA都被压缩并存储为压缩数据文件。压缩数据文件可以解压并用于呈现可显示的图像。

Description

用计算机实现的压缩数据的方法、系统、存储介质
技术领域
本发明涉及一般三维图像数据的压缩，特别是动态基于局部时续一致性的贴图模型压缩。
背景技术
根据传统方法，数字视频数据由一系列图像或帧组成，其中每帧的内容决定显示设备上呈现的二维(2D)像素阵列。人们已经提出许多技术，用于压缩此类数据，以便进行有效存储和传输。基于像素的图像数据对某些形式的视频呈现是有用的；然而，此等数据不适用于虚拟现实(VR)，增强现实(AR)或其他观看者成为场景一部分的沉浸式视频体验。
自由视点视频(FVV)能够支持更为沉浸式的视频体验。FVV数据通常把每帧表示为包括一个或多个三维几何对象的三维(3D)场景，而不是二维像素阵列。在每帧中，每个对象可以有位置，对象的位置在每帧中可以改变。此外，一些对象可能会变形(即，改变形状)。可以用三角网格表示对象，正如计算机图形领域中的常规做法，而网格顶点可以相对移动，表示对象的形状变化。可以使用常规纹理映射技术把纹理和三角网格联系起来。如果要用FVV生成视频呈现，用户通常会与视频渲染设备(例如，计算机)交互，从而确定视点，视频渲染设备使用该帧的对象几何从该视点渲染图像。根据具体应用情况，视点可以是静态的或动态的，每帧都会从合适的视点进行渲染。
然而，FVV数据量极其庞大，每帧都需要存储和/或传输网格和纹理数据(而常规视频数据只有一个像素阵列)。这会损害相关性能和/或限制FVV的使用场景。
发明内容
本发明的某些实施例涉及基于网格的视频数据(也称为3D视频数据)的压缩技术，该数据包括但不限于FVV数据。此处描述的实施例把未压缩(“原始”)3D视频数据作为输入，这些数据包括帧序列，每帧包括几何数据(例如，三角网格或其他网格)和定义一个或多个对象的纹理图。输入的帧序列被分成多个“片段”，从而使得网格拓扑在给定片段内的所有帧上是一致的。例如，网格在一个片段中可以变形，但顶点的数量和关联性在该片段内不会改变；具有一致拓扑的网格序列被称为一致网格序列(CMS)，一个片段可以包括多个CMS(例如，呈现多个对象)。应理解网格拓扑无需在各片段保持一致。在识别具有CMS的片段后，可以用与片段中对象相关的纹理图创建一致纹理图集(CTA)，而CTA的纹理被重新投影到CMS的网格上。CTA于是被压缩，例如，使用标准视频压缩技术进行压缩。CMS也被压缩，例如，通过定义基于主成分分析可被分类和压缩的顶点轨迹矢量进行压缩。每个片段的压缩CTA和压缩CMS可以存储为压缩的数据文件。压缩的数据文件可以解压，并用于渲染可显示的图像。
在一些实施例中，压缩的数据文件可以被发送到远程计算机系统，该远程计算机系统远离生成该文件的计算机系统，该远程系统可以解压压缩的数据文件，并用于渲染显示的图像。压缩的数据文件格式可以用于流式视频呈现。具体而言，该格式允许每个片段的数据独立发送，不受任何其他片段数据的影响，因此接收设备不必等待接收到所有数据之后才开始渲染和显示图像，也不必从任何特定片段进行渲染。
下文的详细描述，以及附图，将有助于读者更好地理解本发明的本质和优点。
附图说明
图1为渲染的图像帧的示例，展示了可以用网格表示的变形对象。
图2为根据本发明的实施例的数据压缩过程的流程图。
图3为根据本发明实施例的把原始3D视频数据的帧序列分割成片段的过程的流程图。
图4为根据本发明实施例的分割成片段的帧的示例。
图5为根据本发明实施例的CTA生成过程的流程图。
图6为根据本发明实施例的CMS压缩过程的流程图。
图7为根据本发明实施例的用于存储压缩的顶点数据的二进制文件结构的简化表示。
图8为根据本发明实施例的使用压缩过程得到的压缩数据渲染图像的过程流程图。
图9为实施本发明实施例的计算机系统的简化框图。
具体实施方式
本发明的某些实施例涉及基于网格的视频数据(也称为3D视频数据)的压缩技术，该数据包括但不限于FVV数据。此处描述的实施例把未压缩(“原始”)3D视频数据作为输入，这些数据包括帧序列，每帧包括几何数据(例如，三角网格或其他网格)和定义一个或多个对象的纹理图。输入的帧序列被分成多个“片段”，从而使得网格拓扑在给定片段内的所有帧上是一致的。例如，网格在一个片段中可以变形，但顶点的数量和关联性在该片段内不会改变；具有一致拓扑的网格序列被称为一致网格序列(CMS)，一个片段可以包括多个CMS(例如，呈现多个对象)。应理解网格拓扑无需在各片段保持一致。在识别具有CMS的片段后，可以用与片段中对象相关的纹理图创建一致纹理图集(CTA)，而CTA的纹理被重新投影到CMS的网格上。CTA于是被压缩，例如，使用标准视频压缩技术。CMS也被压缩，例如，通过定义基于主成分分析可被分类和压缩的顶点轨迹矢量进行压缩。每个片段的压缩CTA和压缩CMS可以存储为压缩的数据文件。压缩的数据文件可以解压，并用于渲染可显示的图像。
在一些实施例中，压缩的数据文件可以被发送到远程计算机系统，该远程计算机系统远离生成该文件的计算机系统，该远程系统可以解压压缩的数据文件，并用于渲染显示的图像。压缩的数据文件格式可以用于流式视频呈现。具体而言，该格式允许每个片段的数据独立发送，不受任何其他片段的数据的影响，因此接收设备不必等待接收到所有数据之后才开始渲染和显示图像，也不必从任何特定片段进行渲染。
本文所用的术语，“视频”是指按时间排序的“帧”系列，其中每帧包含定义给定时间点出现的场景的数据。视频有时间顺序，而通常认为，如果帧以恒定速率(例如，每秒30帧)按顺序被渲染并呈现为显示图像，那么人类观察者可以把该系列显示图像看作是对移动物体的描述。本文所用的术语，“对象”可以表示任何实体。
“自由视点视频”(FVV)通常指视频数据，其中帧数据的格式允许在帧渲染和在显示器上呈现时选择或修改视点。FVV(或其他3D视频数据)的帧数据可以包括，将要渲染的一个或多个3D对象的几何数据，此处称为“对象几何”。可以使用一个或多个网格指定对象几何，即一组互连的顶点，把表面表示为一组连接的多边形(例如，三角形)。网格中的每个顶点都有指定坐标(通常在对象相对坐标空间中)，并且与相邻顶点有关联性(可以是明确指定的，或是默认的，例如，按照数据结构中保存顶点的方法)，而网格可以包括任意数量的顶点。每个顶点可以有其他相关属性，例如纹理空间中的颜色和/或坐标，此处纹理空间指定义用于网格(或网格的一部分)的纹理；通常使用二维坐标(称为uv坐标)来定义纹理空间，虽然也可以使用其他系统。根据实施情况，一个顶点可以具有一个或多个相关的纹理，而一个或多个纹理可以应用于该对象的全部表面或部分表面。
为了进一步说明这些概念，图1为渲染图像101-104帧的示例，展示了可以用网格表示的变形对象(此处是人物图形)。应了解，这些人物形状是动态的；例如，101帧中，拳击手的手臂相对于身体的其余部分可以移动，所以她可以出拳，进而改变表示拳击手的图形对象的形状(或“变形”)。在对象几何方面，可以通过改变网格中顶点的相对位置来捕获变形，同时保持顶点的其他属性不变。
为了便于描述，假设已经生成了“原始”3D视频数据，于是每帧包括定义一个或多个对象的一个或多个网格。还假设每个网格有一个或多个相关的纹理，可以用标准纹理映射技术(例如，把网格的每个顶点映射到纹理的uv坐标)映射到网格。纹理贴图可用于表示网格表面的各种变化属性，包括颜色，表面法线，光照效果，表面特质(例如，反射率，透明度)等，而表示不同属性的任意数量的纹理可以与单个网格相关。
虽然不做严格要求，但是假设至少一个对象是可变形的，而下文描述的技术可以应用于描绘静态对象(即，不变形的对象)的3D视频。这种原始3D视频数据可以通过多种方式生成，包括运动捕捉过程和/或计算机生成动画过程，而下文描述的压缩算法不受原始3D视频数据生成的特定方式的影响。
描绘逼真的对象的网格通常包含成百上千个顶点，而在原始3D视频数据(本文中使用的术语)中，每帧包含每个对象的完整顶点信息，包括纹理贴图，所以每帧都可以在不参考其他帧的数据的情况下进行渲染。因此，原始3D视频数据可能非常大，给存储和传输带来了困难。
本发明的某些实施例提供了可用于压缩原始3D视频数据的方法和系统。图2为根据本发明的实施例的数据压缩过程200的流程图。数据压缩过程200可以在各种计算机系统中实施，具体示例见下文。
当接收到帧序列的原始视频数据时，过程200可以在202框中开始。如上所述，每帧的原始3D视频数据可以包括，定义对象的网格和与该网格相关的一个或多个纹理图。(应理解，每帧可以包括定义多个对象的多个网格和/或定义单个对象的多个网格。)在一些实施例中，执行过程200的计算机系统还可以生成原始3D视频数据；在其他实施例中，原始3D视频数据可以通过网络接口从存储器或接收器中检索。
在204框中，过程200可以把原始3D视频数据分成片段，使得每个片段内的网格拓扑保持一致。如本文所使用的，3D视频数据的“片段”由时间上连续的帧子集组成，而如果对该片段内的所有帧而言，网格有相同的顶点集合，顶点之间有相同的关联性，那么该片段内的网格拓扑被认为是“一致的”。因此，204框的过程可以包括通过比较连续帧之间的网格拓扑检测变化；找到更改的位置，确定片段边界。(如果每帧有多个网格，那么任何网格中的拓扑变化可能产生新的片段边界。)在一些实施例中，把每个片段分得尽可能长，从而仅在网格拓扑改变的地方创建片段边界。因此，在一些情况下，204框中的分割，会产生可以覆盖原始3D视频数据的整个帧序列的单个片段。
可以使用各种算法来识别片段边界。图3为根据本发明实施例把原始3D视频数据的帧序列分割成片段的过程300的流程图。例如，过程300可以在图2的过程200的204框中实施。
在302框中，使用评分算法计算原始3D视频数据中的每个网格(或帧)的分数。在一些实施例中，得分可以是每帧成为关键帧的可行性得分，此处“关键帧”是指这一帧的网格可以变形为伪像相对较少的片段中的其他网格。302框中使用的评分算法的示例见A.Collet等人的“High-Quality Streamable Free-Viewpoint Video”，ACM Transactionson Graphics(TOG)，34(4)：69(2015)。(具体参见第7.1节)。也可以使用其他评分算法。
在304框中，定义片段的关键帧是基于得分进行选择的。例如，可以根据分数对帧进行优先排序，从而选择优先级最高的帧。
为了定义片段边界，向前和向后(时间)的关键帧的网格变形被执行。例如，在306框中，关键帧(Fk帧)的网格得到变形，以便与下一时间帧的网格(Fk+1帧)相匹配，而变形误差(反映来自Fk帧的变形网格与Fk+1帧的实际网络之间的差异)得以计算。在一些实施例中，网格变形可以包括，应用配准算法匹配片段内的不同帧中的对应顶点。优选算法包括定义源网格的非刚性配准算法(例如，出现在片段的第一帧或片段的关键帧中的网格)，从而为目标网格构建变形图(例如，出现在该段的另一帧中的网格)。变形图有控制点，每个控制点有旋转和平移参数，说明如何使源网格变形以匹配目标网格。可以为每帧构建变形图。可以使用各种算法；示例见Z.Li等人的“Robust 3D Human Motion Reconstruction ViaDynamic Template Construction,”http://www.arxiv.org/abs/1801.10434(具体参见第3节)。
在308框中，如果变形误差未超过阈值，那么处理返回到306框，考虑下一时间帧(Fk+2帧)。一旦在308框中发现变形误差超过阈值(例如，Fk+j+1帧)，则在310框中把前向分段边界确定为帧Fk+j。
类似地，后方向上，在316框中，关键帧(Fk帧)的网格得到变形，以便与上一时间帧的网格(Fk-1帧)匹配，而变形误差(反映来自Fk帧的变形网格与Fk-1帧的实际网络之间的差异)得以计算。在318框中，如果变形误差未超过阈值，那么处理返回到316框，考虑前一时间帧(Fk-2帧)。一旦在308框中发现变形误差超过阈值(例如，Fk-i-1帧)，则在320框中把后向分段边界确定为帧Fk-i。
在324框中，过程300可以确定是否还有帧尚未分配到片段。如果是，则过程300可以返回到304框，选择新的关键帧，例如，尚未分配到片段的优先级最高的帧，从而重复变形过程以确定分段边界。在一些实施例中，如果在306框或316框中，前向的下一帧或后向的上一帧已经被分配给片段，那么迭代可以停止，使得每帧恰好分配给一个片段。此外，在一些实施例中，过程300可以对单个片段中的帧数(例如，24帧，30帧，60帧)设置上限，如果达到极限而不超过变形误差的阈值，那么可以创建分段边界。
一旦将原始输入数据的每帧都分配给了片段，过程300就可以在326框中结束。
图4为根据本发明实施例，使用过程300(或其他过程)对数据分段的示例。共收到M帧数据(F1–FM)。使用过程300，选取Fk帧作为关键帧，并且使用时间上向后和向前迭代来识别Fk-i帧和Fk+j帧，作为后向和前向的段边界。可以从F1到Fk-i-1(假设k-i>1)帧形成一个片段或多个片段，也可以从Fk+j+1到FM(假设k+j<M)帧形成一个片段或多个片段。每个片段包括一致的网格序列(CMS)，CMS可以使用片段的源网格和该段中每帧的变形图来表示。
再次参考图2，在204框中，原始3D视频数据的帧已被分成一个或多个片段，每个片段包括一帧或多帧。假设用原始3D视频数据定义连续运动的对象，那么大多数片段或所有片段可能包括多帧；但是，这不是必需的，并且可能存在一个片段仅包括一帧的情况。此外，也可能存在包括原始输入数据的所有帧的单个片段，而此处使用的术语“分离”包括这种情况。
在206框中，生成了一个片段中每帧的一致纹理图集，而纹理坐标被重新投影，从而使得CMS的源网格顶点被映射到一致纹理图集。本文所使用的术语，“一致纹理图集”或“CTA”，定义单个纹理坐标空间，该空间可以包括一帧中使用的所有纹理。图5为CTA生成过程500的流程图，过程500可以被执行，例如在206框中。在502框中，给定帧中的网格相关的纹理被添加到CTA，例如，通过把纹理的纹素添加到CTA坐标空间中当前未使用的区域来实现。在504框中，确定CTA坐标空间中与源网格中的每个顶点的原始uv坐标相对应的坐标，而在506框中，修改CMS源网格的顶点数据，把CTA坐标纳入其中。在508框中，可以为片段的一帧或多帧生成CTA，网格的顶点和CTA坐标空间中的坐标之间的映射在各帧中是一致的。给定片段中的每个CMS可以重复过程500。在一些实施例中，过程500产生的执行结果是，为片段中的每帧产生了一个CTA并且产生了网格顶点对CTA中坐标的映射。
再次参考图2，在208框中，可以压缩每个片段的CTA。片段的CTA可以被理解为一系列二维图像，一个图像对应片段的一帧。在特定纹理图表示颜色的情况下，CTA数据本身可以形成一个或多个2D图像。对于表示其他属性的纹理贴图，CTA包含一个或多个表示该属性的2D数组值，此时不一定形成图像。出于压缩的目的，这样的阵列可以被视为图像数据。因此，可以使用诸如MPEG-4，MPEG-2，H.264等标准2D视频压缩技术压缩片段的CTA。也可以使用压缩2D视频数据的其他技术。
在210框中，可以压缩每个片段的CMS。可以使用多种技术来压缩CMS。示例见M.Sattler等人的Proceedings of the 2005ACM SIGGRAPH/Eurographics Symposium onComputer Animation,pp.209-217(2005)。
为了进一步说明，图6是可以在210框中使用的CMS压缩过程600的流程图。在602框中，通过该段的每个顶点的轨迹得到确定。例如，每条轨迹可以表示为具有与该段中每帧对应的成分的矢量。在604框中，可以根据轨迹矢量的相似性把顶点分组成簇，从而单个矢量可以代表该簇中每个顶点的轨迹。这可以显着降低数据维度。在606框中，构建同类轨迹矩阵，而在608框中，对矩阵进行主成分分析(PCA)，产生一组特征值和系数。在610框中，特征值和系数可以被储存为压缩顶点数据。
再次参考图2，在212框中，可以输出每个片段的压缩数据。输出数据可以包括压缩的CTA数据(来自210框)和压缩的CMS数据(来自212框)。片段的压缩的CMS数据可以包括一帧的一组完整顶点数据(包括纹理映射)，例如序列的第一帧，和定义每个顶点通过连续帧的运动的数据。
图7为根据本发明实施例的用于存储CMS的压缩顶点数据的二进制文件结构700的简化表示。标头702包括关于网格的一般信息，具体包括顶点的数量704，面部的数量706，片段的帧数708，组件的数量710，和簇的数量712。面部索引714可以为网格提供顶点的关联性信息，例如，顶点到面的映射。UV索引716可以提供顶点到网格纹理坐标的映射。聚簇索引718可以提供每个顶点到网格中簇的映射。簇特征值720，簇系数722和簇参数724可以存储在210框中执行的CMS压缩的结果；在该示例中，使用PCA确定每簇的特征值和系数。有了这些数据，可以重建该片段的任何一帧中的对象几何。
可以根据需要存储和/或传输(压缩的)输出数据。存储或传输的数据可以被检索或接收，可以被接收到这些数据的计算机系统解压，从而用于渲染动画。压缩数据文件包括，包含每个片段的压缩顶点的数据(例如，压缩的CMS)的二进制文件和包含每个片段CTA的压缩的CTA视频文件。
图8为根据本发明实施例使用压缩过程压缩的数据渲染图像的过程800的流程图。过程800可以从802框中开始，此时渲染系统接收包括片段数据的压缩数据，其中至少一帧(Fi帧)将被渲染。如上所述，片段的压缩数据包括，包含该片段的CTA的2D视频文件和包含该片段的压缩顶点信息的二进制文件。在804框中，渲染系统可以在压缩的CTA视频文件中重新生成Fi帧的图像数据，例如，在使用标准2D视频压缩技术生成的2D视频文件的一帧中，使用常规再生成技术。在806框中，渲染系统可以使用该片段的二进制文件的特征向量和系数，为特定帧(例如，Fi帧)重新生成网格。在808框中，渲染系统可以使用重新生成的网格和重新生成的CTA来渲染Fi帧的图像。过程800可以在任意数量的帧中重复进行；可以连续渲染帧，生成动画。
在一些实施例中，本文描述的压缩数据结构可以支持3D视频流应用，在这些应用中，源系统中生成和/或存储的3D视频数据被发送到接收系统，进行实时显示。可以支持多种流应用，包括所谓的“实时”流媒体(数据大体上实时生成并传输到一个或多个接收设备)，和存储的3D视频数据流(存储的数据，根据需要，或者根据预定的时间表，例如广播时间表，被传输到接收设备)。
对于实时流媒体应用而言，可以在生成数据的同时对其进行压缩。例如，可以在每帧产生的同时，对其执行过程300，并且对每个片段的帧数设置上限，从而定义片段，而一旦每个片段被定义，206-214框中的操作就可以应用到每个片段。即使仍然有后续帧生成，片段的压缩数据也可以在生成时被传输。在存储数据被流式传输的应用中，该数据可以以压缩格式存储，并且可以根据需要或时间表传送到接收设备。
这里描述的压缩的数据文件，能够以类似常规音频和视频文件格式进行流式传输。示例流传输协议包括动态自适应流媒体传输(DASH)或HTTP直播流(HLS)。在这些和其他流传输协议中，视频流被分成小段，每个片段对应于一帧或多帧，而客户端(或接收系统)可以请求一段数据用于回放，并指定期望的比特率。在回放期间可以动态修改比特率。
为了在流传输期间支持动态比特率的选择，可以生成并存如上所述的压缩格式的网格和CTA数据，从而支持许多不同的比特率。例如，如果是网格数据，可以控制二进制文件中的帧数，并且生成和存储对应不同比特率的二进制文件的不同版本。可以修改比特率，例如，通过修改顶点的数量来实现。还可以针对不同的比特率，生成相应的视频数据文件(即，压缩的纹理数据)，并且与压缩的网格数据时间对齐。还可以得到时间对齐的音频文件，并且使用压缩的网格数据和视频数据文件，对时间对齐的音频文件进行流式传输。
在一些实施例中，视频文件和压缩的网格文件(二进制文件)的各种版本被单独存储，而流式客户端可以分别选择网格数据的比特率和纹理数据的比特率。在还提供音频的情况下，还可以存储音频文件，并且支持音频比特率的选择。
在接收系统中，一旦接收到给定帧的所有数据，就可以对给定帧进行渲染。例如，过程800可以用来重新生成给定片段的一帧或多帧，这个过程无需使用任何先前片段的数据，也无需等待后续片段的任何数据。因此，接收系统可以从流中的任何一点，启动渲染系统和显示系统。(接收系统可能需要等待新片段；但是，如上所述，压缩过程可以限制每个片段的帧数，从而限制了接收系统等待新片段所需的时间。)
这里描述的这种过程，可以使用一般常规设计的计算机系统来实现，也可以被编程以执行过程的操作，诸如上述的过程200和/或过程800。图9是实施本发明实施例的计算机系统900的简化方框图。在实施过程中，计算机系统900包括处理子系统902，存储子系统904，用户界面906和网络接口908。
处理子系统902可以包括一个或多个通用的可编程处理器，能够执行程序代码指令从而进行各种操作，包括本文所述的操作。在一些实施例中，处理子系统902可能包含可扩展的处理硬件(例如，刀片服务器阵列等)，可以根据变化的处理需求进行动态改编。
存储子系统904可以包括易失性和非易失性存储元件(例如，DRAM，SRAM，闪存，磁盘，光盘等)的组合。存储子系统904的某些部分可以用于存储，将由处理子系统904执行的程序代码。程序代码的示例可以包括压缩模块910(例如，为图2的过程200编码)和/或解压模块912(例如，为图8的过程800编码)。存储子系统904的某些部分还可以用于存储数据文件920，包括将要使用压缩模块910处理的原始3D视频文件，使用压缩模块910生成压缩的数据文件，和/或使用解压模块912生成解压的数据。
用户界面906可以包括用户输入设备和/或用户输出设备。用户输入设备的示例包括键盘，鼠标，操纵杆，触摸板，触摸屏，麦克风等。用户输出设备的示例包括显示设备(可以是触敏的)，扬声器，指示灯，打印机等。
可以使用硬件组件和软件组件的任何组合(这些组合能够与其他计算机系统通信)，来实现网络接口908。在一些实施例中，网络接口908可以使用以太网，Wi-Fi或其他类似技术与局域网(LAN)通信，而LAN可以实现与诸如因特网的广域网(WAN)的通信。通过网络接口908，计算机系统900可以与一个或多个其他计算机系统通信，从而支持本文描述的过程的分布式执行。
在一些实施例中，计算机系统900可以在服务器配置中操作，通过网络接口908与一个或多个客户端计算机通信。例如，计算机系统900可以操作压缩模块910，从而生成压缩数据，然后通过网络接口908，把压缩数据发送到一个或者多个客户端计算机。在通过网络接口908远程操作计算机系统900的实施例中，本地用户界面906可能是有限的(例如，只有几个指示灯)或被完全省略。
应当理解，计算机系统900是说明性的，因而允许变更和修改。例如，尽管这里参考特定框中描述了计算机系统900及其操作，但是应当理解，这些框的作用是为了方便描述，而不是为了对组件部分或者特定的软件结构做出特定的物理安排。此外，各框无需对应不同的物理组件。框可以被配置，从而执行各种操作，例如，通过编程处理器或提供适当的控制电路，并且取决于如何获得初始配置，各种框可以是或不是可重新配置的。本发明的实施例可以在各种装置中实现，包括使用电路和软件的任何组合实现的计算设备和计算机系统。
包含本发明的各种特征的计算机程序，可以编码并存储在各种计算机可读存储介质上；合适的介质包括磁盘或磁带，光盘存储介质，例如光盘(CD)或DVD(数字通用光盘)，闪存和其他非暂时性介质。(应当理解，数据的“存储”与通过诸如载波之类的暂时性介质进行的数据的传播不同。)用程序代码编码的计算机可读介质，可以与兼容的计算机系统或其他电子设备一起封装，或者程序代码可以与电子设备分开提供(例如，作为单独封装的计算机可读存储介质或通过导致程序代码存储在下载它的电子设备的计算机可读存储介质上的互联网下载过程)。
在替代实施例中，可以使用专用处理器来执行本文描述的部分或全部操作。可以优化此等处理器，例如，用于执行本文描述的特定操作，比如视频压缩。
虽然已经参考具体实施例描述了本发明，但是能够使用本专利的本领域技术人员会发现变更和修改是可能的。按顺序描述的处理操作可以并行，操作顺序可以修改，并且操作可以合并或省略。此外，也可以添加本文未做具体描述的操作。用于分割3D视频帧序列，识别一致网格序列，压缩纹理数据和/或压缩上述一致网格序列数据的特定算法是说明性的，并且可以替换其他算法。
如上所述，一帧中可以包含一个或多个网格，而每个网格能够以本文所述的方式压缩。与给定帧中的网格相关的所有纹理贴图可以在单个CTA中合并。在一些一帧包含多个网格的实施例中，任何一个网格中的拓扑变化可能定义分段边界。其他执行也是可能的。
因此，尽管已经就特定实施例描述了本发明，但是应当理解，本发明旨在包括下述权利要求范围内的所有修改和等效项。

Claims (26)

1.一种用计算机实现的压缩数据的方法，该方法包括：
接收描述帧序列的原始三维3D视频数据，其中每帧的原始3D视频数据包括网格和网格相关的纹理图；
将帧序列分成一个或多个片段，使得片段内所有帧的网格在拓扑上是一致的，从而为每个片段生成一致网格序列；
为该片段中至少一帧的纹理图中的每个片段构建一致的纹理图集；
使用二维2D视频压缩算法压缩一致的纹理图集；
压缩一致网格序列；和
以压缩数据的形式输出压缩的纹理图集和压缩一致网格序列。
2.根据权利要求1所述的方法，其中原始3D视频数据不包括表明不同帧中的网格间相关性的数据。
3.根据权利要求1所述的方法，其中分割帧序列包括：
选择其中一帧作为关键帧；和
基于变形误差确定分段边界，变形误差来自于关键帧的网格为了配准另一帧的网格而发生变形。
4.根据权利要求3所述的方法，其中使关键帧的网格变形，以符合另一帧的网格的做法，包括应用非刚性配准算法匹配关键帧和另一帧中的对应顶点。
5.根据权利要求1所述的方法，其中构建一致纹理图集包括重新投影网格的每个顶点的纹理坐标。
6.根据权利要求1所述的方法，其中为每个片段压缩所述的一致网格序列包括：
确定该段内每个顶点的轨迹；
基于顶点的轨迹定义顶点群；
构建簇轨迹矩阵；
对簇轨迹矩阵进行主成分分析；和
存储由主成分分析产生的一组特征向量和系数。
7.根据权利要求1所述的方法，其中输出压缩纹理图集和压缩一致网格序列包括存储包含压缩纹理图集和压缩一致网格序列的数据文件。
8.根据权利要求1所述的方法，其中输出压缩纹理图集和压缩一致网格序列，包括将压缩纹理图集和压缩一致网格序列流式传输到接收计算机系统。
9.根据权利要求8所述的方法，其中输出压缩纹理图集和压缩一致网格序列，还包括把音频文件流式传输到接收计算机系统，其中音频文件与压缩纹理图集和压缩一致网格序列是时间对齐的。
10.一种系统，包括：
一个处理子系统；和
一个与处理子系统耦合的存储子系统，所述的存储子系统存储程序代码指令，当处理子系统执行此等代码指令时，使得所述的处理子系统：
接收描述帧序列的原始三维3D视频数据，其中每帧的原始3D视频数据包括网格和网格相关的纹理图；
把每个片段帧序列分成一个或多个片端，从而使得段内所有帧的网格在拓扑上是一致的，进而为生成一致的网格序列；
为该段中至少一帧的纹理图中的每个片段构建一致的纹理图集；
使用二维2D视频压缩算法压缩一致的纹理图集；
压缩一致网格序列；和
以压缩数据的形式输出压缩的纹理图集和压缩一致网格序列。
11.根据权利要求10所述的系统，其中所述原始3D视频数据不包括表明不同帧中的网格间相关性的数据。
12.根据权利要求10所述的系统，其中所述程序代码指令包括此等指令，从而使得分割所述帧序列包括：
选择其中一帧作为关键帧；和
基于变形误差确定分段边界，变形误差来自于关键帧的网格为了符合另一帧的网格而发生变形。
13.根据权利要求12所述的系统，其中使关键帧的网格变形，以配准另一帧的网格的做法，包括应用非刚性配准算法匹配关键帧和另一帧中的对应顶点。
14.根据权利要求10所述的系统，其中所述程序代码指令包括此等指令，从而使得构建一致纹理图集包括重新投影网格的每个顶点的纹理坐标。
15.根据权利要求10所述的系统，其中所述程序代码指令包括此等指令，从而使得压缩每个片段的一致网格序列包括：
确定该段内每个顶点的轨迹；
基于顶点的轨迹定义顶点群；
构建簇轨迹矩阵；
对簇轨迹矩阵进行主成分分析；和
存储由主成分分析产生的一组特征向量和系数。
16.根据权利要求10所述的系统，其中所述程序代码指令包括此等指令，从而使得输出压缩纹理图集和压缩一致网格序列，包括存储包含压缩纹理图集和压缩一致网格序列的数据文件。
17.根据权利要求10所述的系统，其中所述程序代码指令包括此等指令，从而使得输出压缩纹理图集和压缩一致网格序列，包括将压缩纹理图集和压缩一致网格序列流式传输到接收计算机系统。
18.一种计算机可读存储介质，其上存储有程序代码，当计算机系统的处理器执行此等代码时，使得处理器执行一种方法，包括：
接收描述帧序列的原始三维3D视频数据，其中每帧的原始3D视频数据包括网格和网格相关的纹理图；
把帧序列分成一个或多个片端，从而使得段内所有帧的网格在拓扑上是一致的，进而为每个片段生成一致的网格序列；
为该段中至少一帧的纹理图中的每个片段构建一致的纹理图集；
使用二维2D视频压缩算法压缩一致的纹理图集；
压缩一致网格序列；和
以压缩数据的形式输出压缩的纹理图集和压缩一致网格序列。
19.根据权利要求18所述的计算机可读存储介质，其中所述原始3D视频数据不包括表明不同帧中的网格间相关性的数据。
20.根据权利要求18所述的计算机可读存储介质，其中分割所述帧序列包括：
选择其中一帧作为关键帧；和
基于变形所产生的误差确定分段边界，变形所产生的误差来自于关键帧的网格为了符合另一帧的网格而发生变形。
21.根据权利要求20所述的计算机可读存储介质，其中使关键帧的网格变形，以符合另一帧的网格的做法，包括应用非刚性配准算法匹配关键帧和另一帧中的对应顶点。
22.根据权利要求18所述的计算机可读存储介质，其中构建一致纹理图集包括重新投影网格的每个顶点的纹理坐标。
23.根据权利要求18所述的计算机可读存储介质，其中压缩每个片段的一致网格序列包括：
确定该片段内每个顶点的轨迹；
基于顶点的轨迹定义顶点群；
构建簇轨迹矩阵；
对簇轨迹矩阵进行主成分分析；和
存储由主成分分析产生的一组特征向量和系数。
24.根据权利要求18所述的计算机可读存储介质，其中输出压缩纹理图集和压缩一致网格序列，包括将压缩纹理图集和压缩一致网格序列流式传输到接收计算机系统。
25.根据权利要求18所述的计算机可读存储介质，其中输出压缩纹理图集和压缩一致网格序列，包括将压缩纹理图集和压缩一致网格序列流式传输到接收计算机系统。
26.根据权利要求18所述的计算机可读存储介质，其中输出压缩纹理图集和压缩一致网格序列，还包括把音频文件流式传输到接收计算机系统，其中音频文件与压缩纹理图集和压缩一致网格序列是时间对齐的。
CN201910098092.4A 2018-02-15 2019-01-31 用计算机实现的压缩数据的方法、系统、存储介质 Active CN110166757B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/898,127 US10417806B2 (en) 2018-02-15 2018-02-15 Dynamic local temporal-consistent textured mesh compression
US15/898,127 2018-02-15

Publications (2)

Publication Number Publication Date
CN110166757A true CN110166757A (zh) 2019-08-23
CN110166757B CN110166757B (zh) 2023-12-22

Family

ID=67540853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910098092.4A Active CN110166757B (zh) 2018-02-15 2019-01-31 用计算机实现的压缩数据的方法、系统、存储介质

Country Status (2)

Country Link
US (2) US10417806B2 (zh)
CN (1) CN110166757B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596432A (zh) * 2021-07-30 2021-11-02 成都市谛视科技有限公司 可变视角的3d视频制作方法、装置、设备及存储介质
CN113838152A (zh) * 2021-09-01 2021-12-24 首都师范大学 一种用于数据压缩、数据解压缩的方法和相关产品
CN113938667A (zh) * 2021-10-25 2022-01-14 深圳普罗米修斯视觉技术有限公司 基于视频流数据的视频数据传输方法、装置及存储介质
CN113938666A (zh) * 2021-10-25 2022-01-14 深圳普罗米修斯视觉技术有限公司 基于关键帧的视频数据传输方法、装置及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122675A1 (ko) * 2018-12-13 2020-06-18 삼성전자주식회사 3차원 메쉬 컨텐트를 압축하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2022211462A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 동적 메시 코딩을 위한 장치 및 방법
US20240289996A1 (en) * 2021-09-10 2024-08-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for decoding 3d content, encoder, and decoder
EP4402637A1 (en) * 2021-09-14 2024-07-24 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20230107834A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC Method and apparatus of adaptive sampling for mesh compression by encoders
US20230177736A1 (en) * 2021-12-03 2023-06-08 Tencent America LLC Method and apparatus for chart based mesh compression
WO2023148730A1 (en) * 2022-02-06 2023-08-10 Yoom.Com Ltd Material segmentation
CN115834642B (zh) * 2023-02-14 2023-04-21 成都主干智慧云信息技术有限公司 基于物联网技术的智慧小蚕共育室数据传输方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020143419A1 (en) * 2001-02-15 2002-10-03 Praun Emil C. Method and apparatus for generation of consistent parameterizations for a set of meshes
US6573890B1 (en) * 1998-06-08 2003-06-03 Microsoft Corporation Compression of animated geometry using geometric transform coding
US20060031915A1 (en) * 2004-08-03 2006-02-09 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams of a scene captured from different viewpoints forming a grid using spatial and temporal encoding
CN101610411A (zh) * 2009-07-16 2009-12-23 中国科学技术大学 一种视频序列混合编解码的方法和系统
US20100149179A1 (en) * 2008-10-14 2010-06-17 Edilson De Aguiar Data compression for real-time streaming of deformable 3d models for 3d animation
US20120262444A1 (en) * 2007-04-18 2012-10-18 Gottfried Wilhelm Leibniz Universitat Hannover Scalable compression of time-consistend 3d mesh sequences
US20130106834A1 (en) * 2011-11-02 2013-05-02 Visual Technology Services Limited Compression of texture rendered wire mesh models
CN103116897A (zh) * 2013-01-22 2013-05-22 北京航空航天大学 一种基于图像空间的三维动态数据压缩和平滑方法
GB2497424A (en) * 2011-12-06 2013-06-12 E Vision Smart Optics Inc Contact lens providing images to a wearer.
GB2499694A (en) * 2012-11-09 2013-08-28 Sony Comp Entertainment Europe System And Method Of Image Reconstruction
US20130321593A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation View frustum culling for free viewpoint video (fvv)
US20130328870A1 (en) * 2009-07-31 2013-12-12 Desmond T. Grenfell System and Method for Generating 2D Texture Coordinates for 3D Meshed Surfaces
CN103927746A (zh) * 2014-04-03 2014-07-16 北京工业大学 一种三维网格序列的配准及压缩方法
CN104541308A (zh) * 2012-09-28 2015-04-22 英特尔公司 使用多边形的3d网格和对应纹理对图像进行编码
US9036898B1 (en) * 2011-01-18 2015-05-19 Disney Enterprises, Inc. High-quality passive performance capture using anchor frames
US20160127681A1 (en) * 2014-10-31 2016-05-05 Microsoft Technology Licensing, Llc Modifying Video Call Data
CN105701857A (zh) * 2014-12-10 2016-06-22 达索系统公司 3d建模的对象的纹理化
CN106157339A (zh) * 2016-07-05 2016-11-23 华南理工大学 基于低秩顶点轨迹子空间提取的动画网格序列压缩算法
CN106321318A (zh) * 2016-08-18 2017-01-11 河南职业技术学院 一种汽车发动机启动控制系统及控制方法
US20170024930A1 (en) * 2015-07-20 2017-01-26 Ming Chuang Consistent tessellation via topology-aware surface tracking
US20170085733A1 (en) * 2014-05-12 2017-03-23 Dacuda Ag Method and apparatus for scanning and printing a 3d object

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843456B2 (en) * 2007-06-29 2010-11-30 Microsoft Corporation Gradient domain editing of animated meshes
US10431000B2 (en) * 2017-07-18 2019-10-01 Sony Corporation Robust mesh tracking and fusion by using part-based key frames and priori model

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6573890B1 (en) * 1998-06-08 2003-06-03 Microsoft Corporation Compression of animated geometry using geometric transform coding
US20020143419A1 (en) * 2001-02-15 2002-10-03 Praun Emil C. Method and apparatus for generation of consistent parameterizations for a set of meshes
US20060031915A1 (en) * 2004-08-03 2006-02-09 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams of a scene captured from different viewpoints forming a grid using spatial and temporal encoding
US20120262444A1 (en) * 2007-04-18 2012-10-18 Gottfried Wilhelm Leibniz Universitat Hannover Scalable compression of time-consistend 3d mesh sequences
US20100149179A1 (en) * 2008-10-14 2010-06-17 Edilson De Aguiar Data compression for real-time streaming of deformable 3d models for 3d animation
CN101610411A (zh) * 2009-07-16 2009-12-23 中国科学技术大学 一种视频序列混合编解码的方法和系统
US20130328870A1 (en) * 2009-07-31 2013-12-12 Desmond T. Grenfell System and Method for Generating 2D Texture Coordinates for 3D Meshed Surfaces
US9036898B1 (en) * 2011-01-18 2015-05-19 Disney Enterprises, Inc. High-quality passive performance capture using anchor frames
US20130106834A1 (en) * 2011-11-02 2013-05-02 Visual Technology Services Limited Compression of texture rendered wire mesh models
GB2497424A (en) * 2011-12-06 2013-06-12 E Vision Smart Optics Inc Contact lens providing images to a wearer.
US20130321593A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation View frustum culling for free viewpoint video (fvv)
CN104541308A (zh) * 2012-09-28 2015-04-22 英特尔公司 使用多边形的3d网格和对应纹理对图像进行编码
GB2499694A (en) * 2012-11-09 2013-08-28 Sony Comp Entertainment Europe System And Method Of Image Reconstruction
CN103116897A (zh) * 2013-01-22 2013-05-22 北京航空航天大学 一种基于图像空间的三维动态数据压缩和平滑方法
CN103927746A (zh) * 2014-04-03 2014-07-16 北京工业大学 一种三维网格序列的配准及压缩方法
US20170085733A1 (en) * 2014-05-12 2017-03-23 Dacuda Ag Method and apparatus for scanning and printing a 3d object
US20160127681A1 (en) * 2014-10-31 2016-05-05 Microsoft Technology Licensing, Llc Modifying Video Call Data
CN105701857A (zh) * 2014-12-10 2016-06-22 达索系统公司 3d建模的对象的纹理化
US20170024930A1 (en) * 2015-07-20 2017-01-26 Ming Chuang Consistent tessellation via topology-aware surface tracking
CN106157339A (zh) * 2016-07-05 2016-11-23 华南理工大学 基于低秩顶点轨迹子空间提取的动画网格序列压缩算法
CN106321318A (zh) * 2016-08-18 2017-01-11 河南职业技术学院 一种汽车发动机启动控制系统及控制方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596432A (zh) * 2021-07-30 2021-11-02 成都市谛视科技有限公司 可变视角的3d视频制作方法、装置、设备及存储介质
CN113596432B (zh) * 2021-07-30 2024-04-30 成都市谛视科技有限公司 可变视角的3d视频制作方法、装置、设备及存储介质
CN113838152A (zh) * 2021-09-01 2021-12-24 首都师范大学 一种用于数据压缩、数据解压缩的方法和相关产品
CN113838152B (zh) * 2021-09-01 2024-07-30 首都师范大学 一种用于数据压缩、数据解压缩的方法和相关产品
CN113938667A (zh) * 2021-10-25 2022-01-14 深圳普罗米修斯视觉技术有限公司 基于视频流数据的视频数据传输方法、装置及存储介质
CN113938666A (zh) * 2021-10-25 2022-01-14 深圳普罗米修斯视觉技术有限公司 基于关键帧的视频数据传输方法、装置及存储介质
CN113938667B (zh) * 2021-10-25 2023-07-25 珠海普罗米修斯视觉技术有限公司 基于视频流数据的视频数据传输方法、装置及存储介质
CN113938666B (zh) * 2021-10-25 2023-07-25 珠海普罗米修斯视觉技术有限公司 基于关键帧的视频数据传输方法、装置及存储介质

Also Published As

Publication number Publication date
US20190251734A1 (en) 2019-08-15
US20190371045A1 (en) 2019-12-05
US10650570B2 (en) 2020-05-12
US10417806B2 (en) 2019-09-17
CN110166757B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110166757A (zh) 用计算机实现的压缩数据的方法、系统、存储介质
Tewari et al. Advances in neural rendering
US11676325B2 (en) Layered, object space, programmable and asynchronous surface property generation system
CN104616243B (zh) 一种高效的gpu三维视频融合绘制方法
CN109964255B (zh) 使用3d视频数据的3d打印
US12003790B2 (en) Rendering a modeled scene
US20230260215A1 (en) Data stream, devices and methods for volumetric video data
JP2017199354A (ja) ３ｄシーンのグローバル・イルミネーションの描画
US20230336795A1 (en) Smart client for streaming of scene-based immersive media
US11991424B2 (en) Immersive media data complexity analyzer for transformation of asset formats
US11930059B2 (en) Immersive media streaming prioritized by frequency of asset reuse
US12081598B2 (en) Redundant cache for reusable immersive media assets
US20230144442A1 (en) Immersive media streaming prioritized by asset complexity
US20230146230A1 (en) Immersive media analyzer for reuse of scene assets
US20210027521A1 (en) Pack tile
Meder et al. Decoupling rendering and display using fast depth image based rendering on the gpu
WO2015061803A1 (en) Rendering a modeled scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant