CN110769261A - 一种三维动态序列模型的压缩编码方法 - Google Patents

一种三维动态序列模型的压缩编码方法 Download PDF

Info

Publication number
CN110769261A
CN110769261A CN201910572619.2A CN201910572619A CN110769261A CN 110769261 A CN110769261 A CN 110769261A CN 201910572619 A CN201910572619 A CN 201910572619A CN 110769261 A CN110769261 A CN 110769261A
Authority
CN
China
Prior art keywords
model
control
control point
template model
control points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910572619.2A
Other languages
English (en)
Inventor
罗曦
朱煜
李玉伟
张迎梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Overlapping Digital Technology (shanghai) Co Ltd
Plex VR Digital Technology Shanghai Co Ltd
Original Assignee
Overlapping Digital Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Overlapping Digital Technology (shanghai) Co Ltd filed Critical Overlapping Digital Technology (shanghai) Co Ltd
Priority to CN201910572619.2A priority Critical patent/CN110769261A/zh
Publication of CN110769261A publication Critical patent/CN110769261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Abstract

本发明公开了一种三维动态序列模型的压缩编码方法，包括如下步骤：一.选取某帧序列模型作为模板模型M；二.对模板模型M设置一系列控制点构成的控制点点集N；三.利用函数，通过对控制点的变换，带动模板模型M的形变，将模板模型M对齐到目标模型，得到M’；四.记录每一帧控制点的姿态，用控制点的姿态来编码模型，实现压缩；五.统一模板模型M的贴图坐标UV，对贴图按视频压缩标准进行压缩。本发明压缩率和精细度可控，可根据实际需求调节模板模型的精度和控制点的数量，以达到不同的压缩率和精度。

Description

一种三维动态序列模型的压缩编码方法
技术领域
本发明涉及一种编码方法，具体是一种三维动态序列模型的压缩编码方法。
背景技术
我们生活在三维世界中，人的信息获取90％以上都来自于双眼看到的三维影像。而受 限于现有的技术水平，我们的信息通信还是主要以二维数字媒体来进行，这极大的限制了 信息的传输效率。近年来，随着虚拟现实(virtualreality，VR)/增强现实(augmentedreality，AR)的发展，人们越来越不满足于传统的二维平面媒体，而更希望 能像真实世界一样从任意角度(free-viewpoint)去观察事物的演变。这样的方式更加直 观，形象和真实，也搭载着更多的信息量，让人更容易理解事物承载的信息。
为了实现向三维媒体转型的目标，许多学者和工程师投身于此，创造出一批批十分优 秀的作品，为虚拟世界创建了无数的三维动态模型。其中的翘楚，Collet等人结合多个深 度传感器和RBG相机，实现了高精度三维动态人/物重建，给观众提供了前所未有的沉浸 式观赏体验。
但这样振奋人心的成果后面，却隐含着一个巨大的挑战--如何减小动态模型的存储空 间。为了实现高沉浸感和高精度，三维动态数据里的每一帧，都是由一个密实的三维网格 模型和一张与之对应的高分辨率的贴图组成。这样的数据如果不压缩，就会导致即使是一 小段内容也会占用数以GB计的存储空间。例如，8i里的一段10秒的三维动态样片就会占 用2GB。这么大的数据量对于实时传输和用户端的存储都是很大的问题。虽然现存的视频 压缩标准能在一定程度上压缩贴图并有压缩网格模型的潜力，但这样的方法，往往忽略了 动态序列几何上的连续性和可压缩性，压缩比例和质量也常常不尽人意，且这样的方法需 要序列的几何拓扑一致。糟糕的是，动态模型常常是用多视角立体视觉 (multi-viewstereo，MVS)的方法来获取，帧与帧间的模型的几何拓扑差异十分大，这 非常不利用后续的压缩和其他编辑操作。
发明内容
本发明的目的在于提供一种三维动态序列模型的压缩编码方法，以解决上述背景技术 中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种三维动态序列模型的压缩编码方法，包括如下步骤：一.选取某帧序列模型作为 模板模型M；二.对模板模型M设置一系列控制点构成的控制点点集N；三.利用函数，通过对控制点的变换，带动模板模型M的形变，将模板模型M对齐到目标模型，得到M’； 四.记录每一帧控制点的姿态，用控制点的姿态来编码模型，实现压缩；五.统一模板模型 M的贴图坐标UV，对贴图按视频压缩标准进行压缩。
作为本发明进一步的方案：所述步骤一中模板模型M的选取方法为：从序列模型中选 取一帧无明显粘连、缺失、几何效果好的模型作为模板模型M或者直接选取第一帧作为模 板模型M，然后根据实际工程需求，对模板模型M进行修改。
作为本发明进一步的方案：所述根据实际工程需求，对模板模型M进行修改包括对精 细度、压缩率的修改。
作为本发明进一步的方案：所述步骤二中对控制点的采集采用均匀采样的方式，用欧 式距离或者测地距离进行控制点的选取和权重设置。
作为本发明进一步的方案：所述控制点的点集N的选取方法为：设定控制点间的间隔 范围di，以第一个顶点为起始点，按深度优先搜索算法遍历所有的顶点，每当某个顶点与 最新的控制点的测地距离大于di时，将此顶点加入点集N中。
作为本发明进一步的方案：通过调节di的大小来控制压缩率和精细程度，di越小，控制点越多、压缩率越小、精细度越高。
作为本发明进一步的方案：所述控制点的点集N的选取方法还包括：设定一个控制点 的控制范围dradius，dradius＞di，其中
Figure BDA0002111289470000022
表示第i个控制点，
Figure BDA0002111289470000023
在 此范围中的顶点都会受到
Figure BDA0002111289470000024
的影响，同时，计算出顶点v离的距离
Figure BDA0002111289470000026
依据
Figure BDA0002111289470000031
将顶点v受控制点影响的权重设置为
Figure BDA0002111289470000032
然后将所有顶点权重加起来 进行归一化处理。
作为本发明再进一步的方案：所述控制点间的权重，表达为
Figure BDA0002111289470000033
表示控制点
Figure BDA0002111289470000034
受
Figure BDA0002111289470000035
的影响程度，其中∈表示控制点对控制点的影响范围,
Figure BDA0002111289470000036
表示控制点与
Figure BDA0002111289470000038
的测地距离，然后将所有顶点权重进行归一化处理。
作为本发明再进一步的方案：所述将模板模型M对齐到目标模型得到M’的方法为：定义一个损失函数，并运用高斯牛顿法来做非刚体形变将M形变为M’，损失函数定义为：
Figure RE-GDA0002164822730000039
其中，λ皆代表对应的可调参数，n指M上的顶点个数，ψΤ是Tukey惩罚函数，ψH是Huber惩罚函数，vct表示从M优化来的点，nct是它对应的法向，vt是vct在目标模型上的 最近点，ε(i)表示受第i个控制点影响的周围的K个临近控制点集合，Ti和Tj分别表示关 键点
Figure RE-GDA00021648227300000310
的姿态矩阵，优化Ti和Tj，让模板模型M尽量和目标模型对齐，最终我 们可以得到形变后的与目标模型对齐的M’，和它对应的新姿态下的控制点点集N’。
与现有技术相比，本发明的有益效果是：1.压缩率和精细度可控：可根据实际需求调 节模板模型的精度和控制点的数量，以达到不同的压缩率和精度；2.适用性广：模型在动 态演变过程中，既可以是刚体变化，也可以是非刚体变化；3.序列模型可用于后续编辑工 作：本方法将统一序列模型的几何拓扑结构，在实现压缩的同时，也支持用户对序列模型 的批量编辑工作(如序列模型平滑操作，关键帧插值等等)。
附图说明
图1为本发明中模板模型M的控制点采样正视图。
图2为本发明中模板模型M的控制点采样侧视图。
图3为本发明中模板模型M的控制点采样后视图。
图4为本发明中目标模型M’的示意图。
图5为采用本发明方法编码解压后恢复的图形。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅 仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技 术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。
一种三维动态序列模型的压缩编码方法，包括如下步骤：
一.选取某帧序列模型作为模板模型M，可从序列模型中选取一帧无明显粘连，缺失，几何效果好的模型作为M(也可直接选取第一帧作为M)，然后根据实际工程需求， 交给模型师进行修改，例如精细度要求较高，可让模型师对模型细节进行修缮，压缩率要 求高，则可让模型师进行减面操作；
二.对模板模型M设置一系列控制点构成的控制点点集N，在M上对N进行采集的 操作，常采用均匀采样，用欧式距离(L2 distance)或者测地距离(geodesicdistance) 进行控制点选取和权重设置。其中欧式距离对模板模型M的姿势比较敏感，需要M为“A” 或者“T”姿势才能得到比较好的结果。因此实际操作中常依据测地距离来进行控制点集N 的设置(后文所述距离如无特殊说明，皆表示测地距离)。
具体设置方法：
(a)控制点集N的选取：设定控制点间的间隔范围di，以第一个顶点为起始点， 按深度优先搜索算法(depth-firstsearch，DFS)遍历所有的顶点，每当顶点与最新的控 制点的测地距离大于di时，将此顶点加入点集N中。此步骤中，可通过调节di的大小来 控制压缩率和精细程度。di越小，控制点越多，压缩率越小，精细度越高。
(b)模型顶点受N影响的程度：因为后续操作中，需要用控制点集N来带动模型顶点的变化，因此需要计算出每个顶点受各个控制点的影响程度--也就是权重。此时，我 们需要再设定一个控制点
Figure RE-GDA0002164822730000051
(第i个控制点，
Figure 1
)的控制范围 dradius(dradius>di)，在此范围中的顶点都会受到
Figure RE-GDA0002164822730000053
的影响。同时，我们也能很容易 的计算出顶点v离
Figure RE-GDA0002164822730000054
的距离
Figure RE-GDA0002164822730000055
依据
Figure RE-GDA0002164822730000056
可将顶点v受控制点影响的权重设置 为
Figure RE-GDA0002164822730000057
一个顶点往往不只受一个控制点的影响，此时我们需要将所有权重加起 来进行归一化处理。
(c)控制点间的影响程度：控制点间权重，可表达为
Figure BDA0002111289470000058
表示控制点
Figure RE-GDA0002164822730000059
受的影响程度，其中∈表示控制点对控制点的影响范围,
Figure RE-GDA00021648227300000511
表示控制点
Figure RE-GDA00021648227300000512
与
Figure RE-GDA00021648227300000513
的测地距离。与(b)相似，一个控制点会受多个控制 点的制约，权重需要进行归一化处理。
三.利用函数，通过对控制点的变换，带动模板模型M的形变，将模板模型M对齐到目标模型，得到M’，经过步骤一和二可以得到一个设置好控制点的模板模型M，想用它 来表示其余的模型，则需要进行对齐(alignment)操作，也就是说想让M经过形变后， 尽可能的贴合目标模型T。动态模型中，物体的演变过程(特别是人体动态模型)，常常 是非刚体的，所以简单的平移和旋转操作并不能实现我们的需求。在此过程中，我们定义 了一个损失函数(loss function)，并运用高斯牛顿法(Gauss-Newton method)来做非 刚体形变将M形变为M’。损失函数定义为：
其中，λ皆代表对应的可调参数，n指M上的顶点个数。ψΤ是Tukey惩罚函数，ψH是Huber惩罚函数。vct表示从M优化来的点，nct是它对应的法向，vt是vct在目标模型T 上的最近点(L2距离)。Vnode是在(a)中采集的模板模型M上的m个控制点，
Figure RE-GDA0002164822730000062
是 第j个控制点的空间位置，ε(i)表示受第i个控制点影响的周围的K个临近控制点集合。 如2(c)所述是控制点
Figure RE-GDA0002164822730000064
间的权重。Ti和Tj分别表示关键点
Figure RE-GDA0002164822730000065
的姿态矩阵。我们优化目标就是优化Ti和Tj，让M尽量和目标模型T对齐。最终我们可以 得到形变后的与T对齐的M’，和它对应的新姿态下的控制点集N’。
四.记录每一帧控制点的姿态，用控制点的姿态来编码模型，实现压缩，经过步骤三 后，我们可以用M’来表达新一帧的模型。同时也得到了此帧下的N的新姿态N’。此时 的N’与M’是等价的，可相互转换的。因此，新一帧的模型则可表达为N’。
五.经过上述步骤，所有的序列模型都变成了与M相同的拓扑结构，意味着模型的贴 图坐标UV也可表示成一致的。如果知道序列模型的拍摄时的图片，则可用图片按相同的UVUV进行重贴图，如果不知道序列模型的拍摄时的图片，则可利用三维编辑软件(如maya)进行重渲染贴图，得到一致的新贴图后，我们则可对贴图序列按视频流压缩标准进行压缩。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背 离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从 哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权 利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有 变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含 一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将 说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可 以理解的其他实施方式。

Claims (8)

1.一种三维动态序列模型的压缩编码方法，其特征在于，包括如下步骤：一.选取某帧序列模型作为模板模型M；二.对模板模型M设置一系列控制点构成的控制点点集N；三.利用函数，通过对控制点的变换，带动模板模型M的形变，将模板模型M对齐到目标模型，得到M’；四.记录每一帧控制点的姿态，用控制点的姿态来编码模型，实现压缩；五.统一模板模型M的贴图坐标UV，对贴图按视频压缩标准进行压缩。
2.根据权利要求1所述的三维动态序列模型的压缩编码方法，其特征在于，所述步骤一中模板模型M的选取方法为：从序列模型中选取一帧模型作为模板模型M或者直接选取第一帧作为模板模型M，然后根据实际工程需求，对模板模型M的精细度、压缩率进行修改。
3.根据权利要求2所述的三维动态序列模型的压缩编码方法，其特征在于，所述步骤二中对控制点的采集采用均匀采样的方式，用欧式距离或者测地距离进行控制点的选取和权重设置。
4.根据权利要求3所述的三维动态序列模型的压缩编码方法，其特征在于，所述控制点的点集N的选取方法为：设定控制点间的间隔范围di，以第一个顶点为起始点，按深度优先搜索算法遍历所有的顶点，每当某个顶点与最新的控制点的测地距离大于di时，将此顶点加入点集N中。
5.根据权利要求4所述的三维动态序列模型的压缩编码方法，其特征在于，通过调节di的大小来控制压缩率和精细程度，di越小，控制点越多、压缩率越小、精细度越高。
6.根据权利要求5所述的三维动态序列模型的压缩编码方法，其特征在于，所述控制点的点集N的选取方法还包括：设定一个控制点
Figure FDA0002111289460000011
的控制范围dradius，dradius＞di，其中
Figure FDA0002111289460000012
表示第i个控制点，在此范围中的顶点都会受到的影响，同时，计算出顶点v离的距离
Figure FDA0002111289460000016
依据将顶点v受控制点影响的权重设置为
Figure FDA0002111289460000021
然后将所有顶点权重加起来进行归一化处理。
7.根据权利要求6所述的三维动态序列模型的压缩编码方法，其特征在于，所述控制点间的权重，表达为
表示控制点
Figure FDA0002111289460000023
受的影响程度，其中∈表示控制点对控制点的影响范围,
Figure FDA0002111289460000025
表示控制点与
Figure FDA0002111289460000027
的测地距离，然后将所有顶点权重进行归一化处理。
8.根据权利要求7所述的三维动态序列模型的压缩编码方法，其特征在于，所述将模板模型M对齐到目标模型得到M’的方法为：定义一个损失函数，并运用高斯牛顿法来做非刚体形变将M形变为M’，损失函数定义为：
Figure RE-FDA0002164822720000028
其中，λ皆代表对应的可调参数，n指M上的顶点个数，ψΤ是Tukey惩罚函数，ψH是Huber惩罚函数，vct表示从M优化来的点，nct是它对应的法向，vt是vct在目标模型上的最近点，ε(i)表示受第i个控制点影响的周围的K个临近控制点集合，Ti和Tj分别表示关键点
Figure RE-FDA0002164822720000029
Figure RE-FDA00021648227200000210
的姿态矩阵，优化Ti和Tj，让模板模型M尽量和目标模型对齐，最终我们得到形变后的与目标模型对齐的M’，和它对应的新姿态下的控制点点集N’。
CN201910572619.2A 2019-06-28 2019-06-28 一种三维动态序列模型的压缩编码方法 Pending CN110769261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910572619.2A CN110769261A (zh) 2019-06-28 2019-06-28 一种三维动态序列模型的压缩编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910572619.2A CN110769261A (zh) 2019-06-28 2019-06-28 一种三维动态序列模型的压缩编码方法

Publications (1)

Publication Number Publication Date
CN110769261A true CN110769261A (zh) 2020-02-07

Family

ID=69329294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910572619.2A Pending CN110769261A (zh) 2019-06-28 2019-06-28 一种三维动态序列模型的压缩编码方法

Country Status (1)

Country Link
CN (1) CN110769261A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354067A (zh) * 2020-03-02 2020-06-30 成都偶邦智能科技有限公司 一种基于Unity3D引擎的多模型同屏渲染方法
CN114089833A (zh) * 2021-11-23 2022-02-25 清华大学 一种虚拟现实身体所有权的量化方法、系统及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426712A (zh) * 2011-11-03 2012-04-25 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法
CN103383778A (zh) * 2013-07-03 2013-11-06 中国科学院计算技术研究所 一种三维卡通人脸生成方法和系统
CN104318606A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 3d脸型变化方法及系统
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
US20160100198A1 (en) * 2014-10-07 2016-04-07 Canon Kabushiki Kaisha Encoding apparatus and method of controlling the same
CN109242954A (zh) * 2018-08-16 2019-01-18 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426712A (zh) * 2011-11-03 2012-04-25 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法
CN103383778A (zh) * 2013-07-03 2013-11-06 中国科学院计算技术研究所 一种三维卡通人脸生成方法和系统
CN104318606A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 3d脸型变化方法及系统
US20160100198A1 (en) * 2014-10-07 2016-04-07 Canon Kabushiki Kaisha Encoding apparatus and method of controlling the same
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN109242954A (zh) * 2018-08-16 2019-01-18 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354067A (zh) * 2020-03-02 2020-06-30 成都偶邦智能科技有限公司 一种基于Unity3D引擎的多模型同屏渲染方法
CN111354067B (zh) * 2020-03-02 2023-08-22 成都偶邦智能科技有限公司 一种基于Unity3D引擎的多模型同屏渲染方法
CN114089833A (zh) * 2021-11-23 2022-02-25 清华大学 一种虚拟现实身体所有权的量化方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN108898630B (zh) 一种三维重建方法、装置、设备和存储介质
CN115082639B (zh) 图像生成方法、装置、电子设备和存储介质
CN107507253B (zh) 基于高阶张量近似的多属性体数据压缩方法
CN108600730B (zh) 一种基于合成图像质量度量的远程绘制方法
CN104658038A (zh) 基于动作捕捉的三维数字内容智能制作方法及制作系统
CN102592275A (zh) 虚拟视点绘制方法
CN106157354A (zh) 一种三维场景切换方法及系统
CN106683163B (zh) 一种视频监控的成像方法及系统
CN109191554A (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN110769261A (zh) 一种三维动态序列模型的压缩编码方法
CN116843841B (zh) 基于网格压缩的大规模虚拟现实系统
CN111612878A (zh) 将静态照片制作成三维效果视频的方法及装置
CN111028335B (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN114004842A (zh) “分形视距”纹理压缩与彩色多边形纹理集成的三维模型可视化方法
CN109461197B (zh) 一种基于球面uv和重投影的云实时绘制优化方法
CN108986204B (zh) 一种基于双重校准的全自动快速室内场景三维重建装置
KR20060087631A (ko) 3차원 삼각 메쉬의 기하 정보 데이터 단순 압축 및 해제 기술
CN111161407A (zh) 一种水下三维重建系统和方法
CN114998503A (zh) 一种基于实景三维的白模自动纹理构建方法
CN113077545B (zh) 一种基于图卷积的从图像中重建着装人体模型的方法
CN116363290A (zh) 一种用于大规模场景三维重建的纹理贴图生成方法
CN113989434A (zh) 一种人体三维重建方法及设备
CN112927348A (zh) 一种基于多视点rgbd相机高分辨率人体三维重建方法
CN1556505A (zh) 虚拟分形场景三维漫游系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207