CN102510497B - 基于分级量化的质量可伸缩的三维网格编码方法及装置 - Google Patents

Abstract

本发明提出了一种基于分级量化的质量可伸缩的三维网格编码方法，包括以下步骤：根据原始网格获得多个不同分辨率的网格，并将每个分辨率对应的网格作为一个空间分辨率层；对任意两个不同空间分辨率层进行层间预测以获得每个空间分辨率层对应的网格顶点的几何位置的预测残差；对所述预测残差进行迭代以获得最终的预测残差；以及对所述最终的预测残差进行分级量化，其中，较低的量化层的系数为网格预测残差的低频分量，较高的量化层的系数为残差的细节分量。本发明实施例不仅具有迭代法编码网格的高效性，同时还具有分级量化支持质量可伸缩性的灵活性。

Description

基于分级量化的质量可伸缩的三维网格编码方法及装置

技术领域

本发明涉及视频编解码技术领域，特别涉及一种基于分级量化的质量可伸缩的三维网格编码方法及装置。

背景技术

随着3D技术的发展，不管是在一般的公众场合还是在专业的工业领域，3D内容已经开始广泛应用于多媒体应用中。在计算机辅助设计(CAD)、电子医药、视频游戏、CGI(电脑生成的图像)电影、特效和动漫等工业领域中3D建模和表示扮演了一个重要的核心作用。

在一般情况下，3D内容采用3D网格表示，这就提供了通用性和多平台环境的互操作性的优势。因为造型复杂，逼真的3D对象可能需要成千上万的顶点网格，这就需要高带宽和存储要求，因此高效率的网格压缩算法成为关键的因素。由于需要适应不同的终端类型和网络带宽，需要编码的网格具有质量可伸缩性。在解码端重构的网格会随着接收的码流的增加而逐渐变得精细。

现有的实现网格质量可伸缩性的编码方法包括位平面、迭代的方法等。然而位平面方法具有一个固有的缺点：待编码的残差的微小变化可能对位平面的复杂度产生明显的影响。迭代的方法可以有效的编码效率，但是网格的最大误差直到最后一次迭代完成才会显著的下降。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种基于分级量化的质量可伸缩的三维网格编码方法及装置。

本发明实施例第一方面提出了一种基于分级量化的质量可伸缩的三维网格编码方法，包括以下步骤：根据原始网格获得多个不同分辨率的网格，并将每个分辨率对应的网格作为一个空间分辨率层；对任意两个不同空间分辨率层进行层间预测以获得每个空间分辨率层对应的网格顶点的几何位置的预测残差；对所述预测残差进行迭代以获得最终的预测残差；以及对所述最终的预测残差进行分级量化，其中，较低的量化层的系数为网格预测残差的低频分量，较高的量化层的系数为残差的细节分量。

本发明实施例第二方面提出了一种基于分级量化的质量可伸缩的三维网格编码装置，包括：生成模块，用于根据原始网格获得多个不同分辨率的网格，并将每个分辨率对应的网格作为一个空间分辨率层；预测模块，用于对任意两个不同空间分辨率层进行层间预测以获得每个空间分辨率层对应的网格顶点的几何位置的预测残差；迭代模块，用于对所述预测残差进行迭代以获得最终的预测残差；以及分级量化模块，用于对所述最终的预测残差进行分级量化，其中，较低的量化层的系数为网格预测残差的低频分量，较高的量化层的系数为残差的细节分量。

本发明实施例不仅具有迭代法编码网格的高效性，同时还具有分级量化支持质量可伸缩性的灵活性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于分级量化的质量可伸缩的三维网格编码方法流程图；

图2为本发明实施例的基于分级量化的具体的质量可伸缩的网格编码方法流程图；

图3为本发明实施例的基于QEM的边收缩方法；

图4为本发明实施例的分级量化的示意图；

图5为本发明实施例的分级量化的逆过程示意图；

图6为本发明实施例的灵活质量可伸缩的网格重构的示意图；

图7为本发明实施例基于分级量化的质量可伸缩的三维网格编码装置结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明的基本原理是：为了支持空间可伸缩性，编码的网格一般具有多个空间分辨率层。对于每个空间分辨率层，首先采用上一层的网格进行预测，得到本层的网格的几何位置的预测残差。对于当前层的网格的顶点位置我们可以采用迭代的方法进行预测，逐步选择其中的某些点添加到控制点集合中，并对其当前预测残差进行编码，迭代进行直至所有的点都位于控制点的集合中了。为了支持灵活的质量可伸缩，对预测残差进行编码采用的是分级量化的方法，残差被分解为多个量化层。较低的量化层的系数代表了残差的低频分量，较高的量化层的系数代表了残差的细节分量。在解码端，根据获得的不同的量化层的系数进行重构，可以得到不同质量精度的网格。

如图1所示，为本发明实施例的基于分级量化的质量可伸缩的三维网格编码方法流程图。同时为了更清楚的理解本发明的上述发明点，同时请参考图2。其中，参考图2，原始网格用M表示，网格的空间分辨率层数用N表示。第k个空间分辨率层的网格用M_k表示，第k个空间分辨率层的网格的拓扑结构用C_k表示。通过第k-1个空间分辨率层重构网格估计得到的平滑网格为该方法包括以下步骤：

步骤S101，根据原始网格获得多个不同分辨率的网格，并将每个分辨率对应的网格作为一个空间分辨率层。本发明实施例对于原始网格采用边收缩的方法以得到一系列的多分辨率网格。在边收缩的过程中，边两端的端点合并，并将和其中一个端点相连的边合并到另一个端点上。其中，在本发明的实施例中，将每个分辨率的网格作为一个空间分辨率层。

更为具体地，本发明实施例可采用公开的众所周知的基于QEM(quadric error met ric，二次误差测度)的边收缩的方法。如图3所示，为本发明实施例的基于QEM的边收缩方法示意图。在每次收缩过程中，将网格中的一条边收缩，同时边上的一个顶点合并到另一个顶点上。收缩的点对应的边合并到未收缩的顶点上。进行多次收缩操作，直到得到基本层。在这个过程中，需要记录相应的收缩信息。

采用上述简化方案中的边收缩的方法，通过不断收缩网格中的边，对网格进行简化。在简化的过程中，QEM收缩算法采用QEM作为误差度量准则，其误差定义如下：

$\mathrm{\Δ}\left(v\right)=\underset{p\∈\mathrm{planes}\left(v\right)}{\mathrm{\Σ}}{\left(p^{T}v\right)}^2=\underset{p\∈\mathrm{planes}}{\mathrm{\Σ}}{v}^T\left({\mathrm{pp}}^T\right)v$

$=v^T\mathrm{Qv}---\left(1\right)$

其中v是顶点坐标，用齐次坐标形式表示，p是摄射影坐标系平面的齐次坐标表示，Q＝pp^T。

其中，在该实施例中，QEM描述了网格顶点与所有相邻三角面片的距离平方和，初始化原始网格所有顶点的QEM误差为零。在每次收缩时，选取使得QEM增加最小的边，将其两个端点v1，v2合并，并对新合并的几何位置进行更新，其更新准则为：

minv^TQv                (2)

其中Q＝Q₁+Q₂，v是新点坐标。

由此得到了多分辨率网格，并使简化过程带来的误差最小。

步骤S102，对任意两个不同空间分辨率层进行层间预测以获得每个空间分辨率层对应的网格顶点的几何位置的预测残差。本发明实施例可对不同空间分辨率层之间可以进行层间预测。具体地，可以以上一层空间分辨率层的网格点的顶点位置作为控制点集，利用当前层的拓扑结构构造Laplacian矩阵来进行平滑估计，从而得到当前空间分辨率层的网格顶点的几何位置的预测残差。

更进一步地，读取当前层网格的连接信息，根据网格的拓扑结构信息构造对应的Laplacian矩阵。具体为：若当前层网格为M_k，其中，d_i是网格顶点i的度数，j为其他网格顶点的索引，则网格的Laplacian矩阵定义为：

$L_{\mathrm{ij}}=\left\{\begin{array}{cc}1& i=j\\ -1/d_i& i,\mathrm{j\; are\; neighbors}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

若控制点集合C中的顶点的几何位置为

v_s＝(x_s，y_s，z_x)，s∈C

其中，C＝{s₁，s₂，…，s_m}是控制点在当前空间分辨率层网格M中的下标索引，则估计的平滑网格的顶点位置的坐标x可以由以下超定方程得到：

Ax＝b                        (4)

其中， $A=\left(\begin{array}{c}F\\ L\end{array}\right)$ $F_{\mathrm{ij}}=\left\{\begin{array}{cc}1& j=s_i\&Element;C\\ 0& \mathrm{otherwise}\end{array}\right.$ $b_k=\left\{\begin{array}{cc}0& k\&le;n\\ v_{s_{k-n}}& n<k\&le;n+m\end{array}\right.,$ 其中，k为向量b的索引，n为网格顶点的数量，m为控制点的数量，则采用最小二乘的方法求解上述超定方程。

使用上一层空间分辨率重构得到的网格中的所有顶点作为初始的控制点集合，就可以得到当前层网格M_k的平滑估计

步骤S103，对预测残差进行迭代以获得最终的预测残差。具体地，本发明实施例可依据一定的准则，每次选取部分网格顶点加入到控制点集。然后重新利用控制点集进行平滑估计，从而得到当前层新的网格顶点的几何位置的预测残差。继续进行迭代，直到所有的点均加入到控制点集。本实施例中的准则是选取周围已重构顶点数量最多的网格顶点加入到控制点集中。

步骤S104，对最终的预测残差进行分级量化，其中，较低的量化层的系数为网格预测残差的低频分量，较高的量化层的系数为残差的细节分量对预测残差进行分级量化。在本发明的实施例中，对于不同的迭代层和量化层，可采用不同的量化步长进行量化。较低的量化层的系数代表了网格预测残差的低频分量，较高的量化层的系数代表了残差的细节分量。其中，解码过程为编码过程的逆过程，因此在此不再赘述。

具体地，在迭代预测的过程中，得到了当前层网格的所有顶点的预测残差，子该步骤中需要对其进行编码。为了支持灵活的质量可伸缩性，本发明实施例采用了分级量化的思想。如图4所示，为本发明实施例在编码过程每个空间分辨率层的所有的顶点的预测残差e的编码方式示意图。如图5所示，为本发明实施例在解码过程每个空间分辨率层的所有的顶点的重构残差的解码方式示意图。残差的分级量化的编解码过程分别为。

1)编码过程：

表1为分级量化中的量化步长

QP	0	1	2	3	4	5	6	7
									Qstep	0.625	0.6875	0.8125	0.875	1	1.125	125	1.375
QP	8	9	10	11	12	13	14	……
									Qstep	1.625	175	2	2.25	25	2.75	3.25	……

在本发明实施例的量化操作中，在给定的量化层次n，每个解码信号可以采用如下公式进行计算：

$e_n=e-\underset{i=0}{\overset{i=n-1}{\mathrm{\&Sigma;}}}{\hat{e}}_i---\left(5\right)$

其中，对应的重构的系数可以通过如下公式进行计算：

$\widetilde{e_n}|=\left(\right|e_n|\&CenterDot;\mathrm{MF}+f)>>\mathrm{qbits}$

$\mathrm{sign}\left(\widetilde{e_n}\right)=\mathrm{sign}\left(e_n\right)$

其中，＞＞代表二进制右移，且qbits＝15+floor(QP/6)。

优选地，在本发明的实施例中，对应不同QP的MF的前6个值如表2所示。对于QP＞5，因子MF呈现以6为周期的性质。

表1为一个周期中MF的值

QP	0	1	2	3	4	5
							MF	52429	47697	40355	37449	32768	29127

2)解码过程：

对于每个质量LOD QL_i的预测残差可以表示为：

$\hat{e}Q{L}_i=\underset{i=0}{\overset{i=n-1}{\mathrm{\&Sigma;}}}\hat{e}{\mathrm{QL}}_i---\left(6\right)$

其中，可以采用如下方式计算

$\left|{\hat{e}}_n^{\&prime;}\right|=\left|{\tilde{e}}_n\right|\&CenterDot;\mathrm{VF}<<\mathrm{qbits}$

$\left|{\hat{e}}_n\right|=\left(\right|{\hat{e}}_n^{\&prime;}|+32)>>6$

$\mathrm{sign}\left({\hat{e}}_n\right)=\mathrm{sign}\left({\tilde{e}}_n\right)$

其中，＜＜表示二进制左移，＞＞表示循环右移。其中VF＝(Qstep＜＜6)。对于0≤QP≤5，VF的定义如下表3所示。

表2为一个周期中VF的值

QP	0	1	2	3	4	5
							VF	40	44	52	56	64	72

如图6所示，为本发明实施例灵活质量科伸缩的网格重构示意图。对于给定空间分辨率层，则对于每个质量层QL_i可以通过如下方式获得：

$\hat{x}{\mathrm{QL}}_i=\hat{e}{\mathrm{QL}}_i+\mathrm{LSMESH}\left({\hat{x}\mathrm{QL}}_{i-1}\right)$

其中，LSMESH为预测函数，本实施例中的Laplacian矩阵方法是其中的一种预测方法。

如图7所示，为本发明实施例基于分级量化的质量可伸缩的三维网格编码装置结构图。该装置包括生成模块100、预测模块200、迭代模块300和分级量化模块400。其中，生成模块100用于根据原始网格获得多个不同分辨率的网格，并将每个分辨率对应的网格作为一个空间分辨率层。预测模块200用于对任意两个不同空间分辨率层进行层间预测以获得每个空间分辨率层对应的网格顶点的几何位置的预测残差。迭代模块300用于对所述预测残差进行迭代以获得最终的预测残差。分级量化模块400用于对最终的预测残差进行分级量化，其中，较低的量化层的系数为网格预测残差的低频分量，较高的量化层的系数为残差的细节分量。

在本发明的一个实施例中，生成模块100采用二次误差测度QEM收缩算法对所述原始网格中的边进行收缩以获得多个不同分辨率的网格，其中，所述QEM收缩算法采用QEM作为误差度量准则。

在本发明的一个实施例中，QEM  收缩算法的误差为： $\begin{array}{c}\mathrm{\&Delta;}\left(v\right)=\underset{p\&Element;\mathrm{planes}\left(v\right)}{\mathrm{\&Sigma;}}{\left(p^{T}v\right)}^2=\underset{p\&Element;\mathrm{planes}\left(v\right)}{\mathrm{\&Sigma;}}{v}^T\left({\mathrm{pp}}^T\right)v\\ =v^T\mathrm{Qv}\end{array},$ 其中，v是顶点坐标，用齐次坐标形式表示，p是摄射影坐标系平面的齐次坐标表示。

在本发明的一个实施例中，预测模块200读取当前空间分辨率层中网格的连接信息，根据网格的拓扑结构信息构造对应的Laplacian矩阵，以及根据所述Laplacian矩阵构造超定方程，和采用最小二乘法求解所述超定方程以获得每个空间分辨率层对应的网格顶点的几何位置的预测残差。

本发明实施例不仅具有迭代法编码网格的高效性，同时还具有分级量化支持质量可伸缩性的灵活性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (2)

1.一种基于分级量化的质量可伸缩的三维网格编码方法，其特征在于，包括以下步骤：

根据原始网格获得多个不同分辨率的网格，并将每个分辨率对应的网格作为一个空间分辨率层，其中，采用二次误差测度QEM收缩算法对所述原始网格中的边进行收缩以获得多个不同分辨率的网格，其中，所述QEM收缩算法采用QEM作为误差度量准则，所述QEM收缩算法的误差为：

$\begin{array}{c}\mathrm{\&Delta;}\left(v\right)=\underset{p\&Element;\mathrm{planes}\left(v\right)}{\mathrm{\&Sigma;}}{\left(p^{T}v\right)}^2=\underset{p\&Element;\mathrm{planes}\left(v\right)}{\mathrm{\&Sigma;}}{v}^T\left({\mathrm{pp}}^T\right)v\\ =v^T\mathrm{Qv}\end{array},$ 其中，v是顶点坐标，用齐次坐标形式表示，p是射影坐标系平面的齐次坐标表示，Q＝pp^T；

利用上一层空间分辨率层进行层间预测，以获得当前空间分辨率层对应的网格顶点的几何位置的预测残差，具体包括：

读取当前空间分辨率层中网格的连接信息，根据网格的拓扑结构信息构造对应的Laplacian矩阵，

根据所述Laplacian矩阵构造超定方程，其中，所述Laplacian矩阵为：

其中，当前空间分辨率层网格为M_k，d_i是网格顶点i的度数，j为网格其他顶点的索引，

其中，所述超定方程为：

Ax＝b，其中，

$A=\left(\begin{array}{c}F\\ L\end{array}\right),$ $b_k=\left\{\begin{array}{cc}0& k\&le;n\\ v_{s_{k-n}}& n<k\&le;n+m\end{array}\right.,$ 其中，si为控制点，k为向量b的索引，n为网格顶点数，m为控制点的数量，C＝{s₁，s₂，..，s_m}为控制点在当前空间分辨率层网格M中的下标索引，

采用最小二乘法求解所述超定方程以获得所述当前空间分辨率层对应的网格顶点的几何位置的预测残差；

对所述预测残差进行迭代以获得最终的预测残差；以及

对所述最终的预测残差进行分级量化，其中，较低的量化层的系数为网格预测残差的低频分量，较高的量化层的系数为残差的细节分量。

2.一种基于分级量化的质量可伸缩的三维网格编码装置，其特征在于，包括：

生成模块，用于根据原始网格获得多个不同分辨率的网格，并将每个分辨率对应的网格作为一个空间分辨率层，其中，所述生成模块采用二次误差测度QEM收缩算法对所述原始网格中的边进行收缩以获得多个不同分辨率的网格，其中，所述QEM收缩算法采用QEM作为误差度量准则，所述QEM收缩算法的误差为：

$\begin{array}{c}\mathrm{\&Delta;}\left(v\right)=\underset{p\&Element;\mathrm{planes}\left(v\right)}{\mathrm{\&Sigma;}}{\left(p^{T}v\right)}^2=\underset{p\&Element;\mathrm{planes}\left(v\right)}{\mathrm{\&Sigma;}}{v}^T\left({\mathrm{pp}}^T\right)v\\ =v^T\mathrm{Qv}\end{array},$ 其中，v是顶点坐标，用齐次坐标形式表示，p是射影坐标系平面的齐次坐标表示，Q＝pp^T；

预测模块，用于利用上一层空间分辨率层进行层间预测，以获得当前空间分辨率层对应的网格顶点的几何位置的预测残差，具体包括：

所述预测模块读取当前空间分辨率层中网格的连接信息，根据网格的拓扑结构信息构造对应的Laplacian矩阵，以及根据所述Laplacian矩阵构造超定方程，和采用最小二乘法求解所述超定方程以获得所述当前空间分辨率层对应的网格顶点的几何位置的预测残差，其中，所述Laplacian矩阵为：

其中，当前空间分辨率层网格为N_k，d_i是网格顶点i的度数，j为网格其他顶点的索引，

其中，所述超定方程为：

Ax＝b，其中，

$A=\left(\begin{array}{c}F\\ L\end{array}\right),$ $b_k=\left\{\begin{array}{cc}0& k\&le;n\\ v_{s_{k-n}}& n<k\&le;n+m\end{array}\right.,$ 其中，si为控制点，k为向量b的索引，n为网格顶点数，m为控制点的数量，C＝{s₁，s₂，...，s_m}为控制点在当前空间分辨率层网格M中的下标索引；

迭代模块，用于对所述预测残差进行迭代以获得最终的预测残差；以及

分级量化模块，用于对所述最终的预测残差进行分级量化，其中，较低的量化层的系数为网格预测残差的低频分量，较高的量化层的系数为残差的细节分量。