CN105741332A - 一种真实感三维网格压缩方法 - Google Patents

Abstract

本发明公开一种真实感三维网格压缩方法，其能够提高在压缩法向图像上的效率，从而有效地提高真实感三维网格的压缩效率。该方法包括编码阶段和解码阶段；原始的输入数据是原始的几何图像GI，原始的θ′?角度图像I_θ′以及原始的φ?角度图像I_φ，编码阶段包括：(1)下采样平滑的几何图像；(2)通过解码重建后的几何图像预测角度图像；解码阶段包括：(3)解码并上采样上述几何图像，得到重建后的几何图像(4)通过预测θ?角度图像，φ?角度图像和θ′?角度图像，得到预测的和(5)解码残差和并添加到预测的和得到重建的θ′?角度图像和重建的φ?角度图像(6)利用估计边信息作用于最后得到重建后的角度图像和

Description

一种真实感三维网格压缩方法

技术领域

本发明属于数据压缩的技术领域，具体地涉及一种真实感三维网格压缩方法。

背景技术

真实感三维网格是通过三维建模技术生成的带有法向渲染的几何网格,它是由三维模型的几何数据、法向数据以及其他属性数据构成。随着计算机图形学技术的飞速发展，三维网格越来越多地应用在了科学探索、工程设计、模拟游戏等领域，这些应用对于三维网格的真实感和精度的要求也在与日俱增。但是，作为网格真实感渲染的重要因素，法向数据包含了太多的细节信息，这严重影响了压缩的效率。因此，在带宽受限的网络环境下，如何高效地压缩和传输带有法向数据的三维网格成为一个重要又流行的课题。

目前针对真实感三维网格压缩可以分为两类：基于网格的压缩方法和基于图像的重网格的压缩方法。对于基于网格的压缩方法，主要是在不改变三维网格的几何结构和性质的基础上，对三维网格的几何数据、法向数据以及属性数据等使用预测、量化等常规压缩手段进行压缩。而对于基于图像的重网格的压缩方法，主要是将三维网格几何数据和法向数据通过参数化映射到二维平面，再经过重采样及量化生成与之同构的几何图像和法向图像，并利用常用的图像压缩算法进行压缩。

由于重新生成了规则化的网格，基于图像的重网格的压缩方法在性能上要优于基于网格的压缩方法。因为三维网格的连接关系被隐藏在参数化过程中，所以降低了整体数据的规模且可以利用图像压缩方法例如JPEG2000压缩。但是，由于传统的法向图像压缩需要三个图像，因此这类压缩方法在压缩法向图像上的效率有待提高。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种真实感三维网格压缩方法，其能够提高在压缩法向图像上的效率，从而有效地提高真实感三维网格的压缩效率。

本发明的技术解决方案是：这种真实感三维网格压缩方法，该方法包括编码阶段和解码阶段；

原始的输入数据是原始的几何图像GI，原始的θ′-角度图像I_θ′以及原始的φ-角度图像I_φ，编码阶段包括：

(1)下采样平滑的几何图像；

(2)通过解码重建后的几何图像预测角度图像；

解码阶段包括：

(3)解码并上采样上述几何图像，得到重建后的几何图像

(4)通过预测θ-角度图像，φ-角度图像和θ′-角度图像，得到预测的和

(5)解码残差和并添加到预测的和得到重建的θ′-角度图像和重建的φ-角度图像

(6)利用估计边信息作用于最后得到重建后的角度图像和

由于针对传统的法向图像压缩需要三个图像，不能有效地提高压缩效率，本发明提出了角度图像的概念以及一种基于预测的角度图像的编解码框架，首先提出降低法向成分的数量从3个降为2个，同时考虑几何数据与法向数据的相关性，提出了通过几何图像预测角度图像，使得可以利用现有的图像压缩算法压缩2个角度图像，而不是3个法向图像分量，因此能够提高在压缩法向图像上的效率，从而有效地提高真实感三维网格的压缩效率。

附图说明

图1示出了以bunny和venus模型为例，使用1：1的码率比例压缩几何网格以及法向图像的重建PSNR结果比较。

具体实施方式

这种真实感三维网格压缩方法，该方法包括编码阶段和解码阶段；

原始的输入数据是原始的几何图像GI，原始的θ′-角度图像I_θ′以及原始的φ-角度图像I_φ，编码阶段包括：

(1)下采样平滑的几何图像；

(2)通过解码重建后的几何图像预测角度图像；

解码阶段包括：

(3)解码并上采样上述几何图像，得到重建后的几何图像

(4)通过预测θ-角度图像，φ-角度图像和θ′-角度图像，得到预测的和

(5)解码残差和并添加到预测的和得到重建的θ′-角度图像和重建的φ-角度图像

(6)利用估计边信息作用于最后得到重建后的角度图像和

由于针对传统的法向图像压缩需要三个图像，不能有效地提高压缩效率，本发明提出了角度图像的概念以及一种基于预测的角度图像的编解码框架，首先提出降低法向成分的数量从3个降为2个，同时考虑几何数据与法向数据的相关性，提出了通过几何图像预测角度图像，使得可以利用现有的图像压缩算法压缩2个角度图像，而不是3个法向图像分量，因此能够提高在压缩法向图像上的效率，从而有效地提高真实感三维网格的压缩效率。

优选地，所述步骤(1)中，对几何图像进行纵横1/2分辨率下采样后编码输出。

优选地，在所述步骤(2)中通过解码并纵横2倍分辨率上采样重建的几何图像来预测θ′-角度图像和φ-角度图像，得到预测的计算I_θ′与之间的残差ΔI_θ′，I_φ与之间的残差ΔI_φ；最后通过小波变换编码这些残差以及下采样的几何图像。

优选地，在所述步骤(4)中通过公式(6)得到每个三角形的角度θ的修正版本θ′

${\mathrm{\θ}}^{\′}=atan2\left(abs\left(\left|\begin{array}{cc}{x}_2-x_1& z_2-z_1\\ x_3-x_1& z_3-z_1\end{array}\right|\right),\left|\begin{array}{cc}{y}_2-y_1& z_2-z_1\\ y_3-y_1& z_3-z_1\end{array}\right|\right)---\left(6\right)$

其中θ′∈[0,π]，M′上顶点v的法向角度分量θ′通过计算顶点v的所有相邻三角形的θ′法向角度分量的平均值获得，通过参数化和重采样量化分别获得预测的角度图像 ${\hat{I}}_{\mathrm{\θ}}={\left\{{\mathrm{\θ}}_{uv}\right\}}_{u=1,...m_1,v=1,\mathrm{...},m_2},{\hat{I}}_{\mathrm{\φ}}={\left\{{\mathrm{\φ}}_{uv}\right\}}_{u=1,\mathrm{...}{m}_1,v=1,\mathrm{...},m_2}$ 和 ${\hat{I}}_{{\mathrm{\θ}}^{\′}}={\left\{{\mathrm{\θ}}_{uv}^{\′}\right\}}_{u=1,\mathrm{...}{m}_1,v=1,\mathrm{...},m_2}.$

优选地，在所述步骤(6)中边信息通过预测的θ-角度图像估计，重建的θ-角度图像由公式(7)获得

${\tilde{I}}_{\mathrm{\θ}}=\mathrm{si}gn(\frac{2{\hat{I}}_{\mathrm{\θ}}}{2^m-1}-1)\·{\stackrel{\·}{I}}_{{\mathrm{\θ}}^{\′}}---\left(7\right)$

其中为解码端估计的边信息。

以下更详细地说明本发明。

考虑到在球面坐标系中，法向量可以用两个角度分量表达(极角θ和方位角φ)，因此提出了角度图像，一种全新的法向数据的表达方法。

定义一个真实感三角网格(M，N)，M代表几何网格，由网格的顶点坐标和他们之间的拓扑连接数据组成，N代表三维网格的法向数据。定义为三维网格顶点的空间坐标点集，为顶点的法向集，其中s是M顶点的个数。

使用球面坐标系来表示归一化的法向为其中第i个分量由下式计算得到：

θ_i＝atan 2(y′_i,x′_i) (1)

${\mathrm{\φ}}_i=arctan\left(\frac{\sqrt{x_i^{\′2}+y_i^{\′2}}}{z_i^{\′}}\right)---\left(2\right)$

其中atan2是arctan的象限区分函数，且θ_i∈[-π,π]。

采用传统的几何拉伸参数化方法映射几何网格M到参数域中。M顶点的参数坐标通过公式3给出，通过最小化参数域所有三角面片的几何拉伸函数获得。

area(T_j)代表三角形T_j的面积，Γ_j,Υ_j代表雅可比矩阵的最大和最小的奇异值，是对第j个参数三角形的顶点参数坐标进行仿射映射得来的。经过将M的法向角度分量N^A映射到参数域中并对其进行量化，获得了两个m-bit，m₁×m₂分辨率的角度图像，命名为θ-角度图像和φ-角度图像，记作 $I_{\mathrm{\θ}}={\left\{{\mathrm{\θ}}_{uv}\right\}}_{u=1,\mathrm{...},m_1,v=1,\mathrm{...},m_2},I_{\mathrm{\φ}}={\left\{{\mathrm{\φ}}_{uv}\right\}}_{u=1,\mathrm{...},m_1,v=1,\mathrm{...},m_2}.$

由于三角函数的特性，有一些高频分量存在于θ-角度图像中，这增加了压缩的复杂度。因此引入了修正的θ-角度图像，称之为θ′-角度图像它是由修正过的角度数据取代N_θ采样得来，其中abs(·)是对括号里的数据取绝对值且修正后的θ角度分量经过参数化和重采样量化过程后生成了θ′-角度图像I′_θ，可以明显看出θ′-角度图像更易于压缩。

基于预测的编码框架有两个重要的步骤：下采样平滑的几何图像以及通过解码重建后的几何图像预测角度图像。原始的输入数据是原始的几何图像GI，原始的θ′-角度图像I_θ′以及原始的φ-角度图像I_φ。

在编码端，考虑到几何图像的平滑特性及其对于预测的重要性，对几何图像进行纵横1/2分辨率下采样后编码输出。对于角度图像，通过解码并纵横2倍分辨率上采样重建的几何图像来预测θ′-角度图像和φ-角度图像，得到预测的计算I_θ′与之间的残差ΔI_θ′，I_φ与之间的残差ΔI_φ。最后通过小波变换编码这些残差以及下采样的几何图像。

在解码端，首先解码并上采样上述几何图像，得到重建后的几何图像再通过预测θ-角度图像，φ-角度图像和θ′-角度图像，得到预测的 和解码残差和并添加到预测的和得到重建的θ′-角度图像和重建的φ-角度图像为了能够得到重建的θ-角度图像，利用估计边信息作用于(接下来会详细描述)。最后得到了重建后的角度图像和

上述提及的角度图像预测，是指利用重建后的几何图像预测θ-角度图像和φ-角度图像。众所周知，重建后的几何网格可以由重建后的几何图像获得，几何网格的顶点空间坐标通过几何图像的像素点的三个颜色值给定，顶点之间的拓扑连接关系通过几何图像像素点之间的关系描述。

给定重建几何网格M′上的一个三角形，v₁，v₂，v₃是这个三角形的三个顶点，v₁＝(x₁,y₁,z₁)，v₂＝(x₂,y₂,z₂)，v₃＝(x₃,y₃,z₃)。定义N_t(θ,φ)是这个三角形的法向，θ和φ由下式给定，

$\mathrm{\θ}=a\tan 2\left(-\left|\begin{array}{cc}{x}_2-x_1& z_2-z_1\\ x_3-x_1& z_3-z_1\end{array}\right|,\left|\begin{array}{cc}{y}_2-y_1& z_2-z_1\\ y_3-y_1& z_3-z_1\end{array}\right|\right)---\left(4\right)$

$\mathrm{\φ}=\arctan \left({\left({\left|\begin{array}{cc}{y}_2-y_1& z_2-z_1\\ y_3-y_1& z_3-z_1\end{array}\right|}^2+{\left|\begin{array}{cc}{x}_2-x_1& z_2-z_1\\ x_3-x_1& z_3-z_1\end{array}\right|}^2\right)}^{\frac{1}{2}}{\left|\begin{array}{cc}{x}_2-x_1& y_2-y_1\\ x_3-x_1& y_3-y_1\end{array}\right|}^{-1}\right)---\left(5\right)$

其中θ∈[-π,π]。M′的顶点的法向可以通过计算顶点的所有相邻三角形的法向平均值获得。通过下式定义每个三角形的角度θ的修正版本θ′，

${\mathrm{\θ}}^{\′}=a\tan 2\left(abs\left(\left|\begin{array}{cc}{x}_2-x_1& z_2-z_1\\ x_3-x_1& z_3-z_1\end{array}\right|\right),\left|\begin{array}{cc}{y}_2-y_1& z_2-z_1\\ y_3-y_1& z_3-z_1\end{array}\right|\right)---\left(6\right)$

其中θ′∈[0,π]。M′上顶点v的法向角度分量θ′可以通过计算顶点v的所有相邻三角形的θ′法向角度分量的平均值获得。通过参数化和重采样量化分别获得预测的角度图像 ${\hat{I}}_{\mathrm{\θ}}={\left\{{\mathrm{\θ}}_{uv}\right\}}_{u=1,...m_1,v=1,\mathrm{...},m_2},{\hat{I}}_{\mathrm{\φ}}={\left\{{\mathrm{\φ}}_{uv}\right\}}_{u=1,\mathrm{...}{m}_1,v=1,\mathrm{...},m_2}$ 和 ${\hat{I}}_{{\mathrm{\θ}}^{\′}}={\left\{{\mathrm{\θ}}_{uv}^{\′}\right\}}_{u=1,\mathrm{...}{m}_1,v=1,\mathrm{...},m_2}.$

由于θ′-角度图像比θ-角度图像平滑，所以编码θ′-角度图像和φ-角度图像。在解码端，获得重建的θ′-角度图像和φ-角度图像为了重建θ-角度图像，边信息通过预测的θ-角度图像估计。重建的θ-角度图像可以由下式获得，

${\tilde{I}}_{\mathrm{\θ}}=sign(\frac{2{\hat{I}}_{\mathrm{\θ}}}{2^m-1}-1)\·{\tilde{I}}_{{\mathrm{\θ}}^{\′}}---\left(7\right)$

其中为解码端估计的边信息。因此获得了重建的角度图像

把上述提案应用到4个真实感三维网格的压缩中，并且取得了明显的效果(模型名称分别为bunny，venus，gargoyle,armadillo)。在实验中通过参数化和重采样量化生成256×256分辨率的16-bit的几何图像和8-bit的法向/角度图像。并利用小波变换技术使用VM9软件在0.3，0.6，0.9，1.2，1.5的总码率下分别压缩几何图像和法向/角度图像，且几何和法向之间的码率比例为1：1。使用峰值信噪比(PSNR)来衡量重建三维网格的客观质量，PSNR＝20·log₁₀(peak/d)，其单位为dB，peak为三维网格包围盒的对角线长度，d为原始网格与重建网格之间的Hausdorff距离。衡量上述码率下每几何图像像素点所占比特下的三维网格压缩前后的PSNR值以及每法向/角度图像像素点所占比特下的法向图像压缩前后的PSNR值。

提出了4种方法，并将它们与2种之前传统的几何图像压缩方法(NDS+NI-NPRE)以及传统的基于预测的法向图像压缩方法(NDS+NI-PRE)进行比较。这些方法都是由几何图像编解码和法向/角度图像编解码组成。提出的4种方法分别是：DS+NI-PRE，NDS+ANI-NPRE，NDS+ANI-PRE，DS+ANI-PRE。其中符号代表的含义：DS/NDS代表是否对几何图像进行下采样，NI代表法向图像，ANI代表角度图像，PRE/NPERE代表是否基于预测编码框架。6种方法的PSNR结果比较见图1，表1和表2。可以看出比较NDS，应用在几何图像上的DS最大获得了1.78dB的PSNR增益(0.15bpp下的venus模型)以及平均0.57dB的PNSR增益。对于法向图像编解码，比较NDS+NI-PRE，提出的方法最大获得了2.03dB的PSNR增益(0.6bpp下的gargoyle模型)以及平均1.31dB的PSNR增益。实验结果表明，提出的基于预测的角度图像的真实感三维网格压缩方法在主客观质量上都优于传统方法。

表1

表2

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (5)

1.一种真实感三维网格压缩方法，其特征在于，该方法包括编码阶段和解码阶段；

原始的输入数据是原始的几何图像GI，原始的θ′-角度图像I_θ′以及原始的φ-角度图像I_φ，编码阶段包括：

(1)下采样平滑的几何图像；

(2)通过解码重建后的几何图像预测角度图像；

解码阶段包括：

(3)解码并上采样上述几何图像，得到重建后的几何图像

(4)通过预测θ-角度图像，φ-角度图像和θ′-角度图像，得到预测的 和

(5)解码残差和并添加到预测的和得到重建的θ′-角度图像和重建的φ-角度图像

(6)利用估计边信息作用于最后得到重建后的角度图像和

2.根据权利要求1所述的真实感三维网格压缩方法，其特征在于，所述步骤(1)中，对几何图像进行纵横1/2分辨率下采样后编码输出。

3.根据权利要求2所述的真实感三维网格压缩方法，其特征在于，在所述步骤(2)中通过解码并纵横2倍分辨率上采样重建的几何图像来预测θ′-角度图像和φ-角度图像，得到预测的计算I_θ′与之间的残差ΔI_θ′，I_φ与之间的残差ΔI_φ；最后通过小波变换编码这些残差以及下采样的几何图像。

4.根据权利要求3所述的真实感三维网格压缩方法，其特征在于，在所述步骤(4)中通过公式(6)得到每个三角形的角度θ的修正版本θ′

${\mathrm{\θ}}^{\′}=atan2\left(abs\left(\left|\begin{array}{cc}{x}_2-x_1& z_2-z_1\\ x_3-x_1& z_3-z_1\end{array}\right|\right),\left|\begin{array}{cc}{y}_2-y_1& z_2-z_1\\ y_3-y_1& z_3-z_1\end{array}\right|\right)---\left(6\right)$

其中θ′∈[0,π]，重建的几何网格M′上顶点v的法向角度分量θ′通过计算顶点v的所有相邻三角形的θ′法向角度分量的平均值获得，通过参数化和重采样量化分别获得预测的角度图像 ${\hat{I}}_{\mathrm{\φ}}={\left\{{\mathrm{\φ}}_{uv}\right\}}_{u=1,\mathrm{...}{m}_1,v=1,\mathrm{...},m_2}$ 和 ${\hat{I}}_{{\mathrm{\θ}}^{\′}}={\left\{{\mathrm{\θ}}_{uv}^{\′}\right\}}_{u=1,\mathrm{...}{m}_1,v=1,\mathrm{...},m_2}.$

5.根据权利要求4所述的真实感三维网格压缩方法，其特征在于，在所述步骤(6)中边信息通过预测的θ-角度图像估计，重建的θ-角度图像由公式(7)获得

${\tilde{I}}_{\mathrm{\θ}}=sign\left(\frac{2{\hat{I}}_{\mathrm{\θ}}}{2^m-1}-1\right)\·{\tilde{I}}_{{\mathrm{\θ}}^{\′}}---\left(7\right)$

其中为解码端估计的边信息。