CN102625126B - 一种基于预测的三维网格编码方法 - Google Patents

Abstract

一种基于预测的三维网格编码方法，其在预测法向量纹理图像时，充分考虑了几何图像和法向量纹理图像之间以及法向量纹理图像三个分量之间的相关性，所预测的法向量图像的质量更高，从而使得预测残差更小，更便于编码传输，并且使得解码后的法向量纹理图像的质量得到了极大的提高，重构的三维网格模型的真实感效果提升，使用户得到更好的视觉体验。

Description

一种基于预测的三维网格编码方法

技术领域

本发明属于图像处理的技术领域，具体地涉及一种基于预测的三维网格编码方法。

背景技术

随着三维扫描和建模技术的发展，三维网格成为继声音、图像、视频之后的一种新型多媒体数据。由于三维网格数据规模和复杂程度的急剧增长，给三维网格的存储、处理、网络传输以及浏览带来了很大压力。因此，必须对三维网格进行高效的压缩。

三维网格压缩首先在1995年提出，因此它是一个新的、迅速发展的研究课题。三维网格压缩根据是否改变原始拓扑连接关系可以分为：不规则网格编码和重网格编码两种。保留原始拓扑连接对于精确的重构原始三维网格的细节信息非常重要。不规则网格编码主要包括对几何数据以及拓扑信息的编码，每个顶点的拓扑信息的编码大约需要2个比特。几何数据是连续的(x，y，z)顶点位置，为了对他们进行编码，需要将其量化成10、12或者14比特的离散数据。但是对不规则网格进行编码十分困难，因为这些不规则的样本点与常用的编码方法并不适用。而且，对于很多应用来说，保留原始的拓扑连接也不是必要的。拓扑信息的编码需要分配大量的比特，但是对于重构网格的误差计算却没有任何帮助。

几何图像是一种新的三维网格表示方法，它一种规则的三维网格表示方法，由原始三维网格生成的几何图像是一副与原始三维网格模型对应的真彩色的二维图像。为了生成几何图像，首先将网格进行剖分，以减少参数化过程中带来的扭曲；然后是其核心步骤：参数化，通常以保持形状扭曲最小为目标，将网格模型参数化到正方形区域内；之后对参数化后的网格进行离散重采样，得到二维的规则化网格，该二维网格上的每个栅格点对应三维网格的几何坐标值(x，y，z)作为二维栅格点的颜色值(r，g，b)。由此，就生成了一副与原始三维网格模型对应的真彩色图像，由于这幅图像中存储的是三维空间中顶点的几何数据，因此称之为几何图像。按照同样的方法，可以构造与该几何图像对应的法向量纹理图像和其它信息(如颜色)的图像。对于零亏格的网格，使用球面参数化可以生成球面几何图像。几何图像比较光滑，相邻像素的相关性很强，并且可以采用传统的图像压缩算法进行编码和传输。在解码端重构三维网格模型时，几何图像中每4个栅格点围成的四方格沿着对角线分裂成两个三角形，根据栅格点的坐标值和新生成的拓扑连接关系重构出三维网格模型。

随着计算机图形学在模拟真实环境方面的广泛应用和快速发展，人们对其模拟的视觉真实性要求越来越高。纹理贴图可以通过纹理来表达表面丰富的几何细节和光照细节，甚至可以通过映射后纹理的变形来表达物体的几何形状，法向量纹理图像是它的一个技术扩展，是一种光照技术，记载了对象表面材质的各个像素对光线的反射向量，由于纹理中存储的是法向量而不是颜色，所以表面的纹理和阴影细节可以随着光源位置的改变而发生变化，使模拟的虚拟环境更真实，使人产生身临其境的感觉，提高操作者的沉浸感。法向量纹理图像包含的法向量信息是表现三维网格绘制的真实感的重要因素，因此成为三维网格模型中增加真实性的一个重要工具。

法向量图像中存储的是原始网格的量化后的法向量信息。它将原始网格的法向量信息(n_x，n_y，n_z)由[-1，1]映射到[0，255]，这样就能用RGB图像表示。法向量图像记录了原始网格的细节特征，因此在绘制阶段能够提升重构网格的视觉效果。但是，法向量图像的相邻像素相关性很弱，并且含有丰富的细节信息，不易于压缩编码，如果采用直接对法向量图像编码的方法对其进行压缩编码，编码后码流较大，解码后图像的质量不高，绘制阶段很难表现重构三维网格模型的真实感。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种编码后码流小、解码后图像质量高、绘制阶段重构三维网格模型的真实感强、视觉体验好的基于预测的三维网格编码方法。

本发明的技术解决方案是：这种基于预测的三维网格编码方法，包括编码和解码，编码利用编码器并包括以下步骤：

(E1)生成原始几何图像、原始法向量纹理图像；

(E2)对原始几何图像进行编码压缩生成原始几何图像的码流，并输出；

(E3)根据原始几何图像的码流生成预测法向量纹理图像；

解码利用解码器并包括以下步骤：

(D1)对解码端收到的原始几何图像的码流进行解码，生成重构几何图像；

(D6)根据解码后的几何图像和重构的法向量纹理图像重构出三维网格模型；

其特征在于：在编码端还包括以下步骤：

(E4)根据原始法向量图像的前两个分量和步骤(E3)中生成的预测法向量图像的前两个分量，计算前两个分量的预测残差；

(E5)对法向量纹理图像的前两个分量的预测残差进行编码压缩生成预测残差的码流，并输出预测残差的码流；

(E6)对法向量纹理图像的前两个分量的预测残差进行解码，并与预测图像相加，重构出法向量纹理图像的前两个分量；

(E7)用重构的法向量纹理图像的前两个分量计算第三个法向量纹理图像的分量；

(E8)用原始法向量纹理图像的第三个分量和步骤(E7)中计算的预测图像做差，生成法向量纹理图像的第三个分量的预测残差；

(E9)对法向量纹理图像的第三个分量的预测残差进行编码压缩生成预测残差的码流，并输出预测残差的码流；

解码在步骤(D1)和(D6)之间包括以下步骤：

(D2)根据步骤(D1)中重构的几何图像计算法向量纹理图像的前两个分量的预测图像；

(D3)对法向量纹理图像的前两个分量的预测残差进行解码，并根据解码的法向量纹理残差的前两个分量和步骤(D2)中生成的预测法向量图像的前两个分量，计算法向量纹理图像的前两个分量；

(D4)用重构的法向量纹理图像的前两个分量计算第三个法向量纹理图像的分量；

(D5)对法向量纹理图像的第三个分量的预测残差进行解码，并根据步骤(D4)中生成的预测法向量图像的第三个分量，计算法向量纹理图像的第三个分量。

由于本方法在预测法向量纹理图像时，充分考虑了几何图像和法向量纹理图像之间以及法向量纹理图像三个分量之间的相关性，所预测的法向量图像的质量更高，从而使得预测残差更小，更便于编码传输，并且使得解码后的法向量纹理图像的质量得到了极大的提高，重构的三维网格模型的真实感效果提升，使用户得到更好的视觉体验。

附图说明

图1示出了根据本发明的基于预测的三维网格编码方法的编码的流程图；

图2示出了根据本发明的基于预测的三维网格编码方法的解码的流程图；

图3是本发明中几何图像转换成三维网格的示意图；

图4示出了本发明与传统方法编码的PSNR曲线；

图5示出了本发明与传统方法的法向量图像编码的PSNR曲线。

具体实施方式

如图1和2所示，这种基于预测的三维网格编码方法，包括编码和解码，编码利用编码器并包括以下步骤：

(E1)生成原始几何图像、原始法向量纹理图像；

(E2)对原始几何图像进行编码压缩生成原始几何图像的码流，并输出；

(E3)根据原始几何图像的码流生成预测法向量纹理图像；

解码利用解码器并包括以下步骤：

(D1)对解码端收到的原始几何图像的码流进行解码，生成重构几何图像；

(D6)根据解码后的几何图像和重构的法向量纹理图像重构出三维网格模型；

在编码端还包括以下步骤：

(E4)根据原始法向量图像的前两个分量和步骤(E3)中生成的预测法向量图像的前两个分量，计算前两个分量的预测残差；

(E5)对法向量纹理图像的前两个分量的预测残差进行编码压缩生成预测残差的码流，并输出预测残差的码流；

(E6)对法向量纹理图像的前两个分量的预测残差进行解码，并与预测图像相加，重构出法向量纹理图像的前两个分量；

(E7)用重构的法向量纹理图像的前两个分量计算第三个法向量纹理图像的分量；

(E8)用原始法向量纹理图像的第三个分量和步骤(E7)中计算的预测图像做差，生成法向量纹理图像的第三个分量的预测残差；

(E9)对法向量纹理图像的第三个分量的预测残差进行编码压缩生成预测残差的码流，并输出预测残差的码流；

解码在步骤(D1)和(D6)之间包括以下步骤：

(D2)根据步骤(D1)中重构的几何图像计算法向量纹理图像的前两个分量的预测图像；

(D3)对法向量纹理图像的前两个分量的预测残差进行解码，并根据解码的法向量纹理残差的前两个分量和步骤(D2)中生成的预测法向量图像的前两个分量，计算法向量纹理图像的前两个分量；

(D4)用重构的法向量纹理图像的前两个分量计算第三个法向量纹理图像的分量；

(D5)对法向量纹理图像的第三个分量的预测残差进行解码，并根据步骤(D4)中生成的预测法向量图像的第三个分量，计算法向量纹理图像的第三个分量。

由于本方法在预测法向量纹理图像时，充分考虑了几何图像和法向量纹理图像之间以及法向量纹理图像三个分量之间的相关性，所预测的法向量图像的质量更高，从而使得预测残差更小，更便于编码传输，并且使得解码后的法向量纹理图像的质量得到了极大的提高，重构的三维网格模型的真实感效果提升，使用户得到更好的视觉体验。

优选地，所述步骤(E1)包括以下分步骤：

(E1.1)将原始三维网格模型通过由精到粗的步骤进行简化操作，并记录简化过程中删除的顶点和边，直到三维网格简化成一个四面体，将此四面体嵌入单位圆内，这样四面体的四个顶点在圆域上拥有唯一的坐标；

(E1.2)按照由粗到精的步骤将步骤(E1.1)的简化过程中删除的顶点和边逐步嵌入圆域上：当加入顶点时，以几何拉伸为度量优化每个新加入顶点的位置，以减少参数化过程中带来的扭曲；当所有顶点都嵌入圆域上之后，就完成了对原始三维网格的球面参数化，新生成的球面网格和原始网格拓扑同构；

(E1.3)为了进行后续的采样，将球面网格的所有顶点映射到一个正八面体上，将正八面体从一个顶点以及与该顶点相邻的四条棱分裂并参数化到平面域上，对平面域的三维网格进行离散重采样，得到规则化的二维网格图像，与二维网格上的每个栅格点所对应的三维网格的几何坐标值(x，y，z)对应于二维网格上的每个栅格点的颜色值(r，g，b)，于是就得到一副与原始三维网格模型对应的真彩色的二维原始几何图像，并且采用传统的图像压缩算法进行编码和传输；

(E1.4)当与二维网格上的每个栅格点所对应的三维网格的法向量值(n1，n2，n3)对应于二维网格上的每个栅格点的颜色值(r，g，b)，就得到与该三维网格模型对应的原始法向量纹理图像。

优选地，所述步骤(E2)为：通过编码器对由原始三维网格生成的原始几何图像进行压缩编码，生成原始几何图像的码流，其中一路输出给编码端的解码器，另一路输出给信道。

优选地，所述步骤(E3)为：对原始几何图像的码流进行解码，生成重构几何图像，根据重构几何图像所隐含的拓扑关系重构出三维网格，计算与重构几何图像相对应的法向量信息，并将计算的法向量由[-1，1]映射到[0，255]范围，生成预测法向量图像。

优选地，所述步骤(E4)为：将超过[-128，128]范围的残差视为噪声，每个残差值加上128，即残差范围变化到[0，256]，残差图像的RGB三个分量都处于图像可表示的范围之内。

优选地，所述步骤(E5)为：生成法向量纹理图像的前两个分量的预测残差的码流，其中一路输出给编码端的解码器，另一路输出给信道。

下面具体说明法向量图像预测的方法。

为了增强重构的三维网格模型的真实感，需要将法向量纹理图像由编码端传输到解码端。而法向量纹理图像的相邻像素相关性很弱，不易于压缩编码，编码后码流较大，解码后图像的质量不高。通过在编码端计算其在解码端重构出的三维网格及其法向量纹理图像，可以将其与原始法向量纹理图像比对，计算其误差，并仅需将这部分残差传输到解码端，从而降低了编码复杂度及编码码流长度。基于混合预测机制的法向量纹理图像编码的关键点在于预测图像与原始图像之间的差异要尽可能小，这样才能使最后的残差图像包含尽可能少的高频数据。对于法向量纹理图像的每个分量的预测，有图像间预测模式和图像内部预测模式两种预测方法选择。

1、图间预测模式

图间预测模式是指利用已经编码并解码后的几何图像预测法向量纹理图像。如图3所示，通过将几何图像中相邻的2×2像素点的按照对角线划分成两个三角面片，这样就能将几何图像转换成三维网格。由于几何图像中存储的是三维空间中的顶点几何位置，因此计算由几何图像生成的三维网格的所以顶点的法向量信息，并将计算所得的法向量由[-1，1]映射到[0，255]范围内。最后按照相应的顶点在几何图像中的位置排列，由此就能生成由几何图像预测而得到的法向量纹理图像。

设M₁(x₁，y₁，z₁)，M₂(x₂，y₂，z₂)，M₃(x₃，y₃，z₃)是由几何图像相邻的2*2像素点的按照对角线划分成一个三角面片Δ的三个顶点，该三角面片的法向量计算方法如下：

由M₁，M₂，M₃在三角面片Δ上，所以都平行于平面Δ。由M₁，M₂，M₃不共线，所以与不共线，故是平面Δ的法向量。

之后，将单位化为单位法向量N，N即为当前三角面片的法向量。

然而，对于整个三维网格其上的各个相邻三角面片的法向量各不相同，因而计算出来的光照反射也不同，由此造成整个三维网格表面光照反射不光滑，在三角面片共享边界处光照反射不连续变化，有块效应。并且，为了将三维网格各顶点处的法向量与顶点对应，需要计算各个顶点的法向量信息，可近似取顶点V处的法向量为共享该顶点的三角面片单位法向量的平均值。

$N_V=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{N}_i}{\left|\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{N}_i\right|}$

按上述方法计算得到的法向量，并生成法向量纹理图像示。由几何图像计算所得的法向量预测图像与原始法向量图像之间的差异很小，这样就值得最后计算的残差图像中的高频数据很少，从而便于编码压缩。

2、图内预测模式

由于原始三维网格模型在计算法向量信息时最终都将法向量的长度单位化为1，即：x²+y²+z²＝1，这就意味着如果我们知道前两个法向量的分量以及第三个法向量分量的符号值，那我们就能计算出第三个分量。因此在编码法向量图像的第三个分量时，就能够利用之前已经编码并且解码的两个分量预测第三个分量的值，而且之前由几何图像可以计算出另一个第三分量的预测图像，因为它们都是对同一个图像的预测，因此他们之间也存在很强的相关性，因此我们将由几何图像预测的分量图像的符号直接赋给当前的第三分量图像：

$z_{\mathrm{intra}}=\mathrm{sign}\left(z_{\mathrm{inter}}\right)\·\sqrt{1-x^2-y^2}$

其中z_inter表示由几何图像计算的第三分量，x和y是已经编码并解码的前两个法向量分量图像，z_intra为有法向量的前两个分量x和y计算的第三分量。

计算所得的法向量分量的范围为[-1，1]，虽然z_intra和z_inter都是对同一个由于这样得到的第三分量图像，但是他们是通过不同的预测模式得到，因此他们之间还是存在一定的差异。所以在将z_inter的符号直接赋给z_intra之后，z_intra图像在正负号交替的地方存在边缘效应，即不平滑现象，因此我们将边缘效应区域的像素值用相应位置的z_inter中的像素值替换。

$z(i,j)=\left\{\begin{array}{cc}{z}_{\mathrm{inter}}(i,j)& z_{\mathrm{inter}}(i,j)\∈[\mathrm{\α},\mathrm{\β}]\\ z_{\mathrm{intra}}(i,j)& z_{\mathrm{inter}}(i,j)\∉[\mathrm{\α},\mathrm{\β}]\end{array}\right.$

其中(i，j)表示处在边缘效应区域的像素点位置，[α，β]表示边缘区域的阈值范围，像素值在该范围内的像素均当做边缘区域处理，通过实验可以发现α和β分别取-0.1和0.1比较合理。之后我们将法向量分量由[-1，1]映射到[0，255]生成灰度图像。最后用高斯滤波器对最终生成的第三分量图像进行平滑滤波处理。

通过以上步骤的预测，在编码法向量图像的三个分量时，前两个分量的预测图像由图像间预测模式给出，第三个分量由图像内预测模式给出。

为了验证所提编码框架的有效性，我们将所提编码框架和JPEG2000编码相结合，对不同的三维网格对应的几何图像和法向量图像的三个RGB分量灰度图，在不同的码率下进行实验。实验中我们分别采用Venus模型和Bunny模型。实验结果的客观评价采用峰值信噪比(Peak Signal to NoiseRatio，PSNR)度量，单位为分贝(dB)。其计算公式如下：

PSNR＝20*log₁₀(peak/d)

其中peak为三维网格模型的包围盒对角线长度，d是原始网格与重构网格之间的Hausdorff距离，由MESH工具计算Hausdorff距离。几何图像的码率度量为bpv(位/顶点)，法向量图像的码率度量为bpn(位/法向量)。本发明与传统方法编码的PSNR曲线如图4所示。图5示出了本发明与传统方法的法向量图像编码的PSNR曲线。

实验结果表明，与直接用JPEG2000对法向量纹理图像编码相比，采用本发明的方法对法向量纹理图像压缩质量有了很大的提高。重构的法向量纹理图像的质量在不同的码率下均有很大的提升，法向量图像最高可以达到5dB的增益。

为了比较本发明和传统方法编码后的主观质量，对法向量纹理图像编解码后，还需结合几何图像重构成三维网格。在采用1bpv目标码率编码几何图像的基础上，我们采用不同方法在0.3bpn、0.6bpn、0.9bpn目标码率编码法向量残差图像，并重构得到三维网格模型。从试验结果可以看出，本文所提出编解码方法比直接采用JPEG2000方法编码得到的解码结果细节层次更丰富，使得三维网格模型的真实感更强。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (6)

1.一种基于预测的三维网格编码方法，包括编码和解码，编码利用编码器并包括以下步骤：

（E1）生成原始几何图像、原始法向量纹理图像；

（E2）对原始几何图像进行编码压缩生成原始几何图像的码流，并输出；

（E3）根据原始几何图像的码流生成法向量纹理图像的预测；

解码利用解码器并包括以下步骤：

（D1）对解码端收到的原始几何图像的码流进行解码，生成重构几何图像；

（D6）根据解码后的几何图像和重构的法向量纹理图像重构出三维网格模型；

其特征在于：在编码端还包括以下步骤：

（E4）根据原始法向量纹理图像的前两个分量和步骤（E3）中生成的预测法向量纹理图像的前两个分量，计算前两个分量的预测残差；

（E5）对法向量纹理图像的前两个分量的预测残差进行编码压缩生成预测残差的码流，并输出预测残差的码流；

（E6）对法向量纹理图像的前两个分量的预测残差进行解码，并与（E3）中生成的预测法向量纹理图像相加，重构出法向量纹理图像的前两个分量；

（E7）用重构的法向量纹理图像的前两个分量计算法向量纹理图像的第三个分量；

（E8）用原始法向量纹理图像的第三个分量和步骤（E7）中计算的法向量纹理图像的第三个分量做差，生成法向量纹理图像的第三个分量的预测残差；

（E9）对法向量纹理图像的第三个分量的预测残差进行编码压缩生成预测残差的码流，并输出预测残差的码流；

解码在步骤（D1）和（D6）之间包括以下步骤：

（D2）根据步骤（D1）中重构的几何图像计算预测法向量纹理图像的前两个分量；

（D3）对法向量纹理图像的前两个分量的预测残差进行解码，并根据解码的法向量纹理图像的前两个分量的预测残差和步骤（D2）中生成的预测法向量纹理图像的前两个分量，计算法向量纹理图像的前两个分量；

（D4）用重构的法向量纹理图像的前两个分量计算预测法向量图像的第三个分量；

（D5）对法向量纹理图像的第三个分量的预测残差进行解码，并根据步骤（D4）中生成的预测法向量图像的第三个分量，计算法向量纹理图像的第三个分量。

2.根据权利要求1所述的基于预测的三维网格编码方法，其特征在于：

所述步骤（E1）包括以下分步骤：

（E1.1）将原始三维网格模型通过由精到粗的步骤进行简化操作，并记录简化过程中删除的顶点和边，直到三维网格简化成一个四面体，将此四面体嵌入单位圆内，这样四面体的四个顶点在圆域上拥有唯一的坐标；

（E1.2）按照由粗到精的步骤将步骤（E1.1）的简化过程中删除的顶点和边逐步嵌入圆域上：当加入顶点时，以几何拉伸为度量优化每个新加入顶点的位置，以减少参数化过程中带来的扭曲；当所有顶点都嵌入圆域上之后，就完成了对原始三维网格的球面参数化，新生成的球面网格和原始网格拓扑同构；

（E1.3）为了进行后续的采样，将球面网格的所有顶点映射到一个正八面体上，将正八面体从一个顶点以及与该顶点相邻的四条棱分裂并参数化到平面域上，对平面域的三维网格进行离散重采样，得到规则化的二维网格图像，与二维网格上的每个栅格点所对应的三维网格的几何坐标值（x，y，z）对应于二维网格上的每个栅格点的颜色值（r，g，b），于是就得到一副与原始三维网格模型对应的真彩色的二维原始几何图像，并且采用传统的图像压缩算法进行编码和传输；

（E1.4）当与二维网格上的每个栅格点所对应的三维网格的法向量值（n1，n2，n3）对应于二维网格上的每个栅格点的颜色值（r，g，b），就得到与该三维网格模型对应的原始法向量纹理图像。

3.根据权利要求2所述的基于预测的三维网格编码方法，其特征在于：

所述步骤（E2）为：通过编码器对由原始三维网格生成的原始几何图像进行压缩编码，生成原始几何图像的码流，其中一路输出给编码端的解码器，另一路输出给信道。

4.根据权利要求3所述的基于预测的三维网格编码方法，其特征在于：

所述步骤（E3）为：对原始几何图像的码流进行解码，生成重构几何图像，根据重构几何图像所隐含的拓扑关系重构出三维网格，计算与重构几何图像相对应的法向量信息，并将计算的法向量由[-1，1]映射到[0，255]范围，生成预测法向量纹理图像。

5.根据权利要求4所述的基于预测的三维网格编码方法，其特征在于：

所述步骤（E4）为：将超过[-128，128]范围的残差视为噪声，每个残差值加上128，即残差范围变化到[0,256]，残差图像的RGB三个分量都处于图像可表示的范围之内。

6.根据权利要求5所述的基于预测的三维网格编码方法，其特征在于：

所述步骤（E5）为：生成法向量纹理图像的前两个分量的预测残差的码流，其中一路输出给编码端的解码器，另一路输出给信道。