CN103345771B - 一种基于建模的图像高效渲染方法 - Google Patents

Abstract

本发明提出了一种基于建模的图像高效渲染方法，可生成自由视点下的目标图像。采用光场模型记录目标表面信息，在获得目标的三维网格模型和目标的适量环绕视点图像的前提下，通过判定顶点的可见视点列表，决定在哪些视点下采样，并选择顶点的三角面环作为采样单元，采用三角剖分法生成虚拟视点，依据权重插值产生虚拟视点下的采样信息，为了便于采样信息的传输，采用矩阵分解和压缩方法压缩各顶点的采样矩阵；对于自由视点下目标的生成，只需将三维网格模型投影到新视点的屏幕坐标系，读取采样信息生成新视点视图即可。本发明不但考虑了纹理映射中的接缝现象的处理问题，而且减少了纹理信息的存储空间，简化了渲染过程。

Description

一种基于建模的图像高效渲染方法

技术领域

本发明涉及多视视频、三维视频、三维目标渲染、虚拟漫游等技术领域，具体而言，本发明涉及一种基于建模的图像高效渲染方法。

背景技术

三维视频技术在数字电视、虚拟现实系统、3D游戏、远程教育与监控、远程国内工业控制以及三维视频会议系统等领域有广阔的发展前景。相对于传统的二维视频，三维视频可以让用户自由切换视角，除此之外也使用户有“身临其境”之感,这是一种交互性很强的媒体。近年来，随着人们对虚拟现实系统的越来越多的青睐，三维视频技术已成为计算机视觉领域的一个研究热点。

三维视频技术的关键在于三维渲染方法。传统的三维渲染方法有，基于图像的建模技术（IBM）和基于图像的渲染技术（IBR）。IBM是传统的图形学立体成像方法。通过计算场景的精细模型和拍摄少量的环绕视点图像，借助空间坐标系与屏幕坐标系间的映射规则进行采样与投影，继而获得很好的渲染效果。其优点是纹理数据量小。然而由于渲染结果的好坏受到重建模型的精确度的影响，所以对模型的精确度要求较高，对于简单场景可实现实时渲染，但在处理复杂场景时则将大量时间耗费在场景建模部分，不利于实时渲染。IBR根据已知的图像来合成新视图，其优点是无需对场景进行建模，计算量与场景复杂度无关，而且渲染结果具有照片级的逼真效果。由于这种方法没有几何模型作为约束，为避免模糊现象，导致视点采样过于密集，表面光场数据量大，不利于光场数据的存储与传输。

基于以上问题，基于建模的图像渲染技术（IBMR技术）就成为一个研究的热门方向。IBMR技术通过引入目标的三维网格模型作为几何约束条件，可以减少视点采样的数量。然而对于纹理接缝现象、纹理信息的存储以及传输等方面仍然存在许多问题。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是通过选用的采样单元有效地解决了纹理接缝现象，而且对纹理信息进行了分解，既缩小了纹理信息的存储空间也方便了纹理信息的传输和渲染。

为实现上述目的，本发明提出了一种基于建模的图像高效渲染方法，包括如下步骤：

步骤（1）、以顶点的三角面环作为采样单元，计算网格模型的各个顶点的可见视点列表，通过投影顶点的三角面环到各可见视点图像中，生成各顶点的参考采样矩阵；

步骤（2）、建立顶点的局部坐标系，将各可见视点投影到顶点的局部坐标系中，通过Delaunay三角剖分法生成虚拟视点，同时记录各虚拟视点的权重，通过步骤（1）中的矩阵插值产生虚拟视点下的采样信息，并与步骤（1）中的采样矩阵合并为顶点的采样矩阵

步骤（3）、分解，生成表面纹理与视点纹理；

步骤（4）、在解码端预处理压缩码流；

步骤（5）、投影三维网格到新视点的屏幕坐标系中，以三角面为单元进行像素填充，计算的投影三角面中的各像素的坐标，读取表面纹理与视点纹理，计算生成新视图。

其中，所述的顶点的可见视点列表，确定顶点的采样信息从哪些视点图像中获取，视点的可见性判别如下：

顶点的可见视点判定条件：对于顶点的三角面环中的各三角面，如果有一个三角面在该视点下不可见，则认为该顶点在该视点下不可见。三角面的可见性计算如下：

在世界坐标系下，通过摄像机标定计算摄像机中心坐标，记为，假设三角面的三个顶点的坐标为，则有：

三角面中心坐标 $\stackrel{\→}{X_m}=(\stackrel{\→}{X_1}+\stackrel{\→}{X_2}+\stackrel{\→}{X_3})/3;$

归一化的三角面法向量：

$\stackrel{\→}{N}=\frac{\stackrel{\→}{X_1{X}_2}\×\stackrel{\→}{X_1{X}_3}}{|\stackrel{\→}{X_1{X}_2}\×\stackrel{\→}{X_1{X}_3}|}$

计算向量与法向量的夹角的余弦值cosθ,若cosθ>0则认为该三角面在该视点下可见，反之，则认为该三角面不可见。

$\cos \mathrm{\θ}=\frac{\stackrel{\→}{N}\·\stackrel{\→}{X_{m}O}}{|\stackrel{\→}{N}\·\stackrel{\→}{X_{m}O}|}$

其中，所述的顶点的参考采样矩阵生成，具体如下：

以一个三角面为例，将三角面与一个等腰直角三角形作对应，计算三角面在各个可见视点下的投影面积，找到最大投影面积，使等腰直角三角形的面积刚好大于最大投影面积，以直角三角形的像素点数代表三角面的采样点数。采用权重插值计算三角面上采样点的坐标。

将三角面环中的各三角面的采样点展开成一列，并且首尾相接，形成顶点的三角面环的采样点序列，由此得到顶点的参考采样矩阵，矩阵的行是顶点的可见视点列表，矩阵的列是顶点的三角面环的采样点序列，遍历可见视点列表，对于每一视点图像，将三角面环投影到视点屏幕坐标系中，读取各采样点的坐标权重信息，以此获得各采样点信息，填充到采样矩阵中。

其中，所述的顶点的局部坐标系的建立，具体如下：

顶点的局部坐标系。以顶点的法向量作为Z轴，在空间中任选一垂直于的单位向量作为X轴，以作为Y轴，由此形成一个右手坐标系统，即作为顶点的局部坐标系。

其中，所述的虚拟视点生成，具体如下：

读取顶点的可见视点列表，将可见视点投影到顶点的局部坐标系中，所有投影点都在XY平面的单位圆内。采用Delaunay三角剖分法分割单位圆，由于Delaunay三角剖分的结果是使剖分后的三角形趋近于等边三角形，由此生成的虚拟视点的权重会更准确，具体步骤如下：

步骤221）、建立初始三角网格T；

步骤222）、选取T中的一条内边e，并令Q为共享e边的两个三角形所形成的四边形。如果其中的一个三角形的外接圆包含Q的全部四个顶点，那么将e用Q的另一条对角线替换；否则保持e不变；

步骤223）、重复步骤222），直到所有三角形都满足条件。

此时的剖分为Delaunay三角剖分。

三角剖分结束后，设置虚拟视点采样间隔（X=12,Y=12）（X为横向采样密度，Y为纵向采样密度），认为单位圆内和圆外接近单位圆的虚拟视点为顶点的可见虚拟视点，以真实视点所构成的三角形为参考系，计算并记录各虚拟视点的坐标，将这些虚拟视点添加到顶点的可见视点列表。对于可见的虚拟视点，根据其坐标，由可见真实视点采样值插值产生虚拟视点采样点值。由此获得顶点的采样矩阵

其中，所述的分解，具体算法如下：

对于，每一行表示的单个采样点在不同的可见视点下的采样信息；每一列表示的是单一视点下的所有采样点的采样信息，所以的元素可以用四维光场函数表示P(r,s,θ,φ)，(r,s)是采样点的位置参数，(θ,φ)是视点参数。由于视点间的相关度较高，即各列的相关度较高，所以可以去除部分视点，可按如下式分解：

$P^{v_j}\≈\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{g}_k^{v_j}(r,s)\·h_k^{v_j}(\mathrm{\θ},\mathrm{\φ})=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{u}_k{v}_k^T=P_K^{v_j}$

其中为表面纹理，为视点纹理，K值影响重建质量。K值的计算采用自适应奇异值分解法，其具体步骤如下：

步骤31)、计算的奇异值，并将其由大到小排列{δ₁，δ₂，...,δ_r}；

步骤32)、选取K=1，设定阈值Σ；

步骤33)、计算与的 $\mathrm{Frobineus}{\left|\right|P^{v_j}-P_K^{v_j}\left|\right|}_F^2={\mathrm{\δ}}_{K+1}^2+{\mathrm{\δ}}_{K+2}^2+...+{\mathrm{\δ}}_r^2;$

步骤34)、若则K=K+1，返回步骤33)；否则K为最佳值。

由此将每个分解为K对表面纹理和视点纹理，至此编码端任务完成。

其中，所述的预处理压缩码流，是对网格数据的预处理，得到可进行计算的网格数据，通过坐标变换和投影，将三维网格投影到新视点屏幕坐标系中，记录可见的三角面。

其中，所述的新视图的生成，以三角面为单元填充像素值，需要计算各像素的表面纹理和视点纹理，具体如下：

令三角面的三个顶点为{v₁,v₂,v₃}，投影到新视点屏幕坐标系中为{v'₁,v'₂,v'₃}

表面纹理计算。对于投影的三角面中的像素，计算各像素点在Δv'₁v'₂v'₃的坐标，分别在v₁,v₂,v₃的表面纹理中读取相应的值，

视点纹理计算。分别计算3个顶点v₁,v₂,v₃的局部坐标系，将新视点视线方向投影到3个顶点局部坐标系中，计算相应的视点纹理坐标，并从v₁,v₂,v₃的视点纹理中读取相应的值，

填充三角面内的像素。对于三角面内的像素P(r_m,s_m,θ_n,φ_n)，可如下计算：

$P(r_m,s_m,{\mathrm{\θ}}_n,{\mathrm{\φ}}_n)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{g}^{v_i}(r_m,s_m)\·h^{v_i}({\mathrm{\θ}}_n,{\mathrm{\φ}}_n)$

由此填充个投影三角面，即生成了新视点下的视图。

本发明相对于现有技术的优点在于：

（1）、本发明由于采用了三角面环作为采样单元，消除了纹理接缝现象，获得了过渡均匀的采样信息；

（2）、本发明针对数据量大的纹理信息进行了数据分解，不但去除了数据中的冗余部分，而且方便了纹理数据的传输，也降低了新视图生成的计算量。

附图说明

本发明上述的和/或附加的方面和优点，从以下结合附图对本发明的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于建模的图像渲染算法的高效实现方法的流程框图；

图2为根据本发明实施例的网格模型的采样单元；

图3为根据本发明实施例的等腰直角三角形与三角面的对应；

图4为根据本发明实施例的Delaunay三角剖分；

图5为根据本发明实施例的顶点的采样矩阵

图6为根据本发明实施例的K=2时的表面纹理和视点纹理；

图7为根据本发明实施例的新视点真实视图与渲染结果比较。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了实现本发明之目的，一种基于建模的图像渲染算法的高效实现方法，包括如下步骤：

步骤（1）、以顶点的三角面环作为采样单元，计算网格模型的各个顶点的可见视点列表，通过投影顶点的三角面环到各可见视点图像中，生成各顶点的参考采样矩阵。

步骤11）、采样单元。在图像渲染算法中往往存在由于采样单元选择不慎，而在生成的视图中出现颜色信息过渡不均匀的现象，即纹理接缝现象。对于网格模型，有三种采样单元可供选择，如图2所示：a、基于三角面的采样单元，以一个三角面作为采样单元，没有考虑到三角面的边和顶点的信息过渡；b、基于边的采样单元，没有考虑顶点的信息过渡；c、基于顶点的三角面环，通过对边和顶点的重采样，可以消除生成图像中纹理接缝现象，在本发明中采样的就是这种采样单元。

步骤12）、顶点的可见视点列表。顶点的可见视点判定条件：对于顶点的三角面环中的各三角面，如果有一个三角面在该视点下不可见，则认为该顶点在该视点下不可见。三角面的可见性计算如下：

在世界坐标系下，通过摄像机标定计算摄像机中心坐标，记为，假设三角面的三个顶点的坐标为，则有：

三角面中心坐标 $\stackrel{\→}{X_m}=(\stackrel{\→}{X_1}+\stackrel{\→}{X_2}+\stackrel{\→}{X_3})/3;$

归一化的三角面法向量：

$\stackrel{\→}{N}=\frac{\stackrel{\→}{X_1{X}_2}\×\stackrel{\→}{X_1{X}_3}}{|\stackrel{\→}{X_1{X}_2}\×\stackrel{\→}{X_1{X}_3}|}$

计算向量与法向量的夹角的余弦值cosθ,若cosθ>0则认为该三角面在该视点下可见，反之，则认为该三角面不可见。

$\cos \mathrm{\θ}=\frac{\stackrel{\→}{N}\·\stackrel{\→}{X_{m}O}}{|\stackrel{\→}{N}\·\stackrel{\→}{X_{m}O}|}$

通过上述判别，获得每个顶点的可见视点列表，此表中的可见视点指的是真实视点。

步骤13）、顶点的参考采样矩阵生成。以一个三角面为例，将三角面与一个等腰直角三角形作对应，计算三角面在各个可见视点下的投影面积，找到最大投影面积，使等腰直角三角形的面积刚好大于最大投影面积，以直角三角形的像素点数代表三角面的采样点数。采用权重插值计算三角面上采样点的坐标。如图3所示。

将三角面环中的各三角面的采样点展开成一列，并且首尾相接，形成顶点的三角面环的采样点序列，由此得到顶点的参考采样矩阵，矩阵的行是顶点的可见视点列表，矩阵的列是顶点的三角面环的采样点序列，遍历可见视点列表，对于每一视点图像，将三角面环投影到视点屏幕坐标系中，读取各采样点的坐标权重信息，以此获得各采样点信息，填充到采样矩阵中。

步骤（2）、建立顶点的局部坐标系，将各可见视点投影到顶点的局部坐标系中，通过Delaunay三角剖分法生成虚拟视点，同时记录各虚拟视点的权重，通过（1）中的矩阵插值产生虚拟视点下的采样信息，并与（1）中的采样矩阵合并为顶点的采样矩阵

由于真实视点的采样有限，为了能够渲染出任意视角下的新视图，需要生成虚拟视点以及这些虚拟视点下的采样信息。在本发明中，通过建立顶点的局部坐标系，并将顶点的可见视点投影到这个坐标系中，继而采用三角剖分分割单位圆，从而确定各虚拟视点的权重计算。

步骤21）、顶点的局部坐标系的建立，具体如下：

顶点的局部坐标系。以顶点的法向量作为Z轴，在空间中任选一垂直于的单位向量作为X轴，以作为Y轴，由此形成一个右手坐标系统，即作为顶点的局部坐标系。读取顶点的可见视点列表，将可见视点投影到顶点的局部坐标系中，所有投影点都在XY平面的单位圆内，如图4a）,由于选用的数据库中视点数量较多，在此只列出少量投影点以作范例。

步骤22）、Delaunay三角剖分生成虚拟视点。采用Delaunay三角剖分法分割单位圆，由于Delaunay三角剖分的结果是使剖分后的三角形趋近于等边三角形，由此生成的虚拟视点的权重会更准确。对于Delaunay三角剖分，本发明采用的是局部优化的外接圆准则，具体步骤如下：

步骤221）、建立初始三角网格T；

步骤222）、选取T中的一条内边e,并令Q为共享e边的两个三角形所形成的四边形。如果其中的一个三角形的外接圆包含Q的全部四个顶点，那么将e用Q的另一条对角线替换；否则保持e不变；

步骤223）、重复步骤222），直到所有三角形都满足外接圆准则条件。

此时的剖分为Delaunay三角剖分,如图4b）。

三角剖分结束后，设置虚拟视点采样间隔（X=12,Y=12）（X为横向采样密度，Y为纵向采样密度），如图4c）。认为单位圆内和圆外接近单位圆的虚拟视点为顶点的可见虚拟视点，以剖分后的三角形为参考系，计算并记录各虚拟视点的坐标，将这些虚拟视点添加到顶点的可见视点列表。对于可见的虚拟视点，根据其坐标，由可见真实视点采样值插值产生虚拟视点采样点值。由此获得顶点的采样矩阵，如图5所示,M为顶点的三角面环的采样点数，N为顶点的可见视点列表，此时包括真实可见视点和虚拟可见视点。

步骤（3）、分解，生成表面纹理与视点纹理。

顶点的采样矩阵，每一行表示的单个采样点在不同的可见视点下的采样信息；每一列表示的是单一视点下的所有采样点的采样信息，如果的元素用四维光场函数表示P(r,s,θ,φ)，(r,s)是采样点的位置参数，(θ,φ)是视点参数。由于虚拟视点的采样值是由真实视点插值产生，即各列的相关度较高，所以可以去除部分视点，可按如下式分解：

$P^{v_j}\≈\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{g}_k^{v_j}(r,s)\·h_k^{v_j}(\mathrm{\θ},\mathrm{\φ})=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{u}_k{v}_k^T=P_K^{v_j}$

其中为表面纹理，为视点纹理，K值影响重建质量。K值的计算采用自适应奇异值分解法，其具体步骤如下：

步骤31)、计算的奇异值，并将其由大到小排列{δ₁，δ₂，...,δ_r}；

步骤32)、选取K=1，设定阈值Σ；

步骤33)、计算与的 $\mathrm{Frobineus}{\left|\right|P^{v_j}-P_K^{v_j}\left|\right|}_F^2={\mathrm{\δ}}_{K+1}^2+{\mathrm{\δ}}_{K+2}^2+...+{\mathrm{\δ}}_r^2;$

步骤34)、若则K=K+1，返回33)；否则K为最佳值。

本发明中获取的K=2，其分解后的纹理信息如图6所示，a)为表面纹理和b)为视点纹理，由此将每个分解为两对表面纹理和视点纹理，至此编码端任务完成。

步骤（4）、在解码端预处理压缩码流。在解码端对网格数据的预处理，得到可进行计算的网格数据，通过坐标变换和投影，将三维网格投影到新视点屏幕坐标系中，记录可见的三角面。

步骤（5）、投影三维网格到新视点的屏幕坐标系中，以三角面为单元进行像素填充，计算的投影三角面中的各像素的坐标，读取表面纹理与视点纹理，计算生成新视图。以三角面为单元填充像素值，需要计算各像素的表面纹理和视点纹理，具体如下：

令三角面的三个顶点为{v₁,v₂,v₃}，投影到新视点屏幕坐标系中为{v'₁,v'₂,v'₃}

表面纹理计算。对于投影的三角面中的像素，计算各像素点在Δv'₁v'₂v'₃的坐标，分别在v₁,v₂,v₃的表面纹理中读取相应的值，

视点纹理计算。分别计算3个顶点v₁,v₂,v₃的局部坐标系，将新视点视线方向投影到3个顶点局部坐标系中，计算相应的视点纹理坐标，并从v₁,v₂,v₃的视点纹理中读取相应的值，

填充三角面内的像素。对于三角面内的像素P(r_m,s_m,θ_n,φ_n)，可如下计算：

$P(r_m,s_m,{\mathrm{\θ}}_n,{\mathrm{\φ}}_n)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{g}^{v_i}(r_m,s_m)\·h^{v_i}({\mathrm{\θ}}_n,{\mathrm{\φ}}_n)$

由此填充个投影三角面，即生成了新视点下的视图，如图7所示，a)与c)为新视点下拍摄的真实视图，b)与d)是本发明算法的渲染结果。

通过实验结果，可以看出本发明的算法消除了纹理接缝现象，渲染结果中的目标表面颜色过渡均匀；由于本发明中采用了纹理信息分解的方法，大大减少了纹理存储空间；由于解码端的渲染过程中，只需要计算采样点表面坐标和视点坐标，即可直接读取采样值，由此简化了渲染过程。

本发明未详细阐述的部分属于本领域公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于建模的图像高效渲染方法，其特征在于，包括如下步骤：

步骤(1)、以顶点的三角面环作为采样单元，计算网格模型的各个顶点的可见视点列表，通过投影顶点的三角面环到各可见视点图像中，生成各顶点的参考采样矩阵；

步骤(2)、建立顶点的局部坐标系，将各可见视点投影到顶点的局部坐标系中，通过Delaunay三角剖分法生成虚拟视点，同时记录各虚拟视点的权重，通过步骤(1)中的矩阵插值产生虚拟视点下的采样信息，并与步骤(1)中的采样矩阵合并为顶点的采样矩阵

步骤(3)、分解生成表面纹理与视点纹理；

步骤(4)、在解码端预处理压缩码流；

步骤(5)、投影三维网格到新视点的屏幕坐标系中，以三角面为单元进行像素填充，计算投影三角面中的各像素的坐标，读取表面纹理与视点纹理，计算生成新视图；

计算网格模型的各个顶点的可见视点列表，确定顶点的采样信息从哪些视点图像中获取，具体如下：

顶点的可见视点判定条件：对于顶点的三角面环中的各三角面，如果有一个三角面在该视点下不可见，则认为该顶点在该视点下不可见，三角面的可见性计算如下：

在世界坐标系下，通过摄像机标定计算摄像机中心坐标，记为假设三角面的三个顶点的坐标为则有：

三角面中心坐标

归一化的三角面法向量：

计算向量与法向量的夹角的余弦值cosθ，

若cosθ>0则认为该三角面在该视点下可见，反之，则认为该三角面不可见；

所述的生成各顶点的参考采样矩阵，具体如下：

以一个三角面为例，将三角面与一个等腰直角三角形作对应，计算三角面在各个可见视点下的投影面积，找到最大投影面积，使等腰直角三角形的面积刚好大于最大投影面积，以直角三角形的像素点数代表三角面的采样点数，采用权重插值计算三角面上采样点的坐标；

将三角面环中的各三角面的采样点展开成一列，并且首尾相接，形成顶点的三角面环的采样点序列，由此得到顶点的参考采样矩阵，矩阵的行是顶点的可见视点列表，矩阵的列是顶点的三角面环的采样点序列，遍历可见视点列表，对于每一视点图像，将三角面环投影到视点屏幕坐标系中，读取各采样点的坐标权重信息，以此获得各采样点信息，填充到采样矩阵中；

所述的建立顶点的局部坐标系，具体如下：

以顶点的法向量作为Z轴，在空间中任选一垂直于的单位向量作为X轴，以作为Y轴，由此形成一个右手坐标系统，即作为顶点的局部坐标系；

所述的生成虚拟视点，具体如下：

读取顶点的可见视点列表，将可见视点投影到顶点的局部坐标系中，所有投影点都在XY平面的单位圆内，采用Delaunay三角剖分法分割单位圆，具体步骤如下：

步骤221)、建立初始三角网格T；

步骤222)、选取T中的一条内边e，并令Q为共享e边的两个三角形所形成的四边形，如果其中的一个三角形的外接圆包含Q的全部四个顶点，那么将e用Q的另一条对角线替换；否则保持e不变；

步骤223)、重复步骤222)，直到所有三角形的外接圆包含Q的全部四个顶点；

此时的剖分为Delaunay三角剖分；

三角剖分结束后，设置虚拟视点采样间隔，认为单位圆内和圆外接近单位圆的虚拟视点为顶点的可见虚拟视点，以真实视点所构成的三角形为参考系，计算并记录各虚拟视点的坐标，将这些虚拟视点添加到顶点的可见视点列表，对于可见的虚拟视点，根据其坐标，由可见真实视点采样值插值产生虚拟视点采样点值，由此获得顶点的采样矩阵

所述的分解的具体算法如下：

生成的每一行表示单个采样点在不同的可见视点下的采样信息，每一列表示的是单一视点下的所有采样点的采样信息，的元素用四维光场函数P(r,s,θ,φ)表示，(r,s)是采样点的位置参数，(θ,φ)是视点参数，按如下式分解：

其中为表面纹理，为视点纹理，K值影响重建质量，K值的计算采用自适应奇异值分解法，其具体步骤如下：

步骤31)、计算的奇异值，并将其由大到小排列{δ₁，δ₂，...,δ_r}；

步骤32)、选取K＝1，设定阈值ε；

步骤33)、计算与的

步骤34)、若则K＝K+1，返回步骤33)；否则K为最佳值；

由此将每个分解为K对表面纹理和视点纹理，至此编码端任务完成；

所述的预处理压缩码流，是对网格数据的预处理，得到进行计算的网格数据，通过坐标变换和投影，将三维网格投影到新视点屏幕坐标系中，记录可见的三角面；

所述的生成新视图，以三角面为单元填充像素值，需要计算各像素的表面纹理和视点纹理，具体如下：

令三角面的三个顶点为{v₁,v₂,v₃}，投影到新视点屏幕坐标系中为{v′₁,v'₂,v'₃}；

表面纹理计算，对于投影的三角面中的像素，计算各像素点在Δv′₁v'₂v'₃的坐标，分别在v₁,v₂,v₃的表面纹理中读取相应的值，

视点纹理计算，分别计算3个顶点v₁,v₂,v₃的局部坐标系，将新视点视线方向投影到3个顶点局部坐标系中，计算相应的视点纹理坐标，并从v₁,v₂,v₃的视点纹理中读取相应的值，

填充三角面内的像素，对于三角面内的像素P(r_m,s_m,θ_n,φ_n)，进行如下计算：

由此填充个投影三角面，即生成了新视点下的视图。