CN101626509B - 三维网格编码、解码方法及编码、解码装置 - Google Patents
三维网格编码、解码方法及编码、解码装置 Download PDFInfo
- Publication number
- CN101626509B CN101626509B CN 200910091152 CN200910091152A CN101626509B CN 101626509 B CN101626509 B CN 101626509B CN 200910091152 CN200910091152 CN 200910091152 CN 200910091152 A CN200910091152 A CN 200910091152A CN 101626509 B CN101626509 B CN 101626509B
- Authority
- CN
- China
- Prior art keywords
- normal vector
- image
- dimensional grid
- textured image
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本发明涉及一种三维网格编码、解码方法及编码、解码装置。编码方法包括以下步骤:生成原始几何图像、第一法向量纹理图像;根据所述原始几何图像的码流生成第一预测法向量纹理图像;计算第一法向量纹理图像的预测残差;生成所述预测残差的码流,并输出所述原始几何图像的码流和所述预测残差的码流。编码装置包括:生成模块,第一编码模块,第一预测模块,第一计算模块,第二编码模块。其中解码方法和装置分别对应于编码方法和装置。本发明提供的编码、解码方法及编码、解码装置通过几何图像和法向量纹理图像的预测残差重构三维网格,在保证相同码流大小的情况下,提高了三维网格所表现的渲染效果。
Description
技术领域
本发明涉及一种三维网格编码、解码方法及编码、解码装置,尤其涉及一种基于几何图像预测法向量纹理图像的编码、解码方法及编码、解码装置,属于三维网格压缩编码领域。
背景技术
三维网格数据的规模和复杂程度在急剧增长,应用也越来越广泛,但是网络带宽的限制严重阻碍了它的传播,仅仅通过增加硬件设备已不能解决这一问题,对三维网格数据的压缩编码技术的研究正是为了解决这一问题。
三维网格数据的静态压缩方法解决了CPU(Central Processing Unit;简称为:CPU)和显卡之间的传输瓶颈,但是这种方法是在所有的网格数据全部传输完之后才显示整个三维网格,用户通常需要等待很长的时间才能看到整个画面。渐进式的传输模式通过先传输一个低精度的三维网格使用户很快的看到一个大致的轮廓,然后随着传输的进行显示精度更高的三维网格,解决了静态压缩方法存在的问题。
几何图像(Geometry Images)是一种三维网格渐进压缩方法,由原始三维网格生成的几何图像是一副与原始三维网格模型对应的真彩色的二维图像。几何图像比较光滑平坦,相邻像素的相关性很强,并且可以采用传统的图像压缩算法进行编码和传输。在解码端重构三维网格模型时,几何图像中每4个栅格点围成的四方格沿着对角线分裂成两个三角形,根据栅格点的坐标值和新生成的拓扑连接关系重构出三维网格模型。
随着计算机图形学在模拟真实环境方面的广泛应用和快速发展,人们对其模拟的视觉真实性要求越来越高。纹理贴图可以通过纹理来表达表面丰富的几何细节和光照细节,甚至可以通过映射后纹理的变形来表达物体的几何形状,法向量纹理图像是它的一个技术扩展,是一种光照技术,记载了对象表面材质的各个像素对光线的反射向量,由于纹理中存储的是法向量而不是颜色,所以表面的纹理和阴影细节可以随着光源位置的改变而发生变化,使模拟的虚拟环境更真实,使人产生身临其境的感觉,提高操作者的沉浸感。 因此成为三维网格模型中增加真实性的一个重要工具。
图1a为现有几何图像三维网格渐进压缩算法的整体结构示意图。几何图像三维网格渐进压缩算法在编码端(服务器端)由原始的三维网格经过剖分、参数化生成几何图像,经过编码器压缩编码后输出比特流,经网络传输到达解码端(客户端),解码端依据解码重构得到的重构几何图像,重构得到三维网格。在渲染三维网格时,根据重构得到的三维网格,通过传统的计算法向量的方法,计算每个顶点的法向量后,进行渲染。由于这种方法得到的三维网格的法向量不够准确,不能反映出原始网格所表现的渲染效果,并且计算量大,耗时较长。
图1b为现有传输法向量纹理图像的三维网格渐进压缩算法的整体结构示意图。现有技术中也有将与几何图像对应的法向量纹理图像表示为真彩色图像的方式,并采用图像压缩方法编码,如图1b所示。这种法向量纹理图像是在编码端通过采用生成几何图像的类似方法,并依据原始三维网格参数化后的网格计算得到,比较准确,但是与几何图像相比,法向量纹理图像的相邻像素相关性很弱,且含有丰富的细节信息,不易于压缩编码,编码后码流较大,不易于传输,并且在解码端解码后图像的质量不高。
发明内容
本发明实施例的目的是提供一种三维网格编码、解码方法及编码、解码装置,在保证相同码流大小的情况下,提高了三维网格所表现的渲染效果。
本发明一实施例提供了一种三维网格编码方法,包括以下步骤:
生成原始几何图像、第一法向量纹理图像;
对所述原始几何图像进行编码压缩生成所述原始几何图像的码流,并输出;
根据所述原始几何图像的码流生成第一预测法向量纹理图像;
根据所述第一法向量纹理图像和所述第一预测法向量纹理图像,计算第一法向量纹理图像的预测残差;
对所述第一法向量纹理图像的预测残差进行编码压缩生成所述预测残差的码流,并输出所述预测残差的码流;
所述根据所述原始几何图像的码流生成第一预测法向量纹理图像具体为:
对所述原始几何图像的码流进行解码,生成第一重构几何图像;
根据所述第一重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;
根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;
将所述顶点的法向量量化到图像灰度范围内,生成第一初始预测法向量纹理图像;
将所述第一初始预测法向量纹理图像通过低通滤波器,进行平滑滤波后,得到所述第一预测法向量纹理图像。
本发明又一实施例提供了一种三维网格解码方法,包括以下步骤:
对接收到的图像码流进行解码,根据解码后的数据生成第二法向量纹理图像的预测残差和第二重构几何图像;
由所述第二重构几何图像生成第二预测法向量纹理图像;
根据所述第二法向量纹理图像的预测残差和所述第二预测法向量纹理图像,生成第二法向量纹理图像;
根据所述第二法向量纹理图像和所述第二重构几何图像,重构出三维网格;
所述由所述第二重构几何图像生成第二预测法向量纹理图像具体为:
根据所述第二重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;
根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;
将所述顶点的法向量量化到图像灰度范围内,生成第二初始预测法向量纹理图像;
将所述第二初始预测法向量纹理图像通过低通滤波器,进行平滑滤波后,得到所述第二预测法向量纹理图像。
本发明另一实施例提供了一种三维网格编码装置,包括:
生成模块,用于生成原始几何图像、第一法向量纹理图像;
第一编码模块,用于对所述生成模块生成的所述原始几何图像进行编码压缩生成并输出所述原始几何图像的码流;
第一预测模块,用于根据所述第一编码模块输出的所述原始几何图像的码流生成第一预测法向量纹理图像;
第一计算模块,用于根据所述生成模块生成的所述第一法向量纹理图像 和所述第一预测模块生成的所述第一预测法向量纹理图像,计算第一法向量纹理图像的预测残差;
第二编码模块,用于对所述第一计算模块计算出的所述第一法向量纹理图像的预测残差进行编码压缩生成所述预测残差的码流,并输出所述预测残差的码流;
其中,所述第一预测模块具体包括:解码单元,用于对所述原始几何图像的码流进行解码,生成第一重构几何图像;第一划分单元,用于根据所述第一重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;第一计算单元,用于根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;第一量化单元,用于将所述顶点的法向量量化到图像灰度范围内,生成第一初始预测法向量纹理图像;以及第一低通滤波单元,用于对第一量化单元输出的第一初始预测法向量纹理图像进行滤波,得到所述第一预测法向量纹理图像,并输出给所述第一计算模块。
本发明再一实施例还提供了一种三维网格解码装置,包括:
解码模块,用于对接收到的图像码流进行解码,根据解码后的数据生成第二法向量纹理图像的预测残差和第二重构几何图像;
第二预测模块,用于由所述解码模块生成的所述第二重构几何图像生成第二预测法向量纹理图像;
第二计算模块,用于根据所述解码模块生成的所述第二法向量纹理图像的预测残差和所述第二预测模块生成的所述第二预测法向量纹理图像,生成第二法向量纹理图像;
重构模块,用于根据所述第二计算模块输出的所述第二法向量纹理图像和所述解码模块输出的所述第二重构几何图像,重构出三维网格;
其中,所述第二预测模块具体包括:第二划分单元,用于根据所述第二重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;第二计算单元,用于根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;第二量化单元,用于将所述顶点的法向量量化到图像灰度范围内,生成第二初始预测法向量纹理图像;以及第二低通滤波单元,用于对第二量化单元输出的第二初始预测法向量纹理图像进行滤波,得到所述第二预测法向量纹理图像,并输出给所述第二计算模块。
本发明实施例提供的三维网格编码、解码方法及编码、解码装置通过几何图像预测法向量纹理图像,并传输几何图像和法向量纹理图像的预测残差,提高了三维网格对应的法向量纹理图像的准确度,加强了原始网格所表现的渲染效果,同时传输、接收的法向量纹理图像的预测残差,其编解码码流小,可以采用与几何图像相同的压缩方法进行处理,降低了编码图像的比特率。
附图说明
图1a为现有几何图像三维网格渐进压缩算法的整体结构示意图;
图1b为现有传输法向量纹理图像的三维网格渐进压缩算法的整体结构示意图;
图2为本发明三维网格编码方法一实施例的流程图;
图3为本发明一实施例中三角面片在二维参数域和三维网格域的对应关系图;
图4为本发明一实施例中对相似几何拉伸区域内部点的梅花下采样示意图;
图5为本发明三维网格解码方法一实施例的流程图;
图6为本发明三维网格编码装置一实施例的结构示意图;
图7为本发明三维网格解码装置一实施例的结构示意图;
图8a为本发明实施例中比对实验所用编码框架示意图;
图8b为本发明实施例中比对实验所用解码框架示意图;
图9本发明实施例中与传统直接压缩法向量图像方法的重构质量比较图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
图2为本发明三维网格编码方法一实施例的流程图,如图2所示,本实施例提供了一种三维网格编码方法,具体包括以下步骤:
步骤201,生成原始几何图像、第一法向量纹理图像。
其中根据原始三维网格模型生成原始几何图像和第一法向量纹理图像的具体过程为:首先将原始三维网格模型进行剖分,以减少参数化过程中带来的扭曲;然后是参数化,在保持形状扭曲最小的前提下,通常采用几何拉伸度量的方法进行参数化;之后,对参数化的三维网格进行离散重采样,得到规则化的二维网格图像,与二维网格上的每个栅格点所对应的三维网格的几 何坐标值(x,y,z)对应于二维网格上的每个栅格点的颜色值(r,g,b),于是就得到一副与原始三维网格模型对应的真彩色的二维原始几何图像,并且可以采用传统的图像压缩算法进行编码和传输;同理,当与二维网格上的每个栅格点所对应的三维网格的法向量值(n1,n2,n3)对应于二维网格上的每个栅格点的颜色值(r,g,b),就得到与该三维网格模型对应的第一法向量纹理图像。
步骤202,对原始几何图像进行编码压缩生成原始几何图像的码流,并输出。在编码端,通过编码器对由原始三维网格生成的原始几何图像进行压缩编码,生成原始几何图像的码流,其中一路输出给编码端的解码器,一路输出给信道。
步骤203,根据原始几何图像的码流生成第一预测法向量纹理图像。具体的包括:
首先,对原始几何图像的码流进行解码,生成第一重构几何图像;由编码端的图像解码器对图像编码器生成的原始几何图像的码流进行解码,重构生成第一重构几何图像。
其次,根据第一重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;在生成的二维原始几何图像中,由均匀采样点所组成的三角面片是均匀的,有相同的形状和面积,但是在重构后的三维网格模型中,各个三角面片将具有不同的形状和面积,即从二维到三维的映射产生了不同程度的几何拉伸,几何拉伸的度量主要是为了准确的反映从二维参数域D映射到三维网格域S的几何拉伸形变,通过度量几何拉伸度的方法判断三维网格模型的变化,并根据变化的大小将三维网格模型划分为若干个区域,从而形成多个不同的相似几何拉伸区域。
之后,根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;由于法向量的计算比较复杂,应当尽量减少计算次数,而网格变化程度较小的部分对应的顶点的法向量的变化程度也不明显。因此,对相似几何拉伸区域内的顶点进行下采样,并且仅对被下采样的顶点计算其法向量。而对于属于该相似几何拉伸区域而不属于下采样范围内的顶点,由该顶点附近的下采样点的法向量以插值方式生成该顶点的法向量。对于属于相似几何拉伸区域的边界顶点,是几何拉伸的突变点,也需要计算它们的法向量值,则所有顶点的法向量均可以被计算得出。
接着,将所述顶点的法向量量化到图像灰度范围内,生成第一初始预测 法向量纹理图像;当获得所有顶点的法向量之后,将法向量由单位向量量化到图像灰度范围内,即将法向量的三个分量分别从[0,1]量化到[0,255],且三个分量分别对应于真彩色图像的RGB值,于是,对应生成第一初始预测法向量纹理图像。
最后,将上述第一初始预测法向量纹理图像通过低通滤波器,进行平滑滤波后,得到第一预测法向量纹理图像;经过上述计算得到的第一初始预测法向量纹理图像在不同几何拉伸程度区域的交接处并不光滑,因此,再通过一个低通滤波器对上述第一初始预测法向量纹理图像进行滤波,得到平滑后的第一预测法向量纹理图像,在本实施例中并未限制低通滤波器的类型。
步骤204,根据第一法向量纹理图像和第一预测法向量纹理图像,计算第一法向量纹理图像的预测残差。
法向量纹理图像是真彩色图像,其RGB三个分量是采用8位表示的,即每个分量有256个色阶,对应值为[0,255]。如果将两幅法向量纹理图像的像素值直接做差,差值将会出现负数,差值的范围为[-255,255],则这样的差值不能用来表示图像的RGB分量值。因此,本实施例提供一种计算第一法向量纹理图像的预测残差的方法:在计算时,对第一法向量纹理图像与第一预测法向量纹理图像的像素值直接对应相减做差之后,通过将每个差值加上256,即差值范围变化到[1,511],之后将每个值除以2并向下取整,将差值映射到[0,255]范围内。这样第一法向量纹理图像的预测残差的RGB三个分量都处在图像可表示的范围之内。
步骤205,对第一法向量纹理图像的预测残差进行编码压缩生成预测残差的码流,并输出预测残差的码流。
由于第一法向量纹理图像的预测残差需要经过以上步骤计算得出,故与原始几何图像相比,其压缩编码处理过程要晚一点,所以可以采用串行方式先输出原始几何图像的码流,再输出第一法向量纹理图像的预测残差的码流,当然也可以以并行方式输出,用户可以根据实际需要选择不同的传输方式, 在本实施例中采用串行传输方式,但并不限于此。
本实施例提供的三维网格编码方法通过原始几何图像预测第一预测法向量纹理图像,提高了对应与三维网格的法向量纹理图像的准确度,加强了原始网格所表现的渲染效果,同时由于传输的不是法向量纹理图像而是法向量纹理图像的预测残差,预测残差与法向量纹理图像相比,其相关性有所提高,细节信息较少,因而其编码码流小,可以采用与几何图像相同的压缩方法进行处理,降低了编码码流。
本实施例在上述技术方案的基础上,提供了具体计算几何拉伸度的方法。图3为本发明一实施例中三角面片在二维参数域和三维网格域的对应关系图。计算几何拉伸度的具体过程如下:
对于二维参数域D上的一个三角形△,假设它的三个顶点的坐标是p1,p2,p3,其中pi=(si,ti),相对应的三维网格域S上的三角形的坐标为q1,q2,q3,则它们之间的仿射映射关系可以表示为:
f(p)=f(s,t)=q (1)
具体为:
f(p)=(<p,p2,p3>q1+<p,p3,p1>q2+<p,p1,p2>q3)/<p1,p2,p3>(2)
其中公式(2)中的<a,b,c>表示三角形abc的面积。由于这个映射是仿射的,所以对于所有的(s,t)∈Δ来说,公式(2)的偏微分是公式(3)、公式(4)所示的常数:
在公式(3)、(4)中,
A=<p1,p2,p3>=((s2-s1)(t3-t1)-(s3-s1)(t2-t1))/2(5)
则f的雅克比矩阵是:
雅克比矩阵Jf的最大单值Γ和最小单值γ分别表示单位长度从二维参数域D映射到三维网格域S的最大长度和最小长度,即最大几何拉伸度和最小几何拉伸度。可以通过下面的公式(7)和公式(8)计算得出:
其中,
根据Γ和γ,可以得到两个关于几何拉伸的度量标准:
L∞=Γ (10)
其中的L2度量了几何拉伸的总体的能力,而L∞则表示了在最差的情况下的度量标准。
根据上述计算得到的几何拉伸度对三维网格模型进行区域划分具体为:度量第一重构几何图像中每个三角面片的几何拉伸度,计算每个顶点周围所有三角面片的几何拉伸度的方差,将所述方差与一预先设定的阈值进行比较,如果所述方差大于阈值,将所述顶点划为相似几何拉伸区域的边界点,反之,将所述顶点划为相似几何拉伸区域的内部点,到此实现了根据几何拉伸度对三维网格模型进行区域划分,三维网格模型被划分为多个不同的相似几何拉伸区域。
在上述技术方案的基础上,本实施例还提供了计算所有法向量的具体实现方法。图4为本发明一实施例中对相似几何拉伸区域内部点的梅花下采样示意图。本实施例中,被下采样的顶点以及边界顶点的法向量根据第一重构几何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连线所 形成的新的拓扑关系,计算得出,其中被下采样的顶点具体如图4所示。对于非采样点以插值方式生成,具体为利用其上下左右相邻的四个顶点的已知法向量进行加权平均,由以下公式(11)计算得出:
n(i,j)=(n(i-1,j)+n(i+1,j)+n(i,j-1)+n(i,j+1))/4 (11)
其中,n(i,j)表示当前非采样点的法向量,i,j表示当前非采样点在二维几何图像上的坐标点。
根据上述方法,计算出所有顶点的法向量值。
本实施例提供的三维网格编码方法通过几何拉伸度将三维网格模型划分为若干区域,使用基于几何拉伸的度量可以准确的度量从二维参数域到三维网格域进行映射时的几何拉伸程度,而对相似几何拉伸区域内的顶点以下采样的方式选择计算顶点的法向量,减少了计算法向量的次数,降低了法向量计算过程中的计算量和复杂度,有利于提高整个编码方法的效率。
图5为本发明三维网格解码方法一实施例的流程图,如图5所示,本实施例提供了一种三维网格解码方法,具体包括以下步骤:
步骤501,对接收到的图像码流进行解码,根据解码后的数据生成第二法向量纹理图像的预测残差和第二重构几何图像。在解码端,图像解码器从信道中提取编码端传输的图像码流,本实施例中图像码流包括几何图像的码流和预测残差的码流,然后对几何图像的码流和预测残差的码流进行解码重构,得到第二法向量纹理图像的预测残差和第二重构几何图像。
步骤502,由第二重构几何图像生成第二预测法向量纹理图像。
步骤503,根据第二法向量纹理图像的预测残差和第二预测法向量纹理图像生成第二法向量纹理图像。
步骤504,根据第二法向量纹理图像和第二重构几何图像重构出三维网格。由编码方法可知,第二重构几何图像上每个栅格点的颜色值(r,g,b)对应于三维网格的几何坐标值(x,y,z),第二法向量纹理图像上每个栅格点的颜色值(r,g,b)对应于三维网格上的栅格点的法向量值(n1,n2,n3), 据此重构出三维网格。
本实施例中利用第二重构几何图像生成第二预测法向量纹理图像的过程与上述编码方法实施例中的方法相同,故在此不再累述;由第二预测法向量纹理图像和第二法向量纹理图像的预测残差计算第二法向量纹理图像的过程是上述编码方法实施例中的计算第一法向量纹理图像的预测残差的逆过程,具体方法原理相同,故在此不详细论述,且对于所属领域的技术人员完全可以根据编码过程推知解码过程的具体实现。
本实施例提供的三维网格解码方法根据第二重构几何图像和第二法向量纹理图像的预测残差,经第二预测法向量纹理图像得到第二法向量纹理图像,提高了对应与三维网格的法向量纹理图像的准确度,加强了原始网格所表现的渲染效果。
发明人在实现本发明的过程中,针对本发明提出的三维网格编码、解码方法与现有技术中的方法进行了实验比对,具体的如下所示:
图8a为本发明实施例中比对实验所用编码框架示意图,图8b为本发明实施例中比对实验所用解码框架示意图。发明人在实验中采用的编码、解码方法的结构框架,如图8a、8b所示,与传统的直接压缩法向量图像方法进行了对比实验。原始几何图像和第一法向量纹理图像利用已有的生成几何图像方法得到,实验中图像编码器、解码器均由标准为JPEG2000的软件实现。编码原始几何图像都采用0.5bpp的码率,并利用其第一重构几何图像进行编码端的预测过程,利用第二重构几何图像进行解码端的预测过程,其具体的预测过程与上述实施例相同,不再累述。图9本发明实施例中与传统直接压缩法向量图像方法的重构质量比较图,其中横坐标为图像的像素深度,表示图像的每个像素值所需要的位数(bits per pixel;简称为:BPP),纵坐标为峰值信噪比(Peak Signal to Nois Ratio;简称为:PSNR),是一种评价图像的客观标准,PSNR越高表示图像的重构质量越好。从图9中可以看出,在低码率的情况下,与传统方法重构出的图像相比较,本发明方 法的增益比较明显,最高可达2db,而随着码率的增加,本发明方法的增益速率降低并趋于传统方法。这是由于码率的增加对于传统方法而言,可以分配给细节信息更多的比特,以致整体图像的重构质量逐渐提高。
基于以上论述,本发明提出的三维网格编码、解码方法通过几何图像预测法向量纹理图像,并仅传输几何图像和法向量纹理图像的预测残差,该方法简化了对法向量纹理图像的压缩,编码法向量纹理图像的预测残差需要的码流较小,并且使得解码后的法向量纹理图像的质量有所提高,改善了重构的三维网格模型的渲染效果,使用户得到更好的视觉体验。
图6为本发明三维网格编码装置一实施例的结构示意图,如图6所示,本实施例提供了一种三维网格编码装置,具体包括:
生成模块61,用于生成原始几何图像、第一法向量纹理图像;
第一编码模块62,用于对生成模块61生成的原始几何图像进行编码压缩生成并输出原始几何图像的码流;
第一预测模块63,用于根据第一编码模块62输出的原始几何图像的码流生成第一预测法向量纹理图像;
第一计算模块64,用于根据生成模块61生成的第一法向量纹理图像和第一预测模块63生成的第一预测法向量纹理图像,计算第一法向量纹理图像的预测残差;
第二编码模块65,用于对第一计算模块64计算出的第一法向量纹理图像的预测残差进行编码压缩生成预测残差的码流,并输出所述预测残差的码流。
具体地,第一预测模块还包括解码单元,用于对原始几何图像的码流进行解码,生成第一重构几何图像;第一划分单元,用于根据所述第一重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;第一计算单元,用于根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;第一量化单元,用于将所 述顶点的法向量量化到图像灰度范围内,生成第一初始预测法向量纹理图像;以及第一低通滤波单元,用于对第一量化单元的输出结果,即第一初始预测法向量纹理图像进行滤波,得到平滑的第一预测法向量纹理图像,并输出给第一计算模块64,具体可以由低通滤波器来实现,但并不限制低通滤波器的类型。由于第一初始预测法向量纹理图像在不同几何拉伸程度区域的交接处并不光滑,通过该第一滤波单元对第一初始预测法向量纹理图像进行滤波,使得根据第一法向量纹理图像和平滑后的第一预测法向量纹理图像得到第一法向量纹理图像的预测残差更加准确,进一步提高对应与三维网格的法向量纹理图像的准确度,加强原始网格所表现的渲染效果。
本实施例中的第一编码模块62与第二编码模块65可以是同一个模块,也可以是分离的模块,特别当两者为分离的模块时,原始几何图像的码流由第一编码模块62输出,预测残差的码流由第二编码模块65输出。其中,编码模块具体的可以是JPEG或者JPEG2000编码器,也可以是其他图像编码器,尤其当第一编码模块62与第二编码模块65为独立模块时,两个模块采用相同标准的编码器是一种较佳的实施方式,并不限于此,但编码器需要与编码端的解码单元及解码端的解码单元相适应。
需要指出的是,本实施例提供的三维网格编码装置是与上述编码方法相对应的装置,其可以采用上述编码方法的具体实现过程来实现对应的装置的技术方案,此处不再赘述。
本实施例提供的三维网格编码装置,通过设置第一预测模块、第一计算模块实现了在编码端输出原始几何图像的码流的同时传输第一法向量纹理图像的预测残差的码流,保证解码端得到高准确度的法向量纹理图像,加强了原始网格所表现的渲染效果,同时由于传输的不是法向量纹理图像而是法向量纹理图像的预测残差,预测残差与法向量纹理图像相比,其相关性有所提高,细节信息较少,因而其编码码流较小,可以采用与几何图像相同的压缩方法进行处理,降低了原始编码法向量纹理图像的比特率,平衡了原始编码 法向量纹理图像和几何图像的关系。
图7为本发明三维网格解码装置一实施例的结构示意图,如图7所示,本实施例提供了一种三维网格解码装置,具体可以包括:
解码模块71,用于对接收到的图像码流进行解码,根据解码后的数据生成第二法向量纹理图像的预测残差和第二重构几何图像;
第二预测模块72,用于由解码模块71生成的第二重构几何图像生成第二预测法向量纹理图像;
第二计算模块73,用于根据由解码模块71生成的第二法向量纹理图像的预测残差和第二预测模块72预测出的第二预测法向量纹理图像,生成第二法向量纹理图像;
重构模块74,用于根据第二计算模块73生成的第二法向量纹理图像和解码模块71输出的第二重构几何图像,重构出三维网格。
具体地,第二预测模块还包括:第二划分单元,用于根据所属第二重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;第二计算单元,用于根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;第二量化单元,用于将所述顶点的法向量量化到图像灰度范围内,生成第二初始预测法向量纹理图像;以及第二低通滤波单元,用于对第二量化单元的输出结果,即第二初始预测法向量纹理图像进行滤波,得到平滑的第二预测法向量纹理图像并输出给第二计算模块73。
上述技术方案中,解码模块71可以是JPEG或者JPEG2000解码器,也可以是其他图像解码器,但需要与编码端的第一编码模块、第二编码模块以及解码单元相适应。
需要指出的是,本实施例提供的三维网格解码装置是与上述解码方法相对应的装置,其可以采用上述解码方法的具体实现过程来实现对应的装置的技术方案,此处不再赘述。
本实施例提供的三维网格解码装置,通过设置第二预测模块、第二计算模块实现了在解码端根据第二重构几何图像预测出第二预测法向量纹理图像,保证解码端得到高准确度的法向量纹理图像,提高了原始网格所表现的渲染效果。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (8)
1.一种三维网格编码方法,其特征在于,包括以下步骤:
生成原始几何图像、第一法向量纹理图像;
对所述原始几何图像进行编码压缩生成所述原始几何图像的码流,并输出;
根据所述原始几何图像的码流生成第一预测法向量纹理图像;
根据所述第一法向量纹理图像和所述第一预测法向量纹理图像,计算第一法向量纹理图像的预测残差;
对所述第一法向量纹理图像的预测残差进行编码压缩生成所述预测残差的码流,并输出所述预测残差的码流;
所述根据所述原始几何图像的码流生成第一预测法向量纹理图像具体为:
对所述原始几何图像的码流进行解码,生成第一重构几何图像;
根据所述第一重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;
根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;
将所述顶点的法向量量化到图像灰度范围内,生成第一初始预测法向量纹理图像;
将所述第一初始预测法向量纹理图像通过低通滤波器,进行平滑滤波后,得到所述第一预测法向量纹理图像。
2.根据权利要求1所述的三维网格编码方法,其特征在于,所述根据所述第一重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域,具体为:
计算所述三维网格模型的每个顶点周围所有三角面片的几何拉伸度的方差;将所述方差与一阈值进行比较,如果所述方差大于所述阈值,将所述顶点划为所述相似几何拉伸区域的边界点,否则,将所述顶点划为所述相似几何拉伸区域的内部点,从而形成所述多个相似几何拉伸区域。
3.根据权利要求1所述的三维网格编码方法,其特征在于,所述根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量,具体为:
当所述顶点属于所述相似几何拉伸区域时,首先通过下采样方法对所述相似几何拉伸区域的内部点进行采样,当所述顶点为采样点时,根据所述第一重构几何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连线所形成的新的拓扑关系,计算所述顶点的法向量;当所述顶点为非采样点时,由所述顶点附近的采样点的法向量以插值的方法生成所述顶点的法向量;
当所述顶点为所述相似几何拉伸区域的边界点时,根据所述第一重构几何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连线所形成的新的拓扑关系,计算所述顶点的法向量。
4.一种三维网格解码方法,其特征在于,包括以下步骤:
对接收到的图像码流进行解码,根据解码后的数据生成第二法向量纹理图像的预测残差和第二重构几何图像;
由所述第二重构几何图像生成第二预测法向量纹理图像;
根据所述第二法向量纹理图像的预测残差和所述第二预测法向量纹理图像,生成第二法向量纹理图像;
根据所述第二法向量纹理图像和所述第二重构几何图像,重构出三维网格;
所述由所述第二重构几何图像生成第二预测法向量纹理图像具体为:
根据所述第二重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;
根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;
将所述顶点的法向量量化到图像灰度范围内,生成第二初始预测法向量纹理图像;
将所述第二初始预测法向量纹理图像通过低通滤波器,进行平滑滤波后,得到所述第二预测法向量纹理图像。
5.根据权利要求4所述的三维网格解码方法,其特征在于,所述根据所述第二重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域,具体为:
计算所述三维网格模型的每个顶点周围所有三角面片的几何拉伸度的方差;将所述方差与一阈值进行比较,如果所述方差大于所述阈值,将所述顶点划为所述相似几何拉伸区域的边界点,反之,将所述顶点划为所述相似几何拉伸区域的内部点,从而形成所述多个相似几何拉伸区域。
6.根据权利要求4所述的三维网格解码方法,其特征在于,所述根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量,具体为:
当所述顶点属于所述相似几何拉伸区域时,首先通过下采样方法对所述相似几何拉伸区域的内部点进行采样,当所述顶点为采样点时,根据所述第二重构几何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连线所形成的新的拓扑关系,计算所述顶点的法向量;当所述顶点为非采样点时,由所述顶点附近的采样点的法向量以插值的方法生成所述顶点的法向量;
当所述顶点为所述相似几何拉伸区域的边界点时,根据所述第二重构几何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连线所形成的新的拓扑关系,计算所述顶点的法向量。
7.一种三维网格编码装置,其特征在于,包括:
生成模块,用于生成原始几何图像、第一法向量纹理图像;
第一编码模块,用于对所述生成模块生成的所述原始几何图像进行编码压缩生成并输出所述原始几何图像的码流;
第一预测模块,用于根据所述第一编码模块输出的所述原始几何图像的码流生成第一预测法向量纹理图像;
第一计算模块,用于根据所述生成模块生成的所述第一法向量纹理图像和所述第一预测模块生成的所述第一预测法向量纹理图像,计算第一法向量纹理图像的预测残差;
第二编码模块,用于对所述第一计算模块计算出的所述第一法向量纹理图像的预测残差进行编码压缩生成所述预测残差的码流,并输出所述预测残差的码流;
其中,所述第一预测模块具体包括:解码单元,用于对所述原始几何图像的码流进行解码,生成第一重构几何图像;第一划分单元,用于根据所述第一重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;第一计算单元,用于根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;第一量化单元,用于将所述顶点的法向量量化到图像灰度范围内,生成第一初始预测法向量纹理图像;以及第一低通滤波单元,用于对第一量化单元输出的第一初始预测法向量纹理图像进行滤波,得到所述第一预测法向量纹理图像,并输出给所述第一计算模块。
8.一种三维网格解码装置,其特征在于,包括:
解码模块,用于对接收到的图像码流进行解码,根据解码后的数据生成第二法向量纹理图像的预测残差和第二重构几何图像;
第二预测模块,用于由所述解码模块生成的所述第二重构几何图像生成第二预测法向量纹理图像;
第二计算模块,用于根据所述解码模块生成的所述第二法向量纹理图像的预测残差和所述第二预测模块生成的所述第二预测法向量纹理图像,生成第二法向量纹理图像;
重构模块,用于根据所述第二计算模块输出的所述第二法向量纹理图像和所述解码模块输出的所述第二重构几何图像,重构出三维网格;
其中,所述第二预测模块具体包括:第二划分单元,用于根据所述第二重构几何图像的几何拉伸度对三维网格模型进行区域划分,将所述三维网格模型划分为多个相似几何拉伸区域;第二计算单元,用于根据所述相似几何拉伸区域,计算所述三维网格模型的所有顶点的法向量;第二量化单元,用于将所述顶点的法向量量化到图像灰度范围内,生成第二初始预测法向量纹理图像;以及第二低通滤波单元,用于对第二量化单元输出的第二初始预测法向量纹理图像进行滤波,得到所述第二预测法向量纹理图像,并输出给所述第二计算模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910091152 CN101626509B (zh) | 2009-08-10 | 2009-08-10 | 三维网格编码、解码方法及编码、解码装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910091152 CN101626509B (zh) | 2009-08-10 | 2009-08-10 | 三维网格编码、解码方法及编码、解码装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101626509A CN101626509A (zh) | 2010-01-13 |
CN101626509B true CN101626509B (zh) | 2011-02-02 |
Family
ID=41522148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910091152 Expired - Fee Related CN101626509B (zh) | 2009-08-10 | 2009-08-10 | 三维网格编码、解码方法及编码、解码装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101626509B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927746B (zh) * | 2014-04-03 | 2017-02-15 | 北京工业大学 | 一种三维网格序列的配准及压缩方法 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101859443B (zh) * | 2010-06-22 | 2012-07-18 | 清华大学 | 自适应的三角形多分辨率网格顶点位置预测方法和装置 |
CN102510486B (zh) * | 2011-09-23 | 2014-06-25 | 中山大学 | 一种几何图像的处理方法及其装置 |
CN102510497B (zh) * | 2011-10-18 | 2015-07-29 | 清华大学 | 基于分级量化的质量可伸缩的三维网格编码方法及装置 |
CN102510498B (zh) * | 2011-10-18 | 2014-06-11 | 清华大学 | 基于自适应仿射变换的三维动态网格压缩方法及装置 |
JP2015512072A (ja) * | 2012-01-21 | 2015-04-23 | トムソン ライセンシングThomson Licensing | 3次元(3d)モデルのテクスチャ情報を圧縮する方法及び装置 |
CN104094317A (zh) * | 2012-01-21 | 2014-10-08 | 汤姆逊许可公司 | 用于压缩三维模型的纹理信息的方法及装置 |
CN102625126B (zh) * | 2012-03-22 | 2014-10-15 | 北京工业大学 | 一种基于预测的三维网格编码方法 |
JP6246233B2 (ja) * | 2013-01-10 | 2017-12-13 | トムソン ライセンシングThomson Licensing | 頂点誤差訂正のための方法および装置 |
CN105069820B (zh) * | 2015-08-07 | 2018-04-06 | 北京工业大学 | 一种适用于三维网格序列的压缩方法 |
EP3163536B1 (en) * | 2015-10-30 | 2021-12-08 | Dassault Systèmes | Compression of a three-dimensional modeled object |
KR101763921B1 (ko) * | 2016-10-21 | 2017-08-01 | (주)플럭스플래닛 | 컨텐츠 스트리밍 시스템 및 방법 |
EP3419286A1 (en) * | 2017-06-23 | 2018-12-26 | Koninklijke Philips N.V. | Processing of 3d image information based on texture maps and meshes |
US10948285B2 (en) * | 2017-07-28 | 2021-03-16 | Faro Technologies, Inc. | Three-dimensional measurement device mobile geometry verification |
CN112235580A (zh) * | 2019-07-15 | 2021-01-15 | 华为技术有限公司 | 图像编码方法、解码方法、装置和存储介质 |
CN111613222A (zh) * | 2020-05-25 | 2020-09-01 | 广东电网有限责任公司 | 一种变电站巡检系统 |
WO2022227073A1 (en) * | 2021-04-30 | 2022-11-03 | Google Llc | Multiresolution deep implicit functions for three-dimensional shape representation |
CN113542739B (zh) * | 2021-07-15 | 2023-10-20 | Oppo广东移动通信有限公司 | 图像编码方法及装置、图像解码方法及装置、介质、设备 |
CN113744362B (zh) * | 2021-09-07 | 2024-04-09 | 北京沃东天骏信息技术有限公司 | 用于生成图形的方法和装置 |
CN113949929A (zh) * | 2021-10-15 | 2022-01-18 | 保升(中国)科技实业有限公司 | 一种视频通讯逼真技术 |
CN116668703A (zh) * | 2022-02-18 | 2023-08-29 | 维沃移动通信有限公司 | 编码方法、解码方法、装置及通信设备 |
CN116664754A (zh) * | 2022-02-18 | 2023-08-29 | 维沃移动通信有限公司 | 编码方法、装置及设备 |
CN114693732B (zh) * | 2022-03-07 | 2022-11-25 | 四川大学华西医院 | 一种弱小目标检测与跟踪方法 |
CN117197263A (zh) * | 2022-05-31 | 2023-12-08 | 维沃移动通信有限公司 | 编码方法、解码方法、装置及设备 |
CN117412058A (zh) * | 2022-07-06 | 2024-01-16 | 维沃移动通信有限公司 | 编码、解码方法、装置及设备 |
CN117475109B (zh) * | 2023-12-21 | 2024-03-19 | 中建三局集团有限公司 | 基于拉伸体几何切割的模型流水段划分方法、装置及介质 |
-
2009
- 2009-08-10 CN CN 200910091152 patent/CN101626509B/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927746B (zh) * | 2014-04-03 | 2017-02-15 | 北京工业大学 | 一种三维网格序列的配准及压缩方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101626509A (zh) | 2010-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101626509B (zh) | 三维网格编码、解码方法及编码、解码装置 | |
CN102625126B (zh) | 一种基于预测的三维网格编码方法 | |
US20230108967A1 (en) | Micro-meshes, a structured geometry for computer graphics | |
US10818069B2 (en) | UV mapping and compression | |
Haber et al. | Smooth approximation and rendering of large scattered data sets | |
CN112085836A (zh) | 一种基于图卷积神经网络的三维人脸重建方法 | |
KR20140086998A (ko) | 예측 위치 인코딩 | |
CN107025673A (zh) | 虚拟结构光3d数据压缩算法的局部误差抑制方法 | |
CN103116897B (zh) | 一种基于图像空间的三维动态数据压缩和平滑方法 | |
CN116843841A (zh) | 基于网格压缩的大规模虚拟现实系统 | |
CN105160705B (zh) | 一种基于三维引擎对移动终端三维图像数据的处理方法 | |
Berjón et al. | Objective and subjective evaluation of static 3D mesh compression | |
CN101483765A (zh) | 一种图像处理方法、编解码方法及装置 | |
US6424344B1 (en) | Apparatus for providing a visual navigation interface | |
CN113034627B (zh) | 基于几何重排的虚拟结构光3d点云压缩方法 | |
Daribo et al. | Point cloud compression for grid-pattern-based 3D scanning system | |
He et al. | Point set surface compression based on shape pattern analysis | |
Smith et al. | Encoding normal vectors using optimized spherical coordinates | |
Lee et al. | Bimodal vertex splitting: Acceleration of quadtree triangulation for terrain rendering | |
Kim et al. | A distance-based compression of 3d meshes for mobile devices | |
CN105741332B (zh) | 一种真实感三维网格压缩方法 | |
Shi et al. | Realistic mesh compression based on geometry image | |
Dong et al. | 3D model progressive compression algorithm using attributes | |
Park et al. | Progressive compression of geometry information with smooth intermediate meshes | |
JP2023157503A (ja) | メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110202 Termination date: 20180810 |
|
CF01 | Termination of patent right due to non-payment of annual fee |