CN116664754A - 编码方法、装置及设备 - Google Patents
编码方法、装置及设备 Download PDFInfo
- Publication number
- CN116664754A CN116664754A CN202210153272.XA CN202210153272A CN116664754A CN 116664754 A CN116664754 A CN 116664754A CN 202210153272 A CN202210153272 A CN 202210153272A CN 116664754 A CN116664754 A CN 116664754A
- Authority
- CN
- China
- Prior art keywords
- information
- grid
- precision
- geometric
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 238000013139 quantization Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000000153 supplemental effect Effects 0.000 claims description 18
- 230000002829 reductive effect Effects 0.000 claims description 12
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 description 18
- 238000007906 compression Methods 0.000 description 18
- 239000013598 vector Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012856 packing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000945 filler Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请公开了一种编码方法、装置及设备,涉及编解码技术领域。该编码方法,包括:编码端对目标三维网格进行简化处理,获取简化网格;所述编码端对所述简化网格的几何信息进行量化,获取第一信息,所述第一信息包括以下至少一项:第一精度几何信息、第二精度几何信息、补充点的信息;所述编码端对所述第一信息以及重建网格的连接信息进行编码;其中,所述重建网格基于所述第一信息确定,所述第一精度几何信息为所述目标三维网格量化后的几何信息,所述第二精度几何信息为所述目标三维网格量化过程中丢失的几何信息,所述补充点的信息为量化过程中产生的需要额外处理的点的信息。
Description
技术领域
本申请属于编解码技术领域,具体涉及一种编码方法、装置及设备。
背景技术
三维网格(Mesh)可以被认为是过去多年来最流行的三维模型的表示方法,其在许多应用程序中扮演着重要的角色。它的表示简便,因此被大量以硬件算法集成到电脑、平板电脑和智能手机的图形处理单元(GPU)中,专门用于渲染三维网格。
在所有使用三维网格的应用领域中,如计算模拟、娱乐、医学成像、数字化文物、计算机设计、电子商务等,对网格精度的要求一直在提高,所需要的数据量也快速增长,且当前大量的三维模型都需要通过互联网来访问。以上问题导致了三维网格的处理、可视化、传输和存储都越来越复杂。而三维网格压缩是解决上述问题的一个重要途径。它极大地减少了数据量的大小,有利于三维网格的处理、存储和传输。
通常来说,网格中最重要的信息也就是几何信息,因为它描述了三维物体的形状,对于几何信息的压缩可以与当前正在研究的点云压缩技术相结合。同时,对于一些应用来说,不需要模型恢复到原始的精度,因此大多采用有损压缩。但是现有的仅关注到几何信息的压缩,此种压缩方式不能有效减少数据量。
发明内容
本申请实施例提供一种编码方法、装置及设备,能够解决现有技术的三维网格压缩的压缩方式数据量较高的问题。
第一方面,提供了一种编码方法,包括:
编码端对目标三维网格进行简化处理,获取简化网格;
所述编码端对所述简化网格的几何信息进行量化,获取第一信息,所述第一信息包括以下至少一项:第一精度几何信息、第二精度几何信息、补充点的信息;
所述编码端对所述第一信息以及重建网格的连接信息进行编码;
其中,所述重建网格基于所述第一信息确定,所述第一精度几何信息为所述目标三维网格量化后的几何信息,所述第二精度几何信息为所述目标三维网格量化过程中丢失的几何信息,所述补充点的信息为量化过程中产生的需要额外处理的点的信息。
第二方面,提供了一种编码装置,包括:
第一获取模块,用于对目标三维网格进行简化处理,获取简化网格;
第二获取模块,用于对所述简化网格的几何信息进行量化,获取第一信息,所述第一信息包括以下至少一项:第一精度几何信息、第二精度几何信息、补充点的信息;
第一编码模块,用于对所述第一信息以及重建网格的连接信息进行编码;
其中,所述重建网格基于所述第一信息确定,所述第一精度几何信息为所述目标三维网格量化后的几何信息,所述第二精度几何信息为所述目标三维网格量化过程中丢失的几何信息,所述补充点的信息为量化过程中产生的需要额外处理的点的信息。
第三方面,提供了一种编码设备,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,提供了一种编码设备,包括处理器及通信接口,其中,所述处理器用于对目标三维网格进行简化处理,获取简化网格;对所述简化网格的几何信息进行量化,获取第一信息,所述第一信息包括以下至少一项:第一精度几何信息、第二精度几何信息、补充点的信息;对所述第一信息以及重建网格的连接信息进行编码;其中,所述重建网格基于所述第一信息确定,所述第一精度几何信息为所述目标三维网格量化后的几何信息,所述第二精度几何信息为所述目标三维网格量化过程中丢失的几何信息,所述补充点的信息为量化过程中产生的需要额外处理的点的信息。
第五方面,提供了一种通信系统,包括:编码设备,所述编码设备可用于执行如第一方面所述的方法的步骤。
第六方面,提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第七方面,提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第八方面,提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。
在本申请实施例中,通过对目标三维网格进行简化处理,获取简化网格,对所述简化网格的几何信息进行量化,获取第一精度几何信息、第二精度几何信息和补充点的信息中的至少一项,然后对上述信息以及重建网格的连接信息进行编码;上述方案,能够实现连接信息的有损压缩,能够减少数据量。
附图说明
图1是本申请实施例的编码方法的流程示意图;
图2是网格简化中合并顶点过程的示意图;
图3是基于网格的精细划分过程示意图;
图4是Patch排列的八种方向示意图;
图5是高精度几何信息的编码过程示意图;
图6是raw patch示意图;
图7是三维网格编码框架示意图;
图8是本申请实施例的编码装置的模块示意图;
图9是本申请实施例的编码设备的结构示意图;
图10是本申请实施例的通信设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是,本申请实施例所描述的技术不限于长期演进型(Long TermEvolution,LTE)/LTE的演进(LTE-Advanced,LTE-A)系统,还可用于其他无线通信系统,诸如码分多址(Code Division Multiple Access,CDMA)、时分多址(Time DivisionMultiple Access,TDMA)、频分多址(Frequency Division Multiple Access,FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access,OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access,SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用,所描述的技术既可用于以上提及的系统和无线电技术,也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio,NR)系统,并且在以下大部分描述中使用NR术语,但是这些技术也可应用于NR系统应用以外的应用,如第6代(6th Generation,6G)通信系统。
下面结合附图,通过一些实施例及其应用场景对本申请实施例提供的编码方法、装置及设备进行详细地说明。
如图1所示,本申请实施例提供一种编码方法,包括:
步骤101,编码端对目标三维网格进行简化处理,获取简化网格;
需要说明的是,本申请中所说的目标三维网格可以理解为任意视频帧对应的三维网格。
步骤102,所述编码端对所述简化网格的几何信息进行量化,获取第一信息;
需要说明的是,该简化网格的几何信息可以理解为是三维网格中顶点的坐标,该坐标通常指的是三维坐标。
具体地,所述第一信息包括以下至少一项:
A11、第一精度几何信息;
需要说明的是,该第一精度几何信息可以理解为低精度几何信息,即低精度几何信息指的是目标三维网格量化后的几何信息,即量化后的目标三维网格包括的各顶点三维坐标信息。
A12、第二精度几何信息;
需要说明的是,该第二精度几何信息可以理解为高精度几何信息,高精度几何信息可以看作是量化过程中丢失的几何信息,即丢失的三维坐标信息。
A13、补充点的信息;
需要说明的是,补充点的信息是指量化过程中产生的需要额外处理的点的信息,也就是说,所述补充点为量化过程中产生的需要额外处理的点,例如,坐标位置出现重叠的重复点等,通过对重复点进行处理,可以使得在量化中坐标位置重叠的顶点在反量化后恢复到原来的位置。
可选地,该补充点的信息,包括以下至少一项:
A131、补充点对应的第一精度几何信息中顶点的索引;
需要说明的是,通过标识索引,便可知道量化后的网格中,哪些点标识的是量化前的三维网格中的多个点,即量化前的三维网格中的多个点在量化后重合到了一起,通过顶点的索引便可确定补充点的低精度几何信息。
A132、补充点的第三精度几何信息;
需要说明的是,该第三精度几何信息可以理解为补充点的低精度几何信息,即补充点被量化后的三维坐标信息。
A133、补充点的第四精度几何信息;
需要说明的是,该第四精度几何信息可以理解为补充点的高精度几何信息,即补充点在被量化过程中丢失的三维坐标信息。
这里需要说明的是,在具体使用时,通过A131和A133或者通过A132和A133便可确定得到量化后隐藏的点有哪些。
步骤103,所述编码端对所述第一信息以及重建网格的连接信息进行编码;
其中,所述重建网格基于所述第一信息确定。
需要说明的是,所述连接信息指的是网格中顶点之间的连接关系。
需要说明的是,通过对目标三维网格进行简化处理,获取简化网格,对所述简化网格的几何信息进行量化,获取第一精度几何信息、第二精度几何信息和补充点的信息中的至少一项,然后对上述信息以及重建网格的连接信息进行编码;上述方案,能够提高三维网格几何信息的压缩效率,还能够实现连接信息的有损压缩,能够有效减少数据量。
可选地,所述重建网格的连接信息的获取过程,包括:
步骤S11、所述编码端根据所述第一信息的编码信息进行几何重建;
需要说明的是,此处的几何重建指的是通过编码信息进行三维坐标的获取。
步骤S12、所述编码端根据重建后的几何信息以及所述简化网格,进行网格重建,获取重建网格;
步骤S13、所述编码端根据所述重建网格,获取所述重建网格的连接信息。
需要说明的是,通过利用几何信息的编码信息进行网格重建,然后再基于重建网格进行连接信息的获取,能够保证获取的连接信息较为准确。
还需要说明的是,在获取到重建网格之后,所述编码端需要获取重建网格的属性信息,然后对所述属性信息进行编码,便可得到属性信息对应的码流。
可选地,本申请的步骤101的具体实现方式为:
所述编码端基于量化参数,对所述目标三维网格进行简化处理,获取简化网格。
需要说明的是,本申请中所说的量化参数主要包括X向、Y向和Z向三个分量上的量化参数。
可选地,基于量化参数,对所述目标三维网格进行简化处理,获取简化网格的具体实现方式为:
所述编码端在进行所述目标三维网格中的顶点合并时,将所述目标三维网格中顶点合并后的部分或全部顶点的位置调整为量化参数的倍数,获取简化网格。
需要说明的是,通过在设置合并后的点的位置时,考虑量化参数,将其设置为量化参数的倍数,该倍数可以为符合使需求的任意值,以此能够确保在反量化时不需要额外的信息便可恢复原始位置,将减少高精度的几何信息所消耗的数据量。
下面对简化处理的具体实现方式说明如下。
对于输入的原始网格,首先进行网格简化的操作。网格简化的重点在于简化的操作以及对应的误差度量。这里的网格简化操作可以为基于边的简化。如图2所示,可以通过合并一条边的两个顶点来达到减少面片数和顶点数的目的。此外,还可通过基于点等网格简化方式对网格进行简化。
在网格简化的过程中需要定义简化的误差度量。例如,可以选取顶点所有相邻面的方程系数之和作为该顶点的误差度量,相应的边的误差度量即为边上两顶点的误差度量之和。在确定好简化操作的方式以及误差度量后就可以开始对网格进行简化。例如,可以将网格分为一片或多片局部网格,先计算片中初始网格的顶点误差来得到每条边的误差。然后将片内的所有边按误差按照某规则,如按照从小到大的规则进行排列。每次简化可以按照某种规则对边进行合并,如选取误差最小的边进行合并,同时计算合并后的顶点位置并更新所有与合并后顶点相关的边的误差,更新边排列的顺序。通过迭代将网格的面简化到某一预期数量。
具体过程包括:
1、顶点误差的计算
顶点误差可以定义为顶点所有相邻面的方程的系数之和。例如,每个相邻面都定义了一个平面,可以用公式一表示:
公式一:D2=(nTv+d)2=vT(nnT)v+2dnTv+d2;
其中,D为任意顶点到平面的距离,n为平面的单位法向量,v为顶点的位置向量,d为常数。用二次曲面的形式表示为公式二:Q=(A,b,c)=(nnT,dn,d2);
其中,Q为顶点误差,A,b,c为表示公式一中相应符号的系数。
从公式二进而得到公式三:Q(v)=vTAv+2bTv+c;
由顶点误差为该顶点所有相邻面的方程系数之和,则可令公式四:Q1(v)+Q2(v)=(Q1+Q2)(v)=(A1+A2,b1+b2,c1+c2)(v)。其中,Q(v)为顶点误差,v为对应的顶点,Q1(v)为v相邻平面1的方程,Q2(v)为v相邻平面2的方程,A1,A2,b1,b2,c1,c2为各自相对应的系数。当然,若存在多个相邻面则可向公式四中继续添加相应的平面误差方程。
2、合并顶点
合并顶点过程的一个主要步骤为确定合并后顶点的位置。根据误差公式三,可以选择能让误差尽可能小的顶点位置。例对通过对公式三求偏导数,可以得到,公式四:
公式五:
由上式可知,只有在矩阵A可逆的情况下,才能求得使误差最小的点。因此,此处对于合并后的顶点位置可以有多种取法。如果考虑网格简化的质量,在矩阵A可逆的情况下,选取使误差最小的顶点位置;在矩阵A不可逆的情况下,可以选择边上包括两端点的其中一个使误差最小的点。如果考虑网格简化的复杂度,可以直接选取边的中点或者两端点的其中一个作为合并后的顶点的位置。如果考虑网格简化后量化的效率,还需要调整合并后的顶点位置。由于量化后对于高精度信息需要单独编码,因此,将一部分合并后的顶点位置调整为相应量化参数的倍数,确保在反量化时不需要额外的信息便可恢复原始位置,将减少高精度的几何信息所消耗的数据量。
确定了如何选取合并后的顶点位置后,便可以开始合并顶点的过程。例如,可以先计算初始网格中所有的边的误差,将其按误差按照某规格,如从小到大的顺序进行排列。每次迭代,选取误差满足某规则的边,如误差最小的边。从网格顶点中移除边的两个端点并添加合并后的顶点到网格顶点的集合中。将合并前的两个顶点的所有或部分相邻顶点作为合并后的顶点的相邻顶点,然后更新与该合并顶点相连接的所有点的误差度量,从而得到新产生的边的误差。然后从片的全局来更新边的排列顺序。循环上述过程,直到达到满足有损编码所需要的面数。
3、更新连接关系
在合并顶点之后,由于顶点集中删除了一部分顶点,同时又添加了许多新的顶点,因此需要更新顶点之间的连接关系。例如,在合并顶点过程中可以确定合并后的顶点对应的合并之前的两个顶点。只需要用合并后的顶点的索引替换所有在面中出现的合并之前的两个顶点的索引,然后删除具有重复索引的面,就可以达到更新连接关系的目的。
以上即为网格简化的主要过程。同时,三维网格还可能会携带有属性信息,对属性信息也可能需简化。对于带有属性信息的网格,如纹理坐标,颜色,法向量等,可以将顶点坐标扩展到更高的维度从而计算带有属性信息的顶点误差。以纹理坐标为例,设顶点坐标为(x,y,z),纹理坐标为(u,v),则扩展后的顶点为(x,y,z,u,v)。设扩展后的三角形T=(p,q,r),为了确定高维空间上的误差度量,首先计算两个标准正交向量,即:
公式六:
公式七:
其中,e1,e2为T所在平面上的两个向量,q为,e2为,此处"·"代表向量的点乘,它定义了该高维平面上的一个坐标轴,以p为原点。考虑一个任意点v,另u=p-v,由公式八:‖u‖2=(u·e1)2+…+(μ·en)2;
即公式九:(u·e3)2+…+(u·en)2=‖μ‖2-(μ·e1)2-(u·e2)2。
由于e1,e2为T所在平面上的两个向量,则公式九左边项即为顶点到T所在平面的距离的平方,即公式十:D2=‖μ‖2-(μ·e1)2-(u·e2)2;
对其进行展开并合并后可得到与公式三类似的方程,其中:
公式十一:
公式十二:b=(p·e1)e1+(p·e2)e2-p;
公式十三:c=p·p-(p·e1)2-(p·e2)2。
得到上述误差度量后,则可以进行与之前三维信息一样的后续步骤,从而实现了对于带有属性信息的网格的简化。
通常来说,图像的边缘部分更能吸引人们的注意力,从而影响人们对于该图像的质量评价。三维网格也是如此,人们往往更容易注意到边界部分。因此,是否保持边界也是网格简化中影响质量的一个因素。网格的边界一般为几何形状的边界以及纹理的边界。当一条边只属于一个面时,该边即为一个几何边界。当同一个顶点具有两个或多个纹理坐标时,该顶点即为纹理坐标的边界。在网格简化时,以上边界均不应被合并。因此,在每次简化时可以先判断该边上的顶点是否为边界点,若为边界点则跳过,直接进行下一次迭代。
可选地,上述的步骤102的具体实现方式为:
所述编码端根据每一分量的量化参数,对所述简化网格中的每一顶点进行量化,获取第一精度几何信息。
需要说明的是,每一分量的量化参数可以根据使用需求灵活设置。
通常情况下,对于精度要求不高的量化,在量化后可以只保留低精度几何信息;而对于精度要求较高的量化,在量化时不仅要记录低精度几何信息,也需要记录高精度几何信息,以此在解码时能够实现精准的网格恢复,也就是说,上述的步骤102的具体实现方式还应当包括:
所述编码端根据所述第一精度几何信息以及所述每一分量的量化参数,获取第二精度几何信息。
例如,假设某顶点的三维坐标为(x,y,z),量化参数为(QPx,QPy,QPz),低精度几何信息(xl,yl,zl)和高精度几何信息(xh,yh,zh)的计算过程如公式十四至公式十九所示:
公式十四:xl=f1(x,QPx);
公式十五:yl=f1(y,QPy);
公式十六:zl=f1(z,QPz);
公式十七:xh=f2(x,xl,QPx);
公式十八:yh=f2(y,yl,QPy);
公式十九:zh=f2(z,zl,QPz);
其中,公式十四至公式十六中的f1函数是量化函数,量化函数的输入为某一维度的坐标和该维度的量化参数,输出为量化后的坐标值;公式十七至公式十九中的f2函数输入为原始坐标值、量化后的坐标值以及该维度的量化参数,输出为高精度的坐标值。
f1函数可以有多种计算方式,比较通用的一种计算方式如公式二十至公式二十二所示,使用每个维度的原始坐标除以该维度的量化参数来计算。其中,/为除法运算符,对除法运算的结果可以采用不同的方式进行舍入,如四舍五入、向下取整、向上取整等。f2函数也存在多种计算方式,与公式七至公式九相对应的实现方式如公式二十三至公式二十五所示,其中,*为乘法运算符。
公式二十:xl=x/QPx;
公式二十一:yl=y/QPy;
公式二十二:zl=z/QPz;
公式二十三:xh=x-xl*QPx;
公式二十四:yh=y-yl*QPy;
公式二十五:zh=z-zl*QPz;
当量化参数为2的整数次幂时,f1函数和f2函数可以使用位运算实现,如公式二十六至公式三十一:
公式二十六:xl=x>>log2 QPx;
公式二十七:yl=y>>log2 QPy;
公式二十八:zl=z>>log2 QPz;
公式二十九:xh=x&(QPx-1);
公式三十:yh=y&(QPy-1);
公式三十一:zh=z&(QPz-1);
值得注意的是,无论f1函数和f2函数采用哪种计算方式,量化参数QPx、QPy和QPz都可以灵活设置。首先,不同分量的量化参数并不一定相等,可以利用不同分量的量化参数的相关性,建立QPx、QPy和QPz之间的关系,为不同分量设置不同的量化参数;其次,不同空间区域的量化参数也不一定相等,可以根据局部区域顶点分布的稀疏程度自适应的设置量化参数。
需要说明的是,高精度几何信息包含的是三维网格的轮廓的细节信息。为了进一步提高压缩效率,可以对高精度几何信息(xh,yh,zh)进一步处理。在三维网格模型中,不同区域的顶点高精度几何信息的重要程度是不同的。对于顶点分布稀疏的区域,高精度几何信息的失真并不会对三维网格的视觉效果产生较大影响。这时为了提高压缩效率,可以选择对高精度几何信息进一步量化,或者只保留部分点的高精度几何信息。
可选地,在进行量化的过程中,可能会存在多个点量化完重合到同一个位置,也就是说,此种情况下,上述的步骤102的具体实现方式还应当包括:
所述编码端根据所述简化网格的几何信息和所述第一精度几何信息,确定补充点的信息。
也就是说,在得到所有顶点的低精度几何信息后,将低精度几何信息重复的点作为补充点,单独进行编码。补充点的几何信息同样可以分为低精度几何信息和高精度几何信息两部分,根据应用对压缩失真的要求,可以选择保留所有补充点或者只保留其中一部分补充点。对补充点的高精度几何信息,也可以进行进一步量化,或者只保留部分点的高精度几何信息。
需要说明的是,在对目标三维网格的几何信息进行量化得到第一信息之后,需要对第一信息进行编码得到最终的码流,可选地,本申请实施例中所说的对第一信息进行编码的具体实现过程包括:
步骤1031,所述编码端对所述第一信息进行处理,获取第二信息,所述第二信息包括占位图和几何图中的至少一项;
步骤1032,所述编码端对所述第二信息进行编码。
需要说明的是,因第一信息中包含的信息的种类不同,在对第一信息进行处理时,会分别对不同类的信息进行单独处理,下面分别从不同信息的角度,对步骤1031的实现过程说明如下。
一、所述第一信息包括第一精度几何信息
可选地,此种情况下,步骤1031的具体实现过程,包括:
步骤10311,所述编码端对所述第一精度几何信息进行三维片划分;
需要说明的是,此种情况下,主要是将低精度几何信息进行片(Patch)划分,得到多个三维片;此步骤的具体实现方式为:编码端确定第一精度几何信息中包含的每个顶点的投影平面;编码端根据所述投影平面对所述第一精度几何信息中所包含的顶点进行片划分;编码端对所述第一精度几何信息中所包含的顶点进行聚类,得到划分后的每一片。也就是说,对于Patch划分的过程主要包括:首先估计每个顶点的法向量,选择平面法向量与顶点法向量之间的夹角最小的候选投影平面作为该顶点的投影平面;然后,根据投影平面对顶点进行初始划分,将投影平面相同且连通的顶点组成patch;最后,使用精细划分算法优化聚类结果,得到最终的三维片(3D patch)。
下面对由第一精度几何信息得到三维片的过程的具体实现进行详细说明如下。
首先估计每个点的法向量。切线平面和它对应的法线是根据每个点的最近的邻居顶点m在一个预定义的搜索距离定义的。K-D树用于分离数据,并在点pi附近找到相邻点,该集合的重心用于定义法线。重心c的计算方法如下:
公式三十二:
使用特征分解法估计顶点法向量,计算过程公式三十三所示:
公式三十三:
在初始划分阶段,初步选择每个顶点的投影平面。设顶点法向量的估计值为候选投影平面的法向量为/>选择法向量方向与顶点法向量方向最接近的平面作为该顶点的投影平面,平面选择的计算过程如公式三十四所示:
公式三十四:
精细划分过程可以采用基于网格的算法来降低算法的时间复杂度,基于网格的精细划分算法流程如图3所示,具体包括:
先设置循环次数(numlter)为0,判断循环次数是否小于最大循环次数(需要说明的是,该最大循环次数可以根据使用需求设置),若小于则执行下述过程:
步骤S301,将(x,y,z)几何坐标空间划分为体素。
需要说明的是,此处的几何坐标空间指的是由量化得到的第一精度几何信息所构成的几何坐标空间。例如,对于使用体素大小为8的10位Mesh,每个坐标上的体素数量将是1024/8=128,此坐标空间中的体素总数将是128×128×128。
步骤S302,查找填充体素,填充体素是指网格中包含至少有一个点的体素。
步骤S303,计算每个填充体素在每个投影平面上的平滑分数,记为voxScoreSmooth,体素在某投影平面的体素平滑分数是通过初始分割过程聚集到该投影平面的点的数量。
步骤S304,使用KD-Tree分区查找近邻填充体素,记为nnFilledVoxels,即每个填充体素(在搜索半径内和/或限制到最大数量的相邻体素)的最近的填充体素。
步骤S305,使用近邻填充体素在每个投影平面的体素平滑分数,计算每个填充体素的平滑分数(scoreSmooth),计算过程如公式三十五所示:
公式三十五:
其中,p是投影平面的索引,v是近邻填充体素的索引。一个体素中所有点的scoreSmooth是相同的。
步骤S306,使用顶点的法向量与候选投影平面的法向量计算法向分数,记为scoreNormal,计算过程如公式三十六所示:
公式三十六:scoreNormal[i][p]=normal[i]·orientation[p];
其中,p是投影平面的索引,i是顶点的索引。
步骤S307,使用scoreSmooth和scoreNormal计算每个体素在各个投影平面上的最终分数,计算过程如公式三十七所示:
公式三十七:
其中,i为顶点索引,p为投影平面的索引,v是顶点i所在的体素索引。
步骤S308,使用步骤307中的分数对顶点进行聚类,得到精细划分的patch。
多次迭代上述过程,直到得到较为准确的patch。
步骤10312,所述编码端将划分的三维片进行二维投影,获取二维片;
需要说的是,此过程是将3D patch投影到二维平面得到二维片(2D patch)。
步骤10313,所述编码端将所述二维片进行打包,获取二维图像信息;
需要说明的是,此步骤实现的是片打包(Patch packing),Patch packing的目的是将将2D patch排列在一张二维图像上,Patch packing的基本原则是将patch不重叠的排列在二维图像上或者将patch的无像素部分进行部分重叠的排列在二维图像上,通过优先级排列、时域一致排列等算法,使patch排列的更加紧密,且具有时域一致性,提高编码性能。
假设,二维图像的分辨率为WxH,定义patch排列的最小块大小为T,它指定了放置在这个2D网格上的不同补丁之间的最小距离。
首先,patch按照不重叠的原则插入放置在2D网格上。每个patch占用由整数个TxT块组成的区域。此外,相邻patch之间要求至少有一个TxT块的距离。当没有足够的空间放置下一个patch时,图像的高度将变成原来的2倍,然后继续放置patch。
为了使patch排列的更加紧密,patch可以选择多种不同的排列方向。例如,可以采用八种不同的排列方向,如图4所示,包括0度、180度、90度、270度以及前四种方向的镜像。
为了获得更好的适应视频编码器帧间预测的特性,采用一种具有时域一致性的Patch排列方法。在一个GOF(Group of frame)中,第一帧的所有patch按照从大到小的顺序依次排列。对于GOF中的其他帧,使用时域一致性算法调整patch的排列顺序。
这里还需要说明的是,在得到二维图像信息后便能根据获取二维图像信息过程中的信息得到patch信息,之后便可以进行片信息的编码,获取片信息子码流;
这里需要说明的是,在进行二维图像信息过程中需要记录patch划分的信息、patch投影平面的信息以及patch packing位置的信息,所以patch信息记录的是获取二维图像过程中各步骤操作的信息,即patch信息包括:patch划分的信息、patch投影平面的信息以及patch packing位置的信息。
步骤10314,所述编码端根据所述二维图像信息,获取第一精度的占位图和第一精度的几何图;
需要说的是,对于获取占位图的过程,主要为:利用patch packing得到的patch排列信息,将二维图像中存在顶点的位置设为1,其余位置设为0,得到占位图。对于获取几何图的过程,主要为:在通过投影得到2D patch的过程中,保存了每个顶点到投影平面的距离,这个距离称为深度,低精度几何图压缩部分就是将2D patch中每个顶点的深度值,排列到该顶点在占位图中的位置上,得到低精度几何图。
二、所述第一信息包括第二精度几何信息
可选地,此种情况下,步骤1031的具体实现过程,包括:
步骤10315,所述编码端获取第一精度几何信息中所包含的顶点的排列顺序;
步骤10316,所述编码端将第一精度几何信息中所包含的顶点对应的第二精度几何信息排列在二维图像中,生成第二精度的几何图。
需要说明的是,高精度几何信息采用原始片(raw patch)的排列方式,将低精度几何图中的顶点对应的高精度几何信息排列在二维图像中,得到raw patch,以此便生成高精度几何图。主要分为三步,如图5所示,包括:
步骤501,获取顶点排列顺序,逐行从左向右扫描低精度几何图,将每个顶点的扫描顺序作为raw patch中顶点的排列顺序。
步骤502,生成raw patch。
需要说明的是,raw patch是将顶点的三维坐标按照如图5所示的方式逐行排列,形成的矩形patch。按照第一步中得到的顶点排列顺序,将顶点的高精度几何信息依次排列,得到高精度几何信息raw patch。
步骤503,将高精度几何信息放置在一张二维图像中,生成高精度几何图。
需要说明的是,在编码得到几何图子码流时,编码端是将对第一精度的几何图和第二精度的几何图进行编码,获取几何图子码流。
三、所述第一信息包括补充点的信息
可选地,此种情况下,步骤1031的具体实现过程,包括:
步骤10317,所述编码端将所述补充点的第三精度几何信息排列成第一原始片;
步骤10318,所述编码端按照与所述第一原始片相同的排列顺序,将所述补充点的第四精度几何信息排列成第二原始片;
步骤10319,所述编码端对所述第一原始片和所述第二原始片进行压缩,获取补充点的几何图。
需要说明的是,本申请实施例中对于补充点的几何信息分为的低精度部分和高精度部分分别进行编码。首先,按照任意顺序将补充点的低精度几何信息排列成补充点低精度raw patch;然后,按照与补充点低精度raw patch相同的顺序将高精度几何信息排列成补充点高精度raw patch;最后,对补充点低精度raw patch和高精度raw patch进行压缩,可以采用多种压缩方法。其中,一种方法是对raw patch中的值进行游程编码、熵编码等方式编码,另一种方法是,将补充点低精度raw patch加入低精度几何图中的空白区域,将补充点高精度raw patch加入高精度几何图中的空白区域,得到补充点的几何图。
本申请实施例的基于视频的三维网格的编码框架如图7所示,总体编码流程为:
在编码端首先对网格进行网格简化的操作,在尽量保持网格结构的情况下减少网格顶点和边的数量。再对已简化网格的几何信息进行量化,由此可能会得到低精度的几何信息、高精度的几何信息以及补充点的信息三部分。对于低精度几何信息,采用投影的方式进行patch划分、patch排列生成patch序列压缩信息(patch的划分信息)、占位图和低精度几何图;对于可能存在的高精度几何信息可以采用raw patch的排列方式,生成高精度几何图(这里需要说明的是,可以对高精度几何图单独编码成一路码流,或者,也可以将高精度几何图填充进低精度几何图中,对低精度几何图进行编码得到一路码流);对于可能存在的补充点,可以将补充点的几何信息分为低精度部分和高精度部分,分别进行raw patch排列,单独编码成一路码流,或者将raw patch加入几何图中;最后,编码patch序列压缩信息、占位图、几何图分别得到对应的子码流。将得到的子码流进行混流,一方面准备将其与连接性关系码流及其他码流进行进一步混流得到最终的输出码流;一方面将几何信息码流进行解码重建出几何信息来作为连接性关系编码的辅助信息,更新原始网格的连接关系后再对更新后的连接信息进行编码,将得到的连接关系码流与几何信息和其他需要编码的属性信息码流进行混流得到最终的输出码流。
需要说明的是,本申请使用基于视频的编码方法来编码Mesh顶点的坐标信息,将顶点的坐标投影至二维平面从而使用视频编码器对Mesh的顶点坐标信息进行编码;在基于视频的Mesh编码方法中加入Mesh简化的方式来降低Mesh的数据量,并采用量化方式生成了低精度的几何信息、高精度的几何信息、补充点的信息,然后分别对这三类信息进行编码;本申请在量化前加入Mesh简化,简化中考虑量化,量化中有简化;本申请针对有损编码模式;能够有效减少数据量。
本申请实施例提供的编码方法,执行主体可以为编码装置。本申请实施例中以编码装置执行信息传输方法为例,说明本申请实施例提供的编码装置。
如图8所示,本申请实施例提供一种编码装置800,包括:
第一获取模块801,用于对目标三维网格进行简化处理,获取简化网格;
第二获取模块802,用于对所述简化网格的几何信息进行量化,获取第一信息,所述第一信息包括以下至少一项:第一精度几何信息、第二精度几何信息、补充点的信息;
第一编码模块803,用于对所述第一信息以及重建网格的连接信息进行编码;
其中,所述重建网格基于所述第一信息确定,所述第一精度几何信息为所述目标三维网格量化后的几何信息,所述第二精度几何信息为所述目标三维网格量化过程中丢失的几何信息,所述补充点的信息为量化过程中产生的需要额外处理的点的信息。
可选地,所述重建网格的连接信息的获取方式,包括:
根据所述第一信息的编码信息进行几何重建;
根据重建后的几何信息以及所述简化网格,进行网格重建,获取重建网格;
根据所述重建网格,获取所述重建网格的连接信息。
可选地,所述第一获取模块801,用于:
基于量化参数,对所述目标三维网格进行简化处理,获取简化网格。
可选地,所述第一获取模块801,用于:
在进行所述目标三维网格中的顶点合并时,将所述目标三维网格中顶点合并后的部分或全部顶点的位置调整为量化参数的倍数,获取简化网格。
可选地,所述装置,还包括:
第三获取模块,用于获取重建网格的属性信息;
第二编码模块,用于对所述属性信息进行编码。
可选地,所述第二获取模块802,用于:
根据每一分量的量化参数,对所述简化网格中的每一顶点进行量化,获取第一精度几何信息。
可选地,所述第二获取模块802,还用于:
根据所述第一精度几何信息以及所述每一分量的量化参数,获取第二精度几何信息。
可选地,所述第二获取模块802,还用于:
根据所述简化网格的几何信息和所述第一精度几何信息,确定补充点的信息。
可选地,所述补充点的信息,包括以下至少一项:
补充点对应的第一精度几何信息中顶点的索引;
补充点的第三精度几何信息,所述第三精度几何信息为补充点被量化后的三维坐标信息;
补充点的第四精度几何信息,所述第四精度几何信息为补充点在被量化过程中丢失的三维坐标信息。
可选地,所述第一编码模块803,包括:
获取单元,用于对所述第一信息进行处理,获取第二信息,所述第二信息包括占位图和几何图中的至少一项;
编码单元,用于所述编码端对所述第二信息进行编码。
可选地,在所述第一信息包括第一精度几何信息的情况下,所述获取单元,用于:
对所述第一精度几何信息进行三维片划分;
将划分的三维片进行二维投影,获取二维片;
将所述二维片进行打包,获取二维图像信息;
根据所述二维图像信息,获取第一精度的占位图和第一精度的几何图。
可选地,在所述第一信息包括第二精度几何信息的情况下,所述获取单元,用于:
获取第一精度几何信息中所包含的顶点的排列顺序;
将第一精度几何信息中所包含的顶点对应的第二精度几何信息排列在二维图像中,生成第二精度的几何图。
可选地,所述编码单元,用于:
对第一精度的几何图和第二精度的几何图进行编码,获取几何图子码流。
可选地,在所述第一信息包括补充点的信息的情况下,所述获取单元,用于:
将所述补充点的第三精度几何信息排列成第一原始片;
按照与所述第一原始片相同的排列顺序,将所述补充点的第四精度几何信息排列成第二原始片;
对所述第一原始片和所述第二原始片进行压缩,获取补充点的几何图。
该装置实施例与上述方法实施例对应,上述方法实施例的各个实施过程和实现方式均可适用于该装置实施例中,且能达到相同的技术效果。
具体地,本申请实施例还提供了一种编码设备。如图9所示,该编码设备900包括:处理器901、网络接口902和存储器903。其中,网络接口902例如为通用公共无线接口(common public radio interface,CPRI)。
具体地,本发明实施例的网络功能900还包括:存储在存储器903上并可在处理器901上运行的指令或程序,处理器901调用存储器903中的指令或程序执行图8所示各模块执行的方法,并达到相同的技术效果,为避免重复,故不在此赘述。
可选的,如图10所示,本申请实施例还提供一种通信设备1000,包括处理器1001和存储器1002,存储器1002上存储有可在所述处理器1001上运行的程序或指令,例如,该通信设备1000为编码设备时,该程序或指令被处理器1001执行时实现上述编码方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述编码方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片,系统芯片,芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现上述感知方法或感知配置方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种通信系统,至少包括:编码设备,所述编码设备可用于执行如上所述的编码方法的步骤。且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (30)
1.一种编码方法,其特征在于,包括:
编码端对目标三维网格进行简化处理,获取简化网格;
所述编码端对所述简化网格的几何信息进行量化,获取第一信息,所述第一信息包括以下至少一项:第一精度几何信息、第二精度几何信息、补充点的信息;
所述编码端对所述第一信息以及重建网格的连接信息进行编码;
其中,所述重建网格基于所述第一信息确定,所述第一精度几何信息为所述目标三维网格量化后的几何信息,所述第二精度几何信息为所述目标三维网格量化过程中丢失的几何信息,所述补充点的信息为量化过程中产生的需要额外处理的点的信息。
2.根据权利要求1所述的方法,其特征在于,所述重建网格的连接信息的获取,包括:
所述编码端根据所述第一信息的编码信息进行几何重建;
所述编码端根据重建后的几何信息以及所述简化网格,进行网格重建,获取重建网格;
所述编码端根据所述重建网格,获取所述重建网格的连接信息。
3.根据权利要求1所述的方法,其特征在于,在所述对目标三维网格进行简化处理,获取简化网格,包括:
所述编码端基于量化参数,对所述目标三维网格进行简化处理,获取简化网格。
4.根据权利要求3所述的方法,其特征在于,所述基于量化参数,对所述目标三维网格进行简化处理,获取简化网格,包括:
所述编码端在进行所述目标三维网格中的顶点合并时,将所述目标三维网格中的顶点合并后的部分或全部顶点的位置调整为量化参数的倍数,获取简化网格。
5.根据权利要求1所述的方法,其特征在于,还包括:
所述编码端获取重建网格的属性信息;
所述编码端对所述属性信息进行编码。
6.根据权利要求1所述的方法,其特征在于,所述对所述简化网格的几何信息进行量化,获取第一信息,包括:
所述编码端根据每一分量的量化参数,对所述简化网格中的每一顶点进行量化,获取第一精度几何信息。
7.根据权利要求6所述的方法,其特征在于,所述对所述简化网格的几何信息进行量化,获取第一信息,还包括:
所述编码端根据所述第一精度几何信息以及所述每一分量的量化参数,获取第二精度几何信息。
8.根据权利要求6所述的方法,其特征在于,所述对所述简化网格的几何信息进行量化,获取第一信息,还包括:
所述编码端根据所述简化网格的几何信息和所述第一精度几何信息,确定补充点的信息。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述补充点的信息,包括以下至少一项:
补充点对应的第一精度几何信息中顶点的索引;
补充点的第三精度几何信息,所述第三精度几何信息为补充点被量化后的三维坐标信息;
补充点的第四精度几何信息,所述第四精度几何信息为补充点在被量化过程中丢失的三维坐标信息。
10.根据权利要求1所述的方法,其特征在于,对所述第一信息进行编码,包括:
所述编码端对所述第一信息进行处理,获取第二信息,所述第二信息包括占位图和几何图中的至少一项;
所述编码端对所述第二信息进行编码。
11.根据权利要求10所述的方法,其特征在于,在所述第一信息包括第一精度几何信息的情况下,所述对所述第一信息进行处理,获取第二信息,包括:
所述编码端对所述第一精度几何信息进行三维片划分;
所述编码端将划分的三维片进行二维投影,获取二维片;
所述编码端将所述二维片进行打包,获取二维图像信息;
所述编码端根据所述二维图像信息,获取第一精度的占位图和第一精度的几何图。
12.根据权利要求10所述的方法,其特征在于,在所述第一信息包括第二精度几何信息的情况下,所述对所述第一信息进行处理,获取第二信息,包括:
所述编码端获取第一精度几何信息中所包含的顶点的排列顺序;
所述编码端将第一精度几何信息中所包含的顶点对应的第二精度几何信息排列在二维图像中,生成第二精度的几何图。
13.根据权利要求10所述的方法,其特征在于,所述对所述第二信息进行编码,包括:
所述编码端对第一精度的几何图和第二精度的几何图进行编码,获取几何图子码流。
14.根据权利要求10所述的方法,其特征在于,在所述第一信息包括补充点的信息的情况下,所述对所述第一信息进行处理,获取第二信息,包括:
所述编码端将所述补充点的第三精度几何信息排列成第一原始片;
所述编码端按照与所述第一原始片相同的排列顺序,将所述补充点的第四精度几何信息排列成第二原始片;
所述编码端对所述第一原始片和所述第二原始片进行压缩,获取补充点的几何图。
15.一种编码装置,其特征在于,包括:
第一获取模块,用于对目标三维网格进行简化处理,获取简化网格;
第二获取模块,用于对所述简化网格的几何信息进行量化,获取第一信息,所述第一信息包括以下至少一项:第一精度几何信息、第二精度几何信息、补充点的信息;
第一编码模块,用于对所述第一信息以及重建网格的连接信息进行编码;
其中,所述重建网格基于所述第一信息确定,所述第一精度几何信息为所述目标三维网格量化后的几何信息,所述第二精度几何信息为所述目标三维网格量化过程中丢失的几何信息,所述补充点的信息为量化过程中产生的需要额外处理的点的信息。
16.根据权利要求15所述的装置,其特征在于,所述重建网格的连接信息的获取方式,包括:
根据所述第一信息的编码信息进行几何重建;
根据重建后的几何信息以及所述简化网格,进行网格重建,获取重建网格;
根据所述重建网格,获取所述重建网格的连接信息。
17.根据权利要求15所述的装置,其特征在于,所述第一获取模块,用于:
基于量化参数,对所述目标三维网格进行简化处理,获取简化网格。
18.根据权利要求17所述的装置,其特征在于,所述第一获取模块,用于:
在进行所述目标三维网格中的顶点合并时,将所述目标三维网格中顶点合并后的部分或全部顶点的位置调整为量化参数的倍数,获取简化网格。
19.根据权利要求15所述的装置,其特征在于,还包括:
第三获取模块,用于获取重建网格的属性信息;
第二编码模块,用于对所述属性信息进行编码。
20.根据权利要求15所述的装置,其特征在于,所述第二获取模块,用于:
根据每一分量的量化参数,对所述简化网格中的每一顶点进行量化,获取第一精度几何信息。
21.根据权利要求20所述的装置,其特征在于,所述第二获取模块,还用于:
根据所述第一精度几何信息以及所述每一分量的量化参数,获取第二精度几何信息。
22.根据权利要求20所述的装置,其特征在于,所述第二获取模块,还用于:
根据所述简化网格的几何信息和所述第一精度几何信息,确定补充点的信息。
23.根据权利要求15-22任一项所述的装置,其特征在于,所述补充点的信息,包括以下至少一项:
补充点对应的第一精度几何信息中顶点的索引;
补充点的第三精度几何信息,所述第三精度几何信息为补充点被量化后的三维坐标信息;
补充点的第四精度几何信息,所述第四精度几何信息为补充点在被量化过程中丢失的三维坐标信息。
24.根据权利要求15所述的装置,其特征在于,所述第一编码模块,包括:
获取单元,用于对所述第一信息进行处理,获取第二信息,所述第二信息包括占位图和几何图中的至少一项;
编码单元,用于所述编码端对所述第二信息进行编码。
25.根据权利要求24所述的装置,其特征在于,在所述第一信息包括第一精度几何信息的情况下,所述获取单元,用于:
对所述第一精度几何信息进行三维片划分;
将划分的三维片进行二维投影,获取二维片;
将所述二维片进行打包,获取二维图像信息;
根据所述二维图像信息,获取第一精度的占位图和第一精度的几何图。
26.根据权利要求24所述的装置,其特征在于,在所述第一信息包括第二精度几何信息的情况下,所述获取单元,用于:
获取第一精度几何信息中所包含的顶点的排列顺序;
将第一精度几何信息中所包含的顶点对应的第二精度几何信息排列在二维图像中,生成第二精度的几何图。
27.根据权利要求24所述的装置,其特征在于,所述编码单元,用于:
对第一精度的几何图和第二精度的几何图进行编码,获取几何图子码流。
28.根据权利要求24所述的装置,其特征在于,在所述第一信息包括补充点的信息的情况下,所述获取单元,用于:
将所述补充点的第三精度几何信息排列成第一原始片;
按照与所述第一原始片相同的排列顺序,将所述补充点的第四精度几何信息排列成第二原始片;
对所述第一原始片和所述第二原始片进行压缩,获取补充点的几何图。
29.一种编码设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至14任一项所述的编码方法的步骤。
30.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至14任一项所述的编码方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210153272.XA CN116664754A (zh) | 2022-02-18 | 2022-02-18 | 编码方法、装置及设备 |
PCT/CN2023/075950 WO2023155778A1 (zh) | 2022-02-18 | 2023-02-14 | 编码方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210153272.XA CN116664754A (zh) | 2022-02-18 | 2022-02-18 | 编码方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116664754A true CN116664754A (zh) | 2023-08-29 |
Family
ID=87577538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210153272.XA Pending CN116664754A (zh) | 2022-02-18 | 2022-02-18 | 编码方法、装置及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116664754A (zh) |
WO (1) | WO2023155778A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101626509B (zh) * | 2009-08-10 | 2011-02-02 | 北京工业大学 | 三维网格编码、解码方法及编码、解码装置 |
CN102625126B (zh) * | 2012-03-22 | 2014-10-15 | 北京工业大学 | 一种基于预测的三维网格编码方法 |
US10916054B2 (en) * | 2018-11-08 | 2021-02-09 | Adobe Inc. | Three-dimensional mesh deformation using deep learning neural networks |
CN112509102B (zh) * | 2020-12-02 | 2023-05-02 | 国网江西省电力有限公司建设分公司 | Bim模型数据的轻量可视化方法 |
-
2022
- 2022-02-18 CN CN202210153272.XA patent/CN116664754A/zh active Pending
-
2023
- 2023-02-14 WO PCT/CN2023/075950 patent/WO2023155778A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023155778A1 (zh) | 2023-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2592596B1 (en) | Compression of texture rendered wire mesh models | |
Peng et al. | Geometry-guided progressive lossless 3D mesh coding with octree (OT) decomposition | |
US11412259B2 (en) | Transform method, inverse transform method, coder, decoder and storage medium | |
Huang et al. | Octree-Based Progressive Geometry Coding of Point Clouds. | |
US8462149B2 (en) | Method and apparatus for real time 3D mesh compression, based on quanitzation | |
CN103927746B (zh) | 一种三维网格序列的配准及压缩方法 | |
US20220207781A1 (en) | Transform method, inverse transform method, encoder, decoder and storage medium | |
KR20230060534A (ko) | 2차원 정규화 평면 투사에 기초한 포인트 클라우드 인코딩 및 디코딩 방법과 장치 | |
WO2023179710A1 (zh) | 编码方法及终端 | |
CN116664754A (zh) | 编码方法、装置及设备 | |
WO2023155794A1 (zh) | 编码、解码方法、装置及设备 | |
WO2023179705A1 (zh) | 编码、解码方法、装置及设备 | |
WO2023174337A1 (zh) | 编码、解码方法、装置及设备 | |
JP2024505796A (ja) | 点群復号化方法、点群符号化方法、復号器及び符号器 | |
WO2023174334A1 (zh) | 编码、解码方法、装置及设备 | |
CN116934880A (zh) | 编码、解码方法、装置及设备 | |
WO2023174336A1 (zh) | 编码、解码方法、装置及设备 | |
WO2023197990A1 (zh) | 编码方法、解码方法及终端 | |
CN116843771A (zh) | 编码方法、解码方法及终端 | |
Kim et al. | Compact encoding of 3-D voxel surfaces based on pattern code representation | |
WO2023179706A1 (zh) | 编码方法、解码方法及终端 | |
Kim et al. | A distance-based compression of 3d meshes for mobile devices | |
CN116939203A (zh) | 编码、解码方法、装置及设备 | |
CN117197263A (zh) | 编码方法、解码方法、装置及设备 | |
WO2022131946A2 (en) | Devices and methods for spatial quantization for point cloud compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |