CN117478901A - 编码、解码方法、装置及设备 - Google Patents

编码、解码方法、装置及设备 Download PDF

Info

Publication number
CN117478901A
CN117478901A CN202210865721.3A CN202210865721A CN117478901A CN 117478901 A CN117478901 A CN 117478901A CN 202210865721 A CN202210865721 A CN 202210865721A CN 117478901 A CN117478901 A CN 117478901A
Authority
CN
China
Prior art keywords
vertex
target
coordinates
texture
triangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210865721.3A
Other languages
English (en)
Inventor
邹文杰
张伟
杨付正
吕卓逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210865721.3A priority Critical patent/CN117478901A/zh
Priority to PCT/CN2023/104351 priority patent/WO2024017008A1/zh
Publication of CN117478901A publication Critical patent/CN117478901A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Image Generation (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本申请公开了一种编码、解码方法、装置及设备,涉及编解码技术领域。该编码方法包括:编码端根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;编码端根据重建的几何信息以及连接关系,对目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;移位坐标对应的比特位长度大于坐标的对应比特位长度;基于每个顶点的移位坐标,对目标三维网格中每个顶点的纹理坐标进行编码。

Description

编码、解码方法、装置及设备
技术领域
本申请属于编解码技术领域,具体涉及一种编码、解码方法、装置及设备。
背景技术
纹理坐标,又称为UV坐标是一种描述三维网格顶点纹理的信息。三维网格先将表面纹理进行二维投影,形成一张二维的纹理图。UV坐标表示三维的顶点纹理所处二维纹理图中位置,且与几何信息一一对应。因此,纹理坐标决定了三维网格的纹理贴图,是三维网格的重要组成部分。
在UV坐标的预测过程中,往往使用低精度的方式存储数据,这导致在UV坐标预测的过程中丢失了数据精度,使得预测残差由于数据精度的丢失而增大,从而降低了纹理坐标的编码效率。
发明内容
本申请实施例提供一种编码、解码方法、装置及设备,能够解决相关技术中预测残差由于数据精度的丢失而增大,从而降低了纹理坐标的编码效率的问题。
第一方面,提供了一种编码方法,包括:
编码端根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;
所述编码端根据重建的几何信息以及连接关系,对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;所述移位坐标对应的比特位长度大于所述坐标对应的比特位长度;
所述编码端基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
第二方面,提供了一种解码方法,包括:
解码端解码获取的与目标三维网格对应的码流得到所述目标三维网格的几何信息和连接关系,解码获取的与每个顶点对应的码流得到所述每个顶点的纹理坐标残差;
所述解码端对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;所述目标残差对应的比特位长度大于所述纹理坐标残差对应的比特位长度;
所述解码端基于所述目标三维网格的几何信息和连接关系,以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
第三方面,提供了一种编码装置,包括:
重建模块,用于根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;
移位模块,用于根据重建的几何信息以及连接关系,对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;所述移位坐标对应的比特位长度大于所述坐标对应的比特位长度;
编码模块,用于基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
第四方面,提供了一种解码装置,包括:
解码模块,用于解码获取的与目标三维网格对应的码流得到所述目标三维网格的几何信息以及连接关系,解码获取的与每个顶点对应的码流得到所述每个顶点的纹理坐标残差;
移位模块,用于对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;所述目标残差对应的比特位长度大于所述纹理坐标残差对应的比特位长度;
确定模块,用于基于所述目标三维网格的几何信息以及连接关系以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
第五方面,提供了一种终端,该终端包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
第六方面,提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
第七方面,提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法,或者实现如第二方面所述的方法。
第八方面,提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
第九方面,提供了一种系统,所述系统包括编码端和解码端,所述编码端执行如第一方面所述的方法的步骤,所述解码端执行如第二方面所述的方法的步骤。
在本申请实施例中,根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;根据重建的几何信息以及连接关系,对目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;基于每个顶点的移位坐标,对目标三维网格中每个顶点的纹理坐标进行编码。上述方案中,对目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标,其中,移位坐标对应的比特位长度大于坐标对应的比特位长度,以此使用比特位数更多的比特位存储顶点的移位坐标,在后续的基于移位坐标进行的UV坐标预测的过程中,使用高精度的方式存储坐标数据,避免预测残差由于数据精度的丢失而增大,进而提高纹理坐标的编码效率。
附图说明
图1是本申请实施例提供的编码方法的流程示意图;
图2是本申请实施例提供的搜索目标三角形的示意图;
图3是本申请实施例提供的预测原理的几何示意图;
图4是本申请实施例提供的UV坐标编码框架示意图;
图5是本申请实施例提供的解码方法的流程示意图;
图6是本申请实施例提供的UV坐标解码框架示意图;
图7是本申请实施例提供的编码装置的结构图;
图8是本申请实施例提供的解码装置的结构图;
图9是本申请实施例提供的通信设备的结构图;
图10是本申请实施例提供的终端的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过一些实施例及其应用场景对本申请实施例提供的编码、解码方法、装置及设备进行详细地说明。
请参阅图1,图1是本申请实施例提供的编码方法的流程示意图。本实施例提供的编码方法包括以下步骤:
S101,编码端根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系。
需要说明的是,本申请中所说的目标三维网格可以理解为任意视频帧对应的三维网格,该目标三维网格的几何信息可以理解为是三维网格中顶点的坐标,该坐标通常指的是三维坐标;所述连接关系用于描述三维网格中顶点和面片等元素之间的连接关系,也可以称为连接性关系。
需要说明的是,本步骤中对顶点的纹理坐标进行编码时是依据几何信息以及连接关系,而为了保证编码后的纹理坐标与编码后的几何信息以及连接关系的一致性,本申请实施例中使用的是编码后再重建的几何信息和连接关系。
S102,所述编码端根据重建的几何信息以及连接关系,对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标。
本步骤中,对目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标,其中,移位坐标对应的比特位长度大于坐标对应的比特位长度,以此将低精度比特位长的坐标转换至高精度比特位长的坐标。
具体的如何对每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标的实施方式,请参阅后续实施例。
S103,所述编码端基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
在本申请实施例中,根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;根据重建的几何信息以及连接关系,对目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;基于每个顶点的移位坐标,对目标三维网格中每个顶点的纹理坐标进行编码。上述方案中,对目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标,其中,移位坐标对应的比特位长度大于坐标对应的比特位长度,使用比特位数更多的比特位存储顶点的移位坐标,在后续的基于移位坐标进行的UV坐标预测的过程中,使用高精度的方式存储坐标数据,避免预测残差由于数据精度的丢失而增大,进而提高纹理坐标的编码效率。
可选地,所述对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标包括:
所述编码端对于所述目标三维网格中的任一顶点,增加所述顶点的坐标占用的比特位数,获得所述顶点的坐标对应的第一目标比特位;
所述编码端使用所述第一目标比特位存储所述顶点的坐标,得到所述顶点的移位坐标。
本实施例中,对于目标三维网格中的任一顶点而言,上述第一移位操作用于增加该顶点的坐标占用的比特位数。
可选地,所述增加所述顶点的坐标占用的比特位数包括:
所述编码端使用第一移位参数对所述顶点的坐标进行二进制左移。
另一种可选地实施方式为,在该顶点的坐标所占用的比特位的基础上,增加第一预设数量的比特位,得到第一目标比特位。
将增加位数后的比特位称为第一目标比特位,使用该第一目标比特位存储顶点的坐标,可以存储更多的坐标数据,得到该顶点的移位坐标。
上述使用第一移位参数对所述顶点的坐标进行二进制左移的具体实施方式为:
在目标三维网格中建立一个直角坐标系,通过该坐标系表征每个顶点的坐标。可以使用参数对目标三维网络中每个顶点的坐标进行二进制左移,得到每个顶点的移位坐标,具体而言,请参阅公式C′uvx=Cuvx<<leftshift,其中,Cuvx为坐标,leftshift为移位参数,C′uvx为移位坐标。
示例性的,Cuvx的比特位长度为M,leftshift表征左移K1位,则C′uvx的比特位长度为M+K1,其中,K1为正整数。
可选地,所述基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码包括:
所述编码端基于所述每个顶点的移位坐标,确定所述目标三维网格中每个顶点的N个预测纹理坐标,N为大于1的正整数;
所述编码端编码每个顶点的纹理坐标残差;顶点的纹理坐标残差基于所述顶点的N个预测纹理坐标确定。
本实施例中,编码端可以采用多个已编码三角形预测顶点的方式,对目标三维网格中每个顶点的纹理坐标进行编码。
本实施例中采用多个已编码三角形预测顶点的方式,确定每个顶点的N个预测纹理坐标,通过使用多个已编码三角形预测顶点的纹理坐标,以此提高UV坐标数据量的压缩效果。
具体的如何采用多个已编码三角形预测顶点的方式,确定每个顶点的N个预测纹理坐标的实施方式,请参阅后续实施例。
对于任意一个顶点,可以基于该顶点的N个预测纹理坐标确定该顶点的纹理坐标残差,进而编码该顶点的纹理坐标残差,具体的如何编码每个顶点的纹理坐标残差的实施方式,请参阅后续实施例。
可选地,所述基于所述每个顶点的移位坐标,确定所述目标三维网格中每个顶点的N个预测纹理坐标包括:
所述编码端在边集合中选择第一边,将所述第一边对应的三角形以及以待编码顶点为对顶点且不包括所述第一边的三角形,确定为目标三角形;所述目标三角形中除待编码顶点之外的顶点为已编码顶点,所述第一边对应的三角形中所述第一边的对顶点为待编码顶点;
所述编码端对于每个目标三角形,获取待编码顶点在目标三角形中的预测纹理坐标。
需要说明的是,在进行编码之前,需要先获取初始的边集合,具体的,初始的边集合的获取方式为:
所述在边集合中选择第一边之前,所述方法还包括:
所述编码端根据重建的几何信息以及连接关系,选取一个初始三角形;
所述编码端对所述初始三角形的三个顶点的纹理坐标进行编码,并将所述初始三角形的三条边存入边集合。
需要说明的是,对于初始三角形,本申请实施例中不对其进行顶点的预测,而是直接编码纹理坐标。可选地,对于初始三角形,本申请实施例中可以直接编码初始三角形第一个顶点的纹理坐标;使用第一个顶点的纹理坐标预测边,进而得到初始三角形第二个顶点的纹理坐标;使用相似三角形预测编码的方式,得到初始三角形第三个顶点的纹理坐标。
在编码初始三角形的各顶点的纹理坐标之后,便将该初始三角形的各个边存储边集合,形成初始的边集合,然后基于该初始的边集合对后面的顶点进行预测。
为便于理解,请参阅图2,如图2所示,图2包括三个三角形,顶点C、顶点N和顶点P.O构成的第一三角形,顶点C、顶点N和顶点P构成的第二三角形以及顶点C、顶点P和顶点N.O构成的第三三角形,且顶点N、顶点P、顶点P.O和顶点N.O均为未编码顶点。
若顶点C为待编码顶点,第一边对应的顶点为顶点N和顶点P,则将第一边对应的三角形,也就是第二三角形确定为目标三角形。进一步的,以顶点C为中心旋转搜索除顶点C之外其余两个顶点均为已编码顶点,且不包括第一边的三角形,将上述三角形确定为目标三角形;也就是说,将第一三角形和第二三角形均确定为目标三角形。
应理解,目标三角形中除待编码顶点之外的顶点为已编码顶点,目标三角形的数量大于1,可选地,多个目标三角形为相邻的三角形,或者,多个目标三角形之间不相邻。
可选地,所述编码每个顶点的纹理坐标残差包括:
所述编码端对于任意一个顶点,将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第一目标纹理坐标;
所述编码端对所述顶点的第一目标纹理坐标执行第二移位操作,得到第二目标纹理坐标;
所述编码端编码所述顶点的纹理坐标残差,所述纹理坐标残差基于所述顶点的真实纹理坐标和所述顶点的第二目标纹理坐标确定。
本实施例中,可以对上述N个预测纹理坐标进行加权求和,将加权求和得到的目标值确定为该顶点的第一目标纹理坐标,其中,当每个预测纹理坐标对应的权重相同时,将N个预测纹理坐标的平均值确定为该顶点的第一目标纹理坐标。应理解,在其他实施例中,并不限定通过对N个预测纹理坐标进行加权求和的方式得到目标值,还可以通过其他运算方法计算得到N个预测纹理坐标对应的目标值,在此不做具体限定。
为便于理解,请结合图3,在图3示出的场景中,目标三角形的数量为3,则待编码顶点对应3个预测纹理坐标,分别为PredC_NP、PredC_PON以及PredC_PNO。其中,PredC_NP为待编码顶点在第二三角形中对应的预测纹理坐标;PredC_PON为待编码顶点在第一三角形中对应的预测纹理坐标;PredC_PNO为待编码顶点在第三三角形中对应的预测纹理坐标。可选地,将PredC_NP、PredC_PON以及PredC_PNO的平均值确定为待编码顶点的第一目标纹理坐标。
可选地,所述对所述顶点的第一目标纹理坐标执行第二移位操作,得到第二目标纹理坐标包括:
所述编码端减少所述顶点的第一目标纹理坐标占用的比特位数,获得所述顶点的第一目标纹理坐标对应的第二目标比特位;
所述编码端使用所述第二目标比特位存储所述顶点的第一目标纹理坐标,得到所述顶点的第二目标纹理坐标;所述第二目标纹理坐标对应的比特位长度小于所述第一目标纹理坐标对应的比特位长度。
本实施例中,在得到待编码顶点的第一目标纹理坐标之后,通过第二移位操作减少顶点的第一目标纹理坐标占用的比特位数。
可选地,所述减少所述顶点的第一目标纹理坐标占用的比特位数包括:
所述编码端使用第二移位参数对所述顶点的第一目标纹理坐标进行二进制右移。
另一种可选地实施方式为,在该顶点的第一目标纹理坐标所占用的比特位的基础上,减少第二预设数量的比特位,得到第二目标比特位。
将减少位数后的比特位称为第二目标比特位,使用该第二目标比特位存储顶点的第一目标纹理坐标,得到该顶点的第二目标纹理坐标。
上述使用第二移位参数对所述顶点的第一目标纹理坐标进行二进制右移的具体实施方式为:
请参阅公式A’=(Abs(A)+offset)>>rightshift,其中,rightshift为移位参数,A为第一目标纹理坐标,A’为第二目标纹理坐标,Abs为取绝对值操作,offset参数与移位参数表征的平移的比特位数相关。
示例性的,第一目标纹理坐标的比特位长度为M+K2,rightshift表征右移K2位,则第二目标纹理坐标的比特位长度为M,其中,K2为正整数。
在得到第二目标纹理坐标之后,根据该第二目标纹理坐标以及真实纹理坐标获取待编码顶点之间的残差,通过对残差进行编码实现对待编码顶点的编码,以此能够减少纹理坐标编码的比特数。
可选地,所述编码每个顶点的纹理坐标残差包括:
所述编码端对于任意一个顶点,将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第一目标纹理坐标;
所述编码端基于所述顶点的真实纹理坐标和所述顶点的第一目标纹理坐标,确定所述顶点的纹理坐标残差;
所述编码端对执行第二移位操作后的纹理坐标残差进行编码。
本实施例中,对于任意一个顶点,确定该顶点的第一目标纹理坐标值,具体的实施方式与上述实施例一致,在此不做重复阐述。
在得到第一目标纹理坐标之后,根据该第一目标纹理坐标以及真实纹理坐标获取待编码顶点之间的残差,确定顶点的纹理坐标残差。可选地,可以将第一目标纹理坐标与真实纹理坐标做减法运算,得到待编码顶点的纹理坐标残差。
本实施例中,在得到纹理坐标残差之后,对纹理坐标残差执行第二移位操作,并对执行第二移位操作后的纹理坐标残差进行编码。其中,对纹理坐标残差执行第二移位操作的实施方式与上述执行第二移位操作的实施方式一致,在此不做重复阐述。
可选地,所述基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码包括:
所述编码端基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
需要说明的是,本申请实施例中采用相似三角形预测顶点的方式进行顶点的纹理坐标的编码,能够保证预测顶点的准确性,进而能够保证纹理坐标编码的准确性。
可选地,所述基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码包括:
所述编码端在边集合中选择第一边,获取待编码顶点在目标三角形中的预测纹理坐标;所述目标三角形为所述第一边对应的三角形,且所述目标三角形的对顶点为所述待编码顶点;
所述编码端编码所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标之间的纹理坐标残差。
需要说明的是,在进行编码之前,需要先获取初始的边集合,具体的,初始的边集合的获取方式为:
所述编码端根据重建的几何信息以及连接关系,选取一个初始三角形,所述编码端对所述初始三角形的三个顶点的纹理坐标进行编码,并将所述初始三角形的三条边存入边集合。
需要说明的是,对于初始三角形,本申请实施例中不对其进行顶点的预测,而是直接编码纹理坐标,在编码初始三角形的各顶点的纹理坐标之后,便将该初始三角形的各个边存储边集合,形成初始的边集合,然后基于该初始的边集合对后面的顶点进行预测。
需要说明的是,在得到待编码顶点的预测纹理坐标之后,便可以根据该预测纹理坐标以及真实纹理坐标获取待编码顶点的残差,通过对残差进行编码实现对待编码顶点的编码,以此能够减少纹理坐标编码的比特数。
需要说明的是,该残差可以为所述待编码顶点的真实纹理坐标与目标三角形的对顶点的预测纹理坐标的差值,可以是待编码顶点的真实纹理坐标减去目标三角形的对顶点的预测纹理坐标得到,也可以是目标三角形的对顶点的预测纹理坐标减去待编码顶点的真实纹理坐标得到。
可选地,所述编码所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标之间的纹理坐标残差包括:
所述编码端对所述待编码顶点的预测纹理坐标执行第二移位操作,得到待编码顶点的第三目标纹理坐标;
所述编码端编码所述待编码顶点的真实纹理坐标和所述待编码顶点的第三目标纹理坐标之间的纹理坐标残差。
本实施例中,可以对待编码顶点的预测纹理坐标执行第二移位操作,得到待编码顶点的第三目标纹理坐标。应理解,对预测纹理坐标执行第二移位操作的具体实施方式与上述实施例中执行第二移位操作的实施方式一致,在此不做重复阐述。
在得到第三目标纹理坐标,基于待编码顶点的真实纹理坐标和待编码顶点的第三目标纹理坐标之间的纹理坐标残差,并对该纹理坐标残差进行编码。可选地,可以将真实纹理坐标与第三目标纹理坐标之间的差值确定为纹理坐标残差。
可选地,所述编码所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标的纹理坐标残差包括:
所述编码端基于所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标,确定所述待编码顶点的纹理坐标残差;
所述编码端编码执行第二移位操作后的纹理坐标残差。
本实施例中,可以基于待编码顶点的真实纹理坐标和待编码顶点的预测纹理坐标,确定所述待编码顶点的纹理坐标残差。进一步的,对该纹理坐标残差第二移位操作,并对执行第二移位操作后的纹理坐标残差进行编码。
应理解,对纹理坐标残差第二移位操作的具体实施方式与上述实施例中执行第二移位操作的实施方式一致,在此不做重复阐述。
可选地,所述获取待编码顶点在目标三角形中的预测纹理坐标包括:
所述编码端根据目标三角形的各个顶点的几何坐标,获取待编码顶点在第一边上的投影点的纹理坐标;
所述编码端根据所述投影点的纹理坐标,获取所述待编码顶点的预测纹理坐标。
本实施例中,对于任意一个目标三角形,可以根据该目标三角形的各个顶点的几何坐标,即目标三角形的三个顶点的几何坐标,获取待编码顶点在第一边上的投影点的纹理坐标,具体的实施方式请参阅后续实施例。
在获取到投影点的纹理坐标之后,根据该投影点的纹理坐标,获取待编码顶点的预测纹理坐标,具体的实施方式请参阅后续实施例。
可选地,所述根据目标三角形的各个顶点的几何坐标,获取待编码顶点在第一边上的投影点的纹理坐标,包括:
所述编码端根据与Nuv的和值获取待编码顶点在第一边上的投影点的纹理坐标,或者根据Nuv与/>的差值获取待编码顶点在第一边上的投影点的纹理坐标;
其中,Nuv为所述目标三角形的所述第一边上的顶点N的纹理坐标,为所述目标三角形的所述第一边上的顶点N至所述待编码顶点在所述第一边上的预测投影点X的纹理坐标的向量,/>为所述第一边上的预测投影点X至所述目标三角形的所述第一边上的顶点N的纹理坐标的向量。
本实施例中编码端可以根据第一公式获取待编码顶点在第一边上的投影点的纹理坐标。
其中,第一公式为或者/>
Xuv为所述待编码顶点在所述第一边上的投影点的纹理坐标,Nuv为所述目标三角形的所述第一边上的顶点N的纹理坐标,为所述目标三角形的所述第一边上的顶点N至所述待编码顶点在所述第一边上的预测投影点X的纹理坐标的向量,/>为所述第一边上的预测投影点X至所述目标三角形的所述第一边上的顶点N的纹理坐标的向量; 为所述第一边上的顶点N至顶点P的几何坐标的向量;为所述第一边上的顶点N至待编码顶点的几何坐标CG的向量;/>为所述第一边上的顶点N至顶点P的纹理坐标的向量;/>为所述第一边上的顶点N至顶点P的几何坐标的向量。
为便于理解,请参阅图3,如图3所示,边NP为在边集合中选出的一条边,可以看作是上述的第一边,顶点N和顶点P分别为第一边的两个顶点,顶点C为待编码的顶点,顶点N、顶点P和顶点C便构成了上述的目标三角形,点X为顶点C在NP边上的投影,顶点O为已编码点,且顶点O、顶点N和顶点P构成的三角形与顶点N、顶点P和顶点C构成的三角形共NP边。本实施例中,可以基于上述第一公式,获取待编码点的第一边上的投影点的纹理坐标。
可选地,所述根据所述投影点的纹理坐标,获取所述待编码顶点的预测纹理坐标,包括:
所述编码端在所述第一边对应的第一顶点O为已编码顶点,或者第一三角形不为退化三角形的情况下,根据Xuv获取所述待编码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待编码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待编码顶点在所述第一边上的预测投影点X至待编码顶点C的纹理坐标的向量。
本实施例中,可以根据第二公式获取所述待编码顶点的纹理坐标,其中,第二公式为
PredC_NP为所述待编码顶点的预测纹理坐标,Xuv为所述待编码顶点在所述第一边上的预测投影点X的纹理坐标;为所述待编码顶点在所述第一边上的预测投影点X至待编码顶点的纹理坐标Cuv的向量;/>Ouv为所述目标三角形的所述第一边对应的第一顶点的纹理坐标;/>为所述待编码顶点在所述第一边上的预测投影点X至所述待编码顶点的纹理坐标Cuv的向量;/>
可选地,其中,/>为所述第一边上的预测投影点X至待编码顶点的几何坐标CG的向量,/>为所述第一边上的顶点N至顶点P的几何坐标的向量,/>为所述第一边上的顶点N至顶点P的纹理坐标的向量,Rotated表示对向量进行90度旋转。
本实施例中,请结合图3,在第一顶点O为已编码顶点,或者第一三角形不为退化三角形的情况下,可以使用第一顶点O的纹理坐标,基于上述第二公式,获取待编码顶点的预测纹理坐标。
应理解,上述第一三角形即图3中顶点N、顶点P和顶点O构成的三角形,在顶点O位于顶点N和顶点P组成的第一边的情况下,第一三角形的面积为0,确定第一三角形为退化三角形。
可选地,所述根据所述投影点的纹理坐标,获取所述待编码顶点的预测纹理坐标,包括:
所述编码端在所述第一边对应第一顶点O为未编码顶点,或者第一三角形为退化三角形的情况下,根据Xuv获取所述待编码顶点的纹理坐标,并编码所述待编码顶点对应的目标标识;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待编码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待编码顶点在所述第一边上的预测投影点X至待编码顶点的纹理坐标Cuv的向量。
本实施例中,可以根据第三公式获取所述待编码顶点的纹理坐标,并编码所述待编码顶点对应的目标标识。
其中,所述第三公式为
PredC_NP为所述待编码顶点的预测纹理坐标,Xuv为所述待编码顶点在所述第一边上的预测投影点X的纹理坐标;为所述待编码顶点在所述第一边上的预测投影点X至待编码顶点的纹理坐标Cuv的向量;/>Cuv为所述待编码顶点的纹理坐标;/>为所述待编码顶点在所述第一边上的预测投影点X至所述待编码顶点的纹理坐标Cuv的向量;/>所述目标标识用于表征|distance3|与|distance4|之间的大小关系。
本实施例中,请结合图3,在第一顶点O为未编码顶点,或者第一三角形为退化三角形的情况下,可以基于上述第三公式,获取待编码顶点的预测纹理坐标。
应理解,上述目标标识用于表征|distance3|与|distance4|之间的大小关系。例如,可以设置目标标识等于0表示设置目标标识等于1表示/>
可选地,上述第一公式、第二公式和第三公式中涉及顶点N的计算部分可以使用顶点P替换。
例如,使用顶点P的纹理坐标替换顶点N的纹理坐标。
例如,将第一公式中的替换为/>为目标三角形的所述第一边上的顶点P至所述待编码顶点在所述第一边上的预测投影点X的纹理坐标的向量。
本申请实施例的UV坐标编码框架如图4所示,总体编码流程为:
在三维网格的几何信息与连接关系都已编码的情况下,可以利用重建的几何信息与连接关系编码UV坐标;首先选定一个三角形作为初始三角形并直接编码坐标值;其次选定初始三角形的邻接三角形作为待编码三角形,使用相似三角形预测顶点的方式或者多个已编码三角形预测顶点方式,预测未编码顶点的UV坐标值,编码待编码顶点真实UV坐标与预测坐标值的差值并在新编码三角形中选定新的边去编码邻接三角形未编码顶点,不断迭代这一过程,完成对整个三维网格UV坐标的编码。
请参阅图5,图5是本申请实施例提供的解码方法的流程示意图。本实施例提供的解码方法包括以下步骤:
S501,解码端解码获取的与目标三维网格对应的码流得到所述目标三维网格的几何信息和连接关系,解码获取的与每个顶点对应的码流得到所述每个顶点的纹理坐标残差。
S502,所述解码端对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差。
应理解,本步骤中对每个顶点的纹理坐标残差执行第一移位操作的具体实施方式与上述实施例中执行第一移位操作的实施方式一致,在此不做重复阐述。
其中,目标残差对应的比特位长度大于纹理坐标残差对应的比特位长度。
S503,所述解码端基于所述目标三维网格的几何信息和连接关系,以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
本申请实施例中,解码获取的与目标三维网格对应的码流得到目标三维网格的几何信息和连接关系,解码获取的与每个顶点对应的码流得到每个顶点的纹理坐标残差;对每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;基于目标三维网格的几何信息和连接关系,以及每个顶点的目标残差,确定每个顶点的真实纹理坐标。上述方案中,对每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差,其中,目标残差的对应比特位长度大于纹理坐标残差对应的比特位长度,以此使用比特位数更多的比特位存储目标残差,在后续的基于目标残差进行的UV坐标预测的过程中,使用高精度的方式存储坐标数据,避免预测残差由于数据精度的丢失而增大,进而提高纹理坐标的解码效率。
可选地,所述对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差包括:
所述解码端对于任一顶点,增加所述顶点的纹理坐标残差占用的比特位数,获得所述顶点的纹理坐标残差对应的第三目标比特位;
所述解码端使用所述第三目标比特位存储所述顶点的纹理坐标残差,得到所述顶点的目标残差。
本实施例中,对于任一顶点而言,上述第一移位操作用于增加该顶点的纹理坐标残差占用的比特位数。
可选地,所述增加所述顶点的纹理坐标残差占用的比特位数包括:
所述解码端使用第一移位参数对所述顶点的纹理坐标残差进行二进制左移。
另一种可选地实施方式为,在该顶点的纹理坐标残差所占用的比特位的基础上,增加第三预设数量的比特位,得到第三目标比特位。
将增加位数后的比特位称为第三目标比特位,使用该第三目标比特位存储顶点的纹理坐标残差,可以存储更多的残差数据,得到该顶点的目标残差。
可选地,所述基于所述目标三维网格的几何信息和连接关系,以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标包括:
所述解码端确定所述目标三维网格中每个顶点的N个预测纹理坐标,N为大于1的正整数;
所述解码端对所述每个顶点的N个预测纹理坐标执行第一移位操作,得到所述每个顶点的N个第四目标纹理坐标;所述第四目标纹理坐标对应的比特位长度大于所述预测纹理坐标对应的比特位长度;
所述解码端基于所述每个顶点的N个第四目标纹理坐标和所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
本实施例中,解码端可以采用多个已解码三角形预测顶点的方式,确定目标三维网格中每个顶点的N个预测纹理坐标。
可选地,所述确定所述目标三维网格中每个顶点的N个预测纹理坐标包括:
所述解码端在边集合中选择第一边,将所述第一边对应的三角形以及以待解码顶点为对顶点且不包括所述第一边的三角形,确定为目标三角形;所述目标三角形中除待解码顶点之外的顶点为已解码顶点,所述第一边对应的三角形中所述第一边的对顶点为待解码顶点;
所述解码端对于每个目标三角形,获取待解码顶点在目标三角形中的预测纹理坐标。
可选地,所述基于所述每个顶点的N个第四目标纹理坐标和所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标包括:
所述解码端对于任意一个顶点,对所述顶点的N个第四目标坐标执行得到第二移位操作得到所述顶点的N个预测纹理坐标,对所述顶点的目标残差执行第二移位操作得到所述顶点的纹理坐标残差;
所述解码端将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第五目标纹理坐标;
所述解码端对所述顶点的第五目标纹理坐标与所述顶点的纹理坐标残差做加法运算,确定所述顶点的真实纹理坐标。
本实施例中,对于任意一个顶点,对该顶点的N个第四目标坐标执行得到第二移位操作得到顶点的N个预测纹理坐标,对顶点的目标残差执行第二移位操作得到顶点的纹理坐标残差,其中,预测纹理坐标对应的比特位长度小于第四目标坐标对应的比特位长度,纹理坐标残差对应的比特位长度小于目标残差对应的比特位长度。
应理解,本实施例中执行第二移位操作的具体实施方式与上述实施例中执行第二移位操作的实施方式一致,在此不做重复阐述。
在得到N个预测纹理坐标后,将N个预测纹理坐标对应的目标值确定为第五目标纹理坐标,并对第五目标纹理坐标与纹理坐标残差做加法运算,确定真实纹理坐标。
可选地,所述基于所述每个顶点的N个第四目标纹理坐标和所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标包括:
所述解码端将所述顶点的N个第四目标纹理坐标对应的目标值确定为所述顶点的第六目标纹理坐标;
所述解码端对所述顶点的第六目标纹理坐标与所述顶点的目标残差做加法运算,确定所述顶点的第七目标纹理坐标;
所述解码端对所述顶点的第七目标纹理坐标执行第二移位操作,确定所述顶点的真实纹理坐标。
本实施例中,对于任意一个顶点,将该顶点的N个第四目标纹理坐标对应的目标值确定为该顶点的第六目标纹理坐标。在确定第六目标纹理坐标之后,对顶点的第六目标纹理坐标与目标残差做加法运算,确定第七目标纹理坐标。
进一步的,对第七目标纹理坐标执行第二移位操作,确定顶点的真实纹理坐标。其中,真实纹理坐标对应的比特位长度小于第七目标纹理坐标对应的比特位长度
应理解,本实施例中执行第二移位操作的具体实施方式与上述实施例中执行第二移位操作的实施方式一致,在此不做重复阐述。
可选地,所述基于所述目标三维网格的几何信息以及连接关系以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标包括:
所述解码端解码获取目标三维网格中每个顶点的真实纹理坐标。
可选地,所述解码获取目标三维网格中每个顶点的真实纹理坐标包括:
所述解码端在边集合中选择第一边,获取待解码顶点在目标三角形中的预测纹理坐标;所述目标三角形为所述第一边对应的三角形,且所述目标三角形的对顶点为所述待解码顶点;
所述解码端对所述待解码顶点的预测纹理坐标执行第一移位操作,得到所述待解码顶点的第八目标纹理坐标;所述第八目标纹理坐标对应的比特位长度大于所述预测纹理坐标对应的比特位长度;
所述解码端基于所述待解码顶点的第八目标纹理坐标和所述待解码顶点的目标残差,确定所述待解码顶点的真实纹理坐标。
可选地,所述基于所述待解码顶点的第八目标纹理坐标和所述待解码顶点的目标残差,确定所述待解码顶点的真实纹理坐标包括:
所述解码端对所述待解码顶点的第八目标纹理坐标执行第二移位操作得到所述顶点的预测纹理坐标,对所述待解码顶点的目标残差执行第二移位操作得到所述顶点的纹理坐标残差;
所述解码端对所述待解码顶点的预测纹理坐标与所述待解码顶点的纹理坐标残差做加法运算,确定所述待解码顶点的真实纹理坐标。
本实施例中,可以对待解码顶点的第八目标纹理坐标执行第二移位操作得到预测纹理坐标,对待解码顶点的目标残差执行第二移位操作得到的纹理坐标残差,进一步的,对上述预测纹理坐标盒纹理坐标残差做加法运算,确定待解码顶点的真实纹理坐标。
应理解,本实施例中执行第二移位操作的具体实施方式与上述实施例中执行第二移位操作的实施方式一致,在此不做重复阐述。
可选地,所述基于所述待解码顶点的第八目标纹理坐标和所述待解码顶点的目标残差,确定所述待解码顶点的真实纹理坐标包括:
所述解码端对所述待解码顶点的第八目标纹理坐标与所述待解码顶点的目标残差做加法运算,确定所述待解码顶点的第九目标纹理坐标;
所述解码端对所述待解码顶点的第九目标纹理坐标执行第二移位操作,确定所述待解码顶点的真实纹理坐标。
本实施例中,可以对待解码顶点的第八目标纹理坐标与目标残差做加法运算,确定待解码顶点的第九目标纹理坐标,进一步的,对上述第九目标纹理坐标执行第二移位操作,确定待解码顶点的真实纹理坐标。
应理解,本实施例中执行第二移位操作的具体实施方式与上述实施例中执行第二移位操作的实施方式一致,在此不做重复阐述。
可选地,所述获取待解码顶点在目标三角形中的预测纹理坐标包括:
所述解码端根据目标三角形的各个顶点的几何坐标,获取待解码顶点在第一边上的投影点的纹理坐标;
所述解码端根据所述投影点的纹理坐标,获取所述待解码顶点的预测纹理坐标。
可选地,所述根据目标三角形的各个顶点的几何坐标,获取待解码顶点在第一边上的投影点的纹理坐标包括:
所述解码端根据与Nuv的和值获取待解码顶点在第一边上的投影点的纹理坐标,或者根据Nuv与/>的差值获取待解码顶点在第一边上的投影点的纹理坐标;
其中,Nuv为所述目标三角形的所述第一边上的顶点N的纹理坐标,为所述目标三角形的所述第一边上的顶点N至所述待解码顶点在所述第一边上的预测投影点X的纹理坐标的向量,/>为所述第一边上的预测投影点X至所述目标三角形的所述第一边上的顶点N的纹理坐标的向量。
本实施例中解码端可以根据第一公式获取待解码顶点在第一边上的投影点的纹理坐标。
其中,第一公式为或者/>
Xuv为所述待解码顶点在所述第一边上的投影点的纹理坐标,Nuv为所述目标三角形的所述第一边上的顶点N的纹理坐标,为所述目标三角形的所述第一边上的顶点N至所述待解码顶点在所述第一边上的预测投影点X的纹理坐标的向量,/>为所述第一边上的预测投影点X至所述目标三角形的所述第一边上的顶点N的纹理坐标的向量; 为所述第一边上的顶点N至顶点P的几何坐标的向量;/>为所述第一边上的顶点N至待解码顶点的几何坐标CG的向量;/>为所述第一边上的顶点N至顶点P的纹理坐标的向量;/>为所述第一边上的顶点N至顶点P的几何坐标的向量。
可选地,所述根据所述投影点的纹理坐标,获取所述待解码顶点的预测纹理坐标包括:
所述解码端在所述第一边对应的第一顶点O为已解码顶点,或者第一三角形不为退化三角形的情况下,根据Xuv获取所述待解码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待解码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待解码顶点在所述第一边上的预测投影点X至待解码顶点C的纹理坐标的向量。
可选地,其中,/>为所述第一边上的预测投影点X至待解码顶点的几何坐标CG的向量,/>为所述第一边上的顶点N至顶点P的几何坐标的向量,/>为所述第一边上的顶点N至顶点P的纹理坐标的向量,Rotated表示对向量进行90度旋转。
本实施例中,解码端可以根据第二公式获取待解码顶点的纹理坐标。
其中,第二公式为
PredC_NP为所述待解码顶点的预测纹理坐标,Xuv为所述待解码顶点在所述第一边上的预测投影点X的纹理坐标;为所述待解码顶点在所述第一边上的预测投影点X至待解码顶点的纹理坐标Cuv的向量;/>Ouv为所述目标三角形的所述第一边对应的第一顶点的纹理坐标;/>为所述待解码顶点在所述第一边上的预测投影点X至所述待解码顶点的纹理坐标Cuv的向量;/>
可选地,所述根据所述投影点的纹理坐标,获取所述待解码顶点的预测纹理坐标包括:
所述解码端在所述第一边对应第一顶点O为未解码顶点,或者第一三角形为退化三角形的情况下,根据读取到的所述待解码点对应的目标标识、Xuv确定所述待解码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待解码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待解码顶点在所述第一边上的预测投影点X至待解码顶点的纹理坐标Cuv的向量。
本实施例中,解码端可以根据读取到的所述待解码点对应的目标标识和第三公式,确定待解码顶点的纹理坐标。
其中,所述第三公式为
PredC_NP为所述待解码顶点的预测纹理坐标,Xuv为所述待解码顶点在所述第一边上的预测投影点X的纹理坐标;为所述待解码顶点在所述第一边上的预测投影点X至待解码顶点的纹理坐标Cuv的向量;/>Cuv为所述待解码顶点的纹理坐标;/>为所述待解码顶点在所述第一边上的预测投影点X至所述待解码顶点的纹理坐标Cuv的向量;/>所述目标标识用于表征|distance3|与|distance4|之间的大小关系。
需要说明的是,本申请实施例是编码的逆过程,解码框图如图6所示,即UV坐标的解码过程为先解码几何信息与连接关系,再依据几何信息与连接关系对码流进行解码得到残差,然后进行预测UV坐标的获取,最后再利用残差和预测UV坐标,便能获取真实的UV坐标,以实现对UV坐标的解码;本申请实施例中进行UV坐标预测的方式可参见编码端的描述,在此不再赘述。
本申请实施例提供的编码方法,执行主体可以为编码装置。本申请实施例中以编码装置执行编码方法为例,说明本申请实施例提供的编码装置。
如图7所示,本申请实施例还提供了一种编码装置700,包括:
重建模块701,用于根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;
移位模块702,用于根据重建的几何信息以及连接关系,对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;所述移位坐标对应的比特位长度大于所述坐标对应的比特位长度;
编码模块703,用于基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
可选地,所述移位模块702,具体用于:
对于所述目标三维网格中的任一顶点,增加所述顶点的坐标占用的比特位数,获得所述顶点的坐标对应的第一目标比特位;
使用所述第一目标比特位存储所述顶点的坐标,得到所述顶点的移位坐标。
可选地,所述移位模块702,还具体用于:
使用第一移位参数对所述顶点的坐标进行二进制左移。
可选地,所述编码模块703,具体用于:
基于所述每个顶点的移位坐标,确定所述目标三维网格中每个顶点的N个预测纹理坐标,N为大于1的正整数;
编码每个顶点的纹理坐标残差;顶点的纹理坐标残差基于所述顶点的N个预测纹理坐标确定。
可选地,所述编码模块703,还具体用于:
在边集合中选择第一边,将所述第一边对应的三角形以及以待编码顶点为对顶点且不包括所述第一边的三角形,确定为目标三角形;所述目标三角形中除待编码顶点之外的顶点为已编码顶点,所述第一边对应的三角形中所述第一边的对顶点为待编码顶点;
对于每个目标三角形,获取待编码顶点在目标三角形中的预测纹理坐标。
可选地,所述编码模块703,还具体用于:
对于任意一个顶点,将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第一目标纹理坐标;
对所述顶点的第一目标纹理坐标执行第二移位操作,得到第二目标纹理坐标;
编码所述顶点的纹理坐标残差,所述纹理坐标残差基于所述顶点的真实纹理坐标和所述顶点的第二目标纹理坐标确定。
可选地,所述编码模块703,还具体用于:
减少所述顶点的第一目标纹理坐标占用的比特位数,获得所述顶点的第一目标纹理坐标对应的第二目标比特位;
使用所述第二目标比特位存储所述顶点的第一目标纹理坐标,得到所述顶点的第二目标纹理坐标;所述第二目标纹理坐标对应的比特位长度小于所述第一目标纹理坐标对应的比特位长度。
可选地,所述编码模块703,还具体用于:
使用第二移位参数对所述顶点的第一目标纹理坐标进行二进制右移。
可选地,所述编码模块703,还具体用于:
对于任意一个顶点,将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第一目标纹理坐标;
基于所述顶点的真实纹理坐标和所述顶点的第一目标纹理坐标,确定所述顶点的纹理坐标残差;
对执行第二移位操作后的纹理坐标残差进行编码。
可选地,所述编码模块703,还具体用于:
基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
可选地,所述编码模块703,还具体用于:
在边集合中选择第一边,获取待编码顶点在目标三角形中的预测纹理坐标;所述目标三角形为所述第一边对应的三角形,且所述目标三角形的对顶点为所述待编码顶点;
编码所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标之间的纹理坐标残差。
可选地,所述编码模块703,还具体用于:
对所述待编码顶点的预测纹理坐标执行第二移位操作,得到待编码顶点的第三目标纹理坐标;
编码所述待编码顶点的真实纹理坐标和所述待编码顶点的第三目标纹理坐标之间的纹理坐标残差。
可选地,所述编码模块703,还具体用于:
基于所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标,确定所述待编码顶点的纹理坐标残差;
编码执行第二移位操作后的纹理坐标残差。
可选地,所述编码模块703,还具体用于:
根据目标三角形的各个顶点的几何坐标,获取待编码顶点在第一边上的投影点的纹理坐标;
根据所述投影点的纹理坐标,获取所述待编码顶点的预测纹理坐标。
可选地,所述编码模块703,还具体用于:
根据与Nuv的和值获取待编码顶点在第一边上的投影点的纹理坐标,或者根据Nuv与/>的差值获取待编码顶点在第一边上的投影点的纹理坐标;
其中,Nuv为所述目标三角形的所述第一边上的顶点N的纹理坐标,为所述目标三角形的所述第一边上的顶点N至所述待编码顶点在所述第一边上的预测投影点X的纹理坐标的向量,/>为所述第一边上的预测投影点X至所述目标三角形的所述第一边上的顶点N的纹理坐标的向量。
可选地,所述编码模块703,还具体用于:
在所述第一边对应的第一顶点O为已编码顶点,或者第一三角形不为退化三角形的情况下,根据Xuv获取所述待编码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待编码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待编码顶点在所述第一边上的预测投影点X至待编码顶点C的纹理坐标的向量。
可选地,所述编码模块703,还具体用于:
在所述第一边对应第一顶点O为未编码顶点,或者第一三角形为退化三角形的情况下,根据Xuv获取所述待编码顶点的纹理坐标,并编码所述待编码顶点对应的目标标识;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待编码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待编码顶点在所述第一边上的预测投影点X至待编码顶点的纹理坐标Cuv的向量。
在本申请实施例中,根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;根据重建的几何信息以及连接关系,对目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;基于每个顶点的移位坐标,对目标三维网格中每个顶点的纹理坐标进行编码。上述方案中,对目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标,其中,移位坐标对应的比特位长度大于坐标对应的比特位长度,以此使用比特位数更多的比特位存储顶点的移位坐标,在后续的基于移位坐标进行的UV坐标预测的过程中,使用高精度的方式存储坐标数据,避免预测残差由于数据精度的丢失而增大,进而提高纹理坐标的编码效率。
该装置实施例与上述图1所示的编码方法实施例对应,上述方法实施例中关于编码端的各个实施过程和实现方式均可适用于该装置实施例中,且能达到相同的技术效果。
本申请实施例提供的解码方法,执行主体可以为解码装置。本申请实施例中以解码装置执行解码方法为例,说明本申请实施例提供的解码装置。
如图8所示,本申请实施例还提供了一种解码装置800,包括:
解码模块801,用于解码获取的与目标三维网格对应的码流得到所述目标三维网格的几何信息以及连接关系,解码获取的与每个顶点对应的码流得到所述每个顶点的纹理坐标残差;
移位模块802,用于对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;所述目标残差对应的比特位长度大于所述纹理坐标残差对应的比特位长度;
确定模块803,用于基于所述目标三维网格的几何信息以及连接关系以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
可选地,所述移位模块802,具体用于:
对于任一顶点,增加所述顶点的纹理坐标残差占用的比特位数,获得所述顶点的纹理坐标残差对应的第三目标比特位;
使用所述第三目标比特位存储所述顶点的纹理坐标残差,得到所述顶点的目标残差。
可选地,所述移位模块802,还具体用于:
使用第一移位参数对所述顶点的纹理坐标残差进行二进制左移。
可选地,所述确定模块803,具体用于:
确定所述目标三维网格中每个顶点的N个预测纹理坐标,N为大于1的正整数;
对所述每个顶点的N个预测纹理坐标执行第一移位操作,得到所述每个顶点的N个第四目标纹理坐标;所述第四目标纹理坐标对应的比特位长度大于所述预测纹理坐标对应的比特位长度;
基于所述每个顶点的N个第四目标纹理坐标和所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
可选地,所述确定模块803,还具体用于:
在边集合中选择第一边,将所述第一边对应的三角形以及以待解码顶点为对顶点且不包括所述第一边的三角形,确定为目标三角形;所述目标三角形中除待解码顶点之外的顶点为已解码顶点,所述第一边对应的三角形中所述第一边的对顶点为待解码顶点;
对于每个目标三角形,获取待解码顶点在目标三角形中的预测纹理坐标。
可选地,所述确定模块803,还具体用于:
对于任意一个顶点,对所述顶点的N个第四目标坐标执行得到第二移位操作得到所述顶点的N个预测纹理坐标,对所述顶点的目标残差执行第二移位操作得到所述顶点的纹理坐标残差;
将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第五目标纹理坐标;
对所述顶点的第五目标纹理坐标与所述顶点的纹理坐标残差做加法运算,确定所述顶点的真实纹理坐标。
可选地,所述确定模块803,还具体用于:
将所述顶点的N个第四目标纹理坐标对应的目标值确定为所述顶点的第六目标纹理坐标;
对所述顶点的第六目标纹理坐标与所述顶点的目标残差做加法运算,确定所述顶点的第七目标纹理坐标;
对所述顶点的第七目标纹理坐标执行第二移位操作,确定所述顶点的真实纹理坐标。
可选地,所述确定模块803,还具体用于:
解码获取目标三维网格中每个顶点的真实纹理坐标。
可选地,所述确定模块803,还具体用于:
在边集合中选择第一边,获取待解码顶点在目标三角形中的预测纹理坐标;所述目标三角形为所述第一边对应的三角形,且所述目标三角形的对顶点为所述待解码顶点;
对所述待解码顶点的预测纹理坐标执行第一移位操作,得到所述待解码顶点的第八目标纹理坐标;所述第八目标纹理坐标对应的比特位长度大于所述预测纹理坐标对应的比特位长度;
基于所述待解码顶点的第八目标纹理坐标和所述待解码顶点的目标残差,确定所述待解码顶点的真实纹理坐标。
可选地,所述确定模块803,还具体用于:
对所述待解码顶点的第八目标纹理坐标执行第二移位操作得到所述顶点的预测纹理坐标,对所述待解码顶点的目标残差执行第二移位操作得到所述顶点的纹理坐标残差;
对所述待解码顶点的预测纹理坐标与所述待解码顶点的纹理坐标残差做加法运算,确定所述待解码顶点的真实纹理坐标。
可选地,所述确定模块803,还具体用于:
对所述待解码顶点的第八目标纹理坐标与所述待解码顶点的目标残差做加法运算,确定所述待解码顶点的第九目标纹理坐标;
对所述待解码顶点的第九目标纹理坐标执行第二移位操作,确定所述待解码顶点的真实纹理坐标。
可选地,所述确定模块803,还具体用于:
根据目标三角形的各个顶点的几何坐标,获取待解码顶点在第一边上的投影点的纹理坐标;
根据所述投影点的纹理坐标,获取所述待解码顶点的预测纹理坐标。
可选地,所述确定模块803,还具体用于:
根据与Nuv的和值获取待解码顶点在第一边上的投影点的纹理坐标,或者根据Nuv与/>的差值获取待解码顶点在第一边上的投影点的纹理坐标;
其中,Nuv为所述目标三角形的所述第一边上的顶点N的纹理坐标,为所述目标三角形的所述第一边上的顶点N至所述待解码顶点在所述第一边上的预测投影点X的纹理坐标的向量,/>为所述第一边上的预测投影点X至所述目标三角形的所述第一边上的顶点N的纹理坐标的向量。
可选地,所述确定模块803,还具体用于:
在所述第一边对应的第一顶点O为已解码顶点,或者第一三角形不为退化三角形的情况下,根据Xuv获取所述待解码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待解码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待解码顶点在所述第一边上的预测投影点X至待解码顶点C的纹理坐标的向量。
可选地,所述确定模块803,还具体用于:
在所述第一边对应第一顶点O为未解码顶点,或者第一三角形为退化三角形的情况下,根据读取到的所述待解码点对应的目标标识、Xuv确定所述待解码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待解码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待解码顶点在所述第一边上的预测投影点X至待解码顶点的纹理坐标Cuv的向量。
本申请实施例中,解码获取的与目标三维网格对应的码流得到目标三维网格的几何信息和连接关系,解码获取的与每个顶点对应的码流得到每个顶点的纹理坐标残差;对每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;基于目标三维网格的几何信息和连接关系,以及每个顶点的目标残差,确定每个顶点的真实纹理坐标。上述方案中,对每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差,其中,目标残差对应的比特位长度大于纹理坐标残差对应的比特位长度,以此使用比特位数更多的比特位存储目标残差,在后续的基于目标残差进行的UV坐标预测的过程中,使用高精度的方式存储坐标数据,避免预测残差由于数据精度的丢失而增大,进而提高纹理坐标的解码效率。
本申请实施例提供的解码装置能够实现图5的方法实施例实现的各个过程,并达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例中的编码装置和解码装置可以是电子设备,例如具有操作系统的电子设备,也可以是电子设备中的部件、例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,终端可以包括但不限于上述所列举的终端的类型,其他设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)等,本申请实施例不作具体限定。
可选地,如图9所示,本申请实施例还提供一种通信设备900,包括处理器901和存储器902,存储器902上存储有可在所述处理器901上运行的程序或指令,例如,该通信设备900为终端时,该程序或指令被处理器901执行时实现上述编码方法实施例的各个步骤,且能达到相同的技术效果,或实现上述解码方法实施例的各个步骤,且能达到相同的技术效果。
本申请实施例还提供一种终端,包括处理器901和通信接口,处理器901用于执行以下操作:
根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;
根据重建的几何信息以及连接关系,对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;
基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
或者,处理器901用于执行以下操作:
解码获取的与目标三维网格对应的码流得到所述目标三维网格的几何信息和连接关系,解码获取的与每个顶点对应的码流得到所述每个顶点的纹理坐标残差;
对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;
基于所述目标三维网格的几何信息和连接关系,以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
该终端实施例与上述终端侧方法实施例对应,上述方法实施例的各个实施过程和实现方式均可适用于该终端实施例中,且能达到相同的技术效果。具体地,图10为实现本申请实施例的一种终端的硬件结构示意图。
该终端1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1007、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,终端1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的终端结构并不构成对终端的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10071。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
本申请实施例中,射频单元1001接收来自网络侧设备的下行数据后,可以传输给处理器1010进行处理;射频单元1001可以向网络侧设备发送上行数据。通常,射频单元1001包括但不限于天线、放大器、收发信机、耦合器、低噪声放大器、双工器等。
存储器1009可用于存储软件程序或指令以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1009可以包括易失性存储器或非易失性存储器,或者,存储器1009可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或多个处理单元;可选的,处理器1010集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
其中,处理器1010用于执行以下操作:
根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;
根据重建的几何信息以及连接关系,对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;
基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
或者,处理器1010用于执行以下操作:
解码获取的与目标三维网格对应的码流得到所述目标三维网格的几何信息和连接关系,解码获取的与每个顶点对应的码流得到所述每个顶点的纹理坐标残差;
对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;
基于所述目标三维网格的几何信息和连接关系,以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述编码方法实施例的各个过程,或实现上述解码方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述编码方法实施例的各个过程,或实现上述解码方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片,系统芯片,芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现上述编码方法实施例的各个过程,或实现上述解码方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例另提供了一种系统,所述系统包括编码端和解码端,所述编码端执行上述编码方法实施例的各个过程,所述编码端执行上述解码方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (36)

1.一种编码方法,其特征在于,包括:
编码端根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;
所述编码端根据重建的几何信息以及连接关系,对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;所述移位坐标对应的比特位长度大于所述坐标对应的比特位长度;
所述编码端基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标包括:
所述编码端对于所述目标三维网格中的任一顶点,增加所述顶点的坐标占用的比特位数,获得所述顶点的坐标对应的第一目标比特位;
所述编码端使用所述第一目标比特位存储所述顶点的坐标,得到所述顶点的移位坐标。
3.根据权利要求2所述的方法,其特征在于,所述增加所述顶点的坐标占用的比特位数包括:
所述编码端使用第一移位参数对所述顶点的坐标进行二进制左移。
4.根据权利要求1所述的方法,其特征在于,所述基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码包括:
所述编码端基于所述每个顶点的移位坐标,确定所述目标三维网格中每个顶点的N个预测纹理坐标,N为大于1的正整数;
所述编码端编码每个顶点的纹理坐标残差;顶点的纹理坐标残差基于所述顶点的N个预测纹理坐标确定。
5.根据权利要求4所述的方法,其特征在于,所述基于所述每个顶点的移位坐标,确定所述目标三维网格中每个顶点的N个预测纹理坐标包括:
所述编码端在边集合中选择第一边,将所述第一边对应的三角形以及以待编码顶点为对顶点且不包括所述第一边的三角形,确定为目标三角形;所述目标三角形中除待编码顶点之外的顶点为已编码顶点,所述第一边对应的三角形中所述第一边的对顶点为待编码顶点;
所述编码端对于每个目标三角形,获取待编码顶点在目标三角形中的预测纹理坐标。
6.根据权利要求4所述的方法,其特征在于,所述编码每个顶点的纹理坐标残差包括:
所述编码端对于任意一个顶点,将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第一目标纹理坐标;
所述编码端对所述顶点的第一目标纹理坐标执行第二移位操作,得到第二目标纹理坐标;
所述编码端编码所述顶点的纹理坐标残差,所述纹理坐标残差基于所述顶点的真实纹理坐标和所述顶点的第二目标纹理坐标确定。
7.根据权利要求6所述的方法,其特征在于,所述对所述顶点的第一目标纹理坐标执行第二移位操作,得到第二目标纹理坐标包括:
所述编码端减少所述顶点的第一目标纹理坐标占用的比特位数,获得所述顶点的第一目标纹理坐标对应的第二目标比特位;
所述编码端使用所述第二目标比特位存储所述顶点的第一目标纹理坐标,得到所述顶点的第二目标纹理坐标;所述第二目标纹理坐标对应的比特位长度小于所述第一目标纹理坐标对应的比特位长度。
8.根据权利要求7所述的方法,其特征在于,所述减少所述顶点的第一目标纹理坐标占用的比特位数包括:
所述编码端使用第二移位参数对所述顶点的第一目标纹理坐标进行二进制右移。
9.根据权利要求4所述的方法,其特征在于,所述编码每个顶点的纹理坐标残差包括:
所述编码端对于任意一个顶点,将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第一目标纹理坐标;
所述编码端基于所述顶点的真实纹理坐标和所述顶点的第一目标纹理坐标,确定所述顶点的纹理坐标残差;
所述编码端对执行第二移位操作后的纹理坐标残差进行编码。
10.根据权利要求1所述的方法,其特征在于,所述基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码包括:
所述编码端基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
11.根据权利要求10所述的方法,其特征在于,所述基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码包括:
所述编码端在边集合中选择第一边,获取待编码顶点在目标三角形中的预测纹理坐标;所述目标三角形为所述第一边对应的三角形,且所述目标三角形的对顶点为所述待编码顶点;
所述编码端编码所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标之间的纹理坐标残差。
12.根据权利要求11所述的方法,其特征在于,所述编码所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标之间的纹理坐标残差包括:
所述编码端对所述待编码顶点的预测纹理坐标执行第二移位操作,得到待编码顶点的第三目标纹理坐标;
所述编码端编码所述待编码顶点的真实纹理坐标和所述待编码顶点的第三目标纹理坐标之间的纹理坐标残差。
13.根据权利要求11所述的方法,其特征在于,所述编码所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标之间的纹理坐标残差包括:
所述编码端基于所述待编码顶点的真实纹理坐标和所述待编码顶点的预测纹理坐标,确定所述待编码顶点的纹理坐标残差;
所述编码端编码执行第二移位操作后的纹理坐标残差。
14.根据权利要求5或11所述的方法,其特征在于,所述获取待编码顶点在目标三角形中的预测纹理坐标包括:
所述编码端根据目标三角形的各个顶点的几何坐标,获取待编码顶点在第一边上的投影点的纹理坐标;
所述编码端根据所述投影点的纹理坐标,获取所述待编码顶点的预测纹理坐标。
15.根据权利要求14所述的方法,其特征在于,所述根据目标三角形的各个顶点的几何坐标,获取待编码顶点在第一边上的投影点的纹理坐标,包括:
所述编码端根据与Nuv的和值获取待编码顶点在第一边上的投影点的纹理坐标,或者根据Nuv与/>的差值获取待编码顶点在第一边上的投影点的纹理坐标;
其中,Nuv为所述目标三角形的所述第一边上的顶点N的纹理坐标,为所述目标三角形的所述第一边上的顶点N至所述待编码顶点在所述第一边上的预测投影点X的纹理坐标的向量,/>为所述第一边上的预测投影点X至所述目标三角形的所述第一边上的顶点N的纹理坐标的向量。
16.根据权利要求14所述的方法,其特征在于,所述根据所述投影点的纹理坐标,获取所述待编码顶点的预测纹理坐标,包括:
所述编码端在所述第一边对应的第一顶点O为已编码顶点,或者第一三角形不为退化三角形的情况下,根据Xuv获取所述待编码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待编码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待编码顶点在所述第一边上的预测投影点X至待编码顶点C的纹理坐标的向量。
17.根据权利要求14所述的方法,其特征在于,所述根据所述投影点的纹理坐标,获取所述待编码顶点的预测纹理坐标,包括:
所述编码端在所述第一边对应第一顶点O为未编码顶点,或者第一三角形为退化三角形的情况下,根据Xuv获取所述待编码顶点的纹理坐标,并编码所述待编码顶点对应的目标标识;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待编码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待编码顶点在所述第一边上的预测投影点X至待编码顶点的纹理坐标Cuv的向量。
18.一种解码方法,其特征在于,包括:
解码端解码获取的与目标三维网格对应的码流得到所述目标三维网格的几何信息和连接关系,解码获取的与每个顶点对应的码流得到所述每个顶点的纹理坐标残差;
所述解码端对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;所述目标残差对应的比特位长度大于所述纹理坐标残差对应的比特位长度;
所述解码端基于所述目标三维网格的几何信息和连接关系,以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
19.根据权利要求18所述的方法,其特征在于,所述对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差包括:
所述解码端对于任一顶点,增加所述顶点的纹理坐标残差占用的比特位数,获得所述顶点的纹理坐标残差对应的第三目标比特位;
所述解码端使用所述第三目标比特位存储所述顶点的纹理坐标残差,得到所述顶点的目标残差。
20.根据权利要求19所述的方法,其特征在于,所述增加所述顶点的纹理坐标残差占用的比特位数包括:
所述解码端使用第一移位参数对所述顶点的纹理坐标残差进行二进制左移。
21.根据权利要求18所述的方法,其特征在于,所述基于所述目标三维网格的几何信息和连接关系,以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标包括:
所述解码端确定所述目标三维网格中每个顶点的N个预测纹理坐标,N为大于1的正整数;
所述解码端对所述每个顶点的N个预测纹理坐标执行第一移位操作,得到所述每个顶点的N个第四目标纹理坐标;所述第四目标纹理坐标对应的比特位长度大于所述预测纹理坐标对应的比特位长度;
所述解码端基于所述每个顶点的N个第四目标纹理坐标和所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
22.根据权利要求21所述的方法,其特征在于,所述确定所述目标三维网格中每个顶点的N个预测纹理坐标包括:
所述解码端在边集合中选择第一边,将所述第一边对应的三角形以及以待解码顶点为对顶点且不包括所述第一边的三角形,确定为目标三角形;所述目标三角形中除待解码顶点之外的顶点为已解码顶点,所述第一边对应的三角形中所述第一边的对顶点为待解码顶点;
所述解码端对于每个目标三角形,获取待解码顶点在目标三角形中的预测纹理坐标。
23.根据权利要求21所述的方法,其特征在于,所述基于所述每个顶点的N个第四目标纹理坐标和所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标包括:
所述解码端对于任意一个顶点,对所述顶点的N个第四目标坐标执行得到第二移位操作得到所述顶点的N个预测纹理坐标,对所述顶点的目标残差执行第二移位操作得到所述顶点的纹理坐标残差;
所述解码端将所述顶点的N个预测纹理坐标对应的目标值确定为所述顶点的第五目标纹理坐标;
所述解码端对所述顶点的第五目标纹理坐标与所述顶点的纹理坐标残差做加法运算,确定所述顶点的真实纹理坐标。
24.根据权利要求21所述的方法,其特征在于,所述基于所述每个顶点的N个第四目标纹理坐标和所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标包括:
所述解码端将所述顶点的N个第四目标纹理坐标对应的目标值确定为所述顶点的第六目标纹理坐标;
所述解码端对所述顶点的第六目标纹理坐标与所述顶点的目标残差做加法运算,确定所述顶点的第七目标纹理坐标;
所述解码端对所述顶点的第七目标纹理坐标执行第二移位操作,确定所述顶点的真实纹理坐标。
25.根据权利要求18所述的方法,其特征在于,所述基于所述目标三维网格的几何信息以及连接关系以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标包括:
所述解码端解码获取目标三维网格中每个顶点的真实纹理坐标。
26.根据权利要求25所述的方法,其特征在于,所述解码获取目标三维网格中每个顶点的真实纹理坐标包括:
所述解码端在边集合中选择第一边,获取待解码顶点在目标三角形中的预测纹理坐标;所述目标三角形为所述第一边对应的三角形,且所述目标三角形的对顶点为所述待解码顶点;
所述解码端对所述待解码顶点的预测纹理坐标执行第一移位操作,得到所述待解码顶点的第八目标纹理坐标;所述第八目标纹理坐标对应的比特位长度大于所述预测纹理坐标的对应比特位长度;
所述解码端基于所述待解码顶点的第八目标纹理坐标和所述待解码顶点的目标残差,确定所述待解码顶点的真实纹理坐标。
27.根据权利要求26所述的方法,其特征在于,所述基于所述待解码顶点的第八目标纹理坐标和所述待解码顶点的目标残差,确定所述待解码顶点的真实纹理坐标包括:
所述解码端对所述待解码顶点的第八目标纹理坐标执行第二移位操作得到所述顶点的预测纹理坐标,对所述待解码顶点的目标残差执行第二移位操作得到所述顶点的纹理坐标残差;
所述解码端对所述待解码顶点的预测纹理坐标与所述待解码顶点的纹理坐标残差做加法运算,确定所述待解码顶点的真实纹理坐标。
28.根据权利要求26所述的方法,其特征在于,所述基于所述待解码顶点的第八目标纹理坐标和所述待解码顶点的目标残差,确定所述待解码顶点的真实纹理坐标包括:
所述解码端对所述待解码顶点的第八目标纹理坐标与所述待解码顶点的目标残差做加法运算,确定所述待解码顶点的第九目标纹理坐标;
所述解码端对所述待解码顶点的第九目标纹理坐标执行第二移位操作,确定所述待解码顶点的真实纹理坐标。
29.根据权利要求22或26所述的方法,其特征在于,所述获取待解码顶点在目标三角形中的预测纹理坐标包括:
所述解码端根据目标三角形的各个顶点的几何坐标,获取待解码顶点在第一边上的投影点的纹理坐标;
所述解码端根据所述投影点的纹理坐标,获取所述待解码顶点的预测纹理坐标。
30.根据权利要求29所述的方法,其特征在于,所述根据目标三角形的各个顶点的几何坐标,获取待解码顶点在第一边上的投影点的纹理坐标包括:
所述解码端根据与Nuv的和值获取待解码顶点在第一边上的投影点的纹理坐标,或者根据Nuv与/>的差值获取待解码顶点在第一边上的投影点的纹理坐标;
其中,Nuv为所述目标三角形的所述第一边上的顶点N的纹理坐标,为所述目标三角形的所述第一边上的顶点N至所述待解码顶点在所述第一边上的预测投影点X的纹理坐标的向量,/>为所述第一边上的预测投影点X至所述目标三角形的所述第一边上的顶点N的纹理坐标的向量。
31.根据权利要求29所述的方法,其特征在于,所述根据所述投影点的纹理坐标,获取所述待解码顶点的预测纹理坐标包括:
所述解码端在所述第一边对应的第一顶点O为已解码顶点,或者第一三角形不为退化三角形的情况下,根据Xuv获取所述待解码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待解码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待解码顶点在所述第一边上的预测投影点X至待解码顶点C的纹理坐标的向量。
32.根据权利要求29所述的方法,其特征在于,所述根据所述投影点的纹理坐标,获取所述待解码顶点的预测纹理坐标包括:
所述解码端在所述第一边对应第一顶点O为未解码顶点,或者第一三角形为退化三角形的情况下,根据读取到的所述待解码点对应的目标标识、Xuv确定所述待解码顶点的纹理坐标;所述第一三角形与所述目标三角形具有公共的第一边,且所述第一三角形的第一边的对顶点为所述第一顶点O;
其中,Xuv为所述待解码顶点在所述第一边上的预测投影点X的纹理坐标,为所述待解码顶点在所述第一边上的预测投影点X至待解码顶点的纹理坐标Cuv的向量。
33.一种编码装置,其特征在于,包括:
重建模块,用于根据目标三维网格的几何信息以及连接关系的编码结果,重建目标三维网格的几何信息以及连接关系;
移位模块,用于根据重建的几何信息以及连接关系,对所述目标三维网络中每个顶点的坐标执行第一移位操作,得到每个顶点的移位坐标;所述移位坐标对应的比特位长度大于所述坐标对应的比特位长度;
编码模块,用于基于所述每个顶点的移位坐标,对所述目标三维网格中每个顶点的纹理坐标进行编码。
34.一种解码装置,其特征在于,包括:
解码模块,用于解码获取的与目标三维网格对应的码流得到所述目标三维网格的几何信息以及连接关系,解码获取的与每个顶点对应的码流得到所述每个顶点的纹理坐标残差;
移位模块,用于对所述每个顶点的纹理坐标残差执行第一移位操作,得到每个顶点的目标残差;所述目标残差对应的比特位长度大于所述纹理坐标残差对的比特位长度;
确定模块,用于基于所述目标三维网格的几何信息以及连接关系以及所述每个顶点的目标残差,确定所述每个顶点的真实纹理坐标。
35.一种终端,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-17中任一项所述的编码方法的步骤,或者实现如权利要求18-32中任一项所述的解码方法的步骤。
36.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-17中任一项所述的编码方法的步骤,或者实现如权利要求18-32中任一项所述的解码方法的步骤。
CN202210865721.3A 2022-07-21 2022-07-21 编码、解码方法、装置及设备 Pending CN117478901A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210865721.3A CN117478901A (zh) 2022-07-21 2022-07-21 编码、解码方法、装置及设备
PCT/CN2023/104351 WO2024017008A1 (zh) 2022-07-21 2023-06-30 编码、解码方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210865721.3A CN117478901A (zh) 2022-07-21 2022-07-21 编码、解码方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117478901A true CN117478901A (zh) 2024-01-30

Family

ID=89616986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210865721.3A Pending CN117478901A (zh) 2022-07-21 2022-07-21 编码、解码方法、装置及设备

Country Status (2)

Country Link
CN (1) CN117478901A (zh)
WO (1) WO2024017008A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003091736A (ja) * 2001-07-13 2003-03-28 Sony Computer Entertainment Inc 描画処理装置、描画処理プログラムを記録した記録媒体、描画処理プログラム、描画処理方法
KR100668714B1 (ko) * 2005-01-14 2007-01-16 한국전자통신연구원 효과적인 텍스처 매핑을 위한 3차원 메쉬 정보의 텍스처좌표 부호화 및 복호화 방법
GB2560319B (en) * 2017-03-06 2020-09-02 Canon Kk Improved encoding and decoding of texture mapping data in textured 3D mesh models
US11450030B2 (en) * 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder
EP4040793A4 (en) * 2019-09-30 2023-01-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. TRANSFORMATION METHOD, INVERSE TRANSFORMATION METHOD, ENCODER, DECODER AND STORAGE MEDIUM

Also Published As

Publication number Publication date
WO2024017008A1 (zh) 2024-01-25

Similar Documents

Publication Publication Date Title
JP5932051B2 (ja) 予測位置復号
Žalik et al. Chain code lossless compression using move-to-front transform and adaptive run-length encoding
JP2015513719A (ja) 3dモデルを表現するビットストリームを処理するための方法及び装置
US20220217335A1 (en) Prediction value determination method and decoder
KR20090097057A (ko) 메쉬 모델로 구현된 3차원 데이터의 연결정보를 부호화 및복호화 방법
CN103518227A (zh) 用于随机运动模糊栅格化的深度缓冲器压缩
CN109690626A (zh) 用于对表面的几何表示的法线进行编码和/或解码的方法和装置
CN111435551A (zh) 点云滤波方法、装置及存储介质
US9294124B2 (en) Dictionary-based compression method, dictionary-based decompression method and dictionary composing method
KR101986282B1 (ko) 반복 구조 검색 기반의 3d 모델 압축을 위한 방법 및 장치
CN117478901A (zh) 编码、解码方法、装置及设备
JP5933742B2 (ja) 反復構造発見ベースの3dモデル圧縮のビットストリームを生成する方法及び装置
CN111221734A (zh) 一种图形接口的验证方法、装置及计算机存储介质
CN117412058A (zh) 编码、解码方法、装置及设备
Courbet et al. Taylor prediction for mesh geometry compression
WO2023155779A1 (zh) 编码方法、解码方法、装置及通信设备
WO2023246686A1 (zh) 无损编码方法、无损解码方法、装置及设备
CN117372648A (zh) 无损编码方法、无损解码方法、装置及设备
CN117956174A (zh) 网格编码方法、装置、通信设备及可读存储介质
CN116939203A (zh) 编码、解码方法、装置及设备
CN116233387A (zh) 点云编码、解码方法、装置及通信设备
CN116233426A (zh) 属性量化、反量化方法、装置及设备
WO2024083039A1 (zh) 网格编码方法、网格解码方法及相关设备
CN116233389A (zh) 点云编码处理方法、点云解码处理方法及相关设备
CN116233386A (zh) 点云属性编码方法、点云属性解码方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination