CN116800972A - 编码、解码方法、装置及设备 - Google Patents

编码、解码方法、装置及设备 Download PDF

Info

Publication number
CN116800972A
CN116800972A CN202210273171.6A CN202210273171A CN116800972A CN 116800972 A CN116800972 A CN 116800972A CN 202210273171 A CN202210273171 A CN 202210273171A CN 116800972 A CN116800972 A CN 116800972A
Authority
CN
China
Prior art keywords
image
map
geometric
pixels
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210273171.6A
Other languages
English (en)
Inventor
邹文杰
张伟
杨付正
吕卓逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210273171.6A priority Critical patent/CN116800972A/zh
Priority to PCT/CN2023/081640 priority patent/WO2023174336A1/zh
Publication of CN116800972A publication Critical patent/CN116800972A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种编码、解码方法、装置及设备，涉及编解码技术领域。该编码方法，包括：编码端根据目标三维网格的几何信息获取占位图和几何图；所述编码端对第一图像中投影点的像素进行平移处理，得到第二图像，所述第一图像包括占位图和几何图中的至少一项；所述编码端对第三图像以及所述第二图像进行编码，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。

Description

编码、解码方法、装置及设备
技术领域
本申请属于编解码技术领域，具体涉及一种编码、解码方法、装置及设备。
背景技术
三维网格(Mesh)可以被认为是过去多年来最流行的三维模型的表示方法，其在许多应用程序中扮演着重要的角色。它的表示简便，因此被大量以硬件算法集成到电脑、平板电脑和智能手机的图形处理单元(GPU)中，专门用于渲染三维网格。
由于Mesh的顶点与点云都是空间中一组无规则分布的离散点集，具有相似的特点。因此，三维网格几何信息可以用点云压缩算法进行压缩。但相比于点云，三维网格的顶点具有空间分布更加稀疏，更加不均匀的特点。使用点云压缩算法来压缩三维网格模型的几何信息，编码效率并不高。
发明内容
本申请实施例提供一种编码、解码方法、装置及设备，能够解决现有技术的对于三维网格几何信息的编码效率不高的问题。
第一方面，提供了一种编码方法，包括：
编码端根据目标三维网格的几何信息获取占位图和几何图；
所述编码端对第一图像中投影点的像素进行平移处理，得到第二图像，所述第一图像包括占位图和几何图中的至少一项；
所述编码端对第三图像以及所述第二图像进行编码，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。
第二方面，提供了一种编码装置，包括：
第一获取模块，用于根据目标三维网格的几何信息获取占位图和几何图；
第二获取模块，用于对第一图像中投影点的像素进行平移处理，得到第二图像，所述第一图像包括占位图和几何图中的至少一项；
编码模块，用于对第三图像以及所述第二图像进行编码，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。
第三方面，提供了一种解码方法，包括：
解码端对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，所述第二图像包括紧密排布的占位图和紧密排布的几何图中的至少一项，所述第三图像为所述占位图和所述几何图中不属于第二图像的图；
所述解码端对所述第二图像中的投影点的像素进行平移处理，得到第一图像；
所述解码端根据所述第一图像和所述第三图像，获取所述目标三维网格的几何信息。
第四方面，提供了一种解码装置，包括：
第三获取模块，用于对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，所述第二图像包括紧密排布的占位图和紧密排布的几何图中的至少一项，所述第三图像为所述占位图和所述几何图中不属于第二图像的图；
第四获取模块，用于对所述第二图像中的投影点的像素进行平移处理，得到第一图像；
第五获取模块，用于根据所述第一图像和所述第三图像，获取所述目标三维网格的几何信息。
第五方面，提供了一种编码设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第六方面，提供了一种编码设备，包括处理器及通信接口，其中，所述处理器用于根据目标三维网格的几何信息获取占位图和几何图；对第一图像中投影点的像素进行平移处理，得到第二图像，所述第一图像包括占位图和几何图中的至少一项；对第三图像以及所述第二图像进行编码，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。
第七方面，提供了一种解码设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第三方面所述的方法的步骤。
第八方面，提供了一种解码设备，包括处理器及通信接口，其中，所述处理器用于对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，所述第二图像包括紧密排布的占位图和紧密排布的几何图中的至少一项，所述第三图像为所述占位图和所述几何图中不属于第二图像的图；对所述第二图像中的投影点的像素进行平移处理，得到第一图像；根据所述第一图像和所述第三图像，获取所述目标三维网格的几何信息。
第九方面，提供了一种通信系统，包括：编码设备和解码设备，所述编码设备可用于执行如第一方面所述的方法的步骤，所述解码设备可用于执行如第三方面所述的方法的步骤。
第十方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
第十一方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或实现如第三方面所述的方法。
第十二方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。
在本申请实施例中，通过将占位图和几何图中的至少一项进行平移处理以实现紧密排布，以此减少编码的比特数量，进而提高压缩效率。
附图说明
图1是本申请实施例的编码方法的流程示意图；
图2是基于网格的精细划分过程示意图；
图3是Patch排列的八种方向示意图；
图4是像素进行平移前及平移后的几何图的示意图；
图5是基于视频的三维网格几何信息编码框架示意图；
图6是本申请实施例的编码装置的模块示意图；
图7是本申请实施例的编码设备的结构示意图；
图8是本申请实施例的解码方法的流程示意图；
图9是基于视频的三维网格几何信息解码框架示意图；
图10是本申请实施例的解码装置的模块示意图；
图11是本申请实施例的通信设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long TermEvolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time DivisionMultiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio，NR)系统，并且在以下大部分描述中使用NR术语，但是这些技术也可应用于NR系统应用以外的应用，如第6代(6th Generation，6G)通信系统。
下面对与本申请相关的现有技术简要说明如下。
近年来，随着多媒体技术的迅速发展，相关研究成果迅速产业化，并成为人们生活中不可或缺的重要组成部分。三维模型成为继音频、图像、视频之后的新一代数字化媒体。三维网格和点云是两种常用的三维模型表示方式。三维网格模型与传统的图像、视频等多媒体相比具有更强的交互性和逼真性的特点，使其在商业、制造业、建筑业、教育、医学、娱乐、艺术、军事等各个领域都得到了越来越广泛的应用。
而随着人们对三维网格模型在视觉效果上越来越高的需求，以及许多更加成熟的三维扫描技术和三维建模软件的涌现，通过三维扫描设备或三维建模软件获取的三维网格模型的数据规模和复杂度也在急剧地增长着。因此，如何高效压缩三维网格数据是实现三维网格数据方便地传输、存储和处理的关键。
一个三维网格往往同时包含了拓扑信息、几何信息及属性信息三种主要信息。拓扑信息用于描述网格中顶点和面片等元素之间的连接关系；几何信息是网格中所有顶点的三维坐标；属性信息则记录了附着在网格上的其它信息，比如法向量、纹理坐标以及颜色等。虽然一些传统的通用的数据压缩方法能够减少一定的三维网格数据量，但是由于三维网格数据的特殊性，直接将这些压缩方法用于压缩三维网格数据往往不能获得理想的效果。因此，对三维网格数据的压缩面临着新的挑战。在三维网格的数据中，几何数据往往比拓扑数据需要占用更多的存储空间，对几何数据进行高效压缩将对减少三维网格数据的存储空间具有极为重要的意义。因此，三维网格几何信息的压缩成为了人们的研究重点。
三维网格几何信息压缩算法可以使用点云的三维几何信息压缩算法。近年来点云压缩的国际标准主要有两种，分别是V-PCC(Video-based Point Cloud Compression，基于视频的点云压缩)和G-PCC(Geometry-based Point Cloud Compression，基于几何的点云压缩)。
V-PCC的主要思路是将点云的几何和属性信息投影成二维视频，利用已有的视频编码技术对二维视频进行压缩，从而达到压缩点云的目的。V-PCC的几何编码是通过将几何信息投影成占位视频和几何视频，利用视频编码器分别编码这两路视频来实现的。
V-PCC几何信息编码的过程主要包括：首先生成三维片(3D patch)，patch是指点云中投影平面相同且连通的顶点集合。目前生成3D patch的方法是，利用近邻点估计每个顶点的法向量，根据每个点的法向量和预设平面的法向量，计算每个顶点的投影平面，将连通的具有相同投影平面顶点组成一个patch。然后，将3D patch投影到2D平面上形成2Dpatch，并将2D patch排列在一张二维图像上，这个过程称为片打包(patch packing)。为了使patch排列的更加紧密从而提高压缩性能，目前的排列方法有：优先级排列、时域一致排列、全局patch分配等。然后，生成占位图和几何图。占位图是表示二维图像中顶点占位信息的图像，占位图中有顶点投影的位置值为1，其余位置值为0。按照一定规则将patch排列在二维图像中，就生成了占位图。几何图中存储的是每个顶点到投影平面的距离。利用顶点的三维坐标、顶点的投影平面以及占位图可以直接计算出每个顶点的深度信息，从而生成几何图。对于投影位置重复的顶点，将除第一个投影顶点外的顶点几何坐标排列进raw patch里放入几何图或者单独进行编码。为了提高压缩效率，对几何图像执行图像填充过程。图像填充方法“推拉”背景填充算法、基于稀疏线性模型(Sparse Linear Model)的填充方法、谐波背景填充(Harmonic Background Filling)等方法。图像填充后，得到最终的几何图，使用现有的视频编码器压缩占位图和几何图，得到视频码流。最后，将占位视频码流、几何视频码流以及包含patch信息的子码流合成为最终的总码流。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的编码、解码方法、装置及设备进行详细地说明。
如图1所示，本申请实施例提供一种编码方法，包括：
步骤101，编码端根据目标三维网格的几何信息获取占位图和几何图；
需要说明的是，本申请中所说的目标三维网格可以理解为任意视频帧对应的三维网格，该目标三维网格的几何信息可以理解为是三维网格中顶点的坐标，该坐标通常指的是三维坐标。
步骤102，所述编码端对第一图像中投影点的像素进行平移处理，得到第二图像；
需要说明的是，所述第一图像包括占位图和几何图中的至少一项。
需要说明的是，投影点指的是将三维网格的顶点进行二维片投影后，顶点在二维图像中中对应的点。二维图像中的一个像素对应一个顶点的投影点。在占位图中投影点所对应的像素值通常为1，在几何图中投影点所对应的深度值通常大于0。
步骤103，所述编码端对第三图像以及所述第二图像进行编码；
需要说明的是，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。例如，当第一图像包括占位图时，第三图像包括几何图；当第一图像包括几何图时，第三图像包括占位图；当第一图像包括占位图和几何图时，第三图像为空集，可以理解为，在此种情况下，不存在第三图像。
需要说明的是，对于编码端而言，由于视频编码器对投影点的像素稀疏分布的图压缩率极低，本申请对占用图和几何图中的至少一种图的投影点的像素进行平移，以实现像素的紧密排布，例如保持占位图不变，将几何图中投影点的像素进行水平或者垂直方向的平移，以提高后续视频编码器编码几何图时的编码效率。
可选地，上述步骤101的具体实现方式为：
步骤1011，所述编码端对所述目标三维网格的几何信息进行三维片划分；
需要说明的是，此种情况下，主要是将目标三维网格的几何信息进行片(Patch)划分，得到多个三维片；此步骤的具体实现方式为：编码端确定目标三维网格的几何信息中包含的每个顶点的投影平面；编码端根据所述投影平面对所述目标三维网格的几何信息中所包含的顶点进行片划分；编码端对所述目标三维网格的几何信息中所包含的顶点进行聚类，得到划分后的每一片。也就是说，对于Patch划分的过程主要包括：首先估计每个顶点的法向量，选择平面法向量与顶点法向量之间的夹角最小的候选投影平面作为该顶点的投影平面；然后，根据投影平面对顶点进行初始划分，将投影平面相同且连通的顶点组成patch；最后，使用精细划分算法优化聚类结果，得到最终的三维片(3D patch)。
下面对由目标三维网格的几何信息得到三维片的过程的具体实现进行详细说明如下。
首先估计每个点的法向量。切线平面和它对应的法线是根据每个点的最近的邻居顶点m在一个预定义的搜索距离定义的。K-D树用于分离数据，并在点pi附近找到相邻点，该集合的重心用于定义法线。重心c的计算方法如下：
公式一：
使用特征分解法估计顶点法向量，计算过程公式二所示：
公式二：
在初始划分阶段，初步选择每个顶点的投影平面。设顶点法向量的估计值为候选投影平面的法向量为/>选择法向量方向与顶点法向量方向最接近的平面作为该顶点的投影平面，平面选择的计算过程如公式三所示：
公式三：
精细划分过程可以采用基于网格的算法来降低算法的时间复杂度，基于网格的精细划分算法流程如图2所示，具体包括：
先设置循环次数(numlter)为0，判断循环次数是否小于最大循环次数(需要说明的是，该最大循环次数可以根据使用需求设置)，若小于则执行下述过程：
步骤S201，将(x，y，z)几何坐标空间划分为体素。
需要说明的是，此处的几何坐标空间指的是由目标三维网格的几何信息所构成的几何坐标空间。例如，对于使用体素大小为8的10位Mesh，每个坐标上的体素数量将是1024/8＝128，此坐标空间中的体素总数将是128×128×128。
步骤S202，查找填充体素，填充体素是指网格中包含至少有一个点的体素。
步骤S203，计算每个填充体素在每个投影平面上的平滑分数，记为voxScoreSmooth，体素在某投影平面的体素平滑分数是通过初始分割过程聚集到该投影平面的点的数量。
步骤S204，使用KD-Tree分区查找近邻填充体素，记为nnFilledVoxels，即每个填充体素(在搜索半径内和/或限制到最大数量的相邻体素)的最近的填充体素。
步骤S205，使用近邻填充体素在每个投影平面的体素平滑分数，计算每个填充体素的平滑分数(scoreSmooth)，计算过程如公式四所示：
公式四：
其中，p是投影平面的索引，v是近邻填充体素的索引。一个体素中所有点的scoreSmooth是相同的。
步骤S206，使用顶点的法向量与候选投影平面的法向量计算法向分数，记为scoreNormal，计算过程如公式五所示：
公式五：scoreNormal[i][p]＝normal[i]·orientation[p]；
其中，p是投影平面的索引，i是顶点的索引。
步骤S207，使用scoreSmooth和scoreNormal计算每个体素在各个投影平面上的最终分数，计算过程如公式六所示：
公式六：
其中，i为顶点索引，p为投影平面的索引，v是顶点i所在的体素索引。
步骤S208，使用步骤207中的分数对顶点进行聚类，得到精细划分的patch。
多次迭代上述过程，直到得到较为准确的patch。
步骤1012，所述编码端将划分的三维片进行二维投影，获取二维片；
需要说的是，此过程是将3D patch投影到二维平面得到二维片(2D patch)。
需要说明的是，Patch划分通过在给定投影平面上使用提供最佳压缩性能的策略将3D样本转换为2D样本。Patch划分的目标是将一帧三维模型的顶点分解成数量最小且边界光滑的Patch，同时最小化重构误差。
步骤1013，所述编码端将所述二维片进行打包，获取二维图像信息；
需要说明的是，此步骤实现的是片打包(Patch packing)，Patch packing的目的是将2Dpatch排列在一张二维图像上，Patch packing的基本原则是将patch不重叠的排列在二维图像上或者将patch的无像素部分进行部分重叠的排列在二维图像上，通过优先级排列、时域一致排列等算法，使patch排列的更加紧密，且具有时域一致性，提高编码性能。
假设，二维图像的分辨率为WxH，定义patch排列的最小块大小为T，它指定了放置在这个2D网格上的不同补丁之间的最小距离。
首先，patch按照不重叠的原则插入放置在2D网格上。每个patch占用由整数个TxT块组成的区域。此外，相邻patch之间要求至少有一个TxT块的距离。当没有足够的空间放置下一个patch时，图像的高度将变成原来的2倍，然后继续放置patch。
为了使patch排列的更加紧密，patch可以选择多种不同的排列方向。例如，可以采用八种不同的排列方向，如图3所示，包括0度、180度、90度、270度以及前四种方向的镜像。
为了获得更好的适应视频编码器帧间预测的特性，采用一种具有时域一致性的Patch排列方法。在一个GOF(Group of frame)中，第一帧的所有patch按照从大到小的顺序依次排列。对于GOF中的其他帧，使用时域一致性算法调整patch的排列顺序。
这里还需要说明的是，在得到二维图像信息后便能根据获取二维图像信息过程中的信息得到patch信息，之后便可以进行片信息的编码，获取片信息子码流；
这里需要说明的是，在进行二维图像信息过程中需要记录patch划分的信息、patch投影平面的信息以及patch packing位置的信息，所以patch信息记录的是获取二维图像过程中各步骤操作的信息，即patch信息包括：patch划分的信息、patch投影平面的信息以及patch packing位置的信息。
步骤1014，所述编码端根据所述二维图像信息，获取占位图和几何图；
需要说的是，对于获取占位图的过程，主要为：利用patch packing得到的patch排列信息，将二维图像中存在顶点的位置设为1，其余位置设为0，得到占位图。对于获取几何图的过程，主要为：在通过投影得到2D patch的过程中，保存了每个顶点到投影平面的距离，这个距离称为深度，将2D patch中每个顶点的深度值，排列到该顶点在占位图中的位置上，得到几何图。
可选地，在所述第一图像为占位图或几何图，上述的步骤102的具体实现方式为：
所述编码端对所述第一图像中的投影点的像素沿第一方向进行逐行或逐列扫描，对每行或每列中的像素的位置索引重新进行行内或列内的编号；所述编码端按照扫描顺序，将每一顶点的像素值排列在所述顶点对应的投影点所对应的位置索引指定的像素位置，获取平移后的紧密排布的第二图像，所述第一方向为水平方向或垂直方向。
需要说明的是，通常情况下，占位图或几何图中的投影点所对应的像素之间并不是紧密相邻的，而是有一定的间隔，本申请实施例中所说的扫描重新编号即将同一行或同一列中存在间距的像素以像素相邻的方式重新进行编号，例如，在某一行中，对应存在5个像素，由左向右其编号分别为1、3、5、7、8，在经过由左向右的扫描后，重新对这5个像素进行编号，则重新编号后，这5个像素由左向右的新编号为1、2、3、4、5。
在对像素进行扫描重新编号之后，将每个像素位置的像素值用与该像素对应顶点的像素值进行表示，以此得到紧密排布的几何图或占位图，需要说明的是，当第一图像为占位图时，顶点的像素值为该顶点在占位信息中对应的取值，通常此时，该顶点的像素值为1；当第一图像为几何图时，顶点的像素值指的是该顶点的深度值。
需要说明的是，此种实现方式是先将几何图(或占位图)中的顶点对应的投影点的像素进行扫描，重新进行编号，当进行的是水平方向的扫描时，是按照水平方向逐行进行扫描，对每行中的像素的索引位置重新进行行内的编号，当进行的是垂直方向的扫描时，是按照垂直方向逐列进行扫描，对每列中的像素的索引位置重新进行列内的编号；通过将几何图(或占位图)中的像素按照水平或者垂直方向进行平移，并将顶点的像素值排列到该顶点对应的投影点的像素位置，得到像素排列紧密的几何图(或占位图)，再利用视频编码器对几何图(或占位图)进行压缩，得到几何图子码流(或占位图子码流)；例如，图4为像素进行平移前及平移后的几何图的示意图，其中，图4中像素点的深度值被二值化来提高示意图的可视性，实际中排布紧密的像素具有不同的深度值。
可选地，在所述第一图像包括几何图和占位图的情况下，上述的步骤102的具体实现方式为：
所述编码端将占位图和几何图中的投影点的像素向第二方向平移，将像素平移后的占位图中投影点所对应的像素值用对投影点的像素进行平移的距离进行表示，分别获取紧密排布的占位图和几何图；
其中，所述第二方向为水平方向或垂直方向，所述平移的距离为投影点的像素平移的相对距离或投影点的像素平移的绝对距离。
需要说明的是，此种实现方式为：将占位图和几何图以相同的方式(所谓相同的方式指的是占位图中的投影点的像素的移动方向和距离与几何图中的对应的投影点的像素的移动方向和距离相同)向某一方向聚集，将占位图中投影点对应的像素值记录为对投影点的像素进行平移的绝对距离(或投影点的像素进行平移的相对距离(例如，以当前投影点的像素相对于前一投影点的像素移动距离的差值作为相对距离))，也就是说，此时占位图中像素值不再是1，而是记录投影点的像素平移距离的值。
例如，以对几何图进行紧密排布为例，本申请实施例的基于视频的三维网格几何信息编码框架如图5所示，总体编码流程为：
首先，对于几何信息，采用投影的方式进行patch划分、patch投影、patch排列来生成patch序列压缩信息(包括patch的划分信息、投影信息、排列信息)、占位图和几何图；对像素点分布稀疏的几何图沿水平或者垂直方向对几何图中投影点的像素进行平移，使像素紧密排布，构成像素排布紧密的几何图；最后，编码patch序列压缩信息、占位图、几何图分别得到对应的子码流，并将多路子码流混流，得到最终输出码流。
需要说明的是，本申请给出了如何进行三维网格的几何信息进行编码的实现方式，通过将三维网格的几何信息对应的几何图或占位图进行紧密排布处理，减少顶点间的间距，以此能提高三维网格几何信息的压缩效率和编码效率。
本申请实施例提供的编码方法，执行主体可以为编码装置。本申请实施例中以编码装置执行编码方法为例，说明本申请实施例提供的编码装置。
如图6所示，本申请实施例提供一种编码装置600，包括：
第一获取模块601，用于根据目标三维网格的几何信息获取占位图和几何图；
第二获取模块602，用于对第一图像中投影点的像素进行平移处理，得到第二图像，所述第一图像包括占位图和几何图中的至少一项；
编码模块603，用于对第三图像以及所述第二图像进行编码，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。
可选地，所述第一图像为占位图或几何图，所述第二获取模块602，包括：
第一扫描单元，用于对所述第一图像中的投影点的像素沿第一方向进行逐行或逐列扫描，对每行或每列中的像素的位置索引重新进行行内或列内的编号；
第一获取单元，用于按照扫描顺序，将每一顶点的像素深度值排列在所述顶点对应的投影点所对应的位置索引指定的像素位置，获取平移后的紧密排布的第二图像；
其中，所述第一方向为水平方向或垂直方向。
可选地，在所述第一图像包括几何图和占位图的情况下，所述第二获取模块602，包括：
第二获取单元，用于将占位图和几何图中的投影点的像素向第二方向平移，将像素平移后的占位图中投影点所对应的像素值用对投影点的像素进行平移的距离进行表示，分别获取紧密排布的占位图和几何图；
其中，所述第二方向为水平方向或垂直方向，所述平移的距离为投影点的像素平移的相对距离或投影点的像素平移的绝对距离
可选地，所述第一获取模块601，包括：
划分单元，用于对所述目标三维网格的几何信息进行三维片划分；
第三获取单元，用于将划分的三维片进行二维投影，获取二维片；
第四获取单元，用于将所述二维片进行打包，获取二维图像信息；
第五获取单元，用于根据所述二维图像信息，获取占位图和几何图。
可选地，在所述第四获取单元将所述二维片进行打包，获取二维图像信息之后，所述第一获取模块601，还包括：
第六获取单元，用于根据获取二维图像信息过程中的信息，获取片信息；
第七获取单元，用于对所述片信息进行编码，获取片信息子码流。
该装置实施例与上述编码方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该装置实施例中，且能达到相同的技术效果。
本申请实施例还提供了一种编码设备，包括处理器及通信接口，其中，所述处理器用于根据目标三维网格的几何信息获取占位图和几何图；对第一图像中的像素进行紧密排布处理，得到第二图像，所述第一图像包括占位图和几何图中的至少一项；对第三图像以及所述第二图像进行编码，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。
具体地，本申请实施例还提供了一种编码设备，如图7所示，该编码设备700包括：处理器701、网络接口702和存储器703。其中，网络接口702例如为通用公共无线接口(common public radio interface，CPRI)。
具体地，本申请实施例的编码设备700还包括：存储在存储器703上并可在处理器701上运行的指令或程序，处理器701调用存储器703中的指令或程序执行图6所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
如图8所示，本申请实施例还提供一种解码方法，包括：
步骤801，解码端对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像；
需要说明的是，所述第二图像包括紧密排布的占位图和紧密排布的几何图中的至少一项，所述第三图像为所述占位图和所述几何图中不属于第二图像的图；
步骤802，所述解码端对所述第二图像中的投影点的像素进行平移处理，得到第一图像；
步骤803，所述解码端根据所述第一图像和所述第三图像，获取所述目标三维网格的几何信息。
需要说明的是，对于解码端而言，使用视频解码器解码得到至少有一个紧密排布的占位图和几何图后，恢复按照投影位置排布的占位图和几何图，例如，使用占位图中像素的二维位置信息平移几何图中的像素还原几何图；最后使用片信息、几何图和占位图还原三维网格的三维几何信息。
可选地，在所述第二图像包括紧密排布的占位图或紧密排布的几何图的情况下，所述对所述第二图像中的投影点的像素进行平移处理，得到第一图像，包括：
所述解码端对所述第三图像的投影点的像素沿第一方向进行逐行或逐列扫描，获取每行或每列中的每个像素所在的行内或列内的位置索引；
所述解码端对所述第二图像中的投影点的像素沿第一方向进行逐行或逐列扫描，对每行或每列中的每个像素按照与所述第三图像中的投影点的像素对应的位置索引重新进行行内或列内的编号；
所述解码端按照扫描顺序，将每一顶点的像素值排列在所述顶点对应的投影点在所述第三图像中所对应的位置索引指定的像素位置，获取平移后的稀疏排布的第二图像；
其中，所述第一方向为水平方向或垂直方向。
需要说明的是，因占位图和几何图中的一者有一个在编码过程中没有进行像素平移，因此在解码时，需要按照未进行像素平移的这个图恢复另一个像素平移的图中的顶点对应的投影点的像素的位置，以此保证图像的准确恢复。
可选地，在所述第二图像包括紧密排布的几何图和紧密排布的占位图的情况下，所述对所述第二图像中的投影点的像素进行平移处理，得到第一图像，包括：
所述解码端按照紧密排布的占位图中投影点的像素值，将紧密排布的占位图和紧密排布的几何图中的投影点的像素沿第二方向平移，分别获取稀疏排布的占位图和几何图；
其中，所述紧密排布的占位图中投影点的像素值用对投影点的像素进行平移的距离表示，所述第二方向为水平方向或垂直方向，所述平移的距离为投影点的像素平移的相对距离或投影点的像素平移的绝对距离。
需要说明的是，因为紧密排布的占位图中的像素值用对投影点的像素进行平移的距离表示的，因此在进行图像恢复时，按照投影点的像素进行平移的距离，将紧密排布的占位图和紧密排布的几何图按照编码过程中平移的距离的反方向移动，以此得到原始的占位图和几何图，实现对三维网格的几何信息的解码。
可选地，所述对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，包括：
所述解码端根据获取的目标三维网格的码流，获取目标子码流，所述目标子码流包括：片信息子码流、占位图子码流和几何图子码流；
所述解码端根据所述目标子码流，获取第二图像以及第三图像。
需要说明的是，几何信息重建过程是利用patch信息、占位图、几何图来重建三维几何模型的过程。具体过程主要分为：
步骤S1、获取2D patch；
对于解码后的像素经过紧密排布的占位图和/或几何图按照编码器中像素平移规则的逆过程进行恢复，得到像素点位置为二维投影位置的占位图和几何图。获取2D patch是指利用patch信息从占位图和几何图中分割出2D patch的占位信息和深度信息。Patch信息中包含了每个2D patch的包围盒在占位图和几何图中的位置和大小，利用patch信息、占位图和几何图可以直接获取到2D patch的占位信息和几何信息。
步骤S2、重建3D patch；
重建3D patch是指利用2D patch中的占位信息和几何信息，将2D patch中的顶点重建为3D patch。2D patch的占位信息中包含了顶点在patch投影平面局部坐标系中相对于坐标原点的位置，深度信息包含了顶点在投影平面法线方向上的深度值。因此，利用占位信息和深度信息可以在局部坐标系中将2D patch重建为3D patch。
步骤S3、重建网格几何信息；
将重建的3D patch按照patch信息流中3D patch的划分信息恢复回完整的网格几何坐标信息。
例如，以对紧密排布的几何图进行恢复为例，本申请实施例的基于视频的三维网格几何信息解码框架如图9所示，总体解码流程为：
首先，将码流分解成patch信息子码流、占位图子码流、几何图子码流，并分别进行解码；使用解码得到的占位图中投影像素的位置信息来还原解码得到几何图中像素的原始位置；使用占位图、复原的几何图和patch信息重建网格的三位几何信息；最终，使用重建的几何信息以及其他编解码方式得到的连接关系等信息重建网格。
需要说明的是，本申请实施例是与上述编码方法的实施例对应的对端的方法实施例，解码过程为编码的反过程，上述编码侧的所有实现方式均适用于该解码端的实施例中，也能达到与之相同的技术效果，在此不再赘述。
如图10所示，本申请实施例还提供一种解码装置1000，包括：
第三获取模块1001，用于对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，所述第二图像包括紧密排布的占位图和紧密排布的几何图中的至少一项，所述第三图像为所述占位图和所述几何图中不属于第二图像的图；
第四获取模块1002，用于对所述第二图像中的投影点的像素进行平移处理，得到第一图像；
第五获取模块1003，用于根据所述第一图像和所述第三图像，获取所述目标三维网格的几何信息。
可选地，在所述第二图像包括紧密排布的占位图或紧密排布的几何图的情况下，所述第四获取模块1002，包括：
第八获取单元，用于对所述第三图像的投影点的像素沿第一方向进行逐行或逐列扫描，获取每行或每列中的每个像素所在的行内或列内的位置索引；
第二扫描单元，用于对所述第二图像中的投影点的像素沿第一方向进行逐行或逐列扫描，对每行或每列中的每个像素按照与所述第三图像中的投影点的像素对应的位置索引重新进行行内或列内的编号；
第九获取单元，用于按照扫描顺序，将每一顶点的像素值排列在所述顶点对应的投影点在所述第三图像中所对应的位置索引指定的像素位置，获取平移后的稀疏排布的第二图像；
其中，所述第一方向为水平方向或垂直方向。
可选地，在所述第二图像包括紧密排布的几何图和紧密排布的占位图的情况下，所述第四获取模块1002，包括：
第十获取单元，用于按照紧密排布的占位图中投影点的像素值，将紧密排布的占位图和紧密排布的几何图中的投影点的像素沿第二方向平移，分别获取稀疏排布的占位图和几何图；
其中，所述紧密排布的占位图中投影点的像素值用对投影点的像素进行平移的距离表示，所述第二方向为水平方向或垂直方向，所述平移的距离为投影点的像素平移的相对距离或投影点的像素平移的绝对距离。
可选地，所述第三获取模块1001，包括：
第十一获取单元，用于根据获取的目标三维网格的码流，获取目标子码流，所述目标子码流包括：片信息子码流、占位图子码流和几何图子码流；
第十二获取单元，用于根据所述目标子码流，获取第二图像以及第三图像。
需要说明的是，该装置实施例是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置实施例中，也能达到相同的技术效果，在此不再赘述。
优选的，本申请实施例还提供一种解码设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述的解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种可读存储介质，计算机可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述的解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本申请实施例还提供了一种解码设备，包括处理器及通信接口，其中，所述处理器用于对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，所述第二图像包括紧密排布的占位图和紧密排布的几何图中的至少一项，所述第三图像为所述占位图和所述几何图中不属于第二图像的图；对所述第二图像中的投影点的像素进行平移处理，得到第一图像；根据所述第一图像和所述第三图像，获取所述目标三维网格的几何信息。
该解码设备实施例是与上述解码方法实施例对应的，上述方法实施例的各个实施过程和实现方式均可适用于该解码设备实施例中，且能达到相同的技术效果。
具体地，本申请实施例还提供了一种解码设备。具体地，该解码设备的结构可参见如图7所示的编码设备的结构，在此不再赘述。具体地，本申请实施例的解码设备还包括：存储在存储器上并可在处理器上运行的指令或程序，处理器调用存储器中的指令或程序执行图10所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的解码设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
可选的，如图11所示，本申请实施例还提供一种通信设备1100，包括处理器1101和存储器1102，存储器1102上存储有可在所述处理器1101上运行的程序或指令，例如，该通信设备1100为编码设备时，该程序或指令被处理器1101执行时实现上述编码方法实施例的各个步骤，且能达到相同的技术效果。该通信设备1100为解码设备时，该程序或指令被处理器1101执行时实现上述解码方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述编码方法或解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述编码方法或解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供了一种通信系统，至少包括：编码设备和解码设备，所述编码设备可用于执行如上所述的编码方法的步骤，所述解码设备可用于执行如上所述的解码方法的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (19)

1.一种编码方法，其特征在于，包括：
编码端根据目标三维网格的几何信息获取占位图和几何图；
所述编码端对第一图像中投影点的像素进行平移处理，得到第二图像，所述第一图像包括占位图和几何图中的至少一项；
所述编码端对第三图像以及所述第二图像进行编码，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。
2.根据权利要求1所述的方法，其特征在于，所述第一图像为占位图或几何图，所述对第一图像中投影点的像素进行平移处理，得到第二图像，包括：
所述编码端对所述第一图像中的投影点的像素沿第一方向进行逐行或逐列扫描，对每行或每列中的像素的位置索引重新进行行内或列内的编号；
所述编码端按照扫描顺序，将每一顶点的像素值排列在所述顶点对应的投影点所对应的位置索引指定的像素位置，获取平移后的紧密排布的第二图像；
其中，所述第一方向为水平方向或垂直方向。
3.根据权利要求1所述的方法，其特征在于，在所述第一图像包括几何图和占位图的情况下，所述对第一图像中投影点的像素进行平移处理，得到第二图像，包括：
所述编码端将占位图和几何图中的投影点的像素向第二方向平移，将像素平移后的占位图中投影点所对应的像素值用对投影点的像素进行平移的距离进行表示，分别获取紧密排布的占位图和几何图；
其中，所述第二方向为水平方向或垂直方向，所述平移的距离为投影点的像素平移的相对距离或投影点的像素平移的绝对距离。
4.根据权利要求1所述的方法，其特征在于，所述根据目标三维网格的几何信息获取占位图和几何图，包括：
所述编码端对所述目标三维网格的几何信息进行三维片划分；
所述编码端将划分的三维片进行二维投影，获取二维片；
所述编码端将所述二维片进行打包，获取二维图像信息；
所述编码端根据所述二维图像信息，获取占位图和几何图。
5.一种解码方法，其特征在于，包括：
解码端对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，所述第二图像包括紧密排布的占位图和紧密排布的几何图中的至少一项，所述第三图像为所述占位图和所述几何图中不属于第二图像的图；
所述解码端对所述第二图像中的投影点的像素进行平移处理，得到第一图像；
所述解码端根据所述第一图像和所述第三图像，获取所述目标三维网格的几何信息。
6.根据权利要求5所述的方法，其特征在于，在所述第二图像包括紧密排布的占位图或紧密排布的几何图的情况下，所述对所述第二图像中的投影点的像素进行平移处理，得到第一图像，包括：
所述解码端对所述第三图像的投影点的像素沿第一方向进行逐行或逐列扫描，获取每行或每列中的每个像素所在的行内或列内的位置索引；
所述解码端对所述第二图像中的投影点的像素沿第一方向进行逐行或逐列扫描，对每行或每列中的每个像素按照与所述第三图像中的投影点的像素对应的位置索引重新进行行内或列内的编号；
所述解码端按照扫描顺序，将每一顶点的像素值排列在所述顶点对应的投影点在所述第三图像中所对应的位置索引指定的像素位置，获取平移后的稀疏排布的第二图像；
其中，所述第一方向为水平方向或垂直方向。
7.根据权利要求5所述的方法，其特征在于，在所述第二图像包括紧密排布的几何图和紧密排布的占位图的情况下，所述对所述第二图像中的投影点的像素进行平移处理，得到第一图像，包括：
所述解码端按照紧密排布的占位图中投影点的像素值，将紧密排布的占位图和紧密排布的几何图中的投影点的像素沿第二方向平移，分别获取稀疏排布的占位图和几何图；
其中，所述紧密排布的占位图中投影点的像素值用对投影点的像素进行平移的距离表示，所述第二方向为水平方向或垂直方向，所述平移的距离为投影点的像素平移的相对距离或投影点的像素平移的绝对距离。
8.根据权利要求5所述的方法，其特征在于，所述对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，包括：
所述解码端根据获取的目标三维网格的码流，获取目标子码流，所述目标子码流包括：片信息子码流、占位图子码流和几何图子码流；
所述解码端根据所述目标子码流，获取第二图像以及第三图像。
9.一种编码装置，其特征在于，包括：
第一获取模块，用于根据目标三维网格的几何信息获取占位图和几何图；
第二获取模块，用于对第一图像中投影点的像素进行平移处理，得到第二图像，所述第一图像包括占位图和几何图中的至少一项；
编码模块，用于对第三图像以及所述第二图像进行编码，所述第三图像为所述占位图和所述几何图中不属于所述第一图像的图。
10.根据权利要求9所述的装置，其特征在于，所述第一图像为占位图或几何图，所述第二获取模块，包括：
第一扫描单元，用于对所述第一图像中的投影点的像素沿第一方向进行逐行或逐列扫描，对每行或每列中的像素的位置索引重新进行行内或列内的编号；
第一获取单元，用于按照扫描顺序，将每一顶点的像素值排列在所述顶点对应的投影点所对应的位置索引指定的像素位置，获取平移后的紧密排布的第二图像；
其中，所述第一方向为水平方向或垂直方向。
11.根据权利要求9所述的装置，其特征在于，在所述第一图像包括几何图和占位图的情况下，所述第二获取模块，包括：
第二获取单元，用于将占位图和几何图中的投影点的像素向第二方向平移，将像素平移后的占位图中投影点所对应的像素值用对投影点的像素进行平移的距离进行表示，分别获取紧密排布的占位图和几何图；
其中，所述第二方向为水平方向或垂直方向，所述平移的距离为投影点的像素平移的相对距离或投影点的像素平移的绝对距离。
12.根据权利要求9所述的装置，其特征在于，所述第一获取模块，包括：
划分单元，用于对所述目标三维网格的几何信息进行三维片划分；
第三获取单元，用于将划分的三维片进行二维投影，获取二维片；
第四获取单元，用于将所述二维片进行打包，获取二维图像信息；
第五获取单元，用于根据所述二维图像信息，获取占位图和几何图。
13.一种编码设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至4任一项所述的编码方法的步骤。
14.一种解码装置，其特征在于，包括：
第三获取模块，用于对获取的目标三维网格的码流进行分解，获取第二图像以及第三图像，所述第二图像包括紧密排布的占位图和紧密排布的几何图中的至少一项，所述第三图像为所述占位图和所述几何图中不属于第二图像的图；
第四获取模块，用于对所述第二图像中的投影点的像素进行平移处理，得到第一图像；
第五获取模块，用于根据所述第一图像和所述第三图像，获取所述目标三维网格的几何信息。
15.根据权利要求14所述的装置，其特征在于，在所述第二图像包括紧密排布的占位图或紧密排布的几何图的情况下，所述第四获取模块，包括：
第八获取单元，用于对所述第三图像的投影点的像素沿第一方向进行逐行或逐列扫描，获取每行或每列中的每个像素所在的行内或列内的位置索引；
第二扫描单元，用于对所述第二图像中的投影点的像素沿第一方向进行逐行或逐列扫描，对每行或每列中的每个像素按照与所述第三图像中的投影点的像素对应的位置索引重新进行行内或列内的编号；
第九获取单元，用于按照扫描顺序，将每一顶点的像素值排列在所述顶点对应的投影点在所述第三图像中所对应的位置索引指定的像素位置，获取平移后的稀疏排布的第二图像；
其中，所述第一方向为水平方向或垂直方向。
16.根据权利要求14所述的装置，其特征在于，在所述第二图像包括紧密排布的几何图和紧密排布的占位图的情况下，所述第四获取模块，包括：
第十获取单元，用于按照紧密排布的占位图中投影点的像素值，将紧密排布的占位图和紧密排布的几何图中的投影点的像素沿第二方向平移，分别获取稀疏排布的占位图和几何图；
其中，所述紧密排布的占位图中投影点的像素值用对投影点的像素进行平移的距离表示，所述第二方向为水平方向或垂直方向，所述平移的距离为投影点的像素平移的相对距离或投影点的像素平移的绝对距离。
17.根据权利要求14所述的装置，其特征在于，所述第三获取模块，包括：
第十一获取单元，用于根据获取的目标三维网格的码流，获取目标子码流，所述目标子码流包括：片信息子码流、占位图子码流和几何图子码流；
第十二获取单元，用于根据所述目标子码流，获取第二图像以及第三图像。
18.一种解码设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求5至8任一项所述的解码方法的步骤。
19.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至4任一项所述的编码方法的步骤或如权利要求5至8任一项所述的解码方法的步骤。
CN202210273171.6A 2022-03-18 2022-03-18 编码、解码方法、装置及设备 Pending CN116800972A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210273171.6A CN116800972A (zh) 2022-03-18 2022-03-18 编码、解码方法、装置及设备
PCT/CN2023/081640 WO2023174336A1 (zh) 2022-03-18 2023-03-15 编码、解码方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210273171.6A CN116800972A (zh) 2022-03-18 2022-03-18 编码、解码方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116800972A true CN116800972A (zh) 2023-09-22

Family

ID=88022405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210273171.6A Pending CN116800972A (zh) 2022-03-18 2022-03-18 编码、解码方法、装置及设备

Country Status (2)

Country Link
CN (1) CN116800972A (zh)
WO (1) WO2023174336A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276483B (zh) * 2008-04-14 2012-04-18 中山大学 一种实现平移敏感的Laplacian网格编辑方法
CN103329169B (zh) * 2010-09-30 2016-01-27 汤姆逊许可公司 几何图案编码方法和设备，以及几何图案解码方法和设备
US11450030B2 (en) * 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder
US20210211703A1 (en) * 2020-01-07 2021-07-08 Apple Inc. Geometry information signaling for occluded points in an occupancy map video

Also Published As

Publication number Publication date
WO2023174336A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
KR100695142B1 (ko) 적응적 ２의 ｎ 제곱 진트리 생성방법 및 이를 이용한 3차원 체적 데이터 부호화/복호화 방법 및 장치
JP7425899B2 (ja) 点群の符号化及び復号方法
CN111432210B (zh) 一种基于填充的点云属性压缩方法
JP2023514853A (ja) 投影ベースのメッシュ圧縮
CN103927746B (zh) 一种三维网格序列的配准及压缩方法
US6791543B2 (en) Forming method for structuring polygonal mesh data and apparatus, and storage medium
KR20210096234A (ko) 호모그래피 변환을 사용하는 포인트 클라우드 코딩
CN114503553A (zh) 基于视频的点云压缩模型到世界信令信息
KR20230060534A (ko) 2차원 정규화 평면 투사에 기초한 포인트 클라우드 인코딩 및 디코딩 방법과 장치
JP2023541271A (ja) 高密度メッシュ圧縮
US8538175B1 (en) System and method for representing and coding still and moving images
Chung et al. Improved image compression using S-tree and shading approach
CN116800972A (zh) 编码、解码方法、装置及设备
CN116800970A (zh) 编码、解码方法、装置及设备
WO2023174337A1 (zh) 编码、解码方法、装置及设备
WO2023155794A1 (zh) 编码、解码方法、装置及设备
CN116847083A (zh) 编码、解码方法、装置及设备
CN116664754A (zh) 编码方法、装置及设备
WO2023023914A1 (zh) 帧内预测、编解码方法及装置、编解码器、设备、介质
CN116843855A (zh) 编码方法及终端
CN116843771A (zh) 编码方法、解码方法及终端
EP4325853A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2023127513A1 (ja) 情報処理装置および方法
US20240064332A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN116958283A (zh) 编码方法、解码方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination