CN113014903B - 点云邻居确定、点云预测、点云编码、点云解码方法及设备 - Google Patents

点云邻居确定、点云预测、点云编码、点云解码方法及设备 Download PDF

Info

Publication number
CN113014903B
CN113014903B CN202110277920.8A CN202110277920A CN113014903B CN 113014903 B CN113014903 B CN 113014903B CN 202110277920 A CN202110277920 A CN 202110277920A CN 113014903 B CN113014903 B CN 113014903B
Authority
CN
China
Prior art keywords
point cloud
point
points
current point
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110277920.8A
Other languages
English (en)
Other versions
CN113014903A (zh
Inventor
王静
张琦
何盈燊
李革
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202110277920.8A priority Critical patent/CN113014903B/zh
Publication of CN113014903A publication Critical patent/CN113014903A/zh
Application granted granted Critical
Publication of CN113014903B publication Critical patent/CN113014903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了点云邻居确定、点云预测、点云编码、点云解码方法及设备。确定用于比较距离的参数p;确定当前点的多个邻居候选点;根据每个邻居候选点到所述当前点的距离,确定p个距离最小的点中的最大距离值;将所有所述距离小于等于所述最大距离值的邻居候选点作为所述当前点的邻居。本发明实现了灵活的邻居确定,在进行点云属性预测的时候提供更准确的预测值,从而提高点云属性的编码及解码性能。

Description

点云邻居确定、点云预测、点云编码、点云解码方法及设备
技术领域
本发明涉及点云处理技术领域,特别涉及一种点云邻居确定、点云预测、点云编码、点云解码方法及设备。
背景技术
三维点云是现实世界数字化的重要表现形式。随着三维扫描设备(如激光、雷达等)的快速发展,点云的精度和分辨率变得更高。高精度点云广泛应用于城市数字化地图的构建,在智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。点云是三维扫描设备对物体表面采样所获取的,一帧点云的点数一般是百万级别,其中每个点包含几何信息和颜色、反射率等属性信息,数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来了巨大挑战,因此对点云进行压缩变得十分重要。
点云压缩主要分为几何压缩和属性压缩,目前由中国AVS(Audio Video codingStandard)点云压缩工作组所提供的测试平台PCRM中描述的点云属性压缩方法主要采用基于三维空间顺序的点云预测方法,即将当前点云按照点云的位置信息进行空间顺序排序,选取当前点空间顺序的共面、共线的点作为当前点的邻居,将邻居的属性重构值的加权值作为当前点的属性预测值,最后用当前点的实际属性值减去属性预测值得到属性残差值。在点云的共面、共线的点不存在时,则选取莫顿顺序的前一个点作为当前点的邻居。
本专利申请人的另一件专利申请(申请号202011310281.2,申请公布号CN112218079A,申请公布日2021.01.12)一种基于空间顺序的点云分层方法、点云预测方法及设备,公开的技术方案是“提供了一种基于空间顺序的点云预测方法,包括:生成点云的两个或多个空间顺序;使用该两个或多个空间顺序进行当前点的前向和/或后向搜索,获得该当前点的邻居;根据该当前点的邻居确定该当前点的属性预测值。
优选地,该生成点云的两个或多个空间顺序,包括:利用点云的坐标生成所有点的空间顺序码1,使用该空间顺序码1对点云的所有点进行排序得到点云的空间顺序1;把该点云的几何坐标加上一个偏移值得到新的坐标,利用该新的坐标生成所有点的空间顺序码2并排序,得到空间顺序2,获得了点云的两个空间顺序。”
现有技术存在固定邻居个数带来的同距离下的邻居未加以利用,以及固定邻居距离带来的距离过小选不到邻居或距离过大导致已有一些近距离邻居时还选择了相关性相对更弱的远距离邻居的问题,不能很好的预测当前节点属性值的情况,容易导致属性预测准确度不高,从而降低编码和解码性能。
因此,需要对现有技术进一步改进和发展。
发明内容
本发明提供一种点云邻居确定、点云预测、点云编码、点云解码方法及设备。
为实现上述目的之一,本发明提供一种点云邻居确定方法,所述的点云邻居确定方法,包括如下步骤:确定用于比较距离的参数p;确定当前点的多个邻居候选点;根据每个邻居候选点到所述当前点的距离,确定p个距离最小的点中的最大距离值;将所有所述距离小于等于所述最大距离值的邻居候选点作为所述当前点的邻居。
优选地,所述的点云邻居确定方法,其中,所述确定当前点的多个邻居候选点,包括:将点云中的所有点作为所述邻居候选点;或,将点云中的部分作为所述邻居候选点。
优选地,所述的点云邻居确定方法,其中,所述将点云中的部分点作为所述邻居候选点,包括:根据点云的重构顺序选取当前点前向的M个点作为邻居候选点。
优选地,所述的点云邻居确定方法,其中,所述将点云中的部分点作为所述邻居候选点,包括:生成点云的两个或多个空间顺序;使用所述两个或多个空间顺序进行当前点的前向和/或后向搜索,获得所述当前点的邻居候选点。
优选地,所述的点云邻居确定方法,其中,所述生成点云的两个或多个空间顺序,包括:利用点云的坐标生成点云的空间顺序码1,使用所述空间顺序码1对点云进行排序得到点云的空间顺序1;把所述点云的几何坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的空间顺序2。
优选地,所述的点云邻居确定方法,其中,所述将所述点云的坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的空间顺序2,包括:将所述空间顺序1中的所有点的几何坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的空间顺序2;或,将所述空间顺序1中的L个点的几何坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的L个点的空间顺序2。
优选地,所述的点云邻居确定方法,其中,所述使用所述两个或多个空间顺序进行当前点的前向和/或后向搜索,获得所述当前点的邻居候选点,包括:在所述空间顺序1中选取当前点前向的M个点作为邻居候选点;在所述空间顺序2中选取所述当前点前向的N1个点和后向的N2个点作为邻居候选点。
为实现上述目的之二,本发明还提供一种点云预测方法,所述点云预测方法,包括如下步骤:采用如上所述的任意一项点云邻居确定方法确定当前点的邻居;根据所述当前点的邻居的属性重构值,确定所述当前点的属性预测值。
为实现上述目的之三,本发明还提供一种点云编码方法,所述点云编码方法,包括如下步骤:采用如上所述的点云预测方法确定当前点的属性预测值;根据所述当前点的属性值与所述当前点的属性预测值的差值确定所述当前点的属性残差值;将所述当前点的属性残差值编码进点云码流。
优选地,所述的点云编码方法,其中,还包括将所述预测方法中使用的参数写入头文件并编码进点云码流,所述参数具体包括:所述用于比较距离的参数p;和/或,用于生成空间顺序2的点的个数L;和/或,在所述空间顺序1中选取的前向的邻居候选点的个数M;和/或,在所述空间顺序2中选取的前向的邻居候选点的个数N1和/或后向的邻居候选点的个数N2。
为实现上述目的之四,本发明还提供一种点云解码方法,所述点云解码方法,包括如下步骤:采用如上所述的点云预测方法确定当前点的属性预测值;对点云码流进行解码,得到所述当前点的属性残差值;根据所述当前点的属性预测值与所述当前点的属性残差值的和值确定所述当前点的属性重构值。
优选地,所述的点云解码方法,其中,还包括对点云码流进行解码,得到所述预测方法中使用的参数,所述参数具体包括:所述用于比较距离的参数p;和/或,用于生成空间顺序2的点的个数L;和/或,在所述空间顺序1中选取的前向的邻居候选点的个数M;和/或,在所述空间顺序2中选取的前向的邻居候选点的个数N1和/或后向的邻居候选点的个数N2。
为实现上述目的之五,本发明还提供一种点云邻居确定设备,所述点云邻居确定设备,包括处理器、存储器及通信总线:所述存储器上存储有可被所述处理器执行的计算机可读程序;所述通信总线实现处理器和存储器之间的连接通信;所述处理器执行所述计算机可读程序时实现如上所述任意一项点云邻居确定方法。
为实现上述目的之六,本发明还提供一种点云预测设备,所述点云预测设备,包括处理器、存储器及通信总线:所述存储器上存储有可被所述处理器执行的计算机可读程序;所述通信总线实现处理器和存储器之间的连接通信;所述处理器执行所述计算机可读程序时实现如上所述点云预测方法。
为实现上述目的之七,本发明还提供一种点云编码设备,所述点云编码设备,包括处理器、存储器及通信总线:所述存储器上存储有可被所述处理器执行的计算机可读程序;所述通信总线实现处理器和存储器之间的连接通信;所述处理器执行所述计算机可读程序时实现如如上所述基于空间顺序的点云编码方法。
为实现上述目的之八,本发明还提供一种点云解码设备,所述点云解码设备,包括处理器、存储器及通信总线:所述存储器上存储有可被所述处理器执行的计算机可读程序;所述通信总线实现处理器和存储器之间的连接通信;所述处理器执行所述计算机可读程序时实现上所述的基于空间顺序的点云解码方法。
基于上述技术方案,本发明的有益效果是:与现有技术相比,本发明提供的点云邻居确定方法、点云预测方法、点云编码方法、点云解码方法,通过确定p个距离最小的点中的最大距离值,将所有距离小于等于所述最大距离值的邻居候选点作为当前点的邻居,并用于点云属性预测值计算,然后根据所述属性预测值进行点云属性编码或进行点云属性解码。
本发明提供的点云邻居确定方法,可以避免固定邻居个数带来的同距离下的邻居未加以利用,以及固定邻居距离带来的距离过小选不到邻居或距离过大导致已有一些近距离邻居时还选择了相关性相对更弱的远距离邻居的问题,能够自动适应点云的邻居分布情况,更合理的确定当前点的邻居,提升点云的几何信息和属性信息相关性的利用,在进行点云属性预测时候提供更准确的预测值,从而提高点云属性的编码和解码性能。
附图说明
图1是本发明提供的点云邻居确定方法实施例的流程示意图;
图2是本发明提供的点云预测方法实施例的流程示意图;
图3是本发明提供的点云编码方法实施例的流程示意图;
图4是本发明提供的点云解码方法实施例的流程示意图;
图5为本发明提供的三维点云的莫顿顺序1的示意图;
图6为本发明提供的三维点云的莫顿顺序2的示意图;
图7是本发明提供的实施例的设备的示意图。
具体实施方式
本发明提供一种点云邻居确定方法、点云预测方法、点云编码方法、点云解码方法,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面结合附图,通过对实施例的描述,对发明内容作进一步说明。
图1示出了根据本发明实施例的点云邻居确定方法的示意性流程图。图1所示的方法可以由点云邻居确定设备执行,具体地,如图1所示,方法1000包括:
S1100:确定用于比较距离的参数p;
S1200:确定当前点的多个邻居候选点;
S1300:根据所述邻居候选点到所述当前点的距离,确定p个距离最小的点中的最大距离值;
S1400:将所有所述距离小于等于所述最大距离值的邻居候选点作为所述当前点的邻居。
具体而言,根据邻居候选点到所述当前点的空间距离大小,确定p个距离最小的点中的最大距离值,将所有所述距离小于等于所述最大距离值的邻居候选点作为所述当前点的邻居。
应理解,在本发明实施例中,用于比较距离的参数p为正整数。
还应理解,在本发明实施例中,该距离可以是欧式距离、余弦距离或者其它方式计算的距离,本发明对此不作限定。
因此,本发明实施例的点云邻居确定方法,通过确定用于比较距离的参数p及当前点的多个邻居候选点,根据所述邻居候选点到所述当前点的距离,确定p个距离最小的点中的最大距离值,将所有所述距离小于等于所述最大距离值的邻居候选点作为所述当前点的邻居,由此获得所述最大距离值范围内的所有邻居候选点作为所述当前点的邻居,避免固定邻居个数带来的同距离下的邻居未加以利用,以及固定邻居距离带来的距离过小选不到邻居或距离过大导致已有一些近距离邻居时还选择了相关性相对更弱的远距离邻居的问题,能够自动适应点云的邻居分布情况,更合理的确定当前点的邻居。
可选地,S1200包括:
S1210:将点云中的所有点作为所述邻居候选点;
S1220:或,将点云中的部分点作为所述邻居候选点。
具体而言,邻居候选点可以是全部点云,也可以是部分点云。
优选地,S1220包括:
S1221:根据点云的属性重构顺序选取当前点前向的M个点作为邻居候选点。
具体而言,按照点云的属性重构顺序排列点云中的点,选取当前点前向的M个点作为邻居候选点。
优选地,S1220包括:
S1222:生成点云的两个或多个空间顺序;
S1223:使用所述两个或多个空间顺序进行当前点的前向和/或后向搜索,获得所述当前点的邻居候选点。
具体而言,将点云排列为的两个或多个顺序,选取当前点的前向和/或后向的多个点作为当前点的邻居候选点
优选地,S1222包括:
利用点云的坐标生成点云的空间顺序码1,使用所述空间顺序码1对点云进行排序得到点云的空间顺序1;
将所述点云的几何坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的空间顺序2。
具体而言,将点云按几何坐标排列为顺序1,将所述点云的几何坐标加上一个偏移值得到新的坐标,将点云按新坐标排列为顺序2,得到点云的两个顺序。
应理解,不同偏移值可以得到不同的排列顺序。
优选地,S1222包括:
将所述空间顺序1中的所有点的几何坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的空间顺序2;
或,将所述空间顺序1中的L个点的几何坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的L个点的空间顺序2。
具体而言,将点云按几何坐标排列为顺序1,将空间顺序1中的L个点的几何坐标加上一个偏移值得到新的坐标,按新坐标排列为顺序2。
应理解,顺序2中的点的个数可以是全部点云中点的个数,也可以是部分点云中点的个数,如L个,L为正整数。
优选地,S1223包括:
在所述空间顺序1中选取当前点前向的M个点作为邻居候选点;
在所述空间顺序2中选取所述当前点前向的N1个点和/或后向的N2个点作为邻居候选点。
具体而言,选取的邻居候选点包括顺序1中当前点前向的M个点,及顺序2中所述当前点前向的N1个点和/或后向的N2个点。
应理解,M、N1、N2均为自然数,且和值为正整数。
图2示出了根据本发明实施例的点云预测方法的示意性流程图。图2所示的方法可以由点云预测确定设备执行,具体地,如图2所示,方法2000包括:
S2100:采用任意一项所述的点云邻居确定方法确定当前点的邻居;
S2200:根据所述当前点的邻居的属性重构值,确定所述当前点的属性预测值。
具体而言,将所述当前点的邻居候选点的重构属性值的加权平均值确定为预测值。
应理解,在本发明实施例中,该重构属性值是经过编码或解码后的重建的属性值,该重构属性可以是颜色属性,也可以是反射率或者其它属性,本发明对此不作限定。
还应理解,加权权值可以是常数,也可以是所述邻居候选点到所述当前点的距离的函数。
还应理解,在本发明实施例中,该加权平均值中的权值,可以是以邻居点集中的各点到该当前点的距离的函数为权值,如距离的倒数为权值,也可以是其它变量或常量,本发明对此不作限定。
因此,本发明实施的点云预测方法,能够自动适应点云的邻居分布情况,更合理的确定当前点的邻居,提升点云的几何信息和属性信息相关性的利用,在进行点云属性预测时候提供更准确的预测值。
图3示出了根据本发明实施例的点云编码方法的示意性流程图。图3所示的方法可以由点云编码设备执行,具体地,如图3所示,方法3000包括:
S3100:采用所述的点云预测方法确定当前点的属性预测值;
S3200:根据所述当前点的属性值与所述当前点的属性预测值的差值确定所述当前点的属性残差值;
S3300:将所述当前点的属性残差值编码进点云码流。
具体而言,计算所述当前点的属性值与属性预测值的差值,得到所述当前点的属性残差值,将属性残差值编码进点云码流。
可选地,方法S3000还包括:
S3400:将所述预测方法中使用的参数写入头文件并编码进点云码流,所述参数具体包括:
所述用于比较距离的参数p;
和/或,用于生成空间顺序2的点的个数L;
和/或,在所述空间顺序1中选取的前向的邻居候选点的个数M;
和/或,在所述空间顺序2中选取的前向的邻居候选点的个数N1和/或后向的邻居候选点的个数N2。
应理解,在本发明实施例中,将所述预测方法中使用的参数及所述预测残差值进行编码的方式可以是算数编码,也可以是哈弗曼编码或者其它熵编码算法,本发明对此不作限定。
因此,本发明实施例的点云编码方法,能够自动适应点云的邻居分布情况,更合理的确定当前点的邻居,提升点云的几何信息和属性信息相关性的利用,在进行点云属性预测时候提供更准确的预测值,从而提高点云属性的编码性能。
图4示出了根据本发明实施例的点云解码方法的示意性流程图。图4所示的方法可以由点云解码设备执行,具体地,如图4所示,方法4000包括:
S4100:采用所述的点云预测方法确定当前点的属性预测值;
S4200:对点云码流进行解码,得到所述当前点的属性残差值;
S4300:根据所述当前点的属性预测值与所述当前点的属性残差值的和值确定所述当前点的属性重构值。
具体而言,采用所述的点云预测方法得到当前点的属性预测值,对点云码流进行解码得到所述当前点的属性残差值,将所述当前点的属性预测值与属性残差值相加得到当前点的属性重构值。
可选地,方法4000还包括:
S4400,对点云码流进行解码,得到所述预测方法中使用的参数,所述参数具体包括:
所述用于比较距离的参数p;
和/或,用于生成空间顺序2的点的个数L;
和/或,在所述空间顺序1中选取的前向的邻居候选点的个数M;
和/或,在所述空间顺序2中选取的前向的邻居候选点的个数N1和/或后向的邻居候选点的个数N2。
应理解,在本发明实施例中,将所述预测方法中使用的参数及所述预测残差值进行解码的方式可以是算数解码,也可以是哈弗曼解码或者其它熵解码算法,本发明对此不作限定。
因此,本发明实施例的点云解码方法,能够自动适应点云的邻居分布情况,更合理的确定当前点的邻居,提升点云的几何信息和属性信息相关性的利用,在进行点云属性预测时候提供更准确的预测值,从而提高点云属性的解码性能。
作为举例,点云邻居确定方法的具体实施方式说明如下。
确定用于比较距离的参数p;
对点云中的点进行邻居搜索,方法一:点云中的所有点作为邻居候选点,可以理解为,对于当前点Pj,点云中除Pj之外的点都是当前点的邻居候选点;方法二:点云中的部分点作为邻居候选点,可以理解为,确定该部分点的范围大小是r,对于当前点Pj,已查找好邻居的点为点集(P0,P1,…,Pj-1)。当j<=r时,点集(P0,P1,…,Pj-1)是当前点Pj的邻居候选点,当j>r时,点集(P0,P1,…,Pj-1)中的r个点是当前点Pj的邻居候选点;
计算每一个邻居候选点到当前点的距离,确定p个距离最小的点中的最大距离值,将所有距离小于等于最大距离值的邻居候选点作为该当前点的邻居,当前点会确定大于等于p个邻居。
作为举例,点云邻居确定方法的另一具体实施方式说明如下。
确定用于比较距离的参数p;
按照点云的属性重构顺序对点云中的点进行邻居搜索,使用该顺序中前向的已经重构的M个点作为邻居候选点,可以理解为,对于当前点Pj,已查找好邻居的点为点集(P0,P1,…,Pj-1),当j<=M时,点集(P0,P1,…,Pj-1)是当前点Pj的邻居候选点,当j>M时,点集(Pj-M,P1,…,Pj-1)是当前点Pj的邻居候选点;
计算每一个邻居候选点到当前点的距离,确定p个距离最小的点中的最大距离值,将所有距离小于等于最大距离值的邻居候选点作为该当前点的邻居,当前点会确定大于等于p个邻居。
作为举例,点云邻居确定方法的又一具体实施方式说明如下。
求点云中的所有点或部分点的空间顺序,可以理解为,计算点云中所有点的空间顺序码并排序得到空间顺序1,按照空间顺序1的顺序对所有点进行邻居确定,对于当前点,将其在空间顺序1中前序的点云中的部分点加入缓存,数目最多为maxNumOfNeighbours,对于缓存中的每个点,坐标(x,y,z)分别加上一个固定值colorShift=1得到新的坐标(x+1,y+1,z+1)并生成每个点对应的新莫顿码,按照新莫顿码排序得到缓存中的点云中的部分点的空间顺序2。
应理解,空间顺序2的获得方式可以是:将点云中的所有点的坐标(x,y,z)分别加上一个固定值colorShift=1得到新的坐标(x+1,y+1,z+1)并生成每个点对应的新莫顿码,按照新莫顿码排序得到点云中的所有点的空间顺序2。
对于当前点,在缓存的点中,使用空间顺序1中前向的M个点作为邻居候选点,使用空间顺序2中前向的N1个点作为邻居候选点、使用空间顺序2中后向的N2个点作为邻居候选点;
在所有邻居候选点中,计算每个邻居候选点到当前点的距离,使用用于比较距离的参数p,选择距离当前点的距离最近的m个点作为邻居。
具体而言,计算每个邻居候选点到该当前点的距离,得到该距离最小的p个邻居候选点,确定该p个邻居候选点中的最大距离值,所有该距离小于等于该最大距离值的邻居候选点成为该当前点的邻居,此时邻居个数m大于等于p。
具体而言,我们使用三维点云和空间顺序为莫顿顺序为例,说明该点云邻居确定方法,以便更清晰的说明本技术特征。首先生成点云的两个或多个空间顺序,计算点云中所有点的莫顿码,点云的莫顿码由点云的三维坐标二进制按位从高到底组合排列到得到,例如三维坐标为(1,2,0)的点,三维的二进制表示为01,10,00,生成其莫顿码为010100。生成点云所有点的莫顿码后,根据莫顿码的大小进行排序得到所有点的莫顿顺序。如图5所示,图中0-31为该三维局部空间的莫顿顺序,该局部空间存在A、B、C、D、E、F共6个点,数字代表三维点云中的莫顿码顺序,编码时候按照莫顿顺序来对点云进行编码,当前需要编码的点为F,点A、B、C、D、E为已编码点。对原点云的每个点的x和y坐标加上偏移(1,1,1),加上偏移后的点如图6所示,点云偏移后对应的新的莫顿顺序叫做莫顿顺序2,原点云中当前需要编码的莫顿顺序16的点对应偏移莫顿顺序23的点。然后使用莫顿顺序1和莫顿顺序2进行当前点的前向和/或后向搜索,获得该当前点的邻居。若只在该点云的莫顿顺序中搜索向前搜索3个点作为邻居,则搜索到的邻居为E,D,C这三个点,但是在该点云中这3个邻居距离当前点F16距离较大,本专利的方法可以解决这个问题。在莫顿顺序2中对点云进行前向搜索和后向搜索,前向搜索3个邻居候选点为B、D、A,后向搜索两个邻居候选点为C、E,因此当前点的邻居候选点为A、B、C、D、E共5个邻居候选点。在所有邻居候选点中,计算每个邻居候选点到当前点的距离,使用用于比较距离的参数p=2,选择距离当前点的距离最近的m个点作为邻居。计算每个邻居候选点到该当前点的曼哈顿距离,得到该距离最小的2个邻居候选点B(距离1)、C(距离2),确定该2个邻居候选点B、C中的最大距离值2,所有该距离小于等于该最大距离值的邻居候选点A(距离2)、B(距离1)、C(距离2)成为该当前点的邻居,此时邻居个数m=3大于等于用于比较距离的参数p=2。最终选的邻居点为A、B、C共3点,这3个点在空间距离上优于未使用本技术的邻居。
作为举例,点云预测方法的具体实施方式说明如下。
采用该邻居确定方法确定当前点的邻居:确定用于比较距离的参数p;确定当前点的多个邻居候选点;根据该邻居候选点到该当前点的距离,确定p个距离最小的点中的最大距离值;将所有该距离小于等于该最大距离值的邻居候选点作为该当前点的邻居,得到当前点的m个邻居;
根据当前点的m个邻居的属性重构值,确定当前点的属性预测值。
作为举例,点云编码方法的具体实施方式说明如下。
求点云中的所有点或部分点的空间顺序1;按照空间顺序1的顺序对所有点的属性进行编码,对于当前待编码点,将其在空间顺序1中前序的最多L个点,如L=128个已编码点加入缓存用于生成空间顺序2,对于缓存中的每个点,坐标(x,y,z)分别加上一个固定值colorShift=1得到新的坐标(x+1,y+1,z+1),按照新的坐标排序得到缓存中的点的空间顺序2;对于当前待编码点,在缓存的点中,使用空间顺序1中前向的M=8个点作为邻居候选点,对于当前待编码点,在缓存的点中,使用空间顺序2中前向的N1=4个点作为邻居候选点、使用空间顺序2中后向的N2=4个点作为邻居候选点;
在所有邻居候选点中,计算每个邻居候选点到,当前待编码点的距离,使用用于比较距离的参数p=3,选择距离当前待编码点的距离最近的m个点作为邻居。
具体而言,计算每个邻居候选点到当前待编码点的距离,得到距离最小的3个邻居候选点,确定这3个邻居候选点中的最大距离值,所有距离小于等于该最大距离值的邻居候选点成为当前待编码点的邻居,此时m大于等于3。
将上述预测过程中使用的参数:用于比较距离的参数3、用于生成空间顺序2的点的个数128、空间顺序1中前向的邻居候选点的个数8、空间顺序2中前向的邻居候选点的个数4、空间顺序2中后向的邻居候选点的个数4写入头文件并编码进点云码流。
作为举例,点云解码方法的具体实施方式说明如下。
对点云码流进行解码,从头文件中获得预测过程中需要使用的参数:用于比较距离的参数p=3、用于生成空间顺序2的点的个数L=128、空间顺序1中前向的邻居候选点的个数M=8、空间顺序2中前向的邻居候选点的个数N1=4、空间顺序2中后向的邻居候选点的个数N2=4。
求点云中的所有点或部分点的空间顺序1;按照空间顺序1的顺序对所有点的属性进行编码,对于当前待解码点,将其在空间顺序1中前序的最多L个点,如L=128个已解码点加入缓存用于生成空间顺序2,对于缓存中的每个点,坐标(x,y,z)分别加上一个固定值colorShift=1得到新的坐标(x+1,y+1,z+1),按照新的坐标排序得到缓存中的点的空间顺序2;对于当前待解码点,在缓存的点中,使用空间顺序1中前向的M=8个点作为邻居候选点,对于当前待解码点,在缓存的点中,使用空间顺序2中前向的N1=4个点作为邻居候选点、使用空间顺序2中后向的N2=4个点作为邻居候选点;
在所有邻居候选点中,计算每个邻居候选点到当前待解码点的距离,使用用于比较距离的参数3,选择距离当前待解码点的距离最近的m个点作为邻居。
计算每个邻居候选点到当前待解码点的距离,得到距离最小的3个邻居候选点,确定这3个邻居候选点中的最大距离值,所有距离小于等于该最大距离值的邻居候选点成为当前待解码点的邻居,此时m大于等于3。
基于上述点云属性解码方法,本发明还提供一种点云属性解码设备,如图2所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及点云属性编码设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
在一些实施方式中,将本发明提供的点云邻居确定方法及设备在AVS编码组织提供的点云压缩参考软件中进行实现,实验结果与参考软件PCRM2.0的基准结果对比如表1-表4所示:
表1有限损几何、有损属性条件下的性能结果
Figure GDA0003734461940000131
表2无损几何、有损属性条件下的性能结果
Figure GDA0003734461940000132
表3无损几何、有限损属性条件下的性能结果
Figure GDA0003734461940000141
表4无损几何、无损属性条件下的性能结果
Figure GDA0003734461940000142
从表1-表4中的数据可以看出,相比与测试平台PCRM2.0的基准结果,本专利提供的点云邻居确定方法对于颜色属性,亮度、色度Cb、色度Cr在有限损几何、有损属性条件,无损几何、有损属性条件,无损几何、有限损属性条件下有较大的性能提升。
综上所述,本发明提供了一种本发明提供了一种点云邻居确定方法及设备。确定用于比较距离的参数p;确定当前点的多个邻居候选点;根据每个邻居候选点到该当前点的距离,确定p个距离最小的点中的最大距离值;将所有该距离小于等于该最大距离值的邻居候选点作为该当前点的邻居。本发明实现了灵活的邻居搜索模式,能够自动适应点云的邻居分布情况,更合理的确定当前点的邻居,提升点云的几何信息和属性信息相关性的利用,在进行点云属性预测时候提供更准确的预测值,从而提高点云属性的编码和解码性能。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种点云邻居确定方法,其特征在于,包括如下步骤:
S1100:确定用于比较距离的参数p;
S1200:确定当前点的多个邻居候选点;
S1300:根据所述邻居候选点到所述当前点的距离,确定p个距离最小的点中的最大距离值;
S1400:将所有所述距离小于等于所述最大距离值的m个邻居候选点作为所述当前点的邻居,邻居个数m大于等于p。
2.根据权利要求1所述的点云邻居确定方法,其特征在于,所述确定当前点的多个邻居候选点,包括:
将点云中的所有点作为所述邻居候选点;
或,将点云中的部分点作为所述邻居候选点。
3.根据权利要求2所述的点云邻居确定方法,其特征在于,所述将点云中的部分点作为所述邻居候选点,包括:
根据点云的属性重构顺序选取当前点前向的M个点作为邻居候选点。
4.根据权利要求2所述的点云邻居确定方法,其特征在于,所述将点云中的部分点作为所述邻居候选点,包括:
生成点云的两个以上空间顺序;
使用所述两个以上空间顺序进行当前点的前向和/或后向搜索,获得所述当前点的邻居候选点。
5.根据权利要求4所述的点云邻居确定方法,其特征在于,所述生成点云的两个以上空间顺序,包括:
利用点云的坐标生成点云的空间顺序码1,使用所述空间顺序码1对点云进行排序得到点云的空间顺序1;
将所述点云的坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的空间顺序2。
6.根据权利要求5所述的点云邻居确定方法,其特征在于,所述将所述点云的坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的空间顺序2,包括:
将所述空间顺序1中的所有点的几何坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的空间顺序2;
或,将所述空间顺序1中的L个点的几何坐标加上一个偏移值得到新的坐标,利用所述新的坐标生成点云的空间顺序码2并排序,得到点云的L个点的空间顺序2。
7.根据权利要求5所述的点云邻居确定方法,其特征在于,所述使用所述两个以上空间顺序进行当前点的前向和/或后向搜索,获得所述当前点的邻居候选点,包括:
在所述空间顺序1中选取当前点前向的M个点作为邻居候选点;
在所述空间顺序2中选取所述当前点前向的N1个点和后向的N2个点作为邻居候选点。
8.一种点云预测方法,其特征在于,包括:
S2100:采用权利要求1-4任意一项所述的点云邻居确定方法确定当前点的邻居;
S2200:根据所述当前点的邻居的属性重构值,确定所述当前点的属性预测值。
9.一种点云预测方法,其特征在于,包括:
S2100:采用权利要求5-7任意一项所述的点云邻居确定方法确定当前点的邻居;
S2200:根据所述当前点的邻居的属性重构值,确定所述当前点的属性预测值。
10.一种点云编码方法,其特征在于,包括:
S3100:采用权利要求8所述的点云预测方法确定当前点的属性预测值;
S3200:根据所述当前点的属性值与所述当前点的属性预测值的差值确定所述当前点的属性残差值;
S3300:将所述当前点的属性残差值编码进点云码流。
11.一种点云编码方法,其特征在于,包括:
S3100:采用权利要求9所述的点云预测方法确定当前点的属性预测值;
S3200:根据所述当前点的属性值与所述当前点的属性预测值的差值确定所述当前点的属性残差值;
S3300:将所述当前点的属性残差值编码进点云码流。
12.根据权利要求11所述的点云编码方法,其特征在于,还包括将所述预测方法中使用的参数写入头文件并编码进点云码流,所述参数具体包括:
所述用于比较距离的参数p;
和/或,用于生成空间顺序2的点的个数L;
和/或,在所述空间顺序1中选取的前向的邻居候选点的个数M;
和/或,在所述空间顺序2中选取的前向的邻居候选点的个数N1和/或后向的邻居候选点的个数N2。
13.一种点云解码方法,其特征在于,包括:
S4100:采用权利要求8所述的点云预测方法确定当前点的属性预测值;
S4200:对点云码流进行解码,得到所述当前点的属性残差值;
S4300:根据所述当前点的属性预测值与所述当前点的属性残差值的和值确定所述当前点的属性重构值。
14.一种点云解码方法,其特征在于,包括:
S4100:采用权利要求9所述的点云预测方法确定当前点的属性预测值;
S4200:对点云码流进行解码,得到所述当前点的属性残差值;
S4300:根据所述当前点的属性预测值与所述当前点的属性残差值的和值确定所述当前点的属性重构值。
15.根据权利要求14所述的点云解码方法,其特征在于,还包括对点云码流进行解码,得到所述预测方法中使用的参数,所述参数具体包括:
所述用于比较距离的参数p;
和/或,用于生成空间顺序2的点的个数L;
和/或,在所述空间顺序1中选取的前向的邻居候选点的个数M;
和/或,在所述空间顺序2中选取的前向的邻居候选点的个数N1和/或后向的邻居候选点的个数N2。
CN202110277920.8A 2021-03-15 2021-03-15 点云邻居确定、点云预测、点云编码、点云解码方法及设备 Active CN113014903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110277920.8A CN113014903B (zh) 2021-03-15 2021-03-15 点云邻居确定、点云预测、点云编码、点云解码方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110277920.8A CN113014903B (zh) 2021-03-15 2021-03-15 点云邻居确定、点云预测、点云编码、点云解码方法及设备

Publications (2)

Publication Number Publication Date
CN113014903A CN113014903A (zh) 2021-06-22
CN113014903B true CN113014903B (zh) 2023-05-19

Family

ID=76407536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110277920.8A Active CN113014903B (zh) 2021-03-15 2021-03-15 点云邻居确定、点云预测、点云编码、点云解码方法及设备

Country Status (1)

Country Link
CN (1) CN113014903B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453009B (zh) * 2021-07-04 2023-02-14 西北工业大学 基于拟合平面几何误差最小的点云空间可伸缩编码几何重构方法
CN115914650A (zh) * 2021-08-24 2023-04-04 腾讯科技(深圳)有限公司 点云编解码方法、编码器、解码器及存储介质
WO2024011472A1 (zh) * 2022-07-13 2024-01-18 Oppo广东移动通信有限公司 点云编解码方法、编解码器及计算机存储介质
CN117956184A (zh) * 2022-10-19 2024-04-30 中兴通讯股份有限公司 点云属性预测方法、设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145090A (zh) * 2019-11-29 2020-05-12 鹏城实验室 一种点云属性编码方法、解码方法、编码设备及解码设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000334A1 (zh) * 2019-07-04 2021-01-07 深圳市大疆创新科技有限公司 一种数据编码、数据解码方法、设备及存储介质
CN110572655B (zh) * 2019-09-30 2023-01-10 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN112218079B (zh) * 2020-08-24 2022-10-25 北京大学深圳研究生院 一种基于空间顺序的点云分层方法、点云预测方法及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145090A (zh) * 2019-11-29 2020-05-12 鹏城实验室 一种点云属性编码方法、解码方法、编码设备及解码设备

Also Published As

Publication number Publication date
CN113014903A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113014903B (zh) 点云邻居确定、点云预测、点云编码、点云解码方法及设备
CN111145090B (zh) 一种点云属性编码方法、解码方法、编码设备及解码设备
CN112218079B (zh) 一种基于空间顺序的点云分层方法、点云预测方法及设备
CN111405281A (zh) 一种点云属性信息的编码方法、解码方法、存储介质及终端设备
US8891886B2 (en) Method of and apparatus for encoding data
US7787691B2 (en) High quality image processing
ES2728097T3 (es) Procesamiento de imágenes basado en peso
US20070140554A1 (en) Image processing
US20070019869A1 (en) Multi-mode alpha image processing
KR20160001652A (ko) 데이터 프로세싱 방법 및 디바이스
CN101925925A (zh) 基于预测的图像处理
JP2014524693A (ja) 特徴点位置情報の符号化
US20160127746A1 (en) Limited error raster compression
KR20090097057A (ko) 메쉬 모델로 구현된 3차원 데이터의 연결정보를 부호화 및복호화 방법
US8582902B2 (en) Pixel block processing
CN115794666B (zh) 纹素的内存地址确定方法、装置、设备及存储介质
US20140285487A1 (en) Method and Apparatus for Generating a Bitstream of Repetitive Structure Discovery Based 3D Model Compression
CN113473153B (zh) 一种点云属性预测方法、编码方法、解码方法及其设备
CN113395506A (zh) 一种基于分段的点云邻居搜索方法、编码方法、解码方法及设备
WO2018174953A1 (en) Lightfield compression for per-pixel, on-demand access by a graphics processing unit
CN112100453B (zh) 一种字符串分布统计方法、系统、设备及计算机存储介质
CN102708109B (zh) 栅格数据的读取方法和装置,栅格数据的写入方法和装置
CN110956670A (zh) 一种基于深度偏移的多模式自适应z值压缩算法
CN117556079B (zh) 遥感影像内容检索方法、装置、电子设备及介质
KR102155711B1 (ko) 포인트 클라우드 데이터에 대한 고속 움직임 추정을 수행하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant