CN112385222A - 点云处理的方法与装置 - Google Patents

点云处理的方法与装置 Download PDF

Info

Publication number
CN112385222A
CN112385222A CN201980039249.4A CN201980039249A CN112385222A CN 112385222 A CN112385222 A CN 112385222A CN 201980039249 A CN201980039249 A CN 201980039249A CN 112385222 A CN112385222 A CN 112385222A
Authority
CN
China
Prior art keywords
point
point cloud
distortion
information
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980039249.4A
Other languages
English (en)
Other versions
CN112385222B (zh
Inventor
陈嘉枫
虞露
王文义
李璞
郑萧桢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
SZ DJI Technology Co Ltd
Original Assignee
Zhejiang University ZJU
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, SZ DJI Technology Co Ltd filed Critical Zhejiang University ZJU
Publication of CN112385222A publication Critical patent/CN112385222A/zh
Application granted granted Critical
Publication of CN112385222B publication Critical patent/CN112385222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种点云处理的方法与装置,该方法包括:获取第一点与第二点,第一点为第一点云中的点,第二点为第二点云中与第一点满足预设条件的点,第一点云和第二点云中的一个为输入点云,另一个为输出点云;根据第一点以及第二点的位置信息,确定第一点与第二点之间的失真信息;其中,第一点与第二点之间的失真程度与第一点的权重配置和/或第二点的权重配置相关,第一点的权重配置和/或第二点的权重配置与位置信息相关。在计算点云的失真时,可以为点云中不同位置信息的点配置不同的权重,从而可以使得计算得到的点云的失真较为符合点云的实际情况。

Description

点云处理的方法与装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及点云处理领域,并且更为具体地,涉及一种点云处理的方法与装置。
背景技术
点云是三维物体或场景的一种表现形式,是由空间中一组无规则分布、表达三维物体或场景的空间结构和表面属性的离散点集所构成。
点云信息处理的每个环节,例如压缩、传输、存储都可能对原始点云数据引入失真,从而导致点云的质量下降。因此,对点云质量进行评估是点云信息处理领域的一个重要的问题。目前,业界提出一种基于笛卡尔坐标系的点云质量评价方案。
在实际应用中,点云中不同位置的点的物理含义可能不同,现有的点云质量评价方案没有体现这个情况。
发明内容
本申请提供一种点云处理的方法与装置,可以使点云的质量评价较为符合点云的实际情况。
第一方面,提供一种点云处理的方法,该方法包括:获取第一点与第二点,第一点为第一点云中的点,第二点为第二点云中与第一点满足预设条件的点,第一点云和第二点云中的一个为输入点云,另一个为输出点云;根据第一点以及第二点的位置信息,确定第一点与第二点之间的失真信息;其中,第一点与第二点之间的失真程度与第一点的权重配置和/或第二点的权重配置相关,第一点的权重配置和/或第二点的权重配置与位置信息相关。
第二方面,提供一种点云处理的方法,该方法包括:获取输入点云和输出点云;根据输入点云和/或输出点云中的点的失真信息,确定输入点云和输出点云之间的失真信息;其中,输入点云和/或输出点云中的至少两个点的权重配置不同。
第三方面,提供一种点云处理的装置,该装置包括:获取单元,用于获取第一点与第二点,第一点为第一点云中的点,第二点为第二点云中与第一点满足预设条件的点,第一点云和第二点云中的一个为输入点云,另一个为输出点云;确定单元,用于根据第一点以及第二点的位置信息,确定第一点与第二点之间的失真信息,其中,第一点与第二点之间的失真程度与第一点的权重配置和/或第二点的权重配置相关,第一点的权重配置和/或第二点的权重配置与位置信息相关。
第四方面,提供一种点云处理的装置,该装置包括:获取单元,用于获取输入点云和输出点云;确定单元,用于根据输入点云和/或输出点云中的点的失真信息,确定输入点云和输出点云之间的失真信息,其中,输入点云和/或输出点云中的至少两个点的权重配置不同。
第五方面,提供一种点云处理的装置,所述装置包括存储器和处理器,所述存储器用于存储指令,所述处理器用于执行所述存储器存储的指令,并且对所述存储器中存储的指令的执行使得所述处理器执行第一方面或第二方面提供的方法。
第六方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被计算机执行时使得所述计算机实现第一方面或第二方面提供的方法。
第七方面,提供一种包含指令的计算机程序产品,所述指令被计算机执行时使得所述计算机实现第一方面或第二方面提供的方法。
本申请在计算点云的失真时,可以为点云中不同位置的点配置不同的权重,从而可以使得点云的质量评价较为符合点云的实际情况。
此外,本申请中的计算点云的失真的方法可以应用于点云编码器在率失真优化过程中计算点云中点的失真,这使得所计算的点的失真较为合理,从而可以提高率失真优化的结果的合理性。
附图说明
图1为根据本申请实施例的点云处理的方法的示意性流程图。
图2为根据本申请另一实施例的点云处理的方法的示意性流程图。
图3为点云编码器的架构示意图。
图4为点云编码器中八叉树的示意图。
图5为点云编码中属性编码的示意图。
图6为根据本申请实施例的点云处理的装置的示意性框图。
图7为根据本申请另一实施例的点云处理的装置的示意性框图。
图8为根据本申请实施例的点云处理的装置的另一示意性框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
为了更好地理解本申请实施例,先介绍本申请实施例涉及的概念。
1、点云
点云是三维物体或场景的一种表现形式。点云是由空间中一组无规则分布、表达三维物体或场景空间的结构和表面属性的离散点集所构成。
点云可以分为密集点云、稀疏点云,不同类型的点云的数据不一样。例如,对于稀疏点云而言,点云中的点的数据通常由描述坐标位置的三维坐标,以及该坐标位置的属性信息,例如颜色(RGB)或反射率等,构成。本申请对点云的类型不作限定。
2、点云的质量评价
点云是一种三维几何模型,这种三维几何模型可以较好地表达物体的形状。但点云信息的数据量庞大,因此,在传输、存储点云信息时,可能需要对点云信息进行适当处理,例如,有损压缩等。也就是说,在点云信息处理的过程中,可能会对点云引入失真,从而导致点云的质量下降。如何对点云的质量进行有效的评价是点云信息处理领域的一个重要问题。例如,点云的质量可以作为衡量各种点云处理算法(例如,点云编码算法)优劣的标准。
点云的质量评价可以分为主观质量评价和客观质量评价。例如,对于激光雷达这类设备采集到的点云,其通常不是用于给人眼观看,所以评价这类点云时多以客观质量评价为主。
对于包括几何信息与属性信息的点云来说,点云的质量评价通常可以分为两部分:几何失真和属性失真。几何失真包括两种度量方法:点对点失真与点对面失真。
当前技术中,存在基于笛卡尔坐标系的点云的质量评价方法。下文以几何失真为例,示例性地描述现有的点云质量评价方法。
1)点对点失真
点对点失真通过计算重构点云B中的点bi与原始点云A中的点aj之间的距离得到,其中,点aj可以为原始点云A中与点bi距离最近的点。
在现有的点云质量评价方法中,例如,通过计算重构点云B中所有点的均方误差,获取重构点云相对于原始点云的点对点失真
Figure BDA0002826828730000041
如下列公式所示。
Figure BDA0002826828730000051
Figure BDA0002826828730000052
其中,A表示原始点云,B表示重构点云,NB表示重构点云中点的数量,
Figure BDA0002826828730000053
表示点bi到点aj的点对点失真度量,
Figure BDA0002826828730000054
表示点bi与点aj的欧式距离。
原始点云表示由点云采集设备采集到的点云数据。重构点云表示接收端通过对接收到的点云数据进行解码(或解压缩,或其它解析处理)而重构出来的点云数据。
点云采集设备例如包括激光雷达、光电雷达等点云测量设备。
2)点到面失真
点到面失真,在点对点失真的基础上获得的。以重构点云中B的点bi为例,在原始点云A中找到与点bi距离最近的点aj之后,获取点aj的单位法线Nj,沿着法线Nj方向投影到点对点距离
Figure BDA0002826828730000055
得到的新的误差向量即为该点bi的点到面失真
Figure BDA0002826828730000056
在现有的点云质量评价方法中,例如,获取的重构点云到原始点云的点对面失真
Figure BDA0002826828730000057
满足如下公式。
Figure BDA0002826828730000058
Figure BDA0002826828730000059
其中,A表示原始点云,B表示重构点云,NB表示重构点云中点的数量,
Figure BDA00028268287300000510
表示重构点云B中的点bi的点到面距离的度量,Nj表示点aj的单位法线。
申请人发现,在实际应用中,点云中不同位置的点的物理意义可能不同。例如,通常距离点云采集设备(即点云坐标系的原点)较近的点的采集精度较高,距离较远的点的采集精度较低。因此,从实际应用出发,点云中不同位置的点,在点云的失真计算中所占的权重应该是不同的。从上文描述的公式(1)与公式(2),以及公式(3)和公式(4)可知,现有点云的质量评价方法无法体现这一情况。因此,现有的点云质量评价方法不符合点云在实际应用中的物理意义。
针对上述问题,本申请提出一种点云处理的方法,可以使点云的质量评价较为符合点云的实际情况。
如图1所示,本申请实施例提供一种点云处理的方法100。例如,该方法100可以由点云处理装置实现,该点云处理装置例如为点云解码器或其他的用于进行点云的质量评价的设备。该方法100包括如下步骤。
S110,获取输入点云和输出点云。
可选地,输入点云表示原始点云,原始点云表示由点云采集设备采集到的点云数据。
点云采集设备例如包括激光雷达、光电雷达等点云测量设备。
可选地,输入点云表示原始点云经过预处理之后的点云。
该预处理例如可以包括数据类型的转换、坐标系的转换等处理。例如,数据类型的转换为浮点型到整数的转换。
输出点云表示接收端通过对接收到的点云数据进行解码(或解压缩,或其它解析处理)而重构出来的点云数据。输入点云也可称为解码点云或重构点云。
可选地,输入点云与输出点云为动态获取点云。
动态获取点云表示,使用激光雷达、光电雷达等点云测量设备采集的用于表示地理位置信息的大尺度点云数据。
可选地,输出点云还可以表示输入点云在点云编码器的编码过程中得到的预解码点云。在这种情况下,该方法100例如可以由点云编码器实现。
S120,根据输出点云中的点的失真信息,确定输出点云相对于输入点云的失真信息,其中,输出点云中的点的失真信息与该点的权重配置相关,输出点云中不同位置的点的权重配置不同。
输出点云中的点(记为点bi)的失真信息,指的是,点bi与输入点云中的一个点(记为点aj)之间的失真信息,其中,点aj与点bi满足预设条件。
可选地,该预设条件表示,两个点的距离最近。
例如,点aj与点bi满足预设条件表示,在输入点云A中,点aj为距离点bi最近的点。
应理解,根据实际需求,该预设条件还可以具有其他含义。
在本申请中,点bi的失真信息与点bi的权重配置相关,指的是,点bi与点aj之间的失真信息与点bi的权重配置相关。
点bi的权重配置与点bi的位置信息相关,或者,点bi的权重配置与点aj的位置信息相关,再或者,点bi的权重配置与点bi的位置信息以及点aj的位置信息相关。
当点bi的权重配置与点aj的位置信息相关,可以理解为,点bi的失真信息与点aj的权重配置相关。
在本申请中,输出点云中不同位置的至少两个点的权重配置不同。
例如,在输出点云B中,至少存在两个点bn1与点bn2(n1≠n2),二者的权重配置不同。
应理解,在一些应用场景中,点bn1与点bn2表示输出点云B中物理意义不同的点,例如,由于点bn1与点bn2的物理含义不同导致点bx与点by的采集精度不同。这种场景下,在计算输出点云的失真时,为点bx与点by配置不同的权重,是较为科学、合理的。
本申请在计算点云的失真时,可以为点云中不同位置的点配置不同的权重,从而可以使得,基于点云失真进行的点云质量评价符合点云的实际情况。
点bi与点aj之间的失真信息根据点bi的数据与点aj的数据获得。若点bi与点aj之间的失真信息根据点bi与点aj的几何信息获得,则点bi与点aj之间的失真信息可以称为几何失真信息,例如,点对点失真或点对面失真。若点bi与点aj之间的失真信息根据点bi与点aj的属性信息(例如,颜色或反射率等)获得,则点bi与点aj之间的失真信息可以称为属性失真信息。
应理解,本申请提供的方案可以应用于获取点云的几何失真,也可以应用于获取点云的属性失真。
获取输出点云相对于输入点云的失真信息的方式可以为,通过对输出点云中所有点的失真信息进行累加,获取输出点云相对于输入点云的失真信息。
作为示例,输出点云相对于输入点云的失真信息等于输出点云中所有点的失真信息的平均值,如下列公式所示。
Figure BDA0002826828730000081
其中,B表示输出点云,A表示输入点云,MB,A表示输出点云相对于输入点云的失真信息,NB表示输出点云中包括的点的个数,bi表示输出点云中的点,e(bi)表示点bi的失真信息,即点bi与输入点云A中的点aj之间的失真信息,点aj与点bi满足预设条件。
可选地,在一些实施例中,输出点云与输入点云之间的失真信息为输出点云相对于输入点云的失真信息。
例如,输出点云B与输入点云A之间的失真信息等于公式(5)所示的输出点云B相对于输入点云A的失真信息MB,A
可选地,在一些实施例中,输出点云与输入点云之间的失真信息为输入点云相对于输出点云的失真信息。
输入点云相对于输出点云的失真信息根据输入点云中的点的失真信息确定。例如,输入点云中的点(记为点ai)的失真信息,指的是,点ai与输出点云中的一个点(记为点bj)之间的失真信息,其中,点bj与点ai满足预设条件。预设条件如前文描述。
输入点云中的点的失真信息与该点的权重配置相关,输入点云中不同位置的点的权重配置不同。
点ai的失真信息与点ai的权重配置相关,指的是,点ai与点bj之间的失真信息与点ai的权重配置相关。
点ai的权重配置与点ai的位置信息相关,或者,点ai的权重配置与点bj的位置信息相关,再或者,点ai的权重配置与点ai的位置信息以及点bj的位置信息相关。
当点ai的权重配置与点bj的位置信息相关,可以理解为,点ai的失真信息与点bj的权重配置相关。
例如,在输出点云A中,至少存在两个点an3与点an4(n3≠n4),二者的权重配置不同。
可选地,作为一种实施方式,输入点云相对于输出点云的失真信息,通过对输入点云中所有点的失真信息进行累加而获取。
作为示例,输入点云相对于输出点云的失真信息等于输入点云中所有点的失真信息的平均值,如下列公式所示。
Figure BDA0002826828730000091
其中,B表示输出点云,A表示输入点云,MA,B表示输入点云相对于输出点云的失真信息,NA表示输入点云中包括的点的个数,ai表示输入点云中的点,e(ai)表示点ai的失真信息,即点ai与输出点云B中的点bj之间的失真信息。
可选地,在一些实施例中,输出点云与输入点云之间的失真信息是根据输出点云相对于输入点云的失真信息MB,A,以及输入点云相对于输出点云的失真信息MA,B获得。
作为示例,输入点云与输入点云之间的失真信息M等于MB,A与MA,B之中的最大值,如下列公式所示。
M=max(MB,A,MA,B)式 (7)
上述可知,输出点云相对于输入点云的失真信息MB,A,与输入点云相对于输出点云的失真信息MA,B,二者的区别在于点的映射方式不同,其本质是相同的。为了便于理解与描述,也为了避免赘述,下文中以获取输出点云相对于输入点云的失真信息MB,A为例进行描述。
应理解,本文中以获取输出点云相对于输入点云的失真信息MB,A为例进行描述的方案,同样适用于获取输入点云相对于输出点云的失真信息MA,B
还应理解,获取输出点云B中的每个点的失真信息的方式是相同,所以,为了便于理解描述,也为了避免赘述,下文以输出点云B中的点bi为例,描述获取输出点云B中的每个点的失真信息的方案。
还应理解,下文中描述的获取输出点云B中的点bi的失真信息的方案,同样适用于获取输入点云A中的每个点的失真信息。
前文已述,点bi的失真信息,即点bi与点aj之间的失真信息,与点bi的权重配置相关,其中,点bi的权重配置与点(点bi和/或点aj)的位置信息相关。
应理解,点云中点的位置信息可以包括距离维度的位置信息,例如,点到点云坐标系的原点的距离。点云中点的位置信息还可以包括方位维度的位置信息,例如,点在点云坐标系中的方位。因此,在本申请中,输出点云中的点bi的权重配置与点的距离维度的位置信息相关,和/或,与点的方位维度的位置信息相关。下文将进行描述。
本申请实施例中提及的点云坐标系指的是,点云的三维坐标系。点云坐标系可以是笛卡尔坐标系,也可以是球坐标系,还可以是如下文将进行描述的改进的球坐标系
Figure BDA0002826828730000101
或者还可以是其他可行的三维空间坐标系。
下文中,将点云坐标系记为参考坐标系。
可选地,在一些实施例中,输出点云中的点bi的权重配置与点bi的位置信息在参考坐标系下的位置分量的权重配置相关。
换言之,输出点云中的点bi的权重配置包括点bi的位置信息在参考坐标系下的位置分量的权重配置。
可选地,在一些实施例中,点bi的位置分量用于确定第一距离,第一距离表示点bi到参考坐标系的原点的距离;点bi的位置信息在参考坐标系下的位置分量与第一距离相关。
下文中,以第一距离表示输出点云中的点到参考坐标系的原点的距离,例如,点bi的第一距离表示点bi到参考坐标系的原点的距离,再例如,点aj的第一距离表示点aj到参考坐标系的原点的距离。
可选地,点bi的位置分量包括距离分量,点bi的位置分量的权重配置包括用于表征距离分量的权重配置。
点bi的位置分量中的距离分量可以理解为,点bi的距离维度的位置信息。
换句话说,点bi的权重配置与该点bi的第一距离相关。
作为示例,点bi配置的权重可以是ri的函数,ri表示点bi的第一距离。在输出点云B中,至少存在两个点bn1与点bn2(n1≠n2),若rn1≠rn2,则w(bn1)≠w(bn2),w(bn1)表示点bn1的权重配置,w(bn2)表示点bn2的权重配置。
可选地,作为一种实施方式,点bi的位置分量的权重配置与点bi的第一距离呈负相关。
换句话说,点bi的权重配置随着点bi到参考坐标系的原点的距离的增大而减小。
例如,对于输出点云中点bn1与点bn2,若rn1>rn2,则w(bn1)<w(bn2)。
应理解,本实施例可以应用于距离点云采集设备(即参考坐标系的原点)较近的点的采集精度较高,距离较远的点的采集精度较低的应用场景。
可选地,作为另一种实施方式,点bi的位置分量的权重配置与点bi的第一距离呈正相关。
换句话说,点bi的权重配置随着点bi到点云坐标系原点的距离的增大而增大。
应理解,本实施例可以应用于距离点云采集设备(即点云坐标系原点)较近的点的采集精度较低,距离较远的点的采集精度较高的应用场景。
可选地,在一些实施例中,点bi的位置分量用于确定参考坐标系中的原点至点bi的沿线方向,与水平方向或竖直方向之间形成的夹角的角度。其中,点bi的位置分量的权重配置与点bi对应的角度(记为第一角度)相关。
换句话说,点bi的权重配置与点bi在参考坐标系中的方位相关。
可选地,点bi的位置分量包括水平方位分量,点bi的位置分量的权重配置包括用于表征水平方位分量的权重。
可选地,点bi的位置分量包括竖直方位分量,点bi的位置分量的权重配置包括用于表征竖直方位分量的权重。
例如,点bi的位置分量的权重配置与第一角度呈三角函数的关系。该三角函数包括余弦三角函数,或者,还可以包括正弦三角函数,或者其他三角函数。
可选地,在一些实施例中,点bi的权重配置可以与点aj的位置信息在参考坐标系下的位置分量的权重配置相关。
换言之,点bi的权重配置还可以与点aj的位置信息相关。
其中,对于点aj的位置信息在参考坐标系下的位置分量的描述,与上文描述的点bi的位置信息在参考坐标系下的位置分量的描述类似,不再赘述。
例如,点bi的位置分量的权重配置与点aj的第一距离(即点aj到参考坐标系的原点的距离)相关。
再例如,点bi的位置分量的权重配置与第一角度与第二角度的平均值呈三角函数的关系,第二角度表示点aj对应的角度,即参考坐标系中的原点至点aj的沿线方向,与水平方向或竖直方向之间形成的角度。
可选地,作为一种实施方式,点bi的权重配置包括多个维度的权重配置。可以理解为,点bi被配置的权重是一个多维度向量。
例如,点bi的多个维度的权重配置之间,可以相同,也可以不同。
再例如,点bi的多个维度的权重配置中的一个维度的权重配置与点bi(和/或点aj)的位置分量中的距离分量相关。
再例如,点bi的多个维度的权重配置中的一个维度的权重配置与点bi(和/或点aj)的位置分量中的方向分量相关。
在本实施例中,输出点云中不同位置的点的至少一个维度的权重配置不同。
假设,点bi的权重配置包括三个维度的权重配置。例如,在输出点云B中的不同位置的点之间,一个维度的权重配置不同(例如,该权重配置与点的第一距离相关),其余两个维度上的权重配置相同(例如均为1)。再例如,在输出点云B中不同位置的点之间,两个维度上的权重配置不同(例如,其中一个权重配置与点的第一距离相关,另一个权重配置与点的方位相关),其余一个维度上的权重配置相同(例如为1)。
下面给出点bi的权重配置包括多个维度的权重配置的一个例子。
假设参考坐标系为笛卡尔坐标系(x,y,z),点bi的三维坐标为
Figure BDA0002826828730000131
点aj的三维坐标为
Figure BDA0002826828730000132
点bi与点aj的点对点失真e(bi)满足如下公式。
Figure BDA0002826828730000133
式(8)
其中,wd1,wd2,wd3表示bi的权重配置。在本例中,可以理解为,点bi的权重配置是一个三维向量,例如,点bi的权重配置表示为w(bi)=[wd1,wd2,wd3]T
在本例中,wd1,wd2,wd3可以相同,也可以不完全相同,或者,完全不同。
当wd1,wd2,wd3相同时,相当于对
Figure BDA0002826828730000134
统一配置一个权重配置。
例如,wd1与点bi(和/或点aj)的第一距离相关,wd2与wd3等于1。
再例如,wd1与点bi(和/或点aj)的第一距离相关,wd2与点bi(和/或点aj)在点云坐标系中的方位相关,wd3等于1。
可选地,在一些实施例中,点云坐标系(即参考坐标系)包括距离坐标、竖直角度坐标与水平角度坐标。竖直角度坐标用于指示点在球坐标系下的天顶角。水平角度坐标用于指示点在球坐标系下的方位角。距离坐标被非均匀量化,距离坐标的非均匀量化可以使得一个点的权重配置随着该点的第一距离的增大而减小。
本文中将三维坐标为距离坐标、竖直角度坐标与水平角度坐标的坐标系称为改进的球坐标系。例如,记为改进的球坐标系
Figure BDA0002826828730000141
其中,D表示距离坐标,θ表示竖直角度坐标,
Figure BDA0002826828730000142
表示水平角度坐标。
需要说明的是,本文中无特殊说明的球坐标系指的是传统的球坐标系,即三维坐标为径向距离,天顶角,方位角的三维坐标系。
可选地,作为一种实施方式,改进的球坐标系
Figure BDA0002826828730000143
中的距离坐标D为R-n或log(R)的函数,n大于0,R表示点在球坐标系下的径向距离,即上文实施例中提及的第一距离。
作为示例,改进的球坐标系
Figure BDA0002826828730000144
中的距离坐标D满足一下公式中的任一种:
Figure BDA0002826828730000145
Figure BDA0002826828730000146
Figure BDA0002826828730000147
Figure BDA0002826828730000148
其中,Rnear表示距离坐标维度上的最小量化距离,Rfar表示距离坐标维度上的最大量化距离,int表示取整操作,d表示预先设定的量化位数。
其中,公式(9)所示的D可以称为倒数距离。公式(9)所示的非均匀量化方法可以称为倒数距离。
可选地,作为另一种实施方式,改进的球坐标系
Figure BDA0002826828730000149
中的距离坐标D满足如下公式:
Figure BDA0002826828730000151
Figure BDA0002826828730000152
其中,R表示输出点云中的点在球坐标系下的径向距离,Rnear表示距离坐标维度上的最小量化距离,Rfar表示距离坐标维度上的最大量化距离,int表示取整操作,d表示预先设定的量化位数。
距离近的点,即R≤R′的点被量化到(0,2d×a)这段范围内,距离远的点即R>R′的点被量化到(0,2d×a,2d)这段范围内,a为常数,可以预配置。
可选地,作为一种实施方式,改进的球坐标系
Figure BDA0002826828730000153
中的竖直角度坐标θ满足如下公式:
Figure BDA0002826828730000154
其中,θ′表示点在球坐标系下的天顶角,d表示预先设定的量化位数。
可选地,作为一种实施方式,改进的球坐标系
Figure BDA0002826828730000155
中的水平角度坐标满足:
Figure BDA0002826828730000156
其中,
Figure BDA0002826828730000157
表示点在球坐标系下的方位角,d表示预先设定的量化位数。
作为示例,在参考坐标系为改进的球坐标系
Figure BDA0002826828730000158
的情况下,输出点云B相对输入点云A的点对点失真MSEB满足如下公式。
Figure BDA0002826828730000159
Figure BDA00028268287300001510
其中,B表示输出点云,A表示输入点云,NB表示输出点云中点的数量,
Figure BDA00028268287300001511
表示输出点云中的点bi到输入点云中的点aj的点对点失真信息,Db表示点bi的距离坐标,
Figure BDA00028268287300001512
表示点bi的水平角度坐标,θb表示点bi的竖直角度坐标,Da表示点aj的距离坐标,
Figure BDA0002826828730000161
表示点aj的水平角度坐标,θa表示点aj的竖直角度坐标。
参考公式(9)至公式(14)可知,公式(18)中的Db-Da中隐含了与点bi的第一距离相关的权重配置。因此,点bi与点aj之间的点对点失真程度与点bi的权重配置相关,该权重配置与点bi的第一距离相关。
参考公式(9)至公式(14)还可知,公式(18)中的Db-Da中隐含的点bi的权重配置,也与点aj的第一距离相关。
在本实施例中,在计算点云的点对点失真时,对于距离参考坐标系的原点越近的点的权重越大,对于距离参考坐标系的原点越远的点的权重越小,这种点云质量评价方法适用于距离采集设备较近的点的采集精度较高,距离较远的点的采集精度较低的应用场景,从而使得点云质量评价方法较为符合点云的实际情况。因此,本申请实施例提供了一种符合点云实际情况,较为科学的点云质量评价方法。
应理解,当点云坐标系为改进的球坐标系
Figure BDA0002826828730000162
时,采用公式(18)计算输出点云中的点bi与输入点云中的点aj之间的点对点失真时,自动使得该点对点失真与点bi的权重配置(与点bi的第一距离相关的权重配置)相关,而无需额外执行配置权重的操作,因此,可以提高计算点云的失真的效率。
可选地,在点云坐标系为改进的球坐标系
Figure BDA0002826828730000163
的实施例中,点bi的位置分量的权重配置中包括与点bi在球坐标系下的天顶角,和/或点aj在球坐标系下的天顶角的三角函数相关的权重配置。
本文中,将与点bi在球坐标系下的天顶角,和/或点aj在球坐标系下的天顶角的三角函数相关的权重配置记为点bi的方位权重配置。
作为示例,点bi的方位权重配置可以满足如下公式中的任一种:
w2=cos(θ′a)式 (19)
w2=cos(θ′b)式 (20)
Figure BDA0002826828730000164
其中,w2表示点bi的方位权重配置,θ′b表示点bi的在球坐标系下的天顶角,θ′a表示输入点云中的点aj在球坐标系下的天顶角,点aj与点bi满足预设条件。
应理解,在球坐标系下,同样的水平方位角
Figure BDA0002826828730000171
天顶角θ′不同的点的物理意义不同。因为,在同样的水平方位角单位偏差
Figure BDA0002826828730000172
下,不同天顶角θ′在球面上造成的线长偏差是不一样的。假定在球坐标系下,天顶角θ′的角度范围是-90°至+90°。例如,当天顶角θ′=0°时,水平方位角
Figure BDA0002826828730000173
偏差1°在单位球上造成的线长偏差较大,当天顶角θ′=60°时,水平方位角
Figure BDA0002826828730000174
偏差1°在单位球上造成的线长偏差较小。
因此,点bi的方位权重配置可以较好地体现不同天顶角的点的不同物理意义。
因此,在本实施例中,输出点云中的点bi的权重配置包括点bi的方位权重配置,可以实现在计算点云的失真时,较为科学地体现不同天顶角的点的物理含义,从而可以使得点云质量评价方法较为符合点云的实际情况,进而使得点云质量评价方法更为科学。
可选地,作为一种实施方式,参考坐标系为改进的球坐标系
Figure BDA0002826828730000175
点bi的权重配置包括方位权重配置,在计算点bi与点aj之间的点对点失真时,该方位权重配置为点bi与点aj的水平角度坐标
Figure BDA0002826828730000176
维度的失真分量的权重。
作为示例,参考坐标系为改进的球坐标系
Figure BDA0002826828730000177
的情况下,输出点云B相对输入点云A的点对点失真MSEB满足如下公式:
Figure BDA0002826828730000178
Figure BDA0002826828730000179
其中,B表示输出点云,A表示输入点云,NB表示输出点云中点的数量,
Figure BDA00028268287300001710
表示输出点云中的点bi到输入点云中的点aj的点对点失真度量,Db表示点bi的距离坐标,
Figure BDA00028268287300001711
表示点bi的水平角度坐标,θb表示点bi的竖直角度坐标,Da表示点aj的距离坐标,
Figure BDA00028268287300001712
表示点aj的水平角度坐标,θa表示点aj的竖直角度坐标。w2为点bi的方位权重配置,w2满足公式(19)至公式(21)中的任一个。
如前文描述的,同样的水平方位角单位偏差
Figure BDA0002826828730000181
下,不同天顶角θ′在球面上造成的线长偏差是不一样的。因此,将点bi的方位权重配置w2作为水平角度坐标
Figure BDA0002826828730000182
维度的失真分量的权重,可以更好地体现在相同方位角的情况下,不同天顶角的点的不同物理意义,从而可以使得点云质量评价方法较为符合点云的实际情况,进而使得点云质量评价方法更为科学。
在公式(17)与公式(18)中,可以理解为,输出点云中的点bi的权重配置是三维的,其中一个维度的权重是失真分量Db-Da中隐含的与点bi的第一距离相关的权重,另外两个维度的权重为1。
在公式(22)与公式(23)中,可以理解为,输出点云中的点bi的权重配置是三维的,其中一个维度的权重是失真分量Db-Da中隐含的与点bi的第一距离相关的权重,另一个维度的权重配置是点bi的方位权重配置w2,最后一个维度的权重为1。
上文参考公式(17)、公式(18)、公式(22)与公式(23)描述了,在参考坐标系为改进的球坐标系
Figure BDA0002826828730000183
的情况下,获取点对点失真的方式。应理解,参考坐标系为改进的球坐标系
Figure BDA0002826828730000184
同样可以适用于获取点云的点对面失真或属性失真。
可选地,在一些实施例中,点bi的权重配置与点bi的位置信息在参考坐标系下的位置分量的权重配置相关,其中,确定点bi的失真信息,包括:对点bi的位置信息中的至少一个位置分量进行权重配置,得到不同于该位置信息的目标位置信息;基于该目标位置信息,确定点bi的失真信息。应理解,确定点bi的失真信息,表示,确定点bi与点aj之间的失真信息
在本实施例中,可以通过多种实现方式确定点bi的失真信息。下文描述了三种实现方式。
实现方式一
通过在点bi的位置信息中的至少一个位置分量上直接施加权重配置,以确定点bi的失真信息。
作为一个示例,假设输入点云A与输出点云B的参考坐标系为笛卡尔坐标系(x,y,z)。点bi与点aj在笛卡尔坐标系下的位置信息分别为
Figure BDA0002826828730000191
Figure BDA0002826828730000192
可选地,作为一种实施方式,在计算点bi到点aj的点对点失真时,为二者坐标分量的差值
Figure BDA0002826828730000193
配置权重,然后得到如公式(8)所示的点bi与点aj的点对点失真e(bi)。
在本示例中,公式(8)中的wd1,wd2,wd3可以相同,也可以不完全相同。
当wd1,wd2,wd3相同时,相当于对
Figure BDA0002826828730000194
统一配置一个权重配置。
在本示例中,公式(8)中的wd1,wd2,wd3中的一个或多个可以与点bi的位置信息相关,也可以是点aj的位置信息相关。
可选地,作为另一种实施方式,在获得点bi与点aj在笛卡尔坐标下的位置信息
Figure BDA0002826828730000195
Figure BDA0002826828730000196
之后,可以先基于权重wd1,wd2,wd3,分别获得点bi与点aj的目标位置信息,然后基于该目标位置信息,计算点bi与点aj之间的失真信息,得到如公式(8)所示的点对点失真信息e(bi)。
实现方式二
将点bi的位置信息从参考坐标系转换至目标坐标系,对转换后的位置信息中的至少一个位置分量进行权重配置,得到不同于该位置信息的目标位置信息,以确定点bi的失真信息。
参考坐标系表示输入点云与输出点云原本的点云坐标系,目标坐标系表示输入点云与输出点云经过转换之后的点云坐标系。
作为一个示例,假设参考坐标系为笛卡尔坐标系(x,y,z),目标坐标系为球坐标系
Figure BDA0002826828730000201
参考坐标系与目标坐标系之间的转换满足如下公式。
Figure BDA0002826828730000202
按照公式(24),分别获得点bi与点aj在目标坐标系下的位置信息为
Figure BDA0002826828730000203
Figure BDA0002826828730000204
由于球坐标系
Figure BDA0002826828730000205
的三个坐标中包括一个径向距离,两个角度,无法进行运算,所以需要将其量化为单位相同的三个量,例如根据预设量化因子对球坐标系进行量化。球坐标系
Figure BDA0002826828730000206
的单位量化满足如下公式:
Figure BDA0002826828730000207
其中,单位球坐标系(L1,L2,L3)表示经过单位量化后的球坐标,Rnear表示距离坐标维度上的最小量化距离,Rfar表示距离坐标维度上的最大量化距离,int表示取整操作,d表示预先设定的量化位数,即d表示预设量化因子。
按照公式(25),分别获得点bi与点aj在单位球坐标系(L1,L2,L3)的位置信息
Figure BDA0002826828730000208
Figure BDA0002826828730000209
在本示例中,作为一种实施方式,在计算失真信息e(bi)的过程中,为点bi与点aj的至少一个位置分量的差值配置权重。作为示例,点bi与点aj之间的点对点失真信息e(bi)满足下公式:
Figure BDA00028268287300002010
公式(26)中的wd1,wd2,wd3可以相同,也可以不完全相同。
当wd1,wd2,wd3相同时,相当于对
Figure BDA00028268287300002011
Figure BDA0002826828730000211
统一配置一个权重配置。
公式(26)中的wd1,wd2,wd3中的一个或多个可以与点bi的位置信息相关,也可以与点aj的位置信息相关。
在本示例中,作为一种实施方式,在获得点bi与点aj在单位球坐标系(L1,L2,L3)下的位置信息
Figure BDA0002826828730000212
Figure BDA0002826828730000213
之后,可以先基于权重wd1,wd2,wd3,分别获得点bi与点aj的目标位置信息,然后基于该目标位置信息,计算点bi与点aj之间的失真信息,得到如公式(26)所示的点对点失真信息e(bi)。
作为另一个示例,参考坐标系为笛卡尔坐标系(x,y,z),目标坐标系为改进的球坐标系
Figure BDA0002826828730000214
参考坐标系与目标坐标系之间的转换满足如下公式。
Figure BDA0002826828730000215
其中,
Figure BDA0002826828730000216
int表示取整操作,d表示预先设定的量化位数,即d表示预设量化因子,D=f(R,d)可以满足公式(9)至公式(14)中的任一个。
按照公式(27),分别获得点bi与点aj在目标坐标系下的位置信息为
Figure BDA0002826828730000217
Figure BDA0002826828730000218
从公式(27)可以看出,改进的球坐标系
Figure BDA0002826828730000219
中的三个坐标的单位是统一的,所以,可以基于点bi与点aj在目标坐标系下的位置信息
Figure BDA00028268287300002110
Figure BDA00028268287300002111
计算点bi与点aj之间的失真信息。
在本示例中,作为一种实施方式,直接根据点bi与点aj在目标坐标系下的位置信息
Figure BDA00028268287300002112
Figure BDA00028268287300002113
计算点bi与点aj之间的点对点失真,获得如公式(18)所示的点对点失真
Figure BDA00028268287300002114
如前文描述,参考公式(9)至公式(14)可知,公式(18)中的Db-Da中隐含与点bi的第一距离相关的权重配置,也隐含了与点aj的第一距离相关的权重配置。
因此,在本实施例中,当目标坐标系为改进的球坐标系
Figure BDA0002826828730000221
时,可以直接根据点bi与点aj在目标坐标系下的位置信息,计算点bi与点aj之间的点对点失真信息,计算得到的点对点失真信息中隐含了与点bi的第一距离相关的权重配置,以及与点aj的第一距离相关的权重配置。
在本实施例中,在计算点云的点对点失真时,对于距离参考坐标系的原点越近的点的权重越大,对于距离参考坐标系的原点越远的点的权重越小,这种点云质量评价方法适用于距离采集设备较近的点的采集精度较高,距离较远的点的采集精度较低的应用场景,从而使得点云质量评价方法较为符合点云的实际情况。因此,本申请实施例提供了一种符合点云实际情况,较为科学的点云质量评价方法。
应理解,当点云坐标系为改进的球坐标系
Figure BDA0002826828730000222
时,采用公式(18)计算输出点云中的点bi与输入点云中的点aj之间的点对点失真时,自动使得该点对点失真与点bi的权重配置(与点bi的第一距离相关的权重配置)相关,而无需额外执行配置权重的操作,因此,可以提高计算点云的失真的效率。
在本示例中,作为另一种实施方式,在根据点bi与点aj在目标坐标系下的位置信息
Figure BDA0002826828730000223
Figure BDA0002826828730000224
计算点bi与点aj之间的点对点失真的过程中,为点bi与点aj之间的水平角度坐标的差值配置权重,该权重与点bi和/或点aj的竖直角度坐标的三角函数相关。例如,获得如公式(23)所示的点对点失真
Figure BDA0002826828730000225
在本实施例中,目标坐标系为改进的球坐标系
Figure BDA0002826828730000226
时,可以直接根据点bi与点aj在目标坐标系下的位置信息,计算点bi与点aj之间的点对点失真信息,计算得到的点对点失真信息中隐含了与点bi的第一距离相关的权重配置,以及与点aj的第一距离相关的权重配置。
如前文描述的,同样的水平方位角单位偏差
Figure BDA0002826828730000227
下,不同天顶角θ′在球面上造成的线长偏差是不一样的。因此,将点bi的方位权重配置w2作为水平角度坐标
Figure BDA0002826828730000231
维度的失真分量的权重,可以更好地体现在相同方位角的情况下,不同天顶角的点的不同物理意义,从而可以使得点云质量评价方法较为符合点云的实际情况,进而使得点云质量评价方法更为科学。
实现方式三
将点bi的位置信息从参考坐标系转换至目标坐标系,按照非均匀量化方法对转换后的位置信息中的至少一个位置分量进行权重配置,得到不同该位置信息的目标位置信息,以确定点bi的失真信息。
作为一个示例,假设参考坐标系为笛卡尔坐标系(x,y,z),目标坐标系为球坐标系
Figure BDA0002826828730000232
参考坐标系与目标坐标系之间的转换满足公式(24)。
按照公式(24),分别获得点bi与点aj在目标坐标系下的位置信息为
Figure BDA0002826828730000233
Figure BDA0002826828730000234
如前文描述,由于球坐标系
Figure BDA0002826828730000235
的三个坐标中包括一个径向距离,两个角度,无法进行运算,所以需要将其量化为单位相同的三个量。在实现方式二中,采用公式(25)基于预设量化因子d对球坐标系
Figure BDA0002826828730000236
进行单位量化。在实现方式三中,采用另一种量化方式对球坐标系
Figure BDA0002826828730000237
进行量化,使得可以实现对球坐标中的径向距离(R)实现非均匀量化。
作为示例,对球坐标系
Figure BDA0002826828730000238
的量化满足如下公式。
Figure BDA0002826828730000239
其中,
Figure BDA00028268287300002310
表示经过非均匀量化后的球坐标系,int表示取整操作,d表示预先设定的量化位数,即d为预设量化因子,D1=f(R,d)可以满足公式(9)至公式(14)中的任一个。
可以理解到,这里的经过非均匀量化后的球坐标系就是上文提及的改进后的球坐标。
按照公式(28),分别获得点bi与点aj在非均匀量化后的球坐标系
Figure BDA0002826828730000241
的位置信息
Figure BDA0002826828730000242
Figure BDA0002826828730000243
在本示例中,作为一种实施方式,直接根据点bi与点aj在经过非均匀量化后的球坐标系下的位置信息
Figure BDA0002826828730000244
Figure BDA0002826828730000245
计算点bi与点aj之间的点对点失真,获得如公式(18)所示的点对点失真
Figure BDA0002826828730000246
如前文描述,参考公式(9)至公式(14)可知,公式(18)中的Db-Da中隐含与点bi的第一距离相关的权重配置,也隐含了与点aj的第一距离相关的权重配置。
因此,在本实施例中,当目标坐标系为球坐标系时,对球坐标进行如公式(28)所示的非均匀量化,可以直接根据点bi与点aj在经过非均匀量化后的球坐标系下的位置信息,计算点bi与点aj之间的点对点失真信息,计算得到的点对点失真信息中隐含了与点bi的第一距离相关的权重配置,以及与点aj的第一距离相关的权重配置。在这种实施方式中,无需执行配置权重的操作,就可以实现点对点失真中隐含与点的第一距离相关的权重配置的目的。
在本示例中,作为另一种实施方式,在根据点bi与点aj在在经过非均匀量化后的球坐标系下的位置信息
Figure BDA0002826828730000247
Figure BDA0002826828730000248
计算点bi与点aj之间的点对点失真的过程中,为点bi与点aj之间的水平角度坐标的差值配置权重,该权重与点bi和/或点aj的竖直角度坐标的三角函数相关。例如,获得如公式(23)所示的点对点失真
Figure BDA0002826828730000249
如前文描述的,同样的水平方位角单位偏差
Figure BDA00028268287300002410
下,不同天顶角θ′在球面上造成的线长偏差是不一样的。因此,将点bi的方位权重配置w2作为水平角度坐标
Figure BDA00028268287300002411
维度的失真分量的权重,可以更好地体现在相同方位角的情况下,不同天顶角的点的不同物理意义,从而可以使得点云质量评价方法较为符合点云的实际情况,进而使得点云质量评价方法更为科学。
为了规范点云的失真评价,可以采用峰值信噪比(peak signal to noise ratio,PSNR)对点对点失真进行度量。
可选地,作为一种实施方式,输出点云的点对点失真采用PSNR进行度量。
作为示例,用于度量输出点云B的点对点失真的PSNR满足如下公式。
Figure BDA0002826828730000251
其中,MSEB表示输出点云B的点对点失真,p表示输出点云B中的点bi与输入点云中的点aj的距离中的峰值。例如,p满足如下公式:
Figure BDA0002826828730000252
其中,di表示对于输出点云B中的每个点bi,与其在输入点云A中距离最近的点之间的距离。
应理解,输出点云的属性失真也可以通过PSNR进行度量。例如,将输出点云中每个点的属性与输入点云中与该点距离最近的点的属性进行比较,从而计算得到输出点云的每个属性分量的PSNR。
上述可知,本申请在计算点云的失真时,可以为点云中不同位置的点配置不同的权重,从而可以使得,基于点云失真进行的点云质量评价符合点云的实际情况。
上文总体上是从点云的角度描述本申请实施例,下文从点云中的点的角度描述本申请实施例。
如图2所示,本申请实施例提供一种点云处理的方法200,该方法200包括如下步骤。
S210,获取第一点与第二点,第一点为第一点云中的点,第二点为第二点云中与第一点满足预设条件的点,第一点云和第二点云中的一个为输入点云,另一个为输出点云。
S220,根据第一点以及第二点的位置信息,确定第一点与第二点之间的失真信息。
其中,第一点与第二点之间的失真程度与第一点的权重配置和/或第二点的权重配置相关,第一点的权重配置和/或第二点的权重配置与位置信息相关。
可选地,本实施例中的第一点云对应于上文实施例中的输出点云,第二点云对应于上文实施例中的输入点云。第一点可以对应于上文实施例中的输出点云中的点bi,第二点可以对应于上文实施例中的输入点云中的点aj
可选地,本实施例中的第一点云对应于上文实施例中的输入点云,第二点云对应于上文实施例中的输出点云。第一点可以对应于上文实施例中的输入点云中的点aj,第二点可以对应于上文实施例中的输出点云中的点bi
确定第一点到第二点之间的失真信息的方案,可以参考上文描述的获取点bi与点aj的失真信息的方案。
本申请提供的方案除了可以应用于点云的质量评价之外,还可以应用于点云编码器在率失真优化(Rate-Distortion Optimized,以下简称RDO)过程中的失真计算。
在点云编码器中,涉及到率失真优化相关的编码过程时,也可以应用本申请实施例的处理点云的方法。
应理解,率失真优化权衡了失真和码率的影响,即在特定码率下能达到的最小失真,或为了满足一定的失真限制,所用的最小描述码率可以是多少。例如,当对点云的几何数据或属性数据进行编码时,对同一个点的编码可能会产生多个可选的方案,不同的方案带来的码率和失真不一样,这时就要通过一个率失真优化函数来权衡,最终选择代价最小的方案写入码流,其中,在计算失真时可以采用本申请实施例中的点云处理的方法。
可选地,图2所示的实施例应用于点云编码器,该方法200还包括:根据第一点到第二点之间的失真信息,对输入点云进行编码处理,其中,输出点云为输入点云在点云编码器的编码过程中得到的预解码点云。
可选地,基于率失真优化方法以及第一点与第二点之间的失真信息,对输入点云进行编码处理,包括:基于率失真优化方法以及第一点与第二点之间的失真信息,选择输入点云的编码模式和/或编码策略;根据选择到的编码模式和/或编码策略,对输入点云进行编码处理。
例如,基于第一点到第二点之间的失真信息,通过率失真优化函数选择代价最小的方案,并将该方案写入输入点云的编码码流中。
应理解,将本申请提供的计算点云中的点的失真(如上文实施例中获取第一点到第二点的失真信息)的方法应用于点云编码器在率失真优化过程中计算点的失真,在一定程度上,可以使所计算的点的失真较为合理,从而可以实现通过率失真优化函数选择出合理的代价最小的方案,进而提高点云编码的效率。
因此,本申请中的计算点云的失真的方法可以应用于点云编码器在率失真优化过程中计算点云中点的失真,这使得所计算的点的失真较为合理,从而可以提高率失真优化的结果的合理性。
作为示例,点云编码器的编码框图如图3所示。
点云编码分为几何编码和属性编码两部分。几何编码表示对点云的几何信息的编码,属性编码表示对点云的属性信息的编码。在编码(或解码)中,先对点云的几何信息进行编码(或解码),再基于几何信息对点云的属性信息进行编码(或解码)。其中,几何编码中的压缩方法是基于诸如八叉树编码进行的,属性编码是基于诸如插值的属性预测方法进行的。
下面示例性介绍点云编码器中的几个主要模块。
(1)量化、去除重复坐标
由于某些原始的点云数据位置通常表示为浮点型,所以需要对点云进行预处理,对于每个点的原始位置
Figure BDA0002826828730000271
都要进行如下变换:
Figure BDA0002826828730000272
Figure BDA0002826828730000273
其中
Figure BDA0002826828730000274
s是几何的量化步长,用于几何压缩的码率控制,如果s=1,则
Figure BDA0002826828730000275
到Xn的转换是无损的。进行这样的预处理的目的是为了使每个处理后的点
Figure BDA0002826828730000276
都能处于一个包围框(bounding box)中的体素上,便于后续编码器的压缩。Bounding box是一个立方体,用[0,2d)3表示,其中d是一个非负的整数。
解码时需要进行逆量化的操作以便恢复原始的数据,解码点云的点位置记为
Figure BDA0002826828730000281
并且需要用量化参数s逆量化回原始点云:
Figure BDA0002826828730000282
事实上,在对点进行量化后,可能会出现多个点被量化到同一个位置,即出现重复点,所以一般需要去除重复点,当然这个过程是可选的,也可以选择保留重复点,如果需要把重复点去除,由于重复点的几何位置都是一样的,所以可以直接去掉,但是重复点的属性值不一定相同,所以这些被量化到同一位置的重复点的属性值也需要合并成一个点的属性,这个过程称为重着色,具体的做法见重着色。
(2)重着色
对量化后点云的第i个点云点,设
Figure BDA0002826828730000283
是几何位置,
Figure BDA0002826828730000284
是对应属性,
Figure BDA0002826828730000285
是在输入点云(量化前)中离
Figure BDA0002826828730000286
最近的点,
Figure BDA0002826828730000287
是其对应的属性,
Figure BDA0002826828730000288
Figure BDA0002826828730000289
是一个集合,包含了在原始点云中把
Figure BDA00028268287300002810
作为最近点的所有点,
Figure BDA00028268287300002811
是其对应的属性值,所以重建属性值为:
若Q+(i)为空:
Figure BDA00028268287300002812
若Q+(i)不为空:
Figure BDA00028268287300002813
(3)八叉树编码
八叉树的划分是在之前建立的Bounding box B中进行的,该立方体是由(0,0,0)和(2d,2d,2d)两个极点决定,八叉树的划分就是不断划分B的过程,每次划分,一个立方体被分为8个子立方体,如图4所示,并且每个结点都用8bit二进制码表示,称为占用码(occupancy code),每个子立方体都用1bit来表示里面是否有包含点,如果有点则值为1,如果为空则值为0。只有边长大于1的立方体才能被继续划分,对于某个位置上出现重复点的情况,还需要在八叉树的最后一层额外编码点的个数。
所以,对于点云的几何位置信息,编码端不断递归划分八叉树,按顺序生成每个节点的8bit占用码,所以,编码端不是直接编码点云点的几何位置,而是编码点云的八叉树结构,将占用码送入算术编码器,然后用算术编码器进行熵编码,解码端解码后根据这些占用码就能够完整地恢复出整棵八叉树了。
几何编码主要是基于八叉树编码,但有一些点云中的“孤立点”,会有其他的模式进行编码,如直接编码模式(Direct Coding Mode),这种情况下直接编码点云的三维坐标会比编码8bit节点更划算,详细方法不再展开说明;另外,在八叉树的熵编码时涉及到很多的上下文模型,这里也不仔细展开了。
(4)属性编码
属性的预测编码是基于细节层次(level of detail,LOD)进行的,生成LOD的过程本质上是对所有点云点重排序、重组的过程,生成一系列精细程度不同的集合,LOD的层次越深,点云的精细化程度越高,最高层次的LOD即原始的点云数据。
点云的属性信息按照LOD的生成过程中定义的顺序进行编/解码,传输的顺序也是从低层次LOD中的点最先传,依次传层次高的LOD,只有已经编/解码了的点云属性才会被用来做预测,也就是说,点i的属性值(ai),i∈0,…,k-1是通过离点i最近的点
Figure BDA0002826828730000291
进行线性插值预测得到的,而这些点都是已经编码或解码过的,令(δj)j∈Ni为离当前点的距离,则当前点的预测值由下式得到:
Figure BDA0002826828730000292
其中k是最近点的数量,是编码端决定的一个参数,也需要通过码流传给解码端。
得到预测属性后,就可以编码和量化真实值和预测值的残差
Figure BDA0002826828730000302
再对这个残差做量化,再送入编码器,比起直接编码属性要节省很多的码率。所以,最终只有LOD0是完整的传输了属性值,剩下的LOD中的点的属性,都是先经过预测,再传输残差值的。
(5)基于率失真的编码策略
率失真决策是综合考虑了码率和失真,使用一个率失真函数I(R,D)来决策,对于不同的编码方案,最终选择率失真最小的方案写入码流。
举下面两例作为基于率失真的编码策略/模式。
(一)编码中的预测策略
在属性编码时,用于预测的点不同,所能达到的预测效果也不同,得到的残差也不同,最终获得的失真和码率也不同,这时需要用一种率失真决策来选定用哪些点做预测,然后对残差经过量化后再熵编码。
以图5为例,假如要对P2这个点进行属性编码,首先在已编码的点中找到距离P2最近的k个点(k≤3),作为预测候选对象,分别是P0、P5、P4,这时编码端会构建一个预测候选列表,生成多种编码策略,如表1所示,这四种策略的预测值分别是这三个点属性的平均值、P4点的属性值、P5点的属性值、P0点的属性值,编码器会对这四种策略进行率失真决策,最终选择率失真最小的策略,用这种策略进行预测,得到残差,写入码流。
表1
Figure BDA0002826828730000301
(二)编码中的量化策略
在对需要编码的值进行量化时,也可以使用率失真量化器。对于同一个值生成多种量化策略,即生成多个可选量化值,假设需要编码的值为c,首先对该值进行预量化:
Figure BDA0002826828730000311
round(.)表示四舍五入,利用l的大小确定可选量化值,例如,当l=2时,可选量化值为0,1,2三种,当l=N时,可选量化值为N-1和N,对于每一个需要量化后编码的值,编码器遍历它的所有可选量化值,最终选择一个率失真代价最小的策略,将该值作为量化后的值,再进行熵编码。
可以理解,编码模式和/或编码策略除了上述说明的内容,还可以包括其它适用于点云编码器的编码模式和/或编码策略,在点云编码器对输入点云的编码过程中,可以结合第一点与第二点之间的失真信息,以及任何适用于点云编码器的编码模式和/或编码策略,对输入点云进行编码。
应理解,本申请提供的方案可以应用于如下领域:光电雷达、激光雷达、3D地图(高清)、点云编码器、点云解码器。
上文描述了本申请的方法实施例,下文将描述本申请的装置实施例。应理解,装置实施例的描述与方法实施例的描述相互对应,因此,未详细描述的内容可以参见前面方法实施例,为了简洁,这里不再赘述。
图6为本发明实施例提供的点云处理的装置600的示意性框图,该装置600包括如下单元。
获取单元610,用于获取第一点与第二点,第一点为第一点云中的点,第二点为第二点云中与第一点满足预设条件的点,第一点云和第二点云中的一个为输入点云,另一个为输出点云。
确定单元620,用于根据第一点以及第二点的位置信息,确定第一点与第二点之间的失真信息。
其中,第一点与第二点之间的失真程度与第一点的权重配置和/或第二点的权重配置相关,第一点的权重配置和/或第二点的权重配置与位置信息相关。
本申请在计算点云的失真时,可以为点云中不同位置信息的点配置不同的权重,从而可以使得,基于点云失真进行的点云质量评价,适用于实际应用中点云中不同位置信息的点的物理意义不同的场景,从而使得点云质量评价较为符合点云的实际情况。
可选地,第一点云以及第二点云为动态获取点云。
可选地,第一点的权重配置和/或第二点的权重配置,与位置信息在参考坐标系下的位置分量的权重配置相关。
可选地,位置分量用于确定第一点或第二点与参考坐标系中的原点的第一距离;位置分量的权重配置与第一距离相关。
可选地,位置分量的权重配置与第一距离呈负相关。
可选地,位置分量包括距离分量,位置分量的权重配置包括用于表征距离分量的权重配置。
可选地,位置分量用于确定参考坐标系中的原点至第一点或第二点的沿线方向,与水平方向或竖直方向之间形成的夹角的角度;位置分量的权重配置与第一点对应的第一角度和/或第二点对应的第二角度相关。
可选地,位置分量的权重配置与第一角度、第二角度之和呈三角函数的关系。
可选地,位置分量包括水平方位分量,位置分量的权重配置包括用于表征水平方位分量的权重。
可选地,三角函数包括余弦三角函数。
可选地,确定单元620用于,对位置信息中的至少一个位置分量进行权重配置,得到不同于位置信息的目标位置信息;基于目标位置信息,确定第一点和第二点之间的失真信息。
可选地,参考坐标系包括笛卡尔坐标系。
可选地,确定单元620用于,将位置信息从参考坐标系转换至目标坐标系,并根据按照非均匀量化方法对转换后的位置信息中的至少一个位置分量进行权重配置,得到不同于位置信息的目标位置信息。
可选地,确定单元620用于,将位置信息从参考坐标系转换至目标坐标系,并对转换后的位置信息中的至少一个位置分量进行权重配置,得到不同于位置信息的目标位置信息。
可选地,目标坐标系包括球坐标系。
可选地,目标位置信息中的各个位置分量是根据预设量化因子得到的。
可选地,目标位置信息中的位置分量包括距离分量,目标位置信息中的距离分量是基于非均匀量化方法进行了权重配置的。
可选地,非均匀量化方法包括倒数距离。
可选地,第一点与第二点满足预设条件包括确定第一点和第二点之间的第二距离最近。
可选地,确定单元620还用于,根据第一点与第二点之间的失真信息,确定第一点云与第二点云之间的失真信息。
可选地,确定单元620用于,对第一点云、第二点云中所有满足预设条件的第一点与第二点之间的失真信息进行累加,并根据累加结果确定第一点云与第二点云之间的失真信息。
可选地,在一些实施例中,该装置600为点云编码器,该装置600还包括:编码单元,用于根据第一点与第二点之间的失真信息,对输入点云进行编码处理;其中,输出点云为输入点云在点云编码器的编码过程中得到的预解码点云。
可选地,该编码单元用于,基于率失真优化方法以及第一点与第二点之间的失真信息,对输入点云进行编码处理。
可选地,该编码单元用于,基于率失真优化方法以及第一点与第二点之间的失真信息,选择输入点云的编码模式和/或编码策略;根据选择到的编码模式和/或编码策略,对输入点云进行编码处理。
图7为本发明另一实施例提供的点云处理的装置700的示意性框图,该装置700包括如下单元。
获取单元710,用于获取输入点云和输出点云。
确定单元720,用于根据输入点云和/或输出点云中的点的失真信息,确定输入点云和输出点云之间的失真信息。其中,输入点云和/或输出点云中的至少两个点的权重配置不同。
可选地,确定单元720用于,通过上文方法实施例提供的方法200获取输入点云和/或输出点云中的点的失真信息。
本申请在计算点云的失真时,可以为点云中不同位置信息的点配置不同的权重,从而可以使得,基于点云失真进行的点云质量评价,适用于实际应用中点云中不同位置信息的点的物理意义不同的场景,从而使得点云质量评价较为符合点云的实际情况。
如图8所示,本发明实施例还提供一种点云处理的装置800,该装置800包括处理器810与存储器820,该存储器820用于存储指令,该处理器810用于执行该存储器820存储的指令,并且对该存储器820中存储的指令的执行使得,该处理器810用于执行上文方法实施例的方法。
可选地,该点云处理装置800还包括收发器830,用于从外部获取待处理的点云,或者,用于输出点云处理结果,例如,输出点云相对于输入点云的失真信息。
本发明实施例还提供一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得,该计算机执行上文方法实施例的方法。
本发明实施例还提供一种包含指令的计算机程序产品,其特征在于,该指令被计算机执行时使得计算机执行上文方法实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (55)

1.一种点云处理的方法,其特征在于,包括:
获取第一点与第二点,所述第一点为第一点云中的点,所述第二点为第二点云中与所述第一点满足预设条件的点,所述第一点云和所述第二点云中的一个为输入点云,另一个为输出点云;
根据所述第一点以及所述第二点的位置信息,确定所述第一点与所述第二点之间的失真信息;
其中,所述第一点与所述第二点之间的失真程度与第一点的权重配置和/或所述第二点的权重配置相关,第一点的权重配置和/或所述第二点的权重配置与所述位置信息相关。
2.根据权利要求1所述的方法,其特征在于,所述第一点云以及所述第二点云为动态获取点云。
3.根据权利要求1所述的方法,其特征在于,所述第一点的权重配置和/或所述第二点的权重配置,与所述位置信息在参考坐标系下的位置分量的权重配置相关。
4.根据权利要求3所述的方法,其特征在于,所述位置分量用于确定所述第一点或所述第二点与所述参考坐标系中的原点的第一距离;
所述位置分量的权重配置与所述第一距离相关。
5.根据权利要求4所述的方法,其特征在于,所述位置分量的权重配置与所述第一距离呈负相关。
6.根据权利要求5所述的方法,其特征在于,所述位置分量包括距离分量,所述位置分量的权重配置包括用于表征所述距离分量的权重配置。
7.根据权利要求2所述的方法,其特征在于,所述位置分量用于确定所述参考坐标系中的原点至所述第一点或所述第二点的沿线方向,与水平方向或竖直方向之间形成的夹角的角度;
所述位置分量的权重配置与所述第一点对应的第一角度和/或所述第二点对应的第二角度相关。
8.根据权利要求7所述的方法,其特征在于,所述位置分量的权重配置与所述第一角度、所述第二角度之和呈三角函数的关系。
9.根据权利要求8所述的方法,其特征在于,所述位置分量包括水平方位分量,所述位置分量的权重配置包括用于表征所述水平方位分量的权重。
10.根据权利要求8所述的方法,其特征在于,所述三角函数包括余弦三角函数。
11.根据权利要求2至10中任一项所述的方法,其特征在于,所述根据所述第一点和/或所述第二点的位置信息,确定所述第一点与所述第二点之间的失真信息,包括:
对所述位置信息中的至少一个所述位置分量进行权重配置,得到不同于所述位置信息的目标位置信息;
基于所述目标位置信息,确定所述第一点和所述第二点之间的失真信息。
12.根据权利要求11所述的方法,其特征在于,所述参考坐标系包括笛卡尔坐标系。
13.根据权利要求11所述的方法,其特征在于,所述对所述位置信息中的至少一个所述位置分量进行权重配置,得到不同于所述位置信息的目标位置信息,包括:
将所述位置信息从所述参考坐标系转换至目标坐标系,并根据按照非均匀量化方法对转换后的所述位置信息中的至少一个位置分量进行权重配置,得到不同于所述位置信息的目标位置信息。
14.根据权利要求11所述的方法,其特征在于,所述对所述位置信息中的至少一个所述位置分量进行权重配置,得到不同于所述位置信息的目标位置信息,包括:
将所述位置信息从所述参考坐标系转换至目标坐标系,并对转换后的所述位置信息中的至少一个位置分量进行权重配置,得到不同于所述位置信息的目标位置信息。
15.根据权利要求13或14所述的方法,其特征在于,所述目标坐标系包括球坐标系。
16.根据权利要求15所述的方法,其特征在于,所述目标位置信息中的各个位置分量是根据预设量化因子得到的。
17.根据权利要求13所述的方法,其特征在于,所述目标位置信息中的位置分量包括距离分量,所述目标位置信息中的距离分量是基于所述非均匀量化方法进行了权重配置的。
18.根据权利要求13所述的方法,其特征在于,所述非均匀量化方法包括倒数距离。
19.根据权利要求11所述的方法,其特征在于,所述第一点与所述第二点满足所述预设条件包括确定所述第一点和所述第二点之间的第二距离最近。
20.根据权利要求1至19中任一项所述的方法,其特征在于,所述方法还包括:
根据所述第一点与所述第二点之间的失真信息,确定所述第一点云与所述第二点云之间的失真信息。
21.根据权利要20所述的方法,其特征在于,所述根据所述第一点与所述第二点之间的失真信息,确定所述第一点云与所述第二点云之间的失真信息,包括:
对所述第一点云、所述第二点云中所有满足所述预设条件的所述第一点与所述第二点之间的失真信息进行累加,并根据累加结果确定所述第一点云与所述第二点云之间的失真信息。
22.根据权利要求1至19中任一项所述的方法,其特征在于,应用于点云编码器,所述方法还包括:
根据所述第一点与所述第二点之间的失真信息,对所述输入点云进行编码处理;
其中,所述输出点云为所述输入点云在所述点云编码器的编码过程中得到的预解码点云。
23.根据权利要求22所述的方法,其特征在于,所述根据所述第一点与所述第二点之间的失真信息,对所述输入点云进行编码处理,包括:
基于率失真优化方法以及所述第一点与所述第二点之间的失真信息,对所述输入点云进行编码处理。
24.根据权利要求23所述的方法,其特征在于,所述基于率失真优化方法以及所述第一点与所述第二点之间的失真信息,对所述输入点云进行编码处理,包括:
基于率失真优化方法以及所述第一点与所述第二点之间的失真信息,选择所述输入点云的编码模式和/或编码策略;
根据选择到的编码模式和/或编码策略,对所述输入点云进行编码处理。
25.一种点云处理的方法,其特征在于,包括:
获取输入点云和输出点云;
根据所述输入点云和/或所述输出点云中的点的失真信息,确定所述输入点云和所述输出点云之间的失真信息;
其中,所述输入点云和/或所述输出点云中的至少两个点的权重配置不同。
26.根据权利要求25所述的方法,其特征在于,所述输入点云和/或所述输出点云中的点的失真信息通过如权利要求1至19中任一项所述的方法获取。
27.一种点云处理的装置,其特征在于,包括:
获取单元,用于获取第一点与第二点,所述第一点为第一点云中的点,所述第二点为第二点云中与所述第一点满足预设条件的点,所述第一点云和所述第二点云中的一个为输入点云,另一个为输出点云;
确定单元,用于根据所述第一点以及所述第二点的位置信息,确定所述第一点与所述第二点之间的失真信息;
其中,所述第一点与所述第二点之间的失真程度与第一点的权重配置和/或所述第二点的权重配置相关,第一点的权重配置和/或所述第二点的权重配置与所述位置信息相关。
28.根据权利要求27所述的装置,其特征在于,所述第一点云以及所述第二点云为动态获取点云。
29.根据权利要求27所述的装置,其特征在于,所述第一点的权重配置和/或所述第二点的权重配置,与所述位置信息在参考坐标系下的位置分量的权重配置相关。
30.根据权利要求29所述的装置,其特征在于,所述位置分量用于确定所述第一点或所述第二点与所述参考坐标系中的原点的第一距离;
所述位置分量的权重配置与所述第一距离相关。
31.根据权利要求30所述的装置,其特征在于,所述位置分量的权重配置与所述第一距离呈负相关。
32.根据权利要求31所述的装置,其特征在于,所述位置分量包括距离分量,所述位置分量的权重配置包括用于表征所述距离分量的权重配置。
33.根据权利要求28所述的装置,其特征在于,所述位置分量用于确定所述参考坐标系中的原点至所述第一点或所述第二点的沿线方向,与水平方向或竖直方向之间形成的夹角的角度;
所述位置分量的权重配置与所述第一点对应的第一角度和/或所述第二点对应的第二角度相关。
34.根据权利要求33所述的装置,其特征在于,所述位置分量的权重配置与所述第一角度、所述第二角度之和呈三角函数的关系。
35.根据权利要求34所述的装置,其特征在于,所述位置分量包括水平方位分量,所述位置分量的权重配置包括用于表征所述水平方位分量的权重。
36.根据权利要求34所述的装置,其特征在于,所述三角函数包括余弦三角函数。
37.根据权利要求28至36中任一项所述的装置,其特征在于,所述确定单元用于,对所述位置信息中的至少一个所述位置分量进行权重配置,得到不同于所述位置信息的目标位置信息;基于所述目标位置信息,确定所述第一点和所述第二点之间的失真信息。
38.根据权利要求37所述的装置,其特征在于,所述参考坐标系包括笛卡尔坐标系。
39.根据权利要求37所述的装置,其特征在于,所述确定单元用于,将所述位置信息从所述参考坐标系转换至目标坐标系,并根据按照非均匀量化方法对转换后的所述位置信息中的至少一个位置分量进行权重配置,得到不同于所述位置信息的目标位置信息。
40.根据权利要求37所述的装置,其特征在于,所述确定单元用于,将所述位置信息从所述参考坐标系转换至目标坐标系,并对转换后的所述位置信息中的至少一个位置分量进行权重配置,得到不同于所述位置信息的目标位置信息。
41.根据权利要求39或40所述的装置,其特征在于,所述目标坐标系包括球坐标系。
42.根据权利要求41所述的装置,其特征在于,所述目标位置信息中的各个位置分量是根据预设量化因子得到的。
43.根据权利要求39所述的装置,其特征在于,所述目标位置信息中的位置分量包括距离分量,所述目标位置信息中的距离分量是基于所述非均匀量化方法进行了权重配置的。
44.根据权利要求39所述的装置,其特征在于,所述非均匀量化方法包括倒数距离。
45.根据权利要求37所述的装置,其特征在于,所述第一点与所述第二点满足所述预设条件包括确定所述第一点和所述第二点之间的第二距离最近。
46.根据权利要求27至45中任一项所述的装置,其特征在于,所述确定单元还用于,根据所述第一点与所述第二点之间的失真信息,确定所述第一点云与所述第二点云之间的失真信息。
47.根据权利要46所述的装置,其特征在于,所述确定单元用于,对所述第一点云、所述第二点云中所有满足所述预设条件的所述第一点与所述第二点之间的失真信息进行累加,并根据累加结果确定所述第一点云与所述第二点云之间的失真信息。
48.根据权利要求27至45中任一项所述的装置,其特征在于,应用于点云编码器,所述装置还包括:
编码单元,用于根据所述第一点与所述第二点之间的失真信息,对所述输入点云进行编码处理;
其中,所述输出点云为所述输入点云在所述点云编码器的编码过程中得到的预解码点云。
49.根据权利要求48所述的装置,其特征在于,所述编码单元用于,基于率失真优化方法以及所述第一点与所述第二点之间的失真信息,对所述输入点云进行编码处理。
50.根据权利要求49所述的装置,其特征在于,所述编码单元用于,基于率失真优化方法以及所述第一点与所述第二点之间的失真信息,选择所述输入点云的编码模式和/或编码策略;根据选择到的编码模式和/或编码策略,对所述输入点云进行编码处理。
51.一种点云处理的装置,其特征在于,包括:
获取单元,用于获取输入点云和输出点云;
确定单元,用于根据所述输入点云和/或所述输出点云中的点的失真信息,确定所述输入点云和所述输出点云之间的失真信息;
其中,所述输入点云和/或所述输出点云中的至少两个点的权重配置不同。
52.根据权利要求51所述的装置,其特征在于,所述确定单元用于,通过如权利要求1至19中任一项所述的方法获取所述输入点云和/或所述输出点云中的点的失真信息。
53.一种点云处理的装置,其特征在于,包括:存储器与处理器,所述存储器用于存储指令,所述处理器用于执行所述存储器存储的指令,并且对所述存储器中存储的指令的执行使得,所述处理器用于执行如权利要求1至26中任一项所述的方法。
54.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被计算机执行时,使得所述计算机执行如权利要求1至26中任一项所述的方法。
55.一种包含指令的计算机程序产品,其特征在于,所述指令被计算机执行时使得计算机执行如权利要求1至26中任一项所述的方法。
CN201980039249.4A 2019-06-12 2019-06-12 点云处理的方法与装置 Active CN112385222B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/090995 WO2020248176A1 (zh) 2019-06-12 2019-06-12 点云处理的方法与装置

Publications (2)

Publication Number Publication Date
CN112385222A true CN112385222A (zh) 2021-02-19
CN112385222B CN112385222B (zh) 2023-11-10

Family

ID=73780804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039249.4A Active CN112385222B (zh) 2019-06-12 2019-06-12 点云处理的方法与装置

Country Status (2)

Country Link
CN (1) CN112385222B (zh)
WO (1) WO2020248176A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298950A (zh) * 2021-05-13 2021-08-24 京东鲲鹏(江苏)科技有限公司 一种物体属性的确定方法、装置、电子设备和存储介质
WO2022188582A1 (zh) * 2021-03-12 2022-09-15 腾讯科技(深圳)有限公司 点云中邻居点的选择方法、装置及编解码器
WO2022247705A1 (zh) * 2021-05-26 2022-12-01 荣耀终端有限公司 一种点云属性信息的预测编解码方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007432A (zh) * 2014-05-16 2014-08-27 武汉大学 一种检查机载激光雷达平面精度的地标布设方法
CN105678076A (zh) * 2016-01-07 2016-06-15 福州华鹰重工机械有限公司 点云测量数据质量评估优化的方法及装置
CN106127250A (zh) * 2016-06-24 2016-11-16 深圳市唯特视科技有限公司 一种基于三维点云数据的人脸质量评估方法
CN107767375A (zh) * 2017-11-02 2018-03-06 广东电网有限责任公司电力科学研究院 一种点云质量评估方法及装置
US20180276884A1 (en) * 2017-03-27 2018-09-27 Mitsubishi Electric Research Laboratories, Inc. Fast T-spline Fitting System and Method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007432A (zh) * 2014-05-16 2014-08-27 武汉大学 一种检查机载激光雷达平面精度的地标布设方法
CN105678076A (zh) * 2016-01-07 2016-06-15 福州华鹰重工机械有限公司 点云测量数据质量评估优化的方法及装置
CN106127250A (zh) * 2016-06-24 2016-11-16 深圳市唯特视科技有限公司 一种基于三维点云数据的人脸质量评估方法
US20180276884A1 (en) * 2017-03-27 2018-09-27 Mitsubishi Electric Research Laboratories, Inc. Fast T-spline Fitting System and Method
WO2018179532A1 (en) * 2017-03-27 2018-10-04 Mitsubishi Electric Corporation System and method for representing point cloud of scene
CN107767375A (zh) * 2017-11-02 2018-03-06 广东电网有限责任公司电力科学研究院 一种点云质量评估方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张娟,等: "利用显著性的点云模型客观质量评价", 应用科学学报, vol. 32, no. 5, pages 1 - 3 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022188582A1 (zh) * 2021-03-12 2022-09-15 腾讯科技(深圳)有限公司 点云中邻居点的选择方法、装置及编解码器
US12113963B2 (en) 2021-03-12 2024-10-08 Tencent Technology (Shenzhen) Company Limited Method and apparatus for selecting neighbor point in point cloud, encoder, and decoder
CN113298950A (zh) * 2021-05-13 2021-08-24 京东鲲鹏(江苏)科技有限公司 一种物体属性的确定方法、装置、电子设备和存储介质
CN113298950B (zh) * 2021-05-13 2024-04-19 京东鲲鹏(江苏)科技有限公司 一种物体属性的确定方法、装置、电子设备和存储介质
WO2022247705A1 (zh) * 2021-05-26 2022-12-01 荣耀终端有限公司 一种点云属性信息的预测编解码方法及装置

Also Published As

Publication number Publication date
WO2020248176A1 (zh) 2020-12-17
CN112385222B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US20200092584A1 (en) Methods and devices for encoding and reconstructing a point cloud
CN112385222B (zh) 点云处理的方法与装置
JP2019521417A (ja) シーンを表す点群を符号化する方法、符号化器システム、及びプログラムを記憶した非一時的コンピューター可読記録媒体
CN113179410B (zh) 一种点云属性的编解码方法、装置和系统
US11956470B2 (en) Predictor index signaling for predicting transform in geometry-based point cloud compression
EP2777018A1 (en) Predictive position encoding
EP2777019A1 (en) Predictive position decoding
EP3595179B1 (en) Methods and devices for lossy coding of point cloud occupancy
CN113096198B (zh) 一种双向点云属性预测压缩方法,装置,设备及介质
JP7520223B2 (ja) 点群階層化方法、デコーダ、エンコーダ及び記憶媒体
WO2022062369A1 (zh) 点云编解码方法与系统、及点云编码器与点云解码器
CN112384950A (zh) 点云的编解码方法及装置
CN112740702A (zh) 点云的编解码方法和装置
US20240144583A1 (en) Learned Volumetric Attribute Compression Using Coordinate-Based Networks
WO2022131948A1 (en) Devices and methods for sequential coding for point cloud compression
US20220327744A1 (en) Apparatus and method for processing point cloud data
CN115102934B (zh) 点云数据的解码方法、编码方法、装置、设备及存储介质
CN115396668A (zh) 点云数据的解码方法、编码方法、装置、存储介质及设备
CN115474035A (zh) 点云属性编码方法、装置、解码方法、装置及相关设备
CN115086716A (zh) 点云中邻居点的选择方法、装置及编解码器
CN112384955A (zh) 三维数据点的编解码方法和装置
WO2022217611A1 (zh) 编解码方法及相关设备、存储介质
WO2024008019A1 (en) Method, apparatus, and medium for point cloud coding
WO2023116897A1 (en) Method, apparatus, and medium for point cloud coding
US20240303871A1 (en) Information processing device and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant