CN116797704B - 点云数据处理方法、系统、装置、电子设备及存储介质 - Google Patents

点云数据处理方法、系统、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116797704B
CN116797704B CN202311069610.2A CN202311069610A CN116797704B CN 116797704 B CN116797704 B CN 116797704B CN 202311069610 A CN202311069610 A CN 202311069610A CN 116797704 B CN116797704 B CN 116797704B
Authority
CN
China
Prior art keywords
voxel
point cloud
determining
coordinate
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311069610.2A
Other languages
English (en)
Other versions
CN116797704A (zh
Inventor
詹景麟
刘铁军
张晶威
陈三霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Original Assignee
Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd filed Critical Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority to CN202311069610.2A priority Critical patent/CN116797704B/zh
Publication of CN116797704A publication Critical patent/CN116797704A/zh
Application granted granted Critical
Publication of CN116797704B publication Critical patent/CN116797704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种点云数据处理方法、系统、装置、电子设备及存储介质,涉及信息识别技术领域,旨在解决传统技术中由于均匀分割体素网格所导致的无法在点云数据处理过程中实现准确性和高效性的有效平衡问题,所述点云数据处理方法包括:获取目标点云数据的三维坐标范围和点云设备的基本参数;所述基本参数包括所述点云设备的位置信息、视场角信息、角度分辨率;根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点;按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理。

Description

点云数据处理方法、系统、装置、电子设备及存储介质
技术领域
本发明涉及信息识别技术领域,特别涉及一种点云数据处理方法、系统、装置、电子设备及计算机可读存储介质。
背景技术
点云数据是一种由大量3D空间点组成的几何数据结构,通过对此类数据的分析、处理,可以识别物体的种类、方向以及位置等,被广泛应用于自动驾驶、机器人视觉等领域。
在相关技术中,在对点云数据进行信息采集以实现点云数据处理时,会先将点云数据所在的三维体素均匀分割为一定数量的体素网格,然后通过对体素网格中的数据点进行信息采集从而实现点云数据处理。然而,点云数据存在排列无序、数据点数量和密度变化不规则两个特性,其中,排列无序是指:点云数据中数据点的排列顺序是随机的,与图像数据的固定栅格结构不同;数据点数量和密度变化不规则是指:在点云数据集中,不同帧点云数据包含的数据点个数差异大,同时在单帧点云数据中,数据点的密度和分布是随机的,既包含稀疏区域也包含密集区域。
因此,均匀分割所得的体素网格难以在保留原始数据空间细节信息和减少硬件资源(存储、计算等)消耗方面获得平衡。若为了尽可能避免有效信息的损失,需要尽可能减小单个体素网格的尺寸,而减小的体素网格将会导致硬件资源消耗的指数级增加;若为了加速计算而使用较大的体素网格,不可避免地会引入一定程度的信息损失,从而对后续算法开发带来障碍。
因此,如何在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,进而实现高效且准确的点云数据处理是本领域技术人员亟需解决的技术问题。
发明内容
本发明的目的是提供一种点云数据处理方法,该点云数据处理方法可以在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,进而实现了高效且准确的点云数据处理;本发明的另一目的是提供一种点云数据处理系统、装置、电子设备以及计算机可读存储介质,同样具有上述有益效果。
第一方面,本发明提供了一种点云数据处理方法,包括:
获取目标点云数据的三维坐标范围和点云设备的基本参数;所述基本参数包括所述点云设备的位置信息、视场角信息、角度分辨率;
根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点;
按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理。
可选地,所述按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格,包括:
对于每一所述三维体素边,确定所述三维体素边上任意相邻的两个所述分割点的中间点;
按照所述中间点对所述三维体素边进行网格分割,获得所述不均匀体素网格。
可选地,所述视场角信息包括垂直视场角范围和水平视场角范围;所述角度分辨率包括水平角分辨率和垂直角分辨率;所述三维体素边包括长体素边、宽体素边、高体素边;
所述根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点,包括:
根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述长体素边的各所述分割点;
根据所述三维坐标范围、所述水平视场角范围、所述水平角分辨率计算确定所述宽体素边的各所述分割点;
根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述高体素边的各所述分割点。
可选地,所述根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述长体素边的各所述分割点,包括:
根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的X轴坐标区间;
根据所述位置信息确定所述点云设备的安装高度;
根据所述垂直视场角范围确定垂直视场角度最小值;
根据所述垂直视场角范围和所述垂直角分辨率确定所述点云设备在垂直方向的各扫描光束;
对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的第一距离;
根据各所述第一距离确定所述X轴坐标区间的各分割点,并作为所述长体素边的各所述分割点。
可选地,所述对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的第一距离,包括:
根据所述X轴坐标区间确定X轴正向坐标区间和X轴负向坐标区间;
对于所述X轴正向坐标区间内的每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的所述第一距离;
相应地,所述根据各所述第一距离确定所述X轴坐标区间的各分割点,并作为所述长体素边的各所述分割点,包括:
根据各所述第一距离确定所述X轴正向坐标区间的各分割点;
对于所述X轴正向坐标区间的各分割点,根据X轴对称性确定所述X轴负向坐标区间的各分割点;
将所述X轴正向坐标区间的各分割点和所述X轴负向坐标区间的各分割点作为所述长体素边的各所述分割点。
可选地,所述对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的第一距离,包括:
对于每一所述扫描光束,根据所述垂直视场角度最小值和所述垂直角分辨率确定所述扫描光束对应的垂直视场角度值;
根据所述安装高度和所述垂直视场角度值进行几何计算,获得所述扫描光束传播到地面的所述第一距离。
可选地,所述根据所述三维坐标范围、所述水平视场角范围、所述水平角分辨率计算确定所述宽体素边的各所述分割点,包括:
根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的Y轴坐标区间,并确定所述Y轴坐标区间的Y轴正向坐标最大值;
根据所述水平视场角范围和所述水平角分辨率确定所述点云设备在水平方向的各扫描光束;
对于每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离;
根据各所述第二距离确定所述Y轴坐标区间的各分割点,并作为所述宽体素边的各所述分割点。
可选地,所述对于每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离,包括:
根据所述Y轴坐标区间确定Y轴正向坐标区间和Y轴负向坐标区间;
对于所述Y轴正向坐标区间内的每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的所述第二距离;
相应地,所述根据各所述第二距离确定所述Y轴坐标区间的各分割点,并作为所述宽体素边的各所述分割点,包括:
根据各所述第二距离确定所述Y轴正向坐标区间的各分割点;
对于所述Y轴正向坐标区间的各分割点,根据Y轴对称性确定所述Y轴负向坐标区间的各分割点;
将所述Y轴正向坐标区间的各分割点和所述Y轴负向坐标区间的各分割点作为所述宽体素边的各所述分割点。
可选地,所述对于每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离,包括:
对于每一所述扫描光束,根据所述水平角分辨率确定所述扫描光束对应的水平视场角度值;
根据所述Y轴正向坐标最大值和所述水平视场角度值进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的所述第二距离。
可选地,所述根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述高体素边的各所述分割点,包括:
根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的Z轴坐标区间和X轴正向坐标最大值;
根据所述位置信息确定所述点云设备的安装高度;
根据所述垂直视场角范围确定垂直视场角度最小值;
根据所述垂直视场角范围和所述垂直角分辨率确定所述点云设备在垂直方向的各扫描光束;
对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率、所述X轴正向坐标最大值进行几何计算,获得所述扫描光束在传播到所述X轴正向坐标最大值对应的位置时,与地面的第三距离;
根据各所述第三距离确定所述Z轴坐标区间的各分割点,并作为所述高体素边的各所述分割点。
可选地,所述对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率、所述X轴正向坐标最大值进行几何计算,获得所述扫描光束在传播到所述X轴正向坐标最大值对应的位置时,与地面的第三距离,包括:
对于每一所述扫描光束,根据所述垂直视场角度最小值和所述垂直角分辨率确定所述扫描光束对应的垂直视场角度值和符号函数值;
根据所述安装高度、所述垂直视场角度值、所述符号函数值、所述X轴正向坐标最大值进行几何计算,获得所述扫描光束在传播到所述X轴正向坐标最大值对应的位置时,与地面的所述第三距离。
可选地,所述对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理,包括:
对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;
对各所述不均匀体素网格的特征信息进行分析处理,以实现对所述目标点云数据的处理。
可选地,所述对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息,包括:
对于每一所述不均匀体素网格,确定所述不均匀体素网格内数据点的实际数量;
根据所述实际数量确定所述不均匀体素网格的可采样数量;
对于每一所述可采样数量,列举所述可采样数量对应的所有采样组合方式;
根据各所述采样组合方式进行信息采样,直至获得所述预设采样数量个数据点的特征信息。
可选地,所述根据各所述采样组合方式进行信息采样,直至获得所述预设采样数量个数据点的特征信息之前,还包括:
对于每一所述可采样数量,当所述可采样数量对应的所述采样组合方式的数量超出所述预设采样数量时,将所述可采样数量对应的所有所述采样组合方式剔除。
可选地,所述根据各所述采样组合方式进行信息采样,直至获得所述预设采样数量个数据点的特征信息,包括:
当根据各所述采样组合方式进行信息采样,获得实际采样数量个数据点的特征信息时,若所述实际采样数量低于所述预设采样数量,则返回所述对于每一所述不均匀体素网格,确定所述不均匀体素网格内数据点的实际数量的步骤,直至获得所述预设采样数量个数据点的特征信息。
可选地,所述对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息,包括:
对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;所述特征信息包括对应数据点的三维坐标和反射率。
可选地,所述对各所述不均匀体素网格的特征信息进行分析处理,以实现对所述目标点云数据的处理,包括:
利用基于深度学习神经网络的点云数据识别模型对各所述不均匀体素网格的特征信息进行识别,确定所述目标点云数据的识别结果。
第二方面,本发明还公开了一种点云数据处理系统,包括:
非均匀体素网格划分器,用于获取目标点云数据的三维坐标范围和点云设备的基本参数;所述基本参数包括所述点云设备的位置信息、视场角信息、角度分辨率;根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点;按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
点云采样处理器,用于对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理。
可选地,所述视场角信息包括垂直视场角范围和水平视场角范围;所述角度分辨率包括水平角分辨率和垂直角分辨率;所述三维体素边包括长体素边、宽体素边、高体素边;所述非均匀体素网格划分器包括:
长体素边非均匀分割点求解器,用于根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述长体素边的各所述分割点;
宽体素边非均匀分割点求解器,用于根据所述三维坐标范围、所述水平视场角范围、所述水平角分辨率计算确定所述宽体素边的各所述分割点;
高体素边非均匀分割点求解器,用于根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述高体素边的各所述分割点。
可选地,所述点云采样处理器包括:
点云采样器,用于对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;
点云处理器,用于对各所述不均匀体素网格的特征信息进行分析处理,以实现对所述目标点云数据的处理。
可选地,所述点云采样器具体为体素网格数据点数量均衡器;
所述体素网格数据点数量均衡器具体用于对于每一所述不均匀体素网格,确定所述不均匀体素网格内数据点的实际数量;根据所述实际数量确定所述不均匀体素网格的可采样数量;对于每一所述可采样数量,列举所述可采样数量对应的所有采样组合方式;根据各所述采样组合方式进行信息采样,直至获得所述预设采样数量个数据点的特征信息。
可选地,所述点云处理器具体为深度学习神经网络计算处理器;
所述深度学习神经网络计算处理器具体用于利用基于深度学习神经网络的点云数据识别模型对各所述不均匀体素网格的特征信息进行识别,确定所述目标点云数据的识别结果。
第三方面,本发明还公开了一种点云数据处理装置,包括:
获取模块,用于获取目标点云数据的三维坐标范围和点云设备的基本参数;所述基本参数包括所述点云设备的位置信息、视场角信息、角度分辨率;
确定模块,用于根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点;
分割模块,用于按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
采样模块,用于对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理。
第四方面,本发明公开了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的任意一种点云数据处理方法的步骤。
第五方面,本发明公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的任意一种点云数据处理方法的步骤。
本发明所提供的一种点云数据处理方法,包括:获取目标点云数据的三维坐标范围和点云设备的基本参数;所述基本参数包括所述点云设备的位置信息、视场角信息、角度分辨率;根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点;按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理。
应用本发明所提供的技术方案,具有如下有益效果:
本发明所提供的点云数据处理方法,针对目标点云数据,利用其三维坐标范围和点云设备基本参数(包括其位置信息、视场角信息和角度分辨率)实现了各三维体素边上关于体素网格分割点的确定,由此,按照各个分割点对相应的三维体素边进行网格分割,即可得到多个不均匀体素网格,从而实现体素网格的不均匀划分,由此,实现了适配点云数据的整体密度分布变化的体素网格尺寸设计,可以最大程度地平衡不同体素网格内的数据点数量,有效地解决了传统点云数据处理过程中由于均匀体素网格划分导致的硬件资源利用率和原始数据信息留存率的矛盾问题,因此,该技术方案可以在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,进一步实现了高效且准确的点云数据处理。
本发明还公开了一种点云数据处理系统、装置、电子设备以及计算机可读存储介质,同样具有上述技术效果,本发明在此不再赘述。
附图说明
为了更清楚地说明现有技术和本发明实施例中的技术方案,下面将对现有技术和本发明实施例描述中需要使用的附图作简要的介绍。当然,下面有关本发明实施例的附图描述的仅仅是本发明中的一部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图,所获得的其他附图也属于本发明的保护范围。
图1为现有技术中一种点云数据处理方法的原理示意图;
图2为本发明所提供的一种点云数据处理方法的流程示意图;
图3为本发明所提供的一种点云数据处理系统的结构示意图;
图4为本发明所提供的一种非均匀体素网格划分方法的原理示意图;
图5为本发明所提供的一种点云数据处理方法的原理示意图;
图6为本发明所提供的另一种点云检测系统的结构示意图;
图7为本发明所提供的一种点云数据处理装置的结构示意图;
图8为本发明所提供的一种电子设备的结构示意图。
具体实施方式
本发明的核心是提供一种点云数据处理方法,该点云数据处理方法可以在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,进而实现了高效且准确的点云数据处理;本发明的另一核心是提供一种点云数据处理系统、装置、电子设备以及计算机可读存储介质,同样具有上述有益效果。
为了对本发明实施例中的技术方案进行更加清楚、完整地描述,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行介绍。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一、本发明实施例提供了一种点云数据处理方法。
首先,请参考图1,图1为现有技术中一种点云数据处理方法的原理示意图,其实现流程为:首先,固定点云数据三维坐标范围以及单个体素网格的长宽高尺寸,将原始点云数据均匀划分为L×W×H(L表示三维体素长度,W表示三维体素宽度,H表示三维体素高度)个体素网格;然后,通过对数据点数量较多的体素网格进行数据降采样、对数据点数量较少的体素网格进行数据重复采样的方式,统一体素网格的数据点个数T;最后,对每个体素网格中包含的T个数据点的体素特征信息进行提取,即可获得单个体素网格特征。
然而,点云数据存在排列无序、数据点数量和密度变化不规则两个特性,其中,排列无序是指:点云数据中数据点的排列顺序是随机的,与图像数据的固定栅格结构不同;数据点数量和密度变化不规则是指:在点云数据集中,不同帧点云数据包含的数据点个数差异大,同时在单帧点云数据中,数据点的密度和分布是随机的,既包含稀疏区域也包含密集区域。因此,均匀分割所得的体素网格难以在保留原始数据空间细节信息和减少硬件资源(存储、计算等)消耗方面获得平衡。若为了尽可能避免有效信息的损失,需要尽可能减小单个体素网格的尺寸,而减小的体素网格将会导致硬件资源消耗的指数级增加;若为了加速计算而使用较大的体素网格,不可避免地会引入一定程度的信息损失,从而对后续算法开发带来障碍。
因此,为解决上述技术问题,本发明提出了下述点云数据处理方法,旨解决传统点云数据处理过程中由于均匀体素网格划分导致的硬件资源利用率和原始数据信息留存率的矛盾问题,也就是在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,以便于实现高效且准确的点云数据处理。
进一步,请参考图2,图2为本发明所提供的一种点云数据处理方法的流程示意图,该点云数据处理方法可以包括S101~S104。
S101:获取目标点云数据的三维坐标范围和点云设备的基本参数;基本参数包括点云设备的位置信息、视场角信息、角度分辨率。
本步骤旨在实现目标点云数据和点云设备的相关信息的获取,其中,目标点云数据即为当前待处理的点云数据,点云设备即用于采集目标点云数据的采集设备,一般为激光雷达,可通过激光光束实现目标点云数据的扫描进而实现目标点云数据的采集。目标点云数据的相关信息包括目标点云数据在三维坐标系中分布的三维坐标范围;点云设备的相关信息包括位置信息、视场角信息、角度分辨率,其中,位置信息可以包括点云设备相较于目标点云数据的位置信息、安装高度等,视场角信息即点云设备可进行数据采集的视场角范围,角度分辨率即点云设备中相邻扫描光束(如上述激光光束)的夹角。可以理解的是,本步骤中所获取到的关于目标点云数据和点云设备的相关信息,主要应用于后续步骤中以实现体素网格分割计算。
S102:根据三维坐标范围和基本参数确定目标点云数据对应的各三维体素边的分割点。
本步骤旨在实现目标点云数据对应的各三维体素边的分割点的确定。可以理解的是,目标点云数据本身是不规则、不均匀分布的,基于其三维坐标范围可以建模得到一个包含有整个目标点云数据的规则立方体,那么,该规则立方体的三条边即三维体素边(对应于长宽高)。为实现该规则立方体的体素网格分割,需要先确定各三维体素边的分割点,由此,即可按照每条三维体素边上的分割点实现体素网格划分。其中,各三维体素边的分割点可以根据S101中所获取到的关于目标点云数据和点云设备的各类数据信息计算获得。需要说明的是,本步骤中通过数据计算确定的各个分割点在对应的三维体素边上是不均匀分布的,即相邻分割点之间的距离可能各不相同,以便于实现不均匀体素网格的划分。
S103:按照各分割点对相应的三维体素边进行网格分割,获得不均匀体素网格。
本步骤旨在实现体素网格分割,得到各个不均匀体素网格。具体而言,在确定每一三维体素边上的分割点之后,按照各个分割点对相应的三维体素边进行分割即可,从而实现将建模得到的包含有整个目标点云数据的规则立方体划分为多个不均匀体素网格。
S104:对各不均匀体素网格内的点云数据进行信息采样,以实现对目标点云数据的处理。
本步骤旨在通过对各个不均匀体素网格内点云数据的处理实现目标点云数据的处理。在实现过程中,对于每一个不均匀体素网格,可以对其中分布的点云数据(目标点云数据中分布于当前不均匀体素网格的部分点云数据)进行信息采样,如特征提取等处理操作,从而实现对整个目标点云数据的处理。
可见,本发明实施例所提供的点云数据处理方法,针对目标点云数据,利用其三维坐标范围和点云设备基本参数(包括其位置信息、视场角信息和角度分辨率)实现了各三维体素边上关于体素网格分割点的确定,由此,按照各个分割点对相应的三维体素边进行网格分割,即可得到多个不均匀体素网格,从而实现体素网格的不均匀划分,由此,实现了适配点云数据的整体密度分布变化的体素网格尺寸设计,可以最大程度地平衡不同体素网格内的数据点数量,有效地解决了传统点云数据处理过程中由于均匀体素网格划分导致的硬件资源利用率和原始数据信息留存率的矛盾问题,因此,该技术方案可以在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,进一步实现了高效且准确的点云数据处理。
在上述实施例的基础上:
在本发明的一个实施例中,上述按照各分割点对相应的三维体素边进行网格分割,获得不均匀体素网格,可以包括:
对于每一三维体素边,确定三维体素边上任意相邻的两个分割点的中间点;
按照中间点对三维体素边进行网格分割,获得不均匀体素网格。
具体而言,在确定每一三维体素边上的各个分割点之后,对于每一三维体素边,可进一步确定该三维体素边上任意相邻的两个分割点之间的中间点,由此,即可按照该中间点对相应的三维体素边进行网格分割,可以在不影响点云数据处理准确性的同时,减少计算量,提高计算效率。
在本发明的一个实施例中,视场角信息包括垂直视场角范围和水平视场角范围;角度分辨率包括水平角分辨率和垂直角分辨率;三维体素边包括长体素边、宽体素边、高体素边;
上述根据三维坐标范围和基本参数确定目标点云数据对应的各三维体素边的分割点,可以包括:
根据三维坐标范围、位置信息、垂直视场角范围、垂直角分辨率计算确定长体素边的各分割点;
根据三维坐标范围、水平视场角范围、水平角分辨率计算确定宽体素边的各分割点;
根据三维坐标范围、位置信息、垂直视场角范围、垂直角分辨率计算确定高体素边的各分割点。
如上所述,为实现体素网格分割,需要先确定各三维体素边的分割点,并且,三维体素边可包括长体素边、宽体素边、高体素边,本实施例则提供了一种确定各三维体素边的分割点的实现方法。首先,视场角信息主要包括垂直视场角范围(即在点云设备的扫描光束在垂直方向上的视场角范围)和水平视场角范围(即在点云设备的扫描光束在水平方向上的视场角范围),角度分辨率包括水平角分辨率(即在点云设备的扫描光束在垂直方向上的角度分辨率)和垂直角分辨率(即在点云设备的扫描光束在水平方向上的角度分辨率);进一步,即可结合目标点云数据的三维坐标范围、点云设备的位置信息、垂直视场角范围和水平视场角范围、水平角分辨率和垂直角分辨率进行空间计算,得到长体素边的各分割点、宽体素边的各分割点、高体素边的各分割点。
在本发明的一个实施例中,上述根据三维坐标范围、位置信息、垂直视场角范围、垂直角分辨率计算确定长体素边的各分割点,可以包括:
根据三维坐标范围确定目标点云数据在三维坐标系中的X轴坐标区间;
根据位置信息确定点云设备的安装高度;
根据垂直视场角范围确定垂直视场角度最小值;
根据垂直视场角范围和垂直角分辨率确定点云设备在垂直方向的各扫描光束;
对于每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率进行几何计算,获得扫描光束传播到地面的第一距离;
根据各第一距离确定X轴坐标区间的各分割点,并作为长体素边的各分割点。
本实施例提供了一种确定长体素边(长体素边对应于三维坐标系中的X坐标轴)上各个分割点的实现方法。其中,X轴坐标区间即目标点云数据中有效数据点在X坐标轴上的坐标范围[Xmin,Xmax];垂直视场角度最小值即点云设备中第一条扫描光束(所有扫描光束中的最边缘扫描光束)相较于水平方向的夹角。由此,即可利用以上各类信息进行空间几何计算,得到每一扫描光束沿直线传播到达地面的距离,即上述第一距离,进而基于各扫描光束对应的第一距离实现长体素边上各分割点的确定。
在本发明的一个实施例中,上述对于每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率进行几何计算,获得扫描光束传播到地面的第一距离,可以包括:
根据X轴坐标区间确定X轴正向坐标区间和X轴负向坐标区间;
对于X轴正向坐标区间内的每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率进行几何计算,获得扫描光束传播到地面的第一距离;
相应地,上述根据各第一距离确定X轴坐标区间的各分割点,并作为长体素边的各分割点,可以包括:
根据各第一距离确定X轴正向坐标区间的各分割点;
对于X轴正向坐标区间的各分割点,根据X轴对称性确定X轴负向坐标区间的各分割点;
将X轴正向坐标区间的各分割点和X轴负向坐标区间的各分割点作为长体素边的各分割点。
为保证计算效率,减少计算资源占用,基于X轴的对称性,可以在三维坐标系原点将X轴坐标区间划分为X轴正向坐标区间和X轴负向坐标区间,由此,则可以优先计算长体素边在X轴正向坐标区间上的分割点,然后按照对称性直接确定长体素边在X轴负向坐标区间上的分割点(当然,也可以是优先计算长体素边在X轴负向坐标区间上的分割点,然后按照对称性直接确定长体素边在X轴正向坐标区间上的分割点),相当于减少了一半的计算资源占用,减少了一半的计算数据,有效地提高了计算效率。
在本发明的一个实施例中,上述对于每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率进行几何计算,获得扫描光束传播到地面的第一距离,可以包括:
对于每一扫描光束,根据垂直视场角度最小值和垂直角分辨率确定扫描光束对应的垂直视场角度值;
根据安装高度和垂直视场角度值进行几何计算,获得扫描光束传播到地面的第一距离。
其中,垂直视场角度值是指当前扫描光束相较于水平方向的夹角,可以根据垂直视场角度最小值、垂直角分辨率以及当前扫描光束在所有扫描光束中的相对位置计算确定,即第m条扫描光束的垂直视场角度值=垂直视场角度最小值+垂直角分辨率×(m-1)。进一步,结合三角函数,根据安装高度和垂直视场角度值进行几何计算,即可得到上述第一距离。
在本发明的一个实施例中,上述根据三维坐标范围、水平视场角范围、水平角分辨率计算确定宽体素边的各分割点,可以包括:
根据三维坐标范围确定目标点云数据在三维坐标系中的Y轴坐标区间,并确定Y轴坐标区间的Y轴正向坐标最大值;
根据水平视场角范围和水平角分辨率确定点云设备在水平方向的各扫描光束;
对于每一扫描光束,根据Y轴正向坐标最大值和水平角分辨率进行几何计算,获得扫描光束在传播到Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离;
根据各第二距离确定Y轴坐标区间的各分割点,并作为宽体素边的各分割点。
本实施例提供了一种确定宽体素边(宽体素边对应于三维坐标系中的Y坐标轴)上各个分割点的实现方法。其中,Y轴坐标区间即目标点云数据中有效数据点在Y坐标轴上的坐标范围[Ymin,Ymax],Y轴正向坐标最大值即Ymax。由此,即可利用以上各类信息进行空间几何计算,得到每一扫描光束沿直线传播达到Y坐标轴极限远处Ymax时与X坐标轴的距离,即上述第二距离,进而基于各扫描光束对应的第二距离实现宽体素边上各分割点的确定。
在本发明的一个实施例中,上述对于每一扫描光束,根据Y轴正向坐标最大值和水平角分辨率进行几何计算,获得扫描光束在传播到Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离,可以包括:
根据Y轴坐标区间确定Y轴正向坐标区间和Y轴负向坐标区间;
对于Y轴正向坐标区间内的每一扫描光束,根据Y轴正向坐标最大值和水平角分辨率进行几何计算,获得扫描光束在传播到Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离;
相应地,上述根据各第二距离确定Y轴坐标区间的各分割点,并作为宽体素边的各分割点,可以包括:
根据各第二距离确定Y轴正向坐标区间的各分割点;
对于Y轴正向坐标区间的各分割点,根据Y轴对称性确定Y轴负向坐标区间的各分割点;
将Y轴正向坐标区间的各分割点和Y轴负向坐标区间的各分割点作为宽体素边的各分割点。
为保证计算效率,减少计算资源占用,基于Y轴的对称性,可以在三维坐标系原点将Y轴坐标区间划分为Y轴正向坐标区间和Y轴负向坐标区间,由此,则可以优先计算长体素边在Y轴正向坐标区间上的分割点,然后按照对称性直接确定长体素边在Y轴负向坐标区间上的分割点(当然,也可以是优先计算长体素边在Y轴负向坐标区间上的分割点,然后按照对称性直接确定长体素边在Y轴正向坐标区间上的分割点),相当于减少了一半的计算资源占用,减少了一半的计算数据,有效地提高了计算效率。
在本发明的一个实施例中,上述对于每一扫描光束,根据Y轴正向坐标最大值和水平角分辨率进行几何计算,获得扫描光束在传播到Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离,可以包括:
对于每一扫描光束,根据水平角分辨率确定扫描光束对应的水平视场角度值;
根据Y轴正向坐标最大值和水平视场角度值进行几何计算,获得扫描光束在传播到Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离。
其中,水平视场角度值是指当前扫描光束相较于垂直方向的夹角,可以根据水平角分辨率以及当前扫描光束在所有扫描光束中的相对位置计算确定,即第m条扫描光束的水平视场角度值=(-π/2)+垂直角分辨率×(m-1)。进一步,结合三角函数,根据Y轴正向坐标最大值和水平视场角度值进行几何计算,即可得到上述第二距离。
在本发明的一个实施例中,上述根据三维坐标范围、位置信息、垂直视场角范围、垂直角分辨率计算确定高体素边的各分割点,可以包括:
根据三维坐标范围确定目标点云数据在三维坐标系中的Z轴坐标区间和X轴正向坐标最大值;
根据位置信息确定点云设备的安装高度;
根据垂直视场角范围确定垂直视场角度最小值;
根据垂直视场角范围和垂直角分辨率确定点云设备在垂直方向的各扫描光束;
对于每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率、X轴正向坐标最大值进行几何计算,获得扫描光束在传播到X轴正向坐标最大值对应的位置时,与地面的第三距离;
根据各第三距离确定Z轴坐标区间的各分割点,并作为高体素边的各分割点。
本实施例提供了一种确定高体素边(高体素边对应于三维坐标系中的Z坐标轴)上各个分割点的实现方法。其中,Z轴坐标区间即目标点云数据中有效数据点在Z坐标轴上的坐标范围[Zmin,Zmax];X轴正向坐标最大值即Xmax。由此,即可利用以上各类信息进行空间几何计算,得到每一扫描光束沿直线传播到达X坐标轴的极限远处Xmax时距离地面的高度,即上述第三距离,进而基于各扫描光束对应的第三距离实现高体素边上各分割点的确定。
在本发明的一个实施例中,上述对于每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率、X轴正向坐标最大值进行几何计算,获得扫描光束在传播到X轴正向坐标最大值对应的位置时,与地面的第三距离,可以包括:
对于每一扫描光束,根据垂直视场角度最小值和垂直角分辨率确定扫描光束对应的垂直视场角度值和符号函数值;
根据安装高度、垂直视场角度值、符号函数值、X轴正向坐标最大值进行几何计算,获得扫描光束在传播到X轴正向坐标最大值对应的位置时,与地面的第三距离。
其中,垂直视场角度值是指当前扫描光束相较于水平方向的夹角,可以根据垂直视场角度最小值、垂直角分辨率以及当前扫描光束在所有扫描光束中的相对位置计算确定,即第m条扫描光束的垂直视场角度值=垂直视场角度最小值+垂直角分辨率×(m-1)-π/2。进一步,结合三角函数和符号函数,根据安装高度、垂直视场角度值、符号函数值、X轴正向坐标最大值进行几何计算,即可得到上述第三距离。其中,符号函数是一个逻辑函数,用以判断实数的正负号。
在本发明的一个实施例中,上述对各不均匀体素网格内的点云数据进行信息采样,以实现对目标点云数据的处理,可以包括:
对每一不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;
对各不均匀体素网格的特征信息进行分析处理,以实现对目标点云数据的处理。
为实现点云数据处理,在完成不均匀体素网格划分之后,对于三维体素中的每一个不均匀体素网格,可以对其进行信息采样,得到预设采样数量个数据点的特征信息,由此,即可综合分析所有不均匀体素网格的特征信息,进而实现针对目标点云数据的处理。其中,预设采样数量为预先设定的单个体素网格的采样限定数量,也就是针对三维体素中的每一个不均匀体素网格,数据点的采样数量是一致的,实现统一所有不均匀体素网格中采样数据点的数量,当然,该预设采样数量的取值并不影响本技术方案的实施,根据实际需求进行设定即可,本发明对此不做限定。
在一种可能的实现方式中,上述对每一不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息,可以包括:对每一不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;特征信息可以包括对应数据点的三维坐标和反射率。
在本发明的一个实施例中,上述对每一不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息,可以包括:
对于每一不均匀体素网格,确定不均匀体素网格内数据点的实际数量;
根据实际数量确定不均匀体素网格的可采样数量;
对于每一可采样数量,列举可采样数量对应的所有采样组合方式;
根据各采样组合方式进行信息采样,直至获得预设采样数量个数据点的特征信息。
可以理解的是,在完成体素网格划分之后,所得到的各个不均匀体素网格中所包含的数据点的数量是不同的,例如,若不均匀体素网格越接近于目标点云数据分布的中心区域,数据点密度越大(即所包含的数据点的数量越多),若不均匀体素网格越接近于目标点云数据分布的边缘区域,则数据点密度越小(即所包含的数据点的数量越少)。因此,如若按照图1所示,仅仅通过随机降采样和随机重复采样的方式实现体素网格内数据点数量的统一,前者则是直接丢弃部分原始数据中包含的有效信息,会造成有效信息损失,后者则相当于为原始数据点施加不同的权重分配,容易引入信息误差。
为解决上述技术问题,本发明实施例提供了一种基于组合选择的体素网格数据点数量规则化方法。具体而言,对于每一个不均匀体素网格,确定其中所包含的数据点的实际数量,然后根据该实际数量确定当前不均匀网格的可采样数量,例如,当某一不均匀体素网格中所包含的数据点的数量为5时,那么,该不均匀体素网格的可采样数量可以为1(从5个数据点中采样一个数据点)、2(从5个数据点中采样两个数据点)、3(从5个数据点中采样三个数据点)、4(从5个数据点中采样四个数据点)、5(从5个数据点中采样五个数据点);然后,对于每一个可采样数量,列举其对应的所有采样组合方式,该过程可通过排列组合实现,例如,从5个数据点中采样一个数据点有五种组合方式,从5个数据点中采样两个数据点有十种组合方式,以此类推,由此,即可按照各个采样组合方式执行对当前不均匀体素网格的信息采样操作,直至获得预设采样数量个数据点的特征信息。
由此,基于上述方式实现了基于组合选择的体素网格数据点数量规则化方法,进而实现了无损、无偏的数据点增删,可以在统一体素网格内的数据点数量时,缓解传统技术中随机降采样和随机重复采样方式带来的信息损失和信息误差,从而进一步提高点云数据处理结果的准确性。
在本发明的一个实施例中,上述根据各采样组合方式进行信息采样,直至获得预设采样数量个数据点的特征信息之前,还可以包括:对于每一可采样数量,当可采样数量对应的采样组合方式的数量超出预设采样数量时,将可采样数量对应的所有采样组合方式剔除。
为进一步提高计算效率,在列举得到每一可采样数量对应的所有采样组合方式之后,对于每一可采样数量,可以统计其对应的所有采样组合方式的总数量,并判断该总数量是否超出预设采样数量,如若超出,则说明基于当前各采样组合方式进行信息采样时,采样的数据点的数量将会直接超出预设采样数量,但在点云数据处理过程中采样操作的目的在于从当前不均匀体素网格中采样预设采样数量个数据点,因此,对于采样组合方式数量超出预设采样数量的可采样数量,可直接将其对应的所有采样组合方式剔除,避免采用这些采样组合方式执行信息采样操作。由此,即可实现只有在可采样数量对应的采样组合方式的数量不超过预设采样数量时,才会采用该可采样数量对应的采样组合方式进行信息采样。可见,基于该技术方案实现了部分不合格采样组合方式的删除,有效地降低了计算量,进一步提高了计算效率。
在本发明的一个实施例中,上述根据各采样组合方式进行信息采样,直至获得预设采样数量个数据点的特征信息,可以包括:当根据各采样组合方式进行信息采样,获得实际采样数量个数据点的特征信息时,若实际采样数量低于预设采样数量,则返回对于每一不均匀体素网格,确定不均匀体素网格内数据点的实际数量的步骤,直至获得预设采样数量个数据点的特征信息。
可以理解的是,针对包含数据点数量较少的不均匀体素网格,在进行信息采样时,很可能会出现由于可采样数量较少导致采样组合方式较少、进而导致即便按照所有的采样组合方式完成信息采样,依然会存在最终采样数量达不到预设采样数量的问题,此时,为最终可以采样得到预设采样数量个数据点的特征信息,可以直接返回“对于每一不均匀体素网格,确定不均匀体素网格内数据点的实际数量”的步骤进行新一轮的采样,直至获得预设采样数量个数据点的特征信息。
在本发明的一个实施例中,上述对各不均匀体素网格的特征信息进行分析处理,以实现对目标点云数据的处理,可以包括:利用基于深度学习神经网络的点云数据识别模型对各不均匀体素网格的特征信息进行识别,确定目标点云数据的识别结果。
具体而言,针对各个不均匀体素网格的特征信息处理,可基于预先创建的点云数据识别模型实现,该点云数据识别模型为基于深度学习神经网络的网络模型,在实现过程中,可将各个不均匀体素网格的特征信息输入至点云数据识别模型进行处理,模型的输出即为目标点云数据的识别结果。其中,识别结果是指目标点云数据的数据类别,如物体识别得到的物体类型、物体三维边界框识别得到的物体三维边框等。
实施例二、本发明实施例提供了一种点云数据处理系统。
请参考图3,图3为本发明所提供的一种点云数据处理系统的结构示意图,该点云数据处理系统可以包括:
非均匀体素网格划分器100,用于获取目标点云数据的三维坐标范围和点云设备的基本参数;基本参数包括点云设备的位置信息、视场角信息、角度分辨率;根据三维坐标范围和基本参数确定目标点云数据对应的各三维体素边的分割点;按照各分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
点云采样处理器200,用于对各不均匀体素网格内的点云数据进行信息采样,以实现对目标点云数据的处理。
可见,本发明实施例所提供的点云数据处理系统,针对目标点云数据,利用其三维坐标范围和点云设备基本参数(包括其位置信息、视场角信息和角度分辨率)实现了各三维体素边上关于体素网格分割点的确定,由此,按照各个分割点对相应的三维体素边进行网格分割,即可得到多个不均匀体素网格,从而实现体素网格的不均匀划分,由此,实现了适配点云数据的整体密度分布变化的体素网格尺寸设计,可以最大程度地平衡不同体素网格内的数据点数量,有效地解决了传统点云数据处理过程中由于均匀体素网格划分导致的硬件资源利用率和原始数据信息留存率的矛盾问题,因此,该技术方案可以在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,进一步实现了高效且准确的点云数据处理。
在上述实施例的基础上:
在本发明的一个实施例中,视场角信息包括垂直视场角范围和水平视场角范围;角度分辨率包括水平角分辨率和垂直角分辨率;三维体素边包括长体素边、宽体素边、高体素边;上述非均匀体素网格划分器100可以包括:
长体素边非均匀分割点求解器,用于根据三维坐标范围、位置信息、垂直视场角范围、垂直角分辨率计算确定长体素边的各分割点;
宽体素边非均匀分割点求解器,用于根据三维坐标范围、水平视场角范围、水平角分辨率计算确定宽体素边的各分割点;
高体素边非均匀分割点求解器,用于根据三维坐标范围、位置信息、垂直视场角范围、垂直角分辨率计算确定高体素边的各分割点。
在本发明的一个实施例中,上述点云采样处理器200可以包括:
点云采样器,用于对每一不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;
点云处理器,用于对各不均匀体素网格的特征信息进行分析处理,以实现对目标点云数据的处理。
在本发明的一个实施例中,上述点云采样器具体可以为体素网格数据点数量均衡器,该体素网格数据点数量均衡器可具体用于对于每一不均匀体素网格,确定不均匀体素网格内数据点的实际数量;根据实际数量确定不均匀体素网格的可采样数量;对于每一可采样数量,列举可采样数量对应的所有采样组合方式;根据各采样组合方式进行信息采样,直至获得预设采样数量个数据点的特征信息。
在本发明的一个实施例中,上述点云处理器具体可以为深度学习神经网络计算处理器;该深度学习神经网络计算处理器可具体用于利用基于深度学习神经网络的点云数据识别模型对各不均匀体素网格的特征信息进行识别,确定目标点云数据的识别结果。
对于本发明实施例提供的系统的介绍请参照上述方法实施例,本发明在此不做赘述。
实施例三、本发明实施例提供了另一种点云数据处理方法。
本发明实施例所提供的点云数据处理方法包括如下两部分:
一、非均匀体素网格划分:
请参考图4,图4为本发明所提供的一种非均匀体素网格划分方法的原理示意图,其实现流程如下:
1、确定点云数据的采集设备激光雷达的基本参数,包括激光光束的水平视场角范围[φmin,φmax](一般为0~2π),水平角分辨率∆φ,垂直视场角范围[θmin,θmax],垂直角分辨率∆θ,确定激光雷达的安装高度S;
2、限定点云数据有效数据点在三维坐标系(如图3所示x、y、z三维坐标系)的坐标范围[Xmin,Ymin,Zmin,Xmax,Ymax,Zmax],即点云数据有效数据点在X、Y、Z坐标轴上的最大值和最小值,由于激光雷达的水平视场角一般为360°,因此,一般情况下上述坐标范围满足:
Xmin=Ymin=-Xmax=-Ymax=D;
3、根据激光雷达安装高度S、垂直角分辨率∆θ和点云数据中数据点坐标在X坐标轴的取值区间[-D,D](X轴坐标区间),确定体素网格“长边”(长体素边)的分割方式:
3.1、构建一个空列表x-List,增添元素0和D至空列表x-List中,初始化垂直角度计数器
3.2、根据图4所示几何关系计算垂直方向第条光束沿直线传播到达地面的距离/>(第一距离):
将计算所得添加至x-List中,更新垂直角度计数器/>
3.3、重复步骤3.2,直到大于90°,即激光光束无法沿直线传播到达地面;
3.4、根据x-List中保存的个元素/>,确定“长边”[0,D]区间范围(X轴正向坐标区间)内的体素网格分割点/>
3.5、根据激光雷达采集获得的数据在X坐标轴上的对称性,获得“长边”[-D,0]区间范围(X轴负向坐标区间)内的体素网格分割点
3.6、整合和/>,获得体素网格“长边”的所有分割点/>
3.7、按照从小到大的顺序排序内的所有分割点数值。
4、根据水平角分辨率∆φ和点云数据中数据点坐标在Y坐标轴的取值区间[-D,D](Y轴坐标区间),确定体素网格“宽边”(宽体素边)的分割方式:
4.1、构建一个空列表y-List,增添元素0和D至空列表y-List中,初始化水平角度计数器
4.2、根据图4所示几何关系计算水平方向第条光束沿直线传播到达Y坐标轴的极限远处D时距离X坐标轴的距离/>(第二距离):
将计算所得添加至y-List中,更新垂直角度计数器/>
4.3、重复步骤4.2,直到大于90°。
4.4、根据y-List中保存的个元素/>,确定“长边”[0,D]区间范围(Y轴正向坐标区间)内的体素网格分割点/>
4.5、按照从小到大的顺序排序内的所有分割点数值。
5、根据激光雷达安装高度S、垂直角分辨率∆θ和点云数据中数据点坐标在X坐标轴的取值区间[-D,D](X轴坐标区间),确定体素网格“高边”(高体素边)的分割方式:
5.1、构建一个空列表z-List,增添元素0至空列表z-List中,初始化垂直角度计数器
5.2、根据图4所示几何关系计算垂直方向第条光束沿直线传播到达X坐标轴的极限远处D时距离地面的高度/>(第三距离):
其中,为符号函数:
时,/>
时,/>
时,/>
将计算所得添加至z-List中,更新垂直角度计数器/>
5.3、重复步骤5.2,直到大于θmax,即达到激光雷达垂直视场角最大值。
5.4、根据z-List中保存的个元素/>,确定“高边”区间范围(Z轴坐标区间)内的体素网格分割点/>
5.5、按照从小到大的顺序排序内的所有分割点数值。
至此,按照上述步骤,根据光线传输基本原理,计算得到三维体素“长边”、“宽边”、“高边”非均匀体素网格划分的分割点集合、/>、/>,可以最大程度地平衡不同体素网格内的数据点数量,相比于均匀网格划分,在平衡计算、存储等硬件资源以及算法的性能方面具有显著优势。
二、体素网格数据点采样:
请参考图5,图5为本发明所提供的一种点云数据处理方法的原理示意图,基于上述步骤一所实现的非均匀体素网格划分的划分结果如图5所示,在此基础上,可以继续采用“基于组合选择的采样”方法实现体素网格数据点采样,其实现流程可以包括:
1、确定单个体素网格内的数据点数量限定值T(预设采样数量)。
2、确定体素网格总数Nvoxel=L×W×H,其中,L为中的元素个数减1,W为/>中的元素个数减1,H为/>中的元素个数减1,构建列表集合P={Pi}用于存储第i个体素网格内由组合生成的T个数据点特征向量。
3、设置体素网格下标遍历器初始值i=0。
4、计数第i个体素网格内的数据点数量Ni(实际数量)。
5、构建空列表Pi,用于存储通过组合生成的数据点及其对应的特征向量。
6、使用n来代表当前组合中各组合内的数据点数,即当前需要从第i个体素网格内的Ni个数据点中挑选n个数据点,初始化n=1。
7、计算从Ni个数据点中挑选n个数据点的组合方式总数:
8、比较组合方式总数与单个体素网格内的数据点数量限定值T:
8.1、当>T时,更新n=n+1,返回步骤7;
8.2、当≤T时(此时n的取值即可采样数量),跳转至步骤9;
9、列举从Ni个数据点中挑选n个数据点的所有组合方式,构建集合,具体的,以n=3为例,定义三个指针u、v、w分别表示组合内第1、2、3个数据点的序号,通过下述计算方式获得集合/>
9.1、初始化u=0;
9.2、初始化v=u+1;
9.3、初始化w=v+1;
9.4、将{u,v,w}三个数据点添加到集合中;
9.5、更新w=w+1;
9.6、当w≥Ni时,进入步骤9.7,否则返回步骤9.4;
9.7、更新v=v+1;
9.8、当v≥Ni-1时,进入步骤9.9,否则返回步骤9.3;
9.9、更新u=u+1;
9.10、当u≥Ni-2时,结束操作,获取最终集合,否则返回步骤9.2。
10、初始化组合遍历计数器=0。
11、求解集合中第/>个元素所代表的n个数据点的特征均值,构建组合点特征向量/>,其中x、y、z为数据点的三维坐标,r为数据点对应的反射率数值,添加至Pi中。
12、判断Pi中的组合点的数量是否小于预设数量T,若是,跳转到步骤13,否则跳转至步骤16。
13、更新组合遍历计数器=/>+1。
14、判断是否超过组合数/>,若未超过,则返回步骤11,否则跳转至步骤15。
15、判断当前组合中各组合内包含的数据点数量n是否超过该体素网格内的数据点数量最大值Ni,若未超过,则更新n=n+1同时返回步骤7,若超过,则返回步骤6。
16、此时Pi中包含T个组合点的特征向量值,将Pi存储于P中。
17、更新体素网格下标遍历器i=i+1;
18、判断当前体素网格下标遍历器i是否超过体素网格总数Nvoxel,若未超过,则返回步骤4,否则操作结束。
至此,按照上述步骤,实现了基于组合选择的体素网格数据点数量规则化方法,使得最终获得的体素网格内的T个数据点的特征能够尽可能无差别地反馈原始网格内数据点的基本信息,极大地缓解了点云数据特征采样中随机降采样和随机重复采样方式带来的信息损失和信息误差。
基于以上点云数据处理方法,本发明还提供了一种对应的点云检测系统。
请参考图6,图6为本发明所提供的另一种点云检测系统的结构示意图,该点云检测系统主要包括非均匀体素网格划分器、体素网格数据点数量均衡器以及深度学习网络计算处理器。
1、非均匀体素网格划分器:
非均匀体素网格划分器主要包括激光雷达基本参数存储器、“长边”非均匀分割点求解器(即长体素边非均匀分割点求解器)、“宽边”非均匀分割点求解器(即宽体素边非均匀分割点求解器)、“高边”非均匀分割点求解器(即高体素边非均匀分割点求解器)四个部分,主要目的是通过合理的非均匀的体素网格的划分,解决计算、存储等硬件资源以及算法的性能之间的矛盾问题。
1.1、激光雷达基本参数存储器中存储包含激光雷达安装高度、光线水平视场角范围、光线水平角分辨率、光线垂直视场角范围、光线垂直角分辨率的数据信息;
1.2、“长边”非均匀分割点求解器读取激光雷达基本参数存储器的存储数据,并根据不同垂直光束沿直线传播的几何光学性质以及激光雷达数据采集的对称性法则,获取体素网格“长边”非均匀分割点集合;
1.3、“宽边”非均匀分割点求解器读取激光雷达基本参数存储器的存储数据,并根据不同水平光束沿直线传播的几何光学性质获取体素网格“宽边”非均匀分割点集合;
1.4、“高边”非均匀分割点求解器读取激光雷达基本参数存储器的存储数据,并根据不同垂直光束沿直线传播的几何光学性质获取体素网格“高边”非均匀分割点集合。
2、体素网格数据点数量均衡器:
体素网格数据点数量均衡器主要包括体素网格读取器、组合数据点及特征向量生成器两个部分,主要目的是实现无损、无偏的数据点增删,用于统一体素网格内的数据点数量。
2.1、体素网格读取器根据“长边”、“宽边”、“高边”的非均匀分割点集合、/>、/>,获取各体素网格的中心点坐标以及对应的体素网格尺寸:
使用(l,m,n)分别表示“长边”、“宽边”、“高边”的非均匀分割点序号,则根据如下公式计算该体素网格对应的中心点坐标为:
根据如下公式计算该体素网格对应的尺寸为:
从原始点云数据中筛选得到该体素网格内所有的数据点集合,其中,数据点的三维坐标(x,y,z)满足如下公式:
使用i表示该体素网格(i=l×W×H+m×H+n),读取根据上述公式筛选得到的数据点集合,计数其中的数据点数量Ni。
2.2、组合数据点及特征向量生成器通过数据点组合生成的方式,将单个体素网格数据点数量从Ni转化为限定值T,实现数据规则化的同时尽可能平等地包含所有Ni数据的基本信息。
3、深度学习神经网络计算处理器:
将规则化后的点云数据(即特征信息)输入至深度学习神经网络计算处理器进行处理,当然,此处并不限定神经网络架构,可以使用主流深度学习架构如ResNet(ResidualNeural Network,残差神经网络)、VGG(Visual Geometry Group,卷积神经网络)、GoogLeNet(一种深度学习网络)、Transformer(一种自注意力网络)以及相关变种设计。规则化的点云数据经过深度学习神经网络计算处理器的处理可以获得点云数据检测的基本结果,其中可以包括类别识别结果和三维边界框识别结果。
可见,本发明实施例所提供的一种点云数据处理方法,针对目标点云数据,利用其三维坐标范围和点云设备基本参数(包括其位置信息、视场角信息和角度分辨率)实现了各三维体素边上关于体素网格分割点的确定,由此,按照各个分割点对相应的三维体素边进行网格分割,即可得到多个不均匀体素网格,从而实现体素网格的不均匀划分,由此,实现了适配点云数据的整体密度分布变化的体素网格尺寸设计,可以最大程度地平衡不同体素网格内的数据点数量,有效地解决了传统点云数据处理过程中由于均匀体素网格划分导致的硬件资源利用率和原始数据信息留存率的矛盾问题,因此,该技术方案可以在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,进一步实现了高效且准确的点云数据处理。此外,还实现了基于组合选择的体素网格数据点数量规则化方法,进而实现了无损、无偏的数据点增删,可以在统一体素网格内的数据点数量时,缓解传统技术中随机降采样和随机重复采样方式带来的信息损失和信息误差,从而进一步提高点云数据处理结果的准确性。
实施例四、本发明实施例提供了一种点云数据处理装置。
请参考图7,图7为本发明所提供的一种点云数据处理装置的结构示意图,该点云数据处理装置可以包括:
获取模块1,用于获取目标点云数据的三维坐标范围和点云设备的基本参数;基本参数包括点云设备的位置信息、视场角信息、角度分辨率;
确定模块2,用于根据三维坐标范围和基本参数确定目标点云数据对应的各三维体素边的分割点;
分割模块3,用于按照各分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
采样模块4,用于对各不均匀体素网格内的点云数据进行信息采样,以实现对目标点云数据的处理。
可见,本发明实施例所提供的一种点云数据处理装置,针对目标点云数据,利用其三维坐标范围和点云设备基本参数(包括其位置信息、视场角信息和角度分辨率)实现了各三维体素边上关于体素网格分割点的确定,由此,按照各个分割点对相应的三维体素边进行网格分割,即可得到多个不均匀体素网格,从而实现体素网格的不均匀划分,由此,实现了适配点云数据的整体密度分布变化的体素网格尺寸设计,可以最大程度地平衡不同体素网格内的数据点数量,有效地解决了传统点云数据处理过程中由于均匀体素网格划分导致的硬件资源利用率和原始数据信息留存率的矛盾问题,因此,该技术方案可以在点云数据处理过程中实现硬件资源利用率和原始数据信息留存的高效平衡,进一步实现了高效且准确的点云数据处理。
在本发明的一个实施例中,上述分割模块3可具体用于对于每一三维体素边,确定三维体素边上任意相邻的两个分割点的中间点;按照中间点对三维体素边进行网格分割,获得不均匀体素网格。
在本发明的一个实施例中,视场角信息包括垂直视场角范围和水平视场角范围;角度分辨率包括水平角分辨率和垂直角分辨率;三维体素边包括长体素边、宽体素边、高体素边;
上述确定模块2可包括:
第一确定单元,用于根据三维坐标范围、位置信息、垂直视场角范围、垂直角分辨率计算确定长体素边的各分割点;
第二确定单元,用于根据三维坐标范围、水平视场角范围、水平角分辨率计算确定宽体素边的各分割点;
第三确定单元,用于根据三维坐标范围、位置信息、垂直视场角范围、垂直角分辨率计算确定高体素边的各分割点。
在本发明的一个实施例中,上述第一确定单元可包括:
第一确定子单元,用于根据三维坐标范围确定目标点云数据在三维坐标系中的X轴坐标区间;
第二确定子单元,用于根据位置信息确定点云设备的安装高度;
第三确定子单元,用于根据垂直视场角范围确定垂直视场角度最小值;
第四确定子单元,用于根据垂直视场角范围和垂直角分辨率确定点云设备在垂直方向的各扫描光束;
第一计算子单元,用于对于每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率进行几何计算,获得扫描光束传播到地面的第一距离;
第一分割子单元,用于根据各第一距离确定X轴坐标区间的各分割点,并作为长体素边的各分割点。
在本发明的一个实施例中,上述第一计算子单元可具体用于根据X轴坐标区间确定X轴正向坐标区间和X轴负向坐标区间;对于X轴正向坐标区间内的每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率进行几何计算,获得扫描光束传播到地面的第一距离;
相应地,上述第一分割子单元可具体用于根据各第一距离确定X轴正向坐标区间的各分割点;对于X轴正向坐标区间的各分割点,根据X轴对称性确定X轴负向坐标区间的各分割点;将X轴正向坐标区间的各分割点和X轴负向坐标区间的各分割点作为长体素边的各分割点。
在本发明的一个实施例中,上述第一计算子单元可具体用于对于每一扫描光束,根据垂直视场角度最小值和垂直角分辨率确定扫描光束对应的垂直视场角度值;根据安装高度和垂直视场角度值进行几何计算,获得扫描光束传播到地面的第一距离。
在本发明的一个实施例中,上述第二确定单元可以包括:
第五确定子单元,用于根据三维坐标范围确定目标点云数据在三维坐标系中的Y轴坐标区间,并确定Y轴坐标区间的Y轴正向坐标最大值;
第六确定子单元,用于根据水平视场角范围和水平角分辨率确定点云设备在水平方向的各扫描光束;
第二计算子单元,用于对于每一扫描光束,根据Y轴正向坐标最大值和水平角分辨率进行几何计算,获得扫描光束在传播到Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离;
第二分割子单元,用于根据各第二距离确定Y轴坐标区间的各分割点,并作为宽体素边的各分割点。
在本发明的一个实施例中,上述第二计算子单元可具体用于根据Y轴坐标区间确定Y轴正向坐标区间和Y轴负向坐标区间;对于Y轴正向坐标区间内的每一扫描光束,根据Y轴正向坐标最大值和水平角分辨率进行几何计算,获得扫描光束在传播到Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离;
相应地,上述第二分割子单元可具体用于根据各第二距离确定Y轴正向坐标区间的各分割点;对于Y轴正向坐标区间的各分割点,根据Y轴对称性确定Y轴负向坐标区间的各分割点;将Y轴正向坐标区间的各分割点和Y轴负向坐标区间的各分割点作为宽体素边的各分割点。
在本发明的一个实施例中,上述第二计算子单元可具体用于对于每一扫描光束,根据水平角分辨率确定扫描光束对应的水平视场角度值;根据Y轴正向坐标最大值和水平视场角度值进行几何计算,获得扫描光束在传播到Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离。
在本发明的一个实施例中,上述第三确定单元可包括:
第七确定子单元,用于根据三维坐标范围确定目标点云数据在三维坐标系中的Z轴坐标区间和X轴正向坐标最大值;
第八确定子单元,用于根据位置信息确定点云设备的安装高度;
第九确定子单元,用于根据垂直视场角范围确定垂直视场角度最小值;
第十确定子单元,用于根据垂直视场角范围和垂直角分辨率确定点云设备在垂直方向的各扫描光束;
第三计算子单元,用于对于每一扫描光束,根据安装高度、垂直视场角度最小值、垂直角分辨率、X轴正向坐标最大值进行几何计算,获得扫描光束在传播到X轴正向坐标最大值对应的位置时,与地面的第三距离;
第三分割子单元,用于根据各第三距离确定Z轴坐标区间的各分割点,并作为高体素边的各分割点。
在本发明的一个实施例中,上述第三计算子单元可具体用于对于每一扫描光束,根据垂直视场角度最小值和垂直角分辨率确定扫描光束对应的垂直视场角度值和符号函数值;根据安装高度、垂直视场角度值、符号函数值、X轴正向坐标最大值进行几何计算,获得扫描光束在传播到X轴正向坐标最大值对应的位置时,与地面的第三距离。
在本发明的一个实施例中,上述采样模块4可包括:
采样单元,用于对每一不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;
处理单元,用于对各不均匀体素网格的特征信息进行分析处理,以实现对目标点云数据的处理。
在本发明的一个实施例中,上述采样单元可包括:
第十一确定子单元,用于对于每一不均匀体素网格,确定不均匀体素网格内数据点的实际数量;
第十二确定子单元,用于根据实际数量确定不均匀体素网格的可采样数量;
列举子单元,用于对于每一可采样数量,列举可采样数量对应的所有采样组合方式;
采样子单元,用于根据各采样组合方式进行信息采样,直至获得预设采样数量个数据点的特征信息。
在本发明的一个实施例中,上述采样单元还可包括:
筛选子单元,用于在上述根据各采样组合方式进行信息采样,直至获得预设采样数量个数据点的特征信息之前,对于每一可采样数量,当可采样数量对应的采样组合方式的数量超出预设采样数量时,将可采样数量对应的所有采样组合方式剔除。
在本发明的一个实施例中,上述采样子单元可具体用于当根据各采样组合方式进行信息采样,获得实际采样数量个数据点的特征信息时,若实际采样数量低于预设采样数量,则返回对于每一不均匀体素网格,确定不均匀体素网格内数据点的实际数量的步骤,直至获得预设采样数量个数据点的特征信息。
在本发明的一个实施例中,上述采样单元可具体用于对每一不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;特征信息包括对应数据点的三维坐标和反射率。
在本发明的一个实施例中,上述处理单元可具体用于利用基于深度学习神经网络的点云数据识别模型对各不均匀体素网格的特征信息进行识别,确定目标点云数据的识别结果。
对于本发明实施例提供的装置的介绍请参照上述方法实施例,本发明在此不做赘述。
实施例五、本发明实施例提供了一种电子设备。
请参考图8,图8为本发明所提供的一种电子设备的结构示意图,该电子设备可包括:
存储器11,用于存储计算机程序;
处理器10,用于执行计算机程序时可实现如上述任意一种点云数据处理方法的步骤。
如图8所示,为电子设备的组成结构示意图,电子设备可以包括:处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本发明实施例中,处理器10可以为中央处理器(Central Processing Unit,CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序,具体的,处理器10可以执行点云数据处理方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序,程序可以包括程序代码,程序代码包括计算机操作指令,在本发明实施例中,存储器11中至少存储有用于实现以下功能的程序:
获取目标点云数据的三维坐标范围和点云设备的基本参数;基本参数包括点云设备的位置信息、视场角信息、角度分辨率;
根据三维坐标范围和基本参数确定目标点云数据对应的各三维体素边的分割点;
按照各分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
对各不均匀体素网格内的点云数据进行信息采样,以实现对目标点云数据的处理。
在一种可能的实现方式中,存储器11可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及至少一个功能所需的应用程序等;存储数据区可存储使用过程中所创建的数据。
此外,存储器11可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口,用于与其他设备或者系统连接。
当然,需要说明的是,图8所示的结构并不构成对本发明实施例中电子设备的限定,在实际应用中电子设备可以包括比图8所示的更多或更少的部件,或者组合某些部件。
实施例六、本发明实施例提供了一种计算机可读存储介质。
本发明实施例所提供的计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现如上述任意一种点云数据处理方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明实施例提供的计算机可读存储介质的介绍请参照上述方法实施例,本发明在此不做赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明的保护范围内。

Claims (20)

1.一种点云数据处理方法,其特征在于,包括:
获取目标点云数据的三维坐标范围和点云设备的基本参数;所述基本参数包括所述点云设备的位置信息、视场角信息、角度分辨率;
根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点;
按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理;
其中,所述视场角信息包括垂直视场角范围和水平视场角范围;所述角度分辨率包括水平角分辨率和垂直角分辨率;所述三维体素边包括长体素边、宽体素边、高体素边;所述根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点,包括:根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述长体素边的各所述分割点;根据所述三维坐标范围、所述水平视场角范围、所述水平角分辨率计算确定所述宽体素边的各所述分割点;根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述高体素边的各所述分割点;
所述根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述长体素边的各所述分割点,包括:根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的X轴坐标区间;根据所述位置信息确定所述点云设备的安装高度;根据所述垂直视场角范围确定垂直视场角度最小值;根据所述垂直视场角范围和所述垂直角分辨率确定所述点云设备在垂直方向的各扫描光束;对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的第一距离;根据各所述第一距离确定所述X轴坐标区间的各分割点,并作为所述长体素边的各所述分割点;
所述根据所述三维坐标范围、所述水平视场角范围、所述水平角分辨率计算确定所述宽体素边的各所述分割点,包括:根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的Y轴坐标区间,并确定所述Y轴坐标区间的Y轴正向坐标最大值;根据所述水平视场角范围和所述水平角分辨率确定所述点云设备在水平方向的各扫描光束;对于每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离;根据各所述第二距离确定所述Y轴坐标区间的各分割点,并作为所述宽体素边的各所述分割点;
所述根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述高体素边的各所述分割点,包括:根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的Z轴坐标区间和X轴正向坐标最大值;根据所述位置信息确定所述点云设备的安装高度;根据所述垂直视场角范围确定垂直视场角度最小值;根据所述垂直视场角范围和所述垂直角分辨率确定所述点云设备在垂直方向的各扫描光束;对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率、所述X轴正向坐标最大值进行几何计算,获得所述扫描光束在传播到所述X轴正向坐标最大值对应的位置时,与地面的第三距离;根据各所述第三距离确定所述Z轴坐标区间的各分割点,并作为所述高体素边的各所述分割点。
2.根据权利要求1所述的点云数据处理方法,其特征在于,所述按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格,包括:
对于每一所述三维体素边,确定所述三维体素边上任意相邻的两个所述分割点的中间点;
按照所述中间点对所述三维体素边进行网格分割,获得所述不均匀体素网格。
3.根据权利要求1所述的点云数据处理方法,其特征在于,所述对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的第一距离,包括:
根据所述X轴坐标区间确定X轴正向坐标区间和X轴负向坐标区间;
对于所述X轴正向坐标区间内的每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的所述第一距离;
相应地,所述根据各所述第一距离确定所述X轴坐标区间的各分割点,并作为所述长体素边的各所述分割点,包括:
根据各所述第一距离确定所述X轴正向坐标区间的各分割点;
对于所述X轴正向坐标区间的各分割点,根据X轴对称性确定所述X轴负向坐标区间的各分割点;
将所述X轴正向坐标区间的各分割点和所述X轴负向坐标区间的各分割点作为所述长体素边的各所述分割点。
4.根据权利要求1所述的点云数据处理方法,其特征在于,所述对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的第一距离,包括:
对于每一所述扫描光束,根据所述垂直视场角度最小值和所述垂直角分辨率确定所述扫描光束对应的垂直视场角度值;
根据所述安装高度和所述垂直视场角度值进行几何计算,获得所述扫描光束传播到地面的所述第一距离。
5.根据权利要求1所述的点云数据处理方法,其特征在于,所述对于每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离,包括:
根据所述Y轴坐标区间确定Y轴正向坐标区间和Y轴负向坐标区间;
对于所述Y轴正向坐标区间内的每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的所述第二距离;
相应地,所述根据各所述第二距离确定所述Y轴坐标区间的各分割点,并作为所述宽体素边的各所述分割点,包括:
根据各所述第二距离确定所述Y轴正向坐标区间的各分割点;
对于所述Y轴正向坐标区间的各分割点,根据Y轴对称性确定所述Y轴负向坐标区间的各分割点;
将所述Y轴正向坐标区间的各分割点和所述Y轴负向坐标区间的各分割点作为所述宽体素边的各所述分割点。
6.根据权利要求1所述的点云数据处理方法,其特征在于,所述对于每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离,包括:
对于每一所述扫描光束,根据所述水平角分辨率确定所述扫描光束对应的水平视场角度值;
根据所述Y轴正向坐标最大值和所述水平视场角度值进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的所述第二距离。
7.根据权利要求1所述的点云数据处理方法,其特征在于,所述对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率、所述X轴正向坐标最大值进行几何计算,获得所述扫描光束在传播到所述X轴正向坐标最大值对应的位置时,与地面的第三距离,包括:
对于每一所述扫描光束,根据所述垂直视场角度最小值和所述垂直角分辨率确定所述扫描光束对应的垂直视场角度值和符号函数值;
根据所述安装高度、所述垂直视场角度值、所述符号函数值、所述X轴正向坐标最大值进行几何计算,获得所述扫描光束在传播到所述X轴正向坐标最大值对应的位置时,与地面的所述第三距离。
8.根据权利要求1所述的点云数据处理方法,其特征在于,所述对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理,包括:
对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;
对各所述不均匀体素网格的特征信息进行分析处理,以实现对所述目标点云数据的处理。
9.根据权利要求8所述的点云数据处理方法,其特征在于,所述对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息,包括:
对于每一所述不均匀体素网格,确定所述不均匀体素网格内数据点的实际数量;
根据所述实际数量确定所述不均匀体素网格的可采样数量;
对于每一所述可采样数量,列举所述可采样数量对应的所有采样组合方式;
根据各所述采样组合方式进行信息采样,直至获得所述预设采样数量个数据点的特征信息。
10.根据权利要求9所述的点云数据处理方法,其特征在于,所述根据各所述采样组合方式进行信息采样,直至获得所述预设采样数量个数据点的特征信息之前,还包括:
对于每一所述可采样数量,当所述可采样数量对应的所述采样组合方式的数量超出所述预设采样数量时,将所述可采样数量对应的所有所述采样组合方式剔除。
11.根据权利要求9所述的点云数据处理方法,其特征在于,所述根据各所述采样组合方式进行信息采样,直至获得所述预设采样数量个数据点的特征信息,包括:
当根据各所述采样组合方式进行信息采样,获得实际采样数量个数据点的特征信息时,若所述实际采样数量低于所述预设采样数量,则返回所述对于每一所述不均匀体素网格,确定所述不均匀体素网格内数据点的实际数量的步骤,直至获得所述预设采样数量个数据点的特征信息。
12.根据权利要求8所述的点云数据处理方法,其特征在于,所述对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息,包括:
对每一所述不均匀体素网格进行信息采样,获得所述预设采样数量个数据点的特征信息;所述特征信息包括对应数据点的三维坐标和反射率。
13.根据权利要求8所述的点云数据处理方法,其特征在于,所述对各所述不均匀体素网格的特征信息进行分析处理,以实现对所述目标点云数据的处理,包括:
利用基于深度学习神经网络的点云数据识别模型对各所述不均匀体素网格的特征信息进行识别,确定所述目标点云数据的识别结果。
14.一种点云数据处理系统,其特征在于,包括:
非均匀体素网格划分器,用于获取目标点云数据的三维坐标范围和点云设备的基本参数;所述基本参数包括所述点云设备的位置信息、视场角信息、角度分辨率;根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点;按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
点云采样处理器,用于对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理;
其中,所述视场角信息包括垂直视场角范围和水平视场角范围;所述角度分辨率包括水平角分辨率和垂直角分辨率;所述三维体素边包括长体素边、宽体素边、高体素边;所述非均匀体素网格划分器包括:
长体素边非均匀分割点求解器,用于根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述长体素边的各所述分割点;
宽体素边非均匀分割点求解器,用于根据所述三维坐标范围、所述水平视场角范围、所述水平角分辨率计算确定所述宽体素边的各所述分割点;
高体素边非均匀分割点求解器,用于根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述高体素边的各所述分割点;
所述长体素边非均匀分割点求解器具体用于根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的X轴坐标区间;根据所述位置信息确定所述点云设备的安装高度;根据所述垂直视场角范围确定垂直视场角度最小值;根据所述垂直视场角范围和所述垂直角分辨率确定所述点云设备在垂直方向的各扫描光束;对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的第一距离;根据各所述第一距离确定所述X轴坐标区间的各分割点,并作为所述长体素边的各所述分割点;
所述宽体素边非均匀分割点求解器具体用于根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的Y轴坐标区间,并确定所述Y轴坐标区间的Y轴正向坐标最大值;根据所述水平视场角范围和所述水平角分辨率确定所述点云设备在水平方向的各扫描光束;对于每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离;根据各所述第二距离确定所述Y轴坐标区间的各分割点,并作为所述宽体素边的各所述分割点;
所述高体素边非均匀分割点求解器具体用于根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的Z轴坐标区间和X轴正向坐标最大值;根据所述位置信息确定所述点云设备的安装高度;根据所述垂直视场角范围确定垂直视场角度最小值;根据所述垂直视场角范围和所述垂直角分辨率确定所述点云设备在垂直方向的各扫描光束;对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率、所述X轴正向坐标最大值进行几何计算,获得所述扫描光束在传播到所述X轴正向坐标最大值对应的位置时,与地面的第三距离;根据各所述第三距离确定所述Z轴坐标区间的各分割点,并作为所述高体素边的各所述分割点。
15.根据权利要求14所述的点云数据处理系统,其特征在于,所述点云采样处理器包括:
点云采样器,用于对每一所述不均匀体素网格进行信息采样,获得预设采样数量个数据点的特征信息;
点云处理器,用于对各所述不均匀体素网格的特征信息进行分析处理,以实现对所述目标点云数据的处理。
16.根据权利要求15所述的点云数据处理系统,其特征在于,所述点云采样器具体为体素网格数据点数量均衡器;
所述体素网格数据点数量均衡器具体用于对于每一所述不均匀体素网格,确定所述不均匀体素网格内数据点的实际数量;组合数据点及特征向量生成器,用于根据所述实际数量确定所述不均匀体素网格的可采样数量;对于每一所述可采样数量,列举所述可采样数量对应的所有采样组合方式;根据各所述采样组合方式进行信息采样,直至获得所述预设采样数量个数据点的特征信息。
17.根据权利要求15所述的点云数据处理系统,其特征在于,所述点云处理器具体为深度学习神经网络计算处理器;
所述深度学习神经网络计算处理器具体用于利用基于深度学习神经网络的点云数据识别模型对各所述不均匀体素网格的特征信息进行识别,确定所述目标点云数据的识别结果。
18.一种点云数据处理装置,其特征在于,包括:
获取模块,用于获取目标点云数据的三维坐标范围和点云设备的基本参数;所述基本参数包括所述点云设备的位置信息、视场角信息、角度分辨率;
确定模块,用于根据所述三维坐标范围和所述基本参数确定所述目标点云数据对应的各三维体素边的分割点;
分割模块,用于按照各所述分割点对相应的三维体素边进行网格分割,获得不均匀体素网格;
采样模块,用于对各所述不均匀体素网格内的点云数据进行信息采样,以实现对所述目标点云数据的处理;
其中,所述视场角信息包括垂直视场角范围和水平视场角范围;所述角度分辨率包括水平角分辨率和垂直角分辨率;所述三维体素边包括长体素边、宽体素边、高体素边;所述确定模块包括:
第一确定单元,用于根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述长体素边的各所述分割点;
第二确定单元,用于根据所述三维坐标范围、所述水平视场角范围、所述水平角分辨率计算确定所述宽体素边的各所述分割点;
第三确定单元,用于根据所述三维坐标范围、所述位置信息、所述垂直视场角范围、所述垂直角分辨率计算确定所述高体素边的各所述分割点;
所述第一确定单元具体用于根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的X轴坐标区间;根据所述位置信息确定所述点云设备的安装高度;根据所述垂直视场角范围确定垂直视场角度最小值;根据所述垂直视场角范围和所述垂直角分辨率确定所述点云设备在垂直方向的各扫描光束;对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率进行几何计算,获得所述扫描光束传播到地面的第一距离;根据各所述第一距离确定所述X轴坐标区间的各分割点,并作为所述长体素边的各所述分割点;
所述第二确定单元具体用于根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的Y轴坐标区间,并确定所述Y轴坐标区间的Y轴正向坐标最大值;根据所述水平视场角范围和所述水平角分辨率确定所述点云设备在水平方向的各扫描光束;对于每一所述扫描光束,根据所述Y轴正向坐标最大值和所述水平角分辨率进行几何计算,获得所述扫描光束在传播到所述Y轴正向坐标最大值对应的位置时,与X坐标轴的第二距离;根据各所述第二距离确定所述Y轴坐标区间的各分割点,并作为所述宽体素边的各所述分割点;
所述第三确定单元具体用于根据所述三维坐标范围确定所述目标点云数据在三维坐标系中的Z轴坐标区间和X轴正向坐标最大值;根据所述位置信息确定所述点云设备的安装高度;根据所述垂直视场角范围确定垂直视场角度最小值;根据所述垂直视场角范围和所述垂直角分辨率确定所述点云设备在垂直方向的各扫描光束;对于每一所述扫描光束,根据所述安装高度、所述垂直视场角度最小值、所述垂直角分辨率、所述X轴正向坐标最大值进行几何计算,获得所述扫描光束在传播到所述X轴正向坐标最大值对应的位置时,与地面的第三距离;根据各所述第三距离确定所述Z轴坐标区间的各分割点,并作为所述高体素边的各所述分割点。
19.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至13任一项所述的点云数据处理方法的步骤。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的点云数据处理方法的步骤。
CN202311069610.2A 2023-08-24 2023-08-24 点云数据处理方法、系统、装置、电子设备及存储介质 Active CN116797704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311069610.2A CN116797704B (zh) 2023-08-24 2023-08-24 点云数据处理方法、系统、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311069610.2A CN116797704B (zh) 2023-08-24 2023-08-24 点云数据处理方法、系统、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116797704A CN116797704A (zh) 2023-09-22
CN116797704B true CN116797704B (zh) 2024-01-23

Family

ID=88045067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311069610.2A Active CN116797704B (zh) 2023-08-24 2023-08-24 点云数据处理方法、系统、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116797704B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969624A (zh) * 2019-11-07 2020-04-07 哈尔滨工程大学 一种激光雷达三维点云分割方法
CN111325666A (zh) * 2020-02-10 2020-06-23 武汉大学 基于变分辨率体素格网的机载激光点云处理方法及应用
WO2021035618A1 (zh) * 2019-08-29 2021-03-04 深圳市大疆创新科技有限公司 点云分割方法、系统和可移动平台
CN113722789A (zh) * 2021-07-22 2021-11-30 河北工业大学 基于3d激光扫描和过程反馈的钢结构桥梁虚拟拼装方法
CN114155265A (zh) * 2021-12-01 2022-03-08 南京林业大学 基于yolact的三维激光雷达道路点云分割方法
WO2022099530A1 (zh) * 2020-11-12 2022-05-19 深圳元戎启行科技有限公司 点云数据运动分割方法、装置、计算机设备和存储介质
CN115760575A (zh) * 2022-11-22 2023-03-07 中国第一汽车股份有限公司 一种激光点云数据处理方法、装置、电子设备及存储介质
CN116486003A (zh) * 2023-04-04 2023-07-25 珠海深圳清华大学研究院创新中心 基于点云数据的成像方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111927558B (zh) * 2020-10-13 2021-01-12 中国科学院武汉岩土力学研究所 动水软弱围岩隧道全断面掘进的安全预警方法及装置
CN114037675B (zh) * 2021-11-05 2022-12-06 南京航空航天大学 一种飞机样板缺陷检测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035618A1 (zh) * 2019-08-29 2021-03-04 深圳市大疆创新科技有限公司 点云分割方法、系统和可移动平台
CN110969624A (zh) * 2019-11-07 2020-04-07 哈尔滨工程大学 一种激光雷达三维点云分割方法
CN111325666A (zh) * 2020-02-10 2020-06-23 武汉大学 基于变分辨率体素格网的机载激光点云处理方法及应用
WO2022099530A1 (zh) * 2020-11-12 2022-05-19 深圳元戎启行科技有限公司 点云数据运动分割方法、装置、计算机设备和存储介质
CN113722789A (zh) * 2021-07-22 2021-11-30 河北工业大学 基于3d激光扫描和过程反馈的钢结构桥梁虚拟拼装方法
CN114155265A (zh) * 2021-12-01 2022-03-08 南京林业大学 基于yolact的三维激光雷达道路点云分割方法
CN115760575A (zh) * 2022-11-22 2023-03-07 中国第一汽车股份有限公司 一种激光点云数据处理方法、装置、电子设备及存储介质
CN116486003A (zh) * 2023-04-04 2023-07-25 珠海深圳清华大学研究院创新中心 基于点云数据的成像方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Mathematically optimized trajectory for terrestrial close-range photogrammetric 3D reconstruction of forest stands;Karel Kuželka 等;《ISPRS Journal of Photogrammetry and Remote Sensing》;第178卷;全文 *
一种利用曲率约束的改进K-means三维点云数据分割方法;杨永涛 等;《小型微型计算机系统》(第11期);全文 *
基于OTSU多阈值分割算法的激光线扫点云数据表达及精简方法研究;陈兆学 等;《光学技术》(第05期);全文 *
基于深度投影的三维点云目标分割和碰撞检测;王张飞 等;《光学精密工程》(第07期);全文 *

Also Published As

Publication number Publication date
CN116797704A (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN112669463B (zh) 三维点云的曲面重建方法、计算机设备和计算机可读存储介质
JP6837467B2 (ja) 点群データ同士のマッチング関係を確定するための方法及び装置
CN110991311B (zh) 一种基于密集连接深度网络的目标检测方法
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN109003297B (zh) 一种单目深度估计方法、装置、终端和存储介质
CN113436238B (zh) 点云配准精度的评估方法、装置和电子设备
CN115546630A (zh) 基于遥感影像特征目标检测的工地提取方法和系统
CN109785335A (zh) 扫描对象的直线轮廓的确定方法、装置及存储介质
CN113838005B (zh) 基于维度转换的岩体裂隙智能识别与三维重构方法及系统
US8963920B2 (en) Image processing apparatus and method
CN111192313A (zh) 机器人构建地图的方法、机器人及存储介质
CN111915657A (zh) 一种点云配准方法、装置、电子设备及存储介质
CN115457364A (zh) 一种目标检测知识蒸馏方法、装置、终端设备和存储介质
CN114861500A (zh) 基于三维点云自动生成隧道结构有限元模型的方法及系统
CN116797704B (zh) 点云数据处理方法、系统、装置、电子设备及存储介质
CN110427506A (zh) 空间数据边界处理方法、装置、计算机设备及存储介质
US20230368407A1 (en) Drivable area detection method, computer device, storage medium, and vehicle
Horvat et al. Ray-casting point-in-polyhedron test
CN110458780A (zh) 3d点云数据去噪方法、装置、计算机设备和可读存储介质
CN114910892A (zh) 一种激光雷达的标定方法、装置、电子设备及存储介质
CN111489386B (zh) 点云特征点提取方法、装置、存储介质、设备及系统
CN116266365A (zh) 一种点云数据提取方法、装置、电子设备及存储介质
CN112164090A (zh) 数据处理方法、装置、电子设备及机器可读存储介质
CN113538478B (zh) 基于图像的箱体边界提取方法、系统、设备及存储介质
CN117078891B (zh) 激光轮廓mesh重建方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant