CN117576325A - 点云数据处理方法和装置以及点云数据管理系统和方法 - Google Patents
点云数据处理方法和装置以及点云数据管理系统和方法 Download PDFInfo
- Publication number
- CN117576325A CN117576325A CN202410058956.0A CN202410058956A CN117576325A CN 117576325 A CN117576325 A CN 117576325A CN 202410058956 A CN202410058956 A CN 202410058956A CN 117576325 A CN117576325 A CN 117576325A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- background
- map
- background point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013523 data management Methods 0.000 title claims abstract description 11
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 abstract description 12
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开属于数据处理技术领域,具体涉及点云数据处理方法和装置以及点云数据管理系统和方法。其中,所述点云数据处理方法包括:获取目标区域的三维背景地图和在目标时刻的点云数据;如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据;去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据。本发明可以大大减少目标区域三维点云数据传输和存储的数据量并使中心服务器可以实时还原高精细度目标区域三维点云数据。
Description
技术领域
本公开属于数据处理技术领域,具体涉及点云数据处理方法和装置以及点云数据管理系统和方法。
背景技术
安装在路侧的激光雷达实时采集的三维点云信息在交通管理以及车路协同自动驾驶领域起着非常重要的作用。但是三维点云信息数据量巨大,这给数据传输和存储带来了很大挑战。为了提高点云数据传输和存储质量,必须对点云数据进行高效压缩以减少数据量。
但是,点云数据的压缩算法目前进展不大,首先目前的压缩算法对点云数据的压缩效果不够理想,压缩率较低;其次,部分点云压缩算法在压缩数据时可能会丢失一些细节信息,导致精度损失,不能完全恢复到压缩前的状态。
发明内容
本公开实施例提出了一种基于背景差分的三维点云数据处理及管理方案,以解决现有技术因为对三维点云数据无法高效压缩导致三维点云数据的数据量过大,影响传输及存储的问题。
本公开实施例的第一方面提供了一种点云数据处理方法,包括:
获取目标区域的三维背景地图和在目标时刻的点云数据;
如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据;
去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据。
在一些实施例中,所述方法还包括:
对所述第二非背景点云数据进行聚类;
在聚类结果中去除长不属于第一预设范围或宽不属于第二预设范围或高不属于第三预设范围的类别。
在一些实施例中,所述对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据包括:
将目标区域三维空间划分为若干个子空间,将所述点云数据中的点和所述背景点云数据中的点分别与所述子空间对应;
在每一个所述子空间内,计算每个所述点云数据中的点到由所述背景点云数据中的点组成的集合的距离;
在所述点云数据中去除所述距离不大于第一预设阈值的点即得到第一非背景点云数据。
在一些实施例中,所述对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据包括:
基于点云库构建八叉树,其中,所述八叉树的根节点代表目标区域的三维空间,每个子节点代表将父节点代表的空间分割成8个子立方体中的1个子立方体,叶子节点用于存储点云数据;
基于八叉树的双缓冲技术,将所述点云数据和所述背景点云数据保存在所述八叉树中;
对所述八叉树的每个叶子节点,计算保存在所述叶子节点中的所述点云数据中的每个点到由保存在所述叶子节点中的所述背景点云数据中的点组成的集合的距离,在所述点云数据中去除所述距离不大于第二预设阈值的点即得到第一非背景点云数据。
在一些实施例中,所述去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据包括:
在所述第一非背景点云数据中选取不少于预设数量的点确定拟合平面,确定组成所述拟合平面的每个所述点到所述拟合平面的距离,定义所述距离不大于第三预设阈值的点为地面点,在所述第一非背景点云数据中去除所述地面点;
对去除所述地面点的所述第一非背景点云数据执行高斯滤波操作,其中,高斯滤波器的滤波核的大小和标准差通根据差分结果和噪声确定。
本公开实施例的第二方面提供了一种点云数据处理方法,包括:
获取目标区域的三维背景地图和所述目标区域在目标时刻的第二非背景点云数据,其中,所述第二非背景点云数据根据本公开第一方面所述方法生成;
如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,在所述背景点云数据中融合所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据。
本公开实施例的第三方面提供了一种点云数据处理装置,包括:
获取模块,用于获取目标区域的三维背景地图和目标时刻的点云数据;
差分模块,用于如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据;
去噪模块,用于去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据。
本公开实施例的第四方面提供了一种点云数据处理装置,包括:
获取模块,用于获取目标区域的三维背景地图和所述目标区域在目标时刻的第二非背景点云数据,其中,所述第二非背景点云数据根据本公开第一方面所述方法生成;
融合模块,用于如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,在所述背景点云数据中融合所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据。
本公开实施例的第五方面提供了一种点云数据管理系统,包括网络连接的边缘计算设备和中心服务器,其中:
所述边缘计算设备用于以预设时间间隔获取目标区域的背景点云数据并根据本公开第一方面所述方法实时获取所述目标区域相对与所述背景点云数据的第二非背景点云数据;
所述中心服务器用于获取所述背景点云数据和所述第二非背景点云数据,并融合所述背景点云数据和所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据。
本公开实施例的第六方面提供了一种点云数据管理方法,应用于根据本公开第五方面所述系统,其特征在于,所述系统还包括数据中心,所述方法包括:
所述边缘计算设备按预设时间间隔获取目标区域的背景点云数据并根据本公开第一方面所述方法实时获取所述目标区域相对与所述背景点云数据的第二非背景点云数据;
所述边缘计算设备分别传输所述背景点云数据和所述第二非背景点云数据至所述中心服务器以使所述中心服务器融合所述背景点云数据和所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据;
所述边缘计算设备分别传输所述背景点云数据和所述第二非背景点云数据至所述数据中心,并在所述数据中心分别存储所述背景点云数据和所述第二非背景点云数据。
综上所述,本公开各实施例提供的点云数据处理方法、装置及点云数据管理系统、方法,通过基于背景点云数据对实时获取的点云数据进行差分以获得非背景点云数据,并在需要时基于背景点云数据和非背景点云数据恢复出高还原度的点云数据。因为相对于背景点云数据,非背景点云数据量很小,而背景点云数据只需要按预设周期获取并传输、存储,需要实时传输和存储的只是非背景点云数据,数据量大为减少,因此提升了点云数据传输、存储的质量和效率。
附图说明
通过参考附图会更加清楚的理解本公开的特征和优点,附图是示意性的而不应理解为对本公开进行任何限制,在附图中:
图1是本公开所适用的一种点云数据管理系统的示意图;
图2是根据本公开的一些实施例所示的一种点云数据处理方法的流程图;
图3是本公开所适用的三维背景地图的效果图;
图4是本公开的一个实施例所示的原始点云数据;
图5是本公开的一个实施例所示的差分点云数据;
图6是本公开的一个实施例所示的重建点云数据;
图7是根据本公开的一些实施例所示的一种点云数据处理装置的示意图;
图8是根据本公开的一些实施例所示的一种点云数据处理装置的示意图。
具体实施方式
在下面的详细描述中,通过示例阐述了本公开的许多具体细节,以便提供对相关披露的透彻理解。然而,对于本领域的普通技术人员来讲,本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是,本公开中使用“系统”、“装置”、“单元”和/或“模块”术语,是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而,如果其他表达式可以实现相同的目的,这些术语可以被其他表达式替换。
应当理解的是,当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时,其可以直接在另一设备、单元或模块上,连接或耦合到或与其他设备、单元或模块通信,或者可以存在中间设备、单元或模块,除非上下文明确提示例外情形。例如,本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本公开所用术语仅为了描述特定实施例,而非限制本公开范围。如本公开说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件,而该类表述并不构成一个排它性的罗列,其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图,本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解,其中说明和附图形成了说明书的一部分。然而,可以清楚地理解,附图仅用作说明和描述的目的,并不意在限定本公开的保护范围。可以理解的是,附图并非按比例绘制。
本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是,前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。
图1是本公开适用的一种点云数据管理系统的示意图。如图1所示的系统,边缘计算设备与中心服务器和数据中心网络连接,边缘计算设备将实时获取的目标区域的三维点云数据发送至中心服务器处理,并发送至数据中心存储。其中:
所述边缘计算设备可以是部署于路测交通杆/塔上的智能处理设备,与传感器,例如激光雷达数据连接,用于获取所述传感器采集的道路的三维背景地图和实时采集的道路的三维点云信息并生成目标区域的点云数据。本公开并不限定所述传感器的种类为激光雷达,任何可以在目标区域获取三维背景地图和三维点云信息的传感器均适用于本公开。特别的,获取目标区域三维背景地图和三维点云信息的传感器也可以是不同的传感器,两者均与所述边缘计算设备数据连接。当所述传感器的数据处理能力达标时, 所述边缘计算设备也可以嵌入所述传感器。
所述中心服务器用于基于边缘计算设备发送的三维背景地图和点云数据生成目标区域的三维点云数据。在本公开的一些实施例中,中心服务器也可以从其他途径获取所述三维背景地图。所述中心服务器可以是单机、集群或分布式服务器中的任一种。
所述数据中心用于存储边缘计算设备发送的三维背景地图和点云数据。在本公开的一些实施例中,中心服务器也可以从其他途径获取所述三维背景地图。所述数据中心需要支持存储点云格式的数据,可以是单机、集群或分布式数据库中的任一种。
图2是根据本公开的一些实施例所示的一种点云数据处理方法的流程图,所述点云数据处理方法可以通过图1所示的系统执行。如图2所示,所述点云数据处理方法可以包括以下步骤:
S210,边缘计算设备获取目标区域的三维背景地图和在目标时刻的点云数据。
具体的,边缘计算设备通过激光雷达每隔预设时间获取一次目标区域的环境地图,得到目标区域的三维背景地图;并实时获取目标区域的点云数据。
图3是本公开所适用的三维背景地图的效果图,如图3所示,所述三维背景地图可以是多种格式,如点云格式、网格格式或栅格格式。图3中A、B、C分别是网格格式、点云格式、栅格格式三维地图的效果图。
本公开不限制获取环境地图和点云数据的传感器种类。任何可以产生带有三维位置信息的点的集合的传感器均可用于生成点云数据和点云地图。在本公开的一些实施例中, 边缘计算设备通过一种传感器每隔预设时间获取一次目标区域的环境地图,并通过另一种传感器实时获取目标区域的点云数据。
在本公开的另一些实施例中, 对于背景在预设时间间隔内基本没有变化的目标区域,边缘计算设备从其他途径,如数据库,获取目标区域的三维背景地图。
S220,如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据。
具体的, 首先将三维背景地图转化为点云地图以得到背景点云数据。业界有成熟算法将各种格式的三维地图转化为点云格式的地图。如:
对于网格地图,可通过在网格表面进行点云采样的方法将网格地图转化为点云地图;
对于栅格地图,可以通过删除每个栅格块对应的点云的方法,逐步删除点云中的背景帧,生成点云地图。
然后,对点云数据基于与三维背景地图对应的背景点云数据做差分,得到第一非背景点云数据。
具体的,将目标区域三维空间划分为若干个子空间,将点云数据中的点和背景点云数据中的点分别与所述子空间对应;在每一个子空间内,计算每个点云数据中的点到由背景点云数据中的点组成的集合的距离;在点云数据中去除距离不大于第一预设阈值的点即得到第一非背景点云数据。
优选的,本公开通过八叉树实现背景差分:
A. 构建八叉树:通过八叉树有效地组织点云数据,特别是在点云处理和差分中:
1. 初始化:创建一个根节点,该根节点代表整个三维空间。初始化时,它包含所有点云数据。
2. 递归划分:对当前节点进行递归划分。将当前节点代表的空间分割成八个子立方体,每个子立方体对应一个子节点。这一步骤会一直递归到达到某个终止条件,如子节点中包含的点数低于某个阈值或达到树的最大深度。
3. 点云分配:将点云数据分配到子节点。对于每个点,根据其位置,将其分配到适当的子节点。这通常涉及计算点与子节点的相对位置关系。如果一个点可以被多个子节点包含,通常采用一种策略来解决,例如将其分配到距离最近的子节点。
4. 终止条件:在递归划分过程中,需要定义一个或多个终止条件,以确定何时停止划分。这些条件通常包括子节点中的点数是否低于某个阈值,或者是否达到树的最大深度。
5. 构建完整树:根据递归划分和点云分配,构建完整的八叉树结构,其中每个节点代表一个子立方体,每个叶子节点(没有子节点的节点)包含点云数据。
B. 背景差分:遍历点云数据中的每个点。对于每个点,计算其到最近背景点云数据中的点的距离(通常使用欧氏距离或其他适当的距离度量方法)。如果该距离小于预定的距离阈值,将该点标记为背景点。如果该距离大于阈值,将该点标记为潜在的目标点。
在本公开的一些实施例中, 基于八叉树算法实现背景差分的具体实现如下:
基于点云库(pcl库)构建八叉树,其中,所述八叉树的根节点代表目标区域的三维空间,每个子节点代表将父节点代表的空间分割成8个子立方体中的1个子立方体,叶子节点用于存储点云数据;基于八叉树的双缓冲技术,将所述点云数据和所述背景点云数据保存在所述八叉树中;对所述八叉树的每个叶子节点,计算保存在所述叶子节点中的所述点云数据中的每个点到由保存在所述叶子节点中的所述背景点云数据中的点组成的集合的距离,在所述点云数据中去除所述距离不大于第二预设阈值的点即得到第一非背景点云数据。
八叉树是一种比较灵活的空间数据管理的模型,八叉树的八个子节点允许有效地划分三维空间,因此适应性很强。这对于处理具有复杂形状和分布的点云数据很有帮助。但是,本公开并不限定用八叉树处理背景差分。实际上,不同的树结构适用于不同类型的问题和数据分布,具体采用什么树结构或数据结构,取决于不同类型的问题和数据分布。
S230,去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据。
具体的,对背景差分之后的点云,基于地面拟合以及高斯滤波等算法,进一步剔除其中的噪点:
A. 地面拟合:从第一非背景点云数据中选择足够数量的点用于地面拟合。这些点应该尽量覆盖地面,而不包括可能的障碍物或噪声。
1. 使用拟合算法,通常采用平面拟合(plane fitting)方法,来拟合所选地面点的数学模型,通常为一个平面模型。最常见的拟合算法是最小二乘拟合,它可以找到最能拟合选定点的平面。
2. 计算拟合误差:对于拟合的平面模型,计算每个地面点到拟合平面的垂直距离,即拟合误差。这可以通过将点与平面的距离投影到平面法向量上来实现。
3. 设定阈值:设定一个拟合误差的阈值,用于判断点是否为地面点。点云中的点,如果其拟合误差小于阈值,则可以被视为地面点;如果拟合误差大于阈值,它们可能是障碍物或其他目标。
4. 去除地面点:根据阈值,将地面点从点云数据中去除。这样,剩下的点云数据将只包含非地面点,也就是目标点或障碍物。
B. 高斯滤波:
1. 获取第一非背景点云数据。
2. 选择滤波器参数:确定高斯滤波器的参数,包括滤波核的大小(通常是一个矩形或圆形窗口的大小)和标准差(控制滤波的强度)。滤波核的大小和标准差的选择通常取决于差分结果的特点和噪声水平。
3. 滤波操作:对目标点云执行高斯滤波操作。对于每个点云点,将高斯滤波器应用于其周围的点集。在窗口内,计算每个点的权重,通常使用高斯函数作为权重函数。距离滤波窗口中心越近的点,其权重越高。对点云点的属性(例如,XYZ坐标、法向量等)进行加权平均。这将产生一个平滑的输出。
4. 重复操作:对目标点云的每个点都执行上述滤波操作,以生成平滑的目标点云。
S240,去除第二非背景点云数据中不属于前景目标的点云。
优选的,本公开的一些实施例继续采用DBSCAN、K-means等方法对第二非背景点云数据聚类,并对聚类结果进一步滤波,即对形状不符合实际前景目标的类别进行过滤,以最大限度提取前景目标,最大化增大信息压缩比。
具体的,通过在聚类结果中去除长不属于第一预设范围或宽不属于第二预设范围或高不属于第三预设范围的类别以过滤明显过大或过小的类别。
S250,边缘计算设备分别传输背景点云数据和第二非背景点云数据至中心服务器;
S260,边缘计算设备分别传输背景点云数据和第二非背景点云数据至数据中心,并在数据中心分别存储背景点云数据和第二非背景点云数据。
图4是本公开的一个实施例所示的原始点云数据,图5是对原始点云数据用背景点云数据做背景差分后得到的第二非背景点云(也即是差分点云)数据。可见,图5的数据量明显小于图4。实际上,根据发明人对公开数据集dair v2x的测试,如表1所示:背景差分后得到的差分点云的数据量一般在原始点云数据量的2%以下。
表1:对公开数据集dairv2x的测试结果。
表1中,八叉树的分辨率指的是八叉树的叶子节点代表的空间粒度。分辨率为1m指的是把空间最小分割到1m后,就不再继续分割。压缩率指的是背景差分后得到的差分点云与差分前的原始点云的数据量之比。可见压缩率随着八叉树分辨率的增大而降低, 压缩率越低,压缩效果越好。在八叉树分辨率为1m时, 压缩率也小于2%, 压缩效率非常高。
边缘计算设备将对目标区域每隔预设时间采集的背景点云数据和实时采集的原始点云数据发送至中心服务器以供中心服务器实时生成目标区域的三维地图,并发送至数据中心以存储。因此,通过用传输和存储实时产生的差分点云来代替传输和存储实时产生的原始点云数据,将极大的减少数据量,提高传输和存储的稳定性。
S270,中心服务器获取背景点云数据和第二非背景点云数据,并融合背景点云数据和所述第二非背景点云数据,生成目标区域在目标时刻的点云数据。
具体的,中心服务器获取边缘设备以预设时间间隔发送的目标区域的背景点云数据和实时发送的第二非背景点云数据,并基于下述公式对两者融合生成目标区域的实时点云地图。
,
其中:是目标区域目标时刻的点云数据,/>是目标区域的背景点云数据,/>是目标区域在目标时刻点云数据相对于背景点云数据做差分后得到的第二非背景点云数据。
通过对差分点云数据与背景点云数据的融合可以高精度的还原原始点云数据。图6是对第二非背景点云数据与背景点云数据融合后生成的重建点云。可见,图6的重建点云与图4的原始点云高度相似。实际上,根据发明人对公开数据集dair v2x的测试,如表1所示:重建点云与原始点云的均方根误差Rmse在三种分辨下均小于0.3m,并且均方根误差随着八叉树分辨率的提高而减小。
Rmse 是重建点云与原始点云的点坐标的均方差,Rmse值越小说明重建点云对原始点云的的还原度越高。Rmse的计算公式为:
Rmse =
其中(x0、y0,z0)代表原始点云的点坐标,(xi、yi,zi)代表重建点云的点坐标。
在本公开的一些实施例中,对于背景在预设时间间隔内基本没有变化的目标区域,中心服务器也可以从其他途径,如数据库获取目标的三维背景地图,再将三维背景地图转化为点云地图以得到背景点云数据。在此种情况下,S250可以不传输背景点云数据至中心服务器。
图7是根据本公开的一些实施例所示的一种点云数据处理装置的示意图。如图7所示,所述点云数据处理装置700包括获取模块710、差分模块720、去噪模块730。所述点云数据处理功能可以由图1所示系统中的边缘计算设备执行。其中:
获取模块710,用于获取目标区域的三维背景地图和目标时刻的点云数据;
差分模块720,用于如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据;
去噪模块730,用于去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据。
图8是根据本公开的一些实施例所示的一种点云数据处理装置的示意图。如图8所示,所述点云数据处理装置800包括获取模块810、融合模块820、所述点云数据处理功能可以由图1所示系统中的中心服务器执行。其中:
获取模块810,用于获取目标区域的三维背景地图和所述目标区域在目标时刻的第二非背景点云数据,其中,所述第二非背景点云数据根据S210-S240所述方法生成;
融合模块820,用于如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,在所述背景点云数据中融合所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据。
综上所述,本公开各实施例提供的点云数据处理方法、装置及点云数据管理系统、方法,通过基于背景点云数据对实时获取的点云数据进行差分以获得非背景点云数据,并在需要时基于背景点云数据和非背景点云数据恢复出高还原度的点云数据。因为相对于背景点云数据,非背景点云数据量很小,而背景点云数据只需要按预设周期获取并传输、存储,需要实时传输和存储的只是非背景点云数据,数据量大为减少,因此提升了点云数据传输、存储的质量和效率。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述装置实施例中的对应描述,在此不再赘述。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的,但本领域技术人员可以认识到,还可结合其他类型的程序模块来执行其他实现。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解,此处所述的本主题可以使用其他计算机系统配置来实践,包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等,也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中,程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
应当理解的是,本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理,而不构成对本公开的限制。因此,在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。此外,本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种点云数据处理方法,其特征在于,包括:
获取目标区域的三维背景地图和在目标时刻的点云数据;
如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据;
去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据。
2.根据权利要求1所述方法,其特征在于,还包括:
对所述第二非背景点云数据进行聚类;
在聚类结果中去除长不属于第一预设范围或宽不属于第二预设范围或高不属于第三预设范围的类别。
3.根据权利要求1所述方法,其特征在于,所述对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据包括:
将目标区域三维空间划分为若干个子空间,将所述点云数据中的点和所述背景点云数据中的点分别与所述子空间对应;
在每一个所述子空间内,计算每个所述点云数据中的点到由所述背景点云数据中的点组成的集合的距离;
在所述点云数据中去除所述距离不大于第一预设阈值的点即得到第一非背景点云数据。
4.根据权利要求3所述方法,其特征在于,所述对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据包括:
基于点云库构建八叉树,其中,所述八叉树的根节点代表目标区域的三维空间,每个子节点代表将父节点代表的空间分割成8个子立方体中的1个子立方体,叶子节点用于存储点云数据;
基于八叉树的双缓冲技术,将所述点云数据和所述背景点云数据保存在所述八叉树中;
对所述八叉树的每个叶子节点,计算保存在所述叶子节点中的所述点云数据中的每个点到由保存在所述叶子节点中的所述背景点云数据中的点组成的集合的距离,在所述点云数据中去除所述距离不大于第二预设阈值的点即得到第一非背景点云数据。
5.根据权利要求1所述方法,其特征在于,所述去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据包括:
在所述第一非背景点云数据中选取不少于预设数量的点确定拟合平面,确定组成所述拟合平面的每个所述点到所述拟合平面的距离,定义所述距离不大于第三预设阈值的点为地面点,在所述第一非背景点云数据中去除所述地面点;
对去除所述地面点的所述第一非背景点云数据执行高斯滤波操作,其中,高斯滤波器的滤波核的大小和标准差通根据差分结果和噪声确定。
6.一种点云数据处理方法,其特征在于,包括:
获取目标区域的三维背景地图和所述目标区域在目标时刻的第二非背景点云数据,其中,所述第二非背景点云数据根据权利要求1-5任一项所述方法生成;
如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,在所述背景点云数据中融合所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据。
7.一种点云数据处理装置,其特征在于,包括:
获取模块,用于获取目标区域的三维背景地图和目标时刻的点云数据;
差分模块,用于如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,对所述点云数据基于所述背景点云数据做差分,得到第一非背景点云数据;
去噪模块,用于去除所述第一非背景点云数据中不属于目标点的噪点,得到第二非背景点云数据。
8.一种点云数据处理装置,其特征在于,包括:
获取模块,用于获取目标区域的三维背景地图和所述目标区域在目标时刻的第二非背景点云数据,其中,所述第二非背景点云数据根据权利要求1-5任一项所述方法生成;
融合模块,用于如果所述三维背景地图不是点云地图,将所述三维背景地图转化为点云地图,得到背景点云数据,在所述背景点云数据中融合所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据。
9.一种点云数据管理系统,包括网络连接的边缘计算设备和中心服务器,其中:
所述边缘计算设备用于以预设时间间隔获取目标区域的背景点云数据并根据权利要求1-5任一项所述方法发实时获取所述目标区域相对与所述背景点云数据的第二非背景点云数据;
所述中心服务器用于获取所述背景点云数据和所述第二非背景点云数据,并融合所述背景点云数据和所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据。
10.一种点云数据管理方法,应用于根据权利要求9所述系统, 其特征在于,所述系统还包括数据中心,所述方法包括:
所述边缘计算设备按预设时间间隔获取目标区域的背景点云数据并根据权利要求1-5任一项所述方法发实时获取所述目标区域相对与所述背景点云数据的第二非背景点云数据;
所述边缘计算设备分别传输所述背景点云数据和所述第二非背景点云数据至所述中心服务器以使所述中心服务器融合所述背景点云数据和所述第二非背景点云数据,生成所述目标区域在目标时刻的点云数据;
所述边缘计算设备分别传输所述背景点云数据和所述第二非背景点云数据至所述数据中心,并在所述数据中心分别存储所述背景点云数据和所述第二非背景点云数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410058956.0A CN117576325A (zh) | 2024-01-16 | 2024-01-16 | 点云数据处理方法和装置以及点云数据管理系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410058956.0A CN117576325A (zh) | 2024-01-16 | 2024-01-16 | 点云数据处理方法和装置以及点云数据管理系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117576325A true CN117576325A (zh) | 2024-02-20 |
Family
ID=89862858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410058956.0A Pending CN117576325A (zh) | 2024-01-16 | 2024-01-16 | 点云数据处理方法和装置以及点云数据管理系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117576325A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117894015A (zh) * | 2024-03-15 | 2024-04-16 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112666569A (zh) * | 2020-12-01 | 2021-04-16 | 天津优控智行科技有限公司 | 一种无人驾驶系统激光雷达连续点云的压缩方法 |
CN112949566A (zh) * | 2021-03-25 | 2021-06-11 | 浙江华是科技股份有限公司 | 一种监控方法、装置、系统及计算机存储介质 |
CN114063107A (zh) * | 2021-11-26 | 2022-02-18 | 山东大学 | 一种基于激光束的地面点云提取方法 |
CN115278226A (zh) * | 2022-07-18 | 2022-11-01 | 福州大学 | 一种基于3d点云的实时压缩与远程监控方法及系统 |
CN116030289A (zh) * | 2023-01-18 | 2023-04-28 | 四川西南交大铁路发展股份有限公司 | 基于激光雷达的铁路危情监测方法 |
US11645759B1 (en) * | 2022-05-18 | 2023-05-09 | Guangdong University Of Technology | Background filtering method and background filtering system based on roadside solid-state lidar |
-
2024
- 2024-01-16 CN CN202410058956.0A patent/CN117576325A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112666569A (zh) * | 2020-12-01 | 2021-04-16 | 天津优控智行科技有限公司 | 一种无人驾驶系统激光雷达连续点云的压缩方法 |
CN112949566A (zh) * | 2021-03-25 | 2021-06-11 | 浙江华是科技股份有限公司 | 一种监控方法、装置、系统及计算机存储介质 |
CN114063107A (zh) * | 2021-11-26 | 2022-02-18 | 山东大学 | 一种基于激光束的地面点云提取方法 |
US11645759B1 (en) * | 2022-05-18 | 2023-05-09 | Guangdong University Of Technology | Background filtering method and background filtering system based on roadside solid-state lidar |
CN115278226A (zh) * | 2022-07-18 | 2022-11-01 | 福州大学 | 一种基于3d点云的实时压缩与远程监控方法及系统 |
CN116030289A (zh) * | 2023-01-18 | 2023-04-28 | 四川西南交大铁路发展股份有限公司 | 基于激光雷达的铁路危情监测方法 |
Non-Patent Citations (7)
Title |
---|
HAOJIE REN等: "TrajMatch: Toward Automatic Spatio-Temporal Calibration for Roadside LiDARs Through Trajectory Matching", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, 30 November 2023 (2023-11-30), pages 12549 - 12559 * |
MARCEL BRUCKER: "Unsupervised LiDAR-based 3D Object Detection Using Infrastructure Sensors", DEPARTMENT OF INFORMATICS TECHNICAL UNIVERSITY OF MUNICH, 15 September 2022 (2022-09-15), pages 1 - 103 * |
ZHENG, J等: "Background Noise Filtering and Clustering With 3D LiDAR Deployed in Roadside of Urban Environments", IEEE SENSORS JOURNAL, 31 December 2021 (2021-12-31), pages 20629 * |
姚顽强;郑俊良;陈鹏;陈卫南;: "八叉树索引的三维点云数据压缩算法", 测绘科学, no. 07, 2 March 2016 (2016-03-02), pages 18 - 22 * |
安帅: "基于Octree的点云区域重心精简方法研究", pages 135 - 48 * |
张雨婷: "基于激光雷达点云的铁路障碍物检测技术研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑, 15 February 2023 (2023-02-15), pages 026 - 329 * |
杨思远;郑建颖;: "基于路侧三维激光雷达的车辆目标分类算法", 传感器与微系统, no. 07, 2 July 2020 (2020-07-02), pages 129 - 132 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117894015A (zh) * | 2024-03-15 | 2024-04-16 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
CN117894015B (zh) * | 2024-03-15 | 2024-05-24 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106529469B (zh) | 基于自适应坡度的无人机载LiDAR点云滤波方法 | |
CN109141364B (zh) | 障碍物检测方法、系统及机器人 | |
US10795056B2 (en) | Local weather forecast | |
CN117576325A (zh) | 点云数据处理方法和装置以及点云数据管理系统和方法 | |
CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
CN111210429A (zh) | 点云数据划分方法及装置、障碍物检测方法及装置 | |
CN110598541A (zh) | 一种提取道路边缘信息的方法及设备 | |
CN111553946B (zh) | 用于去除地面点云的方法及装置、障碍物检测方法及装置 | |
CN112132795B (zh) | 一种基于LiDAR点云的电塔受灾风险评估方法及系统 | |
CN112784403A (zh) | 基于点云数据建立节理岩体离散元模型的数值模拟方法 | |
CN115761303A (zh) | 基于机载激光雷达点云和遥感影像数据的地物分类方法 | |
CN111275821A (zh) | 一种电力线拟合方法、系统及终端 | |
CN115457152A (zh) | 外参标定方法、装置、电子设备及存储介质 | |
CN114519712A (zh) | 一种点云数据处理方法、装置、终端设备及存储介质 | |
CN114299242A (zh) | 高精地图中图像处理方法、装置、设备以及存储介质 | |
CN112907744A (zh) | 数字高程模型的构建方法、装置、设备及存储介质 | |
CN116721228A (zh) | 一种基于低密度点云的建筑物高程提取方法及系统 | |
CN111583406A (zh) | 杆塔脚基点坐标计算方法、装置及终端设备 | |
CN115410036A (zh) | 一种高压架空输电线路关键要素激光点云自动分类方法 | |
CN113920273B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN113139982B (zh) | 一种室内房间点云的自动分割方法 | |
CN113009452B (zh) | 一种激光点云电力杆塔提取方法 | |
CN114070438A (zh) | 一种5g基站电磁信号的检测方法及系统 | |
CN113344242A (zh) | 一种基于植物生长模型的树障隐患预测方法 | |
Ye et al. | Gaussian Mixture Model of Ground Filtering Based on Hierarchical Curvature Constraints for Airborne Lidar Point Clouds |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |