CN112418129B - 一种点云数据处理的方法、装置、电子设备及存储介质 - Google Patents
一种点云数据处理的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112418129B CN112418129B CN202011380366.8A CN202011380366A CN112418129B CN 112418129 B CN112418129 B CN 112418129B CN 202011380366 A CN202011380366 A CN 202011380366A CN 112418129 B CN112418129 B CN 112418129B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- level
- feature extraction
- feature map
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title description 3
- 238000000605 extraction Methods 0.000 claims abstract description 270
- 238000000034 method Methods 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 95
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 134
- 230000008569 process Effects 0.000 description 19
- 238000009826 distribution Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种点云数据处理的方法、装置、电子设备及存储介质，其中，该方法包括：获取雷达设备实时采集的第一点云数据；对获取的第一点云数据和构成点云地图的第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图；其中成对的第一点云特征图和第二点云特征图由同一层级的特征提取层提取得到；基于成对的第一点云特征图和第二点云特征图，对雷达设备进行级联定位；其中，级联定位是指基于当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果。本公开结合多层特征提取以及级联定位，提升了定位的鲁棒性和准确性。
Description
技术领域
本公开涉及无人驾驶技术领域，具体而言，涉及一种点云数据处理的方法、装置、电子设备及存储介质。
背景技术
随着科学技术的发展与进步，常常用于军事领域的激光雷达的成本大大降低而被广泛应用于各个技术领域，例如，自动驾驶汽车领域、移动机器人领域等。以自动驾驶汽车领域为例，基于激光雷达定位技术可以实现车辆的定位，而基于点云地图的地图匹配算法是实现自动驾驶汽车高精度定位的核心技术。
目前的地图匹配方法主要可以利用点云的几何结构特征进行地图匹配，例如，可以在确定当前采集的点云数据中的线段结构与点云地图中的线段结构相匹配的情况下，基于点云地图实现车辆的定位。
然而，上述基于地图匹配实现车辆定位的方法，由于对点云分布以及定位场景比较敏感，特别是针对结构退化的场景，定位的鲁棒性和准确性均较低。
发明内容
本公开实施例至少提供一种点云数据处理的方法、装置、电子设备及存储介质，结合多层特征提取以及级联定位，提升了定位的鲁棒性和准确性。
第一方面，本公开实施例提供了一种点云数据处理的方法，所述方法包括：
获取雷达设备实时采集的第一点云数据；
对获取的所述第一点云数据和构成点云地图的第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图；其中成对的第一点云特征图和第二点云特征图由同一层级的特征提取层提取得到；
基于所述成对的第一点云特征图和第二点云特征图，对所述雷达设备进行级联定位；其中，所述级联定位是指基于当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果。
采用上述点云数据处理的方法，首先可以获取雷达设备实时采集的第一点云数据以及用于构建点云地图的第二点云数据，在针对第一点云数据和第二点云数据分别进行多层特征提取之后，可以基于提取的成对的第一点云特征图和第二点云特征图对雷达设备进行级联定位，由于多层特征提取可以提取出更为丰富的点云特征，这一定程度上可以提升后续进行定位的鲁棒性，又考虑到上述点云数据处理的方法是采用当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果的级联定位方式，该定位方法可以逐级的降低定位误差，提升定位的准确性。
在一种可能的实施方式中，所述基于所述成对的第一点云特征图和第二点云特征图，对所述雷达设备进行级联定位，包括：
针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果；
将最后层级对应的定位结果，确定为最终的定位结果。
本公开实施例中，每一层级对应定位结果可以是基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果共同确定的。考虑到越是靠前的层级其所对应的点云特征也越丰富，丰富的点云特征一定程度可以提升定位结果的准确性，也即，越是靠前的层级其定位的准确度也会越高，最后层级对应的定位结果相对最高。
在一种可能的实施方式中，所述定位结果包括水平位置偏移量和空间姿态旋转量；
所述针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果，包括：
针对每一层级，基于该层级的上一层级对应的定位结果中的空间姿态旋转量对该层级的第一特征提取层提取的第一点云特征图进行旋转处理，得到旋转处理后的第一点云特征图；以及，
基于该层级的上一层级对应的定位结果中的水平位置偏移量，对该层级的第二特征提取层提取的第二点云特征图进行截取处理，得到截取处理后的第二点云特征图；
将所述旋转处理后的第一点云特征图以及所述截取处理后的第二点云特征图进行互相关运算，确定该层级对应的定位结果。
这里，考虑到第二点云数据相对第一点云点云数据的数据量更大，这样所确定的第二点云特征图相对第一点云特征图也较大。为了基于互相关运算确定定位结果，这里，一方面可以基于针对第一点云特征图的旋转操作实现第一点云特征图的旋转以将第一点云特征图旋转至与第二点云特征图这一参考特征图相同的空间姿态，另一方面可以基于针对第二点云特征图的截取操作实现第二点云特征图的截取，从而实现同一维度的两个点云特征图之间的互相关运算。
在一种可能的实施方式中，所述基于该层级的上一层级对应的定位结果中的空间姿态旋转量对该层级的第一特征提取层提取的第一点云特征图进行旋转处理，得到旋转处理后的第一点云特征图，包括：
将该层级的上一层级对应的定位结果中的空间姿态旋转量、以及该层级的第一特征提取层提取的第一点云特征图输入至预先训练好的姿态旋转模型中，得到旋转处理后的第一点云特征图。
在一种可能的实施方式中，所述旋转处理后的第一点云特征图的维度与所述截取处理后的第二点云特征图的维度相同。
在一种可能的实施方式中，所述第一点云特征图由第一特征提取网络提取得到，所述第一特征提取网络包括多个第一特征提取层；所述第二点云特征图由第二特征提取网络提取得到，所述第二特征提取网络包括多个第二特征提取层；
所述对获取的所述第一点云数据和第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图，包括：
利用预先训练好的第一特征提取网络对获取的所述第一点云数据进行多层特征提取，确定每个第一特征提取层提取的第一点云特征图；以及，
利用预先训练好的第二特征提取网络对获取的所述第二点云数据进行多层特征提取，确定每个第二特征提取层提取的第二点云特征图；
将同一层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图，确定为所述成对的第一点云特征图和第二点云特征图。
本公开实施例可以利用结构相同的两个特征提取网络分别对第一点云数据和第二点云数据进行多层特征提取，并将同一层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图确定为成对的第一点云特征图和第二点云特征图。由于两个特征提取网络的结构相同，则一个层级提取出的两个点云特征图可以共同向下一个层级传递，从而为最终的定位提供数据参考依据。
在一种可能的实施方式中，按照如下步骤同步训练第一特征提取网络和第二特征提取网络：
获取第一点云数据样本和第二点云数据样本，其中，所述第一点云数据样本和第二点云数据样本分别来源于定位车获取的点云数据以及用于构建点云地图的采集车获取的点云数据；
利用获取的所述第一点云数据样本和所述第二点云数据样本、以及所述定位车与所述采集车之间的真实定位偏移量，对所述第一特征提取网络和第二特征提取网络进行训练。
在一种可能的实施方式中，所述利用获取的所述第一点云数据样本和所述第二点云数据样本、以及所述定位车与所述采集车之间的真实定位偏移量，对所述第一特征提取网络和第二特征提取网络进行训练，包括：
针对当前层级，利用待训练的第一特征提取网络在该层级的第一特征提取层对获取的所述第一点云数据样本进行特征提取，得到第一点云样本特征图；以及，利用待训练的第二特征提取网络在该层级的第二特征提取层对获取的所述第二点云数据样本进行特征提取，得到第二点云样本特征图；
基于所述第一点云样本特征图以及所述第二点云样本特征图，确定所述当前层级输出的概率立方体；所述概率立方体用于指示针对所述当前层级设置的所述定位车的多组候选定位偏移量中的每组候选定位偏移量的预测概率；每组候选定位偏移量包括一个水平位置偏移量以及一个候选空间姿态旋转量；
从每个层级输出的概率立方体中查找预测概率最大的一组候选定位偏移量，根据查找到的候选定位偏移量与真实定位偏移量之间的偏差，调整所述待训练的第一特征提取网络和所述待训练的第二特征提取网络的网络参数值。
在一种可能的实施方式中，若当前层级非第一层级，所述基于所述第一点云样本特征图以及所述第二点云样本特征图，确定所述当前层级输出的概率立方体，包括：
针对所述当前层级，基于该层级的上一层级输出的概率立方体、在该层级进行特征提取后的第一点云样本特征图以及第二点云样本特征图，确定所述当前层级输出的概率立方体。
在一种可能的实施方式中，所述第一特征提取网络的每个层级对应一个编码层以及与该编码层对应设置的解码层；
所述针对当前层级，利用待训练的第一特征提取网络的该层级的第一特征提取层对获取的所述第一点云数据样本进行特征提取，得到特征提取后的第一点云样本特征图，包括：
针对每个层级，利用待训练的第一特征提取网络的该层级对应的编码层对获取的所述第一点云数据样本进行编码处理，得到编码处理后的第一点云数据样本；
利用待训练的第一特征提取网络的该层级对应的解码层对所述编码处理后的第一点云数据样本进行解码处理，得到解码处理后的第一点云样本特征图，并作为得到该层级特征提取后的第一点云样本特征图。
本公开实施例中的特征编和特征解码是逆过程，前者可以是由低数据维度到高数据维度进行转换的操作，后者则可以是由高数据维度到低数据维度进行转换的操作，从而实现点云特征图的提取。
在一种可能的实施方式中，所述第一特征提取网络还包括用于连接所述编码层和所述解码层的注意力层；所述利用待训练的第一特征提取网络的该层级对应的解码层对所述编码处理后的第一点云数据样本进行解码处理，包括：
利用待训练的第一特征提取网络的该层级对应的解码层、以及所述注意力层所选取的注意力特征信息，对所述编码处理后的第一点云数据样本进行解码处理。
考虑到特征编码在由低数据维度到高数据维度转换的过程中会损失部分特征，而这些特征可能是特征解码时所需要的，因而，为了实现更好的编码操作，本公开实施例中，可以利用注意力层学习解码时需要从编码层获取的特征以及对应的注意力权重等注意力特征信息来实现解码，这样所解码出来的点云特征图可以提供更准确的数据支撑。
在一种可能的实施方式中，对获取的所述第一点云数据进行多层特征提取，包括：
对获取的所述第一点云数据进行转换处理，得到转换处理后的第一点云数据；
对所述转换处理后的第一点云数据进行多层特征提取。
在一种可能的实施方式中，所述第一点云数据包括各个第一点云点的点云强度信息和点云高度信息；按照如下步骤对所述第一点云数据进行转换处理：
基于各个点云高度信息与各个预设高度范围之间的对应关系，将所述各个第一点云点划分至不同的预设高度范围内，得到与每个预设高度范围对应的第一点云点组；
针对每个第一点云点组，基于该第一点云点组所在坐标系以及点云地图所在坐标系之间的转换关系，将该第一点云点组包括的第一点云点的点云强度信息转换为点云地图上的点云强度信息；
基于转换后的点云强度信息确定转换处理后的第一点云数据。
这里，结合点云高度信息和点云强度信息对点云数据进行分组，点云高度可以表征出点云的垂直结构特征，点云强度信息则可以表征出点云的分布情况下，数据提取的完整性较高。
第二方面，本公开实施例还提供了一种点云数据处理的装置，所述装置包括：
获取模块，用于获取雷达设备实时采集的第一点云数据；
提取模块，用于对获取的所述第一点云数据和构成点云地图的第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图；其中成对的第一点云特征图和第二点云特征图由同一层级的特征提取层提取得到；
定位模块，用于基于所述成对的第一点云特征图和第二点云特征图，对所述雷达设备进行级联定位；其中，所述级联定位是指基于当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果。
第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的点云数据处理的方法的步骤。
第四方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如第一方面及其各种实施方式任一所述的点云数据处理的方法的步骤。
关于上述点云数据处理的装置、电子设备、及计算机可读存储介质的效果描述参见上述点云数据处理的方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例一所提供的一种点云数据处理的方法的流程图；
图2示出了本公开实施例一所提供的一种点云数据处理的方法的应用示意图；
图3示出了本公开实施例一所提供的一种点云数据处理的方法的应用示意图；
图4示出了本公开实施例二所提供的一种点云数据处理的装置的示意图；
图5示出了本公开实施例三所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，目前的地图匹配方法主要可以分成两类，一类是利用点云的集合结构特征进行地图匹配，另一类则是利用点云数据中存储的点云强度信息进行地图匹配。
第一类利用点云的几何结构特征进行地图匹配的定位方式，可以在确定当前采集的点云数据中的线段结构与点云地图中的线段结构相匹配的情况下，基于点云地图实现车辆的定位。这一基于地图匹配实现车辆定位的方法，由于对点云分布以及定位场景比较敏感，特别是针对结构退化的场景，定位的鲁棒性和准确性均较低。
第二类利用点云强度信息进行地图匹配的定位方式，可以通过对点云的平均强度进行建模，利用同一目标在定位时刻以及建图时刻的点云强度分布的一致性进行地图匹配，进而完成定位。这一基于地图匹配实现车辆定位的方法由于是直接对点云数据中的点云强度信息进行提取以进行地图匹配，这容易受到天气、雷达设备型号以及点云强度标定等因素的影响，导致提取的特征不够鲁棒，其二，目前普遍采用的是单层强度的地图匹配方式，这损失了点云在空间垂直方向上的结构特征，不利于定位，其三，目前所采用的定位流程是基于初始预测位姿具有较高的定位精度为前提假设，这无法高效处理当预测的初始位姿出现较大误差的情况下的场景，整体的定位鲁棒性和准确性不足。
为了解决上述相关方法涉及的技术问题，本公开提供了一种点云数据处理的方法、装置、电子设备及存储介质，结合多层特征提取以及级联定位，提升了定位的鲁棒性和准确性。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种点云数据处理的方法进行详细介绍，本公开实施例所提供的点云数据处理的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该点云数据处理的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的点云数据处理的方法加以说明。
实施例一
参见图1所示，为本公开实施例提供的点云数据处理的方法的流程图，所述方法包括步骤S101～S103，其中：
S101、获取雷达设备实时采集的第一点云数据；
S102、对获取的第一点云数据和构成点云地图第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图；其中成对的第一点云特征图和第二点云特征图由同一层级的特征提取层提取得到；
S103、基于成对的第一点云特征图和第二点云特征图，对雷达设备进行级联定位；其中，级联定位是指基于当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果。
这里，为了便于理解本公开实施例提供的点云数据处理的方法，接下来对该方法的应用场景进行详细描述。本公开实施例提供的点云数据的处理的方法可以应用于任何需要利用点云地图进行定位的场景中，例如，可以应用于自动驾驶汽车领域中，在搭载有雷达设备的自动驾驶汽车行驶在道路的过程中，可以基于雷达设备采集的点云数据以及预先构建的点云地图实现多层特征提取以及针对车辆的级联定位；再如，还可以应用于移动机器人领域，搭载有雷达设备的机器人可以利用上述点云处理的方法实现对机器人更为准确性的定位，从而便于后续机器人应用；除此之外，本公开实施例还可以应用于其它各种领域，在此不做具体的限制。考虑到自动驾驶技术的广泛使用，接下来多以自动驾驶应用为例进行示例说明。
本公开实施例提供的点云数据处理的方法实现级联定位的前提是需要获取到两份点云数据，一份来自于雷达设备实时采集的第一点云数据，另一份则来自用于构建点云地图的第二点云数据，基于这两份点云数据可以分别进行多层特征提取。
这里的多层特征提取主要是为了克服现有提取的特征较为单一，容易受到外界干扰而导致后续定位结果较差的问题。本公开实施例中，基于多层特征提取所提取出的点云特征的层次更深，这样，可以基于提取出的点云特征图实现级联定位，这里的级联定位主要是为了克服相关技术中所涉及到的初始预测位姿不准确所带来的定位准确性差的问题。
其中，本公开实施例可以采用旋转式扫描雷达实现第一点云数据的采集，这里的旋转式扫描雷达在水平方向旋转扫描时可以获取设备周边环境内有关目标的点云数据。在进行旋转扫描的过程中，雷达可以采用多线扫描方式，即使用多个激光管顺序发射，结构为多个激光管纵向排列，即在水平方向旋转扫描的过程中，进行垂直方向的多层扫描。每个激光管之间有一定的夹角，垂直发射视场可以在30°～40°，这样，在雷达设备每旋转一个扫描角度可以获取多个激光管发射激光束所返回的一个数据包，将各个扫描角度获取的数据包进行拼接即可得到点云数据。
为了实现自动驾驶车辆的定位，本公开实施例提供的点云数据处理的方法还需要获取构建点云地图的第二点云数据。这里的点云地图可以是高精度地图。相比传统电子地图而言，高精度地图的绘制通常需要使用搭载雷达设备的专业采集车对所需建图区域进行数据采集。对于采集得到的第二点云数据，基于物体轮廓标注处理，可以构建对应的三维物体模型，而后，将构建出的三维物体模型设置在对应的地图位置处，即可构建得到点云地图。
需要说明的是，在实际应用中，可以将搭载有激光雷达的采集车行驶的一系列轨迹点对应的点云数据进行拼接，这样所构建出来的点云地图也可以是拼接得到的。
本公开实施例提供的点云数据处理的方法，为了实现基于点云地图的定位，可以将第二点云数据作为参考数据，基于第一点云数据和这一参考数据的对比结果来实现级联定位。
为了更好的实现级联定位，本公开实施例可以对第一点云数据和第二点云数据分别进行多层特征提取以得到成对的第一点云特征图和第二点云特征图，这主要是考虑到随着特征提取层的递进，所能挖掘出的特征也更为丰富。
本公开实施例中，利用每一层级的两个特征提取层，均可以提取到对应的一对点云特征图，多个层级则对应多对点云特征图。例如，针对三层级的特征提取，可以提取出三对点云特征图。
在具体应用中，可以基于相同的两个神经网络结构实现上述两份点云数据的多层特征提取，两个神经网络结构并行设置，一定程度上可以提升特征提取的效率。
在提取出成对的第一点云特征图和第二点云特征图的情况下，可以基于第一点云特征图和第二点云特征图进行级联定位，这里的级联定位指的是基于当前层级的点云特征图以及上一层级对应的定位结果来确定当前层级对应的定位结果，也即，每一层级的定位结果不仅会受到该层级成对的第一点云特征图和第二点云特征图的影响，还会受到上一层级的定位结果的影响，而上一层级的定位结果不仅会受到该层级成对的第一点云特征图和第二点云特征图的影响，还会受到上上一个层级的定位结果的影响，依次类推，在初始定位结果已知的情况下，可以实现针对各个层级的定位，这样，即使初始定位结果的精度不足以满足定位要求，本公开实施例也可以实现由粗到精的级联定位，提升对上述初始定位结果所存在误差的容忍度，提升定位的准确性和鲁棒性。
本公开实施例可以利用并行设置的第一特征提取网络和第二特征提取网络实现第一点云特征图和第二点云特征图的提取，这里的第一特征提取网络可以包括多个第一特征提取层，第二特征提取网络可以包括多个第二特征提取层。本公开实施例可以按照如下步骤确定成对的第一点云特征图和第二点云特征图：
步骤一、利用预先训练好的第一特征提取网络对获取的第一点云数据进行多层特征提取，确定每个第一特征提取层提取的第一点云特征图；以及，
步骤二、利用预先训练好的第二特征提取网络对获取的第二点云数据进行多层特征提取，确定每个第二特征提取层提取的第二点云特征图；
步骤三、将同一层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图，确定为成对的第一点云特征图和第二点云特征图。
这里，可以分别利用预先训练好的第一特征提取网络对第一点云数据进行多层特征提取，以及利用预先训练好的第二特征提取网络对第二点云网络进行多层特征提取，以确定每个第一特征提取层提取的第一点云特征图和每个第二特征提取层提取的第二点云特征图。由于上述第一特征提取网络和第二特征提取网络采用的可以是相同的网络结构，因而，这里的同一层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图可以是成对出现的，从而可以作为成对的第一点云特征图和第二点云特征图。
本公开实施例中，在确定成对的第一点云特征图和第二点云特征图的情况下，可以基于成对的第一点云特征图和第二点云特征图实现级联定位。可以按照如下步骤实现级联定位：
步骤一、针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果；
步骤二、将最后层级对应的定位结果，确定为最终的定位结果。
这里，针对每一层级，可以基于该层级的两个特征提取层分别提取的两个点云特征图、以及该层级的上一层级对应的定位结果来确定该层级对应的定位结果。本公开实施例中，各个层级对应的定位结果均可以按照上述定位方式来具体实现。
考虑到随着层级的递进，所结合的点云特征也越来越丰富，从而可以逐级的降低较大的初始预测位姿对于最终定位所产生的影响，进一步使得所确定的定位结果也越来越准确，本公开实施例中，可以选取最后层级对应的定位结果，确定为最终的定位结果。
为了实现由粗到精的级联定位，本公开实施例提供的点云数据处理的方法可以结合截取处理操作以及旋转处理操作将上一层级所确定的相对粗略的定位结果，可微地传递到下一个定位阶段，从而得到更为精准的定位结果。为了便于说明上述由粗到精的级联定位过程，接下来可以针对一个层级详细说明其对应的定位结果的确定过程，主要包括如下步骤：
步骤一、针对每一层级，基于该层级的上一层级对应的定位结果中的空间姿态旋转量对该层级的第一特征提取层提取的第一点云特征图进行旋转处理，得到旋转处理后的第一点云特征图；以及，基于该层级的上一层级对应的定位结果中的水平位置偏移量，对该层级的第二特征提取层提取的第二点云特征图进行截取处理，得到截取处理后的第二点云特征图；
步骤二、将旋转处理后的第一点云特征图以及截取处理后的第二点云特征图进行互相关运算，确定该层级对应的定位结果。
本公开实施例中，定位结果既可以包括水平位置偏移量又可以包括空间姿态旋转量，而针对水平位置偏移量而言一定程度上可以影响当前实时采集的第一点云数据相对点云地图所对应的第二点云数据这一参考点云数据的偏移量，针对空间姿态旋转量一定程度上则可以影响采集时刻的姿态信息。
因而，本公开实施例中，针对每一层级而言，可以通过该层级的上一层级对应的水平位置偏移量对该层级提取的第二点云特征图进行截取处理以确定与第一点云特征图在水平方向上相似度较大的第二点云特征图，还可以通过该层级的上一层级对应的空间姿态旋转量对该层级提取的第一点云特征图进行旋转处理以确定与第二点云特征图在旋转方向上的相似度较大的第一点云特征图，这样，将旋转后的第一点云特征图与截取后的第二点云特征图进行互相关运算，即可以确定这一层级对应的定位结果。
本公开实施例中旋转后的第一点云特征图与截取后的第二点云特征图的维度可以相同。考虑到互相关运算作为衡量两张特征图相似度的一种方式，两张相同尺寸的点云特征图进行互相关运算可以得到一个数值，数值越大，一定程度上表明两张特征图的相似度越高，基于这一匹配结果，即可以确定定位结果，也即，可以将当前截取后的第二点云特征图所对应的设备位置确定为雷达设备当前的位置。
其中，有关上述旋转处理操作可以是基于预先训练好的姿态旋转模型实现的，也即，在将该层级的上一层级对应的定位结果中的空间姿态旋转量、以及该层级的第一特征提取层提取的第一点云特征图输入至预先训练好的姿态旋转模型中，即可以得到旋转处理后的第一点云特征图。
在具体应用中，上述姿态旋转模型可以是基于空间变换网络(SpatialTransformer Networks，STN)训练得到的，在将第一点云特征图和空间姿态旋转量输入到STN的情况下，可以进行姿态旋转，从而得到旋转后的第一点云特征图。
为了更好的进行特征提取，本公开实施例在针对第一点云数据进行多层特征提取之前，可以先对获取的第一点云数据进行转换处理。本公开实施例中，可以按照如下步骤对第一点云数据进行数据转换：
步骤一、基于各个点云高度信息与各个预设高度范围之间的对应关系，将各个第一点云点划分至不同的预设高度范围内，得到与每个预设高度范围对应的第一点云点组；
步骤二、针对每个第一点云点组，基于该第一点云点组所在坐标系以及点云地图所在坐标系之间的转换关系，将该第一点云点组包括的第一点云点的点云强度信息转换为点云地图上的点云强度信息；
步骤三、基于转换后的点云强度信息确定转换处理后的第一点云数据。
这里，首先可以基于点云高度信息将获取的第一点云数据划分为不同的第一点云点组，也即，可以将点云数据沿着垂直方向划分在不同的层，从而可以保留垂直方向的信息。这样，针对每个第一点云点组可以基于该第一点云点组所在坐标系以及点云地图所在坐标系之间的转换关系，将该第一点云点组包括的第一点云点的点云强度信息转换为点云地图上的点云强度信息，也即，可以将第一点云点组按照上述方式进行地图表达，从而确定出点云强度分布信息，每个第一点云点组可以对应一个通道的输入点云数据，多个第一点云点组可以对应多个通道的输入点云数据，将多个通道的输入点云数据作为转换处理后的第一点云数据可以进行多层特征提取。
相比相关技术中，通常会采用单层强度地图从而损失了点云在空间垂直方向上的结构特征而言，本公开实施例中的转换后的第一点云数据很好的保留了垂直方向的结构特征，特征表达的更为准确，为后续高准确性的定位提供了数据支撑。
需要说明的是，作为预先构建的点云地图而言，其第二点云数据也可以是按照上述地图表达方式表达，这里，可以预先完成对该构成点云地图的原始第二点云数据的转换处理，这样所处理得到的第二点云数据即可以结合转换处理后的第一点云数据进行同步的多层特征提取。此外，在实际应用中，有关第二点云数据的转换过程也可以不是预先完成的，而是与第一点云数据的转换过程同时进行，具体的处理方法参见上述描述，在此不做赘述。
考虑到第一特征提取网络和第二特征提取网络的训练过程是实现特征提取操作的关键步骤，接下来可以通过如下步骤详细说明有关网络训练的过程。
步骤一、获取第一点云数据样本和第二点云数据样本，其中，第一点云数据样本和第二点云数据样本分别来源于定位车获取的点云数据以及用于构建点云地图的采集车获取的点云数据；
步骤二、利用获取的所述第一点云数据样本和所述第二点云数据样本、以及所述定位车与所述采集车之间的真实定位偏移量，对所述第一特征提取网络和第二特征提取网络进行训练。
这里，可以将第一点云数据样本和第二点云数据样本分别作为待训练的第一特征提取网络和第二特征提取网络的训练数据，将定位车与所述采集车之间的真实定位偏移量作为网络的输出结果进行训练。
在训练的过程中，可以基于两个特征提取网络输出的定位偏移量与真实定位偏移量之间的差值进行网络参数的调整，以训练得到第一特征提取网络和第二特征提取网络。
本公开实施例中，可以按照如下步骤对所述第一特征提取网络和第二特征提取网络进行训练：
步骤一、针对当前层级，利用待训练的第一特征提取网络在该层级的第一特征提取层对获取的第一点云数据样本进行特征提取，得到第一点云样本特征图；以及，利用待训练的第二特征提取网络在该层级的第二特征提取层对获取的第二点云数据样本进行特征提取，得到第二点云样本特征图；
步骤二、基于第一点云样本特征图以及第二点云样本特征图，确定当前层级输出的概率立方体；概率立方体用于指示针对当前层级设置的定位车的多组候选定位偏移量中的每组候选定位偏移量的预测概率；每组候选定位偏移量包括一个水平位置偏移量以及一个候选空间姿态旋转量；
步骤三、从每个层级输出的概率立方体中查找预测概率最大的一组候选定位偏移量，根据查找到的候选定位偏移量与真实定位偏移量之间的偏差，调整所述待训练的第一特征提取网络和所述待训练的第二特征提取网络的网络参数值。
与网络应用相似的是，在进行网络训练的过程中，也需要获取两份点云数据样本(即第一点云数据样本和第二点云数据样本)，也需要利用待训练的第一特征提取网络和第二特征提取网络实现第一点云数据样本和第二点云数据样本的特征提取。
本公开实施例中，针对当前层级，利用待训练的第一特征提取网络在该层级的第一特征提取层对第一点云数据样本进行特征提取，可以得到第一点云样本特征图，利用待训练的第二特征提取网络在该层级的第二特征提取层对第二点云数据样本进行特征提取，可以得到第二点云样本特征图。
其中，上述第一特征提取网络和第二特征提取网络均可以采用多层U-Net网络结构，这样，两个特征提取网络均可以提取出多个层级的点云样本特征图，且该多个层级的点云样本特征图可以呈金字塔式。
在针对当前层级提取出对应的第一点云样本特征图和第二点云样本特征图的情况下，可以确定当前层级输出的概率立方体，由于该概率立方体指示的是针对当前层级设置的定位车的多组候选定位偏移量中的每组候选定位偏移量的预测概率，也即，这里可以是预设有多个水平位置偏移量以及多个候选空间姿态旋转量，基于这一概率立方体可以确定在一个水平位置偏移量以及一个候选空间姿态旋转量所组成的一组候选定位偏移量的预测概率，预测概率越大，说明定位车对应这一定位偏移量的可能性越高。
需要说明的是，在训练阶段，可以针对每个层级确定出与该层级对应的预测概率最大的一组候选定位偏移量，进而实现该层级的定位。
在网络训练阶段，同样也可以基于当前层级之前的上一层级输出的概率立方体、在该层级进行特征提取后的第一点云样本特征图以及第二点云样本特征图，确定当前层级输出的概率立方体。
需要说明的是，有关结合当前层级提取的两个点云样本特征图以及该层级之前的上一层级输出的概率立方体确定当前层级输出的概率立方体的过程，也可以是结合上述旋转处理操作和截取处理操作实现由粗到精的级联定位。
这里，一方面可以利用姿态旋转模型将第一点云样本特征图变换为不同候选空间姿态旋转量(如航偏角)下所对应的第一点云样本特征图，另一方面则可以利用双线性插值等截取方式对第二点云样本特征图进行截取，得到截取后的第二点云样本特征图，进而可以通过旋转后的第一点云样本特征图和截取后的第二点云样本特征图之间的互相关操作在空间维度搜索最优的水平位置以及最优的航偏角估计值，从而达到从概率立方体中查找预测概率最大的一组候选定位偏移量的目的。
本公开实施例中，若当前搜索到的一组候选定位偏移量与真实定位偏移量不一致，则可以将两个偏移量之间的差值反馈到两个特征提取网络，随之可以调整特征提取网络的网络参数值，直至在经过若干轮模型训练之后，两个偏移量达到一致，从而可以训练得到第一特征提取网络和第二特征提取网络。
本公开实施例中的特征提取网络，可以先后通过特征编码和特征解码实现点云样本特征图的提取。接下来对第一特征提取网络对第一点云数据样本进行特征提取的过程进行如下说明，具体包括如下步骤：
步骤一、针对每个层级，利用待训练的第一特征提取网络的该层级对应的编码层对获取的第一点云数据样本进行编码处理，得到编码处理后的第一点云数据样本；
步骤二、利用待训练的第一特征提取网络的该层级对应的解码层对编码处理后的第一点云数据样本进行解码处理，得到解码处理后的第一点云样本特征图，并作为得到该层级特征提取后的第一点云样本特征图。
这里，首先可以基于第一特征提取网络的编码层对第一点云数据样本进行编码处理以得到编码处理后的第一点云数据样本，然后可以利用第一特征提取网络的解码层对编码处理后的第一点云数据样本进行解码处理，得到解码处理后的第一点云样本特征图，可以作为提取出的第一点云样本特征图。
本公开实施例中，为了提升网络在训练过程中的特征学习效率，还可以在通过一条跳跃连接将编码层输出的特征传递到对应的解码层上。在具体应用中，可以在每个第一特征提取层进行特征提取时，在每一条跳跃连接上增加了一个注意力层，通过该注意力层学习编码层的特征作为注意力特征信息，进而连同解码层实现第一点云数据样本的解码处理操作。
需要说明的是，有关第二特征提取网络的特征提取操作参见上述描述，在此不做赘述。
为了便于进一步理解上述特征提取网络的训练过程，接下来可以结合图2和图3进行示例说明。
如图2所示，在第一点云数据样本和第二点云数据样本分别输入至上下两个4层的U-Net网络结构的情况下，可以通过上一个网络支路的前向传播得到对应的金字塔特征{f1,f2,f3}，f1,f2,f3分别对应三个第一特征提取层所提取的三个第一点云样本特征图，还可以通过下一个网络支路的前向传播得到对应的金字塔特征{F1,F2,F3}，F1,F2,F3分别对应三个第二特征提取层所提取的三个第二点云样本特征图。在每个层级的特征提取层进行特征提取时，均可以利用跳跃连接的注意力层实现该层级的特征关注。
如图3所示，给定一个层级对应的一对点云样本特征图(f,F)以及该层级之前的上一层级的概率立方体P0，一方面可以利用STN以及P0中的候选空间姿态旋转量(△φ)将f变换为不同航偏角下所对应的特征图，另一方面可以利用P0中的水平位置偏移量(△x，△y)对F进行截取操作，这样，将变换后的f和截取后的F进行互相关操作，即可以确定出这一层级对应的概率立方体P。
本公开实施例中，利用F1和f1，第一定位器可以得到第一个粗略的定位结果。采用上述概率立方体的确定方法，可以将这一粗略的定位结果可微地传递到下一个定位阶段。然后，利用F2和f2，第二定位器可以得到更加精细的定位结果。重复以上步骤，完成从粗到精的级联定位，定位的精度和准确度均更好。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与点云数据处理的方法对应的点云数据处理的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述点云数据处理的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
实施例二
参照图4所示，为本公开实施例提供的一种点云数据处理的装置的示意图，装置包括：获取模块401、提取模块402、定位模块403；其中，
获取模块401，用于获取雷达设备实时采集的第一点云数据；
提取模块402，用于对获取的第一点云数据和构成点云地图的第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图；其中成对的第一点云特征图和第二点云特征图由同一层级的特征提取层提取得到；
定位模块403，用于基于成对的第一点云特征图和第二点云特征图，对雷达设备进行级联定位；其中，级联定位是指基于当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果。
本公开实施例首先可以获取雷达设备实时采集的第一点云数据以及用于构建点云地图的第二点云数据，在针对第一点云数据和第二点云数据分别进行多层特征提取之后，可以基于提取的成对的第一点云特征图和第二点云特征图对雷达设备进行级联定位，由于多层特征提取可以提取出更为丰富的点云特征，这一定程度上可以是提升后续进行定位的鲁棒性，又考虑到上述点云数据处理的装置是采用当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果的级联定位方式，该定位方法可以逐级的降低定位误差，提升定位的准确性。
在一种可能的实施方式中，定位模块403，用于按照以下步骤基于成对的第一点云特征图和第二点云特征图，对雷达设备进行级联定位：
针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果；
将最后层级对应的定位结果，确定为最终的定位结果。
在一种可能的实施方式中，定位结果包括水平位置偏移量和空间姿态旋转量；
定位模块403，用于按照以下步骤针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果：
针对每一层级，基于该层级的上一层级对应的定位结果中的空间姿态旋转量对该层级的第一特征提取层提取的第一点云特征图进行旋转处理，得到旋转处理后的第一点云特征图；以及，
基于该层级的上一层级对应的定位结果中的水平位置偏移量，对该层级的第二特征提取层提取的第二点云特征图进行截取处理，得到截取处理后的第二点云特征图；
将旋转处理后的第一点云特征图以及截取处理后的第二点云特征图进行互相关运算，确定该层级对应的定位结果。
在一种可能的实施方式中，定位模块403，用于按照以下步骤基于该层级的上一层级对应的定位结果中的空间姿态旋转量对该层级的第一特征提取层提取的第一点云特征图进行旋转处理，得到旋转处理后的第一点云特征图：
将该层级的上一层级对应的定位结果中的空间姿态旋转量、以及该层级的第一特征提取层提取的第一点云特征图输入至预先训练好的姿态旋转模型中，得到旋转处理后的第一点云特征图。
在一种可能的实施方式中，旋转处理后的第一点云特征图的维度与截取处理后的第二点云特征图的维度相同。
在一种可能的实施方式中，第一点云特征图由第一特征提取网络提取得到，第一特征提取网络包括多个第一特征提取层；第二点云特征图由第二特征提取网络提取得到，第二特征提取网络包括多个第二特征提取层；
提取模块402，用于按照如下步骤对获取的第一点云数据和第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图：
利用预先训练好的第一特征提取网络对获取的第一点云数据进行多层特征提取，确定每个第一特征提取层提取的第一点云特征图；以及，
利用预先训练好的第二特征提取网络对获取的第二点云数据进行多层特征提取，确定每个第二特征提取层提取的第二点云特征图；
将同一层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图，确定为成对的第一点云特征图和第二点云特征图。
在一种可能的实施方式中，上述装置还包括：
训练模块404，用于：
获取第一点云数据样本和第二点云数据样本，其中，第一点云数据样本和第二点云数据样本分别来源于定位车获取的点云数据以及用于构建点云地图的采集车获取的点云数据；
利用获取的所述第一点云数据样本和所述第二点云数据样本、以及所述定位车与所述采集车之间的真实定位偏移量，对所述第一特征提取网络和第二特征提取网络进行训练。
在一种可能的实施方式中，所述利用获取的所述第一点云数据样本和所述第二点云数据样本、以及所述定位车与所述采集车之间的真实定位偏移量，对所述第一特征提取网络和第二特征提取网络进行训练，包括：
针对当前层级，利用待训练的第一特征提取网络在该层级的第一特征提取层对获取的第一点云数据样本进行特征提取，得到第一点云样本特征图；以及，利用待训练的第二特征提取网络在该层级的第二特征提取层对获取的第二点云数据样本进行特征提取，得到第二点云样本特征图；
基于第一点云特征图以及第二点云特征图，确定当前层级输出的概率立方体；概率立方体用于指示针对当前层级设置的定位车的多组候选定位偏移量中的每组候选定位偏移量的预测概率；每组候选定位偏移量包括一个水平位置偏移量以及一个候选空间姿态旋转量；
从每个层级输出的概率立方体中查找预测概率最大的一组候选定位偏移量，根据查找到的候选定位偏移量与真实定位偏移量之间的偏差，调整所述待训练的第一特征提取网络和所述待训练的第二特征提取网络的网络参数值。
在一种可能的实施方式中，若当前层级非第一层级，训练模块404，用于按照以下步骤基于第一点云样本特征图以及第二点云样本特征图，确定当前层级输出的概率立方体：
针对当前层级，基于该层级的上一层级输出的概率立方体、在该层级进行特征提取后的第一点云样本特征图以及第二点云样本特征图，确定当前层级输出的概率立方体。
在一种可能的实施方式中，第一特征提取网络的每个层级对应一个编码层以及与该编码层对应设置的解码层；
训练模块404，用于按照以下步骤针对当前层级，利用待训练的第一特征提取网络的该层级的第一特征提取层对获取的第一点云数据样本进行特征提取，得到特征提取后的第一点云样本特征图：
针对每个层级，利用待训练的第一特征提取网络的该层级对应的编码层对获取的第一点云数据样本进行编码处理，得到编码处理后的第一点云数据样本；
利用待训练的第一特征提取网络的该层级对应的解码层对编码处理后的第一点云数据样本进行解码处理，得到解码处理后的第一点云样本特征图，并作为得到该层级特征提取后的第一点云样本特征图。
在一种可能的实施方式中，第一特征提取网络还包括用于连接编码层和解码层的注意力层；训练模块404，用于按照以下步骤利用待训练的第一特征提取网络的该层级对应的解码层对编码处理后的第一点云数据样本进行解码处理：
利用待训练的第一特征提取网络的该层级对应的解码层、以及注意力层所选取的注意力特征信息，对编码处理后的第一点云数据样本进行解码处理。
在一种可能的实施方式中，提取模块402，用于按照以下步骤对获取的第一点云数据进行多层特征提取：
对获取的第一点云数据进行转换处理，得到转换处理后的第一点云数据；
对转换处理后的第一点云数据进行多层特征提取。
在一种可能的实施方式中，第一点云数据包括各个第一点云点的点云强度信息和点云高度信息；提取模块402，用于按照如下步骤对第一点云数据进行转换处理：
基于各个点云高度信息与各个预设高度范围之间的对应关系，将各个第一点云点划分至不同的预设高度范围内，得到与每个预设高度范围对应的第一点云点组；
针对每个第一点云点组，基于该第一点云点组所在坐标系以及点云地图所在坐标系之间的转换关系，将该第一点云点组包括的第一点云点的点云强度信息转换为点云地图上的点云强度信息；
基于转换后的点云强度信息确定转换处理后的第一点云数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
实施例三
本公开实施例还提供了一种电子设备，如图5所示，为本公开实施例提供的电子设备结构示意图，包括：处理器501、存储器502、和总线503。存储器502存储有处理器501可执行的机器可读指令(比如，图4中的装置中获取模块401、提取模块402、定位模块403对应的执行指令等)，当电子设备运行时，处理器501与存储器502之间通过总线503通信，机器可读指令被处理器501执行时执行如下处理：
获取雷达设备实时采集的第一点云数据；
对获取的第一点云数据和构成点云地图的第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图；其中成对的第一点云特征图和第二点云特征图由同一层级的特征提取层提取得到；
基于成对的第一点云特征图和第二点云特征图，对雷达设备进行级联定位；其中，级联定位是指基于当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果。
上述指令的具体执行过程可以参考本公开实施例中所述的点云数据处理的方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的点云数据处理的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的点云数据处理的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的点云数据处理的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (14)
1.一种点云数据处理的方法，其特征在于，所述方法包括：
获取雷达设备实时采集的第一点云数据；
对获取的所述第一点云数据和构成点云地图的第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图；其中成对的第一点云特征图和第二点云特征图由同一层级的特征提取层提取得到；
基于所述成对的第一点云特征图和第二点云特征图，对所述雷达设备进行级联定位；其中，所述级联定位是指基于当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果；
所述基于所述成对的第一点云特征图和第二点云特征图，对所述雷达设备进行级联定位，包括：针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果；将最后层级对应的定位结果，确定为最终的定位结果；所述定位结果包括水平位置偏移量和空间姿态旋转量；
所述针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果，包括：针对每一层级，基于该层级的上一层级对应的定位结果中的空间姿态旋转量对该层级的第一特征提取层提取的第一点云特征图进行旋转处理，得到旋转处理后的第一点云特征图；以及，基于该层级的上一层级对应的定位结果中的水平位置偏移量，对该层级的第二特征提取层提取的第二点云特征图进行截取处理，得到截取处理后的第二点云特征图；将所述旋转处理后的第一点云特征图以及所述截取处理后的第二点云特征图进行互相关运算，确定该层级对应的定位结果。
2.根据权利要求1所述的方法，其特征在于，所述基于该层级的上一层级对应的定位结果中的空间姿态旋转量对该层级的第一特征提取层提取的第一点云特征图进行旋转处理，得到旋转处理后的第一点云特征图，包括：
将该层级的上一层级对应的定位结果中的空间姿态旋转量、以及该层级的第一特征提取层提取的第一点云特征图输入至预先训练好的姿态旋转模型中，得到旋转处理后的第一点云特征图。
3.根据权利要求1所述的方法，其特征在于，所述旋转处理后的第一点云特征图的维度与所述截取处理后的第二点云特征图的维度相同。
4.根据权利要求1-3任一所述的方法，其特征在于，所述第一点云特征图由第一特征提取网络提取得到，所述第一特征提取网络包括多个第一特征提取层；所述第二点云特征图由第二特征提取网络提取得到，所述第二特征提取网络包括多个第二特征提取层；
所述对获取的所述第一点云数据和构成点云地图的第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图，包括：
利用预先训练好的第一特征提取网络对获取的所述第一点云数据进行多层特征提取，确定每个第一特征提取层提取的第一点云特征图；以及，
利用预先训练好的第二特征提取网络对构成点云地图的第二点云数据进行多层特征提取，确定每个第二特征提取层提取的第二点云特征图；
将同一层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图，确定为所述成对的第一点云特征图和第二点云特征图。
5.根据权利要求4所述的方法，其特征在于，按照如下步骤同步训练第一特征提取网络和第二特征提取网络：
获取第一点云数据样本和第二点云数据样本，其中，所述第一点云数据样本和第二点云数据样本分别来源于定位车获取的点云数据以及用于构建点云地图的采集车获取的点云数据；
利用获取的所述第一点云数据样本和所述第二点云数据样本、以及所述定位车与所述采集车之间的真实定位偏移量，对所述第一特征提取网络和第二特征提取网络进行训练。
6.根据权利要求5所述的方法，其特征在于，所述利用获取的所述第一点云数据样本和所述第二点云数据样本、以及所述定位车与所述采集车之间的真实定位偏移量，对所述第一特征提取网络和第二特征提取网络进行训练，包括：
针对当前层级，利用待训练的第一特征提取网络在该层级的第一特征提取层对获取的所述第一点云数据样本进行特征提取，得到第一点云样本特征图；以及，利用待训练的第二特征提取网络在该层级的第二特征提取层对获取的所述第二点云数据样本进行特征提取，得到第二点云样本特征图；
基于所述第一点云样本特征图以及所述第二点云样本特征图，确定所述当前层级输出的概率立方体；所述概率立方体用于指示针对所述当前层级设置的所述定位车的多组候选定位偏移量中的每组候选定位偏移量的预测概率；每组候选定位偏移量包括一个水平位置偏移量以及一个候选空间姿态旋转量；
从每个层级输出的概率立方体中查找预测概率最大的一组候选定位偏移量，根据查找到的候选定位偏移量与真实定位偏移量之间的偏差，调整所述待训练的第一特征提取网络和所述待训练的第二特征提取网络的网络参数值。
7.根据权利要求6所述的方法，其特征在于，若当前层级非第一层级，所述基于所述第一点云样本特征图以及所述第二点云样本特征图，确定所述当前层级输出的概率立方体，包括：
针对所述当前层级，基于该层级的上一层级输出的概率立方体、在该层级进行特征提取后的第一点云样本特征图以及第二点云样本特征图，确定所述当前层级输出的概率立方体。
8.根据权利要求6或7所述的方法，其特征在于，所述第一特征提取网络的每个层级对应一个编码层以及与该编码层对应设置的解码层；
所述针对当前层级，利用待训练的第一特征提取网络的该层级的第一特征提取层对获取的所述第一点云数据样本进行特征提取，得到特征提取后的第一点云样本特征图，包括：
针对每个层级，利用待训练的第一特征提取网络的该层级对应的编码层对获取的所述第一点云数据样本进行编码处理，得到编码处理后的第一点云数据样本；
利用待训练的第一特征提取网络的该层级对应的解码层对所述编码处理后的第一点云数据样本进行解码处理，得到解码处理后的第一点云样本特征图，并作为得到该层级特征提取后的第一点云样本特征图。
9.根据权利要求8所述的方法，其特征在于，所述第一特征提取网络还包括用于连接所述编码层和所述解码层的注意力层；所述利用待训练的第一特征提取网络的该层级对应的解码层对所述编码处理后的第一点云数据样本进行解码处理，包括：
利用待训练的第一特征提取网络的该层级对应的解码层、以及所述注意力层所选取的注意力特征信息，对所述编码处理后的第一点云数据样本进行解码处理。
10.根据权利要求1-3任一所述的方法，其特征在于，对获取的所述第一点云数据进行多层特征提取，包括：
对获取的所述第一点云数据进行转换处理，得到转换处理后的第一点云数据；
对所述转换处理后的第一点云数据进行多层特征提取。
11.根据权利要求10所述的方法，其特征在于，所述第一点云数据包括各个第一点云点的点云强度信息和点云高度信息；按照如下步骤对所述第一点云数据进行转换处理：
基于各个点云高度信息与各个预设高度范围之间的对应关系，将所述各个第一点云点划分至不同的预设高度范围内，得到与每个预设高度范围对应的第一点云点组；
针对每个第一点云点组，基于该第一点云点组所在坐标系以及点云地图所在坐标系之间的转换关系，将该第一点云点组包括的第一点云点的点云强度信息转换为点云地图上的点云强度信息；
基于转换后的点云强度信息确定转换处理后的第一点云数据。
12.一种点云数据处理的装置，其特征在于，所述装置包括：
获取模块，用于获取雷达设备实时采集的第一点云数据；
提取模块，用于对获取的所述第一点云数据和构成点云地图的第二点云数据分别进行多层特征提取，得到成对的第一点云特征图和第二点云特征图；其中成对的第一点云特征图和第二点云特征图由同一层级的特征提取层提取得到；
定位模块，用于基于所述成对的第一点云特征图和第二点云特征图，对所述雷达设备进行级联定位；其中，所述级联定位是指基于当前层级提取得到的点云特征图以及上一层级对应的定位结果，确定当前层级对应的定位结果；
所述定位模块，在基于所述成对的第一点云特征图和第二点云特征图，对所述雷达设备进行级联定位时，用于：针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果；将最后层级对应的定位结果，确定为最终的定位结果；所述定位结果包括水平位置偏移量和空间姿态旋转量；
所述定位模块，在针对每一层级，基于该层级的两个特征提取层分别提取的第一点云特征图和第二点云特征图、以及该层级的上一层级对应的定位结果，得到该层级对应的定位结果时，用于：针对每一层级，基于该层级的上一层级对应的定位结果中的空间姿态旋转量对该层级的第一特征提取层提取的第一点云特征图进行旋转处理，得到旋转处理后的第一点云特征图；以及，基于该层级的上一层级对应的定位结果中的水平位置偏移量，对该层级的第二特征提取层提取的第二点云特征图进行截取处理，得到截取处理后的第二点云特征图；将所述旋转处理后的第一点云特征图以及所述截取处理后的第二点云特征图进行互相关运算，确定该层级对应的定位结果。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的点云数据处理的方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至11任一所述的点云数据处理的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011380366.8A CN112418129B (zh) | 2020-11-30 | 2020-11-30 | 一种点云数据处理的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011380366.8A CN112418129B (zh) | 2020-11-30 | 2020-11-30 | 一种点云数据处理的方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112418129A CN112418129A (zh) | 2021-02-26 |
| CN112418129B true CN112418129B (zh) | 2024-04-12 |
Family
ID=74828956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011380366.8A Active CN112418129B (zh) | 2020-11-30 | 2020-11-30 | 一种点云数据处理的方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112418129B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG10202103264XA (en) * | 2021-03-30 | 2021-11-29 | Sensetime Int Pte Ltd | Generating point cloud completion network and processing point cloud data |
| CN113011517A (zh) * | 2021-03-30 | 2021-06-22 | 上海商汤临港智能科技有限公司 | 定位结果检测方法、装置、电子设备及存储介质 |
| CN113031010B (zh) * | 2021-03-31 | 2023-04-28 | 小马易行科技(上海)有限公司 | 检测天气的方法、装置、计算机可读存储介质与处理器 |
| CN113449799B (zh) * | 2021-06-30 | 2023-11-24 | 上海西井科技股份有限公司 | 目标检测与分类方法、系统、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310458A (zh) * | 2013-06-19 | 2013-09-18 | 北京理工大学 | 结合凸包匹配和多尺度分级策略的医学图像弹性配准方法 |
| CN104391906A (zh) * | 2014-11-18 | 2015-03-04 | 武汉海达数云技术有限公司 | 车载海量点云数据动态浏览方法 |
| CN107909582A (zh) * | 2017-11-07 | 2018-04-13 | 国网甘肃省电力公司电力科学研究院 | 一种机载LiDAR塔头电力线自动检测分割方法 |
| CN110781894A (zh) * | 2019-09-29 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 点云语义分割方法、装置及电子设备 |
| EP3620978A1 (de) * | 2018-09-07 | 2020-03-11 | Ibeo Automotive Systems GmbH | Verfahren und vorrichtung zur klassifizierung von objekten |
| CN111340039A (zh) * | 2020-02-12 | 2020-06-26 | 杰创智能科技股份有限公司 | 一种基于特征选择的目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11494937B2 (en) * | 2018-11-16 | 2022-11-08 | Uatc, Llc | Multi-task multi-sensor fusion for three-dimensional object detection |
-
2020
- 2020-11-30 CN CN202011380366.8A patent/CN112418129B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310458A (zh) * | 2013-06-19 | 2013-09-18 | 北京理工大学 | 结合凸包匹配和多尺度分级策略的医学图像弹性配准方法 |
| CN104391906A (zh) * | 2014-11-18 | 2015-03-04 | 武汉海达数云技术有限公司 | 车载海量点云数据动态浏览方法 |
| CN107909582A (zh) * | 2017-11-07 | 2018-04-13 | 国网甘肃省电力公司电力科学研究院 | 一种机载LiDAR塔头电力线自动检测分割方法 |
| EP3620978A1 (de) * | 2018-09-07 | 2020-03-11 | Ibeo Automotive Systems GmbH | Verfahren und vorrichtung zur klassifizierung von objekten |
| CN110781894A (zh) * | 2019-09-29 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 点云语义分割方法、装置及电子设备 |
| CN111340039A (zh) * | 2020-02-12 | 2020-06-26 | 杰创智能科技股份有限公司 | 一种基于特征选择的目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Autonomous vehicle self-localization based on abstract map and multi-channel LiDAR in urban area;Ehsan Javanmardi等;《IATSS Research》;20190430;第43卷(第1期);第1-13页 * |
| 无人机密集匹配点云与机载激光雷达点云的差异分析;林鑫等;《林业资源管理》;20200630(第3期);第58-62页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112418129A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112418129B (zh) | 一种点云数据处理的方法、装置、电子设备及存储介质 | |
| CN111627065B (zh) | 一种视觉定位方法及装置、存储介质 | |
| CN112990228B (zh) | 图像特征匹配方法和相关装置、设备及存储介质 | |
| CN112907747A (zh) | 一种点云数据处理的方法、装置、电子设备及存储介质 | |
| CN109313809B (zh) | 一种图像匹配方法、装置及存储介质 | |
| WO2022016942A1 (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| AU2021297896A1 (en) | Systems and methods for fine adjustment of roof models | |
| Sadeghi et al. | 2DTriPnP: A robust two-dimensional method for fine visual localization using Google streetview database | |
| CN110532410B (zh) | 相机定位及神经网络的训练方法和装置 | |
| CN113902856B (zh) | 一种语义标注的方法、装置、电子设备及存储介质 | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| CN117132737B (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| CN113191323A (zh) | 一种语义元素处理的方法、装置、电子设备及存储介质 | |
| KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
| CN115880555B (zh) | 目标检测方法、模型训练方法、装置、设备及介质 | |
| Li et al. | Quantized self-supervised local feature for real-time robot indirect VSLAM | |
| CN115267724B (zh) | 一种基于激光雷达可估位姿的移动机器人位置重识别方法 | |
| CN100357705C (zh) | 一种基于lpt变换的星图识别方法 | |
| Liu et al. | CMLocate: A cross‐modal automatic visual geo‐localization framework for a natural environment without GNSS information | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
| CN113670253A (zh) | 空间目标姿态反演方法、装置、计算设备及存储介质 | |
| Mo et al. | Cross-based dense depth estimation by fusing stereo vision with measured sparse depth | |
| Wu et al. | A novel monocular SLAM algorithm for high real-time based on Kalman filter | |
| CN116704152B (zh) | 图像处理方法和电子设备 | |
| CN117437552B (zh) | 视觉定位地图的构建方法及装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |