CN116224287B - 激光点云拼接方法、装置、电子设备及可读存储介质 - Google Patents

激光点云拼接方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116224287B
CN116224287B CN202310159926.4A CN202310159926A CN116224287B CN 116224287 B CN116224287 B CN 116224287B CN 202310159926 A CN202310159926 A CN 202310159926A CN 116224287 B CN116224287 B CN 116224287B
Authority
CN
China
Prior art keywords
point cloud
cloud data
compensation
reflecting mirror
compensation displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310159926.4A
Other languages
English (en)
Other versions
CN116224287A (zh
Inventor
刘楠楠
张正杰
沈罗丰
李洪鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Tanwei Photoelectric Technology Co ltd
Original Assignee
Nantong Tanwei Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Tanwei Photoelectric Technology Co ltd filed Critical Nantong Tanwei Photoelectric Technology Co ltd
Priority to CN202310159926.4A priority Critical patent/CN116224287B/zh
Publication of CN116224287A publication Critical patent/CN116224287A/zh
Application granted granted Critical
Publication of CN116224287B publication Critical patent/CN116224287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及一种激光点云拼接方法、装置、电子设备及可读存储介质，该方法包括：获取脉冲式激光雷达包含的扫描模块基于激光发射信号及接收信号扫描得到多个初始点云数据；扫描模块包括多个反射镜面用于反射激光发射信号或者接收信号，多个初始点云数据与多个发射镜面一一对应；计算与脉冲式激光雷达相关的第一补偿位移量和/或与被探测物体相关的第二补偿位移量；基于第一补偿位移量和/或第二补偿位移量对多个反射镜面的初始点云数据进行运动补偿得到目标补偿点云数据；将多个反射镜面分别对应的目标补偿点云数据进行拼接得到拼接点云数据。该方法通过补偿位移量对拼接点云的分裂情况进行处理实现拼接点云的平滑效果，进而提升激光雷达探测精度。

Description

激光点云拼接方法、装置、电子设备及可读存储介质
技术领域
本公开涉及激光雷达技术领域，尤其涉及一种激光点云拼接方法、装置、电子设备及可读存储介质。
背景技术
激光雷达是以发射激光束探测物体的位置、速度等特征量的雷达系统，由于其对环境光的不敏感性以及捕捉物体三维空间结构的能力，因此被广泛应用于多个领域，例如，自动驾驶、工业检测等等。
目前，基于激光雷达发射波形可以分为脉冲式激光雷达和连续性激光雷达，且为了提高激光雷达扫描得到的点云数据的分辨率激光雷达通常会采用扫描模块包含的多个反射镜面进行扫描，再将多个反射镜面扫描到的点云数据进行拼接，从而提高激光雷达的探测精度。然而，多个发射镜面进行扫描得到点云数据在拼接时常常会出现分裂现象，严重影响探测精度，因此，如何解决点云数据在拼接时出现分裂是当前亟待解决的问题。
发明内容
为了解决上述技术问题，本公开提供了一种激光点云拼接方法、装置、电子设备及可读存储介质。
第一方面，本公开提供一种激光点云拼接方法，包括：
获取脉冲式激光雷达包含的扫描模块基于激光发射信号以及接收信号扫描得到多个初始点云数据；所述扫描模块包括多个反射镜面用于反射激光发射信号或者接收信号，所述多个初始点云数据与所述多个发射镜面一一对应；
计算各所述反射镜面分别对应的第一补偿位移量和/或第二补偿位移量；基于各所述反射镜面的第一补偿位移量和/或第二补偿位移量对所述多个反射镜面分别对应的初始点云数据进行运动补偿得到目标补偿点云数据；其中，所述第一补偿位移量与所述脉冲式激光雷达相关，所述第二补偿位移量与被探测物体相关；
将所述多个反射镜面分别对应的目标补偿点云数据进行拼接得到拼接点云数据。
在一些实施例中，所述计算各所述反射镜面分别对应的第一补偿位移量，包括：
获取所述脉冲式激光雷达的速度数据；
基于相邻所述反射镜面的扫描间隔时间以及所述脉冲式激光雷达的速度数据通过积分得到所述反射镜面对应的第一补偿位移量。
在一些实施例中，所述获取所述脉冲式激光雷达的速度数据，包括：基于所述脉冲式激光雷达包含的惯性测量单元IMU所记录的运行状态数据得到所述脉冲式激光雷达的速度数据。
在一些实施例中，所述计算各所述反射镜面分别对应的第二补偿位移量，包括：
从所述多个反射镜面对应的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据中识别同一被探测物体所对应的目标点云数据块，并计算各所述目标点云数据块的中心点；
将同一被探测物体对应的所述目标点云数据块的中心点之间的偏移量作为所述目标点云数据块对应的第二补偿位移量。
在一些实施例中，所述从所述多个反射镜面对应的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据中识别同一被探测物体所对应的目标点云数据块，包括：
对各所述反射镜面的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据进行聚类处理得到各所述反射镜面对应的点云数据块集合；
利用目标跟踪算法在所述多个反射镜面对应的点云数据块集合中识别同一被探测物体分别对应的目标点云数据块。
在一些实施例中，所述计算各目标点云数据块的中心点，包括：
计算所述目标点云数据块包含的像素点的坐标平均值作为所述中心点的坐标。
第二方面，本公开提供一种激光点云拼接装置，包括：
数据获取模块，用于获取脉冲式激光雷达包含的扫描模块基于激光发射信号以及接收信号扫描得到多个初始点云数据；所述扫描模块包括多个反射镜面用于反射激光发射信号或者接收信号，所述多个初始点云数据与所述多个发射镜面一一对应；
补偿处理模块，用于计算各所述反射镜面分别对应的第一补偿位移量和/或第二补偿位移量；基于各所述反射镜面的第一补偿位移量和/或第二补偿位移量对所述多个反射镜面分别对应的初始点云数据进行运动补偿得到目标补偿点云数据；其中，所述第一补偿位移量与所述脉冲式激光雷达相关，所述第二补偿位移量与被探测物体相关；
拼接模块，用于将所述多个反射镜面分别对应的目标补偿点云数据进行拼接得到拼接点云数据。
第三方面，本公开提供一种电子设备，包括：存储器和处理器；
所述存储器被配置为存储计算机程序指令；
所述处理器被配置为执行所述计算机程序指令，使得所述电子设备实现第一方面以及第一方面任一项所述的激光点云拼接方法。
第四方面，本公开提供一种可读存储介质，包括：计算机程序指令，电子设备的至少一个处理运行所述计算机程序指令，使得所述电子设备实现第一方面以及第一方面任一项所述的激光点云拼接方法。
第五方面，本公开提供一种计算机程序，电子设备的至少一个处理器运行所述计算机程序，使得所述电子设备实现第一方面以及第一方面任一项所述的激光点云拼接方法。
第六方面，本公开还提供一种芯片系统，芯片系统包括：处理器；当处理器执行存储器中存储的计算机指令时，电子设备执行第一方面及第一方面以及第一方面任一项所述的激光点云拼接方法。
本公开提供一种激光点云拼接方法、装置、电子设备及可读存储介质，其中，该方法包括：获取脉冲式激光雷达包含的扫描模块基于激光发射信号以及接收信号扫描得到多个初始点云数据；所述扫描模块包括多个反射镜面用于反射激光发射信号或者接收信号，所述多个初始点云数据与所述多个发射镜面一一对应；计算各所述反射镜面分别对应的第一补偿位移量和/或第二补偿位移量；基于各所述反射镜面的第一补偿位移量和/或第二补偿位移量对所述多个反射镜面分别对应的初始点云数据进行运动补偿得到目标补偿点云数据；其中，所述第一补偿位移量与所述脉冲式激光雷达相关，所述第二补偿位移量与被探测物体相关；将所述多个反射镜面分别对应的目标补偿点云数据进行拼接得到拼接点云数据。本公开的方法通过运动补偿算法计算补偿位移量对拼接点云的分裂情况进行处理实现拼接点云的平滑效果，进而提升激光雷达探测精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的脉冲式激光雷达的飞行时间法测距示意图；
图2为本公开示出的具有扫描模块的激光雷达的结构示意图；
图3为本公开一实施例提供的激光点云拼接方法的流程示意图；
图4为本公开一实施例提供的激光点云拼接装置的结构示意图；
图5为本公开提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
目前，激光雷达通常使用基于脉冲激光的飞行时间法(TOF)测量距离，参照图1所示，即激光雷达的发射端发出测距光脉冲，并同时作为计时开始信号(START信号)触发计时芯片开始计时，记录为t0；测距光脉冲经过被探测物体的漫反射之后，回波脉冲被激光雷达的接收端探测接收，经过光电转换之后，作为计时结束信号(STOP信号)，记录为t1；如此便完成了一次测距(计时)，其中，△t＝t1-t0即为一次计时光脉冲的飞行时间，利用光速进行“时间-距离”转换即可得到本次测距结果：l＝c/2*△t，其中，c表示光在当前介质中的光速。激光雷达的每一次测量能够得到一个测距值，即产生一个测量点，若想要实现场景的三维扫描，则需要让激光雷达在水平和竖直两个方向上进行扫描，从而形成均匀或者非均匀分布的点云，再结合测量点本身携带的距离信息，即可生成被扫描场景的三维点云图，通常会通过扫描模块实现多个方向上的扫描，扫描模块可以包含多个反射镜面。而使用阵列器件，可以在一个或多个维度上省去扫描系统，从而可以简化激光雷达的硬件复杂度，提升激光雷达的可靠性，阵列器件包括面阵器件、线阵器件等多种类型，其中线阵器件相对而言成本较低因此使用较多，常见的线阵器件有线阵激光器、线阵光电探测器等。
使用阵列器件结合扫描模块是一种较为典型的基于线阵收发系统的激光雷达方案。图2为本公开示例性示出的包含具有两个反射镜面的扫描模块的脉冲式激光雷达的结构示意图。请参阅图2所示，激光雷达200包含金属机壳201，金属机壳201上设置有镀有滤光膜的出光窗口202，受到金属机壳201和出光窗口202的限制，在水平方向上的视场角为θ。激光雷达200还包括具有两个反射镜面的扫描模块203，分别为A面和B面，且扫描模块沿图2中箭头所示的方向旋转。
对于图2所示的扫描模块，在一个扫描周期(扫描模块的旋转周期)内，利用A面和B面对出光窗口202进行测距(即发射和接收激光脉冲)，再将两面测距点进行叠加(即点云拼接)形成更多的测量点，从而提高激光雷达的测量点密度，能够更精细的反馈被测物体的三维空间结构。
由于激光雷达的扫描模块在旋转过程中，两个反射镜面并不是同时进行的，因此对于处于动态移动物体的探测或者当激光雷达处于运动状态下进行探测，A面扫描到的点云数据与B面扫描到的点云数据在拼接时会出现分裂的现象，当运动速度越高时分裂越明显，对于探测精度影响越大。
为解决该问题，本公开通过运动补偿算法计算由于激光雷达运动产生的补偿位移量、由于被探测物体运动产生的位移补偿量，通过计算得到补偿位移量对拼接点云的分裂情况进行处理，通过补偿实现拼接点云的平滑效果，进而提升探测精度。
本公开提供的激光点云拼接方法可以由本公开提供的激光点云拼接装置实现，该装置可以通过任意的软件和/或硬件的方式实现，示例性地，该装置可以为平板电脑、手机(如折叠屏手机、大屏手机等)、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)等，本公开对电子设备的具体类型不作任何限制。
图3为本公开一实施例提供的激光点云拼接方法的流程示意图。本实施例以电子设备为例进行举例介绍。请参阅图3所示，本实施例的方法包括：
S301、获取脉冲式激光雷达包含的扫描模块基于激光发射信号以及接收信号扫描得到多个初始点云数据；扫描模块包括多个反射镜面用于反射激光发射信号或者接收信号，多个初始点云数据与多个发射镜面一一对应。
脉冲式激光雷达基于扫描模块包含的多个反射镜面扫描得到各反射镜面的初始点云数据的实现方式与图2所示实施例类似，可参照图2所示实施例的描述，此处不再赘述。
电子设备可以从脉冲式激光雷达的计时芯片得到各反射镜面的初始点云数据。
S302、计算各所述反射镜面分别对应的第一补偿位移量和/或第二补偿位移量，其中，所述第一补偿位移量与所述脉冲式激光雷达相关，所述第二补偿位移量与被探测物体相关。
其中，计算各所述反射镜面分别对应的第一补偿位移量可通过下述方式实现：
可以将扫描周期起始时刻对应的反射镜面作为基准面结合反射镜面的扫描顺序，计算各发射镜面相对于基准面的扫描间隔时间；再针对每个反射镜面，基于反射镜面相对于基准面的扫描间隔时间对脉冲式激光雷达的速度数据通过积分得到该反射镜面对应的第一补偿位移量。
此外，在计算第一补偿位移量时，可以计算速度数据在激光雷达坐标系的各个坐标轴方向上的速度分量，然后，针对各速度分量在扫描间隔时间内的积分得到各个坐标轴方向上的第一补偿位移分量。
脉冲式激光雷达的速度数据可以从脉冲式激光雷达所包含的IMU获得，IMU可以记录脉冲式激光雷达实时的运行状态，可以包括但不限于记录脉冲式激光雷达的速度数据、加速度矢量数据等，若IMU提供速度数据，则电子设备可以直接使用速度数据计算第一补偿位移量，若IMU提供加速度矢量数据，则电子设备可以通过加速度对时间进行积分计算后得到脉冲式激光雷达的速度数据。
其中，计算各反射镜面分别对应的第二补偿位移量可以通过下述方式实现：
首先，从所述多个反射镜面对应的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据中识别同一被探测物体所对应的目标点云数据块，并计算各所述目标点云数据块的中心点。接着，将同一被探测物体对应的所述目标点云数据块的中心点之间的偏移量作为所述目标点云数据块对应的第二补偿位移量。
其中，可以对各反射镜面的初始点云数据或者经过第一补偿位移量进行运动补偿后得到的补偿点云数据进行聚类处理得到各反射镜面对应的点云数据块集合；利用目标跟踪算法在多个反射镜面对应的点云数据块集合中识别同一被探测物体分别对应的目标点云数据块。
本公开对于聚类处理所使用的聚类算法不做限定，如可以但不限于K-means算法、DBSCAN算法、拉普拉斯映射。可以预先训练聚类模型，将初始点云数据或者经过第一补偿位移量进行运动补偿后得到的补偿点云数据作为输入数据输入至聚类模型中，根据聚类模型输出的聚类结果得到反射镜面对应的点云数据块集合。
此外，本公开对于目标跟踪算法不做限定，如可以但不限于Gale-Shapley算法、匈牙利匹配、KM算法等。类似地，可以预先训练目标跟踪模型，将各反射镜面对应的点云数据块集合作为目标跟踪模型的输入数据输入至目标跟踪模型中，根据目标跟踪模型输出的匹配结果确定同一被探测对象在不同点云数据块集合中所对应的目标点云数据块。且经过聚类得到的各反射镜面的点云数据块集合所包含的点云数据块的数量也可以相同，也可以不同。
需要说明的是，由于被探测物体的运动以及脉冲式激光雷达的运动，可能导致部分反射镜面能够探测到被探测物体的点云数据，基于目标跟踪算法进行匹配，同一被探测物体可能仅在部分反射镜面对应的点云数据块集合中能够匹配到相应的目标点云数据块，则计算得到的第二补偿位移量是针对匹配上的目标点云数据块的。
在一些实施例中，可无需区分脉冲式激光雷达是否处于运动状态以及无需区分被探测物体是否处于运动状态中，按照上述方式分别计算第一补偿位移量和第二补偿位移量用于运动补偿即可。
在另一些实施例中，在计算补偿位移量之前，可以通过脉冲式激光雷达的速度数据确定脉冲式激光雷达在探测过程中是否发生移动，若未发生移动，则无需计算各反射镜面对应的第一补偿位移量，若发生移动，则计算第一补偿位移量和第二补偿位移量用于运动补偿。此处通过简单比较速度能够直接确定第一补偿位移量为零，从而避免在脉冲式激光雷达静止的情况下对速度数据进行积分等计算，从而减小计算量。在另一些实施例中，还可以由用户手动配置被探测物体是处于运动还是静止，进而电子设备基于用户配置确定是否需要计算第二补偿位移量，能够减少电子设备进行聚类、目标跟踪等计算，减小计算量。
S303、基于各所述反射镜面的第一补偿位移量和/或第二补偿位移量对所述多个反射镜面分别对应的初始点云数据进行运动补偿得到目标补偿点云数据。
针对各反射镜面，可以先利用第一补偿位移量对初始点云数据进行运动补偿得到补偿点云数据，再利用第二补偿位移量对补偿点云数据中相匹配的点云数据进行运动补偿得到目标补偿点云数据。
如前文所述，第一补偿位移量包含三维坐标系的各坐标轴方向上的第一补偿位移分量，按照坐标轴方向，将相应坐标轴方向的第一补偿位移分量与初始点云数据在该坐标轴上的坐标值相加即得到补偿点云数据在该坐标轴上的坐标值。
第二补偿位移量是针对同一被探测物体在不同反射镜面中的目标点云数据块的，且第二补偿位移量包含三维坐标系的各坐标轴方向上的第二补偿位移分量，按照坐标轴方向，将相应坐标轴方向的第二补偿位移分量与补偿点云数据在该坐标轴上的坐标值相加即得到目标补偿点云数据在该坐标轴的坐标值。
需要说明的是，在跳过计算第一补偿位移量，可将经过第二补偿位移量补偿后的补偿点云数据作为目标补偿点云数据用于点云拼接；在跳过计算第二补偿位移量的场景下，可将经过第一补偿位移量补偿后的补偿点云数据作为目标补偿点云数据用于点云拼接。
S304、将所述多个反射镜面分别对应的目标补偿点云数据进行拼接得到拼接点云数据。
拼接也可以理解为是将多个反射镜面对应的目标补偿点云数据进行叠加的处理过程，通过叠加得到的拼接点云数据的分辨率得到大幅提升，甚至可以使像素之间无间隙，点云分布更加平滑，保证激光雷达的视场范围内不会出现漏检目标的情况出现。
本实施例的方法通过运动补偿算法计算补偿位移量对拼接点云的分裂情况进行处理实现拼接点云的平滑效果，进而提升激光雷达探测精度。
接下来通过一具体实施例示出电子设备如何计算上述第一补偿位移量和第二补偿位移量。
假设，脉冲式激光雷达的扫描模块包含三个反射镜面，分别为A面、B面和C面，三个反射镜面的扫描顺序为A、B、C，通过激光雷达的扫描帧率H和三个反射镜面之间的点云数据的组合方式，计算激光雷达的反射镜面转镜一周的时间为：Tz＝100ms。
假设三个反射镜面的扫描间隔时间相同，因此，相邻反射镜面之间的扫描间隔时间T＝Tz/3。采用10Hz扫描帧率，相邻反射镜面之间的扫描间隔时间为T＝33.33ms。以A面为基准，需要将B面点云和C面点云拼接在A面点云上，则A面与B面之间的扫描间隔时间为33.33ms，A面与C面的扫描间隔时间为66.66ms。
根据脉冲式激光雷达的安装位置以及从IMU记录的运动数据中得到的速度数据，并计算脉冲式激光雷达在激光雷达坐标系的各坐标轴方向上的速度分量，记为Vx、Vy、Vz，本公开以IMU坐标系和激光雷达坐标系完全一致进行处理。
计算Vx、Vy、Vz对扫描间隔时间的积分得到B面对应的第一补偿位移量S1(SBx，SBy，SBz)以及C面对应的第一补偿位移量S2(SCx，SCy，SCz)。
对B面扫描得到的初始点云数据逐个进行运动补偿：PB＇＝PB(x，y，z)+S1(SBx、SBy、SBz)，其中，PB＇表示补偿后的B面点云数据，PB表示B面对应的初始点云数据。
对C面扫描得到的初始点云数据逐个进行运动补偿：PC＇＝PC(x，y，z)+S2(SCx、SCy、SCz)，其中，PC＇表示补偿后的C面点云数据，PC表示C面对应的初始点云数据。
本实施例以第二补偿位移量是基于A面的初始点云数据、补偿后的B面点云数据PB＇以及补偿后的C面点云数据PC＇计算得到为例进行举例说明。
首先对A面的初始点云数据、补偿后的B面点云数据PB＇以及补偿后的C面点云数据PC＇分别进行聚类处理得到A、B、C面分别对应的分类后的点云数据块集合。
假设，A面分类后的点云数据块集合为：{PTA1、PTA2…PTAn}；
B面分类后的点云数据块集合为：{PTB1、PTB2…PTBn}；
C面分类后的点云数据块集合为：{PTC1、PTC2…PTCn}。
为了同一被探测物体在A面、B面、C面对应的点云数据块，利用目标跟踪算法对A面、B面、C面的点云数据块进行匹配，假设匹配结果指示PTA1、PTB1、PTC1为同一被探测物体分别在三个反射镜面中的目标点云数据块。
针对PTA1、PTB1、PTC1分别计算计算所有坐标的平均值得到PTA1、PTB1、PTC1各自对应的中心点GA1、GB1、GC1。
将GB1和GA1两点之间的向量作为PTB1到PTA1的第二补偿位移量，类似地，将GC1和GA1两点之间的向量作为PTC1到PTA1的第二补偿位移量。利用GB1和GA1两点之间的向量对PTB1进行运动补偿，利用GC1和GA1两点之间的向量对PTC1进行运动补偿。
其中，在一些情况下，可能存在被探测物体在部分反射镜面的点云数据块集合中无匹配的点云数据块，例如，假设PTA2、PTB2为同一被探测物体分别在A面和B面中的目标点云数据块，该被探测物体在C面无匹配的点云数据块，则计算PTA2、PTB2的中心点分别为GA2、GB2，之后再利用GB2和GA2两点之间的向量对PTB2进行运动补偿。
综上所述，通过上述方式计算第二补偿位移量，可能会出现A面、B面以及C面分别对应的点云数据块集合中部分点云数据块不存在相匹配的第二补偿位移量的情况出现。
通过上述方式能够得到全部或者部分分类后的点云数据块对应的第二补偿位移量，消除被探测物体为运动状态导致的点云分裂问题，补偿了探测偏差，使得拼接点云更加平滑。
图4为本公开一实施例提供的激光点云拼接装置的结构示意图。
请参阅图4所示，本实施例的装置400包括：
数据获取模块401，用于获取脉冲式激光雷达包含的扫描模块基于激光发射信号以及接收信号扫描得到多个初始点云数据；所述扫描模块包括多个反射镜面用于反射激光发射信号或者接收信号，所述多个初始点云数据与所述多个发射镜面一一对应。
补偿处理模块402，用于计算各所述反射镜面分别对应的第一补偿位移量和/或第二补偿位移量；基于各所述反射镜面的第一补偿位移量和/或第二补偿位移量对所述多个反射镜面分别对应的初始点云数据进行运动补偿得到目标补偿点云数据；其中，所述第一补偿位移量与所述脉冲式激光雷达相关，所述第二补偿位移量与被探测物体相关.
拼接模块403，用于将所述多个反射镜面分别对应的目标补偿点云数据进行拼接得到拼接点云数据。
在一些实施例中，补偿处理模块402，具体用于获取所述脉冲式激光雷达的速度数据；基于相邻所述反射镜面的扫描间隔时间以及所述脉冲式激光雷达的速度数据通过积分得到所述反射镜面对应的第一补偿位移量。
在一些实施例中，补偿处理模块402，具体用于基于所述脉冲式激光雷达包含的IMU所记录的运行状态数据得到所述脉冲式激光雷达的速度数据。
在一些实施例中，补偿处理模块402，具体用于从所述多个反射镜面对应的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据中识别同一被探测物体所对应的目标点云数据块，并计算各所述目标点云数据块的中心点；将同一被探测物体对应的所述目标点云数据块的中心点之间的偏移量作为所述目标点云数据块对应的第二补偿位移量。
在一些实施例中，补偿处理模块402，具体用于对各所述反射镜面的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据进行聚类处理得到各所述反射镜面对应的点云数据块集合；利用目标跟踪算法在所述多个反射镜面对应的点云数据块集合中识别同一被探测物体分别对应的目标点云数据块。
在一些实施例中，补偿处理模块402，具体用于计算所述目标点云数据块包含的像素点的坐标平均值作为所述中心点的坐标。
本实施例提供的激光点云拼接装置可以用于实现前述方法实施例的技术方案，其实现原理以及技术效果类似，可参照前述方法实施例的详细描述，简明起见，此处不再赘述。
图5为本公开一实施例提供的电子设备的结构示意图。请参阅图5所示，本实施例提供的电子设备500包括：存储器501和处理器502。
其中，存储器501可以是独立的物理单元，与处理器502可以通过总线503连接。存储器501、处理器502也可以集成在一起，通过硬件实现等。
存储器501用于存储程序指令，处理器502调用该程序指令，执行以上方法实施例的操作。
可选地，当上述实施例的方法中的部分或全部通过软件实现时，上述电子设备500也可以只包括处理器502。用于存储程序的存储器501位于电子设备500之外，处理器502通过电路/电线与存储器连接，用于读取并执行存储器中存储的程序。
处理器502可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。
处理器502还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
存储器501可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。
本公开实施例还提供一种可读存储介质，包括：计算机程序指令；计算机程序指令被电子设备的至少一个处理器执行时，实现上述方法实施例所示的激光点云拼接方法。
本公开实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序指令，所述计算机程序指令存储在可读存储介质中，所述电子设备的至少一个处理器可以从所述可读存储介质中读取所述计算机程序指令，所述至少一个处理器执行所述计算机程序指令使得所述电子设备实现上述方法实施例所示的激光点云拼接方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种激光点云拼接方法，其特征在于，包括：
获取脉冲式激光雷达包含的扫描模块基于激光发射信号以及接收信号扫描得到多个初始点云数据；所述扫描模块包括多个反射镜面，所述多个反射镜面用于反射激光发射信号或者接收信号，所述多个初始点云数据与所述多个反射镜面一一对应；
计算各所述反射镜面分别对应的第一补偿位移量和/或第二补偿位移量；基于各所述反射镜面的第一补偿位移量和/或第二补偿位移量对所述多个反射镜面分别对应的初始点云数据进行运动补偿得到目标补偿点云数据；其中，所述第一补偿位移量与所述脉冲式激光雷达相关，所述第二补偿位移量与被探测物体相关；
将所述多个反射镜面分别对应的目标补偿点云数据进行拼接得到拼接点云数据；
所述计算各所述反射镜面分别对应的第一补偿位移量，包括：
获取所述脉冲式激光雷达的速度数据；
基于相邻所述反射镜面的扫描间隔时间以及所述脉冲式激光雷达的速度数据通过积分得到所述反射镜面对应的第一补偿位移量；
所述计算各所述反射镜面分别对应的第二补偿位移量，包括：
从所述多个反射镜面对应的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据中识别同一被探测物体所对应的目标点云数据块，并计算各所述目标点云数据块的中心点；
将同一被探测物体对应的所述目标点云数据块的中心点之间的偏移量作为所述目标点云数据块对应的第二补偿位移量。
2.根据权利要求1所述的方法，其特征在于，所述获取所述脉冲式激光雷达的速度数据，包括：
基于所述脉冲式激光雷达包含的惯性测量单元IMU所记录的运行状态数据得到所述脉冲式激光雷达的速度数据。
3.根据权利要求1所述的方法，其特征在于，所述从所述多个反射镜面对应的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据中识别同一被探测物体所对应的目标点云数据块，包括：
对各所述反射镜面的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据进行聚类处理得到各所述反射镜面对应的点云数据块集合；
利用目标跟踪算法在所述多个反射镜面对应的点云数据块集合中识别同一被探测物体分别对应的目标点云数据块。
4.根据权利要求1所述的方法，其特征在于，所述计算各目标点云数据块的中心点，包括：
计算所述目标点云数据块包含的像素点的坐标平均值作为所述中心点的坐标。
5.一种激光点云拼接装置，其特征在于，包括：
数据获取模块，用于获取脉冲式激光雷达包含的扫描模块基于激光发射信号以及接收信号扫描得到多个初始点云数据；所述扫描模块包括多个反射镜面，所述多个反射镜面用于反射激光发射信号或者接收信号，所述多个初始点云数据与所述多个反射镜面一一对应；
补偿处理模块，用于计算各所述反射镜面分别对应的第一补偿位移量和/或第二补偿位移量；基于各所述反射镜面的第一补偿位移量和/或第二补偿位移量对所述多个反射镜面分别对应的初始点云数据进行运动补偿得到目标补偿点云数据；其中，所述第一补偿位移量与所述脉冲式激光雷达相关，所述第二补偿位移量与被探测物体相关；
拼接模块，用于将所述多个反射镜面分别对应的目标补偿点云数据进行拼接得到拼接点云数据；
所述补偿处理模块，具体用于获取所述脉冲式激光雷达的速度数据；基于相邻所述反射镜面的扫描间隔时间以及所述脉冲式激光雷达的速度数据通过积分得到所述反射镜面对应的第一补偿位移量；
所述补偿处理模块，具体用于从所述多个反射镜面对应的初始点云数据或者经过所述第一补偿位移量进行运动补偿后得到的补偿点云数据中识别同一被探测物体所对应的目标点云数据块，并计算各所述目标点云数据块的中心点；将同一被探测物体对应的所述目标点云数据块的中心点之间的偏移量作为所述目标点云数据块对应的第二补偿位移量。
6.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器被配置为存储计算机程序指令；
所述处理器被配置为执行所述计算机程序指令，使得所述电子设备实现如权利要求1至4任一项所述的激光点云拼接方法。
7.一种可读存储介质，其特征在于，包括：计算机程序指令；
电子设备的至少一个处理器运行所述计算机程序指令，使得所述电子设备实现如权利要求1至4任一项所述的激光点云拼接方法。
CN202310159926.4A 2023-02-23 2023-02-23 激光点云拼接方法、装置、电子设备及可读存储介质 Active CN116224287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310159926.4A CN116224287B (zh) 2023-02-23 2023-02-23 激光点云拼接方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310159926.4A CN116224287B (zh) 2023-02-23 2023-02-23 激光点云拼接方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN116224287A CN116224287A (zh) 2023-06-06
CN116224287B true CN116224287B (zh) 2024-01-23

Family

ID=86582027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310159926.4A Active CN116224287B (zh) 2023-02-23 2023-02-23 激光点云拼接方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116224287B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093149A (zh) * 2021-03-15 2021-07-09 昂纳信息技术（深圳）有限公司 一种转镜装置以及激光雷达
WO2022088334A1 (zh) * 2020-10-30 2022-05-05 苏州镭智传感科技有限公司 相干激光雷达
CN114647078A (zh) * 2022-04-07 2022-06-21 合肥工业大学 一种基于压电电机调节的大视场高分辨率激光扫描系统
WO2022135172A1 (zh) * 2020-12-25 2022-06-30 北京一径科技有限公司 激光雷达点云处理方法和装置、存储介质及电子装置
CN115097481A (zh) * 2022-06-30 2022-09-23 苏州挚途科技有限公司 点云的运动补偿方法、装置和电子设备
CN115546023A (zh) * 2022-09-26 2022-12-30 合众新能源汽车有限公司 一种点云拼接方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7746449B2 (en) * 2007-11-14 2010-06-29 Rosemount Aerospace Inc. Light detection and ranging system
CN107817503B (zh) * 2016-09-14 2018-12-21 北京百度网讯科技有限公司 应用于激光点云数据的运动补偿方法和装置
US11080870B2 (en) * 2019-06-19 2021-08-03 Faro Technologies, Inc. Method and apparatus for registering three-dimensional point clouds
US11561281B2 (en) * 2020-06-29 2023-01-24 Waymo Llc Selective deactivation of light emitters for interference mitigation in light detection and ranging (lidar) devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088334A1 (zh) * 2020-10-30 2022-05-05 苏州镭智传感科技有限公司 相干激光雷达
WO2022135172A1 (zh) * 2020-12-25 2022-06-30 北京一径科技有限公司 激光雷达点云处理方法和装置、存储介质及电子装置
CN113093149A (zh) * 2021-03-15 2021-07-09 昂纳信息技术（深圳）有限公司 一种转镜装置以及激光雷达
CN114647078A (zh) * 2022-04-07 2022-06-21 合肥工业大学 一种基于压电电机调节的大视场高分辨率激光扫描系统
CN115097481A (zh) * 2022-06-30 2022-09-23 苏州挚途科技有限公司 点云的运动补偿方法、装置和电子设备
CN115546023A (zh) * 2022-09-26 2022-12-30 合众新能源汽车有限公司 一种点云拼接方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于迭代最近点算法的激光点云拼接研究;乔建委;王建军;许文硕;卢云鹏;胡燕威;王志勇;;山东理工大学学报(自然科学版);34(02);46-50 *

Also Published As

Publication number Publication date
CN116224287A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN106767852B (zh) 一种生成探测目标信息的方法、装置和设备
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CA3162932C (en) Modeling method and apparatus based on point cloud data, device, and storage medium
WO2020243962A1 (zh) 物体检测方法、电子设备和可移动平台
CN112513679B (zh) 一种目标识别的方法和装置
WO2022135594A1 (zh) 目标物体的检测方法及装置、融合处理单元、介质
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
WO2022188090A1 (zh) 固态激光雷达的微振镜控制方法、装置和固态激光雷达
JP2020042775A (ja) 障害物の検知方法、システム、コンピュータ装置、コンピュータ記憶媒体
KR102226372B1 (ko) 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법
US11244473B2 (en) Positioning method, positioning apparatus of mobile device and electronic device
CN116224287B (zh) 激光点云拼接方法、装置、电子设备及可读存储介质
Steinbaeck et al. Design of a low-level radar and time-of-flight sensor fusion framework
US11747431B2 (en) Vehicle positioning method and apparatus, and vehicle
CN114495512A (zh) 一种车辆信息检测方法、系统、电子设备及可读存储介质
CN114026461A (zh) 构建点云帧的方法、目标检测方法、测距装置、可移动平台和存储介质
WO2022256976A1 (zh) 稠密点云真值数据的构建方法、系统和电子设备
CN112101069A (zh) 确定行驶区域信息的方法及装置
Khesbak Depth camera and laser sensors plausibility evaluation for small size obstacle detection
EP3869793A1 (en) Image sensor circuitry for reducing effects of laser speckles
JP7103324B2 (ja) 物体認識用異常検出装置及び物体認識用異常検出プログラム
CN114080545A (zh) 数据处理方法、装置、激光雷达和存储介质
English et al. The complementary nature of triangulation and ladar technologies
CN110309741A (zh) 障碍物检测方法及装置
EP4318027A1 (en) Synchronous control device and method for lidar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant