CN116577796B - 对齐参数的验证方法、装置、存储介质及电子设备 - Google Patents

对齐参数的验证方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN116577796B
CN116577796B CN202310546313.6A CN202310546313A CN116577796B CN 116577796 B CN116577796 B CN 116577796B CN 202310546313 A CN202310546313 A CN 202310546313A CN 116577796 B CN116577796 B CN 116577796B
Authority
CN
China
Prior art keywords
point cloud
cloud data
target
image data
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310546313.6A
Other languages
English (en)
Other versions
CN116577796A (zh
Inventor
赵广明
方志刚
李康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunyi Electronic Technology Shanghai Co Ltd
Original Assignee
Kunyi Electronic Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunyi Electronic Technology Shanghai Co Ltd filed Critical Kunyi Electronic Technology Shanghai Co Ltd
Priority to CN202310546313.6A priority Critical patent/CN116577796B/zh
Publication of CN116577796A publication Critical patent/CN116577796A/zh
Application granted granted Critical
Publication of CN116577796B publication Critical patent/CN116577796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供一种对齐参数的验证方法、装置、存储介质及电子设备，在目标车辆的运动过程中采集激光雷达输出的初始点云数据和图像采集设备输出的初始图像数据，并根据激光雷达与图像采集设备间的外部参数与对齐参数将初始点云数据与初始图像数据融合得到融合点云数据和融合图像数据，再从中确定目标融合点云数据和目标融合图像数据及其重合度，若外部参数满足外参条件则根据重合度得到融合点云数据和融合图像数据的对齐参数的验证结果。基于目标融合点云数据和目标融合图像数据的重合度即可判断对齐参数是否准确，故可根据验证结果为对齐参数的调整提供及时有效的依据，以保证对齐参数的准确性、保障车辆运动过程中点云数据和图像数据的融合效果。

Description

对齐参数的验证方法、装置、存储介质及电子设备
技术领域
本申请涉及智能驾驶技术领域，尤其涉及一种对齐参数的验证方法、装置、存储介质及电子设备。
背景技术
随着智能驾驶技术的不断发展，当前通常采用激光雷达与相机相结合的方式对驾驶环境进行探测，以提高车辆的驾驶环境感知能力。其中，激光雷达输出的点云数据与相机输出的图像数据是对环境感知的两种基础数据源：图像数据可以表征外界的彩色信息或灰度信息，点云数据可以表征外界的距离信息，因此，点云数据与图像数据的融合即可实现对周围环境信息的感知。
外参(例如用于将相机的图像数据、激光雷达的点云数据投射至同一坐标系下的各种参数)的准确性在一定程度上会影响点云数据和图像数据的融合效果，因此，当前通常在车辆处于静止状态时对车辆设备的外参准确性进行验证，然而，车辆在运动时车辆位姿变化较大，使得点云数据和图像数据的融合更为复杂，因而车辆运动过程中点云数据和图像数据的融合效果极为重要，另外，对齐参数(例如用于在时间维度上将点云数据与图像数据对齐的各种参数)对于车辆在运动状态下的点云数据和图像数据的融合效果具有较大影响，由此可见，若要保证车辆运动过程中点云数据和图像数据的融合效果，则需要保证对齐参数的准确性，而当前无法对车辆运动状态下的对齐参数进行验证，因而难以保障车辆运动过程中点云数据和图像数据的融合效果。
发明内容
本申请提供一种对齐参数的验证方法、装置、存储介质及电子设备，用于缓解当前车辆运动过程中点云数据和图像数据的融合效果难以保障的技术问题。
为了解决上述技术问题，本申请提供以下技术方案：
本申请提供一种对齐参数的验证方法，包括：
采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在所述运动过程中输出的初始图像数据；
根据所述激光雷达与所述图像采集设备间的外部参数与对齐参数，将所述初始点云数据与所述初始图像数据进行融合，得到融合点云数据和融合图像数据；
从所述融合点云数据和所述融合图像数据中确定目标融合点云数据和目标融合图像数据，并获取所述目标融合点云数据与所述目标融合图像数据的重合度；
若外部参数满足外参条件，根据所述重合度得到所述融合点云数据和所述融合图像数据对应的对齐参数的验证结果。
其中，所述根据所述激光雷达与所述图像采集设备间的外部参数与对齐参数，将所述初始点云数据与所述初始图像数据进行融合，得到融合点云数据和融合图像数据的步骤，包括：
根据所述对齐参数，将所述始点云数据与所述初始图像数据对齐，以确定对齐后的所述初始点云数据和所述初始图像数据的同步时刻；
根据所述外部参数，将所述初始点云数据与所述初始图像数据融合于所述同步时刻下的二维坐标系；
将处于所述二维坐标系下的所述初始点云数据作为融合点云数据，将处于所述二维坐标系下的所述初始图像数据作为融合图像数据。
其中，所述从所述融合点云数据和所述融合图像数据中确定目标融合点云数据和目标融合图像数据，并获取所述目标融合点云数据与所述目标融合图像数据的重合度的步骤，包括：
获取所述目标车辆在所述运动过程中各时刻的平均车速；
确定所述平均车速的数值大于车速阈值的一个或多个时刻为目标时刻；
将所述目标时刻对应的所述融合点云数据作为目标融合点云数据，并将所述目标时刻对应的所述融合图像数据作为目标融合图像数据；
基于所述目标融合图像数据中的目标对象，确定所述目标融合点云数据与所述目标融合图像数据的重合度。
其中，所述基于所述目标融合图像数据中的目标对象，确定所述目标融合点云数据与所述目标融合图像数据的重合度的步骤，包括：
确定各目标对象在所述目标融合图像数据中的像素点的覆盖范围，并将各覆盖范围的面积相加，得到覆盖面积总和；
确定各覆盖范围内所述目标融合点云数据的数量，并将各覆盖范围内所述目标融合点云数据的数量相加，得到数量总和；
将所述数量总和与所述覆盖面积总和的比值作为所述目标融合点云数据与所述目标融合图像数据的重合度。
其中，所述基于所述目标融合图像数据中的目标对象，确定所述目标融合点云数据与所述目标融合图像数据的重合度的步骤，还包括：
确定各目标对象在所述目标融合图像数据中的像素点的覆盖范围，并基于各目标对象的权重参考信息确定各目标对象对应的权重值；所述权重参考信息包括以下至少之一：类型信息、尺寸信息、形状信息、材质信息；
根据所述覆盖范围的面积和所述权重值，得到全部所述目标对象对应的面积加权平均值；
根据位于所述覆盖范围内的所述目标融合点云数据的数量和所述权重值，得到全部所述目标对象对应的第一数量加权平均值；
将所述第一数量加权平均值与所述面积加权平均值的比值作为所述目标融合点云数据与所述目标融合图像数据的重合度。
其中，所述基于所述目标融合图像数据中的目标对象，确定所述目标融合点云数据与所述目标融合图像数据的重合度的步骤，还包括：
确定各目标对象在所述目标融合图像数据中的像素点的覆盖范围；
确定各覆盖范围内所述目标融合点云数据的数量，并将各覆盖范围内所述目标融合点云数据的数量相加，得到第一数量总和；
将各覆盖范围内所述目标融合点云数据投射至三维坐标系，得到投射点云数据；
在所述三维坐标系中对所述投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据，并将各目标对象对应的所述全部投射点云数据的数量相加，得到第二数量总和；
将所述第一数量总和与所述第二数量总和的比值作为所述目标融合点云数据与所述目标融合图像数据的重合度。
其中，所述基于所述目标融合图像数据中的目标对象，确定所述目标融合点云数据与所述目标融合图像数据的重合度的步骤，还包括：
确定各目标对象在所述目标融合图像数据中的像素点的覆盖范围，并基于各目标对象的类型确定各目标对象对应的权重值；
根据位于所述覆盖范围内的所述目标融合点云数据的数量与所述权重值，得到全部所述目标对象对应的第一数量加权平均值；
将位于各覆盖范围内的所述目标融合点云数据投射至三维坐标系，得到投射点云数据；
在所述三维坐标系中对所述投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据，并根据所述全部投射点云数据的数量和所述权重值，得到全部所述目标对象对应的第二数量加权平均值；
将所述第一数量加权平均值与所述第二数量加权平均值的比值作为所述目标融合点云数据与所述目标融合图像数据的重合度。
其中，在根据所述重合度得到所述融合点云数据和所述融合图像数据对应的对齐参数的验证结果之前，还包括：
从位于所述覆盖范围内的所述像素点中确定至少一个图像定位点，并从位于所述覆盖范围内的所述目标融合点云数据中确定至少一个点云定位点；
计算各目标对象对应的所述图像定位点与所述点云定位点的欧式距离的均值，并基于所述均值和各目标对象对应的所述权重值得到全部所述目标对象对应的距离加权平均值；
若所述距离加权平均值大于或等于距离阈值，确定外部参数满足外参条件。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项对齐参数的验证方法。
本申请实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行上述任一项对齐参数的验证方法中的步骤。
本申请实施例提供一种对齐参数的验证方法、装置、存储介质及电子设备，首先采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在运动过程中输出的初始图像数据，然后根据激光雷达与图像采集设备间的外部参数与对齐参数将初始点云数据与初始图像数据融合得到融合点云数据和融合图像数据，再从融合点云数据和融合图像数据中确定目标融合点云数据和目标融合图像数据及二者的重合度，若外部参数满足外参条件则根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果。当外部参数满足外参条件时，基于目标融合点云数据和目标融合图像数据的重合度即可得到对齐参数的验证结果，根据该验证结果即可判断对齐参数是否准确，故能够在验证结果表征对齐参数不准确时及时得到验证结果，为进一步对对齐参数的调整提供及时有效的依据，以保证对齐参数的准确性，从而保障车辆运动过程中点云数据和图像数据的融合效果。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的对齐参数的验证方法的流程示意图。
图2是本申请实施例提供的对齐参数的验证方法的场景示意图。
图3是本申请实施例提供的对齐参数的验证方法的另一场景示意图。
图4是本申请实施例提供的对齐参数的验证装置的结构示意图。
图5是本申请实施例提供的电子设备的结构示意图。
图6是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种对齐参数的验证方法、装置、存储介质及电子设备。
如图1所示，图1是本申请实施例提供的对齐参数的验证方法的流程示意图，具体流程可以如下：
S101.采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在运动过程中输出的初始图像数据。
其中，激光雷达是激光探测与测距系统的简称，它通过测定传感器发射器与目标物体之间的传播距离，分析目标物体表面的反射能量大小、反射波谱的幅度、频率和相位等信息，从而呈现出相应的初始点云数据，以反映目标物体精确的三维结构信息；初始点云数据是由激光雷达设备扫描得到的空间点的数据集，每一个点都包含了三维坐标信息、反射强度信息和回波次数信息等。
具体地，在本实施例中，激光雷达和图像采集设备均安装于目标车辆上，在目标车辆的运动过程中，激光雷达和图像采集设备与目标车辆的车体之间的相对位置不变，其中，激光雷达为运动式机械雷达，其在工作模式下以旋转扫描的方式扫描目标车辆周围的环境，并在目标车辆的运动过程中输出初始点云数据，同时，图像采集设备(例如，车载摄像头)在目标车辆的运动过程中的曝光时刻曝光以输出初始图像数据。
S102.根据激光雷达与图像采集设备间的外部参数与对齐参数，将初始点云数据与初始图像数据进行融合，得到融合点云数据和融合图像数据。
其中，外部参数用于在融合时将初始点云数据与初始图像数据投射至同一坐标系下，对齐参数用于融合时，在时间维度上实现初始点云数据与初始图像数据对齐，融合点云数据和融合图像数据处于同一坐标系下，初始点云数据与初始图像数据所表征的是相同的环境因素。
具体地，为保证初始点云数据和初始图像数据融合的有效性，在本实施例中，首先根据对齐参数将始点云数据与初始图像数据对齐，以确定对齐后的初始点云数据和初始图像数据的同步时刻，并根据外部参数将初始点云数据与初始图像数据融合于同步时刻下的二维坐标系，将处于该二维坐标系下的初始点云数据作为融合点云数据，将处于二维坐标系下的初始图像数据作为融合图像数据，其中，同步时刻用于表征初始点云数据和初始图像数据的一致性。
针对于外部参数，一种举例中，可以包括第一转换矩阵、第二转换矩阵，第一转换矩阵用于将点云数据自雷达的三维坐标系直接或间接转换至一参考坐标系(也可理解为世界坐标系)，第二转换矩阵用于将参考坐标系(也可理解为世界坐标系)下的点投射至摄像头的图像坐标系，进而，可将点云数据、图像数据融合于同一坐标系。第一转换矩阵、第二转换矩阵，分别可包含一个或多个转换矩阵，这些转换矩阵均可预先标定出来并调整好；另一举例中，也可综合以上各转换矩阵而得到目标转换矩阵，用于将雷达的三维坐标系的点投射到摄像头的图像坐标系，进而，在使用外部参数时，可直接使用目标转换矩阵。
针对于对齐参数，一种举例中，对于雷达来说，不同时刻扫描到的数据可对应到各第一时刻，对于图像采集设备来说，每一帧图像数据可对应到一个第二时刻；然而，因为采集频率、数据延迟、时钟差异等各种原因，可能会导致，即便用于描述同一时刻的第一时刻、第二时刻，对应的雷达扫描到的数据、图像采集设备拍摄到的数据未必是真的同步的，也可理解为：第一时刻的第一时间轴与第二时刻的第二时间轴之间有一定时间差，例如，第一时间轴的t1秒可能与第二时间轴的t2秒才是同步的，t1≠t2，对齐参数则是用于弥补这种时间差的参数，例如可以为t1-t2。本领域任意用于标定、使用对齐参数的方案，均可作为一种可选方案，在使用对齐参数之后，可能会发生：点云数据与图像数据依旧没有很好同步，例如依旧存在一定时间差，在效果上来说，当点云数据与图像数据投射在同一坐标系之后，描绘同一对象(例如)的点云数据的点与图像数据的点将会发生一定程度的错位，且这种错位会随安装图像采集设备、雷达的车的速度增加而愈发明显。而在车辆未运动时，某一时刻采集到的点云数据、图像数据与上一时刻、后一时刻采集到的点云数据、图像数据可能是相同的，此时，难以体现出对齐参数是否准确，而本申请则是基于运动过程中的数据而验证对齐参数的，便于准确体现出对齐参数对采集结果的影响。可选地，首先确定图像采集设备的拍摄视角范围，并确定激光雷达扫描到该拍摄视角范围内时所对应的时间区间，当拍摄时刻位于该时间区间内时，说明该初始图像数据是在激光雷达扫描视角与图像采集设备拍摄视角的重叠视角内拍摄而得，故确定该帧点云(激光雷达扫描环境一周输出的初始点云数据)与图像采集设备在该时间区间内拍摄得到的初始图像数据表征相同的环境因素。
例如，如图2所示，摄像头201安装于目标车辆的正前方，激光雷达202从目标测量的正后方的起始点2021开始以顺时针的方向扫描，激光雷达扫描环境一周的周期为0-100ms，且激光雷达202扫描到摄像头201的视角范围2011内时对应的时间区间为33.3-66.6ms，且初始图像数据A的拍摄时刻为43.3ms，由于其拍摄时刻位于33.3-66.6ms内，故确定该周期内输出的初始点云数据与初始图像数据A表征相同的环境因素。
进一步地，考虑到目标车辆在运动时车辆位姿变化较大，而激光雷达每形成一帧点云都需要耗费一定时间，因而在该过程中容易出现畸变(即点云与真实世界中的物体的差别很大)，为缓解畸变程度，在本实施例中，可对初始点云数据进行运动补偿，以使初始点云数据表现为同步时刻所采集的样子，然后再将运动补偿后的初始点云数据与初始图像数据融合于同步时刻下的二维坐标系中。
S103.从融合点云数据和融合图像数据中确定目标融合点云数据和目标融合图像数据，并获取目标融合点云数据与目标融合图像数据的重合度。
其中，目标融合点云数据为目标时刻对应的融合点云数据，目标融合图像数据为目标时刻对应的融合图像数据，重合度用于表征目标融合点云数据与目标融合图像数据的一致性，也可理解为用于表征目标融合点云数据的点与目标融合图像数据的点融合于同一坐标系时的错位程度。
具体地，在本实施例中，首先获取目标车辆在运动过程中各时刻(即每一秒)的平均车速，并确定平均车速的数值大于车速阈值的一个或多个时刻为目标时刻，并将目标时刻对应的融合点云数据作为目标融合点云数据、将目标时刻对应的融合图像数据作为目标融合图像数据，例如，激光雷达的扫描频率为10hz，图像采集设备的曝光频率为30hz，车速阈值为60km/h，目标车辆运动过程的时长为1-10s，其中，第1-8s的平均车速为50km/h，第9s的平均车速为65km/h，第10s的平均车速为70km/h，由于第9s、第10s的平均车速大于车速阈值，故确定第9s为目标时刻，或者，确定第10s为目标时刻，或者，确定第9s和第10s为目标时刻。以确定第10s为目标时刻的情况为例，第10s对应10组融合点云数据和融合图像数据，故将这10个融合点云数据作为目标融合点云数据、10个融合图像数据作为目标融合点云数据。
可选地，目标车辆在运动过程中可以作直线运动和/或曲线运动，可将直线运动过程中的平均直线速度对应的时刻和/或曲线运动过程中的平均角速度对应的时刻作为目标时刻。
接下来，基于目标融合图像数据中的目标对象(环境因素所包含的任意物体)确定目标融合点云数据与目标融合图像数据的重合度。可选地，在目标融合点云数据包含多个融合点云数据、目标融合图像数据包含多个融合图像数据时，将第一组融合点云数据和融合图像数据的重合度作为目标融合点云数据与目标融合图像数据的重合度，或者，将每组融合点云数据和融合图像数据的重合度作为目标融合点云数据与目标融合图像数据的重合度。
具体地，在第一个实施例中，首先确定各目标对象在目标融合图像数据中的像素点的覆盖范围，并将各覆盖范围的面积相加得到覆盖面积总和，然后确定各覆盖范围内目标融合点云数据的数量，并将各覆盖范围内目标融合点云数据的数量相加得到数量总和，最后将数量总和与覆盖面积总和的比值作为目标融合点云数据与目标融合图像数据的重合度。
例如，如图3所示，目标融合图像数据300包含第一目标对象3001和第二目标对象3002，其中，第一目标对象3001的覆盖范围的面积为30m2，位于第一目标对象3001的覆盖范围内的目标融合点云数据的数量为10，第二目标对象3002的覆盖范围的面积为10m2，位于第二目标对象3002的覆盖范围内的目标融合点云数据的数量为2，故确定目标融合点云数据与目标融合图像数据300的重合度为：(10+2)/(30+10)＝0.3。
考虑到不同属性的目标对象对于重合度的影响程度不同，故在第二个实施例中，首先确定各目标对象在目标融合图像数据中的像素点的覆盖范围，并基于各目标对象的权重参考信息(例如，类型信息、尺寸信息、形状信息、材质信息)确定各目标对象对应的权重值，例如，将形状信息作为目标对象的权重参考信息，由于形状规则的目标对象对于重合度的影响程度较大，故将形状规则的目标对象的权重值设置为较大的数值，形状不规则的目标对象对于重合度的影响程度较小，故将形状不规则的目标对象的权重值设置为较小的数值，然后根据覆盖范围的面积和权重值得到全部目标对象对应的面积加权平均值，之后根据位于覆盖范围内的目标融合点云数据的数量和权重值，得到全部目标对象对应的第一数量加权平均值，最后将第一数量加权平均值与面积加权平均值的比值作为目标融合点云数据与目标融合图像数据的重合度。
例如，如图3所示，目标融合图像数据300包含第一目标对象3001和第二目标对象3002，其中，第一目标对象3001的覆盖范围的面积为30m2，且其形状规则、权重值为0.8，第二目标对象3002的覆盖范围的面积为10m2，且其形状不规则、权重值为0.2，故确定面积加权平均值为：(10*0.2+30*0.8)/2＝13，另外，位于第一目标对象3001覆盖范围内的目标融合点云数据的数量为10，位于第二目标对象3002的覆盖范围内的目标融合点云数据的数量为2，故确定第一数量加权平均值为：(10*0.8+2*0.2)/2＝4.2，因而确定目标融合点云数据与目标融合图像数据300的重合度为：4.2/13＝0.3。
可选地，若确定类型信息作为目标对象的权重参考信息，可根据目标对象的动静态特征以区分目标对象的类型，例如，由于处于静止状态的目标对象对于重合度的影响程度较大，故将处于静止状态的目标对象的权重值设置为较大的数值，处于运动状态的目标对象对于重合度的影响程度较小，故将处于运动状态的目标对象的权重值设置为较小的数值；若确定尺寸信息作为目标对象的权重参考信息，例如，尺寸大的目标对象对于重合度的影响程度较大，故将尺寸大的目标对象的权重值设置为较大的数值，尺寸小的目标对象对于重合度的影响程度较小，故将尺寸小的目标对象的权重值设置为较小的数值。
在第三个实施例中，首先确定各目标对象在目标融合图像数据中的像素点的覆盖范围，然后确定各覆盖范围内所述目标融合点云数据的数量，并将各覆盖范围内目标融合点云数据的数量相加得到第一数量总和，再将各覆盖范围内目标融合点云数据投射至三维坐标系以得到投射点云数据，接下来在三维坐标系中对投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据，并将各目标对象对应的全部投射点云数据的数量相加得到第二数量总和，最后将第一数量总和与第二数量总和的比值作为目标融合点云数据与目标融合图像数据的重合度。
可选地，可采用K-means(k-means clustering algorithm，k均值聚类)算法在三维坐标系中对投射点云数据进行聚类处理，在聚类处理的过程中，首先将投射点云数据分为K组，并在K组投射点云数据中随机选取K个对象作为初始的聚类中心，然后计算每个对象与各聚类中心之间的距离，并把每个对象分配给距离最近的聚类中心，此时，聚类中心以及对应的对象就代表一个聚类，每分配一个对象，聚类的聚类中心会根据聚类中现有的对象重新进行计算，在该计算过程中会产生新的投射点云数据，将所有投射点云数据相加即得到全部投射点云数据的数量。
例如，如图3所示，目标融合图像数据300包含第一目标对象3001和第二目标对象3002，其中，位于第一目标对象3001的覆盖范围内的目标融合点云数据的数量为10，位于第二目标对象3002的覆盖范围内的目标融合点云数据的数量为2，将第一目标对象3001的覆盖范围内的目标融合点云数据投射至三维坐标系得到的投射点云数据的数量为8，接下来在三维坐标系中对投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据的数量为14，将第二目标对象3002的覆盖范围内的目标融合点云数据投射至三维坐标系得到的投射点云数据的数量为1，接下来在三维坐标系中对投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据的数量为6，故确定第一数量总和为：10+2＝12，第二数量总和为：14+6＝20，因而确定目标融合点云数据与目标融合图像数据的重合度为：12/20＝0.6。
在第四个实施例中，首先确定各目标对象在目标融合图像数据中的像素点的覆盖范围，并基于各目标对象的权重参考信息确定各目标对象对应的权重值，然后根据位于覆盖范围内的目标融合点云数据的数量与权重值得到全部目标对象对应的第一数量加权平均值，再将位于各覆盖范围内的目标融合点云数据投射至三维坐标系得到投射点云数据，之后在三维坐标系中对投射点云数据进行聚类处理得到各目标对象对应的全部投射点云数据，并根据全部投射点云数据的数量和权重值得到全部目标对象对应的第二数量加权平均值，最后将第一数量加权平均值与第二数量加权平均值的比值作为目标融合点云数据与目标融合图像数据的重合度。可选地，该实施例所选取的权重参考信息可与第二个实施例中所选取的权重参考信息相同或不同。
例如，如图3所示，目标融合图像数据300包含第一目标对象3001和第二目标对象3002，其中，位于第一目标对象3001的覆盖范围内的目标融合点云数据的数量为10，且第一目标对象3001的形状规则、权重值为0.8，位于第二目标对象3002的覆盖范围内的目标融合点云数据的数量为2，且第二目标对象3002的形状不规则、权重值为0.2，故确定第一数量加权平均值为：
(10*0.8+2*0.2)/2＝4.2，接下来将第一目标对象3001的覆盖范围内的目标融合点云数据投射至三维坐标系得到的投射点云数据的数量为8，并在三维坐标系中对投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据的数量为14，同样地，将第二目标对象3002的覆盖范围内的目标融合点云数据投射至三维坐标系得到的投射点云数据的数量为1，并在三维坐标系中对投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据的数量为6，故确定第二数量加权平均值为：(14*0.8+6*0.2)/2＝6.2，因而确定目标融合点云数据与目标融合图像数据的重合度为：4.2/6.2＝0.7。
需要说明的是，为了确保位于各目标对象覆盖范围内的目标融合点云数据为有效数据，在上述实施例中，还可继续对超出目标对象覆盖范围的目标融合点云数据的数量进行判断，若位于目标对象覆盖范围之外的目标融合点云数据的数量大于或等于数量阈值时，说明目标融合点云数据很可能与目标对象不相符，故确定该目标对象覆盖范围内的目标融合点云数据无效，并不再将该目标对象代入后续计算过程。例如，数量阈值为10，若位于第一目标对象覆盖范围之外的目标融合点云数据的数量为15，则确定第一目标对象覆盖范围内的目标融合点云数据无效。
S104.若外部参数满足外参条件，根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果。
具体地，如上文所述，由于目标车辆在运动时车辆位姿变化较大，而激光雷达每形成一帧点云都需要耗费一定时间，因而在该过程中容易出现畸变，为缓解畸变程度，可以对初始点云数据进行运动补偿，以使初始点云数据表现为同步时刻所采集的样子，在该运动补偿的过程中需要基于外部参数确定摄像头、激光雷达以及惯性导航器件相对于车体坐标系的位置姿态信息，并根据这些位置姿态信息将初始点云数据转换到摄像头的坐标系下，并在后续将运动补偿后的初始点云数据与初始图像数据进行融合，由此可见，外部参数的准确性对于运动补偿效果以及融合效果的影响较大，因而在实际应用过程中需要保证外部参数的准确性。
进一步地，在上述步骤S104之前，预先从位于覆盖范围内的像素点中确定至少一个图像定位点，并从位于覆盖范围内的目标融合点云数据中确定至少一个点云定位点，然后计算各目标对象对应的图像定位点与点云定位点的欧式距离的均值，并基于该均值和各目标对象对应的权重值得到全部目标对象对应的距离加权平均值，若距离加权平均值大于或等于距离阈值则确定外部参数满足外参条件，也即说明外部参数准确。可选地，与上文实施例中记载的权重值的设置过程相同，权重值的大小与目标对象的权重参考信息有关，且所选取的权重参考信息可与上文实施例中所选取的权重参考信息相同或不同，在此不再赘述。
例如，距离阈值为2，如图3所示，第一目标对象3001的权重值为0.8，第二目标对象3002的权重值为0.2，在第一目标对象3001的覆盖范围内确定p11、p12、p13和p14这4个像素点作为图像定位点，并在该覆盖范围内确定q11、q12、q13和q14这4个目标融合点云数据作为点云定位点，然后计算p11与q11之间的欧式距离为2cm、p12与q12之间的欧式距离为8cm，p13与q13之间的欧式距离为6cm，p14与q14之间的欧式距离为8cm，故其均值为：
(2+8+6+8)/4＝6，同样地，在第二目标对象3002的覆盖范围内确定m11、m12、m13和m14这4个像素点作为图像定位点，并在该覆盖范围内确定n11、n12、n13和n14这4个目标融合点云数据作为点云定位点，然后计算m11与n11之间的欧式距离为4cm、m12与n12之间的欧式距离为3cm，m13与n13之间的欧式距离为7cm，m14与n14之间的欧式距离为2cm，故其均值为：(4+3+7+2)/4＝4，因而距离加权平均值为：(6*0.8+4*0.2)/2＝2.8，由于距离加权平均值大于距离阈值，故确定外部参数满足外参条件。
若外部参数未满足外参条件，也即外部参数错误时，可通过人工手动或自动的方式调整外部参数，以使距离加权平均值大于或等于距离阈值。
需要说明的是，在其他实施方式中，还可以根据前述实施例中计算目标融合点云数据与目标融合图像数据的重合度的方式来计算距离加权平均值，具体计算过程与前述实施例相同，故在此不再赘述。
接下来，在外部参数准确的情况下，根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果，以根据验证结果判断对齐参数是否准确。其中，在本实施例中，对齐参数包括惯性导航器件输出的目标车辆的车辆位姿信息、融合点云数据的时间戳和融合图像数据的时间戳，具体地，若重合度大于或等于对齐阈值，确定融合点云数据和融合图像数据对应的对齐参数的验证结果表征对齐参数准确；若重合度小于对齐阈值，确定验证结果表征对齐参数错误。
例如，对齐阈值为0.5，若重合度为0.6，则确定融合点云数据和融合图像数据对应的对齐参数的验证结果表征对齐参数准确；若重合度为0.3，则确定融合点云数据和融合图像数据对应的对齐参数的验证结果表征对齐参数错误。
进一步地，考虑到车速的大小也会在一定程度上对目标融合图像数据和目标融合点云数据的重合度造成影响(如，车速较大时会导致目标融合图像数据和目标融合点云数据的重合度较小，车速较小时会导致目标融合图像数据和目标融合点云数据的重合度较大)，为了避免出现对于对齐参数准确性的误判，在实际应用过程中，预先设置多个与各车速范围对应的对齐阈值，并在确定目标时刻(目标车辆在运动过程中平均车速的数值大于车速阈值的时刻)后根据该目标时刻对应的平均车速的大小来选择对应的对齐阈值。
例如，0-40km/h对应的对齐阈值为0.9，41-80km/h对应的对齐阈值为0.6，81-120km/h对应的对齐阈值为0.3，当目标时刻对应的平均车速为60km/h时，确定对齐阈值为0.6。
另外，当目标时刻包含目标车辆在直线运动过程中的平均直线速度对应的时刻和在曲线运动过程中的平均角速度对应的时刻时，若二者对应的目标融合图像数据和目标融合点云数据的重合度均大于或等于对齐阈值时，才确定融合点云数据和融合图像数据对应的对齐参数的验证结果表征对齐参数准确，或者，若二者对应的目标融合图像数据和目标融合点云数据的重合度的均值/加权求和值大于或等于对齐阈值时，才确定融合点云数据和融合图像数据对应的对齐参数的验证结果表征对齐参数准确。
可选地，在上文中第三、四个实施例中，当位于目标对象覆盖范围内的目标融合点云数据的数量小于预设阈值时，说明目标对象在目标融合图像数据中的识别结果与在目标融合点云数据的实际情况差距较大，故直接判定对齐参数错误，例如，预设阈值为1，位于目标对象覆盖范围内的目标融合点云数据的数量为0，故判定对齐参数错误；
亦或者，当位于目标对象覆盖范围内的目标融合点云数据的数量均小于预设阈值这种情况的发生次数大于或等于预设次数时，直接判定对齐参数错误，例如，预设数量为3，预设阈值为1，当有4个目标对象覆盖范围内的目标融合点云数据的数量均为0时，直接判定对齐参数错误；或者，当位于目标对象覆盖范围内的目标融合点云数据的数量小于预设阈值这种情况的发生概率大于或等于预设概率时，直接判定对齐参数错误，例如，预设概率为40％，预设阈值为1，当10个目标对象中存在4个目标对象覆盖范围内的目标融合点云数据的数量均为0时，也即发生概率为40％，故直接判定对齐参数错误。
需要说明的是，当位于目标对象覆盖范围内的目标融合点云数据的数量小于预设阈值，而这种情况的发生次数/发生概率小于预设概率时，需要继续通过计算目标融合点云数据与目标融合图像数据的重合度(即将第一数量总和与第二数量总和的比值，或，将第一数量加权平均值与第二数量加权平均值的比值)来判断对齐参数是否准确，由于位于目标对象覆盖范围内的目标融合点云数据的数量较少，无法满足聚类的需求，此时可将位于目标对象覆盖范围内的目标融合点云数据的数量设置为默认值，并将全部投射点云数据的数量设置为与目标对象的尺寸相关的预设值(如，目标对象的面积值，或，目标对象的面积值的因数)。
例如，目标对象覆盖范围的面积为10m2，将位于该目标对象覆盖范围内的目标融合点云数据的数量设置为0，并将全部投射点云数据的数量设置为5。
进一步地，若验证结果表征对齐参数错误，为了保证后续图像数据与点云数据的融合效果，可通过人工手动或自动的方式调整对齐参数，以使目标融合点云数据和目标融合图像数据的重合度大于或等于对齐阈值，从而使得对齐参数准确。
由上述可知，本申请提供的对齐参数的验证方法，首先采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在运动过程中输出的初始图像数据，然后根据激光雷达与图像采集设备间的外部参数与对齐参数将初始点云数据与初始图像数据融合得到融合点云数据和融合图像数据，再从融合点云数据和融合图像数据中确定目标融合点云数据和目标融合图像数据及二者的重合度，若外部参数满足外参条件则根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果。当外部参数满足外参条件时，基于目标融合点云数据和目标融合图像数据的重合度即可得到对齐参数的验证结果，根据该验证结果即可判断对齐参数是否准确，故能够在验证结果表征对齐参数不准确时及时得到验证结果，为进一步对对齐参数的调整提供及时有效的依据，以保证对齐参数的准确性，从而保障车辆运动过程中点云数据和图像数据的融合效果。
根据上述实施例所描述的方法，本实施例将从对齐参数的验证装置的角度进一步进行描述。
请参阅图4，图4具体描述了本申请实施例提供的对齐参数的验证装置，该对齐参数的验证装置可以包括：采集模块10、融合模块20、获取模块30和验证模块40，其中：
(1)采集模块10
采集模块10，用于采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在运动过程中输出的初始图像数据。
(2)融合模块20
融合模块20，用于根据激光雷达与图像采集设备间的外部参数与对齐参数将初始点云数据与初始图像数据进行融合，得到融合点云数据和融合图像数据。
其中，融合模块20具体用于：
根据对齐参数，将始点云数据与初始图像数据对齐，以确定对齐后的初始点云数据和初始图像数据的同步时刻；
根据外部参数，将初始点云数据与初始图像数据融合于同步时刻下的二维坐标系；
将处于二维坐标系下的初始点云数据作为融合点云数据，将处于二维坐标系下的初始图像数据作为融合图像数据。
(3)获取模块30
获取模块30，用于从融合点云数据和融合图像数据中确定目标融合点云数据和目标融合图像数据，并获取目标融合点云数据与目标融合图像数据的重合度。
其中，获取模块30具体用于：
获取目标车辆在运动过程中各时刻的平均车速；
确定平均车速的数值大于车速阈值的一个或多个时刻为目标时刻；
将目标时刻对应的融合点云数据作为目标融合点云数据，并将目标时刻对应的融合图像数据作为目标融合图像数据；
基于目标融合图像数据中的目标对象，确定目标融合点云数据与目标融合图像数据的重合度。
具体地，获取模块30还用于：
确定各目标对象在目标融合图像数据中的像素点的覆盖范围，并将各覆盖范围的面积相加，得到覆盖面积总和；
确定各覆盖范围内目标融合点云数据的数量，并将各覆盖范围内目标融合点云数据的数量相加，得到数量总和；
将数量总和与覆盖面积总和的比值作为目标融合点云数据与目标融合图像数据的重合度。
获取模块30还用于：
确定各目标对象在目标融合图像数据中的像素点的覆盖范围，并基于各目标对象的权重参考信息确定各目标对象对应的权重值；权重参考信息包括以下至少之一：类型信息、尺寸信息、形状信息、材质信息；
根据覆盖范围的面积和权重值，得到全部目标对象对应的面积加权平均值；
根据位于覆盖范围内的目标融合点云数据的数量和权重值，得到全部目标对象对应的第一数量加权平均值；
将第一数量加权平均值与面积加权平均值的比值作为目标融合点云数据与目标融合图像数据的重合度。
获取模块30还用于：
确定各目标对象在目标融合图像数据中的像素点的覆盖范围；
确定各覆盖范围内目标融合点云数据的数量，并将各覆盖范围内目标融合点云数据的数量相加，得到第一数量总和；
将各覆盖范围内目标融合点云数据投射至三维坐标系，得到投射点云数据；
在三维坐标系中对投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据，并将各目标对象对应的全部投射点云数据的数量相加，得到第二数量总和；
将第一数量总和与第二数量总和的比值作为目标融合点云数据与目标融合图像数据的重合度。
进一步地，获取模块30还用于：
确定各目标对象在目标融合图像数据中的像素点的覆盖范围，并基于各目标对象的类型确定各目标对象对应的权重值；
根据位于覆盖范围内的目标融合点云数据的数量与权重值，得到全部目标对象对应的第一数量加权平均值；
将位于各覆盖范围内的目标融合点云数据投射至三维坐标系，得到投射点云数据；
在三维坐标系中对投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据，并根据全部投射点云数据的数量和权重值，得到全部目标对象对应的第二数量加权平均值；
将第一数量加权平均值与第二数量加权平均值的比值作为目标融合点云数据与目标融合图像数据的重合度。
(4)验证模块40
验证模块40，用于若外部参数满足外参条件，根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果。
其中，验证模块40具体用于：
若重合度大于或等于对齐阈值，确定融合点云数据和融合图像数据对应的对齐参数的验证结果表征对齐参数准确；
若重合度小于对齐阈值，确定验证结果表征对齐参数错误。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
由上述可知，本申请提供的对齐参数的验证装置，首先通过采集模块10采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在运动过程中输出的初始图像数据，然后通过融合模块20根据激光雷达与图像采集设备间的外部参数与对齐参数将初始点云数据与初始图像数据融合得到融合点云数据和融合图像数据，再通过获取模块30从融合点云数据和融合图像数据中确定目标融合点云数据和目标融合图像数据及二者的重合度，若外部参数满足外参条件则通过验证模块40根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果。当外部参数满足外参条件时，基于目标融合点云数据和目标融合图像数据的重合度即可得到对齐参数的验证结果，根据该验证结果即可判断对齐参数是否准确，故能够在验证结果表征对齐参数不准确时及时得到验证结果，为进一步对对齐参数的调整提供及时有效的依据，以保证对齐参数的准确性，从而保障车辆运动过程中点云数据和图像数据的融合效果。
相应的，本发明实施例还提供一种对齐参数的验证系统，包括本发明实施例所提供的任一种对齐参数的验证装置，该对齐参数的验证装置可以集成在电子设备中。
其中，采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在运动过程中输出的初始图像数据；根据激光雷达与图像采集设备间的外部参数与对齐参数，将初始点云数据与初始图像数据进行融合，得到融合点云数据和融合图像数据；从融合点云数据和融合图像数据中确定目标融合点云数据和目标融合图像数据，并获取目标融合点云数据与目标融合图像数据的重合度；若外部参数满足外参条件，根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果。
由于该对齐参数的验证系统可以包括本发明实施例所提供的任一种对齐参数的验证装置，因此，可以实现本发明实施例所提供的任一种对齐参数的验证装置所能实现的有益效果，详见前面的实施例，在此不再赘述。
另外，本申请实施例还提供一种电子设备。如图5所示，电子设备500包括处理器501、存储器502。其中，处理器501与存储器502电性连接。
处理器501是电子设备500的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器502内的应用程序，以及调用存储在存储器502内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备500中的处理器501会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能：
采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在运动过程中输出的初始图像数据；
根据激光雷达与图像采集设备间的外部参数与对齐参数，将初始点云数据与初始图像数据进行融合，得到融合点云数据和融合图像数据；
从融合点云数据和融合图像数据中确定目标融合点云数据和目标融合图像数据，并获取目标融合点云数据与目标融合图像数据的重合度；
若外部参数满足外参条件，根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果。
图6示出了本发明实施例提供的电子设备的具体结构框图，该电子设备可以用于实施上述实施例中提供的对齐参数的验证方法。
RF电路610用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路610可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路610可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication，GSM)、增强型移动通信技术(Enhanced DataGSM Environment，EDGE)，宽带码分多址技术(Wideband Code Division MultipleAccess，WCDMA)，码分多址技术(Code Division Access，CDMA)、时分多址技术(TimeDivision Multiple Access，TDMA)，无线保真技术(Wireless Fidelity，Wi-Fi)(如美国电气和电子工程师协会标准IEEE 802.11a，IEEE 802.11b，IEEE802.11g和/或IEEE802.11n)、网络电话(Voice over Internet Protocol，VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。
存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现存储5G能力信息的功能。存储器620可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器620可进一步包括相对于处理器680远程设置的存储器，这些远程存储器可以通过网络连接至电子设备600。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元630可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元630可包括触敏表面631以及其他输入设备632。触敏表面631，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面631上或在触敏表面631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面631。除了触敏表面631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及电子设备600的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元640可包括显示面板641，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板641。进一步的，触敏表面631可覆盖显示面板641，当触敏表面631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触敏表面631与显示面板641是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面631与显示面板641集成而实现输入和输出功能。
电子设备600还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在电子设备600移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备600还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路660、扬声器661，传声器662可提供用户与电子设备600之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一终端，或者将音频数据输出至存储器620以便进一步处理。音频电路660还可能包括耳塞插孔，以提供外设耳机与电子设备600的通信。
电子设备600通过传输模块670(例如Wi-Fi模块)可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了传输模块670，但是可以理解的是，其并不属于电子设备600的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器680是电子设备600的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选的，处理器680可包括一个或多个处理核心；在一些实施例中，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。
电子设备600还包括给各个部件供电的电源690(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源690还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，电子设备600还可以包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，电子设备还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：
采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在运动过程中输出的初始图像数据；
根据激光雷达与图像采集设备间的外部参数与对齐参数，将初始点云数据与初始图像数据进行融合，得到融合点云数据和融合图像数据；
从融合点云数据和融合图像数据中确定目标融合点云数据和目标融合图像数据，并获取目标融合点云数据与目标融合图像数据的重合度；
若外部参数满足外参条件，根据重合度得到融合点云数据和融合图像数据对应的对齐参数的验证结果。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种对齐参数的验证方法中的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种对齐参数的验证方法中的步骤，因此，可以实现本发明实施例所提供的任一种对齐参数的验证方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
综上，虽然本申请已以优选实施例揭露如上，但上述优选实施例并非用以限制本申请，本领域的普通技术人员，在不脱离本申请的精神和范围内，均可作各种更动与润饰，因此本申请的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种对齐参数的验证方法，其特征在于，包括：
采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在所述运动过程中输出的初始图像数据；
根据所述激光雷达与所述图像采集设备间的外部参数与对齐参数，将所述初始点云数据与所述初始图像数据进行融合，得到融合点云数据和融合图像数据，其中，所述对齐参数用于融合时，在时间维度上实现所述初始点云数据与所述初始图像数据对齐；
将目标时刻对应的所述融合点云数据作为目标融合点云数据，并将所述目标时刻对应的所述融合图像数据作为目标融合图像数据；
确定各目标对象在所述目标融合图像数据中的像素点的覆盖范围，并基于各目标对象的类型确定各目标对象对应的权重值；
根据位于所述覆盖范围内的所述目标融合点云数据的数量与所述权重值，得到全部所述目标对象对应的第一数量加权平均值；
将位于各覆盖范围内的所述目标融合点云数据投射至三维坐标系，得到投射点云数据；
在所述三维坐标系中对所述投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据，并根据所述全部投射点云数据的数量和所述权重值，得到全部所述目标对象对应的第二数量加权平均值；
将所述第一数量加权平均值与所述第二数量加权平均值的比值作为所述目标融合点云数据与所述目标融合图像数据的重合度；
若外部参数满足外参条件，根据所述重合度得到所述融合点云数据和所述融合图像数据对应的对齐参数的验证结果。
2.根据权利要求1所述的对齐参数的验证方法，其特征在于，所述根据所述激光雷达与所述图像采集设备间的外部参数与对齐参数，将所述初始点云数据与所述初始图像数据进行融合，得到融合点云数据和融合图像数据的步骤，包括：
根据所述对齐参数，将所述初始点云数据与所述初始图像数据对齐，以确定对齐后的所述初始点云数据和所述初始图像数据的同步时刻；
根据所述外部参数，将所述初始点云数据与所述初始图像数据融合于所述同步时刻下的二维坐标系；
将处于所述二维坐标系下的所述初始点云数据作为融合点云数据，将处于所述二维坐标系下的所述初始图像数据作为融合图像数据。
3.根据权利要求1所述的对齐参数的验证方法，其特征在于，在所述将目标时刻对应的所述融合点云数据作为目标融合点云数据之前，还包括：
获取所述目标车辆在所述运动过程中各时刻的平均车速；
确定所述平均车速的数值大于车速阈值的一个或多个时刻为目标时刻。
4.根据权利要求1所述的对齐参数的验证方法，其特征在于，在所述根据位于所述覆盖范围内的所述目标融合点云数据的数量与所述权重值之前，还包括：
对超出所述目标对象的各覆盖范围的目标融合点云数据的数量进行判断；
若位于所述目标对象的所述覆盖范围之外的目标融合点云数据的数量大于或等于数量阈值时，则判定所述目标对象覆盖范围内的目标融合点云数据无效。
5.根据权利要求1所述的对齐参数的验证方法，其特征在于，对齐参数包括惯性导航器件输出的所述目标车辆的车辆位姿信息、融合点云数据的时间戳和融合图像数据的时间戳；
所述若外部参数满足外参条件，根据所述重合度得到所述融合点云数据和所述融合图像数据对应的对齐参数的验证结果，包括：
若重合度大于或等于对齐阈值，确定融合点云数据和融合图像数据对应的对齐参数的验证结果表征对齐参数准确；
若重合度小于对齐阈值，确定验证结果表征对齐参数错误。
6.根据权利要求1-5任一项所述的对齐参数的验证方法，其特征在于，根据所述重合度得到所述融合点云数据和所述融合图像数据对应的对齐参数的验证结果之前，还包括：
从位于所述覆盖范围内的所述像素点中确定至少一个图像定位点，并从位于所述覆盖范围内的所述目标融合点云数据中确定至少一个点云定位点；
计算各目标对象对应的所述图像定位点与所述点云定位点的欧式距离的均值，并基于所述均值和各目标对象对应的所述权重值得到全部所述目标对象对应的距离加权平均值；
若所述距离加权平均值大于或等于距离阈值，确定外部参数满足外参条件。
7.一种对齐参数的验证装置，其特征在于，包括：
采集模块，用于采集激光雷达在目标车辆的运动过程中输出的初始点云数据和图像采集设备在所述运动过程中输出的初始图像数据；
融合模块，用于根据所述激光雷达与所述图像采集设备间的外部参数与对齐参数，将所述初始点云数据与所述初始图像数据进行融合，得到融合点云数据和融合图像数据，其中，所述对齐参数用于融合时，在时间维度上实现所述初始点云数据与所述初始图像数据对齐；
获取模块，用于将目标时刻对应的所述融合点云数据作为目标融合点云数据，并将所述目标时刻对应的所述融合图像数据作为目标融合图像数据；
确定各目标对象在所述目标融合图像数据中的像素点的覆盖范围，并基于各目标对象的类型确定各目标对象对应的权重值；
根据位于所述覆盖范围内的所述目标融合点云数据的数量与所述权重值，得到全部所述目标对象对应的第一数量加权平均值；
将位于各覆盖范围内的所述目标融合点云数据投射至三维坐标系，得到投射点云数据；
在所述三维坐标系中对所述投射点云数据进行聚类处理，得到各目标对象对应的全部投射点云数据，并根据所述全部投射点云数据的数量和所述权重值，得到全部所述目标对象对应的第二数量加权平均值；
将所述第一数量加权平均值与所述第二数量加权平均值的比值作为所述目标融合点云数据与所述目标融合图像数据的重合度；
验证模块，用于若外部参数满足外参条件，根据所述重合度得到所述融合点云数据和所述融合图像数据对应的对齐参数的验证结果。
8.根据权利要求7所述的对齐参数的验证装置，其特征在于，所述融合模块具体用于：
根据所述对齐参数，将所述初始点云数据与所述初始图像数据对齐，以确定对齐后的所述初始点云数据和所述初始图像数据的同步时刻；
根据所述外部参数，将所述初始点云数据与所述初始图像数据融合于所述同步时刻下的二维坐标系；
将处于所述二维坐标系下的所述初始点云数据作为融合点云数据，将处于所述二维坐标系下的所述初始图像数据作为融合图像数据。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至6任一项所述的对齐参数的验证方法中的步骤。
10.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至6任一项所述的对齐参数的验证方法中的步骤。
CN202310546313.6A 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备 Active CN116577796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310546313.6A CN116577796B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211439336.9A CN115797401B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备
CN202310546313.6A CN116577796B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202211439336.9A Division CN115797401B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN116577796A CN116577796A (zh) 2023-08-11
CN116577796B true CN116577796B (zh) 2024-03-19

Family

ID=85438449

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310546313.6A Active CN116577796B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备
CN202211439336.9A Active CN115797401B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备
CN202310547215.4A Active CN116594028B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202211439336.9A Active CN115797401B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备
CN202310547215.4A Active CN116594028B (zh) 2022-11-17 2022-11-17 对齐参数的验证方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (3) CN116577796B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117350926B (zh) * 2023-12-04 2024-02-13 北京航空航天大学合肥创新研究院 一种基于目标权重的多模态数据增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN113269840A (zh) * 2021-05-27 2021-08-17 深圳一清创新科技有限公司 一种用于相机和多激光雷达的联合标定方法及电子设备
CN113724303A (zh) * 2021-09-07 2021-11-30 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质
US11403860B1 (en) * 2022-04-06 2022-08-02 Ecotron Corporation Multi-sensor object detection fusion system and method using point cloud projection
CN115082290A (zh) * 2022-05-18 2022-09-20 广州文远知行科技有限公司 激光雷达点云的投影方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111670572B (zh) * 2018-02-09 2022-01-28 索尼公司 校准装置、校准方法和计算机可读存储介质
CN111308448B (zh) * 2018-12-10 2022-12-06 杭州海康威视数字技术股份有限公司 图像采集设备与雷达的外参确定方法及装置
CN109781163B (zh) * 2018-12-18 2021-08-03 北京百度网讯科技有限公司 标定参数有效性检验方法、装置、设备及存储介质
CN111340797B (zh) * 2020-03-10 2023-04-28 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111398989A (zh) * 2020-04-02 2020-07-10 昆易电子科技(上海)有限公司 驾驶辅助系统的性能分析方法和测试设备
CN114076919A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质
CN114076918A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 毫米波雷达、激光雷达与相机联合标定方法和装置
CN114076936A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质
CN114076937A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质
CN113536883B (zh) * 2021-03-23 2023-05-02 长沙智能驾驶研究院有限公司 障碍物检测方法、车辆、设备及计算机存储介质
CN114998097A (zh) * 2022-07-21 2022-09-02 深圳思谋信息科技有限公司 图像对齐方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN113269840A (zh) * 2021-05-27 2021-08-17 深圳一清创新科技有限公司 一种用于相机和多激光雷达的联合标定方法及电子设备
CN113724303A (zh) * 2021-09-07 2021-11-30 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质
US11403860B1 (en) * 2022-04-06 2022-08-02 Ecotron Corporation Multi-sensor object detection fusion system and method using point cloud projection
CN115082290A (zh) * 2022-05-18 2022-09-20 广州文远知行科技有限公司 激光雷达点云的投影方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116577796A (zh) 2023-08-11
CN115797401A (zh) 2023-03-14
CN116594028B (zh) 2024-02-06
CN116594028A (zh) 2023-08-15
CN115797401B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111182579B (zh) 定位测量信息上报方法、终端和网络设备
CN110967024A (zh) 可行驶区域的检测方法、装置、设备及存储介质
CN108279408B (zh) 接近传感器校准方法、装置、移动终端及计算机可读介质
AU2020263183B2 (en) Parameter Obtaining Method and Terminal Device
CN112330756B (zh) 一种相机标定方法、装置、智能车辆和存储介质
CN109165606B (zh) 一种车辆信息的获取方法、装置以及存储介质
CN111311757B (zh) 一种场景合成方法、装置、存储介质及移动终端
CN108769893B (zh) 一种终端检测方法及终端
CN116577796B (zh) 对齐参数的验证方法、装置、存储介质及电子设备
CN113194531B (zh) 定位方法及通信设备
CN108880751A (zh) 传输速率调整方法、装置及电子装置
CN115902882A (zh) 采集数据的处理方法、装置、存储介质及电子设备
CN109660663B (zh) 一种天线调整方法及移动终端
CN110769162A (zh) 电子设备及对焦方法
CN112200130B (zh) 一种三维目标检测方法、装置及终端设备
CN112367702B (zh) 同步方法、装置及存储介质
CN110933305B (zh) 电子设备及对焦方法
CN110795713B (zh) 指纹验证方法及装置
CN109389561B (zh) 一种成像方法及装置
CN108871356B (zh) 一种行车导航方法、移动终端
CN109785226B (zh) 一种图像处理方法、装置及终端设备
CN109375232B (zh) 一种距离测量方法及装置
CN110095789B (zh) 一种终端定位方法、装置及存储介质
CN113630712B (zh) 一种定位方法、装置及设备
CN113347710B (zh) 一种定位方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant