CN114296057A - 一种计算测距系统相对外参的方法、装置和存储介质 - Google Patents

Abstract

本申请提供一种计算测距系统相对外参的方法，该方法包括：控制激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取目标物体的三维点云数据；在每个扫描时刻下，同步控制惯导装置测量激光雷达的实时位姿参数，实时位姿参数包括位移加速度和/或旋转角速度；确定基准时刻并计算每个扫描时刻与基准时刻的时间差，根据时间差和每个扫描时刻下的实时位姿参数计算相对位姿偏移量；根据相对位姿偏移量计算出每个扫描时刻下测距系统的相对外参。该方法能够通过惯导装置的测量结果，计算得到测距系统的相对外参，提高了测距系统的测量精度。

Description

一种计算测距系统相对外参的方法、装置和存储介质

技术领域

本申请涉及多传感器融合领域，并且更具体地，涉及一种计算测距系统相对外参的方法、装置和存储介质。

背景技术

目前的传感器种类多种多样，对于一些参数的测量，可以通过多个传感器之间相互配合、相互协调，将每个传感器的测量数据统一收集管理，得到最终的参数测量结果，实现更加精确的测量。

示例性的，在无人驾驶领域，要实现汽车的安全驾驶，可能通过在汽车上安装的多种传感器实时采集汽车运行过程中的相关参数。例如，汽车上安装的传感器可以包括温度传感器、压力传感器、速度传感器、加速度传感器、激光雷达、相机等。一种特定的场景：在无人驾驶汽车的行驶过程中，需要实时测量汽车与前车、后车、两侧道路及各个障碍物之间的距离，保证该距离在安全距离范围之内，降低安全隐患。

一种可能的实现方式中，在测量目标物体的距离时，可以通过激光雷达测量汽车与前车、后车、两侧道路及各个目标物之间的距离；另外，还可以通过相机等图像采集装置对汽车周围场景的图像进行采集；处理器根据采集的图像以及测量的目标物的距离完成对汽车周围场景的三维重建。

当汽车上通过激光雷达测量目标物体的距离时，一些激光雷达根据采样方式的不同，设置为采用逐行、逐列或逐点扫描的方式进行目标视场的距离测量，在按照上述扫描方式进行测量的过程中，如果激光雷达自身存在运动，例如汽车行驶过程中激光雷达随汽车一起运动而导致每个测量时刻的位姿不相同，完成一帧测量时的结果不准确，从而影响了行驶安全。

当汽车上同时通过激光雷达和相机等传感器同步实现对周围环境的三维重建时，由于相机成像为曝光时刻瞬时成像，而激光雷达设置为采用逐行、逐列或逐点扫描的方式进行目标视场的距离测量时，激光雷达采集每一帧数据和相机采集每一帧图像的时刻不同步，最终会影响三维重建的结果，进一步的若基于目标周围环境的三维重建数据进行导航、避障时易发生危险。

在上述过程中，如何解决激光雷达自身运动引起的运动变化以及每帧数据采集不同步的问题以提升测距精度，成为了当前亟需解决的问题。

发明内容

本申请提供了一种计算测距系统相对外参的方法、装置和存储介质，该方法能够实时测量出激光雷达的位姿参数，并计算出测距系统的相对外参，基于相对外参可以对测量的数据进行修正，从而提高测距系统的测量精度。

第一方面，提供了一种计算测距系统相对外参的方法，其特征在于，该方法包括：控制激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取该目标物体的三维点云数据；在该每个扫描时刻下，同步控制惯导装置测量该激光雷达的实时位姿参数，该实时位姿参数包括位移加速度和/或旋转角速度；确定基准时刻并计算该每个扫描时刻与该基准时刻的时间差，根据该时间差和该每个扫描时刻下的该实时位姿参数计算相对位姿偏移量；根据该相对位姿偏移量计算出该每个扫描时刻下该测距系统的相对外参。

上述技术方案，在激光雷达测量目标物体的距离数据时，采用惯导装置测量激光雷达的实时位姿参数，进一步确定激光雷达在测量目标物体的距离数据时的相对位姿偏移量，利用相对位姿偏移量计算得到测距系统的相对外参，消除了测距系统中激光雷达自身运动引起的测量误差，提高了激光雷达的测量精度。

结合第一方面，在某些可能的实现方式中，基准时刻为第一基准时刻，该第一基准时刻为多个扫描时刻中的任意一个扫描时刻。

结合第一方面和上述实现方式，在某些可能的实现方式中，该方法还包括，根据相对外参将多个扫描时刻中的其他扫描时刻采集的三维点云数据修正为第一基准时刻采集的三维点云数据。

结合第一方面和上述实现方式，在某些可能的实现方式中，该方法还包括，同步控制相机采集目标物体的图像数据，并获取该相机采集该目标物体的图像数据时的曝光时刻。

结合第一方面和上述实现方式，在某些可能的实现方式中，基准时刻为第二基准时刻，该第二基准时刻为曝光时刻。

结合第一方面和上述实现方式，在某些可能的实现方式中，该方法还包括，根据相对外参将每个扫描时刻采集的三维点云数据与图像数据做融合处理。

上述技术方案，在测距系统还包括相机时，通过同步控制相机采集目标物体的图像数据，以相机的曝光时刻为基准时刻，根据基准时刻计算相对位姿偏移量，进一步得到测距系统的相对外参，将激光雷达采集的目标物体的三维点云数据和相机采集的目标物体的图像数据进行融合处理，实现了对目标物体的三维重建，提高了测距系统的测量精度和准确性。

综上所述，在激光雷达测量目标物体的距离数据时，采用惯导装置测量激光雷达的实时位姿参数，进一步确定激光雷达在测量目标物体的距离数据时的相对位姿偏移量，利用相对位姿偏移量计算得到测距系统的相对外参。此外，当测距系统还包括相机时，通过同步控制相机采集目标物体的图像数据，以相机的曝光时刻为第二基准时刻，根据第二基准时刻计算相对位姿偏移量，进一步得到在测距系统包含相机时的相对外参，将激光雷达采集的目标物体的三维点云数据和相机采集的目标物体的图像数据进行融合处理，实现了对目标物体的三维重建，提高了测距系统的测量精度和准确性。

第二方面，提供了一种计算测距系统相对外参的装置，该装置包括：第一处理模块，用于控制激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取该目标物体的三维点云数据；测量模块，用于在该每个扫描时刻下，同步控制惯导装置测量该激光雷达的实时位姿参数，该实时位姿参数包括位移加速度和/或旋转角速度；第二处理模块，用于确定基准时刻并计算该每个扫描时刻与该基准时刻的时间差，根据该时间差和该每个扫描时刻下的该实时位姿参数计算相对位姿偏移量；第三处理模块，用于根据该相对位姿偏移量计算出该每个扫描时刻下该测距系统的相对外参。

结合第二方面，在某些可能的实现方式中，该装置还包括：第四处理模块，用于根据相对外参将多个扫描时刻中的其他扫描时刻采集的三维点云数据修正为第一基准时刻采集的三维点云数据。

结合第二方面和上述实现方式，在某些可能的实现方式中，该装置还包括：采集模块，用于同步控制相机采集目标物体的图像数据，并获取该相机采集该目标物体的图像数据时的曝光时刻。

结合第二方面和上述实现方式，在某些可能的实现方式中，该装置还包括：第五处理模块，用于根据相对外参将每个扫描时刻采集的三维点云数据与图像数据做融合处理。

第三方面，提供了一种装置，该装置包括：存储器，用于存储计算机程序，该计算机程序包括程序指令；处理器，用于从该存储器中调用并运行该程序指令，使得该装置执行第一方面或第一方面任意一种可能的实现方式中的方法。

第四方面，提供了一种测距系统，该测距系统包括：惯导装置、激光雷达，相机和融合控制处理电路，该融合控制处理电路能够控制该激光雷达、该惯导装置、该相机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当该计算机程序被执行时，使得计算机执行第一方面或第一方面任意一种可能的实现方式中的方法。

第六方面，提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行第一方面或第一方面任意一种可能的实现方式中的方法。

附图说明

图1是本申请实施例提供的一种无人驾驶场景示意图；

图2是本申请实施例提供的一种激光雷达采样配置为扫描测量的工作过程的示意图；

图3是本申请实施例提供的一种相机采样的工作过程的示意图；

图4是本申请实施例提供的一例测距系统的系统结构示意图；

图5是本申请实施例提供的一例计算测距系统相对外参的方法的示意性流程图；

图6是本申请实施例提供的另一例计算测距系统相对外参的方法的示意性流程图；

图7是本申请实施例提供的一种计算测距系统相对外参的装置示意图；

图8是本申请实施例提供的一种装置的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B：文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是本申请实施例提供的一种无人驾驶场景示意图。

示例性的，如图1所示，汽车10在道路上行驶的过程中，要兼顾和前车30之间的距离D₄，后车20之间的距离D₁都在安全驾驶的距离范围之内，同时还要兼顾与左车道线的距离D₂和右车道线的距离D₃以满足交通规则要求，因此，常常需要安装测距系统完成对周围目标的测量以进行导航和避障等功能。

一种可能的实现方式中，测距系统包括激光雷达101，可以通过激光雷达101测量目标物体的距离；或者，测距系统还可以包括激光雷达101和相机102，基于激光雷达101和相机102采集的数据进行融合处理完成对周围行驶环境的三维重建。在本申请实施例中，测距系统可以包括激光雷达101和相机102时，该测距系统用于将激光雷达101测量的距离和相机102采集周围行驶环境的图像进行匹配，实现对汽车10的周围的环境的三维重建。

可选地，汽车10上可以安装一个或多个激光雷达101，本申请实施例对激光雷达101的类型和具体数量不作限定。

可选地，汽车10上还可以安装一个或多个相机102，该相机102可以具有不同的类型，本申请实施例对相机102的类型和具体数量不作限定。

图2是本申请实施例提供的一种激光雷达采样配置为扫描测量的工作过程的示意图。激光雷达的采样方式为逐点、逐块、逐行/列扫描测量，因此激光雷达在获取一帧测量数据中的每个测量结果为每一个扫描时刻对应的目标物体的距离数据。下面以逐点扫描方式为例进行详细的介绍，如图2所示，激光雷达完成一帧数据的测量时间内可根据扫描的方式依次分成多个扫描时刻，假设具有6个扫描时刻t₁、t₂、t₃、t₄、t₅、t₆，每一个扫描时刻投射一个斑点光束并对应一个测量结果，激光雷达可以在每一个扫描时刻获取一个目标点的距离数据，依次完成6次测量时即完成一帧数据的采集获取6个距离数据。根据扫描测量的原理可知，在一帧测量数据中每个点的数据采样时刻并不等于一帧数据采集完成时刻，当激光雷达自身存在运动时，每个扫描时刻激光雷达的位姿会发生变化，则导致一帧数据存在测量误差，影响测量结果的准确性。

图3是本申请实施例提供的一种相机采样的工作过程的示意图。

在一些实施例中，测距系统还可以同时包括激光雷达和相机，通过将激光雷达采集的目标物体的距离和相机采集的目标物体的图像进行融合处理，完成对汽车10周围环境的三维重建以进行周围目标的识别完成导航和避障等功能。

在激光雷达和相机的测距系统中，处理器用于控制激光雷达和相机的同步工作，即保证激光雷达采样的每一帧数据与相机拍摄的每一帧图像同步以进行后续的数据融合。但是，由于相机的采集图像为曝光瞬时的成像，而激光雷达需要多次扫描测量完成一帧数据的采集，结合图2和图3所示的工作过程，假设处理器控制相机和激光雷达同时开启用于进行一帧数据的采集，但是相机的曝光时间比较短，则可能相机采集图像的时刻对应激光雷达的第一次扫描时刻t₁。在实际应用中，对于相机来说，采集目标图像的完成时刻即是相机的曝光时刻，记为“t_c”。而激光雷达还需要依次进行多次扫描测量完成一帧数据的采集，数据采集完成的时刻可以认为是最后一次扫描测量时刻。相机的曝光时刻可能与激光雷达的某一个扫描时刻中重合，也可能与每一个扫描时刻都不重合。而在将同步帧的图像数据与距离数据进行融合处理时，由于系统的运动将导致相机与激光雷达的相对位置会产生变化，则若还采用初始标定的外参进行融合时就会产生偏移误差，即会影响三维重建的结果准确度。

因此，不管是对激光雷达自身还是包括激光雷达与相机的测距系统来说，需要准确标定出每个扫描时刻激光雷达的位姿参数以修正测距系统的外参变化，才能有效修正因为位姿变化引起的测量误差。

鉴于此，本申请将提供一种计算测距系统相对外参的方法、装置和存储介质，该方法能够计算得到测距系统的相对外参，消除了测距系统在测量过程中的误差，提高了测距系统的测量精度。

图4是本申请实施例提供的一例测距系统的系统结构示意图。示例性的，该测距系统100可以包括激光雷达101、相机102、惯导装置103、融合控制处理电路104。其中：激光雷达101包括发射器、采集器和控制处理电路。发射器包括光源、发射光学元件等。在一些实施例中，还包括机械扫描/光学衍射元件等一种或多种单元。对于光源，光源可以是单个光源或者是由多个光源组成的光源阵列，其中，光源阵列可以被配置分组发光，一次仅开启一个光源；或者也可以分成多个子光源阵列，每个子光源阵列包括一行/列光源，也可以是其他任意的形式，控制处理电路控制发射器发射斑点光束时可以一次仅开启一个子光源阵列或者仅开启每个子光源阵列中的一个光源，依次完成对目标场景的扫描测量。一种典型的实例，光源配置为VCSEL(Vertical-Cavity Surface-Emitting Laser，垂直腔面发射激光器)阵列光源，光源阵列被配置为包括多个列光源，按照预设的顺序依次开启每个列光源完成对目标视场的扫描，每个扫描时刻至少有一个列光源投射出斑点光束。又一种典型的实例，光源可以被配置为是列光源，列光源发射出的光束经过机械扫描元件后投射到目标视场中，通过控制依次调节机械扫描元件的偏转角度完成对目标视场的扫描测量，其中，机械扫描元件可以是振镜、MEMS扫描镜、旋转镜等。

采集器，包括由至少一个像素组成的像素单元和接收光学元件，接收光学元件用于将目标反射的斑点光束成像到像素单元上，还用于滤除背景光和杂散光，其中，像素可以是APD、SiPM、SPAD、CCD、CMOS等光电探测器中的一种。在一些实施例中，像素单元是一种专门用于光飞行时间测量的图像传感器，像素单元也可以集成到一种专门用于光飞行时间测量的感光芯片中。在一个典型实施例中，像素单元包括由多个SPAD组成，SPAD可以对入射的单个光子进行响应并输出指示所接收光子在每个SPAD处相应到达时间的光子信号。一般地，采集器还包括有与像素单元连接的TDC计时电路，用于接收像素单元输出的光子信号并记录光子从发射到接收的时间信号。

控制处理电路同时控制发射器和采集器，并接收TDC计时电路输出的时间信号进行处理计算出待测目标物的距离。在一些其他实施例中，控制处理电路也可以是独立的专用电路，比如深度相机自身具有计算能力的独立电路；也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理器可以执行控制和处理电路的功能。

具体地，激光雷达测量目标物体的距离的原理是通过直接测量飞行时间(directtime of flight，DTOF)，通过计算脉冲发射的时刻与接收时刻间的差值来计算脉冲的飞行时间t，进一步根据如下公式(1)计算物体的距离D。

D＝ct/2 公式(1)

在公式(1)中，c为光速，单位：米/每秒；t为脉冲发射的时刻与接收时刻间的时长，单位：秒。

相机102可以包括图像信号处理器(Image Signal Processor，ISP)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)芯片、电荷耦合元件(Complementary Metal-Oxide Semiconductor，CCD)等，用于和激光雷达同步采集待测视场的图像信息，进一步获取目标物体的图像信息。

惯导装置103设置于激光雷达101上，能够实时测量激光雷达101的位姿变化量，例如测量激光雷达101的位移加速度和/或旋转角速度等。

下面，基于图4所示的测距系统100，详细介绍本申请实施例的一种计算测距系统相对外参的方法。

一种可能的场景中，当测距系统中包括激光雷达和惯导装置，本申请实施例提供一种计算测距系统相对外参的方法，通过惯导装置确定激光雷达的不同时刻的实时位姿，并计算出不同时刻相对于基准时刻的相对位姿偏移量，根据相对位姿偏移量计算出相对外参，进一步修正一帧数据中因不同扫描时刻而引起的测量偏差，消除激光雷达由于自身的运动带来的测量误差，提高激光雷达测量距离过程中的准确性。

图5是本申请实施例提供的一例计算测距系统相对外参的方法的示意性流程图。

示例性的，如图5所示，该方法500包括以下步骤：

501，控制激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取目标物体的三维点云数据。

示例性的，汽车在行驶过程中，汽车上安装的激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取目标物体的三维点云数据，具体的，在每个扫描时刻朝向目标物体投射斑点光束，并采集被目标物体反射回的斑点光束，计算出斑点光束从发射到接收的飞行时间以计算目标物体的距离数据，并将距离数据转化为目标物体的三维点云数据，经过多个扫描时刻完成一帧三维点云数据的采集。

一种可能的实现方式，本申请的所提的方法参考图2所示的工作过程示意图进行示例性描述，假设预设扫描方式为逐点扫描，激光雷达每次仅投射一个斑点光束用于测量目标物体的距离数据，一帧数据的采集包含6个扫描时刻t₁、t₂、t₃、t₄、t₅、t₆，依次发射斑点光束完成一帧数据采集后，获取到6个距离数据依次表示为D₁、D₂、D₃、D₄、D₅、D₆。根据每个扫描时刻测量出的目标物体的距离数据以及激光雷达的内参参数计算出目标物体的三维点云数据。所述内参参数包括激光雷达系统的成像焦距、激光雷达系统的镜头畸变参数、光源的坐标、光源发射光束的发射角等。在一个实施例中，可根据光源发射光束的发射角以及该光束投影到目标物体上测量出的距离数据直接计算出目标物体的三维点云数据。在另一个实施例中，确定每个反射光斑入射到像素阵列上的位置坐标[u,v]，在激光雷达中每个斑点光束投射到像素单元上的坐标位置均可以预先标定，根据预设扫描顺序可以直接得到，再结合激光雷达系统的内参获取目标物体的三维点云数据，即：D[u_L，v_L]^T＝K[X_L,Y_L,Z_L]；K为激光雷达的内参，[X_L,Y_L,Z_L,]为目标物体的三维点云数据，(u_L，v_L)表示斑点光束入射到像素单元上的坐标位置。

502，在每个扫描时刻下，同步控制惯导装置测量激光雷达的实时位姿参数，实时位姿参数包括位移加速度和/或旋转角速度。

具体地，当测距系统存在运动时，激光雷达受到自身运动的影响，导致每个时刻下自身的位姿参数均会发生变化，因此，利用惯导装置测量在每个扫描时刻下激光雷达的实时位姿参数，激光雷达的实时位姿参数包括位移加速度a＝{a_x,a_y.a_z}和/或旋转角速度ω＝{ω_x,ω_y,ω_z}。

一种可能的实现方式，激光雷达完成一帧数据采集的扫描时刻为6个扫描时刻时，惯导装置会同步测量出每个扫描时刻下激光雷达对应的实时位姿参数。具体的，位移加速度分别可以表示为：a₁＝{a_x1，a_y1.a_z1}、a₂＝{a_x2，a_y2.a_z2}、a₃＝{a_x3，a_y3.a_z3}、a₄＝{a_x4，a_y4.a_z4}、a₅＝{a_x5，a_y5.a_z5}、a₆＝{a_x6，a_y6.a_z6}；旋转角速度分别表示为：ω₁＝{ω_x1，ω_y1，ω_z1}、ω₂＝{ω_x2，ω_y2，ω_z2}、ω₃＝{ω_x3，ω_y3，ω_z3}、ω₄＝{ω_x4，ω_y4，ω_z4}、ω₅＝{ω_x5，ω_y5，ω_z5}、ω₆＝{ω_x6，ω_y6，ω_z6}。

503，确定基准时刻并计算每个扫描时刻与基准时刻的时间差，根据时间差和每个扫描时刻下的实时位姿参数计算激光雷达的相对位姿偏移量。

可选地，基准时刻为多个扫描时刻中的任意一个扫描时刻。基准时刻可以是6个扫描时刻t₁、t₂、t₃、t₄、t₅、t₆中的任意一个时刻，优选的，以基准时刻为第一个扫描时刻t₁为例进行说明。激光雷达在一帧数据测量完成之后，以第一个点的扫描成像时刻t₁为激光雷达的基准时刻，分别计算其他每个扫描时刻与基准时刻的时间差，为了方便，将每个扫描时刻与基准时刻的时间差分别记为Δt₁、Δt₂、Δt₃、Δt₄、Δt₅、Δt₆。

本申请中方案是为了修正激光雷达由于自身运动所引起的位姿偏差量，则基准时刻即为初始时刻，此时可认为激光雷达并未产生位姿偏移量，在随后的扫描时刻内位姿发生变化，因此，需要计算出每个扫描时刻相对于基准时刻的位姿偏移量，即激光雷达的相对位姿偏移量。

具体地，在步骤503中，计算得到了每个扫描时刻与基准时刻的时间差，再根据惯导装置测量的激光雷达在每一个扫描时刻的实时位姿参数计算出相对位姿偏移量，相对位姿偏移量包括位置变化量ΔT(Δt₁，Δt₂，Δt₃)和姿态变化量Δθ(Δθ_x，Δθ_y，Δθ_z)。根据实时位姿参数，对每个扫描时刻对应的时间差进行积分，计算激光雷达在每个扫描时刻下相对基准时刻的相对位姿偏移量。由于第一个扫描时刻为基准时刻，此处以第二个扫描时刻t₂为例，计算激光雷达在第二个扫描时刻的相对位姿偏移量，总共分为以下三种场景：

场景(1)：第二个扫描成像时刻的位姿参数为位移加速度a₂＝{a_x2，a_y2.a_z2}，基于时间差Δt₂，对位移加速度进行积分，确定激光雷达在第二个扫描成像时刻的相对位姿偏移量，相对位姿偏移量具体指第二个扫描成像时刻的位置变化量，表示为ΔT₂。

场景(2)：第二个扫描成像时刻的位姿参数为旋转角速度ω₂＝{ω_x2，ω_y2，ω_z2}，基于时间差Δt₂，对旋转角速度进行积分，确定激光雷达在第二个扫描时刻的相对位姿偏移量，相对位姿偏移量具体指第二个扫描成像时刻的姿态变化量，表示为Δθ₂。

场景(3)：第二个扫描成像时刻的位姿参数包括位移加速度a₂＝{a_x2，a_y2.a_z2}和旋转角速度ω₂＝{ω_x2，ω_y2，ω_z2}，结合前述场景(1)和场景(2)的计算过程，得到第二个扫描时刻的位置变化量ΔT₂、和姿态变化量Δθ₂。为了简便，此处不再赘述。

同理，根据上述场景(1)-场景(3)，可以计算出其他几个扫描时刻相对于基准时刻的位置变化量ΔT₂、ΔT₃、ΔT₄、ΔT₅、ΔT₆和/或姿态变化量Δθ₂、Δθ₃、Δθ₄、Δθ₅、Δθ₆，此处不再赘述。

504，根据相对位姿偏移量计算出每个扫描时刻下测距系统的相对外参。

一般来说，测距系统的外参通常表示为旋转平移矩阵[R，T]，旋转矩阵有3个自由度，可以通过欧拉角θ(θ_x，θ_y，θ_z)来表示，沿着不同方向(x、y、z)的旋转矩阵可以表示为：

两个参考系的旋转关系，可以表示为：

其中，s_i＝sinθ_i，c_i＝cosθ_i。

则根据惯导装置测量出的旋转角速度可以计算出相对姿态变化量：θ(θ_x±Δθ_x，θ_y±Δθ_y，θ_z±Δθ_z)，进一步根据相对姿态变化量可以计算出相对旋转矩阵R′。

对于平移矩阵T＝[t₁，t₂，t₃]，有3个自由度，同样的可以根据惯导装置测量出的位置变化量计算相对平移矩阵：

T′＝[t₁±Δt₁，t₂±Δt₂，t₃±Δt₃]

最终获得系统的相对外参[R’，T’]。可以理解的是，在本申请实施例中，是计算激光雷达自身运动引起的相对外参变化，基准时刻可以理解为是尚未发生运动的时刻，因此，基准时刻的位姿参数θ(θ_x，θ_y，θ_z)以及T(t₁，t₂，t₃)则为0值。

进一步的修正一帧数据中因不同扫描时刻而引起的测量偏差。优选地，假设以第一扫描时刻为基准时刻，则根据其他每个扫描时刻与基准时刻的相对外参，将每个扫描时刻测量的三维点云数据进行变换修正到与基准扫描时刻处于同一位姿下，以减少因激光雷达自身的运动产生的一帧数据中的测量偏差，即[X′，Y′，Z′]^T＝[R′，T′][X，Y，Z]^T。

在上述技术方案中，激光雷达通过扫描测量的方式测量与目标物体的距离，并根据惯导装置进行实时的位姿参数的测量，最终得到激光雷达测量中每个扫描时刻相对于基准时刻的相对外参，根据相对外参对不同扫描时刻下测量的三维点云数据进行修正以减少激光雷达自身运动所造成的误差，提高了激光雷达的测量精度。

另一种可能的应用场景中，测距系统100包括激光雷达101、相机102、惯导装置103以及融合控制处理电路104，本申请实施例提供一种计算测距系统相对外参的方法，能够通过惯导装置103确定的所述激光雷达的位姿参数，对激光雷达101与相机102的融合外参进行修正，进而提高测距系统的准确性。

图6是本申请实施例提供的另一例计算测距系统相对外参的方法的示意性流程图。

示例性的，如图6所示，该方法600包括：

601，控制激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取目标物体的三维点云数据。

602，在每个扫描时刻下，同步控制惯导装置测量激光雷达的实时位姿参数，实时位姿参数包括位移加速度和/或旋转角速度。

示例性的，汽车在行驶过程中，汽车上安装的激光雷达按照预设扫描方式朝向目标物体投射斑点光束，并采集被目标物体反射回的斑点光束，计算出斑点光束从发射到接收的飞行时间以计算目标物体的距离数据，并将距离数据转化为目标物体的三维点云数据。其中，预设扫描方式为在每个扫描时刻朝向目标物体投射至少一个斑点光束，经过多个扫描时刻完成一帧数据的采集。并且，当测距系统存在运动时，激光雷达受到自身运动的影响，在每个时刻下自身的位姿参数均会发生变化，因此，利用惯导装置测量在每个扫描时刻下激光雷达的实时位姿参数，激光雷达的实时位姿参数包括位移加速度a＝{a_x，a_y.a_z}和/或旋转角速度ω＝{ω_x，ω_y，ω_z}。具体实现方式可参见步骤501、502的详细描述，在此不再重复赘述603，同步控制相机采集目标物体的图像数据，并获取相机采集目标物体的图像数据时的曝光时刻。

应理解，测距系统还可以同时包括激光雷达和相机，通过将激光雷达采集的目标物体的距离和相机采集的目标物体的图像进行融合处理来进行对目标物体的精确识别。通常，处理器需控制激光雷达和相机的同步工作，即保证激光雷达采样的每一帧距离数据与相机拍摄的每一帧图像数据同步以进行后续的数据融合处理，同步的含义是保证相机采集目标物体的一帧图像与激光雷达扫描完成时输出的目标物体的一帧图像为同一帧图像。相机采集目标物体的图像数据的时刻为相机的曝光时刻t_c。而激光雷达还需要依次进行多次扫描测量完成一帧数据的采集，数据采集完成的时刻可以认为是最后一次扫描测量时刻。相机的曝光时刻可能与激光雷达的某一个扫描时刻中重合，也可能与每一个扫描时刻都不重合。而随着系统的运动导致相机与激光雷达的相对位置会产生变化，则若还采用初始标定的外参进行融合时就会产生偏移误差，即会影响三维重建的结果准确度。

604，确定基准时刻并计算每个扫描成像时刻与基准时刻的时间差，根据时间差和每个扫描时刻下的实时位姿参数计算相对位姿偏移量。

在相机与激光雷达实现对目标物体三维重建的过程中，以相机的曝光时刻为基准时刻，计算激光雷达在按照预设扫描方式测量目标物体时，每个扫描时刻与基准时刻的时间差。按照前文所述，依然选择逐点扫描的方式并设置6个扫描时刻做示意性的说明，分别计算六个扫描时刻与相机的曝光时刻的时间差，将六个的扫描时刻的时间差表示为“Δt₁'、Δt₂'、Δt₃'、Δt₄'、Δt₅'、Δt₆'”。

具体地，计算得到了每个扫描时刻与基准时刻的时间差，再根据惯导装置测量的激光雷达在每一个扫描时刻的实时位姿参数计算出相对位姿偏移量，相对位姿偏移量包括位置变化量ΔT(Δt₁，Δt₂，Δt₃)和姿态变化量Δθ(Δθ_x，Δθ_y，Δθ_z)。根据实时位姿参数，对每个扫描时刻对应的时间差进行积分，计算激光雷达在每个扫描时刻下相对相机的相对位姿偏移量。具体计算过程可参见步骤503，在此不再重复说明。

605，根据相对位姿偏移量计算出每个扫描时刻下测距系统的相对外参。

在测量系统包括相机和激光雷达时，测距系统的外参指的是激光雷达和相机的联合外参，通常需预先标定出相机与激光雷达之间的联合外参[R,T]，标定方法可选用本领域内的任意标定方法，在此不做具体限定。在进行融合处理时，将激光雷达测量出的三维点云数据投影到相机采集的图像数据中，其中，(u_c,v_c)为激光雷达的三维点云数据投影到相机的图像数据中的像素坐标，K_c为相机的内参。

[X_c，Y_c，Z_c]^T＝[R,T][X_L，Y_L，Z_L,1]^T

而随着测距系统的运动，激光雷达每个扫描时刻的位姿都在发生变化，采集数据完成时，若还采用初始的联合外参进行投影则必然引入了测量误差，因此，需要对每个扫描时刻下激光雷达相对相机的外参变化量求解出来，进一步的，在融合投影时对外参进行修正。通过步骤504的描述可以确定表征外参的旋转平移矩阵与位置变化量和姿态变化量的关系，根据标定的联合外参[R,T]可以确定基准时刻的θ(θ_x，θ_y，θ_z)以及T(t₁，t₂，t₃)，再结合相对位姿偏移量ΔT(Δt₁，Δt₂，Δt₃)以及Δθ(Δθ_x，Δθ_y，Δθ_z)则可以计算出激光雷达每个扫描时刻相对相机曝光时刻的相对外参，进一步根据每个扫描时刻的相对外参将三维点云数据投影到图像数据中。

具体的，根据前面的具体示例所述，最终计算可以得到六个扫描时刻的位置变化量分别为ΔT₁'、ΔT₂'、ΔT₃'、ΔT₄'、ΔT₅'、ΔT₆'，和/或，六个扫描时刻的姿态变化量分别为Δθ₁'、Δθ₂'、Δθ₃'、Δθ₄'、Δθ₅'、Δθ₆'。

具体地，根据上述位置变化量ΔT₁'、ΔT₂'、ΔT₃'、ΔT₄'、ΔT₅'、ΔT₆'和/或姿态变化量Δθ₁'、Δθ₂'、Δθ₃'、Δθ₄'、Δθ₅'、Δθ₆'，通过计算，得到每一个扫描时刻下修正后的测距系统的相对外参，分别为[R₁',T₁']、[R₂',T₂']、[R₃',T₃']、[R₄',T₄']、[R₅',T₅']、[R₆',T₆']。

根据修正后的相对外参和投影公式可以进一步得出六个扫描时刻测量的三维点云数据投影至相机的像素坐标系中的坐标数据。

上述技术方案，当测距系统包括激光雷达和相机时，通过同步控制相机采集目标物体的图像数据，以相机的曝光时刻额为基准时刻，根据基准时刻计算相对位姿偏移量，进一步得到测距系统的相对外参，将激光雷达采集的目标物体的三维点云数据和相机采集的目标物体的图像数据进行融合处理，实现了对目标物体的三维重建，提高了测距系统的测量精度和准确性。

综上所述，在激光雷达测量目标物体的距离数据时，采用惯导装置测量激光雷达的实时位姿参数，进一步确定激光雷达在测量目标物体的距离数据时的相对位姿偏移量，利用相对位姿偏移量计算得到测距系统的相对外参，根据相对外参可以对每个扫描时刻测量的数据进行修正，进而提高了系统的测量精度。此外，当测距系统还包括相机时，通过同步控制相机采集目标物体的图像数据，以相机的曝光时刻为基准时刻，根据基准时刻计算相对位姿偏移量，进一步得到在测距系统包含相机时的相对外参，将激光雷达采集的目标物体的三维点云数据和相机采集的目标物体的图像数据进行融合处理，实现了对目标物体的三维重建，提高了测距系统的测量精度和准确性。

图7是本申请实施例提供的一种计算测距系统相对外参的装置示意图。

示例性的，如图7所示，该装置700包括第一处理模块701、测量模块702、第二处理模块703、第三处理模块704，其中：

第一处理模块701，用于控制激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取该目标物体的三维点云数据；

测量模块702，用于在该每个扫描时刻下，同步控制惯导装置测量该激光雷达的实时位姿参数，该实时位姿参数包括位移加速度和/或旋转角速度；

第二处理模块703，用于确定基准时刻并计算该每个扫描时刻与该基准时刻的时间差，根据该时间差和该每个扫描时刻下的该实时位姿参数计算相对位姿偏移量；

第三处理模块704，用于根据该相对位姿偏移量计算出该每个扫描时刻下该测距系统的相对外参；

可选地，该装置还包括：第四处理模块，用于根据相对外参将多个扫描时刻中的其他扫描时刻采集的三维点云数据修正为第一基准时刻采集的三维点云数据；

可选地，该装置还包括：采集模块，用于同步控制相机采集目标物体的图像数据，并获取该相机采集该目标物体的图像数据时的曝光时刻；

可选地，该装置还包括：第五处理模块，用于根据相对外参将每个扫描时刻采集的三维点云数据与所述图像数据做融合处理。

图8是本申请实施例提供的一种装置的结构示意图。

示例性的，如图8所示，该装置800包括存储器801和处理器802。

一种可能的实现方式中，存储器801用于存储计算机程序8011，处理器802用于执行计算机程序8011实现计算测距系统相对外参的过程，例如图5中的步骤501至504、图6中的步骤601至605。

本实施例可以根据上述方法示例对装置进行功能模块的划分，例如，可以对应各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中，上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，该装置可以包括：第一处理模块、测量模块、第二处理模块、第三处理模块等。需要说明的是，上述方法实施例涉及的各个步骤的所有相关内容的可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的装置，用于执行上述一种计算测距系统相对外参的方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，装置可以包括处理模块、存储模块。其中，处理模块可以用于对电子设备的动作进行控制管理。存储模块可以用于支持装置执行相互程序代码和数据等。

其中，处理模块可以是处理器或控制器，其可以实现或执行结合本申请公开内容所藐视的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包括一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等，存储模块可以是存储器。

在一个实施例中，当处理模块为处理器。存储模块为存储器时，本实施例所涉及的电子设备可以是具有图3所示结构的设备。

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在装置上运行时，使得装置执行上述相关方法步骤实现上述实施例中的一种计算测距系统相对外参的方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的一种计算测距系统相对外参的方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述实施例中的一种计算测距系统相对外参的方法。

其中，本实施例提供的装置、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种计算测距系统相对外参的方法，其特征在于，所述方法包括：

控制激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取所述目标物体的三维点云数据；

在所述每个扫描时刻下，同步控制惯导装置测量所述激光雷达的实时位姿参数，所述实时位姿参数包括位移加速度和/或旋转角速度；

确定基准时刻并计算所述每个扫描时刻与所述基准时刻的时间差，根据所述时间差和所述每个扫描时刻下的所述实时位姿参数计算相对位姿偏移量；

根据所述相对位姿偏移量计算出所述每个扫描时刻下所述测距系统的相对外参。

2.根据权利要求1所述的方法，其特征在于，所述基准时刻为第一基准时刻，所述第一基准时刻为多个扫描时刻中的任意一个扫描时刻。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述相对外参将所述多个扫描时刻中的其他扫描时刻获取的三维点云数据修正为所述第一基准时刻获取的三维点云数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

同步控制相机采集所述目标物体的图像数据，并获取所述相机采集所述目标物体的图像数据时的曝光时刻。

5.根据权利要求4所述的方法，其特征在于，所述基准时刻为第二基准时刻，所述第二基准时刻为所述曝光时刻。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：根据所述相对外参将所述每个扫描时刻采集的三维点云数据与所述图像数据做融合处理。

7.一种计算测距系统相对外参的装置，其特征在于，所述装置包括：

第一处理模块，用于控制激光雷达按照预设扫描方式扫描目标物体，以在每个扫描时刻获取目标物体的三维点云数据；

测量模块，用于在所述每个扫描时刻下，同步控制惯导装置测量所述激光雷达的实时位姿参数，所述实时位姿参数包括位移加速度和/或旋转角速度；

第二处理模块，用于确定基准时刻并计算所述每个扫描时刻与所述基准时刻的时间差，根据所述时间差和所述每个扫描时刻下的所述实时位姿参数计算相对位姿偏移量；

第三处理模块，用于根据所述相对位姿偏移量计算出所述每个扫描时刻下所述测距系统的相对外参。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

采集模块，用于同步控制相机采集所述目标物体的图像数据，并获取所述相机采集所述目标物体的图像数据时的曝光时刻。

9.一种装置，其特征在于，所述装置包括：

存储器，用于存储指令；

处理器，用于从所述存储器中调用并运行所述指令，使得所述装置执行如权利要求1至6中任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时，实现如权利要求1至6中任意一项所述的方法。

Images