CN109035309A - 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉的双目摄像头与激光雷达间的位姿配准方法，包括：通过将物体在激光雷达坐标系的坐标进行仿射变换，转变成物体在摄像机坐标系中的坐标，经过摄影变换转成物体在图像坐标系的位置；根据双目摄像头获取的视差图和物体在摄像机坐标系中的Z坐标的映射关系，将雷达坐标转换成深度图；将摄像机深度图以及雷达深度图进行互信息配准，对激光雷达的数据点和双目深度图进行位姿态配准。可以方便的获得激光雷达以及双目摄像头之间的位姿关系，从而可以方便快速的将视觉信息以及激光雷达的信息进行融合。

Description

基于立体视觉的双目摄像头与激光雷达间的位姿配准方法

技术领域

本发明属于激光雷达和摄像头之间的融合技术领域，具体地涉及一种基于立体视觉的双目摄像头与激光雷达间的位姿配准方法。

背景技术

自动驾驶环境感知系统是一个信息冗余系统，其环境感知传感器包括如激光雷达、双目摄像头、单目摄像头、超声波、毫米波雷达等。而在这个冗余感知系统中，不同传感器之间的信息配准以及融合是自动驾驶的环境感知模块中的关键步骤。

激光雷达和摄像头之间的融合是目前的一个研究热点，其主要原理如图1所示。

激光雷达数据到摄像头数据的坐标变换，其实就是一个旋转平移矩阵[R，t]。为了表述方便，如图1所示，我们将摄像机坐标系定义为O_cX_cY_cZ_c，雷达坐标系定义为O_lX_lY_lZ_l,摄像机的图像坐标系定义为O_cU_cV_c。对于空间任意一点M，其在摄像机坐标系下的坐标X_c，Y_c，Z_c，其在雷达坐标系下的坐标为(X_l,Y_l,Z_l)，其在摄像机的图像坐标系下的坐标为(u,v)，这样对于空间之间的坐标转换关系如下：

dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度。dx、dy为摄像机的内参数。(u₀,v₀)称为图像平面的主点，也是摄像机的内参数。摄像机的内参数可以通过张正友的标定方法进行快速精确的标定。为了表述方便我们将内参矩阵定义为P，空间点在摄像机坐标系以及雷达坐标系的向量定义为M_c,M_l。

摄像机坐标系和雷达坐标系之间满足：

R代表旋转，T代表平移。R、T与摄像机无关，所以称这两个参数为摄像机的外参数。有以上关系可以得出摄像机图像坐标系和雷达坐标系存在如下关系：

在公式中，仅有R，T两个未知矩阵，因此存在两类标定方法。

1.基于Phantom的点到点对应关系标定，此方法直接利用上述公式，通过获取空间点在雷达坐标系中的坐标以及在摄像机图像坐标系上的坐标，然后通过解线性非齐次方程组的方法进行标定。但是由于雷达数据的稀疏特性，因此需要通过曲线拟合的方法获取标定点。如图2所示，由于激光雷达点的稀疏特性，可能雷达射线并不能恰好扫描到模体的顶点A,因此我们需要先进性模型边线的直线拟合,边线拟合的交点即是模型的顶点A，其他的标定点可以同理获取。该方法操作相对复杂且该配准方法的配准精度会受到很大影响。

2.另一种方法基于雷达强度图像以及摄像头强度图像之间的互信息来进行摄像头以及激光雷达的位姿配准。激光雷达获取的强度分布统计与摄像头图像的强度分布统计之间的互信息与它们之间的位姿关系R，T存在一个一个正相关关系，当R，T靠近摄像头和激光雷达之间位姿关系的真值时，其互信息值达到最大。这种方法有一个关键的假设：对于同一个物体激光雷达的探测强度和摄像头图像的强度相同。但是这个假设对环境的要求过于苛刻，因为激光雷达是主动光探测，其探测强度受环境光照影响很小，但是摄像头图像却是被动探测，其探测强度受环境影响很大。因此此种方法的鲁棒性很差。

发明内容

为了解决上述存在的技术问题，本发明提供了一种基于立体视觉的双目摄像头与激光雷达间的位姿配准方法，可以方便的获得激光雷达以及双目摄像头之间的位姿关系，从而可以方便快速的将视觉信息以及激光雷达的信息进行融合。

本发明的技术方案是：

一种基于立体视觉的双目摄像头与激光雷达间的位姿配准方法，包括以下步骤：

S01：通过将物体在激光雷达坐标系的坐标进行仿射变换，转变成物体在摄像机坐标系中的坐标，经过摄影变换转成物体在图像坐标系的位置；

S02：根据双目摄像头获取的视差图和物体在摄像机坐标系中的Z坐标的映射关系，将雷达坐标转换成深度图；

S03：将摄像机深度图以及雷达深度图进行互信息配准，对激光雷达的数据点和双目深度图进行位姿态配准。

优选的技术方案中，所述Z坐标映射关系为：其中d是视差，f是摄像头焦距，b是两个摄像头之间的基线距离。

优选的技术方案中，所述互信息配准包括以下步骤：

S31：基于双目摄像头图像获取深度图I₁；

S32：基于初始化的旋转平移矩阵[R，t]对雷达数据进行投影变换，获取激光雷达的深度图I₂；

S33：通过两幅深度图进行互信息计算f_MI(I₁，I₂)，通过梯度下降法获取更新后的旋转平移矩阵[R，t]，并再次进行互信息计算s_MI(I₁，I₂)，如果s_MI>f_MI，则接受更新后的旋转平移矩阵[R，t]；否则程序终止。

与现有技术相比，本发明的优点是：

可以方便的获得激光雷达以及双目摄像头之间的位姿关系，从而可以方便快速的将视觉信息以及激光雷达的信息进行融合。可以十分方便地对位姿进行配准，避免了需求精度较高的配准仿体，同时解决了基于强度的互信息配准的受环境影响比较大的缺点。具有很强的鲁棒性。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为激光雷达和摄像头之间的位姿变换示意图；

图2为激光雷达的稀疏点直线拟合获取标定点示意图；

图3为本发明基于立体视觉的双目摄像头与激光雷达间的位姿配准方法的流程图；

图4为双目摄像头和激光雷达的互信息校正流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例：

下面结合附图，对本发明的较佳实施例作进一步说明。

如图3所示，一种基于立体视觉的双目摄像头与激光雷达间的位姿配准方法，包括以下步骤：

通过双目摄像头模块对周围环境进行视觉感知，通过相机参数对左右图像进行极线校正。获取左右视觉图像，通过深度图获取算法，如SGM，GC等算法获取计算出来的深度图，双目摄像头和PC处理终端通过USB协议或者网口协议传输。

激光雷达感知周围环境，在相同的情况下同时采集激光雷达数据点，获取周围物体在激光雷达坐标系中的坐标位置。

通过将物体在激光雷达坐标系的坐标进行仿射变换，转变成物体在摄像机坐标系中的坐标，然后经过摄影变换转成物体在图像坐标系的位置。因为双目摄像头获取的视差图和物体在摄像机坐标系中的坐标Z存在简单的映射关系因此可以十分简单的使用此公式将雷达坐标转换成深度图，从而可以对摄像机深度图以及雷达深度图进行互信息配准。

互信息配准算法的配准流程如图4所示。

基于双目摄像头图像获取深度图I₁

基于初始化的旋转平移矩阵[R，t]对雷达数据进行投影变换，获取激光雷达的深度图I₂。

通过两幅深度图进行互信息计算f_MI(I₁，I₂)，通过梯度下降法获取更新后的旋转平移矩阵[R，t]，并再次进行互信息计算s_MI(I₁，I₂)，如果s_MI>f_MI，就接受更新后的旋转平移矩阵[R，t]。否则程序终止。互信息关系R，T在真值邻域附近是严格的凸函数，因此梯度下降法可以收敛到真值。

可以十分方便地对位姿进行配准，避免了需求精度较高的配准仿体，同时解决了基于强度的互信息配准的受环境影响比较大的缺点。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (3)

1.一种基于立体视觉的双目摄像头与激光雷达间的位姿配准方法，其特征在于，包括以下步骤：

S01：通过将物体在激光雷达坐标系的坐标进行仿射变换，转变成物体在摄像机坐标系中的坐标，经过摄影变换转成物体在图像坐标系的位置；

S02：根据双目摄像头获取的视差图和物体在摄像机坐标系中的Z坐标的映射关系，将雷达坐标转换成深度图；

S03：将摄像机深度图以及雷达深度图进行互信息配准，对激光雷达的数据点和双目深度图进行位姿态配准。

2.根据权利要求1所述的基于立体视觉的双目摄像头与激光雷达间的位姿配准方法，其特征在于，所述Z坐标映射关系为： ，其中d是视差，f是摄像头焦距，b是两个摄像头之间的基线距离。

3.根据权利要求1所述的基于立体视觉的双目摄像头与激光雷达间的位姿配准方法，其特征在于，所述互信息配准包括以下步骤：

S31：基于双目摄像头图像获取深度图 ；

S32：基于初始化的旋转平移矩阵[R，t]对雷达数据进行投影变换，获取激光雷达的深度图；

S33：通过两幅深度图进行互信息计算f_MI（I₁，I₂），通过梯度下降法获取更新后的旋转平移矩阵[R，t]，并再次进行互信息计算s_MI（I₁，I₂），如果s_MI>f_MI，则接受更新后的旋转平移矩阵[R，t]；否则程序终止。