CN111694010B - 一种基于视觉与激光雷达融合的路侧车辆识别方法 - Google Patents

Abstract

一种基于视觉与激光雷达融合的路侧车辆识别方法，该方法针对路侧视角不同光照条件下车辆识别准确率低的问题，首先进行路侧环境感知系统传感器的标定，包括摄像机的自标定与传感器间的联合标定，为传感器信息融合奠定基础；其次，在数据层级和特征层级上融合图像信息与雷达点云数据，并搭建了基于视觉与激光雷达融合的路侧车辆识别网络模型CBYOLO；然后，利用路侧数据集训练CBYOLO网络；最后，使用训练好的CBYOLO网络进行路侧车辆识别。本发明提出的一种基于视觉与激光雷达融合的路侧车辆识别方法具有良好的环境适应能力和较高的准确率。

Description

一种基于视觉与激光雷达融合的路侧车辆识别方法

技术领域

本发明属于传感器融合、激光雷达技术和深度学习领域，涉及一种基于视觉与激光雷达融合的路侧车辆识别方法。

背景技术

随着现代社会经济的高速发展，城市化进程的加速，汽车在人们生产生活中占据越来越重要的地位。而随着车辆的急剧增加，交通逐渐成为社会发展的热点问题。智能车路系统应运而生，旨在借助现代化科学技术，改善交通通行状况，实现“人-车-路-云”的高度协同，是解决当前城市交通问题的有效途径。

在以车和路的智能化为条件的智能车路系统中，“聪明的车”和“智慧的路”是重要的双驱。“聪明的车”即智能汽车，“智慧的路”即智能路侧设备。在智能车路系统中，智能汽车的环境感知来源主要可以分为两大类，即自主式环境感知和协同式环境感知。自主式环境感知是利用毫米波雷达、摄像机等车载传感器进行环境感知；协同式环境感知是以车联网为基础，基于智能路侧设备捕获微观高分辨交通信息(周围车辆位置、车辆数量、行人位置与行人数量等)，并通过类似DSRC的无线传输设备广播到相关车辆和行人，作为辅助信息提供给车辆，感知更大范围的交通情况。其中，车辆作为主要的交通参与者，精准感知其空间位置、数量和类型等交通信息对降低车辆拥堵、减少交通事故发生具有重要意义。

此外，常见的环境感知传感器包括视觉传感器、三维激光雷达等。其中，视觉传感器具有探测范围广、成本低、采集的颜色信息丰富等优点，在目标识别尤其是目标分类方面，具有比较突出的优势，但视觉传感器易受光照影响，而且缺乏深度信息。激光雷达可以准确获取物体的空间信息，并且受环境影响小，但其数据分辨率较低，不利于目标分类。视觉传感器与激光雷达在数据特点上具有互补性。此外，路侧场景处于露天状态，光照强度易发生变化，极大影响了车辆识别的效果。

因此如何利用多传感器信息融合，提高多尺度车辆目标的识别准确率，增强抗光照变化干扰能力，获取准确车辆位置信息，保持较高的系统实时性，是极具挑战性且亟待解决的难题。

发明内容

针对以上路侧车辆识别存在的技术难题，本发明提出了一种基于视觉与激光雷达融合的路侧车辆识别方法，该方法包括如下步骤：

(1)首先，对路侧环境感知系统传感器标定，主要包括摄像机标定和传感器间的联合标定，得到摄像机内参、激光雷达坐标系转化到图像坐标系的旋转矩阵R_cl和平移向量t_cl，具体步骤为：

步骤一 摄像机的标定：在激光雷达和摄像机可监控范围内，移动黑白棋盘格标定板，在不同位置、不同角度、不同姿态下采集N组数据，每组数据包括标定板的雷达数据和对应的图像；接着，对每幅标定板图像，采用Harris角点检测算法，提取内角点的二维图像像素坐标；然后，根据张氏标定法中的参数解算方法，计算摄像机内参α、β、μ₀、ν₀和每幅标定板图像对应的外参R_ci、t_ci，i＝1,2,...,N；其中α、β分别为采集的图像在像素坐标系O₀μν中μ、ν轴方向上的尺度因子，(μ₀,ν₀)为图像物理坐标系原点在像素坐标系O₀μν中的坐标，R_ci、t_ci分别为第i个标定板图像所对应的世界坐标系中位姿的旋转矩阵和平移向量，i表示标定数据序号，N为标定数据的数量；

步骤二 激光雷达与摄像机的联合标定：首先，在摄像机坐标系、激光雷达坐标系中分别提取标定板平面特征参数；其次，根据平面特征参数，以两坐标系原点到标定板平面距离、法向量为约束条件，建立距离差值、角度差值目标函数，并采用最小二乘法求得旋转矩阵初值R₀和平移向量初值t₀；然后，在参数初值的基础上，以标定板图像平面与标定板点云平面的距离为约束条件，建立距离目标函数，并采用LM迭代算法优化参数，得到最优旋转矩阵R_cl和平移向量t_cl；其中，激光雷达坐标系O_lX_lY_lZ_l的定义为：以激光雷达中心作为坐标原点，以雷达扫描层第0层作为X_lO_lY_l平面，X_l轴为激光雷达的正方向，Z_l轴垂直于大地平面向上，根据右手定则可知，Y_l轴指向路侧感知系统右侧；摄像机坐标系O_cX_cY_cZ_c的定义为：以摄像机中心作为坐标原点，Y_c轴垂直于大地平面向下，Z_c轴与激光雷达正方向一致，根据右手定则可知，X_c轴指向路侧感知系统左侧；联合标定的具体子步骤如下：

子步骤①：首先，在摄像机坐标系中，设原点到第i个标定平面单位法向量为n_ci，距离为λ_ci，则计算公式如下：

在式1中，R_ci、t_ci分别为第i个标定板图像所对应的世界坐标系中位姿的旋转矩阵和平移向量，i表示标定数据序号，i＝1,2,...,N；其次，采用随机抽样一致算法对第i帧雷达点云标定板平面进行拟合，得到标定板平面的空间方程为a_lix+b_liy+c_liz+d_li＝0，设原点到该平面的单位法向量为n_li，距离为λ_li，计算公式如下：

式2中，a_li、b_li、c_li为第i帧标定板点云平面方程参数，i表示标定数据序号，i＝1,2,...,N；

子步骤②：设定摄像机与激光雷达的坐标系转换参数初值为旋转矩阵R₀、平移向量t₀；首先，依据激光雷达坐标系原点到标定板平面的距离为约束条件，建立目标函数为：

在式3中，λ_ci-n_ci ^Tt₀为摄像机坐标系中激光雷达坐标系原点到第i幅标定板平面的距离，λ_li为激光雷达坐标系中坐标原点到第i幅标定板平面的距离，N为标定板平面数据的总数；则该目标函数的最小二乘解为：

式4中，t₀为平移向量初值，n_c为摄像机坐标系下标定板平面法向量集合矩阵，λ_c为摄像机坐标系原点到标定板平面距离向量，λ_l为激光雷达坐标系原点到标定板平面距离向量；

其次，依据摄像机坐标系原点、激光雷达坐标系原点到标定板平面的单位法向量为约束条件，建立目标函数为：

在式5中，n_l＝[n_l1 n_l2 … n_lN]，旋转矩阵初值R₀满足R₀ ^TR₀＝I₃和det(R₀)＝1的性质，其中I₃为3×3大小的单位矩阵；根据正交强制规范问题求解，目标函数的解为

在式6中，R₀为旋转矩阵初值，U、S、V均是奇异值分解参数；

子步骤③：以标定板平面点云与图像平面的距离值为约束条件，建立目标函数为：

在式7中，m_i为第i帧标定板平面点云的数量，j为第i帧标定板平面点云的序号，

为第i帧标定板平面第j个点云的三维坐标矩阵，即

为第i帧标定板平面第j个点云的三维坐标；然后利用Levenberg-Marquardt非线性迭代算法对目标函数进行优化，目标函数取得最小值时的旋转矩阵R_cl和平移向量t_cl为优化后的结果；

(2)其次，构建基于视觉与激光雷达融合的路侧车辆识别网络模型CBYOLO：先在数据层级上融合图像信息与雷达数据，生成视觉雷达融合图；然后构建CBYOLO模型特征提取网络，实现视觉与雷达数据的特征级融合；最后，在YOLOv3网络基础上，搭建CBYOLO网络的其他结构；具体步骤为：

步骤一 视觉雷达融合图的生成：首先，将雷达点云投影到图像坐标系；其次根据深度、高度信息，对图像坐标系下雷达点进行赋值，生成稀疏深度图、稀疏高度图；然后，采用插值算法，对稀疏深度图、稀疏高度图进行数据填充，生成深度图、高度图；接下来，提取图像中的色调信息，生成色调图；最后，将深度图、高度图与色调图进行融合，生成视觉雷达融合图；具体子步骤如下：

子步骤①：根据联合标定结果，即摄像机内参、旋转矩阵R_cl和平移向量t_cl，将雷达点云投影到图像坐标系，得到图像坐标系下各个雷达点的坐标，投影公式如下：

在式8中，α、β、μ₀、ν₀为摄像机内参，R_cl为旋转矩阵，t_cl为平移向量，(x_l,y_l,z_l)为激光雷达点的三维坐标，(u,v)为图像坐标系下雷达点的坐标；

子步骤②：在已知图像坐标系下各个雷达点坐标的情况下，根据雷达点云的深度、高度信息，对各雷达像素点进行赋值，得到稀疏高度图、稀疏深度图；稀疏高度图雷达点的赋值公式如下：

在式9中，Valh(x,y)是坐标为(x,y)的像素点的值，h_l(x,y)为对应雷达点的高度值，round()为取整操作，h_max是车辆最大高度阈值；稀疏深度图雷达点的赋值公式如下：

在式10中，Valw(x,y)是坐标为(x,y)的像素点的值，w_l(x,y)为对应雷达点的深度值，round()为取整操作，w_max是车辆最大深度阈值；

子步骤③：采用德劳内三角剖分算法对稀疏深度、高度图进行数据填充，生成最终的雷达深度图与高度图；

子步骤④：将图像转换到色调-饱和度-亮度颜色空间，并提取色调分量，生成色调图，色调分量计算公式如下：

在式11中，h表示图像的色调信息，r、g、b分别表示红、绿、蓝三颜色分量，max、min分别表示红、绿、蓝三颜色分量中的最大、最小值；

子步骤⑤：将雷达深度图、高度图和图像色调图进行通道级联，生成雷达视觉融合图；

步骤二CBYOLO模型特征提取网络的构建：首先，搭建CBYOLO模型特征提取子网络与主网络；然后三次将子网络的残差模块输出与主网络的残差模块输入进行相邻高层级融合，从而完成特征提取网络的构建；具体子步骤如下：

子步骤①：去除YOLOv3网络特征提取网络结构的最后三个残差模块，建立特征提取部分的子网络，并将雷达视觉融合图作为子网络的输入；

子步骤②：以YOLOv3网络特征提取网络结构为主网络，并将彩色图像作为主网络的输入；

子步骤③：子网络第4个残差模块的输出，与主网络第4个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为256的卷积处理，然后输入到主网络第4个残差模块；

子步骤④：子网络第12个残差模块的输出，与主网络第12个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为512的卷积处理，然后输入到主网络第12个残差模块；

子步骤⑤：子网络的第20个残差模块输出，与主网络第20个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为1024的卷积处理，然后输入到主网络第20个残差模块；

步骤三CBYOLO网络的其他结构均与YOLOv3相同；

(3)然后，对CBYOLO网络进行训练，具体步骤如下：

步骤一：对于路侧车辆识别数据集中每一组数据，执行上述“视觉雷达融合图的生成”步骤，得到视觉雷达融合图数据集；

步骤二：将视觉雷达融合图数据集、彩色图像数据集分别输入到CBYOLO子网络、主网络，训练设计的CBYOLO网络，获得网络参数；

(4)最后，使用CBYOLO网络进行路侧车辆识别，具体步骤如下：

步骤一：对于路侧环境感知系统采集的雷达点云与图像数据，执行上述“视觉雷达融合图的生成”步骤，得到视觉雷达融合图；

步骤二：将视觉雷达融合图、彩色图像分别输入到CBYOLO子网络、主网络，进行路侧车辆识别，获得路侧车辆目标。

与现有技术相比，本发明的技术方案具有以下有益技术效果：

(1)路侧车辆识别准确率高。本发明在二维图像颜色信息的基础上，使用了激光雷达采集的三维空间信息，即深度与高度信息，增加了原始观测数据的维度，提高了路侧车辆识别的准确率。

(2)路侧车辆定位的精度高。本发明将视觉传感器与激光雷达数据在特征级上进行融合，充分利用图像信息与点云数据的互补性，实现了两者高阶数据融合，具有较高的车辆定位精度。

(3)对不同光照环境的适应性强：一方面，激光雷达抗环境干扰能力强；另一方面，本发明提取了图像色调信息与雷达点云数据进行融合，保留车辆目标整体结构的同时，不易受光照强度变化的影响。

附图说明

图1是本发明的一种基于视觉与雷达融合的路侧车辆识别总方法流程图；

图2是本发明设计的路侧环境感知系统实物图；

图3是黑白棋盘格标定板示意图；

图4是摄像机坐标系与激光雷达坐标系位置示意图；

图5是YOLOv3网络结构示意图；

图6是CBYOLO网络结构示意图；

图7是不同光线条件下YOLOv3与CBYOLO网络的测试结果图。

具体实施方式

随着现代社会经济的高速发展，城市化进程的加速，汽车在人们生产生活中占据越来越重要的地位。而随着车辆的急剧增加，交通逐渐成为社会发展的热点问题。智能车路系统应运而生，旨在借助现代化科学技术，改善交通通行状况，实现“人-车-路-云”的高度协同，是解决当前城市交通问题的有效途径。

在以车和路的智能化为条件的智能车路系统中，“聪明的车”和“智慧的路”是重要的双驱。“聪明的车”即智能汽车，“智慧的路”即智能路侧设备。在智能车路系统中，智能汽车的环境感知来源主要可以分为两大类，即自主式环境感知和协同式环境感知。自主式环境感知是利用毫米波雷达、摄像机等车载传感器进行环境感知；协同式环境感知是以车联网为基础，基于智能路侧设备捕获微观高分辨交通信息(周围车辆位置、车辆数量、行人位置与行人数量等)，并通过类似DSRC的无线传输设备广播到相关车辆和行人，作为辅助信息提供给车辆，感知更大范围的交通情况。其中，车辆作为主要的交通参与者，精准感知其空间位置、数量和类型等交通信息对降低车辆拥堵、减少交通事故发生具有重要意义。

此外，常见的环境感知传感器包括视觉传感器、三维激光雷达等。其中，视觉传感器具有探测范围广、成本低、采集的颜色信息丰富等优点，在目标识别尤其是目标分类方面，具有比较突出的优势，但视觉传感器易受光照影响，而且缺乏深度信息。激光雷达可以准确获取物体的空间信息，并且受环境影响小，但其数据分辨率较低，不利于目标分类。视觉传感器与激光雷达在数据特点上具有互补性。此外，路侧场景处于露天状态，光照强度易发生变化，极大影响了车辆识别的效果。因此如何利用多传感器信息融合，提高多尺度车辆目标的识别准确率，增强抗光照变化干扰能力，获取准确车辆位置信息，保持较高的系统实时性，是极具挑战性且亟待解决的难题。

随着人工智能的发展，以视觉传感器、激光雷达等传感器为信息源，基于神经网络的车辆识别算法逐渐成为该领域的主流方法，该方法性能优势明显，被广泛应用在环境感知方向。在深度学习领域，多传感器数据融合根据融合层级的不同，现阶段融合方式主要分为三类：数据级、特征级和决策级融合。但是，单一的融合方式难以充分利用传感器数据的特点。

针对上述路侧车辆识别的技术难题，本发明提出了一种基于视觉与雷达融合的路侧车辆识别方法。该方法主要面对路侧交通环境，将三维激光雷达和彩色摄像机作为环境感知器件，以YOLOv3网络为基础模型，将激光雷达采集的三维空间数据和摄像机采集的图像信息在数据级和特征级进行融合，提高了路侧车辆识别的准确率与抗干扰能力。

如图1所述，该方法包括四大步，下面结合附图与具体实施方式对本发明作进一步详细描述：

(1)路侧环境感知系统传感器标定

传感器的自身标定与传感器之间的联合标定，是数据融合的基础。传感器位置的固定，是联合标定的前提。路侧环境感知系统主要由激光雷达、摄像机及固定支架组成，通常被安装在龙门架或者路侧高处。作为路侧环境感知系统的主要传感源，32线激光雷达与彩色摄像机被安装在同一支架上，参见说明书附图2。其中，雷达被固定在支架顶端；摄像机被安装在雷达正下方20～25厘米之间的支架上，摄像机的指向与激光雷达正方向一致，指向监控的道路环境。

路侧环境感知系统传感器的标定，主要包括摄像机标定和传感器间的联合标定，得到摄像机内参、激光雷达坐标系转化到图像坐标系的旋转矩阵R_cl和平移向量t_cl。其中，摄像机标定方法很多，本发明采用具有良好鲁棒性和极高准确率的张氏标定法；激光雷达与摄像机联合标定的方法分为基于点匹配、线条匹配和平面匹配三类。其中基于点匹配和线条匹配的方法虽然相对简单，但是易受到特征点数量与混合像素的影响，标定精度不高；而基于平面匹配的方法，特征点数量较多，精度较高，所以本发明采用基于平面特征的标定方法。具体标定步骤如下：

步骤一 摄像机的标定：在激光雷达和摄像机可监控范围内，移动黑白棋盘格标定板，在不同位置、不同角度、不同姿态下用激光雷达和摄像机采集N组标定数据，每组数据包括标定板的雷达数据和对应的图像。黑白棋盘格标定板的形状大小，参见说明书附图3。接着，对每幅标定板图像，采用Harris角点检测算法，提取内角点的二维图像像素坐标；然后，根据张氏标定法中的参数解算方法，计算摄像机内参α、β、μ₀、ν₀和每幅标定板图像对应的外参R_ci、t_ci，i＝1,2,...,N。其中，α、β分别为采集的图像在像素坐标系O₀μν中μ、ν轴方向上的尺度因子，(μ₀,ν₀)为图像物理坐标系原点在像素坐标系O₀μν中的坐标，R_ci、t_ci分别为第i个标定板图像所对应的世界坐标系中位姿的旋转矩阵和平移向量，i表示标定数据序号，N为标定数据的数量，在15～20内取值。

步骤二 激光雷达与摄像机的联合标定：首先，在摄像机坐标系、激光雷达坐标系中分别提取标定板平面特征参数；其次，根据平面特征参数，以两坐标系原点到标定板平面距离、法向量为约束条件，建立距离差值、角度差值目标函数，并采用最小二乘法求得旋转矩阵初值R₀和平移向量初值t₀；然后，在参数初值的基础上，以标定板图像平面与标定板点云平面的距离为约束条件，建立距离目标函数，并采用LM迭代算法优化参数，得到最优旋转矩阵R_cl和平移向量t_cl，具体子步骤如下：

子步骤①：首先，在摄像机坐标系中，设原点到第i个标定平面单位法向量为n_ci，距离为λ_ci，则计算公式如下：

在式1中，R_ci、t_ci分别为第i个标定板图像所对应的世界坐标系中位姿的旋转矩阵和平移向量，i表示标定数据序号，i＝1,2,...,N；其次，采用随机抽样一致算法对第i帧雷达点云标定板平面进行拟合，得到标定板平面的空间方程为a_lix+b_liy+c_liz+d_li＝0。设原点到该平面的单位法向量为n_li，距离为λ_li，计算公式如下：

在式2中，a_li、b_li、c_li为第i帧标定板点云的平面方程参数，i表示标定数据序号，i＝1,2,...,N；

子步骤②：设定摄像机与激光雷达的坐标系转换参数初值为旋转矩阵R₀、平移向量t₀。首先，依据激光雷达坐标系原点到标定板平面的距离为约束条件，建立目标函数为：

在式3中，λ_ci-n_ci ^Tt₀为摄像机坐标系中激光雷达坐标系原点到第i幅标定板平面的距离，λ_li为激光雷达坐标系中坐标原点到第i幅标定板平面的距离，N为标定板平面数据的总数；该目标函数的最小二乘解为：

在式4中，t₀为平移向量初值，n_c为摄像机坐标系下标定板平面法向量集合矩阵，λ_c为摄像机坐标系原点到标定板平面的距离向量，λ_l为激光雷达坐标系原点到标定板平面的距离向量。

其次，依据摄像机坐标系原点、激光雷达坐标系原点到标定板平面的单位法向量为约束条件，建立目标函数为：

在式5中，n_l＝[n_l1 n_l2 … n_lN]，旋转矩阵初值R₀满足R₀ ^TR₀＝I₃和det(R₀)＝1的性质，其中I₃为3×3大小的单位矩阵；根据正交强制规范问题求解，目标函数的解为

在式6中，R₀为旋转矩阵初值，U、S、V均是奇异值分解参数。

子步骤③：以标定板平面点云与图像平面的距离值为约束条件，建立目标函数为：

在式7中，m_i为第i帧标定板平面点云的数量，j为第i帧标定板平面点云的序号，

为第i帧标定板平面第j个点云的三维坐标矩阵，即

为第i帧标定板平面第j个点云的三维坐标；然后利用Levenberg-Marquardt非线性迭代算法对目标函数进行优化，目标函数取得最小值时的旋转矩阵R_cl和平移向量t_cl为优化后的结果。

另外，在本发明中，激光雷达坐标系O_lX_lY_lZ_l的定义为：以激光雷达中心作为坐标原点，以雷达扫描层第0层作为X_lO_lY_l平面，X_l轴为激光雷达的正方向，Z_l轴垂直于大地平面向上，根据右手定则可知，Y_l轴指向路侧感知系统右侧；摄像机坐标系O_cX_cY_cZ_c的定义为：以摄像机中心作为坐标原点，Y_c轴垂直于大地平面向下，Z_c轴与激光雷达正方向一致，根据右手定则可知，X_c轴指向路侧感知系统左侧，参见说明书附图4。

(2)基于视觉与激光雷达融合的路侧车辆识别网络CBYOLO的搭建

常见的基于神经网络的目标识别算法有R-CNN、SPP-Net、Fast R-CNN、YOLO、SSD。其中，YOLO网络放弃了以往算法使用的候选区域提名策略，并将目标识别问题作为一个回归问题来处理，从而减小了算法复杂度，实时性好。因此本文以YOLOv3网络作为基础模型，YOLOv3网络由特征提取网络、多尺度特征融合结构以及多尺度预测分支三部分组成，参见说明书附图5。YOLOv3网络以彩色图像像作为输入，而彩色图像缺乏深度信息，易受光照影响，因此单纯依靠视觉传感器无法保障路侧环境感知系统具有良好的环境适应能力。作为另一种常用于环境感知的传感器，激光雷达可以获取精准的三维空间信息，且不受光线影响，数据特点与图像信息呈现出互补性。因此，基于视觉与激光雷达信息融合是构建强泛化性、强鲁棒性的路侧环境感知系统的重要方式。

基于上述讨论，本发明研究并设计了一种基于视觉与激光雷达融合的路侧车辆识别网络CBYOLO：首先，在数据层级融合视觉与雷达信息，生成视觉雷达融合图；其次，在特征层级融合视觉与雷达数据的高阶信息，构建CBYOLO特征提取网络；然后，基于YOLOv3网络结构，完成CBYOLO网络的搭建。CBYOLO网络结构参见说明书附图6，具体网络搭建步骤如下：

步骤一 视觉雷达融合图的生成：首先，将雷达点云投影到图像坐标系；其次根据深度、高度信息，对图像坐标系下雷达点进行赋值，生成稀疏深度图、稀疏高度图；然后，采用插值算法，对稀疏深度图、稀疏高度图进行数据填充，生成深度图、高度图；接下来，提取图像中的色调信息，生成色调图；最后，将深度图、高度图与色调图进行融合，生成视觉雷达融合图。具体子步骤如下：

子步骤①：根据联合标定结果，即摄像机内参、旋转矩阵R_cl和平移向量t_cl，将雷达点云投影到图像坐标系，得到图像坐标系下各个雷达像素点的坐标。投影公式如下：

在式8中，α、β、μ₀、ν₀为摄像机内参，R_cl为旋转矩阵，t_cl为平移向量，(x_l,y_l,z_l)为激光雷达点的三维坐标，(u,v)为图像坐标系下雷达像素点的坐标。

子步骤②：在已知各雷达像素点坐标的情况下，根据点云的深度、高度信息，对各雷达像素点进行赋值，得到稀疏高度图、稀疏深度图。稀疏高度图的赋值公式如下：

在式9中，Valh(x,y)是坐标为(x,y)的像素点的值，h_l(x,y)为对应雷达点的高度值，round()为取整操作，h_max是车辆最大高度阈值。由于公交车高度一般在3.2米左右，重型、中型载货汽车、半挂车载物，高度从地面起不得超过4米，载来运集装箱的车辆不得超过4.2米，所以车辆最大高度阈值h_max在4.2～4.5内取值。稀疏深度图雷达点的赋值公式如下：

在式10中，Valw(x,y)是坐标为(x,y)的像素点的值，w_l(x,y)为对应雷达点的深度值，round()为取整操作，w_max是车辆最大深度阈值。32线激光雷达的有效探测距离是200米，路侧激光雷达安装位置较高，探测道路区域的激光束与探测距离最远的平行激光束之间存在倾角，所以实际道路区域探测距离跟雷达安装位置的高度相关。在本发明中，激光雷达安装高度在4.5～5米之间，车辆最大深度阈值w_max在80～100内取值。

子步骤③：采用德劳内三角剖分算法对稀疏深度、高度图进行数据填充，生成最终的雷达深度图与高度图。

子步骤④：将图像转换到色调-饱和度-亮度颜色空间，并提取色调分量，生成色调图。色调分量计算公式如下：

在式11中，h表示图像的色调信息，r、g、b分别表示红、绿、蓝三颜色分量，max、min分别表示红、绿、蓝三颜色分量中的最大、最小值。

子步骤⑤：将雷达深度图、高度图和图像色调图进行通道级联，生成雷达视觉融合图；

步骤二CBYOLO模型特征提取网络的构建：首先，搭建CBYOLO模型特征提取子网络与主网络；然后三次将子网络的残差模块输出与主网络的残差模块输入进行相邻高层级融合，从而完成特征提取网络的构建。具体子步骤如下：

子步骤①：去除YOLOv3网络特征提取网络结构的最后三个残差模块，建立特征提取部分的子网络，并将雷达视觉融合图作为子网络的输入；

子步骤②：以YOLOv3网络特征提取网络结构为主网络，并将彩色图像作为主网络的输入；

子步骤③：子网络第4个残差模块的输出，与主网络第4个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为256的卷积处理，然后输入到主网络第4个残差模块；

子步骤④：子网络第12个残差模块的输出，与主网络第12个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为512的卷积处理，然后输入到主网络第12个残差模块；

子步骤⑤：子网络的第20个残差模块输出，与主网络第20个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为1024的卷积处理，然后输入到主网络第20个残差模块；

步骤三：CBYOLO网络的多尺度特征融合结构和多尺度预测分支结构，均与YOLOv3相同。

对于上述路侧端车辆识别网络模型的搭建，作出三点补充说明：

1.激光雷达采集的数据包括物体的三维信息和反射率，其中三维信息包含距离、高度与宽度信息，在路侧视角下，高度、距离信息更具有辨别能力，所以采用高度和距离信息进行处理。此外，图像色调信息受光照变化影响较小。因此将点云数据的高度、距离信息与色调信息作为子网络输入，可以增强网络对光照变化的抗干扰能力；

2.该网络的核心思想以子网络的雷达数据、图像色调信息的高阶特征来增强主网络的数据特征，采用相邻高层级融合的方式，将子网络的残差模块输出与主网络残差模块输入进行融合，为主网络提供高阶数据特征，增强数据表征能力，充分发挥雷达数据与图像数据的互补性，增强网络对环境抗干扰能力；

3.YOLOv3特征提取网络包含5个残差模块组合，并选取第3、4和5个残差模块组合的输出特征图构建特征金字塔，分别对应了浅层、中层以及深层语义信息；CBYOLO子网络借鉴了YOLOv3特征提取网络结构，则第3、4和5个残差模块组合的首个残差模块输出分别包含了表征雷达点云与色调信息的浅层语义、中层语义以及深层语义特征，与主网络进行相邻高层级融合，则融合层级更全面，数据表征能力更强。

(3)训练CBYOLO网络

基于路侧环境感知系统，对不同场景、不同光照条件的道路环境进行数据采集，从而建立路侧车辆识别数据集，然后对CBYOLO网络进行训练。具体步骤如下：

步骤一：对于路侧车辆识别数据集中每一组数据，执行上述“视觉雷达融合图的生成”步骤，得到视觉雷达融合图数据集；

步骤二：将视觉雷达融合图数据集、彩色图像数据集分别输入到CBYOLO子网络、主网络，训练设计的CBYOLO网络，获得网络参数；

(4)基于CBYOLO网络识别路侧车辆

将路侧环境感知系统安装在龙门架或者路侧高处，然后基于CBYOLO网络进行路侧车辆识别，得到车辆位置、数量等信息。具体步骤如下：

步骤一：对于路侧环境感知系统采集的雷达点云与图像数据，执行上述“视觉雷达融合图的生成”步骤，得到视觉雷达融合图；

步骤二：将视觉雷达融合图、彩色图像分别输入到CBYOLO子网络、主网络，进行路侧车辆识别，获得路侧车辆目标。

为检验本发明所设计的基于视觉与雷达融合的路侧车辆识别方法的实际效果，进行路侧数据集测试实验。实验基本情况如下：

实验目的：检验所设计的基于视觉与雷达融合的路侧车辆识别的精准度与抗光照变化干扰能力。

实验系统组成：实验系统由软件路侧车辆识别程序和硬件设备共同组成。路侧车辆识别程序是是按照本发明提出的基于视觉与雷达融合的路侧车辆识别方法，以Tensorflow为开发工具；主要硬件设备包括：计算机(操作系统为Ubuntu16.04，内存为48G，配备英伟达GTX TITAN XP显卡以及英特尔至强E3系列CPU)、海康威视红外网络摄像头、Velodyne 32线激光雷达等相关设备。

实验环境：本发明搭建的路侧环境感知系统，被安装在东南大学四牌楼校区东太平北路天桥，对南北两侧交通场景进行信息采集。其中，路侧环境感知系统主要由32线激光雷达、彩色摄像机以及连接支架组成。激光雷达被固定在支架顶端，摄像机被安装在雷达正下方20～25厘米之间的支架上，摄像机的指向与激光雷达正方向一致，指向监控的道路环境。

实验结果：为了测试本发明所提的基于视觉与雷达融合的路侧车辆识别网络模型CBYOLO的光强变化抗干扰能力，分别采集“晴天”、“阴天”和“反光”三种光照强度下的交通流信息，共近10000张分辨率为960×540的真实路侧交通图像。由于相邻帧间图像相似度较高，本发明以隔帧提取的方式，选出5000张图片作为路侧数据集，并以6:2:2的比例分为训练集、验证集和测试集，识别Car、Bus和Van三类目标车辆。其中“晴天”场景光线充足，“阴天”场景车辆目标图像较为模糊，“反光”是洒水车经过后形成的场景，给路侧车辆识别增加了难度。本发明以平均精度均值mAP、平均精度AP以及平均处理时间作为评价指标。

本发明提出的基于视觉与雷达融合的路侧车辆识别网络模型CBYOLO具有良好的抗光照干扰能力，具体体现在：①如表1所示，相对于YOLOv3网络，对路侧车辆目标的识别精度有显著提升，路侧数据集的测试平均精度均值达到了86.48％，完全满足路侧车辆识别的精度要求；②如表2所示，相对于YOLOv3网络，CBYOLO在多种光照场景下的车辆识别精度均有提升；③如表2所示，虽然CBYOLO算法识别速度稍慢，平均耗时为75ms，但普通摄像机的拍摄频率为25～30Hz，三维激光雷达的旋转频率范围为5～20Hz，相邻数据帧间隔时间为50～200ms，所以CBYOLO基本满足路侧车辆识别方法实时性的要求。

图7(a)、(b)分别为“阴天”场景下YOLOv3与CBYOLO网络的测试结果、图7(c)、(d)为“反光”场景下YOLOv3与CBYOLO网络的车辆识别结果，图中蓝色矩形框是真值，绿色框是网络识别结果，红色框为“漏检”或“定位精度低”的误识别结果。从图中YOLOv3与CBYOLO对比结果能够看出，光线不足的干扰使得车辆目标像素变得模糊，严重影响了车辆识别的精准度。YOLOv3网络可以检测出大部分车辆目标，但是定位效果不佳：近处车辆存在定位偏差；远处车辆因定位偏差较大导致误识别。CBYOLO网络将图像色调信息与激光雷达进行数据级融合，增强了网络的抗光照干扰能力，因此网络模型的平均精度较高。

表1各网络在路侧数据集的车辆识别精度

表2不同光照场景的车辆识别结果

Claims (1)

1.一种基于视觉与激光雷达融合的路侧车辆识别方法，其特征在于：

(1)首先，对路侧环境感知系统传感器标定，包括摄像机标定和传感器间的联合标定，得到摄像机内参、激光雷达坐标系转化到图像坐标系的旋转矩阵R_cl和平移向量t_cl，具体步骤为：

步骤一 摄像机的标定：在激光雷达和摄像机可监控范围内，移动黑白棋盘格标定板，在不同位置、不同角度、不同姿态下采集N组数据，每组数据包括标定板的雷达数据和对应的图像；接着，对每幅标定板图像，采用Harris角点检测算法，提取内角点的二维图像像素坐标；然后，根据张氏标定法中的参数解算方法，计算摄像机内参α、β、μ₀、ν₀和每幅标定板图像对应的外参R_ci、t_ci，i＝1,2,...,N；其中α、β分别为采集的图像在像素坐标系O₀μν中μ、ν轴方向上的尺度因子，(μ₀,ν₀)为图像物理坐标系原点在像素坐标系O₀μν中的坐标，R_ci、t_ci分别为第i个标定板图像所对应的世界坐标系中位姿的旋转矩阵和平移向量，i表示标定数据序号，N为标定数据的数量；

步骤二 激光雷达与摄像机的联合标定：首先，在摄像机坐标系、激光雷达坐标系中分别提取标定板平面特征参数；其次，根据平面特征参数，以两坐标系原点到标定板平面距离、法向量为约束条件，建立距离差值、角度差值目标函数，并采用最小二乘法求得旋转矩阵初值R₀和平移向量初值t₀；然后，在参数初值的基础上，以标定板图像平面与标定板点云平面的距离为约束条件，建立距离目标函数，并采用LM迭代算法优化参数，得到最优旋转矩阵R_cl和平移向量t_cl；其中，激光雷达坐标系O_lX_lY_lZ_l的定义为：以激光雷达中心作为坐标原点，以雷达扫描层第0层作为X_lO_lY_l平面，X_l轴为激光雷达的正方向，Z_l轴垂直于大地平面向上，根据右手定则可知，Y_l轴指向路侧感知系统右侧；摄像机坐标系O_cX_cY_cZ_c的定义为：以摄像机中心作为坐标原点，Y_c轴垂直于大地平面向下，Z_c轴与激光雷达正方向一致，根据右手定则可知，X_c轴指向路侧感知系统左侧；联合标定的具体子步骤如下：

子步骤①：首先，在摄像机坐标系中，设原点到第i个标定平面单位法向量为n_ci，距离为λ_ci，则计算公式如下：

在式1中，R_ci、t_ci分别为第i个标定板图像所对应的世界坐标系中位姿的旋转矩阵和平移向量，i表示标定数据序号，i＝1,2,...,N；其次，采用随机抽样一致算法对第i帧雷达点云标定板平面进行拟合，得到标定板平面的空间方程为a_lix+b_liy+c_liz+d_li＝0，设原点到该平面的单位法向量为n_li，距离为λ_li，计算公式如下：

式2中，a_li、b_li、c_li为第i帧标定板点云平面方程参数，i表示标定数据序号，i＝1,2,...,N；

子步骤②：设定摄像机与激光雷达的坐标系转换参数初值为旋转矩阵R₀、平移向量t₀；首先，依据激光雷达坐标系原点到标定板平面的距离为约束条件，建立目标函数为：

在式3中，λ_ci-n_ci ^Tt₀为摄像机坐标系中激光雷达坐标系原点到第i幅标定板平面的距离，λ_li为激光雷达坐标系中坐标原点到第i幅标定板平面的距离，N为标定板平面数据的总数；则该目标函数的最小二乘解为：

式4中，t₀为平移向量初值，n_c为摄像机坐标系下标定板平面法向量集合矩阵，λ_c为摄像机坐标系原点到标定板平面距离向量，λ_l为激光雷达坐标系原点到标定板平面距离向量；

其次，依据摄像机坐标系原点、激光雷达坐标系原点到标定板平面的单位法向量为约束条件，建立目标函数为：

在式5中，n_l＝[n_l1 n_l2…n_lN]，旋转矩阵初值R₀满足R₀ ^TR₀＝I₃和det(R₀)＝1的性质，其中I₃为3×3大小的单位矩阵；根据正交强制规范问题求解，目标函数的解为

在式6中，R₀为旋转矩阵初值，U、S、V均是奇异值分解参数；

子步骤③：以标定板平面点云与图像平面的距离值为约束条件，建立目标函数为：

在式7中，m_i为第i帧标定板平面点云的数量，j为第i帧标定板平面点云的序号，

为第i帧标定板平面第j个点云的三维坐标矩阵，即

为第i帧标定板平面第j个点云的三维坐标；然后利用Levenberg-Marquardt非线性迭代算法对目标函数进行优化，目标函数取得最小值时的旋转矩阵R_cl和平移向量t_cl为优化后的结果；

(2)其次，构建基于视觉与激光雷达融合的路侧车辆识别网络模型CBYOLO：先在数据层级上融合图像信息与雷达数据，生成视觉雷达融合图；然后构建CBYOLO模型特征提取网络，实现视觉与雷达数据的特征级融合；最后，在YOLOv3网络基础上，搭建CBYOLO网络的其他结构；具体步骤为：

步骤一 视觉雷达融合图的生成：首先，将雷达点云投影到图像坐标系；其次根据深度、高度信息，对图像坐标系下雷达点进行赋值，生成稀疏深度图、稀疏高度图；然后，采用插值算法，对稀疏深度图、稀疏高度图进行数据填充，生成深度图、高度图；接下来，提取图像中的色调信息，生成色调图；最后，将深度图、高度图与色调图进行融合，生成视觉雷达融合图；具体子步骤如下：

子步骤①：根据联合标定结果，即摄像机内参、旋转矩阵R_cl和平移向量t_cl，将雷达点云投影到图像坐标系，得到图像坐标系下各个雷达点的坐标，投影公式如下：

在式8中，α、β、μ₀、ν₀为摄像机内参，R_cl为旋转矩阵，t_cl为平移向量，(x_l,y_l,z_l)为激光雷达点的三维坐标，(u,v)为图像坐标系下雷达点的坐标；

子步骤②：在已知图像坐标系下各个雷达点坐标的情况下，根据雷达点云的深度、高度信息，对各雷达像素点进行赋值，得到稀疏高度图、稀疏深度图；稀疏高度图雷达点的赋值公式如下：

在式9中，Valh(x,y)是坐标为(x,y)的像素点的值，h_l(x,y)为对应雷达点的高度值，round()为取整操作，h_max是车辆最大高度阈值；稀疏深度图雷达点的赋值公式如下：

在式10中，Valw(x,y)是坐标为(x,y)的像素点的值，w_l(x,y)为对应雷达点的深度值，round()为取整操作，w_max是车辆最大深度阈值；

子步骤③：采用德劳内三角剖分算法对稀疏深度、高度图进行数据填充，生成最终的雷达深度图与高度图；

子步骤④：将图像转换到色调-饱和度-亮度颜色空间，并提取色调分量，生成色调图，色调分量计算公式如下：

在式11中，h表示图像的色调信息，r、g、b分别表示红、绿、蓝三颜色分量，max、min分别表示红、绿、蓝三颜色分量中的最大、最小值；

子步骤⑤：将雷达深度图、高度图和图像色调图进行通道级联，生成雷达视觉融合图；

步骤二CBYOLO模型特征提取网络的构建：首先，搭建CBYOLO模型特征提取子网络与主网络；然后三次将子网络的残差模块输出与主网络的残差模块输入进行相邻高层级融合，从而完成特征提取网络的构建；具体子步骤如下：

子步骤①：去除YOLOv3网络特征提取网络结构的最后三个残差模块，建立特征提取部分的子网络，并将雷达视觉融合图作为子网络的输入；

子步骤②：以YOLOv3网络特征提取网络结构为主网络，并将彩色图像作为主网络的输入；

子步骤③：子网络第4个残差模块的输出，与主网络第4个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为256的卷积处理，然后输入到主网络第4个残差模块；

子步骤④：子网络第12个残差模块的输出，与主网络第12个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为512的卷积处理，然后输入到主网络第12个残差模块；

子步骤⑤：子网络的第20个残差模块输出，与主网络第20个残差模块的输入进行通道级联，融合后的特征图进行核为3×3、通道数为1024的卷积处理，然后输入到主网络第20个残差模块；

步骤三 CBYOLO网络的其他结构均与YOLOv3相同；

(3)然后，对CBYOLO网络进行训练，具体步骤如下：

步骤一：对于路侧车辆识别数据集中每一组数据，执行上述“视觉雷达融合图的生成”步骤，得到视觉雷达融合图数据集；

步骤二：将视觉雷达融合图数据集、彩色图像数据集分别输入到CBYOLO子网络、主网络，训练设计的CBYOLO网络，获得网络参数；

(4)最后，使用CBYOLO网络进行路侧车辆识别，具体步骤如下：

步骤一：对于路侧环境感知系统采集的雷达点云与图像数据，执行上述“视觉雷达融合图的生成”步骤，得到视觉雷达融合图；

步骤二：将视觉雷达融合图、彩色图像分别输入到CBYOLO子网络、主网络，进行路侧车辆识别，获得路侧车辆目标。

Images