CN113807471B - 雷达与视觉融合的车辆识别方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种雷达与视觉融合的车辆识别方法、装置、设备及介质。所述方法包括：依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测得到目标车辆检测预测概率信息，将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息，将目标车辆检测预测概率信息与目标车辆位置预测概率信息进行融合来进行车辆识别。采用本申请方案，针对毫米波雷达信息的预测概率和视觉图像的预测概率进行融合，利用毫米波雷达对于运动车辆敏感的特点以及摄像头能够更充分捕捉足够分辨物体的特征，提高车辆检出效果，尽可能避免过于依赖使用某一数据，实现能均衡使用毫米波雷达与摄像头获取的信息进行车辆检测。

Description

雷达与视觉融合的车辆识别方法、装置、设备及介质

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及一种雷达与视觉融合的车辆识别方法、装置、设备及介质。

背景技术

随着技术的不断发展，车辆智能辅助驾驶受到越来越多的关注，比如毫米波雷达具有探测性能稳定、作用距离较长，穿透雾、烟、灰尘的能力强，具有全天候全天时的特点，且不受天气、光照等恶劣环境影响等优点，在自动驾驶等领域中正成为视觉传感外的重要辅助传感设备，越来越受到市场的青睐。

但是，毫米波雷达基于距离和速度、角度等信息，无法判断障碍物体是否为车辆，对车辆检测造成极大干扰，因此在自动驾驶等领域，毫米波雷达会过滤所有静止物体，显然这带来了极大的安全隐患。而，可见光波段工作的摄像头能够更充分捕捉足够分辨物体的特征，因此如何将摄像头捕捉到的视觉信号与毫米波雷达信号进行结合，提升对车辆的检测识别效果变得尤为重要。

发明内容

本发明实施例中提供了一种雷达与视觉融合的车辆识别方法、装置、设备及介质，以实现毫米波雷达信息与视觉图像信息的有效融合，提高对车辆的检测识别效果。

第一方面，本发明实施例中提供了一种雷达与视觉融合的车辆识别方法，所述方法包括：

依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息；

将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息；

将所述目标车辆检测预测概率信息与所述目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

第二方面，本发明实施例中还提供了一种雷达与视觉融合的车辆识别装置，所述装置包括：

第一概率确定模块，用于依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息；

第二概率确定模块，用于将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息；

概率信息融合模块，用于将所述目标车辆检测预测概率信息与所述目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

第三方面，本发明实施例中还提供了一种电子设备，包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述雷达与视觉融合的车辆识别方法。

第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明任意实施例中提供的所述雷达与视觉融合的车辆识别方法。

本发明实施例中提供了一种雷达与视觉融合的车辆识别方法，在获取目标车辆视觉图像与目标车辆雷达信息后，在依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测得到目标车辆检测预测概率信息的同时，还会将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息，这样就可以将目标车辆检测预测概率信息与目标车辆位置预测概率信息进行融合，利用融合的预测概率信息来进行车辆识别。采用本申请的技术方案，针对毫米波雷达信息的预测概率和视觉图像的预测概率进行融合，利用毫米波雷达对于运动车辆敏感的特点以及摄像头能够更充分捕捉足够分辨物体的特征，提高车辆检出效果，尽可能避免倾向过于依赖使用某一种数据，实现能均衡使用毫米波雷达与摄像头获取的信息进行车辆检测。

上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中提供的一种雷达与视觉融合的车辆识别方法的流程图；

图2是本发明实施例中提供的另一种雷达与视觉融合的车辆识别方法的流程图；

图3a是本发明实施例中提供的一种车辆检测模型的训练示意图；

图3b是本发明实施例中提供的一种车辆检测模型中类别与位置粗选单元的网络结构示意图；

图4是本发明实施例中提供的一种雷达和视觉融合的车辆检测模型的检测流程图；

图5是本发明实施例中提供的一种雷达和视觉融合的车辆检测模型中雷达信息与视觉图像信息的处理示意图；

图6是本发明实施例中提供的一种车辆检测模型中车辆位置透视转换单元的训练示意图；

图7是本发明实施例中提供的一种雷达与视觉融合的车辆识别装置的结构框图；

图8是本发明实施例中提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作（或步骤）可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

下面针对本申请中提供的雷达与视觉融合的车辆识别方案，通过以下各个实施例及其可选方案进行详细阐述。

图1是本发明实施例中提供的一种雷达与视觉融合的车辆识别方法的流程图。本发明实施例可适用于对车辆进行类别与位置识别的情况，尤其是在极端环境下对车辆进行类别与位置识别的情形。该方法可由雷达与视觉融合的车辆识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的雷达与视觉融合的车辆识别方法，可包括以下步骤：

S110、依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息。

在环境感知场景下，可见光波段工作的摄像头等图像传感器能够充分捕捉足够分辨物体的特征，因此可在目标车辆上预先配置摄像头等图像传感器，通过摄像头等图像传感器可以采集目标车辆行驶前方区域的图像，得到目标车辆视觉图像。这样，就可以使用采集的目标车辆视觉图像，以目标车辆行驶前方区域的车辆为目标对象，对目标车辆视觉图像进行特征提取得到目标视觉图像特征信息，进而使用提取的目标视觉图像特征信息针对目标车辆行驶前方区域进行车辆位置检测任务和细粒度的类型识别任务，得到一个车辆类别与位置识别的预测概率图，记为目标车辆检测预测概率信息。其中，车辆检测预测概率信息中可以包括基于视觉图像所预测识别车辆类别和位置时的正样本概率。

S120、将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息。

毫米波雷达等探测器具有全天候全天时的特点，且不受天气、光照等恶劣环境影响。因此，同样可以在目标车辆上预先配置毫米波雷达等探测器，通过毫米波雷达等探测器可以实时采集目标车辆行驶前方区域的雷达数据得到目标车辆雷达信息，基于目标车辆雷达信息同样可以对目标车辆行驶前方区域进行车辆位置检测。

同时，考虑到虽然目标车辆雷达信息与目标车辆视觉图像是目标车辆上毫米波雷达等探测器与摄像头等图像传感器，在同一采集时刻朝向目标车辆行驶前方同一采集区域采集得到的数据信息，但是目标车辆雷达信息与目标车辆视觉图像不在同一个坐标下。为了实现毫米波雷达和视觉图像进行更好融合，可以先将目标车辆雷达信息转换到目标车辆视觉图像坐标系下，并利用转换到目标车辆视觉图像坐标系下目标车辆雷达信息， 得到一个车辆位置识别的预测概率图，记为目标车辆位置预测概率信息。其中，车辆位置预测概率信息中可以包括基于毫米波雷达信息所预测识别车辆位置时的正样本概率与负样本概率。

可选地，目标车辆雷达信息可以包括对毫米波雷达探测的障碍物相对毫米波雷达的方位信息进行转化，所得到的俯视角度下平面坐标。毫米波雷达探测的障碍物相对毫米波雷达的方位信息包括距离与角度。

其中，毫米波雷达获取的雷达信息为毫米波雷达探测的障碍物相对毫米波雷达的距离、角度以及速度，可以使用其中的距离和角度信息，设法将其转化为车辆位置识别过程中预测的正样本概率图，从而能够将预测的正样本概率叠加至目标车辆检测预测概率上。可选地，为了更好的进行融合计算可以先对毫米波雷达中的距离d和角度θ即为障碍物与雷达探测器的方位信息转化为笛卡尔坐标(x, y)，转化公式如下：

可选地，目标车辆雷达信息是俯视下的平面坐标，与通过摄像头采集的目标车辆视觉图像获得的车辆坐标不一致，故需要设法将目标车辆雷达信息对应的转化后的笛卡尔坐标通过透视变换转化为基于摄像头的坐标，即可得到转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息。例如，通过标定四个坐标点可以确定透视变换矩阵，但需要额外人工标定工作量。

S130、将目标车辆检测预测概率信息与目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

考虑到毫米波雷达基于距离和速度、角度等信息，无法判断障碍物体是否为车辆，对车辆检测造成极大干扰。而且，同时考虑到可见光波段工作的摄像头能够更充分捕捉足够分辨物体的特征，但对光线和天气条件很敏感，在极端的恶劣环境中会对摄像头采集的图像数据造成严重影响。因此，尝试将毫米波雷达和摄像头采集的视觉图像进行结合，这里选择将目标车辆检测预测概率信息与目标车辆位置预测概率信息进行融合，通过融合来互相印证毫米波雷达和摄像头进行车辆识别的准确性，以此提高车辆检出效果。

根据本发明实施例中提供的雷达与视觉融合的车辆识别方法，针对毫米波雷达信息的预测概率和视觉图像的预测概率进行融合，利用毫米波雷达对于运动车辆敏感的特点以及摄像头能够更充分捕捉足够分辨物体的特征，提高车辆检出效果，尽可能避免倾向过于依赖使用某一种数据，实现能均衡使用毫米波雷达与摄像头获取的信息进行车辆检测。

图2是本发明实施例中提供的另一种雷达与视觉融合的车辆识别方法的流程图，本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，本申请实施例中提供的雷达与视觉融合的车辆识别方法，可包括以下步骤：

S210、依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息。

在本实施例的一种可选方案中，依据目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测概率信息，可包括以下步骤A1-A2：

步骤A1、采用预设车辆检测模型中特征提取单元，从摄像头采集的目标车辆视觉图像中提取目标视觉图像特征信息。

步骤A2、将目标视觉图像特征信息送入预设车辆检测模型中类别位置粗选单元，经激励函数进行激活得到基于目标视觉图像特征进行车辆类别与位置检测时对应的目标车辆检测预测概率信息。

其中，类别位置粗选单元基于卷积神经网络进行训练构建，车辆检测预测概率信息包括预测识别车辆类别和位置时的正样本概率。

参见图3a，采用其示出的流程进行车辆检测模型的训练，车辆检测模型可以包括特征提取单元VGG、类别与位置粗选单元RPN以及细分类/回归单元等网络单元。其中，特征提取单元VGG用于从目标车辆视觉图像中提取的目标视觉图像特征信息；类别与位置粗选单元RPN用于进行车辆识别时的正样本类别与位置粗选；细分类/回归单元用于对正样本类别与位置的粗选结果中类别进一步细分并修正回归框，得到车辆类别与车辆位置框，实现车辆检测。

参见图3b，对于类别与位置粗选单元RPN，在将目标视觉图像特征信息送入类别与位置粗选单元RPN后，目标视觉图像特征信息依次经过类别与位置粗选单元RPN中至少一个卷积层Conv进行处理，充分挖掘分析视觉图像特征进行车辆类别与车辆位置的预测，经过激励函数Softmax函数激活后获得基于目标视觉图像特征进行车辆类别与位置检测时对应的目标车辆检测预测概率信息。

S220、将毫米波雷达采集得到的目标车辆雷达信息送入预设车辆检测模型中的预训练车辆位置透视转换单元，转换得到目标车辆雷达信息对应的单通道概率信息；其中单通道概率信息包括车辆位置识别时的正样本概率。

其中，预训练车辆位置透视转换单元隐式学习毫米波雷达至视觉图像空间的变换关系，将雷达图像与视觉图像进行对齐。

参见图4与图5，为了实现毫米波雷达信息与摄像头采集的视觉图像结合进行车辆识别，可以在图3a示出的车辆检测模型的基础上，选择固定图3a示出的车辆检测模型的网络参数保持不变（包括特征提取单元VGG、类别与位置粗选单元RPN以及细分类/回归单元等网络单元的网络参数），对车辆检测模型的结构进行改进，新嵌入一个基于毫米波雷达采集得到的车辆雷达信息进行车辆位置识别的预训练车辆位置透视转换单元（E-D）。其中，预训练车辆位置透视转换单元的输入为毫米波雷达采集得到的车辆雷达信息，输出为转换至视觉图像坐标后的车辆雷达检测正样本概率图。

在本实施例的一种可选方案中，所述预训练车辆位置透视转换单元的构建过程，可包括以下步骤B1-B4：

步骤B1、将训练用车辆雷达信息送入待训练的车辆位置透视转换单元，转换得到训练用车辆雷达信息对应的训练用单通道概率图。

步骤B2、确定训练用车辆视觉图像中预先标注的车辆标注框的中心点位置；训练用车辆雷达信息与训练用车辆视觉图像在同一采集区域同时采集。

步骤B3、依据车辆标注框的中心点位置，对训练用车辆视觉图像的中心点图进行高斯模糊处理弱化中心点周围的像素值，得到模糊后的中心点图。

步骤B4、根据训练用单通道概率图与模糊后的中心点图之间的损失值，通过反向传播对所述待训练车辆位置透视转换单元中可学习参数进行调整更新。

参见图6，车辆位置透视转换单元与自编码器中的编码器-解码器单元类似，先通过由多个卷积层组成的编码器逐步下采样提取特征图，再由多个反卷积层组成的解码器逐步上采样恢复至较大尺寸（M*N）。在待训练的车辆位置透视转换单元进行训练之前，需确保已获得足够数量的各个训练用车辆视觉图像对应的训练用毫米波雷达信息（例如毫米波雷达图），以便使用训练用车辆视觉图像以及对应的训练用毫米波雷达信息，让待训练的车辆位置透视转换单元隐式学习毫米波雷达至视觉图像空间的变换关系，将雷达图像与视觉图像进行对齐。

参见图6，先对训练用车辆视觉图像中的车辆标签进行处理，根据每个车辆标注框计算出中心点坐标，并调整得到大小为M*N的中心点图，然后对其进行高斯模糊处理，使得中心点周围一定范围内也具有较小的数值，这里称模糊后的图为T图。同时，将训练用毫米波雷达图送入进行待训练的车辆位置透视转换单元E-D进行处理（训练前E-D单元内的参数随机初始化），获得通过待训练的车辆位置透视转换单元预测的P图，其长宽与T图一致。

参见图6，在得到模糊后的中心点图T图与待训练的车辆位置透视转换单元预测的训练用车辆雷达信息对应的训练用单通道概率图P图,使用均值平方差损失函数（MSEloss）计算得到训练用单通道概率图与模糊后的中心点图之间的损失；均值平方差损失函数（MSE loss）如下：

其中，M和N分别为T图（或P图）的高和宽，由于T图是单通道的，T_ij表示第i行第j列的元素值，P_ij同理；最后根据计算得到的Loss，反向传播修改E-D单元中的可学习参数，使损失值不断下降。

可选地，可以将车辆位置透视转换单元作为全连接层进行学习，即将毫米波雷达图中的障碍物坐标作为输入，通过全连接层后变换为新的坐标系下的障碍物坐标，将所有坐标绘制于点图上得到训练用车辆雷达信息对应的训练用单通道概率图。其中，单通道概率信息包括车辆位置识别时的正样本概率。继续按照均值平方差损失函数（MSE loss）模糊后的中心点图与训练用车辆雷达信息对应的训练用单通道概率图计算损失，并反向传播修改全连接层参数。

S230、依据目标车辆雷达信息对应的单通道概率信息，确定转换到目标车辆视觉图像坐标系下的目标车辆位置预测概率信息。

在本实施例的一种可选方案中，依据目标车辆雷达信息对应的单通道概率信息确定所述目标车辆位置预测概率信息，可包括以下步骤C1-C3：

步骤C1、对目标车辆雷达信息对应的单通道概率信息进行值翻转操作，得到翻转后的单通道概率信息；其中，翻转后的单通道概率信息包括车辆位置识别时的负样本概率。

步骤C2、将目标车辆雷达信息对应的单通道概率信息与翻转后的单通道概率信息进行拼接，得到目标车辆雷达信息对应的双通道概率信息。

步骤C3、将目标车辆雷达信息对应的双通道概率信息进行复制，得到目标车辆位置预测概率信息，且使目标车辆位置预测概率信息的尺寸与目标视觉图像特征信息的尺寸保持一致。

参见图5，毫米波雷达信息通过训练好的预训练车辆位置透视转换单元获得单通道概率图，此概率图的所有元素均为0-1的数值。将此单通道概率图做值的翻转操作（即每个位置用1减去该位置的元素）得到翻转后的单通道概率图，并按通道方向将翻转后的单通道概率图拼接至原单通道概率图上，从而得到双通道概率图。

参见图5，通过不断复制双通道概率图，使通过复制得到目标车辆位置预测概率信息的尺寸与目标视觉图像特征信息的尺寸保持一致。例如，通过不断复制双通道概率图，获得18个通道的概率图（记为M1，长宽与车辆视觉图像特征图的长宽一致，即

），这个操作主要是考虑到车辆检测模型中Faster RCNN中的类别位置粗选单元RPN默认采用了9个anchor，每个anchor分配两个概率值分别代表正样本和负样本的概率。

S240、将目标车辆检测预测概率信息与目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

将对毫米波雷达信息处理得到的目标车辆位置预测概率信息（记为M1）与类别位置粗选单元RPN在Softmax激活后获得的目标车辆检测预测概率信息概率图（记为M2）进行加权叠加即可得到融合后的预测概率图；融合公式如下：

其中，M为融合后预测概率图，α为调整毫米波雷达信息占比的超参。

可选地，目标车辆位置预测概率信息包括对通过多个摄像头采集的车辆视觉图像进行检测到得到的车辆检测预测概率信息。其中，由于毫米波雷达的探测距离远大于视觉摄像头的探测距离，尤其是在雨雪天气的情况下视觉摄像头效果更是大打折扣，因此可以将多个摄像头的检测结果一起叠加，进而融合至雷达监测的目标车辆位置预测概率信息之中，同样通过聚类或其他方法减少重合检测问题，依次优化将进一步减少雨雪天气对车辆识别效果的影响。

根据本发明实施例中提供的雷达与视觉融合的车辆识别方法，针对毫米波雷达信息的预测概率和视觉图像的预测概率进行融合，利用毫米波雷达对于运动车辆敏感的特点以及摄像头能够更充分捕捉足够分辨物体的特征，提高车辆检出效果，尽可能避免倾向过于依赖使用某一种数据，实现能均衡使用毫米波雷达与摄像头获取的信息进行车辆检测。并且，仅需获取图像和对应时间的雷达图，并对图像中的车辆进行标定，无需成对标定雷达中的车辆，降低车辆检测整体流程的复杂度。

图7是本发明实施例中提供的一种雷达与视觉融合的车辆识别装置的结构框图。本发明实施例可适用于对车辆进行类别与位置识别的情况，尤其是在极端环境下对车辆进行类别与位置识别的情形。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图7所示，本申请实施例中提供的雷达与视觉融合的车辆识别装置，可包括：第一概率确定模块710第二概率确定模块720以及概率信息融合模块730。其中：

第一概率确定模块710，用于依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息；

第二概率确定模块720，用于将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息；

概率信息融合模块730，用于将目标车辆检测预测概率信息与所述目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

在上述实施例的基础上，可选地，第一概率确定模块710包括：

采用预设车辆检测模型中特征提取单元，从摄像头采集的目标车辆视觉图像中提取目标视觉图像特征信息；

将目标视觉图像特征信息送入预设车辆检测模型中类别位置粗选单元，经激励函数进行激活得到基于目标视觉图像特征进行车辆类别与位置检测时对应的目标车辆检测预测概率信息；

其中，所述类别位置粗选单元基于卷积神经网络进行训练构建，所述车辆检测预测概率信息包括预测识别车辆类别和位置时的正样本概率。

在上述实施例的基础上，可选地，第二概率确定模块720包括：

将毫米波雷达采集得到的目标车辆雷达信息送入预设车辆检测模型中的预训练车辆位置透视转换单元，转换得到目标车辆雷达信息对应的单通道概率信息；其中所述单通道概率信息包括车辆位置识别时的正样本概率；

依据目标车辆雷达信息对应的单通道概率信息，确定所述目标车辆位置预测概率信息；

其中，所述预训练车辆位置透视转换单元隐式学习毫米波雷达至视觉图像空间的变换关系，将雷达图像与视觉图像进行对齐。

在上述实施例的基础上，可选地，所述目标车辆雷达信息包括对毫米波雷达探测的障碍物相对毫米波雷达的方位信息进行转化，所得到的俯视角度下平面坐标；所述方位信息包括距离与角度。

在上述实施例的基础上，可选地，所述预训练车辆位置透视转换单元的构建过程，包括：

将训练用车辆雷达信息送入待训练的车辆位置透视转换单元，转换得到训练用车辆雷达信息对应的训练用单通道概率图；

确定训练用车辆视觉图像中预先标注的车辆标注框的中心点位置；所述训练用车辆雷达信息与训练用车辆视觉图像在同一采集区域同时采集；

依据车辆标注框的中心点位置，对训练用车辆视觉图像的中心点图进行高斯模糊处理弱化中心点周围的像素值，得到模糊后的中心点图；

根据所述训练用单通道概率图与模糊后的中心点图之间的损失值，通过反向传播对所述待训练车辆位置透视转换单元中可学习参数进行调整更新。

在上述实施例的基础上，可选地，依据目标车辆雷达信息对应的单通道概率信息确定所述目标车辆位置预测概率信息，包括：

对目标车辆雷达信息对应的单通道概率信息进行值翻转操作，得到翻转后的单通道概率信息；其中，所述翻转后的单通道概率信息包括车辆位置识别时的负样本概率；

将目标车辆雷达信息对应的单通道概率信息与翻转后的单通道概率信息进行拼接，得到目标车辆雷达信息对应的双通道概率信息；

将目标车辆雷达信息对应的双通道概率信息进行复制，得到所述目标车辆位置预测概率信息，且使所述目标车辆位置预测概率信息的尺寸与目标视觉图像特征信息的尺寸保持一致。

在上述实施例的基础上，可选地，所述目标车辆位置预测概率信息包括对通过多个摄像头采集的车辆视觉图像进行检测到得到的车辆检测预测概率信息。

本发明实施例中所提供的雷达与视觉融合的车辆识别装置可执行上述本发明任意实施例中所提供的雷达与视觉融合的车辆识别方法，具备执行该雷达与视觉融合的车辆识别方法相应的功能和有益效果，详细过程参见前述实施例中雷达与视觉融合的车辆识别方法的相关操作。

图8是本发明实施例中提供的一种电子设备的结构示意图。如图8所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器810和存储装置820；该电子设备中的处理器810可以是一个或多个，图8中以一个处理器810为例；存储装置820用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器810执行，使得所述一个或多个处理器810实现如本发明实施例中任一项所述的雷达与视觉融合的车辆识别方法。

该电子设备还可以包括：输入装置830和输出装置840。

该电子设备中的处理器810、存储装置820、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。

该电子设备中的存储装置820作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的驾驶检测模型的训练方法对应的程序指令/模块。处理器810通过运行存储在存储装置820中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中雷达与视觉融合的车辆识别方法。

存储装置820可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置830可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。

并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序进行如下操作：

依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息；

将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息；

将所述目标车辆检测预测概率信息与所述目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序还可以进行本发明任意实施例中所提供的雷达与视觉融合的车辆识别方法中的相关操作。

本发明实施例中提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时用于执行雷达与视觉融合的车辆识别方法，该方法包括：

依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息；

将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息；

将所述目标车辆检测预测概率信息与所述目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（Random AccessMemory，RAM）、只读存储器（Read Only Memory，ROM）、可擦式可编程只读存储器（ErasableProgrammable Read Only Memory，EPROM）、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率（RadioFrequency，RF）等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种雷达与视觉融合的车辆识别方法，其特征在于，所述方法包括：

依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息；所述车辆检测预测概率信息包括基于车辆视觉图像预测识别车辆类别和位置时的正样本概率，所述车辆检测预测概率信息是对目标车辆行驶前方区域进行车辆位置检测任务和细粒度的类型识别任务所得到的车辆类别与位置识别的预测概率图；

将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息；将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息，包括：将毫米波雷达采集得到的目标车辆雷达信息送入预设车辆检测模型中的预训练车辆位置透视转换单元，转换得到目标车辆雷达信息对应的单通道概率信息；其中所述单通道概率信息包括基于毫米波雷达信息进行车辆位置识别时的正样本概率；依据目标车辆雷达信息对应的单通道概率信息，确定车辆位置识别的预测概率图作为所述目标车辆位置预测概率信息；其中，所述预训练车辆位置透视转换单元隐式学习毫米波雷达至视觉图像空间的变换关系，将雷达图像与视觉图像进行对齐；预训练车辆位置透视转换单元的输入为毫米波雷达采集得到的车辆雷达信息，输出为转换至视觉图像坐标后的车辆雷达检测正样本概率图；目标车辆雷达信息与目标车辆视觉图像在同一采集时刻朝向同一采集区域得到；

将所述目标车辆检测预测概率信息与所述目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

2.根据权利要求1所述的方法，其特征在于，依据目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测概率信息，包括：

采用预设车辆检测模型中特征提取单元，从摄像头采集的目标车辆视觉图像中提取目标视觉图像特征信息；

将目标视觉图像特征信息送入预设车辆检测模型中类别位置粗选单元，经激励函数进行激活得到基于目标视觉图像特征进行车辆类别与位置检测时对应的目标车辆检测预测概率信息；

其中，所述类别位置粗选单元基于卷积神经网络进行训练构建，所述车辆检测预测概率信息包括预测识别车辆类别和位置时的正样本概率。

3.根据权利要求1所述的方法，其特征在于，所述目标车辆雷达信息包括对毫米波雷达探测的障碍物相对毫米波雷达的方位信息进行转化，所得到的俯视角度下平面坐标；所述方位信息包括距离与角度。

4.根据权利要求1所述的方法，其特征在于，所述预训练车辆位置透视转换单元的构建过程，包括：

将训练用车辆雷达信息送入待训练的车辆位置透视转换单元，转换得到训练用车辆雷达信息对应的训练用单通道概率图；

确定训练用车辆视觉图像中预先标注的车辆标注框的中心点位置；所述训练用车辆雷达信息与训练用车辆视觉图像在同一采集区域同时采集；

依据车辆标注框的中心点位置，对训练用车辆视觉图像的中心点图进行高斯模糊处理弱化中心点周围的像素值，得到模糊后的中心点图；

根据所述训练用单通道概率图与模糊后的中心点图之间的损失值，通过反向传播对待训练车辆位置透视转换单元中可学习参数进行调整更新。

5.根据权利要求1所述的方法，其特征在于，依据目标车辆雷达信息对应的单通道概率信息确定所述目标车辆位置预测概率信息，包括：

对目标车辆雷达信息对应的单通道概率信息进行值翻转操作，得到翻转后的单通道概率信息；其中，所述翻转后的单通道概率信息包括车辆位置识别时的负样本概率；

将目标车辆雷达信息对应的单通道概率信息与翻转后的单通道概率信息进行拼接，得到目标车辆雷达信息对应的双通道概率信息；

将目标车辆雷达信息对应的双通道概率信息进行复制，得到所述目标车辆位置预测概率信息，且使所述目标车辆位置预测概率信息的尺寸与目标视觉图像特征信息的尺寸保持一致。

6.根据权利要求1所述的方法，其特征在于，所述目标车辆位置预测概率信息包括对通过多个摄像头采集的车辆视觉图像进行检测到得到的车辆检测预测概率信息。

7.一种雷达与视觉融合的车辆识别装置，其特征在于，所述装置包括：

第一概率确定模块，用于依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息；所述车辆检测预测概率信息包括基于车辆视觉图像预测识别车辆类别和位置时的正样本概率，所述车辆检测预测概率信息是对目标车辆行驶前方区域进行车辆位置检测任务和细粒度的类型识别任务所得到的车辆类别与位置识别的预测概率图；

第二概率确定模块，用于将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息；将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息，包括：将毫米波雷达采集得到的目标车辆雷达信息送入预设车辆检测模型中的预训练车辆位置透视转换单元，转换得到目标车辆雷达信息对应的单通道概率信息；其中所述单通道概率信息包括基于毫米波雷达信息进行车辆位置识别时的正样本概率；依据目标车辆雷达信息对应的单通道概率信息，确定车辆位置识别的预测概率图作为所述目标车辆位置预测概率信息；其中，所述预训练车辆位置透视转换单元隐式学习毫米波雷达至视觉图像空间的变换关系，将雷达图像与视觉图像进行对齐；预训练车辆位置透视转换单元的输入为毫米波雷达采集得到的车辆雷达信息，输出为转换至视觉图像坐标后的车辆雷达检测正样本概率图；目标车辆雷达信息与目标车辆视觉图像在同一采集时刻朝向同一采集区域得到；

概率信息融合模块，用于将所述目标车辆检测预测概率信息与所述目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

8.一种电子设备，其特征在于，包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-6中任一所述的雷达与视觉融合的车辆识别方法。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-6中任一所述的雷达与视觉融合的车辆识别方法。

Images