CN112784679A - 车辆避障方法和装置 - Google Patents

Abstract

本申请提供一种车辆避障方法和装置，车辆避障方法包括：基于雷达采集雷达数据，基于摄像头采集视频数据；对雷达数据和视频数据进行预处理；基于雷达数据的权重特征和视频数据的权重特征，对经过预处理的雷达数据和视频数据进行融合，确定障碍物距离信息和障碍物方位信息；基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令。本申请提供的车辆避障方法和装置，通过对雷达数据和视频数据进行匹配，并基于两者的权重特征进行融合，根据融合结果确定障碍物距离信息和障碍物方位信息，从而结合车辆宽度信息和车辆行驶速度得到方向调整指令，能够实现车辆的准确避障，提高车辆的驾驶安全性能。

Description

车辆避障方法和装置

技术领域

本申请涉及无人驾驶技术领域，尤其涉及一种车辆避障方法和装置。

背景技术

随着车辆技术的发展，车辆越来越偏向于信息化和智能化，以无人驾驶技术为例，需要对车辆前方出现的障碍物进行检测，得到障碍物的相关信息，从而对车辆进行控制或者对驾驶员进行提醒以进行辅助驾驶。

目前利用单一传感器进行车辆前方行驶区域的危险目标的相关信息检测常常面临误检率，漏检率较高的问题，使用单一的传感器实现辅助驾驶的方法获取到的信息量少，识别结果不准确，不能适应复杂的公路环境。

发明内容

本申请提供一种车辆避障方法及装置，以实现障碍物距离信息和障碍物方位信息获取的置信度更加客观，能够提升对车辆避障的准确度。

本申请提供一种车辆避障方法，所述车辆避障方法包括：基于雷达采集雷达数据，基于摄像头采集视频数据；对所述雷达数据和所述视频数据进行预处理；基于所述雷达数据的权重特征和所述视频数据的权重特征，对经过预处理的所述雷达数据和所述视频数据进行融合，确定障碍物距离信息和障碍物方位信息；基于车辆宽度信息、车辆行驶速度、所述障碍物距离信息和所述障碍物方位信息，确定方向调整指令。

根据本申请提供的一种车辆避障方法，所述基于车辆宽度信息、车辆行驶速度、所述障碍物距离信息和所述障碍物方位信息，确定方向调整指令，包括：基于所述车辆宽度信息和所述车辆行驶速度，确定车辆预计轨迹；基于所述障碍物距离信息、所述障碍物方位信息以及所述车辆预计轨迹，确定所述方向调整指令。

根据本申请提供的一种车辆避障方法，所述对所述雷达数据和所述视频数据进行预处理，包括：对所述雷达数据和所述视频数据进行空间标定处理；对所述雷达数据和所述视频数据进行时间同步处理。

根据本申请提供的一种车辆避障方法，所述对所述雷达数据和所述视频数据进行空间标定处理，包括：将所述雷达数据的坐标系和所述视频数据的坐标系设置为重合。

根据本申请提供的一种车辆避障方法，所述对所述雷达数据和所述视频数据进行时间同步处理，包括：将所述雷达数据的各个时间点和所述视频数据的各个时间点对准。

根据本申请提供的一种车辆避障方法，所述雷达数据的权重特征为基于所述雷达对障碍物样本检测得到的第一检测距离以及所述障碍物样本对应的距离标签得到；所述视频数据的权重特征为基于所述摄像头对障碍物样本检测得到的第二检测距离以及所述障碍物样本对应的距离标签得到。

根据本申请提供的一种车辆避障方法，所述雷达数据的权重特征为所述第一检测距离和所述距离标签对应的第一协方差矩阵；所述视频数据的权重特征为所述第二检测距离和所述距离标签对应的第二协方差矩阵。

本申请还提供一种车辆避障装置，所述车辆避障装置包括：获取模块，用于基于雷达采集雷达数据，基于摄像头采集视频数据；匹配模块，用于对所述雷达数据和所述视频数据进行预处理；融合模块，用于基于所述雷达数据的权重特征和所述视频数据的权重特征，对经过预处理的所述雷达数据和所述视频数据进行融合，确定障碍物距离信息和障碍物方位信息；确定模块，用于基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令。

根据本申请提供的一种车辆避障装置，所述确定模块包括：第一确定子模块，用于基于所述车辆宽度信息和所述车辆行驶速度，确定车辆预计轨迹；第二确定子模块，用于基于障碍物距离信息、障碍物方位信息以及所述车辆预计轨迹，确定所述方向调整指令。

根据本申请提供的一种车辆避障装置，所述匹配模块包括：第一匹配子模块，用于对雷达数据和视频数据进行空间标定处理。第二匹配子模块，用于对雷达数据和视频数据进行时间同步处理。

本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述车辆避障方法的步骤。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述车辆避障方法的步骤。

本申请提供的车辆避障方法，通过对雷达数据和视频数据进行匹配，并基于两者的权重特征进行融合，根据融合结果确定障碍物距离信息和障碍物方位信息，从而结合车辆宽度信息和车辆行驶速度得到方向调整指令，使得障碍物距离信息和障碍物方位信息获取的置信度更加客观，能够实现车辆的准确避障，提高车辆的驾驶安全性能。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的车辆避障方法的流程示意图之一；

图2是本申请提供的车辆避障方法的流程示意图之二；

图3是本申请提供的车辆避障方法的流程示意图之三；

图4是本申请提供的车辆避障装置的结构示意图；

图5是本申请提供的车辆避障装置的匹配模块的结构示意图；

图6是本申请提供的车辆避障装置的确定模块的结构示意图；

图7是本申请提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合图1-图5描述本申请的车辆避障方法和装置。

需要说明的是，该车辆避障方法使用雷达和摄像头搭配使用，来检测车辆前方的障碍物，雷达和摄像头可以安装于车辆的车头，比如可以安装于车辆的保险杠位置。

这种车辆避障方法可以适用于各种类型的车辆，比如，车辆可以为汽车、卡车、物流车、垃圾车、扫地车，或者其它具有行走功能的车辆。车辆前方的障碍物可以为机动车、行人、自行车、电动车或者动物等运动物体，还可以为护栏、信号灯柱或者道旁树等交通设施或市政公共设施。

如图1所示，本申请提供一种车辆避障方法，该车辆避障方法包括如下步骤110-步骤140。

其中，步骤110：基于雷达采集雷达数据，基于摄像头采集视频数据。

雷达可以为：激光雷达、毫米波雷达或超声波雷达等。

此处以毫米波雷达为例，毫米波雷达是工作在毫米波波段(millimeter wave)探测的雷达，工作频段一般为24GHz～300GHz，波长1～10mm，介于微波和厘米波之间，通过向障碍物发射电磁波并接收回波来精确探测目标的方向和距离，其全天候全天时以及准确的测速测距。兼具有微波雷达和光电雷达的一些优点，同超声波雷达相比，毫米波雷达具有体积小、质量轻和空间分辨率高的特点。与红外、激光、摄像头等光学传感器相比，毫米波雷达穿透雾、烟、灰尘的能力强，具有全天候全天时的特点。另外，毫米波雷达的抗干扰能力也优于其他车载传感器。运用在车辆上的毫米波雷达的工作频率可以为24GHz和77GHz。

与此同时，激光雷达也是在自动驾驶领域非常重要的传感器，激光雷达利用激光来进行对目标进行探测，通过每分钟600转或1200转的进行扫射，它能非常详细的获得一个实时的三维点云数据，包括目标的三维坐标、距离、方位角、反射激光的强度、激光编码、时间等等，常用的有单线、4线、16线、32线、64线和128线束的，是一个高精度的传感器，而且其稳定性好、鲁棒性高，然而激光雷达成本较高，另外，激光受大气及气象影响大，大气衰减和恶劣天气使作用距离降低，大气湍流会降低激光雷达的测量精度，激光束窄的情况难以搜索目标和捕获目标。一般先由其他设备实施大空域和快速粗捕目标，然后交由激光雷达对目标进行精密跟踪测量。

摄像头可以为：单目摄像头、双目立体视觉摄像头、全景视觉摄像头和红外摄像头，此处以单目摄像头为例，单目摄像头能够拍摄到车辆前方的视频。

单目相机主要用于特征类符号的检测与识别，如车道线检测、交通标志识别、交通灯识别、行人和车辆检测等，尽管目前来说视觉检测可靠性并不是很高，但是基于机器学习的视觉计算在自动驾驶普及之日一定会是必不可少的部分。

雷达和摄像头都朝向车辆前方区域，在安装雷达和摄像头时，可以将雷达的视场和摄像头的视场设置为重合，即确保两者的采集范围大致相同。

雷达能够采集到包含障碍物的雷达数据，摄像头能够采集到包含障碍物的视频数据，雷达数据和视频数据的格式都是以时间点为顺序的连续文件。

在实际应用中，雷达向外部发射电磁波，接收到障碍物反射雷达信号，将雷达信号进行处理，可以得到随着时间变化的点迹形式的雷达数据，这种雷达数据包含了障碍物的距离、方位和俯仰值，可以对雷达信号进行预处理，比如可以进行多圈扫描获得的量测集进行关联得到障碍物的航迹，可以通过滤波算法、数据处理修正雷达数据的误差。

摄像头能够拍摄到障碍物的多帧图像，随着时间推移，多帧图像就形成了视频数据，视频数据是指连续的图像序列，其实质是由一组连续的图像构成的，对于图像本身而言，除了其出现的先后顺序外，并没有任何结构信息。

步骤120：对雷达数据和视频数据进行预处理。

可以理解的是，雷达数据和视频数据的格式不相同，此处对雷达数据和视频数据的格式进行调整，比如可以对雷达数据和视频数据的每一帧的大小进行缩放，使得雷达数据和视频数据能够对应匹配，使得截取到的某一时刻的雷达数据和视频数据能够用于描述同一障碍物。

步骤130：基于雷达数据的权重特征和视频数据的权重特征，对经过预处理的雷达数据和视频数据进行融合，确定障碍物距离信息和障碍物方位信息。

可以理解的是，雷达数据的权重特征和视频数据的权重特征是在对车辆调试时已经确定的，雷达数据的权重特征和雷达本身的物理特征有关，能够表征雷达的识别准确度，视频数据的权重特征和摄像头的物理特征有关，能够表征摄像头的识别准确度。

此处将经过匹配处理的雷达数据和视频数据放到一起，根据雷达数据和视频数据的权重特征对雷达数据和视频数据进行赋权，来决定雷达数据和视频数据的各自占比，比如雷达数据占比60％，视频数据占比40％，此时对雷达数据和视频数据进行融合，可以对雷达数据的对应的点迹和视频数据对应的像素点进行搜索匹配后融合输出，换言之，雷达数据是由多个点迹构成的，视频数据是由多个像素点构成的，此处将雷达数据的多个点迹与视频数据的多个像素点按照时间顺序和空间顺序进行对应匹配，从而将雷达数据和视频数据融合起来，得到融合数据，比如：可以将雷达数据中的特征点按照60％的比例进行赋权处理，对视频数据中的特征点按照40％的比例进行赋权处理，再将经过赋权处理的雷达数据的特征点和经过赋权处理的雷达数据的特征点进行叠加，也就是将雷达数据中的各个特征点和视频数据中的各个特征点按照权重特征进行叠加处理，得到融合数据，比如60％x+40％y＝z，其中x表示雷达数据的特征点，y表示视频数据的特征点，z表示融合数据的特征点。

在融合数据中包含着障碍物的方位信息，障碍物方位信息可以包括障碍物的位置和障碍物的运动方向。

在融合数据中包含着障碍物的距离信息，障碍物距离信息表征障碍物和车辆的距离。

步骤140：基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令。

可以理解的是，根据障碍物距离信息和障碍物方位信息，就可以判断障碍物与车辆的相对位置关系，由于车辆宽度信息是确定的，车辆行驶速度也可以被检测到，就能够根据障碍物与车辆的相对位置关系以及车辆行驶速度和车辆宽度信息来判断车辆是否会撞到障碍物。

若可能撞到障碍物，由于车辆行驶速度包括车辆行驶方向，可以根据车辆宽度信息，来判断车辆的宽度方向的边界要避开障碍物，车辆轮胎所需要偏转的角度，根据车辆的传动设计，可以计算出方向盘偏转角度，将方向盘偏转角度作为方向调整指令。

若不会撞到障碍物，此时方向调整指令为不调整车辆的行驶方向。

值得注意的是，毫米波雷达主要是通过对目标物体发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂，单目摄像头需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离。摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别和行人识别准确度等方面有优势，是实现车道偏离预警和交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照和天气等因素的影响。毫米波雷达受光照和天气因素影响较小，测距精度高，但难以识别车道线和交通标志等元素。另外，毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标相关信息探测。

值得一提的是，雷达设备本身具有置信度，雷达的置信度是根据雷达设备的物理特征得到的，摄像头设备本身也有置信度，摄像头的置信度与障碍物的类型、摄像头的帧率和摄像头的采集频率等参数相关，融合雷达数据和视频数据来得到障碍物数据的这种融合方案的置信度为：将相机的置信度和雷达的置信度求和，若求和结果大于等于1，则融合方案的置信度为1，若求和结果小于1，则融合方案的置信度等于求和结果，经过实验验证，发现融合雷达数据和视频数据来得到障碍物数据的这种融合方案的置信度更加客观，且融合了雷达数据和视频数据后得到的障碍物方位信息更能反映障碍物的真实运动情况，能够消除雷达和摄像头各自的测量误差，得到的障碍物的相关信息更加准确。

雷达单独测量障碍物的相关信息的方案，是直接从雷达数据中提取障碍物相关信息，摄像头单独测量障碍物的相关信息的方案，是直接从视频数据中提取障碍物相关信息，如果直接将障碍物相关信息进行简单平均，这样就会丢失掉一些信息，使得雷达数据和视频数据不能得到充分应用，本申请这种融合方案是将雷达数据和视频数据直接融合，融合后得到的障碍物方位信息完整保留了雷达数据和视频数据，能够充分应用雷达数据和视频数据中的重要信息，更能体现障碍物的真实运动情况，使得对障碍物的相关信息测量更加精准。

本申请提供的车辆避障方法，通过对雷达数据和视频数据进行匹配，并基于两者的权重特征进行融合，根据融合结果确定障碍物距离信息和障碍物方位信息，从而结合车辆宽度信息和车辆行驶速度得到方向调整指令，使得障碍物距离信息和障碍物方位信息获取的置信度更加客观，能够实现车辆的准确避障，提高车辆的驾驶安全性能。

如图2所示，在一些实施例中，上述步骤120：对雷达数据和视频数据进行预处理，包括：如下步骤121-步骤122。

其中，步骤121：对雷达数据和视频数据进行空间标定处理。

可以理解的是，空间标定处理指的是将雷达数据和视频数据的空间状态调整到统一参考系下，可以将雷达数据的坐标系和视频数据的坐标系设置为重合。

可以理解的是，可以建立精确的雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，雷达数据与视频数据的坐标系设置为重合就是将不同坐标系的测量值转换到同一个坐标系中。由于摄像头采集到的视频数据以视觉为主，可以将雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下，根据以上转换关系，可以得到雷达坐标系和摄像机像素坐标系之间的转换关系，就能够实现将雷达数据的坐标系和视频数据的坐标系设置为重合。

步骤122：对雷达数据和视频数据进行时间同步处理。

可以理解的是，时间同步处理指的是将雷达数据的时序表示和视频数据的时序表示可以为将雷达数据的各个时间点和视频数据的各个时间点对准。

可以理解的是，雷达数据和视频数据可以通过摄像头和雷达在时间上同步采集数据实现时间同步，比如毫米波雷达的采样周期为50ms，即采样帧速率为20帧/秒，而摄像机采样帧速率为25帧/秒。为了保证数据的可靠性，以摄像机采样速率为基准，摄像机每采一帧图像，选取毫米波雷达上一帧缓存的数据，即完成共同采样一帧雷达数据与视频数据的时间对准，从而保证了雷达数据和视频数据时间上的同步。

在一些实施例中，雷达数据的权重特征基于雷达对障碍物样本检测得到的第一检测距离以及障碍物样本对应的距离标签得到；视频数据的权重特征基于摄像头对障碍物样本检测得到的第二检测距离以及障碍物样本对应的距离标签得到。

可以理解的是，可以获取目标样本以及目标样本对应的距离标签；基于雷达对目标样本的检测，得到第一检测距离，基于摄像头对目标样本的检测，得到第二检测距离；基于第一检测距离和距离标签，得到雷达数据的权重特征，基于第二检测距离和距离标签，得到视频数据的权重特征。

换言之，在车辆调试期间，对雷达和摄像头进行测试，仿真出多个目标样本，每个目标样本具有对应的距离标签，距离标签可以是目标样本的真实距离值。

利用雷达对目标样本进行检测，得到第一检测距离，将第一检测距离和距离标签进行对比，得到雷达的权重特征，雷达的权重特征表征雷达的识别准确程度；同时利用摄像头对目标样本进行检测，得到第二检测距离，将第二检测距离和距离标签进行对比，得到摄像头的权重特征，摄像头的权重特征表征摄像头的识别准确程度。

在一些实施例中，雷达数据的权重特征为第一检测距离和距离标签对应的第一协方差矩阵；视频数据的权重特征为第二检测距离和距离标签对应的第二协方差矩阵。

可以理解的是，协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

简单理解协方差矩阵如下，可以分别为m与n个标量元素的列向量随机变量X与Y，这两个变量之间的协方差定义为m×n矩阵，其中X包含变量X1，X2，......，Xm，Y包含变量Y1，Y2，......，Yn，假设X1的期望值为μ1，Y2的期望值为μ2，那么在协方差矩阵中(1,2)的元素就是X1和Y2的协方差，协方差矩阵能够清楚地表示出两个变量之间的相关度。

如图3所示，在一些实施例中，步骤140：基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令，包括如下步骤141-步骤142。

步骤141：基于车辆宽度信息和车辆行驶速度，确定车辆预计轨迹。

可以理解的是，车辆行驶速度包含车辆行驶方向和车辆移动速率，可以根据车辆行驶速度和车辆宽度信息，模拟出车辆预计轨迹，也就是车辆在一定时间内可能的行驶覆盖区域，要确保车辆不发生碰撞事故，就要求该行驶覆盖区域不存在障碍物。

步骤142：基于障碍物距离信息、障碍物方位信息以及车辆预计轨迹，确定方向调整指令。

可以理解的是，根据障碍物距离信息和障碍物方位信息就能够判断出障碍物和车辆的相对位置关系，从而判断障碍物是否在车辆的行驶覆盖区域，若障碍物在车辆的行驶覆盖区域，则车辆需要调整方向，若障碍物不在车辆的行驶覆盖区域，则车辆不需要调整方向。

下面对本申请提供的车辆避障装置进行描述，下文描述的车辆避障装置与上文描述的车辆避障方法可相互对应参照。

如图4所示，本申请实施例还提供一种车辆避障装置，车辆避障装置包括：获取模块410、匹配模块420、融合模块430和确定模块440。

其中，获取模块410用于基于雷达采集雷达数据，基于摄像头采集视频数据。

匹配模块420用于对雷达数据和视频数据进行预处理。

融合模块430用于基于雷达数据的权重特征和视频数据的权重特征，对经过预处理的雷达数据和视频数据进行融合，确定障碍物距离信息和障碍物方位信息。

确定模块440用于基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令。

在一些实施例中，雷达数据的权重特征基于雷达对障碍物样本检测得到的第一检测距离以及障碍物样本对应的距离标签得到；视频数据的权重特征基于摄像头对障碍物样本检测得到的第二检测距离以及障碍物样本对应的距离标签得到。

在一些实施例中，雷达数据的权重特征为第一检测距离和距离标签对应的第一协方差矩阵；视频数据的权重特征为第二检测距离和距离标签对应的第二协方差矩阵。

如图5所示，在一些实施例中，匹配模块420包括：第一匹配子模块421和第二匹配子模块422。

第一匹配子模块421用于对雷达数据和视频数据进行空间标定处理。

第二匹配子模块422用于对雷达数据和视频数据进行时间同步处理。

在一些实施例中，第一匹配子模块421还用于将雷达数据的坐标系和视频数据的坐标系设置为重合。

在一些实施例中，第二匹配子模块422还用于将雷达数据的各个时间点和视频数据的各个时间点对准。

如图6所示，在一些实施例中，确定模块440包括：第一确定子模块441和第二确定子模块442。

第一确定子模块441用于基于车辆宽度信息和车辆行驶速度，确定车辆预计轨迹。

第二确定子模块442用于基于障碍物距离信息、障碍物方位信息以及车辆预计轨迹，确定方向调整指令。

本申请实施例提供的车辆避障装置用于执行上述车辆避障方法，其具体的实施方式与方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行车辆避障方法，该车辆避障方法包括：基于雷达采集雷达数据，基于摄像头采集视频数据；对雷达数据和视频数据进行预处理；基于雷达数据的权重特征和视频数据的权重特征，对经过预处理的雷达数据和视频数据进行融合，确定障碍物距离信息和障碍物方位信息；基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供的电子设备中的处理器710可以调用存储器730中的逻辑指令，实现上述车辆避障方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

另一方面，本申请还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的车辆避障方法，该车辆避障方法包括：基于雷达采集雷达数据，基于摄像头采集视频数据；对雷达数据和视频数据进行预处理；基于雷达数据的权重特征和视频数据的权重特征，对经过预处理的雷达数据和视频数据进行融合，确定障碍物距离信息和障碍物方位信息；基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令。

与此同时，本申请还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的车辆避障方法，基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令，包括：基于车辆宽度信息和车辆行驶速度，确定车辆预计轨迹；基于障碍物距离信息、障碍物方位信息以及车辆预计轨迹，确定方向调整指令。

与此同时，本申请还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的车辆避障方法，对雷达数据和视频数据进行预处理，包括：对雷达数据和视频数据进行空间标定处理；对雷达数据和视频数据进行时间同步处理。

本申请实施例提供的计算机程序产品被执行时，实现上述车辆避障方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的车辆避障方法，该车辆避障方法包括：基于雷达采集雷达数据，基于摄像头采集视频数据；对雷达数据和视频数据进行预处理；基于雷达数据的权重特征和视频数据的权重特征，对经过预处理的雷达数据和视频数据进行融合，确定障碍物距离信息和障碍物方位信息；基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令。

与此同时，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的车辆避障方法，基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令，包括：基于车辆宽度信息和车辆行驶速度，确定车辆预计轨迹；基于障碍物距离信息、障碍物方位信息以及车辆预计轨迹，确定方向调整指令。

与此同时，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的车辆避障方法，对雷达数据和视频数据进行预处理，包括：对雷达数据和视频数据进行空间标定处理；对雷达数据和视频数据进行时间同步处理。

本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述车辆避障方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种车辆避障方法，其特征在于，包括：

基于雷达采集雷达数据，基于摄像头采集视频数据；

对所述雷达数据和所述视频数据进行预处理；

基于所述雷达数据的权重特征和所述视频数据的权重特征，对经过预处理的所述雷达数据和所述视频数据进行融合，确定障碍物距离信息和障碍物方位信息；

基于车辆宽度信息、车辆行驶速度、所述障碍物距离信息和所述障碍物方位信息，确定方向调整指令。

2.根据权利要求1所述的车辆避障方法，其特征在于，所述基于车辆宽度信息、车辆行驶速度、所述障碍物距离信息和所述障碍物方位信息，确定方向调整指令，包括：

基于所述车辆宽度信息和所述车辆行驶速度，确定车辆预计轨迹；

基于所述障碍物距离信息、所述障碍物方位信息以及所述车辆预计轨迹，确定所述方向调整指令。

3.根据权利要求1所述的车辆避障方法，其特征在于，所述对所述雷达数据和所述视频数据进行预处理，包括：

对所述雷达数据和所述视频数据进行空间标定处理；

对所述雷达数据和所述视频数据进行时间同步处理。

4.根据权利要求3所述的车辆避障方法，其特征在于，所述对所述雷达数据和所述视频数据进行空间标定处理，包括：

将所述雷达数据的坐标系和所述视频数据的坐标系设置为重合。

5.根据权利要求4所述的车辆避障方法，其特征在于，所述对所述雷达数据和所述视频数据进行时间同步处理，包括：

将所述雷达数据的各个时间点和所述视频数据的各个时间点对准。

6.根据权利要求1-5中任一项所述的车辆避障方法，其特征在于，所述雷达数据的权重特征为基于所述雷达对障碍物样本检测得到的第一检测距离以及所述障碍物样本对应的距离标签得到；

所述视频数据的权重特征为基于所述摄像头对障碍物样本检测得到的第二检测距离以及所述障碍物样本对应的距离标签得到。

7.根据权利要求6所述的车辆避障方法，其特征在于，

所述雷达数据的权重特征为所述第一检测距离和所述距离标签对应的第一协方差矩阵；

所述视频数据的权重特征为所述第二检测距离和所述距离标签对应的第二协方差矩阵。

8.一种车辆避障装置，其特征在于，包括：

获取模块，用于基于雷达采集雷达数据，基于摄像头采集视频数据；

匹配模块，用于对所述雷达数据和所述视频数据进行预处理；

融合模块，用于基于所述雷达数据的权重特征和所述视频数据的权重特征，对经过预处理的所述雷达数据和所述视频数据进行融合，确定障碍物距离信息和障碍物方位信息；

确定模块，用于基于车辆宽度信息、车辆行驶速度、障碍物距离信息和障碍物方位信息，确定方向调整指令。

9.根据权利要求8所述的车辆避障装置，其特征在于，所述确定模块包括：

第一确定子模块，用于基于所述车辆宽度信息和所述车辆行驶速度，确定车辆预计轨迹；

第二确定子模块，用于基于障碍物距离信息、障碍物方位信息以及所述车辆预计轨迹，确定所述方向调整指令。

10.根据权利要求8所述的车辆避障装置，其特征在于，所述匹配模块包括：

第一匹配子模块，用于对雷达数据和视频数据进行空间标定处理；

第二匹配子模块，用于对雷达数据和视频数据进行时间同步处理。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述车辆避障方法的步骤。

12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述车辆避障方法的步骤。

Images