CN111060904A - 一种基于毫米波与视觉融合感知的盲区监测方法 - Google Patents

Abstract

本发明提供了一种基于毫米波与视觉融合感知的盲区监测方法，包括以下步骤：S1、分别对毫米波雷达和视觉传感器进行标定，然后进行两种传感器的联合标定及外参标定；S2、基于毫米波雷达对目标的有效确定；S3、基于机器视觉传感器对障碍物的有效识别；S4、基于毫米波雷达与机器视觉融合模型的搭建；S5、根据不同类别的障碍物采取不同的报警方式和信息提示方式。本发明所述的基于毫米波与视觉融合感知的盲区监测方法采用毫米波与视觉融合感知并盲区监测方法，提高系统的鲁棒性，使盲区监测系统更加稳定可靠。

Description

一种基于毫米波与视觉融合感知的盲区监测方法

技术领域

本发明属于无人驾驶技术领域，尤其是涉及一种基于毫米波与视觉融合感知的盲区监测方法。

背景技术

当车辆在道路上行驶时，驾驶员会通过车辆两侧的后视镜观察车辆两侧后方的交通情况，但由于车辆自身结构的缺陷和后视镜视野角度的问题，在车辆的两侧和车辆后方就会存在视线盲区。尤其当驾驶员有变道行为时，就会存在很大的安全隐患。

盲区监测系统就是利用环境感知传感器监测相邻车道有没有车辆靠近，以及后视镜盲区里有没有车辆。当有车辆靠近本车或有障碍物进入盲区的时候，系统就会发出警报，并通过声音、灯光等方式提醒驾驶员。盲区监测系统的存在大大地降低了变道时发生碰撞事故的可能性，可以有效的防止危险的发生。

目前多数的盲区监测系统及产品均采用毫米波雷达对盲区的车辆或行人进行探测，但是，由于毫米波雷达是利用目标对电磁波的反射来发现并测定目标位置，而充满电磁干扰的真实实车场景给其在障碍物探测方面带来不可回避的误差较大的问题，很容易造成盲区监测系统的误报警或系统失效，对车辆行驶安全性带来负面影响。

发明内容

有鉴于此，本发明旨在提出一种基于毫米波与视觉融合感知的盲区监测方法，以解决现有的盲区监测系统探测误差大，并且容易出现误报警或系统失效问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于毫米波与视觉融合感知的盲区监测方法，包括以下步骤：

S1、分别对毫米波雷达和视觉传感器进行标定，然后进行两种传感器的联合标定及外参标定；

S2、基于毫米波雷达对目标的有效确定；

S3、基于机器视觉传感器对障碍物的有效识别；

S4、基于毫米波雷达与机器视觉融合模型的搭建；

S5、根据不同类别的障碍物采取不同的报警方式和信息提示方式。

进一步的，所述步骤S1中对毫米波雷达的标定方法如下：

S111、将车辆停放在直线型的车道中央；

S112、测量毫米波雷达安装偏差，填写的标定程序配置文件中，其中毫米波雷达偏左时，偏差值为正，偏右为负；

S113、测量车道宽度及车辆宽度尺寸填写到标定程序配置文件中；

S114、配合车辆沿当前车道向前行驶设定的距离，如果期间车辆总能保持在本车道内为标定成功标准；如果车辆行驶一段距离后显示不在本车道内部，即目标车辆脱离标定软件绘制的车道参考线，通过修改标定程序配置文件中的YAW值，重新加载程序观察结果，直到达到标定完成的标准为止，此时标定程序配置文件中的YAW值即为雷达安装的横摆角。

进一步的，所述步骤S1中，对视觉传感器的标定方法如下：

基于张正友标定原理求出摄像机的畸变参数，对空间上坐标转换关系进行修正。

进一步的，所述步骤S1中，对毫米波雷达和视觉传感器两种传感器的联合标定，方法如下：

S121、毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中；

转换矩阵是由两部分组成：由角度所带来的旋转矩阵以及平移产生的平移矩阵；其中平移矩阵的平移量理解为毫米波设备在世界坐标系的坐标，即：毫米波到相机的距离。平移矩阵通过测距工具实际测量得到，此时设定旋转矩阵为0；

S122、将世界坐标系的坐标转换到相机坐标系；

S123、将相机坐标系的坐标转换到图像坐标系。

进一步的，所述步骤S2中，基于毫米波雷达对目标进行有效确定的方法具体如下：

利用噪声自适应的扩展卡尔曼滤波NA-EKF算法在线调整测距观测器过程的噪声方差和量测噪声方差，并调整测距状态观测器增益，以解决假定迭代过程中的噪声量测方差不随时间变化，而导致的算法估计的结果存在误差的问题。

进一步的，所述步骤S3中，基于机器视觉传感器对障碍物的有效识别的方法，具体如下：

S301、在盲区监测系统试验过程中，采集真实实车视觉样本特征数据；

S302、对所采集到的视觉样本特征统一进行灰度化和归一化处理，建立30×30像素的样本库，形成训练样本集；

S303、对视觉样本特征进行提取，并用矩形框进行标注；利用Adaboost建立相同数据量规模的弱分类器；

S304、通过将不同弱分类器赋予不同大小的权值，并进行加权相加，转变成强分类器。

进一步的，所述步骤S4中，毫米波雷达与机器视觉融合感知的具体方法如下：

S401、以视觉采样速率为基准，毫米波雷达的上一帧数据与视觉当前帧的数据进行匹配，实现二者时间上的融合，从而保证了毫米波雷达数据和摄像机数据时间上的同步；

S402、通过毫米波雷达采集得到障碍物数据，获取障碍物位置坐标；

S403、将障碍物坐标点进行转化，得到在视觉图上的像素坐标。

进一步的，所述步骤S5的具体方法如下：

通过毫米波雷达获取盲区内障碍物的距离本车的距离信息，以及障碍物的相对速度信息，而视觉传感器用于判断障碍物的种类，将障碍物分为车辆、自行车或摩托车、行人等三大类，最后对不同相对速度，不同种类的障碍物进行不同的报警声音设置，在左右后视镜外侧的LED报警灯也以不同的形式进行表现。

相对于现有技术，本发明所述的基于毫米波与视觉融合感知的盲区监测方法具有以下优势：

(1)本发明所述的基于毫米波与视觉融合感知的盲区监测方法可以针对毫米波雷达由于外界复杂天气条件下的外部环境给其带来无法避免的虚警问题，造成盲区监测系统的误报警或系统失效，对车辆行驶安全性带来负面影响；采用毫米波与视觉融合感知并盲区监测方法，提高系统的鲁棒性，使盲区监测系统更加稳定可靠。

(2)本发明所述的基于毫米波与视觉融合感知的盲区监测方法可对盲区内的物体进行准确的识别及分类，并对不同类别的障碍物采取不同的报警方式和信息提示方式，进一步提高驾驶员对盲区内障碍物的感知能力。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是基于毫米波与视觉融合感知的盲区监测方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示为一种基于毫米波与视觉融合感知的盲区监测方法，包括以下步骤：

步骤S1)，分别对毫米波雷达和视觉传感器进行标定，然后进行两种传感器的联合标定及外参标定，毫米波雷达的标定包括：

a、将车辆停放在笔直的车道中央(有车道线，长度大约150米)；

b、测量雷达安装偏差(相对于车辆纵轴线中央)，填写的标定程序配置文件中(雷达偏左偏差值为正，偏右为负)；

c、测量车道宽度及车辆宽度尺寸填写到标定程序配置文件中；

d、配合车辆沿当前车道向前行驶大约150米，期间车辆总能保持在本车道内为标定成功标准。如果车辆行驶一段距离后显示不在本车道内部(标定软件绘制车道参考线和目标车辆)，通过修改标定程序配置文件中的YAW值，重新加载程序观察结果，直到达到标定完成的标准为止。此时标定程序配置文件中的YAW值即为雷达安装的横摆角。

视觉传感器的标定包括：

基于张正友标定原理求出了摄像机的畸变参数，对空间上坐标转换关系进行了修正。

本专利申请中的视觉传感器可以采用相机，两种传感器的联合标定：

a、毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中；

转换矩阵是由两部分组成：由角度所带来的旋转矩阵以及平移产生的平移矩阵。其中平移矩阵的平移量可以理解为毫米波设备在世界坐标系的坐标，即：毫米波到相机的距离。平移矩阵可以通过测距工具实际测量得到，此时设定旋转矩阵为0。

b、将世界坐标系的坐标转换到相机坐标系；

c、将相机坐标系的坐标转换到图像坐标系。

需要说明的是，外参标定指的是毫米波雷达和视觉传感器各自坐标系之间的相对旋转角和相对平移量进行标定。

步骤S2)，基于毫米波雷达的有效目标确定；

基于毫米波雷达对车辆盲区内的障碍物进行识别，传统的方法是使用扩展卡尔曼滤波算法EKF对相对障碍物的距离信息、相对速度信息，通过迭代滤波器进行更新，从而预测障碍物的位置及速度信息，但扩展卡尔曼滤波算法中，假定迭代过程中的噪声量测方差不随时间变化，这样便会导致算法估计的结果存在一定误差，因此，为了解决上述问题，本专利以量测量为突破点，对其充分分析发现，可以对其残差进行理论推导，从而推导出噪声自适应的扩展卡尔曼滤波NA-EKF算法。该算法主要通过在线调整测距观测器过程的噪声方差和量测噪声方差，并调整测距状态观测器增益，从而解决假定迭代过程中的噪声量测方差不随时间变化，而导致的算法估计的结果存在误差的问题。

步骤S3)，基于视觉算法的障碍物识别方法；

基于视觉算法的障碍物识别方法。在盲区监测系统试验过程中，采集了大量的真实实车视觉样本数据，首先，对所采集到的视觉样本统一进行灰度化和归一化处理，建立30×30像素的样本库，进而形成训练样本集；其次，对上述样本特征进行提取，并用矩形框进行标注；利用Adaboost建立相同数据量规模的弱分类器，最终，通过将不同弱分类器赋予不同大小的权值，并进行加权相加，转变成强分类器。

步骤S4)，毫米波与机器视觉融合感知。

a、为了保证数据的可靠性，以视觉采样速率为基准，毫米波雷达的上一帧数据与视觉当前帧的数据进行匹配，实现二者时间上的融合，从而保证了毫米波雷达数据和摄像机数据时间上的同步；

b、通过毫米波雷达采集得到障碍物数据，获取障碍物位置坐标；

c、将障碍物坐标点进行转化，得到在视觉图上的像素坐标。

步骤S5)，根据不同类别的障碍物采取不同的报警方式和信息提示方式。通过毫米波可以准确获取盲区内障碍物的距离本车的距离信息，以及障碍物的相对速度信息，而视觉传感器可以准确的判断障碍物的种类，具体而言，可以将障碍物分为车辆、自行车或摩托车、行人等三大类，最后对不同相对速度，不同种类的障碍物进行不同的报警声音设置，在左右后视镜外侧的LED报警灯也以不同的形式进行表现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于毫米波与视觉融合感知的盲区监测方法，其特征在于，包括以下步骤：

S1、分别对毫米波雷达和视觉传感器进行标定，然后进行两种传感器的联合标定及外参标定；

S2、基于毫米波雷达对目标的有效确定；

S3、基于机器视觉传感器对障碍物的有效识别；

S4、基于毫米波雷达与机器视觉融合模型的搭建；

S5、根据不同类别的障碍物采取不同的报警方式和信息提示方式。

2.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于：所述步骤S1中对毫米波雷达的标定方法如下：

S111、将车辆停放在直线型的车道中央；

S112、测量毫米波雷达安装偏差，填写的标定程序配置文件中，其中毫米波雷达偏左时，偏差值为正，偏右为负；

S113、测量车道宽度及车辆宽度尺寸填写到标定程序配置文件中；

S114、配合车辆沿当前车道向前行驶设定的距离，如果期间车辆总能保持在本车道内为标定成功标准；如果车辆行驶一段距离后显示不在本车道内部，即目标车辆脱离标定软件绘制的车道参考线，通过修改标定程序配置文件中的YAW值，重新加载程序观察结果，直到达到标定完成的标准为止，此时标定程序配置文件中的YAW值即为雷达安装的横摆角。

3.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于，所述步骤S1中，对视觉传感器的标定方法如下：

基于张正友标定原理求出摄像机的畸变参数，对空间上坐标转换关系进行修正。

4.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于，所述步骤S1中，对毫米波雷达和视觉传感器两种传感器的联合标定，方法如下：

S121、毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中；

转换矩阵是由两部分组成：由角度所带来的旋转矩阵以及平移产生的平移矩阵；其中平移矩阵的平移量理解为毫米波设备在世界坐标系的坐标，即：毫米波到相机的距离。平移矩阵通过测距工具实际测量得到，此时设定旋转矩阵为0；

S122、将世界坐标系的坐标转换到相机坐标系；

S123、将相机坐标系的坐标转换到图像坐标系。

5.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于，所述步骤S2中，基于毫米波雷达对目标进行有效确定的方法具体如下：

利用噪声自适应的扩展卡尔曼滤波NA-EKF算法在线调整测距观测器过程的噪声方差和量测噪声方差，并调整测距状态观测器增益，以解决假定迭代过程中的噪声量测方差不随时间变化，而导致的算法估计的结果存在误差的问题。

6.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于：所述步骤S3中，基于机器视觉传感器对障碍物的有效识别的方法，具体如下：

S301、在盲区监测系统试验过程中，采集真实实车视觉样本特征数据；

S302、对所采集到的视觉样本特征统一进行灰度化和归一化处理，建立30×30像素的样本库，形成训练样本集；

S303、对视觉样本特征进行提取，并用矩形框进行标注；利用Adaboost建立相同数据量规模的弱分类器；

S304、通过将不同弱分类器赋予不同大小的权值，并进行加权相加，转变成强分类器。

7.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于：所述步骤S4中，毫米波雷达与机器视觉融合感知的具体方法如下：

S401、以视觉采样速率为基准，毫米波雷达的上一帧数据与视觉当前帧的数据进行匹配，实现二者时间上的融合，从而保证了毫米波雷达数据和摄像机数据时间上的同步；

S402、通过毫米波雷达采集得到障碍物数据，获取障碍物位置坐标；

S403、将障碍物坐标点进行转化，得到在视觉图上的像素坐标。

8.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于：所述步骤S5的具体方法如下：

通过毫米波雷达获取盲区内障碍物的距离本车的距离信息，以及障碍物的相对速度信息，而视觉传感器用于判断障碍物的种类，将障碍物分为车辆、自行车或摩托车、行人等三大类，最后对不同相对速度，不同种类的障碍物进行不同的报警声音设置，在左右后视镜外侧的LED报警灯也以不同的形式进行表现。

Images