CN113569701B - 多传感器融合的障碍物感知智能车检测算法 - Google Patents

Abstract

多传感器融合的障碍物感知智能车检测算法，1)智能车通过多个CCD图像传感器采智能车周边的物体图像；2)对采集的图像数据进行预处理；3)设计智能车周边运动路障检测模型；4)设计智能车周边静止路障检测模型；5)将运动路障和静止路障检测结果输入到路径规划算法中，并对运动路障的趋势进行判定，从而提出合理的路径规划方法；6)为方便用户使用和二次开发，可在障碍物图层中更新智能车的电子围栏，路径规划算法根据更新后的电子围栏，重新规划智能车的运动路径。本发明可选取合适的阈值来提取图像的边缘，通过运动路障检测算法和静止路障检测算法，能够检测图像中的运动路障和静止路障，可针对性的对智能车路径进行规划。

Description

多传感器融合的障碍物感知智能车检测算法

技术领域

本发明涉及机器人视觉领域，特别是涉及多传感器融合的障碍物感知智能车检测算法。

背景技术

我国汽车工业飞速发展，汽车年产量已经超过了美欧日总和，近年来各类造车企业更是层出不穷，而随之而来频发的道路交通事故对生命、财产安全的威胁也呈逐年攀升趋势。根据世卫组织的最新统计，道路交通事故已成为全球八大死因之一。交通环境复杂多变，依靠视觉图像来获取当前行驶区域的道路信息是自动驾驶系统成型的必要条件。在这里道路信息主要是指当前交通道路的各类静态信息和动态信息。

本发明旨在通过车载传感器感知周边的障碍物数据，并通过通信模块与服务器相连的方式实现多传感器融合的障碍物感知，实现信息处理分析，对于传感器所采集的图像数据，首先进行二值化和边缘提取等预处理，针对运动路障和静止路障，分别建立运动路障检测算法和静止路障检测算法，规划智能车路径；针对虚拟电子围栏，实现实时避障以及路径规划功能。

发明内容

为解决上述问题，本发明提出了多传感器融合的障碍物感知智能车检测算法，具体步骤如下，其特征在于：

步骤1，智能车通过多个CCD图像传感器采智能车周边的物体图像，通过WIFI和蓝牙通信模块与服务器相连，将数据上传至服务器的数据存储区中；

步骤2，对采集的图像数据进行预处理，根据图像灰度变化程度检测出图像亮度最突出的部分，从而对图像进行边缘检测，提取图像的边缘信息；

步骤3，设计智能车周边运动路障检测模型，根据相邻的多帧图像，分别计算其像素值差的绝对值，检测图像中是否存在运动物体；

步骤4，设计智能车周边静止路障检测模型，当检测图像中不存在运动物体时，对图像数据进行静止路障检测，将当前帧图像数据和背景图像数据做差，进行静止图像差分检测；

步骤5，将运动路障和静止路障检测结果输入到路径规划算法中，并对运动路障的趋势进行判定，从而提出合理的路径规划方法；

步骤6，为方便用户使用和二次开发，可在障碍物图层中更新智能车的电子围栏，路径规划算法根据更新后的电子围栏，重新规划智能车的运动路径。

进一步，步骤2对采集的图像数据进行预处理的过程可以表示如下：

设步骤1中CCD传感器检测到图像数据在图像坐标点(x，y)处的像素点值为f(x，y)，在该像素点处x和y方向上的梯度可分别计算为：

f_x(x，y)＝f(x，y)-f(x+1，y+1) (1)

f_y(x，y)＝f(x+1，y)-f(x，y+1) (2)

通过式1和式2计算图像的梯度值，同时通过卷积模板对梯度二值化处理后获得预处理后的边缘图，根据图像灰度变化程度检测出图像亮度最突出的部分，从而对图像进行边缘检测，提取图像的边缘信息数据Y_xy。

进一步，步骤3中设计智能车周边运动路障检测模型的过程可以表示如下：

当相邻图像中出现移动物体时，相邻帧的灰度值将会有所改变，因此可通过求取步骤2中边缘图像数据的灰度差变化量来提取图像中的运动路障：

步骤3.1，计算步骤2中相邻帧边缘图像的灰度差值，同时累计灰度差超过阈值的异常像素点数，灰度差的计算公式如下：

步骤3.2，当灰度差超过阈值的异常像素点的数量超过一定阈值时，则判定该图像中存在运动障碍物，同时计算该运动障碍物的中心坐标(x_mid，y_mid)：

式中，x_max，x_min分别是步骤3.1中检测到异常像素点在图像x方向中的最大值和最小值，y_max，y_min分别是步骤3.1中检测到异常像素点在图像y方向中的最大值和最小值；

步骤3.3，根据异常像素点坐标和中心坐标计算智能车与运动图像的距离d。

进一步，步骤4中设计智能车周边静止路障检测模型的过程可以表示如下：

步骤4.1，根据步骤3判断图像中是否存在运动图像，如果存在运动图像，则需要将图像中运动图像的像素点剔除后，再检测静止路障；

步骤4.2，将当前图形的和预先存储的背景图像做差，来检测与存储背景不同的静止路障；

步骤4.3，计算所检测到的路障面积大小，判断静止路障的大小：

S_s是静止路障的实际面积，S_t是图像的像素面积，L_w是静止路障和相机的物距，L_x是相距。

进一步，步骤6中更新智能车的电子围栏的过程可以表示如下：

步骤6.1，启动电子围栏功能，启动和客户端的接口；

步骤6.2，读取配置文件；

步骤6.3，判断客户端是否请求最新的电子围栏数据，如是，发送电子围栏数据；

步骤6.4，判断客户端是否发送了经用户修改后的电子围栏，如是，校验后保存数据至配置文件，返回步骤6.2；

步骤6.5，在障碍物图层中添加电子围栏，供路径规划功能调用，返回步骤6.3。

本发明多传感器融合的障碍物感知智能车检测算法，有益效果：本发明的技术效果在于：

1.本发明通过对图像数据进行预处理，减少图像边缘的噪声，可选取合适的阈值来提取图像的边缘；

2.本发明设计了运动路障检测算法，计算量小，不需要考虑背景缓变的影响，对背景的变化不敏感；

3.本发明设计了静止路障检测算法，能够检测图像中的静止路障，可减少外部环境对检测结果的影响

4.本发明为智能车障碍物检测提供了一种重要技术手段。

附图说明

图1为本发明的系统结构图；

图2为本发明的更新电子围栏后路径规划图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提出了多传感器融合的障碍物感知智能车检测算法，图1为本发明的系统结构图。下面结控制结构图对本发明的步骤作详细介绍。

步骤1，智能车通过多个CCD图像传感器采智能车周边的物体图像，通过WIFI和蓝牙通信模块与服务器相连，将数据上传至服务器的数据存储区中；

步骤2，对采集的图像数据进行预处理，根据图像灰度变化程度检测出图像亮度最突出的部分，从而对图像进行边缘检测，提取图像的边缘信息；

步骤2对采集的图像数据进行预处理的过程可以表示如下：

设步骤1中CCD传感器检测到图像数据在图像坐标点(x，y)处的像素点值为f(x，y)，在该像素点处x和y方向上的梯度可分别计算为：

f_x(x，y)＝f(x，y)-f(x+1，y+1) (1)

f_y(x，y)＝f(x+1，y)-f(x，y+1) (2)

通过式1和式2计算图像的梯度值，同时通过卷积模板对梯度二值化处理后获得预处理后的边缘图，根据图像灰度变化程度检测出图像亮度最突出的部分，从而对图像进行边缘检测，提取图像的边缘信息数据Y_xy。

步骤3，设计智能车周边运动路障检测模型，根据相邻的多帧图像，分别计算其像素值差的绝对值，检测图像中是否存在运动物体；

步骤3中设计智能车周边运动路障检测模型的过程可以表示如下：

当相邻图像中出现移动物体时，相邻帧的灰度值将会有所改变，因此可通过求取步骤2中边缘图像数据的灰度差变化量来提取图像中的运动路障：

步骤3.1，计算步骤2中相邻帧边缘图像的灰度差值，同时累计灰度差超过阈值的异常像素点数，灰度差的计算公式如下：

步骤3.2，当灰度差超过阈值的异常像素点的数量超过一定阈值时，则判定该图像中存在运动障碍物，同时计算该运动障碍物的中心坐标(x_mid，y_mid)：

式中，x_max，x_min分别是步骤3.1中检测到异常像素点在图像x方向中的最大值和最小值，y_max，y_min分别是步骤3.1中检测到异常像素点在图像y方向中的最大值和最小值；

步骤3.3，根据异常像素点坐标和中心坐标计算智能车与运动图像的距离d。

步骤4，设计智能车周边静止路障检测模型，当检测图像中不存在运动物体时，对图像数据进行静止路障检测，将当前帧图像数据和背景图像数据做差，进行静止图像差分检测；

步骤4中设计智能车周边静止路障检测模型的过程可以表示如下：

步骤4.1，根据步骤3判断图像中是否存在运动图像，如果存在运动图像，则需要将图像中运动图像的像素点剔除后，再检测静止路障；

步骤4.2，将当前图形的和预先存储的背景图像做差，来检测与存储背景不同的静止路障；

步骤4.3，计算所检测到的路障面积大小，判断静止路障的大小：

S_s是静止路障的实际面积，S_t是图像的像素面积，L_w是静止路障和相机的物距，L_x是相距。

步骤5，将运动路障和静止路障检测结果输入到路径规划算法中，并对运动路障的趋势进行判定，从而提出合理的路径规划方法；

步骤6，为方便用户使用和二次开发，可在障碍物图层中更新智能车的电子围栏，路径规划算法根据更新后的电子围栏，重新规划智能车的运动路径，更新电子围栏后路径规划图如图2所示；

步骤6中更新智能车的电子围栏的过程可以表示如下：

步骤6.1，启动电子围栏功能，启动和客户端的接口；

步骤6.2，读取配置文件；

步骤6.3，判断客户端是否请求最新的电子围栏数据，如是，发送电子围栏数据；

步骤6.4，判断客户端是否发送了经用户修改后的电子围栏，如是，校验后保存数据至配置文件，返回步骤6.2；

步骤6.5，在障碍物图层中添加电子围栏，供路径规划功能调用，返回步骤6.3。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (5)

1.多传感器融合的障碍物感知智能车检测算法，具体步骤如下，其特征在于：

步骤1，智能车通过多个CCD图像传感器采智能车周边的物体图像，通过WIFI和蓝牙通信模块与服务器相连，将数据上传至服务器的数据存储区中；

步骤2，对采集的图像数据进行预处理，根据图像灰度变化程度检测出图像亮度最突出的部分，从而对图像进行边缘检测，提取图像的边缘信息；

步骤3，设计智能车周边运动路障检测模型，根据相邻的多帧图像，分别计算其像素值差的绝对值，检测图像中是否存在运动物体；

步骤4，设计智能车周边静止目标检测模型，当检测图像中不存在运动物体时，对图像数据进行静止路障检测，将当前帧图像数据和背景图像数据做差，进行静止图像差分检测；

步骤5，将运动路障和静止路障检测结果输入到路径规划算法中，并对运动路障的趋势进行判定，从而提出合理的路径规划方法；

步骤6，为方便用户使用和二次开发，可在障碍物图层中更新智能车的电子围栏，路径规划算法根据更新后的电子围栏，重新规划智能车的运动路径。

2.根据权利要求1所述的多传感器融合的障碍物感知智能车检测算法，其特征在于，步骤2对采集的图像数据进行预处理的过程可以表示如下：

设步骤1中CCD传感器检测到图像数据在图像坐标点(x，y)处的像素点值为f(x，y)，在该像素点处x和y方向上的梯度可分别计算为：

f_x(x，y)＝f(x，y)-f(x+1，y+1) (1)

f_y(x，y)＝f(x+1，y)-f(x，y+1) (2)

通过式1和式2计算图像的梯度值，同时通过卷积模板对梯度二值化处理后获得预处理后的边缘图，根据图像灰度变化程度检测出图像亮度最突出的部分，从而对图像进行边缘检测，提取图像的边缘信息数据Y_xy。

3.根据权利要求1所述的多传感器融合的障碍物感知智能车检测算法，其特征在于，步骤3中设计智能车周边运动路障检测模型的过程可以表示如下：

当相邻图像中出现移动物体时，相邻帧的灰度值将会有所改变，因此可通过求取步骤2中边缘图像数据的灰度差变化量来提取图像中的运动路障：

步骤3.1，计算步骤2中相邻帧边缘图像的灰度差值，同时累计灰度差超过阈值的异常像素点数，灰度差的计算公式如下：

步骤3.2，当灰度差超过阈值的异常像素点的数量超过一定阈值时，则判定该图像中存在运动障碍物，同时计算该运动障碍物的中心坐标(x_mid，y_mid)：

式中，x_max，x_min分别是步骤3.1中检测到异常像素点在图像x方向中的最大值和最小值，y_max，y_min分别是步骤3.1中检测到异常像素点在图像y方向中的最大值和最小值；

步骤3.3，根据异常像素点坐标和中心坐标计算智能车与运动图像的距离d。

4.根据权利要求1所述的多传感器融合的障碍物感知智能车检测算法，其特征在于，步骤4中设计智能车周边静止路障检测模型的过程可以表示如下：

步骤4.1，根据步骤3判断图像中是否存在运动图像，如果存在运动图像，则需要将图像中运动图像的像素点剔除后，再检测静止路障；

步骤4.2，将当前图形的和预先存储的背景图像做差，来检测与存储背景不同的静止路障；

步骤4.3，计算所检测到的路障面积大小，判断静止路障的大小：

S_s是静止路障的实际面积，S_t是图像的像素面积，L_w是静止路障和相机的物距，L_x是相距。

5.根据权利要求1所述的多传感器融合的障碍物感知智能车检测算法，其特征在于，步骤6中更新智能车的电子围栏的过程可以表示如下：

步骤6.1，启动电子围栏功能，启动和客户端的接口；

步骤6.2，读取配置文件；

步骤6.3，判断客户端是否请求最新的电子围栏数据，如是，发送电子围栏数据；

步骤6.4，判断客户端是否发送了经用户修改后的电子围栏，如是，校验后保存数据至配置文件，返回步骤6.2；

步骤6.5，在障碍物图层中添加电子围栏，供路径规划功能调用，返回步骤6.3。