CN111860322A - 一种基于多源传感器信息融合的非结构化路面类型识别方法 - Google Patents

Abstract

本发明公开了一种基于多源传感器信息融合的非结构化路面类型识别方法,其方法为：步骤一、搭建多源传感器同步数据采集平台；步骤二、实现路面图像数据与车辆动力学状态数据的时空对齐；步骤三、对采集的图像信息进行预处理；步骤四、估计对应非结构化路面的滚动阻力、附着系数和坡度参数；步骤五、得出另一路面类型识别结果，此分类器记为第二分类器；步骤六、将第一分类器和第二分类器的路面类型结果进行融合得到最终路面类型识别结果。有益效果：纠正了部分只利用单一传感器信息产生的分类错误；实现路面类型识别；本发明提出的路面图像数据与车辆动力学状态数据的空间对齐方式有益地减小了误差，保证了空间对齐的精度。

Description

一种基于多源传感器信息融合的非结构化路面类型识别方法

技术领域

本发明涉及一种非结构化路面类型识别方法，特别涉及一种基于多源传感器信息融合的非结构化路面类型识别方法。

背景技术

目前，汽车是在道路上行驶的交通工具，其运动是汽车和道路之间相互作用的结果，路面状况的好坏将直接影响车辆的运行。智能汽车行驶在没有车道线和清晰的道路边界、或受到路旁树或者建筑物的投影和水迹影响,或路面本身凹凸不平等非结构化道路上时，会受到路面颠簸起伏的影响，引起车辆的垂向振动，从而影响车辆的平顺性、通过性。道路条件的感知是汽车智能技术的重要环节。可靠的路面实时认知技术，能为自动驾驶汽车的控制器提供可靠的输入信息，从而实现车辆的准确控制，因此获取路面参数对无人驾驶汽车至关重要。

现有路面识别方法一般分为两类：基于视觉传感器的直接识别方法和基于车辆动力学响应的间接识别方法。前者对车速、光照、阴影等比较敏感，且当路面被其他物体遮盖时会影响识别结果；后者是通过车辆动力学状态如阻力、轮速波动、加速度波动等特征进行识别，此类方法只能在非结构化道路上行驶过一段距离后根据累计的特征信号识别出路面类型，具有一定的滞后性，很可能在识别过程中非结构化道路已经对车辆产生了不利的影响。

多源信息融合作为学科交叉的高层次共性关键技术，具有能够综合各信源不完整信息，实现对目标的完整描述，提高系统稳定性，缩短反应时间等优点。

发明内容

本发明的目的是为了解决现有的智能车辆在路面识别方法中存在的诸多问题而提供的一种基于多源传感器信息融合的非结构化路面类型识别方法。

本发明提供的基于多源传感器信息融合的非结构化路面类型识别方法，其方法如下所述：

步骤一、搭建多源传感器同步数据采集平台,同步采集汽车行驶在多种路面上的路面图像、车辆状态和GPS信息；

步骤二、实现路面图像数据与车辆动力学状态数据的时空对齐；

步骤三、对采集的图像信息进行预处理，训练非结构化道路路面第一分类器，输出路面图像所属类别；

步骤四、利用提取的车辆状态信号特征，估计对应非结构化路面的滚动阻力、附着系数和坡度参数；

步骤五、在第一分类器的分类结果基础上结合步骤四估计出的对应非结构化路面的滚动阻力、附着系数和坡度参数对基于机理的参数估计方法进行参数修正，得出另一路面类型识别结果，此分类器记为第二分类器；

步骤六、将第一分类器和第二分类器的路面类型结果进行融合得到最终路面类型识别结果。

步骤一中的多源传感器包括视觉传感器、组合惯导和加速度计，视觉传感器为单目相机或双目相机，并且标定相机的内外参数；

多源传感器同步数据采集平台是由测试车辆、惯导设备、模组相机、车载CAN总线、实时控制器和一台上位机组成，其中测试车辆上的多源传感器、惯导设备和车载CAN总线与实时控制器相连接，测试车辆上的多源传感器、惯导设备和车载CAN总线向实时控制器传输采集的数据信息，实时控制器和模组相机与上位机相连接，需要采集的数据信息有模组相机生成的彩色图像、惯导设备采集的车辆位置与位姿信息、车载CAN总线中传输的车辆动力学信息和车辆操作信息、以及测试车辆的加速度计测量的车轮振动加速度信息，模组相机和实时控制器的采样周期设置为100ms，车载CAN总线的采样周期设置为10ms，采集的非结构化道路类型包括有冰雪路、土路和沙地数种非结构化道路路面，惯导设备的型号为OxTSRT3002的组合惯导，模组相机的型号为Logitech高清网络摄像头；实时控制器的型号为dSPACE MicroAutobox，上位机为便携式计算机。

步骤二中实现路面图像数据与车辆动力学状态数据的时空对齐的具体步骤如下：

第一步、通过GPS时间戳实现路面图像数据与车辆动力学状态数据同步；

第二步、通过车辆纵向速度对时间积分计算车辆行驶里程，实现路面图像数据与车辆状态数据的空间上的一一对应，保证图像信息和车辆动力学状态数据是路面上对应的是同一段路面。

步骤三中的预处理指的是对图像的增强和降噪的处理，训练第一分类器方法包括支持向量机或随机森林或神经网络的方法。

步骤四中的车辆状态信号特征的提取是将车载传感器中采集得到的车辆信息，提取其时域和频域特征，作为道路参数估计的依据。

步骤五中，结合步骤四估计出的对应非结构化路面的滚动阻力、附着系数和坡度参数对基于机理的参数估计算法进行参数修正方法如下：

一、冰雪路面识别：同时满足以下两点条件则识别为冰雪路面；

(1)、温度低于0摄氏度；

(2)、估算的路面附着系数小于0.2；

二、土路识别：满足如下任何一点时，识别为土路；

(1)、轮速波动同时满足：

A、两个以上车轮速度波动次数超过门限；

B、满足上述条件的行驶距离超过门限；

(2)、侧向加速度波动同时满足：

A、侧向加速度波动能量超过门限；

B、1s内侧向加速度波动次数介于1-2之间；

C、满足上述条件的行驶距离超过门限；

当视觉分类结果判断前方道路为土路时，轮速波动门限、侧向加速度门限和行驶距离门限均取较小值；当视觉分类结果判断前方道路非土路时，各门限均取较大值；

三、沙地识别：

通过计数器门限值判断路面类型，计数器加减步长实时改变计数器值，并与预设门限比较，从而完成沙地路面类型的识别，具体步骤如下：

首先从车辆CAN总线上获得典型行驶特征计算所需要的输入信号，将其传递给滚动阻力计算模型和轮速波动指标计算模型得到车轮滚动阻力和轮速波动，其中滚动阻力计算模型和轮速波动指标计算模型通过Matlab的Simulink工具建立，然后基于车轮滚动阻力和轮速波动两个典型行驶特征，由计数器递增步长模糊规则得到计数器递增步长，由递减步长模糊规则输出计数器递减步长，最后，沙地识别逻辑根据输入的递增步长、递减步长以及车辆其他运动信息，判断计数器的增减方向并实时更新计数器值，并与预设的门限值进行比较，当超过门限时识别为沙地。

步骤六中结果融合基本原则如下：

1)、当视觉识别为沙地时，以视觉结果识别为准；

2)、当视觉识别结果为不确定时，以动力学方法道路类型识别为准；

3)、当力学方法道路类型识别结果为铺装路时，以视觉识别结果为准；

4)、其它情况，以考虑视觉路面分类结果的动力学方法道路类型识别为准。

本发明的有益效果：

本发明在融合视觉传感器的图像信息和车辆动力学状态参数信息基础上做出了路面类型的识别，纠正了部分只利用单一传感器信息产生的分类错误；本发明将基于视觉的道路分类结果作为基于门限的车辆动力学特征道路分类器的输入，即对基于机理的参数估计算法进行参数修正，实现路面类型识别；本发明提出的路面图像数据与车辆动力学状态数据的空间对齐方式有益地减小了误差，保证了空间对齐的精度。

附图说明

图1为本发明所述非结构化路面类型识别方法流程示意图。

图2为本发明所述沙地识别算法框架示意图。

图3为本发明所述沙地识别逻辑流程示意图。

图4为本发明所述传感器同步数据采集平台结构框图。

图5为本发明所述实现路面图像数据与车辆动力学状态数据的空间对齐的视觉原理示意图。

上图中的标注如下：

1、测试车辆 2、惯导设备 3、模组相机 4、车载CAN总线5、实时控制器 6、上位机。

具体实施方式

请参阅图1至图5所示：

本发明提供的基于多源传感器信息融合的非结构化路面类型识别方法，其方法如下所述：

步骤一、搭建多源传感器同步数据采集平台,同步采集汽车行驶在多种路面上的路面图像、车辆状态和GPS信息；

步骤二、实现路面图像数据与车辆动力学状态数据的时空对齐；

步骤三、对采集的图像信息进行预处理，训练非结构化道路路面第一分类器，输出路面图像所属类别；

步骤四、利用提取的车辆状态信号特征，估计对应非结构化路面的滚动阻力、附着系数和坡度参数；

步骤五、在第一分类器的分类结果基础上结合步骤四估计出的对应非结构化路面的滚动阻力、附着系数和坡度参数对基于机理的参数估计方法进行参数修正，得出另一路面类型识别结果，此分类器记为第二分类器；

步骤六、将第一分类器和第二分类器的路面类型结果进行融合得到最终路面类型识别结果。

步骤一中的多源传感器包括视觉传感器、组合惯导和加速度计，视觉传感器为单目相机或双目相机，并且标定相机的内外参数；

多源传感器同步数据采集平台是由测试车辆1、惯导设备2、模组相机3、车载CAN总线4、实时控制器5和一台上位机6组成，其中测试车辆1上的多源传感器、惯导设备2和车载CAN总线4与实时控制器5相连接，测试车辆1上的多源传感器、惯导设备2和车载CAN总线4向实时控制器5传输采集的数据信息，实时控制器5和模组相机3与上位机6相连接，需要采集的数据信息有模组相机3生成的彩色图像、惯导设备2采集的车辆位置与位姿信息、车载CAN总线4中传输的车辆动力学信息和车辆操作信息、以及测试车辆1的加速度计测量的车轮振动加速度信息，模组相机3和实时控制器5的采样周期设置为100ms，车载CAN总线4的采样周期设置为10ms，采集的非结构化道路类型包括有冰雪路、土路和沙地数种非结构化道路路面，惯导设备2的型号为OxTS RT3002的组合惯导，模组相机3的型号为Logitech高清网络摄像头；实时控制器5的型号为dSPACE MicroAutobox，上位机6为便携式计算机。

步骤二中实现路面图像数据与车辆动力学状态数据的时空对齐的具体步骤如下：

第一步、通过GPS时间戳实现路面图像数据与车辆动力学状态数据同步；

第二步、通过车辆纵向速度对时间积分计算车辆行驶里程，实现路面图像数据与车辆状态数据的空间上的一一对应，保证图像信息和车辆动力学状态数据是路面上对应的是同一段路面。

步骤三中的预处理指的是对图像的增强和降噪的处理，训练第一分类器方法包括支持向量机、随机森林或神经网络的方法。

步骤四中的车辆状态信号特征的提取是将车载传感器中采集得到的车辆信息，提取其时域和频域特征，作为道路参数估计的依据。

步骤五中，结合步骤四估计出的对应非结构化路面的滚动阻力、附着系数和坡度参数对基于机理的参数估计算法进行参数修正方法如下：

一、冰雪路面识别：同时满足以下两点条件则识别为冰雪路面；

(1)、温度低于0摄氏度；

(2)、估算的路面附着系数小于0.2；

二、土路识别：满足如下任何一点时，识别为土路；

(1)、轮速波动同时满足：

A、两个以上车轮速度波动次数超过门限；

B、满足上述条件的行驶距离超过门限；

(2)、侧向加速度波动同时满足：

A、侧向加速度波动能量超过门限；

B、1s内侧向加速度波动次数介于1-2之间；

C、满足上述条件的行驶距离超过门限；

当视觉分类结果判断前方道路为土路时，轮速波动门限、侧向加速度门限和行驶距离门限均取较小值；当视觉分类结果判断前方道路非土路时，各门限均取较大值；

三、沙地识别：

通过计数器门限值判断路面类型，计数器加减步长实时改变计数器值，并与预设门限比较，从而完成沙地路面类型的识别，具体步骤如下：

首先从车辆CAN总线上获得典型行驶特征计算所需要的输入信号，将其传递给滚动阻力计算模型和轮速波动指标计算模型得到车轮滚动阻力和轮速波动，其中滚动阻力计算模型和轮速波动指标计算模型通过Matlab的Simulink工具建立，然后基于车轮滚动阻力和轮速波动两个典型行驶特征，由计数器递增步长模糊规则得到计数器递增步长，由递减步长模糊规则输出计数器递减步长，最后，沙地识别逻辑根据输入的递增步长、递减步长以及车辆其他运动信息，判断计数器的增减方向并实时更新计数器值，并与预设的门限值进行比较，当超过门限时识别为沙地。

步骤六中结果融合基本原则如下：

1)、当视觉识别为沙地时，以视觉结果识别为准；

2)、当视觉识别结果为不确定时，以动力学方法道路类型识别为准；

3)、当力学方法道路类型识别结果为铺装路时，以视觉识别结果为准；

4)、其它情况，以考虑视觉路面分类结果的动力学方法道路类型识别为准。

图3为沙地识别逻辑流程图，图中，StopFlag为1时代表车辆停车；TerFlag为当前路面类型标识，为1时代表当前路面为沙地；Cnt代表计数器值；Threshold代表计数器上限值，大于该值则认为当前路面为沙地；

为车辆速度求导得到的加速度。

首先根据车辆行驶特征和产生递增递减步长的模糊规则得到StepIn和StepDe。当检测到车辆启动后开始进行路面类型判断，否则TerFlag保持上一计算周期的值不变。若上一计算周期识别结果TerFlag＝0，说明当前路面非沙地，则执行进入沙地逻辑，此时若StepIn大于0则对计数器值进行累加(Cnt＝Cnt+StepIn)，否则计数器值减1。当更新后的计数器值大于预设门限Threshold时，识别当前路面为沙地，即TerFlag置1，小于门限则保持当前路面识别结果为非沙地。

若上一周期计算结果TerFlag＝1，说明当前路面为沙地，则执行退出沙地逻辑。此时若

或StepDe>0，则对计数器值进行更新(Cnt＝Cnt+StepDe)，这里要求车速求导后大于零才减小计数器值，是为了防止在沙地上减速停车时阻力减小而退出沙地模式；不满足上述条件时，计数器值保持不变。若更新后的计数器值减至0，则退出沙地模式，即TerFlag置0，否则保持当前路面识别结果为沙地。当视觉分类结果判断前方道路为沙地时，进入StepIn计算得到的值较大而StepDe计算得到的值较小；当视觉分类结果判断前方道路为非沙地时，进入StepIn计算得到的值较小而StepDe计算得到的值较大。

图5为实现路面图像数据与车辆动力学状态数据的空间对齐的视觉原理示意图，具体地，实现路面图像数据与车辆状态信号数据的空间对齐，即将图像中像素点映射到车辆坐标系下，取图中所示阴影面积区域作为步骤三所述的第一分类器的训练样本，模组相机生成图像的实际路面位置与车辆行驶实际位置之间间隔(L₂+L₃)，通过车辆纵向速度v_x对时间t积分计算车辆行驶里程(L₂+L₃)来实现路面图像数据与车辆状态数据的空间一一对应。

Claims (7)

1.一种基于多源传感器信息融合的非结构化路面类型识别方法，其特征在于：其方法如下所述：

步骤一、搭建多源传感器同步数据采集平台,同步采集汽车行驶在多种路面上的路面图像、车辆状态和GPS信息；

步骤二、实现路面图像数据与车辆动力学状态数据的时空对齐；

步骤三、对采集的图像信息进行预处理，训练非结构化道路路面第一分类器，输出路面图像所属类别；

步骤四、利用提取的车辆状态信号特征，估计对应非结构化路面的滚动阻力、附着系数和坡度参数；

步骤五、在第一分类器的分类结果基础上结合步骤四估计出的对应非结构化路面的滚动阻力、附着系数和坡度参数对基于机理的参数估计方法进行参数修正，得出另一路面类型识别结果，此分类器记为第二分类器；

步骤六、将第一分类器和第二分类器的路面类型结果进行融合得到最终路面类型识别结果。

2.根据权利要求1所述的一种基于多源传感器信息融合的非结构化路面类型识别方法，其特征在于：所述的步骤一中的多源传感器包括视觉传感器、组合惯导和加速度计，视觉传感器为单目相机或双目相机，并且标定相机的内外参数；

多源传感器同步数据采集平台是由测试车辆、惯导设备、模组相机、车载CAN总线、实时控制器和一台上位机组成，其中测试车辆上的多源传感器、惯导设备和车载CAN总线与实时控制器相连接，测试车辆上的多源传感器、惯导设备和车载CAN总线向实时控制器传输采集的数据信息，实时控制器和模组相机与上位机相连接，需要采集的数据信息有模组相机生成的彩色图像、惯导设备采集的车辆位置与位姿信息、车载CAN总线中传输的车辆动力学信息和车辆操作信息、以及测试车辆的加速度计测量的车轮振动加速度信息，模组相机和实时控制器的采样周期设置为100ms，车载CAN总线的采样周期设置为10ms，采集的非结构化道路类型包括有冰雪路、土路和沙地数种非结构化道路路面，惯导设备的型号为OxTSRT3002的组合惯导，模组相机的型号为Logitech高清网络摄像头；实时控制器的型号为dSPACE MicroAutobox，上位机为便携式计算机。

3.根据权利要求1所述的一种基于多源传感器信息融合的非结构化路面类型识别方法，其特征在于：所述的步骤二中实现路面图像数据与车辆动力学状态数据的时空对齐的具体步骤如下：

第一步、通过GPS时间戳实现路面图像数据与车辆动力学状态数据同步；

第二步、通过车辆纵向速度对时间积分计算车辆行驶里程，实现路面图像数据与车辆状态数据的空间上的一一对应，保证图像信息和车辆动力学状态数据是路面上对应的是同一段路面。

4.根据权利要求1所述的一种基于多源传感器信息融合的非结构化路面类型识别方法，其特征在于：所述的步骤三中的预处理指的是对图像的增强和降噪的处理，训练第一分类器方法包括支持向量机或随机森林或神经网络的方法。

5.根据权利要求1所述的一种基于多源传感器信息融合的非结构化路面类型识别方法，其特征在于：所述的步骤四中的车辆状态信号特征的提取是将车载传感器中采集得到的车辆信息，提取其时域和频域特征，作为道路参数估计的依据。

6.根据权利要求1所述的一种基于多源传感器信息融合的非结构化路面类型识别方法，其特征在于：所述的步骤五中，结合步骤四估计出的对应非结构化路面的滚动阻力、附着系数和坡度参数对基于机理的参数估计算法进行参数修正方法如下：

一、冰雪路面识别：同时满足以下两点条件则识别为冰雪路面；

(1)、温度低于0摄氏度；

(2)、估算的路面附着系数小于0.2；

二、土路识别：满足如下任何一点时，识别为土路；

(1)、轮速波动同时满足：

A、两个以上车轮速度波动次数超过门限；

B、满足上述条件的行驶距离超过门限；

(2)、侧向加速度波动同时满足：

A、侧向加速度波动能量超过门限；

B、1s内侧向加速度波动次数介于1-2之间；

C、满足上述条件的行驶距离超过门限；

当视觉分类结果判断前方道路为土路时，轮速波动门限、侧向加速度门限和行驶距离门限均取较小值；当视觉分类结果判断前方道路非土路时，各门限均取较大值；

三、沙地识别：

通过计数器门限值判断路面类型，计数器加减步长实时改变计数器值，并与预设门限比较，从而完成沙地路面类型的识别，具体步骤如下：

首先从车辆CAN总线上获得典型行驶特征计算所需要的输入信号，将其传递给滚动阻力计算模型和轮速波动指标计算模型得到车轮滚动阻力和轮速波动，其中滚动阻力计算模型和轮速波动指标计算模型通过Matlab的Simulink工具建立，然后基于车轮滚动阻力和轮速波动两个典型行驶特征，由计数器递增步长模糊规则得到计数器递增步长，由递减步长模糊规则输出计数器递减步长，最后，沙地识别逻辑根据输入的递增步长、递减步长以及车辆其他运动信息，判断计数器的增减方向并实时更新计数器值，并与预设的门限值进行比较，当超过门限时识别为沙地。

7.根据权利要求1所述的一种基于多源传感器信息融合的非结构化路面类型识别方法，其特征在于：所述的步骤六中结果融合基本原则如下：

1)、当视觉识别为沙地时，以视觉结果识别为准；

2)、当视觉识别结果为不确定时，以动力学方法道路类型识别为准；

3)、当力学方法道路类型识别结果为铺装路时，以视觉识别结果为准；

4)、其它情况，以考虑视觉路面分类结果的动力学方法道路类型识别为准。

Images