CN108508372B - 一种基于环境视觉融合的无人驾驶电量计算和预警方法与系统 - Google Patents

Abstract

本发明公开了一种基于环境视觉融合的无人驾驶电量计算和预警方法及系统，实现了积雪道路环境等复杂环境下无人驾驶车辆的电池电量智能化综合计算，将道路有效积雪深度的实时检测与无人驾驶车辆的电池电量计算和预警有机结合，为无人驾驶车辆电池设计研发领域提供了更加完备的考虑因素。综合考虑了冰雪环境下道路有效积雪深度、道路坡度、无人驾驶车辆电池温度等多方面因素，并且实现对道路有效积雪深度的车载式精确测量和道路沿线固定式积雪深度测量装置的结合，实现了无人驾驶车辆供电系统的资源优化配置，使无人驾驶车辆的续航能力得到了一定程度的提升。

Description

一种基于环境视觉融合的无人驾驶电量计算和预警方法与 系统

技术领域

本发明属于无人驾驶车辆领域，特别涉及一种基于环境视觉融合的无人驾驶电量计算和预警方法与系统。

背景技术

近年来，随着市场对车辆安全和智能化的要求越来越高，无人驾驶车辆逐渐成为一项热门技术，越来越多的企业和科研机构参与到这个领域。谷歌、沃尔沃等汽车制造公司一直致力于无人驾驶车辆新技术的研发，但大都分布在改进无人驾驶车辆的导航技术、提高定位精度、优化决策控制系统、路权分配、交通智能综合规划等方面。然而作为车辆动力源，车载电源是无人驾驶车辆一切技术实现的基础。没有高效的车载电源，再先进的车载无人技术及相关控制技术都将成为装饰。

截至目前，国内外鲜有这方面的公开技术，能够对无人驾驶车辆在动态冰雪天气下的剩余电量做出精确的预测。目前的通用技术手段是根据目标里程、电池电量和行驶速度做出简单的数学计算，得出当前实时的剩余车载电量能够持续的运行里程，然后引导无人驾驶车辆在电源耗尽前充电，并且对于道路积雪深度检测仅仅停留应用在积雪道路沿线固定式测量装置上，并没有关于车载式积雪深度测量方法的技术方案。然而，在实际情况中，车辆车载电源的使用和道路路况(如上下坡)、车辆行驶环境(如风雨雪天气)都息息相关，而且之间的物理参数是强非线性的，无法通过简单的数学计算得到，需要通过对道路和气候参数的融合以及对采集物理数据的在线智能学习才有可能解决。

综上说述，无人驾驶车辆车载电量的精确计算，特别是在恶劣天气如冰雪环境下的无人驾驶车辆的电量预测，是至关重要的。该技术的应用前景也是非常广阔和显著的。

发明内容

本发明提出了一种基于环境视觉融合的无人驾驶电量计算和预警方法，其目的在于，克服现有技术中无人驾驶车辆电池电量预测方法对外界环境干扰的适应性差、系统预测实行性差、实用性不强的问题，尤其是在冰雪环境中，将采集到的有效积雪深度、道路坡度、电池温度等多种参数融合到无人驾驶车辆电池电量综合预测模型中，实现电池的高可靠性、高精度的预测。

一种基于环境视觉融合的无人驾驶电量计算和预警方法，包括以下步骤：

步骤1：获取冰雪环境下无人驾驶车辆历史行驶数据；

所述行驶数据包括各时刻的路面积雪深度、道路坡度、电池温度、耗电率以及剩余电量；

步骤2：构建基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型；

以所述历史行驶数据中的路面积雪深度、道路坡度、电池温度作为输入数据，耗电率作为输出数据，对小波神经网络进行训练，获得基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型；

所述小波神经网络的输入层节点个数为3，隐含层小波元个数为6，输出层节点个数为1，隐含层小波神经元采用Mexican Hat小波函数，输出层节点采用Sigmoid函数；训练过程中的最大迭代次数设置为1500，训练学习率为0.1，阈值为0.0002；

步骤3：构建基于BP神经网络的无人驾驶车辆剩余电量预测模型；

以所述历史行驶数据中的t时刻的耗电率和对应的剩余电量作为输入数据，t+1时刻的剩余电量作为输出数据，对BP神经网络进行训练，获得基于BP神经网络的剩余电量预测模型；

所述BP神经网络的输入层包含2个节点，最大迭代次数设置为200，训练学习率为0.1；

步骤4：利用实时获得的有效路面积雪深度、道路坡度以及电池温度数据输入基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型，获得当前时刻的电池耗电率，并基于获得的当前电池耗电率以及实时剩余电量，输入基于BP神经网络的剩余电量预测模型，获得下一时刻的剩余电量；

其中，所述有效路面积雪深度是利用路面积雪深度测量值和观察值采用加权融合模型进行融合获得；

所述路面积雪深度测量值是通过设置在无人驾驶车辆车底两侧的车载激光传感器和倾角传感器进行实时测量计算获得；

所述路面积雪深度观察值是利用图像采集装置获取路面图像，并对路面图像进行形状特征提取，再对形状特征进行边缘提取区域轮廓，对区域轮廓进行计算获得。

路面积雪深度测量值包括从两侧测得的路面积雪深度，进行加权融合时，H＝d1*H1+d2*H2+d3*H3，d1+d2+d3＝1；H1、H2分别为两侧测得的路面积雪深度测量值，H3为路面积雪深度观察值，d1、d2及d3为用于获取有效路面积雪深度的权值；

进一步地，所述基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型的用于获取有效积雪深度的权值、小波神经网络的权值、阈值和伸缩平移系数采用水循环算法WCA算法进行寻优获得的过程如下：

步骤C1：每个降雨层作为用于获取有效积雪深度的权值、小波神经网络模型的权值、阈值和伸缩平移系数，初始化降雨层种群；

设定降雨层种群数量的取值范围为[20,100]，海洋数量为1，河流数量的取值范围为[5,30]，最大迭代次数的取值范围为[200,1000]、极小值的取值范围为[0.005,0.1]；

步骤C2：设定适应度函数；

将有效积雪深度权值d、降雨层对应的权值、阈值和伸缩平移系数代入基于小波神经网络的耗电率预测模型中，并利用降雨层确定的基于小波神经网络的耗电率预测模型计算下一时刻的耗电率，将预测值和实际值的均方差MSE的倒数作为适应度函数；

步骤C3：以适应度大的降雨层作为大海，以适应度次小的降雨层作为河流，其余的降雨层作为流入河流或海洋的溪流；

步骤C4：如果溪流解优于河流解，则溪流与河流交换位置，如果河流解优于海洋解，则河流与海洋交换位置；然后使溪流流入河流，使河流汇入海洋；

步骤C5：判断河流解与海洋解之间的差值绝对值是否小于设定的极小值，如果小于，则认为满足降雨条件，从种群中去掉该河流，并重新进行降雨过程，随机生成新的降雨层加入种群，返回步骤C3继续一次迭代，否则，进入步骤C6；

步骤C6：判断是否到达最大迭代次数，若满足则输出最优的降雨层对应的参数，输出用于获取有效积雪深度的权值、小波神经网络的权值、阈值和伸缩平移系数，若不满足则进入步骤C3继续下一次迭代。

进一步地，所述获取路面积雪深度观察值的具体过程如下：

步骤A1：利用车载图像采集单元对采集到的路面图像进行灰度化处理，得到灰度图像；

步骤A2：对灰度图像进行高斯滤波和梯度化处理，得到滤波后的幅值图像；

步骤A3：用canny边缘检测算法对滤波后的幅值图像提取边缘点；

步骤A4：对提取的边缘点用双阈值算法进行检测和连接，获得积雪区域轮廓线，并采用视场划分标准块扫描像素点法对积雪区域轮廓线进行扫描，得到路面积雪深度观察值。

进一步地，利用车载图像采集装置和设置在路边的图像采集装置采集的路面图像对路面积雪深度测量值进行修正，修正时所用的修正值为第一修正值和第二修正值得乘积；

第一修正值得获取步骤如下：

步骤B1：将车载图像采集装置采集到的连续多帧路面图像转化为灰度图像；

步骤B2：对连续两帧路面图像的灰度图像的灰度做差处理，得到两帧图像的灰度差值D_grey，并与预先设定的差值阈值进行比较，按照下式判断道路状况：

步骤B3：依据道路状况对应的雪深修正系数与路面积雪深度测量值相乘，得到路面积雪深度测量值的第一修正值；

所述第一修正值的取值范围如下：

当道路仅积雪时，取值为1.0；

当道路有积水时，取值为0.6-0.7；

当道路有结冰时，取值为0.7-0.8；

第二修正值的获取步骤如下：

利用高斯背景建模方法对道路沿线固定式图像采集装置采集到的图像提取运动前景；

利用运动前景，通过雪花对光线的反射特性和雪花的几何特征来识别雪花像素点；

利用雪花像素的数量与整幅图像的分辨率的比值作为雪密度，基于雪密度确定第二修正值的取值；

所述第二修正值的取值范围如下：

当雪密度<5％时，取值为0.65；

当雪密度≥5％且<10％时，取值为0.75；

当雪密度≥10％且<13％时，取值为0.90；

当雪密度≥13％时，取值为1.00。

进一步地，所述基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型的有效积雪深度权值d、小波神经网络的权值、阈值和伸缩平移系数采用水循环算法WCA算法进行寻优获得的过程如下：

步骤C1：每个降雨层作为有效积雪深度权值d、小波神经网络模型的权值、阈值和伸缩平移系数，初始化降雨层种群；

设定降雨层种群数量的取值范围为[20,100]，海洋数量为1，河流数量的取值范围为[5,30]，最大迭代次数的取值范围为[200,1000]、极小值的取值范围为[0.005,0.1]；

步骤C2：设定适应度函数；

将有效积雪深度权值d、降雨层对应的权值、阈值和伸缩平移系数代入基于小波神经网络的耗电率预测模型中，并利用降雨层确定的基于小波神经网络的耗电率预测模型计算下一时刻的耗电率，将预测值和实际值的均方差MSE的倒数作为适应度函数；

步骤C3：以适应度大的降雨层作为大海，以适应度次小的降雨层作为河流，其余的降雨层作为流入河流或海洋的溪流；

步骤C4：如果溪流解优于河流解，则溪流与河流交换位置，如果河流解优于海洋解，则河流与海洋交换位置；然后使溪流流入河流，使河流汇入海洋；

步骤C5：判断河流解与海洋解之间的差值绝对值是否小于设定的极小值，如果小于，则认为满足降雨条件，从种群中去掉该河流，并重新进行降雨过程，随机生成新的降雨层加入种群，返回步骤C3继续一次迭代，否则，进入步骤C6；

步骤C6：判断是否到达最大迭代次数，若满足则输出最优的降雨层对应的参数，输出有效积雪深度权值d、小波神经网络模型的权值、阈值和伸缩平移系数，若不满足则进入步骤C3继续下一次迭代。

进一步地，所述基于BP神经网络的剩余电量预测模型中BP神经网络的权值和阈值采用带有自适应权值的量子粒子群算法进行寻优获得的过程如下：

步骤D1：以量子粒子群中每个量子粒子个体的位置向量作为所述BP神经网络的权值和阈值，将量子粒子种群个体的位置向量参数初始化为[-1,1]的随机数；

量子粒子群种群的个数的取值范围为[25,70]，量子粒子群的粒子个数的取值范围为[5,50]，最大迭代次数的取值范围为[400,1000]，组建精英种群的迭代次数的取值范围为[60,180]，早熟收敛判断阈值的取值范围为[0.01,0.45]，种群最差粒子变异比例δ％的取值范围为[2％,7％]；

步骤D2：设定适应度函数，确定初始最优量子粒子个体位置向量和迭代次数t，t＝1；

将量子粒子个体位置向量对应的权值和阈值代入基于BP神经网络的脸部识别模型中，并利用量子粒子个体位置向量确定的基于BP神经网络的剩余电量预测模型计算当前剩余电量，将预测的剩余电量和实际值的均方差的倒数作为第二适应度函数f2(x)；

步骤D3：计算每个量子粒子群的群体适应度方差，进行早熟收敛判断；

若量子粒子群群体适应度方差小于早熟收敛判断阈值γ，则对量子粒子群中δ％的适应度最差粒子和群体极值粒子进行变异，并以当前适应度最好的粒子作为全局最优量子粒子个体；

步骤D4：判断是否组建精英种群；

当迭代次数大于精英种群迭代次数时，则通过种群间的信息共享，提取各种群的极值组建精英种群，转入步骤D8，否则转入步骤D5；

步骤D5：更新各种群粒子参数；

步骤D6：重新计算并比较每个粒子的适应度值，如果优于当前的个体极值，则更新个体极值；比较全局极值粒子，如果存在粒子适应度值优于当前的群体极值，则更新全局极值粒子，令t＝t+1，转入步骤D3；

步骤D7：精英种群继续进化；

步骤D8：判断是否满足最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤D3，直到找到全局最优值，输出所述BP神经网络的权值和阈值。

进一步地，利用无人驾驶车辆车载惯性导航系统中的MEMS陀螺仪，感知到车身方向和水平方向的夹角作为道路坡度测量值。

进一步地，利用均匀分布在电池表面的16个非接触式温度传感器实时采集无人驾驶车辆的电池温度，通过插值处理，拟合出电池表面的三维温度分布数据图，并从中取极大值作为电池温度。

一种基于环境视觉融合的无人驾驶电量计算和预警系统，包括感知层、传输层、第一处理层以及第二处理层；

感知层，将感知设备采集到的数据信息发送到传输层；

所述感知设备包括设置在无人驾驶车辆上的激光传感器、倾角传感器、高清摄像机、车载陀螺仪、非接触式温度传感器和道路沿线固定式感知测量装置；所述激光传感器和倾角传感器设置在无人驾驶车辆车体底部两侧轮距线中点处，所述高清摄像机设置于无人驾驶车辆的前端中部；所述非接触式网络红外遥感摄像头分布于积雪道路沿线；

激光传感器和倾角传感器用于实时测量有效积雪深度并将信息上传至传输层；

高清摄像机，用于拍摄无人驾驶车辆实际位置前端的道路积雪图像，并将拍摄的每帧图像发送至传输层；

非接触式网络红外遥感摄像头，用于静态捕捉与采集道路积雪覆盖情况。

传输层，将感知层传输的数据转发至第一处理层和第二处理层；

传输层包括无线转发模块，具有信号无线转发功能。传输层的无线转发模块具有多个RS485接口，支持多种传输协议和功能的Zigbee短距离无线传输方式，具有DTU(数据传输单元)功能；

激光传感器和倾角传感器构成的传感器组以及非接触式温度传感器通过RS485接口与第一处理层中前端处理模块相连；

高清摄像机通过双绞线与第一处理层中前端处理模块相连，通过网络摄像机IP地址访问。

第一处理层，对数据信息进行实时处理并发送到传输层；

第一处理层包括数据信息演算模块、图像处理模块和数据融合处理模块，所述数据信息演算模块将感知层中激光传感器、倾角传感器、车载MEMS陀螺仪和温度传感器采集的信息进行综合演算处理得到有效积雪深度测量值，计算最优道路坡度和最优电池温度；所述图像处理模块对高清摄像机采集的图像中积雪轮廓特征进行提取并进行特征识别，形成积雪轮廓包络线，得到有效积雪深度测量值；基于车载图像装置和路边设置的图像装置采集的路面图像对积雪深度测量值进行修正后，所述数据融合处理模块再将两种测量方法得到的有效积雪深度测量值，进行加权融合，得到最优有效积雪深度测量值；

第二处理层，对经过第一处理层处理的数据进行电池电量的实时预测；

第二处理层包括基于小波神经网络的无人驾驶车辆的电池耗电率拟合网络和基于BP神经网络的无人驾驶车辆剩余电量预测网络，利用传输层发送的数据融合后的有效积雪深度、道路坡度和电池温度作为模型输入值，每一采集单位对应的电池耗电率作为模型输出值，将多个节点采集得到的数据信息作为训练样本，前一层基于小波神经网络的无人驾驶车辆的电池耗电率拟合网络输出的电池耗电率作为下一层基于BP神经网络的输入神经元，构建无人驾驶车辆电池电量的智能预测模型；然后利用经过第一处理层对感知层实时采集的数据进行处理后，经传输层传输至第二处理层的无人驾驶车辆电池电量的智能预测模型，获得车辆电池电量的实时预测，并基于设定的剩余电量阈值进行电量预警。

第一处理层和第二处理层的数据处理过程采用上述的一种基于环境视觉融合的无人驾驶电量计算和预警方法中的数据处理方法。

有益效果

本发明提供了一种基于环境视觉融合的无人驾驶电量计算和预警方法及系统，实现了积雪道路环境等复杂环境下无人驾驶车辆的电池电量智能化综合计算，将道路有效积雪深度的实时检测与无人驾驶车辆的电池电量计算和预警有机结合，为无人驾驶车辆电池设计研发领域提供了更加完备的考虑因素。

本发明综合考虑了冰雪环境下道路有效积雪深度、道路坡度、无人驾驶车辆电池温度等多方面因素，并且实现对道路有效积雪深度的车载式精确测量和道路沿线固定式积雪深度测量装置的结合，实现了无人驾驶车辆供电系统的资源优化配置，使无人驾驶车辆的续航能力得到了一定程度的提升。

本发明通过对现有道路沿线固定式雪深测量装置的改进与结合使用，提高了对于冰雪环境下道路积雪深度测量的精度，为无人驾驶车辆的电量估计准确性提供了更高的保障。

附图说明

图1为冰雪天气无人驾驶车辆电量智能计算方法流程图；

图2为激光传感器与倾角传感器测量有效积雪深度示意图；

图3为激光传感器与倾角传感器安装位置侧面示意图；

图4为激光传感器与倾角传感器安装位置底面示意图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

如图1所示，一种基于环境视觉融合的无人驾驶电量计算和预警方法，包括以下步骤：

步骤1：获取冰雪环境下无人驾驶车辆历史行驶数据；

所述行驶数据包括各时刻的路面积雪深度、道路坡度、电池温度、耗电率以及剩余电量；

利用无人驾驶车辆车载惯性导航系统中的MEMS陀螺仪，感知到车身方向和水平方向的夹角作为道路坡度测量值。

利用均匀分布在电池表面的16个非接触式温度传感器实时采集无人驾驶车辆的电池温度，通过插值处理，拟合出电池表面的三维温度分布数据图，并从中取极大值作为电池温度。

步骤2：构建基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型；

以所述历史行驶数据中的路面积雪深度、道路坡度、电池温度作为输入数据，耗电率作为输出数据，对小波神经网络进行训练，获得基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型；

所述小波神经网络的输入层节点个数为3，隐含层小波元个数为6，输出层节点个数为1，隐含层小波神经元采用Mexican Hat小波函数，输出层节点采用Sigmoid函数；训练过程中的最大迭代次数设置为1500，训练学习率为0.1，阈值为0.0002；

所述基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型的用于获取有效积雪深度的权值、小波神经网络的权值、阈值和伸缩平移系数采用水循环算法WCA算法进行寻优获得的过程如下：

步骤C1：每个降雨层作为用于获取有效积雪深度的权值、小波神经网络模型的权值、阈值和伸缩平移系数，初始化降雨层种群；

设定降雨层种群数量的取值范围为[20,100]，海洋数量为1，河流数量的取值范围为[5,30]，最大迭代次数的取值范围为[200,1000]、极小值的取值范围为[0.005,0.1]；

步骤C2：设定适应度函数；

将降雨层对应的用于获取有效积雪深度的权值、小波神经网络的权值、阈值和伸缩平移系数代入基于小波神经网络的耗电率预测模型中，并利用降雨层确定的基于小波神经网络的耗电率预测模型计算下一时刻的耗电率，将预测值和实际值的均方差MSE的倒数作为适应度函数；

步骤C3：以适应度大的降雨层作为大海，以适应度次小的降雨层作为河流，其余的降雨层作为流入河流或海洋的溪流；

步骤C4：如果溪流解优于河流解，则溪流与河流交换位置，如果河流解优于海洋解，则河流与海洋交换位置；然后使溪流流入河流，使河流汇入海洋；

步骤C5：判断河流解与海洋解之间的差值绝对值是否小于设定的极小值，如果小于，则认为满足降雨条件，从种群中去掉该河流，并重新进行降雨过程，随机生成新的降雨层加入种群，返回步骤C3继续一次迭代，否则，进入步骤C6；

步骤C6：判断是否到达最大迭代次数，若满足则输出最优的降雨层对应的参数，输出用于获取有效积雪深度的权值小波神经网络的权值、阈值和伸缩平移系数，若不满足则进入步骤C3继续下一次迭代。

步骤3：构建基于BP神经网络的无人驾驶车辆剩余电量预测模型；

以所述历史行驶数据中的t时刻的耗电率和对应的剩余电量作为输入数据，t+1时刻的剩余电量作为输出数据，对BP神经网络进行训练，获得基于BP神经网络的剩余电量预测模型；

所述BP神经网络的输入层包含2个节点，最大迭代次数设置为200，训练学习率为0.1；

所述基于BP神经网络的剩余电量预测模型中BP神经网络的权值和阈值采用带有自适应权值的量子粒子群算法进行寻优获得的过程如下：

步骤D1：以量子粒子群中每个量子粒子个体的位置向量作为所述BP神经网络的权值和阈值，将量子粒子种群个体的位置向量参数初始化为[-1,1]的随机数；

量子粒子群种群的个数的取值范围为[25,70]，量子粒子群的粒子个数的取值范围为[5,50]，最大迭代次数的取值范围为[400,1000]，组建精英种群的迭代次数的取值范围为[60,180]，早熟收敛判断阈值的取值范围为[0.01,0.45]，种群最差粒子变异比例δ％的取值范围为[2％,7％]；

步骤D2：设定适应度函数，确定初始最优量子粒子个体位置向量和迭代次数t，t＝1；

将量子粒子个体位置向量对应的权值和阈值代入基于BP神经网络的脸部识别模型中，并利用量子粒子个体位置向量确定的基于BP神经网络的剩余电量预测模型计算当前剩余电量，将预测的剩余电量和实际值的均方差的倒数作为第二适应度函数f2(x)；

步骤D3：计算每个量子粒子群的群体适应度方差，进行早熟收敛判断；

若量子粒子群群体适应度方差小于早熟收敛判断阈值γ，则对量子粒子群中δ％的适应度最差粒子和群体极值粒子进行变异，并以当前适应度最好的粒子作为全局最优量子粒子个体；

步骤D4：判断是否组建精英种群；

当迭代次数大于精英种群迭代次数时，则通过种群间的信息共享，提取各种群的极值组建精英种群，转入步骤D8，否则转入步骤D5；

步骤D5：更新各种群粒子参数；

步骤D6：重新计算并比较每个粒子的适应度值，如果优于当前的个体极值，则更新个体极值；比较全局极值粒子，如果存在粒子适应度值优于当前的群体极值，则更新全局极值粒子，令t＝t+1，转入步骤D3；

步骤D7：精英种群继续进化；

步骤D8：判断是否满足最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤D3，直到找到全局最优值，输出所述BP神经网络的权值和阈值。

步骤4：利用实时获得的有效路面积雪深度、道路坡度以及电池温度数据输入基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型，获得当前时刻的电池耗电率，并基于获得的当前电池耗电率以及实时剩余电量，输入基于BP神经网络的剩余电量预测模型，获得下一时刻的剩余电量；

其中，所述有效路面积雪深度是利用路面积雪深度测量值和观察值采用加权融合模型进行融合获得；

所述路面积雪深度测量值是通过设置在无人驾驶车辆车底两侧的车载激光传感器和倾角传感器进行实时测量计算获得；

如图2所示，激光传感器和倾角传感器采集数据，采集周期为5s。激光传感器同时向两个预定方向发射激光，其中垂直地面向下的一束激光会被自身接收器接收，激光传播时间为t₁，另一束会被对侧的接收器接收，激光传播时间为t₂；倾角传感器测量两支激光束的倾角θ；处理层1的前端处理模块中的数据信息演算模块利用激光传播时长、激光束倾角和激光在正常状态下的传播速度计算出单侧有效积雪深度H₁。其工作原理图如图2所示。

从图2中可得出：H₁＝L₁-L₂·cosθ

式中：v为激光在正常状态下的传播速度，取3×10⁸m/s；H₁为单侧有效积雪深度测量值。

利用相同原理获取车底另一侧传感器组测量得到的有效积雪深度值H₂。

所述路面积雪深度观察值是利用图像采集装置获取路面图像，并对路面图像进行形状特征提取，再对形状特征进行边缘提取区域轮廓，对区域轮廓进行计算获得。

三个积雪深度包括两侧的路面积雪深度测量值和一个积雪深度观察值；

所述获取路面积雪深度观察值的具体过程如下：

步骤A1：对采集到的路面图像进行灰度化处理，得到灰度图像；

步骤A2：对灰度图像进行高斯滤波和梯度化处理，得到滤波后的幅值图像；

步骤A3：用canny边缘检测算法对滤波后的幅值图像提取边缘点；

步骤A4：对提取的边缘点用双阈值算法进行检测和连接，获得积雪区域轮廓线，并采用视场划分标准块扫描像素点法对积雪区域轮廓线进行扫描，得到路面积雪深度观察值。

利用车载图像采集装置和设置在路边的图像采集装置采集的路面图像对路面积雪深度测量值进行修正，修正时所用的修正值为第一修正值和第二修正值得乘积；

第一修正值得获取步骤如下：

步骤B1：将车载图像采集装置采集到的连续多帧路面图像转化为灰度图像；

步骤B2：对连续两帧路面图像的灰度图像的灰度做差处理，得到两帧图像的灰度差值D_grey，并与预先设定的差值阈值进行比较，按照下式判断道路状况：

步骤B3：依据道路状况对应的雪深修正系数与路面积雪深度测量值相乘，得到路面积雪深度测量值的第一修正值；

所述第一修正值的取值范围如下：

当道路仅积雪时，取值为1.0；

当道路有积水时，取值为0.6-0.7；

当道路有结冰时，取值为0.7-0.8；

第二修正值的获取步骤如下：

利用高斯背景建模方法对道路沿线固定式图像采集装置采集到的图像提取运动前景；

利用运动前景，通过雪花对光线的反射特性和雪花的几何特征来识别雪花像素点；

利用雪花像素的数量与整幅图像的分辨率的比值作为雪密度，基于雪密度确定第二修正值的取值；

所述第二修正值的取值范围如下：

当雪密度<5％时，取值为0.65；

当雪密度≥5％且<10％时，取值为0.75；

当雪密度≥10％且<13％时，取值为0.90；

当雪密度≥13％时，取值为1.00。

一种基于环境视觉融合的无人驾驶电量计算和预警系统，包括感知层、传输层、第一处理层以及第二处理层；

感知层，将感知设备采集到的数据信息发送到传输层；

所述感知设备包括设置在无人驾驶车辆上的激光传感器、倾角传感器、高清摄像机、车载陀螺仪、非接触式温度传感器和道路沿线固定式感知测量装置；如图3和图4所示，所述激光传感器和倾角传感器设置在无人驾驶车辆车体底部两侧轮距线中点处，所述高清摄像机设置于无人驾驶车辆的前端中部；所述非接触式网络红外遥感摄像头分布于积雪道路沿线；

激光传感器和倾角传感器用于实时测量有效积雪深度并将信息上传至传输层；

高清摄像机，用于拍摄无人驾驶车辆实际位置前端的道路积雪图像，并将拍摄的每帧图像发送至传输层；

非接触式网络红外遥感摄像头，用于静态捕捉与采集道路积雪覆盖情况；

传输层，将感知层传输的数据转发至第一处理层和第二处理层；

传输层包括无线转发模块，具有信号无线转发功能。传输层的无线转发模块具有多个RS485接口，支持多种传输协议和功能的Zigbee短距离无线传输方式，具有DTU(数据传输单元)功能。

激光传感器和倾角传感器构成的传感器组以及非接触式温度传感器通过RS485接口与第一处理层中前端处理模块相连；

高清摄像机通过双绞线与第一处理层中前端处理模块相连，通过网络摄像机IP地址访问。

第一处理层，对数据信息进行实时处理并发送到传输层；

第一处理层包括数据信息演算模块、图像处理模块和数据融合处理模块，所述数据信息演算模块将感知层中激光传感器、倾角传感器、车载MEMS陀螺仪和温度传感器采集的信息进行综合演算处理得到有效积雪深度测量值，计算最优道路坡度和最优电池温度；所述图像处理模块对高清摄像机采集的图像中积雪轮廓特征进行提取并进行特征识别，形成积雪轮廓包络线，得到有效积雪深度测量值；基于车载图像装置和路边设置的图像装置采集的路面图像对积雪深度测量值进行修正后，所述数据融合处理模块再将两种测量方法得到的有效积雪深度测量值，进行加权融合，得到最优有效积雪深度测量值；

第二处理层，对经过第一处理层处理的数据进行电池电量的实时预测；

第二处理层包括基于小波神经网络的无人驾驶车辆的电池耗电率拟合网络和基于BP神经网络的无人驾驶车辆剩余电量预测网络，利用传输层发送的数据融合后的有效积雪深度、道路坡度和电池温度作为模型输入值，每一采集单位对应的电池耗电率作为模型输出值，将多个节点采集得到的数据信息作为训练样本，前一层基于小波神经网络的无人驾驶车辆的电池耗电率拟合网络输出的电池耗电率作为下一层基于BP神经网络的输入神经元，构建无人驾驶车辆电池电量的智能预测模型；然后利用经过第一处理层对感知层实时采集的数据进行处理后，经传输层传输至第二处理层的无人驾驶车辆电池电量的智能预测模型，获得车辆电池电量的实时预测。

第一处理层和第二处理层的数据处理过程采用上述的一种基于环境视觉融合的无人驾驶电量计算和预警方法中的数据处理方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于环境视觉融合的无人驾驶电量计算和预警方法，其特征在于，包括以下步骤：

步骤1：获取冰雪环境下无人驾驶车辆历史行驶数据；

所述行驶数据包括各时刻的路面积雪深度、道路坡度、电池温度、耗电率以及剩余电量；

步骤2：构建基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型；

以所述历史行驶数据中的路面积雪深度、道路坡度、电池温度作为输入数据，耗电率作为输出数据，对小波神经网络进行训练，获得基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型；

所述小波神经网络的输入层节点个数为3，隐含层小波元个数为6，输出层节点个数为1，隐含层小波神经元采用Mexican Hat小波函数，输出层节点采用Sigmoid函数；训练过程中的最大迭代次数设置为1500，训练学习率为0.1，阈值为0.0002；

步骤3：构建基于BP神经网络的无人驾驶车辆剩余电量预测模型；

以所述历史行驶数据中的t时刻的耗电率和对应的剩余电量作为输入数据，t+1时刻的剩余电量作为输出数据，对BP神经网络进行训练，获得基于BP神经网络的剩余电量预测模型；

所述BP神经网络的输入层包含2个节点，最大迭代次数设置为200，训练学习率为0.1；

步骤4：对下一时刻的剩余电量进行预警；

利用实时获得的有效路面积雪深度、道路坡度以及电池温度数据输入基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型，获得当前时刻的电池耗电率，并基于获得的当前电池耗电率以及实时剩余电量，输入基于BP神经网络的剩余电量预测模型，获得下一时刻的剩余电量，并基于设定的剩余电量阈值进行电量预警；

其中，所述有效路面积雪深度是利用修正后的路面积雪深度测量值和路面积雪深度观察值进行加权融合获得；

所述路面积雪深度测量值是通过设置在无人驾驶车辆车底两侧的车载激光传感器和倾角传感器进行实时测量计算获得，并利用车载图像采集装置和设置的路边的图像采集装置采集的路面图像对积雪深度测量值进行修正；

所述路面积雪深度观察值是利用车载图像采集装置获取路面图像，并对路面图像进行形状特征提取，再对形状特征进行边缘提取区域轮廓，对区域轮廓进行计算获得。

2.根据权利要求1所述的方法，其特征在于，所述基于小波神经网络的无人驾驶车辆的电池耗电率拟合模型的用于获取有效积雪深度的权值、小波神经网络的权值、阈值和伸缩平移系数采用水循环算法WCA算法进行寻优获得的过程如下：

步骤C1：每个降雨层作为用于获取有效积雪深度的权值、小波神经网络模型的权值、阈值和伸缩平移系数，初始化降雨层种群；

设定降雨层种群数量的取值范围为[20,100]，海洋数量为1，河流数量的取值范围为[5,30]，最大迭代次数的取值范围为[200,1000]、极小值的取值范围为[0.005,0.1]；

步骤C2：设定适应度函数；

将降雨层对应的用于获取有效积雪深度的权值、小波神经网络的权值、阈值和伸缩平移系数代入基于小波神经网络的耗电率预测模型中，并利用降雨层确定的基于小波神经网络的耗电率预测模型计算下一时刻的耗电率，将预测值和实际值的均方差MSE的倒数作为适应度函数；

步骤C3：以适应度大的降雨层作为大海，以适应度次小的降雨层作为河流，其余的降雨层作为流入河流或海洋的溪流；

步骤C4：如果溪流解优于河流解，则溪流与河流交换位置，如果河流解优于海洋解，则河流与海洋交换位置；然后使溪流流入河流，使河流汇入海洋；

步骤C5：判断河流解与海洋解之间的差值绝对值是否小于设定的极小值，如果小于，则认为满足降雨条件，从种群中去掉该河流，并重新进行降雨过程，随机生成新的降雨层加入种群，返回步骤C3继续一次迭代，否则，进入步骤C6；

步骤C6：判断是否到达最大迭代次数，若满足则输出最优的降雨层对应的参数，输出用于获取有效积雪深度的权值、小波神经网络的权值、阈值和伸缩平移系数，若不满足则进入步骤C3继续下一次迭代。

3.根据权利要求1所述的方法，其特征在于，所述获取路面积雪深度观察值的具体过程如下：

步骤A1：利用车载图像采集单元对采集到的路面图像进行灰度化处理，得到灰度图像；

步骤A2：对灰度图像进行高斯滤波和梯度化处理，得到滤波后的幅值图像；

步骤A3：用canny边缘检测算法对滤波后的幅值图像提取边缘点；

步骤A4：对提取的边缘点用双阈值算法进行检测和连接，获得积雪区域轮廓线，并采用视场划分标准块扫描像素点法对积雪区域轮廓线进行扫描，得到路面积雪深度观察值。

4.根据权利要求2所述的方法，其特征在于，利用车载图像采集装置和设置在路边的图像采集装置采集的路面图像对路面积雪深度测量值进行修正，修正时所用的修正值为第一修正值和第二修正值的乘积；

第一修正值的获取步骤如下：

步骤B1：将车载图像采集装置采集到的连续多帧路面图像转化为灰度图像；

步骤B2：对连续两帧路面图像的灰度图像的灰度做差处理，得到两帧图像的灰度差值D_grey，并与预先设定的差值阈值进行比较，按照下式判断道路状况：

步骤B3：依据道路状况对应的雪深修正系数与路面积雪深度测量值相乘，得到路面积雪深度测量值的第一修正值；

所述第一修正值的取值范围如下：

当道路仅积雪时，取值为1.0；

当道路有积水时，取值为0.6-0.7；

当道路有结冰时，取值为0.7-0.8；

第二修正值的获取步骤如下：

利用高斯背景建模方法对道路沿线固定式图像采集装置采集到的图像提取运动前景；

利用运动前景，通过雪花对光线的反射特性和雪花的几何特征来识别雪花像素点；

利用雪花像素的数量与整幅图像的分辨率的比值作为雪密度，基于雪密度确定第二修正值的取值；

所述第二修正值的取值范围如下：

当雪密度<5％时，取值为0.65；

当雪密度≥5％且<10％时，取值为0.75；

当雪密度≥10％且<13％时，取值为0.90；

当雪密度≥13％时，取值为1.00。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述基于BP神经网络的剩余电量预测模型中BP神经网络的权值和阈值采用带有自适应权值的量子粒子群算法进行寻优获得的过程如下：

步骤D1：以量子粒子群中每个量子粒子个体的位置向量作为所述BP神经网络的权值和阈值，将量子粒子种群个体的位置向量参数初始化为[-1,1]的随机数；

量子粒子群种群的个数的取值范围为[25,70]，量子粒子群的粒子个数的取值范围为[5,50]，最大迭代次数的取值范围为[400,1000]，组建精英种群的迭代次数的取值范围为[60,180]，早熟收敛判断阈值的取值范围为[0.01,0.45]，种群最差粒子变异比例δ％的取值范围为[2％,7％]；

步骤D2：设定适应度函数，确定初始最优量子粒子个体位置向量和迭代次数t，t＝1；

将量子粒子个体位置向量对应的权值和阈值代入基于BP神经网络的脸部识别模型中，并利用量子粒子个体位置向量确定的基于BP神经网络的剩余电量预测模型计算当前剩余电量，将预测的剩余电量和实际值的均方差的倒数作为第二适应度函数f2(x)；

步骤D3：计算每个量子粒子群的群体适应度方差，进行早熟收敛判断；

若量子粒子群群体适应度方差小于早熟收敛判断阈值γ，则对量子粒子群中δ％的适应度最差粒子和群体极值粒子进行变异，并以当前适应度最好的粒子作为全局最优量子粒子个体；

步骤D4：判断是否组建精英种群；

当迭代次数大于精英种群迭代次数时，则通过种群间的信息共享，提取各种群的极值组建精英种群，转入步骤D8，否则转入步骤D5；

步骤D5：更新各种群粒子参数；

步骤D6：重新计算并比较每个粒子的适应度值，如果优于当前的个体极值，则更新个体极值；比较全局极值粒子，如果存在粒子适应度值优于当前的群体极值，则更新全局极值粒子，令t＝t+1，转入步骤D3；

步骤D7：精英种群继续进化；

步骤D8：判断是否满足最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤D3，直到找到全局最优值，输出所述BP神经网络的权值和阈值。

6.根据权利要求1所述的方法，其特征在于，利用无人驾驶车辆车载惯性导航系统中的MEMS陀螺仪，感知到车身方向和水平方向的夹角作为道路坡度测量值。

7.根据权利要求2所述的方法，其特征在于，利用均匀分布在电池表面的16个非接触式温度传感器实时采集无人驾驶车辆的电池温度，通过插值处理，拟合出电池表面的三维温度分布数据图，并从中取极大值作为电池温度。

8.一种基于环境视觉融合的无人驾驶电量计算和预警系统，其特征在于，包括感知层、传输层、第一处理层以及第二处理层；

感知层，将感知设备采集到的数据信息发送到传输层；

所述感知设备包括设置在无人驾驶车辆上的激光传感器、倾角传感器、高清摄像机、车载陀螺仪、非接触式温度传感器和道路沿线固定式感知测量装置；所述激光传感器和倾角传感器设置在无人驾驶车辆车体底部两侧轮距线中点处，所述高清摄像机设置于无人驾驶车辆的前端中部；非接触式网络红外遥感摄像头分布于积雪道路沿线，用于静态捕捉与采集道路积雪覆盖情况，与车载测量积雪深度设备输出值进行数据融合；

传输层，将感知层传输的数据转发至第一处理层和第二处理层；

第一处理层，对数据信息进行实时处理并发送到传输层；

第一处理层包括数据信息演算模块、图像处理模块和数据融合处理模块，所述数据信息演算模块将感知层中激光传感器、倾角传感器、车载MEMS陀螺仪和温度传感器采集的信息进行综合演算处理得到有效积雪深度测量值，计算最优道路坡度和最优电池温度；所述图像处理模块对高清摄像机采集的图像中积雪轮廓特征进行提取并进行特征识别，形成积雪轮廓包络线，得到有效积雪深度测量值；基于车载图像装置和路边设置的图像装置采集的路面图像对积雪深度测量值进行修正后，所述数据融合处理模块再将两种测量方法得到的有效积雪深度测量值，进行加权融合，得到最优有效积雪深度测量值；

第二处理层，对经过第一处理层处理的数据进行电池电量的实时预测；

第二处理层包括基于小波神经网络的无人驾驶车辆的电池耗电率拟合网络和基于BP神经网络的无人驾驶车辆剩余电量预测网络，利用传输层发送的数据融合后的有效积雪深度、道路坡度和电池温度作为模型输入值，每一采集单位对应的电池耗电率作为模型输出值，将多个节点采集得到的数据信息作为训练样本，前一层基于小波神经网络的无人驾驶车辆的电池耗电率拟合网络输出的电池耗电率作为下一层基于BP神经网络的输入神经元，构建无人驾驶车辆电池电量的智能预测模型；然后利用经过第一处理层对感知层实时采集的数据进行处理后，经传输层传输至第二处理层的无人驾驶车辆电池电量的智能预测模型，获得车辆电池电量的实时预测，并基于设定的剩余电量阈值进行电量预警。