CN109871639B - 一种基于视觉感知技术的清扫车作业功率计算装置及方法 - Google Patents

Abstract

本发明公开了一种基于视觉感知技术的清扫车作业功率计算装置，包括摄像头、速度传感器、GPS定位装置、工控机、车载直流电源、控制器。本发明还公开了一种基于视觉感知技术的清扫车作业功率计算方法，根据视觉感知方法获取路面垃圾物种类及覆盖率；基于视觉感知方法建立扫盘功率拟合模型及制定风机挡位选取规则；结合步骤一获取的垃圾物种类及覆盖率，以及步骤二建立的扫盘功率拟合模型及风机挡位选取规则，预测实际作业工况下清扫车扫盘、风机功率。本发明基于能源耗损问题对清扫车进行功率优化，使得清扫车能够根据实际作业工况智能选取最优作业功率，提高清扫车智能化程度的同时，达到了节约能源降低功率损耗的目的。

Description

一种基于视觉感知技术的清扫车作业功率计算装置及方法

技术领域

本发明属于智能清扫车技术领域，具体涉及一种基于视觉感知技术的清扫车作业功率计算装置及方法。

背景技术

随着生活水平的提高，城市环卫工作逐渐由清扫车承担，在一定程度上解放了人工劳动力，但是现阶段清扫车智能化水平不高，并且由于其作业工况特殊，传统道路清扫车在作业期间人工选取作业功率，无法根据路面实际作业工况选取最优作业功率，容易出现功率不匹配的现象，势必造成一定程度的能源损失。

如图1所示，传统清扫车进行道路清扫时，驾驶员根据路面状态在操作面板上进行风机、扫盘以及高压水泵挡位的选取，控制各执行器的清扫挡位，根据大多数驾驶员操作习惯，选取的清扫挡位往往比所需挡位高，而相邻挡位扫盘转速相差20～40r/min，高一挡位风机功率大约为低一档位风机功率的一倍，挡位选取不合理会造成很大的能量损失，此外由于水泵不同挡位之间损耗功率差别较小，故本发明针对风机、扫盘挡位/功率进行智能控制，基于能源耗损问题对清扫车进行功率优化，使得清扫车能够根据实际作业工况智能选取最优作业功率，提高清扫车智能化程度的同时，达到了节约能源降低功率损耗的目的。

发明内容

本发明所要解决的技术问题是克服了现有技术存在的问题，提供了一种基于视觉感知技术的清扫车作业功率计算装置，基于能源耗损问题对清扫车进行功率优化，使得清扫车能够根据实际作业工况智能选取最优作业功率，提高清扫车智能化程度的同时，达到了节约能源降低功率损耗的目的。

为解决上述技术问题，本发明是采用如下技术方案实现的：

一种基于视觉感知技术的清扫车作业功率计算装置，包括摄像头、速度传感器、GPS定位装置、工控机、车载直流电源、控制器；

摄像头通过GigE接口与工控机连接，车载直流电源分别给工控机及摄像头供电，工控机通过CAN接口与上装集成控制器连接，上装集成控制器通过数字I/O接口与扫盘、风机以及高压水泵连接；

摄像头共有两个，分别安装在车头处以及车尾处，车头处摄像头可以看到前方是否有垃圾物；车尾摄像头实时拍摄清扫后的路面状态，并通过工控机将信息传送至环卫队；速度传感器用于实时获取清扫车作业车速；

工控机中存有视觉感知模型以及执行器功率拟合模型，能够接收摄像头传递的视频流信息，识别路面垃圾物种类、覆盖率，预测作业工况下所需最佳执行器功率/挡位，同时工控机可将摄像头拍摄的视频流信息以及GPS定位装置的清扫车位置信息实时传送至环卫部门，对道路清扫情况的实时监控；

控制器包括底盘集成控制器以及上装集成控制器，通过CAN接口接收工控机指令，并输出数字I/O以调节执行器作业功率。

本发明同时提供了一种基于视觉感知技术的清扫车作业功率计算方法，包括以下步骤：

步骤一、根据视觉感知方法获取路面垃圾物种类及覆盖率；

步骤二、基于视觉感知方法建立扫盘功率拟合模型及制定风机挡位选取规则；

步骤三、结合步骤一获取的垃圾物种类及覆盖率，以及步骤二建立的扫盘功率拟合模型及风机挡位选取规则，预测实际作业工况下清扫车扫盘、风机功率。

进一步地，所述步骤二中基于视觉感知方法建立扫盘功率拟合模型包括以下过程：

1)实验获取多组不同工况下的扫盘功率；

2)采用主成分分析算法对输入变量进行降维处理；

3)采用线性回归算法拟合主成分与扫盘功率之间的函数关系；

4)得到扫盘功率拟合模型。

更进一步地，所述步骤2)采用主成分分析算法对输入变量进行降维处理的具体过程为：

在建模过程中，将样本数据划分为拟合数据和验证数据，

给定数据集D＝{(x₁,p₁₁,p₂₁),(x₂,p₁₂,p₂₂),…,(x_m,p_1m,p_2m)}，其中x_i＝(x_i1,x_i2,x_i3,x_i4,x_i5)表示一个样本中对应的五个属性，分别为垃圾覆盖率、垃圾种类、垃圾物的亲水性、路面状态以及天气状态；

输入矩阵为

(1)计算输入矩阵X₁的协方差矩阵；

(2)计算协方差矩阵的特征值和特征向量；

(3)利用MATLAB软件对各个变量进行主成分分析，获得各成分的特征值、贡献率和累计贡献率，确定主成分个数及其贡献率；

系统主成分为垃圾覆盖率、垃圾种类以及路面状态，输入矩阵变为X′：

所述步骤3)采用线性回归算法拟合主成分与扫盘功率之间的函数关系的具体过程为：

此时数据集变为D＝{(x₁,p₁₁,p₂₁),(x₂,p₁₂,p₂₂),…,(x_m,p_1m,p_2m)}，其中x_i＝(x_i1,x_i2,x_i3)表示一个样本中对应的三个主成分；

采用线性回归算法，试图学得：

其中，

为预测的盘扫功率；P₁为该工况下对应的最优盘扫功率，该值由实验测得；

令

化输入矩阵为

其中，m表示输入样例个数，输入矩阵每一行即表示一个样例；x_m1、x_m2、x_m3分别表示输入的三个属性，即垃圾覆盖率、垃圾种类以及垃圾亲水性；

由最小二乘算法估计误差可知，误差为：

定义损失函数为：

找到一个

使得

最小，即

进一步地，所述步骤二中基于视觉感知方法制定风机挡位选取规则包括以下过程：

1)实验获取各个组合某一覆盖率j下单类垃圾质量m_i、体积V_i，其中，下标表示第i类垃圾，i＝1，2，3，4，5，由此可得到单类垃圾覆盖率与质量、体积对应表；

2)采用盘扫将垃圾扫成一长条状，计算可得第i类垃圾盘扫后的堆状垃圾长L_i：

式中，w为堆状垃圾宽度，h为堆状垃圾高度；

3)计算第i类垃圾对应的上装系数：

定义单类垃圾上装系数θ_i为：

式中，v_c为清扫车清扫车速；

4)得到n类垃圾混合后的等效上装系数θ_n：

由此可得到风机挡位-等效上装系数θ_n关系表。

进一步地，所述步骤三结合步骤一获取的垃圾物种类及覆盖率，以及步骤二建立的扫盘功率拟合模型及风机挡位选取规则，预测实际作业工况下清扫车扫盘、风机功率，包括以下过程：

3.1)摄像头实时获取作业路面图像，根据视觉感知获取路面垃圾物种类i及覆盖率j，自带速度传感器获取当前作业车速v_c；

3.2)获取作业工况所需扫盘功率：

将垃圾物种类i及覆盖率j输入至所述步骤二建立的扫盘功率拟合模型中，得到当前作业工况下的最低扫盘功率

3.2)获取作业工况所需风机挡位：

根据步骤二建立的单类垃圾覆盖率-质量-体积对应表以及摄像头识别得到的垃圾种类i、覆盖率j查找得到单类垃圾质量

体积

计算当前工况下混合垃圾等效上装系数

根据所述步骤二建立的风机挡位-等效上装系数θ_n关系表，将所得

与风机各档位对应系数做比较，采取向上选取原则得出当前工况所需风机挡位。

与现有技术相比本发明的有益效果是：

1.根据实际作业工况主动选取最优最低工作功率，达到相同清扫程度的前提下能够有效节能，有效解决了传统清扫车功率不匹配的现象；

2.由于清扫车实际作业时，采用先扫盘后风机来清扫垃圾物，且扫盘和风机采用的功率也不尽相同，故将模型构建过程分为两部分进行，如此一来能够排除两个执行器间的功率干扰，提高拟合精度；

3.在构建扫盘功率控制模型时，由于影响扫盘功率的因素众多，首先采用主成分分析法提取出影响权重较大的自变量，有利于排除弱相关因素带来的误差；

4.由于路面垃圾物覆盖率与风机功率没有直接的函数联系，无法建立两者的拟合函数，而在一定吸风功率下风机能够吸附的混合垃圾质量是确定、有限的，故通过实验构建类垃圾覆盖率-质量-体积对应表、风机挡位-等效上装系数θ_n关系表，制定风机挡位选取规则，更贴近实际作业。

附图说明

图1为传统清扫车功率挡位选取原理图；

图2为本发明一种基于视觉感知技术的清扫车作业功率计算装置原理框图；

图3为本发明一种基于视觉感知技术的清扫车作业功率计算装置运行流程图流程图；

图4为本发明步骤二基于视觉感知建立扫盘功率拟合模型流程图；

图5为本发明步骤二制定风机挡位选取规则流程图；

图6为本发明清扫车实际作业时具体流程图。

具体实施方式

以下结合附图详细介绍本发明的技术方案：

如图2所示，一种基于视觉感知技术的清扫车作业功率计算装置，包括acA1920-40gm/gc摄像头、速度传感器、GPS定位装置、车载级工控机Nuvo-5095GC、车载直流电源、控制器；

摄像头通过GigE接口与工控机连接，车载直流电源分别给车载工控机及摄像头供电，车载工控机通过CAN接口与上装集成控制器连接，上装集成控制器通过数字I/O接口与扫盘、风机以及高压水泵连接；

其中，摄像头共有两个，分别安装在车头处以及车尾处，车头处摄像头安装在内后视镜前端，可以看到前方8米内是否有垃圾物；车尾摄像头实时拍摄清扫后的路面状态，并通过工控机将信息传送至环卫队，有利于环卫队对未处理垃圾进行及时处理；速度传感器用于实时获取清扫车作业车速；

车载级工控机中存有视觉感知模型以及执行器功率拟合模型，能够接收摄像头传递的视频流信息，识别路面垃圾物种类、覆盖率，进一步地，预测作业工况下所需最佳执行器功率/挡位，同时工控机可将摄像头拍摄的视频流信息以及GPS定位装置的清扫车位置信息实时传送至环卫部门，可实现对道路清扫情况的实时监控；

控制器包括底盘集成控制器以及上装集成控制器，可通过CAN接口接收工控机指令，并输出数字I/O以调节执行器作业功率。

一种基于视觉感知技术的清扫车作业功率计算方法，具体步骤为：

步骤一、根据视觉感知方法获取路面垃圾物种类及覆盖率；

步骤二、基于视觉感知方法建立扫盘功率拟合模型、制定风机挡位选取规则；

步骤三、结合步骤一获取的垃圾物种类及覆盖率，以及步骤二建立的扫盘功率拟合模型及风机挡位选取规则，预测实际作业工况下清扫车扫盘、风机功率。

步骤一根据视觉感知方法获取路面垃圾物种类及覆盖率的具体过程为：

1.1)采用Faster-RCNN算法构建路面垃圾物智能识别模型，路面垃圾物智能识别模型接收路面垃圾物图像输入后，可识别得到垃圾物的种类；

1.2)构建覆盖率识别模型：

首先采用图像处理算法分割目标与背景，具体步骤为：对输入图像进行阴影去除及图像分块，分块完成后进行高斯去噪，计算Sobel算子梯度并采用二值化面积阈值初步分割目标与背景；进一步地，采用形态学刻画的方法除去分割后图像中的不相干点；最后基于分割后的图像进行路面垃圾物覆盖率判断，得到每一种类垃圾物的占比及其覆盖率。

步骤二基于视觉感知方法建立扫盘功率拟合模型、制定风机挡位选取规则的具体过程为：

2.1)确定实验取样工况数量：

由于清扫车作业工况复杂，具有多样性，且清扫车上装功率大小受环境、垃圾覆盖率、垃圾物种类以及垃圾亲水性的影响，基于影响因素可得实验工况组合数量，如表1所示。同时为排除无关因素对模型精度的影响，每种工况应根据覆盖率大小等距取样，且每种工况取不少于十组数据。

表1

此外，由于清扫车作业时执行器分为扫盘和风机，实际作业时，对于两个执行器的要求也不尽相同，扫盘功率受路面状态、垃圾亲水性影响较大，而风机挡位受垃圾物种类、质量影响较大，若将两个执行器统一构建一个功率控制模型，则功率控制不能达到其最优效果，仍存在较大的误差以及功率损失，故针对扫盘构建扫盘功率拟合模型、针对风机制定风机挡位选取规则。

2)构建扫盘功率拟合模型

由于垃圾物种类变量以及环境变量不能量化，无法直接代入拟合模型，故将垃圾物种类变量以及环境变量抽象为系列标签，如表2、表3所示：

表2

垃圾种类	标签
		树叶或纸片	1
垃圾袋或瓶子	2
		灰尘或沙粒	3
煤炭或炉渣	4
		碎玻璃或碎石	5

表3

环境	标签
		路面情况良好	1
差路面	2
		干燥路面	3
潮湿路面	4

由于垃圾物种类标签、环境标签以及垃圾覆盖率与扫盘功率不存在明显的函数联系，故采用主成分回归算法构建扫盘功率拟合模型，在建模过程中，将样本数据划分为两部分，即拟合数据以及验证数据，拟合数据占总数据五分之四，拟合数据用于模型构建，在模型构建完成后，将验证数据代入模型进行误差分析与验证。

有给定数据集D＝{(x₁,p₁₁,p₂₁),(x₂,p₁₂,p₂₂),…,(x_m,p_1m,p_2m)}，其中x_i＝(x_i1,x_i2,x_i3,x_i4,x_i5)表示一个样本中对应的五个属性，分别为垃圾覆盖率、垃圾种类、垃圾物的亲水性、路面状态以及天气状态；

输入矩阵为

其中各个种类垃圾物对应的向量x_i2如表4所示：

表4

垃圾种类	对应向量x<sub>i2</sub>
		树叶或纸片	(1，0，0，0，0，0)
垃圾袋或瓶子	(0，1，0，0，0，0)
		灰尘或沙粒	(0，0，1，0，0，0)
煤炭或炉渣	(0，0，0，1，0，0)
		碎玻璃或碎石	(0，0，0，0，1，0)

1.对自变量进行主成分分析：

主成分分析是一种降维的思想，将彼此相关的因素转化为新的、数量少的综合因素，通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关。

主成分分析能够保证信息的最大保留度，不会损失太多信息，有利于抓住主要矛盾分析问题同时使问题得到简化，提高分析效率与精度。

步骤如下：

(1)计算输入矩阵X₁的协方差矩阵；

(2)计算协方差矩阵的特征值和特征向量；

(3)利用MATLAB软件对各个变量进行主成分分析，即获得各成分的特征值、贡献率和累计贡献率，确定主成分个数及其贡献率；

由主成分分析可知系统主成分为垃圾覆盖率、垃圾种类以及路面状态，输入矩阵变为X′：

2.进一步地，对主成分进行回归建模：

此时数据集变为：D＝{(x₁,p₁₁,p₂₁),(x₂,p₁₂,p₂₂),…,(x_m,p_1m,p_2m)}，其中x_i＝(x_i1,x_i2,x_i3)表示一个样本中对应的三个主成分；

采用线性回归算法，试图学得：

其中，

为预测的盘扫功率；P₁为该工况下对应的最优盘扫功率，该值由实验测得。

为便于讨论，令

化输入矩阵为

其中，m表示输入样例个数，输入矩阵每一行即表示一个样例；x_m1、x_m2、x_m3分别表示输入的三个属性，即垃圾覆盖率、垃圾种类以及垃圾亲水性。

由最小二乘算法估计误差可知，误差为

为方便计算定义损失函数为：

要找到一个

使得

最小，即

(1)当X满秩时，

对

求解对

的偏导数，当偏导为0时即为解

(2)当输入矩阵X不满秩时：

首先对

随机赋予初始值，

改变

的值，使得

按梯度下降的方向进行减少。

梯度方向由

对

的偏导数确定，由于求的是极小值，因此梯度方向是偏导数的反方向。结果为

式中，α为步长；

按上式不断迭代更新直至找到一个

使得

最小。

进一步地，将验证数据代入回归模型中对其有效性进行验证，即通过MATLAB作出输入矩阵与输出矩阵的函数图像以及通过主成分回归模型拟合所得的函数图像，查看两者的拟合程度，经过检验，主成分回归模型预测准确度高。

2.3)制定风机挡位选取规则

依据工况组合数量实验获取各个组合某一覆盖率j下单类垃圾质量m_i、体积V_i，其中，下标表示第i类垃圾，i＝1，2，3，4，5，由此可得到单类垃圾覆盖率-质量-体积对应表；

进一步地，基于各组单类垃圾质量m_i、体积V_i，计算各组实验工况对应的等效上装系数θ_n并记录当前风机挡位，计算步骤如下：

由于清扫车清扫路面垃圾物过程中，首先采用盘扫将垃圾扫成一长条状，且其宽高为固定值，计算可得第i类垃圾盘扫后的堆状垃圾长L_i：

式中，w为堆状垃圾宽度，h为堆状垃圾高度；

定义单类垃圾上装系数θ_i为：

式中，v_c为清扫车清扫车速；

进一步得到n类垃圾混合后的等效上装系数θ_n：

由此可得到风机挡位-等效上装系数θ_n关系表。

步骤三结合步骤一获取的垃圾物种类及覆盖率，以及步骤二建立的扫盘功率拟合模型及风机挡位选取规则，预测实际作业工况下清扫车扫盘、风机功率的具体过程为，如图6所示：

3.1)摄像头实时获取作业路面图像，根据视觉感知获取路面垃圾物种类i及覆盖率j，自带速度传感器获取当前作业车速v_c；

3.2)获取作业工况所需扫盘功率：

将垃圾物种类i及覆盖率j输入至扫盘功率拟合模型中，得到当前作业工况下的最低扫盘功率

3.2)获取作业工况所需风机挡位：

根据单类垃圾覆盖率-质量-体积对应表以及摄像头识别得到的垃圾种类i、覆盖率j查找得到单类垃圾质量

体积

计算盘扫后堆状垃圾长：

计算当前工况下混合垃圾等效上装系数

查找风机挡位-等效上装系数θ_n关系表，将所得

与风机各档位对应系数做比较，采取向上选取原则得出当前工况所需风机挡位。

此外，由于摄像头可拍摄到前方8米内的路面情况，垃圾清扫完成且摄像头拍摄范围内没有垃圾物时把执行器开到最低档节能行驶。

Claims (4)

1.一种基于视觉感知技术的清扫车作业功率计算方法，其特征在于，包括以下步骤：

步骤一、根据视觉感知方法获取路面垃圾物种类及覆盖率；

步骤二、基于视觉感知方法建立扫盘功率拟合模型及制定风机挡位选取规则；

步骤三、结合步骤一获取的垃圾物种类及覆盖率，以及步骤二建立的扫盘功率拟合模型及风机挡位选取规则，预测实际作业工况下清扫车扫盘、风机功率；

所述步骤二中基于视觉感知方法制定风机挡位选取规则包括以下过程：

1)实验获取各个组合某一覆盖率j下单类垃圾质量m_i、体积V_i，其中，下标表示第i类垃圾，i＝1，2，3，4，5，由此可得到单类垃圾覆盖率与质量、体积对应表；

2)采用盘扫将垃圾扫成一长条状，计算可得第i类垃圾盘扫后的堆状垃圾长L_i：

式中，w为堆状垃圾宽度，h为堆状垃圾高度；

3)计算第i类垃圾对应的上装系数：

定义单类垃圾上装系数θ_i为：

式中，v_c为清扫车清扫车速；

4)得到n类垃圾混合后的等效上装系数θ_n：

由此可得到风机挡位-等效上装系数θ_n关系表。

2.如权利要求1所述的一种基于视觉感知技术的清扫车作业功率计算方法，其特征在于，所述步骤二中基于视觉感知方法建立扫盘功率拟合模型包括以下过程：

1)实验获取多组不同工况下的扫盘功率；

2)采用主成分分析算法对输入变量进行降维处理；

3)采用线性回归算法拟合主成分与扫盘功率之间的函数关系；

4)得到扫盘功率拟合模型。

3.如权利要求2所述的一种基于视觉感知技术的清扫车作业功率计算方法，其特征在于，所述步骤2)采用主成分分析算法对输入变量进行降维处理的具体过程为：

在建模过程中，将样本数据划分为拟合数据和验证数据，

给定数据集D＝{(x₁，p₁₁，p₂₁)，(x₂，p₁₂，p₂₂)，…，(x_m，p_1m，p_2m)}，其中x_i＝(x_i1，x_i2，x_i3，x_i4，x_i5)表示一个样本中对应的五个属性，分别为垃圾覆盖率、垃圾种类、垃圾物的亲水性、路面状态以及天气状态；

输入矩阵为

(1)计算输入矩阵X₁的协方差矩阵；

(2)计算协方差矩阵的特征值和特征向量；

(3)利用MATLAB软件对各个变量进行主成分分析，获得各成分的特征值、贡献率和累计贡献率，确定主成分个数及其贡献率；

系统主成分为垃圾覆盖率、垃圾种类以及路面状态，输入矩阵变为X′：

所述步骤3)采用线性回归算法拟合主成分与扫盘功率之间的函数关系的具体过程为：

此时数据集变为D＝{(x₁，p₁₁，p₂₁)，(x₂，p₁₂，p₂₂)，…，(x_m，p_1m，p_2m)}，其中x_i＝(x_i1，x_i2，x_i3)表示一个样本中对应的三个主成分；

采用线性回归算法，试图学得：

其中，

为预测的盘扫功率；P₁为该工况下对应的最优盘扫功率，该值由实验测得；

令

化输入矩阵为

其中，m表示输入样例个数，输入矩阵每一行即表示一个样例；x_m1、x_m2、x_m3分别表示输入的三个属性，即垃圾覆盖率、垃圾种类以及垃圾亲水性；

由最小二乘算法估计误差可知，误差为：

定义损失函数为：

找到一个

使得

最小，即

4.如权利要求1所述的一种基于视觉感知技术的清扫车作业功率计算方法，其特征在于，所述步骤三结合步骤一获取的垃圾物种类及覆盖率，以及步骤二建立的扫盘功率拟合模型及风机挡位选取规则，预测实际作业工况下清扫车扫盘、风机功率，包括以下过程：

3.1)摄像头实时获取作业路面图像，根据视觉感知获取路面垃圾物种类i及覆盖率j，自带速度传感器获取当前作业车速v_c；

3.2)获取作业工况所需扫盘功率：

将垃圾物种类i及覆盖率j输入至所述步骤二建立的扫盘功率拟合模型中，得到当前作业工况下的最低扫盘功率

3.2)获取作业工况所需风机挡位：

根据步骤二建立的单类垃圾覆盖率-质量-体积对应表以及摄像头识别得到的垃圾种类i、覆盖率j查找得到单类垃圾质量

体积V_i ^*，

计算当前工况下混合垃圾等效上装系数

根据所述步骤二建立的风机挡位-等效上装系数θ_n关系表，将所得

与风机各档位对应系数做比较，采取向上选取原则得出当前工况所需风机挡位。

Images