CN112257623A - 一种路面清洁度判定和自动清扫方法及自动清扫环卫装置 - Google Patents

Abstract

本发明提供了一种基于语义分割的路面清洁度判定和自动清扫方法，具体包括以下步骤：步骤1、收集和标注路面垃圾识别和分割的数据集；步骤2、进行路面垃圾语义分割网络训练；步骤3、将网络移植到嵌入式车载平台，实现在线预测车载摄像头输入的实时路面数据；步骤4、根据路面垃圾预测结果，使用度量算法，对路面清洁度进行分级；步骤5、根据路面清洁度评估结果调整清扫车上装机构的清扫力度，实现智能化清扫；步骤6、在垃圾语义实例分割的结果基础上，根据垃圾类别，反馈给路面清洁人员，实现可利用垃圾回收。本发明可以使用到路面清洁车上，对识别的垃圾分类回收，实现路面清洁度判定和智能化路面清扫。

Description

一种路面清洁度判定和自动清扫方法及自动清扫环卫装置

技术领域

本发明涉图像分割、神经网络、目标识别领域，尤其涉及一种路面清洁度判定和自动清扫方法及自动清扫环卫装置。

背景技术

路面垃圾清扫是环卫车辆一项繁琐、耗时、耗能的道路清洁任务，当前环卫车辆里面清扫主要依靠人工驾驶员观察路面，判断路面的垃圾种类和面积，控制清扫的力度和清扫的区域，这种方式的导致环卫车辆路面清扫效率低下，驾驶员容易疲劳驾驶，路面清洁度判定不准确，打扫的不干净，环卫车辆工作能耗高。自动化的路面清洁度判定和清扫力度控制是智能环卫装置急需解决的问题。现行的方案主要有以下六种：

第一种方案如中国发明专利201310115947.2。该方案是公布了一种高智能机器人道路清理系统，该系统包括：声波测距单元用来检测前方障碍物与道路的垃圾距离，控制处理距离数据和采集的方位数据，双目摄像头用于采集器前方图像。超声波测距单元数据判断感兴趣区域，使用双目摄像头的深度信息检测感兴趣区域的垃圾位置。决策模块、垃圾清理模块、自动驾驶模块共同完成垃圾的清扫、路径规划等动作。但是该方案存在以下问题：第一，超声波只能确定存在立体障碍物的感兴趣区域，对于路面平铺的泥土、沙子无法检测到，这样确定的感兴趣区域后漏掉路面泥沙的地方。第二，双目立体视觉使用深度信息也只能检测到立体的垃圾，并且不能对垃圾种类进行分类。第三，无法判断路面清洁度，只能检测出立体障碍物，并不能判断障碍物的种类和面积。使用立体视觉检测障碍物容易将路边其他的马路牙子、绿化树木误检测为垃圾。

第二种方案如中国专利发明200910111960.4。该方案是一种大型垃圾清理车。这种道路垃圾清理车包括清扫机构、垃圾输送系统、垃圾箱和底盘。其特点是安装在底盘底部的清扫机构由多个滚扫及其外罩构成，包括主滚扫、主滚扫外罩、副滚扫和副滚扫外罩，利用两个滚扫滚动收集垃圾；其垃圾输送系统由链条、带垃圾斗的输送带、输送带电动机、驱动链轮、传动链轮和调节链轮组成，可在凹凸不平的环境下完成清扫并将垃圾通过传送带倒入垃圾箱。该方案的优点是：道路清理效率高，清理速度较快，可以储存大量清理上来的垃圾，是现行方案中最常见的一种。但该方案存在的缺点是：所使用的装置需要人工操作，自动化程度低：不能主动进行路面清洁度判定，也不能识别路面垃圾种类和面积。

第三种方案如中国实用新型专利201120517848。该方案是一种微型道路清扫车，这种方案可以看做是普通道路清扫车的小型化版本。其由前车架、驾驶舱和后车架组成。前车架与后车架以铰接相连，缩小车体转弯半径。前车架上有前垃圾箱、清扫装置和吸尘装置，可将垃圾通过清扫装置扫入前垃圾箱内，并通过吸尘装置吸收扫起的尘土。后车架上有后垃圾箱、水箱和出水装置，可以对路面洒水，并储存前垃圾箱收集的垃圾。该方案的优点是：有一定垃圾存储量，清理效率较高，所用装置体积相比第二种方案有所缩小，转弯半径小，使用场合有所扩展，可以作为第二种方案的补充使用，在特大型城市中有所使用。但该方案存在的缺点是：没有主动的路面清洁度判定和垃圾识别的方法，无法自适应的调节清扫机构的上装机构。

第四种方案如中国专利实用新型201120320493。该方案是一种利用风力收集路面垃圾的装置，该技术在公路中央及两侧连续交替设置双层隔离板，隔离板下与地面留有一定距离，道路下方设有垃圾收集槽。当有风吹过隔离板夹层部分时，隔离板夹层会形成风的通道，造成隔离板内外两侧产生压强差，将垃圾吸入垃圾沟槽内。该方案虽说在清扫过程中无需人工干预，也不需要能源供给，对交通影响小，成本较低，但却需要对道路本身进行整体修改，难以适应各种不同的道路情况，并具有一定规模的工程量，对受到改动的道路周边环境存在难以预知的影响。特别是该方案并没有真正将垃圾清理干净，而是暂存在垃圾收集槽内，需要定期对垃圾收集槽进行清理，这一清理过程存在一定的难度与危险；其收集过程需要借助气候因素，无法因需要而主动清理，其清理频率依天气而定，稳定性不足。

第五种方案如中国发明专利201811550033.8.本发明公开了一种路面垃圾物智能识别与感知实现装置，包括摄像头、车载级工控机、车载直流电源、控制器，摄像头用于实时获取路面垃圾物图像，车载级工控机识别摄像头传递的图像，通过CAN接口将识别信息传递给控制器，控制器包括底盘集成控制器以及上装集成控制器，用于接收工控机的指令并向对应的执行器输出数字I/0信号，控制执行器动作。本发明同时公开了一种路面垃圾物智能识别与感知方法，能够实现对道路特征信息的检测识别判断、路面垃圾覆盖率检测识别以及路面垃圾属性学习分类，形成了作业特征学习识别大数据。该方法存在的问题是：使用分类网络Fast-RCNN来进行垃圾检测，只能获得每一类垃圾的矩形包围位置区域，这个矩形区域内存在背景，因此需要进一步的处理，增加了计算量，同时在检测框中区分背景和前景时会存在将垃圾和背景分割错误的情况，导致对路面垃圾的数量评估不准确。

第五种方案如中国发明专利201910989410.6，本发明公开了一种轨道垃圾识别方法、清洁方法、系统、资源配置方法，所述轨道垃圾识别方法，包括步骤：获取轨道视频流；逐帧分解视频流，并对每帧图像进行预处理以过滤图像噪声，所述预处理包括Cohen-Sutherland裁剪，将预处理后的图像输入已训练的垃圾识别模型，图像样本特征提取、多尺度预测、边界框预测以识别垃圾；通过多标签分类将识别的垃圾分类；通过非极大值抑制去掉多次检测到的同一垃圾的边界框。本发明通过Cohen-Sutherland裁剪对图像进行简化，移除环境影响，提高图像检测性能。改方案的问题是：第四种方案类似，都是使用分类网络检测垃圾，Yolov3这种分类网络只能返回矩形检测区域，这个矩形检测区域是垃圾的外包矩形，包含了背景和垃圾，对检测网络的优化只能提高垃圾的检测准确率，但是却没有解决垃圾像素级别的定位为题，包含背景的检测矩形框不是垃圾真实的占据区域。

第六种方案如中过发明专利20191166070.3.该专利公开了路面元素的识别方法、装置、无人驾驶设备和存储介质。所述方法包括：获取当前图像；判断所述当前图像是否满足替换条件；若所述当前图像满足替换条件，则根据所述当前图像以及当前位置信息，从路面元素图像库中查找出与所述当前图像匹配的替换图像；所述路面元素图像库中保存有路面元素图像及其对应的位置信息；根据路面元素图像识别模型，从所述替换图像中识别出用于参考的路面元素；根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素，确定所述当前图像中与当前位置信息对应的路面元素。其有益效果在于，当前图像不满足识别需求时，能够通过替换图像获得准确的路面元素，适用于无人驾驶等场景。但是该专利存在以下不足：路面元素图像库识是预先设定的，在复杂多变的城市工况下，图像库的覆盖范围有限，不能匹配所有的采集图像，会导致图像库的更新速度大，存储量较多，匹配时检索效率低，不适用当前的实时道路工况。

发明内容

为了解决上述问题，本发明设计了一种基于语义分割的路面清洁度判定和自动清扫环卫装置。

本发明采用的技术方案是提供一种基于语义分割的路面清洁度判定和自动清扫方法，具体包括以下步骤：

步骤1、通过车辆的前置摄像头采集车辆前方路面信息，收集和标注路面垃圾识别和分割的数据集；

步骤2、进行路面垃圾语义分割网络训练；

步骤3、将网络移植到嵌入式车载平台，实现在线预测车载摄像头输入的实时路面数据；

步骤4、根据路面垃圾预测结果，使用度量算法，对路面清洁度进行分级；该步骤中，度量算法包括两部分：

步骤4.1、对路面的垃圾分类进行统计和度量，泥土、石头、树叶、水瓶依次赋予不同的权重，进而计算类别度量值；

步骤4.2、对路面的垃圾面积进行度量，进而计算面积度量值；

步骤4.3、计算路面清洁度值，面积度量值为类别度量值与面积度量值之和；

步骤5、将路面清洁度分级结果和路面垃圾预测结果显示在车内显示屏上，根据路面清洁度评估结果调整清扫车上装机构的清扫力度，实现智能化清扫；

步骤6、在垃圾语义实例分割的结果基础上，根据垃圾类别，反馈给路面清洁人员，实现可利用垃圾非回收。

进一步地，步骤1中，收集和标注路面垃圾分类识别数据集，在城区、郊区、工业园路况下采集路面垃圾的图像，并对其中的泥土、石头、树叶、水瓶进行标注。

进一步地，步骤4.1中，识别到泥土、泥土时，类别权重设置为0.15,识别到树叶时，类别权重设置为0.1，识别为水瓶时，类别权重设置为0.1，总类别的权重为每次识别类别的权重总和。

进一步地，步骤4.2中，识别的垃圾总的面积超过识别面积的60％时，面积度量值设置为0.25，识别的垃圾总的面积超过识别面积的30％时，面积度量值设置为0.15，识别的垃圾总的面积小于识别面积的30％时，面积度量值设置为0.1。

进一步地，步骤5中，将路面清洁度分级结果和路面垃圾预测结果显示在车内显示屏上，根据路面清洁度评估结果调整清扫车上装机构的清扫力度，清洁度值小于0.3时，清扫力度设置为正常力度，清洁度大于0.3小于0.6时，使用中等力度清扫，清洁度值大于0.6时，使用大力度清扫路面。

本发明还提供了一种自动清扫环卫装置，其采用了基于语义分割的路面清洁度判定和自动清扫方法。

本发明的有益效果在于：

(1)本发明采集和标注路面语义分割数据集，离线训练路面垃圾语义分割网络，并将训练好的网络移植到车载嵌入式平台上，车辆的前置摄像头采集车辆前方路面信息，输入给神经网络预测模块，使用训练好的神经网络模块对路面的石头、树叶、水瓶、泥土进行预测和分类，通过清洁度度量算法，根据路面的垃圾分割和语义识别的结果，对路面清洁度进行度量，获得路面清洁度值，并在显示模块上显示，根据路面清洁度的反馈值控制上装机构的清扫力度，实现智能化路面清扫。

(2)本发明可以使用到路面清洁车上，对识别的垃圾分类回收，实现路面清洁度判定和智能化路面清扫。

(3)本发明创新性地改进了U-net++神经网络对路面垃圾进行识别，经过训练后的神经网络识别准确率高，并且这项技术可以应用到路面清洁车对路面垃圾分类回收。

附图说明

图1是本发明中摄像头采集的原始图像；

图2是本发明中训练神经网络的标注数据；

图3是本发明的识别效果；

图4是本发明网络训练和智能清扫系统控制示意图；

图5是本发明的识别分割网络。

具体实施方式

以下是本发明的具体实施例并结合附图1-5，对本发明的技术方案进行进一步的描述，但本发明并不限于该实施例。

该实施例提供了一种基于语义分割的路面清洁度判定和自动清扫方法，具体包括以下步骤：

步骤1、通过车辆的前置摄像头采集车辆前方路面信息，收集和标注路面垃圾识别和分割的数据集；

如图1-2所示，该步骤中，收集和标注路面垃圾分类识别数据集，在不同的路面背景颜色和不同工况下采集路面垃圾的图像，并对其中的泥土、石头、树叶、水瓶进行标注；该步骤中，主要包括一般的路面情况有水泥路面、柏油路、泥沙路，主要的采集场景有城市道路区域、工业园、建筑工地道路；

步骤2、训练路面垃圾语义分割网络；

步骤2.1修改原始的Unet++网络，从上采样层每个分支引出一个单独上采样输出层，这些输出层和原始的Unet++网络的输出层一起计算训练损失。

步骤2.2设置损失函数，所有的输出预测分支都使用相同的损失函数来计算损失，最终的训练损失是所有分支损失的平均值，本系统的基本训练损失函数是交叉熵损失函数。

步骤2.3设置神经网络训练的超参数，主要有学习率(0.0001)，训练迭代次数(500万次)，优化器(Adam)。在多NVIDIA显卡服务器上进行训练。如图4所示，本系统的训练过程是在服务器上完成的，是离线进行的，部署执行过程是在服务器上进行的。

步骤3、将网络移植到嵌入式车载平台，实现在线预测车载摄像头输入的实时路面数据；

该步骤中，通过神经网络互通框架ONNX将pytorch框架下训练的网络模型转换后移植到嵌入式车载平台，实现在线预测车载摄像头输入的实时路面数据，所有的车载神经网络硬件预测平台是TX1；

其中，ONNX是开放神经网络交换格式,是一个用于表示深度学习模型的标准,可使模型在不同框架之间进行转移。

TX1是一款模块式计算机，能够为新的视觉计算应用程序提供所需的性能和电源效率。它带有256个CUDA核心的NVIDIA Maxwell^TM架构打造的，可以传输超过1TeraFLOPs(每秒一兆次浮点运算)的性能。借助64位CPUs，4K视频编解码性能和1400MPix/s的摄像头接口性能，Jetson TX1成为深度学习、计算机视觉、图像处理和GPU计算的优秀系统。

步骤4、根据路面垃圾预测结果，使用度量算法，对路面清洁度进行分级；该步骤中，度量算法包括两部分：

步骤4.1、对路面的垃圾分类进行统计和度量，泥土、石头、树叶、水瓶依次赋予不同的权重，进而计算路面清洁度值；

识别到泥土、泥土时，类别权重设置为0.15,识别到树叶时，类别权重设置为0.1，识别为水瓶时，类别权重设置为0.1，总类别的权重为每次识别类别的权重总和。

步骤4.2、对路面的垃圾面积进行度量；

步骤4.3、计算路面清洁度值，面积度量值为类别度量值与面积度量值之和；

识别的垃圾总的面积超过识别面积的60％时，面积度量值设置为0.25，识别的垃圾总的面积超过识别面积的30％时，面积度量值设置为0.15，识别的垃圾总的面积小于识别面积的30％时，面积度量值设置为0.1。

路面清洁度值＝类别度量值+面积度量值；

步骤5、将路面清洁度分级结果和路面垃圾预测结果显示在车内显示屏上，根据路面清洁度评估结果调整清扫车上装机构的清扫力度，实现智能化清扫，该执行过程如图4所示，图像采集模块负责收集道路路面图像信息，路面清洁度识别模块负责根据采集的图像进行路面垃圾分类，并将路面清洁度等级返回给上装执行机构，人机交互的显示界面可以看到路面清洁度的识别结果；

该步骤中，将路面清洁度分级结果和路面垃圾预测结果显示在车内显示屏上，根据路面清洁度评估结果调整清扫车上装机构的清扫力度，清洁度值小于0.3时，清扫力度设置为正常力度，清洁度大于0.3小于0.6时，使用中等力度清扫，清洁度值大于0.6时，使用大力度清扫路面。

步骤6、在垃圾语义实例分割的结果基础上，根据垃圾类别，反馈给路面清洁人员，实现可利用垃圾非回收。

该步骤中，垃圾分割的分类信息和路面清洁度度量值直接显示在车载显示器中。清扫设备可以根据分类检测到的课回收垃圾，自动拾取水瓶，也可以人工拾取水瓶。

最后说明的是，以上实例仅用于说明本发明的技术方案而非限制，尽管参照较佳实例对本发明进行了详细说明，对于本领域的普通技术人员而言，应当理解在不脱离本发明的原理和精神的情况下对本发明的技术方案进行变化、修改、替换和变型均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于语义分割的路面清洁度判定和自动清扫方法，具体包括以下步骤：

步骤1、通过车辆的前置摄像头采集车辆前方路面信息，收集和标注路面垃圾识别和分割的数据集；

步骤2、进行路面垃圾语义分割网络训练；

步骤3、将网络移植到嵌入式车载平台，实现在线预测车载摄像头输入的实时路面数据；

步骤4、根据路面垃圾预测结果，使用度量算法，对路面清洁度进行分级；该步骤中，度量算法包括两部分：

步骤4.1、对路面的垃圾分类进行统计和度量，泥土、石头、树叶、水瓶依次赋予不同的权重，进而计算类别度量值；

步骤4.2、对路面的垃圾面积进行度量，进而计算面积度量值；

步骤4.3、计算路面清洁度值，面积度量值为类别度量值与面积度量值之和；

步骤5、将路面清洁度分级结果和路面垃圾预测结果显示在车内显示屏上，根据路面清洁度评估结果调整清扫车上装机构的清扫力度，实现智能化清扫；

步骤6、在垃圾语义实例分割的结果基础上，根据垃圾类别，反馈给路面清洁人员，实现可利用垃圾非回收。

2.根据权利要求1所述的基于语义分割的路面清洁度判定和自动清扫方法，其特征在于：步骤1中，收集和标注路面垃圾分类识别数据集，在城区马路、工业园水泥路面、郊区水泥路面场景下采集路面垃圾的图像，并对其中的泥土、石头、树叶、水瓶进行标注。

3.根据权利要求1所述的基于语义分割的路面清洁度判定和自动清扫方法，其特征在于：步骤4.1中，识别到泥土、泥土时，类别权重设置为0.15,识别到树叶时，类别权重设置为0.1，识别为水瓶时，类别权重设置为0.1，总类别的权重为每次识别类别的权重总和。

4.根据权利要求1所述的基于语义分割的路面清洁度判定和自动清扫方法，其特征在于：步骤4.2中，识别的垃圾总的面积超过识别面积的60％时，面积度量值设置为0.25，识别的垃圾总的面积超过识别面积的30％时，面积度量值设置为0.15，识别的垃圾总的面积小于识别面积的30％时，面积度量值设置为0.1。

5.根据权利要求1所述的基于语义分割的路面清洁度判定和自动清扫方法，其特征在于：步骤5中，将路面清洁度分级结果和路面垃圾预测结果显示在车内显示屏上，根据路面清洁度评估结果调整清扫车上装机构的清扫力度，清洁度值小于0.3时，清扫力度设置为正常力度，清洁度大于0.3小于0.6时，使用中等力度清扫，清洁度值大于0.6时，使用大力度清扫路面。

6.一种自动清扫环卫装置，其特征在于：采用了权利要求1-5所述的基于语义分割的路面清洁度判定和自动清扫方法。

Images