CN109753890B - 一种路面垃圾物智能识别与感知方法及其实现装置 - Google Patents

Abstract

本发明公开了一种路面垃圾物智能识别与感知实现装置，包括摄像头、车载级工控机、车载直流电源、控制器，摄像头用于实时获取路面垃圾物图像，车载级工控机识别摄像头传递的图像，通过CAN接口将识别信息传递给控制器，控制器包括底盘集成控制器以及上装集成控制器，用于接收工控机的指令并向对应的执行器输出数字I/O信号，控制执行器动作。本发明同时公开了一种路面垃圾物智能识别与感知方法，能够实现对道路特征信息的检测识别判断、路面垃圾覆盖率检测识别以及路面垃圾属性学习分类，形成了作业特征学习识别大数据。

Description

一种路面垃圾物智能识别与感知方法及其实现装置

技术领域

本发明属于人工智能道路清扫车技术领域，具体涉及一种路面垃圾物智能识别与感知方法及其实现装置。

背景技术

近年来，随着人工智能的发展，汽车行业与这一技术的关联也不断加深。在城市道路清扫车的研发中，也在尝试将人工智能相关技术在上装作业、智能辅助驾驶等方面加以应用。在对路面垃圾物的智能识别作业开发中，由于缺少相关研究，对路面作业效果的反馈评价尚不存在稳定可靠的方案，一系列仿真过程也缺少相应的工况模型。并且由于其作业工况特殊，传统道路清扫车在作业期间始终开启上装作业执行器，无法根据路面作业特征自适应改变工作强度，容易出现功率不匹配的现象，势必造成一定程度的能源损失。

发明内容

为解决现有技术存在的上述问题，本发明提供一种路面垃圾物智能识别与感知实现装置。

一种路面垃圾物智能识别与感知实现装置，包括摄像头、车载级工控机、车载直流电源、控制器，摄像头通过GigE接口与工控机连接，车载直流电源分别给车载工控机及摄像头供电，车载工控机通过CAN接口与控制器连接，控制器通过数字I/O口与执行器连接；摄像头用于实时获取路面垃圾物图像，车载级工控机识别摄像头传递的图像，通过CAN接口将识别信息传递给控制器，控制器包括底盘集成控制器以及上装集成控制器，用于接收工控机的指令并向对应的执行器输出数字I/O信号，控制执行器动作。

本发明同时提供一种路面垃圾物智能识别与感知方法，步骤如下：

步骤一、选取实际清扫车典型作业路况，采用摄像头对路面垃圾物进行拍照采样；

步骤二、将路面垃圾物的识别过程分为路面垃圾物种类识别以及路面垃圾物覆盖率识别，将两部分输出结合后得到清扫车作业特征学习识别大数据：

1.路面垃圾物种类识别，包括以下步骤：

1.1图像预处理:利用图片标注工具Labellmg对样本图片进行标注，标注完成的图片即可建立样本库，用于模型训练；

1.2构建神经网络模型:采用Faster-RCNN算法构建路面垃圾物智能识别模型；

2、路面垃圾物覆盖率识别，包括以下步骤：

2.1阴影去除：选取基于HSV颜色空间的算法进行阴影去除；

2.2图像分块处理：在采集多种实际环境下的路面垃圾图像作为原始图像样本的基础上，对原始图像进行分块处理，并基于大量的样本分块图建立覆盖率识别样本库；

2.3图像分子块处理：对分块处理后的图片进行去噪，并对去噪后的图像进行形态学刻画；

2.4路面垃圾物覆盖率判断；

步骤三、将步骤二得到的清扫车作业特征学习识别大数据输入至车载级工控机中，当工控机接收到摄像头采集到的图像信息后即可进行处理，完成路面垃圾物识别以及路面垃圾物覆盖率判断的工作，并输出路面垃圾物种类以及对应的垃圾物覆盖率。

所述步骤1.2采用Faster-RCNN算法构建路面垃圾物智能识别模型具体包括以下步骤：

(1)将大小为M×N的测试图像输入至采用VGG16模型的Conv Layer中，提取出特征图；

(2)将图像输入到RPN网络中进行前向计算，生成建议窗口；

(3)通过ROI Pooling层提取proposal feature map；

(4)利用Softmax分类器以及Bounding box regression边框回归处理对proposalfeature map进行联合训练，最终输出为路面垃圾物种类。

所述步骤(2)将图像输入到RPN网络中进行前向计算，生成建议窗口，包括以下具体步骤：

首先生成训练样本，对窗口进行初步筛选：

(A)过滤掉超出图像边界的窗口；

(B)对每个标定的目标窗口，将与其重叠比例最大的窗口记为正样本；

(C)从已经得到的正负样本中随机选取若干个个窗口组成一个Minibatch用于训练，而且正负样本的比例为1:1；

再通过分类回归计算筛选得到建议窗口，其分类回归计算是由全连接层后接两个子连接层完成的，即分类层和回归层，分类层用于判断窗口属于目标还是背景，回归层用于计算窗口的偏移量和缩放量：

(A)采用Softmax分类器将每一个窗口进行二分类，将其划分为目标以及背景两类；

(B)对目标窗口进行边框回归处理。

所述步骤2.1阴影去除包括以下具体步骤：

2.1.1RGB颜色空间转换到HSV颜色空间：将任意像素点在[0，1]范围内R、G、B分量值转化为对应HSV颜色空间中H、S、V的分量值；

2.1.2阴影弱化：通过对图像各像素点进行log域差分来实现阴影弱化；

2.1.3判断H、S、V分量值是否满足判断式：

其中，I_h(x,y)、I_s(x,y)、I_v(x,y)分别表示当前图像I(x,y)的H、S、V的分量；B_h(x,y)、B_s(x,y)、B_v(x,y)分别表示背景图像B(x,y)对应的H、S、V的分量；0＜α＜β＜1，数α取值考虑阴影的强度，当阴影亮度越强时，α越小；β用来增强对噪声点的鲁棒性；参数τ_s小于零；

若HSV(x,y)的值为1，则说明为要去除的阴影点，否则不用去除。

2.1.4二值化步骤2.1.3的输出图像。

所述步骤2.3图像分子块处理具体包括以下步骤：

首先对分块处理后的图片进行高斯去噪，经高斯去噪后图像由彩色图像转为了灰度图像；

去除噪声后计算Sobel算子梯度：

计算得出图像每一分块的梯度大小以及梯度方向为：

G_x代表经横向边缘检测的图像梯度，G_y代表经纵向边缘检测的图像梯度；

采用二值化面积阈值进行图像去噪：

采用Otsu算法确定阈值；

将像素灰度值大于阈值T的设为255，小于阈值T的设为0，处理后的图像变为黑白两色，即将灰度图像划分成了目标以及背景两类；

对图像进行形态学刻画。

所述步骤2.4路面垃圾物覆盖率判断具体包括以下步骤：

2.4.1.遍历形态学刻画后的子块图像的各个像素点，对所有子块图像的像素面阵进行归一化处理，依据小块归一化结果加权，由此对子块图像中垃圾数量进行评级：

其中，P_ij表示分级指标；H_xy表示子块的像素；i、j代表的是子块的横向、纵向数量；X、Y代表的是子块的分辨率横纵数值。

得到原始图像的垃圾分布特征矩阵I，数字即代表垃圾数量等级的评级；

2.4.2.垃圾覆盖率特征矩阵推算目标路况垃圾覆盖率:

基于垃圾分布特征矩阵，进一步采用特征权重的方法获取目标路况垃圾覆盖率：

其中，FL_dd表示路面垃圾物覆盖率；w_ij表示特征权重矩阵，由路面特征分布规律确定,用于调整子块置信度。

与现有技术相比本发明的有益效果是：

1.能够实现对道路特征信息的检测识别判断、路面垃圾覆盖率检测识别以及路面垃圾属性学习分类，形成了作业特征学习识别大数据；

2.研究了作业过程中各种典型工况下不同的路面垃圾物种类以及分布情况，大数据的形成能够增强机器学习泛化能力，提升智能化程度；

3.采用Faster-RCNN算法构建路面垃圾物智能识别模型，有效的提高了模型的识别精度以及准确度，实验证明经过此模型识别后垃圾物分类准确度得到了很好的提高；

4.本发明将垃圾物的识别过程分为了两个部分，即路面垃圾物种类识别以及路面垃圾物覆盖率识别，相比于整体识别而言分部分建模更加具有针对性，准确度也更高；

5.利用图像分块识别方法提高了图像识别的准确度，能够获取路面状态分布情况，减少了不同光照条件以及路面状态对识别精度的影响；

6.本发明可用于城市清扫车上，有利于提高清扫车智能化程度，降低人为操作的负担，解放人工作业耗费的人力物力。

附图说明

图1工控机连接装置图

图2路面垃圾物识别流程图

图3路面垃圾物种类识别样本示意图

图4 Faster-RCNN方法框架流程

图5 anchors示例

图6边框回归示意图

图7路面垃圾物种类结果示意图

图8阴影去除算法流程图

图9样本库图片示意图

图10路面垃圾物覆盖率识别分割示意图

图11阶段处理生成图像1

图12阶段处理生成图像2

图13垃圾分布特征矩阵示例

具体实施方式

本发明提供了一种路面垃圾物智能识别与感知实现装置，其特征在于，包括acA1920-40gm/gc摄像头、车载级工控机Nuvo-5095GC、车载直流电源、控制器以及清扫车本体，连接装置图如图1所示，摄像头通过GigE接口与工控机连接，车载直流电源分别给车载工控机及摄像头供电，车载工控机通过CAN接口与控制器连接，控制器通过数字I/O口与执行器连接。其中，acA1920-40gm/gc摄像头用于实时获取路面垃圾物图像；车载级工控机Nuvo-5095GC用于识别acA1920-40gm/gc摄像头传递的图像，通过CAN接口将识别信息传递给控制器；控制器包括底盘集成控制器以及上装集成控制器，用于接收工控机的指令并向对应的执行器输出数字I/O信号，控制执行器动作。

本发明提供了一种路面垃圾物智能识别与感知方法，其特征在于，具体步骤如下：

选取实际清扫车典型作业路况，采用acA1920-40gm/gc摄像头对路面垃圾物进行拍照采样，采集样本时需遵循以下原则：

1)采集的样本尽量与实际作业场景保持一致；

2)为提高模型的鲁棒性，采集样本的数量应尽可能多；

3)尽量照顾到各种情况，保持样本多样性。

总的数据集包含约16000张道路图片，图片尺寸为:1280像素x 1024像素。为使模型训练精度更高，使用人员可根据具体情形增加道路图片数量，且采用相机类型不同时，采集的图片像素也会有所不同，并不影响后续处理。

进一步地，可在清扫车上安装相应的摄像装置，实时拍摄清洁作业中路面垃圾物图像，并将收集到的图像作为路面垃圾物识别模型样本。

此外，由于日间图像像素会受光照、天气等因素的影响，图像像素分布会随之明显不同。本发明依据作业环境的差异将其分为:明暗、干湿、路面情况好坏以及有无阴影几种情况，在同样的垃圾种类以及覆盖率下每种情况各采集一组数据。

由于清扫车作业环境复杂，影响因素较多，为了提高识别的准确度、降低环境等其余因素对识别精度的影响，将路面垃圾物的识别过程分为两部分进行，即路面垃圾物种类识别以及路面垃圾物覆盖率识别，将两部分输出结合后即可得到清扫车作业特征学习识别大数据，模型建立过程均在ubuntu18.04系统中完成。

路面垃圾物识别流程图如图2所示；

1.路面垃圾物种类识别

1.1图像预处理

利用图片标注工具Labellmg对样本图片进行标注，框选出目标窗口，目标窗口指的是所需识别目标物的范围，标注完成的图片即可建立样本库，用于模型训练。选取15000张数据集作为训练验证集以及测试集，将1000张数据集作为增量测试集，以便研究图像识别的泛化能力。数据集的图像示例如图3所示。

1.2构建神经网络模型

采用Faster-RCNN算法构建路面垃圾物智能识别模型，Faster-RCNN流程图如图4所示；

具体步骤如下：

(1)将大小为M×N的测试图像输入至采用VGG16模型的Conv Layer中，提取出特征图，最后一个特征图为Conv5-3，特征数为512；

(2)首先将图像输入到RPN网络中进行前向计算，生成建议窗口：

RPN网络在特征图Conv5-3上执行3×33×3卷积操作，在最后一个特征图(Conv5-3)上滑动，滑动窗口的方式保证能够关联Conv5-3的全部特征空间，将Conv5-3上每个点前向映射回输入图像，生成3种尺度{1282,2562,5122}和3种长宽比{1:1,1:2,2:1}共9种窗口，如图5所示。并且后向输出512维的特征向量。

其中，由于特征图产生的窗口数量较多，在训练过程中不会使用所有的窗口，首先生成训练样本，对窗口进行初步筛选，具体步骤如下：

(A)过滤掉超出图像边界的窗口；

(B)对每个标定的目标窗口，将与其重叠比例最大的窗口记为正样本，这样可以保证每个目标窗口至少对应一个正样本，进一步地，对每个anchors，如果其与某个目标窗口的重叠比例大于0.7，则记为正样本(即框选的为目标)；如果小于0.3，则记为负样本(即框选的为背景)；

(C)再从已经得到的正负样本中随机选取512个窗口组成一个Minibatch用于训练，而且正负样本的比例为1:1。

再通过分类回归计算筛选得到建议窗口，其分类回归计算是由全连接层后接两个子连接层完成的，即分类层(cls-layer)和回归层(reg-layer)，cls-layer用于判断窗口属于目标还是背景，向量维数为2k；reg-layer用于计算窗口的偏移量和缩放量，共4个参数[dx,dy,dw,dh]，向量维数为4k。

(A)首先采用Soft max分类器将每一个窗口进行二分类，即将其划分为目标以及背景两类：

设输入向量为x，此时的系统输入为上一步骤得到的若干窗口，输出为Soft max得分向量即f(x；w,b)；

f＝f(x；w,b)＝wx+b

同时有损失函数为：

其中，

为目标对应的得分值；f_j为背景对应的得分值。

随机初始化权重矩阵w以及偏置b，代入Soft max分类器求解得出损失函数，进一步根据损失函数反向传播更新权重矩阵w以及偏置b，更新迭代1000次，取使得损失函数最小时的Soft max score为最终得分。

(B)进一步地，进行边框回归处理：

假设A＝(A_x,A_y,A_w,A_h)表示经Soft max分类器得出的目标矩形窗口A，矩形框G＝(G_x,G_y,G_w,G_h)表示图像中路面垃圾的真正位置即目标窗口，将候选窗口的向量用横纵坐标和宽高表示成(x,y,w,h)。Bounding box regression的过程就是找到一个回归值

使得输入原始的窗口A经过映射后很大程度上接近于真实值t_*＝(t_x,t_y,t_w,t_h)。如图6所示；

具体步骤如下：

(a)将预测矩形框anchor A的横纵坐标(x,y)平移(Δx,Δy)，其中Δx＝A_wd_x(A)，Δy＝A_hd_y(A)，得到矩形框

中心点横纵坐标为：

(b)完成平移操作后，对矩形框

做尺度缩放(S_w,S_h)，其中S_w＝A_wd_w(A)，S_h＝A_hd_h(A)，得到矩形框

的宽高为：

其中，优化的目标函数表示为：

式中，φ₅(A)为输入的特征向量；w_*是要学习的参数，*表示x,y,w,h，也就是每一个变换对应一个目标函数；d*(A)是要得到的预测值；

我们要让预测值与真实值t*＝(t_x,t_y,t_w,t_h)的差距最小，即损失函数最小，得到损失函数为：

由此，可得到预测框建议窗口的坐标，过滤超出图像边界或尺寸过小的建议窗口，将剩余的建议窗口按Soft max score得分大小进行排序，提取出前6000个，进一步地，对这些建议窗口proposal进行非极大值抑制处理，处理后再次按照Soft max score大小进行排序，取前若干个作为最后的建议窗口。

(3)通过ROI Pooling层提取proposal feature map；

ROI Pooling结合特征图和建议窗口的信息，将建议窗口的坐标映射到M/16×N/16大小的Conv5-3中，然后将建议窗口proposal在Conv5-3的对应区域水平和竖直均分为7等份，并对每一份进行最大化池化处理，得到了所有建议窗口各自对应的7*7*512维度的特征向量，并将该向量作为下一个全连接层的输入。

(4)再次利用Soft max以及Bounding box regression对proposal feature map进行联合训练：

处理过程和RPN的处理类似。

最终输出为路面垃圾物种类，图片处理结果如图7所示：

2、路面垃圾物覆盖率识别

2.1阴影去除

由于道路环境以及光照差异，在分割图像中目标与背景的过程中，易受到光照下阴影的影响。故在垃圾物识别前进行阴影去除。

常用的阴影去除方法有HSV颜色空间以及RGB颜色空间，由于HSV比RGB颜色空间更加符合人眼对颜色的感觉，另一方面，针对户外场景，HSV对亮度和色度变化更为敏感。故选取基于HSV颜色空间的算法进行阴影去除。

HSV颜色空间的参数分别是:色调(H)，饱和度(S)，明度(V)。其模型对应于圆柱坐标系中的一个圆锥形子集，可以被认为是颜色的倒圆锥体(黑点在下顶点，白色在上底面圆心)。

基于HSV颜色空间的阴影去除算法基本原理是将目标的阴影和背景像素进行色度(H)、饱和度(S)以及亮度(V)的比较，通常阴影的色度和饱和度变化不大，但其亮度值变化明显，比背景亮度低。

基于HSV颜色空间算法进行阴影去除，算法流程图如图8所示，算法具体步骤如下：

2.1.1 RGB颜色空间转换到HSV颜色空间

由于一般摄像机获取的图像模式为RGB真彩图像，因此需要进行RGB色彩空间到HSV色彩空间的转换，即:

由此，可将对于任意像素点3个在[0，1]范围内R、G、B分量值转化为对应HSV颜色空间中H、S、V的分量值。

在使用HSV颜色特征对路面垃圾物进行阴影去除前，先对路面垃圾物阴影进行弱化，有利于提高路面环境背景与垃圾物颜色信息较为相似时的阴影去除准确度。

2.1.2阴影弱化

阴影弱化是通过对图像各像素点进行log域差分来实现的，即首先将当前图像和背景图像分别逐一像素点进行对数运算，然后对两幅log域图像进行差分，得到图像L(x,y)，即:

L(x,y)＝log(I(x,y))-log(B(x,y))

其中，I(x,y)为当前图像；B(x,y)为背景图像；

进一步地，对图像L(x,y)各像素点逐一进行阈值判别，记为S(x,y)，即

式中，取阈值T＝0.09

进一步地排除图像S(x,y)中像素值为1的像素点，并利用HSV颜色空间特征进行阴影去除，这样可以提高使用HSV颜色特征进行阴影去除的精度。

2.1.3判断H、S、V分量值是否满足判断式：

其中，I_h(x,y)、I_s(x,y)、I_v(x,y)分别表示当前图像I(x,y)的H、S、V的分量；B_h(x,y)、B_s(x,y)、B_v(x,y)分别表示背景图像B(x,y)对应的H、S、V的分量；0＜α＜β＜1，数α取值要考虑阴影的强度，当阴影亮度越强时，α越小；β用来增强对噪声点的鲁棒性，避免太多的点检测为阴影；参数τ_s小于零，其选取则主要凭经验。

若HSV(x,y)的值为1，则说明为要去除的阴影点，否则不用去除。

2.1.4二值化步骤2.1.3的输出图像，把检测为阴影的像素点像素值标记为255，其它像素点标记为0。

2.2图像分块处理

由于实际的清扫道路路面状态不一，光照等环境因素也会对样本库质量产生影响。在采集多种实际环境下的路面垃圾图像作为原始图像样本的基础上，提出了原始图像分块原则，并基于大量的样本分块图建立覆盖率识别样本库，样本示例如图9所示。

图像分块是指将一幅图像矩阵按照给定的像素大小分成若干图像分块，本发明中依照图像分块原则对各种原始图像进行像素分块，构成路面状态样本，在图像分块的基础上对每一子块进行处理，有利于提高处理的准确度，同时提高了图像识别的精度，样本分割示意图如图10所示。

2.3图像分子块处理

首先对分块处理后的图片进行高斯去噪，经高斯去噪后图像由彩色图像转为了灰度图像；

去除噪声后计算Sobel算子梯度：

Sobel算子有两个，一个是检测水平边缘的S_x，另一个是检测垂直边缘的S_y：

故有：

G_x＝S_x*A,G_y＝S_y*A

式中，G_x代表经横向边缘检测的图像梯度，G_y代表经纵向边缘检测的图像梯度，A代表原始图像

计算得出图像每一分块的梯度大小以及梯度方向为：

经高斯去噪以及Sobel算子梯度处理后的图像如图11所示：

采用二值化面积阈值进行图像去噪：

首先采用Otsu算法确定阈值，设图像有l个灰度值，随机选取灰度值t，将图像分为两部分，第一组为灰度值在0～t范围内的图像，第二组为灰度值在t+1～l范围内的图像，用N表示图像总数，n_i表示灰度值为i的像素的个数。

有：

式中，w₀为第一组像素在整体图像中所占的百分比，w₁为第二组像素在整体图像中所占的百分比，u₀、u₁分别为两组的平均灰度值。

图像总平均灰度值为：

u＝w₀×u₀+w₁×u₁

间类方差为：

g(t)＝w₀w₁(u₀-u₁)²

最优的阈值T为使间类方差最大时对应的t值，即使：

T＝argmax(g(t))

进一步地，将像素灰度值大于阈值T的设为255，将像素灰度值根据阈值划分为正类以及反类，小于阈值T的设为0，处理后的图像变为黑白两色，即将灰度图像划分成了目标以及背景两类。

进一步地，对图像进行形态学刻画，对图像进行形态学刻画能够准确的捕捉到路面垃圾物的形态，为后续路面垃圾物覆盖率的计算奠定了良好的基础。得到的图像如图12所示：

2.4路面垃圾物覆盖率判断

2.4.1.遍历形态学刻画后的子块图像的各个像素点，对所有子块图像的像素面阵进行归一化处理，依据小块归一化结果加权，由此对子块图像中垃圾数量进行评级：

其中，P_ij表示分级指标；H_xy表示子块的像素；i、j代表的是子块的横向、纵向数量；X、Y代表的是子块的分辨率横纵数值。

由此可得到原始图像的垃圾分布特征矩阵I，数字即代表垃圾数量等级的评级，矩阵表示如图13所示。

2.4.2.垃圾覆盖率特征矩阵推算目标路况垃圾覆盖率

基于垃圾分布特征矩阵，进一步采用特征权重的方法获取目标路况垃圾覆盖率。

其中，FL_dd表示路面垃圾物覆盖率；w_ij表示特征权重矩阵，由路面特征分布规律确定,用于调整子块置信度。

至此，成功构建了清扫车作业特征学习识别大数据，并将清扫车作业特征学习识别大数据输入至车载级工控机Nuvo-5095GC中，Nuvo-5095GC工控机与acA1920-40gm/gc摄像头相连，当工控机接收到摄像头采集到的图像信息后即可按照上述算法进行相应的处理，完成路面垃圾物识别以及路面垃圾物覆盖率判断的工作，并输出路面垃圾物种类以及对应的垃圾物覆盖率。

进一步地，将工控机以及摄像头安装在清扫车上，可以形成清扫车智能化识别系统，能够有效的进行路面垃圾清扫的典型工况识别，如此一来能够使清扫车趋于智能化，有利于解放清扫类工作所需的人力资源。

进一步地，根据输出的路面垃圾物种类以及路面垃圾物覆盖率可对清扫车上装档位的选取进行控制，可得到与其对应的风机清扫强度以及扫盘清扫强度，该强度即为上装过程中的控制档位大小，如表1所示。

此外，若场景内只存在单一种类的垃圾物则按表1给出的风机清扫强度以及扫盘清扫强度执行；若场景内存在多种类别的垃圾物，则根据影响功率权重的高低，按最高权重的垃圾物清扫策略进行工作。

表1清扫车上装档位对应表

Claims (6)

1.一种路面垃圾物智能识别与感知方法，其特征在于，步骤如下：

步骤一、选取实际清扫车典型作业路况，采用摄像头对路面垃圾物进行拍照采样；

步骤二、将路面垃圾物的识别过程分为路面垃圾物种类识别以及路面垃圾物覆盖率识别，将两部分输出结合后得到清扫车作业特征学习识别大数据：

1.路面垃圾物种类识别，包括以下步骤：

1.1图像预处理:利用图片标注工具Labellmg对样本图片进行标注，标注完成的图片即可建立样本库，用于模型训练；

1.2构建神经网络模型:采用Faster-RCNN算法构建路面垃圾物智能识别模型；

2、路面垃圾物覆盖率识别，包括以下步骤：

2.1阴影去除：选取基于HSV颜色空间的算法进行阴影去除；

2.2图像分块处理：在采集多种实际环境下的路面垃圾图像作为原始图像样本的基础上，对原始图像进行分块处理，并基于大量的样本分块图建立路面状态图像样本库；

2.3图像分子块处理：对分块处理后的图片进行去噪，并对去噪后的图像进行形态学刻画；

2.4路面垃圾物覆盖率判断；

步骤三、将步骤二得到的清扫车作业特征学习识别大数据输入至车载级工控机中，当工控机接收到摄像头采集到的图像信息后即可进行处理，完成路面垃圾物识别以及路面垃圾物覆盖率判断的工作，并输出路面垃圾物种类以及对应的垃圾物覆盖率。

2.如权利要求1所述的一种路面垃圾物智能识别与感知方法，其特征在于，所述步骤1.2采用Faster-RCNN算法构建路面垃圾物智能识别模型具体包括以下步骤：

(1)将大小为M×N的测试图像输入至采用VGG16模型的Conv Layer中，提取出特征图；

(2)将图像输入到RPN网络中进行前向计算，生成建议窗口；

(3)通过ROI Pooling层提取proposal feature map；

(4)利用Soft max分类器以及Bounding box regression边框回归处理对proposalfeature map进行联合训练，最终输出为路面垃圾物种类。

3.如权利要求2所述的一种路面垃圾物智能识别与感知方法，其特征在于，所述步骤(2)将图像输入到RPN网络中进行前向计算，生成建议窗口，包括以下具体步骤：

首先生成训练样本，对窗口进行初步筛选：

(A)过滤掉超出图像边界的窗口；

(B)对每个标定的目标窗口，将与其重叠比例最大的窗口记为正样本；

(C)从已经得到的正负样本中随机选取若干个窗口组成一个Minibatch用于训练，而且正负样本的比例为1:1；

再通过分类回归计算筛选得到建议窗口，其分类回归计算是由全连接层后接两个子连接层完成的，即分类层和回归层，分类层用于判断窗口属于目标还是背景，回归层用于计算窗口的偏移量和缩放量：

(A)采用Softmax分类器将每一个窗口进行二分类，将其划分为目标以及背景两类；

(B)对目标窗口进行边框回归处理。

4.如权利要求1所述的一种路面垃圾物智能识别与感知方法，其特征在于，所述步骤2.1阴影去除包括以下具体步骤：

2.1.1 RGB颜色空间转换到HSV颜色空间：将任意像素点在[0，1]范围内R、G、B分量值转化为对应HSV颜色空间中H、S、V的分量值；

2.1.2阴影弱化：通过对图像各像素点进行log域差分来实现阴影弱化；

2.1.3判断H、S、V分量值是否满足判断式：

其中，I_h(x,y)、I_s(x,y)、I_v(x,y)分别表示当前图像I(x,y)的H、S、V的分量；B_h(x,y)、B_s(x,y)、B_v(x,y)分别表示背景图像B(x,y)对应的H、S、V的分量；0＜α＜β＜1，数α取值考虑阴影的强度，当阴影亮度越强时，α越小；β用来增强对噪声点的鲁棒性；参数τ_s大于零；

若HSV(x,y)的值为1，则说明为要去除的阴影点，否则不用去除；

2.1.4二值化步骤2.1.3的输出图像。

5.如权利要求1所述的一种路面垃圾物智能识别与感知方法，其特征在于，所述步骤2.3图像分子块处理具体包括以下步骤：

首先对分块处理后的图片进行高斯去噪，经高斯去噪后图像由彩色图像转为了灰度图像；

去除噪声后计算Sobel算子梯度，计算得出图像每一分块的梯度大小以及梯度方向为：

G_x代表经横向边缘检测的图像梯度，G_y代表经纵向边缘检测的图像梯度；

采用二值化面积阈值进行图像去噪：采用Otsu算法确定阈值T；将像素灰度值大于阈值T的设为255，小于阈值T的设为0，处理后的图像变为黑白两色，即将灰度图像划分成了目标以及背景两类；对图像进行形态学刻画。

6.如权利要求1所述的一种路面垃圾物智能识别与感知方法，其特征在于，所述步骤2.4路面垃圾物覆盖率判断具体包括以下步骤：

2.4.1.遍历形态学刻画后的子块图像的各个像素点，对所有子块图像的像素面阵进行归一化处理，依据小块归一化结果加权，由此对子块图像中垃圾数量进行评级：

其中，P_ij表示分级指标；H_xy表示子块的像素；i、j代表的是子块的横向、纵向数量；X、Y代表的是子块的分辨率横纵数值；

得到原始图像的垃圾分布特征矩阵I，数字即代表垃圾数量等级的评级；

2.4.2.垃圾覆盖率特征矩阵推算目标路况垃圾覆盖率:

基于垃圾分布特征矩阵，进一步采用特征权重的方法获取目标路况垃圾覆盖率：

其中，FL_dd表示路面垃圾物覆盖率；w_ij表示特征权重矩阵，由路面特征分布规律确定,用于调整子块置信度。

Images