CN113743404A - 一种智能垃圾收运车垃圾图像分类方法 - Google Patents

Abstract

本发明属于深度卷积神经网络分类及目标检测领域，公开了一种智能垃圾收运车垃圾图像分类方法。首先，由清运员在收运车上对垃圾桶进行操作，并上传至后端算法系统。然后，将图像输入到清晰模糊图像二分类网络，垃圾桶重量输入后端重量分析器。当重量达标并且图像清晰的情况下，再将垃圾图片输入垃圾分类网络进行垃圾分类。并且针对出现异常的分类情况、重量不达标和图像模糊的情况，前端语音系统会对清运员进行反馈。本发明通过调整骨干网络深度宽度和输入图像分辨率，使网络的性能达到最优性能。此外同时进行目标分类和目标检测任务，若出现分类任务输出结果置信度较低的情况时，通过目标检测中的检测结果联合分析垃圾桶的分类情况。

Description

一种智能垃圾收运车垃圾图像分类方法

技术领域

本发明属于深度卷积神经网络分类及目标检测领域，尤其涉及一种智能垃圾收运车垃圾图像分类方法。

背景技术

目前我国对于城市的环保建设发展尤为重视，垃圾分类问题是城市环保建设的一个重点，垃圾收运车在环保建设中起到了中流砥柱的作用。在垃圾收运车上完成垃圾分类的检测，是在环保领域上的一种极大的进步。

随着硬件设备的不断更新，目前深度学习方法在大多数领域都有了迅速的发展，类似人脸识别、车牌识别、行人属性识别等等。但在垃圾分类方面，并未有深入的应用。而垃圾因为其种类繁多各个类别之间差异不明显，导致误报率很高。

发明内容

本发明目的在于提供一种智能垃圾收运车垃圾图像分类方法,以解决现有技术垃圾分类误报率高的技术问题。

为解决上述技术问题，本发明的一种智能垃圾收运车垃圾图像分类方法的具体技术方案如下：

一种智能垃圾收运车垃圾图像分类方法，包括如下步骤：

步骤1：清运员把易腐垃圾桶和其他垃圾桶放到垃圾收运车上，打开垃圾桶的盖子，清运员在车载智能电子秤的触摸屏上进行人工操作，电子秤将重量直接在操作界面上显示，清运员选择垃圾的类别后，点击合格、不合格或者空桶的按键并点击确认键；

步骤2：当清运员点击确认键后，放置在垃圾桶正上方的高清摄像头拍摄照片并传输到前端车载系统和后端的平台,后端平台将照片图像输入到垃圾图像分类算法进行分类，如果清运员两次分类结果都与垃圾分类算法不同，此图像被分为困难样本图像，并由后端的工作人员人工审核；如果出现是算法误报，则进行人工标注，将标注好的数据放入算法迭代更新数据集，当数据集中的新标记数据积累到一定数量后，用之对分类算法进行迭代更新；

步骤3：在清运车上装有前端语音反馈系统，前端语音反馈系统连接后端平台，基于清运员上传的不同信息做出相应的语音提示，若出现与垃圾工作人员的判定结果不一致的分类，后端平台把此信息反馈给前端车载系统，前端车载系统会以语音播报的形式提醒清运员，让清运员再确认一次垃圾分类是否正确。

进一步地，步骤2的具体实现包括如下步骤：

步骤2.1：数据准备；

步骤2.2：构建垃圾分类模型网络结构；

步骤2.3：复合模型扩张；

步骤2.4：垃圾分类模型训练；

步骤2.5：构建特殊垃圾目标检测网络结构；

步骤2.6：垃圾分类模型使用。

进一步地，步骤2.1具体为：

最初数据的构成是垃圾收运车所拍摄到的照片传送到后端数据库中，将这些拍摄到的图片通过人工分类成十二个类别：空称、其他垃圾不合格、其他垃圾合格、其他垃圾空桶、其他垃圾桶未打开、易腐垃圾不合格、易腐垃圾合格、易腐垃圾空桶、易腐垃圾桶未打开、手、黑屏(花屏)、其他；按照8:1:1划分为训练集、验证集、测试集，用于分类网络的训练；将拍摄到的图片进行人工标注目标框，标注的目标框类别分别是：西瓜皮、塑料瓶、易拉罐、衣服、玻璃瓶、蛋壳、纸巾、陶瓷、眼镜；按照8∶1∶1划分为训练集、验证集、测试集，用于垃圾目标检测网络训练。

进一步地，步骤2.2具体为：

垃圾分类模型采用一种基于复合模型扩张结合神经结构搜索技术的卷积神经网络作为骨干网络，输入网络的图像数据经过移动翻转瓶颈卷积模块与注意力机制模块提取特征，卷积层的输出部分采用Swish激活函数：

通道注意力模块最后一层全连接层采用Sigmoid激活函数；网络的深度、宽度与输入图像的分辨率大小通过复合模型扩张方法搭配神经构架搜索技术决定。

进一步地，步骤2.3具体为：

将网络深度设置为

网络宽度设置为：

输入图像分辨率为

并通过α·β²·γ²≈2且α≥1，β≥1，γ≥1两个条件来限制三个参数，α，β，γ分别衡量着网络深度，宽度和输入图像分辨率的比重，使用复合系数

来统一的修正α，β，γ；固定

通过网格搜索得出最优的α，β，γ，得到最基本的网络模型；

固定α，β，γ的值，

的大小对应着消耗资源的大小，因为计算资源的不同，使用不同的

得到适配其计算资源的网络模型；

当计算资源变大，使用

作为复合参数，通过α·β²·γ²≈2且α≥1，β≥1，γ≥1两个条件，当

时通过网络搜索的方式得出其最优的α，β，γ，此时的网络模型的网络深度为

网络宽度设置为：

输入图像分辨率为

此网络模型为复合系数为

时的最优网络。进一步地，步骤2.4具体为：

提取出来的特征会进入池化层、全连接层和Sofamax分类层(步骤2.1中的十二个类别)，输出垃圾类别的最大概率作为此垃圾分类的类别，此分类模型的损失函数为：

N表示类别数量，y⁽ⁱ⁾表示指示变量(0或1)，如果样本i的预测类别和真实类别相同就是1，否则是0；

指的是对于观测样本i是正确的预测概率；

在训练的过程中，对网络参数赋初始化数值，设置网络的最大迭代次数m；将准备好的数据集输入网络，进行训练；如果loss值一直下降，则继续训练，直到迭代m次后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的模型。

进一步地，步骤2.5具体为：

检测网络与分类网络使用同一个骨干网络，图像数据输入卷积层提取特征时，将卷积层最后五层得到不同尺度的特征放入双向加权特征金字塔网络，双向特征金字塔网络的结构：

P₃ ^out＝Conv(P₃ ⁱⁿ+P₄ ^td)

P₄ ^td＝Conv(P₄ ⁱⁿ+Resize(P₅ ^td))

P₄ ^out＝Conv(P₄ ⁱⁿ+P₄ ^td+Resize(P₃ ^out))

…

P₆ ^td＝Conv(P₆ ⁱⁿ+Resize(P₇ ⁱⁿ))

P₆ ^out＝Conv(P₆ ⁱⁿ+P₆ ^td+Resize(P₅ ^out))

P₇ ^out＝Conv(P₇ ⁱⁿ+Resize(P₆ ^out))

其中P_x ^out表示第X层卷积层所提取的特征通过双向加权特征金字塔网络输出的结果；P_x ⁱⁿ表示第Y层卷积层所提取的特征输入到金字塔网络中；Resize表示的是通过几何变换的操作把图片的大小到相同尺寸；P_Y ^td表示第Y层卷积层所提取的特征，在输出结果之前先进行一次特征融合的结果；将经过双向加权特征金字塔网络所得到的特征输入到分类预测网络和边框预测网络中，最终输出结果特殊垃圾目标的分类和位置信息；

CL是目标检测分支的分类损失函数：

LocL是目标检测分支的定位损失函数：

y表示人工标注图像的类别；p(Ω)为预测为类别y的概率；α和

为平衡参数，用来平衡正负样本的权重，能够降低易分样本损失贡献；

代表预测的检测框参数，

代表检测框标注参数；

进一步地，步骤2.6具体为：

输入某一次扔的垃圾的图像，先将主干网络提取的特征输入分类分支，输出图像的分类结果和置信度，当分类置信度大于阈值l₂(l₂＞0.5)时，直接将网络分类分支的输出作为最终预测结果；当分类置信度大于0.5但小于阈值l₂时，将主干网络提取的特征图输入目标检测分支，输出检测框信息(c，x，y，w，h)，其中c为垃圾的类别，将检测分支输出类别的具体垃圾种类与其他或易腐垃圾桶进行智能分析并确定此次垃圾分类最终输出的类别是其他垃圾合格、其他垃圾不合格、易腐垃圾合格、易腐垃圾不合格其中之一。

进一步地，步骤3的具体步骤为：

步骤3.1：电子秤重量反馈系统与后端模糊图像识别反馈系统：收运员完成分类后，前端车载系统同时向后端发送电子秤重量数据与图片数据；当后端得到的重量数据小于阈值M(桶重)+Δa(参数)，前端语音系统会做出语音提示：“请正确放置后再进行下一步操作”，此时收运员需要将垃圾桶摆放正确使得电子称重量达到阈值M(桶重)+Δa(参数)，才能进行下一步操作；

后端接受到前端的图像数据后，将其放入由efficienctNet为网络模型模糊图像和清晰图像的二分类神经网络，输出的图像为模糊图像，前端语音系统会做出语音提示：“图像模糊，请再进行一次正确操作流程的步骤”；满足电子秤重量数据合理和传输图像是清晰图像两个条件则将清晰图像传入步骤3.2的图像识别系统；

步骤3.2：后端图像识别反馈系统：后端系统中进行十二个分类任务时对于不同类别的出现，车载反馈系统反馈不同的指令；

步骤3.3：重复操作处理方法：当进行电子秤重量反馈系统与后端模糊图像识别反馈系统时，第一次操作后前端语音系统播报内容为：“请正确放置后再进行下一步操作”或“图像模糊，请再进行一次正确操作流程的步骤”，第二次操作后前端语音系统仍然播报相同的内容，则出现新的语音提示：“出现故障请拨打工作人员电话”，此时需要工作人员进行协助处理；

当进行后端图像识别反馈系统时，第一次图片识别为“手”、“黑屏(花屏)类别”、“空称”和其他、易腐垃圾桶未打开”类别后，重复操作后得到的仍是上述类别时，第三次输入后端系统后，前端语音提示：“分类已完成”，此类图片需要通过人工进行甄别与分类。

进一步地，步骤3.2中后端系统中进行十二个分类任务时对于不同类别的出现，车载反馈系统反馈不同的指令为：

1)当图片传输到后端算法并分为“其他、易腐垃圾桶未打开”时，此时后端系统会反馈到前端语音系统中并提醒：“请打开盖子后重新操作”；

2)当图片传输到后端算法并分为“空称”时，此时后端系统会反馈到前端语音系统中并提醒：“请清运员放入指定垃圾桶后进行重新操作”；

3)当图片传输到后端算法并分为“黑屏(花屏)类别”时，后端系统会反馈到前端语音系统中并语音提示清运员：“请重新进行一次操作”；

4)当图片传输到后端算法并分为“手”类别时，后端系统会反馈到前端语音系统中并语音提示清运员：“请清运员将手臂移出摄像机范围并重新操作”。

本发明的一种智能垃圾收运车垃圾图像分类方法具有以下优点：当垃圾重量达标并且图像清晰的情况下，再将垃圾图片输入垃圾分类网络进行垃圾分类。并且针对出现异常的分类情况、重量不达标和图像模糊的情况，前端语音系统会对清运员进行反馈。垃圾分类网络使用了新型复合模型缩放方法，使在计算资源一定的条件下，通过调整骨干网络深度宽度和输入图像分辨率，使网络的性能达到最优性能。此外同时进行目标分类和目标检测任务，若出现分类任务输出结果置信度较低的情况时，通过目标检测中的检测结果联合分析此垃圾桶的分类情况。本发明采用分类和检测并用的思路，使垃圾分类的准确率大大提高。

附图说明

图1为本发明的智能垃圾收运车垃圾图像分类方法流程图；

图2为本发明的垃圾图像分类算法流程图；

图3为本发明的缩放原理图；

图4为本发明的后端模糊图像识别流程图。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种智能垃圾收运车垃圾图像分类方法做进一步详细的描述。

本实施例中，如图1所示，一种智能垃圾收运车垃圾图像分类方法，包括如下步骤：

步骤1：清运员把易腐垃圾桶和其他垃圾桶放到垃圾收运车上，打开垃圾桶的盖子，清运员在车载智能电子秤的触摸屏上进行人工操作，其中电子秤会将重量直接在操作界面上显示，清运员选择垃圾的类别后，点击合格、不合格或者空桶的按键并点击确认键；

步骤2：当清运员点击确认键后，放置在垃圾桶正上方的高清摄像头会拍摄照片并传输到前端车载系统和后端的平台,后端平台将照片图像输入到垃圾图像分类算法进行分类。如果清运员二次分类结果依然与垃圾分类算法不同，此图像被分为困难样本图像，并由后端的工作人员人工审核。如果出现是算法误报，则进行人工标注，将标注好的数据放入算法迭代更新数据集，当数据集中的新标记数据积累到一定数量后，用之对分类算法进行迭代更新。

步骤3：在清运车上装有前端语音反馈系统，此系统连接后端平台，基于清运员上传的不同信息做出相应的语音提示。若出现与垃圾工作人员的判定结果不一致的分类，后端平台把此信息反馈前端车载系统，前端车载系统会以语音播报的形式提醒清运员，让其再确认一次垃圾分类是否正确。

进一步的步骤2中，一种智能垃圾收运车垃圾图像分类算法流程图，如图2所示，具体实现主要包括如下步骤：

步骤2.1：数据准备：最初数据的构成是垃圾收运车所拍摄到的照片传送到后端数据库中，将这些拍摄到的图片通过人工分类成以下十二个类别：空称、其他垃圾不合格、其他垃圾合格、其他垃圾空桶、其他垃圾桶未打开、易腐垃圾不合格、易腐垃圾合格、易腐垃圾空桶、易腐垃圾桶未打开、手、黑屏(花屏)、其他。按照8∶1∶1划分为训练集、验证集、测试集，用于分类网络的训练。将拍摄到的图片进行人工标注目标框，标注的目标框类别分别是：西瓜皮、塑料瓶、易拉罐、衣服、玻璃瓶、蛋壳、纸巾、陶瓷、眼镜。按照8∶1∶1划分为训练集、验证集、测试集，用于垃圾目标检测网络训练。

步骤2.2：垃圾分类模型网络结构：垃圾分类模型主要采用了一种基于复合模型扩张结合神经结构搜索技术的卷积神经网络作为骨干网络，输入网络的图像数据经过移动翻转瓶颈卷积模块与注意力机制模块提取特征，卷积层的输出部分采用Swish激活函数：

通道注意力模块最后一层全连接层采用Sigmoid激活函数。网络的深度、宽度与输入图像的分辨率大小通过复合模型扩张方法搭配神经构架搜索技术决定。

步骤2.3：如图3所示，复合模型扩张技术：对于一个网络模型来说，提升网络深度、网络宽度、输入图像分辨率均能提高模型精度，但随着网络不断深度加深、网络宽度不断拓宽、图像分辨率不断增大，网络的精度回报会削弱，并且会导致计算资源的不断提升。针对上述问题，将网络深度设置为

网络宽度设置为：

输入图像分辨率为

并通过α·β²·γ²≈2且α≥1，β≥1，γ≥1两个条件来限制三个参数，α，β，γ分别衡量着网络深度，宽度和输入图像分辨率的比重，使用复合系数

来统一的修正α，β，γ。其中β，γ在约束上会有平方，是因为如果增加宽度或分辨率两倍，其计算量是增加四倍，但是增加深度两倍，其计算量只会增加两倍。

固定

通过网格搜索得出最优的α，β，γ，得到最基本的网络模型。

固定α、β、γ的值，φ的大小对应着消耗资源的大小，因为计算资源的不同，使用不同的φ，得到适配其计算资源的网络模型。

使用不同的φ时，得到了对应的网络模型，此时的α，β，γ并不是当前网络模型的最优解。当计算资源变大，使用

作为复合参数，通过α·β²·γ²≈2且α≥1，β≥1，γ≥1两个条件，当

时通过网络搜索的方式得出其最优的α，β，γ，此时的网络模型的网络深度为

网络宽度设置为：

输入图像分辨率为

此网络模型为复合系数为

时的最优网络。

步骤2.4：垃圾分类模型训练：提取出来的特征会进入池化层、全连接层和Sofamax分类层(步骤2.1中的十二个类别)，输出垃圾类别的最大概率作为此垃圾分类的类别。此分类模型的损失函数为：

N表示类别数量，y⁽ⁱ⁾表示指示变量(0或1)，如果样本i的预测类别和真实类别相同就是1，否则是0。

指的是对于观测样本i是正确的预测概率。

在训练的过程中，对网络参数赋初始化数值，设置网络的最大迭代次数m；将准备好的数据集输入网络，进行训练。如果loss值一直下降，则继续训练，直到迭代m次后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的模型；

步骤2.5：特殊垃圾目标检测网络结构：此检测网络与分类网络使用同一个骨干网络，图像数据输入卷积层提取特征时，将卷积层最后五层得到不同尺度的特征放入双向加权特征金字塔网络。双向特征金字塔网络的结构：

P₃ ^out＝Conv(P₃ ⁱⁿ+P₄ ^td)

P₄ ^td＝Conv(P₄ ⁱⁿ+Resize(P₅ ^td))

P₄ ^out＝Conv(P₄ ⁱⁿ+P₄ ^td+Resize(P₃ ^out))

…

P₆ ^td＝Conv(P₆ ⁱⁿ+Resize(P₇ ⁱⁿ))

P₆ ^out＝Conv(P₆ ⁱⁿ+P₆ ^td+Resize(P₅ ^out))

P₇ ^out＝Conv(P₇ ⁱⁿ+Resize(P₆ ^out))

其中P_x ^out表示第X层卷积层所提取的特征通过双向加权特征金字塔网络输出的结果；P_x ⁱⁿ表示第X层卷积层所提取的特征输入到金字塔网络中；Resize表示的是通过几何变换的操作把图片的大小到相同尺寸，便于统一处理；P_Y ^td表示第Y层卷积层所提取的特征，在输出结果之前先进行一次特征融合的结果。

将经过双向加权特征金字塔网络所得到的特征输入到分类预测网络和边框预测网络中，最终输出结果特殊垃圾目标的分类和位置信息。特殊垃圾分为以下几类：西瓜皮、塑料瓶、易拉罐、衣服、玻璃瓶、蛋壳、纸巾、陶瓷、眼镜。其中西瓜皮和蛋壳对应易腐垃圾；塑料瓶、易拉罐、衣服、陶瓷、玻璃瓶和眼镜对应可回收垃圾；纸巾对应其他垃圾。

CL是目标检测分支的分类损失函数

LocL是目标检测分支的定位损失函数

y表示人工标注图像的类别；p(n)为预测为类别y的概率；α和

为平衡参数，用来平衡正负样本的权重，能够降低易分样本损失贡献；

代表预测的检测框参数，

代表检测框标注参数。

双向加权特征金字塔网络对比FPN金字塔网：1)删除那些只有一条输入边的节点，原因是这如果一个节点只有一条输入边而没有特征融合，那么它对以融合不同特征为目标的特征网络的贡献就会更小；2)增加跳跃连接，原因是将上下层特征融合之后再与自身层的特征融合，这样最终融合更多特征；3)将这一个网络重复多次，以实现更高级别的特征融合。

步骤2.6：垃圾分类模型使用：输入某一次扔的垃圾的图像，先将主干网络提取的特征输入分类分支，输出图像的分类结果和置信度，当分类置信度大于阈值l₂(l₂＞0.5)时，直接将网络分类分支的输出作为最终预测结果；当分类置信度大于0.5但小于阈值l₂时，将主干网络提取的特征图输入目标检测分支，输出检测框信息(c，x，y，w，h)，其中c为垃圾的类别，此时需要将检测分支输出类别的具体垃圾种类与其他或易腐垃圾桶进行智能分析并确定此次垃圾分类最终输出的类别是其他垃圾合格、其他垃圾不合格、易腐垃圾合格、易腐垃圾不合格其中之一。

进一步的步骤3中一种智能垃圾收运车车载反馈操作方法：

步骤3.1：电子秤重量反馈系统与后端模糊图像识别反馈系统：收运员完成分类后，前端车载系统同时向后端发送电子秤重量数据与图片数据。

当后端得到的重量数据小于阈值M(桶重)+Δa(参数)，前端语音系统会做出语音提示：“请正确放置后再进行下一步操作。”此时收运员需要将垃圾桶摆放正确使得电子称重量达到阈值M(桶重)+Δa(参数)，才能进行下一步操作。

后端接受到前端的图像数据后，将其放入由efficienctNet为网络模型模糊图像和清晰图像的二分类神经网络。输出的图像为模糊图像，前端语音系统会做出语音提示：“图像模糊，请再进行一次正确操作流程的步骤。”

满足电子秤重量数据合理和传输图像是清晰图像两个条件则将清晰图像传入步骤3.2图像识别系统。

步骤3.2：如图4所示，后端图像识别反馈系统：后端系统中进行12类分类任务时对于不同类别的出现，车载反馈系统会反馈不同的指令。

1)当图片传输到后端算法并分为“其他、易腐垃圾桶未打开”时，此时后端系统会反馈到前端语音系统中并提醒：“请打开盖子后重新操作。”

2)当图片传输到后端算法并分为“空称”时，此时后端系统会反馈到前端语音系统中并提醒：“请清运员放入指定垃圾桶后进行重新操作。”

3)当图片传输到后端算法并分为“黑屏(花屏)类别”时，后端系统会反馈到前端语音系统中并语音提示清运员：“请重新进行一次操作。”

4)当图片传输到后端算法并分为“手”类别时，后端系统会反馈到前端语音系统中并语音提示清运员：“请清运员将手臂移出摄像机范围并重新操作。”

步骤3.3：重复操作处理方法：当进行电子秤重量反馈系统与后端模糊图像识别反馈系统时，第一次操作后前端语音系统播报内容为：“请正确放置后再进行下一步操作”或“图像模糊，请再进行一次正确操作流程的步骤”，第二次操作后前端语音系统仍然播报相同的内容，则出现新的语音提示：“出现故障请拨打工作人员电话”，此时需要工作人员进行协助处理。

当进行后端图像识别反馈系统时，第一次图片识别为“手”、“黑屏(花屏)类别”、“空称”和其他、易腐垃圾桶未打开”类别后，重复操作后得到的仍是上述类别时，第三次输入后端系统后，前端语音提示：“分类已完成”。此类图片需要通过人工进行甄别与分类。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (10)

1.一种智能垃圾收运车垃圾图像分类方法，其特征在于，包括如下步骤：

步骤1：清运员把易腐垃圾桶和其他垃圾桶放到垃圾收运车上，打开垃圾桶的盖子，清运员在车载智能电子秤的触摸屏上进行人工操作，电子秤将重量直接在操作界面上显示，清运员选择垃圾的类别后，点击合格、不合格或者空桶的按键并点击确认键；

步骤2：当清运员点击确认键后，放置在垃圾桶正上方的高清摄像头拍摄照片并传输到前端车载系统和后端的平台,后端平台将照片图像输入到垃圾图像分类算法进行分类，如果清运员两次分类结果都与垃圾分类算法不同，此图像被分为困难样本图像，并由后端的工作人员人工审核；如果出现是算法误报，则进行人工标注，将标注好的数据放入算法迭代更新数据集，当数据集中的新标记数据积累到一定数量后，用之对分类算法进行迭代更新；

步骤3：在清运车上装有前端语音反馈系统，前端语音反馈系统连接后端平台，基于清运员上传的不同信息做出相应的语音提示，若出现与垃圾工作人员的判定结果不一致的分类，后端平台把此信息反馈给前端车载系统，前端车载系统会以语音播报的形式提醒清运员，让清运员再确认一次垃圾分类是否正确。

2.根据权利要求1所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2的具体实现包括如下步骤：

步骤2.1：数据准备；

步骤2.2：构建垃圾分类模型网络结构；

步骤2.3：复合模型扩张；

步骤2.4：垃圾分类模型训练；

步骤2.5：构建特殊垃圾目标检测网络结构；

步骤2.6：垃圾分类模型使用。

3.根据权利要求2所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.1具体为：

最初数据的构成是垃圾收运车所拍摄到的照片传送到后端数据库中，将这些拍摄到的图片通过人工分类成十二个类别：空称、其他垃圾不合格、其他垃圾合格、其他垃圾空桶、其他垃圾桶未打开、易腐垃圾不合格、易腐垃圾合格、易腐垃圾空桶、易腐垃圾桶未打开、手、黑屏(花屏)、其他；按照8:1:1划分为训练集、验证集、测试集，用于分类网络的训练；将拍摄到的图片进行人工标注目标框，标注的目标框类别分别是：西瓜皮、塑料瓶、易拉罐、衣服、玻璃瓶、蛋壳、纸巾、陶瓷、眼镜；按照8:1:1划分为训练集、验证集、测试集，用于垃圾目标检测网络训练。

4.根据权利要求3所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.2具体为：

垃圾分类模型采用一种基于复合模型扩张结合神经结构搜索技术的卷积神经网络作为骨干网络，输入网络的图像数据经过移动翻转瓶颈卷积模块与注意力机制模块提取特征，卷积层的输出部分采用Swish激活函数：

通道注意力模块最后一层全连接层采用Sigmoid激活函数；网络的深度、宽度与输入图像的分辨率大小通过复合模型扩张方法搭配神经构架搜索技术决定。

5.根据权利要求4所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.3具体为：

将网络深度设置为

网络宽度设置为：

输入图像分辨率为

并通过α·β²·γ²≈2且α≥1，β≥1，γ≥1两个条件来限制三个参数，α，β，γ分别衡量着网络深度,宽度和输入图像分辨率的比重，使用复合系数

来统一的修正α，β，γ；固定

通过网格搜索得出最优的α，β，γ，得到最基本的网络模型；

固定α，β，γ的值，

的大小对应着消耗资源的大小，因为计算资源的不同，使用不同的

得到适配其计算资源的网络模型；

当计算资源变大，使用

作为复合参数，通过α·β²·γ²≈2且α≥1，β≥1，γ≥1两个条件，当

时通过网络搜索的方式得出其最优的α，β，γ，此时的网络模型的网络深度为

网络宽度设置为：

输入图像分辨率为

此网络模型为复合系数为

时的最优网络。

6.根据权利要求5所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.4具体为：

提取出来的特征会进入池化层、全连接层和Sofamax分类层(步骤2.1中的十二个类别),输出垃圾类别的最大概率作为此垃圾分类的类别，此分类模型的损失函数为:

N表示类别数量，y⁽ⁱ⁾表示指示变量(0或1),如果样本i的预测类别和真实类别相同就是1，否则是0；

指的是对于观测样本i是正确的预测概率；

在训练的过程中，对网络参数赋初始化数值，设置网络的最大迭代次数m；将准备好的数据集输入网络，进行训练；如果loss值一直下降，则继续训练，直到迭代m次后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的模型。

7.根据权利要求6所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.5具体为：

检测网络与分类网络使用同一个骨干网络，图像数据输入卷积层提取特征时，将卷积层最后五层得到不同尺度的特征放入双向加权特征金字塔网络，双向特征金字塔网络的结构：

P₃ ^out＝Conv(P₃ ⁱⁿ+P₄ ^td)

P₄ ^td＝Conv(P₄ ⁱⁿ+Resize(P₅ ^td))

P_A ^out＝Conv(P₄ ⁱⁿ+P₄ ^td+Resize(P₃ ^out))

...

P₆ ^td＝Conv(P₆ ⁱⁿ+Resize(P₇ ⁱⁿ))

P₆ ^out＝Conv(P₆ ⁱⁿ+P₆ ^td+Resize(P₅ ^out))

P₇ ^out＝Conv(P₇ ⁱⁿ+Resize(P₆ ^out))

其中P_x ^out表示第X层卷积层所提取的特征通过双向加权特征金字塔网络输出的结果；P_x ⁱⁿ表示第Y层卷积层所提取的特征输入到金字塔网络中；Resize表示的是通过几何变换的操作把图片的大小到相同尺寸；P_Y ^td表示第Y层卷积层所提取的特征，在输出结果之前先进行一次特征融合的结果；将经过双向加权特征金字塔网络所得到的特征输入到分类预测网络和边框预测网络中，最终输出结果特殊垃圾目标的分类和位置信息；

CL是目标检测分支的分类损失函数：

LocL是目标检测分支的定位损失函数：

y表示人工标注图像的类别；p(n)为预测为类别y的概率；α和

为平衡参数，用来平衡正负样本的权重，能够降低易分样本损失贡献；

代表预测的检测框参数，

代表检测框标注参数。

8.根据权利要求7所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.6具体为：

输入某一次扔的垃圾的图像，先将主干网络提取的特征输入分类分支，输出图像的分类结果和置信度，当分类置信度大于阈值l₂(l₂＞0.5)时，直接将网络分类分支的输出作为最终预测结果；当分类置信度大于0.5但小于阈值l₂时，将主干网络提取的特征图输入目标检测分支，输出检测框信息(c，x，y，w，h)，其中c为垃圾的类别，将检测分支输出类别的具体垃圾种类与其他或易腐垃圾桶进行智能分析并确定此次垃圾分类最终输出的类别是其他垃圾合格、其他垃圾不合格、易腐垃圾合格、易腐垃圾不合格其中之一。

9.根据权利要求8所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤3的具体步骤为：

步骤3.1：电子秤重量反馈系统与后端模糊图像识别反馈系统：收运员完成分类后，前端车载系统同时向后端发送电子秤重量数据与图片数据；

当后端得到的重量数据小于阈值M(桶重)+Δa(参数)，前端语音系统会做出语音提示：“请正确放置后再进行下一步操作”，此时收运员需要将垃圾桶摆放正确使得电子称重量达到阈值M(桶重)+Δa(参数)，才能进行下一步操作；

后端接受到前端的图像数据后，将其放入由efficienctNet为网络模型模糊图像和清晰图像的二分类神经网络，输出的图像为模糊图像，前端语音系统会做出语音提示：“图像模糊，请再进行一次正确操作流程的步骤”；满足电子秤重量数据合理和传输图像是清晰图像两个条件则将清晰图像传入步骤3.2的图像识别系统；

步骤3.2：后端图像识别反馈系统：后端系统中进行十二个分类任务时对于不同类别的出现，车载反馈系统反馈不同的指令；

步骤3.3：重复操作处理方法：当进行电子秤重量反馈系统与后端模糊图像识别反馈系统时，第一次操作后前端语音系统播报内容为：“请正确放置后再进行下一步操作”或“图像模糊，请再进行一次正确操作流程的步骤”，第二次操作后前端语音系统仍然播报相同的内容，则出现新的语音提示：“出现故障请拨打工作人员电话”，此时需要工作人员进行协助处理；

当进行后端图像识别反馈系统时，第一次图片识别为“手”、“黑屏(花屏)类别”、“空称”和其他、易腐垃圾桶未打开”类别后，重复操作后得到的仍是上述类别时，第三次输入后端系统后，前端语音提示：“分类已完成”，此类图片需要通过人工进行甄别与分类。

10.根据权利要求9所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤3.2中后端系统中进行十二个分类任务时对于不同类别的出现，车载反馈系统反馈不同的指令为：

1)当图片传输到后端算法并分为“其他、易腐垃圾桶未打开”时，此时后端系统会反馈到前端语音系统中并提醒：“请打开盖子后重新操作”；

2)当图片传输到后端算法并分为“空称”时，此时后端系统会反馈到前端语音系统中并提醒：“请清运员放入指定垃圾桶后进行重新操作”；

3)当图片传输到后端算法并分为“黑屏(花屏)类别”时，后端系统会反馈到前端语音系统中并语音提示清运员：“请重新进行一次操作”；

4)当图片传输到后端算法并分为“手”类别时，后端系统会反馈到前端语音系统中并语音提示清运员：“请清运员将手臂移出摄像机范围并重新操作”。

Images