CN112508103B - 一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法 - Google Patents

Abstract

本发明公开了一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，包括：S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息；S2.将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断垃圾分类结果与垃圾清运员判定信息是否一致，若否，则执行步骤S3；S3.对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果分别与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中；若审核结果分别与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。

Description

一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法

技术领域

本发明涉及垃圾分类、清运员管理技术领域，尤其涉及一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法。

背景技术

目前识别技术在学术研究领域突飞猛进，但目前大多数识别系统在实际生活中广泛应用在人脸识别，卫星图像和医疗等方面。对现实生活中的垃圾处理方面，并未广泛深入的应用。同时，不同垃圾的识别是具有挑战性的，因为垃圾的颜色及形状等种类万千，有时会与其他物品(非垃圾)十分相似，这会导致了误报率的上升。

如公开号为CN108182455A的专利公开了一种垃圾图像智能分类的方法、装置及智能垃圾桶，首先通过包括摄像头的高清采集设备采集垃圾图像；将采集的垃圾图像进行预处理；对预处理后的垃圾图像进行卷积和池化处理，进行特征图像提取，然后对特征图像进行识别；根据识别结果，判断是否为可回收垃圾类别。上述专利虽然可以对垃圾进行分类，但是对于垃圾清运员是无法进行管理的。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法。

为了实现以上目的，本发明采用以下技术方案：

一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，包括：

S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息；

S2.将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断得到的垃圾分类结果与接收到的垃圾清运员判定信息是否一致，若是，则将获取到的垃圾图像与垃圾清运员的判定信息存储于数据库中；若否，则执行步骤S3；

S3.对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中，根据误报数据集中的数据对垃圾清运员进行工作质量评价；若审核结果与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。

进一步的，所述步骤S2中将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理之前还包括：对垃圾图像分类模型进行训练，具体包括：

A1.设置垃圾图像分类网络中参数的初始化数值，并设置垃圾图像分类网络的最大迭代次数m；

A2.将样本数据集输入垃圾图像分类网络中进行训练；其中训练方式具体为垃圾图像分类网络中的移动翻转瓶颈卷积模块对样本数据集中的特征图进行压缩处理，在通道维度方向上进行全局平均池化操作，得到特征图通道维度方向的全局特征；使用垃圾图像分类网络中的卷积层对得到的全局特征进行卷积，并通过激活函数得到全局特征不同通道的权重值，将得到的权重值与特征图相乘得到最终特征；

A3.判断步骤A2中进行训练时的损失值是否一直下降，若是，则继续训练，直到迭代m次后，得到垃圾图像分类模型；若损失值在训练过程中趋于稳定，则停止迭代，得到垃圾图像分类模型。

进一步的，所述步骤S2中将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，具体为：

将获取到的垃圾的图像信息输入至垃圾图像分类模型中，首先经过垃圾图像分类模型中的移动翻转瓶颈卷积模块、卷积层进行处理，得到特征图；然后将得到的特征图经过垃圾图像分类模型中的全局平均池化层进行处理，接着进入全连接层和分类层输出9个类别的概率；其中9个类别的概率包括0类空称、1类其他垃圾不合格、2类其他垃圾合格、3类其他垃圾空桶、4类其他垃圾桶未打开、5类易腐垃圾不合格、6类易腐垃圾合格、7类易腐垃圾空桶、8类易腐垃圾桶未打开。

进一步的，所述步骤S1中还包括获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息。

进一步的，所述步骤S3之后还包括：

S4.接收垃圾清运员连续两次上传的数据信息；并判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，若是，则记录垃圾清运员当前上传的数据信息，根据所述数据信息对垃圾清运员进行工作质量评价；其中数据信息包括垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息。

进一步的，所述步骤S4具体包括：

S41.接收垃圾清运员连续两次上传的时间信息以及当前的位置信息，并判断连续两次上传的时间信息是否小于等于预设时间间隔阈值，且判断连续两次上传的位置信息是否小于等于预设位置距离阈值，若是，则记录垃圾清运员上传的时间信息以及位置信息；

S42.接收垃圾清运员连续两次上传的重量信息，并判断连续两次上传的重量信息是否小于等于预设重量阈值，若是，则记录垃圾清运员上传的重量信息；

S43.接收垃圾清运员连续两次上传的垃圾图像信息，并基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，判断所述数据得分是否小于等于预设对比度阈值，若是，则记录垃圾清运员上传的图像信息。

进一步的，所述步骤S4中判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，其中判断的方式表示为：

P(T₁-T₂≤Δt)·P(M₁-M₂≤Δm)·P(S₁-S₂≤Δs)·P(N≤Δn)

其中，公式等于1时表示垃圾清运员连续两次上传的数据信息是同一户的数据信息；T₂表示连续两次上传的时间信息中第二次上传的时间信息；T₁表示连续两次上传的时间信息中第一次上传的时间信息；Δt表示预设时间间隔阈值；M₂表示连续两次上传的重量信息中第二次上传重量信息；M₁表示连续两次上传的重量信息中第一次上传重量信息；Δm表示预设重量阈值；S₂表示连续两次上传的位置信息中第二次上传的位置信息；S₁为连续两次上传的位置信息中第一次上传的位置信息；Δs表示预设位置距离阈值；N表示计算的连续两次上传的垃圾图像信息中不同图像的数据得分；Δn表示预设对比度阈值；P函数内的表达式为真，则函数输出值为1；P函数内的表达式不为真，则函数输出值为0。

进一步的，所述步骤S43中基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，具体包括：

B1.将接收到的垃圾图像信息中的图像缩小到8*8的尺寸，得到64个像素；

B2.将缩小后的图像转为64级灰度；

B3.计算转换为64级灰度的像素的灰度平均值；

B4.将每个像素的灰度与平均值进行比较，若像素的灰度大于或等于平均值，则记为1；若像素的灰度小于平均值，则记为0；

B5.将步骤B4中得到的结果组合在一起，得到一个64位的整数，即得到当前图像的指纹；

B6.当得到当前图像的指纹后，比较连续两次上传的垃圾图像信息中的图像，得到图像中不相同数据位数的得分，并判断数据位数的得分是否小于等于预设对比度阈值，若是，则得到连续两次上传的垃圾图像信息中的图像为相似图像。

进一步的，所述步骤S1之后还包括：

S5.计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量以及一个月中村庄的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量。

进一步的，所述步骤S5中计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量，表示为：

其中，表示一个月中村庄某户的易腐垃圾与其他垃圾的平均重量；t表示一个月的时间天数；a₁表示一个月中第一天村庄某户的易腐垃圾与其他垃圾的重量；a_t表示一个月中最后一天村庄某户的易腐垃圾与其他垃圾的重量；

所述步骤S5中计算一个月中村庄的易腐垃圾与其他垃圾的平均重量，表示为：

其中，表示一个月中村庄的易腐垃圾与其他垃圾的平均重量；l表示村庄的总户数；A₁表示村庄第一户的易腐垃圾与其他垃圾的重量；A_l表示村庄第l户的易腐垃圾与其他垃圾的重量。

与现有技术相比，本发明提供新型的垃圾分类图像识别算法，将算法与工作人员的判定进行比较，从而对清运员的垃圾分类进行考核，这样有利于推动清运员对于垃圾图像准确的判断与认知。最后还通过GPS和后端数据的分析，可以在重复操作这项问题上对清运员的工作指标进行评分。

附图说明

图1是实施例一提供的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法流程图；

图2是实施例一提供的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法流程示意图

图3是实施例一提供的垃圾图像分类模型结构示意图；

图4是实施例一提供的感知哈希算法的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明的目的是针对现有技术的缺陷，提供了一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法。

实施例一

本实施例提供一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，如图1-2所示，包括：

S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息；

S2.将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断得到的垃圾分类结果与接收到的垃圾清运员判定信息是否一致，若是，则将获取到的垃圾图像与垃圾清运员的判定信息存储于数据库中；若否，则执行步骤S3；

S3.对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中，根据误报数据集中的数据对垃圾清运员进行工作质量评价；若审核结果与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。

在步骤S1中，获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息。

首先垃圾清运员将某一住户的易腐垃圾桶和其他垃圾桶放到垃圾回收车上，其中垃圾回收车上设置有带触摸屏的智能电子秤、摄像头、GPS模块；然后垃圾清运员将该易腐垃圾桶和其他垃圾桶的垃圾桶盖打开，此时设置于垃圾车上的电子秤会对易腐垃圾桶、其他垃圾桶中的垃圾进行称重、设置于垃圾车上的摄像头拍摄易腐垃圾桶和其他垃圾桶中的垃圾图像，最后电子秤称得的重量以及摄像头拍摄的图像会上传至后端云平台。

垃圾清运员回收垃圾时还会自己先判断住户的垃圾分类的是否正确，然后垃圾清运员将自己判定的结果通过电子秤上的触摸屏输入自己判定的结果(即垃圾分类合格或不合格)，该垃圾清运员输入的结果也会一起上传至后端云平台。

后端云平台也会保存当前上传的信息的时间以及或获取通过GPS定位的当前的位置信息。

在步骤S2中，将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断得到的垃圾分类结果与接收到的垃圾清运员判定信息是否一致，若是，则将获取到的垃圾图像与垃圾清运员的判定信息存储于数据库中；若否，则执行步骤S3。

后端云平台接收到上传的垃圾图像信息后，后端云平台将图像输入到垃圾图像分类模型中进行处理，得到垃圾的分类结果，如图3所示。其中在垃圾图像分类模型中进行处理包括训练垃圾图像分类模型阶段和处理阶段。

训练阶段具体为：

垃圾图像分类网络的结构包含移动翻转瓶颈卷积模块(SE模块)、卷积层、全局平均池化层以及分类层四种结构。卷积层用经典的卷积层进行特征提取，网络采用三尺度。

A1.设置垃圾图像分类网络中参数的初始化数值，并设置垃圾图像分类网络的最大迭代次数m；

A2.将样本数据集输入垃圾图像分类网络中进行训练；其中训练方式具体为：

在移动翻转瓶颈卷积模块(SE模块)中的压缩与激发操作，SE模块是一种基于注意力的特征图操作操作。首先SE模块对样本数据集中的特征图进行压缩处理，在通道维度方向上进行全局平均池化操作，得到特征图通道维度方向的全局特征；然后对全局特征进行激发操作，使用激活比例(R，该比例为浮点数)乘全局特征维数(C)个1x1的卷积对其进行卷积，学习各个通道间的关系，再通过sigmoid激活函数得到全局特征不同通道的权重值，最后将权重值乘以原来的特征图得到最终特征。

A3.判断步骤A2中进行训练时的损失loss值是否一直下降，若是，则继续训练，直到迭代m次后，得到垃圾图像分类模型；若损失loss值在训练过程中趋于稳定，则停止迭代，得到垃圾图像分类模型。

处理阶段具体为：

将获取到的垃圾的图像信息输入至垃圾图像分类模型中，首先经过预先设定好的深度可分离网络后得到特征图，再让特征图经过全局平均池化处理和随机失活dropout处理，紧接着进入全连接层和Softmax分类层输出9个类别的概率。其中9个类别的概率包括0类、1类、2类、3类、4类、5类、6类、7类、8类。

0类为空称，即表示没有垃圾桶；1类其他垃圾不合格，即其他垃圾桶中的垃圾分类错误；2类其他垃圾合格，即其他垃圾桶中的垃圾分类正确；3类其他垃圾空桶，即其他垃圾桶中没有垃圾；4类其他垃圾桶未打开，即其他垃圾桶为打开垃圾桶盖；5类易腐垃圾不合格，即易腐蚀垃圾桶中的垃圾分类错误；6类易腐垃圾合格，即易腐蚀垃圾桶中的垃圾分类正确；7类易腐垃圾空桶，即易腐蚀垃圾桶中的没有垃圾；8类易腐垃圾桶未打开，即易腐蚀垃圾桶的垃圾桶盖没有打开。

还本实施例中，还包括如果Softmax层输出的9类的最大概率小于阈值t,则输出为9类之外的其他类别，否则输出概率值最大对应的类别。其中，输出为9类之外的其他类别的图像作为困难样本进行人工标注用于分类算法的迭代更新。

在步骤S2中当通过垃圾图像分类模型输出垃圾的分类结果后，判断该结果是否与垃圾清运员的判定结果一致，若一致，则将垃圾图像与判定结果放入归档数据库内；否则执行步骤S3。

在步骤S3中，对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中，根据误报数据集中的数据对垃圾清运员进行工作质量评价；若审核结果与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。

当垃圾图像分类模型与垃圾清运员判定的垃圾分类结果不一致时，则进行后端人工审核，根据人工审核结果，如果是垃圾清运员误报，则将误报数据放入垃圾清运员的误报数据集中，后期根据此数据集对垃圾清运员进行工作质量评价；如果出现的是算法(垃圾图像分类模型)误报，则进行人工标注，将标注好的数据放入算法迭代更新数据集，当数据集中的新标记数据积累到一定数量后，用之对分类算法进行迭代更新。

在本实施例中，步骤S3之后还包括：

S4.接收垃圾清运员连续两次上传的数据信息；并判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，若是，则记录垃圾清运员当前上传的数据信息，根据所述数据信息对垃圾清运员进行工作质量评价；其中数据信息包括垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息。

本实施例对垃圾清运员的考核除了步骤S2、S3中通过模型输出的结果与垃圾清运员判定的结果进行比较等等外，还包括判断判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，具体包括：

S41.接收垃圾清运员连续两次上传的时间信息以及当前的位置信息，并判断连续两次上传的时间信息是否小于等于预设时间间隔阈值，且判断连续两次上传的位置信息是否小于等于预设位置距离阈值，若是，则记录垃圾清运员上传的时间信息以及位置信息；

利用后端云平台数据中的时间间隔与空间距离作比较：在清运车的一天工作中，抽取其中一次操作为基准，利用后端云平台记录这次工作的时间，在GPS车辆定位系统中记录下此次工作位置。再将其下一个操作的时间与工作位置做相同的记录，并与之前操作的时间和工作位置作比较，查看清运员是否存在重复性操作。

其中，两次时间比较是通过与预设时间间隔阈值进行比较的，表示为：

T₂-T₁≤Δt

其中，T₂表示连续两次上传的时间信息中第二次上传的时间信息；T₁表示连续两次上传的时间信息中第一次上传的时间信息；Δt表示预设时间间隔阈值。

两次位置比较是通过与预设位置距离阈值进行比较的，表示为：

S₂-S₁≤Δs

其中，S₂表示连续两次上传的位置信息第二次上传的位置信息；S₁为连续两次上传的位置信息第一次上传的位置信息；Δs表示预设位置距离阈值

S42.接收垃圾清运员连续两次上传的重量信息，并判断连续两次上传的重量信息是否小于等于预设重量阈值，若是，则记录垃圾清运员上传的重量信息；

利用后端云平台数据中的两种垃圾重量作比较：在清运车的一天工作中，抽取其中一次操作为基准，在后端云平台中调出此次操作中易腐垃圾与其他垃圾的重量，再将其下一个操作所上传到后端云平台的重量对比，查看清运员是否存在重复性操作。

其中，两次位置比较是通过与预设重量阈值进行比较的，表示为：

M₂-M₁≤Δm

其中，M₂表示连续两次上传的重量信息中第二次上传重量信息；M₁表示连续两次上传的重量信息中第一次上传重量信息；Δm表示预设重量阈值。

S43.接收垃圾清运员连续两次上传的垃圾图像信息，并基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，判断所述数据得分是否小于等于预设对比度阈值，若是，则记录垃圾清运员上传的图像信息。

利用后端云平台数据中的前后垃圾图像得到相似度得分：此步骤主要通过利用感知哈希算法，按照图像上的各个像素与图像的平均灰度值avg进行比较，若大则记为1，小则记为0，按一定顺序排列成若干位2进制的指纹编码。比较两幅图像的指纹编码，计算相似度。

基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，如图4所示，具体包括：

B1.将接收到的垃圾图像信息中的图像缩小到8*8的尺寸，得到64个像素；

这一步的作用是去除图像的细节，只保留结构或明暗等基本信息，摒弃不同比例带来的图像差异。

B2.将缩小后的图像转为64级灰度；

将缩小后的图像，转为64级灰度，即所有像素点总共只有64种颜色。

B3.计算转换为64级灰度的像素的灰度平均值；

B4.将每个像素的灰度与平均值进行比较，若像素的灰度大于或等于平均值，则记为1；若像素的灰度小于平均值，则记为0；

B5.将步骤B4中得到的结果组合在一起，得到一个64位的整数，即得到当前图像的指纹；

B6.当得到当前图像的指纹后，比较连续两次上传的垃圾图像信息中的图像，得到图像中不相同数据位数的得分，并判断数据位数的得分是否小于等于预设对比度阈值，若是，则得到连续两次上传的垃圾图像信息中的图像为相似图像。

判断数据位数的得分是否小于等于预设对比度阈值，表示为：

N≤Δn

其中，N表示计算的连续两次上传的垃圾图像信息中不同图像的数据得分；Δn表示预设对比度阈值。

在本实施例中，判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，其中判断的方式表示为：

P(T₁-T₂≤Δt)·P(M₁-M₂≤Δm)·P(S₁-S₂≤Δs)·P(N≤Δn)

其中，P函数内的表达式为真，则函数输出值为1。

当上诉四个必要条件均满足时，表示大概率存在重复操作。四个条件包括S2-S3、A41、A42、A43中的条件。

本实施例将算法与清运员的判定进行比较，从而对清运员的垃圾分类进行考核，这样有利于推动清运员对于垃圾图像准确的判断与认知。最后还通过GPS和后端数据的分析，可以在重复操作这项问题上对清运员的工作指标进行评分。

实施例二

本实施例公开的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法与实施例一的不同之处在于：

本实施例还可以排查处各村庄的垃圾排放量、各住户的垃圾排放量，具包括：

S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的重量信息；

S2.计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量以及一个月中村庄的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量。

首先获取某一村庄中每个住户一个月中的垃圾重量，一个月中的垃圾重量包括a₁、a₂、…、a_t，且一个月中收集垃圾的天数为t天，那么一个月中村庄某一户的易腐垃圾与其他垃圾的平均重量表示为：

通过上述公式则可以得到某村庄某住户一个月中易腐与其他垃圾的平均重量且根据获取的一个月中的垃圾重量a₁、a₂、…、a_t可以得到该住户一个月中易腐与其他垃圾的最小重量a_min、最大重量a_max。

通过上述步骤可以获取到村庄中每一个住户一个月的易腐与其他垃圾的重量，可以表示为A₁、A₂、…、A_l，那么根据每一住户一个月的垃圾重量以及某一村庄的总户数l，得到一个月中村庄的易腐垃圾与其他垃圾的平均重量表示为：

通过上述公式则可以得到某村庄一个月中易腐与其他垃圾的平均重量且根据获取的一个月中的垃圾重量A₁、A₂、…、A_l可以得到某村庄一个月中易腐与其他垃圾的最小重量A_min、最大重量A_max。

在本实施例中，根据各住户的平均垃圾重量可以得到住户的垃圾重量的方差设为住户的预设阈值，表示为：

根据某村庄的平均垃圾重量可以得到某村庄的垃圾重量的方差，设为村庄的预设阈值表示为：

本实施例通过计算得到村庄(或住户)的平均垃圾、预设阈值，对村庄(或住户)进行考察，可以对各村落垃圾排放量、各住户垃圾排放量进行排查。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，包括：

S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息；

S2.将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断得到的垃圾分类结果与接收到的垃圾清运员判定信息是否一致，若是，则将获取到的垃圾图像与垃圾清运员的判定信息存储于数据库中；若否，则执行步骤S3；

S3.对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中，根据误报数据集中的数据对垃圾清运员进行工作质量评价；若审核结果与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中；

所述步骤S3之后还包括：

S4.接收垃圾清运员连续两次上传的数据信息；并判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，若是，则记录垃圾清运员当前上传的数据信息，根据所述数据信息对垃圾清运员进行工作质量评价；其中数据信息包括垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息；

所述步骤S4具体包括：

S41.接收垃圾清运员连续两次上传的时间信息以及当前的位置信息，并判断连续两次上传的时间信息是否小于等于预设时间间隔阈值，且判断连续两次上传的位置信息是否小于等于预设位置距离阈值，若是，则记录垃圾清运员上传的时间信息以及位置信息；

S42.接收垃圾清运员连续两次上传的重量信息，并判断连续两次上传的重量信息是否小于等于预设重量阈值，若是，则记录垃圾清运员上传的重量信息；

S43.接收垃圾清运员连续两次上传的垃圾图像信息，并基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，判断所述数据得分是否小于等于预设对比度阈值，若是，则记录垃圾清运员上传的图像信息。

2.根据权利要求1所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S2中将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理之前还包括：对垃圾图像分类模型进行训练，具体包括：

A1.设置垃圾图像分类网络中参数的初始化数值，并设置垃圾图像分类网络的最大迭代次数m；

A2.将样本数据集输入垃圾图像分类网络中进行训练；其中训练方式具体为垃圾图像分类网络中的移动翻转瓶颈卷积模块对样本数据集中的特征图进行压缩处理，在通道维度方向上进行全局平均池化操作，得到特征图通道维度方向的全局特征；使用垃圾图像分类网络中的卷积层对得到的全局特征进行卷积，并通过激活函数得到全局特征不同通道的权重值，将得到的权重值与特征图相乘得到最终特征；

A3.判断步骤A2中进行训练时的损失值是否一直下降，若是，则继续训练，直到迭代m次后，得到垃圾图像分类模型；若损失值在训练过程中趋于稳定，则停止迭代，得到垃圾图像分类模型。

3.根据权利要求2所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S2中将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，具体为：

将获取到的垃圾的图像信息输入至垃圾图像分类模型中，首先经过垃圾图像分类模型中的移动翻转瓶颈卷积模块、卷积层进行处理，得到特征图；然后将得到的特征图经过垃圾图像分类模型中的全局平均池化层进行处理，接着进入全连接层和分类层输出9个类别的概率；其中9个类别的概率包括0类空称、1类其他垃圾不合格、2类其他垃圾合格、3类其他垃圾空桶、4类其他垃圾桶未打开、5类易腐垃圾不合格、6类易腐垃圾合格、7类易腐垃圾空桶、8类易腐垃圾桶未打开。

4.根据权利要求3所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S4中判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，其中判断的公式表示为：

P(T₁-T₂≤Δt)·P(M₁-M₂≤Δm)·P(S₁-S₂≤Δs)·P(N≤Δn)

其中，公式等于1时表示垃圾清运员连续两次上传的数据信息是同一户的数据信息；T₂表示连续两次上传的时间信息中第二次上传的时间信息；T₁表示连续两次上传的时间信息中第一次上传的时间信息；Δt表示预设时间间隔阈值；M₂表示连续两次上传的重量信息中第二次上传重量信息；M₁表示连续两次上传的重量信息中第一次上传重量信息；Δm表示预设重量阈值；S₂表示连续两次上传的位置信息中第二次上传的位置信息；S₁为连续两次上传的位置信息中第一次上传的位置信息；Δs表示预设位置距离阈值；N表示计算的连续两次上传的垃圾图像信息中不同图像的数据得分；Δn表示预设对比度阈值；P函数内的表达式为真，则函数输出值为1；P函数内的表达式不为真，则函数输出值为0。

5.根据权利要求4所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S43中基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，具体包括：

B1.将接收到的垃圾图像信息中的图像缩小到8*8的尺寸，得到64个像素；

B2.将缩小后的图像转为64级灰度；

B3.计算转换为64级灰度的像素的灰度平均值；

B4.将每个像素的灰度与平均值进行比较，若像素的灰度大于或等于平均值，则记为1；若像素的灰度小于平均值，则记为0；

B5.将步骤B4中得到的结果组合在一起，得到一个64位的整数，即得到当前图像的指纹；

B6.当得到当前图像的指纹后，比较连续两次上传的垃圾图像信息中的图像，得到图像中不相同数据位数的得分，并判断数据位数的得分是否小于等于预设对比度阈值，若是，则得到连续两次上传的垃圾图像信息中的图像为相似图像。

6.根据权利要求5所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S1之后还包括：

S5.计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量以及一个月中村庄的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量。

7.根据权利要求6所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S5中计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量，表示为：

其中，表示一个月中村庄某户的易腐垃圾与其他垃圾的平均重量；t表示一个月的时间天数；a₁表示一个月中第一天村庄某户的易腐垃圾与其他垃圾的重量；a_t表示一个月中最后一天村庄某户的易腐垃圾与其他垃圾的重量；

所述步骤S5中计算一个月中村庄的易腐垃圾与其他垃圾的平均重量，表示为：

其中，表示一个月中村庄的易腐垃圾与其他垃圾的平均重量；l表示村庄的总户数；A₁表示村庄第一户的易腐垃圾与其他垃圾的重量；A_l表示村庄第l户的易腐垃圾与其他垃圾的重量。