CN112508103A - 一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法 - Google Patents
一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法 Download PDFInfo
- Publication number
- CN112508103A CN112508103A CN202011435124.4A CN202011435124A CN112508103A CN 112508103 A CN112508103 A CN 112508103A CN 202011435124 A CN202011435124 A CN 202011435124A CN 112508103 A CN112508103 A CN 112508103A
- Authority
- CN
- China
- Prior art keywords
- garbage
- information
- image
- perishable
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 417
- 238000007726 management method Methods 0.000 title claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012550 audit Methods 0.000 claims abstract description 15
- 239000002699 waste material Substances 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000004140 cleaning Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000011835 investigation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，包括：S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息；S2.将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断垃圾分类结果与垃圾清运员判定信息是否一致，若否，则执行步骤S3；S3.对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果分别与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中；若审核结果分别与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。
Description
技术领域
本发明涉及垃圾分类、清运员管理技术领域，尤其涉及一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法。
背景技术
我国的环保建设正在快步进行，农村的日常生活中垃圾收运车是环保建设的一大帮手。快速有效的分类不同垃圾，是我国环保建设的一个必要模块。利用垃圾收运车拍摄所到的图像进行垃圾的称重分类处理并根据GPS定位技术进行监督作业，是中国环保建设所需要的。
目前识别技术在学术研究领域突飞猛进，但目前大多数识别系统在实际生活中广泛应用在人脸识别，卫星图像和医疗等方面。对现实生活中的垃圾处理方面，并未广泛深入的应用。同时，不同垃圾的识别是具有挑战性的，因为垃圾的颜色及形状等种类万千，有时会与其他物品(非垃圾)十分相似，这会导致了误报率的上升。
如公开号为CN108182455A的专利公开了一种垃圾图像智能分类的方法、装置及智能垃圾桶，首先通过包括摄像头的高清采集设备采集垃圾图像；将采集的垃圾图像进行预处理；对预处理后的垃圾图像进行卷积和池化处理，进行特征图像提取，然后对特征图像进行识别；根据识别结果，判断是否为可回收垃圾类别。上述专利虽然可以对垃圾进行分类，但是对于垃圾清运员是如法进行管理的。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法。
为了实现以上目的，本发明采用以下技术方案：
一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，包括：
S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息；
S2.将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断得到的垃圾分类结果与接收到的垃圾清运员判定信息是否一致，若是，则将获取到的垃圾图像与垃圾清运员的判定信息存储于数据库中；若否，则执行步骤S3；
S3.对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果分别与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中，根据误报数据集中的数据对垃圾清运员进行工作质量评价；若审核结果分别与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。
进一步的，所述步骤S2中将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理之前还包括：对垃圾图像分类模型进行训练，具体包括：
A1.设置垃圾图像分类网络中参数的初始化数值，并设置垃圾图像分类网络的最大迭代次数m；
A2.将样本数据集输入垃圾图像分类网络中进行训练；其中训练方式具体为垃圾图像分类网络中的移动翻转瓶颈卷积模块对样本数据中的特征图进行压缩处理，在通道维度方向上进行全局平均池化操作，得到特征图通道维度方向的全局特征；使用垃圾图像分类网络中的卷积层对得到的全局特征进行卷积，并通过激活函数得到全局特征不同通道的权重值，将得到的权重值与特征图相乘得到最终特征；
A3.判断步骤A2中进行训练时的损失值是否一直下降，若是，则继续训练，直到迭代m次后，得到垃圾图像分类模型；若损失值在训练过程中趋于稳定，则停止迭代，得到垃圾图像分类模型。
进一步的，所述步骤S2中将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，具体为：
将获取到的垃圾的图像信息输入至垃圾图像分类模型中，首先经过垃圾图像分类模型中的移动翻转瓶颈卷积模块、卷积层进行处理，得到特征图；然后将得到的特征图经过垃圾图像分类模型中的全局平均池化层进行处理，接着进入全连接层和分类层输出9个类别的概率；其中9个类别的概率包括0类空称、1类其他垃圾不合格、2类其他垃圾合格、3类其他垃圾空桶、4类其他垃圾桶未打开、5类易腐垃圾不合格、6类易腐垃圾合格、7类易腐垃圾空桶、8类易腐垃圾桶未打开。
进一步的，所述步骤S1中还包括获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息。
进一步的，所述步骤S3之后还包括：
S4.接收垃圾清运员连续两次上传的数据信息；并判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，若是，则记录垃圾清运员当前上传的数据信息，根据所述数据信息对垃圾清运员进行工作质量评价；其中数据信息包括垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息。
进一步的，所述步骤S4具体包括：
S41.接收垃圾清运员连续两次上传的时间信息以及当前的位置信息，并判断连续两次上传的时间信息是否小于等于预设时间间隔阈值，且判断连续两次上传的位置信息是否小于等于预设位置距离阈值，若是，则记录垃圾清运员当前垃圾清运员上传的时间信息以及位置信息；
S42.接收垃圾清运员连续两次上传的重量信息，并判断连续两次上传的重量信息是否小于等于预设重量阈值，若是，则记录垃圾清运员当前垃圾清运员上传的重量信息；
S43.接收垃圾清运员连续两次上传的垃圾图像信息，并基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，判断所述数据得分是否小于等于预设对比度阈值，若是，则记录垃圾清运员当前垃圾清运员上传的图像信息。
进一步的，所述步骤S4中判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，其中判断的方式表示为：
P(T1-T2≤Δt)·P(M1-M2≤Δm)·P(S1-S2≤Δs)·P(N≤Δn)＝1
其中，T2表示连续两次上传的时间信息中第二次上传的时间信息；T1表示连续两次上传的时间信息中第一次上传的时间信息；Δt表示预设时间间隔阈值；M2表示连续两次上传的重量信息中第二次上传重量信息；M1表示连续两次上传的重量信息中第一次上传重量信息；Δm表示预设重量阈值；S2表示连续两次上传的位置信息第二次上传的位置信息；S1为连续两次上传的位置信息第一次上传的位置信息；Δs表示预设位置距离阈值；N表示计算的连续两次上传的垃圾图像信息中不同图像的数据得分；Δn表示预设对比度阈值；P函数内的表达式为真，则函数输出值为1；P函数内的表达式不为真，则函数输出值为0。
进一步的，所述步骤S43中基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，具体包括：
B1.将接收到的垃圾图像信息中的图像缩小到8*8的尺寸，得到64个像素；
B2.将缩小后的图像转为64级灰度；
B3.计算转换为64级灰度的像素的灰度平均值；
B4.将每个像素的灰度与平均值进行比较，若像素的灰度大于或等于平均值，则记为1；若像素的灰度小于平均值，则记为0；
B5.将步骤B4中得到的结果组合在一起，得到一个64位的整数，即得到当前图像的指纹；
B6.当得到当前图像的指纹后，比较连续两次上传的垃圾图像信息中的图像，得到图像中不相同数据位数的得分，并判断数据位数的得分是否小于等于预设对比度阈值，若是，则得到连续两次上传的垃圾图像信息中的图像为相似图像。
进一步的，所述步骤S1之后还包括：
S5.计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量以及一个月中村庄的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量。
进一步的，所述步骤S5中计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量，表示为：
其中，
表示一个月中村庄某户的易腐垃圾与其他垃圾的平均重量；t表示一个月的时间天数；a1表示一个月中第一天村庄某户的易腐垃圾与其他垃圾的重量；at表示一个月中最后一天村庄某户的易腐垃圾与其他垃圾的重量；
所述步骤S5中计算一个月中村庄的易腐垃圾与其他垃圾的平均重量，表示为：
其中，
表示一个月中村庄的易腐垃圾与其他垃圾的平均重量；l表示村庄的总户数；A1表示村庄第一户的易腐垃圾与其他垃圾的重量；Al表示村庄第l户的易腐垃圾与其他垃圾的重量。
与现有技术相比，本发明提供的新型的垃圾分类图像识别算法，并将算法与工作人员的判定进行比较从而对清运员进行垃圾的分类进行考核，这样有利于推动清运员对于垃圾图像更准确的判断与认知。通过对农村的政府进行合作从而推动农村垃圾分类计划的进行，对垃圾分类错误和垃圾制造过多的群众或村落进行教育甚至处罚。最后还可以通过GPS和后端数据的分析可以在对于重复操作这项问题上对清运员的工作指标进行评分。
附图说明
图1是实施例一提供的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法流程图；
图2是实施例一提供的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法流程示意图
图3是实施例一提供的垃圾图像分类模型结构示意图；
图4是实施例一提供的感知哈希算法的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明的目的是针对现有技术的缺陷，提供了一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法。
实施例一
本实施例提供一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，如图1-2所示，包括：
S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息；
S2.将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断得到的垃圾分类结果与接收到的垃圾清运员判定信息是否一致，若是，则将获取到的垃圾图像与垃圾清运员的判定信息存储于数据库中；若否，则执行步骤S3；
S3.对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果分别与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中，根据误报数据集中的数据对垃圾清运员进行工作质量评价；若审核结果分别与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。
在步骤S11中，获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息。
首先垃圾清运员将某一住户的易腐垃圾桶和其他垃圾桶放到垃圾回收车上，其中垃圾回收车上设置有带触摸屏的智能电子秤、摄像头、GPS模块；然后垃圾清运员将该易腐垃圾桶和其他垃圾桶的垃圾桶盖打开，此时设置于垃圾车上的电子秤会对易腐垃圾桶、其他垃圾桶中的垃圾进行称重、设置于垃圾车上的摄像头拍摄易腐垃圾桶和其他垃圾桶中的垃圾图像，最后电子秤称得的重量以及摄像头拍摄的图像会上传至后端云平台。
垃圾清运员回收垃圾时还会自己先判断住户的垃圾分类的是否正确，然后垃圾清运员将自己判定的结果通过电子秤上的触摸屏输入自己判定的结果(即垃圾分类合格或不合格)，该垃圾清运员输入的结果也会一起上传至后端云平台。
后端云平台也会保存当前上传的信息的时间以及或获取通过GPS定位的当前的位置信息。
在步骤S2中，将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断得到的垃圾分类结果与接收到的垃圾清运员判定信息是否一致，若是，则将获取到的垃圾图像与垃圾清运员的判定信息存储于数据库中；若否，则执行步骤S3。
后端云平台接收到上传的垃圾图像信息后，后端云平台将图像输入到垃圾图像分类模型中进行处理，得到垃圾的分类结果，如图3所示。其中在垃圾图像分类模型中进行处理包括训练垃圾图像分类模型阶段和处理阶段。
训练阶段具体为：
垃圾图像分类网络的结构包含移动翻转瓶颈卷积模块(SE模块)、卷积层、全局平均池化层以及分类层四种结构。卷积层用经典的卷积层进行特征提取，网络采用三尺度。
A1.设置垃圾图像分类网络中参数的初始化数值，并设置垃圾图像分类网络的最大迭代次数m；
A2.将样本数据集输入垃圾图像分类网络中进行训练；其中训练方式具体为：
在移动翻转瓶颈卷积模块(SE模块)中的压缩与激发操作，SE模块是一种基于注意力的特征图操作操作。首先SE模块对样本数据中的特征图进行压缩处理，在通道维度方向上进行全局平均池化操作，得到特征图通道维度方向的全局特征；然后对全局特征进行激发操作，使用激活比例(R，该比例为浮点数)乘全局特征维数(C)个1x1的卷积对其进行卷积，学习各个通道间的关系，再通过sigmoid激活函数得到全局特征不同通道的权重值，最后将权重值乘以原来的特征图得到最终特征。
A3.判断步骤A2中进行训练时的损失loss值是否一直下降，若是，则继续训练，直到迭代m次后，得到垃圾图像分类模型；若损失loss值在训练过程中趋于稳定，则停止迭代，得到垃圾图像分类模型。
处理阶段具体为：
将获取到的垃圾的图像信息输入至垃圾图像分类模型中，首先经过预先设定好的深度可分离网络后得到特征图，再让特征图经过全局平均池化处理和随机失活dropout处理，紧接着进入全连接层和Softmax分类层输出9个类别的概率。其中9个类别的概率包括0类、1类、2类、3类、4类、5类、6类、7类、8类。
0类为空称，即表示没有垃圾桶；1类其他垃圾不合格，即其他垃圾桶中的垃圾分类错误；2类其他垃圾合格，即其他垃圾桶中的垃圾分类正确；3类其他垃圾空桶，即其他垃圾桶中没有垃圾；4类其他垃圾桶未打开，即其他垃圾桶为打开垃圾桶盖；5类易腐垃圾不合格，即易腐蚀垃圾桶中的垃圾分类错误；6类易腐垃圾合格，即易腐蚀垃圾桶中的垃圾分类正确；7类易腐垃圾空桶，即易腐蚀垃圾桶中的没有垃圾；8类易腐垃圾桶未打开，即易腐蚀垃圾桶的垃圾桶盖没有打开。
还本实施例中，还包括如果Softmax层输出的9类的最大概率小于阈值t,则输出为9类之外的其他类别，否则输出概率值最大对应的类别。其中，输出为9类之外的其他类别的图像作为困难样本进行人工标注用于分类算法的迭代更新。
在步骤S2中当通过垃圾图像分类模型输出垃圾的分类结果后，判断该结果是否与垃圾清运员的判定结果一致，若一致，则将垃圾图像与判定结果放入归档数据库内；否则执行步骤S3。
在步骤S3中，对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果分别与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中，根据误报数据集中的数据对垃圾清运员进行工作质量评价；若审核结果分别与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。
当垃圾图像分类模型与垃圾清运员判定的垃圾分类结果不一致时，则进行后端人工审核，根据人工审核结果，如果是垃圾清运员误报，则将误报数据放入垃圾清运员的误报数据集中，后期根据此数据集对垃圾清运员进行工作质量评价；如果出现的是算法(垃圾图像分类模型)误报，则进行人工标注，将标注好的数据放入算法迭代更新数据集，当数据集中的新标记数据积累到一定数量后，用之对分类算法进行迭代更新。
在本实施例中，步骤S3之后还包括：
S4.接收垃圾清运员连续两次上传的数据信息；并判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，若是，则记录垃圾清运员当前上传的数据信息，根据所述数据信息对垃圾清运员进行工作质量评价；其中数据信息包括垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息。
本实施例对垃圾清运员的考核除了步骤S2、S3中通过模型输出的结果与垃圾清运员判定的结果进行比较等等外，还包括判断判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，具体包括：
S41.接收垃圾清运员连续两次上传的时间信息以及当前的位置信息，并判断连续两次上传的时间信息是否小于等于预设时间间隔阈值，且判断连续两次上传的位置信息是否小于等于预设位置距离阈值，若是，则记录垃圾清运员当前垃圾清运员上传的时间信息以及位置信息；
利用后端云平台数据中的时间间隔与空间距离作比较：在清运车的一天工作中，抽取其中一次操作为基准，利用后端云平台记录这次工作的时间，在GPS车辆定位系统中记录下此次工作位置。再将其下一个操作的时间与工作位置做相同的记录，并与之前操作的时间和工作位置作比较，查看清运员是否存在重复性操作。
其中，两次时间比较是通过与预设时间间隔阈值进行比较的，表示为：
T2-T1≤Δt
其中，T2表示连续两次上传的时间信息中第二次上传的时间信息；T1表示连续两次上传的时间信息中第一次上传的时间信息；Δt表示预设时间间隔阈值。
两次位置比较是通过与预设位置距离阈值进行比较的，表示为：
S2-S1≤Δs
其中，S2表示连续两次上传的位置信息第二次上传的位置信息；S1为连续两次上传的位置信息第一次上传的位置信息；Δs表示预设位置距离阈值
S42.接收垃圾清运员连续两次上传的重量信息，并判断连续两次上传的重量信息是否小于等于预设重量阈值，若是，则记录垃圾清运员当前垃圾清运员上传的重量信息；
利用后端云平台数据中的两种垃圾重量作比较：在清运车的一天工作中，抽取其中一次操作为基准，在后端云平台中调出此次操作中易腐垃圾与其他垃圾的重量，再将其下一个操作所上传到后端云平台的重量对比，查看清运员是否存在重复性操作。
其中，两次位置比较是通过与预设重量阈值进行比较的，表示为：
M2-M1≤Δm
其中，M2表示连续两次上传的重量信息中第二次上传重量信息；M1表示连续两次上传的重量信息中第一次上传重量信息；Δm表示预设重量阈值。
S43.接收垃圾清运员连续两次上传的垃圾图像信息，并基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，判断所述数据得分是否小于等于预设对比度阈值，若是，则记录垃圾清运员当前垃圾清运员上传的图像信息。
利用后端云平台数据中的前后垃圾图像得到相似度得分：此步骤主要通过利用感知哈希算法，按照图像上的各个像素与图像的平均灰度值avg进行比较，若大则记为1，小则记为0，按一定顺序排列成若干位2进制的指纹编码。比较两幅图像的指纹编码，计算相似度。
基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，如图4所示，具体包括：
B1.将接收到的垃圾图像信息中的图像缩小到8*8的尺寸，得到64个像素；
这一步的作用是去除图像的细节，只保留结构或明暗等基本信息，摒弃不同比例带来的图像差异。
B2.将缩小后的图像转为64级灰度；
将缩小后的图像，转为64级灰度，即所有像素点总共只有64种颜色。
B3.计算转换为64级灰度的像素的灰度平均值；
B4.将每个像素的灰度与平均值进行比较，若像素的灰度大于或等于平均值，则记为1；若像素的灰度小于平均值，则记为0；
B5.将步骤B4中得到的结果组合在一起，得到一个64位的整数，即得到当前图像的指纹；
B6.当得到当前图像的指纹后，比较连续两次上传的垃圾图像信息中的图像，得到图像中不相同数据位数的得分，并判断数据位数的得分是否小于等于预设对比度阈值，若是，则得到连续两次上传的垃圾图像信息中的图像为相似图像。
判断数据位数的得分是否小于等于预设对比度阈值，表示为：
N≤Δn
其中，N表示计算的连续两次上传的垃圾图像信息中不同图像的数据得分；Δn表示预设对比度阈值。
在本实施例中，判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，其中判断的方式表示为：
P(T1-T2≤Δt)·P(M1-M2≤Δm)·P(S1-S2≤Δs)·P(N≤Δn)＝1
其中，P函数内的表达式为真，则函数输出值为1；P函数内的表达式不为真，则函数输出值为0。
当上诉四个必要条件均满足时，表示大概率存在重复操作，此次清运员的考核分数(经技术人员确定后)会被降低。四个条件包括S2-S3、A41、A42、A43中的条件。
本实施例将算法与清运员的判定进行比较从而对清运员进行垃圾的分类进行考核，这样有利于推动清运员对于垃圾图像更准确的判断与认知。通过对农村的政府进行合作从而推动农村垃圾分类计划的进行，对垃圾分类错误和垃圾制造过多的群众或村落进行教育甚至处罚。最后还可以通过GPS和后端数据的分析可以在对于重复操作这项问题上对清运员的工作指标进行评分。
实施例二
本实施例公开的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法与实施例一的不同之处在于：
本实施例还可以排查处各村庄的垃圾排放量、各住户的垃圾排放量，具包括：
S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的重量信息；
S2.计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量以及一个月中村庄的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量。
首先获取某一村庄中每个住户一个月中的垃圾重量，一个月中的垃圾重量包括a1、a2、…、at，且一个月中收集垃圾的天数为t天，那么一个月中村庄某一户的易腐垃圾与其他垃圾的平均重量
表示为：
通过上述公式则可以得到某村庄某住户一个月中易腐与其他垃圾的平均重量
且根据获取的一个月中的垃圾重量a1、a2、…、at可以得到该住户一个月中易腐与其他垃圾的最小重量amin、最大重量amax。
通过上述步骤可以获取到村庄中每一个住户一个月的易腐与其他垃圾的重量，可以表示为A1、A2、…、Al，那么根据每一住户一个月的垃圾重量以及某一村庄的总户数l(通过政府提供的村庄住户数量)，得到一个月中村庄的易腐垃圾与其他垃圾的平均重量
表示为：
通过上述公式则可以得到某村庄一个月中易腐与其他垃圾的平均重量
且根据获取的一个月中的垃圾重量A1、A2、…、Al可以得到某村庄一个月中易腐与其他垃圾的最小重量Amin、最大重量Amax。
在本实施例中，根据各住户的平均垃圾重量可以得到住户的垃圾重量的方差，设为住户的预设阈值，表示为：
根据某村庄的平均垃圾重量可以得到某村庄的垃圾重量的方差，设为村庄的预设阈值，表示为：
当两种垃圾平均重量超过平均垃圾重量阈值
的住户需要格外收取费用并进行思想教育与实地考察；当两种垃圾平均重量超过住户方差预设阈值
的住户进行实地考察与询问。
当两种垃圾平均重量超过平均垃圾重量阈值
的村庄需要格外收取费用并进行思想教育与实地考察；当两种垃圾平均重量超过村庄方差预设阈值
的村庄进行实地考察与询问。
本实施例通过计算得到村庄(或住户)的平均垃圾、预设阈值，对村庄(或住户)进行考察，可以对各村落垃圾排放量、各住户垃圾排放量进行排查。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，包括：
S1.获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的图像信息，并接收垃圾清运员判定的垃圾分类是否正确的信息；
S2.将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，得到垃圾的分类结果；并判断得到的垃圾分类结果与接收到的垃圾清运员判定信息是否一致，若是，则将获取到的垃圾图像与垃圾清运员的判定信息存储于数据库中；若否，则执行步骤S3；
S3.对获取到的垃圾的图像信息进行审核，并根据审核结果分别与垃圾分类结果、垃圾清运员的判定信息进行比较，若审核结果分别与垃圾分类结果一致，则将垃圾清运员的判定信息存储于误报数据集中，根据误报数据集中的数据对垃圾清运员进行工作质量评价；若审核结果分别与垃圾清运员的判定信息一致，则将垃圾分类结果存储于算法迭代更新数据集中。
2.根据权利要求1所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S2中将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理之前还包括：对垃圾图像分类模型进行训练，具体包括：
A1.设置垃圾图像分类网络中参数的初始化数值，并设置垃圾图像分类网络的最大迭代次数m；
A2.将样本数据集输入垃圾图像分类网络中进行训练；其中训练方式具体为垃圾图像分类网络中的移动翻转瓶颈卷积模块对样本数据中的特征图进行压缩处理，在通道维度方向上进行全局平均池化操作，得到特征图通道维度方向的全局特征；使用垃圾图像分类网络中的卷积层对得到的全局特征进行卷积，并通过激活函数得到全局特征不同通道的权重值，将得到的权重值与特征图相乘得到最终特征；
A3.判断步骤A2中进行训练时的损失值是否一直下降，若是，则继续训练，直到迭代m次后，得到垃圾图像分类模型；若损失值在训练过程中趋于稳定，则停止迭代，得到垃圾图像分类模型。
3.根据权利要求2所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S2中将获取到的垃圾的图像信息输入至垃圾图像分类模型中进行处理，具体为：
将获取到的垃圾的图像信息输入至垃圾图像分类模型中，首先经过垃圾图像分类模型中的移动翻转瓶颈卷积模块、卷积层进行处理，得到特征图；然后将得到的特征图经过垃圾图像分类模型中的全局平均池化层进行处理，接着进入全连接层和分类层输出9个类别的概率；其中9个类别的概率包括0类空称、1类其他垃圾不合格、2类其他垃圾合格、3类其他垃圾空桶、4类其他垃圾桶未打开、5类易腐垃圾不合格、6类易腐垃圾合格、7类易腐垃圾空桶、8类易腐垃圾桶未打开。
4.根据权利要求1所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S1中还包括获取村庄各住户的易腐垃圾桶和其他垃圾桶中垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息。
5.根据权利要求4所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S3之后还包括：
S4.接收垃圾清运员连续两次上传的数据信息；并判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，若是，则记录垃圾清运员当前上传的数据信息，根据所述数据信息对垃圾清运员进行工作质量评价；其中数据信息包括垃圾的重量信息、垃圾图像上传的时间信息以及当前的位置信息。
6.根据权利要求5所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S4具体包括：
S41.接收垃圾清运员连续两次上传的时间信息以及当前的位置信息，并判断连续两次上传的时间信息是否小于等于预设时间间隔阈值，且判断连续两次上传的位置信息是否小于等于预设位置距离阈值，若是，则记录垃圾清运员当前垃圾清运员上传的时间信息以及位置信息；
S42.接收垃圾清运员连续两次上传的重量信息，并判断连续两次上传的重量信息是否小于等于预设重量阈值，若是，则记录垃圾清运员当前垃圾清运员上传的重量信息；
S43.接收垃圾清运员连续两次上传的垃圾图像信息，并基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，判断所述数据得分是否小于等于预设对比度阈值，若是，则记录垃圾清运员当前垃圾清运员上传的图像信息。
7.根据权利要求6所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S4中判断垃圾清运员连续两次上传的数据信息是否为同一户的数据信息，其中判断的方式表示为：
P(T1-T2≤Δt)·P(M1-M2≤Δm)·P(S1-S2≤Δs)·P (N≤Δn)＝1
其中，T2表示连续两次上传的时间信息中第二次上传的时间信息；T1表示连续两次上传的时间信息中第一次上传的时间信息；Δt表示预设时间间隔阈值；M2表示连续两次上传的重量信息中第二次上传重量信息；M1表示连续两次上传的重量信息中第一次上传重量信息；Δm表示预设重量阈值；S2表示连续两次上传的位置信息第二次上传的位置信息；S1为连续两次上传的位置信息第一次上传的位置信息；Δs表示预设位置距离阈值；N表示计算的连续两次上传的垃圾图像信息中不同图像的数据得分；Δn表示预设对比度阈值；P函数内的表达式为真，则函数输出值为1；P函数内的表达式不为真，则函数输出值为0。
8.根据权利要求6所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S43中基于感知哈希算法计算连续两次上传的垃圾图像信息中不同图像的数据得分，具体包括：
B1.将接收到的垃圾图像信息中的图像缩小到8*8的尺寸，得到64个像素；
B2.将缩小后的图像转为64级灰度；
B3.计算转换为64级灰度的像素的灰度平均值；
B4.将每个像素的灰度与平均值进行比较，若像素的灰度大于或等于平均值，则记为1；若像素的灰度小于平均值，则记为0；
B5.将步骤B4中得到的结果组合在一起，得到一个64位的整数，即得到当前图像的指纹；
B6.当得到当前图像的指纹后，比较连续两次上传的垃圾图像信息中的图像，得到图像中不相同数据位数的得分，并判断数据位数的得分是否小于等于预设对比度阈值，若是，则得到连续两次上传的垃圾图像信息中的图像为相似图像。
9.根据权利要求4所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S1之后还包括：
S5.计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量以及一个月中村庄的易腐垃圾与其他垃圾的平均重量、最小重量、最大重量。
10.根据权利要求9所述的一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法，其特征在于，所述步骤S5中计算一个月中村庄各户的易腐垃圾与其他垃圾的平均重量，表示为：
其中，
表示一个月中村庄某户的易腐垃圾与其他垃圾的平均重量；t表示一个月的时间天数；a1表示一个月中第一天村庄某户的易腐垃圾与其他垃圾的重量；at表示一个月中最后一天村庄某户的易腐垃圾与其他垃圾的重量；
所述步骤S5中计算一个月中村庄的易腐垃圾与其他垃圾的平均重量，表示为：
其中，
表示一个月中村庄的易腐垃圾与其他垃圾的平均重量；l表示村庄的总户数；A1表示村庄第一户的易腐垃圾与其他垃圾的重量；Al表示村庄第l户的易腐垃圾与其他垃圾的重量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011435124.4A CN112508103B (zh) | 2020-12-10 | 2020-12-10 | 一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011435124.4A CN112508103B (zh) | 2020-12-10 | 2020-12-10 | 一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508103A true CN112508103A (zh) | 2021-03-16 |
| CN112508103B CN112508103B (zh) | 2024-06-04 |
Family
ID=74970504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011435124.4A Active CN112508103B (zh) | 2020-12-10 | 2020-12-10 | 一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508103B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743404A (zh) * | 2021-09-06 | 2021-12-03 | 中国计量大学 | 一种智能垃圾收运车垃圾图像分类方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010020575A (ja) * | 2008-07-11 | 2010-01-28 | Megumi Ishii | ゴミ捨て利用者がゴミの正確な分別を行う意識を促す装置 |
| CN109598303A (zh) * | 2018-12-03 | 2019-04-09 | 江西洪都航空工业集团有限责任公司 | 一种基于城市场景的垃圾检测方法 |
| CN109857007A (zh) * | 2018-12-04 | 2019-06-07 | 杭州电子科技大学 | 一种基于物联网技术的智能垃圾分类系统及工作方法 |
| CN109886564A (zh) * | 2019-01-29 | 2019-06-14 | 浙江力嘉电子科技有限公司 | 生活垃圾分类智能管理系统 |
| CN109948924A (zh) * | 2019-03-13 | 2019-06-28 | 浙江力嘉电子科技有限公司 | 农村生活垃圾收运员收运及时率和效率的考评系统 |
| US10402641B1 (en) * | 2019-03-19 | 2019-09-03 | Capital One Services, Llc | Platform for document classification |
| CN110473130A (zh) * | 2019-07-30 | 2019-11-19 | 五邑大学 | 一种基于深度学习的垃圾分类评价方法、装置和存储介质 |
| US20200034785A1 (en) * | 2018-07-27 | 2020-01-30 | The Heil Co. | Refuse contamination analysis |
| US20200039741A1 (en) * | 2018-08-03 | 2020-02-06 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for collecting garbage |
| CN111401370A (zh) * | 2020-04-13 | 2020-07-10 | 城云科技（中国）有限公司 | 一种垃圾图像识别及任务指派管理的方法，模型及系统 |
-
2020
- 2020-12-10 CN CN202011435124.4A patent/CN112508103B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010020575A (ja) * | 2008-07-11 | 2010-01-28 | Megumi Ishii | ゴミ捨て利用者がゴミの正確な分別を行う意識を促す装置 |
| US20200034785A1 (en) * | 2018-07-27 | 2020-01-30 | The Heil Co. | Refuse contamination analysis |
| US20200039741A1 (en) * | 2018-08-03 | 2020-02-06 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for collecting garbage |
| CN109598303A (zh) * | 2018-12-03 | 2019-04-09 | 江西洪都航空工业集团有限责任公司 | 一种基于城市场景的垃圾检测方法 |
| CN109857007A (zh) * | 2018-12-04 | 2019-06-07 | 杭州电子科技大学 | 一种基于物联网技术的智能垃圾分类系统及工作方法 |
| CN109886564A (zh) * | 2019-01-29 | 2019-06-14 | 浙江力嘉电子科技有限公司 | 生活垃圾分类智能管理系统 |
| CN109948924A (zh) * | 2019-03-13 | 2019-06-28 | 浙江力嘉电子科技有限公司 | 农村生活垃圾收运员收运及时率和效率的考评系统 |
| US10402641B1 (en) * | 2019-03-19 | 2019-09-03 | Capital One Services, Llc | Platform for document classification |
| CN110473130A (zh) * | 2019-07-30 | 2019-11-19 | 五邑大学 | 一种基于深度学习的垃圾分类评价方法、装置和存储介质 |
| CN111401370A (zh) * | 2020-04-13 | 2020-07-10 | 城云科技（中国）有限公司 | 一种垃圾图像识别及任务指派管理的方法，模型及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743404A (zh) * | 2021-09-06 | 2021-12-03 | 中国计量大学 | 一种智能垃圾收运车垃圾图像分类方法 |
| CN113743404B (zh) * | 2021-09-06 | 2023-06-30 | 中国计量大学 | 一种智能垃圾收运车垃圾图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508103B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Doshi et al. | Road damage detection using deep ensemble learning | |
| CN109657552B (zh) | 基于迁移学习实现跨场景冷启动的车型识别装置与方法 | |
| CN112801391B (zh) | 一种人工智能废钢扣杂评级方法及系统 | |
| CN110210635A (zh) | 一种能识别废弃物的智能分类回收系统 | |
| CN109919243A (zh) | 一种基于cnn的废钢铁种类自动识别方法及装置 | |
| CN114937179B (zh) | 垃圾图像分类方法、装置、电子设备及存储介质 | |
| CN206546593U (zh) | 生活垃圾智能分类回收云识别系统 | |
| CN112733936A (zh) | 一种基于图像识别的可回收垃圾分类方法 | |
| CN111186656A (zh) | 一种目标垃圾分类方法及智能垃圾桶 | |
| CN112881412B (zh) | 一种废钢产品中非金属异物检测方法 | |
| CN111507413A (zh) | 一种基于字典学习的城市管理案件图像识别方法 | |
| Ma et al. | Intelligent detection model based on a fully convolutional neural network for pavement cracks | |
| CN113743404A (zh) | 一种智能垃圾收运车垃圾图像分类方法 | |
| CN112508103B (zh) | 一种基于垃圾收运车的易腐垃圾图像识别与考核管理方法 | |
| CN112215147A (zh) | 垃圾投放位置的溯源方法、装置、设备及存储介质 | |
| CN111217062A (zh) | 一种基于边缘计算和深度学习的垃圾箱垃圾识别方法 | |
| CN113255550A (zh) | 一种基于视频的行人垃圾扔投次数统计方法 | |
| CN117372956A (zh) | 一种变电站屏柜设备状态检测方法及装置 | |
| CN116580233A (zh) | 一种用于工业垃圾分类的智能工作机器人控制系统 | |
| CN114882375A (zh) | 一种尾矿库智能识别方法和装置 | |
| CN115600087A (zh) | 一种基于光谱图像的固体废弃物识别方法 | |
| CN115601594A (zh) | 基于智能回收的视觉数据处理方法和系统 | |
| Wanwong et al. | Computer Vision Based Smart Bin for Waste Classification | |
| CN113369155A (zh) | 可再生垃圾废品识别检测及自动回收系统及方法 | |
| CN112435245A (zh) | 基于物联网的磁痕缺陷自动识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method for image recognition and assessment management of perishable waste based on garbage collection and transportation vehicles Granted publication date: 20240604 Pledgee: Hangzhou United Rural Commercial Bank Co.,Ltd. Dongxin sub branch Pledgor: ZHEJIANG INSLE ENVIRONMENTAL ENGINEERING Co.,Ltd. Registration number: Y2024980033624 |