CN113705638A - 一种移动车载式智能垃圾信息管理方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，提供一种移动车载式智能垃圾信息管理方法及系统，包括：在不能够识别出垃圾的种类的情况下，将投放的垃圾图片信息与预先存储的各垃圾图片信息进行匹配，若匹配不出同类别的垃圾图片信息，则存储其垃圾信息，并用于之后来判断垃圾是否投放成功；若匹配出同类别的垃圾图片信息，则根据预先存储的各垃圾图片信息对应的垃圾分类类别，对本次垃圾投放的正确性进行判断。本发明能够自适应更新数据库中的垃圾图片信息，在无需识别出垃圾具体种类的情况下，进而实现新增种类垃圾的分类结果的判断，泛化能力较高，评价可靠性较强。

Description

一种移动车载式智能垃圾信息管理方法及系统

技术领域

本发明涉及人工智能领域，具体涉及一种移动车载式智能垃圾信息管理方法及系统。

背景技术

随着经济高速发展，人们生活水平提高，垃圾也不可避免地越来越多，垃圾处理的方式主要为集中焚烧或掩埋，其使垃圾资源没有得到更好的利用，垃圾的利用效率低下，如果能够对垃圾进行识别和分类，充分利用其可回收性质，就能提高其资源利用率。

现有的智能垃圾分类方法主要对垃圾扫描图像通过深度学习等方式进行识别和分类，如专利公开号为CN108455127B的专利文件就公开了一种智能分类的垃圾桶等。但如今的垃圾种类越来越多，使得人工智能的数据库或训练集并不能完全覆盖，且由于垃圾各式各样，神经网络无法取得较好的泛化能力。

目前垃圾投放人员的分类意识还有待提高，对垃圾的分类还不够合理，时常会出现垃圾分类错误，使得垃圾资源得不到充分的利用，为了提高其分类准确率，使得垃圾资源能够得到更好的利用，需要对垃圾分类工作的结果可视化，使其能够对垃圾投放人员的工作做出评价。

发明内容

本发明的目的在于提供一种移动车载式智能垃圾信息管理方法及系统，用于解决随着垃圾种类的增多，现有的垃圾分类评判方法无法对垃圾分类效果进行可靠评判的问题。

为解决上述技术问题，本发明所采用的技术方案具体如下：

本发明提供了一种移动车载式智能垃圾管理方法，包括以下步骤：

对投放人员的身份信息进行识别，获取投放的垃圾图片信息和垃圾分类类别；

根据垃圾图片信息对垃圾种类进行识别，判断是否能够识别出垃圾的种类；

若不能够识别出垃圾的种类，则获取预先存储的各垃圾图片信息以及各垃圾图片信息各自对应的垃圾分类类别和垃圾分类置信度；

将投放的垃圾图片信息与预先存储的各垃圾图片信息进行匹配，判断是否匹配出同类别的垃圾图片信息；

若匹配不出同类别的垃圾图片信息，则为投放的垃圾图片信息设置一个初始的垃圾分类置信度设定阈值，并将投放的垃圾分类类别、垃圾图片信息及对应的初始的垃圾分类置信度设定阈值进行存储，且判断本次垃圾投放正确；

若匹配出同类别的垃圾图片信息，则判断匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度是否大于垃圾分类置信度设定阈值；

若大于垃圾分类置信度设定阈值，则判断投放的垃圾分类类别和匹配出的所述同类别的垃圾图片信息对应的垃圾分类类别是否相同；

若投放的垃圾分类类别和匹配出的所述同类别的垃圾图片信息对应的垃圾分类类别相同，则判断本次垃圾投放正确；否则，则判断本次垃圾投放错误。

进一步地，若投放的垃圾分类类别和匹配出的所述同类别的垃圾图片信息对应的垃圾分类类别相同，将增大匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度；若投放的垃圾分类类别和匹配出的所述同类别的垃圾图片信息对应的垃圾分类类别不相同，将减小匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度。

进一步地，所述增大匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度对应的公式为：

所述减小匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度对应的公式为：

其中，

为更新前的垃圾分类前置信度，

为更新后的垃圾分类置信度，

为记忆系数，设置为0.95。

进一步地，所述将投放的垃圾图片信息与预先存储的各垃圾图片信息进行匹配，判断是否匹配出同类别的垃圾图片信息的步骤包括：

对投放的垃圾图片信息进行处理，获得对应的形状特征、结构纹理特征和灰度纹理特征；

将获得的对应的形状特征、结构纹理特征和灰度纹理特征与预先存储的各垃圾图片信息对应的形状特征、结构纹理特征和灰度纹理特征一一对应分别进行相似度匹配，得到形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度；

根据形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度，得到最终的垃圾种类相似度；

若最终的垃圾种类相似度大于垃圾种类相似度设定阈值，则判定投放的垃圾图片信息与预先存储的垃圾图片信息是同类别的垃圾图片信息，否则判定投放的垃圾图片信息与预先存储的垃圾图片信息不是同类别的垃圾图片信息。

进一步地，所述对投放的垃圾图片信息进行处理，获得对应的形状特征、结构纹理特征和灰度纹理特征的步骤包括：

所述垃圾图片信息包括RGB垃圾图像和深度垃圾图像，根据RGB垃圾图像，获取灰度图像；

将深度垃圾图像作为引导图像，将RGB垃圾图像作为原始图像，进行引导滤波，得到输出图像，输出图像为形状特征；

将引导图像减去输出图像，得到结构纹理特征；

将原始图像减去输出图像，得到灰度纹理特征。

进一步地，所述根据形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度，得到最终的垃圾种类相似度的步骤包括：

将形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度进行加权求和，从而得到最终的垃圾种类相似度，其中，形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度对应的权值分别为第一权值、第二权值、第三权值。

进一步地，若最终的垃圾种类相似度大于垃圾种类相似度设定阈值，则确定形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度中的最小相似度，降低该最小相似度对应的权值，并对应增大其他两个相似度对应的权值。

进一步地，所述降低该最小相似度对应的权值对应的公式为：

对应增大其他两个相似度对应的权值对应的公式为：

其中，

为最小相似度对应的权值，

为最小相似度对应的权值降低后得到的权值，

为其他两个相似度加权求和的值，

、

为其他两个相似度对应的权值，

、

为其他两个相似度对应的权值增大后得到的权值，

、

为其他两个相似度。

进一步地，对投放人员的身份信息进行识别，并对投放人员在某一时间段内的分类工作给出对应的评价指标，评价指标的计算公式为：

为垃圾投放人员在某一时间段内的分类工作给出对应的评价指标，

为在某一时间段内同一投放人员垃圾分类正确的总次数，

为在某一时间段内同一投放人员垃圾分类的总次数。

本发明还提供了一种移动车载式智能垃圾管理系统，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现所述的移动车载式智能垃圾信息管理方法。

本发明具有如下有益效果：

本发明根据投放的垃圾图片信息与预先存储的各垃圾图片信息进行匹配，若匹配不出同类别的垃圾图片信息，就会把该投放的垃圾图片信息进行存储并用于下次投放垃圾图片信息的匹配，达到自我更新数据库；若匹配出同类别的垃圾图片信息，则在该预先存储垃圾图片信息的垃圾分类置信度较高的情况下，直接将该预先存储垃圾图片信息对应的垃圾分类类别作为分类正确的标准，进而对本次投放的垃圾分类类别的正确性进行判断，而无需识别出垃圾具体的种类。由于本发明可以随着垃圾种类的增多，自适应更新数据库中的垃圾图片信息，在无需识别出垃圾具体种类的情况下，进而实现新增种类垃圾的分类结果的判断，泛化能力较高，评价可靠性较强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明移动车载式智能垃圾信息管理方法的流程图；

图2为本发明移动车载式智能垃圾信息管理设备的俯视图；

图3为本发明移动车载式智能垃圾信息管理设备的仰视图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种移动车载式智能垃圾信息管理方法及设备，其具体实施方式、结构、特征及其功效，详细说明如下。

方法实施例：

本实施例提供了一种移动车载式智能垃圾信息管理方法，该方法对应的流程图如图1所示，该方法通过对垃圾投放人员的身份信息以及投放的垃圾图像信息进行识别，然后根据投放的垃圾图像信息并结合预先存储的垃圾图像信息及其对应的垃圾分类类别，对垃圾分类工作进行评价。该方法可以随着垃圾种类的增多，自适应更新数据库中的垃圾图片信息，在无需识别出垃圾具体种类的情况下，进而实现新增种类垃圾的分类结果的判断，泛化能力较高，评价可靠性较强。

为了实现该移动车载式智能垃圾信息管理方法，本实施例还提供了一种设备，该设备中设置有：RFID身份识别模块，垃圾影像抓拍模块，垃圾分类工作评价模块，垃圾称重模块。

其中，RFID身份识别模块：通过正视相机采集到的人员图像信息并输出至RFID识别子模块，同时，生成RFID触发信息来开启RFID识别子模块，RFID识别子模块将采集的人员图像进行识别，获取人员身份信息。

垃圾影像抓拍模块：通过俯视相机采集垃圾桶表面图像，提取其垃圾图片及垃圾类别信息。

垃圾分类工作评价模块：通过RFID身份识别模块获取垃圾投放人员的身份信息，并通过垃圾影像抓拍模块获取垃圾图片信息，进而对垃圾投放人员所做的垃圾分类工作进行评价。

垃圾称重模块：通过垃圾影像抓拍模块和设备上部署的电子称重装置相结合，通过图像感知简便地获取垃圾重量粗略数据。

该设备的俯视图和仰视图分别如图2和图3所示，该设备包括底部台面、竖立支撑面和顶部台面，该底部台面设置在地面上，上部用于放置垃圾桶。竖立支撑面的下部固定在底部台面的一侧边缘，其上部固定在连接顶部台面的一侧边缘、该底部台面和顶部台面平行设置，均位于竖立支撑面的同一侧。其中，为了获取垃圾投放人员的身份信息，该正视相机设置在设备竖立支撑面的面向垃圾箱方向的中部偏上的位置，通过将正视相机设置在该位置，在垃圾投放人员走向该设备的过程中，正视相机正好可以正对垃圾投放人员，以便对垃圾投放人员的人脸图像进行采集。为了能够获取其垃圾图片，该俯视相机设置在顶部台面的底部中央位置，在垃圾投放人员对垃圾进行投放的过程中，该俯视相机正好可以采集到垃圾桶内的垃圾图像信息。该设备中的各个模块相互连接，用于实现上述的移动车载式智能垃圾信息管理方法，包括以下步骤：

（1）对投放人员的身份信息进行识别，获取投放的垃圾图片信息和垃圾分类类别。

正视相机采集的人脸图像通过人体关键点检测网络进行处理，并由该网络输出热力图，其中热力图包含所识别的人体关键点，以左右肩部两关键点和人体中心关键点，三点构成三角形，以热力图为三角形内容，来表示人员的人体基本轮廓。这种通过采用三角形内容来表示人员的人体基本轮廓的方式，也就是采用图像（RGB图像）实现距离判断，有利于降低设备成本，无需深度相机。具体的，当人员朝本设备移动时，人体的基本轮廓图像面积会持续增大，为了确定该人员是否为垃圾投放人员，则设置正视相机采集速率为5帧/秒，以20帧作为时间阈值

，当人员的人体基本轮廓持续增大时长大于等于时间阈值

时，就判定有人员朝本设备移动，这时此设备就会生成RFID触发信息和语义分割网络调用信息。

语义分割网络调用信息用于调用语义分割网络，此部分内容会在步骤（2）中进行详细说明。

RFID触发信息传输至RFID识别子模块，用于开启该子模块，同时，正视相机将采集到人员的图像信息传输至RFID识别子模块，RFID识别子模块将接收到的人员图像信息与存储在芯片中的各个垃圾投放人员的身份图像信息进行匹配，从而可以判断出该人员是否为垃圾投放人员以及该垃圾投放人员的身份信息。

上述通过采用触发RFID设备进行垃圾投放人员身份信息的获取，能够减少系统功耗。另外，需要进行强调的是，这里的垃圾投放人员是指专门负责对垃圾进行分类的工作人员。为了获取投放的垃圾分类类别和垃圾图片信息，本设备在其顶部台面正对垃圾桶的位置设置俯视相机，此俯视相机为RGB-D相机，以俯视视角采集垃圾桶内垃圾表面图片。俯视相机提取垃圾投放人员手部垃圾信息，具体为，以人体手部关键点为中心，以垃圾桶投放口直径的1/2为半径生成圆形，圆形的并集设为第一感兴趣区域，此第一感兴趣区域为垃圾投放人员投放的垃圾图片信息，为了使获得的垃圾图片更加清晰，通过深度通道对垃圾桶内部图片进行帧间对比，当相邻两帧间的垃圾桶内部图片之间有差异时，说明此时为垃圾投放人员投放垃圾动作时间段，将该时间段之前的阶段称之为投放前平稳阶段，将该时间段之后的阶段称之为投放后平稳阶段 ，在投放前平稳阶段和投放后平稳阶段，代表垃圾桶内部垃圾无变化时间段。将两个平稳阶段内任选一组图像进行对比，可获取新放入垃圾桶内的垃圾图片信息，该垃圾图片信息包括RGB垃圾图像和深度垃圾图像。

另外，为了获取本次投放的垃圾分类类别，对投放前平稳阶段所获取的图像中的所有垃圾进行识别，并将所有垃圾中的绝大多数垃圾所对应的垃圾分类类别作为本次投放的垃圾分类类别。也就是说，在正常情况下，几乎大部分的垃圾都可以分类正确，因此我们可以将本次垃圾投放前该垃圾桶内的垃圾种类情况来判断该垃圾桶所对应的垃圾分类类别。而对投放前平稳阶段所获取的图像中的所有垃圾进行识别可以通过语义分割网络来实现，其具体实现过程属于现有技术，此处不再赘述。当然，作为其他的实施方式，也可以通过对垃圾桶进行编号，即每个垃圾桶都对应一个设定好的垃圾分类类别，这样在知道将垃圾投放到哪个垃圾桶的情况下，就直接可以知道本次投放对应的垃圾分类类别。

（2）根据垃圾图片信息对垃圾种类进行识别，判断是否能够识别出垃圾的种类。

其中，根据步骤（1）中此设备生成的语义分割网络调用信息，调用预先训练好的语义分割网络，通过语义分割网络对中获取的垃圾图片信息进行识别。此语义分割网络实质上是由神经网络所构成，该神经网络具有较多的开源数据集。通过语义分割网络进行像素级分类，语义分割网络训练时标签包含各类常见垃圾类别，用于初步识别。这里的各类常见垃圾类别包括塑料瓶、废纸、易拉罐等，仅包含常见垃圾类别的目的在于为避免语义分割的标注成本过大。由于由神经网络构成语义分割网络以及语义分割网络的训练过程均为公知技术，在此不再赘述。

若能够通过语义分割网络识别出垃圾的种类信息，则可以直接根据识别出来垃圾的种类信息以及垃圾投放人员投放的分类类别，判断本次垃圾投放是否正确。例如，若本次投放的垃圾为矿泉水瓶，通过语义分割网络识别出该垃圾为矿泉水瓶，若垃圾投放人员投放的垃圾桶为可回收垃圾桶，则说明本次垃圾投放正确，若垃圾投放人员投放的垃圾桶为有害垃圾桶，则本次垃圾投放不正确。若无法识别出垃圾的种类信息，就不清楚垃圾的种类，需要进一步的判断。

（3）若不能够识别出垃圾的种类，则获取预先存储的各垃圾图片信息以及各垃圾图片信息各自对应的垃圾分类类别和垃圾分类置信度。

其中，在语义分割网络无法识别出垃圾的种类的情况下，也即语义分割网络的训练集不够完备的情况下，此时为了对垃圾投放人员的分类情况进行判断，本实施例预先构建了一个数据库，该数据库预先存储了一些垃圾图片信息以及各垃圾图片信息各自对应的垃圾分类类别和垃圾分类置信度，当通过步骤（2）不能够识别出垃圾的种类时，该数据库会对投放的垃圾图片信息进行处理并存储。获取的预先存储的各垃圾图片信息包括RGB垃圾图像和深度垃圾图像。

（4）将投放的垃圾图片信息与预先存储的各垃圾图片信息进行匹配，判断是否匹配出同类别的垃圾图片信息。

其中，在匹配之前，需要先根据投放的垃圾图片信息获取本次投放垃圾所对应的形状特征、结构纹理特征和灰度纹理特征，获取步骤为：

通过投放的垃圾图片信息中的RGB垃圾图像获取灰度图像，将投放的垃圾图片信息中的深度垃圾图像作为引导图像，以灰度图像作为初始图像，才用引导滤波的方式对初始图像进行滤波，得到输出图像，输出图像为形状特征；引导滤波为现有技术，但采用深度图像引导灰度图像滤波方法在本发明中可取得较好的有益效果，其原因在于，对于深度图像，深度图像的形状边缘梯度较为明显，但却包含了许多纹理噪声，如矿泉水瓶；对于灰度图像，其形状边缘梯度相较于获取的图像表面颜色梯度更小，易于在阈值分割时被去除，采用引导滤波的方法可以在保留形状边缘的情况下尽可能让形状表面平滑，更加方便形状特征对比的准确性；再将引导图像减去输出图像，可得到表面结构纹理特征信息，作为结构纹理特征，将初始图像减去输出图像，通过局部二值模式（LBP算法）得到表面灰度纹理信息，作为灰度纹理特征。

同样的，根据预先存储的各垃圾图片信息，对应获取其对应的形状特征、结构纹理特征和灰度纹理特征，由于根据预先存储的各垃圾图片信息来获取三个特征的步骤与上述根据投放的垃圾图片来获取三个特征的步骤是一样，此处不再赘述。

在匹配前，将形状特征、结构纹理特征和灰度纹理特征设置权值

，并将其权值初始值均设置为1 /3，基于形状特征进行ROI（感兴趣区域）旋转，使其中一帧的图像中的ROI（感兴趣区域）旋转至与另一帧图像的形状特征图相似度最大，其度量方式采用余弦相似度，再对这三类的特征相似度进行加权求和，获得最终的相似度，此最终的相似度计算公式为：

由于形状特征、结构纹理特征和灰度纹理特征三类特征之间的相似度所占比重各不相同，以最终相似度来表征物体的三类特征相似度。其中，

为最终的相似度，

为形状特征相似度，

为结构特征相似度，

为灰度特征相似度。

若最终相似度大于等于垃圾种类相似度预设阈值，则判定投放的垃圾图片信息与预先存储的垃圾图片信息是同类别的垃圾图片信息，否则判定投放的垃圾图片信息与预先存储的垃圾图片信息不是同类别的垃圾图片信息。

（5）若匹配不出同类别的垃圾图片信息，则为投放的垃圾图片信息设置一个初始的垃圾分类置信度设定阈值，并将投放的垃圾分类类别、垃圾图片信息及对应的初始的垃圾分类置信度设定阈值进行存储，且判断本次垃圾投放正确。

也就是说，若垃圾图片信息匹配不出同类别的垃圾图片信息，说明此投放入垃圾桶的垃圾为数据库之外的垃圾，数据库并没有此类的垃圾图片信息，则需要设置初始垃圾分类置信度阈值为0.2，并将该垃圾的垃圾分类类别、垃圾图片信息及对应的初始的垃圾分类置信度阈值0.2进行存储，且判断本次垃圾投放正确。

（6）若匹配出同类别的垃圾图片信息，则判断匹配出的同类别的垃圾图片信息对应的垃圾分类置信度是否大于垃圾分类置信度设定阈值。

（7）若大于垃圾分类置信度设定阈值，则判断投放的垃圾分类类别和匹配出的同类别的垃圾图片信息对应的垃圾分类类别是否相同。

具体情况如下：

若投放的垃圾分类类别和匹配出的同类别的垃圾图片信息对应的垃圾分类类别相同，则判断本次垃圾投放正确。

另外，为了提高下一次垃圾投放结果的评判准确性，在投放的垃圾分类类别和匹配出的同类别的垃圾图片信息对应的垃圾分类类别相同的基础上，将增大匹配出的同类别的垃圾图片信息对应的垃圾分类置信度，公式为：

其中，

为更新前的垃圾分类前置信度，

为更新后的垃圾分类置信度，

为记忆系数，设置为0.95。

若投放的垃圾分类类别和匹配出的同类别的垃圾图片信息对应的垃圾分类类别不相同，则判断本次垃圾投放错误。

另外，为了提高下一次垃圾投放结果的评判准确性，在投放的垃圾分类类别和匹配出的同类别的垃圾图片信息对应的垃圾分类类别不相同的基础上，将减小匹配出的同类别的垃圾图片信息对应的垃圾分类置信度，公式为：

更新前的垃圾分类置信度与更新后的垃圾分类置信度成正比关系，其中，

为更新前的垃圾分类置信度，

为更新后的垃圾分类置信度，

为记忆系数，设置为0.95。

还需说明的是，若匹配出同类别的垃圾图片信息，则确定形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度中的最小相似度，更新该最小相似度对应的权值，使更新后的权值小于更新前的。在对垃圾相似度最小的特征图权值更新后，由于形状特征、结构纹理特征和灰度纹理特征权值分类为1/3，1/3，1/3，其总和为1，当最小相似度的权值减小时，就需要相应的增大另外两个权值。

例如，在匹配出同类别的垃圾图片信息的情况下，此时形状特征权值的取值最小，那么此时就需要对该形状特征权值进行更新，对应的更新方式为：

其中，

为需要更新的形状特征权值更新前的值，

为需要更新的形状特征权值更新后的值，

为其他两个相似度加权求和的值。

在形状特征权值更新后，相应的增大结构纹理特征和灰度纹理特征对应的权值，对应的公式为：

，

其中，

为结构特征图的相似度，

为灰度特征图的相似度，

为需更新的结构特征权值更新前的值，

为需更新的结构特征权值更新后的值，

为需更新的灰度特征权值更新前的值，

为需更新的灰度特征权值更新后的值。

通过以上权值更新的方式，优化了相似度计算过程中各特征图的权值，自适应的解决了同种垃圾某项特征数据不一致的情况，例如矿泉水瓶结构纹理可能本来就并不一致，则结构纹理相似度的权值会自适应下降，提高其判断的准确率。

（8）为了能更好地知道在一定时间内垃圾投放人员投放垃圾的准确率，对垃圾投放人员投放的垃圾结果进行反馈，则根据步骤（1）垃圾投放人员的身份信息提取，并对垃圾投放人员在某一时间段内的分类工作的结果给出对应的评价指标，评价指标的计算公式为：

若投放人员分类正确的总次数一定，则投放人员垃圾分类正确的总次数与投放人员的分类工作的评价指标成正比；若投放人员垃圾分类正确的总次数一定，则投放人员分类正确的总次数与投放人员的分类工作的评价指标成反比；因此，投放人员垃圾分类正确的总次数与投放人员垃圾分类总次数的比值函数为投放人员的分类工作的评价指标。其中，

为垃圾投放人员在某一时间段内的分类工作给出对应的评价指标，

为在某一时间段内同一投放人员垃圾分类正确的总次数，

为在某一时间段内同一投放人员垃圾分类的总次数。

另外，本设备的垃圾称重模块还可以直接根据图像感知垃圾重量粗略数据，该图像是由步骤（1）中设备的正视相机所获取的，当垃圾投放人员在投放垃圾之前获取连续多帧图像，在投放垃圾之后获取连续多帧图像，选取垃圾投放人员前后位置一致的图像进行对比，通过脚部中心关键点进行定位，以颈部关键点为垂点，作垂直于颈部关键点与人体中心点连线的垂线，以颈部关键点与肩部关键点连线与垂线之间夹角

表征人员在提取垃圾时手臂承重的变化情况，由于不同人员手臂力量不一致，所以对该差异进行模糊分级，分为四个级别，即将

等分位四个区间，则共有六个重量模糊级别，该级别用于后续重量粗略数据。

根据垃圾的重量模糊级别可与本设备在底部台面装置的电子称重装置相结合，通过电子称重装置实时获取垃圾的重量来为垃圾粗略重量信息提供参考值，便于直接通过图像感知投放垃圾重量的粗略数据，用于对仅仅设置有摄像头而没有设置本设备的其他垃圾站的垃圾重量进行粗略估计。

上述的移动车载式智能垃圾信息管理方法通过置信度迭代更新的方式，基于数据统计确定分类失败垃圾对应的分类类别，无需人为进行数据库或训练集更新；通过权值更新方式，优化相似度计算过程中各特征图的权值，自适应的解决了同种垃圾某项特征数据不一致的情况，例如矿泉水瓶结构纹理可能本来就并不一致，则结构纹理相似度的权值会自适应下降，提高判断准确率。

系统实施例：

本实施例提供了一种移动车载式智能垃圾信息管理系统，该系统包括处理器和存储器，该处理器用于处理存储在存储器中的指令，以实现上述方法实施例中的移动车载式智能垃圾信息管理方法。由于该移动车载式智能垃圾信息管理方法已经在方法实施例中进行了详细介绍，此处不再赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种移动车载式智能垃圾信息管理方法，其特征在于，包括以下步骤：

对投放人员的身份信息进行识别，获取投放垃圾图片信息和垃圾分类类别；

根据垃圾图片信息对垃圾种类进行识别，判断是否能够识别出垃圾的种类；

若不能够识别出垃圾的种类，则获取预先存储的各垃圾图片信息以及各垃圾图片信息各自对应的垃圾分类类别和垃圾分类置信度；

将投放的垃圾图片信息与预先存储的各垃圾图片信息进行匹配，判断是否匹配出同类别的垃圾图片信息；

若匹配不出同类别的垃圾图片信息，则为投放的垃圾图片信息设置一个初始的垃圾分类置信度设定阈值，并将投放的垃圾分类类别、垃圾图片信息及对应的初始的垃圾分类置信度设定阈值进行存储，且判断本次垃圾投放正确；

若匹配出同类别的垃圾图片信息，则判断匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度是否大于垃圾分类置信度设定阈值；

若大于垃圾分类置信度设定阈值，则判断投放的垃圾分类类别和匹配出的所述同类别的垃圾图片信息对应的垃圾分类类别是否相同；

若投放的垃圾分类类别和匹配出的所述同类别的垃圾图片信息对应的垃圾分类类别相同，则判断本次垃圾投放正确；否则，判断本次垃圾投放错误。

2.根据权利要求1所述的移动车载式智能垃圾信息管理方法，其特征在于，还包括：

若投放的垃圾分类类别和匹配出的所述同类别的垃圾图片信息对应的垃圾分类类别相同，将增大匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度；若投放的垃圾分类类别和匹配出的所述同类别的垃圾图片信息对应的垃圾分类类别不相同，将减小匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度。

3.根据权利要求2所述的移动车载式智能垃圾信息管理方法，其特征在于，所述增大匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度对应的公式为：

所述减小匹配出的所述同类别的垃圾图片信息对应的垃圾分类置信度对应的公式为：

其中，

为更新前的垃圾分类前置信度，

为更新后的垃圾分类置信度，

为记忆系数，设置为0.95。

4.根据权利要求1所述的移动车载式智能垃圾信息管理方法，其特征在于，所述将投放的垃圾图片信息与预先存储的各垃圾图片信息进行匹配，判断是否匹配出同类别的垃圾图片信息的步骤包括：

对投放的垃圾图片信息进行处理，获得对应的形状特征、结构纹理特征和灰度纹理特征；

将获得的对应的形状特征、结构纹理特征和灰度纹理特征与预先存储的各垃圾图片信息对应的形状特征、结构纹理特征和灰度纹理特征一一对应分别进行相似度匹配，得到形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度；

根据形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度，得到最终的垃圾种类相似度；

若最终的垃圾种类相似度大于垃圾种类相似度设定阈值，则判定投放的垃圾图片信息与预先存储的垃圾图片信息是同类别的垃圾图片信息，否则判定投放的垃圾图片信息与预先存储的垃圾图片信息不是同类别的垃圾图片信息。

5.根据权利要求4所述的移动车载式智能垃圾信息管理方法，其特征在于，所述对投放的垃圾图片信息进行处理，获得对应的形状特征、结构纹理特征和灰度纹理特征的步骤包括：

所述垃圾图片信息包括RGB垃圾图像和深度垃圾图像，根据RGB垃圾图像，获取灰度图像；

将深度垃圾图像作为引导图像，将RGB垃圾图像作为原始图像，进行引导滤波，得到输出图像，输出图像为形状特征；

将引导图像减去输出图像，得到结构纹理特征；

将原始图像减去输出图像，得到灰度纹理特征。

6.根据权利要求4或5所述的所述的移动车载式智能垃圾信息管理方法，其特征在于，所述根据形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度，得到最终的垃圾种类相似度的步骤包括：

将形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度进行加权求和，从而得到最终的垃圾种类相似度，其中，形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度对应的权值分别为第一权值、第二权值、第三权值。

7.根据权利要求6所述的移动车载式智能垃圾信息管理方法，其特征在于，还包括：若最终的垃圾种类相似度大于垃圾种类相似度设定阈值，则确定形状特征相似度、结构纹理特征相似度和灰度纹理特征相似度中的最小相似度，降低该最小相似度对应的权值，并对应增大其他两个相似度对应的权值。

8.根据权利要求7所述的移动车载式智能垃圾信息管理方法，其特征在于，所述降低该最小相似度对应的权值对应的公式为：

对应增大其他两个相似度对应的权值对应的公式为：

其中，

为最小相似度对应的权值，

为最小相似度对应的权值降低后得到的权值，

为其他两个相似度加权求和的值，

、

为其他两个相似度对应的权值，

、

为其他两个相似度对应的权值增大后得到的权值，

、

为其他两个相似度。

9.根据权利要求1所述的移动车载式智能垃圾信息管理方法，其特征在于，还包括：对投放人员的身份信息进行识别，并对投放人员在某一时间段内的分类工作给出对应的评价指标，评价指标的计算公式为：

为垃圾投放人员在某一时间段内的分类工作给出对应的评价指标，

为在某一时间段内同一投放人员垃圾分类正确的总次数，

为在某一时间段内同一投放人员垃圾分类的总次数。

10.一种移动车载式智能垃圾信息管理系统，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现如权利要求1-9中任一项所述的移动车载式智能垃圾信息管理方法。

Images