CN114229279B - 一种能够实现垃圾分类行为监管的智能垃圾房 - Google Patents

Abstract

本发明提出了一种能够实现垃圾分类行为监管的智能垃圾房，包括设置在各垃圾房内的数据采集侧以及设置在云端的数据处理侧和数据应用侧，其中，数据采集侧实时采集垃圾投放人的投放行为，通过数据处理侧识别垃圾投放人的身份、投放行为以及实际的垃圾分类情况，在数据应用侧对垃圾投放分类情况进行评价，并对垃圾投放人以户为单位进行评价，从而能够有效的完成精准宣教工作。

Description

一种能够实现垃圾分类行为监管的智能垃圾房

技术领域

本发明涉及人工智能领域，尤其是涉及一种能够实现垃圾分类行为监管的智能垃圾房。

背景技术

城市生活垃圾分类是城市文明的象征，是生活垃圾减量化、无害化、资源化的重要手段之一。随着工业化、城镇化进程的加快，我国对生活垃圾分类回的重视程度越来越高，国务院于2017年3月18日发布了《生活垃圾分类制度实施方案》，2019年公开了《在全国地级及以上城市全面开展生活垃圾分类工作的通知》对全国垃圾分类体系、进程、责任主体、政府责任进行了规划建设。

“因地制宜开展垃圾分类工作”是实施生态文明建设的重要组成部分。各城市在生活垃圾分类工作推进过程中，大多通过以下几种方式收集居民的投放记录：

1.垃圾分类工作人员人工及记录的方式，通过询问居民获取住户信息，然后记录评价结果；

2.通过安装智能设备，居民通过刷卡、扫码、人脸识别等方式获取住户信息，工作人员通过信息系统评价自动上传数据。

在收集居民投放记录之后，人工筛选出分类质量较差的，然后进行上门宣教，这是目前垃圾分类运营过程的常规措施。

发明内容

为解决上述问题，本发明提出了一种能够实现垃圾分类行为监管的智能垃圾房。

本发明的主要内容包括：

一种能够实现垃圾分类行为监管的智能垃圾房，包括：

数据应用侧，设置在云端；所述数据应用侧包括用户信息管理模块以及宣讲推送模块，所述用户信息管理模块包括用户基础信息单元以及垃圾投放行为评价单元；所述垃圾投放行为评价单元对用户的垃圾投放行为进行评价，并将评价结果用于更新用户的基础信息；所述宣讲推送模块用于根据所述垃圾投放行为评价单元的评价结果向用户自动推送相应的宣讲课程，同时记录用户学习的结果；

数据采集侧，设置在垃圾房内，通过采集用户的垃圾投送行为，为数据应用侧提供数据来源；

数据处理侧，设置在云端；所述数据处理侧接收所述数据采集侧采集到的图像或者视频数据，通过人脸识别获取垃圾投放人的用户信息，且通过改进的ResNet网络对用户投放的垃圾图像进行分类，并将分类结果传输至所述垃圾投放行为评价单元。

优选的，所述数据处理侧包括数据接收模块、人脸识别模块和垃圾信息分类模块；所述数据接收模块接收所述数据采集侧传输的图像或者视频数据；通过图像分块分别获得人物图像和垃圾图像，将人物图像发送至人脸识别模块，将垃圾图像发送至垃圾信息分类模块；所述人脸识别模块提取人物图像中的特征信息，通过与所述用户信息管理模块的用户基础信息单元的数据进行比较，确认垃圾投放人的身份信息；所述垃圾信息分类模块包括垃圾投放行为识别单元以及垃圾分类识别单元；所述垃圾投放行为单元用于识别用户将垃圾投入垃圾回收箱的行为，并将识别结果发送至所述垃圾投放行为评价单元；所述垃圾分类识别单元通过改进的ResNet网络对用户投入至垃圾回收箱内的垃圾图像进行特征提取，经图像分类器进行图像分类，并将分类结果发送至所述垃圾投放行为评价单元。

优选的，所述垃圾信息分类模块通过改进的ResNet网络对垃圾图像进行特征提取包括如下步骤：

创建改进的ResNet网络模型：所述改进的ResNet网络包括第一残差块、第二残差块、第三残差块和第四残差块，其中，通过向下采样将所述第一残差块的特征信息输出至第三残差块的输入端、第四残差块的输入和输出端；通过向下采样将ResNet网络的第二残差块的特征信息输出至第四残差块的输入端和输出端；通过向下采样将第三残差块的特征信息输出至第四残差块的输出端；

将垃圾图像输入改进的ResNet网络模型内，进行特征提取。

优选的，将垃圾图像输入改进的ResNet网络前还包括对垃圾图像的预处理步骤；对垃圾图像的预处理步骤为：对垃圾图像进行多条路线的卷积操作，然后将结果融合。

优选的，对垃圾图像进行多条路线的卷积操作的具体步骤如下：

执行第一路线卷积操作：执行一个卷积核1*1卷积操作；

执行第二路线卷积操作，执行两个卷积操作，卷积核分别为1*1、3*3；

执行第三路线卷积操作，执行三个卷积操作，卷积核分别为1*1、3*3、3*3；

多特征融合：对执行第一路线卷积操作的第一输出结果、执行第二路线卷积操作的第二输出结果、执行第三路线卷积操作的第三输出结果进行卷积核为4*4的卷积操作。

优选的，改进的ResNet网络使用如下激活函数：

其中，g(x)＝x·ln(e^x+1)/(1+|ln(e^x+1)|),x∈(-∞,+∞)，设x_m+1，x_m+2,，……x_n为(n-m)个正整数，其将[0,+∞]，分隔为(n-m)个子区间，则每个子区间分段中g(x)-h(x)均表示一个线性函数，其中k_n和k_m+1表示相应分段线性函数的斜率，为常数；b_m+1和b_n表示相应分段线性函数的截距。

优选的，所述用户基础信息单元包括用户姓名、住所地址、垃圾投放频率以及个人投放等级、户投放等级；所述垃圾投放行为评价单元根据所述垃圾分类识别单元的分类结果和所述垃圾投放行为单元的识别结果的对比，对用户的投放行为进行评价，且根据评价结果更新用户基础信息单元中的个人投放等级以及户投放等级。

优选的，还包括告警模块，所述告警模块与所述人脸识别模块以及垃圾信息分类模块、所述用户基础信息单元、所述垃圾投放行为评价单元连接。

优选的，当人脸识别模块无法确认垃圾投放人的身份信息时，所述告警模块提醒垃圾投放人通过设置在垃圾房内的终端刷卡或者录入身份信息，直到确认垃圾投放人的身份信息时打开垃圾投放箱；

当所述垃圾投放行为识别单元识别到垃圾投放人未将垃圾投放入相应的垃圾投放箱，所述告警模块发出提醒后，若垃圾投放人仍未将投放，则传输至所述垃圾投放行为评价单元。

优选的，当用户基础信息单元的个人投放等级、户投放等级超出预设值，所述告警模块将用户信息推送至管理人员处，由管理人员根据等级进行处置；

或者当所述垃圾分类识别单元的垃圾分类结果判定为危险时，由所述告警模块告知管理人员介入处置。

本发明的有益效果在于：本发明提出了一种能够实现垃圾分类行为监管的智能垃圾房，通过设置在垃圾房内的数据采集侧实时采集垃圾投放人的投放行为，通过数据处理侧识别垃圾投放人的身份、投放行为以及实际的垃圾分类情况，在数据应用侧对垃圾投放分类情况进行评价，并对垃圾投放人以户为单位进行评价，从而能够有效的完成精准宣教工作。

附图说明

图1为本发明的整体功能框图；

图2为改进的ResNet网络的结构示意图。

具体实施方式

以下结合附图对本发明所保护的技术方案做具体说明。

一种能够实现垃圾分类行为监管的智能垃圾房，能够真实、客观的记录垃圾投放者的投放行为，对垃圾分类的质量进行评测，以户为单位进行监管，从而能够根据日常的垃圾投放行为和质量进行有针对性的宣讲，进一步保证了垃圾分类开展的效果。

本发明提出的智能垃圾房包括分散在各个小区内的硬件部分以及布设在云端的软件部分，其中，硬件部分用于实现数据的采集，而软件部分用于对采集的数据进行计算和分析，从而能够精准的开展宣教工作。

具体地，该硬件部分除了必要的建筑外，还包括用于收集各类垃圾的垃圾收集箱以及数据采集侧，数据采集侧包括用于采集用户投放行为的设备以及用于采集垃圾信息的设备，采集垃圾投放行为的设备可以设置在垃圾房的投放处，用于获取垃圾投放人的身份和投递行为，作为评价垃圾分类质量的一个方面；即通过采集用户的垃圾投送行为，为数据应用侧提供数据来源。

而所述数据处理侧，设置在云端；所述数据处理侧接收所述数据采集侧采集到的图像或者视频数据，一方面通过人脸识别获取垃圾投放人的用户信息，另一方面通过改进的ResNet网络对用户投放的垃圾图像进行分类，并将分类结果传输至所述垃圾投放行为评价单元，以评价分类的质量。

具体地，设置在各个垃圾房建筑内的数据采集设备，包括摄像头，但不限于摄像头，还可以包括各类传感器，如用于感测人员到来以及垃圾重量等信息的各类传感器，数据处理侧包括数据接收模块、人脸识别模块和垃圾信息分类模块；所述数据接收模块接收所述数据采集侧传输的图像或者视频数据；一方面通过图像分块分别获得人物图像和垃圾图像，将人物图像发送至人脸识别模块，将垃圾图像发送至垃圾信息分类模块；其中，所述人脸识别模块提取人物图像中的特征信息，通过与所述用户信息管理模块的用户基础信息单元的数据进行比较，确认垃圾投放人的身份信息；而所述垃圾信息分类模块包括垃圾投放行为识别单元以及垃圾分类识别单元；所述垃圾投放行为单元用于识别用户将垃圾投入垃圾回收箱的行为，并将识别结果发送至所述垃圾投放行为评价单元；所述垃圾分类识别单元通过改进的ResNet网络对用户投入至垃圾回收箱内的垃圾图像进行特征提取，经图像分类器进行图像分类，并将分类结果发送至所述垃圾投放行为评价单元。

进一步地，所述垃圾信息分类模块通过改进的ResNet网络对垃圾图像进行特征提取包括如下步骤：

创建改进的ResNet网络模型：所述改进的ResNet网络包括第一残差块、第二残差块、第三残差块和第四残差块，其中，通过向下采样将所述第一残差块的特征信息输出至第三残差块的输入端、第四残差块的输入和输出端；通过向下采样将ResNet网络的第二残差块的特征信息输出至第四残差块的输入端和输出端；通过向下采样将第三残差块的特征信息输出至第四残差块的输出端；

将垃圾图像输入改进的ResNet网络模型内，进行特征提取。

优选的，将垃圾图像输入改进的ResNet网络前还包括对垃圾图像的预处理步骤；对垃圾图像的预处理步骤为：对垃圾图像进行多条路线的卷积操作，然后将结果融合。

优选的，对垃圾图像进行多条路线的卷积操作的具体步骤如下：

执行第一路线卷积操作：执行一个卷积核1*1卷积操作；

执行第二路线卷积操作，执行两个卷积操作，卷积核分别为1*1、3*3；

执行第三路线卷积操作，执行三个卷积操作，卷积核分别为1*1、3*3、3*3；

多特征融合：对执行第一路线卷积操作的第一输出结果、执行第二路线卷积操作的第二输出结果、执行第三路线卷积操作的第三输出结果进行卷积核为4*4的卷积操作。

优选的，改进的ResNet网络使用如下激活函数：

其中，g(x)＝x·ln(e^x+1)/(1+|ln(e^x+1)|),x∈(-∞,+∞)，设x_m+1，x_m+2,，……x_n为(n-m)个正整数，其将[0,+∞]，分隔为(n-m)个子区间，则每个子区间分段中g(x)-h(x)均表示一个线性函数，其中k_n和k_m+1表示相应分段线性函数的斜率，为常数；b_m+1和b_n表示相应分段线性函数的截距。

在其中一个实施例中，所述用户基础信息单元包括用户姓名、住所地址、垃圾投放频率以及个人投放等级、户投放等级；所述垃圾投放行为评价单元根据所述垃圾分类识别单元的分类结果和所述垃圾投放行为单元的识别结果的对比，对用户的投放行为进行评价，且根据评价结果更新用户基础信息单元中的个人投放等级以及户投放等级。

而所述数据应用侧，设置在云端；具体地，所述数据应用侧包括用户信息管理模块以及宣讲推送模块，其中，所述用户信息管理模块包括用户基础信息单元以及垃圾投放行为评价单元；所述垃圾投放行为评价单元对用户的垃圾投放行为进行评价，并将评价结果用于更新用户的基础信息；所述宣讲推送模块用于根据所述垃圾投放行为评价单元的评价结果向用户自动推送相应的宣讲课程，同时记录用户学习的结果，用于描述用户，帮助更加有效的开展宣讲工作，如学习的次数较多，但分类效果仍不理想，将会影响该用户的评级，提醒相关人员介入采用更进一步地的宣讲，包括上门指导等，或者计入用户的信用体系。

此外，所述数据应用侧还包括告警模块，所述告警模块与所述人脸识别模块以及垃圾信息分类模块、所述用户基础信息单元、所述垃圾投放行为评价单元连接，其可以根据作用的不同一部分设置在各个垃圾房内，而另一部分设置在云端。

具体地，当人脸识别模块无法确认垃圾投放人的身份信息时，所述告警模块提醒垃圾投放人通过设置在垃圾房内的终端刷卡或者录入身份信息，直到确认垃圾投放人的身份信息时打开垃圾投放箱；这一部分的功能可以通过设置在各个垃圾房内的智能盒子完成；同样地，当所述垃圾投放行为识别单元识别到垃圾投放人未将垃圾投放入相应的垃圾投放箱，所述告警模块发出提醒后，若垃圾投放人仍未将投放，则传输至所述垃圾投放行为评价单元，这部分也可以由设置在各个垃圾房内的智能盒子完成。

而当用户基础信息单元的个人投放等级、户投放等级超出预设值，所述告警模块将用户信息推送至管理人员处，由管理人员根据等级进行处置；或者当所述垃圾分类识别单元的垃圾分类结果判定为危险时，由所述告警模块告知管理人员介入处置，这部分可以设置在云端。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，包括：

数据应用侧，设置在云端；所述数据应用侧包括用户信息管理模块以及宣讲推送模块，所述用户信息管理模块包括用户基础信息单元以及垃圾投放行为评价单元；所述垃圾投放行为评价单元对用户的垃圾投放行为进行评价，并将评价结果用于更新用户的基础信息；所述宣讲推送模块用于根据所述垃圾投放行为评价单元的评价结果向用户自动推送相应的宣讲课程，同时记录用户学习的结果；

数据采集侧，设置在垃圾房内，通过采集用户的垃圾投送行为，为数据应用侧提供数据来源；

数据处理侧，设置在云端；所述数据处理侧接收所述数据采集侧采集到的图像或者视频数据，通过人脸识别获取垃圾投放人的用户信息，且通过改进的ResNet网络对用户投放的垃圾图像进行分类，并将分类结果传输至所述垃圾投放行为评价单元；

改进的ResNet网络使用如下激活函数：

其中，g(x)＝x·ln(e^x+1)/(1+|ln(e^x+1)|)，x∈(-∞，+∞)，设x_m+1，x_m+2，......x_n为(n-m)个正整数，其将[0，+∞]，分隔为(n-m)个子区间，则每个子区间分段中g(x)-h(x)均表示一个线性函数，其中k_n和k_m+1表示相应分段线性函数的斜率，为常数；b_m+1和b_n表示相应分段线性函数的截距。

2.根据权利要求1所述的一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，所述数据处理侧包括数据接收模块、人脸识别模块和垃圾信息分类模块；所述数据接收模块接收所述数据采集侧传输的图像或者视频数据；通过图像分块分别获得人物图像和垃圾图像，将人物图像发送至人脸识别模块，将垃圾图像发送至垃圾信息分类模块；所述人脸识别模块提取人物图像中的特征信息，通过与所述用户信息管理模块的用户基础信息单元的数据进行比较，确认垃圾投放人的身份信息；所述垃圾信息分类模块包括垃圾投放行为识别单元以及垃圾分类识别单元；所述垃圾投放行为单元用于识别用户将垃圾投入垃圾回收箱的行为，并将识别结果发送至所述垃圾投放行为评价单元；所述垃圾分类识别单元通过改进的ResNet网络对用户投入至垃圾回收箱内的垃圾图像进行特征提取，经图像分类器进行图像分类，并将分类结果发送至所述垃圾投放行为评价单元。

3.根据权利要求2所述的一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，所述垃圾信息分类模块通过改进的ResNet网络对垃圾图像进行特征提取包括如下步骤：

创建改进的ResNet网络模型：所述改进的ResNet网络包括第一残差块、第二残差块、第三残差块和第四残差块，其中，通过向下采样将所述第一残差块的特征信息输出至第三残差块的输入端、第四残差块的输入和输出端；通过向下采样将ResNet网络的第二残差块的特征信息输出至第四残差块的输入端和输出端；通过向下采样将第三残差块的特征信息输出至第四残差块的输出端；

将垃圾图像输入改进的ResNet网络模型内，进行特征提取。

4.根据权利要求3所述的一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，将垃圾图像输入改进的ResNet网络前还包括对垃圾图像的预处理步骤；对垃圾图像的预处理步骤为：对垃圾图像进行多条路线的卷积操作，然后将结果融合。

5.根据权利要求4所述的一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，对垃圾图像进行多条路线的卷积操作的具体步骤如下：

执行第一路线卷积操作：执行一个卷积核1*1卷积操作；

执行第二路线卷积操作，执行两个卷积操作，卷积核分别为1*1、3*3；

执行第三路线卷积操作，执行三个卷积操作，卷积核分别为1*1、3*3、3*3；

多特征融合：对执行第一路线卷积操作的第一输出结果、执行第二路线卷积操作的第二输出结果、执行第三路线卷积操作的第三输出结果进行卷积核为4*4的卷积操作。

6.根据权利要求2所述的一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，所述用户基础信息单元包括用户姓名、住所地址、垃圾投放频率以及个人投放等级、户投放等级；所述垃圾投放行为评价单元根据所述垃圾分类识别单元的分类结果和所述垃圾投放行为单元的识别结果的对比，对用户的投放行为进行评价，且根据评价结果更新用户基础信息单元中的个人投放等级以及户投放等级。

7.根据权利要求6所述的一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，还包括告警模块；所述告警模块与所述人脸识别模块以及垃圾信息分类模块、所述用户基础信息单元、所述垃圾投放行为评价单元和宣讲推送模块连接。

8.根据权利要求7所述的一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，当人脸识别模块无法确认垃圾投放人的身份信息时，所述告警模块提醒垃圾投放人通过设置在垃圾房内的终端刷卡或者录入身份信息，直到确认垃圾投放人的身份信息时打开垃圾投放箱；

当所述垃圾投放行为识别单元识别到垃圾投放人未将垃圾投放入相应的垃圾投放箱，所述告警模块发出提醒后，若垃圾投放人仍未将投放，则传输至所述垃圾投放行为评价单元。

9.根据权利要求7所述的一种能够实现垃圾分类行为监管的智能垃圾房，其特征在于，当用户基础信息单元的个人投放等级、户投放等级超出预设值，所述告警模块将用户信息推送至管理人员处，由管理人员根据等级进行处置；

或者当所述垃圾分类识别单元的垃圾分类结果判定为危险时，由所述告警模块告知管理人员介入处置。

Images