CN116161357A - 智能网联垃圾箱系统及垃圾投放监控方法 - Google Patents

Abstract

本发明公开一种智能网联垃圾箱系统及垃圾投放监控方法，包括：垃圾箱设备、云服务设备和前端展示设备，垃圾箱设备包括：控制器、用于对垃圾的满箱率进行检测的超声装置、用于对行人进行检测的单线雷达、用于对垃圾箱的位置进行定位的GPS装置、用于对垃圾箱内情况进行影像采集的垃圾影像采集装置、用于对垃圾箱周围行人进行影像采集的行人影像采集装置、用于实现垃圾箱开关的箱盖驱动装置、用于实现数据存储的存储装置。本发明所公开的垃圾箱系统具有联网功能，利用云服务设备实现数据积累，收集垃圾箱数据一方面可以监控垃圾箱工作状态，另一方面提供数据给算法以帮助算法更好的进行训练，提升识别精度。

Description

智能网联垃圾箱系统及垃圾投放监控方法

技术领域

本发明属于智能垃圾箱技术领域，具体涉及一种智能网联垃圾箱系统及垃圾投放监控方法。

背景技术

随着科技的发展，智能垃圾箱也逐渐走入了万千小区，但是现有的智能垃圾箱具有以下问题：

第一，现有的智能垃圾箱系统没有网联功能，无法对垃圾箱数据进行精确的分析。

第二，现有的智能垃圾箱系统使用很简单的传感器和控制器来实现自动开关盖，但是检测精度受到很多因素影响，检测效果不稳定。

发明内容

为了解决上述技术问题，本发明提出了一种智能网联垃圾箱系统及垃圾投放监控方法。

为了达到上述目的，本发明的技术方案如下：

第一方面，本发明公开一种智能网联垃圾箱系统，包括：

垃圾箱设备，垃圾箱设备包括：控制器、用于对垃圾的满箱率进行检测的超声装置、用于对行人进行检测的单线雷达、用于对垃圾箱的位置进行定位的GPS装置、用于对垃圾箱内情况进行影像采集的垃圾影像采集装置、用于对垃圾箱周围行人进行影像采集的行人影像采集装置、用于实现垃圾箱开关的箱盖驱动装置、用于实现数据存储的存储装置，超声装置、单线雷达、GPS装置、垃圾影像采集装置、行人影像采集装置、箱盖驱动装置、存储装置分别与控制器通信连接，垃圾箱设备用于采集数据、分析数据并将其上传至云服务设备；

云服务设备，云服务设备与垃圾箱设备网络连接，用于对上传的垃圾箱的满箱率、GPS信息、垃圾箱内图像、行人图像进行分析；

前端展示设备，前端展示设备与云服务设备网络连接，用于实现数据展示。

第二方面，本发明公开一种智能网垃圾箱系统，该垃圾箱系统具有联网功能，利用云服务设备实现数据积累，收集垃圾箱数据一方面可以监控垃圾箱工作状态，另一方面提供数据给算法以帮助算法更好的进行训练，提升识别精度。

综上述，本发明公开一种高效、低成本、通用的智能网垃圾箱系统。

在上述技术方案的基础上，还可做如下改进：

作为优选的方案，云服务设备包括：主服务器以及分别与主服务器通讯连接的服务器和云服务器；

服务器用于实现垃圾识别，云服务器用于实现人脸检测。

采用上述优选的方案，服务器和云服务器各司其职，降低对服务器的处理压力。

作为优选的方案，服务器采用Yolov5模型进行垃圾识别；

Yolov5模型将时间轴上的前后两张图片进行对比和识别，去除重复部分，获取当前新垃圾的种类和位置。

采用上述优选的方案，有效减少了网络资源和服务端算力资源的浪费，处理速度快。

作为优选的方案，垃圾箱设备还包括：用于对垃圾箱进行照明的照明灯，和/或，用于对控制器进行降温的风扇；

照明灯和/或风扇分别与控制器通信连接。

采用上述优选的方案，照明灯可以根据控制器设定时间阈值对垃圾箱周围环境进行补光。风扇可以对控制器进行散热降温，延长控制器的使用寿命，避免控制器出现故障。

此外，另一方面，本发明还公开一种垃圾投放监控方法，利用上述任一种智能网联垃圾箱系统进行垃圾投放监控，具体包括以下步骤：

超声装置对垃圾的满箱率进行检测，单线雷达对行人进行检测，GPS装置对垃圾箱的位置进行定位、垃圾影像采集装置对垃圾箱内情况进行影像采集，行人影像采集装置对垃圾箱周围行人进行影像采集；

控制器对上述数据进行分析，并将垃圾箱的满箱率、GPS信息、垃圾箱内图像、行人图像发送至云服务设备；

云服务设备对上传的数据进行分析；

前端展示设备实现数据展示。

本发明公开一种智能网垃圾箱方法，利用云服务设备实现数据积累，收集垃圾箱数据一方面可以监控垃圾箱工作状态，另一方面提供数据给算法以帮助算法更好的进行训练，提升识别精度。

作为优选的方案，控制器通过以下步骤控制箱盖驱动装置动作，实现垃圾箱的开关：

控制器循环获取单线雷达的UDP报文；

将UDP报文解析成点云数据；

对每一圈点云数据进行筛选聚类；

聚类后计算出每一类的重心；

利用卡尔曼滤波进行多目标跟踪，对每个目标状态进行分析，判断其是否符合开盖条件，

若符合，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作。

采用上述优选的方案，具有良好的跟踪效果，且对控制器的处理要求较低。

作为优选的方案，用卡尔曼滤波进行多目标跟踪，对每个目标状态进行分析，判断其是否符合开盖条件，

若符合，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作；

具体包括以下内容：

用卡尔曼滤波进行多目标跟踪，对每一个跟踪目标进行状态分析；

判断该目标处于静止状态还是运动状态，

若处于静止状态，则进一步判断其与垃圾箱之间的距离是否符合小于距离阈值D1，

若小于，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作；

若处于运动状态，则进一步判断运动速度、运动方向以及与垃圾箱之间的距离，

若运动速度大于速度阈值、运动方向朝向垃圾箱方向、且与垃圾箱之间的距离小于距离阈值D2，D2＞D1，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作。

采用上述优选的方案，通过调整运动目标的检测距离，可以调整垃圾箱开盖反应速度。

作为优选的方案，在每次垃圾影像采集装置采集垃圾箱内图像后，控制器均需要进行图像去重处理，去除重复的垃圾箱内图像，具体包括以下步骤：

获取垃圾影像采集装置采集的垃圾箱内新图像；

获取超声装置采集的垃圾箱的新满箱率；

从存储装置获取垃圾箱内上一次图像和垃圾箱的上一次满箱率；

比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像。

采用上述优选的方案，避免因为控制器的误判造成箱盖的开关，导致处理这次上传数据对计算资源的浪费。进一步，对于包含两个或者多个垃圾桶的垃圾箱，每次开关盖并不一定所有垃圾桶都有投放垃圾，图片去重可以去掉没有投放垃圾的数据。

作为优选的方案，比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像；具体包括以下内容：

对比超声装置采集的满箱率变化是否大于阈值，

若大于，则垃圾箱有新垃圾投入；

否则，垃圾箱没有新垃圾投入，图像去重。

采用上述优选的方案，方法简单，对控制器的处理要求较低。

作为优选的方案，“比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像”中采用差异哈希算法进行图像对比，具体包括以下步骤：

对两张垃圾箱内图像进行预处理；

根据设置的图像块大小对两张垃圾箱内图像分别进行分割；

对于每张垃圾箱内图像，将所有图像块进行排序，靠近中心位置的图像块排在队列前面，形成两个图像块队列；

每次从两个图像块队列中分别提取一个图像块，计算对应的dHash值；

利用Hamming距离对比两个图像块dHash值之间的差异，判断Hamming距离是否大于阈值，

若大于，则两张垃圾箱内图像差异大，停止比较,垃圾箱有新垃圾投入；

否则，继续对比队列中的图像块的dHash值，直到队列为空，若所有图像块对比差异小，则垃圾箱没有新垃圾投入，图像去重。

与现有技术相比，本发明具有如下的有益效果：

1、现有智能垃圾箱在设计上通常使用很简单的传感器和控制器来实现自动开关盖，但是检测精度受到很多因素影响，检测效果不稳定，本申请采用超声装置、单线雷达、GPS装置、垃圾影像采集装置、行人影像采集装置、箱盖驱动装置、存储装置，可以大大提高检测精度，降低误检测的概率，提升用户体验；

2、利用图像去重算法，有效减少了网络资源和服务端算力资源的浪费，图像去重算法虽然实现上比较简单，但是有效利用了现有的系统特点，可以在处理速度和精度上实现很好的平衡；

3、本发明所公开的智能垃圾箱系统具有网联功能，数据积累对于当前技术发展有着不可替代的作用，收集垃圾箱数据一方面可以监控垃圾箱工作状态，另一方面提供数据给算法以帮助算法更好的进行训练，提升识别精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的智能网联垃圾箱系统的原理框图。

图2为本发明实施例提供的智能网联垃圾箱系统的程序初始化图。

图3为本发明实施例提供的智能网联垃圾箱系统的程序逻辑图。

图4为本发明实施例提供的云服务设备的原理图。

图5为本发明实施例提供的卡尔曼滤波多目标跟踪原理图。

图6为本发明实施例提供的运动状态分析原理图。

图7为本发明实施例提供的图像去重算法原理图。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

另外，“包括”元件的表述是“开放式”表述，该“开放式”表述仅仅是指存在对应的部件或步骤，不应当解释为排除附加的部件或步骤。

为了达到本发明的目的，一种智能网联垃圾箱系统及垃圾投放监控方法的其中一些实施例中，如图1所示，智能网联垃圾箱系统包括：

垃圾箱设备，垃圾箱设备包括：控制器、用于对垃圾的满箱率进行检测的超声装置、用于对行人进行检测的单线雷达、用于对垃圾箱的位置进行定位的GPS装置、用于对垃圾箱内情况进行影像采集的垃圾影像采集装置、用于对垃圾箱周围行人进行影像采集的行人影像采集装置、用于实现垃圾箱开关的箱盖驱动装置、用于实现数据存储的存储装置，超声装置、单线雷达、GPS装置、垃圾影像采集装置、行人影像采集装置、箱盖驱动装置、存储装置分别与控制器通信连接，垃圾箱设备用于采集数据、分析数据并将其上传至云服务设备；

云服务设备，云服务设备与垃圾箱设备网络连接，用于对上传的垃圾箱的满箱率、GPS信息、垃圾箱内图像、行人图像进行分析；

前端展示设备，前端展示设备与云服务设备网络连接，用于实现数据展示。

在一些具体实施例中，垃圾影像采集装置为USB相机，行人影像采集装置为RTSP(Real Time Streaming Protocol)相机，箱盖驱动装置为推杆。

本发明公开一种智能网垃圾箱系统，该垃圾箱系统具有联网功能，利用云服务设备实现数据积累，收集垃圾箱数据一方面可以监控垃圾箱工作状态，另一方面提供数据给算法以帮助算法更好的进行训练，提升识别精度。

综上述，本发明公开一种高效、低成本、通用的智能网垃圾箱系统。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，如图4所示，云服务设备包括：主服务器以及分别与主服务器通讯连接的服务器和云服务器；

服务器用于实现垃圾识别，云服务器用于实现人脸检测。

上述服务器和云服务器各司其职，降低对服务器的处理压力。

云服务设备主要是对上传数据进行分析，上传数据包括两部分：数字和图片。

数字部分主要是满箱率和GPS信息，通过web前端技术，可以直观查看垃圾箱目前的工作状态：离线/在线、地图上位置、垃圾装载率，进一步的可以通过对数据进行智能化的监控，发现异常数据则通知相关责任人进行现场排查。

图片部分主要是垃圾影像采集装置和行人影像采集装置拍摄图片，对图片的处理需要考虑实时性和准确性，人脸识别主要是用来检测画面中的人脸，并根据人脸检测框位置筛选出最有可能是投放垃圾的人，人脸数据库则是用来记录、搜索人脸特征向量，关于人脸相关的工作使用现有的云服务即可以满足业务需求；垃圾影像采集装置拍摄的是垃圾桶内垃圾画面，对其直接进行deep learning检测算法并不能解决垃圾分类检测的需求，原因来源于每次检测结果可能包含历史错误投递的垃圾，这是垃圾箱开关盖方案的系统特点，这里检测需要更细致的处理：

首先是检测类别问题，垃圾分类标准是比较细致的，但是小目标检测是没有太大意义的，所以在实际标注过程中，对于小目标(<16*16pixel)不进行标注。

制作数据集需要对数据进行清洗：删除完全没有正确投递的图片，或者完全正确投递的图片，完全没有正确投递的图片很多是无法区分边界的垃圾，给标注带来比较大的难度。

进一步，服务器采用Yolov5模型进行垃圾识别；

Yolov5模型将时间轴上的前后两张图片进行对比和识别，去除重复部分，获取当前新垃圾的种类和位置。

使用Yolov5模型进行训练，模型检测的结果需要添加后处理，查询对应垃圾桶最新的检测记录，然后循环遍历当前检测框与历史检测框的class以及IOU，如果class类型相同，并且IOU>Threshold，则当前检测物被判定为历史数据，反之则判定为新检测违规垃圾，将所有新检测违规垃圾转为json数据返回给服务器进行显示，将本次Yolov5模型检测结果更新到数据库，供下次检测使用。

采用Yolov5模型有效减少了网络资源和服务端算力资源的浪费，处理速度快。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，垃圾箱设备还包括：用于对垃圾箱进行照明的照明灯和用于对控制器进行降温的风扇；照明灯和风扇分别与控制器通信连接。

照明灯可以根据控制器设定时间阈值(或根据设置的光敏传感器)，对垃圾箱周围环境进行补光。风扇可以对控制器进行散热降温，延长控制器的使用寿命，避免控制器出现故障。进一步，可以增设温度传感器，控制器根据温度传感器检测其周围的温度，根据实时温度控制风扇进行散热，对于夏天温度较高的地区，散热是保证设备正常工作重要的措施。

利用照明灯进行照明,可以方便用户夜晚投放垃圾，进一步补充光照，提高行人影像采集装置拍摄图片的清晰度。

本发明实施例还公开一种垃圾投放监控方法，利用上述任一实施例公开的智能网联垃圾箱系统进行垃圾投放监控，具体包括以下步骤：

超声装置对垃圾的满箱率进行检测，单线雷达对行人进行检测，GPS装置对垃圾箱的位置进行定位、垃圾影像采集装置对垃圾箱内情况进行影像采集，行人影像采集装置对垃圾箱周围行人进行影像采集；

控制器对上述数据进行分析，并将垃圾箱的满箱率、GPS信息、垃圾箱内图像、行人图像发送至云服务设备；

云服务设备对上传的数据进行分析；

前端展示设备实现数据展示。

如图2-3所示，进一步，在进行监控前，需要对智能网联垃圾箱系统进行初始化。

垃圾箱设备初始化，检测各设备启动状态，对于运行异常的装置，日志记录并通过网络上传云服务设备。

设备初始化后，利用多线程技术，对需要独立长期运行的设备开启子线程，将设备运行的逻辑在子线程中实现，主线程则用来维护垃圾箱盖状态，实现自动开关盖。需要单独运行子线程的设备有照明灯、风扇、单线雷达、行人影像采集装置。

行人影像采集装置拍摄投递垃圾的行人，启动线程获取视频流并存放在存储装置(如：内存或硬盘)上，根据时间存放一定数量的视频流。当拍摄信号到来时，另起一个线程对合适的视频流文件进行抽帧并保存成图片。在投递垃圾过程中，由于摄像头是固定位置的，所以只有最开始行人靠近垃圾箱的过程中可能会获得比较好的人脸图片，后续则是俯拍以及背影，通过记录视频流文件队列，可以获得检测信号之前时刻的图片，提高人脸检测的准确率。

本发明公开一种智能网垃圾箱方法，利用云服务设备实现数据积累，收集垃圾箱数据一方面可以监控垃圾箱工作状态，另一方面提供数据给算法以帮助算法更好的进行训练，提升识别精度。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，控制器通过以下步骤控制箱盖驱动装置动作，实现垃圾箱的开关：

控制器循环获取单线雷达的UDP报文；

将UDP报文解析成点云数据；

对每一圈点云数据进行筛选聚类；

聚类后计算出每一类的重心；

利用卡尔曼滤波进行多目标跟踪，对每个目标状态进行分析，判断其是否符合开盖条件，

若符合，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作。

采用上述优选的方案，具有良好的跟踪效果，且对控制器的处理要求较低。

进一步，“用卡尔曼滤波进行多目标跟踪，对每个目标状态进行分析，判断其是否符合开盖条件，

若符合，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作；”具体包括以下内容：

用卡尔曼滤波进行多目标跟踪，对每一个跟踪目标进行状态分析；

判断该目标处于静止状态还是运动状态，

若处于静止状态，则进一步判断其与垃圾箱之间的距离是否符合小于距离阈值D1，

若小于，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作；

若处于运动状态，则进一步判断运动速度、运动方向以及与垃圾箱之间的距离，

若运动速度大于速度阈值、运动方向朝向垃圾箱方向、且与垃圾箱之间的距离小于距离阈值D2，D2＞D1，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作。

采用上述优选的方案，通过调整运动目标的检测距离，可以调整垃圾箱开盖反应速度。

单线雷达是实现垃圾箱智能开关盖功能的核心器件，在雷达子线程中不断获取UDP报文，将UDP报文解析成点云数据，对每一圈点云数据进行筛选聚类，聚类后计算出每一类的重心p，利用卡尔曼滤波进行多目标跟踪，对每个目标状态进行分析，符合开盖条件的话，则更新状态变量供主线程访问，关于聚类以及卡尔曼滤波主要算法流程如下：

Algorithm 1Proposed ClusteringAlgorithm.

Procedure Cluster(unlabelDataList)

while length(unlabelDataList)>0do

unlabelPoint<-unlabelDataList.front()

unlabelDataList.pop_front()

curPoint＝pointList.back()

distance＝EuclideanDistance(curPoint,unlabelPoint)

ifdistance>clusterThresh do

labelDataLists.push_back(pointList)

pointList.clear()

pointList.push_back(unlabelPoint)

iflength(pointList)do

labelDataLists.push_back(pointList)

return labelDataLists

end procedure

上述算法时间复杂度O(n)，空间复杂度O(n)，在《Connected Components for aFast and Robust 2D LIDAR Data Segmentation》的基础上简化了算法搜索连通域，一次遍历即可获得聚类结果，并且由于没有4(8)邻域搜索，内存访问效率更高，在运算力有限的嵌入式设备上可以获得更高的处理帧率，进而可以获得更好的跟踪效果。

对于卡尔曼滤波多目标跟踪：

SORT(Simple Online and Realtime Tracking)跟踪算法具有极高的效率，该算法由卡尔曼滤波算法和匈牙利算法组成。图5中的detection就是聚类的过程，将聚类点云的重心坐标(x,y)作为测量向量，(x_,y_,xv_,yv_)为状态向量，其中x_/y_是位置状态量，xv_/yv_是速度状态量。

对Matched Tracks进行状态分析，主要分析逻辑如图6所示。

对每一个跟踪目标进行状态分析，如果该目标处于静止状态，则判断是否符合检测距离阈值D1，满足则设置Status为True，主线程通过访问Status值判断是否开关盖；对于运动的目标，则需要计算其运动速度以及运动方向，进而判断目标是否是朝向垃圾箱运动，一方面判断目标的速度是否大于V2速度阈值，另一方面判断目标的运动角度是否朝向垃圾箱，如果进入检测范围D2(D2>D1)，则更新Status为True，通过调整运动目标的检测距离，可以调整垃圾箱开盖反应速度。

进一步，值得注意的是，建立垃圾箱盖的状态机，垃圾箱具有：close、closestill、open、open still四个状态，下面进行具体介绍。

Close状态，垃圾箱盖关闭的一刻进入Close状态，这个时候程序需要调用超声装置进行测距，并转换成满箱率；然后调用垃圾影像采集装置进行拍照，这个时候垃圾已经投递进垃圾桶内，所以拍摄桶内的画面可以知道垃圾箱内垃圾变化；然后拍摄完成后，需要对相机图片进行去重，下面对去重进行详细描述。

进行完上面的工作后，垃圾箱盖进入下一个状态：Close still。

Close still状态，垃圾箱进入持续关闭的状态，这个时候垃圾箱程序不断的检测按钮状态和雷达状态。如果按钮按下或者雷达检测的Status为True，垃圾箱进入Open状态。

Open状态，这个状态的垃圾箱启动垃圾影像采集装置拍摄，同时箱盖驱动装置开始工作，打开垃圾箱盖，然后垃圾箱状态变成Open still。

Open still状态，垃圾箱进入持续开启状态，程序不断轮询按钮状态和雷达检测状态，若在一定时间内没有检测到人，则垃圾箱盖关闭，否则垃圾箱更新开启时间，重新计时。

本发明利用状态机设计模式，对垃圾箱工作进行编程实现，实现逻辑上清晰合理，并且根据不同状态实现相关的功能，可以有效的利用控制器系统资源。

进一步，在每次垃圾影像采集装置采集垃圾箱内图像后，控制器均需要进行图像去重处理，去除重复的垃圾箱内图像，具体包括以下步骤：

获取垃圾影像采集装置采集的垃圾箱内新图像；

获取超声装置采集的垃圾箱的新满箱率；

从存储装置获取垃圾箱内上一次图像和垃圾箱的上一次满箱率；

比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像。

采用上述优选的方案，避免因为控制器的误判造成箱盖的开关，导致处理这次上传数据对计算资源的浪费。进一步，对于包含两个或者多个垃圾桶的垃圾箱，每次开关盖并不一定所有垃圾桶都有投放垃圾，图片去重可以去掉没有投放垃圾的数据。

下面介绍两种去重方法。

第一种，“比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像”具体包括以下内容：

对比超声装置采集的满箱率变化是否大于阈值，

若大于，则垃圾箱有新垃圾投入；

否则，垃圾箱没有新垃圾投入，图像去重。

采用上述优选的方案，方法简单，对控制器的处理要求较低。

第二种，“比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像”中采用差异哈希算法进行图像对比，如图7所示，具体包括以下步骤：

对两张垃圾箱内图像进行预处理；

根据设置的图像块大小对两张垃圾箱内图像分别进行分割；

对于每张垃圾箱内图像，将所有图像块进行排序，靠近中心位置的图像块排在队列前面，形成两个图像块队列；

每次从两个图像块队列中分别提取一个图像块，计算对应的dHash值；

利用Hamming距离对比两个图像块dHash值之间的差异，判断Hamming距离是否大于阈值，

若大于，则两张垃圾箱内图像差异大，停止比较,垃圾箱有新垃圾投入；

否则，继续对比队列中的图像块的dHash值，直到队列为空，若所有图像块对比差异小，则垃圾箱没有新垃圾投入，图像去重。

采用上述优选的方案，可以提高图像去重的精度。

值得注意的是，上述预处理对原始图片的尺寸进行处理，设置block size，blocksize*block size的图像块对应dhash resized image的一个像素。block size过大则差异检测灵敏度低，过小则计算量大、抗噪能力差。

每个image patch大小为block size*9x block size*8，按照patch的尺寸对图像进行分割，然后把所有的patch进行排序，靠近中心位置的patch排在队列前面。每次从patch队列中获取一个patch然后计算dHash值，然后对比前后两张图像块dHash值的差异，用Hamming距离来评估两个dHash值的差异。如果Hamming距离大于阈值，则两张图片差异较大，停止比较，反之继续对比队列中的patch，直到队列为空。

以上多种实施方式可交叉并行实现。

综上述，本发明公开一种智能网联垃圾箱及垃圾投放监控方法，具有以下有益效果：

第一，过往智能垃圾箱在设计上通常使用很简单的传感器和控制器来实现自动开关盖，但是检测精度受到很多因素影响，检测效果不稳定，本申请采用超声装置、单线雷达、GPS装置、垃圾影像采集装置、行人影像采集装置、箱盖驱动装置、存储装置，可以大大提高检测精度，降低误检测的概率，提升用户体验。

第二，利用图像去重算法，有效减少了网络资源和服务端算力资源的浪费，图像去重算法虽然实现上比较简单，但是有效利用了现有的系统特点，可以在处理速度和精度上实现很好的平衡。

第三，本发明所公开的智能垃圾箱系统具有网联功能，数据积累对于当前技术发展有着不可替代的作用，收集垃圾箱数据一方面可以监控垃圾箱工作状态，另一方面提供数据给算法以帮助算法更好的进行训练，提升识别精度。

第四，本发明本软件方案有着极好的可扩展性，围绕开关盖的功能展开整个软件开发，只要是开关盖的垃圾箱方案，都可以套用本方案进行扩展，以满足不同传感器、不同功能需求。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.智能网联垃圾箱系统，其特征在于，包括：

垃圾箱设备，所述垃圾箱设备包括：控制器、用于对垃圾的满箱率进行检测的超声装置、用于对行人进行检测的单线雷达、用于对垃圾箱的位置进行定位的GPS装置、用于对垃圾箱内情况进行影像采集的垃圾影像采集装置、用于对垃圾箱周围行人进行影像采集的行人影像采集装置、用于实现垃圾箱开关的箱盖驱动装置、用于实现数据存储的存储装置，所述超声装置、单线雷达、GPS装置、垃圾影像采集装置、行人影像采集装置、箱盖驱动装置、存储装置分别与控制器通信连接，所述垃圾箱设备用于采集数据、分析数据并将其上传至云服务设备；

云服务设备，所述云服务设备与垃圾箱设备网络连接，用于对上传的垃圾箱的满箱率、GPS信息、垃圾箱内图像、行人图像进行分析；

前端展示设备，所述前端展示设备与所述云服务设备网络连接，用于实现数据展示。

2.根据权利要求1所述的智能网联垃圾箱系统，其特征在于，所述云服务设备包括：主服务器以及分别与所述主服务器通讯连接的服务器和云服务器；

所述服务器用于实现垃圾识别，所述云服务器用于实现人脸检测。

3.根据权利要求2所述的垃圾投放监控方法，其特征在于，所述服务器采用Yolov5模型进行垃圾识别；

所述Yolov5模型将时间轴上的前后两张图片进行对比和识别，去除重复部分，获取当前新垃圾的种类和位置。

4.根据权利要求1-3任一项所述的智能网联垃圾箱系统，其特征在于，所述垃圾箱设备还包括：用于对垃圾箱进行照明的照明灯，和/或，用于对控制器进行降温的风扇；

所述照明灯和/或风扇分别与控制器通信连接。

5.垃圾投放监控方法，其特征在于，利用如权利要求1-4任一项所述的智能网联垃圾箱系统进行垃圾投放监控，具体包括以下步骤：

超声装置对垃圾的满箱率进行检测，单线雷达对行人进行检测，GPS装置对垃圾箱的位置进行定位、垃圾影像采集装置对垃圾箱内情况进行影像采集，行人影像采集装置对垃圾箱周围行人进行影像采集；

控制器对上述数据进行分析，并将垃圾箱的满箱率、GPS信息、垃圾箱内图像、行人图像发送至云服务设备；

云服务设备对上传的数据进行分析；

前端展示设备实现数据展示。

6.根据权利要求5所述的垃圾投放监控方法，其特征在于，所述控制器通过以下步骤控制箱盖驱动装置动作，实现垃圾箱的开关：

控制器循环获取单线雷达的UDP报文；

将UDP报文解析成点云数据；

对每一圈点云数据进行筛选聚类；

聚类后计算出每一类的重心；

利用卡尔曼滤波进行多目标跟踪，对每个目标状态进行分析，判断其是否符合开盖条件，

若符合，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作。

7.根据权利要求6所述的垃圾投放监控方法，其特征在于，

用卡尔曼滤波进行多目标跟踪，对每个目标状态进行分析，判断其是否符合开盖条件，

若符合，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作；

具体包括以下内容：

用卡尔曼滤波进行多目标跟踪，对每一个跟踪目标进行状态分析；

判断该目标处于静止状态还是运动状态，

若处于静止状态，则进一步判断其与垃圾箱之间的距离是否符合小于距离阈值D1，

若小于，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作；

若处于运动状态，则进一步判断运动速度、运动方向以及与垃圾箱之间的距离，

若运动速度大于速度阈值、运动方向朝向垃圾箱方向、且与垃圾箱之间的距离小于距离阈值D2，D2＞D1，则箱盖驱动装置动作，垃圾箱打开；

否则，不动作。

8.根据权利要求6所述的垃圾投放监控方法，其特征在于，在每次垃圾影像采集装置采集垃圾箱内图像后，控制器均需要进行图像去重处理，去除重复的垃圾箱内图像，具体包括以下步骤：

获取垃圾影像采集装置采集的垃圾箱内新图像；

获取超声装置采集的垃圾箱的新满箱率；

从存储装置获取垃圾箱内上一次图像和垃圾箱的上一次满箱率；

比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像。

9.根据权利要求8所述的垃圾投放监控方法，其特征在于，比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像；具体包括以下内容：

对比超声装置采集的满箱率变化是否大于阈值，

若大于，则垃圾箱有新垃圾投入；

否则，垃圾箱没有新垃圾投入，图像去重。

10.根据权利要求8所述的垃圾投放监控方法，其特征在于，“比较垃圾箱内图像的变化和/或满箱率的变化，判断垃圾箱内是否有新垃圾投入，去除重复图像”中采用差异哈希算法进行图像对比，具体包括以下步骤：

对两张垃圾箱内图像进行预处理；

根据设置的图像块大小对两张垃圾箱内图像分别进行分割；

对于每张垃圾箱内图像，将所有图像块进行排序，靠近中心位置的图像块排在队列前面，形成两个图像块队列；

每次从两个图像块队列中分别提取一个图像块，计算对应的dHash值；

利用Hamming距离对比两个图像块dHash值之间的差异，判断Hamming距离是否大于阈值，

若大于，则两张垃圾箱内图像差异大，停止比较,垃圾箱有新垃圾投入；

否则，继续对比队列中的图像块的dHash值，直到队列为空，若所有图像块对比差异小，则垃圾箱没有新垃圾投入，图像去重。

Images