CN114476435A - 虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法 - Google Patents

Abstract

本发明提出了一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法。首先，给出翻板式垃圾箱的基本组成结构，然后通过基于深度学习的目标检测算法和翻板式机构实现垃圾的智能识别、分类与自动分拣这三个基础功能；然后，通过红外传感器、惯性传感器、温度传感器、角度传感器、视觉传感器、重量传感器实现垃圾箱不同类型信息的感知；然后，通过三维建模和物理引擎实现多状态三维呈现，并通过数据对比识别异常状态；然后，通过通信接口实现数据传递与控制信息反馈，完成垃圾清理提示、火情预警、倾倒预警、故障推送等功能，最终达到提高垃圾分类储存、回收的效率，并降低垃圾箱本身运维和管理成本的目的。

Description

虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法

技术领域

本发明涉及一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，属于数字化、智能化技术领域。

背景技术

垃圾分类是按照标准将垃圾进行分类储存、投放搬运、回收，最终转变为公共资源的一系列活动。目前，我国多地区建立了垃圾分类的联席会议制度，有效的垃圾分类对于完善常态化疫情防控具有重大意义。由于复杂的垃圾分类体系，导致目前垃圾分类的效果不明显，直到智能垃圾分类的出现。智能垃圾分类系统通过人工智能、物联网、人机交互等技术改善了这一问题，一定程度上降低了人力监管成本、提升了资源循环利用率。

现有的智能垃圾分类系统主要通过是通过图像识别实现垃圾类型的自动识别和智能分类，但是缺乏对垃圾箱状态的实时监控、异常状态分析和预警，以及有效的运维管理。例如，对于箱体内的垃圾是否溢出、垃圾桶是否倾倒等多类型数据的实时监测、真实状态呈现与异常状态预警的能力不足，导致垃圾清理不及时、垃圾箱着火危险、垃圾箱结构故障处理不及时、垃圾箱倾倒无人管理等问题，严重阻碍了垃圾分类工作的进展，特别是可能传播疫情的医疗废物的分类与清理，同时增加了垃圾分类回收和垃圾箱自身运维的成本。其根本原因是没有实现智能垃圾箱多类型信息状态的实时监测、分析、异常状态预警与反馈控制，垃圾箱的真实状态与现有虚拟监控系统中的模型和数据“不同步”。

数字孪生是实现真实世界与虚拟系统深度融合的有效解决方案，强调虚实同步与智能反馈控制，是解决上述问题的有效方法之一。数字孪生技术的共性特征是精准映射、虚实同步、智能反馈和优化迭代，而实现这些特征的基础是保证虚拟系统与对应物理空间中的实体在几何、功能和性能上状态的一致，即虚拟空间是物理空间的数字“镜像”。

为了实现智能垃圾箱更有效的管控，提高垃圾分类储存、回收与垃圾箱本身运维和管理的效率，基于数字孪生技术的理念，本发明提出了一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，其特点在于能够通过基于深度学习的目标检测算法和对应的机构实现垃圾智能识别、分类与自动分拣的基础功能；通过多种传感器实现垃圾箱不同类型信息的感知；通过三维建模、物理引擎驱动和多类型传感器采集的数据实现多状态三维呈现，并通过数据对比判断异常状态的出现；在此基础上，通过通信接口实现数据传递与异常状态的反馈，完成垃圾清理提示、火情预警、垃圾箱倾倒预警、翻板故障推送的状态异常反馈功能，最终实现虚拟空间与物理空间垃圾箱的虚实同步，能够提高垃圾分类储存、回收的效率，并且降低垃圾箱本身运维和管理的成本。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，解决现有智能垃圾箱缺乏对于垃圾箱状态，特别是异常状态的实时监控和有效的清理和故障排除等运维管理的问题。本申请技术方案如下:

一种智能垃圾箱，所述垃圾箱包括箱体，箱体的前侧铰接有开合门，所述开合门与箱体通过锁扣固定，所述箱体的上表面开设有投放口，所述投放口的周边设置有开发板和wifi通讯模块、摄像头和红外传感器，所述箱体的内部设置有电机组和电源，所述电机组包括一个第一电机和两个第二电机，所述第一电机的输出轴上固定连接有第一转轴，所述第一转轴上套设有上翻板，所述第一转轴靠近第一电机的一端固定安装有第二惯性传感器，所述第二电机输出轴上均固定连接有第二转轴，所述第二转轴上套设有下翻板，所述第二转轴靠近第二电机的一端固定安装有第一惯性传感器，所述电机组与电机控制器电连接，上翻板的两侧各固定安装一个第一限位片，所述第一限位片与竖直方向呈45°夹角，两个第二电机之间固定安装有第二限位片，所述第二限位片与竖直方向平行，所述箱体的底部并排设置有四个分类箱，每个分类箱的底部均设置有重量传感器组，所述箱体的左侧壁固定安装有温度传感器、状态指示条和溢出相机模组，所述箱体的右侧壁固定安装有蜂鸣报警器和角度传感器。

一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，所述方法基于一种智能垃圾箱，所述方法包括如下步骤:

S1、构建三维呈现与分析预警模块，在虚拟空间中建立智能垃圾箱的三维模型，编写实时状态更新的驱动脚本程序，当状态数据传递过来时，进行状态更新；

S2、在指定地点放置垃圾箱本体，通过开发板和wifi通讯模块接入网络，建立与虚拟空间中三维模型的通讯；

S3、通过深度学习算法和垃圾箱本体的翻板式机械结构，进行垃圾的智能识别与自动分拣基本功能：

S4、通过角度传感器、温度传感器、第一惯性传感器、第二惯性传感器、重量传感器组对垃圾箱整体倾斜角度、箱体温度、翻板角度、垃圾填充状态进行采集；

S5、各传感器采集到相应的信号，经wifi模块传送至汇集节点，再经云端服务器将相应的信号数据加载至虚拟空间的三维显示系统，虚拟模型接收驱动信号后，进行实时更新；

S6、分析预警模块对当前状态数据进行分析，判断是否存在翻板故障、垃圾溢出分类箱、火情、垃圾箱倾倒异常状态；

S7、当温度达到一定限值、箱体本身倾角大于限值、轴系转动角度异常、或者垃圾重量超如限值时，分析预警模块会触发相应机制信号，经wifi通讯模块，发送至服务终端，系统对垃圾箱信息进行标定，给出相应的报警信号，并发送给相关管理人员。

进一步地，步骤S1具体为：

S1.1、使用Solidworks或Pro/Engineer等计算机辅助设计软件建立三维模型，经过3dMax软件加工处理之后，将渲染后的模型和场景要素导出为.FBX格式的文件；

S1.2、在Unity3D中导入预制好的.FBX文件，展现逼真的场景；

S1.3、在Unity 3D的物理引擎中用C#编程语言驱动脚本，通过控制指令实现在每一帧中被控制控制模型零部件的位置，结合信息虚实交互模块，能够不断读取传感器采集的多状态数据，实时更新模型状态，实现后续的虚实同步；

进一步地，步骤S3具体为：

S3.1、垃圾投入投放口，红外传感器探测感应物体发射的红外光，若有垃圾经过投放口，自动反馈信号，通过开发板通知摄像头开启；

S3.2、摄像头拍照采集图像，通过开发板中基于深度学习的目标检测算法判定投入垃圾所属类型；

S3.3、垃圾类别判定后，系统会自动更新图像数据，并启动电机控制器，驱动第二电机带动下翻板工作转至所需角度，与第二限位片形成待输送通道；

S3.4、待S3.3完成后，第一电机开始工作，驱动上翻板旋转指定角度，垃圾经通道自由滑入指定分类箱；

S3.5、待S3.4完成后，电机控制器再次发送复位指令，上翻板和下翻板复位；

S3.6、上述步骤完成后，设备待机，等待下次启动。

进一步地，步骤S3中深度学习算法是基于Linux Ubuntu系统下完成软件开发实现的，语言采用C++，目标检测采用YOLO V3算法，而开发板与电机的通讯采用ROS架构，开发板选用英伟达的JetsonNano开发板完成，其中基于YOLO V3方法对进入生产线系统的不确定物理对象进行自动检测的具体实施方式包括，准备需要分类的垃圾的图片，标记后将图片输入卷积神经网络CNN进行训练，得到训练集，再将生产线现场视频数据传入YOLO V3模型中进行预测，最终使用交并比IoU和非极大值抑制NMS去除重叠框格，得到投入垃圾的类型。

相比于现有技术，本发明能够解决现有智能垃圾箱缺乏对于自身状态，特别是异常状态的实时监控、垃圾有效的清理和故障排除等运维管理的问题，具体优点在于：

1)垃圾箱的实时状态动态监测与呈现：基于数字孪生的理念，将垃圾分类箱状态信息与云端服务相连接，能够实时远程监控垃圾分类箱各主要状态。如投放状态、异常状态、运维状态。将实际物理信息在虚拟云端模型展示，提高了垃圾分类箱的监管效率，使监管更加便捷有效，降低了不必要的重复劳动。

2)垃圾箱的异常状态识别、通知与预警：首先，在物理空间通过传感器获取垃圾箱多状态信息的数据，例如垃圾箱整体倾斜角度、分类箱温度、翻板角度、垃圾填充数据等；进一步，在虚拟空间实时对比正常数据与所设置的阈值，当超过阈值时识别出异常行为；最后，当出现异常时，及时通知管理员进行处理或者发出报警，提高垃圾箱日常运维和管理的效率。

附图说明

图1为本发明的垃圾箱本体结构布局图；

图2为本发明的整体流程图

图3为本发明的系统运行原理示意图；

图4为本发明的系统功能模块示意图；

图5为本发明的智能识别与分拣流程；

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种智能垃圾箱，如图1所示，所述垃圾箱包括箱体，箱体的前侧铰接有开合门2，所述开合门2与箱体通过锁扣1固定，所述箱体的上表面开设有投放口，所述投放口的周边设置有开发板和wifi通讯模块11、摄像头12和红外传感器13，开发板和wifi通讯模块11是垃圾箱数据分析和信号传输的中枢，能够自主按照既定程序自主深度学习，完成垃圾的分类，并通过wifi无线传输完成人机远端信号交互；摄像头12主要功能是采集垃圾图像，辅助开发板程序判定垃圾类别；红外传感器13主要是采集投放口红外信号，判定是否有垃圾投放，是判定系统工作和待机的触发器；

所述箱体的内部设置有电机组14和电源10，所述电机组14包括一个第一电机和两个第二电机，所述第一电机的输出轴上固定连接有第一转轴，所述第一转轴上套设有上翻板9，所述第一转轴靠近第一电机的一端固定安装有第二惯性传感器15，所述第二电机输出轴上均固定连接有第二转轴，所述第二转轴上套设有下翻板4，所述第二转轴靠近第二电机的一端固定安装有第一惯性传感器5，所述电机组14与电机控制器6电连接，电机控制器6控制三个电机正反转动，根据控制信号调整正负电压信号，实现电机的正反转；上翻板9的两侧各固定安装一个第一限位片16，所述第一限位片16与竖直方向呈45°夹角，两个第二电机之间固定安装有第二限位片20，所述第二限位片20与竖直方向平行，所述箱体的底部并排设置有四个分类箱3，每个分类箱3的底部均设置有重量传感器组21，所述箱体的左侧壁固定安装有温度传感器17、状态指示条18和溢出相机模组19，温度传感器17主要目的是监测分类箱温度变化，温度高的信号将触发垃圾燃烧等异常报警；状态指示条18和溢出相机模组19主要是对分类箱垃圾储量的指示。当垃圾过多溢出时，溢出相机采集的图像经系统分析后，传输至虚拟端，给予管理人员清理更换分类箱的提示；所述箱体的右侧壁固定安装有蜂鸣报警器7和角度传感器8，蜂鸣报警器7目的是标记并警示异常箱体，向投放者提示功能异常，禁止投放；同时也便于管理员现场确认异常垃圾箱所在位置；角度传感器8主要功能是采集箱体的倾斜信号，便于远端判定箱体是否倾倒。

一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，所述方法基于一种智能垃圾箱，解决现有智能垃圾箱缺乏对于垃圾箱状态，特别是异常状态的实时监控和有效的清理和故障排除等运维管理的问题。所述方法包括如下步骤:

S1、构建三维呈现与分析预警模块，在虚拟空间中建立智能垃圾箱的三维模型，编写实时状态更新的驱动脚本程序，当状态数据传递过来时，进行状态更新，具体如下：

S1.1、使用Solidworks或Pro/Engineer等计算机辅助设计(Computer aideddesign，CAD)软件建立三维模型，经过3dMax软件加工处理之后，将渲染后的模型和场景要素导出为.FBX格式的文件；

S1.2、在Unity3D中导入预制好的.FBX文件，展现逼真的场景；

S1.3、在Unity 3D的物理引擎中用C#编程语言驱动脚本，通过控制指令实现在每一帧中被控制控制模型零部件的位置，结合信息虚实交互模块，能够不断读取传感器采集的多状态数据，实时更新模型状态，实现后续的虚实同步；

S2、在指定地点放置垃圾箱本体，通过开发板和wifi通讯模块11接入网络，建立与虚拟空间中三维模型的通讯；

S3、通过深度学习算法和垃圾箱本体的翻板式机械结构，进行垃圾的智能识别与自动分拣基本功能，如图5所示，具体如下：

S3.1、垃圾投入投放口，红外传感器13探测感应物体发射的红外光，若有垃圾经过投放口，自动反馈信号，通过开发板通知摄像头12开启；

S3.2、摄像头12拍照采集图像，通过开发板中基于深度学习的目标检测算法判定投入垃圾所属类型；

S3.3、垃圾类别判定后，系统会自动更新图像数据，并启动电机控制器6，驱动第二电机带动下翻板4工作转至所需角度，与第二限位片20形成待输送通道；

S3.4、待S3.3完成后，第一电机开始工作，驱动上翻板9旋转指定角度，垃圾经通道自由滑入指定分类箱3；

S3.5、待S3.4完成后，电机控制器6再次发送复位指令，上翻板9和下翻板4复位；

S3.6、上述步骤完成后，设备待机，等待下次启动。

S4、通过角度传感器8、温度传感器17、第一惯性传感器5、第二惯性传感器15、重量传感器组21对垃圾箱整体倾斜角度、箱体温度、翻板角度、垃圾填充状态进行采集；

S5、各传感器采集到相应的信号，经wifi模块传送至汇集节点，再经云端服务器将相应的信号数据加载至虚拟空间的三维显示系统，虚拟模型接收驱动信号后，进行实时更新，

例如分类箱的填充状态、翻板的角度；

S6、分析预警模块对当前状态数据进行分析，判断是否存在翻板故障、垃圾溢出分类箱、火情、垃圾箱倾倒异常状态；

S7、当温度达到一定限值(>100℃)、箱体本身倾角大于限值(>10°)、轴系转动角度异常、或者垃圾重量超如限值时，分析预警模块会触发相应机制信号，经wifi通讯模块，发送至服务终端，系统对垃圾箱信息进行标定，给出相应的报警信号，并发送给相关管理人员。

其中，步骤S3中深度学习算法是基于Linux Ubuntu系统下完成软件开发实现的，语言采用C++，目标检测采用YOLO V3算法，而开发板与电机的通讯采用ROS(RobotOperating System)架构，开发板选用英伟达的JetsonNano开发板完成，其中基于YOLO V3方法对进入生产线系统的不确定物理对象进行自动检测的具体实施方式包括，准备需要分类的垃圾的图片，标记后将图片输入卷积神经网络CNN进行训练，得到训练集，再将生产线现场视频数据传入YOLO V3模型中进行预测，最终使用交并比IoU和非极大值抑制NMS去除重叠框格，得到投入垃圾的类型。

本发明提出的方法的实现原理如图3所示，通过基于深度学习的目标检测算法和对应的机构实现垃圾智能识别、分类与自动分拣的基础功能；通过多种传感器实现垃圾箱不同类型信息的感知；通过三维建模、物理引擎驱动和多类型传感器采集的数据实现多状态三维呈现，同时通过数据对比判断异常状态的出现；在此基础上，通过通信接口实现数据传递与异常状态的反馈，完成垃圾清理提示、火情预警、垃圾箱倾倒预警、翻板故障推送等功能，最终实现虚拟空间与物理空间垃圾箱的虚实同步，能够提高垃圾分类储存、回收的效率，并且降低垃圾箱本身运维和管理的成本。

本发明所提出的方法包括四大功能模块，如图4所示，分别是智能识别与自动分拣基础模块、多状态感知模块、信息虚实交互模块、三维呈现与分析预警模块。每个功能模块的具体功能和实现结构如下：

(1)智能识别与自动分拣基础模块包括垃圾箱结构本体、智能识别功能和自动分拣功能，其中，垃圾箱结构本体提供了总体结构支撑和硬件的安装空间，智能识别功能通过高速摄像头、红外传感器、开发板、基于深度学习的智能识别算法实现垃圾类型的智能识别和分类，自动分拣功能通过开发板、电机、电机控制器、翻板和分类箱实现将垃圾自动分拣到对应的分类箱中；

(2)多状态感知模块包括投放状态感知功能、垃圾箱倾倒状态感知功能、火情感知功能、翻板运动数据感知功能、垃圾填充状态感知功能，通过不同类型的传感器实现；

(3)信息虚实交互模块包括垃圾箱实际状态数据到虚拟空间中虚拟垃圾箱模型的传递功能，以及数据分析后将分析结果反馈给物理空间的垃圾箱和管理员的功能，通过通讯模组实现；

(4)在三维呈现与分析预警模块中，通过建模软件、Unity 3D和物理引擎实现垃圾箱的三维模型展示和实时状态更新的功能，通过数据对比判断是否存在异常状态，对于异常状态则通过信息交互模块发出预警。

本发明所提出的垃圾箱本体的结构如图1如所示，在硬件布局中，垃圾投放与分拣的实现原理为，上下层翻板采用螺钉直接固定至相应轴，并通过电机、电机控制器等控制轴系相应的转角，形成输送通道，上层翻板转动时，带动目标垃圾经输送通道自由滑落至相应分类箱，完成本次分类收集后，转动机构复位待机。

本发明所提出的多状态感知是通过六种传感器实现的，分别是红外传感器13、温度传感器17、第一惯性传感器5和第二惯性传感器15、角度传感器8、摄像头12和重量传感器21。它们的实现和功能具体如下：

(1)红外传感器布置在投放口上端，采集红外信号，输送至开发板智能分析，当红外光信号发生变化时，启动设备，采集投放口图像，完成一系列分类动作；

(2)温度传感器17、角度传感器8、惯性传感器布置在垃圾箱本体内部，如图1所示，当温度达到一定限值(>100℃)、箱体本身倾角大于限值(>10°)、轴系转动角度异常时，智能模块单元会触发相应机制信号，经wifi模块，发送至服务终端，系统对垃圾箱信息进行标定，给出相应的报警信号，并发送给相关管理人员；

(3)溢出相机模组19布置在分类箱侧上方，左右各一组，具有闪光灯，采集每次投放后分类箱上方的图像信息，系统将图像信息分析后，判定是否超出设定阈值，进而判断是否溢出；

(4)重量传感器组布置在分类箱下方，共4组，分别检测分类箱重量的变化，待重量超如限值时，系统分析判定垃圾箱处于“满状态”。

本发明所述的数据交互是通过在开发板上加装WiFi通讯模块以及对应的数据库实现的，能够将现物理空间垃圾箱的多种类型信息的状态发送给三维呈现与预警模块，用来更新三维虚拟模型的实时状态，同时，当出现火情、倾倒、故障等异常状态时，能够从虚拟模型中发送异常数据到物理世界，提醒管理员做出相应的处理。具体是将通信模块布置在分类箱上层空间，各传感器采集到相应的信号，经wifi模块传送至汇集节点，再经云端服务器将相应的信号数据加载至虚拟模型，虚拟模型接收驱动信号后，进行实时更新，其中，交互过程中所用的垃圾箱多类型信息的历史状态数据存储在数据库中，例如MySQL，这些数据包括垃圾箱整体倾斜角度、分类箱温度、翻板角度、垃圾填充数据等，同时，数据存储功能可以存储垃圾箱日常运维数据，包括垃圾箱管理人员的基本信息，如姓名、年龄、电话等，还包括垃圾箱本身的信息，例如型号、投入使用时间、重量、外形尺寸信息、位置信息，还包括运维信息，例如历史故障类型、排除故障时间、维修人员等。

本发明所述的垃圾箱异常状态识别是通过圾箱整体倾斜角度、分类箱温度、翻板角度、垃圾溢出状态进行量化的，当识别出异常情况时需要通过信息虚实交互模块及时预警反馈，具体实现过程为，采用角度传感器测量箱体是否大角度倾斜，若出现异常倾倒或者倾斜，反馈相应信号至终端；采用温度传感器感知分类箱内是否有火情，感知温度变化，超过阈值将转化成相应信号传输至终端；采用惯性传感器监测转轴转动角度，判断是否复位，若出现复位异常，会反馈异常信号至终端，终端智能提醒管理员现场追踪查看异常；将溢出相机组安装在分类箱上方，左右各1组，分别采集两侧分类箱口图像，当图像检测结果超到检测阈值，信息处理判定溢出，将现行状态发送至三维呈现模块，触发相应警示；将重量传感器组安装在分类箱下方，采集重量变化信号，当某一分类箱重量超出设定限值，系统反馈相应信号至终端，提示相应的分类箱处于“满状态”。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种智能垃圾箱，其特征在于，所述垃圾箱包括箱体，箱体的前侧铰接有开合门(2)，所述开合门(2)与箱体通过锁扣(1)固定，所述箱体的上表面开设有投放口，所述投放口的周边设置有开发板和wifi通讯模块(11)、摄像头(12)和红外传感器(13)，所述箱体的内部设置有电机组(14)和电源(10)，所述电机组(14)包括一个第一电机和两个第二电机，所述第一电机的输出轴上固定连接有第一转轴，所述第一转轴上套设有上翻板(9)，所述第一转轴靠近第一电机的一端固定安装有第二惯性传感器(15)，所述第二电机输出轴上均固定连接有第二转轴，所述第二转轴上套设有下翻板(4)，所述第二转轴靠近第二电机的一端固定安装有第一惯性传感器(5)，所述电机组(14)与电机控制器(6)电连接，上翻板(9)的两侧各固定安装一个第一限位片(16)，所述第一限位片(16)与竖直方向呈45°夹角，两个第二电机之间固定安装有第二限位片(20)，所述第二限位片(20)与竖直方向平行，所述箱体的底部并排设置有四个分类箱(3)，每个分类箱(3)的底部均设置有重量传感器组(21)，所述箱体的左侧壁固定安装有温度传感器(17)、状态指示条(18)和溢出相机模组(19)，所述箱体的右侧壁固定安装有蜂鸣报警器(7)和角度传感器(8)。

2.一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，所述方法基于权利要求1所述的一种智能垃圾箱，其特征在于，所述方法包括如下步骤:

S1、构建三维呈现与分析预警模块，在虚拟空间中建立智能垃圾箱的三维模型，编写实时状态更新的驱动脚本程序，当状态数据传递过来时，进行状态更新；

S2、在指定地点放置垃圾箱本体，通过开发板和wifi通讯模块(11)接入网络，建立与虚拟空间中三维模型的通讯；

S3、通过深度学习算法和垃圾箱本体的翻板式机械结构，进行垃圾的智能识别与自动分拣基本功能：

S4、通过角度传感器(8)、温度传感器(17)、第一惯性传感器(5)、第二惯性传感器(15)、重量传感器组(21)对垃圾箱整体倾斜角度、箱体温度、翻板角度、垃圾填充状态进行采集；

S5、各传感器采集到相应的信号，经wifi模块传送至汇集节点，再经云端服务器将相应的信号数据加载至虚拟空间的三维显示系统，虚拟模型接收驱动信号后，进行实时更新；

S6、分析预警模块对当前状态数据进行分析，判断是否存在翻板故障、垃圾溢出分类箱、火情、垃圾箱倾倒异常状态；

S7、当温度达到一定限值、箱体本身倾角大于限值、轴系转动角度异常、或者垃圾重量超如限值时，分析预警模块会触发相应机制信号，经wifi通讯模块，发送至服务终端，系统对垃圾箱信息进行标定，给出相应的报警信号，并发送给相关管理人员。

3.如权利要求2所述的一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，其特征在于，步骤S1具体为：

S1.1、使用Solidworks或Pro/Engineer等计算机辅助设计软件建立三维模型，经过3dMax软件加工处理之后，将渲染后的模型和场景要素导出为.FBX格式的文件；

S1.2、在Unity3D中导入预制好的.FBX文件，展现逼真的场景；

S1.3、在Unity 3D的物理引擎中用C#编程语言驱动脚本，通过控制指令实现在每一帧中被控制控制模型零部件的位置，结合信息虚实交互模块，能够不断读取传感器采集的多状态数据，实时更新模型状态，实现后续的虚实同步。

4.如权利要求2所述的一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，其特征在于，步骤S3具体为：

S3.1、垃圾投入投放口，红外传感器(13)探测感应物体发射的红外光，若有垃圾经过投放口，自动反馈信号，通过开发板通知摄像头(12)开启；

S3.2、摄像头(12)拍照采集图像，通过开发板中基于深度学习的目标检测算法判定投入垃圾所属类型；

S3.3、垃圾类别判定后，系统会自动更新图像数据，并启动电机控制器(6)，驱动第二电机带动下翻板(4)工作转至所需角度，与第二限位片(20)形成待输送通道；

S3.4、待S3.3完成后，第一电机开始工作，驱动上翻板(9)旋转指定角度，垃圾经通道自由滑入指定分类箱(3)；

S3.5、待S3.4完成后，电机控制器(6)再次发送复位指令，上翻板(9)和下翻板(4)复位；

S3.6、上述步骤完成后，设备待机，等待下次启动。

5.如权利要求4所述的一种虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法，其特征在于，步骤S3中深度学习算法是基于Linux Ubuntu系统下完成软件开发实现的，语言采用C++，目标检测采用YOLO V3算法，而开发板与电机的通讯采用ROS架构，开发板选用英伟达的JetsonNano开发板完成，其中基于YOLO V3方法对进入生产线系统的不确定物理对象进行自动检测的具体实施方式包括，准备需要分类的垃圾的图片，标记后将图片输入卷积神经网络CNN进行训练，得到训练集，再将生产线现场视频数据传入YOLO V3模型中进行预测，最终使用交并比IoU和非极大值抑制NMS去除重叠框格，得到投入垃圾的类型。

Images