CN114275416B - 基于图像识别的厨余垃圾分类方法、装置、设备及介质 - Google Patents

Abstract

本申请属于人工智能领域，提出了一种基于图像识别的厨余垃圾分类方法、装置及设备。该方法包括：采集垃圾投放人员图像，并启动打开装置对待核验垃圾进行打开操作；将开袋后的垃圾进行传送处理；采集传送装置所传送的垃圾的堆放信息，根据所述堆放信息确定传送装置上存在的遮盖区域；控制拨动装置对垃圾遮盖区域执行拨动操作，获取拨动前的垃圾堆放图像和拨动后的垃圾堆放图像，并输入到预先训练完成的垃圾识别网络模型进行垃圾分类，从而能够智能的得到厨余垃圾的分类结果，不受个人认知因素影响，有利于提高分类的准确性，并且关联垃圾分类结果和垃圾投放人员图像，可有效的留存错误分类的证据，便于对错误分类进行溯源。

Description

基于图像识别的厨余垃圾分类方法、装置、设备及介质

技术领域

本申请属于人工智能领域，尤其涉及一种基于图像识别的厨余垃圾分类方法、装置、设备及介质。

背景技术

随着社会经济的发展，人们的物质生活水平有了很大的提升，相应的，人们对生活环境的质量要求也越来越高。为了构建清洁健康的生活环境，减少垃圾对环境的污染，我们需要对垃圾进行分类，以便于对垃圾进行回收利用。

在进行垃圾分类时，通常的操作方式是基于个人认知判断垃圾所属的种类，将垃圾投放至不同的垃圾筒。但是，人们在对垃圾进行分类，特别是厨余垃圾进行分类时，由于个人可能对分类标准不清楚，经常会将厨房中所产生的垃圾划分为厨余垃圾，容易出现分类结果不准确的问题，并且在出现错误分类时，无法留存错误分类的证据进行溯源。

发明内容

有鉴于此，本申请实施例提供了一种基于图像识别的厨余垃圾分类方法、装置、设备及介质，以解决现有技术中由于个人可能对分类标准不清楚，经常会将厨房中所产生的垃圾划分为厨余垃圾，容易出现分类结果不准确的问题，并且在出现错误分类时，无法留存错误分类的证据进行溯源的问题。

本申请实施例的第一方面提供了一种基于图像识别的厨余垃圾分类方法，所述方法包括：

当检测有待核验垃圾时，采集垃圾投放人员图像，并启动打开装置对待核验垃圾进行打开操作；

启动传送装置，将开袋后的垃圾进行传送处理；

采集传送装置所传送的垃圾的堆放信息，根据所述堆放信息确定传送装置上存在的遮盖区域；

控制拨动装置对垃圾遮盖区域执行拨动操作，获取拨动前的垃圾堆放图像和拨动后的垃圾堆放图像；

将所述拨动前的垃圾堆放图像和拨动后的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型进行垃圾分类，并关联所得到的垃圾分类结果和所采集的垃圾投放人员图像。

结合第一方面，在第一方面的第一种可能实现方式中，当检测有待核验垃圾时，采集垃圾投放人员图像，包括：

当检测平台检测有待核验垃圾时，通过摄像头采集垃圾投放人员图像；

或者，当升降机构检测有待核验垃圾时，通过摄像头采集垃圾投放人员图像；

或者，当设置在垃圾投放区域入口的检测机构检测到人员靠近时，通过摄像头采集垃圾投放人员图像。

结合第一方面，在第一方面的第二种可能实现方式中，启动打开装置对待核验垃圾进行打开操作，包括：

通过割划装置对垃圾袋的第一侧执行割划操作；

通过提拎装置在垃圾袋的第二侧进行提拎，将垃圾袋中的物品倾倒在检测平台。

结合第一方面，在第一方面的第三种可能实现方式中，在探测到有待检测垃圾之后，所述方法还包括：

关闭垃圾投放口，使待核验垃圾处于封闭空间；

开启喷淋装置，对所述待核验垃圾所在的封闭空间执行喷淋操作。

结合第一方面，在第一方面的第四种可能实现方式中，采集传送装置所传送的垃圾的堆放信息之前，所述方法还包括：

通过设置在图像采集装置之前的第一喷头组对所述待核验垃圾进行清洗操作，所述第一喷头组的喷淋强度大于设置在图像采集装置之后的第二喷头组的喷淋强度。

结合第一方面，在第一方面的第五种可能实现方式中，根据所述堆放信息确定传送装置上存在的遮盖区域，包括：

根据所述堆放信息确定物品的堆放高度和图像识别高度；

根据所述堆放高度和所述图像识别高度的差值，确定该物品所在区域是否存在物品被遮盖。

结合第一方面，在第一方面的第六种可能实现方式中，在关联垃圾分类结果和所采集的垃圾投放人员图像之后，所述方法还包括：

根据用户的分类结果中的错误分类，以及错误分类的种类的明显程度所对应的扣分权值，确定用户的得分；

将用户的错误分类的操作内容和/或得分发送至用户。

结合第一方面，在第一方面的第七种可能实现方式中，将所述拨动前的垃圾堆放图像和拨动后的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型进行垃圾分类，包括：

将所述拨动前的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型，识别所述拨动前的垃圾堆放图像中包括的垃圾目标的名称；

将所述拨动后的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型，识别所述拨动后的垃圾堆放图像中包括的垃圾目标的名称；

计算拨动前的垃圾堆放图像中包括的垃圾目标的名称与拨动后的垃圾堆放图像中包括的垃圾目标的名称的并集；

根据预先设定的垃圾名称与垃圾类别的对应关系，确定所述并集中的垃圾目标的名称对应的垃圾类别。

本申请实施例的第二方面提供了一种基于图像识别的厨余垃圾分类装置，所述装置包括：

打开单元，用于当检测有待核验垃圾时，采集垃圾投放人员图像，并启动打开装置对待核验垃圾进行打开操作；

传送单元，用于启动传送装置，将开袋后的垃圾进行传送处理；

遮盖检测单元，用于采集传送装置所传送的垃圾的堆放信息，根据所述堆放信息确定传送装置上存在的遮盖区域；

图像获取单元单元，用于控制拨动装置对垃圾遮盖区域执行拨动操作，获取拨动前的垃圾堆放图像和拨动后的垃圾堆放图像；

分类单元，用于将所述拨动前的垃圾堆放图像和拨动后的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型进行垃圾分类，并关联所得到的垃圾分类结果和所采集的垃圾投放人员图像。

本申请实施例的第三方面提供了基于图像识别的厨余垃圾分类设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：本申请通过在检测到待核验垃圾时，自动采集垃圾投放人员图像并打开垃圾，通过传送装置对垃圾进行传送处理，在传送处理过程中检测是否存在遮盖区域，并对遮盖区域执行拨动操作，将采集的拨动后的垃圾堆放图像和拨动前的垃圾堆放图像输入到垃圾识别网络进行垃圾识别和分类，从而能够智能的得到厨余垃圾的分类结果，不受个人认知因素影响，有利于提高分类的准确性，并且关联垃圾分类结果和垃圾投放人员图像，可有效的留存错误分类的证据，便于对错误分类进行溯源。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于图像识别的厨余垃圾分类方法的实现流程示意图；

图2是本申请实施例提供的一种厨余垃圾分类系统示意图；

图3是本申请实施例提供的又一种厨余垃圾分类系统示意图；

图4是本申请实施例提供的一种基于图像识别的厨余垃圾分类装置的示意图；

图5是本申请实施例提供的基于图像识别的厨余垃圾分类设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

目前的厨余垃圾分类方法中，主要采用通过人工分类的方式。即个人将需要投倒的垃圾进行分类。由于垃圾种类繁多，而且不同种类的垃圾的区别并不明显，个人在进行垃圾分类的时候，可能会出现厨余垃圾错分的情形，不仅耗费了分类人工成本，而且不能留存错误分类的证据进行溯源，不利于及时的发现和纠正错误分类。

为解决上述问题，本申请实施例提出了一种基于图像识别的厨余垃圾分类方法，如图1所示，该方法包括：

在S101中，当检测有待核验垃圾时，采集垃圾投放人员图像，并启动打开装置对待核验垃圾进行打开操作。

其中，检测待核验垃圾的装置，可以为检测平台。如图2所示的厨余垃圾分类系统示意图，所述检测平台可以设置在垃圾桶周围。比如，检测平台可以设置在厨余类垃圾桶一侧，或者设置在厨余垃圾桶的上方。检测平台可以与传送装置相连，放置在检测平台的垃圾，可通过传送装置传送至厨余垃圾桶。当用户将待核验垃圾放置在检测平台时，可通过重力传感器或激光传感器探测是否存在待核验垃圾。当检测到有待核验垃圾时，可控制摄像头采集包括投放人员图像的照片或视频。

考虑到垃圾桶本身具有一定的高度，检测平台与垃圾桶高度相当，或者高于垃圾桶高度时，更有利于传送操作。因此，所设置的检测平台的高度可能不便于用户直接投放垃圾，可以设置升降机构，将较低位置处的垃圾传送至所述检测平台。所述升降机构可以为升降桶，也可以为可升降挂钩等。如图3所示的厨余垃圾分类系统示意图中，用户可以方便的将垃圾放置在处于较低位置处的升降桶或者挂持在升降挂钩处，通过重力感应传感器或者激光传感器检测到升降机构接收到垃圾时，则启动升降机构，将接收到的垃圾运送至检测平台。当检测到升降机构接收到垃圾时，可以控制摄像头采集包括投放人员图像的照片或视频。

其中，摄像头采集投放人员的照片或视频时，可以在所采集的多个图像(多个照片或视频中的多帧图像)中，选择垃圾投放人员的脸部清晰度最高的图像，或者选择多个图像进行融合，得到脸部清晰度更高的融合图像。

当摄像头采集到预设时长的视频，或者采集到预设数量的照片后，可以控制摄像头进入休眠状态。可在下次需要数据采集时触发摄像头进入工作状态，从而便于节约电能，以及便于节约存储资源。

在可能的实现方式中，由于投放人员在投放完垃圾后，通常会转身离开。为了能够采集到更为清晰有效的人脸照片，可以在垃圾投放区域入口处设定检测机构，来确定是否可能存在待核验垃圾。在检测机构检测到人员或人物目标靠近时，则启动摄像头对垃圾投放人员进行人脸采集，从而能够更为及时得到清晰有效的人脸照片，便于根据所采集的人脸照片对垃圾投放人员进行识别。在垃圾出现分类出现错误时，便于根据识别结果向该用户发出纠正分类错误的提醒。如果检测到有人员靠近垃圾投放区域入口，但未进行垃圾投放时，则可对本次所采集的图像或视频删除。

在可能的实现方式中，可预先建立用户名称与人脸特征的对应关系。当摄像头采集到垃圾投放人员的照片或视频时，可解析所采集的图像的人脸特征，根据预先建立的用户名称与人脸特征的对应关系，确定投放垃圾的用户名称。当垃圾投放操作出现误操作时，可以记录用户名称与错误类型的对应关系。当预先记录有用户名称的联系方式，包括如电话、邮箱等信息时，可以将投放垃圾中的误操作信息发送至相应的投放人员。发送的信息可以包括所检测到出现错误分类的垃圾图像、垃圾投放时间等，或者还可以包括垃圾投放人员的照片或视频等溯源数据。

在检测到待核验垃圾时，需要打开垃圾袋，通过摄像头对打开的垃圾袋进行拍摄检测，从而便于识别垃圾袋所包裹的物品内容。

在对垃圾袋包裹的待核验垃圾执行打开操作时，可以包括割划装置和提拎装置。可以通过割划装置对垃圾袋的第一侧执行割划操作，并通过提拎装置在垃圾袋的第二侧(可以为与第一侧相对的另一侧)进行提拎，从而将垃圾袋中的物品倾倒在检测平台。

比如，可以检测平台的底部设置割划装置。该割划装置可以为可在检测平台上设置的可移动的刀片。在检测平台的顶部设置提拎装置，当待核验垃圾所处的位置与割划装置的位置不匹配时，可以通过提拎装置提起待核验垃圾的袋子，对待核验垃圾的包装袋的位置进行校正。

在可能的实现方式中，割划装置可以设置在检测平台的第一侧，提拎装置设置在割划装置的相对侧，即检测平台的第二侧。在完成割划操作后，提拎装置在第二侧将垃圾袋提起，使得垃圾袋中的物品倾倒至传送装置。所述提拎装置可以为机械手等部件。

在进行垃圾倾倒时，由于厨余垃圾中可能包括腐臭等异味气味的物品，因此，在检测到待核验垃圾后，比如在进行垃圾打开、提拎和传送操作时，如图2和图3所示，可在打开、提拎和传送操作的过程中开启喷淋装置，通过喷淋装置喷淋雾状液体，吸收打开操作后所散发的异味气体。在可能的实现方式中，可将用于执行打开、提拎和传送操作的过程设置在封闭的环境执行中，比如可以关闭垃圾投放口等，通过喷淋装置对该封闭空间进行喷淋操作，以减少垃圾检测过程对周边生活环境的影响。

其中，可以在检测平台检测到待核验垃圾时，关闭投放垃圾的入口，使得执行打开操作的空间成为封闭的空间，减少异味气体对环境的影响。并且，在每次完成割划操作后，可以通过喷淋装置对割划装置进行清洗操作，减少割划装置受污染损坏的可能性。

在S102中，启动传送装置，将开袋后的垃圾进行传送处理。

为了使得传送装置能够有效的将检测平台的待核验垃圾进行传送，可以在检测到倾倒后，检测平台调整为倾斜状态，使得检测平台的垃圾可因为重力作用，滑向传送装置。通过传送装置逐步将待核验垃圾传送至垃圾桶方向。或者，也可以在打开垃圾后，由检测平台表面设置的传送装置，比如传送带，将打开的垃圾传送至垃圾筒，即传送装置可直接对检测平台上所打开的垃圾进行传送。

由于厨余垃圾中可能含有较多的小颗粒物品，比如剩饭或者剩菜等。在进行垃圾分类检测时，小颗粒物品可能会对物品进行遮挡，不利于保证检测的准确度。为了解决该问题，可以在传送装置中设置喷淋装置，并且控制传送装置的入口位置喷淋强度，使得图像采集装置之前(比如可以为传送装置的入口处)的喷淋装置的喷淋强度大于传送装置的图像采集装置之后的区域的第二喷头组的喷淋强度。比如，在传送装置的入口位置设置第一喷头组，在传送装置启动时，控制第一喷头组喷射用于清洗物品表面的水柱，从而提高待核验垃圾的可辨识度，以使得图像采集装置能够采集到更为清晰的图像。其中，第一喷头队组的排列方向可以为与传送装置的移动方向垂直。

在S103中，采集传送装置所传送的垃圾的堆放信息，根据所述堆放信息确定传送装置上存在的遮盖区域。

在喷淋装置的第一喷头组喷洗后，物品的表面的辨识度提高，可以更好的对物品(垃圾)类别进行辨识，便于更好的确定物品是否存在被遮盖的问题。

在确定物品是否存在被遮盖的问题时，可以基于相机所采集的图像和距离信息，确定当前所传送的垃圾的堆放信息，根据堆放信息判断是否有物品被遮盖。

具体的，可以根据所采集的图像，确定传送装置中所传送的物品的类别。并且可以根据物品的堆放高度、物品的图像识别高度(基于图像所识别到的物品高度或厚度)确定是否存在遮盖区域。比如，根据相机所采集的垃圾的堆信息中，检测到位置A处包括可辨识的物品a，物品a在位置A的摆放状态的图像识别高度为h1，位置A处的堆放高度为h2，且h2与h1的差值，即h2-h1的值大于预定的阈值，则可确定位置存在物品被遮盖。其中，物体的高度可以基于深度传感图像来确定，或者也可以根据其它距离传感器确定。

比如，通过相机采集的图像可以识别到位置A处的可辨识物品为菜叶子，通过图像分析，可以确定菜叶子本身的摆放状态所呈现的图像识别高度，也即菜叶子的厚度为3毫米。通过图像分析，位置A处的堆放高度为3厘米。两者的高度差值为27毫米，大于所设定的阈值，比如阈值可以设置为5毫米，可以确定所检测的位置A存在遮盖区域。比如，可能在菜叶子下遮盖有电池等物品，而所遮盖的物品不属于厨余垃圾的分类。

其中，不同的物品种类，所对应的阈值可以不同。比如，对于厚度较薄的菜叶，阈值可以设定为5毫米，对于蛋壳等较整体较高的物品，其阈值可以设定为2厘米等。

在S104中，控制拨动装置对垃圾遮盖区域执行拨动操作，获取拨动前的垃圾堆放图像和拨动后的垃圾堆放图像。

在检测到传送装置上的物品存在遮盖后，可以通过拨动装置对遮盖区域进行拨动操作，将遮盖区域的遮盖物拨动至未遮盖区域，从而使得遮盖区域中的被遮盖物能够露出表面，使得相机所采集的拨动后的垃圾堆放图像中，能够包括被遮盖的物品的图像。结合拨动前的垃圾堆放图像和拨动后的垃圾堆放图像，可以得到待核验垃圾中的物品的更为全面的图像，从而可以便于对待核验垃圾进行更为全面准确的分类。

拨动装置可以拨动铲、拨动棍。通过拨动铲可以将存在遮盖的区域进行翻铲操作，使得被遮盖的区域中的被遮盖物品被翻转处理，通过相机采集翻转后的垃圾堆放图像后，可对被遮盖物品的类别进行识别处理。通过拨动棍的拨动操作，可以改变被遮盖区域的物品的摆放状态，从而使得被遮盖的物体处于可辨识状态。

拨动装置在执行拨动操作时，可以在执行一次或者多次拨动操作后，重新判断之前的遮盖区域是否已被打开，以减少位于传送装置上的待核验垃圾处于完全遮盖状态的几率，从而有利于对待核验垃圾进行全面的检测。也就是说，在一次分类检测中，拨动后的垃圾堆放图像可以为一个，也可以为多个。

在S105中，将所述拨动前的垃圾堆放图像和拨动后的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型进行垃圾分类，并关联所得到的垃圾分类结果和所采集的垃圾投放人员图像。

在对被遮盖区域进行拨动操作后，可以采集到包括被遮盖的物品的垃圾堆放图像，通过垃圾识别网络对拨动前的垃圾堆放图像和拨动后的垃圾堆放图像中的垃圾进行识别，可以得到拨动前的垃圾堆放图像中包括的垃圾目标的名称，以及拨动后的垃圾堆放图像中包括的垃圾目标的名称。将拨动前的垃圾堆放图像中包括的垃圾目标的名称与拨动后的垃圾堆放图像中包括的垃圾目标的名称取并集，即可得到待核验垃圾中所包括的垃圾目标的名称。

在确定待核验垃圾中所包括的垃圾目标的名称后，结合预先设定的厨余垃圾类别表，可以确定所投放的垃圾的类别是否属于厨余垃圾。如果不是，则说明垃圾投放人员可能存在分类错误。

其中，根据图像进行垃圾类别判断时，可以采用预先训练完成的垃圾识别网络，包括如基于区域建议的目标检测和识别网络，如R-CNN，Fast-R-CNN，Faster-R-CNN等，基于回归的目标检测与识别网络，如YOLO、SSD等，基于搜索的目标检测与识别网络，如基于视觉注意的网络，基于强化学习的网络等。将所采集的图像输入到预先训练完成的垃圾识别网络，可以得到拨动前和拨动后的垃圾堆放图像中包括的物品的分类结果。在本申请实施例中，如果输入的图像中包括的物品不属于厨余垃圾，则判定该物品分类不正确。

在对待核验垃圾的类别进行检测后，可以得到待核验垃圾的检测结果。比如，检测结果可以包括待核验垃圾分类正确、待核验垃圾存在分类错误的物品等结果。在可能的实现方式中，还可以控制分捡装置将分类不正确的垃圾分捡出来，以便能够使得厨余垃圾桶能够收集到分类更为准确的垃圾。

可以根据投放人员图像，对检测结果进行分类，将不同投放人员的检测结果进行分类统计，得到不同投放人员的垃圾分类正确率。在投放人员投放垃圾时，通过相机采集到投放人员图像后，可以获取该投放人员对应的投放正确率。如果该投放人员的投放正确率小于预定的阈值，则可以播放语音提醒信息，提醒投放人员所投放的垃圾包括错误分类。当提醒次数达到预定次数，投放人员所投放的垃圾的分类结果的正确率仍然未提高时，可以提醒监督人员对该投放人员进行监督。可以向监督人员发送该投放人员所投放的垃圾的分类数据，以及所采集的图像证据，便于对该投放人员的历史操作进行溯源。

在可能的实现方式中，如果预先存储有人脸特征与用户名称的对应关系时，则可以根据所检测到的投放人员图像，识别该投放人员的用户名称。根据识别到的用户名称，建立用户名称与投放数据的对应关系。可以根据该对应关系生成垃圾投放记录表，在表格中直接反应不同用户的分类结果的正确率。

在可能的实现方式中，可以根据用户的分类结果的正确率，对用户分类结果进行打分。通过打分结果来反应用户的分类的准确度。

在可能的实现方式中，可以根据用户的分类结果中的错误分类，以及错误分类的种类的明显程度所对应的扣分权值，确定用户的扣分值和得分。比如，可以预先设定厨余垃圾中包括的其它种类的垃圾与扣分值的对应关系，对错误分类的垃圾进行扣分操作。比如，在厨余垃圾中发现电池等明显不属于厨余垃圾的物品，则需要扣减较多的分数，如果发现与厨余垃圾容易混淆的垃圾，比如啃光玉米粒之后的玉米芯、吃完蚝肉之后的生蚝壳子、炖汤之后的大棒骨属于其它垃圾，但容易与厨余垃圾混淆，可以扣取较少的分类，但仍需要提示投放人员所出现的分类错误的物品的信息。

当用户名称绑定有通讯账号时，可以通过该用户名称的通讯账号，将检测到的错误分类的操作内容和/或计算的得分发送至相应的投放人员，从而使得投放人员可以通过通讯账号及时收到投放分类可能存在的问题，便于及时的进行纠正。通讯账号可以包括如手机号、邮箱、微信号等。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图4为本申请实施例提供的一种基于图像识别的厨余垃圾分类装置的示意图，如图4所示，该装置包括：

打开单元401，用于当检测有待核验垃圾时，采集垃圾投放人员图像，并启动打开装置对待核验垃圾进行打开操作；

传送单元402，用于启动传送装置，将开袋后的垃圾进行传送处理；

遮盖检测单元403，用于采集传送装置所传送的垃圾的堆放信息，根据所述堆放信息确定传送装置上存在的遮盖区域；

分类单元404，用于控制拨动装置对垃圾遮盖区域执行拨动操作，并采集拨动后的图像，根据拨动后的图像进行分类，并关联垃圾分类结果和所采集的垃圾投放人员图像。

图4所述的基于图像识别的厨余垃圾分类装置，与图1所述的基于图像识别的厨余垃圾分类方法对应。

另外，本申请实施例还公开了一种基于图像识别的厨余垃圾分类系统，该系统包括检测装置、图像采集装置、打开装置、传送装置和拨动装置。其中，所述检测装置用于检测是否有待核验垃圾，如果存在待核验垃圾，则触发图像采集装置采集垃圾投放人员图像。所述打开装置用于在检测以待核验垃圾时，对待核验垃圾进行打开操作。所述打开装置可以包括割草装置和提拎装置，所述割划装置用于对垃圾袋的第一侧执行割划操作，所述提拎装置用于在垃圾袋的第二侧进行提拎，将垃圾袋中的物品倾倒在检测平台或传送装置上。所述传送装置用于将开袋后的垃圾进行传送处理，并且在传送过程中，在检测到存在垃圾遮盖区域时，可控制拨动装置对垃圾遮盖区域进行拨动操作，使得图像采集装置采集到所传送的垃圾的清晰图像，便于进行垃圾分类，得到垃圾分类结果。

在本申请实施例中，还可以包括喷淋装置，用于对传送装置上传送的垃圾进行喷淋，使得被杂物遮盖的物品能够更为清晰的被采集，并且通过喷淋装置，可以有效的减少厨余垃圾在分类过程中的气味扩散。

图5是本申请一实施例提供的基于图像识别的厨余垃圾分类设备的示意图。如图5所示，该实施例的基于图像识别的厨余垃圾分类设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如基于图像识别的厨余垃圾分类程序。所述处理器50执行所述计算机程序52时实现上述各个基于图像识别的厨余垃圾分类方法实施例中的步骤。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能。

示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述基于图像识别的厨余垃圾分类设备5中的执行过程。

所述基于图像识别的厨余垃圾分类设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是基于图像识别的厨余垃圾分类设备5的示例，并不构成对基于图像识别的厨余垃圾分类设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于图像识别的厨余垃圾分类设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述基于图像识别的厨余垃圾分类设备5的内部存储单元，例如基于图像识别的厨余垃圾分类设备5的硬盘或内存。所述存储器51也可以是所述基于图像识别的厨余垃圾分类设备5的外部存储设备，例如所述基于图像识别的厨余垃圾分类设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述基于图像识别的厨余垃圾分类设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述基于图像识别的厨余垃圾分类设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于图像识别的厨余垃圾分类方法，其特征在于，所述方法包括：

当检测有待核验垃圾时，采集垃圾投放人员图像，并启动打开装置对待核验垃圾进行打开操作；

启动传送装置，将开袋后的垃圾进行传送处理；

采集传送装置所传送的垃圾的堆放信息，根据所述堆放信息确定传送装置上存在的遮盖区域，所述堆放信息基于相机所采集的图像和距离信息确定，根据所述相机所采集的图像，确定所述传送装置中所传送的物品的类别；

控制拨动装置对垃圾遮盖区域执行拨动操作，获取拨动前的垃圾堆放图像和拨动后的垃圾堆放图像；

将所述拨动前的垃圾堆放图像和拨动后的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型进行垃圾分类，并关联所得到的垃圾分类结果和所采集的垃圾投放人员图像；

其中，根据所述堆放信息确定传送装置上存在的遮盖区域，包括：

根据所述堆放信息确定物品所在位置的堆放高度和图像识别的物品的高度或厚度；

根据所述堆放高度和所述图像识别高度的差值是否大于识别的所述物品种类对应的阈值，确定该物品所在区域是否存在物品被遮盖，不同物品种类对应的阈值不同。

2.根据权利要求1所述的方法，其特征在于，将所述拨动前的垃圾堆放图像和拨动后的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型进行垃圾分类，包括：

将所述拨动前的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型，识别所述拨动前的垃圾堆放图像中包括的垃圾目标的名称；

将所述拨动后的垃圾堆放图像输入到预先训练完成的垃圾识别网络模型，识别所述拨动后的垃圾堆放图像中包括的垃圾目标的名称；

计算拨动前的垃圾堆放图像中包括的垃圾目标的名称与拨动后的垃圾堆放图像中包括的垃圾目标的名称的并集；

根据预先设定的垃圾名称与垃圾类别的对应关系，确定所述并集中的垃圾目标的名称对应的垃圾类别。

3.根据权利要求1所述的方法，其特征在于，当检测有待核验垃圾时，采集垃圾投放人员图像，包括：

当检测平台检测有待核验垃圾时，通过摄像头采集垃圾投放人员图像；

或者，当升降机构检测有待核验垃圾时，通过摄像头采集垃圾投放人员图像；

或者，当设置在垃圾投放区域入口的检测机构检测到人员靠近时，通过摄像头采集垃圾投放人员图像。

4.根据权利要求1所述的方法，其特征在于，启动打开装置对待核验垃圾进行打开操作，包括：

通过割划装置对垃圾袋的第一侧执行割划操作；

通过提拎装置在垃圾袋的第二侧进行提拎，将垃圾袋中的物品倾倒在检测平台。

5.根据权利要求1所述的方法，其特征在于，在探测到有待检测垃圾之后，所述方法还包括：

关闭垃圾投放口，使待核验垃圾处于封闭空间；

开启喷淋装置，对所述待核验垃圾所在的封闭空间执行喷淋操作。

6.根据权利要求1所述的方法，其特征在于，采集传送装置所传送的垃圾的堆放信息之前，所述方法还包括：

通过设置在图像采集装置之前的第一喷头组对所述待核验垃圾进行清洗操作，所述第一喷头组的喷淋强度大于设置在图像采集装置之后的第二喷头组的喷淋强度。

7.根据权利要求1所述的方法，其特征在于，在关联垃圾分类结果和所采集的垃圾投放人员图像之后，所述方法还包括：

根据用户的分类结果中的错误分类，以及错误分类的种类的明显程度所对应的扣分权值，确定用户的得分；

将用户的错误分类的操作内容和/或得分发送至用户。

8.一种基于图像识别的厨余垃圾分类设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。