CN113378868A - 垃圾分拣方法和装置、服务器、计算机可读存储介质 - Google Patents

垃圾分拣方法和装置、服务器、计算机可读存储介质 Download PDF

Info

Publication number
CN113378868A
CN113378868A CN202010116997.2A CN202010116997A CN113378868A CN 113378868 A CN113378868 A CN 113378868A CN 202010116997 A CN202010116997 A CN 202010116997A CN 113378868 A CN113378868 A CN 113378868A
Authority
CN
China
Prior art keywords
garbage
target
rubbish
sorted
target garbage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010116997.2A
Other languages
English (en)
Inventor
郭明坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010116997.2A priority Critical patent/CN113378868A/zh
Publication of CN113378868A publication Critical patent/CN113378868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种垃圾分拣方法和装置、服务器、计算机可读存储介质，包括：采集待分拣垃圾的图像，从待分拣垃圾的图像中识别出目标垃圾，对目标垃圾所在区域进行分割和定位，得到目标垃圾所在区域及目标垃圾所在区域的定位。对目标垃圾进行分类，得到目标垃圾所属的类别。根据目标垃圾所在区域的定位及目标垃圾所属的类别，控制执行机构对目标垃圾进行分拣。从待分拣垃圾的图像中识别出目标垃圾所在区域的定位及目标垃圾所属的类别，然后由执行机构根据目标垃圾所在区域的定位抓取到目标垃圾，并将按照目标垃圾所属的类别将目标垃圾投放至对应的垃圾回收处对垃圾实行了分拣。采用本方法用机器替代了传统人工分拣方式提高了分拣的效率，降低了成本。

Description

垃圾分拣方法和装置、服务器、计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种垃圾分拣方法和装置、服务器、计算机可读存储介质。
背景技术
随着工业化的不断发展，人们的生活水平和质量逐渐提高，市场上的产品越来越琳琅满目。因此，消费了产品之后随之所产生的垃圾也越来越多。目前垃圾收集之后，多采用填埋或焚烧的方式进行处理，对垃圾的回收利用率很低，造成了资源的浪费。随着国家对环保事业的重视，现在垃圾分类、再回收也同样被重视起来。垃圾分类是一项很有意义的事情，垃圾分类能有效节约原生资源，改善环境质量，带动绿色发展，引领绿色生活。但是现在国内垃圾分选厂的垃圾分选精度较差，自动化程度较低，导致垃圾分选的投入产出比过低，同时垃圾在堆放中所释放的有害气味影响环境卫生。因此，急需改善当前的垃圾处理状况。
发明内容
本申请实施例提供一种垃圾分拣方法、装置、服务器、计算机可读存储介质，可以提高垃圾分拣的效率。
一种垃圾分拣方法，包括：
采集待分拣垃圾的图像；
从所述待分拣垃圾的图像中识别出目标垃圾，对所述目标垃圾所在区域进行分割和定位，得到所述目标垃圾所在区域及所述目标垃圾所在区域的定位；
对所述目标垃圾进行分类，得到所述目标垃圾所属的类别；
根据所述目标垃圾所在区域的定位及所述目标垃圾所属的类别，控制执行机构对所述目标垃圾进行分拣。
在其中一个实施例中，所述对所述待分拣垃圾的图像中目标垃圾所在区域进行分割和定位，得到所述目标垃圾所在区域及所述目标垃圾所在区域的定位，包括：
通过预设卷积神经网络卷积神经网络，对所述待分拣垃圾的图像中目标垃圾所在区域进行分割，得到所述目标垃圾所在区域；
对所述目标垃圾所在区域进行定位，得到所述目标垃圾所在区域的定位。在其中一个实施例中，所述预设卷积神经网络的生成过程，包括：
在第一操作系统中构建初始卷积神经网络；
将所述初始卷积神经网络转化成指定数据结构协议可读的二进制流文件，所述指定数据结构协议可读的二进制流文件可通过第二操作系统中的接口调用；
通过第二操作系统中的接口调用所述指定数据结构协议可读的二进制流文件，以在第二操作系统中运行所述初始卷积神经网络；
将训练集中待分拣垃圾的图像、所述待分拣垃圾的图像中所述目标垃圾所在区域及所述目标垃圾所在区域的定位，输入至所述初始卷积神经网络进行训练，得出预设卷积神经网络。
在其中一个实施例中，所述预设卷积神经网络的生成过程，还包括：
对所述预设卷积神经网络的网络结构进行网络剪枝，得到网络剪枝后的预设卷积神经网络。
在其中一个实施例中，所述对所述目标垃圾进行分类，得到所述目标垃圾所属的类别，包括：
通过预设残差网络对所述目标垃圾进行分类，得到所述目标垃圾所属的类别。
在其中一个实施例中，所述预设残差网络的生成过程，包括：
在第一操作系统中构建初始残差网络；
将所述初始残差网络转化成指定数据结构协议可读的二进制流文件；
通过第二操作系统中的接口调用所述指定数据结构协议可读的二进制流文件，以在第二操作系统中运行所述初始残差网络；
将训练集中待分拣垃圾的图像中目标垃圾所在区域、所述目标垃圾所属的标注类别，输入至所述初始残差网络进行训练，得出预设残差网络。
在其中一个实施例中，所述将训练集中待分拣垃圾的图像中目标垃圾所在区域、所述目标垃圾所属的标注类别，输入至所述初始残差网络进行训练，得出预设残差网络，包括：
将训练集中待分拣垃圾的图像中每一组目标垃圾所在区域、所述目标垃圾所属的标注类别，输入至所述初始残差网络进行训练，得到所述目标垃圾所属的训练类别；
将每一组所述目标垃圾所属的标注类别、所述目标垃圾所属的训练类别输入预设损失函数计算损失值，根据所述损失值对所述初始残差网络的参数进行调整，得到预设残差网络。
在其中一个实施例中，所述采集待分拣垃圾的图像，包括：
从垃圾分拣流水线上采集待分拣垃圾的图像。
一种垃圾分拣装置，包括：
待分拣垃圾的图像采集模块，用于采集待分拣垃圾的图像；
目标垃圾分割和定位模块，用于对所述待分拣垃圾的图像中目标垃圾所在区域进行分割和定位，得到所述目标垃圾所在区域及所述目标垃圾所在区域的定位；
目标垃圾分类模块，用于对所述目标垃圾进行分类，得到所述目标垃圾所属的类别；
目标垃圾分拣模块，用于根据所述目标垃圾所在区域的定位及所述目标垃圾所属的类别，控制执行机构对所述目标垃圾进行分拣。
一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。
上述垃圾分拣方法、装置、服务器、计算机可读存储介质，采集待分拣垃圾的图像，从待分拣垃圾的图像中识别出目标垃圾，对目标垃圾所在区域进行分割和定位，得到目标垃圾所在区域及目标垃圾所在区域的定位。对目标垃圾进行分类，得到目标垃圾所属的类别。根据目标垃圾所在区域的定位及目标垃圾所属的类别，控制执行机构对目标垃圾进行分拣。从待分拣垃圾的图像中识别出目标垃圾所在区域的定位及目标垃圾所属的类别，然后由执行机构根据目标垃圾所在区域的定位抓取到目标垃圾，并将按照目标垃圾所属的类别将目标垃圾投放至对应的垃圾回收处对垃圾实行了分拣。采用本方法用机器替代了传统的人工分拣方式，大大提高了分拣的效率，降低了成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中垃圾分拣方法的应用环境图；
图2为一个实施例中垃圾分拣方法的流程图；
图3为图2中对目标垃圾所在区域进行分割和定位方法的流程图；
图4为一个实施例中预设卷积神经网络的生成过程的流程图；
图5为一个实施例中预设残差网络的生成过程的流程图；
图6为一个实施例中垃圾分拣装置的结构框图；
图7为另一个实施例中垃圾分拣装置的结构框图；
图8为图7中预设卷积神经网络的生成模块的结构框图；
图9为一个实施例中服务器的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
图1为一个实施例中垃圾分拣方法的应用环境示意图。如图1所示，该应用环境包括相机120、服务器140及分拣装置160，该相机120具有拍照功能，可以采集待分拣垃圾的图像。服务器140接收相机拍摄的待分拣垃圾的图像后，从待分拣垃圾的图像中识别出目标垃圾，对目标垃圾所在区域进行分割和定位，得到目标垃圾所在区域及目标垃圾所在区域的定位；对目标垃圾进行分类，得到目标垃圾所属的类别。分拣装置160包括驱动机构和执行机构，再由驱动机构根据目标垃圾所在区域的定位及目标垃圾所属的类别，控制执行机构对目标垃圾进行分拣。可以理解的是，垃圾分拣方法可以使用到垃圾回收站、垃圾处理厂或集中存放垃圾箱的地方等，当然本申请对此不做限定。上述相机120可以是工业相机、普通相机等，当然，在上述应用环境中，也可以没有服务器，相机自身可以实现对待分拣垃圾的图像中识别出目标垃圾，对目标垃圾所在区域进行分割和定位，得到目标垃圾所在区域及目标垃圾所在区域的定位；对目标垃圾进行分类，得到目标垃圾所属的类别。
图2为一个实施例中垃圾分拣方法的流程图，如图2所示，垃圾分拣方法包括步骤220至步骤280，应用于服务器。
步骤220，采集待分拣垃圾的图像。
通过相机采集待分拣垃圾的图像，然后将所采集的图像上传至服务器。这里的相机可以安装在垃圾回收站、垃圾处理厂或集中存放垃圾箱的地方等，还可以是安装在垃圾分拣流水线的上方或侧方，用于对需要分拣的垃圾进行拍照。
步骤240，从待分拣垃圾的图像中识别出目标垃圾，对目标垃圾所在区域进行分割和定位，得到目标垃圾所在区域及目标垃圾所在区域的定位。
首先，服务器对待分拣垃圾的图像进行归一化处理，再采用图像识别技术从归一化处理后的待分拣垃圾的图像中识别出目标垃圾。其中，归一化处理的过程为：先对所采集到的RGB图像进行缩小，例如缩小至512×512尺寸的图像；然后将缩小后的图像进行像素归一化处理，其中，归一化处理的公式如下：g(x,y)＝((f(x,y)/255.0)-0.5)*2，其中，f(x,y)指在图像(x,y)位置的像素值；g(x,y)指在归一化后的图像(x,y)位置上的像素值。此时将图像的像素值约束在[-1,1]之间，从而可以加快后续神经网络收敛的速度。目标垃圾定义为可回收垃圾、有价值的垃圾。其中，对于不同来源的垃圾中所包含的目标垃圾一般是不同的，例如，对于建筑垃圾，其中所包含的目标垃圾一般是钢材、塑料、木头等可回收、有价值的垃圾。而对于生活垃圾，则其中所包含的目标垃圾一般是废纸箱、塑料瓶、玻璃瓶、金属、织物等可回收、有价值的垃圾。
因此，根据垃圾的不同来源，采用图像识别技术从归一化处理后的待分拣垃圾的图像中识别出对应的目标垃圾。其中，不同来源的垃圾指的是从不同的地方运输来的垃圾，比如说从小区运输来的垃圾，默认为生活垃圾，其中的目标垃圾就可能是废纸箱、塑料瓶、玻璃瓶、金属、织物等可回收、有价值的垃圾。而从建筑工地运输来的垃圾默认是建筑垃圾，其中所包含的目标垃圾一般是钢材、塑料、木头等可回收、有价值的垃圾。可以在将垃圾运输来的时候，就将不同的来源的垃圾堆放在不同的地方，以便后续进行垃圾分类。然后，通过卷积神经网络，对待分拣垃圾的图像进行分割得到目标垃圾所在区域，再对目标垃圾所在区域进行定位，得到目标垃圾所在区域的定位。
步骤260，对目标垃圾进行分类，得到目标垃圾所属的类别。
在上述得到了目标垃圾所在区域之后，服务器对其中的目标垃圾进行定位，例如将垃圾用矩形框框出来。以上从待分拣垃圾的图像中识别出目标垃圾，对目标垃圾所在区域进行分割和定位，及从目标垃圾所在区域中对目标垃圾进行定位，也可以由智能相机来实现，本申请对此不做限定。然后，对目标垃圾进行分类，得到目标垃圾所属的类别。具体为，对目标垃圾所在区域进行识别，识别出目标垃圾是什么垃圾，例如，若识别出目标垃圾是塑料瓶，然后对该目标垃圾进行分类，得到目标垃圾所属的类别为塑料。例如，若识别出目标垃圾是废纸箱，然后对该目标垃圾进行分类，得到目标垃圾所属的类别为纸品。具体可以参考下表进行分类，当然这只是行业内的一个标准，实际中还可以参考其他标准进行分类。
表1 垃圾分类表
Figure BDA0002391798450000081
步骤280，根据目标垃圾所在区域的定位及目标垃圾所属的类别，控制执行机构对目标垃圾进行分拣。
在上述得到了目标垃圾所在区域的定位及目标垃圾所属的类别之后，服务器对驱动机构发出指令，控制执行机构根据目标垃圾所在区域的定位抓取到目标垃圾，然后根据目标垃圾所属的类别投放至对应的回收处，就完成了对目标垃圾的分拣。
本申请实施例中，采集待分拣垃圾的图像，从待分拣垃圾的图像中识别出目标垃圾，对目标垃圾所在区域进行分割和定位，得到目标垃圾所在区域及目标垃圾所在区域的定位。对目标垃圾进行分类，得到目标垃圾所属的类别。根据目标垃圾所在区域的定位及目标垃圾所属的类别，控制执行机构对目标垃圾进行分拣。从待分拣垃圾的图像中识别出目标垃圾所在区域的定位及目标垃圾所属的类别，然后由执行机构根据目标垃圾所在区域的定位抓取到目标垃圾，并将按照目标垃圾所属的类别将目标垃圾投放至对应的垃圾回收处对垃圾实行了分拣。采用本方法用机器替代了传统的人工分拣方式，大大提高了分拣的效率，降低了成本。
在一个实施例中，如图3所示，步骤240，对待分拣垃圾的图像中目标垃圾所在区域进行分割和定位，得到目标垃圾所在区域及目标垃圾所在区域的定位，包括：
步骤242，通过预设卷积神经网络，对待分拣垃圾的图像中目标垃圾所在区域进行分割，得到目标垃圾所在区域；
步骤244，对目标垃圾所在区域进行定位，得到目标垃圾所在区域的定位。
具体的，预设卷积神经网络为掩膜基于区域的卷积神经网络Mask R-CNN(MaskRegion-based Convolutional Neural Network)。Mask R-CNN是一个实例分割(Instancesegmentation)算法，通过增加不同的分支，可以完成目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务，灵活而强大。
预设Mask R-CNN中包括101层的残差网络，将归一化处理后的待分拣垃圾的图像输入至训练好的预设Mask R-CNN进行处理。具体包括以下步骤：
a、将图像输入至101层的残差网络进行特征提取，并形成特征图；
b、通过特征图形成特征向量；
c、根据特征向量就可以进行区域分割，得到目标垃圾所在区域；
d、对目标垃圾所在区域进行定位，得到目标垃圾所在区域的定位。
本申请实施例中，通过训练好的预设Mask R-CNN，对待分拣垃圾的图像中目标垃圾所在区域进行分割，得到目标垃圾所在区域。再对目标垃圾所在区域进行定位，得到目标垃圾所在区域的定位。计算出了目标垃圾所在区域及目标垃圾所在区域的定位，就可以进而实现用机器替代了传统的人工分拣方式，大大提高了分拣的效率，降低了成本。
在一个实施例中，如图4所示，预设卷积神经网络的生成过程，包括：
步骤410，在第一操作系统中构建初始卷积神经网络。
其中，第一操作系统指的是Linux操作系统，初始卷积神经网络指的是初始MaskR-CNN。在Linux操作系统中通过TensorFlow构建初始Mask R-CNN。其中，TensorFlow是谷歌开源的神经网络框架，TensorFlow中包括Mask R-CNN这种卷积神经网络。当然，这里的第一操作系统也可以指的是其他操作系统，本申请对此不作限定。
步骤430，将初始卷积神经网络转化成指定数据结构协议可读的二进制流文件，指定数据结构协议可读的二进制流文件能够被第二操作系统中的接口调用。
其中，第二操作系统指的是Windows操作系统。当然，这里的第二操作系统也可以指的是其他操作系统，本申请对此不作限定。指定数据结构协议可读的二进制流文件指的是protobuf(简称pb)协议可读的二进制流文件，即pb文件。protobuf是google的一种数据交换的格式，独立于语言，独立于平台。google提供了多种语言的实现：java、c#、c++、go和python，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用xml进行数据交换快许多。可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换。作为一种效率和兼容性都很优秀的二进制数据传输格式，可以用于诸如网络传输、配置文件、数据存储等诸多领域。
上述所构建的初始Mask R-CNN是运行Linux操作系统中，但是本垃圾分拣方法是在Windows操作系统中实现的，因此，需要将所构建的初始Mask R-CNN进行跨平台迁移。且因为Tensorflow的实现语言是python，python虽然是一个跨平台的语言，但是运行效率和C++相比较，速度非常慢，所以需要摒弃python。但是，如果重新根据TensorFlow C++的基础接口(API，Application Programming Interface)重新构建训练的网络，这是不能实现的，原因如下，第一，谷歌没有完整维护C++的API，因此不可能得到完整的转换；第二，重写C++底层费时费力。
因此，提出了一种采用pb文件，将TensorFlow中利用python所构造的初始Mask R-CNN固化到pb文件中。因为pb文件是一种通过protobuf协议可读的二进制流文件，且protobuf协议是一种跨平台的协议，将在Linux操作系统中所构建的初始卷积神经网络转化成pb文件，pb文件能够被Windows操作系统中C++的接口调用。这样就实现了将在Linux操作系统中所构建的初始Mask R-CNN，从Linux操作系统迁移至Windows操作系统。将初始卷积神经网络转化成pb文件，pb文件能够被第二操作系统中的接口调用。
步骤450，通过第二操作系统中的接口调用指定数据结构协议可读的二进制流文件，以在第二操作系统中运行初始卷积神经网络。
因为，已经将初始Mask R-CNN从Linux操作系统，迁移至Windows操作系统。所以就可以通过Windows操作系统中C++的接口调用指定数据结构协议可读的二进制流文件，以在Windows操作系统中运行初始卷积神经网络。
步骤470，将训练集中待分拣垃圾的图像、待分拣垃圾的图像中目标垃圾所在区域及目标垃圾所在区域的定位，输入至初始卷积神经网络进行训练，得出预设卷积神经网络。
在Windows操作系统中运行初始卷积神经网络之后，就可以将归一化处理后的待分拣垃圾的图像、经过人工标注所得到的待分拣垃圾的图像中目标垃圾所在区域及目标垃圾所在区域的定位，输入至初始卷积神经网络进行训练，得出预设卷积神经网络。
其中，预先通过人工标注或机器标注的方式，对训练集中待分拣垃圾的图像中目标垃圾所在区域进行分割得到目标垃圾所在区域。具体为，通过人工对待分拣垃圾的图像进行像素标注得到像素标注图像，再进而得到目标垃圾所在区域。然后，再对目标垃圾所在区域进行定位，得到目标垃圾所在区域的定位。其中，目标垃圾所在区域的定位可以是目标垃圾所在区域的中心点处的坐标。
其中，训练的具体过程包括以下步骤：
a、将图像输入至101层的残差网络进行特征提取，并形成特征图；
b、通过特征图形成特征向量；
c、把特征向量和人工标定的目标垃圾所在区域的中心点处的坐标进行回归计算，回归计算的公式如下：
L＝|y-yi|，其中y指人工标定的目标垃圾所在区域的中心点处的坐标，yi指特征向量，通过使L最小化，最终使得y＝yi，最后训练出的卷积神经网络所输出的结果就和人工标定的一致，通过回归计算不断对卷积神经网络的参数进行调整。；
d、把a中的特征图和人工进行像素标注所得出的像素标注图像进行回归计算，回归计算的公式和c中的一样，最终得到分割的区域，即目标垃圾所在区域。通过回归计算不断对卷积神经网络的参数进行调整。
最终，所训练出的卷积神经网络即为预设卷积神经网络。
本申请实施例中，因为pb文件是一种通过protobuf协议可读的二进制流文件，且protobuf协议是一种跨平台的协议，将在Linux操作系统中所构建的初始卷积神经网络转化成pb文件，pb文件能够被Windows操作系统中的接口调用。这样就实现了将在Linux操作系统中所构建的初始Mask R-CNN，从Linux操作系统迁移至Windows操作系统。然后，在Windows操作系统中运行初始卷积神经网络，并在Windows操作系统中对该初始Mask R-CNN进行训练，得出预设Mask R-CNN。实现了将Mask R-CNN的跨平台迁移，在Windows操作系统中对该初始Mask R-CNN进行训练的目的。
接上一个实施例中，预设卷积神经网络的生成过程，还包括：
对预设卷积神经网络的网络结构进行网络剪枝，得到网络剪枝后的预设卷积神经网络。
本申请实施例中，对上述所得到的预设卷积神经网络-Mask R-CNN进行网络剪枝，即将Mask R-CNN的网络结构进行简化，把Mask R-CNN模型变小，使得通过Mask R-CNN模型更快地对待分拣垃圾的图像中目标垃圾所在区域进行分割，得到目标垃圾所在区域，且对目标垃圾所在区域进行定位，得到目标垃圾所在区域的定位。
在一个实施例中，对目标垃圾进行分类，得到目标垃圾所属的类别，包括：
通过预设残差网络对目标垃圾进行分类，得到目标垃圾所属的类别。
其中，残差网络(Residual Network)是由一系列残差块组成的。残差是指预测值和观测值之间的差距。具体为，对目标垃圾所在区域进行识别，识别出目标垃圾是什么垃圾，例如，若识别出目标垃圾是塑料瓶。然后对该目标垃圾进行分类，得到目标垃圾所属的类别为塑料。例如，若识别出目标垃圾是废纸箱。然后对该目标垃圾进行分类，得到目标垃圾所属的类别为纸品。以上的分类可以人为设定。
本申请实施例中，通过训练出的预设残差网络对目标垃圾进行分类，得到目标垃圾所属的类别，提高了传统的垃圾分类的准确性。
在一个实施例中，如图5所示，预设残差网络的生成过程，包括：
步骤510，在第一操作系统中构建初始残差网络；
步骤530，将初始残差网络转化成指定数据结构协议可读的二进制流文件；
步骤550，通过第二操作系统中的接口调用指定数据结构协议可读的二进制流文件，以在第二操作系统中运行初始残差网络；
步骤570，将训练集中待分拣垃圾的图像中目标垃圾所在区域、目标垃圾所属的标注类别，输入至初始残差网络进行训练，得出预设残差网络。
其中，第一操作系统指的是Linux操作系统，第二操作系统指的是Windows操作系统。初始残差网络指的是初始ResNet。在Linux操作系统中通过TensorFlow构建初始ResNet。指定数据结构协议可读的二进制流文件指的是protobuf(简称pb)协议可读的二进制流文件，即pb文件。进而将初始残差网络转化成pb文件。
因为pb文件是一种通过protobuf协议可读的二进制流文件，且protobuf协议是一种跨平台的协议，将在Linux操作系统中所构建的初始ResNet转化成pb文件，pb文件能够被Windows操作系统中C++的接口调用。这样就实现了将在Linux操作系统中所构建的初始ResNet，从Linux操作系统迁移至Windows操作系统。因为已经将初始残差网络转化成pb文件，pb文件能够被第二操作系统中的接口调用。
预先通过人工标注或机器标注的方式，对训练集中待分拣垃圾的图像中目标垃圾进行分类，得到目标垃圾所属的标注类别。通过Windows操作系统中C++的接口调用pb文件，以在Windows操作系统中运行初始ResNet。最后，将训练集中待分拣垃圾的图像中目标垃圾所在区域、目标垃圾所属的标注类别，输入至初始残差网络进行训练，得出预设残差网络。
本申请实施例中，预设残差网络的生成过程与预设卷积神经网络的生成过程类似，预设残差网络的生成过程为：将在Linux操作系统中所构建的初始残差网络，从Linux操作系统迁移至Windows操作系统。然后，在Windows操作系统中运行初始残差网络，并在Windows操作系统中对该初始残差网络进行训练，得出预设残差网络。实现了将残差网络的跨平台迁移，在Windows操作系统中对该初始残差网络进行训练的目的。
在一个实施例中，步骤590，将训练集中待分拣垃圾的图像中目标垃圾所在区域、目标垃圾所属的标注类别，输入至初始残差网络进行训练，得出预设残差网络，包括：
将训练集中待分拣垃圾的图像中每一组目标垃圾所在区域、目标垃圾所属的标注类别，输入至初始残差网络进行训练，得到目标垃圾所属的训练类别；
将每一组目标垃圾所属的标注类别、目标垃圾所属的训练类别输入预设损失函数计算损失值，根据损失值对初始残差网络的参数进行调整，得到预设残差网络。
本申请实施例中，预设损失函数为focal_loss(FL(pt)＝-at(1-pt)γlog(pt))，focal_loss能够减少类内差距，增大类间差距。所以，将训练集中待分拣垃圾的图像中每一组目标垃圾所在区域、目标垃圾所属的标注类别，输入至初始残差网络进行训练，得到目标垃圾所属的训练类别。再将每一组目标垃圾所属的标注类别、目标垃圾所属的训练类别输入focal_loss计算损失值，根据损失值对初始残差网络的参数进行调整，得到预设残差网络。提高了最终所得到的预设残差网络在进行分类时候的准确性。
在一个实施例中，采集待分拣垃圾的图像，包括：
通过相机从垃圾分拣流水线上采集待分拣垃圾的图像。
本申请实施例中，相机可以是安装在垃圾分拣流水线的上方或侧方，用于对需要分拣的垃圾进行拍照。然后，通过相机从垃圾分拣流水线上采集待分拣垃圾的图像。再将所采集的待分拣垃圾的图像传输至服务器上，由服务器进行后续的识别出目标垃圾所在区域及目标垃圾所在区域的定位，已经进行垃圾分类，并最终由服务器对驱动机构发出指令，控制执行机构根据目标垃圾所在区域的定位抓取到目标垃圾，然后根据目标垃圾所属的类别投放至对应的回收处，就完成了对目标垃圾的分拣。
在一个实施例中，预设卷积神经网络与预设残差网络中采用ResNet-101。
本申请实施例中，预设卷积神经网络与预设残差网络中均采用101层的残差网络即ResNet-101，采用101层的残差网络，既能够提高计算出的分类的准确性，同时也在一定程度上减少计算量。
在一个实施例中，如图6所示，一种垃圾分拣装置600，包括：待分拣垃圾的图像采集模块620、目标垃圾分割和定位模块640、目标垃圾分类模块660及目标垃圾分拣模块680，其中，
待分拣垃圾的图像采集模块620，用于采集待分拣垃圾的图像；
目标垃圾分割和定位模块640，用于对待分拣垃圾的图像中目标垃圾所在区域进行分割和定位，得到目标垃圾所在区域及目标垃圾所在区域的定位；
目标垃圾分类模块660，用于对目标垃圾进行分类，得到目标垃圾所属的类别；
目标垃圾分拣模块680，用于根据目标垃圾所在区域的定位及目标垃圾所属的类别，控制执行机构对目标垃圾进行分拣。
在一个实施例中，目标垃圾分割和定位模块640，包括：
目标垃圾所在区域分割单元，用于通过预设卷积神经网络，对待分拣垃圾的图像中目标垃圾所在区域进行分割得到目标垃圾所在区域；
目标垃圾所在区域定位单元，用于对目标垃圾所在区域进行定位，得到目标垃圾所在区域的定位。
在一个实施例中，如图7所示，提供了一种垃圾分拣装置600，还包括：预设卷积神经网络的生成模块690。其中，预设卷积神经网络的生成模块690，如图8所示，包括：
初始卷积神经网络构建单元691，用于在第一操作系统中构建初始卷积神经网络；
转化单元693，用于将初始卷积神经网络转化成指定数据结构协议可读的二进制流文件，指定数据结构协议可读的二进制流文件能够被第二操作系统中的接口调用；
初始卷积神经网络运行单元695，用于通过第二操作系统中的接口调用指定数据结构协议可读的二进制流文件，以在第二操作系统中运行初始卷积神经网络；
卷积神经网络训练单元697，用于将训练集中待分拣垃圾的图像、待分拣垃圾的图像中目标垃圾所在区域及目标垃圾所在区域的定位，输入至初始卷积神经网络进行训练，得出预设卷积神经网络。
在一个实施例中，目标垃圾分类模块660，还用于通过预设残差网络对目标垃圾进行分类，得到目标垃圾所属的类别。
在一个实施例中，提供了一种垃圾分拣装置600，还包括：预设残差网络的生成模块，用于在第一操作系统中构建初始残差网络；将初始残差网络转化成指定数据结构协议可读的二进制流文件；通过第二操作系统中的接口调用指定数据结构协议可读的二进制流文件，以在第二操作系统中运行初始残差网络；将训练集中待分拣垃圾的图像中目标垃圾所在区域、目标垃圾所属的标注类别，输入至初始残差网络进行训练，得出预设残差网络。
在一个实施例中，预设残差网络的生成模块，用于将训练集中待分拣垃圾的图像中每一组目标垃圾所在区域、目标垃圾所属的标注类别，输入至初始残差网络进行训练，得到目标垃圾所属的训练类别；将每一组目标垃圾所属的标注类别、目标垃圾所属的训练类别输入预设损失函数计算损失值，根据损失值对初始残差网络的参数进行调整，得到预设残差网络。
在一个实施例中，待分拣垃圾的图像采集模块620，还用于通过相机从垃圾分拣流水线上采集待分拣垃圾的图像。
在一个实施例中，预设卷积神经网络与预设残差网络中采用ResNet-101。
上述垃圾分拣装置中各个模块的划分仅用于举例说明，在其他实施例中，可将垃圾分拣装置按照需要划分为不同的模块，以完成上述垃圾分拣装置的全部或部分功能。
图9为一个实施例中服务器的内部结构示意图。如图9所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个服务器的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种垃圾分拣方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该服务器可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的垃圾分拣装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行垃圾分拣方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行垃圾分拣方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种垃圾分拣方法，其特征在于，包括：
采集待分拣垃圾的图像；
从所述待分拣垃圾的图像中识别出目标垃圾，对所述目标垃圾所在区域进行分割和定位，得到所述目标垃圾所在区域及所述目标垃圾所在区域的定位；
对所述目标垃圾进行分类，得到所述目标垃圾所属的类别；
根据所述目标垃圾所在区域的定位及所述目标垃圾所属的类别，控制执行机构对所述目标垃圾进行分拣。
2.根据权利要求1所述的方法，其特征在于，所述对所述待分拣垃圾的图像中目标垃圾所在区域进行分割和定位，得到所述目标垃圾所在区域及所述目标垃圾所在区域的定位，包括：
通过预设卷积神经网络，对所述待分拣垃圾的图像中目标垃圾所在区域进行分割得到所述目标垃圾所在区域；
对所述目标垃圾所在区域进行定位，得到所述目标垃圾所在区域的定位。
3.根据权利要求2所述的方法，其特征在于，所述预设卷积神经网络的生成过程，包括：
在第一操作系统中构建初始卷积神经网络；
将所述初始卷积神经网络转化成指定数据结构协议可读的二进制流文件，所述指定数据结构协议可读的二进制流文件能够被第二操作系统中的接口调用；
通过第二操作系统中的接口调用所述指定数据结构协议可读的二进制流文件，以在第二操作系统中运行所述初始卷积神经网络；
将训练集中待分拣垃圾的图像、所述待分拣垃圾的图像中所述目标垃圾所在区域及所述目标垃圾所在区域的定位，输入至所述初始卷积神经网络进行训练，得出预设卷积神经网络。
4.根据权利要求3所述的方法，其特征在于，所述预设卷积神经网络的生成过程，还包括：
对所述预设卷积神经网络的网络结构进行网络剪枝，得到网络剪枝后的预设卷积神经网络。
5.根据权利要求1所述的方法，其特征在于，所述对所述目标垃圾进行分类，得到所述目标垃圾所属的类别，包括：
通过预设残差网络对所述目标垃圾进行分类，得到所述目标垃圾所属的类别。
6.根据权利要求5所述的方法，其特征在于，所述预设残差网络的生成过程，包括：
在第一操作系统中构建初始残差网络；
将所述初始残差网络转化成指定数据结构协议可读的二进制流文件；
通过第二操作系统中的接口调用所述指定数据结构协议可读的二进制流文件，以在第二操作系统中运行所述初始残差网络；
将训练集中待分拣垃圾的图像中目标垃圾所在区域、所述目标垃圾所属的标注类别，输入至所述初始残差网络进行训练，得出预设残差网络。
7.根据权利要求6所述的方法，其特征在于，所述将训练集中待分拣垃圾的图像中目标垃圾所在区域、所述目标垃圾所属的标注类别，输入至所述初始残差网络进行训练，得出预设残差网络，包括：
将训练集中待分拣垃圾的图像中每一组目标垃圾所在区域、所述目标垃圾所属的标注类别，输入至所述初始残差网络进行训练，得到所述目标垃圾所属的训练类别；
将每一组所述目标垃圾所属的标注类别、所述目标垃圾所属的训练类别输入预设损失函数计算损失值，根据所述损失值对所述初始残差网络的参数进行调整，得到预设残差网络。
8.根据权利要求1所述的方法，其特征在于，所述采集待分拣垃圾的图像，包括：
通过相机从垃圾分拣流水线上采集待分拣垃圾的图像。
9.一种垃圾分拣装置，其特征在于，包括：
待分拣垃圾的图像采集模块，用于采集待分拣垃圾的图像；
目标垃圾分割和定位模块，用于对所述待分拣垃圾的图像中目标垃圾所在区域进行分割和定位，得到所述目标垃圾所在区域及所述目标垃圾所在区域的定位；
目标垃圾分类模块，用于对所述目标垃圾进行分类，得到所述目标垃圾所属的类别；
目标垃圾分拣模块，用于根据所述目标垃圾所在区域的定位及所述目标垃圾所属的类别，控制执行机构对所述目标垃圾进行分拣。
10.一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的垃圾分拣方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的垃圾分拣方法的步骤。
CN202010116997.2A 2020-02-25 2020-02-25 垃圾分拣方法和装置、服务器、计算机可读存储介质 Pending CN113378868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010116997.2A CN113378868A (zh) 2020-02-25 2020-02-25 垃圾分拣方法和装置、服务器、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010116997.2A CN113378868A (zh) 2020-02-25 2020-02-25 垃圾分拣方法和装置、服务器、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113378868A true CN113378868A (zh) 2021-09-10

Family

ID=77569243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010116997.2A Pending CN113378868A (zh) 2020-02-25 2020-02-25 垃圾分拣方法和装置、服务器、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113378868A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4002806A1 (de) * 1990-01-31 1991-08-01 Edelhoff Polytechnik Vorrichtung zum sortieren von abfaellen
JP2002119943A (ja) * 2000-04-28 2002-04-23 Nkk Corp 廃棄物の資源化方法及びその資源化施設
CN109834063A (zh) * 2019-04-11 2019-06-04 苏州嘉诺环境工程有限公司 垃圾分选系统及垃圾分选方法
CN209792032U (zh) * 2019-04-11 2019-12-17 苏州嘉诺环境工程有限公司 基于视觉及智能识别技术的垃圾分选系统
CN110738131A (zh) * 2019-09-20 2020-01-31 广州游艺云物联网技术有限公司 基于深度学习神经网络的垃圾分类管理方法及装置
CN110743818A (zh) * 2019-11-29 2020-02-04 苏州嘉诺环境工程有限公司 基于视觉及深度学习的垃圾分选系统、垃圾分选方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4002806A1 (de) * 1990-01-31 1991-08-01 Edelhoff Polytechnik Vorrichtung zum sortieren von abfaellen
JP2002119943A (ja) * 2000-04-28 2002-04-23 Nkk Corp 廃棄物の資源化方法及びその資源化施設
CN109834063A (zh) * 2019-04-11 2019-06-04 苏州嘉诺环境工程有限公司 垃圾分选系统及垃圾分选方法
CN209792032U (zh) * 2019-04-11 2019-12-17 苏州嘉诺环境工程有限公司 基于视觉及智能识别技术的垃圾分选系统
CN110738131A (zh) * 2019-09-20 2020-01-31 广州游艺云物联网技术有限公司 基于深度学习神经网络的垃圾分类管理方法及装置
CN110743818A (zh) * 2019-11-29 2020-02-04 苏州嘉诺环境工程有限公司 基于视觉及深度学习的垃圾分选系统、垃圾分选方法

Similar Documents

Publication Publication Date Title
CN108345889B (zh) 一种利用树莓派对通信机柜进行示数识别的应用方法
CN110610201B (zh) 厨余回收分类方法、系统、移动终端及存储介质
Nafiz et al. Convowaste: An automatic waste segregation machine using deep learning
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
Brintha et al. Automatic classification of solid waste using deep learning
CN110516625A (zh) 一种垃圾识别分类的方法、系统、终端及存储介质
Patil et al. Garbage classifying application using deep learning techniques
Huiyu et al. Automatic classifications and recognition for recycled garbage by utilizing deep learning technology
Yu A computer vision based detection system for trash bins identification during trash classification
CN108491937A (zh) 再生资源云平台回收系统及其回收方法
Mitra Detection of waste materials using deep learning and image processing
CN113378868A (zh) 垃圾分拣方法和装置、服务器、计算机可读存储介质
CN113971746B (zh) 基于单次人手示教的垃圾分类方法、装置及分拣智能系统
Yang et al. An application case of object detection model based on Yolov3-SPP model pruning
Lam et al. Using artificial intelligence and IoT for constructing a smart trash bin
Md et al. Intelligent waste sorting bin for recyclable municipal solid waste
Muthukumaran et al. Design and Analysis of AI based Autonomous Waste Segregator using Deep Learning
Yeaminul Islam et al. Computer vision-based waste detection and classification for garbage management and recycling
Salunke et al. Comparative Analysis of Deep Learning Architectures for Garbage Classification
CN114283442A (zh) 一种二次接线图智能识别方法、装置及存储介质
CN112875077A (zh) 一种大型垃圾站用垃圾分类方法和分类系统
Tatke et al. Hybrid approach of garbage classification using computer vision and deep learning
Kaur et al. Cnn-based smart waste management system in fog computing environment
Gupta Trash Image Classification system using machine learning and deep learning algorithms
Nair et al. An Automated System for Waste Segregation Using Deep Learning Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination