CN109201514B - 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统 - Google Patents

垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统 Download PDF

Info

Publication number
CN109201514B
CN109201514B CN201710558594.1A CN201710558594A CN109201514B CN 109201514 B CN109201514 B CN 109201514B CN 201710558594 A CN201710558594 A CN 201710558594A CN 109201514 B CN109201514 B CN 109201514B
Authority
CN
China
Prior art keywords
rubbish
sorted
detection image
image
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710558594.1A
Other languages
English (en)
Other versions
CN109201514A (zh
Inventor
曾起
张丽杰
耿立华
严寒
马希通
赵天月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710558594.1A priority Critical patent/CN109201514B/zh
Priority to PCT/CN2018/073809 priority patent/WO2019000929A1/zh
Priority to US16/076,451 priority patent/US11446706B2/en
Publication of CN109201514A publication Critical patent/CN109201514A/zh
Application granted granted Critical
Publication of CN109201514B publication Critical patent/CN109201514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/30—Administration of product recycling or disposal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Sustainable Development (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统。该垃圾分类回收方法包括：获取待分类垃圾的第一检测图像；使用深度学习神经网络处理第一检测图像以判断待分类垃圾是否与可回收垃圾相匹配，如果是，则发出第一控制信号，以控制将待分类垃圾送入回收区；如果不是，则发出第二控制信号，以控制将待分类垃圾送入非回收区。该垃圾分类回收方法采用深度学习神经网络的方法对待分类垃圾进行实时检测识别，并自动分类回收，从而提高待分类垃圾的识别准确率，减少垃圾回收中心的工作人员的分类回收工作，提高垃圾分类回收的效率，降低垃圾分类回收的成本。

Description

垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统
技术领域
本公开的实施例涉及一种垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统。
背景技术
随着社会的进步，人们的生活水平和质量逐渐提高，能够消费的东西也日益增多，因此产生的垃圾也越来越多，垃圾主要采用填埋和焚烧等办法进行处理。
为了有效地减少垃圾的处理量，减缓对地球资源的消耗，可以对垃圾中可回收的垃圾进行分类回收再利用。目前，可回收垃圾的分类回收方法主要包括人工拣选、风选等，其人工成本高、处理速度慢、效率低。
发明内容
本公开至少一实施例提供一种垃圾分类回收方法，其包括：获取待分类垃圾的第一检测图像；使用深度学习神经网络处理所述第一检测图像以判断所述待分类垃圾是否与可回收垃圾相匹配，如果是，则发出第一控制信号，以控制将所述待分类垃圾送入回收区；如果不是，则发出第二控制信号，以控制将所述待分类垃圾送入非回收区。
本公开至少一实施例还提供一种垃圾分类装置，其包括：回收区、非回收区、图像采集设备以及终端控制器。所述图像采集设备被配置为采集待分类垃圾的第一检测图像和/或第二检测图像；所述终端控制器被配置为发送所述第一检测图像和/或所述第二检测图像，且还被配置为接收控制信号并根据所述控制信号控制将所述待分类垃圾送入所述回收区或所述非回收区。
本公开至少一实施例还提供一种垃圾分类回收系统，其包括：控制装置和上述任一项所述的垃圾分类装置。所述控制装置包括：处理器和存储器，所述存储器存储有适于由所述处理器运行的计算机程序，所述计算机程序由所述处理器运行以执行如下步骤：获取所述第一检测图像；使用深度学习神经网络处理所述第一检测图像以判断所述待分类垃圾是否与可回收垃圾相匹配，如果是，则发出第一控制信号至所述垃圾分类装置，以控制将所述待分类垃圾送入所述回收区；如果不是，则发出第二控制信号至所述垃圾分类装置，以控制将所述待分类垃圾送入所述非回收区。
本公开至少一实施例提供一种垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统，采用深度学习神经网络的方法对待分类垃圾进行实时检测识别，并自动分类回收，从而提高待分类垃圾的识别准确率，减少垃圾回收中心的工作人员的分类回收工作，提高垃圾分类回收的效率，降低垃圾分类回收的成本。
需要理解的是本公开的上述概括说明和下面的详细说明都是示例性和解释性的，用于进一步说明所要求的发明。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1A为本公开一实施例提供的一种垃圾分类回收方法的一个示例的示意性流程图；
图1B为本公开一实施例提供的一种垃圾分类回收方法的另一个示例的示意性流程图；
图2为本公开一实施例提供的一种深度学习神经网络的训练过程以及检测过程的示意性流程图；
图3A为本公开一实施例提供的一种垃圾分类装置的示意性框图；
图3B为本公开一实施例提供的一种垃圾分类装置的结构示意图；
图4为本公开一实施例提供的一种垃圾分类回收系统的示意性框图；以及
图5为本公开一实施例提供的一种垃圾分类回收系统的示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
在生活中，人们每天都会产生大量的生活垃圾，为了对资源进行回收再利用，可以对垃圾中可回收的垃圾进行分类回收。通常，需要将所有垃圾运送到垃圾站，再由垃圾回收中心的工作人员对垃圾进行人工分类回收，因此垃圾分类回收效率低、成本高。
垃圾桶广泛应用于沙滩、车站、图书馆、学校等各种不同的区域，在不同的区域，垃圾桶接收不同的垃圾，从而根据不同的区域需要对不同类型的可回收垃圾进行分类回收。例如，在图书馆、学校等区域，需要回收废纸等可回收垃圾；而在沙滩、车站等区域，需要回收塑料瓶等可回收垃圾。为了减少垃圾回收中心的工作人员的分类回收工作，可以在垃圾桶处对可回收垃圾进行自动分类，提高垃圾分类回收的效率。
本公开至少一实施例提供一种垃圾分类回收方法，其包括：获取待分类垃圾的第一检测图像；使用深度学习神经网络处理第一检测图像以判断待分类垃圾是否与可回收垃圾相匹配，如果是，则发出第一控制信号，以控制将待分类垃圾送入回收区；如果不是，则发出第二控制信号，以控制将待分类垃圾送入非回收区。该垃圾分类回收方法采用深度学习神经网络的方法对待分类垃圾进行实时检测识别，并自动分类回收，从而提高待分类垃圾的识别准确率，减少垃圾回收处理中心的工作人员的分类回收工作，提高垃圾分类回收的效率，降低垃圾分类回收的成本。
下面对本公开的几个实施例进行详细说明，但是本公开并不限于这些具体的实施例。
实施例一
本实施例提供一种垃圾分类回收方法。图1A示出了本实施例提供的垃圾分类回收方法的一个示例的示意性流程图，图1B示出了本实施例提供的垃圾分类回收方法的另一个示例的示意性流程图。
例如，如图1A所示，在一个示例中，本实施例提供的垃圾分类回收方法可以包括以下操作：
S1：获取待分类垃圾的第一检测图像；
S2：使用深度学习神经网络处理第一检测图像以判断待分类垃圾是否与可回收垃圾相匹配；
如果是，执行操作S3：发出第一控制信号，以控制将待分类垃圾送入回收区；
如果不是，执行操作S4：发出第二控制信号，以控制将待分类垃圾送入非回收区。
本实施例提供的垃圾分类回收方法采用深度学习神经网络的方法对待分类垃圾进行实时检测识别，并自动分类回收，从而提高待分类垃圾的识别准确率，减少垃圾回收处理中心的工作人员的分类回收工作，提高垃圾分类回收的效率，降低垃圾分类回收的成本。
例如，该垃圾分类回收方法可以在服务器端(或云端)执行。例如，服务器端(或云端)可以发出图像采集信号，并将该图像采集信号传输至垃圾分类装置，垃圾分类装置根据所接收到的图像采集信号采集待分类垃圾的检测图像，并将该检测图像传输至服务器端(或云端)。或者，垃圾分类装置也可以定时向服务器端(或云端)传输待分类垃圾的检测图像。然后服务器端(或云端)使用深度学习神经网络处理所接收的检测图像以判断待分类垃圾是否与可回收垃圾相匹配，根据判断结果，服务器端(或云端)发出控制信号，并将该控制信号传输至垃圾分类装置，以控制垃圾分类装置将待分类垃圾送入指定区域。需要说明的是，服务器端(或云端)可以自动发出控制信号；或者，后台用户也可以人工控制服务器端(或云端)发出控制信号。
本实施例提供的垃圾分类回收方法在垃圾分类装置处仅需采集待分类垃圾的检测图像，并将采集到的检测图像传输到服务器端(或云端)，由服务器端(或云端)进行图像识别与检测，因此无需在垃圾分类装置处设置特殊的硬件和复杂的软件，易于垃圾分类装置的维护和普及。
需要说明的是，本实施例提供的垃圾分类回收方法也可以在垃圾分类装置端执行，即，垃圾分类装置在采集检测图像后，使用深度学习神经网络处理采集的检测图像以判断待分类垃圾是否与可回收垃圾相匹配。
下面，本公开的实施例以垃圾分类回收方法在服务器端(或云端)执行为例进行说明。本领域的技术人员应当明白，本公开提供的垃圾分类回收方法也可以仅在垃圾分类装置端执行，本公开的实施对此不作限制。
例如，如图1B所示，在另一个示例中，除了图1A所示的操作外，本实施例提供的垃圾分类回收方法还可以包括以下操作：
S5：获取待分类垃圾的第二检测图像。
例如，第一检测图像和第二检测图像的拍摄角度不同。相比于单独使用一张检测图像进行检测识别，利用拍摄角度不同的多张检测图像对待分类垃圾进行检测识别，可以提取待分类垃圾的更多特征信息，从而提高识别准确率，降低误判率。
需要说明的是，操作S1和操作S5可以并行进行。
在此情况下，在操作S2中，可以使用深度学习神经网络分别处理第一检测图像和第二检测图像，结合第一检测图像的处理结果和第二检测图像的处理结果，以判断待分类垃圾是否与可回收垃圾相匹配。如果是，执行操作S3；如果不是，则执行操作S4。
例如，可以分别判断第一检测图像中的待分类垃圾和第二检测图像中的待分类垃圾是否与可回收垃圾相匹配；或者，也可以结合从第一检测图像和第二检测图像中提取的待分类垃圾的特征信息判断其是否与可回收垃圾相匹配。例如，深度学习神经网络可以包括卷积神经网络(CNN)、栈式自编码网络、稀疏编码网络、循环神经网络、深度信念网络等神经网络，深度学习神经网络可以采用上述神经网络中的一种或几种的组合对可回收垃圾的训练图像进行训练。
例如，图2为本实施例提供的一种深度学习神经网络的训练过程以及检测过程的示意性流程图。
训练过程包括以下操作。
S01：获取样本图像库中可回收垃圾的训练图像。训练图像可以包括可回收垃圾不同拍摄角度的图像。
S02：对训练图像进行预处理。预处理可以消除训练图像中的无关信息，便于提取训练图像中的可回收垃圾的特征信息，提高特征提取的可靠性。
对训练图像进行预处理后，执行操作S03：随机选取训练图像并进行初始化。对训练图像进行初始化可以将训练图像转换为深度学习神经网络可以处理的数据信号，以便于进行后续操作。
对训练图像进行初始化后，执行操作S04：卷积和抽样。例如，可以对训练图像进行多次卷积和抽样处理，卷积处理可以提取训练图像的特征，抽样处理可以缩减训练数据的规模，减少计算量。
例如，在卷积处理过程中，对训练图像应用多个卷积核，得到多个特征映射图，从而获取可回收垃圾的不同特征。每个特征映射图例如提取可回收垃圾的一种特征。
例如，抽样处理可以采用平均值合并、最大值合并以及随机合并等方法对训练图像进行处理。例如，在抽样处理过程中，可以对进行卷积处理后得到的特征映射图中的每组像素(例如，四个像素等)进行求和，然后乘以加权值，再加上偏置，其结果通过一个sigmoid函数后，即可得到新的特征映射图。加权值和偏置控制着sigmoid函数的线性程度，如果加权值较小，则sigmoid函数的运算近似于线性运算，抽样过程相当于模糊图像；如果加权值较大，根据偏置的大小，抽样过程可以相当于有噪声的“或”运算或有噪声的“与”运算。
对训练图像进行卷积和抽样处理后，则执行操作S05：全连接。在操作S04中，最后一个抽样层或卷积层连接到一个或多个全连接层。全连接层被配置为将卷积和抽样处理后提取到的可回收垃圾的特征进行综合并输出可回收垃圾的训练参数和特征模型。特征模型为可回收垃圾的一个抽象特征表达。
S06：是否满足结束条件。对全连接层输出的特征模型进行判断，当特征模型满足结束条件时，即，特征模型与预设的标准特征模型相匹配，则执行操作S07：输出特征模型。当特征模型不满足结束条件时，即，特征模型与预设的标准特征模型不匹配，则执行操作S08：反向传播调整权矩阵。在训练过程中，若输出的特征模型与标准特征模型之间存在误差，则通过反向传播将误差信息沿原来的路径反传，从而修正各层(例如，卷积层和抽样层)的训练参数，训练参数例如可以包括加权值和偏置，然后利用修正后的卷积层和抽样层重新对训练图像进行卷积和抽样处理，直到特性模型满足结束条件为止。
需要说明的是，虽然图2中仅示出两次卷积和两次抽样操作，但不限于此，可以对训练图像进行多次卷积和多次抽样。
例如，在操作S2中，使用深度学习神经网络处理第一检测图像和/或第二检测图像可以包括以下操作。
获取待分类垃圾的第一检测图像和/或第二检测图像后，执行操作S11：卷积和抽样。例如，可以利用上述训练过程获取的卷积训练参数和抽样训练参数对第一检测图像和/或第二检测图像进行卷积和抽样处理，从而得到第一检测图像和/或第二检测图像中的待分类垃圾的特征。
对训练图像进行多次卷积和抽样处理后，执行操作S12：全连接。全连接层被配置为可以将待分类垃圾的各种特征进行综合并输出待分类垃圾的特性模型。
S13：检测。例如，将待分类垃圾的特性模型与训练得到的可回收垃圾的特征模型进行对比，以判断待分类垃圾是否与可回收垃圾相匹配。
S14：输出检测结果。
然后，根据输出的检测结果执行操作S3或S4。
例如，可以预先利用大量的训练图像针对不同类型的可回收垃圾的进行深度学习训练，从而得到不同类型的可回收垃圾的训练参数和特征模型。例如，每个样本图像库包括同一类型的可回收垃圾的训练图像，训练图像可以包括可回收垃圾不同角度、不同形态的图像，以更全面地获取可回收垃圾的特征。例如，训练图像可以包括可回收垃圾的主视图、后视图、仰视图、俯视图、左视图、右视图等基本视图。
例如，深度学习神经网络的样本图像库、训练模型参数等可以以数据库的形式部署在后台服务器端，或者，也可以部署在局域网或广域网(例如云端)的服务器端上以被例如后台服务器端等读取。后台服务器端可以设置在监控室等地方，以进行远程监控。
例如，第一检测图像和/或第二检测图像可以包括一张待分类垃圾的图像，也可以包括多张待分类垃圾的图像。
例如，第一检测图像和/或第二检测图像的数量可以预先设定，也可以在进行垃圾分类回收时，由垃圾分类装置处的控制器或服务器端(或云端)随机生成。例如，可以预先设定第一检测图像仅包括一张待分类垃圾的图像，第二检测图像也仅包括一张待分类垃圾的图像。
例如，第一检测图像和第二检测图像可以为灰度图像，也可以为彩色图像。又例如，第一检测图像和第二检测图像可以是照片，也可以是视频中的一帧、多帧或多帧合成的图像。
例如，可以对第一检测图像和/或第二检测图像进行预处理，以有利于提取第一检测图像和/或第二检测图像中的待分类垃圾的特征信息，提高特征提取的可靠性。例如，在第一检测图像和/或第二检测图像是照片的情况下，预处理可以包括对照片进行缩放、Gamma校正、图像增强或降噪滤波等处理，在第一检测图像和/或第二检测图像为从视频中采集而获取的情况下，预处理可以包括提取视频的关键帧等。预处理可以在使用深度学习神经网络处理第一检测图像和/或第二检测图像前进行，即在执行操作S11前进行。
例如，预处理可以在垃圾分类装置处进行，也可以在服务器端(或云端)处进行。
例如，可以预先存储垃圾分类装置中的图像采集区没有放置任何物体时的第一原始图像和/或第二原始图像。在进行垃圾分类回收时，通过图像采集设备(例如摄像头)实时监测图像采集区，并定时(例如每间隔10秒、30秒或1分)从图像采集设备获取的视频中采集检测图像，以获取第一图像和/或第二图像，然后将第一图像与第一原始图像进行对比，和/或，将第二图像与第二原始图像进行对比，当第一图像与第一原始图像的相似度比率低于预定的第一相似度阈值，和/或第二图像与第一原始图像的相似度比率低于预定的第二相似度阈值的情况下，确定图像采集区放置有待分类垃圾，并将第一图像作为第一检测图像，将第二图像作为第二检测图像。然后，将获取的第一检测图像和/或第二检测图像传输至服务器端(或云端)，服务器端(或云端)处理第一检测图像和/或第二检测图像，并根据处理结果发送控制信号至垃圾分类装置，以控制垃圾分类装置将待分类垃圾送入指定区域。
例如，可以预先设置第一相似度阈值和/或第二相似度阈值，且第一相似度阈值和第二相似度阈值可以相同，也可以不同。例如，第一相似度阈值和第二相似度阈值可以均为95％。对此不做限制。
需要说明的是，在将第一检测图像和/或第二检测图像传输至服务器端(或云端)后，图像采集设备可以停止采集待分类垃圾的检测图像，当垃圾分类装置接收到服务器端(或云端)传输的控制信号，并将待分类垃圾送入指定区域后，图像采集设备重新定时采集视频中的检测图像。从而可以防止重复采集同一个待分类垃圾的第一检测图像和/或第二检测图像，减少处理时间，提高工作效率。
例如，垃圾分类装置可以设置定时器或定时程序，定时器或定时程序可以定时触发图像采集设备采集待分类垃圾的检测图像。在将第一检测图像和/或第二检测图像传输至服务器端(或云端)后，定时器或定时程序则停止工作，从而图像采集设备停止采集待分类垃圾的检测图像，当垃圾分类装置接收到服务器端(或云端)传输的控制信号，并将待分类垃圾送入指定区域后，定时器或定时程序进行清零操作并重新计时。
又例如，根据需要，垃圾分类装置也可以设置传感器。传感器用于感测图像采集区是否存在待分类垃圾，如果是，则图像采集设备采集待分类垃圾的第一检测图像和/或第二检测图像，然后对第一检测图像和/或第二检测图像进行后续操作；如果不是，则图像采集设备不进行任何操作，以节省功耗。
例如，在一个示例中，该垃圾分类回收方法还包括：获取与采集第一检测图像和/或第二检测图像相对应的垃圾分类装置的标识号；根据标识号选择与标识号相对应的深度学习神经网络的训练参数。
例如，训练参数可以包括卷积训练参数、抽样训练参数等，还可以包括特征模型等参数。
例如，可以预先对不同区域的垃圾分类装置设置标识号。基于每个垃圾分类装置的标识号，选择与标识号相对应的深度学习神经网络的训练参数，从而根据不同区域对不同类型的可回收垃圾进行检测并回收。例如，设置在学校的教学楼、图书馆等区域的垃圾分类装置可以用于回收废纸等可回收垃圾；设置在沙滩、车站、篮球场等区域的垃圾分类装置可以用于回收塑料瓶等可回收垃圾。
例如，每个垃圾分类装置可以回收一种类型的可回收垃圾，也可以回收多种不同类型的可回收垃圾。例如，垃圾分类装置的标识号可以与深度学习神经网络的多个不同的训练参数相对应，以实现回收多种不同类型的可回收垃圾。
例如，在一个示例中，可回收垃圾包括至少一种类型的可回收垃圾，相应地，每个垃圾分类装置的回收区包括至少一个子回收区，第一控制信号包括至少一个子控制信号。例如，可回收垃圾可以包括塑料制品(例如，包括塑料瓶等)、纸制品(例如，包括A4纸、书籍等)、金属制品(例如，包括易拉罐等)和玻璃制品等。相应地，回收区可以包括塑料制品子回收区、纸制品子回收区、金属制品子回收区以及玻璃制品子回收区等，第一控制信号也可以包括塑料制品子控制信号、纸制品子控制信号、金属制品子控制信号以及玻璃制品子控制信号等。
在这种情况下，垃圾分类回收方法还可以包括以下操作：判断待分类垃圾是否与至少一种类型的可回收垃圾之一相匹配，如果是，则发出相应的子控制信号，以控制将待分类垃圾送入相应的子回收区；如果不是，则发出第二控制信号，以控制将待分类垃圾送入非回收区。
例如，可回收垃圾包括多种类型的可回收垃圾，判断待分类垃圾是否与多种类型的可回收垃圾之一相匹配可以包括：首先，获取与标识号对应的多个不同的训练参数；然后，利用多个不同的训练参数中的每一个单独处理第一检测图像和/或第二检测图像，从而获得多个第一检测图像的处理结果和/或多个第二检测图像的处理结果；最后，根据多个第一检测图像的处理结果和/或多个第二检测图像的处理结果，判断待分类垃圾是否与多种类型的可回收垃圾之一相匹配。需要说明的是，与标识号对应的多个不同的训练参数的数量可以与多种类型的可回收垃圾的数量相同。
例如，垃圾分类装置的标识号可以为多种形式，且可以包括不同类型的信息。例如，该标识号可以为识别码(例如字符串)，通过该识别码再到相应的数据库获取训练参数、特征模型、可回收垃圾的种类等一种或多种信息；又例如，该标识信息可以为符合码，例如既包括识别码又包括垃圾分类装置的地理位置(经度、纬度)信息等。
例如，标识号可以集中存储在一个数据库中，且部署在一个或多个服务器上以供查询，本公开的实施例对此不做限制。
例如，在一个示例中，该垃圾分类回收方法还包括以下操作：在确定待分类垃圾与可回收垃圾相匹配的情况下，统计回收数量；在回收数量超过回收区的预定承载数量的情况下，发出回收控制信号，以提示回收中心回收该回收区的垃圾。
例如，预定承载数量可以根据回收区的大小以及可回收垃圾的类型等预先设置。
例如，垃圾分类装置可以设置有计数器或计数程序。当垃圾分类装置接收到第一控制信号并将待回收垃圾送入回收区后，即，在确定待分类垃圾与可回收垃圾相匹配的情况下，计数器或计数程序统计回收数量，在计数器或计数程序所统计的回收数量超过回收区的预定承载数量的情况下，服务器端(或云端)发出回收控制信号，以提示回收中心回收该回收区的垃圾。需要说明的是，当垃圾分类装置接收到第二控制信号并将待回收垃圾送入非回收区后，即，在确定待分类垃圾与可回收垃圾不相匹配的情况下，计数器或计数程序可以统计非回收区的垃圾数量，当非回收区的垃圾数量超过非回收区的预定承载数量的情况下，服务器端(或云端)可以发出垃圾收取控制信号，以提示回收中心或垃圾处理中心收取非回收区的垃圾。
例如，服务器端(或云端)发出回收控制信号后可以对计数器进行清零操作。或者，回收中心的工作人员回收该回收区的垃圾之后，由回收中心的工作人员通过服务器端(或云端)向垃圾分类装置发出结束回收信号，以控制计数器进行清零操作。
需要说明的是，计数器或计数程序也可以设置在服务器端(或云端)。本公开对此不做限制。
例如，回收控制信号可以包括可回收垃圾的种类、垃圾分类装置的位置等信息。
例如，在一个示例中，判断待分类垃圾是否与可回收垃圾相匹配包括以下操作：计算待分类垃圾与可回收垃圾之间的匹配率；判断匹配率是否超过第一预设匹配率阈值，如果是，确定待分类垃圾与可回收垃圾相匹配；如果不是，确定待分类垃圾与可回收垃圾不相匹配。
例如，在确定待分类垃圾与可回收垃圾相匹配的情况下，还可以存储第一检测图像和/或第二检测图像以作为后续深度学习训练的样本。例如，发出第一控制信号的同时存储第一检测图像和/或第二检测图像。
例如，匹配率可以为深度学习神经网络输出的检测结果。
例如，第一预设匹配率阈值可以为90％，即，当待分类垃圾与可回收垃圾的匹配率超过90％时，则可以确定待分类垃圾与可回收垃圾相匹配。
例如，在一个示例中，垃圾分类回收方法还包括以下操作：在匹配率低于第一预设匹配率阈值的情况下，判断匹配率是否超过第二预设匹配率阈值，如果是，存储第一检测图像和/或第二检测图像；如果不是，删除第一检测图像和/或第二检测图像。
例如，第二预设匹配率阈值小于第一预设匹配率阈值。第二预设匹配率阈值可以为80％，即，当待分类垃圾与可回收垃圾的匹配率超过80％但低于90％时，则可以存储第一检测图像和/或第二检测图像，以作为后续深度学习训练的样本。
需要说明的是，第一预设匹配率阈值和第二预设匹配率阈值还可以为其他值，只要保证第二预设匹配率阈值小于第一预设匹配率阈值即可。
例如，在一个示例中，垃圾分类回收方法还包括以下操作：再次判断存储的第一检测图像和/或第二检测图像中的待分类垃圾是否与可回收垃圾相匹配，如果是，将存储的第一检测图像和/或第二检测图像加入深度学习神经网络的样本图像库；如果不是，删除存储的第一检测图像和/或第二检测图像。
例如，再次判断存储的第一检测图像和/或第二检测图像中的待分类垃圾是否与可回收垃圾相匹配可以防止误判，并增加深度学习的训练样本，从而实时动态调整深度学习神经网络的训练参数。
例如，再次判断是否匹配的方法可以与前次判断的方法不同，例如可以采用统计法(即决策理论法)、句法识别法、神经网络法、模板匹配法或几何变换法中的一种或多种的结合对第一检测图像和/或第二检测图像进行重新检测和识别，以判断存储的第一检测图像和/或第二检测图像中的待分类垃圾是否与可回收垃圾相匹配。又例如，还可以由后台用户人工定时查看存储的第一检测图像和/或第二检测图像中的待分类垃圾是否与可回收垃圾相匹配，根据用户的输入指令来控制将存储的第一检测图像和/或第二检测图像加入样本图像库或删除存储的第一检测图像和/或第二检测图像。
例如，在一个示例中，垃圾分类回收方法还包括以下操作：在将第一检测图像和/或第二检测图像加入样本图像库后，重新训练样本图像库中的训练图像，并根据训练结果修正深度学习神经网络的训练参数。该示例提供的垃圾分类回收方法可以及时扩充样本图像库，循环训练样本图像库中的样本图像，修正训练参数，从而进一步提高识别准确率、降低误判率。
实施例二
本实施例提供一种垃圾分类装置。图3A示出了本实施例提供的一种垃圾分类装置的示意性框图，图3B示出了本实施例提供的一种垃圾分类装置的结构示意图。
例如，如图3A和图3B所示，垃圾分类装置10可以包括图像采集设备11、回收区12、非回收区13、图像采集区14以及终端控制器15。
例如，图像采集设备11可以包括一个或多个摄像头。终端控制器15可以通过硬件、软件、固件以及它们的任意可行的组合来实现。
例如，图像采集区14被配置为放置待分类垃圾，图像采集设备11被配置为采集待分类垃圾的第一检测图像和/或第二检测图像。如图3B所示，垃圾分类装置10可以包括两个图像采集设备11且分别设置在图像采集区14的顶部和侧面。
例如，第一检测图像和第二检测图像的拍摄角度不同。例如，如图3B所示，位于顶部的图像采集设备11可以采集第一检测图像，即第一检测图像为从X方向拍摄的图像；位于侧面的图像采集设备11可以采集第二检测图像，即第二检测图像为从Y方向拍摄的图像，X方向和Y方向可以相互垂直。例如，X方向可以为竖直方向，Y方向可以为水平方向。
例如，图像采集设备11可以为网络摄像机、数字摄像机、彩色半球摄像机、红外摄像机或一体化摄像机等，以对图像采集区14实时摄像，然后定时从图像采集设备11拍摄的视频图像中采集第一检测图像和/或第二检测图像。又例如，图像采集设备11也可以包括照相机，以对图像采集区14定时拍照，从而采集第一检测图像和/或第二检测图像。第一检测图像和/或第二检测图像例如可以存储在图像采集设备11中以根据需要供垃圾分类装置10中的其他组件(例如，终端控制器15等)使用。
例如，在一个示例中，垃圾分类装置10还可以包括定时器或定时程序，从而定时触发图像采集设备11采集待分类垃圾的第一检测图像和/或第二检测图像。定时器或定时程序的工作模式可以参见实施例一中的相关部分，重复之处在此不再赘述。
例如，定时器可以为脉冲型定时器、接通延时型定时器、断开延时型定时器等。又例如，终端控制器15可以存储有定时程序，当需要进行定时操作时，终端控制器15可以直接运行该定时程序，以实现定时功能。
又例如，在一个示例中，垃圾分类装置10还可以包括传感器。传感器用于感测图像采集区14是否存在待分类垃圾，如果是，则图像采集设备11采集待分类垃圾的第一检测图像和/或第二检测图像，然后对第一检测图像和/或第二检测图像进行后续操作；如果不是，则图像采集设备11不进行任何操作，以节省功耗。
例如，终端控制器15被配置为发送第一检测图像和/或第二检测图像至服务器端(或云端)，且还被配置为从服务器端(或云端)接收控制信号并根据控制信号控制将待分类垃圾送入回收区12或非回收区13。如图3B所示，终端控制器15可以设置在图像采集区14的侧面。例如，第一检测图像和/或第二检测图像可以被传输至服务器端(或云端)，服务器端(或云端)对第一检测图像和/或第二检测图像进行处理，并根据处理结果生成控制信号，该控制信号例如可以被传输到终端控制器15，终端控制器15根据该控制信号控制将待分类垃圾送入回收区12或非回收区13。
例如，终端控制器15还被配置为获取垃圾分类装置10的标识号，并发送该标识号至服务器端(或云端)。关于标识号的说明可以参考实施例一中的相关描述，在此不再赘述。
例如，如图3A所示，终端控制器15可以包括终端处理器、通信装置、电源模块等组件。
例如，终端处理器可以为微控制单元(MCU)等。电源模块可以为终端控制器15中的各个部件提供稳定的电源，还可以为图像采集设备11提供稳定的电源。电源模块可以为外接的直流或交流电源，或者可以为电池，例如一次电池或二次电池。例如，通信装置可以包括有线网络接口等，即其采用双绞线、同轴电缆或光纤等有线传输方式进行信息传输；通信装置也可以包括蓝牙模块、无线网卡(即，WiFi模块)等，即其采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等无线传输方式进行信息传输。
例如，如图3A和图3B所示，垃圾分类装置10还包括电机16。终端处理器可以根据控制信号控制电机16的转动方向，再利用电机16控制挡板向至少两个方向转动，从而将待分类垃圾送入指定区域(例如，回收区、非回收区)，完成待分类垃圾的分类。
例如，回收区12、非回收区13和图像采集区14具有一定容纳空间。例如，回收区12、非回收区13和图像采集区14可以为多面体、圆柱体、球体等。回收区12和非回收区13的形状可以相同，也可以不同。
实施例三
本实施例提供一种垃圾分类回收系统。图4示出了本实施例提供的一种垃圾分类回收系统的示意性框图，图5示出了本实施例提供的一种垃圾分类回收系统的示意图。
例如，如图4和图5所示，该垃圾分类回收系统包括控制装置20和上述任一实施例所述的垃圾分类装置10。在本实施例中，控制装置20设置在服务器端(或云端)，也就是说，控制装置20为垃圾分类装置10的远程控制装置。但不限于此，控制装置20也可以设置在垃圾分类装置10处。
例如，如图4和图5所示，垃圾分类装置10可以包括图像采集设备11、回收区12、非回收区13、图像采集区14以及终端控制器15。控制装置20可以包括至少一个处理器21和至少一个存储器22。图像采集设备11、终端控制器15、处理器21和存储器22等组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图4所示的垃圾分类回收系统的组件和结构只是示例性的，而非限制性的，根据需要，该垃圾分类回收系统也可以具有其他组件和结构。
例如，垃圾分类装置10和控制装置20之间可以通过有线或无线网络信号进行信息传输。
例如，处理器21可以是中央处理单元(CPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如图像处理单元(GPU)、现场可编程门阵列(FPGA)或张量处理单元(TPU)等，处理器21可以控制服务器端中的其它组件以执行期望的功能。又例如，中央处理器(CPU)可以为X86或ARM架构等。
例如，存储器22可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序，处理器21可以运行计算机程序，以实现各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如深度学习神经网络的训练参数、样本图像库、以及应用程序使用和/或产生的各种数据等。
例如，控制装置20还可以包括显示器23。显示器23用于显示第一检测图像和/或第二检测图像等。显示器23例如可以为液晶显示器、有机发光二极管显示器等。
需要说明的是，关于垃圾分类装置10中各个组件的说明可以参见实施例二的相关部分，在此不再赘述。
例如，计算机程序可以由处理器21运行以执行如下步骤：获取第一检测图像；使用深度学习神经网络处理第一检测图像以判断待分类垃圾是否与可回收垃圾是否相匹配，如果是，则发出第一控制信号至垃圾分类装置10，以控制将待分类垃圾送入回收区12；如果不是，则发出第二控制信号至垃圾分类装置10，以控制将待分类垃圾送入非回收区13。
例如，在一个示例中，计算机程序还可以由处理器21运行以执行如下步骤：获取第二检测图像；使用深度学习神经网络处理第二检测图像并结合第一检测图像的判断结果，以判断待分类垃圾是否与可回收垃圾相匹配，如果是，则发出第一控制信号；如果不是，则发出第二控制信号。
例如，第一检测图像和第二检测图像的拍摄角度不同。
例如，在一个示例中，计算机程序还可以由处理器21运行以执行如下步骤：获取与采集第一检测图像和/或第二检测图像相对应的垃圾分类装置10的标识号；根据标识号选择与标识号相对应的深度学习神经网络的训练参数。
例如，在一个示例中，计算机程序还可以由处理器21运行以执行如下步骤：在确定待分类垃圾与可回收垃圾相匹配的情况下，统计回收数量；在回收数量超过回收区12的预定承载数量的情况下，发出回收控制信号，以提示回收中心30回收该回收区12的垃圾。
例如，在一个示例中，垃圾分类装置10或控制装置20可以设置有计数器或计数程序。计数器或计数程序的工作模式(计数和清零等操作)可以参见实施例一中相关部分的说明，重复之处在此不再赘述。
例如，计数器例如可以为加法计数器、可逆计数器等。
例如，回收中心30的工作人员回收该回收区12的垃圾后，还可以通过控制装置20发出结束回收信号，以控制计数器或计数程序进行清零操作。
例如，每个垃圾分类装置10可以回收一种类型的可回收垃圾，也可以回收多种不同类型的可回收垃圾。
例如，在一个示例中，可回收垃圾包括至少一种类型的可回收垃圾，相应地，每个垃圾分类装置10的回收区12包括至少一个子回收区，第一控制信号包括至少一个子控制信号。在这种情况下，计算机程序还可以由处理器21运行以执行如下步骤：判断待分类垃圾是否与至少一种类型的可回收垃圾之一相匹配，如果是，则发出相应的子控制信号，以控制将待分类垃圾送入相应的子回收区；如果不是，则发出第二控制信号，以控制将待分类垃圾送入非回收区。
例如，在一个示例中，计算机程序还可以由处理器21运行以执行如下步骤：计算待分类垃圾与可回收垃圾之间的匹配率；判断匹配率是否超过第一预设匹配率阈值，如果是，确定待分类垃圾与可回收垃圾相匹配；如果不是，确定待分类垃圾与可回收垃圾不相匹配。
例如，在确定待分类垃圾与可回收垃圾相匹配的情况下，计算机程序还可以由处理器21运行以执行如下步骤：存储第一检测图像和/或第二检测图像。
例如，在一个示例中，计算机程序还可以由处理器21运行以执行如下步骤：在匹配率低于第一预设匹配率阈值的情况下，判断匹配率是否超过第二预设匹配率阈值，如果是，存储第一检测图像和/或第二检测图像；如果不是，删除第一检测图像和/或第二检测图像。
例如，第二预设匹配率阈值小于第一预设匹配率阈值。
例如，在一个示例中，计算机程序还可以由处理器21运行以执行如下步骤：再次判断存储的第一检测图像和/或第二检测图像中的待分类垃圾是否与可回收垃圾相匹配，如果是，将存储的第一检测图像和/或第二检测图像加入深度学习神经网络的样本图像库；如果不是，删除存储的第一检测图像和/或第二检测图像。
例如，可以采用统计法(即决策理论法)、句法识别法、神经网络法、模板匹配法或几何变换法等方法重新判断存储的第一检测图像和/或第二检测图像中的待分类垃圾是否与可回收垃圾相匹配。或者，还可以由后台用户人工定时查看存储的第一检测图像和/或第二检测图像中的待分类垃圾是否与可回收垃圾相匹配。例如，可以在显示器23上显示存储的第一检测图像和/或第二检测图像，以便于后台用户查看。
例如，在一个示例中，计算机程序还可以由处理器21运行以执行如下步骤：在将第一检测图像和/或第二检测图像加入样本图像库后，重新训练样本图像库中的训练图像，并根据训练结果修正深度学习神经网络的训练参数。
需要说明的是，关于标识号、预定承载数量、深度学习神经网络及其训练参数、匹配率、第一预设匹配率阈值、第二预设匹配率阈值、样本图像库、子回收区、子控制信号、可回收垃圾的类型等的说明可以参考实施例一中的相关描述，重复之处在此不再赘述。
实施例四
本实施例提供一种存储介质，该存储介质存储有适于由处理器运行的计算机程序。
例如，在本实施例的一个示例中，该存储介质可以应用于实施例三中任一所述的垃圾分类回收系统中，例如，其可以为垃圾分类回收系统中的存储器。
例如，该计算机程序可以由处理器运行以执行如下步骤：获取第一检测图像；使用深度学习神经网络处理第一检测图像以判断待分类垃圾是否与可回收垃圾是否相匹配，如果是，则发出第一控制信号，以控制将待分类垃圾送入回收区；如果不是，则发出第二控制信号，以控制将待分类垃圾送入非回收区。
例如，关于存储介质的说明可以参考实施例三中对于存储器的描述，重复之处不再赘述。
对于本公开，还有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种垃圾分类回收方法，包括：
获取待分类垃圾的第一检测图像；
使用深度学习神经网络处理所述第一检测图像以判断所述待分类垃圾是否与可回收垃圾相匹配，如果是，则发出第一控制信号，以控制将所述待分类垃圾送入回收区；如果不是，则发出第二控制信号，以控制将所述待分类垃圾送入非回收区，
其中，判断所述待分类垃圾是否与可回收垃圾相匹配包括：
计算所述待分类垃圾与所述可回收垃圾之间的匹配率；
判断所述匹配率是否超过第一预设匹配率阈值，如果是，确定所述待分类垃圾与所述可回收垃圾相匹配；如果不是，确定所述待分类垃圾与所述可回收垃圾不相匹配；并且，
在所述匹配率低于所述第一预设匹配率阈值的情况下，判断所述匹配率是否超过第二预设匹配率阈值，如果是，存储所述第一检测图像；如果不是，删除所述第一检测图像，其中，所述第二预设匹配率阈值小于所述第一预设匹配率阈值。
2.根据权利要求1所述的垃圾分类回收方法，还包括：
获取所述待分类垃圾的第二检测图像，其中，所述第一检测图像和所述第二检测图像的拍摄角度不同；
使用所述深度学习神经网络处理所述第二检测图像并结合所述第一检测图像的处理结果，以判断所述待分类垃圾是否与所述可回收垃圾相匹配，如果是，则发出所述第一控制信号，以控制将所述待分类垃圾送入所述回收区；如果不是，则发出所述第二控制信号，以控制将所述待分类垃圾送入所述非回收区。
3.根据权利要求1所述的垃圾分类回收方法，还包括：
获取与采集所述第一检测图像相对应的垃圾分类装置的标识号；
根据所述标识号选择与所述标识号相对应的所述深度学习神经网络的训练参数。
4.根据权利要求1所述的垃圾分类回收方法，还包括：
在确定所述待分类垃圾与所述可回收垃圾相匹配的情况下，统计回收数量；
在所述回收数量超过所述回收区的预定承载数量的情况下，发出回收控制信号，以提示回收中心回收所述回收区的垃圾。
5.根据权利要求1所述的垃圾分类回收方法，其中，所述可回收垃圾包括至少一种类型的可回收垃圾，所述回收区包括至少一个子回收区，所述第一控制信号包括至少一个子控制信号，
其中，所述垃圾分类回收方法还包括：
判断所述待分类垃圾是否与所述至少一种类型的可回收垃圾之一相匹配，如果是，则发出相应的所述子控制信号，以控制将所述待分类垃圾送入相应的所述子回收区；如果不是，则发出所述第二控制信号，以控制将所述待分类垃圾送入所述非回收区。
6.根据权利要求1所述的垃圾分类回收方法，还包括：
再次判断存储的所述第一检测图像中的所述待分类垃圾是否与所述可回收垃圾相匹配，如果是，将存储的所述第一检测图像加入所述深度学习神经网络的样本图像库；如果不是，删除存储的所述第一检测图像。
7.根据权利要求6所述的垃圾分类回收方法，还包括：
在将存储的所述第一检测图像加入所述样本图像库后，重新训练所述样本图像库中的训练图像，并根据训练结果修正所述深度学习神经网络的训练参数。
8.根据权利要求1所述的垃圾分类回收方法，其中，所述深度学习神经网络为卷积神经网络。
9.一种垃圾分类回收系统，包括：控制装置和垃圾分类装置，
所述垃圾分类装置包括：回收区、非回收区、图像采集设备以及终端控制器，
其中，所述图像采集设备被配置为采集待分类垃圾的第一检测图像和/或第二检测图像；
所述终端控制器被配置为发送所述第一检测图像和/或所述第二检测图像，且还被配置为接收控制信号并根据所述控制信号控制将所述待分类垃圾送入所述回收区或所述非回收区；
所述控制装置包括：
处理器和存储器，所述存储器存储有适于由所述处理器运行的计算机程序，所述计算机程序由所述处理器运行以执行如下步骤：
获取所述第一检测图像；
使用深度学习神经网络处理所述第一检测图像以判断所述待分类垃圾是否与可回收垃圾相匹配，如果是，则发出第一控制信号至所述垃圾分类装置，以控制将所述待分类垃圾送入所述回收区；如果不是，则发出第二控制信号至所述垃圾分类装置，以控制将所述待分类垃圾送入所述非回收区；
其中，在所述计算机程序由所述处理器运行时执行的判断所述待分类垃圾是否与可回收垃圾相匹配的步骤包括：
计算所述待分类垃圾与所述可回收垃圾之间的匹配率；
判断所述匹配率是否超过第一预设匹配率阈值，如果是，确定所述待分类垃圾与所述可回收垃圾相匹配；如果不是，确定所述待分类垃圾与所述可回收垃圾不相匹配；并且，
在所述匹配率低于所述第一预设匹配率阈值的情况下，判断所述匹配率是否超过第二预设匹配率阈值，如果是，存储所述第一检测图像；如果不是，删除所述第一检测图像，其中，所述第二预设匹配率阈值小于所述第一预设匹配率阈值。
10.根据权利要求9所述的垃圾分类回收系统，其中，所述垃圾分类装置还包括：图像采集区，
所述图像采集区被配置为放置所述待分类垃圾。
11.根据权利要求9所述的垃圾分类回收系统，其中，所述终端控制器还被配置为获取并发送所述垃圾分类装置的标识号。
12.根据权利要求9所述的垃圾分类回收系统，其中，在所述计算机程序由所述处理器运行时还执行如下步骤：
获取所述第二检测图像，其中，所述第一检测图像和所述第二检测图像的拍摄角度不同；
使用所述深度学习神经网络处理所述第二检测图像并结合所述第一检测图像的判断结果，以判断所述待分类垃圾是否与所述可回收垃圾相匹配，如果是，则发出所述第一控制信号；如果不是，则发出所述第二控制信号。
13.根据权利要求9所述的垃圾分类回收系统，其中，在所述计算机程序由所述处理器运行时还执行如下步骤：
获取与采集所述第一检测图像对应的所述垃圾分类装置的标识号；
根据所述标识号选择与所述标识号相对应的所述深度学习神经网络的训练参数。
14.根据权利要求9所述的垃圾分类回收系统，其中，在所述计算机程序由所述处理器运行时还执行如下步骤：
在确定所述待分类垃圾与所述可回收垃圾相匹配的情况下，统计回收数量；
在所述回收数量超过所述回收区的预定承载数量的情况下，发出回收控制信号，以提示回收中心回收所述回收区的垃圾。
15.根据权利要求9所述的垃圾分类回收系统，其中，在所述计算机程序由所述处理器运行时还执行如下步骤：
再次判断存储的所述第一检测图像中的所述待分类垃圾是否与所述可回收垃圾相匹配，如果是，将存储的所述第一检测图像加入所述深度学习神经网络的样本图像库；如果不是，删除存储的所述第一检测图像。
16.根据权利要求15所述的垃圾分类回收系统，其中，在所述计算机程序由所述处理器运行时还执行如下步骤：
在将存储的所述第一检测图像加入所述样本图像库后，重新训练所述样本图像库中的训练图像，并根据训练结果修正所述深度学习神经网络的训练参数。
17.根据权利要求9所述的垃圾分类回收系统，其中，所述控制装置为所述垃圾分类装置的远程控制装置，且所述垃圾分类装置和所述控制装置通过有线或无线网络信号连接。
CN201710558594.1A 2017-06-30 2017-06-30 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统 Active CN109201514B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710558594.1A CN109201514B (zh) 2017-06-30 2017-06-30 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统
PCT/CN2018/073809 WO2019000929A1 (zh) 2017-06-30 2018-01-23 垃圾分类回收方法、垃圾分类设备以及垃圾分类回收系统
US16/076,451 US11446706B2 (en) 2017-06-30 2018-01-23 Trash sorting and recycling method, trash sorting device, and trash sorting and recycling system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710558594.1A CN109201514B (zh) 2017-06-30 2017-06-30 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统

Publications (2)

Publication Number Publication Date
CN109201514A CN109201514A (zh) 2019-01-15
CN109201514B true CN109201514B (zh) 2019-11-08

Family

ID=64741001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710558594.1A Active CN109201514B (zh) 2017-06-30 2017-06-30 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统

Country Status (3)

Country Link
US (1) US11446706B2 (zh)
CN (1) CN109201514B (zh)
WO (1) WO2019000929A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414926A (zh) * 2019-01-04 2020-07-14 卓望数码技术（深圳）有限公司 一种智能垃圾分类方法、装置、存储介质和机器人
CN109704234A (zh) * 2019-02-25 2019-05-03 齐鲁工业大学 一种医疗垃圾桶识别判断抓取系统及方法
CN109940024A (zh) * 2019-03-22 2019-06-28 深兰科技（上海）有限公司 一种对废弃物进行分类的方法和回收装置
CN111797872B (zh) * 2019-04-09 2023-08-01 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备
CN110210635A (zh) * 2019-06-05 2019-09-06 周皓冉 一种能识别废弃物的智能分类回收系统
CN110276300B (zh) * 2019-06-24 2021-12-28 北京百度网讯科技有限公司 用于识别垃圾品质的方法和装置
CN110569874A (zh) * 2019-08-05 2019-12-13 深圳大学 一种垃圾分类方法、装置、智能终端及存储介质
CN110653169B (zh) * 2019-08-06 2022-01-14 中国长城科技集团股份有限公司 一种垃圾处理方法、装置及终端设备
CN110472565B (zh) * 2019-08-14 2023-07-11 广东绿润环境科技有限公司 一种基于动作捕捉的垃圾分类能力的判定方法
CN110550347B (zh) * 2019-08-23 2020-08-04 珠海格力电器股份有限公司 一种垃圾分类回收的方法、用户终端以及垃圾桶
CN110626674A (zh) * 2019-08-26 2019-12-31 江汉大学 垃圾分类装置和垃圾分类方法
CN110436974A (zh) * 2019-09-05 2019-11-12 湖南人文科技学院 一种园林绿化垃圾的无公害处理方法及系统
CN110738131A (zh) * 2019-09-20 2020-01-31 广州游艺云物联网技术有限公司 基于深度学习神经网络的垃圾分类管理方法及装置
CN112570287B (zh) * 2019-09-27 2023-05-30 北京京东尚科信息技术有限公司 一种垃圾分类方法和装置
CN111079548B (zh) * 2019-11-22 2023-04-07 华侨大学 基于目标高度信息和色彩信息的固废在线识别方法
CN111037554B (zh) * 2019-12-12 2021-04-13 罗冬 一种基于机器学习的垃圾清理方法、装置、设备及介质
CN110902210B (zh) * 2019-12-16 2022-04-08 何雨庭 一种小型家用垃圾自动分类机
CN111160186B (zh) * 2019-12-20 2023-05-19 上海寒武纪信息科技有限公司 智能垃圾分类处理方法及相关产品
CN111222949B (zh) * 2020-01-03 2021-06-04 重庆特斯联智慧科技股份有限公司 一种基于深度学习的社区废旧资源共享方法和系统
US11948130B2 (en) 2020-01-30 2024-04-02 BlueOwl, LLC Systems and methods for waste management using recurrent convolution neural network with stereo video input
CN111169848A (zh) * 2020-02-27 2020-05-19 东北大学秦皇岛分校 一种智能分类回收垃圾的装置及方法
US11335086B2 (en) * 2020-03-21 2022-05-17 Fidelity Ag, Inc. Methods and electronic devices for automated waste management
CN111498326A (zh) * 2020-04-03 2020-08-07 成都禧来科技有限公司 一种基于二类识别模型的垃圾自动分类机
CN111582033A (zh) * 2020-04-07 2020-08-25 苏宁云计算有限公司 垃圾分类的识别方法、系统及计算机可读存储介质
CN111579524A (zh) * 2020-04-20 2020-08-25 广东轻工职业技术学院 垃圾含量分类的检测系统及其检测方法
CN113751332A (zh) * 2020-06-03 2021-12-07 泰连服务有限公司 视觉检查系统和检查零件的方法
CN113191176A (zh) * 2020-06-08 2021-07-30 阿里巴巴集团控股有限公司 数据处理方法和装置
CN111783841B (zh) * 2020-06-09 2023-08-04 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN111844042A (zh) * 2020-07-27 2020-10-30 苏州索亚机器人技术有限公司 基于视觉的垃圾分拣机器人
CN111994513B (zh) * 2020-08-06 2023-03-21 苏州中科先进技术研究院有限公司 智能分类垃圾桶中垃圾种类实时监测方法及装置
CN112232246A (zh) * 2020-10-22 2021-01-15 深兰人工智能(深圳)有限公司 基于深度学习的垃圾检测分类方法和装置
CN113051989A (zh) * 2020-11-04 2021-06-29 泰州镭昇光电科技有限公司 桶内目标类型鉴定系统
CN112364944B (zh) * 2020-12-18 2022-07-05 福州大学 一种基于深度学习的生活垃圾分类方法
CN112651318A (zh) * 2020-12-19 2021-04-13 重庆市信息通信咨询设计院有限公司 基于图像识别的垃圾分类方法、装置和系统
CN112949509A (zh) * 2021-03-08 2021-06-11 三一智造(深圳)有限公司 一种基于人工智能的垃圾分类方法
WO2022217596A1 (zh) * 2021-04-16 2022-10-20 厦门市天诚峰益科技有限公司 一种垃圾处理方法及系统
US20230002150A1 (en) * 2021-07-05 2023-01-05 Carlos Meneses Recycling identification container
CN113743470B (zh) * 2021-08-04 2022-08-23 浙江联运环境工程股份有限公司 自动破袋分类箱基于ai算法垃圾识别精度提升方法
CN113859801B (zh) * 2021-08-24 2023-03-31 青岛海尔科技有限公司 家庭垃圾的处理方法和装置、存储介质及电子装置
CN113680685A (zh) * 2021-08-24 2021-11-23 安徽自然美环境科技有限公司 一种基于可回收的垃圾分类处理系统
CN113680695A (zh) * 2021-08-24 2021-11-23 武昌工学院 基于机器人的机器视觉垃圾分拣系统
CN113705729A (zh) * 2021-09-27 2021-11-26 中原动力智能机器人有限公司 垃圾分类模型建模方法、垃圾分类方法、装置及介质
CN113899434B (zh) * 2021-09-29 2023-11-21 杭州越歌科技有限公司 一种垃圾称重方法、系统、存储介质及智能终端
CN113731832B (zh) * 2021-11-04 2022-02-15 南京信息工程大学 一种用于垃圾转运站的垃圾分拣处理方法和系统
CN114219010A (zh) * 2021-11-24 2022-03-22 北京华能新锐控制技术有限公司 一种基于先验引导对抗性表征学习的垃圾分类方法
CN114399187A (zh) * 2022-01-07 2022-04-26 西交利物浦大学 基于区块链的建筑垃圾管理方法、装置、设备及存储介质
CN114572579A (zh) * 2022-03-09 2022-06-03 南京南部新城城市物业管理有限公司 一种城市智慧垃圾桶自动识别分类系统
CN114821264B (zh) * 2022-03-28 2023-02-17 慧之安信息技术股份有限公司 一种基于神经网络的算法效率提升方法
CN114723999B (zh) * 2022-05-24 2022-08-23 航天宏图信息技术股份有限公司 一种基于无人机正射影像的垃圾识别方法及装置
CN115072211A (zh) * 2022-07-30 2022-09-20 青岛理工大学 一种基于机器视觉识别的垃圾自动分类方法
CN115331166B (zh) * 2022-08-12 2023-10-27 广州市净水有限公司 一种格栅清污机智能监控预警方法和系统
CN116430769A (zh) * 2023-03-17 2023-07-14 安徽大学 一种面向大规模管理的智能垃圾分类系统及方法
CN116189099B (zh) * 2023-04-25 2023-10-10 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法
CN116342895B (zh) * 2023-05-31 2023-08-11 浙江联运知慧科技有限公司 基于ai处理的提升再生资源分拣效率的方法及系统
CN117575543B (zh) * 2024-01-15 2024-04-30 西安卓越软件开发有限公司 一种智慧物业管理方法及装置
CN117923024A (zh) * 2024-03-25 2024-04-26 江西众加利高科技股份有限公司 提升微波检测精度的干湿垃圾分类方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7975853B2 (en) * 2006-07-03 2011-07-12 Gregory William Furniss Method and apparatus for sorting small food items for softness
CN102556547A (zh) * 2011-12-15 2012-07-11 沈阳化工大学 一种无线环保监测的垃圾箱
CN104495139A (zh) * 2014-12-31 2015-04-08 东南大学 垃圾投放箱及垃圾分类投放方法
CN205023252U (zh) * 2015-09-24 2016-02-10 武汉锦星科技有限公司 一种垃圾桶及基于互联网的垃圾回收管理系统
CN105564864A (zh) * 2015-12-18 2016-05-11 美的集团股份有限公司 垃圾桶、垃圾桶的垃圾分类方法和系统
CN105787506A (zh) * 2016-01-26 2016-07-20 耿春茂 基于图像识别与二维码识别技术的垃圾分类评价方法
CN105836340A (zh) * 2016-04-01 2016-08-10 苏州玄禾物联网科技有限公司 一种垃圾桶监控方法
EP3078611A1 (en) * 2015-04-09 2016-10-12 Fomento de Construcciones y Contratas, S.A. Solid waste classification system
CN106874977A (zh) * 2017-03-22 2017-06-20 北京虹巢环保科技有限公司 垃圾分拣系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014179667A2 (en) 2013-05-03 2014-11-06 Ecowastehub Corp. Solid waste identification & segregation system
CN103552788B (zh) 2013-11-07 2016-03-09 邱泽国 集群式垃圾自动识别总成及其自动分类垃圾桶
CN204507883U (zh) * 2015-04-05 2015-07-29 西安航空学院 一种垃圾分类系统
CN105772407A (zh) * 2016-01-26 2016-07-20 耿春茂 一种基于图像识别技术的垃圾分类机器人
CN105631482A (zh) 2016-03-03 2016-06-01 中国民航大学 一种基于卷积神经网络模型的危险物品图像分类方法
WO2018013903A1 (en) * 2016-07-15 2018-01-18 CleanRobotics, Inc. Automatic sorting of waste
US11135620B2 (en) * 2018-01-12 2021-10-05 Emerging Acquisitions, Llc Autonomous data collection and system control for material recovery facilities
CA3095894A1 (en) * 2018-04-02 2019-10-10 Avangard Innovative, Lp System and method for handling recyclable materials

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7975853B2 (en) * 2006-07-03 2011-07-12 Gregory William Furniss Method and apparatus for sorting small food items for softness
CN102556547A (zh) * 2011-12-15 2012-07-11 沈阳化工大学 一种无线环保监测的垃圾箱
CN104495139A (zh) * 2014-12-31 2015-04-08 东南大学 垃圾投放箱及垃圾分类投放方法
EP3078611A1 (en) * 2015-04-09 2016-10-12 Fomento de Construcciones y Contratas, S.A. Solid waste classification system
CN205023252U (zh) * 2015-09-24 2016-02-10 武汉锦星科技有限公司 一种垃圾桶及基于互联网的垃圾回收管理系统
CN105564864A (zh) * 2015-12-18 2016-05-11 美的集团股份有限公司 垃圾桶、垃圾桶的垃圾分类方法和系统
CN105787506A (zh) * 2016-01-26 2016-07-20 耿春茂 基于图像识别与二维码识别技术的垃圾分类评价方法
CN105836340A (zh) * 2016-04-01 2016-08-10 苏州玄禾物联网科技有限公司 一种垃圾桶监控方法
CN106874977A (zh) * 2017-03-22 2017-06-20 北京虹巢环保科技有限公司 垃圾分拣系统和方法

Also Published As

Publication number Publication date
WO2019000929A1 (zh) 2019-01-03
US20210178432A1 (en) 2021-06-17
US11446706B2 (en) 2022-09-20
CN109201514A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109201514B (zh) 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统
CN108090458B (zh) 人体跌倒检测方法和装置
CN108960124B (zh) 用于行人再识别的图像处理方法及装置
CN109886141A (zh) 一种基于不确定性优化的行人再辨识方法
Gyawali et al. Comparative analysis of multiple deep CNN models for waste classification
CN111611970B (zh) 一种基于城管监控视频的乱扔垃圾行为检测方法
US11335086B2 (en) Methods and electronic devices for automated waste management
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
KR102324684B1 (ko) 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법
CN111186656A (zh) 一种目标垃圾分类方法及智能垃圾桶
CN111813997A (zh) 入侵分析方法、装置、设备及存储介质
CN104063686A (zh) 作物叶部病害图像交互式诊断系统与方法
CN112488021A (zh) 一种基于监控视频的垃圾投递违规行为检测方法及系统
CN110516625A (zh) 一种垃圾识别分类的方法、系统、终端及存储介质
CN107423944A (zh) 一种便携式一站式检测服务系统及方法
CN109167998A (zh) 检测相机状态的方法及装置、电子设备、存储介质
KR20220091227A (ko) 재활용 회수 장치 및 이를 이용한 리워드 포인트 지급 방법
CN107040592A (zh) 一种手持式一站式检测服务系统及方法
CN113657143A (zh) 一种基于分类和检测联合判决的垃圾分类方法
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
CN117088015A (zh) 一种智慧垃圾处理方法、系统及存储介质
KR102321130B1 (ko) 이미지 분석 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법
CN110414542A (zh) 一种用于自动榨汁售卖机的水果流道检测方法和系统
CN105404891A (zh) 一种室外设施巡检方法
CN108694347A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant