CN114120136A - 对垃圾进行分类的方法、装置以及存储介质 - Google Patents

对垃圾进行分类的方法、装置以及存储介质 Download PDF

Info

Publication number
CN114120136A
CN114120136A CN202210098107.9A CN202210098107A CN114120136A CN 114120136 A CN114120136 A CN 114120136A CN 202210098107 A CN202210098107 A CN 202210098107A CN 114120136 A CN114120136 A CN 114120136A
Authority
CN
China
Prior art keywords
feature map
image
garbage
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210098107.9A
Other languages
English (en)
Other versions
CN114120136B (zh
Inventor
亓圣章
张朝
王坚
李兵
余昊楠
胡卫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin Zhongke Beijing Intelligent Technology Co ltd
Original Assignee
Renmin Zhongke Jinan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin Zhongke Jinan Intelligent Technology Co ltd filed Critical Renmin Zhongke Jinan Intelligent Technology Co ltd
Priority to CN202210098107.9A priority Critical patent/CN114120136B/zh
Publication of CN114120136A publication Critical patent/CN114120136A/zh
Application granted granted Critical
Publication of CN114120136B publication Critical patent/CN114120136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像识别技术领域，特别是涉及一种对垃圾进行分类的方法、装置以及存储介质。其中，对垃圾进行分类的方法，包括：利用基于神经网络的特征提取模型从第一图像提取第一特征图以及从第二图像提取第二特征图，其中第一图像为向垃圾存储设施投递垃圾目标前所采集的垃圾存储设施内的图像，并且第二图像为向垃圾存储设施投递垃圾目标后所采集的垃圾存储设施内的图像；以及根据第一特征图和第二特征图，确定垃圾目标的类别。

Description

对垃圾进行分类的方法、装置以及存储介质
技术领域
本申请涉及图像识别技术领域，特别是涉及一种对垃圾进行分类的方法、装置以及存储介质。
背景技术
近年来，随着垃圾分类管理条例的推行，全国各个地市都逐渐开始了对居民日常投递垃圾的严格管理。但是由于管理手段的落后，很多小区垃圾投递点需要设置专人对居民投递垃圾的行为进行督导或者进行二次分拣。而且，使用这样的人为监管手段，也很难保证有效的垃圾分类。随着人工智能技术的发展与成熟，人工智能与深度学习技术被用于替代这部分人为监管。
目前常见的垃圾分类算法主要是基于目标检测模型或单个图片的分类模型，需要保证输入的单张图片中具有需要分类的垃圾目标，因此在实际应用场景中对图像的采集有较高的要求。并且，采集到的连续帧输入模型中会产生大量的冗余信息，很难准确地提取到新投递的垃圾目标。
此外，现有的目标检测模型在应用于垃圾分类的应用场景中时，不仅提供垃圾目标的类别信息，还要计算垃圾目标的位置信息。由于垃圾目标的位置信息并不是垃圾分类中所关注的信息，因此现有的目标检测模型实际上提供了部分无效信息，从而造成了对算力的浪费，并且不可避免的会遇到处理速度的问题。传统分类模型在应用于该场景中时，因为背景图像中会存在并非本次投递的其他垃圾，因此背景图像会对垃圾目标的分类构成干扰，从而影响垃圾分类的准确性。
针对现有技术中利用人工智能技术进行垃圾分类处理时不能在提高计算效率的同时减少干扰信息的影响并提高分类准确率的技术问题，目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种对垃圾进行分类的方法、装置以及存储介质，以至少解决现有技术中利用人工智能技术进行垃圾分类处理时不能在提高计算效率的同时减少干扰信息的影响并提高分类准确率的技术问题。
根据本公开实施例的一个方面，提供了一种对垃圾进行分类的方法，包括：利用基于神经网络的特征提取模型从第一图像提取第一特征图并从第二图像提取第二特征图，其中第一图像为向垃圾存储设施投递垃圾目标前所采集的垃圾存储设施内的图像，并且第二图像为向垃圾存储设施投递垃圾目标后所采集的垃圾存储设施内的图像；以及根据第一特征图和第二特征图，确定垃圾目标的类别。
根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上所述的方法。
根据本公开实施例的另一个方面，还提供了一种对垃圾进行分类的装置，包括：特征图提取模块，用于利用基于神经网络的特征提取模型从第一图像提取第一特征图并从第二图像提取第二特征图，其中第一图像为向垃圾存储设施投递垃圾目标前所采集的垃圾存储设施内的图像，并且第二图像为向垃圾存储设施投递垃圾目标后所采集的垃圾存储设施内的图像；以及垃圾分类模块，用于根据第一特征图和第二特征图，确定垃圾目标的类别。
根据本公开实施例的另一个方面，还提供了一种对垃圾进行分类的装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：利用基于神经网络的特征提取模型从第一图像提取第一特征图并从第二图像提取第二特征图，其中第一图像为向垃圾存储设施投递垃圾目标前所采集的垃圾存储设施内的图像，并且第二图像为向垃圾存储设施投递垃圾目标后所采集的垃圾存储设施内的图像；以及根据第一特征图和第二特征图，确定垃圾目标的类别。
从而，本公开实施例利用基于神经网络的特征提取模型从投递垃圾目标前所采集的第一图像提取第一特征图以及从投递垃圾目标后所采集的第二图像提取第二特征图。由于没有利用目标检测模型进行目标检测，而是利用特征提取模型提取特征图，因此在对垃圾目标进行分类之外不会再进行对其定位的额外计算操作，因此节省了算力并提高了计算效率。此外，由于第一特征图能够反映未投递垃圾目标时垃圾存储设施内的图像特征，第二特征图能够反映已经投递垃圾目标后垃圾存储设施内的图像特征，因此通过根据第一特征图和第二特征图对垃圾目标进行分类，能够基于投递垃圾目标前的图像特征与投递垃圾目标后的图像特征之间的差异对垃圾目标进行分类。从而，排除了垃圾存储设施中的其他垃圾对分类的干扰，提高了垃圾分类的准确性，并解决了现有技术中利用人工智能技术进行垃圾分类处理时不能在提高计算效率的同时减少干扰信息的影响并提高分类准确率的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
图2是根据本公开实施例1所述的计算设备的程序模块示意图；
图3是根据本公开实施例1的第一个方面所述的对垃圾进行分类的方法的流程示意图；
图4A是在向垃圾桶投递垃圾目标前的第一图像的示意图；
图4B是在向垃圾桶投递垃圾目标后的第二图像的示意图；
图5是根据本公开实施例1的第一个方面所述的垃圾分类模块的示意图；
图6是根据本公开实施例1的第一个方面所述的另一种替代方式的垃圾分类模块的示意图；
图7是根据本公开实施例2所述的对垃圾进行分类的装置的示意图；以及
图8是根据本公开实施例3所述的对垃圾进行分类的装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例，提供了一种对垃圾进行分类的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现对垃圾进行分类的方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器（处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：光标控制设备、键盘、显示器和输入/输出接口（I/O接口）。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。
存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的对垃圾进行分类的方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的对垃圾进行分类的方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件（包括电路）、软件元件（包括存储在计算机可读介质上的计算机代码）、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。
图2是图1所示的计算设备中的模块示意图。参照图2所示，计算设备设置有图像采集模块、图像预处理模块以及垃圾分类模块。
其中，图像采集模块与设置于垃圾存储设施的图像采集设备（例如摄像头）通信连接，用于采集垃圾存储设施内的图像。优选地，图像采集设备例如设置于垃圾存储设施的上方，从而采集垃圾存储设施的俯视图。其中，垃圾存储设施例如是垃圾桶、垃圾箱和垃圾暂存点等存储垃圾的设施。并且在本实施例中，以垃圾桶为例对垃圾存储设施进行说明。
图像预处理模块用于对图像采集模块所采集的垃圾存储设施内的图像进行预处理。
垃圾分类模块用于根据所接收的垃圾存储设施内的图像，对投递至垃圾存储设施的垃圾目标进行分类。
在上述运行环境下，根据本实施例的第一个方面，提供了一种对垃圾进行分类的方法，该方法由图1中所示的计算设备实现。图3示出了该方法的流程示意图，参考图3所示，该方法包括：
S102：利用基于神经网络的特征提取模型从第一图像提取第一特征图并从第二图像提取第二特征图，其中第一图像为向垃圾存储设施投递垃圾目标前所采集的垃圾存储设施内的图像，并且第二图像为向垃圾存储设施投递垃圾目标后所采集的垃圾存储设施内的图像；以及
S104：根据第一特征图和第二特征图，确定垃圾目标的类别。
具体地，当用户向垃圾桶（即垃圾存储设施）投递垃圾目标时，设置于垃圾桶的图像采集设备将用户投递垃圾目标前的第一图像和用户投递垃圾目标后的第二图像发送至计算设备。即，第一图像不包含用户投递的垃圾目标，而第二图像包含用户投递的垃圾目标。从而计算设备通过图像采集模块接收图像采集设备发送的第一图像和第二图像。
其中，图4A示出了用户投递垃圾目标前垃圾桶内的第一图像的示意图。其中参考图4A所示，在用户投递垃圾目标前，垃圾桶101内可能已经存储有之前投递的其他垃圾102（即虚线框内所示的垃圾）。因此第一图像包含用户投递垃圾目标之前的其他垃圾102。
图4B示出了用户投递垃圾目标后垃圾桶内的第二图像的示意图。参考图4B所示，用户在垃圾桶101中投递垃圾目标103后，垃圾桶102内存储有投递目标垃圾103之前的其他垃圾102以及用户投递的垃圾目标103。因此第二图像不仅包含用户投递的垃圾目标103，并且包含用户投递垃圾目标103之前就存在的其他垃圾102。
然后，计算设备通过垃圾分类模块根据第一图像和第二图像对垃圾目标进行分类。参考图2所示，垃圾分类模块设置有基于神经网络的特征提取模型。从而垃圾分类模块在接收第一图像和第二图像后，将第一图像和第二图像输入至特征提取模型。从而垃圾分类模块利用该特征提取模型提取第一图像的第一特征图（Feature Map）以及第二图像的第二特征图（S102）。
其中，特征提取模型中所采用的神经网络例如可以是Resnet50等已知神经网络。本实施例中以Resnet50为骨干网络对本公开的技术方案进行说明。但是本领域技术人员应当知晓，其他的能够根据输入图像提取特征并生成特征图的神经网络结构，例如应用于分类模型中的特征提取模型（例如，已知分类模型的骨干网络（backbone））也适用于本公开的技术方案。
从而，根据本实施例的技术方案，特征提取模型生成的与第一图像对应的第一特征图可以是512*7*7张量形式的特征图（即512个通道，每个通道的尺寸大小为7*7）。并且特征提取模型生成的与第二图像对应的第二特征图也可以是512*7*7张量形式的特征图。从而第一特征图能够反映未投递垃圾目标时垃圾桶内的图像特征，第二特征图能够反映已经投递垃圾目标后垃圾桶内的图像特征。
然后，垃圾分类模块可以利用分类器模型根据第一特征图和第二特征图确定垃圾目标的类别（S104）。
具体地，下面表1示出了本实施例的技术方案所设置的垃圾类别：
表1：
Figure 752545DEST_PATH_IMAGE001
从而分类器模型根据第一特征图和第二特征图从表1所示的垃圾类别中确定用户所投递的垃圾目标的类别。
正如背景技术中所述的，现有的目标检测模型在应用于垃圾分类的应用场景中时，不仅提供垃圾目标的类别信息，还要计算垃圾目标的位置信息。由于垃圾目标的位置信息并不是垃圾分类中所关注的信息，因此现有的目标检测模型实际上提供了部分无效信息，从而造成了对算力的浪费，并且不可避免的会遇到处理速度的问题。传统分类模型在应用于该场景中时，因为背景图像中会存在并非本次投递的其他垃圾，因此背景图像会对垃圾目标的分类构成干扰，从而影响垃圾分类的准确性。例如，参考图4B所示，图像中的其他垃圾102作为背景图像会对垃圾目标103的分类构成干扰。
有鉴于此，根据本公开的技术方案，垃圾分类模块利用基于神经网络的特征提取模型从投递垃圾目标前所采集的第一图像提取第一特征图以及从投递垃圾目标后所采集的第二图像提取第二特征图。由于垃圾分类模块没有利用目标检测模型进行目标检测，而是利用特征提取模型提取特征图，因此在对垃圾目标进行分类之外不会再进行对其定位的额外计算操作，因此节省了算力并提高了计算效率。此外，由于第一特征图能够反映未投递垃圾目标时垃圾存储设施内的图像特征，第二特征图能够反映已经投递垃圾目标后垃圾存储设施内的图像特征，因此通过根据第一特征图和第二特征图对垃圾目标进行分类，使得垃圾分类模块能够基于投递垃圾目标前的图像特征与投递垃圾目标后的图像特征之间的差异对垃圾目标进行分类。从而，排除了垃圾存储设施中的其他垃圾对分类的干扰，提高了垃圾分类的准确性，并解决了现有技术中利用人工智能技术进行垃圾分类处理时不能在提高计算效率的同时减少干扰信息的影响并提高分类准确率的技术问题。
可选地，特征提取模型包含至少两个分支网络，并且利用基于神经网络的特征提取模型提取第一图像的第一特征图和第二图像的第二特征图的操作，包括：利用特征提取模型的第一分支网络提取第一图像的第一特征图；以及利用特征提取模型的第二分支网络提取第二图像的第二特征图。
具体地，图5示出了垃圾分类模块的进一步的示意图，参考图5所示，特征提取模型包含多个分支网络（例如两个分支网络）。从而垃圾分类模块将第一图像输入至特征提取模型的第一分支网络从而提取得到第一特征图，将第二图像输入至特征提取模型的第二分支网络从而提取得到第二特征图。
优选地，特征提取模型采用双分支网络结构，并且第一分支网络和第二分支网络为两个参数共享的以Resnet50为网络骨干的特征提取网络（即第一分支网络与第二分支网络的参数相同）。从而本公开的技术方案借鉴了双生网络的思想，利用两个参数共享的分支网络分别对第一图像和第二图像提取特征图，从而有利于提取第一图像和第二图像的差异特征。
可选地，根据第一特征图和第二特征图，确定垃圾目标的类别的操作，包括：将第一特征图和第二特征图融合生成第三特征图；以及根据第三特征图确定垃圾目标的类别。
参考图5所示，垃圾分类模块在利用特征提取模型生成第一图像的第一特征图和第二图像的第二特征图之后，将第一特征图和第二特征图进行融合，从而生成用于对垃圾进行分类的第三特征图。
其中，将第一特征图和第二特征图进行融合的方式不限。例如，可以通过已知的concat融合或者add融合的方法对第一特征图和第二特征图进行融合。
其中，在采用concat融合时，按照下述公式对第一特征图和第二特征图进行融合：
Figure 528740DEST_PATH_IMAGE002
（1）
其中，Z concat 为融合后的第三特征图，c为第一特征图和第二特征图的通道数，X i 为第一特征图的各个通道，Y i 为第二特征图的各个通道，K i 是与第一特征图的各个通道对应的权重，以及K i+c 是与第二特征图的各个通道对应的权重。
在采用add融合时，按照下述公式对第一特征图和第二特征图进行融合：
Figure 121526DEST_PATH_IMAGE004
（2）
其中，Z add 为融合后的第三特征图，c为第一特征图和第二特征图的通道数，X i 为第一特征图的各个通道，Y i 为第二特征图的各个通道，以及K i 是与第一特征图和第二特征图的各个通道对应的权重。
其中关于公式（1）和公式（2）中的参数K i 和K i+c ，例如可以根据本实施例下文所述的方法确定，也可以根据已知的add融合或者concat融合方法中已有的方法确定，或者也可以人工对参数进行调整。此处不做具体限制。
此外，可选地，将第一特征图和第二特征图融合生成第三特征图的操作，包括：利用基于注意力机制的权重计算模型分别计算第一特征图的权重值和第二特征图的权重值；以及根据第一特征图的权重值和第二特征图的权重值，将第一特征图和第二特征图进行加权融合，生成第三特征图。
具体地，垃圾分类模块在生成第一特征图和第二特征图之后，可以利用基于注意力机制的权重计算模型来分别计算第一特征图的权重值和第二特征图的权重值。例如，本公开的技术方案可以参考已知的SE网络（SE-NET）来计算第一特征图和第二特征图的各个通道的权重（例如通过SE网络的激发（excitation）操作计算第一特征图和第二特征图的各个通道的权重）。
然后垃圾分类模块利用计算得到的权重，根据上面所述的方法（例如公式（1）或公式（2））将第一特征图和第二特征图进行加权融合，生成第三特征图。
由于本公开的技术方案利用基于注意力机制的权重计算模型来计算第一特征图和第二特征图的权重，因此加权融合生成的第三特征图能够更加准确地反映出投递垃圾目标前后图像之间的特征差异，同时能够有效地屏蔽第一特征图与第二特征图中的相似特征，从而即便第一图像与第二图像之间存在较小的特征差异，本公开的技术方案也能够准确地对垃圾目标进行分类。
可选地，将第一特征图和第二特征图融合生成第三特征图的操作，还包括：对所述第一特征图的数据进行拼接生成与所述第一特征图对应的第一特征向量，并且对所述第二特征图的数据进行拼接生成与所述第二特征图对应的第二特征向量；确定第一特征向量和第二特征向量之间的距离，并根据距离确定与第一特征图和第二特征图对应的权重值；以及根据权重值将第一特征图和第二特征图进行融合，生成第三特征图。
具体地，作为利用基于注意力机制的权重计算模型来确定权重的替代方式，垃圾分类模块在得到第一特征图和第二特征图之后，还可以计算第一特征图以及第二特征图之间的距离。例如，对于512*7*7张量形式的第一特征图，垃圾分类模块可以将第一特征图按照数据行进行拼接，从而得到与第一特征图对应的维度为25088（即512*7*7=25088）的第一特征向量。同样，垃圾分类模块可以得到与第二特征图对应的维度为25088的第二特征向量。
然后垃圾分类模块计算第一特征向量与第二特征向量之间的距离，作为第一特征图与第二特征图之间的距离。并将该距离作为第一图像和第二图像之间的差异评估指标。例如该距离越大，则说明第一图像与第二图像之间的特征差异越大；该距离越小，则说明第一图像与第二图像之间的特征差异越小。作为示例，第一特征向量与第二特征向量之间的距离可以是欧式距离。
然后，垃圾分类模块根据计算出的距离确定将第一特征图和第二特征图进行融合时的权重。例如垃圾分类模块可以直接将该距离确定为权重，或者将该距离进行归一化处理后确定为权重。
然后垃圾分类模块将该权重作为与第一特征图和第二特征图各个通道对应的权重，利用上面所述的方法将第一特征图和第二特征图进行融合得到第三特征图。
从而通过这种方式，本公开的技术方案可以根据第一图像与第二图像之间整体的特征差异进行融合，而不是仅仅局限于差异区域的局部特征差异，从而能够确保垃圾分类的准确性。
可选地，根据第三特征图确定垃圾目标的类别的操作，包括：利用分类器模型，根据第三特征图确定垃圾目标的类别。
参考图5所示，垃圾分类模块可以利用分类器模型确定与融合后的第三特征图对应的类别。其中分类器模型例如可以采用常见的全连接层+分类器的形式，此处不再赘述。
可选地，根据第一特征图和第二特征图，确定垃圾目标的类别的操作，包括：利用与第一分支网络对应的第一分类器模型确定与第一特征图对应的第一分类向量以及利用与第二分支网络对应的第二分类器模型确定与第二特征图对应的第二分类向量；以及利用第三分类器模型根据第一分类向量和第二分类向量确定垃圾目标的类别。
具体地，图6示出了作为图5所示的垃圾分类模块的替代方式的示意图。参考图6所示，根据本公开的技术方案，特征提取模型设置有与第一分支网络连接的第一分类器模型以及与第二分支网络连接的第二分类器模型，并且第一分类器模型与第二分类器模型均与第三分类器模型连接。其中第一分类器模型至第三分类器模型例如均可以采用全连接层+softmax分类器的形式。
从而垃圾分类模块通过第一分支网络得到与第一图像对应的第一特征图后将第一特征图输入至第一分类器模型从而得到与第一特征图对应的第一分类信息。其中第一分类信息为第一分类器模型输出的向量。本公开的技术方案并不关注该向量中的参数所表征的实际含义，仅将该向量作为第一分类器模型计算的与第一图像相关的特征向量输入至第三分类器模型。
同样，垃圾分类模块通过第二分支网络得到与第二图像对应的第二特征图后将第二特征图输入至第二分类器模型从而得到与第二特征图对应的第二分类信息。其中第二分类信息为第二分类器模型输出的向量。本公开的技术方案并不关注该向量中的参数所表征的实际含义，仅将该向量作为第二分类器模型计算的与第二图像相关的特征向量输入至第三分类器模型。
从而，第三分类器模型根据第一分类器模型输出的第一分类信息以及第二分类器模型输出的第二分类信息，确定垃圾目标的类别。
此外，可选地，在利用基于神经网络的特征提取模型从第一图像提取第一特征图以及从第二图像提取第二特征图之前，还包括：对第一图像和第二图像进行预处理。
具体地，参考图2所示，计算设备还包括图像预处理模块，从而在图像采集模块接收第一图像和第二图像之后，计算设备可以通过图像预处理模块对第一图像和第二图像进行预处理，然后再将预处理后的第一图像和第二图像输入至垃圾分类模块。
具体地，图像预处理模块例如可以对图像进行以下的至少一项预处理操作：上下翻转；左右翻转；上下左右同时翻转；图像压缩；灰度变换；运动模糊；高斯模糊；仿射变换；模糊；亮度、色度以及饱和度扰动；以及锐化。
此外，图像预处理模块还可以调整第一图像和第二图像的尺寸（resize），从而将第一图像和第二图像调整为适配于特征提取模型的尺寸。例如，图像预处理模块可以将第一图像和第二图像的尺寸调整为448*448。
此外，根据本公开的技术方案，可以利用人工标注的图像对来对特征提取模型进行训练。例如，针对本实施例所述的采用双分支网络的特征提取模型，训练样本集中的一个训练样本包括图像对以及人工标注的类别。其中图像对包括在垃圾桶投递垃圾目标前的图像和在垃圾桶投递垃圾目标后的图像。人工标注的类别为人工判断所投递的垃圾目标的类别。其中当投递的垃圾目标包括多个不同类别的垃圾目标时，可以采用多标签的方式进行人工标注。
此外，参考图1所示，根据本实施例的第二个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上任意一项所述的方法。
从而，本实施例利用基于神经网络的特征提取模型从投递垃圾目标前所采集的第一图像提取第一特征图以及从投递垃圾目标后所采集的第二图像提取第二特征图。由于没有利用目标检测模型进行目标检测，而是利用特征提取模型提取特征图，因此在对垃圾目标进行分类之外不会再进行对其定位的额外计算操作，因此节省了算力并提高了计算效率。此外，由于第一特征图能够反映未投递垃圾目标时垃圾存储设施内的图像特征，第二特征图能够反映已经投递垃圾目标后垃圾存储设施内的图像特征，因此通过根据第一特征图和第二特征图对垃圾目标进行分类，能够基于投递垃圾目标前的图像特征与投递垃圾目标后的图像特征之间的差异对垃圾目标进行分类。从而，排除了垃圾存储设施中的其他垃圾对分类的干扰，提高了垃圾分类的准确性，并解决了现有技术中利用人工智能技术进行垃圾分类处理时不能在提高计算效率的同时减少干扰信息的影响并提高分类准确率的技术问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例2
图7示出了根据本实施例所述的对垃圾进行分类的装置700，该装置700与根据实施例1的第一个方面所述的方法相对应。参考图7所示，该装置700包括：特征图提取模块710，用于利用基于神经网络的特征提取模型从第一图像提取第一特征图并从第二图像提取第二特征图，其中第一图像为向垃圾存储设施投递垃圾目标前所采集的垃圾存储设施内的图像，并且第二图像为向垃圾存储设施投递垃圾目标后所采集的垃圾存储设施内的图像；以及垃圾分类模块720，用于根据第一特征图和第二特征图，确定垃圾目标的类别。
可选地，特征提取模型包含至少两个分支网络，并且特征图提取模块710包括：第一特征图提取子模块，用于利用特征提取模型的第一分支网络提取第一图像的第一特征图；以及第二特征图提取子模块，用于利用特征提取模型的第二分支网络提取第二图像的第二特征图。
可选地，垃圾分类模块720包括：特征图融合子模块，用于将第一特征图和第二特征图融合生成第三特征图；以及垃圾分类子模块，用于根据第三特征图确定垃圾目标的类别。
可选地，特征图融合子模块包括：权重值确定单元，用于利用基于注意力机制的权重计算模型分别计算第一特征图的权重值和第二特征图的权重值；以及第一特征图融合单元，用于根据第一特征图的权重值和第二特征图的权重值，将第一特征图和第二特征图进行加权融合，生成第三特征图。
可选地，特征图融合子模块还包括：特征向量生成单元，用于对第一特征图的数据进行拼接生成与第一特征图对应的第一特征向量，并且对第二特征图的数据进行拼接生成与第二特征图对应的第二特征向量；权重确定单元，用于确定第一特征向量和第二特征向量之间的距离，并根据距离确定与第一特征图和第二特征图对应的权重值；以及第二特征图融合单元，用于根据权重值将第一特征图和第二特征图进行融合，生成第三特征图。
可选地，垃圾分类子模块包括垃圾分类单元，用于利用分类器模型，根据第三特征图确定垃圾目标的类别。
可选地，垃圾分类模块720还包括：第一分类子模块，用于利用与第一分支网络对应的第一分类器模型确定与第一特征图对应的第一分类向量以及利用与第二分支网络对应的第二分类器模型确定与第二特征图对应的第二分类向量；以及第二分类子模块，用于利用第三分类器模型根据第一分类向量和第二分类向量确定垃圾目标的类别。
可选地，还包括预处理模块，用于对第一图像和第二图像进行预处理。
从而，本实施例利用基于神经网络的特征提取模型从投递垃圾目标前所采集的第一图像提取第一特征图以及从投递垃圾目标后所采集的第二图像提取第二特征图。由于没有利用目标检测模型进行目标检测，而是利用特征提取模型提取特征图，因此在对垃圾目标进行分类之外不会再进行对其定位的额外计算操作，因此节省了算力并提高了计算效率。此外，由于第一特征图能够反映未投递垃圾目标时垃圾存储设施内的图像特征，第二特征图能够反映已经投递垃圾目标后垃圾存储设施内的图像特征，因此通过根据第一特征图和第二特征图对垃圾目标进行分类，能够基于投递垃圾目标前的图像特征与投递垃圾目标后的图像特征之间的差异对垃圾目标进行分类。从而，排除了垃圾存储设施中的其他垃圾对分类的干扰，提高了垃圾分类的准确性，并解决了现有技术中利用人工智能技术进行垃圾分类处理时不能在提高计算效率的同时减少干扰信息的影响并提高分类准确率的技术问题。
实施例3
图8示出了根据本实施例所述的对垃圾进行分类的装置800，该装置800与根据实施例1的第一个方面所述的方法相对应。参考图8所示，该装置800包括：处理器810；以及存储器820，与处理器810连接，用于为处理器810提供处理以下处理步骤的指令：利用基于神经网络的特征提取模型从第一图像提取第一特征图并从第二图像提取第二特征图，其中第一图像为向垃圾存储设施投递垃圾目标前所采集的垃圾存储设施内的图像，并且第二图像为向垃圾存储设施投递垃圾目标后所采集的垃圾存储设施内的图像；以及根据第一特征图和第二特征图，确定垃圾目标的类别。
可选地，特征提取模型包含至少两个分支网络，并且利用基于神经网络的特征提取模型提取第一图像的第一特征图和第二图像的第二特征图的操作，包括：利用特征提取模型的第一分支网络提取第一图像的第一特征图；以及利用特征提取模型的第二分支网络提取第二图像的第二特征图。
可选地，根据第一特征图和第二特征图，确定垃圾目标的类别的操作，包括：将第一特征图和第二特征图融合生成第三特征图；以及根据第三特征图确定垃圾目标的类别。
可选地，将第一特征图和第二特征图融合生成第三特征图的操作，包括：利用基于注意力机制的权重计算模型分别计算第一特征图的权重值和第二特征图的权重值；以及根据第一特征图的权重值和第二特征图的权重值，将第一特征图和第二特征图进行加权融合，生成第三特征图。
可选地，将第一特征图和第二特征图融合生成第三特征图的操作，还包括：对第一特征图的数据进行拼接生成与第一特征图对应的第一特征向量，并且对第二特征图的数据进行拼接生成与第二特征图对应的第二特征向量；确定第一特征向量和第二特征向量之间的距离，并根据距离确定与第一特征图和第二特征图对应的权重值；以及根据权重值将第一特征图和第二特征图进行融合，生成第三特征图。
可选地，根据第三特征图确定垃圾目标的类别的操作，包括：利用分类器模型，根据第三特征图确定垃圾目标的类别。
可选地，根据第一特征图和第二特征图，确定垃圾目标的类别的操作，还包括：利用与第一分支网络对应的第一分类器模型确定与第一特征图对应的第一分类向量以及利用与第二分支网络对应的第二分类器模型确定与第二特征图对应的第二分类向量；以及利用第三分类器模型根据第一分类向量和第二分类向量确定垃圾目标的类别。
可选地，在利用基于神经网络的特征提取模型从第一图像提取第一特征图以及从第二图像提取第二特征图之前，存储器820还为处理器810提供处理以下处理步骤的指令：对第一图像和第二图像进行预处理。
从而，本实施例利用基于神经网络的特征提取模型从投递垃圾目标前所采集的第一图像提取第一特征图以及从投递垃圾目标后所采集的第二图像提取第二特征图。由于没有利用目标检测模型进行目标检测，而是利用特征提取模型提取特征图，因此在对垃圾目标进行分类之外不会再进行对其定位的额外计算操作，因此节省了算力并提高了计算效率。此外，由于第一特征图能够反映未投递垃圾目标时垃圾存储设施内的图像特征，第二特征图能够反映已经投递垃圾目标后垃圾存储设施内的图像特征，因此通过根据第一特征图和第二特征图对垃圾目标进行分类，能够基于投递垃圾目标前的图像特征与投递垃圾目标后的图像特征之间的差异对垃圾目标进行分类。从而，排除了垃圾存储设施中的其他垃圾对分类的干扰，提高了垃圾分类的准确性，并解决了现有技术中利用人工智能技术进行垃圾分类处理时不能在提高计算效率的同时减少干扰信息的影响并提高分类准确率的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种对垃圾进行分类的方法，其特征在于，包括：
利用基于神经网络的特征提取模型从第一图像提取第一特征图并从第二图像提取第二特征图，其中所述第一图像为向垃圾存储设施投递垃圾目标前所采集的所述垃圾存储设施内的图像，并且所述第二图像为向所述垃圾存储设施投递所述垃圾目标后所采集的所述垃圾存储设施内的图像；以及
根据所述第一特征图和所述第二特征图，确定所述垃圾目标的类别。
2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包含至少两个分支网络，并且利用基于神经网络的特征提取模型提取第一图像的第一特征图和第二图像的第二特征图的操作，包括：
利用所述特征提取模型的第一分支网络提取所述第一图像的第一特征图；以及
利用所述特征提取模型的第二分支网络提取所述第二图像的第二特征图。
3.根据权利要求1所述的方法，其特征在于，根据所述第一特征图和所述第二特征图，确定所述垃圾目标的类别的操作，包括：
将所述第一特征图和所述第二特征图融合生成第三特征图；以及
根据所述第三特征图确定所述垃圾目标的类别。
4.根据权利要求3所述的方法，其特征在于，将所述第一特征图和所述第二特征图融合生成第三特征图的操作，包括：
利用基于注意力机制的权重计算模型分别计算所述第一特征图的权重值和所述第二特征图的权重值；以及
根据所述第一特征图的权重值和所述第二特征图的权重值，将所述第一特征图和所述第二特征图进行加权融合，生成所述第三特征图。
5.根据权利要求3所述的方法，其特征在于，将所述第一特征图和所述第二特征图融合生成第三特征图的操作，包括：
对所述第一特征图的数据进行拼接生成与所述第一特征图对应的第一特征向量，并且对所述第二特征图的数据进行拼接生成与所述第二特征图对应的第二特征向量；
确定所述第一特征向量和所述第二特征向量之间的距离，并根据所述距离确定与所述第一特征图和所述第二特征图对应的权重值；以及
根据所述权重值将所述第一特征图和所述第二特征图进行融合，生成所述第三特征图。
6.根据权利要求3所述的方法，其特征在于，根据所述第三特征图确定所述垃圾目标的类别的操作，包括：利用分类器模型，根据所述第三特征图确定所述垃圾目标的类别。
7.根据权利要求2所述的方法，其特征在于，根据所述第一特征图和所述第二特征图，确定所述垃圾目标的类别的操作，还包括：
利用与所述第一分支网络对应的第一分类器模型确定与所述第一特征图对应的第一分类向量以及利用与所述第二分支网络对应的第二分类器模型确定与所述第二特征图对应的第二分类向量；以及
利用第三分类器模型根据所述第一分类向量和所述第二分类向量确定所述垃圾目标的类别。
8.根据权利要求1所述的方法，其特征在于，在利用基于神经网络的特征提取模型从第一图像提取第一特征图以及从第二图像提取第二特征图之前，还包括：对所述第一图像和所述第二图像进行预处理。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至8中任意一项所述的方法。
10.一种对垃圾进行分类的装置，其特征在于，包括：
特征图提取模块，用于利用基于神经网络的特征提取模型从第一图像提取第一特征图以及从第二图像提取第二特征图，其中所述第一图像为向垃圾存储设施投递垃圾目标前所采集的所述垃圾存储设施内的图像，并且所述第二图像为向所述垃圾存储设施投递所述垃圾目标后所采集的所述垃圾存储设施内的图像；以及
垃圾分类模块，用于根据所述第一特征图和所述第二特征图，确定所述垃圾目标的类别。
11.一种对垃圾进行分类的装置，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
利用基于神经网络的特征提取模型从第一图像提取第一特征图以及从第二图像提取第二特征图，其中所述第一图像为向垃圾存储设施投递垃圾目标前所采集的所述垃圾存储设施内的图像，并且所述第二图像为向所述垃圾存储设施投递所述垃圾目标后所采集的所述垃圾存储设施内的图像；以及
根据所述第一特征图和所述第二特征图，确定所述垃圾目标的类别。
CN202210098107.9A 2022-01-27 2022-01-27 对垃圾进行分类的方法、装置以及存储介质 Active CN114120136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210098107.9A CN114120136B (zh) 2022-01-27 2022-01-27 对垃圾进行分类的方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210098107.9A CN114120136B (zh) 2022-01-27 2022-01-27 对垃圾进行分类的方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN114120136A true CN114120136A (zh) 2022-03-01
CN114120136B CN114120136B (zh) 2022-06-17

Family

ID=80361416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210098107.9A Active CN114120136B (zh) 2022-01-27 2022-01-27 对垃圾进行分类的方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN114120136B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630725A (zh) * 2023-07-24 2023-08-22 广东北斗翔晨科技有限公司 基于多维筛选的垃圾分类处理方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414544A (zh) * 2018-04-28 2019-11-05 杭州海康威视数字技术股份有限公司 一种目标状态分类方法、装置及系统
CN110498152A (zh) * 2019-09-18 2019-11-26 福州大学 一种基于ai的智能分类垃圾桶及其方法
CN110738131A (zh) * 2019-09-20 2020-01-31 广州游艺云物联网技术有限公司 基于深度学习神经网络的垃圾分类管理方法及装置
CN110795999A (zh) * 2019-09-21 2020-02-14 万翼科技有限公司 垃圾投递行为分析方法及相关产品
CN111445368A (zh) * 2020-03-16 2020-07-24 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备
US20210217156A1 (en) * 2018-05-01 2021-07-15 Zabble, Inc. Apparatus and method for waste monitoring and analysis
CN113139561A (zh) * 2020-01-17 2021-07-20 Tcl集团股份有限公司 一种垃圾分类方法、装置、终端设备及存储介质
CN113255804A (zh) * 2021-06-03 2021-08-13 图灵人工智能研究院（南京）有限公司 基于图像变化检测的垃圾溯源方法、装置
CN113657143A (zh) * 2021-06-25 2021-11-16 中国计量大学 一种基于分类和检测联合判决的垃圾分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414544A (zh) * 2018-04-28 2019-11-05 杭州海康威视数字技术股份有限公司 一种目标状态分类方法、装置及系统
US20210217156A1 (en) * 2018-05-01 2021-07-15 Zabble, Inc. Apparatus and method for waste monitoring and analysis
CN110498152A (zh) * 2019-09-18 2019-11-26 福州大学 一种基于ai的智能分类垃圾桶及其方法
CN110738131A (zh) * 2019-09-20 2020-01-31 广州游艺云物联网技术有限公司 基于深度学习神经网络的垃圾分类管理方法及装置
CN110795999A (zh) * 2019-09-21 2020-02-14 万翼科技有限公司 垃圾投递行为分析方法及相关产品
CN113139561A (zh) * 2020-01-17 2021-07-20 Tcl集团股份有限公司 一种垃圾分类方法、装置、终端设备及存储介质
CN111445368A (zh) * 2020-03-16 2020-07-24 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN113255804A (zh) * 2021-06-03 2021-08-13 图灵人工智能研究院（南京）有限公司 基于图像变化检测的垃圾溯源方法、装置
CN113657143A (zh) * 2021-06-25 2021-11-16 中国计量大学 一种基于分类和检测联合判决的垃圾分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAQUE SUNNY ET.AL: "Design of a convolutional neural network based smart waste disposal system", 《2019 1ST INTERNATIONAL CONFERENCE ON ADVANCES IN SCIENCE, ENGINEERING AND ROBOTICS TECHNOLOGY (ICASERT)》 *
董子源: "基于深度学习的垃圾分类系统设计与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630725A (zh) * 2023-07-24 2023-08-22 广东北斗翔晨科技有限公司 基于多维筛选的垃圾分类处理方法、装置、设备及介质
CN116630725B (zh) * 2023-07-24 2023-10-31 广东北斗翔晨科技有限公司 基于多维筛选的垃圾分类处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114120136B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN111461089B (zh) 一种人脸检测的方法、人脸检测模型的训练方法及装置
CN104063686B (zh) 作物叶部病害图像交互式诊断系统与方法
CN103116754B (zh) 基于识别模型的批量图像分割方法及系统
CN110723432A (zh) 垃圾分类的方法及增强现实设备
CN109754009B (zh) 物品识别方法、装置、售货系统和存储介质
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN112488218A (zh) 图像分类方法、图像分类模型的训练方法和装置
CN110378276B (zh) 车辆状态获取方法、装置、设备、及存储介质
CN110334605A (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
CN105760472A (zh) 视频检索方法及系统
CN109815823B (zh) 数据处理方法及相关产品
CN114120136B (zh) 对垃圾进行分类的方法、装置以及存储介质
CN111144284A (zh) 深度人脸图像的生成方法、装置、电子设备及介质
CN108647696B (zh) 图片颜值确定方法及装置、电子设备、存储介质
CN111598176B (zh) 一种图像匹配处理方法及装置
CN114529490A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN105763814A (zh) 夜景拍摄的方法及装置
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN114170468A (zh) 文本识别方法、存储介质及计算机终端
CN112614110A (zh) 评估图像质量的方法、装置及终端设备
CN114004750A (zh) 图像处理方法、装置和系统
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
CN115083006A (zh) 虹膜识别模型训练方法、虹膜识别方法及装置
CN114973293A (zh) 相似性判断方法、关键帧提取方法及装置、介质和设备
CN112395929A (zh) 一种基于红外图像lbp直方图特征的人脸活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100176 1401, 14th floor, building 8, No. 8 courtyard, No. 1 KEGU street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (Yizhuang group, high-end industrial area, Beijing Pilot Free Trade Zone)

Patentee after: Renmin Zhongke (Beijing) Intelligent Technology Co.,Ltd.

Address before: 250062 Room 201, 2 / F, Hanyu Jingu new media building, No. 7000, Jingshi Road, Jinan area, China (Shandong) pilot Free Trade Zone, Jinan, Shandong Province

Patentee before: Renmin Zhongke (Jinan) Intelligent Technology Co.,Ltd.

CP03 Change of name, title or address
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method, device, and storage medium for classifying garbage

Effective date of registration: 20230614

Granted publication date: 20220617

Pledgee: Beijing first financing Company limited by guarantee

Pledgor: Renmin Zhongke (Beijing) Intelligent Technology Co.,Ltd.

Registration number: Y2023980044022

PE01 Entry into force of the registration of the contract for pledge of patent right