CN115946999A - 垃圾分类方法和装置、电子设备及存储介质 - Google Patents
垃圾分类方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115946999A CN115946999A CN202211663469.4A CN202211663469A CN115946999A CN 115946999 A CN115946999 A CN 115946999A CN 202211663469 A CN202211663469 A CN 202211663469A CN 115946999 A CN115946999 A CN 115946999A
- Authority
- CN
- China
- Prior art keywords
- category
- data
- garbage
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 53
- 238000000605 extraction Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 239000002699 waste material Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000003058 natural language processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 235000021190 leftovers Nutrition 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100441251 Arabidopsis thaliana CSP2 gene Proteins 0.000 description 1
- 235000006719 Cassia obtusifolia Nutrition 0.000 description 1
- 244000201986 Cassia tora Species 0.000 description 1
- 235000014552 Cassia tora Nutrition 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 241000238557 Decapoda Species 0.000 description 1
- 108010000912 Egg Proteins Proteins 0.000 description 1
- 102000002322 Egg Proteins Human genes 0.000 description 1
- 101150017040 I gene Proteins 0.000 description 1
- 241001477893 Mimosa strigillosa Species 0.000 description 1
- 102100026933 Myelin-associated neurite-outgrowth inhibitor Human genes 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000008157 edible vegetable oil Substances 0.000 description 1
- 210000003278 egg shell Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000006210 lotion Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002674 ointment Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种垃圾分类方法和装置、电子设备及存储介质,属于环保技术领域。该方法包括:获取待分类对象的对象数据和对象数据的数据类别;其中,对象数据包含待分类对象的物品信息,数据类别包括以下类别至少之一:图像类别和非图像类别;当数据类别为图像类别,则根据图像类别对对象数据进行垃圾类别识别,得到目标垃圾类别;当数据类别为非图像类别,则将对象数据发送至云服务器进行垃圾类别识别,从云服务器获取目标垃圾类别;根据目标垃圾类别和预设垃圾总类进行匹配处理,得到目标垃圾总类;显示目标垃圾总类。本申请实施例能够便捷高效地辅助用户进行垃圾分类,降低垃圾分类的人力成本。
Description
技术领域
本申请涉及环保技术领域,尤其涉及一种垃圾分类方法和装置、电子设备及存储介质。
背景技术
随着垃圾分类工作的细化,分类垃圾箱也被广泛应用。由于多数民众掌握的垃圾分类知识较少,且分类意识较为薄弱,垃圾错误投放的现象较为普遍,因此垃圾箱中的垃圾需要环卫工人和保洁人员耗费大量时间进行二次分类,大大增加了人力成本。因此,如何便捷高效地辅助用户进行垃圾分类,降低垃圾分类的人力成本,成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种垃圾分类方法和装置、电子设备及存储介质,旨在便捷高效地辅助用户进行垃圾分类,降低垃圾分类的人力成本。
为实现上述目的,本申请实施例的第一方面提出了一种垃圾分类方法,所述方法包括:
获取待分类对象的对象数据和所述对象数据的数据类别;其中,所述对象数据包含所述待分类对象的物品信息,所述数据类别包括以下类别至少之一:图像类别和非图像类别;
当所述数据类别为所述图像类别,则根据所述图像类别对所述对象数据进行垃圾类别识别,得到目标垃圾类别;
当所述数据类别为所述非图像类别,则将所述对象数据发送至云服务器进行垃圾类别识别,从所述云服务器获取目标垃圾类别;
根据所述目标垃圾类别和预设垃圾总类进行匹配处理,得到目标垃圾总类;
显示所述目标垃圾总类。
在一些实施例,所述数据类别为图像类别,所述对象数据为以下其中一种:照片数据、图片数据、视频数据,所述获取待分类对象的对象数据和所述对象数据的数据类别的步骤包括以下步骤之一:
根据预设的第一指令拍摄所述待分类对象的照片,得到所述照片数据和所述图像类别;
根据预设的第二指令获取预存储的所述待分类对象的图片,得到所述图片数据和所述图像类别;
根据预设的第三指令录制所述待分类对象的视频,得到所述视频数据和所述图像类别。
在一些实施例,所述当所述数据类别为所述图像类别,则根据所述图像类别对所述对象数据进行垃圾类别识别,得到目标垃圾类别的步骤包括:
根据所述图像类别调用预设的对象识别模型;
将所述对象数据输入至所述对象识别模型;其中,所述对象识别模型包括:目标特征提取层、目标图像识别层、目标映射层;
通过所述目标特征提取层对所述对象数据进行特征提取处理,得到所述待分类对象的物品图像特征;
通过所述目标图像识别层对所述物品图像特征进行图像识别处理,得到所述待分类对象的对象物品类别;
通过所述目标映射层对所述对象物品类别与预设的垃圾类别映射表进行匹配处理,得到匹配结果数据;
对所述匹配结果数据进行数据分析处理以得到所述目标垃圾类别。
在一些实施例,所述对所述匹配结果数据进行数据分析处理以得到所述目标垃圾类别的步骤包括:
若所述匹配结果数据表征为匹配失败,则输出告警信息;
若所述匹配结果数据表征为匹配成功,则输出所述目标垃圾类别。
在一些实施例,在所述根据所述图像类别调用预设的对象识别模型的步骤之前,所述方法还包括:
构建所述对象识别模型,具体包括:
获取训练对象的训练图像数据;
通过预设的初始识别模型的原始特征提取层对所述训练图像数据进行特征提取处理,得到所述训练对象的训练图像特征;
通过所述初始识别模型的原始图像识别层对所述训练图像特征进行图像识别处理,得到所述训练对象的训练物品类别;
通过所述初始识别模型的原始映射层对所述训练物品类别与所述垃圾类别映射表进行匹配处理,得到训练类别数据;
根据所述训练类别数据和预设的参考类别数据进行损失计算,得到训练损失值;
根据所述训练损失值对所述初始识别模型进行调参,得到所述对象识别模型。
在一些实施例,所述非图像类别包括文本类别,所述当所述数据类别为所述非图像类别,则将所述对象数据发送至云服务器进行垃圾类别识别,从所述云服务器获取目标垃圾类别的步骤,包括:
将所述对象数据发送至所述云服务器进行垃圾类别识别;
获取所述云服务器对所述对象数据进行垃圾类别识别得到的所述目标垃圾类别。
在一些实施例,所述非图像类别包括语音类别,所述当所述数据类别为所述非图像类别,则将所述对象数据发送至云服务器进行垃圾类别识别,从所述云服务器获取目标垃圾类别的步骤,包括:
对所述对象数据进行语音识别,得到文本数据;
将所述文本数据发送至所述云服务器进行垃圾类别识别;
获取所述云服务器对所述文本数据进行垃圾类别识别得到的所述目标垃圾类别。
为实现上述目的,本申请实施例的第二方面提出了一种垃圾分类装置,所述装置包括:
数据获取模块,用于获取待分类对象的对象数据和所述对象数据的数据类别;其中,所述对象数据包含所述待分类对象的物品信息,所述数据类别包括以下类别至少之一:图像类别和非图像类别;
第一识别模块,用于当所述数据类别为所述图像类别,则根据所述图像类别对所述对象数据进行垃圾类别识别,得到目标垃圾类别;
第二识别模块,用于当所述数据类别为所述非图像类别,则将所述对象数据发送至云服务器进行垃圾类别识别,从所述云服务器获取目标垃圾类别;
匹配模块,用于根据所述目标垃圾类别和预设垃圾总类进行匹配处理,得到目标垃圾总类;
显示模块,用于显示所述目标垃圾总类。
为实现上述目的,本申请实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的,本申请实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请提出的垃圾分类方法和装置、电子设备及存储介质,根据获取到的待分类对象物品的数据类别在本地或云端对待分类对象进行垃圾类别识别,从而便捷高效地辅助用户进行垃圾分类,无需人工进行垃圾识别及分类,降低垃圾分类的人力成本。
附图说明
图1是本申请实施例提供的垃圾分类方法的流程图;
图2是图1中的步骤S101的流程图;
图3是图1中的步骤S102的流程图;
图4是图3中的步骤S306的流程图;
图5是本申请另一实施例提供的垃圾分类方法的流程图;
图6是图1中的步骤S103一种实施例的流程图;
图7是图1中的步骤S103另一种实施例的流程图;
图8是本申请实施例提供的垃圾分类装置的结构示意图;
图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
首先,对本申请中涉及的若干名词进行解析:
人工智能(art i f i c i a l i nte l l i gence,AI):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
自然语言处理(natura l l anguage process i ng,NLP):NLP用计算机来处理、理解以及运用人类语言(如中文、英文等),NLP属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域,NLP涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
图像识别(image i dent i f i cat i on):图像识别是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一种实践应用。图像识别技术一般分为人脸识别与商品识别,人脸识别主要运用在安全检查、身份核验与移动支付中;商品识别主要运用在商品流通过程中,特别是无人货架、智能零售柜等无人零售领域。图像的传统识别流程分为四个步骤:图像采集、图像预处理、特征提取、图像识别。
随着垃圾分类工作的细化,分类垃圾箱也被广泛应用。由于多数民众掌握的垃圾分类知识较少,且分类意识较为薄弱,垃圾错误投放的现象较为普遍,因此垃圾箱中的垃圾需要环卫工人和保洁人员耗费大量时间进行二次分类,大大增加了人力成本。因此,如何便捷高效地辅助用户进行垃圾分类,降低垃圾分类的人力成本,成为了亟待解决的技术问题。
基于此,本申请实施例提供了一种垃圾分类方法和装置、电子设备及存储介质,旨在便捷高效地辅助用户进行垃圾分类,降低垃圾分类的人力成本。
本申请实施例提供的垃圾分类方法和装置、电子设备及存储介质,具体通过如下实施例进行说明,首先描述本申请实施例中的垃圾分类方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Art i f i c i a l I nte l l i gence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的垃圾分类方法,涉及人工智能技术领域。本申请实施例提供的垃圾分类方法可应用于终端中,也可应用于服务器端中,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等;服务器端可以配置成独立的物理服务器,也可以配置成多个物理服务器构成的服务器集群或者分布式系统,还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现垃圾分类方法的应用等,但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
图1示出了本申请垃圾分类方法一种实施例的可选流程图,垃圾分类方法包括但不限于包括步骤S101至步骤S105:
步骤S101,获取待分类对象的对象数据和对象数据的数据类别;其中,对象数据包含待分类对象的物品信息,数据类别包括以下类别至少之一:图像类别和非图像类别;
步骤S102,当数据类别为图像类别,则根据图像类别对对象数据进行垃圾类别识别,得到目标垃圾类别;
步骤S103,当数据类别为非图像类别,则将对象数据发送至云服务器进行垃圾类别识别,从云服务器获取目标垃圾类别;
步骤S104,根据目标垃圾类别和预设垃圾总类进行匹配处理,得到目标垃圾总类;
步骤S105,显示目标垃圾总类。
本申请实施例所示意的步骤S101至步骤S105,根据获取到的待分类对象物品的数据类别,在本地或云端对待分类对象进行垃圾类别识别,从而便捷高效地辅助用户进行垃圾分类,无需人工进行垃圾识别及分类,降低垃圾分类的人力成本。
在一些实施例的步骤S101中,获取待分类对象物品的物品信息,采用拍照、录像等方式获取待分类对象的图像信息所得的对象数据的数据类别为图像类别,采用其他方式获取的对象数据的数据类别为非图像类别。
在一些实施例的步骤S102中,数据类别为图像类别时,在本地直接进行垃圾类别识别,得到目标垃圾类别。在网络状态不佳而难以与云服务器通信时,通过拍照、录像等方式获取待分类对象的对象数据,以便在本地的设备中进行垃圾类别识别,避免网络状态不佳影响垃圾分类的效率。
在一些实施例的步骤S103中,数据类别为非图像类别时,则在云端进行垃圾类别识别,得到目标垃圾类别。目标垃圾类别为具体的一种生活垃圾类型,例如:“易拉罐”、“书籍纸张”、“太阳镜”“充电宝”、“剩饭剩菜”、“包”、“羽毛球”、“大骨头”、“干电池”、“快递纸袋”、“插头电线”、“旧衣服”、“枕头”、“果皮果肉”、“毛绒玩具”等。
在一些实施例的步骤S104中,预设垃圾总类即为对应于常用垃圾箱标识的垃圾总类,预设垃圾总类可视为对于具体生活垃圾类型的二次分类。预设垃圾总类包括:可回收垃圾、厨余垃圾、有害垃圾、其他垃圾。
在一些实施例的步骤S105中,将垃圾分类的结果进行显示,以辅助环卫工人对垃圾进行分类,或指示民众将垃圾投放到对应的垃圾箱。
在一些实施例,请参阅图2,数据类别为图像类别,对象数据为以下其中一种:照片数据、图片数据、视频数据,步骤S101包括但不限于包括以下步骤之一:
步骤S201,根据预设的第一指令拍摄待分类对象的照片,得到照片数据和图像类别;
步骤S202,根据预设的第二指令获取预存储的待分类对象的图片,得到图片数据和图像类别;
步骤S203,根据预设的第三指令录制待分类对象的视频,得到视频数据和图像类别。
本申请实施例所示意的步骤S201至步骤S203,根据实际应用场景的情况可选用不同的方式获取待分类对象的图像信息,保证在不同应用场景下都能获得待分类对象的图像信息。
在一些实施例的步骤S201中,通过本地设备(如手机、平板电脑等)的摄像头对待分类对象拍照,得到照片数据。可以理解的是,照片数据的数据类别为图像类别。
在一些实施例的步骤S202中,预存储的待分类对象的图片是指预先获取到且存储在本地设备中的图片,通过读取这些图片以获取待分类对象的图像信息。可以理解的是,图片数据的数据类别是图像类别。
在一些实施例的步骤S203中,通过本地设备的摄像头对待分类对象进行视频拍摄,得到一帧帧图像组合成的视频数据。类似地,视频数据的数据类别为图像类别。
在一些实施例,请参阅图3,步骤S102包括但不限于包括步骤S301至步骤S306:
步骤S301,根据图像类别调用预设的对象识别模型;
步骤S302,将对象数据输入至对象识别模型;其中,对象识别模型包括:目标特征提取层、目标图像识别层、目标映射层;
步骤S303,通过目标特征提取层对对象数据进行特征提取处理,得到待分类对象的物品图像特征;
步骤S304,通过目标图像识别层对物品图像特征进行图像识别处理,得到待分类对象的对象物品类别;
步骤S305,通过目标映射层对对象物品类别与预设的垃圾类别映射表进行匹配处理,得到匹配结果数据;
步骤S306,对匹配结果数据进行数据分析处理以得到目标垃圾类别。
本申请实施例的步骤S301至步骤S306,通过预设的对象识别模型识别待分类对象的垃圾类别,无需人工分类,减少了人力成本,且提高了垃圾分类的效率。此外,对象识别模型存储于本地设备中,在网络状态不佳的情况下也能正常使用。
在一些实施例的步骤S301中,在对象数据的数据类别为图像类别的情况下,调用对象识别模型对待分类对象进行垃圾分类处理。
在一些实施例的步骤S302中,将待分类对象的对象数据输入至对象识别模型,开始对待分类对象进行垃圾分类。
在一些实施例的步骤S303中,从对象数据中提取待分类对象的图像特征。对于图像而言,每一幅图像都具有能够区别于其他类图像的自身特征,有些是可以直观地感受到的自然特征,如亮度、边缘、纹理和色彩等;有些则是需要通过变换或处理才能得到的,如直方图。
在一些实施例的步骤S304中,根据提取到的图像特征进行图像识别,识别出待分类对象的物品类别。
在一些实施例的步骤S305中,通过待分类对象的物品类别与垃圾类别的映射关系对待分类对象进行分类。例如物品类别为“葡萄酒杯”,则与其匹配的垃圾类别为“玻璃器皿”。
在一些实施例的步骤S306中,对匹配结果数据进行数据分析处理得到,待分类对象的目标垃圾类别,如“葡萄酒杯”对应的目标垃圾类别为“玻璃器皿”。
在一些实施例,请参阅图4,步骤S306包括但不限于包括步骤S401至步骤S402:
步骤S401,若匹配结果数据表征为匹配失败,则输出告警信息;
步骤S402,若匹配结果数据表征为匹配成功,则输出目标垃圾类别。
本申请实施例所示意的步骤S401至步骤S402,若匹配失败则输出告警信息,以提醒用户待分类对象不属于常见垃圾类型,需要人工识别分类。若匹配成功则输出目标垃圾类别,从而实现自动垃圾类别识别。
在一些实施例的步骤S401中,预设的垃圾类别映射关系涉及的垃圾类别是有限的常见垃圾类型。若匹配失败,则说明待分类对象不属于预设的垃圾类别之中的一种,通过输出告警信息,提示用户进行人工识别分类。
在一些实施例的步骤S402中,匹配成功则正常输出目标垃圾类别。
在一些实施例,请参阅图5,在步骤S301之前,本申请的垃圾分类方法还包括:
构建对象识别模型,具体包括但不限于包括步骤S501至步骤S506:
步骤S501,获取训练对象的训练图像数据;
步骤S502,通过预设的初始识别模型的原始特征提取层对训练图像数据进行特征提取处理,得到训练对象的训练图像特征;
步骤S503,通过初始识别模型的原始图像识别层对训练图像特征进行图像识别处理,得到训练对象的训练物品类别;
步骤S504,通过初始识别模型的原始映射层对训练物品类别与垃圾类别映射表进行匹配处理,得到训练类别数据;
步骤S505,根据训练类别数据和预设的参考类别数据进行损失计算,得到训练损失值;
步骤S506,根据训练损失值对初始识别模型进行调参,得到对象识别模型。
本申请实施例所示意的步骤S501至步骤S506,通过构建对象识别模型以便对图像类别的对象数据进行垃圾识别分类,无需人工分类,减少了人力成本,且提高了垃圾分类的效率。
在一些实施例的步骤S501中,通过在互联网上搜索常见垃圾的图像作为训练数据,按照一定的比例对收集到的数据进行训练集、验证集和测试集的划分,以便进行后续的模型训练和测试。
在一些实施例的步骤S502中,对训练图像数据进行特征提取,得到训练对象的图像特征。示例,可选用基于pytorch的YOLO v5网络模型作为初始识别模型。
在一些实施例的步骤S503中,通过训练对象的图像特征进行图像识别,以得到训练对象的物品类别。
在一些实施例的步骤S504中,通过训练对象的物品类别与垃圾类别的映射关系对待分类对象进行分类。
在一些实施例的步骤S505中,对训练得到的结果数据和参考数据进行损失计算,以衡量训练后模型的可靠性。
在一些实施例的步骤S506中,根据计算得到的损失值对初始识别模型的参数进行调整,直至损失值收敛以完成模型的参数调整得到对象识别模型。
示意性实施例,本申请实施例的垃圾分类方法可通过手机等便携设备上的APP实现,以便用户在需要时方便地调用。该垃圾分类APP的设计包括前端UI界面设计和后端程序设计。以Android系统的手机为例,本实施例的前端U I界面的设计包括如下步骤:
第一步,创建项目:在Android Stud io(Android集成开发环境)中创建一个垃圾分类的项目。
第二步,设置UI界面:创建一个Mai nAct ivity界面(APP的启动页面),使用Re lat iveLayout布局(以相对位置显示子视图的布局),界面中包括一个“图像查询”的Button控件。
第三步,编写主界面的Java程序:首先声明Mai nAct ivity界面的控件并找到该控件;之后设置监听事件,然后写一个类来声明点击事件,当点击控件按钮时,会跳转到相应的界面。例如,点击“图像查询”则跳转到相应的界面,用户可以根据实际应用场景的情况选用不同的方式获取待分类对象的图像信息,以进行垃圾分类。
本实施例的后端程序设计的流程如下:
第一步,设置手机照相机权限,在AndroidManifest.xml中引用配置照相机使用权限。
第二步,设置一个图像查询UI界面:创建一个PictureAct ivity界面,使用Re lat iveLayout布局,里面包含一个Ed itText控件命名为et_resu lt,用于显示物品名称和物品所属的垃圾类别;一个ImageView控件命名为image,用于显示图片或者视频。创建5个Button控件:一个Button控件命名为btn_i nput,设置点击事件可以调用手机摄像头进行拍照;一个Button控件命名为btn_picture,设置点击事件,点击该控件可以打开手机相册;一个Button控件命名为btn_video,设置点击事件,点击开始录像;一个Button控件命名为btn_cpu,设置点击事件,点击该控件调用手机的CPU来进行目标检测;一个Button控件命名为btn_gpu,设置点击事件,点击该控件能够调用手机的GPU来进行目标检测。
第三步,将构建好的对象识别模型加载入手机的Android系统。具体地,本实施例中对象识别模型的构建过程如下:
第(1)步,数据准备:在网络上搜索常见生活垃圾图像共下载10000张垃圾图片,训练集与测试集以8:2的比例进行分割,其中:8000张用于训练,2000张用于验证。本实施例共设置有40种常见生活垃圾类型作为可映射的目标垃圾类别,分别为:“易拉罐”、“书籍纸张”、“太阳镜”“充电宝”、“剩饭剩菜”、“包”、“羽毛球”、“大骨头”、“干电池”、“快递纸袋”、“插头电线”、“旧衣服”、“枕头”、“果皮果肉”、“毛绒玩具”、“砧板”、“筷子”、“花盆”、“茶叶渣”、“菜帮菜叶”、“蛋壳”、“广告单”、“虾”、“内脏”、“一次性手套”、“日光灯管”、“乳液瓶”、“塑料玩具”、“零食包装袋”、“药品”、“亚克力板”、“油漆桶”、“口红”、“尿不湿”、“软膏”、“粉扑”、“棉签”、“食用油桶”、“硬贝壳”和“鱼骨”。
第(2)步,数据标注:使用l abe l Img图像标定工具软件将图片中的垃圾框出来,采用YOLO标准的标注格式,最终生成10000个txt文件,文件的每行有5个数据,分别为物体名称在数组内的索引号、标注框的左上角坐标(x1,y1)和右下角坐标(x2,y2)。
第(3)步,数据增强:使用Mosaic对目标进行随机缩放,随机裁剪和随机排布来加强卷积神经网络对数据集的识别能力。
第(4)步,自适应锚框计算:初始设定长宽的锚框,输出预测框,运用非极大值抑制的方法将预测框与真实的ground truth(正确打标签的训练数据)进行对比,最后确定一个bound i ng box(边界框)用于框定生活垃圾,再反向更新,迭代网络参数。
第(5)步,训练阶段:采用基于pytorch的YOLO v5网络作为初始识别模型,Backbone包括Focus和CSP结构,其中Focus从高分辨率图像中,周期性的抽出像素点到低像素图像,进行图像相邻四个位置的堆叠,CSP则用来提取更细粒度的特征而不用担心网络退化。Neck采用CSP2结构,用于加强网络特征融合的能力,输出端包括bound i ng box的损失函数和非极大值抑制,经过多次迭代将损失函数降低到最小,非极大值抑制为DIOU_nms对于一些遮挡重叠的目标会有一些改进。在服务器上将标注好的trai n数据送入此网络框架内,调用trai n.py(训练脚本)训练300个epoch,最终生成模型有两个权重文件,一个是300个epoch中最好的权重best.pt,另一个是最后一个epoch的权重l ast.pt。此外还会输出计算损失值、mAP、准确率和召回率等内容。
第(6)步,测试阶段:运行test.py(测试脚本),将无标签的图片数据或视频作为输入,将权重改为第(5)步生成的best.pt,数据集改为验证的数据集,验证是否可实现对不同生活垃圾的目标识别。
第(7)步,部署官方YOLO到安卓端:下载ncnn-android-yo l ov5-master和ncnn-20211122-android-vu l kan,将ncnn-20211122-android-vu l kan拷贝到ncnn-android-yo l ov5-master项目的jni目录下,并修改同级目录下CMakeLi st.txt的文件路径。
第(8)步,安装onnx(Open Neura l Network Exchange,开放神经网络交换)的依赖,使用export.py将best.pt文件转化为best.onnx,best.mlmode l和best.torchscript.pt三个文件;使用onnx-s imp l if ier来简化onnx。安装protobuf依赖库,使用onnx2ncnn完成模型转换成ncnn,并生成best.bi n和best.param(训练好的模型)文件。
第(9)步,将ncnn-android-yo l ov5-master中的yo l ov5s.bi n和yo lov5s.param替换自己生成的best.bi n和best.param。修改best.param网络结构:删除8个Crop(裁剪层)和1个Concat(连接层),添加1层Yo l oV5Focus并将网络层数改为176。修改Reshape(特征图变换)层输出gr id,将对应的值改为-1,用来解决输出多检测框的问题。
第(10)步,修改yo l ov5ncnn_jni.cpp中c l ass_name数组,将里面的内容改成第(1)步中的40种常见生活垃圾。
第(11)步,编写switch语句,输出步骤1中40个类别的物体所属的垃圾类型。当判断标注框的左上角显示的物品名称属于这40种情况之一时,et_resu lt处会调用此switch语句对应写出这个物体的名称和所属的垃圾类型。如果图片上的物体为40个类别之外的物体,则et_resu lt将会显示“无法查询到该生活垃圾类型”。
第(12)步,程序在Androi d Stud i o运行生成整个项目的SDK文件,将其安装到手机上即可。
本实施例中,点击btn_i nput按键调用手机摄像头,点击拍摄后,选择btn_cpu(或btn_gpu)可使用手机的CPU(或GPU)来进行目标检测,程序会框出图像中的物品,标注框的左上角显示物品名称、垃圾类别和置信度;点击btn_p i cture可查看手机相册,从手机相册中选择想要的图片,之后同上选择手机CPU或者GPU来进行目标检测,程序会框出图像中的物品,标注框的左上角显示物品名称、垃圾类别和置信度;点击btn_vi deo可使用手机录像功能,同上点击选择手机CPU或者GPU来对视频内的目标进行目标检测,程序会框出图像中的物品,标注框的左上角显示物品名称、垃圾类别和置信度。
在一些实施例,请参阅图6,非图像类别包括文本类别,步骤S103包括但不限于包括步骤S601至步骤S602:
步骤S601,将对象数据发送至云服务器进行垃圾类别识别;
步骤S602,获取云服务器对对象数据进行垃圾类别识别得到的目标垃圾类别。
本申请实施例所示意的步骤S601和步骤S602,获取文本类别的对象数据后,发送至云服务器进行垃圾类别识别,从而提高垃圾识别分类的效率。
在一些实施例的步骤S601和步骤S602中,获取用户输入的待分类对象的文本信息,并通过互联网将其发送至云服务器。
示意性实施例,本申请实施例的垃圾分类方法可通过手机等便携设备上的APP实现,以便用户在需要时方便地调用。该垃圾分类APP的设计包括前端U I界面设计和后端程序设计。以Androi d系统的手机为例,本实施例的前端U I界面的设计包括如下步骤:
第一步,创建项目:在Androi d Stud i o(Andro i d集成开发环境)中创建一个垃圾分类的项目;
第二步,设置U I界面:创建一个Mai nAct i vi ty界面(APP的启动页面),使用Rel at i veLayout布局(以相对位置显示子视图的布局),界面中包括一个“文字查询”的Button控件。
第三步,编写主界面的Java程序:首先声明Mai nAct i vi ty界面的控件并找到该控件;之后设置监听事件,然后写一个类来声明点击事件,当点击控件按钮时,会跳转到相应的界面。例如,点击“文字查询”则跳转到相应的界面,用户可以输入待分类对象的文本信息以进行垃圾分类。
本实施例的后端程序设计的流程如下:
第一步,申请垃圾分类AP I(App l i cat i on Programmi ng I nterface,程序接口):在天行数据AP I注册一个账号,注册成功后登录,申请一个垃圾分类AP I的接口,获得请求地址和请求参数(key、word)。
第二步,设置网络权限:在Android Stud io的xml(配置文件)文件夹下新建network_config.xml文件,并在AndroidMani fest.xml(应用清单文件,包含了APP的配置信息,系统需要根据里面的内容运行APP的代码,显示界面)中引用配置网络请求权限,在bul id.grad l e(:app)中设置Okhttp网络请求框架。
第三步,对API进行访问:新建一个SearchAct ivity.java(搜索视图)文件,使用多线程通讯方式,定义一个hand l e(句柄,一种能够访问线程、文件、图片等系统资源的指针)来进行子线程和主线程的通信,通过Okhttp的get异步请求来使用垃圾分类API,拼接网址为“请求地址+key=申请的key值+word=要查询的物品名称”。之后在日志里面测试查询结果,此时输出的结果为JSON字符串。
第四步,在AndroidManifest.xm l中添加Recyc l erView(Recyc l erView是一个容器,它用于显示列表形式(l i st)或者网格形式(gr id)的数据)的依赖。
第五步,设置一个文字查询UI界面:创建一个SearchAct ivity(搜索视图)界面,使用Re l at iveLayout布局,里面包含一个Ed itText(输入框)控件命名为et_goods,用于输入物品名称;一个Button控件命名为btn_search,设置点击事件进行联网搜索查询和一个Recyc l erView控件命名为rv_news l i st,用于将查询结果进行列表显示。
第六步,引入GSON库:在bu l id.grad l e(:app)中引入GSON库,使用GSON库可将JSON字符串转化为JavaBean对象。
第七步,创建Bean文件夹:新建TrashResponseBean(响应类)文件,用于存放JSON字符串的第一层的code(码)、msg(信息)和news l i st(Java类)信息;新建News l istBean文件,用于存放news l i st里面的嵌套JSON信息:name(物品名称),type(类型),exp l ai n(解释)。
第八步,设置列表适配器UI界面:查询结果用列表显示,因此需要有列表适配器,而列表适配器里面使用item布局。因此在l ayout文件夹下新建news_item_l ayout.xml,内部采用Re l at iveLayout布局,里面包含三个TextView(文本框)控件,分别命名为“物品名称”、“垃圾类型”和“解释”。
第九步,编写列表适配器程序:创建Adapter文件夹,里面新建SearchAdapter.java文件,可将News l i stBean文件得到的信息在列表适配器界面上显示出来,由于API输出的垃圾类型为数字,此处需添加一个switch语句,将数字转换为字符串。
第十步,编写文字查询界面程序:首先声明SearchAct i vity界面的控件并找到各个控件,然后对SearchAct ivity.java程序文件进行修改,设置一个全局变量goods用来输入物品名称,在et_goods处用输入法输入的内容可同步更改goods变量信息;设置点击事件,当点击btn_search,会跳入到start程序执行一个hand l er耗时任务开启子线程网络请求;之后将Okhttp对垃圾分类AP I访问获得的信息进行JSON解析以列表的形式显示在rv_news l i st上。
在一些实施例,请参阅图7,非图像类别包括语音类别,步骤S103包括但不限于包括步骤S701至步骤S703:
步骤S701,对对象数据进行语音识别,得到文本数据;
步骤S702,将文本数据发送至云服务器进行垃圾类别识别;
步骤S703,获取云服务器对文本数据进行垃圾类别识别得到的目标垃圾类别。
本申请实施例所示意的步骤S701至步骤S703,获取文语音的对象数据后,对其进行文本转换并发送至云服务器进行垃圾类别识别,从而提高垃圾识别分类的效率。
在一些实施例的步骤S701中,在本地设备设置语音识别的功能模块或程序,以便识别用户的说话内容或录音内容。
在一些实施例的步骤S702和步骤S703中,将用户输入的待分类对象的语音信息转换为文本信息后,通过互联网将其发送至云服务器。
示意性实施例,本申请实施例的垃圾分类方法可通过手机等便携设备上的APP实现,以便用户在需要时方便地调用。该垃圾分类APP的设计包括前端U I界面设计和后端程序设计。以Androi d系统的手机为例,本实施例的前端U I界面的设计包括如下步骤:
第一步,创建项目:在Androi d Stud i o(Andro i d集成开发环境)中创建一个垃圾分类的项目;
第二步,设置U I界面:创建一个Mai nAct i vi ty界面(APP的启动页面),使用Rel at i veLayout布局(以相对位置显示子视图的布局),界面中包括一个“语音查询”的Button控件。
第三步,编写主界面的Java程序:首先声明Mai nAct i vi ty界面的控件并找到该控件;之后设置监听事件,然后写一个类来声明点击事件,当点击控件按钮时,会跳转到相应的界面。例如,点击“语音查询”则跳转到相应的界面,用户可以输入待分类对象的语音信息以进行垃圾分类。
本实施例的后端程序设计的流程如下:
第一步,下载语音识别SDK:登录讯飞开放平台,创建一个新的应用,填写资料,获得一个app i d,下载语音识别SDK压缩包。
第二步,配置自定义app l i cat i on:创建一个ut i l s(多功能工具包)文件夹,新建一个SpeechApp l i cat i on.java,将上文获取的app i d记录在此,在AndroidMan i fest.xm l的将自定义的app l i cat i on进行配置。
第三步,导入语音识别SDK:将压缩包解压,l i bs文件夹下的文件复制到app模块下的l ibs文件夹中,其中一个压缩包Msc.jar无法展开,则需要在bu l id.grad l e(:app)中修改APP加载资源目录;在mai n文件夹下新建一个assets(静态资源)文件夹,将解压的assets文件夹下文件复制到此文件夹。
第四步,设置麦克风权限:在Androi dMani fest.xml中引用配置麦克风使用权限。
第五步,语言配置:在ut i l s文件夹下新建一个XunFeiUt i l.java用来开始录音并解析语音识别的内容,设置识别语言为“zh_cn”,识别内容数据格式为“json”,设置监听事件,最后将识别的json数据进行解析实现语音转文字的功能。
第六步,设置一个语音查询U I界面:创建一个SoundAct ivity界面,使用Re l ativeLayout布局,里面包含一个Ed itText控件命名为et_resu lt,用于输入物品名称;一个Button控件命名为btn_sound_search,设置点击事件进行联网搜索查询;一个Button控件命名为btn_start,点击这个按键可以开始录音;一个Button控件命名为btn_c l ean,点击可将et_resu lt的内容清空和一个Recyc l erView控件命名为rv_news l i st,用于将查询结果进行列表显示。
第七步,编写语音查询界面程序:首先声明SoundAct ivity界面的控件并找到各个控件,然后写一个i nitPermi ss ion类来进行权限申请设置,之后写一个类进行权限申请回调,可以做进一步的处理。设置一个全局变量resu lt用来输入物品名称,在et_result处用输入法输入的内容可同步更改resu lt变量信息,设置点击事件,当点击btn_start,会调用XunFeiUt i l进行录音变成语音输入;当点击btn_c l ean,会将et_resu lt的内容全部清除;当点击btn_sound_search,会跳入到begi n程序执行一个hand l er耗时任务开启子线程网络请求,之后将Okhttp对垃圾分类API访问获得的信息进行JSON解析以列表的形式显示在rv_news l i st上。
需要说明的是,上述示意性实施例的方案仅用于说明本方案的实施方式,在一定条件下可以对相关技术手段进行组合或替换。
请参阅图8,本申请实施例还提供一种垃圾分类装置,可以实现上述垃圾分类方法,该装置包括:
数据获取模块,用于获取待分类对象的对象数据和对象数据的数据类别;其中,对象数据包含待分类对象的物品信息,数据类别包括以下类别至少之一:图像类别和非图像类别;
第一识别模块,用于当数据类别为图像类别,则根据图像类别对对象数据进行垃圾类别识别,得到目标垃圾类别;
第二识别模块,用于当数据类别为非图像类别,则将对象数据发送至云服务器进行垃圾类别识别,从云服务器获取目标垃圾类别;
匹配模块,用于根据目标垃圾类别和预设垃圾总类进行匹配处理,得到目标垃圾总类;
显示模块,用于显示目标垃圾总类。
该垃圾分类装置的具体实施方式与上述垃圾分类方法的具体实施例基本相同,在此不再赘述。
本申请实施例还提供了一种电子设备,电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述垃圾分类方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图9,图9示意了另一实施例的电子设备的硬件结构,电子设备包括:
处理器901,可以采用通用的CPU(Centra l Process i ngUn it,中央处理器)、微处理器、应用专用集成电路(App l i cat i onSpec i f i c I ntegratedCi rcu it,ASI C),或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请实施例所提供的技术方案;
存储器902,可以采用只读存储器(ReadOn l yMemory,ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory,RAM)等形式实现。存储器902可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器902中,并由处理器901来调用执行本申请实施例的垃圾分类方法;
输入/输出接口903,用于实现信息输入及输出;
通信接口904,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WI F I、蓝牙等)实现通信;
总线905,在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息;
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述垃圾分类方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚地说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图中示出的技术方案并不构成对本申请实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其他的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-On l y Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所做的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。
Claims (10)
1.一种垃圾分类方法,其特征在于,包括:
获取待分类对象的对象数据和所述对象数据的数据类别;其中,所述对象数据包含所述待分类对象的物品信息,所述数据类别包括以下类别至少之一:图像类别和非图像类别;
当所述数据类别为所述图像类别,则根据所述图像类别对所述对象数据进行垃圾类别识别,得到目标垃圾类别;
当所述数据类别为所述非图像类别,则将所述对象数据发送至云服务器进行垃圾类别识别,从所述云服务器获取目标垃圾类别;
根据所述目标垃圾类别和预设垃圾总类进行匹配处理,得到目标垃圾总类;
显示所述目标垃圾总类。
2.根据权利要求1所述的方法,其特征在于,所述数据类别为图像类别,所述对象数据为以下其中一种:照片数据、图片数据、视频数据,所述获取待分类对象的对象数据和所述对象数据的数据类别的步骤,包括以下步骤之一:
根据预设的第一指令拍摄所述待分类对象的照片,得到所述照片数据和所述图像类别;
根据预设的第二指令获取预存储的所述待分类对象的图片,得到所述图片数据和所述图像类别;
根据预设的第三指令录制所述待分类对象的视频,得到所述视频数据和所述图像类别。
3.根据权利要求1所述的方法,其特征在于,所述当所述数据类别为所述图像类别,则根据所述图像类别对所述对象数据进行垃圾类别识别,得到目标垃圾类别的步骤包括:
根据所述图像类别调用预设的对象识别模型;
将所述对象数据输入至所述对象识别模型;其中,所述对象识别模型包括:目标特征提取层、目标图像识别层、目标映射层;
通过所述目标特征提取层对所述对象数据进行特征提取处理,得到所述待分类对象的物品图像特征;
通过所述目标图像识别层对所述物品图像特征进行图像识别处理,得到所述待分类对象的对象物品类别;
通过所述目标映射层对所述对象物品类别与预设的垃圾类别映射表进行匹配处理,得到匹配结果数据;
对所述匹配结果数据进行数据分析处理以得到所述目标垃圾类别。
4.根据权利要求3所述的方法,其特征在于,所述对所述匹配结果数据进行数据分析处理以得到所述目标垃圾类别的步骤包括:
若所述匹配结果数据表征为匹配失败,则输出告警信息;
若所述匹配结果数据表征为匹配成功,则输出所述目标垃圾类别。
5.根据权利要求3所述的方法,其特征在于,在所述根据所述图像类别调用预设的对象识别模型的步骤之前,所述方法还包括:
构建所述对象识别模型,具体包括:
获取训练对象的训练图像数据;
通过预设的初始识别模型的原始特征提取层对所述训练图像数据进行特征提取处理,得到所述训练对象的训练图像特征;
通过所述初始识别模型的原始图像识别层对所述训练图像特征进行图像识别处理,得到所述训练对象的训练物品类别;
通过所述初始识别模型的原始映射层对所述训练物品类别与所述垃圾类别映射表进行匹配处理,得到训练类别数据;
根据所述训练类别数据和预设的参考类别数据进行损失计算,得到训练损失值;
根据所述训练损失值对所述初始识别模型进行调参,得到所述对象识别模型。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述非图像类别包括文本类别,所述当所述数据类别为所述非图像类别,则将所述对象数据发送至云服务器进行垃圾类别识别,从所述云服务器获取目标垃圾类别的步骤,包括:
将所述对象数据发送至所述云服务器进行垃圾类别识别;
获取所述云服务器对所述对象数据进行垃圾类别识别得到的所述目标垃圾类别。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述非图像类别包括语音类别,所述当所述数据类别为所述非图像类别,则将所述对象数据发送至云服务器进行垃圾类别识别,从所述云服务器获取目标垃圾类别的步骤,包括:
对所述对象数据进行语音识别,得到文本数据;
将所述文本数据发送至所述云服务器进行垃圾类别识别;
获取所述云服务器对所述文本数据进行垃圾类别识别得到的所述目标垃圾类别。
8.一种垃圾分类装置,其特征在于,所述装置包括:
数据获取模块,用于获取待分类对象的对象数据和所述对象数据的数据类别;其中,所述对象数据包含所述待分类对象的物品信息,所述数据类别包括以下类别至少之一:图像类别和非图像类别;
第一识别模块,用于当所述数据类别为所述图像类别,则根据所述图像类别对所述对象数据进行垃圾类别识别,得到目标垃圾类别;
第二识别模块,用于当所述数据类别为所述非图像类别,则将所述对象数据发送至云服务器进行垃圾类别识别,从所述云服务器获取目标垃圾类别;
匹配模块,用于根据所述目标垃圾类别和预设垃圾总类进行匹配处理,得到目标垃圾总类;
显示模块,用于显示所述目标垃圾总类。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的垃圾分类方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的垃圾分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211663469.4A CN115946999A (zh) | 2022-12-23 | 2022-12-23 | 垃圾分类方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211663469.4A CN115946999A (zh) | 2022-12-23 | 2022-12-23 | 垃圾分类方法和装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115946999A true CN115946999A (zh) | 2023-04-11 |
Family
ID=87281861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211663469.4A Pending CN115946999A (zh) | 2022-12-23 | 2022-12-23 | 垃圾分类方法和装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115946999A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934683A (zh) * | 2023-05-30 | 2023-10-24 | 中国人民解放军总医院第四医学中心 | 人工智能辅助超声诊断脾创伤的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111318470A (zh) * | 2019-07-02 | 2020-06-23 | 王多 | 一种识别物品类型的方法及识别物品类型的装置 |
WO2021174759A1 (zh) * | 2020-03-03 | 2021-09-10 | 深圳壹账通智能科技有限公司 | 垃圾分类处理方法、装置、终端及存储介质 |
CN113844797A (zh) * | 2021-09-22 | 2021-12-28 | 成都鲁易科技有限公司 | 一种智能分类垃圾箱的控制方法及装置、存储介质 |
CN114289343A (zh) * | 2021-12-29 | 2022-04-08 | 张祥森 | 一种垃圾分类处理方法及系统 |
KR20220047228A (ko) * | 2021-06-03 | 2022-04-15 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼 |
-
2022
- 2022-12-23 CN CN202211663469.4A patent/CN115946999A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111318470A (zh) * | 2019-07-02 | 2020-06-23 | 王多 | 一种识别物品类型的方法及识别物品类型的装置 |
WO2021174759A1 (zh) * | 2020-03-03 | 2021-09-10 | 深圳壹账通智能科技有限公司 | 垃圾分类处理方法、装置、终端及存储介质 |
KR20220047228A (ko) * | 2021-06-03 | 2022-04-15 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼 |
CN113844797A (zh) * | 2021-09-22 | 2021-12-28 | 成都鲁易科技有限公司 | 一种智能分类垃圾箱的控制方法及装置、存储介质 |
CN114289343A (zh) * | 2021-12-29 | 2022-04-08 | 张祥森 | 一种垃圾分类处理方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934683A (zh) * | 2023-05-30 | 2023-10-24 | 中国人民解放军总医院第四医学中心 | 人工智能辅助超声诊断脾创伤的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114155543B (zh) | 神经网络训练方法、文档图像理解方法、装置和设备 | |
CN110990053A (zh) | 机器学习方案模板的创建方法、使用方法及装置 | |
CN113469358A (zh) | 一种神经网络训练方法、装置、计算机设备及存储介质 | |
CN104765746B (zh) | 用于移动通讯终端浏览器的数据处理方法和装置 | |
CN113159091A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112328823A (zh) | 多标签分类模型的训练方法、装置、电子设备及存储介质 | |
WO2022247112A1 (zh) | 任务处理方法、装置、设备、存储介质、计算机程序及程序产品 | |
CN111026967A (zh) | 一种获得用户兴趣标签的方法、装置、设备和介质 | |
CN115946999A (zh) | 垃圾分类方法和装置、电子设备及存储介质 | |
CN111191503A (zh) | 一种行人属性识别方法、装置、存储介质及终端 | |
CN113516113A (zh) | 一种图像内容识别方法、装置、设备及存储介质 | |
CN110766460A (zh) | 一种用户画像的方法、装置、存储介质及计算机设备 | |
CN113434722B (zh) | 图像分类方法、装置、设备及计算机可读存储介质 | |
CN113094287B (zh) | 页面兼容性检测方法、装置、设备及存储介质 | |
CN117435999A (zh) | 一种风险评估方法、装置、设备以及介质 | |
CN112883018A (zh) | 基于大数据分析的银行业人才信息预测方法及装置 | |
CN112784189A (zh) | 一种识别页面图像的方法和装置 | |
CN115827457A (zh) | 浏览器兼容性测试方法以及相关设备 | |
CN114896294A (zh) | 产品测试数据表生成方法、装置、设备及存储介质 | |
CN113742559A (zh) | 关键词检测方法和装置、电子设备、存储介质 | |
CN114049467A (zh) | 显示方法、装置、设备、存储介质及程序产品 | |
CN117540802A (zh) | 文档的信息抽取方法、系统、电子设备和存储介质 | |
Paul et al. | Artificial intelligence based image recognition system | |
CN114579806B (zh) | 视频检测方法、存储介质和处理器 | |
CN114781557B (zh) | 图像信息获取方法及装置、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |