CN110498152A - 一种基于ai的智能分类垃圾桶及其方法 - Google Patents
一种基于ai的智能分类垃圾桶及其方法 Download PDFInfo
- Publication number
- CN110498152A CN110498152A CN201910879137.1A CN201910879137A CN110498152A CN 110498152 A CN110498152 A CN 110498152A CN 201910879137 A CN201910879137 A CN 201910879137A CN 110498152 A CN110498152 A CN 110498152A
- Authority
- CN
- China
- Prior art keywords
- rubbish
- classification
- garbage
- picture
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F1/00—Refuse receptacles; Accessories therefor
- B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F1/00—Refuse receptacles; Accessories therefor
- B65F1/14—Other constructional features; Accessories
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
- B65F2210/00—Equipment of refuse receptacles
- B65F2210/138—Identification means
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种基于AI的智能分类垃圾桶及其方法，所采用的分类垃圾桶包括图像识别模块、控制模块和分为多个垃圾分类存储区的桶体；所述桶体与垃圾分类机构相通；所述垃圾分类机构外壁处设有垃圾投放口、图像采集区和触控屏；所述图像采集区处设有可扫描条形码和拍摄垃圾图像的的摄像头；所述控制模块与摄像头相连以对垃圾进行识别；本发明能自动对投入的垃圾进行分类存放。
Description
技术领域
本发明涉及垃圾分类技术领域，尤其是一种基于AI的智能分类垃圾桶及其方法。
背景技术
在智能垃圾桶产业中，目前国内市场几乎空白。随着近期垃圾分类热潮的推动，百度、阿里、腾讯等国内互联网行业领头羊相继推出垃圾分类小程序，辅助国民完成垃圾分类工作，增强垃圾分类工作在国内的宣传力度。相较于国内，国外在智能垃圾桶产业的探索较早于国内，目前落地的产品主要包含以下三种：
Intuitive AI（加拿大）：OSCAR是Intuitive AI公司推出的一个用于垃圾分类的智能系统，该系统拥有一块32英寸显示屏和智能摄像头。OSCAR通过机器学习算法，可以识别用户手中的物品，并可以告诉用户接下来该如何处理（分别将其中哪些部分扔到哪个垃圾桶里）。内部拥有经过ImageNet数据集预训练的数据模型/算法，图像识别系统通过数码相机实时检测，垃圾并进行分类；设备顶部也可以通过LED等显示分类结果，如果未能识别出垃圾类别，也可以通过LED显示红色，随后可以通过两个按钮（「可回收」和「不可回收」）进行人工分类。
Bin-e（波兰）：波兰创业公司Bin-e公司开发了一种全新的人工智能垃圾桶，使用起来非常方便且毫无障碍，通过传感器、摄像头、具有深度学习特点的AI图像识别算法，来自动分类垃圾。另外，垃圾桶的内容、剩余空间都会即时上传到云空间，而回收公司只需要通过App即可随时检查，当然也可收到通知信息。
SuperBin（韩国）：Nephron垃圾回收系统可以回收塑料瓶和铝罐，并给出分数，而分数可以兑换成现金。不同于其他可以读取条形码的反向自动售货机，Nephron采用人工智能(AI)和物联网技术(IoT)来识别、分类、收集和处理垃圾。目前，Superbin在韩国安装了35套Nephron回收系统，并且正在开展谈判以扩大该系统的使用。
虽然这些产品在国外已经落地，但在国内的应用主要受限于两点：
（1）分类类别过于单一，大多集中于可回收垃圾中的个例，与国内各个城市的垃圾分类标准无法吻合；
（2）集成了多种传感器，有的甚至在单个垃圾桶内部使用高性能计算芯片，导致成本过高，难以推广。
发明内容
本发明提出一种基于AI的智能分类垃圾桶及其方法，能自动对投入的垃圾进行分类存放。
本发明采用以下技术方案。
一种基于AI的智能分类垃圾桶，所述分类垃圾桶包括图像识别模块、控制模块和分为多个垃圾分类存储区的桶体（1）；所述桶体与垃圾分类机构相通；所述垃圾分类机构外壁处设有垃圾投放口（2）、图像采集区（4）和触控屏（3）；所述图像采集区处设有可扫描条形码和拍摄垃圾图像的的摄像头；所述控制模块与摄像头相连以对垃圾进行识别。
所述垃圾分类机构内腔处设有可横向移动的垃圾传送区（5），所述垃圾传送区处设有用于放置垃圾的卡槽，垃圾传送区下端与垃圾分类存储区相通，当所述垃圾传送区位于初始位置时，垃圾传送区上方与垃圾投放口相邻；所述摄像头可拍摄垃圾传送区处的垃圾图像以供图像识别模块识别分类，当对垃圾进行分类投放时，所述控制模块根据垃圾分类结果，控制传送区把垃圾送至对应的垃圾分类存储区上方，释放卡槽使垃圾落入桶体内。
所述触控屏提供人机交互界面，使用者可通过人机交互界面对传送区进行控制；所述垃圾分类存储区包括未分类垃圾存储区。
当图像识别模块为服务器时，所述分类垃圾桶的使用方法分为以下步骤；
步骤A1、使用者在触控屏处验证身份以获得使用权，垃圾桶开启垃圾投放口；若使用者未注册，则需完成注册后方能使用垃圾桶；
步骤A2、若使用者需投放带有条形码的垃圾，则在触控屏处选择手动模式，把垃圾带条形码的一面朝上经垃圾投放口投入垃圾传送区，使控制模块可通过摄像头拍摄垃圾上的二维码图像；
若使用者需投放无条形码的垃圾，则在触控屏上选择自动模式，直接把垃圾经垃圾投放口投入垃圾传送区；
步骤A3、垃圾投放口关闭，控制模块经图像采集区的摄像头拍摄垃圾传送区上的垃圾图像，把图像经通讯模块送至服务器进行识别分类；
步骤A4、若服务器对垃圾得出分类结果，则控制模块根据服务器的分类结果控制垃圾传送区移动至对应的垃圾分类存储区上方，释放卡槽使垃圾传送区处的垃圾落至对应的垃圾分类存储区内；
若服务器无法识别垃圾，则控制模块在触控屏上显示需使用者手动分类的提示，当使用者在触控屏上选择垃圾传送区处垃圾的分类后，本设备把用户的分类选择结果送至服务器，由服务器端工作人员对用户的分类选择结果进行验证；控制模块根据经服务器验证的用户分类选择，控制垃圾传送区把垃圾倒入对应的垃圾分类存储区内；
若服务器无法识别垃圾，且使用者无法对垃圾进行手动分类，则控制模块控制垃圾传送区把垃圾倒入未分类垃圾存储区。
所述触控屏为可对掌纹进行扫描识别的触控液晶屏；所述验证身份可通过在触控屏处验证掌纹来完成。
一种基于AI的智能分类方法，所述智能分类方法使用以上所述的基于AI的智能分类垃圾桶，其图像识别模块为搭载AI模型进行垃圾识别的服务器；所述智能分类方法为把物体识别模型、以图搜图模型、条形码识别方法和自然语言处理相融合的垃圾分类方法；
所述智能分类方法使用服务器搭载AI模型进行垃圾识别，以智能分类垃圾桶作为客户端与服务器进行实时交互，将用户实时产生的垃圾分类数据更新至数据库服务器，所述垃圾分类数据一方面用于AI模型训练以提升AI模型的分类精度，另一方面用于大数据分析，所述大数据分析用于统计不同类别的垃圾数量及辅助垃圾处理公司制定回收策略。
所述条形码识别方法为，当服务器收到的垃圾传送区垃圾图像包含条形码时，所述服务器对条形码进行识别以得到与垃圾对应的商品名称，并通过知识图谱查询该商品对应的垃圾类别以获得垃圾分类结果。
所述知识图谱的构建方法为，通过包括网络爬虫在内的技术方法从互联网获取图片，同时获取与图片对应的说明文字，经分词及词频统计处理后，自动完成对图片贴标签的作业，从而构建知识图谱，
所述物体识别模型为带反馈的卷积神经网络SHRNet；所述神经网络SHRNet由StackedHourglass Network算法、ResNet50算法以及升维模块Dline组成；升维模块Dline的卷积核大小为64*3*3；物体识别模型的输入是经过归一化的3*224*244张量，通过StackedHourglass Network提取高维的特征，输入ResNet50中进行分类后，输出一个一维张量；所述一维张量通过一个升维模块DLine，生成一个高维张量来作为Resnet算法与StackedHourglass Network算法网络反馈调整网络的输入，其中对于Stacked Hourglass Network反馈只作用在反卷积模块上；
所述物体识别模型采用加权融合的方式，通过反馈的张量和每层卷积神经网络的输入相结合构成新的特征图，特征图其中升维模块占0.3，卷积神经网络部分占0.7；
所述以图搜图模型是利用垃圾图片搜索图片，从图片源中查找该垃圾图片或者与该垃圾图片相似的图片，所述以图搜图模型以ResNet50作为训练模型，先经训练模型输出与每张图片特定特征对应的向量，接着，计算这些向量的空间距离，搜索相似图片；最后，对垃圾图片的标签进行分词和词频统计，得到出现频率最高的词，放入构建好的知识图谱中进行查询得到与垃圾图片对应的垃圾类别。
在智能分类方法中，对物体识别模型所得结果和以图搜图模型所得结构进行两结果的加权融合；所述两结果的加权融合是对易于发生形变的垃圾赋予物体识别模型较高的初始权重，对不易形变的垃圾赋予以图搜图模型较高权重，并通过训练不断更新权重，将物体识别部分和以图搜图部分进行加权融合，提升准确率，得到垃圾分类的最终结果。
本发明的优点在于：
（1）在物体识别部分，提出将Stacked Hourglass网络与ResNet网络相结合，组合成新型的神经网络SHRNet，增强特征提取的效果，并加大网络深度，提升垃圾分类的精确度。
（2）训练以图搜图网络，结合自然语言处理和jieba分词模型，通过构建知识图谱，从另一个角度得到垃圾分类的结果。
（3）提出将条形码识别、物体识别和以图搜图中知识图谱的结果进行加权融合，进一步提升垃圾分类的正确性。
（4）提出使用服务器搭载最终的AI模型进行垃圾识别，垃圾桶实体作为客户端与服务器进行实时交互，接收服务器的识别结果，可降低大面积布局智能分类垃圾桶的成本；同时，服务器可将用户实时产生的数据更新至数据库，一方面可用于AI模型的进一步训练提升分类精度，另一方面可进行大数据分析，统计不同类别的垃圾数量，辅助垃圾处理公司制定回收策略。
（5）提出制定用户积分机制，当出现未识别的垃圾类别，用户可选择手动分类，分类正确即可提升用户积分，兑换相应奖励，以提升用户积极性。
（6）可用于机场、火车站和汽车站等室内场景的智能分类垃圾桶，满足我国国民垃圾分类的需求。
（7）该智能垃圾桶的广泛应用，可辅助垃圾处理公司制定回收策略，并提升用户分类积极性，宣传垃圾分类的重要性。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明的示意图；
附图2是本发明的使用流程示意图；
附图3是本发明的分类垃圾方法的流程机制示意图；
附图4是本发明的系统运行机制示意图；
附图5是物体识别模型的示意图；
图中：1-桶体；2-垃圾投放口；3-触控屏；4-图像采集区；5-垃圾传送区。
具体实施方式
如图1-5所示，一种基于AI的智能分类垃圾桶，所述分类垃圾桶包括图像识别模块、控制模块和分为多个垃圾分类存储区的桶体1；所述桶体与垃圾分类机构相通；所述垃圾分类机构外壁处设有垃圾投放口2、图像采集区4和触控屏3；所述图像采集区处设有可扫描条形码和拍摄垃圾图像的的摄像头；所述控制模块与摄像头相连以对垃圾进行识别。
所述垃圾分类机构内腔处设有可横向移动的垃圾传送区5，所述垃圾传送区处设有用于放置垃圾的卡槽，垃圾传送区下端与垃圾分类存储区相通，当所述垃圾传送区位于初始位置时，垃圾传送区上方与垃圾投放口相邻；所述摄像头可拍摄垃圾传送区处的垃圾图像以供图像识别模块识别分类，当对垃圾进行分类投放时，所述控制模块根据垃圾分类结果，控制传送区把垃圾送至对应的垃圾分类存储区上方，释放卡槽使垃圾落入桶体内。
所述触控屏提供人机交互界面，使用者可通过人机交互界面对传送区进行控制；所述垃圾分类存储区包括未分类垃圾存储区。
当图像识别模块为服务器时，所述分类垃圾桶的使用方法分为以下步骤；
步骤A1、使用者在触控屏处验证身份以获得使用权，垃圾桶开启垃圾投放口；若使用者未注册，则需完成注册后方能使用垃圾桶；
步骤A2、若使用者需投放带有条形码的垃圾，则在触控屏处选择手动模式，把垃圾带条形码的一面朝上经垃圾投放口投入垃圾传送区，使控制模块可通过摄像头拍摄垃圾上的二维码图像；
若使用者需投放无条形码的垃圾，则在触控屏上选择自动模式，直接把垃圾经垃圾投放口投入垃圾传送区；
步骤A3、垃圾投放口关闭，控制模块经图像采集区的摄像头拍摄垃圾传送区上的垃圾图像，把图像经通讯模块送至服务器进行识别分类；
步骤A4、若服务器对垃圾得出分类结果，则控制模块根据服务器的分类结果控制垃圾传送区移动至对应的垃圾分类存储区上方，释放卡槽使垃圾传送区处的垃圾落至对应的垃圾分类存储区内；
若服务器无法识别垃圾，则控制模块在触控屏上显示需使用者手动分类的提示，当使用者在触控屏上选择垃圾传送区处垃圾的分类后，本设备把用户的分类选择结果送至服务器，由服务器端工作人员对用户的分类选择结果进行验证；控制模块根据经服务器验证的用户分类选择，控制垃圾传送区把垃圾倒入对应的垃圾分类存储区内；
若服务器无法识别垃圾，且使用者无法对垃圾进行手动分类，则控制模块控制垃圾传送区把垃圾倒入未分类垃圾存储区。
所述触控屏为可对掌纹进行扫描识别的触控液晶屏；所述验证身份可通过在触控屏处验证掌纹来完成。
一种基于AI的智能分类方法，所述智能分类方法使用以上所述的基于AI的智能分类垃圾桶，其图像识别模块为搭载AI模型进行垃圾识别的服务器；所述智能分类方法为把物体识别模型、以图搜图模型、条形码识别方法和自然语言处理相融合的垃圾分类方法；
所述智能分类方法使用服务器搭载AI模型进行垃圾识别，以智能分类垃圾桶作为客户端与服务器进行实时交互，将用户实时产生的垃圾分类数据更新至数据库服务器，所述垃圾分类数据一方面用于AI模型训练以提升AI模型的分类精度，另一方面用于大数据分析，所述大数据分析用于统计不同类别的垃圾数量及辅助垃圾处理公司制定回收策略。
所述条形码识别方法为，当服务器收到的垃圾传送区垃圾图像包含条形码时，所述服务器对条形码进行识别以得到与垃圾对应的商品名称，并通过知识图谱查询该商品对应的垃圾类别以获得垃圾分类结果。
所述知识图谱的构建方法为，通过包括网络爬虫在内的技术方法从互联网获取图片，同时获取与图片对应的说明文字，经分词及词频统计处理后，自动完成对图片贴标签的作业，从而构建知识图谱，
所述物体识别模型为带反馈的卷积神经网络SHRNet；所述神经网络SHRNet由StackedHourglass Network算法、ResNet50算法以及升维模块Dline组成；升维模块Dline的卷积核大小为64*3*3；物体识别模型的输入是经过归一化的3*224*244张量，通过StackedHourglass Network提取高维的特征，输入ResNet50中进行分类后，输出一个一维张量；所述一维张量通过一个升维模块DLine，生成一个高维张量来作为Resnet算法与StackedHourglass Network算法网络反馈调整网络的输入，其中对于Stacked Hourglass Network反馈只作用在反卷积模块上；
所述物体识别模型采用加权融合的方式，通过反馈的张量和每层卷积神经网络的输入相结合构成新的特征图，特征图其中升维模块占0.3，卷积神经网络部分占0.7；
所述以图搜图模型是利用垃圾图片搜索图片，从图片源中查找该垃圾图片或者与该垃圾图片相似的图片，所述以图搜图模型以ResNet50作为训练模型，先经训练模型输出与每张图片特定特征对应的向量，接着，计算这些向量的空间距离，搜索相似图片；最后，对垃圾图片的标签进行分词和词频统计，得到出现频率最高的词，放入构建好的知识图谱中进行查询得到与垃圾图片对应的垃圾类别。
在智能分类方法中，对物体识别模型所得结果和以图搜图模型所得结构进行两结果的加权融合；所述两结果的加权融合是对易于发生形变的垃圾赋予物体识别模型较高的初始权重，对不易形变的垃圾赋予以图搜图模型较高权重，并通过训练不断更新权重，将物体识别部分和以图搜图部分进行加权融合，提升准确率，得到垃圾分类的最终结果。
本例中对使用者的垃圾分类操作采用积分制奖励，在步骤A4中，当服务器端工作人员对用户的分类选择结果进行验证时，若用户手动操作的分类选择正确时增加用户积分，若用户手动分类错误，则减少用户积分。
在步骤A4结束后，触控屏显示“垃圾投放成功，是否继续投放垃圾”，若使用者选择“是”，则垃圾桶开启垃圾投放口，从步骤A2开始流程，若使用者选择否，则触控屏上显示“感谢您的使用！”。
在附图5中，模块中的64*3*3表示卷积核的大小，含有“D”字符的表示反卷积。
在本例的以图搜图模型中，所述分词统计使用了目前流行的一些中文分词模型，如jieba、jiagu等，并对各个模型拆分出来的词做预处理，剔除不符合应用场景的词汇，保留较长的一些词组作为字典，更换掉jieba自带的字典。
优选地，本例中的图像采集区位于垃圾桶一侧，所述垃圾传送区把垃圾送至图像采集区后，可对所运送的垃圾施以一定压力以测试垃圾是否易于发生形变；使用者也可在触控屏上选择确认所投入垃圾是否为易于形变的垃圾。
Claims (10)
1.一种基于AI的智能分类垃圾桶，其特征在于：所述分类垃圾桶包括图像识别模块、控制模块和分为多个垃圾分类存储区的桶体（1）；所述桶体与垃圾分类机构相通；所述垃圾分类机构外壁处设有垃圾投放口（2）、图像采集区（4）和触控屏；所述图像采集区处设有可扫描条形码和拍摄垃圾图像的的摄像头；所述控制模块与摄像头相连以对垃圾进行识别。
2.根据权利要求1所述的一种基于AI的智能分类垃圾桶，其特征在于：所述垃圾分类机构内腔处设有可横向移动的垃圾传送区（5），所述垃圾传送区处设有用于放置垃圾的卡槽，垃圾传送区下端与垃圾分类存储区相通，当所述垃圾传送区位于初始位置时，垃圾传送区上方与垃圾投放口相邻；所述摄像头可拍摄垃圾传送区处的垃圾图像以供图像识别模块识别分类，当对垃圾进行分类投放时，所述控制模块根据垃圾分类结果，控制传送区把垃圾送至对应的垃圾分类存储区上方，释放卡槽使垃圾落入桶体内。
3.根据权利要求2所述的一种基于AI的智能分类垃圾桶，其特征在于：所述触控屏提供人机交互界面，使用者可通过人机交互界面对传送区进行控制；所述垃圾分类存储区包括未分类垃圾存储区。
4.根据权利要求3所述的一种基于AI的智能分类垃圾桶，其特征在于：当图像识别模块为服务器时，所述分类垃圾桶的使用方法分为以下步骤；
步骤A1、使用者在触控屏处验证身份以获得使用权，垃圾桶开启垃圾投放口；若使用者未注册，则需完成注册后方能使用垃圾桶；
步骤A2、若使用者需投放带有条形码的垃圾，则在触控屏处选择手动模式，把垃圾带条形码的一面朝上经垃圾投放口投入垃圾传送区，使控制模块可通过摄像头拍摄垃圾上的二维码图像；
若使用者需投放无条形码的垃圾，则在触控屏上选择自动模式，直接把垃圾经垃圾投放口投入垃圾传送区；
步骤A3、垃圾投放口关闭，控制模块经图像采集区的摄像头拍摄垃圾传送区上的垃圾图像，把图像经通讯模块送至服务器进行识别分类；
步骤A4、若服务器对垃圾得出分类结果，则控制模块根据服务器的分类结果控制垃圾传送区移动至对应的垃圾分类存储区上方，释放卡槽使垃圾传送区处的垃圾落至对应的垃圾分类存储区内；
若服务器无法识别垃圾，则控制模块在触控屏上显示需使用者手动分类的提示，当使用者在触控屏上选择垃圾传送区处垃圾的分类后，本设备把用户的分类选择结果送至服务器，由服务器端工作人员对用户的分类选择结果进行验证；控制模块根据经服务器验证的用户分类选择，控制垃圾传送区把垃圾倒入对应的垃圾分类存储区内；
若服务器无法识别垃圾，且使用者无法对垃圾进行手动分类，则控制模块控制垃圾传送区把垃圾倒入未分类垃圾存储区。
5.根据权利要求4所述的一种基于AI的智能分类垃圾桶，其特征在于：所述触控屏为可对掌纹进行扫描识别的触控液晶屏；所述验证身份可通过在触控屏处验证掌纹来完成。
6.一种基于AI的智能分类方法，其特征在于：所述智能分类方法使用权利要求1所述的基于AI的智能分类垃圾桶，其图像识别模块为搭载AI模型进行垃圾识别的服务器；所述智能分类方法为把物体识别模型、以图搜图模型、条形码识别方法和自然语言处理相融合的垃圾分类方法；
所述智能分类方法使用服务器搭载AI模型进行垃圾识别，以智能分类垃圾桶作为客户端与服务器进行实时交互，将用户实时产生的垃圾分类数据更新至数据库服务器，所述垃圾分类数据一方面用于AI模型训练以提升AI模型的分类精度，另一方面用于大数据分析，所述大数据分析用于统计不同类别的垃圾数量及辅助垃圾处理公司制定回收策略。
7.根据权利要求6所述的一种基于AI的智能分类方法，其特征在于：所述条形码识别方法为，当服务器收到的垃圾传送区垃圾图像包含条形码时，所述服务器对条形码进行识别以得到与垃圾对应的商品名称，并通过知识图谱查询该商品对应的垃圾类别以获得垃圾分类结果。
8.根据权利要求7所述的一种基于AI的智能分类方法，其特征在于：所述知识图谱的构建方法为，通过包括网络爬虫在内的技术方法从互联网获取图片，同时获取与图片对应的说明文字，经分词及词频统计处理后，自动完成对图片贴标签的作业，从而构建知识图谱。
9.根据权利要求6所述的一种基于AI的智能分类方法，其特征在于：所述物体识别模型为带反馈的卷积神经网络SHRNet；所述神经网络SHRNet由Stacked Hourglass Network算法、ResNet50算法以及升维模块Dline组成；升维模块Dline的卷积核大小为64*3*3；物体识别模型的输入是经过归一化的3*224*244张量，通过Stacked Hourglass Network提取高维的特征，输入ResNet50中进行分类后，输出一个一维张量；所述一维张量通过一个升维模块DLine，生成一个高维张量来作为Resnet算法与Stacked Hourglass Network算法网络反馈调整网络的输入，其中对于Stacked Hourglass Network反馈只作用在反卷积模块上；
所述物体识别模型采用加权融合的方式，通过反馈的张量和每层卷积神经网络的输入相结合构成新的特征图，特征图其中升维模块占0.3，卷积神经网络部分占0.7；
所述以图搜图模型是利用垃圾图片搜索图片，从图片源中查找该垃圾图片或者与该垃圾图片相似的图片，所述以图搜图模型以ResNet50作为训练模型，先经训练模型输出与每张图片特定特征对应的向量，接着，计算这些向量的空间距离，搜索相似图片；最后，对垃圾图片的标签进行分词和词频统计，得到出现频率最高的词，放入构建好的知识图谱中进行查询得到与垃圾图片对应的垃圾类别。
10.根据权利要求9所述的一种基于AI的智能分类方法，其特征在于：在智能分类方法中，对物体识别模型所得结果和以图搜图模型所得结构进行两结果的加权融合；所述两结果的加权融合是对易于发生形变的垃圾赋予物体识别模型较高的初始权重，对不易形变的垃圾赋予以图搜图模型较高权重，并通过训练不断更新权重，将物体识别部分和以图搜图部分进行加权融合，提升准确率，得到垃圾分类的最终结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910879137.1A CN110498152B (zh) | 2019-09-18 | 2019-09-18 | 一种基于ai的智能分类垃圾桶及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910879137.1A CN110498152B (zh) | 2019-09-18 | 2019-09-18 | 一种基于ai的智能分类垃圾桶及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110498152A true CN110498152A (zh) | 2019-11-26 |
| CN110498152B CN110498152B (zh) | 2023-10-20 |
Family
ID=68592090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910879137.1A Active CN110498152B (zh) | 2019-09-18 | 2019-09-18 | 一种基于ai的智能分类垃圾桶及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110498152B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111169848A (zh) * | 2020-02-27 | 2020-05-19 | 东北大学秦皇岛分校 | 一种智能分类回收垃圾的装置及方法 |
| CN111186656A (zh) * | 2020-01-10 | 2020-05-22 | 上海电力大学 | 一种目标垃圾分类方法及智能垃圾桶 |
| CN111259977A (zh) * | 2020-01-22 | 2020-06-09 | 浙江工业大学 | 一种基于深度学习的垃圾分类装置 |
| CN111268317A (zh) * | 2020-03-03 | 2020-06-12 | 深圳壹账通智能科技有限公司 | 垃圾分类处理方法、装置、终端及存储介质 |
| CN111498326A (zh) * | 2020-04-03 | 2020-08-07 | 成都禧来科技有限公司 | 一种基于二类识别模型的垃圾自动分类机 |
| CN111517017A (zh) * | 2020-04-22 | 2020-08-11 | 五邑大学 | 智能垃圾箱、控制方法及存储介质 |
| CN111605915A (zh) * | 2020-05-28 | 2020-09-01 | 浙江冰立方环保科技有限公司 | 一种商用餐厨垃圾分类处理装置 |
| CN112158485A (zh) * | 2020-11-04 | 2021-01-01 | 瑞斯哲智能科技(苏州)有限公司 | 一种城市生活垃圾用自动分类垃圾箱装置 |
| CN112537582A (zh) * | 2020-12-18 | 2021-03-23 | 江苏华谊广告设备科技有限公司 | 一种视频智能垃圾分类设备 |
| CN112758544A (zh) * | 2020-12-31 | 2021-05-07 | 江苏理工学院 | 一种分类识别的智能垃圾桶系统 |
| CN112827846A (zh) * | 2021-01-04 | 2021-05-25 | 西安建筑科技大学 | 一种垃圾自动分类的装置及方法 |
| CN113076439A (zh) * | 2021-03-16 | 2021-07-06 | 四川九通智路科技有限公司 | 一种基于垃圾识别的垃圾分类系统和方法 |
| CN113222186A (zh) * | 2021-03-24 | 2021-08-06 | 东北电力大学 | 一种智能垃圾分类系统 |
| CN113371360A (zh) * | 2020-02-25 | 2021-09-10 | 广东威林科技股份有限公司 | 一种分类垃圾桶及垃圾分类系统 |
| CN113401533A (zh) * | 2021-07-29 | 2021-09-17 | 浙江金实乐环境工程有限公司 | 一种基于图像识别的垃圾分类投放系统及方法 |
| CN113443296A (zh) * | 2020-08-17 | 2021-09-28 | 刘炎 | 基于大数据的垃圾自动分类系统 |
| CN113581690A (zh) * | 2021-07-31 | 2021-11-02 | 浙江工业大学 | 一种基于图像识别的智能分类垃圾桶控制系统 |
| CN113879724A (zh) * | 2021-09-23 | 2022-01-04 | 宁波大学 | 基于众包智能的垃圾分类系统 |
| CN114120136A (zh) * | 2022-01-27 | 2022-03-01 | 人民中科(济南)智能技术有限公司 | 对垃圾进行分类的方法、装置以及存储介质 |
| CN117208432A (zh) * | 2023-11-09 | 2023-12-12 | 上海电子信息职业技术学院 | Ai驱动的垃圾分类回收装置及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107282477A (zh) * | 2017-07-27 | 2017-10-24 | 深圳市和网零售有限公司 | 基于图像识别技术的塑料垃圾分类回收装置和控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108438583A (zh) * | 2018-02-27 | 2018-08-24 | 温州智享知识产权顾问有限责任公司 | 一种智能垃圾分类系统 |
-
2019
- 2019-09-18 CN CN201910879137.1A patent/CN110498152B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107282477A (zh) * | 2017-07-27 | 2017-10-24 | 深圳市和网零售有限公司 | 基于图像识别技术的塑料垃圾分类回收装置和控制方法 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111186656A (zh) * | 2020-01-10 | 2020-05-22 | 上海电力大学 | 一种目标垃圾分类方法及智能垃圾桶 |
| CN111259977A (zh) * | 2020-01-22 | 2020-06-09 | 浙江工业大学 | 一种基于深度学习的垃圾分类装置 |
| CN113371360A (zh) * | 2020-02-25 | 2021-09-10 | 广东威林科技股份有限公司 | 一种分类垃圾桶及垃圾分类系统 |
| CN111169848A (zh) * | 2020-02-27 | 2020-05-19 | 东北大学秦皇岛分校 | 一种智能分类回收垃圾的装置及方法 |
| CN111268317A (zh) * | 2020-03-03 | 2020-06-12 | 深圳壹账通智能科技有限公司 | 垃圾分类处理方法、装置、终端及存储介质 |
| CN111498326A (zh) * | 2020-04-03 | 2020-08-07 | 成都禧来科技有限公司 | 一种基于二类识别模型的垃圾自动分类机 |
| CN111517017A (zh) * | 2020-04-22 | 2020-08-11 | 五邑大学 | 智能垃圾箱、控制方法及存储介质 |
| CN111605915A (zh) * | 2020-05-28 | 2020-09-01 | 浙江冰立方环保科技有限公司 | 一种商用餐厨垃圾分类处理装置 |
| CN113443296A (zh) * | 2020-08-17 | 2021-09-28 | 刘炎 | 基于大数据的垃圾自动分类系统 |
| CN112158485A (zh) * | 2020-11-04 | 2021-01-01 | 瑞斯哲智能科技(苏州)有限公司 | 一种城市生活垃圾用自动分类垃圾箱装置 |
| CN112537582A (zh) * | 2020-12-18 | 2021-03-23 | 江苏华谊广告设备科技有限公司 | 一种视频智能垃圾分类设备 |
| CN112537582B (zh) * | 2020-12-18 | 2021-07-02 | 江苏华谊广告设备科技有限公司 | 一种视频智能垃圾分类设备 |
| CN112758544A (zh) * | 2020-12-31 | 2021-05-07 | 江苏理工学院 | 一种分类识别的智能垃圾桶系统 |
| CN112827846A (zh) * | 2021-01-04 | 2021-05-25 | 西安建筑科技大学 | 一种垃圾自动分类的装置及方法 |
| CN112827846B (zh) * | 2021-01-04 | 2023-08-22 | 西安建筑科技大学 | 一种垃圾自动分类的装置及方法 |
| CN113076439A (zh) * | 2021-03-16 | 2021-07-06 | 四川九通智路科技有限公司 | 一种基于垃圾识别的垃圾分类系统和方法 |
| CN113222186B (zh) * | 2021-03-24 | 2022-02-08 | 东北电力大学 | 一种智能垃圾分类系统 |
| CN113222186A (zh) * | 2021-03-24 | 2021-08-06 | 东北电力大学 | 一种智能垃圾分类系统 |
| CN113401533A (zh) * | 2021-07-29 | 2021-09-17 | 浙江金实乐环境工程有限公司 | 一种基于图像识别的垃圾分类投放系统及方法 |
| CN113581690A (zh) * | 2021-07-31 | 2021-11-02 | 浙江工业大学 | 一种基于图像识别的智能分类垃圾桶控制系统 |
| CN113879724A (zh) * | 2021-09-23 | 2022-01-04 | 宁波大学 | 基于众包智能的垃圾分类系统 |
| CN113879724B (zh) * | 2021-09-23 | 2022-08-19 | 宁波大学 | 基于众包智能的垃圾分类系统 |
| CN114120136A (zh) * | 2022-01-27 | 2022-03-01 | 人民中科(济南)智能技术有限公司 | 对垃圾进行分类的方法、装置以及存储介质 |
| CN117208432A (zh) * | 2023-11-09 | 2023-12-12 | 上海电子信息职业技术学院 | Ai驱动的垃圾分类回收装置及方法 |
| CN117208432B (zh) * | 2023-11-09 | 2024-02-23 | 上海电子信息职业技术学院 | Ai驱动的垃圾分类回收装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110498152B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110498152A (zh) | 一种基于ai的智能分类垃圾桶及其方法 | |
| CN108491799B (zh) | 一种基于图像识别的智能售货柜商品管理方法及系统 | |
| Pan et al. | Image Augmentation-Based Food Recognition with Convolutional Neural Networks. | |
| CN101859382B (zh) | 一种基于最大稳定极值区域的车牌检测与识别的方法 | |
| CN107944431B (zh) | 一种基于运动变化的智能识别方法 | |
| CN108509978A (zh) | 基于cnn的多级特征融合的多类目标检测方法及模型 | |
| CN109308479B (zh) | 一种基于深度学习的校园垃圾自动分类回收方法 | |
| CN206489651U (zh) | “互联网+”包装瓶智能回收系统 | |
| CN108520273A (zh) | 一种基于目标检测的稠密小商品快速检测识别方法 | |
| CN106599925A (zh) | 一种基于深度学习的植物叶片识别系统与方法 | |
| CN109784223A (zh) | 一种基于卷积神经网络的多时相遥感影像匹配方法及系统 | |
| CN111611970B (zh) | 一种基于城管监控视频的乱扔垃圾行为检测方法 | |
| CN109583482A (zh) | 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法 | |
| CN106570491A (zh) | 一种机器人智能互动的方法及智能机器人 | |
| CN102054178A (zh) | 一种基于局部语义概念的国画图像识别方法 | |
| CN108960124B (zh) | 用于行人再识别的图像处理方法及装置 | |
| CN104049754A (zh) | 实时手跟踪、姿态分类和界面控制 | |
| CN109190643A (zh) | 基于卷积神经网络中药识别方法及电子设备 | |
| CN110929760A (zh) | 一种基于计算机视觉的垃圾分类软件 | |
| CN109740676A (zh) | 基于相似目标的物体检测迁移方法 | |
| CN109882019A (zh) | 一种基于目标检测和动作识别的汽车电动尾门开启方法 | |
| CN112827846B (zh) | 一种垃圾自动分类的装置及方法 | |
| CN111186656A (zh) | 一种目标垃圾分类方法及智能垃圾桶 | |
| CN109712324B (zh) | 一种自动售货机图像识别方法、售货方法及自动售货设备 | |
| CN110135237B (zh) | 一种手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |