CN113955343B - 基于三维视觉的无序垃圾智能分类设备及其分类方法 - Google Patents

基于三维视觉的无序垃圾智能分类设备及其分类方法 Download PDF

Info

Publication number
CN113955343B
CN113955343B CN202111248348.9A CN202111248348A CN113955343B CN 113955343 B CN113955343 B CN 113955343B CN 202111248348 A CN202111248348 A CN 202111248348A CN 113955343 B CN113955343 B CN 113955343B
Authority
CN
China
Prior art keywords
garbage
point cloud
information
module
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111248348.9A
Other languages
English (en)
Other versions
CN113955343A (zh
Inventor
陆新江
陈诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202111248348.9A priority Critical patent/CN113955343B/zh
Publication of CN113955343A publication Critical patent/CN113955343A/zh
Application granted granted Critical
Publication of CN113955343B publication Critical patent/CN113955343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65FGATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00Refuse receptacles; Accessories therefor
    • B65F1/0033Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65FGATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00Refuse receptacles; Accessories therefor
    • B65F1/14Other constructional features; Accessories
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65FGATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00Equipment of refuse receptacles
    • B65F2210/138Identification means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00Technologies for solid waste management
    • Y02W30/10Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于三维视觉的无序垃圾智能分类设备及一种基于三维视觉的无序垃圾智能分类方法,基于三维视觉的无序垃圾智能分类设备包括三维相机、控制器、抓取部件、检测台和分类箱,检测台形成用于收容待分类垃圾的收容空间,且收容空间的一端开口,三维相机设置在收容空间的开口端,以采集待分类垃圾的图片信息,控制器与三维相机和抓取部件分别电连接,控制器用于根据图片信息控制抓取部件抓取待分类垃圾,并将待分类垃圾按垃圾分类置入分类箱;与现有垃圾分类装置相比,该装置设计更加简单合理,占用面积小,无需将垃圾桶内垃圾倒出分散平铺,从而防止了垃圾桶内脏污二次污染,提高了垃圾分类的效率。

Description

基于三维视觉的无序垃圾智能分类设备及其分类方法
技术领域
本发明涉及垃圾分类技术领域,具体涉及一种基于三维视觉的无序垃圾智能分类设备和一种基于三维视觉的无序垃圾智能分类方法。
背景技术
随着国家提出的可持续发展战略,人们的环保意识大大增强,垃圾分类回收逐渐在各个城市普及,垃圾分类时往往会设置不同的垃圾箱,如:可回收物、有害垃圾以及其他垃圾等。这要求人们按照规定将不同种类的垃圾分别丢入不同的垃圾桶中。但是由于垃圾种类繁多,人们在按照类别丢弃垃圾时,容易记错垃圾类别,这就导致回收到的垃圾桶内往往会有错误分类的垃圾,那么在进行垃圾处理之前,需要筛除错误分类的垃圾,然而已经回收的垃圾堆积在一个垃圾桶内,传统的方法是将其倒在流水线上平铺后依靠人工分类或机械分类,耗时耗力,而且工作环境恶劣,容易导致工厂二次污染,所以需要设计一款能对无序堆叠的垃圾进行分类的设备。
发明内容
本发明的主要目的是提供一种基于三维视觉的无序垃圾智能分类设备和一种基于三维视觉的无序垃圾智能分类方法,旨在自动对垃圾进行分类,且提高垃圾分类的效率。
为实现上述目的,本发明提出一种基于三维视觉的无序垃圾智能分类方法,基于三维视觉的无序垃圾智能分类设备进行垃圾分类,智能分类设备包括三维相机、控制器、抓取部件、检测台和多个分类箱,三维相机用于采集待分类垃圾的图片信息,控制器与三维相机和抓取部件分别电连接;控制器包括视觉模块、通讯模块、计算模块、识别模块和控制模块;分类方法包括如下步骤:
三维相机获取待分类垃圾的图片信息并传至通讯模块;通讯模块将图片信息发送至视觉模块,视觉模块将图片信息进行处理以得出特征图片;
视觉模块将特征图片发送至计算模块,计算模块将特征图片进行点云分割以得到待分类垃圾的目标点云信息;
计算模块将目标点云信息发送至识别模块,识别模块根据目标点云信息得出垃圾分类结果,垃圾分类结果对应有分类箱;识别模块将垃圾分类结果和目标点云信息发送至控制模块,控制模块根据目标点云信息和垃圾分类结果得出控制信号;识别模块将控制信号发送至抓取部件,以将待分类垃圾抓取,并按垃圾分类结果置入对应的分类箱。
优选的,所述通讯模块将所述图片信息发送至视觉模块,所述视觉模块将所述图片信息进行预处理以得出特征图片的步骤包括:
所述通讯模块将所述图片信息发送至所述视觉模块;
所述视觉模块对所述图片信息进行去噪处理;
所述视觉模块根据去噪处理后的所述图片信息得出特征图片。
优选的,一种基于三维视觉的无序垃圾智能分类方法,所述视觉模块将特征图片发送至计算模块,所述计算模块将特征图片进行点云分割以得到待分类垃圾的目标点云信息的步骤之前还包括:
在计算模块内建立点云分割神经网络模型;
将点云重构后的垃圾图像作为输入信息,将剔除背景后的垃圾图像的目标点云信息作为输出结果输入点云分割神经网络模型进行训练;
所述视觉模块将特征图片发送至计算模块,所述计算模块将特征图片进行点云分割以得到待分类垃圾的目标点云信息的步骤包括:
所述视觉模块将特征图片发送至计算模块;
所述计算模块进行特征图片的点云重构;
将点云重构后的特征图片输入点云分割神经网络模型;
点云分割神经网络模型对点云重构后的特征图片进行点云分割;
点云分割神经网络模型输出目标点云信息。
优选的,一种基于三维视觉的无序垃圾智能分类方法,所述计算模块将目标点云信息发送至识别模块,所述识别模块根据目标点云信息得出垃圾分类结果的步骤之前还包括:
在所述识别模块内建立点云识别神经网络模型;
将点云重构后且剔除背景的垃圾图像作为输入信息,将识别结果作为输出结果输入点云识别神经网络模型进行训练;
所述计算模块将目标点云信息发送至识别模块,所述识别模块根据目标点云信息得出垃圾分类结果的步骤包括:
所述计算模块接收目标点云信息;
将目标点云信息输入点云识别神经网络;
点云识别神经网络输出垃圾分类结果。
优选的,一种基于三维视觉的无序垃圾智能分类方法,所述识别模块将所述垃圾分类结果和所述目标点云信息发送至所述控制模块,所述控制模块根据所述目标点云信息和所述垃圾分类结果得出控制信号的步骤之前还包括;
在所述控制模块内建立控制神经网络模型:
将点云重构后且剔除背景的垃圾图像作为输入信息,将抓取位置与姿态的坐标作为输出结果输入控制神经网络模型进行训练;
进行三维相机和抓取部件的手眼标定,以获取抓取部件的坐标信息转化矩阵;
所述识别模块将所述垃圾分类结果和所述目标点云信息发送至所述控制模块,所述控制模块根据所述目标点云信息和所述垃圾分类结果得出控制信号的步骤包括:
所述识别模块将目标点云信息输入控制神经网络模型;
所述控制神经网络模型根据目标点云信息得出抓取部件的期望末端位资信息;
根据所述垃圾分类结果获取分类箱的坐标信息;
获取抓取部件的现行坐标信息;
根据所述抓取部件的现行坐标信息、分类箱的坐标信息和抓取部件期望末端位资信息得出抓取部件的轨迹控制信息。
优选的,一种基于三维视觉的无序垃圾智能分类方法,其特征在于,所述进行图片的去噪处理的步骤中;
所述去噪方式采用均值去噪的方法。
优选的,一种基于三维视觉的无序垃圾智能分类方法,所述进行手眼标定转化三维相机和抓取部件的坐标,以获取抓取部件的坐标信息转化矩阵的步骤包括:
安装标定板;
将抓取部件的末端移动至标定板;
获取抓取部件与标定板的照片;
得出转化抓取部件的坐标信息的转化矩阵。
为实现上述目的,本发明还提出一种基于三维视觉的无序垃圾智能分类设备,包括三维相机、控制器、抓取部件、检测台和分类箱,所述检测台形成用于收容待分类垃圾的收容空间,且所述收容空间的一端开口,所述三维相机设置在所述收容空间的开口端,以采集待分类垃圾的图片信息,所述控制器与所述三维相机和所述抓取部件分别电连接,所述控制器用于根据所述图片信息控制所述抓取部件抓取待分类垃圾,并将待分类垃圾按垃圾分类置入分类箱。
与现有技术相比,本发明至少具备以下有益效果:
本发明的技术方案中,将回收到的无序垃圾堆叠在垃圾桶内,上方的三维相机实时检测无序垃圾,并通过控制器获取垃圾的点云图像,自动检测垃圾的种类并通过视觉算法计算出可抓取垃圾的抓取位姿,如有多个可抓取垃圾,则抓取最上方的垃圾,即位置最高的垃圾,随后将抓取位姿通讯给抓取部件,抓取部件在获取抓取位姿和垃圾类别后,从无序垃圾中抓取目标,然后将其抓取到分类垃圾箱中,完成一次无序垃圾分拣,重复上述过程对垃圾进行分类,直到全部无序垃圾分类完成;与现有垃圾分类装置相比,该装置设计更加简单合理,占用面积小,无需将垃圾桶内垃圾倒出分散平铺,从而防止了垃圾桶内脏污二次污染,提高了垃圾分类的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提出的一种基于三维视觉的无序垃圾智能分类设备结构示意图;
图2为本发明提出的一种基于三维视觉的无序垃圾智能分类方法的第一实施例的流程图。
附图标号说明:
1-三维相机;2-机械臂;3-检测台;4-分类箱。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提出一种基于三维视觉的无序垃圾智能分类设备。
将回收到的无序垃圾堆叠在垃圾桶内,上方的三维相机1实时检测无序垃圾,并通过控制器获取垃圾的点云图像,自动检测垃圾的种类并通过视觉算法计算出可抓取垃圾的抓取位姿,如有多个可抓取垃圾,则抓取最上方的垃圾,即位置最高的垃圾,随后将抓取位姿通讯给抓取部件,抓取部件在获取抓取位姿和垃圾类别后,从无序垃圾中抓取目标,然后将其抓取到分类垃圾箱中,完成一次无序垃圾分拣,重复上述过程对垃圾进行分类,直到全部无序垃圾分类完成;与现有垃圾分类装置相比,该装置设计更加简单合理,占用面积小,无需将垃圾桶内垃圾倒出分散平铺,从而防止了垃圾桶内脏污二次污染,提高了垃圾分类的效率。
为实现上述目的,本发明还提出一种基于三维视觉的无序垃圾智能分类方法,其中所述控制器包括视觉模块、通讯模块、计算模块、识别模块和控制模块;本发明提出的一种基于三维视觉的无序垃圾智能分类方法的第一实施例中,所述基于三维视觉的无序垃圾智能分类方法包括如下步骤:
S10:所述三维相机1获取待分类垃圾的图片信息并上传至通讯模块;
S20:所述通讯模块将所述图片信息发送至视觉模块,所述视觉模块将所述图片信息进行预处理以得出特征图片;
S30:所述视觉模块将特征图片发送至计算模块,所述计算模块将特征图片进行点云分割以得到待分类垃圾的目标点云信息;
S40:所述计算模块将目标点云信息发送至识别模块,所述识别模块根据目标点云信息得出垃圾分类结果;
S50:所述识别模块将所述垃圾分类结果和所述目标点云信息发送至所述控制模块,所述控制模块根据所述目标点云信息和所述垃圾分类结果得出控制信号;
S60:所述识别模块将所述控制信号发送至所述抓取部件,所述抓取部件根据所述控制信号运动,以将待分类垃圾抓取,并按垃圾分类置入对应的分类箱4。
具体的,利用三维相机1来采集图像,可获得真实的三维立体图像,从而便于后续的图片处理,随后通过去噪的步骤使图片变得清晰(特制图片),提高了图片的质量,增加了图片携带的信息量。
本发明提出的一种基于三维视觉的无序垃圾智能分类方法的第二实施例中,所述通讯模块将所述图片信息发送至视觉模块,所述视觉模块将所述图片信息进行预处理以得出特征图片的步骤包括:
S70:所述通讯模块将所述图片信息发送至所述视觉模块;
S80:所述视觉模块对所述图片信息进行去噪处理;
S90:所述视觉模块根据去噪处理后的所述图片信息得出特征图片。
具体的,图片信息的去噪处理可采用点云去噪、邻域去噪和k均值去噪等方法。
本发明提出的一种基于三维视觉的无序垃圾智能分类方法的第三实施例中,所述视觉模块将特征图片发送至计算模块,所述计算模块将特征图片进行点云分割以得到待分类垃圾的目标点云信息的步骤之前还包括:
S100:在计算模块内建立点云分割神经网络模型;
S110:将点云重构后的垃圾图像作为输入信息,将剔除背景后的垃圾图像的目标点云信息作为输出结果输入点云分割神经网络模型进行训练;
更进一步的,在点云重构中,当一张照片内有多个垃圾个体时,点云分割神经网络模型会将所有的垃圾个体均分割,以获得单个垃圾个体的点云信息,随后,比对所有的垃圾个体的点云信息,取得最上方的垃圾的点云信息并将其作为目标点云信息输出。
本发明提出的一种基于三维视觉的无序垃圾智能分类方法的第四实施例中,所述视觉模块将特征图片发送至计算模块,所述计算模块将特征图片进行点云分割以得到待分类垃圾的目标点云信息的步骤包括:
S120:所述视觉模块将特征图片发送至计算模块;
S130:所述计算模块进行特征图片的点云重构;
S140:将点云重构后的特征图片输入点云分割神经网络模型;
S150:点云分割神经网络模型对点云重构后的特征图片进行点云分割;
S160:点云分割神经网络模型输出目标点云信息。
具体的,通过分割神经网络模型来进行点云分割,相对于常规的模板匹配的方式,提高了点云分割的正确率。
本发明提出的一种基于三维视觉的无序垃圾智能分类方法的第五实施例中,所述计算模块将目标点云信息发送至识别模块,所述识别模块根据目标点云信息得出垃圾分类结果的步骤之前还包括:
S170:在所述识别模块内建立点云识别神经网络模型;
S180:将点云重构后且剔除背景的垃圾图像作为输入信息,将识别结果作为输出结果输入点云识别神经网络模型进行训练;
所述计算模块将目标点云信息发送至识别模块,所述识别模块根据目标点云信息得出垃圾分类结果的步骤包括:
S190:所述计算模块接收目标点云信息;
S200:所述计算模块将目标点云信息输入点云识别神经网络;
S210:点云识别神经网络输出垃圾分类结果。
具体的,通过点云识别神经网络来进行图像的识别归类,提高了图像识别的正确率,同时也能应对未处理过的垃圾的极为复杂特制情况,提高了分类的正确率。
本发明提出的一种基于三维视觉的无序垃圾智能分类方法的第六实施例中,所述识别模块将所述垃圾分类结果和所述目标点云信息发送至所述控制模块,所述控制模块根据所述目标点云信息和所述垃圾分类结果得出控制信号的步骤之前还包括;
S220:在所述控制模块内建立控制神经网络模型:
S230:将点云重构后且剔除背景的垃圾图像作为输入信息,将抓取位置与姿态的坐标作为输出结果输入控制神经网络模型进行训练;
S240:进行三维相机1和抓取部件的手眼标定,以获取抓取部件的坐标信息转化矩阵;
通过手眼标定求取一个坐标转化矩阵,从而进行抓取部件和三维相机的坐标的转化,以使得抓取部件与待抓取垃圾的参考系统一,进而实现后续的控制。
所述识别模块将所述垃圾分类结果和所述目标点云信息发送至所述控制模块,所述控制模块根据所述目标点云信息和所述垃圾分类结果得出控制信号的步骤包括:
S250:所述识别模块将目标点云信息输入控制神经网络模型;
S260:所述控制神经网络模型根据目标点云信息得出抓取部件的期望末端位资信息;
S270:根据所述垃圾分类结果获取分类箱4的坐标信息;
S280:获取抓取部件的现行坐标信息;
S290:根据所述抓取部件的现行坐标信息、分类箱4的坐标信息抓取部件期望末端位资信息得出抓取部件的轨迹控制信息。
具体的,步骤S290包括:
S300:获取抓取部件的现行坐标信息和抓取部件的期望末端位资信息;
S310:计算抓取部件的抓取轨迹控制信息;
S320:获取抓取部件的期望末端位资信息和分类箱4的坐标信息;
S330:计算抓取部件的放置轨迹控制信息;
具体的,以抓取部件的期望末端位资信息作为已知信息来进行运动学逆解,以得出机械臂2各轴的旋转角度(一般通过对电机的运动姿态进行解析得出,此时解不唯一);
获取现行姿态下的各轴的旋转角度;
将计算出的各轴的旋转角度与现行姿态下的各轴旋转角度进行比对并计算出抓取轨迹控制信息;
同理,可以计算出放置轨迹的控制信息。
S320:计算出抓取部件的轨迹控制信息。
具体的,所述抓取部件还加设有ROS系统,所述ROS系统内加载所述检测台和所述分类箱的位置信息,以实现抓取部件在轨迹计算过程中的避障,以防止在由于运动学逆解过程带来不唯一解可能造成的元件之间的相互干涉。
更进一步的,所述抓取轨迹的控制信息,主要采取两点取直线的轨迹归纳方式,以运动至待夹取的垃圾上方,随后直线下降以进行垃圾抓取,避免了直接移动可能对待夹取垃圾产生拍击。
优选的,一种基于三维视觉的无序垃圾智能分类方法,其特征在于,所述进行图片的去噪处理的步骤中;
所述去噪方式采用均值去噪的方法;具体的,均值去噪的计算较为快速,去噪效果良好。
优选的,本发明提出的一种基于三维视觉的无序垃圾智能分类方法的第七实施例中,所述进行三维相机1和抓取部件的手眼标定,以获取抓取部件的坐标信息转化矩阵的步骤包括:
S330:安装标定板;
S340:将抓取部件的末端移动至标定板:
S350:获取抓取部件与标定板的照片;
S360:得出转化抓取部件的坐标信息的转化矩阵。
具体的,所述步骤S330、步骤S340和步骤S350需进行多次,且每次安装标定板的位置不相同(三次以上),以获取足够数量的标定照片,进而能够归纳出更加准确的坐标转化矩阵。
一种基于三维视觉的无序垃圾智能分类设备,包括三维相机1、控制器、抓取部件、检测台3和分类箱4,所述检测台3形成用于收容待分类垃圾的收容空间,且所述收容空间的一端开口,所述三维相机1设置在所述收容空间的开口端,以采集待分类垃圾的图片信息,所述控制器与所述三维相机1和所述抓取部件分别电连接,所述控制器用于根据所述图片信息控制所述抓取部件抓取待分类垃圾,并将待分类垃圾按垃圾分类置入分类箱4。
进一步的,所述抓取部件为机械臂2,所述收容空间背离地面的一侧形成开口,所述三维相机1设置在所述收容空间的上侧。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (4)

1.一种基于三维视觉的无序垃圾智能分类方法,其中,回收到的无序垃圾堆叠在垃圾桶内,其特征在于,基于三维视觉的无序垃圾智能分类设备进行垃圾分类,智能分类设备包括三维相机、控制器、抓取部件、检测台和多个分类箱,三维相机用于采集待分类垃圾的图片信息,控制器与三维相机和抓取部件分别电连接;控制器包括视觉模块、通讯模块、计算模块、识别模块和控制模块;分类方法包括如下步骤:
三维相机获取待分类垃圾的图片信息并传至通讯模块;通讯模块将图片信息发送至视觉模块,视觉模块将图片信息进行处理以得出特征图片;
在计算模块内建立点云分割神经网络模型;
将点云重构后的垃圾图像作为输入信息,将剔除背景后的垃圾图像的目标点云信息作为输出结果输入点云分割神经网络模型进行训练;
所述视觉模块将特征图片发送至计算模块;
所述计算模块进行特征图片的点云重构;
将点云重构后的特征图片输入点云分割神经网络模型;
点云分割神经网络模型对点云重构后的特征图片进行点云分割;
点云分割神经网络模型输出目标点云信息;
其中,在点云重构中,当一张照片内有多个垃圾个体时,点云分割神经网络模型会将所有的垃圾个体均分割,以获得单个垃圾个体的点云信息,随后,比对所有的垃圾个体的点云信息,取得最上方的垃圾的点云信息并将其作为目标点云信息输出;
计算模块将目标点云信息发送至识别模块,识别模块根据目标点云信息得出垃圾分类结果,垃圾分类结果对应有分类箱;识别模块将垃圾分类结果和目标点云信息发送至控制模块,控制模块根据目标点云信息和垃圾分类结果得出控制信号;识别模块将控制信号发送至抓取部件,以将待分类垃圾抓取,并按垃圾分类结果置入对应的分类箱;
所述识别模块将所述垃圾分类结果和所述目标点云信息发送至所述控制模块,所述控制模块根据所述目标点云信息和所述垃圾分类结果得出控制信号的步骤之前还包括;
在所述控制模块内建立控制神经网络模型:
将点云重构后且剔除背景的垃圾图像作为输入信息,将抓取位置与姿态的坐标作为输出结果输入控制神经网络模型进行训练;
进行三维相机和抓取部件的手眼标定,以获取抓取部件的坐标信息转化矩阵;
所述识别模块将所述垃圾分类结果和所述目标点云信息发送至所述控制模块,所述控制模块根据所述目标点云信息和所述垃圾分类结果得出控制信号的步骤包括:
所述识别模块将目标点云信息输入控制神经网络模型;
所述控制神经网络模型根据目标点云信息得出抓取部件的期望末端位资信息;
根据所述垃圾分类结果获取分类箱的坐标信息;
获取抓取部件的现行坐标信息;
根据所述抓取部件的现行坐标信息、分类箱的坐标信息和抓取部件期望末端位资信息得出抓取部件的轨迹控制信息;
所述进行三维相机和抓取部件的手眼标定,以获取抓取部件的坐标信息转化矩阵的步骤包括:
安装标定板;
将抓取部件的末端移动至标定板;
获取抓取部件与标定板的照片;
得出转化抓取部件的坐标信息的转化矩阵。
2.根据权利要求1所述的一种基于三维视觉的无序垃圾智能分类方法,其特征在于,所述通讯模块将所述图片信息发送至视觉模块,所述视觉模块将所述图片信息进行预处理以得出特征图片的步骤包括:
所述通讯模块将所述图片信息发送至所述视觉模块;
所述视觉模块对所述图片信息进行去噪处理;
所述视觉模块根据去噪处理后的所述图片信息得出特征图片。
3.根据权利要求1所述的一种基于三维视觉的无序垃圾智能分类方法,
其特征在于,所述计算模块将目标点云信息发送至识别模块,所述识别模块根据目标点云信息得出垃圾分类结果的步骤之前还包括:
在所述识别模块内建立点云识别神经网络模型;
将点云重构后且剔除背景的垃圾图像作为输入信息,将识别结果作为输出结果输入点云识别神经网络模型进行训练;
所述计算模块将目标点云信息发送至识别模块,所述识别模块根据目标点云信息得出垃圾分类结果的步骤包括:
所述计算模块接收目标点云信息;
所述计算模块将目标点云信息输入点云识别神经网络;
点云识别神经网络输出垃圾分类结果。
4.根据权利要求2所述的一种基于三维视觉的无序垃圾智能分类方法,其特征在于,所述对所述图片信息进行去噪处理的步骤中:
去噪方式采用均值去噪的方法。
CN202111248348.9A 2021-10-26 2021-10-26 基于三维视觉的无序垃圾智能分类设备及其分类方法 Active CN113955343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111248348.9A CN113955343B (zh) 2021-10-26 2021-10-26 基于三维视觉的无序垃圾智能分类设备及其分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111248348.9A CN113955343B (zh) 2021-10-26 2021-10-26 基于三维视觉的无序垃圾智能分类设备及其分类方法

Publications (2)

Publication Number Publication Date
CN113955343A CN113955343A (zh) 2022-01-21
CN113955343B true CN113955343B (zh) 2022-11-25

Family

ID=79467086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111248348.9A Active CN113955343B (zh) 2021-10-26 2021-10-26 基于三维视觉的无序垃圾智能分类设备及其分类方法

Country Status (1)

Country Link
CN (1) CN113955343B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115445963A (zh) * 2022-09-30 2022-12-09 北京思灵机器人科技有限责任公司 无序线材分拣方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107054936A (zh) * 2017-03-23 2017-08-18 广东数相智能科技有限公司 一种基于图像识别的垃圾分类提示垃圾桶和系统
CN110498154A (zh) * 2019-08-23 2019-11-26 中国科学院自动化研究所 垃圾清理装置和垃圾清理系统
CN111003380A (zh) * 2019-12-25 2020-04-14 深圳蓝胖子机器人有限公司 一种智能回收垃圾的方法、系统、设备
CN111439500A (zh) * 2020-04-16 2020-07-24 同济大学浙江学院 垃圾自动分类方法及垃圾自动分类装置
CN212666070U (zh) * 2020-06-22 2021-03-09 魏良进 基于计算机视觉进行目标识别的智能垃圾清理及分类机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107054936A (zh) * 2017-03-23 2017-08-18 广东数相智能科技有限公司 一种基于图像识别的垃圾分类提示垃圾桶和系统
CN110498154A (zh) * 2019-08-23 2019-11-26 中国科学院自动化研究所 垃圾清理装置和垃圾清理系统
CN111003380A (zh) * 2019-12-25 2020-04-14 深圳蓝胖子机器人有限公司 一种智能回收垃圾的方法、系统、设备
CN111439500A (zh) * 2020-04-16 2020-07-24 同济大学浙江学院 垃圾自动分类方法及垃圾自动分类装置
CN212666070U (zh) * 2020-06-22 2021-03-09 魏良进 基于计算机视觉进行目标识别的智能垃圾清理及分类机器人

Also Published As

Publication number Publication date
CN113955343A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN111015662B (zh) 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN113666028B (zh) 一种基于激光雷达和相机融合的垃圾桶检测抓取方法
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
CN109191419B (zh) 基于机器学习的实时压板检测及状态识别系统及方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN110342153A (zh) 一种基于三维点云的垃圾桶识别抓取方法
CN111428731A (zh) 基于机器视觉的多类目标识别定位方法、装置和设备
CN114758236B (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN113955343B (zh) 基于三维视觉的无序垃圾智能分类设备及其分类方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN113420746B (zh) 机器人视觉分拣方法、装置、电子设备和存储介质
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
CN116494253B (zh) 目标物体抓取位姿获取方法及机器人抓取系统
CN111003380A (zh) 一种智能回收垃圾的方法、系统、设备
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
WO2020111327A1 (ko) 비접촉식 물건속성 인식장치 및 방법
CN111582332B (zh) 一种高速铁路接触网吊弦部件的图片识别方法
CN113537079A (zh) 一种基于深度学习的目标图像角度计算方法
CN111687060B (zh) 一种物流多级分拣系统及方法
CN114627359A (zh) 一种乱序堆叠工件抓取优先级评估方法
CN115187969B (zh) 一种基于视觉识别的铅酸电池回收系统和方法
CN115213122B (zh) 基于3d深度网络的无序分拣方法
CN212724028U (zh) 视觉机器人抓取系统
CN116197885A (zh) 图像数据处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant