CN114192447A - 基于图像识别的垃圾分拣方法 - Google Patents

基于图像识别的垃圾分拣方法 Download PDF

Info

Publication number
CN114192447A
CN114192447A CN202111490126.8A CN202111490126A CN114192447A CN 114192447 A CN114192447 A CN 114192447A CN 202111490126 A CN202111490126 A CN 202111490126A CN 114192447 A CN114192447 A CN 114192447A
Authority
CN
China
Prior art keywords
target
image recognition
mechanical arm
grabbing
sorting method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111490126.8A
Other languages
English (en)
Inventor
卢小康
欧阳华兵
陈�田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN202111490126.8A priority Critical patent/CN114192447A/zh
Publication of CN114192447A publication Critical patent/CN114192447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0045—Return vending of articles, e.g. bottles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Landscapes

  • Manipulator (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明涉及一种基于图像识别的垃圾分拣方法，该方法包括：采集并处理目标空间场景图像；建立位姿空间，解算目标与位姿空间的相对信息；通过相机坐标系和机械臂坐标系的转换得到机械臂的抓取参数，并执行抓取。上述基于图像识别的垃圾分拣方法，通过获取目标空间场景图像，解算目标与位姿空间的相对信息，经相机坐标系和机械臂坐标系的转换得到机械臂的抓取参数，并执行抓取，无需人工介入即可实现对瓶罐类垃圾进行自动分拣。减少了工人与回收垃圾的接触，有效的改善了工人的工作环境。

Description

基于图像识别的垃圾分拣方法
技术领域
本发明涉及垃圾分拣领域，特别是涉及一种基于图像识别的垃圾分拣方法。
背景技术
目前，我国的生活垃圾分拣还主要采用人工手动分拣的方式。传统的机械臂抓取多依靠精确的示教进行抓取和放置工件，存在着较大的局限性，这种结构化的环境要求工件必须以特定的方位处于固定的位置上，如果外界环境或工件的状态发生变化使得这一要求不能满足时，例如生活垃圾啤酒瓶、塑料瓶以及易拉罐等，都具有不易分解且无法采用常规磁吸、震动筛选进行分类的特点，传统的机器人往往不能适应这种变化，导致任务中断或失败，很难应用到垃圾分拣中。
发明内容
基于此，有必要针对上述问题，提供一种无需人工介入即可实现对瓶罐类垃圾进行自动分拣的基于图像识别的垃圾分拣方法。
一种基于图像识别的垃圾分拣方法，所述方法包括：
采集并处理目标空间场景图像；
建立位姿空间，解算目标与位姿空间的相对信息；
通过相机坐标系和机械臂坐标系的转换得到机械臂的抓取参数，并执行抓取。
进一步的，所述采集目标空间场景图像，包括：
实时采集工作区域的图像；
实时采集目标的空间场景图像。
进一步的，所述处理目标空间场景图像，包括：
对目标进行分类识别；
获取目标的类型和数量。
进一步的，所述对目标进行分类识别，为通过深度学习-YOLOV5算法进行检测，实现目标的分类识别。
进一步的，所述目标与位姿空间的相对信息，包括：
在位姿空间内的深度信息和在相机坐标系下的位置信息。
进一步的，所述分拣方法，还包括：
根据目标类别和与位姿空间的相对信息进行判断，获得最佳抓取框参数。
进一步的，所述根据目标类别和与位姿空间的相对信息进行判断，包括：
利用蚁群算法规划出移动机械臂抓取的最短路径；
利用蚁群算法规划出多工位点间移动的最短路径。
进一步的，所述执行抓取，包括：
控制单元接收并获取抓取参数或抓取框参数后，控制机械臂自动完成分拣任务。
上述基于图像识别的垃圾分拣方法，通过获取目标空间场景图像，解算目标与位姿空间的相对信息，经相机坐标系和机械臂坐标系的转换得到机械臂的抓取参数，并执行抓取，无需人工介入即可实现对瓶罐类垃圾进行自动分拣。减少了工人与回收垃圾的接触，有效的改善了工人的工作环境。
附图说明
图1为基于图像识别的垃圾分拣方法的流程示意图；
图2为执行瓶罐类垃圾分拣的设备结构示意图。
图中：100、基座；200、机械臂；300、夹爪；400、工业摄像头。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，一种基于图像识别的垃圾分拣方法，该方法包括以下步骤：
步骤S110、采集并处理目标空间场景图像；
步骤S120、建立位姿空间，解算目标与位姿空间的相对信息；
步骤S130、通过相机坐标系和机械臂坐标系的转换得到机械臂的抓取参数，并执行抓取。
上述基于图像识别的垃圾分拣方法，通过获取目标空间场景图像，解算目标与位姿空间的相对信息，经相机坐标系和机械臂坐标系的转换得到机械臂的抓取参数，并执行抓取，无需人工介入即可实现对瓶罐类垃圾进行自动分拣。减少了工人与回收垃圾的接触，有效的改善了工人的工作环境。并且该分拣方法具有操作简便、故障率低、能耗低等优点，在工业流水线中也具有很高的移植性和扩展性。
在本实施例中，采集目标空间场景图像，包括：
实时采集工作区域的图像；
实时采集目标的空间场景图像。
在本实施例中，处理目标空间场景图像，包括：
对目标进行分类识别；
获取目标的类型和数量。
在本实施例中，对目标进行分类识别为通过深度学习-YOLOV5算法进行检测，实现目标的分类识别。通过深度学习-YOLOV5算法进行目标检测，使得机械臂即使在有光照变化、物体摆放位置不固定等情况下，同样可以快速、准确、稳定的检测并定位处目标物体的类型、位置等信息，克服了现有机械臂目标识别率低、抓取速度慢等不足。
在本实施例中，目标与位姿空间的相对信息，包括：
在位姿空间内的深度信息和在相机坐标系下的位置信息。
在本实施例中，分拣方法，还包括：
根据目标类别和与位姿空间的相对信息进行判断，获得最佳抓取框参数。
在本实施例中，根据目标类别和与位姿空间的相对信息进行判断，包括：
利用蚁群算法规划出移动机械臂抓取的最短路径；
利用蚁群算法规划出多工位点间移动的最短路径。
通过利用多种蚁群算法，根据自适应函数不断调整机械臂的旋转角度，在最短的时间内规划出机械臂抓取的最短路径，得到最佳抓取框参数，有效提高了机械臂抓取目标的速度。
在本实施例中，执行抓取，包括：
控制单元接收并获取抓取参数或抓取框参数后，控制机械臂自动完成分拣任务
如图2所示，在本实施例中，实施上述方法的装置包括基座100、机械臂200、夹爪300和工业摄像头400。基座100安装在传送带旁的固定位置，机械臂200可采用工业六轴机械臂200，且机械臂200安装在基座100上，夹爪300安装在机械臂200上，两个工业摄像头400分别安装在传送带两边的上方，上位机与机械臂200相连，用于操作机械臂200的抓取作业。
上述机械臂200与工业摄像头400结合，得到的目标垃圾的空间场景图像输入到上位机控制系统中，通过解算系统，获取目标与位姿空间的相对信息，然后生成最优控制指令来操纵机械臂200，通过机械臂200前端夹爪300来抓取目标物体。
其中机械臂200前端的夹爪300上安装有缓冲垫，在起到防滑作用的同时防止机械臂200夹碎玻璃类瓶罐垃圾。
上述基于图像识别的垃圾分拣方法，通过工业摄像头400所呈现的视觉定位模块和机器人夹爪300所呈现的抓取模块相互控制，真正意义上实现了目标垃圾的自动化分拣。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于图像识别的垃圾分拣方法，其特征在于，所述方法包括：
采集并处理目标空间场景图像；
建立位姿空间，解算目标与位姿空间的相对信息；
通过相机坐标系和机械臂坐标系的转换得到机械臂的抓取参数，并执行抓取。
2.根据权利要求1所述的基于图像识别的垃圾分拣方法，其特征在于，所述采集目标空间场景图像，包括：
实时采集工作区域的图像；
实时采集目标的空间场景图像。
3.根据权利要求1所述的基于图像识别的垃圾分拣方法，其特征在于，所述处理目标空间场景图像，包括：
对目标进行分类识别；
获取目标的类型和数量。
4.根据权利要求3所述的基于图像识别的垃圾分拣方法，其特征在于，所述对目标进行分类识别，为通过深度学习-YOLOV5算法进行检测，实现目标的分类识别。
5.根据权利要求1所述的基于图像识别的垃圾分拣方法，其特征在于，所述目标与位姿空间的相对信息，包括：
在位姿空间内的深度信息和在相机坐标系下的位置信息。
6.根据权利要求1所述的基于图像识别的垃圾分拣方法，其特征在于，所述分拣方法，还包括：
根据目标类别和与位姿空间的相对信息进行判断，获得最佳抓取框参数。
7.根据权利要求6所述的基于图像识别的垃圾分拣方法，其特征在于，所述根据目标类别和与位姿空间的相对信息进行判断，包括：
利用蚁群算法规划出移动机械臂抓取的最短路径；
利用蚁群算法规划出多工位点间移动的最短路径。
8.根据权利要求6所述的基于图像识别的垃圾分拣方法，其特征在于，所述执行抓取，包括：
控制单元接收并获取抓取参数或抓取框参数后，控制机械臂自动完成分拣任务。
CN202111490126.8A 2021-12-08 2021-12-08 基于图像识别的垃圾分拣方法 Pending CN114192447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111490126.8A CN114192447A (zh) 2021-12-08 2021-12-08 基于图像识别的垃圾分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111490126.8A CN114192447A (zh) 2021-12-08 2021-12-08 基于图像识别的垃圾分拣方法

Publications (1)

Publication Number Publication Date
CN114192447A true CN114192447A (zh) 2022-03-18

Family

ID=80651132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111490126.8A Pending CN114192447A (zh) 2021-12-08 2021-12-08 基于图像识别的垃圾分拣方法

Country Status (1)

Country Link
CN (1) CN114192447A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115026015A (zh) * 2022-06-10 2022-09-09 东北大学 一种基于图像处理的地面垃圾检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626117A (zh) * 2020-04-22 2020-09-04 杭州电子科技大学 基于目标检测的垃圾分拣系统及方法
CN112845143A (zh) * 2021-03-04 2021-05-28 广州大学华软软件学院 一种生活垃圾分类智能分拣系统及方法
CN113183138A (zh) * 2021-04-26 2021-07-30 上海锵玫人工智能科技有限公司 一种垃圾搬运分拣机器人及其控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626117A (zh) * 2020-04-22 2020-09-04 杭州电子科技大学 基于目标检测的垃圾分拣系统及方法
CN112845143A (zh) * 2021-03-04 2021-05-28 广州大学华软软件学院 一种生活垃圾分类智能分拣系统及方法
CN113183138A (zh) * 2021-04-26 2021-07-30 上海锵玫人工智能科技有限公司 一种垃圾搬运分拣机器人及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115026015A (zh) * 2022-06-10 2022-09-09 东北大学 一种基于图像处理的地面垃圾检测系统

Similar Documents

Publication Publication Date Title
JP5806301B2 (ja) ロボットシステムにおける物理的な物体の選択のための方法
WO2017015898A1 (zh) 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法
CN111626117B (zh) 基于目标检测的垃圾分拣系统及方法
CN112845143A (zh) 一种生活垃圾分类智能分拣系统及方法
CN103934211A (zh) 基于立体视觉的产品三维尺寸分拣系统
CN105234951A (zh) 一种智能化引导式机械手视觉系统及其工作方法
CN102529019A (zh) 一种模具检测、保护及零件检测、摘取的方法
CN113334368A (zh) 一种垃圾分类装置及分类方法
CN114192447A (zh) 基于图像识别的垃圾分拣方法
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
WO2024055796A1 (zh) 一种缺陷检测系统、方法、装置、电子设备及存储介质
CN101696877A (zh) 机器视觉系统对弹簧垂直度的在线检测方法
CN101726265A (zh) 机器视觉系统对弹簧平行度的在线检测方法
CN114346821A (zh) 一种工件加工方法、系统及可读存储介质
CN111871864A (zh) 分拣装置及方法
Moirogiorgou et al. Intelligent robotic system for urban waste recycling
Gao et al. An automatic assembling system for sealing rings based on machine vision
Heger et al. Using data mining techniques to investigate the correlation between surface cracks and flange lengths in deep drawn sheet metals
CN107121063A (zh) 检测工件的方法
CN102495072A (zh) 机器视觉系统对输液导管瑕疵的自动检测方法
CN115608643A (zh) 工业互联网的工业检测方法及系统
CN208704994U (zh) 基于ccd视觉设备的手机自动跌落测试系统
US20200202178A1 (en) Automatic visual data generation for object training and evaluation
JP2021171842A (ja) 解体物の選別装置
CN112156992A (zh) 一种机器视觉教学创新平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination