CN111626117B - 基于目标检测的垃圾分拣系统及方法 - Google Patents

基于目标检测的垃圾分拣系统及方法 Download PDF

Info

Publication number
CN111626117B
CN111626117B CN202010321347.1A CN202010321347A CN111626117B CN 111626117 B CN111626117 B CN 111626117B CN 202010321347 A CN202010321347 A CN 202010321347A CN 111626117 B CN111626117 B CN 111626117B
Authority
CN
China
Prior art keywords
mechanical arm
garbage
data
max
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010321347.1A
Other languages
English (en)
Other versions
CN111626117A (zh
Inventor
黄鸿飞
张桦
吴以凡
蒋世豪
姚王泽
谭云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010321347.1A priority Critical patent/CN111626117B/zh
Publication of CN111626117A publication Critical patent/CN111626117A/zh
Application granted granted Critical
Publication of CN111626117B publication Critical patent/CN111626117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明公开了一种基于目标检测的垃圾分拣系统及方法。本发明包括垃圾分类目标检测模型、机械臂、工业相机、服务器以及传送带；所述的垃圾分类目标检测模型由YOLOV3神经网络模型，通过带标注的数据集进行训练，然后再通过交叉验证集不断调试训练后的YOLOV3神经网络模型，用测试集测试调试后的最终模型，达到指标后的模型保即为垃圾分类目标检测模型。所述的带标注的数据集，使用图像采集设备，在垃圾处理站实地采集真实场景的垃圾图片，并对垃圾图片中的垃圾类别进行标注，标记为[x_min,y_min,x_max,y_max]以及该垃圾的类别classes_id。所述的服务器与机械臂、工业相机相连接后分别创建线程；本发明实现垃圾分拣生产线智能化、无人化的目标。

Description

基于目标检测的垃圾分拣系统及方法
技术领域
本发明通过机器视觉的目标检测技术，提供基于一种目标检测的垃圾分拣系统及方法。本发明结合工业机器人实现对真实垃圾处理厂环境中的固废垃圾进行自动分拣，以提高垃圾的处理质量和工作效率，实现对固废垃圾的高效回收。
背景技术
保护环境,提高资源利用率是我国一直贯彻的方针,垃圾是未被利用的矿藏,其中具有巨大的资源潜力,今天的废物可能成为明天的资源。国外对于垃圾分拣机器人起步较早，目前已经有多款产品问世，如美国的MAX-AI；国内暂时没有厂家开展类似用于生活垃圾分拣智能机器人系统的研发。
发明内容
本发明的是一个基于目标检测的垃圾分拣系统及方法，重点针对复杂环境下的目标分类识别技术和视觉辨识技术与工业机械臂实时配合的控制技术。
为了实现上述目的，本发明采用的技术方案如下：
基于目标检测的垃圾分拣系统，包括垃圾分类目标检测模型、机械臂、工业相机、服务器以及传送带；
所述的垃圾分类目标检测模型由YOLOV3神经网络模型，通过带标注的数据集进行训练，然后再通过交叉验证集不断调试训练后的YOLOV3神经网络模型，用测试集测试调试后的最终模型，达到指标后的模型保即为垃圾分类目标检测模型。
所述的带标注的数据集，使用图像采集设备，在垃圾处理站实地采集真实场景的垃圾图片，并对垃圾图片中的垃圾类别进行标注，标注的垃圾类别包括瓶子、塑料、金属、有害物品、填埋焚烧和纸类；以垃圾图片的左上角的点为原点[0,0],向右为正的X轴，向下为正Y轴，数据标注的格式为一张垃圾图片对应一个XML文件，显示在垃圾图片上为每个垃圾用一个矩形框标注，XML文件记录了矩形框的左上角和右下角的坐标，标记为[x_min,y_min,x_max,y_max]以及该垃圾的类别classes_id。
所述的机械臂、工业相机、服务器以及传送带均为工业现有产品；
所述的服务器与机械臂、工业相机相连接后分别创建线程；其中服务器为每个机械臂建立检测线程，即为机械臂1建立线程1，机械臂2建立线程2；
如图1所示，机械臂设置为2个，或多个，根据实际需求进行添加；工业相机设置在机械臂的一侧，距离机械臂1为S1，距离机械臂2为S2；且服务器通过线程直接调用工业相机的sdk获取传送带上的实时图像；服务器将获取图像作为垃圾分类目标检测模型的输入图片；垃圾分类目标检测模型将输入图片的位置信息、类别信息输出，并以[x_min,y_min,x_max,y_max,t,classes_id]的格式压入到存储在服务器的数据队列中。每个机械臂通过线程不断扫描服务器中数据队列的数据，即机械臂1、2两个线程不断扫描数据队列的数据，机械臂根据读取的数据完成抓取，并根据数据中的类别信息放入到指定的回收物品框。
所述的机械臂的型号为LeArm；品牌为幻尔；生产企业:深圳市幻尔科技有限公司；STM32单片机版本；
基于目标检测的垃圾分拣方法，具体包括如下步骤：
步骤1：进行数据采集与标注，获取带标注的数据集。
使用图像采集设备，在垃圾处理站实地采集真实场景的垃圾图片，并对垃圾图片中的垃圾类别进行标注，标注的垃圾类别包括瓶子、塑料、金属、有害物品、填埋焚烧和纸类，瓶子包括各种形状的塑料瓶，例如压扁塑料瓶，颜色污染塑料瓶等，有害物品包含废弃药品，pcb板等，纸类包括书本，纸箱等。以垃圾图片的左上角的点为原点[0,0],向右为正的X轴，向下为正Y轴，数据标注的格式为一张垃圾图片对应一个XML文件，显示在垃圾图片上为每个垃圾用一个矩形框标注，XML文件记录了矩形框的左上角和右下角的坐标，标记为[x_min,y_min,x_max,y_max]以及该垃圾的类别classes_id。
所述的图像采集设备为现有设备，包括相机。
步骤2：模型的训练
将带有标注的数据集分为训练集、交叉验证集和测试集，用训练集去训练YOLOV3神经网络模型，通过交叉验证集不断调试YOLOV3神经网络模型，获得调试后的最终模型；最后用测试集测试最终模型的效果，达到指标后将该最终模型保存下来，得到所需的垃圾分类目标检测模型。
步骤3：图像获取与目标检测
如图1所示，通过工业相机抓取传送带上的垃圾获取图像，并传送到服务器的垃圾分类目标检测模型中，模型对图像提取特征后给出目标的类别classes_id和位置时间信息[x_min,y_min,x_max,y_max,t]，然后将位置信息、类别信息以[x_min,y_min,x_max,y_max,t,classes_id]的格式压入到队列中。
所述的YOLOV3神经网络模型具备对图像进行提取特征的功能。
步骤4：多机械臂协同抓取
采用多机械臂协同技术。多个机械臂进程在静止状态不断检测数据队列是否存在信息，当数据队列存在数据时，读取一组数据，并将这组数据出队，得到的位置信息后，结合传送带的速度与机械臂和相机之间的距离,进行机械臂的控制和抓取，并根据读取的数据类别放入到指定的回收物品框中。
本发明的有益效果如下：
本发明主要应用了目标分类识别技术和视觉辨识技术与工业机械臂实时配合的控制技术。
本发明其依靠的工业相机以及目标检测模型，基于机器视觉理论，通过当前识别率突出的神经网络技术的应用，并改进了针对复杂背景下的目标检测算法。来对垃圾进行分类识别，实现对生活垃圾的自动分类与回收。
此外，本发明针对多目标在移动生产线上的垃圾分拣需求，应用现场总线还实施时钟同步技术，对多台机械臂通过线程进行协同控制，即应用了多臂协同控制，实现以单个检测单元控制多个执行单元协同作业，达到对分拣目标最大效率的分拣。
本发明不仅有助于进行垃圾分类与回收，省下大量人力与资金，还增大了容错率，使垃圾分类更为清晰高效，实现垃圾分拣生产线智能化、无人化的目标。
附图说明
图1是垃圾分拣系统场景图。
图2本系统运行的构架图。
图3是系统运行的时序图。
图4为标注示例
图5为获取一个有效的检测数据过程图
图6为多机械臂协同运行模式图
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，本图展示了垃圾分拣的场景，在流水线上，物体不断地通过，传送带速度为v,工业相机安装在传送带上方，相机视野大小为W*L，传送带两侧安装了2台或者多台机械臂，工业相机与两台机械臂之间距离分别为S1,S2。
如图2所示，本图展示了垃圾分拣的架构图，首先工业相机获取图像数据，经过垃圾分类目标检测模型识别后，得到了当前物体的类别信息和位置信息，将识别物体的类别信息和位置信息给插入到数据队列里，机械臂通过读取队列中的数据进行抓取操作。
如图3所示，该图为系统时序图，以垃圾分类目标检测模型在识别到物体之后将数据不断的插入到数据队列中，空闲的机械臂1读取数据队列的数据并进行抓取操作，在抓取期间内不再从队列中读取数据，队列将机械臂1读取的数据出队，当新数据插入时，机械臂2读取数据并进行读取操作，机械臂1抓取结束后进入空闲状态，当队列有数据时判断是否能抓取，当可以抓取时马上读取数据进行抓取。
图4为标注案例：以图片的左上角的点为原点[0,0],向右为正的X轴，向下为正Y轴，数据标注的格式为一张图片对应一个XML文件，显示在图片上为每个物体用一个矩形框标注，XML文件记录了矩形框的左上角和右下角的坐标，标记为[x_min,y_min,x_max,y_max]以及该物体的类别classes_id。
图5为获取一个有效的检测框的过程，当一个物体在传送带运动的时候，进入到视野时，会采集到它的图像，给出其检测信息，但是它会在一段时间内一直存在这个视野内，所以需要给出一个有效的不重复的检测信息，基本的场景如下：视野的左上角为原点[0,0]，向右为X轴方向，向下为Y轴方向。判断过程如下：ob1p1,ob1p2,ob1p3分别为物体ob1在传送带不同时刻的位置p1,p2,p3,当物体ob1在p1时已经检测到，其信息为[x1_min,y1_min,x1_max,y1_max,t,classes_id],当前的检测框会与下一时刻的图片的检测数据相结合，令ob1在p2检测的数据为[x2_min,y2_min,x2_max,y2_max,t,classes_id],可以将[y1_min,y1_max]和[y2_min,y2_max]比较，当他们的差值在设定范围内时，那么可以认为这是同一个物体，比较x1_max-x1_min与x2_max-x2_min，当差值在设定范围内可以认为是ob1仍在视野里，当物体运动到p3时，x3_max-x3_min开始发生变化，此时可以认为ob1即将离开视野，将该检测信息[x3_min,y3_min,x3_max,y3_max,t,classes_id]插入到数据队列中去，即该检测框是一个有效的检测框。
图6为多机械臂协同运作模式图，设传送带的速度为v，定义机械臂参数：抓取范围为[-z,z]，正向为朝向工业相机的方向，完成一个完整的抓取动作时间为ΔT,机械臂进行往下抓取的时间约为ΔX,那么可知物体在[-z+v*ΔX,z+ΔX]位置时，机械臂开始运动都可以抓取到,假定机械臂每次抓取完恢复最初状态。机械臂1，2两个线程不断扫描数据队列的数据，根据当前时间和物体离开相机视野的时间以及传送带速度v来判断是否可抓取。设ob1,ob2两个物体刚要离开相机视野的时间为t1和t2，，其位置信息和类别信息已经进入到了队列中，然后随着传送带的传输离机械臂距离变小，假设此时时间T＝t3,那么o1,o2距离机械臂1的距离为S1-v*(t3-t1),S1-v*(t3-t2),那么o1,o2距离机械臂2的距离为S2-v*(t3-t1),S2-v*(t3-t2),在某个时刻t4,当物体ob1进入到了[-z+v*ΔX,z+ΔX]的抓取范围时，机械臂1开始读取物体ob1的数据,(注意，读取数据的时候加入互斥锁，保证同时只有一个线程在读取操作数据队列)并将物体ob1的数据出队，此时在ΔT时间内机械臂1线程不会去读取数据，只剩下机械臂2扫描数据队列；进行抓取时，由于读取的ob1离开视野的时间为t1,那么在当前t4时刻，距离机械臂s1的位置为S1-v*(t4-t1)，由于机械臂向下的抓取时间为ΔX,那么机械臂在这次抓取的落点坐标应该是[S1-v*(t4-t1+ΔX)+(x1_max-x1_min)/2,(y1_max-y1_min)/2+y1_min]。在某个时刻t5，当物体2距机械臂1，机械臂2范围为[-z+v*ΔX,z+ΔX]，若t5>t4+ΔT时，机械臂1抓取完毕，那么此时机械臂1，2都为空闲状态，任意一个机械臂线程都可以加锁去操作数据队列,当t5<ΔT+t4,则机械臂2进行加锁读取并抓取操作，坐标位置可按照之前机械臂1的方式得到，当物体ob3到达抓取范围时，若机械臂空闲，则机械臂可以进行抓取，若机械臂处于抓取状态，则可增加机械臂来抓取，这表明，这套系统的机械臂可以进行协同操作。

Claims (3)

1.基于目标检测的垃圾分拣系统的实现方法，其特征在于包括如下步骤：
步骤1：进行数据采集与标注，获取带标注的数据集；
使用图像采集设备，在垃圾处理站实地采集真实场景的垃圾图片，并对垃圾图片中的垃圾类别进行标注，标注的垃圾类别包括瓶子、塑料、金属、有害物品、填埋焚烧和纸类；以垃圾图片的左上角的点为原点[0,0],向右为正的X轴，向下为正Y轴，数据标注的格式为一张垃圾图片对应一个XML文件，显示在垃圾图片上为每个垃圾用一个矩形框标注，XML文件记录了矩形框的左上角和右下角的坐标，标记为[x_min,y_min,x_max,y_max]以及该垃圾的类别classes_id；
步骤2：模型的训练
将带有标注的数据集分为训练集、交叉验证集和测试集，用训练集去训练YOLOV3神经网络模型，通过交叉验证集不断调试YOLOV3神经网络模型，获得调试后的最终模型；最后用测试集测试最终模型的效果，达到指标后将该最终模型保存下来，得到所需的垃圾分类目标检测模型；
步骤3：图像获取与目标检测
通过工业相机抓取传送带上的垃圾获取图像，并传送到服务器的垃圾分类目标检测模型中，模型对图像提取特征后，给出目标的类别classes_id和位置时间信息[x_min,y_min,x_max,y_max,t]，然后将位置信息、类别信息以[x_min,y_min,x_max,y_max,t,classes_id]的格式压入到队列中；
步骤4：多机械臂协同抓取
当机械臂1和机械臂2处于空闲状态时，机械臂1和机械臂2的线程在不断检测数据队列是否存在数据，当数据队列存在数据时，读取一组数据，并将这组数据出队，得到该组数据的位置信息后，结合传送带的速度与机械臂和相机之间的距离,进行机械臂的控制和抓取，并根据读取的类别信息放入到指定的回收物品框中；
所述的步骤3具体实现如下：
工业相机为获取一个有效的检测框的过程如下：
当一个物体在传送带运动时，当该物体刚进入到工业相机视野时，工业相机会采集它的图像，给出其位置信息和类别信息；但该物体在一段时间内会一直存在这个视野内，因此需要给出一个有效的不重复的位置信息和类别信息，基本的场景如下：设视野的左上角为原点[0,0]，向右为X轴方向，向下为Y轴方向，判断过程如下：ob1p1,ob1p2,ob1p3分别为物体ob1在传送带不同时刻的位置p1,p2,p3,当物体ob1在p1位置时已经检测到，其信息为[x1_min,y1_min,x1_max,y1_max,t,classes_id],当前的检测框会与下一时刻的图片的检测数据相结合，令ob1在p2位置时检测的数据为[x2_min,y2_min,x2_max,y2_max,t,classes_id],对[y1_min,y1_max]和[y2_min,y2_max]进行比较，当比较的差值在设定范围内时，则认为这是同一个物体，然后比较x1_max-x1_min与x2_max-x2_min，当比较的差值在设定范围内则认为ob1仍在视野里；当物体运动到p3时，x3_max-x3_min开始发生变化，此时认为ob1即将离开视野，将该检测信息[x3_min,y3_min,x3_max,y3_max,t,classes_id]插入到数据队列中去，即该检测框是一个有效的检测框；
所述的步骤4具体实现如下：
设传送带的速度为v，定义机械臂抓取范围为[-z,z]，正向为朝向工业相机的方向，完成一个完整的抓取动作时间为ΔT,机械臂进行往下抓取的时间为ΔX,那么可知物体在[-z+v*ΔX,z+ΔX]位置时，机械臂开始运动都能够抓取到；
假定机械臂每次抓取完恢复最初状态，且机械臂1和机械臂2两个线程不断扫描数据队列的数据，根据当前时间和物体离开相机视野的时间以及传送带速度v来判断是否可抓取；设ob1,ob2两个物体刚要离开相机视野的时间为t1和t2，其位置信息和类别信息已经进入到了数据队列中，然后随着传送带的传输离机械臂距离变小，设此时时间T＝t3,那么ob1,ob2距离机械臂1的距离分别为S1-v*(t3-t1),S1-v*(t3-t2),那么ob1,ob2距离机械臂2的距离为S2-v*(t3-t1),S2-v*(t3-t2),在某个时刻t4,当物体ob1进入到了[-z+v*ΔX,z+ΔX]的抓取范围时，机械臂1开始读取物体ob1的数据,并将物体ob1的数据出队，此时在ΔT时间内机械臂1线程不会去读取数据，只剩下机械臂2扫描数据队列；且读取数据的时候加入互斥锁，保证同时只有一个线程在读取操作数据队列；进行抓取时，ob1离开视野的时间为t1,那么在当前t4时刻，距离机械臂s1的位置为S1-v*(t4-t1)，由于机械臂向下的抓取时间为ΔX,那么机械臂在这次抓取的落点坐标是[S1-v*(t4-t1+ΔX)+(x1_max-x1_min)/2,(y1_max-y1_min)/2+y1_min]；在某个时刻t5，当物体ob2距机械臂1，机械臂2范围为[-z+v*ΔX,z+ΔX]，若t5≥t4+ΔT时，机械臂1抓取完毕，那么此时机械臂1和2都为空闲状态，任意一个机械臂线程都能够加锁去操作数据队列,当t5<ΔT+t4,则机械臂2进行加锁读取并抓取操作，坐标位置可按照之前机械臂1的方式得到。
2.根据权利要求1所述的基于目标检测的垃圾分拣系统的实现方法，其特征在于当物体ob3到达抓取范围时，若机械臂1和2均空闲，则任意一个机械臂线程都能够加锁去操作数据队列；若机械臂1和2均处于抓取状态，则能够通过增加机械臂来抓取，实现多个机械臂协同操作。
3.根据权利要求1所述的基于目标检测的垃圾分拣系统的实现方法，其特征在于其中基于目标检测的垃圾分拣系统，包括垃圾分类目标检测模型、机械臂、工业相机、服务器以及传送带；
所述的垃圾分类目标检测模型由YOLOV3神经网络模型，通过训练集进行训练，然后再通过交叉验证集不断调试训练后的YOLOV3神经网络模型，用测试集测试调试后的最终模型，达到指标后的模型即为垃圾分类目标检测模型；
所述的训练集、交叉验证集和测试集组成带标注的数据集；
所述的带标注的数据集，使用图像采集设备，在垃圾处理站实地采集真实场景的垃圾图片，并对垃圾图片中的垃圾类别进行标注，标注的垃圾类别包括瓶子、塑料、金属、有害物品、填埋焚烧和纸类；以垃圾图片的左上角的点为原点[0,0],向右为正的X轴，向下为正Y轴，数据标注的格式为一张垃圾图片对应一个XML文件，显示在垃圾图片上为每个垃圾用一个矩形框标注，XML文件记录了矩形框的左上角和右下角的坐标，标记为[x_min,y_min,x_max,y_max]以及该垃圾的类别classes_id；
所述的服务器与机械臂、工业相机相连接后分别创建线程；其中服务器为每个机械臂建立检测线程，即为机械臂1建立线程1，机械臂2建立线程2；
工业相机设置在机械臂的一侧，距离机械臂1为S1，距离机械臂2为S2；服务器通过线程直接调用工业相机的sdk获取传送带上的实时图像；服务器将获取的图像作为垃圾分类目标检测模型的输入图片；垃圾分类目标检测模型将输入图片的位置信息、类别信息输出，并以[x_min,y_min,x_max,y_max,t,classes_id]的格式压入到存储在服务器的数据队列中；
机械臂1、机械臂2的两个线程不断扫描服务器中数据队列的数据，机械臂根据读取的数据,调用机械臂的SDK得到抓取的参数信息，最后将这些参数信息写入到机械臂主板中，控制机械臂完成抓取，并根据数据中的类别信息放入到指定的回收物品框。
CN202010321347.1A 2020-04-22 2020-04-22 基于目标检测的垃圾分拣系统及方法 Active CN111626117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010321347.1A CN111626117B (zh) 2020-04-22 2020-04-22 基于目标检测的垃圾分拣系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010321347.1A CN111626117B (zh) 2020-04-22 2020-04-22 基于目标检测的垃圾分拣系统及方法

Publications (2)

Publication Number Publication Date
CN111626117A CN111626117A (zh) 2020-09-04
CN111626117B true CN111626117B (zh) 2023-04-18

Family

ID=72260050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010321347.1A Active CN111626117B (zh) 2020-04-22 2020-04-22 基于目标检测的垃圾分拣系统及方法

Country Status (1)

Country Link
CN (1) CN111626117B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110949991A (zh) * 2020-01-03 2020-04-03 佛亚智能装备（苏州）有限公司 一种多工位检测物料输送及电路控制方法
CN112248021B (zh) * 2020-09-29 2022-10-21 北海职业学院 一种基于机器人控制气动卡盘夹取设备
CN112215131A (zh) * 2020-10-10 2021-01-12 李睿宸 一种自动垃圾拾取系统及其手动操作和自动拾取方法
CN112232246A (zh) * 2020-10-22 2021-01-15 深兰人工智能(深圳)有限公司 基于深度学习的垃圾检测分类方法和装置
CN112329849A (zh) * 2020-11-04 2021-02-05 中冶赛迪重庆信息技术有限公司 基于机器视觉的废钢料场卸料状态识别方法、介质及终端
CN113083703A (zh) * 2021-03-10 2021-07-09 浙江博城机器人科技有限公司 一种基于无人导航的垃圾分拣机器人的控制方法
CN113128363A (zh) * 2021-03-31 2021-07-16 武汉理工大学 一种基于机器视觉的生活垃圾分拣系统及方法
CN113688825A (zh) * 2021-05-17 2021-11-23 海南师范大学 一种ai智能垃圾识别分类系统和方法
CN114192447A (zh) * 2021-12-08 2022-03-18 上海电机学院 基于图像识别的垃圾分拣方法
CN114429573B (zh) * 2022-01-10 2024-09-06 华侨大学 一种基于数据增强的生活垃圾数据集生成方法
CN115447924A (zh) * 2022-09-05 2022-12-09 广东交通职业技术学院 基于机器视觉的垃圾分类分拣方法、系统、装置及介质
CN116342895B (zh) * 2023-05-31 2023-08-11 浙江联运知慧科技有限公司 基于ai处理的提升再生资源分拣效率的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0706838A1 (fr) * 1994-10-12 1996-04-17 PELLENC (Société Anonyme) Machine et procédé pour le tri d'objets divers à l'aide d'au moins un bras robotisé
US6124560A (en) * 1996-11-04 2000-09-26 National Recovery Technologies, Inc. Teleoperated robotic sorting system
CN110624857A (zh) * 2019-10-21 2019-12-31 广东弓叶科技有限公司 物件类别识别方法及分拣设备
CN110909660A (zh) * 2019-11-19 2020-03-24 佛山市南海区广工大数控装备协同创新研究院 一种基于目标检测的塑料瓶检测与定位方法
CN111003380A (zh) * 2019-12-25 2020-04-14 深圳蓝胖子机器人有限公司 一种智能回收垃圾的方法、系统、设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0706838A1 (fr) * 1994-10-12 1996-04-17 PELLENC (Société Anonyme) Machine et procédé pour le tri d'objets divers à l'aide d'au moins un bras robotisé
US6124560A (en) * 1996-11-04 2000-09-26 National Recovery Technologies, Inc. Teleoperated robotic sorting system
CN110624857A (zh) * 2019-10-21 2019-12-31 广东弓叶科技有限公司 物件类别识别方法及分拣设备
CN110909660A (zh) * 2019-11-19 2020-03-24 佛山市南海区广工大数控装备协同创新研究院 一种基于目标检测的塑料瓶检测与定位方法
CN111003380A (zh) * 2019-12-25 2020-04-14 深圳蓝胖子机器人有限公司 一种智能回收垃圾的方法、系统、设备

Also Published As

Publication number Publication date
CN111626117A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111626117B (zh) 基于目标检测的垃圾分拣系统及方法
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN108229665A (zh) 一种以深度卷积神经网络为基础的零件分拣系统
CN111015662B (zh) 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN112845143A (zh) 一种生活垃圾分类智能分拣系统及方法
CN101912847B (zh) 基于dsp机器视觉的水果分级系统及方法
CN111715559A (zh) 一种基于机器视觉的垃圾分拣系统
CN206132657U (zh) 一种基于机器视觉的烫金质量智能检测系统
CN102837406A (zh) 基于fast-9图像特征快速配准算法的模具监视方法
CN104647388A (zh) 基于机器视觉的工业机器人智能控制方法及系统
CN112102368A (zh) 一种基于深度学习的机器人垃圾分类分拣方法
CN111590611A (zh) 一种基于多模态主动感知的物品分类回收方法
CN208092786U (zh) 一种以深度卷积神经网络为基础的零件分拣系统
CN104299246A (zh) 基于视频的生产线物品部件运动检测与跟踪方法
CN111144480A (zh) 一种可回收垃圾视觉分类方法、系统、设备
CN113971746B (zh) 基于单次人手示教的垃圾分类方法、装置及分拣智能系统
CN117474886A (zh) 一种陶瓷杯缺陷检测方法及系统
CN112156992A (zh) 一种机器视觉教学创新平台
CN103914186A (zh) 图像定位识别系统
CN103148783B (zh) 一种气门摇臂安装位置的自动检测方法
CN113420839B (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
CN114192447A (zh) 基于图像识别的垃圾分拣方法
CN112150507B (zh) 一种物体姿态和位移的3d模型同步重现方法及系统
CN109409453A (zh) 一种封箱机缺条追溯系统及其举证方法
JP2965886B2 (ja) 被識別物の選別装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant