CN113469264A - 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统 - Google Patents

一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统 Download PDF

Info

Publication number
CN113469264A
CN113469264A CN202110796264.2A CN202110796264A CN113469264A CN 113469264 A CN113469264 A CN 113469264A CN 202110796264 A CN202110796264 A CN 202110796264A CN 113469264 A CN113469264 A CN 113469264A
Authority
CN
China
Prior art keywords
garbage
target
tracking
image
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110796264.2A
Other languages
English (en)
Inventor
李庆
张洋
董雪
陈苑锋
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Tongqi Automation Technology Co ltd
Original Assignee
Nantong Tongqi Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Tongqi Automation Technology Co ltd filed Critical Nantong Tongqi Automation Technology Co ltd
Priority to CN202110796264.2A priority Critical patent/CN113469264A/zh
Publication of CN113469264A publication Critical patent/CN113469264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统，属于垃圾分类技术领域，获取多种垃圾在多种外部环境下的图像，对所述图像进行标记；将标记后的图像按比例分成训练集和测试集；获取YOLOv4网络结构中，对YOLOv4网络的分支网络中添加注意力机制模块生成目标网络结构；依次通过所述训练集、所述测试集对所述目标网络结构进行训练、测试，生成垃圾自动分类模型。本发明还进一步公开了使用该分类模型的垃圾分拣方法和系统。本发明通过小样本训练实现了高精度分类，并通过多目标跟踪和角度计算，实现了可回收垃圾的自动分拣，提高了工作效率，具有良好的社会效益和经济效益。

Description

一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统
技术领域
本发明涉及垃圾分类识别领域，尤其涉及一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统。
背景技术
随着经济的不断发展和生活水平的提高，我国因为垃圾问题造成的社会相关矛盾不断增加，在城市垃圾分类回收以及资源管理上迫切需要得到有效的解决。城市垃圾分类回收以及资源管理无法有效解决，给市民的生活和生态环境保护都带来了众多的压力和困扰。当前垃圾处理的主要手段就是填埋和焚烧，垃圾填埋占用大量土地资源；垃圾焚烧则造成严重的空气污染，且投资消耗大。智能可回收垃圾分拣系统能高效地完成分拣任务、加快资源的回收利用。
世界上第一个机器人垃圾分拣系统是芬兰的ZenRobotics公司（ZenRoboticsLtd.）设计的，ZenRobotics垃圾分拣系统能够使用机械臂识别分拣出需要的固体垃圾。ZenRobotics分拣系统24小时持续工作的情况下能够处理约1000吨垃圾。ZenRobotics垃圾分拣系统中传感器包括：三维激光扫描仪，金属探测器，NIR-近红外光谱传感器，可见光谱传感器，高分辨率 RGB摄像头等。种类丰富的传感器结合深度学习算法为ZenRobotics提供了完善的感知信息，然而该垃圾分拣系统的传感器成本过高，限制了它的广泛应用。
基于深度学习的目标检测算法对于可回收垃圾领域的针对性研究不足，且数据集规模小，算法泛化性能对垃圾的视觉特征研究不充分等特性。对于数据驱动的深度学习算法，为了提高算法本身的泛化能力及识别性能，亟需建立一个大规模的可回收垃圾目标检测数据集以满足视觉算法的研究和实际可回收垃圾识别的需求。
分拣系统中的动态抓取比节拍式抓取效率高很多，而动态抓取的整个过程中传送带保持运动，容易漏抓和空抓。为了避免这种情况，必须对每个被检测到的物体进行ID分配和跟踪，其中SORT和DEEPSORT是当前主流的多目标跟踪算法，它们都基于卡尔曼滤波对物体运动进行预测，而一旦检测中某几帧漏检，就极易出现ID切换，从而导致机械臂抓取目标垃圾时候重复抓取，严重影响抓取效率。考虑到传送带上物体运动简单，物体本身形变少，且传送带本身作为背景比较简单，跟踪时间较短，基于视觉特征的跟踪方法更为适合当前应用场景。近年来，MOSSE、KCF及CN等相关滤波类算法表现突出，在速度及精度方面都获得了很好的表现。其中，KCF算法针对MOSSE算法中特征通道为单通道的缺点，使用HOG特征进行跟踪，并使用循环矩阵生成样本训练回归器，提高了训练样本量，并利用循环矩阵傅里叶变换对角化的性质大大降低了计算量,使跟踪速度达到实时。但基于视觉特征的单目标跟踪方法受外界光照等环境因素影响较大，在一些特定场景下的跟踪性能可能会大打折扣。因此，工业领域中跟踪的应用需要考虑现实场景选用合适的跟踪方法并对跟踪策略做出相应的调整和改进，才能获得良好的跟踪效果。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于视觉图像对垃圾进行分类的模型的构建方法，以及基于该方法构建的模型进行垃圾分拣的方法和系统。
本发明解决其技术问题所采用的技术方案是：一种垃圾自动分类模型的构建方法，包括，
获取多种垃圾在多种外部环境下的图像，对所述图像进行标记；
将标记后的图像按比例分成训练集和测试集；
获取YOLOv4网络结构中，对YOLOv4网络的分支网络中添加注意力机制模块生成目标网络结构；
依次通过所述训练集、所述测试集对所述目标网络结构进行训练、测试，生成垃圾自动分类模型。
优选地，所述图像的标记信息包括垃圾类别和图像中垃圾边框的左上角和右下角坐标。
优选地，所述对YOLOv4网络的分支网络中添加注意力机制的方法为：对YOLOv4的CSPDarknet53网络输出的多个通道，通过SENet模块进行加权处理，或使用CBAM模块对YOLOv4的CSPDarknet53网络输出的特征图进行像素的加权处理。
优选地，训练过程在Pytorch框架中进行训练，采用随机梯度训练模型更新YOLOv4网络的参数，批量大小设置为64，基础学习率为
Figure 605400DEST_PATH_IMAGE001
，动量为0.95，重量衰减为0.0005，进行50次完整训练。
一种垃圾分拣方法，包括，
通过传送带带动垃圾运行，获取传送带上的垃圾图像；
通过预训练的垃圾自动分类模型确定被跟踪的目标垃圾所属的类别；
对识别为可回收垃圾的目标垃圾进行多目标跟踪，对跟踪的目标垃圾顺序编号并确定编号对应的垃圾类别；
计算目标垃圾在图像中的坐标，并基于坐标变换获得目标垃圾相对执行器的角度信息；
在目标垃圾进入执行器的执行范围内时，根据分类结果将目标垃圾移动到对应的目的地。
优选地，所述多目标跟踪的方法如下：
构建用来放置目标垃圾的跟踪池，初始状态跟踪池为空；
将目标垃圾与跟踪池内的跟踪物体进行交并比IoU的计算；
如果跟踪池内的所有跟踪物体与目标垃圾的交并比均满足
Figure 828571DEST_PATH_IMAGE002
，
Figure 785157DEST_PATH_IMAGE003
为交并比阈值，将目标垃圾加入到跟踪池内，对目标垃圾编号，将目标垃圾的检测边界框作为该编号的跟踪边界框；
否则，查找跟踪池内与该目标垃圾的IoU数值最大的跟踪物体，将查找到的跟踪物体的跟踪边界框与该目标垃圾的检测边界框进行匹配；
通过匈牙利算法对检测边界框和跟踪边界框进行匹配，如果匹配成功，则
Figure 777384DEST_PATH_IMAGE004
，其中，i为跟踪物体对应的编号；
如果匹配失败且目标垃圾的跟踪边界超出跟踪范围，则删除当前跟踪目标
Figure 676070DEST_PATH_IMAGE005
，否则，令
Figure 386537DEST_PATH_IMAGE006
；
如果匹配失败且目标垃圾的跟踪边界未超出跟踪范，令
Figure 645349DEST_PATH_IMAGE007
，则删除当前跟踪目标
Figure 757661DEST_PATH_IMAGE005
。
优选地，：所述的计算目标垃圾相对执行器的角度信息的方法为：
对获取的图像使用矩形框进行裁剪分割为不同的个体；
将裁剪后的图像转化为灰度图，对灰度图进行中值滤波，消除图像噪点；
对灰度图进行图像二值化处理，将图像与背景分割；
对图像做形态学处理，先进行膨胀操作再进行腐蚀用，以使被黑色分割开的白色感兴趣区域联通；
如果裁剪后的灰度图上存在多个最小外接矩形，以与跟踪框的IoU值最大的外接矩形框作为最小外接矩形；
求解最小外接矩形在图像中的角度信息，通过坐标变换转化为执行器的角度信息。
优选地，所述执行器包括沿传送带行进方向依次设置的吸盘和六轴机器人。
优选地，通过RGB相机获取传送带上的垃圾图像。
一种垃圾自动分拣系统，包括，
图像获取模块，用于通过传送带驱动垃圾运行，获取传送带上的垃圾图像；
垃圾分类模块，用于使用垃圾自动分类模型确定被跟踪物体所属的类别；
多目标跟踪摸，用于对识别为可回收垃圾的目标垃圾进行多目标跟踪，对跟踪的目标垃圾顺序编号并确定编号对应的垃圾类别；
角度计算模块，用于计算目标垃圾在图像中的坐标，并基于坐标变换获得目标垃圾相对执行器的角度信息；
执行模块，用于在目标垃圾进入执行器的执行范围内时，根据分类结果将目标垃圾移动到对应的目的地。
与现有技术相比，本发明具有如下的有益效果：
1、垃圾分类模型训练过程中对YOLOv4算法添加注意力机制，通过训练策略的调整和数据增强，在小样本的情况下实现了准确的分类，避免了对YOLOv4网络结构的修改，提高了训练效率；
2、垃圾分拣中通过多目标跟踪、垃圾分类模型、以及角度变换等方法，实现对垃圾的跟踪、识别、分拣等全系列的过程，有效的实现了对可回收垃圾的分类回收，具有良好的社会效益和经济效益。
3、通过引入跟踪的目标垃圾寿命变量Age，降低了线程更新的频率，提高算法运行速度。
4、通过角度计算方便执行器调整角度和位置，提高分拣成功率；
5、通过吸盘和六轴机器人同时进行分拣，兼顾效率，又能降低漏拣量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例提供的垃圾自动分拣模型的构建方法流程图；
图2是本发明实施例提供的通过CBAM模块向YOLOv4添加注意力机制的示意图；
图3是本发明实施例提供的垃圾分拣方法流程图；
图4是本发明实施例提供的多目标跟踪方法的逻辑框图；
图5是本发明实施例提供的角度计算方法流程图；
图6是本发明实施例提供的角度计算方法的图片处理过程示意图；
图7是本发明实施例提供的垃圾分拣系统的组成图；
图8是本发明实施例提供的多目标跟踪方法的精确度曲线。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
如图1所示，本实施例提供一种垃圾自动分类模型的构建方法，包括，
S1：获取多种垃圾在多种外部环境下的图像，对所述图像进行标记；
由于现有技术中缺乏相关样本，本实施例中，在国内的多个垃圾分拣厂内的传送带上安装了摄像头，截取了大量的可回收垃圾的实景图片，为了保证模型的泛化能力，确保算法识别精度，本实施例采集了不同光照下的可回收垃圾图片，且涵盖的种类有三十多种，包括各种颜色的PET、HDPE、PP、PVC、金属可回收垃圾、织物、玻璃、纸类等可回收垃圾。
采集的图片分辨率为1920*1080，白天及夜晚两种不同光照条件下的数据各占50%，通过人工标记将数据集中的可回收垃圾分为13类，具体组成如下表。
Figure 561669DEST_PATH_IMAGE008
本实施例中总共收集了40000个样本数据，训练集和测试集的比例为4:1，在样本图像中，标定数据除所属类别外，还包括了图像中垃圾边框的左上角和右下角坐标。由于本实施例是在垃圾分拣厂内采集的，而织物、部分类别的塑料等垃圾相对较少，反映在数据集上就出现了不同类别的垃圾占比不同的情况，这一问题会导致深度学习中经常遇到的类别不均衡问题；对于占比较少的部分类别而言，一般的算法很难达到较高的识别精度，而这也正是本实施例的优势之一。
S2：将标记后的图像按比例分成训练集和测试集；
S3：获取YOLOv4网络结构中，对YOLOv4网络的分支网络中添加注意力机制模块生成目标网络结构；
添加注意力的方法为：对YOLOv4的CSPDarknet53网络输出的多个通道，通过SENet模块进行加权处理，或使用CBAM（Convolutional Block Attention Module）模块对YOLOv4的CSPDarknet53网络输出的特征图进行像素的加权处理。
参考图2，本实施例在YOLOv4的CSPDarknet53网络输出的不同分支添加注意力模块使网络具备对不同级别特征图进行信息整合的能力。且将CBAM模块/SENet（Squeeze-and-Excitation）模块放置在CSPDarknet53网络后避免了对其网络结构的修改，可以通过迁移学习使用官方提供的预训练权重进行训练、省去了在ImageNet等数据集上进行大规模数据预训练的时间、大大提高了训练效率，进而加快了模型部署的流程。
S4：在满足终止条件时，输出垃圾自动分类模型。
以上训练过程在Pytorch框架中进行训练，采用随机梯度训练模型更新YOLOv4网络的参数，批量大小设置为64，基础学习率为
Figure 713427DEST_PATH_IMAGE009
，动量为0.95，重量衰减为0.0005，进行50次完整训练。
通过训练策略的调整和数据增强手段，本实施例针对熟练较少的样本，获得了高精度的分类模型，有效的解决了样本差异的问题。
参考图3，本实施例还提供了一种垃圾分拣方法，包括
步骤M1：通过传送带驱动垃圾运行，获取传送带上的垃圾图像；
步骤M2：使用上述实施例提供的方法构建的垃圾自动分类模型确定被跟踪物体所属的类别；
步骤M3：对识别为可回收垃圾的目标垃圾进行多目标跟踪，对跟踪的目标垃圾顺序编号并确定编号对应的垃圾类别；
步骤M4：计算目标垃圾在图像中的坐标，并基于坐标变换获得目标垃圾相对执行器的角度信息；
步骤M5：在目标垃圾进入执行器的执行范围内时，根据分类结果将目标垃圾移动到对应的目的地。
本实施例提供的自动分拣方法，通过多目标跟踪、垃圾分类模型、以及角度变换等方法，实现对垃圾的跟踪、识别、分拣等全系列的过程，有效的实现了对可回收垃圾的分类回收，具有良好的社会效益和经济效益。
本实施例提供的垃圾分拣方法的详细过程如下：
步骤M1：通过传送带带动垃圾运行，获取传送带上的垃圾图像；
本实施例通过RGB相机获取垃圾图像，图像像素一般保持与样本像素相同，像素不同对分拣结果无显著影响。
步骤M2：通过预训练的垃圾自动分类模型确定被跟踪的目标垃圾所属的类别；
步骤M3：对识别为可回收垃圾的目标垃圾进行多目标跟踪，对跟踪的目标垃圾顺序编号并确定编号对应的垃圾类别；
参考图4，多目标跟踪方法如下：
步骤i：构建用来放置目标垃圾的跟踪池，初始状态跟踪池为空；
步骤ii：将目标垃圾与跟踪池内的跟踪物体进行交并比IoU的计算；
步骤iii：如果跟踪池内的所有跟踪物体与目标垃圾的交并比均满足
Figure 261083DEST_PATH_IMAGE010
，
Figure 227902DEST_PATH_IMAGE003
为交并比阈值，将目标垃圾加入到跟踪池内，对目标垃圾编号，将目标垃圾的检测边界框作为该编号的跟踪边界框；
否则，查找跟踪池内与该目标垃圾的IoU数值最大的跟踪物体，将查找到的跟踪物体的跟踪边界框与该目标垃圾的检测边界框进行匹配；
步骤iv：通过匈牙利算法对检测边界框和跟踪边界框进行匹配，如果匹配成功，则
Figure 468390DEST_PATH_IMAGE011
，其中，i为跟踪物体对应的编号；
步骤v：如果匹配失败且目标垃圾的跟踪边界超出跟踪范围，则删除当前跟踪目标
Figure 137138DEST_PATH_IMAGE012
，否则，令
Figure 488485DEST_PATH_IMAGE013
；
步骤vi：如果匹配失败且目标垃圾的跟踪边界未超出跟踪范，令
Figure 309810DEST_PATH_IMAGE014
，则删除当前跟踪目标
Figure 721200DEST_PATH_IMAGE012
。
以上方法的大致过程如下，首先使用目标垃圾和跟踪物体间的IoU作为度量，通过匈牙利算法对跟踪边界框和检测边界框进行匹配，将未匹配的检测框视为新的跟踪的目标垃圾。接着判断线程池中是否有可用线程，若无线程则创建新线程加入线程池，若有可用线程则直接调用线程对跟踪器进行初始化计算，跟踪池不断更新。
本实施例采用RGB相机间隔均匀的连续获取图像，进行多目标跟踪，为了方便按顺序确定垃圾类别，给每个跟踪的目标垃圾目标垃圾进行顺序编号，从而能够根据垃圾分类的结果确定传送带上的垃圾对应的分类序列，在进行目标跟踪时，因为视角和照明等条件会影响图像质量，对于新发现的垃圾，必然是需要进行跟踪的，但是未跟踪成功的目标不一定是已经离开传送带了，如果单次未发现目标就删除其编号，则有可能导致漏检，而且在下次更新时如果发现了该目标，则会作为新的目标加入到跟踪池中，会导致线程的频繁创建和销毁，影响算法运行速度。
本实施例针对这一问题，引入了表征跟踪的目标垃圾寿命的变量Age，该变量定义及更新策略为：变量初始值为0，如果检测目标与跟踪的目标垃圾成功匹配，则该变量置为0，如果检测目标与跟踪的目标垃圾未匹配成功，则更新该变量+1，当该变量的值超过预设的阈值时，即该跟踪的目标垃圾连续多次未成功匹配时，删除该跟踪的目标垃圾，这种策略能够有效的减少多目标检测漏检导致的ID切换。另外，RGB相机一般视角是固定的，在目标超过RGB相机的视角范围，即跟踪范围时，同样需要将该跟踪的目标垃圾删除，该跟踪的目标垃圾未被成功分拣，可在后端通过人工分拣或直接作为不可回收垃圾处理。
步骤M4：计算目标垃圾在图像中的坐标，并基于坐标变换获得目标垃圾相对执行器的角度信息；参考图5和图6，计算角度信息的方法为：
步骤N1：对获取的图像（图6a）使用矩形框进行裁剪分割为不同的个体（图6b，6c）；
步骤N2：将裁剪后的图像转化为灰度图（图6d），对灰度图进行中值滤波（图6e），消除图像噪点；
步骤N3：对灰度图进行图像二值化处理（图6f），将图像与背景分割，此时，目标大部分位置处理成白色，背景处理成黑色，但是目标上与背景接近的部分也会被处理成黑色；
步骤N4：对图像做形态学处理，先进行膨胀操作再进行腐蚀（图6g），从而将被黑色分割开的白色区域联通；
步骤N5：如果裁剪后的灰度图上存在多个最小外接矩形，以与跟踪框的IoU值最大的外接矩形框作为最小外接矩形（图6h，6i）；
步骤N6：求解最小外接矩形在图像中的角度，基于图像和执行器的位置关系，转化为相对于执行器的角度信息。
RGB相机与执行器的相对位置是可以提前获知的，因此角度变换的关系是能够提前建立的，通过变换后可以获得在执行器为基准的情况下，跟踪的目标垃圾的角度系信息，从而方便调整执行器的角度和作用位置。
步骤M5：在目标垃圾进入执行器的执行范围内时，根据步骤B的分类结果将目标垃圾移动到对应的目的地。
执行器一般选用吸盘或夹爪，夹爪一般通过多自由度机器人控制，使用吸盘效率较高，但是对于不规则可回收垃圾无法有效吸取，夹爪可适用于大部分垃圾，但是效率相对较低，本实施例的执行器包括了吸盘和夹爪，其中吸盘在夹爪上游，夹爪固定在六轴机器人上，通过吸盘快速分拣，通过夹爪对遗漏的目标垃圾进行夹取，即能兼顾效率，又能适用大部分可回收垃圾。
具体的，分拣流水线前端机械臂使用ABB公司的IRB 360机器人，该款机器人采用并联结构，执行时间短。该款机器人使用吸盘对所有类型的可回收垃圾进行分拣，其中纸张、织物等类型的可回收垃圾只能在该工位使用吸盘进行分拣。经过前端机械臂分拣后，我们使用ABB公司的IRB 1600六轴机器人搭配夹爪对传送带上剩余的小部分瓶状垃圾进行补抓。
进一步地，本实施例还公开了一种垃圾分拣系统，参考图7，包括，
图像获取模块，用于通过传送带驱动垃圾运行，获取传送带上的垃圾图像；
垃圾分类模块，用于使用垃圾自动分类模型确定被跟踪物体所属的类别；
多目标跟踪摸，用于对识别为可回收垃圾的目标垃圾进行多目标跟踪，对跟踪的目标垃圾顺序编号并确定编号对应的垃圾类别；
角度计算模块，用于计算目标垃圾在图像中的坐标，并基于坐标变换获得目标垃圾相对执行器的角度信息；
执行模块，用于在目标垃圾进入执行器的执行范围内时，根据分类结果将目标垃圾移动到对应的目的地。
本实施例中使用精确度曲线来表征多目标跟踪算法的误差与精度，准确度曲线显示了一个距离阈值范围内正确跟踪帧的百分比，该曲线可以绘制所有阈值的精度而不需要额外参数，这使得它简明易懂，低阈值下的更高精度意味着跟踪器更精确，而跟踪丢失的目标将降低它在较大的阈值范围内的精度。
本实施例将精确度曲线横轴设置为经过坐标变换后的传送带上实际误差阈值，单位为毫米。通过在实际分拣流水线上对时长为30分钟的跟踪进行统计绘制出如图8的精确度曲线。本实施例提出的多目标跟踪算法平均速度达到了120FPS，满足了实时跟踪的需求，且在20mm误差范围内达到了0.945的精确度，满足了分拣系统的分拣精度需求。
由于瓶子、易拉罐等垃圾表面大多存在塌陷、变形等问题，导致识别角度会存在一定偏差，本实施例经过实际测量和实验，误差角度在10°以内时，完全满足吸盘和夹爪夹取的精度要求，而本实施例中对易拉罐的识别角度误差进行了统计，实验方法如下：选取不同类别的易拉罐各十个，每个物体旋转角度及放置区域随机，每次测量二十次，计算角度误差并分类别计算平均值，统计结果如表1，其平均角度误差完全满足吸盘和夹爪的工作要求。
类别 测量次数 平均角度误差（角度制）
铝罐 200 6.3
铁罐 200 7.5
表1：识别角度平均误差
最后本实施例对负责垃圾分拣的执行器进行了性能验证，主要测试垃圾分拣的分拣速度及准确率，通过在传送带上高密度的投放垃圾进行测试，结果如下：
执行器类别 机械臂型号 末端执行器 分拣成功率 最大分拣速度
Delta机器人 IRB 360 吸盘 91.6% 5700次/h
六轴机器人 IRB 1600 夹爪 98.7% 1620次/h
表2：执行器的分拣效果对比
IRB 360机器人执行速度快、使用吸盘进行吸附，造成分拣失败的主要原因为物体表面凹凸、吸盘无法吸附，IRB 1600执行分拣稳定但分拣速度较慢，可以实现对可回收垃圾的稳定夹取。本实施例提出的基于计算机视觉的可回收垃圾分拣系统分拣准确率高，分拣效率高，且具有很高的稳定性，具备了在复杂环境下高效、稳定进行可回收垃圾的识别及检测能力。此外，本实施例的系统构建对快递物流、工厂流水线等生产环境中的无人分拣系统也有一定的借鉴意义。
本领域内的技术人员应明白，本发明的实施例可提供为方法、设备(系统)或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种垃圾自动分类模型的构建方法，其特征在于：包括，
获取多种垃圾在多种外部环境下的图像，对所述图像进行标记；
将标记后的图像按比例分成训练集和测试集；
获取YOLOv4网络结构中，对YOLOv4网络的分支网络中添加注意力机制模块生成目标网络结构；
依次通过所述训练集、所述测试集对所述目标网络结构进行训练、测试，生成垃圾自动分类模型。
2.根据权利要求1所述的一种垃圾自动分类模型的构建方法，其特征在于：所述图像的标记信息包括垃圾类别和图像中垃圾边框的左上角和右下角坐标。
3.根据权利要求1所述的一种垃圾自动分类模型的构建方法，其特征在于：所述对YOLOv4网络的分支网络中添加注意力机制的方法为：对YOLOv4的CSPDarknet53网络输出的多个通道，通过SENet模块进行加权处理，或使用CBAM模块对YOLOv4的CSPDarknet53网络输出的特征图进行像素的加权处理。
4.根据权利要求3所述的一种垃圾自动分类模型的构建方法，其特征在于：训练过程在Pytorch框架中进行训练，采用随机梯度训练模型更新YOLOv4网络的参数，批量大小设置为64，基础学习率为
Figure 330781DEST_PATH_IMAGE001
，动量为0.95，重量衰减为0.0005，进行50次完整训练。
5.一种垃圾分拣方法，其特征在于：包括，
通过传送带带动垃圾运行，获取传送带上的垃圾图像；
通过预训练的垃圾自动分类模型确定被跟踪的目标垃圾所属的类别；
对识别为可回收垃圾的目标垃圾进行多目标跟踪，对跟踪的目标垃圾顺序编号并确定编号对应的垃圾类别；
计算目标垃圾在图像中的坐标，并基于坐标变换获得目标垃圾相对执行器的角度信息；
在目标垃圾进入执行器的执行范围内时，根据分类结果将目标垃圾移动到对应的目的地。
6.根据权利要求5所述的一种垃圾分拣方法，其特征在于：所述多目标跟踪的方法如下：
构建用来放置目标垃圾的跟踪池，初始状态跟踪池为空；
将目标垃圾与跟踪池内的跟踪物体进行交并比IoU的计算；
如果跟踪池内的所有跟踪物体与目标垃圾的交并比均满足
Figure 462685DEST_PATH_IMAGE002
，
Figure 988344DEST_PATH_IMAGE003
为交并比阈值，将目标垃圾加入到跟踪池内，对目标垃圾编号，将目标垃圾的检测边界框作为该编号的跟踪边界框；
否则，查找跟踪池内与该目标垃圾的IoU数值最大的跟踪物体，将查找到的跟踪物体的跟踪边界框与该目标垃圾的检测边界框进行匹配；
通过匈牙利算法对检测边界框和跟踪边界框进行匹配，如果匹配成功，则
Figure 863897DEST_PATH_IMAGE004
，其中，i为跟踪物体对应的编号；
如果匹配失败且目标垃圾的跟踪边界超出跟踪范围，则删除当前跟踪目标
Figure 660077DEST_PATH_IMAGE005
，否则，令
Figure 228461DEST_PATH_IMAGE006
；
如果匹配失败且目标垃圾的跟踪边界未超出跟踪范，令
Figure 710258DEST_PATH_IMAGE007
，则删除当前跟踪目标
Figure 389501DEST_PATH_IMAGE005
。
7.根据权利要求5所述的一种垃圾分拣方法，其特征在于：所述的计算目标垃圾相对执行器的角度信息的方法为：
对获取的图像使用矩形框进行裁剪分割为不同的个体；
将裁剪后的图像转化为灰度图，对灰度图进行中值滤波，消除图像噪点；
对灰度图进行图像二值化处理，将图像与背景分割；
对图像做形态学处理，先进行膨胀操作再进行腐蚀用，以使被黑色分割开的白色感兴趣区域联通；
如果裁剪后的灰度图上存在多个最小外接矩形，以与跟踪框的IoU值最大的外接矩形框作为最小外接矩形；
求解最小外接矩形在图像中的角度信息，通过坐标变换转化为执行器的角度信息。
8.根据权利要求5所述的一种垃圾分拣方法，其特征在于：所述执行器包括沿传送带行进方向依次设置的吸盘和六轴机器人。
9.根据权利要求5所述的一种垃圾分拣方法，其特征在于：通过RGB相机获取传送带上的垃圾图像。
10.一种垃圾自动分拣系统，其特征在于：包括，
图像获取模块，用于通过传送带驱动垃圾运行，获取传送带上的垃圾图像；
垃圾分类模块，用于使用垃圾自动分类模型确定被跟踪物体所属的类别；
多目标跟踪摸，用于对识别为可回收垃圾的目标垃圾进行多目标跟踪，对跟踪的目标垃圾顺序编号并确定编号对应的垃圾类别；
角度计算模块，用于计算目标垃圾在图像中的坐标，并基于坐标变换获得目标垃圾相对执行器的角度信息；
执行模块，用于在目标垃圾进入执行器的执行范围内时，根据分类结果将目标垃圾移动到对应的目的地。
CN202110796264.2A 2021-07-14 2021-07-14 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统 Pending CN113469264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110796264.2A CN113469264A (zh) 2021-07-14 2021-07-14 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110796264.2A CN113469264A (zh) 2021-07-14 2021-07-14 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统

Publications (1)

Publication Number Publication Date
CN113469264A true CN113469264A (zh) 2021-10-01

Family

ID=77878469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110796264.2A Pending CN113469264A (zh) 2021-07-14 2021-07-14 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统

Country Status (1)

Country Link
CN (1) CN113469264A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114289343A (zh) * 2021-12-29 2022-04-08 张祥森 一种垃圾分类处理方法及系统
CN115026015A (zh) * 2022-06-10 2022-09-09 东北大学 一种基于图像处理的地面垃圾检测系统
CN115409993A (zh) * 2022-08-12 2022-11-29 通号智慧城市研究设计院有限公司 环境垃圾的检测方法、电子设备、计算机可读介质
CN115439684A (zh) * 2022-08-25 2022-12-06 艾迪恩(山东)科技有限公司 基于轻量化YOLOv5的生活垃圾分类方法及APP
CN117900166A (zh) * 2024-03-19 2024-04-19 浙江联运知慧科技有限公司 一种智能ai分拣装备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114289343A (zh) * 2021-12-29 2022-04-08 张祥森 一种垃圾分类处理方法及系统
CN115026015A (zh) * 2022-06-10 2022-09-09 东北大学 一种基于图像处理的地面垃圾检测系统
CN115409993A (zh) * 2022-08-12 2022-11-29 通号智慧城市研究设计院有限公司 环境垃圾的检测方法、电子设备、计算机可读介质
CN115439684A (zh) * 2022-08-25 2022-12-06 艾迪恩(山东)科技有限公司 基于轻量化YOLOv5的生活垃圾分类方法及APP
CN115439684B (zh) * 2022-08-25 2024-02-02 艾迪恩(山东)科技有限公司 基于轻量化YOLOv5的生活垃圾分类方法及APP
CN117900166A (zh) * 2024-03-19 2024-04-19 浙江联运知慧科技有限公司 一种智能ai分拣装备
CN117900166B (zh) * 2024-03-19 2024-05-31 浙江联运知慧科技有限公司 一种智能ai分拣装备

Similar Documents

Publication Publication Date Title
CN113469264A (zh) 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统
CN110116415B (zh) 一种基于深度学习的瓶罐类垃圾识别分类机器人
CN109657552B (zh) 基于迁移学习实现跨场景冷启动的车型识别装置与方法
CN106845408B (zh) 一种复杂环境下的街道垃圾识别方法
CN102998316B (zh) 一种透明液体杂质检测系统及其检测方法
CN107480643B (zh) 一种智能垃圾分类处理的机器人
CN104899892B (zh) 一种快速的星图图像星点提取方法
CN111652214B (zh) 一种基于深度学习的垃圾瓶分选方法
CN114266884A (zh) 旋转框定位多形态瓶状物品分拣目标检测方法
CN112580647A (zh) 一种面向堆叠物体的识别方法及系统
CN108985339A (zh) 一种基于目标识别与knn算法的超市仓库货物识别分类方法
CN112102368A (zh) 一种基于深度学习的机器人垃圾分类分拣方法
CN111144480A (zh) 一种可回收垃圾视觉分类方法、系统、设备
CN113052005B (zh) 一种用于家居服务的垃圾分拣方法和垃圾分拣装置
CN110516625A (zh) 一种垃圾识别分类的方法、系统、终端及存储介质
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN116665011A (zh) 一种基于机器视觉的煤矿带式输送机煤流异物识别方法
CN111003380A (zh) 一种智能回收垃圾的方法、系统、设备
WO2022241597A1 (zh) 一种ai智能垃圾识别分类系统和方法
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN210161172U (zh) 一种基于深度学习的瓶罐类垃圾识别分类机器人
CN115035082A (zh) 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
CN114119959A (zh) 一种基于视觉的垃圾桶满溢检测方法及装置
Shi et al. A fast workpiece detection method based on multi-feature fused SSD
CN116580233A (zh) 一种用于工业垃圾分类的智能工作机器人控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination