CN110689059A

CN110689059A - 一种垃圾自动分拣的方法

Info

Publication number: CN110689059A
Application number: CN201910866454.XA
Authority: CN
Inventors: 余文勇; 姚磊
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2019-09-12
Filing date: 2019-09-12
Publication date: 2020-01-14

Abstract

本发明属于垃圾分拣领域，并公开了一种垃圾自动分拣的方法。该方法包括下列步骤：(a)采集各类垃圾的图像并对垃圾赋予标签，形成垃圾图像集；(b)构建垃圾预测模型，利用图像集中的图像与该图像对应的标签进行训练获得最终的预测模型；(c)连续拍摄待处理垃圾不同时刻的图像,选取其中一张利用最终的预测模型预测垃圾的类型，获得待处理垃圾的标签；(d)对于连续拍摄的待处理垃圾不同时刻的多张图像，根据每张图像中质心的位置预测下一时刻的位置，根据预测的位置和垃圾的标签对垃圾进行分拣，以此实现垃圾自动分拣。通过本发明，实现对垃圾的无人化和自动化分拣，降低人工成本，提高分拣效率。

Description

一种垃圾自动分拣的方法

技术领域

本发明属于垃圾分拣领域，更具体地，涉及一种垃圾自动分拣的方法。

背景技术

目前，水面漂浮垃圾污染形式越来越严峻，太平洋上水面漂浮垃圾已达300多万平方公里，在太平洋上形成一个面积有德克萨斯州大的以塑料为主的水面漂浮垃圾带，极大的加快了水体污染造成了水质恶化。

专利CN109465809A提出了一种基于双目立体视觉定位识别的智能垃圾分类机器人，该专利利用双目视觉进行垃圾定位，适合用于对静态的垃圾分拣，但未提及垃圾如何识别和分类，且不适合水面漂浮垃圾的分拣；目前，除了靠人工打捞水面漂垃圾外，澳大利亚的发明家们创造出一种浮动的天然纤维垃圾桶，能在码头和水面污染区域过滤漂浮物，回收垃圾进行再利用，但这种处理方法只能清理特定区域的水面漂浮垃圾，受水流方向等因素的影响效率不高，且需要地面人员完成对垃圾的分类工作，耗时耗力。因而，对水面漂浮垃圾的有效处理仍然是人类面对的一大难题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种垃圾自动分拣的方法，通过建立垃圾的图像集，然后构建预测模型，以此预测垃圾的类型，最后通过对运动垃圾的轨迹预测对垃圾下一时刻位置进行预测，结合预测的位置和垃圾类型，实现对垃圾的无人化和自动化分拣，智能化程度高，降低人工成本，提高分拣效率。

为实现上述目的，按照本发明，提供了一种垃圾自动分拣的方法，其特征在于，该方法包括下列步骤：

(a)采集各类垃圾的图像，将每张图像中的垃圾赋予用于区分垃圾类型的标签，以此形成垃圾图像集，对每张垃圾的图像进行特征提取，以此获得每张垃圾图像的梯度方向直方图矩阵和灰度共生矩阵；

(b)构建垃圾预测模型，利用所述图像集中的图像与该图像对应的标签对所述预测模型进行训练，以此获得最终的预测模型，其中，每张垃圾图像的梯度方向直方图矩阵和灰度共生矩阵作为输入，标签作为输出；

(c)连续拍摄待处理垃圾不同时刻的图像,以此获得多张待处理垃圾的图像，选取其中一张提取其梯度方向直方图矩阵和灰度共生矩阵，将获得的梯度方向直方图矩阵和灰度共生矩阵输入所述最终的预测模型中，以此获得待处理垃圾的标签；

(d)对于连续拍摄的待处理垃圾不同时刻的多张图像，提取每张图像中待处理垃圾的质心，根据每张图像中质心的位置预测并获得该待处理垃圾下一时刻的位置，根据该待处理垃圾下一时刻的位置对该待处理垃圾进行抓取，然后按照该待处理垃圾的标签放至指定位置，以此实现垃圾自动挡分拣。

进一步优选地，在步骤(a)中，所述梯度方向直方图矩阵优选按照下列步骤获得：

S1按照下列表达式对待处理图像中每个像素点进行归一化处理，调节待处理图像的对比度，以此获得待处理图像中每个像素点归一化后的像素值，其中，G(x,y)是像素点归一化后的像素值，F(x,y)是归一化前像素点的像素值，γ是预设值，x和y分别是横纵两个方向的像素坐标，

G(x,y)＝F(x,y)^1/γ

S2按照下列表达式计算每个像素点的梯度幅值和梯度方向，以此获得所有像素点的梯度幅值和梯度方向，

α(x，y)＝arctan2(G_y(x,y),G_x(x,y))

G_x(x,y)＝G(x+1,y)-G(x-1,y)

G_y(x,y)＝G(x,y+1)-G(x,y-1)，

其中，G_x(x,y)是像素点(x,y)的水平梯度，G_y(x,y)是像素点(x,y)的垂直梯度，G(x,y)是像素点归一化后的像素值，

是像素点(x,y)的梯度幅值，α(x,y)是像素点(x,y)的梯度方向；

S3获取所述像素点的梯度方向中的最大值α_max，将范围[0,α_max]均分为 a个梯度方向区间，将待处理图像划分为b块单元，并对每块单元进行编号；

对于每块单元中，根据该单元中每个像素点的梯度方向确定每个像素点对应的梯度方向区间，在同一个梯度方向区间的像素点的梯度幅值相加，以此获得该单元在a个梯度方向区间上各个区间对应的幅值和，该a个梯度方向区间上的幅值和形成a维的向量，即所述单元对应的特征向量；

S4按照所述单元的编号将b块单元的特征向量串联，以此形成a×b 维向量，即所述待处理图像对应的特征向量，将该特征向量按照下列表达式进行归一化处理，以此获得所需的梯度方向直方图矩阵，

其中，V是所需的梯度方向直方图矩阵，v是a×b维的特征向量，是预设任意极小值，防止分母为0。

进一步优选地，在步骤(a)中，所述灰度共生矩阵按照下列步骤获得：

S1设定0°,45°,90°,135°四个方向，步长d，预设灰度阈值j,对于待处理图像中每个像素点的灰度值，像素点(x,y)的灰度值为i，对于所述四个方向中的一个方向，判断与所述像素点(x,y)距离为步长d的像素点的灰度值为j的次数，该次数为该方向对应的特征值p,以此获得每个像素点四个方向上对应的p值，

S2计算每个像素点四个方向上对应的p值的平均值，该平均值为该像素点的灰度特征值，所有像素点的灰度特征值形成灰度特征矩阵；

S3将所述灰度特征矩阵进行归一化处理，以此获得所需的灰度共生矩阵，其中，归一化处理是将灰度特征矩阵中的每个元素除以该灰度特征矩阵中元素的最大值。

进一步优选地，在步骤(b)中，所述预测模型优选采用支持向量机模型。

进一步优选地，在步骤(d)中，提取所述待处理垃圾的质心优选采用边缘检测算法。

进一步优选地，在步骤(d)中，所述根据每张图像中质心的位置预测并获得该待处理垃圾下一时刻的位置，优选采用卡尔曼滤波算法进行预测。

进一步优选地，在步骤(a)中，在对每张垃圾的图像进行特征提取之前，优选对图像进行灰度化和降噪处理，其中，灰度化用于降低图像的维度，在减小计算量的同时保留图像的梯度信息，降噪处理用于消除图片中的突变值，减小图像中的噪声。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明提供的方法可随船在无人情况下正常工作，能将水面可降解垃圾与不可降解垃圾有效的分开，同时在收集垃圾时能将垃圾自动分类放置，减轻了地面工作人员的工作量，对轨迹的预测能够保证更准确地对垃圾进行抓取，适用范围广；

2、本发明通过对垃圾图像进行特征提取，获得图像的梯度方向直方图矩阵和灰度共生矩阵，梯度直方图矩阵表示梯度的结构特征，可以描述局部形状信息，灰度共生矩阵可以反映图像灰度关于方向、相邻间隔、变化幅度的综合信息，是分析图像局部信息的基础。

附图说明

图1是按照本发明的优选实施例所构建的垃圾自动分拣的方法流程图；

图2是按照本发明的优选实施例所构建的支持向量机图像分类的工作流程；

图3是按照本发明的优选实施例所构建的卡尔曼滤波流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种垃圾自动分拣的方法，该方法包括下列步骤：

步骤一采集各类垃圾的图像，将每张图像中的垃圾赋予用于区分垃圾类型的标签，以此形成垃圾图像集，对每张垃圾的图像进行特征提取，以此获得每张垃圾图像的梯度方向直方图矩阵和灰度共生矩阵；

本实施例中，在前期需要拍摄大量的水面漂浮垃圾照片，应广泛地包含可降解垃圾与不可降解垃圾的种类以及各种姿态，本实施例中，选取水面漂浮垃圾中常见的不可降解垃圾渔网、塑料包装袋、塑料盒、塑料餐具、金属物、玻璃；可降解垃圾鱼类尸体、海洋植物、藻类进行识别分类，在对图片集进行灰度化和降噪等预处理后作为分类器的样本图片集；

提取样本图片的方向梯度直方图和灰度共生矩阵两种类型的特征作为分类器的输入，通过支持向量机分类器对图片添加标签，方向梯度直方图通过计算和统计图像局部区域的梯度方向直方图来构成特征，灰度共生矩阵反映出图像灰度关于方向、相邻间隔、变化幅度等的综合信息，其中，方向梯度直方图的获得方法如下：

方向梯度直方图特征通过计算和统计图像局部区域的梯度方向直方图来构成特征，广泛用于物体检测中，提取方向梯度直方图特征一般需要：

1)归一化图像：为提高检测器对光照等干扰因素的鲁棒性，对图像进行Gamma校正，即G(x,y)＝F(x,y)^1/γ,G(x,y)是像素点归一化后的像素值，F(x,y) 是归一化前像素点的像素值，γ是预设值，x和y分别是横纵两个方向的像素坐标，以完成对整个图像的归一化，目的是调节图像的对比度，降低局部光照和阴影所造成的影响，同时也可以降低噪音的干扰；

2)计算图像梯度：

G_x(x,y)＝G(x+1,y)-G(x-1,y)

G_y(x,y)＝G(x,y+1)-G(x,y-1)

α(x,y)＝arctan2(G_y(x,y),G_x(x,y))

其中，G_x(x,y)是像素点(x,y)的水平梯度，G_y(x,y)是像素点(x,y)的垂直平梯度，G(x,y)是像素点归一化后的像素值，

是像素点(x,y)的梯度幅值，α(x,y)是像素点(x,y)的梯度方向。

3)统计细胞单元的梯度方向直方图：将图像划分成小的细胞单元，将梯度方向映射到[0,Π]的范围内，将梯度方向平均分成9个区间，每个区间20度，将像素的梯度幅值作为权值进行投影，用梯度方向决定投影方向，即可得到该细胞单元对应的九维特征向量；

4)把细胞单元组成块，块内归一化梯度直方图：把相邻的4个细胞单元形成一个块，这样每个块就对应着36维的特征向量。由于局部光照的变化、前景和背景对比度的变化，使得梯度强度的变化范围非常大，为了进一步消除光照的影响，最后对块内的36维特征向量进行归一化，即

其中，V是所需的梯度方向直方图矩阵，v是36维的特征向量，ε是预设任意极小值，防止分母为0，可设定为10^-10，||v||₂是v的2范数。

5)收集方向梯度直方图特征，将所有块的特征向量串联起来就是整幅图像的方向梯度直方图特征。将其作为分类器的输入。

灰度共生矩阵的获取步骤如下：

pi,j,d,θ＝[(x,y),(x+dx,y+dy)|fx，y＝i，fx+dx，y+dy＝j]

2)计算每个像素点四个方向上对应的p值的平均值，该平均值为该像素点的灰度特征值，所有像素点的灰度特征值形成灰度特征矩阵；灰度特征值根据像素点的坐标分布；

3)将灰度特征矩阵进行归一化处理，以此获得所需的灰度共生矩阵，其中，归一化处理是将灰度特征矩阵中的每个元素除以该灰度特征矩阵中元素的最大值。

步骤二构建垃圾预测模型，利用所述图像集中的图像与该图像对应的标签对所述预测模型进行训练，以此获得最终的预测模型，其中，每张垃圾图像的梯度方向直方图矩阵和灰度共生矩阵作为输入，标签作为输出；

分类器采用支持向量机算法在每两类样本之间构建一个分类超平面的方法解决本实例的多分类问题，由于这是一种线性不可分的情况，可将输入向量通过核函数映射到使得向量线性可分的高维空间来构建最优分类超平面进行分类。

步骤三连续拍摄待处理垃圾不同时刻的图像,以此获得多张待处理垃圾的图像，选取其中一张提取其梯度方向直方图矩阵和灰度共生矩阵，将获得的梯度方向直方图矩阵和灰度共生矩阵输入所述最终的预测模型中，以此获得待处理垃圾的标签；

步骤四对于连续拍摄的待处理垃圾不同时刻的多张图像，提取每张图像中待处理垃圾的质心，根据每张图像中质心的位置预测并获得该待处理垃圾下一时刻的位置，根据该待处理垃圾下一时刻的位置对该待处理垃圾进行抓取，然后按照该待处理垃圾的标签放至指定位置，以此实现垃圾自动挡分拣。

正常工作时，采用边缘检测算法对图像进行边缘提取，并计算获取最大边缘的质心像素点，将其作为执行机构末端的抓取点；其中，质心坐标位置确定如下：

1)将拍摄图像转换成二值图像；

2)计算重心坐标

其中，f(x,y)为像素点值，(x,y)为像素点位置。

3)所得

即为质心坐标。

由于水面不断运动，水面漂浮垃圾也随其不断运动，因而识别完成后直接用执行机构抓取是不现实的，如图3所示，采用卡尔曼滤波的方式对质心轨迹进行预测，在短时间内对视觉单元视野内的垃圾多次采集图像获取质心轨迹，进而用卡尔曼滤波对其下一时刻的坐标进行预测，预测到最终坐标后通过轨迹规划，最终将数据传输到执行机构主控板控制执行机构进行抓取并根据识别结果将其放置到预定的位置。

本发明在样本图片集足够的情况下，具有很高的区分精度和区分效率，同时，以船只为载体占用的空间小，具有极低的区分成本，能有效解决水面漂浮垃圾的分类回收问题。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种垃圾自动分拣的方法，其特征在于，该方法包括下列步骤：

(d)对于连续拍摄的待处理垃圾不同时刻的多张图像，提取每张图像中待处理垃圾的质心，根据每张图像中质心的位置预测并获得该待处理垃圾下一时刻的位置，根据该待处理垃圾下一时刻的位置对该待处理垃圾进行抓取，然后按照该待处理垃圾的标签放至指定位置，以此实现垃圾自动分拣。

2.如权利要求1所述的一种垃圾自动分拣的方法，其特征在于，在步骤(a)中，所述梯度方向直方图矩阵优选按照下列步骤获得：

S1 按照下列表达式对待处理图像中每个像素点进行归一化处理，调节待处理图像的对比度，以此获得待处理图像中每个像素点归一化后的像素值，其中，G(x,y)是像素点归一化后的像素值，F(x,y)是归一化前像素点的像素值，γ是预设值，x和y分别是横纵两个方向的像素坐标，

G(x,y)＝F(x,y)^1/γ

S2 按照下列表达式计算每个像素点的梯度幅值和梯度方向，以此获得所有像素点的梯度幅值和梯度方向，

α(xy)＝arctan2(G_y(x,y),G_x(x,y))

G_x(x,y)＝G(x+1,y)-G(x-1,y)

G_y(x,y)＝G(x,y+1)-G(x,y-1)，

是像素点(x,y)的梯度幅值，α(x,y)是像素点(x,y)的梯度方向；

S3 获取所述像素点的梯度方向中的最大值α_max，将范围[0,α_max]均分为a个梯度方向区间，将待处理图像划分为b块单元，并对每块单元进行编号；

S4 按照所述单元的编号将b块单元的特征向量串联，以此形成a×b维向量，即所述待处理图像对应的特征向量，将该特征向量按照下列表达式进行归一化处理，以此获得所需的梯度方向直方图矩阵，

其中，V是所需的梯度方向直方图矩阵，v是a×b维的特征向量，ε是预设任意极小值，防止分母为0。

3.如权利要求1所述的一种垃圾自动分拣的方法，其特征在于，在步骤(a)中，所述灰度共生矩阵按照下列步骤获得：

S1 设定0°,45°,90°,135°四个方向，步长d，预设灰度阈值j,对于待处理图像中每个像素点的灰度值，像素点(x,y)的灰度值为i，对于所述四个方向中的一个方向，判断与所述像素点(x,y)距离为步长d的像素点的灰度值为j的次数，该次数为该方向对应的特征值p,以此获得每个像素点四个方向上对应的p值；

S2 计算每个像素点四个方向上对应的p值的平均值，该平均值为该像素点的灰度特征值，所有像素点的灰度特征值形成灰度特征矩阵；

S3 将所述灰度特征矩阵进行归一化处理，以此获得所需的灰度共生矩阵，其中，归一化处理是将灰度特征矩阵中的每个元素除以该灰度特征矩阵中元素的最大值。

4.如权利要求1所述的一种垃圾自动分拣的方法，其特征在于，在步骤(b)中，所述预测模型优选采用支持向量机模型。

5.如权利要求1所述的一种垃圾自动分拣的方法，其特征在于，在步骤(d)中，提取所述待处理垃圾的质心优选采用边缘检测算法。

6.如权利要求1所述的一种垃圾自动分拣的方法，其特征在于，在步骤(d)中，所述根据每张图像中质心的位置预测并获得该待处理垃圾下一时刻的位置，优选采用卡尔曼滤波算法进行预测。

7.如权利要求1所述的一种垃圾自动分拣的方法，其特征在于，在步骤(a)中，在对每张垃圾的图像进行特征提取之前，优选对图像进行灰度化和降噪处理，其中，灰度化用于降低图像的维度，在减小计算量的同时保留图像的梯度信息，降噪处理用于消除图片中的突变值，减小图像中的噪声。