CN109675827A - 一种建筑垃圾识别分拣设备、识别方法及其抓取方法 - Google Patents

一种建筑垃圾识别分拣设备、识别方法及其抓取方法 Download PDF

Info

Publication number
CN109675827A
CN109675827A CN201811557532.XA CN201811557532A CN109675827A CN 109675827 A CN109675827 A CN 109675827A CN 201811557532 A CN201811557532 A CN 201811557532A CN 109675827 A CN109675827 A CN 109675827A
Authority
CN
China
Prior art keywords
building waste
image
target
pixel
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811557532.XA
Other languages
English (en)
Other versions
CN109675827B (zh
Inventor
杨建红
黄文景
庄江腾
房怀英
林伟端
范伟
库跃东
肖文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Fujian South Highway Machinery Co Ltd
Original Assignee
Huaqiao University
Fujian South Highway Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University, Fujian South Highway Machinery Co Ltd filed Critical Huaqiao University
Priority to CN201811557532.XA priority Critical patent/CN109675827B/zh
Publication of CN109675827A publication Critical patent/CN109675827A/zh
Application granted granted Critical
Publication of CN109675827B publication Critical patent/CN109675827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/58—Construction or demolition [C&D] waste

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Sorting Of Articles (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种建筑垃圾识别分拣设备、识别方法及其抓取方法，其中，该建筑垃圾识别分拣设备，包括摄像装置、处理器、输送装置、抓取装置和分拣箱；输送装置的输送路径上设有暗箱；摄像装置部署于暗箱内；暗箱内设有光源；抓取装置沿输送装置的输送路径设置于暗箱后方；抓取装置可抓取建筑垃圾于输送装置和分拣箱之间移动；摄像装置、光源、输送装置和抓取装置均与处理器通讯连接。本发明还提供建筑垃圾识别方法和建筑垃圾识别分拣设备的抓取方法。采用该建筑垃圾识别分拣设备可大大提高分拣的效率，同时又不耗费过多人力，完善了建筑垃圾分拣技术。

Description

一种建筑垃圾识别分拣设备、识别方法及其抓取方法
技术领域
本发明涉及建筑垃圾识别领域，特别涉及一种建筑垃圾识别分拣设备、识别方法及其抓取方法。
背景技术
建筑垃圾是指在对建筑物实施新建、改建、扩建或者是拆除过程中产生的固体废弃物。我国建筑垃圾的数量已占到城市垃圾总量的30％-40％。以500-600吨/万平方米的标准推算，到2020年，我国还将新增建筑面积约300亿平方米，新产生的建筑垃圾将是一个令人震撼的数字。然而，绝大部分建筑垃圾未经任何处理，便被施工单位运往郊外或乡村，露天堆放或填埋，耗用大量的征用土地费、垃圾清运费等建设经费，同时，清运和堆放过程中的遗撒和粉尘、灰砂飞扬等问题又造成了严重的环境污染。
事实上，建筑垃圾常被誉为“放错了地方的黄金”。经分拣、粉碎后，建筑垃圾大多可以作为再生资源重新利用，如加工成空心砖、墙板、加气混凝土等建材。数据表明，我国建筑垃圾资源转化率仅有5％左右，与发达国家有很大差距。实现建筑垃圾减量化、资源化、无害化已成为我国诸多城市新时期的一项重要的、紧迫的社会发展战略任务；而高效、准确、及时地对建筑垃圾的堆放位置、面积及体积进行监测是合理化处置与资源化利用建筑垃圾的基础。
为了实现建筑垃圾的合理利用，首先需要对建筑垃圾进行分拣处理。目前国内建筑垃圾分拣行业刚刚兴起，主要为人工分拣，而且分拣环境较差，导致分拣效率低，另外人工成本高也是制约该行业发展的一大因素。因而如何取代人工分拣是亟待解决的问题。
发明内容
为了解决上述背景技术中提到的如何取代人工分拣建筑垃圾的问题，本发明提供一种建筑垃圾识别分拣设备，包括摄像装置、处理器、输送装置、抓取装置和分拣箱；
所述输送装置的输送路径上设有暗箱；所述摄像装置部署于所述暗箱内；所述暗箱内设有光源；
所述抓取装置沿所述输送装置的输送路径设置于所述暗箱后方；所述抓取装置可抓取建筑垃圾于所述输送装置和所述分拣箱之间移动；
所述摄像装置、所述光源、所述输送装置和所述抓取装置均与所述处理器通讯连接。
本发明提供一种建筑垃圾识别方法，包括如下步骤：
S100、通过摄像装置获取建筑垃圾的外观图像；
S200、处理器将S100的外观图像进行亮度调节，获取对亮度进行高度权重的图像；
S300、处理器设定一个阈值，将S200获取的图像中像素值大于阈值的像素设为目标像素，小于阈值的像素设为背景像素，将目标像素值置1，背景像素值置0，获取二值化处理图像；
S400、处理器将S300获取的图像作为掩膜处理S200获取的图像，剔除S200的图像中被背景像素覆盖的区域，获取目标像素覆盖的目标区域；
S500、处理器将S400获取的目标区域进行ROI提取，获取ROI图像；
S600、处理器对S500获取的ROI图像提取颜色特征和纹理特征；
S700、处理器将S600获取的颜色特征和纹理特征与建筑垃圾数据库对比，识别建筑垃圾种类。
进一步地，S700中建筑垃圾数据库的建立方法是将已知的建筑垃圾通过S100～S600的步骤获取颜色特征和纹理特征进行存储标识。
进一步地，S600中颜色特征的提取方法为对不同颜色分量等级化后进行直方图特征提取的方法，即对每个等级的像素点个数占比进行统计，统计结果作为直方图特征，统计算法公式为：
k表示像素等级，Pk表示像素值为k的像素点个数占比，Nk表示像素值为k的像素点个数，Nf表示总像素的个数。
进一步地，S600中颜色特征的提取方法为通过颜色矩特征的方式进行提取，颜色矩特征即对图像像素值进行统计，统计算法公式为：
i表示第i个颜色分量，μi、σi、si，分别表示第i个颜色分量的一阶矩、二阶矩和三阶矩，f(i，j，k)表示在第i个颜色分量重坐标为(j，k)位置的像素点的像素值；M和N分别代表图像的高度和宽度。
进一步地，S600中纹理特征的提取方法为使用GLCM算法，使用具有区分性的特征值作为最终的纹理特征，特征值统计算法公式为：
x和y分别表示两个像素点的坐标，dis(x，y)表示两个像素点之间的距离；angle(x，y)代表两个像素点间的连线与水平方向的夹角；N{}代表所有满足该条件的像素点对个数，P(i，j，θ，d)代表两个像素点间满足相应相应关系的概率，NT表示所有像素点个数。
进一步地，S500中获取ROI图像的方法为，处理器历遍目标区域轮廓中的每一个点，分别寻找最上、最下、最左、最右的点，取最上的点的Y坐标为Ymin，最左的点的X坐标为Xmin，最下的点的Y坐标为Ymax，最右的点的X坐标为Xmax，取以点(Xmin，Ymin)为起始顶点，点(Xmax，Ymax)为最终顶点的矩形区域为ROI区域。
进一步地，S100中的外观图像为平面图像或高度图像。
本发明提供一种建筑垃圾识别分拣设备的抓取方法，具体包括如下步骤：
步骤a、处理器控制摄像装置寻找建筑垃圾轮廓，先找到建筑垃圾左上角的边界点作为起始点A，按右,右下,下,左下,左,左上,上,右上的顺序找相邻点中的边界点，以该点为起始点做同样的操作，直到回到A点；获取每个目标轮廓的坐标点，以组合成轮廓曲线；
步骤b、处理器对步骤a获取的轮廓曲线进行处理，剔除轮廓曲线中的无效目标，无效目标包括边界目标，重复目标和过小的目标；
其中，边界目标通过对其形状轮廓曲线的范围进行判断；
重复目标通过时间、传送带速度与目标坐标之间的关系进行判断，具体公式如下：
|x1-x2|≤σ
相机帧率为Fr,传送带速度为V，目标在连续两帧图片中的坐标为(x1，y1)和(x2，y2)，标定系数为γ，σ和τ分别为两个方向上的允许误差大小，应根据物料尺寸和物料分散程度设置为合理并且较小的值；
当连续的两个目标满足上述两个式子时，即认为这两个目标为重复目标；
过小的目标通过计算目标的像素点个数，再乘以相应的系数转化成实际的面积，设置面积阈值，面积大于阈值的目标认为是有效目标，小于阈值的目标认为是无效目标，从而实现剔除过小目标；
步骤c、处理器通过步骤b中剔除无效目标的轮廓曲线计算轮廓矩，获得轮廓的质心以及旋转角度；
计算步骤如下：
第一步，图像矩的定义如下：
其中，Mp，q即为图像的(p+q)阶矩；
第二步，根据图象矩的定义获得图像的零阶矩为：
图像的零阶矩M0，0即为目标的面积，与此同时，图像的一阶矩可以表示为：
和
M1，0为目标图像上i坐标的叠加，M0，1为目标图像上j坐标的叠加，从而可以得到图像的质心：
第三步，通过图像的二阶矩计算物体的旋转角度：
其中，
步骤d、处理器通过步骤c计算得到的建筑垃圾质心和旋转角度控制抓取装置抓取建筑垃圾。
传统的建筑垃圾分拣产线效率低下，常常要依靠人眼进行不同材质的识别。与传统分拣产线相比，本发明提供的建筑垃圾识别方法，可大大提高分拣的效率，同时又不耗费过多人力，完善了建筑垃圾分拣技术。
长远来看，随着资源的日渐枯竭，建筑垃圾的回收再利用必将成为建筑原材料获取的有效途径。本发明提供的建筑垃圾识别分拣装置，将使建筑工程走向了闭环化，使得建筑原材料再也不是一次性资源，为建筑工程的绿色化做出了巨大的贡献。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的建筑垃圾识别方法流程图；
图2为本发明提供的建筑垃圾识别分拣设备的结构示意图；
图3为图2中暗箱内部示意图；
图4为建筑垃圾识别分拣设备的控制系统模块示意图；
图5为一种建筑垃圾的像素图像。
附图标记：
10摄像装置 20输送装置 30抓取装置
40分拣箱 50暗箱 60光源
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
如图2所示，本发明提供一种建筑垃圾识别分拣设备，包括摄像装置10、处理器、输送装置20、抓取装置30和分拣箱40；
所述输送装置20的输送路径上设有暗箱50；所述摄像装置10部署于所述暗箱50内；所述暗箱50内设有光源60；
所述抓取装置30沿所述输送装置20的输送路径设置于所述暗箱50后方；所述抓取装置30可抓取建筑垃圾于所述输送装置20和所述分拣箱40之间移动；
所述摄像装置10、所述光源60、所述输送装置20和所述抓取装置30均与所述处理器通讯连接。
具体实施时，如图2-4所示，输送装置20优选带式输送机，或者其他可移动并且速度可反馈的运动系统；带式输送机的输送路径前端上固定安装有暗箱50，暗箱50便于拍摄，暗箱50为检测环境的稳定提供了保障；暗箱50下端设有输送口，建筑垃圾可以在输送带的带动下从输送口进入暗箱内，并经另一个输送口离开暗箱50；摄像装置10部署于暗箱50内，摄像装置10可以对暗箱50下方的建筑垃圾进行拍摄，摄像装置10可以为摄像机、SD相机、高度轮廓传感器或面阵相机；暗箱50内还部署有光源60，光源60为拍摄提供光线；带式输送机的两侧部署有分拣箱40，分拣箱40用于装建筑垃圾；抓取装置30沿带式输送机的输送路径设置于暗箱50后方；抓取装置30可抓取建筑垃圾于输送装置20和分拣箱40之间移动；抓取装置30可为带有专门夹具的多关节机器人(例如六轴抓取机器人)或者多导轨直线滑动机器人(例如龙门式上下料机器人)；使用时，抓取装置30从暗箱50后方的传送带上抓取经过检测识别的建筑垃圾放置于对应的分拣箱40内。
摄像装置10、光源60、输送装置20的伺服系统和抓取装置30均与处理器通讯连接。处理器用于控制摄像装置10、光源60、输送装置20和抓取装置30的控制系统为常见的工业智能控制程序，本领域技术人员可以根据实际需要控制装置执行哪些动作重新编写出常规的运行程序，由于工业智能程序成熟，可以有多种程序编写方法，因此不再赘述。处理器可为CPU、GPU、TPU等高效多核处理器，处理摄像装置10获取的数据，执行编写的算法。其中上述所有算法均通过计算机语言编程实现，通过硬盘、U盘等可存储介质保存代码。
上述建筑垃圾识别分拣设备运用如下建筑垃圾识别方法进行建筑垃圾识别，具体识别方法如下：
(1)建筑垃圾图像获取
通过摄像装置获取建筑垃圾的平面图像，或者是建筑垃圾的高度图像，也可以是平面图像和高度图像；摄像装置将获取的外观图像传输至处理器。
(2)建筑垃圾图像处理
处理器对(1)中获取的建筑垃圾外观图像进行复制，保留原始图像对复制图像进行处理；将复制图像所有像素点的亮度值乘以一个增强系数，以进行图像亮度调节，使得图像整体变亮，从而获取对亮度进行高度权重的图像。
处理器将上述进行高度权重的图像进行复制，保留原始图像对复制图像进行处理；处理器设定一个阈值，将复制图像中像素值大于阈值的像素设为目标像素，小于阈值的像素设为背景像素，将目标像素值置1，背景像素值置0，获取二值化处理图像。
处理器将上述亮度高度权重图像和二值化处理图像进行复制，保留原始图像对复制图像进行处理，将复制得的二值化处理图像作为掩膜覆盖复制得的亮度高度权重图像，剔除亮度高度权重图像中被背景像素覆盖的区域，获取目标像素覆盖的目标区域。
处理器将上述获取的目标区域进行ROI提取，具体为，处理器历遍目标区域轮廓中的每一个点，分别寻找最上、最下、最左、最右的点，取最上的点的Y坐标为Ymin，最左的点的X坐标为Xmin，最下的点的Y坐标为Ymax，最右的点的X坐标为Xmax，取以点(Xmin，Ymin)为起始顶点，点(Xmax，Ymax)为最终顶点的矩形区域为ROI区域。
(3)颜色特征和纹理特征的提取
处理器对(2)中获取的ROI图像进行复制，保留原始图像对复制图像进行处理，处理器提取复制图像的颜色特征和纹理特征。
颜色特征的提取方法为对不同颜色分量等级化后进行直方图特征提取的方法，即对每个等级的像素点个数占比进行统计，统计结果作为直方图特征，统计算法公式为：
k表示像素等级，Pk表示像素值为k的像素点个数占比，Nk表示像素值为k的像素点个数，Nf表示总像素的个数。
公式解释：历遍每个图像的每个像素点，统计图像中像素等级最小到最大的分布。如图5所示，图像中像素等级数为4(图像像素值为0,1,2，3四个等级)，则N0＝3，Nf＝16，P(k＝0)＝3/16，同理，P(k＝1)＝5/16，P(k＝2)＝1/4，P(k＝3)＝1/4。所以该建筑垃圾直方图的特征向量即为[3/16，5/16，1/4，1/4]。
此外，颜色特征的提取方法还可以为通过颜色矩特征的方式进行提取，颜色矩特征即对图像像素值进行统计，统计算法公式为：
i表示第i个颜色分量，μi、σi、si，分别表示第i个颜色分量的一阶矩、二阶矩和三阶矩，f(i，j，k)表示在第i个颜色分量重坐标为(j，k)位置的像素点的像素值；M和N分别代表图像的高度和宽度。
公式解释：对于图像的第i个颜色通道，将所有的像素的像素值相加即为像素总值，在除以像素总个数即可得到μi，将每个像素的像素值与μi的差的平方相加，除以像素总个数，即为像素的二阶矩，将每个像素的像素值与μi的差的立方相加，除以像素总个数，即为像素的三阶矩。
如图5所示，μi＝(0+1+3+2+1+3+2+0+3+2+0+1+2+1+1+3)/16＝1.5625，
σi＝[(μi-0)2+(μi-1)2+(μi-3)2+(μi-2)2+(μi-1)2+(μi-3)2+(μi-2)2+(μi-0)2+(μi-3)2+(μi-2)2+(μi-0)2+(μi-1)2+(μi-2)2+(μi-1)2+(μi-1)2+(μi-3)2](1/2)；
si，＝[(μi-0)3+(μi-1)3+(μi-3)3+(μi-2)3+(μi-1)3+(μi-3)3+(μi-2)3+(μi-0)3+(μi-3)3+(μi-2)3+(μi-0)3+(μi-1)3+(μi-2)3+(μi-1)3+(μi-1)3+(μi-3)3](1/3)。
纹理特征的提取方法为使用GLCM算法，使用具有区分性的特征值作为最终的纹理特征，特征值统计算法公式为：
x和y分别表示两个像素点的坐标，dis(x，y)表示两个像素点之间的距离；angle(x，y)代表两个像素点间的连线与水平方向的夹角；N{}代表所有满足该条件的像素点对个数，P(i，j，θ，d)代表两个像素点间满足相应相应关系的概率，NT表示所有像素点个数。
公式解释：历遍每个像素点周围与该像素点的距离为dis(x，y)，角度为angle(x，y)的像素点个数，除以所有的像素点对个数。如图5所示，满足两个点的像素值分别为3和2，距离为1，两个点的连线与水平方向的夹角为0°的个数为3组，N(3，2，1，0°)＝3，Nt＝12，P(3，2，1，0°)＝3/12。
(4)对比数据库进行识别
处理器将(3)中获取的颜色特征和纹理特征信息与建筑垃圾数据库的数据信息对比；当获取的颜色特征和纹理特征与建筑垃圾数据库中的已知建筑垃圾的数据信息相匹配，便可识别出该建筑垃圾类别。
需要说明的是，建筑垃圾数据库的建立方法为：将已知的建筑垃圾通过上述步骤(1)-(3)获取该建筑垃圾的颜色特征和纹理特征数据信息，在处理器中建立该建筑垃圾的数据目录，将获取的颜色特征和纹理特征数据信息存储在该类建筑垃圾的数据目录中。
上述建筑垃圾识别分拣设备可应用于多种场景，例如，输送装置20源源不断地输送建筑垃圾，同时反馈输送带的实时速度至处理器，摄像装置10对输送装置20上的建筑垃圾进行摄像，获取相应数据，传输至处理器进行处理。处理器整合多方面数据，准确对建筑垃圾进行定位定性，发送指令给抓取装置30进行抓取，抓取装置30根据指令运动相应位置进行抓取，根据建筑垃圾材质放置到相应的分拣箱40内。该抓取方法包括如下步骤：
步骤a、处理器控制摄像装置30寻找建筑垃圾轮廓，先找到建筑垃圾左上角的边界点作为起始点A，按右,右下,下,左下,左,左上,上,右上的顺序找相邻点中的边界点，以该点为起始点做同样的操作，直到回到A点；获取每个目标轮廓的坐标点，以组合成轮廓曲线；
步骤b、处理器对步骤a获取的轮廓曲线进行处理，剔除轮廓曲线中的无效目标，无效目标包括边界目标，重复目标和过小的目标；
其中，边界目标通过对其形状轮廓曲线的范围进行判断；
重复目标通过时间、传送带速度与目标坐标之间的关系进行判断，具体公式如下：
|x1-x2|≤σ
相机帧率为Fr,传送带速度为V，目标在连续两帧图片中的坐标为(x1，y1)和(x2，y2)，标定系数为γ，σ和τ分别为两个方向上的允许误差大小，应根据物料尺寸和物料分散程度设置为合理并且较小的值；
当连续的两个目标满足上述两个式子时，即认为这两个目标为重复目标；
过小的目标通过计算目标的像素点个数，再乘以相应的系数转化成实际的面积，设置面积阈值，面积大于阈值的目标认为是有效目标，小于阈值的目标认为是无效目标，从而实现剔除过小目标；
步骤c、处理器通过步骤b中剔除无效目标的轮廓曲线计算轮廓矩，获得轮廓的质心以及旋转角度；
计算步骤如下：
第一步，图像矩的定义如下：
其中，Mp，q即为图像的(p+q)阶矩；
第二步，根据图象矩的定义获得图像的零阶矩为：
图像的零阶矩M0，0即为目标的面积，与此同时，图像的一阶矩可以表示为：
和
M1，0为目标图像上i坐标的叠加，M0，1为目标图像上j坐标的叠加，从而可以得到图像的质心：
第三步，通过图像的二阶矩计算物体的旋转角度：
其中，
步骤d、处理器通过步骤c计算得到的建筑垃圾质心和旋转角度控制抓取装置抓取建筑垃圾。
通过上述抓取方法，处理器控制抓取装置30抓取识别后的建筑垃圾，并放置于对应的分拣箱40中，完成识别分拣。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种建筑垃圾识别分拣设备，其特征在于：包括摄像装置、处理器、输送装置、抓取装置和分拣箱；
所述输送装置的输送路径上设有暗箱；所述摄像装置部署于所述暗箱内；所述暗箱内设有光源；
所述抓取装置沿所述输送装置的输送路径设置于所述暗箱后方；所述抓取装置可抓取建筑垃圾于所述输送装置和所述分拣箱之间移动；
所述摄像装置、所述光源、所述输送装置和所述抓取装置均与所述处理器通讯连接。
2.一种建筑垃圾识别方法，其特征在于：包括如下步骤：
S100、通过摄像装置获取建筑垃圾的外观图像；
S200、处理器将S100的外观图像进行亮度调节，获取对亮度进行高度权重的图像；
S300、处理器设定一个阈值，将S200获取的图像中像素值大于阈值的像素设为目标像素，小于阈值的像素设为背景像素，将目标像素值置1，背景像素值置0，获取二值化处理图像；
S400、处理器将S300获取的图像作为掩膜处理S200获取的图像，剔除S200的图像中被背景像素覆盖的区域，获取目标像素覆盖的目标区域；
S500、处理器将S400获取的目标区域进行ROI提取，获取ROI图像；
S600、处理器对S500获取的ROI图像提取颜色特征和纹理特征；
S700、处理器将S600获取的颜色特征和纹理特征与建筑垃圾数据库对比，识别建筑垃圾种类。
3.如权利要求2所述的建筑垃圾识别方法，其特征在于：S700中建筑垃圾数据库的建立方法是将已知的建筑垃圾通过S100～S600的步骤获取颜色特征和纹理特征进行存储标识。
4.如权利要求2所述的建筑垃圾识别方法，其特征在于：S600中颜色特征的提取方法为对不同颜色分量等级化后进行直方图特征提取的方法，即对每个等级的像素点个数占比进行统计，统计结果作为直方图特征，统计算法公式为：
k表示像素等级，Pk表示像素值为k的像素点个数占比，Nk表示像素值为k的像素点个数，Nf表示总像素的个数。
5.如权利要求2所述的建筑垃圾识别方法，其特征在于：S600中颜色特征的提取方法为通过颜色矩特征的方式进行提取，颜色矩特征即对图像像素值进行统计，统计算法公式为：
i表示第i个颜色分量，μi、σi、si，分别表示第i个颜色分量的一阶矩、二阶矩和三阶矩，f(i，j，k)表示在第i个颜色分量重坐标为(j，k)位置的像素点的像素值；M和N分别代表图像的高度和宽度。
6.如权利要求2所述的建筑垃圾识别方法，其特征在于：S600中纹理特征的提取方法为使用GLCM算法，使用具有区分性的特征值作为最终的纹理特征，特征值统计算法公式为：
x和y分别表示两个像素点的坐标，dis(x，y)表示两个像素点之间的距离；angle(x，y)代表两个像素点间的连线与水平方向的夹角；N{}代表所有满足该条件的像素点对个数，P(i，j，θ，d)代表两个像素点间满足相应相应关系的概率，NT表示所有像素点个数。
7.如权利要求2所述的建筑垃圾识别方法，其特征在于：S500中获取ROI图像的方法为，处理器历遍目标区域轮廓中的每一个点，分别寻找最上、最下、最左、最右的点，取最上的点的Y坐标为Ymin，最左的点的X坐标为Xmin，最下的点的Y坐标为Ymax，最右的点的X坐标为Xmax，取以点(Xmin，Ymin)为起始顶点，点(Xmax，Ymax)为最终顶点的矩形区域为ROI区域。
8.如权利要求2所述的建筑垃圾识别方法，其特征在于：S100中的外观图像为平面图像或高度图像。
9.一种建筑垃圾识别分拣设备的抓取方法，其特征在于：具体包括如下步骤：
步骤a、处理器控制摄像装置寻找建筑垃圾轮廓，先找到建筑垃圾左上角的边界点作为起始点A，按右,右下,下,左下,左,左上,上,右上的顺序找相邻点中的边界点，以该点为起始点做同样的操作，直到回到A点；获取每个目标轮廓的坐标点，以组合成轮廓曲线；
步骤b、处理器对步骤a获取的轮廓曲线进行处理，剔除轮廓曲线中的无效目标，无效目标包括边界目标，重复目标和过小的目标；
其中，边界目标通过对其形状轮廓曲线的范围进行判断；
重复目标通过时间、传送带速度与目标坐标之间的关系进行判断，具体公式如下：
|x1-x2|≤σ
相机帧率为Fr,传送带速度为V，目标在连续两帧图片中的坐标为(x1，y1)和(x2，y2)，标定系数为γ，σ和τ分别为两个方向上的允许误差大小，应根据物料尺寸和物料分散程度设置为合理并且较小的值；
当连续的两个目标满足上述两个式子时，即认为这两个目标为重复目标；
过小的目标通过计算目标的像素点个数，再乘以相应的系数转化成实际的面积，设置面积阈值，面积大于阈值的目标认为是有效目标，小于阈值的目标认为是无效目标，从而实现剔除过小目标；
步骤c、处理器通过步骤b中剔除无效目标的轮廓曲线计算轮廓矩，获得轮廓的质心以及旋转角度；
计算步骤如下：
第一步，图像矩的定义如下：
其中，Mp，q即为图像的(p+q)阶矩；
第二步，根据图象矩的定义获得图像的零阶矩为：
图像的零阶矩M0，0即为目标的面积，与此同时，图像的一阶矩可以表示为：
和
M1，0为目标图像上i坐标的叠加，M0，1为目标图像上j坐标的叠加，从而可以得到图像的质心：
第三步，通过图像的二阶矩计算物体的旋转角度：
其中，
步骤d、处理器通过步骤c计算得到的建筑垃圾质心和旋转角度控制抓取装置抓取建筑垃圾。
CN201811557532.XA 2018-12-19 2018-12-19 一种建筑垃圾识别分拣设备、识别方法及其抓取方法 Active CN109675827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811557532.XA CN109675827B (zh) 2018-12-19 2018-12-19 一种建筑垃圾识别分拣设备、识别方法及其抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811557532.XA CN109675827B (zh) 2018-12-19 2018-12-19 一种建筑垃圾识别分拣设备、识别方法及其抓取方法

Publications (2)

Publication Number Publication Date
CN109675827A true CN109675827A (zh) 2019-04-26
CN109675827B CN109675827B (zh) 2024-03-15

Family

ID=66186890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811557532.XA Active CN109675827B (zh) 2018-12-19 2018-12-19 一种建筑垃圾识别分拣设备、识别方法及其抓取方法

Country Status (1)

Country Link
CN (1) CN109675827B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110239297A (zh) * 2019-05-27 2019-09-17 中国民航大学 一种可分离陆空两栖机器人及分离组合控制方法
CN110349216A (zh) * 2019-07-18 2019-10-18 合肥泰禾光电科技股份有限公司 货箱位置检测方法及装置
CN110516570A (zh) * 2019-08-15 2019-11-29 东莞弓叶互联科技有限公司 一种基于视觉的垃圾分类识别方法和装置
CN111768390A (zh) * 2020-07-01 2020-10-13 南京凯盛国际工程有限公司 一种基于图像识别的篦冷机红河识别方法
CN113118031A (zh) * 2021-03-31 2021-07-16 北京加隆工程机械有限公司 一种智能分拣机器人
CN115026015A (zh) * 2022-06-10 2022-09-09 东北大学 一种基于图像处理的地面垃圾检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107262387A (zh) * 2017-06-30 2017-10-20 福建南方路面机械有限公司 一种基于多种检测方式的块状固体建筑垃圾分拣系统
CN107961990A (zh) * 2017-12-27 2018-04-27 华侨大学 一种建筑垃圾分拣系统和分拣方法
CN107999399A (zh) * 2017-12-27 2018-05-08 华侨大学 基于点阵高光谱检测的建筑垃圾在线分拣系统和方法
CN207929583U (zh) * 2017-12-27 2018-10-02 华侨大学 基于点阵高光谱检测的建筑垃圾在线分拣系统
US20180286052A1 (en) * 2017-03-30 2018-10-04 4DM Inc. Object motion mapping using panchromatic and multispectral imagery from single pass electro-optical satellite imaging sensors
CN209452328U (zh) * 2018-12-19 2019-10-01 福建南方路面机械有限公司 一种建筑垃圾识别分拣设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180286052A1 (en) * 2017-03-30 2018-10-04 4DM Inc. Object motion mapping using panchromatic and multispectral imagery from single pass electro-optical satellite imaging sensors
CN107262387A (zh) * 2017-06-30 2017-10-20 福建南方路面机械有限公司 一种基于多种检测方式的块状固体建筑垃圾分拣系统
CN107961990A (zh) * 2017-12-27 2018-04-27 华侨大学 一种建筑垃圾分拣系统和分拣方法
CN107999399A (zh) * 2017-12-27 2018-05-08 华侨大学 基于点阵高光谱检测的建筑垃圾在线分拣系统和方法
CN207929583U (zh) * 2017-12-27 2018-10-02 华侨大学 基于点阵高光谱检测的建筑垃圾在线分拣系统
CN209452328U (zh) * 2018-12-19 2019-10-01 福建南方路面机械有限公司 一种建筑垃圾识别分拣设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110239297A (zh) * 2019-05-27 2019-09-17 中国民航大学 一种可分离陆空两栖机器人及分离组合控制方法
CN110349216A (zh) * 2019-07-18 2019-10-18 合肥泰禾光电科技股份有限公司 货箱位置检测方法及装置
CN110516570A (zh) * 2019-08-15 2019-11-29 东莞弓叶互联科技有限公司 一种基于视觉的垃圾分类识别方法和装置
CN110516570B (zh) * 2019-08-15 2022-09-23 广东弓叶科技有限公司 一种基于视觉的垃圾分类识别方法和装置
CN111768390A (zh) * 2020-07-01 2020-10-13 南京凯盛国际工程有限公司 一种基于图像识别的篦冷机红河识别方法
CN111768390B (zh) * 2020-07-01 2024-04-05 中材智能科技(成都)有限公司 一种基于图像识别的篦冷机红河识别方法
CN113118031A (zh) * 2021-03-31 2021-07-16 北京加隆工程机械有限公司 一种智能分拣机器人
CN115026015A (zh) * 2022-06-10 2022-09-09 东北大学 一种基于图像处理的地面垃圾检测系统

Also Published As

Publication number Publication date
CN109675827B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN109675827A (zh) 一种建筑垃圾识别分拣设备、识别方法及其抓取方法
US12006141B2 (en) Systems and methods for detecting waste receptacles using convolutional neural networks
CN110648364B (zh) 一种多维度空间固废视觉检测定位及识别方法与系统
CN206139527U (zh) 全景视觉马铃薯分选和缺陷检测装置
CN106845408A (zh) 一种复杂环境下的街道垃圾识别方法
CN108280856A (zh) 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN106000904A (zh) 一种生活垃圾自动分拣系统
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
CN108154102A (zh) 一种道路交通标志识别方法
CN110743818A (zh) 基于视觉及深度学习的垃圾分选系统、垃圾分选方法
CN110509273A (zh) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN112893159B (zh) 一种基于图像识别的煤矸石分拣方法
CN108428239A (zh) 基于图像纹理特征提取的智能割草机边界识别方法
CN105069451B (zh) 一种基于双目摄像头的车牌识别与定位方法
CN109848073A (zh) 一种分拣煤与煤矸石的设备与方法
CN113469264A (zh) 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统
CN114049557A (zh) 一种基于深度学习的垃圾分选机器人视觉识别方法
CN113213016A (zh) 一种基于ViT的垃圾识别分类算法及其装置和控制方法
CN204710739U (zh) 基于面阵的矿石快速双面成像分拣系统
CN208092786U (zh) 一种以深度卷积神经网络为基础的零件分拣系统
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN209452328U (zh) 一种建筑垃圾识别分拣设备
CN103646251B (zh) 基于嵌入式的苹果采后田间分级检测方法及系统
CN109271904A (zh) 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法
CN210161172U (zh) 一种基于深度学习的瓶罐类垃圾识别分类机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 362000 Fujian province Quanzhou Fengze District High-tech Industrial Park Sports Street No. 700

Applicant after: Fujian Nanfang pavement machinery Co.,Ltd.

Applicant after: HUAQIAO University

Address before: 362000 Fujian province Quanzhou Fengze District High-tech Industrial Park Sports Street No. 700

Applicant before: FUJIAN SOUTH HIGHWAY MACHINERY Co.,Ltd.

Applicant before: HUAQIAO University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant