CN113552636A - 一种混合垃圾分选装置及其分选识别方法 - Google Patents
一种混合垃圾分选装置及其分选识别方法 Download PDFInfo
- Publication number
- CN113552636A CN113552636A CN202110814315.XA CN202110814315A CN113552636A CN 113552636 A CN113552636 A CN 113552636A CN 202110814315 A CN202110814315 A CN 202110814315A CN 113552636 A CN113552636 A CN 113552636A
- Authority
- CN
- China
- Prior art keywords
- garbage
- metal
- robot
- camera
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000002184 metal Substances 0.000 claims abstract description 89
- 229910052755 nonmetal Inorganic materials 0.000 claims abstract description 44
- 239000000463 material Substances 0.000 claims abstract description 21
- 239000010814 metallic waste Substances 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 12
- 239000002699 waste material Substances 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000005672 electromagnetic field Effects 0.000 claims description 3
- 230000005674 electromagnetic induction Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 239000010812 mixed waste Substances 0.000 claims 8
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000004033 plastic Substances 0.000 description 5
- 229920003023 plastic Polymers 0.000 description 5
- 239000005060 rubber Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000010893 paper waste Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- -1 timber Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
- G01V3/08—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0054—Sorting of waste or refuse
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Sorting Of Articles (AREA)
Abstract
本发明公开了一种混合垃圾分选装置及其分选识别方法，包括2D相机、3D相机、金属探测器、近红外传感器、机器人1、机器人2、工控机、编码器和皮带机；2D相机、近红外传感器、3D相机、机器人1、机器人2沿工作方向依次间隔设置在皮带机上方，金属探测器设置在皮带机下方；工控机与2D相机、3D相机、金属探测器、近红外传感器、机器人1及机器人2电性连接，且编码器与工控机电性连接；2D相机、3D相机、金属探测器和机器人1对金属垃圾抓取；2D相机、3D相机、近红外传感器和机器人2对非金属垃圾抓取。本发明提高了垃圾分选的作业效率，实现了混合物料的精细化分选作业。
Description
技术领域
本发明涉及智能分选领域，具体涉及一种混合垃圾分选装置及其分选识别方法。
背景技术
在人类日常生活和生产中会产生很多种垃圾，如果不进行有效处置，会直接影响生态环境；同时，垃圾中的大量再生资源由于处置方式不当，在极大程度上会被浪费。因此，对垃圾中的再生资源进行高效筛分是当前缓解垃圾末端处置压力的重要方向。
传统的垃圾分选主要有两种分选方式：1)采用人工进行分选，在混合垃圾输送线上，通过人工将塑料、木材、金属、废纸、橡胶等物料挑选出来，但是这种方式局限在于分选误差大、效率低、人工分选成本高、工人劳动强度大，现场卫生条件差，对分拣作业人员身体健康产生巨大威胁；2)采用自动分选设备，一般是采用视觉装置识别出塑料、木材、金属、废纸、橡胶等物料，然后利用机器人将各类物料进行抓取分类，但是这种方式仅仅通过视觉装置进行识别，存在物料分类混淆、无法准确判断的情况。因此，以上问题亟需解决。
发明内容
本发明要解决的技术问题是提供一种混合垃圾分选装置及其分选识别方法，提高了垃圾分选的作业效率，减少了机械和人工分选带来的误差，实现了混合物料的精细化分选作业。
为解决上述技术问题，本发明采取如下技术方案：本发明的一种混合垃圾分选装置，其创新点在于：包括2D相机、3D相机、金属探测器、近红外传感器、机器人1、机器人2、工控机、编码器和皮带机；所述2D相机、近红外传感器、3D相机、机器人1和机器人2分别沿工作方向依次间隔设置在所述皮带机的上方，所述金属探测器设置在所述皮带机的下方；所述工控机分别与所述2D相机、3D相机、金属探测器、近红外传感器、机器人1以及机器人2电性连接，且所述编码器同轴安装在所述皮带机的滚轴上，并与所述工控机电性连接；所述2D相机、3D相机、金属探测器和机器人1形成第一套机器人系统，对金属垃圾进行抓取；所述2D相机、3D相机、近红外传感器和机器人2形成第二套机器人系统，对非金属垃圾进行分类抓取。
优选的，还包括LED光源、PLC和触摸屏；在所述2D相机的输出端以及3D相机的输出端正下方一侧还分别设有LED光源，且每一所述LED光源均设置在所述皮带机的上方；在所述皮带机上还设有PLC，且所述PLC分别与所述皮带机以及变频器电性连接，并对皮带机的速度进行控制；在所述PLC上端还设有触摸屏，并通过触摸屏来提供人工调节入口以及显示实时速度。
本发明的一种混合垃圾分选装置的分选识别方法，其创新点在于包括以下步骤：
(1)2D相机和3D相机分别获取目标垃圾图像信息和坐标信息，再依次根据目标垃圾位置排序组成数据链表，记作List0；
(2)编码器脉冲信号线接入工控机数据采集卡，并将脉冲信号转化成皮带机的转动距离；
(3)金属探测器判断目标垃圾是否为金属垃圾，再通过机器人1对金属垃圾进行抓取；
(4)当金属垃圾抓取结束后，根据步骤(1)获取的2D、3D图像信息，当剩余均为非金属垃圾时，运用近红外传感器识别其组成成分、材质，再通过机器人2进行分类抓取。
优选的，在上述步骤(1)中，2D相机拍摄目标垃圾图片以及识别目标垃圾的平面中心坐标；3D相机识别目标垃圾的轮廓以及目标垃圾的几何中心坐标；2D相机采集的目标垃圾照片中检测处有垃圾时，3D相机同步采集3D点云数据，识别目标垃圾轮廓信息。
优选的，在上述步骤(1)中，将2D相机采集的目标垃圾照片进行预处理后利用深度学习模型，即pytorch框架下的YOLOv4神经网络模型，来判断是否有垃圾并获取目标垃圾图像的坐标信息，其具体步骤为：
(1.1)将2D相机采集的目标垃圾照片输入CSPDarknet53特征提取神经网络中获得相应的卷积特征图，并通过CSP模块减少计算量以及保证准确率；
(1.2)通过Neck中的SPP模块增加主干特征的接收范围；
(1.3)FPN+PAN的结合操作通过上采样传达强语义特征以及下采样传达强定位特征，再根据其不同的主干层对不同的检测层进行相应的参数融合，获得更加准确的目标框信息；
(1.4)通过非极大值抑制算法过滤获取最后的目标框；
(1.5)当2D相机采集的图片目标框中测出有垃圾时，取出3D相机同步采集的3D点云数据，将其转换成Mat类型以x，y作为像素坐标，z作为灰度值，再通过OpenCV对Mat类型进行处理，提取出具有一定高度的点的轮廓信息。
优选的，在上述步骤(2)中，脉冲信号转化成皮带机转动距离的计算公式为：
其中，μ为编码器参数，即每转的脉冲数值；Δp为插入List0时t0的脉冲数值和发送给机器人时t1的脉冲数值的脉冲差值；G为皮带机的滚轴周长；L为目标垃圾在t0和t1两个时刻间运动的距离。
优选的，在上述步骤(3)中，实现机器人1对金属垃圾抓取的具体流程为：
(3.1)当目标垃圾中的金属垃圾经过金属探测器时，金属探测器利用电磁感应原理，在金属垃圾内部感生涡电流，涡电流再产生电磁场，反过来影响原本的磁场，进而引发金属探测器发出信号；
(3.2)金属探测器通过MODBUS协议发送数据报文到工控机内，解析得到目标垃圾是金属的概率值；再通过设定的阈值，区分是否为金属，进而修正List0中的类别信息；
(3.3)工控机通过Socket通讯，发送指定协议报文到机器人1，机器人1根据金属垃圾坐标位置、机器人抓取动作所需时间、传送带速度以及3D点云数据分析出的目标垃圾轮廓高度信息进行路径规划，旋转对应的角度，绕开不需要抓取的非金属垃圾，直接抓取金属垃圾；
(3.4)循环重复上述步骤，直至将金属垃圾分选抓取完毕。
优选的，在上述步骤(3.3)中，金属垃圾坐标位置的获取步骤为：
(3.3.1)标定完成后，将识别出的金属垃圾坐标信息以及金属探测器的坐标信息全部转换成机器人坐标系下的机器人坐标；
(3.3.2)假设x轴作为传送带传输方向，将金属探测器的x坐标和识别出金属垃圾角点x坐标进行对比，若x坐标之间的差值在1～3mm的范围之内，则提取出该金属垃圾的中心坐标点信息；
(3.3.3)假设y轴作为传送带传输方向，将金属探测器的y坐标和识别出金属垃圾角点y坐标进行对比，若y坐标之间的差值在1～3mm的范围之内，则提取出该金属垃圾的中心坐标点信息。
优选的，在上述步骤(4)中，实现机器人2对非金属垃圾抓取的具体流程为：
(4.1)当剩余的非金属垃圾经过近红外传感器时，近红外传感器利用其近红外能量来选择性吸收非金属垃圾的特定波长，进而检测非金属垃圾的组成成分和材质；
(4.2)近红外传感器传出模拟信号到工控机数据采集卡中，转换成不同波段的数据，再通过预设的配置匹配成相应的类型，进而修正List0中的类别信息；
(4.3)工控机通过Socket通讯，发送指定协议报文到机器人2，机器人2根据非金属垃圾坐标位置、机器人抓取动作所需时间、传送带速度以及3D点云数据分析出的目标垃圾轮廓高度信息进行路径规划，旋转对应的角度后抓取待分选的非金属垃圾，将不同的非金属垃圾抓取放置到相应的料框中；
(4.4)循环重复上述步骤，直至将非金属垃圾分选抓取完毕。
优选的，在上述步骤(4.3)中，非金属垃圾坐标位置的获取步骤为：
(4.3.1)标定完成后，将识别出的非金属垃圾坐标信息以及近红外传感器的坐标信息全部转换成机器人坐标系下的机器人坐标；
(4.3.2)假设x轴作为传送带传输方向，将近红外传感器的x坐标和识别出非金属垃圾角点x坐标进行对比，若x坐标之间的差值在1～3mm的范围之内，则提取出该非金属垃圾的中心坐标点信息；
(4.3.3)假设y轴作为传送带传输方向，将近红外传感器的y坐标和识别出非金属垃圾角点y坐标进行对比，若y坐标之间的差值在1～3mm的范围之内，则提取出该非金属垃圾的中心坐标点信息。
本发明的有益效果：
(1)本发明提高了垃圾分选的作业效率，减少了机械和人工分选带来的误差，实现了混合物料的精细化分选作业；
(2)本发明能够分选的混合垃圾种类丰富，涵盖金属、矿石、塑料等多种物料，经济效率高；
(3)本发明在运用2D相机和3D相机相结合的基础上，采用2套机器人并联进行分选，且搭载金属探测器和近红外传感器参与对混合垃圾进行分选，进一步实现了垃圾的精准分类；
(4)本发明应用场景较为丰富，不仅适用于垃圾分选产线，对于矿石分选、建筑垃圾分选产线也同样适用，适用范围广；
(5)本发明原理简单，可同时融合多种传感器，使得分选的物料品类更加丰富，从而提高了其使用范围。
附图说明
为了更清晰地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种混合垃圾分选装置的结构示意图。
图2为本发明一种混合垃圾分选装置的分选识别原理示意图。
图3为本发明一种混合垃圾分选装置的分选识别方法流程示意图。
具体实施方式
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。
本发明的一种混合垃圾分选装置，包括2D相机、3D相机、金属探测器、近红外传感器、机器人1、机器人2、工控机、编码器和皮带机；具体结构1、图2所示，2D相机、近红外传感器、3D相机、机器人1和机器人2分别沿工作方向依次间隔设置在皮带机的上方，金属探测器设置在皮带机的下方；工控机分别与所述2D相机、3D相机、金属探测器、近红外传感器、机器人1以及机器人2电性连接，且编码器同轴安装在皮带机的滚轴上，并与工控机电性连接；2D相机、3D相机、金属探测器和机器人1形成第一套机器人系统，对金属垃圾进行抓取；2D相机、3D相机、近红外传感器和机器人2形成第二套机器人系统，对非金属垃圾进行分类抓取。
本发明在2D相机的输出端以及3D相机的输出端正下方一侧还分别设有LED光源，且每一个LED光源均设置在皮带机的上方；如图1所示，在皮带机上还设有PLC，且PLC分别与皮带机以及变频器电性连接，并对皮带机的速度进行控制；在PLC上端还设有触摸屏，并通过触摸屏来提供人工调节入口以及显示实时速度。
本发明适用于识别混合垃圾中的可回收垃圾，如金属垃圾和非金属垃圾(木材、塑料、纸张、橡胶、玻璃、矿石等)，进而对废弃物进行资源再利用。
本发明的一种混合垃圾分选装置的分选识别方法，包括以下步骤：
(1)2D相机和3D相机分别获取目标垃圾图像信息和坐标信息，再依次根据目标垃圾位置排序组成数据链表，记作List0。
在上述步骤中，2D相机拍摄目标垃圾图片以及识别目标垃圾的平面中心坐标；3D相机识别目标垃圾的轮廓以及目标垃圾的几何中心坐标；2D相机采集的目标垃圾照片中检测处有垃圾时，3D相机同步采集3D点云数据，识别目标垃圾轮廓信息。
在上述步骤中，将2D相机采集的目标垃圾照片进行预处理后利用深度学习模型，即pytorch框架下的YOLOv4神经网络模型，来判断是否有垃圾并获取目标垃圾图像的坐标信息，其具体步骤为：
(1.1)将2D相机采集的目标垃圾照片输入CSPDarknet53特征提取神经网络中获得相应的卷积特征图，并通过CSP(Cross Stage Paritial)模块在减少计算量的同时还保证了准确率；
(1.2)通过Neck中的SPP(Spatial Pyramid Pooling)模块增加主干特征的接收范围；
(1.3)FPN(Feature Pyramid Networks)+PAN(Path Aggregation Network)的结合操作通过上采样传达强语义特征以及下采样传达强定位特征，再根据其不同的主干层对不同的检测层进行相应的参数融合，获得更加准确的目标框信息；
(1.4)通过非极大值抑制(nms)算法过滤获取最后的目标框；
(1.5)当2D相机采集的图片目标框中测出有垃圾时，取出3D相机同步采集的3D点云数据，将其转换成Mat类型以x，y作为像素坐标，z作为灰度值，再通过OpenCV对Mat类型进行处理，提取出具有一定高度的点的轮廓信息。
(2)编码器脉冲信号线接入工控机数据采集卡，并将脉冲信号转化成皮带机的转动距离。
在上述步骤中，脉冲信号转化成皮带机转动距离的计算公式为：
其中，μ为编码器参数，即每转的脉冲数值；Δp为插入List0时t0的脉冲数值和发送给机器人时t1的脉冲数值的脉冲差值；G为皮带机的滚轴周长；L为目标垃圾在t0和t1两个时刻间运动的距离。
(3)金属探测器判断目标垃圾是否为金属垃圾，再通过机器人1对金属垃圾进行抓取。
在上述步骤中，实现机器人1对金属垃圾抓取的具体流程为：
(3.1)当目标垃圾中的金属垃圾经过金属探测器时，金属探测器利用电磁感应原理，在金属垃圾内部感生涡电流，涡电流再产生电磁场，反过来影响原本的磁场，进而引发金属探测器发出信号。
(3.2)金属探测器通过MODBUS协议发送数据报文到工控机内，解析得到目标垃圾是金属的概率值；再通过设定的阈值，区分是否为金属，进而修正List0中的类别信息。
(3.3)工控机通过Socket通讯，发送指定协议报文到机器人1，机器人1根据金属垃圾坐标位置、机器人抓取动作所需时间、传送带速度以及3D点云数据分析出的目标垃圾轮廓高度信息进行路径规划，旋转对应的角度，绕开不需要抓取的非金属垃圾，直接抓取金属垃圾。
在上述步骤中，金属垃圾坐标位置的获取步骤为：
(3.3.1)标定完成后，将识别出的金属垃圾坐标信息以及金属探测器的坐标信息全部转换成机器人坐标系下的机器人坐标；
(3.3.2)假设x轴作为传送带传输方向，将金属探测器的x坐标和识别出金属垃圾角点x坐标进行对比，若x坐标之间的差值在1～3mm的范围之内，则提取出该金属垃圾的中心坐标点信息；
(3.3.3)假设y轴作为传送带传输方向，将金属探测器的y坐标和识别出金属垃圾角点y坐标进行对比，若y坐标之间的差值在1～3mm的范围之内，则提取出该金属垃圾的中心坐标点信息。
(3.4)循环重复上述步骤，直至将金属垃圾分选抓取完毕。
(4)当金属垃圾抓取结束后，根据步骤(1)获取的2D、3D图像信息，当剩余均为非金属垃圾时，运用近红外传感器识别其组成成分、材质，再通过机器人2进行分类抓取。
在上述步骤中，实现机器人2对非金属垃圾抓取的具体流程为：
(4.1)当剩余的非金属垃圾经过近红外传感器时，近红外传感器利用其近红外能量来选择性吸收非金属垃圾的特定波长，进而检测非金属垃圾的组成成分和材质。
(4.2)近红外传感器传出模拟信号到工控机数据采集卡中，转换成不同波段的数据，再通过预设的配置匹配成相应的类型，进而修正List0中的类别信息。
(4.3)工控机通过Socket通讯，发送指定协议报文到机器人2，机器人2根据非金属垃圾坐标位置、机器人抓取动作所需时间、传送带速度以及3D点云数据分析出的目标垃圾轮廓高度信息进行路径规划，旋转对应的角度后抓取待分选的非金属垃圾，将不同的非金属垃圾抓取放置到相应的料框中。
在上述步骤中，非金属垃圾坐标位置的获取步骤为：
(4.3.1)标定完成后，将识别出的非金属垃圾坐标信息以及近红外传感器的坐标信息全部转换成机器人坐标系下的机器人坐标；
(4.3.2)假设x轴作为传送带传输方向，将近红外传感器的x坐标和识别出非金属垃圾角点x坐标进行对比，若x坐标之间的差值在1～3mm的范围之内，则提取出该非金属垃圾的中心坐标点信息；
(4.3.3)假设y轴作为传送带传输方向，将近红外传感器的y坐标和识别出非金属垃圾角点y坐标进行对比，若y坐标之间的差值在1～3mm的范围之内，则提取出该非金属垃圾的中心坐标点信息。
(4.4)循环重复上述步骤，直至将非金属垃圾分选抓取完毕。
本发明的有益效果：
(1)本发明提高了垃圾分选的作业效率，减少了机械和人工分选带来的误差，实现了混合物料的精细化分选作业；
(2)本发明能够分选的混合垃圾种类丰富，涵盖金属、矿石、塑料等多种物料，经济效率高；
(3)本发明在运用2D相机和3D相机相结合的基础上，采用2套机器人并联进行分选，且搭载金属探测器和近红外传感器参与对混合垃圾进行分选，进一步实现了垃圾的精准分类；
(4)本发明应用场景较为丰富，不仅适用于垃圾分选产线，对于矿石分选、建筑垃圾分选产线也同样适用，适用范围广；
(5)本发明原理简单，可同时融合多种传感器，使得分选的物料品类更加丰富，从而提高了其使用范围。
上面所述的实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思的前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进均应落入本发明的保护范围，本发明的请求保护的技术内容，已经全部记载在技术要求书中。
Claims (10)
1.一种混合垃圾分选装置，其特征在于：包括2D相机、3D相机、金属探测器、近红外传感器、机器人1、机器人2、工控机、编码器和皮带机；所述2D相机、近红外传感器、3D相机、机器人1和机器人2分别沿工作方向依次间隔设置在所述皮带机的上方，所述金属探测器设置在所述皮带机的下方；所述工控机分别与所述2D相机、3D相机、金属探测器、近红外传感器、机器人1以及机器人2电性连接，且所述编码器同轴安装在所述皮带机的滚轴上，并与所述工控机电性连接；所述2D相机、3D相机、金属探测器和机器人1形成第一套机器人系统，对金属垃圾进行抓取；所述2D相机、3D相机、近红外传感器和机器人2形成第二套机器人系统，对非金属垃圾进行分类抓取。
2.根据权利要求1所述的一种混合垃圾分选装置，其特征在于：还包括LED光源、PLC和触摸屏；在所述2D相机的输出端以及3D相机的输出端正下方一侧还分别设有LED光源，且每一所述LED光源均设置在所述皮带机的上方；在所述皮带机上还设有PLC，且所述PLC分别与所述皮带机以及变频器电性连接，并对皮带机的速度进行控制；在所述PLC上端还设有触摸屏，并通过触摸屏来提供人工调节入口以及显示实时速度。
3.根据权利要求1～2任意一项所述的一种混合垃圾分选装置的分选识别方法，其特征在于包括以下步骤：
(1)2D相机和3D相机分别获取目标垃圾图像信息和坐标信息，再依次根据目标垃圾位置排序组成数据链表，记作List0；
(2)编码器脉冲信号线接入工控机数据采集卡，并将脉冲信号转化成皮带机的转动距离；
(3)金属探测器判断目标垃圾是否为金属垃圾，再通过机器人1对金属垃圾进行抓取；
(4)当金属垃圾抓取结束后，根据步骤(1)获取的2D、3D图像信息，当剩余均为非金属垃圾时，运用近红外传感器识别其组成成分、材质，再通过机器人2进行分类抓取。
4.根据权利要求3所述的一种混合垃圾分选装置的分选识别方法，其特征在于：在上述步骤(1)中，2D相机拍摄目标垃圾图片以及识别目标垃圾的平面中心坐标；3D相机识别目标垃圾的轮廓以及目标垃圾的几何中心坐标；2D相机采集的目标垃圾照片中检测处有垃圾时，3D相机同步采集3D点云数据，识别目标垃圾轮廓信息。
5.根据权利要求4所述的一种混合垃圾分选装置的分选识别方法，其特征在于：在上述步骤(1)中，将2D相机采集的目标垃圾照片进行预处理后利用深度学习模型，即pytorch框架下的YOLOv4神经网络模型，来判断是否有垃圾并获取目标垃圾图像的坐标信息，其具体步骤为：
(1.1)将2D相机采集的目标垃圾照片输入CSPDarknet53特征提取神经网络中获得相应的卷积特征图，并通过CSP模块减少计算量以及保证准确率；
(1.2)通过Neck中的SPP模块增加主干特征的接收范围；
(1.3)FPN+PAN的结合操作通过上采样传达强语义特征以及下采样传达强定位特征，再根据其不同的主干层对不同的检测层进行相应的参数融合，获得更加准确的目标框信息；
(1.4)通过非极大值抑制算法过滤获取最后的目标框；
(1.5)当2D相机采集的图片目标框中测出有垃圾时，取出3D相机同步采集的3D点云数据，将其转换成Mat类型以x，y作为像素坐标，z作为灰度值，再通过OpenCV对Mat类型进行处理，提取出具有一定高度的点的轮廓信息。
6.根据权利要求5所述的一种混合垃圾分选装置的分选识别方法，其特征在于：在上述步骤(2)中，脉冲信号转化成皮带机转动距离的计算公式为：
其中，μ为编码器参数，即每转的脉冲数值；Δp为插入List0时t0的脉冲数值和发送给机器人时t1的脉冲数值的脉冲差值；G为皮带机的滚轴周长；L为目标垃圾在t0和t1两个时刻间运动的距离。
7.根据权利要求6所述的一种混合垃圾分选装置的分选识别方法，其特征在于：在上述步骤(3)中，实现机器人1对金属垃圾抓取的具体流程为：
(3.1)当目标垃圾中的金属垃圾经过金属探测器时，金属探测器利用电磁感应原理，在金属垃圾内部感生涡电流，涡电流再产生电磁场，反过来影响原本的磁场，进而引发金属探测器发出信号；
(3.2)金属探测器通过MODBUS协议发送数据报文到工控机内，解析得到目标垃圾是金属的概率值；再通过设定的阈值，区分是否为金属，进而修正List0中的类别信息；
(3.3)工控机通过Socket通讯，发送指定协议报文到机器人1，机器人1根据金属垃圾坐标位置、机器人抓取动作所需时间、传送带速度以及3D点云数据分析出的目标垃圾轮廓高度信息进行路径规划，旋转对应的角度，绕开不需要抓取的非金属垃圾，直接抓取金属垃圾；
(3.4)循环重复上述步骤，直至将金属垃圾分选抓取完毕。
8.根据权利要求7所述的一种混合垃圾分选装置的分选识别方法，其特征在于：在上述步骤(3.3)中，金属垃圾坐标位置的获取步骤为：
(3.3.1)标定完成后，将识别出的金属垃圾坐标信息以及金属探测器的坐标信息全部转换成机器人坐标系下的机器人坐标；
(3.3.2)假设x轴作为传送带传输方向，将金属探测器的x坐标和识别出金属垃圾角点x坐标进行对比，若x坐标之间的差值在1～3mm的范围之内，则提取出该金属垃圾的中心坐标点信息；
(3.3.3)假设y轴作为传送带传输方向，将金属探测器的y坐标和识别出金属垃圾角点y坐标进行对比，若y坐标之间的差值在1～3mm的范围之内，则提取出该金属垃圾的中心坐标点信息。
9.根据权利要求7所述的一种混合垃圾分选装置的分选识别方法，其特征在于：在上述步骤(4)中，实现机器人2对非金属垃圾抓取的具体流程为：
(4.1)当剩余的非金属垃圾经过近红外传感器时，近红外传感器利用其近红外能量来选择性吸收非金属垃圾的特定波长，进而检测非金属垃圾的组成成分和材质；
(4.2)近红外传感器传出模拟信号到工控机数据采集卡中，转换成不同波段的数据，再通过预设的配置匹配成相应的类型，进而修正List0中的类别信息；
(4.3)工控机通过Socket通讯，发送指定协议报文到机器人2，机器人2根据非金属垃圾坐标位置、机器人抓取动作所需时间、传送带速度以及3D点云数据分析出的目标垃圾轮廓高度信息进行路径规划，旋转对应的角度后抓取待分选的非金属垃圾，将不同的非金属垃圾抓取放置到相应的料框中；
(4.4)循环重复上述步骤，直至将非金属垃圾分选抓取完毕。
10.根据权利要求9所述的一种混合垃圾分选装置的分选识别方法，其特征在于：在上述步骤(4.3)中，非金属垃圾坐标位置的获取步骤为：
(4.3.1)标定完成后，将识别出的非金属垃圾坐标信息以及近红外传感器的坐标信息全部转换成机器人坐标系下的机器人坐标；
(4.3.2)假设x轴作为传送带传输方向，将近红外传感器的x坐标和识别出非金属垃圾角点x坐标进行对比，若x坐标之间的差值在1～3mm的范围之内，则提取出该非金属垃圾的中心坐标点信息；
(4.3.3)假设y轴作为传送带传输方向，将近红外传感器的y坐标和识别出非金属垃圾角点y坐标进行对比，若y坐标之间的差值在1～3mm的范围之内，则提取出该非金属垃圾的中心坐标点信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814315.XA CN113552636A (zh) | 2021-07-19 | 2021-07-19 | 一种混合垃圾分选装置及其分选识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814315.XA CN113552636A (zh) | 2021-07-19 | 2021-07-19 | 一种混合垃圾分选装置及其分选识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113552636A true CN113552636A (zh) | 2021-10-26 |
Family
ID=78132075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110814315.XA Withdrawn CN113552636A (zh) | 2021-07-19 | 2021-07-19 | 一种混合垃圾分选装置及其分选识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113552636A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114310919A (zh) * | 2022-03-14 | 2022-04-12 | 中北大学南通智能光机电研究院 | 一种基于协作机器人与模组的智能抓取控制系统及方法 |
-
2021
- 2021-07-19 CN CN202110814315.XA patent/CN113552636A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114310919A (zh) * | 2022-03-14 | 2022-04-12 | 中北大学南通智能光机电研究院 | 一种基于协作机器人与模组的智能抓取控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112024424B (zh) | 一种人机协作式垃圾分选系统 | |
| CN110697273A (zh) | 一种基于迭代学习控制的生活垃圾智能识别与自动分类系统及方法 | |
| CN111974704A (zh) | 基于计算机视觉的垃圾分类检测系统及方法 | |
| CN109848073A (zh) | 一种分拣煤与煤矸石的设备与方法 | |
| CN113682762A (zh) | 基于机器视觉和深度学习的皮带撕裂检测的方法与系统 | |
| CN111056191A (zh) | 一种能够多垃圾分类及投递的智能垃圾收集系统 | |
| CN113552636A (zh) | 一种混合垃圾分选装置及其分选识别方法 | |
| JP2021137738A (ja) | 廃棄物選別装置 | |
| CN112044808A (zh) | 一种生活垃圾识别系统 | |
| CN212442146U (zh) | 一种生活垃圾识别系统 | |
| KR20210074929A (ko) | 딥러닝 기반 재활용 쓰레기 자동 분류 시스템 | |
| CN112090782A (zh) | 一种人机协同式垃圾分拣系统及方法 | |
| CN1474177A (zh) | 多传感器融合智能透明容器检测设备及检测方法 | |
| CN214682976U (zh) | 一种垃圾识别和自动分选装置 | |
| CN206701918U (zh) | 一种多传感器融合的垃圾分拣装置 | |
| CN116674091B (zh) | 一种混凝土搅拌站后料场骨料自动上料方法 | |
| CN213855792U (zh) | 一种煤矸石识别与分拣装置 | |
| CN213678297U (zh) | 一种可提高垃圾识别率的自动化垃圾分拣设备 | |
| Koganti et al. | Deep Learning based Automated Waste Segregation System based on degradability | |
| CN116020771A (zh) | 一种基于多源信息融合的可回收垃圾精细分选系统 | |
| CN113441421B (zh) | 一种自动垃圾分类系统和方法 | |
| CN112620165B (zh) | 垃圾分类方法 | |
| CN115026015A (zh) | 一种基于图像处理的地面垃圾检测系统 | |
| CN212830606U (zh) | 具有检测功能的自动分拣垃圾桶 | |
| CN205318622U (zh) | 基于图像的交通拥堵控制装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211026 |