CN113102266A - 一种多维度垃圾识别分类系统 - Google Patents
一种多维度垃圾识别分类系统 Download PDFInfo
- Publication number
- CN113102266A CN113102266A CN202110281406.1A CN202110281406A CN113102266A CN 113102266 A CN113102266 A CN 113102266A CN 202110281406 A CN202110281406 A CN 202110281406A CN 113102266 A CN113102266 A CN 113102266A
- Authority
- CN
- China
- Prior art keywords
- garbage
- unit
- dimensional
- conveyor belt
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 claims abstract description 125
- 230000011218 segmentation Effects 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000001228 spectrum Methods 0.000 claims abstract description 7
- 238000009434 installation Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 239000002699 waste material Substances 0.000 claims description 10
- 238000004064 recycling Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 abstract description 3
- 239000002184 metal Substances 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010819 recyclable waste Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种多维度垃圾识别分类系统，涉及垃圾分类处理领域。所述多维度垃圾分类系统包括中控单元、分拣机械臂单元、三维远距材料识别单元和传送带单元；所述三维远距材料识别单元采用双目视觉测距算法，在对垃圾目标进行精准识别的同时还能采集垃圾目标的深度图像；所述三维远距材料识别单元还通过融合视觉算法，利用Cascade Mask R‑CNN分割网络模型对垃圾目标进行边缘分割，并通过边缘分割结果帮助高光谱图像对垃圾目标进行准确的边缘划分；传送带单元还通过采用间隔送货式运动实现高光谱相机的静态精准光谱图像采集极大地提高了系统的识别能力。
Description
技术领域
本发明涉及垃圾分类处理领域，尤其涉及一种多维度垃圾识别分类系统。
背景技术
垃圾分类不是小事，对垃圾进行“精准分类”能使垃圾变废为宝，垃圾也能变成“金山银山”，如果不对垃圾进行分类处理，简单粗暴的进行集中填埋、焚烧等操作，不仅没 有将资源合理的利用起来，更会对我们的生态系统造成难以估量的后果。因此有必要提出 一种用于对垃圾进行分拣并将能回收利用的垃圾挑选出来的系统
一种多维度垃圾识别分类系统，包括控制模块，分拣机械臂，定位识别相机组，远距 离材料识别器和垃圾传送带；其中控制模块
如公开号为CN109500056A的发明专利申请，公开了一种垃圾分拣机，包括轻质物料分 离段、消毒段、重料分离段，物料经轻质物料分离段去除夹杂在其中的纸张等价值较低的 物料，消毒段对物料进行消毒，减少对工人的危害，同时降低臭味，重料分离段将物料按 照大小分离出来，大料可以直接下一步处理，而小料还需要进行人工分拣，人工分拣后才 能进行下一步处理，三个工段相互连通且相邻工段之间呈90°，这样的布置方式不需要占 用很长的空间，而且避免了不同工段之间的干扰、分离效果提升显著，并且劳动环境更为 舒适，适合推广使用，但是，由于依赖人工分拣，工作人员在冲满垃圾的环境中影响，健康难以得到保障，且对垃圾分拣仅凭工作人员的工作经验，可能存在误拣漏拣等情况发送，且效率有限，无法长时间高效率工作。
又如公开号为CN105772401A的发明专利申请，公开了一种垃圾分拣器，包括垃圾存储 箱、金属垃圾存储箱、机械手和电控系统，垃圾存储箱和金属垃圾存储箱并排设置，垃圾 存储箱和金属垃圾存储箱上方具有滑轨，机械手具有连杆，机械手通过连杆与滑轨连接， 电控系统能驱动连杆带动机械手沿滑轨滑动，机械手端部具有金属探测器，金属探测器将 信号发给电控系统，电控系统控制机械手的运动。该发明通过机械手和电控系统实现了对 金属垃圾的分拣操作，但是对于其他如矿泉水瓶、易燃易爆的电池等无法进行专项分拣， 此外，简单依靠机械手端部添加金属探测器难以实现精准有效的分拣。
故有必要提出一种新的，能不依靠人工分拣，分拣准确度高，且适用于对不同种类垃 圾进行专项分拣的垃圾。
发明内容
为解决上述技术问题，本发明提供一种多维度垃圾识别分类系统，涉及垃圾分类处理 领域。所述多维度垃圾分类系统包括中控单元、分拣机械臂单元、三维远距材料识别单元 和传送带单元；所述三维远距材料识别单元采用双目视觉测距算法，在对垃圾目标进行精 准识别的同时还能采集垃圾目标的深度图像；所述三维远距材料识别单元还通过融合视觉 算法，利用Cascade Mask R-CNN分割网络模型对垃圾目标进行边缘分割，并通过边缘分割 结果帮助高光谱图像对垃圾目标进行准确的边缘划分；传送带单元还通过采用间隔送货式 运动实现高光谱相机的静态精准光谱图像采集极大地提高了系统的识别能力。
本发明提供的一种多维度垃圾识别分类系统，包括中控单元1、分拣机械臂单元2、三 维远距材料识别单元3和传送带单元4。
具体的，所述三维远距材料识别单元3包括三维感知单元和远距材料识别单元。
具体的，所述用于将垃圾平稳运送的传送带单元4包括垃圾输入口和垃圾输出口，垃 圾从垃圾输入口通过传送带运输至垃圾输出口；在垃圾输入口处还设置有相机固定架405， 相机固定架405包括左支撑柱、右支撑柱和相机悬挂梁，所述三维远距材料识别单元3通 过相机悬挂梁悬挂在垃圾输入口上方。
具体的，所述用于对垃圾进行分拣操作的分拣机械臂单元2设置在传送带单元4的垃 圾输入口和垃圾输出口之间，并通过送带机架401固定在传送带单元4的侧壁上；所述三维感知单元和远距材料识别单元的识别端均朝向分拣机械臂单元2所在处。
具体的，所述分拣机械臂单元2、三维远距材料识别单元3和传送带单元4均与中控单 元1电性连接。
作为更加具体的解决方案，所述中控单元1包括中控主机、控制通信插口组102、控制 按键组103、显示器101和中控箱104；所述中控主机设置在中控箱104中，且控制通信插口组102、控制按键组103和显示器101均与中控主机电性连接；所述分拣机械臂单元2、 三维远距材料识别单元3和传送带单元4均通过控制通信插口组102与中控处理器电性连 接。
作为更加具体的解决方案，所述传送带单元4包括传送带机架401、电机402、第一转 动轴403、第二转动轴413和传送带404；第一转动轴403和第二转动轴413结构相同且分别安装在传送带机架的首尾口处，传送带404成首尾相接的环形设置并将第一转动轴403和第二转动轴413嵌套在内；电机402与中控单元1电性连接，且通过共轴齿轮带动第一 转动轴403和第二转动轴413做同步转动；第一转动轴403和第二转动轴413的表面设置 有多组齿条，传送带的内面上设置有多组齿槽，第一转动轴和第二转动轴通过齿条配合传 送带的齿槽达到驱动传送带转动。
作为更加具体的解决方案，所述分拣机械臂2单元包括：旋转坐台200，第一关节轴201、第一机械臂211、第二关节轴202、第二机械臂212、第三关节轴203和机械夹爪204；
所述旋转坐台201包括基座和旋转面211，基座固定在传送带机架401上，第一关节轴 201的基轴处固定在旋转坐头台的旋转面211上，第一机械臂211的一端通过轴承固定在第一关节轴201的从轴处，第一机械臂211的另一端固定在第二关节轴202的基轴处，第 二机械臂212的一端固定在第二关节轴202的从轴处，第二机械臂212的另一端与机械夹 爪204轴转连接。
作为更加具体的解决方案，所述三维远距材料识别单元3与中控单元1电性连接，所 述三维远距材料识别单元3的三维感知单元包括：相机主壳体301和RGB立体相机，所述RGB立体相机包括第一RGB相机302和第二RGB相机303，所述第一RGB相机302和第二 RGB相机303面向同一方向，光轴平行且成左右眼位对称设置。作为更加具体的解决方 案，所述远距材料识别单元设置在第一RGB相机302和第二RGB相机303轴线中心处，所 述远距材料识别单元通过高光谱相机304实现远距材料识别，所述高光谱相机304能通过 高光谱摄像头采集材料反射的光谱信息并以电信号的形式发送给中控单元1。
作为更加具体的解决方案，所述中控箱104为12U的柜式主机箱，所述中控箱104底部设置有4U高度的中控主机安装空间，所述中控主机安装在中控主机安装空间中并用可拆卸挡板105进行密封，所述中控主机安装空间上方设置有2U高度的插口安装空间，所述控制通信插口组102安装在插口安装空间中，所述插口安装空间中上方设置有4U高度的显示屏置放架，所述显示屏101通过显示屏置放架安装在中控箱104上，显示屏置放架上方设 置有键盘抽柜，所述控制按键组103置放在键盘抽柜抽面处，键盘抽柜能通过抽面处设置 的抽拉副手进行抽拉操作。
作为更加具体的解决方案，所述三维远距材料识别单元3映射在传送带单元4的图像 采集区域为U，传送带单元4以U为区域单位做间隔送货式运动，所述间隔送货式运动步骤为：
三维远距材料识别单元3采集识别区域U内所有垃圾的材料后，分拣机械臂单元2将 具备回收利用价值的垃圾分拣出来；
待分拣操作完成后，中控单元1控制传送带单元4的电机带动传送带移动，通过三维 远距材料识别单元3的RGB立体相机对移动情况进行采集；
待移至下一个U区域后，传送带单元4停止移动，三维远距材料识别单元3开始对U区域内的垃圾进行材料识别；
待分拣机械臂单元2将具备回收利用价值的垃圾全部分拣出来后，传送带单元4将移 至下一个区域；
重复以上步骤直至分拣操作结束。
作为更加具体的解决方案，所述三维远距材料识别单元3通过RGB立体相机和双目视 觉测距算法来实现对垃圾目标的识别和深度图像的采集，所述双目视觉测距算法的步骤为：
通过Cascade Mask R-CNN分割网络模型对第一RGB相机302采集到的第一RGB图像进 行像素级分割和垃圾目标识别；
通过Cascade Mask R-CNN分割网络模型对第二RGB相机303采集到的第二RGB图像进 行像素级分割和垃圾目标识别；
通过投票算法对第一RGB图像和第二RGB图像的像素级分割和垃圾目标识别结果进行 投票表决，并通过投票表决结果确定共识确认的垃圾目标；
将同一垃圾目标源像素点P在第一RGB图像和第二RGB图像中的映射像素点进行像素 点匹配，第一RGB图像的像素映射点为Pl，第二RGB图像的像素映射点为Pr，并计算像素匹配点Pl与Pr之间的像素偏移距Ds；
通过读取第一RGB相机302和第二RGB相机303的配置信息得到当前的焦距值fc和光 轴中心距T，其中，以光轴中心为原点建立三维坐标系，第一RGB相机302的光轴原点Ol坐标为(L1,L2,L3),第二RGB相机303的光轴原点Or坐标为(R1,R2,R3),
通过匹配点深度计算公式：
计算出源像素点P关于RGB立体相机的深度值 Z；
将同一垃圾目标所有像素点进行以上操作，得到垃圾目标的深度图像。
作为更加具体的解决方案，所述三维远距材料识别单元3通过融合视觉算法对垃圾的 材料进行远距识别，所述融合视觉算法的步骤为：
通过双目视觉测距算法的Cascade Mask R-CNN分割网络模型识别垃圾目标，并对垃圾 目标边缘进行像素级分割；
将垃圾目标的图像以分割边缘为边界划定目标选定区域D1；
通过高光谱相机304采集垃圾高光谱图像；
摘取目标选定区域D1在高光谱图像上的映射区域为材料识别区域D2；
提取高光谱图像在材料识别区域D2上的光谱特性，并将材料识别区域D2的光谱特性在 材料光谱库中进行检索；
通过检索结果确定材料识别区域D2中材料的组成成分；
通过材料识别区域D2材料的组成判断是否对目标选定区域D1中的垃圾目标进行分拣。
与相关技术相比较，本发明提供的用于一种多维度垃圾分类系统具有如下有益效果：
1、本发明的三维远距材料识别单元采用双目视觉测距算法，在对垃圾目标进行精准识 别的同时还能采集垃圾目标的深度图像；
2、本发明的三维远距材料识别单元还通过融合视觉算法，利用Cascade Mask R-CNN 分割网络模型对垃圾目标进行边缘分割，并通过边缘分割结果帮助高光谱图像对垃圾目标 进行准确的边缘划分；
3、本发明的传送带单元还通过采用间隔送货式运动实现高光谱相机的静态精准光谱图 像采集极大地提高了系统的识别能力。
附图说明
图1为本发明提供的一种多维度垃圾识别分类系统的较佳实施例系统装置示意图；
图2为本发明提供的一种多维度垃圾识别分类系统的较佳实施例分拣机械臂单元示意 图；
图3为本发明提供的一种多维度垃圾识别分类系统的较佳实施例三维远距材料识别单 元示意图；
图4为本发明提供的一种多维度垃圾识别分类系统的较佳实施例系统框图；
图5为本发明提供的双目视觉测距原理图。
图中标记号：1、中控单元；101、显示器；102、控制通信插口组；103、控制按键组；104、中控箱；105、可拆卸挡板；2、分拣机械臂单元；200、旋转坐台；201、第一关节轴； 211、第一机械臂；202、第二关节轴；212、第二机械臂；203、第三关节轴；204、机械夹 爪；3、三维远距材料识别单元；301、相机主壳体；302、第一RGB相机；303、第二RGB 相机；304、高光谱相机；4、传送带单元；401、传送带机架；402、电机；403、第一转动 轴；413、第二转动轴；404、传送带；405、相机固定架。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
如图1至图5所示，本发明一种多维度垃圾分类系统，包括中控单元1、分拣机械臂单 元2、三维远距材料识别单元3和传送带单元4。
作为本实施例更具体的解决方案，如图3所示，所述三维远距材料识别单元3包括三 维感知单元和远距材料识别单元。
作为本实施例更具体的解决方案，如图1所示，所述用于将垃圾平稳运送的传送带单 元4包括垃圾输入口和垃圾输出口，垃圾从垃圾输入口通过传送带运输至垃圾输出口；在 垃圾输入口处还设置有相机固定架405，相机固定架405包括左支撑柱、右支撑柱和相机悬挂梁，所述三维远距材料识别单元3通过相机悬挂梁悬挂在垃圾输入口上方。
作为本实施例更具体的解决方案，如图1所示，所述用于对垃圾进行分拣操作的分拣 机械臂单元2设置在传送带单元4的垃圾输入口和垃圾输出口之间，并通过送带机架401固定在传送带单元4的侧壁上；所述三维感知单元和远距材料识别单元的识别端均朝向分拣机械臂单元2所在处。
作为本实施例更具体的解决方案，如图4所示，所述分拣机械臂单元2、三维远距材料 识别单元3和传送带单元4均与中控单元1电性连接。
作为本实施例更具体的解决方案，如图1所示，所述中控单元1包括中控主机、控制通信插口组102、控制按键组103、显示器101和中控箱104；所述中控主机设置在中控箱 104中，且控制通信插口组102、控制按键组103和显示器101均与中控主机电性连接；所 述分拣机械臂单元2、三维远距材料识别单元3和传送带单元4均通过控制通信插口组102 与中控处理器电性连接。
作为本实施例更具体的解决方案，如图1所示，所述传送带单元4包括传送带机架401、 电机402、第一转动轴403、第二转动轴413和传送带404；第一转动轴403和第二转动轴413结构相同且分别安装在传送带机架的首尾口处，传送带404成首尾相接的环形设置并将第一转动轴403和第二转动轴413嵌套在内；电机402与中控单元1电性连接，且通过 共轴齿轮带动第一转动轴403和第二转动轴413做同步转动；第一转动轴403和第二转动 轴413的表面设置有多组齿条，传送带的内面上设置有多组齿槽，第一转动轴和第二转动 轴通过齿条配合传送带的齿槽达到驱动传送带转动。
作为更加具体的解决方案，所述分拣机械臂2单元包括：旋转坐台200，第一关节轴201、第一机械臂211、第二关节轴202、第二机械臂212、第三关节轴203和机械夹爪204。
所述旋转坐台201包括基座和旋转面211，基座固定在传送带机架401上，第一关节轴 201的基轴处固定在旋转坐头台的旋转面211上，第一机械臂211的一端通过轴承固定在第一关节轴201的从轴处，第一机械臂211的另一端固定在第二关节轴202的基轴处，第 二机械臂212的一端固定在第二关节轴202的从轴处，第二机械臂212的另一端与机械夹 爪204轴转连接。
作为本实施例更具体的解决方案，如图3所示，所述三维远距材料识别单元3与中控 单元1电性连接，所述三维远距材料识别单元3的三维感知单元包括：相机主壳体301和RGB立体相机，所述RGB立体相机包括第一RGB相机302和第二RGB相机303，所述第一 RGB相机302和第二RGB相机303面向同一方向，光轴平行且成左右眼位对称设置。
作为更加具体的解决方案，如图3所示，所述远距材料识别单元设置在第一RGB相机 302和第二RGB相机303轴线中心处，所述远距材料识别单元通过高光谱相机304实现远距材料识别，所述高光谱相机304能通过高光谱摄像头采集材料反射的光谱信息并以电信号的形式发送给中控单元1。
需要说明的是：所述高光谱相机304是设置有光谱图像传感器的相机，所述高光谱相 机能通过光谱图像传感器来采集光谱图像进而远距离识别材料，其原理可以简单概括为：
由于不同材料具备不同的分子结构，当一束连续波长的光照射到材料上，材料的分子 中基团的振动频率或转动频率和光的某一频率一至时，分子就会吸收该频率光线的能量， 并由原来的基态振/转动能级跃迁到能量较高的振/转动能级，该处波长的光就被物质吸收而 出现空缺，通过确定空缺波长就能知道该分子吸收光的频率，通过对比吸收频率和材料的 对应关系就能确定该材料的主要组成分子是什么，从而达到远距离对材料的识别。
本实施例采用IMEC公司研发的Specim FX10轻便式高光谱相机，该型号相机的空间 分辨率能达到3650x2048px，光谱分辨率100+bands，支持的光谱范围在600-970nm之间，且成本可控，故本实施例将Specim FX10轻便式高光谱相机作为对光谱图像的采集装置。
作为本实施例更具体的解决方案，如图1所示，所述中控箱104为12U的柜式主机箱， 所述中控箱104底部设置有4U高度的中控主机安装空间，所述中控主机安装在中控主机安 装空间中并用可拆卸挡板105进行密封，所述中控主机安装空间上方设置有2U高度的插口 安装空间，所述控制通信插口组102安装在插口安装空间中，所述插口安装空间中上方设 置有4U高度的显示屏置放架，所述显示屏101通过显示屏置放架安装在中控箱104上，显 示屏置放架上方设置有键盘抽柜，所述控制按键组103置放在键盘抽柜抽面处，键盘抽柜 能通过抽面处设置的抽拉副手进行抽拉操作。
作为本实施例进一步的解决方案，由于高光谱相机的光谱图像采集速率受现场具体光 线情况和场景复杂度影响，其在采集速率在200ms-20seconds之间，非固定速率且速率远 不及RGB图像采集速率，传统的传送带连续送货模式无法适用，故本实施例采用间隔送货 的模式进行垃圾的传输，所述间隔送货式运动步骤为：
三维远距材料识别单元3采集识别区域U内所有垃圾的材料后，分拣机械臂单元2将 具备回收利用价值的垃圾分拣出来；
待分拣操作完成后，中控单元1控制传送带单元4的电机带动传送带移动，通过三维 远距材料识别单元3的RGB立体相机对移动情况进行采集；
待移至下一个U区域后，传送带单元4停止移动，三维远距材料识别单元3开始对U区域内的垃圾进行材料识别；
待分拣机械臂单元2将具备回收利用价值的垃圾全部分拣出来后，传送带单元4将移 至下一个区域；
重复以上步骤直至分拣操作结束。
需要说明的是，针对不同情况三维远距材料识别单元的识别区域U的大小也不同，本 实施例是通过三维远距材料识别单元3的RGB相机来对区域进行精准划分，每个识别区域 的检测图像会设置一个末尾检测点，当传送带移动至刚好检测不到上一个区域的末尾检测 点时，传送带即已到达下一个识别区域。
在对垃圾材质进行识别以后，要想将具备回收价值的垃圾分拣出来，首先要需要对垃 圾在立体空间进行三维定位，三维定位需要具备测量景深的能力，现有测量景深的办法大 致可分为：单目视觉测距、双目视觉测距、TOF测距和结构光测距。
作为本实施例更进一步的解决方案，由于单目视觉测距技术还未成熟，在运用上还存 很多障碍，TOF测距又由于TOF是基于往返时间来进行测距测量的，对时间测量模块的精 度要求非常高，采用最先进的电子元件，也很难保障精度在毫米级别，硬件成本高，而结构光测距需要结构光测距的测距距离较短，相机主动发射的编码光容易被室外的强自然光干扰或覆盖，且会影响高光谱相机的光谱采集，故本实施选择双目视觉测距。
所述双目视觉测距是利用两个相机从左右不同视角对相同场景拍摄图片，并将拍摄图 片利用机器视觉分别提取两幅图片中的特征，并逐像素匹配最终确定两幅图片的视差，再 结合三角测量原理来获取待测点的深度距离信息。
现行技术方案可根据双目视觉测距系统中使用的两个相机的位置关系不同，分为平行 式双目视觉测距和汇聚式双目视觉测距；平行式双目视觉测距是指将两个相机光轴设置成 平行关系对同一方位进行视觉采集测距。
由于平行式双目视觉测距具备结构简单、计算难度低、能满足绝大多数应用场景等优 势，逐渐成为该领域的研究主流，本实施例就是采用平行式双目视觉测距技术来设计三维 远距材料识别单元3。
作为更加具体的解决方案，所述三维远距材料识别单元3通过RGB立体相机和双目视 觉测距算法来实现对垃圾目标的识别和深度图像的采集，所述双目视觉测距算法的步骤为：
通过Cascade Mask R-CNN分割网络模型对第一RGB相机302采集到的第一RGB图像进 行像素级分割和垃圾目标识别；
通过Cascade Mask R-CNN分割网络模型对第二RGB相机303采集到的第二RGB图像进 行像素级分割和垃圾目标识别；
通过投票算法对第一RGB图像和第二RGB图像的像素级分割和垃圾目标识别结果进行 投票表决，并通过投票表决结果确定共识确认的垃圾目标；
需要说明的是：Cascade Mask R-CNN是一种实例分割的优异模型，该模型能将输入图 像的每一个像素点做隶属分类，并根据分类做边缘分割，此模型技术文档详尽，在此不做 赘述，Cascade Mask R-CNN会对第一RGB图像和第二RGB图像进行像素级分割，在分割过 程中，由于第一RGB图像和第二RGB图像存在差异，像素点分割结果也会出现不同，有些属于目标对象的像素点会被分割到对象外，有些不属于目标对象的像素点会分割到对象内， 这种分割误差会造成大量的噪点，这时我们通过投票算法将第一RGB图像和第二RGB图像 的分割结果进行融合降噪，具体步骤是：
将第一RGB图像和第二RGB图像的像素点建立像素匹配，A点对应第一RGB图像的像素 点为A1,A点对应第二RGB图像的像素点为A2；
分别对A1和A2进行像素点分割；
若A1和A2分割结果相同则对像素点进行保留，若不同则舍弃；
对图像中所有像素点均执行上述操作。
如图5所示，将同一垃圾目标源像素点P在第一RGB图像和第二RGB图像中的映射像素点进行像素点匹配，第一RGB图像的像素映射点为Pl，第二RGB图像的像素映射点为Pr， 并计算像素匹配点Pl与Pr之间的像素偏移距Ds；
通过读取第一RGB相机302和第二RGB相机303的配置信息得到当前的焦距值fc和光 轴中心距T，其中，以光轴中心为原点建立三维坐标系，第一RGB相机302的光轴原点Ol坐标为(L1,L2,L3),第二RGB相机303的光轴原点Or坐标为(R1,R2,R3),
通过匹配点深度计算公式：
计算出源像素点P关于RGB立体相机的深度值 Z；
将同一垃圾目标所有像素点进行以上操作，得到垃圾目标的深度图像。
作为更加具体的解决方案，所述三维远距材料识别单元3通过融合视觉算法对垃圾的 材料进行远距识别，所述融合视觉算法的步骤为：
通过双目视觉测距算法的Cascade Mask R-CNN分割网络模型识别垃圾目标，并对垃圾 目标边缘进行像素级分割；
将垃圾目标的图像以分割边缘为边界划定目标选定区域D1；
通过高光谱相机(304)采集垃圾高光谱图像；
摘取目标选定区域D1在高光谱图像上的映射区域为材料识别区域D2；
提取高光谱图像在材料识别区域D2上的光谱特性，并将材料识别区域D2的光谱特性在 材料光谱库中进行检索；
通过检索结果确定材料识别区域D2中材料的组成成分；
通过材料识别区域D2材料的组成判断是否对目标选定区域D1中的垃圾目标进行分拣。
需要说明的是：由于高光谱相机304采集到的垃圾高光谱图像是整个区域U内的高光 谱图像，当对某一具体垃圾目标进行远距材料识别时，需精准框定垃圾目标在高光谱图像 中的位置，本实施例采用的是通过Cascade Mask R-CNN分割网络模型对RGB图像中的垃圾 目标做边缘分割，通过边缘分割提取垃圾目标的边缘像素点，将边缘像素点与高光谱图像 建立像素点匹配，通过像素点匹配从而精准框定垃圾目标在高光谱图像中的位置，最终实 现对垃圾目标材料的精准识别。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说 明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领 域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种多维度垃圾分类系统，其特征在于，包括中控单元(1)、分拣机械臂单元(2)、三维远距材料识别单元(3)和传送带单元(4)；
所述三维远距材料识别单元(3)包括三维感知单元和远距材料识别单元；
所述用于将垃圾平稳运送的传送带单元(4)包括垃圾输入口和垃圾输出口，垃圾从垃圾输入口通过传送带运输至垃圾输出口；在垃圾输入口处还设置有相机固定架(405)，相机固定架(405)包括左支撑柱、右支撑柱和相机悬挂梁，所述三维远距材料识别单元(3)通过相机悬挂梁悬挂在垃圾输入口上方；
所述用于对垃圾进行分拣操作的分拣机械臂单元(2)设置在传送带单元(4)的垃圾输入口和垃圾输出口之间，并通过传送带机架(401)固定在传送带单元(4)的侧壁上；所述三维感知单元和远距材料识别单元的识别端均朝向分拣机械臂单元(2)所在处；
所述分拣机械臂单元(2)、三维远距材料识别单元(3)和传送带单元(4)均与中控单元(1)电性连接。
2.根据权利要求1所述的一种多维度垃圾分类系统，其特征在于，所述中控单元(1)包括中控主机、控制通信插口组(102)、控制按键组(103)、显示器(101)和中控箱(104)；所述中控主机设置在中控箱(104)中，且控制通信插口组(102)、控制按键组(103)和显示器(101)均与中控主机电性连接；所述分拣机械臂单元(2)、三维远距材料识别单元(3)和传送带单元(4)均通过控制通信插口组(102)与中控处理器电性连接。
3.根据权利要求1所述的一种多维度垃圾分类系统，其特征在于，所述传送带单元(4)包括传送带机架(401)、电机(402)、第一转动轴(403)、第二转动轴(413)和传送带(404)；第一转动轴(403)和第二转动轴(413)结构相同且分别安装在传送带机架的首尾口处，传送带(404)成首尾相接的环形设置并将第一转动轴(403)和第二转动轴(413)嵌套在内；电机(402)与中控单元(1)电性连接，且通过共轴齿轮带动第一转动轴(403)和第二转动轴(413)做同步转动；第一转动轴(403)和第二转动轴(413)的表面设置有多组齿条，传送带的内面上设置有多组齿槽，第一转动轴和第二转动轴通过齿条配合传送带的齿槽达到驱动传送带转动。
4.根据权利要求1所述的一种多维度垃圾分类系统，其特征在于，所述分拣机械臂(2)单元包括：旋转坐台(200)，第一关节轴(201)、第一机械臂(211)、第二关节轴(202)、第二机械臂(212)、第三关节轴(203)和机械夹爪(204)；
所述旋转坐台(201)包括基座和旋转面(211)，基座固定在传送带机架(401)上，第一关节轴(201)的基轴处固定在旋转坐头台的旋转面(211)上，第一机械臂(211)的一端通过轴承固定在第一关节轴(201)的从轴处，第一机械臂(211)的另一端固定在第二关节轴(202)的基轴处，第二机械臂(212)的一端固定在第二关节轴(202)的从轴处，第二机械臂(212)的另一端与机械夹爪(204)轴转连接。
5.根据权利要求1所述的一种多维度垃圾分类系统，其特征在于，所述三维远距材料识别单元(3)与中控单元(1)电性连接，所述三维远距材料识别单元(3)的三维感知单元包括：相机主壳体(301)和RGB立体相机，所述RGB立体相机包括第一RGB相机(302)和第二RGB相机(303)，所述第一RGB相机(302)和第二RGB相机(303)面向同一方向，光轴平行且成左右眼位对称设置。
6.根据权利要求4所述的一种多维度垃圾分类系统，其特征在于，所述远距材料识别单元设置在第一RGB相机(302)和第二RGB相机(303)轴线中心处，所述远距材料识别单元通过高光谱相机(304)实现远距材料识别，所述高光谱相机(304)能通过高光谱摄像头采集材料反射的光谱信息并以电信号的形式发送给中控单元(1)。
7.根据权利要求2所述的一种多维度垃圾分类系统，其特征在于，所述中控箱(104)为12U的柜式主机箱，所述中控箱(104)底部设置有4U高度的中控主机安装空间，所述中控主机安装在中控主机安装空间中并用可拆卸挡板(105)进行密封，所述中控主机安装空间上方设置有2U高度的插口安装空间，所述控制通信插口组(102)安装在插口安装空间中，所述插口安装空间中上方设置有4U高度的显示屏置放架，所述显示屏(101)通过显示屏置放架安装在中控箱(104)上，显示屏置放架上方设置有键盘抽柜，所述控制按键组(103)置放在键盘抽柜抽面处，键盘抽柜能通过抽面处设置的抽拉副手进行抽拉操作。
8.根据权利要求1所述的一种多维度垃圾分类系统，其特征在于，所述三维远距材料识别单元(3)映射在传送带单元(4)的图像采集区域为U，传送带单元(4)以U为区域单位做间隔送货式运动，所述间隔送货式运动步骤为：
三维远距材料识别单元(3)采集识别区域U内所有垃圾的材料后，分拣机械臂单元(2)将具备回收利用价值的垃圾分拣出来；
待分拣操作完成后，中控单元(1)控制传送带单元(4)的电机带动传送带移动，通过三维远距材料识别单元(3)的RGB立体相机对移动情况进行采集；
待移至下一个U区域后，传送带单元(4)停止移动，三维远距材料识别单元(3)开始对U区域内的垃圾进行材料识别；
待分拣机械臂单元(2)将具备回收利用价值的垃圾全部分拣出来后，传送带单元(4)将移至下一个区域；
重复以上步骤直至分拣操作结束。
9.根据权利要求1所述的一种多维度垃圾分类系统，其特征在于，所述三维远距材料识别单元(3)通过RGB立体相机和双目视觉测距算法来实现对垃圾目标的识别和深度图像的采集，所述双目视觉测距算法的步骤为：
通过Cascade Mask R-CNN分割网络模型对第一RGB相机(302)采集到的第一RGB图像进行像素级分割和垃圾目标识别；
通过Cascade Mask R-CNN分割网络模型对第二RGB相机(303)采集到的第二RGB图像进行像素级分割和垃圾目标识别；
通过投票算法对第一RGB图像和第二RGB图像的像素级分割和垃圾目标识别结果进行投票表决，并通过投票表决结果确定共识确认的垃圾目标；
将同一垃圾目标源像素点P在第一RGB图像和第二RGB图像中的映射像素点进行像素点匹配，第一RGB图像的像素映射点为Pl，第二RGB图像的像素映射点为Pr，并计算像素匹配点Pl与Pr之间的像素偏移距Ds；
通过读取第一RGB相机(302)和第二RGB相机(303)的配置信息得到当前的焦距值fc和光轴中心距T，其中，以光轴中心为原点建立三维坐标系，第一RGB相机(302)的光轴原点Ol坐标为(L1,L2,L3),第二RGB相机(303)的光轴原点Or坐标为
通过匹配点深度计算公式：
计算出源像素点P关于RGB立体相机的深度值Z；
将同一垃圾目标所有像素点进行以上操作，得到垃圾目标的深度图像。
10.根据权利要求1所述的一种多维度垃圾分类系统，其特征在于，所述三维远距材料识别单元(3)通过融合视觉算法对垃圾目标的材料进行精准的远距识别，所述融合视觉算法的步骤为：
通过双目视觉测距算法的Cascade Mask R-CNN分割网络模型识别垃圾目标，并对垃圾目标边缘进行像素级分割；
将垃圾目标的图像以分割边缘为边界划定目标选定区域D1；
通过高光谱相机(304)采集垃圾高光谱图像；
摘取目标选定区域D1在高光谱图像上的映射区域为材料识别区域D2；
提取高光谱图像在材料识别区域D2上的光谱特性，并将材料识别区域D2的光谱特性在材料光谱库中进行检索；
通过检索结果确定材料识别区域D2中材料的组成成分；
通过材料识别区域D2材料的组成判断是否对目标选定区域D1中的垃圾目标进行分拣。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110281406.1A CN113102266A (zh) | 2021-03-16 | 2021-03-16 | 一种多维度垃圾识别分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110281406.1A CN113102266A (zh) | 2021-03-16 | 2021-03-16 | 一种多维度垃圾识别分类系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113102266A true CN113102266A (zh) | 2021-07-13 |
Family
ID=76711378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110281406.1A Pending CN113102266A (zh) | 2021-03-16 | 2021-03-16 | 一种多维度垃圾识别分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113102266A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114147038A (zh) * | 2021-12-09 | 2022-03-08 | 四川大学 | 一种大型自动垃圾分类系统及方法 |
| CN114682521A (zh) * | 2022-04-19 | 2022-07-01 | 江苏安方电力科技有限公司 | 一种基于输送线上物料暂存分拣装置 |
| CN115147703A (zh) * | 2022-07-28 | 2022-10-04 | 广东小白龙环保科技有限公司 | 一种基于GinTrans网络的垃圾分割方法及系统 |
| CN116841215A (zh) * | 2023-08-29 | 2023-10-03 | 天津航毅达科技有限公司 | 一种基于数控机床加工优化的运动控制方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE432128T1 (de) * | 2003-09-20 | 2009-06-15 | Qinetiq Ltd | Vorrichtung und verfahren zur klassifizierung von objekten in einem abfallstrom |
| US20100308145A1 (en) * | 2007-11-13 | 2010-12-09 | Veolia Proprete | Automatic waste treatment process |
| CN104148300A (zh) * | 2014-01-24 | 2014-11-19 | 北京聚鑫跃锋科技发展有限公司 | 基于机器视觉的垃圾分拣方法与系统 |
| CN105627932A (zh) * | 2015-12-31 | 2016-06-01 | 零度智控（北京）智能科技有限公司 | 一种基于双目视觉的测距方法及装置 |
| CN209849342U (zh) * | 2019-03-05 | 2019-12-27 | 福建省嘉泰智能装备有限公司 | 一种检测手机壳商标设备 |
| CN111046950A (zh) * | 2019-12-11 | 2020-04-21 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、存储介质和电子装置 |
| CN212442146U (zh) * | 2020-08-24 | 2021-02-02 | 华侨大学 | 一种生活垃圾识别系统 |
-
2021
- 2021-03-16 CN CN202110281406.1A patent/CN113102266A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE432128T1 (de) * | 2003-09-20 | 2009-06-15 | Qinetiq Ltd | Vorrichtung und verfahren zur klassifizierung von objekten in einem abfallstrom |
| US20100308145A1 (en) * | 2007-11-13 | 2010-12-09 | Veolia Proprete | Automatic waste treatment process |
| CN104148300A (zh) * | 2014-01-24 | 2014-11-19 | 北京聚鑫跃锋科技发展有限公司 | 基于机器视觉的垃圾分拣方法与系统 |
| CN105627932A (zh) * | 2015-12-31 | 2016-06-01 | 零度智控（北京）智能科技有限公司 | 一种基于双目视觉的测距方法及装置 |
| CN209849342U (zh) * | 2019-03-05 | 2019-12-27 | 福建省嘉泰智能装备有限公司 | 一种检测手机壳商标设备 |
| CN111046950A (zh) * | 2019-12-11 | 2020-04-21 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、存储介质和电子装置 |
| CN212442146U (zh) * | 2020-08-24 | 2021-02-02 | 华侨大学 | 一种生活垃圾识别系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114147038A (zh) * | 2021-12-09 | 2022-03-08 | 四川大学 | 一种大型自动垃圾分类系统及方法 |
| CN114682521A (zh) * | 2022-04-19 | 2022-07-01 | 江苏安方电力科技有限公司 | 一种基于输送线上物料暂存分拣装置 |
| CN115147703A (zh) * | 2022-07-28 | 2022-10-04 | 广东小白龙环保科技有限公司 | 一种基于GinTrans网络的垃圾分割方法及系统 |
| CN115147703B (zh) * | 2022-07-28 | 2023-11-03 | 广东小白龙环保科技有限公司 | 一种基于GinTrans网络的垃圾分割方法及系统 |
| CN116841215A (zh) * | 2023-08-29 | 2023-10-03 | 天津航毅达科技有限公司 | 一种基于数控机床加工优化的运动控制方法和系统 |
| CN116841215B (zh) * | 2023-08-29 | 2023-11-28 | 天津航毅达科技有限公司 | 一种基于数控机床加工优化的运动控制方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113102266A (zh) | 一种多维度垃圾识别分类系统 | |
| CN104063873B (zh) | 一种基于压缩感知的轴套类零件表面缺陷在线检测方法 | |
| CN102589516B (zh) | 一种基于双目线扫描摄像机的动态距离测量系统 | |
| CN111216124B (zh) | 基于融入全局视觉和局部视觉的机器人视觉引导方法和装置 | |
| CN209289269U (zh) | 一种基于双目立体视觉定位识别的智能垃圾分类机器人 | |
| CN103706568A (zh) | 基于机器视觉的机器人分拣系统及方法 | |
| CN106269548A (zh) | 一种物体自动分拣方法及其装置 | |
| CN101551907B (zh) | 一种多照相机自动化高精度标定方法 | |
| CN107421722A (zh) | 基于ccd相机像增强器调制传递函数测试方法及系统 | |
| CN105690393A (zh) | 一种基于机器视觉的四轴并联机器人分拣系统及其分拣方法 | |
| CN210071686U (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN109454004B (zh) | 机器人扫描分拣系统及方法 | |
| CN105269403A (zh) | 一种检测系统及检测方法 | |
| JP2024016293A (ja) | 廃棄物選別装置 | |
| CN103398669A (zh) | 一种用于测量自由曲面的多轴联动视觉检测方法和设备 | |
| CN110044921A (zh) | 锂电池外观缺陷检测系统和方法 | |
| CN111551559A (zh) | 一种基于多目视觉系统的lcd液晶屏缺陷检测方法 | |
| CN106018415A (zh) | 基于显微视觉的微小零件质量检测系统 | |
| CN113884510A (zh) | 一种3d玻璃盖板外观图像的采集方法 | |
| CN106000903B (zh) | 一种用于检测织布机布铗刀口缝隙的非接触式检测系统及方法 | |
| CN106645045A (zh) | 一种荧光光学显微成像中基于tdi‑ccd的双向扫描成像方法 | |
| CN206832700U (zh) | 一种基于红外线测距传感器的缺陷检测装置 | |
| EP4111277A1 (en) | System and method for controlling automatic inspection of articles | |
| CN209803021U (zh) | Vr眼镜的检测设备及清洁设备 | |
| CN115164751A (zh) | 一种铆接孔径尺寸检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210713 |