CN113351631A - 一种光电智能垃圾分拣小车系统 - Google Patents

一种光电智能垃圾分拣小车系统 Download PDF

Info

Publication number
CN113351631A
CN113351631A CN202110758894.0A CN202110758894A CN113351631A CN 113351631 A CN113351631 A CN 113351631A CN 202110758894 A CN202110758894 A CN 202110758894A CN 113351631 A CN113351631 A CN 113351631A
Authority
CN
China
Prior art keywords
unit
module
garbage
control system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110758894.0A
Other languages
English (en)
Inventor
李亿俍
卢继华
陈子健
刘国栋
冯立辉
吴浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110758894.0A priority Critical patent/CN113351631A/zh
Publication of CN113351631A publication Critical patent/CN113351631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B09—DISPOSAL OF SOLID WASTE; RECLAMATION OF CONTAMINATED SOIL
    • B09B—DISPOSAL OF SOLID WASTE
    • B09B3/00—Destroying solid waste or transforming solid waste into something useful or harmless
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F9/00—Transferring of refuse between vehicles or containers with intermediate storage or pressing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种光电智能垃圾分拣小车系统，属于垃圾分类及机械智能控制技术领域。包括传感器模块、信息处理模块、控制系统模块以及运动模块；传感器模块包括相机单元、IMU单元、激光雷达以及光电编码器；信息处理模块包括识别处理单元、回收识别单元以及卡尔曼滤波处理单元；控制系统模块包括任务规划子模块、底层驱动单元和通信单元；任务规划子模块包括垃圾识别定位单元、垃圾拾取判决单元和导航与路径规划单元；运动模块包括机械臂、运动底盘单元；传感器模块与信息处理模块相连，信息处理模块和控制系统模块相连，控制系统模块与运动模块相连。所述系统使用融合定位与导航，大大提高了定位精度，提高识别与夹取的精准度，且具备鲁棒性。

Description

一种光电智能垃圾分拣小车系统
技术领域
本发明涉及一种光电智能垃圾分拣小车系统，属于垃圾分类及机械智能控制技术领域。
背景技术
按一定规定或标准将垃圾分类储存、投放和搬运，将垃圾转变成公共资源，提高垃圾的资源价值和经济价值，可以为国民经济提供了巨大经济、社会、生态效益。在城市中，垃圾主要分布在道路和小区内，这些区域直接和居民住行相关联，垃圾的识别检测显得非常重要。随着社会的不断进步和人民生活水平的日益提高，对生活环境的要求也越来越高，也对垃圾的处理技术提出了更高要求，目前垃圾分类是对垃圾处理提出的新要求，不同型号的垃圾分拣小车系统被广泛的使用到垃圾处理的各个领域。垃圾资源回收再利用的重要环节是将垃圾的拾取、装载、分离和分类，然后根据分离出来的垃圾按照其特性加以利用，现有的垃圾分类只是简单的依赖于人工，人工作业效率低且容易出错，无法满足城市垃圾资源化的高要求。
本发明提出了一种光电智能垃圾分拣小车系统，采用激光雷达与IMU作为主要传感器，利用2DSLAM进行地图构建与定位，最大化减小垃圾移动对于定位的影响，再结合IMU与光电编码器的信息，使用卡尔曼滤波进行多传感器的信息融合，以光电编码器与激光SLAM消除IMU的累积误差；通过深度神经网络对垃圾进行特征提取和识别并记录垃圾在相机坐标下的位置。小车具有结构简单、便于操作的优势，降低人力操作。
发明内容
本发明的目的在于针对现有垃圾分类小车存在操作繁琐、缺乏协作以及效率有待提高的技术现状，提出了一种光电智能垃圾分拣小车系统。
为了实现上述目的，本发明采取的技术方案如下：
所述光电智能垃圾分拣小车系统，包括传感器模块、信息处理模块、控制系统模块以及运动模块；
其中，传感器模块包括相机单元、IMU单元、激光雷达以及光电编码器；
信息处理模块包括识别处理单元、回收区识别单元以及卡尔曼滤波处理单元；
控制系统模块包括任务规划子模块、底层驱动单元和通信单元；
任务规划子模块包括垃圾识别定位单元、垃圾拾取判决单元和导航与路径规划单元；
运动模块包括机械臂、运动底盘单元；
所述光电智能垃圾分拣小车系统中各模块的连接如下：
传感器模块与信息处理模块相连，信息处理模块和控制系统模块相连，控制系统模块与运动模块相连。传感器模块与信息处理模块相连，具体为：传感器模块的相机单元与信息处理模块的识别处理单元和回收区识别单元相连；传感器的IMU单元、激光雷达、光电编码器和信息处理模块的卡尔曼滤波单元相连；
信息处理模块和控制系统模块相连，具体为：信息处理模块的识别处理单元与控制系统模块的垃圾识别定位单元相连；回收区别单元与导航路径规划单元相连；卡尔曼滤波单元与导航路径规划单元和通信单元均相连；
其中，在控制系统模块内部的任务规划模块中，垃圾识别定位单元与夹取放置判决单元相连；导航路径规划单元与夹取放置判决单元相连；
同时，底层驱动单元与任务规划模块的导航路径规划单元相连，通信单元与任务规划模块的夹取放置判决单元相连；
控制系统模块与运动模块相连，具体为：控制系统模块的底层驱动模块与运动模块的底盘运动模块相连；夹取放置判决单元与机械臂单元相连；
一种光电智能垃圾分拣小车系统各模块的安装及工作如下：
传感器模块中相机单元中的摄像头接收控制系统模块的信息，对现场图像进行采集；信息处理模块的识别处理单元或回收区识别单元对采集信息进行处理；光电编码器用来获取小车当前的状态信息，联合激光雷达和IMU单元在信息处理模块进行2dSLAM算法进行建图与定位；
信息处理模块接收来自传感器模块的信息，其中包括：对垃圾进行特征提取和识别并记录相机坐标下的位置；激光雷达与IMU进行地图构建与定位；结合IMU与光电编码器的信息；回收区域的识别采用传统的颜色识别等，再将这些信息传递给控制系统模块；
控制系统模块置于运动底盘单元内，是整个系统的主控，处理并发出控制信息，发出执行指令及内部通信。接受到信息处理模块的数据后，任务规划模块根据垃圾及垃圾桶位置开始规划路径，同时，夹取放置判决单元确定小车是实行夹取或者放置垃圾的动作，并将底盘运动的驱动信号和机械臂的动作信息发动给运动模块；
运动模块在控制系统模块做出处理后，接收发出的驱动指令，该指令驱动底盘单元，进而控制对应结构进行运动根据任务规划模块提供的路径信息，实现移动、转向、避障；同时接受夹取放置指令，通过机械臂实现垃圾的夹取和放置动作。
所述可控捡球小车系统的工作过程，包括如下步骤：
步骤1.初始化垃圾分拣小车系统，包括摄像头初始化、机械臂及机械爪初始化；
步骤2.控制系统模块启动指令，通信单元将指令传递给传感器模块的相机单元、激光雷达、IMU单元，通过相机单元摄像头开始采集信息，获取垃圾图像，激光雷达开始获取空间位置信息，确定相机坐标系与激光雷达坐标系之间的位置关系，并将信息传递给信息处理模块，具体为：
步骤2.1通过相机单元摄像头开始采集信息，获取目标图像，所述目标图像中包括垃圾、垃圾桶；
步骤2.2.激光雷达开始获取空间位置信息，确定相机坐标系与激光雷达坐标系之间的位置关系，并将信息传递给信息处理模块；
步骤3.信息处理模块将步骤2的信息进行处理，将垃圾的分布位置进行准确定位，并将准确定位后的垃圾的位置映射到地图上，并将信息发送给控制系统模块；
步骤4.控制系统模块通过任务规划模块开始规划运行路线，对运动模块发出驱动指令；底盘运动单元接收到驱动信号，小车开始按照路线运行到垃圾的位置；
步骤5.运动单元根据拾取指令让机械臂拾取多个垃圾，并依据任务规划模块开始规划运行路线，返回垃圾回收点；
步骤6.运回至垃圾处理点后，信息处理模块根据识别处理单元中的目标检测算法对所述目标图像中的垃圾进行分类和识别；具体为通过实际图像与多种模型的对比判断出图像中是否存在其中的一个或多个垃圾；
步骤7.通过相机单元识别垃圾桶颜色，通过控制系统模块发出指令将分类好的垃圾扔回到指定的垃圾桶中；
步骤8.完成一次垃圾回收后，继续搜寻垃圾。
有益效果
本发明提出的一种光电智能垃圾分拣小车系统，与现有垃圾分类车相比，具有如下有益效果：
1.所述光电智能垃圾分拣小车系统，将激光SLAM得到的位姿信息与IMU加速度积分得到的位姿信息通过EKF进行融合，将融合得到的信息用于定位与导航，能大大提高小车的定位精度，提高识别与夹取的精准度；
2.本发明所述光电智能垃圾分拣小车系统设计以光电编码器测量车轮转速进而积分获得位移，以此作为消除IMU累积误差的备用手段，提高系统鲁棒性。通过通讯系统的节点信息发布与程序控制，灵活获取位姿与视觉信息，做到综合利用传感器信息控制小车与机械臂运动。
附图说明
图1是本发明一种光电智能垃圾分拣小车系统的组成示意图；
图2是本发明一种光电智能垃圾分拣小车系统的结构示意图；
图3是本发明所述光电智能垃圾分拣小车系统具体实施时的工作过程。
具体实施方式
下面结合附图及实施例对本发明一种光电智能垃圾分拣小车系统进行详细说明。
实施例1
如图1所示，为一种光电智能垃圾分拣小车系统的结构示意图。由图1可见，所述光电智能垃圾分拣小车系统，包括传感器模块、信息处理模块、控制系统模块以及运动模块；
其中，传感器模块包括相机单元、IMU单元、激光雷达以及光电编码器；
信息处理模块包括识别处理单元、回收区识别单元以及卡尔曼滤波处理单元；
控制系统模块包括任务规划子模块、底层驱动单元和通信单元；
任务规划子模块包括垃圾识别定位单元、垃圾拾取判决单元和导航与路径规划单元；
运动模块包括机械臂、运动底盘单元；
所述光电智能垃圾分拣小车系统中各模块的连接如下：
传感器模块与信息处理模块相连，信息处理模块和控制系统模块相连，控制系统模块与运动模块相连。传感器模块与信息处理模块相连，具体为：传感器模块的相机单元与信息处理模块的识别处理单元和回收区识别单元相连；传感器的IMU单元、激光雷达、光电编码器和信息处理模块的卡尔曼滤波单元相连；
信息处理模块和控制系统模块相连，具体为：信息处理模块的识别处理单元与控制系统模块的垃圾识别定位单元相连；回收区别单元与导航路径规划单元相连；卡尔曼滤波单元与导航路径规划单元和通信单元均相连；
其中，在控制系统模块内部的任务规划模块中，垃圾识别定位单元与夹取放置判决单元相连；导航路径规划单元与夹取放置判决单元相连。同时，底层驱动单元与任务规划模块的导航路径规划单元相连，通信单元与任务规划模块的夹取放置判决单元相连；
控制系统模块与运动模块相连，具体为：控制系统模块的底层驱动模块与运动模块的底盘运动模块相连；夹取放置判决单元与机械臂单元相连；
一种光电智能垃圾分拣小车系统各模块的安装及工作如下：
传感器模块中相机单元中的摄像头接收控制系统模块的信息，对现场图像进行采集；信息处理模块的识别处理单元或回收区识别单元对采集信息进行处理；光电编码器用来获取小车当前的状态信息，联合激光雷达和IMU单元在信息处理模块进行2dSLAM算法进行建图与定位；
信息处理模块接收来自传感器模块的信息，其中包括：对垃圾进行特征提取和识别并记录相机坐标下的位置；激光雷达与IMU进行地图构建与定位；结合IMU与光电编码器的信息；回收区域的识别采用传统的颜色识别等，再将这些信息传递给控制系统模块；
控制系统模块置于运动底盘单元内，是整个系统的主控，处理并发出控制信息，发出执行指令及内部通信。接受到信息处理模块的数据后，任务规划模块根据垃圾及垃圾桶位置开始规划路径，同时，夹取放置判决单元确定小车是实行夹取或者放置垃圾的动作，并将底盘运动的驱动信号和机械臂的动作信息发动给运动模块；
运动模块在控制系统模块做出处理后，接收发出的驱动指令，该指令驱动底盘单元，进而控制对应结构进行运动根据任务规划模块提供的路径信息，实现移动、转向、避障；同时接受夹取放置指令，通过机械臂实现垃圾的夹取和放置动作。
所述可控捡球小车有如下2种工作模式；正常工作模式、多次工作模块可供选择，多次工作模式步骤如下：
步骤A.初始化分拣小车系统，包括相机初始化状态和机械臂状态；
步骤B.控制系统模块启动指令，通信单元将指令传递给传感器模块的相机单元、激光雷达、IMU单元；
步骤B.1通过相机单元摄像头开始采集信息，获取目标图像，所述目标图像中包括垃圾、垃圾桶等；
步骤B.2.激光雷达开始获取空间位置信息，确定相机坐标系与激光雷达坐标系之间的位置关系，并将信息传递给信息处理模块；
步骤C.信息处理模块将步骤2的信息进行处理，将垃圾的分布位置进行准确定位，并将准确定位后的垃圾的位置映射到地图上，并将信息发送给控制系统模块；
步骤D.控制系统模块通过任务规划模块开始规划运行路线，对运动模块发出驱动指令；底盘运动单元接收到驱动信号，小车开始按照路线运行到垃圾的位置；
同时，在小车运行过程中，可利用相机单元和IMU单元得到的位姿信息结合卡尔曼滤波进行融合，得到优化后定位和运行路线；
步骤F.运动单元根据拾取指令让机械臂拾取少量垃圾，并即刻对垃圾进行识别和分类。具体为信息处理模块根据识别处理单元中的YOLOV5算法对所述目标图像中的垃圾进行分类和识别，并依据任务规划模块开始规划运行路线，返回垃圾回收点；
步骤G.运回至垃圾处理点后，通过相机单元识别垃圾桶颜色，通过控制系统模块发出指令将分类好的垃圾扔回到指定的垃圾桶中；
步骤8.完成一次垃圾回收后，继续搜寻垃圾。
所述光电智能垃圾分拣小车系统具体实施时，可以采用基于动态模式分解结合YOLOV5网络实现垃圾分拣，如图3所示，所述小车系统的工作过程，包括如下步骤：
步骤1.初始化垃圾分拣小车，包括摄像头初始化、机械臂及机械爪初始化；
步骤2.通过摄像头获取垃圾图像，并建立垃圾图像数据集，具体通过DMD分解垃圾图像为背景和前景，提取分解后的垃圾图像前景，构建垃圾图像数据集；
其中，DMD将采集的垃圾图像数据作为相同的连续两帧图像并建立线性相关矩阵，对时序矩阵求解获得图像数据的前景和背景；
步骤3.将步骤2中构建的垃圾图像数据集输入YOLOV5网络进行训练，得到训练好的YOLOV5网络，将该训练好的YOLOV5网络作为垃圾图像识别模型；
步骤4.通过摄像头捕捉待识别的时序画面，使用DMD分解将捕捉的待识别时序画面区分为背景和前景，提取待识别时序画面的前景构成测试集；
其中，使用DMD将捕捉的待识别时序画面区分为背景和前景，具体为：
步骤4.1.基于待识别时序画面建立时序矩阵
Figure BDA0003148878770000061
其中，时序矩阵
Figure BDA0003148878770000062
表示为
Figure BDA0003148878770000063
为一个视频流，按照时间间隔Δt均匀捕捉的连续N帧时序画面；
步骤4.2基于步骤4.1中的时序矩阵
Figure BDA0003148878770000064
建立时序矩阵
Figure BDA0003148878770000065
和时序矩阵
Figure BDA0003148878770000066
步骤4.3基于步骤4.2中建立的时序矩阵
Figure BDA0003148878770000067
和
Figure BDA0003148878770000068
建立关系矩阵A；
其中
Figure BDA0003148878770000069
Figure BDA00031488787700000610
为时序矩阵
Figure BDA00031488787700000611
的广义逆矩阵；
步骤4.4对步骤4.2建立的时序矩阵
Figure BDA00031488787700000612
进行奇异值分解；
其中，时序矩阵
Figure BDA00031488787700000613
通过奇异值分解得到的U和V是酉矩阵，Σ是对角矩阵，V*是矩阵V的伴随矩阵；
步骤4.5.基于步骤4.2中建立的时序矩阵
Figure BDA00031488787700000614
步骤4.3建立的关系矩阵A、步骤4.4中得到的U矩阵得到近似关系矩阵
Figure BDA00031488787700000615
其中
Figure BDA00031488787700000616
U*是矩阵U的伴随矩阵；
步骤4.6基于步骤4.5得到的近似关系矩阵
Figure BDA00031488787700000617
进行特征分解，得到特征值λ和特征向量ω以及由特征向量组成的矩阵Q；
步骤4.7基于步骤4.2中建立的时序矩阵
Figure BDA00031488787700000618
步骤4.4中得到的U矩阵和Σ矩阵和步骤4.6得到的矩阵Q建立DMD的模态
Figure BDA00031488787700000619
其中，模态
Figure BDA0003148878770000071
其中
Figure BDA0003148878770000072
是矩阵Σ的广义逆矩阵；
步骤4.8根据线性相关数据矩阵S求解待识别时序画面的前景和背景，提取待识别时序画面的前景构成测试集：
其中，前景和背景分别为：
Figure BDA0003148878770000073
其中，r为使用到的模态
Figure BDA0003148878770000074
的个数，
Figure BDA0003148878770000075
为DMD对应的模态；αj为
Figure BDA0003148878770000076
对应的系数，ωj实部对应DMD基函数的增长或衰减，虚部对应DMD的震荡，p为低秩模式，t表示时序矩阵的时刻；
步骤5.利用步骤3训练好的垃圾图像识别模型对测试集中的待识别画面的前景进行实时分类与识别，得到所述待识别画面中的垃圾位置和数量。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (6)

1.一种光电智能垃圾分拣小车系统，其特征在于：包括传感器模块、信息处理模块、控制系统模块以及运动模块；
其中，传感器模块包括相机单元、IMU单元、激光雷达以及光电编码器；
信息处理模块包括识别处理单元、回收区识别单元以及卡尔曼滤波处理单元；
控制系统模块包括任务规划子模块、底层驱动单元和通信单元；
任务规划子模块包括垃圾识别定位单元、垃圾拾取判决单元和导航与路径规划单元；
运动模块包括机械臂、运动底盘单元；
所述光电智能垃圾分拣小车系统中各模块的连接如下：
传感器模块与信息处理模块相连，信息处理模块和控制系统模块相连，控制系统模块与运动模块相连；
传感器模块与信息处理模块相连，具体为：传感器模块的相机单元与信息处理模块的识别处理单元和回收区识别单元相连；IMU单元、激光雷达、光电编码器和信息处理模块的卡尔曼滤波单元相连；
信息处理模块和控制系统模块相连，具体为：信息处理模块的识别处理单元与控制系统模块的垃圾识别定位单元相连；回收区别单元与导航路径规划单元相连；卡尔曼滤波单元与导航路径规划单元和通信单元均相连；
其中，在控制系统模块内部的任务规划子模块中，垃圾识别定位单元与夹取放置判决单元相连；导航路径规划单元与夹取放置判决单元相连；
同时，底层驱动单元与任务规划子模块的导航路径规划单元相连，通信单元与任务规划子模块的夹取放置判决单元相连；
控制系统模块与运动模块相连，具体为：控制系统模块的底层驱动模块与运动模块的底盘运动模块相连；夹取放置判决单元与机械臂单元相连；
所述可控捡球小车系统的工作过程，包括如下步骤：
步骤1.初始化垃圾分拣小车系统，包括摄像头初始化、机械臂及机械爪初始化；
步骤2.控制系统模块启动指令，通信单元将指令传递给传感器模块的相机单元、激光雷达、IMU单元，确定相机坐标系与激光雷达坐标系之间的位置关系，并将信息传递给信息处理模块，具体为：
步骤2.1通过相机单元摄像头采集信息，获取垃圾图像；
步骤2.2.激光雷达开始获取空间位置信息，确定相机坐标系与激光雷达坐标系之间的位置关系，并将信息传递给信息处理模块；
步骤3.信息处理模块将步骤2的信息进行处理，将垃圾的分布位置进行准确定位，并将准确定位后的垃圾的位置映射到地图上，并将信息发送给控制系统模块；
步骤4.控制系统模块通过任务规划子模块开始规划运行路线，对运动模块发出驱动指令；底盘运动单元接收到驱动信号，小车开始按照路线运行到垃圾的位置；
步骤5.运动单元根据拾取指令让机械臂拾取多个垃圾，并依据任务规划子模块开始规划运行路线，返回垃圾回收点；
步骤6.运回至垃圾处理点后，信息处理模块根据识别处理单元中的目标检测算法对所述目标图像中的垃圾进行分类和识别，具体为：通过实际图像与多种模型的对比判断出图像中是否存在其中的一个或多个垃圾；
步骤7.通过相机单元识别垃圾桶颜色，通过控制系统模块发出指令将分类好的垃圾扔回到指定的垃圾桶中；
步骤8.完成一次垃圾回收后，继续搜寻垃圾。
2.根据权利要求1所述的一种光电智能垃圾分拣小车系统，其特征在于：传感器模块中相机单元中的摄像头接收控制系统模块的信息，对现场图像进行采集；信息处理模块的识别处理单元或回收区识别单元对采集信息进行处理；光电编码器用来获取小车当前的状态信息，联合激光雷达和IMU单元在信息处理模块进行2dSLAM算法进行建图与定位。
3.根据权利要求2所述的一种光电智能垃圾分拣小车系统，其特征在于：信息处理模块接收来自传感器模块的信息，其中包括：对垃圾进行特征提取和识别并记录相机坐标下的位置。
4.根据权利要求3所述的一种光电智能垃圾分拣小车系统，其特征在于：激光雷达与IMU进行地图构建与定位；结合IMU与光电编码器的信息；回收区域的识别采用传统的颜色识别，再将这些信息传递给控制系统模块。
5.根据权利要求4所述的一种光电智能垃圾分拣小车系统，其特征在于：控制系统模块置于运动底盘单元内，是整个系统的主控，处理并发出控制信息，发出执行指令及内部通信；接收到信息处理模块的数据后，任务规划子模块根据垃圾及垃圾桶位置开始规划路径，同时，夹取放置判决单元确定小车是实行夹取或者放置垃圾的动作，并将底盘运动的驱动信号和机械臂的动作信息发动给运动模块。
6.根据权利要求5所述的一种光电智能垃圾分拣小车系统，其特征在于：运动模块在控制系统模块做出处理后，接收发出的驱动指令，该指令驱动底盘单元，进而控制对应结构进行运动根据任务规划子模块提供的路径信息，实现移动、转向、避障；同时接收夹取放置指令，通过机械臂实现垃圾的夹取和放置动作。
CN202110758894.0A 2021-07-05 2021-07-05 一种光电智能垃圾分拣小车系统 Pending CN113351631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110758894.0A CN113351631A (zh) 2021-07-05 2021-07-05 一种光电智能垃圾分拣小车系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110758894.0A CN113351631A (zh) 2021-07-05 2021-07-05 一种光电智能垃圾分拣小车系统

Publications (1)

Publication Number Publication Date
CN113351631A true CN113351631A (zh) 2021-09-07

Family

ID=77538267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110758894.0A Pending CN113351631A (zh) 2021-07-05 2021-07-05 一种光电智能垃圾分拣小车系统

Country Status (1)

Country Link
CN (1) CN113351631A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2949108A1 (fr) * 2009-08-11 2011-02-18 Plastic Omnium Cie Dispostif de balayage du contenu d'un recipient a dechets temporaire et conteneur d'apport volontaire
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN108564630A (zh) * 2018-05-02 2018-09-21 吉林大学 基于激光雷达和相机摄像头融合的标定装置及其标定方法
CN109934871A (zh) * 2019-02-18 2019-06-25 武汉大学 一种面向高危环境的智能无人机抓取目标的系统和方法
CN111469131A (zh) * 2020-05-10 2020-07-31 上海大学 一种装配机械臂的无人艇水面垃圾清理控制系统及方法
CN111947644A (zh) * 2020-08-10 2020-11-17 北京洛必德科技有限公司 一种室外移动机器人定位方法、系统及其电子设备
CN111974704A (zh) * 2020-08-14 2020-11-24 东北大学秦皇岛分校 基于计算机视觉的垃圾分类检测系统及方法
CN212497738U (zh) * 2020-07-20 2021-02-09 武汉工程大学 一种垃圾瓶清捡机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2949108A1 (fr) * 2009-08-11 2011-02-18 Plastic Omnium Cie Dispostif de balayage du contenu d'un recipient a dechets temporaire et conteneur d'apport volontaire
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN108564630A (zh) * 2018-05-02 2018-09-21 吉林大学 基于激光雷达和相机摄像头融合的标定装置及其标定方法
CN109934871A (zh) * 2019-02-18 2019-06-25 武汉大学 一种面向高危环境的智能无人机抓取目标的系统和方法
CN111469131A (zh) * 2020-05-10 2020-07-31 上海大学 一种装配机械臂的无人艇水面垃圾清理控制系统及方法
CN212497738U (zh) * 2020-07-20 2021-02-09 武汉工程大学 一种垃圾瓶清捡机器人
CN111947644A (zh) * 2020-08-10 2020-11-17 北京洛必德科技有限公司 一种室外移动机器人定位方法、系统及其电子设备
CN111974704A (zh) * 2020-08-14 2020-11-24 东北大学秦皇岛分校 基于计算机视觉的垃圾分类检测系统及方法

Similar Documents

Publication Publication Date Title
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测系统及方法
Zhu et al. Urban traffic density estimation based on ultrahigh-resolution UAV video and deep neural network
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN110924340B (zh) 一种用于智能捡垃圾的移动机器人系统与实现方法
CN111080659A (zh) 一种基于视觉信息的环境语义感知方法
CN111360780A (zh) 一种基于视觉语义slam的垃圾捡拾机器人
CN109579856A (zh) 高精度地图生成方法、装置、设备及计算机可读存储介质
CN111339977A (zh) 一种基于远程视频监控的小目标智能识别系统及其识别方法
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN103593679A (zh) 一种基于在线机器学习的视觉人手跟踪方法
CN104517289A (zh) 一种基于混合摄像机的室内场景定位方法
CN110599521A (zh) 生成易受伤害道路使用者轨迹预测模型的方法及预测方法
CN112836683A (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
Riaz et al. YOLO based recognition method for automatic license plate recognition
CN110929670A (zh) 基于yolo3技术的渣土车洁净度视频识别分析方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
Cheng et al. Structure-aware network for lane marker extraction with dynamic vision sensor
CN113139497B (zh) 一种水面物体识别的系统、方法及基于5g mec的应用
CN113435374A (zh) 一种基于dmd和yolov5的光电智能垃圾分拣方法
CN115979250B (zh) 基于uwb模块、语义地图与视觉信息的定位方法
CN113351631A (zh) 一种光电智能垃圾分拣小车系统
Kamenetsky et al. Aerial car detection and urban understanding
Gökçe et al. Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system
CN114935341B (zh) 一种新型slam导航计算视频识别方法及装置
CN115984319A (zh) 一种基于改进YoLov7和DeepSort的无人机目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210907