CN111844042A - 基于视觉的垃圾分拣机器人 - Google Patents

基于视觉的垃圾分拣机器人 Download PDF

Info

Publication number
CN111844042A
CN111844042A CN202010730269.0A CN202010730269A CN111844042A CN 111844042 A CN111844042 A CN 111844042A CN 202010730269 A CN202010730269 A CN 202010730269A CN 111844042 A CN111844042 A CN 111844042A
Authority
CN
China
Prior art keywords
garbage
vehicle body
vision
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010730269.0A
Other languages
English (en)
Inventor
陈刚
邬元富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Sawyer Robotics Co ltd
Original Assignee
Suzhou Sawyer Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Sawyer Robotics Co ltd filed Critical Suzhou Sawyer Robotics Co ltd
Priority to CN202010730269.0A priority Critical patent/CN111844042A/zh
Publication of CN111844042A publication Critical patent/CN111844042A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Abstract

本发明涉及垃圾分类领域，公开了一种基于视觉的垃圾分拣机器人，包括车身和控制系统；所述车身底部设置有一组驱动装置；所述车身上设置有机械臂和图像采集装置；控制系统包括传感器、控制器、通讯模块以及电源模块；所述驱动装置包括两对设置于车身两侧的差速轮，每对差速轮由一个直流伺服电机驱动；所述直流伺服电机的转轴通过联轴器与其中一个车轮的传动轴连接；同侧两个车轮的传动轴通过同步带轮和同步带连接；所述图像采集装置是一种相机；所述机械臂是一种六轴关节机器手臂；所述控制器包括工控机和电机驱动器；所述传感器包括GPS模块、红外传感器和陀螺仪；所述通讯模块包括WIFI模块和路由器；所述电源模块包括电池包和变压器。

Description

基于视觉的垃圾分拣机器人
技术领域
本发明涉及垃圾分类领域，特别涉及一种基于视觉的垃圾分拣机器人。
背景技术
近年来，垃圾分类活动正在国内一步步推展开来，垃圾分拣是垃圾分类处理过程的关键环节，其实现过程主要包括定位、识别、抓取和放置。目前的垃圾分拣过程主要由住户们自行分类，再按种类放入相应垃圾桶中，并由清洁员监督并协助分类。在这个垃圾分类的过程中，存在许多问题需要解决。首先，居民们在进行垃圾分类的过程中经常分类出错，甚至有些居民为了避免麻烦直接将未分类的垃圾随意丢弃。为了处理上述问题，又需要安排清洁员监督、协助垃圾分类，并将未分类的垃圾进行再次分类，这又带来了新的问题：清洁员的劳动量剧增，需要干大量繁杂、效率低下的工作，并且长期在脏乱的垃圾堆附近工作还会进一步损害清洁员身体健康。因此需要新的技术，将居民们从繁琐的垃圾分类负担解放出来，将工人们繁重的劳动负担解放出来，降低政府、社区垃圾分类、雇佣劳动力的成本。
发明内容
本发明提供了一种基于视觉的垃圾分拣机器人，可自动识别并拾取垃圾。
本发明的工作原理：一种基于视觉的垃圾分拣机器人，包括车身和控制系统；所述车身底部设置有一组驱动装置；所述车身上设置有机械臂和图像采集装置；控制系统包括传感器、控制器、通讯模块以及电源模块。
进一步的是：所述驱动装置包括两对设置于车身两侧的差速轮，每对差速轮由一个直流伺服电机驱动；所述直流伺服电机的转轴通过联轴器与其中一个车轮的传动轴连接；同侧两个车轮的传动轴通过同步带轮和同步带连接。
进一步的是：所述图像采集装置是一种相机。
进一步的是：所述机械臂是一种六轴关节机器手臂。
进一步的是：所述控制器包括工控机和电机驱动器；所述传感器包括GPS模块、红外传感器和陀螺仪；所述通讯模块包括WIFI模块和路由器；所述电源模块包括电池包和变压器。
进一步的是：所述工控机内的系统软件为基于ROSRobot Operating System的垃圾分拣系统，其算法流程为：
S1：根据图像采集装置400拍摄的垃圾图像建立尺度空间；
S2：进行垃圾图像中关键点的精确位置确定；
S3：对垃圾图像进行关键点的描述，得出垃圾图像的描述子，该描述子即为进行图像匹配所需的特征；
S4：将提取到的特征与数据库里的特征进行比较，匹配得到目标物体的垃圾种类。
本发明的有益效果为：通过机器人自动识别垃圾种类，自动拾取垃圾，减少人工劳动强度，有利于垃圾分类制度的推广。机械臂采用六轴关节机器人，拥有六个旋转轴，具有六个自由度，类似于人类的手臂，适用于任何轨迹或角度的工作，可以很好地完成拾取垃圾的动作，机器人的每个旋转轴都由一个微型电机进行角度控制，调节相应连杆的旋转角度。车身用来固定各构件与硬件的相对位置，同时起到保护的作用，外壳由3mm的铝合金构成，各个按钮位置留有开孔，在开孔与按钮配合处有密封橡胶圈，用来防水防尘；同时外壳还留有排气孔，利用排气泵将壳体内部各硬件产生的热量排出。驱动装置主要由四个驱动轮与两个伺服电机组成，左右两侧各布置有一个伺服电机，利用同步带轮将一侧的电机转速传递到同一侧的两个带轮上，再利用轴与联轴器将转速与转矩传递到驱动轮上，通过独立控制两侧驱动轮的转速，实现机器人的任意方向的前进、后退、旋转。
附图说明
图1为机器人结构示意图；
图2为控制系统结构示意图；
图3为机器人工作流程图。
图中标记为：100、车身；200、驱动装置；300、机械臂；400、图像采集装置。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
实施例
一种基于视觉的垃圾分拣机器人，包括车身100和控制系统；所述车身100底部设置有一组驱动装置200；所述车身100上设置有机械臂300和图像采集装置400；控制系统包括传感器、控制器、通讯模块以及电源模块。
所述驱动装置200包括两对设置于车身100两侧的差速轮，每对差速轮由一个直流伺服电机驱动；所述直流伺服电机的转轴通过联轴器与其中一个车轮的传动轴连接；同侧两个车轮的传动轴通过同步带轮和同步带连接。
所述图像采集装置400是一种相机；所述机械臂300是一种六轴关节机器手臂；所述控制器包括工控机和电机驱动器；所述传感器包括GPS模块、红外传感器和陀螺仪；所述通讯模块包括WIFI模块和路由器；所述电源模块包括电池包和变压器。
机械臂采用六轴关节机器人，拥有六个旋转轴，具有六个自由度，类似于人类的手臂，适用于任何轨迹或角度的工作，可以很好地完成拾取垃圾的动作，机器人的每个旋转轴都由一个微型电机进行角度控制，调节相应连杆的旋转角度。车身用来固定各构件与硬件的相对位置，同时起到保护的作用，外壳由3mm的铝合金构成，各个按钮位置留有开孔，在开孔与按钮配合处有密封橡胶圈，用来防水防尘；同时外壳还留有排气孔，利用排气泵将壳体内部各硬件产生的热量排出。驱动装置主要由四个驱动轮与两个伺服电机组成，左右两侧各布置有一个伺服电机，利用同步带轮将一侧的电机转速传递到同一侧的两个带轮上，再利用轴与联轴器将转速与转矩传递到驱动轮上，通过独立控制两侧驱动轮的转速，实现机器人的任意方向的前进、后退、旋转。
机器人的控制系统选用Intel的UP2Board工控机作为主控器，作为上位机系统，通过USB接口与立体相机连接，并对图像采集装置400采集到的数据进行加工处理；工控机自带WI-FI模块，可通过WI-FI模块与路由器连接，实现工控机与外部设备的通讯，从而达到远程控制垃圾分拣机器人的目的；工控机与下位机直接连接，对下位机上传的数据进行计算，并返回相应的指令。下位机选用STM32F103C8T6单片机，该单片机拥有丰富的外设接口，能够全面实现多传感器数据的采集。利用陀螺仪采集机器人的角速度信号，通过口将数据传输给单片机；利用红外传感器感应机器人周围的人员，通过I/0传输给单片机，让机器人拥有感知人员出没的能力；利用GPS对机器人实时定位，并通过USART口传输给单片机，再传输到工控机上，用以实现机器人的定位导航功能；利用超声波模块探测机器人所处的二维环境，将数据通过I/O口传输到单片机，用来测量物体距离与实时避障；单片机分别将指令发送给各个驱动器，再用驱动器直接驱动伺服电机，进而实现控制驱动轮的转向、转速、位置。单片机将指令发送给舵机驱动器，舵机驱动器控制电机转动，从而控制舵轮发生相应的角度变化，用来协助机器人的旋转运动。机器人还配有电源管理模块，包括电池与变压器，用来给整个硬件系统供电，同时电源还配有太阳能充电装置，让垃圾分拣机器人更加清洁环保。
所述工控机内的系统软件为基于ROSRobot Operating System的垃圾分拣系统，其算法流程为：
S1：根据图像采集装置400拍摄的垃圾图像建立尺度空间；
S2：进行垃圾图像中关键点的精确位置确定；
S3：对垃圾图像进行关键点的描述，得出垃圾图像的描述子，该描述子即为进行图像匹配所需的特征；
S4：将提取到的特征与数据库里的特征进行比较，匹配得到目标物体的垃圾种类。
垃圾分拣机器人的系统软件为基于深度学习的图像识别，通过卷积神经网络(CNN)将各种垃圾初始的“底层”特征表示转化为“高层”特征表示，再将这些特征归类为几个垃圾种类。为了使机器人能够准确地分辨出垃圾种类，首先需要训练神经神经网络，将大量含有已知垃圾的图片用以训练。
在对神经网络训练完后，需要对新采集到的图像进行特征提取，在一个实施实例中，采用SIFT特征提取算法，对垃圾图像进行关键点的描述，最后得到垃圾图像的特征。
垃圾分拣机器人整体工作流程如图3所示，机器人启动后按照预先规划好的路径行进，与此同时机器人前方的图像采集装置400不断旋转，当检测到有目标标存在，则对其种类进行识别，之后主控制器发出停止命令，机器人停止运动，然后安装在舵机云台上面的超声波模块在0～180度范围内扫描，确定物体到超声模块的距离并根据舵机云台所转过的角度计算物体的坐标。从控制器接收到种类及坐标数据后控制机械臂300进行抓取，并将被抓取垃圾放置于相应种类垃圾收纳箱内，完成该过程后机器人继续按照规定进行路径行进。
在一个实施实例中，机器人的红外传感器在感应到人员接近垃圾堆区域，会自动将摄像头对准垃圾箱，监督人员是否将正确地扔入垃圾箱，如果遇到错扔垃圾，需要将垃圾抓取出进行再分类。同时，机器人对大量乱扔垃圾者，会对其进行拍照并上传至社区管理中心。
上述实施例不应以任何方式限制本发明，凡采用等同替换或等效转换的方式获得的技术方案均落在本发明的保护范围内。

Claims (6)

1.一种基于视觉的垃圾分拣机器人，其特征在于：包括车身(100)和控制系统；所述车身(100)底部设置有一组驱动装置(200)；所述车身(100)上设置有机械臂(300)和图像采集装置(400)；控制系统包括传感器、控制器、通讯模块以及电源模块。
2.根据权利要求1所述的一种基于视觉的垃圾分拣机器人，其特征在于：所述驱动装置(200)包括两对设置于车身(100)两侧的差速轮，每对差速轮由一个直流伺服电机驱动；所述直流伺服电机的转轴通过联轴器与其中一个车轮的传动轴连接；同侧两个车轮的传动轴通过同步带轮和同步带连接。
3.根据权利要求1所述的一种基于视觉的垃圾分拣机器人，其特征在于：所述图像采集装置(400)是一种相机。
4.根据权利要求1所述的一种基于视觉的垃圾分拣机器人，其特征在于：所述机械臂(300)是一种六轴关节机器手臂。
5.根据权利要求1所述的一种基于视觉的垃圾分拣机器人，其特征在于：所述控制器包括工控机和电机驱动器；所述传感器包括GPS模块、红外传感器和陀螺仪；所述通讯模块包括WIFI模块和路由器；所述电源模块包括电池包和变压器。
6.根据权利要求4所述的一种基于视觉的垃圾分拣机器人，其特征在于：所述工控机内的系统软件为基于ROS(Robot Operating System)的垃圾分拣系统，其算法流程为：
S1：根据图像采集装置(400)拍摄的垃圾图像建立尺度空间；
S2：进行垃圾图像中关键点的精确位置确定；
S3：对垃圾图像进行关键点的描述，得出垃圾图像的描述子，该描述子即为进行图像匹配所需的特征；
S4：将提取到的特征与数据库里的特征进行比较，匹配得到目标物体的垃圾种类。
CN202010730269.0A 2020-07-27 2020-07-27 基于视觉的垃圾分拣机器人 Pending CN111844042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010730269.0A CN111844042A (zh) 2020-07-27 2020-07-27 基于视觉的垃圾分拣机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010730269.0A CN111844042A (zh) 2020-07-27 2020-07-27 基于视觉的垃圾分拣机器人

Publications (1)

Publication Number Publication Date
CN111844042A true CN111844042A (zh) 2020-10-30

Family

ID=72947261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010730269.0A Pending CN111844042A (zh) 2020-07-27 2020-07-27 基于视觉的垃圾分拣机器人

Country Status (1)

Country Link
CN (1) CN111844042A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112589766A (zh) * 2020-12-02 2021-04-02 浙江博城机器人科技有限公司 马路自主巡逻垃圾识别分拣机器人
CN113070235A (zh) * 2021-03-10 2021-07-06 浙江博城机器人科技有限公司 一种垃圾分拣机器人基于多视角的垃圾识别方法
CN113083702A (zh) * 2021-03-10 2021-07-09 浙江博城机器人科技有限公司 一种基于机器视觉的垃圾分拣机器
CN114193425A (zh) * 2022-02-18 2022-03-18 浙江博城机器人科技有限公司 一种基于视觉检测的巡检装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105772407A (zh) * 2016-01-26 2016-07-20 耿春茂 一种基于图像识别技术的垃圾分类机器人
CN109201514A (zh) * 2017-06-30 2019-01-15 京东方科技集团股份有限公司 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统
CN208914092U (zh) * 2018-11-09 2019-05-31 吉林大学 一种智能垃圾分拣机器人
CN110116415A (zh) * 2019-06-12 2019-08-13 中北大学 一种基于深度学习的瓶罐类垃圾识别分类机器人
CN111445368A (zh) * 2020-03-16 2020-07-24 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105772407A (zh) * 2016-01-26 2016-07-20 耿春茂 一种基于图像识别技术的垃圾分类机器人
CN109201514A (zh) * 2017-06-30 2019-01-15 京东方科技集团股份有限公司 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统
CN208914092U (zh) * 2018-11-09 2019-05-31 吉林大学 一种智能垃圾分拣机器人
CN110116415A (zh) * 2019-06-12 2019-08-13 中北大学 一种基于深度学习的瓶罐类垃圾识别分类机器人
CN111445368A (zh) * 2020-03-16 2020-07-24 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112589766A (zh) * 2020-12-02 2021-04-02 浙江博城机器人科技有限公司 马路自主巡逻垃圾识别分拣机器人
CN113070235A (zh) * 2021-03-10 2021-07-06 浙江博城机器人科技有限公司 一种垃圾分拣机器人基于多视角的垃圾识别方法
CN113083702A (zh) * 2021-03-10 2021-07-09 浙江博城机器人科技有限公司 一种基于机器视觉的垃圾分拣机器
CN114193425A (zh) * 2022-02-18 2022-03-18 浙江博城机器人科技有限公司 一种基于视觉检测的巡检装置及方法
CN114193425B (zh) * 2022-02-18 2022-05-17 浙江博城机器人科技有限公司 一种基于视觉检测的巡检装置及方法

Similar Documents

Publication Publication Date Title
CN111844042A (zh) 基于视觉的垃圾分拣机器人
WO2023056670A1 (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
CN104786865B (zh) 一种基于单目视觉为电动汽车提供充电对接的方法
US20230158668A1 (en) Autonomous Object Learning by Robots Triggered by Remote Operators
CN208914092U (zh) 一种智能垃圾分拣机器人
CN103324197A (zh) 一种语音控制多用途智能服务机器人
CN106363612A (zh) 一种视觉引导的全向移动双臂机器人及其全向移动方法
CN206883638U (zh) 机器人控制系统以及机器人
CN103503639A (zh) 一种双臂果蔬采收机器人系统及其果蔬采收方法
CN108499054A (zh) 一种基于slam的车载机械臂捡球系统及其捡球方法
CN109018056A (zh) 一种两足四轮可变行走机构多功能仿生机器人系统
CN109954254B (zh) 基于全向来福轮的羽毛球场智能捡球机器人
CN106863307A (zh) 一种基于视觉和语音智能控制的机器人
CN112873163A (zh) 一种自动化物料搬运机器人系统及其控制方法
CN107253203A (zh) 多模式智能玩具搜集机器人
CN106964121A (zh) 一种智能巡检拾取乒乓球的装置
CN112428268A (zh) 基于机器视觉的车载机械臂式水果拾取装箱系统及方法
CN104801023A (zh) 网球捡球机的捡球系统及方法
CN114072255A (zh) 移动机器人传感器配置
CN110153987A (zh) 一种智能识别搬运机器人及其控制方法
Chang et al. Design of mobile garbage collection robot based on visual recognition
EP4095486A1 (en) Systems and methods for navigating a robot using semantic mapping
CN111746728A (zh) 一种基于强化学习的新型水上清洁机器人及控制方法
CN206123654U (zh) 一种视觉引导的全向移动双臂机器人
CN212522923U (zh) 拾球机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination