CN117531717A - 一种巡逻式智能垃圾分拣机器人及其工作方法 - Google Patents
一种巡逻式智能垃圾分拣机器人及其工作方法 Download PDFInfo
- Publication number
- CN117531717A CN117531717A CN202311807044.0A CN202311807044A CN117531717A CN 117531717 A CN117531717 A CN 117531717A CN 202311807044 A CN202311807044 A CN 202311807044A CN 117531717 A CN117531717 A CN 117531717A
- Authority
- CN
- China
- Prior art keywords
- robot
- garbage
- yolov5
- patrol
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 198
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 230000005540 biological transmission Effects 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims description 40
- 241000209140 Triticum Species 0.000 claims description 24
- 235000021307 Triticum Nutrition 0.000 claims description 24
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 19
- 244000235659 Rubus idaeus Species 0.000 claims description 19
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000021190 leftovers Nutrition 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002674 ointment Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0054—Sorting of waste or refuse
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0063—Using robots
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明提出一种巡逻式智能垃圾分拣机器人及其工作方法，基于UWB定位技术，在机器人工作区域四周放置四个基站，通过TDOA算法计算出标签与基站之间的距离，使得机器人在规定区域内巡逻式运动，采用YOLOV5目标检测算法进行垃圾识别与分类，确定垃圾位置；机器人通过PID算法控制机械臂进行垃圾捡取和分类投放。此外增加超声波传感器，使机器人能自主规避障碍，以及ESP32CAM进行图像传输和手机蓝牙APP控制，通过上位机实时观测机器人的工作状态和进行远程遥控，有效的提高了机器人工作的效率和处理突发状况的能力，实现UWB室内自主定位、垃圾识别与分类、自动抓取、图像传输和远程遥控等功能。
Description
技术领域
本发明涉及智能机器人以及机器视觉技术领域，特别涉及一种巡逻式智能垃圾分拣机器人及其工作方法。
背景技术
随着科技的不断发展，人们的生活质量也得到了改善，但相应所产生的垃圾也逐渐增多，因此，智能垃圾分拣机器人应运而生，现已被广泛应用于城市街区、工业领域、物流和仓储行业、酒店、商场等场所。传统的垃圾分类和分拣通常依赖于人工操作，费时费力且容易出现误分类。为了减轻人们工作压力，智能垃圾分拣机器人能够利用先进的技术，如机器视觉和深度学习，快速而准确地对垃圾进行分类和分拣，从而提高垃圾处理过程的效率，促进了环境保护和可持续发展。
机器视觉是智能垃圾分拣机器人实现自动识别和分类的核心技术。通过使用高分辨率摄像头和图像处理算法，机器人可以获取垃圾的图像数据，并利用图像处理和模式识别技术来分析和识别不同种类的垃圾。深度学习和神经网络技术在智能垃圾分拣机器人中发挥着重要作用。通过训练大量的垃圾图像数据，机器人可以学习和识别不同垃圾类别之间的特征和模式，实现分类和分拣，同时还为智能垃圾分拣机器人提供了强大的软件开发和控制工具，帮助机器人实现自主导航、目标定位、物体抓取等功能。
现有技术中，智能垃圾分拣机器人经常采用深度学习和卷积神经网络技术进行垃圾的分类和分拣。通过搭建深度神经网络模型，并使用大量的国内垃圾数据进行训练，机器可以准确地识别和分类不同类型的垃圾，并为机器人配备了多种传感器，如摄像头、红外线传感器、激光传感器等。这些传感器可以帮助机器人获取垃圾的物理特征和环境信息，辅助机器人进行垃圾的识别和分拣。
但是，现有国内的垃圾分拣机器人仍存在不能在规定区域内智能完成垃圾巡检与自动分类任务以及垃圾识别精度不高的问题。
发明内容
本发明提供了一种巡逻式智能垃圾分拣机器人及其工作方法，解决了传统垃圾分拣机器人不能在规定区域内全自动地完成垃圾巡检和自动分类任务以及垃圾识别精度不高的问题。
本发明所采用的技术方案是，一种巡逻式智能垃圾分拣机器人，包括：智能垃圾分拣机器人本体、UWB模块、麦克纳姆轮、编码电机、陀螺仪、树莓派、ESP32-CAM模块、语音模块、六轴机械臂、蓝牙模块、二维云台、单目摄像头、串口屏、以及超声波传感器。基于UWB定位技术、自动控制技术和机器视觉技术，使智能垃圾分拣机器人在规定区域内沿指定航线进行巡逻，完成垃圾捡取任务。
本发明所采用的技术方案还包括：巡逻式智能垃圾分拣机器人的工作方法，步骤如下：
步骤1、基于UWB定位基站，在机器人工作区域内放置四个基站，通过TDOA定位方法获得机器人所处区域内的具体位置，并对机器人的巡逻路径进行路径规划；
步骤2、机器人通过超声波传感器检测前方是否有障碍物并自主规避障碍，使用ESP32-CAM模块进行图像传输，通过上位机实时观测机器人的工作状态；
步骤3、基于树莓派，当机器人检测到垃圾时，对垃圾进行图像采集，通过YOLOV5目标检测算法进行垃圾识别与分类，输出垃圾的中心点坐标、垃圾与摄像头间的角度、距离和分类标签，并将信息发送给STM32主控；
步骤4、STM32主控根据接收到的信息确定垃圾位置，控制机器人向垃圾方向移动，当垃圾位于图像中心位置时，控制机械臂进行垃圾捡取，根据垃圾种类将垃圾投放到指定垃圾箱，并进行语音播报；
步骤5、机器人判断STM32主控是否接收到蓝牙上位机发送的指令，如果是，则对接收到的指令数据进行判断，来控制机器人完成相应的指令操作；如果否，则机器人返回航线继续巡逻。
进一步地，本发明采用YOLOV5目标检测算法进行垃圾识别，方法包括以下步骤：
步骤3.1：基于树莓派进行图像采集和预处理，使用树莓派进行数据集采集，选取生活中常见的20余种垃圾采集图片近5000张，其中可回收垃圾细分为纸盒，塑料瓶，卫生纸，易拉罐等，有害垃圾细分为电池，过期药品，软膏，灯泡等，厨余垃圾细分为水果皮、蔬菜叶、剩饭剩菜等，其他垃圾细分为海绵、木头、橡皮等。
步骤3.2：使用Labelme软件进行数据集标注，将数据集导入Labelme，在图像上创建需要标注的区域，为每个标注区域添加对应的标签，导出标注结果。
步骤3.3：使用COCO数据集对json标签进行解析，将json文件转为txt文件。
步骤3.4：基于YOLOV5网络模型，采用GPU进行模型训练，模型训练使用Pytorch深度学习框架,训练完成后生成best模型。
步骤3.5：将best模型转换为onnx模型。
步骤3.6：配置YOLOV5环境，进行树莓派模型部署。
步骤3.7：基于OpenCV平台，运行目标检测代码，实现垃圾分类，具体包括以下步骤：
步骤3.7.1：先验框：YOLOV5使用一组先验框来预测不同尺度和宽高比的目标。这些先验框用于网格单元的相对坐标预测，并与真实框进行匹配。先验框的数量和大小可以根据任务进行调整。
步骤3.7.2：对检测结果预测：YOLOV5使用多个预测层来预测目标的类别和位置。对于每个预测层，它会输出一个特定尺度下的分类概率、边界框坐标和目标置信度。
步骤3.7.3：检测目标置信度：YOLOV5通过目标置信度来评估各个预测框中是否包含目标物体；目标置信度代表了网络认为该预测框中是否有目标的置信度得分。
步骤3.7.4：输出类别概率分布：对于每个预测框，YOLOV5还会输出一个概率分布，表示该预测框所属类别的可能性得分；通常使用Softmax函数将原始输出转化为概率分布。
步骤3.7.5：边界框预测：YOLOV5使用预测框的中心坐标、宽度和高度来定位目标物体。这些预测框的坐标由相对值(相对于输入图像的宽度和高度)表示。
YOLOV5算法采用完全交并比CIOULOSS评价边界框损失，损失函数公式如下：
IOU：是预测框和真实框之间的交并比；
是预测框的中心点与真实框的中心点之间的欧式距离平方；
是预测框与真实框的最小外接矩阵的对角线距离平方；
v：是预测框和真实框之间的相对面积差异。
步骤3.7.6：损失函数计算：YOLOV5使用一种称为"YOLOv5 loss"的损失函数来训练网络。该损失函数由多个部分组成，包括目标置信度损失、类别损失和边界框损失。这些损失函数对网络的预测结果进行评估，并通过反向传播来更新网络的参数。
YOLOV5算法用BCEWithLogitsLoss和FocalLoss评价目标框和预测框的类别损失和置信度损失。
首先对预测输出作sigmoid变换，然后求变换后的结果与真实值的二值交叉熵，两者的二值交叉熵的BCEWithLogitsLoss损失公式如下：
n：是样本的数量或维度；
yn：是真实标签的值，该值为0或1；
xn：是预测输出的值，通过sigmoid变换后的结果，值域为[0,1]。
FocalLoss损失考虑的是目标检测中正负样本严重不均衡的一种策略。该损失函数的设计思想类似于boosting，降低容易分类的样本对损失函数的影响，注重较难分类的样本的训练。FocalLoss通过提高难分类别的损失函数来实现，公式如下：
FL(pt)＝-(1-pt)γlog(pt)
pt:是预测输出的概率值，表示模型对样本属于正类的置信度；
γ：是调节焦点的参数，控制对难分类样本的关注程度。
步骤3.7.7：对先验框进行非极大值抑制：在YOLOV5的输出中，会有大量的预测框重叠，为了减少冗余的检测结果，YOLOV5使用非极大值抑制算法来筛选出最终的目标检测结果。
进一步地，UWB定位系统包括四个基站和一个标签，四个基站用来规划机器人的工作区域，标签通过对接收到的信号进行时间测量和幅度测量计算出信号的传播时间和距离，通过TDOA定位算法，得到目标在所处区域的位置坐标。TDOA算法是通过不同基站距标签的距离差信息，求解多个双曲线方程来获得标签的位置信息。由于在实际定位环境中，系统误差、非视距传播引起的误差会导致TDOA算法的结果出现偏差，因此引入Chan算法当系统误差服从正态分布时，Chan算法的定位精度较高，且算法复杂度较低，同时可以通过增加基站数量来提高算法的精度。在非视距的环境下系统误差一般服从标准正态分布，此时采用Chan算法可以达到较高的计算效率和较好的定位效果。
设四个基站的位置分别是A1(X1，Y1)、A2(X2，Y2)、A3(X3，Y3)、A4(X4，Y4)，其中A1为主基站，A2、A3、A4为非主基站；标签位于机器人上，机器人进行移动时，也伴随着标签移动，标签会向四周发送UWB信号，令四个基站接收标签的时间为t1、t2、t3、t4，根据各非主基站接收标签信号与主基站接收标签信号的时间差，获得TDOA的方程：
其中，Di,1为标签到第i个基站和主基站之间的距离差，i＝2,3,4；c代表电磁波在空气中的传播速度，(a,b)是标签的坐标，得到如下方程组：
通过求解方程组，即可求解出标签的位置坐标，完成机器人在指定区域内精确定位。
从而可以在串口屏上对机器人的航线进行路径规划，若规划的路径是一个闭合曲线，机器人就会沿指定航线循环行驶；若规划的路径是一条有始有终的曲线，机器人从起点运行到终点就会停下。
进一步地，采用自动控制技术是完成机器人运动部分的控制，主要包括电机速度PID控制和麦克纳姆轮的运动学解算。
巡逻式智能垃圾分拣机器人的电机控制采用增量式PID算法，全向移动采用麦克纳姆轮运动学解算，使机器人在运动过程中能稳定行驶，在检测到垃圾时，树莓派回传坐标信息给主控，主控计算出坐标与摄像头屏幕中心的偏差，控制机器人移动，使之能够准确地向着目标前进。
增量式PID算法公式如下：
Δu(k)＝Kp·[e(k)-e(k-1)]+Ki·e(k)+Kd·[e(k)-2e(k-1)+e(k-2)]
u(k)＝u(k-1)+Δu(k)
式中，k表示当前时刻，e(k)为当前时刻的误差，e(k-1)为上一时刻的误差值，e(k-2)为上上时刻的误差，Kp、Ki、Kd分别为比例、积分和微分系数，Δu(k)为当前时刻的控制增量，u(k-1)为上一时刻的控制量，u(k)为当前时刻控制量。
麦克纳姆轮运动学解算算法实现过程：
步骤1：坐标系定义，在机器人底盘坐标系下，以机器人底盘中心为坐标系原点O，X轴的方向指向机器人运动方向，Y轴的方向指向机器人左侧方向。
步骤2：麦轮运动学分析，设每个麦轮的半径为R，角速度为ωi，i＝1,2,3,4，机器人在X方向、Y方向的速度和角速度分别为VX、VY和ω。麦轮中心与X轴方向的距离为a，与Y轴方向的距离为b，每个麦轮的线速度为V轮i，i＝1,2,3,4，麦轮上的辊子沿辊轴的速度为V辊i，i＝1,2,3,4，麦轮轮轴与辊轴的夹角为β，β＝45°，根据运动学原理对每个麦轮分析，可得：
从而可得每个麦轮的速度为：
转换成角速度用矩阵表示为：
所述ESP32的无线图传系统，是基于ESP32CAM开发板进行实现，开发环境是Arduino平台，搭载摄像头进行，确保捕捉到准确的画面细节，提供高质量的监控和录像。图传上位机使用E4A软件进行开发主要有图像传输，二维云台控制和LED补光三个功能。
图像传输采用TCP/IP协议确保稳定的数据传输。上位机连接WiFi并绑定获取到的IP地址，获取图像数据并发送给客户端。为了减少传输带宽占用，图像数据在传输过程中进行JPEG压缩。为了增强无线监控系统的安全性，采用加密和认证机制保护数据的机密性和防止入侵。函数接口用于图像采集和存储，同时利用WiFi模块网络接口封装图像数据为网络数据包，并通过TCP/IP协议传输给客户端。
二维云台主要用来控制ESP32CAM进行X轴、Y轴移动，以调整观测视野角度。在上位机中的实现是通过两个滑动条控件进行实现，通过改变X轴、Y轴的滑动条进度，即可完成云台控制。ESP32CAM根据E4A特定的通信协议，用串口接收上位机发送的X轴、Y轴数据，通过PID算法对转动的角度进行闭环控制，以实现云台的精准控制。
LED灯补光主要用来解决机器人在光线不充足的条件下工作时，摄像头无法识别到垃圾和垃圾误识别的问题。在上位机上的实现是通过一个LED开关按钮，亮度调节的滑动条进行实现。LED开关按钮有开灯和关灯两个指令，开灯发送指令ON,关灯发送指令OFF。亮度调节的滑动条数值为0-100，0为最暗，100为最亮，很好的解决了机器人工作环境的问题，增大了智能垃圾分拣机器人的应用范围。
所述机器人蓝牙遥控的远程控制系统设计，是基于APP Invetor平台开发。主要具有麦轮移动控制、机械臂垃圾分拣和垃圾分类显示三个功能。
麦轮移动控制有9个控制按钮，分别为前进、后退、左移、右移、停止、左上移、右上移、左下移以及右下移，对应的控制指令分别为F、B、L、R、S、Lf、Rf、Lb、Rb，使机器人能够进行全向移动。
机械臂控制主要有抓取和分类两个按钮，当某一区域内有垃圾时，控制机器人到达指定区域，点击抓取按钮，机械臂根据垃圾所处位置，进行自适应抓取，接着再点击分类按钮，机械臂就会根据垃圾种类将垃圾投放到指定垃圾箱，完成垃圾分拣任务。
垃圾分类显示主要用于显示垃圾分拣情况，分为可回收垃圾、有害垃圾、厨余垃圾和其他垃圾四类，当机器人捡完一个垃圾之后，与其对应的垃圾显示框数字就会加1。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明通过巡逻式智能垃圾分拣机器人，基于UWB定位技术、自动控制技术和机器视觉技术，使智能垃圾分拣机器人在规定区域内沿指定航线进行巡逻，通过采用YOLOV5目标检测算法进行垃圾检测，提高了垃圾识别精度，控制机器人机械臂进行垃圾捡取和分类放置，完成垃圾捡取任务。
2、本发明通过同时增加超声波传感器，使机器人能自主规避障碍，通过上位机实时观测机器人的工作状态，并通过蓝牙APP对机器人进行远程遥控，有效地提高了机器人工作的效率和处理突发状况的能力。
附图说明
图1是本发明巡逻式智能垃圾分拣机器人工作流程图；
图2是本发明YOLOV5模型训练流程图；
图3是本发明实施例模型训练部分垃圾结果显示图；
图4是本发明实施例模型训练标签图；
图5是本发明实施例树莓派垃圾识别分类与定位流程图；
图6是本发明实施例UWB区域定位图；
图7是本发明实施例麦克纳姆轮运动分析图；
图8是本发明实施无线图传流程图；
图9是本发明实施例ESP32-CAM模块图传上位机界面图；
图10是本发明实施例蓝牙APP远程控制上位机界面图；
图11是本发明实施例机器人实物图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明，本发明通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本领域其他研究人员在该实施例上的所有非创新型实施例，都属于本发明的保护范围。同时对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的一个实施例中，巡逻式智能垃圾分拣机器人，如图11所示，包括：
智能垃圾分拣机器人本体：使用亚克力板进行搭建，机身尺寸为35cm*50cm，能够适应垃圾箱和各个模块的嵌入。
DWM1000 UWB模块：用于实现机器人的区域定位，通过在机器人工作区域内放置四个基站，采用TDOA算法获得机器人所处区域内的具体位置，来控制机器人完成垃圾巡检。
麦克纳姆轮：采用麦克纳姆轮运动学解算，实现机器人的全向移动。
JGB37-520编码电机：用于驱动机器人移动。
MPU9250陀螺仪：用于检测机器人的姿态，控制机器人完成转向移动。
树莓派4B：用于实现垃圾识别，当机器人检测到垃圾时，会对垃圾进行图像采集，通过YOLOV5目标检测算法，对垃圾进行分类，并确定垃圾位置。
ESP32-CAM模块：实现图传功能，模块内置WiFi，通过TCP/IP传输协议，进行机器人与上位机的无线连接和图像传输，监测机器人的工作状态。
JQ8900语音模块：用于对检测到的垃圾种类进行语音播报。
六轴机械臂：用于实现机械臂能够根据垃圾大小完成自适应抓取。
蓝牙模块：用于与蓝牙上位机进行通信，实现机器人的远程控制。
二维云台：用于搭载ESP32-CAM模块，控制ESP32-CAM进行X轴、Y轴移动，以调整机器人观测视野角度，实现图传的多角度观测。
OV5640摄像头模块：集成在树莓派4B端，用于实现垃圾的图像采集。
串口屏：用于显示机器人的运动轨迹。
超声波传感器：用于检测障碍物，实现避障功能，使机器人能够自主规避障碍。
编码电机控制采用增量式PID算法，在检测到垃圾时，树莓派回传坐标信息给STM32主控，计算坐标与摄像头屏幕中心的偏差，控制机器人向着目标移动；机械臂进行垃圾捡取，根据垃圾种类将垃圾投放到指定垃圾箱，并进行语音播报，当捡取完成后，机器人按照当前航线继续行驶。
巡逻式智能垃圾分拣机器人，基于UWB定位和机器视觉感知，解决了传统垃圾分拣机器人不能在规定区域内智能完成垃圾巡检和自动分类任务以及垃圾识别精度不高的问题。
本实施例中，巡逻式智能垃圾分拣机器人工作流程，如图1所示，具体如下：
首先，在机器人工作区域内放置四个基站来进行定位，机器人通过标签接收基站发送的位置信息就可以确定自身所处区域中的具体位置，此时在串口屏上可以对机器人的航线进行路径规划，若规划的路径是一个闭合曲线，机器人就会沿指定航线循环行驶；若规划的路径是一条有始有终的曲线，机器人从起点运行到终点就会停下。
然后，在捡取垃圾过程中若遇到障碍物，则可以通过超声波模块来规避障碍。
接着，对于垃圾识别则采用树莓派进行，当机器人检测到垃圾时，会对垃圾进行图像采集，通过YOLOV5目标检测算法，对垃圾进行分类，并确定垃圾位置。
最后，机器人根据垃圾所处位置，控制机械臂进行垃圾捡取，根据垃圾种类将垃圾投放到指定垃圾箱，并进行语音播报，当机器人捡取完成后，会按照当前航线继续行驶。
在本发明的一个实施例中，采用YOLOV5目标检测算法进行垃圾检测，如图2所示，YOLOV5模型训练流程如下：
首先，进行垃圾数据集制作，将制作好的数据集通过python脚本进行图像增强；
然后，使用Labelme软件进行数据集标注，将数据集导入Labelme，在图像上创建需要标注的区域，根据垃圾的不同种类，在标注区域添加可回收垃圾、有害垃圾、厨余垃圾和其他垃圾标签；
最后，导出json标签文件，使用COCO数据集将json文件转换为txt文件，选取80％为数据集，20％为验证集在GPU上进行模型训练，将训练完得到best模型转换为onnx模型，最后在树莓派上进行模型部署。
模型训练部分垃圾结果如图3所示，模型训练标签图如图4所示。
树莓派垃圾识别分类与定位流程如图5所示，在机器人沿规定路径行驶过程中，本实施例通过OV5640摄像头进行图像识别，若检测到垃圾，树莓派会对图像进行处理，采用YOLOV5目标检测算法来实现垃圾分类，将图像处理的垃圾中心点坐标、垃圾和车身的角度、分类标签、垃圾与摄像头的距离打包发送给STM32主控。
如图6所示为本实施例UWB区域定位图，在机器人工作区域内放置四个基站来进行区域定位，标签通过对接收到的信号进行时间测量和幅度测量计算出信号的传播时间和距离，通过TDOA定位算法，得到目标在所处区域中的位置坐标。
如图7所示为本实施例麦克纳姆轮运动学分析图，在机器人底盘坐标系下，以机器人底盘中心为坐标系原点O，X轴的方向指向机器人运动方向，Y轴的方向指向机器人左侧方向。设每个麦轮的半径为R，角速度为ωi，i＝1,2,3,4，机器人在X方向、Y方向的速度和角速度分别为VX、VY和ω。麦轮中心与X轴方向的距离为a，与Y轴方向的距离为b，每个麦轮的线速度为V轮i，i＝1,2,3,4，麦轮上的辊子沿辊轴的速度为V辊i，i＝1,2,3,4，麦轮轮轴与辊轴的夹角为β，β＝45°，根据运动学原理对每个麦轮分析，可得：
从而可得每个麦轮的速度为：
转换成角速度用矩阵表示为：
本实施例中，ESP32的无线图传流程图如图8所示，该系统是基于ESP32CAM开发板进行实现，开发环境是Arduino平台，搭载OV5640摄像头进行，具有高分辨率，能够提供清晰、细节丰富的图像，确保捕捉到准确的画面细节，提供高质量的监控和录像，图传上位机使用E4A软件进行开发主要有图像传输、二维云台控制和LED补光三个功能。在图传上位机端输入视频流IP地址即可进行查看视频流，通过改变X轴Y轴云台滑动条的数值，可实现视频流的多角度观测，具体ESP32CAM图传上位机界面，如图9所示。
蓝牙APP远程控制上位机界面，如图10所示，包括麦轮移动控制、机械臂控制和垃圾分类显示三部分组成。
麦轮移动控制有9个方向键，当按下某个按键时，其就会发送相应的指令给STM32主控来控制机器人进行移动，去寻找垃圾。当机器人找到垃圾时，按下机械臂抓取按钮，机器人就会进行垃圾抓取任务，抓取完成后，按下分类按钮，机械臂就会根据所抓取的垃圾种类进行分类投放，完成垃圾分拣任务。垃圾分类情况可通过垃圾分类显示界面进行查看，每投放一个垃圾，与其对应的垃圾桶内的垃圾数量就会加1。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种巡逻式智能垃圾分拣机器人工作方法，其特征在于，包括如下步骤：
步骤1、基于UWB定位基站，在机器人工作区域内放置四个基站，通过TDOA定位方法获得机器人所处区域内的具体位置，对机器人的巡逻路径进行路径规划；
步骤2、机器人通过超声波传感器检测前方是否有障碍物并自主规避障碍，使用ESP32-CAM模块进行图像传输，通过上位机实时观测机器人的工作状态；
步骤3、基于树莓派，当机器人检测到垃圾时，对垃圾进行图像采集，通过YOLOV5目标检测算法进行垃圾识别与分类，输出垃圾的中心点坐标、垃圾与摄像头间的角度、距离和分类标签，并将信息发送给STM32主控；
步骤4、STM32主控根据接收到的信息确定垃圾位置，控制机器人向垃圾方向移动，当垃圾位于图像中心位置时，控制机械臂进行垃圾捡取，根据垃圾种类将垃圾投放到指定垃圾箱，并进行语音播报；
步骤5、机器人判断STM32主控是否接收到蓝牙上位机发送的指令，如果是，则对接收到的指令数据进行判断，来控制机器人完成相应的指令操作；如果否，则机器人返回航线继续巡逻。
2.根据权利要求1所述的巡逻式智能垃圾分拣机器人工作方法，其特征在于，步骤1基于UWB定位基站，对机器人进行精准定位及路径规划，包括如下子步骤：
步骤1.1、构建UWB定位系统，包括四个基站和一个标签：四个基站分别放置于机器人工作区域四周，用于规划机器人的工作区域；标签位于机器人上，通过对接收到的信号进行时间测量和幅度测量，计算信号的传播时间和距离；
步骤1.2、通过TDOA定位方法，计算机器人所处基站区域内的位置坐标，进行机器人精准定位；
步骤1.3、基于栅格式方法进行机器人巡逻式运动路径规划：以四个基站顶点为坐标，构成二维平面，将二维平面分成若干个栅格，每个栅格分别对应一个坐标，根据不同坐标的排列组合，为机器人规划运动路径，完成垃圾巡检任务。
3.根据权利要求2所述的巡逻式智能垃圾分拣机器人工作方法，其特征在于，步骤1.2通过TDOA定位方法实现机器人精准定位，具体如下：
设四个基站位置分别是A1(X1，Y1)、A2(X2，Y2)、A3(X3，Y3)、A4(X4，Y4)，A1为主基站，A2、A3、A4为非主基站；标签位于机器人上，伴随着机器人进行移动，标签向四周发送UWB信号，四个基站接收标签信号的时间为t1、t2、t3、t4，根据各非主基站接收标签信号与主基站接收标签信号的时间差，获得TDOA方程：
其中，Di,1为标签到第i个基站和主基站之间的距离差，i＝2,3,4；c代表电磁波在空气中的传播速度，(a,b)是标签的坐标，得到如下方程组：
通过求解方程组，即得出标签的位置坐标，完成机器人精准定位。
4.根据权利要求1所述的巡逻式智能垃圾分拣机器人工作方法，其特征在于，步骤2中，通过上位机实时监测机器人的工作状况，方法包括：使用ESP32-CAM模块内置的WiFi模块，基于TCP/IP传输协议，进行机器人与上位机的无线连接和图像传输；在图像传输过程中采用JPEG压缩算法，减少传输带宽的占用；对传输数据进行加密，防止未被授权的访问者窃取敏感信息；使用身份认证机制验证上位机监控端的合法性；
所述上位机使用E4A开发工具实现远程监控和无线图像传输，通过在上位机输入ESP32-CAM模块IP地址，查看机器人视频流。
5.根据权利要求1所述的巡逻式智能垃圾分拣机器人工作方法，其特征在于，步骤3中所述YOLOV5目标检测算法，包括以下步骤：
步骤3.1、基于树莓派，使用摄像头进行图像采集，制作垃圾数据集；
步骤3.2、进行图像预处理：将图像数据集导入Labelme软件进行标注，在图像上创建需要标注的区域，为每个标注区域添加对应的标签，并导出标注结果，所述标注结果为json文件；
步骤3.3、使用COCO数据集对json文件标签进行解析，将json文件转为txt文件；
步骤3.4、基于YOLOV5网络模型，使用GPU进行模型训练：模型训练使用Pytorch深度学习框架,训练完成后生成best模型；
步骤3.5、将best模型转换为onnx模型，用于树莓派的部署；
步骤3.6、配置YOLOV5环境，进行树莓派模型部署；
步骤3.7、基于OpenCV平台，运行目标检测代码，通过YOLOV5网络模型，对垃圾进行图像处理，实现垃圾分类。
6.根据权利要求5所述的巡逻式智能垃圾分拣机器人工作方法，其特征在于，步骤3.7中，对垃圾进行图像处理，实现垃圾识别，包括以下子步骤：
步骤3.7.1：对输入图像进行先验框预测：在YOLOV5中使用一组先验框预测不同尺度和宽高比的目标；所述先验框为训练过程中根据数据集的特征统计信息或手动设定的一组固定大小和宽高比的边界框，用于网格单元的相对坐标预测，并与真实框进行匹配，先验框的数量和大小根据任务调整；
步骤3.7.2：对检测结果预测：YOLOV5使用多个预测层预测目标的类别和位置，每个预测层输出一个特定尺度下的分类概率、边界框坐标和目标置信度；
步骤3.7.3：检测目标置信度：YOLOV5通过目标置信度来评估在输入图像中生成的各个预测框中是否包含目标物体；所述预测框由网络预测得到，包含目标物体的位置和大小信息；每个预测框都会被分配一个目标置信度，目标置信度代表网络认为该预测框中是否有目标的置信度得分；
步骤3.7.4：输出类别概率分布：对于每个预测框，YOLOV5输出一个概率分布，表示该预测框所属类别的可能性得分，使用Softmax函数将原始输出转化为概率分布；
步骤3.7.5：边界框预测：YOLOV5使用预测框的中心坐标、宽度和高度定位目标物体，所述预测框的坐标由相对于输入图像的宽度和高度的相对值表示，YOLOV5用IOU值评价预测框和真实框的重叠程度；
步骤3.7.6：损失函数计算：YOLOV5使用损失函数训练网络，通过损失函数对YOLOV5网络模型的预测结果进行评估，并通过反向传播更新网络的参数；所述损失函数包括目标置信度损失、类别损失和边界框损失；
步骤3.7.7：对先验框进行非极大值抑制：在YOLOV5的输出中有预测框重叠，YOLOV5使用非极大值抑制算法减少冗余的检测结果，筛选出最终的目标检测结果。
7.根据权利要求6所述的巡逻式智能垃圾分拣机器人工作方法，其特征在于，步骤3.7.5中，YOLOV5算法采用完全交并比CIOULOSS评价边界框损失，损失函数计算公式如下：
其中，IOU是预测框和真实框之间的交并比，是预测框的中心点与真实框的中心点之间的欧式距离平方，/>是预测框与真实框的最小外接矩阵的对角线距离平方，v是预测框和真实框之间的相对面积差异。
8.根据权利要求7所述的巡逻式智能垃圾分拣机器人工作方法，其特征在于：步骤3.7.5中，YOLOV5用BCEWithLogitsLoss和FocalLoss评价目标框和预测框的类别损失和置信度损失，方法如下：
对预测输出作sigmoid变换，求变换后的结果与真实值的二值交叉熵，两者的二值交叉熵的BCEWithLogitsLoss损失公式如下：
其中，n是样本的数量或维度，yn是真实标签的值，为0或1；xn是预测输出的值，通过sigmoid变换后的结果，值域为[0,1]；
基于目标检测中正负样本不均衡，FocalLoss通过提高难分类别的损失函数实现，公式如下：
FL(pt)＝-(1-pt)γlog(pt)
其中，pt是预测输出的概率值，表示模型对样本属于正类的置信度；γ是调节焦点的参数，用于控制对难分类样本的关注程度。
9.根据权利要求1所述的巡逻式智能垃圾分拣机器人工作方法，其特征在于，通过蓝牙APP进行机器人远程遥控，并通过自动控制完成机器人运动部分控制；
所述自动控制包括电机PID控制和麦克纳姆轮运动学解算；所述蓝牙APP界面包括麦轮运动控制、机械臂控制、垃圾分类显示；
麦轮运动控制包括：前进、后退、左移、右移、停止、左上移、右上移、左下移以及右下移控制按钮，使机器人能够进行全向移动；机械臂控制包括抓取和分类按钮，当某一区域内有垃圾时，快速控制机器人到指定区域完成垃圾捡取任务；垃圾分类显示用于显示垃圾分拣情况，包括可回收垃圾、有害垃圾、厨余垃圾和其他垃圾。
10.一种巡逻式智能垃圾分拣机器人，基于UWB定位和机器视觉感知，使用权利要求1-9任一项所述方法进行垃圾分拣，包括：
智能垃圾分拣机器人本体：使用亚克力板进行搭建，适应垃圾箱和各个模块的嵌入；
UWB模块：用于实现机器人的区域定位，通过在机器人工作区域内放置四个基站，采用TDOA算法获得机器人所处区域内的具体位置，控制机器人完成垃圾巡检；
麦克纳姆轮：采用麦克纳姆轮运动学解算，实现机器人的全向移动；
编码电机：采用增量式PID算法，驱动机器人移动；
陀螺仪：用于检测机器人的姿态，控制机器人完成转向移动；
树莓派4B：用于实现垃圾识别，当机器人检测到垃圾时，通过YOLOV5目标检测算法，对垃圾进行分类，确定垃圾位置；
ESP32-CAM模块：内置WiFi，实现图传功能，通过TCP/IP传输协议，进行机器人与上位机的无线连接和图像传输，监测机器人的工作状态；
语音模块：用于对检测到的垃圾种类进行语音播报；
六轴机械臂：用于垃圾捡取，机械臂根据垃圾大小完成自适应抓取并根据垃圾种类将垃圾投放到指定垃圾箱；
蓝牙模块：用于与蓝牙上位机进行通信，实现机器人的远程控制；
二维云台：用于搭载ESP32-CAM模块，调整机器人观测视野角度，实现图传的多角度观测；
摄像头模块：集成在树莓派4B端，用于实现垃圾的图像采集；
串口屏：用于显示机器人的运动轨迹；
超声波传感器：用于检测障碍物，实现机器人自主避障。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311807044.0A CN117531717A (zh) | 2023-12-26 | 2023-12-26 | 一种巡逻式智能垃圾分拣机器人及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311807044.0A CN117531717A (zh) | 2023-12-26 | 2023-12-26 | 一种巡逻式智能垃圾分拣机器人及其工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117531717A true CN117531717A (zh) | 2024-02-09 |
Family
ID=89788293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311807044.0A Pending CN117531717A (zh) | 2023-12-26 | 2023-12-26 | 一种巡逻式智能垃圾分拣机器人及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117531717A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117970893A (zh) * | 2024-03-29 | 2024-05-03 | 中科先进(深圳)集成技术有限公司 | 一种多机器人的协同制造方法、装置、系统和存储介质 |
| CN118072110A (zh) * | 2024-04-18 | 2024-05-24 | 泸州市兴泸环保发展有限公司 | 一种基于图像信息的自动化垃圾处理方法及系统 |
| CN118357903A (zh) * | 2024-06-19 | 2024-07-19 | 安徽大学 | 一种多机械臂协同的多目标分拣方法 |
-
2023
- 2023-12-26 CN CN202311807044.0A patent/CN117531717A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117970893A (zh) * | 2024-03-29 | 2024-05-03 | 中科先进(深圳)集成技术有限公司 | 一种多机器人的协同制造方法、装置、系统和存储介质 |
| CN118072110A (zh) * | 2024-04-18 | 2024-05-24 | 泸州市兴泸环保发展有限公司 | 一种基于图像信息的自动化垃圾处理方法及系统 |
| CN118357903A (zh) * | 2024-06-19 | 2024-07-19 | 安徽大学 | 一种多机械臂协同的多目标分拣方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117531717A (zh) | 一种巡逻式智能垃圾分拣机器人及其工作方法 | |
| CA3138243C (en) | Tracking vehicles in a warehouse environment | |
| CN112149555B (zh) | 一种基于全局视觉的多仓储agv追踪方法 | |
| CN110344621A (zh) | 一种面向智能车库的车轮点云检测方法 | |
| US20230158680A1 (en) | Robotic sortation system | |
| CN110560373B (zh) | 一种多机器人协作分拣运输方法及系统 | |
| CN110553650B (zh) | 一种基于小样本学习的移动机器人重定位方法 | |
| CN114505840B (zh) | 一种自主操作箱式电梯的智能服务机器人 | |
| CN113298781B (zh) | 一种基于图像和点云融合的火星表面三维地形检测方法 | |
| CN116277025A (zh) | 一种智能制造用机器人的物件分拣控制方法及系统 | |
| CN116494201A (zh) | 一种监控一体化的电力机房巡检机器人及无人巡检方法 | |
| RU2731052C1 (ru) | Роботизированный автоматический комплекс по сортировке твёрдых коммунальных отходов на основе нейронных сетей | |
| CN112429444A (zh) | 垃圾回收机器人及其控制方法 | |
| WO2022241597A1 (zh) | 一种ai智能垃圾识别分类系统和方法 | |
| US20240012394A1 (en) | Location tracking system in factory and method thereof | |
| KR20230061612A (ko) | 머신 러닝을 이용한 물체의 피킹 자동화 시스템 및 그 제어 방법 | |
| CN114132745A (zh) | 一种基于agv及机器视觉进行工件自动上下料系统及方法 | |
| Chang et al. | Design of mobile garbage collection robot based on visual recognition | |
| CN114730192A (zh) | 物体移动系统 | |
| Usha et al. | Accurate and High Speed Garbage Detection and Collection Technique using Neural Network and Machine Learning | |
| CN117292352A (zh) | 面向开放世界目标检测的障碍识别与避障方法及小车系统 | |
| Bonala et al. | Efficient Handling of Waste Using Deep Learning and IoT | |
| Hamieh et al. | LiDAR and Camera-Based Convolutional Neural Network Detection for Autonomous Driving | |
| CN113074737B (zh) | 一种基于场景辨识的多机器人分布式协作视觉建图方法 | |
| Phan et al. | Development of an Autonomous Component Testing System with Reliability Improvement Using Computer Vision and Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |