CN113183138A - 一种垃圾搬运分拣机器人及其控制方法 - Google Patents

Abstract

本发明公开了一种垃圾搬运分拣机器人，包括电动底盘车，还包括设置在电动底盘车上的托盘、机械臂、第一深度摄像头和工业摄像头，机械臂的末端设置有第二深度摄像头，电动底盘车内设置有工控机，机械臂、电动底盘车的驱动电机、工业摄像头和深度摄像头分别与工控机连接。本发明还公开了一种垃圾搬运分拣机器人的控制方法。本发明可对垃圾桶进行搬运，有效减少人工工作量，可对任务中的垃圾进行分类，并根据分类结果进行搬运，有效减少生活垃圾对土地的侵蚀，实现垃圾变废为宝再利用和物质能源的转化。

Description

一种垃圾搬运分拣机器人及其控制方法

技术领域

本发明涉及智能机器人技术领域，具体而言，涉及一种垃圾搬运分拣机器人及其控制方法。

背景技术

随着人们日益提高的生活水平，生活垃圾、工业垃圾也随之增多，干垃圾、湿垃圾等垃圾处理越来难，因此，近年来，我国开始推行垃圾分类，针对不同垃圾类别进行分类分拣处理。虽然现在市面上也有一些机器人用来清扫垃圾，但是现有的机器人存在以下问题：(一)目前市场常见的机器人只有简单的托举功能，不能有效分担工人搬运垃圾桶的工作量；(二)市场上的垃圾搬运机器人只限于搬运层次，并不能识别干湿垃圾，不能进行垃圾分类分拣。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种垃圾搬运分拣机器人及其控制方法，可对垃圾桶进行搬运，有效减少人工工作量，可对任务中的垃圾进行分类，并根据分类结果进行搬运，有效减少生活垃圾对土地的侵蚀，实现垃圾变废为宝再利用和物质能源的转化。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种垃圾搬运分拣机器人，包括电动底盘车，还包括设置在电动底盘车上的托盘、机械臂、第一深度摄像头和工业摄像头，机械臂的末端设置有第二深度摄像头，电动底盘车内设置有工控机，机械臂、电动底盘车的驱动电机、工业摄像头和深度摄像头分别与工控机连接。

本垃圾搬运分拣机器人的工作原理如下：

将工控机、机械臂和电动底盘车的驱动电机外接电源，上述驱动电机为通电后，通过工业摄像头实时获取工作区域的图像信息，并将获取的图像信息发送给工控机，通过工控机对图像信息进行分析后生成相应的运动指令给电动底盘车的驱动电机控制其运作，进而使得电动底盘车在工作区域内移动，当电动底盘车移动到目标位置后，通过第一深度摄像头获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机发送一个指令，工控机接收到该指令后，立即向机械臂发送一个控制指令，控制机械臂调整好抓取姿态对目标位置的垃圾桶，通过机械臂将抓取的垃圾桶放置在托盘上，然后通过工控机控制电动底盘车移动到目标分拣区域，通过第二深度摄像头获取到垃圾桶内的垃圾图像信息，并对垃圾图像信息进行识别，通过垃圾模型对垃圾进行分类，获取到垃圾种类信息，并获取机械臂、电动底盘车和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息，工控机根据垃圾种类信息和位姿信息生成相应的控制指令发送给机械臂和电动底盘车，控制电动底盘车移动到目标垃圾处理桶处，然后通过机械臂将垃圾抓取放置在相应的目标垃圾处理桶内。垃圾分拣完毕后，继续返回进行下一次作业。本机器人可对多个目标点进行导航及任务调度，根据不同的任务需求生成相应的控制指令给对应的装置。

本垃圾搬运分拣机器人可对垃圾桶进行搬运，有效减少人工工作量，同时通过深度摄像头和工控机的配合，实现对垃圾的分类识别，进而实现垃圾分类分拣，根据分类结果进行搬运，实现精准清扫搬运，提高垃圾清扫效果，有效减少生活垃圾对土地的侵蚀，实现垃圾变废为宝再利用和物质能源的转化。深度摄像头负责视觉识别定位，给机械臂发送指令控制夹爪抓取垃圾桶的桶耳；工业红外摄像头，防尘防爆，兼具夜市功能，负责对全局进行监控，如有问题可随时人工在后端干预，同时可以进行夜间作业。

基于第一方面，在本发明的一些实施例中，一种垃圾搬运分拣机器人，所述电动底盘车的前端设置有激光雷达。

基于第一方面，在本发明的一些实施例中，所述电动底盘车上设置有导航定位装置。

基于第一方面，在本发明的一些实施例中，一种垃圾搬运分拣机器人，还包括报警装置，报警装置与工控机连接。

基于第一方面，在本发明的一些实施例中，一种垃圾搬运分拣机器人，电动底盘车上还设置有升降机构，升降机构与托盘连接，升降机构位于托盘的下方；升降机构与工控机连接。

第二方面，本发明实施例提供一种垃圾搬运分拣机器人的控制方法，包括以下步骤：

获取并发送实时工作区域图像；

根据实时工作区域图像生成并发送操作指令；

获取并发送实时目标垃圾图像；

对实时目标垃圾图像进行识别分析，获取垃圾种类信息；

获取机械臂、电动底盘车和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息；

根据垃圾种类信息和位姿信息生成并发送分拣指令。

通过工业摄像头实时获取工作区域图像信息，并将实时获取的工作区域图像信息发送给工控机，工控机接收到工作区域图像信息提取到目标位置信息，通过工控机对图像信息进行分析后生成相应的运动指令给电动底盘车的驱动电机控制其运作，进而使得电动底盘车在工作区域内移动，当电动底盘车移动到目标位置后，通过第一深度摄像头获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机发送一个指令，工控机接收到该指令后，立即向机械臂发送一个控制指令，通过工控机对图像信息进行分析后生成相应的运动指令给电动底盘车的驱动电机控制其运作，进而使得电动底盘车在工作区域内移动，当电动底盘车移动到目标位置后，通过第一深度摄像头获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机发送一个指令，工控机接收到该指令后，立即向机械臂发送一个控制指令，控制机械臂调整好抓取姿态对目标位置的垃圾桶，同时，通过工控机向升降机构发送一个升降指令，升降机构接收到升降指令后向上升起，进而托起托盘，通过机械臂将抓取的垃圾桶放置在托盘上，然后通过工控机控制电动底盘车移动到目标分拣区域，通过深度摄像头获取实时目标垃圾图像，并对实时目标垃圾图像进行识别分析，通过垃圾模型对垃圾进行分类，获取到垃圾种类信息，并获取机械臂、电动底盘车和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息，根据垃圾种类信息和位姿信息生成并发送分拣指令机械臂和电动底盘车，控制电动底盘车移动到目标垃圾处理桶处，然后通过机械臂将垃圾抓取放置在相应的目标垃圾处理桶内。可控制机器人对多个目标点进行导航及任务调度，根据不同的任务需求生成相应的控制指令给对应的装置，提高其工作效率。

本方法通过垃圾模型对垃圾进行分类识别，进而控制机器人的机械臂、电动底盘车运作，实现对垃圾的分类分拣，根据分类结果进行搬运，实现精准清扫搬运，提高垃圾清扫效果。通过全局定位AMCL算法对机器人进行定位导航，控制机器人按照规定路线进行，实现自主避障导航，提高工作效率，机器人可自主避障导航。

基于第二方面，在本发明的一些实施例中，一种垃圾搬运分拣机器人的控制方法，根据实时工作区域图像生成并发送操作指令的方法包括以下步骤：

根据实时工作区域图像生成并发送电动底盘车运动指令给电动底盘车；

根据实时工作区域图像生成并发送抓取指令给机械臂；

根据实时工作区域图像生成并发送升降指令给升降机构。

基于第二方面，在本发明的一些实施例中，一种垃圾搬运分拣机器人的控制方法，对实时目标垃圾图像进行识别分析，获取垃圾种类信息的方法包括以下步骤：

通过深度学习算法对实时目标垃圾图像中的垃圾类别进行识别，获取垃圾种类信息。

基于第二方面，在本发明的一些实施例中，一种垃圾搬运分拣机器人的控制方法，通过深度学习算法对实时目标垃圾图像中的垃圾类别进行识别，获取垃圾种类信息的方法包括以下步骤：

获取垃圾种类训练集；

根据垃圾种类训练集对机器人进行垃圾分类检测训练，以得到垃圾分类模型；

将实时目标垃圾图像导入到垃圾分类模型中，通过垃圾分类模型对实时目标垃圾图像中的垃圾类别进行识别，得到垃圾种类信息。

基于第二方面，在本发明的一些实施例中，一种垃圾搬运分拣机器人的控制方法，根据垃圾种类信息和位姿信息生成并发送分拣指令的方法包括以下步骤：

根据垃圾种类信息和位姿信息生成并发送空间路径规划指令给机械臂；

根据垃圾种类信息和位姿信息生成并发送导航定位指令给电动底盘车。

本发明实施例至少具有如下优点或有益效果：

本发明实施例提供一种垃圾搬运分拣机器人，通过工业摄像头实时获取工作区域的图像信息，并将获取的图像信息发送给工控机，通过工控机对图像信息进行分析后生成相应的运动指令给电动底盘车的驱动电机控制其运作，进而使得电动底盘车在工作区域内移动，当电动底盘车移动到目标位置后，通过第一深度摄像头获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机发送一个指令，工控机接收到该指令后，立即向机械臂发送一个控制指令，控制机械臂调整好抓取姿态对目标位置的垃圾桶，通过机械臂将抓取的垃圾桶放置在托盘上，然后通过工控机控制电动底盘车移动到目标分拣区域，通过第二深度摄像头获取到垃圾桶内的垃圾图像信息，并对垃圾图像信息进行识别，通过垃圾模型对垃圾进行分类，获取到垃圾种类信息，并获取机械臂、电动底盘车和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息，工控机根据垃圾种类信息和位姿信息生成相应的控制指令发送给机械臂和电动底盘车，控制电动底盘车移动到目标垃圾处理桶处，然后通过机械臂将垃圾抓取放置在相应的目标垃圾处理桶内。垃圾分拣完毕后，继续返回进行下一次作业。本机器人可对多个目标点进行导航及任务调度，根据不同的任务需求生成相应的控制指令给对应的装置。对垃圾桶进行搬运，有效减少人工工作量，同时通过深度摄像头和工控机的配合，实现对垃圾的分类识别，进而实现垃圾分类分拣，根据分类结果进行搬运，实现精准清扫搬运，提高垃圾清扫效果。

本发明实施例还提供一种垃圾搬运分拣机器人的控制方法，通过工业摄像头实时获取工作区域图像信息，并将实时获取的工作区域图像信息发送给工控机，通过工控机对图像信息进行分析后生成相应的运动指令给电动底盘车的驱动电机控制其运作，进而使得电动底盘车在工作区域内移动，当电动底盘车移动到目标位置后，通过第一深度摄像头获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机发送一个指令，工控机接收到该指令后，立即向机械臂发送一个控制指令，工控机接收到工作区域图像信息提取到目标位置信息，然后根据目标位置信息生成操作控制指令并发送给电动底盘车，控制电动底盘车移动到目标位置，然后通过工控机发送抓取指令给机械臂，控制机械臂调整好抓取姿态对目标位置的垃圾桶，通过机械臂将抓取的垃圾桶放置在托盘上，然后通过工控机控制电动底盘车移动到目标分拣区域，通过深度摄像头获取实时目标垃圾图像，并对实时目标垃圾图像进行识别分析，通过垃圾模型对垃圾进行分类，获取到垃圾种类信息，并获取机械臂、电动底盘车和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息，根据垃圾种类信息和位姿信息生成并发送分拣指令机械臂和电动底盘车，控制电动底盘车移动到目标垃圾处理桶处，然后通过机械臂将垃圾抓取放置在相应的目标垃圾处理桶内。本方法通过垃圾模型对垃圾进行分类识别，进而控制机器人的机械臂、电动底盘车运作，实现对垃圾的分类分拣，根据分类结果进行搬运，实现精准清扫搬运，提高垃圾清扫效果。本方法可控制机器人对多个目标点进行导航及任务调度，根据不同的任务需求生成相应的控制指令给对应的装置，提高其工作效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例一种垃圾搬运分拣机器人的结构示意图；

图2为图1中A处的放大图；

图3为本发明实施例一种垃圾搬运分拣机器人的原理框图；

图4为本发明实施例一种垃圾搬运分拣机器人的控制方法的流程图。

图标：1、电动底盘车；11、驱动电机；2、机械臂；3、升降机构；4、工业摄像头；5、第二深度摄像头；6、工控机；7、报警装置；8、托盘；9、第一深度摄像头；10、激光雷达；12、导航定位装置。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本发明实施例的描述中，需要说明的是，若出现术语“上”、“内”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

实施例

如图1-图3所示，本实施例提供一种垃圾搬运分拣机器人，包括电动底盘车1，还包括设置在电动底盘车1上的托盘8、机械臂2、第一深度摄像头9和工业摄像头4，机械臂2位于电动底盘车1的前部，机械臂2的末端设置有第二深度摄像头5，电动底盘车1内设置有工控机6，机械臂2、电动底盘车1的驱动电机11、工业摄像头4和第二深度摄像头5分别与工控机6连接。

本垃圾搬运分拣机器人的工作原理如下：

将工控机6、机械臂2和电动底盘车1的驱动电机11外接电源，上述驱动电机11为通电后，通过工业摄像头4实时获取工作区域的图像信息，并将获取的图像信息发送给工控机6，通过工控机6对图像信息进行分析后生成相应的运动指令给电动底盘车1的驱动电机11控制其运作，进而使得电动底盘车1在工作区域内移动，当电动底盘车1移动到目标位置后，通过第一深度摄像头9获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机6发送一个指令，工控机6接收到该指令后，立即向机械臂2发送一个控制指令，控制机械臂2调整好抓取姿态对目标位置的垃圾桶，通过机械臂2将抓取的垃圾桶放置在托盘8上，然后通过工控机6控制电动底盘车1移动到目标分拣区域，通过第二深度摄像头5获取到垃圾桶内的垃圾图像信息，并对垃圾图像信息进行识别，通过垃圾模型对垃圾进行分类，获取到垃圾种类信息，并获取机械臂2、电动底盘车1和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息，工控机6根据垃圾种类信息和位姿信息生成相应的控制指令发送给机械臂2和电动底盘车1，控制电动底盘车1移动到目标垃圾处理桶处，然后通过机械臂2将垃圾抓取放置在相应的目标垃圾处理桶内。垃圾分拣完毕后，继续返回进行下一次作业。本机器人可对多个目标点进行导航及任务调度，根据不同的任务需求生成相应的控制指令给对应的装置。

本垃圾搬运分拣机器人可对垃圾桶进行搬运，有效减少人工工作量，同时通过第一深度摄像头9、第二深度摄像头5和工控机6的配合，实现对垃圾的分类识别，进而实现垃圾分类分拣，根据分类结果进行搬运，实现精准清扫搬运，提高垃圾清扫效果，有效减少生活垃圾对土地的侵蚀，实现垃圾变废为宝再利用和物质能源的转化。通过全局定位AMCL算法对机器人进行定位导航，控制机器人按照规定路线进行，实现自主避障导航，提高工作效率，机器人可自主避障导航。第一深度摄像头9负责视觉识别定位，给机械臂发送指令控制夹爪抓取垃圾桶的桶耳；工业红外摄像头，防尘防爆，兼具夜市功能，负责对全局进行监控，如有问题可随时人工在后端干预，同时可以进行夜间作业。

在其中一个实施例中，如图1所示，所述电动底盘车1的前端设置有激光雷达10。

在电动底盘车1的前端中部设置有激光雷达10，通过激光雷达10向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对飞机、导弹等目标进行探测、跟踪和识别，用来建图和避障。

在其中一个实施例中，如图1所示，所述电动底盘车1上设置有导航定位装置12。

在电动底盘车1的上表面设置有导航定位装置12导航定位系统，可对机器人所处的室外位置进行精确定位。通过工业摄像头和深度摄像头以及导航定位装置12的配合，控制机器人巡航与现场监控。

在其中一个实施例中，如图3所示，该垃圾搬运分拣机器人还包括报警装置7，报警装置7与工控机6连接。

当到达目标位置后检测到有垃圾时，通过工控机6向报警装置7发送报警信号，控制报警装置7进行报警提示。

在其中一个实施例中，电动底盘车1上还设置有升降机构3，升降机构3与托盘8连接，升降机构3位于托盘8的下方；升降机构3与工控机6连接。

同时，通过工控机6向升降机构3发送一个升降指令，该升降机构3采用常用的升降台，该升降机构3位于托盘8的正下方，升降机构3接收到升降指令后向上升起，进而竖直向上托起托盘8，使得托盘8与机械臂2配合，提高垃圾桶的抓取效率。

如图4所示，本实施例还提供一种垃圾搬运分拣机器人的控制方法，包括以下步骤：

S1、获取并发送实时工作区域图像；

S2、根据实时工作区域图像生成并发送操作指令；

S3、获取并发送实时目标垃圾图像；

S4、对实时目标垃圾图像进行识别分析，获取垃圾种类信息；

S5、获取机械臂2、电动底盘车1和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息；

S6、根据垃圾种类信息和位姿信息生成并发送分拣指令。

通过工业摄像头4实时获取工作区域图像信息，并将实时获取的工作区域图像信息发送给工控机6，工控机6接收到工作区域图像信息提取到目标位置信息，然后根据目标位置信息生成操作控制指令并发送给电动底盘车1，控制电动底盘车1移动到目标位置，通过第一深度摄像头9获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机6发送一个指令，工控机6接收到该指令后，立即向机械臂2发送一个控制指令，通过工控机6对图像信息进行分析后生成相应的运动指令给电动底盘车1的驱动电机11控制其运作，进而使得电动底盘车1在工作区域内移动，当电动底盘车1移动到目标位置后，通过第一深度摄像头9获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机6发送一个指令，工控机6接收到该指令后，立即向机械臂2发送一个控制指令，控制机械臂2调整好抓取姿态对目标位置的垃圾桶，同时，通过工控机6向升降机构3发送一个升降指令，升降机构3接收到升降指令后向上升起，进而托起托盘8，通过机械臂2将抓取的垃圾桶放置在托盘8上，然后通过工控机6控制电动底盘车1移动到目标分拣区域，通过第二深度摄像头5获取实时目标垃圾图像，并对实时目标垃圾图像进行识别分析，通过垃圾模型对垃圾进行分类，获取到垃圾种类信息，并获取机械臂2、电动底盘车1和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息，根据垃圾种类信息和位姿信息生成并发送分拣指令机械臂2和电动底盘车1，控制电动底盘车1移动到目标垃圾处理桶处，然后通过机械臂2将垃圾抓取放置在相应的目标垃圾处理桶内。

本方法通过垃圾模型对垃圾进行分类识别，进而控制机器人的机械臂2、电动底盘车1运作，实现对垃圾的分类分拣，根据分类结果进行搬运，实现精准清扫搬运，提高垃圾清扫效果，有效减少生活垃圾对土地的侵蚀，实现垃圾变废为宝再利用和物质能源的转化。

在其中一个实施例中，根据实时工作区域图像生成并发送操作指令的方法包括以下步骤：

根据实时工作区域图像生成并发送电动底盘车1运动指令给电动底盘车1；

根据实时工作区域图像生成并发送抓取指令给机械臂2；

根据实时工作区域图像生成并发送升降指令给升降机构3。

通过工业摄像头4实时获取工作区域图像信息，并将实时获取的工作区域图像信息发送给工控机6，工控机6接收到工作区域图像信息提取到目标位置信息，根据目标位置信息生成操作控制指令并发送给电动底盘车1，控制电动底盘车1移动，同时，工控机6根据实时工作区域图像生成并发送抓取指令给机械臂2，控制机械臂2进行抓取操作，同时，工控机6根据实时工作区域图像生成并发送升降指令给升降机构3，控制升降机构3托起托盘8，使得机械臂2抓取的垃圾桶放置在托盘8上。通过控制升降机构3、电动底盘车1、机械臂2实现对垃圾桶的精准抓取搬运。

在其中一个实施例中，对实时目标垃圾图像进行识别分析，获取垃圾种类信息的方法包括以下步骤：

通过深度学习算法对实时目标垃圾图像中的垃圾类别进行识别，获取垃圾种类信息。

通过工控机6内置的深度学习算法对实时目标垃圾图像中的垃圾类别进行识别，识别干湿垃圾，获取垃圾种类信息，以便后续将不同垃圾放置于相对应的处理桶中。

在其中一个实施例中，通过深度学习算法对实时目标垃圾图像中的垃圾类别进行识别，获取垃圾种类信息的方法包括以下步骤：

获取垃圾种类训练集；

根据垃圾种类训练集对机器人进行垃圾分类检测训练，以得到垃圾分类模型；

将实时目标垃圾图像导入到垃圾分类模型中，通过垃圾分类模型对实时目标垃圾图像中的垃圾类别进行识别，得到垃圾种类信息。

获取垃圾种类训练集，根据垃圾种类训练集对机器人进行垃圾分类检测训练，以得到垃圾分类模型，将实时目标垃圾图像导入到垃圾分类模型中，通过垃圾分类模型对实时目标垃圾图像中的垃圾类别进行识别，得到垃圾种类信息。通过对干垃圾、湿垃圾、厨余垃圾、有毒垃圾、可回收垃圾等进行目标检测分类训练，可以主动地对任务中的垃圾进行分类，以获取垃圾分类模型，通过垃圾分类模型实时对垃圾类别进行识别分类。

在其中一个实施例中，根据垃圾种类信息和位姿信息生成并发送分拣指令的方法包括以下步骤：

根据垃圾种类信息和位姿信息生成并发送空间路径规划指令给机械臂2；

根据垃圾种类信息和位姿信息生成并发送导航定位指令给电动底盘车1。

根据垃圾种类信息和位姿信息生成相应的空间路径规划指令和导航定位指令并发送给对应的机械臂2和电动底盘车1，控制机械臂2和电动底盘车1进行相应的抓取操作和移动操作，实现精准清扫搬运。通过

综上，本发明的实施例提供一种垃圾搬运分拣机器人及其控制方法，将工控机6、机械臂2和电动底盘车1的驱动电机11外接电源，上述驱动电机11为通电后，通过工业摄像头4实时获取工作区域的图像信息，并将获取的图像信息发送给工控机6，通过工控机6对图像信息进行分析后生成相应的运动指令给电动底盘车1的驱动电机11控制其运作，进而使得电动底盘车1在工作区域内移动，当电动底盘车1移动到目标位置后，通过第一深度摄像头9获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机6发送一个指令，工控机6接收到该指令后，立即向机械臂2发送一个控制指令，通过工控机6对图像信息进行分析后生成相应的运动指令给电动底盘车1的驱动电机11控制其运作，进而使得电动底盘车1在工作区域内移动，当电动底盘车1移动到目标位置后，通过第一深度摄像头9获取垃圾桶的图像信息，并在进行强化学习后，对垃圾桶进行识别，识别成功后向工控机6发送一个指令，工控机6接收到该指令后，立即向机械臂2发送一个控制指令，控制机械臂2调整好抓取姿态对目标位置的垃圾桶，同时，通过工控机6向升降机构3发送一个升降指令，升降机构3接收到升降指令后向上升起，进而托起托盘8，通过机械臂2将抓取的垃圾桶放置在托盘8上，然后通过工控机6控制电动底盘车1移动到目标分拣区域，通过第二深度摄像头5获取到垃圾桶内的垃圾图像信息，并对垃圾图像信息进行识别，通过垃圾模型对垃圾进行分类，获取到垃圾种类信息，并获取机械臂2、电动底盘车1和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息，工控机6根据垃圾种类信息和位姿信息生成相应的控制指令发送给机械臂2和电动底盘车1，控制电动底盘车1移动到目标垃圾处理桶处，然后通过机械臂2将垃圾抓取放置在相应的目标垃圾处理桶内。垃圾分拣完毕后，继续返回进行下一次作业。通过垃圾模型对垃圾进行分类识别，进而控制机器人的机械臂2、电动底盘车1运作，实现对垃圾的分类分拣，根据分类结果进行搬运，实现精准清扫搬运，提高垃圾清扫效果。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种垃圾搬运分拣机器人，包括电动底盘车，其特征在于，还包括设置在所述电动底盘车上的托盘、机械臂、第一深度摄像头和工业摄像头，所述机械臂的末端设置有第二深度摄像头，所述电动底盘车内设置有工控机，所述机械臂、电动底盘车的驱动电机、工业摄像头和深度摄像头分别与所述工控机连接。

2.根据权利要求1所述的一种垃圾搬运分拣机器人，其特征在于，所述电动底盘车的前端设置有激光雷达。

3.根据权利要求1所述的一种垃圾搬运分拣机器人，其特征在于，所述电动底盘车上设置有导航定位装置。

4.根据权利要求1所述的一种垃圾搬运分拣机器人，其特征在于，还包括报警装置，所述报警装置与所述工控机连接。

5.根据权利要求1所述的一种垃圾搬运分拣机器人，其特征在于，所述电动底盘车上还设置有升降机构，所述升降机构与所述托盘连接，所述升降机构位于所述托盘的下方；所述升降机构与所述工控机连接。

6.一种如权利要求1-5任一项所述的垃圾搬运分拣机器人的控制方法，其特征在于，包括以下步骤：

获取并发送实时工作区域图像；

根据实时工作区域图像生成并发送操作指令；

获取并发送实时目标垃圾图像；

对实时目标垃圾图像进行识别分析，获取垃圾种类信息；

获取机械臂、电动底盘车和目标垃圾桶的位置信息，进行位姿估计，获取位姿信息；

根据垃圾种类信息和位姿信息生成并发送分拣指令。

7.根据权利要求6所述的一种垃圾搬运分拣机器人的控制方法，其特征在于，所述根据实时工作区域图像生成并发送操作指令的方法包括以下步骤：

根据实时工作区域图像生成并发送电动底盘车运动指令给电动底盘车；

根据实时工作区域图像生成并发送抓取指令给机械臂；

根据实时工作区域图像生成并发送升降指令给升降机构。

8.根据权利要求6所述的一种垃圾搬运分拣机器人的控制方法，其特征在于，所述对实时目标垃圾图像进行识别分析，获取垃圾种类信息的方法包括以下步骤：

通过深度学习算法对实时目标垃圾图像中的垃圾类别进行识别，获取垃圾种类信息。

9.根据权利要求8所述的一种垃圾搬运分拣机器人的控制方法，其特征在于，所述通过深度学习算法对实时目标垃圾图像中的垃圾类别进行识别，获取垃圾种类信息的方法包括以下步骤：

获取垃圾种类训练集；

根据垃圾种类训练集对机器人进行垃圾分类检测训练，以得到垃圾分类模型；

将实时目标垃圾图像导入到垃圾分类模型中，通过垃圾分类模型对实时目标垃圾图像中的垃圾类别进行识别，得到垃圾种类信息。

10.根据权利要求6所述的一种垃圾搬运分拣机器人的控制方法，其特征在于，所述根据垃圾种类信息和位姿信息生成并发送分拣指令的方法包括以下步骤：

根据垃圾种类信息和位姿信息生成并发送空间路径规划指令给机械臂；

根据垃圾种类信息和位姿信息生成并发送导航定位指令给电动底盘车。

Images