CN114102662A - 一种复合机器人 - Google Patents

Abstract

本发明提供一种复合机器人，包括：操作模块、移动模块、视觉模块及控制模块，操作模块包括机械臂；移动模块用于承载机械臂进行移动；视觉模块用于通过获取周围环境，对目标物进行定位识别；控制模块通过ROS系统架构，对操作模块、移动模块及视觉模块进行一体化控制，进行协同作业。通过设置移动模块承载机械臂带动机械臂进行移动，使机械臂的运动行程不受限于臂展大小限制，利于生产车间的柔性化生产，同时通过ROS系统架构对操作模块、移动模块及视觉模块进行一体化控制，提高移动模块及操作模块之间的协调性，降低生产成本，降低各个模块间的通信延迟，提高该复合机器人的稳定性。

Description

一种复合机器人

技术领域

本发明涉及机器人技术领域，特别涉及一种复合机器人。

背景技术

随着工业制造技术的高速发展，各行业生产工厂的自动化智能化程度越来越高，机械臂等工业机器人也逐渐成为智能工厂的标配。

现有技术中，通常通过机械臂取代人工完成大部分生产自动化环节，大幅提升了生产效率提升产能，但是由于机械臂往往采用固定的安装方式，由于机身位置固定、运动行程半径受机械臂的臂展的大小限制，导致作业范围被限定，作业范围受限，难以满足车间自动化设备柔性化生产的需求。

发明内容

针对现有技术的不足，本发明的目的在于提供一种复合机器人，旨在解决现有技术中，由于机械臂往往采用固定的安装方式，由于机身位置固定、运动半径受臂展大小的限制，导致作业范围被限定，作业范围受限，难以满足车间自动化设备柔性化生产的需求的技术问题。

为了实现上述目的，本发明是通过如下技术方案来实现的：一种复合机器人，包括：操作模块，所述操作模块包括机械臂；移动模块，所述移动模块用于承载所述机械臂进行移动，以配合所述机械臂完成操作任务；视觉模块，所述视觉模块用于通过获取周围环境，对目标物进行定位识别，以引导所述操作模块完成操作任务；控制模块，所述控制模块基于ROS系统架构，对所述操作模块、移动模块及视觉模块进行一体化控制，进行协同作业。

与现有技术相比，本发明的有益效果在于：通过设置移动模块承载机械臂带动机械臂进行移动，使机械臂的运动行程不受限于臂展大小限制，利于生产车间的柔性化生产，同时通过ROS系统架构对操作模块、移动模块及视觉模块进行一体化控制，相对于现有技术中分别独立设置移动模块及操作模块等，即各个模块间的控制器独立设置，提高移动模块及操作模块之间的协调性，降低生产成本，且通过一体化控制，降低各个模块间的通信延迟，提高该复合机器人的稳定性。

根据上述技术方案的一方面，所述操作模块包括设于所述移动模块上的基座，所述机械臂位于所述基座上，所述机械臂具有七个旋转自由度。

根据上述技术方案的一方面，所述机械臂包括依次串联设置的肩关节单元、肘关节单元及腕关节单元，所述肩关节单元包括依次串联设置的第一关节及第二关节，所述肘关节单元包括依次串联设置的第三关节及第四关节，所述腕关节包括依次串联设置的第五关节、第六关节及第七关节。

根据上述技术方案的一方面，所述第二关节的旋转轴线垂直于所述第一关节的旋转轴线，所述第三关节及所述第四关节的旋转轴线均平行于所述第二关节设置，所述第五关节的旋转轴线垂直于所述第六关节的旋转轴线设置，所述第七关节的旋转轴线垂直于所述第六关节的旋转轴线设置，所述第五关节的旋转轴线垂直所述第四关节的旋转轴线设置。

根据上述技术方案的一方面，所述控制模块还包括通信单元，所述通信单元基于共享内存与所述操作模块、移动模块及视觉模块之间进行通信。

根据上述技术方案的一方面，所述视觉模块包括视觉传感器及处理器，所述视觉传感器通过图像采集获取所述目标物的周围环境图像，所述处理器根据图像信息获取所述目标物的位置信息，并基于所述共享内存将所述位置信息反馈至所述控制模块。

根据上述技术方案的一方面，所述处理器采用基于深度学习的图像处理方法对所述图像信息进行姿态估计，并根据关键点检测和回归的网络，得到所述目标物的关键点特征，以根据所述关键点特征计算所述目标物的姿态信息，并基于所述共享内存将所述姿态信息反馈至所述控制模块。

根据上述技术方案的一方面，所述操作模块还包括与所述机械臂连接的编码器，所述控制模块根据所述姿态信息计算所述机械臂的运动轨迹信息，并通过所述编码器进行采集，以使所述机械臂执行所述操作任务。

根据上述技术方案的一方面，所述复合机器人还包括云端模块，所述云端模块包括调度单元，所述调度单元用于接收外部的任务指令，形成任务调度列表并反馈至所述控制模块，使所述控制模块通过所述任务调度列表对所述操作模块、移动模块及视觉模块进行调度交通管制。

根据上述技术方案的一方面，所述云端模块还包括配置单元，所述配置单元用于对所述操作模块、移动模块及视觉模块进行参数配置，使所述操作模块、移动模块及视觉模块可协调配合工作。

附图说明

图1为本发明第一实施例中复合机器人的结构框图；

图2为本发明第一实施例中机械臂的结构示意图；

图3为本发明第一实施例中机械臂的D-H参数表；

图4为本发明第一实施例中视觉模块的工作流程示意图；

图5为本发明第一实施例中通讯单元的原理示意图；

图6为本发明第二实施例中复合机器人的结构框图；

主要元件符号说明：

控制模块	10	移动模块	20
				操作模块	30	视觉模块	40
通信单元	11	AGV小车	21
				基座	31	机械臂	32
编码器	33	视觉传感器	41
				处理器	42	云端模块	50
调度单元	51	配置单元	52
				第一关节	61	第二关节	62
第三关节	63	第四关节	64
				第五关节	65	第六关节	66
第七关节	67

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1至图5，所示为本发明第一实施例中的复合机器人，包括：操作模块30，所述操作模块30包括机械臂32；移动模块20，所述移动模块20用于承载所述机械臂32进行移动，以配合所述机械臂32完成操作任务；视觉模块40，所述视觉模块40用于通过获取周围环境，对目标物进行定位识别，以引导所述操作模块30完成操作任务；控制模块10，所述控制模块10基于ROS系统架构，对所述操作模块30、移动模块20及视觉模块40进行一体化控制，进行协同作业。

具体来说，上述移动模块20包括AGV小车21，本实施例中的复合机器人，通过设置AGV小车21承载机械臂32带动机械臂32进行移动，使机械臂32的运动行程不受限于臂展大小限制，利于生产车间的柔性化生产，同时通过ROS系统架构对操作模块30、移动模块20及视觉模块40进行一体化控制，相对于现有技术中分别独立设置移动模块20及操作模块30等，即各个模块间的控制器独立设置，提高移动模块20及操作模块30之间的协调性，降低生产成本，且通过一体化控制，降低各个模块间的通信延迟，提高该复合机器人的稳定性。

在本实施例的一些实施例中，所述操作模块30包括设于所述移动模块20上的基座31，所述机械臂32位于所述基座31上，所述机械臂32具有七个旋转自由度。具体来说，所述机械臂32包括依次串联设置的肩关节单元、肘关节单元及腕关节单元，所述肩关节单元包括依次串联设置的第一关节61及第二关节62，所述肘关节单元包括依次串联设置的第三关节63及第四关节64，所述腕关节包括依次串联设置的第五关节65、第六关节66及第七关节67。

上述机械臂32包括两自由度的肩关节，两自由度的肘和三自由度的腕组成。具体来说，所述第二关节62的旋转轴线垂直于所述第一关节61的旋转轴线，所述第三关节63及所述第四关节64的旋转轴线均平行于所述第二关节62设置，所述第五关节65的旋转轴线垂直于所述第六关节66的旋转轴线设置，所述第七关节67的旋转轴线垂直于所述第六关节66的旋转轴线设置，所述第五关节65的旋转轴线垂直所述第四关节64的旋转轴线设置。该设置可以有利于机械臂32端部驱动安装靠近基座31的部位，第二关节62及第三关节63采用平行四边形机构进行力和运动的传递。根据该结构的冗余特性，该机构能够在保持末端位置不变的情况下，通过在第一关节61的位置、第二关节62的位置和腕关节单元的位置所形成的平面内的自运动，消除肩部和腕部奇异位置，也有利于避开障碍物。

便于理解地，如图3所示，本实施例中的机械臂32各关节坐标系通过D-H方法建立，具体来说，如图2所示，为本实施例中的机械臂32各关节的转动角度θ1至θ7的示意图，其中Σ0为与基座31平面对应的三维坐标系，Σ7为与第七关节平面对应的三维坐标系。

此外，为了降低本复合机器人各模块之间的通信延迟，保证系统的稳定性，在本实施例中，所述控制模块10还包括通信单元11，所述通信单元11基于共享内存与所述操作模块30、移动模块20及视觉模块40之间进行通信。

便于理解地，如图5所示，本实施例的复合机器人通过共享内存在众多进程之间共享数据，例如任何两个或多个进程P1，P2，…，Pn需要通信时，若要开始数据共享，进程需要共享以下内容：通道的名称，通过该名称进行通信；特定于进程的数据结构。一旦共享和验证了这两点，n个进程中的任何一个就会初始化通道，并且所有进程都可以从通道读取数据并将数据写入其中。通道存储写入其中的最新数据，并且可以轻松完成跨各种进程的数据共享。

现有技术中，ROS的通信延迟大约为几毫秒到数十毫秒，而共享内存的延迟大约为几到几十微秒，延迟大大降低。共享内存以类似ROS话题通信的形式作为读/写进程的消息总线，多个写入器(写入进程)和多个读取器(读取进程)之间提供消息总线或发布/订阅样式的通信，进程可以从共享内存(通道)读取和写入。通过共享内存实现该复合机器人系统的实时进程间的通信，可大大降低通信的延迟，提高系统的稳定性。

在本实施例中，所述视觉模块40包括视觉传感器41及处理器42，所述视觉传感器41通过图像采集获取所述目标物的周围环境图像，所述处理器42根据图像信息获取所述目标物的位置信息，并基于所述共享内存将所述位置信息反馈至所述控制模块10。具体来说，所述处理器42采用基于深度学习的图像处理方法对所述图像信息进行姿态估计，并根据关键点检测和回归的网络，得到所述目标物的关键点特征，以根据所述关键点特征计算所述目标物的姿态信息，并基于所述共享内存将所述姿态信息反馈至所述控制模块10。

便于理解地，视觉模块40用于对周围环境进行感知并实现对目标物的识别与定位，为后续机械臂32抓取任务提供决断依据，直接决定了整个机器人操作的精度。本实施例中的视觉模块40，基于深度学习的图像处理方法具有高效的处理能力和自我学习的优点，可以识别复杂多样的物体，使得整个复合机器人适应多种场景应用，具有高扩展性。采用基于深度学习的姿态估计，关键点回归，只使用用于关键点检测和回归的网络，得到三维目标的关键点特征。然后基于传统的方法根据关键点进行匹配以计算姿态，通过几何估计处理旋转矩阵的非线性特性。通过深度学习网络检测出目标的关键点，基于关键点结果进一步来估计目标的姿态信息，以此来引导复合机器人的机械臂32进行抓取动作。

如图4所示，为本实施例的一些应用场景中的视觉模块40的工作流程图，包括以下步骤：

S1.设备标定。具体来说，该步骤中，当移动模块20移动至任务点后，为了保证识别的准确性，首先要对设备进行标定：在初始化的时候，需要对视觉传感器41相对于机械臂32以及机械臂32进行位置标定。分为视觉传感器41标定，用来获得工件在视觉传感器41坐标系中的位置，还有手眼标定，通过标定视觉传感器41在机械臂32中的位置，获得目标物在机械臂32坐标系中的位姿。

S2.图像采集。具体来说，该步骤中，执行程序后，在机械臂32指定位置，启动视觉传感器41拍照，获得工件在图像中的姿态信息。

S3.数据预处理。具体来说，该步骤中，由于获取的初始图像信息存在噪声等影响因素，图像预处理消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。

S4.目标识别。具体来说，该步骤中，对视觉传感器41获取的图像信息处理后，获得目标物的特征点，就实现了该目标物的位置坐标获取。

S5.三维定位。具体来说，该步骤中，针对得到的坐标，进行三维位置坐标信息进行匹配，获得零件的三维信息。

S6.控制器。具体来说，该步骤中，将得到的零件的三维信息，传递给控制模块10中的控制器，并控制操作模块30。

S7.执行单元工作。具体来说，该步骤中，通过上述机械臂32和之间的标定，机械臂32通过控制器的指令，即三维坐标信息位置，引导机械臂32对目标物进行抓取。

具体来说，在本实施例中，所述操作模块30还包括与所述机械臂32连接的编码器33，所述控制模块10根据所述姿态信息计算所述机械臂32的运动轨迹信息，并通过所述编码器33进行采集，以使所述机械臂32执行所述操作任务。

综上，本发明上述实施例当中的复合机器人，通过设置AGV小车21承载机械臂32带动机械臂32进行移动，使机械臂32的运动行程不受限于臂展大小限制，利于生产车间的柔性化生产，同时通过ROS系统架构对操作模块30、移动模块20及视觉模块40进行一体化控制，相对于现有技术中分别独立设置移动模块20及操作模块30等，即各个模块间的控制器独立设置，提高移动模块20及操作模块30之间的协调性，降低生产成本，且通过一体化控制，降低各个模块间的通信延迟，提高该复合机器人的稳定性，通过设计七轴高柔性机械臂32，来解决机械臂32不够灵活，避障困难，可达范围不够等技术缺陷，通过共享内存实现该复合机器人系统的实时进程间的通信，可大大降低通信的延迟，提高系统的稳定性，通过设置视觉模块40，具体通过设置基于深度学习的图像处理方法的处理器42，可柔性识别复杂多样的物品，便于灵活抓取，保证机械臂32的灵活作业。

请查阅图6，所示为本发明第二实施例中的复合机器人，本实施例当中的复合机器人与第一实施例当中的复合机器人的不同之处在于：所述复合机器人还包括云端模块50，所述云端模块50包括调度单元51，所述调度单元51用于接收外部的任务指令，形成任务调度列表并反馈至所述控制模块10，使所述控制模块10通过所述任务调度列表对所述操作模块30、移动模块20及视觉模块40进行调度交通管制。具体来说，该云端模块50具体包括云端服务器，该服务器可获取用户发送的任务指令，根据指令的优先级及路径规划等进行调度，并反馈至控制模块10进而执行任务。

在本实施例的一些应用场景中，当该复合机器人在产线应用中时，上述服务器具体可为电脑主机，该电脑主机可通过有线或无线的形式与外界进行连接，在本应用场景中，云端模块50通过API接口连接有叫料盒，当工人需要物件的时候，按下叫料盒通过无线通信的方式生成一条任务，发送到云端服务器，即云端模块50。上述电脑主机由专人负责管理调配，操作端收到调度任务后，要求把工人所需的物件从仓库运输到产线工作台上，装配车间有多个装配工作台，每个工作台上匹配一个叫料盒，管理员会按照优先等级在云端模块50做好任务调度分配，例如优先处理需紧急处理的订单，并通过云端模块50进行交通管制，防止存在多个复合机器人时，每个复合机器人之间的移动路径发生冲突。

在本实施例中，所述云端模块50还包括配置单元52，所述配置单元52用于对所述操作模块30、移动模块20及视觉模块40进行参数配置，使所述操作模块30、移动模块20及视觉模块40可协调配合工作。具体来说，该配置单元52可设于上述电脑主机中，通过配置单元52，可对复合机器人中的各个模块进行功能配置，例如对移动模块20中的AGV小车21的速度、加速度、路线及任务点(充电点、作业点)等进行规划配置，使复合机器人可在预设的时间准确的到达任务点。

此外，在本实施例中的控制模块10与操作模块30、移动模块20及视觉模块40之间采用统一的TCP协议通信，可以满足客户通用化需求，同时在云端模块50开放通用协议接口，轻松外接设备进行通信，可以适应多种应用场景。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种复合机器人，其特征在于，包括：

操作模块，所述操作模块包括机械臂；

移动模块，所述移动模块用于承载所述机械臂进行移动，以配合所述机械臂完成操作任务；

视觉模块，所述视觉模块用于通过获取周围环境，对目标物进行定位识别，以引导所述操作模块完成操作任务；

控制模块，所述控制模块基于ROS系统架构，对所述操作模块、移动模块及视觉模块进行一体化控制，进行协同作业。

2.根据权利要求1所述的复合机器人，其特征在于，所述操作模块包括设于所述移动模块上的基座，所述机械臂位于所述基座上，所述机械臂具有七个旋转自由度。

3.根据权利要求2所述的复合机器人，其特征在于，所述机械臂包括依次串联设置的肩关节单元、肘关节单元及腕关节单元，所述肩关节单元包括依次串联设置的第一关节及第二关节，所述肘关节单元包括依次串联设置的第三关节及第四关节，所述腕关节包括依次串联设置的第五关节、第六关节及第七关节。

4.根据权利要求3所述的复合机器人，其特征在于，所述第二关节的旋转轴线垂直于所述第一关节的旋转轴线，所述第三关节及所述第四关节的旋转轴线均平行于所述第二关节设置，所述第五关节的旋转轴线垂直于所述第六关节的旋转轴线设置，所述第七关节的旋转轴线垂直于所述第六关节的旋转轴线设置，所述第五关节的旋转轴线垂直所述第四关节的旋转轴线设置。

5.根据权利要求1所述的复合机器人，其特征在于，所述控制模块还包括通信单元，所述通信单元基于共享内存与所述操作模块、移动模块及视觉模块之间进行通信。

6.根据权利要求5所述的复合机器人，其特征在于，所述视觉模块包括视觉传感器及处理器，所述视觉传感器通过图像采集获取所述目标物的周围环境图像，所述处理器根据图像信息获取所述目标物的位置信息，并基于所述共享内存将所述位置信息反馈至所述控制模块。

7.根据权利要求6所述的复合机器人，其特征在于，所述处理器采用基于深度学习的图像处理方法对所述图像信息进行姿态估计，并根据关键点检测和回归的网络，得到所述目标物的关键点特征，以根据所述关键点特征计算所述目标物的姿态信息，并基于所述共享内存将所述姿态信息反馈至所述控制模块。

8.根据权利要求6所述的复合机器人，其特征在于，所述操作模块还包括与所述机械臂连接的编码器，所述控制模块根据所述姿态信息计算所述机械臂的运动轨迹信息，并通过所述编码器进行采集，以使所述机械臂执行所述操作任务。

9.根据权利要求1-8所述的复合机器人，其特征在于，所述复合机器人还包括云端模块，所述云端模块包括调度单元，所述调度单元用于接收外部的任务指令，形成任务调度列表并反馈至所述控制模块，使所述控制模块通过所述任务调度列表对所述操作模块、移动模块及视觉模块进行调度交通管制。

10.根据权利要求9所述的复合机器人，其特征在于，所述云端模块还包括配置单元，所述配置单元用于对所述操作模块、移动模块及视觉模块进行参数配置，使所述操作模块、移动模块及视觉模块可协调配合工作。

Images