CN114102585B - 一种物品抓取规划方法及系统 - Google Patents

Abstract

本申请公开了一种物品抓取规划方法及系统，用于提高双臂移动机器人的服务能力。本申请公开的物品抓取规划方法包括：双臂移动机器人获取语音命令，根据所述语音命令获得所需执行的任务，并将所述所需执行的任务上传至后台决策系统；所述后台决策系统根据所需执行的任务确定目标子区域标记位置点；所述后台决策系统规划出到达所述目标子区域标记位置点的行驶路线并将所述行驶路线发送给所述双臂移动机器人，或者所述双臂移动机器人接收所述后台决策系统发送的目标子区域标记位置点并规划出到达所述目标子区域标记位置点的行驶路线；所述双臂移动机器人前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体；所述双臂移动机器人根据视觉检测信息确定抓取目标物体需要到达的第二位置；所述双臂移动机器人调整自身位置到达所述第二位置，逆解出机械臂的位姿，抓取所述目标物体。本申请还提供了一种物品抓取规划系统。

Description

一种物品抓取规划方法及系统

技术领域

本申请涉及机器人领域，尤其涉及一种物品抓取规划方法及系统。

背景技术

目前，使用机器人执行各类任务成为一种发展趋势，工业机器人已经出现在了各行各业，而工业机器人常根据预先设定好的命令完成相应的功能，具有体积大、智能化水平低、灵活性差、功能性低的缺点，因此，具有高安全性、灵活性、功能性强的智能协作机器人应运而生。通过智能协作机器人可以满足人类很多需求，通过向协作机器人发布指令，促使机器人得到快速反应，完成既定的任务，并具有快速学习能力，可针对人类需求或实际场景快速有效地完成给定任务。

现在行业中复合机器人大多使用单机械臂完成任务，如打磨、喷漆、上下料等，但在较为复杂的场景，单机械臂难以完成既定任务，如在家庭服务机器人中需要机器人端茶倒水，则需要一手固定杯子，一手进行倒水动作。可见单机械臂机器人存在服务能力低的问题。

发明内容

针对上述技术问题，本申请实施例提供了一种物品抓取规划方法及系统，提高了移动机器人的服务能力。

第一方面，本申请实施例提供的一种物品抓取规划方法，包括：

双臂移动机器人获取语音命令，根据所述语音命令获得所需执行的任务，并将所述所需执行的任务上传至后台决策系统；

所述后台决策系统根据所需执行的任务确定目标子区域标记位置点；

所述后台决策系统规划出到达所述目标子区域标记位置点的行驶路线并将所述行驶路线发送给所述双臂移动机器人，或者所述双臂移动机器人接收所述后台决策系统发送的目标子区域标记位置点并规划出到达所述目标子区域标记位置点的行驶路线；

所述双臂移动机器人前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体；

所述双臂移动机器人根据视觉检测信息确定抓取目标物体需要到达的第二位置；

所述双臂移动机器人调整自身位置到达所述第二位置，逆解出机械臂的位姿，抓取所述目标物体。

优选的，在双臂移动机器人获取语音命令之前还包括：

所述后台决策系统预先存储语音特征词信息和所述双臂移动机器人的动作序列信息；

所述后台决策系统获得待抓取物品特征信息；

人工建立环境栅格地图，并对所述环境栅格地图的每个子区域进行特征标记，并添加每个子区域的语义信息。

进一步的，所述后台决策系统预先存储语音特征词信息和所述双臂移动机器人的动作序列信息包括：

人工向后所述后台决策系统存储语音特征词，其中每个特征词分别对应所述双臂移动机器人的一个动作序列；

人工拖拽或编程引导所述双臂移动机器人的机械臂运动，存储所述机械臂初始动作序列，并对不同动作序列分别命名，同时与所述语音特征词进行匹配；或者通过从云端下载的方式更新所述语音特征词数据、所述动作序列信息和所述语音特征词与所述动作序列信息的匹配关系。

进一步的，所述后台决策系统获得待抓取物品特征信息包括：

由人工实时控制所述双臂移动机器人的机械臂抓取所述物品；

所述双臂移动机器人自主学习所述物品的特征信息以及抓取所述物品的动作序列信息，并存入所述后台决策系统；

其中，所述物品的特征信息包括种类、形状、大小和放置姿态。

进一步的，所述人工建立环境栅格地图，并对所述环境栅格地图的每个子区域进行特征标记，并添加每个子区域的语义信息包括：

由人工实时控制所述双臂移动机器人，使用所述双臂移动机器人携带的单线激光雷达建立初始环境栅格地图；

对所述初始环境栅格地图的子区域进行语义信息标记；

其中，所述初始环境栅格地图为二维栅格地图；

所述对所述初始环境栅格地图的子区域进行语义信息标记包括：对初始环境栅格地图的每个子区域进行命名，在每个子区域内确定子区域标记位置点，并存储待抓取物品在每个区域的概率。

优选的，所述双臂移动机器人获取语音命令，根据所述语音命令获得所需执行的任务包括：

所述双臂移动机器人通过麦克风获取用户的语音信息，根据所述语音信息提取出语音内的关键信息；

其中所述关键信息包括：目标子区域标记位置点、目标物体和目标任务。

优选的，所述规划出到达所述目标子区域标记位置点的行驶路线包括：

所述后台决策系统将所述所需执行的任务与数据库进行匹配，生成对应的动作序列信息；

使用预设的算法规划出所述双臂移动机器人到达所述目标子区域标记位置点的行驶路线；

其中，所述预设的算法包括全局路径规划算法和局部路径规划算法。

优选的，所述双臂移动机器人前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体包括：

所述双臂移动机器人到达所述目标子区域标记位置点后，在所述目标子区域的范围区域内行进，所述行进过程中通过所述局部路径规划算法躲避动态障碍物；

启动视觉检测功能，实时检测所述目标物体，直到发现所述目标物体。

优选的，所所述双臂移动机器人根据视觉检测信息确定抓取目标物体需要到达的第二位置包括：

所述双臂移动机器人根据所述目标物体的位置确定抓取所述目标物体需要到达的第二位置；

其中，第二位置为所述双臂移动机器人与所述目标物体的中心在x,y,z三个方向上的差值，均在所述双臂移动机器人的双臂的工作范围之内。

所述双臂移动机器人调整自身位置到达所述第二位置包括：

发现目标物体后在所述子区域内移动，直到到达所述第二位置。

优选的，所述启动视觉检测功能，实时检测所述目标物体包括：

通过深度摄像头拍摄所述目标物体的图像；

根据所述目标物体的图像，确定结构光；

根据所述结构光的变化量确定所述目标物体的三维信息。

优选的，所述逆解出机械臂的位姿，抓取所述目标物体包括：

所述双臂移动机器人的视觉检测装置确定所述目标物体的笛卡尔空间位置；

将所述笛卡尔空间位置转换为机械臂的关节位置；

规划出所述机械臂的运动轨迹；

其中，所述规划出所述机械臂的运动轨迹包括实时躲避障碍物。

所述实时躲避障碍物包括：

通过深度摄像头生成的实时占据地图；

通过深度摄像头获取环境内各个物体的深度信息；

将所述目标物体点云范围外的物体设定为所述实时占据地图的障碍物；

通过路径规划躲避所述障碍物。

优选的，所述逆解出机械臂的位姿之前，还包括：

对所述双臂移动机器人的主摄像头与基坐标系之间的变换矩阵进行眼在手外的标定，得到第一旋转矩阵；

对所述双臂移动机器人的双手摄像头与基坐标系之间的变换矩阵进行眼在手上的标定，得到第二旋转矩阵。

优选的，所述抓取所述目标物体包括：

将所述主摄像头识别到的所述目标物体的位姿信息与所述第一旋转矩阵相乘，得到所述目标物体的第一位姿；

将所述双手摄像头识别到的所述目标物体的位姿信息与所述第二旋转矩阵相乘，得到所述目标物体的第二位姿。

优选的，所述双臂移动机器人自主学习所述物品的特征信息包括：

通过摄像头拍摄所述物品的第一图像；

所述双臂移动机器人到达所述第二位置时，拍摄所述物品的第二图像；

所述双臂移动机器人的机械臂自主调整位姿抓取物体，根据末端力传感器判断成功抓取物体后通过所述摄像头拍摄第三图像；

所述机械臂将物体移出所述摄像头的视野，并记录所述物品的抓取点；

根据所述第一图像、第二图像和第三图像，利用完全卷积架构和度量学习算法进行训练；

其中，所述训练包括：

将所述第二图像加入密度空间特征图，得到第四图像；

将所述第三图像加入密度空间特征图，得到第五图像；

确定所述第四图像和所述第五图像之间的差异值；

根据所述差异值和所述第一图像，确定所述物体的特征边界信息、RGB信息和点云信息。

优选的，还包括；

根据物体的特征边界信息进行训练，得到训练模型；

将所述训练模型存入所述后台决策系统。

优选的，所述使用所述双臂移动机器人携带的单线激光雷达建立初始环境栅格地图包括：

采集激光点数据，将其转化为子图；

根据所述子图，进行回环检测；

若已生成一个子图且无新帧插入，则进行局部回环检测；

估计所述双臂移动机器人的位姿。

优选的，所述根据所述语音信息提取出语音内的关键信息包括：

从所述语音信息中，提取出分词信息；

根据所述分词信息中的冠词，确定目标物体，目标位置和目标任务。

使用本发明提供的物品抓取规划方法，利用后台决策系统与双臂移动机器人配合的方法，首先双臂移动机器人获取语音命令，将命令发送给后台决策系统，后台决策系统根据环境地图和目标物体位置，规划出双臂移动机器人移动的目标子区域位置点，并规划出到达目标子区域标记位置点的行驶路线；然后双臂移动机器人在行驶过程中不断检测障碍物并躲避障碍物，在到达目标子区域标记位置点后，启动视觉检测功能，搜索目标物体，并使用自主学习的方式获得物体的特征信息，并在双臂移动机器人的双机械臂移动过程中不断修正，以抓取目标物体。

第二方面，本申请实施例还提供一种物品抓取规划系统，包括：

后台决策系统和双臂移动机器人；

所述后台决策系统被配置用于接收所述双臂移动机器人发送的所需执行的任务，根据所述所需执行的任务确定目标子区域标记位置点；

所述双臂移动机器人被配置用于获取语音命令，根据所述语音命令获得所需执行的任务，并将所述所需执行的任务上传至所述后台决策系统；

所述后台决策系统还被配置用于规划出到达所述目标子区域标记位置点的行驶路线并将所述行驶路线发送给所述双臂移动机器人，或者所述双臂移动机器人还被配置用于接收所述后台决策系统发送的目标子区域标记位置点并规划出到达所述目标子区域标记位置点的行驶路线；

所述双臂移动机器人还被配置用于：前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体；根据视觉检测信息确定抓取目标物体需要到达的第二位置；调整自身位置到达所述第二位置，逆解出机械臂的位姿，抓取所述目标物体。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例涉及的双臂移动机器人结构示意图；

图2为本申请实施例提供的物品抓取规划方法示意图；

图3为本申请实施例提供的一种语义场景示意图；

图4为本申请实施例提供的初始搜索点寻找示意图；

图5为本申请实施例提供的目标物体环境占据空间示意图；

图6为本申请实施例提供的物体抓取点选择示意图；

图7为本申请实施例提供的机器人自主调节自身位姿至工作空间示意图；

图8为本申请实施例提供的一种物品抓取规划系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面对文中出现的一些词语进行解释：

1、本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

2、本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。

如图1所示，为本申请实施例涉及的双臂移动机器人示意图。包括：

机械臂夹爪末端RGBD摄像头1，用于辅助机械臂抓取，当摄像头无法识别物体时，切换机械臂的位置，直到摄像头能识别出目标物体，然后通过机械臂末端RGBD摄像头识别出的物体三维信息，指引机械臂向目标物体移动并完成抓取任务；

末端夹爪2，用于对物体的抓取。夹爪具有自适应调节夹取力度的功能，可根据夹爪末端的力判断是否完成末端夹爪的抓取任务；

左侧机械臂主体3，用于完成物品的抓取工作；

右侧机械臂主体4，辅助左侧机械臂3完成其他工作，如拧瓶盖、调制化学试剂、切菜、炒菜、冲咖啡等等需要双臂协同完成的动作；

机器人主体RGBD摄像头5，用于物体识别、视觉导航。将机器人导向目标位置；

OLED人机交互显示屏6，该显示屏具有实时显示识别出的物体图像、编程、功能初始化及程序启动等人机交互功能；

主电箱7，该电箱内部可用于放置机械臂电箱、工控机、主机板等；

语音模块8，包含扬声器及听筒。用于接收使用人员的语音以及进行语音播报功能；

2D激光雷达9，用于室内定位建图、躲避障碍物等功能；

驱动集成柜10，用于放置驱动板、驱动电机、主机板等；

万向轮11，实现协作机器人的全向移动；

无线充电接口12，用于实现无线充电；

外界接口13，包括无线通信模块，主控单元外接USB口、网口、HDMI等，用于外接接口，实现远程控制、网络连接、信息通讯、任务拓展等功能。

需要说明的是，上述图1所示的双臂移动机器人，仅仅是一个示例，本发明的物品抓取规划方法的使用双臂移动机器人不限于图1所示的双臂移动机器人，还可以使用其他双臂移动机器人。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。

实施例一

参见图2，本申请实施例提供的一种物品抓取规划方法示意图，如图2所示，该方法包括步骤S201到S206：

S201、双臂移动机器人获取语音命令，根据所述语音命令获得所需执行的任务，并将所述所需执行的任务上传至后台决策系统；

S202、所述后台决策系统根据所需执行的任务确定目标子区域标记位置点；

S203、所述后台决策系统规划出到达所述目标子区域标记位置点的行驶路线并将所述行驶路线发送给所述双臂移动机器人，或者所述双臂移动机器人接收所述后台决策系统发送的目标子区域标记位置点并规划出到达所述目标子区域标记位置点的行驶路线；

S204、所述双臂移动机器人前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体；

S201、所述双臂移动机器人根据视觉检测信息确定抓取目标物体需要到达的第二位置；

S205、所述双臂移动机器人调整自身位置到达所述第二位置，逆解出机械臂的位姿，抓取所述目标物体。

作为一种优选示例，双臂移动机器人获取语音命令之前还包括以下步骤S2001，S2002和S2003：

S2001、所述后台决策系统预先存储语音特征词信息和所述双臂移动机器人的动作序列信息；

本步骤中，人工向后所述后台决策系统存储语音特征词，其中每个特征词分别对应所述双臂移动机器人的一个动作序列；

人工拖拽或编程引导所述双臂移动机器人的机械臂运动，存储所述机械臂初始动作序列，并对不同动作序列分别命名，同时与所述语音特征词进行匹配；或者通过从云端下载的方式更新所述语音特征词数据、所述动作序列信息和所述语音特征词与所述动作序列信息的匹配关系。

S2002、所述后台决策系统获得待抓取物品特征信息；

本步骤中，由人工实时控制所述双臂移动机器人的机械臂抓取所述物品；

所述双臂移动机器人自主学习所述物品的特征信息以及抓取所述物品的动作序列信息，并存入所述后台决策系统；

其中，所述物品的特征信息包括种类、形状、大小和放置姿态。

作为一种优选示例，所述双臂移动机器人自主学习所述物品的特征信息可以包括：

通过摄像头拍摄所述物品的第一图像；

所述双臂移动机器人到达所述第二位置时，拍摄所述物品的第二图像；

所述双臂移动机器人的机械臂自主调整位姿抓取物体，根据末端力传感器判断成功抓取物体后通过所述摄像头拍摄第三图像；

所述机械臂将物体移出所述摄像头的视野，并记录所述物品的抓取点；

根据所述第一图像、第二图像和第三图像，利用完全卷积架构和度量学习算法进行训练；

其中，所述训练包括：

将所述第二图像加入密度空间特征图，得到第四图像；

将所述第三图像加入密度空间特征图，得到第五图像；

确定所述第四图像和所述第五图像之间的差异值；

根据所述差异值和所述第一图像，确定所述物体的特征边界信息、RGB信息和点云信息。

作为一种优选示例，所述双臂移动机器人自主学习所述物品的特征信息后还可以包括：

根据物体的特征边界信息进行训练，得到训练模型；

将所述训练模型存入所述后台决策系统。

S2003、人工建立环境栅格地图，并对所述环境栅格地图的每个子区域进行特征标记，并添加每个子区域的语义信息。

本步骤中，由人工实时控制所述双臂移动机器人，使用所述双臂移动机器人携带的单线激光雷达建立初始环境栅格地图；

对所述初始环境栅格地图的子区域进行语义信息标记；

其中，所述初始环境栅格地图为二维栅格地图；

所述对所述初始环境栅格地图的子区域进行语义信息标记包括：对初始环境栅格地图的每个子区域进行命名，在每个子区域内确定子区域标记位置点，并存储待抓取物品在每个区域的概率。

例如图3所示，构建初始环境栅格地图，为环境中的每个区域进行特征标记，同时存储不同物体在每个区域的概率，机器人根据物品在不同区域的概率大小，决定机器人搜索每个区域的顺序。

作为一种优选示例，上述步骤S201中，所述双臂移动机器人获取语音命令，根据所述语音命令获得所需执行的任务包括：

所述双臂移动机器人通过麦克风获取用户的语音信息，根据所述语音信息提取出语音内的关键信息；

其中所述关键信息包括：目标子区域标记位置点、目标物体和目标任务。

例如，对语音输入识别后，首先利用冠词信息识别出目标物体以及借此前后的目的地短语，完成语义分析。采用基于字符串的最大匹配方法，若词典中最大词条字数为n，则取待处理字符串前n个字进行匹配，若词典中包含则分出该词，若不包含，则去除该字段最后一位，将剩下的字段继续匹配，直到匹配成功，根据语音命令进行匹配，获得机器人将要执行的任务，包括目标子区域标记位置点、目标物体和目标任务，还可以包括双臂需要执行的动作序列。

作为一种优选示例，上述步骤S203中，所述规划出到达所述目标子区域标记位置点的行驶路线包括：

所述后台决策系统将所述所需执行的任务与数据库进行匹配，生成对应的动作序列信息；

使用预设的算法规划出所述双臂移动机器人到达所述目标子区域标记位置点的行驶路线；

其中，所述预设的算法包括全局路径规划算法和局部路径规划算法。

需要说明的是，规划出到达所述目标子区域标记位置点的行驶路线可以由后台决策系统完成，也可以由双臂移动机器人完成。当由后台决策系统完成时，所述后台决策系统规划出到达所述目标子区域标记位置点的行驶路线并将所述行驶路线发送给所述双臂移动机器人；当由双臂移动机器人完成时，所述双臂移动机器人接收所述后台决策系统发送的目标子区域标记位置点并规划出到达所述目标子区域标记位置点的行驶路线。

需要说明的是，规划出到达所述目标子区域标记位置点的行驶路线由后台决策系统完成，或者由双臂移动机器人完成，都需要后台决策系统将所述所需执行的任务与数据库进行匹配，生成对应的动作序列信息。

如图4所示，以双臂移动机器人规划出到达所述目标子区域标记位置点的行驶路线为例，所述协作机器人根据语音信息中的目标子区域，随机生成在目标子区域的一个随机点，而后分别使用A*方法与DWA方法前往所述目标点，将该点作为协作机器人的第一搜寻点。

优选的，采用A*方法规划全局路径，DWA方法规划局部路径。A*算法中，使用g(n)表示初始节点到地图中任意节点n之间所需要的代价，h(n)代表节点n到目标点的最小权值路径估计。权值估价函数如下：f(n)＝g(n)+h(n)。若路径规划允许巡逻小车不仅是沿着网格方向，而是朝着任意方向进行移动，则对于h(n)可使用直线距离表示，如式：

其中，D表示从上一位置到另一位置的最小代价参数；n_x、n_y表示当前点的x、y坐标；goal_x、goal_y表示目标点的x、y坐标。本发明实施例中，可选用欧式距离作为A*路径规划的启发式函数。

作为一种优选示例，使用所述双臂移动机器人携带的单线激光雷达建立初始环境栅格地图包括：

采集激光点数据，将其转化为子图；

根据所述子图，进行回环检测；

若已生成一个子图且无新帧插入，则进行局部回环检测；

估计所述双臂移动机器人的位姿。

作为一种优选示例，上述步骤S204中，所述双臂移动机器人前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体包括：

所述双臂移动机器人到达所述目标子区域标记位置点后，在所述目标子区域的范围区域内行进，所述行进过程中通过所述局部路径规划算法躲避动态障碍物；

启动视觉检测功能，实时检测所述目标物体，直到发现所述目标物体。

例如图5所示，双臂移动机器人将深度摄像头所获取的图像转换为一定空间范围内的3D占据地图，黑色方格表示该空间区域存在障碍物，颜色越深代表距离越近，机械臂运动过程中通过局部路径规划算法躲避实时障碍物，检测出的目标物品所在范围外的其他物品都判定为需要躲避的障碍物。

需要说明的是，作为一种优选示例，对生成的占据地图进行遍历，同时使用稀疏的方法减少计算时间，具体稀疏方式为限定检测障碍物的范围为机械臂的可执行空间范围内，同时进行跳行和跳列检测。例如在图5中，在机械臂的规划过程中，滤除占据地图噪点，由于对障碍物的识别容易受噪点影响，根据障碍点是否为单独障碍点进行滤除，即每搜索到一个噪点后，判断噪点周围1cm内是否存在新的激光点，若不存在则判定该点为噪点，机械臂规划路径时不再计算该点。

作为一种优选示例，所述启动视觉检测功能，实时检测所述目标物体包括：

通过深度摄像头拍摄所述目标物体的图像；

根据所述目标物体的图像，确定结构光；

根据所述结构光的变化量确定所述目标物体的三维信息。

本发明实施例中，结构光是指一组由投影仪(或类似于投影仪的投射光线的设备)和摄像头组成的系统结构。具体的，用投影仪投射特定的光信息到物体表面后及背景后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。

作为一种优选示例，上述步骤S205中，所所述双臂移动机器人根据视觉检测信息确定抓取目标物体需要到达的第二位置包括：

所述双臂移动机器人根据所述目标物体的位置确定抓取所述目标物体需要到达的第二位置；

其中，第二位置为所述双臂移动机器人与所述目标物体的中心在x,y,z三个方向上的差值，均在所述双臂移动机器人的双臂的工作范围之内。如图6所示，双臂工作空间即为所述双臂移动机器人的双臂的工作范围，可以将环形双臂工作空间区域内圆与外圆中间的圆圈位置，作为第二位置。需要说明的是，当图6中双臂工作空间中，还包括其他障碍物时，双臂工作空间将不包括障碍物区域。

作为一种优选示例，上述步骤S206中，所述双臂移动机器人调整自身位置到达所述第二位置包括：

发现目标物体后在所述子区域内移动，直到到达所述第二位置。

例如图6所示，协作机器人发现目标物体后利用PID算法控制复合机器人的底盘位置，PID算法的控制量为目标物体与机器人x,y,z方向上的差值，直至所需抓取物品在双臂工作范围内，即到达所述第二位置。

作为一种优选示例，上述步骤S206中，所述逆解出机械臂的位姿，抓取所述目标物体包括：

所述双臂移动机器人的视觉检测装置确定所述目标物体的笛卡尔空间位置；

将所述笛卡尔空间位置转换为机械臂的关节位置；

规划出所述机械臂的运动轨迹；

其中，所述规划出所述机械臂的运动轨迹包括实时躲避障碍物。

优选的，实时躲避障碍物包括：

通过深度摄像头生成的实时占据地图；

通过深度摄像头获取环境内各个物体的深度信息；

将所述目标物体点云范围外的物体设定为所述实时占据地图的障碍物；

通过路径规划躲避所述障碍物。

优选的，所述逆解出机械臂的位姿之前，还包括：

对所述双臂移动机器人的主摄像头与基坐标系之间的变换矩阵进行眼在手外的标定，得到第一旋转矩阵；

对所述双臂移动机器人的双手摄像头与基坐标系之间的变换矩阵进行眼在手上的标定，得到第二旋转矩阵。

优选的，所述抓取所述目标物体包括：

将所述主摄像头识别到的所述目标物体的位姿信息与所述第一旋转矩阵相乘，得到所述目标物体的第一位姿；

将所述双手摄像头识别到的所述目标物体的位姿信息与所述第二旋转矩阵相乘，得到所述目标物体的第二位姿。

上述过程例如，机械臂在抓取过程中，将物体坐标系转换到机器人的视觉坐标系下，首先使用手眼标定的方法，标定主摄像头、双手摄像头与机器人基坐标系之间的变换矩阵(即第一旋转矩阵和第二旋转矩阵)。由于位于机器人主体上的主摄像头与机器人基坐标系固定不变，所以进行眼在手外的标定，即通过标定板计算多组标定板相对于相机的坐标值，解算出主摄像头与基座标系的旋转矩阵；对于双手摄像头则由于摄像头跟随机械臂运动，所以利用标定板进行眼在手上的标定，最终获得双手摄像头相对于所绑定的机械臂关节坐标系的旋转矩阵，标定后分别得到每个相机的旋转矩阵，将摄像头识别到的待抓取物品位姿信息与旋转矩阵相乘，得到目标物体相对于基坐标系的位姿，以进行下一步的抓取工作。

作为一种优选示例，识别所述目标物体的位姿信息，如图5所示，可以采用点云分割方法获取物体的位姿，对于规则物体，将抓取点设为目标物体所有点云的(x,y,z)的平均值

对于不规则物体，通过自主学习的方式或人工添加抓取点的方式存储到知识库中。

作为一种优选示例，逆解出机械臂的位姿的方法可以是根据机械臂位姿求得机器人关节角度joint_state＝IK(pose)，pose为终端位姿(x,y,z,px,py,pz,pw)，joint_state为机械臂各关节角度。例如选择第二个关节作为自由关节，在计算过程中，第二个关节会在取值空间内进行离散化处理，测试所有生成的值，直到能找到一个解满足关节极限、未碰撞和规划约束。优选的，取搜索的离散值为0.1rad，求解精度设为1mm。

通过本实施例的方法，首先根据语音命令，通过与语音知识库进行匹配，以执行相应的操作，其中每个动作序列根据语音指令生成。然后双臂移动机器人快速准确前往目标点或物体放置点，并实时躲避障碍物，快速识别出目标物体的位姿，并控制机械臂进行抓取。

实施例二

基于同一个发明构思，本发明实施例还提供了一种物品抓取规划系统，如图8所示，该装置包括：

后台决策系统801和双臂移动机器人802；

所述后台决策系统801被配置用于接收所述双臂移动机器人发送的所需执行的任务，根据所述所需执行的任务确定目标子区域标记位置点；

所述双臂移动机器人802被配置用于获取语音命令，根据所述语音命令获得所需执行的任务，并将所述所需执行的任务上传至所述后台决策系统；

所述后台决策系统801还被配置用于规划出到达所述目标子区域标记位置点的行驶路线并将所述行驶路线发送给所述双臂移动机器人，或者所述双臂移动机器人还被配置用于接收所述后台决策系统发送的目标子区域标记位置点并规划出到达所述目标子区域标记位置点的行驶路线；

所述双臂移动机器人802还被配置用于：前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体；根据视觉检测信息确定抓取目标物体需要到达的第二位置；调整自身位置到达所述第二位置，逆解出机械臂的位姿，抓取所述目标物体。

作为一种优选示例，所述后台决策系统801还被配置用于：

预先存储语音特征词信息和所述双臂移动机器人的动作序列信息；

获得待抓取物品特征信息；

人工建立环境栅格地图，并对所述环境栅格地图的每个子区域进行特征标记，并添加每个子区域的语义信息。

作为一种优选示例，所述后台决策系统801还被配置用于：

人工向后所述后台决策系统存储语音特征词，其中每个特征词分别对应所述双臂移动机器人的一个动作序列；

人工拖拽或编程引导所述双臂移动机器人的机械臂运动，存储所述机械臂初始动作序列，并对不同动作序列分别命名，同时与所述语音特征词进行匹配；或者通过从云端下载的方式更新所述语音特征词数据、所述动作序列信息和所述语音特征词与所述动作序列信息的匹配关系。

作为一种优选示例，所述双臂移动机器人802还被配置用于：

所述双臂移动机器人通过麦克风获取用户的语音信息，根据所述语音信息提取出语音内的关键信息；

其中所述关键信息包括：目标子区域标记位置点、目标物体和目标任务。

作为一种优选示例，所述后台决策系统801还被配置用于根据以下步骤规划出到达所述目标子区域标记位置点的行驶路线：

所述后台决策系统将所述所需执行的任务与数据库进行匹配，生成对应的动作序列信息；

使用预设的算法规划出所述双臂移动机器人到达所述目标子区域标记位置点的行驶路线；

其中，所述预设的算法包括全局路径规划算法和局部路径规划算法。

作为一种优选示例，所述双臂移动机器人802还被配置用于根据以下步骤规划出到达所述目标子区域标记位置点的行驶路线：

所述后台决策系统将所述所需执行的任务与数据库进行匹配，生成对应的动作序列信息；

使用预设的算法规划出所述双臂移动机器人到达所述目标子区域标记位置点的行驶路线；

其中，所述预设的算法包括全局路径规划算法和局部路径规划算法。

需要说明的是，本实施例提供的后台决策系统801，能实现实施例一中后台决策系统的全部功能，解决相同技术问题，达到相同技术效果，在此不再赘述；

需要说明的是，本实施例提供的双臂移动机器人802，能实现实施例一中双臂移动机器人的全部功能，解决相同技术问题，达到相同技术效果，在此不再赘述。

需要说明的是，实施例二提供的装置与实施例一提供的方法属于同一个发明构思，解决相同的技术问题，达到相同的技术效果，实施例二提供的装置能实现实施例一的所有方法，相同之处不再赘述。

本申请还提出一种处理器可读存储介质。其中，该处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现实施例一中的任一物品抓取规划方法。

需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (24)

1.一种物品抓取规划方法，其特征在于，包括：

双臂移动机器人获取语音命令，根据所述语音命令获得所需执行的任务，并将所述所需执行的任务上传至后台决策系统；

所述后台决策系统根据所需执行的任务确定目标子区域标记位置点；

所述后台决策系统规划出到达所述目标子区域标记位置点的行驶路线并将所述行驶路线发送给所述双臂移动机器人，或者所述双臂移动机器人接收所述后台决策系统发送的目标子区域标记位置点并规划出到达所述目标子区域标记位置点的行驶路线；

所述双臂移动机器人前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体；

所述双臂移动机器人根据视觉检测信息确定抓取目标物体需要到达的第二位置；

所述双臂移动机器人调整自身位置到达所述第二位置，逆解出机械臂的位姿，抓取所述目标物体。

2.根据权利要求1所述的方法，其特征在于，在双臂移动机器人获取语音命令之前还包括：

所述后台决策系统预先存储语音特征词信息和所述双臂移动机器人的动作序列信息；

所述后台决策系统获得待抓取物品特征信息；

人工建立环境栅格地图，并对所述环境栅格地图的每个子区域进行特征标记，并添加每个子区域的语义信息。

3.根据权利要求2所述的方法，其特征在于，所述后台决策系统预先存储语音特征词信息和所述双臂移动机器人的动作序列信息包括：

人工向后所述后台决策系统存储语音特征词，其中每个特征词分别对应所述双臂移动机器人的一个动作序列；

人工拖拽或编程引导所述双臂移动机器人的机械臂运动，存储所述机械臂初始动作序列，并对不同动作序列分别命名，同时与所述语音特征词进行匹配；或者通过从云端下载的方式更新所述语音特征词数据、所述动作序列信息和所述语音特征词与所述动作序列信息的匹配关系。

4.根据权利要求2所述的方法，其特征在于，所述后台决策系统获得待抓取物品特征信息包括：

由人工实时控制所述双臂移动机器人的机械臂抓取所述物品；

所述双臂移动机器人自主学习所述物品的特征信息以及抓取所述物品的动作序列信息，并存入所述后台决策系统；

其中，所述物品的特征信息包括种类、形状、大小和放置姿态。

5.根据权利要求2所述的方法，其特征在于，所述人工建立环境栅格地图，并对所述环境栅格地图的每个子区域进行特征标记，并添加每个子区域的语义信息包括：

由人工实时控制所述双臂移动机器人，使用所述双臂移动机器人携带的单线激光雷达建立初始环境栅格地图；

对所述初始环境栅格地图的子区域进行语义信息标记；

其中，所述初始环境栅格地图为二维栅格地图；

所述对所述初始环境栅格地图的子区域进行语义信息标记包括：对初始环境栅格地图的每个子区域进行命名，在每个子区域内确定子区域标记位置点，并存储待抓取物品在每个区域的概率。

6.根据权利要求1所述的方法，其特征在于，所述双臂移动机器人获取语音命令，根据所述语音命令获得所需执行的任务包括：

所述双臂移动机器人通过麦克风获取用户的语音信息，根据所述语音信息提取出语音内的关键信息；

其中所述关键信息包括：目标子区域标记位置点、目标物体和目标任务。

7.根据权利要求1所述的方法，其特征在于，所述规划出到达所述目标子区域标记位置点的行驶路线包括：

所述后台决策系统将所述所需执行的任务与数据库进行匹配，生成对应的动作序列信息；

使用预设的算法规划出所述双臂移动机器人到达所述目标子区域标记位置点的行驶路线；

其中，所述预设的算法包括全局路径规划算法和局部路径规划算法。

8.根据权利要求7所述的方法，其特征在于，所述双臂移动机器人前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体包括：

所述双臂移动机器人到达所述目标子区域标记位置点后，在所述目标子区域的范围区域内行进，所述行进过程中通过所述局部路径规划算法躲避动态障碍物；

启动视觉检测功能，实时检测所述目标物体，直到发现所述目标物体。

9.根据权利要求8所述的方法，其特征在于，所所述双臂移动机器人根据视觉检测信息确定抓取目标物体需要到达的第二位置包括：

所述双臂移动机器人根据所述目标物体的位置确定抓取所述目标物体需要到达的第二位置；

其中，第二位置为所述双臂移动机器人与所述目标物体的中心在x,y,z三个方向上的差值，均在所述双臂移动机器人的双臂的工作范围之内。

10.根据权利要求9所述的方法，其特征在于，所述双臂移动机器人调整自身位置到达所述第二位置包括：

发现目标物体后在所述子区域内移动，直到到达所述第二位置。

11.根据权利要求8所述的方法，其特征在于，所述启动视觉检测功能，实时检测所述目标物体包括：

通过深度摄像头拍摄所述目标物体的图像；

根据所述目标物体的图像，确定结构光；

根据所述结构光的变化量确定所述目标物体的三维信息。

12.根据权利要求1所述的方法，其特征在于，所述逆解出机械臂的位姿，抓取所述目标物体包括：

所述双臂移动机器人的视觉检测装置确定所述目标物体的笛卡尔空间位置；

将所述笛卡尔空间位置转换为机械臂的关节位置；

规划出所述机械臂的运动轨迹；

其中，所述规划出所述机械臂的运动轨迹包括实时躲避障碍物。

13.根据权利要求12所述的方法，其特征在于，所述实时躲避障碍物包括：

通过深度摄像头生成的实时占据地图；

通过深度摄像头获取环境内各个物体的深度信息；

将所述目标物体点云范围外的物体设定为所述实时占据地图的障碍物；

通过路径规划躲避所述障碍物。

14.根据权利要求12所述的方法，其特征在于，所述逆解出机械臂的位姿之前，还包括：

对所述双臂移动机器人的主摄像头与基坐标系之间的变换矩阵进行眼在手外的标定，得到第一旋转矩阵；

对所述双臂移动机器人的双手摄像头与基坐标系之间的变换矩阵进行眼在手上的标定，得到第二旋转矩阵。

15.根据权利要求14所述的方法，其特征在于，所述抓取所述目标物体包括：

将所述主摄像头识别到的所述目标物体的位姿信息与所述第一旋转矩阵相乘，得到所述目标物体的第一位姿；

将所述双手摄像头识别到的所述目标物体的位姿信息与所述第二旋转矩阵相乘，得到所述目标物体的第二位姿。

16.根据权利要求4所述的方法，其特征在于，所述双臂移动机器人自主学习所述物品的特征信息包括：

通过摄像头拍摄所述物品的第一图像；

所述双臂移动机器人到达所述第二位置时，拍摄所述物品的第二图像；

所述双臂移动机器人的机械臂自主调整位姿抓取物体，根据末端力传感器判断成功抓取物体后通过所述摄像头拍摄第三图像；

所述机械臂将物体移出所述摄像头的视野，并记录所述物品的抓取点；

根据所述第一图像、第二图像和第三图像，利用完全卷积架构和度量学习算法进行训练；

其中，所述训练包括：

将所述第二图像加入密度空间特征图，得到第四图像；

将所述第三图像加入密度空间特征图，得到第五图像；

确定所述第四图像和所述第五图像之间的差异值；

根据所述差异值和所述第一图像，确定所述物体的特征边界信息、RGB信息和点云信息。

17.根据权利要求16所述的方法，其特征在于，还包括；

根据物体的特征边界信息进行训练，得到训练模型；

将所述训练模型存入所述后台决策系统。

18.根据权利要求5所述的方法，其特征在于，所述使用所述双臂移动机器人携带的单线激光雷达建立初始环境栅格地图包括：

采集激光点数据，将其转化为子图；

根据所述子图，进行回环检测；

若已生成一个子图且无新帧插入，则进行局部回环检测；

估计所述双臂移动机器人的位姿。

19.根据权利要求6所述的方法，其特征在于，所述根据所述语音信息提取出语音内的关键信息包括：

从所述语音信息中，提取出分词信息；

根据所述分词信息中的冠词，确定目标物体，目标位置和目标任务。

20.一种物品抓取规划系统，其特征在于，包括：

后台决策系统和双臂移动机器人；

所述后台决策系统被配置用于接收所述双臂移动机器人发送的所需执行的任务，根据所述所需执行的任务确定目标子区域标记位置点；

所述双臂移动机器人被配置用于获取语音命令，根据所述语音命令获得所需执行的任务，并将所述所需执行的任务上传至所述后台决策系统；

所述后台决策系统还被配置用于规划出到达所述目标子区域标记位置点的行驶路线并将所述行驶路线发送给所述双臂移动机器人，或者所述双臂移动机器人还被配置用于接收所述后台决策系统发送的目标子区域标记位置点并规划出到达所述目标子区域标记位置点的行驶路线；

所述双臂移动机器人还被配置用于：前往所述目标子区域标记位置点，启动视觉检测功能，搜索目标物体；根据视觉检测信息确定抓取目标物体需要到达的第二位置；调整自身位置到达所述第二位置，逆解出机械臂的位姿，抓取所述目标物体。

21.根据权利要求20所述的物品抓取规划系统，其特征在于，所述后台决策系统还被配置用于：

预先存储语音特征词信息和所述双臂移动机器人的动作序列信息；

获得待抓取物品特征信息；

人工建立环境栅格地图，并对所述环境栅格地图的每个子区域进行特征标记，并添加每个子区域的语义信息。

22.根据权利要求21所述的物品抓取规划系统，其特征在于，所述后台决策系统还被配置用于：

人工向后所述后台决策系统存储语音特征词，其中每个特征词分别对应所述双臂移动机器人的一个动作序列；

人工拖拽或编程引导所述双臂移动机器人的机械臂运动，存储所述机械臂初始动作序列，并对不同动作序列分别命名，同时与所述语音特征词进行匹配；或者通过从云端下载的方式更新所述语音特征词数据、所述动作序列信息和所述语音特征词与所述动作序列信息的匹配关系。

23.根据权利要求20所述的物品抓取规划系统，其特征在于，所述获取语音命令，根据所述语音命令获得所需执行的任务包括：

所述双臂移动机器人通过麦克风获取用户的语音信息，根据所述语音信息提取出语音内的关键信息；

其中所述关键信息包括：目标子区域标记位置点、目标物体和目标任务。

24.根据权利要求20所述的物品抓取规划系统，其特征在于，所述规划出到达所述目标子区域标记位置点的行驶路线包括：

所述后台决策系统将所述所需执行的任务与数据库进行匹配，生成对应的动作序列信息；

使用预设的算法规划出所述双臂移动机器人到达所述目标子区域标记位置点的行驶路线；

其中，所述预设的算法包括全局路径规划算法和局部路径规划算法。

Images