CN107363834B

CN107363834B - 一种基于认知地图的机械臂抓取方法

Info

Publication number: CN107363834B
Application number: CN201710595597.2A
Authority: CN
Inventors: 程洪; 罗骜; 杜鹏; 杨路
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2017-07-20
Filing date: 2017-07-20
Publication date: 2020-09-29
Anticipated expiration: 2037-07-20
Also published as: CN107363834A

Abstract

本发明公开了一种基于认知地图的机械臂抓取方法，包括以下步骤：建立外层认知地图和内层认知地图；根据采集到的目标物体图像信息，得到当前机械臂与物体之间的距离，运动到外层认知地图位置；根据当前所处位置的图片信息与外层认知地图中最接近的点进行外层匹配；根据外层匹配结果在外层地图中规划出可以运动到内层认知地图的轨迹；根据上述轨迹运动到内层认知地图所建立的区域；在内层认知地图中，根据当前的位置和目标位置进行路径规划，完成抓取；本发明对环境适应性好、实用性强。

Description

一种基于认知地图的机械臂抓取方法

技术领域

本发明涉及计算机视觉领域及机器人技术领域，具体涉及一种基于认知地图的机械臂抓取方法。

背景技术

随着科技的进步，机器人逐渐走进大众的视野；在近几年，机器人的发展随着人工智能的发展越来越快，此时机器人已不单单再是过去人们印象中只能按照固定程序，完成单一任务的一种机械；例如，现在的人形机器人，可以完成多种任务；在人形机器人当中，抓取主要是依靠类似于人的手臂，即机械臂；如何让机械臂的操作更加接近人类手臂活动的习惯是进来研究的重点。

传统的机械臂抓取方案，主要是聚焦在仿真环境进行实验，首先需要得到物体精确的2D或3D模型，从而通过力封闭或者形状封闭得到抓取位置的分析；但这种方法无法在实际环境中使用，因为在实际环境当中，由于传感器限制等原因，无法事先得到物体的3D重建模型，或者得到的3D模型不是很精确，导致无法进行实时抓取；随着深度学习在近几年的发展，出现了基于深度学习进行抓取的方法；基于深度学习的物体抓取，其缺点在于训练所需的数据量巨大，训练一个抓取物体也需要大量的已标注图片；在物体种类丰富的情况下，完成抓取所需的训练数据量十分巨大，标注图片的工作量巨大；因此也不适合在实际环境当中使用；并且，由于摄像头的角度固定，机械臂大多是从上往下垂直于物体进行抓取动作；因此这种方式抓取的位置相对单一，对于一些特殊的物体，例如杯子等物体，以人来观察，最合适的抓取位置应在杯柄处；而此时这对于用深度学习算法设计的算法来说，无法找到这一最合适的抓取位置，导致抓取不理想甚至失败。

发明内容

本发明提供一种对环境适应性好、实用性强的基于认知地图的机械臂抓取方法。

本发明采用的技术方案是：一种基于认知地图的机械臂抓取方法，包括以下步骤：

建立外层认知地图和内层认知地图；

根据采集到的目标物体图像信息，得到当前机械臂与物体之间的距离，运动到外层认知地图位置；

根据当前所处位置的图片信息与外层认知地图中最接近的点进行外层匹配；

根据外层匹配结果在外层地图中规划出可以运动到内层认知地图的轨迹；

根据上述轨迹运动到内层认知地图所建立的区域；

在内层认知地图中，根据当前的位置和目标位置进行路径规划，完成抓取。

进一步的，所述外层匹配的方法采用SURF描述子，和FLANN算法进行视觉匹配，

匹配结果如下：

式中：N_i为成功匹配的特征点数目，V_k为特征描述子的向量，S_i为与当前位置最接近的经验节点。

进一步的，所述抓取过程通过调整当前所处位置与所匹配到的经验节点之间的角度差异、当前所处的位置和所匹配到的经验节点之间位置的前后差异和当前所处位置和所匹配到的经验节点之间的位置的平移差异，完成位姿的实时调整。

进一步的，所述当前所处位置与所匹配到的经验节点之间的角度差异调整方法如下：

式中：θ_o为待调整的角度；d_im为图像中物体距离图像中心的距离，用像素点个数来表达；γ₁为图像中像素点数宽度对应到成像平面上实际距离的近似映射系数，d_f为相机焦距。

进一步的，所述当前所处位置和所匹配到的经验节点之间位置的前后差异调整方法如下：

式中：d_o为待调整距离；c_cur为当前图像中物体在图像中的宽度，用像素点数表达；c_exp为经验图像中物体在图像中的宽度，也是用像素点数表达；d_exp为经验节点中相机到物体的距离。

进一步的，所述当前所处位置和所匹配的经验节点之间的位置的平移差异调整方法如下：

T_o＝T·γ₂

式中：T_o为机械臂待平移的向量值，T为图像配准的平移向量，γ₂为经验值常量。

进一步的，所述路径规划根据机械臂所走过的所有点的子集，根据距离最近的原则，得到经验节点集合作为机械臂运动的路径。

进一步的，所述构建外层认知地图和内层认知地图的方法如下：根据采集到的图像和机械臂位姿构建外层认知地图；外层认知地图建立后引导操作臂沿正确路径达到抓取位置，从而建立内层认知地图。

本发明的有益效果是：

(1)本发明将认知地图引入到机械臂抓取过程中，解决在事先无法得到物体精确3D重建模型的情况下，通过快速训练、建图，得到建立在物体上的认知地图；

(2)本发明中物体位置和姿态发生变化时，能够快速检测，对环境适应性好；

(3)本发明训练过后建图即可完成，也即对物体的表达完成，无需大量训练实用性强。

附图说明

图1为本发明系统框架图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，一种基于认知地图的机械臂抓取方法，包括以下步骤：

建立外层认知地图和内层认知地图；

根据上述轨迹运动到内层认知地图所建立的区域；

进一步的，所述外层匹配的方法采用SURF描述子，和FLANN算法进行视觉匹配，SURF描述子指Speed-up robust features加速鲁棒特征，FLANN算法是指快速最邻近算法

匹配结果如下：

T_o＝T·γ₂

使用时，将机械臂在空间中所走过的离散的坐标点和信息存储下来构建成地图；这样的每一个空间坐标和少量对应的信息成为经验节点；经验节点的表示形式为：

e_i＝{P_i,V_i}

式中：P_i表示机械臂所处的位置和姿态，即(x_i,y_i,z_i,α_i,β_i,γ_i)；其中(x_i,y_i,z_i)为机械臂末端在笛卡尔坐标系下的坐标，(α_i,β_i,γ_i)用于机械臂末端的姿态信息的三个角度信息；V_i为当前位姿处所拍摄并保存的图片。

在进行路径规划时，实际得到的是一系列点的集合，它们是地图中点集的一个子集；表示为：

P＝(p₁,p₂,p₃,…,p_n)

结合对应图像信息，获得在每一个空间位置对应的特征，根据当前位置图像信息和目标位置图像信息，以经验节点所表示的实际路径规划结果表示为：

P_goal＝(E_cur,E_cur+1,...,E_dst-1,E_dst)

式中：E_cur表示机械臂当前所处位置匹配到的最近的经验节点，E_cur+1表示根据路径最短原则所规划出的下一经验节点，E_dst表示规划路径中最后一位位置的经验节点，E_dst-1表示规划路径中最后一个经验节点上一个位置处的经验节点。

具体实施过程中包括以下步骤：

步骤1：对于一个新的物体，需要人为的引导机械臂去建立认知地图；需要在机械臂和物体无碰撞的安全距离下，从各个角度对物体进行观察并拍摄图片记录，并在此过程中应保持物体在成像中心；在这当中所采集到的图像和机械臂位姿用于构建外层认知地图；这一步的建图过程用于步骤2中机械臂抓取的路径规划，因此在物体周围观察时，应尽可能的多记录一些不同位置处物体的特征。

步骤2：在外层认知地图已经建立的情况下，需要引导机械臂沿我们所认为合适、正确的路径缓慢到达我们所认为合适的抓取位置；在此过程中，应保持摄像头朝向物体位置区域，便于记录用于建立内层认知地图的图像信息；在操作机械臂到达抓取位置之后，内层认知地图就建立了出来。

步骤3：当物体的位置和角度发生改变时，机械臂会根据kinect所采集到的图像深度信息，得出当前机械臂与物体的大致距离，然后驱动机械臂运动到外层认知地图的大致范围内；在到达外层认知地图位置处，根据当前位置处图片信息，寻找与已经建立的外层认知地图中所存经验节点最接近的点进行粗匹配，即外层匹配，采用SURF描述子，和FLANN算法进行视觉匹配，最终评估结果采用公式：

式中：N为成功匹配的特征点数目，V_k为特征描述子的向量，S_i为与当前位置最接近的经验节点，即得分最大的经验节点；由于在内层匹配中有机械臂位姿的实时调整，因此在这一步中的粗匹配，在存在较小误差的情况下，也会在内层匹配调整的过程中消除，仍然可以完成抓取的任务。

步骤4：在步骤3中得到最匹配的经验节点后，机器人系统会根据距离最近的原则，在外层认知地图中规划出一条可以运动到内层认知地图的轨迹，即空间中一系列离散的点的坐标集合；之后驱动机械臂沿着已规划好的这条路径运动到内层认知地图所建立的大致区域。

步骤5：在内层认知地图中，根据当前的位置和目标位置，进行路径规划，最终路径用经验节点的形式表示为：

P_goal＝(E_cur,E_cur+1,…,E_dst-1,E_dst)

并在其中通过相关位姿的实时调整，最终实现对物体的抓取；我们用于在内层认知地图实时位姿调整的主要方式用公式表示为：

T_o＝T·γ₂

其中：上述第一个公式用于调整当前所处的位置和它所匹配到的经验节点之间的角度差异，第二个公式用于调整当前所处的位置和它所匹配到的经验节点之间的位置的前后差异；第三个公式用于调整当前所处的位置和它所匹配到的经验节点之间的位置平移差异；通过这三个参数的调整，可以使机械臂到达经验节点的大致位置处，进行位姿的校正，从而最大程度上匹配已存在的经验节点。

空间认知是哺乳动物完成勘探，地图构建，定位和导航任务所需要的基本能力；在过去几十年中，在心理学和神经科学等多学科都可共同应用的这一想法，空间认知的研究已经获得了高速发展；这个概念已经提高了机器人在避障，航位推算，自我定位，映射，路径规划等相关的各种主题研究成果；机器人需要有环境地图，并被人赋予“理解”物理世界的能力才能完成导航功能；然而，明显人类不需要记得的所有环境细节就可以毫不费力地进行自我导航；虽然还没研究清楚人类完成导航的基本原理，但是我们可以清楚地明白人类并非完全基于一个详细的世界模型完成导航，而是基于自己以往的经验完成路径规划。

参考RatSLAM，这个大脑启发式SLAM算法，它使用以往经验中路径里的关键信息构造认知地图；目前已经有将认知地图用于机器人导航系统，并且实验证明可以利用认知地图在办公室这样的环境中运算代价不高，已经能完成实时导航；考虑机器人实现拟人化抓取的过程，同样可以使用认知地图，与基于认知地图的机器人导航是一个原理，可以把它设计为机械臂的导航问题；于是我们提出了一种基于层级认知地图的抓取方法；该方法的优点在于在抓取一个新物体时，可以快速训练，建立认知地图，完成机械臂的自主抓取的任务，并且抓取的角度可以为任意角度，对于一些特殊的物体，也能够通过人的干预，寻找到最合适的抓取位置，具有较高的灵活性。

本发明主要是通过摄像机和kinect获取图像信息，构建用于表达物体的认知地图；并在之后的任务中，通过本发明的系统规划出机械臂抓取物体的路径，并实时进行机械臂位置和姿态的调整，从而完成机械臂对一个物体的抓取任务；该方法将认知地图的概念引入到机械臂抓取任务当中，能够解决在事先无法得到物体精确的3D重建模型的情况下，通过快速的训练、建图，得到建立在物体上的认知地图；当物体的位置和姿态发生变化的时候，能够很好的快速检测，得到一条已走过的离散点所组成的轨迹，并驱动机械臂完成抓取的任务，对环境有很好的适应性；由于训练过后，建图即可完成，也即对物体的表达完成，无需大量训练；因此，本发明中的方法具有很好的实时性。

Claims

1.一种基于认知地图的机械臂抓取方法，其特征在于，包括以下步骤：

建立外层认知地图和内层认知地图；

根据上述轨迹运动到内层认知地图所建立的区域；

2.根据权利要求1所述的一种基于认知地图的机械臂抓取方法，其特征在于，所述抓取通过调整当前所处位置与所匹配到的经验节点之间的角度差异、当前所处的位置和所匹配到的经验节点之间位置的前后差异和当前所处位置和所匹配到的经验节点之间的位置的平移差异，完成位姿的实时调整。

3.根据权利要求2所述的一种基于认知地图的机械臂抓取方法，其特征在于，所述当前所处位置与所匹配到的经验节点之间的角度差异调整方法如下：

式中：q_o为待调整的角度；d_im为图像中物体距离图像中心的距离，用像素点个数来表达；γ₁为图像中像素点数宽度对应到成像平面上实际距离的近似映射系数，d_f为相机焦距。

4.根据权利要求2所述的一种基于认知地图的机械臂抓取方法，其特征在于，所述当前所处位置和所匹配到的经验节点之间位置的前后差异调整方法如下：

5.根据权利要求2所述的一种基于认知地图的机械臂抓取方法，其特征在于，所述当前所处位置和所匹配的经验节点之间的位置的平移差异调整方法如下：

T_o＝T·γ₂

6.根据权利要求1所述的一种基于认知地图的机械臂抓取方法，其特征在于，所述路径规划根据机械臂所走过的所有点的子集，根据距离最近的原则，得到经验节点集合作为机械臂运动的路径。

7.根据权利要求1所述的一种基于认知地图的机械臂抓取方法，其特征在于，所述建立外层认知地图和内层认知地图的方法如下：

根据采集到的图像和机械臂位姿构建外层认知地图；外层认知地图建立后引导操作臂沿正确路径达到抓取位置，从而建立内层认知地图。