CN114905513A - 一种基于软体手的复合机器人的抓取方法及系统 - Google Patents

Abstract

本发明提供一种基于软体手的复合机器人的抓取方法及系统，包括：基于平面地图，根据可视空间的点云信息，确定待抓取物体的初始位置；设定初始位置的侧上方为初始观测区域；规划移动路径，在限定速度内向初始观测区域移动，并在移动过程中不断更新待抓取物体的位置，获得最优观测区域；软体手基于不断更新的位置，在移动过程中不断调整抓取姿态；软体手的抓取端移动到最优观测区域内时，软体手抓取待测抓取物体。本发明在平台移动过程中同步调整机械臂软体手的抓取姿态，结合观测区域，可以实现移动到抓取动作的无缝衔接，省略了现有技术中必须要等待平台停止才进行抓取工作的固定式抓取流程，提高待抓取物体的抓取效率。

Description

一种基于软体手的复合机器人的抓取方法及系统

技术领域

本发明涉及抓取技术领域，特别涉及一种基于软体手的复合机器人的抓取方法及系统。

背景技术

复合机器人指的是具有移动平台的抓取机器人，其包括一个移动式平台及用于抓取作用的多轴机械臂，移动平台带动机械臂移动到指定位置进行抓取作业。

目前，复合机器人通常应用于固定式的夹取系统中，例如机器人的移动路径唯一、夹取对象唯一的单一夹取系统，具体为应用在工业生产领域的生产线上，这种机器人需要特定的标定物对机器人的移动进行定位，例如设置二维码、激光灯定位方式。由于路径和夹取对象唯一，所以该种机器人夹取结构通常为硬质夹爪。

现有的机械臂中为了应对不同夹取对象的不同形状，硬质夹爪的结构由于其缺少缓冲、保护的效果，无法适应不同形状的夹取要求，故现在出现了基于软体手的机械臂。

但是，无论是现有的硬质夹爪还是软体夹爪的复合式机器人，其在应用在夹取工作中时，夹取系统通常包括分离的移动平台(车辆)的移动系统和机械臂的夹取系统，在夹取作业中则体现为移动平台首先需要移动到待抓取物体附近后，才启动机械臂的夹取定位和夹取动作，也即移动平台和机械臂都具有各自的独立的定位点，也即机械臂需要移动平台首先确定移动点，移动到位后才开始机械臂的夹取计算，由于分离的移动和夹取系统缺少配合，导致抓取的效率偏低。

发明内容

为了克服目前现有的复合机器人中分立的移动和抓取导致抓取效率低的问题，本发明提供基于软体手的复合机器人的抓取方法及系统。

本发明为解决上述技术问题，提供一种基于软体手的复合机器人的抓取方法，包括如下步骤：基于平面地图，机器人移动到可视空间内；根据可视空间的点云信息，确定待抓取物体的初始位置；基于待抓取物体的初始位置，设定该初始位置的侧上方为初始观测区域；规划移动路径，在限定速度内向初始观测区域移动，并在移动过程中不断更新待抓取物体的位置，获得最优观测区域；软体手基于不断更新的位置，在移动过程中不断调整抓取姿态；软体手的抓取端移动到最优观测区域内时，软体手在最优观测区域抓取待测抓取物体。

优选地，在识别出待抓取物体的初始位置时，预测待抓取物体的姿态，具体包括：基于待抓取物体的点云信息，在待抓取物体的外周侧构建立方体；确定立方体的抓取平面；将宽高比最小的抓取平面作为抓取面，同时根据当前抓取面的方向调整软体手的抓取方向。

优选地，待抓取物体的立方体、抓取面及抓取空间随着待抓取物体的位置不断更新。

优选地，规划移动路径时，包括以下步骤：以当前确定的观测区域为最终位置，在起始位置和最终位置之间识别出障碍物；以圆形覆盖障碍物，将起始位置和最终位置通过多段线段连接，经过圆形的线段与圆形相切，获得移动路径。

优选地，移动路径包括平台移动路径及软体手的抓取端移动路径；当软体手的抓取端移动到最优观测区域内时，抓取步骤具体包括：平台移动路径在预设时间内位于最优观测区域；获取软体手的有效抓取空间，当平台移动至最优观测区域内时，软体手的有效抓取空间与最优观测区域存在交集，软体手的抓取时间小于预设时间。

本发明还提供一种基于软体手的复合机器人的抓取系统，包括：地图循迹单元，用于基于平面地图，机器人移动到可视空间内；点云识别单元，用于根据可视空间的点云信息，确定待抓取物体的初始位置；区域选定单元，用于基于待抓取物体的初始位置，设定该初始位置的侧上方为初始观测区域；区域更新单元，用于规划移动路径，在限定速度内向初始观测区域移动，并在移动过程中不断更新待抓取物体的位置，获得最优观测区域；抓取姿势更新单元，用于软体手基于不断更新的位置，在移动过程中不断调整抓取姿态；抓取单元，用于软体手的抓取端移动到最优观测区域内时，软体手在最优观测区域抓取待测抓取物体。

与现有技术相比，本发明提供的一种基于软体手的复合机器人的抓取方法及系统，具有以下优点：

1、通过对待抓取物体的点云识别，获得初始位置，在机器人移动的过程中不断更新待抓取物体的具体位置，不断获得更加准确的观测区域，而基于观测区域的位置来决定机器人带动软体手的移动方向，由于没有限定机器人中平台的具体移动终点，只需要将软体手带到最优观测区域内实现抓取即可，减少平台移动的具体计算，提高整个抓取工作的运算效率。同时，在平台移动过程中同步调整机械臂软体手的抓取姿态，结合侧上方定义的观测区域，使得当机械臂移动到可抓取的空间内时，可基于观测区域的方向直接进行向下或水平方向的抓取，移动和抓取动作的无缝衔接，省略了现有技术中必须要等待平台停止才进行抓取工作的固定式抓取流程，提高待抓取物体的抓取效率。

2、通过点云的自主识别方式，让机器人自动规划路径循迹移动到待抓取物体的位置，其特别适用于现有的室内家居夹取搬运机器人中对不同种类、不同形状的物体的自主夹取工作，不需要设定固定的路径和固定的夹取物种类，解决了日常生活场景中服务机器人针对非结构化环境中不确定物体的抓取问题，如帮助老人递送日常物品(水果、水杯、食物等)，适应性强，真正使机器人像人一样操作物体，实现多样化的任务而非固定的任务。

附图说明

图1为本发明第一实施例提供的一种基于软体手的复合机器人的抓取方法的流程图。

图2为本发明第一实施例提供的一种基于软体手的复合机器人的抓取方法中观测区域的方位示意图。

图3为本发明第一实施例提供的一种基于软体手的复合机器人的抓取方法中抓取姿态调整的流程图。

图4为本发明第一实施例提供的一种基于软体手的复合机器人的抓取方法中路径规划的流程图。

图5为本发明第一实施例提供的一种基于软体手的复合机器人的抓取方法中抓取过程的流程图。

图6为本发明第二实施例提供的一种基于软体手的复合机器人的抓取系统的模块图。

附图标记说明：

1、地图循迹单元；2、点云识别单元；3、区域选定单元；4、区域更新单元；5、抓取姿势更新单元；6、抓取单元。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明第一实施例提供一种基于软体手的复合机器人的抓取方法，包括以下步骤：

步骤S1：基于平面地图，机器人移动到可视空间内。

步骤S2：根据可视空间的点云信息，确定待抓取物体的初始位置。

步骤S3：基于待抓取物体的初始位置，设定该初始位置的侧上方为初始观测区域。

步骤S4：规划移动路径，在限定速度内向初始观测区域移动，并在移动过程中不断更新待抓取物体的位置，获得最优观测区域。

步骤S5：软体手基于不断更新的位置，在移动过程中不断调整抓取姿态。

步骤S6：软体手的抓取端移动到最优观测区域内时，软体手在最优观测区域抓取待测抓取物体。

可以理解，在步骤S1中，平面地图为以激光雷达为主，结合多传感器融合算法，利用SLAM技术构建的工作范围内的机器人地图，通常为平面栅格地图。

可以理解，在步骤S2中，机器人上设置深度相机，该深度相机的摄像头通常设置于机器人中机械臂的抓取端上，抓取端的前进方向为深度相机的视觉方向，也即视觉方向与抓取方向一致。深度相机通过点云技术对空间中的物体进行识别，以确定待抓取物体的位置。在本实施例中，机器人可以作为智能家居中的移动式夹取机器人，可以根据用户的需求，在居住空间内夹取任一可以识别的物体，例如水瓶、盒子、手机等不同形状的物体。

可以理解，在步骤S2中，待抓取物体的初始位置为当前第一次点云识别的结果，由于此时机器人与待抓取物体之间具有一定距离，初次检测的位置和待抓取物体的形状等信息不准确，但是此时可以获知待抓取物体的大概方向。

可以理解，在步骤S3中，在定位到待抓取物体的初始位置后，设定一个初始观测区域，该初始观测区域位于待抓取物体的侧上方，也即偏离待抓取物体正上方的位置，如图2中所述，平台100放置有水瓶200，则初始观测区域位于水瓶200斜上方的空间300，空间300为最佳观测点。

可以理解，在步骤S3中，初始观测区域位于待抓取物体的侧上方而非正上方，使得机械臂在夹取前准确判断待抓取物体的摆放姿态，本实施例可以根据待抓取物体的放置姿态(如横放、立放)来决定最终的抓取姿势，以获得最优的抓取效率。

可以理解，在步骤S4中，复合机器人包括平台和机械臂(即软体手)，平台带动机械臂移动，而规划移动路径需要对机器人的现有位置到靠近待抓取物体的位置之间进行，其中具有部分障碍物。由于在步骤S5中，机器人移动行进的过程中，机械臂也会基于识别的待抓取物体进行相应姿势的调整，故在步骤S4中，机器人的平台移动和机械臂姿态调整的同时进行，需要控制平台的移动行进速度，避免倾覆。具体地，为了保持移动平台平稳的运动速度和最低能量消耗，以各路径点的加速度总和最小作为移动平台动态最优性能目标，即

其中x,y为平面轨迹点，ti为所处的时刻，N为所有采样轨迹点总和。设两轨迹点的时间间隔为hi，则最优性能目标可描述为

其中

T0为末端轨迹总时长。

可以理解，在步骤S4中，移动过程中，深度相机不断靠近待抓取物体，则点云识别系统可以更准确地识别待抓取物体的形状、姿态等信息，根据不断识别更新的结果，不断靠近的平台可以获得待抓取物体所在区域的最优观测区域。

可以理解，在步骤S5中，基于不断更新的结果，机械臂的软体手不断调整相应的抓取姿态，此时平台移动和软体手机械臂的姿态调整同步进行，也即在移动过程中联合了机械臂的姿态调整。

可以理解，在步骤S6中，复合机器人的机械臂具有其自身的有效抓取范围，在该有效抓取范围内均能够实现稳定抓取，而平台带动机械臂移动过程中，机械臂向着最优观测区域方向移动，当机械臂的抓取端移动到最优观测区域时，即可进行抓取，由于在移动过程中已经不断调整了机械臂的抓取姿势，故当机械臂的抓取端进入最优观测区域时即可立即进行抓取，不需要等待平台的移动终止。在机械臂抓取过程中，平台无论处于停止还是移动状态均不影响机械臂的抓取动作。

可以理解，在步骤S6中，结合机械臂的软体手结构，除了能够适应不同结构的物体抓取，还能够适应当平台在移动时的抓取动作，软体手能够缓和移动的机械臂和待抓取物体之间的冲击力，避免硬质抓手带来的冲击倾倒。

请参阅图3，在上述步骤S2中，在确定待抓取物体的初始位置后，还可以确定待抓取物体的摆放姿态，具体包括：

步骤S21：基于待抓取物体的点云信息，在待抓取物体的外周侧构建立方体。

步骤S22：确定立方体的抓取平面。

步骤S23：将宽高比最小的抓取平面作为抓取面，同时根据当前抓取面的方向调整软体手的抓取方向。

可以理解，在步骤S21中，基于待抓取物体的点云轮廓，在待抓取物体的边缘构造一个立方体。

可以理解，在步骤S22中，首先需要确定在该立方体的各个面上是否都可以作为抓取平面，也即确定立方体可以进行抓取的抓取平面，例如，如果立方体的某个侧面为墙面或存在其他物体，从该侧面方向进行抓取会导致碰撞等抓取失败的问题，故需要先判断有效地抓取平面。

可以理解，在步骤S23中，将宽高比最小的抓取平面作为抓取面，也即将当前的面判断宽高比，宽高比最小可以确定抓取面的细长度，宽高比越小，代表抓取面越细长，对于抓取手而言，细长物体可以提高抓取成功率。

可以理解，在步骤S23中，通过对宽高比确定抓取面，而当前抓取面可以为水平面或竖直面，如果是水平面，可以判定抓取方向为从上往下抓取，如果是竖直面，可以判定抓取方向是水平方向抓取。

请参阅图4，在步骤S4中，规划移动路径时，包括以下步骤：

步骤S41：以当前确定的观测区域为最终位置，在起始位置和最终位置之间识别出障碍物。

步骤S42：以圆形覆盖障碍物，将起始位置和最终位置通过多段线段连接，经过圆形的线段与圆形相切，获得移动路径。

请参阅图5，移动路径包括平台移动路径及软体手的抓取端移动路径，在步骤S6中，当软体手的抓取端移动到最优观测区域内时，抓取步骤具体包括：

步骤S61：平台移动路径在预设时间内位于最优观测区域。

步骤S62：获取软体手的有效抓取空间，当平台移动至最优观测区域内时，软体手的有效抓取空间与最优观测区域存在交集，软体手的抓取时间小于预设时间。

可以理解，在步骤S61中，平台移动路径进入最优观测区域，而不同的软体手根据其自身属性，均具有不同的有效抓取空间，当有效抓取空间与最优观测区域出现交集时，表示当前机械臂可以开始抓取。而平台移动路径在进入最优观测区域的预设时间内，软体手的有效抓取空间与最优观测区域存在交集的时间也需要在该预设时间内出现，确保抓取工作的顺利进行。

可以理解，在步骤S62中，软体手的有效抓取空间与最优观测区域存在交集，表示软体手从最优观测区域的位置开始夹持，而由于前步骤对待抓取物体不断识别更新，在确定了抓取姿态后，软体手从待抓取物体的侧上方可以立即移动，如果是正上方抓取方向时，软体手整体向下朝向，斜向下移动抓取。如果是水平抓取方向时，软体手整体向侧面摆放，斜向下或先斜向下在水平移动抓取，由于在平台移动过程中同步调整机械臂的抓取姿态，故整个过程无缝衔接，平台移动到符合软体手的抓取条件的空间内即可立即执行抓取，提高抓取效率。

可以理解，在步骤S62中，软体手的抓取时间小于预设时间，以确保在平台的预设时间内完成抓取动作，可以适应平台在移动状态下的抓取。本实施例可以根据平台的移动速度来适应性调整软体手的抓取速度。

请参阅图6，本发明第二实施例还提供一种基于软体手的复合机器人的抓取系统。用于执行上述第一实施例中基于软体手的复合机器人的抓取方法，该基于软体手的复合机器人的抓取系统可以包括：

地图循迹单元1，用于实施上述步骤S1，用于基于平面地图，机器人移动到可视空间内。

点云识别单元2，用于实施上述步骤S2，用于根据可视空间的点云信息，确定待抓取物体的初始位置。

区域选定单元3，用于实施上述步骤S3，用于基于待抓取物体的初始位置，设定该初始位置的侧上方为初始观测区域。

区域更新单元4，用于实施上述步骤S4，用于规划移动路径，在限定速度内向初始观测区域移动，并在移动过程中不断更新待抓取物体的位置，获得最优观测区域。

抓取姿势更新单元5，用于实施上述步骤S5，用于软体手基于不断更新的位置，在移动过程中不断调整抓取姿态。

抓取单元6，用于实施上述步骤S6，用于软体手的抓取端移动到最优观测区域内时，软体手在最优观测区域抓取待测抓取物体。

可以理解，在上述的单元中，还可以进一步包括其他单元，用于实施上述第一实施例中对应的其他步骤，在此不再赘述。

与现有技术相比，本发明提供的一种基于软体手的复合机器人的抓取方法及系统，具有以下优点：

1、通过对待抓取物体的点云识别，获得初始位置，在机器人移动的过程中不断更新待抓取物体的具体位置，不断获得更加准确的观测区域，而基于观测区域的位置来决定机器人带动软体手的移动方向，由于没有限定机器人中平台的具体移动终点，只需要将软体手带到最优观测区域内实现抓取即可，减少平台移动的具体计算，提高整个抓取工作的运算效率。同时，在平台移动过程中同步调整机械臂软体手的抓取姿态，结合侧上方定义的观测区域，使得当机械臂移动到可抓取的空间内时，可基于观测区域的方向直接进行向下或水平方向的抓取，移动和抓取动作的无缝衔接，省略了现有技术中必须要等待平台停止才进行抓取工作的固定式抓取流程，提高待抓取物体的抓取效率。

2、通过点云的自主识别方式，让机器人自动规划路径循迹移动到待抓取物体的位置，其特别适用于现有的室内家居夹取搬运机器人中对不同种类、不同形状的物体的自主夹取工作，不需要设定固定的路径和固定的夹取物种类，解决了日常生活场景中服务机器人针对非结构化环境中不确定物体的抓取问题，如帮助老人递送日常物品(水果、水杯、食物等)，适应性强，真正使机器人像人一样操作物体，实现多样化的任务而非固定的任务。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。

在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。

计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (6)

1.一种基于软体手的复合机器人的抓取方法，其特征在于：包括如下步骤：

基于平面地图，机器人移动到可视空间内；

根据可视空间的点云信息，确定待抓取物体的初始位置；

基于待抓取物体的初始位置，设定该初始位置的侧上方为初始观测区域；

规划移动路径，在限定速度内向初始观测区域移动，并在移动过程中不断更新待抓取物体的位置，获得最优观测区域；

软体手基于不断更新的位置，在移动过程中不断调整抓取姿态；

软体手的抓取端移动到最优观测区域内时，软体手在最优观测区域抓取待测抓取物体。

2.如权利要求1中所述基于软体手的复合机器人的抓取方法，其特征在于：在识别出待抓取物体的初始位置时，预测待抓取物体的姿态，具体包括：

基于待抓取物体的点云信息，在待抓取物体的外周侧构建立方体；

确定立方体的抓取平面；

将宽高比最小的抓取平面作为抓取面，同时根据当前抓取面的方向调整软体手的抓取方向。

3.如权利要求2中所述基于软体手的复合机器人的抓取方法，其特征在于：待抓取物体的立方体、抓取面及抓取空间随着待抓取物体的位置不断更新。

4.如权利要求1中所述基于软体手的复合机器人的抓取方法，其特征在于：规划移动路径时，包括以下步骤：

以当前确定的观测区域为最终位置，在起始位置和最终位置之间识别出障碍物；

以圆形覆盖障碍物，将起始位置和最终位置通过多段线段连接，经过圆形的线段与圆形相切，获得移动路径。

5.如权利要求2中所述基于软体手的复合机器人的抓取方法，其特征在于：移动路径包括平台移动路径及软体手的抓取端移动路径；

当软体手的抓取端移动到最优观测区域内时，抓取步骤具体包括：

平台移动路径在预设时间内位于最优观测区域；

获取软体手的有效抓取空间，当平台移动至最优观测区域内时，软体手的有效抓取空间与最优观测区域存在交集，软体手的抓取时间小于预设时间。

6.一种基于软体手的复合机器人的抓取系统，其特征在于，包括：

地图循迹单元，用于基于平面地图，机器人移动到可视空间内；

点云识别单元，用于根据可视空间的点云信息，确定待抓取物体的初始位置；

区域选定单元，用于基于待抓取物体的初始位置，设定该初始位置的侧上方为初始观测区域；

区域更新单元，用于规划移动路径，在限定速度内向初始观测区域移动，并在移动过程中不断更新待抓取物体的位置，获得最优观测区域；

抓取姿势更新单元，用于软体手基于不断更新的位置，在移动过程中不断调整抓取姿态；

抓取单元，用于软体手的抓取端移动到最优观测区域内时，软体手在最优观测区域抓取待测抓取物体。。

Images