CN113814970A - 工件抓取点优化计算方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种工件抓取点优化计算方法、装置、设备及存储介质，包含：S1：预先训练主干残差网络M；S2：构建门控网络G；S3：计算所述主干残差网络M中每个所述残差单元对每一张输入图像的重要度；S4：将所述输入图像及其对应的各所述残差单元的重要度组成为输入‑标签对，构建数据集，通过所述数据集训练所述门控网络G；S5：对所述主干残差网络M进行微调以适应动态裁剪；S6：重复步骤S3‑S5直到模型的裁剪率和精度满足预设条件。本发明的工件抓取点优化计算方法、装置、设备及存储介质，计算主干残差网络M中每个残差单元对每一张输入图像的重要度，并以此构建数据集用于训练门控网络G，使门控网络G能够根据输入图像与中间特征图，预测出不同残差单元的重要度。

Description

工件抓取点优化计算方法、装置、设备及存储介质

技术领域

本发明涉及一种工件抓取点优化计算方法、装置、设备及存储介质。

背景技术

机器人夹具夹持无序堆叠的待抓取工件时，需要事先确定抓取点，以便顺利完成抓取任务。对于球体、圆柱体、长方体，或者几种简单物体的组合体，可以比较容易地直接计算出抓取位姿。而对于表面结构复杂的工件，可以通过点云模板匹配技术识别工件，把在模板坐标系上事先设置好的固定抓取点变换到机器人坐标系下，再引导机器人进行定位抓取。

在表面结构复杂的工件模板上设置抓取点，尤其是模板上的可以绕某轴旋转任意角度生成可用抓取点(如圆柱圆锥侧面、圆或类圆中心)，常常会遇到以下2个问题：一是设置抓取点的工作量较大。由于工件堆叠无序，为了让该部位抓取点尽可能生效，需要沿垂直该部位的中心轴旋转选取多个抓取点。二是设置的抓取点未必是最优的，不一定能让机器人在抓取工件的过程中动作幅度最小。比如抓取圆形部位，夹具本来基本不需要旋转就可以完成抓取工作，但是由于抓取点是有限且固定的，可能夹具绕机器人末端法兰Z轴旋转一定角度后才会去抓取工件，既增大了碰撞概率，又降低工作节奏。

发明内容

本发明提供了一种工件抓取点优化计算方法、装置、设备及存储介质，采用如下的技术方案：

一种工件抓取点优化计算方法，包含以下步骤：

加载并输出夹具模型和待抓取的工件模型；

接收用户输入的第一操作信息；

根据用户输入的第一操作信息在工件模型上设置一个抓取点；

接收用户输入的第二操作信息；

根据用户输入的第二操作信息确定用户选择的抓取点的类型；

根据确定的抓取点的类型对抓取点进行优化得到优化后的新抓取点。

进一步地，用户输入的第二操作信息包含参考轴或旋转轴。

进一步地，在用户输入的第二操作信息为参考轴时，确定用户选择的抓取点为第一类抓取点；

根据确定的抓取点的类型对抓取点进行优化得到优化后的新抓取点的具体方法为：

将抓取点的坐标轴与参考轴对齐得到优化后的新抓取点。

进一步地，将抓取点的坐标轴与参考轴对齐得到优化后的新抓取点的具体方法为：

计算参考轴与机器人坐标系的Z轴的外积A；

计算抓取点Z轴和外积A的外积B，计算得到的外积B为新抓取点的X轴；

计算抓取点的Z轴和新抓取点的X轴的外积C，计算得到外积C为新抓取点的Y轴；

抓取点的Z轴为新抓取点的Z轴；

将得到的新抓取点的X轴、Y轴和Z轴分别归一化，得到最终的新抓取点。

进一步地，参考轴为机器人夹具工具坐标系的X轴或Y轴。

进一步地，在用户输入的第二操作信息为旋转轴时，确定用户选择的抓取点为第二类抓取点；

根据确定的抓取点的类型对抓取点进行优化得到优化后的新抓取点的具体方法为：

将抓取点沿着旋转轴转动得到最高点并将最高点最为优化后的新抓取点。

进一步地，将抓取点沿着旋转轴转动得到最高点并将最高点最为优化后的新抓取点的具体方法为：

计算抓取点的Z轴和新抓取点的Z轴的夹角；

计算抓取点绕旋转轴旋转角度θ得到的变换矩阵；

计算抓取点与变换矩阵的乘机得到新抓取点。

一种工件抓取点优化计算装置，包含：

输出模块，用于加载并输出夹具模型和待抓取的工件模型；

第一接收模块，用于接收用户输入的第一操作信息；

设置模块，用于根据用户输入的第一操作信息在工件模型上设置一个抓取点；

第二接收模块，用于接收用户输入的第二操作信息；

确定模块，用于根据用户输入的第二操作信息确定用户选择的抓取点的类型；

计算优化模块，用于根据确定的抓取点的类型对抓取点进行优化得到优化后的新抓取点。

一种终端设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现前述的工件抓取点优化计算方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现前述的工件抓取点优化计算方法的步骤。

本发明的有益之处在于所提供的工件抓取点优化计算方法、装置、设备及存储介质，无需投入较大工作量设置抓取点，且能够使机器人在抓取工件的过程中动作幅度最小。

附图说明

图1是本发明的工件抓取点优化计算方法示意图；

图2是本发明的抓取点X轴对齐参考轴的示意图；

图3是本发明的计算最高抓取点的示意图；

图4是本发明的工件抓取点优化计算装置的示意图；

图5是本发明的终端设备的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

本申请提供的工件抓取点优化计算方法，可以应用于机械臂的控制终端上，例如计算机、平板电脑。

如图1所示，本发明提供的一种工件抓取点优化计算方法，包含以下步骤：

步骤S10：加载并输出夹具模型和待抓取的工件模型。

具体而言，可预先构建不同类型的工具模型，例如，三爪夹具、四爪夹具。其中，工具模型的数据类型可为点云模型或CAD(Computer Aided Design，计算机辅助设计)模型。作为示例的，在工具模型为二爪夹具的情况下，可分别在二爪与物体的两个接触点的中心点设置拖拽点；在工具模型为吸盘式工具的情况下，可在吸盘式工具末端吸头的中心点设置拖拽点。同样的，还可以预先构建待抓取的工件模型。把待抓取的工件模型和夹具模型加载到抓取点设置软件并展示出来。

步骤S20：接收用户输入的第一操作信息。

具体而言，用户通过输入设备(如鼠标、键盘或控制手柄)或通过触屏的方式输入一个第一操作信息。在本申请中，用户通过鼠标选择一个待优化的抓取点。

步骤S30：根据用户输入的第一操作信息在工件模型上设置一个抓取点。

根据用户的鼠标点选操作，在工件模型上对应位置设置该待优化的抓取点。

步骤S40：接收用户输入的第二操作信息。

在本申请中，用户还通过输入设备输入一个第二操作信息。具体地，用户输入的第二操作信息包含参考轴或旋转轴。

步骤S50：根据用户输入的第二操作信息确定用户选择的抓取点的类型。

具体地，在用户输入的第二操作信息为参考轴时，确定用户选择的抓取点为第一类抓取点。在用户输入的第二操作信息为旋转轴时，确定用户选择的抓取点为第二类抓取点。

可以理解的是，将夹具模型和工件模型加载至抓取点设置软件，首先把需要优化计算的抓取点分成两类。第一类抓取点是位于圆形、圆环等类圆中心抓取部位的抓取点，第二类抓取点是位于圆柱、圆锥或截头圆锥体侧面上的抓取点。

用户根据当前的夹具模型的类型从工件模型上选择一个可以被优化的抓取点。具体地，用户确定抓取点是否可以被优化的方法为：

确定圆形、圆环等类圆中心抓取部位上的第一类抓取点是否为可用抓取点，需要结合机器人夹具判断。首先保证夹具以预设抓取点绕过圆心且垂直于圆平面的法向量生成所有抓取点位姿抓取工件时，夹具与工件的接触面状态都一样，这是参与抓取点对齐参考轴的必要条件。若抓取部位在圆平面中心位置，抓取点Z轴与圆平面法向量共线，夹具是吸盘或电磁铁，满足这些条件的抓取点就是可用的；若抓取部位在圆环中心(不在工件表面上)，抓取点Z轴与圆环平面法向量共线，此时夹具若是吸盘或电磁铁，该抓取点就不是有效抓取点，不能参与后面的优化计算。

确定圆柱、圆锥或截头圆锥体侧面上选取的第二类抓取点是否为可用抓取点，也需要结合机器人夹具判断。首先把圆柱或圆锥中心轴作为旋转轴，圆柱或圆锥侧面上的一个抓取点绕该轴旋转生成一个圆，以这个圆上任意一点为抓取点，若夹具抓取工件时的接触面状态都一样，则该部位的抓取点具备参与后面优化计算的必要条件。若抓取部位在圆锥侧面上，夹具是二指夹具，那抓取点就是可用的；若夹具是吸盘或电磁铁，无法在该抓取部位抓取工件，那这个部位的抓取点就是不可用的，不能参与后面的优化计算。

用户需要根据自身经验，结合工件和夹具的具体情况，从工件表面上选择一个可以被优化的抓取点。

步骤S60：根据确定的抓取点的类型对抓取点进行优化得到优化后的新抓取点。

具体而言，在用户输入的第二操作信息为参考轴时，确定用户选择的抓取点为第一类抓取点。

在确认用户选择的抓取点为第一类抓取点时，根据确定的抓取点的类型对抓取点进行优化得到优化后的新抓取点的具体方法为：将抓取点的坐标轴与参考轴对齐得到优化后的新抓取点。

具体地，将抓取点的坐标轴与参考轴对齐得到优化后的新抓取点的具体方法为：

计算参考轴与机器人坐标系的Z轴的外积A。

计算抓取点Z轴和外积A的外积B，计算得到的外积B为新抓取点的X轴。

计算抓取点的Z轴和新抓取点的X轴的外积C，计算得到外积C为新抓取点的Y轴。

抓取点的Z轴为新抓取点的Z轴。将得到的新抓取点的X轴、Y轴和Z轴分别归一化，得到最终的新抓取点。

假设圆形、圆环等类圆中心抓取部位上选取的抓取点是可用抓取点，抓取点Z轴与圆平面法向量共线，此时可以采用将抓取点坐标轴与参考轴对齐的方式优化该抓取点。如图2所示，将抓取点X轴与参考轴进行对齐，虚线圆面与工作台平面平行，OR表示参考轴，ON是工作台法向量，OX是对齐后的新抓取点的X轴，OV是OR与ON的外积。对齐参考轴的新抓取点X轴OX可由抓取点Z轴OZ和OV外积得到，新抓取点Y轴可以由抓取点Z轴和对齐后新抓取点X轴的外积得到，新抓取点的Z轴和抓取点Z轴重合。最后将得到的新抓取点的3个坐标轴分别归一化，即可得到对齐后的新抓取点。

在本申请中，参考轴为机器人夹具工具坐标系的X轴或Y轴。具体由用户根据夹具相对工件的位置关系进行适配性选择。

另一种情况下，在用户输入的第二操作信息为旋转轴时，确定用户选择的抓取点为第二类抓取点。在确认用户选择的抓取点为第二类抓取点时，根据确定的抓取点的类型对抓取点进行优化得到优化后的新抓取点的具体方法为：将抓取点沿着旋转轴转动得到最高点并将最高点最为优化后的新抓取点。

具体地，将抓取点沿着旋转轴转动得到最高点并将最高点最为优化后的新抓取点的具体方法为：

计算抓取点的Z轴和新抓取点的Z轴的夹角。

计算抓取点绕旋转轴旋转角度θ得到的变换矩阵。

计算抓取点与变换矩阵的乘机得到新抓取点。

如图3所示，假设圆柱、圆锥或截头圆锥体侧面上选取的抓取点是可用抓取点。这里所有点的坐标位置均在机器人基坐标系下，AC是圆柱、圆锥或截头圆锥体中心轴，也是优化计算要用到的旋转轴。点M是最优(位置最高的)抓取点，是预设抓取点B绕AC生成的圆上一点。点O是圆心，AC过圆心且垂直圆面MBO。OG是过圆心的工作台法向量，和机器人基坐标系Z轴平行。D点在面MOG上，OD与OM共线。点A、点B，AC和OG都是已知的，前三者可以用抓取点设置软件获取，OG是机器人Z轴，夹角α是AC与OG夹角。接下来求圆心O，由向量垂直关系BO⊥AC，且点O在直线AC上，再根据AC与AO共线，可得圆心O坐标。然后计算向量OD，OD的模长可以任意，如图3，满足ODG构成直角三角形，OG已知，DG平行于AC，因此可以计算出向量OD，OM＝-OD，接着归一化OM。θ是OB与OM的夹角，抓取点B绕旋转轴AC顺时针或逆时针旋转θ，旋转轴已知，得到绕旋转轴旋转θ对应的三维变换矩阵，预设抓取点B与三维变换矩阵相乘即可获取最高点M，即最佳抓取点。

如图4所示，本发明还公开一种工件抓取点优化计算装置，包含：输出模块10、第一接收模块20、设置模块30、第二接收模块40、确定模块50和计算优化模块60。具体而言：

输出模块10，用于加载并输出夹具模型和待抓取的工件模型。

第一接收模块20，用于接收用户输入的第一操作信息。

设置模块30，用于根据用户输入的第一操作信息在工件模型上设置一个抓取点。

第二接收模块40，用于接收用户输入的第二操作信息。

确定模块50，用于根据用户输入的第二操作信息确定用户选择的抓取点的类型。

计算优化模块60，用于根据确定的抓取点的类型对抓取点进行优化得到优化后的新抓取点。

在用户输入的第二操作信息为参考轴时，确定模块50确定用户选择的抓取点为第一类抓取点。

计算优化模块60将抓取点的坐标轴与参考轴对齐得到优化后的新抓取点。

计算优化模块60具体地计算方法为：

计算参考轴与机器人坐标系的Z轴的外积A。

计算抓取点Z轴和外积A的外积B，计算得到的外积B为新抓取点的X轴。

计算抓取点的Z轴和新抓取点的X轴的外积C，计算得到外积C为新抓取点的Y轴。

抓取点的Z轴为新抓取点的Z轴。

将得到的新抓取点的X轴、Y轴和Z轴分别归一化，得到最终的新抓取点。

在用户输入的第二操作信息为旋转轴时，确定模块50确定用户选择的抓取点为第二类抓取点。

计算优化模块60将抓取点沿着旋转轴转动得到最高点并将最高点最为优化后的新抓取点。

计算优化模块60具体地计算方法为：

计算抓取点的Z轴和新抓取点的Z轴的夹角。

计算抓取点绕旋转轴旋转角度θ得到的变换矩阵。

计算抓取点与变换矩阵的乘积得到新抓取点。

如图5所示，本发明还公开了一种终端设备，该终端设备包括存储器401和处理器402，存储器401存储有计算机程序，处理器402执行计算机程序时实现上述实施例的工件抓取点优化计算方法的步骤。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的工件抓取点优化计算方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种工件抓取点优化计算方法，其特征在于，包含以下步骤：

加载并输出夹具模型和待抓取的工件模型；

接收用户输入的第一操作信息；

根据用户输入的所述第一操作信息在所述工件模型上设置一个抓取点；

接收用户输入的第二操作信息；

根据用户输入的所述第二操作信息确定用户选择的抓取点的类型；

根据确定的抓取点的类型对所述抓取点进行优化得到优化后的新抓取点。

2.根据权利要求1所述的工件抓取点优化计算方法，其特征在于，

用户输入的所述第二操作信息包含参考轴或旋转轴。

3.根据权利要求2所述的工件抓取点优化计算方法，其特征在于，

在用户输入的所述第二操作信息为参考轴时，确定用户选择的抓取点为第一类抓取点；

所述根据确定的抓取点的类型对所述抓取点进行优化得到优化后的新抓取点的具体方法为：

将所述抓取点的坐标轴与所述参考轴对齐得到优化后的新抓取点。

4.根据权利要求3所述的工件抓取点优化计算方法，其特征在于，

所述将所述抓取点的坐标轴与所述参考轴对齐得到优化后的新抓取点的具体方法为：

计算所述参考轴与机器人坐标系的Z轴的外积A；

计算所述抓取点Z轴和所述外积A的外积B，计算得到的所述外积B为所述新抓取点的X轴；

计算所述抓取点的Z轴和所述新抓取点的X轴的外积C，计算得到所述外积C为所述新抓取点的Y轴；

所述抓取点的Z轴为所述新抓取点的Z轴；

将得到的所述新抓取点的X轴、Y轴和Z轴分别归一化，得到最终的新抓取点。

5.根据权利要求3所述的工件抓取点优化计算方法，其特征在于，

所述参考轴为机器人夹具工具坐标系的X轴或Y轴。

6.根据权利要求2所述的工件抓取点优化计算方法，其特征在于，

在用户输入的所述第二操作信息为旋转轴时，确定用户选择的抓取点为第二类抓取点；

所述根据确定的抓取点的类型对所述抓取点进行优化得到优化后的新抓取点的具体方法为：

将所述抓取点沿着所述旋转轴转动得到最高点并将所述最高点最为优化后的新抓取点。

7.根据权利要求6所述的工件抓取点优化计算方法，其特征在于，

所述将所述抓取点沿着所述旋转轴转动得到最高点并将所述最高点最为优化后的新抓取点的具体方法为：

计算所述抓取点的Z轴和所述新抓取点的Z轴的夹角；

计算所述抓取点绕所述旋转轴旋转角度θ得到的变换矩阵；

计算所述抓取点与所述变换矩阵的乘机得到所述新抓取点。

8.一种工件抓取点优化计算装置，其特征在于，包含：

输出模块，用于加载并输出夹具模型和待抓取的工件模型；

第一接收模块，用于接收用户输入的第一操作信息；

设置模块，用于根据用户输入的所述第一操作信息在所述工件模型上设置一个抓取点；

第二接收模块，用于接收用户输入的第二操作信息；

确定模块，用于根据用户输入的所述第二操作信息确定用户选择的抓取点的类型；

计算优化模块，用于根据确定的抓取点的类型对所述抓取点进行优化得到优化后的新抓取点。

9.一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一所述工件抓取点优化计算方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一所述工件抓取点优化计算方法的步骤。

Images