CN109087343A - 一种工件抓取模板的生成方法及系统 - Google Patents

Abstract

本发明公开了一种工件抓取模板的生成方法及系统，其中，工件抓取模板的生成方法，包括：获取参考工件的三维模型；获取通过抓取点拖动示教得到的抓取参数,其中,所述抓取参数包括抓取位置、抓取姿态和抓取力；合并所述三维模型和所述抓取参数，生成工件抓取模板。本发明解决了抓取工件时导入模型工作量大及难于指定抓取点的问题，提高了机器人三维视觉抓取系统的部署速度。

Description

一种工件抓取模板的生成方法及系统

技术领域

本发明实施例涉及三维重建技术领域，尤其涉及一种工件抓取模板的生成方法及系统。

背景技术

由于人工智能技术的发展，对于机器人的自动化要求逐渐变高，这就要求机器人能够根据人的指令对物体进行自主的抓取以及搬运等操作。

目前，在流水线上利用机器人抓取工件时，都是通过摄像头获取工件图像数据，并通过图像处理等方式进行工件的定位及抓取。但是，现有技术的这种机器人视觉抓取方法具有若干缺点。具体地，该机器人视觉抓取方法需要很大的计算量，需要从照片信息计算出产品尺寸和产品位置。其次，由于计算过程复杂，从而导致操作的时效性较差。最后，无法对工件的抓取点进行定位，只能进行粗略地抓取，容易损伤工件，且抓取力参数不易设置，抓取力较小，工件容易滑落，抓取力较大，容易抓伤工件，导致抓取不稳定。

发明内容

有鉴于此，本发明的目的是提出一种工件抓取模板的生成方法及系统，以解决导入模型工作量大及难于指定抓取点的问题，提高机器人三维视觉抓取系统的部署速度。

为实现上述目的，本发明采用如下技术方案：

一方面，本发明实施例提供了一种工件抓取模板的生成方法，包括：

获取参考工件的三维模型；

获取通过抓取点拖动示教得到的抓取参数,其中,所述抓取参数包括抓取位置、抓取姿态和抓取力；

合并所述三维模型和所述抓取参数，生成工件抓取模板。

进一步地，所述获取参考工件的三维模型，包括：

通过机器人末端设置的深度相机获取在多个拍摄视角下拍摄的所述参考工件的三维图像；

在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的三维模型。

进一步地，所述在机器人基坐标系下对所述三维图像进行配准，包括：

基于所述深度相机在所述机器人基坐标系下的位姿，对所述三维图像进行粗配准；

基于最近点迭代算法对经粗配准后的三维图像进行精配准。

进一步地，所述获取参考工件的三维模型，包括：

通过机器人末端设置的深度相机获取在一个拍摄视角下拍摄的所述参考工件的三维图像；

根据所述三维图像识别出所述参考工件在机器人基坐标系下的工件位姿；

将与所述参考工件对应的参考三维模型与所述工件位姿进行匹配，得到所述参考工件在所述机器人基坐标系下的三维模型。

进一步地，还包括：

利用机器人力控拖动技术，通过拖动机器人末端调整所述深度相机的位姿，以改变所述深度相机的拍摄视角。

进一步地，通过抓取点拖动示教得到抓取参数，包括：

在利用机器人力控拖动技术拖动机器人末端至末端执行器抓取到所述参考工件时，获取所述机器人反馈的在所述机器人基坐标系下的所述抓取参数。

另一方面，本发明实施例提供了一种工件抓取模板的生成系统，包括机器人、参考工件和处理器；

所述机器人用于实现抓取点拖动示教，得到抓取参数,其中,所述抓取参数包括抓取位置、抓取姿态和抓取力；

所述处理器用于获取参考工件的三维模型，获取所述抓取参数，并合并所述三维模型和所述抓取参数，生成工件抓取模板。

进一步地，所述机器人包括拖动示教系统、机器人末端和设置于所述机器人末端的深度相机；

所述拖动示教系统用于实现利用机器人力控拖动技术，通过拖动机器人末端进行示教；

所述机器人末端用于通过力控拖动来调整所述深度相机的位姿以及末端执行器的抓取位置；

所述深度相机用于拍摄所述参考工件的三维图像。

进一步地，所述处理器包括第一三维图像重建模块或第二三维图像重建模块；

所述第一三维图像重建模块用于在获取在多个拍摄视角下拍摄的所述参考工件的三维图像时，在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的三维模型；

所述第二三维图像重建模块用于在获取在一个拍摄视角下拍摄的所述参考工件的三维图像时，根据所述三维图像识别出所述参考工件在机器人基坐标系下的工件位姿，将与所述参考工件对应的参考三维模型与所述工件位姿进行匹配，得到所述参考工件在所述机器人基坐标系下的三维模型。

进一步地，所述处理器还包括抓取参数获取模块；

所述抓取参数获取模块用于在利用机器人力控拖动技术拖动机器人末端至末端执行器抓取到所述参考工件时，获取所述机器人反馈的在所述机器人基坐标系下的所述抓取参数。

本发明的有益效果是：本发明提供的工件抓取模板的生成方法及系统，通过重建参考工件的三维模型，再获取通过抓取点拖动示教得到的抓取参数，最后合并三维模型和抓取参数，预先生成具有抓取位置、抓取姿态和抓取力信息的工件抓取模板。由此，在之后的正常流水线上抓取不具有抓取点标记的同种工件时，只需识别出工件的位姿，便可根据工件抓取模板确定工件抓取点的位置、工件抓取方式和工件抓取力度，实现对工件的精准且稳定可靠地抓取，解决了抓取工件时导入模型工作量大及难于指定抓取点的问题，提高了机器人三维视觉抓取系统的部署速度。

附图说明

下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：

图1是本发明实施例提供的工件抓取模板的生成方法的流程示意图；

图2是本发明实施例提供的工件抓取模板的生成方法的具体流程示意图；

图3是本发明实施例提供的另一种工件抓取模板的生成方法的具体流程示意图；

图4是本发明实施例提供的工件抓取模板的生成系统的结构示意图；

图5是本发明实施例提供的拖动机器人末端的示意图；

图6是图4中区域A的放大示意图；

图7是本发明实施例提供的拖动机器人末端吸取参考工件时的示意图；

图8是本发明实施例提供的拖动机器人末端夹取参考工件时的示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1是本发明实施例提供的工件抓取模板的生成方法的流程示意图。该方法适用于对可抓取的工件进行三维重建的情况，该方法可以由工件抓取模板的生成系统来执行。如图1所示，该工件抓取模板的生成方法包括：

步骤110、获取参考工件的三维模型。

其中，参考工件为一合格的工件样品。

本实施例可根据不同视角的多帧二维图像，利用缝合技术重建参考工件的三维模型，也可根据不同视角的多帧三维图像，通过对三维图像的配准重建参考工件的三维模型，还可通过识别一帧三维图形中的参考工件的位姿，将已有工件的三维模型与参考工件的位姿进行匹配，得到参考工件的三维模型。通过上述各方法，最终使得获取的参考工件的三维模型可体现参考工件的轮廓在基坐标下的位置。

步骤120、获取通过抓取点拖动示教得到的抓取参数。

其中,抓取参数包括抓取位置、抓取姿态和抓取力，抓取位置体现了抓取点的位置，抓取姿态体现了抓取工件的方式，如夹取或吸取。本实施例可使用具有拖动示教系统的机器人实现抓取点拖动示教，以得到抓取参数。其中，机器人可以为6自由度关节型机器人，该机器人由一系列连杆串联组成，连杆之间的机器人关节由驱动器驱动控制，关节的相对运动带动连杆运动，到达指定位置以实现所需位姿。本实施例可利用机器人力控拖动技术，通过拖动机器人末端来调整对参考工件的抓取位置。由此，仅需通过人眼观察便可精准地确定参考工件上可抓取点的位置，从而通过抓取点拖动示教准确地得到可抓取点的位置信息，无需在参考工件的表面贴附抓取点标记，进而避免了通过拍摄图像对可抓取点进行识别与定位，节省了图像拍摄、图像处理与图像识别的时间，提高了三维重建的效率。

步骤130、合并三维模型和抓取参数，生成工件抓取模板。

其中，三维模型和抓取参数均由在同一机器人基坐标系下的数据组成，由此，仅需对三维模型和抓取参数进行直接合并，得到在机器人基坐标系下的合并数据。

本实施例提供的工件抓取模板的生成方法，通过重建参考工件的三维模型，再获取通过抓取点拖动示教得到的抓取参数，最后合并三维模型和抓取参数，预先生成具有抓取位置、抓取姿态和抓取力信息的工件抓取模板。由此，在之后的正常流水线上抓取不具有抓取点标记的同种工件时，只需识别出工件的位姿，便可根据工件抓取模板确定工件抓取点的位置、工件抓取方式和工件抓取力度，实现对工件的精准且稳定可靠地抓取，解决了抓取工件时导入模型工作量大及难于指定抓取点的问题，提高了机器人三维视觉抓取系统的部署速度。

可选的，获取参考工件的三维模型，包括：

通过机器人末端设置的深度相机获取在多个拍摄视角下拍摄的参考工件的三维图像；

在机器人基坐标系下对三维图像进行配准，得到参考工件在机器人基坐标系下的三维模型。

可选的，通过抓取点拖动示教得到抓取参数，包括：

在利用机器人力控拖动技术拖动机器人末端至末端执行器抓取到参考工件时，获取机器人反馈的在机器人基坐标系下的抓取参数。

相应的，如图2所示，本实施例提供的工件抓取模板的生成方法具体可包括：

步骤210、通过机器人末端设置的深度相机获取在多个拍摄视角下拍摄的参考工件的三维图像。

本实施例可通过调整机器人的位姿，来改变深度相机对参考工件的拍摄视角，实现深度相机对参考工件的多角度拍摄，进而获取深度相机对参考工件多角度拍摄的三维图像。机器人上可设置有功能按钮，在深度相机调整到合适的拍摄视角后，单击功能按钮，深度相机拍摄单帧三维图像。

可选的，利用机器人力控拖动技术，通过拖动机器人末端调整深度相机的位姿，以改变深度相机的拍摄视角。

示例性的，机器人上可设置有拖动示教按钮，在拖动示教按钮被按下后，可启动机器人的拖动示教系统，此时，可利用机器人力控拖动技术来拖动机器人末端，改变机器人的位姿，进而改变机器人末端上深度相机的位姿。而且，在拖动示教过程中，可实时记录机器人的运动轨迹以及机器人的位姿。

本实施例通过拖动机器人末端调整机器人末端上深度相机的位姿，可以根据现场观察到的参考工件的位姿，很容易地将深度相机的拍摄视角调整到所需的角度，使拍摄到的三维图像包含全部可抓取点的位置。

步骤220、在机器人基坐标系下对三维图像进行配准，得到参考工件在机器人基坐标系下的三维模型。

示例性的，本实施例可将拍摄第一帧三维图像时深度相机的位置作为机器人基坐标系的原点，也可将机器人的底座作为机器人基坐标系的原点。例如，拍摄第一帧三维图像时深度相机的位置作为机器人基坐标系的原点，可先基于深度相机在机器人基坐标系下的位姿，对三维图像进行粗配准；再基于最近点迭代算法对经粗配准后的三维图像进行精配准。由于重建后的三维模型需要坐落在一个机器人基坐标系中，每一帧三维图像对应的点云模型是在深度相机的局部三维坐标系中，而不同的深度相机的位姿(即不同帧)对应着不同的局部三维坐标系，因此必须先在拖动示教过程中根据记录的机器人的位姿确定深度相机在机器人基坐标系下的位姿，再根据三维图像的深度信息换算拍摄图像中的参考工件在机器人基坐标系下的坐标。

步骤230、在利用机器人力控拖动技术拖动机器人末端至末端执行器抓取到参考工件时，获取机器人反馈的在机器人基坐标系下的抓取参数。

示例性的，抓取点拖动示教过程完成后，双击上述功能按钮，机器人记录抓取参数并将抓取参数反馈至后续用于合并三维模型和抓取参数的处理器。

步骤240、合并三维模型和抓取参数，生成工件抓取模板。

具体的，可将三维模型和抓取参数上传到服务器，通过服务器处理得到工件三维模型数据和抓取参数数据，以提高图像数据处理速度，同时降低处理器的负荷。对三维模型数据和抓取参数数据进行直接合并，得到在机器人基坐标系下的合并数据。之后，重设工件坐标系，将合并数据变换至工件坐标系中，得到工件抓取模板。示例性的，可以工件的几何中心或工件承载台上的一点为原点建立工件坐标系，利用三维平移变换和三维旋转变换将合并数据变换至工件坐标系中。

可选的，本发明实施例还提供了一种工件抓取模板的生成方法，该方法与图2所示方法不同的是，获取参考工件的三维模型，包括：

通过机器人末端设置的深度相机获取在一个拍摄视角下拍摄的参考工件的三维图像；

根据三维图像识别出参考工件在机器人基坐标系下的工件位姿；

将与参考工件对应的参考三维模型与工件位姿进行匹配，得到参考工件在机器人基坐标系下的三维模型。

相应的，如图3所示，本实施例提供的工件抓取模板的生成方法具体可包括：

步骤310、通过机器人末端设置的深度相机获取在一个拍摄视角下拍摄的参考工件的三维图像。

步骤320、根据三维图像识别出参考工件在机器人基坐标系下的工件位姿。

其中，工件位姿包括工件的位置坐标和姿态角度。本实施例可基于点云数据利用点对特征(Point Pair Features，PPF)和LineMod等算法计算工件的粗位姿，再利用迭代最近点算法计算工件精确位姿；也可基于点、线、面和曲率等几何特征来识别工件位姿。本发明对识别工件位姿的方法不作限制。

步骤330、将与参考工件对应的参考三维模型与工件位姿进行匹配，得到参考工件在机器人基坐标系下的三维模型。

其中，参考三维模型为一预先建立的与参考工件的三维特征完全相符的虚拟三维模型，可不具有在上述机器人基坐标系下三维坐标数据。本实施例将该参考三维模型置于上述机器人基坐标系中，与工件位姿进行匹配，当参考三维模型的位姿与工件位姿完全重叠时，即可得到参考工件在上述机器人基坐标系下的三维模型。

步骤340、在利用机器人力控拖动技术拖动机器人末端至末端执行器抓取到参考工件时，获取机器人反馈的在机器人基坐标系下的抓取参数。

步骤350、合并三维模型和抓取参数，生成工件抓取模板。

具体的，对三维模型数据和抓取参数数据进行直接合并，得到在机器人基坐标系下的合并数据。之后，重设工件坐标系，将合并数据变换至工件坐标系中，得到工件抓取模板。示例性的，可以工件的几何中心或工件承载台上的一点为原点建立工件坐标系，利用三维平移变换和三维旋转变换将合并数据变换至工件坐标系中。

另外，本发明实施例还提供了一种工件抓取模板的生成系统，图4是本发明实施例提供的工件抓取模板的生成系统的结构示意图。如图4所示，该工件抓取模板的生成系统包括机器人10、参考工件20和处理器(图中未示出，可集成于机器人10中，也可设置于一远程终端中)。

其中，机器人10用于实现抓取点拖动示教，得到抓取参数,其中,抓取参数包括抓取位置、抓取姿态和抓取力；

处理器用于获取参考工件20的三维模型，获取抓取参数，并合并三维模型和抓取参数，生成工件抓取模板。参考工件20可放置于工件承载台30上。

可选的，机器人10可包括拖动示教系统(图中未示出)、机器人末端11和设置于机器人末端11的深度相机12。

其中，拖动示教系统用于实现利用机器人力控拖动技术，通过拖动机器人末端11进行示教；

机器人末端11用于通过力控拖动来调整深度相机12的位姿(参考图4和图5)以及末端执行器15的抓取位置(参考图7)；

深度相机12用于拍摄参考工件20的三维图像。

可选的，如图6所示，机器人上还设置有拖动示教按钮13和功能按钮14；示例性的，拖动示教按钮13和功能按钮14设置于上述机器人末端11上。

相应的，机器人末端11具体用于在拖动示教按钮13被按下时，通过力控拖动来调整深度相机12的位姿以及末端执行器15的抓取位置；

深度相机12具体用于在单击功能按钮时，拍摄参考工件20的三维图像；

处理器具体用于在双击功能按钮时，获取机器人反馈的在机器人基坐标系下的抓取参数。

可选的，处理器包括第一三维图像重建模块或第二三维图像重建模块；

第一三维图像重建模块用于在获取在多个拍摄视角下拍摄的参考工件的三维图像时，在机器人基坐标系下对三维图像进行配准，得到参考工件在机器人基坐标系下的三维模型；

第二三维图像重建模块用于在获取在一个拍摄视角下拍摄的参考工件的三维图像时，根据三维图像识别出参考工件在机器人基坐标系下的工件位姿，将与参考工件对应的参考三维模型与工件位姿进行匹配，得到参考工件在机器人基坐标系下的三维模型。

可选的，处理器还包括抓取参数获取模块；

抓取参数获取模块用于在利用机器人力控拖动技术拖动机器人末端至末端执行器抓取到参考工件时，获取机器人反馈的在机器人基坐标系下的抓取参数。

通常，抓取操作可包括吸取操作和夹取操作，通过吸盘执行器来执行吸取操作，通过夹爪执行器来执行夹取操作。如图7所示，针对可吸取的参考工件20，机器人10的末端执行器为吸盘执行器15，通过抓取点拖动示教将吸盘执行器15的吸盘与参考工件20的可吸取点(无实体标记，可由操作人员直接识别)的上下对准，可实现对参考工件20的精准吸取；如图8所示，针对可夹取的参考工件20，机器人10的末端执行器为夹爪执行器16，通过抓取点拖动示教将夹爪执行器16的夹爪与参考工件20的可夹取点(无实体标记，可由操作人员直接识别)的水平向对准，可实现对参考工件20的精准夹取。

相应的，抓取姿态可包括吸取和夹取，在获取抓取参数后，在保存可抓取点坐标数据时可用不同的标志来区分不同类型的可抓取点。

本实施例提供的工件抓取模板的生成系统，与本发明任意实施例所提供的工件抓取模板的生成方法属于同一发明构思，可执行本发明任意实施例所提供的工件抓取模板的生成方法，具备相应的功能和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的工件抓取模板的生成方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整、相互结合和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种工件抓取模板的生成方法，其特征在于，包括：

获取参考工件的三维模型；

获取通过抓取点拖动示教得到的抓取参数,其中,所述抓取参数包括抓取位置、抓取姿态和抓取力；

合并所述三维模型和所述抓取参数，生成工件抓取模板。

2.根据权利要求1所述的工件抓取模板的生成方法，其特征在于，所述获取参考工件的三维模型，包括：

通过机器人末端设置的深度相机获取在多个拍摄视角下拍摄的所述参考工件的三维图像；

在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的三维模型。

3.根据权利要求2所述的工件抓取模板的生成方法，其特征在于，所述在机器人基坐标系下对所述三维图像进行配准，包括：

基于所述深度相机在所述机器人基坐标系下的位姿，对所述三维图像进行粗配准；

基于最近点迭代算法对经粗配准后的三维图像进行精配准。

4.根据权利要求1所述的工件抓取模板的生成方法，其特征在于，所述获取参考工件的三维模型，包括：

通过机器人末端设置的深度相机获取在一个拍摄视角下拍摄的所述参考工件的三维图像；

根据所述三维图像识别出所述参考工件在机器人基坐标系下的工件位姿；

将与所述参考工件对应的参考三维模型与所述工件位姿进行匹配，得到所述参考工件在所述机器人基坐标系下的三维模型。

5.根据权利要求2-4任一项所述的工件抓取模板的生成方法，其特征在于，还包括：

利用机器人力控拖动技术，通过拖动机器人末端调整所述深度相机的位姿，以改变所述深度相机的拍摄视角。

6.根据权利要求2-4任一项所述的工件抓取模板的生成方法，其特征在于，通过抓取点拖动示教得到抓取参数，包括：

在利用机器人力控拖动技术拖动机器人末端至末端执行器抓取到所述参考工件时，获取所述机器人反馈的在所述机器人基坐标系下的所述抓取参数。

7.一种工件抓取模板的生成系统，其特征在于，包括机器人、参考工件和处理器；

所述机器人用于实现抓取点拖动示教，得到抓取参数,其中,所述抓取参数包括抓取位置、抓取姿态和抓取力；

所述处理器用于获取参考工件的三维模型，获取所述抓取参数，并合并所述三维模型和所述抓取参数，生成工件抓取模板。

8.根据权利要求7所述的工件抓取模板的生成系统，其特征在于，所述机器人包括拖动示教系统、机器人末端和设置于所述机器人末端的深度相机；

所述拖动示教系统用于实现利用机器人力控拖动技术，通过拖动机器人末端进行示教；

所述机器人末端用于通过力控拖动来调整所述深度相机的位姿以及末端执行器的抓取位置；

所述深度相机用于拍摄所述参考工件的三维图像。

9.根据权利要求8所述的工件抓取模板的生成系统，其特征在于，所述处理器包括第一三维图像重建模块或第二三维图像重建模块；

所述第一三维图像重建模块用于在获取在多个拍摄视角下拍摄的所述参考工件的三维图像时，在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的三维模型；

所述第二三维图像重建模块用于在获取在一个拍摄视角下拍摄的所述参考工件的三维图像时，根据所述三维图像识别出所述参考工件在机器人基坐标系下的工件位姿，将与所述参考工件对应的参考三维模型与所述工件位姿进行匹配，得到所述参考工件在所述机器人基坐标系下的三维模型。

10.根据权利要求9所述的工件抓取模板的生成系统，其特征在于，所述处理器还包括抓取参数获取模块；

所述抓取参数获取模块用于在利用机器人力控拖动技术拖动机器人末端至末端执行器抓取到所述参考工件时，获取所述机器人反馈的在所述机器人基坐标系下的所述抓取参数。