CN111152229B - 3d机械视觉的机械手引导方法和装置 - Google Patents

Abstract

本申请提供了一种3D机械视觉的机械手引导方法和装置，运用于机械手控制技术领域，其方法包括：获取原始工件点云数据，并对所述原始工件进行位姿评估，以生成原始工件位姿数据；待原始工件位置变更后，获取变更后工件点云数据，并对所述变更后工件进行位姿评估，以生成变更后工件位姿数据；计算变更前后的姿态变化量，将其作用于在原始工件上规划的原工作轨迹获得粗定位轨迹，再在粗定位轨迹的每个轨迹点通过预设定的空间范围量与点位搜索算法，获得精确定位后的轨迹。以快速将机械手的工作轨迹导入至系统，兼容快速切换轨迹的工作模式，简化以机器视觉对机械手进行轨迹引导的流程以及减少切换不同作业轨迹的工作量。

Description

3D机械视觉的机械手引导方法和装置

技术领域

本申请涉及机械手控制技术领域，特别涉及为一种3D机械视觉的机械手引导方法和装置。

背景技术

在制造业，机械手常用于两种场景，一种为点对点作业，另一种为连续轨迹作业；在这两种场景中：

当涉及到被加工的物件本身存在不可忽略的轮廓差异时，通常会使用机器视觉技术加以补正，而在多数场合下，由于产能、空间干涉、设备预算等问题的存在，而导致无法通过多次使用单个相机或单次使用多个相机对工件的多个角度进行采集的方式获取到所有角度的轮廓信息，这就使得纯视觉轨迹规划变得不可能，必须使用人工示教或离线编程获得的作业轨迹。

因此，通常对机械手的视觉引导升级所采用的使用的以下方案：

1、人工示教+多点识别纠偏，如专利公告号CN209350242U公开的一种基于双目视觉的喷涂人工示教系统，符合以人为本和机器换人的概念，解决目前多轴机械手不适于复杂多变、频繁更换工件的缺陷；

2、离线编程+多点视觉纠偏，如专利公告号CN110102886A公开的一种基于三维模型数据驱动轨迹自动规划和视觉扫描纠偏、循环反馈的智能焊接系统，其实现无人工示教的自动离线编程和控制机器人实时运行的综合性金属件焊接系统，焊接机器人焊接精度高。

但上述的方案存在的问题是，在视觉纠偏部分往往采用模板法计算相关位置与标准模板的偏移量并输出给机械手，该过程中未充分利用已有的人工示教或离线编程所做出的机械手轨迹，需要人工对轨迹点编号并使之与视觉提供的偏移量一一对应，因而工程效率较低、智能程度不高。

当涉及到所需的加工轨迹极为复杂时，特别是对姿态要求比较高时，一般的离线轨迹编程软件以及使用机器视觉系统的轨迹编辑软件均存在难以快速获得需要的姿态，以及获取相关特征点技术难度高的问题。

综上所述，本发明旨在简化以机器视觉对机械手进行轨迹引导的流程以及减少切换不同作业轨迹的工作量。

发明内容

本申请旨在简化以机器视觉对机械手进行轨迹引导的流程以及减少切换不同作业轨迹的工作量，提供一种3D机械视觉的机械手引导方法和装置。

本申请为解决技术问题采用如下技术手段：

本申请提供一种3D机械视觉的机械手引导方法，包括：

获取原始工件点云数据，并对所述原始工件进行位姿评估，以生成原始工件位姿数据；

待原始工件位置变更后，获取变更后工件点云数据，并对所述变更后工件进行位姿评估，以生成变更后工件位姿数据；

根据所述原始工件位姿数据与变更后工件位姿数据，计算所述原始工件与变更后工件的变化量；

将所述原始工件与变更后工件的变化量作用到原始工作轨迹上进行粗定位，得到新工作轨迹；

对所述新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位。

进一步地，所述获取原始工件点云数据的步骤包括：

采用示教或离线编程获取所述原始工作轨迹。

进一步地，所述对所述新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位的步骤包括：

采用空间范围分割法对新工作轨迹中各个工件节点位置对应的预设空间范围的点云数据进行分割；

采用点位搜索算法对各节点处分割所得的点云数据进行搜索运算，以确定所述各个工件节点点位的精准点位数据。

进一步地，所述空间范围分割法包括且不限于阈值分割、几何分割、泛洪填充、KNN或聚类中任意一项。

进一步地，所述变化量至少包括描述工件位姿变化的刚体变换量，以及包括镜像、缩放的整体线性变换量。

本申请还提供一种3D机械视觉的机械手引导装置，包括：

原始获取单元，用于获取原始工件点云数据，并对所述原始工件进行位姿评估，以生成原始工件位姿数据；

变更获取单元，用于待原始工件位置变更后，获取变更后工件点云数据，并对所述变更后工件进行位姿评估，以生成变更后工件位姿数据；

变化量计算单元，用于根据所述原始工件位姿数据与变更后工件位姿数据，计算所述原始工件与变更后工件的变化量；

粗定位单元，用于将所述原始工件与变更后工件的变化量作用到原始工作轨迹上进行粗定位，得到新工作轨迹；

精定位单元，用于对所述新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位。

进一步地，所述原始获取单元包括：

获取模块，用于采用示教或离线编程获取所述原始工作轨迹。

进一步地，所述精定位单元包括：

分割模块，用于采用空间范围分割法根据所述预设空间范围对新工作轨迹中各个工件节点点位进行分割；

精准计算模块，用于采用点位搜索算法计算分割后的所述各个工件节点点位进行计算，以确定所述各个工件节点点位的精准点位数据。

本申请提供了3D机械视觉的机械手引导方法和装置，具有以下有益效果：

获取原始工件点云数据，并对所述原始工件进行位姿评估，以生成原始工件位姿数据；待原始工件位置变更后，获取变更后工件点云数据，并对所述变更后工件进行位姿评估，以生成变更后工件位姿数据；计算变更前后的姿态变化量，将其作用于在原始工件上规划的原工作轨迹获得粗定位轨迹，再在粗定位轨迹的每个轨迹点通过预设定的空间范围量与点位搜索算法，获得精确定位后的轨迹。以快速将机械手的工作轨迹导入至系统，兼容快速切换轨迹的工作模式，简化以机器视觉对机械手进行轨迹引导的流程以及减少切换不同作业轨迹的工作量。

附图说明

图1为本申请3D机械视觉的机械手引导方法一个实施例的流程图；

图2为本申请3D机械视觉的机械手引导装置一个实施例的结构框图。

本申请为目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下面将结合本申请的实施例中的附图，对本申请的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。

本说明示意一种3D机械视觉控制系统，该系统可用于控制机械手进行相应的轨迹工作，并执行3D机械视觉的机械手引导方法。

参考附图1，为本申请一实施例中的3D机械视觉的机械手引导方法的流程示意图；

一种3D机械视觉的机械手引导方法，包括：

S1，获取原始工件点云数据，并对原始工件进行位姿评估，以生成原始工件位姿数据；

具体的，控制系统将现有的机械手作业轨迹按时间先后顺序保存为一系列的状态数据，包括位姿、速度、发出的IO信号等，然后将其加载到预存储于控制系统中的指定软件中；

上述的原始工件点云数据为虚拟3D坐标中的X、Y、Z三轴的坐标点数据，获取到原始工件点云数据之后，控制系统对原始工件进行位姿评估，其中位姿指的是从某一原始状变换到新的状态的刚体变换，可分解为平移量和旋转量，描述该刚体变换的方式有多种，运算时主要使用矩阵、四元数，可按需选择计算方式，该位姿解算过程需要根据实际情况制定相应的位姿基准及解算方式，以生成原始位姿数据。

S2，待原始工件位置变更后，获取变更后工件点云数据，并对变更后工件进行位姿评估，以生成变更后工件位姿数据；

控制系统确定好原始位姿数据后，对工件进行轨迹变更的调整，此时控制系统获取变更后的工件点云数据，并对变更后的工件进行位姿评估，以生成变更后工件位姿数据；控制系统生成变更后工件位姿数据的方式参照上述生成原始位姿数据的方式，此说明中不做赘述。

S3，根据原始工件位姿数据与变更后工件位姿数据，计算原始工件与变更后工件的变化量；

由上述可知，原始工件位姿数据与变更后工件位置数据为虚拟3D坐标中的工件评估后的具体位姿数据，控制系统通过计算3D坐标中原始工件与变更后工件的位姿数值，能够得到变化量。

为解决控制系统对于工件位姿成像的不确定性问题，提出步骤S4与步骤S5。

S4，将原始工件与变更后工件的变化量作用到原始工作轨迹上进行粗定位，得到新工作轨迹；

首先，控制系统参照变化量对工件中的各个节点点位进行虚拟3D坐标上的粗定位，从而设定工件的新工作轨迹，以及工件中各个节点点位的变化工作轨迹，从而实现工件新工作轨迹的粗定位。

S5，对新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位。

控制系统实现工件的新工作轨迹的粗定位之后，对新工作轨迹上的每个节点进行预设空间范围的设定，即为对工件上每个节点在虚拟3D坐标上的预设空间范围的设定；控制系统设定好工件上每个节点在3D坐标上的空间范围后，控制系统对工件上的每个节点进行搜索算法的确定，该搜索算法依照工件的新工作轨迹在3D坐标上进行对应的建立，从而实现工件的每个节点的精准定位。

在另一个实施例中，若需要再次进行工件轨迹的重新调整，进行重新执行上述步骤的S2～S5，从而能够快速的切换不同作业的工作轨迹。

在一个实施例中，获取原始工件点云数据的步骤包括：

采用示教或离线编程获取原始工作轨迹。

若采用人工示教获取变化量获得机械手的工作轨迹，则获取原始工件点云数据的方法为扫描人工示教时使用的工件；

若采用离线编程获取变化量获得机械手的工作轨迹，则需从离线编程使用的模型上采样获得点云数据并转换到相机坐标系，作为原始工件点云数据。

上述获取原始工件点云数据的方式有两种，一种是使用激光扫描实体，一种是直接对三维模型进行采样处理。

在一个实施例中，对新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位的步骤包括：

采用空间范围分割法根据预设空间范围对新工作轨迹中各个工件节点点位进行分割；

采用点位搜索算法计算分割后的各个工件节点点位进行计算，以确定各个工件节点点位的精准点位数据。

上述的空间范围分割法包括但不限于阈值分割、几何分割、泛洪填充、KNN或聚类中任意一项；通过空间范围分割法对原始工件位姿数据与变更后工件位姿数据进行一一对应的分割对标，使得控制系统能够精准的确定变化量，进而精准的控制机械手的工作轨迹；具体的，工件的每个节点点位均具有一对应的3D坐标的预设空间范围，控制系统对工件的各个节点进行空间范围分割。

对于工件的各个节点的计算，采用点位搜索算法进行计算，因为工件的各个节点具有对应的空间范围，因此采用对应的搜索算法计算对应空间范围的工件节点，实现精准点位的计算；由上述可知，搜索算法为依照工件的各个节点的新工作轨迹在3D坐标上进行对应的建立对应多个。

上述变化量至少包括描述工件位姿变化的刚体变换量，以及包括镜像、缩放等的整体线性变换量。

参考附图2，为本申请提出的一种3D机械视觉的机械手引导装置的结构框图；

一种3D机械视觉的机械手引导装置，包括：

原始获取单元1，用于获取原始工件点云数据，并对原始工件进行位姿评估，以生成原始工件位姿数据；

变更获取单元2，用于待原始工件位置变更后，获取变更后工件点云数据，并对变更后工件进行位姿评估，以生成变更后工件位姿数据；

变化量计算单元3，用于根据原始工件位姿数据与变更后工件位姿数据，计算原始工件与变更后工件的变化量；

粗定位单元4，用于将原始工件与变更后工件的变化量作用到原始工作轨迹上进行粗定位，得到新工作轨迹；

精定位单元5，用于对新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位。

在一个实施例中，原始获取单元1包括：

获取模块，用于采用示教或离线编程获取原始工作轨迹。

具体的，原始获取单元1包括获取原始工作轨迹的获取模块和获取原始工件点云数据的原始点云数据获取模块。

该原始点云数据获取模块获取原始工件点云数据的方式有两种，一种是使用激光扫描实体，另一种是直接对三维模型进行采样处理。

在一个实施例中，精定位单元5包括：

分割模块，用于采用空间范围分割法根据预设空间范围对新工作轨迹中各个工件节点点位进行分割；

精准计算模块，用于采用点位搜索算法计算分割后的各个工件节点点位进行计算，以确定各个工件节点点位的精准点位数据。

综上所述，获取原始工件点云数据，并对所述原始工件进行位姿评估，以生成原始工件位姿数据；待原始工件位置变更后，获取变更后工件点云数据，并对所述变更后工件进行位姿评估，以生成变更后工件位姿数据；计算变更前后的姿态变化量，将其作用于在原始工件上规划的原工作轨迹获得粗定位轨迹，再在粗定位轨迹的每个轨迹点通过预设定的空间范围量与点位搜索算法，获得精确定位后的轨迹。以快速将机械手的工作轨迹导入至系统，兼容快速切换轨迹的工作模式，简化以机器视觉对机械手进行轨迹引导的流程以及减少切换不同作业轨迹的工作量。

尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种3D机械视觉的机械手引导方法，其特征在于，包括：

获取原始工件点云数据，并对所述原始工件进行位姿评估，以生成原始工件位姿数据；

待原始工件位置变更后，获取变更后工件点云数据，并对所述变更后工件进行位姿评估，以生成变更后工件位姿数据；

根据所述原始工件位姿数据与变更后工件位姿数据，计算所述原始工件与变更后工件的变化量；

将所述原始工件与变更后工件的变化量作用到原始工作轨迹上进行粗定位，得到新工作轨迹；

对所述新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位；所述对所述新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位的步骤包括：

采用空间范围分割法对新工作轨迹中各个工件节点位置对应的预设空间范围的点云数据进行分割；

采用点位搜索算法对各节点处分割所得的点云数据进行搜索运算，以确定所述各个工件节点点位的精准点位数据。

2.根据权利要求1所述的3D机械视觉的机械手引导方法，其特征在于，所述获取原始工件点云数据的步骤包括：

采用示教或离线编程获取所述原始工作轨迹。

3.根据权利要求1所述的3D机械视觉的机械手引导方法，其特征在于，所述空间范围分割法包括且不限于阈值分割、几何分割、泛洪填充、KNN或聚类中任意一项。

4.根据权利要求1至3任一项所述的3D机械视觉的机械手引导方法，其特征在于，所述变化量至少包括描述工件位姿变化的刚体变换量，以及包括镜像、缩放的整体线性变换量。

5.一种3D机械视觉的机械手引导装置，其特征在于，包括：

原始获取单元，用于获取原始工件点云数据，并对所述原始工件进行位姿评估，以生成原始工件位姿数据；

变更获取单元，用于待原始工件位置变更后，获取变更后工件点云数据，并对所述变更后工件进行位姿评估，以生成变更后工件位姿数据；

变化量计算单元，用于根据所述原始工件位姿数据与变更后工件位姿数据，计算所述原始工件与变更后工件的变化量；

粗定位单元，用于将所述原始工件与变更后工件的变化量作用到原始工作轨迹上进行粗定位，得到新工作轨迹；

精定位单元，用于对所述新工作轨迹上的每个节点设定预设空间范围以及对应的搜索算法，以进行节点的精定位；所述精定位单元包括：

分割模块，用于采用空间范围分割法根据所述预设空间范围对新工作轨迹中各个工件节点点位进行分割；

精准计算模块，用于采用点位搜索算法计算分割后的所述各个工件节点点位进行计算，以确定所述各个工件节点点位的精准点位数据。

6.根据权利要求5所述的3D机械视觉的机械手引导装置，其特征在于，所述原始获取单元包括：

获取模块，用于采用示教或离线编程获取所述原始工作轨迹。