CN116276938A - 基于多零位视觉引导的机械臂定位误差补偿方法及装置 - Google Patents

Abstract

本发明公开了一种基于多零位视觉引导的机械臂定位误差补偿方法及装置，该方法包括：根据生成的零位锚点分布图，获取多组零位锚点对应的零件图像，并进行特征提取；获取每组零位锚点对应的机械臂末端坐标系与基坐标系的转换关系，以及示教抓取时机械臂末端坐标系与基坐标系的转换关系，并通过优化求解获得多组零位锚点对应的误差修正矩阵；获取待引导零件图像，根据图像中提取的特征点分布信息进行零位锚点匹配，得到最优的零位锚点序号，并选取相应的误差修正矩阵评估机械臂实际引导参数，以控制机械臂执行零件抓取操作。本发明能够补偿二维相机定位误差，提高了大尺寸零件的三维定位引导精度，并且减少了视觉系统定位时间，提高了引导效率。

Description

基于多零位视觉引导的机械臂定位误差补偿方法及装置

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种基于多零位视觉引导的机械臂定位误差补偿方法及装置。

背景技术

机器视觉技术目前在工业生产领域广泛应用，其具体生产作业主要有零件或者材料的缺陷检测、零件尺寸测量、印刷电路板线路检测、汽车生产过程中的焊接、涂胶以及零件定位引导等。其中，零件定位引导是指在汽车工业的生产装配过程中，通过将机器人与视觉技术相结合，完成对流水线上零件的精准定位引导以及后续抓取安装等操作，从而代替了传统人工搬运或者机器人手动示教的抓取方式，很大程度提高了工业自动化及智能化水平。基于视觉的三维定位引导方法核心在于分析相机坐标系和零件坐标系的空间位置关系，进而实现机械臂对零件空间位置的感知。

针对现有视觉系统的感知原理，定位引导系统的视觉部分可分为：单目视觉定位、双目视觉定位、线激光三维定位以及结构光三维定位。其中双目视觉或者三维相机都是通过直接获取零件空间三维信息实现定位，但标定流程复杂且相机成本高；而单目视觉是通过联立相机采集图像中提取的二维特征点与空间三维特征点，间接实现对零件的空间位置感知，也即基于单目视觉的三维定位属于PnP(Perspective-n-Point)问题，具体的，当已知零件的三维数模信息，提前选取好三维特征点，将图像中提取出的二维特征点与数模中的三维特征点通过PnP模型进行联立，对其中的外参数部分优化求解，即可实现零件相当于相机空间位置的求解。虽然单目相机标定流程简单以及成本低廉，但这种间接定位方式的误差明显高于直接定位的方式，误差主要产生于相机内参数的标定过程、相机与机械臂的手眼标定过程、以及相机镜头非理想畸变引入的误差，尤其是在待引导的零件尺寸较大时，视觉测量中测量范围与测量精度往往成反比，最终导致定位引导环节出现较大误差。

基于此，现有视觉系统配合机器臂的定位引导方法多使用三维相机，通过直接扫描物体来获取表面空间点云信息的方式实现空间定位感知，设备成本及后期维护成本较高，前期标定流程复杂，对工业生产制造过程中大批量的适配维护困难；而使用低成本的二维相机配合PnP模型，由于二维相机的精度以及各级系统误差累计的原因，在零件空间尺寸较大时定位精度难满足要求，导致定位引导失效。而为了提高二维相机定位方式的定位精度，通常需要多阶段引导实现误差的逐级消除，并进行多次引导定位，但是定位时间长，并且引导效率低。

发明内容

基于此，本发明实施例提供一种基于多零位视觉引导的机械臂定位误差补偿方法及装置，以解决背景技术中的至少一个技术问题。

第一方面，本发明实施例提供了一种基于多零位视觉引导的机械臂定位误差补偿方法，包括：

生成零位锚点分布图；

根据所述零位锚点分布图，获取多组零位锚点对应的零件图像，并进行特征提取；

获取每组所述零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系，以及示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，并通过优化求解获得多组所述零位锚点对应的误差修正矩阵；

获取待引导零件图像，根据图像中提取的特征点分布信息进行零位锚点匹配，得到最优的零位锚点序号，并选取相应的所述误差修正矩阵评估机械臂实际引导参数；

根据所述机械臂实际引导参数，控制机械臂执行零件抓取操作。

第二方面，本发明实施例还提供一种基于多零位视觉引导的机械臂定位误差补偿装置，包括：

分布图生成模块，用于生成零位锚点分布图；

图像处理模块，用于根据所述零位锚点分布图，获取多组零位锚点对应的零件图像，并进行特征提取；

零位锚点处理模块，用于获取每组所述零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系，以及示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，并通过优化求解获得多组所述零位锚点对应的误差修正矩阵；

误差补偿模块，用于获取待引导零件图像，根据图像中提取的特征点分布信息进行零位锚点匹配，得到最优的零位锚点序号，并选取相应的所述误差修正矩阵评估机械臂实际引导参数；

机械臂控制模块，用于根据所述机械臂实际引导参数，控制机械臂执行零件抓取操作。

本发明实施例提供的基于多零位视觉引导的机械臂定位误差补偿方法及装置，可以具有以下有益效果：

1)本发明能够补偿基于二维相机的定位引导方式的定位误差，可以保证在不增加转换关系计算量的基础上，提高空间尺寸较大零件的三维定位引导精度；

2)本发明在零位锚点标定过程中根据零位锚点分布图获取零位锚点标定参数和示教抓取引导参数，并进行相应处理得到误差修正矩阵，在实际定位引导过程中根据零位锚点匹配结果，即可完成机械臂实际引导参数评估以及定位引导，无需在实际定位引导过程中进行多阶段定位引导或者相机多个位置拍照，减少了视觉系统定位时间，提高了引导效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一实施例所提供的基于多零位视觉引导的机械臂定位误差补偿方法的流程图；

图2示出了本发明一实施例所提供的的零位锚点分布图；

图3A示出了本发明一实施例所提供的在零位锚点标定过程中拍照位置处各坐标系关系的示意图；

图3B示出了本发明一实施例所提供的在零位锚点标定过程中拍照位置处各坐标系关系的简图；

图4A示出了本发明一实施例所提供的在零位锚点标定过程中示教抓取时各坐标系关系的示意图；

图4B示出了本发明一实施例所提供的在零位锚点标定过程中示教抓取时各坐标系关系的简图；

图5示出了本发明一实施例所提供的基于多零位视觉引导的机械臂定位误差补偿装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

实施例1

如图1所示，本发明实施例所提供的一种基于多零位视觉引导的机械臂定位误差补偿方法的流程图，该方法包括以下步骤：

S10，生成零位锚点分布图。

在步骤S10中，所述零位锚点分布图包含9组零位锚点和对应的序号，且相邻两个零位锚点在水平方向(即与机械臂基坐标系中x轴平行的方向)或竖直方向(即与机械臂基坐标系中y轴平行的方向)的间距为50mm，参考图2所示的零位锚点分布图。在图2中，1号零位锚点对应机械臂末端相机的最佳拍照位置，2号至9号零位锚点对应1号零位锚点周围的拍照位置，且周围的拍照位置只需满足覆盖零件的特征点即可。

作为优选，所述步骤S10可以包括以下步骤：

S101，在零件处于零位时，控制机械臂末端相机移动至最佳拍照位置，并将所述最佳拍照位置确定为中心零位锚点；

S102，根据预设间距，控制所述机械臂末端相机分别沿机械臂基坐标系的x轴及y轴移动至所述中心零位锚点周围的8个拍照位置，并将周围的8个拍照位置确定为邻接零位锚点；

S103，对1组所述中心零位锚点和8组所述邻接零位锚点进行编号后，生成3*3的零位锚点分布图。

更具体的，首先将零件摆放在最佳抓取位置，将最佳抓取位置作为零件的零位，并控制安装在机械臂末端的二维相机移动至最佳拍照位置，将最佳拍照位置作为中心零位锚点，此时，在中心零位锚点所对应的拍照位置处，机械臂末端坐标系相较于机械臂基坐标系的三维空间转换关系可以为

然后控制二维相机分别沿机械臂基坐标系的x轴及y轴移动至中心零位锚点周围(包含上、下、左、右、左上、左下、右上和右下方位)的8个拍照位置，将周围的8个拍照位置作为邻接零位锚点，此时，1组中心零位锚点和8组邻接零位锚点在二维空间中呈3*3的分布姿态，并且8组邻接零位锚点尽量布置在能够包含零件所有特征点的极限位置处。最后，按照预设编号方式对9组零位锚点进行编号，以得到3*3的零位锚点分布图。

可选地，预设编号方式可以是基于机械臂末端相机的移动方向，从中心零位锚点开始，将9组零位锚点编号为1号至9号零位锚点。

S20，根据所述零位锚点分布图，获取多组零位锚点对应的零件图像，并进行特征提取。

在步骤S20中，在对多组零位锚点的图像进行采集之前，可以对零位锚点分布图进行校准。更具体的，首先对位于零位的零件进行特征点标记，并基于零位锚点分布图中的零位锚点序号，控制安装在机械臂末端的二维相机依次移动至每个零位锚点，对标记有特征点的零件进行拍照，以获得9组零位锚点的图像；然后，检测每组零位锚点的图像是否均包含标记的所有特征点，若否，则调整未包含所有特征点的零位锚点的坐标位置，并获得校准后的零位锚点分布图。需要说明的是，对于校准后的零位锚点分布图，相邻两个零位锚点之间的间距是非固定的。

作为优选，所述S20包括以下步骤：

S201，在所述机械臂末端相机移动到各组零位锚点时，对处于零位的零件进行拍照，获取对应的零件图像；

S202，对各组所述零件图像进行特征提取，得到各组所述零件图像的特征点分布信息。

更具体的，首先根据零位锚点分布图中的零位锚点序号，控制安装在机械臂末端的二维相机分别移动到对应的零位锚点，对处于零位的零件进行拍照，以获得9组零位锚点对应的零件图像。然后，通过常用的特征提取算法提取各组零件图像的特征点分布信息，该特征点分布信息可以表示为{(x_ij,y_ij)}，其中(x_ij,y_ij)表示i号零位锚点对应的零件图像中第j个像素点的特征，且i＝1,2,...,9，j＝1,2,...,n，n为图像像素点的数量。

可选地，特征提取算法可以是基于神经网络的特征提取模型，也可以是HOG(Histogram of Oriented Gradient，方向梯度直方图)特征提取算法、LBP(Local BinaryPattern，局部二值模式)特征提取算法等。

S30，获取每组所述零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系，以及示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，并通过优化求解获得多组所述零位锚点对应的误差修正矩阵。

在步骤S30中，在机械臂末端相机移动到每组零位锚点所对应的拍照位置时，获取机械臂末端坐标系与机械臂基坐标系的转换关系

参考图3所示的在零位锚点标定过程中拍照位置处各坐标系关系，图3中，base为机械臂基坐标系，end为机械臂末端坐标系，body为零件坐标系。

其次，通过机械臂示教引导的方式将机械臂移动至零件的抓取点，也即控制安装在机械臂末端上的定位销进行移动，使定位销精确插入零件的定位孔中，此时，获取机械臂末端坐标系与机械臂基坐标系的转换关系

参考图4所示的在零位锚点标定过程中示教抓取时各坐标系关系。

最后，将9组零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系

作为零位锚点标定参数，将示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系/>

作为机械臂示教引导参数，并通过链式法则反向评估出在机械臂末端相机移动至对应于9组零位锚点的拍照位置时，机械臂末端坐标系与零件坐标系的转换关系

并作为误差修正矩阵。

可理解的，本实施例通过上述步骤S10至步骤S30，将完成零位锚点标定过程，此时，可以保存中心零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系

9组零位锚点对应的误差修正矩阵/>

以及9组零位锚点对应的零件图像中提取的特征点分布信息{(x_ij,y_ij)}。

需要说明的是，上述坐标系之间的转换关系均为三维空间转换关系。

作为优选，所述步骤S30中通过优化求解得到多组零位锚点对应的误差修正矩阵，包括以下步骤：

S301，获取每组所述零位锚点对应的手眼标定参数；

S302，通过PnP算法获取每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系；

S303，根据每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系、手眼标定参数，以及机械臂末端坐标系与机械臂基坐标系的转换关系，评估机械臂基坐标系与零件坐标系的转换关系；

S304，根据所述机械臂基坐标系与零件坐标系的转换关系，以及所述示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，反向评估每组所述零位锚点对应的机械臂末端坐标系与零件坐标系的转换关系，以得到误差修正矩阵。

更具体的，在零位锚点标定过程之前，预先对相机内参数、相机与机械臂末端的手眼标定参数

相机之间的空间位置信息/>

进行标定，并将标定好的数据进行存储。

而在零位锚点标定过程中，首先通过PnP算法求解获得相机坐标系与零件坐标系的转换关系。更具体的，先获取零件的三维数模信息，并从三维数模信息选取三维特征点，再将从各组零位锚点的零件图像中提取的二维特征点与三维特征点通过PnP算法进行联立，对外参数部分进行优化求解，从而实现零件与相机的空间关系计算。

然后，根据零位锚点标定参数、手眼标定参数和PnP算法求解结果之间的串联关系，计算机械臂基坐标系与零件坐标系的转换关系。可选地，所述机械臂基坐标系与零件坐标系的转换关系可以表示为：

上式中，

为所述机械臂基坐标系与零件坐标系的转换关系；i为零位锚点的序号，且i＝1,2,…,9；/>

为每组所述零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系；/>

为所述手眼标定参数；/>

为每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系。

最后，基于机械臂示教引导参数的表达式，采用反向评估方式获得误差修正矩阵评估模型，并将9组零位锚点对应的相机坐标系与零件坐标系的转换关系和机械臂示教引导参数输入至误差修正矩阵评估模型，得到9组零位锚点对应的误差修正矩阵。可选地，机械臂示教引导参数的表达式为：

上式中，

为示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，即机械臂示教引导参数；/>

为机械臂基坐标系与零件坐标系的转换关系；/>

为各组零位锚点对应的机械臂末端坐标系与零件坐标系的转换关系，即误差修正矩阵。

相应地，误差修正矩阵评估模型可以表示为：

可理解的，本实施例根据零件处于零位时的零位锚点标定参数、机械臂示教引导参数和PnP算法求解结果，反向评估9组零位锚点对应的机械臂末端坐标系与零件坐标系的转换关系。相较于根据零件的三维数模和引导机构的三维数模获取补偿矩阵的方式，可以提高定位引导的精度，也即在实际引导过程中，特征点分布越接近9组零位锚点的特征点分布时，定位引导精度越高。

S40，获取待引导零件图像，根据图像中提取的特征点分布信息进行零位锚点匹配，得到最优的零位锚点序号，并选取相应的所述误差修正矩阵评估机械臂实际引导参数。

在步骤S40中，对于位置未知的待引导零件，通过安装在机械臂末端的二维相机移动进行拍照，并根据待引导零件图像中提取的特征点分布信息，通过PnP算法求解出在零位处于未知位置时零件坐标系与相机坐标系的转换关系；同时根据待引导零件图像和9组零位锚点对应零件图像的特征点分布信息，采用K近邻算法匹配出最优的零位锚点序号，根据最优的零位锚点序号选取相应的误差修正矩阵

进行机械臂末端抓取位置与机械臂基坐标系的转换关系/>

评估，得到机械臂实际引导参数。

作为优选，所述步骤S40包括以下步骤：

S401，控制机械臂末端相机移动至零位锚点分布图的中心零位锚点，并对位置未知的待引导零件进行拍照，获得待引导零件图像；

S402，从所述待引导零件图像中提取特征点分布信息，并获取所述中心零位锚点对应的相机坐标系与零件坐标系的转换关系；

S403，将所述待引导零件图像的特征点分布信息与各组所述零位锚点对应的特征点分布信息进行零位锚点匹配，得到零位锚点匹配结果；所述零位锚点匹配结果为特征距离最小的零位锚点序号；

S404，根据所述零位锚点匹配结果选取误差修正矩阵，结合所述中心零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系、手眼标定参数、相机坐标系与零件坐标系的转换关系，评估实际抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，以得到机械臂实际引导参数。

更具体的，对于位置未知的待引导零件，通过安装在机械臂末端的二维相机移动到中心零位锚点(即1号零位锚点)进行拍照，获得待引导零件图像，并通过预设的特征提取算法提取待引导零件图像的特征点分布信息{(x_dj,y_dj)}，其中，(x_dj,y_dj)为待引导零件图像d的第j个像素点的特征，同时通过PnP算法求解出在零件处于未知位置时零件坐标系与相机坐标系的转换关系

然后，根据待引导零件图像提取的特征点分布信息{(x_dj,y_dj)}与9组零位锚点对应零件图像的特征点分布信息{(x_ij,y_ij)}，通过特征距离度量函数，获得两两图像之间的特征距离，并通过K近邻算法匹配出特征距离最小的零位锚点编号，即最优的零位锚点编号。可选地，特征距离度量函数可以表示为：

上式中，D为待引导零件图像d与i号零位锚点对应零件图像之间的特征距离；{(x_dj,y_dj)}为所述待引导零件图像d中提取的特征点像素坐标；(x_ij,y_ij)为i号零位锚点对应零件图像中提取的特征点像素坐标。

相应地，K近邻算法可以表示为：

上式中，argmin(·)为使特征距离度量函数取最小值时的变量函数。

最后，根据匹配到的最优的零位锚点编号k，从9组零位锚点的误差修正矩阵中选取相应的误差修正矩阵

输入预设的引导参数评估模型，获得机械臂实际引导参数。可选地，引导参数评估模型可以表示为：

上式中，

为实际抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，即机械臂实际引导参数；/>

为中心零位锚点对应的相机坐标系与零件坐标系的转换关系；/>

为手眼标定参数；/>

为中心零位锚点对应的相机坐标系与零件坐标系的转换关系；/>

为根据最优的零位锚点序号k选取的误差修正矩阵。

S50，根据所述机械臂实际引导参数，控制机械臂执行零件抓取操作。

可理解的，本实施例通过上述步骤S40至步骤S50，将完成实际定位引导过程。

综上所述，本实施例提供的基于多零位视觉引导的机械臂定位误差补偿方法，具有以下有益效果：

1)本实施例提供的基于多零位视觉引导的机械臂定位误差补偿方法，能够补偿基于二维相机的定位引导方式的定位误差，可以保证在不增加转换关系计算量的基础上，提高空间尺寸较大零件的三维定位引导精度；此外，相较于基于三维相机的定位引导方式，可以降低视觉系统的布置和维护成本。

2)本实施例在零位锚点标定过程中根据零位锚点分布图获取零位锚点标定参数和示教抓取引导参数，并进行相应处理得到误差修正矩阵，在实际定位引导过程中根据零位锚点匹配结果，即可完成机械臂实际引导参数评估以及定位引导，无需在实际定位引导过程中进行多阶段定位引导或者相机多个位置拍照，减少了视觉系统定位时间，提高了引导效率。

实施例2

如图5所示，本发明实施例还提供一种基于多零位视觉引导的机械臂定位误差补偿装置，包括：

分布图生成模块110，用于生成零位锚点分布图；

图像处理模块120，用于根据所述零位锚点分布图，获取多组零位锚点对应的零件图像，并进行特征提取；

零位锚点处理模块130，用于获取每组所述零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系，以及示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，并通过优化求解获得多组所述零位锚点对应的误差修正矩阵；

误差补偿模块140，用于获取待引导零件图像，根据图像中提取的特征点分布信息进行零位锚点匹配，得到最优的零位锚点序号，并选取相应的所述误差修正矩阵评估机械臂实际引导参数；

机械臂控制模块150，用于根据所述机械臂实际引导参数，控制机械臂执行零件抓取操作。

在一些可选实施例中，所述分布图生成模块110包括：

中心锚点确定子模块，用于在零件处于零位时，控制机械臂末端相机移动至最佳拍照位置，并将所述最佳拍照位置确定为中心零位锚点；

邻接锚点确定子模块，用于根据预设间距，控制所述机械臂末端相机分别沿机械臂基坐标系的x轴及y轴移动至所述中心零位锚点周围的8个拍照位置，并将周围的8个拍照位置确定为邻接零位锚点；

锚点分布图生成子模块，用于对1组所述中心零位锚点和8组所述邻接零位锚点进行编号后，生成3*3的零位锚点分布图。

在一些可选实施例中，所述图像处理模块120包括：

图像采集子模块，用于在所述机械臂末端相机移动到各组零位锚点时，对处于零位的零件进行拍照，获取对应的零件图像；

特征提取子模块，用于对各组所述零件图像进行特征提取，得到各组所述零件图像的特征点分布信息。

在一些可选实施例中，所述零位锚点处理模块130包括：

手眼标定参数处理子模块，用于获取每组所述零位锚点对应的手眼标定参数；

第一空间关系处理子模块，用于通过PnP算法获取每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系；

第二空间关系处理子模块，根据每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系、手眼标定参数，以及机械臂末端坐标系与机械臂基坐标系的转换关系，评估机械臂基坐标系与零件坐标系的转换关系；

误差修正矩阵评估子模块，用于根据所述机械臂基坐标系与零件坐标系的转换关系，以及所述示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，反向评估每组所述零位锚点对应的机械臂末端坐标系与零件坐标系的转换关系，以得到误差修正矩阵。

在一些可选实施例中，所述误差补偿模块140包括：

图像采集子模块，用于控制机械臂末端相机移动至零位锚点分布图的中心零位锚点，并对位置未知的待引导零件进行拍照，获得待引导零件图像；

信息处理子模块，用于从所述待引导零件图像中提取特征点分布信息，并获取所述中心零位锚点对应的相机坐标系与零件坐标系的转换关系；

零位锚点匹配子模块，用于将所述待引导零件图像的特征点分布信息与各组所述零位锚点对应的特征点分布信息进行零位锚点匹配，得到零位锚点匹配结果；所述零位锚点匹配结果为特征距离最小的零位锚点序号；

引导参数评估子模块，用于根据所述零位锚点匹配结果选取误差修正矩阵，结合所述中心零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系、手眼标定参数、相机坐标系与零件坐标系的转换关系，评估实际抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，以得到机械臂实际引导参数。

可以理解的是，本实施例提供的基于多零位视觉引导的机械臂定位误差补偿装置用于实现上述实施例的基于多零位视觉引导的机械臂定位误差补偿方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

实施例3

本发明实施例还提供了一种机械臂定位系统，包括机械臂、安装在所述机械臂末端的二维相机以及上述任一实施例中的基于多零位视觉引导的机械臂定位误差补偿装置。

可以理解的是，本实施例提供的机械臂定位系统，通过基于多零位视觉引导的机械臂定位误差补偿装置能够实现机械臂精准定位。

需要说明的是，在本发明的描述中，参考术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于多零位视觉引导的机械臂定位误差补偿方法，其特征在于，包括：

生成零位锚点分布图；

根据所述零位锚点分布图，获取多组零位锚点对应的零件图像，并进行特征提取；

获取每组所述零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系，以及示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，并通过优化求解获得多组所述零位锚点对应的误差修正矩阵；

获取待引导零件图像，根据图像中提取的特征点分布信息进行零位锚点匹配，得到最优的零位锚点序号，并选取相应的所述误差修正矩阵评估机械臂实际引导参数；

根据所述机械臂实际引导参数，控制机械臂执行零件抓取操作。

2.根据权利要求1所述的基于多零位视觉引导的机械臂定位误差补偿方法，其特征在于，所述获取零位锚点分布图，包括：

在零件处于零位时，控制机械臂末端相机移动至最佳拍照位置，并将所述最佳拍照位置确定为中心零位锚点；

根据预设间距，控制所述机械臂末端相机分别沿机械臂基坐标系的x轴及y轴移动至所述中心零位锚点周围的8个拍照位置，并将周围的8个拍照位置确定为邻接零位锚点；

对1组所述中心零位锚点和8组所述邻接零位锚点进行编号后，生成3*3的零位锚点分布图。

3.根据权利要求1所述的基于多零位视觉引导的机械臂定位误差补偿方法，其特征在于，所述通过优化求解获得多组所述零位锚点对应的误差修正矩阵，包括：

获取每组所述零位锚点对应的手眼标定参数；

通过PnP算法获取每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系；

根据每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系、手眼标定参数，以及机械臂末端坐标系与机械臂基坐标系的转换关系，评估机械臂基坐标系与零件坐标系的转换关系；

根据所述机械臂基坐标系与零件坐标系的转换关系，以及所述示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，反向评估每组所述零位锚点对应的机械臂末端坐标系与零件坐标系的转换关系，以得到误差修正矩阵。

4.根据权利要求3所述的基于多零位视觉引导的机械臂定位误差补偿方法，其特征在于，所述机械臂基坐标系与零件坐标系的转换关系为：

上式中，

为所述机械臂基坐标系与零件坐标系的转换关系；i为零位锚点的序号，且i＝1,2,…,9；/>

为每组所述零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系；/>

为所述手眼标定参数；/>

为每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系；

所述误差修正矩阵为：

上式中，

为所述零位锚点对应的机械臂末端坐标系与零件坐标系的转换关系，即误差修正矩阵；/>

为所述示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系。

5.根据权利要求1所述的基于多零位视觉引导的机械臂定位误差补偿方法，其特征在于，所述获取待引导零件图像，根据图像中提取的特征点分布信息进行零位锚点匹配，得到最优的零位锚点序号，并选取相应的所述误差修正矩阵评估机械臂实际引导参数，包括：

控制机械臂末端相机移动至零位锚点分布图的中心零位锚点，并对位置未知的待引导零件进行拍照，获得待引导零件图像；

从所述待引导零件图像中提取特征点分布信息，并获取所述中心零位锚点对应的相机坐标系与零件坐标系的转换关系；

将所述待引导零件图像的特征点分布信息与各组所述零位锚点对应的特征点分布信息进行零位锚点匹配，得到零位锚点匹配结果；所述零位锚点匹配结果为特征距离最小的零位锚点序号；

根据所述零位锚点匹配结果选取误差修正矩阵，结合所述中心零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系、手眼标定参数、相机坐标系与零件坐标系的转换关系，评估实际抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，以得到机械臂实际引导参数。

6.根据权利要求5所述的基于多零位视觉引导的机械臂定位误差补偿方法，其特征在于，所述机械臂实际引导参数为：

上式中，

为实际抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，即机械臂实际引导参数；/>

为中心零位锚点对应的相机坐标系与零件坐标系的转换关系；

为手眼标定参数；/>

为中心零位锚点对应相机坐标系与零件坐标系的转换关系；

为根据最优的零位锚点序号k选取的误差修正矩阵。

7.根据权利要求1所述的基于多零位视觉引导的机械臂定位误差补偿方法，其特征在于，所述根据所述零位锚点分布图，获取多组零位锚点对应的零件图像，并进行特征提取，包括：

在所述机械臂末端相机移动到各组零位锚点时，对处于零位的零件进行拍照，获取对应的零件图像；

对各组所述零件图像进行特征提取，得到各组所述零件图像的特征点分布信息。

8.一种基于多零位视觉引导的机械臂定位误差补偿装置，其特征在于，包括：

分布图生成模块，用于生成零位锚点分布图；

图像处理模块，用于根据所述零位锚点分布图，获取多组零位锚点对应的零件图像，并进行特征提取；

零位锚点处理模块，用于获取每组所述零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系，以及示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，并通过优化求解获得多组所述零位锚点对应的误差修正矩阵；

误差补偿模块，用于获取待引导零件图像，根据图像中提取的特征点分布信息进行零位锚点匹配，得到最优的零位锚点序号，并选取相应的所述误差修正矩阵评估机械臂实际引导参数；

机械臂控制模块，用于根据所述机械臂实际引导参数，控制机械臂执行零件抓取操作。

9.根据权利要求8所述的基于多零位视觉引导的机械臂定位误差补偿装置，其特征在于，所述零位锚点信息处理模块包括：

手眼标定参数处理子模块，用于获取每组所述零位锚点对应的手眼标定参数；

第一空间关系处理子模块，用于通过PnP算法获取每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系；

第二空间关系处理子模块，根据每组所述零位锚点对应的相机坐标系与零件坐标系的转换关系、手眼标定参数，以及机械臂末端坐标系与机械臂基坐标系的转换关系，评估机械臂基坐标系与零件坐标系的转换关系；

误差修正矩阵评估子模块，用于根据所述机械臂基坐标系与零件坐标系的转换关系，以及所述示教抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，反向评估每组所述零位锚点对应的机械臂末端坐标系与零件坐标系的转换关系，以得到误差修正矩阵。

10.根据权利要求8所述的基于多零位视觉引导的机械臂定位误差补偿装置，其特征在于，所述误差补偿模块包括：

图像采集子模块，用于控制机械臂末端相机移动至零位锚点分布图的中心零位锚点，并对位置未知的待引导零件进行拍照，获得待引导零件图像；

信息处理子模块，用于从所述待引导零件图像中提取特征点分布信息，并获取所述中心零位锚点对应的相机坐标系与零件坐标系的转换关系；

零位锚点匹配子模块，用于将所述待引导零件图像的特征点分布信息与各组所述零位锚点对应的特征点分布信息进行零位锚点匹配，得到零位锚点匹配结果；所述零位锚点匹配结果为特征距离最小的零位锚点序号；

引导参数评估子模块，用于根据所述零位锚点匹配结果选取误差修正矩阵，结合所述中心零位锚点对应的机械臂末端坐标系与机械臂基坐标系的转换关系、手眼标定参数、相机坐标系与零件坐标系的转换关系，评估实际抓取时机械臂末端坐标系与机械臂基坐标系的转换关系，以得到机械臂实际引导参数。

Images