CN109702738B - 一种基于三维物体识别的机械臂手眼标定方法及装置 - Google Patents

Abstract

本发明公开了一种基于三维物体识别的机械臂手眼标定方法及装置，其中，标定方法包括：步骤S1、获取标定物在三维视角坐标系下的第一标定数据；步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据；步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。本标定方法在光强较弱的环境下仍然能够实现高精度标定，且步骤简单，可操作性强，克服了现有标定方法精度低、步骤复杂、可操作性差、光照影响大的缺点。

Description

一种基于三维物体识别的机械臂手眼标定方法及装置

技术领域

本发明涉及图像识别处理领域，尤其涉及一种基于三维物体识别的机械臂手眼标定方法及装置。

背景技术

工业自动化作为全球工业4.0时代到来的主要标志，智能制造和无人工厂是未来工业自动化的趋势。在无人工厂中，机械臂取代人工做一些重复的分拣与装配工作不仅可以节省成本，还可以提高工作效率。更智能的视觉与精确的机械臂控制系统成为实现无人工厂的重要前提。

二维视觉发展多年已经有很成熟的理论和应用场景，但随着人们对机器的工作场景需求提高，二维视觉已经不能满足要求。三维视觉有着二维视觉不具备的天然优势，可以得到图像内像素点的精准距离信息，并且能在光强较低的环境下工作，所以基于三维视觉的机械臂抓取分拣系统越来越受到工业界重视。

基于三维视觉的机械臂手眼系统分为三维视觉和机械臂运动控制模块，想要机械臂实现精准自主抓取分拣目标物体，必须要有高精度的视觉识别系统与机械臂运动控制系统，而这两个系统分别工作在不同的坐标系下，所以需要高精度的标定方法将两个坐标系转到同一坐标系下。现有的标定方案大多为二维视觉对棋盘格进行特征提取与匹配来获取机械臂与相机的坐标关系，这种基于二维棋盘格标定方案步骤繁杂、对环境要求较苛刻，而且标定好后还不能得到被抓取物体的精确距离信息，不能适用很多抓取分拣工业元器件混叠场景的需要。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种基于三维物体识别的机械臂手眼标定方法及装置，旨在解决现有的基于二维棋盘格的标定方法步骤繁杂、对环境要求较苛刻、不够精准的问题。

本发明的技术方案如下：

一种基于三维物体识别的机械臂手眼标定方法，包括：

步骤S1、获取标定物在三维视角坐标系下的第一标定数据；

步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据；

步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

所述的基于三维物体识别的机械臂手眼标定方法，其中，所述步骤S1 包括：

步骤S11、在三维视角坐标系下获取所述标定物的点云数据；

步骤S12、通过point-net多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据。

所述的基于三维物体识别的机械臂手眼标定方法，其中，所述步骤S3 包括：

步骤S31、构建两组标定数据的目标函数

通过初始化R和T，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到旋转矩阵R和平移向量T；

其中，第一标定数据C′＝{p₁′，p₂′…p_m′}；p_i′、p_m′分别表示第一标定数据中的第i/m个标定数据；第二标定数据X＝{p_r1，p_r2…P_rm}，p_ri、p_rm分别表示第二标定数据中的第i/m个标定数据；

步骤S32、根据所述旋转矩阵和所述平移向量，求解得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

一种基于三维物体识别的机械臂手眼标定装置，包括：机械臂、设置在所述机械臂上的深度相机，用于对所述标定物进行三维视角坐标系下采集，以及分别与所述机械臂、所述深度相机信号连接的智能控制模块，用于：

计算标定物在三维视角坐标系中的第一标定数据；计算标定物在机械臂坐标系中的第二标定数据；并利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

所述的基于三维物体识别的机械臂手眼标定装置，其中，所述智能控制模块包括：

点云数据获取单元，用于获取所述标定物在所述深度相机的三维视角坐标系中的点云数据C＝{P₁，P₂，…P_n}，其中，P_n表示第n个点云数据；

点云数据处理单元，用于：根据获取的所述点云数据，通过point-net 多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据C′＝{p₁′，p₂′…p_m′}，其中，p_m′表示第一标定数据中的第m个标定数据。

所述的基于三维物体识别的机械臂手眼标定装置，其中，所述智能控制模块包括：

旋转矩阵和平移向量计算单元，用于：构建两组标定数据的目标函数

通过初始化R和T，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到旋转矩阵R和平移向量T；

其中，第一标定数据C′＝{p₁′，p₂′…p_m′}；p_i、p_m′分别表示第一标定数据中的第i/m个标定数据；第二标定数据X＝{p_r1，p_r2…p_rm}，p_ri、p_rm分别表示第二标定数据中的第i/m个标定数据；

转移矩阵计算单元，用于：根据所述旋转矩阵和所述平移向量，求解得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

所述的基于三维物体识别的机械臂手眼标定装置，其中，还包括；

机械臂底盘，用于承载所述机械臂；

机械电爪，连接在所述机械臂的末端，用于抓取物品。

有益效果：本发明首先获取标定物分别在三维视角坐标系和机械臂坐标系中的第一标定数据和第二标定数据，然后采用ICP(Iterative Closest Points)迭代最近算法得到三维视角坐标系中的坐标到机械臂坐标系中的转移矩阵。本发明不需要使用高精度黑白棋盘标定板，仅需有限个(≥3个) 规则的三维可识别物体，就可得到前述的转移矩阵。本标定方法在光强较弱的环境下仍然能够实现高精度标定，且步骤简单，可操作性强，克服了现有标定方法精度低、步骤复杂、可操作性差、光照影响大的缺点。

附图说明

图1为本发明的一种较佳实施的流程图。

图2为本发明的一种较佳实施例的侧视立体结构图。

图3为本发明的一种较佳实施例的俯视立体结构图。

图4为本发明的一种较佳实施例的正视立体结构图。

具体实施方式

本发明提供了一种基于三维物体识别的机械臂手眼标定方法及装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种基于三维物体识别的机械臂手眼标定方法的较佳实施例，如图1所示，包括：

步骤S1、获取标定物在三维视角坐标系下的第一标定数据。

现有技术是采用二维视觉对棋盘格进行特征提取与匹配来获取机械臂与相机的坐标关系，这种基于二维棋盘格标定方案步骤繁杂而且对环境要求较苛刻，而且标定好后还不能得到被抓取物体的精确距离信息，不能适用很多抓取分拣工业元器件混叠场景的需要，因此本发明选用三维视角对标定物进行标定，可包括如下步骤：

步骤S11、在三维视角坐标系下获取所述标定物的点云数据。

可使用深度相机对标定物进行数据采集，其中标定物选用规则的三维可识别物体(至少3个)，获取三维标定物点云数据C＝{P₁，P₂，…P_n}，其中， P_n表示第n个点云数据。

步骤S12、通过point-net多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据C′＝{p₁′，p₂′…p_m′}；p_m′表示第一标定数据中的第m个标定数据，m＜＜n。

步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据。

通过移动机械臂准确抓取标定物，可以得到标定物在机械臂坐标系下的三维坐标数据，得到标定物的第二标定数据X＝{p_r1，p_r2…p_rm}，p_rm表示第二标定数据中的第m个标定数据。

步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。具体处理过程可包括如下步骤：

步骤S31、构建两组标定数据的目标函数

通过初始化R和T(即分别置零)，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到旋转矩阵R和平移向量T；其中，p′_i表示第一标定数据中的第i个标定数据；p_ri分别表示第二标定数据中的第i个标定数据。

步骤S32、根据所述旋转矩阵和所述平移向量，求解目标函数，可得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

本发明通过point-net多层感知网络对三维标定物的识别，得到标定物在识别点位置深度相机坐标系下的三维坐标。然后通过移动机械臂到标定物的位置，得到标定物在机械臂坐标系下的三维坐标点。通过对两个坐标系下的三维标定物的三维坐标，应用ICP迭代最近算法算法求得两个坐标系旋转矩阵R和平移向量T,进而得到三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。本发明可以在不使用高精度黑白棋盘标定板的情况下，仅需有限个规则的三维可识别物体，在光强较弱的环境下仍然能够实现高精度标定且步骤简单可操作性强。克服了现有标定方法精度低、步骤复杂、可操作性差、光照影响大的缺点。

本发明还提供了一种基于三维物体识别的机械臂手眼标定装置的较佳实施例，如图2-图4所示，其特征在于，包括：机械臂4、设置在所述机械臂上的深度相机2，用于对标定物1进行三维视角坐标系下采集，以及分别与机械臂4、深度相机2信号连接的智能控制模块(不限定位置，可灵活设置，因此图中未画出)，用于：

计算标定物在三维视角(即深度相机)坐标系中的第一标定数据；计算标定物在机械臂坐标系中的第二标定数据；并利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

具体的，所述智能控制模块可包括：

点云数据获取单元，用于获取所述标定物在所述深度相机的三维视角坐标系中的点云数据C＝{P₁，P₂，…P_n}。

点云数据处理单元，用于：根据获取的所述点云数据，通过point-net 多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据C′＝{p₁′，p₂′…p_m′}。

作为另一个较佳实施，智能控制模块还可包括：

旋转矩阵和平移向量计算单元，用于：构建两组标定数据的目标函数

通过初始化R和T，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到旋转矩阵R和平移向量T。

转移矩阵计算单元，用于：根据所述旋转矩阵和所述平移向量，求解得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

进一步的，所述的基于三维物体识别的机械臂手眼标定装置，如图2- 图4所示，还包括；

机械臂底盘5，用于承载所述机械臂；

机械电爪3，连接在所述机械臂的末端，用于抓取物品。

综上所述，本发明提供了一种基于三维物体识别的机械臂手眼标定方法及装置，本发明的标定方法，不需要使用高精度黑白棋盘标定板，仅需有限个(≥3个)规则的三维可识别物体，就可得到前述的转移矩阵。本标定方法在光强较弱的环境下仍然能够实现高精度标定，且步骤简单，可操作性强，克服了现有标定方法精度低、步骤复杂、可操作性差、光照影响大的缺点；本发明的装置，可以快速、高精度地得到抓取点深度相机三维坐标系到机械臂坐标系的转移矩阵，从而得到被抓取物在机械臂坐标系中的坐标，实现对物体的高精度识别抓取。本发明的装置结构简单，便于获取和构建。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于三维物体识别的机械臂手眼标定方法，其特征在于，包括：

步骤S1、获取标定物在三维视角坐标系下的第一标定数据；

步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据；

步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵；

所述步骤S3包括：

步骤S31、构建两组标定数据的目标函数

其中，R为旋转矩阵，T为平移向量，通过初始化R和T，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到迭代后的旋转矩阵R和迭代后的平移向量T；

其中，第一标定数据C′＝{p′₁，p′₂…p′_m}；p_i′、p_m′分别表示第一标定数据中的第i/m个标定数据；第二标定数据X＝{p_r1，p_r2…p_rm}，p_ri、p_rm分别表示第二标定数据中的第i/m个标定数据；

步骤S32、根据所述旋转矩阵和所述平移向量，求解得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

2.根据权利要求1所述的基于三维物体识别的机械臂手眼标定方法，其特征在于，所述步骤S1包括：

步骤S11、在三维视角坐标系下获取所述标定物的点云数据；

步骤S12、通过point-net多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据。

3.一种基于三维物体识别的机械臂手眼标定装置，其特征在于，包括：机械臂、设置在所述机械臂上的深度相机，用于对所述标定物进行三维视角坐标系下采集，以及分别与所述机械臂、所述深度相机信号连接的智能控制模块，用于：

计算标定物在三维视角坐标系中的第一标定数据；计算标定物在机械臂坐标系中的第二标定数据；并利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵；

所述智能控制模块包括：

旋转矩阵和平移向量计算单元，用于：构建两组标定数据的目标函数

其中，R为旋转矩阵，T为平移向量，通过初始化R和T，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到迭代后的旋转矩阵R和迭代后的平移向量T；

其中，第一标定数据C′＝{p₁′，p₂′…p_m′}；p_i′、p_m′分别表示第一标定数据中的第i/m个标定数据；第二标定数据X＝{p_r1，p_r2…p_rm}，p_ri、p_rm分别表示第二标定数据中的第i/m个标定数据；

转移矩阵计算单元，用于：根据所述旋转矩阵和所述平移向量，求解得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

4.根据权利要求3所述的基于三维物体识别的机械臂手眼标定装置，其特征在于，所述智能控制模块包括：

点云数据获取单元，用于获取所述标定物在所述深度相机的三维视角坐标系中的点云数据C＝{P₁，P₂，…P_n}，其中，P_n表示第n个点云数据；

点云数据处理单元，用于：根据获取的所述点云数据，通过point-net多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据C′＝{p₁′，p₂′…p_m′}，其中，p_m′表示第一标定数据中的第m个标定数据。

5.根据权利要求3所述的基于三维物体识别的机械臂手眼标定装置，其特征在于，还包括；

机械臂底盘，用于承载所述机械臂；

机械电爪，连接在所述机械臂的末端，用于抓取物品。

Images