CN116100564A

CN116100564A - 一种标定机械手的高精度标定方法及装置

Info

Publication number: CN116100564A
Application number: CN202310385760.8A
Authority: CN
Inventors: 陈思园; 叶云芳; 王娟
Original assignee: Shenzhen Guangcheng Innovation Technology Co ltd
Current assignee: Shenzhen Guangcheng Innovation Technology Co ltd
Priority date: 2023-04-12
Filing date: 2023-04-12
Publication date: 2023-05-12
Anticipated expiration: 2043-04-12
Also published as: CN116100564B

Abstract

本发明实施例提供了一种标定机械手的高精度标定方法及装置，包括：通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据；控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据；建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量；根据所述旋转矩阵和平移向量将圆心点云数据进行转换，得到转换矩阵，能够保证机械手坐标的精度，采用迭代优化的方法进行校正，可以获得精度更高的手眼标定转换矩阵，具有适用场景广，扫描速度快，操作简便，标定精度高的优点。

Description

一种标定机械手的高精度标定方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种机械手的高精度标定方法、一种机械手的高精度标定装置、一种计算机设备和一种存储介质。

背景技术

三轴伺服上下料机械手因其结构简单，成本低廉，适用于大多数取料场景，已经得到了大量应用。结构光3D相机是面成像相机，具有一次成像的特点，速度快，精度高，能够快速获取到目标的三维信息。在实际场景中，进行高精度的手眼标定，准确地建立结构光系统坐标系与机械手坐标系之间的相对关系，能够满足精确高效的工作要求。但是对于三轴机械手，由于安装失误和工作中产生的基台偏移，容易导致机械手的三轴不完全正交，在这种坐标系下获取到的三维坐标，无法和结构光系统坐标系匹配，这种情况严重影响了手眼标定的精度。

基于3D视觉引导的机械手手眼标定，通常是手动摆放物料在指定的若干个点位，使用3D相机扫描获取这些点位的三维坐标，再通过手动示教的方式去触碰这些物料获取三维坐标。由于是通过肉眼观察示教走点，很难保证获取到的三维坐标的准确性。示教点位的个数和相对位置也影响到手眼标定的精度，因此手动摆放需要考虑高度落差和位置，操作非常繁琐；

现有的手眼标定方法是基于相机坐标系和机械手坐标系都是严格正交刚性坐标系来实现的。而在实际生产环境下，振动和安装失误都有可能导致坐标系三轴不是严格正交的，如果不考虑这种情况，手眼标定的精度将会非常差。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种机械手的高精度标定方法、一种机械手的高精度标定装置、一种计算机设备和一种存储介质。

为了解决上述问题，本发明实施例公开了一种机械手的高精度标定方法，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：

通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据；

控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据；

建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量；

根据所述旋转矩阵和平移向量将圆心点云数据进行转换，得到转换矩阵。

优选地，所述通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据，包括：

通过3D相机获取所述标定装置的圆槽轮廓数据；

将所述圆槽轮廓数据拟合为圆心坐标数据，将所述圆心坐标数据确定为圆心点云数据。

优选地，所述方法包括：

通过正交坐标系基底数据计算机械手坐标系下机械手的点云数据，得到优化后的机械手的点云数据；

将圆心点云数据转换为第二机械手点云数据；

建立所述优化后的机械手的点云数据与第二机械手点云数据的第二优化函数，根据所述第二优化函数，计算得到优化后的旋转矩阵和优化后的平移向量；

利用优化后的旋转矩阵和优化后的平移向量，将圆心点云数据进行转换，得到优化后的转换矩阵。

优选地，所述控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据，包括：

控制机械手移动至标定装置的圆槽中，获取对应的机械手的点云数据；

重复所述的移动到圆槽操作，获取所有圆槽的机械手的点云数据。

优选地，所述建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量，包括：

建立两个的机械手的点云数据之间的误差函数，根据所述误差函数建立所述第一优化函数，得到旋转矩阵和平移向量。

本发明实施例公开了一种机械手的高精度标定装置，其特征在于，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：

圆心点云数据获取模块，用于通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据；

控制移动模块，用于控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据；

建立模块，用于建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量；

转换模块，用于根据所述旋转矩阵和平移向量将圆心点云数据进行转换，得到转换矩阵。

优选地，所述圆心点云数据获取模块包括：

圆槽轮廓数据获取子模块，用于通过3D相机获取所述标定装置的圆槽轮廓数据；

拟合子模块，用于将所述圆槽轮廓数据拟合为圆心坐标数据，将所述圆心坐标数据确定为圆心点云数据。

优选地，所述装置包括：

第一优化点云数据模块，用于通过正交坐标系基底数据计算机械手坐标系下机械手的点云数据，得到优化后的机械手的点云数据；

第一转换模块，用于将圆心点云数据转换为第二机械手点云数据；

第二优化函数建立模块，用于建立所述优化后的机械手的点云数据与第二机械手点云数据的第二优化函数，根据所述第二优化函数，计算得到优化后的旋转矩阵和优化后的平移向量；

第二转换模块，用于利用优化后的旋转矩阵和优化后的平移向量，将圆心点云数据进行转换，得到优化后的转换矩阵。

本发明实施例公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的机械手的高精度标定方法的步骤。

本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的机械手的高精度标定方法的步骤。

本发明实施例包括以下优点：

本发明实施例中，该机械手的高精度标定方法应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据；控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据；建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量；根据所述旋转矩阵和平移向量将圆心点云数据进行转换，得到转换矩阵，本方案中设计了一种配合结构光3D相机进行手眼标定的标定装置，该装置中间凸起并具有多个圆槽结构，用于准确配对机械手坐标和相机坐标，可以标定三个方向上的偏移，更适用于大多数具有高度变化的场景，能够保证机械手坐标的精度，采用迭代优化的方法进行校正，可以获得精度更高的手眼标定转换矩阵，具有适用场景广，扫描速度快，操作简便，标定精度高的优点。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图

图1是本发明实施例的一种机械手的高精度标定方法实施例的步骤流程图；

图2是本发明实施例的一种标定系统的示意图；

图3是本发明实施例的一种标定装置的示意图；

图4是本发明实施例的一种圆心点云数据获取操作步骤的流程图；

图5是本发明实施例的一种机械手配对标定装置步骤的示意图；

图6是本发明实施例的一种机械手的点云数据获取操作步骤的流程图；

图7是本发明实施例的一种点云获取操作步骤的流程图；

图8是本发明实施例的一种机械手的高精度标定装置实施例的结构框图；

图9是一个实施例的一种计算机设备的内部结构图。

具体实施方式

为了使本发明实施例所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明实施例进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，示出了本发明实施例的一种机械手的高精度标定方法实施例的步骤流程图，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，具体可以包括如下步骤：

步骤S101，通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据；

本发明实施例中，该机械手的标定方法可以应用于标定系统，该系统包括机械手、3D相机及标定装置、软件及控制系统等部分组成，当然，还可以包括其他的硬件或软件系统，本发明实施例对此不作过多的限制。

在一种具体示例中，参照图2，示出了本发明实施例的一种标定系统的示意图，其中，3D相机设置于机械手以外。

参照图3，示出了本发明实施例的一种标定装置的示意图，标定装置具有台阶和均匀分布的插槽，通过在机械手末端连接一个圆柱，与所述插槽匹配，可以插入插槽内，即可完成准确获取点位坐标的操作。

实际应用中，可以通过终端控制机械手及3D相机，该终端可以是平板电脑、个人电脑、一体式电脑等终端，本发明实施例对终端的具体类型不作限定，终端的操作系统可以包括Android（安卓）、IOS、Windows Phone、Windows等等，本发明对此不作过多的限制。

首先，可以通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据，参照图4，示出了本发明实施例的一种圆心点云数据获取操作步骤的流程图，所述通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据，包括以下子步骤：

子步骤S11，通过3D相机获取所述标定装置的圆槽轮廓数据；

子步骤S12，将所述圆槽轮廓数据拟合为圆心坐标数据，将所述圆心坐标数据确定为圆心点云数据。

首先，可以通过3D相机扫描获得标定装置的深度图和点云，对2D图像进行处理形成二值图像，通过轮廓检测获得圆槽轮廓上的点集

（i为圆槽序号，j为轮廓点序号），即获得圆槽轮廓数据；

在得到圆槽轮廓数据之后，还可以将将所述圆槽轮廓数据拟合为圆心坐标数据，将所述圆心坐标数据确定为圆心点云数据。

具体而言，3D相机采集到的图像和点云是一一对应的，即每一个像素对应一个三维点。所以在获取到圆槽轮廓的2D坐标

后，就可以查找到对应的3D坐标

：

公式1

公式2

公式3

公式4

其中index是2D坐标对应的像素序号，

是图像的宽度，

是存储的点云数据。

将轮廓点拟合成一个中心点作为检测到的圆槽坐标，多个圆槽坐标数据组成圆心点云数据：

公式5

需要说明的是，该3D相机可以包括结构光3D相机等多个种类的3D相机，本发明实施例对此不作过多的限制。

步骤S102，控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据；

在本发明实施例中，终端还可以控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据，参照图5，示出了本发明实施例的一种机械手配对标定装置步骤的示意图。

具体而言，参照图6，示出了本发明实施例的一种机械手的点云数据获取操作步骤的流程图，所述控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据，包括以下子步骤：

子步骤S21，控制机械手移动至标定装置的圆槽中，获取对应的机械手的点云数据；

子步骤S22，重复所述的移动到圆槽操作，获取所有圆槽的机械手的点云数据。

具体而言，终端可以重复插入至圆槽的操作，在标定装置上往复运动，获取所有圆槽的机械手的点云数据。

步骤S103，建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量；

实际应用至本发明实施例中，所述建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量，包括：建立两个的机械手的点云数据之间的误差函数，根据所述误差函数建立所述第一优化函数，得到旋转矩阵和平移向量。

对于空间坐标系任意两片点云

,存在以下关系：

公式6

其中R为旋转矩阵，T为平移向量。

建立误差函数：

公式7

那么就可以转化成第一优化函数：

公式8

可以得到旋转矩阵R和平移向量T。

步骤S104，根据所述旋转矩阵和平移向量将圆心点云数据进行转换，得到转换矩阵。

进一步地，在得到旋转矩阵和平移向量之后，可以根据旋转矩阵和平移向量将圆心点云数据进行转换，得到转换矩阵。

具体而言，那么对于相机坐标系中的点

,就可以通过旋转矩阵R和平移向量T，转换成机械手坐标系中的点

：

公式9

获取相机坐标系到机械手坐标系的转换矩阵H，完成手眼标定操作：

公式10

本发明实施例中，在步骤S104之后，还包括以下步骤，参照图7，示出了本发明实施例的一种点云获取操作步骤的流程图，所述方法还包括：

步骤S105，通过正交坐标系基底数据计算机械手坐标系下机械手的点云数据，得到优化后的机械手的点云数据；

步骤S106，将圆心点云数据转换为第二机械手点云数据；

步骤S107，建立所述优化后的机械手的点云数据与第二机械手点云数据的第二优化函数，根据所述第二优化函数，计算得到优化后的旋转矩阵和优化后的平移向量；

步骤S108，利用优化后的旋转矩阵和优化后的平移向量，将圆心点云数据进行转换，得到优化后的转换矩阵。

上述点云配准操作建立在相机坐标系和机械手坐标系都严格正交的基础上。由于3D相机在虚拟正交坐标系上进行三维重建，所以只考虑机械手坐标系不正交的情况。

对于空间坐标系中任意一组基底，空间点P的坐标可以表示为：

公式11

其中

为已知坐标，

为一组基底。

若坐标系基底正交，则可以表示成：

公式12

假设坐标系基底不严格正交，将新基底的x轴与原基底的x轴重合，即x坐标不变，只考虑y轴和z轴的旋转，则空间点坐标可以表示为：

公式13

其中

是待求参数。

重新计算机械手坐标系下原始点云

的坐标，得到优化后的机械手的点云数据：

公式14

公式15

公式16

根据点云配准中，任意两片正交坐标系的点云

,存在以下关系：

公式17

将相机坐标系下的点云

转换到机械手坐标系

，将圆心点云数据转换为第二机械手点云数据

公式18

根据机械手坐标系原点云和转换后点云的平均距离建立第二优化函数：

公式19

以正交坐标系的基底作为初值，使用SQP方法进行迭代计算，不断优化机械手坐标系，最后根据优化后的基底重新计算机械手坐标，用相机点云和机械手点云进行点云配准，得到旋转矩阵R和平移向量T。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图8，示出了本发明实施例的一种机械手的高精度标定装置实施例的结构框图，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，具体可以包括如下模块：

圆心点云数据获取模块301，用于通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据；

控制移动模块302，用于控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据；

建立模块303，用于建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量；

转换模块304，用于根据所述旋转矩阵和平移向量将圆心点云数据进行转换，得到转换矩阵。

优选地，所述圆心点云数据获取模块包括：

优选地，所述装置包括：

优选地，所述控制移动模块包括：

控制移动子模块，用于控制机械手移动至标定装置的圆槽中，获取对应的机械手的点云数据；

重复移动子模块，用于重复所述的移动到圆槽操作，获取所有圆槽的机械手的点云数据。

优选地，所述建立模块包括：

建立子模块，用于建立两个的机械手的点云数据之间的误差函数，根据所述误差函数建立所述第一优化函数，得到旋转矩阵和平移向量。

上述机械手的高精度标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

上述提供的机械手的高精度标定装置可用于执行上述任意实施例提供的机械手的高精度标定方法，具备相应的功能和有益效果。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机械手的高精度标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现图1至图7的实施例的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下图1至图7的实施例的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种机械手的高精度标定方法、一种机械手的高精度标定装置、一种计算机设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种机械手的高精度标定方法，其特征在于，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：

2.根据权利要求1所述的机械手的高精度标定方法，其特征在于，所述通过3D相机获取所述标定装置的圆槽轮廓上的圆心点云数据，包括：

通过3D相机获取所述标定装置的圆槽轮廓数据；

3.根据权利要求1所述的机械手的高精度标定方法，其特征在于，所述方法包括：

将圆心点云数据转换为第二机械手点云数据；

4.根据权利要求1所述的机械手的高精度标定方法，其特征在于，所述控制机械手移动至所述标定装置若干个圆槽内，获取机械手的点云数据，包括：

5.根据权利要求1所述的机械手的高精度标定方法，其特征在于，所述建立针对机械手的点云数据的第一优化函数，得到旋转矩阵和平移向量，包括：

6.一种机械手的高精度标定装置，其特征在于，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：

7.根据权利要求6所述的机械手的高精度标定装置，其特征在于，所述圆心点云数据获取模块包括：

8.根据权利要求7所述的机械手的高精度标定装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的机械手的高精度标定方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的机械手的高精度标定方法的步骤。