CN110906863B - 一种用于线结构光传感器的手眼标定系统及标定方法 - Google Patents

Abstract

本发明公开了一种用于线结构光传感器的手眼标定系统及标定方法，涉及视觉标定技术领域，本发明的装置包括机器人、线结构光传感器、末端工具和锥形标靶。本发明的方法包括以下步骤：S1、移动机器人使末端工具的尖端与锥形标靶的锥尖对准，记录末端工具尖端的空间坐标；S2、移动机器人，测量并记录线结构光传感器测量锥尖位置的坐标，记录当锥尖位于线结构光的光平面上时，末端工具尖端的空间坐标；S3、移动机器人，重复执行步骤S2，在线结构光传感器测量范围内采集至少4组标定点坐标数据；S4、利用多组标定点坐标数据，建立标定点坐标约束的最小二乘方程，计算出手眼标定变换矩阵。本发明的标定系统简单易得，本发明的方法精度高、效率高。

Description

一种用于线结构光传感器的手眼标定系统及标定方法

技术领域

本发明涉及视觉标定技术领域，特别是涉及一种用于线结构光传感器的手眼标定系统及标定方法。

背景技术

近年来随着自动化技术的应用和发展，3D传感器在自动化制造业中的应用越来越广泛。线结构光传感器(如激光轮廓仪，焊缝跟踪传感器，激光扫描仪)作为一种3D视觉传感器，可以用于测量物体的轮廓形状、尺寸、坐标位置等。因此作为机器人的眼睛，线结构光传感器常被安装于机器人末端或安装于产线上相对机器人底座固定的位置，构成智能制造机器人系统。同其它机器视觉系统一样，线结构光传感器和机器人之间要实现坐标转换，需要进行手眼标定，以便将线结构光传感器测量的本地坐标数据转换为机器人本底坐标系统或机器人末端工具坐标系下的坐标数据。

现有适用于线结构光传感器与机器人之间的手眼标定的方法，包括如下几类：

先手动测量末端工具尖端与线结构光传感器外壳上某点之间的位置关系，再间接标定机器人和线结构光传感器之间的坐标转换关系。此种手眼标定方法效率低下，人为测量误差大，适用于对于精度要求不高的应用，如机器人抓取，机器人码垛等。

通过求解机器人在几何约束下的位姿关系进行标定，如通过扫描固定球的轮廓，分别测量出球心坐标在线结构光传感器和机器人末端工具坐标系下的坐标，再计算坐标转换关系。但这种方法操作和计算都很复杂，专业性程度要求较高，执行效率低。

通过标定板，探针，三坐标仪等末端工具进行标定。这种标定方法效率低，末端工具成本较高，流程复杂，不适合工况恶劣的作业环境。

采用“定点变位姿手眼标定法”，即要求线结构光传感器在机器人变换多个位姿的情况下，精确测量同一点的坐标，在通过最小二乘法计算出手眼坐标转换关系。该方法的不足之处是很难控制线结构光精确扫描到同一固定点。该方案的另一种改进设计是在标靶上设计线、面结构，通过计算线结构光扫描过线，面特殊结构而计算出线结构光与标靶上特殊设计的线、面的交点，来提高线结构光扫描同一固定点的精度和稳定性，以期提高手眼标定精度。但此类方法仍存在定点定位精度低，且末端工具尖端难以对准该定点，标定过程耗时耗力的问题。

发明内容

为解决现有技术中存在的问题，本发明提供了一种用于线结构光传感器的手眼标定系统及标定方法，本发明的标定系统使用简单易获取的锥形标靶，在标定时既方便末端工具尖端对准标靶尖端，同时又保证了较高的对准精度，本发明的标定方法根据线结构光在锥形标靶尖端处形成的张角在尖锥中心处取得极值的特性，使得本发明方法的手眼标定精度理论上可以达到机器人运动定位精度和传感器自身测量精度的极限，从而极大地提高了手眼标定精度。

为实现上述目的，本发明采用如下技术方案：

一方面，本发明提供了一种用于线结构光传感器的手眼标定系统，包括机器人、线结构光传感器、末端工具和锥形标靶，所述末端工具设置在机器人的动作部的末端，作为执行具体工作的工具。

本发明的标定系统使用简单易获取的锥形标靶，在标定时既方便末端工具尖端对准标靶尖端，同时又保证了较高的对准精度。

优选的，所述锥形标靶形状为圆锥体。

优选的，所述圆锥体的锥角为30°-80°。

圆锥体的锥形标靶便于测量，锥角在30°-80°之间便于测量。

另一方面，本发明还提供了一种用于线结构光传感器的手眼标定方法，包括机器人、线结构光传感器、末端工具和锥形标靶，包括以下步骤：

S1、移动机器人的动作部，使末端工具的尖端与所述锥形标靶的锥尖对准，记录此刻末端工具尖端在机器人本体坐标系下的空间坐标，记为T(x₀,y₀,z₀)；

S2、移动机器人的动作部，使线结构光传感器扫描并测量所述锥形标靶的锥尖，测量并记录线结构光传感器测量锥尖位置的坐标，该坐标为线结构光传感器坐标系下的空间坐标，同时记录当锥尖位于线结构光的光平面上时，末端工具尖端在机器人本体坐标系下的空间坐标，一次记录的上述两个坐标记为一组标定点坐标数据；

S3、移动机器人的动作部，改变机器人的动作部和末端工具的位姿，重复执行步骤S2，在线结构光传感器的测量范围内采集至少4组标定点坐标数据；

S4、利用机器人运动学方程和线结构光传感器对同一锥尖点的多次测量获得的上述多组标定点坐标数据，建立标定点坐标约束的最小二乘方程，计算出手眼标定变换矩阵。

本发明的方法根据线结构光在锥形标靶尖端处形成的张角在尖锥中心处取得极值的特性，使得本发明方法的手眼标定精度理论上可以达到机器人运动定位精度和传感器自身测量精度的极限，从而极大地提高了手眼标定精度。

优选的，所述步骤S2中，线结构光传感器测量锥尖位置的坐标包括以下步骤：

S21、当线结构光传感器的结构光靠近所述锥形标靶的尖端位置附近并继续扫过锥尖时，计算并记录线结构光在锥尖上投射出的两条亮线之间的夹角θ；

S22、判断线结构光在锥尖上投射出的两条亮线之间的夹角随着机械臂移动时的变化，当夹角θ取得极值时，记录此时线结构光传感器检测到的锥尖坐标。

优选的，所述步骤S21中，夹角θ的计算包括以下步骤：

获取线结构光传感器在所述锥形标靶的锥尖处测量得到的三维轮廓点云数据，拟合出两条相交的空间直线，并计算出这两条直线之间的夹角。

优选的，所述步骤S22中，夹角θ的极值的取值方法如下：取计算出的极大值，即角度由小变大，再变小，在最大值处的取值为极大值。

优选的，所述步骤S21中，夹角θ的计算包括以下步骤：

获取线结构光传感器在所述锥形标靶的锥尖处测量得到的图像平面内的二维点云数据，拟合出两条相交的平面直线，并计算出这两条直线之间的夹角。

优选的，所述步骤S22中，夹角θ的极值的取值方法如下：取计算出的极小值，即角度由大变小，再变大，在最小值处的取值为极小值。

优选的，所述步骤S22中，取得极值的同时，判断点云数据拟合出的连线在锥形标靶的锥尖处是否连续且为相交直线：若点云数据拟合出的连线在锥形标靶的锥尖位置连续且构成相交直线，则判断该极值点有效；若点云数据拟合出的连线在锥形标靶的锥尖处为圆弧线或不连续，则判定该夹角极值无效，继续寻找夹角极值。

优选的，所述步骤S4中，建立标定点坐标约束的最小二乘方程包括以下步骤：

S41、将步骤S3获取到的几组标定点坐标数据代入如下坐标齐次变换方程：

将tool下标的齐次矩阵记为A，sense下标的齐次矩阵记为B，上式可表达为：A＝T_calib×B，式中，T_calib为4x4阶的待求矩阵，表示将线结构光传感器坐标下的坐标数据转换到机器人本体坐标系下的坐标转换矩阵，即手眼标定矩阵；x₀、y₀、z₀表示末端工具尖端与所述锥形标靶尖端对准时，末端工具尖端在机器人本体坐标系下的空间坐标；A中的x_i、y_i、z_i分别代表在线结构光传感器扫描到锥形标靶的尖端中心位置时，末端工具在机器人本体坐标系下的空间坐标(i＝1,2,..,n,n>4,n为标定点坐标数据组的序号)；B中的x_i、y_i、z_i表示在线结构光传感器扫描到锥形标靶的尖端中心位置时，线结构光传感器测量到的锥形标靶的锥尖在线结构光传感器坐标系下的坐标(i＝1,2,..,n，,n>4,n为标定点坐标数据组的序号)；

S42、使用最小二乘法求解T_calib，其矩阵计算公式为：

T_calib＝(A×B^T)×inv(B×B^T)。

优选的，所述步骤S42之后还包括以下步骤：

S43、将步骤S3获得的各组标定点坐标数据带入步骤S41中的齐次变换方程，并按照下式计算各组标定点坐标数据的标定误差：

Δerror_i＝sqrt((xi-xi^*)²+(yi-yi^*)²+(zi-zi^*)²)；

式中，x_i、y_i、z_i为序号为i的标定点坐标数据对应的末端工具在机器人本体坐标系下的空间坐标(其中，i＝1,2,..,n，n>4,n为标定点坐标数据组的序号)，x_i ^*、y_i ^*、z_i ^*表示序号为i的标定点坐标数据对应的线结构光传感器测量锥形标靶的锥尖在线结构光传感器坐标系下的坐标经手眼标定转换之后的新坐标；

S44、判断是否存在某个标定点坐标数据的误差大于预设定的最大允许标定误差，若是，删除超差的标定点坐标数据后进入步骤S45，反之则结束标定；

S45、判断剩余标定点坐标数据组的组数是否大于4，若是则返回步骤S41；反之则提示标定误差超差，继续采集新的标定点坐标数据后返回步骤S41。

有益效果在于：

1、本发明的标定系统使用简单易获取的锥形标靶，在标定时既方便末端工具尖端对准标靶尖端，同时又保证了较高的对准精度；

2、本发明的标定方法根据线结构光在锥形标靶尖端处形成的张角在尖锥中心处取得极值的特性，使得本发明方法的手眼标定精度理论上可以达到机器人运动定位精度和传感器自身测量精度的极限，从而极大地提高了手眼标定精度；

3、标定精度要求可设置，可适用于不同的精度要求的场合；

4、标定流程中无需人工繁琐的反复校对，效率高，极大地减轻了标定人员的工作负担；

5、本发明方法在标定过程中可在机器人的运动过程中实时计算，无需人工反复对准，标定过程简单高效，并且与机器人联动控制可实现全自动标定。

附图说明

图1是本发明实施例的标定系统的示意图；

图2是本发明实施例的锥形标靶的结构示意图；

图3是本发明实施例中激光对准锥尖时的光条图像示意图；

图4是本发明实施例中激光未对准锥尖时的光条图像示意图。

附图标记：

101、机器人；102、线结构光传感器；103、末端工具；104、锥形标靶。

{S}、线结构光传感器坐标系；{B}、机器人坐标系。

具体实施方式

下面结合附图对本发明作进一步说明：

实施例：

如图1所示，一方面，本实施例提供了一种用于线结构光传感器的手眼标定系统，包括一台六轴机器人101、线结构光传感器102、末端工具103和锥形标靶104，末端工具103设置在机器人101的动作部的末端，作为执行具体工作的工具。

线结构光传感器102选用为一台激光焊缝跟踪传感器。

机器人101坐标系(等同于世界坐标系)为{B}，其坐标原点位于机器人101底座中心；线结构光传感器102坐标系为{S}，其坐标原点位于传感器内部，出厂前已由厂家标定。手眼标定的目的，即是要获得一个转换矩阵，以便将焊缝跟踪传感器测量得到的在该坐标系{S}下的焊缝坐标转换到机器人101本体坐标系{B}下。

本发明的标定系统使用简单易获取的锥形标靶104，在标定时既方便末端工具103尖端对准标靶尖端，同时又保证了较高的对准精度。

在其中一个实施例中，如图2所示，锥形标靶104形状为圆锥体，圆锥体的锥角为30°-80°。

圆锥体的锥形标靶104便于测量，锥角在30°-80°之间便于测量。

另一方面，本发明还提供了一种用于线结构光传感器102的手眼标定方法，包括机器人101、线结构光传感器102、末端工具103和锥形标靶104，包括以下步骤：

S1、移动机器人101的动作部，使末端工具103的尖端与锥形标靶104的锥尖对准，记录此刻末端工具103尖端在机器人101本体坐标系下的空间坐标，记为T(x₀,y₀,z₀)；

S2、移动机器人101的动作部，使线结构光传感器102扫描并测量锥形标靶104的锥尖，测量并记录线结构光传感器102测量锥尖位置的坐标，该坐标为线结构光传感器102坐标系下的空间坐标，同时记录当锥尖位于线结构光的光平面上时，末端工具103尖端在机器人101本体坐标系下的空间坐标，一次记录的上述两个坐标记为一组标定点坐标数据；

S3、移动机器人101的动作部，改变机器人101的动作部和末端工具103的位姿，位姿包括位置和姿态，重复执行步骤S2，在线结构光传感器102的测量范围内采集至少4组标定点坐标数据；

S4、利用机器人101运动学方程和线结构光传感器102对同一锥尖点的多次测量获得的上述多组标定点坐标数据，建立标定点坐标约束的最小二乘方程，计算出手眼标定变换矩阵。

本发明的方法根据线结构光在锥形标靶104尖端处形成的张角在尖锥中心处取得极值的特性，使得本发明方法的手眼标定精度理论上可以达到机器人101运动定位精度和传感器自身测量精度的极限，从而极大地提高了手眼标定精度。

在其中一个实施例中，步骤S2中，线结构光传感器102测量锥尖位置的坐标包括以下步骤：

S21、当线结构光传感器102的结构光靠近锥形标靶104的尖端位置附近并继续扫过锥尖时，计算并记录线结构光在锥尖上投射出的两条亮线之间的夹角θ，如图3所示；

S22、判断线结构光在锥尖上投射出的两条亮线之间的夹角随着机械臂移动时的变化，当夹角θ取得极值时，记录此时线结构光传感器102检测到的锥尖坐标。

在其中一个实施例中，步骤S21中，夹角θ的计算包括以下步骤：

获取线结构光传感器102在锥形标靶104的锥尖处测量得到的三维轮廓点云数据，拟合出两条相交的空间直线，并计算出这两条直线之间的夹角。

步骤S22中，夹角θ的极值的取值方法如下：取计算出的极大值，即角度由小变大，再变小，在最大值处的取值为极大值。

在其中一个实施例中，步骤S21中，夹角θ的计算包括以下步骤：

获取线结构光传感器102在锥形标靶104的锥尖处测量得到的图像平面内的二维点云数据，拟合出两条相交的平面直线，并计算出这两条直线之间的夹角。

步骤S22中，夹角θ的极值的取值方法如下：取计算出的极小值，即角度由大变小，再变大，在最小值处的取值为极小值。

在其中一个实施例中，为了避免误判，例如当机械手控制焊缝跟踪传感器的激光平面移动锥尖附近时停止，又反向移动。这种情况将在停顿位置处测量到夹角满足极值条件，但此时锥尖点在激光平面之外，所以这个极值点是错误的，如图4所示的两种传感器的测量激光未对准锥尖时的光条图像示例。步骤S22中，取得极值的同时，判断点云数据拟合出的连线在锥形标靶104的锥尖处是否连续且为相交直线：若点云数据拟合出的连线在锥形标靶104的锥尖位置连续且构成相交直线，则判断该极值点有效；若点云数据拟合出的连线在锥形标靶104的锥尖处为圆弧线或不连续，则判定该夹角极值无效，继续寻找夹角极值。

在其中一个实施例中，步骤S4中，建立标定点坐标约束的最小二乘方程包括以下步骤：

S41、将步骤S3获取到的几组标定点坐标数据代入如下坐标齐次变换方程：

将tool下标的齐次矩阵记为A，sense下标的齐次矩阵记为B，上式可表达为：A＝T_calib×B，式中，T_calib为4x4阶的待求矩阵，表示将线结构光传感器坐标下的坐标数据转换到机器人本体坐标系下的坐标转换矩阵，即手眼标定矩阵；x₀、y₀、z₀表示末端工具尖端与所述锥形标靶尖端对准时，末端工具尖端在机器人本体坐标系下的空间坐标；A中的x_i、y_i、z_i分别代表在线结构光传感器扫描到锥形标靶的尖端中心位置时，末端工具在机器人本体坐标系下的空间坐标(i＝1,2,..,n,n>4,n为标定点坐标数据组的序号)；B中的x_i、y_i、z_i表示在线结构光传感器扫描到锥形标靶的尖端中心位置时，线结构光传感器测量到的锥形标靶的锥尖在线结构光传感器坐标系下的坐标(i＝1,2,..,n，,n>4,n为标定点坐标数据组的序号)；

S42、使用最小二乘法求解T_calib，其矩阵计算公式为：

T_calib＝(A×B^T)×inv(B×B^T)。

在其中一个实施例中，所述步骤S42之后还包括以下步骤：

S43、将步骤S3获得的各组标定点坐标数据带入步骤S41中的齐次变换方程，并按照下式计算各组标定点坐标数据的标定误差：

Δerror_i＝sqrt((xi-xi^*)²+(yi-yi^*)²+(zi-zi^*)²)；

式中，x_i、y_i、z_i为序号为i的标定点坐标数据对应的末端工具在机器人本体坐标系下的空间坐标(其中，i＝1,2,..,n，n>4,n为标定点坐标数据组的序号)，x_i ^*、y_i ^*、z_i ^*表示序号为i的标定点坐标数据对应的线结构光传感器测量锥形标靶的锥尖在线结构光传感器坐标系下的坐标经手眼标定转换之后的新坐标；

S44、判断是否存在某个标定点坐标数据的误差大于预设定的最大允许标定误差，若是，删除超差的标定点坐标数据后进入步骤S45，反之则结束标定；

超差是指数据超过最大允许误差。

S45、判断剩余标定点坐标数据组的组数是否大于4，若是则返回步骤S41；反之则提示标定误差超差，继续采集新的标定点坐标数据后返回步骤S41。

本实施例中，坐标转换矩阵经过了优化，将超差的标定点坐标数据删除后使用标定误差内的标定点坐标数据进行坐标转换矩阵的重新计算，能够减小标定误差。

本发明的标定系统使用简单易获取的锥形标靶，在标定时既方便末端工具尖端对准标靶尖端，同时又保证了较高的对准精度。本发明的标定方法根据线结构光在锥形标靶尖端处形成的张角在尖锥中心处取得极值的特性，使得本发明方法的手眼标定精度理论上可以达到机器人运动定位精度和传感器自身测量精度的极限，从而极大地提高了手眼标定精度。标定精度要求可设置，可适用于不同的精度要求的场合。标定流程中无需人工繁琐的反复校对，效率高，极大地减轻了标定人员的工作负担。本发明方法在标定过程中可在机器人的运动过程中实时计算，无需人工反复对准，标定过程简单高效，并且与机器人联动控制可实现全自动标定。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种用于线结构光传感器的手眼标定方法，包括机器人、线结构光传感器、末端工具和锥形标靶，其特征在于，包括以下步骤：

S1、移动机器人的动作部，使末端工具的尖端与所述锥形标靶的锥尖对准，记录此刻末端工具尖端在机器人本体坐标系下的空间坐标，记为T(x₀,y₀,z₀)；

S2、移动机器人的动作部，使线结构光传感器扫描并测量所述锥形标靶的锥尖，测量并记录线结构光传感器测量锥尖位置的坐标，同时记录当锥尖位于线结构光的光平面上时，末端工具尖端在机器人本体坐标系下的空间坐标，一次记录的所述锥尖位置的坐标和所述空间坐标记为一组标定点坐标数据,所述步骤S2中，线结构光传感器测量锥尖位置的坐标包括以下步骤：

S21、当线结构光传感器的结构光靠近所述锥形标靶的尖端位置附近并继续扫过锥尖时，计算并记录线结构光在锥尖上投射出的两条亮线之间的夹角θ；

S22、判断线结构光在锥尖上投射出的两条亮线之间的夹角随着机械臂移动时的变化，当夹角θ取得极值时，记录此时线结构光传感器检测到的锥尖坐标；

S3、移动机器人的动作部，改变机器人的动作部和末端工具的位姿，重复执行步骤S2，在线结构光传感器的测量范围内采集至少4组标定点坐标数据；

S4、利用机器人运动学方程和线结构光传感器对同一锥尖点的多次测量获得的上述多组标定点坐标数据，建立标定点坐标约束的最小二乘方程，计算出手眼标定变换矩阵。

2.根据权利要求1所述的用于线结构光传感器的手眼标定方法，其特征在于，所述步骤S21中，夹角θ的计算包括以下步骤：

获取线结构光传感器在所述锥形标靶的锥尖处测量得到的三维轮廓点云数据，拟合出两条相交的空间直线，并计算出这两条直线之间的夹角。

3.根据权利要求1所述的用于线结构光传感器的手眼标定方法，其特征在于，所述步骤S21中，夹角θ的计算包括以下步骤：

获取线结构光传感器在所述锥形标靶的锥尖处测量得到的图像平面内的二维点云数据，拟合出两条相交的平面直线，并计算出这两条直线之间的夹角。

4.根据权利要求2或3所述的用于线结构光传感器的手眼标定方法，其特征在于，所述步骤S22中，取得极值的同时，判断点云数据拟合出的连线在锥形标靶的锥尖处是否连续且为相交直线：若点云数据拟合出的连线在锥形标靶的锥尖位置连续且构成相交直线，则判断该极值点有效；若点云数据拟合出的连线在锥形标靶的锥尖处为圆弧线或不连续，则判定该夹角极值无效，继续寻找夹角极值。

5.根据权利要求1所述的用于线结构光传感器的手眼标定方法，其特征在于，所述步骤S4中，建立标定点坐标约束的最小二乘方程包括以下步骤：

S41、将步骤S3获取到的几组标定点坐标数据代入如下坐标齐次变换方程：

将tool下标的齐次矩阵记为A，sense下标的齐次矩阵记为B，上式可表达为：A＝T_calib×B，式中，T_calib为4x4阶的待求矩阵，即手眼标定矩阵；A中的x_i、y_i、z_i分别代表在线结构光传感器扫描到锥形标靶的尖端中心位置时，末端工具在机器人本体坐标系下的空间坐标；B中的a_j、b_j、c_j表示在线结构光传感器扫描到锥形标靶的尖端中心位置时，线结构光传感器测量到的锥形标靶的锥尖在线结构光传感器坐标系下的坐标；其中i＝1,2,3,4,...n；j＝1,2,3,4,...n；n>4；

S42、使用最小二乘法求解T_calib，其矩阵计算公式为：

T_calib＝(A×B^T)×inv(B×B^T)。

6.根据权利要求5所述的用于线结构光传感器的手眼标定方法，其特征在于，所述步骤S42之后还包括以下步骤：

S43、将步骤S3获得的各组标定点坐标数据带入步骤S41中的齐次变换方程，并按照下式计算各组标定点坐标数据的标定误差：

Δerror_i＝sqrt((x_i-x_i ^*)²+(y_i-y_i ^*)²+(z_i-z_i ^*)²)；

式中，x_i ^*、y_i ^*、z_i ^*表示序号为i的标定点坐标数据对应的线结构光传感器测量锥形标靶的锥尖在线结构光传感器坐标系下的坐标经手眼标定转换之后的新坐标；

S44、判断是否存在某个标定点坐标数据的误差大于预设定的最大允许标定误差，若是，删除超差的标定点坐标数据后进入步骤S45，反之则结束标定；

S45、判断剩余标定点坐标数据组的组数是否大于4，若是则返回步骤S41；反之则提示标定误差超差，继续采集新的标定点坐标数据后返回步骤S41。

Images