CN112223302B - 基于多传感器的带电作业机器人的快速标定方法及装置 - Google Patents

Abstract

本发明提供了一种基于多传感器的带电作业机器人的快速标定方法及装置，首先获取针对于标定工具的第一图像数据，第一位姿数据，以及点云数据；根据第一图像数据，确定全局双目相机的第一参数，根据第一图像数据、第一位姿数据，以及第一参数，确定全局双目相机的转换矩阵及多轴转台的转换矩阵；根据第一图像数据及点云数据，确定激光雷达的转换矩阵；然后获取针对于标定工具的第二图像数据，以及第二位姿数据；根据第二图像数据，确定局部双目相机的第二参数；根据第二图像数据、第二位姿数据以及第二参数，确定机械臂末端的转换矩阵及机械臂基座的转换矩阵；最后确定标定数据。本发明提高了多传感器联合标定的自动化程度，提高工作效率。

Description

基于多传感器的带电作业机器人的快速标定方法及装置

技术领域

本发明涉及传感器标定技术领域，尤其是涉及一种基于多传感器的带电作业机器人的快速标定方法及装置。

背景技术

目前，三维激光雷达传感器、双目立体视觉传感器联合定位的方式被广泛应用到自动驾驶、智能机器、智能物流等多行业中。三维激光雷达传感器、双目立体视觉、机械臂等多传感器在定位及执行操作时需要通过联合标定的操作，将各自的坐标系对齐到参考坐标系或基准坐标系中。然而相关技术中，联合标定过程大多依赖人工操作，步骤复杂，增加了标定难度。

发明内容

有鉴于此，本发明的目的在于提供一种基于多传感器的带电作业机器人的快速标定方法及装置，以提高多传感器联合标定的自动化程度，降低复杂度，提高工作效率。

第一方面，本发明实施例提供了一种基于多传感器的带电作业机器人的快速标定方法，带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机及控制器；该方法应用于控制器；该方法包括：获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；第一图像数据由全局双目相机采集；点云数据由激光雷达采集；根据第一图像数据，确定全局双目相机的第一参数；根据第一图像数据、第一位姿数据，以及第一参数，确定全局双目相机相对于多轴转台的归零点的第一转换矩阵，以及多轴转台相对于预设坐标系的第二转换矩阵；根据第一图像数据及点云数据，确定激光雷达相对于全局双目相机的第三转换矩阵；获取针对于标定工具的第二图像数据，以及对应的第二位姿数据；第二图像数据由局部双目相机采集；根据第二图像数据，确定局部双目相机的第二参数；根据第二图像数据、第二位姿数据以及第二参数，确定机械臂末端相对于局部双目相机的第四转换矩阵，以及机械臂的基座相对于预设坐标系的第五转换矩阵；根据第一转换矩阵、第二转换矩阵、第三转换矩阵、第四转换矩阵以及第五转换矩阵，确定带电作业机器人的标定数据。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述带电作业机器人还包括工作台；激光雷达及全局双目相机相对位置固定，激光雷达及全局双目相机通过多轴转台设置于工作台；局部双目相机固定于机械臂的末端；机械臂的底座固定于工作台；激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机分别与控制器通信连接。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述标定工具包括标定板、设定数量的靶标基座，以及设定数量的半球靶标；标定板上设置多个标定点；标定点在标定板坐标系中的坐标预先确定；半球靶标通过靶标基座固定在标定板上；半球靶标的球心处设置圆形反光标志点。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述预设坐标系包括标定板坐标系；第一图像数据包括多组图像数据；根据第一图像数据，确定全局双目相机的第一参数的步骤，包括：基于LM非线性优化算法及多组图像数据，计算反投影误差最小时对应的全局双目相机的内参数和外参数；将内参数和外参数，确定为全局双目相机的第一参数。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述根据第一图像数据及点云数据，确定激光雷达相对于全局双目相机的第三转换矩阵的步骤，包括：基于点云数据，拟合半球靶标的球心在激光雷达对应的坐标系中的中心坐标；基于第一图像数据，重建半球靶标的球心在全局双目相机对应的坐标系中的三维坐标；基于最小二乘法、中心坐标以及三维坐标，生成全局双目相机及激光雷达之间的位姿转换矩阵；将位姿转换矩阵确定为激光雷达相对于全局双目相机的第三转换矩阵。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据之前，还包括：控制多轴转台带动全局双目相机以及激光雷达转动；在多轴转台转动至第一位姿后，控制全局双目相机采集第一图像数据，控制激光雷达采集点云数据，记录多轴转台对应的第一位姿数据。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，上述获取针对于标定工具的第二图像数据，以及对应的第二位姿数据之前，包括:控制机械臂带动局部双目相机运动；在机械臂转动至第二设定位置后，控制局部双目相机采集第二图像数据，记录机械臂对应的第二位姿数据。

第二方面，本发明实施例还提供一种基于多传感器的带电作业机器人的快速标定装置，带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂以及局部双目相机；该装置包括：第一数据获取模块，用于获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；第一图像数据由全局双目相机采集；点云数据由激光雷达采集；第一参数确定模块，用于根据第一图像数据，确定全局双目相机的第一参数；第一转换模块，用于根据第一图像数据、第一位姿数据，以及第一参数，确定全局双目相机相对于多轴转台的归零点的第一转换矩阵，以及多轴转台相对于预设坐标系的第二转换矩阵；第二转换模块，用于根据第一图像数据及点云数据，确定激光雷达相对于全局双目相机的第三转换矩阵；第二数据获取模块，用于获取针对于标定工具的第二图像数据，以及对应的第二位姿数据；第二图像数据由局部双目相机采集；第二参数确定模块，用于根据第二图像数据，确定局部双目相机的第二参数；第三转换模块，用于根据第二图像数据、第二位姿数据以及第二参数，确定机械臂末端相对于局部双目相机的第四转换矩阵，以及机械臂的基座相对于预设坐标系的第五转换矩阵；标定数据确定模块，用于根据第一转换矩阵、第二转换矩阵、第三转换矩阵、第四转换矩阵以及第五转换矩阵，确定带电作业机器人的标定数据。

第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述方法。

第四方面，本发明实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述方法。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种基于多传感器的带电作业机器人的快速标定方法及装置，首先获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；根据第一图像数据，确定全局双目相机的第一参数，进而根据第一图像数据、第一位姿数据，以及第一参数，确定全局双目相机相对于多轴转台的归零点的第一转换矩阵，以及多轴转台相对于预设坐标系的第二转换矩阵；根据第一图像数据及点云数据，确定激光雷达相对于全局双目相机的第三转换矩阵；然后获取针对于标定工具的第二图像数据，以及对应的第二位姿数据；根据第二图像数据，确定局部双目相机的第二参数；根据第二图像数据、第二位姿数据以及第二参数，确定机械臂末端相对于局部双目相机的第四转换矩阵，以及机械臂的基座相对于预设坐标系的第五转换矩阵；最后根据各个转换矩阵，确定带电作业机器人的标定数据。该方法可以提高多传感器联合标定的自动化程度，降低复杂度，从而提高工作效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于多传感器的带电作业机器人的快速标定方法的流程图；

图2为本发明实施例提供的另一种基于多传感器的带电作业机器人的快速标定方法的流程图；

图3为本发明实施例提供的一种手眼标定的示意图；

图4为本发明实施例提供的一种标定工具的示意图；

图5为本发明实施例提供的一种带电作业机器人的结构图；

图6为本发明实施例提供的另一种基于多传感器的带电作业机器人的快速标定方法的流程图；

图7为本发明实施例提供的一种带电作业机器人的标定装置的结构示意图；

图8为本发明实施例提供的一种电子设备的结构示意图。

图标：10-半球靶标；20-靶标基座；1-机械臂一；2-局部定位双目相机一；3-全局定位激光雷达；4-多轴转台；5-局部定位双目相机二；6-机械臂二；7-全局定位双目相机；700-第一数据获取模块；702-第一参数确定模块；704-第一转换模块；706-第二转换模块；708-第二数据获取模块；710-第二参数确定模块；712-第三转换模块；714-标定数据确定模块；130-处理器；131-存储器；132-总线；133-通信接口；8-机械臂的基座。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，三维激光雷达传感器（也可简称为“激光雷达”）、双目立体视觉传感器（也可简称为“双目相机”）联合定位的方式被广泛应用到自动驾驶、智能机器、智能物流等多个行业中，且多传感器的标定精度/误差将会直接影响着后面联合定位的精度。

三维激光雷达传感器、双目立体视觉、机械臂等多传感器在定位及执行操作时需要将各自的坐标系对齐到参考坐标系或基准坐标系中，因此需要对上述多个传感器进行联合标定，然而多传感器在标定时通常联合标定过程比较复杂，增加了标定难度，如：机械臂末端安装探针指定棋盘格标定板的角点来获取机械臂坐标系与视觉坐标系之间的三维匹配点，操作需要花费较多的时间。

相关技术中，对基于上述传感器的作业装置的标定可以采用基于镂空圆标定物的联合标定方法，该方法需要使用相机拍摄多帧图像检测标定物的边缘点，对迭代后的标定物边缘点进行圆拟合，再用多个圆心坐标计算激光雷达双目相机之间的外参矩阵。该计算方式的不足之处是其数据量较大且计算过程复杂。

此外，还可以采用基于ROS（Robot Operating System，机器人操作系统）进行激光雷达与双目相机位置标定的方式进行标定，其标定方式需要对激光雷达获取的三维数据进行人工操作，逐个选取点云和图像中对应的点，自动化水平较差，且求解得到的外参矩阵精度低，确定的位置关系不准确，影响最终的定位精度。

此外，还可以采用一种使用竖直长杆的外参标定方式进行标定，通过获取不同摆放位置下竖直长杆的点云数据和图像数据，并根据竖直长杆中截面的颜色标志进行点云数据匹配，从而计算出外参矩阵。该方法操作相对简单且运算效率也较高，但其需要提前标定好相机的内参数，标定过程仍然需要分步进行。

基于此，本发明实施例提供的一种基于多传感器的带电作业机器人的快速标定方法及装置，可以应用于多种工业设备的标定，尤其是基于激光雷达、双目相机等传感器的作业装置的标定。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于多传感器的带电作业机器人的快速标定方法进行详细介绍。

本发明实施例提供了一种基于多传感器的带电作业机器人的快速标定方法，带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机及控制器；该方法应用于控制器；如图1所示，该方法包括以下步骤：

步骤S100，获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；第一图像数据由全局双目相机采集；点云数据由激光雷达采集。

上述预设的标定工具可以由标定板和半球靶标组成。标定板可以主要用于双目相机的参数标定；半球靶标可以主要用于激光雷达的参数标定。上述带电作业机器人通常还包括工作台；各个部分的连接关系如下：激光雷达及全局双目相机相对固定，激光雷达及全局双目相机通过多轴转台设置于工作台；局部双目相机固定于机械臂的末端；机械臂的底座固定于工作台；激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机分别与控制器通信连接。当带电作业机器人位于设定位置后，可以控制全局双目相机及激光雷达对标定工具进行数据采集，分别得到第一图像数据及点云数据，同时记录下多轴转台的转动数据，作为第一位姿数据。

步骤S102，根据第一图像数据，确定全局双目相机的第一参数。

上述第一参数可以包括全局双目相机的内参数和外参数。上述第一图像数据通常包括全局双目相机在不同位姿下采集的多组图像数据，结合各个标定点在不同图像数据中的坐标、标定点在预设坐标系中的坐标以及相机成像原理，可以计算得到全局双目相机内参数矩阵和外参数矩阵。

步骤S104，根据第一图像数据、第一位姿数据，以及第一参数，确定全局双目相机相对于多轴转台的归零点的第一转换矩阵，以及多轴转台相对于预设坐标系的第二转换矩阵。

上述预设坐标系可以为预设的标定工具所在的坐标系，标定工具上的各个标定点的坐标预先确定。由于多轴转台带动全局双目相机进行转动，因此每一组图像数据都对应着一组位姿数据；通过常用的坐标系转换模型对多组图像数据和位姿数据的处理，可以很容易地得到多轴转台在归零位置下全局定位双目相机第一转换矩阵，以及多轴转台相对于预设坐标系的第二转换矩阵。

步骤S106，根据第一图像数据及点云数据，确定激光雷达相对于全局双目相机的第三转换矩阵。

上述点云数据通常对应着三维坐标系，因此需要采用半球靶标等标定工具作为标定点。同样地，由于全局双目相机与激光雷达的位置可以是固定不变的，每一组图像数据都对应着一组点云数据，通过常用的坐标系转换模型对多组图像数据和点云数据的处理，可以很容易地得到激光雷达与全局定位双目相机的第三转换矩阵。

步骤S108，获取针对于标定工具的第二图像数据，以及对应的第二位姿数据；第二图像数据由局部双目相机采集。

上述局部双目相机通常固定在机械臂的末端，在带电作业机器人的作业过程中，对机械臂的工作区域进行采集。机械臂带动局部双目相机运动至设定位置后，在设定位置，标定工具可以出现在局部双目相机的视野中，局部双目相机对标定工具进行图像采集，得到第二图像数据。上述第二位姿数据通常为机械臂的运动数据。

步骤S110，根据第二图像数据，确定局部双目相机的第二参数；具体而言，该过程与步骤S102类似，不再赘述。

步骤S112，根据第二图像数据、第二位姿数据以及第二参数，确定机械臂末端相对于局部双目相机的第四转换矩阵，以及机械臂的基座相对于预设坐标系的第五转换矩阵。

上述第二位姿数据可以与机械臂本身的特性有关，如臂长等，还可以与机械臂当前所处的状态有关，如转动的角度等；第二图像数据包括多组图像数据，每一组图像数据都对应着一组位姿数据，通过常用的坐标系转换模型对多组图像数据和位姿数据的处理，可以很容易地得到机械臂末端与局部定位双目相机的转换矩阵，以及机械臂的基座（也可称为“底座”）相对于预设坐标系的第五转换矩阵。

步骤S114，根据第一转换矩阵、第二转换矩阵、第三转换矩阵、第四转换矩阵以及第五转换矩阵，确定带电作业机器人的标定数据。

上述标定数据可以为由第一转换矩阵、第二转换矩阵、第三转换矩阵、第四转换矩阵以及第五转换矩阵组成的集合。在带电作业机器人的工作过程中，获取到某个传感器采集到的数据后，根据对应的标定数据对该数据进行处理，得到作业相关的数据，更精确地确定机器人的工作状态，以指挥带电作业机器人的下一步运动。

本发明实施例提供了一种基于多传感器的带电作业机器人的快速标定方法，首先获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；根据第一图像数据，确定全局双目相机的第一参数，进而根据第一图像数据、第一位姿数据，以及第一参数，确定全局双目相机相对于多轴转台的归零点的第一转换矩阵，以及多轴转台相对于预设坐标系的第二转换矩阵；根据第一图像数据及点云数据，确定激光雷达相对于全局双目相机的第三转换矩阵；然后获取针对于标定工具的第二图像数据，以及对应的第二位姿数据；根据第二图像数据，确定局部双目相机的第二参数；根据第二图像数据、第二位姿数据以及第二参数，确定机械臂末端相对于局部双目相机的第四转换矩阵，以及机械臂的基座相对于预设坐标系的第五转换矩阵；最后根据各个转换矩阵，确定带电作业机器人的标定数据。该方法可以提高多传感器联合标定的自动化程度，降低复杂度，从而提高工作效率。

本发明实施例提供了另一种基于多传感器的带电作业机器人的快速标定方法；该方法在图1所示的方法的基础上实现；如图2所示，该方法包括以下步骤：

步骤S200，控制多轴转台带动全局双目相机以及激光雷达转动；其中多轴转台的转动数据为下述位姿数据。

步骤S202，在多轴转台转动至第一位姿后，控制全局双目相机采集第一图像数据，控制激光雷达采集点云数据，记录多轴转台对应的第一位姿数据。

步骤S204，获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；第一图像数据由全局双目相机采集；点云数据由激光雷达采集。

上述标定工具包括标定板、设定数量的靶标基座，以及设定数量的半球靶标；标定板上设置多个标定点；标定点在标定板坐标系中的坐标预先确定；半球靶标通过靶标基座固定在标定板上；半球靶标的球心处设置圆形反光标志点。

步骤S206，基于LM（Levenberg-Marquardt，列文伯格-马夸尔特）非线性优化算法及多组图像数据，计算反投影误差最小时对应的全局双目相机的内参数和外参数。

在具体实现过程中，上述预设坐标系可以为标定板坐标系；第一图像数据包括多组图像数据。

步骤S208，将内参数和外参数，确定为全局双目相机的第一参数。

上述步骤S206-S208也可以称为对全局双目相机（也可称为“全局定位双目相机”）进行内外参数的标定。具体而言，可以拍摄7组标定板不同位姿下的图像，采用LM非线性优化算法计算相机反投影误差最小时的内外参数作为最优结果，基准坐标系为标定板坐标系，全局定位相机坐标系与基准坐标系的转换关系为

，其中

为三维点在基准坐标系下坐标，

为三维点在全局相机坐标系下坐标，

为全局坐标系与基准坐标系的转换矩阵，

；其中，R为全局双目相机的旋转参数，T为全局双目相机的平移参数。

步骤S210，基于点云数据，拟合半球靶标的球心在激光雷达对应的坐标系中的中心坐标。

步骤S212，基于第一图像数据，重建半球靶标的球心在全局双目相机对应的坐标系中的三维坐标。

步骤S214，基于最小二乘法、中心坐标以及三维坐标，生成全局双目相机及激光雷达之间的位姿转换矩阵。

步骤S216，将位姿转换矩阵确定为激光雷达相对于全局双目相机的第三转换矩阵。

步骤S218，控制机械臂带动局部双目相机运动。

步骤S220，在机械臂转动至第二设定位置后，控制局部双目相机采集第二图像数据，记录机械臂对应的第二位姿数据；

步骤S222，获取针对于标定工具的第二图像数据，以及对应的第二位姿数据；第二图像数据由局部双目相机采集。

步骤S224，根据第二图像数据，确定局部双目相机的第二参数。

对局部双目相机（也可称为局部定位双目相机）进行内外参数标定，机械臂一带动双目相机移动不同的位姿并拍摄7组图像，采用LM最优化算法计算局部定位双目相机一的内外参数

（局部定位双目相机的外参数矩阵）、

（左相机内参数）、

（右相机内参数），基于所述内外参数生成局部双目相机的转换矩阵。

步骤S226，根据第二图像数据、第二位姿数据以及第二参数，确定机械臂末端相对于局部双目相机的第四转换矩阵，以及机械臂的基座相对于预设坐标系的第五转换矩阵。

具体而言，机械臂末端和局部定位双目相机外参数标定，也称为手眼标定；图3以机器人包含两个机械臂为例，展示了手眼标定的多个转换矩阵；可得到如下等式：

，

，其中，A ₁为机械臂一末端与机械臂底座之间的坐标转换矩阵，A ₂为机械臂二末端与机械臂底座之间的坐标转换矩阵；B为局部定位双目相机相对于机械臂末端的坐标系转换矩阵；C ₁，C ₂分别为局部定位双目相机一及局部定位双目相机二相对于预设坐标系的转换矩阵，及上述第四转换矩阵。由此可转换为典型的

问题，其中，通过采用两步法即可求解转换矩阵X，同时计算出机械臂一底座的坐标系与基准坐标系的转换矩阵

，及上述第五转换矩阵。

步骤S228，根据第一转换矩阵、第二转换矩阵、第三转换矩阵、第四转换矩阵以及第五转换矩阵，确定带电作业机器人的标定数据。

上述标定方法的流程简单，标定精度高，且该方式的数据量较小，运算效率高。

本发明实施例提供了另一种基于多传感器的带电作业机器人的快速标定方法，该方法在上述方法的基础上实现，首先结合多个传感器联合标定的特点为该方法设计了一种标定工具，能够快捷地完成多传感器的联合标定；该标定工具包括标定板，在该标定板上设置了多个靶标基座及半球靶标，图4中以3个靶标基座及半球靶标为例，其中10为半球靶标，20为靶标基座。该方法应用于如图5所示的带电作业机器人；其中1为机械臂一；2为局部定位双目相机一；3为全局定位激光雷达；4为多轴转台；5为局部定位双目相机二；6为机械臂二；7为全局定位双目相机；8为机械臂的基座。

如图6所示，上述方法包括以下步骤：

步骤S600，全局定位双目相机标定。双目相机拍摄不同位姿下标定工具并获取多帧图像数据，通过光束平差法获取最优的标定结果。

步骤S602，全局定位双目相机与激光雷达进行标定。激光雷达与双目相机分别不同位姿下对各自获取的标定工具上的编码球心三维坐标，从而计算出转换矩阵。上述过程也称为激光雷达与全局定位双目相机之间的外参数标定。具体而言，由多轴转台带动激光雷达和全局定位双目相机获取7组数据，激光雷达获取标定板平面及三个半球靶标的点云数据，拟合靶球的中心坐标，双目相机识别、重建靶球中心标志点的三维坐标，由此获取相同位姿下两坐标系下对应靶球中心的坐标，采用最小二乘法计算两者的位姿转换矩阵。

步骤S604，全局定位双目相机与多轴转台进行标定。多轴转台转动带动双目相机移动并拍摄不同位姿下的标定工具的多帧图像，将数学模型转换为

的形式，采用两步法求解转换矩阵X。具体而言，通过转动二维转台带动相机移动，拍摄不同位置下标定板的图像，通过LM算法标定出二维转台坐标系下双目相机的外参数矩阵

，计算出转台与基准坐标系的转换矩阵

。

步骤S606，局部定位双目相机一标定。对局部定位双目相机一进行内外参数标定，机械臂一带动双目相机移动不同的位姿并拍摄7组图像，采用LM最优化算法计算局部定位双目相机一的内外参数

、

、

。

步骤S608，机械臂一和局部定位双目相机一标定（手眼标定）。机械臂末端与双目相机的外参估计利用机械臂在不同位姿下双目相机拍摄的多帧图像，将数学模型转换为

形式，采用两步法求解转换矩阵X。

步骤S610，局部定位双目相机二标定。

步骤S612，机械臂二和局部定位双目相机二标定（手眼标定）。

多传感器系统标定的操作流程仅需固定标定工具不变，并依次通过多轴转台带动双目相机移动、机械臂移动带动双目相机移动并拍摄多帧图像，计算机根据获取的数据逐步计算传感器相对基准坐标系的转换矩阵。

该方法使得多传感器系统标定的操作流程大大简化，仅需按照指定的方式拍摄标定工具的多帧图像和激光雷达点云数据即可。标定过程没有人为操作引入的误差。有效保障了系统标定的精度。采用该方式的数据量较小，运算效率高。

对应于上述方法实施例，本发明实施例还提供一种基于多传感器的带电作业机器人的快速标定装置，带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂以及局部双目相机；如图7所示，该装置包括：

第一数据获取模块700，用于获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；第一图像数据由全局双目相机采集；点云数据由激光雷达采集；

第一参数确定模块702，用于根据第一图像数据，确定全局双目相机的第一参数；

第一转换模块704，用于根据第一图像数据、第一位姿数据，以及第一参数，确定全局双目相机相对于多轴转台的归零点的第一转换矩阵，以及多轴转台相对于预设坐标系的第二转换矩阵；

第二转换模块706，用于根据第一图像数据及点云数据，确定激光雷达相对于全局双目相机的第三转换矩阵；

第二数据获取模块708，用于获取针对于标定工具的第二图像数据，以及对应的第二位姿数据；第二图像数据由局部双目相机采集；

第二参数确定模块710，用于根据第二图像数据，确定局部双目相机的第二参数；

第三转换模块712，用于根据第二图像数据、第二位姿数据以及第二参数，确定机械臂末端相对于局部双目相机的第四转换矩阵，以及机械臂的基座相对于预设坐标系的第五转换矩阵；

标定数据确定模块714，用于根据第一转换矩阵、第二转换矩阵、第三转换矩阵、第四转换矩阵以及第五转换矩阵，确定带电作业机器人的标定数据。

本发明实施例提供的带电作业机器人的标定装置，与上述实施例提供的基于多传感器的带电作业机器人的快速标定方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例还提供了一种电子设备，参见图8所示，该电子设备包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述基于多传感器的带电作业机器人的快速标定方法。

进一步地，图8所示的电子设备还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。

其中，存储器131可能包含高速随机存取存储器（RAM，RandomAccessMemory），也可能还包括非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器。通过至少一个通信接口133（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述基于多传感器的带电作业机器人的快速标定方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的基于多传感器的带电作业机器人的快速标定方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，网关服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于多传感器的带电作业机器人的快速标定方法，其特征在于，所述带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机及控制器；所述方法应用于所述控制器；所述方法包括：

获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；所述第一图像数据由所述全局双目相机采集；所述点云数据由所述激光雷达采集；

根据所述第一图像数据，确定所述全局双目相机的第一参数；根据所述第一图像数据、所述第一位姿数据，以及所述第一参数，确定所述全局双目相机相对于所述多轴转台的归零点的第一转换矩阵，以及所述多轴转台相对于预设坐标系的第二转换矩阵；根据所述第一图像数据及所述点云数据，确定所述激光雷达相对于所述全局双目相机的第三转换矩阵；

获取针对于所述标定工具的第二图像数据，以及对应的第二位姿数据；所述第二图像数据由所述局部双目相机采集；

根据所述第二图像数据，确定所述局部双目相机的第二参数；根据所述第二图像数据、所述第二位姿数据以及所述第二参数，确定所述机械臂的末端相对于所述局部双目相机的第四转换矩阵，以及所述机械臂的基座相对于预设坐标系的第五转换矩阵；

根据所述第一转换矩阵、所述第二转换矩阵、所述第三转换矩阵、所述第四转换矩阵以及所述第五转换矩阵，确定所述带电作业机器人的标定数据；

所述带电作业机器人还包括工作台；

所述激光雷达及所述全局双目相机相对位置固定，所述激光雷达及所述全局双目相机通过所述多轴转台设置于所述工作台；所述局部双目相机固定于机械臂的末端；所述机械臂的底座固定于所述工作台；所述激光雷达、所述全局双目相机、所述多轴转台、所述机械臂、所述局部双目相机分别与所述控制器通信连接；

所述标定工具包括标定板、设定数量的靶标基座，以及设定数量的半球靶标；所述标定板上设置多个标定点；所述标定点在标定板坐标系中的坐标预先确定；所述半球靶标通过所述靶标基座固定在所述标定板上；所述半球靶标的球心处设置圆形反光标志点。

2.根据权利要求1所述的方法，其特征在于，所述预设坐标系包括标定板坐标系；所述第一图像数据包括多组图像数据；所述根据所述第一图像数据，确定所述全局双目相机的第一参数的步骤，包括：

基于LM非线性优化算法及多组图像数据，计算反投影误差最小时对应的所述全局双目相机的内参数和外参数；

将所述内参数和所述外参数，确定为所述全局双目相机的第一参数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像数据及所述点云数据，确定所述激光雷达相对于所述全局双目相机的第三转换矩阵的步骤，包括：

基于所述点云数据，拟合所述半球靶标的球心在所述激光雷达对应的坐标系中的中心坐标；

基于所述第一图像数据，重建所述半球靶标的球心在所述全局双目相机对应的坐标系中的三维坐标；

基于最小二乘法、所述中心坐标以及所述三维坐标，生成所述全局双目相机及所述激光雷达之间的位姿转换矩阵；

将所述位姿转换矩阵确定为所述激光雷达相对于所述全局双目相机的第三转换矩阵。

4.根据权利要求1所述的方法，其特征在于，所述获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据之前，还包括：

控制所述多轴转台带动全局双目相机以及激光雷达转动；

在多轴转台转动至第一位姿后，控制所述全局双目相机采集第一图像数据，控制所述激光雷达采集所述点云数据，记录所述多轴转台对应的第一位姿数据。

5.根据权利要求1所述的方法，其特征在于，所述获取针对于所述标定工具的第二图像数据，以及对应的第二位姿数据之前，包括:

控制所述机械臂带动所述局部双目相机运动；

在所述机械臂转动至第二设定位置后，控制所述局部双目相机采集第二图像数据，记录所述机械臂对应的第二位姿数据。

6.一种基于多传感器的带电作业机器人的快速标定装置，其特征在于，所述带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机及控制器；所述装置包括：

第一数据获取模块，用于获取针对于预设的标定工具的第一图像数据，对应的第一位姿数据，以及对应的点云数据；所述第一图像数据由所述全局双目相机采集；所述点云数据由所述激光雷达采集；

第一参数确定模块，用于根据所述第一图像数据，确定所述全局双目相机的第一参数；

第一转换模块，用于根据所述第一图像数据、所述第一位姿数据，以及所述第一参数，确定所述全局双目相机相对于所述多轴转台的归零点的第一转换矩阵，以及所述多轴转台相对于预设坐标系的第二转换矩阵；

第二转换模块，用于根据所述第一图像数据及所述点云数据，确定所述激光雷达相对于所述全局双目相机的第三转换矩阵；

第二数据获取模块，用于获取针对于所述标定工具的第二图像数据，以及对应的第二位姿数据；所述第二图像数据由所述局部双目相机采集；

第二参数确定模块，用于根据所述第二图像数据，确定所述局部双目相机的第二参数；

第三转换模块，用于根据所述第二图像数据、所述第二位姿数据以及所述第二参数，确定所述机械臂的末端相对于所述局部双目相机的第四转换矩阵，以及所述机械臂的基座相对于预设坐标系的第五转换矩阵；

标定数据确定模块，用于根据所述第一转换矩阵、所述第二转换矩阵、所述第三转换矩阵、所述第四转换矩阵以及所述第五转换矩阵，确定所述带电作业机器人的标定数据；

所述带电作业机器人还包括工作台；

所述激光雷达及所述全局双目相机相对位置固定，所述激光雷达及所述全局双目相机通过所述多轴转台设置于所述工作台；所述局部双目相机固定于机械臂的末端；所述机械臂的底座固定于所述工作台；所述激光雷达、所述全局双目相机、所述多轴转台、所述机械臂、所述局部双目相机分别与所述控制器通信连接；

所述标定工具包括标定板、设定数量的靶标基座，以及设定数量的半球靶标；所述标定板上设置多个标定点；所述标定点在标定板坐标系中的坐标预先确定；所述半球靶标通过所述靶标基座固定在所述标定板上；所述半球靶标的球心处设置圆形反光标志点。

7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至5任一项所述的方法。

8.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1至5任一项所述的方法。

Images