CN111127568B - 一种基于空间点位信息的相机位姿标定方法 - Google Patents

Abstract

本发明公开一种基于空间点位信息的相机位姿标定方法，针对相机独立安装的机器人视觉系统，将球体放置在机器人末端作为标定物，操作机器人改变其位置及姿态运动至不同点位，采集机器人末端乒乓球的图像及点云，拟合球心作为空间一点，同时记录此时机器人对应的位置及姿态。通过寻找特定点位变化间存在的等式关系，求解相机坐标系到机器人基坐标系间的变换关系。将相机坐标系下采集到的点转化为机器人基坐标系下的点，直接实现机器人基于视觉引导的目标抓取。本发明用球体作为标定物，操作简易，灵活便携，简化了繁琐的标定过程，相比借助标定板或标定中间坐标系进行转换的方法，且具有较高的精度，不引入中间变换关系及过多的误差因素。

Description

一种基于空间点位信息的相机位姿标定方法

技术领域

本发明涉及一种基于空间点位信息的相机位姿标定方法，具体是借助空间多组点在机器人及相机坐标系下的位置信息，求解相机相对与机器人的位姿，完成相机坐标系下一点到机器人坐标系下的位置转换，属于机器人视觉技术领域，

背景技术

现代工业生产对重复性，高精度，智能化的要求越来越高，采用人工作业的方式难免会出现偏差，并且大量的重复性工作也造成了人力与资源的浪费。近年来，随着智能制造技术的发展，机器人被越来越多地应用到生产生活的各个领域。为了提高其作业的自主性与智能性，机器视觉逐渐被应用与机器人技术相结合，赋予机器人感知环境的能力。随着需求的增长，对空间复杂环境下任意姿态的物体进行快速准确的识别与定位成为研究的热点。为实现机器人基于视觉的目标定位与抓取，必须将视觉系统中定位到的目标物体位姿信息传递给机器人，求解视觉系统相对于机器人的位姿关系成为关键。

目前，对机器人视觉系统进行标定的方法普遍存在操作繁琐复杂、精度受限的问题。在机器人视觉系统中，通常相机有两种安装方式，一类是相机独立于机器人安装在固定支架上，另一类则是直接将相机安装在机器人末端，本文针对的是相机独立安装情况的位姿标定方法。相机独立于机器人安装的情况，需要求解的是相机相对于机器人基座的位置及姿态。目前，普遍使用的标定方法主要有两种。一种是借助标定板为标定物，将标定板固定在法兰末端，改变机器人的位置姿态，触发相机采集多组标定板图像，通过多次识别标定板并确定其位姿来计算相机相对于机器人的位姿。这种方法涉及到多次对标定板的多个特征进行检测拟合并提取其特征点，总体精度受到影响，同时，标定板自身也会引入误差，这种方法对标定物的质量精度具有依赖性。另外，借助标定板的标定方法，标定版的尺寸和相机的视野密切相关，通常标定板尺寸应为相机视野的1/4～1/3，即一旦更换不同视野范围的相机，标定板也需进行更换，将具有一定尺寸的标定安装在机器人末端，在标定过程中，机器人末端的运动范围，姿态变换范围也会受到限制。因此这种方法缺少灵活性且标定操作过程耗时久。另一类工业上常采用的方法是借助特定的标定纸建立一个坐标系作为中间转换。这种方法要求标定纸具有较高的平整度，并且对现场环境要求高，同样缺乏灵活性于普适性。

发明内容

本发明公开一种基于空间点位信息的相机位姿标定方法，其目的旨在针对相机独立安装的机器人视觉系统，解决现有标定方法操作繁琐精度受限的问题，以灵活的方式快速精确地对机器人视觉系统进行标定,求解相机相对于机器人基座的位姿，将相机定位的目标位置转换到机器人基坐标系下，实现机器人基于视觉的目标抓取。

本发明的解决方案是，以球形物体作为标定物代替标定板，将球体放置在机器人末端，操作机器人改变其位置及姿态运动至不同点位，触发相机采集机器人末端乒乓球的图像及点云，拟合球心作为空间一点，同时记录此时机器人对应的位置及姿态。通过寻找特定点位变化间存在的等式关系，求解相机相对于机器人的位置及姿态，即相机坐标系到机器人基坐标系间的变换关系。相机坐标系下采集到的点，均可通过此变换转化为机器人基坐标系下的点，据此，可直接实现机器人基于视觉引导的目标抓取。

本发明一种基于空间点位信息的相机位姿标定方法，其具体步骤如下；

步骤1，标定物选择及安装

选择一个尺寸已知的球体为标定物，固定在法兰盘末端或工具末端。如选择采用兵乓球，乒乓球大小适中，便于携带，且尺寸为国际统一尺寸，直径40mm，规范统一。

步骤2，求解相机相对于机器人的位姿Rc2b。

确保乒乓球在相机的有效工作范围内，保持机器人姿态固定，只改变机器人的位置，分别以固定姿态移动机器人到三个不同的点位P1，P2，P3，触发相机拍照采集对应位置的点云，通过模型配准算法确定乒乓球的球心作为相机坐标系下的目标点。

记机器人基坐标系为b，相机坐标系为c，机器人末端坐标系为f，以球体球心为原点建立坐标系t，姿态同机器人末端姿态一致。当机器人从P1点移动至P2点时有：

其中

分别为机器人在P1位置法兰末端和球心相对与机器人基座的位置，/>

分别为机器人在P2位置法兰末端和球心相对与机器人基座的位置，/>

为机器人从P1运动到P2后法兰末端相对机器人末端位置变化矢量，/>

为机器人从P1运动到P2后球体中心相对机器人末端位置变化矢量。

因球体固定在法兰末端或工具末端，易知每两次位置变化间球心的位置变化与法兰末端的位置变化一致，则有

目标点在基坐标系下的表示方式有两种。第一种方式为基坐标系到相机坐标系再到目标点，即b→c→t,则有：

其中，

为目标点即球心相对机器人基座的位置矢量，/>

为相机相对机器人基座的位置矢量，Rc2b为相机相对机器人基座的旋转矩阵，/>

为目标点即球心相对相机的位置矢量。

第二种方式为基坐标系到法兰末端坐标系再到目标点，即b→f→t,则有：

其中，

为法兰末端相对机器基座的位置矢量，Rf2b为法兰末端相对机器人基座的旋转矩阵，/>

为目标点即球心相对于法兰末端的位置矢量。

根据式(4)则有

联立式(3)(4)(6)有

将向量进行单位化则有

其中

与/>

分别是/>

与/>

的单位向量。

为方便未知数求解，根据点位P2,P3采用同样的方法构造

将两向量叉乘得/>

通过构造的这三组关系有：

其中，

为机器人从P2运动到P3后法兰末端相对机器人末端位置变化矢量的单位向量，/>

为/>

与/>

叉乘所得的单位向量，/>

为机器人从P2运动到P3后球心相对相机位置变化矢量的单位向量，/>

为/>

与/>

叉乘所得的单位向量。

由此可求得相机相对机器人的姿态，即旋转矩阵Rc2b：

步骤3，求标定物球体相对于机器人末端的位置

本步骤需要3组位置姿态不同的点，结合步骤二中的P3点，本步骤只需要再取两点P4，P5。因为标定物为球形，可设其姿态与法兰末端姿态一致，只需求解其相对法兰盘末端的位置。改变机器人的位置及姿态参数，操作机器人运动至P4,P5两个位置，触发相机拍照采集对应图像及点云，通过模型配准算法确定球体球心。

依据两次点位变换间目标点间距离在机器人基坐标系及相机坐标系下相等可得：

其中

为机器人从P3运动到P4目标点相对相机的位置变化矢量，/>

为机器人从P3运动到P4目标点相对机器人基座的位置变化矢量。

等式左边为：

其中

分别为在P3、P4位置时目标点相对相机的位置矢量。

等式右边为：

其中

分别为在P3位置时目标点相对机器人基座的位置矢量、法兰末端相对机器人基座的位置矢量、法兰末端相对机器人基座的变换矩阵，

分别为在P4位置时目标点相对机器人基座的位置矢量、法兰末端相对机器人基座的位置矢量、法兰末端相对机器人基座的变换矩阵。

对上述两式进行单位化后联立(11)(12)(13)即可得一个等式方程。同理，位置P4与P5之间、P3与P5之间，存在同样的等式关系，构造可得3个方程。三个方程对应三个待求解未知数，可以求解得到标定物球体相对法兰盘末端的位置

步骤4，求相机相对于机器人的位置

操作机器人运动至任意点位或选取之前步骤中选取的5个点位的任意一个作P0点，可根据机器人和相机获得机器人处于P0点时法兰末端相对机器人基座的位置矢量/>

法兰末端相对机器人基座的变换矩阵

目标点相对相机的位置矢量/>

根据式(4)(5)有：

带入已知量可求得相机相对于机器人的位置：

步骤5，记录以上步骤求解所得结果，每次采集完毕后，相机坐标系下的点P_c通过以上步骤所得的变换关系，可以转换为机器人基坐标系下一点P_b，由此可实现机器人对视觉定位得到的目标点的直接抓取。

本发明方法建立了机器人视觉系统中相机坐标系到机器人基坐标系的转换关系，实现机器人基于视觉定位的目标抓取。该方法用球体替代传统的标定板作为标定物，操作简易，灵活便携，简化了繁琐的标定过程，相比借助标定板或标定中间坐标系进行转换的方法，且具有较高的精度，不引入中间变换关系及过多的误差因素。本发明方法最少只需空间5个点对应的位置信息就可求解相机到机器人的直接变换关系，建立视觉系统与机器人间的关系。

附图说明

图1基于空间点位信息的相机位姿标定示意图

图2基于空间点位的相机位姿求解方法流程图

图3相机相对于机器人的姿态求解方法示意图

图4标定物相对于法兰的位置求解方法示意图

具体实施方式

下面结合实例图和具体实施方式对本发明进行进一步详细说明。

本发明提供了一种基于空间点位的相机位姿标定方法，基于机器人，三维相机采集系统及标定物球体进行方案实施，其中机器人为通用六关节串联工业机器人，三维相机具有实时拍照并获取三维点云数据的功能，标定物球体采用乒乓球。选择采用兵乓球作为标定物，其优点是乒乓球大小适中，便于携带，且尺寸为国际统一尺寸，直径40mm，规范统一。系统设备的搭建及方案示意图如图1所示，具体的实施流程如图2所示。

(1)首先，将乒乓球用蓝丁胶固定在机器人法兰末端或工具末端，在合适的位置安装相机。

(2)如图3所示，保持机器人姿态固定不变，只改变位置，确认机器人末端乒乓球处于相机的有效拍照范围内，触发相机拍照采集对应场景内的图像及点云，确保采集到兵乓球表面的有效点云。通过模型匹配算法拟合得到球心坐标,记录此时机器人位姿参数。以同样的方式再取两个位置进行上述操作并记录数据。由机器人的姿态，根据机器人学的相关知识可得法兰盘末端相对机器人基坐标系的旋转矩阵Rf2b。根据式(10)计算可得相机相对于机器人基坐标系的旋转矩阵Rc2b。

(3)如图4所示，同时改变机器人的位置及姿态，操作机器人运动至两个不同的点位，确保乒乓球处于相机的有效拍照及扫描范围内，触发相机采集图像及点云，通过模型匹配算法拟合出球心，记录对应的机器人位置参数及姿态参数，乒乓球到机器人末端的距离在相机和机器人坐标系下是一致的，根据公式(11)(12)(13)可求得乒乓球相对于法兰末端的位置矢量

(4)选取上述过程5个点位中的任意一点作为P0点(或另选任意一个位于相机有效采集范围内的一点)，根据机器人对应的参数及该点在相机中的位置，可得对应的参数

Rf2b_0，/>

乒乓球在机器人基坐标下的位置存在两种表示方式，对其进行变换得式(18)，

带入P0在机器人基坐标系的位姿与其在相机坐标系下的位置，可得：

此时，求出了相机相对于机器人基坐标系的位置矢量

(5)根据上述步骤求得的Rc2b，

通过对相机采集到的点P_c进行如式(21)的变换，可将其转换为机器人基坐标系下的位置P_b，实现机器人根据视觉处理信息对目标物体的直接抓取。

Claims (1)

1.一种基于空间点位信息的相机位姿标定方法，其特征在于步骤如下：

步骤1，标定物选择及安装

针对相机独立于机器人安装的机器人视觉系统，选择一个尺寸已知的球体为标定物，固定在机器人工具末端；

步骤2，求解相机相对于机器人的姿态Rc2b

在保证机器人末端的球体处于相机有效视野及扫描范围内，保持机器人姿态不变，操作机器人运动至三个点位；根据每两个点位变化间机器人末端位置变化向量与球体球心位置变化向量相等这一条件，建立关系求解相机相对于机器人的位姿Rc2b；

步骤3，求标定物球体相对于机器人末端的位置

操作机器人同时改变位置及姿态移动至两个不同的点位，触发相机拍照采集球体对应图像及点云，确定球心在相机坐标系中的位置并记录机器人对应的位置及姿态；结合步骤2中任意点位对应信息，根据每两个点位变化间球心到机器人末端的位置在相机坐标系与机器人基坐标系下一致的条件，建立关系求解标定物球体相对于机器人末端的位置

步骤4，根据球体在机器人基坐标系下位置的两种表示方式建立等式关系，根据已求结果，代入任意点位对应的位置信息，求得相机相对于机器人的位置

步骤5，建立相机坐标系到机器人基坐标系得变换关系，据此将相机坐标系下一点的位置P_c(x,y,z)直接转换为机器人基坐标系下的位置P_b(x’,y’,z’)，实现机器人基于视觉定位结果对目标的直接抓取：

所述求解相机相对于机器人的姿态的方法为：

确保小球在相机的有效工作范围内，保持机器人姿态固定，只改变机器人的位置参数X,Y,Z，分别以固定姿态A,B,C移动机器人到三个不同的位置P1(x₁,y₁,z₁)，P2(x₂,y₂,z₂)，P3(x₃,y₃,z₃)，触发相机拍照采集对应位置的点云，通过模型配准算法确定球体的球心作为相机坐标系下的目标点(cx₁,cy₁,cz₁)，(cx₂,cy₂,cz₂)，(cx₃,cy₃,cz₃)；记机器人基坐标系为b，相机坐标系为c，机器人末端坐标系为f，以球体球心为原点建立坐标系t，姿态同机器人末端姿态一致；

相机相对机器人的姿态，即旋转矩阵Rc2b：

其中

与/>

分别为机器人运动过程中法兰末端相对机器人基座位置变化矢量的单位向量，/>

为二者进行叉乘所得的单位向量；/>

与/>

分别为机器人运动过程中球体相对相机位置变化矢量的单位向量，/>

为二者进行叉乘所得的单位向量；

所述求解标定物球体相对于机器人末端的位置的方法为：

改变机器人的位置及姿态参数，操作机器人运动至P4(x₄,y₄,z₄,A₄,B₄,C₄),P5(x₅,y₅,z₅,A₅,B₅,C₅)两个位置，触发相机拍照采集对应图像及点云，通过模型配准算法确定小球球心(cx₄,cy₄,cz₄)，(cx₅,cy₅,cz₅)；

依据两次点位变换后目标点间距离在机器人基坐标系及相机坐标系下相等可得：

同理，位置P4与P5之间、P3与P5之间，存在同样的等式关系：

三个方程对应三个待求解未知数，求解得到标定物球体相对机器人末端的位置

所述步骤4求解相机相对于机器人的位置

的方法为：

操作机器人运动至任意点位或取之前步骤中选取的5个点位的任意一个作P0点，根据机器人和相机获得对应参数

带入已知量求得相机相对于机器人的位置：

Images