CN102927908A

CN102927908A - 机器人手眼系统结构光平面参数标定装置及方法

Info

Publication number: CN102927908A
Application number: CN2012104400644A
Authority: CN
Inventors: 景奉水; 戚玉涵; 谭民; 曾隽芳
Original assignee: BEIJING SCIAMPLE TECHNOLOGY CO LTD; Institute of Automation of Chinese Academy of Science
Current assignee: BEIJING SCIAMPLE TECHNOLOGY CO LTD; Institute of Automation of Chinese Academy of Science
Priority date: 2012-11-06
Filing date: 2012-11-06
Publication date: 2013-02-13
Anticipated expiration: 2032-11-06
Also published as: CN102927908B

Abstract

本发明公开了一种机器人手眼系统结构光平面参数标定装置及方法，该装置将摄像机与激光器安装在机器人末端构成机器人手眼系统，在获知摄像机内参数的前提下，通过对激光器投射出的结构光平面参数标定，可实现结构光三维视觉测量。本发明还公开了一种机器人手眼系统结构光平面参数标定方法，在标定区域内放置一块平面棋盘格靶标，激光投射到靶标上形成第一线结构光条纹；通过控制机器人有约束地运动，使激光投射到靶标的另一位置处形成第二线结构光条纹；摄像机分别采集两个标定位置处的两条结构光条纹图像，并计算两个标定位置处摄像机坐标系下条纹直线上点的三维坐标所满足的关系，实现以结构光条纹直线作为标定基元的结构光平面参数标定。

Description

机器人手眼系统结构光平面参数标定装置及方法

技术领域

本发明属于机器人结构光视觉测量领域，尤其是机器人手眼系统中一种基于直线基元的结构光平面参数标定装置及方法。

背景技术

结构光视觉因其测量精度高、抗干扰能力强等优点，被认为是一种有发展前途的视觉测量方式。对空间景物点的三维位置进行测量，是结构光视觉系统的主要任务。以线结构光视觉系统为例，其在三维视觉测量中有两种配置形式：一种利用两台或多台摄像机采集结构光条纹图像，通过双目视觉匹配计算景物点的三维位置，此种配置方式无需标定结构光参数；另一种利用一台摄像机和一台激光器实现景物点三维信息的测量。与前者相比，单目结构光视觉测量方式成本较低，占用空间小且易于安装。然而单目视觉测量缺失景深信息，因此需要附加其它约束条件，在单目摄像机构成的结构光视觉系统中，这一约束条件即为结构光平面方程，求取平面方程参数的过程即为结构光参数标定，结构光参数的标定精度直接影响到空间景物点的测量精度。

对线状结构光的标定方法中，根据所用靶标不同分为两类：一类是利用特定靶标，另一类是利用普通靶标。但无论采用何种方式，一般来说，结构光平面的标定大都是通过选取结构光平面与靶标相交的特征点作为标定基元，利用最小二乘拟合确定结构光平面的参数。如清华大学的徐光佑等人在文章“一种新的基于结构光的三维视觉系统标定方法.计算机学报，1995，18(6)：450-456”中提出了一种利用交比不变性原理获取标定点的方法，通过制作特定靶标，得到至少三个坐标精确的共线点，利用交比不变性来获得结构光条纹与已知三点所在直线交点的坐标，从而获得光平面上的标定点。北京航空航天大学的周富强等人在文章“Constructing featurepoints for calibrating a structured light vision sensor by viewing a plane fromunknown orientations.Optics and Lasers in Engineering，2005，43(10)：1056-1070.”和文章“Complete calibration of a structured light stripe visionsensor through planar target of unknown orientations.Image and VisionComputing，2005，23(1)：59-67.”中提出了基于双重交比不变性的结构光标定点的获取方法，利用自由移动的平面棋盘格靶标，获取光平面上足够多的标定点。上述两种方法均通过选取条纹上的特征点实现结构光参数的标定，其具有以下几点局限性：首先，提取标定特征点的方法仅能获取数量有限的标定特征点；第二，由于激光条纹存在一定宽度，在图像处理阶段，通过提取特征点的方法容易带来测量误差，无法较好地保证特征点的共面性，从而影响了光平面的标定精度；第三，对于自由移动平面靶标的标定方法，需要由人员移动靶标来获取特征点，且每一次移动靶标还需人工通断激光器的电源，操作过程比较繁琐。

近年来，对结构光标定的研究中，与机器人运动相结合的结构光标定问题已成为研究热点，如中科院自动化研究所徐德等人在文章“基于运动的手眼系统结构光参数标定[J].仪器仪表学报，2005，26(11)：1101-1105.”中提出了一种机器人手眼系统中线结构光的标定方法，通过调整机器人末端位姿，控制摄像机在不同姿态时采集结构光条纹上的两个特征点，该标定方法仍然采用点基元实现结构光平面标定，且需要人员手动测量两个特征点间激光束的长度。

发明内容

本发明公开了一种机器人手眼系统中的结构光平面参数标定装置及方法，该装置将摄像机与激光器安装在机器人末端构成机器人手眼系统，在获知摄像机内参数的前提下，通过对激光器投射出的结构光平面参数标定，实现结构光三维视觉测量。该方法以机器人手眼系统为硬件平台；在标定区域内放置一块平面棋盘格靶标，激光投射到靶标上形成第一线结构光条纹；通过控制机器人有约束地运动，使激光投射到靶标的另一位置处形成第二线结构光条纹，摄像机分别采集两个标定位置处的两条结构光条纹图像，并计算两个标定位置处摄像机坐标系下条纹直线上点的三维坐标所满足的关系，实现以结构光条纹直线作为标定基元的结构光平面参数标定。

根据本发明的一方面，本发明提出了一种机器人手眼系统结构光平面参数标定装置，其特征在于，该装置包括：机器人、摄像机、激光器和平面棋盘格靶标，其中：

所述摄像机与所述激光器固定在所述机器人的末端，构成机器人结构光视觉传感系统；

所述平面棋盘格靶标置于所述摄像机和所述激光器下方的标定区域内；

通过调整所述机器人末端的位姿，使得所述激光器投射出一束激光平面到所述平面棋盘格靶标上形成线结构光条纹，然后由所述摄像机采集得到所述线结构光条纹的图像。

根据本发明的另一方面，本发明提出了一种使用所述标定装置对机器人手眼系统结构光平面参数进行标定的方法，其特征在于，所述方法包括以下步骤：

步骤1，调整机器人末端的位置和姿态，使得激光器投射出的激光能够投射到平面棋盘格靶标上形成线结构光条纹，且摄像机能够采集到线结构光条纹图像；

步骤2，在第一标定位置，即当前标定位置处采集并保存所述线结构光条纹图像，提取图像中线结构光条纹所在的直线，并求取图像坐标系下第一线结构光条纹直线上点的坐标所满足的关系；

步骤3，求取所述第一标定位置处第一摄像机坐标系下，所述第一线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系；

步骤4，求取所述第一标定位置处所述第一摄像机坐标系下，平面棋盘格靶标所在平面上点的三维坐标所满足的关系；

步骤5，在所述第一标定位置处所述第一摄像机坐标系下，基于所述步骤3得到的所述线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系和所述步骤4得到的平面棋盘格靶标所在平面上点的三维坐标所满足的关系，得到所述第一线结构光条纹直线上点的三维坐标所满足的关系；

步骤6，控制机器人绕其腕部坐标系的x轴或y轴旋转一角度，使得固定于机器人末端的摄像机与位置固定的平面棋盘格靶标之间的相对位置和姿态发生改变，得到第二标定位置，同时使得激光器在第二标定位置处投射出一束激光到平面棋盘格靶标上形成第二线结构光条纹，且摄像机能够采集到第二线结构光条纹图像；

步骤7，与所述步骤2-5类似，通过求取第二标定位置处图像坐标系下第二线结构光条纹直线上点的坐标所满足的关系，第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系，以及平面棋盘格靶标所在平面上点的三维坐标所满足的关系，得到第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线上点的三维坐标所满足的关系；

步骤8，在第一摄像机坐标系下，基于所述步骤5和步骤7得到的两条线结构光条纹直线上点的三维坐标所满足的关系，得到结构光平面上点的三维坐标所满足的关系，从而实现基于直线基元的结构光平面参数标定。

本发明的优点是：以结构光条纹直线作为基元进行标定，克服了传统利用点基元标定的方法中，由于特征点少、且无法精确保证特征点共面性而影响结构光平面标定精度的问题；标定过程不需要高成本的辅助调整设备；只需控制机器人做一次旋转运动，而不需标定人员多次移动靶标，可以提高标定效率，降低劳动强度，并能避免激光辐射对人体的伤害，因此特别适合结构光平面参数的现场标定。

附图说明

图1为本发明机器人手眼系统结构光平面参数标定装置示意图。

图2为本发明机器人手眼系统结构光平面参数标定方法流程图。

图3为线结构光条纹直线透视投影图。

图4为第一标定位置和第二标定位置处的线结构光条纹示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明机器人手眼系统结构光平面参数标定装置示意图，如图1所示，本发明机器人手眼系统结构光平面参数标定装置包括：机器人1、摄像机2、激光器3和平面棋盘格靶标5，其中，所述摄像机2与所述激光器3固定在所述机器人1的末端，构成机器人结构光视觉传感系统；所述平面棋盘格靶标5置于所述摄像机2和所述激光器3下方的标定区域内；通过调整所述机器人1末端的位姿，使得所述激光器3投射出一束激光平面到所述平面棋盘格靶标5上形成线结构光条纹4，然后由所述摄像机2采集得到所述线结构光条纹4的图像；所述机器人1为六自由度工业机器人；所述摄像机2为CCD(Charge Coupled Device，电荷耦合器件)摄像机；所述激光器3为红光半导体线激光器。

图2为本发明使用所述标定装置对机器人手眼系统结构光平面参数进行标定的方法流程图，如图2所示，本发明的标定方法包括以下步骤：

激光投射到平面棋盘格靶标上能够形成一条线结构光条纹，如图1所示的线结构光条纹4。根据计算机视觉中的空间直线约束：空间中的线结构光条纹在摄像机中的成像仍为一直线，因此，可选取线结构光条纹所在直线作为标定基元来实现结构光平面的标定。

由于激光是一种结构特殊的高斯光束，摄像机采集得到的线结构光条纹图像中，线结构光条纹具有一定的宽度，因此在求取线结构光条纹直线上点的坐标所满足的关系时需要提取线结构光条纹的中心，本发明采用文章“Carsten Steger.An Unbiased Detector of Curvilinear Structures.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(2)：113-125”中介绍的方法来求取条纹直线上点的坐标所满足的关系：沿着线结构光条纹的法矢量选取线结构光条纹横截面上的有限个图像点，对有限个图像点的灰度值进行高斯函数拟合，选择高斯函数的顶点坐标作为激光条纹中心点的图像坐标；利用最小二乘直线拟合各条纹中心点，从而得到图像坐标系下所述线结构光条纹直线上点的坐标所满足的关系。

在本发明的一实施例中，根据上述现有技术中常用的方法对第一标定位置处的线结构光条纹图像进行处理，通过提取线结构光条纹中心点，并利用最小二乘直线拟合求得图像坐标系下的条纹直线上点的坐标所满足的关系为：

-2.8603u-v+1999.9000＝0，

其中，u、v分别为图像坐标系下条纹直线上某一点的横坐标和纵坐标。

图3为线结构光条纹直线的透视投影图，如图3所示，摄像机光心O和线结构光条纹直线18可以确定一个平面，根据摄像机透视投影理论，该平面即为线结构光条纹直线对应的射影平面20。建立第一摄像机坐标系15，利用摄像机的透视投影模型，确定第一摄像机坐标系15下线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系。所述摄像机的透视投影模型的描述形式请参考现有技术“马颂德，张正友.计算机视觉，科学出版社，1998.第54页”。

在本发明一实施例中，摄像机的透视投影模型可表示为：

Z_{c} [\begin{matrix} u \\ v \\ 1 \end{matrix}] = M_{c} [\begin{matrix} X_{c} \\ Y_{c} \\ Z_{c} \end{matrix}],

其中：

M_{c} = [\begin{matrix} 2318.8916 & 0 & 639.5000 \\ 0 & 2318.8916 & 511.5000 \\ 0 & 0 & 1 \end{matrix}]

为摄像机的内参数矩阵，摄像机内参数的标定方法有很多现有技术可以参考，比如文章“Song De Ma.ASelf-Cahbration Technique for Active Vision Systems.IEEE Transactions onRobotics and Automation，1996，12(1)：114-120.”，这里不再做详细说明；

(X_c Y_c Z_c)^T为第一摄像机坐标系下条纹直线上某一点的三维坐标；

(u v 1)^T为图像坐标系下条纹直线上该点在成像平面上投影点的齐次坐标。

基于所述步骤2得到的图像坐标系下第一线结构光条纹直线上点的坐标所满足的关系与所述摄像机的透视投影模型，可得到第一摄像机坐标系15下，所述线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系为：

6.6327x+2.3189y+0.3408z＝0，

其中，(x，y，z)为第一摄像机坐标系下线结构光条纹直线对应的射影平面上某一点的三维坐标。

步骤4，求取第一标定位置处第一摄像机坐标系下，平面棋盘格靶标所在平面上点的三维坐标所满足的关系；

如图3所示，在平面棋盘格靶标上选取一点作为原点，以靶标平面19为XOY平面，设定Z轴垂直于靶标平面向上，按照右手定则建立靶标坐标系14。通过对摄像机外参数的标定，可以获取靶标坐标系14相对于第一摄像机坐标系15之间的齐次变换矩阵，其求取方法可参考文章“ZhangZ.A flexible new technique for camera calibration[J].IEEE Transactions onPattern Analysis and Machine Intelligence，2000，22(11)：1330-1334.”中提出的基于平面靶标的非线性模型摄像机标定方法。

在本发明的一实施例中，靶标坐标系14在第一摄像机坐标系15下的齐次变换矩阵为：

[\begin{matrix} - 0.0189 & 0.9997 & - 0.0129 & - 274.1139 \\ 0.9997 & 0.0191 & 0.0110 & - 192.4389 \\ 0.0113 & - 0.0126 & - 0.9998 & 1232.5620 \\ 0 & 0 & 0 & 1 \end{matrix}] .

由上述齐次变换矩阵可得：第一摄像机坐标系15下，靶标平面19的法矢量和靶标坐标系原点的三维坐标，因此靶标平面19上点的三维坐标所满足的关系可由点法式方程表示为：

-1.2912(x+274.1139)+1.1068(y+192.4389)-99.9855(z-1232.5620)＝0，

其中，(x，y，z)为第一摄像机坐标系下靶标平面19上某一点的三维坐标。

步骤5，在第一标定位置处第一摄像机坐标系下，基于所述步骤3得到的所述线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系和所述步骤4得到的平面棋盘格靶标所在平面上点的三维坐标所满足的关系，得到所述第一线结构光条纹直线上点的三维坐标所满足的关系；

如图3所示，靶标平面19和射影平面20的交线即为结构光条纹18，因此，基于所述步骤3中得到的射影平面上点的三维坐标所满足的关系和所述步骤4中得到的平面棋盘格靶标所在平面上点的三维坐标所满足的关系，即可确定结构光条纹18在第一摄像机坐标系15下所述线结构光条纹直线上点的三维坐标所满足的关系：

\{\begin{matrix} 6.6327 x + 2.3189 y + 0.3408 z = 0 \\ - 1.2912 (x + 274.1139) + 1.1068 (y + 192.4389) - 99.9855 (z - 1232.5620) = 0^{,} \end{matrix}

其中，(x，y，z)为第一摄像机坐标系下结构光条纹18上某一点的三维坐标。

其中，所述腕部坐标系固连在所述机器人的末端连杆上，大多数情况下，所述腕部坐标系的原点位于机器人手腕上，并随着机器人的末端连杆运动。

控制机器人绕其腕部坐标系的x轴或y轴旋转一角度，所述旋转角度应介于0度与最大上限角度，旋转角度大于0度使得固定于机器人末端的摄像机与位置固定的平面棋盘格靶标之间的相对位置和姿态发生改变；同时，旋转角度小于最大上限角度保证激光仍能够投射到平面棋盘格靶标上形成第二线结构光条纹，且保证棋盘格靶标和第二线结构光条纹不超出摄像机的视场。在本发明的一实施例中，机器人绕其腕部坐标系的x轴旋转角度为7.15°。

图4为第一标定位置26和第二标定位置31处的线结构光条纹示意图。摄像机和激光器跟随机器人末端由第一标定位置26处运动到第二标定位置31处，从图中可以看出，第二标定位置处的激光器28在固定的平面棋盘格靶标29的另一位置投射出一条新的线结构光条纹直线L230。

如图4所示，所述第一标定位置处的第一结构光条纹直线L1与所述第二标定位置处的第二结构光条纹直线L2均产生于结构光平面，因此两条条纹直线共面。当摄像机与平面棋盘格靶标的相对位置和姿态发生改变时，所述第一结构光条纹直线L1与所述第二结构光条纹直线L2不重合。

步骤7，与所述步骤2-5类似，通过求取第二标定位置处图像坐标系下第二线结构光条纹直线L2上点的坐标所满足的关系，第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系，以及平面棋盘格靶标所在平面上点的三维坐标所满足的关系，得到第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线上点的三维坐标所满足的关系；

在本发明的一实施例中，通过改变机器人末端姿态获得的第二标定位置处第二摄像机坐标系下，第二线结构光条纹直线L2上点的三维坐标所满足的关系为：

\{\begin{matrix} 6.5577 x + 2.3189 y + 0.3289 z = 0 \\ 9.9341 (x + 156.4553) + 7.9412 (y + 68.9519) + 99.1880 (z - 1261.3789) = 0^{,} \end{matrix}

其中，(x，y，z)为第二摄像机坐标系下结构光条纹直线上某一点的三维坐标。

步骤8，在第一摄像机坐标系下，基于所述步骤5和步骤7得到的两条线结构光条纹直线上点的三维坐标所满足的关系，得到结构光平面上点的三维坐标所满足的关系，从而实现基于直线基元的结构光平面参数标定；

如图4所示，结构光视觉传感系统跟随机器人末端运动，由第一标定位置运动到第二标定位置处，在固定平面棋盘格靶标29上投射出第二结构光条纹直线L230，这等效于：结构光视觉传感系统固定，通过移动靶标获取一条与第一结构光条纹直线L124不重合的等效线结构光条纹直线L2125。因此，所述步骤7中获得的第二摄像机坐标系下，线结构光条纹直线L2上点的三维坐标所满足的关系，也就是等效线结构光条纹直线L2125在第一摄像机坐标系27下直线上点的坐标所满足的关系。

图4中，在第一摄像机坐标系27下，线结构光条纹直线L124与等效线结构光条纹直线L2125均产生于结构光平面，因此两条结构光条纹直线共面于所求的结构光平面。

在本发明的一实施例中，基于第一线结构光条纹直线L124上点的三维坐标所满足的关系与等效线结构光条纹直线L2125上点的三维坐标所满足的关系，利用点法式形式给出第一摄像机坐标系下的结构光平面上点的三维坐标所满足的关系：

23.4524(x-1.0000)+8.2335(y+183.4976)-(z-1229.1082)＝0，

其中，(x，y，z)为第一摄像机坐标系下结构光平面上某一点的三维坐标。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种机器人手眼系统结构光平面参数标定装置，其特征在于，该装置包括：机器人、摄像机、激光器和平面棋盘格靶标，其中：

2.根据权利要求1所述的装置，其特征在于，所述机器人为六自由度工业机器人。

3.根据权利要求1所述的装置，其特征在于，所述摄像机为CCD摄像机。

4.根据权利要求1所述的装置，其特征在于，所述激光器为红光半导体线激光器。

5.一种使用权利要求1所述的标定装置对机器人手眼系统结构光平面参数进行标定的方法，其特征在于，所述方法包括以下步骤：

6.根据权利要求5所述的方法，其特征在于，所述步骤2中，在求取图像坐标系下所述第一线结构光条纹直线上点的坐标所满足的关系之前，首先提取所述线结构光条纹的中心。

7.根据权利要求5所述的方法，其特征在于，所述射影平面为摄像机光心与所述线结构光条纹直线所确定的平面。

8.根据权利要求5所述的方法，其特征在于，所述步骤3进一步为：联立所述步骤2得到的图像坐标系下第一线结构光条纹直线上点的坐标所满足的关系与所述摄像机的透视投影模型，得到第一标定位置处第一摄像机坐标系下，所述第一线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系。

9.根据权利要求5所述的方法，其特征在于，所述步骤4进一步包括：

在所述平面棋盘格靶标上选取一点作为原点，以靶标平面为XOY平面，设定Z轴垂直于靶标平面向上，按照右手定则建立靶标坐标系；

通过对摄像机外参数的标定，获取所述靶标坐标系相对于所述第一摄像机坐标系的齐次变换矩阵；

由所述齐次变换矩阵得到所述第一摄像机坐标系下，所述靶标平面的法矢量和所述靶标坐标系原点的三维坐标，从而得到所述靶标平面上点的三维坐标所满足的关系。

10.根据权利要求5所述的方法，其特征在于，所述第一结构光条纹直线与所述第二结构光条纹直线均产生于结构光平面。

11.根据权利要求5所述的方法，其特征在于，摄像机与平面棋盘格靶标的相对位置和姿态发生改变时，所述第一结构光条纹直线与所述第二结构光条纹直线不重合。

12.根据权利要求5所述的方法，其特征在于，所述第二线结构光条纹直线等效于：结构光视觉传感系统固定，通过移动平面棋盘格靶标获取得到的一条等效结构光条纹直线；

所述等效结构光条纹直线与所述第一结构光条纹直线共面、不重合；

所述第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线上点的三维坐标所满足的关系等效于：所述第一标定位置处第一摄像机坐标系下所述等效结构光条纹直线上点的三维坐标所满足的关系。