CN111207670A - 一种线结构光标定装置及方法 - Google Patents

Abstract

本发明公开了一种线结构光标定装置及方法，方法包括如下步骤：（1）、利用张氏标定法标定相机的内参；（2）、利用PnP和非线性优化得到标定板平面在相机坐标系下的方程；（3）、利用RANSAC得出激光条纹在标定板上的二维方程；（4）、求出激光条纹在相机坐标系下的三维坐标；（5）、利用不同位姿下的激光条纹拟合得到光平面在相机坐标系下的方程。本发明的标定方法操作简单且精度较高，成像结果良好。适合在工业环境中进行实际运用。

Description

一种线结构光标定装置及方法

技术领域

本发明涉及一种线结构光标定装置及方法，属于光电技术领域。

背景技术

近年来，线结构光凭借其非接触式测量以及精度高，装置简单的优点，在工件测量，立体视觉成像等各个领域均有运用。但是目前大部分的结构光标定方法步骤冗余，方法复杂，标定靶标制作精度要求较高，不适合在工业环境中进行实际现场测试。

发明内容

针对现有技术上存在的不足，本发明提出一种线结构光标定装置及方法。

本发明的技术方案如下：

一种线结构光标定装置，所述装置包括工作导轨、滚珠丝杠、步进电机、相机、线激光器、工作平台；

所述步进电机通过STM-32控制带动滚珠丝杠匀速转动，从而使得工作平台在工作导轨中水平运动；所述相机和线激光器设置在工作平台上，相机和线激光器以一个固定的位姿相对摆放，线结构光在标定板上产生条纹投影，相机捕捉产生的图片。

一种线结构光标定方法，利用上述的装置，包括如下步骤：

(1)、利用张氏标定法标定相机的内参；

(2)、利用PnP和非线性优化得到标定板平面在相机坐标系下的方程；

(3)、利用RANSAC得出激光条纹在标定板上的二维方程；

(4)、求出激光条纹在相机坐标系下的三维坐标；

(5)、利用不同位姿下的激光条纹拟合得到光平面在相机坐标系下的方程。

上述步骤(2)的标定板平面在相机坐标系下的方程的过程如下：

所用标定板的棋盘格尺寸已知，人为定义棋盘格的坐标轴，假设所有的点都在z＝0的平面上，假设某个角点的3D点为P(X,Y,Z)^T，它所对应的图片中的像素坐标为p＝[u,v]^T，

此时角点从人为规定的坐标系转到相机坐标系下的R和t是未知的,点P在相机坐标系下所对应的深度值为s，那么有如下关系：

一组对应的匹配点对，得到两个线性方程组，但是由于中间3×4的矩阵是 12维,那么可以通过至少6对配对点来求解，而对于超过6对的匹配点，使用SVD 等分解手段求一个最小二乘解；

但是对于利用PnP求出来的代数解，无法避免测量误差，通过非线性优化来得到更加精确的解；

其中x_i是第i个角点像素值的归一化坐标，K是相机内参，P_i是第i个角点在标定板坐标系下的三维坐标点。

上述步骤(3)的具体步骤如下：

激光中心线的提取，由于激光条纹是沿着图像的u轴分布的。假设在图像的每一列中，像素值最大的那个点就是激光条纹的中心线，近似得到激光条纹的中心线，然后对于每一个点，将其与附近的中心点进行联系来得到每个点的法向量，

其中A,B,C为激光条纹中心线上的点，B点的法向量通过如下的方法来得出:

首先求出与向量

相垂直的向量

然后利用向量

求出与之相垂直的向量

最后B的法向量向量

可由下式得到：

这样每个中心点的法向量均能够求出，为了更加精确的求得中心线的坐标，对于每个中心点，以当前中心点为中心，利用公式(3)求得的法向量，利用灰度重心得到更加精确的中心点，公式可如下表示：

其中W(i,j)代表第i行第j列的像素值，m₁₀和m₀₁表示为图像灰度的第1阶矩，m₀₀表示为图像的第0阶矩；

由于噪声和反光等原因，存在一些点并不在光条纹直线上，通过RANSAC 得到剔除有噪声的点，然后拟合得到得出激光条纹在标定板上的二维方程。

上述步骤(4)的具体步骤如下：

激光平面的拟合，标定板固定在某个位姿，线结构光在标定板上产生一条明亮的激光条纹；

假设对于某一位姿下的标定板，假设其在相机坐标系下的平面方程为 ax+by+cz+d＝0，激光条纹的二维坐标方程为y＝kx+e，对于任意一个激光像素点，必然满足其点坐标为[u,ku+e]，其中u为点的横坐标，假设相机内参K已知，由于该像素点的空间三维坐标也满足此位姿下的标定板平面方程，根据约束条件得出该像素点的三维坐标为：

其中c_x为图像原点相对于光心成像点的横偏移量，c_y为图像原点相对于光心成像点的纵偏移量。f_x,f_y为相机的固定的参数。

得到该像素点在相机坐标系下的实际三维坐标，便得到激光条纹的三维空间坐标方程。

本发明的有益效果在于，本发明的标定方法操作简单且精度较高，成像结果良好。适合在工业环境中进行实际运用。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1是本发明装置的结构示意图；

图2是本发明的方法流程图；

图3是标定板坐标系；

图4是中心点法向量的获取；

图5是图像坐标系下的激光条纹分布。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1所示，一种线结构光标定装置，所述装置包括工作导轨1、滚珠丝杠 2、步进电机3、相机4、线激光器5、工作平台6；

所述步进电机3通过STM-32控制带动滚珠丝杠2匀速转动，从而使得工作平台6在工作导轨1中水平运动；所述相机4和线激光器5设置在工作平台6上，相机4和线激光器5以一个固定的位姿相对摆放，线结构光在标定板7上产生条纹投影，相机4捕捉产生的图片。

如图2所示，一种线结构光标定方法，利用上述的装置，包括如下步骤：

(1)、利用张氏标定法标定相机的内参；

(2)、利用PnP和非线性优化得到标定板平面在相机坐标系下的方程；

(3)、利用RANSAC得出激光条纹在标定板上的二维方程；

(4)、求出激光条纹在相机坐标系下的三维坐标；

(5)、利用不同位姿下的激光条纹拟合得到光平面在相机坐标系下的方程。

上述步骤(2)的标定板平面在相机坐标系下的方程的过程如下：

所用标定板的棋盘格尺寸已知，人为定义棋盘格的坐标轴，假设所有的点都在z＝0的平面上，假设某个角点的3D点为P(X,Y,Z)^T，它所对应的图3中的像素坐标为p＝[u,v]^T，

此时角点从人为规定的坐标系转到相机坐标系下的R和t是未知的,点P在相机坐标系下所对应的深度值为s，那么有如下关系：

一组对应的匹配点对，得到两个线性方程组，但是由于中间3×4的矩阵是 12维,那么可以通过至少6对配对点来求解，而对于超过6对的匹配点，使用SVD 等分解手段求一个最小二乘解；

但是对于利用PnP求出来的代数解，无法避免测量误差，通过非线性优化来得到更加精确的解；

其中x_i是第i个角点像素值的归一化坐标，K是相机内参，P_i是第i个角点在标定板坐标系下的三维坐标点。

上述步骤(3)的具体步骤如下：

激光中心线的提取，由于激光条纹是沿着图像的u轴分布的，如图5所示。假设在图像的每一列中，像素值最大的那个点就是激光条纹的中心线，近似得到激光条纹的中心线，然后对于每一个点，将其与附近的中心点进行联系来得到每个点的法向量，如图4所示。

其中A,B,C为激光条纹中心线上的点，B点的法向量通过如下的方法来得出：

首先求出与向量

相垂直的向量

然后利用向量

求出与之相垂直的向量

最后B的法向量向量

可由下式得到：

这样每个中心点的法向量均能够求出，为了更加精确的求得中心线的坐标，对于每个中心点，以当前中心点为中心，利用公式(3)求得的法向量，利用灰度重心得到更加精确的中心点，公式可如下表示：

其中W(i,j)代表第i行第j列的像素值，m₁₀和m₀₁表示为图像灰度的第1阶矩，m₀₀表示为图像的第0阶矩。

由于噪声和反光等原因，存在一些点并不在光条纹直线上，通过RANSAC 得到剔除有噪声的点，然后拟合得到得出激光条纹在标定板上的二维方程。

上述步骤(4)的具体步骤如下：

激光平面的拟合，标定板固定在某个位姿，线结构光在标定板上产生一条明亮的激光条纹；

假设对于某一位姿下的标定板，假设其在相机坐标系下的平面方程为 ax+by+cz+d＝0，激光条纹的二维坐标方程为y＝kx+e，对于任意一个激光像素点，必然满足其点坐标为[u,ku+e]，其中u为点的横坐标，假设相机内参K已知，由于该像素点的空间三维坐标也满足此位姿下的标定板平面方程，根据约束条件得出该像素点的三维坐标为：

其中c_x为图像原点相对于光心成像点的横偏移量，c_y为图像原点相对于光心成像点的纵偏移量。f_x,f_y为相机的固定的参数。

得到该像素点在相机坐标系下的实际三维坐标，便得到激光条纹的三维空间坐标方程。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种线结构光标定装置，其特征在于所述装置包括工作导轨、滚珠丝杠、步进电机、相机、线激光器、工作平台；

所述步进电机通过STM-32控制带动滚珠丝杠匀速转动，从而使得工作平台在工作导轨中水平运动；所述相机和线激光器设置在工作平台上，相机和线激光器以一个固定的位姿相对摆放，线结构光在标定板上产生条纹投影，相机捕捉产生的图片。

2.一种线结构光标定方法，其特征在于利用权利要求1所述的装置，包括如下步骤：

(1)、利用张氏标定法标定相机的内参；

(2)、利用PnP和非线性优化得到标定板平面在相机坐标系下的方程；

(3)、利用RANSAC得出激光条纹在标定板上的二维方程；

(4)、求出激光条纹在相机坐标系下的三维坐标；

(5)、利用不同位姿下的激光条纹拟合得到光平面在相机坐标系下的方程。

3.根据权利要求2所述的一种线结构光标定方法，其特征在于所述步骤(2)的标定板平面在相机坐标系下的方程的过程如下：

所用标定板的棋盘格尺寸已知，人为定义棋盘格的坐标轴，假设所有的点都在z＝0的平面上，假设某个角点的3D点为P(X,Y,Z)^T，它所对应的图片中的像素坐标为p＝[u,v]^T，

此时角点从人为规定的坐标系转到相机坐标系下的R和t是未知的,点P在相机坐标系下所对应的深度值为s，那么有如下关系：

一组对应的匹配点对，得到两个线性方程组，但是由于中间3×4的矩阵是12维,那么可以通过至少6对配对点来求解，而对于超过6对的匹配点，使用SVD等分解手段求一个最小二乘解；

但是对于利用PnP求出来的代数解，无法避免测量误差，通过非线性优化来得到更加精确的解；

其中x_i是第i个角点像素值的归一化坐标，K是相机内参，P_i是第i个角点在标定板坐标系下的三维坐标点。

4.根据权利要求2所述的一种线结构光标定方法，其特征在于所述步骤(3)的具体步骤如下：

激光中心线的提取，由于激光条纹是沿着图像的u轴分布的。假设在图像的每一列中，像素值最大的那个点就是激光条纹的中心线，近似得到激光条纹的中心线，然后对于每一个点，将其与附近的中心点进行联系来得到每个点的法向量，其中A,B,C为激光条纹中心线上的点，B点的法向量通过如下的方法来得出：

首先求出与向量

相垂直的向量

然后利用向量

求出与之相垂直的向量

最后B的法向量向量

可由下式得到：

这样每个中心点的法向量均能够求出，为了更加精确的求得中心线的坐标，对于每个中心点，以当前中心点为中心，利用公式(3)求得的法向量，利用灰度重心得到更加精确的中心点，公式可如下表示：

其中W(i,j)代表第i行第j列的像素值，m₁₀和m₀₁表示为图像灰度的第1阶矩，m₀₀表示为图像的第0阶矩；

由于噪声和反光等原因，存在一些点并不在光条纹直线上，通过RANSAC得到剔除有噪声的点，然后拟合得到得出激光条纹在标定板上的二维方程。

5.根据权利要求2所述的一种线结构光标定方法，其特征在于所述步骤(4)的具体步骤如下：

激光平面的拟合，标定板固定在某个位姿，线结构光在标定板上产生一条明亮的激光条纹；

假设对于某一位姿下的标定板，假设其在相机坐标系下的平面方程为ax+by+cz+d＝0，激光条纹的二维坐标方程为y＝kx+e，对于任意一个激光像素点，必然满足其点坐标为[u,ku+e]，其中u为点的横坐标，假设相机内参K已知，由于该像素点的空间三维坐标也满足此位姿下的标定板平面方程，根据约束条件得出该像素点的三维坐标为：

其中c_x为图像原点相对于光心成像点的横偏移量，c_y为图像原点相对于光心成像点的纵偏移量，f_x,f_y为相机的固定的参数；

得到该像素点在相机坐标系下的实际三维坐标，便得到激光条纹的三维空间坐标方程。

Images