CN101943563A - 基于空间平面约束的线结构光视觉传感器的快速标定方法 - Google Patents

Abstract

本发明公开了一种基于空间平面约束的线结构光视觉测量传感器的标定方法，通过以下步骤进行标定：将一二维平面靶标置于摄像机视场范围内，并采集一组该二维靶标平面上不同位置多个特征圆的图像；确定靶标拓扑关系；同步完成摄像机内部参数标定和光平面标定。在光平面标定过程中，利用摄像机成像模型和各位置靶标形成的空间平面提供的约束，可容易地提取到较大数量的线结构光光平面三维点，对三维点集进行基于主元素分析方法的平面拟合，从而得到光平面在摄像机坐标系下的方程。本发明标定方法操作简单，结果可靠，适合现场标定，能够满足线结构光视觉高精度检测任务的需要。

Description

基于空间平面约束的线结构光视觉传感器的快速标定方法

技术领域

本发明涉及一种线结构光视觉测量系统，尤其涉及一种基于空间平面约束的线结构光视觉传感器的快速标定方法。

背景技术

线结构光视觉测量技术是一种非接触的主动传感测量技术，具有结构简单、柔性好、抗干扰性强、测量迅速，以及光条图像信息易于提取等优点。在高速视觉测量、工业检测、逆向工程等领域有着重要的意义和广阔的应用前景。

线结构光视觉传感器的标定是线结构光视觉测量技术领域中的一项关键技术。目前，主要常用的标定方法有：拉丝法和锯齿靶标法，采用这两种标定方法所获得的标定点，其精度往往较低，且数量较少，限制了标定精度的提高。还有一种标定方法是基于靶标面的机械调节法，该方法的实现需要精密移动台，其成本高，操作不方便，标定费时，通过该方法尽管能够获得较高精度的标定点，但不适合现场标定。再有一种标定方法是利用交比不变性提取结构光标定点的方法，该方法通过高精度的三维立体标定靶标可以获得高精度的标定点，且适用于现场测量，但是对靶标的三维加工精度要求较高。因此，目前需要设计出一套适用于现场标定，且操作简单，结果精确的线结构光视觉传感器快速标定方法。

发明内容

针对上述现有技术，本发明提供一种基于空间平面约束的线结构光视觉测量传感器的标定方法，本发明标定方法使用二维平面靶标，可同步完成摄像机内部参数和光平面位置参数的标定，并且不需任何辅助调整设备，从而简化了标定过程，提高了应用的便捷性，同时可以满足现场标定的需要。

为了解决上述技术问题，本发明基于空间平面约束的线结构光视觉传感器的快速标定方法予以实现的技术方案是：该方法包括：

步骤一、采集一组图像，包括：

将一二维平面靶标置于摄像机视场范围内，并采集一组该二维平面靶标不同位置的图像；该组图像包括在靶标平面上有矩阵排列的m个特征圆，其相邻特征圆的圆心间距均为D；在保证靶标和投射在靶标平面上的结构光光条都在摄像机视场和景深范围内的前提下，自由、非平行或共面地摆放靶标n次以上，其中，n≤5，并采集图像，将采集到的图像保存到计算机；

步骤二、确定靶标拓扑关系，包括：

将特征圆的圆心定义为标定特征点，上述矩阵排列的m个特征圆中的一特征圆的圆心定义为世界坐标系的原点O_w，世界坐标系的坐标轴为O_wX_w轴和O_wY_w轴，其中，所述O_wZ_w轴为靶标平面的法向量方向；在上述世界坐标系下，在水平和竖直相邻两个特征圆圆心的距离dx和dy均为D，则与O_w(0，0，0)在O_wX_w轴方向上相邻和在O_wY_w轴方向上相邻的特征圆圆心的世界坐标系坐标分别为(D，0，0)和(0，D，0)，以此类推，确定各标定特征点的世界坐标系坐标，并保存到计算机；

步骤三、摄像机标定，包括：

(3-1)定义线结构光视觉测量模型，其中，(x_c，y_c，z_c)为光平面上P_c点在摄像机坐标系下的三维坐标，(u，v)和(u_d，v_d)分别为理想像点P_u和实际像点P_d在计算机图像坐标系下的像素坐标，P_c(x_c，y_c，z_c)与(u，v)的转换关系如下：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\·\left[R\right|T]\·\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]---\left(1\right)$

公式(1)中，矩阵A为摄像机的内部参数矩阵；R和T分别为世界坐标系到摄像机坐标系的旋转矩阵和平移向量；

畸变修正公式为：

$\left\{\begin{array}{c}{u}^{\′}=u_d-u_0\\ v^{\′}=v_d-v_0\\ u=u^{\′}\·(1+k_1\·r^2+k_2\·r^4)+2\·p_1\·u^{\′}\·v^{\′}+p_2\·[r^2+2u^{{\′}^2}]+u_0\\ v=v^{\′}\·(1+k_1\·r^2+k_2\·r^4)+2\·p_2\·u^{\′}\·v^{\′}+p_1\·[r^2+{2v}^{{\′}^2}]+v_0\\ r^2=u^{{\′}^2}+v^{{\′}^2}\end{array}\right.---\left(2\right)$

公式(2)中，k₁，k₂，p₁，p₂为畸变系数；

(3-2)确定CCD摄像机内部参数，包括f_x，f_y，u₀，v₀，k₁，k₂，p₁，p₂，并计算所述n个靶标摆放位置的世界坐标系和摄像机坐标系的旋转矩阵R_i和平移向量T_i，每个位置靶标m个特征点的世界坐标系坐标记为M_ij(x_w，y_w，0)，与其对应的图像处理得到的像素坐标为I_ij(u_d，v_d)(i＝1，2，...，n；j＝1，2，...，m)；

(3-3)根据公式(1)，利用M_ij，f_x，f_y，u₀，v₀和R_i，T_i计算出理想像素坐标，其表达式为：(u_1ij，v_1ij)＝H(M_ij，f_x，f_y，u₀，v₀，R_i，T_i)；

(3-4)根据公式(2)，利用I_ij，k₁，k₂，p₁，p₂计算出理想像素坐标，其表达式为：(u_2ij，v_2ij)＝L(I_ij，k₁，k₂，p₁，p₂)；

(3-5)设：(u_1ij，v_1ij)和(u_2ij，v_2ij)相同，因此，构建最优化计算估计的目标函数为：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|H(M_{\mathrm{ij}},f_x,f_x,u_0,v_0,R_i,T_i)-L(I_{\mathrm{ij}},k_1,k_2,p_1,p_2)\left|\right|}^2---\left(3\right)$

(3-6)对所有靶标特征点，利用最优化方法通过最小化公式(3)的数值，得到需标定的参f_x，f_y，u₀，v_0i，k₁，k₂，p₁，p₂，R_i，T_i，将得到的上述摄像机内部参数及靶标在各摆放位置的旋转矩阵R_i和平移向量T_i保存到计算机；

步骤四、光平面标定，包括：

根据每个靶标摆放位置的旋转矩阵R_i和平移向量T_i，确定每幅图像的靶标平面在摄像机坐标系下的平面方程，根据上述步骤二的靶标拓扑关系，旋转矩阵R_i的第三列列向量(r_3i，r_6i，r_9i)^T为靶标平面的法向量，T_i(t_1i，t_2i，t_3i)则为靶标平面上的圆点O_w在摄像机坐标系下的坐标，因此，摄像机坐标系下的靶标平面方程为：

r_3i·x_c+r_6i·y_c+r_9i·z_c＝r_3i·t_1i+r_6i·t_2i+r_9i·t_3i                    (4)

对采集的每一幅靶标图像中的光条进行图像处理，可得到靶标平面上各光条点的像素坐标，根据公式(2)，首先对像素坐标进行去畸变处理，随后根据公式(1)和公式(4)，计算各光条点的摄像机坐标系坐标，随后利用主元素分析法PCA对摄像机坐标系下的光条点集进行空间平面拟合，从而确定摄像机坐标系下的光平面方程ax_c+by_c+cz_c+d＝0，至此，完成光平面标定，将将得到的光平面参数保存到计算机。

与现有技术相比，本发明的有益效果是：

由于本发明基于空间平面约束的线结构光视觉传感器的快速标定方法是通过将设计的二维平面靶标在摄像机视场范围内任意摆放几个位置，采集一组相应的图像，即可一次完成摄像机内部参数和光平面的标定。在光平面标定过程中，利用摄像机成像模型和各位置靶标形成的空间平面提供的约束，可容易地提取到较大数量的线结构光光平面三维点，对三维点集进行基于主元素分析方法的平面拟合，从而得到光平面在摄像机坐标系下的方程。本标定方法操作简单，结果可靠，适合现场标定，能够满足线结构光视觉高精度检测任务的需要。

附图说明

图1-1是一二维平面靶标示意图；

图1-2是图1-1所示二维平面靶标的拓扑关系示意图；

图2是本发明标定方法标定过程示意图；

图3是图2中所示用于完成摄像机标定的线结构光视觉系统的数学模型；

图4是本发明标定方法的流程图；

图5-1、图5-2、图5-3、图5-4、图5-5和图5-6是将靶标摆放多处位置摄像机采集的一组真实图像；

图6-1和图6-2是图2中所示所形成位于光平面的三维点集。

具体实施方式

下面结合附图和一具体实施方式详细描述本发明实现的过程。

如图4所示，本发明基于空间平面约束的线结构光视觉测量传感器的标定方法，包括以下步骤：

首先，设计的二维平面靶标的采集图像如图1-1和图1-2所示，在靶标平面上有矩阵排列的白色特征圆，相邻特征圆的圆心间距D选择为10mm，间距精度为(0.01mm)，特征圆数量m为12～35个，本实施例m＝12，m和D的数值的确定主要是根据具体摄像机视场大小和景深范围确定，对于m和D数值的具体确定属于本技术领域内公知的常识，在此不再赘述。在保证靶标特征圆和位于靶标平面上的线结构光光条都在摄像机视场和景深范围内的前提下，将靶标自由、非平行或共面地摆放n次以上，(n的大小可自由选择，一般不小于5)并采集该组图像，本实施例中n＝6，如图5-1至图5-6所示，采集的不同位置的靶标图像越多，标定的精度会越高，这是不言而喻的。

然后，进行靶标拓扑关系的确定，二维平面靶标的拓扑关系如图1-2所示，标定特征点定义为特征圆的圆心，特征圆阵列中有一个大圆，将其定义为世界坐标系的原点O_w，世界坐标系的O_wX_w轴和O_wY_w轴如图1-2所示，O_wZ_w轴垂直于靶标平面，即为靶标平面的法向量方向。在世界坐标系下，在水平和竖直相邻的两个圆心的距离dx和dy都为10mm，则与O_w(0，0，0)在O_wX_w轴方向上相邻和在O_wY_w轴方向上相邻的圆心的世界坐标系坐标分别为(10，0，0)和(0，10，0)，以此类推，各特征点的世界坐标系坐标都可确定。即，利用图像处理方法一次性提取每一幅靶标图像的特征圆中心点和光条点的图像坐标，保存到计算机。

如图2所示，进行摄像机和光平面标定标定，线结构光视觉测量模型如图3所示，(x_c，y_c，z_c)为光平面上P_c点在摄像机坐标系下的三维坐标，(u，v)和(u_d，v_d)分别为理想像点P_u和实际像点P_d在计算机图像坐标系下的像素坐标，P_c(x_c，y_c，z_c)与(u，v)的转换关系如下：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\·\left[R\right|T]\·\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]---\left(1\right)$

公式(1)中，矩阵A为摄像机的内部参数矩阵；R和T分别为世界坐标系到摄像机坐标系的旋转矩阵和平移向量。

畸变修正公式为：

$\left\{\begin{array}{c}{u}^{\′}=u_d-u_0\\ v^{\′}=v_d-v_0\\ u=u^{\′}\·(1+k_1\·r^2+k_2\·r^4)+2\·p_1\·u^{\′}\·v^{\′}+p_2\·[r^2+2u^{{\′}^2}]+u_0\\ v=v^{\′}\·(1+k_1\·r^2+k_2\·r^4)+2\·p_2\·u^{\′}\·v^{\′}+p_1\·[r^2+{2v}^{{\′}^2}]+v_0\\ r^2=u^{{\′}^2}+v^{{\′}^2}\end{array}\right.---\left(2\right)$

公式(2)中，k₁，k₂，p₁，p₂为畸变系数。

在标定过程中，除了需要确定矩阵A中的8个CCD摄像机内部参数f_x，f_y，u₀，v₀，k₁，k₂，p₁，p₂之外，还需要计算n个靶标摆放位置的世界坐标系和摄像机坐标系的旋转矩阵R_i和平移向量T_i，每个位置靶标m个特征点的世界坐标系坐标记为M_ij(x_w，y_w，0)，与其对应的图像处理得到的像素坐标为I_ij(u_d，v_d)(i＝1，2，...，n；j＝1，2，...，m)，其中：n＝6，m＝12。根据公式(1)，利用M_ij，f_x，f_y，u₀，v₀和R_i，T_i可计算出理想像素坐标，此过程简记为(u_1ij，v_1ij)＝H(M_ij，f_x，f_y，u₀，v₀，R_i，T_i)。根据公式(2)，利用I_ij，k₁，k₂，p₁，p₂同样可计算出理想像素坐标，此过程简记为(u_2ij，v_2ij)＝L(I_ij，k₁，k₂，p₁，p₂)。理论上(u_1ij，v_1ij)和(u_2ij，v_2ij)是相同的，因此可构建最优化计算估计的目标函数为：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|H(M_{\mathrm{ij}},f_x,f_x,u_0,v_0,R_i,T_i)-L(I_{\mathrm{ij}},k_1,k_2,p_1,p_2)\left|\right|}^2---\left(3\right)$

根据公式(3)进行最优化估计的实质是最小化所有靶标特征点，利用最优化方法最小化公式(3)的数值，得到需标定的参数f_x，f_y，u₀，v_0i，k₁，k₂，p₁，p₂，R_i，T_i，即：利用根据公式(1)和公式(2)这两个可用于计算理想像素坐标的过程得到(u_1ij，v_1ij)和(u_2ij，v_2ij)之间距离平方和的表达式——公式(3)，总之，利用最优化方法，将公式(3)的计算值进行最小化，从而得到需标定的参数。

利用已知的M_ij和I_ij，使用Levenberg-Marquardt算法求解计算这一最优化估计过程，即：将每个特征点的世界坐标系坐标(由靶标拓扑关系确定)和相应的图像坐标代入公式(3)进行参数运算，从而完成摄像机内部参数的标定，摄像机内部参数如表1所示，将表1中的数据保存到计算机；由此得到了每个靶标摆放位置的旋转矩阵R_i和平移向量T_i，这是后续的计算光条点三维坐标所必需的参数。

表1.摄像机内部参数

fx	fy	u0	v0	k1	k2	p1	p2
								2025.8396	2020.0804	364.1984	237.5331	-0.24421	-0.46775	-0.005309	-0.000221

进行光平面标定，摄像机标定完成的同时，每个靶标摆放位置的旋转矩阵R_i和平移向量T_i都已计算出来，进而可以确定每幅图像的靶标平面在摄像机坐标系下的平面方程。根据上节介绍的靶标拓扑关系可知，O_wZ_w轴实际是靶标平面的法向量方向，那么只要由世界坐标系下O_wZ_w轴方向的单位向量计算出其在摄像机坐标系下的向量表示即可确定靶标平面在摄像机坐标系下法向量，显而易见地，旋转矩阵R_i的第三列列向量(r₃，r_6i，r_9i)^T为靶标平面的法向量，T_i(t_1i，t_2i，t_3i)则为靶标平面上的圆点O_w在摄像机坐标系下的坐标，因此可确定摄像机坐标系下的靶标平面方程为：

r_3i·x_c+r_6i·y_c+r_9i·z_c＝r_3i·t_1i+r_6i·t_2i+r_9i·t_3i                    (4)

在光平面标定过程中，对采集的每一幅靶标图像中的光条进行图像处理，可得到靶标平面上各光条点的像素坐标，根据公式(2)首先对像素坐标进行去畸变处理，随后根据公式(1)和(4)，可以计算各光条点的摄像机坐标系坐标，之后利用主元素分析法(PrincipleComponent Analysis，PCA)对摄像机坐标系下的光条点集进行空间平面拟合，即：利用摄像机内部参数(表1中示出)代入公式(1)，与公式(4)摄像机坐标系下的靶标平面方程联立，可计算出第一步得到的光条各点的摄像机坐标系坐标，从而形成位于光平面上的三维点集，如图6所示，对该点集进行PCA平面拟合，即可得出光平面在摄像机坐标系下的方程ax_c+by_c+cz_c+d＝0，从而得出光平面参数，光平面参数如表2所示。

表2.光平面参数

a	b	c	d
				-0.808435	0.007043	0.588544	-170.215384

本发明可替代现有的线结构光视觉传感器的标定方法，可应用于现场标定，能够满足线结构光视觉高精度检测任务的需要。

尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保护之内。

Claims (2)

1.一种基于空间平面约束的线结构光视觉测量传感器的标定方法，其特征在于：该标定方法包括以下步骤：

步骤一、采集一组图像，包括：

将一二维平面靶标置于摄像机视场范围内，并采集一组该二维平面靶标不同位置的图像；该组图像包括在靶标平面上有矩阵排列的m个特征圆，其相邻特征圆的圆心间距均为D；在保证靶标和投射在靶标平面上的结构光光条都在摄像机视场和景深范围内的前提下，自由、非平行或共面地摆放靶标n次以上，其中，n≤5，并采集图像，将采集到的图像保存到计算机；

步骤二、确定靶标拓扑关系，包括：

将特征圆的圆心定义为标定特征点，上述矩阵排列的m个特征圆中的一特征圆的圆心定义为世界坐标系的原点O_w，世界坐标系的坐标轴为O_wX_w轴和O_wY_w轴，其中，所述O_wZ_w轴为靶标平面的法向量方向；在上述世界坐标系下，在水平和竖直相邻两个特征圆圆心的距离dx和dy均为D，则与O_w(0，0，0)在O_wX_w轴方向上相邻和在O_wY_w轴方向上相邻的特征圆圆心的世界坐标系坐标分别为(D，0，0)和(0，D，0)，以此类推，确定各标定特征点的世界坐标系坐标，并保存到计算机；

步骤三、摄像机标定，包括：

(3-1)定义线结构光视觉测量模型，其中，(x_c，y_c，z_c)为光平面上P_c点在摄像机坐标系下的三维坐标，(u，v)和(u_d，v_d)分别为理想像点P_u和实际像点P_d在计算机图像坐标系下的像素坐标，P_c(x_c，y_c，z_c)与(u，v)的转换关系如下：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\·\left[R\right|T]\·\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]---\left(1\right)$

公式(1)中，矩阵A为摄像机的内部参数矩阵；R和T分别为世界坐标系到摄像机坐标系的旋转矩阵和平移向量；

畸变修正公式为：

$\left\{\begin{array}{c}{u}^{\′}=u_d-u_0\\ v^{\′}=v_d-v_0\\ u=u^{\′}\·(1+k_1\·r^2+k_2\·r^4)+2\·p_1\·u^{\′}\·v^{\′}+p_2\·[r^2+{2u}^{\′2}]+u_0\\ v=v^{\′}\·(1+k_1\·r^2+k_2\·r^4)+2\·p_2\·u^{\′}\·v^{\′}+p_1\·[r^2+2v^{\′2}]+v_0\\ r^2=u^{\′2}+v^{\′2}\end{array}\right.---\left(2\right)$

公式(2)中，k₁，k₂，p₁，p₂为畸变系数；

(3-2)确定CCD摄像机内部参数，包括f_x，f_y，u₀，v₀，k₁，k₂，p₁，p₂，并计算所述n个靶标摆放位置的世界坐标系和摄像机坐标系的旋转矩阵R_i和平移向量T_i，每个位置靶标m个特征点的世界坐标系坐标记为M_ij(x_w，y_w，0)，与其对应的图像处理得到的像素坐标为I_ij(u_d，v_d)(i＝1，2，...，n；j＝1，2，...，m)；

(3-3)根据公式(1)，利用M_ij，f_x，f_y，u₀，v₀和R_i，T_i计算出理想像素坐标，其表达式为：(u_1ij，v_1ij)＝H(M_ij，f_x，f_y，u₀，v₀，R_i，T_i)；

(3-4)根据公式(2)，利用I_ij，k₁，k₂，p₁，p₂计算出理想像素坐标，其表达式为：(u_2ij，v_2ij)＝L(I_ij，k₁，k₂，p₁，p₂)；

(3-5)设：(u_1ij，v_1ij)和(u_2ij，v_2ij)相同，因此，构建最优化计算估计的目标函数为：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|H(M_{\mathrm{ij}},f_x,f_x,u_0,v_0,R_i,T_i)-L(I_{\mathrm{ij}},k_1,k_2,p_1,p_2)\left|\right|}^2---\left(3\right)$

(3-6)对所有靶标特征点，利用最优化方法通过最小化公式(3)的数值，得到需标定的参数f_x，f_y，u₀，v_0i，k₁，k₂，p₁，p₂，R_i，T_i，将得到的上述摄像机内部参数及靶标在各摆放位置的旋转矩阵R_i和平移向量T_i保存到计算机；

步骤四、光平面标定，包括：

根据每个靶标摆放位置的旋转矩阵R_i和平移向量T_i，确定每幅图像的靶标平面在摄像机坐标系下的平面方程，根据上述步骤二的靶标拓扑关系，旋转矩阵R_i的第三列列向量(r_3i，r_6i，r_9i)^T为靶标平面的法向量，T_i(t_1i，t_2i，t_3i)则为靶标平面上的圆点O_w在摄像机坐标系下的坐标，因此，摄像机坐标系下的靶标平面方程为：

r_3i·x_c+r_6i·y_c+r_9i·z_c＝r_3i·t_1i+r_6i·t_2i+r_9i·t_3i             (4)

对采集的每一幅靶标图像中的光条进行图像处理，可得到靶标平面上各光条点的像素坐标，根据公式(2)，首先对像素坐标进行去畸变处理，随后根据公式(1)和公式(4)，计算各光条点的摄像机坐标系坐标，随后利用主元素分析法PCA对摄像机坐标系下的光条点集进行空间平面拟合，从而确定摄像机坐标系下的光平面方程ax_c+by_c+cz_c+d＝0，至此，完成光平面标定，将将得到的光平面参数保存到计算机。

2.根据权利要求1所述基于空间平面约束的线结构光视觉测量传感器的标定方法，其特征在于：所述特征圆的个数m为12～35个，其相邻特征圆的圆心间距D为10mm，间距精度为0.01mm。

Images