CN104376553B - 一种基于移动相机和双靶标的单轴旋转角的视觉测量方法 - Google Patents

Abstract

一种基于移动相机和双靶标的单轴旋转角的视觉测量方法，其实现步骤如下：步骤一：普通相机标定；步骤二：绕轴旋转运动外参数初值求取；步骤三：对内参数p_in和外参数p_out,p_cam进行非线性优化；步骤四：利用标定的内外参数，求取旋转角度。本发明解决了现有视觉测角方法中靶标安装困难，及在测角过程中靶标容易被遮挡的难题。该方法，通过手持相机拍摄两个二维靶标的图像，从而对相机内外参数和两个靶标与轴的几何关系进行标定，进而测量旋转角。

Description

一种基于移动相机和双靶标的单轴旋转角的视觉测量方法

技术领域

本发明涉及一种基于移动相机和双靶标的单轴旋转角的视觉测量方法，属于视觉测量技术领域。

背景技术

角位移测量广泛应用于工业、航空航天等领域。由于在恶劣的环境中，角位移传感器的电气、机械等参数会发生变化，因此需要定期对其进行标定矫正。视觉测量技术因具有结构简单，非接触实时测量，现场安装和调试方便等优点而备受青睐。现有的视觉的方法大都对靶标的安装有一定要求，使用不便；而且，在很多场合下，测角过程中还会出现遮挡等问题。因此，本专利申请提出了一种基于移动相机和双靶标的单轴旋转角的视觉测量方法。该方法对靶标的安装没有任何要求，且相机为手持，可以变换方位，获得较好的拍摄角度，因此不存在遮挡的问题。

发明内容

本发明提出了一种基于移动相机和双靶标的单轴旋转角的视觉测量方法，它是一种基于移动相机和双靶标的单轴旋转角的视觉测量方法。它解决了现有视觉测角方法中靶标安装困难，及在测角过程中靶标容易被遮挡的难题。该方法，通过手持相机拍摄两个二维靶标的图像，从而对相机内外参数和两个靶标与轴的几何关系进行标定，进而测量旋转角，该方法对靶标安装没有任何要求，可以将靶标固定到任意位置，同时可以有效避免遮挡。本发明采用的摄像机模型为非线性透视投影模型，模型描述如下：

1.线性摄像机模型

如图(1)所示，空间任何一点P在图像中的成像位置可以用针孔成像模型近似表示，即点P在图像中的投影位置p，为光心O与点P的连线与图像平面的交点。因而世界坐标系下P点坐标(X_w,Y_w,Z_w)^T与投影点p的像素坐标(u,v)^T之间的关系如下：

其中α_x＝f/dX为u轴上的尺度因子，α_y＝f/dY为v轴上的尺度因子。α_x,α_y,u₀,v₀只与摄像机内部参数有关，称为摄像机的内参数。R_cw,T_cw分别为相机坐标系与世界坐标系的旋转矩阵和平移向量，称为摄像机的外部参数。

1.非线性摄像机模型

实际上，镜头并不是理想的透视成像，而是带有一定程度的畸变。本发明采用的是非线性畸变模型，由世界坐标(X_w,Y_w,Z_w)^T求取像素坐标(u,v)^T的过程如下：

x＝X_c/Z_c,y＝Y_c/Z_c,r²＝x²+y², (1.3)

其中，k₁,k₂,k₃,k₄,k₅为畸变系数。α_x,α_y,u₀,v₀,k₁,k₂,k₃,k₄,k₅构成摄像机的内参数，R_cw,T_cw为摄像机的外参数。

为描述方便，我们记u,v为p_in＝(α_x,α_y,u₀,v₀,k₁,k₂,k₃,k₄,k₅)^T,R_cw,T_cw,X_w,Y_w,Z_w的函数，即

u＝f_u(p_in,R_cw,T_cw,X_w,Y_w,Z_w),v＝f_v(p_in,R_cw,T_cw,X_w,Y_w,Z_w) (1.6)

本发明所使用的设备包括两个二维棋盘格靶标和一个内参固定的相机。靶标1固定在旋转部件上，随旋转部件绕轴旋转，且靶标点个数为n₁；靶标2位置固定，在旋转部件旋转时，位姿不变，靶标点个数为n₂；相机内参固定，可以手持进行拍照，拍照时可以任意改变拍摄方位，要求两靶标始终在相机视野内。本发明所建立的世界坐标系如图(2)，取转轴为z轴，靶标1的原点O_b在x轴上。初始位置靶标1坐标系与世界坐标系之间的旋转矩阵和平移向量为靶标2坐标系与世界坐标系之间的旋转矩阵和平移向量为R_wt,T_wt.

本发明所提出的方法包括两步：内外参数信息标定和任意角度求解。内外参数信息标定是在普通相机标定的基础上，利用绕轴旋转运动坐标系之间的特殊几何关系，求取所需要的外部参数信息的过程。任意角度求解则是根据已求得的内外参数信息求取旋转角的过程。

综上所述，本发明是一种基于移动相机和双靶标的单轴旋转角的视觉测量方法，其实现步骤如下：

步骤一：普通相机标定

在具体实现过程中，我们利用二维棋盘格(如图4)作为靶标。我们采用的图片序列，包含一张基准位置时的图片和m张旋转部件旋转到不同角度时的图片。假设这m个角度用θ₁,θ₂,...,θ_m表示。由于每张图片上有2个靶标的图像，因此在进行普通相机标定时，参与的位姿数目为2(m+1)个。接下来，可以利用MATLAB 2014a自带的棋盘格角点提取函数detectCheckerboardPoints进行角点提取，并结合MATLAB标定工具进行普通相机标定,求得内参数p_in和2(m+1)位姿的外部参数。该标定工具箱，可以在http://www.vision.caltech.edu/bouguetj/calib_doc/上下载。这些外部参数可以表示为

其中，表示在旋转角为θ_i时，相机与靶标1之间的旋转矩阵与平移向量，i＝0时表示，基准位置；表示在旋转角为θ_i时，相机与靶标2之间的旋转矩阵与平移向量.

步骤二：绕轴旋转运动外参数初值求取

1、我们根据步骤一中求得的外参数，求取靶标1在不同角度时，相对于基准时靶标1的旋转矩阵和平移向量

求解过程如下：

首先求取对于每个θ_i，靶标1相对于靶标2的旋转矩阵和平移向量这个量可以由下式给出

然后可以根据(1.8)求得

2、求取t及θ_i初值：由射影几何的知识可知，绕轴旋转的两帧图像之间满足如下关系：

其中，r₁,r₂,r₃分别为的第1,2,3列，[t]_×定义为

根据式(1.9)，可以求得

其中，S_i,j表示矩阵S第i行j列的元素。r₁为下式的解

上式可以通过对作SVD分解求得，若则x为V的第三列。然后，可以得到

θ_i＝2arctan((A^TA)^-1(A^TB)), (1.13)

其中这里的vec(·)表示矩阵的拉直。所以，

3、根据求得的t及θ_i初值求解R_wt,T_wt及在每个θ_i时，相机坐标系与世界坐标系的旋转矩阵和平移向量根据坐标转换关系，有

步骤三：对内参数p_in和外参数p_out,p_cam进行非线性优化。这里p_in∈R⁹,p_out∈R¹⁰,p_in＝[α_x,α_y,u₀,v₀,k₁,k₂,k₃,k₄,k₅]^T,其中，分别为所对应的Rodrigues向量。一个Rodrigues向量v与其对应的旋转矩阵R间的转换关系如下

其中，I₃表示3阶的单位矩阵。

对各图像点的坐标作如下标记：靶标1上，在旋转角为θ_i时，对应于第j个靶标特征点的角点坐标记为靶标1上的点记为

靶标2上，在旋转角为θ_i时，对应于第j个靶标特征点的角点坐标记为

相应的靶标上的点记为

由于图像提取过程中是存在误差的，因此，可以选取图像的重投影误差和作为优化目标。对于靶标1来说，由靶标点及p_out，获取重投影点的过程如下：

1、根据式(1.20)，旋转角为θ_i时，靶标点转化为世界坐标系下的点

2、根据式(1.6)，求取相应的重投影点

同样的，对于靶标2，由靶标点及p_out，获取重投影点的过程如下：

1、根据下式，求取靶标点转化为世界坐标系下点

2、根据式(1.6)，求取相应的重投影点

重投影误差定义为

优化问题可以描述为

该优化问题可以利用稀疏的Levenberg-Marquardt算法来解决优化问题，稀疏LM算法的优化工具箱可以在http://users.ics.forth.gr/～lourakis/sparseLM/上下载。利用上述优化，获得t,R_wt,T_wt的信息，这些信息将用于步骤四的旋转角度求取。

步骤四：利用标定的内外参数，求取旋转角度。

测量旋转角时，首先用手持相机，拍摄一张靶标1旋转到一定角度的照片，并利用MATLAB自带的detectCheckeboardPoints函数提取棋盘格角点。其中，靶标1上的角点记为

靶标2上的角点记为

求取旋转角度的方法包括两步：

1、初值求解

我们要求取的初值为相机与世界坐标系的旋转矩阵R_cw和平移向量T_cw以及旋转角θ.

首先，根据RPnP算法，求得相机与靶标1的旋转矩阵R_cb和平移向量T_cb，以及相机与靶标2的旋转矩阵R_ct和平移向量T_ct。RPnP算法可以在http://xuchi.weebly.com/rpnp.htm上下载得到。

然后，利用已有的信息，求得

旋转角可以通过下面两个式子求得

其中T_bw(i)表示T_bw的第i个分量

2、非线性优化

在求得初值后，可以通过非线性优化进一步优化角度值。优化目标为重投影误差和，优化量为和θ,其中O_cw为R_cw的Rodrigues向量.优化问题表述为

该优化问题可以通过LM算法来求解。该算法可以用MATLAB自带lsqnonlin函数进行实现。

优点与功效：

本发明是一种基于移动相机和双靶标的单轴旋转角的视觉测量方法，它是一种利用单目相机和两个二维棋盘格对单轴旋转角进行测量的方法，其优点在于，它解决了现有视觉测角方法中靶标安装困难，及在测角过程中靶标容易被遮挡的难题。本发明采用二维靶标作为标定特征物，通过优化算法，可以测量绕轴旋转运动的旋转角。该方法具有安装过程简单，标定精度高，成本低廉，可以有效避免遮挡情形等优点。

附图说明

图1：针孔成像模型示意图。

图2：靶标安装示意图。

图3：不同像素误差下角度误差仿真结果图。

图4：实际实验使用的二维棋盘格图片。

图5：本发明流程框图。

图中符号说明如下：

图1中的符号说明：O表示摄像机光心,O₁表示图像坐标系原点。X,Y表示图像坐标系的坐标轴，x,y,z表示摄像机坐标系的坐标轴。P(X_w,Y_w,Z_w)表示三维点在摄像机坐标系下的坐标,p表示点P在图像上的投影。

图2中的符号说明：世界坐标系为O_w-X_wY_wZ_w，其中Z_w轴为旋转轴；靶标2的靶标坐标系为O_t-X_tY_tZ_t；靶标1在基准位置的坐标系为当靶标1绕Z_w轴旋转θ_i后，靶标坐标系变为相机坐标系在旋转角为θ_i时，为

具体实施方式

见图1—图5，本发明提供了一种基于移动相机和双靶标的单轴旋转角的视觉测量方法，它是一种利用单目相机对绕轴旋转运动的旋转角进行实时精确测量的方法，并进行了仿真实验和真实实验验证。

仿真实验

仿真环境设置：仿真实验是在主频3.07GHz、内存4.00GB的计算机上，Windows XP环境下的MATLAB 2014a上进行的。仿真所用的摄像机模型为二阶畸变模型，各参数如下：

α_x＝782.5109,α_y＝782.9155,u₀＝357.3909,v₀＝264.5240

k₁＝-0.4232,k₂＝0.2664,k₃＝-0.000555,k₄＝-0.0031,k₅＝0

靶标为6×8的棋盘格，单个棋盘格长度为39.5mm×39.5mm。仿真实验主要验证了标定算法的稳定性和高精度。根据设定的内参数，及位姿，获取

转动时选取的角度为(单位是度)

θ_i＝2.5i.

仿真步骤如下：

步骤一：根据角点的坐标，利用MATLAB标定工具箱，获取内参数的初值，结果如下(标定内参图像噪声为2像素)：

α_x＝774.34147,α_y＝773.91064,u₀＝349.58372,v₀＝269.85450

k₁＝-0.43943,k₂＝0.33274,k₃＝-0.00222,k₄＝-0.00206,k₅＝0

步骤二：根据内外参数初值，确定单轴旋转运动的外部参数。

步骤三：根据内外参数初值，非线性优化。

步骤四：随机选取100个角度，并测量。

上述步骤中列举了一次实验的结果，为了验证算法的鲁棒性。我们在图像点中添加均值为μ＝0，标准差σ＝0～2个像素的高斯白噪声，取100次实验角度误差的均值作为结果。图3显示了仿真结果。结果显示，即使加入了标准差为2个像素的高斯白噪声，仍能得到角度误差均值小于1度的结果。

真实实验

为了进一步验证本发明的可行性，我们进行了真实实验验证。我们采用的两个靶标均为将棋盘格打印在A3纸上，靶标1大小为6×9，靶标大小为6×7，如图4所示。实验所使用的相机的分辨率为658×492像素，焦距为800左右。采用的验证工具为，一个精确控制的转台，转台精度为0.01°.测量结果如表1所示。结果显示，使用比较简单的设备，我们的测角方法可以得到比较精确的角度值，角度误差小于0.7°.

表3.真实实验旋转角度估计结果

	1	2	3	4	5	6	7	8	9	10
											转台值	0.00	3.60	5.40	7.20	9.00	10.80	12.60	14.40	16.20	18.00
测量值	0.00	3.68	5.49	7.33	9.15	10.82	12.79	14.65	16.51	18.30
											误差值	0.00	0.08	0.09	0.13	0.15	0.02	0.19	0.25	0.31	0.30
	11	12	13	14	15	16	17	18	19	20
											转台值	82.80	-102.60	21.60	-16.20	-30.60	-61.20	-81.00	19.80	25.20	27.00
测量值	83.45	-102.59	21.96	-16.30	-30.83	-61.34	-80.98	19.96	25.56	27.49
											真值	0.65	0.01	-0.36	-0.10	-0.23	-0.14	0.02	-0.16	0.36	0.49

Claims (1)

1.一种基于移动相机和双靶标的单轴旋转角的视觉测量方法，其特征在于：实现步骤如下：

步骤一：普通相机标定；

在具体实现过程中，利用二维棋盘格作为靶标；采用的图片序列，包含一张基准位置时的图片和m张旋转部件旋转到不同角度时的图片；假设这m个角度用θ₁,θ₂,...,θ_m表示，由于每张图片上有2个靶标的图像，因此在进行普通相机标定时，参与的位姿数目为2(m+1)个；接下来，利用MATLAB 2014a自带的棋盘格角点提取函数detectCheckerboardPoints进行角点提取，并结合MATLAB标定工具进行普通相机标定,求得内参数p_in和2(m+1)位姿的外部参数；这些外部参数表示为：

其中，表示在旋转角为θ_i时，相机与靶标1之间的旋转矩阵与平移向量，i＝0时表示，基准位置；表示在旋转角为θ_i时，相机与靶标2之间的旋转矩阵与平移向量；

步骤二：绕轴旋转运动外参数初值求取；

2.1、根据步骤一中求得的外参数，求取靶标1在不同角度时，相对于基准时靶标1的旋转矩阵和平移向量

求解过程如下：

首先求取对于每个θ_i，靶标1相对于靶标2的旋转矩阵和平移向量这个量由下式给出

然后根据式(1)求得

2.2、求取及θ_i初值：由射影几何的知识知，绕轴旋转的两帧图像之间满足如下关系：

其中，r₁,r₂,r₃分别为的第1,2,3列，[t]_×定义为

根据式(3)，求得

其中，S_i,j表示矩阵S第i行j列的元素；r₁为下式的解

上式通过对作SVD分解求得，若则x为V的第三列；然后，得到

θ_i＝2arctan((A^TA)^-1(A^TB)), (7)

其中这里的vec(·)表示矩阵的拉直；所以，

2.3、根据求得的t及θ_i初值求解R_wt,T_wt及在每个θ_i时，相机坐标系与世界坐标系的旋转矩阵和平移向量根据坐标转换关系，有

步骤三：对内参数p_in和外参数p_out,p_cam进行非线性优化；这里p_in∈R⁹,p_out∈R¹⁰,

p_in＝[α_x,α_y,u₀,v₀,k₁,k₂,k₃,k₄,k₅]^T,其中，分别为所对应的Rodrigues向量；一个Rodrigues向量v与其对应的旋转矩阵R间的转换关系如下

其中，I₃表示3阶的单位矩阵；

对各图像点的坐标作如下标记：靶标1上，在旋转角为θ_i时，对应于第j个靶标特征点的角点坐标记为靶标1上的点记为

靶标2上，在旋转角为θ_i时，对应于第j个靶标特征点的角点坐标记为

相应的靶标上的点记为

由于图像提取过程中是存在误差的，因此，选取图像的重投影误差和作为优化目标；对于靶标1来说，由靶标点及p_out，获取重投影点的过程如下：

3.1、根据式(1.4)，旋转角为θ_i时，靶标点转化为世界坐标系下的点

3.2、根据式(1.5)和(1.6)，求取相应的重投影点

同样的，对于靶标2，由靶标点及p_out，获取重投影点的过程如下：

3.3、根据下式，求取靶标点转化为世界坐标系下点

3.4、根据式(1.5)和(1.6)，求取相应的重投影点

重投影误差定义为

优化问题描述为

该优化问题利用稀疏的Levenberg-Marquardt算法来解决优化问题，获得t,R_wt,T_wt的信息，这些信息将用于步骤四的旋转角度求取；

步骤四：利用标定的内外参数，求取旋转角度；

测量旋转角时，首先用手持相机，拍摄一张靶标1旋转到一定角度的照片，并利用MATLAB自带的detectCheckeboardPoints函数提取棋盘格角点，其中，靶标1上的角点记为

靶标2上的角点记为

求取旋转角度的方法包括两步：

4.1、初值求解

要求取的初值为相机与世界坐标系的旋转矩阵R_cw和平移向量T_cw以及旋转角θ；

首先，根据RPnP算法，求得相机与靶标1的旋转矩阵R_cb和平移向量T_cb，以及相机与靶 标2的旋转矩阵R_ct和平移向量T_ct；然后，利用已有的信息，求得

旋转角通过下面两个式子求得

其中T_bw(i)表示T_bw的第i个分量；

4.2、非线性优化

在求得初值后，通过非线性优化进一步优化角度值；优化目标为重投影误差和，优化量为和θ,其中O_cw为R_cw的Rodrigues向量；优化问题表述为

该优化问题通过LM算法来求解，该算法用MATLAB自带lsqnonlin函数进行实现。