CN103439981A - 基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法 - Google Patents

Abstract

本发明公开了一种基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法。采用图像雅克比矩阵在线辨识的方法，建立了激光标记与试样标记的实际距离即激光标记的跟踪位移量到图像空间跟踪位移量的映射关系，通过Karman滤波器辨识出雅克比矩阵与两标记中心点像素距离差计算出控制量，控制伺服电机带动五棱镜旋转，实现激光标记对试样标记的自动跟踪，拉伸过程中的激光标记位移量即为试样形变量。本发明不仅避免了现有视频引伸计的摄像机标定环节及由此引入的测量误差；而且实现了激光标记对试样标记的精密全程跟踪，抗环境干扰能力强，跟踪精度高。

Description

基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法

技术领域

本发明涉及自动跟踪控制方法，尤其是涉及一种基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法。

背景技术

材料变形测量是表征材料性能的基础。视频引伸计因采用非接触式测量方式，几乎适用于大部分材料变形测量且测量精度高，已成为材料变形测量的主要工具。目前，视频引伸计一般是在被测试样的上、下端口印制标记，在拉伸过程中实时跟踪上、下两标记的位移，然后根据数字图像处理方法获得两者的位移差即为图像空间中材料形变量，最后采用相机标定技术转换为材料的实际形变量。对视频引伸计中相机标定处理方式大致分两类情况：一类是相机未标定的测量方法：由于相机标定过程繁琐复杂，使用视频引伸计测量材料变形量时省略相机标定过程，用图像空间中的材料形变量代替实际运动空间中的材料形变量，该方法不能获得材料的真实变形量，测量结果存在误差；另一类是相机标定的测量方法：在材料变形量测量时，采用各种相机标定技术完成相机标定过程，实现材料实际形变量的计算，其中以张正友标定法为典型代表，利用多幅标定平面模板实现对相机内外参数的标定，再利用此内外参数获得材料的实际形变量。但这些方法需要设计相机标定模板和标定算法，且在重复实验中相机位置、焦距等参数会发生改变，因此需重新标定，这使得测量过程繁琐复杂且引入误差。

发明内容

针对基于激光标记自动跟踪视频引伸计需要高精度的自动跟踪控制，本发明的目的在于提供一种基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法，采用Karman滤波器对图像雅克比矩阵进行在线辨识，建立激光标记与试样标记的实际运动空间中距离差与图像空间中距离差的映射关系，控制伺服电机带动五棱镜旋转，实现激光标记对试样标记的实时精密跟踪。

本发明解决其技术问题所采用技术方案的步骤如下：

（1）采用数字图像处理方法分别求得试样标记中心点在图像空间中的k-1和k时刻的坐标(u₀(k-1),v₀(k-1))、(u₀(k),v₀(k))，再采用一阶预估方法求得试样标记中心点在图像空间中k+1时刻的坐标为：

${\hat{f}}^{\#}(k+1)=f^{\#}\left(k\right)+(f^{\#}\left(k\right)-f^{\#}(k-1))=2f^{\#}\left(k\right)-f^{\#}(k-1)=(u_0(k+1),{2v}_0\left(k\right)-v_0(k-1))$

公式中f^#(k)、f^#(k-1)分别为试样标记中心点在图像空间中k和k-1时刻坐标，

为试样标记中心点在图像空间中k+1时刻坐标预估值，u₀(k)、v₀(k)分别为k时刻试样标记中心点在图像空间中的横坐标和纵坐标，k=1，…,n；

（2）试样标记中心点的图像空间中k+1时刻的坐标可设为：f^#(k+1)＝(u₀(k+1),v₀(k+1))，即为k时刻激光标记中心点的期望坐标，同时采用数字图像处理方法获取当前k时刻激光标记中心点在图像空间中的坐标f^g(k)＝(u_g(k),v_g(k))，那么，激光标记和试样标记在同一竖直方向上的横坐标为u₀(k+1)＝u_g(k)，坐标误差为：

$f_{\mathrm{error}}\left(k\right)={\hat{f}}^{\#}(k+1)-f^g\left(k\right)=(0,v_0(k+1)-v_g\left(k\right))=(0,{2v}_0\left(k\right)-v_0(k-1)-v_g\left(k\right))$

公式中f_error(k)为激光标记和试样标记中心点在图像空间中k时刻坐标差，f^g(k)为激光标记中心点在图像空间中的坐标，u_g(k)、v_g(k)分别为激光标记中心点在图像空间中的横坐标和纵坐标，k=0，…,n；

（3）通过Karman滤波器观测出f_error(k)从图像空间到实际运动空间映射关系的雅克比矩阵J(k)；

（4）根据公式 $\stackrel{.}{P}=J{\left(k\right)}^{-1}\·f_{\mathrm{error}}\left(k\right)={J\left(k\right)}^{-1}\·{(0,v_0(k+1)-v_g\left(k\right))}^T$ 计算出激光标记实际空间中的位移量

为雅克比矩阵J(k)的逆；

（5）根据公式

计算出实际控制量P_error控制伺服电机转速，带动五棱镜旋转，使激光标记在试样上扫描P_error位移量，实现激光标记对试样标记的自动跟踪，系数K为伺服电机速度响应约束参数，取

为2*1矩阵中的数值，避免控制响应产生的超调。

2、根据权利要求1所述的一种基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法，其特征在于：所述的数字图像处理方法：

（a）利用CCD获取试样图像，经图像采集卡输入计算机，进行归一化处理得到M×N的试样图像，M为图像宽度，N为图像高度；

（b）采用几何均值滤波方法对M×N的试样图像进行滤波处理，减少高斯噪声的干扰；

（c）采用sobel算子对滤波处理后的试样图像进行边缘检测，得到了试样、试样标记和激光标记的相对位置，圈定了图像处理范围，从而降低了图像处理难度；

（d）采用hough变换对步骤（c）中得到的处理范围进行检测，识别出试样标记和激光标记；

（e）根据识别出的试样标记横纵坐标的最大、最小值计算图像空间中试样标记中心点的坐标；

（f）根据识别出的激光标记横纵坐标的最大、最小值计算图像空间中激光标记中心点的坐标；

即完成激光标记对试样标记的实时精确跟踪。

本发明具有的有益效果是：

（1）基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法，采用图像雅克比矩阵方法建立实际运动空间中激光标记的跟踪位移量到图像空间跟踪位移量的映射关系，并采用Karman滤波器对图像雅克比矩阵在线辨识，避免了现有视频引伸计的摄像机标定环节及由此引入的测量误差。

（2）基于视觉反馈的激光标记自动跟踪控制算法，通过图像上的激光标记与试样标记间的距离差设计实际控制律，驱动被控对象五棱镜以不同速度旋转，实现激光标记对试样标记的实时精密跟踪，抗环境干扰能力强，跟踪精度高。

附图说明

图1是基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法框图。

图2是基于激光标记自动跟踪视频引伸计测量原理图。

图3是激光标记自动跟踪的视频引伸计的数字图像处理方法流程图。

图中：1：激光器，2：分划板；3：五角棱镜，4：伺服电机与驱动器，5：计算机，6：图像采集卡，7：CCD，8：激光标记9：试样标记，10：试样。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

基于激光标记自动跟踪的材料变形测量装置，如图2所示（见发明专利ZL201110197130.5），本发明将该装罝又称为视频引伸计，它主要包括激光扫描自动跟踪控制系统（由激光器1、分划板2、五棱镜3、伺服电机与驱动器4组成）、计算机5、图像采集卡6、CCD7、激光标记8、试样标记9和试样10等部分。系统工作时，CCD固定在被测试样标记的正前方，记录同一平面内激光标记与试样标记的运动轨迹，伺服电机驱动五棱镜转动，使激光标记跟踪试样标记完成材料变形量的测量。

在计算机（型号：Lenovo s520）中实现的激光标记和试样标记提取的数字图像处理方法，如图3所示，具体实现步骤如下：

（1）利用CCD（型号：OK_AC1300）获取试样图像，经图像采集卡（型号：OK_RGB20B）输入计算机，进行归一化处理得到600×256的试样图像，600为图像宽度，256为图像高度；

（2）采用公式（1）几何均值滤波方法对600×256的试样图像进行滤波处理，减少高斯噪声的干扰；

$\hat{f}(x,y)={\left[\underset{(s,t)\∈S}{\mathrm{\Π}}g(s,t)\right]}^{\frac{1}{3\×3}}---\left(1\right)$

式中：S表示中心在（x,y）点，尺寸为3×3的矩形子图像窗口的坐标组，x和y分别表示中心点的横纵坐标。g(s,t)表示为原图的像素值，s和t分别为子图像窗口内的像素点的横纵坐标，

表示复原图像的像素值。几何均值滤波器在达到和算术均值滤波器相同平滑度时，丢失的图像细节更少。

（3）选用如下所示的sobel算子模板对滤波处理后的试样图像进行边缘检测，得到了试样、试样标记和激光标记的相对位置，圈定了图像处理范围，从而降低了图像处理难度；

sobel算子模板：

-1	-2	-1
			0	0	0
1	2	1

（4）采用hough变换对步骤（3）中得到的处理范围按照公式（2）进行直线检测，识别出试样标记和激光标记；

ρ＝x·cosθ+y·sinθ   （2）

式中：x和y分别为直角坐标系下一像素点的横纵坐标，sinθ和cosθ分别为（x，y）像素点在极坐标系下对应的极角的正弦值和余弦值，ρ为（x，y）像素点在极坐标系下对应的半径；根据试样图像中试样标记和激光标记的图像特点,选取-9≤ρ≤9和-3≤θ≤3检测直线，根据检测到的点在图像域中绘出直线即为试样标记和激光标记；

（5）根据识别出的试样标记横纵坐标的最大、最小值计算图像空间中试样标记中心点的坐标；

（6）根据识别出的激光标记横纵坐标的最大、最小值计算图像空间中激光标记中心点的坐标。

基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法，如图1所示，具体实现步骤如下：

（1）试样被试验机（型号：WDW-E100）匀速拉伸，试样标记随之向上运动，采用数字图像处理方法，分别求得k和k-1时刻图像空间中试样标记坐标(u₀(k),v₀(k))、(u₀(k-1),v₀(k-1))，再采用一阶预估方法求得k+1时刻图像空间中的试样标记坐标为：

${\hat{f}}^{\#}(k+1)=f^{\#}\left(k\right)+(f^{\#}\left(k\right)-f^{\#}(k-1))=2f^{\#}\left(k\right)-f^{\#}(k-1)=(u_0(k+1),{2v}_0\left(k\right)-v_0(k-1))$

（2）通过数字图像处理方法再求取k时刻图像空间中激光标记坐标f^g(k)＝(u_g(k),v_g(k))，设k时刻实际运动空间激光标记坐标为(x_w(k),y_w(k),0)，故激光标记在x-o-y平面实际运动空间坐标可表示为P(k)＝(x_w(k),y_w(k))。因此，采用图像雅克比矩阵建立激光标记图像空间位移量与实际运动空间位移量的微分关系：

$\stackrel{.}{f^g}=J\·\stackrel{.}{P}---\left(3\right)$

即为当前激光标记实际运动空间位置变化与其对应图像空间位置变化之间的比例关系。式中

为图像空间中激光标记坐标的导数，

为实际运动空间中激光标记坐标的导数，x_w(k)、y_w(k)分别为激光标记中心点在实际运动空间中的横坐标和纵坐标，k=0，…,n；J为雅克比矩阵，即为：

$J=\left(\begin{array}{cc}\frac{\∂u_g}{\∂x_w}& \frac{\∂u_g}{\∂y_w}\\ \frac{{\∂v}_g}{{\∂x}_w}& \frac{{\∂v}_g}{{\∂y}_w}\end{array}\right)---\left(4\right)$

式中：

和

分别表示为图像空间中激光标记的横坐标对实际运动空间中激光标记横纵坐标的偏导数，

和

分别表示为图像空间中激光标记的纵坐标对实际运动空间中激光标记横纵坐标的偏导数，J是相机观察激光标记运动的雅克比矩阵，它与激光标记的当前位置和相机的内外参数有关。采用针孔模型描述相机的成像投影关系，即：

$\left\{\begin{array}{c}{u}_g=f\frac{X_c}{Z_c}\\ v_g=f\frac{Y_c}{Z_c}\end{array}\right.---\left(5\right)$

式中（X_c，Y_c，Z_c）为激光标记在摄像机坐标系中的坐标，f为摄像机的焦距，u_g和v_g为激光标记图像空间中任意时刻横纵坐标。激光标记实际运动空间坐标到摄像机坐标的变换关系式如下：

$\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right)=R\·\left(\begin{array}{c}{x}_w\\ y_w\\ 0\end{array}\right)+T---\left(6\right)$

式中： $R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$ 为旋转矩阵，r_ij(i=1,2,3；j=1,2,3)为旋转矩阵R中的数值表示符号，T为平移矩阵，x_w和y_w为激光标记在实际运动空间中任意时刻的横纵坐标。

由式（3）、（5）、（6）得公式（7）：

$J=\frac{1}{Z_c}\·\left(\begin{array}{cc}f\·r_{11}-u_g\·r_{31}& f\·r_{12}-u_g\·r_{12}\\ f\·r_{21}-v_g\·r_{31}& f\·r_{22}-v_g\·r_{32}\end{array}\right)---\left(7\right)$

可见，在跟踪过程中激光标记运动引起Z_c,u_g,v_g的变化，从而J矩阵随之变化，故需设计J矩阵的在线估计算法；

（3）采用Karman滤波器实现对J的在线辨识，将待估计的雅克比矩阵参数作为控制响应状态，对雅克比矩阵J的估计将转变为对控制响应状态x的观测：

定义控制响应状态x为一个四维矢量，包含雅克比矩阵J的全部参数，即：

$x=\left(x_1{x}_2{x}_3{x}_4\right)=\left(\frac{{\∂u}_g}{{\∂x}_w}\frac{{\∂u}_g}{{\∂y}_w}\frac{{\∂v}_g}{{\∂x}_w}\frac{{\∂v}_g}{{\∂y}_w}\right).$

状态方程如下：

x(k+1)=x(k)+ω(k)

z(k)=f^g(k+1)-f^g(k)=H(k)·x(k)+ψ(k)   (8)

式中：ω(k)，ψ(k)分别为状态噪声和观察噪声， $H\left(k\right)={\left[\begin{array}{cc}\mathrm{\Δp}{\left(k\right)}^T& 0\\ 0& \mathrm{\Δp}{\left(k\right)}^T\end{array}\right]}_{2*4},$ Δp(k)^T表示激光标记在实际运动空间中k时刻的坐标变换量矩阵的转置，x(k)和x(k+1)分别为k和k+1时刻的控制响应状态，z(k)为激光标记在图像空间中k时刻对应的位移差。

建立Karman滤波递推公式，即：

$\left\{\begin{array}{c}Q(k+1)=P\left(k\right)+R_1\\ K(k+1)=Q(k+1)\·H^T\left(k\right)\·{[H\left(k\right)\·Q(k+1)\·H^T\left(k\right)+R_2]}^{-1}\\ P(k+1)=[I-K(k+1)\·H\left(k\right)]\·Q(k+1)\\ \hat{x}(k+1)=\hat{x}\left(k\right)+K(k+1)\·[z(k+1)-H\left(k\right)\·\hat{x}\left(k\right)]\end{array}\right.---\left(9\right)$

式中：Q(k+1)、P(k)和K(k+1)分别为公式的过渡参数符号表示，无实际意义，R₁、R₂为噪声方差阵，取R₁＝0.8×I₄,R₂＝0.8×I₂，P(k)的初始值取P(0)＝10⁶×I₄（I_n为n维单位矩阵），H^T(k)为H(k)的转置，

和

分别为x(k)和x(k+1)的估计值。

实验开始前，先记录激光标记与试样标记间实际运动空间中两次线性无关的位移量为Δp₁、Δp₂，而在摄像机中观察到的图像空间中激光标记与试样标记间相应的位置量分别为Δf₁，Δf₂，则J的初始矩阵估计值

为：

$\hat{J}\left(0\right)=\left({\mathrm{\Δf}}_1{\mathrm{\Δf}}_2\right)\·{\left({\mathrm{\Δp}}_1{\mathrm{\Δp}}_2\right)}^{-1}---\left(10\right)$

式中：(Δp₁Δp₂)^-1为(Δp₁Δp₂)向量的逆。

为2*2矩阵，利用矩阵

的4个数值，构造 $\hat{x}\left(0\right)=\left(\hat{J}\left(0\right)\right[\mathrm{1,1}],\hat{J}\left(0\right)[\mathrm{1,2}],\hat{J}\left(0\right)[\mathrm{2,1}],\hat{J}\left(0\right)[\mathrm{2,2}\left]\right),$ $\hat{J}\left(0\right)\left[\mathrm{1,1}\right]$ 和 $\hat{J}\left(0\right)\left[\mathrm{1,2}\right]$ 分别为矩阵

第一行的第一列和第二列数值、

和

分别为矩阵

第二行的第一列和第二列的数值，即通过Karman滤波器辨识得出每个采样时刻的J；

（4）利用k+1时刻试样标记和k时刻激光标记坐标获得两者中心的位置差f_error(k)＝f^#(k+1)-f^g(k)＝(0,v₀(k+1)-v_g(k))＝(0,2v₀(k)-v₀(k-1)-v_g(k))；

（5）根据公式 $\stackrel{.}{P}=J{\left(k\right)}^{-1}\·f_{\mathrm{error}}\left(k\right)={J\left(k\right)}^{-1}\·{(0,v_0(k+1)-v_g\left(k\right))}^T$ 计算出激光标记实际空间中的位移量

（6）根据公式

计算出实际控制量P_error控制伺服电机（型号：HF-KP13）转速，带动五棱镜旋转，使激光标记在试样上扫描P_error位移量，实现激光标记对试样标记的自动跟踪。系数K为伺服电机速度响应约束参数，取

为2*1矩阵中第二行第一列的数值，避免了控制响应产生较大的超调；

（7）根据P_error的纵坐标分量控制伺服电机转速，使激光标记在一个采样周期内自动跟踪试样标记至两者重合。

至此完成本发明。

Claims (2)

1.一种基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法，其特征在于，该方法的步骤如下：

（1）采用数字图像处理方法分别求得试样标记中心点在图像空间中的k-1和k时刻的坐标(u₀(k-1),v₀(k-1))、(u₀(k),v₀(k))，再采用一阶预估方法求得试样标记中心点在图像空间中k+1时刻的坐标为：

${\hat{f}}^{\#}(k+1)=f^{\#}\left(k\right)+(f^{\#}\left(k\right)-f^{\#}(k-1))=2f^{\#}\left(k\right)-f^{\#}(k-1)=(u_0(k+1),{2v}_0\left(k\right)-v_0(k-1))$

公式中f^#(k)、f^#(k-1)分别为试样标记中心点在图像空间中k和k-1时刻坐标，

为试样标记中心点在图像空间中k+1时刻坐标预估值，u₀(k)、v₀(k)分别为k时刻试样标记中心点在图像空间中的横坐标和纵坐标，k=1，…，n；

（2）试样标记中心点的图像空间中k+1时刻的坐标可设为：f^#(k+1)＝(u₀(k+1),v₀(k+1))，即为k时刻激光标记中心点的期望坐标，同时采用数字图像处理方法获取当前k时刻激光标记中心点在图像空间中的坐标f^g(k)＝(u_g(k),v_g(k))，那么，激光标记和试样标记在同一竖直方向上的横坐标为u₀(k+1)＝u_g(k)，坐标误差为：

$f_{\mathrm{error}}\left(k\right)={\hat{f}}^{\#}(k+1)-f^g\left(k\right)=(0,v_0(k+1)-v_g\left(k\right))=(0,{2v}_0\left(k\right)-v_0(k-1)-v_g\left(k\right))$

公式中f_error(k)为激光标记和试样标记中心点在图像空间中k时刻坐标差，f^g(k)为激光标记中心点在图像空间中的坐标，u_g(k)、v_g(k)分别为激光标记中心点在图像空间中的横坐标和纵坐标，k=0，…,n；

（3）通过Karman滤波器观测出f_error(k)从图像空间到实际运动空间映射关系的雅克比矩阵J(k)；

（4）根据公式 $\stackrel{.}{P}=J{\left(k\right)}^{-1}\·f_{\mathrm{error}}\left(k\right)={J\left(k\right)}^{-1}\·{(0,v_0(k+1)-v_g\left(k\right))}^T$ 计算出激光标记实际空间中的位移量

J(k)^-1为雅克比矩阵J(k)的逆；

（5）根据公式

计算出实际控制量P_error控制伺服电机转速，带动五棱镜旋转，使激光标记在试样上扫描P_error位移量，实现激光标记对试样标记的自动跟踪，系数K为伺服电机速度响应约束参数，取

为2*1矩阵中的数值，避免控制响应产生的超调。

2.根据权利要求1所述的一种基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法，其特征在于：所述的数字图像处理方法：

（a）利用CCD获取试样图像，经图像采集卡输入计算机，进行归一化处理得到M×N的试样图像，M为图像宽度，N为图像高度；

（b）采用几何均值滤波方法对M×N的试样图像进行滤波处理，减少高斯噪声的干扰；

（c）采用sobel算子对滤波处理后的试样图像进行边缘检测，得到了试样、试样标记和激光标记的相对位置，圈定了图像处理范围，从而降低了图像处理难度；

（d）采用hough变换对步骤（c）中得到的处理范围进行检测，识别出试样标记和激光标记；

（e）根据识别出的试样标记横纵坐标的最大、最小值计算图像空间中试样标记中心点的坐标；

（f）根据识别出的激光标记横纵坐标的最大、最小值计算图像空间中激光标记中心点的坐标；

即完成激光标记对试样标记的实时精确跟踪。

Images