CN106097277A - 一种基于视觉测量的绳索物质点跟踪方法 - Google Patents

Abstract

一种基于视觉测量的绳索物质点跟踪方法，本发明涉及绳索物质点跟踪方法。本发明是要解决现有技术不能测量运动中的整条绳索以及影响绳索本身的动力学特性的问题，而提出的一种基于视觉测量的绳索物质点跟踪方法。该方法是通过步骤一、计算外参数矩阵M_w和内参数矩阵M_i；步骤二、求解外参数矩阵M_w得到H₁和H₂；步骤三、根据H₁和H₂建立测量点二维坐标(x_wi,y_wi)；步骤四、对图像进行预处理操作；步骤五、计算得到单像素宽度的绳索中心线；步骤六、根据绳索点集{p_wi}的顺序计算得到与绳索起始端点的距离为L的绳索点m；等步骤实现的。本发明应用于绳索物质点跟踪领域。

Description

一种基于视觉测量的绳索物质点跟踪方法

技术领域

本发明涉及绳索物质点跟踪方法，特别涉及一种基于视觉测量的绳索物质点跟踪方法。

背景技术

空间绳系结构因其柔性大、阻尼小、非线性强等特点，在航天器轨道转移、在轨目标捕获、绳系卫星编队、绳系发电等空间任务中具有广阔的应用前景。目前，对空间绳系结构的研究大都集中在动力学建模与数值仿真分析上，但采用实验手段来验证所建模型与仿真结果的准确性的相关研究却很少。空间绳系结构属于柔性体，它在运动过程中会呈现处复杂的形态与形变，采用传统的接触式测量法虽然可以得到某一点变形的可靠的数据,但不能测量运动中的整条绳索，同时在绳索上安装加速度计会影响绳索本身的动力学特性，从而为空间绳系结构的测量增加了难度。基于视觉的非接触式测量方法避免了在测量对象表面安装传感器的缺点,并且具有测量视场大、对测量环境要求较低等优点,因此在工程测量中有着广泛的应用前景,并正日益成为国内外研究热点。

发明内容

本发明的目的是为了解决现有技术不能测量运动中的整条绳索以及影响绳索本身的动力学特性的问题，而提出的一种基于视觉测量的绳索物质点跟踪方法。

上述的发明目的是通过以下技术方案实现的：

步骤一、利用绳索空间坐标系O_w-XYZ内第i个点P_wi在空间坐标系的坐标(x_wi,y_wi,z_wi)转换成在摄像机坐标系第i个点P_ci的坐标(x_ci,y_ci,z_ci)；将根据摄像机坐标系(x_ci,y_ci,z_ci)转换成绳索图像中P_i的坐标为(u_i,v_i)；根据绳索空间坐标系的坐标(x_wi,y_wi,z_wi)和摄像机坐标系(x_ci,y_ci,z_ci)计算外参数矩阵M_w；根据摄像机坐标系(x_ci,y_ci,z_ci)和绳索图像中点P_i的坐标为(u_i,v_i)计算内参数矩阵M_i；

步骤二、求解外参数矩阵M_w得到H₁和H₂；其中，H₁为矩阵B的最小特征值所对应的特征向量；H₂为空间坐标系下Y轴在摄像机坐标系的方向矢量和空间原点在摄像机坐标系下的坐标的方向矢量组成的向量；

步骤三、根据H₁和H₂建立测量点二维坐标(x_wi,y_wi)的关系式：

$\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\end{array}\right]={\left[\begin{array}{cc}{n}_z{u}^{\′}-n_x& o_z{u}^{\′}-o_x\\ n_z{v}^{\′}-n_y& o_z{v}^{\′}-o_y\end{array}\right]}^{-1}\left[\begin{array}{c}(p_x-p_z{u}^{\′})+z({\mathrm{\α}}_x-{\mathrm{\α}}_z{u}^{\′})\\ (p_y-p_z{v}^{\′})+z\left({\mathrm{\α}}_y-{\mathrm{\α}}_z{v}^{\′}\right)\end{array}\right]---\left(10\right)$

空间坐标系O_w-XYZ中确定测量平面，将测量平面中的第i个点P_wi的齐次坐标表示为P_wi(x_wi,y_wi,z,1)；

其中，z为点P_wi垂直测量平面的距离，u′v′为像素坐标经内参数矩阵M_i变换后得到的中间坐标变量；

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]={M_i}^{-1}\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]$

在该测量平面上的点P_wi在测量平面上的齐次坐标表示为P_wi(x_wi,y_wi,z,1)，该点P_wi与图像坐标系之间的投影关系为：

$z_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=M_i{M}_w\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\\ z\\ 1\end{array}\right]---\left(9\right)$

其中，z_i为中间变量，其定义为：z_i＝n_zx_wi+o_zy_wi+α_zz+p_z，

则

$\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\end{array}\right]={\left[\begin{array}{cc}{n}_z{u}^{\′}-n_x& o_z{u}^{\′}-o_x\\ n_z{v}^{\′}-n_y& o_z{v}^{\′}-o_y\end{array}\right]}^{-1}\left[\begin{array}{c}(p_x-p_z{u}^{\′})+z({\mathrm{\α}}_x-{\mathrm{\α}}_z{u}^{\′})\\ (p_y-p_z{v}^{\′})+z\left({\mathrm{\α}}_y-{\mathrm{\α}}_z{v}^{\′}\right)\end{array}\right]---\left(10\right)$

其中，

步骤四、对图像进行预处理操作；将图像中带有噪声的背景去除，在图像中保留绳索目标的图像得到只包含绳索目标的绳索二值图像；图像进行预处理操作包括背景建模、背景差分、图像平滑与图像二值化四个部分；

步骤五、根据步骤四得到的绳索二值图像的像素宽度，使用绳索的中心线对绳索二值图像的绳索进行等效，即对绳索细化提取绳索中心线所在的像素位置；采用基于距离变换的多尺度连通骨架算法来计算得到单像素宽度的绳索中心线；

步骤六、利用绳索物质点跟踪算法对单像素宽度的绳索中心线进行链码标记后，进行自适应的贝塞尔曲线拟合，最终得到光滑的空间中绳索点集{p_wi}的顺序，根据绳索点集{p_wi}的顺序计算得到与绳索起始端点的距离为L的绳索点m；

步骤六一、计算出图像中绳索任意一点P_i在图像序列中对应的位置(u_i,v_i)；利用绳索物质点跟踪算法对单像素宽度的绳索中心线进行链码标记；

步骤六二、采用l阶贝塞尔曲线对链码标记后的点集{Pi}进行拟合，即选取相对于图像点P_i-1在X和Y轴方向上有变化的点P_i，作为贝塞尔曲线的节点，根据贝塞尔曲线的节点并以绳索曲线所占的像素数量作为步长，实现了自适应的贝塞尔曲线拟合；自适应的贝塞尔曲线中P_i的坐标为(u′_i,v′_i)；

步骤六三、按照贝塞尔曲线中点集{P_i}的顺序，根据坐标(u′_i,v′_i)利用(10)求解出图像中每个像素点对应的空间坐标(x_wi,y_wi)；

步骤六四、贝塞尔曲线中点集{P_i}的顺序以及绳索空间坐标系的坐标(x_wi,y_wi,z)，确定空间中绳索点集{p_wi}的顺序；

步骤六五、当到绳索起始端点的距离为L的绳索点m时，根据空间中绳索点集{p_wi}的顺序以及点p_wi+1和p_wi坐标建立公式(12)：

$L=\underset{i=1}{\overset{m}{\Σ}}{(p_{wi+1}-p_{wi})}^2---\left(12\right)$

当p_wi+1和p_wi满足公式(12)时，确定到绳索起始端点的距离为L的绳索点m；i＝1，2…m,…I；p_wI为空间绳索的终点，p_w1为空间绳索的起始点。

发明效果

本发明基于单目视觉测量原理，对柔性绳索在运动过程中所出现复杂的曲线与变形情况，使用图像处理的方法提取出柔性绳索中心线，并计算出绳索中心线在真实空间的平面位置，同时提出一种绳索点跟踪算法，可以实现运动绳索上任意一点运动状态的跟踪，为测量结果动力学模型仿真结果进行对比奠定了基础，从而为柔性绳索的动力学模型的准确性验证提供参考(如图2)。

附图说明

图1为具体实施方式二提出的坐标系关系示意图；

图2为具体实施方式一提出的原始曲线与贝塞尔拟合曲线示意图。

具体实施方式

具体实施方式一：本实施方式的一种基于视觉测量的绳索物质点跟踪方法，具体是按照以下步骤制备的：

步骤一、利用绳索空间坐标系O_w-XYZ内第i个点P_wi在空间坐标系的坐标(x_wi,y_wi,z_wi)转换成在摄像机坐标系第i个点P_ci的坐标(x_ci,y_ci,z_ci)；将根据摄像机坐标系(x_ci,y_ci,z_ci)转换成绳索图像中P_i的坐标为(u_i,v_i)；根据绳索空间坐标系的坐标(x_wi,y_wi,z_wi)和摄像机坐标系(x_ci,y_ci,z_ci)计算外参数矩阵M_w；根据摄像机坐标系(x_ci,y_ci,z_ci)和绳索图像中点P_i的坐标为(u_i,v_i)计算内参数矩阵M_i；

步骤二、求解外参数矩阵M_w得到H₁和H₂；其中，H₁为矩阵B的最小特征值所对应的特征向量；H₂为空间坐标系下Y轴在摄像机坐标系的方向矢量和空间原点在摄像机坐标系下的坐标的方向矢量组成的向量；

步骤三、根据H₁和H₂建立测量点二维坐标(x_wi,y_wi)的关系式：

$\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\end{array}\right]={\left[\begin{array}{cc}{n}_z{u}^{\′}-n_x& o_z{u}^{\′}-o_x\\ n_z{v}^{\′}-n_y& o_z{v}^{\′}-o_y\end{array}\right]}^{-1}\left[\begin{array}{c}(p_x-p_z{u}^{\′})+z({\mathrm{\α}}_x-{\mathrm{\α}}_z{u}^{\′})\\ (p_y-p_z{v}^{\′})+z\left({\mathrm{\α}}_y-{\mathrm{\α}}_z{v}^{\′}\right)\end{array}\right]---\left(10\right)$

空间坐标系O_w-XYZ中确定测量平面，将测量平面中的第i个点P_wi的齐次坐标表示为P_wi(x_wi,y_wi,z,1)；

其中，z为点P_wi垂直测量平面的距离，u′v′为像素坐标经内参数矩阵M_i变换后得到的中间坐标变量；

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]={M_i}^{-1}\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]$

在该测量平面上的点P_wi在测量平面上的齐次坐标表示为P_wi(x_wi,y_wi,z,1)，该点P_wi与图像坐标系之间的投影关系为：

$z_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=M_i{M}_w\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\\ z\\ 1\end{array}\right]---\left(9\right)$

其中，z_i为中间变量，其定义为：z_i＝n_zx_wi+o_zy_wi+α_zz+p_z，

则

$\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\end{array}\right]={\left[\begin{array}{cc}{n}_z{u}^{\′}-n_x& o_z{u}^{\′}-o_x\\ n_z{v}^{\′}-n_y& o_z{v}^{\′}-o_y\end{array}\right]}^{-1}\left[\begin{array}{c}(p_x-p_z{u}^{\′})+z({\mathrm{\α}}_x-{\mathrm{\α}}_z{u}^{\′})\\ (p_y-p_z{v}^{\′})+z\left({\mathrm{\α}}_y-{\mathrm{\α}}_z{v}^{\′}\right)\end{array}\right]---\left(10\right)$

其中，则反向求解出未知点P在测量平面上的位置，从而实现了单目视觉的动态测量(此句不是将物质点跟踪求解后得到uv后才能得到未知点P在测量平面上的位置，测量平面为空间点P所在的空间平面；

步骤四、图像预处理；将运动绳索的中心线从图像序列中提取出来；对图像进行预处理操作；将图像中带有噪声的背景去除，在图像中保留绳索目标的图像得到只包含绳索目标的绳索二值图像；图像进行预处理操作包括背景建模、背景差分、图像平滑与图像二值化四个部分；

步骤五、提取绳索中心线；根据步骤四得到的绳索二值图像的像素宽度，使用绳索的中心线对绳索二值图像的绳索进行等效，即对绳索细化提取绳索中心线所在的像素位置；采用基于距离变换的多尺度连通骨架算法来计算得到单像素宽度的绳索中心线；

步骤六、利用绳索物质点跟踪算法对单像素宽度的绳索中心线进行链码标记后，进行自适应的贝塞尔曲线拟合，最终得到光滑的空间中绳索点集{p_wi}的顺序，根据绳索点集{p_wi}的顺序计算得到与绳索起始端点(始端点为绳索的固定点)的距离为L的绳索点m；

步骤六一、本发明提出一种可以跟踪绳索任意一点位置的方法，只需提供任意点到绳端的距离，即可计算出图像中绳索任意一点P_i在图像序列中对应的位置(u_i,v_i)；利用绳索物质点跟踪算法对单像素宽度的绳索中心线进行链码标记；

步骤六二、由于数字图像(所有用数字表示的图像)中像素链接的方向最多只有8个方向，图像会出现反复曲折成阶梯状的情况，如图2所示，对于以累积长度来跟踪点的算法会使得测量长度大于实际长度，因此采用l阶贝塞尔曲线对链码标记后的点集{Pi}进行拟合，即选取相对于图像点P_i-1在X和Y轴方向上有变化的点P_i，作为贝塞尔曲线的节点，根据贝塞尔曲线的节点并以绳索曲线所占的像素数量作为步长，实现了自适应的贝塞尔曲线拟合，可以在满足精度的情况下提高计算速度；自适应的贝塞尔曲线中P_i的坐标为(u′_i,v′_i)；

步骤六三、按照贝塞尔曲线中点集{P_i}的顺序，根据坐标(u′_i,v′_i)利用(10)求解出图像中每个像素点对应的空间坐标(x_wi,y_wi)；

步骤六四、贝塞尔曲线中点集{P_i}的顺序以及绳索空间坐标系的坐标(x_wi,y_wi,z)，确定空间中绳索点集{p_wi}的顺序；

步骤六五、当到绳索起始端点(始端点为绳索的固定点)的距离为L的绳索点m时，根据空间中绳索点集{p_wi}的顺序以及点p_wi+1和p_wi坐标建立公式(12)：

$L=\underset{i=1}{\overset{m}{\Σ}}{(p_{wi+1}-p_{wi})}^2---\left(12\right)$

当p_wi+1和p_wi满足公式(12)时，确定到绳索起始端点(始端点为绳索的固定点)的距离为L的绳索点m；i＝1，2…m,…I；p_wI为空间绳索的终点，p_w1为空间绳索的起始点。

本实施方式效果：

本实施方式基于单目视觉测量原理，对柔性绳索在运动过程中所出现复杂的曲线与变形情况，使用图像处理的方法提取出柔性绳索中心线，并计算出绳索中心线在真实空间的平面位置，同时提出一种绳索点跟踪算法，可以实现运动绳索上任意一点运动状态的跟踪，为测量结果动力学模型仿真结果进行对比奠定了基础，从而为柔性绳索的动力学模型的准确性验证提供参考(如图2)。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一中根据绳索空间坐标系的坐标(x_wi,y_wi,z_wi)和摄像机坐标系(x_ci,y_ci,z_ci)计算外参数矩阵M_w具体过程为：

定义坐标系，空间坐标系O_w-XYZ内第i个点P_wi坐标为(x_wi,y_wi,z_wi)；摄像机坐标系O_c-XYZ下第i个点P_ci坐标为(x_ci,y_ci,z_ci)；图像坐标系O-XY，P_wi投影到图像坐标系O－XY上，图像中P_i的坐标为(u_i,v_i),如图1所示；空间坐标系与摄像机坐标系通过(1)进行转换：

$\left[\begin{array}{c}{x}_{ci}\\ y_{ci}\\ z_{ci}\end{array}\right]=M_w\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\\ z_{wi}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{n}_x& o_x& {\mathrm{\α}}_x& p_x\\ n_y& o_y& {\mathrm{\α}}_y& p_y\\ n_z& o_z& {\mathrm{\α}}_z& p_z\end{array}\right]\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\\ z_{wi}\\ 1\end{array}\right]---\left(1\right)$

$M_w=\left[\begin{array}{cccc}{n}_x& o_x& {\mathrm{\α}}_x& p_x\\ n_y& o_y& {\mathrm{\α}}_y& p_y\\ n_z& o_z& {\mathrm{\α}}_z& p_z\end{array}\right]$

其中，w为空间点；c为图像点；k_x图像坐标系下X轴的归一化焦距，k_y图像坐标系下Y轴的归一化焦距，(u₀，v₀)为光心在图像坐标系下的坐标位置；n＝[n_x，n_y，n_z]为空间坐标系下X轴在摄像机坐标系下的方向矢量，n_x、n_y和n_z为n在X，Y和Z轴三个方向上的分量；o＝[o_xo_y o_z]为空间坐标系下Y轴在摄像机坐标系下的方向矢量，o_x、o_y和o_z为o在X，Y和Z轴三个方向上的分量；α＝[α_x α_y α_z]为空间坐标系下Z轴在摄像机坐标系下的方向矢量，a_x、a_y和a_z为a在X，Y和Z轴三个方向上的分量；p＝[p_x p_y p_z]为空间坐标系下原点在摄像机坐标系下的坐标，p_x、p_y和p_z为p在X，Y和Z轴三个方向上的分量。其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤一中根据摄像机坐标系(x_ci,y_ci,z_ci)和图像中P_i的坐标为(u_i,v_i)计算内参数矩阵M_i具体过程：

摄像机坐标与图像坐标系通过(2)进行转换：

$\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=M_i\left[\begin{array}{c}{x}_{ci}/z_{ci}\\ y_{ci}/z_{ci}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& u_0\\ 0& k_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{ci}/z_{ci}\\ y_{ci}/z_{ci}\\ 1\end{array}\right]---\left(2\right)$

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤四中图像预处理；将运动绳索的中心线从图像序列中提取出来；对图像进行预处理操作；将图像中带有噪声的背景去除，在图像中保留绳索目标的图像得到只包含绳索目标的绳索二值图像具体为：

步骤四一、采用背景建模法对图像背景进行建模，在对绳索运动之前对运动环境进行拍摄获取100～200帧的图像，将背景图像像素的均值作为背景模型的像素值；

步骤四二、将绳索运动的图像序列(拍摄得到的图像的顺序)与背景模型进行差分得到粗糙前景图像，式(11)中设定阈值T进行差分：

$F_1(x,y)=\left\{\begin{array}{cc}I(x,y)& |B(x,y)-I(x,y)|\&GreaterEqual;T\\ 0& |B(x,y)-I(x,y)|<T\end{array}\right.---\left(1\right)$

其中，B(x,y)为背景模型像素的灰度值，I(x,y)为绳索图像像素灰度值，F₁(x,y)为差分图像，T为阈值；差分后得到包含绳索以及一定噪声的粗糙前景图像；进而对前景图像进行平滑操作，

步骤四三、采用窗口像素为5*5，σ＝1的高斯平滑算子来平滑粗糙前景图像得到平滑图像；

步骤四四、计算步骤四三得到的平滑图像的Otsu最佳全局阈值，以全局阈值对平滑后的图像进行二值化，得到只包含绳索目标的二值图像。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤二中求解外参数矩阵M_w得到H₁和H₂具体为：

在相机内参数已经精确标定情况下，给定图像中的n个特征点的图像坐标以及相对应的空间坐标，求解出摄像机坐标所在的坐标系与空间坐标系之间的转换关系即PnP问题，对于3≤n＜6时，PnP问题存在多解，并且对于特征点的图像坐标位置误差极为敏感，但n＝4且四个特征点共面时外参数矩阵存在唯一解；本发明通过求解n＝4时P4P问题，计算外参数矩阵M_w；

由于P_wi位于同一平面上时，则Z轴值都为0，式(1)表示为：

$\left\{\begin{array}{c}{x}_{ci}=n_x{x}_{wi}+o_x{y}_{wi}+p_x\\ y_{ci}=n_y{x}_{wi}+o_y{y}_{wi}+p_y\\ z_{ci}=n_z{x}_{wi}+o_z{y}_{wi}+p_z\end{array}\right.---\left(3\right)$

当n＝4时，i＝1,2,3,4；

式(2)改写为：

$\left\{\begin{array}{c}{x}_{1c_i}=x_{ci}/z_{ci}=(u_i-u_0)/k_x\\ y_{1c_i}=y_{ci}/z_{ci}=(v_i-v_0)/k_y\end{array}\right.---\left(4\right)$

为除去比例因子的摄像机坐标系下的坐标；

将(3)代入到(4)得

$\left\{\begin{array}{c}{x}_{wi}{n}_x+y_{wi}{o}_x-x_{1c_i}{x}_{wi}{n}_z-x_{1c_i}{y}_{wi}{o}_z+p_x-x_{1c_i}{p}_z=0\\ x_{wi}{n}_y+y_{wi}{o}_y-x_{1c_i}{x}_{wi}{n}_z-y_{1c_i}{y}_{wi}{o}_z+p_y-y_{1c_i}{p}_z=0\end{array}\right.---\left(5\right)$

对于n个点得到n组如(5)的方程组，则得到：

A₁H₁+A₂H₂＝0 (6)

其中，

$A_2=\left[\begin{array}{cccccc}{y}_{w1}& 0& -x_{1c_1}{y}_{w1}& 1& 0& -x_{1c_1}\\ 0& y_{w1}& -y_{1c_1}{y}_{w1}& 0& 1& -y_{1c_1}\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ y_{wn}& 0& -x_{1c_n}{y}_{wn}& 1& 0& -x_{1c_n}\\ 0& y_{wn}& -y_{1c_n}{y}_{wn}& 0& 1& -y_{1c_n}\end{array}\right],$

H₁＝[n_x n_y n_z]^T，H₂＝[o_x o_y o_z p_x p_y pz]^T且，||H₁||＝1；

为中间变量；

构造指标函数F：

F＝||A₁H₁+A₂H₂||²+λ(1-||H₁||²) (7)

λ为函数乘子；

将(6)的求解问题转换为优化问题，即在任意λ条件下保持指标函数F最小，H₁和H₂的解由(8)给出，

$\left\{\begin{array}{c}{\mathrm{BH}}_1={\mathrm{\&lambda;H}}_1\\ H_2=-{\left({A_2}^T{A}_2\right)}^{-1}{A_2}^T{A}_1{H}_1\end{array}\right.---\left(8\right)$

其中，其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：步骤五中采用基于距离变换的多尺度连通骨架算法来计算得到单像素宽度的绳索中心线的算法流程如下：

步骤五一、对绳索二值图像的像素宽度进行距离变换得到距离变换图和距离变换值，距离变换值为点P_i到绳索二值图像边界的最近距离；

距离变换的方法为基于模板的近似方法或精确方法；基于模板的近似方法或精确方法在文献《基于距离变换的多尺度连通骨架算法》中有记载

步骤五二、选择距离变换图中距离变换值最大点作为种子点，以种子点作为圆心，距离变换值作为半径对图像进行覆盖；在绳索二值图像中除去覆盖的图像产生k个连通域；

步骤五三、生长新骨架点；在k个连通域中每一个连通域中，选取步骤五二中的圆心的8邻域中距离变换值最小的点作为骨架点；

步骤五四、以步骤五三中骨架点为圆心，8邻域中最小的距离变换值为半径，重复步骤五二至五三，直至距离变换值为0得到绳索图像的骨架；

判断新分支数.每个生长前沿点都对应图形剩余部分的一个连通区域，经过覆盖后，该连通区域包含的点数将会减少，并且被拆分成了k个连通区，k为大于等于l的整数，这k个连通区都是此前沿点应该生长的方向，因此需要产生k个分支，继续分别覆盖这k个连通区；

覆盖这一步的任务是以生长前沿点为圆心，相应的距离变换值为半径，覆盖图形；被覆盖的图形部分将被挖去，每轮迭代的操作都会减小图形，直至图形的剩余部分为零，即找到的骨架点已足以覆盖整个图形，整个迭代过程结束。其它步骤及参数与具体实施方式一至五之一相同。

Claims (6)

1.一种基于视觉测量的绳索物质点跟踪方法，其特征在于，该方法具体是按照以下步骤进行的：

步骤一、利用绳索空间坐标系O_w-XYZ内第i个点P_wi在空间坐标系的坐标(x_wi,y_wi,z_wi)转换成在摄像机坐标系第i个点P_ci的坐标(x_ci,y_ci,z_ci)；将根据摄像机坐标系(x_ci,y_ci,z_ci)转换成绳索图像中P_i的坐标为(u_i,v_i)；根据绳索空间坐标系的坐标(x_wi,y_wi,z_wi)和摄像机坐标系(x_ci,y_ci,z_ci)计算外参数矩阵M_w；根据摄像机坐标系(x_ci,y_ci,z_ci)和绳索图像中点P_i的坐标为(u_i,v_i)计算内参数矩阵M_i；

步骤二、求解外参数矩阵M_w得到H₁和H₂；其中，H₁为矩阵B的最小特征值所对应的特征向量；H₂为空间坐标系下Y轴在摄像机坐标系的方向矢量和空间原点在摄像机坐标系下的坐标的方向矢量组成的向量；

步骤三、根据H₁和H₂建立测量点二维坐标(x_wi,y_wi)的关系式：

$\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\end{array}\right]={\left[\begin{array}{cc}{n}_z{u}^{\&prime;}-n_x& o_z{u}^{\&prime;}-o_x\\ n_z{v}^{\&prime;}-n_y& o_z{v}^{\&prime;}-o_y\end{array}\right]}^{-1}\left[\begin{array}{c}(p_x-p_z{u}^{\&prime;})+z({\mathrm{\&alpha;}}_x-{\mathrm{\&alpha;}}_z{u}^{\&prime;})\\ (p_y-p_z{v}^{\&prime;})+z\left({\mathrm{\&alpha;}}_y-{\mathrm{\&alpha;}}_z{v}^{\&prime;}\right)\end{array}\right]---\left(10\right)$

空间坐标系O_w-XYZ中确定测量平面，将测量平面中的第i个点P_wi的齐次坐标表示为P_wi(x_wi,y_wi,z,1)；

其中，z为点P_wi垂直测量平面的距离，u′v′为像素坐标经内参数矩阵M_i变换后得到的中间坐标变量；

$\left[\begin{array}{c}{u}^{\&prime;}\\ v^{\&prime;}\end{array}\right]={M_i}^{-1}\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]$

在该测量平面上的点P_wi在测量平面上的齐次坐标表示为P_wi(x_wi,y_wi,z,1)，该点P_wi与图像坐标系之间的投影关系为：

$z_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=M_i{M}_w\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\\ z\\ 1\end{array}\right]---\left(9\right)$

其中，z_i为中间变量，其定义为：z_i＝n_zx_wi+o_zy_wi+α_zz+p_z，

则

$\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\end{array}\right]={\left[\begin{array}{cc}{n}_z{u}^{\&prime;}-n_x& o_z{u}^{\&prime;}-o_x\\ n_z{v}^{\&prime;}-n_y& o_z{v}^{\&prime;}-o_y\end{array}\right]}^{-1}\left[\begin{array}{c}(p_x-p_z{u}^{\&prime;})+z({\mathrm{\&alpha;}}_x-{\mathrm{\&alpha;}}_z{u}^{\&prime;})\\ (p_y-p_z{v}^{\&prime;})+z\left({\mathrm{\&alpha;}}_y-{\mathrm{\&alpha;}}_z{v}^{\&prime;}\right)\end{array}\right]---\left(10\right)$

其中，

步骤四、对图像进行预处理操作；将图像中带有噪声的背景去除，在图像中保留绳索目标的图像得到只包含绳索目标的绳索二值图像；图像进行预处理操作包括背景建模、背景差分、图像平滑与图像二值化四个部分；

步骤五、根据步骤四得到的绳索二值图像的像素宽度，使用绳索的中心线对绳索二值图像的绳索进行等效，即对绳索细化提取绳索中心线所在的像素位置；采用基于距离变换的多尺度连通骨架算法来计算得到单像素宽度的绳索中心线；

步骤六、利用绳索物质点跟踪算法对单像素宽度的绳索中心线进行链码标记后，进行自适应的贝塞尔曲线拟合，最终得到光滑的空间中绳索点集{p_wi}的顺序，根据绳索点集{p_wi}的顺序计算得到与绳索起始端点的距离为L的绳索点m；

步骤六一、计算出图像中绳索任意一点P_i在图像序列中对应的位置(u_i,v_i)；利用绳索物质点跟踪算法对单像素宽度的绳索中心线进行链码标记；

步骤六二、采用l阶贝塞尔曲线对链码标记后的点集{Pi}进行拟合，即选取相对于图像点P_i-1在X和Y轴方向上有变化的点P_i，作为贝塞尔曲线的节点，根据贝塞尔曲线的节点并以绳索曲线所占的像素数量作为步长，实现了自适应的贝塞尔曲线拟合；自适应的贝塞尔曲线中P_i的坐标为(u′_i,v′_i)；

步骤六三、按照贝塞尔曲线中点集{P_i}的顺序，根据坐标(u′_i,v′_i)利用(10)求解出图像中每个像素点对应的空间坐标(x_wi,y_wi)；

步骤六四、贝塞尔曲线中点集{P_i}的顺序以及绳索空间坐标系的坐标(x_wi,y_wi,z)，确定空间中绳索点集{p_wi}的顺序；

步骤六五、当到绳索起始端点的距离为L的绳索点m时，根据空间中绳索点集{p_wi}的顺序以及点p_wi+1和p_wi坐标建立公式(12)：

$L=\underset{i=1}{\overset{m}{\&Sigma;}}{(p_{wi+1}-p_{wi})}^2---\left(12\right)$

当p_wi+1和p_wi满足公式(12)时，确定到绳索起始端点的距离为L的绳索点m；i＝1，2…m,…I；p_wI为空间绳索的终点，p_w1为空间绳索的起始点。

2.根据权利要求1所述一种基于视觉测量的绳索物质点跟踪方法，其特征在于：步骤一中根据绳索空间坐标系的坐标(x_wi,y_wi,z_wi)和摄像机坐标系(x_ci,y_ci,z_ci)计算外参数矩阵M_w具体过程为：

定义坐标系，空间坐标系O_w-XYZ内第i个点P_wi坐标为(x_wi,y_wi,z_wi)；摄像机坐标系O_c-XYZ下第i个点P_ci坐标为(x_ci,y_ci,z_ci)；图像坐标系O-XY，P_wi投影到图像坐标系O-XY上，图像中P_i的坐标为(u_i,v_i)，空间坐标系与摄像机坐标系通过(1)进行转换：

$\left[\begin{array}{c}{x}_{ci}\\ y_{ci}\\ z_{ci}\end{array}\right]=M_w\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\\ z_{wi}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{n}_x& o_x& {\mathrm{\&alpha;}}_x& p_x\\ n_y& o_y& {\mathrm{\&alpha;}}_y& p_y\\ n_z& o_z& {\mathrm{\&alpha;}}_z& p_z\end{array}\right]\left[\begin{array}{c}{x}_{wi}\\ y_{wi}\\ z_{wi}\\ 1\end{array}\right]---\left(1\right)$

$M_w=\left[\begin{array}{cccc}{n}_x& o_x& {\mathrm{\&alpha;}}_x& p_x\\ n_y& o_y& {\mathrm{\&alpha;}}_y& p_y\\ n_z& o_z& {\mathrm{\&alpha;}}_z& p_z\end{array}\right]$

其中，w为空间点；c为图像点；k_x图像坐标系下X轴的归一化焦距，k_y图像坐标系下Y轴的归一化焦距，(u₀，v₀)为光心在图像坐标系下的坐标位置；n＝[n_x，n_y，n_z]为空间坐标系下X轴在摄像机坐标系下的方向矢量，n_x、n_y和n_z为n在X，Y和Z轴三个方向上的分量；o＝[o_x o_y o_z]为空间坐标系下Y轴在摄像机坐标系下的方向矢量，o_x、o_y和o_z为o在X，Y和Z轴三个方向上的分量；α＝[α_x α_y α_z]为空间坐标系下Z轴在摄像机坐标系下的方向矢量，a_x、a_y和a_z为a在X，Y和Z轴三个方向上的分量；p＝[p_x p_y p_z]为空间坐标系下原点在摄像机坐标系下的坐标，p_x、p_y和p_z为p在X，Y和Z轴三个方向上的分量。

3.根据权利要求2所述一种基于视觉测量的绳索物质点跟踪方法，其特征在于：步骤一中根据摄像机坐标系(x_ci,y_ci,z_ci)和图像中P_i的坐标为(u_i,v_i)计算内参数矩阵M_i具体过程：

摄像机坐标与图像坐标系通过(2)进行转换：

$\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=M_i\left[\begin{array}{c}{x}_{ci}/z_{ci}\\ y_{ci}/z_{ci}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& u_0\\ 0& k_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{ci}/z_{ci}\\ y_{ci}/z_{ci}\\ 1\end{array}\right]---\left(2\right)$

$M_i=\left[\begin{array}{ccc}{k}_x& 0& u_0\\ 0& k_y& v_0\\ 0& 0& 1\end{array}\right].$

4.根据权利要求3所述一种基于视觉测量的绳索物质点跟踪方法，其特征在于：步骤二中求解外参数矩阵M_w得到H₁和H₂具体为：

求解n＝4时P4P问题，计算外参数矩阵M_w；Z轴值都为0，式(1)表示为：

$\left\{\begin{array}{c}{x}_{ci}=n_x{x}_{wi}+o_x{y}_{wi}+p_x\\ y_{ci}=n_y{x}_{wi}+o_y{y}_{wi}+p_y\\ z_{ci}=n_z{x}_{wi}+o_z{y}_{wi}+p_z\end{array}\right.---\left(3\right)$

当n＝4时，i＝1,2,3,4；

式(2)改写为：

$\left\{\begin{array}{c}{x}_{1c_i}=x_{ci}/z_{ci}=(u_i-u_0)/k_x\\ y_{1c_i}=y_{ci}/z_{ci}=(v_i-v_0)/k_y\end{array}\right.---\left(4\right)$

为除去比例因子的摄像机坐标系下的坐标；

将(3)代入到(4)得

$\left\{\begin{array}{c}{x}_{wi}{n}_x+y_{wi}{o}_x-x_{1c_i}{x}_{wi}{n}_z-x_{1c_i}{y}_{wi}{o}_z+p_x-x_{1c_i}{p}_z=0\\ x_{wi}{n}_y+y_{wi}{o}_y-x_{1c_i}{x}_{wi}{n}_z-y_{1c_i}{y}_{wi}{o}_z+p_y-y_{1c_i}{p}_z=0\end{array}\right.---\left(5\right)$

对于n个点得到n组如(5)的方程组，则得到：

A₁H₁+A₂H₂＝0 (6)

其中，

$A_2=\left[\begin{array}{cccccc}{y}_{w1}& 0& -x_{1c_1}{y}_{w1}& 1& 0& -x_{1c_1}\\ 0& y_{w1}& -y_{1c_1}{y}_{w1}& 0& 1& -y_{1c_1}\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ y_{wn}& 0& -x_{1c_n}{y}_{wn}& 1& 0& -x_{1c_n}\\ 0& y_{wn}& -y_{1c_n}{y}_{wn}& 0& 1& -y_{1c_n}\end{array}\right],$

H₁＝[n_x n_y n_z]^T，H₂＝[o_x o_y o_z p_x p_y p_z]^T且，||H₁||＝1；

为中间变量；

构造指标函数F：

F＝||A₁H₁+A₂H₂||²+λ(1-||H₁||²) (7)

λ为函数乘子；

在任意λ条件下保持指标函数F最小，H₁和H₂的解由(8)给出，

$\left\{\begin{array}{c}{\mathrm{BH}}_1={\mathrm{\&lambda;H}}_1\\ H_2=-{\left({A_2}^T{A}_2\right)}^{-1}{A_2}^T{A}_1{H}_1\end{array}\right.---\left(8\right)$

其中，B＝A₁ ^TA₁-A₁ ^TA₂(A₂ ^TA₂)^-1A₂ ^TA₁。

5.根据权利要求4所述一种基于视觉测量的绳索物质点跟踪方法，其特征在于：步骤四中对图像进行预处理操作；将图像中带有噪声的背景去除，在图像中保留绳索目标的图像得到只包含绳索目标的绳索二值图像具体为：

步骤四一、采用背景建模法对图像背景进行建模，在对绳索运动之前对运动环境进行拍摄获取100～200帧的图像，将背景图像像素的均值作为背景模型的像素值；

步骤四二、将绳索运动的图像序列与背景模型进行差分得到粗糙前景图像，式(11)中设定阈值T进行差分：

$F_1(x,y)=\left\{\begin{array}{cc}I(x,y)& |B(x,y)-I(x,y)|\&GreaterEqual;T\\ 0& |B(x,y)-I(x,y)|<T\end{array}\right.---\left(1\right)$

其中，B(x，y)为背景模型像素的灰度值，I(x，y)为绳索图像像素灰度值，F₁(x，y)为差分图像，T为阈值；

步骤四三、采用窗口像素为5*5，σ＝1的高斯平滑算子来平滑粗糙前景图像得到平滑图像；

步骤四四、计算步骤四三得到的平滑图像的Otsu最佳全局阈值，以全局阈值对平滑后的图像进行二值化，得到只包含绳索目标的二值图像。

6.根据权利要求5所述一种基于视觉测量的绳索物质点跟踪方法，其特征在于：步骤五中采用基于距离变换的多尺度连通骨架算法来计算得到单像素宽度的绳索中心线的算法流程如下：

步骤五一、对绳索二值图像的像素宽度进行距离变换得到距离变换图和距离变换值，距离变换值为点P_i到绳索二值图像边界的最近距离；

步骤五二、选择距离变换图中距离变换值最大点作为种子点，以种子点作为圆心，距离变换值作为半径对图像进行覆盖；在绳索二值图像中除去覆盖的图像产生k个连通域；

步骤五三、生长新骨架点；在k个连通域中每一个连通域中，选取步骤五二中的圆心的8邻域中距离变换值最小的点作为骨架点；

步骤五四、以步骤五三中骨架点为圆心，8邻域中最小的距离变换值为半径，重复步骤五二至五三，直至距离变换值为0得到绳索图像的骨架。