CN106875427A - 一种机车蛇行运动监测方法 - Google Patents

Abstract

本发明公开了一种机车蛇行运动监测方法，属于机车监控与安全领域，包括以下步骤：提取给定视频的图像尺寸，初始化FOE坐标、摄像机的焦距f_d；寻找连续的两帧图片的Harris角点，用LK算法对两帧图像之间相同角点进行跟踪匹配；计算机车的转速度；用不同转速度的数据训练回归模型，用回归模型预测当前蛇行程度。本发明具有可适应复杂光照和背景情况、非接触式检测、可有效利用现有智能设备、便于管理员席位审核等优点。

Description

一种机车蛇行运动监测方法

技术领域

本发明涉及机车监控与安全领域，特别涉及一种基于前向车载视频监视的机车蛇行运动监测方法。

背景技术

评价铁路运行的最基本的标准就是列车运行的稳定性和安全性，随着中国铁路的几次大提速以及现在高铁的建设，运行的稳定性和安全性也被摆在更加突出的位置，而机车横向振动造成的蛇行运动会影响机车运行的稳定性和安全性。

传统的蛇行运动测量方法通常涉及接触或位移传感器，其需要涉及经常发生外部损坏的底盘和转向架。国内近年来对机车蛇行运动有所研究，公开号为CN103196428A的中国实用新型专利“用于检测运动物体的运动状态的监测装置，有轨列车及有轨机车”，其包括可动部件及位移检测装置，当机车曲线运动时，可动部件与位移检测装置产生位置变化，则产生输出信号。而在机车直线运动时，由于产生的蛇行运动微弱，可动部件与位移检测装置产生的位移量小，则输出的信号比较弱。不能很好的检测蛇行运动。公开号为CN1033712806B的中国实用新型专利“高速列车转向架蛇行运动检测，分析系统及其检测方法”，其实现了对转向架的横向加速度与纵向加速度的检测、计算和报警，并对转向架的横向加速度值与纵向加速度进行存储、显示与分析。但是此方法无法实时监测路面状况及蛇行运动情况。

发明内容

本发明所要解决的技术问题是提供一种机车蛇行运动监测方法，解决现有机车蛇行运动监测方法存在无法快速、实时观测路面及蛇行运动的技术问题，有效地实现蛇行运动的监测。

为解决上述技术问题，本发明采用的技术方案是：

一种机车蛇行运动监测方法，包括以下步骤：

步骤1：提取给定视频的图像尺寸，初始化FOE(Focus of Expansion)坐标、摄像机的焦距f_d；

步骤2：寻找连续的两帧图片的Harris角点，用LK算法对两帧图像之间相同角点进行跟踪匹配；

步骤3：计算机车的转速度；

步骤4：用不同转速度的数据训练回归模型，用回归模型预测当前蛇行程度。

进一步的，在步骤1中，图像的FOE坐标为其中，T_X，T_Y为机车的瞬时平移速度T的分量。

进一步的，在步骤2中，确定Harris角点具体为：

步骤2.1：计算图像I(x,y)在X和Y两个方向的梯度I_x和I_y；

步骤2.2：计算图像两个方向梯度的乘积和I_xy；

步骤2.3：使用高斯函数对和I_xy进行高斯加权，生成矩阵M的元素A、B和C；

步骤2.4：计算每个像素的Harris响应值R，并对小于某一阈值t的R置为零，其中R＝{R:detM-α(traceM)²＜t}；

步骤2.5：在3×3或5×5的邻域内进行非最大值抑制，局部最大值点即为图像中的角点，Harris角点的表达式为：令w(x,y)表示高斯窗口中的权重，(x,y)表示4个移动方向(1，0)，(1,1)，(0,1)，(-1,1)。

进一步的，在步骤2中，用LK算法对两帧图像之间相同角点进行跟踪匹配，具体为：设I和J为连续两帧图像，其(x,y)点的灰度值分别为I(x,y)、J(x,y)；设u＝[u_x,u_y]^T是图像I上一点，设w_x和w_y分别是点左右扩展的窗口范围，定义residual function为：

将residual function变为：

令通过LK算法，得出第k次的位移d^k＝G^-1b_k，进行k次迭代后的位移结果为

进一步的，所述步骤3具体为：

设X₀＝[x₀,y₀]^T为CCD图像中心的偏移量，则3D点X＝(X,Y,Z)^T映射到焦平面上的图像点为：

像素速度为：

令

其中，W为机车的转速度；令v(x)＝v_T(x)+v_W(x)，其旋转分量v_W(x)与机车旋转速度W有关；在齐次坐标中，点X_FOE和的组成的三角形的面积表示为则点X_FOE到由点和组成的直线的距离为：ε是无限小的正数，得到转速度W的最大似然估计为：

进一步的，所述步骤3还包括以下过程：

定义A＝(A⁽¹⁾,…,A^(N))^T，b＝(b⁽¹⁾,…,b^(N))^T，其中，

设机车的角速度为为已知，定义对角矩阵S_W＝diag(s⁽¹⁾,…s^(N))，其中，

令P为绝对残差的对角矩阵，则

进而得到表示为：

其中，表示广义逆矩阵，Q为加权矩阵，

进一步的，所述步骤4具体为：通过实验计算得到大量的转速度数据，一部分角速度数据通过训练得到特征数据β＝(β₁,β₂,……β_i)，利用最大似然估计构建逻辑回归模型f(θ)，再用所述回归模型预测其它机车角速度情况下的蛇行运动程度。

与现有技术相比，本发明的有益效果是：

1)有效利用现有车载视频设备，视频信息量更丰富，简单方便，不受机车车型影响，各种车型都可使用。

2)可以实时、快速的监测机车的蛇行运动情况，以方便来调整机车的运动。

3)自动化处理水平较高，可极大地降低操作人员工作量，并提高巡检效率，及早发现蛇行运动问题。

附图说明

图1为本发明一种机车蛇行运动监测方法的流程示意图。

图2为本发明视频摄像机安装示意图。

图中：1-工作台；2-支架；3-摄像机；4工控计算机。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

摄像机可以收集空间密集的数据，并且提供了以较低精度为代价远程测量的机会，相对便宜并且可以快速监测。本发明的基本思想是利用机车安装的摄像机作为机车振荡的监视器，虽然环境实际上是静止和刚性的，在相机视场内，场景的所有部分都是移动的；机车运动可以基于感知稳定性假设从称为光流场的图像运动中推断，以便提供关于运动方向和场景中的相对深度的信息，通过前向车载摄像机所拍摄的视频，来分析机车蛇行运动的状况。详细包括以下步骤：

步骤1：对于给定的视频，提取图像的尺寸，对FOE坐标(X_FOE)、摄像机的焦距f_d进行初始化，初始化图像的FOE坐标为

步骤2：寻找连续的两帧图片的Harris角点，用LK算法两帧图像之间相同角点进行跟踪匹配。利用Harris检测器来寻找图片中的角点，对每一帧图像进行角点检测，角点的水平和竖直方向梯度都比较大，因此主要是计算方向梯度，然后根据特定门限判断是否是最大，确定Harris角点。Harris角点的表达式为：

此时，当u和v取两组相互垂直的值时，E(u,v)都有较大值的点。

将Harris图像角点检测方法归纳为以下五步：

Step1：计算图像I(x,y)在X和Y两个方向的梯度I_x和I_y。

Step2：计算图像两个方向梯度的乘积和I_xy。

Step3：使用高斯函数对和I_xy进行高斯加权(取σ＝1)，生成矩阵M的元素A、B和C。

Step4：计算每个像素的Harris响应值R，并对小于某一阈值t的R置为零，其中

R＝{R:detM-α(traceM)²＜t}。

Step5：在3×3或5×5的邻域内进行非最大值抑制，局部最大值点即为图像中的角点。

对于上述检测到的Harris角点，LK(Lucas-Kanade)跟踪算法来求解连续两帧图像相同角点的位移问题。LK算法是基于特征点的跟踪，而这里的特征点就是每个点对应的一个小窗口图像块，LK算法所要解决的是求解连续两帧图像相同特征点的位移问题，具体的实现步骤为：

假设I和J为连续两帧图像，其(x,y)点的灰度值分别对应I(x,y),J(x,y)。设u＝[u_x,u_y]^T是图像I上一点，LK算法的目标是在图像J找到一点v＝u+d＝[u_x+d_x,u_y+d_y]^T使得点I(u)和点J(v)是同一个位置。为了求解这样的点，LK求解这两个点对应的小窗口内像素的相似度。设w_x和w_y分别是点左右扩展的窗口范围，定义residual function为

针对上述优化问题，对上式求偏导，泰勒级数展开等过程，再通过k次迭代，则residual function变为

令通过L K算法，得出第k次的位移d^k＝G^-1b_k。在每次迭代中，G是不变的，通过I(x,y)计算，唯一变化的是b，每次迭代图像J(x,y)对应的窗口都会向所要求的位置点靠近一点点(即上一次迭代的位移作为初始化)，而b的计算与J(x,y)有关，所以每次迭代都会发生变化，这样每次迭代需要计算的就只有b。进行k次迭代后，最终位移的结果是

经LK算法跟踪匹配后，得出一组经过跟踪匹配后的点对即h(X)＝[X^T,1]^T(其中h(·)表示将笛卡尔坐标中描述的点转换为齐次坐标)。经过匹配后的点对之间的基础矩阵为F＝[h(X_FOE)]_×([h(X_FOE)]_×是与矢量h(X_FOE)相关的反对称矩阵)。

步骤3：计算机车的转速度。设X₀＝[x₀,y₀]^T为CCD图像中心的偏移量，则透视投影为

像素速度为：

令

其中，

令v(x)＝v_T(x)+v_W(x)，只有旋转分量v_W(x)与机车旋转速度W有关。

在齐次坐标中，点X_FOE和的组成的三角形的面积表示为则点X_FOE到由点和组成的直线的距离为：

则转速度W的最大似然估计为：

为了便于矢量化操作，定义A＝(A⁽¹⁾,…,A^(N))^T，b＝(b⁽¹⁾,…,b^(N))^T，(其中，)。

假如机车的角速度为已知，定义对角矩阵SW＝diag(s⁽¹⁾,…s^(N))，(其中，)。

令P为绝对残差的对角矩阵，则则(9)式表示为：

其中，表示广义逆矩阵，Q为加权矩阵，

步骤4：用不同转速度的数据训练回归模型，用回归模型预测当前蛇行程度。通过实验可以计算得到大量的转速度数据，一部分角速度数据通过训练得到特征数据β＝(β₁,β₂,……β_i)，利用最大似然估计构建逻辑回归模型f(θ)。然后用此回归模型来预测其它机车角速度情况下的蛇行运动程度。

图1为具体步骤流程图。本发明的基本思想是一种基于前向车载视频监视的机车蛇行运动监测方法，计算机通过接口驱动CCD摄像机获取铁路的影像，包括：

A、用户给予计算执行处理的指令；

B、计算机通过接口发送指令使CCD摄像机读取彩色图像；

C、对上述彩色图像进行预处理，提取Harris角点；

D、用LK算法对提取的Harris角点进行跟踪匹配，记录匹配后的角点对；

E、用D中不同的角点对来计算对应的机车转速；

F、用F中机车转速的数据来训练，形成逻辑回归模型，绘制模型曲线；

G、用回归模型来预测蛇行运动程度；

H、总结检测结果，形成检测报告。

如图2所示，其硬件连接关系为：摄像机3镜头通过固定装置保持与摄像机3感光芯片的相对位置恒定，摄像机3通过云台固定于机车车头，在行驶过程中保持角度固定。摄像机3在接受到来自计算机的拍摄控制脉冲后，感光芯片的信号通过内置的AD装换后输出图像给计算机用于蛇行运动监测，同时计算机连接并控制人机交互界面。工控计算机4机箱的后端通过GigE接口连接摄像机3。工控计算机4固定在列车车头的支架2上，支架2固定在工作台1上，摄像机3安装在支架2上，并且摄像机3的角度可调节。

Claims (7)

1.一种机车蛇行运动监测方法，其特征在于，包括以下步骤：

步骤1：提取给定视频的图像尺寸，初始化FOE坐标、摄像机的焦距f_d；

步骤2：寻找连续的两帧图片的Harris角点，用LK算法对两帧图像之间相同角点进行跟踪匹配；

步骤3：计算机车的转速度；

步骤4：用不同转速度的数据训练回归模型，用回归模型预测当前蛇行程度。

2.如权利要求1所述的一种机车蛇行运动监测方法，其特征在于，在步骤1中，图像的FOE坐标为其中，T_X，T_Y为机车的瞬时平移速度T的分量。

3.如权利要求1所述的一种机车蛇行运动监测方法，其特征在于，在步骤2中，确定Harris角点具体为：

步骤2.1：计算图像I(x,y)在X和Y两个方向的梯度I_x和I_y；

步骤2.2：计算图像两个方向梯度的乘积和I_xy；

步骤2.3：使用高斯函数对和I_xy进行高斯加权，生成矩阵M的元素A、B和C；

$A=g\left(I_x^2\right)=I_x^2\⊗\mathrm{\ω}$

$B=g\left(I_{x,y}^2\right)=I_{xy}\⊗\mathrm{\ω}$

$C=g\left(I_y^2\right)=I_y^2\⊗\mathrm{\ω}$

步骤2.4：计算每个像素的Harris响应值R，并对小于某一阈值t的R置为零，其中R＝{R:detM-α(traceM)²＜t}；

步骤2.5：在3×3或5×5的邻域内进行非最大值抑制，局部最大值点即为图像中的角点，Harris角点的表达式为：令w(x,y)表示高斯窗口中的权重，(x,y)表示4个移动方向(1，0)，(1,1)，(0,1)，(-1,1)。

4.如权利要求1所述的一种机车蛇行运动监测方法，其特征在于，在步骤2中，用LK算法对两帧图像之间相同角点进行跟踪匹配，具体为：设I和J为连续两帧图像，其(x,y)点的灰度值分别为I(x,y)、J(x,y)；设u＝[u_x,u_y]^T是图像I上一点，设w_x和w_y分别是点左右扩展的窗口范围，定义residual function为：

$\mathrm{\θ}\left(d\right)=\mathrm{\θ}(d_x,d_y)=\underset{x=u_x-w_x}{\overset{u_x+w_x}{\mathrm{\Σ}}}\underset{y=u_y-w_{xy}}{\overset{u_y+w_y}{\Σ}}{\left(I\right(x,y)-J(x+d_x,y+d_y\left)\right)}^2$

将residual function变为：

$\mathrm{\θ}\left(d\right)=\mathrm{\θ}(d_x,d_y)=\underset{x=u_x-w_x}{\overset{u_x+w_x}{\mathrm{\Σ}}}\underset{y=u_y-w_{xy}}{\overset{u_y+w_y}{\Σ}}{\left(I\right(x,y)-J(x+d_x^k,y+d_y^k\left)\right)}^2$

令通过LK算法，得出第k次的位移d^k＝G^-1b_k，进行k次迭代后的位移结果为

5.如权利要求1所述的一种机车蛇行运动监测方法，其特征在于，所述步骤3具体为：

设X₀＝[x₀,y₀]^T为CCD图像中心的偏移量，则3D点X＝(X,Y,Z)^T映射到焦平面上的图像点为：

$x=\frac{f_d}{Z}(I,0)X+x_0$

像素速度为：

$v\left(x\right)=\frac{dx}{dt}=\frac{f_d}{Z}(I,0)(\frac{dX}{dt}-\frac{1}{Z}\frac{dZ}{dt}X)$

令

其中，W为机车的转速度；

令v(x)＝v_T(x)+v_W(x)，其旋转分量v_W(x)与机车旋转速度W有关；在齐次坐标中，点X_FOE和的组成的三角形的面积表示为则点X_FOE到由点和组成的直线的距离为：ε是无限小的正数，得到转速度W的最大似然估计为：

6.如权利要求5所述的一种机车蛇行运动监测方法，其特征在于，所述步骤3还包括以下过程：

定义A＝(A⁽¹⁾,…,A^(N))^T，b＝(b⁽¹⁾,…,b^(N))^T，其中，

设机车的角速度为为已知，定义对角矩阵S_W＝diag(s⁽¹⁾,…s^(N))，其中，

令P为绝对残差的对角矩阵，则

进而得到表示为：

其中，表示广义逆矩阵，Q为加权矩阵，

7.如权利要求1所述的一种机车蛇行运动监测方法，其特征在于，所述步骤4具体为：通过实验计算得到大量的转速度数据，一部分角速度数据通过训练得到特征数据β＝(β₁,β₂,……β_i)，利用最大似然估计构建逻辑回归模型f(θ)，再用所述回归模型预测其它机车角速度情况下的蛇行运动程度。