CN106447699A - 基于卡尔曼滤波的高铁接触网目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于卡尔曼滤波的高铁接触网目标检测与跟踪方法，所述方法包括以下步骤：采集样本图像；对于所述样本图像进行预处理；对于经过预处理后的样本图像，获取水平扫描线上的像素点并对其进行显著性排序，提取得到显著性像素点；基于提取到的显著性像素点，检测经过预处理后的样本图像中的承力索和导线；确定承力索和导线协同跟踪策略，并对承力索和导线进行跟踪；基于Kalman滤波预测目标运动轨迹，修正跟踪结果。本发明基于Kalman滤波原理，通过对复杂背景下的承力索和导线进行检测与跟踪，实现对接触网的实时监测，对行车途中弓网脱离等突发情况进行有效预警，在一定程度上避免了由于弓网滑脱而引发的意外事故。

Description

基于卡尔曼滤波的高铁接触网目标检测与跟踪方法

技术领域

本发明属于图像目标检测与跟踪技术领域，尤其是一种基于卡尔曼滤波的高铁接触网目标检测与跟踪方法。

背景技术

在当代高铁部件模块中，弓网系统负责向动车组提供稳定、持续、可靠的电能，是保障高速铁路动车组运行的核心设备之一。弓网系统主要包括受电弓与接触网。为了实现对弓网系统的视频监控，工程技术人员设定了接触网的一些技术参数，比如线路温度、拉高值、导出值等。接触网主要包括导线和承力索，其位置确定了拉高值与导出值，同时导线与取电弓的接触程度决定了接触网线路的温度，因此对导线和承力索位置和状态的准确判断是保障高铁安全监测的重要方面。

目前对于接触网的实时监控数据，主要来源于高铁车厢顶部摄像头的监控图像。由于在高铁运行过程中会出现过隧道、桥梁以及接触网换线等情况，因此视频图像中会出现不可预测的突变和干扰，如光照变化、室内直线阴影干扰、杂乱线路干扰等。在室外环境下，接触网的背景主要以天空为主，即使在夜晚，由于补光灯的照射，前景目标也与背景具有较大的区分度，目标检测跟踪比较容易；室内环境(隧道、桥梁等)下，由于受光照变化、阴影、遮挡和换线等干扰，导致室内环境下接触网检测与跟踪成为难点。

传统的目标检测方法通常有背景建模法，帧差法，光流法等。但是在高铁接触网系统中，由于检测导线和承力索目标问题的特殊性，传统的检测算法效果并不理想，所以我们接下来的思路是借助跟踪来获取目标运动趋势，进而优化目标检测的效果。

现有的目标跟踪方法主要有以下几种：①基于模型的跟踪(Model-basedTracking)；②基于活动轮廓的跟踪(Active Contour Based Tracking)；③基于区域的跟踪(Region-based Tracking)；④基于特征的跟踪(Feature-based Tracking)；⑤基于光流的跟踪；⑥基于学习的跟踪。上述方法中应用最广泛的是基于特征的目标跟踪。在本发明的实际环境中，由于导线和承力索无显著视觉特征，在出现直线干扰时判别性较弱，因此对其进行跟踪具有一定的难度。

发明内容

针对上述问题，本发明提出了一种基于卡尔曼(Kalman)滤波的高铁接触网目标检测与跟踪方法，以解决复杂背景下(隧道、桥梁)接触网的目标检测与跟踪问题。该方法主要涉及两部分内容，首先是接触网(导线和承力索)的检测，依据其所处背景环境的不同，可以分为室内和室外两种情况；其次是接触网的跟踪，实现了承力索和导线的协同跟踪。本发明根据目标特征不明显这一特点，定义了视觉显著性指标，利用上述对于特殊目标的显著性定义，进行了承力索和导线的检测；在目标跟踪方面，本发明的跟踪方法基于Kalman滤波，在目标发生遮挡或者没有检测到等情况，预测下一帧目标的可能出现位置，修正目标跟踪的偏差。

本发明提出的基于Kalman滤波的高铁接触网目标检测与跟踪方法包括以下步骤：

步骤S1：采集样本图像；

步骤S2：对于所述样本图像进行预处理；

步骤S3：对于经过预处理后的样本图像，获取水平扫描线上的像素点并对其进行显著性排序，提取得到显著性像素点；

步骤S4：基于提取到的显著性像素点，检测经过预处理后的样本图像中的承力索和导线；

步骤S5：确定承力索和导线协同跟踪策略，并对承力索和导线进行跟踪；

步骤S6：基于Kalman滤波预测目标运动轨迹，修正跟踪结果。

可选地，所述预处理至少包括灰度化和感兴趣区域提取。

可选地，所述步骤S3中，在提取得到的感兴趣区域中，从上至下划出若干条水平扫描线，然后计算沿水平扫描线的像素点灰度值，构成一维信号，绘制灰度图，计算该一维信号的灰度值梯度，梯度值大于一阈值的像素点为显著性像素点。

可选地，所述步骤S3还包括：对于所述一维信号进行自身平方、与特定卷积算子作卷积和高斯平滑的步骤。

可选地，所述步骤S4包括以下步骤：

步骤S41，定义直角坐标系下的主角度，对ROI区域中基于主角度的所有水平扫描线进行聚类，然后拟合显著性较强的像素点，将其匹配为直线；

步骤S42，根据先验知识，剔除ROI区域中的杂线和误检测直线。

可选地，所述先验知识指：承力索位于导线的左侧；承力索的亮度大于导线的亮度；线目标上的像素点的显著性强于邻近的非线目标上的像素点的显著性。

可选地，所述步骤S5包括以下步骤：

步骤S51：在ROI区域全局检测全部的线；

步骤S52：将检测到的线的特征值指派给相应的追踪器；

步骤S53：基于追踪器的特征确定承力索和导线的协同跟踪策略，并对承力索和导线进行跟踪。

可选地，所述步骤S6中，首先，通过卡尔曼滤波预测承力索导线的位置状态向量和灰度值状态向量；然后更新位置状态向量和灰度值状态向量。

综上所述，针对背景环境复杂，高铁接触网目标特征非常不明显的情况，并且由于阴影、换线等干扰，目标检测很容易发生误检，本发明基于Kalman滤波原理，通过k-1时刻的目标观测值来预测k时刻的目标状态值，使得跟踪算法对阴影、换线等干扰更加鲁棒，能够有效解决误检和漏检问题。本发明对复杂背景下高铁接触网的跟踪在准确度上明显优于其他的跟踪算法。

附图说明

图1是根据本发明一实施例的基于Kalman滤波的高铁接触网目标检测与跟踪方法的流程图；

图2是根据本发明一实施例的在ROI区域计算像素点的灰度值梯度并匹配直线的示意图；

图3是极坐标规则示意图；

图4是根据本发明一实施例的承力索导线的检测步骤流程图；

图5是根据本发明一实施例的ROI全局内各种直线出现的范围示意图；

图6是根据本发明一实施例的ROI局部区域内承力索、导线合并与分离情形示意图；

图7是根据本发明一实施例的基于Kalman滤波的承力索、导线协同跟踪步骤流程图；

图8是根据本发明一实施例的承力索导线协同追踪的实验结果示意图。

具体实施方式

为使本发明的技术方案、实现步骤和跟踪效果更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明使用实际观测的数据集为样本集验证算法的有效性。数据集涵盖了高铁行车过程中，接触网观测图像中出现的外界光照变化、阴影、换线等干扰。

图1是根据本发明一实施例的基于Kalman滤波的高铁接触网目标检测与跟踪方法的流程图，如图1所示，所述基于Kalman滤波的高铁接触网目标检测与跟踪方法包括以下步骤：

步骤S1：采集样本图像；

该步骤中，将高清摄像机在列车行车过程中采集得到的接触网视频，按一定的帧率采样图像序列，得到样本图像，构成样本集，此样本集包含室内(隧道内、桥下等复杂背景)和室外(户外等简单背景)样本图像，其中隧道内的目标跟踪容易受到导线、承力索以及其他线的阴影的干扰。采集到的样本图像如图2左图所示。

步骤S2：对于所述样本图像进行预处理；

所述预处理至少包括灰度化和感兴趣区域提取，由于列车相机安装位置和成像角度等原因，受电弓和导线一般位于观测图像的上部，所以需要对样本图像进行切割，切割出感兴趣区域ROI，然后再在ROI区域中检测目标。基于灰度化后的样本图像，可批量获得样本图像的ROI区域，构成后续目标检测与跟踪的操作区域集合。

为了便于计算，本发明从原始样本图像中截取每一帧样本图像的ROI区域，所述ROI区域包含了待检测目标的全部信息，并且避免了大部分噪声存在于全局图像而造成的干扰，比如对于图2左图所示的原始采集图像，其尺寸为480×640，提取到的ROI区域如图2右上图所示，尺寸统一为100×640。

步骤S3：对于经过预处理后的样本图像，获取水平扫描线上的像素点并对其进行显著性排序，提取得到显著性像素点，即显著性排序前预定数量的像素点；

在提取得到的ROI区域中，从上至下划若干条水平扫描线，然后计算沿水平扫描线的像素点灰度值，构成一维信号，并绘制灰度图，然后计算该一维信号的灰度值梯度，梯度越大，说明线的显著性就越大，比如，可将梯度值大于一阈值的像素点作为显著性像素点。

在本发明一实施例中，为了让灰度值梯度具有更大的区分度，将所述一维信号通过自身平方、与特定卷积算子作卷积、高斯平滑三步处理，使得沿扫描线的一维像素点灰度值梯度获得增益，即使得本身具有灰度值突变的一维像素点灰度值与邻近像素点差异化变大，得到该一维信号的显著性图，这样的话该像素点灰度值梯度更大，像素点灰度的显著性以及由像素点匹配的线显著性更强，后续的目标线检测精度就更高。

其中，像素点灰度值梯度大小的直方图定义为：

其中，D_x为梯度大小的水平分量，D_y为梯度大小的垂直分量，(x，y)为像素点坐标，(u，v)为映射空间的坐标，R为自变量域。

在本发明一实施例中，约定一坐标规则，如图3所示，以与Matlab图像处理工具箱中的坐标规则相统一。

图3中左图表示直角坐标系和极坐标系中坐标点的转换关系；右图表示约定直角坐标系下直线斜率值的正负。图3的左图中，ρ＝x cos(θ)+y sin(θ)，y＝wx+b，其中ρ为极坐标系下的半径，θ为极坐标系下的角度，x为直角坐标系下的横坐标，y为直角坐标系下的纵坐标，w为直角坐标系下的斜率，b为直角坐标系下的截距。

由上面两式推出，θ＝-arc cot(w)，ρ＝b sin(θ)。

可在上述坐标的基础上，在ROI区域中沿x方向划若干条水平扫描线。

步骤S4：基于提取到的显著性像素点，检测经过预处理后的样本图像中的承力索和导线；

该步骤中，首先匹配出候选直线目标，然后基于先验知识剔除杂线和误检测的线，最后筛选出符合预定条件的直线，具体流程如图4所示。

具体地，所述步骤S4包括以下步骤：

步骤S41，定义直角坐标系下的主角度θ(x，y)，对ROI区域中基于主角度的所有水平扫描线进行聚类，在聚类结果的基础上，拟合显著性较强的像素点，并设置合适的匹配阈值将其匹配为直线，其中，主角度θ(x，y)表示为：

其中，D_x(u，v)表示梯度大小的水平分量，D_y，(u，v)表示梯度大小的垂直分量。

步骤S42，根据先验知识，剔除ROI区域中的杂线和位于ROI区域边界等误检测的直线。

所述先验知识是指：经统计，隧道内采集的图像，由于列车车厢顶部摄像机的安装位置固定，在采集到的弓网图像中，承力索一般位于导线的左侧，承力索的亮度一般比较亮，导线比较暗，而且线上的像素点相较于邻近的非线上像素点的显著性是最强的。

在剔除ROI区域中的杂线和位于ROI区域边界等误检测的直线时，首先在ROI区域按照从上到下的顺序划出若干条等距水平扫描线，然后求取沿扫描线的像素点灰度值，构成一维信号，将所述一维信号与卷积算子进行卷积，使得具有灰度值梯度最大的像素点落在线上而不是边上，这样就可以锁定最明显的直线。

步骤S5：基于预设规则和假设前提，确定复杂背景下承力索和导线协同跟踪策略，并对承力索和导线进行跟踪；

该步骤中，所述预设规则包括：R1：合并规则，若追踪器合并，当前的检测只能被分配给一个追踪器，对其他的目标的检测将会丢失；R2：多线规则，若多条线被检测，只能有一条线被分配给追踪器，其他的线检测将被视为干扰线；R3：跳变规则，通常来讲，不容许线的特征[ρ，θ]有大幅度的跳变，除非遇到换线的情况，其中，ρ为检测线在极坐标下的半径，θ为检测线在极坐标下的角度。

所述假设前提包括：A1：大多数情况下承力索和导线是显著性最强的；A2：通常情况下，承力索比导线要更亮一些。

具体地，所述步骤S5包括以下步骤：

步骤S51：在ROI区域全局检测全部的线；

其中，对于每一条检测到的线，它的完全特征向量可以表示为：[rho，theta，tangent，intercept，gray，saliency]，其中，rho、theta是罗马字母，表示线目标在极坐标下的半径和角度；tangent为直角坐标系下直线的斜率，intercept为直角坐标系下直线的截距；gray表示灰度值，saliency表示显著性。上述线目标的特征向量可以简写为[ρ，θ，g，s]，其中，ρ是检测线在极坐标下的半径，θ是检测线在极坐标下的角度，g是灰度梯度，s表示线的显著性。

步骤S52：将检测到的线的特征值指派给相应的追踪器；

所述追踪器的特征可以表示为[rank(s)，lhp，lhg]，其中rank(s)是全局或者局部的显著性排序，lhp和lhg表示介于候选目标和预测目标之间的位置似然值和灰度似然值。

步骤S53：基于追踪器的特征确定承力索和导线的协同跟踪策略，并对承力索和导线进行跟踪。

本步骤中实现数据关联的一个核心问题是如何分配特征元素的优先级，指定的线目标的特征是[ρ，θ，g，s]，由于灰度似然值lhg极度不稳定，不能作为优先指标，rank(s)的优先级取决于灰度假设A1，跳变规则R3决定了位置似然值lhp的优先级。当rank(s)优先于lhp时，很容易排除局部干扰，比如阴影和错误匹配的线；但是这样的话会由于光照的改变违反规则R3。当lhp的优先级高于rank(s)时，保持了规则R3；但是由于过程的噪声方差，很容易导致追踪器的劫持和漂移问题。

基于上述，rank(s)和lhp应该互相制约来确定承力索和导线的跟踪方案。因此本发明提出承力索导线协同跟踪策略，按照实际情况的不同，可分为承力索导线无交叉和有交叉两种策略。在图5中，最外围的虚线框表示ROI区域中检测到线的全局范围，包括承力索和导线，也包括干扰线和误检测的线；次中间的虚线框是非局部范围，此区间包含了承力索和导线可能出现的位置；最中间的虚线框是局部范围，是承力索和导线一定出现的区域。下面按照两种情况分别讨论上述协同跟踪策略：

(I)承力索导线无交叉：当图像中显示承力索和导线无交叉的情况下，上一步检测出的候选目标基于先验知识比较容易被区分标记，因此实现跟踪比较容易。

(II)承力索导线有交叉：在多数情况下，承力索和导线的显著性是最强的，通常情况下，导线的显著性要强于承力索，导线要比承力索暗一些。这种情况下检测出的候选目标有三种可能：①承力索；②导线；③杂线。

(1)在承力索导线无交叉的情况下：

当图像中显示承力索和导线无交叉的情况下，上一步检测出的候选目标基于先验知识比较容易被区分标记，因此实现跟踪比较容易。该情况下的跟踪策略为：

如果，检测线的显著性排序等于1并且位置似然值与最大位置似然值的差值的绝对值小于一阈值，则该检测线就是指派的追踪目标。

否则：如果，检测线的显著性排序等于1，位置似然值不等于最大位置似然值，并且与最大位置似然值的差值的绝对值大于一阈值，则比较显著性最强的线的灰度似然值和位置似然最大值的线的灰度似然值，二者中选择灰度似然值较大的线作为追踪目标。

(2)在承力索导线有交叉的情况下：

在多数情况下，承力索和导线的显著性是最强的，通常情况下，导线的显著性要强于承力索，导线要比承力索暗一些。该情况下检测出的候选目标有三种可能：1)承力索；2)导线；3)杂线。此时跟踪策略的具体步骤如①、②、③所示。

①指派显著性最大的检测线。需要说明的是，此种情形下需要根据经验预先设定一个位置似然值的最大阈值和最小阈值，然后根据实验情况逐步优化最大阈值和最小阈值。

a)交叉状态1，此情况下的跟踪策略如下：

如果，位置似然值排序最大的导线与位置似然值排序最大的承力索的差值的绝对值大于最大阈值，并且位置似然值排序最大的导线大于位置似然值排序最大的承力索，则此显著性排序最大的检测线是导线。

否则：如果，位置似然值排序最大的导线与位置似然值排序最大的承力索的差值的绝对值大于最大阈值，并且位置似然值排序最大的导线小于位置似然值排序最大的承力索，则此显著性排序最大的检测线是承力索。

b)交叉状态2，此情况下的跟踪策略如下：

如果，位置似然值排序最大的导线与位置似然值排序最大的承力索的差值的绝对值介于最大阈值和最小阈值之间，并且灰度似然值最大的导线大于灰度似然值最大的承力索，则此显著性排序最大的检测线是导线。

否则：如果，位置似然值排序最大的导线与位置似然值排序最大的承力索的差值的绝对值介于最大阈值和最小阈值之间，并且灰度似然值最大的承力索大于灰度似然值最大的导线，则此显著性排序最大的检测线是承力索。

c)交叉状态3，此情况下的跟踪策略如下：

如果，位置似然值最大的导线与位置似然值最大的承力索的差值的绝对值小于最小阈值，并且灰度似然值最大的导线大于灰度似然值最大的承力索，则此显著性排序最大的检测线是导线。

否则：如果，位置似然值最大的导线与位置似然值最大的承力索的差值的绝对值小于最小阈值，并且灰度似然值最大的导线小于灰度似然值最大的承力索，则此显著性排序最大的检测线是承力索。

②通过最小化显著性最大的检测线的绝对距离进行交叉线的检测，对候选线的显著性再次排序。

③假设显著性最大的检测线已经在第一步中被指派给导线，接下来我们需要确定导线和承力索的结合状态，即如图6左图所示的二者状态为合并或如图6右图所示的二者状态为分离，然后指出承力索。

步骤S6：基于Kalman滤波预测目标运动轨迹，修正跟踪结果。

该步骤中，首先，通过Kalman滤波预测承力索导线的位置状态向量[ρ，θ]和灰度值状态向量[g]；然后更新状态向量[ρ，θ，g]。其中，对于位置状态向量[ρ，θ]，采用标准Kalman滤波更新；对于灰度值状态向量[g]，在分段固定假设的基础上采用自适应Kalman滤波来更新。其中，预测精确度受滤波过程中的噪声方差影响。

Kalman滤波是最优化自回归数据处理算法，是利用系统的过程模型来预测系统的下一状态，对于我们的图像目标跟踪系统而言，假设X(k)代表系统的状态，Z(k)代表系统的观测，则：

状态序列方程可表示为：

X(k)＝A×X(k-1)+B×U(k)+W(k) (3)

观测序列方程可表示为：

Z(k)＝H×X(k)+V(k) (4)

其中，X(k)、X(k-1)是k、k-1时刻的系统状态；Z(k)是k时刻的系统观测向量；U(k)是对应于k时刻对外部控制向量；W(k)和V(k)分别为正态分布的运动和测量噪声向量；A和B是系统函数；H是测量系统的参数。

图7是基于Kalman滤波的索导协同追踪流程图。复杂背景下(隧道、桥下)承力索和导线的跟踪存在跳变、阴影干扰等复杂情况。承力索导线检测完毕后，通过Kalman滤波预测承力索、导线的位置状态向量[ρ，θ]和灰度值状态向量[g]。在Kalman滤波预测的整个过程中，通过k-1时刻的观测值来预测目标k时刻的真实状态，将观测值输入Kalman滤波框架预测未来帧图像中目标的状态。获取目标的状态后，便能校正每帧的跟踪结果。对于位置状态向量[ρ，θ]，采用标准Kalman滤波更新；对于灰度值状态向量[g]，在分段固定假设的基础上采用自适应Kalman滤波来更新，其中，预测精确度受滤波过程的噪声方差影响。

对于特征非常不明显的承力索和导线来说，检测到的线的特征[ρ，θ，g]中哪个元素占主要权重，需要根据一个协同跟踪策略来决定。本发明定义了一个优先级组合策略，通过判断是否满足组合策略的阈值，来决定哪些情况下显著性排序rank(s)优先，还是位置似然lhp优先，或者灰度值似然lhg优先。

最后更新目标特征[ρ，θ，g，s]，将该特征反馈回索导协同跟踪算法，如果满足假设规则和先验知识，则输出该特征，显示跟踪结果；如果该特征不满足假设规则和先验知识，则重新参与跟踪过程。

图8是承力索导线协同追踪实验结果。从结果可以看出，无论是在简单的室外背景下，如图8左图所示，还是在复杂的室内(隧道、桥下)背景下，如图8右图所示，本发明都可以得到一个比较准确的跟踪结果。这对于目前该领域的研究空缺具有一定的补充意义。

综上所述，针对背景环境复杂，高铁接触网目标特征非常不明显的情况，并且由于阴影、换线等干扰，目标检测很容易发生误检，本发明基于Kalman滤波原理，通过k-1时刻的目标观测值来预测k时刻的目标状态值，使得跟踪算法对阴影、换线等干扰更加鲁棒，能够有效解决误检和漏检问题。测试示例表明，本发明在复杂背景下对高铁接触网导线、承力索的跟踪在准确度上明显优于其他的跟踪算法。

以上所述的具体实施方式和实验例对本发明的技术方案、实施细节和算法有效性都进行了详细说明。应该提出的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于卡尔曼滤波的高铁接触网目标检测与跟踪方法，其特征在于，所述方法包括以下步骤：

步骤S1：采集样本图像；

步骤S2：对于所述样本图像进行预处理；

步骤S3：对于经过预处理后的样本图像，获取水平扫描线上的像素点并对其进行显著性排序，提取得到显著性像素点；

步骤S4：基于提取到的显著性像素点，检测经过预处理后的样本图像中的承力索和导线；

步骤S5：确定承力索和导线协同跟踪策略，并对承力索和导线进行跟踪；

步骤S6：基于Kalman滤波预测目标运动轨迹，修正跟踪结果。

2.如权利要求1所述的方法，其特征在于，所述预处理至少包括灰度化和感兴趣区域提取。

3.如权利要求2所述的方法，其特征在于，所述步骤S3中，在提取得到的感兴趣区域中，从上至下划出若干条水平扫描线，然后计算沿水平扫描线的像素点灰度值，构成一维信号，绘制灰度图，计算该一维信号的灰度值梯度，梯度值大于一阈值的像素点为显著性像素点。

4.如权利要求3所述的方法，其特征在于，所述步骤S3还包括：对于所述一维信号进行自身平方、与特定卷积算子作卷积和高斯平滑的步骤。

5.如权利要求2所述的方法，其特征在于，所述步骤S4包括以下步骤：

步骤S41，定义直角坐标系下的主角度，对ROI区域中基于主角度的所有水平扫描线进行聚类，然后拟合显著性较强的像素点，将其匹配为直线；

步骤S42，根据先验知识，剔除ROI区域中的杂线和误检测直线。

6.如权利要求5所述的方法，其特征在于，所述先验知识指：承力索位于导线的左侧；承力索的亮度大于导线的亮度；线目标上的像素点的显著性强于邻近的非线目标上的像素点的显著性。

7.如权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：

步骤S51：在ROI区域全局检测全部的线；

步骤S52：将检测到的线的特征值指派给相应的追踪器；

步骤S53：基于追踪器的特征确定承力索和导线的协同跟踪策略，并对承力索和导线进行跟踪。

8.如权利要求1所述的方法，其特征在于，所述步骤S6中，首先，通过卡尔曼滤波预测承力索导线的位置状态向量和灰度值状态向量；然后更新位置状态向量和灰度值状态向量。