CN113409303A - 一种高速铁路接触网目标检测与跟踪方法 - Google Patents

一种高速铁路接触网目标检测与跟踪方法 Download PDF

Info

Publication number
CN113409303A
CN113409303A CN202110797636.3A CN202110797636A CN113409303A CN 113409303 A CN113409303 A CN 113409303A CN 202110797636 A CN202110797636 A CN 202110797636A CN 113409303 A CN113409303 A CN 113409303A
Authority
CN
China
Prior art keywords
characteristic parameter
wire
contact wire
line
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110797636.3A
Other languages
English (en)
Inventor
杨玲
李培云
龙永红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202110797636.3A priority Critical patent/CN113409303A/zh
Publication of CN113409303A publication Critical patent/CN113409303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种高速铁路接触网目标检测与跟踪方法，属于图像目标检测与跟踪技术领域，包括以下步骤：S1：采集样本红外视频；S2：对S1中的样本红外视频进行帧处理，得到样本图像；S3：对S2中的样本图像进行预处理；S4：对于S3中得到的图像，利用Hough变换连接样本图像中的承力索和导线的边缘；S5：确定受力接触导线的跟踪策略，并对其进行跟踪；S6：基于Kalman滤波预测目标接触导线运动轨迹，在出现漏检或错检的情况下修正跟踪结果。针对背景环境复杂、高铁接触网目标特征非常不明显、道岔口需要频繁换线、硬横支架部分遮挡等干扰问题，该方法克服了这些问题，在一定程度上解决了在行车过程中弓网脱离而引发的安全事故，为城市轨道安全运行提供了保障。

Description

一种高速铁路接触网目标检测与跟踪方法
技术领域
本发明属于图像目标检测与跟踪技术领域，更具体地，设计一种高速铁路接触网目标检测与跟踪方法。
背景技术
随着我国电气化铁路不断的往高速、重载方向发展，使得接触网－受电弓在高速运行工作状态下越来越受到关注。由于接触网长期保持和受电弓滑板相互接触，在机车行驶过程中，时刻磨损，从而给机车取电的性能带来了很多不可靠的因素，直接影响机车的行驶状态，严重时会导致发生安全事故。因此需要实时检测接触网的运行状态，以保障机车安全行驶。
目前对于接触网的实时监控数据，主要来源于高铁车厢顶部摄像头的监控图像。由于在高铁运行过程中会出现过隧道、桥梁、硬横支架以及接触网换线等情况，因此视频图像中会出现不可预测的突变和干扰，如光照变化、室内直线阴影干扰、遮挡直线背景干扰、杂乱线路干扰等。对接触线的检测与跟踪主要考虑两个问题：弓网接触的状态，即滑板和接触导线接触的好不好；在道岔口地方进行换线模式。从场景角度分析，有站内和站外两类场景。在站内环境下，由于接触网线路简单，只有承力索导线和接触网导线，目标与背景具有较大的区分度，目标检测跟踪比较容易；由于受光照变化、阴影、遮挡和换线等干扰，导致站外环境下接触网检测与跟踪成为难点。
传统的目标检测方法通常有背景建模法，帧差法，光流法等。但是在高铁接触网系统中，由于检测导线和承力索目标问题的特殊性，传统的检测算法效果并不理想，所以我们接下来的思路是借助特征参数跟踪来获取目标运动趋势，进而优化目标检测的效果。如2009年《基于图像处理的铁路接触网检测系统的研究》大连理工大学鄂永的论文，运用传统的接触线识别算法，即基于灰度信息识别接触线算法，主要是利用接触线的灰度信息，提前检测图像的某一行像素进行粗略搜索，然后根据接触线和承力索的位置和宽度区别定位接触线。这种方法虽然能够有效准确识别接触线，但在换线过程中无法准确检测，只能适用于只有一条接触线和一条承力索的简单线路条件下，并且无法实现实时处理。
在本申请的实际环境中，由于导线和承力索无显著视觉特征，在出现直线干扰时判别性较弱，因此对其进行跟踪具有一定的难度。
发明内容
针对上述存在的技术问题，本发明提出一种高速铁路接触网目标检测与跟踪方法，弥补接触线和承力索无视觉显著特征的不足，克服了多个相似运动目标同时运动复杂情况问题，并且该方法能在大多数情况下实时、准确地检测跟踪接触线，在一定程度上解决了在行车过程中弓网脱离而引发的安全事故，为城市轨道安全运行提供了保障。
本发明采用以下具体的技术方案：
一种高速铁路接触网目标检测与跟踪方法，包括以下步骤：
S1：采集样本红外视频；
S2：对S1中的样本红外视频进行帧处理，得到样本图像；
S3：对S2中的样本图像进行预处理；
S4：对于S3中得到的图像，利用Hough变换连接样本图像中的承力索和导线的边缘；
S5：确定受力接触导线的跟踪策略，并对其进行跟踪；
S6：基于Kalman滤波预测目标接触导线运动轨迹，在出现漏检或错检的情况下修正跟踪结果。
优选的，所述S3的预处理至少包括灰度化和感兴趣区域提取。
优选的，所述灰度化针对红外图像进行，然后直接采用prewitt边缘检测算法提取接触网的边缘特征信息。
优选的，所述S4具体包含以下步骤：
S41：记录候选目标直线边缘的像素点坐标，保存到一个二维数组中；
S42：对二维数组中边缘像素点按式ρ＝xcosθ+ysinθ逐点进行Hough变换，得到参数矩阵[ρ,θ]并保存到一个积累的霍夫矩阵中；
S43：在霍夫矩阵中进行峰值检测，找出霍夫矩阵中的最大值点，记录其值并保存位置，并对峰值点及周围小领域内的点的值进行清零；
S44：消除过连接直线与伪直线；
S45：合并、拟合直线。
优选的，所述S43需循环求最大值点：完成第一个峰值检测并清零后，接着求霍夫矩阵中第二个最大值点并进行同样的后续步骤，直到将所有满足条件的最大值点检测完成。
优选的，所述S45根据直线间的夹角，用最小二乘法合并、拟合直线，修正Hough变换方法提取直线的精度。
优选的，所述S5具体包含以下步骤：
S51，利用Hough变换方法检测感兴趣区域中的接触导线；
S52：将检测到的接触导线的特征值指派给相应的追踪器；
S53：基于特征参数确定受力接触导线的跟踪策略，并对受力接触导线进行跟踪。
优选的，所述S53中的跟踪策略分为两大类情况：
(1)只有一根承力索和一根接触导线：
a.没有杂线状态：
如果，在累加器的局部峰值中接触导线和承力索的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
导线的特征参数值大于承力索的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，承力索的特征参数值大于导线的特征参数值，则此特征参数最大的检测线是承力索。
b.有杂线状态：
如果，在累加器的局部峰值中接触导线、承力索和杂线的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
接触导线的特征参数值大于承力索的特征参数值且大于杂线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，承力索的特征参数值大于接触导线的特征参数值且大于杂线的特征参数值，则此特征参数最大的检测线是承力索；
否则，杂线的特征参数值大于接触导线的特征参数值且大于承力索的特征参数值，则此特征参数最大的检测线是杂线；
(2)有多根承力索和接触导线：
a.没有杂线状态：
如果，在累加器的局部峰值中导线和承力索的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
受力接触导线的特征参数值大于承力索的特征参数值且大于不受力接触导线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，不受力接触导线的特征参数值大于承力索的特征参数值且大于受力接触导线的特征参数值，则此特征参数最大的检测线是不受力接触导线；
否则，承力索的特征参数值大于受力接触导线的特征参数值且大于不受力接触导线的特征参数值，则此特征参数最大的检测线是承力索；
b.有杂线状态：
如果，在累加器的局部峰值中接触导线、承力索和杂线的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
受力接触导线的特征参数值大于承力索的特征参数值、大于不受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，不受力接触导线的特征参数值大于承力索的特征参数值、大于受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是不受力接触导线；
否则，承力索的特征参数值大于不受力接触导线的特征参数值、大于受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是承力索；
否则，杂线的特征参数值大于不受力接触导线的特征参数值、大于受力接触导线的特征参数值、且大于承力索的特征参数值，则此特征参数最大的检测线是杂线。
优选的，所述跟踪策略的判断依据包括：
(1)具有一定斜率的承力索和接触线在极坐标系参数空间对应的特征向量[ρ,θ]中皆在第一象限；
(2)近似水平直线即滑板上边缘和下边缘水平直线对应的特征向量[ρ,θ]皆在第三象限；
(3)接触导线的特征参数值大于承力索的特征参数值；
(4)受力接触导线的特征参数值大于不受力接触导线的特征参数值。
优选的，所述S6利用卡尔曼滤波器预测接触线的参数来估计出其目标接触线的轨迹位置并对得到的参数数据进行修正，接着进入下一次迭代过程。
本发明的有益效果为：
本发明提出在红外视频的各帧中利用Hough变换检测直线的优势来提取接触线的参数，进而使用Kalman滤波实现对接触线参数一帧帧的持续跟踪，从而弥补接触线和承力索在视觉上无显著特征的不足。这样，就可以将接触线的跟踪转换成Hough变换空间中参数跟踪，不仅提高了运行速度，而且克服了多个相似运动目标同时运动复杂情况问题，另外将目标跟踪方法的Kalman滤波引入，在接触线检测错误或者发生遮挡等情况预测下一帧接触线可能出现的位置，以修正接触线跟踪的偏差。
附图说明
图1为本发明优选实施例的红外视频接触网目标检测跟踪步骤流程图；
图2为本发明优选实施例的高速铁路接触目标检测与跟踪方法的流程图；
图3为本发明优选实施例对样本图像进行预处理提取到的一个感兴趣区域示意图；
图4为本发明优选实施例接触线边缘连接方法流程图；
图5为对应图4的边缘未连接的布局放大效果图；
图6为对应图4的边缘连接的局部放大效果图；
图7为图像空间中的直线与参数空间中的点一一对应示意图；
图8为在参数空间k、q中，两条直线的唯一公共点是在原图像空间图7中表示连接点A和B的唯一存在的直线上；
图9为图像空间坐标在直角坐标空间下的示意图；
图10为图9的直角空间坐标到极坐标参数空间的转换示意图；
图11为约定直角坐标系下直线斜率值的正负表示示意图；
图12为本发明优选实施例的基于Kalman滤波的接触线的特征参数预测跟踪流程图。
具体实施方式
下面结合具体实施例进一步说明本发明。本发明使用实际观测的数据集为样本集，以验证目标检测与跟踪方法的有效性。数据集涵盖了高铁行车过程中，接触网观测图像中出现的外界光照变化、阴影、换线等干扰。感兴趣区域就是从图像中选择的一个图像区域，是图像分析所需要关注的重点，以便进行进一步处理；过连接直线：是将不是同一条直线的线段而连接成一条直线；伪直线是把不需要重点关注的线段通过阈值的设定标注出来从而干扰目标。
实施例1
如图1所示，为红外视频接触网目标的检测跟踪步骤流程图，如图2所示，为一种高速铁路接触目标检测与跟踪方法的流程图。本实施例公开一种基于Kalman滤波的高速铁路接触网目标检测与跟踪方法，包括以下步骤：
S1：采集样本红外视频。该步骤中，将红外摄像机在列车行车过程中采集得到的接触网视频，按一定的帧率采样图像序列，得到样本图像，构成样本集，此样本集包含室内(只有接触线和承力索的接触网简单线路)和室外(桥梁、硬横支架部分遮挡以及换线等接触线复杂线路)样本图像，其中站台外的目标跟踪容易受到光照变化、阴影、遮挡和杂乱线路等干扰。
S2：对S1中的样本红外视频进行帧处理，得到样本图像。
S3：对S2中的样本图像进行预处理。
预处理至少包括灰度化和感兴趣区域提取，由于列车相机安装位置和成像角度等原因，受电弓和接触网导线一般位于观测图像的上部，所以需要对样本图像进行分割，分割出感兴趣区域，然后再在感兴趣区域中检测目标。基于灰度化后的样本图像，可批量获得样本图像的感兴趣区域，构成后续目标检测与跟踪的操作区域集合。
为了便于计算，本实施例从原始样本图像中截取每一帧样本图像的感兴趣区域，感兴趣区域包含了待检测目标的全部信息，并且避免了大部分噪声存在于全局图像而造成的干扰，比如对于原始采集图像其尺寸为640×480，提取到的感兴趣区域(如图3所示为一个感兴趣区域示例)，尺寸也统一为640×480。
S4：对于S3中得到的图像，利用Hough变换(霍夫变换)连接样本图像中的承力索和导线的边缘。首先记录候选直线边缘的像素点并保存到二维数组中，然后逐点进行Hough变换并保存到积累矩阵(霍夫矩阵)中，接着在霍夫矩阵中进行峰值检测，然后消除过连接直线与伪直线，最后合并、拟合、输出直线，具体流程如图4所示，前后效果对比如图5、图6所示。
具体详细步骤为：
S41：在二值化的边缘图像上，记录候选目标直线边缘的像素点坐标，保存到一个二维数组中；
S42：对二维数组中边缘像素点按式ρ＝xcosθ+ysinθ逐点进行Hough变换，得到参数矩阵[ρ,θ]并保存到一个积累的霍夫矩阵中；
S43：在霍夫矩阵中进行峰值检测，找出霍夫矩阵中的最大值点，记录其值并保存位置，并对峰值点及周围小领域内的点的值进行清零；完成第一个峰值检测并清零后，接着求霍夫矩阵中第二个最大值点并进行同样的后续步骤，直到将所有满足条件的最大值点检测完成。
S44：消除过连接直线与伪直线；通过设置合适的阈值，可避免相距较远的点过连接问题以及将些短线或者离散的点误认为是被检测直线。
S45：合并、拟合直线。根据直线间的夹角，用最小二乘法拟合并合并直线，进行修正Hough变换方法提取直线的精度。
在本实施例中，约定一坐标规则，如图7—图11所示，以与Matlab图像处理工具箱中的坐标规则相统一。
图7、图8表示图像空间中的直线与参数空间中的点一一对应；图9、图10表示图像空间到极坐标参数空间的转换过程；图11表示约定直角坐标系下直线斜率值的正负。图7中，通过点A的所有直线由y1＝k*x1+q表示，k和q是常数，这意味着同一个方程可以解释为参数空间k、q的方程。因此通过点A的所须直线可以表示为方程q＝-x1*k+y1，类似地通过点B的直线可以表示为q＝-x2*k+y2。如图8所示，在参数空间k和q中，两条直线的唯一公共点是在原图像空间中表示连接点A和B的唯一存在的直线。
图9、图10中，r＝xcosθ+ysinθ，y＝kx+b，其中r为极坐标系下的半径，θ为极坐标系下的角度，x为直角坐标系下的横坐标，y为直角坐标系下的纵坐标，k为直角坐标系下的斜率，b为直角坐标系下的截距。经过霍夫变换，图像空间中的每个点(x,y)就被映射为一个(r,θ)极坐标空间中的正弦曲线；同一直线上的点会有相同的r和θ，图像空间中共线的点所对应的(r,θ)为空间中正弦曲线相交于一点(r′,θ′)，即曲线的交点对应的坐标就是过所有点的直线的极坐标参数。
步骤S5：确定受力接触导线的跟踪策略，并对受力接触导线进行跟踪。
该步骤中，所述预设规则包括：R1：单线规则，若只有承力索和接触导线两条直线检测，当前的检测只能被分配给一个追踪器，对其他的目标的检测将会丢弃；R2：多线规则，若多条线被检测，只能有一条线被分配给追踪器，其他的线检测将被视为干扰线；R3：跳变规则，通常来讲，遇到换线的情况导线的特征参数[ρ,θ]会有大幅度的跳变，其中，ρ为检测线在极坐标下的半径，θ为检测线在极坐标下的角度。
上述假设前提包括：(1)具有一定斜率的承力索和接触线在极坐标系参数空间对应的特征向量[ρ,θ]中皆在第一象限(在极坐标系中都是正值)；(2)近似水平直线即滑板上边缘和下边缘水平直线对应的特征向量[ρ,θ]皆在第三象限(都是负值)；(3)通常情况下，接触导线的特征参数值大于承力索的特征参数值；(4)大多数换线情况下，受力接触导线的特征参数值大于不受力接触导线的特征参数值。
S5具体包含以下步骤：
S51，利用Hough变换方法检测感兴趣区域中的接触导线；
其中，对于每一条检测到的线，它的完全特征向量可以表示为：[rho，theta，tangent，intercept，gray，saliency]，其中，rho、theta是罗马字母，表示目标导线在极坐标下的半径和角度；tangent为直角坐标系下直线的斜率，intercept为直角坐标系下直线的截距；gray表示灰度值，saliency表示显著性。上述线目标的特征向量可以简写为[ρ,θ]，其中，ρ是检测线在极坐标下的半径，θ是检测线在极坐标下的角度。
S52：将检测到的接触导线的特征值指派给相应的追踪器；
追踪器的特征可以表示为位置状态值[ρ,θ]，其中ρ是检测到的接触导线在极坐标下的半径，θ是检测到的接触导线在极坐标下的角度。
S53：基于特征参数确定受力接触导线的跟踪策略，并对受力接触导线进行跟踪；
通过对候选直线特征参数的ρ和θ进行分析，发现图像感兴趣区域中直线对应的点[ρ,θ]在参数空间(极坐标系)中皆在第一象限(都是正值)；受力接触导线的特征参数值大于承力索的特征参数值，同时受力接触导线的特征参数值大于杂线的特征参数值，并且受力接触导线的特征参数值大于不受力接触导线的特征参数值，即受力接触导线的特征参数值在第一象限中是最大值。
本步骤中实现数据关联的一个核心问题是如何确定受力接触导线的特征参数，指定的导线目标的特征是[ρ,θ]，且ρ和θ应该互相制约来确定受力接触导线的跟踪方案。因此本实施例提出受力接触导线的跟踪策略，按照实际情况的不同，可分为只有一根承力索和一根接触导线和有多根承力索接触导线两大类情况。其中第一类可分为承力索导线无交叉、承力索导线有交叉、导线和杂线交叉三种情况，第二类分为受力接触导线不受力接触导线无交叉、受力接触导线不受力接触导线有交叉、导线和杂线交叉三种情况。
1.接触网只有一根承力索和一根接触导线的情况下：
(1)承力索和导线无交叉：上一步检测出的候选目标基于先验知识比较容易被区分标记，因此实现跟踪比较容易。
(2)承力索和导线有交叉：在大多数情况下，承力索和接触导线的特征参数值在极坐标系中都是正值，通常情况下，接触导线的特征参数值要大于承力索的特征参数值，接触导线的横截面要比承力索宽一些。这种情况下检测出的候选目标有三种可能：①承力索；②受力接触导线；③杂线。
(3)导线和杂线交叉遮挡：在图像中显示的杂线主要是硬横支架和桥梁部分遮挡，利用先验知识，限定变换空间中ρ和θ的取值范围，就可去除部分杂线。大多数情况下，接触导线的特征参数值要大于杂线的特征参数值。这种情况下检测出的候选目标有三种可能：①承力索；②受力接触导线；③杂线。
2.接触网有多根承力索和接触导线的情况下：
(1)受力接触导线和不受力接触导线无交叉：上一步检测出的候选目标基于先验知识比较容易被区分标记，受力的接触导线的特征参数值大于不受力的接触导线的特征参数值。这种情况下检测出的候选目标有四种可能：①承力索；②受力接触导线；③不受力接触导线；④杂线。
(2)受力接触导线和不受力接触导线有交叉：在大多数情况下，承力索和接触导线的特征参数值在极坐标系中都是正值；大多数换线情况下，受力的接触导线的特征参数值大于不受力的接触导线，受力的接触导线的横截面要比不受力的接触导线宽一些。这种情况下检测出的候选目标有四种可能：①承力索；②受力接触导线；③不受力接触导线；④杂线。
(3)导线和杂线交叉遮挡：在图像中显示的杂线主要是硬横支架和桥梁部分遮挡，利用先验知识，限定变换空间中ρ和θ的取值范围，就可去除部分杂线。大多数情况下，受力的接触导线的特征参数值大于不受力的接触导线，接触导线的特征参数值要大于杂线的特征参数值。这种情况下检测出的候选目标有四种可能：①承力索；②受力接触导线；③不受力接触导线；④杂线。
以上六种情况下，此时跟踪策略的具体步骤如a)、b)、c)、d)所列：
a)在半径ρ和角度θ合适的最大值、最小值之间建立一个离散的参数空间以及一个累加器A(ρ,θ)，并把每个元素置为0。
b)利用先验知识，限定变换空间中ρ和θ的取值范围，对二值图像上满足条件的像素点做Hough变换，即算出该点在每个ρ-θ网格上的对应曲线，并在相应的累加器上加1，即：A(ρ,θ)＝A(ρ,θ)+1。
c)遍历二值化图像，找出对应图像平面共线点的累加器的局部峰值peak(ρ,θ)；
d)指派特征参数值最大的检测线。需要说明的是，此种情形下需要根据经验预先设定一个特征参数值的最大阈值和最小阈值，然后根据实验情况逐步优化最大阈值和最小阈值。
综上，两大类情况具体可操作的跟踪策略为：
(1)只有一根承力索和一根接触导线：
a.没有杂线状态：
如果，在累加器的局部峰值中接触导线和承力索的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
导线的特征参数值大于承力索的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，承力索的特征参数值大于导线的特征参数值，则此特征参数最大的检测线是承力索。
b.有杂线状态：
如果，在累加器的局部峰值中接触导线、承力索和杂线的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
接触导线的特征参数值大于承力索的特征参数值且大于杂线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，承力索的特征参数值大于接触导线的特征参数值且大于杂线的特征参数值，则此特征参数最大的检测线是承力索；
否则，杂线的特征参数值大于接触导线的特征参数值且大于承力索的特征参数值，则此特征参数最大的检测线是杂线；
(2)有多根承力索和接触导线：
a.没有杂线状态：
如果，在累加器的局部峰值中导线和承力索的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
受力接触导线的特征参数值大于承力索的特征参数值且大于不受力接触导线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，不受力接触导线的特征参数值大于承力索的特征参数值且大于受力接触导线的特征参数值，则此特征参数最大的检测线是不受力接触导线；
否则，承力索的特征参数值大于受力接触导线的特征参数值且大于不受力接触导线的特征参数值，则此特征参数最大的检测线是承力索；
b.有杂线状态：
如果，在累加器的局部峰值中接触导线、承力索和杂线的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
受力接触导线的特征参数值大于承力索的特征参数值、大于不受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，不受力接触导线的特征参数值大于承力索的特征参数值、大于受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是不受力接触导线；
否则，承力索的特征参数值大于不受力接触导线的特征参数值、大于受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是承力索；
否则，杂线的特征参数值大于不受力接触导线的特征参数值、大于受力接触导线的特征参数值、且大于承力索的特征参数值，则此特征参数最大的检测线是杂线。
优选的，所述S6利用卡尔曼滤波器预测接触线的参数来估计出其目标接触线的轨迹位置并对得到的参数数据进行修正，接着进入下一次迭代过程。
S6：基于Kalman滤波预测目标接触导线运动轨迹，在出现漏检或错检的情况下修正跟踪结果。
该步骤中，通过Kalman滤波预测承力索导线的位置状态向量[ρ,θ]来估计出其目标接触线的轨迹位置。在采集的红外视频帧中，将目标接触线理解为一个包含参数空间下半径和角度的向量，从当前帧通过协方差矩阵推测出下一帧的位置参数预测值，即估计出下一视频帧中接触线的轨迹位置。确定卡尔曼增益系数对位置参数的估计值和预测误差协方差进行修正，接着进入下一次迭代过程。特征参数预测算法流程如图12所示。
假设红外视频中目标接触线在s帧的位置参数可以用一个向量Peak(s,:)来表示，其中rho_max表示其接触线参数的极坐标系下半径最大值，theta_max表示其接触线参数的极坐标系下角度最大值。
Peak(s,:)＝[rho_max,theta_max]
目标还可能存在噪声干扰w，相当于是红外视频中目标接触线运动的变量。如果已知上一帧s-1时目标接触线的位置参数预测矩阵，当前视频帧的目标接触线的位置轨迹即位置参数观测矩阵可以用如下公式来表示
x1(s,:)＝A*x(s-1,:)+B*w (1)
式中：x1(s,:)是在第s帧的接触线位置参数的预测矩阵，A表示由上一帧最优估计x(s-1)推测出第s帧接触线轨迹的位置参数观测矩阵，w为预测模型的过程噪声，B为控制矩阵，表示控制量w如何作用于当前状态。由于是对红外视频中目标接触线位置参数的预测，这里通过一个均值为0的高斯噪声来模拟预测时产生的误差。视频中每一帧的不确定性都是通过状态噪声协方差矩阵来表示，预测目标接触线的位置参数时必定是不准确的，本实施例通过状态噪声协方差矩阵Q来表示预测过程中产生的误差，该误差包含一些不确定因素，预测误差协方差矩阵为
p1(s,:)＝A2*p(s-1,:)+Q (2)
式中：p1(s,:)为下一帧接触线位置参数的预测误差协方差矩阵，p(s-1,:)为前一帧位置参数最优估计的观测误差协方差矩阵，A为上一帧最优估计预测第s帧接触线轨迹的位置参数转移矩阵的转置矩阵。在红外视频中接触线在实际检测中无论如何都避免不了误差，通过Hough变换检测的接触线严格来说也只是对接触线位置参数的预测估计。Kalman由预测过程和测量修正两部分组成，估计过程中包含接触线当前位置参数的预测和误差协方差的预测。滤波器修正部分主要是对预测状态的更新，包括Kalman滤波增益的更新，利用K(s)对位置参数值和协方差修正。
卡尔曼增益表达式为：
Figure BDA0003163314810000131
式中：k(s)为第s帧的卡尔曼滤波常数，R是位置参数观测噪声协方差矩阵，即位置参数的测量误差，H是真实位置参数到预测位置参数的预估观测值的位置参数转移矩阵。
推测出接触线下一帧位置参数的最佳估计值的数学表达式为
x(s,:)＝x1(s,:)+k(s)*(y(s,:)-H*x1(s,:)) (4)
式中：x1(s,:)是在第s帧的接触线实际轨迹的位置参数推测值，y(s,:)是第s帧的接触线位置参数的实际测量值即参数观测值。
最后，更新红外视频图像中接触线的实际位置参数与检测位置参数之间的误差协方差矩阵，即更新预测误差协方差矩阵，数学表达为
p(s,:)＝(1-k(s))*p1(s,:) (5)
由上面分析可知，根据上面推测的下一帧中的特征参数估计值x(s,:)，直接与当前帧中接触线的特征参数Peak(s-1,:)进行匹配，分别计算两帧之间参数的差值，并设定合适的阈值。若差值小于设定的阈值，则特征参数匹配成功，并将卡尔曼滤波器估计的接触线轨迹位置代替被匹配的接触线。解决了复杂环境中的一帧或几帧图像漏检或没有检测到的问题，用估计值代替检测值，增加了接触线跟踪的稳定性，当若干序列图像中接触线检测失败时，仍然可以用特征参数的估计值代替检测值输出，提高了电力机车运行安全性。
从受力接触导线追踪的实验结果可以看出，本实施例主要是站外跟踪接触线，无论是在接触网只有一根导线和一根承力索的背景下，还是在接触网多根导线的背景下，本实施例都可以得到一个比较准确的跟踪结果，这对于目前该领域的研究空缺具有一定的补充意义。
综上所述，针对背景环境复杂，高铁接触网目标特征非常不明显的情况，并且由于在机车实际运行过程中出现道岔口需要频繁换线、硬横支架部分遮挡等干扰，目标检测很容易发生误检。本发明基于Kalman滤波原理，通过s-1帧中的目标观测值来预测s帧中的目标状态值，使得跟踪算法对阴影、换线等干扰更加鲁棒，能够有效解决误检和漏检问题。测试示例表明，本方法在复杂背景下对高铁接触网导线、承力索的跟踪在准确度上明显优于其他的跟踪算法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种高速铁路接触网目标检测与跟踪方法，其特征在于，包括以下步骤：
S1：采集样本红外视频；
S2：对S1中的样本红外视频进行帧处理，得到样本图像；
S3：对S2中的样本图像进行预处理；
S4：对于S3中得到的图像，利用Hough变换连接样本图像中的承力索和导线的边缘；
S5：确定受力接触导线的跟踪策略，并对其进行跟踪；
S6：基于Kalman滤波预测目标接触导线运动轨迹，在出现漏检或错检的情况下修正跟踪结果。
2.根据权利要求1所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述S3的预处理至少包括灰度化和感兴趣区域提取。
3.根据权利要求2所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述灰度化针对红外图像进行，然后直接采用prewitt边缘检测算法提取接触网的边缘特征信息。
4.根据权利要求1所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述S4具体包含以下步骤：
S41：记录候选目标直线边缘的像素点坐标，保存到一个二维数组中；
S42：对二维数组中边缘像素点按式ρ＝xcosθ+ysinθ逐点进行Hough变换，得到参数矩阵[ρ,θ]并保存到一个积累的霍夫矩阵中；
S43：在霍夫矩阵中进行峰值检测，找出霍夫矩阵中的最大值点，记录其值并保存位置，并对峰值点及周围小领域内的点的值进行清零；
S44：消除过连接直线与伪直线；
S45：合并、拟合直线。
5.根据权利要求4所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述S43需循环求最大值点：完成第一个峰值检测并清零后，接着求霍夫矩阵中第二个最大值点并进行同样的后续步骤，直到将所有满足条件的最大值点检测完成。
6.根据权利要求4所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述S45根据直线间的夹角，用最小二乘法合并、拟合直线，修正Hough变换方法提取直线的精度。
7.根据权利要求1所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述S5具体包含以下步骤：
S51，利用Hough变换方法检测感兴趣区域中的接触导线；
S52：将检测到的接触导线的特征值指派给相应的追踪器；
S53：基于特征参数确定受力接触导线的跟踪策略，并对受力接触导线进行跟踪。
8.根据权利要求7所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述S53中的跟踪策略分为两大类情况：
(1)只有一根承力索和一根接触导线：
a.没有杂线状态：
如果，在累加器的局部峰值中接触导线和承力索的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
导线的特征参数值大于承力索的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，承力索的特征参数值大于导线的特征参数值，则此特征参数最大的检测线是承力索。
b.有杂线状态：
如果，在累加器的局部峰值中接触导线、承力索和杂线的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
接触导线的特征参数值大于承力索的特征参数值且大于杂线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，承力索的特征参数值大于接触导线的特征参数值且大于杂线的特征参数值，则此特征参数最大的检测线是承力索；
否则，杂线的特征参数值大于接触导线的特征参数值且大于承力索的特征参数值，则此特征参数最大的检测线是杂线；
(2)有多根承力索和接触导线：
a.没有杂线状态：
如果，在累加器的局部峰值中导线和承力索的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
受力接触导线的特征参数值大于承力索的特征参数值且大于不受力接触导线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，不受力接触导线的特征参数值大于承力索的特征参数值且大于受力接触导线的特征参数值，则此特征参数最大的检测线是不受力接触导线；
否则，承力索的特征参数值大于受力接触导线的特征参数值且大于不受力接触导线的特征参数值，则此特征参数最大的检测线是承力索；
b.有杂线状态：
如果，在累加器的局部峰值中接触导线、承力索和杂线的特征参数值都在最大阈值和最小阈值之间，并且比较累加器所有的特征参数值：
受力接触导线的特征参数值大于承力索的特征参数值、大于不受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是受力接触导线；
否则，不受力接触导线的特征参数值大于承力索的特征参数值、大于受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是不受力接触导线；
否则，承力索的特征参数值大于不受力接触导线的特征参数值、大于受力接触导线的特征参数值、且大于杂线的特征参数值，则此特征参数最大的检测线是承力索；
否则，杂线的特征参数值大于不受力接触导线的特征参数值、大于受力接触导线的特征参数值、且大于承力索的特征参数值，则此特征参数最大的检测线是杂线。
9.根据权利要求8所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述跟踪策略的判断依据包括：
(1)具有一定斜率的承力索和接触线在极坐标系参数空间对应的特征向量[ρ,θ]中皆在第一象限；
(2)近似水平直线即滑板上边缘和下边缘水平直线对应的特征向量[ρ,θ]皆在第三象限；
(3)接触导线的特征参数值大于承力索的特征参数值；
(4)受力接触导线的特征参数值大于不受力接触导线的特征参数值。
10.根据权利要求1所述的高速铁路接触网目标检测与跟踪方法，其特征在于，所述S6利用卡尔曼滤波器预测接触线的参数来估计出其目标接触线的轨迹位置并对得到的参数数据进行修正，接着进入下一次迭代过程。
CN202110797636.3A 2021-07-14 2021-07-14 一种高速铁路接触网目标检测与跟踪方法 Pending CN113409303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110797636.3A CN113409303A (zh) 2021-07-14 2021-07-14 一种高速铁路接触网目标检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110797636.3A CN113409303A (zh) 2021-07-14 2021-07-14 一种高速铁路接触网目标检测与跟踪方法

Publications (1)

Publication Number Publication Date
CN113409303A true CN113409303A (zh) 2021-09-17

Family

ID=77686464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110797636.3A Pending CN113409303A (zh) 2021-07-14 2021-07-14 一种高速铁路接触网目标检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN113409303A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217626A (zh) * 2021-12-14 2022-03-22 集展通航(北京)科技有限公司 一种基于无人机巡检视频的铁路工程检测方法和系统
CN114463387A (zh) * 2022-02-16 2022-05-10 四川精伍轨道交通科技有限公司 一种接触网跟踪检测方法及检测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318582A (zh) * 2014-11-14 2015-01-28 西南交通大学 一种基于图像不变性目标定位的高铁接触网旋转双耳部件销钉不良状态检测方法
CN106447699A (zh) * 2016-10-14 2017-02-22 中国科学院自动化研究所 基于卡尔曼滤波的高铁接触网目标检测与跟踪方法
CN111402214A (zh) * 2020-03-07 2020-07-10 西南交通大学 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法
CN112329584A (zh) * 2020-10-29 2021-02-05 深圳技术大学 基于机器视觉自动识别电网异物的方法及系统、设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318582A (zh) * 2014-11-14 2015-01-28 西南交通大学 一种基于图像不变性目标定位的高铁接触网旋转双耳部件销钉不良状态检测方法
CN106447699A (zh) * 2016-10-14 2017-02-22 中国科学院自动化研究所 基于卡尔曼滤波的高铁接触网目标检测与跟踪方法
CN111402214A (zh) * 2020-03-07 2020-07-10 西南交通大学 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法
CN112329584A (zh) * 2020-10-29 2021-02-05 深圳技术大学 基于机器视觉自动识别电网异物的方法及系统、设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李培云 等: "一种高速铁路接触网目标检测与跟踪方法", 《电子产品世界》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217626A (zh) * 2021-12-14 2022-03-22 集展通航(北京)科技有限公司 一种基于无人机巡检视频的铁路工程检测方法和系统
CN114217626B (zh) * 2021-12-14 2022-06-28 集展通航(北京)科技有限公司 一种基于无人机巡检视频的铁路工程检测方法和系统
CN114463387A (zh) * 2022-02-16 2022-05-10 四川精伍轨道交通科技有限公司 一种接触网跟踪检测方法及检测装置

Similar Documents

Publication Publication Date Title
CN109684921B (zh) 一种基于三维激光雷达的道路边界检测与跟踪方法
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN102622895B (zh) 一种基于视频的车辆速度检测方法
Zhang et al. A robust pantograph–catenary interaction condition monitoring method based on deep convolutional network
CN113409303A (zh) 一种高速铁路接触网目标检测与跟踪方法
CN107014294A (zh) 一种基于红外图像的接触网几何参数检测方法及系统
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN103605967A (zh) 一种基于图像识别的地铁防逃票系统及其工作方法
Pan et al. Traffic surveillance system for vehicle flow detection
CN103246896A (zh) 一种鲁棒性车辆实时检测与跟踪方法
Nassu et al. Rail extraction for driver support in railways
CN113487543B (zh) 接触网燃弧灼烧检测方法、装置、计算机设备和存储介质
CN112597877A (zh) 一种基于深度学习的厂区人员异常行为检测方法
CN111640135A (zh) 一种基于硬件前端的tof摄像头行人计数方法
CN110288571A (zh) 一种基于图像处理的高铁接触网绝缘子异常检测方法
Espino et al. Rail extraction technique using gradient information and a priori shape model
CN112329584A (zh) 基于机器视觉自动识别电网异物的方法及系统、设备
CN103422417A (zh) 一种公路表面破损的动态识别系统与方法
CN114252075B (zh) 一种电缆沟巡检机器人的路径跟踪方法及系统
CN116167999A (zh) 一种基于图像匹配的配电线路零值绝缘子红外热像检测方法
CN114663672A (zh) 一种输电线路塔钢构件腐蚀检测方法及系统
Yang et al. Online pantograph-catenary contact point detection in complicated background based on multiple strategies
Espino et al. Rail and turnout detection using gradient information and template matching
CN110230985B (zh) 一种轨枕螺栓检测装置
Jaw et al. Wind adaptive modeling of transmission lines using minimum description length

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210917

RJ01 Rejection of invention patent application after publication