CN110197494B - 一种基于单目红外图像的受电弓接触点实时检测算法 - Google Patents

一种基于单目红外图像的受电弓接触点实时检测算法 Download PDF

Info

Publication number
CN110197494B
CN110197494B CN201910411635.3A CN201910411635A CN110197494B CN 110197494 B CN110197494 B CN 110197494B CN 201910411635 A CN201910411635 A CN 201910411635A CN 110197494 B CN110197494 B CN 110197494B
Authority
CN
China
Prior art keywords
pantograph
image
contact line
point set
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910411635.3A
Other languages
English (en)
Other versions
CN110197494A (zh
Inventor
黄正华
王硕
孙建国
李璇
黄振
洪汉玉
张天序
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN201910411635.3A priority Critical patent/CN110197494B/zh
Publication of CN110197494A publication Critical patent/CN110197494A/zh
Application granted granted Critical
Publication of CN110197494B publication Critical patent/CN110197494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Current-Collector Devices For Electrically Propelled Vehicles (AREA)

Abstract

本发明公开了一种基于单目红外图像的接触点实时检测算法。其中，所述方法包括：利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的单目红外原始图像进行模板匹配，确定受电弓位置；根据所述受电弓位置，在所述单目红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像；分别对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图像和受电弓增强图像；分别对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取；分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。

Description

一种基于单目红外图像的受电弓接触点实时检测算法
技术领域
本发明涉及交通安全工程技术领域，特别是涉及一种基于单目红外图像的接触点实时检测算法。
背景技术
电力机车通过受电弓从接触网导线上获取电能牵引列车前行，列车在行驶过程中其车顶的受电弓会自动升降使得受电弓顶部的滑板和接触网中的接触线能保持良好接触，并且为了提高滑板的使用寿命，防止在列车运行时接触线在滑板的某一处持续摩擦，人们将接触线以“之”字型的方式架设从而让接触线在滑板的有效范围内来回滑动，接触线的高度也要和受电弓所能达到的最大高度相匹配，接触线过高则在运行过程中可能导致弓网分离从而中断受流降低电流品质，过低则会加剧滑板的磨损降低其使用寿命进而增加运营成本。因此动态实时监测接触网的运行状态就变得十分重要，合适的导线高度、弓网是否良好接触等对高速铁路的安全运行具有重大意义，是进一步提高速度和提升效率的关键一环。
高速动车组在运行时会经历各种场景，在有些线路中会频繁经过隧道、桥梁、站场、顶棚等；在不同的运行时间段会有不同的天气状况，如大雾雨雪和云层等都会在红外图像中成像，并且不同场景下的接触线和背景的成像差别很大，如在隧道内图像整体噪声水平很高，有时接触线在图像中甚至出现“断裂”的现象；经过桥梁时红外图像中会出现大面积亮块，并且有时亮度甚至会高于接触线；经过站场或顶棚时会图像中会出现大面积的顶棚灯光或站场；云层较厚时在图像中也会有云层。这些不同的场景的背景区别大，图像噪声水平差异大，对识别接触线是非常大的干扰。
传统的边缘检测技术虽然能提取出接触线的轮廓，但是对图像中的边缘是无差别的，这使得边缘检测的结果中包含了大量背景元素，这对后续接触线的进一步检测带来了很大的干扰，因为边缘检测算法只关注图像中的边缘，并没有图像中景物的先验知识；传统的霍夫直线检测虽然能够准确地检测出图像中的直线，但是基于霍夫变换的直线检测方法速度较慢，首先需要获取接触线的二值图像，获得检测结果后还需要进一步判断接触线的位置，并且当图中接触线被定位器拉折时需要将两段短的直线拼接起来，进一步拖慢了检测速度。
发明内容
针对传统技术的缺陷或不足，本发明提出一种基于单目红外图像的接触点实时检测算法，有效解决传统边缘检测算子无差别地对待受电弓和接触线轮廓，不能很好地突出接触线和受电弓的特征并且存在大量背景边缘的问题。本发明通过下述技术方案实现：
为实现上述技术目的，本发明提供了一种基于单目红外图像的接触点实时检测算法，包括以下步骤：
S1、利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的电力机车单目红外原始图像进行模板匹配，确定受电弓位置；
S2、根据所述受电弓位置，在所述单目红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像；
S3、分别对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图像和受电弓增强图像；
S4、分别对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集；
S5、分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
其中，提取弓以上接触线图像和受电弓感兴趣区域图像的步骤中，包括步骤：
根据模板匹配获得受电弓的位置，提取弓以上接触线图像并进行灰度化处理；
根据模板匹配获得受电弓的位置，提取受电弓感兴趣区域图像，并进行灰度化处理。
其中，在对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作的步骤中，包括步骤：
利用一阶微分算子提取所述弓以上接触线图像中接触线的边缘，其中，提取的边缘图像为接触线与承力索，或同时出现定位器和吊弦；
利用接触线的左右梯度和宽度权重对所述边缘图像进行增强处理，获得仅包含接触线的接触线增强图像；
利用受电弓的上下梯度和对应像素灰度值的高斯权重和对所述受电弓感兴趣区域图像进行增强处理，获得受电弓增强图像。
其中，对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集的步骤包括：
对所述接触线增强图像和受电弓增强图像的像素分别进行归一化操作，提取满足条件的接触线离散点集合和受电弓碳滑板轮廓离散点集合；
对所述接触线离散点集合和受电弓碳滑板轮廓离散点集合进行参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取。
其中，对所述接触线增强图像和受电弓增强图像的像素分别进行归一化操作，提取满足条件的接触线离散点集合和受电弓碳滑板轮廓离散点集合的步骤包括：
对所述接触线增强图像的每一行像素进行归一化操作，得到归一化之后的接触线增强图像；
求取所述接触线增强图像中的每一行灰度值的最大值所在的点作为该行图像中接触线所在的位置；
根据所述每一行灰度值的最大值所在的点，求取所有行像素灰度最大值所在的点的集合做为接触线离散点集合；
对所述受电弓增强图像的每一列像素进行归一化操作，每一列像素进行归一化操作，得到归一化之后的受电弓增强图像；
求取所述受电弓增强图像中的每一列置信度最高的点作为该行图像中受电弓碳滑板所在的位置；
根据所述每一列置信度最高的点，求取所有列置信度最高的点的集合作为受电弓碳滑板轮廓离散点集合。
其中，对所述接触线离散点集合和受电弓碳滑板轮廓离散点集合进行参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取的步骤包括：
对所述接触线离散点集合的参数进行优化，所述参数包括接触线中心像素个数和接触线中心到接触线边界的像素数；
限定所述接触线离散点集合列范围和行范围，提取接触线点集；
对所述受电弓碳滑板轮廓离散点集合的参数进行优化，所述受电弓碳滑板轮廓离散点集合参数包括模板大小、上下梯度的计算中心和像素坐标点的像素偏移量；
限定所述受电弓碳滑板轮廓离散点集合列范围和行范围，提取受电弓碳滑板轮廓点集。
其中，分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点的步骤包括：
提取接触线参数特征，利用随机采样一致性算法(RANSAC)对所述接触线点集进行直线的参数估计；
提取受电弓碳滑板的参数特征，利用随机采样一致性算法(RANSAC)对所述受电弓碳滑板轮廓点集进行直线的参数估计；
计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
其中，单目红外图像是通过近红外相机或高清可见光相机实时获取机车行进过程中的红外原始图像。
为解决上述技术目的，本发明提供了一种计算机设备，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如前述技术方案所述的基于单目红外图像的受电弓接触点实时检测方法中的步骤。
为解决上述技术目的，本发明提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如前述技术方案所述的基于单目红外图像的受电弓接触点实时检测方法中的步骤。
区别于现有技术，本发明的基于单目红外图像的受电弓接触点实时检测方法利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的单目红外原始图像进行模板匹配，确定受电弓位置；根据所述受电弓位置，在所述单目红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像；分别对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图像和受电弓增强图像；分别对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取；分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。通过本发明，能够准确地计算接触点在图像中的位置，有效地克服了受电弓定位过程中带来的误差，进一步提升了检测系统对接触线和受电弓的检测鲁棒性。
附图说明
图1为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法的流程示意图；
图2为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法上午受电弓接触线模型图像；
图3为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法的接触线图像模型；
图4为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法的接触线的总梯度值的高斯权重图像；
图5为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中获取受电弓增强图像时的上下梯度计算示意图；
图6为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中图像在噪声和低噪声条件下不同参数仿真增强结果比对图；
图7为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中图像在中高噪声水平条件下不同参数仿真增强结果比对图；
图8为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中干净背景下接触线增强与提取结果示意图；
图9为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中部分复杂背景下接触线增强与提取结果示意图；
图10为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中干净背景感兴趣区域受电弓碳滑板增强与提取结果示意图；
图11为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中部分复杂背景感兴趣区域受电弓碳滑板增强与提取结果示意图；
图12为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中不同参数接触线点集合提取示意图；
图13为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中天空背景受电弓接触线检测结果示意图；
图14为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法中部分复杂背景受电弓接触线检测结果示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步的详细说明，但本发明的保护范围不局限于以下。
实施例1
如图1所示为本发明实施例提供的一种基于单目红外图像的接触点实时检测算法的流程图，包括以下步骤：
S1、利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的单目红外原始图像进行模板匹配，确定受电弓位置；
S2、根据受电弓位置，在单目红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像；
S3、分别对弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图像和受电弓增强图像；
S4、分别对接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取；
S5、分别对接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
实施例2
本实施例基于实施例1的原理对上述步骤的实现方法进行举例说明。
步骤S1，利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的单目红外原始图像进行模板匹配，确定受电弓位置。
示例性的，可以通过近红外相机和高清可见光相机实时获取机车行进过程中相机拍摄的单目红外原始图像，利用从红外视频帧序列的第一张原始图像中截取的弓模板对单目红外原始图像中的受电弓进行匹配，从而实现受电弓的定位。通过模板匹配的方式获得受电弓的定位矩形为(X,Y,W,H)，其中，(X,Y)为定位矩形的左上角坐标，W为定位矩形的宽度，H为定位矩形的高度。
步骤S2，根据受电弓位置，在单目红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像。
根据步骤S1弓模型获得受电弓的位置，提取弓以上接触线图像并进行灰度化处理；
根据步骤S1弓模型获得受电弓的位置，提取受电弓感兴趣区域图像，并进行灰度化处理。
步骤S3，分别对弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图像和受电弓增强图像。
利用一阶微分算子提取弓以上接触线图像中接触线的边缘，此边缘图像中一定会出现的是接触线和承力索，有可能会出现定位器和吊弦；
利用接触线的左右梯度和宽度权重对边缘图像进行增强处理，获得仅包含接触线的接触线增强图像。
示例性的，具体原理和步骤如下：
在红外图像中，接触线和承力索都有一定的宽度，并且接触线要比承力索更宽，在干净的天空背景中，接触线的灰度值会比承力索高。尽管背景不同时图像噪声水平不一，但接触线和周围有一定的对比度，通过一阶微分算子能够很好地提取接触线的边缘。承力索悬吊接触线，因此在红外图像中一定会出现的是接触线和承力索，以及受电弓，有可能会出现定位器和吊弦，通过对接触线和承力索进行建模可以简化不同背景带来的影响。如图2所示为受电弓和接触线图像模型，其中包含了接触线、承力索，定位器以及受电弓平面和支柱。受电弓的位置可以通过弓模型来获取，因此受电弓平滑板所处的平面可以提前知道，根据受电弓的位置，提取受电弓碳滑板平面上方的图像并灰度化，如图3所示，接触线图像模型中包含受电弓、承力索和定位器，接触线和承力索的灰度等级并不相同，这也符合接触线和承力索的物理特性以及它们在红外图像中的成像特点。
为了利用接触线和环境背景的差异以及接触线的宽度，本实施方式中通过接触线的左右梯度和宽度权重来增强接触线。令f(i,j)表示红外图像f中像素坐标为(i,j)的灰度值，
Figure GDA0002123870060000071
表示在像素点(i,j)处的左梯度值，
Figure GDA0002123870060000072
表示在像素点(i,j)处的右梯度值，则接触线的左右梯度可以表示为(1)和(2)式所示：
Figure GDA0002123870060000073
Figure GDA0002123870060000074
其中，a1表示要选择的接触线中心像素个数，b1表示接触线中心到接触线边界的像素数。令g1(i,j)表示接触线的总梯度值，则
Figure GDA0002123870060000081
当a1＝1,b1＝2时，
Figure GDA0002123870060000082
和
Figure GDA0002123870060000083
分别相当于1×3大小的Sobel算子，g1(i,j)则可以表示为两个反方向的Sobel算子的叠加。式(3)考虑了接触线的梯度特征，而接触线在红外图像中一般都比背景要亮，因而接触线本身的亮度信息可以作为接触线的重要特征。
令g2(i,j)表示图像中以像素点坐标(i,j)处为中心，一定范围内像素灰度值的高斯权重和，如式(4)所示。
Figure GDA0002123870060000084
高斯权重函数
Figure GDA0002123870060000085
的图像如图4所示：
高斯权重和(式(4))更注重的是距离原点的像素的灰度值，选择不同大小的a1反映出对中心像素的关注程度，a1越大，则距离高斯权重中心附近的像素也会被赋予较高的权重。在红外图像中，以图像中某个像素为中心的位置计算该像素附近的高斯权重和能够将红外图像中像素灰度值的影响考虑在接触线的提取过程中，从而能够更有效地提取接触线。
接触线的一个很重要的特征是它们的宽度是一定的，如果图像中线的宽度很大，那么这种情况是干扰的几率很大，因此本文通过对接触线的左右梯度进行预判，得到线的两边的状态因子g3(i,j)，通过引入状态因子来约束图像中的接触线。状态因子如下式(5)所示。
Figure GDA0002123870060000086
在简单背景中，图像中的景物比较简单，对接触线的干扰较少，此时接触线的左右梯度会很接近，则g3(i,j)会接近于1；在复杂场景如隧道条件下，隧道口的左右梯度差异很大，此时g3(i,j)就会很小，因此式(5)通过左右梯度的最小值和最大值的比作为接触线所在环境的状态因子。
令Hg(i,j)表示在红外图像中坐标点为(i,j)处的接触线增强结果，综合(3)、(4)和(5)式可以得到最后的接触线增强函数为：
Figure GDA0002123870060000091
其中，L为红外图像的灰度等级，本文以8位红外图像为例，则L＝256，Sh是高斯权重因子的和，其计算公式如(7)式所示，
Figure GDA0002123870060000092
利用受电弓的上下梯度和对应像素灰度值的高斯权重和对受电弓感兴趣区域图像进行增强处理，获得受电弓增强图像。
示例性的，具体原理和步骤如下：
令
Figure GDA0002123870060000093
表示受电弓区域内像素坐标为(i,j)在沿着垂直方向的上梯度，
Figure GDA0002123870060000094
则表示为垂直方向的下梯度，则受电弓的上梯度和下梯度的计算公式为：
Figure GDA0002123870060000095
Figure GDA0002123870060000096
其中b2为梯度模板大小的三分之一，即梯度模板的大小为3b2×1，a2为上下梯度的计算中心和像素坐标点(i,j)的像素偏移量，对于上梯度
Figure GDA0002123870060000097
来说，a2沿着垂直方向向下偏移，对于上梯度
Figure GDA0002123870060000098
而言，a2沿着垂直方向向上偏移。当像素点位于受电弓碳滑板上方时，上下梯度都会产生较大的梯度值。举例来说，当梯度的模板大小b2＝1，偏移量a2＝1时，上下梯度算子的图像表现形式如图5所示。
红外图像中受电弓的灰度值总是较高，通过引入上梯度和下梯度对应灰度值的高斯权重函数来将受电弓的灰度特征融入增强算法里。令Vg1(i,j)表示上梯度对应像素灰度值的高斯权重和，Vg2(i,j)表示下梯度对应像素灰度值的高斯权重和，则
Figure GDA0002123870060000101
Figure GDA0002123870060000102
最后将(8)式至(11)式合并，则可以得到受电弓碳滑板增强公式，令Vg(i,j)表示经过增强算法之后在感兴趣区域内的增强结果，则
Figure GDA0002123870060000103
其中L为图像的灰度等级，S′v为(10)式和(11)式的权重和，即
Figure GDA0002123870060000104
步骤S4，分别对接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集。
示例性的，像素归一化操作具体原理和步骤如下：
通过(6)式求得红外图像f对接触线增强后的图像Hg之后，对接触线图像Hg的每一行像素进行归一化操作，得到归一化之后的接触线图像。由于增强之后的接触线图像Hg是灰度图像，其中的灰度值表明了该点属于接触线的概率，因此当灰度值越高时，说明这个点属于接触线的概率越大。由此本文通过求取接触线图像Hg中的每一行灰度值的最大值所在的点作为该行图像中接触线所在的位置，通过对受电弓碳滑板上方的所有行像素求得最大像素值所在的点的集合便可以得到受电弓上方接触线的点的集合，记该集合为
Figure GDA0002123870060000105
则
Figure GDA0002123870060000106
的计算公式为
Figure GDA0002123870060000107
其中，Rcol为图像中计算接触线时选择的接触线每一行的列范围，Rrow为选择的接触线的行范围。
式(12)得到的是基于受电弓感兴趣区域内对每个像素的置信度评分，Vg(i,j)大则表明该处是受电弓的滑板的概率越大，对增强后的感兴趣区域Vg进行列归一化，并选择Vg中每一列置信度最高的点作为该列受电弓碳滑板的点集的组成部分，则整个感兴趣区域内受电弓碳滑板的点集
Figure GDA0002123870060000111
可通过下式计算得到：
Figure GDA0002123870060000112
其中Rrow为感兴趣区域的行范围，Rcol为感兴趣区域的列范围。
选择不同的接触线中心像素个数a1和接触线中心到接触线边界的像素数b1能够增强不同宽度和亮度的线，即通过a1和b1的不同组合，(6)式和(13)式能够选择性地增强图像中有差别的线。图6、图7中所示为向图3添加不同程度的高斯噪声并选择不同的参数组合分别来确定仿真图像中的接触线和承力索。
在无噪声水平下，不同的参数选择能够分别增强图像中的接触线和承力索，并且增强效果非常优异，对增强后的图像通过(13)式便能够提取接触线或者承力索的线段的点集合，在低噪声时如向无噪声图像中添加均值为0，方差为0.01的低水平噪声时，由于接触线的宽度、亮度等要高于噪声水平，因此接触线的增强效果要好于相对而言比较细的承力索的增强效果，如图6中A2和B2为在a1＝2,b1＝4条件下对无噪声图像和低噪声图像的增强结果图，相对B1而言，B2中的接触线更明显，同时噪声水平也明显低于B1。
通过选择不同的a1和b1能够完成不同的增强任务，增强接触线无疑是弓网检测系统中最重要的，因此本发明在不同场景下对本发明提出的算法进行实际红外图像的测试，天空背景下的接触线增强结果如图8所示，部分复杂背景接触线增强和提取结果如图9所示。
示例性的，参数优化的具体原理和步骤如下：
在得知受电弓的外接矩形框的位置后对受电弓所在的区域内的受电弓碳滑板进行二次提取，通过(14)式便得到了受电弓碳滑板的轮廓点的集合
Figure GDA0002123870060000113
不同背景下基于受电弓感兴趣区域内滑板的增强和提取结果如图10、图11所示。
当a2＝2,b2＝1时，图10为简单天空背景的受电弓碳滑板增强图像和轮廓点集合，其中b2为梯度模板大小的三分之一，即梯度模板的大小为3b2×1，a2为上下梯度的计算中心和像素坐标点(i,j)像素偏移量。从图中简单干净的背景下受电弓碳滑板增强结果来看，受电弓的上边缘，也就是和接触线直接接触的滑板被增强而拥有较高的灰度值，而受电弓羊角所在的部分中，当没有受电弓遮挡时有较高的灰度值，当羊角上方有滑板时被明显抑制。通过提取之后的点集(图中红色部分)更是能够明显看出，点集拟合受电弓碳滑板表面的能力很强。在一些复杂场景中，如图11中所示为顶棚和站场的干扰增强图，尤其是在站场场景中受电弓一反常态为黑色，其灰度值很低，但是通过受电弓碳滑板增强之后仍然能够非常有效地提取出滑板的上轮廓，这为接触点的检测提供极为方便的条件，为在出现压弓状态时算法仍然可以实现准确判断接触点提供了可能。通过部分简单场景和复杂场景下受电弓碳滑板的增强结果可以看出，本发明提出的基于感兴趣区域对受电弓进行增强的方法具有很好地提取受电弓碳滑板的能力。
在前面的实例中，关键参数a1,b1,a2,b2很大程度上是依靠人工提前选定的，这需要比较丰富的专家经验。因此本发明提出使用距离熵来指导关键参数a1,b1,a2,b2的选择。示例性的，具体原理和步骤如下：
通过(13)式可以获得接触线的离散点集合
Figure GDA0002123870060000121
通过(14)式可以获得受电弓碳滑板的离散点集合
Figure GDA0002123870060000122
由于不管是受电弓还是接触线，它们在红外图像中是连续的，当没有其他噪声干扰时，好的增强方法应该使得离散点集合
Figure GDA0002123870060000123
和
Figure GDA0002123870060000124
内部相邻的点连续，当出现跳跃时说明此处存在干扰较大，因此通过离散点集合内部相邻点之间的连续性来指导关键参数的选择。
令(xi,yi)表示离散点集合J*中第i个点的坐标，Δd表示相邻两个点之间的距离，有
Figure GDA0002123870060000125
则某个点集J*的距离熵为
Figure GDA0002123870060000126
接触线的离散点集合
Figure GDA0002123870060000131
中，在连续条件的假设下，接触线是竖直方向的，因此相邻的两个点之间的y坐标固定相差1，这是因为接触线点集合在计算时通过y坐标的依次便利来求取对应的x坐标，并且如果相邻的点集是连续的，那么相邻的两个点的x坐标之差最多为1，同理水平方向的受电弓碳滑板的离散点集
Figure GDA0002123870060000132
中，相邻的两点之间的x坐标固定相差为1，相邻的y坐标之差最多为1，因此
Figure GDA0002123870060000133
从而保证了(15)式的最小值为0，而当Entropy(J*)的值在
Figure GDA0002123870060000134
之间时，说明该集合的连续性非常好，使用对应的参数产生的增强效果最佳，并且当Entropy(J*)大于
Figure GDA0002123870060000135
时，选择值较小参数组合能够更有效地提取接触线或者受电弓碳滑板轮廓。
以接触线的离散点集合
Figure GDA0002123870060000136
为例，对干净背景图像选择不同的参数组合进行接触线增强，对应的点集距离熵遍历结果如表1所示：
表1天空背景图像中不同a1和b1组合对应的距离熵
Figure GDA0002123870060000137
在同一幅图像中，不同的参数组合会对应不同的距离熵，距离熵越小说明离散点集合的连续性越高。当出现距离熵相同时，优先选择参数和小的那一组，这是因为选择的参数越小，对应的梯度算子和高斯权重因子的模板也会越小，而模板的大小会影响运算速度，在同样条件下，模板越大计算越耗时，模板越小，计算速度越快。表1中可以看出当a1＝2,b1＝4时，对应的接触线的距离熵最小，这在图12中能更清楚地得到体现，当a1＝2,b1＝4所对应的接触线的增强点集合的连续性要明显好于其他参数的组合方式，这是因为在红外图像中，接触线的宽度与该组参数匹配程度最好，其鲁棒性的主要原因是经过相机标定之后，接触线和承力索对相机的距离相对固定，接触线在变化时只在标定平面内左右移动，不会发生大范围的Z轴方向的移动，因此接触线宽度相对固定。
步骤S5，分别对接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
提取接触线参数特征，利用随机采样一致性算法(RANSAC)对接触线点集进行直线的参数估计；
提取受电弓碳滑板的参数特征，利用随机采样一致性算法(RANSAC)对受电弓碳滑板轮廓点集进行直线的参数估计；
计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
本发明使用RANSAC算法分别对这两部分点集进行直线的参数估计，从而解决接触线被定位器拉折时单条直线无法很好拟合接触线的问题。并且在选择受电弓碳滑板集合中靠近接触线的那部分点集再次使用RANSAC拟合受电弓碳滑板轮廓在接触线附近的切线，通过计算接触线的拟合直线以及受电弓碳滑板的拟合直线的交点获取接触线和受电弓的接触点的位置，从而实现在单帧图像中准确地定位接触点。
算法通过迭代完成最优参数估计，在第k次迭代时，随机从数据集
Figure GDA0002123870060000141
中随机采样小部分数据对模型M的参数θ进行估计，得到估计模型M(θ)，选择一个阈值∈作为判定模型M(θ)在整个数据集
Figure GDA0002123870060000142
中的拟合程度，拟合程度小于阈值ò的点被认为是模型M(θ)的“内点”，选择内点数最多的模型作为最终的结果，迭代次数则可以通过概率统计中的置信度η来计算，如式(16)所示。
Figure GDA0002123870060000143
其中，m为采样子集的大小，ε为内点数占数据集
Figure GDA0002123870060000144
的比例，该值可以选择每次迭代时选择迭代过程中出现的内点比例的最大值而无需事先计算，置信度η可以自主选择，一般为了保证较高的准确率，置信度η应大于等于0.95。
以接触线离散点集合
Figure GDA0002123870060000145
为例，使用RANSAC算法来估计直线参数的过程如表2所示。
表2 RANSAC直线检测算法过程伪代码
Figure GDA0002123870060000151
天空背景和部分复杂背景(顶棚、站场)的受电弓定位和接触线检测以及接触点定位结果如图13和图14所示。图13天空背景中，受电弓的大致位置被很好地定位(如图中浅蓝色框所示)，但是由于在这两个场景中存在不同程度的“压弓”现象，因此直接使用受电弓定位框左上角的Y坐标作为接触点的Y坐标会和实际的接触点坐标产生若干像素的偏差，如图13中A2天空背景放大图中可以看出若直接使用受电弓定位框Y坐标作为接触点Y坐标会产生了2个像素的偏差，A4干净天空背景短折线中则会产生5个像素的偏差，而接触线的导线高度就是接触点的Y坐标，并且接触点Y坐标的不准确还会影响接触点的X坐标的计算，从而导致接触线拉出值的计算误差。而本发明提出的单帧接触点检测算法能够准确地计算接触点在图像中的位置，有效地克服了受电弓定位过程中带来的误差，进一步提升了检测系统对接触线和受电弓的检测鲁棒性。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，包括以下步骤：
S1、利用从红外视频帧序列第一张原始图像中截取的弓模板对实时获取的电力机车单目红外原始图像进行模板匹配，确定受电弓位置；
S2、根据所述受电弓位置，在所述单目红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像；
S3、分别对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图像和受电弓增强图像；
S4、分别对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集；
S5、分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
2.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，提取弓以上接触线图像和受电弓感兴趣区域图像的步骤中，包括步骤：
根据模板匹配获得受电弓的位置，提取弓以上接触线图像并进行灰度化处理；
根据模板匹配获得受电弓的位置，提取受电弓感兴趣区域图像，并进行灰度化处理。
3.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，在对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作的步骤中，包括步骤：
利用一阶微分算子提取所述弓以上接触线图像中接触线的边缘，其中，提取的边缘图像为接触线与承力索，或同时出现定位器和吊弦；
利用接触线的左右梯度和宽度权重对所述边缘图像进行增强处理，获得仅包含接触线的接触线增强图像；
利用受电弓的上下梯度和对应像素灰度值的高斯权重和对所述受电弓感兴趣区域图像进行增强处理，获得受电弓增强图像。
4.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集的步骤包括：
对所述接触线增强图像和受电弓增强图像的像素分别进行归一化操作，提取满足条件的接触线离散点集合和受电弓碳滑板轮廓离散点集合；
对所述接触线离散点集合和受电弓碳滑板轮廓离散点集合进行参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取。
5.根据权利要求4所述的基于单目红外图像的受电弓接触点实时检测方法，其特征在于，对所述接触线增强图像和受电弓增强图像的像素分别进行归一化操作，提取满足条件的接触线离散点集合和受电弓碳滑板轮廓离散点集合的步骤包括：
对所述接触线增强图像的每一行像素进行归一化操作，得到归一化之后的接触线增强图像；
求取所述接触线增强图像中的每一行灰度值的最大值所在的点作为该行图像中接触线所在的位置；
根据所述每一行灰度值的最大值所在的点，求取所有行像素灰度最大值所在的点的集合做为接触线离散点集合；
对所述受电弓增强图像的每一列像素进行归一化操作，每一列像素进行归一化操作，得到归一化之后的受电弓增强图像；
求取所述受电弓增强图像中的每一列置信度最高的点作为该行图像中受电弓碳滑板所在的位置；
根据所述每一列置信度最高的点，求取所有列置信度最高的点的集合作为受电弓碳滑板轮廓离散点集合。
6.根据权利要求4所述的基于单目红外图像的受电弓接触点实时检测方法，其特征在于，对所述接触线离散点集合和受电弓碳滑板轮廓离散点集合进行参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取的步骤包括：
对所述接触线离散点集合的参数进行优化，所述参数包括接触线中心像素个数和接触线中心到接触线边界的像素数；
限定所述接触线离散点集合列范围和行范围，提取接触线点集；
对所述受电弓碳滑板轮廓离散点集合的参数进行优化，所述受电弓碳滑板轮廓离散点集合参数包括模板大小、上下梯度的计算中心和像素坐标点的像素偏移量；
限定所述受电弓碳滑板轮廓离散点集合列范围和行范围，提取受电弓碳滑板轮廓点集。
7.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点的步骤包括：
提取接触线参数特征，利用随机采样一致性算法(RANSAC)对所述接触线点集进行直线的参数估计；
提取受电弓碳滑板的参数特征，利用随机采样一致性算法(RANSAC)对所述受电弓碳滑板轮廓点集进行直线的参数估计；
计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
8.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，单目红外图像是通过近红外相机或高清可见光相机实时获取机车行进过程中的红外原始图像。
9.一种计算机设备，其特征在于，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至8中的任一所述的基于单目红外图像的受电弓接触点实时检测方法中的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至8中的任一所述的基于单目红外图像的受电弓接触点实时检测方法中的步骤。
CN201910411635.3A 2019-05-17 2019-05-17 一种基于单目红外图像的受电弓接触点实时检测算法 Active CN110197494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910411635.3A CN110197494B (zh) 2019-05-17 2019-05-17 一种基于单目红外图像的受电弓接触点实时检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910411635.3A CN110197494B (zh) 2019-05-17 2019-05-17 一种基于单目红外图像的受电弓接触点实时检测算法

Publications (2)

Publication Number Publication Date
CN110197494A CN110197494A (zh) 2019-09-03
CN110197494B true CN110197494B (zh) 2023-01-31

Family

ID=67752842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910411635.3A Active CN110197494B (zh) 2019-05-17 2019-05-17 一种基于单目红外图像的受电弓接触点实时检测算法

Country Status (1)

Country Link
CN (1) CN110197494B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681265B (zh) * 2020-06-08 2023-02-28 西南交通大学 一种铁路受电弓和接触网的接触点在线检测方法
CN114973089A (zh) * 2022-05-30 2022-08-30 福州大学 基于图像视觉算法的接触网和受电弓接触点检测方法
CN114972042B (zh) * 2022-08-01 2022-10-21 成都唐源电气股份有限公司 基于标准模型的受电弓点云拼接方法、系统、设备和介质
CN116593045B (zh) * 2023-06-21 2023-09-19 唐山百川智能机器股份有限公司 一种通过式受电弓接触压力在线检测系统及方法
CN116664570B (zh) * 2023-07-31 2023-11-14 深圳市鹏基精密工业有限公司 基于工业视觉的扁形连接器生产缺陷检测方法
CN117690096B (zh) * 2024-02-04 2024-04-12 成都中轨轨道设备有限公司 一种适应不同场景的接触网安全巡检系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009018612A1 (en) * 2007-08-06 2009-02-12 Qr Limited Pantograph damage and wear monitoring system
CN107588720A (zh) * 2017-08-21 2018-01-16 南京理工大学 一种城轨列车受电弓中心线偏移在线检测装置及方法
CN107742288A (zh) * 2017-10-11 2018-02-27 成都国铁电气设备有限公司 一种受电弓打弓缺陷检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009018612A1 (en) * 2007-08-06 2009-02-12 Qr Limited Pantograph damage and wear monitoring system
CN107588720A (zh) * 2017-08-21 2018-01-16 南京理工大学 一种城轨列车受电弓中心线偏移在线检测装置及方法
CN107742288A (zh) * 2017-10-11 2018-02-27 成都国铁电气设备有限公司 一种受电弓打弓缺陷检测方法及系统

Also Published As

Publication number Publication date
CN110197494A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110197494B (zh) 一种基于单目红外图像的受电弓接触点实时检测算法
CN109753929B (zh) 一种高铁绝缘子巡检图像识别方法
CN107330376B (zh) 一种车道线识别方法及系统
CN102298781B (zh) 基于颜色和梯度特征的运动阴影检测方法
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
US8744168B2 (en) Target analysis apparatus, method and computer-readable medium
WO2015010451A1 (zh) 一种从单幅图像检测道路的方法
CN108038416B (zh) 车道线检测方法及系统
WO2016015547A1 (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN109784344A (zh) 一种用于地平面标识识别的图像非目标滤除方法
CN105488492B (zh) 一种彩色图像预处理方法、道路识别方法及相关装置
US10249046B2 (en) Method and apparatus for object tracking and segmentation via background tracking
CN108416316B (zh) 一种黑烟车的检测方法及系统
CN109376740A (zh) 一种基于视频的水尺读数检测方法
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
CN107705256B (zh) 一种基于接触网语义的前向车载视频图像增强方法
CN105354857B (zh) 一种有立交桥遮挡的车辆轨迹匹配方法
CN112200746B (zh) 一种雾天交通场景图像的去雾方法和设备
CN110175556B (zh) 基于Sobel算子的遥感图像云检测方法
CN113435452A (zh) 一种基于改进ctpn算法的电气设备铭牌文本检测方法
CN111814773A (zh) 一种划线车位识别方法及系统
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN103955673B (zh) 一种基于头肩模型的人体识别方法
CN113221739B (zh) 基于单目视觉的车距测量方法
JP3589293B2 (ja) 道路の白線検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant