CN110197494A - 一种基于单目红外图像的受电弓接触点实时检测算法 - Google Patents
一种基于单目红外图像的受电弓接触点实时检测算法 Download PDFInfo
- Publication number
- CN110197494A CN110197494A CN201910411635.3A CN201910411635A CN110197494A CN 110197494 A CN110197494 A CN 110197494A CN 201910411635 A CN201910411635 A CN 201910411635A CN 110197494 A CN110197494 A CN 110197494A
- Authority
- CN
- China
- Prior art keywords
- pantograph
- image
- contact line
- line
- contact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011897 real-time detection Methods 0.000 title claims abstract description 33
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims abstract description 68
- 229910052799 carbon Inorganic materials 0.000 claims abstract description 68
- 230000002708 enhancing effect Effects 0.000 claims abstract description 58
- 239000000284 extract Substances 0.000 claims abstract description 34
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- 230000003137 locomotive effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000005611 electricity Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000003014 reinforcing effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 241000883966 Astrophytum capricorne Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241000271559 Dromaiidae Species 0.000 description 1
- 230000005526 G1 to G0 transition Effects 0.000 description 1
- 206010021703 Indifference Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Current-Collector Devices For Electrically Propelled Vehicles (AREA)
Abstract
本发明公开了一种基于单目红外图像的接触点实时检测算法。其中，所述方法包括：利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的单目红外原始图像进行模板匹配，确定受电弓位置；根据所述受电弓位置，在所述单目红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像；分别对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图像和受电弓增强图像；分别对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取；分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
Description
技术领域
本发明涉及交通安全工程技术领域，特别是涉及一种基于单目红外图像的接 触点实时检测算法。
背景技术
电力机车通过受电弓从接触网导线上获取电能牵引列车前行，列车在行驶过 程中其车顶的受电弓会自动升降使得受电弓顶部的滑板和接触网中的接触线能 保持良好接触，并且为了提高滑板的使用寿命，防止在列车运行时接触线在滑板 的某一处持续摩擦，人们将接触线以“之”字型的方式架设从而让接触线在滑板的 有效范围内来回滑动，接触线的高度也要和受电弓所能达到的最大高度相匹配， 接触线过高则在运行过程中可能导致弓网分离从而中断受流降低电流品质，过低 则会加剧滑板的磨损降低其使用寿命进而增加运营成本。因此动态实时监测接触 网的运行状态就变得十分重要，合适的导线高度、弓网是否良好接触等对高速铁 路的安全运行具有重大意义，是进一步提高速度和提升效率的关键一环。
高速动车组在运行时会经历各种场景，在有些线路中会频繁经过隧道、桥梁、 站场、顶棚等；在不同的运行时间段会有不同的天气状况，如大雾雨雪和云层等 都会在红外图像中成像，并且不同场景下的接触线和背景的成像差别很大，如在 隧道内图像整体噪声水平很高，有时接触线在图像中甚至出现“断裂”的现象； 经过桥梁时红外图像中会出现大面积亮块，并且有时亮度甚至会高于接触线；经 过站场或顶棚时会图像中会出现大面积的顶棚灯光或站场；云层较厚时在图像中 也会有云层。这些不同的场景的背景区别大，图像噪声水平差异大，对识别接触 线是非常大的干扰。
传统的边缘检测技术虽然能提取出接触线的轮廓，但是对图像中的边缘是无 差别的，这使得边缘检测的结果中包含了大量背景元素，这对后续接触线的进一 步检测带来了很大的干扰，因为边缘检测算法只关注图像中的边缘，并没有图像 中景物的先验知识；传统的霍夫直线检测虽然能够准确地检测出图像中的直线， 但是基于霍夫变换的直线检测方法速度较慢，首先需要获取接触线的二值图像， 获得检测结果后还需要进一步判断接触线的位置，并且当图中接触线被定位器拉 折时需要将两段短的直线拼接起来，进一步拖慢了检测速度。
发明内容
针对传统技术的缺陷或不足，本发明提出一种基于单目红外图像的接触点实 时检测算法，有效解决传统边缘检测算子无差别地对待受电弓和接触线轮廓，不 能很好地突出接触线和受电弓的特征并且存在大量背景边缘的问题。本发明通过 下述技术方案实现：
为实现上述技术目的，本发明提供了一种基于单目红外图像的接触点实时检 测算法，包括以下步骤：
S1、利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的 电力机车单目红外原始图像进行模板匹配，确定受电弓位置；
S2、根据所述受电弓位置，在所述单目红外原始图像中分别提取弓以上接触 线图像和受电弓感兴趣区域图像；
S3、分别对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作， 得到接触线增强图像和受电弓增强图像；
S4、分别对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参 数优化，提取接触线点集和受电弓碳滑板轮廓点集；
S5、分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计， 计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
其中，提取弓以上接触线图像和受电弓感兴趣区域图像的步骤中，包括步骤：
根据模板匹配获得受电弓的位置，提取弓以上接触线图像并进行灰度化处理；
根据模板匹配获得受电弓的位置，提取受电弓感兴趣区域图像，并进行灰度 化处理。
其中，在对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作的 步骤中，包括步骤：
利用一阶微分算子提取所述弓以上接触线图像中接触线的边缘，其中，提取 的边缘图像为接触线与承力索，或同时出现定位器和吊弦；
利用接触线的左右梯度和宽度权重对所述边缘图像进行增强处理，获得仅包 含接触线的接触线增强图像；
利用受电弓的上下梯度和对应像素灰度值的高斯权重和对所述受电弓感兴 趣区域图像进行增强处理，获得受电弓增强图像。
其中，对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数 优化，提取接触线点集和受电弓碳滑板轮廓点集的步骤包括：
对所述接触线增强图像和受电弓增强图像的像素分别进行归一化操作，提取 满足条件的接触线离散点集合和受电弓碳滑板轮廓离散点集合；
对所述接触线离散点集合和受电弓碳滑板轮廓离散点集合进行参数优化，提 取接触线点集和受电弓碳滑板轮廓点集提取。
其中，对所述接触线增强图像和受电弓增强图像的像素分别进行归一化操作， 提取满足条件的接触线离散点集合和受电弓碳滑板轮廓离散点集合的步骤包括：
对所述接触线增强图像的每一行像素进行归一化操作，得到归一化之后的接 触线增强图像；
求取所述接触线增强图像中的每一行灰度值的最大值所在的点作为该行图 像中接触线所在的位置；
根据所述每一行灰度值的最大值所在的点，求取所有行像素灰度最大值所在 的点的集合做为接触线离散点集合；
对所述受电弓增强图像的每一列像素进行归一化操作，每一列像素进行归一 化操作，得到归一化之后的受电弓增强图像；
求取所述受电弓增强图像中的每一列置信度最高的点作为该行图像中受电 弓碳滑板所在的位置；
根据所述每一列置信度最高的点，求取所有列置信度最高的点的集合作为受 电弓碳滑板轮廓离散点集合。
其中，对所述接触线离散点集合和受电弓碳滑板轮廓离散点集合进行参数优 化，提取接触线点集和受电弓碳滑板轮廓点集提取的步骤包括：
对所述接触线离散点集合的参数进行优化，所述参数包括接触线中心像素个 数和接触线中心到接触线边界的像素数；
限定所述接触线离散点集合列范围和行范围，提取接触线点集；
对所述受电弓碳滑板轮廓离散点集合的参数进行优化，所述受电弓碳滑板轮 廓离散点集合参数包括模板大小、上下梯度的计算中心和像素坐标点的像素偏移 量；
限定所述受电弓碳滑板轮廓离散点集合列范围和行范围，提取受电弓碳滑板 轮廓点集。
其中，分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计， 计算接触线拟合直线以及受电弓滑板拟合直线的交点的步骤包括：
提取接触线参数特征，利用随机采样一致性算法(RANSAC)对所述接触线 点集进行直线的参数估计；
提取受电弓碳滑板的参数特征，利用随机采样一致性算法(RANSAC)对所 述受电弓碳滑板轮廓点集进行直线的参数估计；
计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
其中，单目红外图像是通过近红外相机或高清可见光相机实时获取机车行进 过程中的红外原始图像。
为解决上述技术目的，本发明提供了一种计算机设备，包括输入输出单元、 存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被 所述处理器执行时，使得所述处理器执行如前述技术方案所述的基于单目红外图 像的受电弓接触点实时检测方法中的步骤。
为解决上述技术目的，本发明提供了一种存储有计算机可读指令的存储介质， 所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如 前述技术方案所述的基于单目红外图像的受电弓接触点实时检测方法中的步骤。
区别于现有技术，本发明的基于单目红外图像的受电弓接触点实时检测方法 利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的单目红 外原始图像进行模板匹配，确定受电弓位置；根据所述受电弓位置，在所述单目 红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像；分别对所 述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图 像和受电弓增强图像；分别对所述接触线增强图像和受电弓增强图像执行像素归 一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取；分别对所 述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直 线以及受电弓滑板拟合直线的交点，实现接触点定位。通过本发明，能够准确地 计算接触点在图像中的位置，有效地克服了受电弓定位过程中带来的误差，进一 步提升了检测系统对接触线和受电弓的检测鲁棒性。
附图说明
图1为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 的流程示意图；
图2为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 上午受电弓接触线模型图像；
图3为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 的接触线图像模型；
图4为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 的接触线的总梯度值的高斯权重图像；
图5为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 中获取受电弓增强图像时的上下梯度计算示意图；
图6为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 中图像在噪声和低噪声条件下不同参数仿真增强结果比对图；
图7为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 中图像在中高噪声水平条件下不同参数仿真增强结果比对图；
图8为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 中干净背景下接触线增强与提取结果示意图；
图9为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 中部分复杂背景下接触线增强与提取结果示意图；
图10为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方 法中干净背景感兴趣区域受电弓碳滑板增强与提取结果示意图；
图11为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方法 中部分复杂背景感兴趣区域受电弓碳滑板增强与提取结果示意图；
图12为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方 法中不同参数接触线点集合提取示意图；
图13为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方 法中天空背景受电弓接触线检测结果示意图；
图14为本发明提供的一种基于单目红外图像的受电弓接触点实时检测方 法中部分复杂背景受电弓接触线检测结果示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步的详细说明，但本发明的保护范围 不局限于以下。
实施例1
如图1所示为本发明实施例提供的一种基于单目红外图像的接触点实时检 测算法的流程图，包括以下步骤：
S1、利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时获取的 单目红外原始图像进行模板匹配，确定受电弓位置；
S2、根据受电弓位置，在单目红外原始图像中分别提取弓以上接触线图像和 受电弓感兴趣区域图像；
S3、分别对弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到 接触线增强图像和受电弓增强图像；
S4、分别对接触线增强图像和受电弓增强图像执行像素归一化操作和参数优 化，提取接触线点集和受电弓碳滑板轮廓点集提取；
S5、分别对接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算 接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
实施例2
本实施例基于实施例1的原理对上述步骤的实现方法进行举例说明。
步骤S1，利用从红外视频帧序列的第一张原始图像中截取的弓模板对实时 获取的单目红外原始图像进行模板匹配，确定受电弓位置。
示例性的，可以通过近红外相机和高清可见光相机实时获取机车行进过程中 相机拍摄的单目红外原始图像，利用从红外视频帧序列的第一张原始图像中截取 的弓模板对单目红外原始图像中的受电弓进行匹配，从而实现受电弓的定位。通 过模板匹配的方式获得受电弓的定位矩形为(X,Y,W,H)，其中，(X,Y)为定位 矩形的左上角坐标，W为定位矩形的宽度，H为定位矩形的高度。
步骤S2，根据受电弓位置，在单目红外原始图像中分别提取弓以上接触线 图像和受电弓感兴趣区域图像。
根据步骤S1弓模型获得受电弓的位置，提取弓以上接触线图像并进行灰度 化处理；
根据步骤S1弓模型获得受电弓的位置，提取受电弓感兴趣区域图像，并进 行灰度化处理。
步骤S3，分别对弓以上接触线图像和受电弓感兴趣图像执行图像增强操作， 得到接触线增强图像和受电弓增强图像。
利用一阶微分算子提取弓以上接触线图像中接触线的边缘，此边缘图像中一 定会出现的是接触线和承力索，有可能会出现定位器和吊弦；
利用接触线的左右梯度和宽度权重对边缘图像进行增强处理，获得仅包含接 触线的接触线增强图像。
示例性的，具体原理和步骤如下：
在红外图像中，接触线和承力索都有一定的宽度，并且接触线要比承力索更 宽，在干净的天空背景中，接触线的灰度值会比承力索高。尽管背景不同时图像 噪声水平不一，但接触线和周围有一定的对比度，通过一阶微分算子能够很好地 提取接触线的边缘。承力索悬吊接触线，因此在红外图像中一定会出现的是接触 线和承力索，以及受电弓，有可能会出现定位器和吊弦，通过对接触线和承力索 进行建模可以简化不同背景带来的影响。如图2所示为受电弓和接触线图像模型， 其中包含了接触线、承力索，定位器以及受电弓平面和支柱。受电弓的位置可以 通过弓模型来获取，因此受电弓平滑板所处的平面可以提前知道，根据受电弓的 位置，提取受电弓碳滑板平面上方的图像并灰度化，如图3所示，接触线图像模 型中包含受电弓、承力索和定位器，接触线和承力索的灰度等级并不相同，这也 符合接触线和承力索的物理特性以及它们在红外图像中的成像特点。
为了利用接触线和环境背景的差异以及接触线的宽度，本实施方式中通过接 触线的左右梯度和宽度权重来增强接触线。令f(i,j)表示红外图像f中像素坐标 为(i,j)的灰度值，表示在像素点(i,j)处的左梯度值，表示在像素点(i,j) 处的右梯度值，则接触线的左右梯度可以表示为(1)和(2)式所示：
其中，a1表示要选择的接触线中心像素个数，b1表示接触线中心到接触线边 界的像素数。令g1(i,j)表示接触线的总梯度值，则
当a1＝1,b1＝2时，和分别相当于1×3大小的Sobel算子，g1(i,j)则 可以表示为两个反方向的Sobel算子的叠加。式(3)考虑了接触线的梯度特征， 而接触线在红外图像中一般都比背景要亮，因而接触线本身的亮度信息可以作为 接触线的重要特征。
令g2(i,j)表示图像中以像素点坐标(i,j)处为中心，一定范围内像素灰度值 的高斯权重和，如式(4)所示。
高斯权重函数的图像如图4所示：
高斯权重和(式(4))更注重的是距离原点的像素的灰度值，选择不同大小 的a1反映出对中心像素的关注程度，a1越大，则距离高斯权重中心附近的像素也 会被赋予较高的权重。在红外图像中，以图像中某个像素为中心的位置计算该像 素附近的高斯权重和能够将红外图像中像素灰度值的影响考虑在接触线的提取 过程中，从而能够更有效地提取接触线。
接触线的一个很重要的特征是它们的宽度是一定的，如果图像中线的宽度很 大，那么这种情况是干扰的几率很大，因此本文通过对接触线的左右梯度进行预 判，得到线的两边的状态因子g3(i,j)，通过引入状态因子来约束图像中的接触 线。状态因子如下式(5)所示。
在简单背景中，图像中的景物比较简单，对接触线的干扰较少，此时接触线 的左右梯度会很接近，则g3(i,j)会接近于1；在复杂场景如隧道条件下，隧道口 的左右梯度差异很大，此时g3(i,j)就会很小，因此式(5)通过左右梯度的最小 值和最大值的比作为接触线所在环境的状态因子。
令Hg(i,j)表示在红外图像中坐标点为(i,j)处的接触线增强结果，综合(3)、(4)和(5)式可以得到最后的接触线增强函数为：
其中，L为红外图像的灰度等级，本文以8位红外图像为例，则L＝256，Sh是 高斯权重因子的和，其计算公式如(7)式所示，
利用受电弓的上下梯度和对应像素灰度值的高斯权重和对受电弓感兴趣区 域图像进行增强处理，获得受电弓增强图像。
示例性的，具体原理和步骤如下：
令表示受电弓区域内像素坐标为(i,j)在沿着垂直方向的上梯度，则表 示为垂直方向的下梯度，则受电弓的上梯度和下梯度的计算公式为：
其中b2为梯度模板大小的三分之一，即梯度模板的大小为3b2×1，a2为上下梯度的计算中心和像素坐标点(i,j)的像素偏移量，对于上梯度来说，a2沿着垂直 方向向下偏移，对于上梯度而言，a2沿着垂直方向向上偏移。当像素点位于 受电弓碳滑板上方时，上下梯度都会产生较大的梯度值。举例来说，当梯度的模 板大小b2＝1，偏移量a2＝1时，上下梯度算子的图像表现形式如图5所示。
红外图像中受电弓的灰度值总是较高，通过引入上梯度和下梯度对应灰度值 的高斯权重函数来将受电弓的灰度特征融入增强算法里。令Vg1(i,j)表示上梯度 对应像素灰度值的高斯权重和，Vg2(i,j)表示下梯度对应像素灰度值的高斯权重 和，则
最后将(8)式至(11)式合并，则可以得到受电弓碳滑板增强公式，令Vg(i,j) 表示经过增强算法之后在感兴趣区域内的增强结果，则
其中L为图像的灰度等级，S′v为(10)式和(11)式的权重和，即
步骤S4，分别对接触线增强图像和受电弓增强图像执行像素归一化操作和 参数优化，提取接触线点集和受电弓碳滑板轮廓点集。
示例性的，像素归一化操作具体原理和步骤如下：
通过(6)式求得红外图像f对接触线增强后的图像Hg之后，对接触线图 像Hg的每一行像素进行归一化操作，得到归一化之后的接触线图像。由于增强 之后的接触线图像Hg是灰度图像，其中的灰度值表明了该点属于接触线的概率， 因此当灰度值越高时，说明这个点属于接触线的概率越大。由此本文通过求取接 触线图像Hg中的每一行灰度值的最大值所在的点作为该行图像中接触线所在 的位置，通过对受电弓碳滑板上方的所有行像素求得最大像素值所在的点的集合 便可以得到受电弓上方接触线的点的集合，记该集合为则的计算公式为
其中，Rcol为图像中计算接触线时选择的接触线每一行的列范围，Rrow为选 择的接触线的行范围。
式(12)得到的是基于受电弓感兴趣区域内对每个像素的置信度评分， Vg(i,j)大则表明该处是受电弓的滑板的概率越大，对增强后的感兴趣区域Vg进 行列归一化，并选择Vg中每一列置信度最高的点作为该列受电弓碳滑板的点集 的组成部分，则整个感兴趣区域内受电弓碳滑板的点集可通过下式计算得到：
其中Rrow为感兴趣区域的行范围，Rcol为感兴趣区域的列范围。
选择不同的接触线中心像素个数a1和接触线中心到接触线边界的像素数b1能够增强不同宽度和亮度的线，即通过a1和b1的不同组合，(6)式和(13)式能 够选择性地增强图像中有差别的线。图6、图7中所示为向图3添加不同程度的 高斯噪声并选择不同的参数组合分别来确定仿真图像中的接触线和承力索。
在无噪声水平下，不同的参数选择能够分别增强图像中的接触线和承力索， 并且增强效果非常优异，对增强后的图像通过(13)式便能够提取接触线或者承 力索的线段的点集合，在低噪声时如向无噪声图像中添加均值为0，方差为0.01 的低水平噪声时，由于接触线的宽度、亮度等要高于噪声水平，因此接触线的增 强效果要好于相对而言比较细的承力索的增强效果，如图6中A2和B2为在 a1＝2,b1＝4条件下对无噪声图像和低噪声图像的增强结果图，相对B1而言， B2中的接触线更明显，同时噪声水平也明显低于B1。
通过选择不同的a1和b1能够完成不同的增强任务，增强接触线无疑是弓网检 测系统中最重要的，因此本发明在不同场景下对本发明提出的算法进行实际红外 图像的测试，天空背景下的接触线增强结果如图8所示，部分复杂背景接触线增 强和提取结果如图9所示。
示例性的，参数优化的具体原理和步骤如下：
在得知受电弓的外接矩形框的位置后对受电弓所在的区域内的受电弓碳滑 板进行二次提取，通过(14)式便得到了受电弓碳滑板的轮廓点的集合不 同背景下基于受电弓感兴趣区域内滑板的增强和提取结果如图10、图11所示。
当a2＝2,b2＝1时，图10为简单天空背景的受电弓碳滑板增强图像和轮廓点 集合，其中b2为梯度模板大小的三分之一，即梯度模板的大小为3b2×1，a2为上 下梯度的计算中心和像素坐标点(i,j)像素偏移量。从图中简单干净的背景下受 电弓碳滑板增强结果来看，受电弓的上边缘，也就是和接触线直接接触的滑板被 增强而拥有较高的灰度值，而受电弓羊角所在的部分中，当没有受电弓遮挡时有 较高的灰度值，当羊角上方有滑板时被明显抑制。通过提取之后的点集(图中红 色部分)更是能够明显看出，点集拟合受电弓碳滑板表面的能力很强。在一些复 杂场景中，如图11中所示为顶棚和站场的干扰增强图，尤其是在站场场景中受 电弓一反常态为黑色，其灰度值很低，但是通过受电弓碳滑板增强之后仍然能够 非常有效地提取出滑板的上轮廓，这为接触点的检测提供极为方便的条件，为在出现压弓状态时算法仍然可以实现准确判断接触点提供了可能。通过部分简单场 景和复杂场景下受电弓碳滑板的增强结果可以看出，本发明提出的基于感兴趣区 域对受电弓进行增强的方法具有很好地提取受电弓碳滑板的能力。
在前面的实例中，关键参数a1,b1,a2,b2很大程度上是依靠人工提前选定的， 这需要比较丰富的专家经验。因此本发明提出使用距离熵来指导关键参数 a1,b1,a2,b2的选择。示例性的，具体原理和步骤如下：
通过(13)式可以获得接触线的离散点集合通过(14)式可以获得受 电弓碳滑板的离散点集合由于不管是受电弓还是接触线，它们在红外图像 中是连续的，当没有其他噪声干扰时，好的增强方法应该使得离散点集合和 内部相邻的点连续，当出现跳跃时说明此处存在干扰较大，因此通过离散点 集合内部相邻点之间的连续性来指导关键参数的选择。
令(xi,yi)表示离散点集合J*中第i个点的坐标，Δd表示相邻两个点之间的距 离，有则某个点集J*的距离熵为
接触线的离散点集合中，在连续条件的假设下，接触线是竖直方向的， 因此相邻的两个点之间的y坐标固定相差1，这是因为接触线点集合在计算时通 过y坐标的依次便利来求取对应的x坐标，并且如果相邻的点集是连续的，那么 相邻的两个点的x坐标之差最多为1，同理水平方向的受电弓碳滑板的离散点集 中，相邻的两点之间的x坐标固定相差为1，相邻的y坐标之差最多为1，因此 从而保证了(15)式的最小值为0，而当Entropy(J*)的值在 之间时，说明该集合的连续性非常好，使用对应的参数产生的增强效 果最佳，并且当Entropy(J*)大于时，选择值较小参数组合能够更有效地 提取接触线或者受电弓碳滑板轮廓。
以接触线的离散点集合为例，对干净背景图像选择不同的参数组合进行 接触线增强，对应的点集距离熵遍历结果如表1所示：
表1天空背景图像中不同a1和b1组合对应的距离熵
在同一幅图像中，不同的参数组合会对应不同的距离熵，距离熵越小说明离 散点集合的连续性越高。当出现距离熵相同时，优先选择参数和小的那一组，这 是因为选择的参数越小，对应的梯度算子和高斯权重因子的模板也会越小，而模 板的大小会影响运算速度，在同样条件下，模板越大计算越耗时，模板越小，计 算速度越快。表1中可以看出当a1＝2,b1＝4时，对应的接触线的距离熵最小， 这在图12中能更清楚地得到体现，当a1＝2,b1＝4所对应的接触线的增强点集合 的连续性要明显好于其他参数的组合方式，这是因为在红外图像中，接触线的宽 度与该组参数匹配程度最好，其鲁棒性的主要原因是经过相机标定之后，接触线 和承力索对相机的距离相对固定，接触线在变化时只在标定平面内左右移动，不 会发生大范围的Z轴方向的移动，因此接触线宽度相对固定。
步骤S5，分别对接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计， 计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
提取接触线参数特征，利用随机采样一致性算法(RANSAC)对接触线点集 进行直线的参数估计；
提取受电弓碳滑板的参数特征，利用随机采样一致性算法(RANSAC)对受 电弓碳滑板轮廓点集进行直线的参数估计；
计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
本发明使用RANSAC算法分别对这两部分点集进行直线的参数估计，从而 解决接触线被定位器拉折时单条直线无法很好拟合接触线的问题。并且在选择受 电弓碳滑板集合中靠近接触线的那部分点集再次使用RANSAC拟合受电弓碳滑 板轮廓在接触线附近的切线，通过计算接触线的拟合直线以及受电弓碳滑板的拟 合直线的交点获取接触线和受电弓的接触点的位置，从而实现在单帧图像中准确 地定位接触点。
算法通过迭代完成最优参数估计，在第k次迭代时，随机从数据集中随机 采样小部分数据对模型M的参数θ进行估计，得到估计模型M(θ)，选择一个 阈值∈作为判定模型M(θ)在整个数据集中的拟合程度，拟合程度小于阈值ò 的点被认为是模型M(θ)的“内点”，选择内点数最多的模型作为最终的结果， 迭代次数则可以通过概率统计中的置信度η来计算，如式(16)所示。
其中，m为采样子集的大小，ε为内点数占数据集的比例，该值可以选择每次 迭代时选择迭代过程中出现的内点比例的最大值而无需事先计算，置信度η可以 自主选择，一般为了保证较高的准确率，置信度η应大于等于0.95。
以接触线离散点集合为例，使用RANSAC算法来估计直线参数的过程如 表2所示。
表2 RANSAC直线检测算法过程伪代码
天空背景和部分复杂背景(顶棚、站场)的受电弓定位和接触线检测以及接触点定位结果如图13和图14所示。图13天空背景中，受电弓的大致位置被很好地 定位(如图中浅蓝色框所示)，但是由于在这两个场景中存在不同程度的“压弓” 现象，因此直接使用受电弓定位框左上角的Y坐标作为接触点的Y坐标会和实 际的接触点坐标产生若干像素的偏差，如图13中A2天空背景放大图中可以看 出若直接使用受电弓定位框Y坐标作为接触点Y坐标会产生了2个像素的偏差， A4干净天空背景短折线中则会产生5个像素的偏差，而接触线的导线高度就是 接触点的Y坐标，并且接触点Y坐标的不准确还会影响接触点的X坐标的计算， 从而导致接触线拉出值的计算误差。而本发明提出的单帧接触点检测算法能够准确地计算接触点在图像中的位置，有效地克服了受电弓定位过程中带来的误差， 进一步提升了检测系统对接触线和受电弓的检测鲁棒性。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本 发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其 他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，包括以下步骤：
S1、利用从红外视频帧序列第一张原始图像中截取的弓模板对实时获取的电力机车单目红外原始图像进行模板匹配，确定受电弓位置；
S2、根据所述受电弓位置，在所述单目红外原始图像中分别提取弓以上接触线图像和受电弓感兴趣区域图像；
S3、分别对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作，得到接触线增强图像和受电弓增强图像；
S4、分别对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集；
S5、分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
2.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，提取弓以上接触线图像和受电弓感兴趣区域图像的步骤中，包括步骤：
根据模板匹配获得受电弓的位置，提取弓以上接触线图像并进行灰度化处理；
根据模板匹配获得受电弓的位置，提取受电弓感兴趣区域图像，并进行灰度化处理。
3.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，在对所述弓以上接触线图像和受电弓感兴趣图像执行图像增强操作的步骤中，包括步骤：
利用一阶微分算子提取所述弓以上接触线图像中接触线的边缘，其中，提取的边缘图像为接触线与承力索，或同时出现定位器和吊弦；
利用接触线的左右梯度和宽度权重对所述边缘图像进行增强处理，获得仅包含接触线的接触线增强图像；
利用受电弓的上下梯度和对应像素灰度值的高斯权重和对所述受电弓感兴趣区域图像进行增强处理，获得受电弓增强图像。
4.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，对所述接触线增强图像和受电弓增强图像执行像素归一化操作和参数优化，提取接触线点集和受电弓碳滑板轮廓点集的步骤包括：
对所述接触线增强图像和受电弓增强图像的像素分别进行归一化操作，提取满足条件的接触线离散点集合和受电弓碳滑板轮廓离散点集合；
对所述接触线离散点集合和受电弓碳滑板轮廓离散点集合进行参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取。
5.根据权利要求4所述的基于单目红外图像的受电弓接触点实时检测方法，其特征在于，对所述接触线增强图像和受电弓增强图像的像素分别进行归一化操作，提取满足条件的接触线离散点集合和受电弓碳滑板轮廓离散点集合的步骤包括：
对所述接触线增强图像的每一行像素进行归一化操作，得到归一化之后的接触线增强图像；
求取所述接触线增强图像中的每一行灰度值的最大值所在的点作为该行图像中接触线所在的位置；
根据所述每一行灰度值的最大值所在的点，求取所有行像素灰度最大值所在的点的集合做为接触线离散点集合；
对所述受电弓增强图像的每一列像素进行归一化操作，每一列像素进行归一化操作，得到归一化之后的受电弓增强图像；
求取所述受电弓增强图像中的每一列置信度最高的点作为该行图像中受电弓碳滑板所在的位置；
根据所述每一列置信度最高的点，求取所有列置信度最高的点的集合作为受电弓碳滑板轮廓离散点集合。
6.根据权利要求4所述的基于单目红外图像的受电弓接触点实时检测方法，其特征在于，对所述接触线离散点集合和受电弓碳滑板轮廓离散点集合进行参数优化，提取接触线点集和受电弓碳滑板轮廓点集提取的步骤包括：
对所述接触线离散点集合的参数进行优化，所述参数包括接触线中心像素个数和接触线中心到接触线边界的像素数；
限定所述接触线离散点集合列范围和行范围，提取接触线点集；
对所述受电弓碳滑板轮廓离散点集合的参数进行优化，所述受电弓碳滑板轮廓离散点集合参数包括模板大小、上下梯度的计算中心和像素坐标点的像素偏移量；
限定所述受电弓碳滑板轮廓离散点集合列范围和行范围，提取受电弓碳滑板轮廓点集。
7.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，分别对所述接触线点集和受电弓碳滑板轮廓点集进行直线的参数估计，计算接触线拟合直线以及受电弓滑板拟合直线的交点的步骤包括：
提取接触线参数特征，利用随机采样一致性算法(RANSAC)对所述接触线点集进行直线的参数估计；
提取受电弓碳滑板的参数特征，利用随机采样一致性算法(RANSAC)对所述受电弓碳滑板轮廓点集进行直线的参数估计；
计算接触线拟合直线以及受电弓滑板拟合直线的交点，实现接触点定位。
8.根据权利要求1所述的一种基于单目红外图像的受电弓接触点实时检测方法，其特征在于，单目红外图像是通过近红外相机或高清可见光相机实时获取机车行进过程中的红外原始图像。
9.一种计算机设备，其特征在于，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至8中的任一所述的基于单目红外图像的受电弓接触点实时检测方法中的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至8中的任一所述的基于单目红外图像的受电弓接触点实时检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411635.3A CN110197494B (zh) | 2019-05-17 | 2019-05-17 | 一种基于单目红外图像的受电弓接触点实时检测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411635.3A CN110197494B (zh) | 2019-05-17 | 2019-05-17 | 一种基于单目红外图像的受电弓接触点实时检测算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197494A true CN110197494A (zh) | 2019-09-03 |
| CN110197494B CN110197494B (zh) | 2023-01-31 |
Family
ID=67752842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910411635.3A Active CN110197494B (zh) | 2019-05-17 | 2019-05-17 | 一种基于单目红外图像的受电弓接触点实时检测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197494B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681265A (zh) * | 2020-06-08 | 2020-09-18 | 西南交通大学 | 一种铁路受电弓和接触网的接触点在线检测方法 |
| CN114973089A (zh) * | 2022-05-30 | 2022-08-30 | 福州大学 | 基于图像视觉算法的接触网和受电弓接触点检测方法 |
| CN114972042A (zh) * | 2022-08-01 | 2022-08-30 | 成都唐源电气股份有限公司 | 基于标准模型的受电弓点云拼接方法、系统、设备和介质 |
| CN116593045A (zh) * | 2023-06-21 | 2023-08-15 | 唐山百川智能机器股份有限公司 | 一种通过式受电弓接触压力在线检测系统及方法 |
| CN116664570A (zh) * | 2023-07-31 | 2023-08-29 | 深圳市鹏基精密工业有限公司 | 基于工业视觉的扁形连接器生产缺陷检测方法 |
| CN117690096A (zh) * | 2024-02-04 | 2024-03-12 | 成都中轨轨道设备有限公司 | 一种适应不同场景的接触网安全巡检系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009018612A1 (en) * | 2007-08-06 | 2009-02-12 | Qr Limited | Pantograph damage and wear monitoring system |
| CN107588720A (zh) * | 2017-08-21 | 2018-01-16 | 南京理工大学 | 一种城轨列车受电弓中心线偏移在线检测装置及方法 |
| CN107742288A (zh) * | 2017-10-11 | 2018-02-27 | 成都国铁电气设备有限公司 | 一种受电弓打弓缺陷检测方法及系统 |
-
2019
- 2019-05-17 CN CN201910411635.3A patent/CN110197494B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009018612A1 (en) * | 2007-08-06 | 2009-02-12 | Qr Limited | Pantograph damage and wear monitoring system |
| CN107588720A (zh) * | 2017-08-21 | 2018-01-16 | 南京理工大学 | 一种城轨列车受电弓中心线偏移在线检测装置及方法 |
| CN107742288A (zh) * | 2017-10-11 | 2018-02-27 | 成都国铁电气设备有限公司 | 一种受电弓打弓缺陷检测方法及系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681265A (zh) * | 2020-06-08 | 2020-09-18 | 西南交通大学 | 一种铁路受电弓和接触网的接触点在线检测方法 |
| CN111681265B (zh) * | 2020-06-08 | 2023-02-28 | 西南交通大学 | 一种铁路受电弓和接触网的接触点在线检测方法 |
| CN114973089A (zh) * | 2022-05-30 | 2022-08-30 | 福州大学 | 基于图像视觉算法的接触网和受电弓接触点检测方法 |
| CN114972042A (zh) * | 2022-08-01 | 2022-08-30 | 成都唐源电气股份有限公司 | 基于标准模型的受电弓点云拼接方法、系统、设备和介质 |
| CN116593045A (zh) * | 2023-06-21 | 2023-08-15 | 唐山百川智能机器股份有限公司 | 一种通过式受电弓接触压力在线检测系统及方法 |
| CN116593045B (zh) * | 2023-06-21 | 2023-09-19 | 唐山百川智能机器股份有限公司 | 一种通过式受电弓接触压力在线检测系统及方法 |
| CN116664570A (zh) * | 2023-07-31 | 2023-08-29 | 深圳市鹏基精密工业有限公司 | 基于工业视觉的扁形连接器生产缺陷检测方法 |
| CN116664570B (zh) * | 2023-07-31 | 2023-11-14 | 深圳市鹏基精密工业有限公司 | 基于工业视觉的扁形连接器生产缺陷检测方法 |
| CN117690096A (zh) * | 2024-02-04 | 2024-03-12 | 成都中轨轨道设备有限公司 | 一种适应不同场景的接触网安全巡检系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197494B (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197494A (zh) | 一种基于单目红外图像的受电弓接触点实时检测算法 | |
| CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
| CN105260749B (zh) | 基于方向梯度二值模式和软级联svm的实时目标检测方法 | |
| CN103295016B (zh) | 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法 | |
| CN102663760B (zh) | 一种对图像中的车辆挡风镜区域进行定位分割的方法 | |
| CN108229319A (zh) | 基于帧间差异与卷积神经网络融合的船舶视频检测方法 | |
| JP7246104B2 (ja) | テキスト行識別に基づくナンバープレート識別方法 | |
| CN106326893A (zh) | 一种基于区域辨别的车辆颜色识别方法 | |
| CN104392468A (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
| CN102289948A (zh) | 高速公路场景下一种多特征融合的多车辆视频跟踪方法 | |
| CN110119726A (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
| Bešić et al. | Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning | |
| CN108446586B (zh) | 一种列车驾驶员特定动作检测方法 | |
| CN108460790A (zh) | 一种基于一致性预测器模型的视觉跟踪方法 | |
| Liu et al. | An efficient method for high-speed railway dropper fault detection based on depthwise separable convolution | |
| CN109815802A (zh) | 一种基于卷积神经网络的监控视频车辆检测与识别方法 | |
| CN108538052A (zh) | 基于车头灯轨迹跟踪和动态配对的夜间交通流量检测方法 | |
| Tao et al. | Gap detection of switch machines in complex environment based on object detection and image processing | |
| CN106485715A (zh) | 一种非结构化道路识别方法 | |
| CN110516527B (zh) | 一种基于实例分割的视觉slam回环检测改进方法 | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| Xing et al. | The Improved Framework for Traffic Sign Recognition Using Guided Image Filtering | |
| CN107247967A (zh) | 一种基于r‑cnn的车窗年检标检测方法 | |
| CN103996207A (zh) | 一种物体跟踪方法 | |
| CN109919107A (zh) | 一种基于深度学习的交警手势识别方法及无人车 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |