CN103745224B - 基于图像的铁路接触网鸟窝异常情况检测方法 - Google Patents

Abstract

本发明公开了一种基于图像的铁路接触网鸟窝异常情况检测方法，采用数字图像处理的方法自动识别铁路接触网巡视图像中存在鸟窝的异常情况。主要步骤为：1)铁路接触网图像二值化；2)接触网支柱主干部分和细线区域部分提取；3)基于悬空点检测的鸟窝可疑区域定位；4)鸟窝可疑区域的直线方向直方图和长度直方图特征提取；5)基于直线方向和长度分布特性的鸟窝识别；本发明方法可高效、自动地对铁路接触网进行鸟窝异常情况的检测和识别，具有重大的安全意义和实际应用价值，适用于高速铁路和普通铁路接触网子自动巡检，能有效帮助巡检人员快速发现接触网支架上是否存在鸟窝，排查潜在的安全隐患，提高巡检人员工作效率，避免人工判读带来的巨大人力消耗。

Description

基于图像的铁路接触网鸟窝异常情况检测方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于图像的铁路接触网鸟窝异常情况的定位和识别方法。

技术背景

铁路接触网是为列车供电架设的特殊线路。截止2010年12月底，中国国内运营时速200公里以上的高速铁路里程已经达到8358公里，在建和即将兴建的高速铁路客运专线和城际铁路里程已达1.7万公里。根据中国中长期铁路网规划方案，至2012年，中国将建成42条高速铁路客运专线，基本建成以“四纵四横”为骨架的全国快速客运网，总里程1.3万公里；到2020年中国时速在200公里以上的高速铁路里程将会达到5万公里。

为了保证高速列车的安全运营，接触网需要经常巡检，目前对350km/h的高速客运专线接触网设备进行在线巡视的设备已经初步成型。要对接触网的各种安全隐患进行有效检测，巡检设备需记录大量视频数据，然而，面对海量的巡检视频数据，若仅靠人工判读，工作量大、效率低、可靠性难以保障。我国铁路线路长、分布广、环境多样，因此存在安全隐患问题的接触网的位置很分散，如何准确高效地对巡检图像进行智能分析，降低巡检人员劳动强度、提高工作效率、保障铁路安全成为一个亟待解决的难题。

本发明所要解决的技术问题是自动识别铁路接触网巡检视频图像中存在的鸟窝异常情况。铁路接触网上的鸟窝一般存在于接触网支柱上，由一些方向不一、长度不一的悬在空中近似直线的细线组成，根据这些特征，本发明具创新意义地提出用直线的方向直方图和长度直方图来描述鸟窝，进而通过SVM分类器自动识别铁路接触网图像中是否存在鸟窝异常。鸟窝异常检测是铁路接触网巡检中的重要内容，本发明的提出能够有效解决人工判读带来的巨大工作量的问题，为巡检人员的工作带来极大的便利，具有重大的安全意义和实际应用价值。

发明内容

为了实现鸟窝异常情况的自动识别，本发明采用的技术方案为：

一种基于图像的铁路接触网鸟窝异常情况的定位和识别方法，从高速客运专线接触网设备进行在线巡视拍摄的连续视频图像中识别出接触网是否存在鸟窝异常。根据鸟窝图像的特征，本发明采取处理步骤如下：

(1)铁路接触网图像二值化：使用自适应二值化的方法，能够得到的二值图I_C很好地保持了铁路接触网图像信息；

(2)接触网支柱主干部分和细线区域部分提取：采用边缘膨胀法提取接触网支架的主干区域的二值图I_M；提取细线区域部分：对步骤(1)中提取的清晰二值图I_C使用腐蚀相减的方法得到一个只包含图像中细线区域的二值图I_T；

(3)基于悬空点检测的鸟窝可疑区域定位：结合接触网支架的主干区域图像I_M和二值图像I_C，通过进行悬空点检测确定鸟窝可疑区域。

(4)鸟窝可疑区域的直线方向直方图和长度直方图特征提取：对鸟窝可疑区域使用霍夫变换检测出直线，计算直线的方向和长度，从而进行统计得到该区域直线的方向直方图和长度直方图作为特征向量。

(5)基于直线方向和长度分布特性的鸟窝识别：将特征信息输入对应的已构造完成的分类器进行分类，将分类结果进行概率融合，从而自动检测铁路接触网图像中是否存在鸟窝异常。

所述步骤(1)中，采用不同大小的滑动窗口对图像进行自适应阈值化，将得到的二值图像结合，并通过连通区域检测移除噪点，最终得到包含完整图像信息的二值图。

所述步骤(2)中，在接触网支柱的主干部分方面采用边缘膨胀的方法提取；在细线区域部分方面采用腐蚀相减的方法提取。

所述步骤(3)中，鸟窝可疑区域的定位结合接触网支柱主干部分图像和二值图像进行，主要是通过滑动窗口在接触网支柱的主干区域附近对二值图像进行悬空点检测，若滑动窗口内的悬空点数高于阈值，就认为该块是鸟窝可疑区域。

所述步骤(4)中，对鸟窝可疑区域进行霍夫变换提取直线，计算直线的方向和长度，从而进行统计得到该区域直线的方向直方图和长度直方图，并将其作为特征向量。

所述步骤(5)中，将鸟窝可疑区域中提取出的直线的方向直方图特征向量和长度直方图特征向量输入对应的已构造SVM分类器，通过SVM分类器得到该区域存在鸟窝的概率，最后，通过概率融合判定该区域是否存在鸟窝异常。

采用本发明能够实时地对铁路接触网巡检图像是否存在鸟窝异常进行自动识别，该技术能够有效解决人工判读带来的巨大工作量的问题，为巡检人员的工作带来极大的便利，从而提高巡检人员的工作效率。

附图说明

图1是铁路接触网存在鸟窝异常的示例图。

图2是本发明的系统框图。

图3是本发明的总体框图。

图4是存在鸟窝异常图像与不存在鸟窝异常图像的直线方向和长度分布对比图。

图5是鸟窝异常的定位与识别算法流程图。

具体实施方式

下面结合附图介绍本发明具体实施方式。

图1为典型的铁路接触网巡检图像存在鸟窝异常的示意图。

图2为本发明的系统框图，铁路接触网巡检系统配备有两个车载CCD摄像机，分辨率分别是2456×2058(500万像素)和1392×1040(100万像素)。分辨率较高的摄像机用于拍摄铁路接触网图像，分辨率较低的图像用于拍摄接触网支柱杆号和里程碑。本发明中，仅采用高分辨率摄像机拍摄的接触网图像。在列车运行过程中，两个摄像机以17帧／s的帧率同时拍摄列车前方的铁路图像。每次巡检系统运行都将在线拍摄大量的图片数据，因此将这些图片数据存储到可移动的存储设备上。可移动存储设备上的数据可以通过计算机进行离线的分析和处理，包括鸟窝异常检测，而这部分就是本发明所做的工作。

图3为本发明的总体框图，读取铁路接触网图像后，首先，采用自适应二值化方法，得到能够完整保留图像有用信息的铁路接触网二值图；然后，提取接触网支柱主干部分和细线区域部分，分别用于鸟窝的辅助定位和直线提取；随后，使用滑动窗口遍历图像，结合鸟窝存在支柱附近的先验知识进行悬空点检测以定位鸟窝区域；然后，对鸟窝可疑区域进行霍夫变换提取直线，并计算直线的方向和长度，进而统计得到直线的方向直方图向量和长度直方图向量；最后，将特征向量输入分类器进行鸟窝识别，如果存在鸟窝异常则预警。

图4为存在鸟窝异常图像与不存在鸟窝异常图像的直线方向和长度分布对比图，用于说明本发明提出的两个特征能够很好的描述鸟窝。其中(a)是原图，(b)是使用定位出的鸟窝可疑区域，(c)是对鸟窝可疑区域进行霍夫变换提取出的直线，(d)是直线的方向直方图，(e)是直线的长度直方图。从图4中可以看出，鸟窝图像中的直线通常方向不一、长度不一，因此直线的方向直方图和长度直方图分布比较广泛，而非鸟窝图像，例如绝缘子图像，通常是由几个明显的峰值构成。

图5为鸟窝异常的定位与识别算法流程图，取w×w大小的滑动窗口P遍历图像，判断P中是否存在鸟窝。输入的图像为三幅预处理得到的二值图I_C、主干图I_M和细枝图I_T，使用滑动窗口遍历图像，分别设置P为三个图像的感兴趣区域，提取P对应位置的P_C、P_M和P_T，若P_M中属于主干区域的像素个数大于阈值ε₁且P_C中检测到的悬空点个数大于阈值ε₂，则该区域是鸟窝可疑区域，对P_T提取可疑区域的直线方向直方图描述向量和长度直方图描述向量，分别通过对应的分类器得到存在鸟窝的两个概率值，通过两个概率值的融合判定该区域是否存在鸟窝异常。若遍历完图像没有一个区域存在鸟窝异常则该图像检测结果为不存在鸟窝异常。

为便于对本发明的细节作更为清楚的介绍，对本发明主要步骤详述如下：

步骤1：铁路接触网图像二值化。使用自适应二值化的方法，选择不同的大小的n×n滑动窗口对图像进行分块二值化，每一块采用该块的均值作为二值化阈值，计算公式如下：

$I_C(x,y)=\left\{\begin{array}{c}1,\mathrm{ifI}(x,y)\&GreaterEqual;\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)/n^2\\ 0,\mathrm{ifI}(x,y)<\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)/n^2\end{array}\right.$

其中，I_C(x，y)是经过自适应处理后(x，y)点的像素值，n是滑动窗口的尺寸，I(x，y)是原始图像中(x，y)点的灰度值，

采用较大的滑动窗口(400×400)和较小的滑动窗口(10×10)对图像进行自适应二值化得到二值图B₁和B₂，较大的滑动窗口得到的二值图能够很好的保持支柱等较大的区域，忽略细节，而较小的滑动窗口能够很好的保留边缘等细节。对二值图二值图B₁和B₂使用逻辑“或”得到含有较多噪点的二值图B₃。遍历B₃中所有连通区域，将较小的连通区域视为噪点移除，就得到包含图像完整信息的二值图I_C。

步骤2：接触网支柱主干部分和细线区域部分提取。

提取接触网支柱主干部分，使用边缘膨胀的方法提取主干部分区域，具体方法如下：

(1)对图像I_C使用canny算子提取图像边缘信息，得到边缘图像B_canny；

(2)使用n×n的矩形核对边缘图像B_canny进行形态学闭运算，则两边缘之间的距离小于像素则被填充，反之则保持原样；

(3)将处理后的B_canny与I_C进行逻辑“或”运算，可得到主干部分(宽度大于像素)的二值图I_M。

提取细线区域，对I_C使用腐蚀相减的方法得到一个只包含图像中细线区域的二值图I_T。

步骤3：基于悬空点检测的鸟窝可疑区域定位，通过对滑动窗口进行悬空点检测确定鸟窝可疑区域。

选取w×w大小的滑动窗口区域P对接触网主干部分图像I_M进行检测，基于鸟窝出现在接触网支柱主干区域周围的先验经验，如果该w×w区域满足以下条件：

$\underset{i=m}{\overset{m+w}{\mathrm{\&Sigma;}}}\underset{j=n}{\overset{n+w}{\mathrm{\&Sigma;}}}{I}_M(i,j)>{\mathrm{\&alpha;}}_p,0\&le;m\&le;W-w,0\&le;n\&le;H-w$

即该m×n区域中包含主干部分的像素大于阈值α_p，其中W和H分别表示I_M的宽和高，则对窗口对应的二值图像I_C进行悬空点检测。

悬空点是悬在空中的细线的端点，应该满足以下两个条件：

I_C(x₀，y₀)＝1

$\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{I}_C(x_0+m,y_0+n)=2$

即悬空点(x₀，y₀)是细线上的端点，且它的八邻域内连接细线的点只有一个。如果滑动窗口中有一定数量的悬空点，则该区域是鸟窝可疑区域。

步骤4：鸟窝可疑区域的直线方向直方图和长度直方图特征提取，具体方法如下：

(1)提取直线

鸟窝在图像中是由一些长度不同、方向不同的近似直线的细线组成的，通过对鸟窝可疑区域对应的细线区域图I_T进行霍夫变换能够检测出图像中的直线，用于表示组成鸟窝的细线。

(2)提取直线方向直方图特征向量。

计算每条直线与水平方向的夹角，计算方法是：

$\mathrm{\&theta;}=\arccos \left(\frac{(x_1-x_0)}{\sqrt{{(x_1-x_0)}^2+{(y_1-y_0)}^2}}\right)$

其中(x₀，y₀)是直线的起点，(x₁，y₁)是直线的终点。夹角的取值是0°到180°，每10°作为一个区间，将θ的值量化到18个区间，统计每个区间的频数，得到18维的方向直方图描述向量，最后将每个分量值除以直线总数得到归一化的方向直方图特征向量V_D。

(3)提取直线长度直方图特征向量。

计算每条直线的长度，计算方法是：

$L=\sqrt{{(x_1-x_0)}^2+{(y_1-y_0)}^2}$

其中(x₀，y₀)是直线的起点，(x₁，y₁)是直线的终点。将L的值量化到13个区间，统计每个区间的频数，得到13维的长度直方图描述向量，最后将每个分量值除以直线总数得到归一化长度直方图特征向量V_L。

步骤5：基于直线方向和长度分布特性的鸟窝识别，具体方法如下：

训练阶段，构造SVM分类器。将有鸟窝的图像和无鸟窝的图像分别作为正样本和负样本输入，通过支持向量机(SVM)分别对鸟窝细线的方向直方图特征向量和长度直方图特征向量进行训练，学习鸟窝图像中细线的方向和长度分布模式，得到基于直线方向分布的SVM分类器和基于直线长度分布的SVM分类器。

检测阶段，从图像可疑区域中提取出直线的方向直方图特征向量V_D和长度直方图特征向量V_L，并输入对应的SVM分类器，分别得到图像存在鸟窝的概率P_D和P_L，将两个结果进行融合，P_C＝w₁×P_D+w₂×P_L，根据P_C最终确定是否存在鸟窝。

Claims (7)

1.一种基于图像的铁路接触网鸟窝异常情况检测方法，从高速客运专线接触网设备进行在线巡视拍摄的连续视频图像中识别出接触网是否存在鸟窝异常，包含如下处理步骤：

(1)铁路接触网图像二值化：使用自适应二值化的方法，得到很好地保持铁路接触网图像信息的二值图I_C；

(2)接触网支柱主干部分和细线区域部分提取：采用边缘膨胀法提取接触网支架的主干区域的二值图I_M；提取细线区域部分：对步骤(1)中提取的清晰二值图I_C使用腐蚀相减的方法得到一个只包含图像中细线区域的二值图I_T；

(3)基于悬空点检测的鸟窝可疑区域定位：结合接触网支架的主干区域的二值图I_M和二值图I_C，通过进行悬空点检测确定鸟窝可疑区域；

(4)鸟窝可疑区域的直线方向直方图和长度直方图特征提取：对鸟窝可疑区域使用霍夫变换检测出直线，计算直线的方向和长度，从而进行统计得到该区域直线的方向直方图和长度直方图作为特征向量；

(5)基于直线方向和长度分布特性的鸟窝识别：将特征信息输入对应的已构造完成的分类器进行分类，将分类结果进行概率融合，从而自动检测铁路接触网图像中是否存在鸟窝异常。

2.根据权利要求1所述的基于图像的铁路接触网鸟窝异常情况检测方法，其特征是，所述步骤(1)中，采用不同大小的滑动窗口对图像进行自适应阈值化，将得到的二值图像结合，并通过连通区域检测移除噪点，最终得到包含完整图像信息的二值图。

3.根据权利要求1所述的基于图像的铁路接触网鸟窝异常情况检测方法，其特征是，所述步骤(2)中，在接触网支柱的主干部分方面采用边缘膨胀的方法提取；在细线区域部分方面采用腐蚀相减的方法提取。

4.根据权利要求1所述的基于图像的铁路接触网鸟窝异常情况检测方法，其特征是，所述步骤(3)中，鸟窝可疑区域的定位结合接触网支柱主干部分图像和二值图像进行，通过滑动窗口在接触网支柱的主干区域附近对二值图像进行悬空点检测，若滑动窗口内的悬空点数高于阈值，就认为该块是鸟窝可疑区域。

5.根据权利要求1所述的基于图像的铁路接触网鸟窝异常情况检测方法，其特征是，所述步骤(4)中，对鸟窝可疑区域进行霍夫变换提取直线，计算直线的方向和长度，从而进行统计得到该区域直线的方向直方图和长度直方图，并将其作为特征向量。

6.根据权利要求1所述的基于图像的铁路接触网鸟窝异常情况检测方法，其特征是，所述步骤(5)中，将鸟窝可疑区域中提取出的直线的方向直方图特征向量和长度直方图特征向量输入对应的已构造SVM分类器，通过SVM分类器得到该区域存在鸟窝的概率，最后，通过概率融合判定该区域是否存在鸟窝异常。

7.根据权利要求1或6所述的基于图像的铁路接触网鸟窝异常情况检测方法，其特征是，所述步骤(5)的分类器构造特征是：将有鸟窝的图像和无鸟窝的图像分别作为正样本和负样本输入，通过支持向量机(SVM)分别对鸟窝可疑区域直线的方向直方图特征向量和长度直方图特征向量进行训练，得到基于直线方向分布的SVM分类器和基于直线长度分布的SVM分类器。