CN111311567A - 对轨道线路图像进行扣件和钢轨病害识别的方法 - Google Patents

对轨道线路图像进行扣件和钢轨病害识别的方法 Download PDF

Info

Publication number
CN111311567A
CN111311567A CN202010088325.5A CN202010088325A CN111311567A CN 111311567 A CN111311567 A CN 111311567A CN 202010088325 A CN202010088325 A CN 202010088325A CN 111311567 A CN111311567 A CN 111311567A
Authority
CN
China
Prior art keywords
track line
image
fastener
steel rail
line image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010088325.5A
Other languages
English (en)
Inventor
魏秀琨
所达
贾利民
李宇杰
魏德华
江思阳
杨子明
翟小婕
潘潼
孟鸿飞
李赛
滕延芹
尹贤贤
管青鸾
陈亚兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202010088325.5A priority Critical patent/CN111311567A/zh
Publication of CN111311567A publication Critical patent/CN111311567A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种对轨道线路图像进行扣件和钢轨病害识别的方法。该方法包括：将轨道线路图像转变为灰度图像，对灰度图像中的扣件区域和钢轨区域进行定位；根据灰度图像中的扣件区域和钢轨区域的实际情况和钢轨以及扣件病害的定义，对轨道线路原始图像进行类别标定，通过数据增强处理得到包含正样本和负样本的轨道线路图像的数据集；利用数据集对轨道线路图像的分类器进行训练，得到训练好的轨道线路图像的分类器；利用分类器对待识别病害的轨道线路图像进行扣件和钢轨病害识别。本发明例可以准确有效地识别出钢轨表面的波磨病害以及扣件的缺失和损坏病害，检测效率明显提高，为轨道交通系统的病害在线实时检测系统的发展奠定了良好的基础。

Description

对轨道线路图像进行扣件和钢轨病害识别的方法
技术领域
本发明涉及属于轨道交通线路的病害检测技术领域，尤其涉及一种对轨道线路图像进行扣件和钢轨病害识别的方法。
背景技术
纵观世界各国城市化发展的历程，城市轨道交通是很早出现在城市中的一种重要的公共交通方式，同时也是与其他公共交通方式相比有着很多优势的交通方式，如：运行速度快和客运量客观等。目前，我国轨道交通规模在不断扩大，焕发出勃勃生机。因此，轨道交通的安全问题受到越来越多的关注，每个交通人都应该参与到交通运输改革发展的推动工作中去，这也对全交通行业提出了更加严格的要求。
钢轨和扣件是轨道交通系统中重要的基础设施，这些基础设施的健康状态直接关系到轨道交通运行的安全和稳定。轨道交通系统中的车辆在行车过程中，由于机车车轮与钢轨之间存在持续的接触摩擦和振动，加之自然环境对运营线路的影响，钢轨表面很容易产生波磨和剥离掉块等病害，而扣件会产生缺失和损坏等病害。如果这些病害没有得到及时的检测和处理，会对机车的轮对和轴承造成不同程度的磨耗和损伤，将缩短轨道关键部件的使用寿命，增加城市轨道交通线路的维护成本，严重时甚至会使钢轨出现变形、断裂和崩塌，严重危害轨道交通列车的运营安全。因此，对于钢轨和扣件关键病害的定期检测和维护的重要性不言而喻。
然而，相对于国内轨道交通运营系统的飞速发展，轨道线路各重要组成部分检测技术的发展显得相对落后，目前来说人工巡检的方式仍然占到很大的比重，此方式虽然有着简单易行的优势，但同时也存在着诸多不足：
1、我国铁路网规模庞大，线路总里程数大，而人工巡检方式效率低下，相对应所需的巡检工人数量也较多，工作量也很大；
2、由于目前列车运行速度的进一步提高以及列车发车密度的进一步增大，加之轨道线路多位于隧道内，巡检工人的安全无法得到很好的保障；
3、人工巡检结果受到许多因素的影响，诸如：巡检工人情绪、巡检工作进行当时的天气环境状况以及巡检工人的熟练程度，有很大的主观因素影响。因此，轨道线路缺陷的自动化检测技术或设备是保证轨道交通安全、高效运营的关键，迫切需要运用图像处理、计算机视觉、机器学习等先进技术开发出钢轨和扣件的自动检测系统。
发明内容
本发明的实施例提供了一种对轨道线路图像进行扣件和钢轨病害识别的方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种对轨道线路图像进行扣件和钢轨病害识别的方法，包括：
将轨道线路图像转变为灰度图像，对所述灰度图像中的扣件区域和钢轨区域进行定位；
根据所述灰度图像中的扣件区域和钢轨区域的实际情况和钢轨以及扣件病害的定义，对所述轨道线路原始图像进行类别标定，对分类后的一定数量的轨道线路原始图像进行数据增强处理，得到包含正样本和负样本的轨道线路图像的数据集；
利用所述数据集对轨道线路图像的分类器进行训练，得到训练好的轨道线路图像的分类器；
利用所述训练好的轨道线路图像的分类器对待识别病害的轨道线路图像进行扣件和钢轨病害识别。
优选地，所述的将轨道线路原始图像转变为灰度图像，包括：
对待处理的轨道线路图像进行预处理，运用模板大小为3×3的中值滤波算子滤除轨道线路原始图像中的噪声后，再利用直方图均衡化对图像进行增强处理，将预处理后的轨道线路原始图像转变为灰度图像。
优选地，所述的对所述灰度图像中的扣件区域和钢轨区域进行定位，包括：
计算灰度图像在垂直方向上投影统计值的差值，得到垂直统计差数组，将所述垂直统计差数组中的最大值出现的位置确定为钢轨的一个边缘位置，根据所述钢轨的一个边缘位置和钢轨宽度的经验值，在垂直统计差数组中寻找出钢轨的另一个边缘位置，根据钢轨的两个边缘位置定位所述灰度图像中的钢轨区域；
计算灰度图像在水平方向上投影统计值的差值，得到水平统计差数组，将所述水平统计差数组中的最大值出现的位置确定为轨枕的一个边缘位置，根据所述轨枕的一个边缘位置和轨枕宽度的经验值，在水平统计差数组中寻找出轨枕的另一个边缘位置，根据轨枕的两个边缘位置定位所述灰度图像中的轨枕区域；
利用小波变换方法对所述灰度图像中的扣件区域的垂直边缘信息进行定位，将扣件区域的垂直边缘信息与所述钢轨区域、轨枕区域相结合，得到所述灰度图像中的扣件区域。
优选地，所述的利用小波变换方法对所述灰度图像中的扣件区域的垂直边缘信息进行定位，包括：
根据小波变换的二维分解公式和二维重构公式，对轨道线路图像进行小波变换处理，得到垂直细节系数逆变换结果图，滤除掉所述垂直细节系数逆变换结果图中的噪点信息。
随后使用一个垂直方向上的遍历算子模板，统计所述垂直细节系数逆变换结果图中模板匹配度的分布，在垂直细节系数逆变换结果图的左右两边寻找两个极大匹配度值，在两个极大匹配度值的分别画一条垂直的线，将两条垂直的线作为扣件区域的两个垂直边缘。
优选地，所述的根据所述灰度图像中的扣件区域和钢轨区域的实际情况和钢轨以及扣件病害的定义，对所述轨道线路原始图像进行类别标定，对分类后的一定数量的轨道线路原始图像进行数据增强处理，得到包含正样本和负样本的轨道线路图像的数据集，包括：
根据采集到的轨道线路图像中的扣件区域的实际情况与钢轨和扣件病害的定义，将采集到并通过以上三个步骤处理过的轨道线路图像分为五类：钢轨完好、钢轨波磨、扣件完好、扣件损坏和扣件缺失；
对分类后的一定数量的轨道线路原始图像进行数据增强处理，得到包含正样本和负样本的轨道线路图像的数据集，将数据集中每个种类的轨道线路图像的70％作为训练集，剩余30％作为测试集。
优选地，所述的利用所述数据集对轨道线路图像的分类器进行训练，得到训练好的轨道线路图像的分类器，包括：
将训练集中每个轨道线路图像都进行Dense SIFT特征的提取，将提取到的每个Dense SIFT特征映射成视觉特征词汇，使用K-means聚类算法对这些视觉特征词汇进行聚类，合并词义相近的视觉词汇，得到视觉特征词袋模型，统计训练集中每一张轨道线路图像中每个视觉特征词汇出现的频次，得到轨道线路图像的特征直方图，将特征直方图的每个分量串联起来得到每一张轨道线路图像的视觉特征向量；
基于所述轨道线路图像的视觉特征向量，通过空间金字塔分解SPD方法提取轨道线路图像中的全局信息，得到轨道线路图像的包括局部信息和空间位置信息的综合特征向量；
利用所述训练集中5个不同种类的轨道线路图像的综合特征向量和标签对支持向量机SVM分类器进行训练，得到训练好的分类器，将训练好的分类器用于所述测试集数据，对5个不同种类的轨道线路图像进行扣件和钢轨病害的识别，根据识别结果验证所述训练好的分类器。
优选地，所述的基于所述轨道线路图像的视觉特征向量，通过空间金字塔分解SPD方法提取轨道线路图像中的全局信息，得到轨道线路图像的包括局部信息和空间位置信息的综合特征向量，包括：
将轨道线路图像依次划分为N+1(0，1，2，...，L)层的网络，逐层将轨道线路图像细化为一系列的子区域，其中第n层表示将图像沿x和y方向分别划分为2n个大小相等的子区域，该层的图像则一共被分为4n个大小相等的图像子区域；
对每一个子区域分别统计视觉特征词袋模型中每个视觉特征词汇出现的频次，得到每一个子区域基于视觉特征词汇的直方图，针对不同的划分层，将每一个子区域的视觉特征词汇直方图按顺序进行排列，构成了该层基于视觉特征词汇的综合特征向量，将每个层次的视觉特征词汇的综合特征向量进行综合，得到整个轨道线路图像的包括局部信息和空间位置信息的综合特征向量。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例可以准确有效地识别出钢轨表面的波磨病害以及扣件的缺失和损坏病害，检测效率明显提高，为轨道交通系统的病害在线实时检测系统的发展奠定了良好的基础。本系统能实现在线实时检测，识别速度快，检测效率高，同时准确率高，可靠性强。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提出的一种基于SPD_BOVW模型的对轨道线路图像进行扣件和轨道病害识别的方法的处理流程图；
图2为本发明实施例提出的一种轨道线路原始图像示意图；
图3为本发明实施例提出的一种灰度图像的垂直投影统计差图像示意图；
图4为本发明实施例提出的一种钢轨区域的定位结果图；
图5为本发明实施例提出的一种轨枕区域的定位结果图；
图6为本发明实施例提出的一种扣件安装区域的定位结果图；
图7为本发明实施例提供的一种利用训练好的SVM分类器对测试集中五种不同类别病害的图像进行识别测试的结果的混淆矩阵示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
轨道交通的飞速发展，对轨道交通安全、高效的运营提出了更高的要求，传统的人工检测方法受主观的干扰，风险高，难以确保检测结果的客观准确性；加之现存的自动化检测方案检测效率受到运行时间等因素的限制，难以满足现阶段的检测需求。本发明致力于针对上述检测方案的弊端提出一种基于图像处理和基于SPD_BOVW模型的轨道线路病害识别方法，以达到较高检测准确率。
本发明实施例提出的一种基于SPD_BOVW模型的对轨道线路图像进行扣件病害识别的方法的处理流程如图1所示，包括如下的处理步骤：
步骤1、对轨道线路图像进行预处理，该预处理包括图像去噪与图像增强处理。
图2为本发明实施例提出的一种轨道线路原始图像示意图，如图2所示，轨道线路原始图像中必然含有一定比例的噪声，对待处理的轨道线路图像进行预处理，首先运用模板大小为3×3的中值滤波算子滤除轨道线路原始图像中的噪声后，再利用直方图均衡化对图像进行增强处理。
步骤2、将预处理后的轨道线路原始图像转变为灰度图像，根据灰度图像定位钢轨区域和轨枕区域。
将预处理后的轨道线路原始图像转变为灰度图像，可以减少运算量，缩短处理时间。
图3为本发明实施例提出的一种灰度图像的垂直投影统计差图像示意图，本发明实施例根据式(1)计算灰度图像垂直方向上投影统计值的差值，得到垂直统计差数组，结果如图3所示。
SDVP(i)＝VP(i+1)-VP(i)i＝1，2，3，...h (1)
式中，VP(i)表示灰度图像第i列的灰度值的垂直统计量，SDVP(i)表示第i列灰度值的垂直统计差。
由于钢轨表面和背景亮度差别较大，转化为灰度图像后，灰度值差别也同样较大，因此，灰度值的垂直统计差数组中的最大值出现的位置必然对应钢轨的某一个边缘，如图3所示的峰值处，在所述垂直统计差数组中的最大值出现的位置画一条垂直的线，即为钢轨的某一个边缘。加之实验所用到的图片是相机在同样拍摄角度和拍摄距离下得到的，图片中钢轨宽度基本一致，因此结合通过多张图片的对比研究可以得到钢轨宽度的经验值为75个像素值，结合钢轨宽度的经验值，在垂直统计差数组中在距离最大值75个像素的位置寻找第二个极大值点，它的位置即为钢轨的另外一个边缘的位置，在此处画一条垂直的线，即为钢轨的另一个边缘。最终这两条垂直的线之间的区域就是整张轨道线条图像中的钢轨区域，如图4所示。
定位到钢轨的边缘之后，同理，根据式(2)计算灰度图像水平方向上投影统计值的差值，得到水平统计差数组。找到水平统计差数组中的最大值，其位置必然为轨枕某个边缘的位置，在这个位置画一条水平的线，即为轨枕的一个边缘，再借助轨枕宽度的经验值，这里为165个像素，在数组中距离最大值165个像素的位置寻找第二个极大值点，它的位置即为轨枕的另一个边缘的位置，在此处画一条水平的线，即为轨枕的另一个边缘，两条水平线之间的区域即为整张轨道图片中轨枕所在的区域，如图5所示。
SDHP(i)＝HP(i+1)-HP(i)i＝1，2，3，…w (2)
式中，HP(i)表示灰度图像第i行的灰度值的水平统计量，SDHP(i)表示第i列灰度值的水平统计差。
步骤3、利用小波变换方法对灰度图像中的扣件区域进行定位与分割。
步骤2中已经确定出了钢轨和轨枕的边缘，为了更准确的定位扣件区域，需要对扣件的边缘进行检测。因为小波变换方法在图像的边缘检测方面有着显著的效果，此处将使用小波变换的思想对扣件边缘进行检测。使用小波变换对图像进行处理的时候，需要对图像数据分别从水平列向量方向和垂直行向量方向进行一次离散的一维小波变换，从而实现图像的二维小波变换。同时考虑到扣件的安装位置存在明显的垂直边缘，基于db4小波对轨道线路图像进行小波变换，根据小波变换的二维分解公式和二维重构公式，对轨道线路图像进行小波变换处理，得到垂直细节系数逆变换结果图，并滤除掉垂直细节系数逆变换结果图中的噪点信息。再根据式(3)用一个垂直方向上的遍历算子模板，统计垂直细节系数逆变换结果图中模板匹配度的分布，匹配度越高的位置越可能是扣件垂直边缘的位置，因此在图片的左右两边寻找两个极大匹配度值，然后分别画一条垂直的线，将两条垂直的线作为扣件区域的两个垂直边缘。如图6所示，图中③、④分别表示根据小波变换得到的扣件的两个垂直边缘。最终，将扣件的垂直边缘信息与步骤2中得到的轨枕边缘信息以及钢轨边缘信息相结合，就可以较为准确的得到扣件的安装区域，如图6所示，图中①所表示的区域即为钢轨区域，图中②所表示的区域即为两个扣件所在的区域。
Figure BDA0002382836130000101
式中，S代表全1矩阵模板，f为垂直细节系数逆变换结果图，∩表示与运算，h和w表示每个像素的坐标，D(i，j)为匹配度，模板大小为91×21。
步骤4、根据灰度图像中的钢轨和扣件区域的实际情况以及钢轨和扣件病害的定义，对所述轨道线路原始图像进行类别标定，对分类后的一定数量的轨道线路原始图像进行数据增强处理，得到包含正样本和负样本的轨道线路图像的数据集。
根据采集到的轨道线路图像中的扣件区域的实际情况与钢轨和扣件病害的定义，将采集到并通过以上三个步骤处理过的轨道线路图像分为五类：钢轨完好、钢轨波磨、扣件完好、扣件损坏和扣件缺失。钢轨完好和扣件完好表示部件处于正常工作的状态；扣件损坏定义为扣件的扣环断裂或部分断裂，无法继续固定轨道；扣件缺失定义为扣件的主要部分缺失或者扣件完全缺失；钢轨波磨是一种在钢轨表面沿着纵向方向的具有规律性的类似于波浪纹的磨耗现象。
由于在实际检测问题中，正样本的数据量是大量的，很充足的，而含有异常信息的负样本则相对比较少，若将这样不均衡的数据集直接用于模型分类器训练，效果显然是不会很好的。因此需要通过数据增强来对扩充负样本的数据量。常用的数据增强方法包括图像的镜像、旋转、加入噪声、颜色扰动等。加入的噪声分别是椒盐噪声和高斯噪声，它们的参数随机。颜色扰动主要是利用随机数来对图像的亮度、对比度和饱和度进行综合调整。最后通过数据增强，得到包含正样本和负样本的轨道线路图像的数据集。然后，随机地将数据集中每一类的70％作为训练集，剩余30％作为测试集,具体数据集构成如表1所示。
表1轨道线路多目标病害数据集
Figure BDA0002382836130000111
步骤5、利用所述数据集对轨道线路图像的分类器进行训练，得到训练好的轨道线路图像的分类器。
基于SPD_BOVW(Spatial Pyramid
Decomposition and Bag-of-Visual-Word,空间金字塔分解和视觉词袋)模型与SVM(Support Vector Machine,支持向量机)的钢轨和扣件的多病害检测。
将训练集中每个轨道线路图像都进行Dense SIFT(Scale Invariant FeatureTransform,尺度不变特征变换)特征的提取，将提取到的每个Dense SIFT特征映射成视觉特征词汇，使用K-means聚类算法对这些视觉特征词汇进行聚类，合并词义相近的视觉词汇，当K-means聚类算法收敛之后，可以得到大小为n(n＞0)的视觉特征词典，该视觉特征词典构成了BOVW(Bag-of-Visual-Word，视觉特征词袋)模型，也就是说视觉特征词袋模型中有n个视觉特征词汇。根据得到的视觉特征词袋模型去统计训练集中每一张轨道线路图像中每个视觉特征词汇出现的频次，得到轨道线路图像的一个特征直方图，将特征直方图的每个分量串联起来就可以得到每一张轨道线路图像的视觉特征向量。
但是由于Dense SIFT特征之间缺乏空间位置信息，进而通过SPD(SpatialPyramidDecomposition，空间金字塔分解)的方法提取轨道线路图像中的全局信息，将扣件和钢轨的视觉特征单词的空间位置信息更加有效的融入视觉特征词袋模型中。
空间金字塔分解的方法是将图像依次划分为N+1(0，1，2，…，L)层的网络，逐层将图像细化为一系列的子区域，其中第n层表示将图像沿x和y方向分别划分为2n个大小相等的子区域，该层的图像则一共被分为4n个大小相等的图像子区域。对每一个子区域分别统计视觉特征词典中每个视觉特征词汇出现的频次，就可以得到每一个子区域基于视觉特征词汇的直方图，针对不同的划分层，将每一个子区域的视觉特征词汇直方图按顺序进行排列，就构成了该层基于视觉特征词汇的特征向量，最终每一张图片会由多个划分层所对应的综合特征向量来描述，这些综合特征向量不仅包括了图像的局部信息，还囊括了图像中的空间位置信息，非常丰富的对图像进行了描述。将每个层次的视觉特征词汇的综合特征向量进行综合，得到整个轨道线路图像的包括局部信息和空间位置信息的综合特征向量。
利用上述训练集中5个不同种类的轨道线路图像的综合特征向量和标签对SVM分类器进行训练，寻找出最合适的核函数和最优参数，得到轨道线路图像的分类器。然后，利用测试集数据对轨道线路图像的分类器进行扣件和钢轨图像的识别训练，可以达到96.36％的准确率，满足检测需求。本发明实施例提供的一种利用训练好的SVM分类器对测试集中五种不同类别病害的图像进行识别测试的结果的混淆矩阵如图7所示，混淆矩阵各指标如表2所示，各类别检测平均精度如表3所示。
表2各类别检测结果混淆矩阵指标
Figure BDA0002382836130000121
Figure BDA0002382836130000131
表3各类别平均精度
Figure BDA0002382836130000132
步骤6、利用上述训练好的轨道线路图像的分类器，对待分类的轨道线路图像进行扣件和钢轨病害识别。
综上所述，本发明实施例研究了轨道线路上钢轨和扣件区域的定位以及钢轨波磨病害和扣件损坏、缺失病害的检测识别问题，为轨道交通线路的定期维修保养提供决策依据，保障轨道交通的安全稳定运行。
本发明实施例的方法可在一定程度上能够实现钢轨表面的波磨病害以及扣件的缺失和损坏病害的自动识别检测，解决了传统人工检测中存在的一些问题，同时有效的克服了现存的钢轨和扣件病害自动检测设备检测速度和效率受到一定限制的弊端，本发明实施例可以准确有效地识别出钢轨表面的波磨病害以及扣件的缺失和损坏病害，检测效率明显提高，为轨道交通系统的病害在线实时检测系统的发展奠定了良好的基础。本系统能实现在线实时检测，识别速度快，检测效率高，同时准确率高，可靠性强。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种对轨道线路图像进行扣件和钢轨病害识别的方法，其特征在于，包括：
将轨道线路图像转变为灰度图像，对所述灰度图像中的扣件区域和钢轨区域进行定位；
根据所述灰度图像中的扣件区域和钢轨区域的实际情况和钢轨以及扣件病害的定义，对所述轨道线路原始图像进行类别标定，对分类后的一定数量的轨道线路原始图像进行数据增强处理，得到包含正样本和负样本的轨道线路图像的数据集；
利用所述数据集对轨道线路图像的分类器进行训练，得到训练好的轨道线路图像的分类器；
利用所述训练好的轨道线路图像的分类器对待识别病害的轨道线路图像进行扣件和钢轨病害识别。
2.根据权利要求1所述的方法，其特征在于，所述的将轨道线路原始图像转变为灰度图像，包括：
对待处理的轨道线路图像进行预处理，运用模板大小为3×3的中值滤波算子滤除轨道线路原始图像中的噪声后，再利用直方图均衡化对图像进行增强处理，将预处理后的轨道线路原始图像转变为灰度图像。
3.根据权利要求1所述的方法，其特征在于，所述的对所述灰度图像中的扣件区域和钢轨区域进行定位，包括：
计算灰度图像在垂直方向上投影统计值的差值，得到垂直统计差数组，将所述垂直统计差数组中的最大值出现的位置确定为钢轨的一个边缘位置，根据所述钢轨的一个边缘位置和钢轨宽度的经验值，在垂直统计差数组中寻找出钢轨的另一个边缘位置，根据钢轨的两个边缘位置定位所述灰度图像中的钢轨区域；
计算灰度图像在水平方向上投影统计值的差值，得到水平统计差数组，将所述水平统计差数组中的最大值出现的位置确定为轨枕的一个边缘位置，根据所述轨枕的一个边缘位置和轨枕宽度的经验值，在水平统计差数组中寻找出轨枕的另一个边缘位置，根据轨枕的两个边缘位置定位所述灰度图像中的轨枕区域；
利用小波变换方法对所述灰度图像中的扣件区域的垂直边缘信息进行定位，将扣件区域的垂直边缘信息与所述钢轨区域、轨枕区域相结合，得到所述灰度图像中的扣件区域。
4.根据权利要求3所述的方法，其特征在于，所述的利用小波变换方法对所述灰度图像中的扣件区域的垂直边缘信息进行定位，包括：
根据小波变换的二维分解公式和二维重构公式，对轨道线路图像进行小波变换处理，得到垂直细节系数逆变换结果图，滤除掉所述垂直细节系数逆变换结果图中的噪点信息；
随后使用一个垂直方向上的遍历算子模板，统计所述垂直细节系数逆变换结果图中模板匹配度的分布，在垂直细节系数逆变换结果图的左右两边寻找两个极大匹配度值，在两个极大匹配度值的分别画一条垂直的线，将两条垂直的线作为扣件区域的两个垂直边缘。
5.根据权利要求3所述的方法，其特征在于，所述的根据所述灰度图像中的扣件区域和钢轨区域的实际情况和钢轨以及扣件病害的定义，对所述轨道线路原始图像进行类别标定，对分类后的一定数量的轨道线路原始图像进行数据增强处理，得到包含正样本和负样本的轨道线路图像的数据集，包括：
根据采集到的轨道线路图像中的扣件区域的实际情况与钢轨和扣件病害的定义，将采集到并通过以上三个步骤处理过的轨道线路图像分为五类：钢轨完好、钢轨波磨、扣件完好、扣件损坏和扣件缺失；
对分类后的一定数量的轨道线路原始图像进行数据增强处理，得到包含正样本和负样本的轨道线路图像的数据集，将数据集中每个种类的轨道线路图像的70％作为训练集，剩余30％作为测试集。
6.根据权利要求5所述的方法，其特征在于，所述的利用所述数据集对轨道线路图像的分类器进行训练，得到训练好的轨道线路图像的分类器，包括：
将训练集中每个轨道线路图像都进行Dense SIFT特征的提取，将提取到的每个DenseSIFT特征映射成视觉特征词汇，使用K-means聚类算法对这些视觉特征词汇进行聚类，合并词义相近的视觉词汇，得到视觉特征词袋模型，统计训练集中每一张轨道线路图像中每个视觉特征词汇出现的频次，得到轨道线路图像的特征直方图，将特征直方图的每个分量串联起来得到每一张轨道线路图像的视觉特征向量；
基于所述轨道线路图像的视觉特征向量，通过空间金字塔分解SPD方法提取轨道线路图像中的全局信息，得到轨道线路图像的包括局部信息和空间位置信息的综合特征向量；
利用所述训练集中5个不同种类的轨道线路图像的综合特征向量和标签对支持向量机SVM分类器进行训练，得到训练好的分类器，将训练好的分类器用于所述测试集数据，对5个不同种类的轨道线路图像进行扣件和钢轨病害的识别，根据识别结果验证所述训练好的分类器。
7.根据权利要求6所述的方法，其特征在于，所述的基于所述轨道线路图像的视觉特征向量，通过空间金字塔分解SPD方法提取轨道线路图像中的全局信息，得到轨道线路图像的包括局部信息和空间位置信息的综合特征向量，包括：
将轨道线路图像依次划分为n+1层的网络，逐层将轨道线路图像细化为一系列的子区域，其中第n层表示将图像沿x和y方向分别划分为2n个大小相等的子区域，该层的图像则一共被分为4n个大小相等的图像子区域；
对每一个子区域分别统计视觉特征词袋模型中每个视觉特征词汇出现的频次，得到每一个子区域基于视觉特征词汇的直方图，针对不同的划分层，将每一个子区域的视觉特征词汇直方图按顺序进行排列，构成了该层基于视觉特征词汇的综合特征向量，将每个层次的视觉特征词汇的综合特征向量进行综合，得到整个轨道线路图像的包括局部信息和空间位置信息的综合特征向量。
CN202010088325.5A 2020-02-12 2020-02-12 对轨道线路图像进行扣件和钢轨病害识别的方法 Pending CN111311567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010088325.5A CN111311567A (zh) 2020-02-12 2020-02-12 对轨道线路图像进行扣件和钢轨病害识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010088325.5A CN111311567A (zh) 2020-02-12 2020-02-12 对轨道线路图像进行扣件和钢轨病害识别的方法

Publications (1)

Publication Number Publication Date
CN111311567A true CN111311567A (zh) 2020-06-19

Family

ID=71146998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010088325.5A Pending CN111311567A (zh) 2020-02-12 2020-02-12 对轨道线路图像进行扣件和钢轨病害识别的方法

Country Status (1)

Country Link
CN (1) CN111311567A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116658A (zh) * 2020-09-21 2020-12-22 北京世纪东方通讯设备有限公司 扣件定位方法、装置及可读存储介质
CN112215263A (zh) * 2020-09-23 2021-01-12 西南交通大学 基于深度卷积神经网络的钢轨波磨检测方法
CN112883997A (zh) * 2021-01-11 2021-06-01 武汉坤能轨道系统技术有限公司 一种轨道交通扣件检测系统及检测方法
CN113538360A (zh) * 2021-07-12 2021-10-22 哈尔滨理工大学 一种塑料杯表面缺陷检测系统
CN113591973A (zh) * 2021-07-29 2021-11-02 中国铁路上海局集团有限公司科学技术研究所 一种轨道板外观状态变化智能比对方法
CN114878691A (zh) * 2022-07-08 2022-08-09 西南交通大学 一种用于钢轨波磨智能检测多分类的数据增强方法
CN116109638A (zh) * 2023-04-13 2023-05-12 中铁四局集团有限公司 一种钢轨折断检测方法及系统
CN116152237A (zh) * 2023-04-18 2023-05-23 中铁四局集团有限公司 一种钢轨剥落掉块检测方法及系统
CN116645371A (zh) * 2023-07-27 2023-08-25 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN117011212A (zh) * 2022-06-21 2023-11-07 南通市科睿轨道科技有限公司 一种轨道工务段紧固件连接状态监测分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680095A (zh) * 2017-10-25 2018-02-09 哈尔滨理工大学 基于模板匹配与光流法的无人机图像的输电线路异物检测
CN108573213A (zh) * 2018-03-12 2018-09-25 北京交通大学 一种轨道扣件缺损状态自动检测系统及方法
CN108596872A (zh) * 2018-03-08 2018-09-28 北京交通大学 基于Gabor小波和SVM的钢轨病害的检测方法
CN109754422A (zh) * 2018-10-30 2019-05-14 兰州交通大学 基于灰度突变的扣件区域定位方法
CN110533640A (zh) * 2019-08-15 2019-12-03 北京交通大学 基于改进YOLOv3网络模型的轨道线路病害辨识方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680095A (zh) * 2017-10-25 2018-02-09 哈尔滨理工大学 基于模板匹配与光流法的无人机图像的输电线路异物检测
CN108596872A (zh) * 2018-03-08 2018-09-28 北京交通大学 基于Gabor小波和SVM的钢轨病害的检测方法
CN108573213A (zh) * 2018-03-12 2018-09-25 北京交通大学 一种轨道扣件缺损状态自动检测系统及方法
CN109754422A (zh) * 2018-10-30 2019-05-14 兰州交通大学 基于灰度突变的扣件区域定位方法
CN110533640A (zh) * 2019-08-15 2019-12-03 北京交通大学 基于改进YOLOv3网络模型的轨道线路病害辨识方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116658A (zh) * 2020-09-21 2020-12-22 北京世纪东方通讯设备有限公司 扣件定位方法、装置及可读存储介质
CN112116658B (zh) * 2020-09-21 2023-11-21 北京世纪东方智汇科技股份有限公司 扣件定位方法、装置及可读存储介质
CN112215263A (zh) * 2020-09-23 2021-01-12 西南交通大学 基于深度卷积神经网络的钢轨波磨检测方法
CN112215263B (zh) * 2020-09-23 2022-08-02 西南交通大学 基于深度卷积神经网络的钢轨波磨检测方法
CN112883997A (zh) * 2021-01-11 2021-06-01 武汉坤能轨道系统技术有限公司 一种轨道交通扣件检测系统及检测方法
CN113538360A (zh) * 2021-07-12 2021-10-22 哈尔滨理工大学 一种塑料杯表面缺陷检测系统
CN113591973B (zh) * 2021-07-29 2023-08-01 中国铁路上海局集团有限公司科学技术研究所 一种轨道板外观状态变化智能比对方法
CN113591973A (zh) * 2021-07-29 2021-11-02 中国铁路上海局集团有限公司科学技术研究所 一种轨道板外观状态变化智能比对方法
CN117011212A (zh) * 2022-06-21 2023-11-07 南通市科睿轨道科技有限公司 一种轨道工务段紧固件连接状态监测分析系统
CN117011212B (zh) * 2022-06-21 2024-02-27 南通市科睿轨道科技有限公司 一种轨道工务段紧固件连接状态监测分析系统
CN114878691B (zh) * 2022-07-08 2022-10-25 西南交通大学 一种用于钢轨波磨智能检测多分类的数据增强方法
CN114878691A (zh) * 2022-07-08 2022-08-09 西南交通大学 一种用于钢轨波磨智能检测多分类的数据增强方法
CN116109638A (zh) * 2023-04-13 2023-05-12 中铁四局集团有限公司 一种钢轨折断检测方法及系统
CN116109638B (zh) * 2023-04-13 2023-07-04 中铁四局集团有限公司 一种钢轨折断检测方法及系统
CN116152237A (zh) * 2023-04-18 2023-05-23 中铁四局集团有限公司 一种钢轨剥落掉块检测方法及系统
CN116152237B (zh) * 2023-04-18 2023-07-04 中铁四局集团有限公司 一种钢轨剥落掉块检测方法及系统
CN116645371A (zh) * 2023-07-27 2023-08-25 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN116645371B (zh) * 2023-07-27 2023-10-17 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN111311567A (zh) 对轨道线路图像进行扣件和钢轨病害识别的方法
CN112861720B (zh) 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN110378869B (zh) 一种样本自动标注的钢轨扣件异常检测方法
Cord et al. Automatic road defect detection by textural pattern recognition based on AdaBoost
CN111402209B (zh) 一种基于U-Net的高速铁路钢轨损伤检测方法
CN106683076B (zh) 基于纹理特征聚类的机车轮对踏面损伤检测的方法
CN109785301B (zh) 一种基于图像处理的钢轨波磨周期评估方法
CN103048329B (zh) 一种基于主动轮廓模型的路面裂缝检测方法
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN110047070B (zh) 一种轨道磨损程度的识别方法及系统
CN109444169A (zh) 一种轴承缺陷检测方法及系统
CN110782443B (zh) 一种铁路轨道缺陷检测方法和系统
CN112419289B (zh) 一种城市地铁轨道扣件缺陷智能检测方法
Zhao et al. Image-based comprehensive maintenance and inspection method for bridges using deep learning
CN111079748A (zh) 铁路货车滚轴承甩油故障检测方法
CN113689392A (zh) 一种铁路扣件缺陷检测方法和装置
CN112907597A (zh) 基于深度卷积神经网络的铁路轨道线检测方法
CN111964763A (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
CN116503336A (zh) 一种基于深度学习的路面裂缝检测方法
CN111242891A (zh) 一种钢轨表面缺陷识别分类方法
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN114067296A (zh) 钢轨表面缺陷识别方法及装置
CN112037182B (zh) 基于时序图像的机车走行部故障检测方法、装置及存储介质
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN110728214B (zh) 一种基于尺度匹配的弱小人物目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination