CN113781480B - 一种基于机器视觉的钢轨表面检测方法和系统 - Google Patents

一种基于机器视觉的钢轨表面检测方法和系统 Download PDF

Info

Publication number
CN113781480B
CN113781480B CN202111323001.6A CN202111323001A CN113781480B CN 113781480 B CN113781480 B CN 113781480B CN 202111323001 A CN202111323001 A CN 202111323001A CN 113781480 B CN113781480 B CN 113781480B
Authority
CN
China
Prior art keywords
key frame
steel rail
image
train
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111323001.6A
Other languages
English (en)
Other versions
CN113781480A (zh
Inventor
田文科
钱钧
张经纬
戚厚洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Future Networks Innovation Co ltd
Original Assignee
Nanjing Future Networks Innovation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Future Networks Innovation Co ltd filed Critical Nanjing Future Networks Innovation Co ltd
Priority to CN202111323001.6A priority Critical patent/CN113781480B/zh
Publication of CN113781480A publication Critical patent/CN113781480A/zh
Application granted granted Critical
Publication of CN113781480B publication Critical patent/CN113781480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本申请公开了一种基于机器视觉的钢轨表面检测方法和系统，该方法包括：接收高速摄像机拍摄得到的钢轨的视频；将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息；将每一张关键帧图像均输入到第一机器学习模型中；将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中；获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题。通过本申请解决了现有技术中的钢轨表面检测会影响列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。

Description

一种基于机器视觉的钢轨表面检测方法和系统
技术领域
本申请涉及到图像处理领域，具体而言，涉及一种基于机器视觉的钢轨表面检测方法和系统。
背景技术
列车在运行过程中，会在钢轨表面产生疤痕、裂缝、表面擦伤、剥离和褶皱等缺陷进而有可能成为威胁铁路运输安全的隐患。
目前钢轨内部缺陷出现的几率已经减少很多，然而钢轨表面缺陷导致钢轨断裂的情况却越来越常见。因此，对铁路轨道进行缺陷检测是保证铁路运输安全的重要手段。
轨道表面缺陷的检测一直依赖人工巡检，其效率低下，检测结果又受巡检人员的经验、责任心、天气情况等因素的影响，另外巡检人员的人身安全也是需要关注的问题。随着列车速度的提高和轴重的增加，使钢轨伤损发展速度相应加快，检测周期亦有缩短的趋势。加之行车密度大，利用人工检测已经不适应铁路的发展情况。
目前对钢轨表面缺陷的检测方法主要有：漏磁检测法、电涡流检测法等。
漏磁检测法是对钢轨进行局部磁化，当钢轨表面出现裂纹或坑点等缺陷时，形成缺陷表面局部区域的漏磁场，漏磁信号随缺陷几何形状的不同而变化，采用磁传感器组成的检测电路来检测漏磁场的变化，根据测得的漏磁信号就可判别缺陷情况。但是，这种方法不能检测小的（<4mm）缺陷，而且随着速度的提高，方法的性能急剧下降，因此目前最高速度只达35km/h。
电涡流检测法，是载有交变电流的检测线圈靠近钢轨，由于线圈磁场的作用，会感生出涡流。涡流的大小、相位及流动形式受钢轨导电性能的影响，而且涡流产生的反作用磁场又使检测线圈的阻抗发生变化。因此通过测定检测线圈阻抗的变化可以判断被检钢轨中有无缺陷。电涡流方法不受轨道表面的油污等杂质的影响，探头不必接触试件，但是容易受传感器上下波动的影响，要求传感器距离钢轨表面不超过2mm。
上述两种检测方法均需要单独的检测设备来进行检测，现有这些检测方法均会影响列车的正常运行。
发明内容
本申请实施例提供了一种基于机器视觉的钢轨表面检测方法和系统，以至少解决现有技术中的钢轨表面检测会影响列车正常运行所导致的问题。
根据本申请的一个方面，提供了一种基于机器视觉的钢轨表面检测方法，包括：接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷。
进一步地，所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。
进一步地，还包括：在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上。
进一步地，所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息。
进一步地，将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上包括：获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；将加密后的所述压缩包发送至预先配置的联系方式上。
根据本申请的另一个方面，还提供了一种基于机器视觉的钢轨表面检测系统，包括：接收模块，用于接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；生成模块，用于将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；第一输入模块，用于将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；第二输入模块，用于将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；设置模块，用于获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷。
进一步地，所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。
进一步地，还包括：获取模块，用于在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；发送模块，用于将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上。
进一步地，所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息。
进一步地，所述发送模块用于：获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；将加密后的所述压缩包发送至预先配置的联系方式上。
在本申请实施例中，采用了接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷。通过本申请解决了现有技术中的钢轨表面检测会影响列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于机器视觉的钢轨表面检测方法的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例中提供了一种基于机器视觉的钢轨表面检测方法，图1是根据本申请实施例的基于机器视觉的钢轨表面检测方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；
例如，所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。这样可以得到两个站之间的视频，从而容易对视频中的钢轨进行定位。
步骤S104，将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；
步骤S106，将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；
第一训练数据的生成方法有很多，例如，对每一张带有背景的钢轨的照片，钢轨区域具有固定的宽度W和长度L，且必定垂直于轨道图像的X轴。基于此种特性，利用LSD(LineSegment Detector，直线段检测算法)检测出轨道图像中的多条直线段，然后，两两计算垂直于该轨道图像X轴的直线段的X坐标差值，如果X坐标差值小于预设值θ，则进行合并，最后，按照直线段长度对合并后的多条直线段正序排列，找到X坐标差值在预设范围区间的两条最长直线段，即为钢轨区域的两侧边界，最后，根据所述两侧边界，从该张带有背景的钢轨的照片中分割提取钢轨图像。
步骤S108，将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；
在一个可选的实施方式中，人工标识的训练数据的量不足够进行机器学习模型的训练，则可以使用其他方式来自动生成用于训练第二机器学习模型的训练数据。例如，使用漏磁检测法或者电涡流检测法在实验室中对脱离轨道的钢轨进行检测，并生成标签信息，该标签信息用于记录该钢轨是否存在表面缺陷以及存在表面缺陷的位置。将该钢轨的图像进行拍摄之后输入到第一机器学习模型中，将所述第一机器学习模型输出的图像和使用漏磁检测法或者电涡流检测法检测得到的标签信息作为一组第二训练数据。
或者还可以对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；构建多层级特征融合的钢轨表面缺陷检测网络模型，多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，目标定位边界框损失函数用于训练模型定位缺陷区域，多类别分类损失函数用于训练模型识别缺陷类别；根据钢轨表面缺陷数据集训练模型；在采集到多张钢轨图像后，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果。
例如，
步骤S110，获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷。
通过上述步骤解决了现有技术中的钢轨表面检测会影响列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。
在本实施例中，还可以在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上。
可以使用如下方式来生成压缩包：获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；将加密后的所述压缩包发送至预先配置的联系方式上。
为了便于进行定位，所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息。
根据所述视频的拍摄起始时间和结束时间获取所述列车的停靠站，根据所述停靠站可以确定所述视频所拍摄的视频的起始站和终点站，根据所述关键帧图像的时间信息确定拍摄该关键帧图像时所述列车所在的位置，根据所述列车所在的位置确定所述关键帧图像中钢轨所在的位置，该位置被称为第一位置。作为另一个可选的实施方式，还可以根据列车记录运行的时间与北斗定位数据的对应关系，查找所述关键帧图像的时间信息对应的位置信息，该位置信息作为所述关键帧图像中钢轨所在的位置，该位置可以被称为第二位置。
将所述第一位置和所述第二位置进行重叠，所述第一位置和所述第二位置重叠的部分为所述钢轨所在的位置，这样可以减小钢轨的搜索范围。
接收到所述压缩包的用户，对所述压缩包中的检测有问题的关键帧的图像进行人工复核，在确定关键帧图像中的钢轨确实存在问题之后，发送指示信息，其中，所述指示信息用于指示该钢轨的表面缺陷的严重程度，其中，所述严重程度可以分为多个等级；接收到所述指示信息之后，如果所述严重程度超过预定等级，则发送告警信息，其中，所述告警信息用于指示列车暂停通过表面缺陷严重程度超过预定等级的关键帧所在图像的地理位置；在所述严重程度小于或等于所述预定等级的情况下，向维护人员发送维护信息。
在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
上述程序可以运行在处理器中，或者也可以存储在存储器中（或称为计算机可读介质），计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
该本实施例中就提供了这样的一种装置或系统。该系统被称为基于机器视觉的钢轨表面检测系统，包括：接收模块，用于接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；生成模块，用于将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；第一输入模块，用于将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；第二输入模块，用于将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；设置模块，用于获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷。
该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。
例如，还包括：获取模块，用于在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；发送模块，用于将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上。
又例如，所述发送模块用于获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；将加密后的所述压缩包发送至预先配置的联系方式上。
通过本实施例解决了现有技术中的钢轨表面检测会影响列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种基于机器视觉的钢轨表面检测方法，其特征在于，包括：
接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在列车的头部，并随所述列车运行对所述钢轨进行拍摄；
将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；
将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；
将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；
获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷；
还包括：在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上，所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息；其中，根据所述视频的拍摄起始时间和结束时间获取所述列车的停靠站，根据所述停靠站确定所述视频所拍摄的视频的起始站和终点站，根据所述关键帧图像的时间信息确定拍摄该关键帧图像时所述列车所在的位置，根据所述列车所在的位置确定所述关键帧图像中钢轨所在的位置，该位置被称为第一位置；根据列车记录运行的时间与北斗定位数据的对应关系，查找所述关键帧图像的时间信息对应的位置信息，该位置信息作为所述关键帧图像中钢轨所在的位置，该位置被称为第二位置；将所述第一位置和所述第二位置进行重叠，所述第一位置和所述第二位置重叠的部分为所述钢轨所在的位置。
2.根据权利要求1所述的方法，其特征在于，
所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。
3.根据权利要求1所述的方法，其特征在于，将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上包括：
获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；
将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；
将加密后的所述压缩包发送至预先配置的联系方式上。
4.一种基于机器视觉的钢轨表面检测系统，其特征在于，包括：
接收模块，用于接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在列车的头部，并随所述列车运行对所述钢轨进行拍摄；
生成模块，用于将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；
第一输入模块，用于将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；
第二输入模块，用于将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；
设置模块，用于获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷；
获取模块，用于在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；发送模块，用于将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上；所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息；其中，根据所述视频的拍摄起始时间和结束时间获取所述列车的停靠站，根据所述停靠站确定所述视频所拍摄的视频的起始站和终点站，根据所述关键帧图像的时间信息确定拍摄该关键帧图像时所述列车所在的位置，根据所述列车所在的位置确定所述关键帧图像中钢轨所在的位置，该位置被称为第一位置；根据列车记录运行的时间与北斗定位数据的对应关系，查找所述关键帧图像的时间信息对应的位置信息，该位置信息作为所述关键帧图像中钢轨所在的位置，该位置被称为第二位置；将所述第一位置和所述第二位置进行重叠，所述第一位置和所述第二位置重叠的部分为所述钢轨所在的位置。
5.根据权利要求4所述的系统，其特征在于，
所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。
6.根据权利要求4所述的系统，其特征在于，所述发送模块用于：
获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；
将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；
将加密后的所述压缩包发送至预先配置的联系方式上。
CN202111323001.6A 2021-11-10 2021-11-10 一种基于机器视觉的钢轨表面检测方法和系统 Active CN113781480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111323001.6A CN113781480B (zh) 2021-11-10 2021-11-10 一种基于机器视觉的钢轨表面检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111323001.6A CN113781480B (zh) 2021-11-10 2021-11-10 一种基于机器视觉的钢轨表面检测方法和系统

Publications (2)

Publication Number Publication Date
CN113781480A CN113781480A (zh) 2021-12-10
CN113781480B true CN113781480B (zh) 2022-02-15

Family

ID=78956958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111323001.6A Active CN113781480B (zh) 2021-11-10 2021-11-10 一种基于机器视觉的钢轨表面检测方法和系统

Country Status (1)

Country Link
CN (1) CN113781480B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310340B2 (en) * 2012-05-23 2016-04-12 International Electronic Machines Corp. Resonant signal analysis-based inspection of rail components
CN109064462A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习的钢轨表面缺陷检测方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN111598846B (zh) * 2020-04-26 2024-01-05 鲲鹏通讯(昆山)有限公司 一种基于yolo的隧道内铁轨缺陷检测方法

Also Published As

Publication number Publication date
CN113781480A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
US11361423B2 (en) Artificial intelligence-based process and system for visual inspection of infrastructure
CN105372712B (zh) 车辆检查方法和系统
EP2697738A1 (en) Method and system of rail component detection using vision technology
CN109283182A (zh) 一种电池焊点缺陷的检测方法、装置及系统
CN111489339A (zh) 高速铁路定位器螺栓备母缺陷的检测方法
CN113758932B (zh) 一种基于深度学习的锂电池膈膜缺陷视觉检测方法
CN103279765A (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN109462999B (zh) 通过数据平衡基于学习的视觉检查方法以及利用其的视觉检查装置
KR20110124090A (ko) 편광 필름 원반의 품질 판정 시스템 및 방법
CN110991447B (zh) 基于深度学习的列车车号精确定位与识别方法
CN108664997A (zh) 基于级联Faster R-CNN的高铁接触网等电位线不良状态检测方法
CN103606221A (zh) 清分机故障自动诊断方法以及装置
CN116030016A (zh) 产品图像缺陷检测方法、装置、电子设备及存储介质
CN113781480B (zh) 一种基于机器视觉的钢轨表面检测方法和系统
Xu et al. Bearing Defect Detection with Unsupervised Neural Networks
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
Kumar et al. A survey on crack detection technique in railway track
Li et al. Rail surface defect detection based on deep learning
JP2009075034A (ja) 表面欠陥検査方法及び表面欠陥検査装置
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和系统
CN114065700A (zh) 图纸检测项提取方法、控制器以及存储介质
CN114882207A (zh) 图像生成方法、模型训练方法、检测方法、装置及系统
CN113971816A (zh) 一种识别规范穿戴工作服的检测模型的选择方法和装置
CN114998286A (zh) 一种列车的车轮踏面缺陷检测方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant