CN112967252B - 一种轨道车辆机感吊架组装螺栓丢失检测方法 - Google Patents

一种轨道车辆机感吊架组装螺栓丢失检测方法 Download PDF

Info

Publication number
CN112967252B
CN112967252B CN202110246001.4A CN202110246001A CN112967252B CN 112967252 B CN112967252 B CN 112967252B CN 202110246001 A CN202110246001 A CN 202110246001A CN 112967252 B CN112967252 B CN 112967252B
Authority
CN
China
Prior art keywords
image
data set
training
hanger
bolt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110246001.4A
Other languages
English (en)
Other versions
CN112967252A (zh
Inventor
孙晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202110246001.4A priority Critical patent/CN112967252B/zh
Publication of CN112967252A publication Critical patent/CN112967252A/zh
Application granted granted Critical
Publication of CN112967252B publication Critical patent/CN112967252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种轨道车辆机感吊架组装螺栓丢失检测方法，属于轨道车辆检测技术领域，本发明为解决人工现场查看机感吊架线圈的组装螺栓是否丢失存在高成本、低效率及误报漏报的问题。本发明方法包括以下步骤：步骤一、以机感吊架为目标，连续采集多幅过车图像，获得连续帧过车图像，并采用SSD检测网络获取机感吊架U型槽目标区域子图，然后剔除模糊图像；步骤二、将多幅清晰的机感吊架U型槽目标区域子图按时间序列输入至故障目标分割模型中，输出用于表征组装螺栓信息的机感吊架U型槽预测图像；步骤三、根据预测图像统计组装螺栓的螺栓、螺栓开口销的数量，以判断组装螺栓是否丢失及丢失故障类型。本发明用于检测轨道车辆机感吊架的组装螺栓是否丢失。

Description

一种轨道车辆机感吊架组装螺栓丢失检测方法
技术领域
本发明属于轨道车辆检测技术领域。
背景技术
长期以来，电务段采用人工现场查看货运列车进行检查，一直存在高成本、低效率等问题。同时受部件安装位置和天气因素影响，效率低下，会出现遗漏部件、误报等情况，难以保障准确率。
机感吊架线圈即主体机车信号机车传感器为适应现有电化、非电化区段和各种机车型号的通用主体机车信号设备,接收各种制式的地面信号设备发送的信息而研制。技术原理是通过电磁感应接收轨道电路钢轨中传输的电流信号，并转换成频率特征相同的电压信号，供给机车信号设备和自动停车装置使用，从而为列车速度控制提供安全可靠的控制数据。机感吊架U型槽是固定机感吊架线圈的重要部件，一般采用组装螺栓进行固定，此处的组装螺栓是指螺栓、螺母配合紧固后，还配套有螺栓开口销。机感吊架线圈是保证列车速度的安全装置中重要的部分，能保证列车高速运转下安全运行，因此检测固定机感吊架线圈的组装螺栓是否丢失具有重要意义。
发明内容
本发明目的是为了解决人工现场查看机感吊架线圈的组装螺栓是否丢失存在高成本、低效率及误报漏报的问题，提供了一种轨道车辆机感吊架组装螺栓丢失检测方法。通过对行驶中的货车进行面阵相机拍摄，结合图像处理和深度学习的知识。实现故障自动识别及报警，人工只需对报警结果进行确认，最终实现从人检作业向机检作业的转变，有效节约单位的人力成本，提高作业质量和作业效率。
本发明所述一种轨道车辆机感吊架组装螺栓丢失检测方法，该方法包括以下步骤：
步骤一、以机感吊架为目标，连续采集多幅过车图像，获得连续帧过车图像，并采用SSD检测网络获取机感吊架U型槽目标区域子图，然后剔除模糊图像；
步骤二、将多幅清晰的机感吊架U型槽目标区域子图按时间序列输入至故障目标分割模型中，输出用于表征组装螺栓信息的机感吊架U型槽预测图像；
步骤三、根据预测图像统计组装螺栓的螺栓、螺栓开口销的数量，以判断组装螺栓是否丢失及丢失故障类型。
优选地，故障目标分割模型包括卷积神经网络CNN编码器、连接卷积长短期记忆人工神经网络ConvLSTM和卷积神经网络CNN解码器，故障目标分割模型的构建过程包括：
步骤二一、建立训练数据集；向编码器成组输出图像，每组图像为按时间序列排序的n幅连续图像；
步骤二二、以Resnet网络作为基准网络构建卷积神经网络CNN编码器，所述卷积神经网络CNN编码器将按时间序列输入的n幅连续图像对应生成n幅特征图；
卷积神经网络CNN编码器输入连续n幅图像Xt＝1,Xt＝2,…,Xt＝n，输出n个特征图Enct＝1,Enct＝2,…,Enct＝n；
步骤二三、构建连接卷积长短期记忆人工神经网络ConvLSTM，将卷积神经网络CNN编码器输出的连续多幅特征图组合，生成带有时序的特征图链，并输入至卷积神经网络CNN解码器中；
步骤二四、构建与卷积神经网络CNN编码器匹配的卷积神经网络CNN解码器，将带有时序的特征图链分割输出用于表征组装螺栓信息的机感吊架U型槽预测图像；
步骤二五、利用训练数据集对模型进行训练。
优选地，建立训练数据集的过程包括以下步骤：
步骤A1、采集大量以机感吊架为目标的过车图像；
步骤A2、建立原始图像数据集，具体为：
采用SSD检测网络对过车图像进行训练，对机感吊架U型槽和机感吊架所在区域进行标记，通过SSD检测网络训练获取机感吊架U型槽目标区域子图，进而建立机感吊架U型槽的原始图像数据集；
步骤A3、剔除模糊图像，具体为：
对原始数据集中的每幅机感吊架U型槽目标区域子图进行边缘梯度检测，采用拉普拉斯函数计算图像的边缘梯度值，当边缘梯度值大于设定阈值时认为该幅图像为清晰图像，否则为模糊图像加以剔除；
步骤A4、将步骤A3剔除模糊图像后的数据集分为两部分：一部分不作分割图像生成掩码处理的数据作为伪标签数据集；另一部分按步骤A5和A6生成有标签数据集，伪标签数据集和训练好的有标签数据集共同作为训练数据集；
步骤A5、对每幅清晰的图像进行像素级标记生成掩码图像，具体为：
对每幅清晰的图像进行像素级标记，对机感吊架U型槽和机感吊架的具体轮廊进行标记，获取与原始图像相对应的标记掩码图像，所述掩码图像仅保留组装螺栓图像信息；
步骤A6、数据扩增，形成有标签数据集，具体为：
采用对比度增强、直方图均衡化、图像缩放或模糊处理图像处理方式对步骤A3的多幅清晰图像进行数据扩增操作，扩增后形成有标签数据集。
优选地，步骤二五利用训练数据集对模型进行训练的过程为：
步骤B1、利用有标签数据集训练故障目标分割模型，具体为：
从有标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至故障目标分割模型中，根据损失权重，控制模型的迭代收敛，根据有标签数据集的多组数据训练生成一代故障目标分割模型；
步骤B2、将伪标签数据集输入至一代故障目标分割模型中进行训练，具体为：
从伪标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至一代故障目标分割模型中，根据损失权重，控制模型的迭代收敛，根据伪标签数据集的多组数据训练生成二代故障目标分割模型；
步骤B3、将伪标签数据集重新输入至二代故障目标分割模型中进行训练更新模型，具体为：
从伪标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至二代故障目标分割模型中，控制损失权重≤0.3时模型迭代收敛，根据伪标签数据集的多组数据训练生成三代故障目标分割模型；
步骤B4、将训练数据集的所有数据输入至三代故障目标分割模型中进行训练，具体为：
从训练数据集取按时间序列排序的n幅连续图像作为一组数据输入至三代故障目标分割模型中，根据损失权重，控制模型的迭代收敛，根据训练数据集数据训练生成最终的故障目标分割模型。
优选地，损失权重θ根据损失函数获取：
训练数据集总损失Loss＝Loss真实数据+Loss伪标签
Loss真实数据表示有标签数据集的损失，
Figure BDA0002964098780000041
Loss伪标签表示伪标签数据集的损失，
Figure BDA0002964098780000042
其中：
ωj表示有标签数据集权重，ωj(x)＝1-E(x)Tλ(fj)(1-yj)；
ωk表示伪标签数据集权重，ωk＝1-ωj；
E(x)表示为x像素位置的系数，取值为二值0或1，
Figure BDA0002964098780000043
Tλ(fj)表示为阈值λ的函数，取值为二值0或者1，
Figure BDA0002964098780000044
Figure BDA0002964098780000045
其中：x为像素位置，j为{1，...，K}是每个像素的真实标签，K为标签类别，K＝1表示背景，K＝2表示螺栓，K＝3表示螺栓开口销，K＝4表示螺母；λ为第j类标签的使用频率阈值，fj为第j类标签的使用频率，Nj为第j类标签的图片数，N为训练数据集的总图片数，yj为当前像素在对应的有标签数据集生成的掩码图像中的真值；
k为{1，...，K}是每个像素的伪标签；
有标签数据集损失函数
Figure BDA0002964098780000046
其中zj(x)表示有标签数据集图像的像素在位置x为第j类标签的概率值；
伪标签数据集损失函数
Figure BDA0002964098780000051
其中zk(x)表示伪标签数据集图像的像素在位置x为第j类标签的概率值。
优选地，步骤一的具体过程为：
采集多幅连续帧以机感吊架为目标的过车图像，采用SSD检测网络对过车图像进行训练，对机感吊架U型槽和机感吊架所在区域进行定位，通过SSD检测网络训练获取机感吊架U型槽目标区域子图；
对每幅机感吊架U型槽目标区域子图进行边缘梯度检测，采用拉普拉斯函数计算图像的边缘梯度值，当边缘梯度值大于设定阈值时认为该幅图像为清晰图像，否则为模糊图像加以剔除。
优选地，步骤三的具体过程为：
对预测图像中的螺栓、螺栓开口销的数量进行统计，根据统计数量进行以下判断：
若螺栓、螺栓开口销的数量都与预设数量相等，表征用于固定机感吊架的组装螺栓没有丢失；
若螺栓的数量与预设数量相等，但螺栓开口销的数量少于预设数量，表征用于固定机感吊架的组装螺栓中有丢失，且故障类型为螺栓开口销丢失；
若螺栓、螺栓开口销的数量都少于预设数量，表征用于固定机感吊架的组装螺栓中有丢失且故障类型为螺栓和螺栓开口销都丢失。
优选地，还包括以下上传报警平台步骤：
根据故障类型生成故障码，并上传至报警平台。
优选地，还包括报警平台监测步骤：检查采集的图像是否完整，若连续5趟过车图像不完整，则发出警告。
优选地，还包括服务器故障检测步骤：统计历史过车频次信息和上传报警信息，如果超过4小时没有过车信息，检查是否服务器由于断电或者服务器故障。
本发明的有益效果：
1、本发明提出的改进的分割方法结合了卷积神经网络(Convolutional NeuralNetworks,CNN)和卷积长短期记忆人工神经网络(Convolutional Long-Short TermMemory,ConvLSTM)，创新的加入了时序信息，利用了当前分割场景的多张拍摄目标特性，比传统的单张图像的CNN的分割网络效果更好。通过CNN和卷积LSTM结合，可以将输入图像抽象为较小尺寸的特征图，在连续帧上获得的这些特征图保留了时间序列的属性。
2、本发明先用SSD(Single Shot MultiBox Detector，多框预测检测器)检测目标，然后采用图像算法找出不模糊的多张连续图像，采用CNN和卷积LSTM的分割网络判断是否机感吊架U型槽螺栓丢失和螺栓开口销丢失，借助多张图像获得丰富的信息，在具有挑战性的条件下获得可靠的机感线圈U型槽分割图。
3、加入伪标签进入训练主要有三点益处，第一，能充分利用数据的多样性，第二，能减少人工标注的精力和时间，第三能筛选人工标注过程的遗漏标注，对模型预测的结果与有标签训练集中真值没有重合的伪标签目标在训练时采取忽略的做法，防止数据标注遗漏而将真实目标作为背景来训练了，提升整体训练精度，
4、根据现有人工标注标签和伪标签数据集，在损失函数上分别计算损失和设置阈值的伪标签损失，并且在损失函数中采用类别加权分类，解决开口销这一类细长目标所占权重较小的问题，最后提升模型的精度。
5、面阵相机拍摄的机感线圈U型槽螺栓和螺栓开口销会出现如重阴影，角度遮挡和模糊，单个图像中的信息不足以支持可靠的分割，采用连续多张图像作为输入，弥补了采用随机单张图像判断开口销丢失产生的误报，随机单张图像一般开口销角度不好，误报警较多的问题。
6、为了识别故障的稳定性，加入报警观测功能，实时监测程序报警情况。
附图说明
图1是本发明所述轨道车辆机感吊架组装螺栓丢失检测方法的流程图；
图2是采集的以机感吊架U型槽为目标的过车图像，其中实线框为机感吊架U型槽，虚线框为机感吊架；
图3是检测截取的机感吊架U型槽目标区域子图；
图4是机感吊架U型槽装置预测图；
图5是本发明检测识别流程图；
图6是SSD检测网络示意图；
图7是本发明所述轨道车辆机感吊架组装螺栓丢失检测方法的原理框图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施例之间或实施例包括的特征之间可以相互组合。
具体实施方式一：下面结合图1至图7说明本实施方式，本实施方式所述一种轨道车辆机感吊架组装螺栓丢失检测方法，该方法包括以下步骤：
步骤一、以机感吊架为目标，连续采集多幅过车图像，获得连续帧过车图像，并采用SSD检测网络获取机感吊架U型槽目标区域子图，然后剔除模糊图像；
获取的是一组图像，是按时间序列排序的多幅图像。
步骤二、将多幅清晰的机感吊架U型槽目标区域子图按时间序列输入至故障目标分割模型中，输出用于表征组装螺栓信息的机感吊架U型槽预测图像；
一组连续帧图像经故障目标分割模型处理后输出一幅机感吊架U型槽预测图像，参见图4所示，输出的机感吊架U型槽预测图像是一种掩码图像，只保留组装螺栓信息，即只能看见螺栓、螺母、螺栓开口销部件，其它信息都被隐藏了。
步骤三、根据预测图像统计组装螺栓的螺栓、螺栓开口销的数量，以判断组装螺栓是否丢失及丢失故障类型。
根据模型输出的预测图像很容易统计出螺栓、螺栓开口销的数量，进而判断其是否丢失及丢失故障类型。
机感吊架U型槽是列车安全装置中重要的部分，能保证列车高速运转下安全运行，对货车进行自动化故障检测具有重要意义，机感吊架U型槽螺栓丢失和开口销丢失故障通过分割出机感吊架U型槽螺栓和开口销等部件，进一步判断故障形态。传统的分割方法中，容易受到噪声的干扰，容易过分割，且多张连续图像无法快速判断哪一张是有效的原始图像，有效原始图像是指图像角度较好，没有模糊的图像。所以，采用改进的加入长短期记忆网络的目标分割方法，将开口销分割建模为一个时间序列问题，并在多个连续图像中检测开口销，而不仅仅是在一个当前图像中，借助更丰富的信息，所提出的CNN结合LSTM方法可以在具有挑战性的条件下获得可靠的开口销检测性能，用来解决模糊的细长目标问题。
具体实施方式二：本实施方式对实施方式一作进一步说明，故障目标分割模型包括卷积神经网络CNN编码器、连接卷积长短期记忆人工神经网络ConvLSTM和卷积神经网络CNN解码器，故障目标分割模型的构建过程包括：
步骤二一、建立训练数据集；向编码器成组输出图像，每组图像为按时间序列排序的n幅连续图像；
步骤二二、以Resnet网络作为基准网络构建卷积神经网络CNN编码器，所述卷积神经网络CNN编码器将按时间序列输入的n幅连续图像对应生成n幅特征图；
卷积神经网络CNN编码器输入连续n幅图像Xt＝1,Xt＝2,…,Xt＝n，输出n个特征图Enct＝1,Enct＝2,…,Enct＝n；
步骤二三、构建连接卷积长短期记忆人工神经网络ConvLSTM，将卷积神经网络CNN编码器输出的连续多幅特征图组合，生成带有时序的特征图链，并输入至卷积神经网络CNN解码器中；
步骤二四、构建与卷积神经网络CNN编码器匹配的卷积神经网络CNN解码器，将带有时序的特征图链分割输出用于表征组装螺栓信息的机感吊架U型槽预测图像；
步骤二五、利用训练数据集对模型进行训练。
故障目标分割模型的体系结构如图7所示，编码器和解码器是两个全卷积的网络(卷积神经网络CNN)。通过将多个连续帧作为输入，编码器对其进行处理并获得时间序列的特征图。然后将特征图输入到ConvLSTM网络中，用于机感线圈U型槽信息预测。ConvLSTM的输出被馈送到解码器中，以产生用于机感线圈U型预测的分割图，参见图4所示。在编码器部分，卷积和池化用于图像抽象和特征提取。在解码器部分，将使用反卷积和上采样来显示目标信息并在空间上对其进行重构。通过将ConvLSTM块嵌入这两个编码器-解码器网络来构建我们的网络。
构建故障目标分割模型的编码器网络：
编码器以Resnet网络作为基准网络进行特征提取，由于待识别部件尺寸较小，所以采用4个下采样编码的单元，每个下采样单元有两个卷积层，每个下采样单元连接一个池化层，池化层用于对特征图进行下采样。此操作后，特征图的大小将减小为一半，而通道数将增加一倍，代表高级语义特征。如图7所示，输入多张连续图像，其中第1张到第n张图像定义为Xt＝0到Xt＝n，进入编码器后输出的结果为特征图，其中第1张到第n张图像对应的编码器输出为Enct＝0到Enct＝n，编码器生成的特征图将被送到ConvLSTM中以进行顺序功能学习。
在编码器后加入卷积ConvLSTM：
由于采用连续多张图像进行故障识别，无法非常准确的找出关键的一张图像，进行故障的判断，所以我们采用连续多张想进行判断，不仅解决了挑选困难的问题，也能充分利用时序信息，将多张图像的有效信息进行利用，将行驶列车的多个连续图像建模为时间序列，首先编码器在每张图上提取的特征图作为输入，然后连接卷积ConvLSTM用于顺序特征提取，最后将带有时序的特征图进行编码器解码，输出分割图。
ConvLSTM用卷积运算代替了LSTM每个门中的矩阵乘法，该运算广泛用于端对端训练和从时序数据中提取特征。本实施方式采用的ConvLSTM的输入和输出大小等于编码器生成的特征图的大小，为16×16。卷积核的大小为3×3。ConvLSTM包含2个隐藏层，每个隐藏层的尺寸为512。如图7所示，将编码器的输出特征图，分别输入到LConvSTM中，其中LSTM(m，n)代表第m层LSTM的第n张图像的输出结果，输入是当前图像的特征图和之前特征图的组合特征特征图，由于本实施方式检测的机感吊架U型槽螺栓和开口销尺寸较小，所以定义m＝4,n＝5，其中有4层LSTM串联，连续5张图像组合的特征作为输出特征图，输出到解码器中。
构建故障目标分割模型的解码器网络：
解码器的每个子块中的上采样和卷积与编码器的子块中的相应操作匹配，解码器采用4个相同的上采样的解码单元，如图7解码单元所示，每个解码单元包含两个卷积核大小1*1的卷积层，一个卷积核大小4*4的转置卷积层进行上采样，三个批量规范处理(BatchNormalization，BN)层，其中第一个1*1的卷积层，通道数为输入通道的1/4，能有效增加计算的速度，并能提取更多的特征信息。
具体实施方式三：本实施方式对实施方式二作进一步说明，建立训练数据集的过程包括以下步骤：
步骤A1、采集大量以机感吊架为目标的过车图像；
步骤A2、建立原始图像数据集，具体为：
采用SSD检测网络对过车图像进行训练，对机感吊架U型槽和机感吊架所在区域进行标记，通过SSD检测网络训练获取机感吊架U型槽目标区域子图，进而建立机感吊架U型槽的原始图像数据集；
步骤A3、剔除模糊图像，具体为：
对原始数据集中的每幅机感吊架U型槽目标区域子图进行边缘梯度检测，采用拉普拉斯函数计算图像的边缘梯度值，当边缘梯度值大于设定阈值时认为该幅图像为清晰图像，否则为模糊图像加以剔除；
步骤A4、将步骤A3剔除模糊图像后的数据集分为两部分：一部分不作分割图像生成掩码处理的数据作为伪标签数据集；另一部分按步骤A5和A6生成有标签数据集，伪标签数据集和训练好的有标签数据集共同作为训练数据集；
步骤A5、对每幅清晰的图像进行像素级标记生成掩码图像，具体为：
对每幅清晰的图像进行像素级标记，对机感吊架U型槽和机感吊架的具体轮廊进行标记，获取与原始图像相对应的标记掩码图像，所述掩码图像仅保留组装螺栓图像信息；
步骤A6、数据扩增，形成有标签数据集，具体为：
采用对比度增强、直方图均衡化、图像缩放或模糊处理图像处理方式对步骤A3的多幅清晰图像进行数据扩增操作，扩增后形成有标签数据集。
由于列车车速、室外阳光和天气变化等干扰因素的影响，行驶中的货车面阵图像经常出现亮度不同、对比度不同，图像拉伸等问题，针对机感吊架U型槽图像的对比度和图像拉伸问题，采用对比度增强、直方图均衡化和图像缩放进行处理，既能丰富训练样本，也能提高分割模型的鲁棒性。
本发明构建故障目标分割模型所使用的训练数据集充分利用现有数据集，训练深度学习的权重，其中现有数据分为人工标注的有标签数据(步骤A5、A6获取的)和没有人工标注的伪标签数据(原始的未生成掩码图像的数据)，其中已经人工标记的机感吊架U型槽设定为有标签数据集,没有标记的机感吊架U型槽为伪标签数据集，利用有标签训练好的模型预测无标签数据集，使之具有标签，此类数据集为伪标签数据集。
①：在人工标注有标签的数据集上，不采用伪标签，根据步骤一构建的分割网络训练一个精度较高的模型。
②：为了提高模型的鲁棒性，充分利用现有数据，利用①获得的较高精度的模型，在未标注数据集上进行预测获得分割结果。
③：将有标注数据和无标注数据集(伪标签)合并，对预测的结果与训练集中真值没有重合的伪标签目标在训练时采取忽略的做法，防止数据标注遗漏而将真实目标作为背景来训练了，此举能检查人工标注的结果，有利于解决标注遗漏问题。并在每个训练时期，使用损失权重θ来控制伪标签的效果，一般θ＝0.3，然后基于有标注数据和伪标签数据组成的大数据集进行训练一个新的模型。
具体实施方式四：本实施方式对实施方式三作进一步说明，步骤二五利用训练数据集对模型进行训练的过程为：
步骤B1、利用有标签数据集训练故障目标分割模型，具体为：
从有标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至故障目标分割模型中，控制损失权重≤0.3时模型迭代收敛，根据有标签数据集的多组数据训练生成一代故障目标分割模型；
步骤B2、将伪标签数据集输入至一代故障目标分割模型中进行训练，具体为：
从伪标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至一代故障目标分割模型中，控制损失权重≤0.3时模型迭代收敛，根据伪标签数据集的多组数据训练生成二代故障目标分割模型；
步骤B3、将伪标签数据集重新输入至二代故障目标分割模型中进行训练更新模型，具体为：
从伪标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至二代故障目标分割模型中，控制损失权重≤0.3时模型迭代收敛，根据伪标签数据集的多组数据训练生成三代故障目标分割模型；
步骤B4、将训练数据集的所有数据输入至三代故障目标分割模型中进行训练，具体为：
从训练数据集取按时间序列排序的n幅连续图像作为一组数据输入至三代故障目标分割模型中，控制损失权重≤0.3时模型迭代收敛，根据训练数据集数据训练生成最终的故障目标分割模型。
步骤B1中模型输入的是有标签数据集，即输入至模型的图像数据已根据步骤A5、A6生成了对应的掩码图像，该掩码图像能准确的表征组装螺栓信息，利用有标签数据集训练构建的初始模型，其好处是模型输出结果能和准确的掩码图像进行比对，模型训练效果好。
但有标签数据集的数量过大会导致人工参与量大，不利于节约人工，因此大部分数据是无标签的，在步骤B2～B4中反复迭代更新模型，使其不断学习后达到可使用的程度。
具体实施方式五：本实施方式对实施方式四作进一步说明，损失权重θ根据损失函数获取：
针对判别性分割任务，采用加权交叉熵构造损失函数，损失函数主要是真实数据的损失和伪标签数据的损失函数的和，通过使用损失权重θ来控制伪标签数据的效果，并表示为：
训练数据集总损失Loss＝Loss真实数据+Loss伪标签
Loss真实数据表示有标签数据集的损失，
Figure BDA0002964098780000121
Loss伪标签表示伪标签数据集的损失，
Figure BDA0002964098780000122
其中：
ωj表示有标签数据集权重，ωj(x)＝1-E(x)Tλ(fj)(1-yj)；
ωk表示伪标签数据集权重，ωk＝1-ωj；
E(x)表示为x像素位置的系数，取值为二值0或1，
Figure BDA0002964098780000131
Tλ(fj)表示为阈值λ的函数，取值为二值0或者1，
Figure BDA0002964098780000132
Figure BDA0002964098780000133
其中：x为像素位置，j为{1，...，K}是每个像素的真实标签，K为标签类别，K＝1表示背景，K＝2表示螺栓，K＝3表示螺栓开口销，K＝4表示螺母；λ为第j类标签的使用频率阈值，fj为第j类标签的使用频率，Nj为第j类标签的图片数，N为训练数据集的总图片数，yj为当前像素在对应的有标签数据集生成的掩码图像中的真值；
k为{1，...，K}是每个像素的伪标签；
有标签数据集损失函数
Figure BDA0002964098780000134
其中zj(x)表示有标签数据集图像的像素在位置x为第j类标签的概率值；
伪标签数据集损失函数
Figure BDA0002964098780000135
其中zk(x)表示伪标签数据集图像的像素在位置x为第j类标签的概率值。
每次模型训练时均需要根据本实施方式所提供的损失函数进行判断，以供模型迭代收敛，当模型精度达到后不再输入训练数据集训练。
具体实施方式六：下面结合图6说明本实施方式，本实施方式对实施方式一作进一步说明，步骤一的具体过程为：
采集多幅连续帧以机感吊架为目标的过车图像，采用SSD检测网络对过车图像进行训练，对机感吊架U型槽和机感吊架所在区域进行定位，通过SSD检测网络训练获取机感吊架U型槽目标区域子图；
对每幅机感吊架U型槽目标区域子图进行边缘梯度检测，采用拉普拉斯函数计算图像的边缘梯度值，当边缘梯度值大于设定阈值时认为该幅图像为清晰图像，否则为模糊图像加以剔除。
SSD检测网络参见图6所示，它对图2所示图像进行标记，其中实线框为机感吊架U型槽，虚线框为机感吊架，在做标签时，根据经验信息，机感吊架U型槽是固定机感吊架的信息，两者同时存在且相对位置关系固定，共同进行标注，比单标一类机感吊架U型槽获得更鲁棒的定位信息。通过训练的SSD网络获取机感吊架U型槽目标区域子图，有效的提高了后续故障检测的精度和速度。根据粗定位获得待识别部件的感兴趣区域图像，建立原始的机感吊架U型槽装置数据集。
具体实施方式七：本实施方式对实施方式一作进一步说明，步骤三的具体过程为：
对预测图像中的螺栓、螺栓开口销的数量进行统计，根据统计数量进行以下判断：
若螺栓、螺栓开口销的数量都与预设数量相等，表征用于固定机感吊架的组装螺栓没有丢失；
若螺栓的数量与预设数量相等，但螺栓开口销的数量少于预设数量，表征用于固定机感吊架的组装螺栓中有丢失，且故障类型为螺栓开口销丢失；
若螺栓、螺栓开口销的数量都少于预设数量，表征用于固定机感吊架的组装螺栓中有丢失且故障类型为螺栓和螺栓开口销都丢失。
具体实施方式八：本实施方式对实施方式一作进一步说明，还包括以下上传报警平台步骤：
根据故障类型生成故障码，并上传至报警平台。
故障类型包括：仅螺栓开口销有丢失、螺栓及螺栓开口销都有丢失。
具体实施方式九：本实施方式对实施方式一作进一步说明，还包括报警平台监测步骤：检查采集的图像是否完整，若连续5趟过车图像不完整，则发出警告。
本步骤为报警平台对系统的监测步骤，为了更好的保证模型对过车图像的检测工作。
具体实施方式十：本实施方式对实施方式一作进一步说明，还包括服务器故障检测步骤：统计历史过车频次信息和上传报警信息，如果超过4小时没有过车信息，检查是否服务器由于断电或者服务器故障。
本步骤为报警平台对系统的监测步骤，为了更好的保证模型对过车图像的检测工作。
具体实施方式十一：本实施方式对实施方式一作进一步说明，还包括故障数量监测步骤：根据历史过车统计的报警信息，检测每天的报警信息，统计每天的报警情况和历史对比，当发现报警数量超过设定阈值时，向相关人员发送检查程序和图像的通知信息。
本步骤为报警平台对系统的监测步骤，为了更好的保证模型对过车图像的检测工作。
具体实施方式十二：本实施方式给出一个模型预测具体实施例：
步骤S1：选取一组图像进行预测
针对选取一组图像采用定位网络，定位U型槽，并图像处理的方法，将其中图像较模糊的图像过滤掉，将清晰的5张前后顺序一致的图像输入带有U型槽的目标输入分割网络中，进行分割预测，此举能提高分割的有效性，剔除模糊的无效输入图像。
步骤S2：判断螺栓丢失和螺栓开口销丢失
统计输入的每张图像中，确定螺栓的个数，确定螺栓开口销存在的个数，设置阈值进行判断。正常情况下，螺栓和螺栓开口销的个数都是4个，如果螺栓和螺栓开口销的个数小于4个，则认为发生故障，如果螺栓和螺栓开口销相等，且小于4个，则是报警螺栓丢失故障，如果螺栓和螺栓开口销数量不等，则是报警螺栓开口销丢失故障
步骤S3：上传报警平台
根据螺栓、螺栓开口销的数量逻辑关系获得的预测结果，生成相应的故障码，将螺栓和螺栓开口销的相关故障的信息，上传报警平台。
步骤四：报警平台监测
为了保证机感吊架U型槽识别程序稳定运行，在报警平台设置如下检测流程：
第一：自动检查图像是否完整，根据统计的历史过车的图像数量设置阈值，如果连续5趟过车不满足阈值设定则发出警告。
第二：服务器故障检测，统计历史过车频次信息和上传报警信息，如果超过4小时没有过车信息，检查是否服务器由于断电或者服务器故障造成自动识别未产生报警。
第三：故障数量监测，根据历史过车统计的报警信息，检测每天的报警信息，统计每天的报警情况和历史对比，当发现报警较多情况下，立即通知相关人员检查程序和图像。
需要说明的是，本申请还可以包括其它多种实施例，在不背离本申请的精神及其实质的情况下，本领域技术人员可根据本申请作出各种相应的改变和变形，但这些相应的改变和变形都应属于本申请所附的权利要求的保护范围。

Claims (7)

1.一种轨道车辆机感吊架组装螺栓丢失检测方法，其特征在于，该方法包括以下步骤：
步骤一、以机感吊架为目标，连续采集多幅过车图像，获得连续帧过车图像，并采用SSD检测网络获取机感吊架U型槽目标区域子图，然后剔除模糊图像；
步骤二、将多幅清晰的机感吊架U型槽目标区域子图按时间序列输入至故障目标分割模型中，输出用于表征组装螺栓信息的机感吊架U型槽预测图像；
故障目标分割模型包括卷积神经网络CNN编码器、连接卷积长短期记忆人工神经网络ConvLSTM和卷积神经网络CNN解码器，故障目标分割模型的构建过程包括：
步骤二一、建立训练数据集；向编码器成组输出图像，每组图像为按时间序列排序的n幅连续图像；
步骤二二、以Resnet网络作为基准网络构建卷积神经网络CNN编码器，所述卷积神经网络CNN编码器将按时间序列输入的n幅连续图像对应生成n幅特征图；
卷积神经网络CNN编码器输入连续n幅图像Xt＝1,Xt＝2,…,Xt＝n，输出n个特征图Enct＝1,Enct＝2,…,Enct＝n；
步骤二三、构建连接卷积长短期记忆人工神经网络ConvLSTM，将卷积神经网络CNN编码器输出的连续多幅特征图组合，生成带有时序的特征图链，并输入至卷积神经网络CNN解码器中；
步骤二四、构建与卷积神经网络CNN编码器匹配的卷积神经网络CNN解码器，将带有时序的特征图链分割出用于表征组装螺栓信息的机感吊架U型槽预测图像；
步骤二五、利用训练数据集对模型进行训练；
利用训练数据集对模型进行训练的过程为：
步骤B1、利用有标签数据集训练故障目标分割模型，具体为：
从有标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至故障目标分割模型中，根据损失权重，控制模型的迭代收敛，根据有标签数据集的多组数据训练生成一代故障目标分割模型；
步骤B2、将伪标签数据集输入至一代故障目标分割模型中进行训练，具体为：
从伪标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至一代故障目标分割模型中，根据损失权重，控制模型的迭代收敛，根据伪标签数据集的多组数据训练生成二代故障目标分割模型；
步骤B3、将伪标签数据集重新输入至二代故障目标分割模型中进行训练更新模型，具体为：
从伪标签数据集取按时间序列排序的n幅连续图像作为一组数据输入至二代故障目标分割模型中，根据损失权重，控制模型的迭代收敛，根据伪标签数据集的多组数据训练生成三代故障目标分割模型；
步骤B4、将训练数据集的所有数据输入至三代故障目标分割模型中进行训练，具体为：
从训练数据集取按时间序列排序的n幅连续图像作为一组数据输入至三代故障目标分割模型中，根据损失权重，控制模型的迭代收敛，根据训练数据集数据训练生成最终的故障目标分割模型；
损失权重θ根据损失函数获取：
训练数据集总损失Loss＝Loss真实数据+Loss伪标签
Loss真实数据表示有标签数据集的损失，
Figure FDA0003233546490000021
Loss伪标签表示伪标签数据集的损失，
Figure FDA0003233546490000022
其中：
ωj表示有标签数据集权重，ωj(x)＝1-E(x)Tλ(fj)(1-yj)；
ωk表示伪标签数据集权重，ωk＝1-ωj；
E(x)表示为x像素位置的系数，取值为二值0或1，
Figure FDA0003233546490000023
Tλ(fj)表示为阈值λ的函数，取值为二值0或者1，
Figure FDA0003233546490000024
Figure FDA0003233546490000025
其中：x为像素位置，j为{1，...，K}是每个像素的真实标签，K为标签类别，K＝1表示背景，K＝2表示螺栓，K＝3表示螺栓开口销，K＝4表示螺母；λ为第j类标签的使用频率阈值，fj为第j类标签的使用频率，Nj为第j类标签的图片数，N为训练数据集的总图片数，yj为当前像素在对应的有标签数据集生成的掩码图像中的真值；
k为{1，...，K}是每个像素的伪标签；
有标签数据集损失函数
Figure FDA0003233546490000031
其中zj(x)表示有标签数据集图像的像素在位置x为第j类标签的概率值；
伪标签数据集损失函数
Figure FDA0003233546490000032
其中zk(x)表示伪标签数据集图像的像素在位置x为第j类标签的概率值；
步骤三、根据预测图像统计组装螺栓的螺栓、螺栓开口销的数量，以判断组装螺栓是否丢失及丢失故障类型。
2.根据权利要求1所述一种轨道车辆机感吊架组装螺栓丢失检测方法，其特征在于，建立训练数据集的过程包括以下步骤：
步骤A1、采集大量以机感吊架为目标的过车图像；
步骤A2、建立原始图像数据集，具体为：
采用SSD检测网络对过车图像进行训练，对机感吊架U型槽和机感吊架所在区域进行标记，通过SSD检测网络训练获取机感吊架U型槽目标区域子图，进而建立机感吊架U型槽的原始图像数据集；
步骤A3、剔除模糊图像，具体为：
对原始数据集中的每幅机感吊架U型槽目标区域子图进行边缘梯度检测，采用拉普拉斯函数计算图像的边缘梯度值，当边缘梯度值大于设定阈值时认为该幅图像为清晰图像，否则为模糊图像加以剔除；
步骤A4、将步骤A3剔除模糊图像后的数据集分为两部分：一部分不作分割图像生成掩码处理的数据作为伪标签数据集；另一部分按步骤A5和A6生成有标签数据集，伪标签数据集和训练好的有标签数据集共同作为训练数据集；
步骤A5、对每幅清晰的图像进行像素级标记生成掩码图像，具体为：
对每幅清晰的图像进行像素级标记，对机感吊架U型槽和机感吊架的具体轮廊进行标记，获取与原始图像相对应的标记掩码图像，所述掩码图像仅保留组装螺栓图像信息；
步骤A6、数据扩增，形成有标签数据集，具体为：
采用对比度增强、直方图均衡化、图像缩放或模糊处理图像处理方式对步骤A3的多幅清晰图像进行数据扩增操作，扩增后形成有标签数据集。
3.根据权利要求1所述一种轨道车辆机感吊架组装螺栓丢失检测方法，其特征在于，步骤一的具体过程为：
采集多幅连续帧以机感吊架为目标的过车图像，采用SSD检测网络对过车图像进行训练，对机感吊架U型槽和机感吊架所在区域进行定位，通过SSD检测网络训练获取机感吊架U型槽目标区域子图；
对每幅机感吊架U型槽目标区域子图进行边缘梯度检测，采用拉普拉斯函数计算图像的边缘梯度值，当边缘梯度值大于设定阈值时认为该幅图像为清晰图像，否则为模糊图像加以剔除。
4.根据权利要求1所述一种轨道车辆机感吊架组装螺栓丢失检测方法，其特征在于，步骤三的具体过程为：
对预测图像中的螺栓、螺栓开口销的数量进行统计，根据统计数量进行以下判断：
若螺栓、螺栓开口销的数量都与预设数量相等，表征用于固定机感吊架的组装螺栓没有丢失；
若螺栓的数量与预设数量相等，但螺栓开口销的数量少于预设数量，表征用于固定机感吊架的组装螺栓中有丢失，且故障类型为螺栓开口销丢失；
若螺栓、螺栓开口销的数量都少于预设数量，表征用于固定机感吊架的组装螺栓中有丢失且故障类型为螺栓和螺栓开口销都丢失。
5.根据权利要求1所述一种轨道车辆机感吊架组装螺栓丢失检测方法，其特征在于，还包括以下上传报警平台步骤：
根据故障类型生成故障码，并上传至报警平台。
6.根据权利要求1所述一种轨道车辆机感吊架组装螺栓丢失检测方法，其特征在于，还包括报警平台监测步骤：检查采集的图像是否完整，若连续5趟过车图像不完整，则发出警告。
7.根据权利要求1所述一种轨道车辆机感吊架组装螺栓丢失检测方法，其特征在于，还包括服务器故障检测步骤：统计历史过车频次信息和上传报警信息，如果超过4小时没有过车信息，检查是否服务器由于断电或者服务器故障。
CN202110246001.4A 2021-03-05 2021-03-05 一种轨道车辆机感吊架组装螺栓丢失检测方法 Active CN112967252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110246001.4A CN112967252B (zh) 2021-03-05 2021-03-05 一种轨道车辆机感吊架组装螺栓丢失检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110246001.4A CN112967252B (zh) 2021-03-05 2021-03-05 一种轨道车辆机感吊架组装螺栓丢失检测方法

Publications (2)

Publication Number Publication Date
CN112967252A CN112967252A (zh) 2021-06-15
CN112967252B true CN112967252B (zh) 2021-10-22

Family

ID=76276599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110246001.4A Active CN112967252B (zh) 2021-03-05 2021-03-05 一种轨道车辆机感吊架组装螺栓丢失检测方法

Country Status (1)

Country Link
CN (1) CN112967252B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902680B (zh) * 2021-09-14 2024-08-13 西安建筑科技大学 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法
CN114249244B (zh) * 2022-03-02 2022-07-05 聚时科技(江苏)有限公司 一种用于自动行车闭环控制的无标靶吊具定位方法
CN114314350B (zh) * 2022-03-02 2022-07-08 聚时科技(江苏)有限公司 一种用于自动行车吊具摆角定位的自动标定方法
CN114820621B (zh) * 2022-06-29 2022-09-06 中冶建筑研究总院（深圳）有限公司 一种螺栓丢失缺陷检测方法、系统及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
WO2019190405A1 (en) * 2018-03-29 2019-10-03 Agency For Science, Technology And Research Method and apparatus for detecting condition of a bolt on a bolted structure
CN110349157A (zh) * 2019-08-09 2019-10-18 哈尔滨市科佳通用机电股份有限公司 一种机车电子标签图像拍摄系统
CN111080598A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种钩尾销安全吊的螺栓、螺母缺失检测方法
CN111091541A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
US10641898B1 (en) * 2016-04-01 2020-05-05 Stc.Unm Structural displacement measurement using unmanned aerial vehicles equipped with lasers
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112115995A (zh) * 2020-09-11 2020-12-22 北京邮电大学 一种基于半监督学习的图像多标签分类方法
CN112258483A (zh) * 2020-10-23 2021-01-22 哈尔滨市科佳通用机电股份有限公司 一种钩尾销插托错位和螺母丢失故障检测方法
CN112307965A (zh) * 2020-10-30 2021-02-02 哈尔滨市科佳通用机电股份有限公司 一种滚动轴承施封锁丢失和折断故障检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147904B (zh) * 2019-04-23 2021-06-18 深圳先进技术研究院 一种城市聚集事件预测与定位方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10641898B1 (en) * 2016-04-01 2020-05-05 Stc.Unm Structural displacement measurement using unmanned aerial vehicles equipped with lasers
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
WO2019190405A1 (en) * 2018-03-29 2019-10-03 Agency For Science, Technology And Research Method and apparatus for detecting condition of a bolt on a bolted structure
CN110349157A (zh) * 2019-08-09 2019-10-18 哈尔滨市科佳通用机电股份有限公司 一种机车电子标签图像拍摄系统
CN111080598A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种钩尾销安全吊的螺栓、螺母缺失检测方法
CN111091541A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112115995A (zh) * 2020-09-11 2020-12-22 北京邮电大学 一种基于半监督学习的图像多标签分类方法
CN112258483A (zh) * 2020-10-23 2021-01-22 哈尔滨市科佳通用机电股份有限公司 一种钩尾销插托错位和螺母丢失故障检测方法
CN112307965A (zh) * 2020-10-30 2021-02-02 哈尔滨市科佳通用机电股份有限公司 一种滚动轴承施封锁丢失和折断故障检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"动态背景下基于自更新像素共现的前景分割";梁栋;《浙江大学学报（工学版）》;20201231;第54卷(第12期);2405-2413 *

Also Published As

Publication number Publication date
CN112967252A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112967252B (zh) 一种轨道车辆机感吊架组装螺栓丢失检测方法
Bang et al. Encoder–decoder network for pixel‐level road crack detection in black‐box images
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN111489339B (zh) 高速铁路定位器螺栓备母缺陷的检测方法
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN111652227B (zh) 铁路货车底部地板破损故障检测方法
CN113160575A (zh) 一种非机动车辆及驾驶人的交通违法行为检测方法及系统
EP3360077A1 (en) Method and system for classifying objects from a stream of images
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
Katsamenis et al. A few-shot attention recurrent residual U-Net for crack segmentation
CN106529405A (zh) 一种基于视频图像块模型的局部异常行为检测方法
CN112861762B (zh) 基于生成对抗网络的铁路道口异常事件检测方法及系统
CN118015562A (zh) 一种恶劣天气下交通事故监控视频关键帧提取方法及系统
CN118247215A (zh) 基于深度学习的铁路货车锁紧板紧固螺栓丢失的检测方法
CN111553500B (zh) 基于注意力机制全卷积网络的铁路交通接触网巡检方法
CN113343880A (zh) 一种车辆遮挡号牌的识别方法、装置、设备及介质
CN114550460B (zh) 轨道交通异常检测方法、装置及存储介质
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN114140731B (zh) 一种牵引变电所异常检测方法
CN115563652A (zh) 轨迹嵌入预防泄露方法及系统
CN112200055B (zh) 联合对抗生成网络的行人属性识别方法、系统及装置
Shaikh et al. Deep learning based identification and tracking of railway bogie parts
CN115908427B (zh) 基于语义分割和svm的路面病害维修成本预测方法及系统
CN118470332B (zh) 一种基于语义分割的劳动防护用品穿戴智能精细识别检测方法及装置
CN115861324B (zh) 一种路面病害维修成本预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant