CN115346068A - 一种铁路货运列车螺栓丢失故障图像自动生成方法 - Google Patents
一种铁路货运列车螺栓丢失故障图像自动生成方法 Download PDFInfo
- Publication number
- CN115346068A CN115346068A CN202210919446.9A CN202210919446A CN115346068A CN 115346068 A CN115346068 A CN 115346068A CN 202210919446 A CN202210919446 A CN 202210919446A CN 115346068 A CN115346068 A CN 115346068A
- Authority
- CN
- China
- Prior art keywords
- bolt
- image
- network model
- loss
- chassis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种铁路货运列车螺栓丢失故障图像自动生成方法，解决了螺栓故障图像的产出效率较低，样本形态不够多样性的问题，属于故障检测领域。本发明包括：S1、获取货运列车的底盘图像；S2、将底盘图像输入至卷积神经网络模型，卷积神经网络模型对底盘图像中的螺栓进行定位，得到螺栓子图及其在底盘图像中的位置坐标；S3、将螺栓子图输入至生成对抗网络模型中，生成对抗网络模型输出螺栓子图中螺栓丢失后的孔洞图像；S4、根据螺栓子图在底盘图像中的位置坐标，将S3的孔洞图像与底盘图像合成，利用孔洞图像替换螺栓，获得带孔洞的底盘图像。本发明减小人工PS工作量、提高样本形态多样性。
Description
技术领域
本发明涉及一种铁路货运列车螺栓丢失故障图像自动生成方法，属于故障检测领域。
背景技术
车辆段长期以来采用人工查看图像的方式对铁路货运列车进行全车检查，这种方式效率有限且由于懈怠等原因容易产生漏检和误检。随着深度学习的发展，基于深度学习的故障自动识别系统逐渐替代了传统的人工检车。
深度学习模型的训练离不开大量图像数据的支撑，并且图像数据的数量与质量直接影响深度学习模型的准确度。然而对于铁路货运列车的故障图像而言，其采集难度大、成本高，虽然可以参照真实故障在正常图像上进行人工PS操作，但由于人工的工作时间存在限制、PS思维容易固定等原因，故障图像的产出效率较低，形态多样性也不够丰富。
发明内容
针对螺栓故障图像的产出效率较低，样本形态不够多样性的问题，本发明提供一种铁路货运列车螺栓丢失故障图像自动生成方法。
本发明的一种铁路货运列车螺栓丢失故障图像自动生成方法,所述方法包括：
S1、获取货运列车的底盘图像；
S2、将底盘图像输入至卷积神经网络模型，卷积神经网络模型对底盘图像中的螺栓进行定位，得到螺栓子图及其在底盘图像中的位置坐标；
S3、将螺栓子图输入至生成对抗网络模型中，生成对抗网络模型输出螺栓子图中螺栓丢失后的孔洞图像；
S4、根据螺栓子图在底盘图像中的位置坐标，将S3的孔洞图像与底盘图像合成，利用孔洞图像替换螺栓，获得带孔洞的底盘图像。
作为优选，所述卷积神经网络采用Faster R-CNN网络实现，Faster R-CNN网络的骨干网络采用拥有4组残差单元的ResNet50来提取底盘图像中的特征，获得维度从浅层到深层的4路原特征图；
所述Faster R-CNN网络还包括特征金字塔和4个跨通道注意力模块；
4路原特征图分别输入至4个跨通道注意力模块中，获得4路带有注意力的特征图；
4路带有注意力的特征图输入至特征金字塔中，特征金字塔将深层的特征图叠加到浅层特征图上，并输出维度从浅层到深层的4路特征图。
作为优选，每个跨通道注意力模块包括全局平均池化层和卷积核尺寸为5的一维卷积层、Sigmoid激活函数和逐点相乘层；
1路原特征图依次经过全局平均池化层、一维卷积层和Sigmoid激活函数后获得权重，在逐点相乘层内所述权重与输入的1路原特征图逐点相乘，输出1路带有注意力的特征图。
4、根据权利要求3所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，特征金字塔包括4个检测分支和3个2倍上采样模块；每个检测分支包括一个1*1卷积层和一个3*3卷积层；
4路带有注意力的特征图分别输入至4个检测分支的1*1卷积层中，深层的特征图对应的1*1卷积层中的输出进行2倍上采样后叠加到浅层特征图的1*1卷积层的输出上，再输入至相应3*3卷积层中，四个3*3卷积层输出维度从浅层到深层的4路特征图。
作为优选，所述生成对抗网络模型采用CycleGAN网络实现，所述生成对抗网络模型的生成损失、循环损失和ID损失的权重分别为1、10、2。
作为优选，所述S1包括：
根据铁路货运列车的移动速度计算拍摄频率，线阵相机按照拍摄频率对铁路货运列车的底盘进行拍摄，获得多张图像，将多张图像合成一张完整的底盘图像。
作为优选，所述S1还包括对底盘图像进行预处理，预处理包括自适应提升亮度、直方图均衡化和图像缩放。
作为优选，所述卷积神经网络模型还用于对底盘图像中的孔洞进行定位，得到孔洞子图；
利用卷积神经网络模型得到螺栓子图和孔洞子图及对应孔洞图像构建生成对抗网络模型的训练集。
作为优选，所述生成对抗网络模型的训练方法包括：
将训练集中所有子图缩放到相同大小和比例，分辨率为128*128，用GAN loss进行生成损失计算，用L1 loss进行循环损失和ID损失的计算，用pytorch搭建和训练生成对抗网络模型，优化器选择Adam，学习率0.0001。
作为优选，所述卷积神经网络模型的训练方法包括：
构建原始数据集，原始数据集中包含螺栓及螺栓丢失的底盘图像，及从底盘图像中获取螺栓子图及螺栓丢失的孔洞子图；
将原始数据集中所有图片缩放到相同大小和比例，分辨率为512*512，用CrossEntropy loss对类别预测进行训练，用L1 loss对位置预测进行训练，用pytorch搭建和训练卷积神经网络模型，优化器选择SGD，学习率0.02，动量0.9。
本发明的有益效果，本发明减小人工PS工作量、提高样本形态多样性。能够对螺栓及孔洞进行自动分类和定位，可以代替人工裁切和恢复图像，提高工作效率。针对螺栓及孔洞目标尺寸过小的问题，本发明通过添加注意力机制和4个尺度的特征融合来提高螺栓和孔洞目标的识别准确度。本发明为生成对抗网络的三个损失函数添加了一组权重来减少生成故障与原图之间的色差，提升生成故障与真实故障的相似性。
附图说明
图1为本发明的特征金字塔，Input表示输入特征图，Output表示输出特征图，Conv表示卷积层，Upsample表示上采样；
图2为本发明的跨通道注意力模块，Input表示输入特征图，Output表示输出特征图，GlobalAveragePooling表示全局平均池化，σ表示Sigmoid激活函数，·表示逐点相乘层；
图3为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本实施方式的一种铁路货运列车螺栓丢失故障图像自动生成方法，包括：
步骤1、获取货运列车的底盘图像；
步骤1根据铁路货运列车的移动速度计算拍摄频率，线阵相机按照拍摄频率对铁路货运列车的底盘进行拍摄，获得多张图像，将多张图像合成一张完整的底盘图像。所述步骤1还包括对底盘图像进行预处理，预处理包括自适应提升亮度、直方图均衡化和图像缩放。
步骤2、将底盘图像输入至卷积神经网络模型，卷积神经网络模型对底盘图像中的螺栓进行定位，得到螺栓子图及其在底盘图像中的位置坐标；
步骤3、将螺栓子图输入至生成对抗网络模型中，生成对抗网络模型输出螺栓子图中螺栓丢失后的孔洞图像；
步骤4、根据螺栓子图在底盘图像中的位置坐标，将S3的孔洞图像与底盘图像合成，利用孔洞图像替换螺栓，获得带孔洞的底盘图像。
本实施方式通过卷积神经网络模型对螺栓进行自动定位，可以代替人工裁切和恢复图像，提高工作效率。利用生成对抗网络模型自动生成故障图像方法，减小人工PS工作量、提高样本形态多样性。螺栓用于固定货运列车的多种重要部件，保证列车的行车安全。通过深度学习对货运列车的螺栓丢失图像进行生成，可以丰富故障图像的多样性，提升故障图像数量和产生效率，节约成本。
本实施方式的铁路货运列车螺栓丢失故障图像自动生成方法，是利用卷积神经网络模型和生成对抗网络模型实现的，具体实施时包括两个阶段：训练阶段和自动生成阶段；
其中在训练阶段，构建卷积神经网络模型和生成对抗网络模型，构建训练集，分别对卷积神经网络模型和生成对抗网络模型进行训练，确定卷积神经网络模型和生成对抗网络模型的权重后，在自动生成阶段，利用确定权重后的卷积神经网络模型和生成对抗网络模型，采用步骤1至步骤4，生成带孔洞的底盘图像。
一、卷积神经网络模型的训练阶段：
本实施方式的卷积神经网络模型采用Faster R-CNN网络实现，Faster R-CNN拥有不错的识别准确率和定位精度，Faster R-CNN网络的骨干网络采用拥有4组残差单元的ResNet50来提取底盘图像中的特征，获得维度从浅层到深层的4路原特征图；这4组残差单元的输出维度从浅层到深层依次为256、512、1024、2048。
Faster R-CNN网络还包括特征金字塔和4个跨通道注意力模块；
4路原特征图分别输入至4个跨通道注意力模块中，获得4路带有注意力的特征图；
4路带有注意力的特征图输入至特征金字塔中，特征金字塔将深层的特征图叠加到浅层特征图上，并输出维度从浅层到深层的4路特征图。
为了提高每一个检测分支的预测准确性，本实施方式对骨干网络之后添加了跨通道注意力模块，如图2所示，每个跨通道注意力模块包括全局平均池化层和卷积核尺寸为5的一维卷积层、Sigmoid激活函数和逐点相乘层；
1路原特征图依次经过全局平均池化层、一维卷积层和Sigmoid激活函数后获得权重，在逐点相乘层内所述权重与输入的1路原特征图逐点相乘，输出1路带有注意力的特征图。特征图经过池化和卷积后，每一个维度会获得一个权重，将权重乘回原特征图就会得到带有注意力的特征图。
由于螺栓在图像数据中尺寸较小，为了获得更准确的定位信息，需要神经网络在浅层的特征图上进行预测。而深层的特征图中包含了丰富的语义信息，所以本实施方式在4组残差单元上都搭建了检测分支用于构建特征金字塔。本实施方式的特征金字塔包括4个检测分支和3个2倍上采样模块，每个检测分支包括一个1*1卷积层和一个3*3卷积层，如图1所示；4路带有注意力的特征图分别输入至4个检测分支的1*1卷积层中，深层的特征图对应的1*1卷积层中的输出进行2倍上采样后叠加到浅层特征图的1*1卷积层的输出上，使得浅层特征图同时具备良好的位置与语义信息，每一个检测分支都会输出256维度的特征图，再输入至相应3*3卷积层中，四个3*3卷积层输出维度从浅层到深层的4路特征图。
在训练阶段，构建原始数据集，根据列车轴距信息及相关部件的位置等先验知识，从线阵相机拍摄的列车底盘大图中提取出含有螺栓或螺栓丢失的部件的底盘图像。由于列车新旧、速度、环境光等都会对成像质量产生影响，产生低亮度、低对比度、图像拉伸等问题，需要对底盘图像采取自适应提升亮度、直方图均衡化和图像缩放处理。除此之外，螺栓丢失故障发生的概率不高，真实故障的图像数据数量较少，需要对故障图像额外进行随机翻转、仿射变换、X和Y方向随机平移来丰富训练集中的故障样本，提高定位模型的鲁棒性。
将原始数据集中所有图片缩放到相同大小和比例，分辨率为512*512，用CrossEntropy loss对类别预测进行训练，用L1 loss对位置预测进行训练，用pytorch搭建和训练卷积神经网络模型，优化器选择SGD，学习率0.02，动量0.9。
二、生成对抗网络模型的训练阶段：
本实施方式选择CycleGAN网络来生成螺栓丢失后的孔洞图像，CycleGAN网络无需使用成对的数据进行训练，对数据集的要求较低。螺栓子图进入生成对抗网络模型后，生成对抗网络模型会对螺栓子图进行生成并与孔洞子图进行损失计算，使生成的图像更趋近于真实孔洞图像。为保证生成的孔洞图像更像是螺栓图像中的螺栓丢失后的样子，网络会对生成的图像再次进行生成，并与真实的螺栓图像进行损失计算。
CycleGAN网络生成的孔洞图像会存在边缘不规则，色差明显的问题，本实施方式对生成对抗网络模型的生成损失、循环损失和ID损失分别赋予1，10，2的权重，大幅提高循环损失占比解决孔洞边缘不规则问题，适当提高ID损失占比解决色差明显问题。
本实施方式CycleGAN网络在训练阶段需要螺栓子图和孔洞子图的训练集，本实施方式的卷积神经网络模型可同时对底盘图像中的螺栓和丢失螺栓的孔洞进行分类和定位，即还包括对底盘图像中的孔洞进行定位，得到孔洞子图；利用卷积神经网络模型得到螺栓子图和孔洞子图及对应孔洞图像构建生成对抗网络模型的训练集。将训练集中所有子图缩放到相同大小和比例，分辨率为128*128，用GAN loss进行生成损失计算，用L1 loss进行循环损失和ID损失的计算，用pytorch搭建和训练生成对抗网络模型，优化器选择Adam，学习率0.0001。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
Claims (10)
1.一种铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，所述方法包括：
S1、获取货运列车的底盘图像；
S2、将底盘图像输入至卷积神经网络模型，卷积神经网络模型对底盘图像中的螺栓进行定位，得到螺栓子图及其在底盘图像中的位置坐标；
S3、将螺栓子图输入至生成对抗网络模型中，生成对抗网络模型输出螺栓子图中螺栓丢失后的孔洞图像；
S4、根据螺栓子图在底盘图像中的位置坐标，将S3的孔洞图像与底盘图像合成，利用孔洞图像替换螺栓，获得带孔洞的底盘图像。
2.根据权利要求1所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，所述卷积神经网络采用Faster R-CNN网络实现，Faster R-CNN网络的骨干网络采用拥有4组残差单元的ResNet50来提取底盘图像中的特征，获得维度从浅层到深层的4路原特征图；
所述Faster R-CNN网络还包括特征金字塔和4个跨通道注意力模块；
4路原特征图分别输入至4个跨通道注意力模块中，获得4路带有注意力的特征图；
4路带有注意力的特征图输入至特征金字塔中，特征金字塔将深层的特征图叠加到浅层特征图上，并输出维度从浅层到深层的4路特征图。
3.根据权利要求2所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，每个跨通道注意力模块包括全局平均池化层和卷积核尺寸为5的一维卷积层、Sigmoid激活函数和逐点相乘层；
1路原特征图依次经过全局平均池化层、一维卷积层和Sigmoid激活函数后获得权重，在逐点相乘层内所述权重与输入的1路原特征图逐点相乘，输出1路带有注意力的特征图。
4.根据权利要求3所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，特征金字塔包括4个检测分支和3个2倍上采样模块；每个检测分支包括一个1*1卷积层和一个3*3卷积层；
4路带有注意力的特征图分别输入至4个检测分支的1*1卷积层中，深层的特征图对应的1*1卷积层中的输出进行2倍上采样后叠加到浅层特征图的1*1卷积层的输出上，再输入至相应3*3卷积层中，四个3*3卷积层输出维度从浅层到深层的4路特征图。
5.根据权利要求1所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，所述生成对抗网络模型采用CycleGAN网络实现，所述生成对抗网络模型的生成损失、循环损失和ID损失的权重分别为1、10、2。
6.根据权利要求1所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，所述S1包括：
根据铁路货运列车的移动速度计算拍摄频率，线阵相机按照拍摄频率对铁路货运列车的底盘进行拍摄，获得多张图像，将多张图像合成一张完整的底盘图像。
7.根据权利要求6所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，所述S1还包括对底盘图像进行预处理，预处理包括自适应提升亮度、直方图均衡化和图像缩放。
8.根据权利要求5所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，
所述卷积神经网络模型还用于对底盘图像中的孔洞进行定位，得到孔洞子图；
利用卷积神经网络模型得到螺栓子图和孔洞子图及对应孔洞图像构建生成对抗网络模型的训练集。
9.根据权利要求8所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，所述生成对抗网络模型的训练方法包括：
将训练集中所有子图缩放到相同大小和比例，分辨率为128*128，用GAN loss进行生成损失计算，用L1 loss进行循环损失和ID损失的计算，用pytorch搭建和训练生成对抗网络模型，优化器选择Adam，学习率0.0001。
10.根据权利要求8所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，所述卷积神经网络模型的训练方法包括：
构建原始数据集，原始数据集中包含螺栓及螺栓丢失的底盘图像，及从底盘图像中获取螺栓子图及螺栓丢失的孔洞子图；
将原始数据集中所有图片缩放到相同大小和比例，分辨率为512*512，用CrossEntropy loss对类别预测进行训练，用L1 loss对位置预测进行训练，用pytorch搭建和训练卷积神经网络模型，优化器选择SGD，学习率0.02，动量0.9。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210919446.9A CN115346068A (zh) | 2022-08-02 | 2022-08-02 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210919446.9A CN115346068A (zh) | 2022-08-02 | 2022-08-02 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115346068A true CN115346068A (zh) | 2022-11-15 |
Family
ID=83950336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210919446.9A Pending CN115346068A (zh) | 2022-08-02 | 2022-08-02 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115346068A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051682A (zh) * | 2022-11-30 | 2023-05-02 | 四川省中车铁投轨道交通有限公司 | 一种智轨电车底盘故障检测方法及系统 |
| CN116310358A (zh) * | 2023-02-23 | 2023-06-23 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091545A (zh) * | 2019-12-12 | 2020-05-01 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车滚动轴承轴端螺栓丢失故障的检测方法 |
| CN111693534A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 表面缺陷的检测方法、模型训练方法、装置、设备和介质 |
| CN112364754A (zh) * | 2020-11-09 | 2021-02-12 | 云南电网有限责任公司迪庆供电局 | 螺栓缺陷检测方法及系统 |
| CN112668623A (zh) * | 2020-12-22 | 2021-04-16 | 中国铁道科学研究院集团有限公司 | 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 |
| CN112906769A (zh) * | 2021-02-04 | 2021-06-04 | 国网河南省电力公司电力科学研究院 | 一种基于CycleGAN的输变电设备图像缺陷样本增广方法 |
| CN113012113A (zh) * | 2021-03-01 | 2021-06-22 | 和远智能科技股份有限公司 | 一种高铁接触网供电设备螺栓松动自动检测方法 |
| EP3859599A1 (en) * | 2020-02-03 | 2021-08-04 | Robert Bosch GmbH | Training a generator neural network using a discriminator with localized distinguishing information |
| CN113642621A (zh) * | 2021-08-03 | 2021-11-12 | 南京邮电大学 | 基于生成对抗网络的零样本图像分类方法 |
| CN114372535A (zh) * | 2022-01-13 | 2022-04-19 | 国网河北省电力有限公司石家庄供电分公司 | 基于生成式对抗网络的电力设备故障识别装置及方法 |
| CN114399672A (zh) * | 2022-01-14 | 2022-04-26 | 东南大学 | 一种基于深度学习的铁路货车闸瓦故障检测方法 |
| CN114742820A (zh) * | 2022-05-11 | 2022-07-12 | 西南交通大学 | 一种基于深度学习的螺栓松动检测方法、系统及存储介质 |
| CN114743119A (zh) * | 2022-04-28 | 2022-07-12 | 石家庄铁道大学 | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 |
-
2022
- 2022-08-02 CN CN202210919446.9A patent/CN115346068A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091545A (zh) * | 2019-12-12 | 2020-05-01 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车滚动轴承轴端螺栓丢失故障的检测方法 |
| EP3859599A1 (en) * | 2020-02-03 | 2021-08-04 | Robert Bosch GmbH | Training a generator neural network using a discriminator with localized distinguishing information |
| CN111693534A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 表面缺陷的检测方法、模型训练方法、装置、设备和介质 |
| CN112364754A (zh) * | 2020-11-09 | 2021-02-12 | 云南电网有限责任公司迪庆供电局 | 螺栓缺陷检测方法及系统 |
| CN112668623A (zh) * | 2020-12-22 | 2021-04-16 | 中国铁道科学研究院集团有限公司 | 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置 |
| CN112906769A (zh) * | 2021-02-04 | 2021-06-04 | 国网河南省电力公司电力科学研究院 | 一种基于CycleGAN的输变电设备图像缺陷样本增广方法 |
| CN113012113A (zh) * | 2021-03-01 | 2021-06-22 | 和远智能科技股份有限公司 | 一种高铁接触网供电设备螺栓松动自动检测方法 |
| CN113642621A (zh) * | 2021-08-03 | 2021-11-12 | 南京邮电大学 | 基于生成对抗网络的零样本图像分类方法 |
| CN114372535A (zh) * | 2022-01-13 | 2022-04-19 | 国网河北省电力有限公司石家庄供电分公司 | 基于生成式对抗网络的电力设备故障识别装置及方法 |
| CN114399672A (zh) * | 2022-01-14 | 2022-04-26 | 东南大学 | 一种基于深度学习的铁路货车闸瓦故障检测方法 |
| CN114743119A (zh) * | 2022-04-28 | 2022-07-12 | 石家庄铁道大学 | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 |
| CN114742820A (zh) * | 2022-05-11 | 2022-07-12 | 西南交通大学 | 一种基于深度学习的螺栓松动检测方法、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 戚银城 等: "结合注意力机制的相对GAN螺栓图像生成", 《电测与仪表》 * |
| 蔡磊 等, 机械工业出版社 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051682A (zh) * | 2022-11-30 | 2023-05-02 | 四川省中车铁投轨道交通有限公司 | 一种智轨电车底盘故障检测方法及系统 |
| CN116310358A (zh) * | 2023-02-23 | 2023-06-23 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
| CN116310358B (zh) * | 2023-02-23 | 2023-12-15 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| CN115346068A (zh) | 一种铁路货运列车螺栓丢失故障图像自动生成方法 | |
| CN114445706A (zh) | 一种基于特征融合的输电线路目标检测与识别方法 | |
| Xu et al. | Underwater image classification using deep convolutional neural networks and data augmentation | |
| CN112381097A (zh) | 一种基于深度学习的场景语义分割方法 | |
| CN112287931B (zh) | 一种场景文本检测方法及系统 | |
| CN112164054A (zh) | 基于知识蒸馏的图像目标检测方法和检测器及其训练方法 | |
| CN112257741B (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
| CN116503399B (zh) | 基于yolo-afps的绝缘子污闪检测方法 | |
| He et al. | A Real-time PCB Defect Detector Based on Supervised and Semi-supervised Learning. | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| CN114565824B (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
| CN117238024A (zh) | 一种基于改进YOLOv5的手势识别方法 | |
| CN114565891A (zh) | 一种基于图形生成技术的烟火监测方法及系统 | |
| CN117315584A (zh) | 一种基于改进YOLOv7-tiny的危化品车辆目标检测方法 | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
| CN116109826A (zh) | 一种道路裂缝检测方法 | |
| CN116778346B (zh) | 一种基于改进自注意力机制的管线识别方法及系统 | |
| CN113902753A (zh) | 基于双通道和自注意力机制的图像语义分割方法及系统 | |
| CN110852255B (zh) | 一种基于u型特征金字塔的交通目标检测方法 | |
| CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 | |
| CN114694042A (zh) | 一种基于改进Scaled-YOLOv4的伪装人员目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221115 |