CN116310358A - 铁路货车螺栓丢失检测方法、存储介质及设备 - Google Patents
铁路货车螺栓丢失检测方法、存储介质及设备 Download PDFInfo
- Publication number
- CN116310358A CN116310358A CN202310156720.6A CN202310156720A CN116310358A CN 116310358 A CN116310358 A CN 116310358A CN 202310156720 A CN202310156720 A CN 202310156720A CN 116310358 A CN116310358 A CN 116310358A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- loss
- bolt
- railway wagon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 77
- 238000012549 training Methods 0.000 claims description 11
- 230000001186 cumulative effect Effects 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000007429 general method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
铁路货车螺栓丢失检测方法、存储介质及设备，属于铁路货车检测技术领域。本发明为了解决现有的铁路货车螺栓丢失异常检测方式存在因图像亮度较低、图像内螺栓边缘模糊、故障图像与正常图像特征相似等导致检测效果不佳的问题。本发明将螺栓图像对应的直方图均衡化后的图像、水平方向的轮廓图像以及竖直方向的轮廓图像相加得到输入图像，然后利用改进的faster‑rcnn网络模型对输入图像进行处理，其首先将输入图像进行尺寸缩放，并分别进行特征提取，将特征图按照图像金字塔的方式迭代的进行上采样和特征融合；然后进行空间注意力机制网络处理，之后利用分类子网络和回归子网络对特征图进行处理，最终得到螺栓是否丢失的检测结果。
Description
技术领域
本发明属于铁路货车检测技术领域，具体涉及一种铁路货车螺栓丢失检测方法、存储介质及设备。
背景技术
为了保证铁路货车的安全运行，对铁路货车部件的检测至关重要。早期的铁路货车部件检测依赖于人工完成，不仅需要花费非常多的人力，而且检测非常效率低，同时还非常容易出现漏检的情况。随着人工智能和深度学习的发展，利用深度学习技术已经能够实现铁路货车部件的自动检测，基于深度学习的铁路货车异常检测方法代替人工车辆安全检测，能够提高车辆安检效率，降低人力成本，消除人为因素对于检测结果的影响。
深度学习是一种数据驱动的模式分析算法，通过对输入图像进行特征提取，完成定位和分类等操作。虽然现有的深度学习技术已经可以实现大部分铁路货车部件的准确检测，但是利用传统的深度学习技术进行某些铁路货车部件的检测依然存在准确率有待于提高的问题。铁路货车图像的亮度较低，会严重影响深度学习技术的检测效果，尤其是铁路货车螺栓丢失异常检测任务具有图像亮度较低，且螺栓边缘与背景难以区分，即螺栓边缘不清晰，传统的深度学习检测方法难以定位并识别螺栓位置，造成大量误报警情况。此外，由于图像亮度较低，螺栓本身不出现反光等情况，图像内螺栓呈现为黑色，与螺栓丢失后产生的黑色孔洞特征极为相似，传统的深度学习检测方法难以区分特征相似的两类物体，造成大量误报警和漏报警。
发明内容
本发明为了解决现有的铁路货车螺栓丢失异常检测方式存在因图像亮度较低、图像内螺栓边缘模糊、故障图像与正常图像特征相似等导致检测效果不佳的问题。
一种铁路货车螺栓丢失检测方法，包括以下步骤：
S1、针对待检测的铁路货车螺栓图像，使用直方图均衡化来增强图像对比度，同时提取待检测的铁路货车螺栓图像的水平方向的轮廓图像和竖直方向的轮廓图像；将直方图均衡化后的图像、水平方向的轮廓图像以及竖直方向的轮廓图像相加得到输入到网络中的图像，即输入图像；
S2、利用改进的faster-rcnn网络模型对输入图像进行处理，所述改进的faster-rcnn网络模型的处理过程包括以下步骤：
S201、针对faster-rcnn网络的特征提取网络部分，使用改进的多尺度图像特征融合方法提取特征图像：
首先将输入图像进行尺寸缩放，记输入图像为I，缩放后的图像为I0.5，I1.0和I1.5，其中0.5、1.0和1.5分别为对输入图像尺寸缩放的系数，即I0.5为尺寸缩小为原始图像0.5倍的图像，I1.5为尺寸放大为原始图像1.5倍图像，I1.0为尺寸与原始图像相同的图像，即I1.0＝I；然后分别将得到的三种图像输入到ResNet-50的前4层卷积层中进行特征提取，得到特征图
其中k为图像缩放系数，即k∈{0.5，1.0，1.5}，i为特征提取器的卷积层数，即i∈{1，2，3，4}；对于相同缩放系数k的特征图，将不同层数i得到的特征图按照图像金字塔的方式迭代的进行上采样和特征融合，直到最后的特征尺寸与i＝1的特征尺寸相同，记最终得到的特征图为fk；
最后将特征图f0.5进行上采样处理，对f1.5进行下采样处理，使处理后的特征图尺寸与特征图f1.0尺寸相同，再将三个特征图进行特征融合得到最终的卷积输出特征图f；
S202、针在特征提取网络的之后进行空间注意力机制网络处理；空间注意力机制网络包含三个卷积单元，在三个卷积单元后再进行一次1x1卷积操作，将得到的特征图经过Softmax函数映射成[0,1]范围内的自然数，即该位置对应的权重值，最终输出注意力矩阵；空间注意力机制网络处理后得到特征图fa；
S203、利用faster-rcnn网络的分类子网络和回归子网络对特征图fa进行处理，最终得到铁路货车螺栓是否丢失的检测结果。
进一步地，所述改进的faster-rcnn网络模型在训练过程中，使用改进的损失函数进行训练，改进的损失函数的改进部分为针对分类损失对应的损失函数进行改进，具体如下：
在分类损失的损失函数中加入了三元组函数，与交叉熵函数进行加权作为模型的最终损失函数：E＝θEs(r)+(1-θ)Et(r,p,n)；
其中，θ为权值；r为输入样本，Es(r)为交叉熵损失函数对于输入r的损失函数值，Et(r,p,n)为三元组损失函数对于输入r的损失函数值，其中p、n为预先定义的正样本和负样本。
进一步地，所述三元组函数损失函数公式：Et＝max(d(a,p)-d(a,n)+margin,0)；
输入是一个三元组，包括锚示例a、正样本p以及负样本n；d(a,p)为锚示例a与正样本p的距离，d(a,n)为锚示例a与负样本n的距离，margin为超参数。
进一步地，权值θ＝0.65。
进一步地，在对f1.5进行下采样处理的过程中，使用空洞卷积进行下采样。
进一步地，空间注意力机制网络包括三个卷积单元，其中每一个卷积单元由一层卷积层、一层批正则化和一层激活函数ReLU构成。
进一步地，使用直方图均衡化来增强图像对比度的过程包括以下步骤：
针对待检测的铁路货车螺栓图像，首先读取灰度图像，计算平均亮度值，判断平均亮度值是否低于预设阈值a；若低于阈值，进行直方图均衡化：
①依次扫描原始灰度图像的每一个像素，计算出图像的灰度直方图；
②计算灰度直方图的累积分布函数；
③根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系；
④最后根据映射关系得到结果进行图像变换。
进一步地，提取待检测的铁路货车螺栓图像的边缘信息的过程使用Sobel算子对原始图像进行边缘检测，提取边界轮廓信息。
一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现一种铁路货车螺栓丢失检测方法。
一种铁路货车螺栓丢失检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8任意一项所述的一种铁路货车螺栓丢失检测方法。
有益效果：
为了解决背景技术中存在的问题，本发明提出了一种基于多尺度特征融合和三元组损失函数的铁路货车螺栓丢失检测方法。通过对图像进行预处理强化边缘信息，并改进传统目标检测网络实现对边缘不清晰物体的定位与分类，最后加入三元组损失函数使模型可以细粒度的区分黑色螺栓和螺栓丢失后的黑色孔洞两类图像。极大地提升了模型的准确率，同时降低了误报率和漏报率。具体体现为：
(1)可以自适应的实现图像边缘信息增强，无需人工加入先验信息。
(2)解决了由于图像亮度不足以及图像模糊带来的铁路货车螺栓的定位问题。
(3)解决了异常形态与正常形态图像特征相似的问题，极大地提升了铁路货车螺栓丢失异常检测的准确率。
附图说明
图1为直方图均衡化流程图。
图2为改进的faster-rcnn网络模型的处理流程图。
图3为注意力机制网络结构示意图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
本发明提出一种基于多尺度特征融合和三元组损失函数的铁路货车螺栓丢失检测方法。该方法在传统深度学习方法的基础上，改进网络结构并优化损失函数，并应用基于图像处理算法的图像预处理方法解决上述任务难点，完成异常检测。本发明应用直方图均衡化和基于Sobel算子的图像边缘提取技术实现对原始图像的预处理，可有效增强图像边缘特征。一般方法只是用边缘提取技术进行预处理；本发明首先使用直方图均衡化来使输入图像的亮度进行处理，再将边缘提取技术得到的物体轮廓信息与进行过直方图均衡化的输入图像进行融合。相比于一般方法，本发明在强化了物体边缘轮廓信息的基础上，保留了原始图像本身的细节特征，即物体内部的像素信息。
而且本发明在传统特征金字塔的基础上，将输入图像进行缩放得到不同尺寸的输入图像并输入特征提取器，通过上采用、下采样等特征缩放方法并进行特征融合得到包含不同尺度特征信息的特征图。需要说明的是：传统图像金字塔只在一张原始图像上进行特征采样，即只有一个尺寸的输入图像；本发明采用的方法是将原始图像首先进行缩放，得到多尺度的输入图像，分别对不同尺度的输入图像进行特征采样；相比与传统图像金字塔，本发明在输入时通过对原始图像进行缩放获得了更多尺度的语义信息，使模型在特征采样的过程中可以获得更宏观或更细节的特征信息。
同时本发明在传统faster-rcnn的基础上加入了注意力机制网络，将特征图通过注意力机制网络后与原始特征图进行融合，使网络能够捕获待检测螺栓区域附近的细粒度特征。需要说明的是：本发明新提出的注意力网络，与现有技术的注意力网络结构是不相同的，本发明提出的网注意力是针对螺栓图像的特点有针对性的设计的，并且首先在螺栓丢失检测任务中应用此方法，而且经过验证能够取得非常好的检测结果。
本发明引入三元组损失函数，可以更好的对特征表现相似的物体进行分类。特点体现在：首先螺栓丢失检测任务中引用三元组和交叉熵的加权函数作为新的损失函数。相比于现有技术，可以更好的区分任务中的相似物体。本发明将该方法引入铁路货车故障检测领域，并根据具体任务设置合适的超参数。本发明提出的基于多尺度特征融合和三元组损失函数的铁路货车螺栓丢失检测方法很好的解决了铁路货车螺栓图像的边缘模糊、亮度较低、特征差异不明显的问题，极大地提高了对于该种故障的识别率。
此外，本发明在进行特征图下采样的过程中使用空洞卷积代替传统池化操作，避免池化操作所带来的细节特征信息丢失。主要特点体现在：本发明首先在螺栓丢失检测任务中引入空洞卷积方法，减少特征下采样过程带来的细节信息丢失。一般方法中空洞卷积常用于语义分割任务，本发明将该方法引入铁路货车故障检测领域。
具体实施方式一：
本实施方式为一种铁路货车螺栓丢失检测方法，包括以下步骤：
S1、针对待检测的铁路货车螺栓图像，使用直方图均衡化来增强图像对比度，同时提取待检测的铁路货车螺栓图像的水平方向的轮廓图像和竖直方向的轮廓图像；将直方图均衡化后的图像、水平方向的轮廓图像以及竖直方向的轮廓图像相加得到输入到网络中的图像，即输入图像；
S2、利用改进的faster-rcnn网络模型对输入图像进行处理，所述改进的faster-rcnn网络模型的处理过程包括以下步骤：
S201、针对faster-rcnn网络的特征提取网络部分，使用改进的多尺度图像特征融合方法提取特征图像：
首先将输入图像进行尺寸缩放，记输入图像为I，缩放后的图像为I0.5，I1.0和I1.5，其中0.5、1.0和1.5分别为对输入图像尺寸缩放的系数，即I0.5为尺寸缩小为原始图像0.5倍的图像，I1.5为尺寸放大为原始图像1.5倍图像，I1.0为尺寸与原始图像相同的图像，即I1.0＝I；然后分别将得到的三种图像输入到ResNet-50的前4层卷积层中进行特征提取，得到特征图
其中k为图像缩放系数，即k∈{0.5，1.0，1.5}，i为特征提取器的卷积层数，即i∈{1，2，3，4}；对于相同缩放系数k的特征图，将不同层数i得到的特征图按照图像金字塔的方式迭代的进行上采样和特征融合，直到最后的特征尺寸与i＝1的特征尺寸相同，记最终得到的特征图为fk；
最后将特征图f0.5进行上采样处理，对f1.5进行下采样处理，使处理后的特征图尺寸与特征图f1.0尺寸相同，再将三个特征图进行特征融合得到最终的卷积输出特征图f；
S202、针在特征提取网络的之后进行空间注意力机制网络处理；空间注意力机制网络包含三个卷积单元，在三个卷积单元后再进行一次1x1卷积操作，将得到的特征图经过Softmax函数映射成[0,1]范围内的自然数，即该位置对应的权重值，最终输出注意力矩阵；空间注意力机制网络处理后得到特征图fa；
S203、利用faster-rcnn网络的分类子网络和回归子网络对特征图fa进行处理，最终得到铁路货车螺栓是否丢失的检测结果。
具体实施方式二：
本实施方式为一种铁路货车螺栓丢失检测方法，本实施方式中，改进的faster-rcnn网络模型在训练过程中，使用改进的损失函数进行训练，改进的损失函数的改进部分为针对分类损失对应的损失函数进行改进，具体如下：
在分类损失的损失函数中加入了三元组函数，与交叉熵函数进行加权作为模型的最终损失函数：E＝θEs(r)+(1-θ)Et(r,p,n)；
其中，θ为权值；r为输入样本，Es(r为交叉熵损失函数对于输入r的损失函数值，Et(r,p,n)为三元组损失函数对于输入r的损失函数值，其中p、n为预先定义的正样本和负样本。
其他步骤和参数与具体实施方式一相同。
具体实施方式三：
本实施方式为一种铁路货车螺栓丢失检测方法，本实施方式中，三元组函数损失函数公式：Et＝max(d(a,p)-d(a,n)+margin,0)；
输入是一个三元组，包括锚示例a、正样本p以及负样本n；d(a,p)为锚示例a与正样本p的距离，d(a,n)为锚示例a与负样本n的距离，margin为超参数。
其他步骤和参数与具体实施方式二相同。
具体实施方式四：
本实施方式为一种铁路货车螺栓丢失检测方法，本实施方式中，权值θ＝0.65。
其他步骤和参数与具体实施方式三相同。
具体实施方式五：
本实施方式为一种铁路货车螺栓丢失检测方法，本实施方式中，在对f1.5进行下采样处理的过程中，使用空洞卷积进行下采样。
其他步骤和参数与具体实施方式一至四之一相同。
具体实施方式六：
本实施方式为一种铁路货车螺栓丢失检测方法，本实施方式中，空间注意力机制网络包括三个卷积单元，其中每一个卷积单元由一层卷积层、一层批正则化和一层激活函数ReLU构成。
其他步骤和参数与具体实施方式一至五之一相同。
具体实施方式七：
本实施方式为一种铁路货车螺栓丢失检测方法，本实施方式中，使用直方图均衡化来增强图像对比度的过程包括以下步骤：
针对待检测的铁路货车螺栓图像，首先读取灰度图像，计算平均亮度值，判断平均亮度值是否低于预设阈值a；若低于阈值，进行直方图均衡化：
①依次扫描原始灰度图像的每一个像素，计算出图像的灰度直方图；
②计算灰度直方图的累积分布函数；
③根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系；
④最后根据映射关系得到结果进行图像变换。
其他步骤和参数与具体实施方式一至六之一相同。
具体实施方式八：
本实施方式为一种铁路货车螺栓丢失检测方法，本实施方式中，提取待检测的铁路货车螺栓图像的边缘信息的过程使用Sobel算子对原始图像进行边缘检测，提取边界轮廓信息。
其他步骤和参数与具体实施方式一至七之一相同。
具体实施方式九：
本实施方式为一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种铁路货车螺栓丢失检测方法。
应当理解，指令包括本发明描述的任何方法对应的计算机程序产品、软件或计算机化方法；所述指令可以用于编程计算机系统，或其他电子装置。计算机存储介质可以包括其上存储有指令的可读介质，可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层，或者适合于存储电子指令的其他类型的介质。
具体实施方式十：
本实施方式为一种铁路货车螺栓丢失检测设备，所述设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；
所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种铁路货车螺栓丢失检测方法。
实施例
本实施例所述的铁路货车螺栓丢失检测方法，包括以下步骤：
1.图像预处理：
将待检测的铁路货车螺栓图像记为原始图像。原始图像为灰度图，即把白色与黑色之间按对数关系分为256个等级，纯白色为255，纯黑色为0，认为纯白色为“亮”，纯黑色为“暗”，因此将图像亮度量化即为该通道像素值越大则该像素点越亮，该通道像素值越小则该像素点越暗。为了增强图像内的边缘信息，进行图像预处理：
(1)使用直方图均衡化来增强图像对比度：
直方图反映了图像中的灰度分布规律。它描述每个灰度级具有的像素个数，但不包含这些像素在图像中的位置信息。图像直方图不关心像素所处的空间位置，因此不受图像旋转和平移变化的影响，可以作为图像的特征。直方图均衡化是一种增强图像对比度的方法，其主要思想是将一副图像的直方图分布通过累积分布函数变成近似均匀分布，从而增强图像的对比度。
如图1所示，首先读取灰度图像，计算平均亮度值，判断平均亮度值是否高于预设阈值a：若高于阈值则认为图像整体亮度正常，无需进行直方图均衡化；否则认为图像整体亮度偏暗，需要进行直方图均衡化使图像内像素亮暗分布均匀。直方图均衡化的步骤为：
①依次扫描原始灰度图像的每一个像素，计算出图像的灰度直方图；
②计算灰度直方图的累积分布函数；
③根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系；
④最后根据映射关系得到结果进行图像变换。
(2)提取原始图像的边缘信息：
使用Sobel算子对原始图像进行边缘检测。该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像，其公式如下：
检测得到的Gx和Gy可以理解为原始图像A在竖直方向和水平方向的轮廓图像，即算法在输入图像内提取到的边界轮廓信息。
(3)将上述得到的直方图均衡化后的图像、水平方向的轮廓图像以及竖直方向的轮廓图像相加得到输入到网络中的图像，记作网络输入图像。网络输入图像即保留了原始图像内的特征信息，又在此基础上增加了轮廓信息，与原始图像相比具有更深层次的语义信息，使网络模型能够更好的进行螺栓定位。
2.利用改进的faster-rcnn网络模型对输入图像进行处理，所述faster-rcnn网络模型结构的改进如下：
(1)针对faster-rcnn网络的特征提取网络部分，使用改进的多尺度图像特征融合方法提取特征图像：
传统的图像金字塔首先对输入图像进行卷积操作，分别取不同卷积层的输出结果作为不同尺寸的特征图，再对尺寸最小的特征图进行1x1的卷积操作和最临近上采样操作至与上层特征图尺寸一致，并将两特征图进行特征融合。迭代上述操作直到结果特征图尺寸与第一层卷积得到的特征图相同。在传统图像金字塔的基础上，本发明对多尺度图像特征的融合进行了改进。
如图2所示，本发明首先对输入图像的尺寸进行更改。相比传统图像金字塔只使用原始输入图像的尺寸进行特征提取，首先将输入图像进行尺寸缩放，记输入图像为I，缩放后的图像为I0.5，I1.0和I1.5，其中0.5、1.0和1.5分别为对输入图像尺寸缩放的系数，即I0.5为尺寸缩小为原始图像0.5倍的图像，I1.5为尺寸放大为原始图像1.5倍图像，I1.0为尺寸与原始图像相同的图像，即I1.0＝I。然后分别将得到的三种图像输入到ResNet-50的前4层卷积层中进行特征提取，得到特征图
其中k为图像缩放系数，即k∈{0.5，1.0，1.5}，i为特征提取器的卷积层数，即i∈{1，2，3，4}。对于相同缩放系数k的特征图，将不同层数i得到的特征图按照传统图像金字塔的方式迭代的进行上采样和特征融合，直到最后的特征尺寸与i＝1的特征尺寸相同，记最终得到的特征图为fk。本发明在传统图像金字塔的基础上，在输入图像部分进行了改进，即输入不同分辨率的图像，让模型可以更好的识别输入图像内的大物体和小物体的特征，从而有效提升货车螺栓的检测准确率。
最后将特征图f0.5进行上采样处理，对f1.5进行下采样处理，使处理后的特征图尺寸与特征图f1.0尺寸相同，再将三个特征图进行特征融合得到最终的卷积输出特征图f。
本发明的多尺度图像特征融合方法对输入图像进行缩小来增加模型对图像整体语义信息的捕获，再对输入图像进行放大来增加模型对待检测物体的细节信息的捕获，同时保留原有尺度输入图像保留图像的原始细节信息，与传统图像金字塔相比增加了更多尺度下图像特征信息，使模型可以更好的定位和识别铁路货车螺栓。
引入空洞卷积：在上述对f1.5进行下采样处理的过程中，使用空洞卷积代替传统的池化操作来进行下采样。空洞卷积通过在卷积核内部注入空洞，在不增加计算量的前提下扩大卷积核的尺寸，以此来增加感受野。
传统池化方法会在过程中损失部分尺度较小的特征信息。相比于传统卷积方法，空洞卷积在传统卷积内部注入空洞，增加了卷积核的感受野，在不增加卷积操作运算量的前提下使卷积得到的特征图尺度变小。同时空洞卷积可以有效的遍历图像每一部分，避免由于池化造成的图像部分特征信息的损失。
(2)在faster-rcnn中加入空间注意力机制网络，空间注意力机制网络如图3所示：
在特征提取网络的后面加入空间注意力机制网络。空间注意力机制网络可以学习到对于螺栓定位任务有效的注意力机制，即学习到一个与输入特征f向量空间尺度(即长和宽相同)的矩阵，每个矩阵值a∈[0,1]，对应输入特征向量f中每个空间位置对于该任务所分配的权重值，即重要程度。a值越大代表该位置对于该任务越重要，反之则越不重要。通过将学习到的注意力矩阵与输入特征向量f相乘得到新的特征向量，记作fa。通过注意力矩阵的加权作用，fa中对于该任务重要的部分(在螺栓丢失检测任务中可以理解为图像内螺栓部分的图像)的特征值被激活，而不重要的部分(在螺栓丢失检测任务中可以理解为背景图像)的特征值被抑制，使后续分类和定位结构可以更关注于重要的部分，减少背景信息的噪声干扰。
在本发明中，注意力机制网络包含三个卷积单元，其中每一个卷积单元由一层卷积层、一层批正则化和一层激活函数ReLU构成。在三个卷积单元后再进行一次1x1卷积操作，将得到的特征图经过Softmax函数映射成[0,1]范围内的自然数，然后通过split处理之后得到位置对应的权重值，最终输出注意力矩阵。
利用图像预处理的方式获得预处理后的图像，并构建训练集，利用训练集对改进的faster-rcnn网络模型进行训练，得到训练好的改进faster-rcnn网络模型；在训练过程中对faster-rcnn网络模型的损失函数进行改进，改进的损失函数如下：
为了解决黑色螺栓与螺栓丢失后形成的黑色孔洞，在分类损失损失函数中加入了三元组函数，与传统交叉熵函数进行加权作为模型的分类损失(cls loss)最终损失函数。
三元组函数损失函数公式：
L＝max(d(a,p)-d(a,n)+margin,0)
输入是一个三元组，包括锚示例a、正示例p以及负示例n，通过优化锚示例a与正示例p的距离d(a,p)小于锚示例a与负示例n的距离d(a,n)，实现样本之间的相似性计算。其中margin为一个超参数，避免在训练过程中模型欠拟合。因为如果没margin，三元组函数公式就变成了L＝max(d(a,p)-d(a,n),0)，那么只要d(a,p)＝d(a,n)就可以满足上式，也就是锚点a和正例p与锚点a和负例n的距离一样即可，这样模型很难正确区分正例和负例。
改进的分类损失损失函数的公式为：
E＝θEs(r+(1-θ)Et(r,p,n)
其中θ为权值，用来分配三元组函数和交叉熵函数在损失函数中的占比，选择θ＝0.65。r为输入样本，Es(r为交叉熵损失函数对于输入r的损失函数值，Et(r,p,n)为三元组损失函数对于输入r的损失函数值，其中p、n为预先定义的正样本和负样本。
在区分黑色螺栓类别和黑色孔洞两个类别时，在训练集中选择一个和待检测图像标注类别相同的图像作为正样本p，选择一个和待检测图像标注类别不同的图像作为负样本n，在模型训练的过程中，通过三元组函数可以更好的约束模型梯度优化的方向，让模型得到的特征向量在特征空间中更靠近正样本而远离负样本，因此可以更好的区分黑色螺栓和黑色孔洞两个类别。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.一种铁路货车螺栓丢失检测方法，其特征在于，包括以下步骤：
S1、针对待检测的铁路货车螺栓图像，使用直方图均衡化来增强图像对比度，同时提取待检测的铁路货车螺栓图像的水平方向的轮廓图像和竖直方向的轮廓图像；将直方图均衡化后的图像、水平方向的轮廓图像以及竖直方向的轮廓图像相加得到输入到网络中的图像，即输入图像；
S2、利用改进的faster-rcnn网络模型对输入图像进行处理，所述改进的faster-rcnn网络模型的处理过程包括以下步骤：
S201、针对faster-rcnn网络的特征提取网络部分，使用改进的多尺度图像特征融合方法提取特征图像：
首先将输入图像进行尺寸缩放，记输入图像为I，缩放后的图像为I0.5，I1.0和I1.5，其中0.5、1.0和1.5分别为对输入图像尺寸缩放的系数，即I0.5为尺寸缩小为原始图像0.5倍的图像，I1.5为尺寸放大为原始图像1.5倍图像，I1.0为尺寸与原始图像相同的图像，即I1.0＝I；然后分别将得到的三种图像输入到ResNet-50的前4层卷积层中进行特征提取，得到特征图
其中k为图像缩放系数，即k∈{0.5，1.0，1.5}，i为特征提取器的卷积层数，即i∈{1，2，3，4}；对于相同缩放系数k的特征图，将不同层数i得到的特征图按照图像金字塔的方式迭代的进行上采样和特征融合，直到最后的特征尺寸与i＝1的特征尺寸相同，记最终得到的特征图为fk；
最后将特征图f0.5进行上采样处理，对f1.5进行下采样处理，使处理后的特征图尺寸与特征图f1.0尺寸相同，再将三个特征图进行特征融合得到最终的卷积输出特征图f；
S202、针在特征提取网络的之后进行空间注意力机制网络处理；空间注意力机制网络包含三个卷积单元，在三个卷积单元后再进行一次1x1卷积操作，将得到的特征图经过Softmax函数映射成[0,1]范围内的自然数，即该位置对应的权重值，最终输出注意力矩阵；空间注意力机制网络处理后得到特征图fa；
S203、利用faster-rcnn网络的分类子网络和回归子网络对特征图fa进行处理，最终得到铁路货车螺栓是否丢失的检测结果。
2.根据权利要求1所述的一种铁路货车螺栓丢失检测方法，其特征在于，所述改进的faster-rcnn网络模型在训练过程中，使用改进的损失函数进行训练，改进的损失函数的改进部分为针对分类损失对应的损失函数进行改进，具体如下：
在分类损失的损失函数中加入了三元组函数，与交叉熵函数进行加权作为模型的最终损失函数：E＝θEs(r+(1-θ)Et(r,p,n)；
其中，θ为权值；r为输入样本，Es(r为交叉熵损失函数对于输入r的损失函数值，Et(r,p,n)为三元组损失函数对于输入r的损失函数值，其中p、n为预先定义的正样本和负样本。
3.根据权利要求2所述的一种铁路货车螺栓丢失检测方法，其特征在于，所述三元组函数损失函数公式：Et＝max(d(a,p)-d(a,n)+margin,0)；
输入是一个三元组，包括锚示例a、正样本p以及负样本n；d(a,p)为锚示例a与正样本p的距离，d(a,n)为锚示例a与负样本n的距离，margin为超参数。
4.根据权利要求3所述的一种铁路货车螺栓丢失检测方法，其特征在于，权值θ＝0.65。
5.根据权利要求4所述的一种铁路货车螺栓丢失检测方法，其特征在于，在对f1.5进行下采样处理的过程中，使用空洞卷积进行下采样。
6.根据权利要求5所述的一种铁路货车螺栓丢失检测方法，其特征在于，空间注意力机制网络包括三个卷积单元，其中每一个卷积单元由一层卷积层、一层批正则化和一层激活函数ReLU构成。
7.根据权利要求1至6任意一项所述的一种铁路货车螺栓丢失检测方法，其特征在于，使用直方图均衡化来增强图像对比度的过程包括以下步骤：
针对待检测的铁路货车螺栓图像，首先读取灰度图像，计算平均亮度值，判断平均亮度值是否低于预设阈值a；若低于阈值，进行直方图均衡化：
①依次扫描原始灰度图像的每一个像素，计算出图像的灰度直方图；
②计算灰度直方图的累积分布函数；
③根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系；
④最后根据映射关系得到结果进行图像变换。
8.根据权利要求7所述的一种铁路货车螺栓丢失检测方法，其特征在于，提取待检测的铁路货车螺栓图像的边缘信息的过程使用Sobel算子对原始图像进行边缘检测，提取边界轮廓信息。
9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8任意一项所述的一种铁路货车螺栓丢失检测方法。
10.一种铁路货车螺栓丢失检测设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8任意一项所述的一种铁路货车螺栓丢失检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310156720.6A CN116310358B (zh) | 2023-02-23 | 2023-02-23 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310156720.6A CN116310358B (zh) | 2023-02-23 | 2023-02-23 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116310358A true CN116310358A (zh) | 2023-06-23 |
| CN116310358B CN116310358B (zh) | 2023-12-15 |
Family
ID=86819725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310156720.6A Active CN116310358B (zh) | 2023-02-23 | 2023-02-23 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310358B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958713A (zh) * | 2023-09-20 | 2023-10-27 | 中航西安飞机工业集团股份有限公司 | 一种航空零部件表面紧固件快速识别与统计方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428225A (zh) * | 2018-01-30 | 2018-08-21 | 李家菊 | 基于多尺度多特征的影像科用脑部图像融合识别方法 |
| CN109800736A (zh) * | 2019-02-01 | 2019-05-24 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
| CN110008842A (zh) * | 2019-03-09 | 2019-07-12 | 同济大学 | 一种基于深度多损失融合模型的行人重识别方法 |
| CN110675407A (zh) * | 2019-09-17 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 一种图像实例分割方法、装置、电子设备及存储介质 |
| CN110969171A (zh) * | 2019-12-12 | 2020-04-07 | 河北科技大学 | 基于改进卷积神经网络的图像分类模型、方法及应用 |
| US20200372686A1 (en) * | 2019-05-22 | 2020-11-26 | Fujitsu Limited | Image coding apparatus, probability model generating apparatus and image decoding apparatus |
| CN112329658A (zh) * | 2020-11-10 | 2021-02-05 | 江苏科技大学 | 一种对于yolov3网络的检测算法改进方法 |
| CN113516012A (zh) * | 2021-04-09 | 2021-10-19 | 湖北工业大学 | 一种基于多层级特征融合的行人重识别方法及系统 |
| CN114041161A (zh) * | 2019-06-06 | 2022-02-11 | 三星电子株式会社 | 训练用于增强图像细节的神经网络模型的方法和装置 |
| CN114202473A (zh) * | 2021-11-23 | 2022-03-18 | 温州大学 | 一种基于多尺度特征和注意力机制的图像复原方法及装置 |
| CN114331913A (zh) * | 2022-01-06 | 2022-04-12 | 福州大学 | 基于残差注意力块的运动模糊图像复原方法 |
| CN115346068A (zh) * | 2022-08-02 | 2022-11-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
-
2023
- 2023-02-23 CN CN202310156720.6A patent/CN116310358B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428225A (zh) * | 2018-01-30 | 2018-08-21 | 李家菊 | 基于多尺度多特征的影像科用脑部图像融合识别方法 |
| CN109800736A (zh) * | 2019-02-01 | 2019-05-24 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
| CN110008842A (zh) * | 2019-03-09 | 2019-07-12 | 同济大学 | 一种基于深度多损失融合模型的行人重识别方法 |
| US20200372686A1 (en) * | 2019-05-22 | 2020-11-26 | Fujitsu Limited | Image coding apparatus, probability model generating apparatus and image decoding apparatus |
| CN114041161A (zh) * | 2019-06-06 | 2022-02-11 | 三星电子株式会社 | 训练用于增强图像细节的神经网络模型的方法和装置 |
| CN110675407A (zh) * | 2019-09-17 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 一种图像实例分割方法、装置、电子设备及存储介质 |
| CN110969171A (zh) * | 2019-12-12 | 2020-04-07 | 河北科技大学 | 基于改进卷积神经网络的图像分类模型、方法及应用 |
| CN112329658A (zh) * | 2020-11-10 | 2021-02-05 | 江苏科技大学 | 一种对于yolov3网络的检测算法改进方法 |
| CN113516012A (zh) * | 2021-04-09 | 2021-10-19 | 湖北工业大学 | 一种基于多层级特征融合的行人重识别方法及系统 |
| CN114202473A (zh) * | 2021-11-23 | 2022-03-18 | 温州大学 | 一种基于多尺度特征和注意力机制的图像复原方法及装置 |
| CN114331913A (zh) * | 2022-01-06 | 2022-04-12 | 福州大学 | 基于残差注意力块的运动模糊图像复原方法 |
| CN115346068A (zh) * | 2022-08-02 | 2022-11-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 齐鸿雨: "基于Faster R-CNN和知识表达的航拍图像中螺栓缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 3, pages 042 - 2985 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958713A (zh) * | 2023-09-20 | 2023-10-27 | 中航西安飞机工业集团股份有限公司 | 一种航空零部件表面紧固件快速识别与统计方法及系统 |
| CN116958713B (zh) * | 2023-09-20 | 2023-12-15 | 中航西安飞机工业集团股份有限公司 | 一种航空零部件表面紧固件快速识别与统计方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116310358B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN111080620B (zh) | 一种基于深度学习的道路病害检测方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN108154519A (zh) | 眼底图像中血管的分割方法、装置及存储介质 | |
| CN110827260B (zh) | 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法 | |
| CN111968095B (zh) | 一种产品表面缺陷检测方法及系统及装置及介质 | |
| CN111652295B (zh) | 一种铁路货车钩尾销托梁脱落故障识别方法 | |
| CN109241867B (zh) | 采用人工智能算法识别数字岩心图像的方法及装置 | |
| CN109671071A (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
| CN113313657A (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN110766016B (zh) | 一种基于概率神经网络的喷码字符识别方法 | |
| CN116310358B (zh) | 铁路货车螺栓丢失检测方法、存储介质及设备 | |
| CN111507426A (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
| CN115222650A (zh) | 一种混合工业零件缺陷检测算法 | |
| CN113256624A (zh) | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN110852358A (zh) | 一种基于深度学习的车辆类型判别方法 | |
| CN113989257A (zh) | 基于人工智能技术的电力综合管廊沉降裂缝识别方法 | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
| CN111898410A (zh) | 无约束场景下的基于上下文推理的人脸检测方法 | |
| Zhao et al. | Research on detection method for the leakage of underwater pipeline by YOLOv3 | |
| CN115376108A (zh) | 一种复杂天气下障碍物检测方法及装置 | |
| CN116934762B (zh) | 锂电池极片表面缺陷的检测系统及方法 | |
| CN110110667A (zh) | 一种硅藻图像的处理方法、系统及相关组件 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |