CN113920140B - 一种基于深度学习的铁路货车管盖脱落故障识别方法 - Google Patents

一种基于深度学习的铁路货车管盖脱落故障识别方法 Download PDF

Info

Publication number
CN113920140B
CN113920140B CN202111341766.2A CN202111341766A CN113920140B CN 113920140 B CN113920140 B CN 113920140B CN 202111341766 A CN202111341766 A CN 202111341766A CN 113920140 B CN113920140 B CN 113920140B
Authority
CN
China
Prior art keywords
pipe cover
deep learning
network
representing
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111341766.2A
Other languages
English (en)
Other versions
CN113920140A (zh
Inventor
张宇墨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202111341766.2A priority Critical patent/CN113920140B/zh
Publication of CN113920140A publication Critical patent/CN113920140A/zh
Application granted granted Critical
Publication of CN113920140B publication Critical patent/CN113920140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

一种基于深度学习的铁路货车管盖脱落故障识别方法，涉及图像处理技术领域，针对现有技术中难以直接检测大分辨率图像的问题，本申请将自动识别技术引入货车故障检测，实现故障自动识别及报警，操作人员只需对报警结果进行确认，有效节约人力成本，提高作业质量和作业效率；提出了一种分级式的检测方法，先将管盖部件及其周围区域视作整体进行检测，之后对该区域进行二次检测，解决了深度学习方法难以直接检测大分辨率图像的问题；对网络中的针对检测目标，优化网络中的锚框生成方法，提高检测准确率；优化锚框交并比计算方式，使用完全交并比(Complete IoU)，同时考虑锚框距离以及形状相似性。

Description

一种基于深度学习的铁路货车管盖脱落故障识别方法
技术领域
本发明涉及图像处理技术领域，具体为一种基于深度学习的铁路货车管盖脱落故障识别方法。
背景技术
铁路货车加热及排油装置主要由内置排管式加热装置和排油装置组成，包括内加热排管与外进汽排水管路。加热管盖与排油管盖可保证装置正常工作，货车行驶过程中，若排油管盖脱落会导致漏油，若加热管盖脱落会导致管内进水，堵塞管路。
现有技术中处理检测零部件异常采用深度学习方法，但深度学习方法难以直接检测大分辨率图像，进而给利用深度学习检测铁路货车管盖脱落故障设置了障碍。
发明内容
本发明的目的是：针对现有技术中难以直接检测大分辨率图像的问题，提出一种基于深度学习的铁路货车管盖脱落故障识别方法。
本发明为了解决上述技术问题采取的技术方案是：
一种基于深度学习的铁路货车管盖脱落故障识别方法，包括：
步骤一：获取铁路货车线阵图像；
步骤二：对线阵图像中加热管与排油管区域图像进行标记，构建训练集1；
步骤三：对线阵图像中加热管盖与排油管盖的区域图像进行标记，构建训练集2；
步骤四：利用线阵图像和训练集1、线阵图像和训练集2分别训练Faster RCNN网络，得到加热管与排油管检测网络和加热管盖与排油管盖检测网络；
步骤五：将待识别图像输入加热管与排油管检测网络得到包含加热管与排油管区域的子图像，然后将包含加热管与排油管区域的子图像输入加热管盖与排油管盖检测网络进行管盖脱落故障识别。
进一步的，所述Faster RCNN网络为改进的Faster RCNN网络，所述改进的FasterRCNN网络具体执行如下步骤：
步骤四一：获取训练集中标签样本，计算ground-truth box的长宽比，并计算ground-truth box长宽比的均值
Figure BDA0003352429230000011
然后生成
Figure BDA0003352429230000012
1:1与
Figure BDA0003352429230000013
三种区域；
步骤四二：利用CIoU将
Figure BDA0003352429230000014
1:1与
Figure BDA0003352429230000015
三种区域与真实标签样本进行重合度计算及将三种区域根据重合度由大到小的排序，并根据排序结果选取前目标数量个候选框区域；
步骤四三；将排序选取结果与真实标签样本重合区域中所有特征点进行回归操作，得到偏移量；
步骤四四：对所有特征点进行回归操作后，计算所有偏移量的平均值，将得到的所有偏移量的平均值作为最终的偏移量，之后将回归后的特征图送入全连接层，得到类别信息。
进一步的，所述均值
Figure BDA0003352429230000021
表示为：
Figure BDA0003352429230000022
其中，n表示样本总数，Ri表示第i个ground-truth box长宽比的均值。
进一步的，所述CIoU表示为：
Figure BDA0003352429230000023
其中，b，bgt分别代表预测框和真实框的中心点，p代表预测框和真实框中心点之间的欧氏距离，c表示两个区域最小外接矩形的对角线的距离，a是权重函数，v表示预测框和标注框的相似性参数。
进一步的，所述回归操作表示为：
li＝(xi-xl)/wP，ti＝(yi-yt)/hP，
ri＝(xr-xi)/wP，bi＝(yb-yi)/hP.
其中(x1，yt)与(xr，yb)分别为真实标签左上角与右下角的坐标，(xi，yi)为特征点的坐标，li，ti，ri，bi表示特征点在左，上，右，下方向的偏移量，wP，hP为候选区域宽高。
进一步的，所述预测框和标注框的相似性参数表示为：
Figure BDA0003352429230000024
其中，w，h，wgt，hgt分别表示预测框和真实框的宽和高。
进一步的，所述权重函数表示为：
Figure BDA0003352429230000025
进一步的，所述改进的Faster RCNN网络损失函数为：
Figure BDA0003352429230000031
其中，Ncls表示一批数据中所有样本的数量，Nreg表示RPN生成的锚框位置个数，λ表示平衡分类损失与回归损失的参数，pi表示第i个样本预测为真实标签的概率，pi*当第i个样本为正样本时为1，负样本时为0，ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。
进一步的，所述步骤二之前对待测图像进行高斯滤波处理。
进一步的，所述高斯滤波表示为：
Figure BDA0003352429230000032
其中，x，y为像素坐标，σ为标准差。
本发明的有益效果是：
1、将自动识别技术引入货车故障检测，实现故障自动识别及报警，操作人员只需对报警结果进行确认，有效节约人力成本，提高作业质量和作业效率；
2、提出了一种分级式的检测方法，先将管盖部件及其周围区域视作整体进行检测，之后对该区域进行二次检测，解决了深度学习方法难以直接检测大分辨率图像的问题；
3、对网络中的针对检测目标，优化网络中的锚框生成方法，提高检测准确率；
4、优化锚框交并比计算方式，使用完全交并比(Complete IoU)，同时考虑锚框距离以及形状相似性。
附图说明
图1为中间部图像示意图；
图2为增强后的中间部图像示意图；
图3为Faster RCNN网络结构图；
图4为排油管盖图像；
图5为加热管盖图像；
图6为故障识别流程。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：参照图6具体说明本实施方式，本实施方式所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，包括：
步骤一：获取铁路货车线阵图像；
步骤二：对线阵图像中加热管与排油管区域图像进行标记，构建训练集1；
步骤三：对线阵图像中加热管盖与排油管盖的区域图像进行标记，构建训练集2；
步骤四：利用线阵图像和训练集1、线阵图像和训练集2分别训练Faster RCNN网络，得到加热管与排油管检测网络和加热管盖与排油管盖检测网络；
步骤五：将待识别图像输入加热管与排油管检测网络得到包含加热管与排油管区域的子图像，然后将包含加热管与排油管区域的子图像输入加热管盖与排油管盖检测网络进行管盖脱落故障识别。
具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是Faster RCNN网络为改进的Faster RCNN网络，改进的FasterRCNN网络具体执行如下步骤：
步骤四一：获取训练集中标签样本，计算ground-truth box的长宽比，并计算ground-truth box长宽比的均值
Figure BDA0003352429230000041
然后生成
Figure BDA0003352429230000042
1:1与
Figure BDA0003352429230000043
三种区域；
步骤四二：利用CIoU将
Figure BDA0003352429230000044
1:1与
Figure BDA0003352429230000045
三种区域与真实标签样本进行重合度计算及将三种区域根据重合度由大到小的排序，并根据排序结果选取前目标数量个候选框区域；
步骤四三；将排序选取结果与真实标签样本重合区域中所有特征点进行回归操作，得到偏移量；
步骤四四：对所有特征点进行回归操作后，计算所有偏移量的平均值，将得到的所有偏移量的平均值作为最终的偏移量，之后将回归后的特征图送入全连接层，得到类别信息。
具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是均值
Figure BDA0003352429230000046
表示为：
Figure BDA0003352429230000047
其中，n表示样本总数，Ri表示第i个ground-truth box长宽比的均值。
具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是CIoU表示为：
Figure BDA0003352429230000048
其中，b，bgt分别代表预测框和真实框的中心点，p代表预测框和真实框中心点之间的欧氏距离，c表示两个区域最小外接矩形的对角线的距离，a是权重函数，v表示预测框和标注框的相似性参数。
具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是预测框和标注框的相似性参数表示为：
li＝(xi-xl)/wP，ti＝(yi-yt)/hP，
ri＝(xr-xi)/wP，bi＝(yb-yi)/hP.
其中(xl，yt)与(xr，yb)分别为真实标签左上角与右下角的坐标，(xi，yi)为特征点的坐标，li，ti，ri，bi表示特征点在左，上，右，下方向的偏移量，wP,hP为候选区域宽高。
具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是相似性参数表示为：
Figure BDA0003352429230000051
其中，w，h，wgt，hgt分别表示两个区域的宽和高。
具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是权重函数表示为：
Figure BDA0003352429230000052
具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是改进的Faster RCNN网络损失函数为：
Figure BDA0003352429230000053
其中，Ncls表示一批数据中所有样本的数量，Nreg表示RPN生成的锚框位置个数，λ表示平衡分类损失与回归损失的参数，pi表示第i个样本预测为真实标签的概率，pi*当第i个样本为正样本时为1，负样本时为0，ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。
具体实施方式九：本实施方式是对具体实施方式八的进一步说明，本实施方式与具体实施方式八的区别是步骤二之前对待测图像进行高斯滤波处理。
具体实施方式十：本实施方式是对具体实施方式九的进一步说明，本实施方式与具体实施方式九的区别是高斯滤波表示为：
Figure BDA0003352429230000061
其中，x，y为像素坐标，σ为标准差。
1、线阵图像获取
分别在货车轨道两侧以及底部搭建高清设备，对高速通过的货车进行拍摄，获取货车的多个大小为1440×1440的图像。采用线扫描，可实现图像无缝拼接，生成视野大、精度高的二维图像。
2、待检测图像获取
将原始线阵图像进行拼接，获得货车原始图像，并将原始图像重采样为2000×500分辨率，如图1所示。并针对图像光照不足问题，进行自适应直方图均衡化这里借助了OPENCV图像开发工具，调用函数equalizeHist。同时针对相机拍摄过程中可能出现的椒盐噪声等干扰，采用高斯滤波对图片进行处理，过滤噪声。
高斯滤波公式：
Figure BDA0003352429230000062
其中，x，y为像素坐标，σ为标准差
3、优化网络结构，过程如下：
本发明采用改进型Faster RCNN网络作为检测网络。Faster RCNN有区域建议网络(RPN)和目标检测网络Fast RCNN组成。Faster RCNN采用交替训练使两个网络共享卷积层，区域建议网络采用“注意力”机制产生候选区域，并利用Fast RCNN进行目标检测，同时缩短检测时间并提升检测精度，网络示意图如图3所示。
区域建议网络的基本思想是在特征图中随机生成候选区域，这些区域可能包含目标，以任意大小的图像作为输入，输出一组矩形的目标提议。为了生成区域提议，将输入特征映射的n×n空间窗口作为输入，每个滑动窗口映射到一个低维特征，并被输入到边框回归层和分类层。区域建议网络在每个滑动位置预测多个区域提议，预测不同尺度和长宽的候选区域，在改进后的网络中，先获取所有标记区域的长宽比，然后取长宽比的多个峰值，并生成多个锚框。
Fast RCNN目标检测网络的基本思想是得到最终物体的位置和相应的概率。检测网络与区域建议网络相同，都是利用卷积层对图像进行特征提取，因此与区域建议网络共享权值。
其中，分类损失如下：
Figure BDA0003352429230000063
其中，pi表示第i个样本预测为真实标签的概率，pi*当第i个样本为正样本时为1，负样本时为0。
回归损失如下：
Figure BDA0003352429230000071
Figure BDA0003352429230000072
其中，ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。因此网络的整体损失函数如下：
Figure BDA0003352429230000073
其中，Ncls表示一批数据中所有样本的数量，Nreg表示RPN生成的锚框位置个数，λ表示平衡分类损失与回归损失的参数。
对网络的优化：
在货车的部件中，有很多长宽比例不满足相应比例及尺度，造成区域生成网络难以生成与正样本标签相似的标记，降低检测准确率。尽管网络有边界回归方法对提出的边界框进行微调，但当目标面积或长宽比与预设的锚框差异过大时，边界回归很难得到与真实边界框更接近的回归边界。因此，本发明提出了一种自适应锚框生成方法，可以生成与正样本更加接近的锚框。其原理主要为在训练阶段，先一次性读取所有训练样本，获取其中待检测目标标签信息。利用该信息获取待检测目标的面积以及长宽比的峰值点，并以此更新区域建议网络参数，使网络生成更接近待检测目标面积与长宽比的建议区域。
3.1基于先验信息的区域生成网络
利用训练阶段图像及标签作为先验信息修改区域生成网络参数。首先，获取训练集所有标签样本，计算ground-truth box的长宽比，并计算均值，计算公式如下：
Figure BDA0003352429230000074
其中，n为样本总数，
Figure BDA0003352429230000075
为样本长宽比均值，Ri为第i个ground-truth box长宽比均值。一般Faster-RCNN网络的区域生成网络会生成2:1、1:1与1:2三种候选区域，改进后的网络会生成
Figure BDA0003352429230000076
1:1与
Figure BDA0003352429230000077
三种区域，更接近真实样本。
3.2使用区域生成网络生成的区域和真实值的IoU筛选候选区域
区域生成网络会生成大量候选区域，利用候选区域与真实标签的重合情况进行筛选。
在一般Faster-RCNN网络中，利用IoU计算重合情况其计算方式如下：
Figure BDA0003352429230000081
其中，A与B分别表示候选框区域与原标记框区域。原始的IoU计算方式有明显的不足，如两个区域没有相交时，无法比较两个图像的距离远近，还有无法体现两个图像到底是如何相交的等。因此本发明中使用了更全面的CIoU，计算公式如下：
Figure BDA0003352429230000082
其中，b，bgt分别代表两个区域的中心点，p代表两个中心点之间的欧氏距离，c表示两个区域最小外接矩形的对角线，a是权重函数，v用来度量长宽比的相似性。a，v的计算公式如下：
Figure BDA0003352429230000083
Figure BDA0003352429230000084
其中，w，h，wgt，hgt分别表示两个区域的宽和高。
3.3得到检测分类结果，过程如下：
将整张图片输入卷积层，进行特征提取；把筛选后的候选区域映射到卷积层的最后一层卷积特征图上；在Faster-RCNN网络中，利用边框回归计算候选区域与真实标签的偏移量，计算公式如下：
Δx＝(xG-xP)/wP，Δy＝(yG-yP)/hP，
Δw＝log(wG/wP)，Δh＝log(hG/hP)，
其中xP,yP,wP,hP为候选区域横纵坐标以及宽高，xG,yG,wG,hG为真实标签的横纵坐标以及宽高，Δx，Δy，Δh，Δw分别为横纵坐标以及宽高的偏移量。对于每一个候选框P，Faster-RCNN进行一次回归操作并获取一个偏移量。
在改进型Faster-RCNN网络中，将候选区域于真实标签重合区域的所有点视为特征点，对每个特征点进行一次回归操作，计算公式如下：
li＝(xi-xl)/wP，ti＝(yi-yt)/hP，
ri＝(xr-xi)/wP，bi＝(yb-yi)/hP.
其中(xl，yt)与(xr，yb)分别为真实标签左上角与右下角的坐标，(xi，yi)为特征点的坐标，li，ti，ri，bi表示特征点在左，上，右，下方向的偏移量。在计算所有特征点的回归偏移量后，计算平均值，获得候选区域最终的偏移量。之后将回归后的特征图送入全连接层，获得类别信息。
4、标记数据及网络训练
利用LabelImg工具，对步骤二获得的图像进行标记，获取货车加热管与排油管检测数据集1。同时，对加热管与排油管区域进行提取，生成包含加热管与排油管区域的子图像，对子图像进行标记，获取加热管盖与排油管盖检测数据集2。
使用数据集1训练加热管与排油管检测网络，数据集2训练加热管盖与排油管盖检测网络。加热管与排油管检测网络与加热管盖与排油管盖检测网络都是利用改进型Faster-RCNN网络训练，有着相同的网络结构，但是由于使用不同数据集进行训练，因此二者网络参数有所区别。
5、利用加热管与排油管检测网络获取图像中管盖的位置信息，将图像输入到加热管与排油管检测网络中，网络输出加热管与排油管的位置信息，利用此位置信息提取管盖区域子图。之后将子图输入到管盖检测网络中，网络输出管盖的位置信息以及类别信息，若网络输出的类别信息中出现脱落类或者打开类，则进行报警。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (9)

1.一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于包括：
步骤一：获取铁路货车线阵图像；
步骤二：对线阵图像中加热管与排油管区域图像进行标记，构建训练集1；
步骤三：对线阵图像中加热管盖与排油管盖的区域图像进行标记，构建训练集2；
步骤四：利用线阵图像和训练集1、线阵图像和训练集2分别训练Faster RCNN网络，得到加热管与排油管检测网络和加热管盖与排油管盖检测网络；
步骤五：将待识别图像输入加热管与排油管检测网络得到包含加热管与排油管区域的子图像，然后将包含加热管与排油管区域的子图像输入加热管盖与排油管盖检测网络进行管盖脱落故障识别；
所述Faster RCNN网络为改进的Faster RCNN网络，所述改进的Faster RCNN网络具体执行如下步骤：
步骤四一：获取训练集中标签样本，计算ground-truth box的长宽比，并计算ground-truth box长宽比的均值
Figure FDA0003517014780000011
然后生成
Figure FDA0003517014780000012
1:1与
Figure FDA0003517014780000013
三种区域；
步骤四二：利用CIoU将
Figure FDA0003517014780000014
1:1与
Figure FDA0003517014780000015
三种区域与真实标签样本进行重合度计算及将三种区域根据重合度由大到小的排序，并根据排序结果选取前目标数量个候选框区域；
步骤四三；将排序选取结果与真实标签样本重合区域中所有特征点进行回归操作，得到偏移量；
步骤四四：对所有特征点进行回归操作后，计算所有偏移量的平均值，将得到的所有偏移量的平均值作为最终的偏移量，之后将回归后的特征图送入全连接层，得到类别信息。
2.根据权利要求1所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于所述均值
Figure FDA0003517014780000016
表示为：
Figure FDA0003517014780000017
其中，n表示样本总数，Ri表示第i个ground-truth box长宽比。
3.根据权利要求2所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于所述CIoU表示为：
Figure FDA0003517014780000018
其中，b，bgt分别代表预测框和真实框的中心点，p代表预测框和真实框中心点之间的欧氏距离，c表示两个区域最小外接矩形的对角线的距离，a是权重函数，v表示预测框和标注框的相似性参数。
4.根据权利要求3所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于所述回归操作表示为：
li＝(xi-xl)/wP，ti＝(yi-yt)/hP，
ri＝(xr-xi)/wP，bi＝(yb-yi)/hP.
其中(x1，yt)与(xr，yb)分别为真实标签左上角与右下角的坐标，(xi，yi)为特征点的坐标，li，ti，ri，bi表示特征点在左，上，右，下方向的偏移量，wP,hP为候选区域宽高。
5.根据权利要求4所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于所述预测框和标注框的相似性参数表示为：
Figure FDA0003517014780000021
其中，w，h，wgt，hgt分别表示预测框和真实框的宽和高。
6.根据权利要求5所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于所述权重函数表示为：
Figure FDA0003517014780000022
7.根据权利要求6所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于所述改进的FasterRCNN网络损失函数为：
Figure FDA0003517014780000023
其中，Ncls表示一批数据中所有样本的数量，Nreg表示RPN生成的锚框位置个数，λ表示平衡分类损失与回归损失的参数，pi表示第i个样本预测为真实标签的概率，pi*当第i个样本为正样本时为1，负样本时为0，ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。
8.根据权利要求7所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于所述步骤二之前对待测图像进行高斯滤波处理。
9.根据权利要求8所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，其特征在于所述高斯滤波表示为：
Figure FDA0003517014780000031
其中，x，y为像素坐标，σ为标准差。
CN202111341766.2A 2021-11-12 2021-11-12 一种基于深度学习的铁路货车管盖脱落故障识别方法 Active CN113920140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111341766.2A CN113920140B (zh) 2021-11-12 2021-11-12 一种基于深度学习的铁路货车管盖脱落故障识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111341766.2A CN113920140B (zh) 2021-11-12 2021-11-12 一种基于深度学习的铁路货车管盖脱落故障识别方法

Publications (2)

Publication Number Publication Date
CN113920140A CN113920140A (zh) 2022-01-11
CN113920140B true CN113920140B (zh) 2022-04-19

Family

ID=79246372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111341766.2A Active CN113920140B (zh) 2021-11-12 2021-11-12 一种基于深度学习的铁路货车管盖脱落故障识别方法

Country Status (1)

Country Link
CN (1) CN113920140B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965915B (zh) * 2022-11-01 2023-09-08 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539421A (zh) * 2020-04-03 2020-08-14 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路机车车号的识别方法
CN112102281A (zh) * 2020-09-11 2020-12-18 哈尔滨市科佳通用机电股份有限公司 基于改进Faster Rcnn的货车制动缸故障检测方法
CN112330631A (zh) * 2020-11-05 2021-02-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法
CN112434583A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 车道横向减速标线检测方法、系统、电子设备及存储介质
CN112489040A (zh) * 2020-12-17 2021-03-12 哈尔滨市科佳通用机电股份有限公司 一种货车副风缸脱落故障识别方法
CN112785561A (zh) * 2021-01-07 2021-05-11 天津狮拓信息技术有限公司 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法
CN113486764A (zh) * 2021-06-30 2021-10-08 中南大学 一种基于改进的YOLOv3的坑洼检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818326B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
CN109409252A (zh) * 2018-10-09 2019-03-01 杭州电子科技大学 一种基于改进型ssd网络的车辆行人多目标检测方法
CN109670532B (zh) * 2018-11-23 2022-12-09 腾讯医疗健康(深圳)有限公司 生物体器官组织图像的异常识别方法、装置及系统
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539421A (zh) * 2020-04-03 2020-08-14 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路机车车号的识别方法
CN112102281A (zh) * 2020-09-11 2020-12-18 哈尔滨市科佳通用机电股份有限公司 基于改进Faster Rcnn的货车制动缸故障检测方法
CN112330631A (zh) * 2020-11-05 2021-02-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法
CN112434583A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 车道横向减速标线检测方法、系统、电子设备及存储介质
CN112489040A (zh) * 2020-12-17 2021-03-12 哈尔滨市科佳通用机电股份有限公司 一种货车副风缸脱落故障识别方法
CN112785561A (zh) * 2021-01-07 2021-05-11 天津狮拓信息技术有限公司 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法
CN113486764A (zh) * 2021-06-30 2021-10-08 中南大学 一种基于改进的YOLOv3的坑洼检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Self-Adaptive Aspect Ratio Anchor for Oriented Object Detection in Remote Sensing Images;Jie-Bo Hou 等;《remote sensing》;20210330;1-18 *
基于眼底荧光血管造影的糖尿病视网膜病变新生血管及黄斑水肿的智能诊断系统;李和恩;《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》;20201015(第10期);E065-20 *
目标检测回归损失函数归纳（Smooth -＞ IOU -＞ GIOU -＞ DIOU -＞ CIOU）;熊猫小妖;《https://blog.csdn.net》;20201028;1-7 *

Also Published As

Publication number Publication date
CN113920140A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
US11144814B2 (en) Structure defect detection using machine learning algorithms
CN110084095B (zh) 车道线检测方法、车道线检测装置和计算机存储介质
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN110807496B (zh) 一种密集目标检测方法
CN109635768B (zh) 一种图像帧中停车位状态检测方法、系统及相关设备
CN108510476B (zh) 一种基于机器视觉的手机屏线路检测方法
JP2013065304A (ja) 高速障害物検出
CN107240112B (zh) 一种复杂场景下个体x角点提取方法
CN105335973A (zh) 运用于带钢加工生产线的视觉处理方法
CN104700395A (zh) 一种构造物外观裂缝检测方法及系统
CN105069451B (zh) 一种基于双目摄像头的车牌识别与定位方法
CN111612747B (zh) 产品表面裂缝快速检测方法及检测系统
CN110648323B (zh) 一种缺陷检测分类系统及其方法
CN114089330B (zh) 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN108133471B (zh) 一种基于人工蜂群算法的机器人导航路径提取方法及装置
CN113920140B (zh) 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN112766136A (zh) 一种基于深度学习的空间车位检测方法
CN116844147A (zh) 一种基于深度学习的指针式仪表识别和异常警报方法
CN113610052A (zh) 一种基于深度学习的隧道渗漏水自动识别方法
CN110889418A (zh) 一种气体轮廓识别方法
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
CN106886609B (zh) 街区式农村居民地遥感快速标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant