CN116453039A - 一种基于轻量级深度学习技术列车车辆故障图像智能分析方法 - Google Patents

一种基于轻量级深度学习技术列车车辆故障图像智能分析方法 Download PDF

Info

Publication number
CN116453039A
CN116453039A CN202310222009.6A CN202310222009A CN116453039A CN 116453039 A CN116453039 A CN 116453039A CN 202310222009 A CN202310222009 A CN 202310222009A CN 116453039 A CN116453039 A CN 116453039A
Authority
CN
China
Prior art keywords
network
fault
image
train
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310222009.6A
Other languages
English (en)
Inventor
张闽东
王增
王盼盼
耿雪霏
朱善玮
武慧杰
刘鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gtv Technology Development Co ltd
Original Assignee
Beijing Gtv Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gtv Technology Development Co ltd filed Critical Beijing Gtv Technology Development Co ltd
Priority to CN202310222009.6A priority Critical patent/CN116453039A/zh
Publication of CN116453039A publication Critical patent/CN116453039A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轻量级深度学习技术列车车辆故障图像智能分析方法，包括：获取列车图像数据，接着对图像中所要检测的列车故障部件进行标注，然后将整体数据划分成训练集、测试集两部分；进行数据增强操作，配置算法所需的超参数，将训练样本输入改进后形成的MobileDetectNet神经网络模型进行特征学习；对新过车图像输入学习到的特征模型进行故障识别，最后将所发生故障的区域框出并输出对应的报警信息。本发明的MobileDetectNet网络智能识别模型参数少、占用内存少、识别率高，能够提高原有设备CPU环境下动车组故障检测的识别率，减轻人工的工作强度，缩短检修作业时间，减少漏检机率，从而保证动车组的安全运行。

Description

一种基于轻量级深度学习技术列车车辆故障图像智能分析 方法
技术领域
本发明涉及车辆技术状态检测技术研究与设备研制领域，具体涉及一种基于轻量级深度学习技术列车车辆故障图像智能分析方法。
背景技术
目前，为了保证铁路动车组运行安全，全国各大铁路动车组运行线路上安装有TEDS(动车组运行故障图像检测系统)设备，该系统是一套集高速数字图像采集、大容量图像数据存储、模式识别技术于一体的智能系统。系统由图像信息采集、图像信息处理传输和列检检测中心监控平台等设备构成，系统通过高速像机阵列，拍摄列车车底和列车侧部的全部可视信息，经数字化处理后显示于检测中心的监控平台上，然后相关监控中心人员根据显示终端显示的图片进行动车组运行过程中的一些可观测到的部件的外观状态进行故障判断。目前该系统在含有GPU计算卡的服务器上初步实现了故障的自动判断功能，但是依然存在着在不含GPU的现存设备的服务器上故障检出率低、报警准确率低的特点，同时动车组大量的部件依然依赖人工看图并确认是否存在故障的方法，目前铁路动车组过车密集，过车辆巨大，相应的监控中心人员看图工作强度大，在动车组运行过程中，故障确认的效果严重依赖监控中心人员的经验、工作状态，所以目前急需一种能够针对动车组运行过程中的故障检测的智能识别方法和设备，来降低监控中心人员的工作强度，提高故障的检出效果，保障动车组的运行安全。
目前针对上述问题，现有对动车组运行故障状态相关的检测多数方法都是通过图像处理技术，而目前识别效果较好的深度学习网络模型往往依赖于硬件设备GPU的加速，怎么在原有不含GPU的设备上部署识别模型，并且达到较好的效果，成为研究轻量级网络的一个需求点。目前相关技术，检索到如下几个专利，其大体内容如下：
1)一种基于改进的mobileNetV3的人脸识别方法，专利公开号CN110647840A
该发明提供了一种基于改进的mobileNetV3的人脸识别方法，包括如下步骤:S1.对图像进行人脸检测及特征点检测；S2.利用检测得到人脸特征点进行人脸对齐；S3.将对齐后的图像以及标签制作成训练集；S4.搭建网络结构，将网络最后的池化层变成卷积层，缩小通道的扩张倍数。该发明只对mobileNetV3的最后一层做了修改，改进部分有限且人脸检测任务容易实现。
2)基于MobileNet V3的实时人脸检测方法，专利公开号CN110647817A
该发明设计一种基于SSD架构的实时人脸检测器.提出了一个轻量级的特征提高模块，增强MobileNetV3中浅层特征的表示能力，提高极小型人脸的检测精度。最后，为了提高极小型人脸的召回率，使用锚点密度策略，使得不同类型的锚点在图像上具有相同的密度。该发明虽然在MobileNetV3的基础上做了改进，但是锚点密度策略增加了计算复杂度，不利于提高识别效率。
3)输电线路智能巡检机器人缺陷识别系统及识别方法，专利公开号CN112836659A
该发明提供了一种输电线路智能巡检机器人缺陷识别系统，所述系统包括SDliteMobilenetV3轻量级网络，TensorFlow框架，TensorRT技术以及NVIDIAJetson Nano嵌入式平台，该发明还利用所述系统提供一种缺陷识别方法，所述输电线路智能巡检机器人缺陷识别方法的目标检测模型采用SSDliteMobilenetV3轻量级网络，基于TensorFlow框架完成搭建及训练，采用TensorRT技术实现推理加速，在嵌入式平台NVIDIA JetsonNano中完成部署，实时推理视频通过视频流方式推送至服务器，实现输电线路目标实时检测，通过该发明，能减少10ms的延迟，提高了运算速度，且没有任何精度损失，在保证了精度的前提下降低了运算消耗。该发明只是对SDliteMobilenetV3轻量级网络的应用，并没有对SDliteMobilenetV3轻量级网络进行改进。
4)基于强化的轻量级多尺度CNN的滚动轴承故障诊断方法，公开号CN112577748A
该发明提供了一种基于强化的轻量级多尺度CNN的滚动轴承故障诊断方法，首先利用构建的CNN模型对原始振动信号进行多维度特征提取，随后将其输入轻量级多尺度特征学习网络提取多尺度特征，并对学到的多尺度特征利用判别性故障特征强化机制(DFRM)进行选择性强化，以增强故障特征，弱化一般性特征，然后将强化后的多尺度特征进行融合，重复上述步骤数次，将最终获得的高等级抽象特征映射输入分类器进行训练，最后根据训练好的CNN模型对待测样本进行故障识别。该发明模型训练较为复杂，且识别网络采用简单的CNN卷积神经网络，虽然是轻量级网络，但识别效果有待验证。
5)基于深度学习的大规模列车移位故障检测方法及系统，公开号CN110264440A
该发明主要是利用深度学习中目标检测模型对部件进行定位和利用语义分割模型对部件轮廓进行分割，得出部件的轮廓和位置信息。然后通过相对位置信息来判断部件是否发生位移。该发明只是指出使用的是深度学习网络模型，而深度学习网络模型包含很广，该发明并没有指出使用的是那种网络结构。其次，该发明只是对深度学习网络模型的应用，并没有涉及到对网络模型进行改进。
6)基于深度学习的列车故障图像扩增方法，授权公告号CN112699952B，该发明只是对列车故障图像的增广，即对列车故障图像进行人为扩充，并不涉及到列车故障识别和深度学习模型改进。
随着近年来我国高铁基础设施建设的快速发展，高铁运营里程的快速增加，列车安全检测已经成为国内众多科研机构以及企业的热门研究课题。目前实际运营的高铁车型种类繁多，正线过车辆大，检测的部件种类以及故障类型各种各样，其中正线指现场实际运行线路。
目前动车组运行故障图像检测系统(简称TEDS)具有一定的图像算法动车故障识别能力，但受服务器硬件等因素影响，自动识别能力仍难以满足现场运用的需求，随着动车组的运行里程和编组的不断增加，现场作业人员工作量大、并且需要高度集中，容易出现疲劳，同时各路局TEDS监控中心人员逐渐增多，人工成本不断增多。面对诸多问题，针对动车组车下关键部件故障图像智能识别技术，急需通过新的技术和手段来加强和优化图像智能识别算法，从而使现场运用逐步从人检为主、机检为辅的现状过渡到机检为主、人检为辅的方式上来。
针对动车组车故障图像智能识别算法，普遍采用特征提取法和差异对比法，受限于动车组车型繁多、部件种类及故障形态繁多、外界环境变化、车速变化等因素影响，上述两种方法仍存在故障检出率和准确率低的问题。另外一种基于深度学习的方法严重依赖于GPU的算力支持，对服务器硬件要求较高，而随着人工智能技术的发展，识别算法不断迭代和更新，以及TEDS运用过程中积攒的大量的故障样本图片，其为进一步深化图像智能识别算法奠定了很好的基础和保障。
动车组并不是所有设备都含有GPU，而一般的深度神经网络都会依赖于GPU的高算力来进行模型推理，所以考虑到算法的兼容性，采用不依赖GPU且网络参数比较少、速度比较快的轻量化网络来进行动车组车辆故障图像检测。基于轻量化网络设计的深度网络模型有MobileNet系列，ShuffleNet系列，XceptionNet等，本发明采用MobileNet-v3为基础模型结构，并在此基础上进行有针对性的改进，把原来的CNN特征提取层替换为EESP模块，降低模型的参数量，提高模型的特征表达能力；去掉MobileNet-v3中两层bneck层以进一步减少网络参数，另外把主干网络的池化层和全连接层替换成耦合的检测头对目标的分类以及位置坐标进行预测。
发明内容
本发明的目的在于提供一种基于轻量级深度学习技术列车车辆故障图像智能分析方法，用以解决现有技术存在的问题。
为实现上述目的，本发明提供一种基于轻量级深度学习技术列车车辆故障图像智能分析方法。具体地，该方法包括如下步骤：
步骤1、获取列车图像数据，接着对图像中所要检测的列车故障部件进行标注，然后将整体数据划分成训练集、测试集两部分；
步骤2、进行数据增强操作，配置算法所需的超参数，将训练样本输入基于MobileNet-v3主干特征提取网络的优化改进后形成的MobileDetectNet神经网络模型进行特征学习；
步骤3、对新过车图像输入学习到的特征模型进行故障识别，最后将所发生故障的区域框出并输出对应的报警信息。
进一步，所述改进后形成的MobileDetectNet神经网络模型的训练为通过搜集大量的动车组故障原始图像，利用图像增强算法对样本数据进行增广，并加入正常的过车图像作为背景组成图像数据集A，然后将图像数据集A分为训练数据集和测试数据集。
进一步，所述训练数据集占整个图像数据集的9/10，所述测试数据集占整个图像数据集的1/10，利用VOC数据集格式完成对训练数据集的标注，然后通过随机梯度下降SGD优化算法实现对动车组故障识别模型的训练，初始学习率为0.001，迭代训练300个epoch，学习率随着迭代次数的增加而逐渐降低，通过所述测试数据集对所训练的网络模型参数文件进行测试，选出最优的网络模型参数文件。
进一步，所述将训练样本输入改进后形成的MobileDetectNet神经网络模型进行特征学习的算法网络具体流程包括：所述改进后形成的MobileDetectNet神经网络模型，包括输入层、EESP特征提取网络、9层bneck特征提取网络、预测输出层；对输入的图像预处理，将图像缩放至224×224×3；构建特征提取网络，包括EESP网络层、bneck网络层，其中所述EESP网络利用point-wise卷积和空洞卷积空间金字塔模块将标准的卷积拆分，并且引入HFF来移除空洞卷积的网格效应，能够在降低参数的同时保持很好的性能；把MobileNet-v3中11层bneck网络减少为9层bneck网络以减少网络参数，用于进一步图像特征提取；最后利用耦合的检测头对目标检测。
进一步，所述改进后形成的MobileDetectNet神经网络模型的EESP模块来源于ESPNetV2网络模型。
进一步，所述配置算法所需的超参数包括学习率、梯度下降方法、迭代次数、训练集和测试集数量比例以及训练集。
进一步，所述基于MobileNet-v3主干特征提取网络的优化方法包括：把原来的CNN特征提取层替换为EESP网络模块，所述EESP网络模块把标准的cnn卷积修改为深度可分离卷积，每层具有不同的膨胀系数dilation rate，把不同尺度的特征图使用concate操作加以连接，增加输出特征的维度。
进一步，所述利用耦合的检测头对目标检测的对检测网络改进包括：将原有把主干网络的池化层和全连接层替换成耦合的检测头并对目标的分类以及位置坐标进行预测；对进一步提取的图像特征进行1×1的卷积操作，最终的网络在执行提取图像特征后获得75维特征向量。
进一步，所述利用耦合的检测头对目标检测的对检测网络改进进一步包括：利用改进后形成的MobileDetectNet网络对列车故障图片进行模型训练；利用训练好的网络模型对动车组故障进行判断。
进一步，所述利用训练好的故障检测模型对动车组故障进行判断包括：利用训练好的网络模型对动车组过车图像进行故障检测，输入图像归一化为224×224×3；通过EESP结构对图像进行特征提取，提取的特征图经过后续的9层bneck网络来提取图像的深层图像特征；如果图像中存在故障部件，则检测模型给出所述故障部件的故障类型和故障的位置坐标，并进行报警。
本发明方法具有如下优点：
本发明采用轻量级网络MobileNet-v3为基础模型结构，并在此基础上进行有针对性的改进，把原来的CNN特征提取层替换为EESP模块，降低模型的参数量，提高模型的特征表达能力；去掉MobileNet-v3中两层bneck层进一步减少网络参数，另外把主干网络的池化层和全连接层替换成耦合的检测头对目标的分类以及位置坐标进行预测。本发明提出的MobileDetectNet网络智能识别模型相比较原有的MobileNet-v3具有参数少、占用内存少、感受野大、识别率高的特点。并且该网络兼容CPU设备和GPU设备，可以作为目标检测网络对动车组图像的故障部件实施精确定位。
通过该智能识别模型的应用，能够提高原有设备的CPU环境下动车组故障检测的识别率，大大减轻人工的工作强度，缩短检修作业时间，提高了检修的工作效率，减少了漏检的机率，降低人力成本和管理成本，从而保证动车组的安全运行。
附图说明
图1示出了改进后形成的MobileDetectNet网络结构；
图2示出了EESP网络结构；
图3示出了利用MobileDetectNet网络模型对动车组故障样本训练过程流程图；
图4示出了利用训练好的故障检测模型对动车组故障进行判断流程图。
具体实施方式
下面将结合具体实施方案对本发明的技术方案进行清楚、完整的描述，但是本领域技术人员应当理解，下文所述的实施方案仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方案，都属于本发明保护的范围。
动车组故障图像自动检测系统作为一种列车运行状态检测手段，对列车安全运行起着至关重要的作用。目前动车组故障检测设备产品各样，硬件配置也各不相同，各检测算法的兼容性不理想。本发明选取深度学习目标检测算法中轻量级网络作为研究对象，采用MobileNet-v3为基础网络，并在MobileNet-v3的基础上把网络的特征提取层也就是CNN替换成EESP模块，该EESP模块利用point-wise卷积和空洞卷积空间金字塔模块将标准的卷积拆分，并且引入HFF来移除空洞卷积的网格效应，能够在降低参数的同时保持很好的性能；去掉MobileNet-v3中两层bneck层进一步减少网络参数，另外把MobileNet-v3主干网络的池化层和全连接层替换成耦合的检测头对目标的分类以及位置坐标进行回归。改进后形成的MobileDetectNet网络相比较原有的MobileNet-v3具有参数少、占用内存少、感受野大、识别率高的特点。并且该网络兼容CPU设备和GPU设备，可以作为目标检测网络对动车组图像的故障部件实施精确定位。其中感受野指的是网络模型单步计算的图像像数值范围。
改进后形成的MobileDetectNet网络结构如图1所示，输入图像归一化为224×224×3，然后通过EESP结构对图像进行特征提取，后续为9层bneck网络来提取图像的深层图像特征，并把MobileNet-v3网络的池化层和后续的全连接层改为卷积层，用于把提取的图像特征提供给后续的检测网络，用于目标的分类以及坐标的回归。
改进后形成的MobileDetectNet网络的EESP模块来源于ESPNetV2网络模型，EESP模块结构如图2所示，该EESP模块为了能更高效地学习图像的多尺度特征，把标准的cnn卷积修改为深度可分离卷积，每层具有不同的dilation rate(膨胀系数)，把不同尺度的特征图使用concate操作加以连接，增加输出特征的维度，在参数量不增加的情况下，能够融合多尺度特征。在concate之前加入HFF操作将输出进行层级相加，用于消除concate输出操作带来的网格纹路。该EESP模块中分组point-wise卷积用于降低计算复杂度。为防止随着下采样产生的信息丢失，添加一条连接输入图像的shortcut(短路机制)，该短路机制中使用多个池化操作使其空间大小与模块输出的特征图一致，然后使用两个卷积来提取特征并调整维度，最后进行特征图矩阵相加。
改进后形成的MobileDetectNet网络参数如表1所示，其中bneck是MobileNet-v3网络的基本结构。EESP代表EESP特征提取模块，exp size表示卷积之后网络的维度；out表示输出的channel个数；SE代表是否使用通道注意力机制。NL代表激活函数的类型，包括HS(h-swish)，RE(ReLU)。NBN代表没有BN(批标准化)操作。s是stride(卷积步长)的意思，网络使用卷积stride操作进行降采样。
表1MobileDetectNet网络参数
如表1，改进后形成的MobileDetectNet网络结构首先对归一化后的3通道图片进行EESP操作，然后利用9层bneck模块进行特征图的提取，对提取的特征图在进行1×1的卷积操作，最终的网络对执行特征提取后获得75维特征向量。
改进后形成的MobileDetectNet网络结构最后一个维度为75是因为该网络在设计的时候是基于VOC数据集的分类数量设置的，VOC数据集的类别数为20种，针对每一个特征层的每一个特征点设置3个先验框，所以预测结果的通道数为3×25，其中25包括20个类别中每个类别的概率，4个坐标参数和1个是否有物体的参数。
本发明提供了一种技术方案，实施方式为一种基于轻量级深度学习技术列车车辆故障图像智能分析方法，整体操作的具体步骤包括：
首先获取列车图像数据，接着对图像中所要检测的列车故障部件进行标注，然后将整体数据划分成训练集、测试集两部分。
进行数据增强操作，配置算法所需的超参数，然后将训练样本输入改进后形成的MobileDetectNet模型进行特征学习。其中在深度学习中训练网络模型时，超参数是在开始学习过程之前设置值的参数。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效率。
将新过车图像输入学习到的特征模型进行故障识别，最后将所发生故障的区域框出并输出对应的报警信息。
该模型的训练通过搜集大量的动车组故障原始图像，利用图像增强算法对样本数据进行增广，并加入正常的过车图像作为背景组成图像数据集A，然后将图像数据集A分为训练数据集和测试数据集，训练数据集占整个图像数据集的9/10，测试数据集占整个图像数据集的1/10，利用VOC数据集格式完成对训练数据集的标注，然后通过SGD(随机梯度下降)优化算法实现对动车组故障识别模型的训练，初始学习率为0.001，迭代训练300个epoch，学习率会随着迭代次数的增加而逐渐降低。通过测试数据集对所训练的网络模型参数文件进行测试，选出最优的网络模型参数文件。
算法网络的具体流程包括：
所述改进后形成的MobileDetectNet神经网络模型，包括输入层、EESP特征提取网络、9层bneck特征提取网络、预测输出层。首先对输入的图像预处理，将图像缩放至224×224×3。构建特征提取网络，包括EESP网络层、bneck网络层。其中EESP网络利用point-wise卷积和空洞卷积空间金字塔模块将标准的卷积拆分，并且引入HFF来移除空洞卷积的网格效应，能够在降低参数的同时保持很好的性能；把MobileNet-v3中11层bneck网络减少为9层bneck网络，进一步减少网络参数，用于进一步图像特征提取；最后利用耦合的检测头对目标检测。
参数设置包括学习率、梯度下降方法、迭代次数、训练集和测试集数量比例以及训练集的构成。
基于MobileNet-v3主干特征提取网络的优化方法为：
把原来的CNN特征提取层替换为EESP网络模块，该模块为了能更高效地学习图像的多尺度特征，把标准的cnn卷积修改为深度可分离卷积，每层具有不同的dilationrate(膨胀系数)，把不同尺度的特征图使用concate操作加以连接，增加输出特征的维度，在参数量不增加的情况下，能够融合多尺度特征。在concate之前加入HFF操作将输出进行层级相加，用于消除concate输出操作带来的网格纹路。该EESP网络模块中分组point-wise卷积用于降低计算复杂度。为防止随着下采样产生的信息丢失，添加一条连接输入图像的shortcut(短路机制)，该短路机制中使用多个池化操作使其空间大小与模块输出的特征图一致，然后使用两个卷积来提取特征并调整维度，最后进行特征图矩阵相加。
基于MobileNet-v3特征提取网络的优化为：
把MobileNet-v3网络中的11层bneck特征提取网络改为9层bneck特征提取网络，进一步减少网络参数，减少计算量。
对检测网络改进为：
将原有把主干网络的池化层和全连接层替换成耦合的检测头对目标的分类以及位置坐标进行预测。提取的特征图在进行1×1的卷积操作，最终的网络对执行特征提取后获得的75维特征向量。改进后形成的MobileDetectNet网络结构最后一个维度为75是因为该网络在设计的时候是基于VOC数据集的分类数量设置的，VOC数据集的类别数为20种，针对每一个特征层的每一个特征点设置3个先验框，所以预测结果的通道数为3×25，其中25包括20个类别中每个类别的概率，4个坐标参数和1个是否有物体的参数。
方案实施流程主要包含两部分：利用改进后形成的MobileDetectNet网络对列车故障图片进行模型训练；利用训练好的网络模型对动车组故障进行判断。
1)利用MobileDetectNet网络模型对动车组故障样本进行模型训练该训练过程流程图如图3所示。
2)利用训练好的故障检测模型对动车组故障进行判断
该步骤为故障判断的整体流程，首先利用训练好的网络模型对动车组过车图像进行故障检测，输入图像归一化为224×224×3，然后通过EESP结构对图像进行特征提取，提取的特征图经过后续的9层bneck网络来提取图像的深层图像特征，提取的特征图再进行1×1的点卷积操作，调整特征图的维度，最终的网络输出为75维特征向量，该75维向量代表3个先验框，每个先验框包含20个类别的概率，4个坐标数值和1个是否有物体的参数。如果图像中存在故障部件，则该检测模型给出该部件的故障类型和故障的位置坐标，并进行报警。整个流程图如图4所示。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于轻量级深度学习技术列车车辆故障图像智能分析方法，包括：
步骤1、获取列车图像数据，接着对图像中所要检测的列车故障部件进行标注，然后将整体数据划分成训练集、测试集两部分；
步骤2、进行数据增强操作，配置算法所需的超参数，将训练样本输入基于MobileNet-v3主干特征提取网络的优化改进后形成的MobileDetectNet神经网络模型进行特征学习；
步骤3、对新过车图像输入学习到的特征模型进行故障识别，最后将所发生故障的区域框出并输出对应的报警信息。
2.根据权利要求1所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述改进后形成的MobileDetectNet神经网络模型的训练为通过搜集大量的动车组故障原始图像，利用图像增强算法对样本数据进行增广，并加入正常的过车图像作为背景组成图像数据集A，然后将图像数据集A分为训练数据集和测试数据集。
3.根据权利要求2所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述训练数据集占整个图像数据集的9/10，所述测试数据集占整个图像数据集的1/10，利用VOC数据集格式完成对训练数据集的标注，然后通过随机梯度下降SGD优化算法实现对动车组故障识别模型的训练，初始学习率为0.001，迭代训练300个epoch，学习率随着迭代次数的增加而逐渐降低，通过所述测试数据集对所训练的网络模型参数文件进行测试，选出最优的网络模型参数文件。
4.根据权利要求1所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述将训练样本输入改进后形成的MobileDetectNet神经网络模型进行特征学习的算法网络具体流程包括：所述改进后形成的MobileDetectNet神经网络模型，包括输入层、EESP特征提取网络、9层bneck特征提取网络、预测输出层；对输入的图像预处理，将图像缩放至224×224×3；构建特征提取网络，包括EESP网络层、bneck网络层，其中所述EESP网络利用point-wise卷积和空洞卷积空间金字塔模块将标准的卷积拆分，并且引入HFF来移除空洞卷积的网格效应，能够在降低参数的同时保持很好的性能；把MobileNet-v3中11层bneck网络减少为9层bneck网络以减少网络参数，用于进一步图像特征提取；最后利用耦合的检测头对目标检测。
5.根据权利要求4所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述改进后形成的MobileDetectNet神经网络模型的EESP模块来源于ESPNetV2网络模型。
6.根据权利要求1所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述配置算法所需的超参数包括学习率、梯度下降方法、迭代次数、训练集和测试集数量比例以及训练集。
7.根据权利要求1所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述基于MobileNet-v3主干特征提取网络的优化方法包括：把原来的CNN特征提取层替换为EESP网络模块，所述EESP网络模块把标准的cnn卷积修改为深度可分离卷积，每层具有不同的膨胀系数dilationrate，把不同尺度的特征图使用concate操作加以连接，增加输出特征的维度。
8.根据权利要求4所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述利用耦合的检测头对目标检测的对检测网络改进包括：将原有把主干网络的池化层和全连接层替换成耦合的检测头并对目标的分类以及位置坐标进行预测；对进一步提取的图像特征进行1×1的卷积操作，最终的网络在执行提取图像特征后获得75维特征向量。
9.根据权利要求8所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述利用耦合的检测头对目标检测的对检测网络改进进一步包括：利用改进后形成的MobileDetectNet网络对列车故障图片进行模型训练；利用训练好的网络模型对动车组故障进行判断。
10.根据权利要求9所述的基于轻量级深度学习技术列车车辆故障图像智能分析方法，其特征在于，所述利用训练好的故障检测模型对动车组故障进行判断包括：利用训练好的网络模型对动车组过车图像进行故障检测，输入图像归一化为224×224×3；通过EESP结构对图像进行特征提取，提取的特征图经过后续的9层bneck网络来提取图像的深层图像特征；如果图像中存在故障部件，则检测模型给出所述故障部件的故障类型和故障的位置坐标，并进行报警。
CN202310222009.6A 2023-03-09 2023-03-09 一种基于轻量级深度学习技术列车车辆故障图像智能分析方法 Pending CN116453039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310222009.6A CN116453039A (zh) 2023-03-09 2023-03-09 一种基于轻量级深度学习技术列车车辆故障图像智能分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310222009.6A CN116453039A (zh) 2023-03-09 2023-03-09 一种基于轻量级深度学习技术列车车辆故障图像智能分析方法

Publications (1)

Publication Number Publication Date
CN116453039A true CN116453039A (zh) 2023-07-18

Family

ID=87129198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310222009.6A Pending CN116453039A (zh) 2023-03-09 2023-03-09 一种基于轻量级深度学习技术列车车辆故障图像智能分析方法

Country Status (1)

Country Link
CN (1) CN116453039A (zh)

Similar Documents

Publication Publication Date Title
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
Li et al. Joint attention feature transfer network for gearbox fault diagnosis with imbalanced data
CN111489339A (zh) 高速铁路定位器螺栓备母缺陷的检测方法
CN116416497B (zh) 一种轴承故障诊断系统及方法
CN110569843A (zh) 一种矿井目标智能检测与识别方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
Ye et al. Fault detection of railway freight cars mechanical components based on multi-feature fusion convolutional neural network
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及系统
CN117809164A (zh) 基于多模态融合的变电站设备故障检测方法及系统
CN113159046A (zh) 无砟道床异物检测方法及装置
CN113205039A (zh) 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法
CN115452376A (zh) 基于改进轻量级深度卷积神经网络的轴承故障诊断方法
CN114037684B (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN117975002A (zh) 一种基于多尺度伪标签融合的弱监督图像分割方法
CN117576038A (zh) 基于YOLOv8网络的织物瑕疵检测方法及系统
CN113705405B (zh) 一种核管道故障诊断方法
Li et al. MobileNetV3-CenterNet: A target recognition method for avoiding missed detection effectively based on a lightweight network
Daogang et al. Anomaly identification of critical power plant facilities based on YOLOX-CBAM
CN117274355A (zh) 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN116453039A (zh) 一种基于轻量级深度学习技术列车车辆故障图像智能分析方法
CN116383757A (zh) 一种基于多尺度特征融合和迁移学习的轴承故障诊断方法
CN114943835A (zh) 一种黄河冰凌无人机航拍图像实时语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination