CN112129778A - 基于计算机视觉的轨道列车维护检测系统 - Google Patents

基于计算机视觉的轨道列车维护检测系统 Download PDF

Info

Publication number
CN112129778A
CN112129778A CN202011117339.1A CN202011117339A CN112129778A CN 112129778 A CN112129778 A CN 112129778A CN 202011117339 A CN202011117339 A CN 202011117339A CN 112129778 A CN112129778 A CN 112129778A
Authority
CN
China
Prior art keywords
train
network
track
running
train running
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011117339.1A
Other languages
English (en)
Inventor
李熙
姚德臣
崔霆锐
孙强
杨建伟
张唯
霍苗苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Subway Operation Corp
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing Subway Operation Corp
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Subway Operation Corp, Beijing University of Civil Engineering and Architecture filed Critical Beijing Subway Operation Corp
Priority to CN202011117339.1A priority Critical patent/CN112129778A/zh
Publication of CN112129778A publication Critical patent/CN112129778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/02—Cleaning by the force of jets or sprays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B5/00—Cleaning by methods involving the use of air flow or gas flow
    • B08B5/02—Cleaning by the force of jets, e.g. blowing-out cavities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/34—Purifying; Cleaning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

一种基于计算机视觉的轨道列车维护检测系统。该系统包括感应、清洗、干燥列车车身的清洁模块、采集列车视频图像数据的数据采集模块、分析检测列车走行部件上的裂纹和零件状况的机器视觉单元、以及用于控制其他模块单元进行列车检测清洗的控制单元，本发明先利用清洁模块冲洗干净列车走行部件上的污泥杂物，然后利用数据采集模块的摄像装置拍摄列车的走行部件，并将所述走行部件的视频图像传输至机器视觉单元，供所述机器视觉单元检测列车走行部件上的裂纹和零件状况。本发明能够自动、快速、高效地实现对列车走行部的检查。本发明所提供的对列车走行部的检查维护方式不仅成本低而且效率高，还不容易因为人眼观察的盲区而出现漏检状况，能够有效提高检修的准确度。

Description

基于计算机视觉的轨道列车维护检测系统
技术领域
本发明涉及城市轨道列车技术领域，具体而言涉及一种基于计算机视觉的轨道列车维护检测系统。
背景技术
城市轨道列车，如，地铁、城轨列车，是城市客运专线运输的主体，其技术性能直接关系到列车的运行速度和安全。因此，必须对其进行全面统一、综合准确的控制和检测，才能保障其正常工作。而走行部是地铁最重要的组成部分之一，其状态的好坏直接影响城市轨道的运行品质、动力学性能和行车安全。因此，对城市轨道列车走行部的检测，是保证地铁运输网络安全可靠运行的重要保障。
但是，目前，对城市轨道列车的检修、维护，还主要依靠人工对列车走行部进行检查。这种检查维护方式不仅成本高而且效率低，还很容易因为人眼观察的盲区而出现漏检状况。
发明内容
本发明针对现有技术的不足，提供一种基于计算机视觉的轨道列车维护检测系统，本发明利用计算机视觉技术对城市轨道列车的底部进行清洗维护和自动检测。本发明具体采用如下技术方案。
首先，为实现上述目的，提出一种基于计算机视觉的轨道列车维护检测系统，该系统包括
清洁模块，其包括激光监测仪、冲洗装置和干燥设备；所述激光监测仪用于感应列车的位置，并在列车行进至清洗位置时输出触发信号；所述冲洗装置用于在冲洗区域内对列车进行冲洗；所述干燥设备用于在干燥区域内去除车身上经所述冲洗装置冲洗后所残留的水分；
数据采集模块，包括摄像装置，所述摄像装置沿列车的行进方向设置在干燥设备之后，所述摄像装置用于拍摄列车的走行部件，并将所述走行部件的视频图像传输至机器视觉单元，供所述机器视觉单元检测列车走行部件上的裂纹和零件状况；
机器视觉单元，所述机器视觉单元连接所述摄像装置，用于根据摄像装置所拍摄的列车走行部件的各帧图像，利用SSD网络检测列车走行部件上的裂纹和零件状况；
控制单元，用于驱使列车沿轨道由清洁部向数据采集部移动，并在此过程中，其首先根据激光监测仪的触发信号，控制清洁部中的冲洗装置先分别以水平和竖直的角度向列车的左右两侧面以及向列车走行部件的下底面喷射高压水柱，并分别以水平和竖直的角度向列车的左右两侧面以及向列车走行部件的下底面喷射高压气流；
然后控制数据采集部中的摄像装置分别以仰视的角度以及平视的角度拍摄列车走行部件的下底面图像以及列车走行部件左右两侧面的图像；
分别将所述列车走行部件的图像输入至机器视觉单元，由所述机器视觉单元按照以下步骤调用SSD网络逐一检测各帧图像上列车走行部件上的裂纹和零件状况。
可选地，所述激光监测仪和冲洗装置均沿轨道设置在列车的行进方向上；
所述列车在轨道上行进的过程中，列车的车身由所述冲洗区域的一侧进入由另一侧驶出，在所述冲洗区域内接受冲洗装置所喷射出的水流的冲洗；
所述清洁模块还包括地漏，其沿列车的行进方向设置在干燥设备之前，用于接收并排出冲洗装置喷射车身后的水流。
可选地，所述摄像装置包括：
底部高清摄像头(21)，其设置在所述轨道(8)的中间，用于以仰视的角度拍摄列车走行部件的下底面图像；
侧面高清摄像头(22)，其包括分别设置在所述轨道(8)外侧的一对，用于以平视的角度拍摄列车走行部件左右两侧面的图像；
底部LED灯(41)，其包括设置在所述轨道(8)中间的若干组，用于在底部高清摄像头(21)拍摄时，向列车走行部件的下底面打光以保证拍摄亮度满足机器视觉单元的检测要求；
侧面LED灯带(42)，其包括分别设置在所述轨道(8)外侧的至少两组，用于在侧面高清摄像头(22)拍摄时，向列车走行部件左右两侧面打光以保证拍摄亮度满足机器视觉单元的检测要求。
可选地，所述冲洗装置包括：
侧面高压水枪(31)，其包括分别设置在所述轨道(8)外侧的至少两组，每组侧面高压水枪(31)竖直排列，用于以水平或接近水平的角度向列车的左右两侧面喷射高压水柱；
底部高压水枪(32)，其包括水平设置在所述轨道(8)中间的至少一组，用于以竖直或接近竖直的角度向列车走行部件的下底面喷射高压水柱；
所述干燥设备包括：
底部吹气口(51)，其包括水平设置在所述轨道(8)中间的至少一组，用于以竖直或接近竖直的角度向列车走行部件的下底面喷射高压气流吹干列车底部所残留的水分；
侧面吹气口(52)，其包括分别设置在所述轨道(8)外侧的至少两组，每组侧面吹气口(52)竖直排列，用于以水平或接近水平的角度向列车的左右两侧面喷射高压气流吹干列车底部所残留的水分。
可选地，所述机器视觉单元按照以下步骤利用SSD网络检测列车走行部件上的裂纹：
步骤L1，调用第一卷积神经网络对所述图像进行第一特征提取，生成若干层裂纹特征feature map；
步骤L2，抽取其中六层的裂纹特征feature map，再由裂纹特征feature map的每个点分别生成相应的裂纹特征检测框；
步骤L3，将生成的所有裂纹特征检测框集合起来，分别进行非极大值抑制处理，输出筛选后的裂纹特征检测框提示列车的走行部件上的裂纹。
可选地，所述机器视觉单元按照以下步骤利用SSD网络检测列车走行部件上零件的状况：
步骤P1，对所述图像进行尺寸调整，调用经生成式对抗网络训练而获得的第二卷积神经网络，对调整后的图像进行第二特征提取，获得若干层零件特征feature map；
步骤P2，抽取其中六层的零件特征feature map，再由零件特征feature map的每个点分别生成相应的零件特征检测框；
步骤P3，将生成的所有零件特征检测框集合起来，分别进行非极大值抑制处理，输出筛选后的零件特征检测框提示列车的走行部件上的零件缺失状况。
可选地，所述第二卷积神经网络具体按照如下步骤，通过成式对抗网络训练而获得：
步骤s1，分别采集并标记列车走行部件上零件缺失的故障图片和列车走行部件上零件完好的正常图片；
步骤s2，将高斯随机分布生成的噪声数据输入至成式对抗网络中的生成网络G中，获得噪声分布G(Z)
步骤s3，将所述故障图片以及所述噪声分布G(Z)共同输入至成式对抗网络中的鉴别网络D中，生成额外的真实负样本，将额外的真实负样本同样标记为故障图片；
步骤s4，从上述步骤s1以及步骤s3中所获得的各正常图片以及各故障图片中随机按照预设比例选取图片分别作为训练集、测试集、验证集；
步骤s5，将训练集中各图片依次输入至第二卷积神经网络中，对所述第二卷积神经网络按照损失函数进行反向传播训练，直至所述第二卷积神经网络达到纳什均衡时完成对所述第二卷积神经网络的训练。
有益效果
本发明将清洁部和数据采集部沿列车行进方向顺序设置在轨道上，先利用清洁部的高压水枪和吹气口喷射高压水柱和高压气流，冲洗干净列车走行部件上的污泥杂物，然后利用数据采集部的摄像装置拍摄列车的走行部件，并将所述走行部件的视频图像传输至机器视觉单元，供所述机器视觉单元检测列车走行部件上的裂纹和零件状况。本发明能够自动、快速、高效地实现对列车走行部的检查。本发明所提供的对列车走行部的检查维护方式不仅成本低而且效率高，还不容易因为人眼观察的盲区而出现漏检状况，能够有效提高检修的准确度。
进一步，由于螺丝缺失故障的图像样本数量较小，为了避免不平衡的训练样本在不同对象类之间造成卷积神经网络识别时产生倾斜和归纳偏差，致使小样本类识别性能较差。本发明利用高斯随机分布的噪声数据，通过生成网络G增加额外的真实负样本，以平衡不同类别样本之间数据量。由此，本发明能够通过接近平衡的训练数据来保证故障检测的准确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的基于计算机视觉的轨道列车维护检测装置的整体结构示意图；
图2是本发明轨道列车维护检测系统结构图；
图3是本发明训练过程中对裂纹进行标记所确定的检测框的示意图；
图4是本发明检测过程中所标记出的裂纹的示意图；
图5是本发明对城市轨道列车进行机器视觉识别检测的流程图；
图6是本发明所采用的对抗神经网络的原理示意图；
图7是本发明对城市轨道列车螺丝脱落的检测结果的示意图。
图中，1表示激光监测仪；21表示底部高清摄像头；22侧面高清摄像头；31表示侧面高压水枪；32表示底部高压水枪；41表示底部LED灯；42表示侧面LED灯带；51表示底部吹气口；52表示侧面吹气口；6表示挡水板；7表示地漏；8表示轨道。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
如图1所示，本系统的硬件装置主要可分为两部分，第一部分为清洁部，第二部分为数据采集部：
其中的清洁部分包括：
激光监测仪1，其沿轨道8设置在列车的行进方向上，用于感应列车的位置，并在列车行进至清洗位置时输出触发信号；
冲洗装置，其沿轨道8设置在列车的行进方向上，并在列车的行进方向上形成有冲洗区域，所述列车在轨道上行进的过程中，列车的车身由所述冲洗区域的一侧进入由另一侧驶出，在所述冲洗区域内通过两组竖直排列的侧面高压水枪31以水平或接近水平的角度向列车的左右两侧面喷射高压水柱，通过至少一组水平设置的底部高压水枪32以竖直或接近竖直的角度向列车走行部件的下底面喷射高压水柱，然后通过包含有底部和侧面吹风口的干燥设备以竖直或接近竖直的角度向列车走行部件的下底面喷射高压气流吹干列车底部所残留的水分，以水平或接近水平的角度向列车的左右两侧面喷射高压气流吹干列车底部所残留的水分；
地漏7，其沿列车的行进方向设置在干燥设备之前，用于接收并排出冲洗装置喷射车身后的水流；
上述的清洁部可设置为按照以下方式工作：在列车进入车辆段以后从钢轨上方缓慢行驶，此时当走行部移动到高压水枪上方时，底部高压水枪与侧面设置的高压水枪同时喷射出高压水流，对走行部底部和侧面进行冲刷，把灰尘和尘土进行冲洗，当泥水从走总部掉落在钢轨附近时会通过地漏装置流出，由于污水的主要成份是泥沙所以污水经过简单过滤可重复使用，当水流很大时污水无法及时通过地漏排出时，为了避免水把其他设备浸湿，从而损坏到轨道其他部分的设备，在清洁部分与数据采集部分之间设置了挡水板，可以有效的阻止污水对其他设备的侵蚀，当走行部清洗干净以后，为了后面将数据更好的采集，通过底部和侧面的气枪对走行部进行吹干处理，方便后面进行数据采集。
其中的数据采集部分包括：
摄像装置，其沿列车的行进方向设置在干燥设备之后，包括用于以仰视的角度拍摄列车走行部件的下底面图像的底部高清摄像头21和，其用于以平视的角度拍摄列车走行部件左右两侧面的图像的侧面高清摄像头22；
两摄像头在拍摄时还可分别通过底部LED灯41和侧面LED灯带42实现打光照明；
所述的底部LED灯41包括设置在所述轨道8中间的若干组，用于在底部高清摄像头21拍摄时，向列车走行部件的下底面打光以保证拍摄亮度满足机器视觉单元的检测要求；
所述的侧面LED灯带42包括分别设置在所述轨道8外侧的至少两组，用于在侧面高清摄像头22拍摄时，向列车走行部件左右两侧面打光以保证拍摄亮度满足机器视觉单元的检测要求；
上述的数据采集部可设置为按照以下方式工作：当吹干的走行部继续往前走的时候车轮阻挡激光检测仪，此时对面无法接受到信号从而点亮首先侧面和底部高压水枪喷射出高压水流，将底部泥土与灰尘清洗干净，污水通过地漏流出不会腐蚀钢轨以及其他地上设备，清洗完成后侧面和底部气吹通过喷出高压气体快速对走行部进行吹干，接着LED灯与侧面LED灯带对走行部进行补光，同时底部和侧面高清摄像头对走行部进行图像采集，然后将拍摄到的列车的走行部件的视频图像传输至机器视觉单元，供所述机器视觉单元执行以下步骤以调用SSD网络逐一检测各帧图像上列车走行部件上的裂纹和零件状况：
步骤A1，对所述图像进行尺寸调整，调用卷积神经网络，对调整后的图像进行特征提取，获得若干层特征feature map；
步骤A2，抽取其中六层的特征feature map，再由特征feature map的每个点分别生成相应的特征检测框；
步骤A3，将生成的所有特征检测框集合起来，分别进行非极大值抑制处理，输出由非极大值筛选后的特征检测框，提示列车走行部件上的裂纹和零件缺失状况。
本发明之所以选择SSD网络实现对裂纹和零件脱落的检测，其原因在于：对比SSD网络结构和下部的YOLO网络结构，SSD的优势在于，SSD生成检测框default box的特征feature map不仅仅是卷积神经网络CNN输出的最后一层，还有利用比较浅层的featuremap生成的检测框default box，因此SSD所生成的default box是多尺度的。所以SSD对于小目标的检测一定会优于YOLO v1(因为YOLO v1中小目标经过高层卷积后，其所对应的特征几乎都消失了)。同时，又因为SSD生成的多尺度default box一定有更高概率找到更加贴近于Ground Truth的候选框，所以模型的稳定性是肯定比YOLO强的(YOLO的bounding box很少，只有98个，如果距离GT比较远，那么修正bounding box的线性回归就不成立，训练时模型可能会跑飞)。
对上述卷积神经网络CNN所进行的训练可通过以下步骤实现：
输入一幅类似图3所示的图片，让图片经过卷积神经网络(CNN)提取特征，并生成feature map，抽取其中六层的feature map，然后再在feature map的每个点上生成default box(各层的个数不同，但每个点都有)，将生成的所有default box都集合起来，全部丢到NMS(极大值抑制)中，输出筛选后的default box，并输出。
训练数据制作的时候可选择LabelImg对裂纹进行标记，标记所选的检测框数据一定要小，这样方便收敛。接着制作数据格式，采用VOC2007数据格式文件夹下面一共三个子文件夹，其中：利用Annotations文件夹存放LbaelImg制作数据生成的xml文件，利用JPEGImages存放.jpg格式的原图像，利用ImageSets下面的一个Main文件夹，再利用Main文件夹下面的四个txt文件分别对应存储从Annotations文件夹中随机选取图像名称，使其能够按照一定的比例划分为训练集、测试集、验证集，以便在训练完成后，通过测试集和验证集对模型进行测试。
本发明在设置学习率的时候，一般可设置小些，比如，设置为0.0001。设置过大，会导致梯度爆炸。
本发明在制作数据的时候，需要把前景和背景区别开来，对裂纹比较明显的特征，检测框可以设置小些，而且尽量不要包含无关的背景；对裂纹不明显的特征，需要设置检测框大些，不明显的特征只能通过长裂纹来和背景区分。
本发明在具体实施裂纹检测时，可按照以下步骤进行：
1、安装标注工具
要使用自己的数据来训练模型，首先得先作数据标注，也就是先要告诉机器图像里面有什么物体、物体在位置在哪里，有了这些信息后才能来训练模型。
(1)标注数据文件
目前流行的数据标注文件格式主要有VOC_2007、VOC_2012，该文本格式来源于Pascal VOC标准数据集，这是衡量图像分类识别能力的重要基准之一。采用VOC_2007数据格式文件，以xml格式存储。
2、a.下载源代码
通过访问labelImg的github页面(https://github.com/tzutalin/labelImg)，下载源代码。可通过git进行clone，也可以直接下载成zip压缩格式的文件。
b.安装编译
解压labelImg的zip文件，得到LabelImg-master文件夹。
labelImg的界面是使用PyQt编写的，由于我们搭建的基础环境使用了最新版本的anaconda已经自带了PyQt5，在python3的环境下，只需再安装lxml即可，进入LabelImg-master目录进行编译，
3、标注数据
成功安装了标注工具后，现在就来开始标注数据了。
(1)创建文件夹
按照VOC数据集的要求，创建以下文件夹Annotations：用于存放标注后的xml文件ImageSets/Main：用于存放训练集、测试集、验收集的文件列表；
JPEGImages：用于存放原始图像
(2)标注数据
将图片集放在JPEGImages文件夹里面，注意图片的格式必须是jpg格式的。
打开labelImg标注工具，然后点击左侧的工具栏“Open Dir”按钮。
(3)划分训练集、测试集、验证集
完成对所有照片的标注后，还要将各照片对应的数据集划分为训练集、测试集和验证集。
在github上下载一个自动划分的脚本(https://github.com/EddyGao/make_VOC2007/blob/master/make_main_txt.py)然后执行以下代码python make_main_txt.py将会按照脚本里面设置的比例，自动拆分训练集、测试集和验证集，将相应的文件名列表保存在里面。
4、配置SSD
(1)下载SSD代码
由于本案例是基于tensorflow的，因此，在github上下载一个基于tensorflow的SSD，地址是https://github.com/balancap/SSD-Tensorflow
(2)转换文件格式
将voc_2007格式的文件转换为tfrecord格式，tfrecord数据文件tensorflow中的一种将图像数据和标签统一存储的二进制文件，能更加快速地在tensorflow中复制、移动、读取和存储等。
SSD-Tensorflow-master提供了转换格式的脚本，转换代码如下：
DATASET_DIR＝./panda_voc2007/
OUTPUT_DIR＝./panda_tfrecord/
python SSD-Tensorflow-master/tf_convert_data.py--dataset_name＝pascalvoc--dataset_dir＝${DATASET_DIR}--output_name＝voc_2007_train--output_dir＝${OUTPUT_DIR}
(3)修改物体类别
由于是我们自定义的物体，因此，要修改SSD-Tensorflow-master中关于物体类别的定义，打开SSD-Tensorflow-master/datasets/pascalvoc_common.py文件，进行修改，将VOC_LABELS中的其它无关类别全部删掉，增加panda的名称、ID、类别，如下：
Figure BDA0002730760400000101
5、下载预训练模型
SSD-Tensorflow提供了预训练好的模型，基于CNN经典模型VGG，如下表：
但这些预训练的模型文件都是存储在drive.google.com上，因此，无法直接下载。只能通过VPN方式进行下载，在这里下载SSD-300VGG-based预训练模型，得到文件：VGG_VOC0712_SSD_300x300_ft_iter_120000.ckpt.zip，然后进行解压.
6、训练模型
终于把标注文件、SSD模型都准备好了，现在准备开始来训练了。
在训练模型之前，有个参数要修改下，打开SSD-Tensorflow-master/train_ssd_network.py找到里面的DATA_FORMAT参数项，如果是使用cpu训练则值为NHWC，如果是使用gpu训练则值为NCHW，如下：
Figure BDA0002730760400000111
其中，根据自己电脑的性能情况，设置batch_size的值，值越大表示批量处理的数量越大，对机器性能的要求越高。如果电脑性能普通的，则可以设置为8，甚至4。学习率learning_rate也可以根据实际情况调整，学习率越小则越精确，训练的时间也越长，学习率越大则可缩短训练时间，但就会降低精准度。在这里使用预训练好的模型，SSD将会锁定VGG模型的一些参数进行训练，这样能在较短的时间内完成训练。
7、使用模型
SSD模型训练好进行使用时，其SSD-Tensorflow-master自带了一个notebooks脚本，可通过jupyter直接使用模型。
先安装jupyter，安装方式如下：conda install jupyter然后启动jupyter-notebook，代码如下：jupyter-notebook SSD-Tensorflow-master/notebooks/ssd_notebook.ipynb启动后在SSD 300Model的代码块设置模型的路径和名称，模型在对列车的走行部件的视频图像进行识别后可获得类似图4所示的裂纹结果标记。
具体实施零件缺失检测时，可先按照以下步骤按照图6所示执行对模型的训练：
1.取batch的训练集x，和随机生成noise z；
2.计算loss；
3.使用back propagation更新generator和discriminator：对于一个已知的real的分布，generator生成一个fake的分布。因为这个两个分布不完全相同，所以他们之间存在KL-divergence，也就是损失函数不为0。同时看到real的分布和fake的分布。如果discriminator能分清楚来自generator生成的与来自real分布的，就会生成loss并反向传播更新generator的权重。generator更新完成后，生成的fake数据更符合real的分布。但是如果生成的data仍然不够接近real的分布，discriminator依然能识别出来了，因此再次对generator进行权重更新。终于这次discriminator被骗过了，它认为generator生成的fake数据就是符合real分布的。这个就对应False Positive的情况，需要对discriminator进行更新。反向传播来更新discriminator的权重。继续这个过程，直到generator生成的分布与real分布无法区分时，网络达到纳什均衡。
此时可将GAN应用于解决螺丝缺失、拍摄部位的外表面不完整有裂纹等故障数据数量有限所造成的数据不平衡问题：采用生成式对抗网络来学习真实数据样本的分布情况，通过生成额外的真实负样本来平衡和扩展训练数据集；然后用深度残差神经网络(ResNet)进行识别与诊断的训练，使用扩展后的数据集进行训练。
然后通过图5所示的步骤实现对列车的走行部件视频图像中所缺失的零件的检测：
步骤P1，对所述图像进行尺寸调整，调用经生成式对抗网络训练而获得的第二卷积神经网络，对调整后的图像进行第二特征提取，获得若干层零件特征feature map；
步骤P2，抽取其中六层的零件特征feature map，再由零件特征feature map的每个点分别生成相应的零件特征检测框；
步骤P3，将生成的所有零件特征检测框集合起来，分别进行非极大值抑制处理，输出筛选后的零件特征检测框提示列车的走行部件上的零件缺失状况。
由此，本发明针对螺丝缺失故障数据数量有限的问题，为了更好的利用图像处理、计算机视觉、机器学习和神经网络越来越多的成熟技术，保证训练样本能够最大程度的接近目前智能故障诊断研究中大多使用的能够获得均衡的训练数据，保证不同的实验条件下可以使用相同数量的标记样本进行训练，本发明在训练数据不均衡的情况下，利用对抗神经网络(Generative Adversarial Network,GAN)从生成数据的角度解决数据不平衡问题。
该GAN网络一般采用两个模块，即生成网络G和鉴别网络D组成，它们都是参数化的深度神经网络。图6为GAN结构图，input是G的输入，一般情况下是高斯随机分布生成的噪声数据，其中G的输出是G(Z),对于真实的数据，一般为图片，将分布变量用X来表示，对于D的输出则是判断来自X的可能性其中G(Z)表示噪声分布。由此，该GAN网络能够生成式对抗网络来学习真实数据样本的分布情况，并通过生成额外的真实负样本来平衡和扩展训练数据集。
由此，随着网络训练g-loss和d-loss达到纳什均衡，表示训练差不多已经因为我们所对数据进行的扩充而无需对模型精度提出要求。由此我们可以主要利用gan对数据进行增强，通过对普通数据增强进行翻转加噪声，通过直接学习原数据分布然后合成出故障数据。
本发明在进行裂纹和零件缺失的故障数据的检测时，可采用如上的方式生成式对抗网络来学习真实数据样本的分布情况，通过生成额外的真实负样本来平衡和扩展训练数据集。
在具体进行检测的过程中，一般还需要在输入网络前对图像数据进行预处理，以实现更为稳定可靠的检测效果。所述预处理步骤包括：剔除模糊不清的照片数据，直接对照片进行resize到512*256大小。
综上，本发明通过通用函数逼近算法(universal function approximator)，使我们能够使用大量节点的神经网络来模拟任何非线性的Input与Output之间的函数，实现相对其他方法的更高的自由度，避免判断过程受算法本身的能力而限制。本发明中对于generator或discriminator没有任何形式的限制，两者的形式也不必要相同，只是其均可以被看作是一个全能的神经网络：比如，generator(G)的输入是noise z，输出是生成的样本G(z)。由此，本发明可以通过将生成的样本混合真实数据输入discriminator(D)，通过discriminator进行二分类并给出一个是否为真的打分D(G(z))。通过generator和discriminator的loss，依赖discriminator的好坏而实现向目标：G要maximizeD(G(z)),D要maximizeD(x)，minimize D(G(z))的趋近。从而使得整个GAN通过D和G的博弈，实现generator和discriminator的相互对抗，最终获得相对于另一网络均处于峰值的纳什均衡。由此训练完成的模型可对图像进行较为准确的检测，并通过非极大抑制筛选出类似图7所示的具有最大可能性的零件脱落状况。
以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (7)

1.一种基于计算机视觉的轨道列车维护检测系统，其特征在于，系统包括
清洁模块，其包括激光监测仪、冲洗装置和干燥设备；所述激光监测仪用于感应列车的位置，并在列车行进至清洗位置时输出触发信号；所述冲洗装置用于在冲洗区域内对列车进行冲洗；所述干燥设备用于在干燥区域内去除车身上经所述冲洗装置冲洗后所残留的水分；
数据采集模块，包括摄像装置，所述摄像装置沿列车的行进方向设置在干燥设备之后，所述摄像装置用于拍摄列车的走行部件，并将所述走行部件的视频图像传输至机器视觉单元，供所述机器视觉单元检测列车走行部件上的裂纹和零件状况；
机器视觉单元，所述机器视觉单元连接所述摄像装置，用于根据摄像装置所拍摄的列车走行部件的各帧图像，利用SSD网络检测列车走行部件上的裂纹和零件状况；
控制单元，用于驱使列车沿轨道由清洁部向数据采集部移动，并在此过程中，其首先根据激光监测仪的触发信号，控制清洁部中的冲洗装置先分别以水平和竖直的角度向列车的左右两侧面以及向列车走行部件的下底面喷射高压水柱，并分别以水平和竖直的角度向列车的左右两侧面以及向列车走行部件的下底面喷射高压气流；
然后控制数据采集部中的摄像装置分别以仰视的角度以及平视的角度拍摄列车走行部件的下底面图像以及列车走行部件左右两侧面的图像；
分别将所述列车走行部件的图像输入至机器视觉单元，由所述机器视觉单元按照以下步骤调用SSD网络逐一检测各帧图像上列车走行部件上的裂纹和零件状况。
2.如权利要求1所述的基于计算机视觉的轨道列车维护检测系统，其特征在于，
所述激光监测仪和冲洗装置均沿轨道设置在列车的行进方向上；
所述列车在轨道上行进的过程中，列车的车身由所述冲洗区域的一侧进入由另一侧驶出，在所述冲洗区域内接受冲洗装置所喷射出的水流的冲洗；
所述清洁模块还包括地漏，其沿列车的行进方向设置在干燥设备之前，用于接收并排出冲洗装置喷射车身后的水流。
3.如权利要求1所述的基于计算机视觉的轨道列车维护检测系统，其特征在于，所述摄像装置包括：
底部高清摄像头（21），其设置在所述轨道（8）的中间，用于以仰视的角度拍摄列车走行部件的下底面图像；
侧面高清摄像头（22），其包括分别设置在所述轨道（8）外侧的一对，用于以平视的角度拍摄列车走行部件左右两侧面的图像；
底部LED灯（41），其包括设置在所述轨道（8）中间的若干组，用于在底部高清摄像头（21）拍摄时，向列车走行部件的下底面打光以保证拍摄亮度满足机器视觉单元的检测要求；
侧面LED灯带（42），其包括分别设置在所述轨道（8）外侧的至少两组，用于在侧面高清摄像头（22）拍摄时，向列车走行部件左右两侧面打光以保证拍摄亮度满足机器视觉单元的检测要求。
4.如权利要求1所述的基于计算机视觉的轨道列车维护检测系统，其特征在于，所述冲洗装置包括：
侧面高压水枪（31），其包括分别设置在所述轨道（8）外侧的至少两组，每组侧面高压水枪（31）竖直排列，用于以水平或接近水平的角度向列车的左右两侧面喷射高压水柱；
底部高压水枪（32），其包括水平设置在所述轨道（8）中间的至少一组，用于以竖直或接近竖直的角度向列车走行部件的下底面喷射高压水柱；
所述干燥设备包括：
底部吹气口（51），其包括水平设置在所述轨道（8）中间的至少一组，用于以竖直或接近竖直的角度向列车走行部件的下底面喷射高压气流吹干列车底部所残留的水分；
侧面吹气口（52），其包括分别设置在所述轨道（8）外侧的至少两组，每组侧面吹气口（52）竖直排列，用于以水平或接近水平的角度向列车的左右两侧面喷射高压气流吹干列车底部所残留的水分。
5.如权利要求1所述的基于计算机视觉的轨道列车维护检测系统，其特征在于，所述机器视觉单元按照以下步骤利用SSD网络检测列车走行部件上的裂纹：
步骤L1，调用第一卷积神经网络对所述图像进行第一特征提取，生成若干层裂纹特征feature map；
步骤L2，抽取其中六层的裂纹特征feature map，再由裂纹特征feature map 的每个点分别生成相应的裂纹特征检测框；
步骤L3，将生成的所有裂纹特征检测框集合起来，分别进行非极大值抑制处理，输出筛选后的裂纹特征检测框提示列车的走行部件上的裂纹。
6.如权利要求1所述的基于计算机视觉的轨道列车维护检测系统，其特征在于，所述机器视觉单元按照以下步骤利用SSD网络检测列车走行部件上零件的状况：
步骤P1，对所述图像进行尺寸调整，调用经生成式对抗网络训练而获得的第二卷积神经网络，对调整后的图像进行第二特征提取，获得若干层零件特征feature map；
步骤P2，抽取其中六层的零件特征feature map，再由零件特征feature map 的每个点分别生成相应的零件特征检测框；
步骤P3，将生成的所有零件特征检测框集合起来，分别进行非极大值抑制处理，输出筛选后的零件特征检测框提示列车的走行部件上的零件缺失状况。
7.如权利要求6所述的基于计算机视觉的轨道列车维护检测系统，其特征在于，所述第二卷积神经网络具体按照如下步骤，通过成式对抗网络训练而获得：
步骤s1，分别采集并标记列车走行部件上零件缺失的故障图片和列车走行部件上零件完好的正常图片；
步骤s2，将高斯随机分布生成的噪声数据输入至成式对抗网络中的生成网络G中，获得噪声分布G(Z)
步骤s3，将所述故障图片以及所述噪声分布G(Z)共同输入至成式对抗网络中的鉴别网络D中，生成额外的真实负样本，将额外的真实负样本同样标记为故障图片；
步骤s4，从上述步骤s1以及步骤s3中所获得的各正常图片以及各故障图片中随机按照预设比例选取图片分别作为训练集、测试集、验证集；
步骤s5，将训练集中各图片依次输入至第二卷积神经网络中，对所述第二卷积神经网络按照损失函数进行反向传播训练，直至所述第二卷积神经网络达到纳什均衡时完成对所述第二卷积神经网络的训练。
CN202011117339.1A 2020-10-19 2020-10-19 基于计算机视觉的轨道列车维护检测系统 Pending CN112129778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011117339.1A CN112129778A (zh) 2020-10-19 2020-10-19 基于计算机视觉的轨道列车维护检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011117339.1A CN112129778A (zh) 2020-10-19 2020-10-19 基于计算机视觉的轨道列车维护检测系统

Publications (1)

Publication Number Publication Date
CN112129778A true CN112129778A (zh) 2020-12-25

Family

ID=73852756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011117339.1A Pending CN112129778A (zh) 2020-10-19 2020-10-19 基于计算机视觉的轨道列车维护检测系统

Country Status (1)

Country Link
CN (1) CN112129778A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139572A (zh) * 2021-03-09 2021-07-20 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN113739685A (zh) * 2021-09-07 2021-12-03 北京建筑大学 一种列车部件裂纹长度检测方法及装置
CN113830030A (zh) * 2021-09-07 2021-12-24 唐建松 一种轨道交通系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN111351793A (zh) * 2020-04-17 2020-06-30 中南大学 一种列车车轴表面缺陷的检测系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN111351793A (zh) * 2020-04-17 2020-06-30 中南大学 一种列车车轴表面缺陷的检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
俞彬: "基于生成对抗网络的图像类别不平衡问题数据扩充方法", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 12, pages 1 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139572A (zh) * 2021-03-09 2021-07-20 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN113139572B (zh) * 2021-03-09 2022-08-02 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN113739685A (zh) * 2021-09-07 2021-12-03 北京建筑大学 一种列车部件裂纹长度检测方法及装置
CN113830030A (zh) * 2021-09-07 2021-12-24 唐建松 一种轨道交通系统
CN113830030B (zh) * 2021-09-07 2023-12-22 唐建松 一种轨道交通系统

Similar Documents

Publication Publication Date Title
CN112129778A (zh) 基于计算机视觉的轨道列车维护检测系统
US11887064B2 (en) Deep learning-based system and method for automatically determining degree of damage to each area of vehicle
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN103235830A (zh) 一种基于无人机电力巡线方法、装置及无人机
CN108596883B (zh) 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
CN111079822A (zh) 轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN111091544A (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN114120317B (zh) 基于深度学习和图像处理的光学元件表面损伤识别方法
CN107886131A (zh) 一种基于卷积神经网络检测电路板元器件极性方法和装置
CN110135302A (zh) 训练车道线识别模型的方法、装置、设备和存储介质
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
CN113052159A (zh) 一种图像识别方法、装置、设备及计算机存储介质
CN113255634A (zh) 基于改进Yolov5的车载移动端目标检测方法
CN113780435A (zh) 车辆损伤检测方法、装置、设备及存储介质
CN116359233A (zh) 方形电池外观缺陷检测方法、装置、存储介质和电子设备
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
CN110314361A (zh) 一种基于卷积神经网络的篮球进球得分判断方法及系统
CN112129777A (zh) 基于计算机视觉的轨道列车维护检测装置
CN112129779A (zh) 基于计算机视觉的轨道列车维护检测方法
CN112861840A (zh) 基于多特征融合卷积网络的复杂场景字符识别方法及系统
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
Liu et al. Container-code recognition system based on computer vision and deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination