CN114882452B - 轨道线路安全监测方法、列车运行控制方法及控制系统 - Google Patents

轨道线路安全监测方法、列车运行控制方法及控制系统 Download PDF

Info

Publication number
CN114882452B
CN114882452B CN202210535870.3A CN202210535870A CN114882452B CN 114882452 B CN114882452 B CN 114882452B CN 202210535870 A CN202210535870 A CN 202210535870A CN 114882452 B CN114882452 B CN 114882452B
Authority
CN
China
Prior art keywords
track
video
semantic segmentation
real
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202210535870.3A
Other languages
English (en)
Other versions
CN114882452A (zh
Inventor
张弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210535870.3A priority Critical patent/CN114882452B/zh
Publication of CN114882452A publication Critical patent/CN114882452A/zh
Application granted granted Critical
Publication of CN114882452B publication Critical patent/CN114882452B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明公开了一种轨道线路安全监测方法、列车运行控制方法及控制系统，通过获取轨道实时视频；将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果；根据所述识别分类结果，发出异物入侵的警示信息和/或对应控制列车的运行。本发明采用小样本学习方法与视频语义分割方法结合，利用视频分割技术，通过小样本迁移学习，将轨道监控视频中的火车轨道以及轨道侵入物从背景中分离出来，检测判断是否有异物入侵轨道并实施自动控制，提高列车运行控制系统的智能化和自动化程度，确保列车安全运行。

Description

轨道线路安全监测方法、列车运行控制方法及控制系统
技术领域
本发明涉及轨道安全技术领域，具体涉及一种轨道线路安全监测方法、列车运行控制方法及控制系统。
背景技术
地铁、城轨列车、铁路客车和货车等轨道车辆主要依靠轮轨关系实现列车的导向功能，确保轨道线路安全是运输的重中之重。现有技术中，对于轨道安全的监控，通常通过人工巡道检查轨道是否有异物，缺乏自动化监控手段。但是轨道线路长，异物侵入随机性大，难于及时发现异常情况。因此，轨道车辆在行驶时，机车驾驶员必须时刻高度注意运行前方轨道是否安全，如果发现异物侵入轨道，如滚石落入轨道或行人侵入轨道等情况时，需及时采取措施减速或停车。如果驾驶员无法及时发现，会导致列车脱轨或人员伤亡，严重影响了列车安全运行。
因此，有必要涉及一种新的方法，以解决异物侵入轨道的监测，便于及时采取措施控制列车的运行，避免安全事故发生。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种轨道线路安全监测方法、列车运行控制方法及控制系统。
为实现上述目的，本发明采用以下技术方案：
轨道线路安全监测方法，包括：
获取轨道实时视频；
将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果；
其中，所述将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果，包括：
将所述轨道实时视频输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频；
将获取的所述语义分割视频输入全连接神经网络中进行轨道状态分类，得到识别分类结果。
其进一步的技术方案为：所述将所述轨道实时视频输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频，包括：
构建小样本视频语义分割模型；
将所述轨道实时视频进行预处理，以得到预处理结果；
将所述预处理结果输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频。
其进一步的技术方案为：所述构建小样本视频语义分割模型，包括：
通过通用大型数据集进行第一次训练，以使所述小样本视频语义分割模型对视频数据中的目标识别物具有语义分割能力；
通过轨道静态图像和轨道动态视频进行第二次训练，得到所述小样本视频语义分割模型。
其进一步的技术方案为：所述通过轨道静态图像和轨道动态视频进行第二次训练，得到所述小样本视频语义分割模型，包括：
获取轨道静态图像和轨道动态视频；
分别对轨道静态图像和轨道动态视频进行预处理，并对预处理后的轨道静态图像和轨道动态视频分别进行轨道状态分类，以得到样本集；
划分所述样本集，以得到训练集以及测试集；
利用所述训练集进行所述第二次训练，并通过所述测试集测试是否达标，以得到所述小样本视频语义分割模型。
其进一步的技术方案为：所述分别对轨道静态图像和轨道动态视频进行预处理包括：
标注出所述轨道静态图像中轨道的区域，进行归一化后按照轨道状态分类；
将所述轨道动态视频调整为统一分辨率且裁剪为包含同样帧数的短视频集，并标注出轨道的区域，按照轨道状态分类。
其进一步的技术方案为：所述小样本视频语义分割模型利用Encoder进行特征编码，且利用4层2维卷积神经网络对特征编码后输出的图像进行特征提取，利用4层3维卷积神经网络对特征编码后输出的视频信息进行特征提取，并利用训练好的小样本视频语义分割模型分层对所提取的特征进行语义分割划分，逐帧减去语义分割结果视频与静态轨道区域图像重叠的部分，得到语义分割结果。
其进一步的技术方案为：所述轨道状态包括存在侵入物状态、无侵入物状态以及列车驶过状态。
本发明还提供了轨道线路安全监测装置，包括：
视频采集单元，用于获取轨道实时视频；
轨道异物识别及轨道状态分类单元，将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果；
其中，所述将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果，包括：
将所述轨道实时视频输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频；
将获取的所述语义分割视频输入全连接神经网络中进行轨道状态分类，得到识别分类结果。
本发明还提供了列车运行控制方法，包括：
通过如上述的轨道线路安全监测方法，获取轨道是否有异物侵入的识别分类结果；
根据所述识别分类结果，发出异物入侵的警示信息和/或对应控制列车的运行。
本发明还提供了列车运行控制系统，包括：
如上述的轨道线路安全监测装置，获取轨道是否有异物侵入的识别分类结果
反馈控制装置，根据所述轨道线路安全监测装置输出的识别分类结果，对应控制列车的运行和/或发出异物入侵的警示信息。
本发明与现有技术相比的有益效果是：
本发明采用小样本方法与视频语义分割方法结合，利用视频分割技术，通过小样本迁移学习，将轨道监控视频中的火车轨道以及轨道侵入物从背景中分离出来，检测判断是否有异物入侵轨道并实施自动控制，提高列车运行控制系统的智能化和自动化程度，确保列车安全运行。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例中轨道线路安全监测方法的流程示意图。
图2为本实施例中轨道线路安全监测方法的子流程示意图。
图3为本实施例中轨道线路安全监测方法的子流程示意图。
图4为本实施例中轨道线路安全监测方法的子流程示意图。
图5为本实施例中轨道线路安全监测方法的子流程示意图。
图6为本实施例中列车运行控制方法的流程示意图。
图7为本实施例中轨道线路安全监测装置的框架结构示意图。
图8为本实施例中列车运行控制系统的框架结构示意图。
图9为本实施例中轨道静态图像、轨道动态视频以及轨道实时视频的预处理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如图1为本发明实施例提供的轨道线路安全监测方法的流程示意图。如图1所示，该方法包括以下步骤S1至S2。
S1、获取轨道实时视频；
在本实施例中，本实施例中的所述图像和视频可以通过激光扫描器、TV摄像装置和数字摄像装置之一获取。可以沿列车行进方向轨道两侧布置视频采集装置，采集轨道实时视频，并也可以对采集的轨道实时视频进行预处理。
S2、将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果；
在本实施例中，对采集的轨道实时视频进行异物识别，以识别判断是否有异物侵入，并可得到轨道状态进行分类，其中，如图2所示，本实施例中异物侵入识别以及轨道状态分类的方式步骤S2包括步骤S21～S22。
S21、将所述轨道实时视频输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频；
S22、将获取的所述语义分割视频输入全连接神经网络中进行轨道状态分类，得到识别分类结果。
本实施例中采用所述小样本视频语义分割模型与所述全连接神经网络组合的方式，将轨道实时视频输入到小样本视频语义分割模型中，模型输出轨道实时视频的语义分割视频，再将所述语义分割视频输入全连接神经网络中，输出得到语义分割视频的识别分类结果。
本实施例中，轨道状态可包括存在侵入物状态、无侵入物状态以及列车驶过状态。
在一实施例中，如图3所示，步骤S21包括步骤S211～S213。
S211、构建小样本视频语义分割模型；
S212、将所述轨道实时视频进行预处理，以得到预处理结果；
将获取的轨道实时视频进行预处理，例如裁剪采集到的轨道实时视频长视频裁为短视频集，然后对视频中的帧进行降噪处理，锐化处理等提升视频质量及清晰度的操作，以得到预处理结果。
S213、将所述预处理结果输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频。
在一实施例中，如图4所示，步骤S211包括步骤S2111～S2112。
S2111、通过通用大型数据集进行第一次训练，以使所述小样本视频语义分割模型对视频数据中的目标识别物具有语义分割能力；
S2112、通过轨道静态图像和轨道动态视频进行第二次训练，得到所述小样本视频语义分割模型。
本实施例中小样本视频语义分割模型首先在通用大型数据集上进行训练，此类数据集具有标注完整，种类多样，维护良好的特性，使得模型在大量训练后能够对于数据集所涵盖领域的视频有较好的语义分割能力，而后利用所述视频采集装置采集的轨道静态图像及其标注信息、轨道动态视频及其标注信息进行二次训练，使模型针对轨道侵入物有较好的语义分割能力。
在一实施例中，如图5所示，步骤S2112包括步骤S21121～S21124。
S21121、获取轨道静态图像和轨道动态视频；
本实施例中取样不同的时间段、天气状态、季节状态下轨道处于正常状态、异物入侵状态以及列车驶过状态下的轨道图像；取样不同的时间段、天气状态、季节状态下轨道处于正常状态、异物入侵状态以及列车驶过状态下的轨道动态视频作为轨道动态视频。本实施例可以最大化提升模型训练完成后在不同条件下的识别精度。
S21122、分别对轨道静态图像和轨道动态视频进行预处理，并对预处理后的轨道静态图像和轨道动态视频分别进行轨道状态分类，以得到样本集；
S21123、划分所述样本集，以得到训练集以及测试集；
S21124、利用所述训练集进行所述第二次训练，并通过所述测试集测试是否达标，以得到所述小样本视频语义分割模型。
本实施例中进行训练时，可以使用Youtube-VIS数据集对小样本视频语义分割模型进行第一次训练，训练过程所使用的损失函数为交叉熵函数：
Figure BDA0003648108770000071
其中，M表示分类的数量，yic表示符号函数，如果样本i的真实类别等于C取1，否则取0，Pic表示观测样本i属于类别C的预测概率。
在现有的与轨道侵入物识别相似的庞大完备数据集上进行小样本学习模型的视频目标分割物训练，再利用视频采集装置系统上线前采集的轨道图像及轨道动态视频及其标注对模型进行第二次训练，以达到模型知识迁移的效果，从而使模型在系统上线后能够对铁轨侵入物进行更好的识别。
本实施例中进行测试时，在训练完成后，使用采集到的但未出现在训练过程中的动态视频数据所构成的测试集对模型进行测试，查看模型针对轨道侵入物分割的能力是否达标。
本实施例中进行评估时，利用检测指标mIoU评估模型最终训练效果：
Figure BDA0003648108770000072
其中，k+1表示数据集所使用的总共的类别数量，Pii表示预测正确的类别数量，Pij表示预测为i实际类别为j的类别数量，Pji表示预测为j实际类别为i的类别数量。
另外，本实施例中可通过收集的轨道动态视频的标注视频信息对全连接神经网络进行训练，使其能够对轨道存在侵入物，无侵入物以及列车行进过程三种状态进行分类。
在一实施例中，步骤S21122的预处理包括：
标注出所述轨道静态图像中轨道的区域，进行归一化后按照轨道状态分类；
将所述轨道动态视频调整为统一分辨率且裁剪为包含同样帧数的短视频集，并标注出轨道的区域，按照轨道状态分类。
本实施例中预处理的具体方式可以有多种，例如可参阅图9，轨道静态图像进行预处理时，首先，标注轨道特征，确定两轨道中心线的位置，然后，以轨道中心线位置为基准，确定轨道两侧安全界限的位置，该两侧安全界限的位置至少需要分别超出列车宽度1.5米，由此根据轨道中心线和中心线两侧的安全界限共同确定基准参照区域。将轨道图像调整为统一分辨率的图像及视频后，标注出图像中轨道的区域；进行归一化后根据采集到的图像所处的状态(例如存在侵入物、无侵入物、列车通过)进行归类。
轨道动态视频进行预处理时，将视频调整为统一分辨率的视频后，再将取样得到的长视频裁剪为包含同样帧数的短视频集，按照与上述轨道静态图像相同的方法对轨道动态视频进行标注出视频帧中轨道的区域，进行预处理后，按照相应的轨道状态(存在侵入物、无侵入物、列车驶过)将视频归到相同的图像集中。
另外，在本实施例中，将获取的轨道实时视频输入小样本视频语义分割模型前，也需要进行预处理，其预处理方式有多种方式，例如将视频调整为统一分辨率的视频后，再将取样得到的长视频裁剪为包含同样帧数的短视频集，去噪等预处理方式。
在一实施例中，所述小样本视频语义分割模型利用Encoder进行特征编码，且利用4层2维卷积神经网络对特征编码后输出的图像进行特征提取，利用4层3维卷积神经网络对特征编码后输出的视频信息进行特征提取，并利用训练好的小样本视频语义分割模型分层对所提取的特征进行语义分割划分，逐帧减去语义分割结果视频与静态轨道区域图像重叠的部分，得到语义分割结果。
本实施例中小样本视频语义分割模型由Encoder、两组分别对图片和视频进行特征提取的卷积神经网络CNN、利用supportimage与supportmask所提取的特征引导queryvideoframes特征进行语义分割的模块以及Decoder组成。其中supportimage与supportmask为输入网络结构中的图片数据以及对应的标注图片信息数据，queryvideoframes为输入网络结构中的视频数据。
在ImageNet数据集上预训练好ResNet-50网络，将该网络作为Encoder对supportimage、supportmask以及queryvideoframes进行特征编码。然后使用4层2维卷积网络对supportimage与supportmask进行特征提取，使用4层3维卷积网络对queryvideoframes进行特征提取。
利用supportimage与supportmask在同一卷积层中提取的特征信息组合引导queryvideoframes在同一卷积层中的特征信息进行语义分割，最后将4层卷积层输出的语义分割结果拼接后由Decoder处理后输出完整的分割特征信息。
将分割特征信息逐帧减去静态轨道区域图像后的结果输入到全连接神经网络中并输出分类结果。
本实施例中小样本视频语义分割模型，通过利用已知类别图片supportimage及其语义分割标注supportmask的标注特征信息，引导模型在同类型视频数据queryvideoframes上进行语义分割。通过大量训练，合理的函数设置与模型结构使模型具有在未知类别的视频上依然能关注到视频中的主体目标区域，能够划分目标轮廓，从而使模型可以在具有大量完整标注的数据集上得到充分训练，而后能将训练所得到的能力应用于轨道侵入物的区域划分上。
在具体应用过程中，通过模型得到的目标轨道轮廓图像groundtruth，对输入的原始轨道视频的标准图像先检测其分道线，再检测其轨道边线。利用训练好的全连接神经网络对小样本视频语义分割输出的分割识别物进行同样的状态分类。利用groundtruth与轨道区域图像相比较得到侵入物轮廓图像，设定阈值后，系统可以过滤掉一些不影响列车正常行驶的微小侵入物，如野草等侵入物，而能够对超过阈值设定的会对列车行驶造成危害的侵入物做出准确判断。
本实施例还提供了与上述轨道线路安全监测方法对应的轨道线路安全监测装置1，如图7所示，该轨道线路安全监测装置1包括：
视频采集单元11，用于获取轨道实时视频；
轨道异物识别及轨道状态分类单元12，将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果；
其中，所述将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果，包括：
将所述轨道实时视频输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频；
将获取的所述语义分割视频输入全连接神经网络中进行轨道状态分类，得到识别分类结果。
本实施例中视频采集单元11沿列车行进方向分布于轨道两侧，可实时采集并预处理轨道视频图像。轨道异物识别及轨道状态分类单元12运用小样本视频语义分割分析处理实时视频数据，可位于列车上，也可位于调度指挥中心4。
另外，本实施例中还可以将上述方法应用于列车运行控制，得到一种列车运行控制方法，如图6所示，该方法包括：
通过如上述的轨道线路安全监测方法，获取轨道是否有异物侵入的识别分类结果(参见步骤S1和S2)；
S3、根据所述识别分类结果，发出异物入侵的警示信息和/或对应控制列车的运行。
本实施例为与上述列车运行控制方法对应的列车运行控制系统，如图8所示，该列车运行控制系统包括：
上述的轨道线路安全监测装置1，获取轨道是否有异物侵入的识别分类结果；
反馈控制装置3，根据所述轨道线路安全监测装置1输出的识别分类结果，对应控制列车的运行和/或发出异物入侵的警示信息。
本实施例中列车运行控制系统采用通讯传输装置2进行通讯，通讯传输装置2实现信息在调度指挥中心4和列车之间双向传输通讯，将列车实时信息反馈至调度指挥中心4，并将调度指挥中心4的指挥命令传达至列车。
本实施例中在列车行驶过程中，通过位于轨道旁的图像及视频采样装置实时采集列车即将行驶的轨道数据，轨道线路安全监测装置1将采样数据实时进行分析识别，轨道线路安全监测装置1输出的结果信号传输给反馈控制装置3，本实施例中反馈控制装置3可以包括控制模块，执行模块以及警示模块等，反馈控制装置3根据轨道有无异物入侵，控制列车正常行驶通过或者减速、停车，或者发送控制信号给警示模块发出警示信息，及时采取措施，确保列车安全运行。
其中，警示模块的警示方式有多种，例如本实施例中可以包括音频或视频报警方式，提醒驾驶员有异物侵入，提前采取措施。还可将异物侵入信息及地点通过网络传输到列车控制中心，控制中心定位相关摄像头实时视频对异物入侵情况进行同步辅助确认，并监控指挥列车运行。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种轨道线路安全监测方法，其特征在于，包括：
获取轨道实时视频；
将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果；
其中，所述将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果，包括：
将所述轨道实时视频输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频；
将获取的所述语义分割视频输入全连接神经网络中进行轨道状态分类，得到识别分类结果；
其中，所述小样本视频语义分割模型由Encoder、两组分别对图片和视频进行特征提取的卷积神经网络CNN、利用supportimage与supportmask所提取的特征引导queryvideoframes特征进行语义分割的模块以及Decoder组成；其中supportimage与supportmask为输入网络结构中的图片数据以及对应的标注图片信息数据，queryvideoframes为输入网络结构中的视频数据；
在ImageNet数据集上预训练好ResNet-50网络，将该网络作为Encoder对supportimage、supportmask以及queryvideoframes进行特征编码；然后使用4层2维卷积网络对supportimage与supportmask进行特征提取，使用4层3维卷积网络对queryvideoframes进行特征提取；
利用supportimage与supportmask在同一卷积层中提取的特征信息组合引导queryvideoframes在同一卷积层中的特征信息进行语义分割，最后将4层卷积层输出的语义分割结果拼接后由Decoder处理后输出完整的分割特征信息。
2.根据权利要求1所述的一种轨道线路安全监测方法，其特征在于，所述将所述轨道实时视频输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频，包括：
构建小样本视频语义分割模型；
将所述轨道实时视频进行预处理，以得到预处理结果；
将所述预处理结果输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频。
3.根据权利要求2所述的一种轨道线路安全监测方法，其特征在于，所述构建小样本视频语义分割模型，包括：
通过通用大型数据集进行第一次训练，以使所述小样本视频语义分割模型对视频数据中的目标识别物具有语义分割能力；
通过轨道静态图像和轨道动态视频进行第二次训练，得到所述小样本视频语义分割模型。
4.根据权利要求3所述的一种轨道线路安全监测方法，其特征在于，所述通过轨道静态图像和轨道动态视频进行第二次训练，得到所述小样本视频语义分割模型，包括：
获取轨道静态图像和轨道动态视频；
分别对轨道静态图像和轨道动态视频进行预处理，并对预处理后的轨道静态图像和轨道动态视频分别进行轨道状态分类，以得到样本集；
划分所述样本集，以得到训练集以及测试集；
利用所述训练集进行所述第二次训练，并通过所述测试集测试是否达标，以得到所述小样本视频语义分割模型。
5.根据权利要求4所述的一种轨道线路安全监测方法，其特征在于，所述分别对轨道静态图像和轨道动态视频进行预处理包括：
标注出所述轨道静态图像中轨道的区域，进行归一化后按照轨道状态分类；
将所述轨道动态视频调整为统一分辨率且裁剪为包含同样帧数的短视频集，并标注出轨道的区域，按照轨道状态分类。
6.根据权利要求1~5任一所述的一种轨道线路安全监测方法，其特征在于，所述轨道状态包括存在侵入物状态、无侵入物状态以及列车驶过状态。
7.一种轨道线路安全监测装置，其特征在于，包括：
视频采集单元，用于获取轨道实时视频；
轨道异物识别及轨道状态分类单元，将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果；
其中，所述将所述轨道实时视频进行轨道异物识别及轨道状态分类，以获取识别分类结果，包括：
将所述轨道实时视频输入小样本视频语义分割模型中进行轨道异物语义分割，获得轨道实时视频的语义分割视频；
将获取的所述语义分割视频输入全连接神经网络中进行轨道状态分类，得到识别分类结果；
其中，所述小样本视频语义分割模型由Encoder、两组分别对图片和视频进行特征提取的卷积神经网络CNN、利用supportimage与supportmask所提取的特征引导queryvideoframes特征进行语义分割的模块以及Decoder组成；其中supportimage与supportmask为输入网络结构中的图片数据以及对应的标注图片信息数据，queryvideoframes为输入网络结构中的视频数据；
在ImageNet数据集上预训练好ResNet-50网络，将该网络作为Encoder对supportimage、supportmask以及queryvideoframes进行特征编码；然后使用4层2维卷积网络对supportimage与supportmask进行特征提取，使用4层3维卷积网络对queryvideoframes进行特征提取；
利用supportimage与supportmask在同一卷积层中提取的特征信息组合引导queryvideoframes在同一卷积层中的特征信息进行语义分割，最后将4层卷积层输出的语义分割结果拼接后由Decoder处理后输出完整的分割特征信息。
8.一种列车运行控制方法，其特征在于，包括：
通过如权利要求1~6任一所述的一种轨道线路安全监测方法，获取轨道是否有异物侵入的识别分类结果；
根据所述识别分类结果，发出异物入侵的警示信息和/或对应控制列车的运行。
9.一种列车运行控制系统，其特征在于，包括：
如权利要求7所述的一种轨道线路安全监测装置，获取轨道是否有异物侵入的识别分类结果；
反馈控制装置，根据所述轨道线路安全监测装置输出的识别分类结果，对应控制列车的运行和/或发出异物入侵的警示信息。
CN202210535870.3A 2022-05-17 2022-05-17 轨道线路安全监测方法、列车运行控制方法及控制系统 Expired - Fee Related CN114882452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210535870.3A CN114882452B (zh) 2022-05-17 2022-05-17 轨道线路安全监测方法、列车运行控制方法及控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210535870.3A CN114882452B (zh) 2022-05-17 2022-05-17 轨道线路安全监测方法、列车运行控制方法及控制系统

Publications (2)

Publication Number Publication Date
CN114882452A CN114882452A (zh) 2022-08-09
CN114882452B true CN114882452B (zh) 2022-12-30

Family

ID=82676168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210535870.3A Expired - Fee Related CN114882452B (zh) 2022-05-17 2022-05-17 轨道线路安全监测方法、列车运行控制方法及控制系统

Country Status (1)

Country Link
CN (1) CN114882452B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206265B (zh) * 2023-05-05 2023-07-18 昆明轨道交通四号线土建项目建设管理有限公司 用于轨道交通运营维护的防护报警装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697424A (zh) * 2018-12-19 2019-04-30 浙江大学 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
CN111923966A (zh) * 2020-07-16 2020-11-13 北京交通大学 面向不同智能化等级的城市轨道交通列车运行控制系统
CN114494973A (zh) * 2022-02-14 2022-05-13 中国科学技术大学 视频语义分割网络的训练方法、系统、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7013489B2 (ja) * 2018-01-26 2022-02-15 株式会社ソニー・インタラクティブエンタテインメント 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム
CN112351928B (zh) * 2018-07-10 2023-11-10 铁路视像有限公司 基于轨道分段的铁路障碍物检测的方法与系统
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
US11188799B2 (en) * 2018-11-12 2021-11-30 Sony Corporation Semantic segmentation with soft cross-entropy loss
CN111476781B (zh) * 2020-04-08 2023-04-07 浙江大学 一种基于视频语义分割技术的混凝土裂缝识别方法和装置
CN113283273B (zh) * 2020-04-17 2024-05-24 上海锐明轨交设备有限公司 基于视觉技术的前方障碍物实时检测方法及系统
US20210370993A1 (en) * 2020-05-27 2021-12-02 University Of South Carolina Computer vision based real-time pixel-level railroad track components detection system
CN114005097A (zh) * 2020-07-28 2022-02-01 株洲中车时代电气股份有限公司 基于图像语义分割的列车运行环境实时检测方法及系统
CN113255439B (zh) * 2021-04-13 2024-01-12 深圳市锐明技术股份有限公司 一种障碍物识别方法、装置、系统、终端及云端
CN113112480B (zh) * 2021-04-16 2024-03-29 北京文安智能技术股份有限公司 视频场景变换检测方法、存储介质和电子设备
CN114359860A (zh) * 2021-12-15 2022-04-15 中科曙光南京研究院有限公司 一种基于环境感知实例分割模型的轨道识别方法及系统
CN113936268B (zh) * 2021-12-16 2022-04-15 比亚迪股份有限公司 用于轨道车辆的障碍物检测方法、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697424A (zh) * 2018-12-19 2019-04-30 浙江大学 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
CN111923966A (zh) * 2020-07-16 2020-11-13 北京交通大学 面向不同智能化等级的城市轨道交通列车运行控制系统
CN114494973A (zh) * 2022-02-14 2022-05-13 中国科学技术大学 视频语义分割网络的训练方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN114882452A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111079819B (zh) 基于图像识别与深度学习的铁路货车钩舌销的状态判断方法
CN109697424A (zh) 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
KR102017870B1 (ko) 실시간 선로 결함 검측 시스템
CN111680613B (zh) 一种实时检测手扶电梯乘客摔倒行为的方法
Sharma et al. A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network
CN114882452B (zh) 轨道线路安全监测方法、列车运行控制方法及控制系统
CN113487561B (zh) 基于灰度梯度异常投票的受电弓异物检测方法及装置
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及系统
CN109614957A (zh) 一种铁路调车信号安全预警系统
CN113788051A (zh) 列车在站运行状态监测分析系统
CN114772208A (zh) 一种基于图像分割的非接触式皮带撕裂检测系统及方法
CN111079629A (zh) 铁路货车心盘脱出故障图像识别方法
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
Song et al. Modeling and optimization of semantic segmentation for track bed foreign object based on attention mechanism
Di Summa et al. A review on deep learning techniques for railway infrastructure monitoring
CN110717456A (zh) 对象监控方法和装置、系统、电子设备、存储介质
CN113343960A (zh) 一种地铁站内实时留存客流估计与预警方法
CN115359306B (zh) 一种铁路货检高清图像智能识别方法和系统
CN112464906A (zh) 一种基于计算机视觉的轨道异物入侵检测方法及装置
CN114241390A (zh) 基于深度学习理论的铁路异物检测与识别方法
WO2022267266A1 (zh) 一种基于视觉识别的列车控制方法及设备
CN114359879A (zh) 一种基于yolo神经网络的驾驶员疲劳检测方法
CN112861621A (zh) 一种地铁乘客行为识别信息系统、方法、介质及设备
CN111353515B (zh) 一种基于多尺度分级的列车轮对踏面损伤分类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 037009 No. 5, Unit 5, Floor 7, Xiaonanmen East Street, Pingcheng District, Datong, Shanxi

Applicant after: Zhang Chi

Address before: 712046 innovation port campus of Xi'an Jiaotong University, diaotai street, Qindu District, Xianyang City, Shaanxi Province

Applicant before: Zhang Chi

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221230