CN116206265A - 用于轨道交通运营维护的防护报警装置及方法 - Google Patents

用于轨道交通运营维护的防护报警装置及方法 Download PDF

Info

Publication number
CN116206265A
CN116206265A CN202310492369.8A CN202310492369A CN116206265A CN 116206265 A CN116206265 A CN 116206265A CN 202310492369 A CN202310492369 A CN 202310492369A CN 116206265 A CN116206265 A CN 116206265A
Authority
CN
China
Prior art keywords
feature
monitoring
rail transit
auxiliary
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310492369.8A
Other languages
English (en)
Other versions
CN116206265B (zh
Inventor
徐代明
田学金
李明辉
戴斌
王岗
徐赞
庞其富
解知
陈柔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming Rail Transit Group Co ltd
Kunming Rail Transit Line 4 Civil Engineering Project Construction Management Co ltd
China Railway Development Investment Group Co Ltd
Original Assignee
Kunming Rail Transit Group Co ltd
Kunming Rail Transit Line 4 Civil Engineering Project Construction Management Co ltd
China Railway Development Investment Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming Rail Transit Group Co ltd, Kunming Rail Transit Line 4 Civil Engineering Project Construction Management Co ltd, China Railway Development Investment Group Co Ltd filed Critical Kunming Rail Transit Group Co ltd
Priority to CN202310492369.8A priority Critical patent/CN116206265B/zh
Publication of CN116206265A publication Critical patent/CN116206265A/zh
Application granted granted Critical
Publication of CN116206265B publication Critical patent/CN116206265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/187—Machine fault alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

公开了一种用于轨道交通运营维护的防护报警装置及方法，其获取由摄像头采集的预定时间段的监控视频；采用基于深度学习的人工智能技术，挖掘所述监控视频中关于轨道交通的故障隐含特征信息，并对所述监控视频中关于轨道交通的隐含特征信息进行准确地语义理解，以此来准确地对于轨道交通的故障进行检测判断。这样，可以避免意外事故的发生，保证轨道交通的安全性。

Description

用于轨道交通运营维护的防护报警装置及方法
技术领域
本申请涉及智能化报警技术领域，且更为具体地，涉及一种用于轨道交通运营维护的防护报警装置及方法。
背景技术
为了缓解地面交通压力，方便市民出行，各大城市开始兴建城市轨道交通。但随着城市轨道交通开通线路数量的增多，对于轨道的运营维护压力也日益凸显，轨道的安全防护管理中也迫切需要引入创新、先进的管理手段和前沿的辅助管理设备，使轨道运营维护效率得到提升。
但是，当轨道交通出现故障时，例如出现屏蔽门故障时，由于乘客可以与轨道交通直接接触，会出现一些人为监管不及时无法兼顾临时隔离地带、通报故障情况的发生。因此需要一种可以用于轨道交通发生故障，需要运营维护时的辅助隔离防护报警设备。
因此，期望一种用于轨道交通运营维护的防护报警装置。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于轨道交通运营维护的防护报警装置及方法，其获取由摄像头采集的预定时间段的监控视频；采用基于深度学习的人工智能技术，挖掘所述监控视频中关于轨道交通的故障隐含特征信息，并对所述监控视频中关于轨道交通的隐含特征信息进行准确地语义理解，以此来准确地对于轨道交通的故障进行检测判断。这样，可以避免意外事故的发生，保证轨道交通的安全性。
根据本申请的一个方面，提供了一种用于轨道交通运营维护的防护报警装置，其包括：
摄像模块，用于获取由摄像头采集的预定时间段的监控视频；
采样模块，用于对所述监控视频进行采样以得到多个监控关键帧；
特征提取模块，用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量；
特征强化模块，用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量；
意图理解模块，用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量；
预警模块，用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。
在上述用于轨道交通运营维护的防护报警装置中，所述采样模块，用于以预定采样频率对所述监控视频进行关键帧采样，以从所述监控视频中提取出多个监控关键帧。
在上述用于轨道交通运营维护的防护报警装置中，所述特征提取模块，进一步用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个监控特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述多个监控关键帧。
在上述用于轨道交通运营维护的防护报警装置中，所述作为过滤器的卷积神经网络模型为深度残差网络模型。
在上述用于轨道交通运营维护的防护报警装置中，所述特征强化模块，包括：辅助特征提取单元，用于将所述多个监控关键帧分别通过作为特征提取器的辅助卷积神经网络以得到多个辅助特征图；区分单元，用于对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得多个加权特征向量；以及，加权优化单元，用于分别计算所述多个加权特征向量和所述多个监控特征向量之间的按位置点乘以得到所述多个优化后监控特征向量。
在上述用于轨道交通运营维护的防护报警装置中，所述辅助特征提取单元，进一步用于：使用所述作为特征提取器的辅助卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的辅助卷积神经网络的最后一层的输出为所述多个辅助特征图，其中，所述作为特征提取器的辅助卷积神经网络的第一层的输入为所述多个监控关键帧。
在上述用于轨道交通运营维护的防护报警装置中，所述区分单元，进一步用于：以如下公式对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得所述多个加权特征向量；其中，所述公式为：
Figure SMS_1
其中，
Figure SMS_2
表示所述多个辅助特征图中的各个辅助特征图，/>
Figure SMS_7
和/>
Figure SMS_10
分别表示对所述各个辅助特征图进行基于不同卷积核的单层卷积操作，/>
Figure SMS_4
表示/>
Figure SMS_6
激活函数，/>
Figure SMS_9
表示/>
Figure SMS_11
激活函数，且/>
Figure SMS_3
表示对所述各个辅助特征图的每个特征矩阵的全局池化操作，/>
Figure SMS_5
表示按位置加法，/>
Figure SMS_8
表示所述多个加权特征向量中的各个加权特征向量。
在上述用于轨道交通运营维护的防护报警装置中，所述意图理解模块，包括：编码单元，用于使用所述基于转换器的意图理解器对所述多个优化后监控特征向量进行基于全局的上下文语义编码以得到多个监控对象语义理解特征向量；以及，级联单元，用于将所述多个监控对象语义理解特征向量进行级联以得到所述监控对象时序语义理解特征向量。
在上述用于轨道交通运营维护的防护报警装置中，所述预警模块，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述监控对象时序语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面，提供了一种用于轨道交通运营维护的防护报警方法，其包括：
用于获取由摄像头采集的预定时间段的监控视频；
用于对所述监控视频进行采样以得到多个监控关键帧；
用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量；
用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量；
用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量；
用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。
与现有技术相比，本申请提供的用于轨道交通运营维护的防护报警装置及方法，其获取由摄像头采集的预定时间段的监控视频；采用基于深度学习的人工智能技术，挖掘所述监控视频中关于轨道交通的故障隐含特征信息，并对所述监控视频中关于轨道交通的隐含特征信息进行准确地语义理解，以此来准确地对于轨道交通的故障进行检测判断。这样，可以避免意外事故的发生，保证轨道交通的安全性。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的用于轨道交通运营维护的防护报警装置的应用场景图。
图2为根据本申请实施例的用于轨道交通运营维护的防护报警装置的框图。
图3为根据本申请实施例的用于轨道交通运营维护的防护报警装置中所述特征强化模块的框图。
图4为根据本申请实施例的用于轨道交通运营维护的防护报警装置中所述意图理解模块的框图。
图5为根据本申请实施例的用于轨道交通运营维护的防护报警装置中所述预警模块的框图。
图6为根据本申请实施例的用于轨道交通运营维护的防护报警方法的流程图。
图7为根据本申请实施例的用于轨道交通运营维护的防护报警方法的系统架构的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，当轨道交通出现故障时，例如出现屏蔽门故障时，由于乘客可以与轨道交通直接接触，会出现一些人为监管不及时无法兼顾临时隔离地带、通报故障情况的发生。因此需要一种可以用于轨道交通发生故障，需要运营维护时的辅助隔离防护报警设备。
相应地，由于现有的用于轨道交通运营维护的防护报警装置，其通过红外发射结构发射红外线，任何物体触碰到红外线警报结构就会报警。但这种报警机制在使用过程中，会出现过于敏感的问题，也就是，即便是乘客路过，也会发生警报，影响使用体验，降低警报判断的精准度。因此，在本申请的技术方案中，通过使用摄像头来采集监控视频，并通过对于监控视频进行分析来对于轨道交通故障进行检测判断，从而在检测出故障时进行辅助隔离防护报警，以此来避免意外事故的发生，保证轨道交通的安全性。但是，由于采集的监控视频中存在有较多的信息量，难以对于轨道交通的实际情况有效信息进行捕捉提取，因此，在此过程中，难点在于如何挖掘出所述监控视频中关于轨道交通的故障隐含特征信息以及如何对于所述监控视频中关于轨道交通的隐含特征信息进行准确地语义理解，以此来准确地对于轨道交通的故障进行检测判断，以避免意外事故的发生，保证轨道交通的安全性。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为挖掘所述监控视频中关于轨道交通的故障隐含特征信息以及对于所述监控视频中关于轨道交通的隐含特征信息进行准确地语义理解提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过摄像头采集预定时间段的监控视频。应可以理解，考虑到所述轨道交通中的故障并不是突然出现的，而是经过时间的累积慢慢形成的，例如轨道交通中的屏蔽门故障，因此，在对于所述轨道交通的故障进行检测预警时，应关注于所述轨道交通中各个设备的状态变化情况。并且，还考虑到在所述监控视频中关于所述轨道交通中各个设备的状态变化特征可以通过所述监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示所述轨道交通中各个设备的状态变化情况。但是，考虑到所述监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述监控视频进行关键帧采样，以从所述监控视频中提取出多个监控关键帧。这里，值得一提的是，所述预定采样频率可基于实际场景的应用需求做出调整，而不是默认值。
然后，考虑到由于所述监控视频中的多个监控关键帧为图像数据，因此，在本申请的技术方案中，使用在图像的隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述各个监控关键帧的特征挖掘，以分别提取出所述各个监控关键帧的关于所述轨道交通的设备状态的高维隐含特征分布信息，从而得到多个监控特征向量。特别地，这里，所述作为过滤器的卷积神经网络模型为深度残差网络模型。
进一步地，还考虑到所述各个监控关键帧中关于所述轨道交通的设备状态特征间具有着时序的关联性关系，也就是说，所述轨道交通的设备状态情况在时间维度上具有着动态性的变化特征。因此，在本申请的技术方案中，为了能够准确地对于所述轨道交通的各个设备的故障进行检测，需要对于所述轨道交通的设备状态特征在时序上的动态变化特征进行语义理解，也就是，进一步将所述多个监控特征向量通过基于转换器的意图理解器中进行编码，从而提取出所述各个监控关键帧下的轨道交通的设备状态特征基于全局的时序动态语义关联特征，以得到监控对象时序语义理解特征向量。
接着，进一步再将所述监控对象时序语义理解特征向量作为分类特征向量通过分类器中进行分类处理，以得到用于表示是否产生预警提示的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括产生预警提示，以及，不产生预警提示，其中，所述分类器通过Softmax分类函数来确定所述分类特征向量属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否产生预警提示的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来控制是否产生预警提示，以此来及时地设置临时隔离地带并通报故障情况，从而避免意外事故的发生，保证轨道交通的安全性。
特别地，在本申请的技术方案中，在将每个监控关键帧通过作为过滤器的卷积神经网络模型得到每个监控特征向量时，如果能够对所述监控特征向量的各个位置的特征值进行适当的加权以区分所述监控特征向量的各个位置的特征值的重要性，即，所述作为过滤器的卷积神经网络模型沿通道维度提取的特征的置信度，则显然能够提升所述监控特征向量的表达效果。
因此，首先将所述监控关键帧通过作为特征提取器的辅助卷积神经网络以得到辅助特征图，如记为
Figure SMS_12
，再对所述辅助特征图/>
Figure SMS_13
进行特征相关性累积区分机制建模以获得加权特征向量，表示为：
Figure SMS_14
这里，
Figure SMS_17
表示所述多个辅助特征图中的各个辅助特征图，/>
Figure SMS_19
和/>
Figure SMS_22
分别表示对所述各个辅助特征图进行基于不同卷积核的单层卷积操作，/>
Figure SMS_16
表示/>
Figure SMS_20
激活函数，/>
Figure SMS_23
表示/>
Figure SMS_24
激活函数，且/>
Figure SMS_15
表示对所述各个辅助特征图的每个特征矩阵的全局池化操作，/>
Figure SMS_18
表示按位置加法，/>
Figure SMS_21
表示所述多个加权特征向量中的各个加权特征向量。
具体地，所述特征相关性累积区分机制建模首先通过卷积操作来生成特征图的两种新的局部关联单元，再利用Sigmoid函数和ReLU函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新，之后通过全局池化操作来累积局部特征相对于整体特征的相关性，从而使用特征区分机制来显式地建模特征重要性序列，就可以基于特征图的各个特征矩阵的特征累积区分机制来确定通道维度下适当的加权因数。这样，通过以所述加权特征向量
Figure SMS_25
对监控特征向量进行点乘，就可以使得优化后的监控特征向量能够区分各个位置的特征值的重要性，从而提升其表达效果。这样，能够准确地对于轨道交通设备进行故障检测，以在检测出故障时发出预警信号并进行运营维护，进而避免意外事故的发生，保证轨道交通的安全性。
基于此，本申请提供了一种用于轨道交通运营维护的防护报警装置，其包括：摄像模块，用于获取由摄像头采集的预定时间段的监控视频；采样模块，用于对所述监控视频进行采样以得到多个监控关键帧；特征提取模块，用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量；特征强化模块，用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量；意图理解模块，用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量；以及，预警模块，用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。
图1为根据本申请实施例的用于轨道交通运营维护的防护报警装置的应用场景图。如图1所示，在该应用场景中，首先，获取由摄像头采集的预定时间段的监控视频（例如，图1中所示意的901）；然后，将获取的监控视频输入至部署有用于轨道交通运营维护的防护报警装置算法的服务器中（例如，图1中所示意的902），其中，所述服务器能够使用用于轨道交通运营维护的防护报警装置算法对所述监控视频进行处理，以生成用于表示是否产生预警提示的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2为根据本申请实施例的用于轨道交通运营维护的防护报警装置的框图。如图2所示，根据本申请实施例的用于轨道交通运营维护的防护报警装置100，包括：摄像模块110，用于获取由摄像头采集的预定时间段的监控视频；采样模块120，用于对所述监控视频进行采样以得到多个监控关键帧；特征提取模块130，用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量；特征强化模块140，用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量；意图理解模块150，用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量；以及，预警模块160，用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。
具体地，在本申请实施例中，所述摄像模块110，用于获取由摄像头采集的预定时间段的监控视频。如前所述，当轨道交通出现故障时，例如出现屏蔽门故障时，由于乘客可以与轨道交通直接接触，会出现一些人为监管不及时无法兼顾临时隔离地带、通报故障情况的发生。因此需要一种可以用于轨道交通发生故障，需要运营维护时的辅助隔离防护报警设备。
相应地，由于现有的用于轨道交通运营维护的防护报警装置，其通过红外发射结构发射红外线，任何物体触碰到红外线警报结构就会报警。但这种报警机制在使用过程中，会出现过于敏感的问题，也就是，即便是乘客路过，也会发生警报，影响使用体验，降低警报判断的精准度。因此，在本申请的技术方案中，通过使用摄像头来采集监控视频，并通过对于监控视频进行分析来对于轨道交通故障进行检测判断，从而在检测出故障时进行辅助隔离防护报警，以此来避免意外事故的发生，保证轨道交通的安全性。但是，由于采集的监控视频中存在有较多的信息量，难以对于轨道交通的实际情况有效信息进行捕捉提取，因此，在此过程中，难点在于如何挖掘出所述监控视频中关于轨道交通的故障隐含特征信息以及如何对于所述监控视频中关于轨道交通的隐含特征信息进行准确地语义理解，以此来准确地对于轨道交通的故障进行检测判断，以避免意外事故的发生，保证轨道交通的安全性。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为挖掘所述监控视频中关于轨道交通的故障隐含特征信息以及对于所述监控视频中关于轨道交通的隐含特征信息进行准确地语义理解提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过摄像头采集预定时间段的监控视频。应可以理解，考虑到所述轨道交通中的故障并不是突然出现的，而是经过时间的累积慢慢形成的，例如轨道交通中的屏蔽门故障，因此，在对于所述轨道交通的故障进行检测预警时，应关注于所述轨道交通中各个设备的状态变化情况。
具体地，在本申请实施例中，所述采样模块120，用于对所述监控视频进行采样以得到多个监控关键帧。并且，还考虑到在所述监控视频中关于所述轨道交通中各个设备的状态变化特征可以通过所述监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示所述轨道交通中各个设备的状态变化情况。
但是，考虑到所述监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述监控视频进行关键帧采样，以从所述监控视频中提取出多个监控关键帧。这里，值得一提的是，所述预定采样频率可基于实际场景的应用需求做出调整，而不是默认值。
具体地，在本申请实施例中，所述特征提取模块130，用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量。然后，考虑到由于所述监控视频中的多个监控关键帧为图像数据，因此，在本申请的技术方案中，使用在图像的隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述各个监控关键帧的特征挖掘，以分别提取出所述各个监控关键帧的关于所述轨道交通的设备状态的高维隐含特征分布信息，从而得到多个监控特征向量。
其中，所述特征提取模块，用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个监控特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述多个监控关键帧。
特别地，这里，所述作为过滤器的卷积神经网络模型为深度残差网络模型。
应可以理解，卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
具体地，在本申请实施例中，所述特征强化模块140，用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量。图3为根据本申请实施例的用于轨道交通运营维护的防护报警装置中所述特征强化模块的框图，如图3所示，所述特征强化模块，包括：辅助特征提取单元210，用于将所述多个监控关键帧分别通过作为特征提取器的辅助卷积神经网络以得到多个辅助特征图；区分单元220，用于对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得多个加权特征向量；以及，加权优化单元230，用于分别计算所述多个加权特征向量和所述多个监控特征向量之间的按位置点乘以得到所述多个优化后监控特征向量。
其中，所述辅助特征提取单元210，进一步用于：使用所述作为特征提取器的辅助卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的辅助卷积神经网络的最后一层的输出为所述多个辅助特征图，其中，所述作为特征提取器的辅助卷积神经网络的第一层的输入为所述多个监控关键帧。
特别地，在本申请的技术方案中，在将每个监控关键帧通过作为过滤器的卷积神经网络模型得到每个监控特征向量时，如果能够对所述监控特征向量的各个位置的特征值进行适当的加权以区分所述监控特征向量的各个位置的特征值的重要性，即，所述作为过滤器的卷积神经网络模型沿通道维度提取的特征的置信度，则显然能够提升所述监控特征向量的表达效果。
因此，首先将所述监控关键帧通过作为特征提取器的辅助卷积神经网络以得到辅助特征图，如记为
Figure SMS_26
，所述区分单元220对所述辅助特征图/>
Figure SMS_27
进行特征相关性累积区分机制建模以获得加权特征向量，也就是，以如下公式对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得所述多个加权特征向量；其中，所述公式为：
Figure SMS_28
其中，
Figure SMS_31
表示所述多个辅助特征图中的各个辅助特征图，/>
Figure SMS_33
和/>
Figure SMS_36
分别表示对所述各个辅助特征图进行基于不同卷积核的单层卷积操作，/>
Figure SMS_29
表示/>
Figure SMS_34
激活函数，/>
Figure SMS_37
表示/>
Figure SMS_38
激活函数，且/>
Figure SMS_30
表示对所述各个辅助特征图的每个特征矩阵的全局池化操作，/>
Figure SMS_32
表示按位置加法，/>
Figure SMS_35
表示所述多个加权特征向量中的各个加权特征向量。
具体地，所述特征相关性累积区分机制建模首先通过卷积操作来生成特征图的两种新的局部关联单元，再利用Sigmoid函数和ReLU函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新，之后通过全局池化操作来累积局部特征相对于整体特征的相关性，从而使用特征区分机制来显式地建模特征重要性序列，就可以基于特征图的各个特征矩阵的特征累积区分机制来确定通道维度下适当的加权因数。这样，所述加权优化单元230通过以所述加权特征向量
Figure SMS_39
对监控特征向量进行点乘，得到优化后监控特征向量，就可以使得优化后的监控特征向量能够区分各个位置的特征值的重要性，从而提升其表达效果。这样，能够准确地对于轨道交通设备进行故障检测，以在检测出故障时发出预警信号并进行运营维护，进而避免意外事故的发生，保证轨道交通的安全性。
具体地，在本申请实施例中，所述意图理解模块150，用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量。进一步地，还考虑到所述各个监控关键帧中关于所述轨道交通的设备状态特征间具有着时序的关联性关系，也就是说，所述轨道交通的设备状态情况在时间维度上具有着动态性的变化特征。
因此，在本申请的技术方案中，为了能够准确地对于所述轨道交通的各个设备的故障进行检测，需要对于所述轨道交通的设备状态特征在时序上的动态变化特征进行语义理解，也就是，进一步将所述多个监控特征向量通过基于转换器的意图理解器中进行编码，从而提取出所述各个监控关键帧下的轨道交通的设备状态特征基于全局的时序动态语义关联特征，以得到监控对象时序语义理解特征向量。
图4为根据本申请实施例的用于轨道交通运营维护的防护报警装置中所述意图理解模块的框图，如图4所示，所述意图理解模块，包括：编码单元310，用于使用所述基于转换器的意图理解器对所述多个优化后监控特征向量进行基于全局的上下文语义编码以得到多个监控对象语义理解特征向量；以及，级联单元320，用于将所述多个监控对象语义理解特征向量进行级联以得到所述监控对象时序语义理解特征向量。
具体地，在本申请实施例中，所述预警模块160，用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。接着，进一步再将所述监控对象时序语义理解特征向量作为分类特征向量通过分类器中进行分类处理，以得到用于表示是否产生预警提示的分类结果。
也就是，在本申请的技术方案中，所述分类器的标签包括产生预警提示，以及，不产生预警提示，其中，所述分类器通过Softmax分类函数来确定所述分类特征向量属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否产生预警提示的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来控制是否产生预警提示，以此来及时地设置临时隔离地带并通报故障情况，从而避免意外事故的发生，保证轨道交通的安全性。
图5为根据本申请实施例的用于轨道交通运营维护的防护报警装置中所述预警模块的框图，如图5所示，所述预警模块，包括：全连接编码单元410，用于使用所述分类器的多个全连接层对所述监控对象时序语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元420，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
在本申请一具体示例中，使用所述分类器以如下公式对所述监控对象时序语义理解特征向量进行处理以获得所述分类结果，其中，所述公式为：
Figure SMS_40
，其中，/>
Figure SMS_41
到/>
Figure SMS_42
为权重矩阵，/>
Figure SMS_43
到/>
Figure SMS_44
为偏置向量，/>
Figure SMS_45
为所述监控对象时序语义理解特征向量。
综上，基于本申请实施例的用于轨道交通运营维护的防护报警装置100被阐明，其获取由摄像头采集的预定时间段的监控视频；采用基于深度学习的人工智能技术，挖掘所述监控视频中关于轨道交通的故障隐含特征信息，并对所述监控视频中关于轨道交通的隐含特征信息进行准确地语义理解，以此来准确地对于轨道交通的故障进行检测判断。这样，可以避免意外事故的发生，保证轨道交通的安全性。
示例性方法
图6为根据本申请实施例的用于轨道交通运营维护的防护报警方法的流程图。如图6所示，根据本申请实施例的用于轨道交通运营维护的防护报警方法，其包括：S110，用于获取由摄像头采集的预定时间段的监控视频；S120，用于对所述监控视频进行采样以得到多个监控关键帧；S130，用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量；S140，用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量；S150，用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量；以及,S160，用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。
图7为根据本申请实施例的用于轨道交通运营维护的防护报警方法的系统架构的示意图。如图7所示，在所述用于轨道交通运营维护的防护报警方法的系统架构中，首先，用于获取由摄像头采集的预定时间段的监控视频；然后，用于对所述监控视频进行采样以得到多个监控关键帧；接着，用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量；然后，用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量；接着，用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量；以及,最后，用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。
在一个具体示例中，在上述用于轨道交通运营维护的防护报警方法中，所述对所述监控视频进行采样以得到多个监控关键帧，包括：以预定采样频率对所述监控视频进行关键帧采样，以从所述监控视频中提取出多个监控关键帧。
在一个具体示例中，在上述用于轨道交通运营维护的防护报警方法中，
所述将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量，包括：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个监控特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述多个监控关键帧。
在一个具体示例中，在上述用于轨道交通运营维护的防护报警方法中，
所述作为过滤器的卷积神经网络模型为深度残差网络模型。
在一个具体示例中，在上述用于轨道交通运营维护的防护报警方法中，所述分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量，包括：将所述多个监控关键帧分别通过作为特征提取器的辅助卷积神经网络以得到多个辅助特征图；对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得多个加权特征向量；以及，分别计算所述多个加权特征向量和所述多个监控特征向量之间的按位置点乘以得到所述多个优化后监控特征向量。
在一个具体示例中，在上述用于轨道交通运营维护的防护报警方法中，
所述将所述多个监控关键帧分别通过作为特征提取器的辅助卷积神经网络以得到多个辅助特征图，进一步包括：使用所述作为特征提取器的辅助卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的辅助卷积神经网络的最后一层的输出为所述多个辅助特征图，其中，所述作为特征提取器的辅助卷积神经网络的第一层的输入为所述多个监控关键帧。
在一个具体示例中，在上述用于轨道交通运营维护的防护报警方法中，所述对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得多个加权特征向量，进一步包括：以如下公式对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得所述多个加权特征向量；其中，所述公式为：
Figure SMS_46
其中，
Figure SMS_49
表示所述多个辅助特征图中的各个辅助特征图，/>
Figure SMS_52
和/>
Figure SMS_55
分别表示对所述各个辅助特征图进行基于不同卷积核的单层卷积操作，/>
Figure SMS_48
表示/>
Figure SMS_51
激活函数，/>
Figure SMS_54
表示/>
Figure SMS_56
激活函数，且/>
Figure SMS_47
表示对所述各个辅助特征图的每个特征矩阵的全局池化操作，/>
Figure SMS_50
表示按位置加法，/>
Figure SMS_53
表示所述多个加权特征向量中的各个加权特征向量。
在一个具体示例中，在上述用于轨道交通运营维护的防护报警方法中，所述将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量，包括：使用所述基于转换器的意图理解器对所述多个优化后监控特征向量进行基于全局的上下文语义编码以得到多个监控对象语义理解特征向量；以及，将所述多个监控对象语义理解特征向量进行级联以得到所述监控对象时序语义理解特征向量。
在一个具体示例中，在上述用于轨道交通运营维护的防护报警方法中，
所述将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示，包括：使用所述分类器的多个全连接层对所述监控对象时序语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
本领域技术人员可以理解，上述用于轨道交通运营维护的防护报警方法中的各个步骤的具体操作已经在上面参考图1到图5的用于轨道交通运营维护的防护报警装置的描述中得到了详细介绍，并因此，将省略其重复描述。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于轨道交通运营维护的防护报警装置，其特征在于，包括：
摄像模块，用于获取由摄像头采集的预定时间段的监控视频；
采样模块，用于对所述监控视频进行采样以得到多个监控关键帧；
特征提取模块，用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量；
特征强化模块，用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量；
意图理解模块，用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量；
预警模块，用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。
2.根据权利要求1所述的用于轨道交通运营维护的防护报警装置，其特征在于，所述采样模块，用于以预定采样频率对所述监控视频进行关键帧采样，以从所述监控视频中提取出多个监控关键帧。
3.根据权利要求2所述的用于轨道交通运营维护的防护报警装置，其特征在于，所述特征提取模块，进一步用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个监控特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述多个监控关键帧。
4.根据权利要求3所述的用于轨道交通运营维护的防护报警装置，其特征在于，所述作为过滤器的卷积神经网络模型为深度残差网络模型。
5.根据权利要求4所述的用于轨道交通运营维护的防护报警装置，其特征在于，所述特征强化模块，包括：
辅助特征提取单元，用于将所述多个监控关键帧分别通过作为特征提取器的辅助卷积神经网络以得到多个辅助特征图；
区分单元，用于对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得多个加权特征向量；
加权优化单元，用于分别计算所述多个加权特征向量和所述多个监控特征向量之间的按位置点乘以得到所述多个优化后监控特征向量。
6.根据权利要求5所述的用于轨道交通运营维护的防护报警装置，其特征在于，所述辅助特征提取单元，进一步用于：使用所述作为特征提取器的辅助卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的辅助卷积神经网络的最后一层的输出为所述多个辅助特征图，其中，所述作为特征提取器的辅助卷积神经网络的第一层的输入为所述多个监控关键帧。
7.根据权利要求6所述的用于轨道交通运营维护的防护报警装置，其特征在于，所述区分单元，进一步用于：以如下公式对所述多个辅助特征图分别进行特征相关性累积区分机制建模以获得所述多个加权特征向量；
其中，所述公式为：
Figure QLYQS_1
其中，
Figure QLYQS_4
表示所述多个辅助特征图中的各个辅助特征图，/>
Figure QLYQS_5
和/>
Figure QLYQS_8
分别表示对所述各个辅助特征图进行基于不同卷积核的单层卷积操作，/>
Figure QLYQS_3
表示/>
Figure QLYQS_7
激活函数，/>
Figure QLYQS_10
表示/>
Figure QLYQS_11
激活函数，且/>
Figure QLYQS_2
表示对所述各个辅助特征图的每个特征矩阵的全局池化操作，/>
Figure QLYQS_6
表示按位置加法，/>
Figure QLYQS_9
表示所述多个加权特征向量中的各个加权特征向量。
8.根据权利要求7所述的用于轨道交通运营维护的防护报警装置，其特征在于，所述意图理解模块，包括：
编码单元，用于使用所述基于转换器的意图理解器对所述多个优化后监控特征向量进行基于全局的上下文语义编码以得到多个监控对象语义理解特征向量；
级联单元，用于将所述多个监控对象语义理解特征向量进行级联以得到所述监控对象时序语义理解特征向量。
9.根据权利要求8所述的用于轨道交通运营维护的防护报警装置，其特征在于，所述预警模块，包括：
全连接编码单元，用于使用所述分类器的多个全连接层对所述监控对象时序语义理解特征向量进行全连接编码以得到编码分类特征向量；
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
10.一种用于轨道交通运营维护的防护报警方法，其特征在于，包括：
用于获取由摄像头采集的预定时间段的监控视频；
用于对所述监控视频进行采样以得到多个监控关键帧；
用于将所述多个监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个监控特征向量；
用于分别对所述多个监控特征向量进行特征值区分度强化以得到多个优化后监控特征向量；
用于将所述多个优化后监控特征向量通过基于转换器的意图理解器以得到监控对象时序语义理解特征向量；
用于将所述监控对象时序语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生预警提示。
CN202310492369.8A 2023-05-05 2023-05-05 用于轨道交通运营维护的防护报警装置及方法 Active CN116206265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310492369.8A CN116206265B (zh) 2023-05-05 2023-05-05 用于轨道交通运营维护的防护报警装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310492369.8A CN116206265B (zh) 2023-05-05 2023-05-05 用于轨道交通运营维护的防护报警装置及方法

Publications (2)

Publication Number Publication Date
CN116206265A true CN116206265A (zh) 2023-06-02
CN116206265B CN116206265B (zh) 2023-07-18

Family

ID=86513319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310492369.8A Active CN116206265B (zh) 2023-05-05 2023-05-05 用于轨道交通运营维护的防护报警装置及方法

Country Status (1)

Country Link
CN (1) CN116206265B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994753A (zh) * 2024-04-03 2024-05-07 浙江浙能数字科技有限公司 基于视觉的翻车机入口轨道异常检测装置及方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012475A1 (en) * 2018-07-10 2020-01-16 Rail Vision Ltd Method and system for railway obstacle detection based on rail segmentation
CN111259782A (zh) * 2020-01-14 2020-06-09 北京大学 基于混合多尺度时序可分离卷积操作的视频行为识别方法
CN111950494A (zh) * 2020-08-20 2020-11-17 宁波广播电视集团 基于卷积神经网络的监控方法、装置及系统和可读存储介质
CN112418160A (zh) * 2020-12-08 2021-02-26 杭州科技职业技术学院 基于互注意力神经网络的就餐人员监控方法
CN112612890A (zh) * 2020-12-28 2021-04-06 交控科技股份有限公司 轨道车辆的故障识别方法及装置
US20210248375A1 (en) * 2020-02-06 2021-08-12 Mitsubishi Electric Research Laboratories, Inc. Scene-Aware Video Dialog
CN113286194A (zh) * 2020-02-20 2021-08-20 北京三星通信技术研究有限公司 视频处理方法、装置、电子设备及可读存储介质
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113568002A (zh) * 2021-06-24 2021-10-29 中车南京浦镇车辆有限公司 基于激光和图像数据融合的轨道交通主动障碍物检测装置
WO2022022368A1 (zh) * 2020-07-28 2022-02-03 宁波环视信息科技有限公司 基于深度学习的监所行为规范检测装置及方法
WO2022142649A1 (zh) * 2020-12-29 2022-07-07 中兴通讯股份有限公司 行车预警方法、电子设备和计算机可读存储介质
CN114882452A (zh) * 2022-05-17 2022-08-09 张弛 轨道线路安全监测方法、列车运行控制方法及控制系统
CN115170989A (zh) * 2022-06-24 2022-10-11 浙江网新智能技术有限公司 一种基于强化特征提取的轨道分割方法
CN115205796A (zh) * 2022-07-07 2022-10-18 北京交通大学 轨道线路异物侵限监测与风险预警方法及系统
CN115631385A (zh) * 2022-12-06 2023-01-20 崔铁良 消防车道实时监控系统
US20230089280A1 (en) * 2021-09-17 2023-03-23 Nanjing University Of Posts And Telecommunications Image haze removal method and apparatus, and device

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012475A1 (en) * 2018-07-10 2020-01-16 Rail Vision Ltd Method and system for railway obstacle detection based on rail segmentation
CN111259782A (zh) * 2020-01-14 2020-06-09 北京大学 基于混合多尺度时序可分离卷积操作的视频行为识别方法
US20210248375A1 (en) * 2020-02-06 2021-08-12 Mitsubishi Electric Research Laboratories, Inc. Scene-Aware Video Dialog
CN113286194A (zh) * 2020-02-20 2021-08-20 北京三星通信技术研究有限公司 视频处理方法、装置、电子设备及可读存储介质
WO2022022368A1 (zh) * 2020-07-28 2022-02-03 宁波环视信息科技有限公司 基于深度学习的监所行为规范检测装置及方法
CN111950494A (zh) * 2020-08-20 2020-11-17 宁波广播电视集团 基于卷积神经网络的监控方法、装置及系统和可读存储介质
CN112418160A (zh) * 2020-12-08 2021-02-26 杭州科技职业技术学院 基于互注意力神经网络的就餐人员监控方法
CN112612890A (zh) * 2020-12-28 2021-04-06 交控科技股份有限公司 轨道车辆的故障识别方法及装置
WO2022142649A1 (zh) * 2020-12-29 2022-07-07 中兴通讯股份有限公司 行车预警方法、电子设备和计算机可读存储介质
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113568002A (zh) * 2021-06-24 2021-10-29 中车南京浦镇车辆有限公司 基于激光和图像数据融合的轨道交通主动障碍物检测装置
US20230089280A1 (en) * 2021-09-17 2023-03-23 Nanjing University Of Posts And Telecommunications Image haze removal method and apparatus, and device
CN114882452A (zh) * 2022-05-17 2022-08-09 张弛 轨道线路安全监测方法、列车运行控制方法及控制系统
CN115170989A (zh) * 2022-06-24 2022-10-11 浙江网新智能技术有限公司 一种基于强化特征提取的轨道分割方法
CN115205796A (zh) * 2022-07-07 2022-10-18 北京交通大学 轨道线路异物侵限监测与风险预警方法及系统
CN115631385A (zh) * 2022-12-06 2023-01-20 崔铁良 消防车道实时监控系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DONGYANG YAN 等: "A railway accident prevention method based on reinforcement learning – Active preventive strategy by multi-modal data", 《RELIABILITY ENGINEERING & SYSTEM SAFETY》, vol. 234, pages 109136 *
SERHAT KILIÇARSLAN 等: "Detection and classification of pneumonia using novel Superior Exponential (SupEx) activation function in convolutional neural networks", 《EXPERT SYSTEMS WITH APPLICATIONS》, vol. 217, pages 119503 *
叶涛 等: "基于LAM-Net的轨道侵入界异物自主检测系统", 《仪器仪表学报》, vol. 43, no. 09, pages 206 - 218 *
王宇: "基于深度学习的图像语义分割算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 08, pages 138 - 395 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994753A (zh) * 2024-04-03 2024-05-07 浙江浙能数字科技有限公司 基于视觉的翻车机入口轨道异常检测装置及方法
CN117994753B (zh) * 2024-04-03 2024-06-07 浙江浙能数字科技有限公司 基于视觉的翻车机入口轨道异常检测装置及方法

Also Published As

Publication number Publication date
CN116206265B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
KR101748121B1 (ko) 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법
CN112287816A (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN111986228B (zh) 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质
CN108647582A (zh) 一种复杂动态环境下目标行为识别与预测方法
CN105809679A (zh) 一种基于视觉分析的山区铁路边坡落石检测方法
CN116206265B (zh) 用于轨道交通运营维护的防护报警装置及方法
KR20150100141A (ko) 행동패턴 분석 장치 및 방법
CN115909260A (zh) 基于机器视觉的作业场所入侵预警方法及其系统
CN111553305B (zh) 一种违章视频识别系统和方法
CN112131951A (zh) 一种自动化识别施工中违规使用梯子行为的系统
KR101651410B1 (ko) 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법
Xiao et al. Real-time object detection for substation security early-warning with deep neural network based on YOLO-V5
CN116204821B (zh) 用于轨道交通车辆的振动评估方法及系统
CN105741503A (zh) 一种现有监控设备下的停车场实时预警方法
KR20200055812A (ko) 딥러닝 기반 이상 행위 인지 장치 및 방법
CN117612249A (zh) 一种基于改进OpenPose算法的井下矿工危险行为识别方法和装置
CN117275202A (zh) 文物重点区域危险源全方位实时智能预警方法及系统
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN116977129A (zh) 智慧物业管理系统及其方法
CN106128105A (zh) 一种交通路口行人行为监测系统
CN116385962A (zh) 基于机器视觉的廊道内人员监控系统及其方法
KR20230103890A (ko) 멀티-모달 비디오 캡셔닝 기반 영상 보안 시스템 및 방법
CN114463681A (zh) 一种基于视频监控平台的火灾检测方法
Nujella et al. Face-Mask Detection to Control the COVID-19 Spread Employing Deep Learning Approach
CN112800854A (zh) 一种基于图像的机车乘务员作业自动分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant