CN112861762A - 基于生成对抗网络的铁路道口异常事件检测方法及系统 - Google Patents

基于生成对抗网络的铁路道口异常事件检测方法及系统 Download PDF

Info

Publication number
CN112861762A
CN112861762A CN202110210813.3A CN202110210813A CN112861762A CN 112861762 A CN112861762 A CN 112861762A CN 202110210813 A CN202110210813 A CN 202110210813A CN 112861762 A CN112861762 A CN 112861762A
Authority
CN
China
Prior art keywords
network
abnormal event
module
event detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110210813.3A
Other languages
English (en)
Other versions
CN112861762B (zh
Inventor
常发亮
张震
李南君
刘春生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110210813.3A priority Critical patent/CN112861762B/zh
Publication of CN112861762A publication Critical patent/CN112861762A/zh
Application granted granted Critical
Publication of CN112861762B publication Critical patent/CN112861762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

本发明公开了基于生成对抗网络的铁路道口异常事件检测方法及系统，包括：采集待检测的铁道路口视频；对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入下一步；基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果。基于生成对抗网络的思想提出了异常检测网络架构，学习正常视频中的外观、运动特征，实现了负样本较少甚至无负样本情况下的异常检测。使用双流架构，添加记忆增强模块，提升了网络对运动信息的获取能力，抑制了网络对异常事件的重构能力，增大了重构误差，从而进一步提高了网络对异常事件的检测效果。

Description

基于生成对抗网络的铁路道口异常事件检测方法及系统
技术领域
本发明涉及铁路安全检测技术领域，特别是涉及基于生成对抗网络的铁路道口异常事件检测方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
异常事件检测的目的是检测视频或者图像中的不常见的、异常的、可能对生产运行安全带来隐患的物体或行为。
铁路道口异常事件检测是对铁路道口内进行实时监控，检测并定位监控区域内发生的异常事件，如：行人滞留，塌方落石等。通过对监控区域的实时检测，可以有效地发现影响列车安全运行的因素，给管理者提供准确的信息并及时发出预警，提升列车运行的安全性。然而，由于铁路周边环境较为复杂且异常事件种类多样等问题，铁路道口异常事件检测仍面临着较大的挑战。
现有的铁路道口异常事件检测方法多为采用硬件传感器的方法，该方法设备投入大，维护难且检测效率低。铁路道口主要分为有人看守铁路道口和无人看守铁路道口。有人看守铁路道口为值班人员现场指挥调度，在火车通过时放下栏杆。其中无人看守铁路道口多只是自动落下栏杆，但无法识别铁路道口中是否存在异物或行人滞留。因此，目前大多数无人铁路道口仍需要耗费大量人力在监控前值守，考虑到值守人员通常无法长时间集中注意力，因此很难达到预期效果。数据显示，现在仍有多处铁路道口，将消耗大量的人力物力，且安全性不高。
目前人们提出了一系列针对铁路道口的异常检测方法，但多是基于硬件的方法，成本高且智能化程度较低。常见的基于视频图像的算法受光照阴影等因素干扰较大，在复杂背景下无法保证检测的准确性，且存在计算资源浪费，异常事件种类较多导致数据集制作困难等问题。
发明内容
为了解决现有技术的不足，本发明提供了基于生成对抗网络的铁路道口异常事件检测方法及系统；提出了检测铁路道口是否应禁止行人车辆通行的算法作为异常事件检测算法的支持，防止计算资源浪费。本方法基于编码-解码网络以及生成对抗学习的思想，提出了一种基于生成对抗网络的异常事件检测方法，来对视频监控中存在的可能危及行车安全的事件进行检测、定位。最后，加入双流输入和记忆力增强模块，进一步增强算法对异常事件的检测能力。
第一方面，本发明提供了基于生成对抗网络的铁路道口异常事件检测方法；
基于生成对抗网络的铁路道口异常事件检测方法，包括：
采集待检测的铁道路口视频；
对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入下一步；
基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果。
第二方面，本发明提供了基于生成对抗网络的铁路道口异常事件检测系统；
基于生成对抗网络的铁路道口异常事件检测系统，包括：
采集模块，其被配置为：采集待检测的铁道路口视频；
栏杆状态判断模块，其被配置为：对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入下一步；
输出模块，其被配置为：基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果。
第三方面，本发明还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
提出了通行状态检测方法，防止异常检测算法长时间占用GPU造成的计算资源浪费。
基于生成对抗网络的思想提出了异常检测网络架构，学习正常视频中的外观、运动特征，实现了负样本较少甚至无负样本情况下的异常检测。
使用双流架构，添加记忆增强模块，提升了网络对运动信息的获取能力，抑制了网络对异常事件的重构能力，增大了重构误差，从而进一步提高了网络对异常事件的检测效果。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的异常事件检测方法流程图；
图2是本发明实施例一的铁路道口通行状态检测方法流程图。
图3是本发明实施例一的异常事件检测网络结构示意图；
图4是本发明实施例一的图像生成网络结构图；
图5是本发明实施例一的初级图像生成网络结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于生成对抗网络的铁路道口异常事件检测方法；
基于生成对抗网络的铁路道口异常事件检测方法，包括：
S101：采集待检测的铁道路口视频；
S102：对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入S103；
S103：基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果。
作为一个或多个实施例，所述S102：对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入S103；具体步骤包括：
S1021：对待检测的铁道路口视频的第i帧图像提取前景图像，其中i的取值范围为正整数；
S1022：对前景图像，进行去除干扰处理；
S1023：对干扰处理后的图像，进行边缘检测；
S1024：对边缘检测后的图像，进行直线检测；
S1025：计算图像中的直线与水平的夹角，如果夹角持续增大，则表示栏杆抬起，则暂停异常事件检测；如果夹角持续减小，则表示铁道路口栏杆放下，则开始进行异常事件检测。
应理解的，所述S102：对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，有益效果是：提升铁路道口监控的智能化程度，提高异常检测效率，防止计算资源浪费，提升设备运算效率，本方法在进行异常检测前提出了一个铁路道口通行状态判断模块。该模块消耗的计算资源较少，不会对设备性能造成较大影响。通过对视频图像中具有标志性的行为进行分析(如栏杆抬起)，判断当前路口是否允许行人车辆通行，是否需要进行检测。其检测流程如图2所示。
进一步地，所述S1021：对待检测的铁道路口视频的第i帧图像提取前景图像；具体是采用高斯混合模型GMM，对待检测的铁道路口视频的第i帧图像提取前景图像。
应理解的，对本系统来说，摄像机固定静止，如果视频图像中背景像素点特征较为稳定，无较大变化，则可将其视为服从高斯分布。但铁路道口周边环境往往十分复杂，风造成的树枝摇晃、农作物摇晃、水波等干扰会使背景像素点出现双峰或多峰现象，采用多个高斯分布(高斯混合模型GMM)描述背景像素点特征可有效降低干扰。
相比单高斯背景建模，取K个高斯分布组成的高斯模型来拟合像素点取值，可得当前像素值出现概率，即混合高斯模型的概率密度函数：
Figure BDA0002952217920000061
其中，Xt为t时刻改点像素值，ωi为t时刻混合高斯背景模型中第i个模型的加权系数，其表示了总采样值中第i个高斯分布贡献的采样值的比重；μi，t和∑i，t分别代表了第i个高斯分布的均值向量和协方差矩阵；η(Xt，μi，t，∑i，t)为第i个高斯分布函数，定义如下：
Figure BDA0002952217920000062
选取权重ωi大于背景模型权重占总权重的最低阈值的B个高斯分布作为前景，其余为背景。当新读入的像素值与当前K个模型进行匹配，若满足条件：|Xt-μi，t-1|≤2.5σi，则该像素值与第i个高斯分布匹配。则可根据匹配结果划分前景与背景像素。使用混合高斯模型可以有效的去除因光照、阴影等缓变因素造成的干扰，较为完整的提取出运动的前景(栏杆)。
进一步地，所述S1022：对前景图像，进行去除干扰处理；具体包括：
采用形态学方法中的开运算去除图像中的孤立点和毛刺，实现干扰去除和目标前景的保留。
应理解的，在通过混合高斯模型GMM完整有效的提取出前景后，由于光照或视频传输中产生的噪声等，提取出的前景区域可能存在干扰。因此，本方法使用图像处理中的开运算去除图像中孤立的小点、毛刺等，可以有效地去除干扰并完整保留目标前景。
进一步地，所述S1023：对干扰处理后的图像，进行边缘检测；
采用Canny边缘检测算法，对干扰处理后的图像，进行边缘检测。
进一步地，所述S1024：对边缘检测后的图像，进行直线检测；
采用Hough直线检测算法，对边缘检测后的图像，进行直线检测。
采用Canny边缘检测的方法对形态学方法处理后的图像进行处理。最后采用Hough直线检测的方法，获得图像中可靠度最高的直线与水平的角度θ，通过对θ变化进行分析获得当前铁路道口的通行状态。当θ持续增大时，即栏杆抬起，则铁路道口允许行人车辆自由通行，系统暂停对视频进行异常检测以降低计算量。当θ持续减小时，即栏杆落下，则启动对监控视频的异常事件检测。
作为一个或多个实施例，所述S103：基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果；具体步骤包括：
待检测的铁道路口视频输入到训练后的生成对抗网络的图像生成网络中，图像生成网络生成预测视频帧；
将预测视频帧与无异常事件的视频帧进行差异度比较，如果差异度大于设定阈值，则表示存在异常事件，否则，表示没有异常事件。
进一步地，生成对抗网络，其网络结构包括：
相互连接的图像生成网络和鉴别器；
其中，图像生成网络，包括：并列的RGB输入支路和光流输入支路；
其中，RGB输入支路，包括：依次连接的第一编码模块、第二编码模块、第三编码模块、第四编码模块、记忆增强模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；
其中，光流输入支路，包括：光流提取网络Lite Flow Net、第五编码模块、第六编码模块和第七编码模块；其中，第七编码模块的输出端与第三编码模块的输端出采用CONCAT合并的方式融合，融合后的数据送入第四编码模块；
其中，鉴别器，包括：依次连接的卷积层a1、卷积层a2、卷积层a3、卷积层a4和Sigmoid函数层；
其中，第一、第二、第三、第四、第五、第六和第七编码模块的内部结构是一样的，第一编码模块，包括：依次连接的卷积层b1、卷积层b2和最大池化层b3；
其中，第一、第二、第三和第四解码模块的内部结构是一样的，第一解码模块，包括：依次连接的反卷积层c1、卷积层c2和卷积层c3。
其中，第一编码模块的输出端与第四解码模块的输入端连接，第二编码模块的输出端与第三解码模块的输入端连接，第三编码模块的输出端与第二解码模块的输入端连接；
其中，记忆增强模块，包括：稀疏处理单元；其中，稀疏处理单元的输入端与第四编码模块的输出端连接，稀疏处理单元的输出端与第一解码模块的输入端连接；
其中，稀疏处理单元，具体是指使用记忆矩阵中向量线性对输入向量d1重构，得到输出向量d3，稀疏处理单元的计算方式由公式(3)(4)表示。
Figure BDA0002952217920000091
ωi＝Softmax(dis(d1，mi)) (4)
其中，Softmax(·)为Softmax函数，dis(d1，mi)为相似性度量。
进一步地，所述图像生成网络的工作原理包括：
采用经LiteFlownet光流提取网络处理所得光流图作为光流路的输入；
在图像生成网络的记忆增强模块前，实现RGB图像与光流双流网络的融合，融合后，输入至记忆增强模块；
最后，将记忆增强模块的输出值进行解码，得到预测的视频帧。
进一步地，训练后的生成对抗网络，训练步骤包括：
S1031：将生成对抗网络中的记忆增强模块去除，将第四编码模块与第一解码模块直接连接，得到初级生成对抗网络；如图5所示；
S1032：构建训练集，所述训练集为N+1帧视频；
将训练集的第1帧到第N帧视频输入到初级生成对抗网络，初级生成对抗网络输出预测视频帧；
将预测视频帧与第N+1帧图像输入到鉴别器中，输出真假鉴别结果；
当鉴别器的鉴别成功率达到50％时，停止训练，得到训练后的初级生成对抗网络；
S1033：将记忆增强模块添加到训练后的初级生成对抗网络中，将记忆增强模块放置到第四编码模块与第一解码模块之间，记忆增强模块分别与第四编码模块与第一解码模块连接，得到二级生成对抗网络；
S1034：将训练集的第1帧到第N帧视频输入到二级生成对抗网络，二级生成对抗网络输出预测视频帧；
将预测视频帧与第N+1帧图像输入到鉴别器中，输出真假鉴别结果；
当鉴别器的鉴别成功率达到50％时，停止训练，得到训练后的二级生成对抗网络；训练后的二级生成对抗网络，即为最终训练后的生成对抗网络。
生成对抗网络具有较强的图像重构能力。本方法基于对视频帧进行重构预测的思想，构建了异常事件检测网络。
网络结构如图3所示。该网络主要包括两部分：图像生成网络和鉴别器。训练时，网络将视频裁为连续的N+1帧作为输入，用图像生成网络对前N帧图像进行编码重构获得重构图像，然后将重构图像与第N+1帧真是图像输入至鉴别器中。鉴别器用来判断输入图像为重构图或真实图像。通过图像生成网络与鉴别器的对抗提升网络的图像重构能力。
为了保证良好的图像重构生成效果，本方法中的图像生成网络使用了U-net作为骨架网络，除此之外添加了光流输入，跳层连接和记忆增强模块。网络的各层参数如图4所示，其中编码部分每层之间包括两个卷积层和一个最大池化层，解码部分每层之间包括一个反卷积层和两个卷积层。鉴别器包含四个卷积层和一个Sigmoid层组成。其中图像生成网络中的网络结构可以根据输入图像格式和设备性能等因素进行调整，本方法主要针对的是所提出的整体网络框架。
异常事件主要包括不常见的物体(如塌落碎石)和异常的运动形式(如摔倒)，为了更好的对运动的事件进行检测，提升网络对运动特征的敏感程度，本方法采用网络除使用RGB图像流外还加入了光流输入。相比直接输入连续N帧图像，光流输入的方式可以有效压缩输入值范围，滤除周边环境的干扰，减少RGB流输入过多的冗余信息，降低网络运算成本，提升网络精度。同时，光流信息可以突出强调视频中的运动信息，使网络能更好的获取运动信息，从而提升对运动的异常事件的检测能力。
本方法采用经LiteFlownet光流提取网络处理所得光流图作为光流路的输入。光流部分编码部分结构同RGB图像流相同，在网络的记忆增强模块前实现双流网络的融合，进一步，输入至记忆增强模块。
为了使网络对异常事件更为敏感，增强异常的重构误差，本方法在网络中添加了记忆增强模块。经大量正常样本训练后，记忆矩阵所存储特征向量更趋向于正常样本。在应用中的重构过程中，使用记忆矩阵中存储的正常事件特征向量的组合来取代异常的特征向量，从而使异常事件的重构预测趋向于正常事件，增大了重构误差，提升了网络对异常事件的检测能力。
综合该方法所提出的铁路道口异常事件检测方法，整体流程如图1所示，包括以下步骤：
步骤1：获取视频并抽取视频帧，具体为：
网络的输入为完整视频中连续抽样产生的视频帧。考虑到计算机计算资源有限以及异常事件检测的实时性要求，本方法每隔t秒(t根据计算机性能设定，往往小于0.5)从视频中抽取一帧。记v(1∶L)为包含一个事件的视频抽样生成的从第1帧到第L帧的完整序列。当进行训练或实际应用时会从v(1∶L)中选取连续的N+1帧(N+1≤L)输入至网络中。
步骤2：基于训练集，分别训练局部网络和异常检测网络：
训练局部网络，即训练异常检测网络中除记忆增强模块外的编码、解码及鉴别器，使用公式(5)作为损失函数。
Figure BDA0002952217920000121
Figure BDA0002952217920000122
Figure BDA0002952217920000123
其中fN+1表示真实视频中第N+1帧，
Figure BDA0002952217920000124
表示预测生成的视频帧。FUN(·)表示的是光流计算网络，其由其他数据集预训练，在应用过程中参数固定。
Figure BDA0002952217920000125
强调图像生成的质量，用来衡量像素值层面的相似程度。
Figure BDA0002952217920000126
强调预测图像的运动合理性，是图像的光流损失。
训练异常检测网络。固定步骤a中训练的局部网络参数，加入记忆增强模块对网络进行训练，使用公式(9)作为损失函数。
Figure BDA0002952217920000127
Figure BDA0002952217920000128
其中w是每个样本fN+1在记忆增强模块中的内存寻址权值向量，我们采用最小化w的熵作为损失函数的一部分。上式中α、β、γ均为超参数。
步骤3：调整铁路道口通行状态检测部分参数，框定监控视频中待检测区域。
依据视频监控安装角度、方向等因素对通行状态检测部分的参数如对水平夹角θ变化敏感度、直线检测中最短直线长度等参数做出调整。并依据实际检测要求，划分出视频中需要检测的部分，本方法可采用手动划分的方法，也可采用自动划分，使用直线检测方法自动检测监控中长度最长的铁轨并向两侧延展一定距离作为待检测区域。同时本方法还可外接基于硬件方法(如传感器)产生的铁路道口通行状态0-1输入作为启动暂停异常事件检测的标志。
步骤4：在实际应用中，将铁路道口状态检测与异常检测网络结合，对输入的视频进行异常事件检测。
对监控视频每隔t秒进行抽样，输入至检测系统中。
使用铁路道口通行状态检测方法对输入视频帧的通行状态进行检测，当铁路道口禁止行人通行，火车即将通过时，将视频帧输入至异常检测网络。
使用异常检测网络对输入的连续视频帧进行处理。对经图像生成网络产生的预测帧
Figure BDA0002952217920000131
与实际真实视频帧fN+1进行对比。
当二者差异较大时则可以判定检测区域存在异常。
其中两幅图像的相似程度可以由公式(10)中的峰值信噪比PSNR进行衡量。当
Figure BDA0002952217920000132
过小时可以认为两幅图像差异较大，即视频中存在异常事件，应及时发出告警。
Figure BDA0002952217920000133
分别在Avenue和Ped1、Ped2数据集上进行实验。
Avenue数据集检测的主要是行人的异常动作、错误的移动方向以及异常物体的出现等。包含16个训练视频以及21个测试视频。Ped1和Ped2数据集主要是面向行为主体是行人的数据集。其异常事件类型主要包括违规出现的物体、异常的行人运动模式，如行人走入禁止进入的区域等。两数据集包括50个训练视频和48个测试视频，包括了行人平行相机平面和走向、远离相机的多个运动方向。其检测准确率如下：
表1检测准确率
Figure BDA0002952217920000134
Figure BDA0002952217920000141
本发明公开了一种基于生成对抗网络的铁路道口异常事件检测方法。本发明主要针对铁路道口场景下异常事件检测问题，目标是及时发现铁路道口中可能危及行车安全的事件并告警。本发明提出的异常事件检测方法主要由铁路道口通行状态检测方法和异常事件检测网络组成。首先，本方法提出了铁路道口通行状态检测方法，在铁路道口允许行人车辆自由通行时停止检测，释放资源，达到节省计算资源，提升系统运行效率的目的。本方法中异常事件检测网络部分使用了一个基于生成对抗学习的网络结构，该网络可以学习正常事件的外观与行为信息，通过预测重构图像的方式实现异常事件检测。另外考虑到生成对抗网络可能有着过强的图像重构能力，以及网络对运动信息获取能力不足的问题，本方法在网络中加入了记忆增强模块以抑制网络对异常事件的重构能力，增大了异常事件的重构误差，同时加入光流输入构成双流网络提升网络对运动信息的获取能力，进一步提升了网络的异常事件检测效果。
实施例二
本实施例提供了基于生成对抗网络的铁路道口异常事件检测系统；
基于生成对抗网络的铁路道口异常事件检测系统，包括：
采集模块，其被配置为：采集待检测的铁道路口视频；
栏杆状态判断模块，其被配置为：对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入输出模块；
输出模块，其被配置为：基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果。
此处需要说明的是，上述采集模块、栏杆状态判断模块和输出模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于生成对抗网络的铁路道口异常事件检测方法，其特征是，包括：
采集待检测的铁道路口视频；
对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入下一步；
基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果。
2.如权利要求1所述的基于生成对抗网络的铁路道口异常事件检测方法，其特征是，对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入下一步；具体步骤包括：
对待检测的铁道路口视频的第i帧图像提取前景图像，其中i的取值范围为正整数；
对前景图像，进行去除干扰处理；
对干扰处理后的图像，进行边缘检测；
对边缘检测后的图像，进行直线检测；
计算图像中的直线与水平的夹角，如果夹角持续增大，则表示栏杆抬起，则暂停异常事件检测；如果夹角持续减小，则表示铁道路口栏杆放下，则开始进行异常事件检测。
3.如权利要求2所述的基于生成对抗网络的铁路道口异常事件检测方法，其特征是，对待检测的铁道路口视频的第i帧图像提取前景图像；具体是采用高斯混合模型GMM，对待检测的铁道路口视频的第i帧图像提取前景图像；
对前景图像，进行去除干扰处理；具体包括：
采用形态学方法中的开运算去除图像中的孤立点和毛刺，实现干扰去除和目标前景的保留；
对干扰处理后的图像，进行边缘检测；
采用Canny边缘检测算法，对干扰处理后的图像，进行边缘检测；
对边缘检测后的图像，进行直线检测；
采用Hough直线检测算法，对边缘检测后的图像，进行直线检测。
4.如权利要求1所述的基于生成对抗网络的铁路道口异常事件检测方法，其特征是，基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果；具体步骤包括：
待检测的铁道路口视频输入到训练后的生成对抗网络的图像生成网络中，图像生成网络生成预测视频帧；
将预测视频帧与无异常事件的视频帧进行差异度比较，如果差异度大于设定阈值，则表示存在异常事件，否则，表示没有异常事件。
5.如权利要求1所述的基于生成对抗网络的铁路道口异常事件检测方法，其特征是，生成对抗网络，其网络结构包括：
相互连接的图像生成网络和鉴别器；
其中，图像生成网络，包括：并列的RGB输入支路和光流输入支路；
其中，RGB输入支路，包括：依次连接的第一编码模块、第二编码模块、第三编码模块、第四编码模块、记忆增强模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；
其中，光流输入支路，包括：光流提取网络Lite Flow Net、第五编码模块、第六编码模块和第七编码模块；其中，第七编码模块的输出端与第三编码模块的输端出采用CONCAT合并的方式融合，融合后的数据送入第四编码模块；
其中，鉴别器，包括：依次连接的卷积层a1、卷积层a2、卷积层a3、卷积层a4和Sigmoid函数层；
其中，第一、第二、第三、第四、第五、第六和第七编码模块的内部结构是一样的，第一编码模块，包括：依次连接的卷积层b1、卷积层b2和最大池化层b3；
其中，第一、第二、第三和第四解码模块的内部结构是一样的，第一解码模块，包括：依次连接的反卷积层c1、卷积层c2和卷积层c3；
其中，第一编码模块的输出端与第四解码模块的输入端连接，第二编码模块的输出端与第三解码模块的输入端连接，第三编码模块的输出端与第二解码模块的输入端连接；
其中，记忆增强模块，包括：稀疏处理单元；其中，稀疏处理单元的输入端与第四编码模块的输出端连接，稀疏处理单元的输出端与第一解码模块的输入端连接。
6.如权利要求5所述的基于生成对抗网络的铁路道口异常事件检测方法，其特征是，所述图像生成网络的工作原理包括：
采用经LiteFlownet光流提取网络处理所得光流图作为光流路的输入；
在图像生成网络的记忆增强模块前，实现RGB图像与光流双流网络的融合，融合后，输入至记忆增强模块；
最后，将记忆增强模块的输出值进行解码，得到预测的视频帧。
7.如权利要求5所述的基于生成对抗网络的铁路道口异常事件检测方法，其特征是，训练后的生成对抗网络，训练步骤包括：
(1)：将生成对抗网络中的记忆增强模块去除，将第四编码模块与第一解码模块直接连接，得到初级生成对抗网络；
(2)：构建训练集，所述训练集为N+1帧视频；
将训练集的第1帧到第N帧视频输入到初级生成对抗网络，初级生成对抗网络输出预测视频帧；
将预测视频帧与第N+1帧图像输入到鉴别器中，输出真假鉴别结果；
当鉴别器的鉴别成功率达到50％时，停止训练，得到训练后的初级生成对抗网络；
(3)：将记忆增强模块添加到训练后的初级生成对抗网络中，将记忆增强模块放置到第四编码模块与第一解码模块之间，记忆增强模块分别与第四编码模块与第一解码模块连接，得到二级生成对抗网络；
(4)：将训练集的第1帧到第N帧视频输入到二级生成对抗网络，二级生成对抗网络输出预测视频帧；
将预测视频帧与第N+1帧图像输入到鉴别器中，输出真假鉴别结果；
当鉴别器的鉴别成功率达到50％时，停止训练，得到训练后的二级生成对抗网络；训练后的二级生成对抗网络，即为最终训练后的生成对抗网络。
8.基于生成对抗网络的铁路道口异常事件检测系统，其特征是，包括：
采集模块，其被配置为：采集待检测的铁道路口视频；
栏杆状态判断模块，其被配置为：对待检测的铁道路口视频进行处理，判断是否需要异常事件检测，如果铁道路口栏杆抬起，则暂停异常事件检测，如果铁道路口栏杆放下，则进入下一步；
输出模块，其被配置为：基于训练后的生成对抗网络，对待检测的铁道路口视频进行异常事件检测，输出异常事件检测结果。
9.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
CN202110210813.3A 2021-02-25 2021-02-25 基于生成对抗网络的铁路道口异常事件检测方法及系统 Active CN112861762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110210813.3A CN112861762B (zh) 2021-02-25 2021-02-25 基于生成对抗网络的铁路道口异常事件检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110210813.3A CN112861762B (zh) 2021-02-25 2021-02-25 基于生成对抗网络的铁路道口异常事件检测方法及系统

Publications (2)

Publication Number Publication Date
CN112861762A true CN112861762A (zh) 2021-05-28
CN112861762B CN112861762B (zh) 2022-05-20

Family

ID=75989922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110210813.3A Active CN112861762B (zh) 2021-02-25 2021-02-25 基于生成对抗网络的铁路道口异常事件检测方法及系统

Country Status (1)

Country Link
CN (1) CN112861762B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721703A (zh) * 2022-05-26 2022-07-08 青服(深圳)技术研究有限公司 一种基于大数据的软件维护方法及系统
CN116012381A (zh) * 2023-03-27 2023-04-25 四川高速公路建设开发集团有限公司 车辆掉落异物报警方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044698A (en) * 1996-04-01 2000-04-04 Cairo Systems, Inc. Method and apparatus including accelerometer and tilt sensor for detecting railway anomalies
CN101179710A (zh) * 2007-11-30 2008-05-14 浙江工业大学 铁路道口智能视频监控装置
CN102826107A (zh) * 2011-06-17 2012-12-19 同济大学 一种铁路无人值守道口远程监视控制系统
US20190250637A1 (en) * 2018-02-12 2019-08-15 Vinod Khosla Autonomous rail vehicle movement and system among a group of vehicles on a rail system
CN110930528A (zh) * 2019-12-16 2020-03-27 交通运输部路网监测与应急处置中心 Etc车道中两辆车跟随合法车辆过车的处理方法及系统
CN111364386A (zh) * 2018-12-25 2020-07-03 上海梅山钢铁股份有限公司 一种基于智能视频监控的铁路道口自动栏杆防砸装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044698A (en) * 1996-04-01 2000-04-04 Cairo Systems, Inc. Method and apparatus including accelerometer and tilt sensor for detecting railway anomalies
CN101179710A (zh) * 2007-11-30 2008-05-14 浙江工业大学 铁路道口智能视频监控装置
CN102826107A (zh) * 2011-06-17 2012-12-19 同济大学 一种铁路无人值守道口远程监视控制系统
US20190250637A1 (en) * 2018-02-12 2019-08-15 Vinod Khosla Autonomous rail vehicle movement and system among a group of vehicles on a rail system
CN111364386A (zh) * 2018-12-25 2020-07-03 上海梅山钢铁股份有限公司 一种基于智能视频监控的铁路道口自动栏杆防砸装置及方法
CN110930528A (zh) * 2019-12-16 2020-03-27 交通运输部路网监测与应急处置中心 Etc车道中两辆车跟随合法车辆过车的处理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721703A (zh) * 2022-05-26 2022-07-08 青服(深圳)技术研究有限公司 一种基于大数据的软件维护方法及系统
CN114721703B (zh) * 2022-05-26 2024-02-23 青服(深圳)技术研究有限公司 一种基于大数据的软件维护方法及系统
CN116012381A (zh) * 2023-03-27 2023-04-25 四川高速公路建设开发集团有限公司 车辆掉落异物报警方法及系统
CN116012381B (zh) * 2023-03-27 2023-06-16 四川高速公路建设开发集团有限公司 车辆掉落异物报警方法及系统

Also Published As

Publication number Publication date
CN112861762B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN112287816B (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
KR20200007084A (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
CN112861762B (zh) 基于生成对抗网络的铁路道口异常事件检测方法及系统
CN111241343A (zh) 一种道路信息监控与分析检测方法、智慧交通控制系统
CN112766195B (zh) 一种电气化铁路弓网燃弧视觉检测方法
CN112132119A (zh) 客流统计方法、装置、电子设备和存储介质
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
CN112967252B (zh) 一种轨道车辆机感吊架组装螺栓丢失检测方法
WO2021147055A1 (en) Systems and methods for video anomaly detection using multi-scale image frame prediction network
CN112766056A (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN114926767A (zh) 融合隐空间自回归的预测重构视频异常检测方法
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法
CN115984378A (zh) 一种轨道异物检测方法、装置、设备及介质
CN115546668A (zh) 海洋生物的检测方法、装置及无人机
CN113011338B (zh) 一种车道线检测方法及系统
CN113793069A (zh) 深度残差网络的城市内涝积水智能识别方法
Kinattukara et al. Clustering based neural network approach for classification of road images
CN112597928B (zh) 一种事件检测方法及相关装置
CN113284135B (zh) 基于全局与局部上下文信息的sar舰船检测方法
Yuan et al. A constructing vehicle intrusion detection algorithm based on BOW presentation model
Ayman Mounir et al. Accident detection and road monitoring in real time using deep learning and lane detection algorithms
CN117274936A (zh) 城轨列车轨道线检测方法及装置
CN117934967A (zh) 一种基于Nvidia Jetson的危化品车辆识别方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant