CN113534276A - 基于Faster R-CNN的铁路入侵行为检测方法 - Google Patents

基于Faster R-CNN的铁路入侵行为检测方法 Download PDF

Info

Publication number
CN113534276A
CN113534276A CN202110782622.4A CN202110782622A CN113534276A CN 113534276 A CN113534276 A CN 113534276A CN 202110782622 A CN202110782622 A CN 202110782622A CN 113534276 A CN113534276 A CN 113534276A
Authority
CN
China
Prior art keywords
railway
intrusion behavior
layer
regression
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110782622.4A
Other languages
English (en)
Other versions
CN113534276B (zh
Inventor
惠一龙
马鑫蕊
肖潇
李长乐
段江华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110782622.4A priority Critical patent/CN113534276B/zh
Publication of CN113534276A publication Critical patent/CN113534276A/zh
Application granted granted Critical
Publication of CN113534276B publication Critical patent/CN113534276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/02Mechanical actuation
    • G08B13/12Mechanical actuation by the breaking or disturbance of stretched cords or wires
    • G08B13/122Mechanical actuation by the breaking or disturbance of stretched cords or wires for a perimeter fence
    • G08B13/124Mechanical actuation by the breaking or disturbance of stretched cords or wires for a perimeter fence with the breaking or disturbance being optically detected, e.g. optical fibers in the perimeter fence

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于Faster R‑CNN的铁路异常入侵行为检测方法,用于解决现有技术中存在的检测准确率较低的技术问题,实现步骤为:构建DAS数据处理系统;获取训练样本集和测试样本集;构建铁路入侵行为检测网络模型Faster R‑CNN;对铁路入侵行为检测网络模型Faster R‑CNN进行迭代训练;获取铁路异常入侵行为检测结果。本发明所构建的网络模型Faster R‑CNN使用归一化时空信号图像作为训练样本集,充分结合信号的时空特征,区分背景噪声信号的干扰,减少误报,同时候选区域生成网络精确预测特征图的区域候选框位置,一定程度上提高了检测准确率,可用于保护铁路列车的安全运行。

Description

基于Faster R-CNN的铁路入侵行为检测方法
技术领域
本发明属于智能交通技术领域,涉及一种铁路异常入侵行为检测方法,具体涉及一种基于Faster R-CNN的铁路异常入侵行为检测方法。可用于铁路周界的安全监测,保护铁路列车的安全运行。
背景技术
随着铁路和智能交通系统的发展给人们带来交通上的快捷与方便,铁路沿线安防工作越来越重要。非法破坏或穿越铁路围栏、盗窃铁路围栏电缆等危险或恶意入侵行为,会给列车运行安全造成严重事故隐患,给人们带来经济损失,还可能造成部分区域的交通拥堵,更加严重的是可能导致相关人员的伤亡。铁路异常入侵行为是一种对铁路线路以及列车运行安全造成威胁的行为,具体是指铁路线路以外的具有一定体积和质量的固体物体由于一些外力作用而闯进铁路周界的行为。如何监测铁路周界的安全并对铁路异常入侵行为进行检测是需要关注并解决的重要且紧迫的问题。
大多数的铁路异常入侵行为检测方法都将提高检测准确率作为第一准则,因此提高异常入侵行为方法的检测准确率是研究的关键。目前的铁路异常入侵行为检测方法包括红外激光对射监测法、视频摄像头监测法、振动电缆监测法、微波对射监测法、电子围栏监测法以及光纤分布式声传感监测法等,相对于其他检测方法,光纤分布式声传感监测法具有抗电磁干扰、抗辐射、耐压、耐腐蚀、材质轻等优点,并且检测信号准确率较高,更适合于铁路异常入侵行为检测任务,保护铁路列车的安全运行。
随着大数据和机器学习的广泛应用,一些研究人员使用深度学习技术和分布式光纤声学传感相结合的方法对铁路入侵行为进行检测,以提高异常入侵行为的检测准确率。例如,Li,Zhongqi和Jiangwei Zhang在其2020年发表的论文“Fiber distributedacoustic sensing using convolutional long short-term memory network:a fieldtest on high-speed railway intrusion detection”(Optics express 28 3(2020):2925-2938)中,公开了一种基于卷积长短期记忆人工神经网络(ConvLSTM)和光纤分布式声传感的铁路入侵行为检测方法。该方法首先对收集的振动光学信号进行周期性扫描,构建检测模型所需要的帧图像,随后将这些帧图像输入基于ConvLSTM的检测模型中,最后对每个帧图像进行检测,得到最终铁路入侵行为检测结果。该方法提高了检测的准确率,但其因为在ConvLSTM的检测模型中卷积神经网络提取帧图像的特征信息不足,而且只能提取信号的空间特征,无法分析信号的时间依赖关系,不能区分背景噪声信号造成的干扰,造成了误报。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于Faster R-CNN的铁路异常入侵行为检测方法,用于解决现有技术中存在的检测准确率较低的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)构建DAS数据处理系统:
构建包括级联的光纤分布式声传感DAS子模块和数据处理子模块的DAS数据处理系统,其中光纤分布式声传感DAS子模块包括顺次级联的DAS振动检测光缆、光学信号解调主机和监测终端分析主机,DAS振动检测光缆沿铁路围栏铺设,共包含等间距分布的N个采样点;监测终端分析主机的输出端与数据处理子模块相连,其中,N≥2;
(2)获取训练样本集V和测试样本集F:
(2a)光纤分布式声传感DAS子模块获取预处理的振动光学信号:
(2a1)DAS振动检测光缆的N个采样点采集T个时刻铁路围栏受K种外界入侵行为类别的扰动产生的振动光学信号C={Cn,t|0<n<N,0<t<T},并将C传输到光学信号解调主机,其中,T≥6000000,K≥1,Cn,t表示第n个采样点采集的第t个时刻的振动光学信号;
(2a2)光学信号解调主机对每个振动光学信号Cn,t进行调制后再进行放大,并将经过放大后的振动光学信号C'={C'n,t|0<n<N,0<t<T}传输到监测终端分析主机,其中,C'n,t表示Cn,t对应的放大后的振动光学信号;
(2a3)监测终端分析主机对所接收的振动光学信号C'进行滤波,并将滤波后的振动光学信号S={Sn,t|0<n<N,0<t<T}绘制成维度为T×N的铁路异常入侵行为信号数据表格,然后将该表格发送至数据处理子模块,其中,Sn,t表示C'n,t滤波结果;
(2b)数据处理子模块将表格中每个滤波后的振动光学信号Sn,t沿T维度和N维度同时进行归一化,得到包含归一化后的振动光学信号S'={S'n,t|0<n<N,0<t<T}的铁路异常入侵行为信号数据表格,并按T维度将S'均匀划分为Q个组,然后以每组归一化后的振动光学信号的时刻t为纵坐标,采样点n为横坐标,不同颜色表示归一化后的振动光学信号值的大小,绘制该组振动光学信号的归一化时空信号图像,得到包含Q幅归一化时空信号图像的数据集,其中,Q≥2000;
(2c)对每幅归一化时空信号图像中的异常入侵行为信号区域进行标注,并随机选取Q幅包含异常入侵行为信号区域标注框的归一化时空信号图像中的M幅作为训练样本集V={V1,V2,...,Vm,...,VM},V对应的真实标签集为Z={Z'1,Z'2,...,Z'm,...,Z'M},将剩余的Q-M幅包含异常入侵行为信号区域标注框的归一化时空信号图像作为测试样本集F={F1,F2,...,Fw,...,FW},其中,
Figure BDA0003157687620000031
Vm表示第m个带标注框的训练样本,Z'm表示Vm对应的真实标签,Fw表示第w个带标注框的测试样本,W=Q-M;
(3)构建铁路入侵行为检测网络模型Faster R-CNN:
(3a)构建包括级联的特征提取网络、候选区域生成网络RPN、ROI池化层和分类回归网络的铁路入侵行为检测网络模型Faster R-CNN,其中,特征提取网络采用包含13个卷积层、13个激活函数层和4个池化层的VGG16卷积神经网络;候选区域生成网络RPN包括级联的共享卷积层、激活函数层和候选区域推荐层,激活函数层与候选区域推荐层直接加载有并行排布的SoftMax分类支路B1和边界框回归卷积层B2;分类回归网络包括两个全连接层F1以及与F1并行连接的SoftMax分类全连接层F2和回归全连接层F3
(3b)构建由分类损失函数Lcls和回归损失函数Lreg组成的候选区域生成网络RPN的损失函数LRPN
Figure BDA0003157687620000041
Figure BDA0003157687620000042
Figure BDA0003157687620000043
Figure BDA0003157687620000044
其中,pi表示第i个预设框预测标签,
Figure BDA0003157687620000045
表示第i个预设框对应的真实标签,ui={ux,uy,uw,uh}表示第i个预设框的预测边界框回归参数向量,
Figure BDA0003157687620000046
表示第i个预设框对应的真实边界框回归参数向量,Ncls表示一个最小批取值中的所有样本数量,Nreg表示每个特征图的像素点个数,λ表示平衡权重参数;
(4)对铁路入侵行为检测网络模型Faster R-CNN进行迭代训练:
(4a)初始化迭代次数为k,最大迭代次数为K,第k次迭代的铁路入侵行为检测网络模型Faster R-CNN为Hk,并令k=1,Hk=H;
(4b)将训练样本集V作为铁路入侵行为检测网络模型Hk的输入,特征提取网络对每个训练样本Vm进行异常行为信号特征提取,得到M幅特征图;候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到M幅包含异常入侵行为区域候选框精确位置预测的特征图;
(4c)ROI池化层对候选区域生成网络RPN输出的每幅特征图进行池化操作,得到M幅相同尺寸特征图;
(4d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到训练样本集V对应的预测标签集Z={Z1,Z2,...,Zm,...,ZM},同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到训练样本集V对应的预测位置偏移向量集A={A1,A2,...,Am,...,AM},其中,Zm和Am分别表示Vm对应的预测标签和预测位置偏移向量;
(4e)采用分类损失函数Lcls计算每个预测标签Zm与其对应的真实标签Z'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的分类损失值
Figure BDA0003157687620000051
并采用反向传播算法,根据
Figure BDA0003157687620000052
对区域生成网络RPN中的SoftMax分类全连接层F2的参数
Figure BDA0003157687620000053
进行更新;
(4f)采用回归损失函数Lreg计算每个预测位置偏移向量Am与其对应的真实位置向量A'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的回归损失值
Figure BDA0003157687620000054
并采用反向传播算法,根据
Figure BDA0003157687620000055
对区域生成网络RPN中的回归全连接层F3的参数
Figure BDA0003157687620000056
进行更新,得到第k次迭代后的Hk
(4g)判断k=K是否成立,若是,得到训练好的铁路入侵行为检测网络模型H*,否则,令k=k+1,并执行步骤(4b);
(5)获取铁路异常入侵行为检测结果:
(5a)将测试样本集F作为训练好的铁路入侵行为检测网络模型H*的输入,特征提取网络对每个测试样本进行异常行为信号特征提取,得到W幅图像的特征图;
(5b)候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到W幅包含异常入侵行为区域候选框精确位置预测的特征图;
(5c)ROI池化层对候选区域生成网络输出的每幅特征图进行池化操作,得到W幅相同尺寸特征图;
(5d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到测试样本集F对应的预测标签集
Figure BDA0003157687620000057
同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到测试样本集F对应的预测位置偏移向量集
Figure BDA0003157687620000058
其中,
Figure BDA0003157687620000059
Figure BDA00031576876200000510
分别表示Fw对应的预测标签和预测位置偏移向量。
本发明与现有技术相比,具有以下优点:
1.本发明在对铁路入侵行为检测网络模型Faster R-CNN进行训练,以及获取铁路异常入侵行为检测结果的过程中,候选区域生成网络RPN对特征图的区域候选框位置进行精确预测,分类回归网络再对每幅特征图进行卷积,避免了现有技术中卷积神经网络提取帧图像的特征信息不足的缺陷,有效提高了铁路异常入侵行为的检测准确率。
2.本发明通过构建的DAS数据处理系统所包含数据处理子模块,将铁路异常入侵行为信号数据表格沿T维度和N维度同时进行归一化,并以每组归一化后的振动光学信号的时刻t为纵坐标,采样点n为横坐标,不同颜色表示归一化后的振动光学信号值的大小,绘制该组振动光学信号的归一化时空信号图像,以获取包含Q幅归一化时空信号图像的数据集,这种将信号的时间信息和空间信息结合的方法,能够区分背景噪声信号干扰,进而减少了误报的概率,有效提高了铁路异常入侵行为的检测准确率。
附图说明
图1为本发明的实现流程图。
图2为本发明实施例五种铁路异常入侵行为信号的时空图像。
图3为本发明铁路入侵行为检测网络模型Faster R-CNN的结构示意图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述。
参照图1,本发明包括如下步骤:
步骤1)构建DAS数据处理系统:
构建包括级联的光纤分布式声传感DAS子模块和数据处理子模块的DAS数据处理系统,其中光纤分布式声传感DAS子模块包括顺次级联的DAS振动检测光缆、光学信号解调主机和监测终端分析主机,DAS振动检测光缆沿铁路围栏铺设,共包含等间距分布的N个采样点;监测终端分析主机的输出端与数据处理子模块相连,其中,N≥2,本实施例中,在铁路系统上部署光纤分布式声传感DAS子模块进行现场数据采集,实验现场的围栏是距铁路水平距离5米,振动检测光缆固定在围栏上,采用标准G652的单模光纤,最大传感范围可达40公里,信号采样频率为488Hz,N=70;
步骤2)获取训练样本集V和测试样本集F:
(2a)光纤分布式声传感DAS子模块获取预处理的振动光学信号:
(2a1)DAS振动检测光缆的N个采样点采集T个时刻铁路围栏受K种外界入侵行为类别的扰动产生的振动光学信号C={Cn,t|0<n<N,0<t<T},并将C传输到光学信号解调主机,其中,T≥6000000,K≥1,Cn,t表示第n个采样点采集的第t个时刻的振动光学信号,本实施例中,T=18000000,K=5,采集的五种铁路异常入侵行为分别是火车背景噪声干扰、摇晃围栏刺笼、攀爬围栏、凿墙和挖掘;
(2a2)光学信号解调主机对每个振动光学信号Cn,t进行调制后再进行放大,并将经过放大后的振动光学信号C'={C'n,t|0<n<N,0<t<T}传输到监测终端分析主机,其中,C'n,t表示Cn,t对应的放大后的振动光学信号;
(2a3)监测终端分析主机对所接收的振动光学信号C'进行滤波,并将滤波后的振动光学信号S={Sn,t|0<n<N,0<t<T}绘制成维度为T×N的铁路异常入侵行为信号数据表格,然后将该表格发送至数据处理子模块,其中,Sn,t表示C'n,t滤波结果;
(2b)数据处理子模块将表格中每个滤波后的振动光学信号Sn,t沿T维度和N维度同时进行归一化,得到包含归一化后的振动光学信号S'={S'n,t|0<n<N,0<t<T}的铁路异常入侵行为信号数据表格,并按T维度将S'均匀划分为Q个组,然后以每组归一化后的振动光学信号的时刻t为纵坐标,采样点n为横坐标,不同颜色表示归一化后的振动光学信号值的大小,绘制该组振动光学信号的归一化时空信号图像,得到包含Q幅归一化时空信号图像的数据集,其中,Q≥2000。
本实施例中,以6000个时刻为一组对信号S'进行分组,得到包含3000幅归一化时空信号图像的数据集,Q=3000。五种铁路异常入侵行为信号的时空图像如图2所示,图2(a)表示火车背景噪声干扰入侵行为信号的时空图像,图2(b)表示摇晃围栏刺笼入侵行为信号的时空图像,图2(c)表示挖掘入侵行为信号的时空图像,图2(d)表示攀爬围栏入侵行为信号的时空图像,图2(e)表示凿墙入侵行为信号的时空图像。图像充分结合了信号的时间信息和空间信息,纵坐标表示每组归一化后的振动光学信号S'的时刻,能够分析信号的时间依赖关系;横坐标表示每组归一化后的振动光学信号S'的采样点,有利于提取信号的空间特征;图像中的每个点表示归一化后的振动光学信号值的大小。五种异常入侵行为的时空图像有明显的不同,可以区分背景噪声信号干扰;
由于不同评价指标往往具有不同的量纲和量纲单位,从而影响最后的检测结果,为了消除指标之间的量纲影响,需要进行归一化处理,解决数据指标之间的可比性。本实例中,使用线性归一化处理,并且将表格中每个滤波后的振动光学信号Sn,t沿T维度和N维度同时进行线性归一化,可以进一步提升模型的收敛速度;
(2c)对每幅归一化时空信号图像中的异常入侵行为信号区域进行标注,并随机选取Q幅包含异常入侵行为信号区域标注框的归一化时空信号图像中的M幅作为训练样本集V={V1,V2,...,Vm,...,VM},V对应的真实标签集为Z={Z'1,Z'2,...,Z'm,...,Z'M},将剩余的Q-M幅包含异常入侵行为信号区域标注框的归一化时空信号图像作为测试样本集F={F1,F2,...,Fw,...,FW},其中,
Figure BDA0003157687620000081
Vm表示第m个带标注框的训练样本,Z'm表示Vm对应的真实标签,Fw表示第w个带标注框的测试样本,W=Q-M,本实施例中,M=2000;
步骤3)构建铁路入侵行为检测网络模型Faster R-CNN,其结构图如图3所示:
(3a)构建包括级联的特征提取网络、候选区域生成网络RPN、ROI池化层和分类回归网络的铁路入侵行为检测网络模型Faster R-CNN,其中,特征提取网络采用包含13个卷积层、13个激活函数层和4个池化层的VGG16卷积神经网络;候选区域生成网络RPN包括级联的共享卷积层、激活函数层和候选区域推荐层,激活函数层与候选区域推荐层直接加载有并行排布的SoftMax分类支路B1和边界框回归卷积层B2;分类回归网络包括两个全连接层F1以及与F1并行连接的SoftMax分类全连接层F2和回归全连接层F3
在本实施例中,候选区域生成网络RPN采用在特征图上为每个像素特征点绘制九个预设框的方式,对特征图的区域候选框位置进行精确预测,分类回归网络再对每幅包含区域候选框精确位置的特征图进行卷积,有效提取了图像的特征信息,保证了检测准确率。
(3b)构建由分类损失函数Lcls和回归损失函数Lreg组成的候选区域生成网络RPN的损失函数LRPN
Figure BDA0003157687620000091
Figure BDA0003157687620000096
Figure BDA0003157687620000092
Figure BDA0003157687620000093
其中,pi表示第i个预设框预测标签,
Figure BDA0003157687620000094
表示第i个预设框对应的真实标签,ui={ux,uy,uw,uh}表示第i个预设框的预测边界框回归参数向量,
Figure BDA0003157687620000095
表示第i个预设框对应的真实边界框回归参数向量,Ncls表示一个最小批取值中的所有样本数量,Nreg表示每个特征图的像素点个数,λ表示平衡权重参数,本实施例中,Ncls=256,Nreg=2400,λ=10;
在本实施例中,回归损失函数Lreg使用
Figure BDA0003157687620000097
函数,该函数不会因为预测值的梯度导致训练不稳定,使得损失函数在真实值附近的梯度更加平滑,从而使得预测值更容易稳定收敛,提升了模型的训练速度与性能。
(4)对铁路入侵行为检测网络模型Faster R-CNN进行迭代训练:
(4a)初始化迭代次数为k,最大迭代次数为K,第k次迭代的铁路入侵行为检测网络模型Faster R-CNN为Hk,并令k=1,Hk=H,本实施例中K=70000;
(4b)将训练样本集V作为铁路入侵行为检测网络模型Hk的输入,特征提取网络对每个训练样本Vm进行异常行为信号特征提取,得到M幅特征图,本实施例中,M=2000;
(4c)候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,步骤如下:
(4c1)共享卷积层提取每幅特征图的多个像素特征点,并在特征图上为每个像素特征点绘制尺寸为1282、2562、5122,长宽比2:1,1:1,1:2的九个预设框,输出M幅且每幅包含多个预设框的特征图;
(4c2)激活函数层对共享卷积层输出的每幅特征图中的像素特征点进行非线性映射,得到M幅经过非线性映射后的特征图,其中,对每个像素特征点进行非线性映射的公式为:
RELU(c)=max(0,c)
其中,c是共享卷积层输出的每幅特征图中的像素特征点;
(4c3)SoftMax分类支路B1对激活函数层输出的每幅特征图进行卷积后再对卷积结果进行分类,输出每幅特征图中第i个预设框的预测标签pi,同时边界框回归卷积层B2对于激活函数层输出的每幅特征图的卷积结果进行回归,输出每幅特征图中第i个预设框的边界框回归参数向量ui={ux,uy,uw,uh},其中,ux、uy、uw、uh分别表示第i个预设框的中心横坐标、中心纵坐标、宽度、高度;
(4c4)候选区域推荐层选择出真实标签集Z中与SoftMax分类支路B1输出的每幅特征图中第i个预设框的预测标签pi相同的预设框,并将该预设框作为异常入侵行为的区域候选框,然后通过边界框回归卷积层B2输出的每幅特征图中第i个预设框的预测边界框回归参数向量ui对区域候选框的精确位置进行回归,得到包含异常入侵行为区域候选框精确位置预测的特征图。
(4d)ROI池化层对候选区域生成网络RPN输出的每幅特征图进行池化操作,得到M幅相同尺寸特征图,本实施例中,ROI池化层采用的是最大池化处理方法,输出的特征图尺寸均为7×7;
(4e)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到训练样本集V对应的预测标签集Z={Z1,Z2,...,Zm,...,ZM},同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到训练样本集V对应的预测位置偏移向量集A={A1,A2,...,Am,...,AM},其中,Zm和Am分别表示Vm对应的预测标签和预测位置偏移向量;
(4f)采用分类损失函数Lcls计算每个预测标签Zm与其对应的真实标签Z'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的分类损失值
Figure BDA0003157687620000111
并采用反向传播算法,根据
Figure BDA0003157687620000112
对区域生成网络RPN中的SoftMax分类全连接层F2的参数
Figure BDA0003157687620000113
进行更新,更新公式为:
Figure BDA0003157687620000114
其中η表示学习步长,0<η≤0.1,
Figure BDA0003157687620000115
表示
Figure BDA0003157687620000116
更新后的结果,
Figure BDA0003157687620000117
表示求导操作,
Figure BDA0003157687620000118
表示偏导计算,在本实施例中,η=0.001。
(4g)采用回归损失函数Lreg计算每个预测位置偏移向量Am与其对应的真实位置向量A'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的回归损失值
Figure BDA0003157687620000119
并采用反向传播算法,根据
Figure BDA00031576876200001110
对区域生成网络RPN中的回归全连接层F3的参数
Figure BDA00031576876200001111
进行更新,得到第k次迭代后的Hk,更新公式为:
Figure BDA00031576876200001112
其中η表示学习步长,0<η≤0.1,
Figure BDA00031576876200001113
分别表示
Figure BDA00031576876200001114
更新后的结果,
Figure BDA00031576876200001115
表示求导操作,
Figure BDA00031576876200001116
表示偏导计算,在本实施例中,η=0.001。
(4h)判断k=K是否成立,若是,得到训练好的铁路入侵行为检测网络模型H*,否则,令k=k+1,并执行步骤(4b);
步骤5)获取铁路异常入侵行为检测结果:
(5a)将测试样本集F作为训练好的铁路入侵行为检测网络模型H*的输入,特征提取网络对每个测试样本进行异常行为信号特征提取,得到W幅图像的特征图;
(5b)候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到W幅包含异常入侵行为区域候选框精确位置预测的特征图;
(5c)ROI池化层对候选区域生成网络输出的每幅特征图进行池化操作,得到W幅相同尺寸特征图;
(5d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到测试样本集F对应的预测标签集
Figure BDA0003157687620000121
同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到测试样本集F对应的预测位置偏移向量集
Figure BDA0003157687620000122
其中,
Figure BDA0003157687620000123
Figure BDA0003157687620000124
分别表示Fw对应的预测标签和预测位置偏移向量。
下面结合仿真实验对本发明的效果作进一步的说明:
1.仿真条件和内容:
仿真实验采用的硬件测试平台是:GPU为NVIDIA GeForce GTX 1060,主频为3.00GHz,内存为16GB;软件平台为:Ubuntu18.04操作系统和python3.5.0。
仿真实验中所使用的铁路异常入侵行为图像数据集均为真实数据集,在铁路系统上进行现场采集,通过监测铺设在铁路围栏上的振动探测光缆,可以探测到围栏附近的信号变化,以此来检测对铁路运行造成威胁的行为。一共分为五种异常入侵行为信号图像数据,包括过火车背景噪声干扰、摇晃围栏刺笼、攀爬围栏、挖掘和凿墙。数据集图像的大小为875×656,图像格式为jpg。随机选取包含3000幅异常入侵行为信号区域标注框的归一化时空信号图像数据集中的2000幅归一化时空信号图像作为训练集,其余1000幅作为测试集。
对本发明和现有的基于卷积长短期记忆人工神经网络(ConvLSTM)和光纤分布式声传感的铁路入侵行为检测方法的误报率FAR、检测精度TDR、F1分数进行对比仿真,其结果如表1所示。
2.仿真结果分析:
为了对检测结果进行量化,仿真实验采用了以下3个评价指标。
(1)误报率FAR(False Alarm Rate):表示在预测是正样本的所有结果中预测错误的比例,其值在0~100%之间,此值越小说明检测效果越好。
(2)检测精度TDR(Threat Detect Rate):表示在所有正样本中被真实预测是正样本的样本所占的比例,其值在0~100%之间,此值越大说明检测效果越好。
(3)F1分数:精确率和召回率的平衡综合性指标,该指标越高表示检测的精确率和召回率都比较高,其值在0~100%之间,此值越大说明检测效果越好。
表1
Figure BDA0003157687620000131
结合表1可以看出,本发明的检测结果无论在FAR、TDR、还是F1分数上均明显优于现有技术,同时,本发明可以区别火车背景噪声干扰行为,降低误报率,进一步解决检测准确率较低的技术问题。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于FasterR-CNN的铁路异常入侵行为检测方法,其特征在于,包括如下步骤:
(1)构建DAS数据处理系统:
构建包括级联的光纤分布式声传感DAS子模块和数据处理子模块的DAS数据处理系统,其中光纤分布式声传感DAS子模块包括顺次级联的DAS振动检测光缆、光学信号解调主机和监测终端分析主机,DAS振动检测光缆沿铁路围栏铺设,共包含等间距分布的N个采样点;监测终端分析主机的输出端与数据处理子模块相连,其中,N≥2;
(2)获取训练样本集V和测试样本集F:
(2a)光纤分布式声传感DAS子模块获取预处理的振动光学信号:
(2a1)DAS振动检测光缆的N个采样点采集T个时刻铁路围栏受K种外界入侵行为类别的扰动产生的振动光学信号C={Cn,t|0<n<N,0<t<T},并将C传输到光学信号解调主机,其中,T≥6000000,K≥1,Cn,t表示第n个采样点采集的第t个时刻的振动光学信号;
(2a2)光学信号解调主机对每个振动光学信号Cn,t进行调制后再进行放大,并将经过放大后的振动光学信号C'={C'n,t|0<n<N,0<t<T}传输到监测终端分析主机,其中,C'n,t表示Cn,t对应的放大后的振动光学信号;
(2a3)监测终端分析主机对所接收的振动光学信号C'进行滤波,并将滤波后的振动光学信号S={Sn,t|0<n<N,0<t<T}绘制成维度为T×N的铁路异常入侵行为信号数据表格,然后将该表格发送至数据处理子模块,其中,Sn,t表示C'n,t滤波结果;
(2b)数据处理子模块将表格中每个滤波后的振动光学信号Sn,t沿T维度和N维度同时进行归一化,得到包含归一化后的振动光学信号S'={S'n,t|0<n<N,0<t<T}的铁路异常入侵行为信号数据表格,并按T维度将S'均匀划分为Q个组,然后以每组归一化后的振动光学信号的时刻t为纵坐标,采样点n为横坐标,不同颜色表示归一化后的振动光学信号值的大小,绘制该组振动光学信号的归一化时空信号图像,得到包含Q幅归一化时空信号图像的数据集,其中,Q≥2000;
(2c)对每幅归一化时空信号图像中的异常入侵行为信号区域进行标注,并随机选取Q幅包含异常入侵行为信号区域标注框的归一化时空信号图像中的M幅作为训练样本集V={V1,V2,...,Vm,...,VM},V对应的真实标签集为Z={Z1',Z'2,...,Z'm,...,Z'M},将剩余的Q-M幅包含异常入侵行为信号区域标注框的归一化时空信号图像作为测试样本集F={F1,F2,...,Fw,...,FW},其中,
Figure FDA0003157687610000021
Vm表示第m个带标注框的训练样本,Z'm表示Vm对应的真实标签,Fw表示第w个带标注框的测试样本,W=Q-M;
(3)构建铁路入侵行为检测网络模型FasterR-CNN:
(3a)构建包括级联的特征提取网络、候选区域生成网络RPN、ROI池化层和分类回归网络的铁路入侵行为检测网络模型FasterR-CNN,其中,特征提取网络采用包含13个卷积层、13个激活函数层和4个池化层的VGG16卷积神经网络;候选区域生成网络RPN包括级联的共享卷积层、激活函数层和候选区域推荐层,激活函数层与候选区域推荐层直接加载有并行排布的SoftMax分类支路B1和边界框回归卷积层B2;分类回归网络包括两个全连接层F1以及与F1并行连接的SoftMax分类全连接层F2和回归全连接层F3
(3b)构建由分类损失函数Lcls和回归损失函数Lreg组成的候选区域生成网络RPN的损失函数LRPN
Figure FDA0003157687610000022
Figure FDA0003157687610000023
Figure FDA0003157687610000031
Figure FDA0003157687610000032
其中,pi表示第i个预设框预测标签,
Figure FDA0003157687610000033
表示第i个预设框对应的真实标签,ui={ux,uy,uw,uh}表示第i个预设框的预测边界框回归参数向量,
Figure FDA0003157687610000034
表示第i个预设框对应的真实边界框回归参数向量,Ncls表示一个最小批取值中的所有样本数量,Nreg表示每个特征图的像素点个数,λ表示平衡权重参数;
(4)对铁路入侵行为检测网络模型FasterR-CNN进行迭代训练:
(4a)初始化迭代次数为k,最大迭代次数为K,第k次迭代的铁路入侵行为检测网络模型FasterR-CNN为Hk,并令k=1,Hk=H;
(4b)将训练样本集V作为铁路入侵行为检测网络模型Hk的输入,特征提取网络对每个训练样本Vm进行异常行为信号特征提取,得到M幅特征图;候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到M幅包含异常入侵行为区域候选框精确位置预测的特征图;
(4c)ROI池化层对候选区域生成网络RPN输出的每幅特征图进行池化操作,得到M幅相同尺寸特征图;
(4d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到训练样本集V对应的预测标签集Z={Z1,Z2,...,Zm,...,ZM},同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到训练样本集V对应的预测位置偏移向量集A={A1,A2,...,Am,...,AM},其中,Zm和Am分别表示Vm对应的预测标签和预测位置偏移向量;
(4e)采用分类损失函数Lcls计算每个预测标签Zm与其对应的真实标签Z'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的分类损失值
Figure FDA0003157687610000041
并采用反向传播算法,根据
Figure FDA0003157687610000042
对区域生成网络RPN中的SoftMax分类全连接层F2的参数
Figure FDA0003157687610000043
进行更新;
(4f)采用回归损失函数Lreg计算每个预测位置偏移向量Am与其对应的真实位置向量A'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的回归损失值
Figure FDA0003157687610000044
并采用反向传播算法,根据
Figure FDA0003157687610000045
对区域生成网络RPN中的回归全连接层F3的参数
Figure FDA0003157687610000046
进行更新,得到第k次迭代后的Hk
(4g)判断k=K是否成立,若是,得到训练好的铁路入侵行为检测网络模型H*,否则,令k=k+1,并执行步骤(4b);
(5)获取铁路异常入侵行为检测结果:
(5a)将测试样本集F作为训练好的铁路入侵行为检测网络模型H*的输入,特征提取网络对每个测试样本进行异常行为信号特征提取,得到W幅图像的特征图;
(5b)候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到W幅包含异常入侵行为区域候选框精确位置预测的特征图;
(5c)ROI池化层对候选区域生成网络输出的每幅特征图进行池化操作,得到W幅相同尺寸特征图;
(5d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到测试样本集F对应的预测标签集
Figure FDA0003157687610000047
同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到测试样本集F对应的预测位置偏移向量集
Figure FDA0003157687610000048
其中,
Figure FDA0003157687610000049
Figure FDA00031576876100000410
分别表示Fw对应的预测标签和预测位置偏移向量。
2.根据权利要求1所述的基于Faster R-CNN的铁路异常入侵行为检测方法,其特征在于,步骤(4b)中所述的候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,实现步骤为:
(4b1)共享卷积层提取每幅特征图的多个像素特征点,并在特征图上为每个像素特征点绘制尺寸为1282、2562、5122,长宽比2:1,1:1,1:2的九个预设框,输出M幅且每幅包含多个预设框的特征图;
(4b2)激活函数层对共享卷积层输出的每幅特征图中的像素特征点进行非线性映射,得到M幅经过非线性映射后的特征图,其中,对每个像素特征点进行非线性映射的公式为:
RELU(c)=max(0,c)
其中,c是共享卷积层输出的每幅特征图中的像素特征点;
(4b3)SoftMax分类支路B1对激活函数层输出的每幅特征图进行卷积后再对卷积结果进行分类,输出每幅特征图中第i个预设框的预测标签pi,同时边界框回归卷积层B2对于激活函数层输出的每幅特征图的卷积结果进行回归,输出每幅特征图中第i个预设框的边界框回归参数向量ui={ux,uy,uw,uh},其中,ux、uy、uw、uh分别表示第i个预设框的中心横坐标、中心纵坐标、宽度、高度;
(4b4)候选区域推荐层选择出真实标签集Z中与SoftMax分类支路B1输出的每幅特征图中第i个预设框的预测标签pi相同的预设框,并将该预设框作为异常入侵行为的区域候选框,然后通过边界框回归卷积层B2输出的每幅特征图中第i个预设框的预测边界框回归参数向量ui对区域候选框的精确位置进行回归,得到包含异常入侵行为区域候选框精确位置预测的特征图。
3.根据权利要求1所述的基于FasterR-CNN的铁路异常入侵行为检测方法,其特征在于,步骤(4e)中所述的根据
Figure FDA0003157687610000051
对区域生成网络RPN中的SoftMax分类全连接层F2的参数
Figure FDA0003157687610000052
进行更新,以及步骤(4f)中所述的根据
Figure FDA0003157687610000053
对区域生成网络RPN中的回归全连接层F3的参数
Figure FDA0003157687610000054
进行更新,更新公式分别为:
Figure FDA0003157687610000061
Figure FDA0003157687610000062
其中η表示学习步长,0<η≤0.1,
Figure FDA0003157687610000063
Figure FDA0003157687610000064
分别表示
Figure FDA0003157687610000065
更新后的结果,
Figure FDA0003157687610000066
表示求导操作。
CN202110782622.4A 2021-07-12 2021-07-12 基于Faster R-CNN的铁路入侵行为检测方法 Active CN113534276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110782622.4A CN113534276B (zh) 2021-07-12 2021-07-12 基于Faster R-CNN的铁路入侵行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110782622.4A CN113534276B (zh) 2021-07-12 2021-07-12 基于Faster R-CNN的铁路入侵行为检测方法

Publications (2)

Publication Number Publication Date
CN113534276A true CN113534276A (zh) 2021-10-22
CN113534276B CN113534276B (zh) 2022-06-07

Family

ID=78098449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110782622.4A Active CN113534276B (zh) 2021-07-12 2021-07-12 基于Faster R-CNN的铁路入侵行为检测方法

Country Status (1)

Country Link
CN (1) CN113534276B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947731A (zh) * 2021-12-21 2022-01-18 成都中轨轨道设备有限公司 一种基于接触网安全巡检的异物识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107331097A (zh) * 2017-08-01 2017-11-07 中科融通物联科技无锡有限公司 基于目标位置信息融合的周界防入侵装置与方法
CN108664997A (zh) * 2018-04-20 2018-10-16 西南交通大学 基于级联Faster R-CNN的高铁接触网等电位线不良状态检测方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110399816A (zh) * 2019-07-15 2019-11-01 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法
WO2019233410A1 (en) * 2018-06-06 2019-12-12 Zhejiang Dahua Technology Co., Ltd. Systems and methods for displaying object box in a video
CN112132042A (zh) * 2020-09-24 2020-12-25 西安电子科技大学 基于对抗域适应的sar图像目标检测方法
US10919546B1 (en) * 2020-04-22 2021-02-16 Bnsf Railway Company Systems and methods for detecting tanks in railway environments

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107331097A (zh) * 2017-08-01 2017-11-07 中科融通物联科技无锡有限公司 基于目标位置信息融合的周界防入侵装置与方法
CN108664997A (zh) * 2018-04-20 2018-10-16 西南交通大学 基于级联Faster R-CNN的高铁接触网等电位线不良状态检测方法
WO2019233410A1 (en) * 2018-06-06 2019-12-12 Zhejiang Dahua Technology Co., Ltd. Systems and methods for displaying object box in a video
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110399816A (zh) * 2019-07-15 2019-11-01 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法
US10919546B1 (en) * 2020-04-22 2021-02-16 Bnsf Railway Company Systems and methods for detecting tanks in railway environments
CN112132042A (zh) * 2020-09-24 2020-12-25 西安电子科技大学 基于对抗域适应的sar图像目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIFAN GUO ET AL.: "An Improved Faster R-CNN for High-Speed Railway Dropper Detection", 《IEEE ACCESS》 *
徐岩等: "基于Faster R-CNN网络模型的铁路异物侵限检测算法研究", 《铁道学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947731A (zh) * 2021-12-21 2022-01-18 成都中轨轨道设备有限公司 一种基于接触网安全巡检的异物识别方法及系统
CN113947731B (zh) * 2021-12-21 2022-07-22 成都中轨轨道设备有限公司 一种基于接触网安全巡检的异物识别方法及系统

Also Published As

Publication number Publication date
CN113534276B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110570613A (zh) 基于分布式光纤系统的围栏振动入侵定位和模式识别方法
CN110992683A (zh) 一种基于动态图像感知的交叉口盲区预警方法及系统
CN111462488A (zh) 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN112735473B (zh) 基于声音识别无人机的方法及系统
Liu et al. A sound monitoring system for prevention of underground pipeline damage caused by construction
CN111199220A (zh) 电梯内人员检测与人数统计的轻量化深度神经网络方法
JP6587268B1 (ja) プラットホーム危険度判別プログラム及びシステム
CN113534276B (zh) 基于Faster R-CNN的铁路入侵行为检测方法
CN111667655A (zh) 基于红外图像的高速铁路安全区入侵警报装置及方法
CN114782897A (zh) 基于机器视觉及深度学习的危险行为检测方法及系统
KR20220146670A (ko) 교통 비정상 탐지 방법, 장치, 기기, 저장 매체 및 프로그램
CN111222461A (zh) 一种光纤振动探测系统入侵信号的识别方法
CN115762023A (zh) 基于深度学习的定位型入侵行为识别方法
CN117576632B (zh) 基于多模态ai大模型的电网监控火灾预警系统及方法
CN113780094B (zh) 基于混合高斯模型和隐马尔可夫模型的周界入侵识别方法
CN112861762B (zh) 基于生成对抗网络的铁路道口异常事件检测方法及系统
CN113269111A (zh) 一种基于视频监控的电梯异常行为检测方法及系统
CN114821978B (zh) 一种误报警的消除方法、装置以及介质
US20230024104A1 (en) Identification of false transformer humming using machine learning
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
CN111951505B (zh) 基于分布式光纤系统的围栏振动入侵定位和模式识别方法
Yuan et al. A Novel Method for Pavement Transverse Crack Detection Based on 2D Reconstruction of Vehicle Vibration Signal
CN114758326A (zh) 一种交通岗位工作行为状态实时检测系统
CN115376067A (zh) 基于加速度计的地铁公共交通拥挤监测与风险评估系统
CN114742096A (zh) 基于振动光纤探测和完整动作提取的入侵报警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant