CN113534276A - 基于Faster R-CNN的铁路入侵行为检测方法 - Google Patents
基于Faster R-CNN的铁路入侵行为检测方法 Download PDFInfo
- Publication number
- CN113534276A CN113534276A CN202110782622.4A CN202110782622A CN113534276A CN 113534276 A CN113534276 A CN 113534276A CN 202110782622 A CN202110782622 A CN 202110782622A CN 113534276 A CN113534276 A CN 113534276A
- Authority
- CN
- China
- Prior art keywords
- railway
- intrusion behavior
- layer
- regression
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 230000002159 abnormal effect Effects 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 230000006399 behavior Effects 0.000 claims description 95
- 230000003287 optical effect Effects 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 15
- 239000013307 optical fiber Substances 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 9
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 230000009545 invasion Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009194 climbing Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/02—Mechanical actuation
- G08B13/12—Mechanical actuation by the breaking or disturbance of stretched cords or wires
- G08B13/122—Mechanical actuation by the breaking or disturbance of stretched cords or wires for a perimeter fence
- G08B13/124—Mechanical actuation by the breaking or disturbance of stretched cords or wires for a perimeter fence with the breaking or disturbance being optically detected, e.g. optical fibers in the perimeter fence
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Image Analysis (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明提出了一种基于Faster R‑CNN的铁路异常入侵行为检测方法,用于解决现有技术中存在的检测准确率较低的技术问题,实现步骤为:构建DAS数据处理系统;获取训练样本集和测试样本集;构建铁路入侵行为检测网络模型Faster R‑CNN;对铁路入侵行为检测网络模型Faster R‑CNN进行迭代训练;获取铁路异常入侵行为检测结果。本发明所构建的网络模型Faster R‑CNN使用归一化时空信号图像作为训练样本集,充分结合信号的时空特征,区分背景噪声信号的干扰,减少误报,同时候选区域生成网络精确预测特征图的区域候选框位置,一定程度上提高了检测准确率,可用于保护铁路列车的安全运行。
Description
技术领域
本发明属于智能交通技术领域,涉及一种铁路异常入侵行为检测方法,具体涉及一种基于Faster R-CNN的铁路异常入侵行为检测方法。可用于铁路周界的安全监测,保护铁路列车的安全运行。
背景技术
随着铁路和智能交通系统的发展给人们带来交通上的快捷与方便,铁路沿线安防工作越来越重要。非法破坏或穿越铁路围栏、盗窃铁路围栏电缆等危险或恶意入侵行为,会给列车运行安全造成严重事故隐患,给人们带来经济损失,还可能造成部分区域的交通拥堵,更加严重的是可能导致相关人员的伤亡。铁路异常入侵行为是一种对铁路线路以及列车运行安全造成威胁的行为,具体是指铁路线路以外的具有一定体积和质量的固体物体由于一些外力作用而闯进铁路周界的行为。如何监测铁路周界的安全并对铁路异常入侵行为进行检测是需要关注并解决的重要且紧迫的问题。
大多数的铁路异常入侵行为检测方法都将提高检测准确率作为第一准则,因此提高异常入侵行为方法的检测准确率是研究的关键。目前的铁路异常入侵行为检测方法包括红外激光对射监测法、视频摄像头监测法、振动电缆监测法、微波对射监测法、电子围栏监测法以及光纤分布式声传感监测法等,相对于其他检测方法,光纤分布式声传感监测法具有抗电磁干扰、抗辐射、耐压、耐腐蚀、材质轻等优点,并且检测信号准确率较高,更适合于铁路异常入侵行为检测任务,保护铁路列车的安全运行。
随着大数据和机器学习的广泛应用,一些研究人员使用深度学习技术和分布式光纤声学传感相结合的方法对铁路入侵行为进行检测,以提高异常入侵行为的检测准确率。例如,Li,Zhongqi和Jiangwei Zhang在其2020年发表的论文“Fiber distributedacoustic sensing using convolutional long short-term memory network:a fieldtest on high-speed railway intrusion detection”(Optics express 28 3(2020):2925-2938)中,公开了一种基于卷积长短期记忆人工神经网络(ConvLSTM)和光纤分布式声传感的铁路入侵行为检测方法。该方法首先对收集的振动光学信号进行周期性扫描,构建检测模型所需要的帧图像,随后将这些帧图像输入基于ConvLSTM的检测模型中,最后对每个帧图像进行检测,得到最终铁路入侵行为检测结果。该方法提高了检测的准确率,但其因为在ConvLSTM的检测模型中卷积神经网络提取帧图像的特征信息不足,而且只能提取信号的空间特征,无法分析信号的时间依赖关系,不能区分背景噪声信号造成的干扰,造成了误报。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于Faster R-CNN的铁路异常入侵行为检测方法,用于解决现有技术中存在的检测准确率较低的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)构建DAS数据处理系统:
构建包括级联的光纤分布式声传感DAS子模块和数据处理子模块的DAS数据处理系统,其中光纤分布式声传感DAS子模块包括顺次级联的DAS振动检测光缆、光学信号解调主机和监测终端分析主机,DAS振动检测光缆沿铁路围栏铺设,共包含等间距分布的N个采样点;监测终端分析主机的输出端与数据处理子模块相连,其中,N≥2;
(2)获取训练样本集V和测试样本集F:
(2a)光纤分布式声传感DAS子模块获取预处理的振动光学信号:
(2a1)DAS振动检测光缆的N个采样点采集T个时刻铁路围栏受K种外界入侵行为类别的扰动产生的振动光学信号C={Cn,t|0<n<N,0<t<T},并将C传输到光学信号解调主机,其中,T≥6000000,K≥1,Cn,t表示第n个采样点采集的第t个时刻的振动光学信号;
(2a2)光学信号解调主机对每个振动光学信号Cn,t进行调制后再进行放大,并将经过放大后的振动光学信号C'={C'n,t|0<n<N,0<t<T}传输到监测终端分析主机,其中,C'n,t表示Cn,t对应的放大后的振动光学信号;
(2a3)监测终端分析主机对所接收的振动光学信号C'进行滤波,并将滤波后的振动光学信号S={Sn,t|0<n<N,0<t<T}绘制成维度为T×N的铁路异常入侵行为信号数据表格,然后将该表格发送至数据处理子模块,其中,Sn,t表示C'n,t滤波结果;
(2b)数据处理子模块将表格中每个滤波后的振动光学信号Sn,t沿T维度和N维度同时进行归一化,得到包含归一化后的振动光学信号S'={S'n,t|0<n<N,0<t<T}的铁路异常入侵行为信号数据表格,并按T维度将S'均匀划分为Q个组,然后以每组归一化后的振动光学信号的时刻t为纵坐标,采样点n为横坐标,不同颜色表示归一化后的振动光学信号值的大小,绘制该组振动光学信号的归一化时空信号图像,得到包含Q幅归一化时空信号图像的数据集,其中,Q≥2000;
(2c)对每幅归一化时空信号图像中的异常入侵行为信号区域进行标注,并随机选取Q幅包含异常入侵行为信号区域标注框的归一化时空信号图像中的M幅作为训练样本集V={V1,V2,...,Vm,...,VM},V对应的真实标签集为Z={Z'1,Z'2,...,Z'm,...,Z'M},将剩余的Q-M幅包含异常入侵行为信号区域标注框的归一化时空信号图像作为测试样本集F={F1,F2,...,Fw,...,FW},其中,Vm表示第m个带标注框的训练样本,Z'm表示Vm对应的真实标签,Fw表示第w个带标注框的测试样本,W=Q-M;
(3)构建铁路入侵行为检测网络模型Faster R-CNN:
(3a)构建包括级联的特征提取网络、候选区域生成网络RPN、ROI池化层和分类回归网络的铁路入侵行为检测网络模型Faster R-CNN,其中,特征提取网络采用包含13个卷积层、13个激活函数层和4个池化层的VGG16卷积神经网络;候选区域生成网络RPN包括级联的共享卷积层、激活函数层和候选区域推荐层,激活函数层与候选区域推荐层直接加载有并行排布的SoftMax分类支路B1和边界框回归卷积层B2;分类回归网络包括两个全连接层F1以及与F1并行连接的SoftMax分类全连接层F2和回归全连接层F3;
(3b)构建由分类损失函数Lcls和回归损失函数Lreg组成的候选区域生成网络RPN的损失函数LRPN:
其中,pi表示第i个预设框预测标签,表示第i个预设框对应的真实标签,ui={ux,uy,uw,uh}表示第i个预设框的预测边界框回归参数向量,表示第i个预设框对应的真实边界框回归参数向量,Ncls表示一个最小批取值中的所有样本数量,Nreg表示每个特征图的像素点个数,λ表示平衡权重参数;
(4)对铁路入侵行为检测网络模型Faster R-CNN进行迭代训练:
(4a)初始化迭代次数为k,最大迭代次数为K,第k次迭代的铁路入侵行为检测网络模型Faster R-CNN为Hk,并令k=1,Hk=H;
(4b)将训练样本集V作为铁路入侵行为检测网络模型Hk的输入,特征提取网络对每个训练样本Vm进行异常行为信号特征提取,得到M幅特征图;候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到M幅包含异常入侵行为区域候选框精确位置预测的特征图;
(4c)ROI池化层对候选区域生成网络RPN输出的每幅特征图进行池化操作,得到M幅相同尺寸特征图;
(4d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到训练样本集V对应的预测标签集Z={Z1,Z2,...,Zm,...,ZM},同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到训练样本集V对应的预测位置偏移向量集A={A1,A2,...,Am,...,AM},其中,Zm和Am分别表示Vm对应的预测标签和预测位置偏移向量;
(4e)采用分类损失函数Lcls计算每个预测标签Zm与其对应的真实标签Z'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的分类损失值并采用反向传播算法,根据对区域生成网络RPN中的SoftMax分类全连接层F2的参数进行更新;
(4f)采用回归损失函数Lreg计算每个预测位置偏移向量Am与其对应的真实位置向量A'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的回归损失值并采用反向传播算法,根据对区域生成网络RPN中的回归全连接层F3的参数进行更新,得到第k次迭代后的Hk;
(4g)判断k=K是否成立,若是,得到训练好的铁路入侵行为检测网络模型H*,否则,令k=k+1,并执行步骤(4b);
(5)获取铁路异常入侵行为检测结果:
(5a)将测试样本集F作为训练好的铁路入侵行为检测网络模型H*的输入,特征提取网络对每个测试样本进行异常行为信号特征提取,得到W幅图像的特征图;
(5b)候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到W幅包含异常入侵行为区域候选框精确位置预测的特征图;
(5c)ROI池化层对候选区域生成网络输出的每幅特征图进行池化操作,得到W幅相同尺寸特征图;
(5d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到测试样本集F对应的预测标签集同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到测试样本集F对应的预测位置偏移向量集其中,和分别表示Fw对应的预测标签和预测位置偏移向量。
本发明与现有技术相比,具有以下优点:
1.本发明在对铁路入侵行为检测网络模型Faster R-CNN进行训练,以及获取铁路异常入侵行为检测结果的过程中,候选区域生成网络RPN对特征图的区域候选框位置进行精确预测,分类回归网络再对每幅特征图进行卷积,避免了现有技术中卷积神经网络提取帧图像的特征信息不足的缺陷,有效提高了铁路异常入侵行为的检测准确率。
2.本发明通过构建的DAS数据处理系统所包含数据处理子模块,将铁路异常入侵行为信号数据表格沿T维度和N维度同时进行归一化,并以每组归一化后的振动光学信号的时刻t为纵坐标,采样点n为横坐标,不同颜色表示归一化后的振动光学信号值的大小,绘制该组振动光学信号的归一化时空信号图像,以获取包含Q幅归一化时空信号图像的数据集,这种将信号的时间信息和空间信息结合的方法,能够区分背景噪声信号干扰,进而减少了误报的概率,有效提高了铁路异常入侵行为的检测准确率。
附图说明
图1为本发明的实现流程图。
图2为本发明实施例五种铁路异常入侵行为信号的时空图像。
图3为本发明铁路入侵行为检测网络模型Faster R-CNN的结构示意图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述。
参照图1,本发明包括如下步骤:
步骤1)构建DAS数据处理系统:
构建包括级联的光纤分布式声传感DAS子模块和数据处理子模块的DAS数据处理系统,其中光纤分布式声传感DAS子模块包括顺次级联的DAS振动检测光缆、光学信号解调主机和监测终端分析主机,DAS振动检测光缆沿铁路围栏铺设,共包含等间距分布的N个采样点;监测终端分析主机的输出端与数据处理子模块相连,其中,N≥2,本实施例中,在铁路系统上部署光纤分布式声传感DAS子模块进行现场数据采集,实验现场的围栏是距铁路水平距离5米,振动检测光缆固定在围栏上,采用标准G652的单模光纤,最大传感范围可达40公里,信号采样频率为488Hz,N=70;
步骤2)获取训练样本集V和测试样本集F:
(2a)光纤分布式声传感DAS子模块获取预处理的振动光学信号:
(2a1)DAS振动检测光缆的N个采样点采集T个时刻铁路围栏受K种外界入侵行为类别的扰动产生的振动光学信号C={Cn,t|0<n<N,0<t<T},并将C传输到光学信号解调主机,其中,T≥6000000,K≥1,Cn,t表示第n个采样点采集的第t个时刻的振动光学信号,本实施例中,T=18000000,K=5,采集的五种铁路异常入侵行为分别是火车背景噪声干扰、摇晃围栏刺笼、攀爬围栏、凿墙和挖掘;
(2a2)光学信号解调主机对每个振动光学信号Cn,t进行调制后再进行放大,并将经过放大后的振动光学信号C'={C'n,t|0<n<N,0<t<T}传输到监测终端分析主机,其中,C'n,t表示Cn,t对应的放大后的振动光学信号;
(2a3)监测终端分析主机对所接收的振动光学信号C'进行滤波,并将滤波后的振动光学信号S={Sn,t|0<n<N,0<t<T}绘制成维度为T×N的铁路异常入侵行为信号数据表格,然后将该表格发送至数据处理子模块,其中,Sn,t表示C'n,t滤波结果;
(2b)数据处理子模块将表格中每个滤波后的振动光学信号Sn,t沿T维度和N维度同时进行归一化,得到包含归一化后的振动光学信号S'={S'n,t|0<n<N,0<t<T}的铁路异常入侵行为信号数据表格,并按T维度将S'均匀划分为Q个组,然后以每组归一化后的振动光学信号的时刻t为纵坐标,采样点n为横坐标,不同颜色表示归一化后的振动光学信号值的大小,绘制该组振动光学信号的归一化时空信号图像,得到包含Q幅归一化时空信号图像的数据集,其中,Q≥2000。
本实施例中,以6000个时刻为一组对信号S'进行分组,得到包含3000幅归一化时空信号图像的数据集,Q=3000。五种铁路异常入侵行为信号的时空图像如图2所示,图2(a)表示火车背景噪声干扰入侵行为信号的时空图像,图2(b)表示摇晃围栏刺笼入侵行为信号的时空图像,图2(c)表示挖掘入侵行为信号的时空图像,图2(d)表示攀爬围栏入侵行为信号的时空图像,图2(e)表示凿墙入侵行为信号的时空图像。图像充分结合了信号的时间信息和空间信息,纵坐标表示每组归一化后的振动光学信号S'的时刻,能够分析信号的时间依赖关系;横坐标表示每组归一化后的振动光学信号S'的采样点,有利于提取信号的空间特征;图像中的每个点表示归一化后的振动光学信号值的大小。五种异常入侵行为的时空图像有明显的不同,可以区分背景噪声信号干扰;
由于不同评价指标往往具有不同的量纲和量纲单位,从而影响最后的检测结果,为了消除指标之间的量纲影响,需要进行归一化处理,解决数据指标之间的可比性。本实例中,使用线性归一化处理,并且将表格中每个滤波后的振动光学信号Sn,t沿T维度和N维度同时进行线性归一化,可以进一步提升模型的收敛速度;
(2c)对每幅归一化时空信号图像中的异常入侵行为信号区域进行标注,并随机选取Q幅包含异常入侵行为信号区域标注框的归一化时空信号图像中的M幅作为训练样本集V={V1,V2,...,Vm,...,VM},V对应的真实标签集为Z={Z'1,Z'2,...,Z'm,...,Z'M},将剩余的Q-M幅包含异常入侵行为信号区域标注框的归一化时空信号图像作为测试样本集F={F1,F2,...,Fw,...,FW},其中,Vm表示第m个带标注框的训练样本,Z'm表示Vm对应的真实标签,Fw表示第w个带标注框的测试样本,W=Q-M,本实施例中,M=2000;
步骤3)构建铁路入侵行为检测网络模型Faster R-CNN,其结构图如图3所示:
(3a)构建包括级联的特征提取网络、候选区域生成网络RPN、ROI池化层和分类回归网络的铁路入侵行为检测网络模型Faster R-CNN,其中,特征提取网络采用包含13个卷积层、13个激活函数层和4个池化层的VGG16卷积神经网络;候选区域生成网络RPN包括级联的共享卷积层、激活函数层和候选区域推荐层,激活函数层与候选区域推荐层直接加载有并行排布的SoftMax分类支路B1和边界框回归卷积层B2;分类回归网络包括两个全连接层F1以及与F1并行连接的SoftMax分类全连接层F2和回归全连接层F3;
在本实施例中,候选区域生成网络RPN采用在特征图上为每个像素特征点绘制九个预设框的方式,对特征图的区域候选框位置进行精确预测,分类回归网络再对每幅包含区域候选框精确位置的特征图进行卷积,有效提取了图像的特征信息,保证了检测准确率。
(3b)构建由分类损失函数Lcls和回归损失函数Lreg组成的候选区域生成网络RPN的损失函数LRPN:
其中,pi表示第i个预设框预测标签,表示第i个预设框对应的真实标签,ui={ux,uy,uw,uh}表示第i个预设框的预测边界框回归参数向量,表示第i个预设框对应的真实边界框回归参数向量,Ncls表示一个最小批取值中的所有样本数量,Nreg表示每个特征图的像素点个数,λ表示平衡权重参数,本实施例中,Ncls=256,Nreg=2400,λ=10;
(4)对铁路入侵行为检测网络模型Faster R-CNN进行迭代训练:
(4a)初始化迭代次数为k,最大迭代次数为K,第k次迭代的铁路入侵行为检测网络模型Faster R-CNN为Hk,并令k=1,Hk=H,本实施例中K=70000;
(4b)将训练样本集V作为铁路入侵行为检测网络模型Hk的输入,特征提取网络对每个训练样本Vm进行异常行为信号特征提取,得到M幅特征图,本实施例中,M=2000;
(4c)候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,步骤如下:
(4c1)共享卷积层提取每幅特征图的多个像素特征点,并在特征图上为每个像素特征点绘制尺寸为1282、2562、5122,长宽比2:1,1:1,1:2的九个预设框,输出M幅且每幅包含多个预设框的特征图;
(4c2)激活函数层对共享卷积层输出的每幅特征图中的像素特征点进行非线性映射,得到M幅经过非线性映射后的特征图,其中,对每个像素特征点进行非线性映射的公式为:
RELU(c)=max(0,c)
其中,c是共享卷积层输出的每幅特征图中的像素特征点;
(4c3)SoftMax分类支路B1对激活函数层输出的每幅特征图进行卷积后再对卷积结果进行分类,输出每幅特征图中第i个预设框的预测标签pi,同时边界框回归卷积层B2对于激活函数层输出的每幅特征图的卷积结果进行回归,输出每幅特征图中第i个预设框的边界框回归参数向量ui={ux,uy,uw,uh},其中,ux、uy、uw、uh分别表示第i个预设框的中心横坐标、中心纵坐标、宽度、高度;
(4c4)候选区域推荐层选择出真实标签集Z中与SoftMax分类支路B1输出的每幅特征图中第i个预设框的预测标签pi相同的预设框,并将该预设框作为异常入侵行为的区域候选框,然后通过边界框回归卷积层B2输出的每幅特征图中第i个预设框的预测边界框回归参数向量ui对区域候选框的精确位置进行回归,得到包含异常入侵行为区域候选框精确位置预测的特征图。
(4d)ROI池化层对候选区域生成网络RPN输出的每幅特征图进行池化操作,得到M幅相同尺寸特征图,本实施例中,ROI池化层采用的是最大池化处理方法,输出的特征图尺寸均为7×7;
(4e)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到训练样本集V对应的预测标签集Z={Z1,Z2,...,Zm,...,ZM},同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到训练样本集V对应的预测位置偏移向量集A={A1,A2,...,Am,...,AM},其中,Zm和Am分别表示Vm对应的预测标签和预测位置偏移向量;
(4f)采用分类损失函数Lcls计算每个预测标签Zm与其对应的真实标签Z'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的分类损失值并采用反向传播算法,根据对区域生成网络RPN中的SoftMax分类全连接层F2的参数进行更新,更新公式为:
(4g)采用回归损失函数Lreg计算每个预测位置偏移向量Am与其对应的真实位置向量A'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的回归损失值并采用反向传播算法,根据对区域生成网络RPN中的回归全连接层F3的参数进行更新,得到第k次迭代后的Hk,更新公式为:
(4h)判断k=K是否成立,若是,得到训练好的铁路入侵行为检测网络模型H*,否则,令k=k+1,并执行步骤(4b);
步骤5)获取铁路异常入侵行为检测结果:
(5a)将测试样本集F作为训练好的铁路入侵行为检测网络模型H*的输入,特征提取网络对每个测试样本进行异常行为信号特征提取,得到W幅图像的特征图;
(5b)候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到W幅包含异常入侵行为区域候选框精确位置预测的特征图;
(5c)ROI池化层对候选区域生成网络输出的每幅特征图进行池化操作,得到W幅相同尺寸特征图;
(5d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到测试样本集F对应的预测标签集同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到测试样本集F对应的预测位置偏移向量集其中,和分别表示Fw对应的预测标签和预测位置偏移向量。
下面结合仿真实验对本发明的效果作进一步的说明:
1.仿真条件和内容:
仿真实验采用的硬件测试平台是:GPU为NVIDIA GeForce GTX 1060,主频为3.00GHz,内存为16GB;软件平台为:Ubuntu18.04操作系统和python3.5.0。
仿真实验中所使用的铁路异常入侵行为图像数据集均为真实数据集,在铁路系统上进行现场采集,通过监测铺设在铁路围栏上的振动探测光缆,可以探测到围栏附近的信号变化,以此来检测对铁路运行造成威胁的行为。一共分为五种异常入侵行为信号图像数据,包括过火车背景噪声干扰、摇晃围栏刺笼、攀爬围栏、挖掘和凿墙。数据集图像的大小为875×656,图像格式为jpg。随机选取包含3000幅异常入侵行为信号区域标注框的归一化时空信号图像数据集中的2000幅归一化时空信号图像作为训练集,其余1000幅作为测试集。
对本发明和现有的基于卷积长短期记忆人工神经网络(ConvLSTM)和光纤分布式声传感的铁路入侵行为检测方法的误报率FAR、检测精度TDR、F1分数进行对比仿真,其结果如表1所示。
2.仿真结果分析:
为了对检测结果进行量化,仿真实验采用了以下3个评价指标。
(1)误报率FAR(False Alarm Rate):表示在预测是正样本的所有结果中预测错误的比例,其值在0~100%之间,此值越小说明检测效果越好。
(2)检测精度TDR(Threat Detect Rate):表示在所有正样本中被真实预测是正样本的样本所占的比例,其值在0~100%之间,此值越大说明检测效果越好。
(3)F1分数:精确率和召回率的平衡综合性指标,该指标越高表示检测的精确率和召回率都比较高,其值在0~100%之间,此值越大说明检测效果越好。
表1
结合表1可以看出,本发明的检测结果无论在FAR、TDR、还是F1分数上均明显优于现有技术,同时,本发明可以区别火车背景噪声干扰行为,降低误报率,进一步解决检测准确率较低的技术问题。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (3)
1.一种基于FasterR-CNN的铁路异常入侵行为检测方法,其特征在于,包括如下步骤:
(1)构建DAS数据处理系统:
构建包括级联的光纤分布式声传感DAS子模块和数据处理子模块的DAS数据处理系统,其中光纤分布式声传感DAS子模块包括顺次级联的DAS振动检测光缆、光学信号解调主机和监测终端分析主机,DAS振动检测光缆沿铁路围栏铺设,共包含等间距分布的N个采样点;监测终端分析主机的输出端与数据处理子模块相连,其中,N≥2;
(2)获取训练样本集V和测试样本集F:
(2a)光纤分布式声传感DAS子模块获取预处理的振动光学信号:
(2a1)DAS振动检测光缆的N个采样点采集T个时刻铁路围栏受K种外界入侵行为类别的扰动产生的振动光学信号C={Cn,t|0<n<N,0<t<T},并将C传输到光学信号解调主机,其中,T≥6000000,K≥1,Cn,t表示第n个采样点采集的第t个时刻的振动光学信号;
(2a2)光学信号解调主机对每个振动光学信号Cn,t进行调制后再进行放大,并将经过放大后的振动光学信号C'={C'n,t|0<n<N,0<t<T}传输到监测终端分析主机,其中,C'n,t表示Cn,t对应的放大后的振动光学信号;
(2a3)监测终端分析主机对所接收的振动光学信号C'进行滤波,并将滤波后的振动光学信号S={Sn,t|0<n<N,0<t<T}绘制成维度为T×N的铁路异常入侵行为信号数据表格,然后将该表格发送至数据处理子模块,其中,Sn,t表示C'n,t滤波结果;
(2b)数据处理子模块将表格中每个滤波后的振动光学信号Sn,t沿T维度和N维度同时进行归一化,得到包含归一化后的振动光学信号S'={S'n,t|0<n<N,0<t<T}的铁路异常入侵行为信号数据表格,并按T维度将S'均匀划分为Q个组,然后以每组归一化后的振动光学信号的时刻t为纵坐标,采样点n为横坐标,不同颜色表示归一化后的振动光学信号值的大小,绘制该组振动光学信号的归一化时空信号图像,得到包含Q幅归一化时空信号图像的数据集,其中,Q≥2000;
(2c)对每幅归一化时空信号图像中的异常入侵行为信号区域进行标注,并随机选取Q幅包含异常入侵行为信号区域标注框的归一化时空信号图像中的M幅作为训练样本集V={V1,V2,...,Vm,...,VM},V对应的真实标签集为Z={Z1',Z'2,...,Z'm,...,Z'M},将剩余的Q-M幅包含异常入侵行为信号区域标注框的归一化时空信号图像作为测试样本集F={F1,F2,...,Fw,...,FW},其中,Vm表示第m个带标注框的训练样本,Z'm表示Vm对应的真实标签,Fw表示第w个带标注框的测试样本,W=Q-M;
(3)构建铁路入侵行为检测网络模型FasterR-CNN:
(3a)构建包括级联的特征提取网络、候选区域生成网络RPN、ROI池化层和分类回归网络的铁路入侵行为检测网络模型FasterR-CNN,其中,特征提取网络采用包含13个卷积层、13个激活函数层和4个池化层的VGG16卷积神经网络;候选区域生成网络RPN包括级联的共享卷积层、激活函数层和候选区域推荐层,激活函数层与候选区域推荐层直接加载有并行排布的SoftMax分类支路B1和边界框回归卷积层B2;分类回归网络包括两个全连接层F1以及与F1并行连接的SoftMax分类全连接层F2和回归全连接层F3;
(3b)构建由分类损失函数Lcls和回归损失函数Lreg组成的候选区域生成网络RPN的损失函数LRPN:
其中,pi表示第i个预设框预测标签,表示第i个预设框对应的真实标签,ui={ux,uy,uw,uh}表示第i个预设框的预测边界框回归参数向量,表示第i个预设框对应的真实边界框回归参数向量,Ncls表示一个最小批取值中的所有样本数量,Nreg表示每个特征图的像素点个数,λ表示平衡权重参数;
(4)对铁路入侵行为检测网络模型FasterR-CNN进行迭代训练:
(4a)初始化迭代次数为k,最大迭代次数为K,第k次迭代的铁路入侵行为检测网络模型FasterR-CNN为Hk,并令k=1,Hk=H;
(4b)将训练样本集V作为铁路入侵行为检测网络模型Hk的输入,特征提取网络对每个训练样本Vm进行异常行为信号特征提取,得到M幅特征图;候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到M幅包含异常入侵行为区域候选框精确位置预测的特征图;
(4c)ROI池化层对候选区域生成网络RPN输出的每幅特征图进行池化操作,得到M幅相同尺寸特征图;
(4d)分类回归网络中的两个全连接层F1对每幅特征图进行卷积操作,SoftMax分类全连接层F2对每幅特征图的卷积结果进行分类,得到训练样本集V对应的预测标签集Z={Z1,Z2,...,Zm,...,ZM},同时回归全连接层F3对每幅特征图的卷积结果进行回归,得到训练样本集V对应的预测位置偏移向量集A={A1,A2,...,Am,...,AM},其中,Zm和Am分别表示Vm对应的预测标签和预测位置偏移向量;
(4e)采用分类损失函数Lcls计算每个预测标签Zm与其对应的真实标签Z'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的分类损失值并采用反向传播算法,根据对区域生成网络RPN中的SoftMax分类全连接层F2的参数进行更新;
(4f)采用回归损失函数Lreg计算每个预测位置偏移向量Am与其对应的真实位置向量A'm之间的损失值,然后对M个损失值进行均值处理,得到第k次迭代后Hk的回归损失值并采用反向传播算法,根据对区域生成网络RPN中的回归全连接层F3的参数进行更新,得到第k次迭代后的Hk;
(4g)判断k=K是否成立,若是,得到训练好的铁路入侵行为检测网络模型H*,否则,令k=k+1,并执行步骤(4b);
(5)获取铁路异常入侵行为检测结果:
(5a)将测试样本集F作为训练好的铁路入侵行为检测网络模型H*的输入,特征提取网络对每个测试样本进行异常行为信号特征提取,得到W幅图像的特征图;
(5b)候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,得到W幅包含异常入侵行为区域候选框精确位置预测的特征图;
(5c)ROI池化层对候选区域生成网络输出的每幅特征图进行池化操作,得到W幅相同尺寸特征图;
2.根据权利要求1所述的基于Faster R-CNN的铁路异常入侵行为检测方法,其特征在于,步骤(4b)中所述的候选区域生成网络RPN对每幅特征图的异常入侵行为区域候选框的精确位置进行预测,实现步骤为:
(4b1)共享卷积层提取每幅特征图的多个像素特征点,并在特征图上为每个像素特征点绘制尺寸为1282、2562、5122,长宽比2:1,1:1,1:2的九个预设框,输出M幅且每幅包含多个预设框的特征图;
(4b2)激活函数层对共享卷积层输出的每幅特征图中的像素特征点进行非线性映射,得到M幅经过非线性映射后的特征图,其中,对每个像素特征点进行非线性映射的公式为:
RELU(c)=max(0,c)
其中,c是共享卷积层输出的每幅特征图中的像素特征点;
(4b3)SoftMax分类支路B1对激活函数层输出的每幅特征图进行卷积后再对卷积结果进行分类,输出每幅特征图中第i个预设框的预测标签pi,同时边界框回归卷积层B2对于激活函数层输出的每幅特征图的卷积结果进行回归,输出每幅特征图中第i个预设框的边界框回归参数向量ui={ux,uy,uw,uh},其中,ux、uy、uw、uh分别表示第i个预设框的中心横坐标、中心纵坐标、宽度、高度;
(4b4)候选区域推荐层选择出真实标签集Z中与SoftMax分类支路B1输出的每幅特征图中第i个预设框的预测标签pi相同的预设框,并将该预设框作为异常入侵行为的区域候选框,然后通过边界框回归卷积层B2输出的每幅特征图中第i个预设框的预测边界框回归参数向量ui对区域候选框的精确位置进行回归,得到包含异常入侵行为区域候选框精确位置预测的特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110782622.4A CN113534276B (zh) | 2021-07-12 | 2021-07-12 | 基于Faster R-CNN的铁路入侵行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110782622.4A CN113534276B (zh) | 2021-07-12 | 2021-07-12 | 基于Faster R-CNN的铁路入侵行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113534276A true CN113534276A (zh) | 2021-10-22 |
CN113534276B CN113534276B (zh) | 2022-06-07 |
Family
ID=78098449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110782622.4A Active CN113534276B (zh) | 2021-07-12 | 2021-07-12 | 基于Faster R-CNN的铁路入侵行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113534276B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947731A (zh) * | 2021-12-21 | 2022-01-18 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
CN114970729A (zh) * | 2022-05-31 | 2022-08-30 | 华中科技大学 | 一种面向智能电网的异常用电时间区间检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107331097A (zh) * | 2017-08-01 | 2017-11-07 | 中科融通物联科技无锡有限公司 | 基于目标位置信息融合的周界防入侵装置与方法 |
CN108664997A (zh) * | 2018-04-20 | 2018-10-16 | 西南交通大学 | 基于级联Faster R-CNN的高铁接触网等电位线不良状态检测方法 |
CN110321815A (zh) * | 2019-06-18 | 2019-10-11 | 中国计量大学 | 一种基于深度学习的道路裂缝识别方法 |
CN110399816A (zh) * | 2019-07-15 | 2019-11-01 | 广西大学 | 一种基于Faster R-CNN的高速列车车底异物检测方法 |
WO2019233410A1 (en) * | 2018-06-06 | 2019-12-12 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for displaying object box in a video |
CN112132042A (zh) * | 2020-09-24 | 2020-12-25 | 西安电子科技大学 | 基于对抗域适应的sar图像目标检测方法 |
US10919546B1 (en) * | 2020-04-22 | 2021-02-16 | Bnsf Railway Company | Systems and methods for detecting tanks in railway environments |
-
2021
- 2021-07-12 CN CN202110782622.4A patent/CN113534276B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107331097A (zh) * | 2017-08-01 | 2017-11-07 | 中科融通物联科技无锡有限公司 | 基于目标位置信息融合的周界防入侵装置与方法 |
CN108664997A (zh) * | 2018-04-20 | 2018-10-16 | 西南交通大学 | 基于级联Faster R-CNN的高铁接触网等电位线不良状态检测方法 |
WO2019233410A1 (en) * | 2018-06-06 | 2019-12-12 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for displaying object box in a video |
CN110321815A (zh) * | 2019-06-18 | 2019-10-11 | 中国计量大学 | 一种基于深度学习的道路裂缝识别方法 |
CN110399816A (zh) * | 2019-07-15 | 2019-11-01 | 广西大学 | 一种基于Faster R-CNN的高速列车车底异物检测方法 |
US10919546B1 (en) * | 2020-04-22 | 2021-02-16 | Bnsf Railway Company | Systems and methods for detecting tanks in railway environments |
CN112132042A (zh) * | 2020-09-24 | 2020-12-25 | 西安电子科技大学 | 基于对抗域适应的sar图像目标检测方法 |
Non-Patent Citations (2)
Title |
---|
QIFAN GUO ET AL.: "An Improved Faster R-CNN for High-Speed Railway Dropper Detection", 《IEEE ACCESS》 * |
徐岩等: "基于Faster R-CNN网络模型的铁路异物侵限检测算法研究", 《铁道学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947731A (zh) * | 2021-12-21 | 2022-01-18 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
CN113947731B (zh) * | 2021-12-21 | 2022-07-22 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
CN114970729A (zh) * | 2022-05-31 | 2022-08-30 | 华中科技大学 | 一种面向智能电网的异常用电时间区间检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113534276B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110570613A (zh) | 基于分布式光纤系统的围栏振动入侵定位和模式识别方法 | |
CN113534276B (zh) | 基于Faster R-CNN的铁路入侵行为检测方法 | |
CN105931402A (zh) | 基于图像识别的光纤周界入侵监测方法 | |
CN110992683A (zh) | 一种基于动态图像感知的交叉口盲区预警方法及系统 | |
Liu et al. | A sound monitoring system for prevention of underground pipeline damage caused by construction | |
CN112735473B (zh) | 基于声音识别无人机的方法及系统 | |
CN111222461A (zh) | 一种光纤振动探测系统入侵信号的识别方法 | |
CN111199220A (zh) | 电梯内人员检测与人数统计的轻量化深度神经网络方法 | |
JP6587268B1 (ja) | プラットホーム危険度判別プログラム及びシステム | |
CN114782897A (zh) | 基于机器视觉及深度学习的危险行为检测方法及系统 | |
CN111667655A (zh) | 基于红外图像的高速铁路安全区入侵警报装置及方法 | |
KR20220146670A (ko) | 교통 비정상 탐지 방법, 장치, 기기, 저장 매체 및 프로그램 | |
CN114742096A (zh) | 基于振动光纤探测和完整动作提取的入侵报警方法及系统 | |
CN114093106B (zh) | 基于EfficientNET分类网络的入侵信号报警方法及系统 | |
CN115762023A (zh) | 基于深度学习的定位型入侵行为识别方法 | |
CN113780094B (zh) | 基于混合高斯模型和隐马尔可夫模型的周界入侵识别方法 | |
CN117576632B (zh) | 基于多模态ai大模型的电网监控火灾预警系统及方法 | |
CN111951505B (zh) | 基于分布式光纤系统的围栏振动入侵定位和模式识别方法 | |
Muhamad et al. | Machine Learning Combined with Thresholding-A Blended Approach to Potholes Detection | |
CN112861762B (zh) | 基于生成对抗网络的铁路道口异常事件检测方法及系统 | |
CN110163081A (zh) | 基于ssd的实时区域入侵检测方法、系统及存储介质 | |
Yuan et al. | A novel method for pavement transverse crack detection based on 2D reconstruction of vehicle vibration signal | |
CN113837001A (zh) | 监控场景下的异常闯入物实时检测方法及装置 | |
CN113269111A (zh) | 一种基于视频监控的电梯异常行为检测方法及系统 | |
CN114821978B (zh) | 一种误报警的消除方法、装置以及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |