CN116310933A - 轨道交通侵界场景人员跨镜跟踪预警方法及系统 - Google Patents

轨道交通侵界场景人员跨镜跟踪预警方法及系统 Download PDF

Info

Publication number
CN116310933A
CN116310933A CN202211463889.8A CN202211463889A CN116310933A CN 116310933 A CN116310933 A CN 116310933A CN 202211463889 A CN202211463889 A CN 202211463889A CN 116310933 A CN116310933 A CN 116310933A
Authority
CN
China
Prior art keywords
personnel
intrusion
target
tracking
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211463889.8A
Other languages
English (en)
Inventor
谢征宇
郭婷
贾利民
秦勇
王增卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202211463889.8A priority Critical patent/CN116310933A/zh
Publication of CN116310933A publication Critical patent/CN116310933A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/92—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using spatial domain filters, e.g. joint transform correlators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本发明提供一种轨道交通侵界场景人员跨镜跟踪预警方法及系统，属于轨道交通安全运行技术领域，首先基于轨道交通周界图像获取关注区域入侵人员的目标图像，然后利用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，最后判断非法入侵人员的危害程度及行走方向预警。本发明与其他方法相比，提出轨道交通侵界场景人员跨镜跟踪识别算法，针对轨道交通侵界需求区分入侵人员类别，仅对非法入侵人员进行追踪，判断入侵人员的危害性并预测其行走方向提前预警。减少了系统的计算资源消耗，还提高跨镜追踪的准确率，更适用于轨道交通侵界检测的应用需求。

Description

轨道交通侵界场景人员跨镜跟踪预警方法及系统
技术领域
本发明涉及轨道交通安全运行技术领域，具体涉及一种基于视频的轨道交通侵界场景人员跨镜跟踪预警方法及系统。
背景技术
随着列车运行速度的提高和铁路网规模的扩大，行车安全的重要性进一步提升。铁路线路区段长，沿线治安情况复杂，如果仅依靠人防的手段，无法满足入侵检测的基本需求。如果发生轨道交通周界人员入侵事件，可能严重危害行车安全，并且影响整个路网的运行效率，提升铁路沿线安全环境问题隐患排查治理等能力，对于路网安全运行具有中药意义。目前主要通过人工排查的方式判别是否有可疑人员，这种方式耗时耗力，无法有效地追踪可疑人员，识别恐怖分子，并解决隐患。而传统算法在处理基于视频图像的周界入侵时，易被光线等因素影响，并且无法实现对可疑人员的跨镜追踪功能。跨镜目标追踪功能满足铁路周界的安全维护需求，对多次进入周界的可疑人员报警和跟踪。
轨道交通视频监控是检测轨道交通周界非法入侵的重要途径。跨区域目标追踪的相关问题最早是在1996年在ICPR会议上由Cai Q等提出，应用多元高斯模型查找由多台摄像机拍摄的帧之间最可能匹配的人类对象。在2006年，N.Gheissari等在CVPR上首次提出了行人重识别的概念，将时空分割算法用于前景检测，组合归一化的颜色和显着的边缘直方图来生成不变标签。在此之后，跨境目标的相关研究不断发展。跨镜追踪可分为传统的基于手工特征的跨镜目标追踪方法和基于深度学习的跨镜追踪算法。
基于手工特征的跨区域目标追踪方法定义特征描述方法后，才能提取图像的特征，再通过距离度量公式得到图像的相似度排序。图像的特征描述，通常使用的手工特征是颜色特征(RGB、LAB、HSV等)和纹理特征(LBP、SIFT等)，并以矩阵的方式表征图像。常用的距离度量方法有：欧式距离、马氏距离、余弦距离等。
基于深度学习的行人重识别方法可以自动提取较好的行人图像特征，同时得到较好的相似度度量。根据损失类型的不同可以分为基于表征学习的方法和基于度量学习的方法。而单帧图片的全局特征遇到性能瓶颈之后，研究者还引入局部特征和序列特征进一步发展行人重识别研究。
因此，如何将已有的先进技术应用在轨道交通侵界问题上，满足轨道交通周界的安全维护需求，实现对进入周界的可疑人员报警和跟踪的功能，仍是待解决的问题。
发明内容
本发明的目的在于提供一种轨道交通侵界场景人员跨镜跟踪预警方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种轨道交通侵界场景人员跨镜跟踪预警方法，包括：
获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
优选的，使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线，包括：
若为非法入侵行人，使用轨道交通侵界场景人员跨镜跟踪识别算法提取入侵行人数据集图像的特征值；
以待检索的非法入侵行人图像特征为基准，数据集中其他图像为候选集计算与基准的余弦距离，特征距离小于设定阈值时，则存在相似目标，并做特征距离的排序，选出前十的图像为输出结果；
以图像间的余弦特征距离大小判别两张行人图像是否为同一个目标，判断非法入侵行人目标是否出现在不同的监控区域，或者是否在过去的时间里入侵过铁路周界。
优选的，根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警，包括：
基于跟踪结果以及对应图像的监控地理位置标签和入侵时间标签，对非法入侵人员进行跟踪报警，当无相似匹配目标时，目标首次入侵报警；
有相似目标，且入侵间隔小于设定的时间阈值时，使用轨道交通侵界场景人员预警方法预测非法入侵人员行程轨迹，结合监控网络拓扑结构，预测目标的下一个入侵区域，提前预警；
否则，非法入侵人员多时段入侵周界，则发出目标多次入侵报警，并输出入侵目标状态和时间空间信息。
优选的，每个入侵目标标注检测信息框，截取以信息框为边界的每个入侵目标图像，进行缩放，检测目标图像扩充点位特征值后扩大尺寸：
f(x，y)＝W×F，
其中W＝w(i)×w(j)，i和j分别表示该点相对特征点的水平和垂直距离，
Figure BDA0003956623550000041
F表示点位周边4×4范围的特征值矩阵，
扩大后的图像经过四次卷积核大小为5*5，步长为1的卷积操作，最终输出入侵目标图像。
优选的，入侵目标图像经过6*6的卷积核后BN归一化，通过ReLU激活函数激活，再进行大小为3*3步长为2最大池化，完成图像特征的初始化；由1*1、3*1、1*3和1*1的卷积核构成卷积块，网络经过4个卷积单元，每个卷积单位分别有2、3、5、2个卷积块；其中，上一个卷积块的输入和输出经过残差连接共同作为下一个卷积块的输入；第一个卷积单元的输出加入SE通道注意力机制运算，再输入到第二个卷积单元运算；每个卷积单元的区别在于通道数，第一个卷积单元有64个通道，第二个卷积单元有128个通道，第三个卷积单元有256个通道，第四个卷积单元有1024个通道。
优选的，轨迹预测以LSTM作为骨干网络，隐层状态输出：
Figure BDA0003956623550000051
其中σ表示sigmoid函数，zt表示坐标的时序向量，ft表示遗忘门，Ct-1表示上层状态，it表示更新门，W表示权重参数，b表示偏置参数；
st＝relu(Ws·Hs+bs)
其中Hs表示预测点位u*v范围内其他入侵人员的人数总和；
h’t-1＝ht-1+WpHp
其中Hp表示过去p个LSTM单元的隐层状态。
第二方面，本发明提供一种轨道交通侵界场景人员跨镜跟踪预警系统，包括：
获取模块，用于获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
提取模块，用于采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
标注模块，用于根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
检测模块，用于利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
跟踪模块，用于使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
预警模块，用于根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的轨道交通侵界场景人员跨镜跟踪预警方法。
第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的轨道交通侵界场景人员跨镜跟踪预警方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的轨道交通侵界场景人员跨镜跟踪预警方法的指令。
本发明有益效果：针对轨道交通周界人员入侵问题，结合轨道交通侵界的实际应用场景，构建基于深度学习的跨镜目标追踪模型，针对轨道交通侵界场景需求提出不同的人员类别，仅对非法入侵人员进行追踪；减少了系统的计算资源消耗，提高了重识别的准确率，更加适用于现场的应用需求；根据跨镜跟踪结果判断入侵人员对轨道交通运营安全的危害性，分级预警，并预测入侵多区域人员将要入侵的区域，提前对入侵行为做出研判并采取相应措施。
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的基于视频的轨道交通侵界场景人员跨镜跟踪及预警方法流程图。
图2为本发明实施例所述的轨道交通侵界目标检测输出结果图。
图3为本发明实施例所述的轨道交通侵界场景人员跨镜跟踪识别算法可视化结果示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1中提供一种轨道交通侵界场景人员跨镜跟踪预警系统，包括：
获取模块，用于获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
提取模块，用于采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
标注模块，用于根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
检测模块，用于利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
跟踪模块，用于使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
预警模块，用于根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
本实施例1中，利用上述的系统，实现了一种轨道交通侵界场景人员跨镜跟踪预警方法，包括：
获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线，包括：
若为非法入侵行人，使用轨道交通侵界场景人员跨镜跟踪识别算法提取入侵行人数据集图像的特征值；
以待检索的非法入侵行人图像特征为基准，数据集中其他图像为候选集计算与基准的余弦距离，特征距离小于设定阈值0.5时，则存在相似目标，并做特征距离的排序，选出前十的图像为输出结果；
以图像间的余弦特征距离大小判别两张行人图像是否为同一个目标，判断非法入侵行人目标是否出现在不同的监控区域，或者是否在过去的时间里入侵过铁路周界。
根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警，包括：
基于跟踪结果以及对应图像的监控地理位置标签和入侵时间标签，对非法入侵人员进行跟踪报警，当无相似匹配目标时，目标首次入侵报警；
有相似目标，且入侵间隔小于设定的时间阈值10min时，使用轨道交通侵界场景人员预警方法预测非法入侵人员行程轨迹，结合监控网络拓扑结构，预测目标的下一个入侵区域，提前预警；
否则，非法入侵人员多时段入侵周界，则发出目标多次入侵报警，并输出入侵目标状态和时间空间信息。
优选的，每个入侵目标标注检测信息框，截取以信息框为边界的每个入侵目标图像，进行缩放，检测目标图像扩充点位特征值后扩大尺寸：
f(x，y)＝W×F，
其中W＝w(i)×w(j)，i和j分别表示该点相对特征点的水平和垂直距离，
Figure BDA0003956623550000111
F表示点位周边4×4范围的特征值矩阵，
扩大后的图像经过四次卷积核大小为5*5，步长为1的卷积操作，最终输出入侵目标图像。
入侵目标图像经过6*6的卷积核后BN归一化，通过ReLU激活函数激活，再进行大小为3*3步长为2最大池化，完成图像特征的初始化；由1*1、3*1、1*3和1*1的卷积核构成卷积块，网络经过4个卷积单元，每个卷积单位分别有2、3、5、2个卷积块；其中，上一个卷积块的输入和输出经过残差连接共同作为下一个卷积块的输入；第一个卷积单元的输出加入SE通道注意力机制运算，再输入到第二个卷积单元运算；每个卷积单元的区别在于通道数，第一个卷积单元有64个通道，第二个卷积单元有128个通道，第三个卷积单元有256个通道，第四个卷积单元有1024个通道。
优选的，轨迹预测以LSTM作为骨干网络，隐层状态输出：
Figure BDA0003956623550000112
其中σ表示sigmoid函数，zt表示坐标的时序向量，ft表示遗忘门，Ct-1表示上层状态，it表示更新门，W表示权重参数，b表示偏置参数；
st＝relu(Ws·Hs+bs)
其中Hs表示预测点位u*v范围内其他入侵人员的人数总和；
h’t-1＝ht-1+WpHp
其中Hp表示过去p个LSTM单元的隐层状态。
实施例2
如图1所示，本实施例2中提供一种基于视频的轨道侵界场景人员跨镜跟踪及预警方法，包括以下步骤：
步骤1，获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置等基础信息；
步骤2，采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，一旦检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；
步骤3，根据提取的视频信息，生成入侵目标图像的监控地理位置标签和入侵时间标签；
步骤4，经过轨道交通周界工作人员特征分类检测器，包括上道工作安全服、安全帽或铁路工装等局部特征的检测识别，区分人员类别，正常的工作人员和非法入侵人员，正常工作人员属于合法上道作业不会触发入侵报警；
步骤5，使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
所述步骤5具体分类方法主要包括以下步骤：
步骤5.1，若为非法入侵行人，使用轨道交通侵界场景人员跨镜跟踪识别算法提取入侵行人数据集图像的特征值；
步骤5.2，以待检索的非法入侵行人图像特征为基准，数据集中其他图像为候选集计算与基准的余弦距离，特征距离小于设定阈值0.5，则存在相似目标，并做特征距离的排序，选出前十的图像为输出结果。
步骤5.3，以图像间的余弦特征距离大小判别两张行人图像是否为同一个目标，入侵行人目标是否出现在不同的监控区域，或者是否在过去的时间里入侵过铁路周界。
步骤6，根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
所述步骤6主要包括以下步骤：
步骤6.1，基于步骤5的跟踪结果以及对应图像的监控地理位置标签和入侵时间标签，对非法入侵人员进行跟踪报警，当无相似匹配目标时，目标首次入侵报警；
步骤6.2，有相似目标，且入侵间隔小于10分钟时，使用轨道交通侵界场景人员预警方法预测非法入侵人员行程轨迹，结合监控网络拓扑结构，预测目标的下一个入侵区域，提前预警；
步骤6.3，否则，非法入侵人员多时段入侵周界，则发出目标多次入侵报警，并输出入侵目标状态和时间空间信息。
步骤1中改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集。
每个入侵目标标注检测信息框，截取以信息框为边界的每个入侵目标图像，缩放到64*128维，100m外的检测目标图像扩充点位特征值后扩大尺寸到80*160维：f(x，y)＝W×F，
其中W＝w(i)×w(j)，i和j分别表示该点相对特征点的水平和垂直距离，
Figure BDA0003956623550000131
F表示点位周边4×4范围的特征值矩阵，
扩大后的图像经过四次卷积核大小为5*5，步长为1的卷积操作，最终输出64*128的入侵目标图像。
图像经过6*6的卷积核后BN归一化，通过ReLU激活函数激活，再进行大小为3*3步长为2最大池化，完成图像特征的初始化；由1*1、3*1、1*3和1*1的卷积核构成卷积块，网络经过4个卷积单元，每个卷积单位分别有2、3、5、2个卷积块；上一个卷积块的输入和输出经过残差连接共同作为下一个卷积块的输入；第一个卷积单元的输出加入SE通道注意力机制运算，再输入到第二个卷积单元运算；每个卷积单元的区别在于通道数，第一个卷积单元有64个通道，第二个卷积单元有128个通道，第三个卷积单元有256个通道，第四个卷积单元有1024个通道。
轨迹预测以LSTM作为骨干网络，隐层状态输出
ht＝σ(Wo·[h't-1,zt,st]+bo)*tanh(ft*Ct-1+it*tanh(Wc·[h't-1,zt,st]+bc)t)
其中σ表示sigmoid函数，zt表示坐标的时序向量，ft表示遗忘门，Ct-1表示上层状态，it表示更新门，W表示权重参数，b表示偏置参数；
st＝relu(Ws·Hs+bs)
其中Hs表示预测点位u*v范围内其他入侵人员的人数总和；
h't-1＝ht-1+WpHp
其中Hp表示过去p个LSTM单元的隐层状态。
本实施例2中，将基于视频的轨道交通侵界场景人员跨镜跟踪及预警方法应用在轨道交通侵界场景中，解决轨道交通场景中的周界入侵检测跟踪及危害性报警预测问题。
以某轨道交通周界场景为例进行基于视频的轨道交通侵界场景人员跨镜跟踪及预警，获取轨道交通周界各路段的视频图像，采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，输出以信息框为边界的每个入侵目标的图像，入侵人员目标检测如图2所示。
入侵目标图像标注监控地理位置标签和入侵时间标签，图像命名方式如下，以0001_c1_2021_0514_156720.jpg为例：
1)0001表示每个人的id标签编号；
2)c1表示摄像头id；
3)2021_0514_156720表示检测到的入侵时间。
其中，可通过摄像头id匹配到摄像头对应的地理位置信息。
在该轨道交通周界场景中，将实验时间设定为路局计划中规定的天窗作业时间，并以穿戴黄马甲作为上道工作服，此时工作人员上道作业为合理情况，利用轨道交通周界工作人员特征分类检测器区分入侵人员的类别，分类结果如图2所示，只对非法入侵人员做跨镜跟踪。
使用轨道交通侵界场景人员跨镜跟踪识别算法提取入侵目标图像行人特征，提取的特征向量如表2所示。并以上述新检测出的待检索入侵目标图像作为查询图像集，存储数据集中的历史图像作为候选集，以查询集作为标准，利用余弦相似度度量，计算查询集与候选集行人图像的特征距离。在特征距离小于阈值0.5时，对得到的相似目标结果做特征距离排序，可视化结果如图3所示。并给匹配到的相似目标，赋予相同的入侵检测id，修改标签值。
表1显示了本专利轨道交通侵界场景人员跨镜跟踪识别算法与其他算法的准确率对比结果。
表1方法准确率对比
Figure BDA0003956623550000151
表2部分特征提取结果
Figure BDA0003956623550000161
基于轨道交通侵界场景人员跨镜跟踪识别算法的跟踪结果以及对应图像的监控地理位置标签和入侵时间标签，对非法入侵人员进行跟踪报警，当无相似匹配目标时，目标首次入侵报警，并输出该入侵目标的状态及时空信息；
有相似目标时，根据入侵目标人员的标签属性(地理位置(摄像头id)、入侵时间)，计算入侵目标人员和其历史入侵图像的时间差值，如果入侵时间间隔小于10分钟，则利用轨道交通侵界场景人员预警方法，预测非法入侵人员的行程轨迹，结合监控网络拓扑结构，摄像头的物理位置关系，判断预测出的轨迹将会经过哪些区域，预测目标的下一个入侵区域，提前预警；入侵时间间隔大于10分钟时，非法入侵人员的危害性判定为多时段入侵周界，发出目标多次入侵报警，并输出入侵目标此时的状态和时间空间信息。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现轨道交通侵界场景人员跨镜跟踪预警方法，该方法包括：
获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
实施例4
本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现轨道交通侵界场景人员跨镜跟踪预警方法，该方法包括：
获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
实施例5
本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现轨道交通侵界场景人员跨镜跟踪预警方法的指令，该方法包括：
获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种轨道交通侵界场景人员跨镜跟踪预警方法，其特征在于，包括：
获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
2.根据权利要求1所述的轨道交通侵界场景人员跨境跟踪预警方法，其特征在于，使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线，包括：
若为非法入侵行人，使用轨道交通侵界场景人员跨镜跟踪识别算法提取入侵行人数据集图像的特征值；
以待检索的非法入侵行人图像特征为基准，数据集中其他图像为候选集计算与基准的余弦距离，特征距离小于设定阈值时，则存在相似目标，并做特征距离的排序，选出前十的图像为输出结果；
以图像间的余弦特征距离大小判别两张行人图像是否为同一个目标，判断非法入侵行人目标是否出现在不同的监控区域，或者是否在过去的时间里入侵过铁路周界。
3.根据权利要求2所述的轨道交通侵界场景人员跨境跟踪预警方法，其特征在于，根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警，包括：
基于跟踪结果以及对应图像的监控地理位置标签和入侵时间标签，对非法入侵人员进行跟踪报警，当无相似匹配目标时，目标首次入侵报警；
有相似目标，且入侵间隔小于设定的时间阈值时，使用轨道交通侵界场景人员预警方法预测非法入侵人员行程轨迹，结合监控网络拓扑结构，预测目标的下一个入侵区域，提前预警；
否则，非法入侵人员多时段入侵周界，则发出目标多次入侵报警，并输出入侵目标状态和时间空间信息。
4.根据权利要求3所述的轨道交通侵界场景人员跨境跟踪预警方法，其特征在于，每个入侵目标标注检测信息框，截取以信息框为边界的每个入侵目标图像，进行缩放，检测目标图像扩充点位特征值后扩大尺寸：
f(x，y)＝W×F，
其中W＝w(i)×w(j)，i和j分别表示该点相对特征点的水平和垂直距离，
Figure FDA0003956623540000031
F表示点位周边4×4范围的特征值矩阵，
扩大后的图像经过四次卷积核大小为5*5，步长为1的卷积操作，最终输出入侵目标图像。
5.根据权利要求4所述的轨道交通侵界场景人员跨境跟踪预警方法，其特征在于，入侵目标图像经过6*6的卷积核后BN归一化，通过ReLU激活函数激活，再进行大小为3*3步长为2最大池化，完成图像特征的初始化；由1*1、3*1、1*3和1*1的卷积核构成卷积块，网络经过4个卷积单元，每个卷积单位分别有2、3、5、2个卷积块；其中，上一个卷积块的输入和输出经过残差连接共同作为下一个卷积块的输入；第一个卷积单元的输出加入SE通道注意力机制运算，再输入到第二个卷积单元运算；每个卷积单元的区别在于通道数，第一个卷积单元有64个通道，第二个卷积单元有128个通道，第三个卷积单元有256个通道，第四个卷积单元有1024个通道。
6.根据权利要求5所述的轨道交通侵界场景人员跨境跟踪预警方法，其特征在于，轨迹预测以LSTM作为骨干网络，隐层状态输出：
ht＝σ(Wo·[h't-1,zt,st]+bo)*tanh(ft*Ct-1+it*tanh(Wc·[h't-1,zt,st]+bc)t)
其中σ表示sigmoid函数，zt表示坐标的时序向量，ft表示遗忘门，Ct-1表示上层状态，it表示更新门，W表示权重参数，b表示偏置参数；
st＝relu(Ws·Hs+bs)
其中Hs表示预测点位u*v范围内其他入侵人员的人数总和；
h’t-1＝ht-1+WpHp
其中Hp表示过去p个LSTM单元的隐层状态。
7.一种轨道交通侵界场景人员跨镜跟踪预警系统，其特征在于，包括：
获取模块，用于获取轨道交通周界各路段的视频图像，并提取该视频所属的时间和监控地理位置信息；
提取模块，用于采用改进的yolov7算法对视频图像中的关注区域部分进行实时的入侵人员目标检测，若检测出入侵目标后在视频图像上对每个入侵目标标注检测信息框，并输出以信息框为边界的每个入侵目标的图像；其中，改进的YOLOv7算法，在训练集上区别于其他的YOLOv7算法，使用采集的轨道交通侵界行人数据集；
标注模块，用于根据提取的视频信息，生成入侵目标的图像的监控地理位置标签和入侵时间标签；
检测模块，用于利用轨道交通周界工作人员特征分类检测器进行人员局部特征的检测识别，区分正常工作人员和非法入侵人员；
跟踪模块，用于使用轨道交通侵界场景人员跨镜跟踪识别算法对非法入侵人员进行跨监控区域的跟踪识别，在不同区域的监控视频采集图像中确认同一行人的行动路线；
预警模块，用于根据轨道交通侵界场景人员跨镜跟踪识别算法的结果，判断非法入侵人员的危害程度及行走方向预警。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的轨道交通侵界场景人员跨镜跟踪预警方法。
9.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如权利要求1-6任一项所述的轨道交通侵界场景人员跨镜跟踪预警方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的轨道交通侵界场景人员跨镜跟踪预警方法的指令。
CN202211463889.8A 2022-11-22 2022-11-22 轨道交通侵界场景人员跨镜跟踪预警方法及系统 Pending CN116310933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211463889.8A CN116310933A (zh) 2022-11-22 2022-11-22 轨道交通侵界场景人员跨镜跟踪预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211463889.8A CN116310933A (zh) 2022-11-22 2022-11-22 轨道交通侵界场景人员跨镜跟踪预警方法及系统

Publications (1)

Publication Number Publication Date
CN116310933A true CN116310933A (zh) 2023-06-23

Family

ID=86811921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211463889.8A Pending CN116310933A (zh) 2022-11-22 2022-11-22 轨道交通侵界场景人员跨镜跟踪预警方法及系统

Country Status (1)

Country Link
CN (1) CN116310933A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455957A (zh) * 2023-12-25 2024-01-26 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于深度学习的车辆轨迹定位追踪方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455957A (zh) * 2023-12-25 2024-01-26 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于深度学习的车辆轨迹定位追踪方法及系统
CN117455957B (zh) * 2023-12-25 2024-04-02 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于深度学习的车辆轨迹定位追踪方法及系统

Similar Documents

Publication Publication Date Title
Mliki et al. Human activity recognition from UAV-captured video sequences
CN106203274B (zh) 一种视频监控中行人实时检测系统及方法
Adu-Gyamfi et al. Automated vehicle recognition with deep convolutional neural networks
Singh et al. Visual big data analytics for traffic monitoring in smart city
Elhamod et al. Automated real-time detection of potentially suspicious behavior in public transport areas
Lee et al. Context and profile based cascade classifier for efficient people detection and safety care system
CN106448160B (zh) 结合车辆行驶轨迹和监控视频数据的目标人物追踪方法
Zhao et al. Forest fire smoke video detection using spatiotemporal and dynamic texture features
Hsu et al. Passenger flow counting in buses based on deep learning using surveillance video
Berroukham et al. Deep learning-based methods for anomaly detection in video surveillance: a review
CN112699769A (zh) 一种安防监控中遗留物品的检测方法及系统
Mudgal et al. Suspicious action detection in intelligent surveillance system using action attribute modelling
Tonge et al. Traffic rules violation detection using deep learning
CN116310933A (zh) 轨道交通侵界场景人员跨镜跟踪预警方法及系统
Farooq et al. Unsupervised video surveillance for anomaly detection of street traffic
Benezeth et al. A real time human detection system based on far infrared vision
Li et al. A deep pedestrian tracking SSD-based model in the sudden emergency or violent environment
Sarker et al. Illegal trash thrower detection based on HOGSVM for a real-time monitoring system
Lahouli et al. A fast and robust approach for human detection in thermal imagery for surveillance using UAVs
Guo et al. Multi-scale pedestrian detection by use of adaboost learning algorithm
Agrawal et al. Specific motion pattern detection: state-of-the-art and challenges
Shrivastav A Real-Time Crowd Detection and Monitoring System using Machine Learning
Hbali et al. Object detection based on HOG features: Faces and dual-eyes augmented reality
Russel et al. Ownership of abandoned object detection by integrating carried object recognition and context sensing
Jayasuganthi et al. Detection of dropped non protruding objects in video surveillance using clustered data stream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination