CN116886877B - 一种园区安全监测方法及系统 - Google Patents

一种园区安全监测方法及系统 Download PDF

Info

Publication number
CN116886877B
CN116886877B CN202311146029.6A CN202311146029A CN116886877B CN 116886877 B CN116886877 B CN 116886877B CN 202311146029 A CN202311146029 A CN 202311146029A CN 116886877 B CN116886877 B CN 116886877B
Authority
CN
China
Prior art keywords
sequence
feature
user
track
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311146029.6A
Other languages
English (en)
Other versions
CN116886877A (zh
Inventor
信晶
彭雨轩
周源熙
肖永涛
陈帅
董利峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bosu Zhiyuan Artificial Intelligence Technology Co ltd
Original Assignee
Beijing Bosu Zhiyuan Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bosu Zhiyuan Artificial Intelligence Technology Co ltd filed Critical Beijing Bosu Zhiyuan Artificial Intelligence Technology Co ltd
Priority to CN202311146029.6A priority Critical patent/CN116886877B/zh
Publication of CN116886877A publication Critical patent/CN116886877A/zh
Application granted granted Critical
Publication of CN116886877B publication Critical patent/CN116886877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种园区安全监测方法及系统，其中方法包括：通过多个云台摄像机获取监测图像序列，涵盖了整个园区的视角；激活注意力增强特征提取器，利用其对图像序列进行处理，提取出用户的运动轨迹和行为特征序列；通过时序化调整和盲区补偿技术，将用户的运动轨迹和行为特征序列进行整合和补偿，得到了用户的整体运动轨迹和行为特征序列；结合用户的运动轨迹、行为特征序列和盲区补偿轨迹，进行用户安全评估。本申请解决了现有技术中无法对摄像头盲区进行有效监测的技术问题，达到了通过盲区补偿实现对监控对象全程精确监测的技术效果。

Description

一种园区安全监测方法及系统
技术领域
本发明涉及视频监测领域，具体涉及一种园区安全监测方法及系统。
背景技术
随着社会的发展，园区安全问题日益受到重视。园区范围广，用户量大，如何实现全面监控以防范各类安全事件的发生，是园区安全生产体系建设中的核心问题。传统的监控方案主要依赖安装在园区关键位置的摄像头进行监测。但是，单一的视频监控容易产生死角区域，而这些区域往往可能成为治安事件发生的盲区。仅依靠人工对图像进行查看分析，也无法保证监测的连续性和全面性。因此，现有园区的视频监控存在明显的盲区监测问题。
发明内容
本申请通过提供了一种园区安全监测方法及系统，旨在解决现有技术中无法对摄像头盲区进行有效监测的技术问题，达到了通过盲区补偿实现对监控对象全程精确监测的技术效果。
鉴于上述问题，本申请提供了一种园区安全监测方法及系统。
本申请公开的第一个方面，提供了一种园区安全监测方法，该方法包括：接收第一云台摄像机的第一监测图像序列，直到第N云台摄像机的第N监测图像序列；激活注意力增强特征提取器对所述第一监测图像序列进行处理，生成第一用户的第一运动轨迹和第一行为特征序列；激活注意力增强特征提取器对所述第N监测图像序列进行处理，生成第一用户的第N运动轨迹和第N行为特征序列；对所述第一运动轨迹直到所述第N运动轨迹进行时序化调整，生成第一用户运动轨迹；对所述第一行为特征序列直到所述第N行为特征序列进行时序化调整，生成第一用户行为特征序列；提取所述第一用户运动轨迹的缺失特征时区，获取所述缺失特征时区的前置运动轨迹和后置运动轨迹；根据所述前置运动轨迹和所述后置运动轨迹结合盲区轨迹跟踪算法，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；结合所述第一用户运动轨迹、所述第一用户行为特征序列和所述盲区补偿轨迹进行用户安全评估。
本申请公开的另一个方面，提供了一种园区安全监测系统，该系统包括：监测图像接收模块，用于接收第一云台摄像机的第一监测图像序列，直到第N云台摄像机的第N监测图像序列；第一图像处理模块，用于激活注意力增强特征提取器对所述第一监测图像序列进行处理，生成第一用户的第一运动轨迹和第一行为特征序列；第N图像处理模块，用于激活注意力增强特征提取器对所述第N监测图像序列进行处理，生成第一用户的第N运动轨迹和第N行为特征序列；运动轨迹调整模块，用于对所述第一运动轨迹直到所述第N运动轨迹进行时序化调整，生成第一用户运动轨迹；特征序列调整模块，用于第一用户行为特征序列模块，所述对所述第一行为特征序列直到所述第N行为特征序列进行时序化调整，生成第一用户行为特征序列；缺失特征提取模块，用于提取所述第一用户运动轨迹的缺失特征时区，获取所述缺失特征时区的前置运动轨迹和后置运动轨迹；盲区轨迹补偿模块，用于根据所述前置运动轨迹和所述后置运动轨迹结合盲区轨迹跟踪算法，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；用户安全评估模块，用于结合所述第一用户运动轨迹、所述第一用户行为特征序列和所述盲区补偿轨迹进行用户安全评估。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了通过多个云台摄像机获取监测图像序列，涵盖了整个园区的视角；激活注意力增强特征提取器，利用其对图像序列进行处理，能够准确提取出用户的运动轨迹和行为特征序列；通过时序化调整和盲区补偿技术，将用户的运动轨迹和行为特征序列进行整合和补偿，得到了用户的整体运动轨迹和行为特征序列；结合用户的运动轨迹、行为特征序列和盲区补偿轨迹，进行用户安全评估的技术方案，解决了现有技术中无法对摄像头盲区进行有效监测的技术问题，达到了通过盲区补偿实现对监控对象全程精确监测的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种园区安全监测方法的一种流程示意图；
图2为本申请实施例提供了一种园区安全监测方法中注意力增强特征提取器的一种结构示意图；
图3为本申请实施例提供了一种园区安全监测系统的一种结构示意图。
附图标记说明：监测图像接收模块11，第一图像处理模块12，第N图像处理模块13，运动轨迹调整模块14，特征序列调整模块15，缺失特征提取模块16，盲区轨迹补偿模块17，用户安全评估模块18。
具体实施方式
本申请提供的技术方案总体思路如下：
本申请实施例提供了一种园区安全监测方法及系统。首先，通过多个云台摄像机获取监测图像序列，以覆盖整个园区的视角，获得全面的监测数据，涵盖更多的监测区域，并提供更丰富的信息基础。接下来，激活注意力增强特征提取器，通过其对图像序列进行处理，实现对用户的运动轨迹和行为特征的准确提取，实现从庞大的监测数据中筛选出关键信息，提取出用户的关键行为和动态轨迹，提供更精确的分析基础。随后，通过时序化调整和盲区补偿技术，将用户的运动轨迹和行为特征序列进行整合和补偿，得到用户的整体运动轨迹和行为特征序列，消除监测图像序列中的缺失和不准确问题。最后，结合用户的运动轨迹、行为特征序列和盲区补偿轨迹，进行用户安全评估。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示，本申请实施例提供了一种园区安全监测方法，该方法应用于园区安全监测系统，该系统的模型计算部署于边缘盒子。
在本申请实施例中，提供一种园区安全监测方法，该方法应用于园区安全监测系统，以实现对园区内安全状况的监测。其中，园区安全监测系统的模型计算部署于边缘盒子。边缘计算盒子是小型的计算设备，用于在网络边缘处理和分析数据。将园区安全监测系统的模型计算部署于边缘盒子，可以实现园区内数据的边缘计算和分析，提高系统响应速度。
园区安全监测方法包括：
接收第一云台摄像机的第一监测图像序列，直到第N云台摄像机的第N监测图像序列；
在本申请实施例中，第一云台摄像机至第N云台摄像机是设置于园区各关键位置的具有带有云台的摄像机，均带有承载摄像机进行水平和垂直两个方向转动的装置，用以拍摄园区内的监测图像。第一监测图像序列至第N监测图像序列是由各云台摄像机拍摄得到的图像序列，其中每个监测图像序列均包含连续的多帧监测图像。通过网络视频服务器等设备，实时接收来自各云台摄像机的监测图像序列，实现对园区内的摄像机可见区域监测图像进行全面获取，为后续的行为分析和安全评估提供图像数据支持。
激活注意力增强特征提取器对所述第一监测图像序列进行处理，生成第一用户的第一运动轨迹和第一行为特征序列；
在本申请实施例中，对第一监测图像序列进行注意力增强的特征提取，以生成第一用户的运动轨迹和行为特征序列。利用注意力机制实现对监测图像序列的智能解析，准确生成了第一用户的运动轨迹数据和行为特征，为后续行为分析提供技术支持。
进一步的，注意力增强特征提取器包括以下内容：
所述注意力增强特征提取器包括目标定位层、兴趣特征提取层和行为特征归类层；
所述目标定位层包括第一处理节点、第二处理节点和第一输出节点；
所述兴趣特征提取层包括第一兴趣特征提取节点，所述第一兴趣特征提取节点包括先后串联的第一注意力加权网络和第一特征提取网络；
所述兴趣特征提取层包括第二兴趣特征提取节点，所述第二兴趣特征提取节点包括先后串联的第二注意力加权网络和第二特征提取网络，其中，所述第一兴趣特征提取节点和所述第二兴趣特征提取节点共享模型参数和模型结构。
在一种优选的实施例中，如图2所示，注意力增强特征提取器包含目标定位层、兴趣特征提取层和行为特征归类层。
其中，目标定位层采用slowfast双通道实现目标定位，包括第一处理节点、第二处理节点和第一输出节点。第一个处理节点聚焦全局信息，负责对较大步长的分割监测图像序列进行处理，进行监测图形中的人员定位；第二个处理节点聚焦局部细节，负责对较小步长的分割监测图像序列进行处理，进行更精细的人体关节定位，例如人体骨骼点或关节的定位；第一个输出节点负责输出最终的目标定位结果，例如人员在图像中的坐标框和关节坐标序列。这三个节点协同工作，结合图像中人体的臂长/躯干比、体型肥瘦以及衣着特征，实现对目标人员的准确定位，完成目标定位层的功能。
兴趣特征提取层包括第一兴趣特征提取节点和第二兴趣特征提取节点，第一兴趣特征提取节点包括先后串联的第一注意力加权网络和第一特征提取网络，其中，第一注意力加权网络是学习生成关节的注意力权重系数，对不同的关节进行不同的注意力处理，该网络输入为关节的定位坐标，输出为每个关节的注意力权重；第一特征提取网络接受注意力加权网络的输出权重，以及原始的关节坐标作为输入，在注意力的指导下从关节坐标中提取关节的运动特征，输出为经过注意力加权的关节运动特征。这两个网络串联的工作流程是，先通过第一注意力加权网络学习生成注意力权重，然后将注意力权重与原始关节坐标序列一同输入到第一特征提取网络，实现加权特征提取。第一兴趣特征提取节点和第二兴趣特征提取节点共享模型参数和模型结构，因此第二兴趣特征提取与第一兴趣特征提取的结构和过程相同，使两个节点提取出的特征具有可比性，同时有利于模型训练。通过共享,两个节点可以看作是同一个模型的两个实例，处理不同的输入数据。
行为特征归类层构建动作相似度评价函数，计算输入动作特征序列与标准动作模板之间的匹配程度，当相似度超过阈值时完成行为分类与识别。
首先，通过标注图像训练目标定位网络，以及基于关节坐标标注训练兴趣特征提取网络和行为分类网络。网络参数通过比对实际关节定位特征和模板特征的损失函数进行反向优化更新。最后，完整网络的层级连接实现端到端的训练和优化，注意力增强特征提取器，能够实现准确的目标定位、运动轨迹生成以及行为识别。
进一步的，生成第一用户的第一运动轨迹和第一行为特征序列，包括以下步骤：
进一步的，本申请实施例还包括：
对所述第一监测图像序列按照第一步长进行分割，生成第一分割图像序列；
对所述第一监测图像序列按照第一步长的八分之一进行分割，生成第二分割图像序列；
激活第一处理节点对所述第一分割图像序列进行人员定位，激活所述第二处理节点对所述第二分割图像序列进行人员关节定位提取，生成第一用户关节定位序列和第一运动轨迹，其中，所述第一运动轨迹传输至所述注意力增强特征提取器的输出层；
激活所述第一兴趣特征提取节点接收所述第一用户关节定位序列，基于所述第一注意力加权网络进行预设关节特征加权，通过所述第一特征提取网络根据第一注意力加权结果对所述第一用户关节定位序列进行处理，生成第一比对动作特征；
激活所述第二兴趣特征提取节点接收关节定位模板序列，基于所述第二注意力加权网络进行预设关节特征加权，通过所述第二特征提取网络根据第二注意力加权结果对所述关节定位模板序列进行处理，生成第一基准动作特征，其中，所述关节定位模板序列具有一一对应的动作类型；
激活所述行为特征归类层对所述第一比对动作特征和所述第一基准动作特征进行相似度评价，生成所述第一行为特征序列。
在一种可行的实施方式中，为生成第一用户的第一运动轨迹和第一行为特征序列，首先，设置第一步长参数，例如设置为分割时间段的长度，比如10秒；检测第一监测图像序列的总帧数，以及根据帧率计算出总时间长度；根据第一步长参数，将图像序列等间隔分割成多个时间段，每个时间段长度为第一步长设置的值；对每个时间段内的连续图像进行提取，形成分割后的若干个图像子序列；对图像子序列进行编号，组织为第一分割图像序列。其次，计算第二步长参数为第一步长的八分之一，即10/8=1.25秒；检测第一监测图像序列的总帧数，以及根据帧率计算出总时间长度；根据第二步长参数，将图像序列等间隔分割成多个时间段，每个时间段长度为1.25秒；对每个时间段内的连续图像进行提取，形成分割后的若干个图像子序列。对图像子序列进行编号，组织为第二分割图像序列数据。第一分割图像序列的分割步长大于第二分割图像序列，可以获取不同时间尺度下的信息，第二分割图像序列的时间维度上比第一分割图像序列包含更多的分割子序列，时间跨度更小，能够捕捉人员更精细的动作信息。较小步长可聚焦在细微动作，较大步长适合分析全局活动行为。两者结合使用可以提供多颗粒度的图像输入。
然后，初始化第一处理节点和第二处理节点的网络模型，加载网络参数；将第一分割图像序列输入第一处理节点，前向传播通过第一处理节点的目标检测网络，生成人员的框定位信息；将第二分割图像序列输入第二处理节点，前向传播通过第二处理节点的人体姿态估计网络，定位人体关节点，输出人员的关节坐标序列；在关节坐标序列上进行平滑和去噪处理，生成第一用户的关节定位序列数据；根据关节坐标在不同时序上的移动轨迹，计算生成第一用户的运动轨迹信息。将提取得到的第一用户运动轨迹，传输到注意力增强特征提取器的输出层，作为注意力增强特征提取器的输出之一。
接着，将第一用户的关节定位序列输入到第一个兴趣特征提取节点中。先激活第一个兴趣特征提取节点中的第一注意力加权网络，通过网络前向计算对每个关节进行预设关节特征加权，生成每个关节的注意力权重系数；将第一用户的关节定位序列和获得的对应关节的注意力权重同时输入到第一特征提取网络中；在第一特征提取网络中，使用注意力权重对不同关节进行区别对待，对重要关节提取的特征赋予更高权重；通过第一特征提取网络的前向运算，结合注意力权重，从关节定位序列中提取不同特征，形成具有关节注意力印记的第一比对动作特征。
同时，将预定义标准的关节定位模板序列，该模板序列对应已知的某一类动作；激活第二注意力加权网络，输入关节定位模板序列，学习生成每个标准关节的注意力权重。将关节定位模板序列和模板注意力权重同时输入第二特征提取网络；在第二特征提取网络中，使用注意力权重指导网络学习模板的关键关节特征；通过第二特征提取网络的前向计算，获得带有注意力标记的标准动作特征，即第一基准动作特征，其中，关节定位模板序列具有一一对应的动作类型，有利于后续动作特征的相似度比对。处理实际动作的第一兴趣特征提取节点和处理模板动作的第二兴趣特征提取节点的网络参数共享参数，使两节点所提取的网络具有对比性，有利于基准特征和实际特征的匹配。
继而，激活行为特征归类层，将第一比对动作特征和第一基准动作特征同时输入到行为特征分类层中；在分类层构建动作相似度评价函数，如基于余弦相似度计算特征向量之间的匹配程度；计算第一比对动作特征与第一基准动作特征的相似度评价结果；将相似度评价结果与预设的相似度阈值进行比较；当相似度高于阈值时，在第一行为特征序列中添加第一基准动作特征对应的动作类别标签；当相似度低于阈值时，进行下一轮的模板匹配，直到找到相似度足够高的模板，输出匹配的类别；最终生成包含已识别动作标签的第一行为特征序列，作为注意力增强特征提取器的输出之一。
进一步的，进行相似度评价包括以下内容：
构建相似度评价函数：
；
；
；
；
；
其中，为第一比对动作特征的M个关节定位特征序列，/>表征第i个关节的定位特征序列，/>表征第i个关节的第n时序的关节的定位特征，/>为第一基准动作特征的M个关节定位特征序列，/>表征第i个关节的定位特征序列，/>表征第i个关节的第n时序的关节的定位特征，M表征关节总数，/>表征时序总数，/>表征所述第一比对动作特征和所述第一基准动作特征的相似度，/>为计数函数，/>表征第i个关节视为定位一致的距离阈值，/>表征第n时序的第i个关节的比对动作特征和基准动作特征的相对定位距离偏差；
当相似度评价结果大于或等于相似度阈值，将所述第一基准动作特征的动作类型添加进所述第一行为特征序列；
当所述相似度评价结果小于所述相似度阈值，更新所述关节定位模板序列进行相似度评价，生成所述第一行为特征序列。
在一种优选的实施方式中，构建了动作特征序列之间相似度评价的计算公式为：
；
；
；
；
；
其中，为第一比对动作特征的M个关节定位特征序列，/>表征第i个关节的定位特征序列，/>表征第i个关节的第n时序的关节的定位特征，/>为第一基准动作特征的M个关节定位特征序列，/>表征第i个关节的定位特征序列，/>表征第i个关节的第n时序的关节的定位特征，M表征关节总数，/>表征时序总数，/>表征所述第一比对动作特征和所述第一基准动作特征的相似度，/>为计数函数，/>表征第i个关节视为定位一致的距离阈值，/>表征第n时序的第i个关节的比对动作特征和基准动作特征的相对定位距离偏差。该公式的计算过程采用各关节坐标距离和关节数量的统计方法，当不同时序下同一关节的坐标距离/>小于对应关节的距离阈值/>时，则视为该关节定位相符合，通过统计所有关节中符合关节的比例，得到整体动作序列的相似度结果。
当相似度评价结果大于或等于预设的相似度阈值时，将当前使用的第一基准动作特征所对应的动作类型，添加到第一行为特征序列中，作为识别结果。其中，相似度阈值预先根据具体场景统计设定，是判断动作间是否足够相似的判断标准，当相似度超过阈值时，则说明第一比对动作特征与当前基准特征极为接近，可以判定为匹配，直接输出其类别标签。关节定位模板序列中包含多个不同类别的标准动作模板，当相似度评价结果没有超过相似度阈值的情况。此时不能直接确定分类，切换到下一个模板，重新进行特征提取，并计算新的相似度，直到找到一个相似度足够高的标准模板为止，从而生成第一行为特征序列，实现基准动作特征和实际动作特征之间的精确比对，准确分类生成了行为识别结果，有效支持后续的行为分析。
进一步的，设定关节定位模板序列包括以下内容：
根据所述第一用户运动轨迹，确定定位园区场景特征，其中，所述定位园区场景特征包括生产类型特征和生产分布特征；
根据所述生产类型特征和所述生产分布特征进行生产事故频繁分析，生成频繁事故动作类型的关节定位序列，设为所述关节定位模板序列。
在一种可行的实施方式中，首先，根据第一用户运动轨迹，分析用户的运动范围和运动轨迹分布，判断该用户活动区域属于园区中的哪个功能分区，例如仓储区、组装区等，从而确定该区域的生产作业类型特征。同时，检测该区域内的设备、设施等的位置分布和布局信息，判断区域内是否存在通道、躲避空间、危险设备等，分析出该区域的生产分布特征。
随后，收集该区域的历史事故报告，统计分析事故记录中出现频率较高的危险动作模式。这些高发事故对应的标准动作的关节定位坐标序列，作为该区域的监测关注重点。最后，将这些频繁出现的事故动作对应的关节定位序列，提取设定为该区域的监测模板，即关节定位模板序列。这些模板记录了区域内高危动作的特征。
通过分析园区场景特征和历史事故数据，得到针对具体区域的危险动作模板，使行为识别更具有针对性，同时模板序列的不断优化可以提升监测的准确性。
激活注意力增强特征提取器对所述第N监测图像序列进行处理，生成第一用户的第N运动轨迹和第N行为特征序列；
在本申请实施例中，与对第一监测图像序列进行处理相似，激活注意力增强特征提取器对接收的所有监测图像序列进行处理，获取各监测图像序列对应的运动轨迹和行为特征序列。
首先，初始化注意力增强特征提取器，加载网络参数。其次，输入第N云台摄像机采集的监测图像序列。再次，在特征提取器的目标定位层，检测图像序列，输出第一用户的位置框和关节定位。然后，在特征提取器的兴趣特征提取层，学习生成关节特征的注意力向量，再结合用户关节定位序列，输出用户的第N比对动作特征。接着，在行为分类层，通过将第N比对动作特征与第N基准动作特征匹配，判定行为类别，输出行为标签。随后，综合第一用户所有时刻的关节定位，生成第一用户的第N运动轨迹；综合所有时刻的行为标签，形成第一用户的第N行为特征序列。
通过激活注意力增强特征提取器对所有监测图像序列重复特征提取过程，处理园区内多个摄像头采集的监测视频，实现对同一用户在不同区域的运动轨迹和行为特征序列的获取，为全面地监测用户行为，提升监测效果奠定基础。
对所述第一运动轨迹直到所述第N运动轨迹进行时序化调整，生成第一用户运动轨迹；
在本申请实施例中，对第一用户在不同摄像头下提取得到的多组运动轨迹，进行时序上的统一整合与调整，最终生成该用户的完整运动轨迹。
首先，分析各运动轨迹的时间戳，确定各轨迹序列的时间跨度。其次，比较不同轨迹序列之间的起止时间和终止时间，检测存在轨迹缺失的时间间隔，作为缺失特征时区。再次，对缺失特征时区进行标注，将该种时区的运动轨迹设置为空。然后，将各轨迹片段按时间顺序连接成整体轨迹，生成时间上连贯的第一用户完整运动轨迹。通过时序调整，实现分散的多轨迹序列的有效衔接，提升了轨迹数据的完整性，为行为监测提供数据支持。
对所述第一行为特征序列直到所述第N行为特征序列进行时序化调整，生成第一用户行为特征序列；
在本申请实施例中，对第一用户在不同摄像区域提取得到的多组行为特征序列，进行时序上的统一整合与调整，最终生成该用户的完整行为特征序列。
首先，分析各行为特征序列的时间戳，确定序列时间跨度。其次，比较不同序列的起止时间和终止时间，检测存在的时间间隔。再次，在存在时间间隔内，根据行为知识库，进行间隔段的特征扩展，例如插入常见的过渡行为。然后，将各段行为序列按时间顺序连接成整体序列，对连接后的整体序列进行平滑处理，生成时间上连贯的第一用户行为特征序列。
通过特征扩展和平滑衔接不同视角下的行为特征，构建了连续的行为序列，为评估用户安全提供数据支持。
提取所述第一用户运动轨迹的缺失特征时区，获取所述缺失特征时区的前置运动轨迹和后置运动轨迹；
在本申请实施例中，缺失特征时区是指在第一用户的运动轨迹中轨迹数据出现空缺或不连续的时间区间，对应用户位于摄像头的监控盲区区域。这样会造成仅能对摄像机可见的区域进行危险预警，无法进行细致的行为监管以及盲区预警。因此需要对缺失特征时区进行轨迹补偿。前置运动轨迹和后置运动轨迹分别是指缺失时区时间段之前和之后的用户轨迹片段，反映用户进出盲区前后的运动状态。
在对第一运动轨迹直到第N运动轨迹进行时序化调整时，对缺失特征时区进行了标注。首先，对第一用户运动轨迹的缺失特征时区进行提取。然后，在该时区前的一段时间里，提取对应的第一用户运动轨迹，作为前置运动轨迹。同理，在该时区后一段时间内，提取对应的用户轨迹，作为后置运动轨迹，为后续的盲区补偿提供数据支持。
根据所述前置运动轨迹和所述后置运动轨迹结合盲区轨迹跟踪算法，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
在本申请实施例中，基于获取的前置和后置运动轨迹，结合盲区轨迹跟踪算法，对第一用户运动轨迹中的缺失特征时区进行补偿，以生成对应的盲区补偿轨迹。通过对缺失特征时区进行轨迹补偿，可以弥补监控系统的盲区问题，提供连续、完整的用户轨迹信息，增强监控的可靠性。从而实现对摄像机盲区可进行危险预警，以进行细致的行为监管以及盲区预警。
进一步的，生成盲区补偿轨迹包括以下内容；
根据所述前置运动轨迹，确定用户盲区起点，根据所述后置运动轨迹，确定用户盲区终点；
根据所述用户盲区起点和所述用户盲区终点，对园区盲区进行检索，生成标识特征区域；
基于所述用户盲区起点和所述用户盲区终点，在所述标识特征区域进行路径规划，生成多条路径规划结果；
根据所述缺失特征时区，确定盲区持续时长；
根据所述前置运动轨迹进行用户运动速度分析，生成前置运动速度，根据所述后置运动轨迹进行用户运动速度分析，生成后置运动速度；
根据所述盲区持续时长、所述前置运动速度、所述后置运动速度对所述多条路径规划结果进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹。
在一种可行的实施方式中，首先，分析前置运动轨迹最后一个时间点的坐标位置，设为用户盲区起点；分析后置运动轨迹第一个时间点的坐标位置，设为用户盲区终点。其次，根据确定的用户盲区起点和终点坐标，在园区三维场景模型中进行盲区检索，确定检索区域，记录该区域的长度、宽度等空间特征，进行标注，获取标识特征区域。再次，根据已确定的盲区起点和终点坐标，以及对应标识出的盲区空间特征区域，在该空间区域内，构建网格地图或拓扑图，作为路径搜索空间，采用A*算法进行起点到终点的多条路径规划结果。
接着，将缺失特征时区转化为盲区持续时长，根据前置运动轨迹和该轨迹对应的时间段，得到前置运动速度，根据后置运动轨迹和该轨迹对应的时间段，得到后置运动速度。随后，根据盲区持续时长、前置运动速度、后置运动速度对多条路径规划结果进行一致性校验，生成校验通过的路径规划结果，对缺失特征时区进行轨迹补偿，生成盲区补偿轨迹。
进一步的，对多条路径规划结果进行一致性校验，生成校验通过的路径规划结果，对缺失特征时区进行轨迹补偿，生成盲区补偿轨迹，包括：
获取所述多条路径规划结果的多个路径距离参数；
遍历所述多个路径距离参数，基于所述盲区持续时长和所述前置运动速度进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
遍历所述多个路径距离参数，基于所述盲区持续时长和所述后置运动速度进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
遍历所述多个路径距离参数，基于所述盲区持续时长，结合所述后置运动速度和所述前置运动速度的速度均值进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹。
在一种优选的实施方式中，为实现对缺失特征时区进行轨迹补偿，首先，获取多条规划路径结果中各路径的路径距离参数。然后，遍历所有路径长度参数，基于前置运动速度分别计算通过各条路径消耗的时长，与实际盲区持续时长比较，如果消耗的时长与实际盲区持续时长相差小于预设偏差阈值，即一致性校验通过，则根据校验通过的路径规划结果生成盲区补偿轨迹。同理，遍历所有路径长度参数，可基于后置运动速度分别计算通过各条路径消耗的时长，以实现一致性校验，从而生成盲区补偿轨迹。同时，遍历所有路径长度参数，可基于前置运动速度和后置运动速度的平均速度分别计算通过各条路径消耗的时长，以实现一致性校验，从而生成盲区补偿轨迹。通过多角度的一致性校验，选择出与实际情况吻合的规划路径结果，进行可靠的盲区轨迹补偿。
结合所述第一用户运动轨迹、所述第一用户行为特征序列和所述盲区补偿轨迹进行用户安全评估。
在本申请实施例中，首先，检测第一用户运动轨迹是否进入园区预定义的危险区域，如果有，给出区域入侵风险警告。同时，检查第一用户行为特征序列是否存在归类为不安全动作的特征，如果有，给出对应危险动作警告。同时，根据盲区补偿轨迹判断第一用户在盲区内是否存在危险动作，如果有，给出盲区风险警告。通过对第一用户的运动轨迹、行为特征序列、盲区补偿轨迹进行综合评估用户安全，并发出危险预警，与传统的园区安全监测仅能对摄像机可见的区域进行危险预警相比，实现对第一用户在园区内进行细致的行为监管以及盲区预警，为园区管理和安全保障提供了强有力的支持。
综上所述，本申请实施例所提供的一种园区安全监测方法具有如下技术效果：
接收第一云台摄像机的第一监测图像序列，直到第N云台摄像机的第N监测图像序列，通过获取全面的监测数据，为后续的分析和评估提供基础。
激活注意力增强特征提取器对第一监测图像序列进行处理，生成第一用户的第一运动轨迹和第一行为特征序列；激活注意力增强特征提取器对第N监测图像序列进行处理，生成第一用户的第N运动轨迹和第N行为特征序列；对第一运动轨迹直到第N运动轨迹进行时序化调整，生成第一用户运动轨迹；对第一行为特征序列直到第N行为特征序列进行时序化调整，生成第一用户行为特征序列；通过从大量的监测数据中筛选出关键信息，过滤掉无关的背景干扰，提取出用户的关键行为和动态轨迹，为后续的分析和评估提供准确的数据基础。
提取第一用户运动轨迹的缺失特征时区，获取缺失特征时区的前置运动轨迹和后置运动轨迹；根据前置运动轨迹和后置运动轨迹结合盲区轨迹跟踪算法，对缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；结合第一用户运动轨迹、第一用户行为特征序列和盲区补偿轨迹进行用户安全评估。通过消除监测图像序列中的盲区影响，填补缺失特征时区，实现对监控对象的全面监测和安全评估，为园区管理和安全保障提供了强有力的支持。
实施例二
基于与前述实施例中一种园区安全监测方法相同的发明构思，如图3所示，本申请实施例提供了一种园区安全监测系统，该系统的模型计算部署于边缘盒子，该系统包括：
监测图像接收模块11，用于接收第一云台摄像机的第一监测图像序列，直到第N云台摄像机的第N监测图像序列；
第一图像处理模块12，用于激活注意力增强特征提取器对所述第一监测图像序列进行处理，生成第一用户的第一运动轨迹和第一行为特征序列；
第N图像处理模块13，用于激活注意力增强特征提取器对所述第N监测图像序列进行处理，生成第一用户的第N运动轨迹和第N行为特征序列；
运动轨迹调整模块14，用于对所述第一运动轨迹直到所述第N运动轨迹进行时序化调整，生成第一用户运动轨迹；
特征序列调整模块15，用于第一用户行为特征序列模块，所述对所述第一行为特征序列直到所述第N行为特征序列进行时序化调整，生成第一用户行为特征序列；
缺失特征提取模块16，用于提取所述第一用户运动轨迹的缺失特征时区，获取所述缺失特征时区的前置运动轨迹和后置运动轨迹；
盲区轨迹补偿模块17，用于根据所述前置运动轨迹和所述后置运动轨迹结合盲区轨迹跟踪算法，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
用户安全评估模块18，用于结合所述第一用户运动轨迹、所述第一用户行为特征序列和所述盲区补偿轨迹进行用户安全评估。
进一步的，第一图像处理模块12包括以下执行步骤：
所述注意力增强特征提取器包括目标定位层、兴趣特征提取层和行为特征归类层；
所述目标定位层包括第一处理节点、第二处理节点和第一输出节点；
所述兴趣特征提取层包括第一兴趣特征提取节点，所述第一兴趣特征提取节点包括先后串联的第一注意力加权网络和第一特征提取网络；
所述兴趣特征提取层包括第二兴趣特征提取节点，所述第二兴趣特征提取节点包括先后串联的第二注意力加权网络和第二特征提取网络，其中，所述第一兴趣特征提取节点和所述第二兴趣特征提取节点共享模型参数和模型结构。
进一步的，第一图像处理模块12还包括以下执行步骤：
对所述第一监测图像序列按照第一步长进行分割，生成第一分割图像序列；
对所述第一监测图像序列按照第一步长的八分之一进行分割，生成第二分割图像序列；
激活第一处理节点对所述第一分割图像序列进行人员定位，激活所述第二处理节点对所述第二分割图像序列进行人员关节定位提取，生成第一用户关节定位序列和第一运动轨迹，其中，所述第一运动轨迹传输至所述注意力增强特征提取器的输出层；
激活所述第一兴趣特征提取节点接收所述第一用户关节定位序列，基于所述第一注意力加权网络进行预设关节特征加权，通过所述第一特征提取网络根据第一注意力加权结果对所述第一用户关节定位序列进行处理，生成第一比对动作特征；
激活所述第二兴趣特征提取节点接收关节定位模板序列，基于所述第二注意力加权网络进行预设关节特征加权，通过所述第二特征提取网络根据第二注意力加权结果对所述关节定位模板序列进行处理，生成第一基准动作特征，其中，所述关节定位模板序列具有一一对应的动作类型；
激活所述行为特征归类层对所述第一比对动作特征和所述第一基准动作特征进行相似度评价，生成所述第一行为特征序列。
进一步的，第一图像处理模块12还包括以下执行步骤：
构建相似度评价函数：
；
；/>
；
；
；
其中，为第一比对动作特征的M个关节定位特征序列，/>表征第i个关节的定位特征序列，/>表征第i个关节的第n时序的关节的定位特征，/>为第一基准动作特征的M个关节定位特征序列，/>表征第i个关节的定位特征序列，/>表征第i个关节的第n时序的关节的定位特征，M表征关节总数，/>表征时序总数，/>表征所述第一比对动作特征和所述第一基准动作特征的相似度，/>为计数函数，/>表征第i个关节视为定位一致的距离阈值，/>表征第n时序的第i个关节的比对动作特征和基准动作特征的相对定位距离偏差；
当相似度评价结果大于或等于相似度阈值，将所述第一基准动作特征的动作类型添加进所述第一行为特征序列；
当所述相似度评价结果小于所述相似度阈值，更新所述关节定位模板序列进行相似度评价，生成所述第一行为特征序列。
进一步的，第一图像处理模块12还包括以下执行步骤：
根据所述第一用户运动轨迹，确定定位园区场景特征，其中，所述定位园区场景特征包括生产类型特征和生产分布特征；
根据所述生产类型特征和所述生产分布特征进行生产事故频繁分析，生成频繁事故动作类型的关节定位序列，设为所述关节定位模板序列。
进一步的，盲区轨迹补偿模块17包括以下执行步骤：
根据所述前置运动轨迹，确定用户盲区起点，根据所述后置运动轨迹，确定用户盲区终点；
根据所述用户盲区起点和所述用户盲区终点，对园区盲区进行检索，生成标识特征区域；
基于所述用户盲区起点和所述用户盲区终点，在所述标识特征区域进行路径规划，生成多条路径规划结果；
根据所述缺失特征时区，确定盲区持续时长；
根据所述前置运动轨迹进行用户运动速度分析，生成前置运动速度，根据所述后置运动轨迹进行用户运动速度分析，生成后置运动速度；
根据所述盲区持续时长、所述前置运动速度、所述后置运动速度对所述多条路径规划结果进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹。
进一步的，盲区轨迹补偿模块17还包括以下执行步骤：
获取所述多条路径规划结果的多个路径距离参数；
遍历所述多个路径距离参数，基于所述盲区持续时长和所述前置运动速度进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
遍历所述多个路径距离参数，基于所述盲区持续时长和所述后置运动速度进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
遍历所述多个路径距离参数，基于所述盲区持续时长，结合所述后置运动速度和所述前置运动速度的速度均值进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法，在此不做多余限制。
进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。

Claims (4)

1.一种园区安全监测方法，其特征在于，应用于园区安全监测系统，所述系统部署于边缘计算盒子，所述系统和多个云台摄像机通信连接，包括：
接收第一云台摄像机的第一监测图像序列，直到第N云台摄像机的第N监测图像序列；
激活注意力增强特征提取器对所述第一监测图像序列进行处理，生成第一用户的第一运动轨迹和第一行为特征序列；
激活注意力增强特征提取器对所述第N监测图像序列进行处理，生成第一用户的第N运动轨迹和第N行为特征序列；
对所述第一运动轨迹直到所述第N运动轨迹进行时序化调整，生成第一用户运动轨迹；
对所述第一行为特征序列直到所述第N行为特征序列进行时序化调整，生成第一用户行为特征序列；
提取所述第一用户运动轨迹的缺失特征时区，获取所述缺失特征时区的前置运动轨迹和后置运动轨迹；
根据所述前置运动轨迹和所述后置运动轨迹结合盲区轨迹跟踪算法，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
结合所述第一用户运动轨迹、所述第一用户行为特征序列和所述盲区补偿轨迹进行用户安全评估；
其中，激活注意力增强特征提取器对所述第一监测图像序列进行处理，生成第一用户的第一运动轨迹和第一行为特征序列，包括：
所述注意力增强特征提取器包括目标定位层、兴趣特征提取层和行为特征归类层；
所述目标定位层包括第一处理节点、第二处理节点和第一输出节点；
所述兴趣特征提取层包括第一兴趣特征提取节点，所述第一兴趣特征提取节点包括先后串联的第一注意力加权网络和第一特征提取网络；
所述兴趣特征提取层包括第二兴趣特征提取节点，所述第二兴趣特征提取节点包括先后串联的第二注意力加权网络和第二特征提取网络，其中，所述第一兴趣特征提取节点和所述第二兴趣特征提取节点共享模型参数和模型结构；
对所述第一监测图像序列按照第一步长进行分割，生成第一分割图像序列；
对所述第一监测图像序列按照第一步长的八分之一进行分割，生成第二分割图像序列；
激活第一处理节点对所述第一分割图像序列进行人员定位，激活所述第二处理节点对所述第二分割图像序列进行人员关节定位提取，生成第一用户关节定位序列和第一运动轨迹，其中，所述第一运动轨迹传输至所述注意力增强特征提取器的输出层；
激活所述第一兴趣特征提取节点接收所述第一用户关节定位序列，基于所述第一注意力加权网络进行预设关节特征加权，通过所述第一特征提取网络根据第一注意力加权结果对所述第一用户关节定位序列进行处理，生成第一比对动作特征；
激活所述第二兴趣特征提取节点接收关节定位模板序列，基于所述第二注意力加权网络进行预设关节特征加权，通过所述第二特征提取网络根据第二注意力加权结果对所述关节定位模板序列进行处理，生成第一基准动作特征，其中，所述关节定位模板序列具有一一对应的动作类型；
激活所述行为特征归类层对所述第一比对动作特征和所述第一基准动作特征进行相似度评价，生成所述第一行为特征序列；
其中，根据所述前置运动轨迹和所述后置运动轨迹结合盲区轨迹跟踪算法，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹，包括：
根据所述前置运动轨迹，确定用户盲区起点，根据所述后置运动轨迹，确定用户盲区终点；
根据所述用户盲区起点和所述用户盲区终点，对园区盲区进行检索，生成标识特征区域；
基于所述用户盲区起点和所述用户盲区终点，在所述标识特征区域进行路径规划，生成多条路径规划结果；
根据所述缺失特征时区，确定盲区持续时长；
根据所述前置运动轨迹进行用户运动速度分析，生成前置运动速度，根据所述后置运动轨迹进行用户运动速度分析，生成后置运动速度；
根据所述盲区持续时长、所述前置运动速度、所述后置运动速度对所述多条路径规划结果进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹，包括:
获取所述多条路径规划结果的多个路径距离参数；
遍历所述多个路径距离参数，基于所述盲区持续时长和所述前置运动速度进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
遍历所述多个路径距离参数，基于所述盲区持续时长和所述后置运动速度进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
遍历所述多个路径距离参数，基于所述盲区持续时长，结合所述后置运动速度和所述前置运动速度的速度均值进行一致性校验，生成校验通过的路径规划结果，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹。
2.如权利要求1所述的方法，其特征在于，激活所述行为特征归类层对所述第一比对动作特征和所述第一基准动作特征进行相似度评价，生成所述第一行为特征序列，包括：
构建相似度评价函数：
；
；
；
；
；
其中，为第一比对动作特征的M个关节定位特征序列，/>表征第i个关节的定位特征序列，/>表征第i个关节的第n时序的关节的定位特征，/>为第一基准动作特征的M个关节定位特征序列，/>表征第i个关节的定位特征序列，/>表征第i个关节的第n时序的关节的定位特征，M表征关节总数，/>表征时序总数，/>表征所述第一比对动作特征和所述第一基准动作特征的相似度，/>为计数函数，/>表征第i个关节视为定位一致的距离阈值，/>表征第n时序的第i个关节的比对动作特征和基准动作特征的相对定位距离偏差；
当相似度评价结果大于或等于相似度阈值，将所述第一基准动作特征的动作类型添加进所述第一行为特征序列；
当所述相似度评价结果小于所述相似度阈值，更新所述关节定位模板序列进行相似度评价，生成所述第一行为特征序列。
3.如权利要求1所述的方法，其特征在于，激活所述第一兴趣特征提取节点接收关节定位模板序列，包括：
根据所述第一用户运动轨迹，确定定位园区场景特征，其中，所述定位园区场景特征包括生产类型特征和生产分布特征；
根据所述生产类型特征和所述生产分布特征进行生产事故频繁分析，生成频繁事故动作类型的关节定位序列，设为所述关节定位模板序列。
4.一种园区安全监测系统，其特征在于，所述系统部署于边缘计算盒子，用于实施权利要求1-3任意一项所述的一种园区安全监测方法，所述系统包括：
监测图像接收模块，所述监测图像接收模块用于接收第一云台摄像机的第一监测图像序列，直到第N云台摄像机的第N监测图像序列；
第一图像处理模块，所述第一图像处理模块用于激活注意力增强特征提取器对所述第一监测图像序列进行处理，生成第一用户的第一运动轨迹和第一行为特征序列；
第N图像处理模块，所述第N图像序列模块用于激活注意力增强特征提取器对所述第N监测图像序列进行处理，生成第一用户的第N运动轨迹和第N行为特征序列；
运动轨迹调整模块，所述运动轨迹调整模块用于对所述第一运动轨迹直到所述第N运动轨迹进行时序化调整，生成第一用户运动轨迹；
特征序列调整模块，所述特征序列调整模块用于第一用户行为特征序列模块，所述对所述第一行为特征序列直到所述第N行为特征序列进行时序化调整，生成第一用户行为特征序列；
缺失特征提取模块，所述缺失特征提取模块用于提取所述第一用户运动轨迹的缺失特征时区，获取所述缺失特征时区的前置运动轨迹和后置运动轨迹；
盲区轨迹补偿模块，所述盲区轨迹补偿模块用于根据所述前置运动轨迹和所述后置运动轨迹结合盲区轨迹跟踪算法，对所述缺失特征时区进行轨迹补偿，生成盲区补偿轨迹；
用户安全评估模块，所述用户安全评估模块用于结合所述第一用户运动轨迹、所述第一用户行为特征序列和所述盲区补偿轨迹进行用户安全评估。
CN202311146029.6A 2023-09-07 2023-09-07 一种园区安全监测方法及系统 Active CN116886877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311146029.6A CN116886877B (zh) 2023-09-07 2023-09-07 一种园区安全监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311146029.6A CN116886877B (zh) 2023-09-07 2023-09-07 一种园区安全监测方法及系统

Publications (2)

Publication Number Publication Date
CN116886877A CN116886877A (zh) 2023-10-13
CN116886877B true CN116886877B (zh) 2023-11-14

Family

ID=88259099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311146029.6A Active CN116886877B (zh) 2023-09-07 2023-09-07 一种园区安全监测方法及系统

Country Status (1)

Country Link
CN (1) CN116886877B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048249A (ja) * 2005-08-08 2007-02-22 Ara Software:Kk 安全監視システム
CN103392187A (zh) * 2010-12-30 2013-11-13 派尔高公司 利用从物体轨迹数据获取的统计和语义特征的场景活动分析
CN110610154A (zh) * 2019-09-10 2019-12-24 北京迈格威科技有限公司 行为识别方法、装置、计算机设备和存储介质
CN110751022A (zh) * 2019-09-03 2020-02-04 平安科技（深圳）有限公司 基于图像识别的城市宠物活动轨迹监测方法及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048249A (ja) * 2005-08-08 2007-02-22 Ara Software:Kk 安全監視システム
CN103392187A (zh) * 2010-12-30 2013-11-13 派尔高公司 利用从物体轨迹数据获取的统计和语义特征的场景活动分析
CN110751022A (zh) * 2019-09-03 2020-02-04 平安科技（深圳）有限公司 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN110610154A (zh) * 2019-09-10 2019-12-24 北京迈格威科技有限公司 行为识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN116886877A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
US9569531B2 (en) System and method for multi-agent event detection and recognition
Gao et al. Distributed mean-field-type filters for traffic networks
CN103986910A (zh) 一种基于智能分析摄像机的客流统计方法和系统
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
CN106951889A (zh) 井下高危区域动目标监测和管理系统
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
Parikh et al. Animal detection using template matching algorithm
CN113362374A (zh) 一种基于目标跟踪网络的高空抛物检测方法及系统
CN114898326A (zh) 基于深度学习的单行道车辆逆行检测方法、系统及设备
CN111814510A (zh) 一种遗留物主体检测方法及装置
Lijun et al. Video-based crowd density estimation and prediction system for wide-area surveillance
CN113935395A (zh) 对象识别神经网络的训练
CN115546260A (zh) 目标识别跟踪方法、装置、电子设备及存储介质
CN109977796A (zh) 尾随通行检测方法及装置
CN113538513A (zh) 监控对象的进出控制方法、装置、设备及存储介质
CN116886877B (zh) 一种园区安全监测方法及系统
Wang et al. Automatic detection and tracking of precast walls from surveillance construction site videos
Garvanov et al. Detection and parameters estimation of moving objects via video surveillance
CN115767424A (zh) 一种基于rss与csi融合的视频定位方法
CN114677608A (zh) 身份特征生成方法、设备及存储介质
CHAHARI et al. Neural network assisted video surveillance for monitoring human activity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant