CN117351405A - 一种人群行为分析系统及方法 - Google Patents

Abstract

本发明公开了一种人群行为分析系统及方法，涉及行为分析技术领域，目标跟踪模块基于物体检测算法检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动，行为识别模块通过对跟踪目标的运动和姿态进行分析，异常检测模块识别不寻常或潜在威胁的行为，当分析跟踪目标行为存在异常时，发出报警信号，轨迹分析模块分析跟踪目标在空间中的运动轨迹。该分析系统能够有效对跟踪目标的运动和姿态进行分析，当分析跟踪目标行为存在异常时，发出报警信号，从而使得用户能够提前制定管理决策，提高管理效率，并且，通过分析跟踪目标在空间中的运动轨迹，理解人群的集聚模式、常用路径从而便于实施相应的管理策略。

Description

一种人群行为分析系统及方法

技术领域

本发明涉及行为分析技术领域，具体涉及一种人群行为分析系统及方法。

背景技术

人群行为分析系统是一种利用计算机视觉、机器学习和数据分析等技术，对人群在特定场景中的行为进行实时监测、分析和识别的系统，这类系统广泛应用于视频监控、智能交通、公共安全、商业分析等领域，人群行为分析系统可以通过监测公共场所的人流、车流等信息，提供实时的城市状况，帮助城市管理者更有效地应对紧急情况、交通拥堵、人员聚集等问题。

现有技术存在以下不足：

现有的监控系统通常需要人工进行监视，当监控区域出现人群行为异常时，需要人工监视到后再进行警示和作出相应的管理策略，然而，人工监视存在不确定性，若监控区域已经发生异常，但监视人员未能注意到异常（例如监控画面过多、监视人员外出或休息时），则可能会导致异常严重性增大，进而不便于进行管理；

基于此，本发明提出一种人群行为分析系统及方法，能够自动对监控区域出现的异常进行识别并警示，便于管理。

发明内容

本发明的目的是提供一种人群行为分析系统及方法，以解决背景技术中不足。

为了实现上述目的，本发明提供如下技术方案：一种人群行为分析系统，包括视频采集模块、目标跟踪模块、姿态估计模块、行为识别模块、异常检测模块、轨迹分析模块、数据存储模块以及用户界面模块：

视频采集模块：从摄像头或其他视频源中采集实时视频流；

目标跟踪模块：基于物体检测算法检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动；

姿态估计模块：分析跟踪目标的姿态；

行为识别模块：通过对跟踪目标的运动和姿态进行分析，识别出人群或个体的具体行为；

异常检测模块：识别不寻常或潜在威胁的行为，当分析跟踪目标行为存在异常时，发出报警信号；

轨迹分析模块：用于分析跟踪目标在空间中的运动轨迹；

数据存储模块：用于管理和存储视频流和异常检测结果；

用户界面模块：用于用户实时查看异常检测结果，并接收异常事件的报警通知。

所述异常检测模块获取监测区域中的人群密度浮动系数、禁入区域停留时长、姿态偏差指数；

将人群密度浮动系数、禁入区域停留时长、姿态偏差指数进行归一化处理后，综合计算获取异常系数值；

异常系数值越大，表明监测区域内人群行为越不存在异常，计算获取异常系数值后，将异常系数/>值与异常阈值进行对比；

若异常系数值大于等于异常阈值，分析跟踪目标行为不存在异常，若异常系数值小于异常阈值，分析跟踪目标行为存在异常，当分析跟踪目标行为存在异常时，发出报警信号。

在一个优选的实施方式中，所述异常系数值的计算表达式为：；式中，/>为姿态偏差指数，/>为人群密度浮动系数，/>为禁入区域停留时长，/>分别为人群密度浮动系数、禁入区域停留时长的比例系数，且。

在一个优选的实施方式中，所述姿态偏差指数的获取逻辑为：

为跟踪目标的所有异常姿态预设一个异常姿态时长阈值，通过异常姿态时长阈值与实时获取的异常姿态持续时长对比获取姿态偏差指数，异常姿态包括大幅度运动姿态、静止姿态以及关节角度偏差姿态；

若大幅度运动姿态持续时长、静止姿态持续时长或关节角度偏差姿态持续时长中任一个异常姿态持续时长超过异常姿态时长阈值，姿态偏差指数；

若大幅度运动姿态持续时长、静止姿态持续时长以及关节角度偏差姿态持续时长均未超过异常姿态时长阈值，姿态偏差指数。

在一个优选的实施方式中，所述人群密度浮动系数的计算表达式为：，式中，/>为人群密度的实时变化量，/>为人群聚集预警的时段，/>为人群分散预警的时段。

在一个优选的实施方式中，所述姿态估计模块基于深度学习模型对目标进行人体关键点检测，并通过姿态估计模型将检测到的人体关键点转化为具体的姿态信息，估计目标的姿态，姿态信息包括身体的方向、关节的角度、肢体的运动状态，通分类器对估计到的姿态进行动作分类，识别目标的具体动作。

在一个优选的实施方式中，所述姿态估计模块收集包含人体姿态标注的图像数据集，对图像进行预处理后，采用卷积和池化操作逐步减小特征图的尺寸，通过上采样和残差连接逐步增大特征图的尺寸，使用随机梯度下降优化算法调整深度学习模型参数，使损失函数最小化，使用训练好的深度学习模型对新的图像进行前向传播，生成关键点的预测结果；

所述姿态估计模块使用OpenPose提供的命令行工具对图像或视频进行关键点检测，解析OpenPose输出的关键点坐标，获取每个关键点的具体位置信息，利用解析得到的关键点坐标计算各个关节的角度后获取姿态信息。

在一个优选的实施方式中，所述目标跟踪模块通过YOLOV4模型对视频流的每一帧进行目标检测，输出每个目标的边界框、类别标签和置信度，基于SORT算法对每个检测到的目标初始化目标跟踪器，在视频的后续帧中，使用SORT算法对之前检测到的目标进行跟踪，将跟踪到的目标信息输出。

在一个优选的实施方式中，所述目标跟踪模块从YOLOV4获取当前视频帧中的目标检测结果，对每个目标检测输出使用SORT算法进行初始化，SORT算法使用卡尔曼滤波器对目标进行跟踪；

通过将目标的检测框作为初始状态输入给卡尔曼滤波器完成对目标检测输出的初始化，将初始化后的目标跟踪信息添加到目标跟踪列表中，每个目标跟踪条目包括目标ID、当前位置、速度信息；

重新运行目标跟踪器，获取下一帧中的目标检测结果，使用SORT算法对先前初始化的目标跟踪器进行更新，SORT算法使用卡尔曼滤波器预测目标在下一帧中的位置，然后通过匹配当前帧的目标检测结果和预测位置来更新目标状态；

在目标跟踪的过程中，使用匈牙利算法来关联当前帧的目标检测结果和已有的目标跟踪器，根据目标关联的结果，更新每个目标跟踪器的状态，状态包括位置信息、速度信息。

在一个优选的实施方式中，所述目标跟踪模块使用匈牙利算法来关联当前帧的目标检测结果和已有的目标跟踪器包括以下步骤：

基于目标之间的距离计算当前帧中的每个目标检测结果和已有目标跟踪器的关联成本，目标检测结果和目标跟踪器之间的成本构成成本矩阵；

使用匈牙利算法找到成本矩阵中的最小成本分配，使得每个目标检测结果都与一个目标跟踪器关联；

解析匈牙利算法的输出，得到每个目标检测结果与相应目标跟踪器的关联，构成当前帧的目标关联结果。

本发明还提供一种人群行为分析方法，所述分析方法包括以下步骤：

S1：视频采集模块从摄像头或其他视频源中采集实时视频流，基于物体检测算法检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动；

S2：分析跟踪目标的姿态，通过对跟踪目标的运动和姿态进行分析，识别人群不寻常或潜在威胁的行为；

S3：当分析跟踪目标行为存在异常时，发出报警信号；S4：分析跟踪目标在空间中的运动轨迹，获取人群的集聚模式、常用路径；

S5：将采集到的视频流和异常检测结果进行存储和管理；

S6：用户通过用户界面实时查看异常检测结果，并接收异常事件的报警通知。

在上述技术方案中，本发明提供的技术效果和优点：

1、本发明通过目标跟踪模块基于物体检测算法检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动，姿态估计模块分析跟踪目标的姿态，行为识别模块通过对跟踪目标的运动和姿态进行分析，识别出人群或个体的具体行为，异常检测模块识别不寻常或潜在威胁的行为，当分析跟踪目标行为存在异常时，发出报警信号，轨迹分析模块分析跟踪目标在空间中的运动轨迹，帮助理解人群的集聚模式、常用路径等信息。该分析系统能够有效对跟踪目标的运动和姿态进行分析，当分析跟踪目标行为存在异常时，发出报警信号，从而使得用户能够提前制定管理决策，提高管理效率，并且，通过分析跟踪目标在空间中的运动轨迹，理解人群的集聚模式、常用路径从而便于实施相应的管理策略；

2、本发明通过异常检测模块获取监测区域中的人群密度浮动系数、禁入区域停留时长、姿态偏差指数，将人群密度浮动系数、禁入区域停留时长、姿态偏差指数进行归一化处理后，综合计算获取异常系数，有效提高数据的处理效率，并且综合分析多项数据，分析更为全面，减轻异常检测模块的计算负担，最后，通过异常系数值与异常阈值的对比结果区分监测区域存在异常或不存在异常，从而便于用户提前进行管理。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明的系统模块图。

图2为本发明的方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：请参阅图1所示，本实施例所述一种人群行为分析系统，包括视频采集模块、目标跟踪模块、姿态估计模块、行为识别模块、异常检测模块、轨迹分析模块、数据存储模块以及用户界面模块：

视频采集模块：该模块负责从摄像头或其他视频源中采集实时视频流，视频采集是整个系统的基础，为后续的分析提供必要的数据，实时视频流数据发送至目标跟踪模块以及数据存储模块；

首先，系统需要建立与摄像头或其他视频源的连接，这可能涉及到配置摄像头的参数，例如分辨率、帧率、曝光等，以确保采集到的视频数据符合系统的需求，一旦与摄像头建立连接，视频采集模块开始获取实时视频流，这可以通过视频捕获卡、网络摄像头、摄像头API等方式实现，在将视频流传递给其他模块之前，可能需要进行一些预处理步骤，以提高后续分析的效果，这可能包括图像去噪、颜色校正、图像稳定等，为了减小数据传输和存储的成本，视频流可能需要进行压缩和编码，常见的压缩算法包括H.264、H.265等，编码后的视频数据可以更高效地传输到目标跟踪模块和数据存储模块；

压缩和编码后的视频数据传输至目标跟踪模块，该模块负责检测视频中的目标并跟踪它们的运动，通常，数据传输可以通过网络通信协议完成，如RTSP（Real-Time-Streaming-Protocol）或者其他实时传输协议，同时，压缩和编码后的视频数据也可以传输至数据存储模块，以便长期存储、后续分析或审查，存储可以采用本地存储或云存储等方式。

目标跟踪模块：该模块用于检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动，目标检测可以采用物体检测算法，如YOLO（You-Only-Look-Once）或Faster-R-CNN（Region-based-Convolutional-Neural-Network），跟踪目标信息发送至姿态估计模块以及轨迹分析模块，运动状态发送至行为识别模块。

姿态估计模块：分析跟踪目标的姿态，包括站立、行走、举手等动作，这对于理解人群的行为模式和情境非常重要，姿态信息发送至行为识别模块。

行为识别模块：通过对跟踪目标的运动和姿态进行分析，行为识别模块识别出人群的具体行为，如走动、奔跑、聚集、互动等，具体行为信息发送至异常检测模块。

异常检测模块：异常检测模块负责识别不寻常或潜在威胁的行为，当分析跟踪目标行为存在异常时，发出报警信号，例如恐慌、打斗、或者物体的异常位置，这有助于及时发现并应对可能的安全风险，报警信号发送至用户界面模块，异常检测结果发送至数据存储模块以及用户界面模块。

轨迹分析模块：该模块分析跟踪目标在空间中的运动轨迹，帮助理解人群的集聚模式、常用路径等信息，这对于城市规划、交通管理等方面有着重要的应用，运动轨迹信息发送至用户界面模块。

数据存储模块：所有采集到的视频流和异常检测结果需要进行有效的存储和管理，这个模块负责视频流和异常检测结果的存储、检索和备份；

首先，需要设计合适的数据存储架构，这可能包括选择合适的数据库系统（如关系型数据库、时序数据库、或者分布式数据库），定义数据表结构，并考虑数据的索引和分区；

将采集到的视频流按照一定的规则进行存储，这可以根据时间戳、摄像头位置等进行分割和组织，以便后续的检索和回放，存储异常检测模块产生的结果，这可能包括异常事件的时间、位置、描述以及相关的视频片段等信息，将这些结果与视频流数据关联存储，以便在需要时能够快速定位到异常事件的上下文，对于大规模的视频流和异常检测结果，可能需要进行存储优化，包括压缩存储、冷热数据分离等策略，以降低存储成本和提高数据读写性能，为了提高数据检索效率，建立合适的数据索引，同时，需要管理元数据，记录存储的视频流和异常检测结果的关键信息，以便后续的检索和分析；

实施定期的数据备份策略，以确保在发生意外事件时能够迅速恢复数据，这可以包括本地备份和云端备份等多层次的数据保护，设定合适的权限控制，确保只有授权人员可以访问和修改存储的数据，加密存储也是保护隐私和数据安全的重要手段，设置实时存储监控机制，检测存储系统的健康状况，及时发现并处理存储故障，确保系统的可靠性和稳定性，考虑相关法规和合规性要求，确保数据存储与处理过程符合法律法规的规定，特别是涉及个人隐私和敏感信息的部分。

用户界面模块：通过用户界面，用户可以实时查看异常检测结果，并接收异常事件的报警通知；

设计直观、易用的用户界面，以满足用户的操作需求，包括合适的图表、图形元素、实时监控面板等，以便用户能够快速了解系统的状态，在用户界面上展示实时的异常检测结果，包括发现的异常事件、相关视频片段、异常发生的时间和位置等关键信息，这有助于用户迅速发现并响应异常行为，允许用户设置报警通知的方式，例如通过手机短信、邮件、推送通知等，用户可以根据需要选择接收特定类型的异常事件报警，提高系统的个性化适应性；

提供用户界面用于配置和调整系统参数，例如设置目标跟踪的灵敏度、调整异常检测算法的阈值等，这有助于用户根据具体应用场景进行定制化设置，允许用户查询历史的异常检测记录和相关视频片段，以便进行事后分析、审查和报告，提供灵活的查询条件，使用户能够方便地检索所需的数据，在用户界面上显示系统的实时状态，包括各个模块的运行情况、数据存储使用情况、硬件健康状态等，这有助于管理员监控系统的整体健康状况；

引入用户认证和权限管理机制，确保只有授权人员可以访问和操作系统，不同角色的用户可能有不同的权限，以满足不同用户的需求，提供用户反馈通道，让用户能够向系统提出建议、报告问题或提供其他反馈，这有助于系统不断改进和优化，考虑到用户可能使用不同类型的设备，确保用户界面在各种平台上的兼容性，例如PC、平板电脑和手机，如果系统面向多语言用户，提供多语言支持，使用户能够以其首选语言使用系统。

本申请通过目标跟踪模块基于物体检测算法检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动，姿态估计模块分析跟踪目标的姿态，行为识别模块通过对跟踪目标的运动和姿态进行分析，识别出人群或个体的具体行为，异常检测模块识别不寻常或潜在威胁的行为，当分析跟踪目标行为存在异常时，发出报警信号，轨迹分析模块分析跟踪目标在空间中的运动轨迹，帮助理解人群的集聚模式、常用路径等信息。该分析系统能够有效对跟踪目标的运动和姿态进行分析，当分析跟踪目标行为存在异常时，发出报警信号，从而使得用户能够提前制定管理决策，提高管理效率，并且，通过分析跟踪目标在空间中的运动轨迹，理解人群的集聚模式、常用路径从而便于实施相应的管理策略。

实施例2：A、目标跟踪模块用于检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动，目标检测可以采用物体检测算法，如YOLO（You-Only-Look-Once）或Faster-R-CNN（Region-based-Convolutional-Neural-Network）；

使用配置好的YOLOV4模型对视频流的每一帧进行目标检测，YOLOV4的特点是可以同时检测多个目标，输出每个目标的边界框、类别标签和置信度，基于SORT算法（Simple-Online-and-Realtime-Tracking）对每个检测到的目标初始化目标跟踪器，在视频的后续帧中，使用SORT算法（Simple-Online-and-Realtime-Tracking）对之前检测到的目标进行跟踪，这有助于连续追踪目标，即使它们在视频流中发生运动，在多个帧之间，进行目标关联，确保正确地将同一个目标在不同帧之间进行匹配，将跟踪到的目标的信息（位置、类别、运动信息等）输出给其他模块，对于实时处理，可能需要对目标跟踪模块进行性能优化，例如使用硬件加速、模型量化等技术，以确保跟踪的实时性；

A1、基于SORT算法（Simple-Online-and-Realtime-Tracking）对每个检测到的目标初始化目标跟踪器，在视频的后续帧中，使用SORT算法（Simple-Online-and-Realtime-Tracking）对之前检测到的目标进行跟踪包括以下步骤：

1）初始化目标跟踪器：从YOLOV4或其他目标跟踪器获取当前视频帧中的目标检测结果，包括目标的边界框、类别标签和置信度，对每个目标检测输出使用SORT算法进行初始化，SORT算法使用卡尔曼滤波器对目标进行跟踪，因此需要初始化卡尔曼滤波器的状态，这一步可以通过将目标的检测框作为初始状态输入给卡尔曼滤波器来实现，将初始化后的目标跟踪信息添加到目标跟踪列表中，每个目标跟踪条目通常包括目标ID、当前位置、速度信息等；

2）目标跟踪：获取视频的下一帧，重新运行目标跟踪器，获取新一帧中的目标检测结果，使用SORT算法对先前初始化的目标跟踪器进行更新，SORT算法使用卡尔曼滤波器来预测目标在下一帧中的位置，然后通过匹配当前帧的目标检测结果和预测位置来更新目标状态，在目标跟踪的过程中，使用目标关联算法（通常是匈牙利算法或最短路径算法）来关联当前帧的目标检测结果和已有的目标跟踪器，这确保每个目标检测结果都与先前跟踪的目标正确关联，根据目标关联的结果，更新每个目标跟踪器的状态，包括位置、速度等信息，更新目标跟踪列表，确保其中包含最新的目标跟踪信息；

21）在目标跟踪的过程中，使用匈牙利算法来关联当前帧的目标检测结果和已有的目标跟踪器包括以下步骤：

对于当前帧中的每个目标检测结果和已有的目标跟踪器，计算它们之间的关联成本，成本可以基于目标之间的距离、相似性分数或其他相关性度量来确定，目标检测结果和目标跟踪器之间的成本构成一个成本矩阵，使用匈牙利算法（也称为著名的Hungarian-Algorithm）来找到成本矩阵中的最小成本分配，使得每个目标检测结果都与一个目标跟踪器关联，匈牙利算法保证了成本最小的匹配，解析匈牙利算法的输出，得到每个目标检测结果与相应目标跟踪器的关联，这构成了当前帧的目标关联结果，检查是否有一些目标检测结果未能与目标跟踪器成功匹配，对于这些未匹配的目标检测结果，可能表示新出现的目标，可以考虑初始化新的目标跟踪器，同样，检查是否有一些目标跟踪器未能成功匹配到目标检测结果，这可能表示目标已经消失或遮挡，对于这些未匹配的目标跟踪器，可能需要采取相应的处理措施，如删除或标记为消失，根据匹配结果，更新目标跟踪器的状态信息，包括位置、速度等。

B、姿态估计模块分析跟踪目标的姿态，包括站立、行走、举手等动作，这对于理解人群的行为模式和情境非常重要；

使用深度学习模型对目标进行人体关键点检测，人体关键点通常包括头部、肩膀、手、脚等关键位置，选择适用于任务的姿态估计模型。常见的模型包括OpenPose、PoseNet等。这些模型能够将检测到的人体关键点转化为具体的姿态信息，使用选择的姿态估计模型对人体关键点进行处理，估计目标的姿态，姿态信息包括身体的方向、关节的角度、肢体的运动状态等，对估计到的姿态进行动作分类，以识别目标的具体动作，如站立、行走、举手等，通过分类器来实现动作分类；

B1、使用深度学习模型对目标进行人体关键点检测，人体关键点通常包括头部、肩膀、手、脚等关键位置，包括以下步骤：

收集包含人体姿态标注的图像数据集，其中标注包括头部、肩膀、手、脚等关键点的位置，对图像进行预处理，包括缩放、归一化、数据增强等，以提高模型的泛化能力，选择Hourglass-Network作为人体关键点检测的模型，采用卷积和池化操作逐步减小特征图的尺寸，捕捉多尺度特征，采用上采样和残差连接逐步增大特征图的尺寸，还原空间信息，使用残差连接有助于减轻梯度消失问题，提高网络的训练效果，使用随机梯度下降（SGD）、Adam等优化算法调整模型参数，使损失函数最小化，使用批量训练可以提高模型的稳定性和收敛速度，使用训练好的模型对新的图像进行前向传播，生成关键点的预测结果；

B2、使用OpenPose将检测到的人体关键点转化为具体的姿态信息，估计目标的姿态，姿态信息包括身体的方向、关节的角度、肢体的运动状态等，包括以下步骤：

使用OpenPose提供的API或命令行工具，对图像或视频进行关键点检测，这将生成每个检测到的人体的关键点坐标，解析OpenPose输出的关键点坐标，以获取每个关键点的具体位置信息，OpenPose输出的关键点通常包括头部、肩膀、手、脚等，利用解析得到的关键点坐标，计算各个关节的角度，这可以通过计算关节之间的夹角或使用身体部分之间的相对方向来实现，例如，计算肩膀和肘部之间的角度，以及身体的整体方向，分析关键点的时序变化，以获取肢体的运动状态，例如，检测手臂的挥动、腿部的走动等；

B3、通过分类器对估计到的姿态进行动作分类，以识别目标的具体动作，如站立、行走、举手等，包括以下步骤：

通过卷积神经网络（CNN）对姿态估计结果进行动作分类，模型输出的标签即为目标的具体动作；

姿态估计需要在实时视频流中进行，因此模型的选择和算法的设计需要考虑到实时性的要求，一些轻量级的模型和优化技术可能有助于提高系统的响应速度，根据特定应用场景的需求，对姿态估计模型进行调优或重新训练，以适应不同的人群和环境条件。

C、行为识别模块通过对跟踪目标的运动和姿态进行分析，行为识别模块识别出人群的具体行为，如走动、奔跑、聚集、互动等；

根据任务需求，从姿态和运动信息中提取关键特征，如速度、加速度、角度变化等，使用时序建模技术，包括循环神经网络（RNN）、长短时记忆网络（LSTM）或者注意力机制，以捕捉行为随时间的演变；

C1、通过长短时记忆网络（LSTM）捕捉行为随时间的演变包括以下步骤：

收集包含时序信息的训练数据，确保数据包括行为随时间变化的信息，例如人体运动轨迹、姿态序列等，将时序数据表示为适合LSTM输入的格式，通常，LSTM接受三维输入，形状为（样本数，时间步长，特征维度），构建包含LSTM层的深度学习模型，可以考虑多层LSTM以增强模型的表达能力，定义输入层和输出层，确保输入层与时序数据的维度相匹配，输出层与任务要求的标签数相匹配，选择适当的损失函数，通常对于分类问题可以使用交叉熵损失，选择优化器，如Adam、RMSProp等，以更新模型参数以减小损失；

将数据集划分为训练集和验证集，用于LSTM模型的泛化性能，使用训练集输入LSTM模型，通过反向传播和梯度下降算法来调整模型参数，使用验证集评估模型的性能，监控损失和其他性能指标，根据验证集的性能，可能需要调整LSTM模型的超参数，如学习率、隐藏层节点数等，在训练好的模型上进行时序预测，获取每个时间步的行为预测结果，根据具体任务需求，对LSTM模型输出的行为结果进行后处理，例如，可以进行平滑处理或后验概率调整，解释LSTM模型输出的行为结果，理解模型对时序数据的学习方式，可视化行为随时间的演变，以便更好地理解模型对时序数据的理解能力。

D、异常检测模块负责识别不寻常或潜在威胁的行为，当分析跟踪目标行为存在异常时，发出报警信号，例如恐慌、打斗、或者物体的异常位置，这有助于及时发现并应对可能的安全风险；

异常检测模块获取监测区域中的人群密度浮动系数、禁入区域停留时长、姿态偏差指数；

将人群密度浮动系数、禁入区域停留时长、姿态偏差指数进行归一化处理后，综合计算获取异常系数值，计算表达式为：/>；式中，/>为姿态偏差指数，/>为人群密度浮动系数，/>为禁入区域停留时长，/>分别为人群密度浮动系数、禁入区域停留时长的比例系数，且/>；

姿态偏差指数的获取逻辑为：

为跟踪目标的所有异常姿态预设一个异常姿态时长阈值，通过异常姿态时长阈值与实时获取的异常姿态持续时长对比获取姿态偏差指数，异常姿态包括大幅度运动姿态、静止姿态以及关节角度偏差姿态；

若大幅度运动姿态持续时长、静止姿态持续时长或关节角度偏差姿态持续时长中任一个异常姿态持续时长超过异常姿态时长阈值，姿态偏差指数；

若大幅度运动姿态持续时长、静止姿态持续时长以及关节角度偏差姿态持续时长均未超过异常姿态时长阈值，姿态偏差指数；

跟踪目标的大幅度运动姿态持续时长过长，表明跟踪目标可能出现异常的大幅度、高速度的运动，可能表示目标在系统监控区域内发生了异常的行为，如奔跑、迅速穿越或打架斗殴等；

跟踪目标的静止姿态持续时长过长，表明跟踪目标持续静止或几乎不发生运动，可能表示目标长时间停留在某个区域，可能是异常行为或需要关注的情况（例如突发疾病或死亡等），需要注意的是，为了避免出现监测误差，因此，当跟踪目标处于运动静止状态下时，需要监测跟踪目标的表情和肢体动作来综合判断跟踪目标是否处于静止姿态；

跟踪目标的关节角度偏差姿态持续时长过长，表明跟踪目标的关节角度持续偏离正常范围，可能表示目标采取了异常的姿态，例如关节骨折或摔倒等异常状态。

人群密度浮动系数的计算表达式为：，式中，/>为人群密度的实时变化量，/>为人群聚集预警的时段，/>为人群分散预警的时段；

当监测区域无响应事件（例如，对于车站候车室而言，如无检票事件发生，针对不同区域的响应事件不同，在此不做一一介绍），突然出现人群快速聚集或快速分散，则表明可能存在异常状况，例如突然发生安全事故或危险事件等；

因此，在监测区域无响应事件前提下，监测区域人流量超过最大流量阈值的时段为人群聚集预警的时段，该时段表明监测区域内可能出现打架斗殴或紧急救援等异常状况，监测区域人流量低于最小流量阈值的时段为人群分散预警的时段，表明监测区域外可能突发安全事故，导致人群慌乱逃离等异常事件发生。

禁入区域停留时长的获取逻辑为：通过监测禁入区域的摄像头进行拍摄，当跟踪目标进入禁入区域时开始计时，跟踪目标在禁入区域停留时长越长，越容易出现安全问题（例如跟踪目标进入高危化学品区域或进入保密区域等）。

异常系数值越大，表明监测区域内人群行为越不存在异常，因此，计算获取异常系数/>值后，将异常系数/>值与异常阈值进行对比，异常阈值用于区分监测区域存在异常或不存在异常；

若异常系数值大于等于异常阈值，分析跟踪目标行为不存在异常，若异常系数值小于异常阈值，分析跟踪目标行为存在异常，当分析跟踪目标行为存在异常时，发出报警信号；

本申请通过异常检测模块获取监测区域中的人群密度浮动系数、禁入区域停留时长、姿态偏差指数，将人群密度浮动系数、禁入区域停留时长、姿态偏差指数进行归一化处理后，综合计算获取异常系数，有效提高数据的处理效率，并且综合分析多项数据，分析更为全面，减轻异常检测模块的计算负担，最后，通过异常系数值与异常阈值的对比结果区分监测区域存在异常或不存在异常，从而便于用户提前进行管理。

实施例3：轨迹分析模块分析跟踪目标在空间中的运动轨迹，帮助理解人群的集聚模式、常用路径等信息，这对于城市规划、交通管理等方面有着重要的应用；

从监控摄像头或其他传感器中获取跟踪目标的实时轨迹数据，对轨迹数据进行去噪处理，去除可能的异常点或噪声，对不同目标的轨迹进行对齐，以便进行比较和分析，利用聚类算法对轨迹数据进行聚类，识别不同群组的集聚模式，计算轨迹密度，找出人群密集区域，从轨迹数据中提取个体或群体的运动路径，根据路径数据生成热力图，显示人群在空间中的活动热点，使用频繁项集挖掘算法，识别人群常用的运动路径或轨迹模式，分析不同路径之间的关联性，了解路径之间的可能转移关系，将轨迹数据根据时间进行聚类，分析不同时间段内的人群行为模式，生成不同时间段的热力图，展示人群活动的时变特征，基于历史轨迹数据，分析轨迹的趋势，预测未来的人群行为模式，利用机器学习或时间序列分析模型，预测人群在空间中的运动趋势。

实施例4：请参阅图2所示，本实施例所述一种人群行为分析方法，所述分析方法包括以下步骤：

S1：视频采集模块从摄像头或其他视频源中采集实时视频流，基于物体检测算法检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动；

S2：分析跟踪目标的姿态，通过对跟踪目标的运动和姿态进行分析，识别人群不寻常或潜在威胁的行为；

S3：当分析跟踪目标行为存在异常时，发出报警信号；

S4：分析跟踪目标在空间中的运动轨迹，获取人群的集聚模式、常用路径；

S5：将采集到的视频流和异常检测结果进行存储和管理；

S6：用户通过用户界面实时查看异常检测结果，并接收异常事件的报警通知。

具体工作流程为：

视频采集模块从摄像头或其他视频源中采集实时视频流，视频采集是整个系统的基础，为后续的分析提供必要的数据，检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动，目标检测可以采用物体检测算法，如YOLO（You-Only-Look-Once）或Faster-R-CNN（Region-based-Convolutional-Neural-Network），分析跟踪目标的姿态，包括站立、行走、举手等动作，这对于理解人群的行为模式和情境非常重要，通过对跟踪目标的运动和姿态进行分析，识别出人群的具体行为，如走动、奔跑、聚集、互动等，识别不寻常或潜在威胁的行为，当分析跟踪目标行为存在异常时，发出报警信号，例如恐慌、打斗、或者物体的异常位置，这有助于及时发现并应对可能的安全风险，分析跟踪目标在空间中的运动轨迹，帮助理解人群的集聚模式、常用路径等信息，这对于城市规划、交通管理等方面有着重要的应用，所有采集到的视频流和异常检测结果需要进行有效的存储和管理，将视频流和异常检测结果进行存储、检索和备份，通过用户界面，用户可以实时查看异常检测结果，并接收异常事件的报警通知。

上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人群行为分析系统，其特征在于：包括视频采集模块、目标跟踪模块、姿态估计模块、行为识别模块、异常检测模块、轨迹分析模块、数据存储模块以及用户界面模块：

视频采集模块：从摄像头或其他视频源中采集实时视频流；

目标跟踪模块：基于物体检测算法检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动；

姿态估计模块：分析跟踪目标的姿态；

行为识别模块：通过对跟踪目标的运动和姿态进行分析，识别出人群或个体的具体行为；

异常检测模块：识别不寻常或潜在威胁的行为，当分析跟踪目标行为存在异常时，发出报警信号；

轨迹分析模块：用于分析跟踪目标在空间中的运动轨迹；

数据存储模块：用于管理和存储视频流和异常检测结果；

用户界面模块：用于用户实时查看异常检测结果，并接收异常事件的报警通知；

所述异常检测模块获取监测区域中的人群密度浮动系数、禁入区域停留时长、姿态偏差指数；

将人群密度浮动系数、禁入区域停留时长、姿态偏差指数进行归一化处理后，综合计算获取异常系数值；

异常系数值越大，表明监测区域内人群行为越不存在异常，计算获取异常系数/>值后，将异常系数/>值与异常阈值进行对比；

若异常系数值大于等于异常阈值，分析跟踪目标行为不存在异常，若异常系数/>值小于异常阈值，分析跟踪目标行为存在异常，当分析跟踪目标行为存在异常时，发出报警信号。

2.根据权利要求1所述的一种人群行为分析系统，其特征在于：所述异常系数值的计算表达式为：/>；式中，/>为姿态偏差指数，/>为人群密度浮动系数，/>为禁入区域停留时长，/>分别为人群密度浮动系数、禁入区域停留时长的比例系数，且/>。

3.根据权利要求2所述的一种人群行为分析系统，其特征在于：所述姿态偏差指数的获取逻辑为：

为跟踪目标的所有异常姿态预设一个异常姿态时长阈值，通过异常姿态时长阈值与实时获取的异常姿态持续时长对比获取姿态偏差指数，异常姿态包括大幅度运动姿态、静止姿态以及关节角度偏差姿态；

若大幅度运动姿态持续时长、静止姿态持续时长或关节角度偏差姿态持续时长中任一个异常姿态持续时长超过异常姿态时长阈值，姿态偏差指数；

若大幅度运动姿态持续时长、静止姿态持续时长以及关节角度偏差姿态持续时长均未超过异常姿态时长阈值，姿态偏差指数。

4.根据权利要求3所述的一种人群行为分析系统，其特征在于：所述人群密度浮动系数的计算表达式为：，式中，/>为人群密度的实时变化量，为人群聚集预警的时段，/>为人群分散预警的时段。

5.根据权利要求4所述的一种人群行为分析系统，其特征在于：所述姿态估计模块基于深度学习模型对目标进行人体关键点检测，并通过姿态估计模型将检测到的人体关键点转化为具体的姿态信息，估计目标的姿态，姿态信息包括身体的方向、关节的角度、肢体的运动状态，通过分类器对估计到的姿态进行动作分类，识别目标的具体动作。

6.根据权利要求5所述的一种人群行为分析系统，其特征在于：所述姿态估计模块收集包含人体姿态标注的图像数据集，对图像进行预处理后，采用卷积和池化操作逐步减小特征图的尺寸，通过上采样和残差连接逐步增大特征图的尺寸，使用随机梯度下降优化算法调整深度学习模型参数，使损失函数最小化，使用训练好的深度学习模型对新的图像进行前向传播，生成关键点的预测结果；

所述姿态估计模块使用OpenPose提供的命令行工具对图像或视频进行关键点检测，解析OpenPose输出的关键点坐标，获取每个关键点的具体位置信息，利用解析得到的关键点坐标计算各个关节的角度后获取姿态信息。

7.根据权利要求6所述的一种人群行为分析系统，其特征在于：所述目标跟踪模块通过YOLOV4模型对视频流的每一帧进行目标检测，输出每个目标的边界框、类别标签和置信度，基于SORT算法对每个检测到的目标初始化目标跟踪器，在视频的后续帧中，使用SORT算法对之前检测到的目标进行跟踪，将跟踪到的目标信息输出。

8.根据权利要求7所述的一种人群行为分析系统，其特征在于：所述目标跟踪模块从YOLOV4获取当前视频帧中的目标检测结果，对每个目标检测输出使用SORT算法进行初始化，SORT算法使用卡尔曼滤波器对目标进行跟踪；

通过将目标的检测框作为初始状态输入给卡尔曼滤波器完成对目标检测输出的初始化，将初始化后的目标跟踪信息添加到目标跟踪列表中，每个目标跟踪条目包括目标ID、当前位置、速度信息；

重新运行目标跟踪器，获取下一帧中的目标检测结果，使用SORT算法对先前初始化的目标跟踪器进行更新，SORT算法使用卡尔曼滤波器预测目标在下一帧中的位置，然后通过匹配当前帧的目标检测结果和预测位置来更新目标状态；

在目标跟踪的过程中，使用匈牙利算法来关联当前帧的目标检测结果和已有的目标跟踪器，根据目标关联的结果，更新每个目标跟踪器的状态，状态包括位置信息、速度信息。

9.根据权利要求8所述的一种人群行为分析系统，其特征在于：所述目标跟踪模块使用匈牙利算法来关联当前帧的目标检测结果和已有的目标跟踪器包括以下步骤：

基于目标之间的距离计算当前帧中的每个目标检测结果和已有目标跟踪器的关联成本，目标检测结果和目标跟踪器之间的成本构成成本矩阵；

使用匈牙利算法找到成本矩阵中的最小成本分配，使得每个目标检测结果都与一个目标跟踪器关联；

解析匈牙利算法的输出，得到每个目标检测结果与相应目标跟踪器的关联，构成当前帧的目标关联结果。

10.一种人群行为分析方法，通过权利要求1-9任一项所述的分析系统实现，其特征在于：所述分析方法包括以下步骤：

S1：视频采集模块从摄像头或其他视频源中采集实时视频流，基于物体检测算法检测实时视频流中的人群或个体，并跟踪他们在视频帧之间的运动；

S2：分析跟踪目标的姿态，通过对跟踪目标的运动和姿态进行分析，识别人群不寻常或潜在威胁的行为；

S3：当分析跟踪目标行为存在异常时，发出报警信号；

S4：分析跟踪目标在空间中的运动轨迹，获取人群的集聚模式、常用路径；

S5：将采集到的视频流和异常检测结果进行存储和管理；

S6：用户通过用户界面实时查看异常检测结果，并接收异常事件的报警通知。