CN117456482B - 一种面向交通监控场景的异常事件识别方法及系统 - Google Patents
一种面向交通监控场景的异常事件识别方法及系统 Download PDFInfo
- Publication number
- CN117456482B CN117456482B CN202311785953.9A CN202311785953A CN117456482B CN 117456482 B CN117456482 B CN 117456482B CN 202311785953 A CN202311785953 A CN 202311785953A CN 117456482 B CN117456482 B CN 117456482B
- Authority
- CN
- China
- Prior art keywords
- entity
- module
- attribute
- learning
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 38
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 46
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000005315 distribution function Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 10
- 241001465754 Metazoa Species 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000007637 random forest analysis Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种面向交通监控场景的异常事件识别方法及系统，属于异常数据识别技术领域，其中方法包括如下步骤：从目标场景的摄像头实时图像数据中识别并定位出各个实体；在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；对各个实体进行特征提取，获得各个实体的实体属性；对实体属性进行建模学习；将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，将综合特征向量输入至训练好的分类器中，获得异常行为类型；该方法可以在保持较高识别性能的同时，解决数据要求高和算力要求高的问题。
Description
技术领域
本发明涉及异常数据识别技术领域，更具体的说是涉及一种面向交通监控场景的异常事件识别方法及系统。
背景技术
随着城市交通系统的持续发展，道路网络的复杂性和交通流量在不断增加，道路拥堵、交通违规、交通事故等行为等持续发生。交通管理人员希望能建立一个智能的交通监控系统来识别这些异常行为，以有效支持实时的交通管理决策和应急响应。
交通异常行为识别技术，是该智能交通监控系统的核心技术，主要负责基于视频图像的输入识别被监控场景出现了哪些异常。目前基于视觉的交通异常行为识别技术主要依赖于深度神经网络、机器学习和预设规则模板等方法。其中，基于深度神经网络与机器学习的方法需要采集监控场景的大量视频数据并进行异常行为的标注，往往会由于异常行为难以定义、异常行为的视频数据难以获取而导致训练数据不足与推理性能下降，并且在运行时需要专门的GPU算力才能支持单路视频的实时异常行为识别；基于预设规则与模板的方法虽然在一定程度上能缓解系统对于算力的需求，但是对于每一个摄像头的特定拍摄角度，规则与模板都需要大量的人工去定制和适配，并且容易由于规则考虑不够全面而造成漏检与误检。
专利号为202010495091.6，发明名称为一种基于视频监控中的异常行为检测方法，其原理图参见图1所示，该发明专利首先利用目标检测技术将每一个视频帧中的前景目标检测出来，然后输入到卷积自编码器网络框架中进行重构，通过重构误差进行分类来判断异常。该专利虽然基于目标检测模块为系统的基础感知模块，但是该专利仅涉及异常行为的检测与识别，在该过程中需要大量的计算量。
专利号为202111456180.0，发明名称为一种面向高速公路的异常事件检测方法，其原理图参见图2所示，该发明专利提出一种基于三维车辆轨迹的高速公路异常事件检测方法，主要采用了一种基于深度学习方法的车辆检测及车辆关键点检测方法，设计了结合相机内外参和车辆模型的信息的车辆二维-三维坐标转换方法，实现了对车辆三维空间运行轨迹的提取；提出了一种动态聚类的方法，并使用该方法分析车辆的三维轨迹和道路交通状态，从而实现了对高速公路监控场景下车辆异常行为和道路交通状态异常事件的预测。该专利虽然基于目标检测模块为系统的基础感知底座，但是在异常行为的识别环节，该专利仅主要基于车辆轨迹特征，并且采用了深度神经网络结合规则模板实现异常分类。由于深度神经网络的训练需要大量数据，因此该专利仍然存在所需训练数据量大和算力要求高的问题，并且极容易由于交通异常行为数据的匮乏而性能不好
因此，如何在保持较高识别性能的同时，解决数据要求高和算力要求高的问题，是本领域技术人员亟需解决的问题。
发明内容
鉴于上述问题，本发明提供一种一种面向交通监控场景的异常事件识别方法及系统，以至少解决上述背景技术中提到的部分技术问题。
为了实现上述目的，本发明采用如下技术方案：
一方面，本发明实施例提供了一种面向交通监控场景的异常事件识别方法，包括如下步骤：
S1、从目标场景的摄像头实时图像数据中识别并定位出各个实体；
S2、在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；
S3、对各个实体进行特征提取，获得各个实体的实体属性；
S4、对所述实体属性进行建模学习；
S5、将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，将所述综合特征向量输入至训练好的分类器中，获得异常行为类型。
进一步地，所述步骤S1基于目标检测算法实现；所述各个实体包括行人、车辆和动物。
进一步地，所述步骤S2具体包括：通过轨迹跟踪算法将连续帧之间同一实体的轨迹进行关联和跟踪，获得各个实体的特征轨迹。
进一步地，所述步骤S3具体包括：
通过实例分割算法将各个实体从图像中分割出来，生成实体的mask图；
基于所述mask图对各个实体进行特征提取，获得各个实体的实体属性。
进一步地，所述步骤S4具体包括：
采用混合高斯模型对位置属性进行建模学习：统计目标场景下各个实体的位置数据；采用混合高斯模型对位置数据进行拟合，获得位置属性的概率分布函数；
采用高斯模型对速度属性进行建模：统计目标场景下各个实体的速度数据；采用高斯模型对速度数据进行建模，得到速度属性的概率分布函数；
采用直方图对mask图进行统计：统计目标场景下各个实体mask图的分布情况，获得各个实体在图像中的形状和分布特征。
进一步地，所述对所述实体属性进行建模学习，还包括：
基于实体属性，计算各个实体之间的邻近关系概率、包含关系概率和方向跳转概率。
进一步地，所述学习后的实体属性包括：
实体的邻近关系信息量、实体包含关系信息量量、实体位置信息量、实体速度信息量、t时刻离散方向、t时刻离散速度、t时刻包含关系、物体类别、速度序列、动向序列、关系序列、t时刻方向跳转信息密度、t时刻包含关系跳转信息密度、以及t时刻速度跳转信息密度。
进一步地，在上述步骤S5中，所述分类器的训练过程如下：
从目标场景的摄像头历史图像数据中识别并定位出各个实体；
在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；
对各个实体进行特征提取，获得各个实体的实体属性，并对所述实体属性进行建模学习；
将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，并对所述综合特征向量中的各个实体向量添加标签；
将所述综合特征向量作为输入，将对应的标签作为输出，用于训练分类器。
进一步地，所述分类器为非线性分类器Adaboost、决策树或随机森林。
另一方面，本发明实施例还提供了一种面向交通监控场景的异常事件识别系统，应用上述的方法，该系统包括感知器模块、ST-AOG学习模块和异常行为识别模块；
所述感知器模块，用于从目标场景的摄像头实时图像数据中识别并定位出各个实体；在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；对各个实体进行特征提取，获得各个实体的实体属性；
所述ST-AOG学习模块，用于对所述实体属性进行建模学习；
所述异常行为识别模块，用于将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，将所述综合特征向量输入至训练好的分类器中，获得异常行为类型。
进一步地，所述感知器模块包括目标检测子模块、轨迹跟踪子模块和分割子模块；
所述目标检测子模块，用于基于目标检测算法从目标场景的摄像头实时图像数据中识别并定位出各个实体；所述各个实体包括行人、车辆和动物；
所述轨迹跟踪子模块，用于通过轨迹跟踪算法将连续帧之间同一实体的轨迹进行关联和跟踪，获得各个实体的特征轨迹；
所述分割子模块，用于通过实例分割算法将各个实体从图像中分割出来，生成实体的mask图；并基于所述mask图对各个实体进行特征提取，获得各个实体的实体属性。
进一步地，所述ST-AOG学习模块，包括位置属性学习子模块、速度属性学习子模块和mask图学习子模块；
所述位置属性学习子模块，用于采用混合高斯模型对位置属性进行建模学习：统计目标场景下各个实体的位置数据；采用混合高斯模型对位置数据进行拟合，获得位置属性的概率分布函数；
所述速度属性学习子模块，用于采用高斯模型对速度属性进行建模：统计目标场景下各个实体的速度数据；采用高斯模型对速度数据进行建模，得到速度属性的概率分布函数；
所述mask图学习子模块，用于采用直方图对mask图进行统计：统计目标场景下各个实体mask图的分布情况，获得各个实体在图像中的形状和分布特征。
进一步地，所述ST-AOG学习模块，还包括特征计算子模块；
所述特征计算子模块，用于基于实体属性，计算各个实体之间的邻近关系概率、包含关系概率和方向跳转概率。
进一步地，所述分类器的训练过程如下：
从目标场景的摄像头历史图像数据中识别并定位出各个实体；
在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；
对各个实体进行特征提取，获得各个实体的实体属性，并对所述实体属性进行建模学习；
将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，并对所述综合特征向量中的各个实体向量添加标签；
将所述综合特征向量作为输入，将对应的标签作为输出，用于训练分类器。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种面向交通监控场景的异常事件识别方法及系统，与现有技术相比存在以下益处：
本发明所需训练数据量较低：传统深度学习方法通常需要大量标注数据进行模型训练，而本发明基于小型的分类器，只需要少量标注数据。感知器模块为通用目标检测，可以使用公开的数据集进行训练。其他模块也并不依赖大规模标注数据，减少了数据采集和标注的成本，同时提高了算法的实用性和可操作性。
本发明所需算力资源更少：本发明仅需要少量的GPU算力（用于感知模块）来提供稳定的目标检测结果，再配合少量的CPU算力（用于运行分类器模块）即可实现异常行为的分类，与基于深度神经网络的方法相比，需要的算力更少。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为现有技术一种基于视频监控中的异常行为检测方法的原理图。
图2为现有技术一种面向高速公路的异常事件检测方法的原理图。
图3为本发明实施例提供的面向交通监控场景的异常事件识别方法流程示意图。
图4为本发明实施例提供的面向交通监控场景的异常事件识别系统框架示意图。
图5为本发明实施例提供的交通场景监控数据集场景示意图。
图6为本发明实施例提供的最终场景的ST-AOG建模示意图。
图7为本发明实施例提供的车辆位置属性的概率分布示意图。
图8为本发明实施例提供的车辆的包含关系概率分布直方示意图。
图9为本发明实施例提供的目标场景中目标车辆示意图。
图10为本发明实施例提供的结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一方面，参见图3所示，本发明实施例公开了一种面向交通监控场景的异常事件识别方法，包括如下步骤：
S1、从目标场景的摄像头实时图像数据中识别并定位出各个实体；
S2、在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；
S3、对各个实体进行特征提取，获得各个实体的实体属性；
S4、对实体属性进行建模学习；
S5、将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，将综合特征向量输入至训练好的分类器中，获得异常行为类型。
该方法与传统的基于深度神经网络的方法相比，所需训练数据量较少，可以大大减少计算量。
接下来针对上述各个步骤进行详细说明。
在上述步骤S1中，主要基于目标检测算法实现，具体为，通过目标检测算法在输入的摄像头实时图像数据中定位和识别出各个实体，如行人、车辆、动物等；本发明实施例中，通过高效的目标检测算法，可以准确地标定每个实体的位置，并将其与背景区分开来；基于此，可以获得场景中的各个实体的具体位置信息，为后续的分析和决策提供基础。
在上述步骤S2中，采用轨迹跟踪算法在时间维度上对实体进行追踪，即将连续帧之间同一实体的轨迹进行关联和跟踪；本发明实施例中，通过对实体的运动状态进行建模和预测，可以获得实体的运动速度等属性信息；这对于对实体行为的分析和异常检测非常重要，例如可以用于判断车辆是否超速、行人是否闯红灯等。
在上述步骤S3中，利用实例分割算法用于对实体进行像素级别的分割，生成实体的mask图，即将实体从图像中准确地分割出来；本发明实施例中，通过实例分割算法，可以获得每个实体的精确轮廓和形状信息，这对于进一步的特征提取和行为分析至关重要；之后，基于所述mask图对各个实体进行特征提取，获得各个实体的实体属性。
在上述步骤S4中，首先构建时空与或图ST-AOG模型（Spatial-temporal And-Or-Graph，ST-AOG，时空与或图），具体操作过程中，可按照目标场景的类型，将目标场景拆分为多个区域，比如场景中人行道、车行道、停车道、建筑物等区域；每一种区域为一个AND节点，因此一个场景就可以拆分为A1、A2......AN进行描述；每种区域上有运动的实体，每个实体可在不同区域上运动，每个实体包含有属性，用以描述实体特征；实体属性包括：ID、位置、面积、速度、物体类型、mask等信息；实例的数量上限为该视角下所能容纳物体的总和N；
完成ST-AOG建模后，便可以进行实体属性建模学习；属性建模是算法流程中的一个重要步骤，它旨在对实体的属性进行建模和学习，通过对正常场景下的实体数据进行统计和分析，可以建立对实体属性的数学模型，从而更好地理解和描述实体的特征；具体而言，可以对位置属性、速度属性和mask图等属性进行建模，并计算实体之间的邻近关系概率和包含关系概率：
对于位置属性：采用混合高斯模型对位置属性进行建模学习：统计目标场景下各个实体的位置数据，可以得到位置的分布情况；采用混合高斯模型对位置数据进行拟合，获得位置属性的概率分布函数Gp；基于此可以根据该模型计算实体所在位置的概率Pi；
对于速度属性：采用高斯模型对速度属性进行建模：统计目标场景下各个实体的速度数据，获得速度的统计特征；采用高斯模型对速度数据进行建模，得到速度属性的概率分布函数Gv；
对于实体的mask图，采用直方图对mask图进行统计：统计目标场景下各个实体mask图的分布情况，获得各个实体在图像中的形状和分布特征，可进行形状异常的检测；
此外，还可以基于这些属性信息计算实体之间的邻近关系概率、包含关系概率/>，以及方向跳转概率等。例如，计算车与车之间的邻近概率、人与车之间的邻近概率，车从直行运动跳转为左转或右转运动等。这些概率可以用于判断实体的运动变化和实体之间的关联程度，从而为分析和决策提供更加全面、准确的信息；
计算过程中主要从时间和空间两个维度计算实体的特征；具体特征包括：
实体的邻近关系信息量、/>；实体包含关系信息量量/>；实体位置信息量/>；实体速度信息量/>；t时刻离散方向/>；t时刻离散速度/>；t时刻包含关系/>；
对于时序变化的特征，以S为采样间隔(单位:帧)、T为采样点数，从当前时间刻度t开始，采样随时间变化的序列特征；具体特征包括：
速度序列：；动向序列：/>；关系序列：/>；
对于时序变化的特征涵盖的信息，计算信息密度，信息密度是F帧内的平均信息量；具体包括：
t-F: t时刻方向跳转信息密度
t-F: t时刻包含关系跳转信息密度
t-F: t时刻速度跳转信息密度
其中表示实体在时刻i所在区域的概率；/>表示实体在时刻i在/>这个区域时，方向为/>的概率；/>表示实体在时刻i在/>这个区域、方向为时，下一时刻方向为/>的概率。
在上述步骤S5中，分类器的训练过程如下：
从目标场景的摄像头历史图像数据中识别并定位出各个实体；在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；对各个实体进行特征提取，获得各个实体的实体属性，并对实体属性进行建模学习；将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，并对综合特征向量中的各个实体向量添加标签；将综合特征向量作为输入，将对应的标签作为输出，用于训练分类器；
在具体实施过程中，将少量标注样本的时间和空间上的特征与信息量整合为一个特征向量，并为之分配标签构造数据集，以训练分类器，使得其对新输入的数据点能够进行异常类别的分类。分类器选用非线性分类器Adaboost,亦可替换为决策树、随机森林等；首先进行数据准备：将数据集根据轨迹划分为训练集、验证集、测试集，一个轨迹点是数据中的一个样本点；其次初始化参数：依据所选用的非线性分类器初始化相关参数；再后进行模型训练：利用训练集与对应的标签，采用选定的及其学习算法进行模型训练；最后进行性能评估：通过验证集对训练的模型进行性能评估，主要的评价指标包括但不限于准确率，F1-score等。经过交叉验证得到性能最好的非线性分类器以及最优的模型参数，持久化存储，供异常行为识别模块调用。
另一方面，参见图4所示，本发明实施例还提供了一种面向交通监控场景的异常事件识别系统，应用上述的方法；该系统包括感知器模块、ST-AOG学习模块和异常行为识别模块；其中：
感知器模块，用于从目标场景的摄像头实时图像数据中识别并定位出各个实体；在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；对各个实体进行特征提取，获得各个实体的实体属性；
ST-AOG学习模块，用于对实体属性进行建模学习；
异常行为识别模块，用于将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，将综合特征向量输入至训练好的分类器中，获得异常行为类型。
接下来针对上述各个模块进行说明：
1、感知器模块：
感知器模块在算法流程中扮演着关键的角色。其功能是通过对输入数据进行分析和处理，检测场景中的实体，并提取实体的相关属性信息。具体而言，感知器模块包括目标检测子模块、轨迹跟踪子模块和分割子模块；其中：
目标检测子模块，用于基于目标检测算法（Yolov5）从目标场景的摄像头实时图像数据中识别并定位出各个实体；各个实体包括行人、车辆和动物；
轨迹跟踪子模块，用于通过轨迹跟踪算法(Deep Sort)将连续帧之间同一实体的轨迹进行关联和跟踪，获得各个实体的特征轨迹；
分割子模块，用于通过实例分割算法(SOLOv2)将各个实体从图像中分割出来，生成实体的mask图；并基于mask图对各个实体进行特征提取，获得各个实体的实体属性。
2、ST-AOG学习模块：
ST-AOG学习模块包括位置属性学习子模块、速度属性学习子模块、mask图学习子模块和特征计算子模块；其中：
位置属性学习子模块，用于采用混合高斯模型对位置属性进行建模学习：统计目标场景下各个实体的位置数据；采用混合高斯模型对位置数据进行拟合，获得位置属性的概率分布函数；
速度属性学习子模块，用于采用高斯模型对速度属性进行建模：统计目标场景下各个实体的速度数据；采用高斯模型对速度数据进行建模，得到速度属性的概率分布函数；
mask图学习子模块，用于采用直方图对mask图进行统计：统计目标场景下各个实体mask图的分布情况，获得各个实体在图像中的形状和分布特征；
特征计算子模块，用于基于实体属性，计算各个实体之间的邻近关系概率、包含关系概率和方向跳转概率；该特征计算子模块主要从时间和空间两个维度计算实体的特征；具体特征包括：
实体的邻近关系信息量 、/>；实体包含关系信息量量/>；实体位置信息量/>；实体速度信息量 />；t时刻离散方向/>；t时刻离散速度/>；t时刻包含关系/>；
对于时序变化的特征，以S为采样间隔(单位:帧)、T为采样点数，从当前时间刻度t开始，采样随时间变化的序列特征；具体特征包括：
速度序列：；动向序列：/>；关系序列：/>；
对于时序变化的特征涵盖的信息，计算信息密度，信息密度是F帧内的平均信息量；具体包括：
t-F: t时刻方向跳转信息密度
t-F: t时刻包含关系跳转信息密度
t-F: t时刻速度跳转信息密度
其中表示实体在时刻i所在区域的概率；/>表示实体在时刻i在/>这个区域时，方向为/>的概率；/>表示实体在时刻i在/>这个区域、方向为时，下一时刻方向为/>的概率。
3、异常行为识别模块：
该异常行为识别模块主要通过训练器对各个实体的特征轨迹和学习后的实体属性组成综合特征向量进行检测，获得异常行为类型；
其中分类器的训练过程如下：
从目标场景的摄像头历史图像数据中识别并定位出各个实体；在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；对各个实体进行特征提取，获得各个实体的实体属性，并对实体属性进行建模学习；将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，并对综合特征向量中的各个实体向量添加标签；将综合特征向量作为输入，将对应的标签作为输出，用于训练分类器；
在具体实施过程中，将少量标注样本的时间和空间上的特征与信息量整合为一个特征向量，并为之分配标签构造数据集，以训练分类器，使得其对新输入的数据点能够进行异常类别的分类。分类器选用非线性分类器Adaboost,亦可替换为决策树、随机森林等；首先进行数据准备：将数据集根据轨迹划分为训练集、验证集、测试集，一个轨迹点是数据中的一个样本点；其次初始化参数：依据所选用的非线性分类器初始化相关参数；再后进行模型训练：利用训练集与对应的标签，采用选定的及其学习算法进行模型训练；最后进行性能评估：通过验证集对训练的模型进行性能评估，主要的评价指标包括但不限于准确率，F1-score等。经过交叉验证得到性能最好的非线性分类器以及最优的模型参数，持久化存储，供异常行为识别模块调用。
综上，摄像头实时图像数据经过数据感知模块进行初步处理，该模块能检测场景中的实体并提取这些实体的相关属性信息，并在时间维度上对连续帧之间的同一实体的轨迹进行关联和跟踪，获得特征轨迹；通过ST-AOG学习模块，对实体在空间和时间维度上进行进一步的特征提取，该模块能计算实体在各个维度上的信息量，生成综合特征向量；将提取的特征向量输入到经过训练和优化的异常分类器中，进行实时的分类判断；对超过阈值的“异常”警报时给出异常类型，以便进一步方便使用者判断。
在另一个实施例中，目标检测算法可替换算法有YOLO系列、SSD、R-CNN等；轨迹跟踪算法可替换算法有CenterNet、RefineDet、Faster-rcnn等；实例分割算法可替换有 MaskR-CNN、YOLACT等；异常行为分类器的可替换算法有：随机森林、概率SVM、深度神经网络等。
接下来通过Street Scene数据集来对上述内容进行说明，Street Scene数据集是标准的交通场景监控数据集，场景如图5所示；
（1）场景ST-AOG建模
将场景拆分为A1、A2、A3、A4、A5五个AND节点，分别表示人行道、车行道、灌木丛、建筑区、其他区域。该场景中可能存在未知数量的实体，设该视角下实体上限N=50。每个实体可能存在也可能为空，存在的实体中包含其属性信息。最终场景的ST-AOG建模如图6所示；
（2）ST-AOG模型学习：
对车辆位置属性进行混合高斯模型建模，经训练数据的学习可获得概率分布矩阵；概率分布图可参见图7所示；
车辆的包含关系概率分布直方图如图8所示；
车辆包含关系跳转概率转移矩阵如表1所示；
表1
（3）计算场景中车辆的信息量；
根据上述所计算出来的概率，可以计算出位置分布的信息量,车辆包含关系的信息量/>和车辆方向跳转信息量/>。信息量的计算根据感知模块能够获取的数据和需求进行计算，并非所有场景每种属性的信息量都要计算。以图9框中的车辆为例进行相关信息量的计算：
A），/>为车辆的像素坐标；
B）车辆位于左侧行车道，通过包含关系概率分布直方图可以知道 />值
C），跳转信息量的计算为上一帧跳转到当前帧的信息量，计算方式为上一时刻的包含信息量+跳转信息量+当前时刻的信息量。
（4）将少量标注样本的时间和空间上的特征与信息量整合为一个特征向量，并为之分配标签构造数据集，以训练非线性分类器；经过交叉验证，选择Adaboost作为非线性分类器，其中弱分类器-决策树（深度为3）进行训练，使得其对新输入的数据点能够进行异常类别的分类；
异常推理步骤中，将特征和信息量按顺序展平；本发明实施例选用的特征包括：
实体的邻近关系信息量 、/>；实体包含关系信息量量/>；实体位置信息量/>；实体速度信息量/>；t时刻离散方向/>；t时刻离散速度/>；t时刻包含关系/>；速度序列：；动向序列：/>；关系序列：；t-F: t时刻方向跳转信息密度；t-F: t时刻包含关系跳转信息密度；t-F: t时刻速度跳转信息密度。
将其输入到训练好的异常分类模型中，输出异常类别。对超过阈值的“异常”警报并给出异常类型；结果示意图可参见下表2和图10所示：
表2 结果数据统计
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种面向交通监控场景的异常事件识别方法，其特征在于，包括如下步骤：
S1、从目标场景的摄像头实时图像数据中识别并定位出各个实体；
S2、在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；
S3、对各个实体进行特征提取，获得各个实体的实体属性；
S4、对所述实体属性进行建模学习；
S5、将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，将所述综合特征向量输入至训练好的分类器中，获得异常行为类型；
所述步骤S4具体包括：
采用混合高斯模型对位置属性进行建模学习：统计目标场景下各个实体的位置数据；采用混合高斯模型对位置数据进行拟合，获得位置属性的概率分布函数；
采用高斯模型对速度属性进行建模：统计目标场景下各个实体的速度数据；采用高斯模型对速度数据进行建模，得到速度属性的概率分布函数；
采用直方图对mask图进行统计：统计目标场景下各个实体mask图的分布情况，获得各个实体在图像中的形状和分布特征；
所述对所述实体属性进行建模学习，还包括：
基于实体属性，计算各个实体之间的邻近关系概率、包含关系概率和方向跳转概率；
所述学习后的实体属性包括：
实体的邻近关系信息量、实体包含关系信息量、实体位置信息量、实体速度信息量、t时刻离散方向、t时刻离散速度、t时刻包含关系、物体类别、速度序列、动向序列、关系序列、t时刻方向跳转信息密度、t时刻包含关系跳转信息密度、以及t时刻速度跳转信息密度；
在所述步骤S4中，首先构建时空与或图ST-AOG模型；完成ST-AOG建模后，对所述实体属性进行建模学习。
2.根据权利要求1所述的一种面向交通监控场景的异常事件识别方法，其特征在于，所述步骤S1基于目标检测算法实现；所述各个实体包括行人、车辆和动物。
3.根据权利要求1所述的一种面向交通监控场景的异常事件识别方法，其特征在于，所述步骤S2具体包括：通过轨迹跟踪算法将连续帧之间同一实体的轨迹进行关联和跟踪，获得各个实体的特征轨迹。
4.根据权利要求1所述的一种面向交通监控场景的异常事件识别方法，其特征在于，所述步骤S3具体包括：
通过实例分割算法将各个实体从图像中分割出来，生成实体的mask图；
基于所述mask图对各个实体进行特征提取，获得各个实体的实体属性。
5.根据权利要求1所述的一种面向交通监控场景的异常事件识别方法，其特征在于，在上述步骤S5中，所述分类器的训练过程如下：
从目标场景的摄像头历史图像数据中识别并定位出各个实体；
在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；
对各个实体进行特征提取，获得各个实体的实体属性，并对所述实体属性进行建模学习；
将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，并对所述综合特征向量中的各个实体向量添加标签；
将所述综合特征向量作为输入，将对应的标签作为输出，用于训练分类器。
6.根据权利要求1所述的一种面向交通监控场景的异常事件识别方法，其特征在于，所述分类器为非线性分类器Adaboost、决策树或随机森林。
7.一种面向交通监控场景的异常事件识别系统，其特征在于，应用所述权利要求1-6任一项所述的方法；该系统包括感知器模块、ST-AOG学习模块和异常行为识别模块；
所述感知器模块，用于从目标场景的摄像头实时图像数据中识别并定位出各个实体；在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；对各个实体进行特征提取，获得各个实体的实体属性；
所述ST-AOG学习模块，用于对所述实体属性进行建模学习；
所述异常行为识别模块，用于将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，将所述综合特征向量输入至训练好的分类器中，获得异常行为类型；
所述ST-AOG学习模块，包括位置属性学习子模块、速度属性学习子模块和mask图学习子模块；
所述位置属性学习子模块，用于采用混合高斯模型对位置属性进行建模学习：统计目标场景下各个实体的位置数据；采用混合高斯模型对位置数据进行拟合，获得位置属性的概率分布函数；
所述速度属性学习子模块，用于采用高斯模型对速度属性进行建模：统计目标场景下各个实体的速度数据；采用高斯模型对速度数据进行建模，得到速度属性的概率分布函数；
所述mask图学习子模块，用于采用直方图对mask图进行统计：统计目标场景下各个实体mask图的分布情况，获得各个实体在图像中的形状和分布特征；
所述ST-AOG学习模块，还包括特征计算子模块；
所述特征计算子模块，用于基于实体属性，计算各个实体之间的邻近关系概率、包含关系概率和方向跳转概率。
8.根据权利要求7所述的一种面向交通监控场景的异常事件识别系统，其特征在于，所述感知器模块包括目标检测子模块、轨迹跟踪子模块和分割子模块；
所述目标检测子模块，用于基于目标检测算法从目标场景的摄像头实时图像数据中识别并定位出各个实体；所述各个实体包括行人、车辆和动物；
所述轨迹跟踪子模块，用于通过轨迹跟踪算法将连续帧之间同一实体的轨迹进行关联和跟踪，获得各个实体的特征轨迹；
所述分割子模块，用于通过实例分割算法将各个实体从图像中分割出来，生成实体的mask图；并基于所述mask图对各个实体进行特征提取，获得各个实体的实体属性。
9.根据权利要求7所述的一种面向交通监控场景的异常事件识别系统，其特征在于，所述分类器的训练过程如下：
从目标场景的摄像头历史图像数据中识别并定位出各个实体；
在时间维度上对各个实体进行追踪，获得各个实体的特征轨迹；
对各个实体进行特征提取，获得各个实体的实体属性，并对所述实体属性进行建模学习；
将各个实体的特征轨迹和学习后的实体属性组成综合特征向量，并对所述综合特征向量中的各个实体向量添加标签；
将所述综合特征向量作为输入，将对应的标签作为输出，用于训练分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311785953.9A CN117456482B (zh) | 2023-12-25 | 2023-12-25 | 一种面向交通监控场景的异常事件识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311785953.9A CN117456482B (zh) | 2023-12-25 | 2023-12-25 | 一种面向交通监控场景的异常事件识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117456482A CN117456482A (zh) | 2024-01-26 |
| CN117456482B true CN117456482B (zh) | 2024-05-10 |
Family
ID=89589570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311785953.9A Active CN117456482B (zh) | 2023-12-25 | 2023-12-25 | 一种面向交通监控场景的异常事件识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456482B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103218628A (zh) * | 2013-03-22 | 2013-07-24 | 中国科学技术大学 | 一种基于团块与轨迹特征的异常行为描述方法 |
| KR20140106362A (ko) * | 2013-02-25 | 2014-09-03 | 삼성테크윈 주식회사 | 비정상 움직임 탐지 장치 및 방법 |
| CN107766814A (zh) * | 2017-10-18 | 2018-03-06 | 山东科技大学 | 一种基于Adaboost算法的视频中人群行为的识别方法 |
| CN109643485A (zh) * | 2016-12-30 | 2019-04-16 | 同济大学 | 一种城市道路交通异常检测方法 |
| CN112634329A (zh) * | 2020-12-26 | 2021-04-09 | 西安电子科技大学 | 一种基于时空与或图的场景目标活动预测方法及装置 |
| CN113221716A (zh) * | 2021-05-06 | 2021-08-06 | 西华大学 | 一种基于前景目标检测的无监督交通异常行为检测方法 |
| WO2021217859A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8285060B2 (en) * | 2009-08-31 | 2012-10-09 | Behavioral Recognition Systems, Inc. | Detecting anomalous trajectories in a video surveillance system |
| US20230222844A1 (en) * | 2020-12-26 | 2023-07-13 | Xi'an Creation Keji Co., Ltd. | Parking lot management and control method based on object activity prediction, and electronic device |
-
2023
- 2023-12-25 CN CN202311785953.9A patent/CN117456482B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140106362A (ko) * | 2013-02-25 | 2014-09-03 | 삼성테크윈 주식회사 | 비정상 움직임 탐지 장치 및 방법 |
| CN103218628A (zh) * | 2013-03-22 | 2013-07-24 | 中国科学技术大学 | 一种基于团块与轨迹特征的异常行为描述方法 |
| CN109643485A (zh) * | 2016-12-30 | 2019-04-16 | 同济大学 | 一种城市道路交通异常检测方法 |
| CN107766814A (zh) * | 2017-10-18 | 2018-03-06 | 山东科技大学 | 一种基于Adaboost算法的视频中人群行为的识别方法 |
| WO2021217859A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
| CN112634329A (zh) * | 2020-12-26 | 2021-04-09 | 西安电子科技大学 | 一种基于时空与或图的场景目标活动预测方法及装置 |
| CN113221716A (zh) * | 2021-05-06 | 2021-08-06 | 西华大学 | 一种基于前景目标检测的无监督交通异常行为检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于时空与或图模型的视频人体动作识别方法;易唐唐;《控制工程》;20170930;第24卷(第09期);第1792-1797页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117456482A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110364008B (zh) | 路况确定方法、装置、计算机设备和存储介质 | |
| US11840239B2 (en) | Multiple exposure event determination | |
| Zhang et al. | A traffic surveillance system for obtaining comprehensive information of the passing vehicles based on instance segmentation | |
| Zhang et al. | Real-time traffic analysis using deep learning techniques and UAV based video | |
| Yang et al. | Image-based visibility estimation algorithm for intelligent transportation systems | |
| CN111462488A (zh) | 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法 | |
| CN112053556B (zh) | 一种交通监控复眼动态识别交通事故自我进化系统 | |
| CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
| CN114170580A (zh) | 一种面向高速公路的异常事件检测方法 | |
| Jan et al. | A convolutional neural network based deep learning technique for identifying road attributes | |
| CN107315998A (zh) | 基于车道线的车辆种类划分方法和系统 | |
| Zhang et al. | A graded offline evaluation framework for intelligent vehicle’s cognitive ability | |
| Krishnakumar et al. | Detection of vehicle speeding violation using video processing techniques | |
| Kejriwal et al. | Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system | |
| CN111353342B (zh) | 肩头识别模型训练方法、装置、人数统计方法、装置 | |
| CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
| CN117456482B (zh) | 一种面向交通监控场景的异常事件识别方法及系统 | |
| Philipp et al. | Automated 3d object reference generation for the evaluation of autonomous vehicle perception | |
| CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
| CN117372969B (zh) | 一种面向监控场景的异常事件检测方法 | |
| CN109063675A (zh) | 车流密度计算方法、系统、终端及计算机可读存储介质 | |
| CN114999183B (zh) | 一种交通路口车流量检测方法 | |
| RAJESH et al. | Deep CNN Framework for Vehicle Counting and Classification System from Real-Time Videos | |
| Subedi et al. | Vehicle classification, rumble strips detection, and mapping using artificial intelligence | |
| Lalangui et al. | Framework comparison of neural networks for automated counting of vehicles and pedestrians |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |