CN113221716A - 一种基于前景目标检测的无监督交通异常行为检测方法 - Google Patents

一种基于前景目标检测的无监督交通异常行为检测方法 Download PDF

Info

Publication number
CN113221716A
CN113221716A CN202110490567.1A CN202110490567A CN113221716A CN 113221716 A CN113221716 A CN 113221716A CN 202110490567 A CN202110490567 A CN 202110490567A CN 113221716 A CN113221716 A CN 113221716A
Authority
CN
China
Prior art keywords
detection
abnormal
target
method based
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110490567.1A
Other languages
English (en)
Inventor
黄锐
张芝粤
谭大宁
海宇峰
段庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihua University
Original Assignee
Xihua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xihua University filed Critical Xihua University
Priority to CN202110490567.1A priority Critical patent/CN113221716A/zh
Publication of CN113221716A publication Critical patent/CN113221716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Abstract

本发明公开一种基于前景目标检测的无监督交通异常行为检测方法,包括以下步骤：快速目标检测、外观异常特征提取、轨迹异常特征提取、异常特征检测和其他情况的处理，通过YOLO v5模型对高速公路上的目标车辆进行检测，避免了直接从低层光流和梯度等信息提取特征的复杂计算量，保证了从高维语义信息进行特征提取的鲁棒性和准确性，并提取出目标在视频中的局部特征信息，并通过自编码器提取深度信息中的隐特征以进行异常检测，同时，通过3D卷积直接从当前帧和前后连续帧中提取深度轨迹信息，并通过自编码器提取深度信息中的隐特征以进行异常检测。

Description

一种基于前景目标检测的无监督交通异常行为检测方法
技术领域
本发明涉及交通视频异常检测技术领域，尤其涉及一种基于前景目标检测的无监督交通异常行为检测方法。
背景技术
随着视频监控技术的发展，其在国民生产、生活中的作用日益凸显，在公共交通领域，围绕交通安全的一系列视频监控技术也越来越多地成为研究的热点，在高速公路、铁路和城市快速路段，车辆和行人的异常动作往往会带来交通事故，给交通安全造成严峻挑战，因此迫切需要针对特定的异常轨迹进行实时监控，帮助交管部门及时发现事故隐患，并及时对违法行为进行制止，随着深度学习技术的发展，利用计算机视觉进行交通异常轨迹快速检测成为可能，异常检测的过程可划分为三个步骤：特征提取、模型训练和异常判。
目前，交通视频异常检测技术随着特征提取﹑特征学习和异常检测等方法的进步而得到了较大的发展，基于点特征的方法将特征空间的分部信息利用了起来，可以检测异常分布的特征点，但该类方法没有体现特征空间的时空关联性，不能利用时序信息，另外基于序列模型的方法利用了特征空间之间的转移规律，具备时需检测能力，但该方法没有利用空间关联信息，而基于图模型的方法兼具二者的优点，但该类方法只能对近邻的时空块建模，不具备长时间特征规律建模能力，因此本发明提出一种基于前景目标检测的无监督交通异常行为检测方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出一种基于前景目标检测的无监督交通异常行为检测方法，该种基于前景目标检测的无监督交通异常行为检测方法通过YOLO v5模型对高速公路上的目标车辆进行检测，避免了直接从低层光流和梯度等信息提取特征的复杂计算量，保证了从高维语义信息进行特征提取的鲁棒性和准确性，并提取出目标在视频中的局部特征信息，并通过自编码器提取深度信息中的隐特征以进行异常检测，同时，通过3D卷积直接从当前帧和前后连续帧中提取深度轨迹信息，并通过自编码器提取深度信息中的隐特征以进行异常检测。
为实现本发明的目的，本发明通过以下技术方案实现：一种基于前景目标检测的无监督交通异常行为检测方法，包括以下步骤：
包括以下步骤：
步骤一：快速目标检测
通过MS COCO数据集(大型图像数据集)预训练的模型对视频序列进行目标检测，提取出目标的Bounding Box检测框，以进一步提取储目标的外观异常信息和轨迹异常信息；
步骤二：外观异常特征提取
利用步骤一中提取出目标的Bounding Box检测框，截取当前视频帧中的目标对象，然后通过自编码器(AE)进行隐特征提取，获取检测目标的外观异常特征向量；
步骤三：轨迹异常特征提取
通过3D卷积获取步骤二中当前视频帧前后连续一段序列的深度特征，再通过自编码器(AE)进行隐特征提取，获取检测目标的轨迹异常特征向量；
步骤四：异常特征检测
将步骤二中获得的外观异常特征向量和步骤三中活动的轨迹异常特征向量进行拼接，拼接形成当前视频帧的特征向量，之后将获得的特征向量后进行k-mean聚类(一种迭代求解的聚类分析算法)，能够获得K个聚类，产生K个1-vs-rest的二分类器，其中最大分类分数即为异常分值，以此发现异常；
步骤五：其他情况的处理
对于同一帧内两个物体的Bounding Box检测框重叠情况，取二者的交集，然后异常分值分配给交集。
进一步改进在于：所述步骤一中预训练的模型为YOLO v5。
进一步改进在于：所述步骤一中，在MS COCO数据集内选取人、自行车、汽车、摩托车、公交车、卡车作为训练数据集进行模型的预训练。
进一步改进在于：所述步骤二中，在截取当前视频帧中的目标对象后，需进行灰度处理，以去除色彩信息，提高计算速度。
进一步改进在于：所述步骤二和步骤三中，均通过逐像素均方误差的重构损失进行自监督的外观特征提取，以达到实时处理的效果。
进一步改进在于：所述自编码器包含编码器和解码器两部分，所述编码器和解码器均含有3个卷积层。
进一步改进在于：所述步骤五中，对于一帧内有多个异常物体，异常分值取最高的物体分数。
本发明的有益效果为：该种基于前景目标检测的无监督交通异常行为检测方法通过YOLO v5模型对高速公路上的目标车辆进行检测，避免了直接从低层光流和梯度等信息提取特征的复杂计算量，保证了从高维语义信息进行特征提取的鲁棒性和准确性，并提取出目标在视频中的局部特征信息，并通过自编码器提取深度信息中的隐特征以进行异常检测，同时，通过3D卷积直接从当前帧和前后连续帧中提取深度轨迹信息，并通过自编码器提取深度信息中的隐特征以进行异常检测，另外，通过将交通监控视频的异常检测与无监督图片分类联系在一起，以k均值聚类和聚类评分的方式检测异常，大幅度提高了模型的泛化能力和检测能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明流程示意图。
图2是本发明模型框架示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
根据图1所示，本实施例提出了一种基于前景目标检测的无监督交通异常行为检测方法，包括以下步骤：
步骤一：快速目标检测
通过MS COCO数据集(大型图像数据集)预训练的模型对视频序列进行目标检测，提取出目标的Bounding Box检测框，以进一步提取储目标的外观异常信息和轨迹异常信息，所述步骤一中预训练的模型为YOLO v5，YOLO v5作为YOLO系列模型中最新的版本，其在每个图像的推理时间快至0.007秒，每秒140帧(FPS)，因此将其用于监控视频的异常检测满足轻量化、实时性的要求，所述步骤一中，在MS COCO数据集内选取人、自行车、汽车、摩托车、公交车、卡车作为训练数据集进行模型的预训练；
步骤二：外观异常特征提取
利用步骤一中提取出目标的Bounding Box检测框，截取当前视频帧中的目标对象，然后通过自编码器(AE)进行隐特征提取，获取检测目标的外观异常特征向量，所述步骤二中，在截取当前视频帧中的目标对象后，需进行灰度处理，以去除色彩信息，提高计算速度，所述步骤二中，通过逐像素均方误差的重构损失进行自监督的外观特征提取，以达到实时处理的效果，所述自编码器包含编码器和解码器两部分，所述编码器和解码器均含有3个卷积层；
步骤三：轨迹异常特征提取
目标的轨迹信息不同于外观异常特征，需要关注多帧图像中目标的位置关系，因而需要通过3D卷积获取步骤二中当前视频帧前后连续一段序列的深度特征，再通过自编码器(AE)进行隐特征提取，获取检测目标的轨迹异常特征向量，所述步骤三中，通过逐像素均方误差的重构损失进行自监督的外观特征提取，以达到实时处理的效果；
步骤四：异常特征检测
将步骤二中获得的外观异常特征向量和步骤三中活动的轨迹异常特征向量进行拼接，拼接形成当前视频帧的特征向量，之后将获得的特征向量后进行k-mean聚类(一种迭代求解的聚类分析算法)，能够获得K个聚类，产生K个1-vs-rest的二分类器，其中最大分类分数即为异常分值，以此发现异常，对于每一个簇来说，其他类簇就是伪异常，那么对于每一个聚类可以训练一个二分类器，将自身与其他类簇分开，经过训练之后，就可以得到的决策边界，负样本会比真正的异常样本要离中心更近，其中函数表达方式为：
Figure BDA0003052322270000071
Figure BDA0003052322270000072
其中s(x)即被认为是异常分数；
步骤五：其他情况的处理
对于同一帧内两个物体的Bounding Box检测框重叠情况，取二者的交集，然后异常分值分配给交集，所述步骤五中，对于一帧内有多个异常物体，异常分值取最高的物体分数，最后的聚类分数，进行时序高斯平滑，以提高异常初期和后期的检测效果。
该种基于前景目标检测的无监督交通异常行为检测方法通过YOLO v5模型对高速公路上的目标车辆进行检测，避免了直接从低层光流和梯度等信息提取特征的复杂计算量，保证了从高维语义信息进行特征提取的鲁棒性和准确性，并提取出目标在视频中的局部特征信息，并通过自编码器提取深度信息中的隐特征以进行异常检测，同时，通过3D卷积直接从当前帧和前后连续帧中提取深度轨迹信息，并通过自编码器提取深度信息中的隐特征以进行异常检测，另外，通过将交通监控视频的异常检测与无监督图片分类联系在一起，以k均值聚类和聚类评分的方式检测异常，大幅度提高了模型的泛化能力和检测能力。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于前景目标检测的无监督交通异常行为检测方法，其特征在于：包括以下步骤：
步骤一：快速目标检测
通过MS COCO数据集(大型图像数据集)预训练的模型对视频序列进行目标检测，提取出目标的Bounding Box检测框，以进一步提取储目标的外观异常信息和轨迹异常信息；
步骤二：外观异常特征提取
利用步骤一中提取出目标的Bounding Box检测框，截取当前视频帧中的目标对象，然后通过自编码器(AE)进行隐特征提取，获取检测目标的外观异常特征向量；
步骤三：轨迹异常特征提取
通过3D卷积获取步骤二中当前视频帧前后连续一段序列的深度特征，再通过自编码器(AE)进行隐特征提取，获取检测目标的轨迹异常特征向量；
步骤四：异常特征检测
将步骤二中获得的外观异常特征向量和步骤三中活动的轨迹异常特征向量进行拼接，拼接形成当前视频帧的特征向量，之后将获得的特征向量后进行k-mean聚类(一种迭代求解的聚类分析算法)，能够获得K个聚类，产生K个1-vs-rest的二分类器，其中最大分类分数即为异常分值，以此发现异常；
步骤五：其他情况的处理
对于同一帧内两个物体的Bounding Box检测框重叠情况，取二者的交集，然后异常分值分配给交集。
2.根据权利要求1所述的一种基于前景目标检测的无监督交通异常行为检测方法，其特征在于：所述步骤一中预训练的模型为YOLOv5。
3.根据权利要求1所述的一种基于前景目标检测的无监督交通异常行为检测方法，其特征在于：所述步骤一中，在MS COCO数据集内选取人、自行车、汽车、摩托车、公交车、卡车作为训练数据集进行模型的预训练。
4.根据权利要求1所述的一种基于前景目标检测的无监督交通异常行为检测方法，其特征在于：所述步骤二中，在截取当前视频帧中的目标对象后，需进行灰度处理，以去除色彩信息，提高计算速度。
5.根据权利要求1所述的一种基于前景目标检测的无监督交通异常行为检测方法，其特征在于：所述步骤二和步骤三中，均通过逐像素均方误差的重构损失进行自监督的外观特征提取，以达到实时处理的效果。
6.根据权利要求1所述的一种基于前景目标检测的无监督交通异常行为检测方法，其特征在于：所述自编码器包含编码器和解码器两部分，所述编码器和解码器均含有3个卷积层。
7.根据权利要求1所述的一种基于前景目标检测的无监督交通异常行为检测方法，其特征在于：所述步骤五中，对于一帧内有多个异常物体，异常分值取最高的物体分数。
CN202110490567.1A 2021-05-06 2021-05-06 一种基于前景目标检测的无监督交通异常行为检测方法 Pending CN113221716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110490567.1A CN113221716A (zh) 2021-05-06 2021-05-06 一种基于前景目标检测的无监督交通异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110490567.1A CN113221716A (zh) 2021-05-06 2021-05-06 一种基于前景目标检测的无监督交通异常行为检测方法

Publications (1)

Publication Number Publication Date
CN113221716A true CN113221716A (zh) 2021-08-06

Family

ID=77091409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110490567.1A Pending CN113221716A (zh) 2021-05-06 2021-05-06 一种基于前景目标检测的无监督交通异常行为检测方法

Country Status (1)

Country Link
CN (1) CN113221716A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119235A (zh) * 2021-12-03 2022-03-01 西华大学 一种基于区块链的平台反垄断算法行为自证交易方法
CN114463724A (zh) * 2022-04-11 2022-05-10 南京慧筑信息技术研究院有限公司 一种基于机器视觉的车道提取识别方法
CN117456482A (zh) * 2023-12-25 2024-01-26 暗物智能科技(广州)有限公司 一种面向交通监控场景的异常事件识别方法及系统
CN117456482B (zh) * 2023-12-25 2024-05-10 暗物智能科技(广州)有限公司 一种面向交通监控场景的异常事件识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052859A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN108647649A (zh) * 2018-05-14 2018-10-12 中国科学技术大学 一种视频中异常行为的检测方法
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN112016449A (zh) * 2020-08-27 2020-12-01 西华大学 一种基于深度学习的车辆识别与检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052859A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN108647649A (zh) * 2018-05-14 2018-10-12 中国科学技术大学 一种视频中异常行为的检测方法
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN112016449A (zh) * 2020-08-27 2020-12-01 西华大学 一种基于深度学习的车辆识别与检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张洁: "基于深度学习的监控场景异常检测方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119235A (zh) * 2021-12-03 2022-03-01 西华大学 一种基于区块链的平台反垄断算法行为自证交易方法
CN114119235B (zh) * 2021-12-03 2023-05-30 西华大学 一种基于区块链的平台反垄断算法行为自证交易方法
CN114463724A (zh) * 2022-04-11 2022-05-10 南京慧筑信息技术研究院有限公司 一种基于机器视觉的车道提取识别方法
CN117456482A (zh) * 2023-12-25 2024-01-26 暗物智能科技(广州)有限公司 一种面向交通监控场景的异常事件识别方法及系统
CN117456482B (zh) * 2023-12-25 2024-05-10 暗物智能科技(广州)有限公司 一种面向交通监控场景的异常事件识别方法及系统

Similar Documents

Publication Publication Date Title
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
CN106354816A (zh) 一种视频图像处理方法及装置
US8416296B2 (en) Mapper component for multiple art networks in a video analysis system
CN105930791A (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN110827540B (zh) 一种多模态数据融合的机动车移动模式识别方法及系统
CN113221716A (zh) 一种基于前景目标检测的无监督交通异常行为检测方法
Nguyen et al. Vehicle re-identification with learned representation and spatial verification and abnormality detection with multi-adaptive vehicle detectors for traffic video analysis.
CN104978567A (zh) 基于场景分类的车辆检测方法
CN103886089B (zh) 基于学习的行车记录视频浓缩方法
CN112016499A (zh) 基于多分支卷积神经网络的交通场景风险评估方法及系统
Phan et al. Occlusion vehicle detection algorithm in crowded scene for traffic surveillance system
CN110443142B (zh) 一种基于路面提取与分割的深度学习车辆计数方法
Ghahremannezhad et al. A new adaptive bidirectional region-of-interest detection method for intelligent traffic video analysis
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
Mostafa et al. A yolo based approach for traffic light recognition for adas systems
CN112818935A (zh) 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN110502995B (zh) 基于细微面部动作识别的驾驶员打哈欠检测方法
Tian et al. Rsg-net: Towards rich sematic relationship prediction for intelligent vehicle in complex environments
Sheng et al. A faster R-CNN based high-normalization sample calibration method for dense subway passenger flow detection
CN110555425A (zh) 一种视频流实时行人检测方法
CN114937248A (zh) 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质
Adewopo et al. Smart city transportation: Deep learning ensemble approach for traffic accident detection
Dorrani Traffic Scene Analysis and Classification using Deep Learning
Hu et al. A novel algorithm for efficient labeling and its application to on-road risk detection
Ashik et al. Recognizing bangladeshi traffic signs in the wild

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806