CN113255620A - 一种基于视频中车辆群体轨迹分析的异常事件检测方法 - Google Patents

一种基于视频中车辆群体轨迹分析的异常事件检测方法 Download PDF

Info

Publication number
CN113255620A
CN113255620A CN202110781524.9A CN202110781524A CN113255620A CN 113255620 A CN113255620 A CN 113255620A CN 202110781524 A CN202110781524 A CN 202110781524A CN 113255620 A CN113255620 A CN 113255620A
Authority
CN
China
Prior art keywords
vehicle
abnormal
loss
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110781524.9A
Other languages
English (en)
Other versions
CN113255620B (zh
Inventor
夏莹杰
郭林
蒋萌青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yuantiao Science And Technology Co ltd
Original Assignee
Hangzhou Yuantiao Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yuantiao Science And Technology Co ltd filed Critical Hangzhou Yuantiao Science And Technology Co ltd
Priority to CN202110781524.9A priority Critical patent/CN113255620B/zh
Publication of CN113255620A publication Critical patent/CN113255620A/zh
Application granted granted Critical
Publication of CN113255620B publication Critical patent/CN113255620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视频中车辆群体轨迹分析的异常事件检测方法，包括以下步骤：1、获取路段的车辆行驶监控视频，获得车辆目标的行驶轨迹信息，并构建训练集和评估集；2、构建时间序列的全局车辆状态表示和每个车辆自身的时间序列状态表示，分别建立全局编码器网络和局部编码器网络；3、将全局编码器网络和局部编码器网络各自的输出进行连接，并获得新的特征编码；4、构建相邻车辆的共享权值编码；5、构建解码器并将新的特征编码和共享权值编码作为输入，计算损失函数，并进行反向传播；6、判断车辆行驶监控视频是否存在异常。本发明能够对因车辆事故导致的车辆异常轨迹具有一定的识别性，减少交警人力成本，帮助其快速做出决策。

Description

一种基于视频中车辆群体轨迹分析的异常事件检测方法
技术领域
本发明涉及智能交通领域，具体涉及一种基于视频中车辆群体轨迹分析的异常事件检测方法。
背景技术
近年来，随着城市居民生活水平不断提高，私家车出行成为越来越普遍的交通方式，随之而来的交通事故频发成为隐患，给交通管理部门带来了巨大的挑战。
传统的事故处理依赖于事故车辆司机上报，或者由相关警务人员通过监控视频人工筛查，这无疑是低效的，因此，寻求一种快速的侦察事故异常方法显得尤为重要。
传统方法大多采用经典的图像处理方法，或者采用手工提取相关特征对事故场景做分类，但是这些方法泛化性不高，在一些场景中容易失效；而近年来，随着深度学习的兴起，越来越多方法转向了通过神经网络来对事件进行判别分析。
在一些已有的方法中，有的试图采用神经网络得到目标对象，通过停车，交并比等逻辑判别以及规则对目标做出约束（如公开号专利CN112509315A），这类方法往往需要大量的阈值作为逻辑判断，在不同的场景中可能需要修改这些阈值参数。
另外一些方法则直接采用了卷积网络对正常的视频帧和交通事故的异常视频帧进行特征提取的方式，例如在公开专利号CN112487961A的专利中公开了一种交通事故检测方法、存储介质及设备，方法包括步骤：对筛选的交通数据进行预处理，构建交通事故数据集；将所述交通事故数据集中的每个原始视频样本视为一个包，对每个包进行空时域分割，得到与每个包对应的若干实例；根据所述交通事故数据集的弱标签属性构建事故检测模型，并基于所述每个包对应的若干实例对所述事故检测模型进行训练，得到训练后事故检测模型；根据所述训练后事故检测模型对测试视频进行端到端的交通事故检测。本发明提供的方法可有效提高交通事故检测率，降低误报率。
这种方式将图像整个作为网络输入，针对一些具有剧烈场景变化的交通事故场景可能有效，但是在其他事故场景下无法进行有效辨别。
而采用公开的事故数据集（例如UCF Crimes，CADP等开源数据集）作为事故的图像特征训练有时往往并不可靠，因为这些数据集包含各种各样场景，例如新闻播报、手持设备录像晃动、文字覆盖、不同的分辨率等，这和基于监控视频的检测方法相去甚远。
在现实生活中，一方面，真正的监控事故数据集往往是难以获取的，如果将这些事故数据集和占据大多数的正常数据集一起作为训练，往往受到数据不均衡的影响，使得网络训练效果变差；另一方面，交通事故场景往往是多变并且及其复杂的，依靠单一的网络在缺乏事故数据集上采用直接特征提取进行训练的结果往往是令人难以信服的。
因为事故数据的难以获取以及事故场景的多样性和复杂性，网络模型有时候往往难以收敛。当事故发生时，对正常的交通流往往具有一定的影响，例如车辆的拥堵，缓行，周围车辆发生绕行，行人下车等，这些车辆的行为模式和正常的交通流的车辆行为模式截然不同。本实施例通过时序的神经网络对车辆的轨迹进行训练，综合考虑全局的车辆行为模式和局部车辆的行为模式，并考虑车辆间的交互影响，提出了一种新的基于视频中车辆群体轨迹分析的异常事件检测方法，通过采集到的大量的正常视频数据集，依赖于神经网络强大的学习能力和表征能力，取得了一定的效果。与其他检测方法相比，本实施例的方法不需要大量的事故数据集，本实施例将事故作为一个异常事件，这样避免了事故场景的复杂性和多变性，同时，本实施例的方法也能够检测出其他的异常事件。
发明内容
为了解决上述问题，本发明提出了一种基于视频中车辆群体轨迹分析的异常事件检测方法，能够对因车辆事故导致的车辆异常轨迹具有一定的识别性，能够减少交警人力成本，并帮助其快速做出决策。
本发明的技术方案如下所示：
一种基于视频中车辆群体轨迹分析的异常事件检测方法，包括以下步骤：
S100：获取路段的车辆行驶监控视频，通过目标检测网络和跟踪算法获得车辆目标的行驶轨迹信息，并构建训练集和评估集；
S200：构建时间序列的全局车辆状态表示和每个车辆自身的时间序列状态表示，并基于全局时序特征和车辆时序特征分别建立全局编码器网络和局部编码器网络；
S300：将全局编码器网络和局部编码器网络各自的输出进行连接，并通过特征池进行特征重构获得新的特征编码；
S400：对每个车辆目标，基于相邻车辆的交互影响，构建相邻车辆的共享权值编码；
S500：构建解码器并将步骤S300中的新的特征编码和步骤S400中的共享权值编码作为输入，对每个时间步，构建车辆自身的时间序列表示，计算损失函数，并进行反向传播；
S600：利用步骤S200-S500中训练好的网络在评估集上获得异常分数阈值，并对并对车辆行驶监控视频进行异常事件检测，计算获得异常分数，对比异常分数和异常分数阈值，判断车辆行驶监控视频是否存在异常。
优选的，所述步骤S100中的行驶轨迹信息包括每个车辆的
Figure 928903DEST_PATH_IMAGE001
，类别
Figure 694733DEST_PATH_IMAGE002
，边界框位置 信息
Figure 131662DEST_PATH_IMAGE003
，其中
Figure 886123DEST_PATH_IMAGE004
和
Figure 422408DEST_PATH_IMAGE005
表示边界框的中心位置，
Figure 754164DEST_PATH_IMAGE006
和
Figure 431002DEST_PATH_IMAGE007
表示边界框的宽高；所述训练集只 包含正常行驶的车辆轨迹，所述评估集中包含异常行驶的车辆。
优选的，所述步骤S100中还包括对目标检测网络和跟踪算法获得车辆目标的行驶轨迹进行调整的过程，所述调整包括边界框的调整和轨迹调整，所述边界框的调整为移除重复框和对位置调整，所述轨迹调整为将同一目标断掉的轨迹信息进行合并以及补充丢失的轨迹信息。
优选的，所述步骤S300中的新的特征编码的获取步骤具体如下：
S301：将S200中所述的全局编码器和局部编码器的输出进行连接，得到所有目标的中间的隐藏层状态标识Hk，记目标个数为K；
S302：通过特征池FP重构方法进行特征重构，所述特征池FP重构方法采用M个固定维度的特征向量；
S303：在FP重构方法的fetch阶段中，对每个目标
Figure 430182DEST_PATH_IMAGE008
，计算FP的每个特征和目标特征
Figure 402948DEST_PATH_IMAGE009
余弦相似度，经过
Figure 753158DEST_PATH_IMAGE010
后得到一组相关系数
Figure 702528DEST_PATH_IMAGE011
，计算重构之后的 特征为
Figure 821794DEST_PATH_IMAGE012
；记K和M的相关系数矩阵为A，其中
Figure 699882DEST_PATH_IMAGE013
；
S304：在FP重构方法的update阶段，对每个FP的特征向量
Figure 616017DEST_PATH_IMAGE014
，通过矩阵系数A求得 一组最接近
Figure 745909DEST_PATH_IMAGE014
的目标集合，记为
Figure 735993DEST_PATH_IMAGE015
，然后通过
Figure 34250DEST_PATH_IMAGE016
更新
Figure 608320DEST_PATH_IMAGE014
，其中系数
Figure 915805DEST_PATH_IMAGE017
表示 每个
Figure 760395DEST_PATH_IMAGE014
向量与所有目标的目标特征
Figure 495133DEST_PATH_IMAGE009
求余弦相似度后经过
Figure 290919DEST_PATH_IMAGE010
后得到的值。
S305：将重构特征和原始特征连接后，得到新的特征表示
Figure 402095DEST_PATH_IMAGE018
。
优选的，所述步骤S400中构建相邻车辆的共享权值编码的具体过程为：
S401：通过阈值
Figure 101192DEST_PATH_IMAGE019
对相邻范围进行约束，所述阈值采用
Figure 741252DEST_PATH_IMAGE020
，其 中
Figure 24334DEST_PATH_IMAGE021
为系数，
Figure 673621DEST_PATH_IMAGE022
，w和h分别表示车辆边界框的宽和高；
S402：对相邻范围内的目标车辆，通过基于距离的注意力机制对相邻范围内的目 标加权求和，记
Figure 227225DEST_PATH_IMAGE023
，其中
Figure 303765DEST_PATH_IMAGE024
表示归一化后目标
Figure 74144DEST_PATH_IMAGE025
和相邻目 标
Figure 261543DEST_PATH_IMAGE026
的欧拉距离；因此每个目标的
Figure 200811DEST_PATH_IMAGE027
，其中
Figure 448253DEST_PATH_IMAGE028
表示车辆i周围车辆的目标集 合，
Figure 705928DEST_PATH_IMAGE029
为所求系数，
Figure 697017DEST_PATH_IMAGE030
为状态特征表示。
优选的，所述步骤S500中损失函数的计算过程为：
S501：通过一组线性映射将每个时间步的特征映射为
Figure 936196DEST_PATH_IMAGE031
维特征向量，即为
Figure 354539DEST_PATH_IMAGE032
，
Figure 833931DEST_PATH_IMAGE032
为车辆自身的时间序列表示；
S502：通过公式
Figure 363132DEST_PATH_IMAGE033
计算特征损失
Figure 745835DEST_PATH_IMAGE034
，其中
Figure 335079DEST_PATH_IMAGE035
和
Figure 301767DEST_PATH_IMAGE036
表示损失均衡系 数，
Figure 634659DEST_PATH_IMAGE037
为压缩损失，
Figure 871868DEST_PATH_IMAGE038
为分隔损失；
S503：用重建后的
Figure 881281DEST_PATH_IMAGE032
和
Figure 85997DEST_PATH_IMAGE039
的MSE表示重构损失
Figure 973313DEST_PATH_IMAGE040
，它使得
Figure 314295DEST_PATH_IMAGE032
和
Figure 494610DEST_PATH_IMAGE039
尽可能接近，其 中
Figure 186622DEST_PATH_IMAGE039
表示第i个目标的时间序列特征表示，
Figure 612050DEST_PATH_IMAGE032
表示网络重建后的特征。
S504：利用公式
Figure 73118DEST_PATH_IMAGE041
计算总的误差损失，获得损失函数，其中
Figure 424334DEST_PATH_IMAGE034
为特征损 失，
Figure 338063DEST_PATH_IMAGE040
为重构误差损失。
优选的，所述压缩损失
Figure 567182DEST_PATH_IMAGE037
通过公式
Figure 148336DEST_PATH_IMAGE042
来计算,其中，p表示 使得
Figure 404873DEST_PATH_IMAGE014
为最接近
Figure 71478DEST_PATH_IMAGE009
的下标索引，即
Figure 838708DEST_PATH_IMAGE043
；所述分隔损失
Figure 258057DEST_PATH_IMAGE038
利用 TripletMarginLoss计算，计算公式为：
Figure 701808DEST_PATH_IMAGE044
其 中
Figure 606441DEST_PATH_IMAGE045
表示
Figure 426630DEST_PATH_IMAGE014
第二靠近
Figure 700485DEST_PATH_IMAGE009
的下标索引，即
Figure 580716DEST_PATH_IMAGE046
。
优选的，所述重构误差损失
Figure 707066DEST_PATH_IMAGE040
的计算公式为：
Figure 65367DEST_PATH_IMAGE047
。
优选的，所述异常分数的计算过程为：通过
Figure 459308DEST_PATH_IMAGE048
计算匹配度 分值
Figure 480747DEST_PATH_IMAGE049
，通过公式
Figure 94393DEST_PATH_IMAGE050
计算重建分值
Figure 256384DEST_PATH_IMAGE051
，最终计算异常分数为
Figure 504831DEST_PATH_IMAGE052
。
优选的，异常分数阈值的获取过程为：对每个评估集
Figure 477598DEST_PATH_IMAGE053
，通过训练好的模型进行评 估，获得一组异常分数
Figure 827808DEST_PATH_IMAGE054
，选取
Figure 777178DEST_PATH_IMAGE055
作为 异常事件检测的阈值。
本发明的有益效果为：
本发明通过时序的神经网络对车辆的轨迹进行训练，综合考虑全局的车辆行为模式和局部车辆的行为模式，并考虑车辆间的交互影响，通过采集到的大量的正常视频数据集，依赖于神经网络强大的学习能力和表征能力，解决了事故数据的难以获取以及事故场景的多样性和复杂性的问题，且与其他传统的检测方法相比，本发明提供的方法不需要大量的事故数据集，只需要事故作为一个异常事件来看待。
附图说明
图1为本发明中异常事件检测方法的流程框图。
图2为异常事件检测流程图。
具体实施方式
下面将结合说明书附图对本发明的实施例进行详细说明。
如图1所示，一种基于视频中车辆群体轨迹分析的异常事件检测方法，包括以下步骤：
S100：获取路段的车辆行驶监控视频，通过目标检测网络和跟踪算法获得车辆目标的行驶轨迹信息，并构建训练集和评估集；
S200：构建时间序列的全局车辆状态表示和每个车辆自身的时间序列状态表示，并基于全局时序特征和车辆时序特征分别建立全局编码器网络和局部编码器网络；
S300：将全局编码器网络和局部编码器网络各自的输出进行连接，并通过特征池进行特征重构获得新的特征编码；
S400：对每个车辆目标，基于相邻车辆的交互影响，构建相邻车辆的共享权值编码；
S500：构建解码器并将步骤S300中的新的特征编码和步骤S400中的共享权值编码作为输入，对每个时间步，构建车辆自身的时间序列表示，计算损失函数，并进行反向传播；
S600：利用步骤S200-S500中训练好的网络在评估集上获得异常分数阈值，并对并对车辆行驶监控视频进行异常事件检测，计算获得异常分数，对比异常分数和异常分数阈值，判断车辆行驶监控视频是否存在异常。
其中，步骤S100中采集的轨迹信息包含每个车辆的
Figure 896444DEST_PATH_IMAGE056
，类别
Figure 40111DEST_PATH_IMAGE057
，边界框位置信息
Figure 877617DEST_PATH_IMAGE058
，其中
Figure 630679DEST_PATH_IMAGE059
和
Figure 338872DEST_PATH_IMAGE060
表示边界框的中心位置，
Figure 387861DEST_PATH_IMAGE061
和
Figure 712663DEST_PATH_IMAGE062
表示边界框的宽高。
训练集中只包含正常行驶的车辆轨迹，正常行驶车辆是指在没有明显交通拥堵情况下或者因事故导致车辆拥堵绕行的车辆。
评估集中包含异常行驶的车辆，特别地，因交通事故导致的车辆停止，拥堵，周围车辆发生绕行。
构建训练集和评估集时，对目标检测和跟踪算法的车辆轨迹进行调整，主要包含边界框的调整和轨迹调整。边界框的调整主要是移除重复框和位置调整；轨迹调整是为了将同一目标断掉的轨迹信息进行合并以及补充丢失的轨迹信息。
步骤S200中全局的车辆状态特征
Figure 3836DEST_PATH_IMAGE063
表示包含全局平均速度
Figure 97694DEST_PATH_IMAGE064
,全局车辆速度 低于第一四分位数车辆占比率
Figure 583165DEST_PATH_IMAGE065
, 全局车辆速度高于第三四分位数车辆占比率
Figure 129684DEST_PATH_IMAGE066
,基于聚类分析获得的全局轨迹聚类切换次数
Figure 224547DEST_PATH_IMAGE067
，全局车辆总数
Figure 172912DEST_PATH_IMAGE068
。
通过计算前后中心位置的差值来表示车辆的速度，对第t帧的第i个目标，
Figure 852721DEST_PATH_IMAGE069
,
Figure 870224DEST_PATH_IMAGE070
。对第t帧的全局平均速度，
Figure 253932DEST_PATH_IMAGE071
，
Figure 417323DEST_PATH_IMAGE072
。
Figure 228284DEST_PATH_IMAGE073
。
具体的，假设地t-1帧中第i个目标框坐标位置为[120, 314,88,56]，第t帧中第i 个目标框坐标位置为[123, 318,89,61]，则计算的
Figure 234548DEST_PATH_IMAGE074
，
Figure 671215DEST_PATH_IMAGE075
。假设当前总计有7个目标，计算得到的
Figure 594171DEST_PATH_IMAGE076
，则
Figure 326766DEST_PATH_IMAGE077
。
第t帧的第i个车辆速度
Figure 335173DEST_PATH_IMAGE078
，按照速度分别计四分位数，以及对应 车辆占比率。
假设当前帧总共有10个目标，其速度分别为[2,3,3,4,4,5,5,6,6,6]，则
Figure 575531DEST_PATH_IMAGE079
。
计算全局轨迹聚类切换次数
Figure 352994DEST_PATH_IMAGE067
，首先根据dtw和kmedoids获得轨迹聚类，然后对 每个目标轨迹，通过聚类算法得到归属类别，计算目标的类别变换次数记为
Figure 522069DEST_PATH_IMAGE067
。
对第
Figure 486614DEST_PATH_IMAGE008
帧的时间序列状态表示为
Figure 530663DEST_PATH_IMAGE080
。
车辆自身的时间序列状态表示
Figure 162632DEST_PATH_IMAGE081
包含车辆边界框底部中心位置
Figure 174713DEST_PATH_IMAGE082
,车辆边 界框宽高
Figure 359708DEST_PATH_IMAGE083
以及车辆的速度
Figure 443333DEST_PATH_IMAGE084
以及类别c。对第
Figure 929809DEST_PATH_IMAGE008
帧的时间序列状态
Figure 470381DEST_PATH_IMAGE085
表示为
Figure 675097DEST_PATH_IMAGE086
。
上述步骤S200中使用LSTM作为网络的基本架构，对隐藏层，将维度设为M，在一个具体实施例中，可设置M=512，初始的隐藏层采用随机初始化参数。两个网络相互独立，输出相同维度的特征编码，作为抽象的高层语义表示。
步骤S300中新的特征编码
Figure 811680DEST_PATH_IMAGE087
的计算过程为：
首先将步骤2中所述的全局编码器和局部编码器的输出进行连接，得到所有目标 的中间的隐藏层状态标识
Figure 168975DEST_PATH_IMAGE088
，记目标个数为K。FP过程主要分为两个阶段，fetch阶段和 update阶段。
在fetch阶段，对每个目标
Figure 365601DEST_PATH_IMAGE008
，计算FP的每个特征和目标特征
Figure 775722DEST_PATH_IMAGE009
余弦相似度，经过
Figure 466729DEST_PATH_IMAGE010
后得到一组相关系数
Figure 927797DEST_PATH_IMAGE011
，其中
Figure 279013DEST_PATH_IMAGE089
的计算公式
Figure 192742DEST_PATH_IMAGE090
，重构之后的特征为
Figure 421861DEST_PATH_IMAGE012
。记K和M的相关系数矩阵为 A，
Figure 471856DEST_PATH_IMAGE013
。
在update阶段，对每个FP的特征向量
Figure 259553DEST_PATH_IMAGE091
，通过矩阵系数A求得一组最接近
Figure 660578DEST_PATH_IMAGE091
的目 标集合，记为
Figure 693387DEST_PATH_IMAGE092
，然后通过
Figure 863469DEST_PATH_IMAGE093
更新
Figure 556487DEST_PATH_IMAGE091
，其中系数
Figure 710388DEST_PATH_IMAGE094
表示每个
Figure 281309DEST_PATH_IMAGE091
向量与所有 目标的
Figure 555164DEST_PATH_IMAGE095
求余弦相似度后经过
Figure 169816DEST_PATH_IMAGE096
后得到的值，
Figure 296166DEST_PATH_IMAGE094
的计算公式为
Figure 654466DEST_PATH_IMAGE097
。
将重构特征和原始特征连接后，得到新的特征表示
Figure 48407DEST_PATH_IMAGE018
。
具体的，在fetch阶段，考虑第i个目标，假设计算得到的
Figure 99540DEST_PATH_IMAGE098
，则 重构之后的特征向量为
Figure 713186DEST_PATH_IMAGE099
；在update阶段，对特征
Figure 875177DEST_PATH_IMAGE100
，假设 最接近的一组目标集合为
Figure 389204DEST_PATH_IMAGE101
，k=8，计算的
Figure 611238DEST_PATH_IMAGE102
，则更新
Figure 446601DEST_PATH_IMAGE100
为
Figure 146704DEST_PATH_IMAGE103
。
步骤S400中，共享权值编码
Figure 515237DEST_PATH_IMAGE104
的构建过程为：
通过阈值
Figure 908172DEST_PATH_IMAGE019
对相邻范围进行约束，一般采用
Figure 230832DEST_PATH_IMAGE020
，其中
Figure 734625DEST_PATH_IMAGE021
为系 数，
Figure 426507DEST_PATH_IMAGE022
，w和h分别表示车辆边界框的宽和高。
在一个具体实施例中，假设第i个目标的
Figure 741076DEST_PATH_IMAGE105
，取
Figure 800299DEST_PATH_IMAGE106
，则该目标的 范围阈值为
Figure 91471DEST_PATH_IMAGE107
，在范围
Figure 185329DEST_PATH_IMAGE108
的车辆标记为相邻车辆。
对相邻范围内的目标车辆，通过基于距离的注意力机制对相邻范围内的目标加权 求和，记
Figure 405220DEST_PATH_IMAGE023
，其中
Figure 951739DEST_PATH_IMAGE024
表示归一化后的目标
Figure 781024DEST_PATH_IMAGE025
和相邻目标
Figure 480121DEST_PATH_IMAGE026
的欧拉距离，表示为
Figure 385760DEST_PATH_IMAGE109
。因此每个目标的
Figure 403263DEST_PATH_IMAGE027
，其中
Figure 52551DEST_PATH_IMAGE028
表示车辆i周围车辆的目标集合，
Figure 871733DEST_PATH_IMAGE029
为所求系数，
Figure 948274DEST_PATH_IMAGE030
为状态特征 表示。
具体的，第i个目标包含三个相邻车辆，特征分别为
Figure 453073DEST_PATH_IMAGE110
，
Figure 906051DEST_PATH_IMAGE111
，
Figure 579740DEST_PATH_IMAGE112
，假设计算的距离为
Figure 296023DEST_PATH_IMAGE113
，则计算的权值
Figure 288119DEST_PATH_IMAGE114
，目标i的共享交互权值为
Figure 279209DEST_PATH_IMAGE115
。
步骤S500中，损失函数的计算过程为：
通过一组线性映射将每个时间步的特征映射为
Figure 565263DEST_PATH_IMAGE031
维特征向量，即为
Figure 232873DEST_PATH_IMAGE032
。解 码器的隐藏层特征维度为N。在本实施例中，可设置N=1024。
所计算的损失函数包含两个部分，FP特征损失
Figure 728577DEST_PATH_IMAGE034
和重构误差损失
Figure 8511DEST_PATH_IMAGE040
。
FP损失
Figure 640480DEST_PATH_IMAGE034
包含两个部分，一方面，本实施例期望FP的特征能够尽可能靠近本实施 例的
Figure 478992DEST_PATH_IMAGE009
，所以有压缩损失
Figure 196412DEST_PATH_IMAGE042
,其中，p表示使得
Figure 280037DEST_PATH_IMAGE014
为最接近
Figure 766513DEST_PATH_IMAGE009
的下 标索引，即
Figure 775926DEST_PATH_IMAGE043
；另一方面，本实施例希望对FP中的每个特征向量间 的差异足够大，所以本实施例有分隔损失
Figure 980643DEST_PATH_IMAGE038
，本实施例使用TripletMarginLoss计算
Figure 867959DEST_PATH_IMAGE038
，即
Figure 474520DEST_PATH_IMAGE116
，其中
Figure 654835DEST_PATH_IMAGE045
表示
Figure 346847DEST_PATH_IMAGE014
第二靠近
Figure 772275DEST_PATH_IMAGE009
的下标索引，
Figure 233343DEST_PATH_IMAGE046
。因此总的Mem损失为
Figure 584559DEST_PATH_IMAGE033
，其中
Figure 763867DEST_PATH_IMAGE035
和
Figure 727407DEST_PATH_IMAGE036
表 示损失均衡系数。
重构误差损失表示
Figure 292249DEST_PATH_IMAGE032
和
Figure 565098DEST_PATH_IMAGE039
的MSE损失
Figure 716856DEST_PATH_IMAGE047
，其中
Figure 998933DEST_PATH_IMAGE039
表示第i个目标的时间序列特征表示，
Figure 152703DEST_PATH_IMAGE032
表示网络重建后的特征。
总的误差损失为
Figure 862033DEST_PATH_IMAGE117
。
步骤S600中异常分数和异常分数阈值的计算过程为：
异常分数
Figure 501087DEST_PATH_IMAGE118
的计算，在本实施例中考虑两个方面，FP匹配度分值
Figure 321275DEST_PATH_IMAGE049
和重建分值
Figure 595131DEST_PATH_IMAGE051
。 对匹配度分值
Figure 475362DEST_PATH_IMAGE049
，计算K个目标与FP的最接近特征的二范数平方平均值，即
Figure 601712DEST_PATH_IMAGE048
；对重建分值
Figure 225591DEST_PATH_IMAGE051
，计算重建的
Figure 619533DEST_PATH_IMAGE032
与
Figure 670665DEST_PATH_IMAGE039
的MSE，即
Figure 284311DEST_PATH_IMAGE050
，总共的异常分数为
Figure 429991DEST_PATH_IMAGE052
。
在评估集上获得异常分数阈值
Figure 694750DEST_PATH_IMAGE119
。对每个评估集
Figure 401937DEST_PATH_IMAGE120
，通过训练好的模型进行 评估，获得一组异常分数
Figure 486568DEST_PATH_IMAGE121
，选取
Figure 967097DEST_PATH_IMAGE122
作 为异常事件检测的阈值。对训练集，也通过训练好的模型获得一组训练集的异常分数，记为
Figure 86362DEST_PATH_IMAGE123
，当
Figure 230030DEST_PATH_IMAGE124
时，模型不合格。需要修改相应的超参数 重新进行训练，当
Figure 801957DEST_PATH_IMAGE125
时，认为
Figure 555018DEST_PATH_IMAGE126
越大越好，通过调整相应的超参数或者迭代次 数使得dist最大以获得最佳的网络模型。
具体的，如图2所示，对视频进行异常事件检测的过程中，使用前序的目标检测模 型和目标跟踪算法获得每个目标的轨迹信息。然后分别构建全局的时序特征状态和车辆自 身的特征状态，输入到训练好的网络中，获得异常分数score，当
Figure 794369DEST_PATH_IMAGE127
时，判断 为异常。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于视频中车辆群体轨迹分析的异常事件检测方法，其特征在于，包括以下步骤：
S100：获取路段的车辆行驶监控视频，通过目标检测网络和跟踪算法获得车辆目标的行驶轨迹信息，并构建训练集和评估集；
S200：构建时间序列的全局车辆状态表示和每个车辆自身的时间序列状态表示，并基于全局车辆状态表示和每个车辆自身的时间序列状态表示分别建立全局编码器网络和局部编码器网络；
S300：将全局编码器网络和局部编码器网络各自的输出进行连接，并通过特征池进行特征重构获得新的特征编码；
S400：对每个车辆目标，基于相邻车辆的交互影响，构建相邻车辆的共享权值编码；
S500：构建解码器并将步骤S300中的新的特征编码和步骤S400中的共享权值编码作为输入，对每个时间步，构建车辆自身的时间序列表示，计算损失函数，并进行反向传播；
S600：利用步骤S200-S500中训练好的网络在评估集上获得异常分数阈值，并对并对车辆行驶监控视频进行异常事件检测，计算获得异常分数，对比异常分数和异常分数阈值，判断车辆行驶监控视频是否存在异常。
2.根据权利要求1所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征 在于，所述步骤S100中的行驶轨迹信息包括每个车辆的
Figure 288138DEST_PATH_IMAGE001
，类别
Figure 534311DEST_PATH_IMAGE002
，边界框位置信息
Figure 841796DEST_PATH_IMAGE003
，其中
Figure 420807DEST_PATH_IMAGE004
和
Figure 608075DEST_PATH_IMAGE005
表示边界框的中心位置，
Figure 623435DEST_PATH_IMAGE006
和
Figure 954185DEST_PATH_IMAGE007
表示边界框的宽高；所述训练集只包含正常行驶的 车辆轨迹，所述评估集中只包含异常行驶的车辆。
3.根据权利要求1所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征在于，所述步骤S100中还包括对目标检测网络和跟踪算法获得车辆目标的行驶轨迹进行调整的过程，所述调整包括边界框的调整和轨迹调整，所述边界框的调整为移除重复框和对位置调整，所述轨迹调整为将同一目标断掉的轨迹信息进行合并以及补充丢失的轨迹信息。
4.根据权利要求1所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征在于，所述步骤S300中的新的特征编码的获取步骤具体如下：
S301：将S200中所述的全局编码器和局部编码器的输出进行连接，得到所有目标的中间的隐藏层状态标识Hk，记目标个数为K；
S302：通过特征池FP重构方法进行特征重构，所述特征池FP重构方法采用M个固定维度的特征向量；
S303：在FP重构方法的fetch阶段中，对每个目标
Figure 886237DEST_PATH_IMAGE008
，计算FP的每个特征和目标特征
Figure 886817DEST_PATH_IMAGE009
余 弦相似度，经过
Figure 904320DEST_PATH_IMAGE010
后得到一组相关系数
Figure 507602DEST_PATH_IMAGE011
，计算重构之后的特征 为
Figure 310473DEST_PATH_IMAGE012
；记K和M的相关系数矩阵为A，其中
Figure 839543DEST_PATH_IMAGE013
；
S304：在FP重构方法的update阶段，对每个FP的特征向量
Figure 845808DEST_PATH_IMAGE014
，通过矩阵系数A求得一组 最接近
Figure 485736DEST_PATH_IMAGE014
的目标集合，记为
Figure 831529DEST_PATH_IMAGE015
，然后通过
Figure 531501DEST_PATH_IMAGE016
更新
Figure 900428DEST_PATH_IMAGE014
，其中系数
Figure 344047DEST_PATH_IMAGE017
表示每个
Figure 606664DEST_PATH_IMAGE014
向量与所有目标的目标特征
Figure 759427DEST_PATH_IMAGE009
求余弦相似度后经过
Figure 238819DEST_PATH_IMAGE010
后得到的值；
S305：将重构特征和原始特征连接后，得到新的特征表示
Figure 253174DEST_PATH_IMAGE018
。
5.根据权利要求1所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征在于，所述步骤S400中构建相邻车辆的共享权值编码的具体过程为：
S401：通过阈值
Figure 885143DEST_PATH_IMAGE019
对相邻范围进行约束，所述阈值采用
Figure 458076DEST_PATH_IMAGE020
，其中
Figure 175496DEST_PATH_IMAGE021
为系数，
Figure 282559DEST_PATH_IMAGE022
，w和h分别表示车辆边界框的宽和高；
S402：对相邻范围内的目标车辆，通过基于距离的注意力机制对相邻范围内的目标加 权求和，记
Figure 34614DEST_PATH_IMAGE023
，其中
Figure 44027DEST_PATH_IMAGE024
表示归一化后目标
Figure 514323DEST_PATH_IMAGE025
和相邻目标
Figure 401639DEST_PATH_IMAGE026
的欧拉距离；因此每个目标的
Figure 742621DEST_PATH_IMAGE027
，其中
Figure 188515DEST_PATH_IMAGE028
表示车辆i周围车辆的目标集合，
Figure 880527DEST_PATH_IMAGE029
为所求系数，
Figure 571534DEST_PATH_IMAGE030
为状态特征表示。
6.根据权利要求1所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征在于，所述步骤S500中损失函数的计算过程为：
S501：通过一组线性映射将每个时间步的特征映射为
Figure 32602DEST_PATH_IMAGE031
维特征向量，即为
Figure 914976DEST_PATH_IMAGE032
，
Figure 828706DEST_PATH_IMAGE032
为车辆自身的时间序列表示；
S502：通过公式
Figure 526666DEST_PATH_IMAGE033
计算特征损失
Figure 107820DEST_PATH_IMAGE034
，其中
Figure 364358DEST_PATH_IMAGE035
和
Figure 30962DEST_PATH_IMAGE036
表示损失均衡系数，
Figure 532613DEST_PATH_IMAGE037
为压缩损失，
Figure 217541DEST_PATH_IMAGE038
为分隔损失；
S503：用重建后的
Figure 661292DEST_PATH_IMAGE032
和
Figure 300346DEST_PATH_IMAGE039
的MSE表示重构损失
Figure 854955DEST_PATH_IMAGE040
，它使得
Figure 489330DEST_PATH_IMAGE032
和
Figure 618829DEST_PATH_IMAGE039
尽可能接近，其中
Figure 728867DEST_PATH_IMAGE039
表示第i个目标的时间序列特征表示，
Figure 837900DEST_PATH_IMAGE032
表示网络重建后的特征；
S504：利用公式
Figure 248153DEST_PATH_IMAGE041
计算总的误差损失，获得损失函数，其中
Figure 282974DEST_PATH_IMAGE034
为特征损失，
Figure 145887DEST_PATH_IMAGE040
为重构误差损失。
7.根据权利要求6所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征 在于，所述压缩损失
Figure 793032DEST_PATH_IMAGE042
通过公式
Figure 792212DEST_PATH_IMAGE043
来计算,其中，p表示使得
Figure 263513DEST_PATH_IMAGE044
为最 接近
Figure 613723DEST_PATH_IMAGE045
的下标索引，即
Figure 330137DEST_PATH_IMAGE046
；所述分隔损失
Figure 433092DEST_PATH_IMAGE047
利用TripletMarginLoss 计算，计算公式为：
Figure 560448DEST_PATH_IMAGE048
其中
Figure 148686DEST_PATH_IMAGE049
表示
Figure 652480DEST_PATH_IMAGE044
第二靠近
Figure 875519DEST_PATH_IMAGE045
的下标索引，即
Figure 173777DEST_PATH_IMAGE050
。
8.根据权利要求6所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征 在于，所述重构误差损失
Figure 983732DEST_PATH_IMAGE051
的计算公式为：
Figure 291217DEST_PATH_IMAGE052
。
9.根据权利要求1所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征 在于，所述异常分数的计算过程为：通过
Figure 368763DEST_PATH_IMAGE053
计算匹配度分值
Figure 103501DEST_PATH_IMAGE054
，通 过公式
Figure 135173DEST_PATH_IMAGE055
计算重建分值
Figure 246348DEST_PATH_IMAGE056
，最终计算异常分数为
Figure 443980DEST_PATH_IMAGE057
。
10.根据权利要求1所述的基于视频中车辆群体轨迹分析的异常事件检测方法，其特征 在于，异常分数阈值的获取过程为：对每个评估集
Figure 834773DEST_PATH_IMAGE058
，通过训练好的模型进行评估，获得一组 异常分数
Figure 868588DEST_PATH_IMAGE059
，选取
Figure 767143DEST_PATH_IMAGE060
作为异常事件检测 的阈值。
CN202110781524.9A 2021-07-12 2021-07-12 一种基于视频中车辆群体轨迹分析的异常事件检测方法 Active CN113255620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110781524.9A CN113255620B (zh) 2021-07-12 2021-07-12 一种基于视频中车辆群体轨迹分析的异常事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110781524.9A CN113255620B (zh) 2021-07-12 2021-07-12 一种基于视频中车辆群体轨迹分析的异常事件检测方法

Publications (2)

Publication Number Publication Date
CN113255620A true CN113255620A (zh) 2021-08-13
CN113255620B CN113255620B (zh) 2021-10-19

Family

ID=77191096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110781524.9A Active CN113255620B (zh) 2021-07-12 2021-07-12 一种基于视频中车辆群体轨迹分析的异常事件检测方法

Country Status (1)

Country Link
CN (1) CN113255620B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784199A (zh) * 2021-09-10 2021-12-10 中国科学院计算技术研究所 一种用于生成视频描述文本的系统和方法
CN116091985A (zh) * 2023-04-12 2023-05-09 云钞机器人科技(北京)有限公司 押运编码方法及押运安防系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319293A (zh) * 2018-01-17 2018-07-24 哈尔滨工程大学 一种基于lstm网络的uuv实时避碰规划方法
CN109243490A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 司机情绪识别方法及终端设备
CN110781266A (zh) * 2019-09-16 2020-02-11 北京航空航天大学 一种基于时空因果关系的城市感知数据处理方法
US20210064998A1 (en) * 2019-08-27 2021-03-04 Nec Laboratories America, Inc. Tensorized lstm with adaptive shared memory for learning trends in multivariate time series

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319293A (zh) * 2018-01-17 2018-07-24 哈尔滨工程大学 一种基于lstm网络的uuv实时避碰规划方法
CN109243490A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 司机情绪识别方法及终端设备
US20210064998A1 (en) * 2019-08-27 2021-03-04 Nec Laboratories America, Inc. Tensorized lstm with adaptive shared memory for learning trends in multivariate time series
US20210064689A1 (en) * 2019-08-27 2021-03-04 Nec Laboratories America, Inc. Unsupervised multivariate time series trend detection for group behavior analysis
CN110781266A (zh) * 2019-09-16 2020-02-11 北京航空航天大学 一种基于时空因果关系的城市感知数据处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏莹杰等: "面向高速公路抛洒物检测的动态背景建模方法", 《浙江大学学报（工学版）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784199A (zh) * 2021-09-10 2021-12-10 中国科学院计算技术研究所 一种用于生成视频描述文本的系统和方法
CN116091985A (zh) * 2023-04-12 2023-05-09 云钞机器人科技(北京)有限公司 押运编码方法及押运安防系统

Also Published As

Publication number Publication date
CN113255620B (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN110097755B (zh) 基于深度神经网络的高速公路交通流量状态识别方法
CN111310583B (zh) 一种基于改进的长短期记忆网络的车辆异常行为识别方法
Zhang et al. Combining motion and appearance cues for anomaly detection
CN110084151B (zh) 基于非局部网络深度学习的视频异常行为判别方法
CN107133974B (zh) 高斯背景建模与循环神经网络相结合的车型分类方法
Karim et al. Comparison of fuzzy-wavelet radial basis function neural network freeway incident detection model with California algorithm
CN113255620B (zh) 一种基于视频中车辆群体轨迹分析的异常事件检测方法
Saunier et al. Automated analysis of road safety with video data
CN111428763B (zh) 一种基于场景约束gan的行人轨迹预测方法
Andrews Sobral et al. Highway traffic congestion classification using holistic properties
Jiang et al. Abnormal event detection from surveillance video by dynamic hierarchical clustering
CN107491749B (zh) 一种人群场景中全局和局部异常行为检测方法
CN110852177B (zh) 基于单目相机的障碍物检测方法及系统
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
Elahi et al. Computer vision based road traffic accident and anomaly detection in the context of Bangladesh
Hu et al. Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes
CN113569756A (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
Saunier et al. Clustering vehicle trajectories with hidden Markov models application to automated traffic safety analysis
CN115984213A (zh) 基于深度聚类的工业产品外观缺陷检测方法
Sabour et al. Deepflow: Abnormal traffic flow detection using siamese networks
Liu et al. An ensemble of multiple boosting methods based on classifier-specific soft voting for intelligent vehicle crash injury severity prediction
CN111860383A (zh) 一种群体异常行为识别方法、装置、设备及存储介质
CN114387310A (zh) 一种基于深度学习的城市主干道路车流量统计方法
Aoyagi et al. Detection and recognition of traffic sign in scene image using genetic'algorithms and neural networks
Kumar et al. Road Traffic Prediction and Optimal Alternate Path Selection Using HBI-LSTM and HV-ABC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant