CN112016500A

CN112016500A - 基于多尺度时间信息融合的群体异常行为识别方法及系统

Info

Publication number: CN112016500A
Application number: CN202010922418.3A
Authority: CN
Inventors: 常发亮; 王文倩; 刘春生; 蒋沁宇
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2020-12-01
Anticipated expiration: 2040-09-04
Also published as: CN112016500B

Abstract

本公开提供了一种基于多尺度时间信息融合的群体异常行为识别方法及系统。所述方案包括获取只有正常样本的视频帧序列并提取相邻两帧之间的光流图，采用不同的采样率对同一视频片段进行采样得到不同的时间尺度下的视频序列，获取前述视频帧序列的跳帧视频帧序列并提取跳帧的光流图，得到不同时间尺度下的视频帧序列及光流图序列；利用正常帧与跳帧视频序列与光流图序列作为输入训练基于深度卷积网络；利用训练完成的深度卷积网络进行异常行为检测，检测网络根据得到的预测图像进行评定得到异常值得分，根据得分判断该视频帧是否为异常帧，完成对于视频帧的异常检测；本公开所述方案有效提升了群体异常行为识别的准确率。

Description

基于多尺度时间信息融合的群体异常行为识别方法及系统

技术领域

本公开涉及图像处理技术领域，尤其涉及一种基于多尺度时间信息融合的群体异常行为识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

近年来，随着智能监控系统以及图像处理技术的快速发展，智能监控设备在公共安全领域被广泛设置，数量逐年增加。同时随着全球经济飞速发展、社会迅猛进步以及各国综合国力不断提升，社会治安问题日趋严重，大到商场、车站等公众集中区域，小到居民小区和学校宿舍等各种地方，社会对于安全防范实时记录和实时自动报警的需求都在不断增加，在公共场所中，对于群体异常行为的识别能够促进对于突发事件的有效处理，同时可以节约大量的人力、物力和财力。

发明人发现，异常行为检测问题中，由于场景中部分行人行为的不确定性、场景的复杂性、视频的分辨率不统一等因素增大了异常事件检测的研究难度。现有的方法大多需要大量高质量的训练样本进行训练，同时异常事件难以被穷举，需要检测的目标行为较为多样，而一般的行为数据库的异常样本相对比较少；同时，大多群体行为异常检测方法大都依靠对于巧妙的特征提取与复杂的模型设计，计算耗时也相对较长。

发明内容

本公开为了解决上述问题，提供一种基于多尺度时间信息融合的群体异常行为识别方法及系统，本公开所述方案针对视频中人群运动的差异性与异常行为出现时的图像差异性等特点针对运动信息和表观信息进行设计，从空间和时间两个维度对异常行为进行检测，从而得到更高的识别准确率。

根据本公开实施例的第一个方面，提供了一种基于多尺度时间信息融合的群体异常行为识别方法，包括：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

采用不同的采样率对同一视频进行采样，获得不同时间尺度下的视频帧序列；

从获得的不同时间尺度下的视频帧序列中提取跳帧视频帧序列，并提取相邻跳帧件的光流图；

采用正常帧与跳帧的视频帧序列及光流图对深度卷积网络模型进行训练；

利用训练好的模型判断视频帧是否为异常帧，实现群体异常行为的识别。

进一步的，在获取视频帧序列前，需要对原始视频帧图像进行归一化处理，保证对于不同数据集或不同场景都可以统一到同样的图像维度。

进一步的，在深度卷积网络模型训练过程中，对于同一时间尺度下的视频帧序列及光流图序列进行融合；所述融合具体为深度卷积网络分别对视频帧序列及光流图序列进行特征提取，对得到的相应特征向量进行加权融合，保证深度卷积网络能够更好的对表观信息和运动信息进行感知，增强深度卷积网络的特征提取能力。

进一步的，在深度卷积网络模型训练过程中，对于不同时间尺度下的信息采用中间融合的方式增强对于不同时间尺度下视频帧的信息融合；所述中间融合方式具体为将已得到的不同时间尺度下的特征向量进行缓慢融合，使得深度卷积网络能够对不同时间尺度下的特征进行更好的融合与感知。

进一步的，在深度卷积网络模型训练过程中，加入表观信息约束和运动信息约束，所述表观信息约束用于提高预测图片本身的生成质量，所述运动信息约束用于增强对于运动物体的表现能力。

进一步的，所述群体异常行为识别方法中加入异常值得分评定机制，通过对于生成的视频预测帧与真实帧做比较得到异常值得分，当生成的预测帧质量较低时得分较低，此时检测网络认为由于出现异常事件使视频预测不能很好的进行，于是判定出现了异常行为，实现了对于异常行为识别。

根据本公开实施例的第二个方面，提供了一种基于多尺度时间信息融合的群体异常行为识别系统，包括：

图像采集装置，其被配置为采集包含群体正常行为的视频，并传送至服务器；

服务器，其被配置为：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

采用不同的采样率对同一视频进行采样，获得不同时间尺度下的视频帧序列；从获得的不同时间尺度下的视频帧序列中提取跳帧视频帧序列，并提取相邻跳帧件的光流图；

根据本公开实施例的第三个方面，提供了一种电子设备，包括图像采集装置、存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种基于多尺度时间信息融合的群体异常行为识别方法。

根据本公开实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种基于多尺度时间信息融合的群体异常行为识别方法。

与现有技术相比，本公开的有益效果是：

(1)本公开所述方案针对深度卷积神经网络对于不同时间尺度下的运动物体的不同感知能力，采用不同的采样率对同一视频片段进行采样得到不同的时间尺度下的视频序列得到多时间尺度的视频帧序列；采用对多时间尺度下运动信息进行中间融合的方式，提升深度卷积网络对于运动信息的感知能力，提高网络对于不同速度的敏感度；

(2)本公开所述方案借助深度卷积神经网络自动学习提取特征的特征，避免进行人工提取特征的复杂设计工作；

(3)本公开所述方案在深度卷积神经网络训练过程中增强对于表观信息和运动信息的约束，尤其是对于运动信息的约束：在光流约束的基础上，根据视频的生成帧和邻近帧会比更远离生成帧的视频帧更为相似这个特点，采用三元损失函数对于视频预测进行约束，以增强运动信息。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例一中所述的基于多尺度时间信息融合的群体异常行为识别方法流程图；

图2为本公开实施例一中所述的多时间尺度的基于自编码器的预测网络架构的结构图；

图3为本公开实施例一中所述的一种基于多尺度时间信息融合的群体异常行为识别系统结构示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一：

本实施例的目的是提供一种基于多尺度时间信息融合的群体异常行为识别方法。

一种基于多尺度时间信息融合的群体异常行为识别方法,包括：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

具体的，本实施例中采用了基于深度卷积神经网络进行群体异常行为识别与检测，采用基于自编码器的网络架构，通过深度学习的网络，经过逐层训练，可以得到能够对于输入数据有良好的表征的潜在向量，再通过解码得到对于视频未来帧的预测；同时在所述网络模型中增加了对于表观信息与运动信息的约束，尤其是运动方面的约束，有效提升了异常检测的准确性；

所述方案针对深度卷积神经网络对于不同时间尺度下的运动物体的不同感知能力，采用不同的采样率对同一视频片段进行采样得到不同的时间尺度下的视频序列得到多时间尺度的视频帧序列；同时，为了提升深度卷积网络对于运动信息的感知能力和提高网络对于不同速度的敏感度，采用对多时间尺度下运动信息进行缓慢中间融合的方式进行信息融合。

所述方案的详细步骤如下所述：

首先，在训练样本获取阶段，获取只有正常样本的视频帧序列并提取相邻两帧之间的光流图，采用不同的采样率对同一视频片段进行采样得到不同的时间尺度下的视频序列，获取前述视频帧序列的跳帧视频帧序列并提取跳帧的光流图，得到不同时间尺度下的视频帧序列及光流图序列；然后利用正常帧与跳帧视频序列与光流图序列作为输入训练基于深度卷积网络；

其次，在深度卷积神经网络训练过程中，首先将同一时间尺度下的视频帧序列和光流图序列分别进行卷积操作提取特征，而后进行特征融合；之后对于不同时间尺度下的融合特征进行缓慢的中间融合操作，得到多时间尺度信息融合特征；本公开所述方案形成了多时间尺度的基于自编码器的预测网络架构，通过深度学习的网络，经过逐层训练，可以得到能够对于输入数据有良好的表征的潜在向量，再通过解码得到对于视频未来帧的预测；同时，在深度卷积网络训练过程中，加入多种信息约束；表观信息约束用于提高预测图片本身的生成质量，运动信息约束用于增强对于运动物体的表现能力；

最后，在异常检测阶段，利用训练完成的深度卷积网络进行异常行为检测，检测网络根据得到的预测图像进行评定得到异常值得分，根据得分判断该视频帧是否为异常帧，完成对于视频帧的异常检测。

异常行为检测流程：

前述基于自编码器的预测网络能够得到对于输入视频帧序列的未来帧预测图像，检测网络根据得到的对于未来帧的预测图像计算峰值信噪比(PSNR,Peak Signal-to-Noise Ratio)进行评定得到异常值得分，根据得分判断该视频帧是否为异常帧，完成对于视频帧的异常检测。

(1)多时间尺度输入序列获取的具体步骤如下所述：

不同的采样率对视频片段进行采样可以得到不同的视频序列输入，对于一个确定的视频片段，不同的采样率下得到的视频帧是不同的；本公开采用多时间尺度的训练数据作为输入，采用不同的采样率对同一视频片段进行采样得到不同的时间尺度下的视频序列；为了便于说明，这次我们采用2个时间尺度为例进行解释说明：

对于时间尺度1，我们的视频帧输入I₁,I₂,...,I_t，而对于时间尺度2，我们的视频帧输入采用相对于时间尺度1中的视频帧跳帧的输入方式，即输入的视频帧为I₁,I₃,...,I_t；通过跳帧的方式我们实现了时间尺度的变化；

宏观来看，对于同一运动目标，它在时间尺度2中的运动速度要快于时间尺度1中的运动速度，然而实际上同一运动目标在同一视频片段中的运动速度是一样的；这种看似的不同是由于不同的视频采样率造成的，不同的视频采样率下物体的运动速度不同，但是在预测视频未来帧时物体应该在生成的预测帧中处于同一位置；这样利用不同时间尺度的输入，可以提高网络对于不同速度的敏感度。

(2)基于自编码器的深度卷积网络模型的训练过程包括：

视频预测通过输入一系列连续视频帧序列I₁,I₂,...,I_t通过一系列卷积等操作得到希望的对于连续视频帧序列的未来预测帧

视频预测需要构建一个可以对视频序列内容和动态变化进行表征的模型，本公开采用基于自编码器的预测网络，进行对于输入视频序列的预测。图2为多时间尺度的基于自编码器的预测网络架构的结构图，采用自编码器通过视频预测的方法利用半监督建模的方式进行异常检测。采用多时间尺度的视频帧序列和光流图序列被分别送入自编码器的编码器中，每个时间尺度下采用视频帧序列和光流图序列的双流输入，采用了3DCNN的网络结构，编码器首先将正常事件的光流图序列输入和视频帧序列输入分别采用3D卷积进行编码操作，分别得到双流输入的编码后所得的特征向量表示，而后将双流的两路输入所得的特征向量表示进行融合，而后这些表征向量首先分别送入解码器中进行解码，而后进行中间融合，即在编码器之后在解码器之前进行融合，通过中间融合得到更好的向量表征。然后将编码并融合后得到的融合的特征向量输入解码器进行解码操作，从而进行对于视频序列的预测操作，得到生成的输入的视频序列的未来预测帧。

为了得到更好的生成结果，本公开在训练过程中添加了各种约束，使用平均绝对误差约束对生成的图像像素生成进行直接约束：

采用梯度约束对生成的图像进行边缘锐化得到更高质量的生成图像：

使用光流约束，利用一个经过预训练的光流网络对于生成帧与生成帧的前一帧和真实帧和前一帧进行光流的约束，使生成的运动信息与真实帧更为相似：

根据视频的生成帧和邻近帧会比更远离生成帧的视频帧更为相似这个特点，采用三元损失函数对于视频预测进行约束，这里的m是个大于0的边际值，d用于计算表示不同帧间的差异：

(3)异常行为检测的具体步骤包括：

在异常检测阶段，本公开分别计算生成图像和真实图像的峰值信噪比(PSNR,PeakSignal-to-Noise Ratio)来进行异常判断。由于在深度卷积预测网络训练后，面对输入视频帧序列，正常事件能够被很好的生成而异常事件不能够被很好的生成。利用峰值信噪比作为生成质量的衡量标准：

较高的峰值信噪比意味着生成的对于视频序列的预测效果更好，即这段序列更可能为正常的视频序列而非存在异常事件的视频序列。在这里通过计算一个对于全部帧的得分并且将其归一到(0,1)之间：

具体实验案例：

分别在UCSD Ped1和CUHK Avenue数据集上进行实验。

实验1：

本实验中，在UCSD Ped1数据集进行试验，所述数据集中包含34个训练视频片段和36个测试视频片段，每个视频片段包含200帧，视频帧图像大小为238×158；正常事件被定义为行人的正常行走，异常事件包含开车、自行车、滑滑板等；实验采用AUC指标作为评价标准，AUC的值越高，则方法准确性越高。

具体的实验过程包括如下步骤：

步骤1：获取多时间尺度输入序列，具体为：

1)根据视频截取视频帧并对于得到原始图像进行缩放处理，将图像大小全部归一化到256×128；

2)获取同一时间尺度下的长度为10的视频帧序列并通过计算得到相应长度为9的光流图序列；

3)对已有视频帧序列进行采样，得到跳帧的视频帧序列，当跳帧值为1时，得到长度为5的视频帧序列及长度为4的相应光流图序列；

步骤2：基于训练数据集，通过迭代训练得到经过训练的基于自编码器的预

测网络模型，网络细节部分说明如下：

1)网络训练的学习率首先被设定为1e-4，而后被衰减为1e-6；

2)对于前述提到的表观约束与运动约束进行综合，得到网络的总体约束表达式：

L＝λ₁·L_pre+λ₂·L_tri+λ₃·L_gd+λ₄·L_op (7)

这里的λ₁,λ₂,λ₃,λ₄分别为设计为20,2,1,0.2；

步骤3：在异常检测阶段，输入视频序列经过前述训练得到的基于自编码器的预测网络得到对于输入视频序列的预测帧，进而得到生成预测的未来帧的峰值信噪比，进一步的得到异常值进行判断是否发生异常。

实验结果：

方法	AUC
		单一时间尺度的异常检测网络	75.1％
多时间尺度的异常检测网络	82.5％

实验2：

本实验在CUHK Avenue数据集进行试验，该数据集包含16个训练视频片段和21个测试视频片段，共计有47个异常事件。异常事件包含扔东西、奔跑等。本实验同样采用AUC指标作为评价标准。

实验结果：

方法	AUC
		单一时间尺度的异常检测网络	52.9％
多时间尺度的异常检测网络	86.3％

通过上述数据集中的结果展示，很明显，本公开所述的基于多尺度时间信息融合的群体异常行为识别方法远远优于单一时间尺度的识别方法。

实施例二：

本实施例的目的是提供了一种基于多尺度时间信息融合的群体异常行为识别系统。

一种基于多尺度时间信息融合的群体异常行为识别系统,包括：

服务器，其被配置为：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

进一步的，所述服务器还被配置为：将获取的原始视频序列得到固定长度的视频帧序列之前，进行对于原始图像的缩放处理并归一化到256×128。这样使得对于不同数据集或不同场景都可以统一到同样的图像维度，通过对于输入视频帧图像的归一化统一网络的输入大小。

进一步的，所述服务器还被配置为：在所述深度卷积网络训练模块中，对于同一时间尺度下的视频帧序列及光流图序列进行融合。所述融合机制为：深度卷积网络分别对视频帧序列及光流图序列进行特征提取，在得到相应特征向量后进行融合。进一步的，对于不同时间尺度下的信息采用中间融合的方式增强对于不同时间尺度下视频帧的信息融合。所述中间融合方式为：将已得到的不同时间尺度下的特征向量进行缓慢融合，所述缓慢融合不同于常用的将编码器后的特征进行融合的早期融合方式和将解码后的分类概率值层进性融合的后期融合的融合方式，创新性的提出将不同尺度的输入编码后送入解码器的过程中进行融合的缓慢融合方式，使得深度卷积网络能够对不同时间尺度下的特征进行更好的融合与感知；另外，在网络搭建与训练时，加入多种信息约束。表观信息约束用于提高预测图片本身的生成质量，运动信息约束用于增强对于运动物体的表现能力。

进一步的，所述服务器还被配置为：在所述异常行为检测模块中，加入异常值得分评定机制，通过对于生成的视频预测帧与真实帧计算峰值信噪比做比较得到归一化到(0,1)之间的异常值得分，当生成的预测帧质量较低时得分较低，此时该系统认为由于出现异常事件使视频预测不能很好的进行，于是判定出现了异常。通过这种方式，使系统实现了对于异常事件的自动检测。

本公开针对深度卷积神经网络对于不同时间尺度下的运动物体的不同感知能力，采用不同的采样率对同一视频片段进行采样得到不同的时间尺度下的视频序列得到多时间尺度的视频帧序列。采用对多时间尺度下运动信息进行中间融合的方式，提升深度卷积网络对于运动信息的感知能力，提高网络对于不同速度的敏感度。借助深度卷积神经网络自动学习提取特征的特征，避免进行人工提取特征的复杂设计工作。

本公开在基于自编码器的预测网络基础上进行异常检测任务，在深度卷积神经网络训练过程中增强对于表观信息和运动信息的约束，尤其是对于运动信息的约束：在光流约束的基础上，根据视频的生成帧和邻近帧会比更远离生成帧的视频帧更为相似这个特点，采用三元损失函数对于视频预测进行约束，以增强运动信息。

实施例三：

本实施例的目的是提供一种电子设备。

一种电子设备，包括图像采集装置、存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种基于多尺度时间信息融合的群体异常行为识别方法，包括：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

利用训练好的模型判断视频帧是否为异常帧，实现群体异常行为的识别。实施例四：

本实施例的目的是提供一种计算机存储设备。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种基于多尺度时间信息融合的群体异常行为识别方法，包括：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品，因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式；而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM,Read-Only Memory)或随机存储记忆体(RAM,RandomAccessMemory)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，包括：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

2.如权利要求1所述的基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，在获取视频帧序列前，需要对原始视频帧图像进行归一化处理，保证对于不同数据集或不同场景都可以统一到同样的图像维度。

3.如权利要求1所述的基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，在深度卷积网络模型训练过程中，对于同一时间尺度下的视频帧序列及光流图序列进行融合；所述融合具体为深度卷积网络分别对视频帧序列及光流图序列进行特征提取，对得到的相应特征向量进行加权融合，保证深度卷积网络能够更好的对表观信息和运动信息进行感知，增强深度卷积网络的特征提取能力。

4.如权利要求1所述的基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，在深度卷积网络模型训练过程中，对于不同时间尺度下的信息采用中间融合的方式增强对于不同时间尺度下视频帧的信息融合；所述中间融合方式具体为将已得到的不同时间尺度下的特征向量进行缓慢融合，使得深度卷积网络能够对不同时间尺度下的特征进行更好的融合与感知。

5.如权利要求1所述的基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，在深度卷积网络模型训练过程中，加入表观信息约束和运动信息约束，所述表观信息约束用于提高预测图片本身的生成质量，所述运动信息约束用于增强对于运动物体的表现能力。

6.如权利要求1所述的基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，所述群体异常行为识别方法中加入异常值得分评定机制，通过对于生成的视频预测帧与真实帧做比较得到异常值得分，当生成的预测帧质量较低时得分较低，此时检测网络认为由于出现异常事件使视频预测不能很好的进行，于是判定出现了异常行为，实现了对于异常行为识别。

7.一种基于多尺度时间信息融合的群体异常行为识别系统，其特征在于，包括：

服务器，其被配置为：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

8.如权利要求7所述的一种基于多尺度时间信息融合的群体异常行为识别系统，其特征在于，所述服务器还被配置为在深度卷积网络模型训练过程中，对于同一时间尺度下的视频帧序列及光流图序列进行融合；所述融合具体为深度卷积网络分别对视频帧序列及光流图序列进行特征提取，对得到的相应特征向量进行加权融合，保证深度卷积网络能够更好的对表观信息和运动信息进行感知，增强深度卷积网络的特征提取能力。

9.一种电子设备，其特征在于，包括图像采集装置、存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于多尺度时间信息融合的群体异常行为识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于多尺度时间信息融合的群体异常行为识别方法。