CN115841654A - 一种基于高位监控视频的异常事件检测方法 - Google Patents

Abstract

本发明属于异常检测技术领域，涉及一种基于高位监控视频的异常事件检测方法，先利用高位相机对停车场视频进行采集，再采用视频帧预测的方法进行异常视频帧检测，从而实现异常事件的检测和预测，弥补了基于高位相机的停车场异常事件检测方法的空白，该方法能够感知细微的异常事件的发生，解决现有异常检测中存在的异常事件不敏感问题，提供更为全面的异常检测，不仅能用于异常事件检测中的异常感知，而且能用于复杂场景下的运动检测和物体间约束建模相关任务。

Description

一种基于高位监控视频的异常事件检测方法

技术领域

本发明属于异常检测技术领域，涉及一种基于高位监控视频的异常事件检测方法。

背景技术

目前，随着经济的发展，2022年汽车总销量为2680万辆，如何实现停车场的智能化改造成为目前需要迫切解决的问题。随着人工智能与计算机视觉等技术的迅速发展，智慧停车场在智慧城市中发挥了重要作用，智慧停车场除了门禁采用自动识别车牌进行车辆通行控制，实现停车场停车自动导航、全自动化泊车管理，合理疏导车流，还有一个更加重要的作用是能够自动识别停车场内的异常事件，包括车辆被刮擦，车辆被行人故意破坏等事件，及时提醒给车主或管理员，以更好的应对突发事件，对车主或停车场运营公司带来最小的损失。

随着停车场高位相机的普及，基于人工智能的视频分析技术在异常事件监测中成为可能，因此，基于视频分析的异常事件检测具有重要的现实意义，但是目前尚未见有基于高位监控视频的停车场异常事件检测方法，高位相机的监控视频因其更加广阔的视野，能够提供更全面的异常检测。为了利用高位相机对智慧城市进行赋能，亟需设计提供一种基于高位监控视频的停车场异常事件检测方法。

发明内容

本发明的目的在于克服现有技术存在的缺点，设计提供一种基于高位监控视频的异常事件检测方法，利用高位相机对停车场视频进行采集，采用视频帧预测的方法进行异常视频帧检测，从而实现异常事件的检测和预测。

为实现上述目的，本发明实现基于高位监控视频的异常事件检测的具体过程为：

（1）从高位相机监测到的监控视频中采集图像构建数据集，将采集到的图像按照正常图像和异常图像进行标注，并将数据集划分为训练集、验证集和测试集；

（2）采用差异约束放大模块对视频帧之间的差异特征进行差异性放大处理，得到帧间信息的差异图；

（3）将根据视频采集的前十幅图像通过视频帧预测网络生成当前图像的预测图像，并引入时序变形建模模块进行时序变形建模，使生成的图像学习图像间的异常信息，感知视频帧间动态变化信息；

（4）采用异常事件注意力模块将异常事件特征进行加权学习，在网络学习过程中，充分挖掘异常事件存在的特征，从而充分学习异常事件特征；

（5）采用异常物体关系约束模块学习人与物体之间的潜在关系约束；

（6）引入门控开关模块，通过门控开关模块将异常冗余信息过滤，使网络学习异常事件中蕴含的外部信息约束；

（7）训练视频帧预测网络模型得到训练好的视频帧预测网络模型；

（8）计算异常分值判断是否存在事件异常；

（9）将图像输入到得到训练好的视频帧预测网络模型中得到预测图像，利用步骤（8）中的方法判断图像是否为异常，实现基于高位监控视频的异常事件检测。

作为本发明的进一步技术方案，步骤（1）采集图像时，每隔5帧采样一张图像，对于每秒30帧的视频图像，每秒钟采集5张图像，并对图像进行二值标签标注，其中正常的视频帧标注为1，异常视频帧标注为0。

作为本发明的进一步技术方案，步骤（2）得到的帧间信息的差异图为：

，

其中，

代表帧间信息的差异图，/>

代表调节图片的尺寸，/>

代表将图像进行灰度化，/>

和/>

分别代表第i和j帧图像，/>

代表差异约束放大模块，差异约束放大模块通过sigmoid函数将帧间的差异增大。

作为本发明的进一步技术方案，步骤（3）的具体过程为：

，

其中，

代表预测网络产生的当前图像的预测图，/>

代表时序变形建模模块学习到的i和j帧图像间的时序特征，/>

代表网络层学习的变形卷积层特征参数, />

代表时序特征建模层，通过LSTM层能够感知帧间时序特征即运动信息，从而为重建预测图像做准备，VggNet(·)代表采用深度卷积网络提取特征；/>

代表特征层降维，将VggNet网络（深度卷积网络）提取的单帧特征信息降低特征维度，减轻网络特征层数，并将层间特征精细化，/>

代表运动信息的动态位置编码。

作为本发明的进一步技术方案，步骤（4）的具体过程为：

，

其中，

代表第i帧图片产生的特征图，/>

代表矩阵稀疏化操作，矩阵稀疏化操作将特征图排序后，取前k个值，将特征层中含有的噪声信息去除；/>

代表softmax函数，将特征图归一化。

作为本发明的进一步技术方案，步骤（5）的具体过程为：

，

其中，

代表索引为i的节点第k次传递后节点的信息，/>

为节点关系迭代次数，

为特征通道级叠加，/>

为特征叠加后组成节点t的索引，MP代表信息传递函数，将相邻节点通过节点间的边/>

进行加权求和/>

。

作为本发明的进一步技术方案，步骤（6）的具体过程为：

，

其中，

代表第i帧图片第k次迭代产生的特征输出, />

代表通过门控开关后，产生的第k+1次迭代产生的特征，/>

代表当第k+1次迭代后，/>

产生的输出结果，/>

代表将增强后的预测图/>

输出，/>

通过/>

实现。

作为本发明的进一步技术方案，步骤（7）的具体过程为：选用标注为正常图像继续训练，网络结构采用视频帧预测网络，能量损失采用L2损失，将训练集中连续的图像送入视频帧预测网络，根据每次训练需要的图像数量，依次输入到视频帧预测网络后输出预测图像，再通过反向传播更新参数，经过314次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，得到训练好的视频帧预测网络模型。

作为本发明的进一步技术方案，步骤（8）的具体过程为：选用原始图像与预测图像之间的SSIM值作为视频帧是否为异常帧的判断准则，根据步骤（1）标注的异常图像确定SSIM值的阈值参数，如果小于阈值则认为该视频帧为异常视频帧，如果大于阈值，则认为该视频预测帧与真实视频帧很相似，不存在异常。

与现有技术相比，本发明的有益效果如下：

（1）本发明提供的基于高位监控视频的异常事件检测方法即使在处于高位视频监控的时候，也能够感知视频中的细微异常事件的发生，解决现有异常检测中存在的异常事件不敏感问题；

（2）本发明提出的差异放大模块不仅能用于异常事件检测中的异常感知，而且能用于复杂场景下的运动检测，在物体相对运动不明显，尤其是光流感知不明显的时候，也能将细微运动捕捉到；

（3）本发明对于细微运动的处理，对于高位小物体检测甚至是遥感物体检测也能提供启发意义；

（4）对于本文发明提出的物体间约束建模能够同样对相关任务有益，如复杂场景下多物体检测，或者是视频场景下的物体检测与分割等。

附图说明

图1为本发明的工作流程框图。

图2为本发明所采用的网络结构框图。

具体实施方式

下面结合附图并通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

实施例：

本实施例实现基于高位监控视频的异常事件检测采用的网络结构如图2所示，具体过程如图1所示，包括如下步骤：

（1）构建数据集：

收集高位相机视频并对其进行图像采样得到图像数据集，每隔5帧采样一张图像，对于每秒30帧的视频图像，每秒钟采集5张图像，并对图像进行二值标签标注，正常的视频帧标注为1，异常视频帧标注为0，将图像数据集划分为训练集、验证集和测试集；

（2）差异性放大处理：因高位视频帧之间可能存在细节轻微差异，而CNN（卷积神经网络）因其强大的建模能力，对于细节的不敏感性，导致CNN感知不到视频帧间细微的差异，从而造成即使为异常场景，预测的图像与实际图像之间差异不明显，导致无法预测异常事件的存在，本实施例采用差异约束放大模块，将差异特征的判别性增强，从而使得网络感知帧间差异（异常）的能力增强，保证异常行为能够被准确捕获，

，

其中，

代表帧间信息的差异图，/>

代表调节图片的尺寸，/>

代表将图像进行灰度化，/>

和/>

分别代表第i和j帧图像，/>

代表差异约束放大模块，其能够将值间的差异增大，主要通过sigmoid函数实现；

（3）序列图像时序变形建模：将根据视频采集的前十幅图像{1,2,3…，8,9,10}，通过预测网络生成当前图像{0}的预测图像，为使生成的图像能够学习图像间{0,1,2,3…，8,9,10}的异常信息，本专利引入时序变形建模模块，感知视频帧间动态变化信息，

，

其中，

代表预测网络产生的第0帧图像（当前图像的预测图），/>

代表时序变形建模模块学习到的i和j帧图像间的时序特征，/>

代表网络层学习的变形卷积层特征参数,

代表时序特征建模层，通过LSTM层能够感知帧间{0,1,2,3…，8,9,10}时序特征（运动信息），从而为重建预测图像做准备，VggNet(·)代表采用深度卷积网络提取特征；

代表特征层降维，将VggNet网络（深度卷积网络）提取的单帧特征信息降低特征维度，减轻网络特征层数，并将层间特征精细化，/>

代表运动信息的动态位置编码，本实施例采用动态位置感知提升网络对于轻微异常信息感知能力；

（4）基于帧间协同注意力的加权学习：为充分挖掘异常事件存在的特征，本实施例采用异常事件协同注意力模块，通过将帧间异常事件以协同的方式将异常特征加权，从而保证网络异常学习过程中，能够充分学习异常事件特征，

，

其中，

代表第i帧图片产生的特征图，/>

代表矩阵稀疏化操作，矩阵稀疏化操作将特征图排序后，取前k个值，通过这种方式能够将特征层中含有的噪声信息去除；/>

代表softmax函数，将特征图归一化；

（5）异常物体关系约束：由于车辆与车辆、车辆与人、人与人之间存在语义级关系约束，通过学习人与物体之间的潜在关系约束能够对与异常事件的学习具有更强的置信度，从而使得网络能够重点关注异常事件发生的潜在约束，

，

其中，

代表索引为i的节点第k次传递后节点的信息，/>

为节点关系迭代次数，

为特征通道级叠加，/>

为特征叠加后组成节点t的索引，MP代表信息传递函数，将相邻节点通过节点间的边/>

进行加权求和/>

；

（6）异常冗余信息门控过滤：由于高位相机能够捕获更多信息的同时，将会含有大量的噪声信息，即含有非异常事件的背景信息干扰，为克服背景异常信息的干扰，本实施例引入门控开关模块，将冗余信息过滤，从而保证网络学习异常事件中蕴含的外部信息约束，

，

其中，

代表第i帧图片第k次迭代产生的特征输出, />

代表通过门控开关后，产生的第k+1次迭代产生的特征，/>

代表当第k+1次迭代后，第0帧（增强后的预测帧）产生的输出结果，/>

代表将增强后的预测图/>

输出，/>

通过/>

实现；

（7）训练视频帧预测网络模型：选用标注为正常图像训练，网络结构采用预测网络，能量损失采用L2损失，将训练集中连续的图像{1,2,3…，8,9,10}送入预测网络，根据每次训练需要的图像数量，依次输入到预测网络后输出预测图像

，再通过反向传播更新参数，经过314次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的视频帧预测网络模型；

（8）计算异常分值判断是否存在事件异常：选用原始图像

与预测图像/>

之间的SSIM值作为视频帧是否为异常帧的判断准则，根据步骤（1）标注的异常图像确定SSIM值的阈值参数，如果小于阈值则认为该视频帧为异常视频帧，如果大于阈值，则认为该视频预测帧与真实视频帧很相似，不存在异常；

（9）通过推理得到结果：将图像输入到训练好的视频帧预测网络模型中得到预测图像，利用步骤（9）中的方法判断图像是否为异常，实现基于高位监控视频的异常事件检测。

本文中未详细说明的算法和计算过程均为本领域通用技术。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的，因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种基于高位监控视频的异常事件检测方法，其特征在于，具体过程为：

（1）从高位相机监测到的监控视频中采集图像构建数据集，将采集到的图像按照正常图像和异常图像进行标注，并将数据集划分为训练集、验证集和测试集；

（2）采用差异约束放大模块对视频帧之间的差异特征进行差异性放大处理，得到帧间信息的差异图；

（3）将根据视频采集的前十幅图像通过视频帧预测网络生成当前图像的预测图像，并引入时序变形建模模块进行时序变形建模；

（4）采用异常事件注意力模块将异常事件特征进行加权学习；

（5）采用异常物体关系约束模块学习人与物体之间的潜在关系约束；

（6）引入门控开关模块，通过门控开关模块将异常冗余信息过滤；

（7）训练视频帧预测网络模型得到训练好的视频帧预测网络模型；

（8）计算异常分值判断是否存在事件异常；

（9）将图像输入到得到训练好的视频帧预测网络模型中得到预测图像，利用步骤（8）中的方法判断图像是否为异常，实现基于高位监控视频的异常事件检测。

2.根据权利要求1所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（1）采集图像时，每隔5帧采样一张图像，对于每秒30帧的视频图像，每秒钟采集5张图像，并对图像进行二值标签标注，其中正常的视频帧标注为1，异常视频帧标注为0。

3.根据权利要求2所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（2）得到的帧间信息的差异图为：

，

其中，

代表帧间信息的差异图，

代表调节图片的尺寸，

代表将图像进行灰度化，

和

分别代表第i和j帧图像，

代表差异约束放大模块，差异约束放大模块通过sigmoid函数将帧间的差异增大。

4.根据权利要求3所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（3）的具体过程为：

，

其中，

代表预测网络产生的当前图像的预测图，

代表时序变形建模模块学习到的i和j帧图像间的时序特征，

代表网络层学习的变形卷积层特征参数,

代表时序特征建模层，通过LSTM层能够感知帧间时序特征即运动信息，

代表特征层降维，将VggNet网络提取的单帧特征信息降低特征维度，减轻网络特征层数，并将层间特征精细化，

代表运动信息的动态位置编码。

5.根据权利要求4所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（4）的具体过程为：

，

其中，

代表第i帧图片产生的特征图，

代表矩阵稀疏化操作，矩阵稀疏化操作将特征图排序后，取前k个值，将特征层中含有的噪声信息去除；

代表softmax函数，将特征图归一化。

6.根据权利要求5所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（5）的具体过程为：

，

其中，

代表索引为i的节点第k次传递后节点的信息，

为节点关系迭代次数，

为特征通道级叠加，

为特征叠加后组成节点t的索引，MP代表信息传递函数，将相邻节点通过节点间的边

进行加权求和

。

7.根据权利要求6所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（6）的具体过程为：

，

其中，

代表第i帧图片第k次迭代产生的特征输出,

代表通过门控开关后，产生的第k+1次迭代产生的特征，

代表当第k+1次迭代后，

产生的输出结果，

代表将增强后的预测图

输出，

通过

实现。

8.根据权利要求7所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（7）的具体过程为：选用标注为正常图像继续训练，网络结构采用视频帧预测网络，能量损失采用L2损失，将训练集中连续的图像送入视频帧预测网络，根据每次训练需要的图像数量，依次输入到视频帧预测网络后输出预测图像，再通过反向传播更新参数，经过314次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，得到训练好的视频帧预测网络模型。

9.根据权利要求8所述基于高位监控视频的异常事件检测方法，其特征在于，步骤（8）的具体过程为：选用原始图像与预测图像之间的SSIM值作为视频帧是否为异常帧的判断准则，根据步骤（1）标注的异常图像确定SSIM值的阈值参数，如果小于阈值则认为该视频帧为异常视频帧，如果大于阈值，则认为该视频预测帧与真实视频帧很相似，不存在异常。

Images