CN106339667B - 一种视频异常事件在线检测方法及装置 - Google Patents

Abstract

本发明提供了一种视频异常事件在线检测方法及装置，所述方法包括：对连续输入的待预测视频流，每隔预设时间长度进行一次检查，并将每次检查的时间点作为更新节点；在每两个连续的更新节点之间，采用预设长度的滑窗对输入的待预测视频流进行连续采样，并采用预置的过滤模型对采样得到的样本进行过滤操作，以将过滤后的剩余样本加入缓冲区；对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中；在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作。本发明能够提高视频异常事件监测效率和准确性。

Description

一种视频异常事件在线检测方法及装置

技术领域

本发明涉及视频分析技术领域，尤其涉及一种视频异常事件在线检测方法及装置。

背景技术

如何自动检测视频流中的异常事件是视频分析领域中最具应用价值的问题之一。传统的异常事件检测方法需要预定义出待检测的异常事件的类型，并需要采集每类异常事件的视频样本，从而建立异常事件检测模型。例如授权公告号为CN103390278B的发明专利通过建立条件随机场模型来判别一段视频中是否包含了异常事件，从而进行异常事件检测。

然而，由于异常行为的定义宽泛而模糊，在多数情况下，难以事先罗列出固定场景下可能出现的所有异常行为类型。此外，由于日常生活中的绝大多数行为都是正常行为，因此难以采集足够多的异常行为样本用于建模和分析。鉴于此，目前的视频异常行为检测方法一般都通过分析大量正常行为样本来为正常行为模式建模，并以此来鉴别视频中的异常行为。当待检测视频中的行为模式无法用已建立的正常行为模型解释时，即认为该视频中出现了异常行为。例如授权公告号为CN102629384B的发明专利通过为正常行为建立运动能量模型，当检测到视频中的运动能量超过一定范围时，判定发生了异常事件。

当应用于视频的在线检测任务时，这些视频异常行为检测方法通常仅仅将那些预测为正常的视频片断用于更新已建立的正常行为模型。然而，由于异常事件的发生带有突发性和意外性，单单依靠模型自身的预测和筛选，难以界定一些行为是否存在着异常。而对于那些已经能够很好预测为正常的行为样本，再将之用于更新正常行为模型，也不一定能够得到增益。

发明内容

针对现有技术的缺陷，本发明提供一种视频异常事件在线检测方法及装置，能够解决现有技术中视频异常事件在线检测的效率和准确性较低的问题。

第一方面，本发明提供了一种视频异常事件在线检测方法，包括：

对连续输入的待预测视频流，每隔预设时间长度进行一次检查，并将每次检查的时间点作为更新节点；

在每两个连续的更新节点之间，采用预设长度的滑窗对输入的待预测视频流进行连续采样，并采用预置的过滤模型对采样得到的样本进行过滤操作，以将过滤后的剩余样本加入缓冲区；

对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中；

在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作。

优选地，所述采用预置的过滤模型对采样得到的样本进行过滤操作，包括：

通过预置的过滤器，计算每个样本的一级异常值Sf；

若所述一级异常值Sf小于第一预设阈值Tf，则忽略所述样本；

若所述一级异常值Sf大于等于所述第一预设阈值Tf，则通过预置的判别器计算所述样本的二级异常值Sd；

若所述二级异常值Sd小于第二预设阈值Td1，则忽略所述样本；

若所述二级异常值Sd大于第三预设阈值Td2，则判定所述样本为异常样本，并将所述异常样本加入异常样本池中；

若所述二级异常值Sd大于等于第二预设阈值Td1且小于等于第三预设阈值Td2，则将所述样本加入缓冲区。

优选地，所述对所述缓冲区中的样本进行分拣操作，包括：

计算所述缓冲区中每个样本的综合异常值S＝func1(Sf,Sd)，其中func1()是一个映射函数；

将所述缓冲区中的样本按照所述综合异常值从大到小进行排序；

将排序在前的K个样本从所述缓冲区中移除，并判别所述K个样本是否存在异常行为，根据判别结果将所述K个样本中的异常样本加入异常样本池中，正常样本加入正常样本池中。

优选地，所述根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作，包括：

从所述正常样本池中选取若干样本，以更新所述过滤器；

从所述正常样本池及所述异常样本中分别选取若干样本，以更新所述判别器；

更新所述第二预设阈值Td1及所述第三预设阈值Td2。

优选地，所述方法还包括：

根据如下方式建立或更新所述过滤器：

对训练样本提取特征，所述特征包含待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系；

根据所述训练样本的原始图像帧以及所提取的特征进行时空建模，获取所述训练样本的正常行为模型Mf；

将所述待预测视频流在Mf上的偏移程度作为该视频流的一级异常值Sf。

优选地，所述方法还包括：

根据如下方式建立或更新所述判别器：

对训练样本提取特征，该特征中包含待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系；

根据所述训练样本的原始图像帧以及所提取的特征进行时空建模，获取所述训练样本的行为判别模型Md；

将待预测视频流在Md上的偏移程度作为该视频流的二级异常值Sd。

优选地，所述对训练样本提取特征之前，所述方法还包括：

对于所述正常样本池中的每个样本，计算其采样权重Wf＝func2(Sf,T)，其中Sf为该样本的一级异常值，T为该样本代表的视频流的开始时间，func2()是一个映射函数；

根据采样权重Wf在正常样本池中随机抽取Rn个样本，并将所述Rn个样本作为所述过滤器的训练样本。

优选地，所述对训练样本提取特征之前，所述方法还包括：

对于所述正常样本池中的每个样本，计算其采样权重Wf＝func2(Sf,T)，其中Sf为该样本的一级异常值，T为该样本代表的视频流的开始时间，func2()是一个映射函数，该函数值与Sf成正比，与T成反比；

根据采样权重Wf在正常样本池中随机抽取Rn个正常样本；

对于所述异常样本池中的每个样本，计算其采样权重Wd＝func3(Sd,T)，其中Sd为该样本的二级异常值，T为该样本代表的视频流的开始时间，func3()是一个映射函数，该函数值与Sd成正比，与T成反比；

根据采样权重Wd在异常样本池中随机抽取Ra个异常样本；

将抽取出的所述Rn个正常样本和所述Ra个异常样本作为所述过滤器的训练样本。

优选地，所述更新所述第二预设阈值Td1及所述第三预设阈值Td2，包括：

采用公式一更新所述第二预设阈值Td1，采用公式二更新所述第三预设阈值Td2：

Td1(t+1)＝Td1(t)/D 公式一；

Td2(t+1)＝Td2(t)/D 公式二；

其中，Td1(t)和Td2(t)表示第t–1和第t个更新节点间的过滤阈值，Td1(t+1)和Td2(t+1)表示第t和第t+1个更新节点间的过滤阈值，D为大于0的实数。

第二方面，本发明提供了一种视频异常事件在线检测装置，包括：

检查模块，用于对连续输入的待预测视频流，每隔预设时间长度进行一次检查，并将每次检查的时间点作为更新节点；

过滤模块，用于在每两个连续的更新节点之间，采用预设长度的滑窗对输入的待预测视频流进行连续采样，并采用预置的过滤模型对采样得到的样本进行过滤操作，以将过滤后的剩余样本加入缓冲区；

分拣模块，用于对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中；

更新模块，用于在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作。

由上述技术方案可知，本发明提供一种视频异常事件在线检测方法及装置，通过采用预置的过滤模型对采样得到的样本进行过滤操作，如此能够尽可能减小后续分拣操作对应的样本的数量，提高视频异常事件的检测效率；还通过对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中，并在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作，如此通过分拣操作筛选出对过滤模型的更新最有价值的样本，即筛选出当前模型不能很好判别的行为样本，并通过学习这些样本中所包含的行为模式以更新当前过滤模型，从而提升过滤模型的过滤效率和判别的准确率。由此，本发明能够提高视频异常事件监测效率和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1是本发明一实施例提供的一种视频异常事件在线检测方法的流程示意图；

图2是本发明另一实施例提供的视频异常事件在线检测模型的示意图；

图3是本发明另一实施例提供的一种视频异常事件在线检测方法的流程示意图；

图4是本发明一实施例提供的过滤器的结构示意图；

图5是本发明一实施例提供的判别器的结构示意图；

图6是本发明一实施例提供的一种视频异常事件在线检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一实施例中的一种视频异常事件在线检测方法的流程示意图，如图1所示，该方法包括如下步骤：

S1：对连续输入的待预测视频流，每隔预设时间长度进行一次检查，并将每次检查的时间点作为更新节点。

具体来说，如图2所示，对于连续输入的待预测视频流，每隔固定时间长度E进行一次检查，并称每次检查的时间点为更新节点。

S2：在每两个连续的更新节点之间，采用预设长度的滑窗对输入的待预测视频流进行连续采样，并采用预置的过滤装置对采样得到的样本进行过滤操作，以将过滤后的剩余样本加入缓冲区。

举例来说，对于每两个连续的更新节点之间的待预测视频流，使用长度为16的滑窗进行连续采样，则得到若干个长度为16的视频帧序列，将每个采样得到的视频帧序列采用过滤装置进行过滤。

S3：对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中。

具体来说，通过分拣操作，可在引入操作员的少量人工分析的前提下，筛选出对模型的更新而言最有价值的样本，即分拣操作能够筛选出目前当前模型不能很好地判别的行为样本，具体将缓冲区中的样本分为正常样本和异常样本，分别放入正常样本池和异常样本池中。

S4：在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作。

具体来说，通过学习所述正常样本池和所述异常样本池中的正常样本及异常样本中所包含的行为模式，来更新当前的过滤模型，从而提升过滤模型的过滤效率和判别的准确率。

由此可见，本实施例通过采用预置的过滤模型对采样得到的样本进行过滤操作，如此能够尽可能减小后续分拣操作对应的样本的数量，提高视频异常事件的检测效率；还通过对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中，并在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作，如此通过分拣操作筛选出对过滤模型的更新最有价值的样本，即筛选出当前模型不能很好判别的行为样本，并通过学习这些样本中所包含的行为模式以更新当前过滤模型，从而提升过滤模型的过滤效率和判别的准确率。由此，本实施例能够提高视频异常事件监测效率和准确性。

在本发明的一个可选实施例中，步骤S2中的采用预置的过滤模型对采样得到的样本进行过滤操作，具体包括如下步骤：

S21：通过预置的过滤器，计算每个样本的一级异常值Sf。

S22：若所述一级异常值Sf小于第一预设阈值Tf，则忽略所述样本。

S23：若所述一级异常值Sf大于等于所述第一预设阈值Tf，则通过预置的判别器计算所述样本的二级异常值Sd。

S24：若所述二级异常值Sd小于第二预设阈值Td1，则忽略所述样本。

S25：若所述二级异常值Sd大于第三预设阈值Td2，则判定所述样本为异常样本，并将所述异常样本加入异常样本池中。

S26：若所述二级异常值Sd大于等于第二预设阈值Td1且小于等于第三预设阈值Td2，则将所述样本加入缓冲区。

举例来说，设置Tf＝0.1，Td1＝-0.8，Td2＝0.8。则如图2所示，通过过滤器对采样的样本进行计算得到一级异常值Sf，将该一级异常值Sf与0.1进行比较，若一级异常值Sf小于0.1，则判定该样本为正常样本，且忽略该样本；若一级异常值Sf大于等于0.1，则通过预置的判别器计算所述样本的二级异常值Sd。进一步地，将该二级异常值Sd与-0.8及0.8分别进行比较，若二级异常值Sd小于-0.8，则判定该样本为正常样本，且忽略该样本；若二级异常值Sd大于0.8，则判定该样本为异常样本，并将该异常样本加入异常样本池中，并发出警报信号；若二级异常值Sd大于等于第二预设阈值-0.8且小于等于第三预设阈值0.8，则确定无法对该样本进行判定，将该样本加入缓冲区。

如此，本实施例中，通过采用预置的过滤器及判别器对采样得到的样本进行过滤操作，如此能够尽可能减小后续分拣操作对应的样本的数量，提高视频异常事件的检测效率。

在本发明的一个可选实施例中，步骤S3中的所述对所述缓冲区中的样本进行分拣操作，具体包括如下步骤：

S31：计算所述缓冲区中每个样本的综合异常值S＝func1(Sf,Sd)，其中func1()是一个映射函数。

需要说明的是，该映射函数func1()包括但不限于func1(Sf,Sd)＝Sf+Sd这样的映射。

S32：将所述缓冲区中的样本按照所述综合异常值从大到小进行排序。

S33：将排序在前的K个样本从所述缓冲区中移除，并判别所述K个样本是否存在异常行为，根据判别结果将所述K个样本中的异常样本加入异常样本池中，正常样本加入正常样本池中。

具体来说，对缓冲区中排序后的前K个样本进行判别，然后将这些样本从缓冲区中移除，需要说明的是，如果缓冲区中不足K个样本，则对缓冲区中所有的样本均进行判别，然后将缓冲区清空；进一步地，逐个判别所述样本是否存在异常行为，然后将这些样本中被判别为异常的样本加入到异常样本池中，将这些样本中被判别为正常的样本加入到正常样本池中。

如此，本实施例通过分拣操作，可在引入操作员的少量人工分析的前提下，筛选出对过滤模型的更新最有价值的样本，从而通过学习这些样本中所包含的行为模式以更新当前过滤模型，从而提升过滤模型的过滤效率和判别的准确率。

在本发明的一个优选实施例中，步骤S4中的所述根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作，具体包括如下步骤：

S41：从所述正常样本池中选取若干样本，以更新所述过滤器。

S42：从所述正常样本池及所述异常样本中分别选取若干样本，以更新所述判别器。

S43：更新所述第二预设阈值Td1及所述第三预设阈值Td2。

在本发明的一个可选实施例中，可根据如下方式建立或更新上述实施例中的过滤器：

A01、对训练样本提取特征，所述特征包含待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系。

A02、根据所述训练样本的原始图像帧以及所提取的特征进行时空建模，获取所述训练样本的正常行为模型Mf。

A03、将所述待预测视频流在Mf上的偏移程度作为该视频流的一级异常值Sf。

相应地，步骤A01中的所述对训练样本提取特征之前的步骤前，需对所述过滤器的训练样本进行采样，具体包括：

对于所述正常样本池中的每个样本，计算其采样权重Wf＝func2(Sf,T)，其中Sf为该样本的一级异常值，T为该样本代表的视频流的开始时间，func2()是一个映射函数；其中，该映射函数值与Sf成正比，与T成反比，包括但不限于func2(Sf,T)＝Sf/T这样的映射；

根据采样权重Wf在正常样本池中随机抽取Rn个样本，并将所述Rn个样本作为所述过滤器的训练样本。

具体来说，根据采样权重Wf在正常样本池中随机抽取Rn个样本，样本的Wf越高，被随机抽取到的概率越高，并将这些样本作为所述过滤器的训练样本。

在本发明的一个可选实施例中，可根据如下方式建立或更新所述判别器：

B01、对训练样本提取特征，该特征中包含待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系。

B02、根据所述训练样本的原始图像帧以及所提取的特征进行时空建模，获取所述训练样本的行为判别模型Md。

B03、将待预测视频流在Md上的偏移程度作为该视频流的二级异常值Sd。

相应地，步骤B01中的所述对训练样本提取特征的步骤之前，需对所述判别器的训练样本进行采样，具体包括：

对于所述正常样本池中的每个样本，计算其采样权重Wf＝func2(Sf,T)，其中Sf为该样本的一级异常值，T为该样本代表的视频流的开始时间，func2()是一个映射函数，该函数值与Sf成正比，与T成反比；包括但不限于func2(Sf,T)＝Sf/T这样的映射；

根据采样权重Wf在正常样本池中随机抽取Rn个正常样本；

对于所述异常样本池中的每个样本，计算其采样权重Wd＝func3(Sd,T)，其中Sd为该样本的二级异常值，T为该样本代表的视频流的开始时间，func3()是一个映射函数，该函数值与Sd成正比，与T成反比；包括但不限于func3(Sd,T)＝Sd/T这样的映射；

根据采样权重Wd在异常样本池中随机抽取Ra个异常样本；

将抽取出的所述Rn个正常样本和所述Ra个异常样本作为所述过滤器的训练样本。

其中，根据采样权重Wf在正常样本池中随机抽取Rn个样本，样本的Wf越高，被随机抽取到的概率越高；根据采样权重Wd在异常样本池中随机抽取Ra个样本，样本的Wd越高，被随机抽取到的概率越高。

在本发明的一个可选实施例中，步骤S43，具体包括：

采用式(1)更新所述第二预设阈值Td1，采用式(2)更新所述第三预设阈值Td2：

Td1(t+1)＝Td1(t)/D (1)

Td2(t+1)＝Td2(t)/D (2)

其中，Td1(t)和Td2(t)表示第t–1和第t个更新节点间的过滤阈值，Td1(t+1)和Td2(t+1)表示第t和第t+1个更新节点间的过滤阈值，D为大于0的实数。

为了更清楚地说明本发明的技术方案，通过一个较为具体的实施例来详细说明一种视频异常事件在线检测方法，如图3所示，本实施例中的视频异常事件在线检测方法具体包括如下步骤：

S101：初始化正常样本池和异常样本池，其中正常样本池中有An段不包含异常行为的视频片断，异常样本池为空；提取正常样本池中所有视频片断的光流特征；初始化缓冲区，令其为空。

S102：初始化过滤器；具体使用如图4所示网络结构的神经网络作为过滤器，并使用正常样本池中的An段视频片段进行初始化。对于正常样本池中的每个视频片段，均使用长度为16的滑窗进行连续采样，得到若干长度为16的视频帧序列。对于每一个采样得到的视频帧序列，将其第1至15帧作为输入，第2至16帧作为输出，在过滤器上进行训练。

S103：初始化判别器：使用如图5所示网络结构的神经网络作为判别器，并随机初始化该神经网络的权重参数。

S104：设置阈值Tf＝0.1，Td1＝-0.8，Td2＝0.8；设置时间周期E＝6400，时间戳Tc＝0；设置分捡参数K＝20，Rn＝400，Ra＝40；设置阈值衰减参数D＝e，其中e为自然常数。

S105：开始处理待分析的视频流，视频流每更新1帧，时间戳Tc就增长1。若Tc大于0且为E的倍数，跳转至S201，否则跳转至S301。

S201：计算缓冲区中每个样本的综合异常值S＝Sf+Sd，并将缓冲区中的样本按所述的综合异常值S的降序排序。

S202：将缓冲区中排序后的前K个样本交由操作员来进行判别，然后将这些样本从缓冲区中移除，如果缓冲区中不足K个样本，则将缓冲区中所有的样本都交由操作员来进行判别，然后将缓冲区清空。

S203：操作员逐个判别所述样本是否存在异常行为，然后将这些样本中被判别为异常的样本加入到异常样本池中，将这些样本中被判别为正常的样本加入到正常样本池中。

S204：对于正常样本池中的每个样本，计算其采样权重Wf＝Sf/T，并根据采样权重Wf在正常样本池中随机抽取Rn个样本，样本的Wf越高，被随机抽取到的概率越高。

S205：对于正常样本池中采样得到的Rn个视频帧序列样本，分别提取其光流特征；对于每个样本，将其第1至15帧作为输入，第2至16帧作为输出，在过滤器上进行更新。

S206：对于异常样本池中的每个样本，计算其采样权重Wd＝Sd/T，并根据采样权重Wd在异常样本池中随机抽取Ra个样本，样本的Wd越高，被随机抽取到的概率越高。

S207：对于异常样本池中采样得到的Ra个视频帧序列样本，分别提取其光流特征，然后与S205得到的Rn个正常视频帧序列样本一起在判别器上进行更新；其中，异常视频帧序列样本视作正样本，正常视频帧序列样本视作负样本，训练判别器做二分类。

S208：更新阈值Td1＝Td1/D，Td2＝Td2/D。

S301：若Tc为0或不为16的倍数，则跳转至S105，否则将Tc-15至Tc这段时间内的视频帧作为新的样本，记做Xn，并跳转至S302。

S302：将Xn输入过滤器，将过滤器输出的L2误差值作为Xn的一级异常值Sf；若Sf小于Tf，则忽略该样本，跳转至S105，否则跳转至S303。

S303：将Xn输入判别器，根据判别器的输出计算Xn的二级异常值Sd＝prob_pos-prob_neg，其中prob_pos是判别器预测Xn属于正样本的概率，prob_neg是判别器预测Xn属于负样本的概率；当Sd小于Td1时，忽略该样本，跳转至S105，否则跳转至S304。

S304：当Sd大于预设阈值Td2时，判定该样本中出现了异常行为，将该样本放入异常样本池中，并进行报警，然后跳转至S105；否则将该样本加入到缓冲区中，然后跳转至S105。

从而，通过本实施例提供的视频异常事件在线检测方法能够提高视频异常事件检测的效率和准确性。

图6是本发明一实施例提供的一种视频异常事件在线检测装置的结构示意图，如图6所示，该装置包括：检查模块601、过滤模块602、分拣模块603及更新模块604。其中：

检查模块601用于对连续输入的待预测视频流，每隔预设时间长度进行一次检查，并将每次检查的时间点作为更新节点；过滤模块602用于在每两个连续的更新节点之间，采用预设长度的滑窗对输入的待预测视频流进行连续采样，并采用预置的过滤模型对采样得到的样本进行过滤操作，以将过滤后的剩余样本加入缓冲区；分拣模块603用于对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中；更新模块603用于在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作。

由此可见，本实施例通过过滤模块602采用预置的过滤模型对采样得到的样本进行过滤操作，如此能够尽可能减小后续分拣操作对应的样本的数量，提高视频异常事件的检测效率；还通过分拣模块603对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中，且更新模块604在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作，如此通过分拣操作筛选出对过滤模型的更新最有价值的样本，即筛选出当前模型不能很好判别的行为样本，并通过学习这些样本中所包含的行为模式以更新当前过滤模型，从而提升过滤模型的过滤效率和判别的准确率。由此，本实施例中的装置能够提高视频异常事件监测效率和准确性。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本领域

普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种视频异常事件在线检测方法，其特征在于，包括：

对连续输入的待预测视频流，每隔预设时间长度进行一次检查，并将每次检查的时间点作为更新节点；

在每两个连续的更新节点之间，采用预设长度的滑窗对输入的待预测视频流进行连续采样，并采用预置的过滤模型对采样得到的样本进行过滤操作，以将过滤后的剩余样本加入缓冲区；

对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中；

在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作；

所述采用预置的过滤模型对采样得到的样本进行过滤操作，包括：

通过预置的过滤器，计算每个样本的一级异常值Sf；

若所述一级异常值Sf小于第一预设阈值Tf，则忽略所述样本；

若所述一级异常值Sf大于等于所述第一预设阈值Tf，则通过预置的判别器计算所述样本的二级异常值Sd；

若所述二级异常值Sd小于第二预设阈值Td1，则忽略所述样本；

若所述二级异常值Sd大于第三预设阈值Td2，则判定所述样本为异常样本，并将所述异常样本加入异常样本池中；

若所述二级异常值Sd大于等于第二预设阈值Td1且小于等于第三预设阈值Td2，则将所述样本加入缓冲区。

2.根据权利要求1所述的方法，其特征在于，所述对所述缓冲区中的样本进行分拣操作，包括：

计算所述缓冲区中每个样本的综合异常值S＝func1(Sf,Sd)，其中func1()是一个映射函数；

将所述缓冲区中的样本按照所述综合异常值从大到小进行排序；

将排序在前的K个样本从所述缓冲区中移除，并判别所述K个样本是否存在异常行为，根据判别结果将所述K个样本中的异常样本加入异常样本池中，正常样本加入正常样本池中。

3.根据权利要求1所述的方法，其特征在于，所述根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作，包括：

从所述正常样本池中选取若干样本，以更新所述过滤器；

从所述正常样本池及所述异常样本中分别选取若干样本，以更新所述判别器；

更新所述第二预设阈值Td1及所述第三预设阈值Td2。

4.根据权利要求1或3所述的方法，其特征在于，所述方法还包括：

根据如下方式建立或更新所述过滤器：

对训练样本提取特征，所述特征包含待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系；

根据所述训练样本的原始图像帧以及所提取的特征进行时空建模，获取所述训练样本的正常行为模型Mf；

将所述待预测视频流在Mf上的偏移程度作为该视频流的一级异常值Sf。

5.根据权利要求1或3所述的方法，其特征在于，所述方法还包括：

根据如下方式建立或更新所述判别器：

对训练样本提取特征，该特征中包含待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系；

根据所述训练样本的原始图像帧以及所提取的特征进行时空建模，获取所述训练样本的行为判别模型Md；

将待预测视频流在Md上的偏移程度作为该视频流的二级异常值Sd。

6.根据权利要求4所述的方法，其特征在于，所述对训练样本提取特征之前，所述方法还包括：

对于所述正常样本池中的每个样本，计算其采样权重Wf＝func2(Sf,T)，其中Sf为该样本的一级异常值，T为该样本代表的视频流的开始时间，func2()是一个映射函数；

根据采样权重Wf在正常样本池中随机抽取Rn个样本，并将所述Rn个样本作为所述过滤器的训练样本。

7.根据权利要求5所述的方法，其特征在于，所述对训练样本提取特征之前，所述方法还包括：

对于所述正常样本池中的每个样本，计算其采样权重Wf＝func2(Sf,T)，其中Sf为该样本的一级异常值，T为该样本代表的视频流的开始时间，func2()是一个映射函数，该函数值与Sf成正比，与T成反比；

根据采样权重Wf在正常样本池中随机抽取Rn个正常样本；

对于所述异常样本池中的每个样本，计算其采样权重Wd＝func3(Sd,T)，其中Sd为该样本的二级异常值，T为该样本代表的视频流的开始时间，func3()是一个映射函数，该函数值与Sd成正比，与T成反比；

根据采样权重Wd在异常样本池中随机抽取Ra个异常样本；

将抽取出的所述Rn个正常样本和所述Ra个异常样本作为所述判别器的训练样本。

8.根据权利要求3所述的方法，其特征在于，所述更新所述第二预设阈值Td1及所述第三预设阈值Td2，包括：

采用公式一更新所述第二预设阈值Td1，采用公式二更新所述第三预设阈值Td2：

Td1(t+1)＝Td1(t)/D 公式一；

Td2(t+1)＝Td2(t)/D 公式二；

其中，Td1(t)和Td2(t)表示第t–1和第t个更新节点间的过滤阈值，Td1(t+1)和Td2(t+1)表示第t和第t+1个更新节点间的过滤阈值，D为大于0的实数。

9.一种视频异常事件在线检测装置，其特征在于，包括：

检查模块，用于对连续输入的待预测视频流，每隔预设时间长度进行一次检查，并将每次检查的时间点作为更新节点；

过滤模块，用于在每两个连续的更新节点之间，采用预设长度的滑窗对输入的待预测视频流进行连续采样，并采用预置的过滤模型对采样得到的样本进行过滤操作，以将过滤后的剩余样本加入缓冲区；

其中，所述采用预置的过滤模型对采样得到的样本进行过滤操作具体为：

通过预置的过滤器，计算每个样本的一级异常值Sf；若所述一级异常值Sf小于第一预设阈值Tf，则忽略所述样本；若所述一级异常值Sf大于等于所述第一预设阈值Tf，则通过预置的判别器计算所述样本的二级异常值Sd；若所述二级异常值Sd小于第二预设阈值Td1，则忽略所述样本；若所述二级异常值Sd大于第三预设阈值Td2，则判定所述样本为异常样本，并将所述异常样本加入异常样本池中；若所述二级异常值Sd大于等于第二预设阈值Td1且小于等于第三预设阈值Td2，则将所述样本加入缓冲区；

分拣模块，用于对所述缓冲区中的样本进行分拣操作，以将所述样本中的正常样本和异常样本分别加入正常样本池和异常样本池中；

更新模块，用于在每个更新节点，根据所述正常样本池和所述异常样本池中的样本对所述过滤模型进行更新操作。