CN108427928A - 监控视频中异常事件的检测方法及装置 - Google Patents

监控视频中异常事件的检测方法及装置 Download PDF

Info

Publication number
CN108427928A
CN108427928A CN201810222499.9A CN201810222499A CN108427928A CN 108427928 A CN108427928 A CN 108427928A CN 201810222499 A CN201810222499 A CN 201810222499A CN 108427928 A CN108427928 A CN 108427928A
Authority
CN
China
Prior art keywords
training pattern
anomalous event
feature
video
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810222499.9A
Other languages
English (en)
Inventor
曹立松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huding Century (beijing) International Technology Co Ltd
Original Assignee
Huding Century (beijing) International Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huding Century (beijing) International Technology Co Ltd filed Critical Huding Century (beijing) International Technology Co Ltd
Priority to CN201810222499.9A priority Critical patent/CN108427928A/zh
Publication of CN108427928A publication Critical patent/CN108427928A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及监控视频中异常事件的检测方法及装置,方法包括:根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配;若不匹配,确定所述目标监控视频存在异常事件;根据所述异常事件,生成并输出预警信号;其中,所述训练模型是基于异常事件表现形式的多个角度进行训练得到的,和/或,所述训练模型是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。采用本申请的技术方案,能够提高检测监控视频中异常事件的自适应性,较少误报率。

Description

监控视频中异常事件的检测方法及装置
技术领域
本申请涉及视频监控领域,具体涉及一种监控视频中异常事件的检测方法及装置。
背景技术
随着社会经济和电子技术的发展以及人们安全意识的增长,视频监控技术得到快速发展,视频监控系统的智能化是监控技术发展的必然需求。
相关技术中,针对监控视频中异常事件的检测方法,大多针对特定场景设置相应的算法模型对监控视频进行分析,以确定监控视频中是否存在异常事件。
但是,由于不同场景中异常行为可能不同,这就导致很多算法模型存在相当的误报和丢失事件问题,很多算法模型的自适应性较差,误报率较高。
发明内容
为至少在一定程度上克服相关技术中存在的问题,本申请提供一种监控视频中异常事件的检测方法及装置。
根据本申请实施例的第一方面,提供一种监控视频中异常事件的检测方法,包括:
根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配;
若不匹配,确定所述目标监控视频存在异常事件;
根据所述异常事件,生成并输出预警信号;
其中,所述训练模型是基于异常事件表现形式的多个角度进行训练得到的,和/或,所述训练模型是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。
进一步地,上述所述的方法中,多个所述角度包括动作角度和外观角度;
根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配之前,还包括:
基于排序光流直方图的方法,构建动作异常训练模型;以及,
基于支持向量数据描述的方法,构建外观异常训练模型;
对应的,根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配,包括:
检测所述待测特征是否落入所述动作异常训练模型中,若否,确定存在动作异常事件,以及,检测所述待测特征是否落入所述外观异常训练模型中,若否,确定存在外观异常事件。
进一步地,上述所述的方法中,所述基于排序光流直方图的方法,构建动作异常训练模型,包括:
计算所有第一样本的光流向量;
根据所述光流向量,确定存在运动模式的样本,作为第一正常样本;
对所述第一正常样本的光流向量的方向和幅度进行统计,得到所述第一正常样本对应的第一直方图;
根据直条统计量对所述第一直方图从大到小进行排序,得到排序后的第二直方图;
根据所述第二直方图的数据量保留率,计算所述第二直方图对应的拦截直条;
将所述拦截直条之前的所有直条对应的第二直方图作为所述动作异常训练模型。
进一步地,上述所述的方法中,基于支持向量数据描述的方法,构建外观异常训练模型,包括:
提取所有第二样本的外观特征;
根据所述外观特征,确定存在外观模型的样本,作为第二正常样本;
基于支持向量数据描述的方法,建立所述第二正常样本对应的超球,作为所述外观异常训练模型;
其中,所述超球的体积小于第一预设阈值,且包含的外挂特征大于第二预设阈值。
进一步地,上述所述的方法中,根据所述异常事件,生成并输出预警信号,包括:
根据预先设置的异常事件等级库,确定所述异常事件对应的危害等级;
根据所述危害等级,生成并输出所述危害等级对应的预警信号。
进一步地,上述所述的方法中,根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配之前,还包括:
将所有第三样本划分成尺寸相同的时空立方体;
基于时空立方体的光流直方图的方法,得到每个时空立方体的运动特征;
基于局部敏感哈希函数,对每个时空立方体的所述运动特征进行映射处理,得到多个哈希桶;
根据每个所述哈希桶,构建局部敏感哈希滤波器训练模型。
进一步地,上述所述的方法中,基于局部敏感哈希函数,对所述每个时空立方体的运动特征进行映射处理,得到多个哈希桶之前,还包括:
基于预设的评测标准,对多个候选局部敏感哈希函数进行评测,得到每个候选局部敏感哈希函数的评测值;
基于预设的函数寻找规则,选取评测值最大的候选局部敏感哈希函数,作为所述局部敏感哈希函数。
进一步地,上述所述的方法,还包括:
获取对所述目标监控视频进行检测的检测结果;
根据所述检测结果,对所述局部敏感哈希滤波器训练模型进行在线更新。
进一步地,上述所述的方法,还包括:
将所述异常事件对应的异常目标监控视频发送给监测终端,以便用户针对所述异常目标监控视频进行确认,并将确认结果输入所述监测终端;
接收所述监测终端发送的所述确认结果;
若所述确认结果为检测错误,将所述异常目标监控视频作为训练样本进行训练,对所述训练模型进行修正。
根据本申请实施例的第二方面,提供一种监控视频中异常事件的检测装置,包括:
检测模块,用于根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配;
确定模块,用于若所述检测模块检测到所述待测特征与所述训练模型不匹配,确定所述目标监控视频存在异常事件;
生成模块,用于根据所述异常事件,生成预警信号;
输出模块,用于生成模块输出所述预警信号;
其中,所述训练模型是基于异常事件表现形式的多个角度进行训练得到的,和/或,所述训练模型是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。
根据本申请实施例的第三方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种监控视频中异常事件的检测方法,所述方法包括:
根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配;
若不匹配,确定所述目标监控视频存在异常事件;
根据所述异常事件,生成并输出预警信号;
其中,所述训练模型是基于异常事件表现形式的多个角度进行训练得到的,和/或,所述训练模型是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。
本申请的监控视频中异常事件的检测方法及装置,通过根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与训练模型相匹配,若不匹配,确定目标监控视频存在异常事件,根据确定异常事件,生成并输出预警信号,实现了同一算法识别不同场景中的异常事件。采用本申请的技术方案,能够提高检测监控视频中异常事件的自适应性,较少误报率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请的监控视频中异常事件的检测方法实施例的流程图;
图2为本申请动作异常训练模型的构建方法实施例的流程图;
图3为本申请外观异常训练模型的构建方法实施例的流程图;
图4为本申请局部敏感哈希滤波器训练模型的构建方法实施例的流程图;
图5为本申请的监控视频中异常事件的检测装置实施例一的结构示意图;
图6为本申请的监控视频中异常事件的检测装置实施例二的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1为本申请的监控视频中异常事件的检测方法实施例的流程图,如图1所示,本实施例的监控视频中异常事件的检测方法,具体可以包括如下步骤:
100、根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与训练模型相匹配。
例如,本实施例中的训练模型可以是基于异常事件表现形式的多个角度进行训练得到的,和/或,该训练模型是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。
在一个具体实现过程中,从人类视觉角度分析,异常事件的异常特性可以通过动作或者外观表现出来,因此,这里以动作和外观作为异常事件的多个角度。本实施例中,可以假设对于动作异常的异常事件至少具有以下特征之一:目标以大于预设阈值的速度移动,不按预设方向运动,不按预设路线运动和在正常区域之外的运动等。假设对于外观异常的异常事件至少具有以下特征之一:具有不同的姿势、穿着不同和出现新的未知目标等。基于上述假设,本实施例可以选取一定数量的未发生异常事件的历史监控视频作为训练样本,并基于排序光流直方图的方法,构建动作异常训练模型;以及,基于支持向量数据描述的方法,构建外观异常训练模型。
例如,可以利用高清摄像机,采集可视范围的视频作为目标监控视频,并对采集的目标监控视频进行预处理,以提高目标监控视频的清晰度。当接收到目标监控视频后,可以基于设定的特定的规则,提取目标监控视频的待测特征,并检测待测特征是否落入动作异常训练模型中,来确定是否存在动作异常,以及,检测待测特征是否落入外观异常训练模型中,来确定是否存在外观异常事件。
本实施例中的训练模型还可以是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。由于布隆滤波器算法中,若将位数组的每个位看作一个哈希桶,训练集合中有训练特征的哈希桶为非空哈希桶,没有训练特征的哈希桶为空哈希桶。对于新的待测特征,若经过哈希映射后落在空哈希桶内,则判定其为异常特征,若落在非空哈希桶内,则判定其为正常特征。然而对目标视频中是否存在异常事件进行检测时,由于几乎不会存在与训练模型中训练特征完全相同待测特征,若直接采用布隆滤波器算法进行异常事件的检测,其误报率较高,因此,可以结合局部敏感哈希函数的性质,并寻找邻近哈希桶,完成检测。具体的,本实施例可以选取一定数量的未发生异常事件的历史监控视频作为训练样本,可以基于时空立方体的光流直方图的方法,建立一个局部敏感哈希滤波器训练模型。
本实施例中,当接收到目标监控视频后,可以基于设定的提取规则,提取目标监控视频的待测特征,并利用设定的局部敏感哈希函数对待测特征进行映射,根据映射到测试哈希桶最近的训练哈希桶的滤波响应来确定是否存在异常事件。
101、若不匹配,确定目标监控视频存在异常事件。
例如,若待测特征未落入动作异常训练模型中,可以确定存在动作异常事件,若待测特征未落入外观异常训练模型中,可以确定存在外观异常事件,之后为了减少误报率、漏报率,本实施例中需要对动作异常事件和外观异常事件进行融合处理,以得到目标监控视频中存在的异常事件。例如,本实施例中,可以将动作异常事件和外观异常事件进行叠加处理或者采用基于证件理论的异常概率图融合处理等,本实施例不做具体限制。
若待测特征被投影到哈希训练模型的一个非空哈希桶中,且其滤波响应值未达到设定的第一滤波响应值,可以确定存在异常事件,或者,待测特征被投影到哈希训练模型的一个空哈希桶中,可以选取离该空哈希桶最近的非空哈希桶作为判定依据,假设待测特征被投影到该非空哈希桶,且其滤波响应值未达到设定的第二滤波响应值,可以确定存在异常事件。在此不再一一举例说明。
需要说明的是,为了降低异常事件的误报率,本实施例优选为上述判定存在异常事件的方法同时进行后,再确定目标监控视频是否存在异常事件。例如,通过两种算法均得到目标视频中存在异常事件,此时,可以确定目标视频中确实存在异常事件,还可以对每种算法设置权重,并根据设置的权重得到目标视频中存在异常事件的权重值,并当目标视频中存在异常事件的权重值大于预设权重值时,确定目标视频中确实存在异常事件,否则,确定目标视频中不存在异常事件。
本实施例以加利福尼亚大学圣迭戈分校(University of California,SanDiego,UCSD)的行人数据集为例,其包括两种场景,场景1和场景2,这两种场景均由静止摄像机录制校园内的人行道,人行道的人群密集程度也从稀疏到密集不断变化。场景1中人们走向和远离摄像机,场景2中人们沿着平行于摄像机平面的方向运动。本实施例中,建立的训练模型中行人从人行道行走为正常事件。后续由摄像机采集的监控视频可以作为目标监控视频,进行测试,其包含正常事件和异常事件,其中,异常事件可以包括但不限制于形式卡车、骑行自行车、踩滑板和坐轮椅中的至少一种。本实施例的技术方案,针对场景1和场景2均能够识别出目标监控视频中的异常事件,且准确率较高。
102、根据确定的异常事件,生成并输出预警信号。
例如,可以对不同的异常事件进行分类,得到一个异常事件类型库,在确定目标视频存在异常事件后,可以根据每种类型的异常事件,生成与每种类型的异常事件相对应的预警信号,并输出该预警信号。
再例如,可以针对不同的异常事件的危害程度,确定对应的危害等级,并建立异常事件等级库,在确定目标视频存在异常事件后,可以确定异常事件对应的危害等级,并根据异常事件对应的危害等级,生成并输出该危害等级对应的预警信号。在此不再一一举例说明。
本实施例的监控视频中异常事件的检测方法的执行主体可以为监控视频中异常事件的检测装置,该监控视频中异常事件的检测装置具体可以通过软件来集成,例如该监控视频中异常事件的检测装置具体可以为一个应用,本发明对此不进行特别限定。
本实施例的监控视频中异常事件的检测方法,通过根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与训练模型相匹配,若不匹配,确定目标监控视频存在异常事件,根据确定异常事件,生成并输出预警信号,实现了同一算法识别不同场景中的异常事件。采用本申请的技术方案,能够提高检测监控视频中异常事件的自适应性,较少误报率。
进一步地,上述实施例中,尽管采用本申请的技术方案,减少了误报率,但在实际应用中,仍然会存在误报现象,例如,在某一场景下,采用本申请的技术方案,将某一目标监控视频确认为存在异常事件,但实际结果为该目标监控视频中不存在异常事件。所以,本实施例中在步骤102“若不匹配,确定目标监控视频存在异常事件”之后,可以将异常事件对应的异常目标监控视频发送给监测终端,以便用户针对异常目标监控视频进行确认,并将确认结果输入监测终端,例如,用户可以利用监控终端对异常目标监控视频进行标记,以表明该异常目标监控视频检测错误。这样在接收到监测终端发送的确认结果后,将异常目标监控视频作为训练样本进行训练,对训练模型进行修正。
需要说明的是,本实施例中,在对异常目标监控视频进行标记时,可以有针对性的标记,例如,仅当前场景下为检测错误,而其它场景下为检测正确,这样可以仅在训练模型上添加上对应的场景标识即可,后续再检测时,若检测到目标视频存在异常事件时,可以进一步获取目标视频的场景后,再作出最终判断。
图2为本申请动作异常训练模型的构建方法实施例的流程图,如图2所示,本实施例的动作异常训练模型的构建方法可以包括以下步骤:
200、计算所有第一样本的光流向量。
光流向量是描述物体运动特征的重要方法,因此,本实施例中,可以计算所有第一样本的光流向量,以确定第一样本中存在运动的对象。
201、根据得到的光流向量,确定存在运动模式的样本,作为第一正常样本。
本实施例中,在得到所有第一样本的光流向量后,可以从所有第一样本中选出存在运动模式的样本,作为第一正常样本进行训练,而不存在运动模式的样本可以舍去。
202、对第一正常样本的光流向量的方向和幅度进行统计,得到第一正常样本对应的第一直方图。
在确定第一正常样本后,可以对第一正常样本的光流向量的方向和幅度进行统计,得到第一正常样本对应的第一直方图。
例如,第一直方图由幅度直方图和方向直方图形成,对于幅度直方图来说,将光流向量的幅度量化为M个区间,每个区间对应一个直条。若某个像素点的光流幅度位于第M个区间,则对在第M个直条投一票。每个区间对应的直条票数越多,则表明幅度落在该直条对应区间的像素点越多,某个区间没有票数,则表明没有训练样本的光流幅度落在该区间。对于方向直方图来说,可以选取方向范围0°-360°,并将其量化为D个区间,每个区间对应的一个直条,区间越多则表明划分越细。若某个像素点的光流方向量化后落入第d个直条,则方向直条图d投一票,票数越多,则表明该运动方向出现的次数越多。
本实施例中第一直方图能够反应所有第一正常样本中运动模式的分布频率特征,第一直方图中直条的高低,代表着其运动模式出现的频数,频数越高代表该运动模式越常见,产生该运动模式的目标为正常的可能性越大;频数较低则对应的运动模式很少发生,即该运动模式可能是异常的。第一直方图还可以直观的表述运动特征的分散程度,若出现的运动模式种类较多,则在第一直方图中占据较多的量化区间,若运动模式种类较少,则在第一直方图中占据较少的量化区间。这样,由第一直方图中的频数高低和分散程度共同描述第一训练样本的分布特征,减小了由于摄像机成像问题中的透视变形问题,成像效果差等因素所带来的影响。
203、根据直条统计量对第一直方图从大到小进行排序,得到排序后的第二直方图。
为了方便后续对异常事件进行检测,本实施例中,根据直条统计量对第一直方图从大到小进行排序,得到排序后的第二直方图。
204、根据第二直方图的数据量保留率,计算第二直方图对应的拦截直条。
在实际应用中,监控视频序列中绝大部分的场景内的事件的动作特征是正常的,只有极少部分事件的动作特征是异常的,因此,本实施例中,可以采取数据量保留率来衡量正常运动特征在所述样本特征中占的比例,该比例值一般比较大,接近于1。这里可以给定数据量保留率的值为0到1之间的数值,并对排序直方图的频率从高到低进行加和,当加和频率达到或者超过数据量保留率时,停止加和,此时被加和的最小频率对应的直条即为拦截直条。
205、将拦截直条之前的所有直条对应的第二直方图作为动作异常训练模型。
本实施例中,数据量保留率越大,位于拦截条之前的所有直条能够包含的数据量越大。因此可以将拦截直条之前的所有直条对应的第二直方图作为动作异常训练模型。
由上述过程可知,本实施例仅需设定第一样本的数据量保留率,即可得到第二直方图和拦截直条。一方面,拦截直条避免了不必要的参数设置,且大大减少了人为设定幅度或方向阈值的工作量,且拦截直条是根据第一样本的样本特性计算得到的,结果更加准确。另一方面,对于具有透视变形的视频场景,拦截直条的位置自适应性能够有效提高较远位置处异常事件的检测率,从而降低了动作异常训练模型对参数的敏感度,有效提高了算法对不同场景的自适应能力。
本实施例中,在接收到目标监控视频后,提取目标监控视频的动作特征作为待测特征,可以检测动作特征是否位于拦截直条之前的任一直条,若是则为动作正常事件,否则,为动作异常事件。
图3为本申请外观异常训练模型的构建方法实施例的流程图,如图3所示,本实施例的外观异常训练模型的构建方法可以包括以下步骤:
300、提取所有第二样本的外观特征。
例如,可以采用三维梯度作为第二样本的外观特征。
301、根据外观特征,确定存在外观模型的样本,作为第二正常样本。
本实施例中,在得到所有第二样本的外观特征后,可以从所有第一样本中选出存在外观模式的样本,作为第二正常样本进行训练,而不存在外观模式的样本可以舍去。
302、基于支持向量数据描述的方法,建立第二正常样本对应的超球,作为外观异常训练模型。
本实施例中,可以基于支持向量数据描述的方法,将第二正常样本的外观特征映射到构建的特征空间,并寻找一个体积小于第一预设阈值,且包含的外观特征大于第二预设阈值的超球,作为本实施例的外观异常训练模型。
本实施例中,在接收到目标监控视频后,提取目标监控视频的外观特征作为待测特征,可以检测外观特征到超球中心的距离,是否大于超球半径,若是则为外观异常事件,否则,为外观正常事件。
图4为本申请局部敏感哈希滤波器训练模型的构建方法实施例的流程图,如图4所示,本实施例的局部敏感哈希滤波器训练模型的构建方法可以包括以下步骤:
400、将所有第三样本划分成尺寸相同的时空立方体。
例如,可以将第三样本的每一帧划分为同样大小的图像块,连续t帧对应的位置上的图像块连接起来即构成时空立方体。
401、基于时空立方体的光流直方图的方法,得到每个时空立方体的运动特征。
例如,可以对每个时空立方体中的每个像素点的光流向量,对所有像素点的光流向量的幅度和方向进行直方图统计,详细过程,请参考图2中步骤202的相关记载,在此不再赘述。可以将幅度直方图和方向直方图拼接起来,作为时空立方体的运动特征。
402、基于局部敏感哈希函数,对每个时空立方体的运动特征进行映射处理,得到多个哈希桶。
可以基于局部敏感哈希函数,对每个时空立方体的运动特征进行映射处理,得到多个哈希桶。
403、根据每个哈希桶,构建局部敏感哈希滤波器训练模型。
可以计算每个哈希桶的桶心和桶径,并将其标识为一个小型滤波器,并将该滤波器作为局部敏感哈希滤波器训练模型。
需要说明的是,为了提高检测异常事件的准确率,降低检测过程中的事件和内存消化,本实施例中,在步骤402执行之前,需要基于预设的评测标准,对多个候选局部敏感哈希函数进行评测,得到每个候选局部敏感哈希函数的评测值,并基于预设的函数寻找规则,选取评测值最大的候选局部敏感哈希函数,作为局部敏感哈希函数。
例如,从局部敏感哈希算法的目标来看,投影过程期望将相似的数据点投影到相同或者相近的桶中,而不相近的数据点投影到不同的桶内,这类似于聚类分析,将数据划分成不同的簇,要求属于相同的数据点之间的相似度较大,而属于不同簇的数据点之间的相似度较小,因此,本实施例中,可以将局部敏感哈希投影看作一个比较精细的聚类过程,每个哈希桶代表一个簇集合,桶内数据相似度越高,桶间数据相似性越低,表明该局部敏感哈希投影函数越好,因此可以根据上述原理对多个候选局部敏感哈希投影进行评测,得到每个候选局部敏感哈希函数的评测值,并可以利用粒子群算法,在特征空间中不断更新例子的位置和速度来搜索,选取评测值最大的候选局部敏感哈希函数,作为局部敏感哈希函数。
在实际应用中,视频的场景往往随着时间变化,以往的局部敏感哈希滤波器训练模型难以适应对新的目标监控视频进行异常事件进行识别的需求,为了保证局部敏感哈希滤波器训练模型的稳定性,时效性,需要对局部敏感哈希滤波器训练模型进行在线更新。具体地,可以获取对目标监控视频进行检测的检测结果,并根据检测结果,对局部敏感哈希滤波器训练模型进行在线更新。
例如,本实施例在提取目标监控视频的待测特征,并利用构建的局部敏感哈希滤波器训练模型对目标视频完成检测后,若某个测试哈希桶中正常事件的个数大于第三预设阈值,将测试哈希桶插入局部敏感哈希滤波器训练模型,若局部敏感哈希滤波器训练模型中某个哈希桶中正常事件的个数小于第四预设阈值,将该哈希桶删除。
图5为本申请的监控视频中异常事件的检测装置实施例一的结构示意图。如图5所示,本实施例的监控视频中异常事件的检测装置可以包括检测模块10、确定模块11、生成模块12和输出模块13。
检测模块10,用于根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与训练模型相匹配;
确定模块11,用于若检测模块10检测到待测特征与训练模型不匹配,确定目标监控视频存在异常事件;
生成模块12,用于根据异常事件,生成预警信号;
输出模块13,用于生成模块12输出预警信号;
其中,训练模型是基于异常事件表现形式的多个角度进行训练得到的,和/或,训练模型是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。
本实施例的监控视频中异常事件的检测装置,通过根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与训练模型相匹配,若不匹配,确定目标监控视频存在异常事件,根据确定异常事件,生成并输出预警信号,实现了同一算法识别不同场景中的异常事件。采用本申请的技术方案,能够提高检测监控视频中异常事件的自适应性,较少误报率。
图6为本申请的监控视频中异常事件的检测装置实施例二的结构示意图。如图6所示,本实施例的监控视频中异常事件的检测装置在图5所示实施例的基础上进一步还可以包括构建模块14。
本实施例中,多个角度包括动作角度和外观角度,构建模块14用于:
基于排序光流直方图的方法,构建动作异常训练模型;以及,基于支持向量数据描述的方法,构建外观异常训练模型。
具体地,构建模块14可以计算所有第一样本的光流向量;根据光流向量,确定存在运动模式的样本,作为第一正常样本;对第一正常样本的光流向量的方向和幅度进行统计,得到第一正常样本对应的第一直方图;根据直条统计量对第一直方图从大到小进行排序,得到排序后的第二直方图;根据第二直方图的数据量保留率,计算第二直方图对应的拦截直条;将拦截直条之前的所有直条对应的第二直方图作为动作异常训练模型。
构建模块14还可以提取所有第二样本的外观特征;根据外观特征,确定存在外观模型的样本,作为第二正常样本;基于支持向量数据描述的方法,建立第二正常样本对应的超球,作为外观异常训练模型;其中,超球的体积小于第一预设阈值,且包含的外挂特征大于第二预设阈值。
对应的,检测模块10用于:检测待测特征是否落入动作异常训练模型中,若否,确定存在动作异常事件,若待测特征落入动作异常训练模型存在动作异常事件,以及,检测待测特征是否落入外观异常训练模型中,若否,确定存在外观异常事件,若待测特征落入外观异常训练模型存在外观异常事件。并对动作异常事件和外观异常事件进行融合处理,得到目标视频中存在的异常事件。
构建模块14还可以将所有第三样本划分成尺寸相同的时空立方体;基于时空立方体的光流直方图的方法,得到每个时空立方体的运动特征;基于局部敏感哈希函数,对每个时空立方体的运动特征进行映射处理,得到多个哈希桶;根据每个哈希桶,构建局部敏感哈希滤波器训练模型。
如图6所示,本实施例的监控视频中异常事件的检测装置还可以包括评测模块15、获取模块16和更新模块17。
评测模块15,用于基于预设的评测标准,对多个候选局部敏感哈希函数进行评测,得到每个候选局部敏感哈希函数的评测值;
获取模块16,用于基于预设的函数寻找规则,选取评测值最大的候选局部敏感哈希函数,作为局部敏感哈希函数。
在一个具体实现过程中,获取模块16还用于获取对目标监控视频进行检测的检测结果;
更新模块17,用于根据检测结果,对局部敏感哈希滤波器训练模型进行在线更新。
如图6所示,本实施例的监控视频中异常事件的检测装置还可以包括传输模块18和修正模块19。
传输模块18用于将异常事件对应的异常目标监控视频发送给监测终端,以便用户针对异常目标监控视频进行确认,并将确认结果输入监测终端,并接收监测终端发送的确认结果。
修正模块19用于,若接收的确认结果为检测错误,将异常目标监控视频作为训练样本进行训练,对训练模型进行修正。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种监控视频中异常事件的检测方法,其特征在于,包括:
根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配;
若不匹配,确定所述目标监控视频存在异常事件;
根据所述异常事件,生成并输出预警信号;
其中,所述训练模型是基于异常事件表现形式的多个角度进行训练得到的,和/或,所述训练模型是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。
2.根据权利要求1所述的方法,其特征在于,多个所述角度包括动作角度和外观角度;
根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配之前,还包括:
基于排序光流直方图的方法,构建动作异常训练模型;以及,
基于支持向量数据描述的方法,构建外观异常训练模型;
对应的,根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配,包括:
检测所述待测特征是否落入所述动作异常训练模型中,若否,确定存在动作异常事件,以及,检测所述待测特征是否落入所述外观异常训练模型中,若否,确定存在外观异常事件。
3.根据权利要求2所述的,其特征在于,所述基于排序光流直方图的方法,构建动作异常训练模型,包括:
计算所有第一样本的光流向量;
根据所述光流向量,确定存在运动模式的样本,作为第一正常样本;
对所述第一正常样本的光流向量的方向和幅度进行统计,得到所述第一正常样本对应的第一直方图;
根据直条统计量对所述第一直方图从大到小进行排序,得到排序后的第二直方图;
根据所述第二直方图的数据量保留率,计算所述第二直方图对应的拦截直条;
将所述拦截直条之前的所有直条对应的第二直方图作为所述动作异常训练模型。
4.根据权利要求2所述的,其特征在于,基于支持向量数据描述的方法,构建外观异常训练模型,包括:
提取所有第二样本的外观特征;
根据所述外观特征,确定存在外观模型的样本,作为第二正常样本;
基于支持向量数据描述的方法,建立所述第二正常样本对应的超球,作为所述外观异常训练模型;
其中,所述超球的体积小于第一预设阈值,且包含的外挂特征大于第二预设阈值。
5.根据权利要求2所述的,其特征在于,根据所述异常事件,生成并输出预警信号,包括:
根据预先设置的异常事件等级库,确定所述异常事件对应的危害等级;
根据所述危害等级,生成并输出所述危害等级对应的预警信号。
6.根据权利要求1所述的方法,其特征在于,根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配之前,还包括:
将所有第三样本划分成尺寸相同的时空立方体;
基于时空立方体的光流直方图的方法,得到每个时空立方体的运动特征;
基于局部敏感哈希函数,对每个时空立方体的所述运动特征进行映射处理,得到多个哈希桶;
根据每个所述哈希桶,构建局部敏感哈希滤波器训练模型。
7.根据权利要求6所述的方法,其特征在于,基于局部敏感哈希函数,对所述每个时空立方体的运动特征进行映射处理,得到多个哈希桶之前,还包括:
基于预设的评测标准,对多个候选局部敏感哈希函数进行评测,得到每个候选局部敏感哈希函数的评测值;
基于预设的函数寻找规则,选取评测值最大的候选局部敏感哈希函数,作为所述局部敏感哈希函数。
8.根据权利要求6所述的方法,其特征在于,还包括:
获取对所述目标监控视频进行检测的检测结果;
根据所述检测结果,对所述局部敏感哈希滤波器训练模型进行在线更新。
9.根据权利要求1-8任一所述的方法,其特征在于,还包括:
将所述异常事件对应的异常目标监控视频发送给监测终端,以便用户针对所述异常目标监控视频进行确认,并将确认结果输入所述监测终端;
接收所述监测终端发送的所述确认结果;
若所述确认结果为检测错误,将所述异常目标监控视频作为训练样本进行训练,对所述训练模型进行修正。
10.一种监控视频中异常事件的检测装置,其特征在于,包括:
检测模块,用于根据预先构建的训练模型,检测接收的目标监控视频的待测特征是否与所述训练模型相匹配;
确定模块,用于若所述检测模块检测到所述待测特征与所述训练模型不匹配,确定所述目标监控视频存在异常事件;
生成模块,用于根据所述异常事件,生成预警信号;
输出模块,用于生成模块输出所述预警信号;
其中,所述训练模型是基于异常事件表现形式的多个角度进行训练得到的,和/或,所述训练模型是基于局部敏感哈希函数并结合布隆滤波器算法进行训练得到的。
CN201810222499.9A 2018-03-16 2018-03-16 监控视频中异常事件的检测方法及装置 Pending CN108427928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810222499.9A CN108427928A (zh) 2018-03-16 2018-03-16 监控视频中异常事件的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810222499.9A CN108427928A (zh) 2018-03-16 2018-03-16 监控视频中异常事件的检测方法及装置

Publications (1)

Publication Number Publication Date
CN108427928A true CN108427928A (zh) 2018-08-21

Family

ID=63158890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810222499.9A Pending CN108427928A (zh) 2018-03-16 2018-03-16 监控视频中异常事件的检测方法及装置

Country Status (1)

Country Link
CN (1) CN108427928A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210530A (zh) * 2019-05-15 2019-09-06 杭州智尚云科信息技术有限公司 基于机器视觉的智能监控方法、装置、设备、系统和存储介质
CN110990847A (zh) * 2019-11-15 2020-04-10 西安电子科技大学 一种基于局部敏感哈希的指纹模板保护方法
CN111027463A (zh) * 2019-12-06 2020-04-17 江西洪都航空工业集团有限责任公司 一种基于视频分析的翻墙检测方法
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法
CN111175593A (zh) * 2018-11-12 2020-05-19 株式会社东芝 检测波形中的异常的方法及其系统
CN111531582A (zh) * 2020-04-27 2020-08-14 武汉工程大学 一种基于视觉的工业机器人故障检测方法及系统
CN112163481A (zh) * 2020-09-16 2021-01-01 清华大学合肥公共安全研究院 一种基于视频识别的水环境污染分析方法
CN113313060A (zh) * 2021-06-17 2021-08-27 山东新一代信息产业技术研究院有限公司 基于视频监控的异常事件分类模型构建方法及检测方法
CN113593142A (zh) * 2021-07-26 2021-11-02 中国工商银行股份有限公司 一种自动柜员机巡查方法及装置
CN115563570A (zh) * 2022-12-05 2023-01-03 上海飞旗网络技术股份有限公司 一种资源的异常检测方法、装置及设备
GB2620431A (en) * 2022-07-08 2024-01-10 Advanced Risc Mach Ltd Monitoring sensor data using expiring hashes
CN117541957A (zh) * 2023-11-08 2024-02-09 继善(广东)科技有限公司 基于人工智能的事件解决策略的生成方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
CN102163290A (zh) * 2011-05-16 2011-08-24 天津大学 基于时空关联信息的多视角视频监控中异常事件建模方法
CN103336957A (zh) * 2013-07-18 2013-10-02 中国科学院自动化研究所 一种基于时空特征的网络同源视频检测方法
CN105701467A (zh) * 2016-01-13 2016-06-22 河海大学常州校区 一种基于人体形态特征的多人异常行为识别方法
CN107423730A (zh) * 2017-09-20 2017-12-01 湖南师范大学 一种基于语义折叠的人体步态行为主动检测识别系统和方法
CN107506734A (zh) * 2017-08-28 2017-12-22 中国民航大学 一种群体突发异常事件检测与定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
CN102163290A (zh) * 2011-05-16 2011-08-24 天津大学 基于时空关联信息的多视角视频监控中异常事件建模方法
CN103336957A (zh) * 2013-07-18 2013-10-02 中国科学院自动化研究所 一种基于时空特征的网络同源视频检测方法
CN105701467A (zh) * 2016-01-13 2016-06-22 河海大学常州校区 一种基于人体形态特征的多人异常行为识别方法
CN107506734A (zh) * 2017-08-28 2017-12-22 中国民航大学 一种群体突发异常事件检测与定位方法
CN107423730A (zh) * 2017-09-20 2017-12-01 湖南师范大学 一种基于语义折叠的人体步态行为主动检测识别系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张莹: ""视频异常事件检测算法研究"", 《中国优秀硕士学位论文 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111175593B (zh) * 2018-11-12 2022-06-28 株式会社东芝 检测波形中的异常的方法及其系统
CN111175593A (zh) * 2018-11-12 2020-05-19 株式会社东芝 检测波形中的异常的方法及其系统
CN110210530A (zh) * 2019-05-15 2019-09-06 杭州智尚云科信息技术有限公司 基于机器视觉的智能监控方法、装置、设备、系统和存储介质
CN110990847A (zh) * 2019-11-15 2020-04-10 西安电子科技大学 一种基于局部敏感哈希的指纹模板保护方法
CN110990847B (zh) * 2019-11-15 2023-02-10 西安电子科技大学 一种基于局部敏感哈希的指纹模板保护方法
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法
CN111079539B (zh) * 2019-11-19 2023-03-21 华南理工大学 一种基于异常追踪的视频异常行为检测方法
CN111027463A (zh) * 2019-12-06 2020-04-17 江西洪都航空工业集团有限责任公司 一种基于视频分析的翻墙检测方法
CN111531582A (zh) * 2020-04-27 2020-08-14 武汉工程大学 一种基于视觉的工业机器人故障检测方法及系统
CN112163481A (zh) * 2020-09-16 2021-01-01 清华大学合肥公共安全研究院 一种基于视频识别的水环境污染分析方法
CN113313060A (zh) * 2021-06-17 2021-08-27 山东新一代信息产业技术研究院有限公司 基于视频监控的异常事件分类模型构建方法及检测方法
CN113593142A (zh) * 2021-07-26 2021-11-02 中国工商银行股份有限公司 一种自动柜员机巡查方法及装置
GB2620431A (en) * 2022-07-08 2024-01-10 Advanced Risc Mach Ltd Monitoring sensor data using expiring hashes
CN115563570A (zh) * 2022-12-05 2023-01-03 上海飞旗网络技术股份有限公司 一种资源的异常检测方法、装置及设备
CN117541957A (zh) * 2023-11-08 2024-02-09 继善(广东)科技有限公司 基于人工智能的事件解决策略的生成方法、系统及介质

Similar Documents

Publication Publication Date Title
CN108427928A (zh) 监控视频中异常事件的检测方法及装置
Feng et al. Spatio-temporal fall event detection in complex scenes using attention guided LSTM
CN105405150B (zh) 基于融合特征的异常行为检测方法和装置
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN105608479B (zh) 结合深度数据的异常行为检测方法及系统
CN109154976A (zh) 通过机器学习训练对象分类器的系统和方法
CN108027874A (zh) 使用深度摄像头的基于计算机视觉的安全系统
CN108416250A (zh) 人数统计方法及装置
US20140139633A1 (en) Method and System for Counting People Using Depth Sensor
CN107657244B (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
CN109271886A (zh) 一种教育考试监控视频的人体行为分析方法及系统
CN109299703A (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN110659391A (zh) 一种视频侦查方法及装置
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN110414360A (zh) 一种异常行为的检测方法及检测设备
CN112990247A (zh) 具有5g阵列的多模态对象检测系统
CN109035305A (zh) 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法
CN105574889B (zh) 一种个人异常行为检测方法和系统
CN111783650A (zh) 模型训练方法、动作识别方法、装置、设备以及存储介质
CN108596157A (zh) 一种基于运动检测的人群惊扰场景检测方法及系统
CN207233038U (zh) 人脸点名与计数系统
Ali et al. Deep Learning Algorithms for Human Fighting Action Recognition.
WO2020217812A1 (ja) 被写体の状態を認識する画像処理装置及びその方法
CN117158955A (zh) 基于可佩戴监测设备的用户安全智能监测方法
KR20150029324A (ko) 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821