CN110349178B - 一种人体异常行为检测和识别系统及方法 - Google Patents

一种人体异常行为检测和识别系统及方法 Download PDF

Info

Publication number
CN110349178B
CN110349178B CN201910623515.XA CN201910623515A CN110349178B CN 110349178 B CN110349178 B CN 110349178B CN 201910623515 A CN201910623515 A CN 201910623515A CN 110349178 B CN110349178 B CN 110349178B
Authority
CN
China
Prior art keywords
target object
tracking
module
cams
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910623515.XA
Other languages
English (en)
Other versions
CN110349178A (zh
Inventor
刘建芳
郑浩
夏栋梁
廖梦怡
邢立国
史玉珍
黄淼
刘小满
李成建
刘继童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pingdingshan University
Original Assignee
Pingdingshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pingdingshan University filed Critical Pingdingshan University
Priority to CN201910623515.XA priority Critical patent/CN110349178B/zh
Publication of CN110349178A publication Critical patent/CN110349178A/zh
Application granted granted Critical
Publication of CN110349178B publication Critical patent/CN110349178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人体异常行为检测和识别系统及方法,属于监控摄像技术领域,该混合方法基于连续自适应均值漂移CAMS,引入校正背景权重直方图CBWH和无味粒子滤波UPF技术处理遮挡和相似颜色对象的干扰,采用基于稀疏表达的检测方式从多种场景对目标对象的异常行为进行检测和识别,并利用均方误差统计量评估所提方法的性能,同时在公开数据集UMN上进行了仿真验证。实验结果表明,所提方法在不同场景中有障碍物遮挡或是具有相似颜色的其他对象情况下都能准确检测和识别目标对象。此外,该技术还可能进一步改善复杂场景下多摄像机中目标对象的跟踪性能。

Description

一种人体异常行为检测和识别系统及方法
技术领域
本发明属于监控摄像技术领域,涉及一种人体异常行为检测和识别系统及方法,具体地说,涉及一种室内视频监控下基于混合算法的人体异常行为检测和识别系统及方法。
背景技术
近年来,监控摄像已广泛应用于银行、超市、监狱、机场、停车场、加油站、救援、医学检测等场景,以保证人民生命及财产安全和社会稳定。同时针对室内老年人异常行为检测与识别方面也有较广泛的应用,但由于室内照明变化、遮挡和相似背景其他对象等因素的干扰,对于异常行为的检测和识别具有一定的挑战性,学者针对现有监控识别系统在人体异常行为检测和识别性能的提升开展了大量研究工作。其中常见的状态检测和识别方法包括:检测和跟踪、跟踪前检测和基于概率假设密度滤波器等多目标跟踪技术。虽然学者们已经提出了许多以互斥方式处理照明变化、运动状态变化等因素的干扰和局限,但当有障碍物遮挡和存在其他相似对象时对人体异常行为的检测和识别问题仍未得到完全解决。其中,平均移位跟踪算法建立在密度外观模型上,用于跟踪静止或移动物体,由于其结构简单和计算量小等优点,已被广泛应用于物体的实时检测与识别。但其主要问题是当目标物体靠近或远离相机的焦点时会导致跟踪失败。因此,现有技术提出了一种用于拥挤场景中快速异常检测和定位的级联式三维深层神经网络,并对比了其余传统光流法和社会力模型等方法的异常行为检测效果,但该方法主要针对室外拥挤场景,且更侧重于异常行为的检测与定位;另外又有现有技术则针对该问题提出了一种社会网络模型的检测方法,利用局部社交网络对全球社交网络显示场景中的动态对象进行检测,并对所划分的每个长方体中的人体行为践行建模,最终实现异常行为的检测与定位。有的现有技术提出了在跟踪过程中自适应地调整跟踪窗口的大小和目标对象的分布模式的改进连续自适应均值漂移(CAMS),但CAMS跟踪方法在目标对象所在背景中有相似颜色的其他对象或是所要跟踪的对象突然被障碍物遮挡时,其检测和识别性能往往差强人意。有的现有技术提出了一种整合跟踪和识别技术的背景减法算法,以检测室内环境中的人体存在,并消除背景中相似颜色其他对象对人体异常行为检测和识别的干扰,但当有障碍物遮挡时的跟踪效果却有待提升。
此外,在CAMS和Kalman的组合滤波器中,Kalman滤波器主要用于预测目标物体的可能位置,同时借助CAMS在预测区域中搜索和匹配目标物体,以实现目标对象的检测、识别和跟踪。如有的现有技术在CAMS无法正确估计目标物体的路径时,引入卡尔曼滤波技术来跟踪目标对象,以实现对目标对象的检测和识别,然而却受限于高斯假设,导致跟踪效果欠佳。粒子滤波器因其所具有的非高斯、非线性等假设属性而被应用于视觉对象跟踪。研究表明,粒子滤波器和CAMS的组合可以提高在线跟踪的性能,但粒子滤波器使用转换优先级作为提议分布,并且不考虑当前观察到的数据,从而导致低概率区域中许多粒子的浪费。
发明内容
本发明的目的是在于克服现有技术中存在的缺陷,提供一种人体异常行为检测和识别系统及方法,该方法在CAMS基础上,引入无味粒子滤波器(UPF) 和校正背景权重直方图(CBWH)的,整合稀疏表达的多技术混合跟踪方法来提升室内人体异常行为检测与识别系统的综合性能。
本发明上述目的通过以下技术方案予以实现:
一种人体异常行为检测和识别系统,包括颜色转换模块、CBWH模块、CAMS 跟踪模块、UPF模块,异常行为识别模块;
所述颜色转换模块,用于将接收的视频帧序列分解为帧中目标对象的颜色,接下来判断目标对象背景中是否具有与其相近颜色的其他对象;
所述CBWH模块,用于如果有与其相近颜色的其他对象,则运用校正背景权重直方图技术,从其背景干扰中恢复对目标对象的筛选,并确定颜色的可能分布;
所述CAMS模块,用于完成目标跟踪;如果无,则直接调用CAMS模块完成目标跟踪;
所述UPF模块,用于若目标对象的路径被障碍物遮挡,设置计算区域,运用无味粒子滤波技术,将粒子尽可能多的移向高可能性区域,通过重新设置搜索窗口中心和窗口大小,重新设置计算区域,恰当地估计目标对象在被遮挡情况下的路径,再调用CBWH模块,循环处理。
所述异常行为识别模块,用于在CAMS模块完成目标跟踪时,若目标对象的路径没有被障碍物遮挡,以视频形式显示异常行为。
首先系统接收视频帧序列输入,并初始化搜索窗口大写和位置;然后经过颜色转换模块将接收的视频帧序列分解为帧中目标对象的颜色,接下来判断目标对象背景中是否具有与其相近颜色的其他对象,如果有,则在CBWH模块运用校正背景权重直方图技术,从其背景干扰中恢复对目标对象的筛选,并确定颜色的可能分布,再调用CAMS模块完成目标跟踪;如果无,则直接调用CAMS模块完成目标跟踪;在CAMS模块完成目标跟踪时,若目标对象的路径没有被障碍物遮挡,则直接调用异常行为识别模块,并以视频形式显示异常行为;若目标对象的路径被障碍物遮挡,则调用UPF模块,设置计算区域,运用无味粒子滤波技术,将粒子尽可能多的移向高可能性区域,通过重新设置搜索窗口中心和窗口大小,重新设置计算区域,恰当地估计目标对象在被遮挡情况下的路径,再调用 CBWH模块,循环处理。
一种人体异常行为检测和识别方法,首先,将一系列视频帧传递到颜色转换模块以分解帧中目标对象的颜色。若目标对象背景中具有与其相近颜色的其他对象时,则通过CBWH模块从其背景干扰中恢复对目标对象的筛选,并确定可能的颜色分布,再调用CAMS模块;否则直接调用CAMS模块。此外,当目标对象的路径被障碍物遮挡时,CAMS模块将输出到UPF模块,进行目标对象路径的正确估计,再通过基于稀疏表达的异常行为识别模块最终以视频形式显示。
包括以下步骤:
步骤1、输入视频帧序列,初始化搜索窗口大小和位置;
步骤2、将接受的视频帧序列分解为帧中目标对象的颜色;
步骤3、判断目标对象背景中是否具有与其相近颜色的其他对象,如果有则进行步骤4,若无,则直接进行步骤5;
步骤4、运用校正背景权重方图技术,从其背景干扰中恢复对目标对象的筛选,并确定颜色的可能分布;
步骤5、完成目标跟踪;在跟踪过程中,判断目标对象的路径是否被障碍物遮挡,若否则直接进行步骤6,否则设置计算区域,运用无味粒子滤波技术,将粒子尽可能多的移向高可能性区域,通过重新设置搜索窗口中心和窗口大小,重新设置计算区域,继续执行步骤4;
步骤6、调用异常行为识别模块,并以视频形式显示异常行为;
进一步,步骤5中,完成目标跟踪的过程如下:
步骤1、基于帧间差异确定视频序列中的图像变化;
步骤2、通过在二值图像上设置阈值来提取轮廓,以得到关于目标对象的特征向量,并利用目标对象周围的统计像素值来计算颜色直方图;
步骤3、通过反投影恢复原始对象的颜色概率分布;
步骤4、当跟踪目标对象被遮挡时,利用轨迹历史来预测下一组帧中的对象的位置;当跟踪目标对象在其背景中具有相似颜色的其他对象时,提供信息使连续自适应均值漂移算法聚焦于目标对象。
进一步,步骤6中,异常行为识别模块的步骤如下:
步骤1、针对训练样本建立查询字典库;
步骤2、根据查询字典库进行稀疏重构样本;
步骤3、通过比较重构稀疏度,对异常行为图像进行检测。
本发明的优点及有益效果:
本发明的混合方法基于连续自适应均值漂移(CAMS),引入校正背景权重直方图(CBWH)和无味粒子滤波(UPF)技术处理遮挡和相似颜色对象的干扰,采用基于稀疏表达的检测方式从多种场景对目标对象的异常行为进行检测和识别,并利用均方误差统计量评估所提方法的性能,同时在公开数据集UMN上进行了仿真验证。实验结果表明,所提方法在不同场景中有障碍物遮挡或是具有相似颜色的其他对象情况下都能准确检测和识别目标对象。此外,该技术还可能进一步改善复杂场景下多摄像机中目标对象的跟踪性能。具体的优点和有益效果如下:
1)UPF技术可以有效解决CAMS跟踪过程中目标对象被遮挡的问题,对目标进行有效跟踪;
2)CBWH技术可以在被跟踪目标对象背景中具有与其颜色相近的其他对象时提高算法对目标对象路径估计的准确性。
3)稀疏表达的引入可以针对人体异常行为进行有效检测和识别,实现系统预期功能。
此外,所提集成技术,对于检测和跟踪视频序列中的对象具有良好的快速性和鲁棒性。
附图说明
图1是多技术人体异常行为检测与识别系统框架;
图2是图像稀疏表达;
图3是分别在50,150,250和350帧进行人体运动跟踪:图 3 的 a) -图 3 的 d)为传统CAMS 方法;图 3 的 e) -图 3 的 h)为本发明方法;
图4是无障碍路径估计结果:图 4 的 a)沿X坐标;图 4 的 b)沿Y坐标;
图5是目标对象被遮挡时路径估计结果:图 5 的 a)沿X坐标,图 5 的 b)沿Y坐标;
图6是公开数据集UMN中正常帧(图 6 的 a) -图 6 的 c) )和异常帧(图 6 的d) -图 6 的 f) );
图7是不同方法在公开数据集UMN中的异常探测ROC曲线;
图8是传统CAMS(图 8 的 a) -图 8 的 c) )算法和本发明算法(图 8 的 d) -图8 的 f) )在50帧、100帧和150 帧处,在背景中存在其他类似物体时对异常行为的检测情况;
图9是当目标对象背景中有相似颜色的其他物体时的路径估计结果:图 9 的 a)沿 X坐标,图 9 的 b)沿Y坐标;
图10是同时估计目标物体路径时处理粒子所花费的时间对比。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。
1基于混合算法的人体异常行为检测和识别方法
所提出的混合算法人体异常行为检测与识别系统框架如图1所示。首先,将一系列视频帧传递到颜色转换模块以分解帧中目标对象的颜色。若目标对象背景中具有与其相近颜色的其他对象时,则通过CBWH模块从其背景干扰中恢复对目标对象的筛选,并确定可能的颜色分布,再调用CAMS模块;否则直接调用 CAMS模块。此外,当目标对象的路径被障碍物遮挡时,CAMS模块将输出到 UPF模块,进行目标对象路径的正确估计,再通过基于稀疏表达的异常行为识别模块最终以视频形式显示。
1.1CAMS跟踪算法
连续自适应均值漂移(CAMS)是一种目标跟踪算法,它通过改变窗口的大小将循环中的Mean-Shift算法结合起来直到收敛。初始化搜索窗口的位置和大小须包含视频序列中目标对象的所在区域,通过对搜索窗口内每个像素的色调进行采样,生成概率密度函数并存储为直方图目标对象的模型。在跟踪的下一阶段,通过扫描所捕获场景的每个像素来进行概率分布估计,最后计算该像素属于目标对象的概率。若隐藏搜索窗口基于(x,y)坐标的初始位置,则搜索窗口第零,第一和第二阶图像矩阵可表示如下:
Figure GDA0003110501850000081
Figure GDA0003110501850000082
Figure GDA0003110501850000083
其中p(x,y)表示图像中位置(x,y)处的概率值,x和y分别表示矩形搜索窗口的坐标。在下一步中,搜索窗口中的中心位置(Cl)可利用公式(4) 计算:
Figure GDA0003110501850000084
同时,通过使用公式(5)和(6)中目标对象的纵横比(Ar)来更新搜索窗口位置:
Figure GDA0003110501850000085
Width=2M00*Ar;Height=2M00/Ar (6)
CAMS跟踪算法用于检测和跟踪视频序列中的目标对象时,重复上述公式 (1)-(6)直到达到所需的收敛状态。但当目标对象具有与其背景中其他对象颜色相似时,算法跟踪性能通常会变差。其次就是在视频序列中所要跟踪的对象出现遇到被遮挡的情况时,CAMS跟踪算法就会失去对物体路径的估计能力,从而导致跟踪效果不佳。这两个突出的问题在当前大多数跟踪算法都较为突出。因此,引入CBWH和UPF方法来加以优化。
1.2校正背景权重直方图(CBWH)技术
在对目标对象进行跟踪时,检测区域中通常会包括对象的背景信息,当目标和背景或背景中其他对象具有较高相关性高的情况下,对象的定位精度将降低,从而影响跟踪准确性。为最小化背景特征的对定位精度的影响,引入了CBWH 技术来刻画目标对象与背景之间的特征差异,以提高对目标物体的跟踪精度,CBWH的数学模型可表示如下:
Figure GDA0003110501850000091
Figure GDA0003110501850000092
Figure GDA0003110501850000093
Figure GDA0003110501850000094
其中
Figure GDA0003110501850000095
表示新的目标模型,
Figure GDA0003110501850000096
表示新的目标候选模型;
Figure GDA0003110501850000097
是最小非零
Figure GDA0003110501850000098
中的值;背景模型可用公式(9)和(10)表示,其大小约是目标对象的三倍。
1.3无味粒子滤波(UPF)技术
滤波技术被广泛用于建立模型,其主要目的是估计后续帧中目标对象的状态。比较常见的滤波方案是采用序贯蒙特卡洛法,即粒子滤波器(Particle Filters,PFs) 对后续统计值进行估计和计算,其中包括平均值、模式、峰度和方差等。然而, PF对抽样的合理性要求较高,若不能使用最新的可用信息来估计新的状态值,则只有少数粒子可以存活。因此,采用UPF方法作为提议分布,将粒子尽可能多的移向高可能性区域,以便恰当地估计目标对象在被遮挡情况下的路径。UPF 算法第一阶段涉及到的目标对象初始化状态可表示如下:
Figure GDA0003110501850000101
Figure GDA0003110501850000102
其中
Figure GDA0003110501850000103
表示物体相对于先前的粒子数P(x0)。基于公式(13)确定一系列的 sigma点,并利用公式(14)更新粒子,将跟新结果传递到下一步进行如式(15) -(17)处理,并利用公式(18)执行测量更新:
Figure GDA0003110501850000104
Figure GDA0003110501850000105
Figure GDA0003110501850000106
Figure GDA0003110501850000107
Figure GDA0003110501850000108
通过最后步骤的计算,将生成来自已知提议分布的样本粒子。其中每个样品粒的权重已知,并进行归一化处理。由此将CBWH和UPF集成到CAMS中,以构建一个可靠且高效的人体异常行为检测和识别系统。
1.4图像稀疏表达
异常行为图像检测的稀疏表达流程如下:先针对训练样本建立查询字典库,再根据查询字典库进行稀疏重构样本,最后通过比较重构稀疏度,对异常行为图像进行检测。图像稀疏表达如图2所示,其中x∈Rm×l表示原始特征数据,D∈Rm×n表示查询字典库,α∈Rl×n为系数矩阵,同时也是x的稀疏表示。
稀疏表达式如公式(19)所示:
Figure GDA0003110501850000111
其中,λ表示权重系数,||α||1表示系数矩阵的稀疏度。设定异常行为图像检测的特征数据为sampletest∈Rm,它在查询字典库上的表示系数为:
Figure GDA0003110501850000112
重构误差
Figure GDA0003110501850000113
为:
Figure GDA0003110501850000114
比较重构误差与阈值,判定样本sampletest是否为异常行为。
2实验与分析
2.1实验基础
为验证所提方案的可行性和有效性,基于Windows 10平台使用Matlab (R2016a)进行了实验,该模型运行于6核i7-8700处理器,8GB RAM的惠普 690-076ccn台式计算机上。其数据来源的视频文件通过Canon HF R806百万像素数码摄像机采集,分辨率设置为350×320,速率32帧/秒。通过将视频进行格式转换后加载到传统的CAMS算法和提出的跟踪方案中以观察其检测和识别性能。
所提跟踪检测方案流程大致如下:首先基于帧间差异确定视频序列中的图像变化;其次通过在二值图像上设置阈值来提取轮廓,以得到关于目标对象的特征向量,并利用目标对象周围的统计像素值来计算颜色直方图;最终通过反投影恢复原始对象的颜色概率分布。当跟踪目标对象被遮挡时,UPF模块利用轨迹历史来预测下一组帧中的对象的位置;当跟踪目标对象在其背景中具有相似颜色的其他对象时,CBWH模块用于提供信息使CAMS算法聚焦于目标对象而非背景。实验主要设置无障碍遮蔽、有障碍物遮蔽和背景中存在相似颜色其他对象三种场景下所提方法与传统CAMS方法的对比案例,其具体实验步骤和结果如下。
2.2无遮挡场景下的跟踪性能对比
本组实验通过使用一组没有任何障碍物遮挡的视频文件,分四次对所提方法和传统CAMS算法的检测和识别性能进行检验。所提出的方法和传统CAMS的跟踪结果如下所示。其中图3为使用提方法和传统CAMS方法的一组人体运动检测和跟踪结果。
从图3所示的结果可以看出,所提多技术跟踪策略能准确估计从初始帧(图 3的e))到最终帧(图3的 h))的人体运动路径。由于没有障碍物遮挡,CAMS算法也正确地估计了人体运动的路径(如图3的 a) -图 3 的 d) )。在所有帧中,所提方法和CAMS 在沿X和Y轴对目标对象路径估计方面的性能如图4所示。可以看出所提方法具有与传统CAMS方法相似的跟踪性能;在四个不同实验中,通过使用均方误差(MSE)来对所提方法和CAMS方法沿两X和Y轴对目标对象路径估计的准确性进行比较,其结果如表1所示。
通过计算四次实验结果可得,提方法沿X轴和Y轴的平均估计误差分别为 0.185%和0.170%,而CAMS方法沿X轴和Y轴的平均估计误差分别为0.227%和0.195%。从实验结果可以看出,传统的CAMS方法在没有障碍物的情况下能够正确估计视频序列中目标对象的路径。
表1所提方法和无障碍CAMS的跟踪结果对比
Figure GDA0003110501850000121
Figure GDA0003110501850000131
2.3存在障碍物遮挡时的跟踪性能对比
本组实验以一系列面部视频为实验对象,引入尺寸约为210×297mm的A4 白纸作障碍物对目标对象进行遮挡以比较所提方法和传统的CAMS算法对目标对象的跟踪性能,其实验结果表明,提出的混合跟踪方法因引入无味粒子滤波器的预测能力,可以在目标对象被遮挡或者恢复时保持较好的跟踪性能。针对传统方法和所提方法,分别沿X和Y轴对目标对象路径进行了估计,其结果如图5 所示。
由图5可知,在有遮挡场景中提出的方法能够正确地估计并跟踪目标对象的路径。传统CAMS方法在无遮挡时表现良好,但当完全遮挡时,在沿X轴(280.2,105)丢失了物体路径的完整轨迹。沿Y轴跟踪效果与X轴相似,丢失轨迹的处为(269.2,87.8)。进一步分析两种方法的平均跟踪精度,结果如表2所示。
表2本发明方法与CAMS算法在有遮挡情况下的跟踪结果
Figure GDA0003110501850000132
Figure GDA0003110501850000141
根据表2中所示的目标对象路径估计结果,可以观察到所提方法在X和Y 轴上实现了82.8%的平均估计精度,而传统的CAMS方法由于障碍物的遮挡,其平均估计精度仅为55.37%。该结果也说明UPF技术的引入,对系统在存在障碍物遮挡的场景中对目标对象的跟踪和识别性能具有一定的改进能力。
2.4在公开数据集UMN上的实验验证
实验所用UMN数据集的包含3个不同拥挤场景,分别采用3个不同场景对异常行为进行检测。如图6所示,图 6 的 a)-图 6 的 c)为正常帧,图 6 的 d)-图 6 的 f)为存在异常行为的异常帧。采用所提算法与传统光流法和社会力模型等方法分别在三个情景中进行比较。实验结果通过绘制接收者操作特性曲线(receiver operating characteristiccurve, ROC)来表示,如图7所示。
如图7所示,S1,S2,S3分别代表UMN公开数据集中的三个不同场景,从图中可以看出,在不同场景下,所提方法都较传统光流法和社会力模型等方法有更好的异常行为识别效果。这是因为提出的方法为最小化背景特征的对定位精度的影响,引入了CBWH技术来刻画目标对象与背景之间的特征差异,提高了对目标物体的跟踪精度。
2.5存在背景影响的跟踪性能对比
本节实验目标对象背景中存在与其相似的其他对象,主要检验传统CAMS 方法和所提方法在老年人摔倒等异常行为方面的检测和识别效果。实验结果如图 8所示,尽管背景中存在与其跟踪目标相似颜色的其他对象,算法也能保持对视频序列中目标对象的良好跟踪效果,而传统CAMS方法却不能较好地检测和识别该异常行为。
此外,分析所提方法和传统的CAMS算法分别沿X和Y轴对移动小球进行路径估计情况,其结果如图9所示。从中可以看出,无论背景中是否存在与目标对象颜色相近的其他物体,所提方法都能够正确地估计目标物体沿X和Y轴的路径。CAMS算法仅能在开始阶段具有较好的跟踪效果,而分别在沿X轴(77.3, 135.5),沿Y轴(39.5,193.7)处丢失对目标对象完整路径的估计。分析两种方法沿X和Y轴对目标对象的跟踪的MSE,其结果如表3所示。
表3当目标对象具有相似颜色属性的背景对象时,跟踪本发明方法和CAMS的结果表
Figure GDA0003110501850000151
根据表3中对目标对象路径估计的统计结果显示,所提方法在X和Y轴上的平均估计精度为83.4%,而由于背景中与目标对象颜色相似的其他对象的存在,传统的CAMS方法估计精度仅为48.75%。所提方法由于引入了CBWH技术,使得跟踪算法能够从相似颜色对象中准确检测并跟踪目标对象,从而实现系统跟踪性能的改进。
此外,进一步将所提方法与CAMS引导粒子滤波器(CAMS+PF)和CAMS 引导卡尔曼滤波器(CAMS+KF)进行运动跟踪的性能评估比较,以处理粒子所花时间为对比指标,其结果如图10所示。
三次实验结果显示,CAMS+PF和CAMS+KF处理粒子以跟踪目标所需平均时间分别为0.09s和0.0882s,所提方法用时最短,为0.065s。这再次说明所提对象跟踪方法相对于现有方法有较强的鲁棒性和较高的精确性,更具有快速估计目标对象的路径的优点。
3结论
针对室内人体异常行为检测与识别问题,集成了CAMS,CBWH和UPF技术,提出了一种对目标对象检测与识别的混合算法,同时利用三种不同场景,对比了所提算法与传统CAMS在路径跟踪和目标检测方面的性能比较。实验结果表明,所提方法在有障碍物遮挡和目标颜色与背景中有相似对象的情况下,具有更好的识别和跟踪性能,对于提高室内人体异常行为的检测与识别的准确性和快速性具有重要意义。
但目前研究大多局限于单个摄像机的目标对象跟踪与识别,对于复杂场景下多摄像机中目标对象的跟踪与识别问题仍亟待解决。整合CAMS,CBWH和UPF 三种技术,提出针对有障碍物遮挡和背景中具有相似颜色目标对象的目标检测与识别方法,能有效提高在拥挤场景下多个摄像机中目标对象跟踪与识别的快速性和准确性。
以上所述,仅为本发明较佳的具体实施方式,本发明的保护范围不限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (4)

1.一种人体异常行为检测和识别系统,其特征在于,包括颜色转换模块、校正背景权重直方图CBWH模块、连续自适应均值漂移CAMS跟踪模块、无味粒子滤波UPF模块,异常行为识别模块;
所述颜色转换模块,用于将接收的视频帧序列分解为帧中目标对象的颜色,接下来判断目标对象背景中是否具有与其相近颜色的其他对象;
所述CBWH模块,用于如果有与其相近颜色的其他对象,则运用校正背景权重直方图技术,从其背景干扰中恢复对目标对象的筛选,并确定颜色的可能分布;
所述CAMS跟踪模块,用于完成目标跟踪;如果无与其相近颜色的其他对象,直接调用CAMS跟踪模块完成目标跟踪;
所述UPF模块,用于若目标对象的路径被障碍物遮挡,设置计算区域,运用无味粒子滤波技术,将粒子尽可能多的移向高可能性区域,通过重新设置搜索窗口中心和窗口大小,重新设置计算区域,恰当地估计目标对象在被遮挡情况下的路径,再调用CBWH模块,循环处理;
所述异常行为识别模块,用于在CAMS跟踪模块完成目标跟踪时,若目标对象的路径没有被障碍物遮挡,以视频形式显示异常行为。
2.一种人体异常行为检测和识别方法,其特征在于,
包括以下步骤:
步骤1、输入视频帧序列,初始化搜索窗口大小和位置;
步骤2、将接受的视频帧序列分解为帧中目标对象的颜色;
步骤3、判断目标对象背景中是否具有与其相近颜色的其他对象,如果有则进行步骤4,若无,则直接进行步骤5;
步骤4、运用校正背景权重方图技术,从其背景干扰中恢复对目标对象的筛选,并确定颜色的可能分布;
步骤5、完成目标跟踪;在跟踪过程中,判断目标对象的路径是否被障碍物遮挡,若否则直接进行步骤6,否则设置计算区域,运用无味粒子滤波技术,将粒子尽可能多的移向高可能性区域,通过重新设置搜索窗口中心和窗口大小,重新设置计算区域,继续执行步骤4;
步骤6、调用异常行为识别模块,并以视频形式显示异常行为。
3.根据权利要求2所述的人体异常行为检测和识别方法,其特征在于,步骤5中,完成目标跟踪的过程如下:
步骤1、基于帧间差异确定视频序列中的图像变化;
步骤2、通过在二值图像上设置阈值来提取轮廓,以得到关于目标对象的特征向量,并利用目标对象周围的统计像素值来计算颜色直方图;
步骤3、通过反投影恢复原始对象的颜色概率分布;
步骤4、当跟踪目标对象被遮挡时,利用轨迹历史来预测下一组帧中的对象的位置;当跟踪目标对象在其背景中具有相似颜色的其他对象时,提供信息使连续自适应均值漂移算法聚焦于目标对象。
4.根据权利要求2所述的人体异常行为检测和识别方法,其特征在于,步骤6中,异常行为识别模块的步骤如下:
步骤1、针对训练样本建立查询字典库;
步骤2、根据查询字典库进行稀疏重构样本;
步骤3、通过比较重构稀疏度,对异常行为图像进行检测。
CN201910623515.XA 2019-07-11 2019-07-11 一种人体异常行为检测和识别系统及方法 Active CN110349178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910623515.XA CN110349178B (zh) 2019-07-11 2019-07-11 一种人体异常行为检测和识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910623515.XA CN110349178B (zh) 2019-07-11 2019-07-11 一种人体异常行为检测和识别系统及方法

Publications (2)

Publication Number Publication Date
CN110349178A CN110349178A (zh) 2019-10-18
CN110349178B true CN110349178B (zh) 2021-10-08

Family

ID=68175000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910623515.XA Active CN110349178B (zh) 2019-07-11 2019-07-11 一种人体异常行为检测和识别系统及方法

Country Status (1)

Country Link
CN (1) CN110349178B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870304B (zh) * 2021-12-07 2022-06-07 江西中业智能科技有限公司 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN114821795B (zh) * 2022-05-05 2022-10-28 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036525A (zh) * 2014-06-18 2014-09-10 上海交通大学 一种自适应粒子群优化粒子滤波跟踪方法
CN104680557A (zh) * 2015-03-10 2015-06-03 重庆邮电大学 视频序列图像中的异常行为智能检测方法
US9390506B1 (en) * 2015-05-07 2016-07-12 Aricent Holdings Luxembourg S.A.R.L. Selective object filtering and tracking
CN107644432A (zh) * 2017-08-28 2018-01-30 浙江工业大学 基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036525A (zh) * 2014-06-18 2014-09-10 上海交通大学 一种自适应粒子群优化粒子滤波跟踪方法
CN104680557A (zh) * 2015-03-10 2015-06-03 重庆邮电大学 视频序列图像中的异常行为智能检测方法
US9390506B1 (en) * 2015-05-07 2016-07-12 Aricent Holdings Luxembourg S.A.R.L. Selective object filtering and tracking
CN107644432A (zh) * 2017-08-28 2018-01-30 浙江工业大学 基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于背景加权的尺度方向自适应均值漂移算法;郑浩等;《计算机工程与应用》;20161130(第22期);第192-197页 *

Also Published As

Publication number Publication date
CN110349178A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
EP1844443B1 (en) Classifying an object in a video frame
Gabriel et al. The state of the art in multiple object tracking under occlusion in video sequences
CN103971386B (zh) 一种动态背景场景下的前景检测方法
CN103077539B (zh) 一种复杂背景及遮挡条件下的运动目标跟踪方法
JP4741650B2 (ja) ビデオシーケンスにおけるオブジェクト追跡の方法
Vosters et al. Background subtraction under sudden illumination changes
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
Zhao et al. Stochastic human segmentation from a static camera
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
CN101116107A (zh) 识别视频帧中的乱真区
KR101409810B1 (ko) 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN108198206A (zh) 基于多特征联合和Camshift算法结合的多目标跟踪方法
CN109919053A (zh) 一种基于监控视频的深度学习车辆停车检测方法
Huang et al. Motion detection with pyramid structure of background model for intelligent surveillance systems
KR20190023389A (ko) 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
CN110349178B (zh) 一种人体异常行为检测和识别系统及方法
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
CN106780567B (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
Meghana et al. Background-modelling techniques for foreground detection and Tracking using Gaussian Mixture Model
Mirabi et al. People tracking in outdoor environment using Kalman filter
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
Liu et al. Scene background estimation based on temporal median filter with Gaussian filtering
Zhang et al. An optical flow based moving objects detection algorithm for the UAV
Almomani et al. Segtrack: A novel tracking system with improved object segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant