CN105718857A - 一种人体异常行为检测方法及系统 - Google Patents

Abstract

本发明涉及一种人体异常行为检测方法及系统。该方法包括：根据视频场景内容将该视频场景划分为多个区域，根据每个区域所包含的场景内容获取人体在其中可实施的动作集合，并对所述多个区域以及每个区域中可实施的动作集合进行标记；根据所述多个区域以及每个区域中可实施动作集合的标记集合获取异常行为判断规则；获取所述多个区域中人体的运动轨迹和动作序列，并根据所述标记集合来获取运动轨迹和动作序列的可观察标记序列；利用所述异常行为判断规则对所述可观察标记序列进行分析，判断上述人体是否有异常行为发生，若是，进一步判断发生了何种异常行为。本发明可以综合分析监控者自定义的异常行为和被监控者自身的异常行为，识别率高。

Description

一种人体异常行为检测方法及系统

技术领域

本发明涉及视频监控技术领域，具体涉及一种人体异常行为检测方法及系统。

背景技术

视频监控技术被应用在各行各业中，在传统的监控模式下，一方面需要工作人员时刻监控每个相机场景的是否发生异常情况，容易使得感官疲劳，从而导致漏检和误检。另一方面，各个相机每天不间断的拍摄，储存大量的视频数据，若漏检的异常情况需要查找对应视频段时，人工查找比较困难，而且效率低下。对监控视频进行智能分析则成为解决上述问题的一个研究方向。现有智能监控系统主要通过检测和跟踪场景中的运动目标进行智能分析，也包括对所跟踪的运动目标的行为分析。

目前，行为分析技术通常应用在智能家居、金融行业、交通行业和公共安全等领域。例如在智能家居行业中，行为分析技术可用来实时监控独居老人的摔倒、昏迷等情况；在金融行业中，可用来实时监控ATM间发生的摔倒不起、打架斗殴、抢劫等情况；在交通行业中，可用来实时监控某些路段发生的车祸、人员异常集聚等情况；在公共安全领域中，可用来监控恐怖袭击、骚乱等群体性事件。

从异常行为成因来讲可分成两类：一类是监控者自定义的异常行为，如绊线、越界、逆行和逗留等，这些异常行为并不是由被监控者直接产生的，而且被监控者与场景的相互作用产生的，监控者通过被监控者在场景中的轨迹或者速度来自定义这些行为；另一类是被监控者自身的异常行为，如打架斗殴，摔倒等。这两类的异常行为产生的原因不同，大多数方法只研究了这两类异常行为的一部分，并没有一个综合的方法来整体的对这些行为进行研究。

发明内容

针对现有技术中的缺陷，本发明提供一种人体异常行为检测方法及系统，可以对监控者自定义的异常行为，也就是被观察者与视频场景相互作用产生的异常行为以及被监控者自身的异常行为进行检测，提高了异常行为识别的准确率，进而提高了异常行为报警的可靠性。

第一方面，本发明提供了一种人体异常行为检测方法，包括：

根据视频场景内容将该视频场景划分为多个区域，根据每个区域所包含的场景内容获取人体在其中可实施的动作集合，并对所述多个区域以及每个区域中可实施的动作集合进行标记；

根据所述多个区域以及每个区域中可实施动作集合的标记集合获取异常行为判断规则；

获取所述多个区域中人体的运动轨迹和动作序列，并根据所述标记集合来获取运动轨迹和动作序列的可观察标记序列；

利用所述异常行为判断规则对所述可观察标记序列进行分析，判断上述人体是否有异常行为发生，若是，进一步判断发生了何种异常行为。

可选地，采用数字、字符或者颜色标记所述多个区域，以及采用数字或者字符标记每个区域中可实施的动作集合。

可选地，采用以下步骤生成运动轨迹的可观察标记序列，包括：

从人体上选择一特征点作为跟踪点，获取该跟踪点经过一个或多个区域的连续轨迹；

根据上述连续轨迹所在区域的标记对该连续轨迹进行采样编码生成离散的可观察标记序列。

可选地，所述特征点为人体质心或者脚部上的特征点。

可选地，所述异常行为判断规则包括宏观异常行为判断规则，所述宏观异常行为判断规则通过每个区域自身的功能或者监控者赋予所述多个区域特有的功能以及区域之间的空间逻辑关系来获取。

可选地，所述异常行为判断规则还包括微观异常行为判断规则；所述微观异常行为判断规则根据被监控者自身异常行为的动作序列来获取。

可选地，所述方法还包括采用机器学习方法训练已知的人体异常行为视频集中的异常轨迹序列以及异常动作序列，从而判断未知人体行为是否异常；所述机器学习方法为支持向量机SVM、迭代算法Adaboost和神经网络中的一种或者多种。

可选地，所述方法还包括采用隐马尔科夫模型HMM对人体动作进行建模识别，包括：

将已知的人体的各个动作分解为多个姿态；

提取每个动作的多个姿态的特征向量；

采用Kmeans聚类算法将所获取的每个动作特征向量进行聚类，获取N个聚类中心；

计算每个动作特征向量与每个聚类中心的欧氏距离，将每个动作特征向量量化到取得最小欧氏距离的聚类中心，以获取每个动作多个姿态的可观察标记序列；

利用Baum-Welch算法训练上述可观察标记序列，从而得到各个动作的HMM模型；

对未知的人体动作进行特征提取与量化，将所得到可观察标记序列输入到所对应的各个动作的HMM模型中，利用前向算法判断该未知动作隶属于哪一种动作模型。

可选地，还包括采用单特征方法或者组合特征方法对每个动作特征向量优化的步骤；其中，

所述单特征方法包括：

分别将每一维特征作为特征向量来训练测试每个动作的HMM模型，从而得到每一种特征对于动作分类的正确率与错误率，可以将错误率最高的特征剔除；

所述组合特征方法包括：

将N维全特征中的i维组合作为特征向量来训练测试每个动作的HMM模型，其中，对于每一个i均有种组合个数；

从测试结果中得到每一种组合的正确率，选择正确率最大的组合作为新的全特征集合，从而将贡献度小的特征剔除。

第二方面，本发明实施例还提供了一种人体异常行为检测系统，基于上文所述的人体异常行为检测方法实现，包括：

区域与动作标记单元，用于根据视频场景内容将该视频场景划分为多个区域，根据每个区域所包含的场景内容获取人体在其中可实施的动作集合，并对所述多个区域以及每个区域中可实施的动作集合进行标记；

异常行为判断规则获取单元，用于根据所述多个区域以及每个区域中可实施动作集合的标记集合获取异常行为判断规则；

可观察标记序列标记获取单元，用于获取所述多个区域中人体的运动轨迹和动作序列，并根据所述标记集合来获取运动轨迹和动作序列的可观察标记序列；

异常行为判断单元，用于利用所述异常行为判断规则对所述可观察标记序列进行分析，判断上述人体是否有异常行为发生，若是，进一步判断发生了何种异常行为。

由上述技术方案可知，本发明可以兼顾监控者自定义的异常行为，也就是被观察者与视频场景相互作用产生的异常行为以及被监控者自身的异常行为，提高了异常行为识别的准确率，进而提高了异常行为报警的可靠性。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明实施例提供的一种人体异常行为检测方法流程图；

图2～图4是本发明实施例提供的视频场景区域划分与标记示意图；

图5是本发明实施例提供的已知动作的HMM模型训练过程示意图；

图6是本发明实施例提供的训练过程中提供图像可视化特征示意图；

图7是本发明实施例提供的HMM模型识别未知动作过程示意图；

图8是本发明一实施例中一种人体异常行为检测方法流程图；

图9是本发明实施例提供的一种人体异常行为检测系统框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一方面，本发明提供了一种人体异常行为检测方法，如图1所示，包括：

S100、根据视频场景内容将该视频场景划分为多个区域，根据每个区域所包含的场景内容获取人体在其中可实施的动作集合，并对所述多个区域以及每个区域中可实施的动作集合进行标记；

S200、根据所述多个区域以及每个区域中可实施动作集合的标记集合获取异常行为判断规则；

S300、获取所述多个区域中人体的运动轨迹和动作序列，并根据所述标记集合来获取运动轨迹和动作序列的可观察标记序列；

S400、利用所述异常行为判断规则对所述可观察标记序列进行分析，判断上述人体是否有异常行为发生，若是，进一步判断发生了何种异常行为。

下面对本发明提供的人体异常行为检测方法各步骤作详细说明。首先，介绍S100、根据视频场景内容将该视频场景划分为多个区域，根据每个区域所包含的场景内容获取人体在其中可实施的动作集合，并对所述多个区域以及每个区域中可实施的动作集合进行标记的步骤。

本发明根据视频场景包含的内容将其划分为若干区域。需要说明的是，场景划分为若干区域可由两种方法实现：一种是监控者根据场景所包含的实际景物或者通过对场景中景物颜色聚类的方法进行手动划分。例如一条路、一张桌子、一把椅子、门和窗户等均可以划分或者聚类为一个封闭独立的区域，该方法具有目的性。另一种方法是由监控系统自动将视频场景分割成若干网格，每个网格作为一个封闭独立的区域，具有盲目性。为降低时间复杂度，本发明实施例中采用数字、字符或不同的颜色来标记每个区域，并且采用数字或者字符来标记每个动作。

本发明实例中根据视频场景中所包含的实际景物采用监控者手动对视频场景进行划分区域。如图2～图4所示，图2为原始场景，图3是划分区域，图4是划分后得到的场景掩膜。然后分析人体在场景中能做出的动作集合，如走、跑、跳、蹲、卧和挥手等。本实例采用大写字母(A-Z)来标记各个区域，小写字母(a-z)标记各个基本动作。

其次，介绍S200、根据所述多个区域以及每个区域中可实施动作集合的标记集合获取异常行为判断规则的步骤。

本发明从宏观和微观两个层次来定义人体的行为。宏观层次是根据人体在场景中有限长度的轨迹来判定行为是否存在异常；微观层次是指根据人体在场景中有限长度的具有先后次序的动作序列来判定其行为是否存在异常。较优地，本发明实施例中异常行为判断规则包括宏观异常行为判断规则和微观异常行为判断规则。

其中，宏观行为是根据每个区域自身的功能或者监控者赋予所述多个区域特有的功能以及区域之间的空间逻辑关系来制定。每个区域自身的功能是指场景内容能够提供给人的基本功能(如椅子是用来坐的、路是用来走或跑等)；区域之间的空间逻辑关系是指正常情况下人体能够以一定的速度穿越两个毗邻的区域，不能跨区域穿越；监控者赋予某些区域的特定功能是指监控者为场景内某些区域定义了除基本功能之外的附加功能(如路只能单向穿越，不能在某个区域逗留等)。

需要说明的是，本发明中宏观异常行为、监控者自定义的异常行为都是指被监控者与场景交互时由于与监控者所定义的行为不同而产生的。下文中，本发明在不同段落使了不同的名称，本发明中“宏观异常行为”、“监控者自定义的异常行为”以及“被监控者与场景交互的异常行为”属于同一个概念，但是本领域人员应该知道本申请是为了使本领域技术人员更加清楚的了解本技术方案才采用的上述做法。同理，下文中“微观异常行为”和“被监控者自身的异常行为”也属于是同一个概念。

为准确判断宏观异常行为，本发明实施例中采用下式对上述宏观行为进行定义：

macroActivity＝(areaSymbolSet,startAreaSymbol,trackMinLength,trackMaxLength,macroGrammer)；

式中，macroActivity是指微观异常行为宏观异常行为的结果；areaSymbolSet是指上述场景划分区域的集合；startAreaSymbol是指人体在进入场景时的起始区域；trackMinLength是指最小的轨迹序列长度；trackMaxLength是指最大的轨迹序列长度。当采样的离散轨迹序列大于或者等于trackMinLength，小于或者等于trackMaxLength时，系统根据语法规则来判定行为性质。当离散轨迹序列超过trackMaxLength时，采用队列的数据结构，先进先出，离散轨迹序列长度保持为trackMaxLength。macroGrammer是指微观异常行为宏观异常行为判定语法。

本发明实施例中宏观异常行为通常包括以下几种：

1、逗留(停留)：目标在场景或者场景中划分的某个区域停留的时间超过监控者设定的时间t，则判定为逗留(停留)；

2、入侵(越界)：目标进入场景中某些禁止进入的区域时，判定为入侵；

3、逆行：目标的运动位移方向与场景中规定的运动方向夹角为钝角时，判定为逆行；

4、徘徊：目标在场景中划分的某些区域来回穿梭，超过监控者设定的时间T，判定为徘徊；

5、尾随：两到三个目标在场景中的运动轨迹基本相同，并且这些目标轨迹生成有一定的时间差，判定为尾随。

6、异常奔跑：目标的运动速度超过了场景定义的最大速度，判定为异常奔跑。

为准确判断微观异常行为，本发明实施例中采用下式对上述微观行为进行定义：

microActivity＝(actionSymbolSet,startActionSymbol,areaSymbol,activityMinLength,activityMaxLength,microGrammer)；

式中，microActivity是指微观层次异常行为的结果；actionSymbolSet是指在场景中人体能够做出的动作集合；startActionSymbol是指人体进入场景时的起始动作；areaSymbol是指人体在场景中的当前运动区域；activityMinLength是指最小的动作序列长度；activityMaxLength是指最大的动作序列长度；microGrammer是指微观层次异常行为判定语法。

本发明中微观行为规则根据被监控者自身异常行为的动作序列来制定。微观异常行为包括以下几种：

1、摔倒不起：目标在场景中的动作序列由走或跑变为卧，则此时处于预警状态，当目标卧在场景中超过监控者设定的时间t，则判定为倒地不起。

2打架斗殴：多个目标在场景中，动作序列剧烈变化，且出现出拳、脚踢、挥手等动作，判定为打斗。

实际应用中，microGrammer可以采用两种制定方法：1)监控者根据场景中所要检测的特定异常行为的动作序列直接制定；2)根据已知场景中连续动作的视频集，通过机器学习训练得到各种行为的分类器，然后将未知视频的动作序列带入分类器进行行为判断。

再次，介绍S300、获取所述多个区域中人体的运动轨迹和动作序列，并根据所述标记集合来获取运动轨迹和动作序列的可观察标记序列的步骤。

本发明实施例中，当人体在不停的运动穿越已划分并标记的场景区域时，实时检测人体所处的区域，将该区域的标记作为人体运动轨迹的可观察标记，将标记值按照顺序记录在轨迹标记序列中；当人体停留在某个区域中时，定义停留周期T1，当停留时间t＝nT1(n＝1,2,3…)时，算作一次“穿越”，将该区域的标记值记录在轨迹标记序列中。

应当说明的是，本发明实施例中，首先要利用机器学习的算法对人体动作进行训练，并得到各个动作的分类器。人体在进入场景后，定义动作采集周期T2，将每个周期的图像集按照先后顺序输入到所述的动作分类器中，从而识别出当前人体的动作，并将该动作在动作标记集合中对应的标记记录在动作标记序列中。

可选地，本发明采用隐马尔科夫(HMM)模型来对各个动作建模学习识别，例如一个HMM模型有5个参数组成：λ＝(S，O，T，E，π)；其中，S为隐状态集合，O为可观察符号集合，两者的集合个数可根据应用场景来定义，T是隐状态转移概率矩阵，E是符号发射概率矩阵，π是初始隐状态概率分布。

如图5所示，训练时，将同一种行为的可观察标记序列带入上述HMM模型中，根据Baum-Welch算法，训练T、E两个矩阵的值，通过最大化概率P(O│λ)可以获得模型λ。场景内的每一个行为都对应一个HMM模型，利用各个行为的训练数据学习得到模型集合{λ₁，λ₂，…，λ_i,…}，这就是训练过程。对于一个未知微观行为的可观察标记序列，计算其与各个HMM的似然度P(O|λ_i)。将该未知微观行为似然度P(O|λ_i)最大的行为类别中，即可实现动作识别。

本发明实施例中已知动作的HMM模型训练过程如图5所示，详细过程包括：读取当前训练动作的视频序列，将当前帧图像进行灰度化处理；背景的建模与更新，由背景减法求取前景，通过对图像的开闭运算去噪，从而找到独立的连通区域与该区域的轮廓，对轮廓进行目标识别与跟踪，从而找到属于人体的轮廓，对这些轮廓进行多维特征向量提取，将得到的所有特征向量进行聚类，聚类的数量由HMM的可观察标记序列集的元素个数决定，然后将每一个特征向量规划到所属的类别中，从而得到可观察的序列，带入HMM模型中，训练E、T矩阵，得到最大似然度。

实际应用中，视频的图像格式是RGB或者YUV。因此，将视频某一帧图像灰度化处理，对于RGB或YUV空间图像转换成灰度图像，可以采用常用的如下两个公式：

Gray1＝R*0.299+G*0.587+B*0.114；

Gray2＝Y；

当然，本领域技术人员也可以根据实际情况采用整数运算或者整数移位运算，本发明不作限定。

本发明实施例中，为了有效降低噪声和检测人体由运动变为静止的情况，采用双背景减法来检测前景运动与静止的目标，以及双背景更新的方法。

本发明实施例中定义了两种背景模型。一种是快背景，一种是慢背景。考虑到很多情况下背景变化具有连续性，为了简化计算，本方法提出了一种快背景B^f(x,y)的更新机制：

$B_N^f\left(x,y\right)=\left\{\begin{array}{c}{I}_1(x,y),N=1;\\ (1-\mathrm{\α})\×B_{N-1}^f(x,y)+\mathrm{\α}\×I_N(x,y),N>1.\end{array}\right.$

其中，(x,y)表示视频图像的坐标位置；表示第N帧快背景；I₁(x,y)表示视频第1帧灰度化后的图像；表示N-1帧快背景；I_N(x,y)表示视频第N帧灰度化后的图像；α是学习率，该值越大，背景更新越快。每读取一帧视频，快背景都会更新一次。

本方法还提出了一种慢背景Bs(x,y)的更新机制：

其中，表示第n帧慢背景；表示n-1帧慢背景；N表示视频的第N帧；k表示更新率，即每k帧更新一次慢背景，其值可以根据实际得到慢背景效果的好坏来调整；表示第N帧快背景；T_d表示阈值，当快背景与慢背景对应坐标点的差值绝对值小于该值时，直接用快背景的像素值更新慢背景。反之，用上一帧慢背景在对应坐标点的像素值更新当前帧的慢背景。

本发明检测前景运动目标：采用快背景的更新方法将由运动到静止的目标学习到快背景模型中，将视频当前帧的灰度图与快背景做差，并设置阈值过滤，即可得到运动目标的前景掩膜M_m。同样，慢背景的更新方法只学习了静止的场景，由视频当前帧的灰度图与慢背景做差，并设置阈值过滤，即可得到运动与静止目标的前景掩膜M_a。利用运动与静止目标的前景掩膜M_a减去运动目标的前景掩膜M_m可得静止目标的前景掩膜M_s，通过对这些掩膜与视频原始图像做交集运算即可得到前景中的静止与运动目标。

为实现除去由于噪声形成的连通区域，留下场景内运动物体的连通区域与轮廓的目标，本发明使用形态学滤波对图像进行开运算与闭运算。需要说明的是，本发明实施例运用现有技术进行目标识别与跟踪，其中采用方向梯度直方图(HistogramofOrientedGradient,HOG)检测行人，采用meanshift算法进行目标跟踪。如果场景中的运动目标确定为人体，则可以省去行人检测过程直接跟踪目标。

为找到对行为分类贡献度大的关键特征，本实施例提取图像的30维特征向量。图6是本发明实施例提供的训练过程中提供图像可视化特征示意图。为了减少摄像机远近的影响，如图6所示，本发明利用最小外接矩形(或椭圆)将特征数据标准化。最小外接矩形(或椭圆)是包围前景目标的最小面积的矩形(或椭圆)。根据提取步骤可以将这些特征分为四个类别：

1、骨架特征提取，也可称为N扇形区域的轮廓特征提取。在前景目标的质心处，将目标360°等分成N个扇形区域。每个扇形区域中，计算质心到目标边界的最大距离，之后将该距离除以最小外接矩形的对角线长度(或者椭圆的长轴长度)，以进行标准化。本实施例中，将前景目标等分为8个扇形区域，由此提取到1～8维特征。

2、面积分布特征提取。由上一步中得到的N个扇形区域，统计每一个扇形区域中前景目标的面积，也就是前景目标的像素点的个数，再除以整个前景目标的面积来标准化。本实施例中，将前景目标等分为8个扇形区域，从而得到9～16维特征。

3、运动特征提取。实际应用中，主轴可近似表示运动时人体的角度、重心和对称等信息，而且对噪声不敏感，因此将该主轴角度作为第17维特征。主轴角度计算公式如下：

$\mathrm{\θ}=\frac{1}{2}arctan\left(\frac{2M_{11}}{M_{20}-M_{02}}\right)\±\frac{\mathrm{\π}}{2};$

式中，M₁₁、M₂₀和M₀₂均为前景目标区域的二阶矩。

4、质心的速度： $v_x=\frac{s_{1x}-s_{2x}}{\mathrm{\Δ}t},v_y=\frac{s_{1y}-s_{2y}}{\mathrm{\Δ}t};$

质心加速度： $a_x=\frac{v_{1x}-v_{2x}}{\mathrm{\Δ}t},a_y=\frac{v_{1y}-v_{2y}}{\mathrm{\Δ}t};$

其中，v_x、a_x、s_1x、s_2x分别表示平行于图像x轴的速度、加速度和位移分量；v_y、a_y、s_1y、s_2y分别表示平行于图像y轴的速度、加速度和位移分量，并且构成了18～21维特征。

5、几何表观特征。高宽比是指，前景目标最小包围矩形的高宽比(或者椭圆的长短轴之比)；填充率是指，前景目标与最小包围矩形(或椭圆)的面积之比。本发明实施例中高宽比与填充率构成了22～23维特征。6、旋转不变矩。计算图像7个对位置、缩放和旋转不变的Hu矩，构成24～30维特征。

需要说明的是，本发明实施例只说明了代表图像关键特征的部分特征及其提取过程，本领域技术人员应该知道例如纹理特征也能作为图像的关键特征，当然本领域技术人员也可以根据具体使用场景选定合适的关键特征以实现对图像的分类，本发明不作限定。

为将上述图像的30维特征向量与HMM模型的可观察标记序列统一起来，需要对该30维特征向量进行聚类与量化。例如，本发明实施例采用Kmeans算法对该30维特征向量进行聚类，得到N个聚类中心，N为聚类类别数量，其值取决于HMM模型的可观察标记序列的取值范围。然后通过计算每一个特征向量与每一个聚类中心的欧氏距离，由此可以将每个特征向量量化到取得最小欧氏距离的聚类中心，以获取一组可观察标记序列。

本发明实施例中采用Baum-Welch算法来训练HMM模型的参数。将同一行为的所有可观察标记序列作为Baum-Welch算法的输入量，训练HMM模型中T、E矩阵，通过最大化概率P(O_i|λ_i)，从而得到模型λ_i。分别训练每组行为数据，最终得到所有HMM模型的模型集合{λ₁，λ₂，…，λ_i,…}。

如图7所示，本发明实施例中采用训练后的HMM模型识别未知动作的过程包括：采集视频序列，对所采集的图像进行灰度化。然后对背景建模与更新，由背景减法求取前景，通过对图像的开闭运算去噪，从而找到独立的连通区域与该区域的轮廓，对轮廓进行目标识别与跟踪，从而找到属于人体的轮廓，获取人体的多维特征向量。需要说明的是，在动作识别过程中，无需再次对特征向量聚类，只需利用训练过程中的聚类中心量化即可。然后将未知动作视频提出的特征序列代入HMM模型的模型集合{λ₁，λ₂，…，λ_i,…}中，运用前向算法求得最大的P(O_i|λ_i)，该视频序列则被识别为模型λ_i对应的行为。

可理解的是，本发明实施例中所提取的30维特征向量中的每一维特征向量对动作分类的贡献度是不同的。因此，本发明还对上述特征集合进行优化，以剔除动作分类时贡献度小的特征向量，这样可以提高特征向量计算的实时性。

为实现上述目的，本发明实施例采用单特征测试法与组合特征测试法共两种方法。其中，单特征测试法是指，分别采用每一维特征作来训练每个动作的HMM模型，从而可以得到每一维特征向量对于动作分类的正确率与错误率。然后将错误率最高的特征向量剔除。组合特征测试法是指，将N维全特征中的i维组合特征作为特征向量来训练测试每个动作的HMM模型，其中，对于每一个i组合特征均有种组合个数；从测试结果中得到每一种组合的正确率，选择正确率最大的组合作为新的全特征集合，从而将贡献度小的特征剔除。

最后，S400、利用所述异常行为判断规则对所述可观察标记序列进行分析，判断上述人体是否有异常行为发生，若是，进一步判断发生了何种异常行为。

本发明实施例中所获取的多组可观察标记序列包括宏观行为可观察标记序列以及微观行为可观察标记序列。下面分别以宏观异常行为与微观异常行为实例来阐述判定异常行为的种类并报警的过程。

如图8所示，本发明以宏观异常行为检测以逗留为例：首先定义场景中的场景划分区域areaSymbolSet，假设包括A、B、C、D和E五个区域，其中监控者设置C区域为非逗留区。假设被监控者进入场景的初始区域startAreaSymbol为B区域，最小轨迹序列长度trackMinLength为5，最大轨迹序列长度trackMaxLength为10，逗留的判定语法macroGrammer描述为：当被监控者的轨迹序列连续出现5次及以上的标记字符为B时，如被监控者的轨迹标记序列为：CCCCBBBBBB，则判定为逗留。

微观异常行为检测以摔倒不起为例:首先定义场景中的动作集合actionSymbolSet，假设包括：走(标记为a)、跑(标记为b)、跳(标记为c)、蹲(标记为d)、坐(标记为e)和卧(标记为f)等；定义最小可识别序列长度activityMinLength为5，即只有采集到被监控者进入场景中5个动作后才开始识别其行为；定义最大可识别的动作序列长度activityMaxLength为10，如果被监控者的动作序列未达到该值，则继续记录其动作，如果超过该值，则将动作序列中时间最早的动作移除，将新动作添加到该动作序列的尾部加入。

假设被监控者进入场景区域的起始动作startActionSymbol是走；其所处的区域areaSymbol为行走区，其标记为A；并规定该区域不能做出坐和卧等动作。动作采集的周期为T，每经过时间T采集一次被监控者动作加入动作序列。摔倒不起的判定语法microGrammer描述为当被监控者的动作序列全部为卧或坐的时，判定为摔倒不起。根据上述判定语法被监控者在行走区由行走到卧可描述为：

{A│a，a，a，a，a，a，f，f，f，f}；

即被监控者在行走区(A)，前6个动作均为走(a)，后四个动作为卧(f)；此时预警被监控者已经摔倒，之后有两种情况：一种是被监控者自行站起来，则不必报警；另一种是被监控者已无意识或者站不起来，则产生摔倒不起的报警信息。当被监控者在摔倒后继续采集其动作序列，在卧(f)或者坐(e)的动作填满整个动作序列时产生报警(例如{A│ffffffeeee})，若未填满动作序列，且动作序列中出现走(a)(例如{A│ffffeeeeaa})，则不产生报警且消除预警。

为体现本发明实施例提供的一种人体异常行为检测方法的优越性，本发明实施例还提供了一种人体异常行为检测系统，如图9所示，包括：

区域与动作标记单元，用于根据视频场景内容将该视频场景划分为多个区域，根据每个区域所包含的场景内容获取人体在其中可实施的动作集合，并对所述多个区域以及每个区域中可实施的动作集合进行标记；

异常行为判断规则获取单元，用于根据所述多个区域以及每个区域中可实施动作集合的标记集合获取异常行为判断规则；

可观察标记序列获取单元，用于获取所述多个区域中人体的运动轨迹和动作序列，并根据所述多个区域以及每个区域中可实施动作集合的标记集合来获取运动轨迹和动作序列的可观察标记序列；

异常行为判断单元，用于利用所述异常行为判断规则对所述可观察标记序列进行分析，判断上述人体是否有异常行为发生，若是，进一步判断发生了何种异常行为。

本发明提供的人体异常行为检测系统基于上文所述的人体异常行为检测方法实现，因而可以解决同样的技术问题，并取得相同的技术效果，在此不再一一赘述。

综上所述，本发明提供的人体异常行为检测方法及系统，通过对视频场景进行划区且对多个区域以及每个区域中可实施的动作进行标记，根据区域标记和动作标记集合获取异常行为判断规则；然后获取人体在多个区域中的运动轨迹和动作可观察标记序列；利用上述异常行为判断规则对可观察标记序列进行分析。本发明可以兼顾监控者自定义的异常行为，也就是被观察者与视频场景相互作用产生的异常行为以及被监控者自身的异常行为，提高了异常行为识别的准确率，进而提高了异常行为报警的可靠性。

在本发明中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种人体异常行为检测方法，其特征在于，包括：

根据视频场景内容将该视频场景划分为多个区域，根据每个区域所包含的场景内容获取人体在其中可实施的动作集合，并对所述多个区域以及每个区域中可实施的动作集合进行标记；

根据所述多个区域以及每个区域中可实施动作集合的标记集合获取异常行为判断规则；

获取所述多个区域中人体的运动轨迹和动作序列，并根据所述标记集合来获取运动轨迹和动作序列的可观察标记序列；

利用所述异常行为判断规则对所述可观察标记序列进行分析，判断上述人体是否有异常行为发生，若是，进一步判断发生了何种异常行为。

2.根据权利要求1所述的人体异常行为检测方法，其特征在于，采用数字、字符或者颜色标记所述多个区域，以及采用数字或者字符标记每个区域中可实施的动作集合。

3.根据权利要求2所述的人体异常行为检测方法，其特征在于，采用以下步骤生成运动轨迹的可观察标记序列，包括：

从人体上选择一特征点作为跟踪点，获取该跟踪点经过一个或多个区域的连续轨迹；

根据上述连续轨迹所在区域的标记对该连续轨迹进行采样编码生成离散的可观察标记序列。

4.根据权利要求3所述的人体异常行为检测方法，其特征在于，所述特征点为人体质心或者脚部上的特征点。

5.根据权利要求1～4任意一项所述的人体异常行为检测方法，其特征在于，所述异常行为判断规则包括宏观异常行为判断规则，所述宏观异常行为判断规则通过每个区域自身的功能或者监控者赋予所述多个区域特有的功能以及区域之间的空间逻辑关系来获取。

6.根据权利要求1～4任意一项所述的人体异常行为检测方法，其特征在于，所述异常行为判断规则还包括微观异常行为判断规则；所述微观异常行为判断规则根据被监控者自身异常行为的动作序列来获取。

7.根据权利要求1～4任意一项所述的人体异常行为检测方法，其特征在于，所述方法还包括采用机器学习方法训练已知的人体异常行为视频集中的异常轨迹序列以及异常动作序列，从而判断未知人体行为是否异常；所述机器学习方法为支持向量机SVM、迭代算法Adaboost和神经网络中的一种或者多种。

8.根据权利要求7所述的人体异常行为检测方法，其特征在于，所述方法还包括采用隐马尔科夫模型HMM对人体动作进行建模识别，包括：

将已知的人体的各个动作分解为多个姿态；

提取每个动作的多个姿态的特征向量；

采用Kmeans聚类算法将所获取的每个动作特征向量进行聚类，获取N个聚类中心；

计算每个动作特征向量与每个聚类中心的欧氏距离，将每个动作特征向量量化到取得最小欧氏距离的聚类中心，以获取每个动作多个姿态的可观察标记序列；

利用Baum-Welch算法训练上述可观察标记序列，从而得到各个动作的HMM模型；

对未知的人体动作进行特征提取与量化，将所得到可观察标记序列输入到所对应的各个动作的HMM模型中，利用前向算法判断该未知动作隶属于哪一种动作模型。

9.根据权利要求8所述的人体异常行为检测方法，其特征在于，还包括采用单特征方法或者组合特征方法对每个动作特征向量优化的步骤；其中，

所述单特征方法包括：

分别将每一维特征作为特征向量来训练测试每个动作的HMM模型，从而得到每一种特征对于动作分类的正确率与错误率，可以将错误率最高的特征剔除；

所述组合特征方法包括：

将N维全特征中的i维组合作为特征向量来训练测试每个动作的HMM模型，其中，对于每一个i均有种组合个数；

从测试结果中得到每一种组合的正确率，选择正确率最大的组合作为新的全特征集合，从而将贡献度小的特征剔除。

10.一种人体异常行为检测系统，基于权利要求1～9任意一项所述的人体异常行为检测方法实现，其特征在于，包括：

区域与动作标记单元，用于根据视频场景内容将该视频场景划分为多个区域，根据每个区域所包含的场景内容获取人体在其中可实施的动作集合，并对所述多个区域以及每个区域中可实施的动作集合进行标记；

异常行为判断规则获取单元，用于根据所述多个区域以及每个区域中可实施动作集合的标记集合获取异常行为判断规则；

可观察标记序列标记获取单元，用于获取所述多个区域中人体的运动轨迹和动作序列，并根据所述标记集合来获取运动轨迹和动作序列的可观察标记序列；

异常行为判断单元，用于利用所述异常行为判断规则对所述可观察标记序列进行分析，判断上述人体是否有异常行为发生，若是，进一步判断发生了何种异常行为。