CN105701467A - 一种基于人体形态特征的多人异常行为识别方法 - Google Patents

Abstract

本发明公开了一种基于人体形态特征的多人异常行为识别方法，包括：快速目标人体检测，利用大量行人样本的梯度信息，制作一系列的目标人体检测滤波器，得到一组滤波器的行人检测器，对待测图像计算特征通道，并采用检测器在每个通道上计算特征响应，最终采用Adaboost分类器获取最终的目标人体的位置；利用人体形态特征和上述所得的人体位置先验信息，构建初始的人体外观模型，并采取外观传输机制；采用霍夫形态特征提取算法将人体各个部件的特征从外观模型中提取出来，并与异常行为样本库进行匹配，得到最终识别结果。本发明提供的方法可以在背景环境和摄像头的位置不确定的情况下实现对多个人体的位置标定，实现最终的异常行为识别。

Description

一种基于人体形态特征的多人异常行为识别方法

技术领域

本发明属于图像处理技术领域，涉及多个人体的异常行为识别的方法，具体而言是一种通过提取视频图像中各个人体的形态学特征，实现基于人体形态特征的多人异常行为识别系统。

背景技术

智能视觉物联网(IVIOT)是新一代信息技术的重要组成部分，也是物联网的升级版本。智能视觉物联网是通过视觉传感器、信息传输、智能视觉分析感知人、车、物，按约定的协议，把任何物体与互联网相连接，进行信息交换和通信，以此来实现对物体的智能识别、定位跟踪和实时监控的一种智能网络。通过公共场所管理、智能楼宇、交通管制医院、监狱、军事等终端用户所搭建的“智能视觉物联网”，能够实现对社会资源的统一监控、管理和调度。因此，智能视觉物联网技术具有广泛的应用前景。

目前，我国处于经济高速增长期和社会转型期，公共安全形势总体非常严峻。中国公安要在未来反暴力事件中夺取胜利，必须使用计算机信息化手段。反暴力行动的辅助决策需要借助计算机来辅助完成。使用智能视觉物联网技术对反暴力行动进行实时性检测为以后的反暴力行动研究和反暴力行动任务提供全面详实的数据保障。

故人体异常行为识别系统在视频监控领域具有较为广泛的应用前景。基于人体形态特征的多人异常行为识别系统，可以实现人员无监督作业，解放了工作人员的劳动力，并能实现对监控视频中的人体进行捕捉和行为识别的操作。对安保部门起到极大的辅助作用，具有较高的理论价值和实现意义。

人体的形态特征是指人体各个肢体的位置信息，获取该特征涉及到了计算机视觉、图像处理、模式识别、统计学推断、机器学习等多方面的知识。该特征作为对图像或者视频作进一步理解的前提，被广泛应用于智能视觉监控和人机交互领域。但由于人体着装的多样性，图像背景的复杂多变性以及在单帧图像中可能同时出现多个人体等复杂情况，使得获取该特征成为计算机视觉领域上较难的课题之一。

发明内容

本发明所要解决的技术问题是：针对人体异常行为识别难度大，实现多人同时识别的准确率低的问题，提出一种人体异常行为识别方法，以实现高精度的异常行为识别。

本发明的原理是通过先获取人体的位置信息，然后获得人体各个部件的形态特征，并将提取的特征与样本库匹配，从而判断行为是否为异常以及属于何种异常行为。

本发明所采用的技术方案是：

一种基于人体形态特征的多人异常行为识别方法，其特征在于，包括以下步骤：

(1)利用行人数据库中的行人样本的梯度信息，计算出一副人体的平均边缘轮廓图；

(2)以单元为最小单位将平均边缘轮廓图划分成网格，形成平均边缘网格轮廓图；

(3)采用尺度不等的矩形窗在网格上进行无重叠滑动，截取出一系列的滤波器，并去除冗余滤波器，组成最终用于行人检测的滤波器组，即行人检测器；

(4)输入待测图像，对输入的待测图像计算HOG和LUV特征上的特征通道，采用所述行人检测器计算每个通道的特征响应，并将得到的特征响应输入到已经训练好的Adaboost分类器中，得到行人候选框；

(5)采用非极大值抑制的方法，去除错误的行人候选框，获得最终行人的检测框；

(6)根据行人的检测框，最终得到准确的行人的位置信息；

(7)根据得到的人体位置信息，采用Grabcut算法进一步缩小人体的所在区域，从而得到人体各个部件的初始位置先验概率，计算出基于颜色特征的人体的初始外观模型；

(8)通过人体的外观传输公式，将所得初始外观模型更新优化，并获得最终的人体各个部件的位置信息；

(9)采用霍夫形态特征提取算法提取人体各个部件的形态学特征；

(10)将步骤(9)所得的形态学特征与异常样本库进行匹配，最终输出识别结果。

本发明综合利用了基于图像特征通道的行人检测器对行人检测的普适性和基于位置先验的人体外观模型的高准确度，同时利用霍夫形态学特征提取算法和L₁范数进行相似度匹配，对图像中的多个人体进行行为识别。避免了对大量的训练样本的需求，无需提前获取背景等先验信息，解决了只能对单人进行行为识别的局限性，实现了在单帧图像上对多个人体进行识别的目的。

附图说明

图1为本发明的实施示意图；

图2为滤波通道特征检测器的构建示意图；

图3为行人检测流程示意图；

图4为外观模型的构建示意图；

图5为异常行为匹配和识别的流程图。

具体实施方式

本发明的具体实施方式如图1所示，详细描述如下：

本发明的一种基于人体形态特征的多人异常行为识别方法，包括以下步骤：

(1)利用行人数据库中的行人样本的梯度信息，计算出一副人体的平均边缘轮廓图；

(2)以单元为最小单位将平均边缘轮廓图划分成网格，形成平均边缘网格轮廓图；

(3)采用尺度不等的矩形窗在网格上进行无重叠滑动，截取出一系列的滤波器，并去除冗余滤波器，组成最终用于行人检测的滤波器组，即行人检测器；

(4)输入待测图像，对输入的待测图像计算HOG和LUV特征上的特征通道，采用所述行人检测器计算每个通道的特征响应，并将得到的特征响应输入到已经训练好的Adaboost分类器中，得到行人候选框；HOG特征有9个通道，LUV就是有L，U，V3个通道，一共12个通道。

HOG为方向梯度直方图(HistogramofOrientedGradient)，HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，通过计算和统计图像局部区域的梯度方向直方图来构成特征。具体的实现方法是：首先将图像分成小的连通区域，即细胞单元；然后采集细胞单元中各个像素点的梯度，并绘制每个细胞单元的梯度直方图；最后把所有直方图组合起来构成特征描述器。为了提高性能，还可以将局部直方图在图像的更大的范围内，即区间(block)，进行对比度归一化，所采用的方法是：先计算各直方图在区间(block)中的密度，然后根据密度对区间中的各个细胞单元做归一化；通过归一化后，对光照变化和阴影获得更好的效果。

LUV色彩空间全称为CIE1976(L*,u*,v*)，也作CIELUV色彩空间，L*表示物体亮度，u*和v*是色度。于1976年由国际照明委员会CIE提出，由CIEXYZ空间经简单变换得到，具视觉统一性。

(5)采用非极大值抑制的方法，去除错误的行人候选框，获得最终行人的检测框；

(6)根据行人的检测框，最终得到准确的行人的位置信息；

(7)根据得到的人体位置信息，采用Grabcut算法进一步缩小人体的所在区域，从而得到人体各个部件的初始位置先验概率，计算出基于颜色特征的人体的初始外观模型；

(8)通过人体的外观传输公式，将所得初始外观模型更新优化，并获得最终的人体各个部件的位置信息；

(9)采用霍夫形态特征提取算法提取人体各个部件的形态学特征；

(10)将步骤(9)所得的形态学特征与异常样本库进行匹配，最终输出识别结果。

在所述步骤(1)中，取行人数据库的人体样本，对每个人体样本计算其梯度信息；

将全部梯度图相加并求平均，得到一张人体平均边缘轮廓图。

所述平均边缘轮廓图被大致分为四个部分，分别为：头，上身，下身和背景，各部分之间都存在着不同的纹理和颜色特征。

在所述步骤(2)中，设定6×6像素为一个单位，将上述平均边缘轮廓图划分为网格，即人体平均边缘轮廓网格图。

在所述步骤(3)中，设定一系列的尺度如下式：

S＝{(w,h)|w≤w_m,h≤h_m,w,h∈N⁺}

其中w和h分别表示滑动矩形框的宽和高，即包含的单元数；w_m,和h_m用于限定滑动窗口的最大宽和最大高，在此如果默认w_m＝4，h_m＝3，则需要1×1至4×3尺度的所有矩形框，S表示矩形框的尺度，例如1×1和2×3；N⁺表示正整数；

将所有尺度不等的矩形框在人体平均边缘轮廓网格图上进行无重叠地滑动，从而依次截取矩形框中的网格单元，作为一系列的滤波器。

在所述步骤(3)中，每个滤波器根据所包含网格单元的内容为网格单元分配不同的权值，权值的设定根据滑动窗口中覆盖的内容分为两种情况：1)当窗口中只覆盖了两个部分时，例如只覆盖头和背景，则将头覆盖的单元设值为1，背景覆盖的单元设值为0；2)当窗口覆盖了三个部分时，例如上身，下身和背景，则将上身覆盖的网格单元的权值设值为-1，下身覆盖的网格单元的权值设值为+1，背景覆盖的网格单元的权值设值为0。

由此，可以得到一组滤波器组，定义式如下：

F＝{(x,y,s,W)|x,y∈N,s∈S,W∈R²}

其中，x和y表示矩形框的位置坐标，s是S尺度集合中的元素，W为所求的权值的矩阵，R为实数。

由上述方法所得的滤波器组存在大量的冗余，在此需要去除冗余的滤波器，从而得到209个滤波器。经实验论证，加上人为设定的3个滤波器会使得检测的效果更佳，故最终构建成一个含有212个滤波器的行人检测器，用于接下来的行人检测。以上为行人检测器的构造过程，流程图见图2。

在所述步骤(4)中，行人检测流程见图3。输入待识别的图像，计算所述图像在HOG和LUV特征上的12个特征通道,采用所述检测器在每个通道上计算特征响应，

对于检测器中任意一个滤波器f在任意一个通道k上的特征响应通过下式来计算：

$f(f,k)=\underset{i=1}{\overset{h}{\Σ}}\underset{j=1}{\overset{w}{\Σ}}\mathrm{\σ}(x+i,y+j,k)W_{avg}(i,j)$

其中i＝1,2,...,h，j＝1,2,...,w，用来遍历尺度为S＝(w,h)的矩形框中的所有单元；σ(i,j,k)为网格单元(i,j)在通道k上的权值总和；

$W_{avg}=\frac{sgn\left(W\right)}{n_{add}}+\frac{sgn\left(W\right)}{n_{sub}}$

W_avg表示平均权重矩阵，其中n_add和n_sub分别表示单元权值+1和-1出现的频率；sgn(W)是一个函数，其功能是：当W<0时，返回值为-1，当W>0时，返回值为1；

本发明采用Adaboost分类器进行行人检测的特征分类，设定该分类器的深度为2，含有2048个决策树，训练最初所需的负样本采用随机生成，共20000份负样本，且经实验论证，在训练次数为3时效果最佳。

将上述所求特征值输入到训练好的Adaboost分类器中，得到行人的候选框。

在所述步骤(5)中，为了避免检测框重叠的错误信息，此后采取非极大值抑制的方法，对检测窗口进行筛选，得到局部最优解，从而得到最终准确的目标检测框。

在所述步骤(6)中，根据行人的检测框，最终得到准确的行人的位置信息；

在所述步骤(7)中，构建人体的外观模型，具体实施的流程见图4。由上述所得目标检测框的位置信息，可以预测到人体各个部件的位置先验概率。由于所述检测框可以达到高准确度的人体检测，而由于人体形态学特征，可以得知人作为一个特定的整体，各个肢体部分的位置之间一定存在联系。所以人体的头部基本相对于检测框位置固定，由此可以判断出人头部的位置先验概率。由形态学也可以得知，人体的躯干处于人体头部的下方，故躯干的位置先验概率也可以被估计出来。而人体着装的特点也可以用于确定手臂的位置，如人体的躯干通常与后臂颜色相同，因为通常情况下人体会穿着衣物。由此，人体各个肢体的初始位置信息就可以被估计出来。

在此定义位置先验概率LP_I为下式：

LP_I(a,b)∈[0,1]

上式是指像素点坐标(a,b)被肢体覆盖到的先验概率，坐标(a,b)表示在目标检测框中的位置，通过映射训练图像中的棍状标记stickmen到所求的目标人体检测窗口中，并采用最大似然估计学习方法得到位置先验概率。所述图像是指使用棍状标记(stickmen)描述了人体的头部、躯干、前后手臂的图像集。国际上比较常用的集合有Buffy数据集和ETHZPASCAL数据集等。

由位置先验概率求出初始的人体外观模型，即通过所求的位置先验概率LP_I(a,b)对像素点进行加权，得到一个检测框区域的颜色直方图，并采用线性插值法进行均衡。

对于目标人体的检测框区域的每个像素点，求出其位置先验概率，由此得到一个前景的颜色模型P_g(c|fg)，对于背景则采用对前景求补的方式获得，记为P_g(c|bg)；

则某一个颜色为c的像素属于部件g的后验概率就可以由贝叶斯公式求得，如下式：

$P_g\left(fg\right|c)=\frac{P_g\left(c\right|fg)}{P_g\left(c\right|bg)+P_g\left(c\right|fg)}.$

在所述步骤(8)中，利用下面的外观传输公式将初始模型进行迭代更新，人体的某个部件t在更新后，获得的新的外观模型可以写作：

${\mathrm{Af}}_t^{TM}=\underset{g}{\&Sigma;}{\mathrm{\&omega;}}_{gf}{\mathrm{Af}}_g^{LP}$

其中，Af^LP是通过位置先验(LocationPrior，LP)获得的基于颜色特征的初始外观模型；ω_gf是部件g和部件t之间的混合权值。混合权值的获取方法为：将标记了stickmen的训练样本的外观模型与由外观传输机制获取的外观模型进行比对，使两者间的平方差最小，从而通过二次规划而获得全局最优解，所得的各个部件之间的混合权值如表1所示。由表中可以看出某些肢体相对于检测窗口，位置十分固定；而某些肢体虽然位置很难确定，但是可以通过与其相关联的肢体求得具体的位置，如后臂的位置可以通过躯干的位置进一步优化得到；而某些部分的位置信息更难确定，但是也可以从其他的部分获取到重要的信息，从而确定它在检测框中的具体位置，如前臂。表1为混合权值的数值。

表1混合权值

在所述步骤(9)中，经过迭代更新所获得的最终人体的外观模型给出了人体各个部件的位置后验信息，然后采用霍夫形态特征提取算法对其特征进一步提取，用于异常行为的分类，具体流程见图5。首先采用Hough变换将人体各个部件表示成直线，其中包括头部，躯干和手臂，即通过局部峰值点绘制直线，而峰值点的角度代表了肢体的方向，直线的交叉点用来确定关节的位置。在此规定，人体部件(头，躯干和前后手臂)的方向是通过表示部件的直线与水平直线之间的逆时针旋转角度计算的，范围则是-180度到180度之间。

在所述步骤(10)中，由霍夫形态特征提取算法得出的角度信息将与异常行为数据集进行比对，所得的相似度决定分类的结果。在此采用L₁范数作为基准，设定相似度的阈值，从而判定是否可疑。相似度τ计算公式为：

$\mathrm{\&tau;}=\underset{g}{\&Sigma;}|{\mathrm{\&theta;}}_g-{\mathrm{\&phi;}}_g|$

其中，θ_g代表测试图像中第g个肢体的角度，φ_g为异常行为数据集中相应的角度。如果匹配到任何一个可疑动作，则系统将给出相应的判定结果。异常行为数据包括常见的姿势，其中包括拳打，盗窃，拍击，抢劫和枪击。该系统不仅可以检测出人的异常行为，还能给出异常行为的具体信息。

L₁范数是指向量的各个元素的绝对值之和，向量在本申请中特指由算法所提取出的人体头部、躯干、左前臂、右前臂、左后臂和右后臂的6个角度与异常行为数据集中的角度作差值而得到的一组向量。并由这组向量得到的L₁范数来定义相似度τ，即公式为

Claims (10)

1.一种基于人体形态特征的多人异常行为识别方法，其特征在于，包括以下步骤：

(1)利用行人数据库中的行人样本的梯度信息，计算出一副人体的平均边缘轮廓图；

(2)以单元为最小单位将平均边缘轮廓图划分成网格，形成平均边缘网格轮廓图；

(3)采用尺度不等的矩形窗在网格上进行无重叠滑动，截取出一系列的滤波器，并去除冗余滤波器，组成最终用于行人检测的滤波器组，即行人检测器；

(4)输入待测图像，对输入的待测图像计算HOG和LUV特征上的特征通道，采用所述行人检测器计算每个通道的特征响应，并将得到的特征响应输入到已经训练好的Adaboost分类器中，得到行人候选框；

(5)采用非极大值抑制的方法，去除错误的行人候选框，获得最终行人的检测框；

(6)根据行人的检测框，最终得到准确的行人的位置信息；

(7)根据得到的人体位置信息，采用Grabcut算法进一步缩小人体的所在区域，从而得到人体各个部件的初始位置先验概率，计算出基于颜色特征的人体的初始外观模型；

(8)通过人体的外观传输公式，将所得初始外观模型更新优化，并获得最终的人体各个部件的位置信息；

(9)采用霍夫形态特征提取算法提取人体各个部件的形态学特征；

(10)将步骤(9)所得的形态学特征与异常样本库进行匹配，最终输出识别结果。

2.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于，在所述步骤(1)中，取行人数据库的人体样本，对每个人体样本计算其梯度信息；

将全部梯度图相加并求平均，得到一张人体平均边缘轮廓图；

所述平均边缘轮廓图被分为四个部分，分别为头、上身、下身和背景，各部分之间存在不同的纹理和颜色特征。

3.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于，在所述步骤(2)中，设定6×6像素为一个单位，将上述平均边缘轮廓图划分为网格，即人体平均边缘轮廓网格图。

4.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于：在所述步骤(3)中，设定一系列的尺度如下式：

S＝{(w,h)|w≤w_m,h≤h_m,w,h∈N⁺}

其中w和h分别表示滑动矩形框的宽和高，即包含的单元数；w_m,和h_m用于限定滑动窗口的最大宽和最大高，S表示矩形框的尺度，N⁺表示正整数。

5.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于：在所述步骤(3)中，每个滤波器根据所包含网格单元的内容为网格单元分配不同的权值，权值的设定根据滑动窗口中覆盖的内容分为两种情况：1)当窗口中只覆盖了两个部分时，则将头覆盖的单元设值为1，背景覆盖的单元设值为0；2)当窗口覆盖了三个部分时，则将上身覆盖的网格单元的权值设值为-1，下身覆盖的网格单元的权值设值为+1，背景覆盖的网格单元的权值设值为0；

由此，得到一组滤波器组，定义式如下：

F＝{(x,y,s,W)|x,y∈N,s∈S,W∈R²}

其中，x和y表示矩形框的位置坐标，s是S尺度集合中的元素，W为所求的权值的矩阵，R为实数。

6.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于：在所述步骤(4)中，对于检测器中任意一个滤波器f在任意一个通道k上的特征响应通过下式来计算：

其中i＝1,2,...,h，j＝1,2,...,w；σ(i,j,k)为网格单元(i,j)在通道k上的权值总和；

W_avg表示平均权重矩阵，其中n_add和n_sub分别表示单元权值+1和-1出现的频率；sgn(W)是一个函数，其功能是：当W<0时，返回值为-1，当W>0时，返回值为1。

7.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于：在所述步骤(7)中，

定义位置先验概率LP_I为下式：

LP_I(a,b)∈[0,1]

上式是指像素点坐标(a,b)被肢体覆盖到的先验概率，坐标(a,b)表示在目标检测框中的位置，通过映射训练图像中的棍状标记到所求的目标人体检测窗口中，并采用最大似然估计学习方法得到位置先验概率；

由位置先验概率求出初始的人体外观模型，即通过所求的位置先验概率LP_I(a,b)对像素点进行加权，得到一个检测框区域的颜色直方图，并采用线性插值法进行均衡。

8.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于：在所述步骤(8)中，利用下面的外观传输公式将初始模型进行迭代更新，人体的某个部件t在更新后，获得的新的外观模型可以写作：

其中，Af^LP是通过位置先验获得的基于颜色特征的初始外观模型；ω_gf是部件g和部件t之间的混合权值。

9.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于：在所述步骤(9)中，首先采用Hough变换将人体各个部件表示成直线，包括头部，躯干和手臂，即通过局部峰值点绘制直线，峰值点的角度代表肢体的方向，直线的交叉点用来确定关节的位置，人体部件的方向通过表示部件的直线与水平直线之间的逆时针旋转角度计算，范围则是-180度到180度之间。

10.根据权利要求1所述的基于人体形态特征的多人异常行为识别方法，其特征在于：在所述步骤(10)中，相似度τ计算公式为：

其中，θ_g代表测试图像中第g个肢体的角度，φ_g为异常行为数据集中相应的角度，如果匹配到任何一个可疑动作，则给出相应的判定结果。