CN109460702B - 基于人体骨架序列的乘客异常行为识别方法 - Google Patents

Abstract

本发明公开了一种基于人体骨架序列的乘客异常行为识别方法，包括步骤：1)通过摄像头拍摄扶梯区域监控视频图像；2)通过SVM检测乘客人脸并用KCF对其跟踪，得到乘客在扶梯中的运动轨迹；3)利用OpenPose深度学习网络从图像中提取人体骨架；4)将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列；5)通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列；6)利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为。通过本发明可以基于人体骨架序列准确实时地识别扶梯中乘客的多种异常行为，根据异常行为类别控制扶梯的运行情况，避免安全事故的发生。

Description

基于人体骨架序列的乘客异常行为识别方法

技术领域

本发明涉及图像处理及行为识别的技术领域，尤其是指一种基于人体骨架序列的乘客异常行为识别方法。

背景技术

智能视频监控系统凭借其成本低廉，准确稳定的特点，在公共场所的安全防范领域中越来越受到重视。人的异常行为识别是智能视频监控系统其中一个重要应用，其通过视频序列检测并跟踪运动目标，对目标行为进行分析，检测出异常行为片段，进而识别异常行为类别。乘客搭乘扶梯时，摔倒、攀爬扶手带、探头探手等异常行为会造成严重的安全事故问题，因此，应用智能视频监控系统准确稳定地识别各种异常行为并及时监控处理具有重要意义，吸引了国内外学者进行相关的研究。

传统异常行为识别只能在单一简单的环境中进行几类特定动作的识别，在复杂环境下容易受环境干扰导致识别率降低，目前已有的算法不能在复杂环境中实时准确地检测并识别出多种异常行为。通过摄像头拍摄扶梯区域的监控视频图像，通过支持向量机(Support Vector Machine,SVM)检测乘客人脸并用改进的核相关滤波器(KernelizedCorrelation Filter,KCF)对其跟踪，构建乘客在扶梯中的运动轨迹，进而基于OpenPose深度学习网络得到轨迹中乘客的人体骨架序列，再应用骨架方向余弦通过模板匹配从中检测出异常行为骨架序列，最后，利用动态时间规整(Dynamic Time Warping,DTW)匹配识别各类异常行为，并将异常行为识别结果传送到扶梯控制器，控制扶梯的运行。目前为止，国内针对手扶梯电梯应用场景的实时乘客行为识别技术研究较少，鉴于智能视频监控系统相对人工监控在实时性和稳定性中具有较大的优势，应加快并推广相应技术的研发，让先进的技术受惠于民。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于人体骨架序列的乘客异常行为识别方法，实时、稳定、准确地识别手扶电梯上乘客的多种异常行为。

为实现上述目的，本发明所提供的技术方案为：基于人体骨架序列的乘客异常行为识别方法，包括以下步骤：

1)通过摄像头拍摄扶梯区域监控视频图像；

2)通过支持向量机SVM检测乘客人脸并用核相关滤波KCF对其跟踪，得到乘客在扶梯中的运动轨迹；

3)利用OpenPose深度学习网络从图像中提取人体骨架；

4)将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列；

5)通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列；

6)利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为。

在步骤1)中，通过安装在扶梯上楼层板天花板的摄像头拍摄扶梯区域监控视频图像，摄像头方向朝向扶梯中部，安装时调整摄像头的倾斜角度，使监控区域刚好囊括整个扶梯。

在步骤2)中，通过SVM检测乘客人脸并用KCF对其跟踪，得到乘客在扶梯中的运动轨迹，扶梯中的乘客运动轨迹构建问题本质是多目标跟踪，通过对搭乘扶梯的所有乘客进行连续跟踪，构建得到各位乘客在扶梯中的运动轨迹，由于扶梯区域狭小，客流密集时容易出现由于乘客拥挤而导致的人体相互遮挡情况，因此选择不容易发生遮挡且具有明显形状特征的乘客人脸作为检测和跟踪对象，并基于人脸目标构建乘客在扶梯中的运动轨迹，包括以下步骤：

2.1)基于SVM检测乘客人脸位置

使用基于可变形组建模型(Deformable Part Model，DPM)特征的SVM分类器进行乘客人脸检测，DPM特征计算图像局部区域的梯度方向直方图，定义细胞单元大小为8×8像素大小的矩形块，计算矩形块的梯度方向直方图，然后分别与对角线邻域的四个Cell进行归一化操作，再将特征矩阵行列相加得到32维的特征向量，检测人脸时，提取原始图像的DPM特征图，分别和训练好的8×8分辨率的根滤波器和4×4分辨率大小的组件滤波器进行卷积操作计算DPM响应值，利用训练好的SVM人脸分类器进行人脸检测，SVM是一种二分类模型，其基于统计学习理论构建一个最优分类超平面，使样本正确地分开且离超平面最近的正负样本到超平面的距离是最大的；

已知训练集样本T＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)},x_i∈R^d，y_i∈{+1，-1}，其中x_i为第i个训练样本，y_i为第i个样本标签，N为样本个数，d为特征维数，当正负样本线性可分时，则存在一个超平面：

ω^Tx+b＝0，ω∈R^d

其中，ω为权值向量，b为偏移系数，正确划分N个样本，求解最优分类超平面，可转化为不等式约束下的优化问题：

s.t y_i[ω^Tx_i+b]-1≥0,i＝1,2,…,N

并通过拉格朗日法求解该问题的对偶问题从而找到该问题的解，然而乘客人脸分类属于非线性问题，需对原空间非线性可分的特征x通过非线性变换

转化为高维空间线性可分特征，引入核函数一步到位计算新特征的内积和，避免单独计算复杂的非线性变换新特征，本文采用径向基核函数：

其中，σ为方差参数，此外，考虑到个别样本不能被正确划分，为每个样本引入松弛变量：

ξ_i,i＝1,2,…,N

引入松弛变量且对特征进行非线性变换后的拉格朗日对偶问题变为：

0≤α_i≤C，i＝1,2,…,N

其中，α为拉格朗日向量，α_i,α_j为拉格朗日乘子，C是一个常量超参数，C值越小，代表对错误分类样本的容忍度越大，对偶问题的最优解为α_i ^*，i＝1,2,…,N，训练得到最优超平面决策函数为：

其中偏差系数b^*通过式子：

求解，检测时，若决策函数大于0，则检测得到乘客人脸；

2.2)利用KCF跟踪乘客人脸位置

利用SVM人脸分类器检测扶梯中的乘客人脸时，误差来源主要有以下三个部分，一是在光照不均匀、阴影存在、等环境因素的干扰下，会出现漏检或误检的情况，二是当乘客频繁进出或乘客拥挤造成相互遮挡时，会出现漏检情况，三是人脸分类器性能有限，造成漏检或误检情况，因此，检测得到乘客人脸后，利用判别式模型跟踪方法KCF跟踪乘客人脸，将跟踪结果与人脸检测结果进行匹配，矫正人脸漏检与误检情况，与其它生成式模型跟踪方法不同，KCF不需要通过对目标运动过程建模来进行目标跟踪，而是采用判别与跟踪相结合的方式，以当前帧目标为正样本，目标周围背景作为负样本，利用脊回归通过最小二乘法训练目标分类器，并用训练好的分类器在下一帧图像中寻找目标的最优预估位置作为目标在下一帧的跟踪位置，KCF使用目标周围背景信息，有效地提高了跟踪精度，且将目标和周围背景样本组合成循环矩阵，利用傅里叶空间中循环矩阵可对角化的性质，大幅度地提高了跟踪速度；

2.3)利用匈牙利算法匹配人脸检测与跟踪结果

利用KCF对上一帧的人脸检测目标进行跟踪，将上一帧的人脸跟踪目标与当前帧的人脸检测目标进行匹配，可更新检测目标的检测置信度，修正人脸检测结果，在此基础上，实现相邻帧对应乘客人脸目标的匹配跟踪，得到乘客在扶梯中的运动轨迹，将上一帧M_t个人脸跟踪框中心点T记为：

其中，t_i为第i个人脸跟踪框中心点位置，当前帧N_d个人脸检测框中心点D记为：

其中，d_i为第i个人脸检测框中心点位置，需要基于欧氏距离对两组点进行一对一匹配，使得总距离c：

最小

其中，c_i为d_i到某个人脸跟踪框的距离，为了最小化总距离c，可通过匈牙利算法进行匹配，将待匹配的两组点看成是一个二分图，以边上两点的欧氏距离的导数作为边的权值，实现带权最大匹配，即在保证两组点一对一配对的情况下使匹配边的权值最大，匹配完成后，判断匹配点之间的欧氏距离是否大于最大匹配阈值，若是则取消匹配点的匹配状态；

修正匹配结果后，将匹配成功的上一帧人脸跟踪目标和当前帧人脸检测目标的对数记为L，表示L个目标在上一帧及当前帧中均被分类器检测得到，匹配失败的上一帧人脸跟踪目标数目为M_t-L，表示由于当前帧分类器漏检或目标离开检测区域导致M_t-L个目标在当前帧检测不到，匹配失败的当前帧人脸检测目标数目为N_d-L，表示由于当前帧分类器误检或目标进入检测区域导致N_d-L个目标在上一帧检测不到，针对人脸分类器出现漏检的情况，需要将M_t-L个匹配失败的上一帧人脸跟踪目标新增到当前帧的人脸检测目标序列中，即用上一帧M_t-L个目标的跟踪值当作是目标在当前帧的检测值；

2.4)计算目标检测置信度模型，修正乘客目标位置

为了对分类器漏检和误检情况进行修正，需要为每个乘客人脸目标建立检测置信度模型，根据当前帧人脸目标的检测置信度修正人脸分类器的检测结果，更新当前帧人脸检测目标的检测置信度时，将L个匹配成功的目标的连续检测帧数MD加一，连续丢失帧数NMD置零，提高其检测置信度，初始化N_d-L个匹配失败的目标，将其检测置信度置零，MD和NMD均置零，将新增的M_t-L个目标的MD置零，NMD加一，降低其检测置信度，最后，按照以下公式对当前帧目标的检测置信度进行更新：

CF_i＝CF_i-1+MD²-NMD³

其中，CF_i和CF_i-1分别是乘客目标在第i帧和第i-1帧的检测置信度，当目标的检测置信度小于保留阈值，将该目标删除，记录修正后的乘客人脸检测目标在每一帧的位置，即可按时间顺序连接得到乘客在扶梯中的运动轨迹，轨迹从乘客进入扶梯开始构建，离开扶梯或乘客发生异常行为后停止构建。

在步骤3)中，利用OpenPose深度学习网络从图像中提取人体骨架，具体如下：

人体二维姿态估计需要寻找人体关键点建立动作特征模型，而人体各个身体部位的关节点作为关键点能够很好地反映人的动作姿势，目前的姿态估计方法可分为自上而下和自下而上的方法，自上而下进行姿态估计先从图像中检测出每个人，再分别对单人进行姿态估计，该方法受限于行人检测器的性能，且人越多计算越耗时，自下而上进行姿态估计不需要行人检测且计算耗时与人数无关，但却没有利用行人整体与其所属部位这一关联信息，需采用其他方法将行人部位关联到整体，针对自下而上这一问题，OpenPose深度学习网络采用了一种自下而上进行实时多人姿态估计的改进方法，提出部分亲和字段(PartAffinity Fields，PAFs)对人体部位关键点关联进行明确的非参数表示，PAFs是一组二维向量字段的集合，每段身体骨骼对应一幅PAFs图，与原图大小一致，图中的每一点是一个二维向量，即水平方向和竖直方向分量，其编码了一段骨骼的位置和方向，利用PAFs可将属于一个行人整体的身体部位关节点连接起来，提取乘客二维骨架；

训练时，首先利用卷积神经网络生成一组特征图集合F，卷积神经网络采用VGG-19的前10层进行初始化，然后输入到模型第一阶段，该阶段包含两个分支，第一分支利用卷积神经网络产生一组身体关节置信图S¹，第二分支利用CNN产生一组PAFs图L¹，从第二阶段开始，阶段t输入前一阶段的S^t-1和L^t-1，并输入F监督阶段中间结果，利用CNN产生S^t和L^t，再利用L₂范数计算每个阶段预测得到的S^t和L^t与实际值之间的损失函数，并累加得到总损失函数，迭代训练整个模型，优化总损失函数，最后模型收敛训练结束；

检测时，输入图像通过训练好的模型输出预测得到的一系列关节点置信图和骨骼PAFs图，然后将人体两两关节点最优连接问题转化为最大权值二分图匹配问题，将待匹配关节点作为二分图中的节点，将PAFs作为二分图中边的权值，利用贪心解析算法，提取每个人的二维人体骨架，提取得到的人体二维骨架包括鼻子、颈、左肩、左肘、左腕、左髋、左膝盖、左脚踝、右肩、右肘、右腕、右髋、右膝盖、右脚踝共14个人体关节点和由其相连而成的13段人体骨骼。

在步骤4)中，将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列，具体如下：

动作特征模型是指从图像中抽取具有代表性的特征来表征人体动作行为，相对于其它动作特征，人体骨架特征能够直观地反映人体头部及四肢的动作，有效地描述人体行为，在此基础上将人体骨架按时间顺序组合成人体骨架序列能符合行为的动态特性，能更准确地描述乘客的行为；

利用OpenPose深度学习能够自下而上地提取人体骨架，但自下而上的骨架提取方式割裂了乘客整体和乘客骨架的联系，为建立人体骨架序列，需要将两者进行匹配重新建立两者的联系，匹配规则为当人体骨架的鼻子包含于某个乘客的人脸跟踪框时，则对两者进行匹配，将骨架匹配到对应的乘客，乘客轨迹构建结束后，得到该乘客在轨迹中的人体骨架序列SK为：

其中

为乘客在运动轨迹中按时间顺序提取得到的第m_sk个骨架。

在步骤5)中，通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列，具体如下：

乘客异常行为识别的识别对象是乘客的异常行为骨架序列，因此，需要从乘客人体骨架序列中检测出异常行为骨架，按时间顺序依次组合得到异常行为骨架序列；

乘客搭乘扶梯时的正常行为通常是站立在扶梯上，双手自然放在身体两侧，抬头望向前方，相对于异常行为具有比较明显的特性，因此，根据正常行为的特性，在扶梯不同环境多个运行阶段中，选取远近不一的不同乘客，制作20个正常行为模板，分别与乘客人体骨架序列中的骨架进行模板匹配，检测出骨架序列中的异常行为骨架，为了适应人体距离远近和个体体型差异造成的大小变化，进行模板匹配时，分别提取乘客骨架和模板骨架的人体姿态特征向量，然后基于向量的欧氏距离计算两者的匹配相似度，若乘客骨架与所有模板骨架的匹配相似度均大于正常阈值，则判断为正常行为骨架，否则，判断为异常行为骨架，若乘客骨架连续3帧以上判断为异常骨架，则检测出异常行为；

计算骨架的人体姿态特征向量时，将人体骨架的13段骨骼看作是包含13个二维向量元素的序列：

J＝{J¹,J²,…,J¹³}

其中J^m为由起始关节点B^m与终止关节点E^m相连而成的第m段骨骼，骨骼向量起点坐标为

为起点横坐标，

为起点纵坐标，终点坐标为

为终点横坐标，

为终点纵坐标，水平方向角为α^m，竖直方向角为β^m，骨骼向量表示为

水平方向余弦值和竖直方向的余弦值分别为：

依次计算13个骨骼向量的水平和竖直方向余弦值，排列得到一个26维的特征向量：

{cosα¹,cosβ¹,…,cosα¹³,cosβ¹³}

将其作为人体姿态特征，进而计算待匹配骨架SK_D和模板骨架SK_T的匹配相似度O(SK_D,SK_T)为：

其中，

是待匹配骨架第i段骨骼的方向余弦值，

为模板骨架第i段骨骼的方向余弦值。

在步骤6)中，利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为，具体如下：

异常行为识别是基于乘客异常行为骨架序列进行异常行为识别，当乘客检测出异常行为，且异常骨架序列中的帧数大于25，或者乘客骨架连续1帧以上判断为正常骨架且异常行为骨架序列中的帧数大于等于6，或者乘客被删除且异常行为骨架序列中的帧数大于等于6，若符合以上三种情况中的任意一个，则将异常骨架序列与各类异常行为骨架序列模板进行DTW匹配，选出匹配度最高的模板对应的异常行为作为识别结果，进行异常行为识别；

乘客搭乘扶梯过程中，发生的异常行为种类有限，因此，可以将乘客异常行为识别问题转化为模板匹配问题，将乘客的异常行为骨架序列与各类异常行为骨架序列模板进行匹配，计算匹配相似度，选出匹配相似度最高的模板对应的异常行为作为乘客异常行为识别结果，传统的基于序列之间欧式距离的匹配相似度计算方法要求两段序列长度相等，由于个体的差异性，人体动作行为有快有慢，导致待识别的异常行为骨架序列具有不同的长度，与异常行为模板序列的长度不一致，其中，序列长度为序列中包含的骨架个数，在此情况下不能基于欧氏距离计算两个序列间的匹配相似度，利用DTW基于动态规划(dynamicprogramming,DP)的思想把序列进行部分延伸，使两段序列长度相等，再计算序列间的欧氏距离得到两个序列间的匹配相似度，设两段序列分别为X_s和Y_s，对应长度为|X_s|和|Y_s|，通过延伸部分序列后得到规整路径：

其中，K_s是规整路径的长度，每个元素w^k是一个二维向量

表示X_s中的第

个元素和Y_s中的第

个元素进行匹对，DTW对规整路径有三个限制条件，一是路径起始点为w¹＝(1,1)，结束点为

以保证X_s和Y_s的每个点都出现在W中，二是满足单调性条件，即

和

以保证序列从前往后匹对，三是满足梯级大小条件，即w^k+1-w^k∈{(1,0),(0,1),(1,1)}，以保证序列逐个元素匹对，满足上述限制条件后，计算规整路径中每个匹对点的欧氏距离，累加得到规整路径距离，规整路径距离越小，两段序列的匹配度越高，可利用动态规划来求解距离最短的规整路径，递归公式为：

D(i,j)＝Dist(i,j)+min{D(i-1,j),D(i,j-1),D(i-1,j-1)}

其中Dist(i,j)表示X中第i个坐标到Y中第j个坐标的欧氏距离，D(i,j)表示以(1,1)为起点，(i,j)为终点的最短规整路径距离，多次递归最终得到两段序列X_s和Y_s的距离最短规整路径D(|X_s|,|Y_s|)，以此计算两段序列的匹配度；

设r为通过DTW算法延伸后的两段序列长度，针对待匹配骨架序列：

其中

为待匹配序列中第i个骨架，和模板骨架序列：

其中

为模板序列中第i个骨架，基于DTW计算两者的匹配相似度O_SK为：

经实际观察，乘客搭乘扶梯时，发生的异常行为主要有向前摔倒、向后摔倒、攀爬扶手带、往扶梯外探头和往扶梯外探手五种异常行为，其他种类的异常行为都可归类到上述五种行为之中，因此，制作异常行为骨架序列模板时，为以上五种行为每种制作10个模板，并综合考虑匹配计算时间、序列长度范围、匹配准确度等因素，统一每个模板序列长度，每个模板序列中的骨架为从具有代表性的异常行为序列中按时间顺序均匀采样。

本发明与现有技术相比，具有如下优点与有益效果：

本发明可以通过摄像头对手扶电梯区域进行在线监控，准确稳定地构建乘客在手扶电梯中的运动轨迹，利用深度学习方法在复杂环境中提取人体骨架，进而基于人体骨架序列识别扶梯中乘客的异常行为，根据异常行为类别控制扶梯的运行情况，避免安全事故的发生。此外，本发明方法是一种端到端实时的多人异常行为识别方法，可以实时处理摄像头拍摄得到的扶梯区域视频图像，得到不同乘客的异常行为识别结果，及时地处理扶梯中发生的安全事故。

附图说明

图1为本发明方法的流程图。

图2为本发明中摄像头的安装位置示意图。

图3为人脸分类器检测结果图。

图4为匈牙利算法匹配示意图。

图5为乘客轨迹构建结果。

图6为人体二维骨架提取效果图。

图7为人体骨架骨骼向量示意图。

图8为向前摔倒异常行为的识别效果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所提供的基于人体骨架序列的乘客异常行为识别方法，首先通过SVM检测乘客人脸并用KCF对其跟踪，得到乘客在扶梯中的运动轨迹，接着利用OpenPose深度学习网络从图像中提取人体骨架，然后将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列，通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列，最后利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为，方法流程图如图1所示，其具体情况如下：

1)通过摄像头拍摄扶梯区域监控视频图像

通过安装在扶梯上楼层板天花板的摄像头拍摄扶梯区域监控视频图像，摄像头方向朝向扶梯中部，安装时调整摄像头的倾斜角度，使监控区域刚好囊括整个扶梯，摄像头安装位置示意图如图2所示。

2)通过SVM检测乘客人脸并用KCF对其跟踪，得到乘客在扶梯中的运动轨迹；

通过SVM检测乘客人脸并用KCF对其跟踪，得到乘客在扶梯中的运动轨迹，扶梯中的乘客运动轨迹构建问题本质是多目标跟踪，通过对搭乘扶梯的所有乘客进行连续跟踪，构建得到各位乘客在扶梯中的运动轨迹，由于扶梯区域狭小，客流密集时容易出现由于乘客拥挤而导致的人体相互遮挡情况，因此选择不容易发生遮挡且具有明显形状特征的乘客人脸作为检测和跟踪对象，并基于人脸目标构建乘客在扶梯中的运动轨迹，包括以下步骤：

2.1)基于SVM检测乘客人脸位置

使用基于DPM特征的SVM分类器进行乘客人脸检测，DPM特征计算图像局部区域的梯度方向直方图，定义细胞单元大小为8×8像素大小的矩形块，计算矩形块的梯度方向直方图，然后分别与对角线邻域的四个Cell进行归一化操作，再将特征矩阵行列相加得到32维的特征向量，检测人脸时，提取原始图像的DPM特征图，分别和训练好的8×8分辨率的根滤波器和4×4分辨率大小的组件滤波器进行卷积操作计算DPM响应值，利用训练好的SVM人脸分类器进行人脸检测，SVM是一种二分类模型，其基于统计学习理论构建一个最优分类超平面，使样本正确地分开且离超平面最近的正负样本到超平面的距离是最大的；

已知训练集样本T＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)},x_i∈R^d，y_i∈{+1，-1}，其中x_i为第i个训练样本，y_i为第i个样本标签，N为样本个数，d为特征维数，当正负样本线性可分时，则存在一个超平面：

ω^Tx+b＝0，ω∈R^d

其中，ω为权值向量，b为偏移系数，正确划分N个样本，求解最优分类超平面，可转化为不等式约束下的优化问题：

s.t y_i[ω^Tx_i+b]-1≥0,i＝1,2,…,N

并通过拉格朗日法求解该问题的对偶问题从而找到该问题的解，然而乘客人脸分类属于非线性问题，需对原空间非线性可分的特征x通过非线性变换

转化为高维空间线性可分特征，引入核函数一步到位计算新特征的内积和，避免单独计算复杂的非线性变换新特征，本文采用径向基核函数：

其中，σ为方差参数，此外，考虑到个别样本不能被正确划分，为每个样本引入松弛变量：

ξ_i,i＝1,2,…,N

引入松弛变量且对特征进行非线性变换后的拉格朗日对偶问题变为：

0≤α_i≤C，i＝1,2,…,N

其中，α为拉格朗日向量，α_i,α_j为拉格朗日乘子，C是一个常量超参数，C值越小，代表对错误分类样本的容忍度越大，训练时，正样本为包含在900张图片中的2752个乘客人脸样本，负样本通过对900张图片随机截取背景区域进行生成，设置滑动检测窗口为80×80分辨率，松弛系数为1，采用径向基核函数，最大风险间隔为0.01，最大迭代次数为200，通过不断迭代优化风险间隔得到SVM人脸分类器，当风险间隔小于预设阈值时停止训练，得到对偶问题的最优解为α_i ^*，i＝1,2,…,N，训练得到最优超平面决策函数为：

其中，偏差系数b^*通过式子：

求解，检测时，若决策函数大于0，则检测得到乘客人脸，图3为人脸分类器检测结果图，人脸检测结果用圆形框标记；

2.2)利用KCF跟踪乘客人脸位置

利用SVM人脸分类器检测扶梯中的乘客人脸时，误差来源主要有以下三个部分，一是在光照不均匀、阴影存在、等环境因素的干扰下，会出现漏检或误检的情况，二是当乘客频繁进出或乘客拥挤造成相互遮挡时，会出现漏检情况，三是人脸分类器性能有限，造成漏检或误检情况，因此，检测得到乘客人脸后，利用判别式模型跟踪方法KCF跟踪乘客人脸，将跟踪结果与人脸检测结果进行匹配，矫正人脸漏检与误检情况，与其它生成式模型跟踪方法不同，KCF不需要通过对目标运动过程建模来进行目标跟踪，而是采用判别与跟踪相结合的方式，以当前帧目标为正样本，目标周围背景作为负样本，利用脊回归通过最小二乘法训练目标分类器，并用训练好的分类器在下一帧图像中寻找目标的最优预估位置作为目标在下一帧的跟踪位置，KCF使用目标周围背景信息，有效地提高了跟踪精度，且将目标和周围背景样本组合成循环矩阵，利用傅里叶空间中循环矩阵可对角化的性质，大幅度地提高了跟踪速度；

2.3)利用匈牙利算法匹配人脸检测与跟踪结果

利用KCF对上一帧的人脸检测目标进行跟踪，将上一帧的人脸跟踪目标与当前帧的人脸检测目标进行匹配，可更新检测目标的检测置信度，修正人脸检测结果，在此基础上，实现相邻帧对应乘客人脸目标的匹配跟踪，得到乘客在扶梯中的运动轨迹，将上一帧M_t个人脸跟踪框中心点T记为：

其中，t_i为第i个人脸跟踪框中心点位置，当前帧N_d个人脸检测框中心点D记为：

其中，d_i为第i个人脸检测框中心点位置，需要基于欧氏距离对两组点进行一对一匹配，使得总距离c：

最小

其中，c_i为d_i到某个人脸跟踪框的距离，为了最小化总距离c，可通过匈牙利算法进行匹配，将待匹配的两组点看成是一个二分图，以边上两点的欧氏距离的导数作为边的权值，实现带权最大匹配，即在保证两组点一对一配对的情况下使匹配边的权值最大，匹配完成后，判断匹配点之间的欧氏距离是否大于最大匹配阈值，若是则取消匹配点的匹配状态；

修正匹配结果后，将匹配成功的上一帧人脸跟踪目标和当前帧人脸检测目标的对数记为L，表示L个目标在上一帧及当前帧中均被分类器检测得到，匹配失败的上一帧人脸跟踪目标数目为M_t-L，表示由于当前帧分类器漏检或目标离开检测区域导致M_t-L个目标在当前帧检测不到，匹配失败的当前帧人脸检测目标数目为N_d-L，表示由于当前帧分类器误检或目标进入检测区域导致N_d-L个目标在上一帧检测不到，针对人脸分类器出现漏检的情况，需要将M_t-L个匹配失败的上一帧人脸跟踪目标新增到当前帧的人脸检测目标序列中，即用上一帧M_t-L个目标的跟踪值当作是目标在当前帧的检测值；

2.4)计算目标检测置信度模型，修正乘客目标位置

为了对分类器漏检和误检情况进行修正，需要为每个乘客人脸目标建立检测置信度模型，根据当前帧人脸目标的检测置信度修正人脸分类器的检测结果，更新当前帧人脸检测目标的检测置信度时，将L个匹配成功的目标的连续检测帧数MD加一，连续丢失帧数NMD置零，提高其检测置信度，初始化N_d-L个匹配失败的目标，将其检测置信度置零，MD和NMD均置零，将新增的M_t-L个目标的MD置零，NMD加一，降低其检测置信度，最后，按照以下公式对当前帧目标的检测置信度进行更新：

CF_i＝CF_i-1+MD²-NMD³

其中，CF_i和CF_i-1分别是乘客目标在第i帧和第i-1帧的检测置信度，当目标的检测置信度小于保留阈值，将该目标删除，记录修正后的乘客人脸检测目标在每一帧的位置，即可按时间顺序连接得到乘客在扶梯中的运动轨迹，轨迹从乘客进入扶梯开始构建，离开扶梯或乘客发生异常行为后停止构建，乘客在运动轨迹中的位置用人脸跟踪框的中心点表示，图5为乘客轨迹构建结果，用矩形框表示乘客在当前帧的人脸跟踪结果，用点序列表示乘客轨迹。

3)利用OpenPose深度学习网络从图像中提取人体骨架，具体如下：

人体二维姿态估计需要寻找人体关键点建立动作特征模型，而人体各个身体部位的关节点作为关键点能够很好地反映人的动作姿势，目前的姿态估计方法可分为自上而下和自下而上的方法，自上而下进行姿态估计先从图像中检测出每个人，再分别对单人进行姿态估计，该方法受限于行人检测器的性能，且人越多计算越耗时，自下而上进行姿态估计不需要行人检测且计算耗时与人数无关，但却没有利用行人整体与其所属部位这一关联信息，需采用其他方法将行人部位关联到整体，针对自下而上这一问题，OpenPose深度学习网络采用了一种自下而上进行实时多人姿态估计的改进方法，提出PAFS对人体部位关键点关联进行明确的非参数表示，PAFs是一组二维向量字段的集合，每段身体骨骼对应一幅PAFs图，与原图大小一致，图中的每一点是一个二维向量，即水平方向和竖直方向分量，其编码了一段骨骼的位置和方向，利用PAFs可将属于一个行人整体的身体部位关节点连接起来，提取乘客二维骨架；

训练时，首先利用卷积神经网络生成一组特征图集合F，卷积神经网络采用VGG-19的前10层进行初始化，然后输入到模型第一阶段，该阶段包含两个分支，第一分支利用卷积神经网络产生一组身体关节置信图S¹，第二分支利用CNN产生一组PAFs图L¹，从第二阶段开始，阶段t输入前一阶段的S^t-1和L^t-1，并输入F监督阶段中间结果，利用CNN产生S^t和L^t，再利用L₂范数计算每个阶段预测得到的S^t和L^t与实际值之间的损失函数，并累加得到总损失函数，迭代训练整个模型，优化总损失函数，最后模型收敛训练结束；

检测时，输入图像通过训练好的模型输出预测得到的一系列关节点置信图和骨骼PAFs图，然后将人体两两关节点最优连接问题转化为最大权值二分图匹配问题，将待匹配关节点作为二分图中的节点，将PAFs作为二分图中边的权值，利用贪心解析算法，提取每个人的二维人体骨架，提取得到的人体二维骨架包括鼻子、颈、左肩、左肘、左腕、左髋、左膝盖、左脚踝、右肩、右肘、右腕、右髋、右膝盖、右脚踝共14个人体关节点和由其相连而成的13段人体骨骼，图6为人体二维骨架提取效果图，其中关节点用实心圆形标记，骨骼用直线段表示。

4)将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列，具体如下：

动作特征模型是指从图像中抽取具有代表性的特征来表征人体动作行为，相对于其它动作特征，人体骨架特征能够直观地反映人体头部及四肢的动作，有效地描述人体行为，在此基础上将人体骨架按时间顺序组合成人体骨架序列能符合行为的动态特性，能更准确地描述乘客的行为；

利用OpenPose深度学习能够自下而上地提取人体骨架，但自下而上的骨架提取方式割裂了乘客整体和乘客骨架的联系，为建立人体骨架序列，需要将两者进行匹配重新建立两者的联系，匹配规则为当人体骨架的鼻子包含于某个乘客的人脸跟踪框时，则对两者进行匹配，将骨架匹配到对应的乘客，乘客轨迹构建结束后，得到该乘客在轨迹中的人体骨架序列SK为：

其中

为乘客在运动轨迹中按时间顺序提取得到的第m_sk个骨架。

5)通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列，具体如下：

乘客异常行为识别的识别对象是乘客的异常行为骨架序列，因此，需要从乘客人体骨架序列中检测出异常行为骨架，按时间顺序依次组合得到异常行为骨架序列，乘客搭乘扶梯时的正常行为通常是站立在扶梯上，双手自然放在身体两侧，抬头望向前方，相对于异常行为具有比较明显的特性，因此，根据正常行为的特性，在扶梯不同环境多个运行阶段中，选取远近不一的不同乘客，制作20个正常行为模板，分别与乘客人体骨架序列中的骨架进行模板匹配，检测出骨架序列中的异常行为骨架，为了适应人体距离远近和个体体型差异造成的大小变化，进行模板匹配时，分别提取乘客骨架和模板骨架的人体姿态特征向量，然后基于向量的欧氏距离计算两者的匹配相似度，若乘客骨架与所有模板骨架的匹配相似度均大于正常阈值，则判断为正常行为骨架，否则，判断为异常行为骨架，若乘客骨架连续3帧以上判断为异常骨架，则检测出异常行为；

计算骨架的人体姿态特征向量时，将人体骨架的13段骨骼看作是包含13个二维向量元素的序列：

J＝{J¹,J²,…,J¹³}

其中J^m为由起始关节点B^m与终止关节点E^m相连而成的第m段骨骼，骨骼向量起点坐标为

为起点横坐标，

为起点纵坐标，终点坐标为

为终点横坐标，

为终点纵坐标，水平方向角为α^m，竖直方向角为β^m，骨骼向量表示为

水平方向余弦值和竖直方向的余弦值分别为：

依次计算13个骨骼向量的水平和竖直方向余弦值，排列得到一个26维的特征向量：

{cosα¹,cosβ¹,…,cosα¹³,cosβ¹³}

将其作为人体姿态特征，进而计算待匹配骨架SK_D和模板骨架SK_T的匹配相似度O(SK_D,SK_T)为：

其中，

是待匹配骨架第i段骨骼的方向余弦值，

为模板骨架第i段骨骼的方向余弦值，图7为人体骨架骨骼向量示意图。

6)利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为，具体如下：

异常行为识别是基于乘客异常行为骨架序列进行异常行为识别，当乘客检测出异常行为，且异常骨架序列中的帧数大于25，或者乘客骨架连续1帧以上判断为正常骨架且异常行为骨架序列中的帧数大于等于6，或者乘客被删除且异常行为骨架序列中的帧数大于等于6，若符合以上三种情况中的任意一个，则将异常骨架序列与各类异常行为骨架序列模板进行DTW匹配，选出匹配度最高的模板对应的异常行为作为识别结果，进行异常行为识别；

乘客搭乘扶梯过程中，发生的异常行为种类有限，因此，可以将乘客异常行为识别问题转化为模板匹配问题，将乘客的异常行为骨架序列与各类异常行为骨架序列模板进行匹配，计算匹配相似度，选出匹配相似度最高的模板对应的异常行为作为乘客异常行为识别结果，传统的基于序列之间欧式距离的匹配相似度计算方法要求两段序列长度相等，由于个体的差异性，人体动作行为有快有慢，导致待识别的异常行为骨架序列具有不同的长度，与异常行为模板序列的长度不一致，其中，序列长度为序列中包含的骨架个数，在此情况下不能基于欧氏距离计算两个序列间的匹配相似度，利用DTW基于动态规划(dynamicprogramming,DP)的思想把序列进行部分延伸，使两段序列长度相等，再计算序列间的欧氏距离得到两个序列间的匹配相似度，设两段序列分别为X_s和Y_s，对应长度为|X_s|和|Y_s|，通过延伸部分序列后得到规整路径：

其中，K_s是规整路径的长度，每个元素w^k是一个二维向量

表示X_s中的第

个元素和Y_s中的第

个元素进行匹对，DTW对规整路径有三个限制条件，一是路径起始点为w¹＝(1,1)，结束点为

以保证X_s和Y_s的每个点都出现在W中，二是满足单调性条件，即

和

以保证序列从前往后匹对，三是满足梯级大小条件，即w^k+1-w^k∈{(1,0),(0,1),(1,1)}，以保证序列逐个元素匹对，满足上述限制条件后，计算规整路径中每个匹对点的欧氏距离，累加得到规整路径距离，规整路径距离越小，两段序列的匹配度越高，可利用动态规划来求解距离最短的规整路径，递归公式为：

D(i,j)＝Dist(i,j)+min{D(i-1,j),D(i,j-1),D(i-1,j-1)}

其中Dist(i,j)表示X中第i个坐标到Y中第j个坐标的欧氏距离，D(i,j)表示以(1,1)为起点，(i,j)为终点的最短规整路径距离，多次递归最终得到两段序列X_s和Y_s的距离最短规整路径D(|X_s|,|Y_s|)，以此计算两段序列的匹配度；

设r为通过DTW算法延伸后的两段序列长度，针对待匹配骨架序列：

其中

为待匹配序列中第i个骨架，和模板骨架序列：

其中

为模板序列中第i个骨架，基于DTW计算两者的匹配相似度O_SK为：

经实际观察，乘客搭乘扶梯时，发生的异常行为主要有向前摔倒、向后摔倒、攀爬扶手带、往扶梯外探头和往扶梯外探手五种异常行为，其他种类的异常行为都可归类到上述五种行为之中，因此，制作异常行为骨架序列模板时，为以上五种行为每种制作10个模板，并综合考虑匹配计算时间、序列长度范围、匹配准确度等因素，统一每个模板序列长度，每个模板序列中的骨架为从具有代表性的异常行为序列中按时间顺序均匀采样，其中，向前摔倒异常行为的识别效果图如图8所示，图中的圆点序列标记乘客在扶梯中的运动轨迹，直线段标记乘客的各段骨骼，fall over字样是乘客向前摔倒的英文表示。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.基于人体骨架序列的乘客异常行为识别方法，其特征在于：该方法主要是通过检测并跟踪搭乘手扶电梯的乘客，构建乘客在扶梯中的运动轨迹，并基于人体骨架序列识别乘客的异常行为，包括以下步骤：

1)通过摄像头拍摄扶梯区域监控视频图像；

2)通过支持向量机SVM检测乘客人脸并用核相关滤波KCF对其跟踪，得到乘客在扶梯中的运动轨迹；

3)利用OpenPose深度学习网络从图像中提取人体骨架，具体如下：

OpenPose深度学习网络采用了一种自下而上进行实时多人姿态估计的改进方法，提出部分亲和字段PAFs对人体部位关键点关联进行明确的非参数表示，PAFs是一组二维向量字段的集合，每段身体骨骼对应一幅PAFs图，与原图大小一致，图中的每一点是一个二维向量，即水平方向和竖直方向分量，其编码了一段骨骼的位置和方向，利用PAFs能够将属于一个行人整体的身体部位关节点连接起来，提取乘客二维骨架；

训练时，首先利用卷积神经网络生成一组特征图集合F，卷积神经网络采用VGG-19的前10层进行初始化，然后输入到模型第一阶段，该阶段包含两个分支，第一分支利用卷积神经网络产生一组身体关节置信图S¹，第二分支利用CNN产生一组PAFs图L¹，从第二阶段开始，阶段t输入前一阶段的S^t-1和L^t-1，并输入F监督阶段中间结果，利用CNN产生S^t和L^t，再利用L₂范数计算每个阶段预测得到的S^t和L^t与实际值之间的损失函数，并累加得到总损失函数，迭代训练整个模型，优化总损失函数，最后模型收敛训练结束；

检测时，输入图像通过训练好的模型输出预测得到的一系列关节点置信图和骨骼PAFs图，然后将人体两两关节点最优连接问题转化为最大权值二分图匹配问题，将待匹配关节点作为二分图中的节点，将PAFs作为二分图中边的权值，利用贪心解析算法，提取每个人的二维人体骨架，提取得到的人体二维骨架包括鼻子、颈、左肩、左肘、左腕、左髋、左膝盖、左脚踝、右肩、右肘、右腕、右髋、右膝盖、右脚踝共14个人体关节点和由其相连而成的13段人体骨骼；

4)将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列；

5)通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列；

6)利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为。

2.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤1)中，通过安装在扶梯上楼层板天花板的摄像头拍摄扶梯区域监控视频图像，摄像头方向朝向扶梯中部，安装时调整摄像头的倾斜角度，使监控区域刚好囊括整个扶梯。

3.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤2)中，通过SVM检测乘客人脸并用KCF对其跟踪，得到乘客在扶梯中的运动轨迹，扶梯中的乘客运动轨迹构建问题本质是多目标跟踪，通过对搭乘扶梯的所有乘客进行连续跟踪，构建得到各位乘客在扶梯中的运动轨迹，由于扶梯区域狭小，客流密集时容易出现由于乘客拥挤而导致的人体相互遮挡情况，因此选择不容易发生遮挡且具有明显形状特征的乘客人脸作为检测和跟踪对象，并基于人脸目标构建乘客在扶梯中的运动轨迹，包括以下步骤：

2.1)基于SVM检测乘客人脸位置

使用基于可变形组建模型DPM特征的SVM分类器进行乘客人脸检测，DPM特征计算图像局部区域的梯度方向直方图，定义细胞单元大小为8×8像素大小的矩形块，计算矩形块的梯度方向直方图，然后分别与对角线邻域的四个Cell进行归一化操作，再将特征矩阵行列相加得到32维的特征向量，检测人脸时，提取原始图像的DPM特征图，分别和训练好的8×8分辨率的根滤波器和4×4分辨率大小的组件滤波器进行卷积操作计算DPM响应值，利用训练好的SVM人脸分类器进行人脸检测，SVM是一种二分类模型，其基于统计学习理论构建一个最优分类超平面，使样本正确地分开且离超平面最近的正负样本到超平面的距离是最大的；

已知训练集样本T＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)},x_i∈R^d，y_i∈{+1，-1}，其中x_i为第i个训练样本，y_i为第i个样本标签，N为样本个数，d为特征维数，当正负样本线性可分时，则存在一个超平面：

ω^Tx+b＝0，ω∈R^d

其中，ω为权值向量，b为偏移系数，正确划分N个样本，求解最优分类超平面，转化为不等式约束下的优化问题：

s.t y_i[ω^Tx_i+b]-1≥0,i＝1,2,…,N

并通过拉格朗日法求解该问题的对偶问题从而找到该问题的解，然而乘客人脸分类属于非线性问题，需对原空间非线性可分的特征x通过非线性变换

转化为高维空间线性可分特征，引入核函数一步到位计算新特征的内积和，避免单独计算复杂的非线性变换新特征，采用径向基核函数：

其中，σ为方差参数，此外，考虑到个别样本不能被正确划分，为每个样本引入松弛变量：

ξ_i,i＝1,2,…,N

引入松弛变量且对特征进行非线性变换后的拉格朗日对偶问题变为：

0≤α_i≤C，i＝1,2,…,N

其中，α为拉格朗日向量，α_i,α_j为拉格朗日乘子，C是一个常量超参数，C值越小，代表对错误分类样本的容忍度越大，对偶问题的最优解为α_i ^*，i＝1,2,…,N，训练得到最优超平面决策函数为：

其中，偏差系数b^*通过式子：

求解，检测时，若决策函数大于0，则检测得到乘客人脸；

2.2)利用KCF跟踪乘客人脸位置

检测得到乘客人脸后，利用判别式模型跟踪方法KCF跟踪乘客人脸，将跟踪结果与人脸检测结果进行匹配，矫正人脸漏检与误检情况，与其它生成式模型跟踪方法不同，KCF不需要通过对目标运动过程建模来进行目标跟踪，而是采用判别与跟踪相结合的方式，以当前帧目标为正样本，目标周围背景作为负样本，利用脊回归通过最小二乘法训练目标分类器，并用训练好的分类器在下一帧图像中寻找目标的最优预估位置作为目标在下一帧的跟踪位置，KCF使用目标周围背景信息，有效地提高了跟踪精度，且将目标和周围背景样本组合成循环矩阵，利用傅里叶空间中循环矩阵可对角化的性质，大幅度地提高了跟踪速度；

2.3)利用匈牙利算法匹配人脸检测与跟踪结果

利用KCF对上一帧的人脸检测目标进行跟踪，将上一帧的人脸跟踪目标与当前帧的人脸检测目标进行匹配，可更新检测目标的检测置信度，修正人脸检测结果，在此基础上，实现相邻帧对应乘客人脸目标的匹配跟踪，得到乘客在扶梯中的运动轨迹，将上一帧M_t个人脸跟踪框中心点T记为：

其中，t_i为第i个人脸跟踪框中心点位置，当前帧N_d个人脸检测框中心点D记为：

其中，d_i为第i个人脸检测框中心点位置，需要基于欧氏距离对两组点进行一对一匹配，使得总距离c：

最小

其中，c_i为d_i到某个人脸跟踪框的距离，为了最小化总距离c，可通过匈牙利算法进行匹配，将待匹配的两组点看成是一个二分图，以边上两点的欧氏距离的导数作为边的权值，实现带权最大匹配，即在保证两组点一对一配对的情况下使匹配边的权值最大，匹配完成后，判断匹配点之间的欧氏距离是否大于最大匹配阈值，若是则取消匹配点的匹配状态；

修正匹配结果后，将匹配成功的上一帧人脸跟踪目标和当前帧人脸检测目标的对数记为L，表示L个目标在上一帧及当前帧中均被分类器检测得到，匹配失败的上一帧人脸跟踪目标数目为M_t-L，表示由于当前帧分类器漏检或目标离开检测区域导致M_t-L个目标在当前帧检测不到，匹配失败的当前帧人脸检测目标数目为N_d-L，表示由于当前帧分类器误检或目标进入检测区域导致N_d-L个目标在上一帧检测不到，针对人脸分类器出现漏检的情况，需要将M_t-L个匹配失败的上一帧人脸跟踪目标新增到当前帧的人脸检测目标序列中，即用上一帧M_t-L个目标的跟踪值当作是目标在当前帧的检测值；

2.4)计算目标检测置信度模型，修正乘客目标位置

为了对分类器漏检和误检情况进行修正，需要为每个乘客人脸目标建立检测置信度模型，根据当前帧人脸目标的检测置信度修正人脸分类器的检测结果，更新当前帧人脸检测目标的检测置信度时，将L个匹配成功的目标的连续检测帧数MD加一，连续丢失帧数NMD置零，提高其检测置信度，初始化N_d-L个匹配失败的目标，将其检测置信度置零，MD和NMD均置零，将新增的M_t-L个目标的MD置零，NMD加一，降低其检测置信度，最后，按照以下公式对当前帧目标的检测置信度进行更新：

CF_i＝CF_i-1+MD²-NMD³

其中，CF_i和CF_i-1分别是乘客目标在第i帧和第i-1帧的检测置信度，当目标的检测置信度小于保留阈值，将该目标删除，记录修正后的乘客人脸检测目标在每一帧的位置，即可按时间顺序连接得到乘客在扶梯中的运动轨迹，轨迹从乘客进入扶梯开始构建，离开扶梯或乘客发生异常行为后停止构建。

4.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤4)中，将人体骨架匹配到相应的乘客轨迹，构建乘客的人体骨架序列，具体如下：

动作特征模型是指从图像中抽取具有代表性的特征来表征人体动作行为，相对于其它动作特征，人体骨架特征能够直观地反映人体头部及四肢的动作，有效地描述人体行为，在此基础上将人体骨架按时间顺序组合成人体骨架序列能符合行为的动态特性，能更准确地描述乘客的行为；

利用OpenPose深度学习能够自下而上地提取人体骨架，但自下而上的骨架提取方式割裂了乘客整体和乘客骨架的联系，为建立人体骨架序列，需要将两者进行匹配重新建立两者的联系，匹配规则为当人体骨架的鼻子包含于某个乘客的人脸跟踪框时，则对两者进行匹配，将骨架匹配到对应的乘客，乘客轨迹构建结束后，得到该乘客在轨迹中的人体骨架序列SK为：

其中

为乘客在运动轨迹中按时间顺序提取得到的第m_sk个骨架。

5.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤5)中，通过模板匹配从乘客人体骨架序列中检测得到异常行为骨架序列，具体如下：

乘客异常行为识别的识别对象是乘客的异常行为骨架序列，因此，需要从乘客人体骨架序列中检测出异常行为骨架，按时间顺序依次组合得到异常行为骨架序列；

乘客搭乘扶梯时的正常行为通常是站立在扶梯上，双手自然放在身体两侧，抬头望向前方，相对于异常行为具有明显的特性，因此，根据正常行为的特性，在扶梯不同环境多个运行阶段中，选取远近不一的不同乘客，制作20个正常行为模板，分别与乘客人体骨架序列中的骨架进行模板匹配，检测出骨架序列中的异常行为骨架，为了适应人体距离远近和个体体型差异造成的大小变化，进行模板匹配时，分别提取乘客骨架和模板骨架的人体姿态特征向量，然后基于向量的欧氏距离计算两者的匹配相似度，若乘客骨架与所有模板骨架的匹配相似度均大于正常阈值，则判断为正常行为骨架，否则，判断为异常行为骨架，若乘客骨架连续3帧以上判断为异常骨架，则检测出异常行为；

计算骨架的人体姿态特征向量时，将人体骨架的13段骨骼看作是包含13个二维向量元素的序列：

J＝{J¹,J²,…,J¹³}

其中J^m为由起始关节点B^m与终止关节点E^m相连而成的第m段骨骼，骨骼向量起点坐标为

为起点横坐标，

为起点纵坐标，终点坐标为

为终点横坐标，

为终点纵坐标，水平方向角为α^m，竖直方向角为β^m，骨骼向量表示为

水平方向余弦值和竖直方向的余弦值分别为：

依次计算13个骨骼向量的水平和竖直方向余弦值，排列得到一个26维的特征向量：

{cosα¹,cosβ¹,…,cosα¹³,cosβ¹³}

将其作为人体姿态特征，进而计算待匹配骨架SK_D和模板骨架SK_T的匹配相似度O(SK_D,SK_T)为：

其中，

是待匹配骨架第i段骨骼的方向余弦值，

为模板骨架第i段骨骼的方向余弦值。

6.根据权利要求1所述的基于人体骨架序列的乘客异常行为识别方法，其特征在于：在步骤6)中，利用DTW将其与各类异常行为骨架序列模板匹配，识别异常行为，具体如下：

异常行为识别是基于乘客异常行为骨架序列进行异常行为识别，当乘客检测出异常行为，且异常骨架序列中的帧数大于25，或者乘客骨架连续1帧以上判断为正常骨架且异常行为骨架序列中的帧数大于等于6，或者乘客被删除且异常行为骨架序列中的帧数大于等于6，若符合以上三种情况中的任意一个，则将异常骨架序列与各类异常行为骨架序列模板进行DTW匹配，选出匹配度最高的模板对应的异常行为作为识别结果，进行异常行为识别；

乘客搭乘扶梯过程中，发生的异常行为种类有限，因此，将乘客异常行为识别问题转化为模板匹配问题，将乘客的异常行为骨架序列与各类异常行为骨架序列模板进行匹配，计算匹配相似度，选出匹配相似度最高的模板对应的异常行为作为乘客异常行为识别结果，利用DTW基于动态规划DP的思想把序列进行部分延伸，使两段序列长度相等，再计算序列间的欧氏距离得到两个序列间的匹配相似度，设两段序列分别为X_s和Y_s，对应长度为|X_s|和|Y_s|，通过延伸部分序列后得到规整路径：

其中，K_s是规整路径的长度，每个元素w^k是一个二维向量

表示X_s中的第

个元素和Y_s中的第

个元素进行匹对，DTW对规整路径有三个限制条件，一是路径起始点为w¹＝(1,1)，结束点为

以保证X_s和Y_s的每个点都出现在W中，二是满足单调性条件，即

和

以保证序列从前往后匹对，三是满足梯级大小条件，即w^k+1-w^k∈{(1,0),(0,1),(1,1)}，以保证序列逐个元素匹对，满足上述限制条件后，计算规整路径中每个匹对点的欧氏距离，累加得到规整路径距离，规整路径距离越小，两段序列的匹配度越高，可利用动态规划来求解距离最短的规整路径，递归公式为：

D(i,j)＝Dist(i,j)+min{D(i-1,j),D(i,j-1),D(i-1,j-1)}

其中Dist(i,j)表示X中第i个坐标到Y中第j个坐标的欧氏距离，D(i,j)表示以(1,1)为起点，(i,j)为终点的最短规整路径距离，多次递归最终得到两段序列X_s和Y_s的距离最短规整路径D(|X_s|,|Y_s|)，以此计算两段序列的匹配度；

设r为通过DTW算法延伸后的两段序列长度，针对待匹配骨架序列：

其中

为待匹配序列中第i个骨架，和模板骨架序列：

其中

为模板序列中第i个骨架，基于DTW计算两者的匹配相似度O_SK为：

经实际观察，乘客搭乘扶梯时，发生的异常行为主要有向前摔倒、向后摔倒、攀爬扶手带、往扶梯外探头和往扶梯外探手五种异常行为，其它种类的异常行为都能够归类到上述五种行为之中，因此，制作异常行为骨架序列模板时，为以上五种行为每种制作10个模板，并综合考虑匹配计算时间、序列长度范围、匹配准确度因素，统一每个模板序列长度，每个模板序列中的骨架为从具有代表性的异常行为序列中按时间顺序均匀采样。

Images