CN109359536A - 基于机器视觉的乘客行为监控方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的乘客行为监控方法，包括步骤：1)乘客搭乘手扶电梯视频图像采集；2)提取可变形组件模型DPM特征描述乘客人脸；3)利用SVM对手扶电梯乘客人脸进行检测；4)利用KCF对手扶电梯乘客人脸进行跟踪；5)使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果；6)建立人脸目标检测强度模型，修正人脸检测结果；7)通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为。通过本发明方法可以实时、稳定、准确地检测并跟踪搭乘手扶电梯的乘客人脸目标，基于人脸目标信息进行行为监控。

Description

基于机器视觉的乘客行为监控方法

技术领域

本发明涉及图像处理及行为识别的技术领域，尤其是指一种基于机器视觉的乘客行为监控方法。

背景技术

智能视频监控系统具有全天候可靠监控、监控准确度高、响应处理速度快、视频资源多效使用等明显优势。随着近年来公共场所的安全问题越趋突出，建设平安城市的呼声越来越高，具有多种明显优势的智能视频监控系统越来越受到政府部门和城市居民的关注，因此，应用智能视频监控系统准确稳定地监控运动目标行为，及时发现安全问题具有重要意义，吸引众多学者对此进行相关研究。

目前为止，国内针对手扶梯电梯应用场景的乘客行为监控方法大多为人工监控方法，但这种方法存在人力成本高、监控效果不稳定的弊端，因此，发明一种基于机器视觉的乘客行为监控方法，通过安装在手扶电梯上楼层板正上方的摄像头实时监控并采集手扶电梯区域图像，利用训练得到的支持向量机(Support Vector Machine，SVM)人脸分类器从输入图像中实时准确地检测手扶电梯区域中的乘客人脸，再通过核相关滤波(KernelizedCorrelation Filter,KCF)人脸跟踪和一种改进的最近邻匹配方法匹配更新人脸目标的检测强度，修正人脸检测结果，最后，基于人脸目标监控乘客行为，实现客流统计、拥挤检测、异常动作检测等监控任务。

综合以上所述，利用机器学习和图像处理知识，来实现手扶电梯乘客行为监控，让先进的技术和平民百姓生产生活相辅相成，让此技术受惠于民，具有较高的实际应用价值。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于机器视觉的乘客行为监控方法，实时、稳定、准确地检测并跟踪搭乘手扶电梯的乘客人脸目标，基于人脸目标信息进行行为监控。

为实现上述目的，本发明所提供的技术方案为：基于机器视觉的乘客行为监控方法，包括以下步骤：

1)乘客搭乘手扶电梯视频图像采集；

2)提取可变形组件模型(Deformable Part Model，DPM)特征描述乘客人脸；

3)利用支持向量机(Support Vector Machine，SVM)对手扶电梯乘客人脸进行检测；

4)利用核相关滤波(Kernelized Correlation Filter,KCF)对手扶电梯乘客人脸进行跟踪；

5)使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果；

6)建立人脸目标检测强度模型，修正人脸检测结果；

7)通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为。

在步骤1)中，采用分辨率为1280*720的USB广角摄像头从斜上方往下采集扶梯区域图像，以减少乘客脸部被遮挡的不良影响，摄像头倾斜安装在与手扶电梯楼层板水平且距离楼层板约4m的支架上，倾斜角度与扶梯一致，摄像头方向朝向扶梯中部，使其拍摄范围覆盖手扶电梯的整个区域，且能够清楚地拍摄到搭乘手扶电梯的乘客。

在步骤2)中，利用DPM特征描述乘客人脸，对搭乘手扶电梯的乘客人脸进行特征提取，包括以下步骤：

2.1)标准化颜色空间

对RGB图像每个颜色通道进行平方根Gamma压缩，Gamma压缩公式为：

H(x,y)＝H(x,y)^Gamma

其中Gamma为压缩因子，取Gamma值为0.5，H(x,y)为像素点(x,y)的像素值；

2.2)计算图像每个像素点的梯度

使用简单的一维离散微分模板[-1，0,1]和[-1，0,1]^T对图像做卷积运算，计算图像梯度，对于RGB图像，分别计算每个颜色通道的梯度，以范数最大者作为该点的梯度向量，手扶电梯图像中每个像素点H(x,y)的梯度是一个向量：

其中，G_x(x,y)为像素点(x,y)在水平方向上的梯度，G_y(x,y)为像素点(x,y)在垂直方向上的梯度，分别为：

梯度的幅值和方向分别为：

其中，G(x,y)为梯度的幅值，为梯度的方向；

2.3)提取整幅图像的DPM特征

DPM在HOG的基础上进行改进，DPM在检测人脸的同时，还对五官进行检测，而HOG只检测人脸整体，所以DPM能够综合整体和局部的特征，使检测精度更高，DPM是可变形组件模型，由三部分组成：分别是一个较为粗糙覆盖整个目标的根滤波器，几个高分辨率的组件滤波器和组件滤波器相对于根滤波器的空间位置，建立人脸模型时，根滤波器用来捕获脸的边界这些粗糙信息，组件滤波器可以捕获眼镜、鼻子、嘴这些细节信息，DPM采用改进的HOG特征，也做作FHOG特征，其只保留HOG的细胞单元，而块则用其他的归一化操作代替，计算细胞单元里的像素的梯度，按照梯度方向符号敏感每隔20度划分一个bin，得到18维的特征向量，按照梯度方向符号不敏感每隔20度划分一个bin，得到9为的特征向量，将该细胞单元分别与左上角，右上角，左下角，右下角的细胞单元做归一化，得到4×18和4×9的特征矩阵，将矩阵每行每列的元素进行累加，最终得到32维的特征向量，DPM特征的漏检率与HOG差不多，但是误检率几乎没有；

2.4)计算DPM响应图

对于任意一张输入图像，提取其DPM特征图，然后将原始图像进行高斯金字塔上采样，然后提取其DPM特征图，对于原始图像的DPM特征图和训练好的8×8分辨率的根滤波器做卷积操作，从而得到根滤波器的响应图，对于2倍图像的DPM特征图，和训练好的4×4分辨率大小的组件滤波器做卷积操作，从而得到组件滤波器的响应图，然后对其精细高斯金字塔的下采样操作，这样根滤波器的响应图和组件滤波器的响应图就具有相同的分辨率了，然后将两者进行加权平均，得到最终的DPM响应图，响应图中像素值的公式如下：

其中，x₀，y₀，l₀分别为锚点的横坐标、纵坐标和尺度，为根滤波器的响应分数，为组件滤波器的响应分数，λ为滤波器尺度偏差，b为不同滤波器组件之间的偏移系数，v_i为锚点和理想检测点之间的偏移系数；

组件滤波器的详细响应得分D_i,l(x,y)公式如下：

其中，x，y为训练的理想滤波器的位置，R_i,l(x+dx,y+dy)为组件滤波器的匹配得分，dx为横坐标偏差，dy为纵坐标偏差，d_i·φ_d(dx,dy)为组件的偏移损失得分，d_i为偏移损失系数，φ_d(dx,dy)为组件滤波器的锚点和组件滤波器的检测点之间的距离；

2.5)滑动扫描图片检测乘客人脸

设置扫描窗口大小为80*80，对原图像以五分之六的比率进行金字塔下采样，即每次采样缩小成上一层图像的五分之六，最下层为原图，往上逐层递减，构成多层的图像金字塔，当采样得到的图像小于扫描窗口时停止下采样，通过设置固定大小的扫描窗口和构造多层的图像金字塔，即可达到在不同空间尺度上检测人脸的目的。

在步骤3)中，利用SVM对手扶电梯乘客人脸进行检测，包括以下步骤：

3.1)寻找DPM特征滤波器的位置

训练时，数据集中只标注了整个乘客人脸目标的位置，没有标注出DPM特征所需要的每个组件滤波器的位置，所以将组件的位置看做隐藏变量，使用SVM进行模型训练，训练时同时估计组件滤波器的位置和学习模型参数，利用动态规划和距离变换方法找到组件滤波器的最佳位置，然后保持组件滤波器位置不变，通过解决标准SVM问题通过凸二次规划最优化模型参数；

3.2)利用非线性SVM分类器进行乘客人脸检测

SVM是支持向量机，是在特征空间上间隔最大的线性分类器，学习策略是间隔最大化。SVM由简至繁分为3种模型，分别是线性可分支持向量机，线性支持向量机和非线性支持向量机，其中，线性可分SVM针对线性可分的训练数据，采用硬间隔最大化的策略，相对于感知机采用误分类最小的策略得到无穷多个分离超平面，线性可分SVM得到唯一的最优分离超平面，以最大化几何间隔作为目标函数，所有样本点到分离超平面的带符号距离不小于集合间隔为约束函数，并转换成函数间隔的表示形式，最后得到SVM原始问题，然后利用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，线性SVM针对近似线性可分的训练数据，近似线性可分样本中包含一些特异点，其函数间隔不满足大于等于1的约束条件，因此，在线性可分SVM的基础上，采用软间隔最大化策略，解决特异点导致的线性不可分问题，为每个样本点引入松弛变量，非线性SVM针对线性不可分的训练数据，在线性SVM的基础上，采用核技巧和软间隔最大化策略，核技巧使用核函数，使得在低维输入空间利用核函数学习非线性SVM，等价于在高维特征空间学习线性SVM，核函数表示输入样本在高维特征空间中特征向量的内积，最后，针对SVM凸二次规划问题的对偶问题，可利用序列最小最优化算法进行求解，其原理是将原问题分解为多个小问题，使得每个小问题的解更接近于原问题的解，非线性SVM的对偶问题为：

0≤α_i≤C，i＝1,2,…,N

其中，N为样本数，α_i为拉格朗日乘子，α为拉格朗日乘子向量，该问题的最优解α_i ^*可通过求二次优化问题求解，其中x_i为第i个训练样本，是d维向量，y_i是第i个训练样本的标签，+1代表正样本，-1代表负样本，C是一个常量超参数，C值越小，代表对错误分类样本的容忍度越大，反之，代表对错误分类样本的容忍度越小，是非线性变换函数，可采用径向基(RBF)核函数表示：

该核函数作为非线性SVM的核函数，得到对偶问题的解后，即可得到原问题最终解：

其中，ω_i ^*为决策函数的权重系数，支持向量机的决策函数可写成：

其中，偏差系数b可通过以下式子来求解：

在步骤4)中，利用KCF对手扶电梯乘客人脸进行跟踪，具体如下：

相对于生成模型跟踪方法通过对目标区域建模预测下一帧的目标位置，KCF基于机器学习理论，充分利用图像背景信息，以当前帧目标区域为正样本，背景区域为负样本进行分类器模型的训练，并用训练好的模型在下一帧图像寻找最优区；

训练时，以前一帧乘客人脸目标样本为正样本，利用循环移位得到的目标周围样本为负样本，其中，离目标样本越近的样本正样本可能性越大，将训练样本x_kcf写成循环矩阵X的形式，利用循环矩阵在傅里叶空间中可对角化的性质，将运算过程中涉及的大量矩阵运算转化为矩阵点乘运算，大大降低运算量。利用岭回归训练目标检测器，通过最小二乘法求最优解，针对非线性问题，引入高斯核函数通过非线性变换φ(·)将原空间特征映射到高维新空间，决策函数为f(x_kcf)：

f(x_kcf)＝ω_kcf ^Tφ(x_kcf)

其中ω_kcf为权重系数，原问题的最优解ω_kcf ^*可表示为：

其中y_kcf为样本标签，λ_kcf为正则项系数，影响函数泛化能力，利用拉格朗日求解对偶问题得到原问题的最优解为：

ω_kcf ^*＝φ(X)^T(φ(X)φ(X)^T+λ_kcfI)^-1y_kcf

其中，I为单位对角矩阵，测试时，在前一帧目标周围通过循环矩阵采集测试样本，代入到上一帧得到的决策函数中，最大响应对应的测试样本即为在当前帧KCF跟踪得到的乘客目标区域。

在步骤5)中，使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果，具体如下：

当新乘客进入扶梯后，检测得到乘客人脸，然后利用步骤4)的KCF跟踪器对人脸检测目标进行持续跟踪，每隔一段时间，利用步骤2)提取图像的DPM特征，然后利用步骤3)的SVM分类器重新进行人脸检测矫正人脸跟踪目标，消除累积跟踪误差，再继续对矫正后的目标进行持续跟踪，重复该过程，直至乘客离开扶梯或发生异常行为，该乘客跟踪过程结束，在跟踪过程中，扶梯乘客跟踪是多目标跟踪，需要对前后两帧的对应乘客跟踪目标进行匹配，确定前后两帧同一个乘客目标，对乘客进行跟踪，在进行乘客人脸检测时，也需要对检测目标与跟踪目标进行匹配，矫正乘客跟踪目标的位置；

改进的最近邻目标匹配是对待匹配序列中的每个目标，分别基于欧氏距离匹配原有序列中与其最近邻的目标，进而得到待匹配序列和原有序列成功匹配的目标数，假设待匹配序列为：

其中，a_m为第m个元素，元素个数为M_a，原有序列为：

其中，b_n为第n个元素，元素个数为N_b，计算待匹配序列的每一个目标a_m到原有序列中所有目标的欧氏距离，找到a_m的最近邻目标b_n，若两者距离dist(a_m,b_n)满足：

dist(a_m,b_n)≤distT

其中distT是自适应阈值，为两个目标平均长度乘上0.6，则a_m成功匹配b_n，否则，a_m匹配失败，通过最近邻目标匹配后，待匹配序列的匹配成功目标数ML和原有序列的匹配成功目标数NL存在两种情况，若ML等于NL，待匹配序列和原有序列成功匹配的目标一一对应，匹配目标数L＝ML＝NL，若ML大于NL，待匹配序列中多个目标重复匹配原有序列中的同一个目标，应当从待匹配序列多个匹配目标中选出与原有序列匹配目标距离最近的一个目标，保持匹配状态，并取消其余目标的匹配状态，若两者距离相等，则保持检测置信度高的那个目标的匹配状态，并删除另一个目标，修正后，待匹配序列和原有序列成功匹配的目标一一对应，匹配目标数L＝NL。

在步骤6)中，建立人脸目标检测强度模型，修正人脸检测结果，具体如下：

运动目标检测强度衡量乘客跟踪过程中，运动目标被检测为乘客人脸的可能性，该值越大，运动目标是乘客人脸的可能性越大，每帧更新运动目标检测强度，根据当前帧是否进行人脸检测，分两种情况进行讨论，当进行人脸检测时，以长度为M的人脸跟踪目标序列为待匹配序列，长度为N的人脸检测目标序列为原有序列，进行最近邻目标匹配，将人脸跟踪目标序列中匹配成功的L个目标位置更新为对应的L个检测目标位置并提高其检测强度，再降低匹配失败的M-L个目标的检测强度，并保持其位置不变，最后将人脸检测目标序列中匹配失败的N-L个目标作为新目标添加到人脸跟踪目标序列并赋予初始的检测强度，当进行人脸跟踪时，以当前帧人脸跟踪目标序列为待匹配序列，上一帧人脸跟踪目标序列为原有序列，进行最近邻目标匹配，将上一帧匹配失败的N-L个目标添加到当前帧人脸跟踪目标序列并保持其位置不变，若当前帧的跟踪目标位置与前5帧的跟踪目标位置小于滞留阈值，则代表跟踪的是背景而不是运动的乘客，则降低目标的检测强度，最后，判断乘客的人脸检测置信度是否小于删除阈值，若是，则将该乘客删除，修正人脸检测结果，按以下公式更新运动目标的检测强度：

CF_i＝CF_i-1+FD²-NFD³-0.1×NFT

其中，CF_i和CF_i-1分别是乘客目标在第i帧和第i-1帧的检测强度，运动目标被连续检测的帧数为FD，连续未被检测的帧数为NFD，连续未被跟踪的帧数为NFT。

在步骤7)中，通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为，具体如下：

设每隔t帧进行乘客行为监控，乘客在第k帧的检测强度为CF_k，人脸框长度为L_k，人脸框中心为P_k＝(x_k,y_k)，x_k为中心横坐标，y_k为中心纵坐标，帧率为fps，则运动速度v_k、速度大小|v_k|、速度方向θ_k分别为：

v_k＝P_k-P_k-t＝(x_k-x_k-t,y_k-y_k-t)

乘客目标行为包括三种，分别是：客流统计、拥挤检测和异常动作检测，具体判断方法如下：

①客流统计

对一段时间内搭乘扶梯的乘客人数进行统计，可有效分析该时间段内乘客的出行情况，进行客流统计时，检测经过扶梯入口区域的乘客，并根据乘客人脸的检测强度来防止乘客误检导致的统计错误，设T_ps为对乘客进行统计的人脸检测强度阈值，若乘客满足：

其中，Ts为乘客在扶梯入口区域出现的最低要求次数，Area_in为扶梯入口区域，定义符号“∈”表示一点在某个区域内，则认为乘客进入了扶梯，客流数加一；

②拥挤检测

对搭乘扶梯过程中乘客的拥挤情况进行检测，可分析某一时刻的乘客密集程度，进行乘客拥挤检测时，首先根据乘客与其他人的距离和检测强度判断是否处于拥挤情况，若满足：

其中，T_cr为拥挤情况下的人脸检测强度阈值，T_dist为拥挤距离系数，dist_min为与其他乘客的最近距离，则认为乘客处于拥挤情况，若处于拥挤情况的乘客数目大于等于3人，则检测到第k帧出现乘客拥挤情况；

③异常动作检测

乘客搭乘扶梯时的正常状态是站立在扶梯上，速度大小与方向和扶梯一致，且人脸检测强度较大，若乘客在一段时间内的速度和人脸检测强度均与正常状态相差较大，则检测到乘客发生异常动作，乘客处于异常状态时的人脸检测强度、速度大小、速度方向需满足以下条件：

其中，T_nm为正常人脸检测强度阈值，|v_nm|、θ_nm分别为乘客搭乘扶梯时的正常速度大小和方向，T_v、T_θ分别为异常与正常状态速度大小和方向的区分阈值。

本发明与现有技术相比，具有如下优点与有益效果：

本发明应用场景主要是地铁站、办公楼和百货商场等公共场所的手扶电梯，可以对手扶电梯区域进行端到端实时在线监控，精确稳定地监控搭乘手扶电梯区域中乘客的行为，行为包括客流统计、拥挤检测和异常动作检测，进而将监控结果通过通讯装置及时反馈到手扶电梯控制台，判断扶梯区域是否出现安全隐患，根据行为类别启动相应的安全事故应急方案，最大化地避免安全事故的发生。

附图说明

图1为本发明方法的流程框图。

图2为本发明中摄像头的安装位置示意图。

图3为摄像头采集得到的扶梯监控区域原始图像。

图4为乘客人脸的DPM响应图。

图5为基于SVM分类器的乘客人脸检测结果图。

图6为扶梯客流统计效果图。

图7为扶梯乘客拥挤检测效果图。

图8为扶梯乘客异常动作检测效果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所提供的基于机器视觉的乘客行为监控方法，首先利用DPM描述子和SVM分类器检测乘客人脸，用KCF跟踪乘客人脸，然后使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果，接着建立人脸目标检测强度模型，修正人脸检测结果，最后通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为，流程框图如图1所示，其具体情况如下：

1)乘客搭乘手扶电梯视频图像采集

采用分辨率为1280*720的USB广角摄像头从斜上方往下采集扶梯区域图像，以减少乘客脸部被遮挡的不良影响，摄像头倾斜安装在与手扶电梯楼层板水平且距离楼层板约4m的支架上，倾斜角度与扶梯一致，摄像头方向朝向扶梯中部，使其拍摄范围覆盖手扶电梯的整个区域，且能够清楚地拍摄到搭乘手扶电梯的乘客，安装方式如图2所示，采集的乘客搭乘手扶电梯原始视频图像如图3所示。

2)提取DPM特征描述乘客人脸

利用DPM特征描述子对搭乘手扶电梯的乘客人脸进行特征提取，乘客人脸具有显著的形状特征，且不易受人体动作形变和人员密集程度等因素的干扰，方便后续SVM分类器检测和KCF跟踪，因此选取乘客人脸作为目标对象，包括以下步骤：

2.1)标准化颜色空间

对RGB图像每个颜色通道进行平方根Gamma压缩，Gamma压缩公式为：

H(x,y)＝H(x,y)^Gamma

其中Gamma为压缩因子，取Gamma值为0.5，H(x,y)为像素点(x,y)的像素值；

2.2)计算图像每个像素点的梯度

使用简单的一维离散微分模板[-1，0,1]和[-1，0,1]^T对图像做卷积运算，计算图像梯度，对于RGB图像，分别计算每个颜色通道的梯度，以范数最大者作为该点的梯度向量，手扶电梯图像中每个像素点H(x,y)的梯度是一个向量：

其中，G_x(x,y)为像素点(x,y)在水平方向上的梯度，G_y(x,y)为像素点(x,y)在垂直方向上的梯度，分别为：

梯度的幅值和方向分别为：

其中，G(x,y)为梯度的幅值，为梯度的方向；

2.3)提取整幅图像的DPM特征

DPM是HOG特征的改进，DPM特征只保留了HOG特征中的细胞单元(Cell)，而用于归一化操作的块(Block)则用另外的归一化操作来代替，定义Cell的大小为8*8的像素大小，将该Cell与位于其正上方、正左方和左上方的Cell做归一化操作，计算归一化后的Cell里的所有像素的梯度方向及梯度幅度，将0到360度每隔20度划分为一个bin区间，划分得到18个bin的梯度方向直方图，令每个像素的梯度方向以梯度幅值大小为权重加权投影到相应的bin区间中，这样即得到18维的特征向量，其对梯度方向符号敏感，然后将360度分成两个180度，每个0到180度均每隔20度划分为一个bin区间，划分得到9个bin的梯度方向直方图，令每个像素的梯度方向以梯度幅值大小为权重加权投影到相应的bin区间，得到9维的特征向量，其对梯度方向符号不敏感，然后分别将该Cell与位于其正上方、正右方和右上角的Cell做归一化，位于正下方、正右方和右下角的Cell做归一化，位于正下方、正左方和左下角的Cell做归一化，从而得到另外三个归一化的Cell，重复第一个归一化的Cell的梯度方向直方图计算操作，总共得到4*18维对梯度方向敏感的特征向量和4*9维对方向不敏感的特征向量，将其看作4*18的矩阵和4*9的矩阵，4*18的矩阵每列中的元素进行累加，得到DPM特征的前18维特征，4*9的矩阵每行和每列中的元素进行累加，得到DPM特征的后13维特征，最后在末尾添加一个0，补足得到一个32维的特征向量，即为每个Cell的DPM特征向量，对整幅图像划分成若干个Cell，并依次提取DPM特征，即可得到整幅图像的DPM特征；

2.4)计算DPM响应图

对于任意一张输入图像，提取其DPM特征图，然后将原始图像进行高斯金字塔上采样，然后提取其DPM特征图，对于原始图像的DPM特征图和训练好的8×8分辨率的根滤波器做卷积操作，从而得到根滤波器的响应图，对于2倍图像的DPM特征图，和训练好的4×4分辨率大小的组件滤波器做卷积操作，从而得到组件滤波器的响应图，然后对其精细高斯金字塔的下采样操作，这样根滤波器的响应图和组件滤波器的响应图就具有相同的分辨率了，然后将两者进行加权平均，得到最终的DPM响应图，乘客人脸的DPM响应图如图4所示，响应图中像素值的公式如下：

其中，x₀，y₀，l₀分别为锚点的横坐标、纵坐标和尺度，为根滤波器的响应分数，为组件滤波器的响应分数，λ为滤波器尺度偏差，b为不同滤波器组件之间的偏移系数，v_i为锚点和理想检测点之间的偏移系数；

组件滤波器的详细响应得分公式如下：

其中，x，y为训练的理想滤波器的位置，R_i,l(x+dx,y+dy)为组件滤波器的匹配得分，dx为横坐标偏差，dy为纵坐标偏差，d_i·φ_d(dx,dy)为组件的偏移损失得分，d_i为偏移损失系数，φ_d(dx,dy)为组件滤波器的锚点和组件滤波器的检测点之间的距离；

2.5)滑动扫描图片检测乘客人脸

设置扫描窗口大小为80*80，对原图像以五分之六的比率进行金字塔下采样，即每次采样缩小成上一层图像的五分之六，最下层为原图，往上逐层递减，构成多层的图像金字塔，当采样得到的图像小于扫描窗口时停止下采样，通过设置固定大小的扫描窗口和构造多层的图像金字塔，即可达到在不同空间尺度上检测人脸的目的。

3)利用SVM对手扶电梯乘客人脸进行检测

利用SVM对手扶电梯乘客人脸进行检测，包括以下步骤：

3.1)寻找DPM特征滤波器的位置

训练时，数据集中只标注了整个乘客人脸目标的位置，没有标注出DPM特征所需要的每个组件滤波器的位置，所以将组件的位置看做隐藏变量，使用SVM进行模型训练，训练时同时估计组件滤波器的位置和学习模型参数，利用动态规划和距离变换方法找到组件滤波器的最佳位置，然后保持组件滤波器位置不变，通过解决标准SVM问题通过凸二次规划最优化模型参数；

3.2)利用非线性SVM分类器进行乘客人脸检测

SVM是支持向量机，是在特征空间上间隔最大的线性分类器，学习策略是间隔最大化。SVM由简至繁分为3种模型，分别是线性可分支持向量机，线性支持向量机和非线性支持向量机，其中，线性可分SVM针对线性可分的训练数据，采用硬间隔最大化的策略，相对于感知机采用误分类最小的策略得到无穷多个分离超平面，线性可分SVM得到唯一的最优分离超平面，以最大化几何间隔作为目标函数，所有样本点到分离超平面的带符号距离不小于集合间隔为约束函数，并转换成函数间隔的表示形式，最后得到SVM原始问题，然后利用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，线性SVM针对近似线性可分的训练数据，近似线性可分样本中包含一些特异点，其函数间隔不满足大于等于1的约束条件，因此，在线性可分SVM的基础上，采用软间隔最大化策略，解决特异点导致的线性不可分问题，为每个样本点引入松弛变量，非线性SVM针对线性不可分的训练数据，在线性SVM的基础上，采用核技巧和软间隔最大化策略，核技巧使用核函数，使得在低维输入空间利用核函数学习非线性SVM，等价于在高维特征空间学习线性SVM，核函数表示输入样本在高维特征空间中特征向量的内积，最后，针对SVM凸二次规划问题的对偶问题，可利用序列最小最优化算法进行求解，其原理是将原问题分解为多个小问题，使得每个小问题的解更接近于原问题的解，非线性SVM的对偶问题为：

0≤α_i≤C，i＝1,2,…,N

其中，N为样本数，α_i为拉格朗日乘子，α为拉格朗日乘子向量，该问题的最优解α_i ^*可通过求二次优化问题求解，其中x_i为第i个训练样本，是d维向量，y_i是第i个训练样本的标签，+1代表正样本，-1代表负样本，C是一个常量超参数，约束松弛变量的大小，C值越小，代表对错误分类样本的容忍度越大，反之，代表对错误分类样本的容忍度越小，是非线性变换函数，可采用径向基(RBF)核函数表示：

该核函数作为非线性SVM的核函数，得到对偶问题的解后，即可得到原问题最终解：

其中，ω_i ^*为决策函数的权重系数，支持向量机的决策函数可写成：

其中，偏差系数b可通过以下式子来求解：

图5为人脸分类器检测结果图，其中检测得到的人脸用圆框圈出。

4)利用KCF对手扶电梯乘客人脸进行跟踪，具体如下：

相对于生成模型跟踪方法通过对目标区域建模预测下一帧的目标位置，KCF基于机器学习理论，充分利用图像背景信息，以当前帧目标区域为正样本，背景区域为负样本进行分类器模型的训练，并用训练好的模型在下一帧图像寻找最优区域；

训练时，以前一帧乘客人脸目标样本为正样本，利用循环移位得到的目标周围样本为负样本，其中，离目标样本越近的样本正样本可能性越大，将训练样本x_kcf写成循环矩阵X的形式，利用循环矩阵在傅里叶空间中可对角化的性质，将运算过程中涉及的大量矩阵运算转化为矩阵点乘运算，大大降低运算量。利用岭回归训练目标检测器，通过最小二乘法求最优解，针对非线性问题，引入高斯核函数通过非线性变换φ(·)将原空间特征映射到高维新空间，决策函数为f(x_kcf)：

f(x_kcf)＝ω_kcf ^Tφ(x_kcf)

其中ω_kcf为权重系数，原问题的最优解ω_kcf ^*可表示为：

其中y_kcf为样本标签，λ_kcf为正则项系数，影响函数泛化能力，利用拉格朗日求解对偶问题得到原问题的最优解为：

ω_kcf ^*＝φ(X)^T(φ(X)φ(X)^T+λ_kcfI)^-1y_kcf

其中，I为单位对角矩阵，测试时，在前一帧目标周围通过循环矩阵采集测试样本，代入到上一帧得到的决策函数中，最大响应对应的测试样本即为在当前帧KCF跟踪得到的乘客目标区域。

5)使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果，具体如下：

当新乘客进入扶梯后，检测得到乘客人脸，然后利用步骤4)的KCF跟踪器对人脸检测目标进行持续跟踪，每隔一段时间，利用步骤2)提取图像的DPM特征，然后利用步骤3)的SVM分类器重新进行人脸检测矫正人脸跟踪目标，消除累积跟踪误差，再继续对矫正后的目标进行持续跟踪，重复该过程，直至乘客离开扶梯或发生异常行为，该乘客跟踪过程结束，在跟踪过程中，扶梯乘客跟踪是多目标跟踪，需要对前后两帧的对应乘客跟踪目标进行匹配，确定前后两帧同一个乘客目标，对乘客进行跟踪，在进行乘客人脸检测时，也需要对检测目标与跟踪目标进行匹配，矫正乘客跟踪目标的位置；

改进的最近邻目标匹配是对待匹配序列中的每个目标，分别基于欧氏距离匹配原有序列中与其最近邻的目标，进而得到待匹配序列和原有序列成功匹配的目标数，假设待匹配序列为：

其中，a_m为第m个元素，元素个数为M_a，原有序列为：

其中，b_n为第n个元素，元素个数为N_b，计算待匹配序列的每一个目标a_m到原有序列中所有目标的欧氏距离，找到a_m的最近邻目标b_n，若两者距离dist(a_m,b_n)满足：

dist(a_m,b_n)≤distT

其中distT是自适应阈值，为两个目标平均长度乘上0.6，则a_m成功匹配b_n，否则，a_m匹配失败，通过最近邻目标匹配后，待匹配序列的匹配成功目标数ML和原有序列的匹配成功目标数NL存在两种情况，若ML等于NL，待匹配序列和原有序列成功匹配的目标一一对应，匹配目标数L＝ML＝NL，若ML大于NL，待匹配序列中多个目标重复匹配原有序列中的同一个目标，应当从待匹配序列多个匹配目标中选出与原有序列匹配目标距离最近的一个目标，保持匹配状态，并取消其余目标的匹配状态，若两者距离相等，则保持检测置信度高的那个目标的匹配状态，并删除另一个目标，修正后，待匹配序列和原有序列成功匹配的目标一一对应，匹配目标数L＝NL。

6)建立人脸目标检测强度模型，修正人脸检测结果，具体如下：

运动目标检测强度衡量乘客跟踪过程中，运动目标被检测为乘客人脸的可能性，该值越大，运动目标是乘客人脸的可能性越大，每帧更新运动目标检测强度，根据当前帧是否进行人脸检测，分两种情况进行讨论，当进行人脸检测时，以长度为M的人脸跟踪目标序列为待匹配序列，长度为N的人脸检测目标序列为原有序列，进行最近邻目标匹配，将人脸跟踪目标序列中匹配成功的L个目标位置更新为对应的L个检测目标位置并提高其检测强度，再降低匹配失败的M-L个目标的检测强度，并保持其位置不变，最后将人脸检测目标序列中匹配失败的N-L个目标作为新目标添加到人脸跟踪目标序列并赋予初始的检测强度，当进行人脸跟踪时，以当前帧人脸跟踪目标序列为待匹配序列，上一帧人脸跟踪目标序列为原有序列，进行最近邻目标匹配，将上一帧匹配失败的N-L个目标添加到当前帧人脸跟踪目标序列并保持其位置不变，若当前帧的跟踪目标位置与前5帧的跟踪目标位置小于滞留阈值，则代表跟踪的是背景而不是运动的乘客，则降低目标的检测强度，最后，判断乘客的人脸检测置信度是否小于删除阈值，若是，则将该乘客删除，修正人脸检测结果，按以下公式更新运动目标的检测强度：

CF_i＝CF_i-1+FD²-NFD³-0.1×NFT

其中，CF_i和CF_i-1分别是乘客目标在第i帧和第i-1帧的检测强度，运动目标被连续检测的帧数为FD，连续未被检测的帧数为NFD，连续未被跟踪的帧数为NFT。

7)通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为，具体如下：

设每隔t帧进行乘客行为监控，乘客在第k帧的检测强度为CF_k，人脸框长度为L_k，人脸框中心为P_k＝(x_k,y_k)，x_k为中心横坐标，y_k为中心纵坐标，帧率为fps，则运动速度v_k、速度大小|v_k|、速度方向θ_k分别为：

v_k＝P_k-P_k-t＝(x_k-x_k-t,y_k-y_k-t)

乘客目标的行为包括三种，分别是：客流统计、拥挤检测和异常动作检测，具体判断方法如下：

①客流统计

对一段时间内搭乘扶梯的乘客人数进行统计，可有效分析该时间段内乘客的出行情况，进行客流统计时，检测经过扶梯入口区域的乘客，并根据乘客人脸的检测强度来防止乘客误检导致的统计错误，设T_ps＝50为对乘客进行统计的人脸检测强度阈值，若乘客满足：

其中，Ts＝5为乘客在扶梯入口区域出现的最低要求次数，Area_in为扶梯入口区域，定义符号“∈”表示一点在某个区域内，则认为乘客进入了扶梯，客流数加一，客流统计效果图如图6所示，其中，扶梯入口区域用矩形框表示，检测到的乘客人脸用圆形框表示；

②拥挤检测

对搭乘扶梯过程中乘客的拥挤情况进行检测，可分析某一时刻的乘客密集程度，进行乘客拥挤检测时，首先根据乘客与其他人的距离和检测强度判断是否处于拥挤情况，若满足：

其中，T_cr＝100为拥挤情况下的人脸检测强度阈值，T_dist＝2为拥挤距离系数，dist_min为与其他乘客的最近距离，则认为乘客处于拥挤情况，若处于拥挤情况的乘客数目大于等于3人，则检测到第k帧出现乘客拥挤情况，拥挤检测效果图如图7所示，其中，利用矩形框标记乘客人脸位置，并在矩形框上部用Idx表示乘客的ID，用Conf表示乘客的强度；

③异常动作检测

乘客搭乘扶梯时的正常状态是站立在扶梯上，速度大小与方向和扶梯一致，且人脸检测强度较大，若乘客在一段时间内的速度和人脸检测强度均与正常状态相差较大，则检测到乘客发生异常动作，乘客处于异常状态时的人脸检测强度、速度大小、速度方向需满足以下条件：

其中，T_nm＝10为正常人脸检测强度阈值，|v_nm|、θ_nm分别为乘客搭乘扶梯时的正常速度大小和方向，T_v＝0.1×|v_nm|、T_θ＝5分别为异常与正常状态速度大小和方向的区分阈值，图8为异常动作检测效果图，其中，利用矩形框标记乘客人脸位置，并在矩形框上部用Idx表示乘客的ID，用Conf表示乘客的强度，并用圆点标记乘客的运动轨迹，每个圆点位置代表乘客在相应帧中的位置，图中的乘客在扶梯中发生向前摔倒的异常行为。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.基于机器视觉的乘客行为监控方法，其特征在于：该方法检测并跟踪搭乘手扶电梯的乘客人脸目标，基于人脸目标信息进行行为监控，包括以下步骤：

1)乘客搭乘手扶电梯视频图像采集；

2)提取可变形组件模型DPM特征描述乘客人脸；

3)利用支持向量机SVM对手扶电梯乘客人脸进行检测；

4)利用核相关滤波KCF对手扶电梯乘客人脸进行跟踪；

5)使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果；

6)建立人脸目标检测强度模型，修正人脸检测结果；

7)通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为。

2.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤1)中，采用USB广角摄像头从斜上方往下采集扶梯区域图像，以减少乘客脸部被遮挡的不良影响，摄像头倾斜安装在与手扶电梯楼层板水平且距离楼层板设定距离的支架上，倾斜角度与扶梯一致，摄像头方向朝向扶梯中部，使其拍摄范围覆盖手扶电梯的整个区域，且能够清楚地拍摄到搭乘手扶电梯的乘客。

3.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤2)中，利用DPM特征描述乘客人脸，对搭乘手扶电梯的乘客人脸进行特征提取，包括以下步骤：

2.1)标准化颜色空间

对RGB图像每个颜色通道进行平方根Gamma压缩，Gamma压缩公式为：

H(x,y)＝H(x,y)^Gamma

其中，Gamma为压缩因子，取Gamma值为0.5，H(x,y)为像素点(x,y)的像素值；

2.2)计算图像每个像素点的梯度

使用一维离散微分模板[-1，0,1]和[-1，0,1]^T对图像做卷积运算，计算图像梯度，对于RGB图像，分别计算每个颜色通道的梯度，以范数最大者作为该点的梯度向量，手扶电梯图像中每个像素点H(x,y)的梯度是一个向量：

其中，G_x(x,y)为像素点(x,y)在水平方向上的梯度，G_y(x,y)为像素点(x,y)在垂直方向上的梯度，分别为：

梯度的幅值和方向分别为：

其中，G(x,y)为梯度的幅值，为梯度的方向；

2.3)提取整幅图像的DPM特征

DPM在HOG的基础上进行改进，DPM在检测人脸的同时，还对五官进行检测，而HOG只检测人脸整体，所以DPM能够综合整体和局部的特征，使检测精度更高，DPM是可变形组件模型，由三部分组成：分别是一个粗糙覆盖整个目标的根滤波器，几个高分辨率的组件滤波器和组件滤波器相对于根滤波器的空间位置，建立人脸模型时，根滤波器用来捕获脸的边界这些粗糙信息，组件滤波器能够捕获眼镜、鼻子、嘴这些细节信息，DPM采用改进的HOG特征，也做作FHOG特征，其只保留HOG的细胞单元，而块则用其它的归一化操作代替，计算细胞单元里的像素的梯度，按照梯度方向符号敏感每隔20度划分一个bin，得到18维的特征向量，按照梯度方向符号不敏感每隔20度划分一个bin，得到9为的特征向量，将该细胞单元分别与左上角、右上角、左下角和右下角的细胞单元做归一化，得到4×18和4×9的特征矩阵，将矩阵每行每列的元素进行累加，最终得到32维的特征向量，DPM特征的漏检率与HOG一样，但是误检率没有；

2.4)计算DPM响应图

对于任意一张输入图像，提取其DPM特征图，然后将原始图像进行高斯金字塔上采样，然后提取其DPM特征图，对于原始图像的DPM特征图和训练好的8×8分辨率的根滤波器做卷积操作，从而得到根滤波器的响应图，对于2倍图像的DPM特征图，和训练好的4×4分辨率大小的组件滤波器做卷积操作，从而得到组件滤波器的响应图，然后对其精细高斯金字塔的下采样操作，这样根滤波器的响应图和组件滤波器的响应图就具有相同的分辨率，然后将两者进行加权平均，得到最终的DPM响应图，响应图中像素值的公式如下：

其中，x₀、y₀、l₀分别为锚点的横坐标、纵坐标和尺度，为根滤波器的响应分数，为组件滤波器的响应分数，λ为滤波器尺度偏差，b为不同滤波器组件之间的偏移系数，v_i为锚点和理想检测点之间的偏移系数；

组件滤波器的详细响应D_i,l(x,y)得分公式如下：

其中，x，y为训练的理想滤波器的位置，R_i,l(x+dx,y+dy)为组件滤波器的匹配得分，dx为横坐标偏差，dy为纵坐标偏差，d_i·φ_d(dx,dy)为组件的偏移损失得分，d_i为偏移损失系数，φ_d(dx,dy)为组件滤波器的锚点和组件滤波器的检测点之间的距离；

2.5)滑动扫描图片检测乘客人脸

设置扫描窗口大小为80*80，对原图像以五分之六的比率进行金字塔下采样，即每次采样缩小成上一层图像的五分之六，最下层为原图，往上逐层递减，构成多层的图像金字塔，当采样得到的图像小于扫描窗口时停止下采样，通过设置固定大小的扫描窗口和构造多层的图像金字塔，即可达到在不同空间尺度上检测人脸的目的。

4.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤3)中，利用SVM对手扶电梯乘客人脸进行检测，包括以下步骤：

3.1)寻找DPM特征滤波器的位置

训练时，数据集中只标注了整个乘客人脸目标的位置，没有标注出DPM特征所需要的每个组件滤波器的位置，所以将组件的位置看做隐藏变量，使用SVM进行模型训练，训练时同时估计组件滤波器的位置和学习模型参数，利用动态规划和距离变换方法找到组件滤波器的最佳位置，然后保持组件滤波器位置不变，通过解决标准SVM问题通过凸二次规划最优化模型参数；

3.2)利用非线性SVM分类器进行乘客人脸检测

SVM是支持向量机，是在特征空间上间隔最大的线性分类器，学习策略是间隔最大化；SVM由简至繁分为3种模型，分别是线性可分支持向量机、线性支持向量机和非线性支持向量机，其中，线性可分支持向量机针对线性可分的训练数据，采用硬间隔最大化的策略，相对于感知机采用误分类最小的策略得到无穷多个分离超平面，线性可分支持向量机得到唯一的最优分离超平面，以最大化几何间隔作为目标函数，所有样本点到分离超平面的带符号距离不小于集合间隔为约束函数，并转换成函数间隔的表示形式，最后得到SVM原始问题，然后利用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，线性支持向量机针对近似线性可分的训练数据，近似线性可分样本中包含一些特异点，其函数间隔不满足大于等于1的约束条件，因此，在线性可分支持向量机的基础上，采用软间隔最大化策略，解决特异点导致的线性不可分问题，为每个样本点引入松弛变量，非线性支持向量机针对线性不可分的训练数据，在线性支持向量机的基础上，采用核技巧和软间隔最大化策略，核技巧使用核函数，使得在低维输入空间利用核函数学习非线性支持向量机，等价于在高维特征空间学习线性支持向量机，核函数表示输入样本在高维特征空间中特征向量的内积，最后，针对SVM凸二次规划问题的对偶问题，利用序列最小最优化算法进行求解，其原理是将原问题分解为多个小问题，使得每个小问题的解更接近于原问题的解，非线性支持向量机的对偶问题为：

0≤α_i≤C，i＝1,2,…,N

其中，N为样本数，α_i为拉格朗日乘子，α为拉格朗日乘子向量，该问题的最优解α_i ^*可通过求二次优化问题求解，其中x_i为第i个训练样本，是d维向量，y_i是第i个训练样本的标签，+1代表正样本，-1代表负样本，C是一个常量超参数，C值越小，代表对错误分类样本的容忍度越大，反之，代表对错误分类样本的容忍度越小，是非线性变换函数，采用径向基RBF核函数表示：

该核函数作为非线性支持向量机的核函数，得到对偶问题的解后，即可得到原问题最终解：

其中，ω_i ^*为决策函数的权重系数，支持向量机的决策函数写成：

其中，偏差系数b通过以下式子来求解：

5.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤4)中，利用KCF对手扶电梯乘客人脸进行跟踪，具体如下：

相对于生成模型跟踪方法通过对目标区域建模预测下一帧的目标位置，KCF基于机器学习理论，充分利用图像背景信息，以当前帧目标区域为正样本，背景区域为负样本进行分类器模型的训练，并用训练好的模型在下一帧图像寻找最优区；

训练时，以前一帧乘客人脸目标样本为正样本，利用循环移位得到的目标周围样本为负样本，其中，离目标样本越近的样本正样本可能性越大，将训练样本x_kcf写成循环矩阵X的形式，利用循环矩阵在傅里叶空间中可对角化的性质，将运算过程中涉及的大量矩阵运算转化为矩阵点乘运算，大大降低运算量；利用岭回归训练目标检测器，通过最小二乘法求最优解，针对非线性问题，引入高斯核函数通过非线性变换φ(·)将原空间特征映射到高维新空间，决策函数为f(x_kcf)：

f(x_kcf)＝ω_kcf ^Tφ(x_kcf)

其中ω_kcf为权重系数，原问题的最优解ω_kcf ^*可表示为：

其中y_kcf为样本标签，λ_kcf为正则项系数，影响函数泛化能力，利用拉格朗日求解对偶问题得到原问题的最优解为：

ω_kcf ^*＝φ(X)^T(φ(X)φ(X)^T+λ_kcfI)^-1y_kcf

其中，I为单位对角矩阵，测试时，在前一帧目标周围通过循环矩阵采集测试样本，代入到上一帧得到的决策函数中，最大响应对应的测试样本即为在当前帧KCF跟踪得到的乘客目标区域。

6.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤5)中，使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果，具体如下：

当新乘客进入扶梯后，检测得到乘客人脸，然后利用步骤4)的KCF跟踪器对人脸检测目标进行持续跟踪，每隔一段时间，利用步骤2)提取图像的DPM特征，然后利用步骤3)的SVM分类器重新进行人脸检测矫正人脸跟踪目标，消除累积跟踪误差，再继续对矫正后的目标进行持续跟踪，重复该过程，直至乘客离开扶梯或发生异常行为，该乘客跟踪过程结束，在跟踪过程中，扶梯乘客跟踪是多目标跟踪，需要对前后两帧的对应乘客跟踪目标进行匹配，确定前后两帧同一个乘客目标，对乘客进行跟踪，在进行乘客人脸检测时，也需要对检测目标与跟踪目标进行匹配，矫正乘客跟踪目标的位置；

改进的最近邻目标匹配是对待匹配序列中的每个目标，分别基于欧氏距离匹配原有序列中与其最近邻的目标，进而得到待匹配序列和原有序列成功匹配的目标数，假设待匹配序列为：

其中，a_m为第m个元素，元素个数为M_a，原有序列为：

其中，b_n为第n个元素，元素个数为N_b，计算待匹配序列的每一个目标a_m到原有序列中所有目标的欧氏距离，找到a_m的最近邻目标b_n，若两者距离dist(a_m,b_n)满足：

dist(a_m,b_n)≤distT

其中，distT是自适应阈值，为两个目标平均长度乘上0.6，则a_m成功匹配b_n，否则，a_m匹配失败，通过最近邻目标匹配后，待匹配序列的匹配成功目标数ML和原有序列的匹配成功目标数NL存在两种情况，若ML等于NL，待匹配序列和原有序列成功匹配的目标一一对应，匹配目标数L＝ML＝NL，若ML大于NL，待匹配序列中多个目标重复匹配原有序列中的同一个目标，应当从待匹配序列多个匹配目标中选出与原有序列匹配目标距离最近的一个目标，保持匹配状态，并取消其余目标的匹配状态，若两者距离相等，则保持检测置信度高的那个目标的匹配状态，并删除另一个目标，修正后，待匹配序列和原有序列成功匹配的目标一一对应，匹配目标数L＝NL。

7.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤6)中，建立人脸目标检测强度模型，修正人脸检测结果，具体如下：

运动目标检测强度衡量乘客跟踪过程中，运动目标被检测为乘客人脸的可能性，该值越大，运动目标是乘客人脸的可能性越大，每帧更新运动目标检测强度，根据当前帧是否进行人脸检测，分两种情况进行讨论，当进行人脸检测时，以长度为M的人脸跟踪目标序列为待匹配序列，长度为N的人脸检测目标序列为原有序列，进行最近邻目标匹配，将人脸跟踪目标序列中匹配成功的L个目标位置更新为对应的L个检测目标位置并提高其检测强度，再降低匹配失败的M-L个目标的检测强度，并保持其位置不变，最后将人脸检测目标序列中匹配失败的N-L个目标作为新目标添加到人脸跟踪目标序列并赋予初始的检测强度，当进行人脸跟踪时，以当前帧人脸跟踪目标序列为待匹配序列，上一帧人脸跟踪目标序列为原有序列，进行最近邻目标匹配，将上一帧匹配失败的N-L个目标添加到当前帧人脸跟踪目标序列并保持其位置不变，若当前帧的跟踪目标位置与前5帧的跟踪目标位置小于滞留阈值，则代表跟踪的是背景而不是运动的乘客，则降低目标的检测强度，最后，判断乘客的人脸检测置信度是否小于删除阈值，若是，则将该乘客删除，修正人脸检测结果，按以下公式更新运动目标的检测强度：

CF_i＝CF_i-1+FD²-NFD³-0.1×NFT

其中，CF_i和CF_i-1分别是乘客目标在第i帧和第i-1帧的检测强度，运动目标被连续检测的帧数为FD，连续未被检测的帧数为NFD，连续未被跟踪的帧数为NFT。

8.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤7)中，通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为，具体如下：

设每隔t帧进行乘客行为监控，乘客在第k帧的检测强度为CF_k，人脸框长度为L_k，人脸框中心为P_k＝(x_k,y_k)，x_k为中心横坐标，y_k为中心纵坐标，帧率为fps，则运动速度v_k、速度大小|v_k|、速度方向θ_k分别为：

v_k＝P_k-P_k-t＝(x_k-x_k-t,y_k-y_k-t)

乘客目标行为包括三种，分别是：客流统计、拥挤检测和异常动作检测，具体判断方法如下：

①客流统计

对一段时间内搭乘扶梯的乘客人数进行统计，能够有效分析该时间段内乘客的出行情况，进行客流统计时，检测经过扶梯入口区域的乘客，并根据乘客人脸的检测强度来防止乘客误检导致的统计错误，设T_ps为对乘客进行统计的人脸检测强度阈值，若乘客满足：

其中，Ts为乘客在扶梯入口区域出现的最低要求次数，Area_in为扶梯入口区域，定义符号“∈”表示一点在某个区域内，则认为乘客进入了扶梯，客流数加一；

②拥挤检测

对搭乘扶梯过程中乘客的拥挤情况进行检测，分析某一时刻的乘客密集程度，进行乘客拥挤检测时，首先根据乘客与其他人的距离和检测强度判断是否处于拥挤情况，若满足：

其中，T_cr为拥挤情况下的人脸检测强度阈值，T_dist为拥挤距离系数，dist_min为与其他乘客的最近距离，则认为乘客处于拥挤情况，若处于拥挤情况的乘客数目大于等于3人，则检测到第k帧出现乘客拥挤情况；

③异常动作检测

乘客搭乘扶梯时的正常状态是站立在扶梯上，速度大小与方向和扶梯一致，且人脸检测强度大，若乘客在一段时间内的速度和人脸检测强度均与正常状态相差大于设定值，则检测到乘客发生异常动作，乘客处于异常状态时的人脸检测强度、速度大小、速度方向需满足以下条件：

其中，T_nm为正常人脸检测强度阈值，|v_nm|、θ_nm分别为乘客搭乘扶梯时的正常速度大小和方向，T_v、T_θ分别为异常与正常状态速度大小和方向的区分阈值。