CN106127148A - 一种基于机器视觉的手扶电梯乘客异常行为检测算法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的手扶电梯乘客异常行为检测算法，包括步骤：1)视频图像采集；2)对采集的图像进行Canny边缘检测；3)利用Hough圆变换找出边缘图像中的类圆区域；4)通过人头灰度直方图模板判断该类圆区域是否为人头；5)利用Mean Shift算法对图像中的人头进行跟踪；6)计算每个乘客头部类圆区域的中心点的移动方向、移动速度；7)通过分析类圆区域中心点的移动方向和移动速度判断乘客的行为。通过本发明算法可以有效提高手扶电梯的安全质量，避免了突发事件后的情况进一步恶化，把手扶电梯上乘客摔倒的人员损伤降到最低。

Description

一种基于机器视觉的手扶电梯乘客异常行为检测算法

技术领域

本发明涉及图像模式识别领域及电梯生产技术领域，尤其是指一种基于机器视觉的手扶电梯乘客异常行为检测算法。

背景技术

随着经济的增长，手扶电梯的使用已经越来越频繁，而随之而来的手扶电梯上的安全事故也越来越多。手扶电梯上安全事故的发生大多是因为当手扶电梯上乘客的状态或者行为出现异常情况时，手扶电梯不能及时地反应与应对，而是机械地维持同一种工作模式，从而造成异常情况的放大及恶化。而在每个手扶电梯旁都设置应急工作人员监控手扶电梯及乘客的状态是不可能的。因此，能让手扶电梯在异常情况发生时，自动地调整工作模式就显得非常重要。采用视频监控图像对手扶电梯上的乘客行为进行分析处理，当出现异常情况时，能快速反应，自动让手扶电梯切换工作模式，这样能大大降低手扶电梯上的安全事故，使异常情况的危害降到最低。

手扶电梯的智能监控系统通过实时获取手扶电梯上的视频图像，并通过分析该视频图像来判断手扶电梯上乘客的行为是否异常，当出现异常情况时能及时把异常情况反馈给手扶电梯控制器，手扶电梯控制器能根据不同的异常状态对手扶电梯的工作模式进行调整。该系统包括图像采集、图像分析、图像处理、模式分类、异常情况识别、异常情况报警(手扶电梯视频监控系统示意图见附图一)。目前，针对手扶电梯的视频监控及自动控制的研究比较少，因此，需加快手扶电梯视频监控系统的研发，降低手扶电梯安全事故出现的概率。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于机器视觉的手扶电梯乘客异常行为检测算法，可以实时监控手扶电梯上乘客的状态行为。

为实现上述目的，本发明所提供的技术方案为：一种基于机器视觉的手扶电梯乘客异常行为检测算法，主要是通过分析手扶电梯上乘客头部的运动方向和运动速度来判断乘客的行为有无异常，包括以下步骤：

1)视频图像采集；

2)对采集的图像进行Canny边缘检测；

3)利用Hough圆变换找出边缘图像中的类圆区域；

4)通过人头灰度直方图模板判断该类圆区域是否为人头；

5)利用Mean Shift算法对图像中的人头进行跟踪；

6)计算每个乘客头部类圆区域的中心点的移动方向、移动速度；

7)通过分析类圆区域中心点的移动方向和移动速度判断乘客的行为。

在步骤1)中，采用摄像头进行图像采集，摄像头安装在手扶电梯运动方向的反向斜上方，其视角要求覆盖整个手扶电梯载客区，以保证能采集到所有在载客区上的乘客的头顶或者后脑勺的图像。

在步骤2)中，进行Canny边缘检测包括以下步骤：

2.1)去噪声

主要使用高斯函数对图像进行平滑滤波，将高斯函数做成滤波模板，具体如下：

$Mask=\frac{1}{159}*\left[\begin{array}{ccccc}2& 4& 5& 4& 2\\ 4& 9& 12& 9& 4\\ 5& 12& 15& 12& 5\\ 4& 9& 12& 9& 4\\ 2& 4& 5& 4& 2\end{array}\right]$

$f(x,y)=I(x,y)\⊗Mask$

其中，I(x,y)为原图像，f(x,y)为高斯滤波后的图像；

2.2)计算梯度值与方向角

分别求取去噪声后图像在x方向和y方向的梯度值M_x和M_y，求取梯度通过使用Sobel模板和图像进行卷积完成，用S_x表示x方向的Sobel模板，用S_y表示y方向的Sobel模板；

$S_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]$

$S_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ +1& +2& +1\end{array}\right]$

则：

梯度值|Δf|：

梯度方向角θ：θ＝arctan(M_y/M_x)

将0～360度梯度方向角分为4个方向，分别对应水平方向、垂直方向、正对角线方向及逆对角线方向；

2.3)非最大值抑制

将那些在梯度方向具有最大梯度值的像元作为边缘像素点保留，将其他像素点删除；

结合步骤2.2)得到的每个像素点的梯度值和方向角，检查围绕点(x,y)的3*3范围内的像素点像素值：

若θ＝0°，那么比较像素点(x+1,y)、(x,y)、(x-1,y)的像素值；

若θ＝90°，那么比较像素点(x,y+1)、(x,y)、(x,y-1)的像素值；

若θ＝45°，那么比较像素点(x+1,y+1)、(x,y)、(x-1,y-1)的像素值；

若θ＝135°，那么比较像素点(x+1,y-1)、(x,y)、(x-1,y+1)的像素值；

如果点(x,y)的梯度值都大于其他两个点的梯度值，那么，点(x,y)就被认为是边缘中心点并被标记为边缘，否则，点(x,y)就不被认为是边缘中心点而被删除；

2.4)滞后阈值化

滞后阈值化设定两个阈值：一个为高阈值，另一个为低阈值；如果任何像素对边缘的影响超过高阈值，将这些像素标记为边缘；响应超过低阈值的像素，如果与已经标为边缘的像素邻接，则将这些像素也标记为边缘；这个过程反复迭代，将剩下的孤立的响应超过低阈值的像素则视为噪声，不再标记为边缘。

在步骤3)中，Hough变换将原始图像中给定形状的直线或曲线变换成参数空间中的一个点，把直线或曲线的检测变换成寻找参数空间的峰点，这样就把检测整体特性即曲线的点集变成检测局部特性即峰点的问题；

将Hough变换应用于检测图像空间的解析曲线，解析曲线用参数表示是：

f(X,P)＝0 (1)

对圆来说，半径为r，圆心坐标为(a,b)的圆在参数空间中的表示为：

(x_i-a)²+(y_i-b)²＝r² (2)

式(1)中，X＝[x_i,y_i]^T是解析曲线上的点，图像空间为二维；P＝[a,b,r]^T是参数空间中的点，参数空间为三维；式(2)在参数空间中表示一个三维锥面，它表明，图像空间中的圆对应着参数空间中的一个点，而图像空间中的一个点(x,y)，对应着参数空间中的一个三维直立圆锥，点(x,y)约束了通过该点一族圆的参数(a,b,r)；对于图像空间中的一个圆，它的半径是固定不变的，圆周上的各个点组成的集合在参数空间中就表现为r相等，而a,b不等的各个圆锥的集合，这些圆锥族相交于一点，该点即为对应于图像空间的圆心和半径；

图像空间与参数空间的映射关系是图像空间中圆上各点对应于参数空间中的一簇圆锥的交点，该交点的坐标对应圆心坐标和圆的半径；对参数空间量化，得到一个三维的累加器阵列，阵列中的每一个立方小格对应着参数(a,b,r)的离散值；对图像空间所存在的圆边界形状检测时，计算边缘图像上每点像素距离为r的所有点(a,b)，同时将对应(a,b,r)立方小格的累加器加1；改变r值再重复上述过程，当对全部边缘点变换完成后，对三维阵列的所有累加器的值进行检验，当累加器的值大于阈值时，则认为该参数(a,b,r)对应了图像空间中圆的圆心与半径；

对于数字图像，式(2)写成：

|(x_i-a)²+(y_i-b)²-r²|≤ε (3)

式中，ε是考虑到对图像进行数字化和量化的补偿；

根据步骤1)中视频图像采集所采用的摄像头与乘客的距离变化，设置Hough圆变换时圆的半径r的变化范围为:5～15，单位为像素点。

在步骤4)中，计算类圆区域内部的灰度直方图，此灰度直方图与通用人头模板的灰度直方图进行匹配，若匹配值大于阈值，则认为该类圆区域为人头；

以φ_c(s)表示位置s的类圆区域的匹配程度，s的取值由区域中类圆的个数而定：

${\mathrm{\φ}}_c\left(s\right)=\frac{\underset{i=1}{\overset{n}{\Σ}}min\left(I_s\right(i),M(i\left)\right)}{\underset{i=1}{\overset{n}{\Σ}}M\left(i\right)}---\left(4\right)$

其中，I_s(i)为位置s的类圆区域的第i类像素值的像素点出现的次数，n为区域中出现的像素值的个数，M(i)为与待匹配类圆区域相同面积下的通用模板的灰度直方图，灰度直方图中像素值及像素值个数的选取以M(i)为准。

在步骤5)中，根据步骤4)检测到的人头位置和大小，确定被跟踪目标的区域，对初始目标区域内所有的像素点，计算特征空间中每个特征值的概率，称为目标模型的描述；对以后的可能存在目标候选区域的每帧图像计算其特征空间中每个特征值的概率，称为候选模型描述；利用相似性函数最大得到的关于目标的Mean Shift向量即是目标从初始位置向正确位置转移的向量；基于Mean Shift算法的收敛性，在当前帧中不断迭代计算MeanShift向量，最终该向量会收敛于一个位置，从而达到了跟踪的目的；

目标模型描述，如下：

通过预处理获得目标的位置和大小后，设定k(x)为核函数的轮廓函数，该函数是个同向性，单调递减的函数，它的作用是给目标模板区域的像素值设定权值，由于遮挡或是背景的影响，目标模型中心附近的像素比周围像素可靠，k(x)对中心的像素给一个大的权值，而远离中心的像素被赋予一个相对较小的权值，所以加权之后的目标模板像素在进行密度估计的时候增加了它的鲁棒性，提高了搜索能力，为了消除目标模板尺寸不同造成的影响，现假设所有的目标模板首先进行归一化处理，经过归一化后的目标模板长度分别为h_x和h_y，即为核函数的尺度，并且区域的中心坐标为(0，0)，定义b:R²→{1...m}为图像处的索引函数，即表示取出处像素对应的特征值，基于图像特征u＝1,...,m的目标模板概率函数通过下式计算得到：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|x_i^{*}\right|{|}^2)\mathrm{\δ}\[b\left(x_i^{*}\right)-u\]---\left(5\right)$

其中δ(x)是Delta函数，C为一个标准化常量系数，使得

$\underset{u=1}{\overset{m}{\Σ}}{\hat{q}}_u=1---\left(6\right)$

因此，

$C=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|x_i^{*}\right|{|}^2)}---\left(7\right)$

候选模型描述，如下：

设{x_i},i＝1,...,n是候选目标区域的归一化像素位置，且候选目标的中心坐标是在被检测图像的y位置处，利用核宽为h的核函数k(x)，基于图像空间特征u＝1,...,m的候选目标概率函数通过以下公式得到：

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]---\left(8\right)$

其中归一化常数C_h为：

$C_h=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)}---\left(9\right)$

常数C_h，因为不依赖于y，y也是{x_i},i＝1,...,n的其中之一，所以常数C_h能够在给定核函数k(x)和其尺度h后提前计算，这里尺度h的选择被定义为候选目标的尺度，在实际运算过程中，也就是目标的尺寸；

相似性函数，如下：

相似性函数描述目标模型与目标候选之间的相似程度，设目标模型为m值直方图，目标的离散密度函数估计为：

在目标y处的候选目标的密度函数估计：

这里定义目标模板和候选模板这两个离散分布的距离为：

$d\left(y\right)=\sqrt{1-\widehat{\mathrm{\ρ}}\left(y\right)}---\left(10\right)$

其中：

$\widehat{\mathrm{\ρ}}\left(y\right)=\mathrm{\ρ}\[p\left(y\right),q\]=\underset{u=1}{\overset{m}{\Σ}}\sqrt{{\hat{p}}_u\left(y\right){\hat{q}}_u}---\left(11\right)$

上式即为目标模板分布与候选模板分布的Bhattacharyya系数，其值在0～1之间，的值越大，表示两个模型越相似；

目标定位，如下：

为了准确的对帧中的目标进行定位，就要使Bhattacharyya系数最大，即关于目标模板分布和候选目标分布的距离函数d(y)应当最小化；定位过程看成是从前一帧的目标模板的位置开始，在其领域内搜索目标的过程；由于距离函数d(y)是光滑的，所以通过利用均值矢量d(y)的梯度信息完成目标的定位；虽然这里使用的是目标的颜色信息，但是对于纹理、边缘或任何特征的组合，使用距离函数d(y)的最小化都是适用的；求d(y)最小化的过程是从前一帧的目标模板位置y⁰处开始，在当前帧中搜索与之匹配的新的目标位置，因此，就要首先计算当前帧y₀处的候选目标的概率密度{p_u(y₀)},u＝1,...,m，对Bhattacharyya系数ρ(y)在y₀处用Taylor公式展开，考虑在通常情况下，由于两帧之间的时间间隔很短，所以能够保证候选目标与初始目标模板之间没有剧烈的变化，得到Taylor展开式；

式(11)在点泰勒展开可得：

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(y_0\right)q_u}+\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}{p}_u\left(y\right)\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(12\right)$

把式(10)带入式(12)，整理可得，

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{m}{\Σ}}{w}_{i}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)---\left(13\right)$

其中，

$w_i=\underset{u=1}{\overset{m}{\Σ}}\mathrm{\δ}\[b\left(x_i\right)-u\]\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(14\right)$

为了最小化式(10)中的距离，由于式(12)中的第一项与y无关，所以只需要对第二项进行最大化处理；令

$f=\frac{C_h}{2}\underset{i=1}{\overset{m}{\Σ}}{w}_{i}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)---\left(15\right)$

能够看出第二项就是在当前帧中利用核函数k(x)和图像像素的加权值计算得到的概率密度估计，利用均值偏移过程检测，当核k和g满足：

g(x)＝-k(x) (16)

从y₀处递归计算出新的目标位置y₁：

$y_1=\frac{\underset{i=1}{\overset{m}{\Σ}}{x}_i{\mathrm{\ω}}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\ω}}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}---\left(17\right)$

Mean Shift方法以y₀为起点，以两个模型相比颜色变换最大的方向移动，这优于一般算法中的盲搜索，通常在一帧中找到目标的位置，需要Mean Shift算法若干次迭代才能得到，具体迭代过程如下：

①初始化目标模板q_u；

②在当前帧中y₀处，计算{p_u(y₀)}，u＝1，...，m，由公式(13)计算目标模型和候选模型的相似度；

③计算权值w_i；

④由公式(3)寻找下一个位置y₁，计算y₁处的候选目标模型，重新计算ρ(y₁)；

⑤若ρ(y₁)＜ρ(y₀)，y₁←1/2(y₁+y₀)，若|y₁-y0||＜e，停止计算；否则y₀←y₁，转步骤②循环计算。

在步骤6)中，设乘客t-1时刻的头部中心点坐标为(x_t-1，y_t-1)，乘客t时刻的头部中心点坐标为(x_t，y_t)，则乘客在时刻t-1到t的运动速度为：

水平运动速度：v_t,x＝x_t-x_t-1

垂直运动速度：v_t,y＝y_t-y_t-1

速度标量：

运动方向：

图像中，类圆区域中心点的移动速度的意思是帧间间隔时间里，类圆区域中心点移动的像素个数，其单位为：像素点数/帧间图像间隔时间。

在步骤7)中，乘客的行为包括：正常搭乘、快速行走、逆向搭乘、左右摇晃、摔倒、下蹲及乘客头部伸出扶手带，具体的判断方法如下：

①正常行为一：正常搭乘

乘客静止站立在手扶电梯上，随着扶梯的运动而运动，此时乘客头部的运动方向即为扶梯载客区的运动方向，具体为斜向上30度到60度之间，取决于扶梯倾斜程度，扶梯乘客头部的运动速度即为扶梯载客区的运动速度，设扶梯的运行速度恒定为v_T，扶梯的运动方向为θ_T；

此时：|v_t,s-v_T|＜Th₁，θ_x,y＝θ_T，Th₁为阈值1，表征乘客头部中心点正常搭乘的速度范围；

②正常行为二：快速行走

乘客赶时间时，快速在扶梯上行走甚至奔跑；此时乘客头部的运动方向还是扶梯载客区的运动方向，乘客头部的运动速度比扶梯的运动速度快，乘客的运动速度在一定范围内变化，超过该范围也被视为异常；

此时：Th₁＜|v_t,s-v_T|＜Th₂，θ_x,y＝θ_T，Th₂为阈值2，表征乘客头部中心点正常快速行走的速度范围；

③异常行为一：逆向搭乘

逆向搭乘很容易造成摔倒及更严重的事故，因此应该示为异常；此时，扶梯乘客的运动方向与扶梯载客区的运动方向相反；

此时：θ_x,y＝-θ_T；

④异常行为二：乘客下蹲

扶梯上乘客通常不会下蹲，下蹲很有可能因为身体不适，会引起其他异常情况，也应该引起注意；此时，乘客头部的运动方向为垂直地面向下，垂直方向的运动速度剧增；

此时：v_t,y＞Th₃θ_x,y＝90°，Th₃为阈值3，表征下蹲乘客头部中心点的最小速度；

⑤异常行为三：乘客摔倒

扶梯上的乘客摔倒是很严重的异常行为，此时，乘客头部的运动方向是不规范的，但乘客头部垂直方向的运动速度会剧增；

此时：v_t,y＞Th₃此阈值与下蹲时的阈值相同；

⑥异常行为四：左右摇晃

乘客在搭乘电梯时左右摇晃很容易造成摔倒，应被视为异常，此时，乘客头部的运动方向为垂直扶梯载客区运动的方向，正常情况下，该方向的运动速度应该是非常小的；

此时，|v_t,x|＞Th₄，此阈值为水平方向左右运动的最小速度；

⑦异常行为五：乘客头部伸出扶手带

乘客头部伸出扶手带很可能造成重心不稳，导致摔倒；也有可能撞击到扶梯以外的建筑上；此时，乘客头部的中心点不在扶梯载客区范围内；

此时，x＜x_minor x＞x_max；

其中，x_min为扶梯载客区的最小横坐标，x_max为扶梯载客区的最大横坐标；

同一乘客在图像中的大小并不是一成不变的，与乘客离摄像头的距离有关，乘客离步骤1)中视频图像采集所采用的摄像头越近，乘客在图像中就越大，因此，通过人头类圆区域的面积来自适应更新阈值；

设S_T为标准人头椭圆模板的面积，T₁,T₂,T₃,T₄为标准阈值，S_x,y为以(x,y)为中心点的当前类圆区域人头的面积；

则阈值更新方法为：

${\mathrm{Th}}_1=\frac{S_{x,y}}{S_T}\·T_1,{\mathrm{Th}}_2=\frac{S_{x,y}}{S_T}\·T_2,$

${\mathrm{Th}}_3=\frac{S_{x,y}}{S_T}\·T_3,{\mathrm{Th}}_4=\frac{S_{x,y}}{S_T}\·T_4.$

本发明与现有技术相比，具有如下优点与有益效果：

本发明可以对手扶电梯进行实时监控，能将视频图像中的异常情况检测出来，并反馈给手扶电梯控制板，以此来调整手扶电梯的工作状态；通过跟踪乘客人头，并计算人头的运动方向和运动速度来判断乘客有无异常行为；相对于跟踪身体其他部位，头部能更有效的防止遮挡，且能判断出异常行为。总之，通过本发明算法可以有效提高手扶电梯的安全质量，避免了突发事件后的情况进一步恶化，把手扶电梯上乘客摔倒的人员损伤降到最低。

附图说明

图1为本发明算法流程图。

图2为摄像头的安装位置示意图。

图3为视频监控原始图像(正常搭乘)。

图4为为视频监控原始图像(乘客摔倒)。

图5a为Canny边缘检测效果图(正常搭乘)。

图5b为Canny边缘检测效果图(乘客摔倒)。

图6a为人头检测效果图(正常搭乘)。

图6b为人头检测效果图(乘客摔倒)。

图7a为人头跟踪效果图(正常搭乘)。

图7b为人头跟踪效果图(乘客摔倒)。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所述的基于机器视觉的手扶电梯乘客异常行为检测算法，主要是通过分析手扶电梯上乘客头部的运动方向和运动速度来判断乘客的行为有无异常(在本算法中，乘客的后脑勺或者头顶为感兴趣区域，因为，后脑勺或者头顶区域在图像中都有类似椭圆的形状，而且后脑勺或者头顶的灰度值相对于人头的正面来说，更加单一，更容易识别，因此，摄像头应该安装在乘客头顶位置，且必须安装在乘客运动方向，如图2所述)，其具体情况如下：

1)视频图像采集

采用单摄像头进行图像采集，摄像头安装在手扶电梯运动方向的反向的斜上方，其视角能覆盖整个手扶电梯载客区，以此保证能采集到所有在载客区上的乘客的头顶或者后脑勺的图像，参见图2。采用的摄像头具体为PAL制式的标清摄像头，其像素为720*560，每秒钟采集30帧图像数据。

2)对采集的图像进行Canny边缘检测

图像的边缘是指图像局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃，既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。图像的边缘部分集中了图像的大部分信息，图像边缘的确定与提取对于整个图像场景的识别与理解是非常重要的，同时也是图像分割所依赖的重要特征。

通过边缘检测可以进一步简化图像，为人头椭圆轮廓的提取提供便利，如图5a和5b所示的效果图。

Canny边缘检测算子是边缘检测算子中最常用的一种，也是公认的性能优良的边缘检测算子。利用Canny算子进行边缘提取主要分为4步进行：

2.1)去噪声

通常使用高斯函数对图像进行平滑滤波。为了提高运算效率，可以将高斯函数做成滤波模板，本算法使用5*5的模板。

$Mask=\frac{1}{159}*\left[\begin{array}{ccccc}2& 4& 5& 4& 2\\ 4& 9& 12& 9& 4\\ 5& 12& 15& 12& 5\\ 4& 9& 12& 9& 4\\ 2& 4& 5& 4& 2\end{array}\right]$

$f(x,y)=I(x,y)\⊗Mask$

其中，I(x,y)为原图像，f(x,y)为高斯滤波后的图像。

2.2)计算梯度值与方向角

分别求取去噪声后图像在x方向和y方向的梯度值M_x和M_y。求取梯度可以通过使用Sobel模板和图像进行卷积完成，用S_x表示x方向的Sobel模板，用S_y表示y方向的Sobel模板。

$S_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]$

$S_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ +1& +2& +1\end{array}\right]$

则：

梯度值|Δf|：

梯度方向角θ：θ＝arctan(M_y/M_x)

将0～360度梯度方向角并为4个方向，分别对应水平方向，垂直方向，正对角线方向及逆对角线方向。比如方向角在[-22.5°～22.5°]和[157.5°～202.5°]范围内的角点都被归并到0°方向角，其他的角度归并以此类推。

2.3)非最大值抑制

根据Canny关于边缘算子性能的评价标准，边缘只允许有一个像元的宽度，但经过Sobel算子滤波后，图像的边缘是粗细不一的。非最大值抑制就是将那些在梯度方向具有最大梯度值的像元作为边缘像素点保留，将其他像素点删除。

结合步骤2.2)得到的每个像素点的梯度值和方向角，检查围绕点(x,y)的3*3范围内的像素点像素值：

若θ＝0°，那么比较像素点(x+1,y)、(x,y)、(x-1,y)的像素值；

若θ＝90°，那么比较像素点(x,y+1)、(x,y)、(x,y-1)的像素值；

若θ＝45°，那么比较像素点(x+1,y+1)、(x,y)、(x-1,y-1)的像素值；

若θ＝135°，那么比较像素点(x+1,y-1)、(x,y)、(x-1,y+1)的像素值。

如果点(x,y)的梯度值都大于其他两个点的梯度值，那么，点(x,y)就被认为是边缘中心点并被标记为边缘，否则，点(x,y)就不被认为是边缘中心点而被删除。

2.4)滞后阈值化

由于噪声的影响，经常会在本应该连续的边缘出现断裂的问题，滞后阈值化设定两个阈值：一个为高阈值，另一个为低阈值。如果任何像素对边缘算子的影响超过高阈值，将这些像素标记为边缘；响应超过低阈值的像素，如果与已经标为边缘的像素邻接，则将这些像素也标记为边缘。这个过程反复迭代，将剩下的孤立的响应超过低阈值的像素则视为噪声，不再标记为边缘。

本发明通过上述方法得到每帧图像的边缘图像。

3)利用Hough圆变换找出边缘图像中的类圆区域

本发明利用Hough圆变换在二值化边缘图像的基础上检测出图像中的人头区域。

Hough变换的前提是变换前要对原图像进行各种处理，这些处理包括对研究场景中的物体进行边缘提取及阈值化处理，即Hough变换要求输入的图像为二值图像。

本发明步骤2)就是为了进行Hough变换而做的准备工作。

Hough变换的原理是利用图像空间与参数空间的对应关系，将图像空间的具有一定关系的像素进行聚类，利用某一解析形式转化到参数空间，通过在参数空间进行简单的累加统计来完成检测任务。Hough变换将原始图像中给定形状的直线或曲线变换成参数空间中的一个点，把直线或曲线的检测变换成寻找参数空间的峰点，这样就把检测整体特性(曲线的点集)变成检测局部特性(峰点)的问题。

Hough变换可应用于检测图像空间的解析曲线。解析曲线用参数表示的一般形式是：

f(X,P)＝0 (1)

对圆来说，半径为r，圆心坐标为(a,b)的圆在参数空间中的表示为：

(x_i-a)²+(y_i-b)²＝r² (2)

式(1)中，X＝[x_i,y_i]^T是解析曲线上的点，图像空间为二维；P＝[a,b,r]^T是参数空间中的点，参数空间为三维。式(2)在参数空间中表示一个三维锥面。它表明，图像空间中的圆对应着参数空间中的一个点，而图像空间中的一个点(x,y)，对应着参数空间中的一个三维直立圆锥，点(x,y)约束了通过该点一族圆的参数(a,b,r)。对于图像空间中的一个圆，它的半径是固定不变的，圆周上的各个点组成的集合在参数空间中就表现为r相等，而a,b不等的各个圆锥的集合，这些圆锥族相交于一点，该点即为对应于图像空间的圆心和半径。

图像空间与参数空间的映射关系是图像空间中圆上各点对应于参数空间中的一簇圆锥的交点，该交点的坐标对应圆心坐标和圆的半径。对参数空间适当量化，得到一个三维的累加器阵列，阵列中的每一个立方小格对应着参数(a,b,r)的离散值。对图像空间所存在的圆边界形状检测时，计算边缘图像上每点像素距离为r的所有点(a,b)，同时将对应(a,b,r)立方小格的累加器加1。改变r值再重复上述过程，当对全部边缘点变换完成后，对三维阵列的所有累加器的值进行检验，当累加器的值大于阈值时，则认为该参数(a,b,r)对应了图像空间中圆的圆心与半径。

对于数字图像，式(2)可写成：

|(x_i-a)²+(y_i-b)²-r²|≤ε (3)

式中，ε是考虑到对图像进行数字化和量化的补偿。

根据本发明摄像头与乘客的距离变化，可设置Hough圆变换时圆的半径r的变化范围为:5～15，单位为像素点。

通过该步骤，获得边缘图像中所有类圆的边缘曲线。

4)通过人头灰度直方图模板判断该类圆区域是否为人头

计算类圆区域内部的灰度直方图，此灰度直方图与之前确定的通用人头模板的灰度直方图进行匹配，若匹配值大于阈值，则认为该类圆区域为人头。因此时提供的模板为通用型模板，只是用于区分是不是人头，而不是特定的某个人头，所以，此时的阈值应尽量取得小些，以防漏检；但也不能取得太小，太小就会把非人头判定为人头了，如图6a和6b所示的效果图。

以φ_c(s)表示位置s的类圆区域的匹配程度，s的取值由区域中类圆的个数而定：

${\mathrm{\φ}}_c\left(s\right)=\frac{\underset{i=1}{\overset{n}{\Σ}}min\left(I_s\right(i),M(i\left)\right)}{\underset{i=1}{\overset{n}{\Σ}}M\left(i\right)}---\left(4\right)$

其中，I_s(i)为位置s的类圆区域的第i类像素值的像素点出现的次数，n为区域中出现的像素值的个数。M(i)为与待匹配类圆区域相同面积下的通用模板的灰度直方图。灰度直方图中像素值及像素值个数的选取以M(i)为准。

5)利用Mean Shift算法对图像中的人头进行跟踪

Mean shift(均值平移)算法是计算最优解的一个实用算法，具有快速和有效的特征。采用目标的颜色直方图作为搜索特征，通过不断迭代Mean Shift向量使得算法收敛于目标的真实位置，达到跟踪的目的。

本发明根据步骤4)检测到的人头位置和大小，确定被跟踪目标的区域，对初始目标区域内所有的像素点，计算特征空间中每个特征值的概率，称为目标模型的描述；对以后的可能存在目标候选区域的每帧图像计算其特征空间中每个特征值的概率，称为候选模型描述；利用相似性函数最大得到的关于目标的Mean Shift向量即是目标从初始位置向正确位置转移的向量；基于Mean Shift 算法的收敛性，在当前帧中不断迭代计算Mean Shift向量，最终该向量会收敛于一个位置，从而达到了跟踪的目的，具体如图7a和7b所示的效果图。

1、目标模型描述

通过预处理获得目标的位置和大小后，设定k(x)为核函数的轮廓函数，该函数是个同向性，单调递减的函数，它的作用是给目标模板区域的像素值设定权值。由于遮挡或是背景的影响，目标模型中心附近的像素比周围像素可靠，k(x)对中心的像素给一个大的权值，而远离中心的像素被赋予一个相对较小的权值，所以加权之后的目标模板像素在进行密度估计的时候增加了它的鲁棒性，提高了搜索能力。为了消除目标模板尺寸不同造成的影响，现假设所有的目标模板首先进行归一化处理，经过归一化后的目标模板长度分别为h_x和h_y，即为核函数的尺度，并且区域的中心坐标为(0，0)，定义b:R²→{1...m}为图像处的索引函数，即表示取出处像素对应的特征值。基于图像特征u＝1,...,m的目标模板概率函数可以通过下式计算得到：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|x_i^{*}\right|{|}^2)\mathrm{\δ}\[b\left(x_i^{*}\right)-u\]---\left(5\right)$

其中δ(x)是Delta函数，C为一个标准化常量系数，使得

$\underset{u=1}{\overset{m}{\Σ}}{\hat{q}}_u=1---\left(6\right)$

因此

$C=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|x_i^{*}\right|{|}^2)}---\left(7\right)$

2、候选模型描述

设{x_i},i＝1,...,n是候选目标区域的归一化像素位置，且候选目标的中心坐标是在被检测图像的y位置处，利用核宽为h的核函数k(x)。基于图像空间特征u＝1,...,m的候选目标概率函数可以通过以下公式得到：

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]---\left(8\right)$

其中归一化常数C_h为：

$C_h=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)}---\left(9\right)$

常数C_h，因为不依赖于y，y也是{x_i},i＝1,...,n的其中之一，所以常数C_h可以在给定核函数k(x)和其尺度h后提前计算，这里尺度h的选择被定义为候选目标的尺度。在实际运算过程中，也就是目标的尺寸。

3、相似性函数

相似性函数描述目标模型与目标候选之间的相似程度，在理想情况下两个模型的概率分布是完全一样的。这种函数有很多，本发明选择Bhattacharyya系数。

设目标模型为m值直方图，目标的离散密度函数估计为：

在目标y处的候选目标的密度函数估计：

这里定义目标模板和候选模板这两个离散分布的距离为：

$d\left(y\right)=\sqrt{1-\widehat{\mathrm{\ρ}}\left(y\right)}---\left(10\right)$

其中：

$\widehat{\mathrm{\ρ}}\left(y\right)=\mathrm{\ρ}\[p\left(y\right),q\]=\underset{u=1}{\overset{m}{\Σ}}\sqrt{{\hat{p}}_u\left(y\right){\hat{q}}_u}---\left(11\right)$

上式即为目标模板分布与候选模板分布的Bhattacharyya系数，其值在0～1之间，的值越大，表示两个模型越相似。

4、目标定位

为了准确的对帧中的目标进行定位，就要使Bhattacharyya系数最大，即关于目标模板分布和候选目标分布的距离函数d(y)应当最小化。定位过程也可以看成是从前一帧的目标模板的位置开始，在其领域内搜索目标的过程。由于距离函数d(y)是光滑的，所以通过利用均值矢量d(y)的梯度信息完成目标的定位。虽然这里使用的是目标的颜色信息，但是对于纹理、边缘或任何特征的组合，使用距离函数d(y)的最小化都是适用的。求d(y)最小化的过程是从前一帧的目标模板位置y₀处开始，在当前帧中搜索与之匹配的新的目标位置，因此，就要首先计算当前帧y₀处的候选目标的概率密度{p_u(y₀)},u＝1,...,m，对Bhattacharyya系数ρ(y)在y₀处用Taylor公式展开，考虑在通常情况下，由于两帧之间的时间间隔很短，所以可以保证候选目标与初始目标模板之间没有剧烈的变化，可以得到Taylor展开式。

式(11)在点泰勒展开可得：

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(y_0\right)q_u}+\frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}{p}_u\left(y\right)\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(12\right)$

把式(10)带入式(12)，整理可得，

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{m}{\Σ}}{w}_{i}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)---\left(13\right)$

其中，

$w_i=\underset{u=1}{\overset{m}{\Σ}}\mathrm{\δ}\[b\left(x_i\right)-u\]\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(14\right)$

可见，为了最小化式(10)中的距离，由于式(12)中的第一项与y无关，所以只需要对第二项进行最大化处理。令

$f=\frac{C_h}{2}\underset{i=1}{\overset{m}{\Σ}}{w}_{i}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)---\left(15\right)$

可以看出第二项就是在当前帧中利用核函数k(x)和图像像素的加权值计算得到的概率密度估计。利用均值偏移过程检测，当核k和g满足：

g(x)＝-k(x) (16)

从y₀处递归计算出新的目标位置y₁：

$y_1=\frac{\underset{i=1}{\overset{m}{\Σ}}{x}_i{\mathrm{\ω}}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\ω}}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}---\left(17\right)$

Mean Shift方法以y₀为起点，以两个模型相比颜色变换最大的方向移动，这优于一般算法中的盲搜索，一般在一帧中找到目标的位置，需要Mean Shift算法若干次迭代才能得到，具体迭代过程如下：

①初始化目标模板q_u；

②在当前帧中y₀处，计算{p_u(y₀)}，u＝1，...，m，由公式(13)计算目标模型和候选模型的相似度；

③计算权值w_i；

④由公式(3)寻找下一个位置y₁，计算y₁处的候选目标模型，重新计算ρ(y₁)；

⑤若ρ(y₁)＜ρ(y₀)，y₁←1/2(y₁+y₀)，若|y₁-y₀||＜e，停止计算；否则y₀←y₁，转步骤②循环计算。

6)计算每个乘客头部类圆区域的中心点的移动方向、移动速度

设乘客t-1时刻的头部中心点坐标为(x_t-1，y_t-1)，乘客t时刻的头部中心点坐标为(x_t，y_t)，则乘客在时刻t-1到t的运动速度为：

水平运动速度：v_t，x＝x_t-x_t-1

垂直运动速度：v_t，y＝y_t-y_t-1

速度标量：

运动方向：

图像中，类圆区域中心点的移动速度的意思是帧间间隔时间里，类圆区域中心点移动的像素个数，其单位为：像素点数/帧间图像间隔时间。

7)通过分析类圆区域中心点的移动方向和移动速度判断乘客的行为

本发明把乘客的行为分为若干常见行为，包括正常搭乘、快速行走、逆向搭乘、左右摇晃、摔倒、下蹲及乘客头部伸出扶手带，具体的判断方法如下：

①正常行为一：正常搭乘

乘客静止站立在手扶电梯上，随着扶梯的运动而运动，如图3所示。此时乘客头部的运动方向即为扶梯载客区的运动方向(斜向上30度到60度之间，取决于扶梯倾斜程度)，扶梯乘客头部的运动速度即为扶梯载客区的运动速度。或许乘客头部有轻微的摆动(摇头、点头)，但对乘客头部速度的影响很小。设扶梯的运行速度恒定为v_T，扶梯的运动方向为θ_T；

此时：|v_t,s-v_T|＜Th₁，θ_x,y＝θ_T，Th₁为阈值1，表征乘客头部中心点正常搭乘的速度范围；

②正常行为二：快速行走

乘客赶时间时，快速在扶梯上行走甚至奔跑。此时乘客头部的运动方向还是扶梯载客区的运动方向，乘客头部的运动速度比扶梯的运动速度快，乘客的运动速度在一定范围内变化，超过该范围也被视为异常；

此时：Th₁＜|v_t,s-v_T|＜Th₂，θ_x,y＝θ_T，Th₂为阈值2，表征乘客头部中心点正常快速行走的速度范围；

③异常行为一：逆向搭乘

逆向搭乘很容易造成摔倒及更严重的事故，因此应该示为异常，此时，扶梯乘客的运动方向与扶梯载客区的运动方向相反；

此时：θ_x,y＝-θ_T；

④异常行为二：乘客下蹲

扶梯上乘客一般不会下蹲，下蹲很有可能因为身体不适，会引起其他异常情况，也应该引起注意，此时，乘客头部的运动方向为垂直地面向下，垂直方向的运动速度剧增；

此时：v_t,y＞Th₃θ_x,y＝90°，Th₃为阈值3，表征下蹲乘客头部中心点的最小速度；

⑤异常行为三：乘客摔倒

扶梯上的乘客摔倒是很严重的异常行为，如图4所示，此时，乘客头部的运动方向是不规范的(不同方向的摔倒导致不同的运动方向)，但乘客头部垂直方向的运动速度会剧增；

此时：v_t,y＞Th₃此阈值与下蹲时的阈值相同；

⑥异常行为四：左右摇晃

乘客在搭乘电梯时左右摇晃很容易造成摔倒等一系列事故，应被视为异常，此时，乘客头部的运动方向为垂直扶梯载客区运动的方向，正常情况下，该方向的运动速度应该是非常小的；

此时，|v_t,x|＞Th₄，此阈值为水平方向左右运动的最小速度；

⑦异常行为五：乘客头部伸出扶手带

乘客头部伸出扶手带。乘客头部伸出扶手带很可能造成重心不稳，导致摔倒；也有可能撞击到扶梯以外的建筑上，此时，乘客头部的中心点不在扶梯载客区范围内；

此时，x＜x_minor x＞x_max；

其中，x_min为扶梯载客区的最小横坐标，x_max为扶梯载客区的最大横坐标；

同一乘客在图像中的大小并不是一成不变的，与乘客离摄像头的距离有关，乘客离摄像头越近，乘客在图像中就越大，因此，本发明通过人头类圆区域的面积来自适应更新阈值；

设S_T为标准人头椭圆模板的面积，T₁,T₂,T₃,T₄为标准阈值，S_x,y为以(x,y)为中心点的当前类圆区域人头的面积；

则阈值更新方法为：

${\mathrm{Th}}_1=\frac{S_{x,y}}{S_T}\·T_1,{\mathrm{Th}}_2=\frac{S_{x,y}}{S_T}\·T_2,$

${\mathrm{Th}}_3=\frac{S_{x,y}}{S_T}\·T_3,{\mathrm{Th}}_4=\frac{S_{x,y}}{S_T}\·T_4.$

本实施例中，每隔10帧计算一次乘客的运动方向和运动速度并且更新四个阈值。通过反复实验以下参数能取得较好的识别效果，此时：T₁＝5,T₂＝15,T₃＝30,T₄＝10。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于机器视觉的手扶电梯乘客异常行为检测算法，其特征在于：主要是通过分析手扶电梯上乘客头部的运动方向和运动速度来判断乘客的行为有无异常，包括以下步骤：

1)视频图像采集；

2)对采集的图像进行Canny边缘检测；

3)利用Hough圆变换找出边缘图像中的类圆区域；

4)通过人头灰度直方图模板判断该类圆区域是否为人头；

5)利用Mean Shift算法对图像中的人头进行跟踪；

6)计算每个乘客头部类圆区域的中心点的移动方向、移动速度；

7)通过分析类圆区域中心点的移动方向和移动速度判断乘客的行为。

2.根据权利要求1所述的一种基于机器视觉的手扶电梯乘客异常行为检测算法，其特征在于：在步骤1)中，采用摄像头进行图像采集，摄像头安装在手扶电梯运动方向的反向斜上方，其视角要求覆盖整个手扶电梯载客区，以保证能采集到所有在载客区上的乘客的头顶或者后脑勺的图像。

3.根据权利要求1所述的一种基于机器视觉的手扶电梯乘客异常行为检测算法，其特征在于，在步骤2)中，进行Canny边缘检测包括以下步骤：

2.1)去噪声

主要使用高斯函数对图像进行平滑滤波，将高斯函数做成滤波模板，具体如下：

$Mask=\frac{1}{159}*\left[\begin{array}{ccccc}2& 4& 5& 4& 2\\ 4& 9& 12& 9& 4\\ 5& 12& 15& 12& 5\\ 4& 9& 12& 9& 4\\ 2& 4& 5& 4& 2\end{array}\right]$

$f(x,y)=I(x,y)\⊗Mask$

其中，I(x,y)为原图像，f(x,y)为高斯滤波后的图像；

2.2)计算梯度值与方向角

分别求取去噪声后图像在x方向和y方向的梯度值M_x和M_y，求取梯度通过使用Sobel模板和图像进行卷积完成，用S_x表示x方向的Sobel模板，用S_y表示y方向的Sobel模板；

$S_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]$

$S_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ +1& +2& +1\end{array}\right]$

则：

梯度值|Δf|：

梯度方向角θ：θ＝arctan(M_y/M_x)

将0～360度梯度方向角分为4个方向，分别对应水平方向、垂直方向、正对角线方向及逆对角线方向；

2.3)非最大值抑制

将那些在梯度方向具有最大梯度值的像元作为边缘像素点保留，将其他像素点删除；

结合步骤2.2)得到的每个像素点的梯度值和方向角，检查围绕点(x,y)的3*3范围内的像素点像素值：

若θ＝0°，那么比较像素点(x+1,y)、(x,y)、(x-1,y)的像素值；

若θ＝90°，那么比较像素点(x,y+1)、(x,y)、(x,y-1)的像素值；

若θ＝45°，那么比较像素点(x+1,y+1)、(x,y)、(x-1,y-1)的像素值；

若θ＝135°，那么比较像素点(x+1,y-1)、(x,y)、(x-1,y+1)的像素值；

如果点(x,y)的梯度值都大于其他两个点的梯度值，那么，点(x,y)就被认为是边缘中心点并被标记为边缘，否则，点(x,y)就不被认为是边缘中心点而被删除；

2.4)滞后阈值化

滞后阈值化设定两个阈值：一个为高阈值，另一个为低阈值；如果任何像素对边缘的影响超过高阈值，将这些像素标记为边缘；响应超过低阈值的像素，如果与已经标为边缘的像素邻接，则将这些像素也标记为边缘；这个过程反复迭代，将剩下的孤立的响应超过低阈值的像素则视为噪声，不再标记为边缘。

4.根据权利要求1所述的一种基于机器视觉的手扶电梯乘客异常行为检测算法，其特征在于：在步骤3)中，Hough变换将原始图像中给定形状的直线或曲线变换成参数空间中的一个点，把直线或曲线的检测变换成寻找参数空间的峰点，这样就把检测整体特性即曲线的点集变成检测局部特性即峰点的问题；

将Hough变换应用于检测图像空间的解析曲线，解析曲线用参数表示是：

f(X,P)＝0 (1)

对圆来说，半径为r，圆心坐标为(a,b)的圆在参数空间中的表示为：

(x_i-a)²+(y_i-b)²＝r² (2)

式(1)中，X＝[x_i,y_i]^T是解析曲线上的点，图像空间为二维；P＝[a,b,r]^T是参数空间中的点，参数空间为三维；式(2)在参数空间中表示一个三维锥面，它表明，图像空间中的圆对应着参数空间中的一个点，而图像空间中的一个点(x,y)，对应着参数空间中的一个三维直立圆锥，点(x,y)约束了通过该点一族圆的参数(a,b,r)；对于图像空间中的一个圆，它的半径是固定不变的，圆周上的各个点组成的集合在参数空间中就表现为r相等，而a,b不等的各个圆锥的集合，这些圆锥族相交于一点，该点即为对应于图像空间的圆心和半径；

图像空间与参数空间的映射关系是图像空间中圆上各点对应于参数空间中的一簇圆锥的交点，该交点的坐标对应圆心坐标和圆的半径；对参数空间量化，得到一个三维的累加器阵列，阵列中的每一个立方小格对应着参数(a,b,r)的离散值；对图像空间所存在的圆边界形状检测时，计算边缘图像上每点像素距离为r的所有点(a,b)，同时将对应(a,b,r)立方小格的累加器加1；改变r值再重复上述过程，当对全部边缘点变换完成后，对三维阵列的所有累加器的值进行检验，当累加器的值大于阈值时，则认为该参数(a,b,r)对应了图像空间中圆的圆心与半径；

对于数字图像，式(2)写成：

|(x_i-a)²+(y_i-b)²-r²|≤ε (3)

式中，ε是考虑到对图像进行数字化和量化的补偿；

根据步骤1)中视频图像采集所采用的摄像头与乘客的距离变化，设置Hough圆变换时圆的半径r的变化范围为:5～15，单位为像素点；

在步骤4)中，计算类圆区域内部的灰度直方图，此灰度直方图与通用人头模板的灰度直方图进行匹配，若匹配值大于阈值，则认为该类圆区域为人头；

以φ_c(s)表示位置s的类圆区域的匹配程度，s的取值由区域中类圆的个数而定：

${\mathrm{\φ}}_c\left(s\right)=\frac{\underset{i=1}{\overset{n}{\Σ}}min\left(I_s\right(i),M(i\left)\right)}{\underset{i=1}{\overset{n}{\Σ}}M\left(i\right)}---\left(4\right)$

其中，I_s(i)为位置s的类圆区域的第i类像素值的像素点出现的次数，n为区域中出现的像素值的个数，M(i)为与待匹配类圆区域相同面积下的通用模板的灰度直方图，灰度直方图中像素值及像素值个数的选取以M(i)为准；

在步骤5)中，根据步骤4)检测到的人头位置和大小，确定被跟踪目标的区域，对初始目标区域内所有的像素点，计算特征空间中每个特征值的概率，称为目标模型的描述；对以后的可能存在目标候选区域的每帧图像计算其特征空间中每个特征值的概率，称为候选模型描述；利用相似性函数最大得到的关于目标的Mean Shift向量即是目标从初始位置向正确位置转移的向量；基于Mean Shift算法的收敛性，在当前帧中不断迭代计算Mean Shift向量，最终该向量会收敛于一个位置，从而达到了跟踪的目的；

目标模型描述，如下：

通过预处理获得目标的位置和大小后，设定k(x)为核函数的轮廓函数，该函数是个同向性，单调递减的函数，它的作用是给目标模板区域的像素值设定权值，由于遮挡或是背景的影响，目标模型中心附近的像素比周围像素可靠，k(x)对中心的像素给一个大的权值，而远离中心的像素被赋予一个相对较小的权值，所以加权之后的目标模板像素在进行密度估计的时候增加了它的鲁棒性，提高了搜索能力，为了消除目标模板尺寸不同造成的影响，现假设所有的目标模板首先进行归一化处理，经过归一化后的目标模板长度分别为h_x和h_y，即为核函数的尺度，并且区域的中心坐标为(0，0)，定义b:R²→{1...m}为图像处的索引函数，即表示取出处像素对应的特征值，基于图像特征u＝1,...,m的目标模板概率函数通过下式计算得到：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|x_i^{*}\right|{|}^2)\mathrm{\δ}\[b\left(x_i^{*}\right)-u\]---\left(5\right)$

其中δ(x)是Delta函数，C为一个标准化常量系数，使得

$\underset{u=1}{\overset{m}{\Σ}}{\hat{q}}_u=1---\left(6\right)$

因此，

$C=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|x_i^{*}\right|{|}^2)}---\left(7\right)$

候选模型描述，如下：

设{x_i},i＝1,...,n是候选目标区域的归一化像素位置，且候选目标的中心坐标是在被检测图像的y位置处，利用核宽为h的核函数k(x)，基于图像空间特征u＝1,...,m的候选目标概率函数通过以下公式得到：

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]---\left(8\right)$

其中归一化常数C_h为：

$C_h=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)}---\left(9\right)$

常数C_h，因为不依赖于y，y也是{x_i},i＝1,...,n的其中之一，所以常数C_h能够在给定核函数k(x)和其尺度h后提前计算，这里尺度h的选择被定义为候选目标的尺度，在实际运算过程中，也就是目标的尺寸；

相似性函数，如下：

相似性函数描述目标模型与目标候选之间的相似程度，设目标模型为m值直方图，目标的离散密度函数估计为：

在目标y处的候选目标的密度函数估计：

这里定义目标模板和候选模板这两个离散分布的距离为：

$d\left(y\right)=\sqrt{1-\widehat{\mathrm{\ρ}}\left(y\right)}---\left(10\right)$

其中：

$\widehat{\mathrm{\ρ}}\left(y\right)=\mathrm{\ρ}\[p\left(y\right),q\]=\underset{u=1}{\overset{m}{\Σ}}\sqrt{{\hat{p}}_u\left(y\right){\hat{q}}_u}---\left(11\right)$

上式即为目标模板分布与候选模板分布的Bhattacharyya系数，其值在0～1之间，的值越大，表示两个模型越相似；

目标定位，如下：

为了准确的对帧中的目标进行定位，就要使Bhattacharyya系数最大，即关于目标模板分布和候选目标分布的距离函数d(y)应当最小化；定位过程看成是从前一帧的目标模板的位置开始，在其领域内搜索目标的过程；由于距离函数d(y)是光滑的，所以通过利用均值矢量d(y)的梯度信息完成目标的定位；虽然这里使用的是目标的颜色信息，但是对于纹理、边缘或任何特征的组合，使用距离函数d(y)的最小化都是适用的；求d(y)最小化的过程是从前一帧的目标模板位置y₀处开始，在当前帧中搜索与之匹配的新的目标位置，因此，就要首先计算当前帧y₀处的候选目标的概率密度{p_u(y₀)},u＝1,...,m，对Bhattacharyya系数ρ(y)在y₀处用Taylor公式展开，考虑在通常情况下，由于两帧之间的时间间隔很短，所以能够保证候选目标与初始目标模板之间没有剧烈的变化，得到Taylor展开式；

式(11)在点泰勒展开可得：

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(y_0\right)q_u}+\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}{p}_u\left(y\right)\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(12\right)$

把式(10)带入式(12)，整理可得，

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{m}{\Σ}}{w}_{i}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)---\left(13\right)$

其中，

$w_i=\underset{u=1}{\overset{m}{\Σ}}\mathrm{\δ}\[b\left(x_i\right)-u\]\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(14\right)$

为了最小化式(10)中的距离，由于式(12)中的第一项与y无关，所以只需要对第二项进行最大化处理；令

$f=\frac{C_h}{2}\underset{i=1}{\overset{m}{\Σ}}{w}_{i}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)---\left(15\right)$

能够看出第二项就是在当前帧中利用核函数k(x)和图像像素的加权值计算得到的概率密度估计，利用均值偏移过程检测，当核k和g满足：

g(x)＝-k(x) (16)

从y₀处递归计算出新的目标位置y₁：

$y_1=\frac{\underset{i=1}{\overset{m}{\Σ}}{x}_i{\mathrm{\ω}}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\ω}}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}---\left(17\right)$

Mean Shift方法以y₀为起点，以两个模型相比颜色变换最大的方向移动，这优于一般算法中的盲搜索，通常在一帧中找到目标的位置，需要Mean Shift算法若干次迭代才能得到，具体迭代过程如下：

①初始化目标模板q_u；

②在当前帧中y₀处，计算{p_u(y₀)},u＝1,...,m，由公式(13)计算目标模型和候选模型的相似度；

③计算权值w_i；

④由公式(3)寻找下一个位置y₁，计算y₁处的候选目标模型，重新计算ρ(y₁)；

⑤若ρ(y₁)＜ρ(y₀)，y₁←1/2(y₁+y₀)，若|y₁-y₀||＜e，停止计算；否则y₀←y₁，转步骤②循环计算。

5.根据权利要求1所述的一种基于机器视觉的手扶电梯乘客异常行为检测算法，其特征在于：在步骤6)中，设乘客t-1时刻的头部中心点坐标为(x_t-1，y_t-1)，乘客t时刻的头部中心点坐标为(x_t,y_t)，则乘客在时刻t-1到t的运动速度为：

水平运动速度：v_t,x＝x_t-x_t-1

垂直运动速度：v_t,y＝y_t-y_t-1

速度标量：

运动方向：

图像中，类圆区域中心点的移动速度的意思是帧间间隔时间里，类圆区域中心点移动的像素个数，其单位为：像素点数/帧间图像间隔时间。

6.根据权利要求1所述的一种基于机器视觉的手扶电梯乘客异常行为检测算法，其特征在于，在步骤7)中，乘客的行为包括：正常搭乘、快速行走、逆向搭乘、左右摇晃、摔倒、下蹲及乘客头部伸出扶手带，具体的判断方法如下：

①正常行为一：正常搭乘

乘客静止站立在手扶电梯上，随着扶梯的运动而运动，此时乘客头部的运动方向即为扶梯载客区的运动方向，具体为斜向上30度到60度之间，取决于扶梯倾斜程度，扶梯乘客头部的运动速度即为扶梯载客区的运动速度，设扶梯的运行速度恒定为v_T，扶梯的运动方向为θ_T；

此时：|v_t,s-v_T|＜Th₁，θ_x,y＝θ_T，Th₁为阈值1，表征乘客头部中心点正常搭乘的速度范围；

②正常行为二：快速行走

乘客赶时间时，快速在扶梯上行走甚至奔跑；此时乘客头部的运动方向还是扶梯载客区的运动方向，乘客头部的运动速度比扶梯的运动速度快，乘客的运动速度在一定范围内变化，超过该范围也被视为异常；

此时：Th₁＜|v_t,s-v_T|＜Th₂，θ_x,y＝θ_T，Th₂为阈值2，表征乘客头部中心点正常快速行走的速度范围；

③异常行为一：逆向搭乘

逆向搭乘很容易造成摔倒及更严重的事故，因此应该示为异常；此时，扶梯乘客的运动方向与扶梯载客区的运动方向相反；

此时：θ_x,y＝-θ_T；

④异常行为二：乘客下蹲

扶梯上乘客通常不会下蹲，下蹲很有可能因为身体不适，会引起其他异常情况，也应该引起注意；此时，乘客头部的运动方向为垂直地面向下，垂直方向的运动速度剧增；

此时：v_t,y＞Th₃θ_x,y＝90°，Th₃为阈值3，表征下蹲乘客头部中心点的最小速度；

⑤异常行为三：乘客摔倒

扶梯上的乘客摔倒是很严重的异常行为，此时，乘客头部的运动方向是不规范的，但乘客头部垂直方向的运动速度会剧增；

此时：v_t,y＞Th₃此阈值与下蹲时的阈值相同；

⑥异常行为四：左右摇晃

乘客在搭乘电梯时左右摇晃很容易造成摔倒，应被视为异常，此时，乘客头部的运动方向为垂直扶梯载客区运动的方向，正常情况下，该方向的运动速度应该是非常小的；

此时，|v_t,x|＞Th₄，此阈值为水平方向左右运动的最小速度；

⑦异常行为五：乘客头部伸出扶手带

乘客头部伸出扶手带很可能造成重心不稳，导致摔倒；也有可能撞击到扶梯以外的建筑上；此时，乘客头部的中心点不在扶梯载客区范围内；

此时，x＜x_min or x＞x_max；

其中，x_min为扶梯载客区的最小横坐标，x_max为扶梯载客区的最大横坐标；

同一乘客在图像中的大小并不是一成不变的，与乘客离摄像头的距离有关，乘客离步骤1)中视频图像采集所采用的摄像头越近，乘客在图像中就越大，因此，通过人头类圆区域的面积来自适应更新阈值；

设S_T为标准人头椭圆模板的面积，T₁,T₂,T₃,T₄为标准阈值，S_x,y为以(x,y)为中心点的当前类圆区域人头的面积；

则阈值更新方法为：

${\mathrm{Th}}_1=\frac{S_{x,y}}{S_T}\·T_1,{\mathrm{Th}}_2=\frac{S_{x,y}}{S_T}\·T_2,$

${\mathrm{Th}}_3=\frac{S_{x,y}}{S_T}\·T_3,{\mathrm{Th}}_4=\frac{S_{x,y}}{S_T}\·T_4.$