CN107273852A - 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法 - Google Patents

基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法 Download PDF

Info

Publication number
CN107273852A
CN107273852A CN201710455837.9A CN201710455837A CN107273852A CN 107273852 A CN107273852 A CN 107273852A CN 201710455837 A CN201710455837 A CN 201710455837A CN 107273852 A CN107273852 A CN 107273852A
Authority
CN
China
Prior art keywords
mrow
msub
mtr
mtd
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710455837.9A
Other languages
English (en)
Inventor
杜启亮
黎浩正
余陆斌
田联房
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710455837.9A priority Critical patent/CN107273852A/zh
Publication of CN107273852A publication Critical patent/CN107273852A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，包括步骤：1)视频图像采集；2)利用CodeBook算法建立背景模型，提取物件及乘客前景图像；3)利用HOG描述子对前景图像进行人头特征提取；4)利用AdaBoost级联分类器对前景图像进行人头检测；5)利用Kalman滤波器对乘客目标进行跟踪；6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合；7)剔除6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪；8)通过分析物件及乘客中心坐标的运动速度和运动方向判断二者的行为。通过本发明算法可以对手扶电梯楼层板上的物件及乘客行为进行检测与分析，当出现异常时能够及时启动应急方案，将异常情况的潜在危害降至最低。

Description

基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
技术领域
本发明涉及图像模式识别领域及电梯生产技术领域，尤其是指一种基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法。
背景技术
随着科学技术的快速发展和人们安全意识的日益提高，视频监控成为公共管理与决策的有效辅助手段。在手扶电梯越来越普及的现代社会，随之而来的是各种各样的安全问题，如今对手扶电梯的视频监控，大多停留在以图像信息为主要内容的人工监控阶段。当异常或事故发生的时候，监控人员往往因为无法及时反应或采取相应措施而使事态恶化，而在人力成本越来越高的今天，为每台手扶电梯配置应急人员是不可能的。因此，一套能够自动检测异常或事故并通知监控人员的手扶电梯视频监控算法显得尤为重要。本发明采用视频监控图像对手扶电梯楼层板上的物件及乘客行为进行检测与分析，当出现异常时能够及时启动应急方案，将异常情况的潜在危害降至最低。
安装在手扶电梯楼层板正上方的摄像头能够实时获取该区域的视频图像，并通过分析图像中物件及乘客的行为判断手扶电梯是否发生异常，当发生异常时视频监控系统能够及时将信息反馈至手扶电梯控制台，控制台根据不同的异常状态启动相应的处理方案。该系统包括图像采集、图像处理、模式识别、行为分析、异常预警五个模块。目前，在国内针对手扶电梯的机器视觉监控技术研究还比较少，鉴于其准确直观和成本低廉的优点，需要加快相应技术的研发，降低手扶电梯安全事故的发生率。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，可以实时监控手扶电梯楼层板上物件及乘客的状态行为。
为实现上述目的，本发明所提供的技术方案为：一种基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，主要是通过分析手扶电梯上物件及乘客的运动速度和运动方向来判断二者的行为，包括以下步骤：
1)视频图像采集；
2)利用CodeBook算法建立背景模型，提取物件及乘客前景图像；
3)利用HOG描述子对前景图像进行人头特征提取；
4)利用AdaBoost级联分类器对前景图像进行人头检测；
5)利用Kalman滤波器对乘客目标进行跟踪；
6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合；
7)剔除步骤6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪；
8)通过分析物件及乘客中心坐标的运动速度和运动方向判断二者的行为。
在步骤1)中，采用摄像头进行图像采集，摄像头安装在手扶电梯楼层板的正上方，其拍摄方向要求垂直于楼层板平面，以保证摄像头的镜头畸变最小；摄像头视角要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客头顶的图像。
在步骤2)中，利用CodeBook算法建立背景模型并提取物件及乘客前景图像，包括以下步骤：
2.1)建立CodeBook结构
为当前图像的每一个像素建立一个CodeBook(简称CB)结构，每个CodeBook结构又由多个CodeWord(简称CW)组成，CB和CW的形式如下：
CB＝{CW1,CW2,…,CWn,t}
CW＝{IH,IL,Imax,Imin,tlast,tst}
式中，一个CB包含n个CW，分别为CW1,CW2,…,CWn，t为CB更新次数，CW为一个六元组，IH和IL为背景更新时的学习上下界，Imax和Imin为当前像素的最大值和最小值，tlast为上一次更新时间；tst为陈旧时间，记录该CW多久未被访问；
设背景模型的增长阈值为IB，图像中的某一像素为I(x,y)，其中x和y分别是像素的横坐标和纵坐标，则该像素的CB更新算法如下：
①CB的访问次数加1；
②历遍CB中的每个CW，如果存在一个CW的IH、IL使得IL≤I(x,y)≤IH，则转④；
③建立一个新的CW加入到该CB中，Imax和Imin均赋值为I(x,y)，IH赋值为I(x,y)+IB，IL赋值为I(x,y)-IB，转⑥；
④更新该CW的tlast，若I(x,y)＞Imax，则Imax赋值为I(x,y)，若I(x,y)＜Imin，则Imin赋值为I(x,y)；
⑤更新该CW的学习上下界，若I(x,y)+IB＞IH，则IH加1，若I(x,y)-IB＜IL，则IL减1；
⑥更新CB中的每个tst；
2.2)建立背景模型
选择一帧或多帧使用CB更新算法建立背景模型，背景建立帧数为视频采集帧率值的1～2倍；
2.3)提取物件及乘客前景图像
设前景图像的判定阈值上下界为IMmax和IMmin，图像中的某一像素为I(x,y)，历遍CB背景模型中的每个CW，如果存在一个CW的Imax、Imin使得Imin-IMmin＜I(x,y)＜Imax+IMmax，则I(x,y)为背景像素，否则为前景像素；
2.4)更新背景模型
隔设定的帧数使用CB更新算法更新背景模型，同时对背景模型进行时间滤波，设更新阈值为更新次数的一半，图像中的某一像素为I(x,y)，历遍CB中的每个CW，若陈旧时间tst大于更新阈值，则移除该CW。
在步骤3)中，利用HOG描述子对前景图像进行人头特征提取，这样就把手扶电梯楼层板乘客检测问题转化为人头轮廓检测问题，HOG描述子通过计算和统计图像局部区域的梯度方向直方图来构成特征，HOG特征提取包括以下步骤：
3.1)图像规范化
对前景图像进行Gamma压缩，Gamma压缩公式为：
I(x,y)＝I(x,y)Gamma
其中，Gamma为压缩因子，Gamma压缩能够有效抑制图像中的光照变化；
3.2)计算图像梯度
历遍前景图像的每个像素，计算每个像素的梯度向量，设水平边缘算子为[-1 01]，垂直边缘算子为[-1 0 1]T，则像素I(x,y)的方向梯度为下式所示，其中x和y分别是像素的横坐标和纵坐标，I(x-1,y)、I(x+1,y)、I(x,y-1)和I(x,y+1)分别是像素I(x,y)左方、右方、上方和下方相邻像素：
Gx(x,y)＝-I(x-1,y)+I(x+1,y)
Gy(x,y)＝-I(x,y-1)+I(x,y+1)
式中，Gx(x,y)为水平方向梯度，Gy(x,y)为垂直方向梯度，其中x和y分别是他们所计算的像素的横坐标和纵坐标，则像素I(x,y)的梯度为：
式中，G(x,y)为梯度的幅值，α(x,y)为梯度的方向，x和y分别是他们所计算的像素的横坐标和纵坐标；
3.3)建立方向直方图
将前景图像分割为若干胞元Cell，采用Nbin个方向的直方图统计该Cell的梯度信息，相当于将Cell的梯度方向由360度分为Nbin个方向块，以梯度幅值作为权值对各个方向块进行投票，得到该Cell的方向直方图，此时每一个Cell对应一个Nbin维的特征向量；
3.4)胞元合并及规范化
把若干个Cell合并为连通的块Block，Block是互相重叠的，因此每一个Cell的特征会以不同的结果多次出现在最后的特征向量中，此时每一个规范化后的Block描述符即HOG描述子对应一个特征向量；
3.5)HOG特征提取
利用滑动窗算法对前景图像进行人头特征提取。
在步骤4)中，选择结构简单的AdaBoost级联分类器对前景图像进行人头检测，在保证检测准确率的同时，提高算法的实时性能；AdaBoost分类器的核心思想是对同一个训练集训练不同的弱分类器，然后把弱分类器级联为强分类器，包括以下步骤：
4.1)初始化训练集权重
设训练样本集T＝{(x1,y1),(x2,y2),...,(xN,yN)}，样本总数为N，其中(xi,yi)是第i个训练样本，i＝1,2,...,N，xi是它的特征向量，yi是它的标签，yi的取值是-1或+1，D1为第一轮迭代过程中的分类器权重分布，第一轮迭代过程一共有N个权重，分别为w11,w12,...,w1N，在第一轮迭代中它们全都被初始化为如下所示：
D1＝{w11,w12,...,w1N}
4.2)训练弱分类器
如果某一个训练样本已被正确分类，则在下一轮训练过程中降低该样本的权重；相反，如果不存在一个弱分类器能够将该训练样本正确分类，则在下一轮训练过程中提高该样本的权重，设m＝1,2,...,M为迭代次数，Dm表示第m轮迭代过程中的分类器权重分布，第m轮迭代过程一共有N个权重，分别为wm1,wm2,...,wmN，选取误差最小原则设计弱分类器：
Dm＝{wm1,wm2,...,wmN}
em＝P(Gm(xi)≠yi)
式中，em为第m轮迭代过程的误差率，Gm(xi)为第m轮迭代过程中，弱分类器将向量xi映射到分类标签的分类结果，P(Gm(xi)≠yi)表示第m轮迭代过程中第i个训练样本的特征向量xi没有被正确映射到第i个训练样本的标签yi的概率，即误分类样本的权重之和；em决定了弱分类器Gm在强分类器中的权重αm，αm是第m轮迭代过程中的权重：
误差率em≤0.5时，αm≥0且随着em的减小而增大，可见误差率越小的弱分类器在强分类器中的权重越大；设Zm为第m轮迭代过程中的规范化因子，更新训练集权重分布用于下一轮迭代，下一轮指的是第m+1轮，Dm+1表示第m+1轮迭代过程中的分类器权重分布，第m+1轮迭代过程一共有N个权重，分别为wm+1,1,wm+1,2,...,wm+1,N，而在第m轮迭代过程中一共有N个权重，分别为wm1,wm2,...,wmN：
Dm+1＝{wm+1,1,wm+1,2,...,wm+1,N}
4.3)弱分类器级联为强分类器
强分类器为弱分类器的线性组合，误差率越小的弱分类器在强分类器中的权重越大：
式中，关于特征向量x的函数f(x)为强分类器，αm是第m轮迭代过程中的权重，Gm(x)为第m轮迭代过程中，弱分类器将向量x映射到分类标签的分类结果。
在步骤5)中，Kalman滤波器是一种拥有状态估计功能的滤波器，通过时间更新与状态更新共五个核心方程，Kalman滤波器能够预测下一时刻的系统状态，从而完成对乘客目标的跟踪任务；
设以下动态系统是线性的：
对中心坐标Pp＝(xp,yp)，xp和yp分别是它的横纵坐标，x(k)＝[xp yp Δxp Δyp]T为系统在k时刻的状态变量，x(k-1)为系统在k-1时刻的状态变量，Δxp和Δyp为xp和yp的变化量，y(k)＝[xp yp]T为系统在k时刻的观测变量，A为状态估计矩阵，H为观测矩阵，q和r分别为估计噪声和观测噪声，符合高斯分布；
Kalman滤波器时间与状态共五个核心更新方程如下：
其中，xg(k)为k时刻的状态预测值，x(k-1)为k-1时刻的状态值，P(k)'为k时刻的先验误差协方差矩阵，P(k-1)为k-1时刻的后验误差协方差矩阵，Q为q的协方差矩阵，K(k)为k时刻的增益，R为r的协方差矩阵，P(k)为k时刻的后验误差协方差矩阵；
因此，选择乘客人头的运动特征向量作为Kalman滤波器的状态变量，通过迭代计算五条核心方程，状态变量最终将收敛至最优估计，就能够达到对乘客目标进行跟踪的目的。
在步骤6)中，首先利用邻域搜索算法对前景图像进行轮廓检测，之后利用Fitzgibbon算法对每一个轮廓进行椭圆拟合；加入椭圆长短轴比值和面积这些先验条件进行目标校正，利用Fitzgibbon算法得到同时包含物件目标和乘客目标的前景图像，在步骤5)中已经得到乘客目标中心坐标，在步骤7)中，首先剔除6)中的乘客目标，利用Kalman滤波器对剩下的物件目标进行跟踪，得到物件目标中心坐标；
至此，算法分别对物件目标与乘客目标进行了跟踪，得到了两类运动目标的中心坐标，设取样帧数为n，P(k)＝(x(k),y(k))为k时刻目标中心坐标，x(k)和y(k)为横纵坐标，P(k-n)＝(x(k-n),y(k-n))为k-n时刻目标中心坐标，x(k-n)和y(k-n)为横纵坐标，计算两类运动目标k时刻的运动速度和运动方向如下：
式中，v(k)和θ(k)分别是k时刻的运动速度和k时刻的运动方向。
在步骤8)中，目标的行为包括四种：正常移动、快速移动、逆向移动和拥堵阻塞，具体判断方法如下：
①正常移动
正常情况下，目标搭乘手扶电梯到达楼层板后，只能向手扶电梯的前进方向移动，具体为以前进方向为对称轴的半圆内；以视频图像中心点为极点，手扶电梯前进方向为极轴建立极坐标系，设逆时针方向为正方向，此时目标的运动速度与运动方向特征为：
式中，vH1和vL1分别为目标正常移动时的运动速度判定阈值上下限；
②快速移动
当目标快速移动时，其运动速度与运动方向特征为：
式中，vH2和vL2分别为物件快速移动时的运动速度判定阈值上下限，vL2＞vH1；
③逆向移动
当目标到达手扶电梯楼层板后逆向返回正在前进的手扶电梯时，其运动速度与运动方向特征为：
式中，vH3和vL3分别为物件逆向移动时的运动速度判定阈值上下限，vL3＞vH1；
④拥堵阻塞
当手扶电梯搭乘高峰期时，大量乘客到达手扶电梯楼层板后拥堵在原地或缓慢前进，或者当物件目标被遗留在楼层板造成阻塞时，目标将长时间静止或缓慢移动，设k时刻Kalman滤波器跟踪强度为confi(k)，该参数描述运动目标被跟踪的持续时间，此时物件的运动速度与跟踪强度特征为：
式中，vH4为物件遗留或堵塞时的运动速度判定阈值上限，vH4＜＜vL1，confiL为拥堵阻塞时的Kalman跟踪强度判定阈值下限。
本发明与现有技术相比，具有如下优点与有益效果：
本发明可以对手扶电梯进行实时监控，能检测视频图像中物件及乘客的行为状态，并将异常情况反馈至手扶电梯控制台，协助控制台根据不同的异常状态启动相应的处理方案；通过跟踪物件轮廓计算其运动速度和运动方向，判断物件滞留或堵塞状态；通过跟踪乘客人头计算其运动速度和运动方向，判断乘客异常运动状态和客流拥堵情况。总之，通过本发明算法可以有效避免异常情况发生后的次生事故，将其潜在危害降至最低，提高手扶电梯的安全质量。
附图说明
图1为本发明算法流程图。
图2为摄像头的安装位置示意图。
图3为视频监控原始图像。
图4为物件及乘客前景图像。
图5为人头检测效果图。
图6为人头跟踪效果图。
图7为前景图像轮廓检测效果图。
图8为前景图像椭圆拟合效果图。
图9为物件检测效果图。
图10为物件跟踪效果图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所述的基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，主要是通过分析手扶电梯楼层板上物件及乘客的运动速度和运动方向来判断二者的行为。在本算法中，对乘客的人头作特征提取、检测与跟踪，因为人头有类似椭圆的形状，而且灰度值相对于人头的正面来说，更加单一，更容易识别，因此，摄像头应该安装在手扶电梯楼层板的正上方，如图2所示，其具体情况如下：
1)视频图像采集
采用单摄像头进行图像采集，摄像头安装在手扶电梯楼层板的正上方，其拍摄方向要求垂直于楼层板平面，以保证摄像头的镜头畸变最小；其视角要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客头顶的图像。本算法中采用的摄像头为PAL制式的标清摄像头，分辨率为480*272，帧率为25。根据上述要求，采集的原始视频图像如图3所示。
2)利用CodeBook算法建立背景模型，提取物件及乘客前景图像
前景图像是指图像中不含背景的运动目标部分，是需要检测与跟踪的目标，利用CodeBook算法建立背景模型，从而提取包含物件及乘客的前景图像，为在下一步的乘客检测与跟踪做准备。通过该算法提取的前景图像，背景噪声较小，前景边缘精确，如图4所示。
利用CodeBook算法建立背景模型并提取物件及乘客前景图像包括以下步骤：
2.1)建立CodeBook结构
为当前图像的每一个像素建立一个CodeBook(简称CB)结构，每个CodeBook结构又由多个CodeWord(简称CW)组成，CB和CW的形式如下：
CB＝{CW1,CW2,…,CWn,t}
CW＝{IH,IL,Imax,Imin,tlast,tst}
其中n为一个CB中所包含的CW数目，t为CB更新次数。CW为一个六元组，IH和IL为背景更新时的学习上下界，Imax和Imin为当前像素的最大值和最小值，tlast为上一次更新时间，tst为陈旧时间(记录该CW多久未被访问)。
设背景模型的增长阈值为IB，图像中的某一像素为I(x,y)，则该像素的CB更新算法如下：
①CB的访问次数加1；
②历遍CB中的每个CW，如果存在一个CW的IH、IL使得IL≤I(x,y)≤IH，则转④；
③建立一个新的CW加入到该CB中，Imax和Imin均赋值为I(x,y)，IH赋值为I(x,y)+IB，IL赋值为I(x,y)-IB，转⑥；
④更新该CW的tlast，若I(x,y)＞Imax，则Imax赋值为I(x,y)，若I(x,y)＜Imin，则Imin赋值为I(x,y)；
⑤更新该CW的学习上下界，若I(x,y)+IB＞IH，则IH加1，若I(x,y)-IB＜IL，则IL减1；
⑥更新CB中的每个tst。
2.2)建立背景模型
选择一帧或多帧使用CB更新算法建立背景模型，背景建立帧数一般为视频采集帧率值的1～2倍，本算法中背景建立帧数为50。
2.3)提取物件及乘客前景图像
设前景图像的判定阈值上下界为IMmax和IMmin，图像中的某一像素为I(x,y)，历遍CB背景模型中的每个CW，如果存在一个CW的Imax、Imin使得Imin-IMmin＜I(x,y)＜Imax+IMmax，则I(x,y)为背景像素，否则为前景像素。
2.4)更新背景模型
隔一定的帧数使用CB更新算法更新背景模型，同时对背景模型进行时间滤波，设更新阈值为更新次数的一半，图像中的某一像素为I(x,y)，历遍CB中的每个CW，若陈旧时间tst大于更新阈值，则移除该CW。
3)利用HOG描述子对前景图像进行人头特征提取
本发明利用HOG描述子提取前景图像中的人头轮廓特征，HOG描述子能够较好地描述目标的形状或轮廓特征，对人头等类椭圆目标有较好的特征提取效果。利用HOG描述子对前景图像进行人头特征提取，这样就把手扶电梯楼层板乘客检测问题转化为人头轮廓检测问题。HOG描述子通过计算和统计图像局部区域的梯度方向直方图来构成特征，HOG特征提取包括以下步骤：
3.1)图像规范化
对前景图像进行Gamma压缩，Gamma压缩公式为：
I(x,y)＝I(x,y)Gamma
本算法中Gamma取0.5，Gamma压缩能够有效抑制图像中的光照变化。
3.2)计算图像梯度
历遍前景图像的每个像素，计算每个像素的梯度向量。设水平边缘算子为[-1 01]，垂直边缘算子为[-1 0 1]T，则像素I(x,y)的方向梯度为：
Gx(x,y)＝-I(x-1,y)+I(x+1,y)
Gy(x,y)＝-I(x,y-1)+I(x,y+1)
其中Gx(x,y)为水平方向梯度，Gy(x,y)为垂直方向梯度，则像素I(x,y)的梯度为：
其中G(x,y)为梯度的幅值，α(x,y)为梯度的方向。
3.3)建立方向直方图
将前景图像分割为若干胞元(Cell)，一般取Cell为8×8的矩形像素块。采用Nbin个方向的直方图统计该Cell的梯度信息，本算法中Nbin＝9，相当于将Cell的梯度方向由360度分为9个方向块。以梯度幅值作为权值对各个方向块进行投票，得到该Cell的方向直方图，此时每一个Cell对应一个9维的特征向量。
3.4)胞元合并及规范化
把若干个Cell合并为较大且连通的块(Block)，本算法中Block为2×2的Cell串联块，也即16×16的矩形像素块。Block是互相重叠的，因此每一个Cell的特征会以不同的结果多次出现在最后的特征向量中。此时每一个规范化后的Block描述符(HOG描述子)对应一个36维的特征向量。
3.5)HOG特征提取
本算法中的训练样本为24×24的人头图像，HOG描述子步长为8，则Block在水平方向上的滑动次数为2，在垂直方向上的滑动次数为2，此时每一个训练样本对应一个144维的特征向量，该向量即人头图像的HOG特征。
利用滑动窗算法对前景图像进行人头特征提取，本算法中前景图像大小为480×272，首先设定一个大小为45×45的初始滑动窗，以5为步长历遍前景图像，提取每一次滑动时滑动窗的HOG特征，完成第一轮历遍。然后以1.1为增长率扩大滑动窗的大小，重复图像历遍与特征提取过程。当滑动窗扩大至105×105时停止历遍，结束对前景图像的HOG特征提取。
4)利用AdaBoost级联分类器对前景图像进行人头检测
AdaBoost是一种结构简单的级联分类器，其核心思想是对同一个训练集训练不同的弱分类器，然后把弱分类器级联为强分类器，本算法选择结构简单的AdaBoost级联分类器对前景图像进行人头检测，在保证检测准确率的同时，提高了算法的实时性能，检测效果如图5所示。
AdaBoost分类器的步骤如下：
4.1)初始化训练集权重
设训练集T＝{(x1,y1),(x2,y2),...,(xN,yN)}，其中样本特征向量特征空间样本标签样本总数为N，将训练集所有样本的权重初始化为
D1＝{w11,w12,...,w1N}
4.2)训练弱分类器
如果某一个训练样本已被正确分类，则在下一轮训练过程中降低该样本的权重；相反，如果不存在一个弱分类器能够将该训练样本正确分类，则在下一轮训练过程中提高该样本的权重。设m＝1,2,...,M为迭代次数，选取误差最小原则设计弱分类器：
Dm＝{wm1,wm2,...,wmN}
Gm:χ→{-1,+1}
其中Dm为此轮迭代过程中的分类器权重分布，Gm为弱分类器所对应的样本特征空间到分类标签的映射，em为误差率，即误分类样本的权重之和。em决定了弱分类器Gm在强分类器中的权重αm：
误差率em≤0.5时，αm≥0且随着em的减小而增大，可见误差率越小的弱分类器在强分类器中的权重越大。设Zm为规范化因子，更新训练集权重分布用于下一轮迭代：
Dm+1＝{wm+1,1,wm+1,2,...,wm+1,N}
4.3)弱分类器级联为强分类器
强分类器为弱分类器的线性组合，误差率越小的弱分类器在强分类器中的权重越大：
其中，f(x)为强分类器，G(x)为强分类器所对应的样本特征空间到分类结果的映射。本算法中，AdaBoost级联分类器的层数为20，正样本总数为3850，负样本总数为6721。
5)利用Kalman滤波器对乘客目标进行跟踪
计算机视觉的一个重要应用是图像特征的跟踪，因为周围的环境是动态的，某一时刻所拍摄的图像和另一时刻的图像是不同的，因为视觉系统的一个初步任务在于将图像特征从一幅图像到另一幅图像匹配起来，这个过程就成为图像特征的跟踪。
Kalman滤波器是一种拥有参数估计功能的滤波器，通过时间更新与状态更新共五个核心方程，Kalman滤波能够预测下一时刻的特征参数。利用Kalman滤波进行长序列运动图像的特征跟踪，是特征跟踪的常用做法。
设以下动态系统是线性的：
其中x＝[x y Δx Δy]T为状态变量，y＝[x y]T为观测变量，A为状态估计矩阵，H为观测矩阵，q和r分别为估计噪声和观测噪声，符合高斯分布。
Kalman滤波器时间与状态共五个核心更新方程如下：
本算法中，Kalman滤波器各参数取值如下：
其中，Q和R分别为其协方差矩阵，P为误差协方差矩阵。
综上所述，选择乘客人头的运动特征向量作为Kalman滤波器的状态变量，通过迭代计算五条核心方程，状态变量最终将收敛至最优估计，就能够达到对乘客目标进行跟踪的目的，如图6所示。
6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合
本算法利用前景图像中物件目标和乘客目标的关系，如果能够先完成对乘客目标的检测与跟踪，之后剔除乘客目标，剩下的就是物件目标。本算法利用边界跟踪生长的传统方法，首先对前景图像进行轮廓检测，具体检测算法如下：
①按从上到下，从左到右的顺序扫描图像，寻找没有标记跟踪结束记号的初始边界点A0，A0即具有最小行和列序号的边界点。定义扫描方向d描述上一步中沿着前一边界点到当前边界点的移动方向，设area为邻域大小，则初始搜索方向d0为：
②按逆时针方向搜索当前像素的3×3邻域，则当前搜索方向dk为：
其中dk-1为上一搜索方向，mod为求余运算，则在3×3邻域中搜索到的第一个相同像素为当前边界点Ak；
③如果当前边界点Ak等于第二边界点A1且上一边界点Ak-1等于初始边界点A0，则转④，否则转②；
④边界点序列A＝{A0,A1,...,Ak}构成前景图像的轮廓图像。
在进行轮廓检测后还要进行一定得先验知识校正，去除明显不属于前景的像素，本算法中轮廓校正条件主要是轮廓最小外接矩形的长宽比，取阈值为2，若长宽比大于该阈值则舍弃当前轮廓，前景图像轮廓检测的效果如图7所示。
利用Fitzgibbon算法对每一个轮廓进行椭圆拟合，设轮廓所在椭圆的二次方程为：
F(α,X)＝α·X＝ax2+bxy+cy2+dx+ey+f＝0
其中α＝[a b c d e f]T，X＝[x2 xy y2 x y 1]T，记F(α；Xi)点(x,y)到椭圆F(α；X)＝0的几何距离，定义拟合问题的目标函数为：
为使目标函数最小化，最优化问题的限制条件可以是以下任意一个：
||α||2＝1
a+c＝1
f＝1
加入椭圆长短轴比值和面积等先验条件进行目标校正，本算法中取椭圆长短轴比值阈值为3，若长短轴比值大于该阈值则舍弃该椭圆，分别取椭圆面积上下限为三分之一原始图像大小和50像素，前景图像椭圆拟合的效果如图8所示。
7)剔除步骤6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪
利用Fitzgibbon算法得到同时包含物件目标和乘客目标的前景图像，在步骤5)中已经得到乘客目标中心坐标，在步骤7)中，首先剔除步骤6)中的乘客目标，利用Kalman滤波器对剩下的物件目标进行跟踪，得到物件目标中心坐标，如图9和图10所示。
至此，算法分别对物件目标与乘客目标进行了跟踪，得到了两类运动目标的中心坐标。设取样帧数为n，P(k)＝(x(k),y(k))为k时刻目标中心坐标，计算两类运动目标k时刻的运动速度和运动方向如下：
8)通过分析物件及乘客中心坐标的运动速度和运动方向判断二者的行为
本发明把物件及乘客行为分为四种：正常移动、快速移动、逆向移动和拥堵阻塞，具体判断方法如下：
①正常移动
正常情况下，目标搭乘手扶电梯到达楼层板后，只能向手扶电梯的前进方向移动，具体为以前进方向为对称轴的半圆内。以视频图像中心点为极点，手扶电梯前进方向为极轴建立极坐标系，设逆时针方向为正方向，此时目标的运动速度与运动方向特征为：
其中vH1和vL1分别为目标正常移动时的运动速度判定阈值上下限。
②快速移动
当目标快速移动时，其运动速度与运动方向特征为：
其中vH2和vL2分别为物件快速移动时的运动速度判定阈值上下限，vL2＞vH1。
③逆向移动
当目标到达手扶电梯楼层板后逆向返回正在前进的手扶电梯时，其运动速度与运动方向特征为：
其中vH3和vL3分别为物件逆向移动时的运动速度判定阈值上下限，vL3＞vH1。
④拥堵阻塞
当手扶电梯搭乘高峰期时，大量乘客到达手扶电梯楼层板后拥堵在原地或缓慢前进，或者当物件目标被遗留在楼层板造成阻塞时，目标将长时间静止或缓慢移动，设Kalman滤波器跟踪强度为confi(k)，该参数描述运动目标被跟踪的持续时间，此时物件的运动速度与跟踪强度特征为：
其中vH4为物件遗留或堵塞时的运动速度判定阈值上限，vH4＜＜vL1，confiL为拥堵阻塞时的Kalman跟踪强度判定阈值下限。
本实施例中通过对手扶电梯视频测试集的反复实验，以下参数能够得到较为准确的物件及乘客行为检测结果：vH1＝15，vL1＝8，vH2＝50，vL2＝25，vH3＝50，vL3＝20，vH4＝2，confiLt＝2000。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，其特征在于：主要是通过分析手扶电梯楼层板上物件及乘客的运动速度和运动方向来判断二者的行为，包括以下步骤：
1)视频图像采集；
2)利用CodeBook算法建立背景模型，提取物件及乘客前景图像；
3)利用HOG描述子对前景图像进行人头特征提取；
4)利用AdaBoost级联分类器对前景图像进行人头检测；
5)利用Kalman滤波器对乘客目标进行跟踪；
6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合；
7)剔除步骤6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪；
8)通过分析物件及乘客中心坐标的运动速度和运动方向判断二者的行为。
2.根据权利要求1所述的基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，其特征在于：在步骤1)中，采用摄像头进行图像采集，摄像头安装在手扶电梯楼层板的正上方，其拍摄方向要求垂直于楼层板平面，以保证摄像头的镜头畸变最小；摄像头视角要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客头顶的图像。
3.根据权利要求1所述的基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，其特征在于：在步骤2)中，利用CodeBook算法建立背景模型并提取物件及乘客前景图像，包括以下步骤：
2.1)建立CodeBook结构
为当前图像的每一个像素建立一个CodeBook结构，简称CB，每个CodeBook结构又由多个CodeWord组成，简称CW；CB和CW的形式如下：
CB＝{CW1,CW2,…,CWn,t}
CW＝{IH,IL,Imax,Imin,tlast,tst}
式中，一个CB包含n个CW，分别为CW1,CW2,…,CWn，t为CB更新次数，CW为一个六元组，IH和IL为背景更新时的学习上下界，Imax和Imin为当前像素的最大值和最小值，tlast为上一次更新时间；tst为陈旧时间，记录该CW多久未被访问；
设背景模型的增长阈值为IB，图像中的某一像素为I(x,y)，其中x和y分别是像素的横坐标和纵坐标，则该像素的CB更新算法如下：
①CB的访问次数加1；
②历遍CB中的每个CW，如果存在一个CW的IH、IL使得IL≤I(x,y)≤IH，则转④；
③建立一个新的CW加入到该CB中，Imax和Imin均赋值为I(x,y)，IH赋值为I(x,y)+IB，IL赋值为I(x,y)-IB，转⑥；
④更新该CW的tlast，若I(x,y)＞Imax，则Imax赋值为I(x,y)，若I(x,y)＜Imin，则Imin赋值为I(x,y)；
⑤更新该CW的学习上下界，若I(x,y)+IB＞IH，则IH加1，若I(x,y)-IB＜IL，则IL减1；
⑥更新CB中的每个tst；
2.2)建立背景模型
选择一帧或多帧使用CB更新算法建立背景模型，背景建立帧数为视频采集帧率值的1～2倍；
2.3)提取物件及乘客前景图像
设前景图像的判定阈值上下界为IMmax和IMmin，图像中的某一像素为I(x,y)，历遍CB背景模型中的每个CW，如果存在一个CW的Imax、Imin使得Imin-IMmin＜I(x,y)＜Imax+IMmax，则I(x,y)为背景像素，否则为前景像素；
2.4)更新背景模型
隔设定的帧数使用CB更新算法更新背景模型，同时对背景模型进行时间滤波，设更新阈值为更新次数的一半，图像中的某一像素为I(x,y)，历遍CB中的每个CW，若陈旧时间tst大于更新阈值，则移除该CW。
4.根据权利要求1所述的基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，其特征在于：在步骤3)中，利用HOG描述子对前景图像进行人头特征提取，这样就把手扶电梯楼层板乘客检测问题转化为人头轮廓检测问题，HOG描述子通过计算和统计图像局部区域的梯度方向直方图来构成特征，HOG特征提取包括以下步骤：
3.1)图像规范化
对前景图像进行Gamma压缩，Gamma压缩公式为：
I(x,y)＝I(x,y)Gamma
其中，Gamma为压缩因子，Gamma压缩能够有效抑制图像中的光照变化；
3.2)计算图像梯度
历遍前景图像的每个像素，计算每个像素的梯度向量，设水平边缘算子为[-1 0 1]，垂直边缘算子为[-1 0 1]T，则像素I(x,y)的方向梯度为下式所示，其中x和y分别是像素的横坐标和纵坐标，I(x-1,y)、I(x+1,y)、I(x,y-1)和I(x,y+1)分别是像素I(x,y)左方、右方、上方和下方相邻像素：
Gx(x,y)＝-I(x-1,y)+I(x+1,y)
Gy(x,y)＝-I(x,y-1)+I(x,y+1)
式中，Gx(x,y)为水平方向梯度，Gy(x,y)为垂直方向梯度，其中x和y分别是他们所计算的像素的横坐标和纵坐标，则像素I(x,y)的梯度为：
<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msub> <mi>G</mi> <mi>x</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>G</mi> <mi>y</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
<mrow> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>tan</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>G</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>G</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
式中，G(x,y)为梯度的幅值，α(x,y)为梯度的方向，x和y分别是他们所计算的像素的横坐标和纵坐标；
3.3)建立方向直方图
将前景图像分割为若干胞元Cell，采用Nbin个方向的直方图统计该Cell的梯度信息，相当于将Cell的梯度方向由360度分为Nbin个方向块，以梯度幅值作为权值对各个方向块进行投票，得到该Cell的方向直方图，此时每一个Cell对应一个Nbin维的特征向量；
3.4)胞元合并及规范化
把若干个Cell合并为连通的块Block，Block是互相重叠的，因此每一个Cell的特征会以不同的结果多次出现在最后的特征向量中，此时每一个规范化后的Block描述符即HOG描述子对应一个特征向量；
3.5)HOG特征提取
利用滑动窗算法对前景图像进行人头特征提取。
5.根据权利要求1所述的基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，其特征在于：在步骤4)中，选择结构简单的AdaBoost级联分类器对前景图像进行人头检测，在保证检测准确率的同时，提高算法的实时性能；AdaBoost分类器的核心思想是对同一个训练集训练不同的弱分类器，然后把弱分类器级联为强分类器，包括以下步骤：
4.1)初始化训练集权重
设训练样本集T＝{(x1,y1),(x2,y2),...,(xN,yN)}，样本总数为N，其中(xi,yi)是第i个训练样本，i＝1,2,...,N，xi是它的特征向量，yi是它的标签，yi的取值是-1或+1，D1为第一轮迭代过程中的分类器权重分布，第一轮迭代过程一共有N个权重，分别为w11,w12,...,w1N，在第一轮迭代中它们全都被初始化为如下所示：
D1＝{w11,w12,...,w1N}
<mrow> <msub> <mi>w</mi> <mrow> <mn>1</mn> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>N</mi> </mrow>
4.2)训练弱分类器
如果某一个训练样本已被正确分类，则在下一轮训练过程中降低该样本的权重；相反，如果不存在一个弱分类器能够将该训练样本正确分类，则在下一轮训练过程中提高该样本的权重，设m＝1,2,...,M为迭代次数，Dm表示第m轮迭代过程中的分类器权重分布，第m轮迭代过程一共有N个权重，分别为wm1,wm2,...,wmN，选取误差最小原则设计弱分类器：
Dm＝{wm1,wm2,...,wmN}
em＝P(Gm(xi)≠yi)
式中，em为第m轮迭代过程的误差率，Gm(xi)为第m轮迭代过程中，弱分类器将向量xi映射到分类标签的分类结果，P(Gm(xi)≠yi)表示第m轮迭代过程中第i个训练样本的特征向量xi没有被正确映射到第i个训练样本的标签yi的概率，即误分类样本的权重之和；em决定了弱分类器Gm在强分类器中的权重αm，αm是第m轮迭代过程中的权重：
<mrow> <msub> <mi>&amp;alpha;</mi> <mi>m</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>e</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>e</mi> <mi>m</mi> </msub> </mfrac> </mrow>
误差率em≤0.5时，αm≥0且随着em的减小而增大，可见误差率越小的弱分类器在强分类器中的权重越大；设Zm为第m轮迭代过程中的规范化因子，更新训练集权重分布用于下一轮迭代，下一轮指的是第m+1轮，Dm+1表示第m+1轮迭代过程中的分类器权重分布，第m+1轮迭代过程一共有N个权重，分别为wm+1,1,wm+1,2,...,wm+1,N，而在第m轮迭代过程中一共有N个权重，分别为wm1,wm2,...,wmN：
Dm+1＝{wm+1,1,wm+1,2,...,wm+1,N}
<mrow> <msub> <mi>w</mi> <mrow> <mi>m</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>w</mi> <mrow> <mi>m</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>Z</mi> <mi>m</mi> </msub> </mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>m</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>G</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </msup> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>N</mi> </mrow>
<mrow> <msub> <mi>Z</mi> <mi>m</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>m</mi> <mi>i</mi> </mrow> </msub> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>m</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>G</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </msup> </mrow>
4.3)弱分类器级联为强分类器
强分类器为弱分类器的线性组合，误差率越小的弱分类器在强分类器中的权重越大：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>m</mi> </msub> <msub> <mi>G</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>m</mi> </msub> <msub> <mi>G</mi> <mi>m</mi> </msub> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
式中，关于特征向量x的函数f(x)为强分类器，αm是第m轮迭代过程中的权重，Gm(x)为第m轮迭代过程中，弱分类器将向量x映射到分类标签的分类结果。
6.根据权利要求1所述的基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，其特征在于：在步骤5)中，Kalman滤波器是一种拥有状态估计功能的滤波器，通过时间更新与状态更新共五个核心方程，Kalman滤波器能够预测下一时刻的系统状态，从而完成对乘客目标的跟踪任务；
设以下动态系统是线性的：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>A</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <mi>q</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>y</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>H</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>r</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
对中心坐标Pp＝(xp,yp)，xp和yp分别是它的横纵坐标，x(k)＝[xp yp Δxp Δyp]T为系统在k时刻的状态变量，Δxp和Δyp为xp和yp的变化量，x(k-1)为系统在k-1时刻的状态变量，y(k)＝[xp yp]T为系统在k时刻的观测变量，A为状态估计矩阵，H为观测矩阵，q和r分别为估计噪声和观测噪声，符合高斯分布；
Kalman滤波器时间与状态共五个核心更新方程如下：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>x</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>A</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>A</mi> <mi>P</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <msup> <mi>A</mi> <mi>T</mi> </msup> <mo>+</mo> <mi>Q</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>P</mi> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> <msup> <mi>H</mi> <mi>T</mi> </msup> <msup> <mrow> <mo>(</mo> <mi>H</mi> <mi>P</mi> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> <msup> <mi>H</mi> <mi>T</mi> </msup> <mo>+</mo> <mi>R</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>x</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mi>y</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <mi>H</mi> <mi>x</mi> <mi>g</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>K</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mi>H</mi> <mo>)</mo> </mrow> <mi>P</mi> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，xg(k)为k时刻的状态预测值，x(k-1)为k-1时刻的状态值，P(k)'为k时刻的先验误差协方差矩阵，P(k-1)为k-1时刻的后验误差协方差矩阵，Q为q的协方差矩阵，K(k)为k时刻的增益，R为r的协方差矩阵，P(k)为k时刻的后验误差协方差矩阵；
因此，选择乘客人头的运动特征向量作为Kalman滤波器的状态变量，通过迭代计算五条核心方程，状态变量最终将收敛至最优估计，就能够达到对乘客目标进行跟踪的目的。
7.根据权利要求1所述的基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，其特征在于：在步骤6)中，首先利用邻域搜索算法对前景图像进行轮廓检测，之后利用Fitzgibbon算法对每一个轮廓进行椭圆拟合；加入椭圆长短轴比值和面积这些先验条件进行目标校正，利用Fitzgibbon算法得到同时包含物件目标和乘客目标的前景图像，在步骤5)中已经得到乘客目标中心坐标，在步骤7)中，首先剔除6)中的乘客目标，利用Kalman滤波器对剩下的物件目标进行跟踪，得到物件目标中心坐标；
至此，算法分别对物件目标与乘客目标进行了跟踪，得到了两类运动目标的中心坐标，设取样帧数为n，P(k)＝(x(k),y(k))为k时刻目标中心坐标，x(k)和y(k)为横纵坐标，P(k-n)＝(x(k-n),y(k-n))为k-n时刻目标中心坐标，x(k-n)和y(k-n)为横纵坐标，计算两类运动目标k时刻的运动速度和运动方向如下：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>v</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <mi>x</mi> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mi>n</mi> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <mi>y</mi> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mi>n</mi> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>y</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>y</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
式中，v(k)和θ(k)分别是k时刻的运动速度和k时刻的运动方向。
8.根据权利要求1所述的基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法，其特征在于：在步骤8)中，目标的行为包括四种：正常移动、快速移动、逆向移动和拥堵阻塞，具体判断方法如下：
①正常移动
正常情况下，目标搭乘手扶电梯到达楼层板后，只能向手扶电梯的前进方向移动，具体为以前进方向为对称轴的半圆内；以视频图像中心点为极点，手扶电梯前进方向为极轴建立极坐标系，设逆时针方向为正方向，此时目标的运动速度与运动方向特征为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>vL</mi> <mn>1</mn> </msub> <mo>&lt;</mo> <mi>v</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msub> <mi>vH</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> <mo>&lt;</mo> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
式中，vH1和vL1分别为目标正常移动时的运动速度判定阈值上下限；
②快速移动
当目标快速移动时，其运动速度与运动方向特征为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>vL</mi> <mn>2</mn> </msub> <mo>&lt;</mo> <mi>v</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msub> <mi>vH</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> <mo>&lt;</mo> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
式中，vH2和vL2分别为物件快速移动时的运动速度判定阈值上下限，vL2＞vH1；
③逆向移动
当目标到达手扶电梯楼层板后逆向返回正在前进的手扶电梯时，其运动速度与运动方向特征为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>vL</mi> <mn>3</mn> </msub> <mo>&lt;</mo> <mi>v</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msub> <mi>vH</mi> <mn>3</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> <mo>&lt;</mo> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mfrac> <mrow> <mn>3</mn> <mi>&amp;pi;</mi> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
式中，vH3和vL3分别为物件逆向移动时的运动速度判定阈值上下限，vL3＞vH1；
④拥堵阻塞
当手扶电梯搭乘高峰期时，大量乘客到达手扶电梯楼层板后拥堵在原地或缓慢前进，或者当物件目标被遗留在楼层板造成阻塞时，目标将长时间静止或缓慢移动，设k时刻Kalman滤波器跟踪强度为confi(k)，该参数描述运动目标被跟踪的持续时间，此时物件的运动速度与跟踪强度特征为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> <mo>&lt;</mo> <mi>v</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>&lt;</mo> <mi>v</mi> <msub> <mi>H</mi> <mn>4</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>c</mi> <mi>o</mi> <mi>n</mi> <mi>f</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>c</mi> <mi>o</mi> <mi>n</mi> <mi>f</mi> <mi>i</mi> <mi>L</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
式中，vH4为物件遗留或堵塞时的运动速度判定阈值上限，vH4＜＜vL1，confiL为拥堵阻塞时的Kalman跟踪强度判定阈值下限。
CN201710455837.9A 2017-06-16 2017-06-16 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法 Pending CN107273852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710455837.9A CN107273852A (zh) 2017-06-16 2017-06-16 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710455837.9A CN107273852A (zh) 2017-06-16 2017-06-16 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法

Publications (1)

Publication Number Publication Date
CN107273852A true CN107273852A (zh) 2017-10-20

Family

ID=60067245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710455837.9A Pending CN107273852A (zh) 2017-06-16 2017-06-16 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法

Country Status (1)

Country Link
CN (1) CN107273852A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536096A (zh) * 2018-04-11 2018-09-14 哈尔滨工业大学深圳研究生院 基于任务极坐标系的三维轮廓控制方法及装置
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN110009650A (zh) * 2018-12-20 2019-07-12 浙江新再灵科技股份有限公司 一种扶梯扶手边界区域越界检测方法与系统
WO2020037553A1 (zh) * 2018-08-22 2020-02-27 深圳市大疆创新科技有限公司 图像处理方法及装置、移动设备
CN111753693A (zh) * 2020-06-15 2020-10-09 西安工业大学 一种静态场景下目标检测方法
CN112560986A (zh) * 2020-12-25 2021-03-26 上海商汤智能科技有限公司 图像检测方法及装置、电子设备和存储介质
CN113255538A (zh) * 2021-06-01 2021-08-13 大连理工大学 基于fpga的红外弱小目标的检测跟踪装置及方法
CN113537137A (zh) * 2021-08-02 2021-10-22 浙江索思科技有限公司 一种面向电扶梯的人体动作本征特征提取的方法及系统
CN115471501A (zh) * 2022-10-31 2022-12-13 长江勘测规划设计研究有限责任公司 利用机器视觉在线识别发电机气隙分布状态的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104961009A (zh) * 2015-05-27 2015-10-07 山东建筑大学 基于机器视觉的多电梯并联运行协调控制方法及系统
CN106127148A (zh) * 2016-06-21 2016-11-16 华南理工大学 一种基于机器视觉的手扶电梯乘客异常行为检测算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104961009A (zh) * 2015-05-27 2015-10-07 山东建筑大学 基于机器视觉的多电梯并联运行协调控制方法及系统
CN106127148A (zh) * 2016-06-21 2016-11-16 华南理工大学 一种基于机器视觉的手扶电梯乘客异常行为检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜启亮等: "基于Adaboost和码本模型的手扶电梯出入口视频监控方法", 《第十七届中国ROUGH集与软计算学术会议、第十一届中国WEB智能学术研讨会、第十一届中国粒计算研讨会及第五届三支决策学术会议联合会议（CRSSC-CWI-CGRC-3WD 2017）》 *
顾德军等: "一种基于人头特征的人数统计方法研究", 《信息技术》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536096A (zh) * 2018-04-11 2018-09-14 哈尔滨工业大学深圳研究生院 基于任务极坐标系的三维轮廓控制方法及装置
WO2020037553A1 (zh) * 2018-08-22 2020-02-27 深圳市大疆创新科技有限公司 图像处理方法及装置、移动设备
CN110892449A (zh) * 2018-08-22 2020-03-17 深圳市大疆创新科技有限公司 图像处理方法及装置、移动设备
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109522793B (zh) * 2018-10-10 2021-07-23 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN110009650A (zh) * 2018-12-20 2019-07-12 浙江新再灵科技股份有限公司 一种扶梯扶手边界区域越界检测方法与系统
CN111753693B (zh) * 2020-06-15 2024-01-19 西安工业大学 一种静态场景下目标检测方法
CN111753693A (zh) * 2020-06-15 2020-10-09 西安工业大学 一种静态场景下目标检测方法
CN112560986A (zh) * 2020-12-25 2021-03-26 上海商汤智能科技有限公司 图像检测方法及装置、电子设备和存储介质
CN113255538A (zh) * 2021-06-01 2021-08-13 大连理工大学 基于fpga的红外弱小目标的检测跟踪装置及方法
CN113537137A (zh) * 2021-08-02 2021-10-22 浙江索思科技有限公司 一种面向电扶梯的人体动作本征特征提取的方法及系统
CN115471501A (zh) * 2022-10-31 2022-12-13 长江勘测规划设计研究有限责任公司 利用机器视觉在线识别发电机气隙分布状态的方法及系统
CN115471501B (zh) * 2022-10-31 2023-10-13 长江勘测规划设计研究有限责任公司 利用机器视觉在线识别发电机气隙分布状态的方法及系统

Similar Documents

Publication Publication Date Title
CN107273852A (zh) 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN109767427A (zh) 列车轨道扣件缺陷的检测方法
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
Huang et al. A multidirectional and multiscale morphological index for automatic building extraction from multispectral GeoEye-1 imagery
CN103984961B (zh) 一种用于检测车底异物的图像检测方法
CN105260744B (zh) 一种货运列车钩尾扁销部位故障的自动在线诊断方法及系统
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN102842045B (zh) 一种基于组合特征的行人检测方法
CN104268528B (zh) 一种人群聚集区域检测方法和装置
CN107895139B (zh) 一种基于多特征融合的sar图像目标识别方法
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN105184271A (zh) 一种基于深度学习的车辆自动检测方法
CN111462488A (zh) 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN106295601A (zh) 一种改进的安全带检测方法
CN106980113A (zh) 物体检测装置和物体检测方法
CN105608691A (zh) 一种高分辨率sar影像单体建筑提取方法
CN113111727B (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN103745216B (zh) 一种基于空域特性的雷达图像杂波抑制方法
CN109190444A (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN108074244A (zh) 一种融合深度学习与背景差法的平安城市车流统计方法
CN105893946A (zh) 一种正面人脸图像的检测方法
CN103632427B (zh) 一种道闸防砸方法及道闸控制系统
CN109461163A (zh) 一种用于磁共振标准水模的边缘检测提取算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020

RJ01 Rejection of invention patent application after publication