CN107220992A - 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法 - Google Patents

结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法 Download PDF

Info

Publication number
CN107220992A
CN107220992A CN201710455857.6A CN201710455857A CN107220992A CN 107220992 A CN107220992 A CN 107220992A CN 201710455857 A CN201710455857 A CN 201710455857A CN 107220992 A CN107220992 A CN 107220992A
Authority
CN
China
Prior art keywords
mrow
msub
mtd
mtr
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710455857.6A
Other languages
English (en)
Other versions
CN107220992B (zh
Inventor
杜启亮
黎浩正
余陆斌
田联房
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710455857.6A priority Critical patent/CN107220992B/zh
Publication of CN107220992A publication Critical patent/CN107220992A/zh
Application granted granted Critical
Publication of CN107220992B publication Critical patent/CN107220992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，包括步骤：1)视频图像与红外图像采集；2)视频图像与红外图像坐标配准；3)利用CodeBook算法建立背景模型，提取物件及乘客前景图像；4)利用红外图像对前景图像进行行人检测；5)利用Kalman滤波器对乘客目标进行跟踪；6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合；7)剔除6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪；8)通过分析物件及乘客中心坐标的运动速度和运动方向监控楼层板区域。通过本发明算法可以对手扶电梯楼层板上的物件及乘客行为进行检测与分析，当出现异常时能够及时启动应急方案，将异常情况的潜在危害降至最低。

Description

结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法
技术领域
本发明涉及图像模式识别领域及电梯生产技术领域，尤其是指一种结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法。
背景技术
在手扶电梯越来越普及的现代社会，随之而来的是各种各样的安全问题，随着科学技术的快速发展和人们安全意识的日益提高，视频监控成为公共管理与决策的有效辅助手段。如今对手扶电梯的视频监控，大多停留在以图像信息为主要内容的人工监控阶段。当异常或事故发生的时候，监控人员往往因为无法及时反应或采取相应措施而使事态恶化，而在人力成本越来越高的今天，为每台手扶电梯配置应急人员是不可能的。因此，一套能够自动检测异常或事故并通知监控人员的手扶电梯视频监控算法显得尤为重要。本发明结合视频监控图像和红外阵列传感图像对手扶电梯楼层板上的物件及乘客行为进行检测与分析，当出现异常时能够及时启动应急方案，将异常情况的潜在危害降至最低。
安装在手扶电梯楼层板正上方的摄像头能够实时获取该区域的视频图像，安装在同样位置的红外阵列传感器能够实时获取该区域的红外图像，通过结合二者图像信息，分析图像中物件及乘客的行为能够判断手扶电梯是否发生异常。当发生异常时视频监控系统能够及时将信息反馈至手扶电梯控制台，控制台根据不同的异常状态启动相应的处理方案。该系统包括图像采集、图像处理、目标跟踪、行为分析、异常预警五个模块。目前，在国内针对手扶电梯的机器视觉监控技术研究还比较少，鉴于其准确直观和成本低廉的优点，需要加快相应技术的研发，降低手扶电梯安全事故的发生率。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，可以实时监控手扶电梯楼层板上物件及乘客的状态行为。
为实现上述目的，本发明所提供的技术方案为：一种结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，主要是通过分析手扶电梯楼层板上物件及乘客的运动速度和运动方向来监控楼层板区域，包括以下步骤：
1)视频图像与红外图像采集；
2)视频图像与红外图像坐标配准；
3)利用CodeBook算法建立背景模型，提取物件及乘客前景图像；
4)利用红外图像对前景图像进行行人检测；
5)利用Kalman滤波器对乘客目标进行跟踪；
6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合；
7)剔除6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪；
8)通过分析物件及乘客中心坐标的运动速度和运动方向监控楼层板区域。
在步骤1)中，采用摄像头采集视频图像，采用红外阵列传感器采集红外图像；摄像头与红外阵列传感器安装在手扶电梯楼层板的正上方，其拍摄方向要求垂直于楼层板平面，以保证摄像头的镜头畸变最小，其视角要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客的图像。
在步骤2)中，摄像头镜头中心与红外阵列传感器中心不在同一点，使视频图像坐标系与红外图像坐标系不重合，需要对视频图像与红外图像坐标配准，具体如下：
设摄像头焦距为f，摄像头镜头中心至楼层板的距离为Lc，成像靶面的宽度和高度分别为wc、hc，则摄像头的视场宽Wc和高Hc为：
设红外阵列传感器最大视场角为θ，传感器中心至楼层板的距离为Lg，则红外阵列传感器的视场为：
计算摄像头的最大视场角
选取合适参数的摄像头使得此时红外图像完全包含于视频图像内，设摄像头镜头中心与红外阵列传感器中心的水平偏移距离为d，则对楼层板上的某一点P，其视频图像坐标(xc,yc)与红外图像坐标(xg,yg)分别为：
设摄像头的分辨率为Nw×Nh，红外阵列传感器的分辨率为Nbin×Nbin，将模拟图像坐标(xc,yc)转化为数字图像坐标将模拟红外坐标(xg,yg)转化为数字红外坐标为，得到视频图像与红外图像坐标配准公式：
其中floor为整除运算。
在步骤3)中，利用CodeBook算法建立背景模型并提取物件及乘客前景图像，包括以下步骤：
3.1)建立CodeBook结构
为当前图像的每一个像素建立一个CodeBook结构，简称CB，每个CodeBook结构又由多个CodeWord组成，简称CW；CB和CW的形式如下：
CB＝{CW1,CW2,…,CWn,t}
CW＝{IH,IL,Imax,Imin,tlast,tst}
式中，一个CB包含n个CW，分别为CW1,CW2,…,CWn，t为CB更新次数；CW为一个六元组，IH和IL为背景更新时的学习上下界，Imax和Imin为当前像素的最大值和最小值，tlast为上一次更新时间；tst为陈旧时间，记录该CW多久未被访问；
设背景模型的增长阈值为IB，图像中的某一像素为I(x,y)，其中x和y分别是像素的横坐标和纵坐标，则该像素的CB更新算法如下：
①CB的访问次数加1；
②历遍CB中的每个CW，如果存在一个CW的IH、IL使得IL≤I(x,y)≤IH，则转④；
③建立一个新的CW加入到该CB中，Imax和Imin均赋值为I(x,y)，IH赋值为I(x,y)+IB，IL赋值为I(x,y)-IB，转⑥；
④更新该CW的tlast，若I(x,y)＞Imax，则Imax赋值为I(x,y)，若I(x,y)＜Imin，则Imin赋值为I(x,y)；
⑤更新该CW的学习上下界，若I(x,y)+IB＞IH，则IH加1，若I(x,y)-IB＜IL，则IL减1；
⑥更新CB中的每个tst；
3.2)建立背景模型
选择一帧或多帧使用CB更新算法建立背景模型，背景建立帧数一般为视频采集帧率值的1～2倍；
3.3)提取物件及乘客前景图像
设前景图像的判定阈值上下界为IMmax和IMmin，图像中的某一像素为I(x,y)，历遍CB背景模型中的每个CW，如果存在一个CW的Imax、Imin使得Imin-IMmin＜I(x,y)＜Imax+IMmax，则I(x,y)为背景像素，否则为前景像素；
3.4)更新背景模型
隔设定的帧数使用CB更新算法更新背景模型，同时对背景模型进行时间滤波，设更新阈值为更新次数的一半，图像中的某一像素为I(x,y)，历遍CB中的每个CW，若陈旧时间tst大于更新阈值，则移除该CW。
在步骤4)中，利用红外图像对前景图像进行行人检测，在红外阵列传感器的安装过程中，要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客的图像，具体为红外阵列传感器的视场大小约等于手扶电梯楼层板的区域大小，红外图像与楼层板图像基本重合；
历遍前景图像中的非零像素，将非零像素坐标与红外图像坐标配准，判断前进图像中的像素是否为乘客目标，设属于乘客目标的像素标签为1，属于非乘客目标的像素标签为-1，具体为：
其中Ic(x,y)为当前非零像素，x和y是横纵坐标，为该像素对应红外图像的像素值，是横纵坐标，符号表示“属于”，红外图像像素的取值范围为{1,0}，以红外强度Ith为阈值进行分类：
将属于乘客目标的像素提取出来，完成了对前景图像的行人检测。
在步骤5)中，Kalman滤波器是一种拥有状态估计功能的滤波器，通过时间更新与状态更新共五个核心方程，Kalman滤波器能够预测下一时刻的系统状态，从而完成对乘客目标的跟踪任务；
设以下动态系统是线性的：
对中心坐标Pp＝(xp,yp)，xp和yp分别是它的横纵坐标，x(k)＝[xp yp Δxp Δyp]T为系统在k时刻的状态变量，x(k-1)为系统在k-1时刻的状态变量，Δxp和Δyp为xp和yp的变化量，y(k)＝[xp yp]T为系统在k时刻的观测变量，A为状态估计矩阵，H为观测矩阵，q和r分别为估计噪声和观测噪声，符合高斯分布；
Kalman滤波器时间与状态共五个核心更新方程如下：
其中，xg(k)为k时刻的状态预测值，x(k-1)为k-1时刻的状态值，P(k)'为k时刻的先验误差协方差矩阵，P(k-1)为k-1时刻的后验误差协方差矩阵，Q为q的协方差矩阵，K(k)为k时刻的增益，R为r的协方差矩阵，P(k)为k时刻的后验误差协方差矩阵；
因此，选择乘客的运动特征向量作为Kalman滤波器的状态变量，通过迭代计算五条核心方程，状态变量最终将收敛至最优估计，就能够达到对乘客目标进行跟踪的目的。
在步骤6)中，首先利用邻域搜索算法对前景图像进行轮廓检测，之后利用Fitzgibbon算法对每一个轮廓进行椭圆拟合，加入椭圆长短轴比值和面积等先验条件进行目标校正，利用Fitzgibbon算法得到同时包含物件目标和乘客目标的前景图像，在步骤5)中已经得到乘客目标中心坐标，在步骤7)中，首先剔除6)中的乘客目标，利用Kalman滤波器对剩下的物件目标进行跟踪，得到物件目标中心坐标，
至此，算法分别对物件目标与乘客目标进行了跟踪，得到了两类运动目标的中心坐标，设取样帧数为n，P(k)＝(x(k),y(k))为k时刻目标中心坐标，x(k)和y(k)为横纵坐标，P(k-n)＝(x(k-n),y(k-n))为k-n时刻目标中心坐标，x(k-n)和y(k-n)为横纵坐标，计算两类运动目标k时刻的运动速度和运动方向如下：
式中，v(k)和θ(k)分别是k时刻的运动速度和k时刻的运动方向。
在步骤8)中，目标的行为包括四种：正常移动、快速移动、逆向移动和拥堵阻塞，具体判断方法如下：
①正常移动
正常情况下，目标搭乘手扶电梯到达楼层板后，只能向手扶电梯的前进方向移动，具体为以前进方向为对称轴的半圆内；以视频图像中心点为极点，手扶电梯前进方向为极轴建立极坐标系，设逆时针方向为正方向，此时目标的运动速度与运动方向特征为：
其中vH1和vL1分别为目标正常移动时的运动速度判定阈值上下限；
②快速移动
当目标快速移动时，其运动速度与运动方向特征为：
其中vH2和vL2分别为物件快速移动时的运动速度判定阈值上下限，vL2＞vH1；
③逆向移动
当目标到达手扶电梯楼层板后逆向返回正在前进的手扶电梯时，其运动速度与运动方向特征为：
其中vH3和vL3分别为物件逆向移动时的运动速度判定阈值上下限，vL3＞vH1；
④拥堵阻塞
当手扶电梯搭乘高峰期时，大量乘客到达手扶电梯楼层板后拥堵在原地或缓慢前进，或者当物件目标被遗留在楼层板造成阻塞时，目标将长时间静止或缓慢移动，设k时刻Kalman滤波器跟踪强度为confi(k)，该参数描述运动目标被跟踪的持续时间，此时物件的运动速度与跟踪强度特征为：
其中vH4为物件遗留或堵塞时的运动速度判定阈值上限，vH4＜＜vL1，confiL为拥堵阻塞时的Kalman跟踪强度判定阈值下限。
本发明与现有技术相比，具有如下优点与有益效果：
本发明可以对手扶电梯进行实时监控，能检测视频图像中物件及乘客的行为状态，并将异常情况反馈至手扶电梯控制台，协助控制台根据不同的异常状态启动相应的处理方案；通过跟踪物件轮廓计算其运动速度和运动方向，判断物件滞留或堵塞状态；通过跟踪乘客的红外图像计算其运动速度和运动方向，判断乘客异常运动状态和客流拥堵情况。总之，通过本发明算法可以有效避免异常情况发生后的次生事故，将其潜在危害降至最低，提高手扶电梯的安全质量。
附图说明
图1为本发明算法流程图。
图2为摄像头和红外阵列传感器的安装位置示意图。
图3为原始视频图像。
图4为原始红外图像。
图5为物件及乘客前景图像。
图6为行人检测效果图。
图7为人头跟踪效果图。
图8为物件跟踪效果图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所述的结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，主要是通过分析手扶电梯楼层板上物件及乘客的运动速度和运动方向来监控楼层板区域。在本方法中，利用物件与乘客的温度差异特点，二者在红外阵列传感器下的成像有显著差异，对乘客的红外图像作检测与跟踪，相对于其他传统的目标检测方法，红外图像更加单一，更容易识别，因此，摄像头与红外阵列传感器应该安装在手扶电梯楼层板的正上方，如图2所示，其具体情况如下：
1)视频图像与红外图像采集
对视频图像，采用单摄像头进行图像采集，摄像头安装在手扶电梯楼层板的正上方，其拍摄方向要求垂直于楼层板平面，以保证摄像头的镜头畸变最小；其视角要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客头顶的图像。本方法中采用的摄像头为PAL制式的标清摄像头，分辨率为480*272，帧率为25。根据上述要求，采集的原始视频图像如图3所示。
对红外图像，采用单红外线阵列传感器进行图像采集，传感器安装在与摄像头相同的位置，拍摄方向与其相同。本方法中采用的传感器为8*8的高精度红外线阵列，帧率为10。根据上述要求，采集的原始红外图像如图4所示。
2)视频图像与红外图像坐标配准
摄像头镜头中心与红外阵列传感器中心不在同一点，使视频图像坐标系与红外图像坐标系不重合，需要对视频图像与红外图像坐标配准，具体如下：
本方法中摄像头焦距f＝3.6mm，摄像头镜头中心至楼层板的距离Lc＝3m，成像靶面的宽度和高度分别为wc＝6.4mm、hc＝4.8mm，则摄像头的视场为：
本方法中红外阵列传感器最大视场角传感器中心至楼层板的距离Lg＝2.95m，则红外阵列传感器的视场为：
计算摄像头的最大视场角
本方法中的摄像头满足此时红外图像完全包含于视频图像内，摄像头镜头中心与红外阵列传感器中心的水平偏移距离d＝50mm，则对楼层板上的某一点P，其视频图像坐标(xc,yc)与红外图像坐标(xg,yg)分别为：
本方法中摄像头的分辨率为Nw×Nh＝480×272，红外阵列传感器的分辨率为Nbin×Nbin＝8×8，将模拟图像坐标(xc,yc)转化为数字图像坐标将模拟红外坐标(xg,yg)转化为数字红外坐标为，得到视频图像与红外图像坐标配准公式：
其中floor为整除运算。通过上述公式可以查询到视频图像中的某一点P在红外图像相应位置的映射。
3)利用CodeBook算法建立背景模型，提取物件及乘客前景图像；
前景图像是指图像中不含背景的运动目标部分，是需要检测与跟踪的目标，利用CodeBook算法建立背景模型，从而提取包含物件及乘客的前景图像，为在下一步的乘客检测与跟踪做准备。通过该算法提取的前景图像，背景噪声较小，前景边缘精确，如图5所示。
利用CodeBook算法建立背景模型并提取物件及乘客前景图像包括以下步骤：
3.1)建立CodeBook结构
为当前图像的每一个像素建立一个CodeBook(简称CB)结构，每个CodeBook结构又由多个CodeWord(简称CW)组成，CB和CW的形式如下：
CB＝{CW1,CW2,…,CWn,t}
CW＝{IH,IL,Imax,Imin,tlast,tst}
其中n为一个CB中所包含的CW数目，t为CB更新次数。CW为一个六元组，IH和IL为背景更新时的学习上下界，Imax和Imin为当前像素的最大值和最小值，tlast为上一次更新时间，tst为陈旧时间(记录该CW多久未被访问)。
设背景模型的增长阈值为IB，图像中的某一像素为I(x,y)，则该像素的CB更新算法如下：
①CB的访问次数加1；
②历遍CB中的每个CW，如果存在一个CW的IH、IL使得IL≤I(x,y)≤IH，则转④；
③建立一个新的CW加入到该CB中，Imax和Imin均赋值为I(x,y)，IH赋值为I(x,y)+IB，IL赋值为I(x,y)-IB，转⑥；
④更新该CW的tlast，若I(x,y)＞Imax，则Imax赋值为I(x,y)，若I(x,y)＜Imin，则Imin赋值为I(x,y)；
⑤更新该CW的学习上下界，若I(x,y)+IB＞IH，则IH加1，若I(x,y)-IB＜IL，则IL减1；
⑥更新CB中的每个tst。
3.2)建立背景模型
选择一帧或多帧使用CB更新算法建立背景模型，背景建立帧数一般为视频采集帧率值的1～2倍，本发明中背景建立帧数为50。
3.3)提取物件及乘客前景图像
设前景图像的判定阈值上下界为IMmax和IMmin，图像中的某一像素为I(x,y)，历遍CB背景模型中的每个CW，如果存在一个CW的Imax、Imin使得Imin-IMmin＜I(x,y)＜Imax+IMmax，则I(x,y)为背景像素，否则为前景像素。
3.4)更新背景模型
隔一定的帧数使用CB更新算法更新背景模型，同时对背景模型进行时间滤波，设更新阈值为更新次数的一半，图像中的某一像素为I(x,y)，历遍CB中的每个CW，若陈旧时间tst大于更新阈值，则移除该CW。
4)利用红外图像对前景图像进行行人检测
利用红外图像对前景图像进行行人检测，在红外阵列传感器的安装过程中，要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客的图像，具体为红外阵列传感器的视场大小约等于手扶电梯楼层板的区域大小，红外图像与楼层板图像基本重合。
历遍前景图像中的非零像素，将非零像素坐标与红外图像坐标配准，判断前进图像中的像素是否为乘客目标，设属于乘客目标的像素标签为1，属于非乘客目标的像素标签为-1，具体为：
其中Ic(x,y)为当前非零像素，为该像素对应红外图像的像素值，红外图像像素的取值范围为{1,0}，以红外强度Ith为阈值进行分类：
将属于乘客目标的像素提取出来，完成了对前景图像的行人检测。整个过程相当于将红外图像作掩模与前景图像进行“与”操作，如图6所示。
5)利用Kalman滤波器对乘客目标进行跟踪
计算机视觉的一个重要应用是图像特征的跟踪，因为周围的环境是动态的，某一时刻所拍摄的图像和另一时刻的图像是不同的，因为视觉系统的一个初步任务在于将图像特征从一幅图像到另一幅图像匹配起来，这个过程就成为图像特征的跟踪。
Kalman滤波器是一种拥有参数估计功能的滤波器，通过时间更新与状态更新共五个核心方程，Kalman滤波能够预测下一时刻的特征参数。利用Kalman滤波进行长序列运动图像的特征跟踪，是特征跟踪的常用做法。
设以下动态系统是线性的：
其中x＝[x y Δx Δy]T为状态变量，y＝[x y]T为观测变量，A为状态估计矩阵，H为观测矩阵，q和r分别为估计噪声和观测噪声，符合高斯分布。
Kalman滤波器时间与状态共五个核心更新方程如下：
本算法中，Kalman滤波器各参数取值如下：
其中Q和R分别为其协方差矩阵，P为误差协方差矩阵。
综上所述，选择乘客人头的运动特征向量作为Kalman滤波器的状态变量，通过迭代计算五条核心方程，状态变量最终将收敛至最优估计，就能够达到对乘客目标进行跟踪的目的，如图7所示。
6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合
本算法利用前景图像中物件目标和乘客目标的关系，如果能够先完成对乘客目标的检测与跟踪，之后剔除乘客目标，剩下的就是物件目标。本算法利用边界跟踪生长的传统方法，首先对前景图像进行轮廓检测，具体检测算法如下：
①按从上到下，从左到右的顺序扫描图像，寻找没有标记跟踪结束记号的初始边界点A0，A0即具有最小行和列序号的边界点。定义扫描方向d描述上一步中沿着前一边界点到当前边界点的移动方向，设area为邻域大小，则初始搜索方向d0为：
②按逆时针方向搜索当前像素的3×3邻域，则当前搜索方向dk为：
其中dk-1为上一搜索方向，mod为求余运算，则在3×3邻域中搜索到的第一个相同像素为当前边界点Ak；
③如果当前边界点Ak等于第二边界点A1且上一边界点Ak-1等于初始边界点A0，则转④，否则转②；
④边界点序列A＝{A0,A1,...,Ak}构成前景图像的轮廓图像。
在进行轮廓检测后还要进行一定得先验知识校正，去除明显不属于前景的像素，本方法中轮廓校正条件主要是轮廓最小外接矩形的长宽比，取阈值为2，若长宽比大于该阈值则舍弃当前轮廓。
利用Fitzgibbon算法对每一个轮廓进行椭圆拟合，设轮廓所在椭圆的二次方程为：
F(α,X)＝α·X＝ax2+bxy+cy2+dx+ey+f＝0
其中α＝[a b c d e f]T，X＝[x2 xy y2 x y 1]T，记F(α；Xi)点(x,y)到椭圆F(α；X)＝0的几何距离，定义拟合问题的目标函数为：
为使目标函数最小化，最优化问题的限制条件可以是以下任意一个：
||α||2＝1
a+c＝1
f＝1
||Nα||2＝1,
加入椭圆长短轴比值和面积等先验条件进行目标校正，本方法中取椭圆长短轴比值阈值为3，若长短轴比值大于该阈值则舍弃该椭圆，分别取椭圆面积上下限为三分之一原始图像大小和50像素。
7)剔除步骤6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪；
利用Fitzgibbon算法得到同时包含物件目标和乘客目标的前景图像，在步骤5)中已经得到乘客目标中心坐标，在步骤7)中，首先剔除步骤6)中的乘客目标，利用Kalman滤波器对剩下的物件目标进行跟踪，得到物件目标中心坐标，如图8所示。
至此，算法分别对物件目标与乘客目标进行了跟踪，得到了两类运动目标的中心坐标。设设取样帧数为n，P(k)＝(x(k),y(k))为k时刻目标中心坐标，计算两类运动目标k时刻的运动速度和运动方向如下：
8)通过分析物件及乘客中心坐标的运动速度和运动方向判断二者的行为
本发明把物件及乘客行为分为四种：正常移动、快速移动、逆向移动和拥堵阻塞，具体判断方法如下：
①正常移动
正常情况下，目标搭乘手扶电梯到达楼层板后，只能向手扶电梯的前进方向移动，具体为以前进方向为对称轴的半圆内。以视频图像中心点为极点，手扶电梯前进方向为极轴建立极坐标系，设逆时针方向为正方向，此时目标的运动速度与运动方向特征为：
其中vH1和vL1分别为目标正常移动时的运动速度判定阈值上下限。
②快速移动
当目标快速移动时，其运动速度与运动方向特征为：
其中vH2和vL2分别为物件快速移动时的运动速度判定阈值上下限，vL2＞vH1。
③逆向移动
当目标到达手扶电梯楼层板后逆向返回正在前进的手扶电梯时，其运动速度与运动方向特征为：
其中vH3和vL3分别为物件逆向移动时的运动速度判定阈值上下限，vL3＞vH1。
④拥堵阻塞
当手扶电梯搭乘高峰期时，大量乘客到达手扶电梯楼层板后拥堵在原地或缓慢前进，或者当物件目标被遗留在楼层板造成阻塞时，目标将长时间静止或缓慢移动，设Kalman滤波器跟踪强度为confi(k)，该参数描述运动目标被跟踪的持续时间，此时物件的运动速度与跟踪强度特征为：
其中vH4为物件遗留或堵塞时的运动速度判定阈值上限，vH4＜＜vL1，confiL为拥堵阻塞时的Kalman跟踪强度判定阈值下限。
本实施例中通过对手扶电梯视频测试集的反复实验，以下参数能够得到较为准确的物件及乘客行为检测结果：vH1＝15，vL1＝8，vH2＝50，vL2＝25，vH3＝50，vL3＝20，vH4＝2，confiLt＝2000。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，其特征在于：主要是通过分析手扶电梯楼层板上物件及乘客的运动速度和运动方向来监控楼层板区域，包括以下步骤：
1)视频图像与红外图像采集；
2)视频图像与红外图像坐标配准；
3)利用CodeBook算法建立背景模型，提取物件及乘客前景图像；
4)利用红外图像对前景图像进行行人检测；
5)利用Kalman滤波器对乘客目标进行跟踪；
6)利用Fitzgibbon算法对前景图像进行轮廓检测与椭圆拟合；
7)剔除步骤6)中的乘客目标，利用Kalman滤波器对物件目标进行跟踪；
8)通过分析物件及乘客中心坐标的运动速度和运动方向监控楼层板区域。
2.根据权利要求1所述的结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，其特征在于：在步骤1)中，采用摄像头采集视频图像，采用红外阵列传感器采集红外图像；所述摄像头与红外阵列传感器安装在手扶电梯楼层板的正上方，其拍摄方向要求垂直于楼层板平面，以保证摄像头的镜头畸变最小，其视角要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客的图像。
3.根据权利要求1所述的结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，其特征在于：在步骤2)中，摄像头镜头中心与红外阵列传感器中心不在同一点，使视频图像坐标系与红外图像坐标系不重合，需要对视频图像与红外图像坐标配准，具体如下：
设摄像头焦距为f，摄像头镜头中心至楼层板的距离为Lc，成像靶面的宽度和高度分别为wc、hc，则摄像头的视场宽Wc和高Hc为：
<mrow> <msub> <mi>W</mi> <mi>c</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>w</mi> <mi>c</mi> </msub> <msub> <mi>L</mi> <mi>c</mi> </msub> </mrow> <mi>f</mi> </mfrac> </mrow>
<mrow> <msub> <mi>H</mi> <mi>c</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>h</mi> <mi>c</mi> </msub> <msub> <mi>L</mi> <mi>c</mi> </msub> </mrow> <mi>f</mi> </mfrac> </mrow>
设红外阵列传感器最大视场角为θ，传感器中心至楼层板的距离为Lg，则红外阵列传感器的视场宽Wg和高Hg为：
<mrow> <msub> <mi>W</mi> <mi>g</mi> </msub> <mo>=</mo> <mn>2</mn> <msub> <mi>L</mi> <mi>g</mi> </msub> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mfrac> <mi>&amp;theta;</mi> <mn>2</mn> </mfrac> </mrow>
<mrow> <msub> <mi>H</mi> <mi>g</mi> </msub> <mo>=</mo> <mn>2</mn> <msub> <mi>L</mi> <mi>g</mi> </msub> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mfrac> <mi>&amp;theta;</mi> <mn>2</mn> </mfrac> <mo>=</mo> <msub> <mi>W</mi> <mi>g</mi> </msub> </mrow>
计算摄像头的最大视场角
选取所需参数的摄像头使得此时红外图像完全包含于视频图像内，设摄像头镜头中心与红外阵列传感器中心的水平偏移距离为d，则对楼层板上的某一点P，其视频图像坐标(xc,yc)与红外图像坐标(xg,yg)分别为：
<mrow> <msub> <mi>x</mi> <mi>g</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>-</mo> <mfrac> <mrow> <msub> <mi>W</mi> <mi>c</mi> </msub> <mo>-</mo> <msub> <mi>W</mi> <mi>g</mi> </msub> </mrow> <mn>2</mn> </mfrac> </mrow>
<mrow> <msub> <mi>y</mi> <mi>g</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mi>c</mi> </msub> <mo>-</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>H</mi> <mi>c</mi> </msub> <mo>-</mo> <msub> <mi>H</mi> <mi>g</mi> </msub> </mrow> <mn>2</mn> </mfrac> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow>
设摄像头的分辨率为Nw×Nh，红外阵列传感器的分辨率为Nbin×Nbin，将模拟图像坐标(xc,yc)转化为数字图像坐标将模拟红外坐标(xg,yg)转化为数字红外坐标为，得到视频图像与红外图像坐标配准公式：
<mrow> <msub> <mover> <mi>x</mi> <mo>~</mo> </mover> <mi>c</mi> </msub> <mo>=</mo> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mi>c</mi> </msub> <msub> <mi>N</mi> <mi>w</mi> </msub> </mrow> <msub> <mi>W</mi> <mi>c</mi> </msub> </mfrac> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mover> <mi>y</mi> <mo>~</mo> </mover> <mi>c</mi> </msub> <mo>=</mo> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>c</mi> </msub> <msub> <mi>N</mi> <mi>h</mi> </msub> </mrow> <msub> <mi>H</mi> <mi>c</mi> </msub> </mfrac> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mover> <mi>x</mi> <mo>~</mo> </mover> <mi>g</mi> </msub> <mo>=</mo> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mi>g</mi> </msub> <msub> <mi>N</mi> <mrow> <mi>b</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> <msub> <mi>W</mi> <mi>g</mi> </msub> </mfrac> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mover> <mi>y</mi> <mo>~</mo> </mover> <mi>g</mi> </msub> <mo>=</mo> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>g</mi> </msub> <msub> <mi>N</mi> <mrow> <mi>b</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> <msub> <mi>H</mi> <mi>g</mi> </msub> </mfrac> <mo>)</mo> </mrow> </mrow>
其中floor为整除运算。
4.根据权利要求1所述的结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，其特征在于：在步骤3)中，利用CodeBook算法建立背景模型并提取物件及乘客前景图像，包括以下步骤：
3.1)建立CodeBook结构
为当前图像的每一个像素建立一个CodeBook结构，简称CB，每个CodeBook结构又由多个CodeWord组成，简称CW；CB和CW的形式如下：
CB＝{CW1,CW2,…,CWn,t}
CW＝{IH,IL,Imax,Imin,tlast,tst}
式中，一个CB包含n个CW，分别为CW1,CW2,…,CWn，t为CB更新次数；CW为一个六元组，IH和IL为背景更新时的学习上下界，Imax和Imin为当前像素的最大值和最小值，tlast为上一次更新时间；tst为陈旧时间，记录该CW多久未被访问；
设背景模型的增长阈值为IB，图像中的某一像素为I(x,y)，其中x和y分别是像素的横坐标和纵坐标，则该像素的CB更新算法如下：
①CB的访问次数加1；
②历遍CB中的每个CW，如果存在一个CW的IH、IL使得IL≤I(x,y)≤IH，则转④；
③建立一个新的CW加入到该CB中，Imax和Imin均赋值为I(x,y)，IH赋值为I(x,y)+IB，IL赋值为I(x,y)-IB，转⑥；
④更新该CW的tlast，若I(x,y)＞Imax，则Imax赋值为I(x,y)，若I(x,y)＜Imin，则Imin赋值为I(x,y)；
⑤更新该CW的学习上下界，若I(x,y)+IB＞IH，则IH加1，若I(x,y)-IB＜IL，则IL减1；
⑥更新CB中的每个tst；
3.2)建立背景模型
选择一帧或多帧使用CB更新算法建立背景模型，背景建立帧数一般为视频采集帧率值的1～2倍；
3.3)提取物件及乘客前景图像
设前景图像的判定阈值上下界为IMmax和IMmin，图像中的某一像素为I(x,y)，历遍CB背景模型中的每个CW，如果存在一个CW的Imax、Imin使得Imin-IMmin＜I(x,y)＜Imax+IMmax，则I(x,y)为背景像素，否则为前景像素；
3.4)更新背景模型
隔设定的帧数使用CB更新算法更新背景模型，同时对背景模型进行时间滤波，设更新阈值为更新次数的一半，图像中的某一像素为I(x,y)，历遍CB中的每个CW，若陈旧时间tst大于更新阈值，则移除该CW。
5.根据权利要求1所述的结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，其特征在于：在步骤4)中，利用红外图像对前景图像进行行人检测，在红外阵列传感器的安装过程中，要求覆盖整个手扶电梯楼层板区域，以保证能采集到所有在该区域上的物件及乘客的图像，具体为红外阵列传感器的视场大小约等于手扶电梯楼层板的区域大小，红外图像与楼层板图像基本重合；
历遍前景图像中的非零像素，将非零像素坐标与红外图像坐标配准，判断前进图像中的像素是否为乘客目标，设属于乘客目标的像素标签为1，属于非乘客目标的像素标签为-1，具体为：
<mrow> <msub> <mi>I</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;Subset;</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>I</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <mover> <mi>x</mi> <mo>~</mo> </mover> <mo>,</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>I</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>I</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <mover> <mi>x</mi> <mo>~</mo> </mover> <mo>,</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中Ic(x,y)为当前非零像素，x和y是横纵坐标，为该像素对应红外图像的像素值，和是横纵坐标，符号表示“属于”，红外图像像素的取值范围为{1,0}，以红外强度Ith为阈值进行分类：
<mrow> <msub> <mi>I</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <mover> <mi>x</mi> <mo>~</mo> </mover> <mo>,</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <mover> <mi>x</mi> <mo>~</mo> </mover> <mo>,</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>&amp;GreaterEqual;</mo> <msub> <mi>I</mi> <mrow> <mi>t</mi> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <mover> <mi>x</mi> <mo>~</mo> </mover> <mo>,</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>&lt;</mo> <msub> <mi>I</mi> <mrow> <mi>t</mi> <mi>h</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
将属于乘客目标的像素提取出来，便完成对前景图像的行人检测。
6.根据权利要求1所述的结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，其特征在于：在步骤5)中，Kalman滤波器是一种拥有状态估计功能的滤波器，通过时间更新与状态更新共五个核心方程，Kalman滤波器能够预测下一时刻的系统状态，从而完成对乘客目标的跟踪任务；
设以下动态系统是线性的：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>x</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>=</mo> <mi>A</mi> <mi>x</mi> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>+</mo> <mi>q</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>=</mo> <mi>H</mi> <mi>x</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>+</mo> <mi>r</mi> </mtd> </mtr> </mtable> </mfenced>
对中心坐标Pp＝(xp,yp)，xp和yp分别是它的横纵坐标，x(k)＝[xp yp Δxp Δyp]T为系统在k时刻的状态变量，Δxp和Δyp为xp和yp的变化量，x(k-1)为系统在k-1时刻的状态变量，y(k)＝[xp yp]T为系统在k时刻的观测变量，A为状态估计矩阵，H为观测矩阵，q和r分别为估计噪声和观测噪声，符合高斯分布；
Kalman滤波器时间与状态共五个核心更新方程如下：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>x</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>A</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>A</mi> <mi>P</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <msup> <mi>A</mi> <mi>T</mi> </msup> <mo>+</mo> <mi>Q</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>P</mi> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> <msup> <mi>H</mi> <mi>T</mi> </msup> <msup> <mrow> <mo>(</mo> <mi>H</mi> <mi>P</mi> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> <msup> <mi>H</mi> <mi>T</mi> </msup> <mo>+</mo> <mi>R</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>x</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mi>y</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <mi>H</mi> <mi>x</mi> <mi>g</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>K</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mi>H</mi> <mo>)</mo> </mrow> <mi>P</mi> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，xg(k)为k时刻的状态预测值，x(k-1)为k-1时刻的状态值，P(k)'为k时刻的先验误差协方差矩阵，P(k-1)为k-1时刻的后验误差协方差矩阵，Q为q的协方差矩阵，K(k)为k时刻的增益，R为r的协方差矩阵，P(k)为k时刻的后验误差协方差矩阵；
因此，选择乘客的运动特征向量作为Kalman滤波器的状态变量，通过迭代计算五条核心方程，状态变量最终将收敛至最优估计，就能够达到对乘客目标进行跟踪的目的。
7.根据权利要求1所述的结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，其特征在于：在步骤6)中，首先利用邻域搜索算法对前景图像进行轮廓检测，之后利用Fitzgibbon算法对每一个轮廓进行椭圆拟合，加入椭圆长短轴比值和面积等先验条件进行目标校正，利用Fitzgibbon算法得到同时包含物件目标和乘客目标的前景图像，在步骤5)中已经得到乘客目标中心坐标，在步骤7)中，首先剔除步骤6)中的乘客目标，利用Kalman滤波器对剩下的物件目标进行跟踪，得到物件目标中心坐标；
至此，算法分别对物件目标与乘客目标进行了跟踪，得到了两类运动目标的中心坐标，设取样帧数为n，P(k)＝(x(k),y(k))为k时刻目标中心坐标，x(k)和y(k)为横纵坐标，P(k-n)＝(x(k-n),y(k-n))为k-n时刻目标中心坐标，x(k-n)和y(k-n)为横纵坐标，计算两类运动目标k时刻的运动速度和运动方向如下：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>v</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <mi>x</mi> <mo>(</mo> <mrow> <mi>k</mi> <mo>-</mo> <mi>n</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <mi>y</mi> <mo>(</mo> <mrow> <mi>k</mi> <mo>-</mo> <mi>n</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>arctan</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>y</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>y</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
式中，v(k)和θ(k)分别是k时刻的运动速度和k时刻的运动方向。
8.根据权利要求1所述的结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法，其特征在于：在步骤8)中，目标的行为包括四种：正常移动、快速移动、逆向移动和拥堵阻塞，具体判断方法如下：
①正常移动
正常情况下，目标搭乘手扶电梯到达楼层板后，只能向手扶电梯的前进方向移动，具体为以前进方向为对称轴的半圆内；以视频图像中心点为极点，手扶电梯前进方向为极轴建立极坐标系，设逆时针方向为正方向，此时目标的运动速度与运动方向特征为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>v</mi> <msub> <mi>L</mi> <mn>1</mn> </msub> <mo>&lt;</mo> <mi>v</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>&lt;</mo> <mi>v</mi> <msub> <mi>H</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> <mo>&lt;</mo> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中vH1和vL1分别为目标正常移动时的运动速度判定阈值上下限；
②快速移动
当目标快速移动时，其运动速度与运动方向特征为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>v</mi> <msub> <mi>L</mi> <mn>2</mn> </msub> <mo>&lt;</mo> <mi>v</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>&lt;</mo> <mi>v</mi> <msub> <mi>H</mi> <mn>2</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> <mo>&lt;</mo> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中vH2和vL2分别为物件快速移动时的运动速度判定阈值上下限，vL2＞vH1；
③逆向移动
当目标到达手扶电梯楼层板后逆向返回正在前进的手扶电梯时，其运动速度与运动方向特征为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>v</mi> <msub> <mi>L</mi> <mn>3</mn> </msub> <mo>&lt;</mo> <mi>v</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>&lt;</mo> <mi>v</mi> <msub> <mi>H</mi> <mn>3</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> <mo>&lt;</mo> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mfrac> <mrow> <mn>3</mn> <mi>&amp;pi;</mi> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中vH3和vL3分别为物件逆向移动时的运动速度判定阈值上下限，vL3＞vH1；
④拥堵阻塞
当手扶电梯搭乘高峰期时，大量乘客到达手扶电梯楼层板后拥堵在原地或缓慢前进，或者当物件目标被遗留在楼层板造成阻塞时，目标将长时间静止或缓慢移动，设k时刻Kalman滤波器跟踪强度为confi(k)，该参数描述运动目标被跟踪的持续时间，此时物件的运动速度与跟踪强度特征为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> <mo>&lt;</mo> <mi>v</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>&lt;</mo> <mi>v</mi> <msub> <mi>H</mi> <mn>4</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>c</mi> <mi>o</mi> <mi>n</mi> <mi>f</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>c</mi> <mi>o</mi> <mi>n</mi> <mi>f</mi> <mi>i</mi> <mi>L</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中vH4为物件遗留或堵塞时的运动速度判定阈值上限，vH4＜＜vL1，confiL为拥堵阻塞时的Kalman跟踪强度判定阈值下限。
CN201710455857.6A 2017-06-16 2017-06-16 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法 Active CN107220992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710455857.6A CN107220992B (zh) 2017-06-16 2017-06-16 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710455857.6A CN107220992B (zh) 2017-06-16 2017-06-16 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法

Publications (2)

Publication Number Publication Date
CN107220992A true CN107220992A (zh) 2017-09-29
CN107220992B CN107220992B (zh) 2019-12-10

Family

ID=59949756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710455857.6A Active CN107220992B (zh) 2017-06-16 2017-06-16 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法

Country Status (1)

Country Link
CN (1) CN107220992B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109573761A (zh) * 2018-12-27 2019-04-05 佛山科学技术学院 一种电梯的控制方法及其系统
CN111144247A (zh) * 2019-12-16 2020-05-12 浙江大学 一种基于深度学习的自动扶梯乘客逆行检测方法
US20210321036A1 (en) * 2018-10-30 2021-10-14 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101665210A (zh) * 2008-09-03 2010-03-10 株式会社日立制作所 图像识别装置
CN101826228A (zh) * 2010-05-14 2010-09-08 上海理工大学 基于背景估计的公交乘客运动目标检测方法
CN106683077A (zh) * 2016-12-07 2017-05-17 华南理工大学 一种扶梯口楼层板上大件物滞留检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101665210A (zh) * 2008-09-03 2010-03-10 株式会社日立制作所 图像识别装置
CN101826228A (zh) * 2010-05-14 2010-09-08 上海理工大学 基于背景估计的公交乘客运动目标检测方法
CN106683077A (zh) * 2016-12-07 2017-05-17 华南理工大学 一种扶梯口楼层板上大件物滞留检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨冠宝: "基于全景视觉的自动扶梯节能及智能监控系统", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
霍玲玲: "Kalman滤波器理论的研究", 《实验研究》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109522793B (zh) * 2018-10-10 2021-07-23 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
US20210321036A1 (en) * 2018-10-30 2021-10-14 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, and storage medium
US11729494B2 (en) * 2018-10-30 2023-08-15 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, and storage medium
CN109573761A (zh) * 2018-12-27 2019-04-05 佛山科学技术学院 一种电梯的控制方法及其系统
CN111144247A (zh) * 2019-12-16 2020-05-12 浙江大学 一种基于深度学习的自动扶梯乘客逆行检测方法
CN111144247B (zh) * 2019-12-16 2023-10-13 浙江大学 一种基于深度学习的自动扶梯乘客逆行检测方法

Also Published As

Publication number Publication date
CN107220992B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
CN107220992A (zh) 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法
CN104966045B (zh) 基于视频的飞机进出泊位自动检测方法
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN105447888B (zh) 一种基于有效目标判断的无人机机动目标检测方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN102494675B (zh) 一种运动目标特征高速视觉捕捉方法
CN107273852A (zh) 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
CN106845364B (zh) 一种快速自动目标检测方法
CN103258232B (zh) 一种基于双摄像头的公共场所人数估算方法
WO2015104898A1 (ja) 車両用外界認識装置
CN104063882B (zh) 一种基于双目的车辆视频测速方法
CN105263018B (zh) 一种视频图像中叠加条纹检测方法和装置
CN106709950A (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN106375706A (zh) 利用双摄像头进行运动物体测速的方法、装置及移动终端
CN102663385B (zh) 一种星上点目标检测方法
JP5027741B2 (ja) 画像監視装置
CN106815583A (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN108734716A (zh) 一种基于改进Prewitt算子的火灾复杂环境图像检测方法
CN105976398A (zh) 一种白天火灾视频检测方法
CN111830470A (zh) 联合标定方法及装置、目标对象检测方法、系统及装置
CN114527294B (zh) 一种基于单个摄像头的目标速度测量方法
CN104166836B (zh) 一种基于多特征建模的分块多尺度工程车识别方法及系统
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant