CN101695983B - 基于全方位计算机视觉的自动扶梯节能与安全监控系统 - Google Patents

Abstract

一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，包括微处理器、全方位视觉传感器和自动扶梯PLC控制器，全方位视觉传感器安装在自动扶梯中部上方并倾斜一个与自动扶梯倾斜角相同的角度，全方位视觉传感器与微处理器连接，微处理器与自动扶梯PLC控制器连接，全方位视觉传感器由一次折反射镜面、二次折反射镜面、透明外罩和摄像部件组成，一次折反射镜面和二次折反射镜面的曲线按照水平方向平均分辨率方式设计，摄像部件的镜头安置在一次折反射镜面后面的视点位置上并通过一次折反射镜面的小孔获得由二次折反射镜面所反射的全景图像；透明外罩支撑一次折反射镜面和二次折反射镜面；本发明节能性良好、能够实现良好的安全监控。

Description

基于全方位计算机视觉的自动扶梯节能与安全监控系统

技术领域

本发明属于全方位视觉传感器、计算机视觉、自动控制等技术在自动扶梯安全节能等方面的应用。

背景技术

自动扶梯是倾斜的用动力驱动的扶梯，用于将乘客送上或送下。梯级在乘客入口处作水平运动，以后逐渐形成阶梯；在接近出口处阶梯逐渐消失，梯级再度作水平运动。自动扶梯是公共场所高效运送乘客的设备之一，在商场、宾馆、机场、车站等场所被广泛地使用。自动扶梯以其输送能力强，使用便捷等优点得到广泛应用。相对于垂直电梯而言，自动扶梯存在的缺陷是非常明显的，(1)空转情况下电能的浪费；(2)自动扶梯人偶尔的逆行行为易成造伤害；(3)在运作情况下，电梯上的人因为各种原因跌倒或者受到其它伤害，尤其是儿童和老人。

对于周期性使用自动扶梯明显的场合，如机场、车站等场所，在飞机或列车到来时客流集中，其余时间乘客较少；对于商场、购物中心等场所，一般在早上开门后、中午吃饭、晚上打烊前等时间段相对客流量较少；对于宾馆、建材家具市场等场所，自动扶梯空运行的时间可能会更多。目前绝大多数自动扶梯都是采用直接电源供电，便得自动扶梯在无人乘坐的时候仍然全速运行，造成在空运行状态下的能源浪费。假设一部自动扶梯每天运行10小时，空驶率50％(电动机功率为7.5kW)，每年浪费的电能为：7.5度/小时×5小时/天×365天＝13687.5度；按每度电1.00元的价格计算，一部自动扶梯每年损失费用13,687.50元，如果考虑环境排放量的话，资源消耗会更大。因此有效地控制和减少自动扶梯无效的运转，在节能、延长设备的使用寿命及运行成本的控制方面，具有明显的经济效益和社会效益。

另外，自动扶梯对人的伤害也已成为一个日益关注的问题。自动扶梯上发生的事故，是仅次于跌倒的常见意外。这种伤害会造成生理上和心理上的严重创伤，给受害者留下终生的痕迹。可见自动扶梯的伤害问题已成为一个需要十分关注的社会问题。美国《事故分析与预防》发表奥尼尔医学博士的研究显示，1991年至2005年将近4万名65岁以上受伤老年人急诊是与自动扶梯相关。数据显示(1)最常见的自动扶梯伤，腿部或头部的骨折、撞伤、擦伤和扭伤；(2)大部分是老年人踏上或离开自动扶梯时滑倒、摔跤或跌倒所致；(3)有些人受伤是因为他们失去平衡，或头昏，其他是因为鞋子、服装、手提袋、或包装袋陷入自动扶梯，或者他们在自动扶梯上与别人发生擦撞。

自动扶梯伤害不仅多见于老年人，也多见于孩子，尽管现在很多电梯多会友情提示“小朋友，请在大人陪同下乘坐电梯”，而实际上缺乏事前预警和事后快速反应的应急机制。有研究显示，中国每年大约20万名孩子受伤与自动扶梯相关。最易出事故的是14岁以下的儿童，约占35％。

针对自动扶梯对乘坐人员伤害的预防，如对于乘坐自动扶梯的人出现逆向行走等现象，自动扶梯反向运行以及乘坐自动扶梯的人非正常状态，这些都属于自动扶梯运行过程中的安全隐患，而这种现象多见于未成年人嬉戏打闹、老年与孩子；另一方面，一旦在自动扶梯上出现人身事故，自动扶梯的运行管理人员又必须担负不可推卸的责任。由于自动扶梯的活动台阶不间断运行，逆向行走对于逆行者本人容易因失去平衡而造成伤害，同时也妨碍自动扶梯的正常运行。另一种情况是电梯本身由于某种机械装置内部原因造成的整部电梯的逆转。据报道，日本东京江东区一个国际展示场，2008年7月3日几百名模型爱好者乘扶手电梯进场之际，扶手电梯突然急停逆转，约60人像骨牌般跌倒，导致20人受伤，其中一人骨折，伤势较重；因此在规定了自动扶梯运行方向的情况下，通过计算机视觉检测自动扶梯运行过程中是否有乘坐人员有逆向行走行为、乘坐人员的危险状态以及自动扶梯运行异常状态；

上海2007年12月，轨道交通4号线世纪大道站内发生惊险一幕。由于出站人流拥挤，一部上行的自动扶梯在运行时突发故障骤停，并开始倒行，导致正在电梯上的乘客纷纷往后跌倒，发生挤压。其中5名伤员由于伤势较重，被先后送往东方医院急救。根据美国的电梯及自动扶梯事故的一项报告，从伤害是否需要医院治疗这个角度统计分析，情况更比一般人想象的严重得多。1994年消费产品安全委员会根据从全国90家医院的调查，发现有7300个扶梯和9800个电梯伤害需要医院治疗。因此，消费产品安全委员会估计，以需要医院治疗作为事故来计算，扶梯的年事故率为22.1％，电梯的年事故率为1.5％。美国消费产品安全委员会认为“跌落”事故比例很高，占75％；但“运动部件卷入或夹住”事故比“跌落”会导致更严重的后果，尤其是5岁以下儿童在裙板处卷入。小孩最常见的事故是小孩的手、鞋(包括摆动的鞋带)卷入扶梯进出口梳齿板中或两边裙板里。2006年10月28日14时37分左右，巴中市集洲房地产开发有限公司九洲商业城一楼左侧上行自动扶梯，一名逛西交会的儿童(何政伟，男，12岁，巴中市春蕾学校初一年级学生)头部被卡在扶梯与二楼平台之间，发生此次事故的主要原因是：当日该商场正在举办有五省十八市参加的十八届西部商品交易会，商品琳琅满目，该儿童出于好奇，身子扒在自动扶梯上，头部伸出扶梯外，现场又无监护人，电梯上行，致使头部被卡。

针对自动扶梯事故频发的情况，各地政府部门也制定了相关安全责任管理条例，比如深圳经济特区电梯及自动扶梯安全管理条例，对自动扶梯事故的报告、调查和处理发布了相关的规定，相关条款如下：

第三十一条发生电梯、自动扶梯安全事故的，业主应向市质量技术监督部门、维修保养企业报告；发生重大人员伤亡事故的，业主还应按国家有关规定在二十四小时内向市公安机关、市检察机关报告。

第三十二条在事故现场处理完毕后，维修保养企业应会同业主对事故电梯、自动扶梯进行及时检查、维修和处理。

第三十三条市质量技术监督部门应聘请专业人员对事故性质进行鉴定。事故鉴定人员有权向发生事故的单位和有关人员了解有关情况、索取有关资料。任何单位和个人不得拒绝、阻碍或者干涉事故调查的正常工作。

上述条款也要求业主对所发生的自动扶梯安全事故提供相关资料和数据，如果能完整的记录安全事故，作为视频数据是一种事故现场记录的最佳选择。

人流拥挤是造成自动扶梯安全事故一个重要因素，人数统计系统即可以用来调研进出入设施的人数，获得实时的设施内人员数量，可以为合理分配服务与管理资源、科学调度、安全保障提供数据，同时也能用于设施内人员过多拥挤引起的安全隐患并及时报警。

在电梯节能方面，目前大部分采用的自动扶梯红外线技术，这种技术是将对射型光电传感器的发射端与接收端分别安装在扶梯入口正前方1~1.5米处的两根不锈钢立柱上。正常情况，发射端发出的红外线会被接收端接收。当乘客从立柱形成的入口处进入时，发射端发出的红外线便会被遮挡，接收端因无法接收到红外线，便发送一个信号(电平信号或触点信号)至扶梯控制系统，以令扶梯开始运行。这种节能控制方式存在如下几个问题：(1)无法判断人流密度。尽管红外线感应器也可以设定一个域值来进行自动的开启与关闭，使之符合人流的使用电梯频度，但是经常会有这样的情况，如：时间间隔设定为1分钟，1分01秒过来的人，就要重启电梯，频繁而无效率地重启电梯对电梯的机械磨损非常大，而驱动电机的启动通常需要更大的电能损耗，也缩短电机的使用寿命；(2)改造代价比较大；主要表现为：a)占用较多空间，根据GB16899-1997中14.2.1.1规定，为满足系统提速所需要的时间，加装的立柱必须在扶梯入口正前方1米以外；b)缺乏美感，在扶梯入口前方占用近1米的空间，对商家来说，无疑是一种空间浪费，而且这样的安装方式还大大限制了乘客的进出路线，特别是在高峰时期会造成拥堵现象；c)安装麻烦，因为要另外购置立柱以及隔离设施，包括柱体切割、线路铺设，这些都将会大大提高工程费用。

在关于自动扶梯节能方面，公开号为CN1433952的智能型自控节能全自动扶梯，在自动扶梯上下端平台处均设有预速、减速踏板，当此端作进口平台时，踏板是预速踏板，当此端作出口平台时，踏板是减速踏板，其踏板的运行方向和速度均随其运行方向和快慢速度控制系统的变化而随之改变，这种方案通过单纯机械方面的踏板设计来达到节能的目的，对于已有投入运行的电梯更新换代进行改造代价过大，况且，也存在机械装置失灵、控制系统过于复杂等问题。

在采用视觉方式进行人数统计方面，中国发明专利公开号为CN101303727公开了基于视频统计人数的智能管理方法，该发明涉及视频图像处理及模式识别技术领域，人数统计方法步骤：(1)在当前图像中进行人头检测，确定当前图像中的各人头；(2)利用当前图像，以及当前图像中各人头的位置，估算出前一帧图像中各人头的平移速度；(3)根据前一帧中各人头的平移矢量速度，对前一帧图像中各人头进行预测跟踪，确定前一帧图像中各人头在当前图像中分别对应的人头，同时还确定新出现在当前图像中的人头、以供对下一帧图像执行所述步骤。根据前一帧图像中各人头的数量、减前一帧图像中各人头在当前图像中分别对应的人头的数量，研究当前图像中的人数。此发明公开的基于视频统计人数的智能管理方法包括如下步骤：S1：获取视频流图像作为输入图像；S2：对输入图像进行人数统计处理，得到各区域单位时间的人流分布数据；S3：控制中心根据步骤S2中获得的人流分布数据进行工作人员的调控。该发明的重点是实现由人数计数角度出发的智能管理，而没有明确给出如何判断人头的方法。

发明内容

为了克服现有的自动扶梯的控制系统的节能效果差、存在安全隐患的不足，本发明提供一种节能性良好、能够实现良好的安全监控的基于全方位计算机视觉的自动扶梯节能与安全监控系统。

为了解决上述技术问题提出的技术方案为：

一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，包括微处理器、用于检测自动扶梯运行状态和搭乘者状态的全方位视觉传感器和用于控制自动扶梯运行的自动扶梯PLC控制器，所述的全方位视觉传感器安装在所述的自动扶梯中部上方并倾斜一个与自动扶梯倾斜角相同的角度，所述的全方位视觉传感器与所述的微处理器连接，所述的微处理器与所述自动扶梯PLC控制器连接，所述的全方位视觉传感器由一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述的一次折反射镜面和二次折反射镜面的曲线按照水平方向平均分辨率方式设计，所述的摄像部件的镜头安置在一次折反射镜面后面的视点位置上并通过一次折反射镜面的小孔获得由二次折反射镜面所反射的全景图像；所述的透明外罩支撑一次折反射镜面和二次折反射镜面；

所述的微处理器包括：

视频图像读取模块，用于读取全方位视觉传感器的全景图像，并将读取的全景图像保存在动态存储器中以便为后续的动态图像理解处理准备视频数据；

关注区域定制模块，用于在全景图像上定制上行和下行方向的自动扶梯的范围以及扶手边界、定制上行和下行方向的自动扶梯的入口区域、自动扶梯的危险区域以及搭乘自动扶梯的人数统计区域；

越界检测模块，用于检测自动扶梯的搭乘者以及携带物是否超过了扶手边界，对存储在动态存储器中的全景视频图像采用边缘检测算法和混合高斯背景建模算法进行综合判定：在扶手边界处周围检测出非扶手边缘情况下，再通过高斯前景对象建模算法确认是否属于前景对象，如果检测出前景对象的外侧边缘越过自动扶梯的扶手外侧边缘5个像素以上，就判定为越界；

节能控制模块，用于根据所述的人数统计检测模块中检测出某一运行方向上的自动扶梯上无搭乘者而发送过来的自动扶梯停止运行的信息，将控制的开关信号发送给自动扶梯PLC控制器，实现自动扶梯的停止或者运行；对下行和上行自动扶梯的控制共有4个控制信号，Up-OFF、Up-ON、Down-OFF和Down-ON分别表示上行自动扶梯停止、上行自动扶梯启动运行、下行自动扶梯停止和下行自动扶梯启动运行。

进一步，所述的一次折反射镜面和二次折反射镜面的曲线的设计为了达到从顶视角度来看水平方向上的物体不变形的目的，用以下方法来进行设计；

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Ф，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

$F_1^{\′2}-2\mathrm{\α}{F}_1^{\′}-1=0---\left(2\right)$

$F_2^{\′2}-2{\mathrm{\βF}}_2^{\′}-1=0---\left(3\right)$

上式中，

$\mathrm{\α}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

${F_1}^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

${F_2}^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C    (6)

为了设计水平面上具有平均分辨率全方位视觉传感器，即水平方向不变形的全方位视觉传感器，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b    (7)

f为摄像头的焦距，根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(8\right)$

将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求；

然后通过对公式(2)、(3)、(9)利用4阶Runge-Kutta算法求F₁和F₂的数字解；求得的F₁和F₂的数字解就是一次折反射镜面和二次折反射镜面的曲线。

再进一步，所述全方位视觉传感器还包括组合摄像单元，用于拍摄全方位视觉传感器的死角部分的视频图像，所述组合摄像单元包括广角镜头与摄像部件，将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3(12)

要使公式(12)成立的话，将图3中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，可以得到图2中图像中部所显示的广角成像图；将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

进一步，对于将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f3可以由下式来表示：

$\frac{1}{f3}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f3}---\left(14\right)$

为了将合成镜头的视场与全方位视觉传感器的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f3}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角。

所述微处理器还包括：自动扶梯自检模块，用于自动检测自动扶梯的运行安全性和动作可靠性，在满足全景视频图像解析过程中没有检测到有任何搭乘者以及在所规定的时间段内两个条件下，向在所述的节能控制模块分别发送4个控制信号，Up-OFF、Up-ON、Down-OFF和Down-ON分别表示上行自动扶梯停止、上行自动扶梯启动运行、下行自动扶梯停止和下行自动扶梯启动运行情况下，并通过光流算法分别检测在控制上行或者下行自动扶梯停止条件下是否存在着任何移动物体、在控制上行自动扶梯运动条件下是否存在着任何下行的移动物体、在控制下行自动扶梯运动条件下是否存在着任何上行的移动物体，如发现上述存在的现象就表示自动扶梯自检存在故障，接着通过网络及时通知自动扶梯维护人员进行维修保养。

所述微处理器还包括：人数统计检测模块，用于检测出自动扶梯的搭乘者的数目，首先分自动扶梯上行和下行两个方向分别检测是否有搭乘者和欲搭乘者，在所述的关注区域定制模块中分别定制了自动扶梯上行方向以及下行方向的自动扶梯的搭乘区域，所述的搭乘区域中包括自动扶梯的移动区域和入口区域，对存储在动态存储器中的全景视频图像通过边缘检测算法检测出在搭乘区域内存在着类似于人体边缘形状的图像，就判定为在自动扶梯的搭乘区域有搭乘者，将检测到的搭乘者的人数M1发送给所述的拥挤度检测模块；对检测到没有搭乘者的情况，将没有搭乘者的自动扶梯的信息发送给节能控制模块，如检测结果是在上行的自动扶梯的移动区域和入口区域均无搭乘者，就将上行的自动扶梯停止运行的信息送给节能控制模块；要对人数统计区域内的搭乘者进行动态计数，即对在单位时间内通过人数统计区域的人数进行计数，以每秒时间间隔采集人数统计区域内的图像，对该区域内进行边缘检测，在自动扶梯的人数统计区域内搭乘者的人体轮廓接近于椭圆型，如果在人数统计区域内检测出来的边缘轮廓类似于椭圆型就判定为搭乘者，对于在人数统计区域内检测出来的椭圆型不足一半的不进行统计计数。

所述微处理器还包括：逆向行走检测模块，用于检测在自动扶梯上的搭乘者是否逆向行为，在上行的自动扶梯上所有物体都应该是向着上行方向，如果有物体存在着与上行方向不一致情况，认为是一种逆向行为；对存储在动态存储器中的全景视频图像通过光流法进行判别，在所述的关注区域定制模块分别定制了自动扶梯上行区域和下行区域，如果在自动扶梯上行区域的图像中检测出有下行的光流，就判定为逆向行走；在上行的自动扶梯上出现了大量的下行物体光流，判定发生自动扶梯运行异常状态，在检测到与自动扶梯运动方向相反的大量物点光流情况下，就必须立刻发出停止自动扶梯运动方向上的信号。

所述微处理器还包括：搭乘物大小检测模块，用于检测搭乘者是否携带外形长或体积大的笨重物品，对存储在动态存储器中的全景视频图像通过检测在自动扶梯的入口区域是否存在着大于人体体积规模的物品；通过对自动扶梯的入口区域采用混合高斯背景建模算法获取前景对象的二值图，统计前景对象二值图的连通区域的像素点，如果某个前景对象的统计像素值大于规定的像素值，就判定为过大物品，所述的规定的像素值的大小是根据人体对象二值图的连通区域的像素点的倍数来确定；

搭乘物异常行为检测模块，用于对存储在动态存储器中的全景视频图像通过光流法计算在所述的关注区域定制模块中所定制的区域内，从光流法来看正常的搭乘行为在搭乘者与自动扶梯之间的不会出现较大的相对运动，当搭乘者对象物速度为自动扶梯速度的1.5倍以上或者0.5倍以下时，判定为搭乘物异常行为。

所述微处理器还包括：危险区域检测模块，用于检测在扶手带入口处是否存在着类似于搭乘者的前景对象，在所述的关注区域定制模块中分别定制了自动扶梯的扶手带入口处区域，对存储在动态存储器中的全景视频图像通过高斯前景对象建模算法在所述的关注区域定制模块中所定制的自动扶梯的扶手带入口处区域内是否存在着前景对象。

所述微处理器还包括：拥挤度检测模块，用于检测在自动扶梯上的人群拥挤程度，根据在所述的人数统计检测模块中传送过来的搭乘者的人数M1数据，通过以下公式计算拥挤度：

$\mathrm{\ψ}=\frac{M1}{\mathrm{\Ω}}\×100---\left(16\right)$

式中，M1为当前在自动扶梯上的搭乘者数，Ω为自动扶梯上额定搭乘者数，Ψ为拥挤度用百分比来表示，Ω值的大小根据自动扶梯的长度、宽度以及保证安全搭乘情况条件下进行确定，该值存放在微处理器内的存储单元中。

所述微处理器还包括：警示语音生成模块，用于生成和播放警示语音，根据所述的拥挤度检测模块、危险区域检测模块、搭乘物异常行为检测模块、搭乘物大小检测模块、逆向行走检测模块和越界检测模块中处理的结果，接收相对应的语音文字信息，通过文字语音转化软件将语音文字信息转换为MP3或者WAV文件，然后将MP3或者WAV文件通过播放器进行播放，如自动扶梯上配置有显示屏的场合将语音文字信息同时在显示屏进行显示。

本发明的技术构思为：要实现电梯的节能控制、保证乘坐电梯者的人身安全以及统计出入电梯人数，首先要获取整个两侧自动扶梯的全景视频图像，然后对全景视频图像进行计算机视觉处理，得到欲上自动扶梯和已经在自动扶梯上的人数、人的状态，根据欲上自动扶梯和已经在自动扶梯上的人数来控制电梯的动作，比如左侧电梯上没有人也没有欲上自动扶梯的人，就自动停止左侧电梯动作；如果左侧电梯是下行电梯，但是发现左侧电梯有上行的人，就语音提示电梯乘坐人；要实现上述目标，在原有的自动扶梯基础上需要添加全方位视觉传感器、语音提示单元和微处理器；其中全方位视觉传感器用于获取包括整个两侧自动扶梯的视频图像，微处理器用于检测欲上自动扶梯和已经在自动扶梯上的人数，分析在自动扶梯上的人的状态，自动扶梯的运行状态，统计出入自动扶梯的人数，控制移动的停止、运行。

近些年发展起来的全方位视觉传感器全方位视觉传感器(OmniDirectional VisionSensors)为实时获取场景的全景图像提供了一种新的解决方案。全方位视觉传感器的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；这种全方位视觉传感器摄像机主要由一个CCD(或者CMOS)摄像机和正对着摄像单元的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD(或者CMOS)摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位视觉传感器有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径；在整个两侧上下行的自动扶梯中间配置一个全方位视觉传感器，从俯视角度来获取的整个自动扶梯视频图像是一种非常好的解决方案，依托包含着整个两侧自动扶梯的全景视频图像进行动态图像理解，解析出欲上自动扶梯和已经在自动扶梯上的人数、人的状态，控制自动扶梯的动作，以实现自动扶梯的节能控制、保证乘坐电梯者的人身安全以及统计出入自动扶梯人数。

本发明的有益效果主要表现在：1、采用全方位视觉的方式来获取整个自动扶梯的全景视频图像，具有安装维护实施方便、成本低、数据融合简单等优点；2、对全景视频图像进行计算机视觉处理，装置既能用于控制自动扶梯的节能，又能用于自动扶梯的安全检测；3、实现的检测功能齐全，实现了对自动扶梯的运行状态、使用状态、搭乘者的状态以及搭乘者的各种行为的检测；4、非常方便于对目前已投入运营的自动扶梯进行技术升级，可大大提高自动扶梯的自动化、智能化的水平，提高运营商的安全管理水平，杜绝各种安全隐患的发生，提高自动扶梯的使用效率和寿命；5、在安全、节能、高性价比等方面实现了完美的统一。

附图说明

图1为在自动扶梯上安置全方位视觉传感器的俯视图；

图2为在自动扶梯上安置全方位视觉传感器的正视图；

图3为全方位视觉传感器的结构图；

图4为全方位视觉传感器的成像原理图；

图5为在全景图像上定制各种检测区域的示意图；

图6为基于全方位计算机视觉的自动扶梯节能与安全监控系统与电梯伺服系统结合示意图；

图7为全方位视觉传感器的镜面设计图；

图8为组合镜头的成像原理图；

图9为全方位视觉传感器的成像全景视频图像示意图；

图10为基于全方位计算机视觉的自动扶梯节能与安全监控系统的控制框图；

图11为在人数统计区域内对搭乘者进行计数的说明图。

具体实施方式

下面结合附图进一步说明本发明。

参照附图1～11，基于全方位计算机视觉的自动扶梯节能与安全监控系统包括全方位视觉传感器、语音提示单元和微处理器；其中全方位视觉传感器用于获取包括整个两侧自动扶梯的视频图像，微处理器用于检测欲上自动扶梯和已经在自动扶梯上的人数，分析在自动扶梯上的人的状态，自动扶梯的运行状态，统计出入自动扶梯的人数，控制移动的停止、运行；语音提示单元用于将各种不安全或者危险的状态用语音方式播放出去；

为了有效地获得整个自动扶梯和出入口在内的所有视频图像信息，所述全方位视觉传感器用于获取包括整个两侧自动扶梯的视频图像，安置在整个两侧上下行的自动扶梯中间，并倾斜一个与自动扶梯倾斜角相同的角度，如附图1和附图2所示；所述全方位视觉传感器所拍摄的全景图如附图5所示，全景图中包括了自动扶梯和出入口在内的所有视频图像信息；

要获得整个自动扶梯和出入口在内的所有视频图像信息，对于这样大的视觉范围可以采用多个摄像头的方式来实现，但是这样做会增加系统成本，同时从摄像视角来说，前后搭乘者之间也会发生遮挡现象，多个摄像头的视频数据的融合也会发生很大的困难；理想的视角方式是从自动扶梯的上方用一个全方位视觉传感器来监控整个自动扶梯和出入口在内的状况；本发明提出采用无死角的水平方向不变形的全方位视觉传感器来获得从整个自动扶梯和出入口在内的顶视的全景视频图像，但是目前的全方位视觉传感器技术还无法实现整个考场顶视的全景视频图像不变形要求；因此需要进行水平方向平均分辨率设计，以满足整个整个自动扶梯和出入口在内顶视的全景视频图像不变形要求；所以在全方位视觉传感器设计上可以归结于折反射镜面曲线的设计，如附图4所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁)点上进行反射，反射光V2反射到次反射镜面(t2，F₂)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Ф，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线，s为全方位视觉传感器的视点；

利用三角关系并进行简化整理，得到公式(2)、(3)：

$F_1^{\′2}-2\mathrm{\α}{F}_1^{\′}-1=0---\left(2\right)$

$F_2^{\′2}-2{\mathrm{\βF}}_2^{\′}-1=0---\left(3\right)$

上式中，

$\mathrm{\α}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

${F_1}^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

${F_2}^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图4所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C    (6)

为了设计水平面上具有平均分辨率全方位视觉传感器，即水平方向不变形的全方位视觉传感器，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b    (7)

f为摄像头的焦距，根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(8\right)$

将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求；

更进一步，通过对公式(2)、(3)、(9)利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；图7是利用4阶Runge-Kutta算法求F₁和F₂的数字解的折反射镜面曲线图；

进一步，设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图3所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，全方位视觉传感器的结构如图3所示；

更进一步，在一次折反射镜面的顶部留出一个小孔，摄像机1通过该小孔能拍摄到一次折反射镜面后面的图像信息，但是通过该小孔能拍摄到一次折反射镜面后面的图像信息的大部分二次折反射镜面上所折反射的图像，仍然有一些空间图像信息被二次折反射镜面所遮挡；本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图8是摄像部件镜头与广角镜头的位置关系图。在图8中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3(12)

要使公式(12)成立的话，也就是将图8中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图9中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

进一步，对于图8中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f3可以由下式来表示：

$\frac{1}{f3}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f3}---\left(14\right)$

为了将合成镜头的视场与全方位视觉传感器的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f3}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的全方位视觉传感器拍摄出来的图像效果图如图9所示，从单个全方位视觉传感器来说消除了原来全方位视觉传感器的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的全方位视觉传感器的死角部分。

更进一步，所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图3所示；

所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量；

所述的微处理器中的各种模块用于检测欲上自动扶梯和已经在自动扶梯上的人数，分析在自动扶梯上的人的状态，自动扶梯的运行状态，统计出入自动扶梯的人数，控制自动扶梯的停止、运行，以达到自动扶梯的节能和安全运行；所述的微处理器包括：视频图像读取模块、关注区域定制模块、越界检测模块、人数统计检测模块、逆向行走检测模块、搭乘物大小检测模块、搭乘物异常行为检测模块、危险区域检测模块、拥挤度检测模块、自动扶梯自检模块、节能控制模块和警示语音生成模块；

所述的视频图像读取模块用于读取全方位视觉传感器的全景图像，并将读取的全景图像保存在动态存储器中以便为后续的动态图像理解处理准备视频数据；

所述的关注区域定制模块用于在全景图像上定制上行和下行方向的自动扶梯的范围以及扶手边界、定制上行和下行方向的自动扶梯的入口区域、自动扶梯的危险区域以及搭乘自动扶梯的人数统计区域；

所述的越界检测模块用于检测自动扶梯的搭乘者以及携带物是否超过了扶手边界，本发明中对存储在动态存储器中的全景视频图像采用边缘检测算法和混合高斯背景建模算法进行综合判定，具体做法是在扶手边界处周围检测出非扶手边缘情况下，再通过高斯前景对象建模算法确认是否属于前景对象，如果检测出前景对象的外侧边缘越过自动扶梯的扶手外侧边缘5个像素以上，就判定为越界，并将以下的语音信息“请勿将头部、肢体伸出扶手装置以外，或者将物体放在扶手上”发送给警示语音生成模块；

所述的人数统计检测模块用于检测出自动扶梯的搭乘者的数目，在所述的人数统计检测模块中首先分自动扶梯上行和下行两个方向分别检测是否有搭乘者和欲搭乘者，在所述的关注区域定制模块中分别定制了自动扶梯上行方向以及下行方向的自动扶梯的搭乘区域，所述的搭乘区域中包括自动扶梯的移动区域和入口区域，如附图5所示；本发明中对存储在动态存储器中的全景视频图像通过边缘检测算法检测出在搭乘区域内存在着类似于人体边缘形状的图像，就判定为在自动扶梯的搭乘区域有搭乘者，将检测到的搭乘者的人数M1发送给所述的拥挤度检测模块；对检测到没有搭乘者的情况，将没有搭乘者的自动扶梯的信息发送给节能控制模块，如检测结果是在上行的自动扶梯的移动区域和入口区域均无搭乘者，就将上行的自动扶梯停止运行的信息送给节能控制模块；另一方面，将为了精确统计通过自动扶梯出入的人数，在所述的人数统计检测模块中设置有专门检测搭乘自动扶梯的人数统计区域内人数的人数统计算法，所述的人数统计区域在自动扶梯的中部，如附图5所示；人数统计算法中要对人数统计区域内的搭乘者进行动态计数，即对在单位时间内通过人数统计区域的人数进行计数，因此这于自动扶梯的移动速度有关，比如自动扶梯移动人数统计区域所需时间为1秒，那么就以每秒时间间隔采集人数统计区域内的图像，对该区域内进行边缘检测，根据附图2中全方位视觉传感器与自动扶梯的位置关系，在自动扶梯的人数统计区域内搭乘者的人体轮廓接近于椭圆型，如附图11所示，如果在人数统计区域内检测出来的边缘轮廓类似于椭圆型就判定为搭乘者，对于在人数统计区域内检测出来的椭圆型不足一半的不进行统计计数，如附图11所示，就认为在人数统计区域内的人数为5人，为了统计从自动扶梯出入的人数，每秒的人数统计数据按上行、下行以及统计时刻分别进行统计，记录表如表2所示，记录表存放在微处理器的存储单元内；

表2经自动扶梯出入的人数记录表

日期	小时	分	秒	下行人数	上行人数
						2009-10-2	20	8	30	53	20
...	...	...	...	...	...

表2中的时刻数据由微处理器的系统时间确定，下行人数和上行人数由检测统计数据确定，统计数据有日期、日期小时、日期小时分情况下分别统计通过自动扶梯的下行人数和上行人数；

所述的逆向行走检测模块用于检测在自动扶梯上的搭乘者是否逆向行为，检测原理是，在上行的自动扶梯上所有物体都应该是向着上行方向的，如果有物体存在着与上行方向不一致情况，就认为是一种逆向行为；本发明中对存储在动态存储器中的全景视频图像通过光流法进行判别，在所述的关注区域定制模块分别定制了自动扶梯上行区域和下行区域，如果在自动扶梯上行区域的图像中检测出有下行的光流，就判定为逆向行走，并将以下的语音信息“请勿逆向行走”发送给警示语音生成模块；另一种情况是在上行的自动扶梯上出现了大量的下行物体光流，这种情况发生在自动扶梯运行异常状态，如自动扶梯的反向运行，这种自动扶梯异常状态对搭乘者的伤害程度会更大，因此在检测到与自动扶梯运动方向相反的大量物点光流情况下，就必须立刻发出停止自动扶梯运动方向上的信号，如上行自动扶梯就发出Up-OFF信号；

所述的搭乘物大小检测模块用于检测搭乘者是否携带外形长或体积大的笨重物品，主要对存储在动态存储器中的全景视频图像通过检测在自动扶梯的入口区域是否存在着大于人体体积规模的物品；具体做法是，通过对自动扶梯的入口区域采用混合高斯背景建模算法获取前景对象的二值图，统计前景对象二值图的连通区域的像素点，如果某个前景对象的统计像素值大于规定的像素值，就判定为过大物品，所述的规定的像素值的大小是根据人体对象二值图的连通区域的像素点的倍数来确定的，比如在自动扶梯的入口区域内平均人体对象二值图的连通区域的像素点为M，所检测出来的前景对象的统计像素值为N，如果N≥B×M，其中B表示倍数，其值可以由用户来定义，但是最小取值为1.5，即在平均人体大小的1.5倍以上才判定为过大物品，M通过实验数据取得，能反映人体对象在该入口区域内在成像平面上像素值的平均数据，比如50个像素，当然需要根据全方位视觉传感器中所采用摄像单元(CCD或者CMOS)的分辨率来确定，如果判定为过大物品就将以下的语音信息“请勿携带大型物件搭乘自动扶梯”发送给警示语音生成模块；

所述的搭乘物异常行为检测模块用于检测在自动扶梯上各种故意危险玩耍行为、老人与小孩的意外跌倒等所表现出来的各种行为；具体算法是对存储在动态存储器中的全景视频图像通过光流法计算在所述的关注区域定制模块中所定制的区域内，从光流法来看正常的搭乘行为在搭乘者与自动扶梯之间的不会出现较大的相对运动，当搭乘者对象物速度为自动扶梯速度的1.5倍以上或者0.5倍以下时判定为搭乘物异常行为，并将以下的语音信息“请文明搭乘自动扶梯”发送给警示语音生成模块；

所述的危险区域检测模块用于检测在扶手带入口处是否存在着类似于搭乘者的前景对象，在所述的关注区域定制模块中分别定制了自动扶梯的扶手带入口处区域，对存储在动态存储器中的全景视频图像通过高斯前景对象建模算法在所述的关注区域定制模块中所定制的自动扶梯的扶手带入口处区域内是否存在着前景对象，如果发现在扶手带入口处区域内存在着前景对象将以下的语音信息“请勿用手或其它异物触及扶手带入口处”发送给警示语音生成模块；

所述的拥挤度检测模块用于检测在自动扶梯上的人群拥挤程度，根据在所述的人数统计检测模块中传送过来的搭乘者的人数M1数据，通过以下公式计算拥挤度，

$\mathrm{\ψ}=\frac{M1}{\mathrm{\Ω}}\×100---\left(16\right)$

式中，M1为当前在自动扶梯上的搭乘者数，Ω为自动扶梯上额定搭乘者数，Ψ为拥挤度用百分比来表示，Ω值的大小根据自动扶梯的长度、宽度以及保证安全搭乘情况条件下进行确定，该值存放在微处理器内的存储单元中；当计算值Ψ达到100％时为稍拥挤状态、101％～110％时为拥挤状态、111％～120％时为严重拥挤状态；如下行方向的自动扶梯达到拥挤状态时将以下的语音信息“目前下行方向的自动扶梯已出现超员，请搭乘者按次序等候搭乘”发送给警示语音生成模块，并同时通知相关管理人员到现场维护次序；如下行方向的自动扶梯达到拥挤状态时将以下的语音信息“目前下行方向的自动扶梯已出现严重超员，为了避免人身事故的发生，不要向前拥挤，请搭乘者按次序等候搭乘”发送给警示语音生成模块，并同时通知相关管理人员到现场维护次序，防止踩踏事故发生；所述的节能控制模块用于根据搭乘者的有无自动控制自动扶梯的运行，实现自动扶梯的节能；根据所述的人数统计检测模块中检测出某一运行方向上的自动扶梯上无搭乘者而发送过来的自动扶梯停止运行的信息，节能控制模块就将控制的开关信号发送给自动扶梯PLC控制器，以实现自动扶梯的停止或者运行；这里对下行和上行自动扶梯的控制共有4个控制信号，Up-OFF、Up-ON、Down-OFF和Down-ON分别表示上行自动扶梯停止、上行自动扶梯启动运行、下行自动扶梯停止和下行自动扶梯启动运行；

所述的自动扶梯自检模块用于自动检测自动扶梯的运行安全性和动作可靠性，在满足全景视频图像解析过程中没有检测到有任何搭乘者以及在所规定的时间段内两个条件下，向在所述的节能控制模块分别发送4个控制信号，Up-OFF、Up-ON、Down-OFF和Down-ON分别表示上行自动扶梯停止、上行自动扶梯启动运行、下行自动扶梯停止和下行自动扶梯启动运行情况下，并通过光流算法分别检测在控制上行或者下行自动扶梯停止条件下是否存在着任何移动物体、在控制上行自动扶梯运动条件下是否存在着任何下行的移动物体、在控制下行自动扶梯运动条件下是否存在着任何上行的移动物体，如发现上述存在的现象就表示自动扶梯自检存在故障，接着通过网络及时通知自动扶梯维护人员进行维修保养；

所述的警示语音生成模块用于生成和播放警示语音，根据所述的拥挤度检测模块、危险区域检测模块、搭乘物异常行为检测模块、搭乘物大小检测模块、逆向行走检测模块和越界检测模块中处理的结果，接收相对应的语音文字信息，通过文字语音转化软件将语音文字信息转换为MP3或者WAV文件，然后将MP3或者WAV文件通过播放器进行播放，如自动扶梯上配置有显示屏的场合将语音文字信息同时在显示屏进行显示；

如附图10所示，在基于全方位计算机视觉的自动扶梯节能与安全监控系统中有三种情况可以直接控制自动扶梯PLC控制器，在所述的自动扶梯自检模块、拥挤度检测模块和节能控制模块中所产生的4种控制信号，Up-OFF、Up-ON、Down-OFF和Down-ON发送给自动扶梯PLC控制器，自动扶梯PLC控制器接收到控制信号后通过自动扶梯伺服控制系统做出相应的动作。

Claims (9)

1.一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述自动扶梯节能与安全监控系统包括微处理器、用于检测自动扶梯运行状态和搭乘者状态的全方位视觉传感器和用于控制自动扶梯运行的自动扶梯PLC控制器，所述的全方位视觉传感器安装在所述的自动扶梯中部上方并倾斜一个与自动扶梯倾斜角相同的角度，所述的全方位视觉传感器与所述的微处理器连接，所述的微处理器与所述自动扶梯PLC控制器连接，所述的全方位视觉传感器由一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述的一次折反射镜面和二次折反射镜面的曲线按照水平方向平均分辨率方式设计，所述的摄像部件的镜头安置在一次折反射镜面后面的视点位置上并通过一次折反射镜面的小孔获得由二次折反射镜面所反射的全景图像；所述的透明外罩支撑一次折反射镜面和二次折反射镜面；

所述的微处理器包括：

视频图像读取模块，用于读取全方位视觉传感器的全景图像，并将读取的全景图像保存在动态存储器中以便为后续的动态图像理解处理准备视频数据；

关注区域定制模块，用于在全景图像上定制上行和下行方向的自动扶梯的范围以及扶手边界、定制上行和下行方向的自动扶梯的入口区域、自动扶梯的危险区域以及搭乘自动扶梯的人数统计区域；

越界检测模块，用于检测自动扶梯的搭乘者以及携带物是否超过了扶手边界，对存储在动态存储器中的全景视频图像采用边缘检测算法和混合高斯背景建模算法进行综合判定：在扶手边界处周围检测出非扶手边缘情况下，再通过高斯前景对象建模算法确认是否属于前景对象，如果检测出前景对象的外侧边缘越过自动扶梯的扶手外侧边缘5个像素以上，就判定为越界；

节能控制模块，用于根据人数统计检测模块中检测出某一运行方向上的自动扶梯上无搭乘者而发送过来的自动扶梯停止运行的信息，将控制的开关信号发送给自动扶梯PLC控制器，实现自动扶梯的停止或者运行；对下行和上行自动扶梯的控制共有4个控制信号，Up-OFF、Up-ON、Down-OFF和Down-ON分别表示上行自动扶梯停止、上行自动扶梯启动运行、下行自动扶梯停止和下行自动扶梯启动运行。

2.如权利要求1所述的一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述的一次折反射镜面和二次折反射镜面的曲线的设计为了达到从顶视角度来看水平方向上的物体不变形的目的，用以下方法来进行设计；根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

$F_1^{\′2}-2\mathrm{\α}{F}_1^{\′}-1=0---\left(2\right)$

$F_2^{\′2}-2\mathrm{\β}{F}_2^{\′}-1=0---\left(3\right)$

上式中，

$\mathrm{\α}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{a^2+1}---\left(4\right)$

$F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C                                (6)

为了设计水平面上具有平均分辨率全方位视觉传感器，即水平方向不变形的全方位视觉传感器，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b                                (7)

根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(8\right)$

将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求；

然后通过对公式(2)、(3)、(9)利用4阶Runge-Kutta算法求F₁和F₂的数字解；求得的F₁和F₂的数字解就是一次折反射镜面和二次折反射镜面的曲线。

3.如权利要求1或2所述的一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述全方位视觉传感器还包括组合摄像单元，用于拍摄全方位视觉传感器的死角部分的视频图像，所述组合摄像单元包括广角镜头与摄像部件，将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f_2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3                                        (12)

要使公式(12)成立的话，从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头，得到图像中部所显示的广角成像图；将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

进一步，对于将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f3可以由下式来表示：

$\frac{1}{f3}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f3}---\left(14\right)$

为了将合成镜头的视场与全方位视觉传感器的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f3}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角。

4.如权利要求3所述的一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述微处理器还包括：

自动扶梯自检模块，用于自动检测自动扶梯的运行安全性和动作可靠性，在满足全景视频图像解析过程中没有检测到有任何搭乘者以及在所规定的时间段内两个条件下，向在所述的节能控制模块分别发送4个控制信号，Up-OFF、Up-ON、Down-OFF和Down-ON分别表示上行自动扶梯停止、上行自动扶梯启动运行、下行自动扶梯停止和下行自动扶梯启动运行情况下，并通过光流算法分别检测在控制上行或者下行自动扶梯停止条件下是否存在着任何移动物体、在控制上行自动扶梯运动条件下是否存在着任何下行的移动物体、在控制下行自动扶梯运动条件下是否存在着任何上行的移动物体，如发现上述存在的现象就表示自动扶梯自检存在故障，接着通过网络及时通知自动扶梯维护人员进行维修保养。

5.如权利要求3所述的一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述微处理器还包括：

人数统计检测模块，用于检测出自动扶梯的搭乘者的数目，首先分自动扶梯上行和下行两个方向分别检测是否有搭乘者和欲搭乘者，在所述的关注区域定制模块中分别定制了自动扶梯上行方向以及下行方向的自动扶梯的搭乘区域，所述的搭乘区域中包括自动扶梯的移动区域和入口区域，对存储在动态存储器中的全景视频图像通过边缘检测算法检测出在搭乘区域内存在着类似于人体边缘形状的图像，就判定为在自动扶梯的搭乘区域有搭乘者，将检测到的搭乘者的人数M1发送给所述的拥挤度检测模块；对检测到没有搭乘者的情况，将没有搭乘者的自动扶梯的信息发送给节能控制模块，如检测结果是在上行的自动扶梯的移动区域和入口区域均无搭乘者，就将上行的自动扶梯停止运行的信息送给节能控制模块；要对人数统计区域内的搭乘者进行动态计数，即对在单位时间内通过人数统计区域的人数进行计数，以每秒时间间隔采集人数统计区域内的图像，对该区域内进行边缘检测，在自动扶梯的人数统计区域内搭乘者的人体轮廓接近于椭圆型，如果在人数统计区域内检测出来的边缘轮廓类似于椭圆型就判定为搭乘者，对于在人数统计区域内检测出来的椭圆型不足一半的不进行统计计数。

6.如权利要求3所述的一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述微处理器还包括：

逆向行走检测模块，用于检测在自动扶梯上的搭乘者是否逆向行为，在上行的自动扶梯上所有物体都应该是向着上行方向，如果有物体存在着与上行方向不一致情况，认为是一种逆向行为；对存储在动态存储器中的全景视频图像通过光流法进行判别，在所述的关注区域定制模块分别定制了自动扶梯上行区域和下行区域，如果在自动扶梯上行区域的图像中检测出有下行的光流，就判定为逆向行走；在上行的自动扶梯上出现了大量的下行物体光流，判定发生自动扶梯运行异常状态，在检测到与自动扶梯运动方向相反的大量物点光流情况下，就必须立刻发出停止自动扶梯运动方向上的信号。

7.如权利要求3所述的一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述微处理器还包括：

搭乘物大小检测模块，用于检测搭乘者是否携带外形长或体积大的笨重物品，对存储在动态存储器中的全景视频图像通过检测在自动扶梯的入口区域是否存在着大于人体体积规模的物品；通过对自动扶梯的入口区域采用混合高斯背景建模算法获取前景对象的二值图，统计前景对象二值图的连通区域的像素点，如果某个前景对象的统计像素值大于规定的像素值，就判定为过大物品，所述的规定的像素值的大小是根据人体对象二值图的连通区域的像素点的倍数来确定；

搭乘物异常行为检测模块，用于对存储在动态存储器中的全景视频图像通过光流法计算在所述的关注区域定制模块中所定制的区域内，从光流法来看正常的搭乘行为在搭乘者与自动扶梯之间的不会出现较大的相对运动，当搭乘者对象物速度为自动扶梯速度的1.5倍以上或者0.5倍以下时，判定为搭乘物异常行为。

8.如权利要求3所述的一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述微处理器还包括：

危险区域检测模块，用于检测在扶手带入口处是否存在着类似于搭乘者的前景对象，在所述的关注区域定制模块中分别定制了自动扶梯的扶手带入口处区域，对存储在动态存储器中的全景视频图像通过高斯前景对象建模算法在所述的关注区域定制模块中所定制的自动扶梯的扶手带入口处区域内是否存在着前景对象。

9.如权利要求5所述的一种基于全方位计算机视觉的自动扶梯节能与安全监控系统，其特征在于：所述微处理器还包括：

拥挤度检测模块，用于检测在自动扶梯上的人群拥挤程度，根据在所述的人数统计检测模块中传送过来的搭乘者的人数M1数据，通过以下公式计算拥挤度：

$\mathrm{\ψ}=\frac{M1}{\mathrm{\Ω}}\×100---\left(16\right)$

式中，M1为当前在自动扶梯上的搭乘者数，Ω为自动扶梯上额定搭乘者数，Ψ为拥挤度用百分比来表示，Ω值的大小根据自动扶梯的长度、宽度以及保证安全搭乘情况条件下进行确定，该值存放在微处理器内的存储单元中。

Images