CN106219367A - 一种基于智能视觉光幕的电梯运维监控方法 - Google Patents

Abstract

本发明涉及一种基于智能视觉光幕的电梯运维监控方法，包括以下步骤：在每个电梯轿厢中安装摄像机及处理器，二者通过数据线进行通讯传输，其中摄像机安装在电梯门框上方中间位置；摄像机实时采集视频图像，传输至处理器；处理器通过智能视觉算法实现电梯轿厢门区域空间的全视场自动视觉分析，及时发现并处理电梯故障；将上述分析及处理结果进行汇总，得到电梯运维数据并传至电梯运维监控中心。本发明采用电梯智能视觉光幕实现全方位监测，没有盲区，彻底解决红外光幕不能发现细小物体或对细小物体判别不灵敏等弊端，扩大了监测范围，更好地控制电梯门的开关即具有延迟关门功能，设备运行过程中不随电梯门开关而移动，不易被外力干扰点。

Description

一种基于智能视觉光幕的电梯运维监控方法

技术领域

本发明涉及一种智能视觉技术，具体地说是一种基于智能视觉光幕的电梯运维监控方法。

背景技术

我国电梯行业历经三十多年的发展，已成为现代社会发展必不可少的重要建筑设备，对于改善人民生活品质，提高生活质量，实现我国建筑业“节能省地”的国策起到了不可替代的支撑作用；同时电梯又因其功能与广大人民群众安全与生活质量息息相关，多年来一直被国家列为特种设备。近年来，在房地产、轨道交通建设、机场改建扩建等的强劲带动下，我国电梯产业快速发展，成为我国装备制造业一颗璀璨的明珠。

目前，我国已成为全球最大的电梯生产国和消费国，2014年整梯总产量达到71万台，截止2015年年底我国电梯保有量已突破425万台。根据中国电梯协会的统计，2012年全球电梯产量75万余台，其中中国产量占比到67％。而据统计中国电梯消费量全球占比也在60％以上。

我国的电梯市场规模巨大，主要是由于两方面原因决定的。一方面，我国单位面积人口数量众多，尤其是沿海发达地区人口密度远超世界平均水平，而电梯作为一种交通运输工具其安装建造必然需要较大的人口基数。另一方面，我国土地使用面积狭小，由于城乡人口分布极其不均导致城市用地紧张，为高层建筑的建造和电梯的使用创造了条件。这两方面原因都决定我国电梯市场容量巨大。

虽然我国目前已经成为全球最大的电梯制造国和消费国，但人均电梯保有量明显落后于世界主要国家和地区，因此中国还不算是真正意义上的电梯大国。长期来看，未来国内电梯市场仍有较大发展空间。

随着中国城镇化的发展，电梯数量快速增长，电梯使用愈加频繁，电梯安全直接关系人民群众的生命安全和生活质量，越来越引起群众、媒体和各级政府的关注。

由于部分电梯使用管理和维保不到位、作业人员违规操作、乘客或监护人自身安全意识淡漠等问题，电梯事故还时有发生，特别是困人故障反映较多，有的还造成较大社会影响。随着电梯数量激增、部件逐渐老化，以及中国电梯普遍存在的长时段、大客流、高负荷的使用情况，电梯的安全风险越来越大，安全形势依然严峻。据了解，近年电梯事故中，违章操作占62.7％，设备缺陷占22.7％，意外占8.0％，非法使用设备占6.6％。

做好电梯安全工作，要创新监管方式，积极引入社会监督因素，发挥社会力量的作用，提高监管的科学性和有效性。进一步理清电梯从设计制造到使用管理各环节权责关系，突出企业安全主体责任的落实，建立责任保险、维修基金等社会救助体系，形成以落实企业主体责任为核心，增强作业人员和公众安全意识为基础，实现社会救助及时有效为辅助，各方监督有力为保障的社会多元共治的安全工作新机制。

目前电梯的维保分为两种形式：一是由电梯原厂授权或委托的公司进行维保；二是电梯使用单位雇用第三方维保公司进行维保。截止2015年年底，我国电梯保有量已突破425万台，这也需要相当庞大的专业人员队伍对这些电梯进行日常性保养。按照国家颁布的《电梯使用管理与维护保养规则》要求，使用正常的电梯每月至少维保两次，每季度、每半年、每一年各要进行一次大型维保。维保人员紧缺的现实下，由于工作量的繁重，甚至会出现一些维保“走过场”的现象。

更为严峻的是，在中国，电梯维保事业没有得到全社会的充分认可和尊重，相关机构给出的维保指导价格被迫沦为纸上谈兵。同时，一些使用单位为了减少成本，不计后果地压缩维保费用的支出，特别是对于一些使用年限比较长的部件，是能不换就不换、多用一天算一天。

需要引起关注的是，在电梯设备数量与日俱增的大背景下，电梯事故的发生正变的频繁和复杂。除了要持续提升产品品质，全社会还要培养经验丰富、技术过硬、操作规范的安装、维保人员，并逐步提升他们的社会归属感。此外，普及安全乘梯知识，让乘客在文明使用电梯的同时掌握事故自救方法，也势在必行。

传统电梯光幕仅对光幕对射的平面进行检测，在红外光幕上方和下方都存在一定高度的盲区，在电梯门关闭前的一段时间或者一段距离内在电梯门整个区域存在若干个横条区域盲区。电梯事故多发生在开门时运行，现有红外光幕仅能监测轿厢门是否有遮挡而无法判定电梯是否开门运行，如果电梯出现故障，门没有关便开始运行将导致严重安全隐患。另外，现有红外光幕也无法判定电梯是否错层停靠。

当前诸多电梯通过刷卡的方式才能被授权前往预期楼层，这种方式需要随身携带电梯卡，并通过完成刷卡的动作后电梯才能前往目标楼层。

发明内容

针对现有技术中电梯事故频繁、复杂且监控存在盲区，无法实现全方位监控等不足，本发明要解决的问题是提供一种可全方位监控的基于智能视觉光幕的电梯运维监控方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明1.一种基于智能视觉光幕的电梯运维监控方法，其特征在于包括以下步骤：

在每个电梯轿厢中安装摄像机及处理器，二者通过数据线进行通讯传输，其中摄像机安装在电梯门框上方中间位置；

摄像机实时采集视频图像，传输至处理器；

处理器通过智能视觉算法实现电梯轿厢门区域空间的全视场自动视觉分析，及时发现并处理电梯故障；

将上述分析及处理结果进行汇总，得到电梯运维数据并传至电梯运维监控中心。

电梯运维数据通过对电梯门关闭异常、电梯开门运行、电梯错层停靠、电梯门夹手事故、通过识别人脸实现电梯控制、监测管理电梯维保人员的维保工作进行检测得到，包括电梯开关门状态、运行速度异常情况、电梯开门时所在楼层是否异常、电梯门附近的异常行为以及电梯运维人员到离信息。

电梯开关门状态通过以下方法检测：利用在电梯轿厢门框上方安装的摄像机采集电梯轿厢门运动状态实时视频，通过智能视觉算法自动检测、计算电梯门所处的位置、运动状态和速度，如果在电梯关门过程中有人员、物体仍处在电梯门的平面内，或者电梯门往复多次关、开门，或者因电梯门故障而关门未果停在某个未完全关闭门的位置，电梯智能视觉光幕根据检测到的上述电梯门关闭异常信息，自动发出报警信号并上传给数据中心，通知相关设备或人员立即检查采取必要措施。

电梯门关闭异常的检测步骤如下：

先采集多帧门开关时无异物侵入状态下或门能正常关闭时图像；

对采集的图像进行特征提取，对提取出的特征进行降维，对最终降维结果采用kmeans聚类方法将其分为h类，以确定rbf网络的h个中心以及属于该中心的各个类图像数据，得到Rbf模型；

输入一张实时采集到的图像,经过降维特征提取后,将图像特征输入到rbf网络，计算输出值；

根据输出值确定有无侵入物进入电梯门或电梯关门异常，最终将判断结果传输给电梯控制端。

电梯开门运行检测步骤如下：

视觉光幕自动采集并记录电梯门区域的图像特征及运动特性，

如果智能视觉算法发现没有电梯门内侧图像特点和门缝特点且电梯门外区域的图像整体发生上下移动，智能视觉光幕则确定电梯开门运行故障，并向电梯控制系统发出响应信号；

具体为：

1)检测门开关状态；

2)如果检测到开门状态，则利用卡尔曼滤波的方法检测电梯运行状态，卡尔曼滤波跟踪流程如下：

X(k)＝F(k,k-1)·X(k-1)+T(k,k-1)·U(k-1)

Y(k)＝H(k)·X(k)+N(k)

其中，X(k)和Y(k)分别是k时刻的状态矢量和观测矢量，F(k,k-1)为状态转移矩阵，U(k)为k时刻动态噪声，T(k,k-1)为系统控制矩阵，H(k)为k时刻观测矩阵，N(k)为k时刻观测噪声；则卡尔曼滤波的算法流程为：

预估计状态矢量X(k)^＝F(k,k-1)·X(k-1)；

计算预估计协方差矩阵

C(k)^＝F(k,k-1)×C(k)×F(k,k-1)'+T(k,k-1)×Q(k)×T(k,k-1)'Q(k)＝U(k)×U(k)'

其中，F(k,k-1)'为状态转移矩阵的矩阵转值，T(k,k-1)'系统控制矩阵的矩阵转值，U(k)'为k时刻动态噪声转值；

计算卡尔曼增益矩阵

K(k)＝C(k)^×H(k)'×[H(k)×C(k)^×H(k)'+R(k)]^(-1)

R(k)＝N(k)×N(k)'

其中，H(k)'为k时刻观测矩阵转值，K(k)为卡尔曼增益矩阵，R(k)为噪声协方差矩阵，N(k)'为k时刻观测噪声转值；

更新估计

X(k)～＝X(k)^+K(k)×[Y(k)-H(k)×X(k)^]

X(k)～为更新估计后的k时刻状态矢量；

计算更新后估计协防差矩阵

C(k)～＝[I-K(k)×H(k)]×C(k)^×[I-K(k)×H(k)]'+K(k)×R(k)×K(k)'

X(k+1)＝X(k)～

C(k+1)＝C(k)～

重复以上步骤，最终获得开门时轿厢的运行情况，如处于运动状态给出报警信息。

电梯错层停靠检测步骤如下：

视觉光幕在电梯开门时自动监测分析电梯楼层停靠位置，如果电梯门上部图像区和下部图像区出现电梯内井图像，电梯门区图像出现高低错位，则确定电梯出现错层停靠故障；

具体为：采集正常停靠时门与楼层相对位置的图像，当每次轿厢停靠于某个楼层时用直方图匹配方法进行门开关状态判断，直方图通过以下方法匹配:

1)相关系数法：

$d(H_1,H_2)=\frac{{\mathrm{\Σ}}_i{H}_1^{\′}\left(i\right),H_2^{\′}\left(i\right)}{\sqrt{{\mathrm{\Σ}}_i{H}_1^{\′2}\left(i\right),H_2^{\′2}\left(i\right)}}).$

其中H_i'(i)＝H_i(i)-(1/N)(∑_jH_i(j))，且N等于直方图中bin的个数；

2)卡方法

$d(H_1,H_2)=\mathrm{\Σ}\frac{{\left(H_1\right(i)-H_2(i\left)\right)}^2}{\left(H_1\right(i)+H_2(i\left)\right)}$

其中H₁、H₂分别为两张图像处理后的直方图，i代表灰度等级；

3)相交系数法

d(H₁,H₂)＝Σmin(H₁(i),H₂(i))

其中H₁、H₂分别为两张图像处理后的直方图，i代表灰度等级；

4)巴氏距离法

$d(H_1,H_2)=\sqrt{1-\mathrm{\Σ}\frac{\sqrt{H_1\left(i\right)*H_2\left(i\right)}}{{\mathrm{\ΣH}}_1\left(i\right)*{\mathrm{\ΣH}}_1\left(i\right)}}$

其中H₁、H₂分别为两张图像处理后的直方图，i代表灰度等级；

利用以上四种方法计算两组图片的相似度，根据投票原则确定最终相速度取值；

当相似度低于某个设定的阈值的时候就认为出现了错层风险，系统自动报警。

电梯门夹手事故靠检测步骤如下：

利用摄像机自动监测电梯轿厢门框和电梯门之间的缝隙状况；

如果智能视觉系统在行将开门时发现在电梯轿厢门框和电梯门之间缝隙有物体抵近，则判定电梯门有夹手风险，通知电梯控制系统将电梯门的开启速度降低到一半以下；

智能视觉系统观察分析有夹手风险区域的视觉目标运动情况，如果通过智能视觉算法发现有物体超门缝里运动，即判定出现了电梯门夹手故障，通知电梯控制系统暂停开门动作或关门把所夹之手或物体带出；

识别人脸并实现电梯控制步骤如下：

对进入电梯的乘客进行人脸识别，自动完成乘客与登记在数据库中的身份对比；

对比成功后乘客可按预登记楼层(可能是多层)的电梯按钮，电梯运载乘客去往所要去的楼层；对比不成功则电梯不接受任何信息，乘客不能去往任何楼层。

通过智能视觉光幕对维保人员的到访和离开时刻状态进行采集，系统进行维保人员的人脸识别，进而实现通过与系统接收到的包括维护人员信息在内的维护计划进行对比对，判定规定的维保人员是否到达维保现场及到离时间，将拍摄的电梯维护人员维护图片、视频并上传给系统监控中心。

本发明具有以下有益效果及优点：

1.本发明方法采用电梯智能视觉光幕实现全方位监测，没有红外光幕电梯门上下方盲区和电梯门闭合之前盲区，彻底解决红外光幕不能发现细小物体或对细小物体判别不灵敏等弊端，可对乘客行为进行分析并预测目标运动方向，扩大了红外光幕监测范围，可更好地控制电梯门的开关即具有延迟关门功能，设备运行过程中不随电梯门开关而移动，不易被外力干扰，彻底解决红外光幕安装调试误差大、预留位置太少造成引线断裂以及光幕长期运动导致引线磨损等问题，也不宜受光线反射和折射等因素干扰，还有抗电磁干扰的优点。

2.本发明方法通过电梯智能视觉光幕自动发现电梯门关闭异常、电梯开门运行、电梯错层停靠、电梯门夹手事故、自动识别人脸并实现电梯控制、自动监测管理电梯维保人员的维保工作以及在电梯故障时视音频安抚被困客户，使乘客更加方便的乘坐电梯，也让管理更加有效，在一定程度上监督了维保的质量，也给维保工作的质量管理提供了可靠的数据依据,如果电梯出现故障，监控中心可以通过显示设备与轿厢内人员可视对讲，极大程度上降低了乘客的恐慌程度，使对电梯运维监控更具人性化。

3.本发明可用LCD替换电梯内楼层显示装置，它可作为由电梯监控中心控制的电梯内广告系统，在轿厢内人员较多时可让乘客通过LCD清晰的查看电梯门附近的状态。

4.通过本发明方法可把电梯故障及维保情况汇集到监控中心并进行大数据挖掘分析，电梯运维数据汇总传至电梯运维监控中心，及时发现并处理电梯故障。电梯监控中心(可区、市、省中心)形成电梯运维大数据，自动进行大数据挖掘分析各品牌、型号电梯的运行质量、各维护服务商服务质量、电梯故障各类故障统计分析等。

附图说明

图1为本发明电梯轿厢单元构成示意图；

图2为本发明总体系统构成示意图；

图3为本发明中涉及的rbf网络示意图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1、2所示，本发明一种基于智能视觉光幕的电梯运维监控方法，包括以下步骤：

在每个电梯轿厢中安装摄像机及处理器，二者通过数据线进行通讯传输，其中摄像机安装在电梯门框上方中间位置；

摄像机实时采集视频图像，传输至处理器；

处理器通过智能视觉算法实现电梯轿厢门区域空间的全视场自动视觉分析，及时发现并处理电梯故障；

将上述分析及处理结果进行汇总，得到电梯运维数据并传至电梯运维监控中心。

电梯运维监控中心(可为区、市或省中心)形成电梯运维大数据，中心管理软件可自动进行大数据挖掘分析各品牌、型号的故障类型和故障率、维保和服务信息；

处理器计算得出各品牌、型号的电梯运行质量以及各维护服务商服务质量，通过视觉光幕采集到的信息为电梯行业的安全管理和智能化提供大数据支持。

本发明中，电梯智能视觉光幕是通过安装在电梯门框上方中的摄像机采集视频图像、采用高效、精准、灵活的智能视觉算法实现电梯轿厢门区域空间的全视场自动视觉分析，获得电梯门的开关状态以及电梯轿厢门区的人员、物体存在和运行状态，用以替代现有电梯红外光幕控制电梯门的开关。电梯智能视觉光幕的优点在于：⑴它的监测区域并非电梯红外光幕一个面(几条线)，而是电梯门区域的整个立体空间，因此没有红外光幕电梯门上下方盲区和电梯门闭合之前盲区。⑵智能视觉光幕的高分辨率摄像机可发现10mm粗细及以下的物体，彻底解决红外光幕不能发现细小物体或对细小物体判别不灵敏等弊端，狗绳、手指、小孩手脚等皆能在极端的时间内发现。⑶智能视觉光幕可对乘客行为进行分析并预测目标运动方向，扩大了红外光幕监测范围，可更好地控制电梯门的开关即具有延迟关门功能。⑷能视觉光幕小巧、美观，设备运行过程中不随电梯门开关而移动，不易被外力干扰，彻底解决红外光幕安装调试误差大、预留位置太少造成引线断裂以及光幕长期运动导致引线磨损等问题，也不宜受光线反射和折射等因素干扰，还有抗电磁干扰的优点。

电梯运维数据通过对电梯门关闭异常、电梯开门运行、电梯错层停靠、电梯门夹手事故、通过识别人脸实现电梯控制、监测管理电梯维保人员的维保工作进行检测得到，包括电梯开关门状态、运行速度异常情况、电梯开门时所在楼层是否异常、电梯门附近的异常行为以及电梯运维人员到离信息。对上述检测过程分别阐述如下：

1)电梯门关闭异常检测

利用在电梯轿厢门框上方安装的摄像机采集电梯轿厢门运动状态实时视频，智能视觉算法自动检测、计算电梯门所处的位置、运动状态和速度，如果在电梯关门过程中有人员、物体仍处在电梯门的平面内，电梯门或者往复多次关、开门，或者因电梯门故障而关门未果停在某个未完全关闭门的位置，电梯智能视觉光幕就会检测到电梯门往复多次的关门未果(可设定次数)和电梯门停留在某个要关而未关闭的某个位置，这时视觉光幕会自动发出报警信号并上传给数据中心，通知相关设备或人员立即检查采取必要措施。

具体流程如下：先采集大量门开关时，无异物侵入时或门能正常关闭时图像。对采集图像进行特征提取，利用hog特征与harr特征结合的方法进行特征提取。采用LDA降维方法对采集到的特征进行降维。LDA降维方法遵循原则是类内方差最小，类间方差最大来进行的。最终降维结果采用kmeans聚类方法将其分为h类。找到h个中心点。假设我们提取到原始数据的集合(图像降维后数据)为(x1,x2,…,xh)，并且每个xi为d维的向量，K-means聚类的目的就是，在给定分类组数h(h≤n)值的条件下，将原始数据分成h类S＝{S1,S2,…,Sk}，在数值模型上，即对以下表达式求最小值：这里μi表示分类Si的平均值。其算法步骤一般如下：

⑴、从D中随机取k个元素，作为k个簇的各自的中心。

⑵、分别计算剩下的元素到h个簇中心的相异度，将这些元素分别划归到相异度最低的簇。

⑶、根据聚类结果，重新计算h个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。

⑷、将D中全部元素按照新的中心重新聚类。

⑸、重复上一步，直到聚类结果不再变化。

⑹、将结果输出。用数学表达式来说，设我们一共有N个数据点需要分为h个cluster(簇)，k-means(聚类算法)要做的就是最小化

$J=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{r}_{nk}\left|\right|x_n-{\mathrm{\μ}}_k|{|}^2$

这个函数，其中r_nk在数据点n被归类到cluster k的时候为1，否则为0。直接寻找r_nk和μ_k来最小化J并不容易，不过我们可以采取迭代的办法：先固定μ_k，选择最优的τ_nk，很容易看出，只要将数据点归类到离他最近的那个中心就能保证J最小。下一步则固定r_nk，再求最优的μ_k。将J对μ_k求导并令导数等于零，很容易得到J最小的时候μ_k应该满足：

${\mathrm{\μ}}_k=\frac{{\mathrm{\Σ}}_n{r}_{nk}{x}_n}{{\mathrm{\Σ}}_n{r}_{nk}}$

亦即μ_k的值应当是所有cluster k中的数据点的平均值。由于每一次迭代都是取到J的最小值，因此J只会不断地减小(或者不变)，而不会增加，这保证了k-means最终会到达一个极小值。这样最终将图像分为h个类。确定了rbf网络的h个中心以及属于该中心的各个类图像数据。RBF神经网络简单介绍如下：RBF神经网络设计主要包括两个方面，一个是结构设计也就是隐层节点个数。隐节点个数在上面kmeans聚类中已经确定。第二个就是参数设计，也就是对网络各个参数求解。下图就是一个完整rbf的映射关系图。X代表输入参数。中间的gaussianrbfunits就是隐含层中心。Wj是各个隐层节点的输出权值。最终的linear就是rbf网络对输入参数x的输出值,如图3所示。

Rbf网络一般采用高斯径向基函数作为核函数。高斯径向基函数原型如下：

$h\left(x\right)=\exp (-\frac{{(x-c)}^2}{r^2})$

其中c代径向基函数中心，r代表方差。由上面诉述可知网络参数包含三个。径向基函数的中心，方差以及隐含层到输出层的权值。中心已由kmeans方法确定。方差计算公式如下：

${\mathrm{\σ}}_i=\frac{c_{max}}{\sqrt{2h}},i=1,2,\mathrm{3...}h$

其中C_MAX为所选中心之间最大距离。H是隐层节点个数。

隐层节点到输出层的神经元连接权值用最小均方误差用LMS方法来计算获得。计算公式为：

W＝φ⁺d φ⁺＝(φ^Tφ)^-1φ^T

其中d为期待的输出值W是权系数矩阵。φ⁺为求伪逆过程。

通过以上步骤。Rbf模型最终确定。实际应用时。输入一张采集到的图像。经过降维特征提取等过程后。将图像特征输入到rbf网络，计算输出值。根据输出值确定有无侵入物进入电梯门或电梯关门异常。最终将判断结果传输给电梯控制端。

2)电梯开门运行检测

利用安装在电梯轿厢的智能摄像机替代红外光幕，视觉光幕自动采集并记录电梯门区域的图像特征及运动特性，如果智能视觉算法发现没有电梯门内侧图像特点和门缝特点且电梯门外区域的图像整体发生上下移动等，智能视觉光幕就能自动发现电梯开门运行故障并向电梯控制系统发出响应信号，可以最大程度的避免危险发生。

此算法分为两部分：

(1)检测门开关状态，在前面检测关门异常时已有详细介绍，这里不再重复叙述。

(2)如果检测到开门状态则检测电梯运行状态，利用卡尔曼滤波的方法完成该功能。卡尔曼滤波跟踪流程如下：

X(k)＝F(k,k-1)·X(k-1)+T(k,k-1)·U(k-1)

Y(k)＝H(k)·X(k)+N(k)

其中，X(k)和Y(k)分别是k时刻的状态矢量和观测矢量，F(k,k-1)为状态转移矩阵，U(k)为k时刻动态噪声，T(k,k-1)为系统控制矩阵，H(k)为k时刻观测矩阵，N(k)为k时刻观测噪声；则卡尔曼滤波的算法流程为：

预估计状态矢量X(k)^＝F(k,k-1)·X(k-1)

计算预估计协方差矩阵

C(k)^＝F(k,k-1)×C(k)×F(k,k-1)'+T(k,k-1)×Q(k)×T(k,k-1)'Q(k)＝U(k)×U(k)'

其中，F(k,k-1)'为状态转移矩阵的矩阵转值，T(k,k-1)'系统控制矩阵的矩阵转值，U(k)'为k时刻动态噪声转值，

计算卡尔曼增益矩阵

K(k)＝C(k)^×H(k)'×[H(k)×C(k)^×H(k)'+R(k)]^(-1)

R(k)＝N(k)×N(k)'

其中，H(k)'为k时刻观测矩阵转值，K(k)为卡尔曼增益矩阵，R(k)为噪声协方差矩阵，N(k)'为k时刻观测噪声转值；

更新估计

X(k)～＝X(k)^+K(k)×[Y(k)-H(k)×X(k)^]

X(k)～为更新估计后的k时刻状态矢量，

计算更新后估计协防差矩阵

C(k)～＝[I-K(k)×H(k)]×C(k)^×[I-K(k)×H(k)]'+K(k)×R(k)×K(k)'

X(k+1)＝X(k)～

C(k+1)＝C(k)～

重复以上步骤。最终获得开门时轿厢的运行情况。如处于运动状态给出报警信息。

本实施例中，^代表预估计值，～代表更新估计后的量值或矩阵，'代表矩阵转置。

3)电梯错层停靠检测

现有红外光幕无法判定电梯是否错层停靠，视觉光幕在电梯开门时自动监测分析电梯楼层停靠位置，如果电梯错层停靠，电梯门上部图像区和下部图像区就会出现电梯内井图像，由于电梯轿厢地面与电梯外楼层地面不处于同一平面，图像位置也会发生错位，如电梯门区图像出现高低错位意味着电梯出现了错层停靠故障，电梯在非楼层平面进行了停靠，此时极易出现危险。传统的红外光幕无法识别这一状态，而视觉光幕可以检测到这种异常发生并发出报警信号和控制信号，极大程度上避免了危险。

该算法实现，事先要采集正常停靠时门与楼层相对位置的图像。当每次轿厢停靠于某个楼层时用直方图匹配方法进行门开关状态判断，直方图匹配主要用到以下几种方法；

(1)相关系数法：

$d(H_1,H_2)=\frac{{\mathrm{\Σ}}_i{H}_1^{\′}\left(i\right),H_2^{\′}\left(i\right)}{\sqrt{{\mathrm{\Σ}}_i{H}_1^{\′2}\left(i\right),H_2^{\′2}\left(i\right)}}).$

其中H_i'(i)＝H_i(i)-(1/N)(∑_jH_i(j))，且N等于直方图中bin(bin代表将256位灰度级分为几个大类，例如bin＝8代表每32个灰度级作为一类)的个数；

(2)卡方法

$d(H_1,H_2)=\mathrm{\Σ}\frac{{\left(H_1\right(i)-H_2(i\left)\right)}^2}{\left(H_1\right(i)+H_2(i\left)\right)}$

其中H₁，H₂分别为两幅图像的直方图，i代表灰度级；

(3)相交系数法

d(H₁,H₂)＝∑min(H₁(i),H₂(i))

其中H₁，H₂分别为两幅图像的直方图，i代表灰度级；

(4)巴氏距离法

$d(H_1,H_2)=\sqrt{1-\mathrm{\Σ}\frac{\sqrt{H_1\left(i\right)*H_2\left(i\right)}}{{\mathrm{\ΣH}}_1\left(i\right)*{\mathrm{\ΣH}}_1\left(i\right)}}$

其中H₁，H₂分别为两幅图像的直方图，i代表灰度级；

利用以上四种方法计算两组图片的相似度，根据投票原则确定最终相速度取值。当相似度低于某个设定的阈值的时候就认为出现了错层风险，系统自动报警。

4)电梯门夹手事故检测

利用在电梯轿厢安装的摄像机自动监测电梯轿厢门框和电梯门之间的缝隙状况，如果智能视觉系统在行将开门时发现在电梯轿厢门框和电梯门之间缝隙有物体抵近，将初步判定电梯门有夹手风险，可通知电梯控制系统将电梯门的开启速度降低到一半以下。这时，智能视觉系统会更详尽观察分析有夹手风险区域的视觉目标运动情况，如果通过智能视觉算法发现有物体超门缝里运动，即可判定出现了电梯门夹手故障，可通知电梯控制系统暂停开门动作或关门把所夹之手(物体)带出。电梯智能视觉光幕的防夹手功能与现有电梯夹手传感器优点在于它可在尚未出现电梯门夹手故障时发现电梯门夹手风险而且可采取降低事故概率和等级的预防措施。

防夹手功能实现原理。跟踪区域内运动目标是否出现在夹手风险区域内。跟踪采用Camshift方法进行。Camshift是MeanShift算法的改进，称为连续自适应的MeanShift算法，它的基本思想是视频图像的所有帧作MeanShift运算，并将上一帧的结果(即SearchWindow的中心和大小)作为下一帧MeanShift算法的Search Window的初始值，如此迭代下去实现跟踪。Meanshift原理：一般一个图像就是个矩阵，像素点均匀的分布在图像上，定义点的概率密度方法如下：以x为圆心，以h为半径。落在球内的点位xi定义二个模式规则。

x像素点的颜色与xi像素点颜色越相近，定义概率密度越高。

离x的位置越近的像素点xi，定义概率密度越高。

所以定义总的概率密度，是二个规则概率密度乘积的结果，可以用下面这个公式表示

$K_{h_s,h_r}\left(x\right)=\frac{C}{h_s^2{h}_r^2}K\left(\right|\left|\frac{x^s-x_i^s}{h_s}\right|{|}^2)K\left(\right|\left|\frac{x^r-x_i^r}{h_r}\right|{|}^2)$

其中：代表空间位置的信息，离远点越近，其值就越大，表示颜色信息，颜色越相似，其值越大；C为一个常数经验值，代表像素所在图像的坐标位置，作为距离测量的圆心；x^s代表点的坐标。h_s代表距离测量的最大半径；代表像素颜色值，以其作为颜色距离判断的中心。x^r代表点的颜色信息。h_r代表颜色测量的最大半径。

在此帧确定中心做为下一帧的搜索起始位置。反复搜索进行目标跟踪。根据目标与敏感区域的相对位置确定报警与否。

5)自动识别人脸并实现电梯控制

当前诸多电梯通过刷卡的方式才能被授权前往预期楼层，这种方式需要随身携带电梯卡，并通过完成刷卡的动作后电梯才能前往目标楼层。而视觉光幕可以对进入电梯的乘客进行人脸识别，主动完成乘客与登记在数据库中的身份对比，比对成功后会自动前往乘客事先登记的楼层，这样使乘客更加方便的乘坐电梯，也让管理更加有效。该人脸识别也可与公安系统联网，实现对违法犯罪分子的自动辨识与报警，有效保卫社会和平和社会安全。

人脸识别技术主要包括部分有人脸预处理，特征提取，匹配三大模块。

人脸预处理模块包括人脸定位，眼睛定位等。人脸定位采用hsv颜色空间模型结合级联分类器训练方法获得。眼睛定位采用类似方法进行。

特征提取采用二维Gabor小波变换进行处理，下面详细介绍Gabor变换特征提取方法。Gabor滤波器函数为：

${\mathrm{\ψ}}_j\left(\stackrel{\→}{x}\right)=\frac{\left|\right|\stackrel{\→}{k_j}|{|}^2}{{\mathrm{\δ}}^2}\exp \{-\frac{\left|\right|\stackrel{\→}{k_j}\left|{|}^2\right|\left|\stackrel{\→}{x}\right|{|}^2}{2{\mathrm{\δ}}^2}\}\[\exp \left(i\stackrel{\→}{k_j}\stackrel{\→}{x}\right)-\exp (-\frac{{\mathrm{\δ}}^2}{2})\]$

式中为给定位置的图像坐标，δ滤波器窗口尺寸，为滤波器中心频率。体现了滤波器的方向选择性。在自然图像中用来补偿由频率决定的能量谱衰减。为用来约束平面波的高斯函数。为复数值平面波，其实部为余弦平面波虚部为正弦平面波由于余弦平面波关于高斯窗口中心欧对称，在高斯包络函数的约束范围内，其积分值不小于0.而正弦平面波关于高斯窗口中心奇对称，在高斯保罗函数约束范围内。其积分值为0。为了消除图像的直流成分对二维Gabor小波变换的影响。在复数值平面波的实部减去这使得二维Gabor小波变换不受图像灰度值的影响，并且对图像的光照变化不敏感。二维Gabor滤波器的函数为一个复函数，其实部、虚部可分别表示为

$re\left({\mathrm{\ψ}}_j\right(\stackrel{\→}{x}\left)\right)=\frac{\left|\right|\stackrel{\→}{k_j}|{|}^2}{{\mathrm{\δ}}^2}\exp \{-\frac{\left|\right|\stackrel{\→}{k_j}\left|{|}^2\right|\left|\stackrel{\→}{x}\right|{|}^2}{2{\mathrm{\δ}}^2}\}\[cos\left(\stackrel{\→}{k_j}\stackrel{\→}{x}\right)-\exp (-\frac{{\mathrm{\δ}}^2}{2})\]$

$lm\left({\mathrm{\ψ}}_j\right(\stackrel{\→}{x}\left)\right)=\frac{\left|\right|\stackrel{\→}{k_j}|{|}^2}{{\mathrm{\δ}}^2}\exp \{-\frac{\left|\right|\stackrel{\→}{k_j}\left|{|}^2\right|\left|\stackrel{\→}{x}\right|{|}^2}{2{\mathrm{\δ}}^2}\}\[sin\left(\stackrel{\→}{k_j}\stackrel{\→}{x}\right)\]$

为实部，为虚部。二维Gabor小波变换最终获得图像上给定一点附近区域的灰度特征。

人脸匹配模块采用神经网络训练方法进行。正负样本所得特征输入神经网络。训练神经网络参数。根据实际情况进行有限次迭代，最终获得一组较好网络参数。也就是用来识别的神经网络模型。

待测样本根据上述方法处理后根据网络输出确定人脸识别结果。

6)自动监测管理电梯维保人员的维保工作

电梯的安全很大程度依靠维保，由于电梯行业快速发展，电梯维修保养行业人机不匹配等行业现状，维保人员不到位、走过场等现象，给电梯的安全隐患没有及时发现并加以排除，这是电梯行业管理上的缺失。通过安装电梯智能视觉光幕对维保人员的到访和离开时刻状态进行采集，系统可进行维保人员的人脸识别，进而实现通过与系统接收到的维护计划(含维护人员信息)对比还判定规定的维保人员是否到达维保现场及到离时间，自动拍摄电梯维护人员维护图片、视频并上传给系统监控中心，达到监控维护人员有无定期维护的目的，在一定程度上监督了维保的质量，也给维保工作的质量管理提供了可靠的数据依据。

此外，电梯智能视觉光幕能在电梯故障时视音频安抚被困客户。

系统可用LCD替换电梯内楼层显示装置，在其上显示监控摄像机视频，可作为由电梯监控中心控制的电梯内广告系统。电梯内传统方式采用LED数码屏显示所在楼层，先采用LCD显示方式，在电梯轿厢内安装显示设备，让轿厢内人员不仅可以看清所在楼层，更给电梯厂家提供投放视频广告的空间。在轿厢内人员较多时，让乘客通过LCD清晰的查看电梯门附近的状态，增加了用户的使用感和亲和力。如果电梯出现故障，监控中心可以通过显示设备与轿厢内人员可视对讲，极大程度上降低了乘客的恐慌程度。

如图2所示，本发明是一种基于智能视觉技术和互联网+大数据技术的智能网络系统，除上述功能外还包括以下互联网和大数据功能：

电梯智能视觉光幕能把电梯故障及维保情况汇集到监控中心并进行大数据挖掘分析。

视觉光幕实时采集电梯开关门状态、运行速度异常情况、电梯开门时所在楼层是否异常、电梯门附近的异常行为、电梯运维人员到离信息等，电梯运维数据汇总传至电梯运维监控中心，及时发现并处理电梯故障。电梯监控中心(可区、市、省中心)形成电梯运维大数据，自动进行大数据挖掘分析各品牌、型号的故障类型和故障率、维保和服务信息等，计算得出各品牌、型号的电梯运行质量以及各维护服务商服务质量，通过视觉光幕采集到的信息为电梯行业的安全管理和智能化提供大数据支持，也为电梯行业的发展提供了重要的数据依据。本发明可所有信息发送给电梯使用单位的管理中心(如消控中心)、电梯生产企业(包括电梯制造、安装、改造、维修企业)的管理中心、电梯检验检测中心数据中心以及政府电梯行业管理机构和保险企业等。

本发明是一款从功能上替代红外光幕的产品，可便捷地安装于电梯轿厢门楣上方，采用智能视觉的原理对电梯门及周边区域进行全覆盖监测，自动视觉分析电梯门附近空间状况并对进入电梯人员进行人脸识别，实时采集电梯开关门状态、电梯运行速度，自动判定电梯是否开门运行、开门时所在楼层是否异常、电梯运行速度是否异常、电梯门附近人员行为是否异常等，系统可与电梯维护人员信息互动，自动监控维护人员有无定期维护。电梯运维数据汇总传至电梯运维监控中心，及时发现并处理电梯故障，电梯监控中心形成电梯运维大数据，自动进行大数据挖掘分析各品牌、型号电梯运行质量、各维护服务商服务质量、电梯故障各类故障统计分析等。本发明的推出必将对电梯及电梯光幕市场领域产生巨大影响。

Claims (9)

1.一种基于智能视觉光幕的电梯运维监控方法，其特征在于包括以下步骤：

在每个电梯轿厢中安装摄像机及处理器，二者通过数据线进行通讯传输，其中摄像机安装在电梯门框上方中间位置；

摄像机实时采集视频图像，传输至处理器；

处理器通过智能视觉算法实现电梯轿厢门区域空间的全视场自动视觉分析，及时发现并处理电梯故障；

将上述分析及处理结果进行汇总，得到电梯运维数据并传至电梯运维监控中心。

2.按权利要求1所述的基于智能视觉光幕的电梯运维监控方法，其特征在于：电梯运维数据通过对电梯门关闭异常、电梯开门运行、电梯错层停靠、电梯门夹手事故、通过识别人脸实现电梯控制、监测管理电梯维保人员的维保工作进行检测得到，包括电梯开关门状态、运行速度异常情况、电梯开门时所在楼层是否异常、电梯门附近的异常行为以及电梯运维人员到离信息。

3.按权利要求2所述的基于智能视觉光幕的电梯运维监控方法，其特征在于电梯开关门状态通过以下方法检测：利用在电梯轿厢门框上方安装的摄像机采集电梯轿厢门运动状态实时视频，通过智能视觉算法自动检测、计算电梯门所处的位置、运动状态和速度，如果在电梯关门过程中有人员、物体仍处在电梯门的平面内，或者电梯门往复多次关、开门，或者因电梯门故障而关门未果停在某个未完全关闭门的位置，电梯智能视觉光幕根据检测到的上述电梯门关闭异常信息，自动发出报警信号并上传给数据中心，通知相关设备或人员立即检查采取必要措施。

4.按权利要求3所述的基于智能视觉光幕的电梯运维监控方法，其特征在于电梯门关闭异常的检测步骤如下：

先采集多帧门开关时无异物侵入状态下或门能正常关闭时图像；

对采集的图像进行特征提取，对提取出的特征进行降维，对最终降维结果采用kmeans聚类方法将其分为h类，以确定rbf网络的h个中心以及属于该中心的各个类图像数据，得到Rbf模型；

输入一张实时采集到的图像,经过降维特征提取后,将图像特征输入到rbf网络，计算输出值；

根据输出值确定有无侵入物进入电梯门或电梯关门异常，最终将判断结果传输给电梯控制端。

5.按权利要求2所述的基于智能视觉光幕的电梯运维监控方法，其特征在于电梯开门运行检测步骤如下：

视觉光幕自动采集并记录电梯门区域的图像特征及运动特性，

如果智能视觉算法发现没有电梯门内侧图像特点和门缝特点且电梯门外区域的图像整体发生上下移动，智能视觉光幕则确定电梯开门运行故障，并向电梯控制系统发出响应信号；

具体为：

1)检测门开关状态；

2)如果检测到开门状态，则利用卡尔曼滤波的方法检测电梯运行状态，卡尔曼滤波跟踪流程如下：

X(k)＝F(k,k-1)·X(k-1)+T(k,k-1)·U(k-1)

Y(k)＝H(k)·X(k)+N(k)

其中，X(k)和Y(k)分别是k时刻的状态矢量和观测矢量，F(k,k-1)为状态转移矩阵，U(k)为k时刻动态噪声，T(k,k-1)为系统控制矩阵，H(k)为k时刻观测矩阵，N(k)为k时刻观测噪声；则卡尔曼滤波的算法流程为：

预估计状态矢量X(k)^＝F(k,k-1)·X(k-1)；

计算预估计协方差矩阵

C(k)^＝F(k,k-1)×C(k)×F(k,k-1)'+T(k,k-1)×Q(k)×T(k,k-1)'Q(k)＝U(k)×U(k)'

其中，F(k,k-1)'为状态转移矩阵的矩阵转值，T(k,k-1)'系统控制矩阵的矩阵转值，U(k)'为k时刻动态噪声转值；

计算卡尔曼增益矩阵

K(k)＝C(k)^×H(k)'×[H(k)×C(k)^×H(k)'+R(k)]^(-1)

R(k)＝N(k)×N(k)'

其中，H(k)'为k时刻观测矩阵转值，K(k)为卡尔曼增益矩阵，R(k)为噪声协方差矩阵，N(k)'为k时刻观测噪声转值；

更新估计

X(k)～＝X(k)^+K(k)×[Y(k)-H(k)×X(k)^]

X(k)～为更新估计后的k时刻状态矢量；

计算更新后估计协防差矩阵

C(k)～＝[I-K(k)×H(k)]×C(k)^×[I-K(k)×H(k)]'+K(k)×R(k)×K(k)'

X(k+1)＝X(k)～

C(k+1)＝C(k)～

重复以上步骤，最终获得开门时轿厢的运行情况，如处于运动状态给出报警信息。

6.按权利要求2所述的基于智能视觉光幕的电梯运维监控方法，其特征在于电梯错层停靠检测步骤如下：

视觉光幕在电梯开门时自动监测分析电梯楼层停靠位置，如果电梯门上部图像区和下部图像区出现电梯内井图像，电梯门区图像出现高低错位，则确定电梯出现错层停靠故障；

具体为：采集正常停靠时门与楼层相对位置的图像，当每次轿厢停靠于某个楼层时用直方图匹配方法进行门开关状态判断，直方图通过以下方法匹配:

1)相关系数法：

其中H'_i(i)＝H_i(i)-(1/N)(Σ_jH_i(j))，且N等于直方图中bin的个数；

2)卡方法

其中H₁、H₂分别为两张图像处理后的直方图，i代表灰度等级；

3)相交系数法

d(H₁,H₂)＝∑min(H₁(i),H₂(i))

其中H₁、H₂分别为两张图像处理后的直方图，i代表灰度等级；

4)巴氏距离法

其中H₁、H₂分别为两张图像处理后的直方图，i代表灰度等级；

利用以上四种方法计算两组图片的相似度，根据投票原则确定最终相速度取值；

当相似度低于某个设定的阈值的时候就认为出现了错层风险，系统自动报警。

7.按权利要求2所述的基于智能视觉光幕的电梯运维监控方法，其特征在于电梯门夹手事故靠检测步骤如下：

利用摄像机自动监测电梯轿厢门框和电梯门之间的缝隙状况；

如果智能视觉系统在行将开门时发现在电梯轿厢门框和电梯门之间缝隙有物体抵近，则判定电梯门有夹手风险，通知电梯控制系统将电梯门的开启速度降低到一半以下；

智能视觉系统观察分析有夹手风险区域的视觉目标运动情况，如果通过智能视觉算法发现有物体超门缝里运动，即判定出现了电梯门夹手故障，通知电梯控制系统暂停开门动作或关门把所夹之手或物体带出。

8.按权利要求2所述的基于智能视觉光幕的电梯运维监控方法，其特征在于识别人脸并实现电梯控制步骤如下：

对进入电梯的乘客进行人脸识别，自动完成乘客与登记在数据库中的 身份对比；

对比成功后乘客可按预登记楼层(可能是多层)的电梯按钮，电梯运载乘客去往所要去的楼层；对比不成功则电梯不接受任何信息，乘客不能去往任何楼层。

9.按权利要求2所述的基于智能视觉光幕的电梯运维监控方法，其特征在于：

通过智能视觉光幕对维保人员的到访和离开时刻状态进行采集，系统进行维保人员的人脸识别，进而实现通过与系统接收到的包括维护人员信息在内的维护计划进行对比对，判定规定的维保人员是否到达维保现场及到离时间，将拍摄的电梯维护人员维护图片、视频并上传给系统监控中心。