CN106006266A - 一种应用于电梯安全监控的机器视觉建立方法 - Google Patents

Abstract

本发明提供一种应用于电梯安全监控的图像信息采集方法，从而能够便于后期视频分析，快速有效地实现电梯异常运行状态和/或电梯内异常活动的自动报警。具体为：位置固定的摄像头拍摄的图像作为背景模型；通过减背景法用当前视频帧与背景模型做差获得差分图像，再根据二值化公式对差分图像进行二值化处理，再通过形态学滤波算法去噪，最后对去噪后的结果进行区域连通分析；采用Canny算子提取出二值化后的图像的边缘轮廓；以所述边缘轮廓的形式对人体站立图像进行建模，并存储，用于与实时提取的前景轮廓通过模板匹配算法进行比对判断，从而建立基本的机器视觉。

Description

一种应用于电梯安全监控的机器视觉建立方法

技术领域

本发明涉及一种电梯视频监控的图像信息采集及处理方法，用以基于机器视觉实现电梯异常运行状态和/或电梯内异常活动的自动报警。

背景技术

电梯在给人们带来便捷和方便的同时，也对人们的安全发出了挑战。由于电梯是一个相对封闭的公共场所，一方面为犯罪分子进行不法行为提供了极佳的场所，电梯轿厢内打架、抢劫等事件频频发生；另一方面，当一个人单独乘坐电梯时，尤其是老人可能发生突发疾病摔倒在电梯里，如不能及时发现，可能危及生命。为了构建一个安全的生活环境，在很多的高层小区、宾馆、大厦的电梯轿厢内都安装了视频监控装置。然而目前这些安装在电梯轿厢内的视频监控系统和城市中很多地方安装的大部分视频监控系统一样，只是简单的录像；监控和处理电梯轿厢乘员异常行为，只是依赖人工实时监控视频。

所以，传统的视频监控系统有以下缺点：

1.功能单一，只是简单的录像，存储，回放等功能，无法对监控场景进行实时的分析和处理。

2.需要监控室内的监控人员通过长时间观看视频图像来对电梯轿厢内进行监控，但人眼具有易疲劳的缺点，不可能时刻保持警戒。

3.有些大型小区的监控视频有几十甚至上百台摄像机，工作人员根本无法监看和管理。

4.数据分析困难，安保人员查询特定事件事发时的录像资料的过程中，海量的数据给人们增加了困难。

5.大部分事件都是事后响应，一旦遇到突发疾病情况，难以及时响应。

6.目前电梯轿厢内报警方式主要是乘客自己去按警铃，但一般情况下，当乘客遭到不法侵害时，很难有机会去按报警铃。

中国专利文献CN101557506A《基于计算机视觉的电梯轿厢内暴力行为智能检测装置》提出的方案主要是通过Codebook算法来提取前景人体对象，并通过单人前景区域所占像素点进行人数判断，若人数为单人以上时，则触发算法，提取出人群行为的三维特征向量序列，将这些序列通过隐马尔可夫模型检验，从而判断是否发生异常行为。该方案主要存在以下缺点：

1.Codebook建模算法复杂。

2.基于单人前景区域所占像素点来进行人数判断，若乘员携带行李、或存在人员遮挡、人员站立位置发生变化等情况，会导致误判。

3.该方法需要提取出人群行为的三维特征向量序列，基于统计特征来检测异常行为，这就需要建立一个训练学习机制，而该学习机制是基于样本训练库的，样本训练库的建立就要求必须有足够多的训练样本，从而使得现有的基于统计特征的检测方法难以得到实际应用。此外，即使能够做到建立多样本数据库，由于收集较多训练样本的成本和工作量很大，无法在实际电梯系统中推广。

中国专利文献CN105347127A《电梯轿厢内异常情况的监控系统及监控方法》提出的方案主要是采用一个3D体感摄像装置，该摄像装置具有用于面部表情识别和动作识别的彩色摄像头、深度传感器、红外追踪装置和用于语音识别的多点阵列麦克风。该方案主要存在以下缺点：

1.对硬件设备要求较高，价格昂贵。

2.多数据融合及多数据判断存在一些问题(譬如可能存在面部表情和行为甚至语言不符合的情况)，其次，识别的越多，需要处理的数据量也就越大，很难保证数据处理的实时性。

总体来说，目前看似较为先进、智能的监控(理论)方案，算法都比较复杂，硬件要求较高，数据运算量大，都很难保证实时性的要求。

发明内容

为了解决目前基于机器视觉的电梯安全监控处理方法存在的采集信息繁杂、数据处理量大、难以在居民社区推广应用等问题，本发明提供一种新的应用于电梯安全监控的图像信息采集方法，从而能够便于后期视频分析，快速有效地实现电梯异常运行状态和/或电梯内异常活动的自动报警。

本发明的技术方案如下：

一种应用于电梯安全监控的机器视觉建立方法,其特征在于，包括以下步骤：

(1)背景建模

在轿厢封闭且空置时，轿厢内安装位置固定的摄像头拍摄的图像作为背景模型B_k；

(2)前景提取

当检测到轿厢关门信号后，通过减背景法用当前视频帧I_k与背景模型B_k做差获得差分图像D_k，再根据二值化公式对差分图像D_k进行二值化处理，再通过形态学滤波算法去噪，最后对去噪后的结果进行区域连通分析，若连通区域的面积大于设定的阈值，则认为其是前景目标，相应的区域就是前景的区域范围；其中：

减背景法计算式为D_k(x,y)＝|I_k(x,y)-B_k(x,y)|

二值化计算式为

式中D_k(x,y)为差分图像，(x,y)为像素点的坐标，I_k(x,y)为当前视频帧，B_k(x,y)为背景图像模型，R_k(x,y)为二值化后的图像；

(3)轮廓提取

采用Canny算子提取出二值化后的图像的边缘轮廓；

(4)前景轮廓判断

以所述边缘轮廓的形式对人体站立图像进行建模，并存储，用于与实时提取的前景轮廓通过模板匹配算法进行比对判断，从而建立基本的机器视觉。

基于以上方案，本发明还进一步作了如下优化限定：

轿厢内仅设置一个摄像头。这主要是考虑到本发明确立的背景建模和前景提取方案对一个视角的拍摄视频进行处理已经提取、准备了足够的信息，而无需多处设置摄像头(生成三维立体图像信息)，相应的也大大降低了数据运算量，从而提高了告警的实时性。

步骤(1)采用时间平均法对背景进行建模，即对一段时间内的视频帧求和然后再求平均，计算公式如下：

$B(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{B}_i(x,y)$

式中B(x,y)表示背景模型，B_i(x,y)表示第i帧图像。

步骤(4)还建立了一系列单人安全乘梯轮廓库，即：通过模板匹配算法将实时前景人体轮廓与单人安全乘梯轮廓库进行比对，若设定帧数的连续若干帧图像始终未能匹配，则认为发生了潜在的安全问题。

相对于现有技术，本发明具有以下技术效果：

1、前述专利文献的方案在背景建模时没有考虑到有关电梯轿厢的实际情况：电梯轿厢(非透明轿厢)关门后是一个封闭空间，且摄像头安装位置固定，环境简单且基本上不会发生变化，而且由固定光源照明，轿厢内光线的强弱变化不大，在背景建模时其实不用考虑光线的变化。如果是透明轿厢，则背景在一直变化，就需要对背景进行实时建模，这是极为困难的。本发明切实、充分考虑了轿厢监控图像的特点，针对非透明的轿厢，进行简单的背景建模，基于背景模型(在检测到轿厢关门后才)进行前景提取以及轮廓提取，信息采集量显著降低，为后期的视频分析快速、高效奠定了基础。

2、本发明深入分析了电梯异常运行状态和电梯内异常活动发生时反映的监控图像特点，并综合考虑了漏报率和谎报率，对前景提取以及轮廓提取进行了重要的优化，保证了后期视频分析能够快速、高效地得出结果，从而及时、准确地发出告警，提高电梯乘员乘梯安全性，有效减轻监控人员的负担，并能提高安保人员响应突发情况的快速性和针对事件的准确性。

3、本发明硬件实现成本较低，能够广泛应用于居民小区、办公楼等场所的(非透明的)轿厢式电梯。

附图说明

图1为本发明所涉及的硬件架构示意图。

图2为利用本发明实现基于机器视觉的电梯安全监控软件基本流程示意图。

具体实施方式

一、背景建模：

考虑到电梯轿厢是一个封闭空间，且摄像头安装位置固定，环境简单且基本上不会发生变化，而且由固定光源照明，轿厢内光线的强弱变化不大，因此，在人体前景提取时选择减背景算法来提取电梯轿厢内的人体，对于背景差法而言，获得到真实的背景十分关键，因此首先要建立背景模型。考虑到实际背景的不变性和算法的简洁性，选择时间平均法对背景进行建模。

时间平均法是对一段时间内的视频帧求和然后再求平均。

$B(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{B}_i(x,y)$

式中B(x,y)表示背景模型，B_i(x,y)表示第i帧图像。

二、前景提取：

建立背景模型后，采集到轿厢关门信号后，通过减背景法用当前视频帧I_k与背景模型B_k做差获得差分图像D_k，再根据二值化公式对差分图像进行二值化处理，由于差分图像可能会含有一些噪声，再通过形态学滤波算法去除一些噪声的影响，最后对去噪后的结果进行区域连通分析，若连通区域的面积大于设定的阈值，则认为其是前景目标，相应的该区域就是前景的区域范围。

D_k(x,y)＝|I_k(x,y)-B_k(x,y)|(减背景法公式)

其中D_k(x,y)为差分图像，(x,y)为像素点的坐标，I_k(x,y)为当前视频帧，B_k(x,y)为背景图像模型，R_k(x,y)为二值化后的图像。

另外，前景提取这一环节，可以由轿厢关门信号采集模块触发运行，从而避免不必要的数据运算量以及对总线的占用。

三、轮廓提取：

提取完差分图像后，再用Canny算子提取出该图像的边缘轮廓。算法思想如下，图像的边缘是图像上灰度变化最剧烈的地方，利用这个特点，对图像上各个像素点进行一阶或二阶微分来确定边缘像素点。对于一阶微分而言，图像的峰值处就对应着图像的边缘点，二阶微分图像的过零点处对应着图像的边缘点。为了计算方便，通常用差分代替导数计算，由于图像的一阶导数具有固定的方向性，不具有普遍性，因此可以用图像的梯度代替。Canny算子检测边缘的基本原理是：采用二维高斯函数的任一方向上的一阶方向导数为噪声滤波器，通过与图像卷积进行滤波；然后对滤波后的图像寻找图像梯度的局部极大值，以确定图像的边缘。

式中σ为高斯滤波器的参数，它的大小控制着对图像的平滑程度，σ越小滤波器定位精度越高，但信噪比低，要根据实际需要选取σ的大小。

设高斯平滑后的图像为I(x,y)，用有限差分近似偏微分计算平滑后图像每一个像素的梯度的幅值和方向，将边缘增强。

$\left\{\begin{array}{c}{P}_x\[i,j\]=(I\[i+1,j\]-I\[i,j\]+I\[i+1,j+1\]-I\[i,j+1\])/2\\ P_y\[i,j\]=(I\[i,j+1\]-I\[i,j\]+I\[i+1,j+1\]-I\[i+1,j\])/2\end{array}\right.$

用上式计算出x,y方向的差分函数之后，该像素点梯度的幅值M(i,j)和方向θ(i,j)为

$\left\{\begin{array}{c}M(i,j)=\sqrt{P_x^2\[i,j\]+P_y^2\[i,j\]}\\ \mathrm{\θ}(i,j)=arctan(P_x\[i,j\]/P_y\[i,j\])\end{array}\right.$

在梯度幅值图像M中以像素点(i,j)为中心的3X3的邻域内沿着梯度方向θ(i,j)插值，如果像素点(i,j)处的梯度幅值M(i,j)大于θ(i,j)方向上及邻域的两个插值，则将像素点(i,j)标记为候选边缘点，否则为非边缘点。标记完边缘点后，采用双阈值法对各个标记的像素点进行判断，首先设定高阈值T_h和低阈值T_l,其次对标记为候选边缘点的每个像素点(i,j)进行判断，凡是像素点的梯度幅值M(i,j)大于高阈值T_h的一定是边缘点；凡是像素点的梯度幅值M(i,j)小于低阈值T_l一定不是边缘点；如果梯度幅值大于低阈值T_l同时又小于高阈值T_h，则看这个像素点的临界像素中有没有超过高阈值的边缘点，如果有，它就是边缘点，如果没有，就是非边缘点。因为前景边缘轮廓提取对于人数判断及单人乘梯时是否安全的判断起着至关重要的作用。故采用相对复杂的Canny算子法，该算法具有低误判率，高定位精度、且能够抑制虚假边缘的优点。

四、前景轮廓判断：

人们在乘坐电梯时，正常情况下为人体站立姿势，很多时候处于静止状态或小幅度的移动状态。对人体站立图像进行建模，并存储。

这样，通过与实时提取的前景轮廓通过模板匹配算法进行比对判断，能够判断轿厢内是否有人，根据需要还可以进一步判断轿厢内是否只有一个人，进而还可以判断乘梯人员的基本状况。

本发明可以通过采用DSP对视频数据流进行处理并分析判断目标的动作和行为，通过自动地检测目标，识别目标类型以及目标行为等算法，智能的抽取、分析和理解视频源中的关键信息，对电梯自身故障、电梯内人员摔倒、施暴等异常行为进行识别，在异常行为发生时及时的发出报警信号。通知安保人员，由安保人员决定该如何处理该行为。这样就减少了对乘客的伤害，从而提高乘客乘坐电梯时的安全性，也同时极大地减轻了安保人员的工作强度。

以下针对常见的两种乘梯安全状况给出具体的应用示例：

1、针对电梯困人的具体应用：

一旦发生困人时，人员在短时间之内并不会发生安全事故，且假设轿厢内有多人，应有人能主动报警自救。但考虑到小孩或残疾人等单人乘梯时，由于身高问题，无法自己报警，就需要借助本发明进行自动触发报警。

不过该种情况对实时性要求不用太高，需要考虑减少误报警以避免增加安保人员的工作量。具体流程如下：采集到轿厢关门信号，且在60S内电梯仍未移动，若此时通过模板匹配法判断轿厢内有人存在，则触发报警。

2、针对单人突发疾病等安全问题的具体应用：

通过模板匹配算法若判断轿厢内只有一人时，则触发该算法，该算法如下：首先建立一系列的单人安全乘梯轮廓库，在轿厢门关闭时，实时采集视频帧，对视频帧进行前景轮廓提取，并通过模板匹配算法将实时前景人体轮廓与单人安全乘梯轮廓库进行比对，若连续10帧图像都没有匹配上，则认为可能发生潜在的安全问题，由装置触发报警单元。以每秒25帧计算，10帧图像花费时间0.4秒，保证了检测的实时性，同时也降低了误报率。该算法有可能存在一定的误报率，但单人情况时若发生漏报可能会造成人员生命安全，故权衡误报率和漏报率，最终倾向消除漏报率，可允许有一定的误报率。

Claims (4)

1.一种应用于电梯安全监控的机器视觉建立方法,其特征在于，包括以下步骤：

(1)背景建模

在轿厢封闭且空置时，轿厢内安装位置固定的摄像头拍摄的图像作为背景模型B_k；

(2)前景提取

当检测到轿厢关门信号后，通过减背景法用当前视频帧I_k与背景模型B_k做差获得差分图像D_k，再根据二值化公式对差分图像D_k进行二值化处理，再通过形态学滤波算法去噪，最后对去噪后的结果进行区域连通分析，若连通区域的面积大于设定的阈值，则认为其是前景目标，相应的区域就是前景的区域范围；其中：

减背景法计算式为D_k(x,y)＝|I_k(x,y)-B_k(x,y)|

二值化计算式为

式中D_k(x,y)为差分图像，(x,y)为像素点的坐标，I_k(x,y)为当前视频帧，B_k(x,y)为背景图像模型，R_k(x,y)为二值化后的图像；

(3)轮廓提取

采用Canny算子提取出二值化后的图像的边缘轮廓；

(4)前景轮廓判断

以所述边缘轮廓的形式对人体站立图像进行建模，并存储，用于与实时提取的前景轮廓通过模板匹配算法进行比对判断，从而建立基本的机器视觉。

2.根据权利要求1所述的应用于电梯安全监控的机器视觉建立方法,其特征在于：轿厢内仅设置一个摄像头。

3.根据权利要求1所述的应用于电梯安全监控的机器视觉建立方法,其特征在于：步骤(1)采用时间平均法对背景进行建模，即对一段时间内的视频帧求和然后再求平均，计算公式如下：

$B(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{B}_i(x,y)$

式中B(x,y)表示背景模型，B_i(x,y)表示第i帧图像。

4.根据权利要求1所述的应用于电梯安全监控的机器视觉建立方法,其特征在于：步骤(4)还建立了一系列单人安全乘梯轮廓库，即：通过模板匹配算法将实时前景人体轮廓与单人安全乘梯轮廓库进行比对，若设定帧数的连续若干帧图像始终未能匹配，则认为发生了潜在的安全问题。