CN1919711A - 基于图像、语音识别技术的电梯内防暴力装置 - Google Patents

Abstract

一种基于图像、语音识别技术的电梯内防暴力装置，包括视频传感器、语音接受器和用于监控电梯的监控中心计算机，视频传感器、语音接受器通过无线网络设备与监控中心计算机连接，监控中心计算机包括用于实时显示电梯视频数据的显示模块，显示模块连接显示装置，视频传感器通过无线网络交换设备与监控中心计算机连接，无线网络交换设备为电梯所在大楼的无线局域网的中心，监控计算机包括用于电梯安全防范的微处理器，微处理器包括图像读取模块、图像变化计算模块、连通区域计算模块、电梯内是否有人判断模块、电梯门状态动作判断模块以及电梯劫色暴力判断模块、电梯劫财暴力判断模块等，本发明具有智能化、实时在线、可靠性强、安装维护简便等优点。

Description

基于图像、语音识别技术的电梯内防暴力装置

(一)技术领域

本发明涉及一种基于图像、语音识别技术的电梯内防暴力装置。

(二)背景技术

随着城市里楼房越盖越高，电梯的使用越来越普遍，电梯安全问题日益受到人们重视。电梯在给人类的生活带来便捷迅速之后，也向人类的安全发出挑战。由于电梯的相对封闭性，它给人类的安全也带来了威胁。在电梯狭小的空间里，人对自身的约束也会降低到最低点。新闻媒体经常会报道一些电梯暴力事件，受害者遭遇过电梯内暴力事件后除了财物损失以外在心身方面也受到了很大的创伤，电梯暴力事件的种类可分为电梯内的劫财、劫色和其他暴力事件。

奥地利的生物学家康·洛伦兹就曾经指出：一个亲密的群体一旦拥挤在一个狭小的空间就可能会导致一切社会行为准则失效。有许多报道，一些外表具有“绅士风度的”人在电梯中对自己公司的女性员工进行性骚扰，在电梯这样一个狭小而又相对封闭的空间内会造成一些人理性的错位。

在西方，电梯内发生暴力事件早已经成为司空见惯的大众话题和影视片中的常规情节。美国加州大学的一位博士曾经对居住在纽约中区公寓中的102位女性作过一次调查，结果发现：竟然有34％的女性承认自己在电梯中曾经受到陌生男子的性骚扰，多为猥亵语言，下流动作。另外有21％的女性表示身体受到过伤害。通过对比，女性在电梯中所受到的暴力袭击的机会比深夜驾车或行走在无人的街区要高50％。

在我国，随着经济的发展，各种高档写字楼也越来越多，而发生在写字楼里电梯中的性骚扰事件也逐渐增多，并且已是屡见不鲜。电梯里的性骚扰现象已越来越引起人们的重视。有些女性将电梯里的发生的性骚扰称为“防不胜防”的暴力袭击，现在电梯的弊病也正在引起世界上的一些社会学家、心理学家和犯罪学家的注意。

另外一些犯罪份子也利用电梯这个特殊的空间来进行抢劫作案，并正严重地危害着人们的生命和生活安全。

图像处理与计算机视觉是一个不断发展的新技术，原则上采用计算机视觉进行观测有四个目的，即预处理、最底层的特征提取、中级特征的辩识以及通过图像对高级情景的解释。一般来说，计算机视觉包括主要特征、图像处理以及图像理解。

图像是人类视觉的延伸。通过视觉，可以捕捉到电梯内部所发生的事件，图像监测快速性的基础是视觉所接受的信息以光为传播媒介；而图像信息的丰富和直观，更为电梯安全故障的辨识和判断奠定了基础，其它任何检测技术均不能提供如此丰富和直观的信息。

语音能够表达情感，因为其中包含能体现情感特征的参数。电梯中受害的一方往往在会表现出惊恐、悲伤和愤怒这三种情感，从语音信号中提取这些反映情感的参数，对于情感语音识别具有极其重要的意义。

当说话人处于不同情感状态时，会在语速上表现出一定的变化，在激动状态时，语速较平常状态要快，因此可以利用判断语音信号中的语速和发话持续时间等参数来判别情感中激动成分的程度。同语音信号中的时间特征相类似，信号的振幅特征和各种情感信息也具有较强的相关性，在怒、惊等情感时往往具有较大的幅值，而悲伤情感的幅度值较低。从电梯受害人的受害过程情感变化典型过程来讲，大致上可以分为先受惊、接着愤怒、然后产生悲伤。

(三)发明内容

为了克服已有的电梯防暴装置的人为视频监视、安装维护麻烦、可靠性差的不足，本发明提供一种智能化、实时在线、可靠性强、安装维护简便的基于图像、语音识别技术的电梯内防暴力装置。

本发明解决其技术问题所采用的技术方案是：

一种基于图像、语音识别技术的电梯内防暴力装置，包括安装在电梯轿厢顶部的视频传感器、用于采集轿厢内语音的语音接受器以及用于监控电梯的监控中心计算机，所述的视频传感器、语音接受器与监控中心计算机连接，所述的监控中心计算机包括用于实时显示电梯视频数据的显示模块，所述显示模块连接显示装置，所述的视频传感器通过无线网络交换设备与监控中心计算机无线数据连接，所述的无线网络交换设备为电梯所在大楼的无线局域网的中心，所述的监控计算机包括用于电梯安全防范的微处理器，所述的微处理器包括：

图像读取模块，用于将电梯轿厢内的视频信息采集下来；

图像变化计算模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(8)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)                (8)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的背景，像素灰度为1为目标，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；

电梯内是否有人判断模块，用于根据连通区域的大小属性以及形状属性进行判断，如同时满足大小属性、形状属性，判定电梯轿厢内有人，该判断模块包括：

区域大小属性判断单元，用于对所述的每个连通区域求出其面积，并依照如下判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子Fs为0.2~0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，设定区域大小影响因子Fs为1；

阈值1和阈值2的取值范围的大小是根据从上往下看一个成年人的平均截面积在0.12m²左右，然后通过视觉系统的标定结果来决定阈值1和阈值2的大小，即像素值的大小；

形状属性判断单元，用于根据每个连通区域求出其面积Si求其形状特征属性，与人体模型作比较，首先求每个连通区域的平均宽度和高度，平均宽度wi用在高度hi方向的分成4等份的宽度均值，并以该平均宽度wi和高度hi作一个矩形，然后用公式(10)计算某个连通区域与该连通区域的矩形的面积比，

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(10\right)$

计算所得的ε_area ⁱ值在0.5~0.9之间，接着用公式(11)进行下面的矩形的宽度wi与高度hi的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除，

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(11\right)$

计算所得到的ε_rate ⁱ值根据空间位置关系，划分若干个区域半径，每个区域半径中有其判断指标，比如在10m~12m的区域半径范围内，ε_rate ⁱ值在0.15~0.4之间，设定形状属性影响因子Fsh为1；

电梯门状态动作判断模块，用于安装好视频传感器后，得到的轿厢初始图像，定义电梯门处于关状态时上部区域为背景图像，将当前的图像与背景图像进行背景减算法，如连通区域有整块出现，判断轿厢门处于开的状态；否则轿厢门处于关的状态；通过相邻各帧图像的检测，如连通区域的面积在水平方向上从大到小，判断轿厢门从开到关，如连通区域的面积在水平方向上从小到大，判断轿厢门从关到开；

电梯劫色暴力判断模块，用于在判定电梯的轿厢门关闭后，根据连通区域计算模块，判断轿厢内的人数超过2人，并判断当前时间段在晚间，启动劫色暴力判断计算：劫色异常量化值的初始值为零，如果电梯轿厢内原来就有人并呆在轿厢内超过设定时间以上同时并没有在轿厢内选层面板上选择层间按钮，劫色异常量化值累加一个L1值；如果检测到截面积较大的对象是在截面积较小的对象后面进入电梯，劫色异常量化值累加一个L2值；如果检测到一个截面积较大的对象快速地接近一个截面积较小的对象，劫色异常量化值累加一个L3值；如果检测到有声音并判定为女性，跟情感语音数据库中的标准值进行匹配，如判定为惊恐情感声音，劫色异常量化值累加一个L4值；如果检测到两个截面积合成为一个截面积，并延续了设定时间Tduring，同时在设定部位动作变化频繁，劫色异常量化值累加一个L5值；如果再检测到有声音并判定为女性，跟情感语音数据库中的标准值进行匹配，如判定为女性的愤怒、悲伤的情感声音，异常量化值累加一个L6值；将累加后的劫色异常量化值与预设的劫色异常标准值做比较，如劫色异常量化值大于劫色异常标准值，判定为劫色暴力发生，发出告警提示信息。

进一步，所述的微处理器还包括：电梯劫财暴力判断模块，用于在判定电梯的轿厢门关闭后，根据连通区域计算模块，如果所检测到的轿厢内人数小于4人并且当前的时间段在晚间，启动劫财暴力判定计算；劫财异常量化值的初始值为零，如果发现在电梯轿厢内原来就有人并呆在轿厢内超过一定时间以上同时并没有在轿厢内选层面板上选择层间按钮，劫财异常量化值累加一个K1值；如果检测到一个或者两个面积的对象迅速地接近另一个面积的对象，劫财异常量化值累加一个K2值；如果检测到有声音，跟情感语音数据库中的标准值进行匹配，判定为惊恐情感声音，劫财异常量化值累加一个K3值；如果检测到每帧图像中有面积的剧烈活动，设定部位的运动速度超过阈值，劫财异常量化值累加一个K4值；如果再检测到有声音，跟情感语音数据库中的标准值进行匹配，判定为包含有愤怒、悲伤的情感声音，劫财异常量化值累加一个K5值；将累加后的劫财异常量化值与预设的劫财异常标准值做比较，如劫财异常量化值大于劫财异常标准值，判定为劫财暴力发生，发出告警提示信息。

再进一步，所述的微处理器还包括：语音分析模块，用于采集受话器的语音信息，采用贡献分析法来确定情感特征参数在构建模板时的权重值，定义为：

$w_j=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{\mathrm{cov}(\widehat{\mathrm{\θ}}(y_i,{\widehat{\mathrm{\φ}}}_j\left(x_{\mathrm{ij}}\right))}{\mathrm{var\φ}\left(y_i\right)}---\left(2\right)$

t＝1，…，n  j＝1，…，8            (3)

$\mathrm{\θ}\left(y_i\right)=\underset{j=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\φ}}_j\left(x_{\mathrm{ij}}\right)+{\mathrm{\ϵ}}_i---\left(4\right)$

上式中，θ(y_i)是第t感语句和模板欧氏距离y的函数，φ_j(x_ij)是第t句的第J个情感特征参量x_ij的二次函数，ε_i是随机误差，

和 是通过修正条件期望算法迭代确定出的最佳函数。

更进一步，所述的轿厢内安装显示器，所述的微处理器还包括：实时播放模块，用于将视频传感器采集的视频信号输出到轿厢内的显示器，并实时播放。

所述的微处理器还包括：电梯非常处理模块，用于在检测轿厢内有人，且超过设定时间Twait后仍然没有选择任何选层按钮或者电梯门没有开闭，控制电梯升降到最近一层，并自动打开电梯门。

6、如权利要求3所述的基于图像、语音识别技术的电梯内防暴力装置，其特征在于：所述的微处理器还包括背景维护模块，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(8)所示：

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(8\right)$

式(8)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(10)：

公式(8)中的背景亮度是从RGB颜色空间到YCrCb颜色空间的转换得到的，其公式(11)给出，

Y＝0.29990*R+0.5870*G+0.1140*B

                 ；

Cr＝0.5000*R-0.4187*G-0.0813*B+128

Cb＝-0.1787*R-0.3313*G+0.5000*B+128    (11)

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色；

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为检测到检测对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0                (9)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(5)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)        (5)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(6)：

X_mix，bn+1(i)＝X_mix，cn(i)                (6)。

所述的微处理器还包括：噪声剔除模块，用于将每一个像素值用其局部邻域内所有值的均值置换，如公式(13)所示：

h[i，j]＝(1/M)∑f[k，1]                   (13)

上式(9)中，M是邻域内的像素点总数。

所述的视频传感器连接视频处理器，所述视频处理器包括：图像记录模块，用于将电梯轿厢内的视频信息记录下来；图像处理模块，用于将记录下来的视频数据进行压缩编码、复用以及调制成压缩视频数据；第一无线收发模块，用于依照通信标准，发送压缩的视频数据；所述的监控中心计算机包括：第二无线收发模块，用于依照通信标准，接收压缩的视频数据；图像解压处理模块，用于将接收的数据进行解压缩、解复用以及解调，恢复成视频数据；所述的图像解压处理模块的输出连接图像读取模块。

所述的第一无线收发模块为符合通信标准的无线网卡，所述的监控中心计算机包括与所述无线网卡配合的TCP/IP协议、无线网络接口，所述的微处理器为嵌入式Linux微处理器。

数字化无线视音频传输系统与传统的有线、模拟传输系统相比，具有如下特点：①便于进行压缩、分析、存储和显示：②数字信息抗干扰能力强，不易受传输线路信号衰减的影响等。正是由于数字视音频传输具有传统模拟传输无法比拟的优点，而且符合当前信息社会中数字化、网络化和智能化的发展趋势，所以数字视音频传输正在逐步取代模拟传输，广泛应用于各行各业。

目前数字化无线视音频传输选择方式来看，主要有三种方案：一是在蓝牙串行口后接一个蓝牙模块；二是选择红外无线遥控；三是用短距离的无线数传芯片。对于蓝牙方案，无线传输距离和芯片价格是值得考虑的地方：蓝牙主要用于短距离传输(最多10米)，且芯片价格一直偏高，虽然目前也有使蓝牙传输距离进一步加大的方案(可达100米)，但不幸的是，其价格也会比原来贵许多，不适应于电梯的轿厢与监控中心之间的音视频信息交换。红外传输虽然没有价格问题，能传输的距离实在太近，只有几米，且对红外发射角度有一定的要求，存在″必须保证传输信息的两个设备正对，且中间不能有障碍物″等致命的缺陷，这一点又不适应于电梯的轿厢与监控中心之间的音视频信息交换。采用短距离的无线数传芯片进行无线传输则灵活得多，价格上从低端到高端选择余地很大，传输距离从几十米到几百米都有，即使中间有障碍物也能很好地实现轿厢与监控中心之间的音视频信息交换。

全数字无线视音频传输系统是将视频信息数字化后经压缩编码、复用、调制以后送信道传输，然后通过解压缩、解复用、解调后送到电梯监控中心的计算机中进行图像处理，整个过程采用的是全数字处理技术，由于采用了数字信号处理技术与前向纠错技术(FEC)，可使其具有较高的信号接收灵敏度并能保证信号的可靠传输，适应在恶劣环境中的应用，特别是在运动中电梯内视音频传输抗干扰性能、安装维护等方面的优点更加明显。

全数字无线视音频传输系统除了具有优越的抗干扰性能、保持图像信息清晰稳定以外，还具有设备小巧不需附带其他设施、价格适中等优点，可以通过适当的地址编码控制实现点对点、点对多点、单向和双向实时的多媒体通信。由于全数字无线视音频传输系统不需附带其他设施且独立性好，不需要任何布线等安装过程，因此采用全数字无线视音频传输以及图像、语音识别技术能方便地实现对单梯以及群梯的安全防范检测和控制，更适用于目前使用中的电梯的控制技术和安全防范技术的改造。

电梯暴力事件的种类可分为电梯内的劫财、劫色和其他暴力事件。从发生电梯暴力事件的时间段来看一般都是处在电梯利用者比较少或者深夜时间，从发生过程延续时间来看施暴者要比一般正常电梯利用者乘坐电梯的时间来的长些，从视频的角度来说在电梯移动时间内人体的活动频繁并出现人体之间迅速靠近或者人体面积迅速变化等特征，从音频的角度来说会施害者常会发出一些恐吓性的语言，受害者常会发生惊叫救助等语音特征。

所述的安全防范检测模块中包括电梯劫财暴力、劫色暴力和其他暴力等事件的检测，从视音频识别角度来说，施暴者一般在整个视场中的所占面积比较大(往往是大个子男性)、动作比较猛且朝向受害者主动动作、在电梯内停留时间比较长(等候机会实施暴力)、暴力发生以前或者过程中发出的声音中带有恐吓性成分，声音多属于男性的声音；与施暴者比较，受害者一般所占面积比较小、在受害的前期身体几乎没有动作，在施暴者发生暴力过程中以及发出的恐吓性成分声音后会发生惊叫救助等特征成分的语音，声音多属于女性的声音或者是个子不大的人体。

本发明的有益效果主要表现在：1、智能化、实时在线、可靠性强、安装维护简便；2、速度快-2.4GHz直接序列扩频，最大数据传输速率为11Mb/s，无须直线传播；3、具有动态速率转换功能-当射频情况变差时，可将数据传输速率降低为5.5Mb/s、2Mb/s和1Mb/s；4、使用范围广-支持的范围是在室外为300米，在室内环境中最长为100米，只要将网络桥接器安装在大楼的中间层靠近电梯井道附近，能满足50层左右的楼层电梯的无线视音频传输；5、可靠性高-使用与以太网类似的连接协议和数据包确认，来提供可靠的无线视音频数据传送和网络带宽的有效使用；6、互用性好-只允许一种标准的信号发送技术，WECA将认证产品的互用性；7、漫游支持功能-当电梯在各个层间之间上下移动时进行无缝连接；8、可伸缩性好-最多三个访问点可以同时定位于有效使用范围中，以支持上百个用户，足以能使整个大楼中的电梯监控点正常工作；9、不需任何布线就能方便地实现对单梯以及群梯的安全防范监控，更适用于目前使用中的电梯的控制技术和安全防范技术的改造；10、组网方便，能与大楼中的任何网进行连接，也可以与外界的因特网进行连接，实现电梯的远程监控或者远程维护，在发生窃财、窃色等电梯暴力事件发生时能在第一时间通知有关人员采取救援措施；11、降低电梯内的犯罪率，提高电梯利用者的安全感，对预防电梯内的犯罪有积极的作用。

(四)附图说明

图1为基于图像、语音识别技术的电梯内防暴力装置的结构框图；

图2为采用嵌入式软硬件以及无线收发模块进行全数字无线视音频通信系统拓扑图；

图3为将无线网络桥接器安装在大楼的中间层靠近电梯井道附近的示意图；

图4为语音情感识别的原理框图；

图5为在发生电梯内暴力情况时，一种暴力活动倾向状态随时间累计曲线图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，一种基于图像、语音识别技术的电梯内防暴力装置，包括安装在电梯轿厢顶部的视频传感器、用于采集轿厢内语音的语音接受器以及用于监控电梯的监控中心计算机，所述的视频传感器、语音接受器与监控中心计算机连接，所述的监控中心计算机包括用于实时显示电梯视频数据的显示模块，所述显示模块连接显示装置，所述的视频传感器通过无线网络交换设备与监控中心计算机无线数据连接，所述的无线网络交换设备为电梯所在大楼的无线局域网的中心，所述的监控计算机包括用于电梯安全防范的微处理器，所述的微处理器包括图像读取模块，用于将电梯轿厢内的视频信息采集下来。

图像变化计算模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(8)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)            (8)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的背景，像素灰度为1为目标，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；

电梯内是否有人判断模块，用于根据连通区域的大小属性以及形状属性进行判断，如同时满足大小属性、形状属性，判定电梯轿厢内有人，该判断模块包括：

区域大小属性判断单元，用于对所述的每个连通区域求出其面积，并依照如下判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子Fs为0.2~0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，设定区域大小影响因子Fs为1；

阈值1和阈值2的取值范围的大小是根据从上往下看一个成年人的平均截面积在0.12m2左右，然后通过视觉系统的标定结果来决定阈值1和阈值2的大小，即像素值的大小；

形状属性判断单元，用于根据每个连通区域求出其面积Si求其形状特征属性，与人体模型作比较，首先求每个连通区域的平均宽度和高度，平均宽度wi用在高度hi方向的分成4等份的宽度均值，并以该平均宽度wi和高度hi作一个矩形，然后用公式(10)计算某个连通区域与该连通区域的矩形的面积比，

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(10\right)$

计算所得的ε_area ⁱ值在0.5~0.9之间，接着用公式(11)进行下面的矩形的宽度wi与高度hi的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除，

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(11\right)$

计算所得到的ε_rate ⁱ值根据空间位置关系，划分若干个区域半径，每个区域半径中有其判断指标，比如在10m~12m的区域半径范围内，ε_rate ⁱ值在0.15~0.4之间，设定形状属性影响因子Fsh为1；

电梯门状态动作判断模块，用于安装好视频传感器后，得到的轿厢初始图像，定义电梯门处于关状态时上部区域为背景图像，将当前的图像与背景图像进行背景减算法，如连通区域有整块出现，判断轿厢门处于开的状态；否则轿厢门处于关的状态；通过相邻各帧图像的检测，如连通区域的面积在水平方向上从大到小，判断轿厢门从开到关，如连通区域的面积在水平方向上从小到大，判断轿厢门从关到开。

该装置中包括用于监视轿厢内情况的摄像头、用于采集轿厢内语音的麦克风、用于采集、传输视音频信息的嵌入式系统与无线收发模块的配合，选择嵌入式Linux系统，主要达到集传感、通信、移动为一体的目的，具体选择三星S3C2410X为嵌入式微处理器，结合无线局域网技术，设计了基于图像、语音识别技术的电梯内防暴力装置，实现视音频数据采集、无线传输、基于图像、语音识别与理解技术的电梯安全防范。嵌入式系统中包括了软件与硬件技术，其中嵌入式Linux软件是核心技术，它能实现视音频服务器的功能。

所述的嵌入式微处理器S3C2410X是一款基于ARM920T内核的16/32位RISC嵌入式微处理器，该处理器是为手持设备以及高性价比、低功耗微控制器而设计的。它采用了一种叫做AMBA(Advanced Microcontroller Bus Architecture)的新总线架构。S3C2410X内部的主要资源有内存管理单元MMU、系统管理器、各为16KB的指令和数据缓存、LCD控制器(STN&TFT)、NAND FLASH Boot Loader、3通道UART、4通道DMA、4个PWM时钟、1个内部时钟、8通道10为ADC、触摸屏接口、多媒体卡接口、I2C和I2S总线接口、2个USB主机接口、1个USB设备接口、SD主接口、2SPI接口、PLL时钟发生器以及通用I/O端口等。

所述的嵌入式微处理器S3C2410X内部包含一个叫MMU的内存管理单元，可以实现虚拟存储空间到物理存储空间的映射。通常嵌入式系统的程序存放在ROM/FLASH中，系统断电后程序能够得到保存，但ROM/FLASH与SDRAM相比，速度要慢的多，而且嵌入式系统中通常把异常中断向量表存放在RAM中，利用内存映射机构可以解决这种需要。

所述的ROM/FLASH采用三星公司64MB的K9S1208VOM。它可进行10万次的编程/擦除，数据保存长达10年，被用来装载操作系统镜像和大容量的数据。

所述的SDRAM是采用三星公司的K4S561632C，用来运行操作系统和存储程序运行过程中所需要的数据，它是4M*16bit*4bank的同步DRAM，容量为32MB。用两片K4S561632C实现位扩展，使数据总线宽度为32bit。

所述的嵌入式软件系统主要包括操作系统、TCP/IP协议的移植、驱动程序的安装以及用户应用程序的编写等。

本发明中采用了Linux作为嵌入式操作系统，Linux是从UNIX发展而来，继承了UNIX大多数的优点，Linux公开的内核源代码使得它成为目前最流行的操作系统，并且Linux可以从应用出发裁剪其硬件软件，这对面向基于图像识别技术的电梯内防暴力装置这种特殊需要来说十分必要，这里我们将其称为定制操作系统，定制步骤如下：(1)编写板基支持包BSP；(2)裁剪和配置操作系统的各个部件，并修改相应的配置文件；(3)编译Kernel、组件和BSP，生成操作系统镜像文件；(4)将镜像文件下载到目标板上，进行调试。

进一步，电梯内视音频监控信息是要通过TCP/IP协议经无线局域网以数据打包、发送的方式来进行传输的，因此要在操作系统支持下实现TCP/IP协议，就需要进行任务划分，可以将TCP/IP的实现划分为4个任务来实现：①IP任务，主要用来解决IP分片的重组；②TCP输入任务，主要用来处理接收到的TCP报文段；③TCP输出任务，主要用来将要输出的数据打包、发送；④TCP定时器任务，主要用来为各种时延事件(如重发事件)提供时钟。

更进一步，基于图像、语音识别技术的电梯内防暴力装置中需要有两个USB接口，其中一个USB接口是将监控摄像头与S3C2410X进行连接，另一个USB接口是将无线网卡与S3C2410X进行连接，由于S3C2410X自带USB主从接口，不需要专门的USB芯片支持，只要对其安装驱动程序即可进行USB传输数据。在S3C2410X上配置有语音接口，将麦克风直接与语音接口连接就能完成语音信息的采集功能。

所述的USB驱动程序包含如下几个部分：(1)创建设备，创建设备函数带两个参数调用，一个参数是指向驱动程序对象的指针，另一个参数是指向物理设备对象的指针；(2)关闭设备；(3)读取设备数据，当客户应用程序有读取设备数据的要求时，系统将此要求以IRP_MJ_READ的IRP形式传递给功能驱动程序，由设备的D12Meter_Read程序执行，然后再由D12Meter_Read指定USB总线驱动程序直接与设备实现信息交互；(4)对设备写入数据，当客户应用程序有写设备数据的要求时，系统将此要求以IRP_MJ_WRITE的IRP形式传递给功能驱动程序，并由D12Meter_Write执行，然后再由D12Meter_Write指定USB总线驱动程序直接与设备实现信息交互。USB驱动程序通过安装文件(.inf文件)中PID(产品识别号)和VID(厂商识别号)识别USB设备。

当嵌入式操作系统装载完成后，就可以安装无线网卡的驱动程序和其他相应的应用程序。将无线网卡的驱动程序作为一个模块打包到操作系统中，可避免系统掉电后每次都要重装无线网卡驱动程序。

所述的用户应用程序包括图像传输、记录模块，语音通话接口模块，通话连接模块，记录装置检测模块，服务中心连接模块，安全防范检测模块，安全防范中心连接模块，电梯异常检测模块，电梯控制中心连接模块，以及无线通信模块；

电梯暴力事件的种类可分为电梯内的劫财、劫色和其他暴力事件。从发生电梯暴力事件的时间段来看一般都是处在电梯利用者比较少或者深夜时间，从发生过程延续时间来看施暴者要比一般正常电梯利用者乘坐电梯的时间来的长些，从视频的角度来说在电梯移动时间内人体的活动频繁并出现人体之间迅速靠近或者人体面积迅速变化等特征，从音频的角度来说会施害者常会发出一些恐吓性的语言，受害者常会发生惊叫救助等语音特征。

所述的安全防范检测模块中包括电梯劫财暴力、劫色暴力和其他暴力等事件的检测，从视音频识别角度来说，施暴者一般在整个视场中的所占面积比较大(往往是大个子男性)、动作比较猛且朝向受害者主动动作、在电梯内停留时间比较长(等候机会实施暴力)、暴力发生以前或者过程中发出的声音中带有恐吓性成分，声音多属于男性的声音；与施暴者比较，受害者一般所占面积比较小、在受害的前期身体几乎没有动作，在施暴者发生暴力过程中以及发出的恐吓性成分声音后会发生惊叫救助等特征成分的语音，声音多属于女性的声音或者是个子不大的人体；

在劫色暴力判断中，由于受害者几乎都是女性，施暴者(色狼)几乎都是男性，而且几乎都是在电梯内只有两个人情况(一男一女)情况下发生的，同时从时间段来看一般都是处在电梯利用者比较少或者深夜等时间段，色狼在劫色暴力过程中当电梯关门不久就会迅速的靠近受害者，施暴者又往往将受害者推到电梯的角落里实施劫色暴力活动，这时一个大的截面积会迅速靠近小的截面积，接着在一个小的区域范围内动作非常频繁，受害者会有明显的挣扎反抗行为也会伴随着有女性的惊叫救助等特征成分的语音；

所述的劫色暴力中的判断条件：判断标准分为“确认暴力”、“严重异常”、“异常”、“有暴力倾向”、“需要注意”等5个不同层次，如图5暴力活动倾向状态变化曲线所示，在图5中以电梯的轿厢门关闭后作为计算出发点，首先检测轿厢内的人数，如果所检测到的轿厢内人数为2人并且当时的时间段在晚间或者是电梯利用乘客非常少的情况时，就开始进行暴力活动状态的计算；如果发现在电梯轿厢内原来就有人并呆在轿厢内超过一定时间以上同时并没有在轿厢内选层面板上选择层间按钮的话，暴力活动倾向状态就要加一个L1值(这是考虑到有人想伺机劫色)；如果检测到一个截面积比较大是在一个截面积比较小的后面进入电梯的话，暴力活动倾向状态就要加一个L2值(这是考虑到有人尾随伺机劫色)；随着时间的推移如果检测到一个截面积比较大迅速地接近一个截面积比较小的情况，暴力活动倾向状态就要再加一个L3值(这是考虑到有人已经开始动手劫色)；接着如果检测到有声音并判定为是女性的惊恐情感声音的话，暴力活动倾向状态就要再加一个L4值(这是考虑到被害的人受到惊吓发出的声音)；如果检测到两个截面积几乎合成为一个截面积并延续了一定时间Tdurin、同时在某些部位动作变化频繁的话，暴力活动倾向状态就要再加一个L5值(这是考虑到劫色者对被害人进行劫色活动，同时受害者会有明显的挣扎反抗行为)；这时如果检测到有声音并判定为包含有女性的愤怒、悲伤等情感声音的话，暴力活动倾向状态就要再加一个L6值(这是考虑到被害的人受到暴力攻击后发出的声音)；在这期间如果电梯的轿厢门有开启动作的话，有几种情况会发生：1)是检测到轿厢内人数减少，这时也有两种可能性，一种可能性是施暴者逃离作案现场，另一种可能性是施暴者将被害者推出轿厢，如果检测到轿厢内还有一个人并且是没有任何其他活动或者是检测到有悲伤等情感声音的话表明轿厢内的人是被害者；2)检测到轿厢内已经无人，这种情况考虑是施暴者将被害者带出轿厢，继续在其他隐蔽的地方进行作案；3)轿厢内人数增加，这时也有两种可能性，一种可能性是施暴者的同伙加入暴力攻击，待电梯轿厢门关闭后又会出现上述一些暴力活动倾向，在这种情况时暴力活动倾向状态要进行累加；另一种可能性有乘客进行轿厢，这时轿厢内会出现暂时的平静，如果有两个面积靠的非常近且在电梯的一个角落里的话，可以认为施暴者为了掩盖其暴力攻击行为，将被害者挤压到轿厢的角落里并不允许被害者发出声音；根据上述判断暴力活动倾向状态累加值的大小，与判断标准中的“确认暴力”、“严重异常”、“异常”、“有暴力倾向”、“需要注意”的值进行比较，如果累计统计计算值超过“异常”但未到“有暴力倾向”的标准，那么就判定为“异常”发生，然后根据不同的判定结果进行不同的处理；

所述的特征成分的语音，语音的振动速率决定了语音信号的基频。语音的振动产生了谐波谱，它通过口腔和鼻腔时，经过了滤波，产生了一个复杂的时变谱。考虑到当同一人发出的带有不同情感而内容相同的语句时，其声道会有不同的变化，而共振峰频率与声道的形状和大小有关，每种形状都有一套共振峰频率作为其特征。因此，共振峰频率也是表达情感的特征参数之一通常在语音情感识别时使用的主要特征参数包括以下内容：

特征参数	意义
		Rate	语速，单位时间内音节通过的速率
Pitch Avenage	基音的均值
		Pitch Range	基音的变化范围
Intensity	强度，语音信号的振幅方差
		Pitch Change	基音的平均变化率

FI Avenage	第一共振峰均值
		FI Range	第一共振峰变化范围

        表1常用语音情感识别参数

在本实施例中选取了6个语音信号参数作为情感的特征参数，分别是：平均短时能量、平均幅度变化率、平均基音频率、基音频率的平均变化率、平均短时过零率、清音部分和浊音部分的时间比等，其中以基音频率最能体现情感特征。

基音频率是音频数据中比较重要的特征参数。基音检测是一个比较复杂的问题，由于声带振动并不是完全周期性的，有些清浊音的过渡帧是很难截然判定它应属于周期性或非周期性的。一般基音检测的方法大致可分成：(1)时域估计法，直接由语音波形来估计基音周期；(2)变换域法，将语音信号变换到频域或倒谱域来估计基音周期。本专利中采用了改进的自相关函数估计法来计算语音信号的基音频率。

短时自相关函数R(x)在基音周期的各个整数倍点上有很大的峰值。自相关算法的思想就是通过寻找第一最大峰值点的位置来估计出基音频率。根据短时自相关函数

$R_n\left(K\right)=\underset{m=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\left[x\left(m\right)w(n-m)\right]\left[x(m+k)w(n-m-k)\right]---\left(1\right)$

设一帧的语音信号为y0，y1，y2，......yn将每一帧从第一个采样点开始，分别用(y0*y1)+(y1*y2)+.....+(yn-1*yn)，记为k等于0是的自相关函数值，再将间隔加1，一直计算到(y0*yn)+(y1*yn+1)+......+(yn-1*yn+n-2)，记为k等于n-1时的值。根据波形特点，当间隔点移动到周期的整数倍时，计算得到的值是最大的。因此，找出自相关函数的最大值，则它所对应的k值便对应着k个采样点内有一个周期。再根据采样频率，便能计算出这段语音信号的基音频率。

在实际计算中，根据语音信号的频率特征以及人类语音的频率范围，K值不需要从0开始，最大间隔也不必取完整各帧。由于试验采用10kHz的取样频率，根据人类语音信号频率集中在50-500Hz的特性，实际使用中将间隔值设为28-200之间。计算得到的K值并不一定是基音频率的对应点，也有可能是2倍频或者几倍频点。为了避免这些差错，采取了极大值判别法来修正。

间隔点移动到周期的整数倍时，计算出来的值是最大值原理，虽然真正的基音频率对应的值并不一定就是最大值，但肯定是一个极大值，所以在找出最大值后，设置一个门限，然后再根据这个门限去找出符合的极大值，将最符合的k值作为基音频率的点；

所述的情感模式匹配，在本专利中只是关心惊恐、悲伤和愤怒等三种情感的计算，因此只要得到这三种情感的特征参数，然后采用加权欧式距离法来进行情感的判别；在不同的情感状态下，这三种特征对情感状态的贡献是不同的。故在本专利中采用了贡献分析法来确定情感特征参数在构建模板时的权重值，定义为：

$W_j=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{\mathrm{cov}(\widehat{\mathrm{\θ}}(y_i,{\widehat{\mathrm{\φ}}}_j\left(x_{\mathrm{ij}}\right))}{\mathrm{var\φ}\left(y_i\right)}---\left(2\right)$ t＝1，…，n  j＝1，…，8    (3)

$\mathrm{\θ}\left(y_i\right)=\underset{j=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\φ}}_j\left(x_{\mathrm{ij}}\right)+{\mathrm{\ϵ}}_i---\left(4\right)$

其中θ(y_i)是第t感语句和模板欧氏距离y的函数，φ_j(x_ij)是第t句的第J个情感特征参量x_ij的二次函数，ε_i是随机误差，

和 是通过修正条件期望算法(Ameyded Conditional Expectation)迭代确定出的最佳函数。

提取6个情感特征参量这样就将每个情感语句转变为一个6维的原始特征矢量，由于各维元素的单位不统一，在抽取情感特征参量时，以各特征值的均值作为相应模板的基础参量。识别时，将各特征值与模板中相应均值的比值作为参数归一化标准。将这些情感特征参数归一化标准存放在情感语音数据库中，用于情感模式匹配时识别上述三种语音情感，表2为情感状态权重初值分配；

权值	情感状态
				惊恐	悲伤	愤怒

w1	0.19	0.20	0.25
				w2	0.15	0.11	0.16
w3	0.22	0.24	0.27
				w4	0.12	0.18	0.11
w5	0.11	0.16	0.12
				w6	0.21	0.11	0.1

        表2情感状态权重初值分配

6个情感特征参数权重值和为1，即 $\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{w}_j=1.$ 表中权值w₁，w₂，w₃，w₄，w₅，w₆，分别对应于分别对应平均短时能量、平均幅度变化率、平均基音频率、基音频率的平均变化率、平均短时过零率、清音部分和浊音部分的时间比。语音识别时，调入要识别语音的情感语句，提取上述6个情感特征参数并计算出各模板的归一化特征参数矢量。再将得到的特征矢量分别进行惊恐、愤怒、悲伤等状态的加权欧氏距离模板匹配，即求出它与各情感模板的加权欧氏距离，得到最小欧氏距离的模板所代表的情感状态就是识别结果；

所述的男音与女音识别，在语音识别中属于比较简单的识别，只要求得基音频率就能分辨出男音还是女音；

在劫财暴力判断中，情况就比较复杂，首先是在轿厢内的人数方面，施暴劫财份子可能是一个人，也可能是多人，一般人数不会超过4人以上，受害者可能是女性也可能是男性，当轿厢内人数只有两人时，可以按照劫色暴力中的判断条件；当轿厢内人数超过两人时，由于劫财暴力事件中往往会发生“暴力抢劫”和“反抗搏斗”等行为，在视频图像方面的活动区域以及活动量会表现的十分明显，同时也会伴随着恐吓、愤怒等情感语音，随着时间的进行劫财暴力活动倾向状态的判定值就会增大。通过与预先确定的阈值进行比较，就可按照“确认暴力”、“严重异常”、“异常”、“有暴力倾向”、“需要注意”等5个不同层次做出判断，如图5暴力活动倾向状态变化曲线所示，在图5中以电梯的轿厢门关闭后作为计算出发点，首先检测轿厢内的人数，如果所检测到的轿厢内人数小于4人并且当时的时间段在晚间或者是电梯利用乘客非常少的情况时，就开始进行暴力活动状态的计算；如果发现在电梯轿厢内原来就有人并呆在轿厢内超过一定时间以上同时并没有在轿厢内选层面板上选择层间按钮的话，暴力活动倾向状态就要加一个K1值(这是考虑到有人想伺机抢劫)；随着时间的推移如果检测到一个或者两个面积迅速地接近另一个面积，暴力活动倾向状态就要再加一个K2值(这是考虑到有人想动手抢劫)；接着如果检测到有声音并判定为是惊恐情感声音的话，暴力活动倾向状态就要再加一个K3值(这是考虑到被抢劫的人受到惊吓发出的声音)；接着如果每次检测到每帧图像中有面积的剧烈活动，某个部位的运动速度超过阈值(该阈值是平常人的动作速度值)，暴力活动倾向状态就要再加一个K4值(这是考虑到抢劫动作已经发生并在进行中)；这是如果检测到有声音并判定为包含有愤怒、悲伤等情感声音的话，暴力活动倾向状态就要再加一个K5值(这是考虑到被抢劫的人受到暴力攻击后发出的声音)；在这期间如果电梯的轿厢门有开启动作的话，有几种情况会发生：1)是检测到轿厢内人数减少，这时也有两种可能性，一种可能性是施暴者逃离作案现场，另一种可能性是施暴者将被害者推出轿厢，如果检测到轿厢内还有一个人并且是没有任何其他活动或者是检测到有悲伤等情感声音的话表明轿厢内的人是被害者；2)检测到轿厢内已经无人，这种情况考虑是施暴者将被害者带出轿厢，继续在其他隐蔽的地方进行作案；3)轿厢内人数增加，这时也有两种可能性，一种可能性是施暴者的同伙加入暴力攻击，待电梯轿厢门关闭后又会出现上述一些暴力活动倾向，在这种情况时暴力活动倾向状态要进行累加；另一种可能性有乘客进行轿厢，这时轿厢内会出现暂时的平静，如果有两个面积靠的非常近且在电梯的一个角落里的话，可以认为施暴者为了掩盖其暴力攻击行为，将被害者挤压到轿厢的角落里并不允许被害者发出声音；

有时候窃财和窃色暴力可能会同时发生，在本专利中以最大的暴力活动倾向状态统计计算值来进行判断；

对电梯轿厢这样一个狭小而又相对封闭的空间内，为了使对一些容易发生理性错位人回归理性，使色狼不敢轻易动手，让准备在电梯中进行抢劫暴力的可疑人物感到有威慑作用，在轿厢的明显地方实时播放该轿厢的监视图像是十分有效的，通过在轿厢内实时播放该轿厢的监视图像就是告诉每个电梯中的人，轿厢内的信息是与外界在线相通的，除了对上述行为不轨者、企图抢劫者有震慑作用以外，对一些弱者也有较大的心理安慰作用，特别能起到有一个安全保护心理作用。

为了将轿厢内暴力活动倾向降低到最低，给施暴者在施暴准备以及施暴过程中施加一些外界干扰，通过视频检测到轿厢内部有人，且超过一定时间Twait后仍然没有选择任何选层按钮或者电梯门没有开闭时，就可以推断为可疑人员正在伺机采取暴力行动，或者电梯里有乘客因急病、受到暴力攻击等原因无法行动等状态，要控制电梯进入非常处理程序：升降至最近一层，自动打开电梯门。同样在暴力活动倾向状态统计计算值达到“严重异常”时，控制电梯进入非常处理程序：升降至最近一层，自动打开电梯门。

所述的轿厢内有人的判断，采用背景减算法的快速分割算法来实时检测轿厢内的人员；背景消除是基于背景减算法检测前景对象的关键，它直接影响检测出检测对象的完整性和准确性。本发明中采用了背景自适应法，其核心思想是对每一个背景像素使用1组矢量；RGB变化的当前混合值(Xmix，bi)来表示合法背景像素的允许取值(i为帧号)，并采用IIR滤波对其进行如下更新。

(1)当光线自然变化(不是由轿厢内开关灯引起的)，并且无前景对象存在时，1组向量(分别为RGB)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)        (5)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度：λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成。由于轿厢内光线变化非常小，λ的值可以取的非常小。

(2)当光线有突变时(由轿厢内开关灯引起的)，1组向量按当前帧重置：

X_mix，bn+1(i)＝X_mix，cn(i)                              (6)

(3)当有前景对象进入检测范围时，背景保持不变。为避免将前景运动对象的部分像素学习为背景像素，采用：

X_mix，bn+1(i)＝X_mix，bn(i)                        (7)

上式中的X_mix，bn+1(i)(i＝1，2，3)分别表示R，G，B 3个分量，为简化起见，上述公式略去了每个像素的坐标(x，y)部分。

对于轿厢内人数检测背景亮度的变化可用来判定检测到的前景对象是否因开关灯而引起的，开关灯事件等这些背景亮度的变化不应使系统判断为有轿厢内大量的人员存在所引起的，因而进行背景亮度分析有助于降低系统的误识别率。背景亮度使用平均背景亮度Yb来度量，计算公式由式(8)给出，

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(8\right)$

式(8)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表。用Yb0表示发现有运动对象时前一帧的背景亮度，Yb1表示检测到检测对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0                                      (9)

如果ΔY大于某个值则认为发生了开灯事件，如果ΔY小于某个负值则认为发生了关灯事件。根据上述判断结果用式(9)对当前帧进行重置。

所述的掩模表，是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，这个数组称为掩模映射表(Mask Map)：

数组M是检测对象的二值图像，不但可用来掩模视频帧从而分割出运动对象，还可用于运动对象的跟踪、分析和分类。

公式(8)中的背景亮度是从RGB颜色空间到YCrCb颜色空间的转换得到的，其公式(11)给出，

Y＝0.29990*R+0.5870*G+0.1140*B    (11)

Cr＝0.5000*R-0.4187*G-0.0813*B+128

Cb＝-0.1787*R-0.3313*G+0.5000*B+128

所述的背景减算法也称为差分方法，是一种常用于检测图像变化和运动物体的图像处理方法。为了要将光源点存在的那些像素部分检测出来，首先要有一个比较稳定的基准参考图像，并将该基准参考图像存储在计算机的存储器里，并通过上述的背景自适应法对基准参考图像进行动态更新，通过实时拍摄到图像与该基准参考图像间进行图像相减，相减的结果发生变化的区域亮度增强，图像相减的计算公式如式(12)表示，

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)                (12)

式中f_d(X，t₀，t_i)是实时拍摄到轿厢内的图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到轿厢内的图像，相当于式(5)中的X_mix，cn(i)；f(X，t₀)是基准参考图像，相当于式(5)中的X_mix，bn(i)。

实际图像信号中包含有噪声，而且一般都表现为高频信号，因此在识别过程中要剔除由噪声所产生的图像边缘点。

所述的剔除由噪声所产生的图像边缘点，在本发明中使用四邻域遍历的方法，它用滤波掩膜确定的邻域内像素的平均灰度值去替代图像每个像素点的值，即每一个像素值用其局部邻域内所有值的均值置换，如公式(13)所示：

h[i，j]＝(1/M)∑f[k，1]                    (13)

式中，M是邻域内的像素点总数，本发明中取为4。

像素间的连通性是确定区域的一个重要概念。在二维图像中，假设目标像素周围有m(m＜＝8)个相邻的像素，如果该像素灰度与这m个像素中某一个点A的灰度相等，那么称该像素与点A具有连通性。常用的连通性有4连通和8连通。4连通一般选取目标像素的上、下、左、右四个点。8连通则选取目标像素在二维空间中所有的相邻像素。将所有具有连通性的像素作为一个区域则构成了一个连通区域。

所述的连通区域计算主要解决在图像处理过程中，一幅二值图像，其背景和目标分别具有灰度值0和1。对这样的二值图像，要对目标进行标记，计算每一目标的特征以进行识别，在多目标实时跟踪系统设计中，需要有一种快速而节省内存的连通区域标记算法。我们将像素为0的小区表示此小区无监控对象，若为1则表示此小区有监控对象。所以可以采用连通成分标记法进行缺陷区域的合并。连通标记算法可以找到图像中的所有连通成分，并对同一连通成分中的所有点分配同一标记。下面是连通区域算法，

1)从左到右、从上到下扫描图像；

2)如果像素点为1，则：

·如果上面点和左面点有一个标记，则复制这一标记。

·如果两点有相同的标记，复制这一标记。

·如果两点有不同的标记，则复制上点的标记且将两个标记输入等价表中作为等价标记。

·否则给这个象素点分配新的标记并将这一标记输入等价表。

3)如果需考虑更多的点则回到第2步。

4)在等价表的每一等价集中找到最低的标记。

5)扫描图像，用等价表中的最低标记取代每一标记。

在本发明中采用区域大小属性判断和形状属性判断两种属性来判断所取得的前景跟踪目标是否是人；所述的区域大小属性判断是对上述标记过的每个连通区域求出其面积Si，有下面判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si)阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子Fs为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，这时设定区域大小影响因子Fs为1。

阈值1和阈值2的取值范围的大小是根据从上往下看(斜俯视)一个成年人的平均截面积在0.12m²左右，然后通过视觉系统的标定结果来决定阈值1和阈值2的大小，即像素值的大小。

所述的形状属性判断是对上述标记过的每个连通区域求出其面积Si求其形状特征属性再与参考图像在几何关系上达到匹配，匹配的标准是使两幅图像的相似性达到最大；为了简化计算提高实时处理能力，本发明中具体的做法是：将人体模型简化矩形模型，首先求每个连通区域的(水平方向的长度)平均宽度和(垂直方向的长度)高度，平均宽度wi用在高度hi方向的分成4等份的宽度均值，并以该平均宽度wi和高度hi作一个矩形，然后用公式(14)计算某个连通区域与该连通区域的矩形的面积比，

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(14\right)$

计算所得的ε_area ⁱ值在0.5～0.9之间，接着用公式(15)进行下面的矩形的宽度wi与高度hi的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除(不认为是有人)，

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(15\right)$

计算所得到的ε_rate ⁱ值根据空间位置关系，划分若干个区域半径，每个区越半径中有其判断指标，比如在10m~12m的区域半径范围内，ε_rate ⁱ值在0.15～0.4之间，设定形状属性影响因子Fsh为1。

符合或者基本符合区域大小属性和形状属性的运动对象我们将其作为是在轿厢内的人；截面积的大小反映了人体的骨骼身体大小，在窃色暴力过程中往往会在视频上反映出截面积的重叠，特别是在原来视频判定为两人的情况后，经过一段时间两个截面积合成了一个较大的截面积；在劫财暴力过程中有时候也会在视频上反映出截面积的变化，比如将被害者殴打在地情况；因此一个截面积向着另一个截面积方向的快速移动以及其大小的快速变化都是一个暴力过程判定指标；

所述的电梯门状态动作判断模块，用于判断电梯门的开启状态以及变化状态，在轿厢内安装好摄像装置后，通过摄像装置可以得到轿厢内的图像，在这个图像中通过用户界面定义电梯门所在的区域位置，为了防止在电梯使用过程中乘客的身体遮挡电梯门而影响检测，在本发明中电梯门的检测区域定义在上部(占电梯门高度的1/3)，在该区域中乘客对电梯门的遮挡可能性比较小；关于用图像方式来检测电梯门的开启状态，上述在检测轿厢内是否有人的检测中用到了背景减算法，在检测电梯门状态动作也是采用同样的方法，所不同的是在一个检测区域内的检测，我们定义轿厢门关的时候为背景，如果用背景减算法求的连通区域有整块出现，那么这时轿厢门处于开的状态，否则就处于关的状态；另外还有一个情况是电梯门处在从开到关的过渡状态(轿厢升降前的关门)或者是从关到开的过渡状态(轿厢到站后的开门)，从开到关的检测可以通过每帧的背景减算法求得的连通区域是在水平方向上从大变小的过程来得到；而从关到开的检测可以通过每帧的背景减算法求得的连通区域是在水平方向上从小变大的过程来得到；

本发明采用的IEEE802.11b无线通信作为电梯监控视频通信以及图像识别、语音情感识别与理解的电梯暴力防范技术。所述的用于检测轿厢内的视频服务器是嵌入式Linux系统，所述的控制调度中心所使用的是PC机或者是服务器，本发明中的用户程序模块是由C和Java语言实现的。

实施例2

其余与实施方案1相同，不同的是无线视频传输方面，该实施方案中采用了视频信息的视频采集芯片、用于进行小波视频压缩的视频压缩芯片、用于实时计算每一场图像的量化参数以及完成一些重要算法的DSP芯片，用于对视频采集芯片和DSP芯片进行逻辑控制的高复杂度可编程逻辑器件(CPLD)、用于无线通信的通信串口，采集的数字视频经视频压缩芯片压缩后，由DSP对进行打包，然后由无线收发模块发送压缩的视频数据，无线收发模块符合IEEE802.11b的通信标准。

上述的实施例1和2所产生的发明效果是充分利用了日益成熟的无线视频通信计算、嵌入式系统、动态图像识别、语音情感识别与理解等技术，通过对轿厢内暴力活动倾向状态的累计计算，能将各种电梯内的暴力行为过程分别判定为“确认暴力”、“严重异常”、“异常”、“有暴力倾向”、“需要注意”等5中不同的结果。实现了电梯的远程智能化防暴力监控，在发生窃财、窃色等电梯暴力事件发生时能在第一时间通知有关人员采取救援措施；降低了电梯内的犯罪率，提高电梯利用者的安全感，对预防电梯内的犯罪有积极的作用；对一些行为不轨者、企图抢劫者有震慑作用以外，对一些弱者也有较大的心理安慰作用，特别能起到有一个安全保护心理作用。

Claims (9)

1、一种基于图像、语音识别技术的电梯内防暴力装置，包括安装在电梯轿厢顶部的视频传感器、用于采集轿厢内语音的语音接受器以及用于监控电梯的监控中心计算机，所述的视频传感器、语音接受器与监控中心计算机连接，所述的监控中心计算机包括用于实时显示电梯视频数据的显示模块，所述显示模块连接显示装置，其特征在于：所述的视频传感器通过无线网络交换设备与监控中心计算机无线数据连接，所述的无线网络交换设备为电梯所在大楼的无线局域网的中心，所述的监控计算机包括用于电梯安全防范的微处理器，所述的微处理器包括：

图像读取模块，用于将电梯轿厢内的视频信息采集下来；

图像变化计算模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(8)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)           (8)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的背景，像素灰度为1为目标，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；

电梯内是否有人判断模块，用于根据连通区域的大小属性以及形状属性进行判断，如同时满足大小属性、形状属性，判定电梯轿厢内有人，该判断模块包括：

区域大小属性判断单元，用于对所述的每个连通区域求出其面积，并依照如下判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子Fs为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，设定区域大小影响因子Fs为1；

阈值1和阈值2的取值范围的大小是根据从上往下看一个成年人的平均截面积在0.12m2左右，然后通过视觉系统的标定结果来决定阈值1和阈值2的大小，即像素值的大小；

形状属性判断单元，用于根据每个连通区域求出其面积Si求其形状特征属性，与人体模型作比较，首先求每个连通区域的平均宽度和高度，平均宽度wi用在高度hi方向的分成4等份的宽度均值，并以该平均宽度wi和高度hi作一个矩形，然后用公式(10)计算某个连通区域与该连通区域的矩形的面积比，

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(10\right)$

计算所得的ε_area ⁱ值在0.5～0.9之间，接着用公式(11)进行下面的矩形的宽度wi与高度hi的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除，

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(11\right)$

计算所得到的ε_rate ⁱ值根据空间位置关系，划分若干个区域半径，每个区域半径中有其判断指标，比如在10m～12m的区域半径范围内，ε_rate ⁱ值在0.15～0.4之间，设定形状属性影响因子Fsh为1；

电梯门状态动作判断模块，用于安装好视频传感器后，得到的轿厢初始图像，定义电梯门处于关状态时上部区域为背景图像，将当前的图像与背景图像进行背景减算法，如连通区域有整块出现，判断轿厢门处于开的状态；否则轿厢门处于关的状态；通过相邻各帧图像的检测，如连通区域的面积在水平方向上从大到小，判断轿厢门从开到关，如连通区域的面积在水平方向上从小到大，判断轿厢门从关到开；

电梯劫色暴力判断模块，用于在判定电梯的轿厢门关闭后，根据连通区域计算模块，判断轿厢内的人数超过2人，并判断当前时间段在晚间，启动劫色暴力判断计算：劫色异常量化值的初始值为零，如果电梯轿厢内原来就有人并呆在轿厢内超过设定时间以上同时并没有在轿厢内选层面板上选择层间按钮，劫色异常量化值累加一个L1值；如果检测到截面积较大的对象是在截面积较小的对象后面进入电梯，劫色异常量化值累加一个L2值；如果检测到一个截面积较大的对象快速地接近一个截面积较小的对象，劫色异常量化值累加一个L3值；如果检测到有声音并判定为女性，跟情感语音数据库中的标准值进行匹配，如判定为惊恐情感声音，劫色异常量化值累加一个L4值；如果检测到两个截面积合成为一个截面积，并延续了设定时间Tduring，同时在设定部位动作变化频繁，劫色异常量化值累加一个L5值；如果再检测到有声音并判定为女性，跟情感语音数据库中的标准值进行匹配，如判定为女性的愤怒、悲伤的情感声音，异常量化值累加一个L6值；将累加后的劫色异常量化值与预设的劫色异常标准值做比较，如劫色异常量化值大于劫色异常标准值，判定为劫色暴力发生，发出告警提示信息。

2、如权利要求1所述的基于图像、语音识别技术的电梯内防暴力装置，其特征在于：所述的微处理器还包括：

电梯劫财暴力判断模块，用于在判定电梯的轿厢门关闭后，根据连通区域计算模块，如果所检测到的轿厢内人数小于4人并且当前的时间段在晚间，启动劫财暴力判定计算；劫财异常量化值的初始值为零，如果发现在电梯轿厢内原来就有人并呆在轿厢内超过一定时间以上同时并没有在轿厢内选层面板上选择层间按钮，劫财异常量化值累加一个K1值；如果检测到一个或者两个面积的对象迅速地接近另一个面积的对象，劫财异常量化值累加一个K2值；如果检测到有声音，跟情感语音数据库中的标准值进行匹配，判定为惊恐情感声音，劫财异常量化值累加一个K3值；如果检测到每帧图像中有面积的剧烈活动，设定部位的运动速度超过阈值，劫财异常量化值累加一个K4值；如果再检测到有声音，跟情感语音数据库中的标准值进行匹配，判定为包含有愤怒、悲伤的情感声音，劫财异常量化值累加一个K5值；将累加后的劫财异常量化值与预设的劫财异常标准值做比较，如劫财异常量化值大于劫财异常标准值，判定为劫财暴力发生，发出告警提示信息。

3、如权利要求1-3之一所述的基于图像、语音识别技术的电梯内防暴力装置，其特征在于：所述的微处理器还包括：

语音分析模块，用于采集受话器的语音信息，采用贡献分析法来确定情感特征参数在构建模板时的权重值，定义为：

$w_j=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{\mathrm{cov}\left(\widehat{\mathrm{\θ}}(y_i,{\widehat{\mathrm{\φ}}}_j\left(x_{\mathrm{ij}}\right))\right)}{\mathrm{var\φ}\left(y_i\right)}---\left(2\right)$

t＝1，…，n  j＝1，…，8            (3)

$\mathrm{\θ}\left(y_i\right)=\underset{j=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\φ}}_j\left(x_{\mathrm{ij}}\right)+{\mathrm{\ϵ}}_i---\left(4\right)$

上式中，θ(y_i)是第t感语句和模板欧氏距离y的函数，φ_j(x_ij)是第t句的第J个情感特征参量x_ij的二次函数，ε_i是随机误差，

和

是通过修正条件期望算法迭代确定出的最佳函数。

4、如权利要求3所述的基于图像、语音识别技术的电梯内防暴力装置，其特征在于：所述的轿厢内安装显示器，所述的微处理器还包括：

实时播放模块，用于将视频传感器采集的视频信号输出到轿厢内的显示器，并实时播放。

5、如权利要求3所述的基于图像、语音识别技术的电梯内防暴力装置，其特征在于：所述的微处理器还包括：

电梯非常处理模块，用于在检测轿厢内有人，且超过设定时间Twait后仍然没有选择任何选层按钮或者电梯门没有开闭，控制电梯升降到最近一层，并自动打开电梯门。

6、如权利要求3所述的基于图像、语音识别技术的电梯内防暴力装置，其特征在于：所述的微处理器还包括背景维护模块，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(8)所示：

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(8\right)$

式(8)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(10)：

公式(8)中的背景亮度是从RGB颜色空间到YCrCb颜色空间的转换得到的，其公式(11)给出，

Y＝0.29990*R+0.5870*G+0.1140*B(7)；

Cr＝0.5000*R-0.4187*G-0.0813*B+128

Cb＝-0.1787*R-0.3313*G+0.5000*B+128    (11)

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色；

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为检测到检测对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0                            (9)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(5)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)    (5)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(6)：

X_mix，bn+1(i)＝X_mix，cn(i)                        (6)。

7、如权利要求6所述的基于图像识别技术的电梯安全防范装置，其特征在于：所述的微处理器还包括：

噪声剔除模块，用于将每一个像素值用其局部邻域内所有值的均值置换，如公式(13)所示：

h[i，j]＝(1/M)∑f[k，1]                (13)

上式(9)中，M是邻域内的像素点总数。

8、如权利要求7所述的基于图像识别技术的电梯安全防范装置，其特征在于：所述的视频传感器连接视频处理器，所述视频处理器包括：

图像记录模块，用于将电梯轿厢内的视频信息记录下来；

图像处理模块，用于将记录下来的视频数据进行压缩编码、复用以及调制成压缩视频数据；

第一无线收发模块，用于依照通信标准，发送压缩的视频数据；

所述的监控中心计算机包括：

第二无线收发模块，用于依照通信标准，接收压缩的视频数据；

图像解压处理模块，用于将接收的数据进行解压缩、解复用以及解调，恢复成视频数据；

所述的图像解压处理模块的输出连接图像读取模块。

9、如权利要求8所述的基于图像识别技术的电梯安全防范装置，其特征在于：所述的第一无线收发模块为符合通信标准的无线网卡，所述的监控中心计算机包括与所述无线网卡配合的TCP/IP协议、无线网络接口，所述的微处理器为嵌入式Linux微处理器。

Images