CN100417223C - 基于全方位视觉传感器的智能安保装置 - Google Patents

Abstract

一种基于全方位视觉传感器的智能安保装置，该智能安保装置包括微处理器、用于监视安全情况的全方位视觉传感器、用于与外界通信的通信模块；全方位视觉传感器能把一个半球视野中的信息压缩成一幅图像，场景中的安放位置更加自由；监视环境时不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。视频监控中可利用的人的属性信息：1)空间位置属性；2)区域大小属性；3)形状属性；4)纹理颜色属性；5)活动属性等综合加权判断是否有侵入。本发明能够同时满足灵敏度和误报率、实时性好、安全性高。

Description

基于全方位视觉传感器的智能安保装置

(一)技术领域

本发明属于光学技术、计算机图像处理技术和网络通信技术在智能安保方面的应用，属于防盗器产品，适用于小区、家庭和企事业单位的防盗。尤其是一种基于全方位视觉传感器的智能安保装置。

(二)背景技术

当今社会，政治昌明，经济发展，科技进步。然而，社会治安依旧是民众第一位关心的问题。尤其盗窃犯罪给企事业单位和个人家庭造成巨大损害，也给公安部门工作带来沉重负担。采取高新技术手段防范和打击盗窃犯罪不失为一种行之有效的方法。目前有各种防盗装置，林林总总有成百件之多。可是，现实生活中防盗装置并未在一般企事业单位和个人家庭中得到十分广泛的使用，没有发挥此类技术防盗装置应有的作用。除了其他一些原因之外，在防盗技术方面也存在着一些问题，有这样一则关于窃贼越过防盗系统夜间连闯5家的报道，该报道中提及的被盗小区内一楼和二楼都安装了红外人体防盗装置，在小区的围栏上安装了防盗设备，在小区的门口和围栏上都安装了摄像头。对红外人体防盗装置而言究其原因，主要难以解决问题有：1)灵敏度与误报率的关系，灵敏度调得高，误报率也提高；灵敏度调得低，有些时候会发生不报警；2)目前的防盗装置主要安装在窃贼可能侵入的窗和门处，一旦窃贼掌握了一些防盗装置的特点，避开这道防线，就难以成功地阻挡住窃贼的行窃(有些窃贼为了避开红外人体防盗装置的监视范围，就采用爬的方式潜入进行作案)。对摄像防盗装置而言究其原因，防盗是以防万一，监视人同样也有万一情况，万一走开、万一打了一个瞌睡等等，窃贼一旦摸熟了情况后，也是能乘虚而入的；同时目前的摄像监控由于摄像头只能对着某一个方向，这样必然会存在着视频监控盲区。

本发明作出以前的防盗装置主要是通过防盗器件本身去解决防盗问题的。由于防盗器件本身具有一定的局限性以及上述存在的几个主要问题，一旦防盗第一防线被突破就难以成功阻挡住窃贼的行窃，以及在发生盗窃案件后无法及时取证到窃贼的直观信息从而给公安机关迅速破案造成困难。

(三)发明内容

为了克服已有的安保装置灵敏度和误报率不协调、实时性差、安全性低的不足，本发明提供一种能够同时满足灵敏度和误报率、实时性好、安全性高的基于全方位视觉传感器的智能安保装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉传感器的智能安保装置，该智能安保装置包括微处理器、用于监视安全情况的全方位视觉传感器、用于与外界通信的通信模块；所述的全方位视觉传感器包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、摄像头，所述的外凸反射镜面朝下，所述的透明圆柱体支撑外凸反射镜面，用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的内部，摄像头位于外凸反射镜面的虚焦点上；

所述的微处理器包括：

图像数据读取模块，用于读取从视频传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读进来的视频图像信息通过文件方式保存在存储单元中；

传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的线性对应关系；

色彩空间转化模块，用于将图像RGB色彩空间转化到YUV颜色模型；

图像展开处理模块，用于将采集的圆形视频图像展开为全景柱状图；

运动对象检测模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(1)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)    (1)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(2)所示：

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)    (2)

上式中，f_d(X，t_i-k，t_i)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_i-k)是相邻K帧时的图像；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)＜阈值，判定静止对象，并用式(3)来更新替换基准参考图像：

$f(X,t_0)\⇐f(X,t_{i-k})---\left(3\right)$

如f_d(X，t₀，t_i)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区无可疑侵入，像素灰度为1则表示此小区有可疑侵入，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；

空间位置属性判断模块，用于对每个连通区域并对其上下空间部分进行颜色分割，如果某个连通区域与地面颜色相接触，设定空间位置影响因子F_p为1；否则F_p为0；

区域大小属性判断模块，用于将每个连通区域求出其面积Si与预设的阈值进行比较，如下判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，设定区域大小影响因子F_s为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，设定区域大小影响因子F_s为1；

形状属性判断模块，用于将人体模型简化矩形模型，求每个连通区域的平均宽度和高度，平均宽度w_i是在高度h_i方向的分成4等份的宽度均值，并以该平均宽度w_i和高度h_i作一个矩形，计算某个连通区域与该连通区域的矩形的面积比，参见公式(4)：

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w*h_i}---\left(4\right)$

再计算矩形的宽度w_i与高度h_i的比，参见公式(5)：

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(5\right)$

若ε_area ⁱ、ε_rate ⁱ在预设的范围，设定形状属性影响因子F_sh为1，否则F_sh为0；

纹理颜色判断模块，用于取连通区域矩形的高度h_i的上部的1/7处计算(Cr_i，Cb_i)的值，并用公式(6)进行色差分量矢量的比较：

${\mathrm{\ϵ}}_{\mathrm{color}}=\sqrt{{({\mathrm{Cr}}_i-150)}^2-{({\mathrm{Cb}}_i-120)}^2}---\left(6\right)$

上式中，Cr，Cb分别表示为YUV颜色模型中的U和V分量；

若ε_color＞阈值2设定区域大小影响因子F_color为0.2～0.5之间；若阈值1＜Si＜阈值2，设定区域大小影响因子F_color为1；

活动属性判断模块，用于计算对象目标的重心，计算公式由式(7)计算得到：

$X_{\mathrm{cg}\left(t\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}x}{S_i};$ $Y_{\mathrm{cg}\left(t\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}y}{S_i}---\left(7\right)$

如在t帧时某一目标的重心在(x_cg(t)，y_cg(t))，t+1帧时某一目标的重心在(x_cg(t+1)，y_cg(t+1))，运动方向可以用(dx＝x_cg(t+1)-x_cg(t)，dy＝y_cg(t+1)-y_cg(t))来确认，运动速度可以通过下式来进行计算：

$V_t=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}/\mathrm{\Δt}---\left(8\right)$

运动加速度可以通过(8)式求得的速度值来进行计算：

a_t＝V_t-V_t-1/Δt    (9)

式中Δt为两帧之间的时间间隔，V_t为从t+1帧到t帧的运动速度，a_t为t帧时刻时的加速度。

预设人的运动速度与加速度的阈值范围，如果超过该阈值范围，设定运动特性影响因子F_move为0；明显低于该阈值范围，设定运动特性影响因子F_move为0.2～0.5之间；其他设定运动特性影响因子F_move为1；

综合判断处理模块，用于根据上述的五种属性信息，加权综合计算，如(10)：

W_guard alarm＝K_p×F_p+K_s×F_s+K_sh×F_sh+K_color×F_color+K_move×F_move    (10)

式中：K_attention为异常量化值；

K_p为对象目标空间属性的加权系数；

K_s为对象目标面积属性的加权系数；

K_sh为对象目标形状属性的加权系数；

K_color为对象目标纹理颜色属性的加权系数；

K_move为对象目标运动属性的加权系数；

并将异常量化值与预设的告警值K_alarm比较，如果W_guard alarm≥K_alarm，判断为可疑侵入，通过通信模块向管理人员发送告警信息；否则，判断为正常。

进一步，所述的告警值K_alarm包括可疑告警值K_attention、早期告警值K_alarm1、确认告警值K_alarm2，

若K_attention≤W_guard alarm≤K_alarm1，判断为有可疑侵入，通过用户通信模块通知管理人员通过网络确认图像，启动图像数据文件存储模块记录现场视频数据；

若K_alarm1＜W_guard alarm≤K_alarm2，判断为盗难早期警告，通过用户通信模块通知管理人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块记录现场视频数据；

若K_alarm2＜W_guard alarm，判断为确认盗难警告，通过用户通信模块通知管理人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块记录现场视频数据；通报公安机关110。

再进一步，所述的微处理器还包括背景维护模块，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(11)所示：

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(11\right)$

式(11)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(12)：

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为判定为运动对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0    (13)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化：

背景自适应单元，用于当光线自然变化时，按照下式(14)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)    (14)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(15)：

X_mix，bn+1(i)＝X_mix，cn(i)    (15)。

更进一步，所述的微处理器还包括：

噪声剔除模块，用于将每一个像素值用其局部邻域内所有值的均值置换，如公式(16)所示：

h[i，j]＝(1/M)∑f[k，1]    (16)

上式(16)中，M是邻域内的像素点总数，h[i，j]表示图像中的某个像素点，f[k，1]表示与图像中的某个像素点相邻的像素点。

所述的图像展开处理模块，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(17)所示：

P^**(x^**，y^**)←M×P^*(x^*，y^*)    (17)

上式中，M是映射矩阵，P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵。

所述的色彩空间转化模块，从RGB色彩空间转换到YUV颜色模型的关系式为式(18)：

Y＝0.301*R+0.586*G+0.113*B

U＝-0.301*R-0.586*G+0.887*B    (18)

V＝0.699*R-0.586*G-0.113*B

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色。

本发明的工作原理是：如图1所示，摄像头的投影中心C在水平场景上方距离水平场景h处，反射镜的顶点在投影中心上方，距离投影中心zo处。本发明中以摄像头投影中心为坐标原点建立坐标系，反射镜的面形用z(X)函数表示。在像平面内距离像中心点ρ的像素q接受了来自水平场景O点(距离Z轴d)，在反射镜M点反射的光线。水平场景无畸变要求场景物点的水平坐标与相应像点的坐标成线性关系；

d(ρ)＝αρ    (19)

式(19)中ρ是与反射镜的面形中心点的距离，α为成像系统的放大率。

设反射镜在M点的法线与Z轴的夹角为γ，入射光线与Z轴的夹角为Φ，反射光线与Z轴的夹角为θ。则

$\mathrm{tg}\left(x\right)=\frac{d\left(x\right)-x}{z\left(x\right)-h}---\left(20\right)$

$\mathrm{tg\γ}=\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}---\left(21\right)$

$\mathrm{tg}\left(2\mathrm{\γ}\right)=\frac{2\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}}{1-\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}}---\left(22\right)$

$\mathrm{tg\θ}=\frac{\mathrm{\ρ}}{f}=\frac{x}{z\left(x\right)}---\left(23\right)$

由反射定律

2γ＝φ-θ

$\stackrel{.}{..}\mathrm{tg}\left(2\mathrm{\γ}\right)=\mathrm{tg}(\mathrm{\φ}-\mathrm{\θ})=\frac{\mathrm{tg\φ}-\mathrm{tg\θ}}{1+\mathrm{tg\φtg\θ}}---\left(24\right)$

由式(20)、(22)、(23)和(24)得到微分方程(25)

$\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}+2k\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}-1=0---\left(25\right)$

式中； $k=\frac{z\left(x\right)[z\left(x\right)-h]+x[d\left(x\right)-x]}{z\left(x\right)[d\left(x\right)-x]+x[z\left(x\right)-h]}---\left(26\right)$

由式(25)得到微分方程(27)

$\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}+k-\sqrt{k^2+1}=0---\left(27\right)$

由式(19)、(23)得到式(28)

$d\left(x\right)=\frac{\mathrm{afx}}{z\left(x\right)}---\left(28\right)$

由式(26)、(27)、(28)和初始条件，解微分方程可以得到反射镜面形的数字解。系统外形尺寸主要指反射镜离摄像头的距离Ho和反射镜的口径D。折反射全景系统设计时根据应用要求选择合适的摄像头，标定出R_min，透镜的焦距f确定反射镜离摄像头的距离Ho，由(19)式计算出反射镜的口径Do。

系统参数的确定：

根据应用所要求的高度方向的视场确定系统参数af。由式(19)、(20)和(23)得到式(29)，这里作了一些简化，将z(x)≈z₀，主要考虑对于镜面的高度变化相对于镜面与摄像头的位置变化比较小；

$\mathrm{tg\φ}=\frac{(\mathrm{af}-z_0)\frac{\mathrm{\ρ}}{f}}{z_0-h}---\left(29\right)$

在像平面以像中心点为圆心的最大圆周处ρ＝R_min ${\mathrm{\ω}}_{\max }=\frac{R_{\min }}{f}\→$

对应的视场为φ_max。则可以得到式(30)；

$\frac{\mathrm{\ρ}}{f}=\frac{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }}{{\mathrm{\ω}}_{\max }}{z}_0---\left(30\right)$

成像模拟采用与实际光线相反的方向进行。设光源在摄像头投影中心，在像平面内等间距的选取像素点，通过这些像素点的光线，经反射镜反射后与水平面相交，若交点是等间距的，则说明反射镜具有水平场景无畸变的性质。成像模拟一方面可以评价反射镜的成像性质，另一方面可以准确地计算出反射镜的口径和厚度。

进一步说明本发明在实施过程中涉及到标定与目标识别等几个关键问题：

(1)如何标定全方位视觉传感器的成像平面内的像素距离与实际三维空间距离的对应关系，并在该基础上对运动图像进行分类。因为全方位视觉摄像机成像平面是二维的，以像素为计量单位，在成像平面上，在室外情况下通过全方位视觉传感器观察到的变化情况非常复杂，有些可能包含有各种灯光的反射和照射、各种车辆、各种宠物及其它诸如飞鸟、流云、摇动的树枝等运动物体，为了便于进一步的跟踪和行为分析，运动目标的正确分类是完全必要的。分类方法有基于形状、大小信息的分类和基于运动特性的分类。

(2)如何进行目标跟踪，跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，本发明中将活动中人物的属性信息结合起来，提供一种有效的、鲁棒性高的、实时性好的目标跟踪方法。这种跟踪方法实际上是基于模型的、基于区域的、基于活动轮廓的、以及基于颜色特征的等跟踪方法的一种综合。

全方位视觉摄像机视场距离的标定涉及成像几何的理论，将客观世界的三维场景投射到摄像机的二维象平面，需要建立摄像机的模型来描述。这些成像变换涉及不同坐标系之间的变换。在摄像机的成像系统中，涉及到的有以下4个坐标系；(1)现实世界坐标系XYZ；(2)以摄像机为中心制定的坐标系x^y^z^；(3)像平面坐标系，在摄像机内所形成的像平面坐标系x^*y^*o^*；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

根据以上几个坐标系不同的转换关系，就可以得到所需要的全方位摄像机成像模型，换算出二维图像到三维场景的对应关系。本发明中采用折反射全方位成像系统的近似透视成像分析方法将摄像机内所形成的像平面坐标二维图像换算到三维场景的对应关系，图3为一般的透视成像模型，d为人体高，ρ为人体的像高，t为人体的距离，F为人体的像距(等效焦距)。可以得到式(31)

$d=\frac{t}{F}\mathrm{\ρ}---\left(31\right)$

在上述水平场景无的折反射全方位成像系统的设计时，要求场景物点的水平坐标与相应像点的坐标成线性关系，如式(19)表示；比较式(31)，(19)，可以看出水平场景无变形的折反射全方位成像系统对水平场景的成像为透视成像。因此就水平场景成像而言，可以将水平场景无变形的折反射全方位成像系统视为透视相机，α为成像系统的放大率。设该虚拟透视相机的投影中心为C点(见附图3)，其等效焦距为F。比较式(31)，(19)式可以得到式(32)；

$\mathrm{\α}=\frac{t}{F};t=h---\left(32\right)$

由式(30)、(32)得到式(33)

$F=\frac{{\mathrm{fh\ω}}_{\max }}{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }+z_0{\mathrm{\ω}}_{\max 0}}---\left(33\right)$

根据上述全方位摄像机成像模型进行系统成像模拟，由摄像头投影中心发出的经过像素平面内等间距像素点的光线族反射后，在距离投影中心3m的水平面上的交点基本上是等间距的，如附图4所示。因此根据上述设计原理本专利中将水平路面的坐标与相应全方位像点的坐标之间的关系简化为线性关系，也就是说通过反射镜面的设计将现实世界坐标系XYZ到像平面坐标系的转化可以用放大率α为比例的线形关系。下面是从像平面坐标系到计算机内部数字图像所用的坐标系的转化，计算机中使用的图像坐标单位是存储器中离散像素的个数，  所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式为由式(34)给出；

$M=O_m-\frac{x^{*}}{S_x};N=O_n-\frac{y^{*}}{S_y};---\left(34\right)$

式中：O_m、O_n分别为象平面的原点在计算机图像平面上所映射的点像素所在的行数和列数；S_x、S_y分别为在x和y方向上的尺度因子。S_x、S_y的确定是通过在摄像头与反射镜面之间距离Z处放置标定板，对摄像机进行标定得到S_x、S_y的数值，单位是(pixel)；O_m、O_n。的确定是根据所选择的摄像头分辨率像素，单位是(pixel)。

进一步，说明360°全方位进行摄像的原理，空间上的一个点A(x1，y1，z1)经折反射镜面1反射到透镜4上对应有一个投影点P1(x^*1，y^*1)，通过透镜4的光线变成平行光投射到CCD摄像单元5，微处理器6通过视频接口读入该环状图像，采用软件对该环状图像进行展开得到全方位的图像并显示在显示单元7上或者通过视频服务器发布在网页上。

在展开方法上本专利中采用了一种快速的近似展开算法，能够将时间消耗和对各种参数的要求降到最小，同时尽可能的保持有用的信息。展开规则有三条，

(1)X^*轴为起始位置，按逆时针方式展开；

(2)左图中X^*轴与内径r的交点O，对应到右图中左下角的原点O(0，0)；

(3)展开后的右图的宽度等于左图中虚线所示的圆的周长。其中虚线圆为左图内外径的同心圆，且其半径r1＝(r+R)/2。

设圆形图的圆心O^*坐标(x^*0，y^*0)，展开的矩形图左下角原点坐标O^**(0，0)，矩形图中任意一点P^**＝(x^**，y^**)所对应的点在圆形图中的坐标为(x^*，y^*).下面我们需要求的是(x^*，y^*)和(x^**，y^**)的对应关系。根据几何关系可以得到如下公式：

β＝tan^-1(y^*/x^*)    (35)

r1＝(r+R)/2         (36)

令虚线圆的半径r1＝(r+R)/2，目的是为了让展开后的图看起来形变均匀一些。

x^*＝y^*/(tan(2x^**/(R+r)))    (37)

y^*＝(y^**+r)cosβ            (38)

从式(37)、(38)可以得到圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系。该方法实质上是做了一个图像插值的过程。展开后，虚线上方的图像是横向压缩过的，虚线下方的图像是横向拉伸过的，而在虚线本身上的点则保持不变。

近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。但另一方面，这种图像获取模式同时也决定了得到的全方位图像必然存在着一定程度上的压缩和形变，这就影响了它对远距离物体的观察精度。

这种ODVS摄像机可以在全方位拍摄到半球视野中的所有情况。能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。同时，由于全方位视觉是一种典型的机器视觉，是人不可能具备的。摄像机采集图像的原理和人眼观察物体的原理不一样，使得全方位图像与人眼看到的图像差别也很大，即使按照柱面展开，其形变还是存在的。因此如何通过全方位光学成像技术、计算机图象处理技术和网络技术通信技术为智能安保领域提供一种快速、可靠的监控领域大范围内视觉信息采集途径，并根据ODVS摄像机得到的实时全方位图像，通过计算判断出是否有人进出监控范围，同时能通过各种手段通知监控人员注意有可能侵入事件发生并记录当时的视频图像以便事后分析破案。

全方位摄像机本身的分辨率的制约。全方位摄像机是一种能在同一时刻快速获取大范围环境信息的工具，但是这也就限制了它的分辨率的提高。在实时处理系统中，总体的处理信息量一定的前提下，信息的范围广，必然导致其精度低。所以，全方位摄像机是一种很好的全局信息的获取工具，但不是很好的精确的局部信息获取工具。要获得很好的精确的局部信息(比如拍照取证得到侵入者等详细信息)需要另一台摄像机进行配合，全方位摄像装置捕捉到有可疑人或者物时，将该可疑人(物)的空间位置发送给另一台摄像机，该摄像机对着该可疑人进行抓拍，同时将全方位摄像装置捕捉到可疑人的轨迹、时间信息保存起来，以便通过网络发送给安防部门。

本发明的有益效果主要表现在：1、同时满足灵敏度和误报率；2、实时性好；3、安全性高。

(四)附图说明

图1是全方位视觉光学原理图；

图2是基于全方位计算机视觉的智能安保装置的结构原理图；

图3是全方位视觉装置与透视成像模型等价的透视投影成像模型示意图；

图4是全方位视觉装置在水平方向上图像无形变模拟示意图；

图5是全方位视觉装置的处理流程图；

图6是基于全方位计算机视觉的智能安保装置的微处理器的原理框图。

图7是连通区域面积计算的图像标记示意图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1、图2、图3、图4、图5、图6、图7，一种基于全方位视觉传感器的智能安保装置，包括微处理器6、用于监视安全情况的全方位视觉传感器13、用于与外界通信的通信模块；所述的全方位视觉传感器包括用于反射监控领域中物体的外凸反射镜面1、透明圆柱体3、摄像头，摄像头包括透镜4和CCD摄像单元5，所述的外凸反射镜面1朝下，所述的透明圆柱体3支撑外凸反射镜面1，用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体3的内部，摄像头的透镜4位于外凸反射镜面1的虚焦点上。

对于全方位视觉传感器，该部分为了确保所监视的场景中物点的水平坐标与相应像点的坐标成线性关系即在水平场景无畸变，作为安防监视功能的全方位视觉装置安装在离路面高度3米左右之处，监视着监控领域在水平方向上的情况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形。设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算系统外形尺寸，然后根据高度方向的视场确定反射镜面形参数。

所述的微处理器包括：

图像数据读取模块16，用于读取从视频传感器传过来的视频图像信息；

图像预处理模块，用于完成边缘的探测和求连通区域等处理；

图像数据文件存储模块18，用于将读进来的视频图像信息通过文件方式保存在存储单元中；

传感器标定模块17，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的线性对应关系；

色彩空间转化模块25，用于将图像RGB色彩空间转化到YUV颜色模型，从RGB色彩空间转换到YUV颜色模型的关系式为式(18)：

Y＝0.301*R+0.586*G+0.113*B

U＝-0.301*R-0.586*G+0.887*B    (18)

V＝0.699*R-0.586*G-0.113*B

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色；

图像展开处理模块19，用于将采集的圆形视频图像展开为全景柱状图，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(17)所示：

P^**(x^**，y^**)←M×P^*(x^*，y^*)    (17)

上式中，M是映射矩阵，P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵；

图像展开处理模块19的输出连接到实时播放模块20，连接到显示器21中显示。

背景维护模块29，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(11)所示：

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(11\right)$

式(11)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(12)：

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为判定为运动对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0    (13)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(14)进行自适应学习：

X_mix bn+1(i)＝(1-λ)X_mix bn(i)+λX_mix，cn(i)    (14)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(15)：

X_mix bn+1(i)＝X_mix cn(i)    (15)。

运动对象检测模块23，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(1)表示：

f_d(X，t₀，t_i)＝f(X，t)-f(X，t₀)    (1)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(2)所示：

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)    (2)

上式中，f_d(X，t_i-k，t_i)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_i-k)是相邻K帧时的图像；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)＜阈值，判定静止对象，并用式(3)来更新替换基准参考图像：

$f(X,t_0)\⇐f(X,t_{i-k})---\left(3\right)$

如f_d(X，t₀，t_i)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区无可疑侵入，像素灰度为1则表示此小区有可疑侵入，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；

空间位置属性判断模块，用于对每个连通区域并对其上下空间部分进行颜色分割，如果某个连通区域与地面颜色相接触，设定空间位置影响因子F_p为1；否则F_p为0；

区域大小属性判断模块，用于将每个连通区域求出其面积Si与预设的阈值进行比较，如下判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，设定区域大小影响因子F_s为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，设定区域大小影响因子F_s为1；

形状属性判断模块，用于将人体模型简化矩形模型，求每个连通区域的平均宽度和高度，平均宽度w_i是在高度h_i方向的分成4等份的宽度均值，并以该平均宽度w_i和高度h_i作一个矩形，计算某个连通区域与该连通区域的矩形的面积比，参见公式(4)：

${\mathrm{\ϵ}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(4\right)$

再计算矩形的宽度w_i与高度h_i的比，参见公式(5)：

${\mathrm{\ϵ}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(5\right)$

若ε_area ⁱ、ε_rate ⁱ在预设的范围，设定形状属性影响因子F_sh为1，否则F_sh为0；

纹理颜色判断模块，用于取连通区域矩形的高度h_i的上部的1/7处计算(Cr_i，Cb_i)的值，并用公式(6)进行色差分量矢量的比较：

${\mathrm{\ϵ}}_{\mathrm{color}}=\sqrt{{({\mathrm{Cr}}_i-150)}^2-{({\mathrm{Cb}}_i-120)}^2}---\left(6\right)$

上式中，Cr，Cb分别表示为YUV颜色模型中的U和V分量；

若ε_color＞阈值2设定区域大小影响因子F_color为0.2～0.5之间；若阈值1＜Si＜阈值2，设定区域大小影响因子F_color为1；

活动属性判断模块，用于计算对象目标的重心，计算公式由式(7)计算得到：

$X_{\mathrm{cg}\left(t\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}x}{S_i};Y_{\mathrm{cg}\left(t\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}y}{S_i}---\left(7\right)$

如在t帧时某一目标的重心在(x_cg(t)，y_cg(t))，t+1帧时某一目标的重心在(x_cg(t+1)，y_cg(t+1))，运动方向可以用(dx＝x_cg(τ+1)-x_cg(τ)，dy＝y_cg(t+1)-y_cg(τ))来确认，运动速度可以通过下式来进行计算：

$V_t=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}/\mathrm{\Δt}---\left(8\right)$

运动加速度可以通过(8)式求得的速度值来进行计算：

a_t＝V_t-V_t-1/Δt    (9)

式中Δt为两帧之间的时间间隔，V_t为从t+1帧到t帧的运动速度，a_t为t帧时刻时的加速度。

预设人的运动速度与加速度的阈值范围，如果超过该阈值范围，设定运动特性影响因子F_move为0；明显低于该阈值范围，设定运动特性影响因子F_move为0.2～0.5之间；其他设定运动特性影响因子F_move为1；

综合判断处理模块，用于根据上述的五种属性信息，加权综合计算，如(10)：W_guard alarm＝K_p×F_p+K_s×F_s+K_sh×F_sh+K_color×F_color+K_move×F_move    (10)

式中：K_attention为异常量化值；

K_p为对象目标空间属性的加权系数；

K_s为对象目标面积属性的加权系数；

K_sh为对象目标形状属性的加权系数；

K_color为对象目标纹理颜色属性的加权系数；

K_move为对象目标运动属性的加权系数；

并将异常量化值与预设的告警值K_alarm比较，如果W_guard alarm≥K_alarm，判断为可疑侵入，通过通信模块向管理人员发送告警信息；否则，判断为正常。

所述的告警值K_alarm包括可疑告警值K_attention、早期告警值K_alarm1、确认告警值K_alarm2，

若K_attention≤W_guard alarm≤K_alarm1，判断为有可疑侵入，通过用户通信模块通知管理人员通过网络确认图像，启动图像数据文件存储模块记录现场视频数据；

若K_alarm1＜W_guard alarm≤K_alarm2，判断为盗难早期警告，通过用户通信模块通知管理人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块记录现场视频数据；

若K_alarm2＜W_guard alarm，判断为确认盗难警告，通过用户通信模块通知管理人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块记录现场视频数据；通报公安机关110。

所述的运动区域检测模块23主要是通过背景消除和目标提取来实现的，背景消除首先要解决的问题是亮度变化的问题，如对于室内监控会由于开灯、关灯操作所造成的光照强度的突变，对于室外监控会有阳光的突然照射(如太阳从云层中出来)、一天之中光线强度会由于光照的变化而产生缓慢变化，因此在背景消除中采用的背景模型要适应上述的这些变化。

对于视频监控，由于全方位场景视野比较大，人体在整幅图像中所占的比例比较小，因此人物的运动可以近似看作刚体运动；另外，视频监控的场景固定，可以认为具有相对比较固定范围的背景，因此可以采用背景减算法的快速分割算法来实时检测和跟踪视频监控中的运动人物或物体；背景消除是基于背景减算法检测运动对象的关键，它直接影响检测出运动对象的完整性和准确性。本发明中采用了背景自适应法，其核心思想是对每一个背景像素使用1组矢量；RGB变化的当前混合值(Xmix，bi)来表示合法背景像素的允许取值(i为帧号)，并采用IIR滤波对其进行如下更新。背景自适应法在背景刷新处理模块29中实现。

实际图像信号中包含有噪声，而且一般都表现为高频信号，因此在识别过程中要剔除由噪声所产生的图像边缘点。

所述的剔除由噪声所产生的图像边缘点，在本发明中使用四邻域遍历的方法，它用滤波掩膜确定的邻域内像素的平均灰度值去替代图像每个像素点的值，即每一个像素值用其局部邻域内所有值的均值置换，如公式(16)所示：

h[i，j]＝(1/M)∑f[k，1]    (16)

式中，M是邻域内的像素点总数，本发明中取为4；h[i，j]表示图像中的某个像素点，f[k，1]表示与图像中的某个像素点相邻的像素点。

像素间的连通性是确定区域的一个重要概念。在二维图像中，假设目标像素周围有m(m＜＝8)个相邻的像素，如果该像素灰度与这m个像素中某一个点A的灰度相等，那么称该像素与点A具有连通性。常用的连通性有4连通和8连通。4连通一般选取目标像素的上、下、左、右四个点。8连通则选取目标像素在二维空间中所有的相邻像素。将所有具有连通性的像素作为一个区域则构成了一个连通区域。

所述的连通区域计算主要解决在图像处理过程中，一幅二值图像，其背景和目标分别具有灰度值0和1。对这样的二值图像，要对目标进行标记，计算每一目标的特征以进行识别，在多目标实时跟踪系统设计中，需要有一种快速而节省内存的连通区域标记算法。我们将像素为0的小区表示此小区无动作对象，若为1则表示此小区有动作对象。所以可以采用连通成分标记法进行缺陷区域的合并。连通标记算法可以找到图像中的所有连通成分，并对同一连通成分中的所有点分配同一标记。下面是连通区域算法，

1)从左到右、从上到下扫描图像；

2)如果像素点为1，则：

·如果上面点和左面点有一个标记，则复制这一标记。

·如果两点有相同的标记，复制这一标记。

·如果两点有不同的标记，则复制上点的标记且将两个标记输入等价表中作为等价标记。

·否则给这个象素点分配新的标记并将这一标记输入等价表。

3)如果需考虑更多的点则回到第2步。

4)在等价表的每一等价集中找到最低的标记。

5)扫描图像，用等价表中的最低标记取代每一标记。

连通分量标记算法采用直线段作为连通体检测的基本处理单元，首先对原二值图像进行逐行扫描，每扫描出当前行的一条直线段(由连续的标记为I的象素点组成)，则与上一行已检测出的直线段进行连通体检测。算法利用一个线性分析表来记录标号的连通关系，采用标号的从大到小的传递关系来表示连通体的归属关系，并用函数递归的方法简单地实现标号的归并。

定义一个有序的标号序列：L＝{l₁，l₂，l₃，…，l_n}，满足：l₁＝0且l₁＜1且l₁＜l_i+1，i属于1到n的自然数。首先，将L中所有元素置为0，然后从上到下，逐行扫描图像。如果在当前行检测到有线段存在，则检测上一行的直线段的情况。如果上一行没有与之相连接的直线段，就给当前扫描到的直线段分配一个新的标号；若有5个与之相连接的直线段，则用具有最小标号的直线段的标号S_min。来标记当前的直线段，同时记录这S个标号的连通性，即将这S个标号分别与最小标号进行连通标记：

Connect(S_i，S_min)

其中，i从1到S，Connect为连通标记函数，其实现如下(39)：

$\mathrm{Connect}(a,b):\left\{\begin{array}{c}{l}_a=b,\mathrm{if}(l_a=a)\\ \mathrm{Connect}(l_a,b),\mathrm{if}(l_a>b)\\ \mathrm{Connect}(l_a,b),\mathrm{if}(l_a<b)\end{array}\right.---39$

从左到右逐行扫描，直到完成整幅图像，完成所有的线段标记。最后，归并整个标号系列：

l_i＝Merge(i)

其中，i从1到整幅图像的标号总数n，Merge为归并函数(40)：

$\mathrm{Merge}\left(i\right)=\left\{\begin{array}{c}i,\mathrm{if}(l_i=i)\\ \mathrm{Merge}\left(l_i\right),\mathrm{otherwise}\end{array}\right.---40$

最后，对标记图像进行全局扫描，按归并后的标号重新标记图像：

pixel(i，j)＝l_pixel(i.j)

式中，pixel(i，j)为标记图像中(i.j)位置的标号值。

连通区域算法对图像的标记情况如图7所示。

对已启动的各个线程24，所述的视频分割模块28主要完成帧间分割等工作，其重要问题是：(1)尽量利用上一帧的分割结果来指导当前帧的分割，从而提高效率，(2)实现同一运动物体在不同帧中的对应关系。因此，算法必须维护一个存储系统来保存上一帧的分割结果和目前的目标运动参数。

所述的目标匹配模块30主要实现两帧之间的目标配对问题，根据空间位置(包含运动预测)、区域大小、形状、纹理颜色等信息来进行最佳匹配判断。有了“目标匹配”的信息可以进一步深层次来判断是否是人以提高识别率；本发明将视频监控对象定位于对人的监控，因此有必要找出一系列人的属性信息以便实现监控对象与这些属性信息之间的对象匹配，并以此为基础从不同帧间的信息来解决目标配对与目标跟踪问题；作为视频监控中可利用的人的属性信息有以下几个方面：1)空间位置属性，由于重力的作用，人在空间位置上必须有传递其人体重力的地方(如地面)否则无法达到自身平衡；2)区域大小属性，从俯视的角度来看一个人的截面积大约在0.12m²左右；3)形状属性，从俯视的角度来看一个人的形状呈椭圆形；4)纹理颜色属性，只要没有伪装的话，人的纹理颜色与周围的纹理颜色还是有较大区别的；5)活动属性，人体自身的整体运动速度或加速度(不借助与任何工具)是有一个阈值范围的；利用上述活动中的人体的各种属性进行对象匹配，然后根据对象匹配的结果进行加权计算，得到一个综合判断结果，最后根据该综合判断结果的量化值的大小进行不同的处理。

空间位置属性判断是对上述标记过的每个连通区域并对其上下空间部分进行颜色分割，如果某个连通区域与地面颜色相接触，这时设定空间位置影响因子F_p为1。

区域大小属性判断是对上述标记过的每个连通区域求出其面积Si，有下面判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，首先考虑到是由于光的照射而产生的变化，但是也不能排除人会携带着一些物品，因此这时设定区域大小影响因子F_s为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，这时设定区域大小影响因子F_s为1。

阈值1和阈值2的取值范围的大小是根据从上往下看(俯视)一个成年人的平均截面积在0.12m²左右，然后通过全方位视觉系统的标定结果来决定阈值1和阈值2的大小，即像素值的大小。

形状属性判断是对上述标记过的每个连通区域求出其面积Si求其形状特征属性再与参考图像在几何关系上达到匹配，匹配的标准是使两幅图像的相似性达到最大；为了简化计算提高实时处理能力，本发明中具体的做法是：将人体模型简化矩形模型，首先求每个连通区域的(水平方向的长度)平均宽度和(垂直方向的长度)高度，平均宽度w_i用在高度h_i方向的分成4等份的宽度均值，并以该平均宽度w_i和高度h_i作一个矩形，然后用公式(4)计算某个连通区域与该连通区域的矩形的面积比。计算所得的ε_area ⁱ值在0.5～0.9之间，接着用公式(5)进行下面的矩形的宽度w_i与高度h_i的比的计算，ε_area ⁱ值小于0.5时就将该连通区域排除(不认为是有人)。计算所得到的ε_tate ⁱ值根据空间位置关系，划分若干个区域半径，每个区越半径中有其判断指标，比如在10m～12m的区域半径范围内，ε_rate ⁱ值在0.15～0.4之间，设定形状属性影响因子F_sh为1。

一般来说，人脸的皮肤颜色与背景颜色(或其它非皮肤颜色)是不同的，据此可快速区分背景区域与人脸区域。另外，颜色本身是一种统计信息，它具有旋转、伸和平移的不变性，计算量也小。本发明直接在YUV颜色模型中进行人脸颜色的分析。通过大量的(100个人脸)图像的分析[Dounglas 2001](包括各色人种)，发现人脸亮度分布在一个较为均匀的区域内，但色差分量却分布在比较狭窄的区域内，中心位置位于(Cr，Cb)＝(150，120)处；取连通区域计算中的高度h_i的上部的1/7(约人脸的下部)处计算(Cr_i，Cb_i)的值，并用公式(6)进行色差分量矢量的比较。若ε_color＞阈值2，可能是背部头发颜色等参与了计算色差分量，因此这时设定区域大小影响因子F_color为0.2～0.5之间；若阈值1＜Si＜阈值2，则该变化区域可疑为有人，这时设定区域大小影响因子F_color为1。

阴影判断算法，由于在YUV颜色模型进行判断，有阴影背景同无阴影背景相比，Y分量有较大的变化，而表征颜色信息U、V分量变化很小，因此可以把对阴影的考虑集中到Y分量中，这样可以排除人的活动、树枝、建筑物流云等所产生的阴影。

活动属性判断，由于本发明中采用了全方位视觉系统，人在整个场景中的比例小，因此人的运动模型可以用简单的刚体运动模型来简化，所以可以将人的整体运动速度或加速度作为一个重要的判断指标。

通过比较相邻两帧目标的重心变化，就可以得到目标的运动方向、运动速度和加速度。人的运动速度与加速度都有一个阈值范围，如果超过该阈值范围就认为不是由人体自身所产生的运动速度与加速度，这时设定运动特性影响因子F_move为0，明显低于该阈值范围(如该阈值的1/10)，设定运动特性影响因子F_move为0.2～0.5之间，其他设定运动特性影响因子F_move为1。

本发明中为了提高计算的实时性，不采用精确的人体目标模型，而是将包含运动连通区域限定矩形的顶点和目标的重心以及对象目标的所有象素颜色的平均值作为跟踪的特征，进一步实现多人体对象目标定位和跟踪。

所述的多人体对象目标定位和跟踪主要通过上述图像分割的基础上，实现多个人体的跟踪，在目标匹配模块30中实现。在图像序列中的人体跟踪，实质就是建立每一帧中检测到的每块前景区域与每个人体的对应关系。本发明中首先定义如下描述：

(1)每一块前景区域用向量FR(x，y，Cr，Cb)描述。x，y为图像中此区域重心的坐标，Cr，Cb为此区域中所有象素颜色的平均值；

(2)每个人体用向量HB(ID，x，y，Cr，Cb)描述。ID为每个人体的唯一表示号，x，y为此人体在图像中投影的重心坐标，Cr，Cb为此人体的颜色均值；

(3)当两个以上的人体非常靠近或出现遮挡时，在图像中的投影就很难区分开。这时，将其看作成一个“组”，用GP(IDList，x，y)描述。IDList记录该“组”中包含的所有人体的ID序列，x，y记录该组在图像中投影的重心坐标。

所述的多对象定位和跟踪，本发明中的具体做法是，首先系统对没有人的环境持续观察一段时间，然后，多个人相继走入监控领域范围，系统检测到每一个新的对象，启动一个新线程进行活动人体判断26，如果判断为是人体的话就给其分配一个标识ID号，由模块27完成，并对其建立人体模型由模块34完成，同时用方框对人体区域进行标定。当多个人体出现两个以上的人体互相非常靠近或是遮挡时，将其归类成一个组，对组进行跟踪。当有单个人体离开所在的组时，其身份可通过最初建立的人体模型来重新识别，归还其身份标识ID号。当人走出监控领域范围时，其标识ID号被注销。

由于运动中的人体随着全方位视觉传感器的视角变化，其大小和形状都会发生相应的变化，因此有必要不断地修正人体模型，动态地修正人体模型是由人体模型更新模块31实现的。

综合判断处理模块为了减少误判断率，在上述的五种属性信息判断的基础上，加权综合判断计算在模块32中进行，综合判断公式由式(10)给出，综合判断中采用了加权方式，

W_guard alarm＝K_p×F_p+K_s×F_s+K_sh×F_sh+K_color×F_color+K_move×F_move    (10)

式中：K_p为对象目标空间属性的加权系数。

K_s为对象目标面积属性的加权系数。

K_sh为对象目标形状属性的加权系数。

K_color为对象目标纹理颜色属性的加权系数。

K_move为对象目标运动属性的加权系数。

根据式(10)计算出来的W_guard alarm的结果，首先要根据量化值的大小以及安保监控情况不同，比如在无人监控的场合可以作出如下不同的输出结果，输出结果传送给报警模块33，报警模块33从用户基本信息36中调取信息。

所述的报警模块33作出如下判断，若K_attention≤W_guard alarm≤K_alarm1，则判断为有可疑侵入，提醒注意，系统自动通过网络传输模块22发送短消息、语音电话或者电子邮件通知管理人员通过网络确认图像，启动图像数据文件存储模块18记录现场视频数据，在这种情况下管理人员可以通过网络选择继续观测还是从新开始计算，并把管理人员的确认信息写入用户基本数据信息模块36中以便能明确责任；

若K_alarm1＜W_guard alarm≤K_alarm2，则盗难早期警告，通过网络传输模块22发送短消息、语音电话或者电子邮件通知管理人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块18记录现场视频数据；

若K_alarm2＜W_guard alarm，除了上述动作以外，装置要自动通报公安机关110，通报的信息包含有报警的地点(属于什么区、什么地段、门牌号码)，上述的报警的地点等信息从用户基本数据信息模块36中得到，如果公安机关有地理位置信息系统的话，按照系统的要求发送所需要的信息。

实施例2

参照图1、图2、图3、图4、图5、图6、图7，一种基于全方位计算机视觉的智能安保装置，根据室外使用的需要，考虑环境条件问题，比如日晒雨淋、飞扬的粉尘容易吸附在外罩上而使得传入光线受到影响，因此本发明中对室外用(下固定式)全方位计算机视觉的智能安保装置的上部加了一个防雨遮阳帽，将防雨遮阳帽用螺钉固定在外罩上，另外外罩采用有机玻璃材料压注而成，底座采用铝合金材料压注而成，同时为了便于清洁和维护，室外用(下固定式)全方位计算机视觉的智能安保装置的装卸要方便，整个全方位计算机视觉的智能安保装置固定在一个悬臂上，悬臂可以固定在道路上的电线杆或者高层建筑物的墙面上。

微处理器6采用嵌入式处理器，本发明中采用Embedded Linux+Embeddedlinux这样组合的软件平台，实验中采用了基于三星公司的ARM9处理器S3C2410X板子，该板子上整合了MIZI公司所公布的免费嵌入式Arm-Linux操作系统，本发明将Wonka(Embedded JVM)移植到了嵌入式linux中，Wonka本身已经带有对串口、输入设备的等驱动支持。选择Java或者C语言来作为具有安防监视功能的全方位视觉装置的软件开发语言，如要将Java程序运行在嵌入式linux上需要有嵌入式Java虚拟机(Embedded JVM)的支持，本发明中使用了自己移植成功的免费Java虚拟机。

上述的实施例1和实施例2所产生的发明效果是通过全方位的计算机视觉传感器使得安防监控的范围更宽广，提供了一种全新的、维护成本低、维护方便、判断更可靠的、可视化的、智能化的安防监控途径方法与装置。

Claims (6)

1. 一种基于全方位视觉传感器的智能安保装置，其特征在于：该智能安保装置包括微处理器、用于监视安全情况的全方位视觉传感器、用于与外界通信的通信模块；

所述的全方位视觉传感器包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、摄像头，所述的外凸反射镜面朝下，所述的透明圆柱体支撑外凸反射镜面，用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的内部，摄像头位于外凸反射镜面的虚焦点上；

所述的微处理器包括：

图像数据读取模块，用于读取从视频传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读进来的视频图像信息通过文件方式保存在存储单元中；

传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的线性对应关系；

色彩空间转化模块，用于将图像RGB色彩空间转化到YUV颜色模型；

图像展开处理模块，用于将采集的圆形视频图像展开为全景柱状图；

运动对象检测模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(1)表示：

f_d(X，t₀，t₁)＝f(X，t₁)-f(X，t₀)(1)

上式中，f_d(X，t₀，t₁)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t₁)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(2)所示：

f_d(X，t_1-k，t₁)＝f(X，t₁)-f(X，t_1-k)(2)

上式中，f_d(X，t_1-k，t₁)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_1-k)是相邻K帧时的图像；

如f_d(X，t₀，t₁)≥阈值、f_d(X，t_1-k，t₁)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t₁)≥阈值、f_d(X，t_1-k，t₁)＜阈值，判定静止对象，并用式(3)来更新替换基准参考图像：

$f(X,t_0)\&DoubleLeftArrow;f(X,t_{1-k})---\left(3\right)$

如f_d(X，t₀，t₁)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区无可疑侵入，像素灰度为1则表示此小区有可疑侵入，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；

空间位置属性判断模块，用于对每个连通区域并对其上下空间部分进行颜色分割，如果某个连通区域与地面颜色相接触，设定空间位置影响因子F_p为1；否则F_p为0；

区域大小属性判断模块，用于将每个连通区域求出其面积Si与预设的阈值进行比较，如下判断规则：

若Si＜阈值1，则该变化区域为噪声点；

若Si＞阈值2，则该变化区域为大面积的变化，设定区域大小影响因子F_s为0.2～0.5之间；

若阈值1＜Si＜阈值2，则该变化区域可疑为有人，设定区域大小影响因子F_s为1；

形状属性判断模块，用于将人体模型简化矩形模型，求每个连通区域的平均宽度和高度，平均宽度w_l是在高度h_l方向的分成4等份的宽度均值，并以该平均宽度w_l和高度h_l作一个矩形，计算某个连通区域与该连通区域的矩形的面积比，参见公式(4)：

${\mathrm{\&epsiv;}}_{\mathrm{area}}^i=\frac{S_i}{w_i*h_i}---\left(4\right)$

再计算矩形的宽度w_l与高度h_l的比，参见公式(5)：

${\mathrm{\&epsiv;}}_{\mathrm{rate}}^i=\frac{w_i}{h_i}---\left(5\right)$

若ε_area ^l、ε_rate ^l在预设的范围，设定形状属性影响因子F_sh为1，否则F_sh为0；纹理颜色判断模块，用于取连通区域矩形的高度h_l的上部的1/7处计算(Cr_l，Cb_l)的值，并用公式(6)进行色差分量矢量的比较：

${\mathrm{\&epsiv;}}_{\mathrm{color}}=\sqrt{{({\mathrm{Cr}}_i-150)}^2-{({\mathrm{Cb}}_i-120)}^2}---\left(6\right)$

上式中，Cr，Cb分别表示为YUV颜色模型中的U和V分量；

若ε_color＞阈值2设定区域大小影响因子F_color为0.2～0.5之间；若阈值1＜Si＜阈值2，设定区域大小影响因子F_color为1；

活动属性判断模块，用于计算对象目标的重心，计算公式由式(7)计算得到：

$X_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\&Element;S_i}{\mathrm{\&Sigma;}}x}{S_i};$ $Y_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\&Element;S_i}{\mathrm{\&Sigma;}}y}{S_i}---\left(7\right)$

如在t帧时某一目标的重心在(x_cg(t)，y_cg(t))，t+1帧时某一目标的重心在(x_cg(t+1)，y_cg(t+1))，运动方向可以用(dx＝x_cg(t+1)-x_cg(t)，dy＝y_cg(t+1)-y_cg(t))来确认，运动速度可以通过下式来进行计算：

$V_t=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}/\mathrm{\&Delta;t}---\left(8\right)$

运动加速度可以通过(8)式求得的速度值来进行计算：

$a_t=V_t-V_{t-1}/\mathrm{\&Delta;t}---\left(9\right)$

式中Δt为两帧之间的时间间隔，V_t为从t+1帧到t帧的运动速度，a_t为t帧时刻时的加速度。

预设人的运动速度与加速度的阈值范围，如果超过该阈值范围，设定运动特性影响因子F_move为0；明显低于该阈值范围，设定运动特性影响因子F_move为0.2～0.5之间；其他设定运动特性影响因子F_move为1；

综合判断处理模块，用于根据上述的五种属性信息，加权综合计算，如(10)：

W_guard alarm＝K_p×F_p+K_s×F_s+K_sh×F_sh+K_color×F_color+K_move×F_move    (10)

式中：

K_attention为异常量化值；

K_p为对象目标空间属性的加权系数；

K_s为对象目标面积属性的加权系数；

K_sh为对象目标形状属性的加权系数；

K_color为对象目标纹理颜色属性的加权系数；

K_move为对象目标运动属性的加权系数；

并将异常量化值与预设的告警值K_alarm比较，如果W_guard alarm≥K_alarm，判断为可疑侵入，通过通信模块向管理人员发送告警信息；否则，判断为正常。

2. 如权利要求1所述的基于全方位视觉传感器的智能安保装置，其特征在于：所述的告警值K_alarm包括可疑告警值K_attention、早期告警值K_alarm1、确认告警值K_alarm2，

若K_attention≤W_guard alarm≤K_alarm1，判断为有可疑侵入，通过用户通信模块通知管理人员通过网络确认图像，启动图像数据文件存储模块记录现场视频数据；

若K_alarm1＜W_guard alarm≤K_alarm2，判断为盗难早期警告，通过用户通信模块通知管理人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块记录现场视频数据；

若K_alarm2＜W_guard alarm，判断为确认盗难警告，通过用户通信模块通知管理人员通过网络确认图像，并要求到现场进行确认，启动图像数据文件存储模块记录现场视频数据；通报公安机关110。

3. 如权利要求1所述的基于全方位视觉传感器的智能安保装置，其特征在于：所述的微处理器还包括背景维护模块，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(11)所示：

${\stackrel{\&OverBar;}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}(1-M_n(x,y))}---\left(11\right)$

式(11)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(12)

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为判定为运动对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0(13)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(14)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)(14)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(15)：

X_mix，bn+1(i)＝X_mix，cn(i)(15)。

4. 如权利要求1-3之一所述的基于全方位视觉传感器的智能安保装置，其特征在于：所述的微处理器还包括：

噪声剔除模块，用于将每一个像素值用其局部邻域内所有值的均值置换，如公式(16)所示：

h[i，j]＝(1/M)∑f[k，1](16)

上式(16)中，M是邻域内的像素点总数，h[i，j]表示图像中的某个像素点，f[k，1]表示与图像中的某个像素点相邻的像素点。

5. 如权利要求4所述的基于全方位视觉传感器的智能安保装置，其特征在于：所述的图像展开处理模块，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(17)所示：

P^**(x^**，y^**)←M×P^*(x^*，y^*)(17)

上式中，M是映射矩阵，P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵。

6. 如权利要求4所述的基于全方位视觉传感器的智能安保装置，其特征在于：所述的色彩空间转化模块，从RGB色彩空间转换到YUV颜色模型的关系式为式(18)：

Y＝0.301*R+0.586*G+0.113*B

U＝-0.301*R-0.586*G+0.887*B    (18)

V＝0.699*R-0.586*G-0.113*B

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色。

Images