CN1874497A - 基于全方位计算机视觉的独居老人家庭安保装置 - Google Patents

Abstract

一种基于全方位计算机视觉的独居老人家庭安保装置，包括微处理器、用于监护老人安康情况的全方位视觉传感器，全方位视觉传感器与微处理器连接，采集老人在主要场所中的空间位置视频信息以及该事件所对应的时间信息采用机器视觉的手段来建立独居老人室内外活动模型，由于每个老人的居住环境以及起居的生活习惯不尽相同，要求模型能自适应地学习老人日常活动规律，通过捕捉生活规律的在时间空间上的变化能发现和预测老人生活的反常及异常，所建立老人室内外活动模型不仅能识别视频监护范围内的异常，而且能预测视频监护范围以外(包括户外)的可能发生的异常。本发明能够在关键时候使独居老人能得到即时性的、适合的援救或者服务。

Description

基于全方位计算机视觉的独居老人家庭安保装置

(一)技术领域

本发明属于全方位计算机视觉传感器、图像理解、信息处理等技术在高龄化社会老人监护方面的应用，适用于需要得到即时和适当服务的独居老人等弱势人群的家庭。

(二)背景技术

根据联合国的一项调查表明，预计到2030年，中国65岁以上的人口将占人口总数的12.7％；其中空巢老人家庭将占老人家庭总数的90％。独居老人人口的增长，需要我们提供各种各样的监护服务。GE公司在2003做的全球研究中指出独居老人的远程监护者最关心的问题是老人的摔倒异常。另一项研究指出：一年内65岁以上的老人摔倒的概率为30％，而75岁以上的老人摔倒的概率为42％。因此，如何检测到老人的摔倒异常逐渐引起了国内外科研者的兴趣。

在国外，已经有许多研究者进行了这方面的研究。一些研究者把加速度传感器安装在老人身上，通过监护加速度的异常来检测摔倒异常。还有一些研究者使用计算机视觉技术监护老人的行为活动来检测摔倒异常。但是，对于在监护场所之外的摔倒异常，这些方法就无能为力了。

在国内，在本发明作出以前对独居老年等弱势人群的家庭发生异常时主要是通过电话或者家庭中的报警按钮以主动形式向援救方报警及请求服务，或者是采用上门探望的方法来确认老人是否安康。天有不测风云、人有旦夕祸福，谁都不能预料自己在某日某时会生病，也不能预料自己可能会出现连电话都请求报警救援都困难的时候。最近几年人们通过信息技术智能地发现老人的生活异常，专利号为CN200410017289.4独居老人家庭安保装置中采用红外传感器来探测老人的活动量来判断老人是否出现异常；专利号为CN200410066707.9基于生活供应线的独居老人安保装置中采用老人家中日常使用的水、电、煤气以及热气的量来判断老人是否出现异常。

另一方面，近年发展起来的全方位视觉传感器ODVS(OmniDirectional VisionSensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监护环境时ODVS不用瞄准目标；检测和跟踪监护范围内的运动物体时算法更加简单；可以获得场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360o的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。

由于全方位视觉是一种典型的机器视觉，是人不可能具备的。摄像机采集图像的原理和人眼观察物体的原理不一样，使得全方位图像与人眼看到的图像差别也很大，即使按照柱面展开，其形变还是存在的。因此如何通过全方位光学成像技术、计算机图像处理技术和网络通信技术为智能独居老人家庭安保领域提供一种快速、可靠的监护领域大范围内视觉信息采集途径，并根据ODVS摄像机得到的实时全方位图像，通过智能化的处理技术不仅能够检测到监护场所内的摔倒异常，而且还能够预测监护场所之外的摔倒异常。

因此如何通过全方位光学成像技术、计算机图像处理技术和网络通信技术对独居老年等弱势人群的家庭提供即时和适当服务，对提高老年人的生活质量、解决我国现有家庭养老上所存在的社会问题有着积极意义。

(三)发明内容

为了克服已有技术中独居老人安保装置在关键时候不能及时、适当为独居老人提供服务和救援帮助，本发明提供一种基于全方位计算机视觉的独居老人家庭安保装置，采用该装置不仅能够自动地检测到监护场所内老人的摔倒异常，同时还能够预测监护场所之外老人的摔倒异常，并在关键时候能得到即时性的、适合的援救或者服务的独居老人安保装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位计算机视觉的独居老人家庭安保装置，所述的独居老人家庭安保装置包括微处理器、用于监护老人安康情况的全方位视觉传感器，所述的全方位视觉传感器与微处理器连接，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在折反射镜面外凸部的中心，摄像头对着外凸反射镜面朝上，所述的摄像头位于外凸反射镜面的虚焦点位置；

所述的微处理器还包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读取的视频图像信息通过文件方式保存在存储单元中；

全方位视觉传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；

图像展开处理模块，用于将读取的圆形视频图像展开为全景柱状图；

运动对象检测模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(28)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)                    (28)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(29)所示：

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)                  (29)

上式中，f_d(X，t_i-k，t_i)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_i-k)是相邻K帧时的图像；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)＜阈值，判定静止对象，并用式(30)来更新替换基准参考图像：

$f(X,t_0)\⇐f(X,t_{i-k})---\left(30\right)$

如f_d(X，t₀，t_i)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区内无老人活动，像素灰度为1则表示此小区有老人活动，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；然后再根据所求得的连通区域来计算其面积和重心；老人的重心通过计算所得到的连通区域面积Si以及该连通区域的X、Y轴方向的累积像素值计算得到，计算公式由式(42)计算得到，

$X_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}x}{S_i};Y_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}y}{S_i}---\left(42\right);$

老人日常生活活动数据的获取模块，用于根据老人在监护视觉范围内活动的开始时间、延续时间和所处的空间位置，得到老人日常生活活动的规律；老人日常生活活动模型模块，用于通过自学习的方法掌握了老人的日常生活的规律之后，通过该规律的总结可以归纳出老人日常生活活动模型，采用二维高斯分布模型来描述某个老人日常生活的活动的空间和时间分布模型：

式(32)中σ_x表示连通区域的亮度值在x轴上的数学方差，σ_y表示连通区域的亮度值在y轴上的数学方差，μ_x表示连通区域的亮度值在x轴上的数学期望平均值，μ_y表示连通区域的亮度值在y轴上的数学期望平均值；

模型的更新使用公式(33)～(36)的数字低通滤波方法进行，

μ_xnew＝(1-k₁)μ_xold+k₁(x-μ_xold)，             (33)

μ_ynew＝(1-k₂)μ_yold+k₂(y-μ_yold)，             (34)

${\mathrm{\σ}}_{\mathrm{xnew}}^2=(1-k_3){\mathrm{\σ}}_{\mathrm{xold}}^2+k_3{(x-{\mathrm{\μ}}_{\mathrm{xold}})}^2,---\left(35\right)$

${\mathrm{\σ}}_{\mathrm{ynew}}^2=(1-k_4){\mathrm{\σ}}_{\mathrm{yold}}^2+k_4{(y-{\mathrm{\μ}}_{\mathrm{yold}})}^2,---\left(36\right)$

其中，ki是学习速率，取值范围是[0，1]，学习阶段可以选择大学习速率(0.8)，加快学习速度；监护阶段可以选择小学习速率(0.01)；视觉监护范围内摔倒异常的检测模块，用于通过检测老人进入某个监护领域后又长时间的静止在某个位置并超过老人日常生活活动模型模块中所规定的阈值来进行检测判断的，检测老人的重心位置x被判为inactivity point的时间超过阈值，那么系统计算下式：

PS＝max{p(x|i，μi，∑_i)，i＝1，...，n}             (37)

式中p(x|i，μi，∑_i)是老人的重心位置x属于编号为i的inactivity zone的高斯混合模型的概率，PS是位置x属于某个inactivity zone的最大概率；

当PS值小于阈值时，判定位置x不属于任何已知的inactivity zones，即老人静止在某一个位置上发生异常；

进一步从检测到的图像上识别老人的姿态，计算老人处于横躺的姿态的概率PT，通过基于隐马尔可夫模型的人体姿态识别方法，最后使用式(38)计算摔倒异常发生的概率：

P＝K1×(1-PS)+K2×PT                  (38)

其中K1、K2是权重，PS是老人长时间静止在某个位置上的概率，PT是老人处于躺的姿态的概率，当P超过阈值时，判定老人发生摔倒异常；非视觉监护范围内的摔倒异常的预测模块，用于通过视觉监护范围内超过一定时间阈值还未出现老人的情况时进行预测的，通过检测老人在时刻t1离开监护视觉场所以及所经过的时间来进行预测的，首先要从老人日常生活活动模型中检索出对应活动持续时间模型的本次活动持续时间的预测值μi，然后系统实时的计算下列表达式：

PE＝t-t1-μi                          (39)

PC＝p(t-t1|i，μi，σi)               (40)

其中，t是当前系统时间，t-t1为离开监护视觉场所的持续时间，PE是实际离开监护视觉场所的持续时间与预测持续时间值的差值；PC是实际活动时间属于活动持续时间的高斯模型的概率，即实际离开监护视觉场所持续时间的概率；

当前时间t，老人在非监护视觉场所摔倒的概率为：

P＝K1×PE+K2×(1-PC)                  (41)

其中K1、K2是权重，当P超过阈值时，判定老人可能发生异常；异常告警模块，用于在判定老人可能发生异常后，通过通信模块通知救护人员。

进一步，所述的微处理器还包括背景维护模块，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(25)所示：

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(25\right)$

式(25)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(27)：

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为判定为运动对象时

第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0                                        (26)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(22)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)             (22)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(23)：

X_mix，bn+1(i)＝X_mix，cn(i)                         (23)。

再进一步，所述的微处理器还包括：噪声剔除模块，用于将每一个像素值用其局部邻域内所有值的均值置换，如公式(16)所示：

h[i，j]＝(1/M)∑f[k，1]                          (32)

上式(32)中，M是邻域内的像素点总数。

更进一步，所述的图像展开处理模块，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(21)所示：

P^**(x^**，y^**)← M× P^*(x^*，y^*)            (21)

上式中， M是映射矩阵， P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵。

所述的微处理器还包括：网络传输模块，用于将所获得的现场视频图像以视频流的方式通过网络播放出去，以便用户能通过各种网络实时地掌握现场情况；实时播放模块，用于将所获得的现场视频图像通过该模块播放到显示设备。

所述的全方位视觉传感器安装在能监护到老人日常活动的主要活动场所。

本发明首先是ODVS摄像装置的光学部分的制造技术方案，ODVS摄像装置主要由垂直向下的折反射镜和面向上的摄像头所构成。具体构成是由聚光透镜以及CCD构成的摄像单元固定在由透明树脂或者玻璃制的圆筒体的下部，圆筒体的上部固定有一个向下的大曲率的折反射镜，在折反射镜和聚光透镜之间有一根直径逐渐变小的黑色圆锥状体，该圆锥状体固定在折反射镜的中部，黑色圆锥状体的目的是为了防止过剩的光射入而导致在圆筒体内部的光饱和以及通过圆筒体壁产生的光反射现象。图2是表示本发明的全方位成像装置的光学系统的原理图。

折反射全景成像系统能用针孔成像模型进行成像分析，但要获得透视全景图像必须对采集的实景图像逆投影，因而计算量大，特别是用在对人的活动或者由人产生的活动进行监护，必须满足实时性的要求。

设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算系统外形尺寸，然后根据高度方向的视场确定反射镜面形参数。

如图1所示，摄像头的投影中心C在水平场景上方距离水平场景h处，反射镜的顶点在投影中心上方，距离投影中心zo处。本发明中以摄像头投影中心为坐标原点建立坐标系，反射镜的面形用z(X)函数表示。在像平面内距离像中心点ρ的像素q接受了来自水平场景O点(距离Z轴d)，在反射镜M点反射的光线。水平场景无畸变要求场景物点的水平坐标与相应像点的坐标成线性关系；

由式(8)、(9)、(10)和初始条件，解微分方程可以得到反射镜面形的数字解。系统外形尺寸主要指反射镜离摄像头的距离Ho和反射镜的口径D。折反射全景系统设计时根据应用要求选择合适的摄像头，标定出Rmin，透镜的焦距f确定反射镜离摄像头的距离Ho，由(1)式计算出反射镜的口径Do。

系统参数的确定：

d(ρ)＝αρ                     (1)

式(1)中ρ是与反射镜的面形中心点的距离，α为成像系统的放大率。

设反射镜在M点的法线与Z轴的夹角为γ，入射光线与Z轴的夹角为Φ，反射光线与Z轴的夹角为θ。则

$\mathrm{tg}\left(x\right)=\frac{d\left(x\right)-x}{z\left(x\right)-h}---\left(2\right)$

$\mathrm{tg\γ}=\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}---\left(3\right)$

$\mathrm{tg}\left(2\mathrm{\γ}\right)=\frac{2\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}}{1-\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}}---\left(4\right)$

由反射定律

2γ＝φ-θ

∴ $\mathrm{tg}\left(2\mathrm{\γ}\right)=\mathrm{tg}(\mathrm{\φ}-\mathrm{\θ})=\frac{\mathrm{tg\φ}-\mathrm{tg\θ}}{1+\mathrm{tg\φtg\θ}}---\left(6\right)$

由式(2)、(4)、(5)和(6)得到微分方程(7)

$\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}+2k\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}-1=0---\left(7\right)$

式中； $k=\frac{z\left(x\right)[z\left(x\right)-h]+x[d\left(x\right)-x]}{z\left(x\right)[d\left(x\right)-x]+x[z\left(x\right)-h]}---\left(8\right)$

由式(7)得到微分方程(9)

$\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}+k-\sqrt{k^2+1}=0---\left(9\right)$

由式(1)、(5)得到式(10)

$d\left(x\right)=\frac{\mathrm{afx}}{z\left(x\right)}---\left(10\right)$

根据应用所要求的高度方向的视场确定系统参数af。由式(1)、(2)和(5)得到式(11)，这里作了一些简化，将z(x)≈z₀，主要考虑对于镜面的高度变化相对于镜面与摄像头的位置变化比较小；

$\mathrm{tg\φ}=\frac{(\mathrm{af}-z_0)\frac{\mathrm{\ρ}}{f}}{z_0-h}---\left(11\right)$

在像平面以像中心点为圆心的最大圆周处 $\mathrm{\ρ}=R\min \→{\mathrm{\ω}}_{\max }=\frac{R_{\min }}{f}$

对应的视场为фmax。则可以得到式(12)；

$\frac{\mathrm{\ρ}}{f}=\frac{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }}{{\mathrm{\ω}}_{\max }}+z_0---\left(12\right)$

成像模拟采用与实际光线相反的方向进行。设光源在摄像头投影中心，在像平面内等间距的选取像素点，通过这些像素点的光线，经反射镜反射后与水平面相交，若交点是等间距的，则说明反射镜具有水平场景无畸变的性质。成像模拟一方面可以评价反射镜的成像性质，另一方面可以准确地计算出反射镜的口径和厚度。

进一步说明本发明在实施过程中涉及到标定与目标识别等几个关键问题：

(1)如何标定全方位视觉传感器的成像平面内的像素距离与实际三维空间距离的对应关系，并在该基础上对运动图像进行分类。

(2)如何进行目标跟踪，跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，本发明中将活动中人物的属性信息结合起来，提供一种有效的、鲁棒性高的、实时性好的目标跟踪方法。这种跟踪方法实际上是基于模型的、基于区域的、基于活动轮廓的、以及基于颜色特征的等跟踪方法的一种综合。

全方位视觉摄像机视场距离的标定涉及成像几何的理论，将客观世界的三维场景投射到摄像机的二维象平面，需要建立摄像机的模型来描述。这些成像变换涉及不同坐标系之间的变换。在摄像机的成像系统中，涉及到的有以下4个坐标系；(1)现实世界坐标系XYZ；(2)以摄像机为中心制定的坐标系 像平面坐标系，在摄像机内所形成的像平面坐标系x^*y^*o^*；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

根据以上几个坐标系不同的转换关系，就可以得到所需要的全方位摄像机成像模型，换算出二维图像到三维场景的对应关系。本发明中采用折反射全方位成像系统的近似透视成像分析方法将摄像机内所形成的像平面坐标二维图像换算到三维场景的对应关系，图3为一般的透视成像模型，d为人体高，ρ为人体的像高，t为人体的距离，F为人体的像距(等效焦距)。可以得到式(13)

$d=\frac{t}{F}\mathrm{\ρ}---\left(13\right)$

在上述水平场景无的折反射全方位成像系统的设计时，要求场景物点的水平坐标与相应像点的坐标成线性关系，如式(1)表示；比较式(13)，(1)，可以看出水平场景无变形的折反射全方位成像系统对水平场景的成像为透视成像。因此就水平场景成像而言，可以将水平场景无变形的折反射全方位成像系统视为透视相机，α为成像系统的放大率。设该虚拟透视相机的投影中心为C点(见附图3)，其等效焦距为F。比较式(13)，(1)式可以得到式(14)；

$\mathrm{\α}=\frac{t}{F};t=h---\left(14\right)$

由式(12)、(14)得到式(15)

$F=\frac{{\mathrm{fh\ω}}_{\max }}{(z_0-h){\mathrm{tg\φ}}_{\max }+z_0{\mathrm{\ω}}_{\max 0}}---\left(15\right)$

根据上述全方位摄像机成像模型进行系统成像模拟，由摄像头投影中心发出的经过像素平面内等间距像素点的光线族反射后，在距离投影中心3m的水平面上的交点基本上是等间距的，如附图4所示。因此根据上述设计原理本专利中将水平路面的坐标与相应全方位像点的坐标之间的关系简化为线性关系，也就是说通过反射镜面的设计将现实世界坐标系XYZ到像平面坐标系的转化可以用放大率α为比例的线形关系。下面是从像平面坐标系到计算机内部数字图像所用的坐标系的转化，计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式为由式(16)给出；

$M=O_m-\frac{x^{*}}{S_x};N=O_n-\frac{y^{*}}{S_y};---\left(16\right)$

式中：O_m、O_n分别为象平面的原点在计算机图像平面上所映射的点像素所在的行数和列数；S_x、S_y分别为在x和y方向上的尺度因子。S_x、S_y的确定是通过在摄像头与反射镜面之间距离Z处放置标定板，对摄像机进行标定得到S_x、S_y的数值，单位是(pixel)；O_m、O_n。的确定是根据所选择的摄像头分辨率像素，单位是(pixel)。

进一步，来说明360°全方位进行摄像的原理，空间上的一个点A(x1，y1，z1)经折反射1镜面反射到透镜4上对应有一个投影点P1(x^*1，y^*1)，通过透镜4的光线变成平行光投射到CCD摄像单元5，微处理器6通过视频接口读入该环状图像，采用软件对该环状图像进行展开得到全方位的图像并显示在显示单元7上或者通过视频服务器发布在网页上。

进一步，在展开方法上本专利中采用了一种快速的近似展开算法，能够将时间消耗和对各种参数的要求降到最小，同时尽可能的保持有用的信息。展开规则有三条，

(1)X^*轴为起始位置，按逆时针方式展开；

(2)左图中X^*轴与内径r的交点O，对应到右图中左下角的原点O(0，0)；

(3)展开后的右图的宽度等于左图中虚线所示的圆的周长。其中虚线圆为左图内外径的同心圆，且其半径r1＝(r+R)/2。

设圆形图的圆心O^*坐标(x^*0，y^*0)，展开的矩形图左下角原点坐标O^**(0，0)，矩形图中任意一点P^**＝(x^**，y^**)所对应的点在圆形图中的坐标为(x^*，y^*).下面我们需要求的是(x^*，y^*)和(x^**，y^**)的对应关系。根据几何关系可以得到如下公式：

β＝tan^-1(y^*/x^*)                        (17)

r1＝(r+R)/2                                 (18)

令虚线圆的半径r₁＝(r+R)/2，目的是为了让展开后的图看起来形变均匀一些。

x^*＝y^*/(tan(2x^**/(R+r)))                  (19)

y^*＝(y^**+r)cosβ                                         (20)

从式(19)、(20)可以得到圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系。该方法实质上是做了一个图像插值的过程。展开后，虚线上方的图像是横向压缩过的，虚线下方的图像是横向拉伸过的，而在虚线本身上的点则保持不变。

为了满足实时计算需要同样可根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(21)关系。

P^**(x^**，y^**)←M×P^*(x^*，y^*)                         (21)

根据式(21)，对于成像平面上的每个像素P^*(x^*，y^*)在全方位图像上有一个点P^**(x^**，y^**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。

一种基于全方位计算机视觉的独居老人家庭安保装置，图5为监护系统的总体处理架构，所建立的独居老人室内外活动模型具有个性化的自学习、自适应等特点，同时该模型不仅能检测到视频监护范围内的异常，而且能预测视频监护范围以外(包括户外)的可能发生的异常。装置运行开始需要有一个学习阶段，通过自学习方法得到每个独居老人的、能反映其个性的日常活动的规律；学习阶段结束后进入监护阶段，由于老人的年龄增长以及季节的变化，要求系统能不断地更新在学习阶段所得到老人日常生活活动模型，使之具有自适应的功能。

为了对老人进行有效监护，本发明中将全方位视觉传感器安装在老人日常活动的主要场所，例如客厅，这样系统就能够监测到老人的大部分日常活动。由于每个老人居住条件、起居生活习惯不尽相同，在初始阶段通过自动学习老人日常生活的规律后得到老人日常生活活动模型接着就可以进行反常及异常判断，如图6、图7所示全方位视觉传感器安装在能反映老人的活动中心的客厅情况，至少要学习以下3个老人日常生活的时空方面的信息：1)学习老人在客厅里经常出现日常生活行为的地方，例如习惯坐的椅子的位置，称之为inactivity zones；2)学习客厅的所有出入口，例如通往卧室的门的位置，称之为entry zones；3)学习老人某个时段通过某个entry zone离开监护场所进入其他场所的活动的持续时间的规律性，例如老人在卧室里睡觉的持续时间的规律性。

装置通过自学习的方法掌握了老人的日常生活的规律之后，通过该规律的总结可以归纳出老人日常生活活动模型，根据该模型与实际检测出来的视频信息进行比较就能判断摔倒等异常情况。比如对于监护场所内的摔倒等异常情况，可以通过在所有已知inactivity zones的概率计算出老人摔倒等重大异常情况，如果概率低于阈值则判断为摔倒或其他重大异常，这时候可以通过视频图像进行确认；对于视频监护场所之外的摔倒等重大异常，通过计算出在某一时间、某一方位(比如是某一个与客厅相通的出入的门)和某一持续时间等三个高斯分布的概率，然后将计算所得到的概率与高斯分布模型的参数进行比较，如果所计算得到的概率低于阈值则判断为摔倒等异常，尤其当老人的在某一个空间内某个时刻的不活动延续时间严重超过预测值时，说明极有可能是老人摔倒了之后无法行动，必须提供及时的护理和救助。

如图7所示，对于某个老人的家庭，在监护视觉的范围内由客厅以及进入卧室、厨房、卫生间和外出的门组成，编号为1的门是房间的出入口，编号为2的门连接客厅的卧室，编号为3的门是进出厨房的门，编号为4的门是进出卫生间的门。全方位视觉传感器安装在客厅中部，能采集老人在客厅里进行日常生活活动以及出入与客厅相连接空间的信息，并记录活动的时间信息，建立相应的空间和时间模型。

在图像的学习和理解阶段，装置通过计算机视觉能跟踪监护老人，计算出老人的人体中心位置的运动轨迹，在某个监护空间中的出现时刻以及停留时间，出现时刻以及停留时间可以通过计算机的系统时间来获得，而老人在某个空间位置的信息要通过全方位视觉传感器所获得的视频信息来得到，该建模处理过程可以用图8来描述。

上述的建模处理过程可以用数学方式来描述，老人的日常生活活动的空间和时间概率数据接近于正态分布，因此在本专利中使用高斯分布模型来描述某个老人日常生活的活动的空间和时间分布模型。由于独居老人的规律可能随着年龄的增长和季节的变化而缓慢改变，为了自适应改变老人的日常生活时间和空间模型，在本发明中使用低通滤波方法来更新高斯分布模型的参数。

本发明的有益效果主要表现在：采用全方位视觉传感器，不仅能够自动地检测到监护场所内老人的摔倒异常，同时还能够预测监护场所之外老人的摔倒异常，并在关键时候能得到即时性的、适合的援救或者服务。

(四)附图说明

图1为全方位视觉光学原理图；

图2为一种基于全方位计算机视觉的独居老人家庭安保装置在老人监护方面应用的硬件结构原理图；

图3为全方位视觉装置与一般的透视成像模型等价的透视投影成像模型示意图；

图4为全方位视觉装置在水平方向上图像无形变模拟示意图；

图5为一种基于全方位计算机视觉的独居老人家庭安保装置的图像处理流程图；

图6为一种基于全方位计算机视觉的独居老人家庭安保装置的监护系统处理整体结构图；

图7为独居老人室内外活动模型建立示意图；

图8为在模型的学习阶段从跟踪老人人体中心位置的运动轨迹，记录活动开始、结束时刻的空间和时间信息的过程处理示意图；

图9中，(a)为全方位视觉传感器软硬件装置，(b)为采集的360°全方位原始图像，(c)360°全方位柱状展开图；

图10为基于全方位计算机视觉的独居老人家庭安保装置中各模块的关联图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～10，一种基于全方位计算机视觉的独居老人家庭安保装置，包括微处理器6、用于监护老人安康情况的全方位视觉传感器13，所述的全方位视觉传感器13与微处理器6连接，所述的全方位视觉传感器13包括用以反射监控领域中物体的外凸折反射镜面1、用以防止光折射和光饱和的黑色圆锥体2、透明圆柱体3、摄像头5，所述的外凸折反射镜面1位于透明圆柱体3的上方，外凸折反射镜面1朝下，黑色圆锥体2固定在折反射镜面外凸部的中心，摄像头5对着外凸反射镜面1朝上，所述的摄像头5位于外凸反射镜面的虚焦点位置，摄像头5还包括镜头4；

微处理器6包括：图像数据读取模块16，用于读取从全方位视觉传感器传过来的视频图像信息，并对图像进行预处理；图像数据文件存储模块18，用于将读取的视频图像信息通过文件方式保存在存储单元中；全方位视觉传感器标定模块17，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；图像展开处理模块19，用于将读取的圆形视频图像展开为全景柱状图；

运动对象检测模块23，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(28)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)             (28)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(29)所示：

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)                 (29)

上式中，f_d(X，t_i-k，t_i)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_i-k)是相邻K帧时的图像；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)＜阈值，判定静止对象，并用式(30)来更新替换基准参考图像：

$f(X,t_0)\⇐f(X,t_{i-k})---\left(30\right)$

如f_d(X，t₀，t_i)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区内无老人活动，像素灰度为1则表示此小区有老人活动，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；然后再根据所求得的连通区域来计算其面积和重心；老人的重心通过计算所得到的连通区域面积Si以及该连通区域的X、Y轴方向的累积像素值计算得到，计算公式由式(42)计算得到，

$X_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}x}{S_i};Y_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y\∈S_i}{\mathrm{\Σ}}y}{S_i}---\left(42\right);$

老人日常生活活动数据的获取模块25，用于根据老人在监护视觉范围内活动的开始时间、延续时间和所处的空间位置，得到老人日常生活活动的规律；老人日常生活活动模型模块26，用于通过自学习的方法掌握了老人的日常生活的规律之后，通过该规律的总结可以归纳出老人日常生活活动模型，采用二维高斯分布模型来描述某个老人日常生活的活动的空间和时间分布模型：

式(32)中σ_x表示连通区域的亮度值在x轴上的数学方差，σ_y表示连通区域的亮度值在y轴上的数学方差，μ_x表示连通区域的亮度值在x轴上的数学期望平均值，μ_y表示连通区域的亮度值在y轴上的数学期望平均值；

模型的更新使用公式(33)～(36)的数字低通滤波方法进行，

μ_xnew＝(1-k₁)μ_xold+k₁(x-μ_xold)，                   (33)

μ_ynew＝(1-k₂)μ_yold+k₂(y-μ_yold)，                   (34)

${\mathrm{\σ}}_{\mathrm{xnew}}^2=(1-k_3){\mathrm{\σ}}_{\mathrm{xold}}^2+k_3{(x-{\mathrm{\μ}}_{\mathrm{xold}})}^2,---\left(35\right)$

${\mathrm{\σ}}_{\mathrm{ynew}}^2=(1-k_4){\mathrm{\σ}}_{\mathrm{yold}}^2+k_4{(y-{\mathrm{\μ}}_{\mathrm{yold}})}^2,---\left(36\right)$

其中，ki是学习速率，取值范围是[0，1]，学习阶段可以选择大学习速率(0.8)，加快学习速度；监护阶段可以选择小学习速率(0.01)；视觉监护范围内摔倒异常的检测模块27，用于通过检测老人进入某个监护领域后又长时间的静止在某个位置并超过老人日常生活活动模型模块中所规定的阈值来进行检测判断的，检测老人的重心位置x被判为inactivity point的时间超过阈值，那么系统计算下式：

PS＝max{p(x|i，μi，∑_i)，i＝1，...，n}        (37)

式中p(x|i，μi，∑_i)是老人的重心位置x属于编号为i的inactivity zone的高斯混合模型的概率，PS是位置x属于某个inactivity zone的最大概率；

当PS值小于阈值时，判定位置x不属于任何已知的inactivity zones，即老人静止在某一个位置上发生异常；

进一步从检测到的图像上识别老人的姿态，计算老人处于横躺的姿态的概率PT，通过基于隐马尔可夫模型的人体姿态识别方法，最后使用式(38)计算摔倒异常发生的概率：

P＝K1×(1-PS)+K2×PT                                  (38)

其中K1、K2是权重，PS是老人长时间静止在某个位置上的概率，PT是老人处于躺的姿态的概率，当P超过阈值时，判定老人发生摔倒异常；非视觉监护范围内的摔倒异常的预测模块29，用于通过视觉监护范围内超过一定时间阈值还未出现老人的情况时进行预测的，通过检测老人在时刻t1离开监护视觉场所以及所经过的时间来进行预测的，首先要从老人日常生活活动模型中检索出对应活动持续时间模型的本次活动持续时间的预测值μi，然后系统实时的计算下列表达式：

PE＝t-t1-μi                                          (39)

PC＝p(t-t1|i，μi，σi)                               (40)

其中，t是当前系统时间，t-t1为离开监护视觉场所的持续时间，PE是实际离开监护视觉场所的持续时间与预测持续时间值的差值；PC是实际活动时间属于活动持续时间的高斯模型的概率，即实际离开监护视觉场所持续时间的概率；

当前时间t，老人在非监护视觉场所摔倒的概率为：

P＝K1×PE+K2×(1-PC)                                  (41)

其中K1、K2是权重，当P超过阈值时，判定老人可能发生异常；异常告警模块，用于在判定老人可能发生异常后，通过通信模块通知救护人员。

在取得全方位视频信息之后，接下来先进行背景消除和求活动连通区域、老人日常生活活动数据的获取、老人日常生活规律的学习和建立模型、异常的判断等计算工作，处理流程大致可以由图5来表述。

所述的运动对象检测模块23主要是通过背景消除和目标提取来实现的，背景消除首先要解决的问题是亮度变化的问题，如对于室内监护会由于开灯、关灯操作所造成的光照强度的突变，因此在背景消除中采用的背景模型要适应上述的这些变化。

对于视频监护，由于全方位场景视野比较大，人体在整幅图像中所占的比例比较小，因此人物的运动可以近似看作刚体运动；另外，视频监护的场景固定，可以认为具有相对比较固定范围的背景，因此可以采用背景减算法的快速分割算法来实时检测和跟踪视频监护中的运动人物；背景消除是基于背景减算法检测运动对象的关键，它直接影响检测出运动对象的完整性和准确性。本发明中采用了背景自适应法，其核心思想是对每一个背景像素使用1组矢量；RGB变化的当前混合值(Xmix，bi)来表示合法背景像素的允许取值(i为帧号)，并采用IIR滤波对其进行如下更新。背景自适应法在背景刷新处理模块24中实现；

(1)当光线自然变化(不是开关灯引起的)，并且无异常对象存在时，1组向量(分别为RGB)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)        (22)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度：λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成。

(2)当光线有突变时(由开关灯引起的)，1组向量按当前帧重置：

X_mix，bn+1(i)＝X_mix，cn(i)                        (23)

(3)当有对象进入监护范围时，背景保持不变。为避免将运动对象的部分像素学习为背景像素，采用：

X_mix，bn+1(i)＝X_mix，bn(i)                       (24)

上式中的X_mix，bn+1(i)(i＝1，2，3)分别表示R，G，B3个分量，为简化起见，上述公式略去了每个像素的坐标(x，y)部分。

对于室内监护背景亮度的变化可用来判定检测到的运动对象是否因开关灯而引起的，背景亮度使用平均背景亮度Yb来度量，计算公式由式(25)给出，

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(25\right)$

式(25)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表。用Yb0表示发现有活动对象时前一帧的背景亮度，Yb1表示检测到活动对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0                                      (26)

如果ΔY大于某个值则认为发生了开灯事件，如果ΔY小于某个负值则认为发生了关灯事件。根据上述判断结果用式(23)对当前帧进行重置。

所述的掩模表，是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，这个数组称为掩模映射表(Mask Map)：

数组M是运动对象的二值图像，不但可用来掩模视频帧从而分割出运动对象，还可用于运动对象的跟踪、分析和分类。

所述的背景减算法也称为差分方法，是一种常用于检测图像变化和运动物体的图像处理方法。根据三维空间与图像像素的对应性关系把有光源点存在的那些像素部分检测出来，首先要有一个比较稳定的基准参考图像，并将该基准参考图像存储在计算机的存储器里，并通过上述的背景自适应法对基准参考图像进行动态更新，通过实时拍摄到图像与该基准参考图像间进行图像相减，相减的结果发生变化的区域亮度增强，图像相减的计算公式如式(28)表示，

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)               (28)

式中f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像，相当于式(22)中的X_mix，cn(i)；f(X，t₀)是基准参考图像，相当于式(22)中的X_mix，bn(i)。背景减算法是在运动区域检测模块23中实现的。

由于视频监护中的全方位视觉传感器都是固定的，而背景中的静止对象有时可能被移动，基于背景减算法检测运动对象所得到的运动像素可能包含对象移动留下的空穴。由于空穴在随后的视频帧中不会移动，因此可用相邻K帧差法来消除空穴，本发明中采用相邻K帧差法判定某个像素是否是背景对象留下的空穴。为此需要进行式(29)的计算，

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)            (29)

静止对象的移动一般都可以考虑在时间分的单位上，当f_d(X，t₀，t_i)≥阈值和f_d(X，t_i-k，t_i)≥阈值都成立时，被认为是运动对象；如果f_d(X，t₀，t_i)≥阈值而f_d(X，t_i-k，t_i)＜阈值，本发明中认为是背景中的静止对象被移动后所产生的空穴，为了消除空穴用式(30)来更新替换基准参考图像，

$f(X,t_0)\⇐f(X,t_{i-k})---\left(30\right)$

实际图像信号中包含有噪声，而且一般都表现为高频信号，因此在识别过程中要剔除由噪声所产生的图像边缘点。

所述的剔除由噪声所产生的图像边缘点，在本发明中使用四邻域遍历的方法，它用滤波掩膜确定的邻域内像素的平均灰度值去替代图像每个像素点的值，即每一个像素值用其局部邻域内所有值的均值置换，如公式(31)所示：

h[i，j]＝(1/M)∑f[k，1]                          (31)

式中，M是邻域内的像素点总数，本发明中取为4。

像素间的连通性是确定区域的一个重要概念。在二维图像中，假设目标像素周围有m(m＜＝8)个相邻的像素，如果该像素灰度与这m个像素中某一个点A的灰度相等，那么称该像素与点A具有连通性。常用的连通性有4连通和8连通。4连通一般选取目标像素的上、下、左、右四个点。8连通则选取目标像素在二维空间中所有的相邻像素。将所有具有连通性的像素作为一个区域则构成了一个连通区域。

所述的连通区域计算主要解决在图像处理过程中，一幅二值图像，其背景和目标分别具有灰度值0和1。我们将像素为0的小区表示此小区无动作对象，若为1则表示此小区有动作对象。所以可以采用连通成分标记法进行缺陷区域的合并。连通标记算法可以找到图像中的所有连通成分，并对同一连通成分中的所有点分配同一标记。下面是连通区域算法，

1)从左到右、从上到下扫描图像；

2)如果像素点为1，则：

·如果上面点和左面点有一个标记，则复制这一标记。

·如果两点有相同的标记，复制这一标记。

·如果两点有不同的标记，则复制上点的标记且将两个标记输入等价表中作为等价标记。

·否则给这个象素点分配新的标记并将这一标记输入等价表。

3)如果需考虑更多的点则回到第2步。

4)在等价表的每一等价集中找到最低的标记。

5)扫描图像，用等价表中的最低标记取代每一标记。

所述老人日常生活活动数据的获取，由于以上的连通区域可以认为是人体活动后所产生的变化空间领域，连通区域的中心可以认为是人体的重心，因此可以通过这些信息来获取老人日常活动的时间和空间的数据。本发明中将全方位视觉传感器安装在老人日常活动的主要场所，例如客厅，这样系统就能够监测到老人的大部分日常活动。

如图6、图10所示，系统投入前有一个老人日常生活规律的学习阶段，学习阶段结束后系统投入监护阶段，所述老人日常生活规律的学习是在模块日常生活时间和空间的数据获取25中得到老人的活动数据，然后在学习结束的时刻根据上述得到的大量活动数据建立老人的日常生活活动模型，所述的日常生活活动模型是在模块26中进行的；由于每个老人居住条件、起居生活习惯不尽相同，在初始阶段通过自动学习老人日常生活的规律后得到老人日常生活活动模型接着就可以进行反常及异常判断，如图7、图9所示全方位视觉传感器安装在能反映老人的活动中心的客厅情况，至少要学习以下3个老人日常生活的时空方面的信息：1)学习老人在客厅里经常出现日常生活行为的地方，例如习惯坐的椅子的位置，称之为inactivity zones；2)学习客厅的所有出入口，例如通往卧室的门的位置，称之为entry zones；3)学习老人某个时段通过某个entry zone离开监护场所进入其他场所的活动的持续时间的规律性，例如老人在卧室里睡觉的持续时间的规律性。

所述的老人日常生活活动模型，装置通过自学习的方法掌握了老人的日常生活的规律之后，通过该规律的总结可以归纳出老人日常生活活动模型，根据该模型与实际检测出来的视频信息进行比较就能判断摔倒等异常情况。比如对于监护场所内的摔倒等异常情况，可以通过在所有已知inactivity zones的概率计算出老人摔倒等重大异常情况，如果概率低于阈值则判断为摔倒或其他重大异常，这时候可以通过视频图像进行确认；对于视频监护场所之外的摔倒等重大异常，通过计算出在某一时间、某一方位(比如是某一个与客厅相通的出入的门)和某一持续时间等三个高斯分布的概率，然后将计算所得到的概率与高斯分布模型的参数进行比较，如果所计算得到的概率低于阈值则判断为摔倒等异常，尤其当老人的在某一个空间内某个时刻的不活动延续时间严重超过预测值时，说明极有可能是老人摔倒了之后无法行动，必须提供及时的护理和救助。

如图7所示，对于某个老人的家庭，在监护视觉的范围内由客厅以及进入卧室、厨房、卫生间和外出的门组成，编号为1的门是房间的出入口，编号为2的门连接客厅的卧室，编号为3的门是进出厨房的门，编号为4的门是进出卫生间的门。全方位视觉传感器安装在客厅中部，能采集老人在客厅里进行日常生活活动以及出入与客厅相连接空间的信息，并记录活动的时间信息，建立相应的空间和时间模型。

图5为监护系统的总体处理架构，所建立的独居老人室内外活动模型具有个性化的自学习、自适应等特点，同时该模型不仅能检测到视频监护范围内的异常，而且能预测视频监护范围以外(包括户外)的可能发生的异常。装置运行开始需要有一个学习阶段，通过自学习方法得到每个独居老人的、能反映其个性的日常活动的规律；学习阶段结束后进入监护阶段，由于老人的年龄增长以及季节的变化，要求系统能不断地更新在学习阶段所得到老人日常生活活动模型，使之具有自适应的功能。

在图像的学习和理解阶段，装置通过计算机视觉能跟踪监护老人，计算出老人的人体中心位置的运动轨迹，在某个监护空间中的出现时刻以及停留时间，出现时刻以及停留时间可以通过计算机的系统时间来获得，而老人在某个空间位置的信息要通过全方位视觉传感器所获得的视频信息(上述计算所得的连通区域)来得到，该处理过程可以用图5来描述。

所述的建模处理过程可以用数学方式来描述，老人的日常生活活动的空间和时间概率数据接近于正态分布，因此在本专利中使用高斯分布模型来描述某个老人日常生活的活动的空间和时间分布模型。由于独居老人的规律可能随着年龄的增长和季节的变化而缓慢改变，为了自适应改变老人的日常生活时间和空间模型，在本发明中使用低通滤波方法来更新高斯分布模型的参数。

对于空间模型，本论文使用二维高斯分布模型：

模型的更新使用公式(33)～(36)的数字低通滤波方法进行，

μ_xnew＝(1-k₁)μ_xold+k₁(x-μ_xold)，                (33)

μ_ynew＝(1-k₂)μ_yold+k₂(y-μ_yold)，                (34)

${\mathrm{\σ}}_{\mathrm{xnew}}^2=(1-k_3){\mathrm{\σ}}_{\mathrm{xold}}^2+k_3{(x-{\mathrm{\μ}}_{\mathrm{xold}})}^2,---\left(35\right)$

${\mathrm{\σ}}_{\mathrm{ynew}}^2=(1-k_4){\mathrm{\σ}}_{\mathrm{yold}}^2+k_4{(y-{\mathrm{\μ}}_{\mathrm{yold}})}^2,---\left(36\right)$

其中，ki是学习速率，取值范围是[0，1]。学习阶段可以选择大学习速率(0.8)，加快学习速度；监护阶段可以选择小学习速率(0.01)，既能保持模型的稳定性，又能捕捉模型的微小变化，具有自适应的特点。

所述的视觉监护范围内摔倒异常的检测，是在图10中活动事件处理模块27以及异常判断模块29中进行的，在本发明中通过检测老人进入某个监护领域后又长时间的静止在某个位置，即老人的重心位置x被判为inactivity point的时间超过阈值，那么系统计算下式：

PS＝max{p(x|i，μi，∑_i)，i＝1，...，n}                 (37)

式中p(x|i，μi，∑_i)是老人的重心位置x属于编号为i的inactivity zone的高斯混合模型的概率，PS是位置x属于某个inactivity zone的最大概率。

当PS值小于阈值时，就认为位置x不属于任何已知的inactivity zones，即老人静止在某一个位置上发生异常。为了进一步判定老人摔倒异常发生的可能性，进一步从检测到的图像上识别老人的姿态，计算老人处于横躺的姿态的概率PT，可以通过基于隐马尔可夫模型的人体姿态识别方法。最后使用式(38)计算摔倒异常发生的概率：

P＝K1×(1-PS)+K2×PT                     (38)

其中K1、K2是权重，PS是老人长时间静止在某个位置上的概率，PT是老人处于躺的姿态的概率。当P超过阈值时，系统判断为发生老人摔倒异常，系统从用户基本信息30中得到老人的家庭地址以及监护人的联系方式，并结合系统所判断的异常类别组合通过报警模块31发送给远程监护者，要求远程监护者通过视频服务器查看老人的生活现场的图像进一步确认老人的安康，以便采取即时性的、适合的援救。

所述的非视觉监护范围内的摔倒异常的预测，预测判断是在异常判断处理模块29中进行处理的；是通过视觉监护范围内超过一定时间还未出现老人的情况时进行预测的，用一句比较通俗的语言表达，即检测在该出现老人身影的却没有检测到老人出现，在本发明中通过检测老人在时刻t1通过编号为i的entry zone离开监护视觉场所以及所经过的时间来进行预测的，首先要从老人日常生活活动模型中检索出对应活动持续时间模型的本次活动持续时间的预测值μi，然后系统实时的计算下列表达式：

PE＝t-t1-μi                              (39)

PC＝p(t-t1|i，μi，σi)                   (40)

其中t是当前系统时间，t-t1为离开监护视觉场所的持续时间，因此PE是实际离开监护视觉场所的持续时间与预测持续时间值的差值；PC是实际活动时间属于活动持续时间的高斯模型的概率，即实际离开监护视觉场所持续时间的概率。

当前时间t，老人在非监护视觉场所摔倒的概率为：

P＝K1×PE+K2×(1-PC)                      (41)

其中K1、K2是权重。当P超过阈值时，系统就自动向远程监护者发送老人可能发生异常信息，要求远程监护者及时确认老人安康信息；随着P值的增大，老人发生异常危险的可能性也随着增大，这时要求远程监护者通过各种手段确认老人的安康，以便采取即时性的、适合的援救。从式(39)～(41)可以看出，老人在监护视觉场所以外发生异常危险是以老人平时在某个时间中离开监护视觉场所的经过时间的概率分布值为判断依据，检查这次离开监护视觉场所经历的时间是否超出预测阈值。

通过全方位视觉图像捕捉老人生活规律的在时间空间上的变化能发现和预测老人生活的反常及异常，在发明中所建立老人室内外活动模型不仅能识别视频监护范围内的异常，而且能预测视频监护范围以外(包括户外)的可能发生的异常，为独居老人远程监护提供一种新的方法，对提高独居老人的生活品质有着积极意义，具有较大的实施价值和社会经济效益。

Claims (7)

1、一种基于全方位计算机视觉的独居老人家庭安保装置，其特征在于：所述的独居老人家庭安保装置包括微处理器、用于监护老人安康情况的全方位视觉传感器，所述的全方位视觉传感器与微处理器连接，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在折反射镜面外凸部的中心，摄像头对着外凸反射镜面朝上，所述的摄像头位于外凸反射镜面的虚焦点位置；所述的微处理器还包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读取的视频图像信息通过文件方式保存在存储单元中；

全方位视觉传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；

图像展开处理模块，用于将读取的圆形视频图像展开为全景柱状图；

运动对象检测模块，用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算，图像相减的计算公式如式(28)表示：

f_d(X，t₀，t_i)＝f(X，t_i)-f(X，t₀)        (28)

上式中，f_d(X，t₀，t_i)是实时拍摄到图像与基准参考图像间进行图像相减的结果；f(X，t_i)是实时拍摄到图像；f(X，t₀)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(29)所示：

f_d(X，t_i-k，t_i)＝f(X，t_i)-f(X，t_i-k)    (29)

上式中，f_d(X，t_i-k，t_i)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果；f(X，t_i-k)是相邻K帧时的图像；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)≥阈值成立时，判定为运动对象；

如f_d(X，t₀，t_i)≥阈值、f_d(X，t_i-k，t_i)＜阈值，判定静止对象，并用式(30)来更新替换基准参考图像：

$f(X,t_0)\⇐f(X,t_{i-k})---\left(30\right)$

如f_d(X，t₀，t_i)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此小区内无老人活动，像素灰度为1则表示此小区有老人活动，计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通性，将所有具有连通性的像素作为一个连通区域；然后再根据所求得的连通区域来计算其面积和重心；老人的重心通过计算所得到的连通区域面积Si以及该连通区域的X、Y轴方向的累积像素值计算得到，计算公式由式(42)计算得到，

$X_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y{\∈S}_i}{\mathrm{\Σ}}x}{S_i};Y_{\mathrm{cg}\left(i\right)}=\frac{\underset{x,y{\∈S}_i}{\mathrm{\Σ}}y}{S_i}---\left(42\right);$

老人日常生活活动数据的获取模块，用于根据老人在监护视觉范围内活动的开始时间、延续时间和所处的空间位置，得到老人日常生活活动的规律；

老人日常生活活动模型模块，用于通过自学习的方法掌握了老人的日常生活的规律之后，通过该规律的总结可以归纳出老人日常生活活动模型，采用二维高斯分布模型来描述某个老人日常生活的活动的空间和时间分布模型：

式(32)中σ_x表示连通区域的亮度值在x轴上的数学方差，σ_y表示连通区域的亮度值在y轴上的数学方差，μ_x表示连通区域的亮度值在x轴上的数学期望平均值，μ_y表示连通区域的亮度值在y轴上的数学期望平均值；

模型的更新使用公式(33)～(36)的数字低通滤波方法进行，

μ_xnew＝(1-k₁)μ_xold+k₁(x-μ_xold)，          (33)

μ_ynew＝(1-k₂)μ_yold+k₂(y-μ_yold)，          (34)

${\mathrm{\σ}}_{\mathrm{xnew}}^2=(1-k_3){\mathrm{\σ}}_{\mathrm{xold}}^2+k_3{(x-{\mathrm{\μ}}_{\mathrm{xold}})}^2,---\left(35\right)$

${\mathrm{\σ}}_{\mathrm{ynew}}^2=(1-k_4){\mathrm{\σ}}_{\mathrm{yold}}^2+k_4{\left({y-\mathrm{\μ}}_{\mathrm{yold}}\right)}^2,---\left(36\right)$

其中，ki是学习速率，取值范围是[0，1]，学习阶段可以选择大学习速率(0.8)，加快学习速度；监护阶段可以选择小学习速率(0.01)；

视觉监护范围内摔倒异常的检测模块，用于通过检测老人进入某个监护领域后又长时间的静止在某个位置并超过老人日常生活活动模型模块中所规定的阈值来进行检测判断的，检测老人的重心位置x被判为inactivity point的时间超过阈值，那么系统计算下式：

PS＝max{p(x|i，μi，∑_i)，i＝1，...，n}    (37)

式中p(x|i，μi，∑_i)是老人的重心位置x属于编号为i的inactivity zone的高斯混合模型的概率，PS是位置x属于某个inactivity zone的最大概率；

当PS值小于阈值时，判定位置x不属于任何已知的inactivity zones，即老人静止在某一个位置上发生异常；

进一步从检测到的图像上识别老人的姿态，计算老人处于横躺的姿态的概率PT，通过基于隐马尔可夫模型的人体姿态识别方法，最后使用式(38)计算摔倒异常发生的概率：

P＝K1×(1-PS)+K2×PT                       (38)

其中K1、K2是权重，PS是老人长时间静止在某个位置上的概率，PT是老人处于躺的姿态的概率，当P超过阈值时，判定老人发生摔倒异常；

非视觉监护范围内的摔倒异常的预测模块，用于通过视觉监护范围内超过一定时间阈值还未出现老人的情况时进行预测的，通过检测老人在时刻t1离开监护视觉场所以及所经过的时间来进行预测的，首先要从老人日常生活活动模型中检索出对应活动持续时间模型的本次活动持续时间的预测值μi，然后系统实时的计算下列表达式：

PE＝t-t1-μi                           (39)

PC＝p(t-t1|i，μi，σi)                (40)

其中，t是当前系统时间，t-t1为离开监护视觉场所的持续时间，PE是实际离开监护视觉场所的持续时间与预测持续时间值的差值；PC是实际活动时间属于活动持续时间的高斯模型的概率，即实际离开监护视觉场所持续时间的概率；

当前时间t，老人在非监护视觉场所摔倒的概率为：

P＝K1×PE+K2×(1-PC)                   (41)

其中K1、K2是权重，当P超过阈值时，判定老人可能发生异常；

异常告警模块，用于在判定老人可能发生异常后，通过通信模块通知救护人员。

2、如权利要求1所述的基于全方位计算机视觉的独居老人家庭安保装置，其特征在于：所述的折反射镜面为了达到在监护水平方向上无形变，用以下方法来进行设计：

水平方向上无形变要求场景物点的水平坐标与相应像点的坐标成线性关系；

d(ρ)＝αρ           (1)

式(1)中ρ是与反射镜的面形中心点的距离，α为成像系统的放大率；

设反射镜在M点的法线与Z轴的夹角为γ，入射光线与Z轴的夹角为Φ，反射光线与Z轴的夹角为θ；则

$\mathrm{tg}\left(x\right)=\frac{d\left(x\right)-x}{z\left(x\right)-h}---\left(2\right)$

$\mathrm{tg\γ}=\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}---\left(3\right)$

$\mathrm{tg}\left(2\mathrm{\γ}\right)=\frac{2\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}}{1-\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}}---\left(4\right)$

由反射定律

2γ＝φ-θ              (6)

∴ $\mathrm{tg}\left(2\mathrm{\γ}\right)=\mathrm{tg}(\mathrm{\φ}-\mathrm{\θ})=\frac{\mathrm{tg\φ}-\mathrm{tg\θ}}{1+\mathrm{tg\φtg\θ}}$ 由式(2)、(4)、(5)和(6)得到微分方程(7)

$\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}+2k\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}-1=0---\left(7\right)$

式中； $k=\frac{z\left(x\right)[z\left(x\right)-h]+x[d\left(x\right)-x]}{z\left(x\right)[d\left(x\right)-x]+x[z\left(x\right)-h]}---\left(8\right)$

由式(7)得到微分方程(9)

$\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}+k-\sqrt{k^2+1}=0---\left(9\right)$

由式(1)、(5)得到式(10)

$d\left(x\right)=\frac{\mathrm{afx}}{z\left(x\right)}---\left(10\right)$

由式(8)、(9)、(10)和初始条件，解微分方程可以得到反射镜面形的数字解。折反射全景系统设计时根据应用要求选择合适的摄像头，标定出Rmin，透镜的焦距f确定反射镜离摄像头的距离Ho，由(1)式计算出反射镜的口径Do；

系统参数的确定：

根据应用所要求的高度方向的视场确定系统参数af，由式(1)、(2)和(5)得到式(11)，这里作了一些简化，将z(x)≈z₀，主要考虑对于镜面的高度变化相对于镜面与摄像头的位置变化比较小；

$\mathrm{tg\φ}=\frac{(\mathrm{af}-z_0)\frac{\mathrm{\ρ}}{f}}{z_0-h}---\left(11\right)$

在像平面以像中心点为圆心的最大圆周处 $\mathrm{\ρ}=R\min {\→\mathrm{\ω}}_{\max }=\frac{R_{\min }}{f}$

对应的视场为фmax，则可以得到式(12)；

$\frac{\mathrm{\ρ}}{f}=\frac{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }}{{\mathrm{\ω}}_{\max }}+z_0---\left(12\right).$

3、如权利要求1或2所述的基于全方位计算机视觉的独居老人家庭安保装置，其特征在于：所述的微处理器还包括背景维护模块，所述的背景维护模块包括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(25)所示：

${\stackrel{\‾}{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}(1-M_n(x,y))}---\left(25\right)$

式(25)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化，参见式(27)：

Yb0为判定为运动对象时前一帧的背景亮度，Yb1为判定为运动对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0                        (26)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值，则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(22)进行自适应学习：

X_mix，bn+1(i)＝(1-λ)X_mix，bn(i)+λX_mix，cn(i)    (22)

式中：X_mix，cn(i)为当前帧RGB向量，X_mix，bn(i)为当前帧背景RGB向量，X_mix，bn+1(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(23)：

X_mix，bn+1(i)＝X_mix，cn(i)                        (23)。

4、如权利要求3所述的基于全方位计算机视觉的中央空调节能控制装置，其特征在于：所述的微处理器还包括：

噪声剔除模块，用于将每一个像素值用其局部邻域内所有值的均值置换，如公式(16)所示：

h[i，j]＝(1/M)∑f[k，1]                           (32)

上式(32)中，M是邻域内的像素点总数。

5、如权利要求4所述的基于全方位计算机视觉的中央空调节能控制装置，其特征在于：所述的图像展开处理模块，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(21)所示：

P^**(x^**，y^**)← M× P^*(x^*，y^*)                      (21)

上式中， M是映射矩阵， P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵。

6、如权利要求5所述的基于全方位计算机视觉的中央空调节能控制装置，其特征在于：所述的微处理器还包括：

网络传输模块，用于将所获得的现场视频图像以视频流的方式通过网络播放出去，以便用户能通过各种网络实时地掌握现场情况；

实时播放模块，用于将所获得的现场视频图像通过该模块播放到显示设备。

7、如权利要求6所述的基于全方位计算机视觉的独居老人家庭安保装置，其特征在于：所述的全方位视觉传感器安装在能监护到老人日常活动的主要活动场所的中间区域。

Images