CN102387345A - 基于全方位视觉的独居老人安全监护系统 - Google Patents

Abstract

一种基于全方位视觉的独居老人安全监护系统，包括全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对独居老人的活动量、姿态、摔倒以及生活行为习惯进行分析处理判断的微处理器；全方位摄像装置安置在独居老人客厅中间的上方，能捕获到老人的80％以上的日常活动视频图像；通过计算机视觉进行人体的定位、跟踪和识别，对独居老人的活动量、姿态、动作行为和日常生活进行分析和判断、本发明不但能自动检测老人在室内视觉范围内的摔倒等重要事件，还能智能判断老人不在视觉范围内以及外出时的异常行为，提供一种独居老人远程监护的手段。

Description

基于全方位视觉的独居老人安全监护系统

技术领域

本发明属于全方位视觉、计算机视觉技术和关系数据库等技术在独居老人安全监护方面的应用，主要适用于需要得到即时和适当服务的独居老人等弱势人群的家庭。

背景技术

根据联合国的调查，预计到2030年，中国65岁以上的人口将占人口总数的12.7％；其中空巢老人家庭将占老人家庭总数的90％。独居老人人口的增长，需要社会提供各种各样的监护。

本发明作出以前对独居老年等弱势人群的家庭发生异常时主要是通过电话或者家庭中的报警按钮以主动形式向援救方报警及请求服务。天有不测风云、人有旦夕祸福，谁都不能预料自己在某日某时会生病，尤其是老人摔倒后不能自立求救，出现连打电话、一键按钮请求报警救援都困难的时候。

中国发明专利号为200610051729.7发明了一种基于全方位计算机视觉的独居老人家庭安保装置，包括微处理器、用于监护老人安康情况的全方位视觉传感器，全方位视觉传感器与微处理器连接，采集老人在主要场所中的空间位置视频信息以及该事件所对应的时间信息采用机器视觉的手段来建立独居老人室内外活动模型，通过捕捉生活规律的在时间空间上的变化能发现和预测老人生活的反常及异常。该发明的不足之处是没有检测独居老人的姿态以及姿态发生变化时的事件，老人摔倒是直接对老人生命安全和引起各种伤害的最危险的事件；后的及时检测与自动报警。另一方面，为了获得独居老人的活动量等生活数据和生活习惯，需要识别独居老人的人体动作。

发明内容

为了克服已有检测手段无法对独居老人姿态、摔倒等重要事件进行检测的不足，本发明提供一种既能检测独居老人的活动量、分析独居老人的生活规律、发现独居老人的各种异常变化，又能识别独居老人的人体动作、姿态和摔倒的基于全方位视觉的独居老人安全监护系统。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉的独居老人安全监护系统，包括全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对独居老人的活动量、姿态、摔倒以及生活行为习惯进行分析处理判断的微处理器；所述的全方位摄像装置放置在老人房间内客厅中间的上方，用于拍摄整个老人家庭内老人日常生活的视频图像；所述的全方位摄像装置与所述的微处理器进行连接，所述的微处理器包括：

视频图像读取单元，用于读取全方位摄像装置所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；

视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；

空间位置定义单元，用于定义和命名在全景图像中老人室内空间位置；

家具和电器摆放位置输入单元，用于将所述的空间位置定义单元所定义的空间位置与老人家中的家具、电器和出入口建立映射关系；

前景对象检测单元，用于检测在全景柱状展开图像中存在的前景人体对象，具体采用MHI算法来计算前景人体对象，然后在柱状展开图像上用矩形框框住前景人体对象，并将矩形框提交给人体对象跟踪单元；

人体对象跟踪单元，根据前景对象检测单元所提交的矩形框采用Camshift算法对人体对象进行跟踪；

人体姿态分析单元，根据人体对象跟踪单元的结果采用人体模型算法估算出老人目前的姿态，并将当前的时刻、空间的位置和姿态的分析结果写入人体姿态数据库中；

摔倒检测单元，根据人体姿态的检测结果以及是否在非静止区域情况来判断老人是否摔倒；

动作行为分析单元，根据人体姿态数据库中前几帧中老人的姿态和当前老人的姿态分析得到老人的动作行为；

日常生活规律分析单元，根据人体姿态数据库、家具和家用电器与空间位置关系数据库以及当前老人动作行为判断结果等信息来分析和判断老人当前的活动类型，并将分析和判断结果写入日常生活数据库中；

异常判断单元，根据当前老人的活动类型和日常生活数据库中所提取的老人的生活模式等信息通过异常判断算法进行老人行为异常判断，并将异常分为若干个等级，针对不同等级的异常的情况分别生成告知、紧急通知和报警信息，通过告知和报警单元发送给相关部门和人员。

进一步，所述的前景对象检测单元中，采用基于MHI的背景更新模型，并利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像，最后利用后处理实现人体的分割与定位；

所述的基于MHI的背景更新模型，MHI的更新方式如公式(1)所示；

$\mathrm{mhi}(x,y)=\left\{\begin{array}{cc}\mathrm{ts},& \mathrm{sih}(x,y)\&NotEqual;0\\ 0,& \mathrm{sih}(x,y)=0\mathrm{andmhi}(x,y)<\mathrm{ts}-\mathrm{dur}\\ \mathrm{mhi}(x,y)& \mathrm{else}\end{array}\right.---\left(1\right)$

式中，mhi为运动历史图像，ts为当前时间，sih为图像的掩模，人体运动发生的地方取非零值，dur为运动跟踪的最大持续时间；

用公式(2)将图像由RGB颜色空间转换到YCbCr颜色空间，滤除Y分量，用Cb、Cr颜色来分割得到前景图像；

$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ \mathrm{Cr}=0.713(R-Y)\\ \mathrm{Cb}=0.564(B-Y)\end{array}\right.---\left(2\right)$

式中，Y为YCbCr颜色空间的Y分量，Cb为YCbCr颜色空间的Cb分量，Cr为YCbCr颜色空间的Cr分量；R为RGB颜色空间的R分量，G为RGB颜色空间的G分量，B为RGB颜色空间的B分量；

阴影去除算法如下：

Step1：用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值化，分别记为ImgL和ImgS；

Step2：利用背景减除之后的Cr和Cb图像分别进行二值化，分别记为ImgCr和ImgCb，得到的前景都去除了阴影，Cr得到的是红色色差分量，Cb得到的是蓝色色差分量，将两个色差结果取或得到去阴影的结果图像，记为ImgC＝ImgCrOR ImgCb，得到色差分割结果；

Step3：由于只靠色差分量得到的目标容易丢失没有颜色信息的目标，需要融合其亮度分量；取亮度阈值较大的二值化图像与色差二值化图像作或运算，记为Img1＝ImgC OR ImgL；

Step4：上述处理得到的结果容易有噪声，将ImgS作膨胀记为ImgS’，然后将Img1与ImgS’取与运算得到最终结果图像，Img＝Img1 AND ImgS’，由此得到的目标作为最终的运动目标前景；并将运动目标前景对象的中心位置和大小自动递交给所述的人体对象跟踪单元中CamShift算法以实现时而静止时而运动的人体对象的稳定跟踪。

再进一步，所述的人体对象跟踪单元中，根据所述的前景对象检测单元所提交的矩形框采用增强的Camshift算法对人体对象进行跟踪；

所述的增强的Camshifi算法如下：

步骤1：以所述前景对象检测单元中检测出的人体对象目标为基础，设定目标跟踪的ROI；

步骤2：计算ROI内的目标颜色概率密度分布；

步骤3：迭代Mean Shift直到收敛，记录其位置和零阶矩

步骤4：对下一帧图像，以

为搜索窗中心位置，并根据

的函数确定搜索窗大小，根据人体对象目标外接矩形确定ROI大小，转步骤2；

在Camshift算法的步骤2中，采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(3)所示：

$P(C/O)=\frac{P(C/O)P\left(O\right)}{P(C/O)P\left(O\right)+P(C/B)P\left(B\right)}---\left(3\right)$

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(3)获得目标对象在图像中的颜色概率密度分布，再按公式(4)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

$P^{\&prime;}(O/C)=\min [\frac{255}{\max \left(P(O/C)\right)}P(O,C),255]---\left(4\right)$

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的步骤4中，根据上一帧跟踪结果的零阶矩的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(5)所示；

$s=2\&times;\sqrt{M_{00}^{\left(s\right)}/K}---\left(5\right)$

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；根据人体对象目标运动的空间连续性，在所述的人体对象目标实时跟踪中，人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近，因此定义适当位置和适当大小的ROI，人体对象目标跟踪在ROI内完成；

CamShift算法过程如下：

1)：在颜色概率分布图中选取范围为R的搜索窗W；

2)：计算x和y的零阶矩、一阶矩、二阶矩，计算方法如公式(6)、(7)、(8)所示；

$\left\{\begin{array}{c}{M}_{00}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}I(x,y)\\ M_{11}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xyI}(x,y)\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yI}(x,y)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{M}_{20}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^{2}I(x,y)\\ M_{02}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{y}^{2}I(x,y)\end{array}\right.---\left(8\right)$

3)：计算搜索窗的质心位置计算方法由公式(9)所示，

(x_c，y_c)＝(M₁₀/M₀₀，M₀₁/M₀₀  (9)

4)：重新设置搜索窗的范围R；

5)：如果不收敛且循环次数小于预设值，则返回2)，否则结束；

算法中的收敛条件为：质心位置偏移量小于预定义阈值。

另外，被跟踪目标长轴方向角用公式(10)计算，

$\mathrm{\&theta;}=\frac{1}{2}\arctan \left\{\frac{2[(M_{11}/M_{00})-x_c{y}_c]}{[(M_{20}/M_{00})-{x_c}^2]-[(M_{02}/M_{00})-{y_c}^2]}\right\}---\left(10\right)$

$\left\{\begin{array}{c}a=(M_{20}/M_{00})-{x_c}^2\\ b=2[(M_{11}/M_{00})-x_c{y}_c]\\ c=[(M_{02}/M_{00})-{y_c}^2]\end{array}\right.$

则得到被跟踪对象的长轴、短轴的长度用公式(11)、(12)计算，

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}---\left(11\right)$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}---\left(12\right).$

在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1  当Z＞0时(18)

$c=\sqrt{a^2+b^2}---\left(19\right)$

φ＝tan^-1(Y/X)(20)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(21)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(22\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

所述的全方位摄像装置包括双曲面镜面、上盖、透明外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩，所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明外罩连接成一体，所述的透明外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上。

所述的空间位置定义单元中，对独居老人家庭的空间进行网格化处理，从获取的全景图像上定义和命名室内空间的网格，作为一种简单的定义和命名方式是采用20×20mm大小的网格将可视范围内的空间进行分割，命名采用两位英文字母，从房间平面图的左上角开始顺序编排，第一位英文字母表示行，第二位英文字母表示列。

所述的家具和电器摆放位置输入单元中，位置空间编号与家具电器等对应表，如表1所示；

空间位置编号	家具、电器、室内门窗
		BD	沙发右侧
BE	沙发左侧
		AL	出入门口
PI	卧室门口
		TK	阳台门口
IO	卫生间门口
		JQ	洗衣机
TO	盥洗槽左侧
		TP	盥洗槽右侧
...	...

表1。

所述的人体姿态分析单元中，将老人出现的空间位置、时间和姿态信息写入到人体姿态数据库中内，人体姿态数据库的表格式如表2所示；

表2

表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的，即YYYYMMDDHHMMSS；空间编号是根据所述的人体对象跟踪单元中所得到跟踪焦点所处的空间位置来确定的；姿态编码是根据所述的姿态分析单元中所得到的人体姿态识别结果来设定的，姿态编码中将1命名为站立姿态、2命名为坐姿态、3命名为横躺姿态；考虑到老人家中其他人的来访情况，将是否有其他活动对象设置为false，如果只有一个人体对象情况将是否有其他活动对象设置为true；为了减少数据的冗余，如果人体跟踪对象消失或者静止的情况不产生记录；如果人体跟踪对象有活动情况时每条记录的间隔时间为10秒；

人体姿态的识别是通过人体跟踪框的高宽比来确定的，对于站立姿态的高宽比约为3∶1，坐姿态的高宽比约为1∶1，横躺姿态的高宽比约为1∶7。

所述的摔倒检测单元中，如果分析的结果为横躺姿态并且老人不在休息区域就判断为老人出现摔倒；系统自动生成报警信息，系统生成的告知和报警信息发送给告知和报警单元。

所述的动作行为分析单元中，从当前老人相对静止状态开始追溯到上一次老人相对静止状态，从两次间隔的相对静止状态的过程来识别老人的动作行为。

所述的异常判断单元中，自学习老人日常生活的规律性：学习老人某个时段通过某个空间位置离开视觉范围进入其他场所的活动的持续时间的规律性，用活动持续时间模型，即单高斯模型P(t|μ，σ)来描述了老人在某个时间段进入非视觉范围的活动持续时间为t的概率；用公式(13)、(14)来表述；

使用低通滤波方法来更新高斯模型：

σ^SPNp _i ²＝(1-K)×σ^SPNo _i-1 ²+K×(t-μ^SPNo _i-1)²(13)

μ^SPNo _i＝(1-K)×μ^SPNo _i-1+K×t               (14)

其中，K是学习速度，σ^SPNp _i是某个空间位置上的高斯模型的标准差，该值通过统计人体姿态数据的记录来获得的，μ^SPNo _i是某个空间位置上的高斯模型的数学期望值，该值通过统计人体姿态数据的记录来计算得到；

在非视觉范围情况下的老人的生活异常是根据老人离开某个空间位置的持续时间来判断，根据公式(13)、(14)计算得到的活动持续时间模型的本次活动持续时间的预测期望值μ^SPNo _i和预测标准差值σ^SPNp _i，然后用公式(15)、(16)计算实际活动时间与预测值的差值和实际活动时间的概率，

${\mathrm{PE}}_i^{\mathrm{SPNo}}=t-t1-{{\mathrm{\&mu;}}^{\mathrm{SPNp}}}_i---\left(15\right)$

${\mathrm{PC}}_i^{\mathrm{SPNo}}=p(t-t1|i,{{\mathrm{\&mu;}}^{\mathrm{SPNo}}}_i,{{\mathrm{\&sigma;}}^{\mathrm{SPNo}}}_i)---\left(16\right)$

式中，t为当前系统时间，t1为老人离开某个空间位置的时间，σ^SPNp _i为某个空间位置上的高斯模型的标准差，μ^SPNo _i为某个空间位置上的高斯模型的数学期望值，

为实际活动时间与预测值的差值，

为实际活动时间属于活动持续时间的高斯模型的概率，通过公式(17)来计算老人的生活异常概率，

$P^{\mathrm{SPNo}}=K1\&times;{\mathrm{PE}}_i^{\mathrm{SPNo}}+K2\&times;(1-{\mathrm{PC}}_i^{\mathrm{SPNo}})---\left(17\right)$

式中，K1、K2为权重值，

是老人的生活异常概率，当该值超过某一阈值T1时，系统自动生成告知信息；当该值超过某一阈值T2时，系统自动生成紧急通知信息；当该值超过某一阈值T3时，系统自动生成报警信息，T3＞T2＞T1；系统生成的告知和报警信息发送给告知和报警单元。

ODVS的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图4中的2-双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om(0，0，c)，14-双曲面镜的虚焦点即摄像单元6的中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)；

图4中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1  当Z＞0时  (18)

$c=\sqrt{a^2+b^3}---\left(19\right)$

φ＝tan^-1(Y/X)                          (20)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(21)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(22\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

图2是ODVS的结构图，ODVS包括双曲面镜面2、上盖1、透明外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，所述的双曲面镜面2固定在所述的上盖1上，所述的连接单元7将所述的下固定座4和透明外罩3连接成一体，所述的透明外罩3与所述的上盖1以及所述的上罩8通过螺钉固定在一起，所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上，所述的摄像单元6固定座5用螺钉固定在所述的下固定座4上，所述的摄像单元6的输出端口是USB接口。

本发明的有益效果主要表现在：1、获取实时老人房间内的全景视频图像，可提供一种远程监护的手段；2、结合全方位视觉、计算机视觉和数据库等技术用于独居老人的活动量、姿态、动作行为和日常生活分析，提高了老人监护的自动化和智能化水平；3、不但能自动检测老人在室内视觉范围内的摔倒等重要事件，还能智能判断老人不在视觉范围内以及外出时的异常行为；4、相关分析结果可以用于帮助客观了解老人的日常生活方式，为老人提供及时的医疗和其他服务。

附图说明

图1为独居老人家庭平面示意图；

图2为一种ODVS的结构图；

图3为一种全景视频图像和空间位置定制方法说明图；

图4为一种ODVS成像原理图；

图5为一种基于全方位视觉的独居老人安全监护系统的软件构成框图；

图6为几种人体姿态的视图，其中，(a)为走，(b)为坐，(c)为躺，(d)为蹲；

图7为一种基于全方位视觉的独居老人安全监护系统的检测方法的说明图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～7，一种基于全方位视觉的独居老人安全监护系统，包括全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对独居老人的活动量、姿态、摔倒以及生活行为习惯进行分析处理判断的微处理器；所述全方位摄像装置，如图2所示，以下用ODVS表示，放置在老人家庭客厅中间的上方，如图1所示，使得ODVS能捕获到整个老人家庭内老人日常生活80％以上的视频图像，所拍摄的图像如图3所示；所述的全方位摄像装置通过USB接口与所述的微处理器进行连接，所述的微处理器通过网络与老人安全监护中心进行连接；所述的微处理器包括硬件和软件两个部分，硬件部分采用一般市售的PC机；软件部分如图5所示，包括：视频图像读取单元，用于通过USB接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；视频图像展开单元用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；空间位置定义单元，用于定义和命名在全景图像中老人室内空间位置；家具和电器摆放位置输入单元，用于将所述的空间位置定义单元所定义的空间位置与老人家中的家具、电器和出入口建立映射关系；前景对象检测单元用于检测在全景柱状展开图像中存在的前景人体对象，具体采用MHI算法来计算前景人体对象，然后在柱状展开图像上用矩形框框住前景人体对象，并将矩形框提交给人体对象跟踪单元；人体对象跟踪单元，根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对人体对象进行跟踪；人体姿态分析单元，根据人体对象跟踪单元的结果采用人体模型算法估算出老人目前的姿态，并将当前的时刻、空间的位置和姿态的分析结果写入人体姿态数据库中；所述的摔倒检测单元，根据人体姿态的检测结果以及是否在非静止区域情况来判断老人是否摔倒；动作行为分析单元，根据人体姿态数据库中前几帧中老人的姿态和当前老人的姿态分析得到老人的动作行为；日常生活规律分析单元，根据人体姿态数据库、家具和家用电器与空间位置关系数据库以及当前老人动作行为判断结果等信息来分析和判断老人当前的活动类型，并将分析和判断结果写入日常生活数据库中；异常判断单元，根据当前老人的活动类型和日常生活数据库中所提取的老人的生活模式等信息通过异常判断算法进行老人行为异常判断，并将异常分为若干个等级，针对不同等级的异常的情况分别生成告知、紧急通知、报警等信息，通过告知和报警单元发送给相关部门和人员，以实现独居老人的安全监护；

安装在独居老人家中的全方位视觉传感器，通常是安装在能全方位获取独居老人活动比较频繁的地方，比如客厅中间的上方，如图1所示，这样使用一个全方位视觉传感器就能获取独居老人的80％以上日常活动的视频信息，因此全方位视觉传感器主要承担实时采集老人起居生活的视频图像数据，为独居老人的安全监护，如运动检测、跟踪、姿态识别和活动分析提供数据支撑；

面向独居老人家庭中的人体动作识别方法，其主要包括三个部分：一是人体的定位，二是人体运动的跟踪，三是人体动作的识别。独居老人的监护应用要求对进入全景视频场景的人体目标进行持续跟踪，即使在人体目标静止时仍然保持焦点。现有的基于MHI算法能较好地跟踪人体运动目标，但是当被跟踪人体目标停止运动时，算法会失去跟踪焦点，而当其再次运动时，算法会误当作新的人体目标；现有的CamShift算法具有可以锁定静止目标的优势，但跟踪运动目标时易受附近颜色干扰，且不含对各目标的图像分割，属于半自动化的跟踪技术；鉴于独居老人的家庭环境下背景杂乱，衣着多样，针对室内环境变化缓慢的特点，本发明结合MHI算法和CamShift算法的各自优势实现了一种适合于独居老人家庭的人体动作识别算法，具体做法是：采用基于运动历史图像(Motion History Image，MHI)的算法来实现人体对象的分割与定位；将CamShift算法用于多静止目标的定位，由于目标区域已被基于MHI的跟踪算法所分割确定，故人体目标中心位置相对固定，并将人体目标中心位置和大小自动递交给CamShift算法以实现时而静止时而运动的人体对象的稳定跟踪；

针对现有的CamShift算法易受跟踪对象附近颜色干扰问题，本发明提出了一种增强的CamShift算法，具体做法是采用颜色概率密度分布方法来抑制同时在目标和背景中出现的颜色；实现思路是：Bayesian概率法则的颜色概率密度分布获取方法既考虑了目标颜色模型，也考虑了背景颜色模型，赋予在目标中出现但在背景中没出现的颜色以较高的比重，而抑制了同时在目标和背景中出现的颜色，从而有效避免了背景的干扰；

基于运动历史图像(Motion History Image，MHI)方法的自适应背景模型，用于定位出活动人体对象，同时为了有效克服阴影，利用YCbCr空间图像与亮度图像的综合得到稳定的运动目标检测结果，并结合目标的大小和颜色特征进行目标分类，从而定位出人体；基于MHI方法的缺陷在于只能跟踪运动目标，被跟踪目标停止运动时，算法会失去跟踪焦点，而当其再次运动时，算法会误当作新目标；CamShift具有可以锁定静止目标的优势，但跟踪运动目标时易受附近颜色干扰，且不含对各目标的图像分割，也难于获知目标的运动趋势等信息；

考虑到室内环境属于静止环境，本发明提出了一种基于MHI的自适应背景模型来进行背景建模，为了有效克服阴影，利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像，最后利用后处理实现人体的分割与定位。

本发明提出了一种基于MHI的背景更新模型，MHI的更新方式如公式(1)所示；

式中，mhi为运动历史图像，ts为当前时间，sih为图像的掩模，人体运动发生的地方取非零值，dur为运动跟踪的最大持续时间；

得到MHI运动历史图像后，为了消除噪声的影响，对MHI进行中值滤波处理，然后将滤波后的结果图像进行金字塔膨胀，最后得到一个尽可能放大的运动历史图像掩模，以该掩模为基础，逐渐刷出背景；刷出背景的原理是：对于最近发生过运动的区域，这些区域有一定的可能性存在前景，因此，这些地方的背景不更新，而没有前景部分的区域进行自适应背景更新；

由于RGB空间容易受光照的影响，将图像由RGB空间转换到YCbCr空间，滤除Y(亮度)分量，用Cb、Cr颜色来分割得到前景图像；

$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ \mathrm{Cr}=0.713(R-Y)\\ \mathrm{Cb}=0.564(B-Y)\end{array}\right.---\left(2\right)$

阴影区域基本上没有颜色信息，因此，采用Cr和Cb分量进行图像分割时，阴影在前景中不会检测出来，但同时前景本身颜色信息不强的地方也会检测不全，详细的阴影去除过程如下：

Step1：用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值化，分别记为ImgL和ImgS；

Step2：利用背景减除之后的Cr和Cb图像分别进行二值化，分别记为ImgCr和ImgCb，得到的前景都去除了阴影，Cr得到的是红色色差分量，Cb得到的是蓝色色差分量，将两个色差结果取或得到去阴影的结果图像，记为ImgC＝ImgCrOR ImgCb，得到色差分割结果；

Step3：由于只靠色差分量得到的目标容易丢失没有颜色信息的目标(如黑色、白色、灰色等着装容易造成人体检测不全)，需要融合其亮度分量；为了保证尽可能的得到真目标，取亮度阈值较大的二值化图像与色差二值化图像作或运算，记为Img1＝ImgC OR ImgL；

Step4：上述处理得到的结果容易有噪声，为了进行噪声去除，先将ImgS作膨胀记为ImgS’，然后将Img1与ImgS’取与运算得到最终结果图像，Img＝Img1AND ImgS’，由此得到的目标作为最终的运动目标前景；

由于采用了基于MHI的背景自适应建模机制，一定程度上可以消弱阴影的影响，为了得到更好的前景结果，利用阴影区域的颜色信息较弱这一特点进行阴影抑制；

由于Camshiff跟踪算法是一种搜索局部峰值的基于颜色概率密度的跟踪算法，因此无需在整幅全景图像上作全局搜索，这里引入感兴趣区域，简单表示为ROI，目标人体对象跟踪在目标可能出现的区域-ROI内完成，这样既可以减少计算量，又可以消除ROI外部的干扰；

改进的Camshifi算法如下：

步骤1：以所述前景对象检测单元中检测出的人体对象目标为基础，设定目标跟踪的ROI；

步骤2：计算ROI内的目标颜色概率密度分布；

步骤3：迭代Mean Shift直到收敛，记录其位置

和零阶矩

步骤4：对下一帧图像，以为搜索窗中心位置，并根据

的函数确定搜索窗大小，根据人体对象目标外接矩形确定ROI大小，转步骤2；

在Camshiff算法的步骤2中，本发明采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(3)所示：

$P(C/O)=\frac{P(C/O)P\left(O\right)}{P(C/O)P\left(O\right)+P(C/B)P\left(B\right)}---\left(3\right)$

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(3)获得目标对象在图像中的颜色概率密度分布，再按公式(4)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

$P^{\&prime;}(O/C)=\min [\frac{255}{\max \left(P(O/C)\right)}P(O,C),255]---\left(4\right)$

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的步骤4中，本发明根据上一帧跟踪结果的零阶矩

的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(5)所示；

$s=2\&times;\sqrt{M_{00}^{\left(s\right)}/K}---\left(5\right)$

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；

根据人体对象目标运动的空间连续性，在人体对象目标实时跟踪中，人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近，因此定义适当位置和适当大小的ROI，人体对象目标跟踪在ROI内完成；该ROI必须包含完整的人体对象目标，以避免人体对象目标的不完整甚至丢失；同时避免ROI过大，以避免ROI内包含过多背景形成干扰；同时降低计算量，包括计算颜色概率密度分布的计算量和Mean Shift迭代次数；

CamShift算法是将MeanShift算法这种最优的寻找概率密度极大值的梯度上升法扩展到视频图像序列的结果，其原理是将每帧视频图像转换到HSV色彩空间得到其颜色概率分布图，并作MeanShift运算以搜索匹配被跟踪目标的颜色概率模型，且当获得新图像帧时，CamShift自动调节搜索窗的范围和位置，并将上一帧运算结果作为其输入，如此持续迭代运算实现视频目标跟踪；设图像坐标(x，y)处像素点的概率值为I(x，y)，且(x，y)∈R，CamShift算法过程如下；

1)：在颜色概率分布图中选取范围为R的搜索窗W；

2)：计算x和y的零阶矩、一阶矩、二阶矩，计算方法如公式(6)、(7)、(8)所示；

$\left\{\begin{array}{c}{M}_{00}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}I(x,y)\\ M_{11}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xyI}(x,y)\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yI}(x,y)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{M}_{20}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^{2}I(x,y)\\ M_{02}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{y}^{2}I(x,y)\end{array}\right.---\left(8\right)$

3)：计算搜索窗的质心位置计算方法由公式(9)所示，

(x_c，y_c)＝(M₁₀/M₀₀，M₀₁/M₀₀)(9)

4)：重新设置搜索窗的范围R；

5)：如果不收敛且循环次数小于预设值，则返回2)，否则结束；

算法中的收敛条件为：质心位置偏移量小于预定义阈值。

另外，被跟踪目标长轴方向角用公式(10)计算，

$\mathrm{\&theta;}=\frac{1}{2}\arctan \left\{\frac{2[(M_{11}/M_{00})-x_c{y}_c]}{[(M_{20}/M_{00})-{x_c}^2]-[(M_{02}/M_{00})-{y_c}^2]}\right\}---\left(10\right)$

$\left\{\begin{array}{c}a=(M_{20}/M_{00})-{x_c}^2\\ b=2[(M_{11}/M_{00})-x_c{y}_c]\\ c=[(M_{02}/M_{00})-{y_c}^2]\end{array}\right.$

则得到被跟踪对象的长轴、短轴的长度用公式(11)、(12)计算，

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}---\left(11\right)$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}$ (12)

当跟踪的人体目标在场景中出现停止不动的情况，比如老人长时间坐在沙发上看电视，或者行走到视频场景之外时，比如老人进入卧室、出门、进入卫生间等，基于MHI的算法会丢失掉人体目标的跟踪焦点，此时基于CamShift算法对基于MHI的算法丢失焦点前的跟踪信息进行分析处理，若CamShift在限定范围内发现目标，则对该静止的人体目标继续跟踪；若CamShift在限定范围内无法获取目标，则视为已经运动到视频场景之外；

本发明对独居老人家庭的空间进行网格化处理，从获取的全景图像上定义和命名室内空间的网格，网格的分割如附图7所示，作为一种简单的定义和命名方式是采用20×20mm大小的网格将可视范围内的空间进行分割，命名采用两位英文字母，从房间平面图的左上角开始顺序编排，第一位英文字母表示行，第二位英文字母表示列，比如房间的出入口的编号为AL、卫生间的出入口的编号为IO、阳台的出入口的编号为TK、卧室的出入口的编号为PI、客厅沙发的编号分别为BD和BE，这样比如人体的跟踪焦点在空间位置编号BD或者BE上，判断为老人座在沙发上；如果跟踪焦点在空间位置编号AL上消失，推断为老人外出；如果跟踪焦点在空间位置编号IO上消失，推断为老人进入卫生间；同样跟踪焦点在空间位置编号IO上出现，推断为老人从卫生间出来；

为了得到老人的生活模式等信息，需要将老人家庭中的电器和家具等与空间位置进行关联，比如跟踪焦点较长时间站在水槽附近推断老人在洗东西，跟踪焦点较长时间在沙发上推断老人在休息或者看电视，跟踪焦点在餐桌附近推断老人在就餐，等等；本发明中采用位置空间编号与家具电器等对应表，如表1所示；

空间位置编号	家具、电器、室内门窗
		BD	沙发右侧
BE	沙发左侧
		AL	出入门口
PI	卧室门口
		TK	阳台门口
IO	卫生间门口
		JQ	洗衣机
TO	盥洗槽左侧
		TP	盥洗槽右侧
...	...

表1。

在跟踪过程中，只要老人在全景视觉的范围内每一帧图像中都会存在跟踪焦点，本发明中将老人出现的空间位置、时间和姿态信息写入到人体姿态数据库中内，人体姿态数据库的表格式如表2所示；

表2

表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的，即YYYYMMDDHHMMSS；空间编号是根据所述的人体对象跟踪单元中所得到跟踪焦点所处的空间位置来确定的；姿态编码是根据所述的姿态分析单元中所得到的人体姿态识别结果来设定的，姿态编码中将1命名为站立姿态、2命名为坐姿态、3命名为横躺姿态；考虑到老人家中其他人的来访情况，将是否有其他活动对象设置为false，如果只有一个人体对象情况将是否有其他活动对象设置为true；为了减少数据的冗余，如果人体跟踪对象消失或者静止的情况不产生记录；如果人体跟踪对象有活动情况时每条记录的间隔时间为10秒；

人体姿态的识别是通过人体跟踪框的高宽比来确定的，对于站立姿态的高宽比约为3∶1，坐姿态的高宽比约为1∶1，横躺姿态的高宽比约为1∶7；

所述的摔倒检测单元，根据人体姿态的检测结果以及是否在非静止区域情况来判断老人是否摔倒；如果分析的结果为横躺姿态并且老人不在沙发等休息区域就判断为老人出现摔倒；系统自动生成报警信息，系统生成的告知和报警信息发送给告知和报警单元；

动作行为分析单元，根据人体姿态数据库中前几帧中老人的姿态和当前老人的姿态分析得到老人的动作行为；本发明中主要考虑了老人从一个相对静止状态到下一个相对静止状态的动作行为，比如从坐在沙发上起身然后走到洗衣机旁开始洗衣服，操作完后离开洗衣机，…；在这个过程中老人坐在沙发上属于坐姿态并处于相对静止状态，起身后变成站姿态，走到洗衣机旁老人所处的空间位置发生了变化，并又从运动状态转化为相对静止状态；比如老人在行走过程中的跌倒，是从一个站的姿态转化为横躺的姿态，并处于相对静止状态；因此在分析老人行为时，从当前老人相对静止状态开始追溯到上一次老人相对静止状态，从两次间隔的相对静止状态的过程来识别老人的动作行为；

异常判断单元，根据当前老人的活动类型和日常生活数据库中所提取的老人的生活模式等信息通过异常判断算法进行老人行为异常判断，并将异常分为若干个等级，针对不同等级的异常的情况分别生成告知、紧急通知、报警等信息，通过告知和报警单元发送给相关部门和人员，以实现独居老人的安全监护

利用老人的日常生活规律来识别和判断老人的生活异常可以有效弥补老人不在视觉范围内的安全监护的不足，比如老人外出时间明显超过了平时外出归来的时间，老人进入了卫生间后的时间大大超过了平时在卫生间的时间，平时老人6点左右起床进入视觉监护范围等等，需要建立一种老人室内活动模型，该模型能够自学习老人的日常生活规律，从而预测老人在某一时段进入某一非视觉范围需要的活动时间，通过与实际活动时间的比较计算摔倒等异常发生的概率，如果异常概率超过安全域值则通知远程监护者；

要得到老人的日常生活规律，首先装置要自学习老人日常生活的规律性：学习老人某个时段通过某个空间位置离开视觉范围进入其他场所的活动的持续时间的规律性，例如老人在卧室里睡觉的持续时间的规律性、外出的持续时间的规律性和上卫生间的持续时间的规律性；

本发明提出的活动持续时间模型是一个单高斯模型P(t|μ，σ)，描述了老人在某个时间段进入非视觉范围的活动持续时间为t的概率；用公式(13)、(14)来表述；

使用低通滤波方法来更新高斯模型：

σ^SPNp _i ²＝(1-K)×σ^SPNo _i-1 ²+K×(t-μ^SPNo _i-1)²(13)

μ^SPNo _i＝(1-K)×μ^SPNo _i-1+K×t               (14)

其中，K是学习速度，系统初始化的时候，为了尽快学习到活动持续时间的规律性，K的取值一般比较大，在0.1～0.3之间；当系统经过一段时间的学习，活动高斯模型趋于稳定之后，可以把K的值调到一个较小值，如0.01，这样当前最新的活动持续时间对高斯模型的影响只有1％，从而可以很好的保持高斯模型的稳定性；σ^SPNp _i是某个空间位置上的高斯模型的标准差，该值通过统计人体姿态数据的记录来获得的，μ^SPNo _i是某个空间位置上的高斯模型的数学期望值，该值通过统计人体姿态数据的记录来计算得到的；

在非视觉范围情况下的老人的生活异常是根据老人离开某个空间位置的持续时间来判断，具体做法是根据公式(13)、(14)计算得到的活动持续时间模型的本次活动持续时间的预测期望值μ^SPNo _i和预测标准差值σ^SPNp _i，然后用公式(15)、(16)计算实际活动时间与预测值的差值和实际活动时间的概率，

${\mathrm{PE}}_i^{\mathrm{SPNo}}=t-t1-{{\mathrm{\&mu;}}^{\mathrm{SPNp}}}_i---\left(15\right)$

${\mathrm{PC}}_i^{\mathrm{SPNo}}=p(t-t1|i,{{\mathrm{\&mu;}}^{\mathrm{SPNo}}}_i,{{\mathrm{\&sigma;}}^{\mathrm{SPNo}}}_i)---\left(16\right)$

式中，t为当前系统时间，t1为老人离开某个空间位置的时间，σ^SPNp _i为某个空间位置上的高斯模型的标准差，μ^SPNo _i为某个空间位置上的高斯模型的数学期望值，

为实际活动时间与预测值的差值，为实际活动时间属于活动持续时间的高斯模型的概率，通过公式(17)来计算老人的生活异常概率，

$P^{\mathrm{SPNo}}=K1\&times;{\mathrm{PE}}_i^{\mathrm{SPNo}}+K2\&times;(1-{\mathrm{PC}}_i^{\mathrm{SPNo}})---\left(17\right)$

式中，K1、K2为权重值，

是老人的生活异常概率，当该值超过某一阈值T1时，系统自动生成告知信息；当该值超过某一阈值T2时，系统自动生成紧急通知信息；当该值超过某一阈值T3时，系统自动生成报警信息，T3＞T2＞T1；系统生成的告知和报警信息发送给告知和报警单元；

所述的告知和报警单元是将所述的异常判断单元或者所述的摔倒检测单元所生成的告知和报警信息通过各种网络发送给老人的远程监护者或者相关部门；

考虑到保护老人的个人隐私以及网络传输图像、视频数据的一些问题，因此系统发给远程监护者的告知和报警信息首选为文本方式；为了减少系统误报、误判断所产生的不利影响，系统允许远程监护者通过各种网络进行远程确认；远程监护者可以通过手机或者各种网络设备请求当时的所拍摄抓拍人体图像来确认老人是否处于危险状态；

ODVS的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图4中的2-双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om(0，0，c)，14-双曲面镜的虚焦点即摄像单元6的中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)；

图4中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1  当Z＞0时  (18)

$c=\sqrt{a^2+b^3}---\left(19\right)$

φ＝tan^-1(Y/X)                          (20)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(21)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(22\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

图2是ODVS的结构图，ODVS包括双曲面镜面2、上盖1、透明外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，所述的双曲面镜面2固定在所述的上盖1上，所述的连接单元7将所述的下固定座4和透明外罩3连接成一体，所述的透明外罩3与所述的上盖1以及所述的上罩8通过螺钉固定在一起，所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上，所述的摄像单元6固定座5用螺钉固定在所述的下固定座4上，所述的摄像单元6的输出端口是USB接口。

Claims (10)

1.一种基于全方位视觉的独居老人安全监护系统，其特征在于：所述基于全方位视觉的独居老人安全监护系统包括全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对独居老人的活动量、姿态、摔倒以及生活行为习惯进行分析处理判断的微处理器；所述的全方位摄像装置放置在老人房间内客厅中间的上方，用于拍摄整个老人家庭内老人日常生活的视频图像；所述的全方位摄像装置与所述的微处理器进行连接，所述的微处理器包括：

视频图像读取单元，用于读取全方位摄像装置所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；

视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；

空间位置定义单元，用于定义和命名在全景图像中老人室内空间位置；

家具和电器摆放位置输入单元，用于将所述的空间位置定义单元所定义的空间位置与老人家中的家具、电器和出入口建立映射关系；

前景对象检测单元，用于检测在全景柱状展开图像中存在的前景人体对象，具体采用MHI算法来计算前景人体对象，然后在柱状展开图像上用矩形框框住前景人体对象，并将矩形框提交给人体对象跟踪单元；

人体对象跟踪单元，根据前景对象检测单元所提交的矩形框采用Camshift算法对人体对象进行跟踪；

人体姿态分析单元，根据人体对象跟踪单元的结果采用人体模型算法估算出老人目前的姿态，并将当前的时刻、空间的位置和姿态的分析结果写入人体姿态数据库中；

摔倒检测单元，根据人体姿态的检测结果以及是否在非静止区域情况来判断老人是否摔倒；

动作行为分析单元，根据人体姿态数据库中前几帧中老人的姿态和当前老人的姿态分析得到老人的动作行为；

日常生活规律分析单元，根据人体姿态数据库、家具和家用电器与空间位置关系数据库以及当前老人动作行为判断结果等信息来分析和判断老人当前的活动类型，并将分析和判断结果写入日常生活数据库中；

异常判断单元，根据当前老人的活动类型和日常生活数据库中所提取的老人的生活模式等信息通过异常判断算法进行老人行为异常判断，并将异常分为若干个等级，针对不同等级的异常的情况分别生成告知、紧急通知和报警信息，通过告知和报警单元发送给相关部门和人员。

2.如权利要求1所述的基于全方位视觉的独居老人安全监护系统，其特征在于：所述的前景对象检测单元中，采用基于MHI的背景更新模型，利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像，最后利用后处理实现人体的分割与定位；

所述的基于MHI的背景更新模型，MHI的更新方式如公式(1)所示；

$\mathrm{mhi}(x,y)=\left\{\begin{array}{cc}\mathrm{ts},& \mathrm{sih}(x,y)\&NotEqual;0\\ 0,& \mathrm{sih}(x,y)=0\mathrm{andmhi}(x,y)<\mathrm{ts}-\mathrm{dur}\\ \mathrm{mhi}(x,y)& \mathrm{else}\end{array}\right.---\left(1\right)$

式中，mhi为运动历史图像，ts为当前时间，sih为图像的掩模，人体运动发生的地方取非零值，dur为运动跟踪的最大持续时间；

用公式(2)将图像由RGB颜色空间转换到YCbCr颜色空间，滤除Y分量，用Cb、Cr颜色来分割得到前景图像；

$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ \mathrm{Cr}=0.713(R-Y)\\ \mathrm{Cb}=0.564(B-Y)\end{array}\right.---\left(2\right)$

式中，Y为YCbCr颜色空间的Y分量，Cb为YCbCr颜色空间的Cb分量，Cr为YCbCr颜色空间的Cr分量；R为RGB颜色空间的R分量，G为RGB颜色空间的G分量，B为RGB颜色空间的B分量；

阴影去除算法如下：

Step1：用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值化，分别记为ImgL和ImgS；

Step2：利用背景减除之后的Cr和Cb图像分别进行二值化，分别记为ImgCr和ImgCb，得到的前景都去除了阴影，Cr得到的是红色色差分量，Cb得到的是蓝色色差分量，将两个色差结果取或得到去阴影的结果图像，记为ImgC＝ImgCrOR ImgCb，得到色差分割结果；

Step3：由于只靠色差分量得到的目标容易丢失没有颜色信息的目标，需要融合其亮度分量；取亮度阈值较大的二值化图像与色差二值化图像作或运算，记为Img1＝ImgC OR ImgL；

Step4：上述处理得到的结果容易有噪声，将ImgS作膨胀记为ImgS’，然后将Img1与ImgS’取与运算得到最终结果图像，Img＝Img1 AND ImgS’，由此得到的目标作为最终的运动目标前景；并将运动目标前景对象的中心位置和大小自动递交给所述的人体对象跟踪单元中CamShift算法以实现时而静止时而运动的人体对象的稳定跟踪。

3.如权利要求2所述的基于全方位视觉的独居老人安全监护系统，其特征在于：所述的人体对象跟踪单元中，根据所述的前景对象检测单元所提交的矩形框采用增强的Camshift算法对人体对象进行跟踪；

所述的增强的Camshifi算法如下：

步骤1：以所述前景对象检测单元中检测出的人体对象目标为基础，设定目标跟踪的ROI；

步骤2：计算ROI内的目标颜色概率密度分布；

步骤3：迭代Mean Shift直到收敛，记录其位置

和零阶矩

步骤4：对下一帧图像，以

为搜索窗中心位置，并根据的函数确定搜索窗大小，根据人体对象目标外接矩形确定ROI大小，转步骤2；

在Camshift算法的步骤2中，采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(3)所示：

$P(C/O)=\frac{P(C/O)P\left(O\right)}{P(C/O)P\left(O\right)+P(C/B)P\left(B\right)}---\left(3\right)$

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(3)获得目标对象在图像中的颜色概率密度分布，再按公式(4)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

$P^{\&prime;}(O/C)=\min [\frac{255}{\max \left(P(O/C)\right)}P(O,C),255]---\left(4\right)$

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的步骤4中，根据上一帧跟踪结果的零阶矩

的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(5)所示；

$s=2\&times;\sqrt{M_{00}^{\left(s\right)}/K}---\left(5\right)$

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；

根据人体对象目标运动的空间连续性，在所述的人体对象目标实时跟踪中，人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近，因此定义适当位置和适当大小的ROI，人体对象目标跟踪在ROI内完成；

CamShift算法过程如下：

1)：在颜色概率分布图中选取范围为R的搜索窗W；

2)：计算x和y的零阶矩、一阶矩、二阶矩，计算方法如公式(6)、(7)、(8)所示；

$\left\{\begin{array}{c}{M}_{00}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}I(x,y)\\ M_{11}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xyI}(x,y)\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yI}(x,y)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}{M}_{20}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^{2}I(x,y)\\ M_{02}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{y}^{2}I(x,y)\end{array}\right.---\left(8\right)$

3)：计算搜索窗的质心位置计算方法由公式(9)所示，

(x_c，y_c)＝(M₁₀/M₀₀，M₀₁/₀₀)(9)

4)：重新设置搜索窗的范围R；

5)：如果不收敛且循环次数小于预设值，则返回2)，否则结束；

算法中的收敛条件为：质心位置偏移量小于预定义阈值；

另外，被跟踪目标长轴方向角用公式(10)计算，

$\mathrm{\&theta;}=\frac{1}{2}\arctan \left\{\frac{2[(M_{11}/M_{00})-x_c{y}_c]}{[(M_{20}/M_{00})-{x_c}^2]-[(M_{02}/M_{00})-{y_c}^2]}\right\}---\left(10\right)$

$\left\{\begin{array}{c}a=(M_{20}/M_{00})-{x_c}^2\\ b=2[(M_{11}/M_{00})-x_c{y}_c]\\ c=[(M_{02}/M_{00})-{y_c}^2]\end{array}\right.$

则得到被跟踪对象的长轴、短轴的长度用公式(11)、(12)计算，

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}---\left(11\right)$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}---\left(12\right).$

4.如权利要求1～3之一所述的基于全方位视觉的独居老人安全监护系统，其特征在于：在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1  当Z＞0时  (18)

$c=\sqrt{a^2+b^2}---\left(19\right)$

φ＝tan^-1(Y/X)                          (20)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(21)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(22\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

所述的全方位摄像装置包括双曲面镜面、上盖、透明外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩，所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明外罩连接成一体，所述的透明外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上。

5.如权利要求1～3之一所述的基于全方位视觉的独居老人安全监护系统，其特征在于：所述的空间位置定义单元中，对独居老人家庭的空间进行网格化处理，从获取的全景图像上定义和命名室内空间的网格，作为一种简单的定义和命名方式是采用20×20mm大小的网格将可视范围内的空间进行分割，命名采用两位英文字母，从房间平面图的左上角开始顺序编排，第一位英文字母表示行，第二位英文字母表示列。

6.如权利要求1～3之一所述的基于全方位视觉的独居老人安全监护系统，其特征在于：所述的家具和电器摆放位置输入单元中，表1为空间位置编号与家具电器对应表，

  空间位置编号   家具、电器、室内门窗   BD   沙发右侧   BE   沙发左侧   AL   出入门口   PI   卧室门口   TK   阳台门口   IO   卫生间门口   JQ   洗衣机   TO   盥洗槽左侧   TP   盥洗槽右侧   ...   ...

表1。

7.如权利要求1～3之一所述的基于全方位视觉的独居老人安全监护系统，其特征在于：所述的人体姿态分析单元中，将老人出现的空间位置、时间和姿态信息写入到人体姿态数据库中内，人体姿态数据库的表格式如表2所示；

表2

表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的，即YYYYMMDDHHMMSS；空间编号是根据所述的人体对象跟踪单元中所得到跟踪焦点所处的空间位置来确定的；姿态编码是根据所述的姿态分析单元中所得到的人体姿态识别结果来设定的，姿态编码中将1命名为站立姿态、2命名为坐姿态、3命名为横躺姿态；考虑到老人家中其他人的来访情况，将是否有其他活动对象设置为false，如果只有一个人体对象情况将是否有其他活动对象设置为true；为了减少数据的冗余，如果人体跟踪对象消失或者静止的情况不产生记录；如果人体跟踪对象有活动情况时每条记录的间隔时间为10秒；

人体姿态的识别是通过人体跟踪框的高宽比来确定的，对于站立姿态的高宽比约为3∶1，坐姿态的高宽比约为1∶1，横躺姿态的高宽比约为1∶7。

8.如权利要求1～3之一所述的基于全方位视觉的独居老人安全监护系统，其特征在于：所述的摔倒检测单元中，如果分析的结果为横躺姿态并且老人不在休息区域就判断为老人出现摔倒；系统自动生成报警信息，系统生成的告知和报警信息发送给告知和报警单元。

9.如权利要求1～3之一所述的基于全方位视觉的独居老人安全监护系统，其特征在于：所述的动作行为分析单元中，从当前老人相对静止状态开始追溯到上一次老人相对静止状态，从两次间隔的相对静止状态的过程来识别老人的动作行为。

10.如权利要求1～3之一所述的基于全方位视觉的独居老人安全监护系统，其特征在于：所述的异常判断单元中，自学习老人日常生活的规律性：学习老人某个时段通过某个空间位置离开视觉范围进入其他场所的活动的持续时间的规律性，用活动持续时间模型，即单高斯模型P(t|μ，σ)来描述了老人在某个时间段进入非视觉范围的活动持续时间为t的概率；用公式(13)、(14)来表述；

使用低通滤波方法来更新高斯模型：

σ^SPNp _i ²＝(1-K)×σ^SPNo _i-1 ²+K×(t-μ^SPNo _i-1)²(13)

μS^PNo _i＝(1-K)×μ^SPNo _i-1+K×t               (14)

其中，K是学习速度，σ^SPNp _i是某个空间位置上的高斯模型的标准差，该值通过统计人体姿态数据的记录来获得的，μ^SPNo _i是某个空间位置上的高斯模型的数学期望值，该值通过统计人体姿态数据的记录来计算得到；

在非视觉范围情况下的老人的生活异常是根据老人离开某个空间位置的持续时间来判断，根据公式(13)、(14)计算得到的活动持续时间模型的本次活动持续时间的预测期望值μ^SPNo _i和预测标准差值σ^SPNp _i，然后用公式(15)、(16)计算实际活动时间与预测值的差值和实际活动时间的概率，

${\mathrm{PE}}_i^{\mathrm{SPNo}}=t-t1-{{\mathrm{\&mu;}}^{\mathrm{SPNp}}}_i---\left(15\right)$

${\mathrm{PC}}_i^{\mathrm{SPNo}}=p(t-t1|i,{{\mathrm{\&mu;}}^{\mathrm{SPNo}}}_i,{{\mathrm{\&sigma;}}^{\mathrm{SPNo}}}_i)---\left(16\right)$

式中，t为当前系统时间，t1为老人离开某个空间位置的时间，σ^SPNp _i为某个空间位置上的高斯模型的标准差，μ^SPNo _i为某个空间位置上的高斯模型的数学期望值，

为实际活动时间与预测值的差值，

为实际活动时间属于活动持续时间的高斯模型的概率，通过公式(17)来计算老人的生活异常概率，

$P^{\mathrm{SPNo}}=K1\&times;{\mathrm{PE}}_i^{\mathrm{SPNo}}+K2\&times;(1-{\mathrm{PC}}_i^{\mathrm{SPNo}})---\left(17\right)$

式中，K1、K2为权重值，

是老人的生活异常概率，当该值超过某一阈值T1时，系统自动生成告知信息；当该值超过某一阈值T2时，系统自动生成紧急通知信息；当该值超过某一阈值T3时，系统自动生成报警信息，T3＞T2＞T1；系统生成的告知和报警信息发送给告知和报警单元。

Images