CN106991790A - 基于多模特征分析的老人摔倒实时监测方法及系统 - Google Patents

Abstract

本发明提供了一种基于多模特征分析的老人摔倒实时监测方法及系统，其运用运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号对老人摔倒情况进行实时的监测和预警，提高了所提取信息的可靠性和有效性，有助于对于老人摔倒情况做出准确判决；并且多模态的特征参数之间各有所长、相互补足，在其中的某些特征参数因设备故障、老人未佩戴可穿戴设备等特殊原因而出现缺失时，依然能够通过剩余的特征参数来完成老人摔倒情况的识别和监测，从而克服了基于单一模态参数进行老人摔倒监测容易导致监测准确率不佳、监测效果容易受到使用环境影响的缺陷，大大提高了老人摔倒实时监测的实用性和适应性。

Description

基于多模特征分析的老人摔倒实时监测方法及系统

技术领域

本发明涉及物联网技术和老人监护技术领域，具体涉及一种基于多模特征分析的老人摔倒实时监测方法及系统。

背景技术

据统计，2015年，我国60岁及以上人口达到2.22亿，占总人口的16.15%。预计到2020年，我国老年人口达到2.48亿，老龄化水平达到17.17%，其中80岁以上老年人口将达到3067万人；2025年，我国60岁以上人口将达到3亿，成为超老年型国家。中国人口的老龄化和老年家庭的空巢化趋势越来越严重，这些空巢老年人的监护问题已成为社会关注的问题。由于老人们随着年龄的变大，生理机能的减弱，自理能力越来越差，很可能由于不小心的跌倒而无人帮扶，而摔倒会造成严重的后果。据有关资料统计，在伤害死亡原因中跌倒排第四位，而在老年人中跌倒是导致死亡的首要因素。老人一旦跌倒又没有获得及时救治，往往会遭受严重伤害。因此，实时监测家中老人是否摔倒已逐渐成为很多子女的必要需求。

目前市面上提供老人摔倒监护检测的方式大多是依靠智能手环、智能拐杖等监测设备，通过监测老人行走步态等信息赖判断老人是否摔倒，并进行摔倒预警。但是现有的这些监测技术，往往是仅基于单模态参数的采集，对老师进行摔倒监测判断，在实际应用中依然存在不足，主要表现在：一是仅基于单模态参数的采集进行摔倒监测判断容易受到老人自身行动状态的影响，可能出现摔倒误判（将正常行动情况误判为摔倒）、漏判（未能正确识别出真正的摔倒动作）的情况，监测准确率效果不理想；二是仅基于单模态参数的采集进行摔倒监测判断容易受到使用环境的影响，例如老人忘记使用智能手环、智能拐杖等监测设备，就完全失去了监测效果。

因此，如何提供更好的老人摔倒监护检测实现方案，成为了一个有待解决的问题。

发明内容

针对现有技术中存在的不足，本发明的目的在于提供一种基于多模特征分析的老人摔倒实时监测方法，用以更加可靠、准确的对老人在室内环境中摔倒的情况进行监测和预警，以解决现有老人摔倒监护检测方案的监测准确率不佳、监测效果容易受到使用环境影响的问题。

相应地，本发明还提供了一种基于多模特征分析的老人摔倒实时监测系统。

为实现上述目的，本发明采用了如下技术方案：

基于多模特征分析的老人摔倒实时监测方法，实时获取被监测老人所在环境区域内的视频图像数据和音频数据，并通过可穿戴设备同步地实时采集被监测老人的运动加速度信号、角速度信号和心率信号，实时地从视频图像数据中提取出运动物体图像特征参数，且实时地从音频数据中提取出人声音频特征参数，并连同实时采集到的被监测老人的运动加速度信号、角速度信号和心率信号共同作为老人摔倒监测识别特征，输入至预测识别分类器，通过预测识别分类器进行实时的分类识别，综合判断当前的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征，若满足，则对外发送老人摔倒报警信息。

上述基于多模特征分析的老人摔倒实时监测方法中，具体而言，所述预测识别分类器中设有通过预先训练得到的预测识别分类函数，所述预测识别分类函数用于指示输入到预测识别分类器的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征。

上述基于多模特征分析的老人摔倒实时监测方法中，作为优选方案，训练预测识别分类器中预测识别分类函数的方法为：获取不同的多组在老人摔倒情况下对应的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号，将每一组老人摔倒情况下对应的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号作为一个老人摔倒监测识别训练样本，利用所获得的各个老人摔倒监测识别训练样本，使用K折交叉验证法对预测识别分类器进行训练，K为所获取到的老人摔倒监测识别训练样本的总数量，从而得到预测识别分类器的预测识别分类函数。

上述基于多模特征分析的老人摔倒实时监测方法中，作为优选方案，从视频图像数据中提取出运动物体图像特征参数的具体方式为：

a1）针对当前帧视频图像数据，采用前景检测算法检测出运动物体目标；

a2）对当前帧视频图像数据中的运动物体目标进行轮廓识别，并对当前帧视频图像数据中的运动物体目标轮廓进行椭圆拟合，得到运动物体目标的轮廓拟合椭圆；

a3）计算当前帧视频图像数据中所得的轮廓拟合椭圆的如下一种或多种特征参数作为从当前帧视频图像数据中提取出的运动物体图像特征参数：

①当前帧视频图像数据中轮廓拟合椭圆的短轴b与长轴a的比值b/a；

②前一帧视频图像数据与当前帧视频图像数据的轮廓拟合椭圆的短轴b与长轴a比值的变化量v(b/a)；

③当前帧视频图像数据中轮廓拟合椭圆的长轴a相对于水平方向的夹角θ；

④前一帧视频图像数据与当前帧视频图像数据的轮廓拟合椭圆的长轴a相对于水平方向夹角变化量v(θ)；

⑤当前帧视频图像数据中轮廓拟合椭圆的面积S；

⑥当前帧视频图像数据中轮廓拟合椭圆的中心点相对于其最低位置点的高度h；

a4）针对每一帧视频图像数据执行步骤a1）~a3）的处理，实时地从每一帧视频图像数据中提取出运动物体图像特征参数。

上述基于多模特征分析的老人摔倒实时监测方法中，作为优选方案，从音频数据中提取出人声音频特征参数的具体方式为：

b1）将当前单位时段内接收到的音频数据进行离散采样和量化处理，得到对应的音频数字信号

b2）对得到的音频数字信号进行预加重、分帧和加窗处理，分离得到多个音频数字信号帧；

b3）分别对每个音频数字信号帧进行快速傅里叶变换，得到各个音频数字信号帧的频谱，进而求得各个音频数字信号帧对应的幅度谱；

b4）通过梅尔滤波器组分别对各个音频数字信号帧对应的幅度谱进行滤波处理后进行对数运算，计算各个音频数字信号帧对应的幅度谱经过滤波处理后的对数能量值，再进行离散余弦变换，得到当前单位时段的音频数据对应的梅尔频率倒谱系数，作为当前单位时段的音频数据的人声音频特征参数；

b5）根据预设定的单位时段划分方式，针对每一单位时段的音频数据执行步骤b1）~b4）的处理，实时地从每一单位时段的音频数据中提取出人声音频特征参数。

上述基于多模特征分析的老人摔倒实时监测方法中，作为优选方案，所述预测识别分类器所对外发送的老人摔倒报警信息通过有线或无线传输的方式传输至被监测老人所在环境区域的报警装置。

上述基于多模特征分析的老人摔倒实时监测方法中，作为优选方案，所述预测识别分类器所对外发送的老人摔倒报警信息通过有线或无线传输的方式传输至老人监护人的监护预警客户端。

基于多模特征分析的老人摔倒实时监测系统，包括设置在被监测老人所在环境区域内的视频采集设备、音频采集设备和监测分析装置，还包括用于供被监测老人佩戴使用的可穿戴设备，所述可穿戴设备内置有六轴加速度传感器和心率传感器；

所述视频采集设备用于实时获取被监测老人所在环境区域内的视频图像数据，并通过有线或无线通信传输至监测分析装置；

所述音频采集设备用于实时获取被监测老人所在环境区域内的音频数据，并通过有线或无线通信传输至监测分析装置；

所述可穿戴设备用于分别通过六轴加速度传感器和心率传感器同步地实时采集被监测老人的运动加速度信号、角速度信号和心率信号，并通过无线通信传输至监测分析装置；

所述监测分析装置中存储有预测识别分类器，监测分析装置用于实时地从视频图像数据中提取出运动物体图像特征参数，且实时地从音频数据中提取出人声音频特征参数，并连同实时采集到的被监测老人的运动加速度信号、角速度信号和心率信号共同作为老人摔倒监测识别特征，输入至预测识别分类器，通过预测识别分类器进行实时的分类识别，综合判断当前的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征，若满足，则对外发送老人摔倒报警信息。

上述基于多模特征分析的老人摔倒实时监测系统中，作为优选方案，还包括设置在被监测老人所在环境区域的报警装置；所述监测分析装置的对外所发送的老人摔倒报警信息通过有线或无线传输的方式传输至所述报警装置。

上述基于多模特征分析的老人摔倒实时监测系统中，作为优选方案，还包括用于供老人监护人使用的监护预警客户端；所述监测分析装置的对外所发送的老人摔倒报警信息通过有线或无线传输的方式传输至所述监护预警客户端。

相比于现有技术，本发明具有如下有益效果：

1、本发明基于多模特征分析的老人摔倒实时监测方法和系统中，运用运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号对老人摔倒情况进行实时的监测和预警，提高了所提取信息的可靠性和有效性，有助于对于老人摔倒情况做出准确判决。

2、本发明基于多模特征分析的老人摔倒实时监测方法和系统，运用多个特征参数来描述人体行为包含了更多的有效信息，这些多模态的特征参数之间各有所长、相互补足，在其中的某些特征参数因设备故障、老人未佩戴可穿戴设备等特殊原因而出现缺失时，依然能够通过剩余的特征参数来完成老人摔倒情况的识别和监测，从而克服了基于单一模态参数进行老人摔倒监测容易导致监测准确率不佳、监测效果容易受到使用环境影响的缺陷，大大提高了老人摔倒实时监测的实用性和适应性。

附图说明

图1为本发明基于多模特征分析的老人摔倒实时监测方法的流程图。

图2为本发明基于多模特征分析的老人摔倒实时监测系统的构架结构图。

具体实施方式

为了解决现有技术中老人摔倒监护检测方案存在监测准确率不佳、监测效果容易受到使用环境影响等问题，需要寻找一种新的适用于室内环境的老人摔倒监测方案。为此，本发明提供了一种基于多模特征分析的老人摔倒实时监测方法，该方法通过实时获取被监测老人所在环境区域内的视频图像数据和音频数据，并通过可穿戴设备同步地实时采集被监测老人的运动加速度信号、角速度信号和心率信号，实时地从视频图像数据中提取出运动物体图像特征参数，且实时地从音频数据中提取出人声音频特征参数，并连同实时采集到的被监测老人的运动加速度信号、角速度信号和心率信号共同作为老人摔倒监测识别特征，输入至预测识别分类器，通过预测识别分类器进行实时的分类识别，综合判断当前的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征，若满足，则对外发送老人摔倒报警信息。

本发明的老人摔倒实时监测方法流程的构架图如图1所示，其监测主要从四个方面展开：第一是获取被监测老人所在环境区域内的实时的视频图像数据，并实时的提取出运动物体图像特征参数，用于识别出老人是否出现倒下、蜷缩等异常动态特征；第二是获取被监测老人所在环境区域内的实时的音频数据，并实时的提取出人声音频特征参数，用于检测老人是否发出摔倒时的异常叫声，如“啊”的喊声或者呻吟声等；第三是通过可穿戴设备同步地实时采集被监测老人的运动加速度信号和角速度信号，可通过在可穿戴设备上设置加速度传感器检测得到，用于辅助判断老人的行动姿态特征；第四是通过可穿戴设备同步地实时采集被监测老人的心率信号，可通过在可穿戴设备上设置心率传感器检测得到，用于监测老人心率情况。综合以上四方面的数据信息，利用预测识别分类器对老人摔倒情况进行识别判断，若识别到满足老人摔倒情况时所对应的老人摔倒监测识别特征，则对外发送老人摔倒报警信息，实施报警。

要实现该监测方法，需要设计一套基于上述各模态特征参数的老人摔倒实时监测系统。因此，基于本发明老人摔倒实时监测方法的流程构架，本发明相应提供了基于多模特征分析的老人摔倒实时监测系统，如图2所示，该系统包括设置在被监测老人所在环境区域内的视频采集设备、音频采集设备和监测分析装置，还包括用于供被监测老人佩戴使用的可穿戴设备，所述可穿戴设备内置有六轴加速度传感器和心率传感器；视频采集设备用于实时获取被监测老人所在环境区域内的视频图像数据，并通过有线或无线通信传输至监测分析装置；音频采集设备用于实时获取被监测老人所在环境区域内的音频数据，并通过有线或无线通信传输至监测分析装置；可穿戴设备用于分别通过六轴加速度传感器和心率传感器同步地实时采集被监测老人的运动加速度信号、角速度信号和心率信号，并通过无线通信传输至监测分析装置；监测分析装置中存储有预测识别分类器，监测分析装置用于实时地从视频图像数据中提取出运动物体图像特征参数，且实时地从音频数据中提取出人声音频特征参数，并连同实时采集到的被监测老人的运动加速度信号、角速度信号和心率信号共同作为老人摔倒监测识别特征，输入至预测识别分类器，通过预测识别分类器进行实时的分类识别，综合判断当前的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征，若满足，则对外发送老人摔倒报警信息。

本发明的老人摔倒实时监测方法和系统，主要技术特点在于如何基于视频图像数据、音频数据、运动加速度信号、角速度信号和心率信号来综合地判断实现对老人摔倒情况的实时监测。

针对获取到被监测老人所在环境区域内的视频图像数据，需要提取出运动物体图像特征参数，用于识别出老人是否出现倒下、蜷缩等异常动态特征。具体实施而言，如图1所示，可以对视频图像数据进行如下的数据提取处理：

a1）针对当前帧视频图像数据，采用前景检测算法检测出运动物体目标；

a2）对当前帧视频图像数据中的运动物体目标进行轮廓识别，并对当前帧视频图像数据中的运动物体目标轮廓进行椭圆拟合，得到运动物体目标的轮廓拟合椭圆；

a3）计算当前帧视频图像数据中所得的轮廓拟合椭圆的如下一种或多种特征参数作为从当前帧视频图像数据中提取出的运动物体图像特征参数：

①当前帧视频图像数据中轮廓拟合椭圆的短轴b与长轴a的比值b/a；

②前一帧视频图像数据与当前帧视频图像数据的轮廓拟合椭圆的短轴b与长轴a比值的变化量v(b/a)；

③当前帧视频图像数据中轮廓拟合椭圆的长轴a相对于水平方向的夹角θ；

④前一帧视频图像数据与当前帧视频图像数据的轮廓拟合椭圆的长轴a相对于水平方向夹角变化量v(θ)；

⑤当前帧视频图像数据中轮廓拟合椭圆的面积S；

⑥当前帧视频图像数据中轮廓拟合椭圆的中心点相对于其最低位置点的高度h；

a4）针对每一帧视频图像数据执行步骤a1）~a3）的处理，实时地从每一帧视频图像数据中提取出运动物体图像特征参数。

该处理流程中，前景检测算法可以采用CodeBook算法、平均背景算法等常用方法，通过建立图像背景模型，提取出视频图像数据中的运动物体目标；在室内监控环境中，老人即为视频图像数据中的运动物体目标。具体采用的前景检测算法优选采用CodeBook算法，其流程为建立背景模型、检测运动目标、更新背景模型并进行时间滤波、继续检测运动目标；优点在于，针对室内、室外的视频图像都能很好的实现运动物体目标的分离识别，能够适应小范围周期性运动的背景以及灯光缓慢变化或者有规律变化的光线环境，并且背景模型的训练过程不需要完全干净无前景的背景，适应有前景目标移动的背景建模，这对于室内环境中太阳光线缓慢变化的实际情况非常实用。然后，针对视频图像数据中的运动物体目标经过轮廓识别和椭圆拟合后，运动物体目标的轮廓拟合椭圆的上述①~⑥中的一种或多种特征参数作为从视频图像数据中提取出的运动物体图像特征参数，这些运动物体图像特征参数能够很好的表征被检测老人动态特征的状态和变化情况。进行椭圆拟合，能够更切合人体的轮廓，并且能够使得特征参数运算大幅简化，由此计算出的运动物体图像特征参数能够保证较高的准确度。

针对获取到被监测老人所在环境区域内的音频数据，需要提取出人声音频特征参数，用于检测老人是否发出摔倒时的异常叫声。具体实施而言，如图1所示，可以对音频数据进行如下的数据提取处理：

b1）将当前单位时段内接收到的音频数据进行离散采样和量化处理，得到对应的音频数字信号；

b2）对得到的音频数字信号进行预加重、分帧和加窗处理，分离得到多个音频数字信号帧；

b3）分别对每个音频数字信号帧进行快速傅里叶变换，得到各个音频数字信号帧的频谱，进而求得各个音频数字信号帧对应的幅度谱；

b4）通过梅尔滤波器组分别对各个音频数字信号帧对应的幅度谱进行滤波处理后进行对数运算，计算各个音频数字信号帧对应的幅度谱经过滤波处理后的对数能量值，再进行离散余弦变换，得到当前单位时段的音频数据对应的梅尔频率倒谱系数，作为当前单位时段的音频数据的人声音频特征参数；

b5）根据预设定的单位时段划分方式，针对每一单位时段的音频数据执行步骤b1）~b4）的处理，实时地从每一单位时段的音频数据中提取出人声音频特征参数。

由于音频数据是连续数据，为了实现人声音频特征参数的实时提取以用于实时识别，需要根据预设定的单位时段划分方式，对音频数据进行单位时段的划分，例如以1秒或多秒作为一个单位时段等划分方式。目前，有很多特征可以用于表征声音信号，在环境音分类研究领域常用且有效的特征参数包括短时过零率（ZCR）、短时能量、基频、带宽、频率中心、线性预测模型（LPC）、线性预测倒谱系数（LPCC）、梅尔频率倒谱系数（MFCC）等，作为音频数据的特征参数。其中，声音信号特征的 梅尔（Mel）频率尺度的值大体上与线性频率呈对数关系，不同频率的声音，会在耳内基础膜的不同位置振动，这样人耳就可以很容易区分各种声音，因此，MFCC 参数作为目标的识别参数能更好地反应各种声音信号的特性，能够提高系统的抗噪能力和识别率。因此，本发明优选提取梅尔频率倒谱系数作为音频数据的人声音频特征参数。其提取处理过程是，对一个单位时段的音频数据经离散采样、量化处理后，能够变成时域和幅值上都离散的音频数字信号，就可对其进行数字化处理；预加重处理其实是将音频数字信号通过一个高通滤波器，目的是提升高频部分，使音频数字信号的频谱变得平坦，移除频谱倾斜，来补偿语音信号受到发音系统所抑制的高频部分，同时，也是为了消除发生过程中声带和嘴唇的效应（因为口唇辐射可以等效为一个一阶零点模型）；接下来是分帧、加窗处理，因为一个单位时段的声音信号为短时平稳信号，所以需要进行分帧处理，以便把每一帧当成平稳信号处理，同时为了减少帧与帧之间的变化，相邻帧之间取重叠；做完这些工作之后，再经过快速傅里叶变换（FFT）、频谱、加Mel滤波器组、对数运算以及离散余弦变换（DCT），即可得到梅尔频率倒谱系数。提取音频数据的梅尔频率倒谱系数中涉及的快速傅里叶变换、频谱、加Mel滤波器组、对数运算、离散余弦变换等具体算法属于较为成熟的技术，因此不再对具体运算方法进行展开说明。

摔倒行为往往伴随着身体姿态的改变，继而加速度和角速度都会随之改变。因此，利用可穿戴设备的六轴加速度传感器，可以随时检测老人运动时的运动加速度信号和角速度信号。

另外还需要实时检测老人的心率信息，这个功能由可穿戴设备的心率传感器来完成。

而作为可穿戴设备的的具体实现形式，可以是智能手环、供老人随身携带的手机等实现形式。

完成上述的信息采集和特征参数提取处理之后，就需要通过预测识别分类器进行实时的分类识别，综合判断当前的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征。预测识别分类器中设有通过预先训练得到的预测识别分类函数，该预测识别分类函数用于指示输入到预测识别分类器的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征。对于具体实施而言，训练预测识别分类器中预测识别分类函数的方法为：获取不同的多组在老人摔倒情况下对应的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号，将每一组老人摔倒情况下对应的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号作为一个老人摔倒监测识别训练样本，利用所获得的各个老人摔倒监测识别训练样本，使用K折交叉验证法对预测识别分类器进行训练，K为所获取到的老人摔倒监测识别训练样本的总数量，从而得到预测识别分类器的预测识别分类函数。

本发明在预测识别分类器的训练中优选采用K折交叉验证法。交叉验证法，是在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方加和。在使用训练集对参数进行训练的时候，通常将获得的采样样本分为训练集（train_set）和评估集（valid_set），训练集用是用来参与训练的数据，而评估集则用来对训练集生成的参数进行测试，以评估训练效果。K折交叉验证，就是将初始采样样本分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练；交叉验证重复K次，每个子样本验证一次，平均K次的结果或者使用其它结合方式，最终得到一个单一估测。这个方法的优势在于，同时重复运用随机产生的子样本进行训练和验证，每次的结果验证一次。利用K折交叉验证法来训练预测识别分类器，能够有效的提高预测识别分类器基于运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号综合判断摔倒行为和日常活动行为的识别准确度。

在本发明基于多模特征分析的老人摔倒实时监测方法和系统中，预测识别分类器的具体实现形式，也可以采用现有技术中实现二分类（即是、否摔倒的二分类）的常用分类器，例如SVM（支持向量机）分类器等。针对预测识别分类器进行训练的老人摔倒监测识别训练样本数据量及其对应的老人摔倒情况数越多，则训练所得的预测识别分类器能够综合判断当前的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征的准确性就越高。

至于在识别到老人摔倒时所对外发送的老人摔倒报警信息，可以通过有线或无线传输的方式传输至被监测老人所在环境区域的报警装置，也可以通过有线或无线传输的方式传输至老人监护人的监护预警客户端。因此，在具体实现老人摔倒实时监测系统时，如图2所示，可以在被监测老人所在环境区域设置报警装置，例如在老人所在的房屋或监测室门外设置声光报警器等报警装置，用以实现现场预警通知，以便于在监测到老人摔倒时通过报警装置能够通知附近的其他人员前来实施救助；此外，系统中的监测分析装置可以通过有线互联网络连接至老人监护人使用的桌面电脑，或者监测分析装置可以通过移动互联网络与老人监护人使用的手机、可穿戴设备、便携式移动电脑等移动终端设备建立无线网络连接，以这些桌面电脑、手机、可穿戴设备、便携式移动电脑等设备作为监护预警客户端，从而监测分析装置的对外所发送的老人摔倒报警信息能够通过有线或无线传输的方式传输至所述监护预警客户端，用以将老人摔倒的预警信息通知给老人监护人，便于老人监护人及时的采取相应救助措施。

综上所述，本发明的老人摔倒实时监测方法和系统中，运用运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号对老人摔倒情况进行实时的监测和预警，提高了所提取信息的可靠性和有效性，有助于对于老人摔倒情况做出准确判决；并且多个特征参数来描述人体行为包含了更多的有效信息，这些多模态的特征参数之间各有所长、相互补足，在其中的某些特征参数因设备故障、老人未佩戴可穿戴设备等特殊原因而出现缺失时，依然能够通过剩余的特征参数来完成老人摔倒情况的识别和监测，从而克服了基于单一模态参数进行老人摔倒监测容易导致监测准确率不佳、监测效果容易受到使用环境影响的缺陷，大大提高了老人摔倒实时监测的实用性和适应性。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于多模特征分析的老人摔倒实时监测方法，其特征在于，实时获取被监测老人所在环境区域内的视频图像数据和音频数据，并通过可穿戴设备同步地实时采集被监测老人的运动加速度信号、角速度信号和心率信号，实时地从视频图像数据中提取出运动物体图像特征参数，且实时地从音频数据中提取出人声音频特征参数，并连同实时采集到的被监测老人的运动加速度信号、角速度信号和心率信号共同作为老人摔倒监测识别特征，输入至预测识别分类器，通过预测识别分类器进行实时的分类识别，综合判断当前的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征，若满足，则对外发送老人摔倒报警信息。

2.根据权力要力求1所述基于多模特征分析的老人摔倒实时监测方法，其特征在于，所述预测识别分类器中设有通过预先训练得到的预测识别分类函数，所述预测识别分类函数用于指示输入到预测识别分类器的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征。

3.根据权力要力求2所述基于多模特征分析的老人摔倒实时监测方法，其特征在于，训练预测识别分类器中预测识别分类函数的方法为：获取不同的多组在老人摔倒情况下对应的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号，将每一组老人摔倒情况下对应的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号作为一个老人摔倒监测识别训练样本，利用所获得的各个老人摔倒监测识别训练样本，使用K折交叉验证法对预测识别分类器进行训练，K为所获取到的老人摔倒监测识别训练样本的总数量，从而得到预测识别分类器的预测识别分类函数。

4.根据权力要力求1所述基于多模特征分析的老人摔倒实时监测方法，其特征在于，从视频图像数据中提取出运动物体图像特征参数的具体方式为：

a1）针对当前帧视频图像数据，采用前景检测算法检测出运动物体目标；

a2）对当前帧视频图像数据中的运动物体目标进行轮廓识别，并对当前帧视频图像数据中的运动物体目标轮廓进行椭圆拟合，得到运动物体目标的轮廓拟合椭圆；

a3）计算当前帧视频图像数据中所得的轮廓拟合椭圆的如下一种或多种特征参数作为从当前帧视频图像数据中提取出的运动物体图像特征参数：

①当前帧视频图像数据中轮廓拟合椭圆的短轴b与长轴a的比值b/a；

②前一帧视频图像数据与当前帧视频图像数据的轮廓拟合椭圆的短轴b与长轴a比值的变化量v(b/a)；

③当前帧视频图像数据中轮廓拟合椭圆的长轴a相对于水平方向的夹角θ；

④前一帧视频图像数据与当前帧视频图像数据的轮廓拟合椭圆的长轴a相对于水平方向夹角变化量v(θ)；

⑤当前帧视频图像数据中轮廓拟合椭圆的面积S；

⑥当前帧视频图像数据中轮廓拟合椭圆的中心点相对于其最低位置点的高度h；

a4）针对每一帧视频图像数据执行步骤a1）~a3）的处理，实时地从每一帧视频图像数据中提取出运动物体图像特征参数。

5.根据权力要力求1所述基于多模特征分析的老人摔倒实时监测方法，其特征在于，从音频数据中提取出人声音频特征参数的具体方式为：

b1）将当前单位时段内接收到的音频数据进行离散采样和量化处理，得到对应的音频数字信号

b2）对得到的音频数字信号进行预加重、分帧和加窗处理，分离得到多个音频数字信号帧；

b3）分别对每个音频数字信号帧进行快速傅里叶变换，得到各个音频数字信号帧的频谱，进而求得各个音频数字信号帧对应的幅度谱；

b4）通过梅尔滤波器组分别对各个音频数字信号帧对应的幅度谱进行滤波处理后进行对数运算，计算各个音频数字信号帧对应的幅度谱经过滤波处理后的对数能量值，再进行离散余弦变换，得到当前单位时段的音频数据对应的梅尔频率倒谱系数，作为当前单位时段的音频数据的人声音频特征参数；

b5）根据预设定的单位时段划分方式，针对每一单位时段的音频数据执行步骤b1）~b4）的处理，实时地从每一单位时段的音频数据中提取出人声音频特征参数。

6.根据权力要力求1所述基于多模特征分析的老人摔倒实时监测方法，其特征在于，所述预测识别分类器所对外发送的老人摔倒报警信息通过有线或无线传输的方式传输至被监测老人所在环境区域的报警装置。

7.根据权力要力求1所述基于多模特征分析的老人摔倒实时监测方法，其特征在于，所述预测识别分类器所对外发送的老人摔倒报警信息通过有线或无线传输的方式传输至老人监护人的监护预警客户端。

8.基于多模特征分析的老人摔倒实时监测系统，其特征在于，包括设置在被监测老人所在环境区域内的视频采集设备、音频采集设备和监测分析装置，还包括用于供被监测老人佩戴使用的可穿戴设备，所述可穿戴设备内置有六轴加速度传感器和心率传感器；

所述视频采集设备用于实时获取被监测老人所在环境区域内的视频图像数据，并通过有线或无线通信传输至监测分析装置；

所述音频采集设备用于实时获取被监测老人所在环境区域内的音频数据，并通过有线或无线通信传输至监测分析装置；

所述可穿戴设备用于分别通过六轴加速度传感器和心率传感器同步地实时采集被监测老人的运动加速度信号、角速度信号和心率信号，并通过无线通信传输至监测分析装置；

所述监测分析装置中存储有预测识别分类器，监测分析装置用于实时地从视频图像数据中提取出运动物体图像特征参数，且实时地从音频数据中提取出人声音频特征参数，并连同实时采集到的被监测老人的运动加速度信号、角速度信号和心率信号共同作为老人摔倒监测识别特征，输入至预测识别分类器，通过预测识别分类器进行实时的分类识别，综合判断当前的运动物体图像特征参数、人声音频特征参数、运动加速度信号、角速度信号和心率信号是否满足老人摔倒情况时所对应的老人摔倒监测识别特征，若满足，则对外发送老人摔倒报警信息。

9.根据权利要求8所述基于多模特征分析的老人摔倒实时监测系统，其特征在于，还包括设置在被监测老人所在环境区域的报警装置；所述监测分析装置的对外所发送的老人摔倒报警信息通过有线或无线传输的方式传输至所述报警装置。

10.根据权利要求8所述基于多模特征分析的老人摔倒实时监测系统，其特征在于，还包括用于供老人监护人使用的监护预警客户端；所述监测分析装置的对外所发送的老人摔倒报警信息通过有线或无线传输的方式传输至所述监护预警客户端。