CN108960056B - 一种基于姿态分析和支持向量数据描述的跌倒检测方法 - Google Patents

Abstract

本发明公开了一种基于姿态分析和支持向量数据描述的跌倒检测方法，包括以下步骤：步骤1：获取采集区域内的视频数据，截取人体行为的关键帧；步骤2：将步骤1中每一帧图像通过基于深度学习的人体姿态估计模型得到人体关节点的坐标；步骤3：选取部分关节点的运动轨迹特征；步骤4：将步骤3得到的特征通过支持向量数据描述模型判断是否为跌倒；本发明能够很好的处理人的体积和形状并不固定、衣着变化多样、遮挡及非平衡数据中跌倒数据少等问题；自动化处理水平较高，具有较高的识别率和较低的误检率，可以极大减小老年人跌倒不能及时发现的风险。

Description

一种基于姿态分析和支持向量数据描述的跌倒检测方法

技术领域

本发明涉及摔倒监控安全领域，具体涉及一种基于姿态分析和支持向量数据描述的跌倒检测方法。

背景技术

科技的进步使得生活和医疗水平不断提高，人类的寿命不断提高；据官方统计，截止到2015年世界60岁以上的老年人口达到9.01亿，预计2050年将达到20亿；随着年龄的增长，老年人的身体机能逐步下降，意外摔倒的风险将逐年提高；摔倒已经成为导致65岁以上老年人意外死亡和受伤的最大诱因；老年人摔倒后，如能得到及时的救助，可以有效降低80％的死亡风险和26％的住院长期治疗风险；因此，如何对摔倒行为进行检测和报警具有重要的意义。

目前摔倒自动检测报警系统主要是通过可穿戴设备自动采集人体运动的加速度信息，综合人体加速度和运动时间之间的关系，判断人体是否摔倒以及是否需要求助；然而，可穿戴设备需要额外佩戴和充电，阻碍了实际使用的效果；如果老人忘记穿戴或者设备没电，此时一旦发生危险，不能及时报警求助，后果将不堪设想。

随着家庭安全监控的普及和计算机视觉技术的发展，基于视频的老人跌倒检测技术得到越来越多的关注；传统基于视频的跌倒检测方法是先确定视频中人体位置，然后提取特征，最后通过跌倒检测算法进行跌倒检测；这类方法往往在实际应用中不能很好的适用于日常生活情况，因为训练所用的数据集，情况简单并不符合实际情况；尤其现实生活中的场景复杂、遮挡问题严重，对人的识别容易出现误检和漏检；兵器实际跌倒样本不容易获得，造成真实的跌倒样本较少，提取的特征不能完全覆盖跌倒情况；国内近年来对通过2D人体姿态进行跌倒检测的方法有所研究，公开号为CN107103733A的中国发明专利“一种摔倒报警方法、装置及设备”，将环境视频处理成多帧第一图像序列；得到环境视频中人体的多个关键点，将多个关键点按预设规则生成第一关键点序列；根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒，此方法容易产生误检、漏检。

发明内容

本发明提供一种适用于多种环境、具有较高的识别率和较低的误检率的基于姿态分析和支持向量数据描述的跌倒检测方法。

本发明采用的技术方案是：一种基于姿态分析和支持向量数据描述的跌倒检测方法，包括以下步骤：

步骤1：获取采集区域内的视频数据，截取人体行为的关键帧；

步骤2：将步骤1中每一帧图像通过基于深度学习的人体姿态估计模型得到人体关节点的坐标；

步骤3：选取部分关节点的运动轨迹特征；

步骤4：将步骤3得到的特征通过支持向量数据描述模型判断是否为跌倒。

进一步的，步骤3之前还包括对人体关节点的坐标进行归一化处理；具体处理过程如下：

选取肩部位置作为基准，纵坐标选择α倍的肩宽为基准；

式中：P为归一化后的坐标，x₁,y₁为中心点的横坐标和纵坐标，x₂,y₂为右肩膀的横坐标和纵坐标，x₅,y₅为左肩膀的横坐标和纵坐标，x_n,y_n为要归一化的横坐标和纵坐标。

进一步的，所述步骤3具体过程如下：

关节点i在时刻t的位置为p_i(t)，整个序列关节点i的运动轨迹为c_i(t)＝(p_i(1),p_i(2),...,p_i(T))；

动作A表示为：

A＝c_i(t),t∈[0,T],0≤i≤17。

进一步的，所述步骤4中判断是否跌倒的方法如下：

非跌倒样本被完全包围时的超球体球心为a，半径为R，对应的优化方程为：

S.L.R²+ξ_i-(x_i-a)(x_i-a)^T≥0

式中：ζ_i为松弛变量，C为惩罚因子，N为样本总数，x_i为第i个样本；

引入朗格朗日乘子对函数进行求解，得到：

式中：L为拉格朗日函数，α_i为拉格朗日算子，α_j为拉格朗日算子，x_j为第j个样本；

对于新的测试样本z，若满足以下条件则为非跌倒样本，若否则为跌倒样本；

||z-a||²≤R²。

进一步的，所述步骤2中基于深度学习的人体姿态估计模型需首先进行训练，训练过程如下：

S1：获取人体关节点的标注图片；

S2：构建深度学习网络；

S3：将步骤S1中的图片通过深度学习网络进行训练，得到人体姿态估计模型。

进一步的，还包括以下步骤：

当步骤4判断为跌倒时，设置为发出警报。

进一步的，所述步骤3中选取六个关节点，分别为左肩膀、右肩膀、左臀部、右臀部、左膝盖、右膝盖。

本发明的有益效果是：

(1)本发明有效利用现有的视频设备，视频信息量更丰富，简单方便，可以应用于多种环境；

(2)本发明能够很好的处理人的体积和形状并不固定、衣着变化多样、遮挡及非平衡数据中跌倒数据少等问题；

(3)本发明的自动化处理水平较高，具有较高的识别率和较低的误检率，可以极大减小老年人跌倒不能及时发现的风险。

附图说明

图1为本发明人体关键点索引。

图2为本发明流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

一种基于姿态分析和支持向量数据描述的跌倒检测方法，包括以下步骤：

步骤1：获取采集区域内的视频数据，截取人体行为的关键帧；通过视频采集器等设备获取采集区域内的视频数据，本实施例中所用的设备包括工业摄像机和工控计算机，计算机通过接口驱动CCD摄像机获取影像；截取人体行为的关键帧，可以清楚的是，可以根据具体情况，设置每秒提取多少帧图像；例如设置每秒内提取10帧图像，然后每2秒组成一个样本。

步骤2：将步骤1中每一帧图像通过基于深度学习的人体姿态估计模型得到人体关节点的坐标。

关键点索引如图1，得到对应图像中人体关节点的坐标的步骤之前，还包括对所述基于深度学习算法的人体姿态估计模型进行训练；训练过程如下：

S1：获取人体关节点的标注图片；在此采用COCO数据集，并对图片中的人物进行标注，并对图片进行旋转、缩放等变化扩充数据集；将数据转换为LMDB格式；

S2：构建深度学习网络；把网络结构写成caffe接受的prototxt格式；

S3：将步骤S1中的图片通过深度学习网络进行训练，得到人体姿态估计模型。

步骤3：选取部分关节点的运动轨迹特征；

在提取特征前首先要消除对于个人身体的差异和距离摄像头的远近，造成的坐标差距过大的问题；采用归一化的方式进行处理，消除这些差异；在实际运动过程中，肩部的距离相对稳定，因此，肩部的位置可以被用作基准；因为人体身高约等于人体肩宽的α倍，所以纵坐标选择α倍的肩宽为基准。

式中：P为归一化后的坐标，x₁,y₁为中心点的横坐标和纵坐标，x₂,y₂为右肩膀的横坐标和纵坐标，x₅,y₅为左肩膀的横坐标和纵坐标，x_n,y_n为要归一化的横坐标和纵坐标；本实施例中α取4。

一个关节点的运动轨迹是由该关节点不同时刻的位置向量构成的序列；设关节点i在时刻t的位置为p_i(t)，整个序列关节点i的运动轨迹为c_i(t)＝(p_i(1),p_i(2),...,p_i(T))；

动作A表示为：

A＝c_i(t),t∈[0,T],0≤i≤17。

关节点空间位置的变化反映了人体动作的变化过程；所有关节点的空间运动轨迹完整地描述了人体动作。

由于生活中很容易出现遮挡问题，造成关节点识别不到或者识别错误，又因为部分关节点的运动轨迹就能很好的表示出行为，可以采用部分关节点的运动轨迹特征；通过实验可以看出采用六个关节点的运动轨迹特征时效果最好；并且较少的关节点个数也为后续步骤减少运算量；本实施例中选取六个关键点分别为：左肩膀、右肩膀、左臀部、右臀部、左膝盖和右膝盖。

步骤4：将步骤3得到的特征通过支持向量数据描述模型判断是否为跌倒。

在把特征输入模型之前，还包括对支持向量数据描述模型的训练；支持向量数据描述模型的训练步骤如下：

(1)首先获取非跌倒数据视频，并提取关键帧；

(2)把关键帧输入深度学习的姿态估计模型；

(3)获得关键点后利用算法提取特征；

(4)把特征输入支持向量数据描述模型进行训练。

实际生活中很容易采集到大量非跌倒样本数据，而真实跌倒数据较难获取，对于这样的非平衡数据利用支持向量数据描述算法对非跌倒样本的特征数据进行训练并得到模型；支持向量数据描述算法是一种一类分类算法，其基本思想是通过对一类数据进行训练得到其训练边界，即超球体的边界；判断测试样本时，通过判断测试样本与其边界的关系，若在边界内，则为非跌倒数据，相反，为跌倒数据。

设非跌倒样本被完全包围时的超球体球心为a，半径为R，对应的优化方程为：

S.L.R²+ξ_i-(x_i-a)(x_i-a)^T≥0

式中：ζ_i为松弛变量，C为惩罚因子，N为样本总数，x_i为第i个样本；

对于上式这一典型二次规划问题，通过引入朗格朗日乘子对函数进行求解，得到：

式中：L为拉格朗日函数，α_i为拉格朗日算子，α_j为拉格朗日算子，x_j为第j个样本；

对于新的测试样本z，若满足以下条件则为非跌倒样本，若否则为跌倒样本；

||z-a||²≤R²。

一般情况下，除去异常数据点后数据依旧不会呈球状分布，因此引入核函数K，将低维空间中的非线性问题转化为高维中的线性问题；构造超球体时，为了降低异常数据点被纳入正常域的影响，引入了惩罚因子C和松弛变量；由于正常域边界主要由惩罚因子C和核函数中的参数g决定，因此发明中采用了参数寻优的方法对设定阈值范围内的C和g进行寻优，以找到最优参数组。

当判断为跌倒时，通过设备发出警报，通过相关实验验证可知，本发明方法能够很好地判断人体跌倒行为。

本发明采集视频帧数据并截取人体行为的关键帧，针对传统方法在对于遮挡问题有可能造成的识别错误的问题，引入姿态估计，识别出人体关节点的坐标，这样即使出现遮挡也能识别出大部分关节；将每一帧所述的图像输入到基于深度学习算法的人体姿态估计模型，得到图片中人体关节点对应的坐标；采用算法对坐标进行处理，消除个人身体的差异和距离摄像头的远近造成的坐标差异过大；并利用处理后的坐标构成人体运动轨迹特征；针对实际中非跌倒数据样本容易获取，而跌倒样本获取困难且较少的特点，引入基于一类分类的支持向量数据描述方法，利用支持向量数据描述算法形成非跌倒样本特征训练的正常域，通过此边界实现对人体的跌倒检测；本发明可以有效的处理人的体积和形状并不固定、衣着变化多样、遮挡及非平衡数据中跌倒数据少等问题；自动化水平较高，具有较高的识别率和较低的误检率，可以极大减小老年人跌倒不能及时发现的风险的同时保证使用的方便性。

Claims (5)

1.一种基于姿态分析和支持向量数据描述的跌倒检测方法，其特征在于，包括以下步骤：

步骤1：获取采集区域内的视频数据，截取人体行为的关键帧；

步骤2：将步骤1中每一帧图像通过基于深度学习的人体姿态估计模型得到人体关节点的坐标；

步骤3：选取部分关节点的运动轨迹特征；在提取特征前对人体关节点的坐标进行归一化处理；具体处理过程如下：

选取肩部位置作为基准，纵坐标选择α倍的肩宽为基准；

式中：P为归一化后的坐标，x₁,y₁为中心点的横坐标和纵坐标，x₂,y₂为右肩膀的横坐标和纵坐标，x₅,y₅为左肩膀的横坐标和纵坐标，x_n,y_n为要归一化的横坐标和纵坐标；

步骤4：将步骤3得到的特征通过支持向量数据描述模型判断是否为跌倒；

非跌倒样本被完全包围时的超球体球心为a，半径为R，对应的优化方程为：

S.L.R²+ξ_i-(x_i-a)(x_i-a)^T≥0

式中：ζ_i为松弛变量，C为惩罚因子，N为样本总数，x_i为第i个样本；

引入朗格朗日乘子对函数进行求解，得到：

式中：L为拉格朗日函数，α_i为拉格朗日算子，α_j为拉格朗日算子，x_j为第j个样本；

对于新的测试样本z，若满足以下条件则为非跌倒样本，若否则为跌倒样本；

||z-a||²≤R²。

2.根据权利要求1所述的一种基于姿态分析和支持向量数据描述的跌倒检测方法，其特征在于，所述步骤3具体过程如下：

关节点i在时刻t的位置为p_i(t)，整个序列关节点i的运动轨迹为c_i(t)＝(p_i(1),p_i(2),...,p_i(T))；

动作A表示为：

A＝c_i(t),t∈[0,T],0≤i≤17。

3.根据权利要求1所述的一种基于姿态分析和支持向量数据描述的跌倒检测方法，其特征在于，所述步骤2中基于深度学习的人体姿态估计模型需首先进行训练，训练过程如下：

S1：获取人体关节点的标注图片；

S2：构建深度学习网络；

S3：将步骤S1中的图片通过深度学习网络进行训练，得到人体姿态估计模型。

4.根据权利要求1所述的一种基于姿态分析和支持向量数据描述的跌倒检测方法，其特征在于，还包括以下步骤：

当步骤4判断为跌倒时，设置为发出警报。

5.根据权利要求1所述的一种基于姿态分析和支持向量数据描述的跌倒检测方法，其特征在于，所述步骤3中选取六个关节点，分别为左肩膀、右肩膀、左臀部、右臀部、左膝盖、右膝盖。

Images