CN109979161B - 一种基于卷积循环神经网络的人体跌倒检测方法 - Google Patents

一种基于卷积循环神经网络的人体跌倒检测方法 Download PDF

Info

Publication number
CN109979161B
CN109979161B CN201910173994.XA CN201910173994A CN109979161B CN 109979161 B CN109979161 B CN 109979161B CN 201910173994 A CN201910173994 A CN 201910173994A CN 109979161 B CN109979161 B CN 109979161B
Authority
CN
China
Prior art keywords
data
sample
neural network
layer
falling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910173994.XA
Other languages
English (en)
Other versions
CN109979161A (zh
Inventor
苗红霞
刘烨
齐本胜
许健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201910173994.XA priority Critical patent/CN109979161B/zh
Publication of CN109979161A publication Critical patent/CN109979161A/zh
Application granted granted Critical
Publication of CN109979161B publication Critical patent/CN109979161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0446Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于卷积循环神经网络的人体跌倒检测方法,步骤如下:(1)采集人体腰部加速度和角速度传感器数据作为人体跌倒传感器数据;(2)对采集的人体跌倒传感器数据预处理,并将预处理后的六维数据样本运用改进主成分分析法处理生成新的三维特征矩阵样本;(3)将三维特征矩阵作为训练样本,训练卷积循环神经网络,并建立神经网络模型;(4)运用训练好的卷积循环神经网络的模型对人体运动传感器数据测试样本进行跌倒模式识别。本发明采用卷积循环神经网络识别,准确性高,实时性强,具有良好的应用前景。

Description

一种基于卷积循环神经网络的人体跌倒检测方法
技术领域
本发明涉及医学跌倒检测技术领域,尤其是一种基于卷积循环神经网络的人体跌倒检测方法。
背景技术
中国已经逐步步入老龄化社会,经研究表明跌倒时导致老年人受伤乃至死亡的主要原因,准确及时的跌倒检测系统可以帮助跌倒者及时得到救助。目前穿戴式的设备的跌倒检测方法主要利用穿戴式设备提供的多传感器数据的信号特征来判别跌倒,该方法常用人工设计提取的信号特征来区分跌倒和非跌倒运动,但人工提取的特征往往会限制算法的精确度,增大算法时延。为提高跌倒检测的精确度和实时性,本发明提出了一种基于卷积循环神经网络的跌倒检测方法。
本发明的卷积循环神经网络的跌倒检测模型,除了具有外部的卷积神经网络循环外,还具有内部的“记忆细胞”循环,既可以有效提取数据样本的特征,提高模型的泛化能力,又可以产生梯度信息长时间持续流动的路径,从而解决普通循环神经网络优化过程中存在的在时间轴上的梯度消失问题。采用卷积循环神经网络检测跌倒行为准确性好,实时性强,对于新场景下跌倒数据的检测能力更强,具有良好的应用前景。
另外,从加速度传感器采集到原始的加速度和角速度数据后,要经过预处理和降维才能作为样本数据输入神经网络系统。采用主成分分析法实现降维,主成分分析法的降维思想是指把多指标转化为少数几个综合指标(即主成分),其中每个主成分都能够反映原始变量的大部分信息,且所含信息互不重复,但是存在线性变换和特征值选取不够科学的问题。
发明内容
为解决上述存在的技术问题,本发明提出了一种基于卷积循环神经网络的人体跌倒检测方法,其中运用了改进的主成分分析方法,检测效果好,实时性强。
本发明的技术方案如下:
一种基于卷积循环神经网络的人体跌倒检测方法,包括如下步骤:
(1)采集人体腰部加速度和角速度传感器数据作为人体跌倒传感器数据;
(2)对采集的人体跌倒传感器数据预处理,并将预处理后的六维数据样本运用改进主成分分析法处理生成新的三维特征矩阵样本;
(3)将三维特征矩阵作为训练样本,训练卷积循环神经网络,并建立神经网络模型;
(4)运用训练好的卷积循环神经网络的模型对人体运动传感器数据测试样本进行跌倒模式识别。
上述的步骤(1)中传感器是能够实时测量人体三轴加速度和三轴角速度的六轴传感器。
上述的步骤(2)中传感器数据预处理步骤如下:
步骤(3-1):将采集到的人体跌倒传感器数据使用卡尔曼滤波器进行滤波处理;
步骤(3-2):将卡尔曼滤波后的人体跌倒传感器数据以4s为滑动窗口分割,取样本内的标签种类占比最大的作为分割后样本的标签;
步骤(3-3):按照100hz的采样频率提取卡尔曼滤波后的人体跌倒传感器数据。
上述的步骤(2)中改进的主成分分析法步骤如下:
步骤(4-1):将步骤(3-3)所述采样频率采集4秒内的传感器数据,得到形如400*6的六维传感器数据矩阵;
步骤(4-2):根据公式(1)对六维传感器数据矩阵添加正向偏置Bi,使整个数据样本数据均为正值,并对添加正向偏置后的数据先取对数,并中心化处理,使六维传感器数据矩阵每维均值为0;
Figure BDA0001988944170000021
其中Xij′为六维加速度数据对数中心化后的数据样本矩阵的第i行、第j列元素,Xij为变换前的数据样本矩阵的第i行、第j列元素,i对应跌倒检测样本矩阵的维数,j对应采样频率为100Hz下的4s内跌倒检测400组数据;
步骤(4-3):根据协方差矩阵公式(2)求出六维传感器数据矩阵的六维变量之间的协方差矩阵C,其中协方差cov(Xi,Xj)由公式(3)求出,公式(3)中,Xi和Xj为对应数据样本矩阵的第i,j行元素,
Figure BDA0001988944170000022
为对应第i行和第j行向量的均值;
Figure BDA0001988944170000031
Figure BDA0001988944170000032
步骤(4-4):计算人体跌倒传感器数据的协方差矩阵的特征值与特征向量,由六维协方差矩阵求得六个特征向量和对应的六个特征值,根据随机邻近嵌入法改进主成分特征值选取,并根据选取的特征向量组成跌倒数据降维变换阵;
步骤(4-5):将六维传感器数据矩阵和数据降维变换阵相乘,得到用于训练的数据样本。
上述步骤(4-4)采用的随机邻近嵌入法选取跌倒检测传感器数据特征值步骤如下:
步骤(5-1):由公式(4)计算跌倒检测预处理后的六维空间样本矩阵中样本点 xi对于样本点xj的条件概率pi|j;其中σi表示以xi为中心点的高斯分布的方差并规定pi|i=0;
Figure BDA0001988944170000033
步骤(5-2):根据步骤(4-4)得到的六个特征值随机分组,每次取三个互异的特征值,得特征值及其对应特征向量的20种排列,由不同的排列求出对应的跌倒数据降维变换阵;
步骤(5-3):根据公式(5)求上述不同跌倒数据降维变换阵变换下的低维空间中的条件概率qi|j,并将所有高斯分布的方差均设定为
Figure BDA0001988944170000034
其中样本点xi和样本点xj为六维空间样本矩阵中的点,对应的三维空间样本点为Yi和样本点Yj
Figure BDA0001988944170000035
步骤(5-4):根据公式(6)计算变换前后两个概率分布的相对熵C,即KL距离,根据选取KL距离最小的分布对应的特征值组合作为主成分分析的主成分;
Figure BDA0001988944170000041
其中Pi为样本点xi与其他所有点之间条件概率构成的条件概率分布,同理Qi为样本点yi与其他所有点之间条件概率构成的条件概率分布;
步骤(5-5):根据所选取的主成分对应的特征向量组成跌倒数据降维变换阵。
上述步骤(4)中卷积循环神经网络是一种改进的递归神经网络和卷积神经网络复合网络,包含第一卷积池化层,第二卷积池化层,隐藏层,全连接层,输出层;卷积循环神经网络模型的结构设置如下:
将4秒内的三维跌倒特征数据形成20*20*3的数据形式,作为样本数据输入;
第一层网络为第一卷积池化层,其中的5*5的卷积核有32种,卷积后数据的特征为18*18*32,卷积过程不使用填充方法,采用2*2池化操作,使得所得跌倒数据特征为32*10*10;
第二层网络为第二卷积层池化层,其中的5*5*32的卷积核有64种,卷积后数据的特征为64*8*8,卷积过程也不使用填充方法,同样进行2*2的池化操作,所得跌倒数据特征为64*5*5;
第三层网络为双向长短时记忆网络LSTM的隐藏层,在谷歌的深度学习框架tensorflow中,搭建双向长短时记忆网络LSTM,将隐藏层的某个神经元看成细胞,每个细胞有三个输入,分别是:上一时刻的隐藏层某神经元的状态Ct-1、上一时刻的隐藏层某个神经元的输出ht-1、以及当前时刻样本的Xt,细胞由输入门、输出门、遗忘门、三个门控制;
第四层为全连接层,将输入的高阶数据拉伸到一维数据,根据公式(7)计算输出向量o中各个分量大小。
o=σ(Wx+b) (7)
其中,其中σ为激活函数,o为全连接层的输出向量,x为上一层的输入向量,W为全连接层权值矩阵,b为全连接层的偏置向量;
第五层为输出层,将全连接层输出向量的各分量输入到分类器函数中,根据函数值输出对应跌倒状态和日常行为,分别为侧向跌倒、前向跌倒、后向跌倒、行走、慢跑、跳跃、上楼、下楼。
上述第三层网络中长短时记忆神经网络LSTM的结构单元的状态与上一时刻网络结构的状态有关,根据长短时时间记忆神经网络的结构单元上一时刻的输出ht-1、记忆单元上一时刻状态的状态ct-1和当前时刻结构单元状态xt,计算当前时刻的结构单元的输出ht和当前时刻结构单元状态ct;其中t为每一段的时间步长,所述的结构单元的状态更新,其计算步骤如下:
(7-1):根据公式(8)计算神经网络细胞单元中遗忘信息ft,其中sigmoid为激活函数
Figure BDA0001988944170000051
Wft为上一时刻ht-1隐藏层某神经元输出的遗忘权值,WfX为当前时刻样本对于遗忘门的权值,bf为遗忘门偏置;
ft=sigmoid(Wftht-1+Wfxxt+bf) (8)
(7-2):通过公式(9)计算神经单元的输入it,并根据公式(10)计算新候选变量
Figure 1
最终由公式(11)求出跌倒检测神经元细胞状态更新信息Ct,其中 Ct-1为上一时刻神经元细胞状态更新信息,
it=sigmoid(Wihht-1+Wixxt+bi) (9)
Figure BDA0001988944170000054
Figure BDA0001988944170000055
其中tanh(z)为激活函数,
Figure BDA0001988944170000052
其中Wih为上一时刻ht-1隐藏层某神经元输出的输入门权值,Wix为当前时刻样本对于遗忘门的权值,bi为输入门偏置,Wch为上一时刻ht-1隐藏层某神经元输出的新候选变量权值,Wcx为当前时刻样本对于新候选变量的权重,bc为x新候选变量的偏置;
(7-3):根据公式(12)计算神经网络细胞单元的输出ot,并由公式(13)计算神经元当前时刻输出ht
ot=sigmoid(Woh ht-1+WoxXt+bo) (12)
ht=ot*tanh(Ct) (13)
其中Woh为上一时刻ht-1隐藏层某神经元输出的输出门权重,Wox为当前时刻样本对于输出门的权值,bo为输出门偏置。
将上述的主成分分析法处理后的跌倒检测数据作为训练样本输入到上述的卷积循环神经网络模型中训练,初始化神经网络的学习率为0.001,每次迭代使用64个训练样本,10000次记录一次模型,并进行监督学习。
本发明的有益效果:
本发明采取随机邻近嵌入法改进主成分特征值选取,根据数据样本在高维维度空间和低维空间概率分布的相似性选取特征值,克服了传统方法特征值选取时的随意性,从而最大程度保留原样本的数据特征。
附图说明
图1为本发明的系统框图;
图2为改进主成分分析法的算法流程图;
图3为随机临近嵌入选取主元的算法流程图;
图4为LSTM的神经元结构。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示,一种基于卷积循环神经网络的人体跌倒检测方法,包括如下步骤:
(1)采集人体腰部加速度和角速度传感器数据作为人体跌倒传感器数据;
(2)对采集的人体跌倒传感器数据预处理,并将预处理后的六维数据样本运用改进主成分分析法处理生成新的三维特征矩阵样本;
(3)将三维特征矩阵作为训练样本,训练卷积循环神经网络,并建立神经网络模型;
(4)运用训练好的卷积循环神经网络的模型对人体运动传感器数据测试样本进行跌倒模式识别。
上述的步骤(1)中传感器是能够实时测量人体三轴加速度和三轴角速度的六轴传感器。例如InvenSense公司推出的MPU6050。
上述的步骤(2)中传感器数据预处理步骤如下:
步骤(3-1):将采集到的人体跌倒传感器数据使用卡尔曼滤波器进行滤波处理;
步骤(3-2):将卡尔曼滤波后的人体跌倒传感器数据以4s为滑动窗口分割,取样本内的标签种类占比最大的作为分割后样本的标签;
步骤(3-3):按照100hz的采样频率提取卡尔曼滤波后的人体跌倒传感器数据。
如图2所示,上述的步骤(2)中改进的主成分分析法步骤如下:
步骤(4-1):将步骤(3-3)所述采样频率采集4秒内的传感器数据,得到形如400*6的六维传感器数据矩阵;
步骤(4-2):根据公式(1)对六维传感器数据矩阵添加正向偏置Bi,使整个数据样本数据均为正值,并对添加正向偏置后的数据先取对数,并中心化处理,使六维传感器数据矩阵每维均值为0;
Figure BDA0001988944170000071
其中Xij′为六维加速度数据对数中心化后的数据样本矩阵的第i行、第j列元素,Xij为变换前的数据样本矩阵的第i行、第j列元素,i对应跌倒检测样本矩阵的维数,j对应采样频率为100Hz下的4s内跌倒检测400组数据;
步骤(4-3):根据协方差矩阵公式(2)求出六维传感器数据矩阵的六维变量之间的协方差矩阵C,其中协方差cov(Xi,Xj)由公式(3)求出,公式(3)中,Xi和Xj为对应数据样本矩阵的第i,j行元素,
Figure BDA0001988944170000072
为对应第i行和第j行向量的均值;
Figure BDA0001988944170000073
Figure BDA0001988944170000081
步骤(4-4):计算人体跌倒传感器数据的协方差矩阵的特征值与特征向量,由六维协方差矩阵求得六个特征向量和对应的六个特征值,根据随机邻近嵌入法改进主成分特征值选取,并根据选取的特征向量组成跌倒数据降维变换阵;
步骤(4-5):将六维传感器数据矩阵和数据降维变换阵相乘,得到用于训练的数据样本。
如图3所示,上述步骤(4-4)采用的随机邻近嵌入法选取跌倒检测传感器数据特征值步骤如下:
步骤(5-1):由公式(4)计算跌倒检测预处理后的六维空间样本矩阵中样本点 xi对于样本点xj的条件概率pi|j;其中σi表示以xi为中心点的高斯分布的方差并规定pi|i=0;
Figure BDA0001988944170000082
步骤(5-2):根据步骤(4-4)得到的六个特征值随机分组,每次取三个互异的特征值,得特征值及其对应特征向量的20种排列,由不同的排列求出对应的跌倒数据降维变换阵;
步骤(5-3):根据公式(5)求上述不同跌倒数据降维变换阵变换下的低维空间中的条件概率qi|j,并将所有高斯分布的方差均设定为
Figure BDA0001988944170000083
其中样本点xi和样本点xj为六维空间样本矩阵中的点,对应的三维空间样本点为Yi和样本点Yj
Figure BDA0001988944170000084
步骤(5-4):根据公式(6)计算变换前后两个概率分布的相对熵C,即KL距离,根据选取KL距离最小的分布对应的特征值组合作为主成分分析的主成分;
Figure BDA0001988944170000085
其中Pi为样本点xi与其他所有点之间条件概率构成的条件概率分布,同理Qi为样本点yi与其他所有点之间条件概率构成的条件概率分布;根据公式(6)计算变换前后两个概率分布的相对熵,即KL距离,根据选取KL距离最小的分布对应的特征值组合作为主成分分析的主成分。
步骤(5-5):根据所选取的主成分对应的特征向量组成跌倒数据降维变换阵。
如图4所示,上述步骤(4)中卷积循环神经网络是一种改进的递归神经网络和卷积神经网络复合网络,包含第一卷积池化层,第二卷积池化层,隐藏层,全连接层,输出层;卷积循环神经网络模型的结构设置如下:
将4秒内的三维跌倒特征数据形成20*20*3的数据形式,作为样本数据输入;
第一层网络为第一卷积池化层,其中的5*5的卷积核有32种,卷积后数据的特征为18*18*32,卷积过程不使用填充方法,采用2*2池化操作,使得所得跌倒数据特征为32*10*10;
第二层网络为第二卷积层池化层,其中的5*5*32的卷积核有64种,卷积后数据的特征为64*8*8,卷积过程也不使用填充方法,同样进行2*2的池化操作,所得跌倒数据特征为64*5*5;
第三层网络为双向长短时记忆网络LSTM的隐藏层,在谷歌的深度学习框架tensorflow中,搭建双向长短时记忆网络LSTM,将隐藏层的某个神经元看成细胞,每个细胞有三个输入,分别是:上一时刻的隐藏层某神经元的状态Ct-1、上一时刻的隐藏层某个神经元的输出ht-1、以及当前时刻样本的Xt,细胞由输入门、输出门、遗忘门、三个门控制;
第四层为全连接层,将输入的高阶数据拉伸到一维数据,根据公式(7)计算输出向量o中各个分量大小。
o=σ(Wx+b) (7)
其中,其中σ为激活函数,o为全连接层的输出向量,x为上一层的输入向量,W为全连接层权值矩阵,b为全连接层的偏置向量;
第五层为输出层,将全连接层输出向量的各分量输入到分类器函数中,根据函数值输出对应跌倒状态和日常行为,分别为侧向跌倒、前向跌倒、后向跌倒、行走、慢跑、跳跃、上楼、下楼。
上述第三层网络中长短时记忆神经网络LSTM的结构单元的状态与上一时刻网络结构的状态有关,根据长短时时间记忆神经网络的结构单元上一时刻的输出ht-1、记忆单元上一时刻状态的状态ct-1和当前时刻结构单元状态xt,计算当前时刻的结构单元的输出ht和当前时刻结构单元状态ct;其中t为每一段的时间步长,所述的结构单元的状态更新,其计算步骤如下:
(7-1):根据公式(8)计算神经网络细胞单元中遗忘信息ft,其中sigmoid为激活函数
Figure BDA0001988944170000101
Wft为上一时刻ht-1隐藏层某神经元输出的遗忘权值,WfX为当前时刻样本对于遗忘门的权值,bf为遗忘门偏置;
ft=sigmoid(Wftht-1+Wfxxt+bf) (8)
(7-2):通过公式(9)计算神经单元的输入it,并根据公式(10)计算新候选变量
Figure BDA0001988944170000103
最终由公式(11)求出跌倒检测神经元细胞状态更新信息Ct,其中 Ct-1为上一时刻神经元细胞状态更新信息,
it=sigmoid(Wihht-1+Wixxt+bi) (9)
Figure BDA0001988944170000104
Figure BDA0001988944170000105
其中tanh(z)为激活函数,
Figure BDA0001988944170000102
其中Wih为上一时刻ht-1隐藏层某神经元输出的输入门权值,Wix为当前时刻样本对于遗忘门的权值,bi为输入门偏置,Wch为上一时刻ht-1隐藏层某神经元输出的新候选变量权值,Wcx为当前时刻样本对于新候选变量的权重,bc为x新候选变量的偏置;
(7-3):根据公式(12)计算神经网络细胞单元的输出ot,并由公式(13)计算神经元当前时刻输出ht
ot=sigmoid(Woh ht-1+WoxXt+bo) (12)
ht=ot*tanh(Ct) (13)
其中Woh为上一时刻ht-1隐藏层某神经元输出的输出门权重,Wox为当前时刻样本对于输出门的权值,bo为输出门偏置。
将上述的主成分分析法处理后的跌倒检测数据作为训练样本输入到上述的卷积循环神经网络模型中训练,初始化神经网络的学习率为0.001,每次迭代使用64个训练样本,10000次记录一次模型,并进行监督学习。将测试样本输入到训练好的网络模型中检测,输出检测结果如表1所示。
表1卷积循环神经网络检测结果
Figure BDA0001988944170000111
检测的结果如表1所示,从表中分类结果可以看出,测试样本检测的准确性好,实时性强,具有良好的实用价值和应用前景。
上述的实施例仅为本发明的优选技术方案,而不应视为对于本发明的限制,本发明的保护范围并不局限于此,还包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。

Claims (5)

1.一种基于卷积循环神经网络的人体跌倒检测方法,其特征在于包括如下步骤:
(1)采集人体腰部加速度和角速度传感器数据作为人体跌倒传感器数据;
(2)对采集的人体跌倒传感器数据预处理,并将预处理后的六维数据样本运用改进主成分分析法处理生成新的三维特征矩阵样本;
(3)将三维特征矩阵作为训练样本,训练卷积循环神经网络,并建立神经网络模型;
(4)运用训练好的卷积循环神经网络的模型对人体运动传感器数据测试样本进行跌倒模式识别;
所述的步骤(2)中传感器数据预处理步骤如下:
步骤(3-1):将采集到的人体跌倒传感器数据使用卡尔曼滤波器进行滤波处理;
步骤(3-2):将卡尔曼滤波后的人体跌倒传感器数据以4s为滑动窗口分割,取样本内的标签种类占比最大的作为分割后样本的标签;
步骤(3-3):按照100hz的采样频率提取卡尔曼滤波后的人体跌倒传感器数据;
所述的步骤(2)中改进主成分分析法步骤如下:
步骤(4-1):将步骤(3-3)所述采样频率采集4秒内的传感器数据,得到形如400*6的六维传感器数据矩阵;
步骤(4-2):根据公式(1)对六维传感器数据矩阵添加正向偏置Bi,使整个数据样本数据均为正值,并对添加正向偏置后的数据先取对数,并中心化处理,使六维传感器数据矩阵每维均值为0;
Figure FDA0002893955780000011
其中Xij′为六维加速度数据对数中心化后的数据样本矩阵的第i行、第j列元素,Xij为变换前的数据样本矩阵的第i行、第j列元素,i对应跌倒检测样本矩阵的维数,j对应采样频率为100Hz下的4s内跌倒检测400组数据;
步骤(4-3):根据协方差矩阵公式(2)求出六维传感器数据矩阵的六维变量之间的协方差矩阵C,其中协方差cov(Xi,Xj)由公式(3)求出,公式(3)中,Xi和Xj为对应数据样本矩阵的第i,j行元素,
Figure FDA0002893955780000021
为对应第i行和第j行向量的均值;
Figure FDA0002893955780000022
Figure FDA0002893955780000023
步骤(4-4):计算人体跌倒传感器数据的协方差矩阵的特征值与特征向量,由六维协方差矩阵求得六个特征向量和对应的六个特征值,根据随机邻近嵌入法改进主成分特征值选取,并根据选取的特征向量组成跌倒数据降维变换阵;
所述采用的随机邻近嵌入法选取跌倒检测传感器数据特征值步骤如下:
步骤(4-4-1):由公式(4)计算跌倒检测预处理后的六维空间样本矩阵中样本点xi对于样本点xj的条件概率pi|j;其中σi表示以xi为中心点的高斯分布的方差并规定pi|i=0;
Figure FDA0002893955780000024
步骤(4-4-2):根据步骤(4-4)得到的六个特征值随机分组,每次取三个互异的特征值,得特征值及其对应特征向量的20种排列,由不同的排列求出对应的跌倒数据降维变换阵;
步骤(4-4-3):根据公式(5)求上述不同跌倒数据降维变换阵变换下的低维空间中的条件概率qi|j,并将所有高斯分布的方差均设定为
Figure FDA0002893955780000025
其中样本点xi和样本点xj为六维空间样本矩阵中的点,对应的三维空间样本点为Yi和样本点Yj
Figure FDA0002893955780000031
步骤(4-4-4):根据公式(6)计算变换前后两个概率分布的相对熵C,即KL距离,根据选取KL距离最小的分布对应的特征值组合作为主成分分析的主成分;
Figure FDA0002893955780000032
其中Pi为样本点xi与其他所有点之间条件概率构成的条件概率分布,同理Qi为样本点yi与其他所有点之间条件概率构成的条件概率分布;
步骤(4-4-5):根据所选取的主成分对应的特征向量组成跌倒数据降维变换阵;步骤(4-5):将六维传感器数据矩阵和数据降维变换阵相乘,得到用于训练的数据样本。
2.根据权利要求1所述的一种基于卷积循环神经网络的人体跌倒检测方法,其特征在于:所述的步骤(1)中传感器是能够实时测量人体三轴加速度和三轴角速度的六轴传感器。
3.根据权利要求1所述的一种基于卷积循环神经网络的人体跌倒检测方法,其特征在于:所述步骤(4)中卷积循环神经网络是一种改进的递归神经网络和卷积神经网络复合网络,包含第一卷积池化层,第二卷积池化层,隐藏层,全连接层,输出层;卷积循环神经网络模型的结构设置如下:
将4秒内的三维跌倒特征数据形成20*20*3的数据形式,作为样本数据输入;
第一层网络为第一卷积池化层,其中的5*5的卷积核有32种,卷积后数据的特征为18*18*32,卷积过程不使用填充方法,采用2*2池化操作,使得所得跌倒数据特征为32*10*10;
第二层网络为第二卷积池化层,其中的5*5*32的卷积核有64种,卷积后数据的特征为64*8*8,卷积过程也不使用填充方法,同样进行2*2的池化操作,所得跌倒数据特征为64*5*5;
第三层网络为双向长短时记忆网络LSTM的隐藏层,在谷歌的深度学习框架tensorflow中,搭建双向长短时记忆网络LSTM,将隐藏层的某个神经元看成细胞,每个细胞有三个输入,分别是:上一时刻的隐藏层某神经元的状态Ct-1、上一时刻的隐藏层某个神经元的输出ht-1、以及当前时刻样本的Xt,细胞由输入门、输出门、遗忘门、三个门控制;
第四层为全连接层,将输入的高阶数据拉伸到一维数据,根据公式(7)计算输出向量o中各个分量大小;
o=σ(Wx+b) (7)
其中,其中σ为激活函数,o为全连接层的输出向量,x为上一层的输入向量,W为全连接层权值矩阵,b为全连接层的偏置向量;
第五层为输出层,将全连接层输出向量的各分量输入到分类器函数中,根据函数值输出对应跌倒状态和日常行为,分别为侧向跌倒、前向跌倒、后向跌倒、行走、慢跑、跳跃、上楼、下楼。
4.根据权利要求3所述的一种基于卷积循环神经网络的人体跌倒检测方法,其特征在于:所述第三层网络中长短时记忆神经网络LSTM的结构单元的状态与上一时刻网络结构的状态有关,根据长短时时间记忆神经网络的结构单元上一时刻的输出ht-1、记忆单元上一时刻状态的状态ct-1和当前时刻结构单元状态xt,计算当前时刻的结构单元的输出ht和当前时刻结构单元状态ct;其中t为每一段的时间步长,所述的结构单元的状态更新,其计算步骤如下:
(7-1):根据公式(8)计算神经网络细胞单元中遗忘信息ft,其中sigmoid为激活函数
Figure FDA0002893955780000041
Wft为上一时刻ht-1隐藏层某神经元输出的遗忘权值,WfX为当前时刻样本对于遗忘门的权值,bf为遗忘门偏置;
ft=sigmoid(Wftht-1+Wfxxt+bf) (8)
(7-2):通过公式(9)计算神经单元的输入it,并根据公式(10)计算新候选变量
Figure FDA0002893955780000042
最终由公式(11)求出跌倒检测神经元细胞状态更新信息Ct,其中Ct-1为上一时刻神经元细胞状态更新信息,
it=sigmoid(Wihht-1+Wixxt+bi) (9)
Figure FDA0002893955780000051
Figure FDA0002893955780000052
其中tanh(z)为激活函数,
Figure FDA0002893955780000053
其中Wih为上一时刻ht-1隐藏层某神经元输出的输入门权值,Wix为当前时刻样本对于遗忘门的权值,bi为输入门偏置,Wch为上一时刻ht-1隐藏层某神经元输出的新候选变量权值,Wcx为当前时刻样本对于新候选变量的权重,bc为x新候选变量的偏置;
(7-3):根据公式(12)计算神经网络细胞单元的输出ot,并由公式(13)计算神经元当前时刻输出ht
ot=sigmoid(Wohht-1+WoxXt+bo) (12)
ht=ot*tanh(Ct) (13)
其中Woh为上一时刻ht-1隐藏层某神经元输出的输出门权重,Wox为当前时刻样本对于输出门的权值,bo为输出门偏置。
5.根据权利要求3所述的种基于卷积循环神经网络的人体跌倒检测方法,其特征在于将权利要求1所述的主成分分析法处理后的跌倒检测数据作为训练样本输入到权利要求4所述的卷积循环神经网络模型中训练,初始化神经网络的学习率为0.001,每次迭代使用64个训练样本,10000次记录一次模型,并进行监督学习。
CN201910173994.XA 2019-03-08 2019-03-08 一种基于卷积循环神经网络的人体跌倒检测方法 Active CN109979161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910173994.XA CN109979161B (zh) 2019-03-08 2019-03-08 一种基于卷积循环神经网络的人体跌倒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910173994.XA CN109979161B (zh) 2019-03-08 2019-03-08 一种基于卷积循环神经网络的人体跌倒检测方法

Publications (2)

Publication Number Publication Date
CN109979161A CN109979161A (zh) 2019-07-05
CN109979161B true CN109979161B (zh) 2021-04-06

Family

ID=67078220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173994.XA Active CN109979161B (zh) 2019-03-08 2019-03-08 一种基于卷积循环神经网络的人体跌倒检测方法

Country Status (1)

Country Link
CN (1) CN109979161B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991251B (zh) * 2019-11-06 2023-04-07 宁波大学 基于深度学习的无源人体运动识别方法
CN111436944B (zh) * 2020-04-20 2021-09-28 电子科技大学 一种基于智能移动终端的跌倒检测方法
CN111709323B (zh) * 2020-05-29 2024-02-02 重庆大学 一种基于李群和长短时记忆网络的手势识别方法
CN111931568A (zh) * 2020-06-30 2020-11-13 青岛科技大学 一种基于增强式学习的人体跌倒检测方法及系统
CN112783327B (zh) * 2021-01-29 2022-08-30 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的方法及系统
CN112971769A (zh) * 2021-02-04 2021-06-18 杭州慧光健康科技有限公司 一种基于生物雷达的居家人员摔倒检测系统和方法
CN112926553B (zh) * 2021-04-25 2021-08-13 北京芯盾时代科技有限公司 一种动作检测网络的训练方法及装置
CN113486971B (zh) * 2021-07-19 2023-10-27 国网山东省电力公司日照供电公司 基于主成分分析和神经网络的用户状态识别方法、系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846729B (zh) * 2017-01-12 2020-01-21 山东大学 一种基于卷积神经网络的跌倒检测方法和系统
CN107153871B (zh) * 2017-05-09 2021-07-13 浙江农林大学 基于卷积神经网络和手机传感器数据的跌倒检测方法
KR102031982B1 (ko) * 2017-07-04 2019-10-14 주식회사 알고리고 언레이블드 데이터의 재학습 여부 결정을 이용한 압력분포 정보의 자세 분류 장치

Also Published As

Publication number Publication date
CN109979161A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109979161B (zh) 一种基于卷积循环神经网络的人体跌倒检测方法
CN108304917B (zh) 一种基于lstm网络的p300信号检测方法
CN110309861B (zh) 一种基于生成对抗网络的多模态人类活动识别方法
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN111476161A (zh) 一种融合图像和生理信号双通道的体感动态手势识别方法
CN111728590A (zh) 基于动态功能连接的个体认知能力预测方法和系统
CN106529504B (zh) 一种复合时空特征的双模态视频情感识别方法
Vollmer et al. Learning features for activity recognition with shift-invariant sparse coding
CN111797674B (zh) 基于特征融合和粒子群优化算法的mi脑电信号识别方法
CN106127191B (zh) 基于小波包分解及逻辑回归的脑电分类方法
CN115294658B (zh) 一种面向多应用场景的个性化手势识别系统及其手势识别方法
CN111967354B (zh) 基于肢体和微表情的多模态特征的抑郁倾向识别方法
CN110555463B (zh) 一种基于步态特征的身份识别方法
CN111709284B (zh) 基于cnn-lstm的舞蹈情感识别方法
CN112396001A (zh) 基于人体姿态估计和tpa注意力机制的跳绳个数统计方法
Raurale et al. Emg acquisition and hand pose classification for bionic hands from randomly-placed sensors
CN111382699A (zh) 基于粒子群优化lstm算法的动态手势识别方法
CN111967361A (zh) 一种基于婴儿表情识别与哭声的情绪检测方法
Song et al. Feature extraction and target recognition of moving image sequences
Javeed et al. Deep activity recognition based on patterns discovery for healthcare monitoring
CN117338313B (zh) 基于堆叠集成技术的多维度特征脑电信号识别方法
Peng Research on Emotion Recognition Based on Deep Learning for Mental Health
CN115905819B (zh) 基于生成对抗网络的rPPG信号生成方法及装置
Krishnapriya et al. Surface electromyography based hand gesture signal classification using 1d cnn
CN114428555A (zh) 一种基于皮层源信号的脑电运动意图识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant