CN109979161A - 一种基于卷积循环神经网络的人体跌倒检测方法 - Google Patents

一种基于卷积循环神经网络的人体跌倒检测方法 Download PDF

Info

Publication number
CN109979161A
CN109979161A CN201910173994.XA CN201910173994A CN109979161A CN 109979161 A CN109979161 A CN 109979161A CN 201910173994 A CN201910173994 A CN 201910173994A CN 109979161 A CN109979161 A CN 109979161A
Authority
CN
China
Prior art keywords
data
sample
neural network
tumble
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910173994.XA
Other languages
English (en)
Other versions
CN109979161B (zh
Inventor
苗红霞
刘烨
齐本胜
许健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201910173994.XA priority Critical patent/CN109979161B/zh
Publication of CN109979161A publication Critical patent/CN109979161A/zh
Application granted granted Critical
Publication of CN109979161B publication Critical patent/CN109979161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积循环神经网络的人体跌倒检测方法,步骤如下：（1）采集人体腰部加速度和角速度传感器数据作为人体跌倒传感器数据；（2）对采集的人体跌倒传感器数据预处理,并将预处理后的六维数据样本运用改进主成分分析法处理生成新的三维特征矩阵样本；（3）将三维特征矩阵作为训练样本，训练卷积循环神经网络，并建立神经网络模型；（4）运用训练好的卷积循环神经网络的模型对人体运动传感器数据测试样本进行跌倒模式识别。本发明采用卷积循环神经网络识别，准确性高，实时性强，具有良好的应用前景。

Description

一种基于卷积循环神经网络的人体跌倒检测方法
技术领域
本发明涉及医学跌倒检测技术领域，尤其是一种基于卷积循环神经网络的人体跌倒检测方法。
背景技术
中国已经逐步步入老龄化社会，经研究表明跌倒时导致老年人受伤乃至死亡的主要原因，准确及时的跌倒检测系统可以帮助跌倒者及时得到救助。目前穿戴式的设备的跌倒检测方法主要利用穿戴式设备提供的多传感器数据的信号特征来判别跌倒，该方法常用人工设计提取的信号特征来区分跌倒和非跌倒运动，但人工提取的特征往往会限制算法的精确度，增大算法时延。为提高跌倒检测的精确度和实时性，本发明提出了一种基于卷积循环神经网络的跌倒检测方法。
本发明的卷积循环神经网络的跌倒检测模型，除了具有外部的卷积神经网络循环外，还具有内部的“记忆细胞”循环，既可以有效提取数据样本的特征，提高模型的泛化能力，又可以产生梯度信息长时间持续流动的路径，从而解决普通循环神经网络优化过程中存在的在时间轴上的梯度消失问题。采用卷积循环神经网络检测跌倒行为准确性好，实时性强，对于新场景下跌倒数据的检测能力更强，具有良好的应用前景。
另外，从加速度传感器采集到原始的加速度和角速度数据后，要经过预处理和降维才能作为样本数据输入神经网络系统。采用主成分分析法实现降维，主成分分析法的降维思想是指把多指标转化为少数几个综合指标(即主成分)，其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复，但是存在线性变换和特征值选取不够科学的问题。
发明内容
为解决上述存在的技术问题，本发明提出了一种基于卷积循环神经网络的人体跌倒检测方法，其中运用了改进的主成分分析方法，检测效果好，实时性强。
本发明的技术方案如下：
一种基于卷积循环神经网络的人体跌倒检测方法，包括如下步骤：
(1)采集人体腰部加速度和角速度传感器数据作为人体跌倒传感器数据；
(2)对采集的人体跌倒传感器数据预处理,并将预处理后的六维数据样本运用改进主成分分析法处理生成新的三维特征矩阵样本；
(3)将三维特征矩阵作为训练样本，训练卷积循环神经网络，并建立神经网络模型；
(4)运用训练好的卷积循环神经网络的模型对人体运动传感器数据测试样本进行跌倒模式识别。
上述的步骤(1)中传感器是能够实时测量人体三轴加速度和三轴角速度的六轴传感器。
上述的步骤(2)中传感器数据预处理步骤如下：
步骤(3-1)：将采集到的人体跌倒传感器数据使用卡尔曼滤波器进行滤波处理；
步骤(3-2)：将卡尔曼滤波后的人体跌倒传感器数据以4s为滑动窗口分割，取样本内的标签种类占比最大的作为分割后样本的标签；
步骤(3-3)：按照100hz的采样频率提取卡尔曼滤波后的人体跌倒传感器数据。
上述的步骤(2)中改进的主成分分析法步骤如下：
步骤(4-1)：将步骤(3-3)所述采样频率采集4秒内的传感器数据，得到形如400*6的六维传感器数据矩阵；
步骤(4-2)：根据公式(1)对六维传感器数据矩阵添加正向偏置Bi，使整个数据样本数据均为正值，并对添加正向偏置后的数据先取对数，并中心化处理，使六维传感器数据矩阵每维均值为0；
其中Xij′为六维加速度数据对数中心化后的数据样本矩阵的第i行、第j列元素，Xij为变换前的数据样本矩阵的第i行、第j列元素，i对应跌倒检测样本矩阵的维数，j对应采样频率为100Hz下的4s内跌倒检测400组数据；
步骤(4-3)：根据协方差矩阵公式(2)求出六维传感器数据矩阵的六维变量之间的协方差矩阵C，其中协方差cov(Xi,Xj)由公式(3)求出，公式(3)中，Xi和Xj为对应数据样本矩阵的第i，j行元素，为对应第i行和第j行向量的均值；
步骤(4-4)：计算人体跌倒传感器数据的协方差矩阵的特征值与特征向量，由六维协方差矩阵求得六个特征向量和对应的六个特征值，根据随机邻近嵌入法改进主成分特征值选取，并根据选取的特征向量组成跌倒数据降维变换阵；
步骤(4-5)：将六维传感器数据矩阵和数据降维变换阵相乘，得到用于训练的数据样本。
上述步骤(4-4)采用的随机邻近嵌入法选取跌倒检测传感器数据特征值步骤如下：
步骤(5-1)：由公式(4)计算跌倒检测预处理后的六维空间样本矩阵中样本点 xi对于样本点xj的条件概率pi|j；其中σi表示以xi为中心点的高斯分布的方差并规定pi|i＝0；
步骤(5-2)：根据步骤(4-4)得到的六个特征值随机分组，每次取三个互异的特征值，得特征值及其对应特征向量的20种排列，由不同的排列求出对应的跌倒数据降维变换阵；
步骤(5-3)：根据公式(5)求上述不同跌倒数据降维变换阵变换下的低维空间中的条件概率qi|j，并将所有高斯分布的方差均设定为其中样本点xi和样本点xj为六维空间样本矩阵中的点，对应的三维空间样本点为Yi和样本点Yj；
步骤(5-4)：根据公式(6)计算变换前后两个概率分布的相对熵C，即KL距离，根据选取KL距离最小的分布对应的特征值组合作为主成分分析的主成分；
其中Pi为样本点xi与其他所有点之间条件概率构成的条件概率分布,同理Qi为样本点yi与其他所有点之间条件概率构成的条件概率分布；
步骤(5-5)：根据所选取的主成分对应的特征向量组成跌倒数据降维变换阵。
上述步骤(4)中卷积循环神经网络是一种改进的递归神经网络和卷积神经网络复合网络，包含第一卷积池化层，第二卷积池化层，隐藏层，全连接层，输出层；卷积循环神经网络模型的结构设置如下：
将4秒内的三维跌倒特征数据形成20*20*3的数据形式，作为样本数据输入；
第一层网络为第一卷积池化层，其中的5*5的卷积核有32种，卷积后数据的特征为18*18*32，卷积过程不使用填充方法，采用2*2池化操作，使得所得跌倒数据特征为32*10*10；
第二层网络为第二卷积层池化层，其中的5*5*32的卷积核有64种，卷积后数据的特征为64*8*8，卷积过程也不使用填充方法，同样进行2*2的池化操作，所得跌倒数据特征为64*5*5；
第三层网络为双向长短时记忆网络LSTM的隐藏层，在谷歌的深度学习框架tensorflow中，搭建双向长短时记忆网络LSTM，将隐藏层的某个神经元看成细胞，每个细胞有三个输入，分别是：上一时刻的隐藏层某神经元的状态Ct-1、上一时刻的隐藏层某个神经元的输出ht-1、以及当前时刻样本的Xt，细胞由输入门、输出门、遗忘门、三个门控制；
第四层为全连接层，将输入的高阶数据拉伸到一维数据，根据公式(7)计算输出向量o中各个分量大小。
o＝σ(Wx+b) (7)
其中，其中σ为激活函数，o为全连接层的输出向量，x为上一层的输入向量，W为全连接层权值矩阵，b为全连接层的偏置向量；
第五层为输出层，将全连接层输出向量的各分量输入到分类器函数中，根据函数值输出对应跌倒状态和日常行为，分别为侧向跌倒、前向跌倒、后向跌倒、行走、慢跑、跳跃、上楼、下楼。
上述第三层网络中长短时记忆神经网络LSTM的结构单元的状态与上一时刻网络结构的状态有关，根据长短时时间记忆神经网络的结构单元上一时刻的输出ht-1、记忆单元上一时刻状态的状态ct-1和当前时刻结构单元状态xt，计算当前时刻的结构单元的输出ht和当前时刻结构单元状态ct；其中t为每一段的时间步长，所述的结构单元的状态更新，其计算步骤如下：
(7-1)：根据公式(8)计算神经网络细胞单元中遗忘信息ft，其中sigmoid为激活函数Wft为上一时刻ht-1隐藏层某神经元输出的遗忘权值，WfX为当前时刻样本对于遗忘门的权值,bf为遗忘门偏置；
ft＝sigmoid(Wftht-1+Wfxxt+bf) (8)
(7-2)：通过公式(9)计算神经单元的输入it，并根据公式(10)计算新候选变量最终由公式(11)求出跌倒检测神经元细胞状态更新信息Ct，其中 Ct-1为上一时刻神经元细胞状态更新信息，
it＝sigmoid(Wihht-1+Wixxt+bi) (9)
其中tanh(z)为激活函数，
其中Wih为上一时刻ht-1隐藏层某神经元输出的输入门权值，Wix为当前时刻样本对于遗忘门的权值,bi为输入门偏置，Wch为上一时刻ht-1隐藏层某神经元输出的新候选变量权值，Wcx为当前时刻样本对于新候选变量的权重,bc为x新候选变量的偏置；
(7-3)：根据公式(12)计算神经网络细胞单元的输出ot，并由公式(13)计算神经元当前时刻输出ht。
ot＝sigmoid(Woh ht-1+WoxXt+bo) (12)
ht＝ot*tanh(Ct) (13)
其中Woh为上一时刻ht-1隐藏层某神经元输出的输出门权重，Wox为当前时刻样本对于输出门的权值,bo为输出门偏置。
将上述的主成分分析法处理后的跌倒检测数据作为训练样本输入到上述的卷积循环神经网络模型中训练，初始化神经网络的学习率为0.001，每次迭代使用64个训练样本，10000次记录一次模型，并进行监督学习。
本发明的有益效果：
本发明采取随机邻近嵌入法改进主成分特征值选取，根据数据样本在高维维度空间和低维空间概率分布的相似性选取特征值，克服了传统方法特征值选取时的随意性，从而最大程度保留原样本的数据特征。
附图说明
图1为本发明的系统框图；
图2为改进主成分分析法的算法流程图；
图3为随机临近嵌入选取主元的算法流程图；
图4为LSTM的神经元结构。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示，一种基于卷积循环神经网络的人体跌倒检测方法，包括如下步骤：
(1)采集人体腰部加速度和角速度传感器数据作为人体跌倒传感器数据；
(2)对采集的人体跌倒传感器数据预处理,并将预处理后的六维数据样本运用改进主成分分析法处理生成新的三维特征矩阵样本；
(3)将三维特征矩阵作为训练样本，训练卷积循环神经网络，并建立神经网络模型；
(4)运用训练好的卷积循环神经网络的模型对人体运动传感器数据测试样本进行跌倒模式识别。
上述的步骤(1)中传感器是能够实时测量人体三轴加速度和三轴角速度的六轴传感器。例如InvenSense公司推出的MPU6050。
上述的步骤(2)中传感器数据预处理步骤如下：
步骤(3-1)：将采集到的人体跌倒传感器数据使用卡尔曼滤波器进行滤波处理；
步骤(3-2)：将卡尔曼滤波后的人体跌倒传感器数据以4s为滑动窗口分割，取样本内的标签种类占比最大的作为分割后样本的标签；
步骤(3-3)：按照100hz的采样频率提取卡尔曼滤波后的人体跌倒传感器数据。
如图2所示，上述的步骤(2)中改进的主成分分析法步骤如下：
步骤(4-1)：将步骤(3-3)所述采样频率采集4秒内的传感器数据，得到形如400*6的六维传感器数据矩阵；
步骤(4-2)：根据公式(1)对六维传感器数据矩阵添加正向偏置Bi，使整个数据样本数据均为正值，并对添加正向偏置后的数据先取对数，并中心化处理，使六维传感器数据矩阵每维均值为0；
其中Xij′为六维加速度数据对数中心化后的数据样本矩阵的第i行、第j列元素，Xij为变换前的数据样本矩阵的第i行、第j列元素，i对应跌倒检测样本矩阵的维数，j对应采样频率为100Hz下的4s内跌倒检测400组数据；
步骤(4-3)：根据协方差矩阵公式(2)求出六维传感器数据矩阵的六维变量之间的协方差矩阵C，其中协方差cov(Xi,Xj)由公式(3)求出，公式(3)中，Xi和Xj为对应数据样本矩阵的第i，j行元素，为对应第i行和第j行向量的均值；
步骤(4-4)：计算人体跌倒传感器数据的协方差矩阵的特征值与特征向量，由六维协方差矩阵求得六个特征向量和对应的六个特征值，根据随机邻近嵌入法改进主成分特征值选取，并根据选取的特征向量组成跌倒数据降维变换阵；
步骤(4-5)：将六维传感器数据矩阵和数据降维变换阵相乘，得到用于训练的数据样本。
如图3所示，上述步骤(4-4)采用的随机邻近嵌入法选取跌倒检测传感器数据特征值步骤如下：
步骤(5-1)：由公式(4)计算跌倒检测预处理后的六维空间样本矩阵中样本点 xi对于样本点xj的条件概率pi|j；其中σi表示以xi为中心点的高斯分布的方差并规定pi|i＝0；
步骤(5-2)：根据步骤(4-4)得到的六个特征值随机分组，每次取三个互异的特征值，得特征值及其对应特征向量的20种排列，由不同的排列求出对应的跌倒数据降维变换阵；
步骤(5-3)：根据公式(5)求上述不同跌倒数据降维变换阵变换下的低维空间中的条件概率qi|j，并将所有高斯分布的方差均设定为其中样本点xi和样本点xj为六维空间样本矩阵中的点，对应的三维空间样本点为Yi和样本点Yj；
步骤(5-4)：根据公式(6)计算变换前后两个概率分布的相对熵C，即KL距离，根据选取KL距离最小的分布对应的特征值组合作为主成分分析的主成分；
其中Pi为样本点xi与其他所有点之间条件概率构成的条件概率分布,同理Qi为样本点yi与其他所有点之间条件概率构成的条件概率分布；根据公式(6)计算变换前后两个概率分布的相对熵，即KL距离，根据选取KL距离最小的分布对应的特征值组合作为主成分分析的主成分。
步骤(5-5)：根据所选取的主成分对应的特征向量组成跌倒数据降维变换阵。
如图4所示，上述步骤(4)中卷积循环神经网络是一种改进的递归神经网络和卷积神经网络复合网络，包含第一卷积池化层，第二卷积池化层，隐藏层，全连接层，输出层；卷积循环神经网络模型的结构设置如下：
将4秒内的三维跌倒特征数据形成20*20*3的数据形式，作为样本数据输入；
第一层网络为第一卷积池化层，其中的5*5的卷积核有32种，卷积后数据的特征为18*18*32，卷积过程不使用填充方法，采用2*2池化操作，使得所得跌倒数据特征为32*10*10；
第二层网络为第二卷积层池化层，其中的5*5*32的卷积核有64种，卷积后数据的特征为64*8*8，卷积过程也不使用填充方法，同样进行2*2的池化操作，所得跌倒数据特征为64*5*5；
第三层网络为双向长短时记忆网络LSTM的隐藏层，在谷歌的深度学习框架tensorflow中，搭建双向长短时记忆网络LSTM，将隐藏层的某个神经元看成细胞，每个细胞有三个输入，分别是：上一时刻的隐藏层某神经元的状态Ct-1、上一时刻的隐藏层某个神经元的输出ht-1、以及当前时刻样本的Xt，细胞由输入门、输出门、遗忘门、三个门控制；
第四层为全连接层，将输入的高阶数据拉伸到一维数据，根据公式(7)计算输出向量o中各个分量大小。
o＝σ(Wx+b) (7)
其中，其中σ为激活函数，o为全连接层的输出向量，x为上一层的输入向量，W为全连接层权值矩阵，b为全连接层的偏置向量；
第五层为输出层，将全连接层输出向量的各分量输入到分类器函数中，根据函数值输出对应跌倒状态和日常行为，分别为侧向跌倒、前向跌倒、后向跌倒、行走、慢跑、跳跃、上楼、下楼。
上述第三层网络中长短时记忆神经网络LSTM的结构单元的状态与上一时刻网络结构的状态有关，根据长短时时间记忆神经网络的结构单元上一时刻的输出ht-1、记忆单元上一时刻状态的状态ct-1和当前时刻结构单元状态xt，计算当前时刻的结构单元的输出ht和当前时刻结构单元状态ct；其中t为每一段的时间步长，所述的结构单元的状态更新，其计算步骤如下：
(7-1)：根据公式(8)计算神经网络细胞单元中遗忘信息ft，其中sigmoid为激活函数Wft为上一时刻ht-1隐藏层某神经元输出的遗忘权值，WfX为当前时刻样本对于遗忘门的权值,bf为遗忘门偏置；
ft＝sigmoid(Wftht-1+Wfxxt+bf) (8)
(7-2)：通过公式(9)计算神经单元的输入it，并根据公式(10)计算新候选变量最终由公式(11)求出跌倒检测神经元细胞状态更新信息Ct，其中 Ct-1为上一时刻神经元细胞状态更新信息，
it＝sigmoid(Wihht-1+Wixxt+bi) (9)
其中tanh(z)为激活函数，
其中Wih为上一时刻ht-1隐藏层某神经元输出的输入门权值，Wix为当前时刻样本对于遗忘门的权值,bi为输入门偏置，Wch为上一时刻ht-1隐藏层某神经元输出的新候选变量权值，Wcx为当前时刻样本对于新候选变量的权重,bc为x新候选变量的偏置；
(7-3)：根据公式(12)计算神经网络细胞单元的输出ot，并由公式(13)计算神经元当前时刻输出ht。
ot＝sigmoid(Woh ht-1+WoxXt+bo) (12)
ht＝ot*tanh(Ct) (13)
其中Woh为上一时刻ht-1隐藏层某神经元输出的输出门权重，Wox为当前时刻样本对于输出门的权值,bo为输出门偏置。
将上述的主成分分析法处理后的跌倒检测数据作为训练样本输入到上述的卷积循环神经网络模型中训练，初始化神经网络的学习率为0.001，每次迭代使用64个训练样本，10000次记录一次模型，并进行监督学习。将测试样本输入到训练好的网络模型中检测，输出检测结果如表1所示。
表1卷积循环神经网络检测结果
检测的结果如表1所示，从表中分类结果可以看出，测试样本检测的准确性好，实时性强，具有良好的实用价值和应用前景。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围并不局限于此，还包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。

Claims (8)

1.一种基于卷积循环神经网络的人体跌倒检测方法，其特征在于包括如下步骤：
(1)采集人体腰部加速度和角速度传感器数据作为人体跌倒传感器数据；
(2)对采集的人体跌倒传感器数据预处理，并将预处理后的六维数据样本运用改进主成分分析法处理生成新的三维特征矩阵样本；
(3)将三维特征矩阵作为训练样本，训练卷积循环神经网络，并建立神经网络模型；
(4)运用训练好的卷积循环神经网络的模型对人体运动传感器数据测试样本进行跌倒模式识别。
2.根据权利要求书1所述的一种基于卷积循环神经网络的跌倒检测方法，其特征在于：所述的步骤(1)中传感器是能够实时测量人体三轴加速度和三轴角速度的六轴传感器。
3.根据权利要求书1所述的一种基于卷积循环神经网络跌倒检测方法，其特征在于：所述的步骤(2)中传感器数据预处理步骤如下：
步骤(3-1)：将采集到的人体跌倒传感器数据使用卡尔曼滤波器进行滤波处理；
步骤(3-2)：将卡尔曼滤波后的人体跌倒传感器数据以4s为滑动窗口分割，取样本内的标签种类占比最大的作为分割后样本的标签；
步骤(3-3)：按照100hz的采样频率提取卡尔曼滤波后的人体跌倒传感器数据。
4.根据权利要求书3所述的一种基于卷积循环神经网络跌倒检测方法，其特征在于：所述的步骤(2)中改进的主成分分析法步骤如下：
步骤(4-1)：将步骤(3-3)所述采样频率采集4秒内的传感器数据，得到形如400*6的六维传感器数据矩阵；
步骤(4-2)：根据公式(1)对六维传感器数据矩阵添加正向偏置Bi，使整个数据样本数据均为正值，并对添加正向偏置后的数据先取对数，并中心化处理，使六维传感器数据矩阵每维均值为0；
其中Xij′为六维加速度数据对数中心化后的数据样本矩阵的第i行、第j列元素，Xij为变换前的数据样本矩阵的第i行、第j列元素，i对应跌倒检测样本矩阵的维数，j对应采样频率为100Hz下的4s内跌倒检测400组数据；
步骤(4-3)：根据协方差矩阵公式(2)求出六维传感器数据矩阵的六维变量之间的协方差矩阵C，其中协方差coy(Xi，Xj)由公式(3)求出，公式(3)中，Xi和Xj为对应数据样本矩阵的第i，j行元素，为对应第i行和第j行向量的均值；
步骤(4-4)：计算人体跌倒传感器数据的协方差矩阵的特征值与特征向量，由六维协方差矩阵求得六个特征向量和对应的六个特征值，根据随机邻近嵌入法改进主成分特征值选取，并根据选取的特征向量组成跌倒数据降维变换阵；
步骤(4-5)：将六维传感器数据矩阵和数据降维变换阵相乘，得到用于训练的数据样本。
5.根据权利要求书4所述的一种基于卷积循环神经网络跌倒检测方法，其特征在于：所述步骤(4-4)采用的随机邻近嵌入法选取跌倒检测传感器数据特征值步骤如下：
步骤(5-1)：由公式(4)计算跌倒检测预处理后的六维空间样本矩阵中样本点xi对于样本点xj的条件概率Pi|j；其中σi表示以xi为中心点的高斯分布的方差并规定Pi|i＝0；
步骤(5-2)：根据步骤(4-4)得到的六个特征值随机分组，每次取三个互异的特征值，得特征值及其对应特征向量的20种排列，由不同的排列求出对应的跌倒数据降维变换阵；
步骤(5-3)：根据公式(5)求上述不同跌倒数据降维变换阵变换下的低维空间中的条件概率qi|j，并将所有高斯分布的方差均设定为其中样本点xi和样本点xj为六维空间样本矩阵中的点，对应的三维空间样本点为Yi和样本点Yj；
步骤(5-4)：根据公式(6)计算变换前后两个概率分布的相对熵C，即KL距离，根据选取KL距离最小的分布对应的特征值组合作为主成分分析的主成分；
其中Pi为样本点xi与其他所有点之间条件概率构成的条件概率分布，同理Qi为样本点yi与其他所有点之间条件概率构成的条件概率分布；
步骤(5-5)：根据所选取的主成分对应的特征向量组成跌倒数据降维变换阵。
6.根据权利要求书4所述的一种基于卷积循环神经网络的人体跌倒检测方法，其特征在于：所述步骤(4)中卷积循环神经网络是一种改进的递归神经网络和卷积神经网络复合网络，包含第一卷积池化层，第二卷积池化层，隐藏层，全连接层，输出层；卷积循环神经网络模型的结构设置如下：
将4秒内的三维跌倒特征数据形成20*20*3的数据形式，作为样本数据输入；
第一层网络为第一卷积池化层，其中的5*5的卷积核有32种，卷积后数据的特征为18*18*32，卷积过程不使用填充方法，采用2*2池化操作，使得所得跌倒数据特征为32*10*10；
第二层网络为第二卷积层池化层，其中的5*5*32的卷积核有64种，卷积后数据的特征为64*8*8，卷积过程也不使用填充方法，同样进行2*2的池化操作，所得跌倒数据特征为64*5*5；
第三层网络为双向长短时记忆网络LSTM的隐藏层，在谷歌的深度学习框架tensorflow中，搭建双向长短时记忆网络LSTM，将隐藏层的某个神经元看成细胞，每个细胞有三个输入，分别是：上一时刻的隐藏层某神经元的状态Ct-1、上一时刻的隐藏层某个神经元的输出ht-1、以及当前时刻样本的Xt，细胞由输入门、输出门、遗忘门、三个门控制；
第四层为全连接层，将输入的高阶数据拉伸到一维数据，根据公式(7)计算输出向量o中各个分量大小；
o＝σ(Wx+b) (7)
其中，其中σ为激活函数，o为全连接层的输出向量，x为上一层的输入向量，W为全连接层权值矩阵，b为全连接层的偏置向量；
第五层为输出层，将全连接层输出向量的各分量输入到分类器函数中，根据函数值输出对应跌倒状态和日常行为，分别为侧向跌倒、前向跌倒、后向跌倒、行走、慢跑、跳跃、上楼、下楼。
7.根据权利要求书6所述的一种基于卷积循环神经网络的人体跌倒检测方法，其特征在于：所述第三层网络中长短时记忆神经网络LSTM的结构单元的状态与上一时刻网络结构的状态有关，根据长短时时间记忆神经网络的结构单元上一时刻的输出ht-1、记忆单元上一时刻状态的状态ct-1和当前时刻结构单元状态xt，计算当前时刻的结构单元的输出ht和当前时刻结构单元状态ct；其中t为每一段的时间步长，所述的结构单元的状态更新，其计算步骤如下：
(7-1)：根据公式(8)计算神经网络细胞单元中遗忘信息ft，其中sigmoid为激活函数Wft为上一时刻ht-1隐藏层某神经元输出的遗忘权值，WfX为当前时刻样本对于遗忘门的权值，bf为遗忘门偏置；
ft＝sigmoid(Wftht-1+Wfxxt+bf) (8)
(7-2)：通过公式(9)计算神经单元的输入it，并根据公式(10)计算新候选变量最终由公式(11)求出跌倒检测神经元细胞状态更新信息Ct，其中Ct-1为上一时刻神经元细胞状态更新信息，
it＝sigmoid(Wihht-1+Wixxt+bi) (9)
其中tanh(z)为激活函数，
其中Wih为上一时刻ht-1隐藏层某神经元输出的输入门权值，Wix为当前时刻样本对于遗忘门的权值，bi为输入门偏置，Wch为上一时刻ht-1隐藏层某神经元输出的新候选变量权值，Wcx为当前时刻样本对于新候选变量的权重，bc为x新候选变量的偏置；
(7-3)：根据公式(12)计算神经网络细胞单元的输出ot，并由公式(13)计算神经元当前时刻输出ht；
ot＝sigmoid(Wohht-1+WoxXt+bo) (12)
ht＝ot*tanh(Ct) (13)
其中Woh为上一时刻ht-1隐藏层某神经元输出的输出门权重，Wox为当前时刻样本对于输出门的权值，bo为输出门偏置。
8.根据权利要求书6所述的一种基于卷积循环神经网络的跌倒检测方法，其特征在于将权利要求书4所述的主成分分析法处理后的跌倒检测数据作为训练样本输入到权利要求书6所述的卷积循环神经网络模型中训练，初始化神经网络的学习率为0.001，每次迭代使用64个训练样本，10000次记录一次模型，并进行监督学习。
CN201910173994.XA 2019-03-08 2019-03-08 一种基于卷积循环神经网络的人体跌倒检测方法 Active CN109979161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910173994.XA CN109979161B (zh) 2019-03-08 2019-03-08 一种基于卷积循环神经网络的人体跌倒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910173994.XA CN109979161B (zh) 2019-03-08 2019-03-08 一种基于卷积循环神经网络的人体跌倒检测方法

Publications (2)

Publication Number Publication Date
CN109979161A true CN109979161A (zh) 2019-07-05
CN109979161B CN109979161B (zh) 2021-04-06

Family

ID=67078220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173994.XA Active CN109979161B (zh) 2019-03-08 2019-03-08 一种基于卷积循环神经网络的人体跌倒检测方法

Country Status (1)

Country Link
CN (1) CN109979161B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991251A (zh) * 2019-11-06 2020-04-10 宁波大学 基于深度学习的无源人体运动识别方法
CN111436944A (zh) * 2020-04-20 2020-07-24 电子科技大学 一种基于智能移动终端的跌倒检测方法
CN111709323A (zh) * 2020-05-29 2020-09-25 重庆大学 一种基于李群和长短时记忆网络的手势识别方法
CN111931568A (zh) * 2020-06-30 2020-11-13 青岛科技大学 一种基于增强式学习的人体跌倒检测方法及系统
CN112783327A (zh) * 2021-01-29 2021-05-11 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的方法及系统
CN112926553A (zh) * 2021-04-25 2021-06-08 北京芯盾时代科技有限公司 一种动作检测网络的训练方法及装置
CN112971769A (zh) * 2021-02-04 2021-06-18 杭州慧光健康科技有限公司 一种基于生物雷达的居家人员摔倒检测系统和方法
CN113486971A (zh) * 2021-07-19 2021-10-08 国网山东省电力公司日照供电公司 基于主成分分析和神经网络的用户状态识别方法、系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846729A (zh) * 2017-01-12 2017-06-13 山东大学 一种基于卷积神经网络的跌倒检测方法和系统
CN107153871A (zh) * 2017-05-09 2017-09-12 浙江农林大学 基于卷积神经网络和手机传感器数据的跌倒检测方法
KR20190004429A (ko) * 2017-07-04 2019-01-14 주식회사 알고리고 신경망 모델에서 입력값에 대한 재학습 여부 결정 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846729A (zh) * 2017-01-12 2017-06-13 山东大学 一种基于卷积神经网络的跌倒检测方法和系统
CN107153871A (zh) * 2017-05-09 2017-09-12 浙江农林大学 基于卷积神经网络和手机传感器数据的跌倒检测方法
KR20190004429A (ko) * 2017-07-04 2019-01-14 주식회사 알고리고 신경망 모델에서 입력값에 대한 재학습 여부 결정 방법 및 장치

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘明广 等: "《区域创新系统的效率评价与演化》", 30 November 2014 *
单洪明 等: "实值多变量维数约简：综述", 《自动化学报》 *
徐永智 等: "对主成分分析三点不足的改进", 《科技管理研究》 *
王慧: "基于加速度传感器的跌倒检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
童新安 等: "基于非线性主成分和聚类分析的综合评价方法", 《统计与信息论坛》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991251B (zh) * 2019-11-06 2023-04-07 宁波大学 基于深度学习的无源人体运动识别方法
CN110991251A (zh) * 2019-11-06 2020-04-10 宁波大学 基于深度学习的无源人体运动识别方法
WO2021212883A1 (zh) * 2020-04-20 2021-10-28 电子科技大学 一种基于智能移动终端的跌倒检测方法
CN111436944A (zh) * 2020-04-20 2020-07-24 电子科技大学 一种基于智能移动终端的跌倒检测方法
CN111709323A (zh) * 2020-05-29 2020-09-25 重庆大学 一种基于李群和长短时记忆网络的手势识别方法
CN111709323B (zh) * 2020-05-29 2024-02-02 重庆大学 一种基于李群和长短时记忆网络的手势识别方法
CN111931568A (zh) * 2020-06-30 2020-11-13 青岛科技大学 一种基于增强式学习的人体跌倒检测方法及系统
CN112783327B (zh) * 2021-01-29 2022-08-30 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的方法及系统
CN112783327A (zh) * 2021-01-29 2021-05-11 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的方法及系统
CN112971769A (zh) * 2021-02-04 2021-06-18 杭州慧光健康科技有限公司 一种基于生物雷达的居家人员摔倒检测系统和方法
CN112926553A (zh) * 2021-04-25 2021-06-08 北京芯盾时代科技有限公司 一种动作检测网络的训练方法及装置
CN113486971A (zh) * 2021-07-19 2021-10-08 国网山东省电力公司日照供电公司 基于主成分分析和神经网络的用户状态识别方法、系统
CN113486971B (zh) * 2021-07-19 2023-10-27 国网山东省电力公司日照供电公司 基于主成分分析和神经网络的用户状态识别方法、系统

Also Published As

Publication number Publication date
CN109979161B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN109979161A (zh) 一种基于卷积循环神经网络的人体跌倒检测方法
CN107153871B (zh) 基于卷积神经网络和手机传感器数据的跌倒检测方法
CN108133188A (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN109740742A (zh) 一种基于lstm神经网络的目标跟踪方法
CN105488456B (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN110245718A (zh) 一种基于联合时域频域特征的人体行为识别方法
Fang et al. Gait neural network for human-exoskeleton interaction
CN112396001B (zh) 基于人体姿态估计和tpa注意力机制的跳绳个数统计方法
CN108446733A (zh) 一种基于多传感器数据的人体行为监测及智能识别方法
CN102930302A (zh) 基于在线序贯极限学习机的递增式人体行为识别方法
CN111476161A (zh) 一种融合图像和生理信号双通道的体感动态手势识别方法
CN110610158A (zh) 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统
CN108171318A (zh) 一种基于模拟退火—高斯函数的卷积神经网络集成方法
CN107679516B (zh) 基于多尺度高斯-马尔科夫随机场模型的下肢运动识别方法
CN107704924B (zh) 同步自适应时空特征表达学习模型的构建方法及相关方法
CN106127191B (zh) 基于小波包分解及逻辑回归的脑电分类方法
CN101859377A (zh) 基于多核支持向量机的肌电信号分类方法
CN111728590A (zh) 基于动态功能连接的个体认知能力预测方法和系统
CN110490109A (zh) 一种基于单目视觉的在线人体康复动作识别方法
Giorgi et al. Walking through the deep: Gait analysis for user authentication through deep learning
CN111967361A (zh) 一种基于婴儿表情识别与哭声的情绪检测方法
Song et al. Feature extraction and target recognition of moving image sequences
CN112883931A (zh) 基于长短期记忆网络的实时真假运动判断方法
Wang et al. A2dio: Attention-driven deep inertial odometry for pedestrian localization based on 6d imu
CN110132276B (zh) 一种基于行人运动状态的自适应步长估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant