CN110705599B - 一种基于在线迁移学习的人体动作识别方法 - Google Patents

一种基于在线迁移学习的人体动作识别方法 Download PDF

Info

Publication number
CN110705599B
CN110705599B CN201910842235.8A CN201910842235A CN110705599B CN 110705599 B CN110705599 B CN 110705599B CN 201910842235 A CN201910842235 A CN 201910842235A CN 110705599 B CN110705599 B CN 110705599B
Authority
CN
China
Prior art keywords
prediction
data
classification
online
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910842235.8A
Other languages
English (en)
Other versions
CN110705599A (zh
Inventor
邓方
赵佳晨
蔡烨芸
岳祥虎
高欣
石翔
叶子蔓
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910842235.8A priority Critical patent/CN110705599B/zh
Publication of CN110705599A publication Critical patent/CN110705599A/zh
Application granted granted Critical
Publication of CN110705599B publication Critical patent/CN110705599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种针对时间序列数据的在线迁移学习方法，用于解决人体动作在线识别问题，能够有效提高对训练集中没有出现的新目标人员的动作识别精度；本发明提出一种同时实现时间序列预测和分类功能的多输出网络结构，称为PC网络，并利用PCNN构建了时间序列在线迁移学习网络；在实时过程中，首先针对训练集中不同的人员训练多个PC网络；然后时间序列在线迁移学习网络根据PCNN的预测误差为多个PCNN的分类结果进行加权，实现在线迁移学习；不同于已有的迁移学习方法，本发明无需已知目标人员的标记动作样本，能够实现无监督的迁移学习，无需提前已知目标人员的所有的动作样本，能够在在线动作识别中实现动态的迁移学习，有效地提高在线动作识别的精度。

Description

一种基于在线迁移学习的人体动作识别方法
技术领域
本发明属于模式识别技术领域，具体涉及一种基于在线迁移学习的人体动作识别方法。
背景技术
人体动作识别技术(Human Activity Recognition,HAR)是人机交互、移动计算、普适计算领域的一项关键技术。基于穿戴式设备的人体动作识别技术利用手机、智能手环、惯性测量传感器等可以固定在人体衣物上或身体上的电子设备记录人体运动过程中的加速度、角加速度、地磁场强度数据，据此识别人体动作。基于穿戴式设备的人体动作识别技术在老年人远程监护、慢性病患者康复训练等健康领域有着广泛的应用前景；在工业领域，人体动作识别是人机协同工作的基础技术；在娱乐行业人体动作识别是体感游戏产品的关键技术。
目前该项技术的主要方案是利用传统机器学习方法进行分类识别。首先采集多个人执行多种动作的数据样本，并记录样本的动作类别标签，由此构造一个训练集；然后在训练集学习一个分类器，称为训练阶段；最后在应用阶段直接用此分类器识别其他用户的动作，称为测试阶段。但实际的测试阶段通常需要识别不同人员、不同时间、不同环境、不同传感器位置等情况下的动作，而这些因素都会造成测试数据分布不同于训练集数据分布，这个问题称为分布偏差，分布偏差问题通常使得分类器在测试阶段的正确率降低。
迁移学习是解决分布偏差问题的一项重要方法。为下文表述简单，此处介绍迁移学习中两个重要概念：原域和目标域，训练集中每个单独个体的所有动作数据称为一个原域，原域中的样本是有标签。测试阶段中每一个人的所有动作数据称为一个目标域，目标域的样本没有正确的标签，需要利用分类器进行识别。迁移的主要思想就是减少原域和目标域之间的分布差异，从而提高分类器在测试阶段的分类正确率。大部分已有的迁移学习方法有两个缺陷，需要提前已知全部目标域的样本，无法应用于在线模式识别问题；需要知道部分目标域样本的标签，无法实现无监督的领域自适应。例如，利用穿戴式设备识别人体动作时，我们无法获得动作数据的真实标签，也无法提前所有采集到的数据。
发明内容
有鉴于此，本发明的目的是提供一种在线迁移学习的人体动作识别方法，能够减少对大量训练样本的依赖，有效缓解由不同人员，不同时间，不同环境，不同传感器位置造成数据分布偏差问题，进而能够有效地提高人体动作在线识别的精度。
一种基于在线迁移学习的人体动作识别方法，包括如下步骤：
步骤1、在同一人的相同运动类型下，按照设定采样频率连续采集所关注人体部位的三轴加速度值、三轴角加速度值和三轴地磁强值，采集一个设定时段后，获得时间序列数据；将该数据按时间顺序划分成设定长度的数据段，每个数据段记为一条样本；则第t个数据段记为xt，数据段xt的理想预测值为下一个数据段x(t+1)，该数据段的类别标签即为运动类型，记为y(t)；则训练集记为
Figure BDA0002194080960000021
T表示数据段数目；
步骤2、按照步骤1的方法，再获得同一人的不同运动类型下的训练集，以及不同人的不同运动类型下的训练集，整合后得到最终训练集；
步骤3、构建预测分类网络，利用步骤2的训练集对预测分类网络进行训练；
步骤4、连续采集所关注人体部位的三轴加速度值、三轴角加速度值和三轴地磁强值，得到待识别时间序列数据；将该数据按时间书序划分成设定长度的数据段，作为待识别数据段；
步骤5、将待识别数据段按时间顺序先后输入到至少两个步骤3训练好的预测分类网络中，针对输入的每一个数据段mt，预测分类网络均输出一个分类结果和一个预测结果
Figure BDA0002194080960000022
对于当前数据段mt，将本预测网络输出的对上一个数据段的预测结果
Figure BDA0002194080960000031
与当前数据段mt求差值，得到预测误差，则每个预测分类网络得到一个预测误差；
根据预测误差为各预测分类网络赋予分类权重，误差越小，分类权重越大；基于赋予的权重，将所有预测分类网络的分类结果进行加权求和，则得到最终的分类结果。
较佳的，所述步骤3的预测分类网络的结构为：
顺次连接的5层共享特征提取层，包括：一维卷积层Conv1、一维池化层Pool1、一维卷积层Conv2、一维池化层Pool2和全连接层FC1；
以及位于全连接层FC1之后的全连接层FC2，形成分类分支；
位于全连接层FC1之后的全连接层FC3和全连接层FC4，形成预测分支；
所述分类分支的损失函数采用交叉熵损失函数，预测分支的损失函数采用均方误差，预测分类网络的总体损失函数为交叉熵损失函数和均方误差的加权和。
较佳的，预测分类网络的训练方法采用动量梯度下降学习法。
较佳的，针对步骤1获得的时间序列数据，首先删除原始数据中的异常值，填补空缺值；然后将每个人的数据进行归一化处理，转化为均值为0，方差为1的时间序列。
本发明具有如下有益效果：
本发明公布了一种针对时间序列数据的在线迁移学习方法，用于解决人体动作在线识别问题，能够有效提高对训练集中没有出现的新目标人员的动作识别精度；本发明提出一种同时实现时间序列预测和分类功能的多输出网络结构，称为PC网络，并利用PCNN构建了时间序列在线迁移学习网络；在实时过程中，首先针对训练集中不同的人员训练多个PC网络；然后时间序列在线迁移学习网络根据PCNN的预测误差为多个PCNN的分类结果进行加权，实现在线迁移学习；不同于已有的迁移学习方法，本发明无需已知目标人员的标记动作样本，能够实现无监督的迁移学习，无需提前已知目标人员的所有的动作样本，能够在在线动作识别中实现动态的迁移学习，能够有效地提高在线动作识别的精度。
附图说明
图1为预测分类网络PCNN的训练流程流程图；
图2为预测分类网络在线识别阶段流程图；
图3为PCNN网络结构图；
图4为时间序列在线迁移学习网络结构图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明依赖于这样一个事实：在日常活动中，两个人执行相同的一系列动作，部分动作相似性较高，部分动作相似性较差。比如已知个体A和个体B的动作样本及标签，我们可以分别针对用户A和用户B两个分类器C1和C2，目标是在线识别个体D的动作，由于个体之间存在动作差异，两个分类器的精度都不高，可能的情况是分类器C1对用户D的跑步动作和跳跃识别更准确，而分类器C2对用户D的睡眠和开车动作识别更准确。如果选择神经网络作为特征提取器，并同时进行时序预测和分类，那么神经网络的预测误差越小，则特征提取越有效，其分类也更准确。
在已有的中英文文献及专利中，如公开号为CN 106650655，发明名称为一种基于卷积神经网络的动作检测模型的专利中，已经证明神经网络在时间序列预测和分类方面的有效性，利用一个神经网络同时完成预测和分类任务同样可以实现；基于此，本发明提出了以下发明内容：
首先本发明提出了一种同时实现动作时间序列的预测和分类的多输出神经网络结构，如图3所示，我们简称其为预测分类网络(Prediction&Classification NeuralNetwork，PCNN)。PCNN的输入为惯性测量单元(IMU)在1秒中记录的三轴加速度值，三轴角加速度值，三轴地磁强值，记为[Acc_x Acc_y Acc_z Gyr_x Gyr_y Gyr_z Mag_x Mag_y Mag_z]T。PCNN的结构首先包括5层共享特征提取层：一维卷积层(Conv1)+一维池化层(Pool1)+一维卷积层(Conv2)+一维池化层(Pool2)+全连接层(FC1)，然后分为两个分支：第一个分支包括一个全连接层(FC2)，输出当前时刻的动作类别，该分支称为分类分支；第二个分支包括两个全连接层(FC3和FC4)，输出为下一时刻的IMU测量值的估计值，该分支称为预测分支。利用训练集中单个个人动作数据可以训练PCNN的参数。训练过程中，分类分支的损失函数为交叉熵损失函数，预测分支的损失函数是均方误差，PCNN总体损失函数为两者的加权和。PCNN的训练方法采用动量梯度下降学习法，其中学习率α为0.001，动量系数β为0.9。
其次，本发明利用多个PCNN构造了一种时间序列在线迁移学习网络(TSOTLNN)，其结构如图4所示。时间序列在线迁移学习网络的输入为一个时间序列，序列按照时间顺序一次输入到网络中，图4展示了TSOTLNN在某t时刻的数据流过程。作为前提准备，我们在原域上训练4个PCNN(PCNN网络数目由原域人员的数目决定，此处为表述方便，假设有4个PCNN)。在t时刻，TSOTLNN的输入包括两部分：目标域在t时刻的传感器观测值x(t)和PCNN对x(t)的预测估计值
Figure BDA0002194080960000051
其下标表示PCNN的编号，如
Figure BDA0002194080960000052
表示第一个PCNN对t时刻数据的观测值。TSOTLNN的输出也包括两部分，t时刻样本x(t)的类别
Figure BDA0002194080960000053
和对t+1时刻的样本预测估计值
Figure BDA0002194080960000054
TSOTLNN的计算过程如下：
步骤一，将t时刻的传感器观测值x(t)与PCNN基于观测值x(t-1)的预测估计值
Figure BDA0002194080960000055
做差求出t时刻的预测误差
Figure BDA0002194080960000056
如图4中op1所示，其计算公式为
Figure BDA0002194080960000057
其中|·|表示向量的模。
步骤二，t时刻的传感器观测值x(t)输入到4个PCNN中，PCNN的预测分支输出t+1时刻的预测值，4个PCNN的预测向量合并为矩阵，记作
Figure BDA0002194080960000061
其中
Figure BDA0002194080960000062
表示第i个PCNN的预测向量。PCNN的分类分支输出t时刻预测软标签，4个PCNN的预测标签合并为矩阵，记作
Figure BDA0002194080960000063
步骤三，根据预测误差对PCNN的分类软标签进行加权，如图4op2。计算公式如下：
Figure BDA0002194080960000064
步骤四，TSOTLNN输出的是对t+1时刻的预测矩阵
Figure BDA0002194080960000065
(第二步计算所得)，TSOTLNN输出t时刻的类别软标签
Figure BDA0002194080960000066
其中概率值最大的一项就是TSOTLNN预测的类别标签。
实施例：
本发明中，穿戴式传感器的设计、制造、佩戴方式不属于本发明考虑范围。在具体实施方案中，我们可使用市面上已有的智能手环，智能手机，通用惯性测量单元传感器来测量人体运动中手部(手环)、胯部(手机置于裤子口袋内)，胸部(手机至于胸部口袋)中一个位置或多个位置的加速度、角加速度、地磁强度。以下的具体步骤示例，其中第一步至第六步为模型训练阶段，第七步至第十步为在线识别阶段。
步骤一，构造训练数据集。本实施方式示例中假设采集了4个人的运动数据，运动类型包括走、躺、站、跳、跑步、上楼、下楼、开车、骑车等。运动数据由智能手环记录得到，具体包括三轴加速度值，三轴角加速度值，三轴地磁强值，记为[Acc_x Acc_y Acc_z Gyr_xGyr_y Gyr_z Mag_x Mag_y Mag_z]T，所有的样本被人工标记正确标签，以此数据作为训练集。需要说明的是，本发明所提方法的适用范围不限于此步骤所述传感器类型，动作类别，对于所有的日常活动和已有穿戴式传感器都适用。
步骤二，训练集数据预处理与归一化。首先删除原始数据中的异常值，填补空缺值。然后将每个人的数据进行归一化处理，转化为均值为0，方差为1的多维时间序列。最后以长度为1秒，步长为1秒的滑动窗口对数据进行划分，每个窗口内的所有观测值记为一个样本x(t)，如传感器的采样频率为100Hz，每个样本则为9×100的矩阵。
步骤三，定义每个样本的预测理想值和类别标签值，已备作为PCNN的训练样本。对于t时刻样本x(t)，其理想预测值为下一秒的样本x(t+1)，类别标签为人工标定所得，记为y(t)。训练集可以记为
Figure BDA0002194080960000071
T训练集数据记录的时间长度。
步骤四，构造PCNN网络。PCNN的结构首先包括5层共享特征提取层：一维卷积层(Conv1)+一维池化层(Pool1)+一维卷积层(Conv2)+一维池化层(Pool2)+全连接层(FC1)，然后分为两个分支：第一个分支包括一个全连接层(FC2)，输出当前时刻的动作类别，该分支称为分类分支；第二个分支包括两个全连接层(FC3和FC4)，输出为下一时刻的IMU测量值的估计值，该分支称为预测分支。
步骤五，设置PCNN参数，Conv1的滤波窗口长度为10，滤波窗口个数为16，滤波窗口移动步长为1；Pool1采用最大值池化，窗口大小为2，窗口移动步长为2；Conv2的滤波窗口长度为10，滤波窗口个数为32，滤波窗口移动步长为2，Pool2采用最大值池化，窗口大小为2，窗口移动步长为2；全连接层FC1的神经元个数为100，FC2为分类分支输出层，采用Softmax激活函数，神经元个数等于活动类别数；FC3神经元个数为100，激活函数为ReLU函数；FC4为预测分支输出层，采用Tanh激活函数，神经元个数等于x(t+1)维度。
步骤六，利用训练集中每个原域目标训练PCNN。本示例中假设训练集有4个人的运动数据，由此训练4个独立的PCNN模型，每个模型的训练样本为第三步构造的样本
Figure BDA0002194080960000072
训练过程中，分类分支的损失函数为交叉熵损失函数，预测分支的损失函数是均方误差损失函数，PCNN总体损失函数为两者的加权和，交叉熵损失函数权重为1，均方误差损失函数权重为2。PCNN的训练方法采用动量梯度下降学习法，其中学习率α为0.001，动量系数β为0.9。
步骤七，将t时刻的传感器观测值x(t)与PCNN基于上一时刻观测值x(t-1)的预测估计值
Figure BDA0002194080960000081
做差求出t时刻的预测误差
Figure BDA0002194080960000082
如图4中op1所示，其计算公式为
Figure BDA0002194080960000083
其中|·|表示向量的模。
步骤八，t时刻的传感器观测值x(t)输入到4个PCNN中，PCNN的预测分支输出对t+1时刻的预测值，4个PCNN的预测向量合并为矩阵，记作
Figure BDA0002194080960000084
其中
Figure BDA0002194080960000085
表示第i个PCNN的预测向量。PCNN的分类分支输出t时刻预测软标签，4个PCNN的预测标签合并为矩阵，记作
Figure BDA0002194080960000086
步骤九，根据预测误差对PCNN的分类软标签进行加权，如图4op2。计算公式如下
Figure BDA0002194080960000087
步骤十，TSOTLNN输出对t+1时刻的预测矩阵
Figure BDA0002194080960000088
(第二步计算所得)，TSOTLNN输出t时刻的类别软标签
Figure BDA0002194080960000089
其中概率值最大的一项就是TSOTLNN预测的类别标签。此时则完成了t时刻样本的识别，在下一时刻重复第七步之后的步骤，就可实现本发明所述的在线识别功能。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于在线迁移学习的人体动作识别方法，其特征在于，包括如下步骤：
步骤1、在同一人的相同运动类型下，按照设定采样频率连续采集所关注人体部位的三轴加速度值、三轴角加速度值和三轴地磁强值，采集一个设定时段后，获得时间序列数据；将该数据按时间顺序划分成设定长度的数据段，每个数据段记为一条样本；则第t个数据段记为xt，数据段xt的理想预测值为下一个数据段x(t+1)，该数据段的类别标签即为运动类型，记为y(t)；则训练集记为
Figure FDA0003204979350000011
T表示数据段数目；
步骤2、按照步骤1的方法，再获得同一人的不同运动类型下的训练集，以及不同人的不同运动类型下的训练集，整合后得到最终训练集；
步骤3、构建预测分类网络，利用步骤2的训练集对预测分类网络进行训练；所述预测分类网络的结构为：顺次连接的5层共享特征提取层，包括：一维卷积层Conv1、一维池化层Pool1、一维卷积层Conv2、一维池化层Pool2和全连接层FC1；以及位于全连接层FC1之后的全连接层FC2，形成分类分支；位于全连接层FC1之后的全连接层FC3和全连接层FC4，形成预测分支；所述分类分支的损失函数采用交叉熵损失函数，预测分支的损失函数采用均方误差，预测分类网络的总体损失函数为交叉熵损失函数和均方误差的加权和；
步骤4、连续采集所关注人体部位的三轴加速度值、三轴角加速度值和三轴地磁强值，得到待识别时间序列数据；将该数据按时间书序划分成设定长度的数据段，作为待识别数据段；
步骤5、将待识别数据段按时间顺序先后输入到至少两个步骤3训练好的预测分类网络中，针对输入的每一个数据段mt，预测分类网络均输出一个分类结果和一个预测结果
Figure FDA0003204979350000012
对于当前数据段mt，将本预测网络输出的对上一个数据段的预测结果
Figure FDA0003204979350000013
与当前数据段mt求差值，得到预测误差，则每个预测分类网络得到一个预测误差；
根据预测误差为各预测分类网络赋予分类权重，误差越小，分类权重越大；基于赋予的权重，将所有预测分类网络的分类结果进行加权求和，则得到最终的分类结果。
2.如权利要求1所述的一种基于在线迁移学习的人体动作识别方法，其特征在于，预测分类网络的训练方法采用动量梯度下降学习法。
3.如权利要求1所述的一种基于在线迁移学习的人体动作识别方法，其特征在于，针对步骤1获得的时间序列数据，首先删除原始数据中的异常值，填补空缺值；然后将每个人的数据进行归一化处理，转化为均值为0，方差为1的时间序列。
CN201910842235.8A 2019-09-06 2019-09-06 一种基于在线迁移学习的人体动作识别方法 Active CN110705599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842235.8A CN110705599B (zh) 2019-09-06 2019-09-06 一种基于在线迁移学习的人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842235.8A CN110705599B (zh) 2019-09-06 2019-09-06 一种基于在线迁移学习的人体动作识别方法

Publications (2)

Publication Number Publication Date
CN110705599A CN110705599A (zh) 2020-01-17
CN110705599B true CN110705599B (zh) 2021-10-19

Family

ID=69194347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842235.8A Active CN110705599B (zh) 2019-09-06 2019-09-06 一种基于在线迁移学习的人体动作识别方法

Country Status (1)

Country Link
CN (1) CN110705599B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507281A (zh) * 2020-04-21 2020-08-07 中山大学中山眼科中心 一种基于头部运动和注视行为数据的行为识别系统、装置和方法
CN114663905A (zh) * 2020-12-08 2022-06-24 华为技术有限公司 活动识别方法、显示方法及电子设备
CN115423031A (zh) * 2022-09-20 2022-12-02 腾讯科技（深圳）有限公司 一种模型训练的方法以及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874847A (zh) * 2017-01-03 2017-06-20 深圳先进技术研究院 基于人工神经网络的跌倒预测方法及跌倒气囊防护装置
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN110175671A (zh) * 2019-04-28 2019-08-27 华为技术有限公司 神经网络的构建方法、图像处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089586A1 (en) * 2016-09-29 2018-03-29 Stmicroelectronics S.R.L. Artificial neural networks for human activity recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874847A (zh) * 2017-01-03 2017-06-20 深圳先进技术研究院 基于人工神经网络的跌倒预测方法及跌倒气囊防护装置
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN110175671A (zh) * 2019-04-28 2019-08-27 华为技术有限公司 神经网络的构建方法、图像处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Dilation on Multimodality Time Series for Human Activity Recognition;Rui Xi，and etc;《IEEE Access 》;20180918(第6期);第53381-53396页 *
深度置信网络模型及应用研究综述;刘方园等;《计算机工程与应用》;20180131;第54卷(第1期);第11-18页 *

Also Published As

Publication number Publication date
CN110705599A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
Tufek et al. Human action recognition using deep learning methods on limited sensory data
CN110705599B (zh) 一种基于在线迁移学习的人体动作识别方法
Hu et al. A human body posture recognition algorithm based on BP neural network for wireless body area networks
CN110334573B (zh) 一种基于密集连接卷积神经网络的人体运动状态判别方法
CN110236550B (zh) 一种基于多模态深度学习的人体步态预测装置
CN107153812A (zh) 一种基于机器视觉的运动辅助方法及系统
CN110659677A (zh) 一种基于可移动传感器组合设备的人体跌倒检测方法
CN110232412A (zh) 一种基于多模态深度学习的人体步态预测方法
CN112294295A (zh) 一种基于极限学习机的人体膝部运动姿态识别方法
CN110111885A (zh) 属性预测方法、装置、计算机设备及计算机可读存储介质
Feldhorst et al. Motion classification for analyzing the order picking process using mobile sensors
CN108827290A (zh) 一种人体运动状态反演装置及方法
Beily et al. A sensor based on recognition activities using smartphone
Xue et al. Understanding and improving deep neural network for activity recognition
CN113705507B (zh) 基于深度学习的混合现实开集人体姿态识别方法
CN111419237A (zh) 脑卒中手部运动功能Carroll评分预测方法
CN113642432A (zh) 基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法
Tian et al. Wearable IMU-based gym exercise recognition using data fusion methods
CN114881079A (zh) 面向穿戴式传感器的人体运动意图异常检测方法及系统
CN114550299A (zh) 基于视频的老年人日常生活活动能力评估系统和方法
Chu et al. [Retracted] Image Recognition of Badminton Swing Motion Based on Single Inertial Sensor
Thakur et al. Attention-based deep learning framework for hemiplegic gait prediction with smartphone sensors
Khatun et al. Deep cnn-gru based human activity recognition with automatic feature extraction using smartphone and wearable sensors
CN116747495A (zh) 一种动作计数方法、装置、终端设备及可读存储介质
CN114913547A (zh) 基于改进的Transformer网络的跌倒检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant