CN107220617A - 人体姿态识别系统及方法 - Google Patents

人体姿态识别系统及方法 Download PDF

Info

Publication number
CN107220617A
CN107220617A CN201710379076.3A CN201710379076A CN107220617A CN 107220617 A CN107220617 A CN 107220617A CN 201710379076 A CN201710379076 A CN 201710379076A CN 107220617 A CN107220617 A CN 107220617A
Authority
CN
China
Prior art keywords
axis
acceleration
mrow
state
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710379076.3A
Other languages
English (en)
Inventor
尹振东
彭欣然
杨柱天
吴芝路
马波
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201710379076.3A priority Critical patent/CN107220617A/zh
Publication of CN107220617A publication Critical patent/CN107220617A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

人体姿态识别系统及方法，属于智能控制与看护的人体姿态识别技术领域。本发明是为了解决在图像视频识别人体运动姿态时，人体与背景特征差异不明显，难以识别，同时面向区域的识别无法有效实时跟踪目标的问题。本发明所述的人体姿态识别系统及方法，对采集的信息进行预处理，生成较为纯净可用的数据流。对纯净有用的数据流进行逐帧特征提取，作为后续训练的输入样本。利用提取的特征训练分类器。用相同采集模块采集信息，并输入训练好的分类器进行分类识别。识别准确率达到了98％，适用于一切采用腕部和腿部收集人体运动信息的设备。

Description

人体姿态识别系统及方法
技术领域
本发明属于智能控制与看护的人体姿态识别技术领域。
背景技术
人体状态识别是模式识别领域的研究热点。近年来，随着人机交互、传感器技术、机器学习等关键技术的飞速发展，人体状态识别被广泛应用于智能控制、医疗康复、健康监护、体感游戏以及CG(computer graphics，电脑动画)等领域。
其中真人CG领域，运动捕捉技术已经有长足发展，其中关键的人体姿态识别技术已经相当成熟，甚至可以将人体表情进行近乎完美的展现。体感游戏方面成果也较多，有很多商业化范例，尤其是在vr(Virtual Reality，即虚拟现实)火热的当下，基于传感器的人体姿态识别在vr控制方面有很大的想象空间。但是其技术层面属于人体姿态的模拟复现，并且其相应的传感器复杂，不适应于日常生活应用。医疗康复中人体姿态识别主要应用到姿态矫正和人机交互两个方面，目前已有很多辅助类的成果出现，对辅助医疗具有很大意义。
在智能控制与看护领域，人体运动姿态识别主要用于老人看护，并集中于摔倒检测报警装置。主要采用的方法有两类，一类是图像视频识别，另一类是利用可穿戴式传感器进行识别。在图像视频识别中，需要有效区分人体和背景，这需要人体与背景特征有一定差异，在一些差异不明显的情况很难进行准确识别。此外该类识别是面向区域进行的识别，无法有效实时跟踪感兴趣的目标。
发明内容
本发明是为了解决在图像视频识别人体运动姿态时，人体与背景特征差异不明显，难以识别，同时面向区域的识别无法有效实时跟踪目标的问题，现提供人体姿态识别系统及方法。
人体姿态识别系统包括：数据采集模块、数据预处理与特征提取模块、静止姿态分类模块和运动姿态分类模块；
数据采集模块包括用于采集人体腕部和大腿的三轴加速度和三轴角速度的单元，人体手臂方向定义为上肢Y轴，人体大腿方向定义为下肢Y轴；
数据预处理与特征提取模块包括：
用于滤除三轴加速度和三轴角速度的无用噪声的单元，
用于对滤除噪声后的三轴加速度进行定标，获得真实三轴加速度的单元，
用于滤除真实三轴加速度中重力加速度的干扰的单元，
用于分别计算滤除干扰后的三轴加速度和滤除噪声后的三轴角速度的二阶范数，获得合加速度序列和合角速度序列的单元，
用于分别计算滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列和合角速度序列的差值序列，获得32维的数据流的单元，32维的数据流包括滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列、合角速度序列及上述参数的差值序列，
用于利用时间窗对数据流进行截取，将每一帧的数据作为一个样本，获得k个样本的单元，时间窗的长度至少包括一个完整的运动周期，k为正整数，且50≤k≤150；
用于运算每个样本的统计特征的单元，统计特征包括：三轴信号均值、三轴信号标准差、三轴信号中位绝对偏差、四分位距、最大值、最小值、平方和均值、伯格阶数为4的AR模型系数、各轴序列相关性和信息熵，三轴信号包括：上肢x轴信号、上肢y轴信号、上肢z轴信号、下肢x轴信号、下肢y轴信号和下肢z轴信号；
静止姿态分类模块包括：
用于判断下肢y轴信号均值是否小于-0.63633g，是则当前人体姿态为站立状态的单元，其中g为重力加速度单位，
用于判断上肢y轴信号均值与下肢y轴信号均值的差值是否大于0.371654g，是则当前人体姿态为倚坐状态，否则当前人体姿态为躺卧状态的单元；
运动姿态分类模块包括：
用于利用k个样本的统计特征训练运动状态分类模型的单元，运动状态分类模型包括跑步状态模型、行走状态模型、剧烈运动状态模型和摔倒状态模型；
用于将当前帧样本的统计特征分别代入四种状态模型中，获得四个状态函数，对四个状态函数进行比较，其中状态函数最大值所对应的状态为当前人体姿态。
人体姿态识别方法包括以下步骤：
数据采集步骤用于采集人体腕部和大腿的三轴加速度和三轴角速度，人体手臂方向定义为上肢Y轴，人体大腿方向定义为下肢Y轴；
数据预处理与特征提取步骤：
用于滤除三轴加速度和三轴角速度的无用噪声，
用于对滤除噪声后的三轴加速度进行定标，获得真实三轴加速度，
用于滤除真实三轴加速度中重力加速度的干扰，
用于分别计算滤除干扰后的三轴加速度和滤除噪声后的三轴角速度的二阶范数，获得合加速度序列和合角速度序列，
用于分别计算去滤除扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列和合角速度序列的差值序列，获得32维的数据流，32维的数据流包括滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列、合角速度序列和上述参数的差值序，
用于利用时间窗对数据流进行截取，将每一帧的数据作为一个样本，获得k个样本，时间窗的长度至少包括一个完整的运动周期，k为正整数，且50≤k≤150；
用于运算每帧样本的统计特征，统计特征包括：三轴信号均值、三轴信号标准差、三轴信号中位绝对偏差、四分位距、最大值、最小值、平方和均值、伯格阶数为4的AR模型系数、各轴序列相关性和信息熵，三轴信号包括：上肢x轴信号、上肢y轴信号、上肢z轴信号、下肢x轴信号、下肢y轴信号和下肢z轴信号；
静止姿态分类步骤：
用于判断下肢y轴信号均值是否小于-0.63633g，是则当前人体姿态为站立状态的单元，其中g为重力加速度单位，
用于判断上肢y轴信号均值与下肢y轴信号均值的差值是否大于0.371654g，是则当前人体姿态为倚坐状态，否则当前人体姿态为躺卧状态的单元；
运动姿态分类步骤：
用于利用k个样本的统计特征训练运动状态分类模型，运动状态分类模型包括跑步状态模型、行走状态模型、剧烈运动状态模型和摔倒状态模型；
用于将当前帧样本的统计特征分别代入四种状态模型中，获得四个状态函数，对四个状态函数进行比较，其中状态函数最大值所对应的状态为当前人体姿态。
本发明所述的人体姿态识别系统及方法，对采集的信息进行预处理，生成较为纯净可用的数据流。对纯净有用的数据流进行逐帧特征提取，作为后续训练的输入样本。利用提取的特征训练分类器。用相同采集模块采集信息，并输入训练好的分类器进行分类识别。识别准确率达到了98％，适用于一切采用腕部和腿部收集人体运动信息的设备。
附图说明
图1为具体实施方式一所述的人体姿态识别系统的结构框图；
图2为数据预处理与特征提取模块的结构框图。
具体实施方式
具体实施方式一：参照图1和图2具体说明本实施方式，本实施方式所述的人体姿态识别系统，包括：数据采集模块、数据预处理与特征提取模块、静止姿态分类模块和运动姿态分类模块；
数据采集模块包括用于采集人体腕部和大腿的三轴加速度和三轴角速度的单元，人体手臂方向定义为上肢Y轴，人体大腿方向定义为下肢Y轴；
数据预处理与特征提取模块包括：
用于滤除三轴加速度和三轴角速度的无用噪声的单元，
用于对滤除噪声后的三轴加速度进行定标，获得真实三轴加速度的单元，
用于滤除真实三轴加速度中重力加速度的干扰的单元，
用于分别计算滤除干扰后的三轴加速度和滤除噪声后的三轴角速度的二阶范数，获得合加速度序列和合角速度序列的单元，
用于分别计算滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列和合角速度序列的差值序列，获得32维的数据流的单元，32维的数据流包括滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列、合角速度序列及上述参数的差值序列，
用于利用时间窗对数据流进行截取，将每一帧的数据作为一个样本，获得k个样本的单元，时间窗的长度至少包括一个完整的运动周期，k为正整数，且50≤k≤150；
用于运算每个样本的统计特征的单元，统计特征包括：三轴信号均值、三轴信号标准差、三轴信号中位绝对偏差、四分位距、最大值、最小值、平方和均值、伯格阶数为4的AR模型系数、各轴序列相关性和信息熵，三轴信号包括：上肢x轴信号、上肢y轴信号、上肢z轴信号、下肢x轴信号、下肢y轴信号和下肢z轴信号；
静止姿态分类模块包括：
用于判断下肢y轴信号均值是否小于-0.63633g，是则当前人体姿态为站立状态的单元，其中g为重力加速度单位，
用于判断上肢y轴信号均值与下肢y轴信号均值的差值是否大于0.371654g，是则当前人体姿态为倚坐状态，否则当前人体姿态为躺卧状态的单元；
运动姿态分类模块包括：
用于利用k个样本的统计特征训练运动状态分类模型的单元，所述运动状态为跑步、行走、剧烈运动和摔倒，采用支持向量机构建运动状态分类模型，运动状态分类模型包括跑步状态模型、行走状态模型、剧烈运动状态模型和摔倒状态模型，这四种状态模型的形式相同，参数不同，所述四种状态模型的形式均如下：
其中，f(x)为待求解的测试样本输入分类函数，f(x)∈[-1,1]；αi为拉格朗日乘子；yi为支持向量对应样本的分类标签，取值为±1；xi为支持向量，σ＝1，x为每帧样本的统计特征构成的向量；b为分割超平面截距；n为支持向量维数；i为支持向量个数；
用于将当前帧样本的统计特征分别代入四种状态模型中，获得四个状态函数，对四个状态函数进行比较，其中状态函数最大值所对应的状态为当前人体姿态。
采集人体三轴信息时，将传感器按照如下方式固定：
上肢信息的采集点为左臂手腕背部，沿着手臂方向为y轴方向，从手背指出的方向为z轴方向，由此可得x轴方向。下肢信息的采集点为右腿腿根裤缝位置，沿着为大腿向下为y轴方向，从大腿皮肤向外为z轴方向，由此可得x轴方向。
数据预处理与特征提取模块是针对人体腿部和腕部运动信息进行的数据预处理与特征提取，根据人体运动规律进行分析，提取采集数据的信息以及特征，针对每一帧做成一个特征向量样本，供后续识别算法作为判决依据。
为了得到有效采样样本，本实施方式设计时间窗对数据流进行截取，获得每一帧的数据作为样本。时间窗长度要至少包含一个运动的完整周期。应用时可以以2s为一个时间窗长度，重复度为50％为一帧。
本实施方式中，统计特征如表1所示。
表1
下面以x轴为例，具体给出统计特征如下：
均值为mean_accel_a_x＝∑naccel_a_xn，表征信号总体大小；
标准差为表征信号的抖动幅度；
中位绝对偏差为mad_accel_a_x＝mediann(|accel_a_xn-medianm(accel_a_xm)|)，用来刻画一元数据样本变化的一个鲁棒度量，其对野点的鲁棒性更好；
类似的四分位差为第三四分位数和第一四分位数的差距，也是刻画一元数据样本变化的一个鲁棒度量；
ar模型是根据时间序列进行前后向预测的模型，有很多种算法可以实现系数计算，其中burg算法最为典型，其为一种迭代算法，从1阶迭代到N阶从而计算模型的各项系数。而考虑到运算效率和特征值代表性的权衡，本次实验迭代到4阶，利用4阶系数作为特征进行提取，避免过学习；
最大值与最小值分别代表了每一维数据的上限和下限；
平方和均值表征了数据能量，公式为energy_accel_a_x＝∑n(accel_a_xn)2/N；
相关性是各维度之间的特征，表征各个维度数据之间的相关性大小，计算公式如式：
信息熵在信息学上表示信号的信息量，这里表示数据每维数据的混乱程度，其计算公式如下：
entropy_accel_a_x＝-∑n(accel_a_xn×log2accel_a_xn)。
对于较为稳定的静止状态来说，静止状态包括站立、躺卧、倚坐三种状态，采样样本的y轴采用平行于肢体向下方向。因此其特征分布是线性，可以利用二叉决策树方式对状态进行识别。在二叉决策树训练过程中，采用上、下肢y轴的均值特征作为训练输入。站立状态的下肢y轴值明显区别于其他两种状态，因此以下肢y轴均值作为第一个节点。观察数据躺卧和倚坐下肢y轴数据都接近0点。
设y轴与重力的夹角为θ，那么tanθ＝accel_y/g，在比较的过程中，只关心θ的相对大小，也就是关心accel_y的相对大小，即△＝accel_y_a-accel_y_b，
其中accel_y_a为上肢y轴加速度数据，accel_y_b为下肢y轴加速度数据。当上、下肢的差别较大时为倚坐状态，差别较小时为躺卧状态。因此第二个节点为上下肢y轴数据均值的差值。第二个节点判决阈值为躺卧、倚坐两个姿态的大腿与手腕y轴均值的差值的均值。
具体实施方式二：本实施方式所述的人体姿态识别方法，包括以下步骤：
数据采集步骤用于采集人体腕部和大腿的三轴加速度和三轴角速度，人体手臂方向定义为上肢Y轴，人体大腿方向定义为下肢Y轴；
数据预处理与特征提取步骤：
用于滤除三轴加速度和三轴角速度的无用噪声，
用于对滤除噪声后的三轴加速度进行定标，获得真实三轴加速度，
用于滤除真实三轴加速度中重力加速度的干扰，
用于分别计算滤除干扰后的三轴加速度和滤除噪声后的三轴角速度的二阶范数，获得合加速度序列和合角速度序列，
用于分别计算去滤除扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列和合角速度序列的差值序列，获得32维的数据流，32维的数据流包括滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列、合角速度序列和上述参数的差值序，
用于利用时间窗对数据流进行截取，将每一帧的数据作为一个样本，获得k个样本，时间窗的长度至少包括一个完整的运动周期，k为正整数，且50≤k≤150；
用于运算每帧样本的统计特征，统计特征包括：三轴信号均值、三轴信号标准差、三轴信号中位绝对偏差、四分位距、最大值、最小值、平方和均值、伯格阶数为4的AR模型系数、各轴序列相关性和信息熵，三轴信号包括：上肢x轴信号、上肢y轴信号、上肢z轴信号、下肢x轴信号、下肢y轴信号和下肢z轴信号；
静止姿态分类步骤：
用于判断下肢y轴信号均值是否小于-0.63633g，是则当前人体姿态为站立状态的单元，其中g为重力加速度单位，
用于判断上肢y轴信号均值与下肢y轴信号均值的差值是否大于0.371654g，是则当前人体姿态为倚坐状态，否则当前人体姿态为躺卧状态的单元；
运动姿态分类步骤：
用于利用k个样本的统计特征训练运动状态分类模型，所述运动状态为跑步、行走、剧烈运动和摔倒，采用支持向量机构建运动状态分类模型，运动状态分类模型包括跑步状态模型、行走状态模型、剧烈运动状态模型和摔倒状态模型，这四种状态模型的形式相同，参数不同，所述四种状态模型的形式均如下：
其中，f(x)为待求解的测试样本输入分类函数，f(x)∈[-1,1]；αi为拉格朗日乘子；yi为支持向量对应样本的分类标签，取值为±1；xi为支持向量，σ＝1，x为每个样本的统计特征构成的向量；b为分割超平面截距；n为支持向量维数；i为支持向量个数；
用于将当前帧样本的统计特征分别代入四种状态模型中，获得四个状态函数，对四个状态函数进行比较，其中状态函数最大值所对应的状态为当前人体姿态。
具体实施方式三：本实施方式是对具体实施方式二所述的人体姿态识别方法作进一步说明，本实施方式中，利用巴特沃斯滤波器滤除无用噪声和干扰。
由于热噪声和采样过程异常抖动的影响，样本中难免会有噪声。人体一般跑步、走路、上下楼时，除去直流的重力加速度频点峰值，频谱能量主要集中在0～10Hz，且0～5Hz的频谱变化更为明显，而噪声的频带宽度肯定大于这个带宽。因此可以采用低通滤波器，滤除无用的噪声，提取有用的信息。
待识别的正常人体姿态有行走、跑步、原地剧烈运动、站立、倚坐、躺卧。其中“行走”、“跑步”和“剧烈运动”与“站立”、“倚坐”和“躺卧”这两组有本质区别，前者为有剧烈抖动的运动状态，后者为相对静止的静止状态。
在人体姿态数据中总会包含重力加速度，对于静止状态而言，其重力加速度始终向下，会使传感器x轴、y轴、z轴产生稳定的分量，而其分量可以表征此时传感器相对于地面的方向，对于判断人体姿态有很重要的参考价值。
但对于运动状态而言，重力加速度产生的分量会严重干扰到运动信号的表征，对运动信号造成干扰。同时由于运动瞬时产生的加速度会附加到x轴、y轴、z轴上，想利用x轴、y轴、z轴瞬时的大小来判断当前的运动方向也会变为不可行。运动信号会和重力加速度相互干扰，因此需要将重力加速度信号分离出来。
在本实施方式中，数据采集的终端是人体的腕部和腿部。其重力加速度恒定不变，属于低频信号，因此通过低通滤波器便可以提取重力加速度信号。将真实加速度减去提取的重力加速度信号，便获取较为纯净的运动信号。
本实施方式中采用巴特沃斯滤波器进行低通滤波，滤除无用噪声和干扰的截止频率不同。巴特沃斯滤波器的特点是通频带内的频率响应曲线最大限度的平坦，没有起伏。而滤除噪声滤波器要保证原始数据不能失真，而对阻带衰减速度要求不高，所以巴特沃斯滤波器的特性可以很好的吻合实验对滤波器的要求。采用巴特沃斯滤波器，保证了运动信号的纯正性，低通滤波，截止频率为0.1Hz。
具体实施方式四：本实施方式是对具体实施方式二所述的人体姿态识别方法作进一步说明，本实施方式中，对滤除噪声后的三轴加速度进行定标的方法为：
将传感器的三轴分别平行于重力方向放置，每个轴对应两个输出值(一个正方向对应值和一个反方向对应值)，
将每个轴对应的两个输出值代入以下公式：
G＝K×ADC+Offset (1)
解得每个坐标轴所对应的标度因数K和加速度为0g时传感器的输出值Offset，其中，G为真实的加速度值，ADC为传感器的输出值，
将每个坐标轴所对应的标度因数K和输出值Offset代入公式(1)，获得每个坐标轴真实的加速度值，即真实三轴加速度。
当输入信号为零的时候，传感器的示数为零偏误差，因此需要通过实验计算零偏误差，并在将实测信号予以零偏误差补偿。理论上，将传感器水平静置，其x轴，y轴读数将为零，而z轴为1g或者-1g。但是真实情况不是这样，每个芯片由于制造工艺的问题，实际输出的数值肯定与理论值有偏差，因此需要进行定标。本实施方式中只针对三轴加速度进行定标。
通过以下实施例具体说明如何获得真实z轴加速度：
将mpu6050传感器水平放置，使其z轴与重力同向，采集30s的静止数据。由于采集的开始和结束由于人为波动开关的影响，会产生较大的机械振动，所以数据舍弃掉开始的5s和最后的5s，采用中间稳定的数据进行定标样本选取。采样率设置为50Hz，取决于时间控制的精准度，有效采样点个数为1000点左右。
然后同样的方式将终端翻转放置，使z轴与重力反向，采集1000个左右有效样本。这些采样点的均值作为定标依据，就可以获得K和Offset。将k与offset带入公式(1)即可获得真实z轴加速度。
具体实施方式五：本实施方式是对具体实施方式二所述的人体姿态识别方法作进一步说明，本实施方式中，二阶范数的运算公式如下：
其中，accel为合加速度序列，accelx为x轴的加速度，accely为y轴的加速度，accelz为z轴的加速度，gyro为合角速度序列，gyrox x轴的加速度，gyroy x轴的加速度，gyrozx轴的加速度。
具体实施方式六：本实施方式是对具体实施方式二所述的人体姿态识别方法作进一步说明，本实施方式中，32维的数据流如下表所示：
从传感器提取的运动信息，表征的都是人体运动的初始信息。进行特征提取之前，需要对初始信息进行整合运算从而获取进一步的时间序列。人体合加速度与合角速度很大程度上体现了人体运动的剧烈程度，人体运动的另一个表征就是各个轴数据的变化速率，可以用差值序列表征序列变化的剧烈程度。因此可以生成各个轴差值序列，由此得到了一个32维的数据。
现提供如下实施例来对本发明进行具体说明：
本实施例用来区分行走、跑步、原地剧烈运动、站立、躺卧、倚坐、摔倒与正常过渡状态。
首先，对典型的运动状态进行采样，采样分为两部分，第一部分为针对前6种状态的采样，第二部分为针对后两种状态的采样。
在第一部分中，将采集终端安放在腕部和大腿处，y轴方向分别与小臂和大腿方向平行向下，设定采样率为50Hz，分10次采样，每次采集一分钟。针对这一分钟数据采用第500点到第2500点的数据，采集的动作为跑步、行走、原地剧烈运动、站立、躺卧、倚坐，每个动作采集20000个点作为数据样本，作为数据处理的输入共采集120000个点。同时采集终端静置状态下的数据作为定标依据。将应用这些数据进行数据处理与分类器训练。具体步骤如下：
抑制噪声：对数据进行数字滤波，采用低通的巴特沃斯滤波器，其参数如下所示：
通带截止频率为19.5Hz，阻带截止频率为20.5Hz，通带最大衰减为1dB，阻带最小衰减为5dB，阶数为5，3dB截止频率为20Hz。
对数据进行定标：将滤波后的定标数据用数据计算均值和方差，利用均值为计算参考值，利用式2-1计算各个方向的k与offset。将训练用数据点带入公式，求得定标后的数据。
对运动样本数据进行重力干扰抑制：采用低通的巴特沃斯滤波器进行低通滤波，滤波器的参数如下：采样率50Hz，阻带截止频率0.375Hz，通带截止频率0.25Hz。
特征提取：处理后的每个样本为上肢下肢，每肢三轴加速度三轴角速度共12维数据。首先利用每肢的三轴加速度和三轴角速度计算二阶范数生成每肢的合加速度与合角速度，再将现在的16维数据进行差值运算形成差值序列共32维数据。
将每一维的数据进行时间窗切片，时间窗长度为2s即100点，重复度为50％。利用该时间窗截取样本数据，形成帧，每一帧则为训练的一个样本。
针对每一个样本进行特征提取，提取的特征如表2-5所示，共提取出100个特征。最后每个样本形成100维的特征向量
判别静止状态与运动状态：根据数据特征进行判别，主要采取腿部合加速度的方差特征作为判决依据，阈值为6种运动状态下腿部和加速度方差的均值。
静止状态训练：静止状态的识别采用二叉树的方法，因此其分类器主要就是训练其节点大小。而经分析，可采用大腿部y轴的均值作为第一个节点判断是否为站立，以大腿部y轴均值与手腕部y轴均值的差值而第二个节点判断依据。第一个节点阈值采用三个姿态y轴均值的均值作为阈值，第二个采用躺卧、倚坐两个姿态的大腿与手腕y轴均值的差值的均值作为阈值。
运动状态训练：运动状态的训练采用一对多的支持向量机，首先对样本数据贴以标签。然后利用径向核函数作为支持向量机的核函数进行训练，利用多对一的方式共训练出4个分类器，用于运动状态的识别。
利用最后新生成的一对多支持向量机与二叉树构建联合的分类器，将该分类器用于最后的姿态识别中。

Claims (7)

1.人体姿态识别系统，其特征在于，包括：数据采集模块、数据预处理与特征提取模块、静止姿态分类模块和运动姿态分类模块；
数据采集模块包括用于采集人体腕部和大腿的三轴加速度和三轴角速度的单元，人体手臂方向定义为上肢Y轴，人体大腿方向定义为下肢Y轴；
数据预处理与特征提取模块包括：
用于滤除三轴加速度和三轴角速度的无用噪声的单元，
用于对滤除噪声后的三轴加速度进行定标，获得真实三轴加速度的单元，
用于滤除真实三轴加速度中重力加速度的干扰的单元，
用于分别计算滤除干扰后的三轴加速度和滤除噪声后的三轴角速度的二阶范数，获得合加速度序列和合角速度序列的单元，
用于分别计算滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列和合角速度序列的差值序列，获得32维的数据流的单元，32维的数据流包括滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列、合角速度序列及上述参数的差值序列，
用于利用时间窗对数据流进行截取，将每一帧的数据作为一个样本，获得k个样本的单元，时间窗的长度至少包括一个完整的运动周期，k为正整数，且50≤k≤150；
用于运算每个样本的统计特征的单元，统计特征包括：三轴信号均值、三轴信号标准差、三轴信号中位绝对偏差、四分位距、最大值、最小值、平方和均值、伯格阶数为4的AR模型系数、各轴序列相关性和信息熵，三轴信号包括：上肢x轴信号、上肢y轴信号、上肢z轴信号、下肢x轴信号、下肢y轴信号和下肢z轴信号；
静止姿态分类模块包括：
用于判断下肢y轴信号均值是否小于-0.63633g，是则当前人体姿态为站立状态的单元，其中g为重力加速度单位，
用于判断上肢y轴信号均值与下肢y轴信号均值的差值是否大于0.371654g，是则当前人体姿态为倚坐状态，否则当前人体姿态为躺卧状态的单元；
运动姿态分类模块包括：
用于利用k个样本的统计特征训练运动状态分类模型的单元，运动状态分类模型包括跑步状态模型、行走状态模型、剧烈运动状态模型和摔倒状态模型；
用于将当前帧样本的统计特征分别代入四种状态模型中，获得四个状态函数，对四个状态函数进行比较，其中状态函数最大值所对应的状态为当前人体姿态。
2.人体姿态识别方法，其特征在于，所述方法包括以下步骤：
数据采集步骤用于采集人体腕部和大腿的三轴加速度和三轴角速度，人体手臂方向定义为上肢Y轴，人体大腿方向定义为下肢Y轴；
数据预处理与特征提取步骤：
用于滤除三轴加速度和三轴角速度的无用噪声，
用于对滤除噪声后的三轴加速度进行定标，获得真实三轴加速度，
用于滤除真实三轴加速度中重力加速度的干扰，
用于分别计算滤除干扰后的三轴加速度和滤除噪声后的三轴角速度的二阶范数，获得合加速度序列和合角速度序列，
用于分别计算去滤除扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列和合角速度序列的差值序列，获得32维的数据流，32维的数据流包括滤除干扰后的三轴加速度、滤除噪声后的三轴角速度、合加速度序列、合角速度序列和上述参数的差值序，
用于利用时间窗对数据流进行截取，将每一帧的数据作为一个样本，获得k个样本，时间窗的长度至少包括一个完整的运动周期，k为正整数，且50≤k≤150；
用于运算每帧样本的统计特征，统计特征包括：三轴信号均值、三轴信号标准差、三轴信号中位绝对偏差、四分位距、最大值、最小值、平方和均值、伯格阶数为4的AR模型系数、各轴序列相关性和信息熵，三轴信号包括：上肢x轴信号、上肢y轴信号、上肢z轴信号、下肢x轴信号、下肢y轴信号和下肢z轴信号；
静止姿态分类步骤：
用于判断下肢y轴信号均值是否小于-0.63633g，是则当前人体姿态为站立状态的单元，其中g为重力加速度单位，
用于判断上肢y轴信号均值与下肢y轴信号均值的差值是否大于0.371654g，是则当前人体姿态为倚坐状态，否则当前人体姿态为躺卧状态的单元；
运动姿态分类步骤：
用于利用k个样本的统计特征训练运动状态分类模型，运动状态分类模型包括跑步状态模型、行走状态模型、剧烈运动状态模型和摔倒状态模型；
用于将当前帧样本的统计特征分别代入四种状态模型中，获得四个状态函数，对四个状态函数进行比较，其中状态函数最大值所对应的状态为当前人体姿态。
3.根据权利要求2所述的人体姿态识别方法，其特征在于，利用巴特沃斯滤波器滤除无用噪声和干扰。
4.根据权利要求2所述的人体姿态识别方法，其特征在于，对滤除噪声后的三轴加速度进行定标的方法为：
将传感器的三轴分别平行于重力方向放置，每个轴对应两个输出值，
将每个轴对应的两个输出值代入以下公式：
G＝K×ADC+Offset (1)
解得每个坐标轴所对应的标度因数K和加速度为0g时传感器的输出值Offset，其中，G为真实的加速度值，ADC为传感器的输出值，
将每个坐标轴所对应的标度因数K和输出值Offset代入公式(1)，获得每个坐标轴真实的加速度值，即真实三轴加速度。
5.根据权利要求2所述的人体姿态识别方法，其特征在于，
二阶范数的运算公式如下：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>a</mi> <mi>c</mi> <mi>c</mi> <mi>e</mi> <mi>l</mi> <mo>=</mo> <mroot> <mrow> <msup> <mi>accelx</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>accely</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>accelz</mi> <mn>2</mn> </msup> </mrow> <mn>2</mn> </mroot> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>g</mi> <mi>y</mi> <mi>r</mi> <mi>o</mi> <mo>=</mo> <mroot> <mrow> <msup> <mi>gyrox</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>gyroy</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>gyroz</mi> <mn>2</mn> </msup> </mrow> <mn>2</mn> </mroot> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，accel为合加速度序列，accelx为x轴的加速度，accely为y轴的加速度，accelz为z轴的加速度，gyro为合角速度序列，gyrox x轴的加速度，gyroy x轴的加速度，gyroz x轴的加速度。
6.根据权利要求2所述的人体姿态识别方法，其特征在于，32维的数据流如下表所示：
7.根据权利要求2所述的人体姿态识别方法，其特征在于，运动状态分类模型如下：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <mi>k</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>b</mi> </mrow> 3
<mrow> <mi>k</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mfrac> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>x</mi> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> <mrow> <mn>2</mn> <mi>&amp;sigma;</mi> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
其中，f(x)为待求解的测试样本输入分类函数，f(x)∈[-1,1]；αi为拉格朗日乘子；yi为支持向量对应样本的分类标签，取值为±1；xi为支持向量，σ＝1，x为每个样本的统计特征构成的向量；b为分割超平面截距；n为支持向量维数；i为支持向量个数。
CN201710379076.3A 2017-05-25 2017-05-25 人体姿态识别系统及方法 Pending CN107220617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710379076.3A CN107220617A (zh) 2017-05-25 2017-05-25 人体姿态识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710379076.3A CN107220617A (zh) 2017-05-25 2017-05-25 人体姿态识别系统及方法

Publications (1)

Publication Number Publication Date
CN107220617A true CN107220617A (zh) 2017-09-29

Family

ID=59944441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710379076.3A Pending CN107220617A (zh) 2017-05-25 2017-05-25 人体姿态识别系统及方法

Country Status (1)

Country Link
CN (1) CN107220617A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307050A (zh) * 2018-01-18 2018-07-20 大连理工大学 一种基于智能手机传感器的建筑工人动作识别集成方法
CN108392208A (zh) * 2018-02-23 2018-08-14 大同公元三九八智慧养老服务有限公司 一种基于多阶段模型的跌倒判断方法
CN108446733A (zh) * 2018-03-19 2018-08-24 上海玺翎智能科技有限公司 一种基于多传感器数据的人体行为监测及智能识别方法
CN108509897A (zh) * 2018-03-29 2018-09-07 同济大学 一种人体姿态识别方法和系统
CN108671505A (zh) * 2018-03-20 2018-10-19 杭州电子科技大学 一种羽毛球运动辅助系统及其控制方法
CN108703760A (zh) * 2018-06-15 2018-10-26 安徽中科智链信息科技有限公司 基于九轴传感器的人体运动姿态识别系统及方法
CN108827290A (zh) * 2018-06-15 2018-11-16 安徽中科智链信息科技有限公司 一种人体运动状态反演装置及方法
CN109558841A (zh) * 2018-11-30 2019-04-02 歌尔科技有限公司 一种运动状态的识别方法、装置及终端
CN109886068A (zh) * 2018-12-20 2019-06-14 上海至玄智能科技有限公司 基于运动数据的动作行为识别方法
CN109982109A (zh) * 2019-04-03 2019-07-05 睿魔智能科技（深圳）有限公司 短视频的生成方法及装置、服务器和存储介质
CN109993037A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 动作识别方法、装置、穿戴设备及计算机可读存储介质
CN110274590A (zh) * 2019-07-08 2019-09-24 哈尔滨工业大学 一种基于决策树的暴力动作检测方法及系统
CN110674683A (zh) * 2019-08-15 2020-01-10 深圳供电局有限公司 机器人手部动作识别方法和系统
CN110743160A (zh) * 2019-11-19 2020-02-04 卓谨信息科技（常州）有限公司 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法
CN110988861A (zh) * 2019-10-31 2020-04-10 复旦大学 基于毫米波雷达的人体姿态识别系统
CN110974240A (zh) * 2019-12-09 2020-04-10 江苏物联网研究发展中心 一种人体动作行为检测、预测方法
CN111241983A (zh) * 2020-01-07 2020-06-05 北京海益同展信息科技有限公司 一种姿势检测方法、装置、系统、电子设备及存储介质
CN111382641A (zh) * 2018-12-29 2020-07-07 西安思博探声生物科技有限公司 体态识别方法和体感游戏动作指导系统
CN111505632A (zh) * 2020-06-08 2020-08-07 北京富奥星电子技术有限公司 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN111870248A (zh) * 2020-06-05 2020-11-03 安徽建筑大学 基于3d加速度信号的运动状态特征提取及识别方法
CN112370050A (zh) * 2020-11-17 2021-02-19 哈尔滨理工大学 一种人体姿态与运动能量消耗识别系统及识别方法
CN113008231A (zh) * 2021-04-30 2021-06-22 东莞市小精灵教育软件有限公司 一种运动状态识别方法、系统、可穿戴设备和存储介质
CN113408737A (zh) * 2021-05-12 2021-09-17 联合汽车电子有限公司 移动终端姿态识别方法、装置和可读存储介质
WO2023035093A1 (zh) * 2020-05-06 2023-03-16 浙江大学 基于惯性传感器的人体行为识别方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993037B (zh) * 2018-01-02 2021-08-06 中国移动通信有限公司研究院 动作识别方法、装置、穿戴设备及计算机可读存储介质
CN109993037A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 动作识别方法、装置、穿戴设备及计算机可读存储介质
CN108307050A (zh) * 2018-01-18 2018-07-20 大连理工大学 一种基于智能手机传感器的建筑工人动作识别集成方法
CN108392208A (zh) * 2018-02-23 2018-08-14 大同公元三九八智慧养老服务有限公司 一种基于多阶段模型的跌倒判断方法
CN108392208B (zh) * 2018-02-23 2020-12-15 大同公元三九八智慧养老服务有限公司 一种基于多阶段模型的跌倒判断方法
CN108446733A (zh) * 2018-03-19 2018-08-24 上海玺翎智能科技有限公司 一种基于多传感器数据的人体行为监测及智能识别方法
CN108671505B (zh) * 2018-03-20 2019-11-19 杭州电子科技大学 一种羽毛球运动辅助系统及其控制方法
CN108671505A (zh) * 2018-03-20 2018-10-19 杭州电子科技大学 一种羽毛球运动辅助系统及其控制方法
CN108509897A (zh) * 2018-03-29 2018-09-07 同济大学 一种人体姿态识别方法和系统
CN108703760A (zh) * 2018-06-15 2018-10-26 安徽中科智链信息科技有限公司 基于九轴传感器的人体运动姿态识别系统及方法
CN108827290A (zh) * 2018-06-15 2018-11-16 安徽中科智链信息科技有限公司 一种人体运动状态反演装置及方法
CN109558841A (zh) * 2018-11-30 2019-04-02 歌尔科技有限公司 一种运动状态的识别方法、装置及终端
CN109886068A (zh) * 2018-12-20 2019-06-14 上海至玄智能科技有限公司 基于运动数据的动作行为识别方法
CN109886068B (zh) * 2018-12-20 2022-09-09 陆云波 基于运动数据的动作行为识别方法
CN111382641A (zh) * 2018-12-29 2020-07-07 西安思博探声生物科技有限公司 体态识别方法和体感游戏动作指导系统
CN109982109A (zh) * 2019-04-03 2019-07-05 睿魔智能科技（深圳）有限公司 短视频的生成方法及装置、服务器和存储介质
CN110274590A (zh) * 2019-07-08 2019-09-24 哈尔滨工业大学 一种基于决策树的暴力动作检测方法及系统
CN110674683A (zh) * 2019-08-15 2020-01-10 深圳供电局有限公司 机器人手部动作识别方法和系统
CN110674683B (zh) * 2019-08-15 2022-07-22 深圳供电局有限公司 机器人手部动作识别方法和系统
CN110988861B (zh) * 2019-10-31 2022-09-16 复旦大学 基于毫米波雷达的人体姿态识别系统
CN110988861A (zh) * 2019-10-31 2020-04-10 复旦大学 基于毫米波雷达的人体姿态识别系统
CN110743160A (zh) * 2019-11-19 2020-02-04 卓谨信息科技（常州）有限公司 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法
CN110743160B (zh) * 2019-11-19 2023-08-11 卓谨信息科技（常州）有限公司 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法
CN110974240A (zh) * 2019-12-09 2020-04-10 江苏物联网研究发展中心 一种人体动作行为检测、预测方法
CN111241983A (zh) * 2020-01-07 2020-06-05 北京海益同展信息科技有限公司 一种姿势检测方法、装置、系统、电子设备及存储介质
CN111241983B (zh) * 2020-01-07 2023-09-26 京东科技信息技术有限公司 一种姿势检测方法、装置、系统、电子设备及存储介质
WO2023035093A1 (zh) * 2020-05-06 2023-03-16 浙江大学 基于惯性传感器的人体行为识别方法
CN111870248A (zh) * 2020-06-05 2020-11-03 安徽建筑大学 基于3d加速度信号的运动状态特征提取及识别方法
CN111505632A (zh) * 2020-06-08 2020-08-07 北京富奥星电子技术有限公司 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN111505632B (zh) * 2020-06-08 2023-03-03 北京富奥星电子技术有限公司 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN112370050A (zh) * 2020-11-17 2021-02-19 哈尔滨理工大学 一种人体姿态与运动能量消耗识别系统及识别方法
CN113008231A (zh) * 2021-04-30 2021-06-22 东莞市小精灵教育软件有限公司 一种运动状态识别方法、系统、可穿戴设备和存储介质
WO2022227202A1 (zh) * 2021-04-30 2022-11-03 东莞市小精灵教育软件有限公司 一种运动状态识别方法、系统、可穿戴设备和存储介质
CN113408737A (zh) * 2021-05-12 2021-09-17 联合汽车电子有限公司 移动终端姿态识别方法、装置和可读存储介质

Similar Documents

Publication Publication Date Title
CN107220617A (zh) 人体姿态识别系统及方法
US9700241B2 (en) Gait analysis system and method
CN108446733A (zh) 一种基于多传感器数据的人体行为监测及智能识别方法
CN110334573B (zh) 一种基于密集连接卷积神经网络的人体运动状态判别方法
CN106981174A (zh) 一种基于智能手机的老人跌倒检测方法
CN108549900A (zh) 基于移动设备佩戴位置的人体跌倒检测方法
CN110490080A (zh) 一种基于图像的人体跌倒判别方法
Jalloul et al. Activity recognition using complex network analysis
CN106210269A (zh) 一种基于智能手机的人体动作识别系统及方法
WO2021115064A1 (zh) 基于可穿戴传感器的健身运动识别方法
CN108514421A (zh) 提升混合现实与日常健康监测的方法
CN111744156B (zh) 基于可穿戴设备与机器学习的足球动作识别评估系统及方法
CN108021888A (zh) 一种跌倒检测方法
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN111274998A (zh) 帕金森病手指敲击动作识别方法及系统、存储介质及终端
CN108898269A (zh) 基于度量的电力图像环境影响评估方法
CN109998551A (zh) 一种分段式局部峰值检测的步态相位分析方法
CN108717548B (zh) 一种面向传感器动态增加的行为识别模型更新方法及系统
CN111209882A (zh) 一种全向运动装置的步态信息获取方法、系统及可读存储介质
Chen et al. Detection of falls with smartphone using machine learning technique
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
CN111582361A (zh) 基于惯性传感器的人体行为识别方法
CN116226727A (zh) 一种基于ai的运动识别系统
CN105105757A (zh) 一种可穿戴人体运动姿态轨迹记录与测评装置
Qian et al. Combining deep learning and model-based method using Bayesian Inference for walking speed estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170929