CN114580471A - 人体动作识别方法和系统 - Google Patents

人体动作识别方法和系统 Download PDF

Info

Publication number
CN114580471A
CN114580471A CN202210186135.6A CN202210186135A CN114580471A CN 114580471 A CN114580471 A CN 114580471A CN 202210186135 A CN202210186135 A CN 202210186135A CN 114580471 A CN114580471 A CN 114580471A
Authority
CN
China
Prior art keywords
matrix
moment
human body
time
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210186135.6A
Other languages
English (en)
Inventor
何磊
何俊毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Sport
Original Assignee
Shanghai University of Sport
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Sport filed Critical Shanghai University of Sport
Priority to CN202210186135.6A priority Critical patent/CN114580471A/zh
Publication of CN114580471A publication Critical patent/CN114580471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种人体动作识别方法及系统，方法包括：实时监测人体关节于人体坐标系下运动参数，分别构建下一时刻状态变量预测矩阵计算模型、下一时刻的状态向量误差预测值计算模型和融合阈值计算模型；根据构建的下一时刻状态变量预测模型矩阵和状态向量误差预测值计算模型，对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵以及下一时刻的准确状态向量预测值计算模型，判断两个不同时刻状态变量预测值偏差是否符合融合阈值条件；若符合，则输出融合后的人体动作识别结果，若不符合，则继续重复上述步骤。本发明能够保证每一时刻的人体运动参数融合平滑，最终输出的状态参数结果平滑无间歇地融合，形成监测时间范围内准确的人体运动状态数据。

Description

人体动作识别方法和系统
技术领域
本发明属于现代体育服务支撑技术领域，具体涉及人体动作识别方法和系统。
背景技术
人体运动状态监测或识别技术及装置在运动学分析、医疗学诊断、人员看护、虚拟现实等领域应用广泛。
在运动员培养的体育训练方面，市场上大多数可穿戴设备诸如手环等产品只包含计步、里程、卡路里消耗等数据的记录及分析功能，并没有针对某类体育运动的动作识别和计数功能。为方便教练员更好地分析运动员在训练和比赛中的表现，人们希望能够记录运动员在场上的技术动作次数。以往采用如中国专利2020800063201、202010491566.4等提供的人体动作识别和预测方法，通过录像或图像实时监测来分析运动员数据，这不仅费时也费力，因此希望借助于更加轻便的可穿戴设备或者避免人体动作的录像来进行每一帧的动作识别来实现运动识别和计数。例如，在运动员训练的人体动作识别方法的技术需求方面，应用较广泛的为专业乒乓球和羽毛球领域。
目前国内外学者已经展开人体运动识别算法的研究。如美国专利US4570217A公开了一种采用分布式传感器网络进行人体动作识别的方法，其提出一种线性结算方法来处理传感器网络数据，但传感器较多，数据量较大，实时性不高。李峰等(基于三轴加速度传感器的人体运动识别[J].计算机研究与发展，2016，53(3):621-631.)利用手机自带加速度计和陀螺仪传感器采集人体运动数据，并对原始数据的时域和频域进行了分析，提取了相关特征值。再利用J48决策器结合Markov模型得到识别结果，能够识别人上楼、下楼，跑动、走路、静止等状态。但该算法只可识别一段时间内人的某种状态，并不能对动作进行计数并进行人体下一动作的识别，运动员不同时刻的人体动作数据平滑融合后的人体动作趋势预测。周林等(周林，雷丽平，杨龙频.基于多传感器的人体行为识别系统[J].传感器与微系统，2016，35(3):89-91，95.)同样采用决策树并采用加窗处理实现人体下蹲、躺等动作的识别，但由于采用加窗处理，仍然无法实现不同时刻的人体动作数据平滑融合后的人体动作趋势预测。
在日常体育锻炼方面，当今社会，运动健身越来越为大众所需，特别是总是呆在使用空调的办公室白领，处于亚健康的状况越来越严重。贴近大自然的、脚踩泥土的运动是一种科学的、有效的有氧健身运动。但由于气候和环境等因素，降低了人的运动积极性。跑步机运动是一种室内运动，不受天气等外部环境的影响和限制，尤其受到办公室白领的欢迎。但随之而来的是因跑步而受伤的人越来越多。
当今世界，信息技术高速发展，社会、经济和用户对健身器材的需求正发生巨大的变化，现有人体运动状态监测或识别方法及系统装置多数只能针对特定的运动状态进行分类和判断，功能比较单一。在日常条件下能够自动完成人体多种运动状态识别方法、软件和系统装置的开发设计技术仍不完善。传统的人体动作识别方法已不能满足在运动学分析、医疗学诊断、人员看护、虚拟现实等领域的人体运动状态识别、有针对性的锻炼结果以及人性化锻炼、康复过程中的防摔倒的需求。
发明内容
本发明针对上述缺陷，提供一种人体动作识别方法和系统。本发明基于物联网以及佩戴传感器，实时监测运动人体的三轴运动速度、角速度和加速度，分别构建下一时刻状态变量预测矩阵计算模型、下一时刻的状态向量误差预测值计算模型、下一时刻的人体状态变量矩阵、下一时刻准确向量预测值计算融合阈值计算模型，并基于构建的融合阈值模型判断不同时刻的人体动作变量预测值偏差是否符合融合阈值条件，最终输出平滑融合的准确的人体运动状态数据，能够有效提高人体动作识别时的准确性，提供连贯融合、准确度高的人体动作识别连续数据。
本发明提供如下技术方案：人体动作识别方法，所述方法将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息，包括以下步骤：
S1：实时监测人体关节于人体坐标系下的三轴运动速度、三轴运动角速度和三轴加速度，构建下一时刻状态变量预测矩阵计算模型；
S2：构建下一时刻的状态向量误差预测值计算模型；
S3：实时监测人体关节于人体坐标系下的三维运动坐标值，构建融合阈值计算模型；
S4：根据所述步骤S1构建的下一时刻状态变量预测模型矩阵和所述S2步骤构建的状态向量误差预测值计算模型，对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵以及下一时刻的准确状态向量预测值计算模型；
S5：判断第i时刻和第j时刻状态变量预测值偏差是否符合所述S3步骤计算得到的融合阈值条件，其中，j＞i；若符合，则输出融合后的人体动作识别结果，若不符合，则重复所述步骤S1-S4。
进一步地，所述人体关节包括头后部中心点、颈椎、左肩、左肘、左手、右肩、右肘、右手、躯体中心点、左髋、左膝、左脚、右髋、右膝、右脚。
进一步地，所述S1步骤中构建下一时刻状态变量预测矩阵计算模型的方法包括以下步骤：
S11：根据实时监测人体关节于人体坐标系下的三轴运动速度和三轴加速度，构建人体坐标系下的人体关节速度向量矩阵Vk和人体关节加速度向量矩阵Ak，然后再根据所述人体关节速度向量矩阵Vk和人体关节加速度向量矩阵Ak构建k时刻人体状态变量矩阵Xk：
Figure BDA0003523500730000031
其中
Figure BDA0003523500730000032
Figure BDA0003523500730000033
其中，q∈Q，Q＝1,2…,15，Q为被实时监测的人体关节的总数量，
Figure BDA0003523500730000034
为第q个关节的k时刻人体坐标系下x轴速度，
Figure BDA0003523500730000035
为第q个关节的k时刻人体坐标系下y轴速度，
Figure BDA0003523500730000036
为第q个关节的k时刻人体坐标系下z轴速度；
Figure BDA0003523500730000037
为第q个关节的k时刻人体坐标系下x轴加速度，
Figure BDA0003523500730000038
为第q个关节的k时刻人体坐标系下y轴加速度，
Figure BDA0003523500730000041
为第q个关节的k时刻人体坐标系下z轴加速度；k∈{i，j},k+1∈{i，j}，{i，j}为第i时刻至第j时刻所有时刻点的集合；
S12：根据实时监测得到的三轴角速度，构建人体坐标系下k时刻人体运动转换矩阵Mk：
Figure BDA0003523500730000042
其中，B为状态系数矩阵，
Figure BDA0003523500730000043
为k时刻的人体坐标系中角速度矩阵
Figure BDA0003523500730000044
的斜对称矩阵，即角速度斜对称矩阵；
其中，
Figure BDA0003523500730000045
I3为一个3×3的单位矩阵，03为一个3×3的全部元素均为0的零矩阵，η为加入高斯-马尔科夫白噪声的加速度恒定状态计算系数；
角速度矩阵
Figure BDA0003523500730000046
其中，
Figure BDA0003523500730000047
为实时监测到的k时刻人体坐标系下x轴角速度矩阵，
Figure BDA0003523500730000048
为实时监测到的k时刻人体坐标系下y轴角速度矩阵，
Figure BDA0003523500730000049
为实时监测到的k时刻人体坐标系下z轴角速度矩阵；
Figure BDA00035235007300000410
Figure BDA00035235007300000411
Figure BDA00035235007300000412
为第q个关节的k时刻人体坐标系下x轴角速度，
Figure BDA00035235007300000413
为第q个关节的k时刻人体坐标系下y轴角速度，
Figure BDA00035235007300000414
为第q个关节的k时刻人体坐标系下z轴角速度；角速度斜对称矩阵
Figure BDA00035235007300000415
S13：构建下一时刻状态变量预测矩阵计算模型Xk+1|k：Xk+1|k＝MkXk，其中下一时刻状态变量预测矩阵Xk+1|k为基于k时刻的人体状态变量矩阵Xk计算得到的。
进一步地，所述S2步骤中构建下一时刻的状态向量误差预测值计算模型的方法包括以下步骤：
S21：根据所述S1步骤实时监测得到的人体关节于人体坐标系下的三轴运动速度，构建k时刻人体坐标系中三轴运动速度矩阵
Figure BDA0003523500730000051
的斜对称矩阵
Figure BDA0003523500730000052
Figure BDA0003523500730000053
其中，k时刻人体坐标系中三轴运动速度矩阵
Figure BDA0003523500730000054
Figure BDA0003523500730000055
为实时监测到的k时刻人体坐标系下x轴运动速度矩阵，
Figure BDA0003523500730000056
为实时监测到的k时刻人体坐标系下y轴运动速度矩阵，
Figure BDA0003523500730000057
为实时监测到的k时刻人体坐标系下z轴运动速度矩阵；
Figure BDA0003523500730000058
Figure BDA0003523500730000059
S22：根据所述S21步骤构建的k时刻人体坐标系中三轴运动速度矩阵
Figure BDA00035235007300000510
的斜对称矩阵
Figure BDA00035235007300000511
构建k时刻的人体状态变量矩阵Xk与下一时刻的人体状态变量矩阵Xk+1之间的协方差矩阵Ck：
Figure BDA00035235007300000512
其中，
Figure BDA00035235007300000513
为Q个关节人体坐标系下三轴运动速度于第k时刻和第k+1时刻的协方差，
Figure BDA0003523500730000061
为Q个关节人体坐标系下三轴运动加速度于第k时刻和第k+1时刻的协方差；
S23：根据所述S21步骤构建的协方差矩阵Ck以及所述S12步骤构建得到的人体坐标系下k时刻人体运动转换矩阵Mk，构建状态向量误差预测值计算模型Pk+1|k：Pk+1|k＝MkPk(Mk)T+Ck，其中，状态向量误差预测值Pk+1|k为基于k时刻的状态向量误差预测值Pk计算得到的。
进一步地，所述S4步骤中的对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵以及下一时刻的准确状态向量预测值计算模型，包括以下步骤：
S41：根据所述S2步骤构建的状态向量误差预测值计算模型Pk+1|k，构建k+1时刻的增益修正矩阵Gk+1：Gk+1＝Pk+1|k(Ek)T[EkPk+1|k(Ek)T]-1，其中，Ek为向k时刻的人体状态变量矩阵Xk加入测量噪声γk得到的k+1时刻的测量人体状态变量矩阵Yk+1的系数矩阵，Yk+1＝EkXk+γk；
S42：根据所述S1步骤构建的下一时刻状态变量预测矩阵Xk+1|k、所述S41步骤构建的k+1时刻的增益修正矩阵Gk+1以及计算得到的k+1时刻的测量人体状态变量矩阵Yk+1，计算k+1时刻的人体状态变量矩阵Xk+1：
Xk+1＝Xk+1|k+Gk+1[Yk+1-EkXk+1|k]
S43：根据所述S41步骤构建的k+1时刻的增益修正矩阵Gk+1、系数矩阵Ek和所述S2步骤构建的下一时刻的状态向量误差预测值计算模型Pk+1|k，构建下一时刻的准确状态向量预测值计算模型Pk+1：Pk+1＝(1-Gk+1Ek)Pk+1|k。
进一步地，所述S41步骤中的系数矩阵Ek为：
Figure BDA0003523500730000071
其中，I3为一个3×3的单位矩阵，03为一个3×3的全部元素均为0的零矩阵。
进一步地，所述融合阈值条件为0.01＜D(Xi，Xj)＜0.3，若融合阈值D(Xi，Xj)≥0.3，则重复所述步骤S1-S4，以保证每一时刻的人体运动参数融合平滑，使最终输出的第i时刻的人体运动状态参数结果与第j时刻的人体运动状态参数结果平滑无间歇地融合，形成第i时刻到第j时刻的准确的人体运动状态数据；
所述S3步骤构建的融合阈值D(Xi，Xj)的计算公式如下：
Figure BDA0003523500730000072
其中，τq为第i个状态变量矩阵Xi至第j个状态变量矩阵Xj的所有状态变量矩阵中第q个关节的权重系数，|Xi|为第i时刻的状态变量矩阵Xi的秩，|Xj|为第j时刻的状态变量矩阵Xj的秩。
进一步地，状态变量矩阵中第q个关节的权重系数τq的计算公式为：
Figure BDA0003523500730000073
其中，τintra为Q个关节在第k个时刻的内部可变性系数，τinter为Q个关节在第k个时刻和第i时刻与第j时刻时间区间内的其他时刻的内部可变性系数；
Figure BDA0003523500730000074
Figure BDA0003523500730000075
其中，Hq(i，j)为第i时刻和第j时刻的第q个关节状态变量矩阵融合调整计算模型，Trace(Hq(ij))为Hq(i，j)用Trace(·)函数求解。
进一步地，所述第i时刻和第j时刻的第q个关节状态变量矩阵融合调整计算模型Hq(i，j)如下：
Figure BDA0003523500730000081
其中，mean(·)为平均函数，
Figure BDA0003523500730000082
为第k时刻第q个关节的边界位置矩阵，
Figure BDA0003523500730000083
为从第i时刻至第j时刻的各个边界位置矩阵的秩，
Figure BDA0003523500730000084
Figure BDA0003523500730000085
为所述S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的x轴坐标值，
Figure BDA0003523500730000086
为所述S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的y轴坐标值，
Figure BDA0003523500730000087
为所述S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的z轴坐标值。
本发明还提供一种人体动作识别系统，所述系统包括三轴陀螺仪、三维定位模块、数据分析计算模块和中央控制模块；所述三轴陀螺仪，用于实时监测人体关节于人体坐标系下的三轴运动速度、三轴运动角速度和三轴加速度；
所述三维定位模块，用于实时监测人体关节于人体坐标系下的三维运动坐标值；
所述数据分析计算模块，用于根据所述三轴陀螺仪的实时监测参数，计算下一时刻状态变量预测矩阵并构建下一时刻的状态向量误差预测值计算模型，构建融合阈值计算模型；
所述中央控制模块，用于计算下一时刻状态变量预测矩阵，对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的准确状态向量预测值计算模型，判断第i时刻和第j时刻状态变量预测值偏差是否符合融合阈值条件，最终输出无间歇地融合的第i时刻的人体运动状态参数结果与第j时刻的人体运动状态参数结果平滑，形成第i时刻到第j时刻的准确的人体运动状态数据。
本发明的有益效果为：
1、本发明提供的人体动作识别方法通过实时监测人体头后部中心点、颈椎、左肩、左肘、左手、右肩、右肘、右手、躯体中心点、左髋、左膝、左脚、右髋、右膝、右脚这15个关节点于人体坐标系下的三轴运动速度、三轴运动角速度和三轴加速度以及三位运动坐标值，根据15个关节点于人体坐标系下的三轴速度、三轴角速度和三轴加速度，构建基于该时刻(k时刻)的包括人体关节速度向量矩阵Vk和人体关节加速度向量矩阵Ak的人体状态变量矩阵Xk，再基于人体状态变量矩阵Xk通过构建的人体运动转换矩阵Mk预测下一时刻(k+1时刻)的状态变量预测矩阵计算模型Xk+1|k，包括状态系数矩阵B和k时刻的人体坐标系中角速度矩阵
Figure BDA0003523500730000091
的斜对称矩阵
Figure BDA0003523500730000092
的人体运动转换矩阵Mk，能够有效地提高基于k时刻人体状态变量矩阵Xk计算得到的下一时刻(k+1时刻)的状态变量预测矩阵计算模型Xk+1|k的准确度。
2、本发明在得到了下一时刻(k+1时刻)的状态变量预测矩阵计算结果Xk+1|k的情况下，通过基于三轴陀螺仪实时监测得到的每个关节于人体坐标系下的三轴运动速度，构建出k时刻人体坐标系中三轴运动速度矩阵
Figure BDA0003523500730000093
的斜对称矩阵
Figure BDA0003523500730000094
在基于下一时刻状态变量预测矩阵计算结果Xk+1|k，构建下一时刻的状态向量误差预测值计算模型Pk+1|k，并基于状态向量误差预测值计算模型Pk+1|k，构建k+1时刻的增益修正矩阵Gk+1，采用增益修正矩阵对下一时刻的状态向量误差预测值进行增益修正，得到下一时刻的人体人体状态变量矩阵Xk+1以及下一时刻的准确状态向量预测值计算模型Pk+1，不断迭代优化后，通过构建的融合阈值计算模型判断第i时刻和第j时刻状态变量预测值偏差是否符合融合阈值条件，保证每一时刻的人体运动参数融合平滑，使最终输出的第i时刻的人体运动状态参数结果与第j时刻的人体运动状态参数结果平滑无间歇地融合，形成第i时刻到第j时刻的准确的人体运动状态数据，进而将该构建的强化训练模型应用于三轴陀螺仪和三维定位模块实时监测得到的参数，对其进行数据分析计算后，应用自构建的融合阈值计算模型判断各个时刻的人体运动状态参数是否平滑，保证每一时刻的人体运动参数融合平滑，使最终输出的第i时刻的人体运动状态参数结果与第j时刻的人体运动状态参数结果平滑无间歇地融合，形成第i时刻到第j时刻的准确的人体运动状态数据。
3、本发明自构建的融合阈值计算模型是基于第i时刻的人体状态变量矩阵的秩|Xi|与第j时刻的人体状态变量矩阵的秩|Xj|作差后赋予关节权重系数τq，从而能够有效的提供判断第i个时刻的各个关节的三轴速度、三轴角速度、三轴加速度是否与第j个时刻的各个关节的三轴速度、三轴角速度、三轴加速度平滑融合，利用mean(·)函数计算各个时刻的第q个关节状态变量矩阵融合调整结果Hq(i，j)，并基于此计算得到Q个关节在第k个时刻和第i时刻与第j时刻时间区间内的其他时刻的内部可变性系数τintra，在对计算各个时刻的第q个关节状态变量矩阵融合调整结果Hq(i，j)利用Trace(·)函数进行计算，最小化类内距的同时能够通过Trace(·)函数输出所有字符串，进而达到最大化类间距的目的和不会造成较高的数据噪声影响带来的判断基准不准确的情况发生。
4、本发明提供的人体动作识别方法能够用于体育锻炼器材、体育教学、康复锻炼的安全保证以及应急救援，通过本发明提供的能够准确判断人体动作的变换的状态参数情况下，能够灵敏快速、准确无误地识别到人体的摔倒或进行摔倒预测，或者预测和/或识别体育锻炼动作不到位的情况的发生，也可以应用于运动与虚拟游戏产品的开发前端应用上，有效地提高虚拟游戏产品在VR、AR虚拟视听上呈现出的效果，利用前期不同时刻的人体运动状态参数，输入至数据库后构建虚拟游戏总不同的运动姿势展现模型，可以提高虚拟视听的贴近真实性和氛围感。
5、本发明提供的人体动作识别方法避免了通过摄像头等视频数据输出参数的实时监测传感器对人体动作的图像识别，在数据处理过程中避免了一帧一帧对人体动作的识别的计算量大的缺陷，同时也相对于图像人体动作识别方法来说，能够为人体动作突变或改变进行准确预测，扩展了人体动作识别方法的应用领域，增加了实用性。
6、本发明的包括人体关节速度向量矩阵Vk和人体关节加速度向量矩阵Ak的人体状态变量矩阵Xk是基于三轴陀螺仪的实时监测数据进行构建的，避免了线性实时监测数据所带来的误测或漏测现象的发生，能够有效提高人体状态参数数据的全面性和准确性，进而进一步提高了不同人体运动状态参数融合是否平滑的判断的准确性。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。其中：
图1为本发明提供的人体动作识别方法流程示意图；
图2为本发明提供的人体动作识别的15个关节点分布示意图；
图3为本发明提供的构建下一时刻状态变量预测矩阵计算模型Xk+1|k的方法流程示意图；
图4为本发明提供的构建下一时刻的状态向量误差预测值计算模型Pk+1|k的流程示意图；
图5为本发明提供的对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵Xk+1以及下一时刻的准确状态向量预测值计算模型Pk+1的流程示意图；
图6为本发明提供的人体动作识别系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，为本实施例提供的人体动作识别方法，方法将人体动作识别结果转换成特征信息，特征信息为3D关键点信息，包括以下步骤：
S1：实时监测人体关节于人体坐标系下的三轴运动速度、三轴运动角速度和三轴加速度，构建下一时刻状态变量预测矩阵计算模型Xk+1|k；
S2：构建下一时刻的状态向量误差预测值计算模型Pk+1|k；
S3：实时监测人体关节于人体坐标系下的三维运动坐标值，构建融合阈值计算模型；
S4：根据所述步骤S1构建的下一时刻状态变量预测模型矩阵Xk+1|k和所述S2步骤构建的状态向量误差预测值计算模型Pk+1|k，对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵Xk+1以及下一时刻的准确状态向量预测值计算模型Pk+1；
S5：判断第i时刻和第j时刻状态变量预测值偏差是否符合所述S3步骤计算得到的融合阈值条件，其中，j＞i；若符合，则输出融合后的人体动作识别结果，若不符合，则重复所述步骤S1-S4。
实施例2
如图1所示，为本实施例提供的人体动作识别方法，方法将人体动作识别结果转换成特征信息，特征信息为3D关键点信息，包括以下步骤：
S1：实时监测人体关节于人体坐标系下的三轴运动速度、三轴运动角速度和三轴加速度，构建下一时刻状态变量预测矩阵计算模型Xk+1|k；
S2：构建下一时刻的状态向量误差预测值计算模型Pk+1|k；
S3：实时监测人体关节于人体坐标系下的三维运动坐标值，构建融合阈值计算模型；
S4：根据所述步骤S1构建的下一时刻状态变量预测模型矩阵Xk+1|k和所述S2步骤构建的状态向量误差预测值计算模型Pk+1|k，对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵Xk+1以及下一时刻的准确状态向量预测值计算模型Pk+1；
S5：判断第i时刻和第j时刻状态变量预测值偏差是否符合所述S3步骤计算得到的融合阈值条件，其中，j＞i；若符合，则输出融合后的人体动作识别结果，若不符合，则重复所述步骤S1-S4。
如图2所示，作为本发明的一个优选实施例，本发明提供的人体动作识别方法关注的人体关节包括头后部中心点、颈椎、左肩、左肘、左手、右肩、右肘、右手、躯体中心点、左髋、左膝、左脚、右髋、右膝、右脚，共15个关节点。
作为本发明的另一个优选实施例，如图3所示，S1步骤中构建下一时刻状态变量预测矩阵计算模型Xk+1|k的方法包括以下步骤：
S11：根据实时监测人体关节于人体坐标系下的三轴运动速度和三轴加速度，构建人体坐标系下的人体关节速度向量矩阵Vk和人体关节加速度向量矩阵Ak，然后再根据人体关节速度向量矩阵Vk和人体关节加速度向量矩阵Ak构建k时刻人体状态变量矩阵Xk：
Figure BDA0003523500730000131
其中
Figure BDA0003523500730000132
Figure BDA0003523500730000133
其中，q∈Q，Q＝1,2…,15，Q为被实时监测的人体关节的总数量，
Figure BDA0003523500730000134
为第q个关节的k时刻人体坐标系下x轴速度，
Figure BDA0003523500730000135
为第q个关节的k时刻人体坐标系下y轴速度，
Figure BDA0003523500730000136
为第q个关节的k时刻人体坐标系下z轴速度；
Figure BDA0003523500730000137
为第q个关节的k时刻人体坐标系下x轴加速度，
Figure BDA0003523500730000138
为第q个关节的k时刻人体坐标系下y轴加速度，
Figure BDA0003523500730000141
为第q个关节的k时刻人体坐标系下z轴加速度；k∈{i，j},k+1∈{i，j}，{i，j}为第i时刻至第j时刻所有时刻点的集合；
S12：根据实时监测得到的三轴角速度，构建人体坐标系下k时刻人体运动转换矩阵Mk：
Figure BDA0003523500730000142
其中，B为状态系数矩阵，
Figure BDA0003523500730000143
为k时刻的人体坐标系中角速度矩阵
Figure BDA0003523500730000144
的斜对称矩阵，即角速度斜对称矩阵；
其中，
Figure BDA0003523500730000145
I3为一个3×3的单位矩阵，03为一个3×3的全部元素均为0的零矩阵，η为加入高斯-马尔科夫白噪声的加速度恒定状态计算系数，
Figure BDA0003523500730000146
ε1为向人体关节加速度向量Ak加入的高斯-马尔科夫白噪声，通过加入高斯-马尔科夫白噪声ε1并通过高斯-马尔科夫白噪声的加速度恒定状态计算系数η的计算，将人体关节加速度向量Ak转化为通过随机建模方法来建模运动加速度的动态行为
Figure BDA0003523500730000147
角速度矩阵
Figure BDA0003523500730000148
其中，
Figure BDA0003523500730000149
为三轴陀螺仪实时监测到的k时刻人体坐标系下x轴角速度矩阵，
Figure BDA00035235007300001410
为三轴陀螺仪实时监测到的k时刻人体坐标系下y轴角速度矩阵，
Figure BDA00035235007300001411
为三轴陀螺仪实时监测到的k时刻人体坐标系下z轴角速度矩阵；
Figure BDA00035235007300001412
Figure BDA00035235007300001413
Figure BDA00035235007300001414
为第q个关节的k时刻人体坐标系下x轴角速度，
Figure BDA0003523500730000151
为第q个关节的k时刻人体坐标系下y轴角速度，
Figure BDA0003523500730000152
为第q个关节的k时刻人体坐标系下z轴角速度；
角速度斜对称矩阵
Figure BDA0003523500730000153
S13：构建下一时刻状态变量预测矩阵计算模型Xk+1|k：Xk+1|k＝MkXk，其中下一时刻状态变量预测矩阵Xk+1|k为基于k时刻的人体状态变量矩阵Xk计算得到的。
作为本发明的另一个优选实施例，为了评估基于k时刻的状态向量值Xk计算的下一时刻状态向量预测矩阵的误差，需要构建下一时刻的状态向量误差预测值计算模型Pk+1|k，其方法如图4所示，本发明提供的人体动作识别方法中的S2中构建下一时刻的状态向量误差预测值计算模型Pk+1|k的方法包括以下步骤：
S21：根据S1步骤实时监测得到的人体关节于人体坐标系下的三轴运动速度，构建k时刻人体坐标系中三轴运动速度矩阵
Figure BDA0003523500730000154
的斜对称矩阵
Figure BDA0003523500730000155
Figure BDA0003523500730000156
其中，k时刻人体坐标系中三轴运动速度矩阵
Figure BDA0003523500730000157
Figure BDA0003523500730000158
为三轴陀螺仪实时监测到的k时刻人体坐标系下x轴运动速度矩阵，
Figure BDA0003523500730000159
为三轴陀螺仪实时监测到的k时刻人体坐标系下y轴运动速度矩阵，
Figure BDA00035235007300001510
为三轴陀螺仪实时监测到的k时刻人体坐标系下z轴运动速度矩阵；
Figure BDA00035235007300001511
Figure BDA0003523500730000161
S22：根据S21步骤构建的k时刻人体坐标系中三轴运动速度矩阵
Figure BDA0003523500730000162
的斜对称矩阵
Figure BDA0003523500730000163
构建k时刻的人体状态变量矩阵Xk与下一时刻(即k+1时刻)的人体状态变量矩阵Xk+1之间的协方差矩阵Ck：
Figure BDA0003523500730000164
其中，
Figure BDA0003523500730000165
为Q个关节人体坐标系下三轴运动速度于第k时刻和第k+1时刻的协方差，
Figure BDA0003523500730000166
为Q个关节人体坐标系下三轴运动加速度于第k时刻和第k+1时刻的协方差；
S23：根据S21步骤构建的协方差矩阵Ck以及S12步骤构建得到的人体坐标系下k时刻人体运动转换矩阵Mk，构建状态向量误差预测值计算模型Pk+1|k：Pk+1|k＝MkPk(Mk)T+Ck，其中，状态向量误差预测值Pk+1|k为基于k时刻的状态向量误差预测值Pk计算得到的。
作为本发明的另一个优选实施例，如图5所示，S4步骤中的对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵Xk+1以及下一时刻的准确状态向量预测值计算模型Pk+1，包括以下步骤：
S41：根据S2步骤构建的状态向量误差预测值计算模型Pk+1|k，构建k+1时刻的增益修正矩阵Gk+1：Gk+1＝Pk+1|k(Ek)T[EkPk+1|k(Ek)T+Lk]-1，其中，Ek为向k时刻的人体状态变量矩阵Xk加入测量噪声γk得到的k+1时刻的测量人体状态变量矩阵Yk+1的系数矩阵，Yk+1＝EkXk+γk；
S42：根据S1步骤构建的下一时刻状态变量预测矩阵Xk+1|k、S41步骤构建的k+1时刻的增益修正矩阵Gk+1以及计算得到的k+1时刻的测量人体状态变量矩阵Yk+1，计算k+1时刻的人体状态变量矩阵Xk+1：
Xk+1＝Xk+1|k+Gk+1[Yk+1-EkXk+1|k]；
S43：根据S41步骤构建的k+1时刻的增益修正矩阵Gk+1、系数矩阵Ek和S2步骤构建的下一时刻的状态向量误差预测值计算模型Pk+1|k，构建下一时刻的准确状态向量预测值计算模型Pk+1：Pk+1＝(1-Gk+1Ek)Pk+1|k。
其中，S41步骤中的系数矩阵Ek为：
Figure BDA0003523500730000171
其中，I3为一个3×3的单位矩阵，03为一个3×3的全部元素均为0的零矩阵。
实施例3
在实施例2的基础上，作为本发明的一个优选实施例，S4步骤中的融合阈值条件为0.01＜D(Xi，Xj)＜0.3，若融合阈值D(Xi，Xj)≥0.3，则重复步骤S1-S4，以保证每一时刻的人体运动参数融合平滑，使最终输出的第i时刻的人体运动状态参数结果与第j时刻的人体运动状态参数结果平滑无间歇地融合，形成第i时刻到第j时刻的准确的人体运动状态数据；
S2步骤构建的融合阈值D(Xi，Xj)的计算公式如下：
Figure BDA0003523500730000172
其中，τq为第i个状态变量矩阵Xi至第j个状态变量矩阵Xj的所有状态变量矩阵中第q个关节的权重系数，|Xi|为第i时刻的状态变量矩阵Xi的秩，|Xj|为第j时刻的状态变量矩阵Xj的秩。
作为本发明的一个优选实施例，状态变量矩阵中第q个关节的权重系数τq的计算公式为：
Figure BDA0003523500730000181
其中，τintra为Q个关节在第k个时刻的内部可变性系数，τinter为Q个关节在第k个时刻和第i时刻与第j时刻时间区间内的其他时刻的内部可变性系数；
Figure BDA0003523500730000182
Figure BDA0003523500730000183
其中，Hq(i，j)为第i时刻和第j时刻的第q个关节状态变量矩阵融合调整计算模型，Trace(Hq(i，j))为Hq(i，j)用Trace(·)函数求解，Trace(·)函数为本领域常规采用的求方阵对角线上元素之和的MATLAB函数。
作为本发明的另一个优选实施例，第i时刻和第j时刻的第q个关节状态变量矩阵融合调整计算模型Hq(i，j)如下：
Figure BDA0003523500730000184
其中，mean(·)为本领域常规采用的matlab求平均值的平均函数，
Figure BDA0003523500730000185
为第k时刻第q个关节的边界位置矩阵，
Figure BDA0003523500730000186
为从第i时刻至第j时刻的各个边界位置矩阵的秩，
Figure BDA0003523500730000191
Figure BDA0003523500730000192
为S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的x轴坐标值，
Figure BDA0003523500730000193
为S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的y轴坐标值，
Figure BDA0003523500730000194
为S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的z轴坐标值。
实施例4
如图6所示，为本发明提供的人体动作识别系统，系统包括三轴陀螺仪、三维定位模块、数据分析计算模块和中央控制模块；三轴陀螺仪，用于实时监测人体关节于人体坐标系下的三轴运动速度、三轴运动角速度和三轴加速度；
三维定位模块，用于实时监测人体关节于人体坐标系下的三维运动坐标值；三维定位模块可以是现有技术常用的GPRS定位模块、GPS定位模块、GNSS定位模块和北斗导航定位模块；
数据分析计算模块，用于根据三轴陀螺仪的实时监测参数，计算下一时刻状态变量预测矩阵并构建下一时刻的状态向量误差预测值计算模型，构建融合阈值计算模型；
中央控制模块，用于计算下一时刻状态变量预测矩阵，对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的准确状态向量预测值计算模型Pk+1，利用计算得到的下一时刻准确向量预测值计算结果进行不同时刻的优化迭代，判断第i时刻和第j时刻状态变量预测值偏差是否符合融合阈值条件，最终输出无间歇地融合的第i时刻的人体运动状态参数结果与第j时刻的人体运动状态参数结果平滑，形成第i时刻到第j时刻的准确的人体运动状态数据。
本发明提供的人工动作识别系统，可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本发明提供的人工动作识别系统至少包括一种类型的刻度存储介质，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
中央处理模块在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行中央处理模块中存储的程序代码或处理数据，完成本发明提供的人体动作识别方法的S1-S4步骤。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣，并且本发明技术方案中的技术术语“包括”、“包含”或其他任何其他变体意思在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或方法不仅包括上述技术术语后的技术特征要素，而且还包括没有明确列出的其他要素，或者还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.人体动作识别方法，所述方法将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息，其特征在于，包括以下步骤：
S1：实时监测人体关节于人体坐标系下的三轴运动速度、三轴运动角速度和三轴加速度，构建下一时刻状态变量预测矩阵计算模型；
S2：构建下一时刻的状态向量误差预测值计算模型；
S3：实时监测人体关节于人体坐标系下的三维运动坐标值，构建融合阈值计算模型；
S4：根据所述步骤S1构建的下一时刻状态变量预测模型矩阵和所述S2步骤构建的状态向量误差预测值计算模型，对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵以及下一时刻的准确状态向量预测值计算模型；
S5：判断第i时刻和第j时刻状态变量预测值偏差是否符合所述S3步骤计算得到的融合阈值条件，其中，j＞i；若符合，则输出融合后的人体动作识别结果，若不符合，则重复所述步骤S1-S4。
2.根据权利要求1所述的人体动作识别方法，其特征在于，所述人体关节包括头后部中心点、颈椎、左肩、左肘、左手、右肩、右肘、右手、躯体中心点、左髋、左膝、左脚、右髋、右膝、右脚。
3.根据权利要求1所述的人体动作识别方法，其特征在于，所述S1步骤中构建下一时刻状态变量预测矩阵计算模型的方法包括以下步骤：
S11：根据实时监测人体关节于人体坐标系下的三轴运动速度和三轴加速度，构建人体坐标系下的人体关节速度向量矩阵Vk和人体关节加速度向量矩阵Ak，然后再根据所述人体关节速度向量矩阵Vk和人体关节加速度向量矩阵Ak构建k时刻人体状态变量矩阵Xk：
Figure FDA0003523500720000011
其中
Figure FDA0003523500720000012
Figure FDA0003523500720000013
其中，q∈Q，Q＝1,2…,15，Q为被实时监测的人体关节的总数量，
Figure FDA0003523500720000021
为第q个关节的k时刻人体坐标系下x轴速度，
Figure FDA0003523500720000022
为第q个关节的k时刻人体坐标系下y轴速度，
Figure FDA0003523500720000023
为第q个关节的k时刻人体坐标系下z轴速度；
Figure FDA0003523500720000024
为第q个关节的k时刻人体坐标系下x轴加速度，
Figure FDA0003523500720000025
为第q个关节的k时刻人体坐标系下y轴加速度，
Figure FDA0003523500720000026
为第q个关节的k时刻人体坐标系下z轴加速度；k∈{i，j},k+1∈{i，j}，{i，j}为第i时刻至第j时刻所有时刻点的集合；
S12：根据实时监测得到的三轴角速度，构建人体坐标系下k时刻人体运动转换矩阵Mk：
Figure FDA0003523500720000027
其中，B为状态系数矩阵，
Figure FDA0003523500720000028
为k时刻的人体坐标系中角速度矩阵
Figure FDA0003523500720000029
的斜对称矩阵，即角速度斜对称矩阵；
其中，
Figure FDA00035235007200000210
I3为一个3×3的单位矩阵，03为一个3×3的全部元素均为0的零矩阵，η为加入高斯-马尔科夫白噪声的加速度恒定状态计算系数；
角速度矩阵
Figure FDA00035235007200000211
其中，
Figure FDA00035235007200000212
为实时监测到的k时刻人体坐标系下x轴角速度矩阵，
Figure FDA00035235007200000213
为实时监测到的k时刻人体坐标系下y轴角速度矩阵，
Figure FDA00035235007200000214
为实时监测到的k时刻人体坐标系下z轴角速度矩阵；
Figure FDA00035235007200000215
Figure FDA0003523500720000031
Figure FDA0003523500720000032
为第q个关节的k时刻人体坐标系下x轴角速度，
Figure FDA0003523500720000033
为第q个关节的k时刻人体坐标系下y轴角速度，
Figure FDA0003523500720000034
为第q个关节的k时刻人体坐标系下z轴角速度；角速度斜对称矩阵
Figure FDA0003523500720000035
S13：构建下一时刻状态变量预测矩阵计算模型Xk+1|k：Xk+1|k＝MkXk，其中下一时刻状态变量预测矩阵Xk+1|k为基于k时刻的人体状态变量矩阵Xk计算得到的。
4.根据权利要求2所述的人体动作识别方法，其特征在于，所述S2步骤中构建下一时刻的状态向量误差预测值计算模型的方法包括以下步骤：
S21：根据所述S1步骤实时监测得到的人体关节于人体坐标系下的三轴运动速度，构建k时刻人体坐标系中三轴运动速度矩阵
Figure FDA0003523500720000036
的斜对称矩阵
Figure FDA0003523500720000037
Figure FDA0003523500720000038
其中，k时刻人体坐标系中三轴运动速度矩阵
Figure FDA0003523500720000039
Figure FDA00035235007200000310
为实时监测到的k时刻人体坐标系下x轴运动速度矩阵，
Figure FDA00035235007200000311
为实时监测到的k时刻人体坐标系下y轴运动速度矩阵，
Figure FDA00035235007200000312
为实时监测到的k时刻人体坐标系下z轴运动速度矩阵；
Figure FDA00035235007200000313
Figure FDA00035235007200000314
S22：根据所述S21步骤构建的k时刻人体坐标系中三轴运动速度矩阵
Figure FDA00035235007200000315
的斜对称矩阵
Figure FDA0003523500720000041
构建k时刻的人体状态变量矩阵Xk与下一时刻的人体状态变量矩阵Xk+1之间的协方差矩阵Ck：
Figure FDA0003523500720000042
其中，
Figure FDA0003523500720000043
为Q个关节人体坐标系下三轴运动速度于第k时刻和第k+1时刻的协方差，
Figure FDA0003523500720000044
为Q个关节人体坐标系下三轴运动加速度于第k时刻和第k+1时刻的协方差；
S23：根据所述S21步骤构建的协方差矩阵Ck以及所述S12步骤构建得到的人体坐标系下k时刻人体运动转换矩阵Mk，构建状态向量误差预测值计算模型Pk+1|k：Pk+1|k＝MkPk(Mk)T+Ck，其中，状态向量误差预测值Pk+1|k为基于k时刻的状态向量误差预测值Pk计算得到的。
5.根据权利要求1所述的人体动作识别方法，其特征在于，所述S4步骤中的对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的人体状态变量矩阵以及下一时刻的准确状态向量预测值计算模型，包括以下步骤：
S41：根据所述S2步骤构建的状态向量误差预测值计算模型Pk+1|k，构建k+1时刻的增益修正矩阵Gk+1：Gk+1＝Pk+1|k(Ek)T[EkPk+1|k(Ek)T]-1，其中，Ek为向k时刻的人体状态变量矩阵Xk加入测量噪声γk得到的k+1时刻的测量人体状态变量矩阵Yk+1的系数矩阵，Yk+1＝EkXk+γk；
S42：根据所述S1步骤构建的下一时刻状态变量预测矩阵Xk+1|k、所述S41步骤构建的k+1时刻的增益修正矩阵Gk+1以及计算得到的k+1时刻的测量人体状态变量矩阵Yk+1，计算k+1时刻的人体状态变量矩阵Xk+1：
Xk+1=Xk+1|k+Gk+1[Yk+1-EkXk+1|k]；
S43：根据所述S41步骤构建的k+1时刻的增益修正矩阵Gk+1、系数矩阵Ek和所述S2步骤构建的下一时刻的状态向量误差预测值计算模型Pk+1|k，构建下一时刻的准确状态向量预测值计算模型Pk+1：Pk+1＝(1-Gk+1Ek)Pk+1|k。
6.根据权利要求5所述的人体动作识别方法，其特征在于，所述S41步骤中的系数矩阵Ek为：
Figure FDA0003523500720000051
其中，I3为一个3×3的单位矩阵，03为一个3×3的全部元素均为0的零矩阵。
7.根据权利要求1所述的人体动作识别方法，其特征在于，所述融合阈值条件为0.01＜D(Xi，Xj)＜0.3，若融合阈值D(Xi，Xj)≥0.3，则重复所述步骤S1-S4，以保证每一时刻的人体运动参数融合平滑，使最终输出的第i时刻的人体运动状态参数结果与第j时刻的人体运动状态参数结果平滑无间歇地融合，形成第i时刻到第j时刻的准确的人体运动状态数据；
所述S3步骤构建的融合阈值D(Xi，Xj)的计算公式如下：
Figure FDA0003523500720000052
其中，τq为第i个状态变量矩阵Xi至第j个状态变量矩阵Xj的所有状态变量矩阵中第q个关节的权重系数，|Xi|为第i时刻的状态变量矩阵Xi的秩，|Xj|为第j时刻的状态变量矩阵Xj的秩。
8.根据权利要求7所述的人体动作识别方法，其特征在于，状态变量矩阵中第q个关节的权重系数τq的计算公式为：
Figure FDA0003523500720000061
其中，τintra为Q个关节在第k个时刻的内部可变性系数，τinter为Q个关节在第k个时刻和第i时刻与第j时刻时间区间内的其他时刻的内部可变性系数；
Figure FDA0003523500720000062
Figure FDA0003523500720000063
其中，Hq(i，j)为第i时刻和第j时刻的第q个关节状态变量矩阵融合调整计算模型，Trace(Hq(i，j))为Hq(i，j)用Trace(·)函数求解。
9.根据权利要求7所述的人体动作识别方法，其特征在于，所述第i时刻和第j时刻的第q个关节状态变量矩阵融合调整计算模型Hq(i，j)如下：
Figure FDA0003523500720000064
其中，mean(·)为平均函数，
Figure FDA0003523500720000065
为第k时刻第q个关节的边界位置矩阵，
Figure FDA0003523500720000066
为从第i时刻至第j时刻的各个边界位置矩阵的秩，
Figure FDA0003523500720000067
Figure FDA0003523500720000068
为所述S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的x轴坐标值，
Figure FDA0003523500720000069
为所述S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的y轴坐标值，
Figure FDA0003523500720000071
为所述S2步骤实时监测得到的第k时刻第q个关节于人体坐标系下的z轴坐标值。
10.人体动作识别系统，其特征在于，所述系统包括三轴陀螺仪、三维定位模块、数据分析计算模块和中央控制模块；所述三轴陀螺仪，用于实时监测人体关节于人体坐标系下的三轴运动速度、三轴运动角速度和三轴加速度；
所述三维定位模块，用于实时监测人体关节于人体坐标系下的三维运动坐标值；
所述数据分析计算模块，用于根据所述三轴陀螺仪的实时监测参数，计算下一时刻状态变量预测矩阵并构建下一时刻的状态向量误差预测值计算模型，构建融合阈值计算模型；
所述中央控制模块，用于计算下一时刻状态变量预测矩阵，对下一时刻的状态向量误差预测值进行增益修正，构建下一时刻的准确状态向量预测值计算模型，判断第i时刻和第j时刻状态变量预测值偏差是否符合融合阈值条件，最终输出无间歇地融合的第i时刻的人体运动状态参数结果与第j时刻的人体运动状态参数结果平滑，形成第i时刻到第j时刻的准确的人体运动状态数据。
CN202210186135.6A 2022-02-28 2022-02-28 人体动作识别方法和系统 Pending CN114580471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210186135.6A CN114580471A (zh) 2022-02-28 2022-02-28 人体动作识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210186135.6A CN114580471A (zh) 2022-02-28 2022-02-28 人体动作识别方法和系统

Publications (1)

Publication Number Publication Date
CN114580471A true CN114580471A (zh) 2022-06-03

Family

ID=81777639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210186135.6A Pending CN114580471A (zh) 2022-02-28 2022-02-28 人体动作识别方法和系统

Country Status (1)

Country Link
CN (1) CN114580471A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647788A (zh) * 2024-01-29 2024-03-05 北京清雷科技有限公司 一种基于人体3d点云的危险行为识别方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647788A (zh) * 2024-01-29 2024-03-05 北京清雷科技有限公司 一种基于人体3d点云的危险行为识别方法及设备
CN117647788B (zh) * 2024-01-29 2024-04-26 北京清雷科技有限公司 一种基于人体3d点云的危险行为识别方法及设备

Similar Documents

Publication Publication Date Title
CN108734104B (zh) 基于深度学习图像识别的健身动作纠错方法及系统
US20200372288A1 (en) Systems and methods for non-contact tracking and analysis of physical activity using imaging
Velloso et al. Qualitative activity recognition of weight lifting exercises
Mortazavi et al. Determining the single best axis for exercise repetition recognition and counting on smartwatches
US11351419B2 (en) Smart gym
CN110711374A (zh) 多模态舞蹈动作评价方法
CN110478883B (zh) 一种健身动作教学及矫正系统及方法
CN110693500B (zh) 平衡能力的练习评估方法、装置、服务器和存储介质
CN113705540A (zh) 一种无器械训练动作识别与计数方法及系统
CN113515695A (zh) 健身辅助方法、装置、电子设备和计算机可读存储介质
CN114580471A (zh) 人体动作识别方法和系统
Choi et al. Motion recognition technology based remote Taekwondo Poomsae evaluation system
He et al. A New Kinect‐Based Posture Recognition Method in Physical Sports Training Based on Urban Data
Chu et al. Image recognition of badminton swing motion based on single inertial sensor
Wang et al. Student physical fitness test system and test data analysis system based on computer vision
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN114694256A (zh) 实时网球动作识别方法、装置、设备及介质
Luo A sports digital training system based on middle and bottom visual information
CN114022956A (zh) 一种多维度智能研判健身动作运动效果的方法
Ji et al. Remote evaluation system of tennis batting action standard based on acceleration sensor
Sun Aerobics movement decomposition action teaching system based on intelligent vision sensor
Xie et al. Lightweight Football Motion Recognition and Intensity Analysis Using Low-Cost Wearable Sensors
Ting et al. Kinect-based badminton motion analysis using intelligent adaptive range of movement Index
CN116741376B (zh) 心肺耐力测试方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination