CN109447164B - 一种运动行为模式分类方法、系统以及装置 - Google Patents

一种运动行为模式分类方法、系统以及装置 Download PDF

Info

Publication number
CN109447164B
CN109447164B CN201811296819.1A CN201811296819A CN109447164B CN 109447164 B CN109447164 B CN 109447164B CN 201811296819 A CN201811296819 A CN 201811296819A CN 109447164 B CN109447164 B CN 109447164B
Authority
CN
China
Prior art keywords
motor behavior
lstm
data
mode
pattern classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811296819.1A
Other languages
English (en)
Other versions
CN109447164A (zh
Inventor
郭诗辉
林俊聪
廖明宏
高星
李贵林
石新羽
胡泽勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201811296819.1A priority Critical patent/CN109447164B/zh
Publication of CN109447164A publication Critical patent/CN109447164A/zh
Application granted granted Critical
Publication of CN109447164B publication Critical patent/CN109447164B/zh
Priority to US16/769,088 priority patent/US11551479B2/en
Priority to PCT/CN2019/114229 priority patent/WO2020088491A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)

Abstract

本发明公开了一种运动行为模式分类方法、系统以及装置，涉及人类运动识别领域。该方法包括：S1，确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；S2，通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；S3，通过所述时间序列建立LSTM运动行为模式分类模型；S4，通过所述LSTM运动行为模式分类模型来预测待分类运动行为模式，所述S4中使用迭代过程来比较利用T时间内序列得出的预测结果和利用T+Δt时间内序列得出的预测结果来得出最终的预测结果，其中，T1≤T≤T2，T1>0,T2>T1，递增步长设置为Δt，Δt>0。本发明技术方案能够在减少运动行为模式分类延迟的同时提高准确性。

Description

一种运动行为模式分类方法、系统以及装置
技术领域
本发明涉及人类运动识别领域，特别涉及一种运动行为模式分类方法、系统以及装置。
背景技术
基于传感器的运动识别在现代社会中的应用越来越普遍，特别是随着Oculus、HTCVive等大量消费级VR设备的出现和技术的日趋成熟，大众消费者对VR应用的兴趣日渐浓厚，其带来的沉浸式体验特点使其在教育、传媒、娱乐等领域具有非凡的潜力。使体验者能够在虚拟场景中自由移动并且最大程度地保障其移动过程中的自然程度，是VR应用的一项重要功能，同时也是研究者们目前不断努力的一大目标。
当下主要应用于VR虚拟环境进行交互的运动方式主要包括：原地运动和基于操纵杆、手柄等辅助设备的运动。但是很显然，与现实世界完全相同的自然运动方式才是能提供最佳沉浸式体验，最高直观程度以及最大自然程度的更好的运动方式。但是，如何实现将真实世界中的运动映射到虚拟环境的标准运动捕捉系统(如Vicon)，始终是一个极具挑战的课题，因为其需要付出额外的努力安装外部设备(专业摄像机，跟踪套装等)，同时将带来巨大的制作、时间、计算开销。虽然一些替代方案，如Kinect，可以实现快速安装和准确定位，但是却会很大程度上限制用户的移动空间，并且因为光线、噪声等因素的影响难以应用于户外场景。
因此，探索出一套能够允许用户在复杂多变的真实场景中以直观、自然的交互方式实现其运动行为映射到虚拟场景中的解决方案，对VR技术的长远发展有巨大意义。
发明内容
为了克服如上所述的技术问题，本发明提出一种运动行为模式分类方法、系统以及装置，通过运动控制传感器来捕捉人在运动过程中的运动数据，进而捕捉人在真实场景中的行为运动方式，能够基于大量用户和多种不同行为模式进行运动信号到具体行为类别的映射，对人的运动行为模式进行快速并且准确的分类，进而实现用户在复杂多变的真实场景中以直观、自然的交互方式将运动行为映射到虚拟场景。
本发明所采用的具体技术方案如下：
第一方面，本发明一种运动行为模式分类方法，包括：
S1，确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；
S2，通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；
S3，通过所述时间序列建立LSTM运动行为模式分类模型；
S4，基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：
设置时间变量T的初始值为T1，T1≤T≤T2，T1>0,T2>T1，递增步长设置为Δt，Δt>0，所述T在递增的过程中执行下述步骤s41至s44：
s41，判断T是否大于T2，若T>T2，进入步骤s44，若T＝T2，输出预测结果Res，进入步骤s44，否则进入步骤s42；
s42，基于所述LSTM运动行为模式分类模型，分别利用所述待分类运动行为模式的行为数据在T时间内序列和T+Δt时间内序列进行预测，得到预测结果Res1和Res2；
s43，比较所述预测结果Res1和Res2，若一致，输出一致的预测结果，否则，记录目前预测概率最高的预测结果Res，T＝T+Δt；
s44，结束。
进一步地，所述S1中的备选运动行为模式包括静态站立、前进、后退、跳跃、左移和右移6种，所述S2包括：
通过人鞋垫中的压力传感器来采集关于所述备选运动行为模式的行为数据的时间序列。
所述传感器部署在单只鞋垫中的个数为3个，所述T1＝0.1s,T2＝1s，Δt＝0.1s。
进一步地，所述S2包括通过：
采用最大最小值归一化方法对所述行为数据的时间序列进行预处理。
进一步地，所述S3包括：
s31，对所述时间序列标注其所对应的运动行为模式；
s32，将所述时间序列按预设比例分为训练数据集和预测数据集；
s33，将所述训练数据集的数据作为训练数据，基于LSTM网络，并采用神经网络优化器，建立所述LSTM运动行为模式分类模型。
进一步地，还包括：
将所述预测数据集的数据输入到所述LSTM运动行为模式分类模型中进行预测得到预测结果与所述预测数据对应的运动行为模式进行比较，判断所述LSTM运动行为模式分类模型的进行预测的准确性。
进一步地，所述LSTM运动行为模式分类模型采用N*S的样本矩阵作为输入，由3个LSTM层组成，每层有64个隐藏单元，最后经过一个全连接层作为输出，并采用Adam优化器，学习率设定为0.0025，批量大小设置为1500，其中，N表示传感器数目，S表示单个传感器信号数据的序列长度。
第二方面，本发明提出一种运动行为模式分类系统，包括运动控制传感器和计算机装置，所述计算机装置包括存储器和处理器，所述存储器存储有至少一段程序，所述程序由所述处理器执行以实现如第一方面所述的运动行为模式分类方法。
第三方面，本发明提出一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如第一方面所述的运动行为模式分类方法。
本发明提供的技术方案带来的有益效果是：
本发明首先通过确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；通过所述时间序列建立LSTM运动行为模式分类模型；基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：设置时间变量T的初始值为T1，T1≤T≤T2，T1>0,T2>T1，递增步长设置为Δt，Δt>0，用迭代过程来比较利用T时间内序列得出的预测结果Res1和利用T+Δt时间内序列得出的预测结果Res2，T从T1增长至T2的迭代过程中，如果Res1和Res2对比得出的结论一致，输出一致的预测结果，否则，T继续增长，当T达到最大值，选择在之前的预测结果中可能性最高的预测结果作为最终预测结果。因此，本发明技术方案能够基于大量用户和多种不同行为模式进行运动信号到具体行为类别的映射，对人的运动行为模式进行快速并且准确的分类，且不需要人工提取特征，避免了产生人为偏向性因素，进而实现用户在复杂多变的真实场景中以直观、自然的交互方式将运动行为映射到虚拟场景。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一种运动行为模式分类方法的示意图；
图2示出了本发明一种LSTM模型下训练数据和测试数据集的损失函数和正确率的变化情况示意图；
图3示出了本发明一种不同行为模式的归一化混淆矩阵示意图；
图4示出了本发明一种考虑不同样本大小的标准LSTM模型的时间成本示意图；
图5示出了本发明一种考虑不同样本大小的标准LSTM模型的准确性示意图；
图6所示为本发明一种考虑不同样本大小的DOCTIC的时间成本示意图；
图7所示为本发明一种考虑不同样本大小的DOCTIC的准确性示意图；
图8示出了本发明实施例所涉及的运动行为模式分类系统中的计算机装置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方案作进一步地详细描述。
如图1所示为本发明一种运动行为模式分类方法的示意图，示出了该方法的具体实施步骤，包括：
在步骤101中，S1，确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；
所述备选行为模式包括所有可能的运动行为模式，这根据具体的运动场景而定，在一种可能的实现中，在VR场景中，人的运动行为模式是非常丰富的，优选的，包括：静态站立、前进、后退、跳跃、左移和右移6种，此时在VR场景中的备选行为模式就包括上述6种，其中，待分类运动行为模式是包含在所述备选运动行为模式中的。
在步骤102中，S2，通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；
在本步骤中，通过运动控制传感器采集人在各种备选运动行为模式下的行为数据的时间序列，根据运动场景的不同以及传感器设置位置的不同，可以选择不同的运动控制传感器，包括将压力传感器、速度传感器等将非电量(如速度、压力等)的变化转变为电量变化的器件。在一种可能的实现中，受现实世界中人们通过鞋子辅助长距离运动的启发，我们通过在鞋垫中嵌入压力传感器来捕捉人在运动过程中的足底压力数据，进而捕捉人在真实场景中的行为运动方式，通过人鞋垫中的压力传感器采集人在各种备选运动行为模式下的行为数据的时间序列，为后续步骤中运动行为模式的分类模型提供训练数据和测试数据。
在步骤103中，S3，通过所述时间序列建立LSTM运动行为模式分类模型；
长短期记忆神经网络LSTM是循环神经网络改进之后的一种结构，通过加入遗忘门等结构，解决了在一些情况下循环神经网络出现的梯度消失问题，对于长序列的时序数据会有更好的分类效果，因此在本发明技术方案中采用LSTM网络来建立LSTM运动行为模式分类模型。在一种可能的实现中，可通过下述步骤：
s31，对所述时间序列标注其所对应的运动行为模式；
s32，将所述时间序列按预设比例分为训练数据集和预测数据集；
s33，将所述训练数据集的数据作为训练数据，基于LSTM网络，并采用神经网络优化器，建立LSTM运动行为模式分类模型。
上述的神经网络优化器包括标准梯度下降、随机梯度下降、小批量梯度下降以及自适应时刻估计方法Adam(Adaptive Moment Estimation)等，Adam优化器能计算每个参数的自适应学习率。需要说明的是，在实际应用中，Adam方法效果良好，与其他自适应学习率算法相比，其收敛速度更快，学习效果更为有效，而且可以纠正其他优化技术中存在的问题，如梯度消失、收敛过慢或是高方差的参数更新导致损失函数波动较大等问题。
进一步地，对于通过上述步骤s31至s33建立所述LSTM运动行为模式分类模型后，为进一步评估所建立模型的预测准确性，在一种可能的实际操作中，将所述预测数据集的数据输入到所述LSTM运动行为模式分类模型中进行预测得到预测结果，并与所述预测数据对应的运动行为模式进行比较，判断所述LSTM运动行为模式分类模型的进行预测的准确性。
在步骤104中，S4，基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：
设置时间变量T的初始值为T1，T1≤T≤T2，T1>0,T2>T1，递增步长设置为Δt，Δt>0，所述T在递增的过程中执行下述步骤s41至s44：
s41，判断T是否大于T2，若T>T2，进入步骤s44，若T＝T2，输出预测结果Res，进入步骤s44，否则进入步骤s42；
s42，基于所述LSTM运动行为模式分类模型，分别利用所述待分类运动行为模式的行为数据在T时间内序列和T+Δt时间内序列进行预测，得到预测结果Res1和Res2；
s43，比较所述预测结果Res1和Res2，若一致，输出一致的预测结果，否则，记录目前预测概率最高的预测结果Res，T＝T+Δt；
s44，结束。
需要说明的是，现有技术中的包括基于深度学习的算法如DNN等，虽然计算耗时远远小于动态时间规整DTW算法，但是其需要相对较长的时间序列数据作为输入，否则无法达到良好的准确率，这也同样导致了严重的延迟，以及对于稀疏的输入数据难以达到稳定的高准确率。
本实施例首先通过确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；通过所述时间序列建立LSTM运动行为模式分类模型；基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：设置时间变量T的初始值为T1，T1≤T≤T2，T1>0,T2>T1，递增步长设置为Δt，Δt>0，用迭代过程来比较利用T时间内序列得出的预测结果Res1和利用T+Δt时间内序列得出的预测结果Res2，T从T1增长至T2的迭代过程中，如果Res1和Res2对比得出的结论一致，输出一致的预测结果，否则，T继续增长，当T达到最大值，选择在之前的预测结果中可能性最高的预测结果作为最终预测结果。因此，本发明技术方案能够基于大量用户和多种不同行为模式进行运动信号到具体行为类别的映射，对人的运动行为模式进行快速并且准确的分类，且不需要人工提取特征，避免了产生人为偏向性因素，进而实现用户在复杂多变的真实场景中以直观、自然的交互方式将运动行为映射到虚拟场景。
下述实施例将结合图1所对应的实施步骤101至104对本发明所提的运动行为模式分类方法应用在通过鞋垫中压力传感器采集到的运动行为数据来捕捉和分析人的真实运动行为模式的过程进行描述，以进一步充分说明本技术方案的内容，但是并不以此为限。
1)确定备选足部运动行为模式，本步骤用来探索在实际VR应用中，被用户使用频率较高的几种代表性足部运动行为模式。
10位被试者参与此项研究，参与者的平均年龄为21.6岁，年龄的标准差为3.20，对虚拟现实技术的熟悉程度自我评估平均为3.28分，如表1所示为对虚拟现实技术的熟悉程度自我评估表。
表1
分数 标准
1分 从未听说过VR的概念，没有接触过VR应用，不了解任何VR设备
2分 听说过VR，但是没有过亲身体验
3分 有过小于(包含)2次亲身体验VR
4分 2次以上亲身VR体验经历
5分 对VR十分熟悉，或参与过VR项目的调研或开发，有丰富的VR产品体验经历
基于上述10名被试者的试验结果，提供两种在虚拟世界中前进的选择：一种是真实行走，最大限度地保留了真实运动体验，对于多数有充足空间的情况是适用的；第二种选择是以原地踏步实现在虚拟世界中的前进，这种模式适用于有限空间的情况。对于跑步和跳跃，我们决定采用原地模式。相反，对于左移，右移，后退这三种活动，我们决定采用真实模式以提供更好的用户体验。同时，比起其他运动，这三种运动出现的频率相对较低，也就意味着并不需要太大空间。
3)通过鞋垫中的压力传感器获取行为数据的时间序列作为训练数据
数据收集工作在32位志愿者中展开，他们的年龄范围为19到30岁，平均年龄为20.53岁，标准差为1.98。每位参与者都要穿着嵌有智能鞋垫的运动鞋完成8中运动(静态站立，前进，原地踏步，后退，跑步，跳跃，左移和右移)，也就是说，对应步骤101中的备选运动行为模式包括静态站立、前进、原地踏步、后退、跑步、跳跃、左移和右移。
在一种可能的实际操作中，使用Podoon Technology Ltd.的智能鞋垫来完成这项研究，每个鞋垫有三个压力传感器和一个板载处理芯片，芯片采用蓝牙低功耗技术，仅消耗低成本能源，便可通过蓝牙将压力信息发送到其他处理设备，每个传感器返回[0,255]范围内的整数值，以表征足底压力的大小。压力信息的采样频率为50Hz，传输频率为10Hz。
采用最大最小值归一化方法对每个人的行为数据做预处理，以消除不同个体间的体重差异对结果造成的影响。我们的方法直接采用含有噪声的数据集作为输入，后续过程中也没有降噪处理，也就是说，我们的方法在容忍噪声能力方面表现良好。之后，时序数据被分为不同样本，每个样本都是N*S的大小，N表示传感器数目，S表示单个传感器信号数据的序列长度。我们的方法测试了从10到100不等的序列长度的结果。将整个数据集随机分为90％的训练集和10％的测试集，如表2和表3所示为数据集的统计信息表。
表2
表3
运动行为 测试机样本 训练集样本
静态站立 644 6012
前进 597 5274
原地踏步 701 5953
后退 737 6524
跳跃 678 6012
跑步 666 6211
左移 665 6085
右移 708 6452
总共 5396 48562
4)用LSTM神经网络作为行为分类器，采用N*S的样本矩阵作为输入，网络结构由3个LSTM层组成，每层有64个隐藏单元，最后经过一个全连接层作为输出，并采用Adam优化器，学习率设定为0.0025，批量大小设置为1500。与传统的时序数据分类方法DTW对比，本发明技术方案不需要人工提取特征，避免了产生人为偏向性因素。在一种可能的实际操作中，LSTM网络的训练和测试可以在配置Intel Core i7(六核)，16G内存和NVidia GTX 1080Ti的服务器上进行的，服务器接收传感器数据，进行预测并将结果发送到虚拟现实头盔，所有数据都基于TCP协议传输。
图2示出了本发明一种LSTM模型下训练数据和测试数据集的损失函数和正确率的变化情况。使用鞋号6的测试数据集生成该图，样本大小为100，在1000次迭代之后，收敛到最优解，花费大约20分钟，两个数据集的最终准确性达到0.85左右。结果表明，测试数据集的准确性接近训练数据集，未出现过拟合问题。
图3示出了本发明一种不同行为模式的归一化混淆矩阵示意图。使用鞋号6的测试数据集生成该图，样本大小为100，结果表明，向前行走的动作被认为是站立(7％)和向后行走(5％)，但这种错误是由这些步态的相似性引起的。利用本发明所提出的方法可以进一步提高准确度。同时，站立、向后行走和左/右滑动的模式被高度精确地识别超过85％。
需要说明的是，标准LSTM神经网络对于2秒钟的输入数据的分类准确率在80％左右，也就是说LSTM算法有很严重的延迟，相当于当跳跃动作结束后LSTM才能检测出这个动作。这种延迟会极大的影响用户体验，为了解决这个问题，本发明技术方案提出循环一致性二重检测(Double-Check Till Consensus,DOCTIC)算法来完成更快更准确的检测，这里的DOCTIC对应的便是图1中的步骤104所述的方法，在下述描述中，为方便说明，将以DOCTIC来表示本发明所提出的运动行为模式的分类方法。
通过实验观察得到LSTM模型的前向传播过程耗时极短(小于1毫秒)，基于此，利用图1对应的步骤104所述的方法，使用迭代过程来比较利用T时间内序列得出的预测结果和利用T+δT时间内序列得出的预测结果，T从0.1秒增长至1秒。如果两次对比得出的结论一致，则得出最终结论，否则，T继续增长直到达到最大值。对于后一种情况，将选择在之前的预测中可能性最高的预测结果作为最终结论。结果显示，DOCTIC算法的延迟降低到了0.5秒，正确率提高到了97％，实现了更快更准确地识别运动。
5)从不同方面来对本发明技术方案的技术效果进行说明
标准LSTM的性能在不同样本大小下表现并不相同，当样本量从10(0.2秒)增加到100(2秒)时，时间成本从小于0.1毫秒增加到0.6毫秒，如图4示出了本发明一种考虑不同样本大小的标准LSTM模型的时间成本示意图，需要说明的是，与两次数据传输之间的时间间隔(0.1秒)相比，此处处理最大样本的时间成本仍然可以忽略不计，随着样本量的增加，准确率从50％显著提高到超过80％，如图5示出了本发明一种考虑不同样本大小的标准LSTM模型的准确性示意图。
这表明较长的数据信号序列可以使分类器更好地理解步态模式并做出正确的识别。但是，值得注意的是，它要求样本量超过75(1.5秒)才能达到80％的准确度。本发明提出的方法DOCTIC通过显著缩短时间延迟而不降低准确性来改进标准LSTM模型。
本发明技术方案提出的DOCTIC的性能在不同样本大小下表现也不相同，如图6所示为本发明一种考虑不同样本大小的DOCTIC的时间成本示意图，虽然在DOCTIC中的迭代过程使得时间成本对比于标准LSTM模型增加了10倍，但是，最大时间成本约为15毫秒，仍远小于两次数据传输之间的时间间隔。同时，对于较小的样本段，准确度显著提高，如图7所示为本发明一种考虑不同样本大小的DOCTIC的准确性示意图，使用15(0.3秒)的样本可以达到85.3％的准确度，与标准LSTM模型中的最佳准确性相当。此外，样本量为25可以将准确度进一步提高到97.1％。这表明对于大多数情况，本发明技术方案得出一致性预测结果所花费的时间远小于最大序列长度100(2s)。
进一步地，我们训练不同鞋尺寸的分类器，并比较训练整个数据集作为通用分类器时的准确性。结果表明，与通用分类器相比，训练单个分类器对于所有鞋尺寸实现更好的准确性。所有用户都应该知道他们的鞋子尺寸，这意味着当他们第一次使用这个应用程序时要求用户选择正确的鞋子尺寸是一种可接受的解决方案。保存的网络文件大小约为9兆字节，这足够小，因此即使对于嵌入式系统，也可以在硬盘上保存多个模型。如表4所示为针对不同鞋号训练个体分类器的准确度和针对所有鞋尺寸的通用分类器，样本量为100。
表4
本发明还公开本发明技术方案与DTW和KNN的比较情况。动态时间规划(DTW)和K近邻算法(KNN)的组合是时序数据分类领域的代表性方法。在给定所选时间跨度的情况下，首先通过计算[平均值，中值，最大值，最小值，标准偏差]的矢量来处理所收集的数据。DTW对齐两个最初异相的矢量，然后计算这些序列之间的相应距离。通过在训练数据集中找到最近邻居(K＝1)来预测测试序列的标签。研究表明，该方法达到了令人满意的准确性，但难以胜任实时的时间序列分类的任务。对于实时应用程序来说，这种方法的计算成本过大导致耗费大量的时间。一种解决方案是减小数据集的大小。我们通过减少数据集来加速计算过程。结果表明，虽然全尺寸数据集达到了大约90％的准确度，但每次尝试在数据集中找到最近邻居的成本都花费>7秒。在减少数据集以加速计算时，准确性会显著下降。
相比之下，当数据集取25％或更高时，本发明的方法实现了与DTW和KNN相当的准确性，但是时间成本仅为0.46毫秒，而DTW和KNN则为2秒。这表明由我们的LSTM模型构建的分类器可以识别在大数据集中的运动模式，无需与数据库中的单个样本进行比较就能成功地检测运动模式。如表5所示为DTW&KNN方法和本发明所提方法的准确性和时间成本的比较(基于鞋号为8.5的数据集)，时间成本的单位是毫秒，序列大小是100。
表5
本发明技术方案还邀请志愿者在不同虚拟场景中进行实际体验来检测此方法在实际应用中的自然程度，准确程度和流畅程度方面的表现，可选的，虚拟实验室场景，通过重建了一个与真实实验室布局完全一致的虚拟实验室，参与者们在虚拟实验室中以真实模式漫游，记录下她/他分别在虚拟世界中的视野和现实世界中的所处位置；可选的，虚拟跑道场景，跑道上设有提示信息要求用户依次完成各个运动，例如，在跳跃阶段，我们设置了8个障碍，依次评估检测算法的准确性；可选的，僵尸小镇游戏，一个第一人称视角的射击游戏，用户可以在虚拟场景中自由漫游，跨越障碍物以及射击僵尸等，在此过程中，用户会用到多种运动形式：站立/前进/跑/跳跃/左移/右移等来穿过复杂的环境，比如横木障碍物。在不同的虚拟场景中应用的运动行为分类情况都具有良好的用户反馈，进一步说明了本发明技术方案所产生的技术效果是具有显著的进步的。如表6所示为参与者在应用本发明的运动行为模式分类方法中对自然程度，延迟程度和准确率评分结果表。
表6
评分项 标准(1到5分) 平均分 标准差
自然程度 1代表极度不自然，5代表非常自然 3.50 0.53
延迟程度 1分代表高延迟，5分代表低延迟 3.38 0.52
准确率 1分代表低准确率，5分代表高准确率 3.88 0.35
对于使用鞋垫和使用传统的手柄这两种交互方式，90％的用户表示更倾向于鞋垫交互方式，说明本发明技术方案在实际应用中是具有非常广阔的应用前景的。
本发明还公布一种运动行为模式分类系统，包括运动控制传感器和计算机装置，如图8示出了本发明实施例所涉及的运动行为模式分类系统中的计算机装置示意图，该装置主要包括处理器801、存储器802和总线803，所述存储器存储有至少一段程序，所述程序由所述处理器执行以实现如上述实施例所述的运动行为模式分类方法。
处理器801包括一个或一个以上处理核心，处理器801通过总线803与存储器802相连，存储器802用于存储程序指令，处理器801执行存储器802中的程序指令时实现上述方法实施例提供的运动行为模式分类方法。
可选的，存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的运动行为模式分类方法。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的运动行为模式分类方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用于以限制发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种运动行为模式分类方法，其特征在于，包括：
S1，确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；
S2，通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；
S3，通过所述时间序列建立LSTM运动行为模式分类模型；
S4，基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：
设置时间变量T的初始值为T1，T1≤T≤T2，T1>0,T2>T1，递增步长设置为Δt，Δt>0，所述T在递增的过程中执行下述步骤s41至s44：
s41，判断T是否大于T2，若T>T2，进入步骤s44，若T＝T2，输出预测结果Res，进入步骤s44，否则进入步骤s42；
s42，基于所述LSTM运动行为模式分类模型，分别利用所述待分类运动行为模式的行为数据在T时间内序列和T+Δt时间内序列进行预测，得到预测结果Res1和Res2；
s43，比较所述预测结果Res1和Res2，若一致，输出一致的预测结果，否则，记录目前预测概率最高的预测结果Res，T＝T+Δt；
s44，结束。
2.根据权利要求1所述的运动行为模式分类方法，其特征在于，所述S1中的备选运动行为模式包括静态站立、前进、后退、跳跃、左移和右移6种。
3.根据权利要求1所述的运动行为模式分类方法，其特征在于，所述S2包括：通过人鞋垫中的压力传感器来采集关于所述备选运动行为模式的行为数据的时间序列。
4.根据权利要求3所述的运动行为模式分类方法，其特征在于，所述压力传感器部署在单只鞋垫中的个数为3个，所述T1＝0.1s,T2＝1s，Δt＝0.1s。
5.根据权利要求1所述的运动行为模式分类方法，其特征在于，所述S2包括通过：
采用最大最小值归一化方法对所述行为数据的时间序列进行预处理。
6.根据权利要求1所述的运动行为模式分类方法，其特征在于，所述S3包括：
s31，对所述时间序列标注其所对应的运动行为模式；
s32，将所述时间序列按预设比例分为训练数据集和预测数据集；
s33，将所述训练数据集的数据作为训练数据，基于LSTM网络，并采用神经网络优化器，建立所述LSTM运动行为模式分类模型。
7.根据权利要求6所述的运动行为模式分类方法，其特征在于，还包括：
将所述预测数据集的数据输入到所述LSTM运动行为模式分类模型中进行预测得到预测结果与所述预测数据对应的运动行为模式进行比较，判断所述LSTM运动行为模式分类模型的进行预测的准确性。
8.根据权利要求1至7任一所述的运动行为模式分类方法，其特征在于，所述LSTM运动行为模式分类模型采用N*S的样本矩阵作为输入，由3个LSTM层组成，每层有64个隐藏单元，最后经过一个全连接层作为输出，并采用Adam优化器，学习率设定为0.0025，批量大小设置为1500，其中，N表示传感器数目，S表示单个传感器信号数据的序列长度。
9.一种运动行为模式分类系统，其特征在于，包括运动控制传感器和计算机装置，所述计算机装置的包括存储器和处理器，所述存储器存储有至少一段程序，所述程序由所述处理器执行以实现如权利要求1至8任一所述的运动行为模式分类方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至8任一所述的运动行为模式分类方法。
CN201811296819.1A 2018-11-01 2018-11-01 一种运动行为模式分类方法、系统以及装置 Active CN109447164B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811296819.1A CN109447164B (zh) 2018-11-01 2018-11-01 一种运动行为模式分类方法、系统以及装置
US16/769,088 US11551479B2 (en) 2018-11-01 2019-10-30 Motion behavior pattern classification method, system and device
PCT/CN2019/114229 WO2020088491A1 (zh) 2018-11-01 2019-10-30 一种运动行为模式分类方法、系统以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811296819.1A CN109447164B (zh) 2018-11-01 2018-11-01 一种运动行为模式分类方法、系统以及装置

Publications (2)

Publication Number Publication Date
CN109447164A CN109447164A (zh) 2019-03-08
CN109447164B true CN109447164B (zh) 2019-07-19

Family

ID=65549708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811296819.1A Active CN109447164B (zh) 2018-11-01 2018-11-01 一种运动行为模式分类方法、系统以及装置

Country Status (3)

Country Link
US (1) US11551479B2 (zh)
CN (1) CN109447164B (zh)
WO (1) WO2020088491A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447164B (zh) * 2018-11-01 2019-07-19 厦门大学 一种运动行为模式分类方法、系统以及装置
CN110276380B (zh) * 2019-05-22 2021-08-17 杭州电子科技大学 一种基于深度模型框架的实时运动在线指导系统
CN111091066B (zh) * 2019-11-25 2023-09-22 重庆工程职业技术学院 一种自动驾驶汽车地面状态评定方法及系统
CN113326722B (zh) * 2020-02-29 2023-06-02 湖南超能机器人技术有限公司 基于序列模式的图像模糊检测方法及设备
CN112380992B (zh) * 2020-11-13 2022-12-20 上海交通大学 一种加工过程监控数据准确性评估与优化方法及装置
CN112651456B (zh) * 2020-12-31 2023-08-08 遵义师范学院 基于rbf神经网络的无人车控制方法
CN113033495B (zh) * 2021-04-30 2022-08-02 重庆大学 一种基于k-means算法的弱监督行为识别方法
CN113807515A (zh) * 2021-08-23 2021-12-17 网易（杭州）网络有限公司 模型训练的方法、装置、计算机设备及存储介质
WO2024182520A1 (en) * 2023-02-28 2024-09-06 The Regents Of The University Of Michigan Limb-assistive device with machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
WO2017150032A1 (en) * 2016-03-02 2017-09-08 Mitsubishi Electric Corporation Method and system for detecting actions of object in scene
CN107146462A (zh) * 2017-06-23 2017-09-08 武汉大学 一种停车场空闲车位数长时预测方法
CN108334605A (zh) * 2018-02-01 2018-07-27 腾讯科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6327137A (ja) * 1986-07-18 1988-02-04 Nec Corp ポ−リング制御方式
CN107506712B (zh) * 2017-08-15 2021-05-18 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN107944409B (zh) * 2017-11-30 2020-05-08 清华大学 能够区分关键动作的视频分析方法及装置
CN108564118B (zh) * 2018-03-30 2021-05-11 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
CN108597609A (zh) * 2018-05-04 2018-09-28 华东师范大学 一种基于lstm网络的医养结合健康监测方法
CN109447164B (zh) 2018-11-01 2019-07-19 厦门大学 一种运动行为模式分类方法、系统以及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017150032A1 (en) * 2016-03-02 2017-09-08 Mitsubishi Electric Corporation Method and system for detecting actions of object in scene
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN107146462A (zh) * 2017-06-23 2017-09-08 武汉大学 一种停车场空闲车位数长时预测方法
CN108334605A (zh) * 2018-02-01 2018-07-27 腾讯科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于协同 LSTM 神经网络的人体行为识别研究";朱连章 等;《计算机技术与发展》;20180921;第28卷(第12期);第79-82页

Also Published As

Publication number Publication date
US11551479B2 (en) 2023-01-10
US20200334451A1 (en) 2020-10-22
WO2020088491A1 (zh) 2020-05-07
CN109447164A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109447164B (zh) 一种运动行为模式分类方法、系统以及装置
Host et al. An overview of Human Action Recognition in sports based on Computer Vision
Girdhar et al. Actionvlad: Learning spatio-temporal aggregation for action classification
JP7399277B2 (ja) 情報処理方法、装置、コンピュータプログラム及び電子装置
CN106778854B (zh) 基于轨迹和卷积神经网络特征提取的行为识别方法
CN106066990B (zh) 用于将人的活动视频中的帧与事件相关联的方法和装置
CN102682302B (zh) 一种基于关键帧的多特征融合的人体姿态识别方法
CN108499107B (zh) 虚拟现实中虚拟角色的控制方法、装置及存储介质
Kothari Yoga pose classification using deep learning
Lyu et al. 3d human motion prediction: A survey
CN110781765A (zh) 一种人体姿态识别方法、装置、设备及存储介质
CN108090561B (zh) 存储介质、电子装置、游戏操作的执行方法和装置
CN108905209A (zh) 游戏中的外挂检测方法及系统、电子设备和存储介质
CN108280436A (zh) 一种基于堆叠递归单元的多级残差网络的动作识别方法
KR102186949B1 (ko) 승부 예측 방법 및 장치
CN110399805A (zh) 半监督学习优化svm的运动想象脑电信号分类方法
CN111954860A (zh) 对细粒度对抗性多队员运动进行预测的系统和方法
Ahmad et al. Optimized deep learning-based cricket activity focused network and medium scale benchmark
Fourati et al. Multi-level classification of emotional body expression
Cui et al. Deep learning based advanced spatio-temporal extraction model in medical sports rehabilitation for motion analysis and data processing
Akhter Automated posture analysis of gait event detection via a hierarchical optimization algorithm and pseudo 2D stick-model
US20240181343A1 (en) System and method for individual player and team simulation
Li et al. [Retracted] Deep Learning Algorithm‐Based Target Detection and Fine Localization of Technical Features in Basketball
Parmar et al. Win-fail action recognition
Makantasis et al. Privileged information for modeling affect in the wild

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant