CN109045682A - 一种降低投影手机与智能鞋互动健身游戏传输时延的方法 - Google Patents

一种降低投影手机与智能鞋互动健身游戏传输时延的方法 Download PDF

Info

Publication number
CN109045682A
CN109045682A CN201810770476.1A CN201810770476A CN109045682A CN 109045682 A CN109045682 A CN 109045682A CN 201810770476 A CN201810770476 A CN 201810770476A CN 109045682 A CN109045682 A CN 109045682A
Authority
CN
China
Prior art keywords
mobile phone
data
delay time
propagation delay
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810770476.1A
Other languages
English (en)
Inventor
薛爱凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Win Win Time Technology Co Ltd
Original Assignee
Shenzhen Win Win Time Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Win Win Time Technology Co Ltd filed Critical Shenzhen Win Win Time Technology Co Ltd
Priority to CN201810770476.1A priority Critical patent/CN109045682A/zh
Publication of CN109045682A publication Critical patent/CN109045682A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8005—Athletics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种降低投影手机与智能鞋互动健身游戏传输时延的方法，建立虚拟人物脚步运动与投影视频关联模型，并通过投影手机投影到银幕；设定手机投影视频图像预判设置；进行预判准确性设置；采集每个使用者在跳舞过程中脚步运动状态轨迹以及肢体动作；将脚步运动运动轨迹和肢体动作进行数据处理，使得每个使用者的肢体动作以及位置映射到虚拟人物上；根据运动数据处理后的数据和预判准确性数据建立训练集；将运动数据处理后的数据和预判准确性数据进行准确性判断。本发明通过智能鞋采集运动体感数据，通过投影手机的呈现，并通过分层分级数据处理的方法，实现低时延、随时随地运动健身的需求。

Description

一种降低投影手机与智能鞋互动健身游戏传输时延的方法
技术领域
本发明涉及投影手机技术领域，具体涉及一种降低投影手机与智能鞋互动健身游戏传输时延的方法。
背景技术
跳舞毯是一种采用科技与趣味为一体的家庭娱乐健身方式，通过同步跳舞毯的踩踏数据和电视机屏幕的互动来实现，但是无法实现随时随地运动健身的需求。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种降低投影手机与智能鞋互动健身游戏传输时延的方法。
本发明的目的是采用下述技术方案实现的：
1、一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其改进之处在于，所述方法包括
(1)建立虚拟人物脚步运动与投影视频关联模型，并通过投影手机投影到银幕；
(2)设定手机投影视频图像预判设置；
(3)进行预判准确性设置；
(4)采集每个使用者在跳舞过程中脚步运动状态轨迹以及肢体动作；
(5)将脚步运动运动轨迹和肢体动作进行数据处理，使得每个使用者的肢体动作以及位置映射到虚拟人物上；
(6)根据运动数据处理后的数据和预判准确性数据建立训练集；
(7)将运动数据处理后的数据和预判准确性数据进行准确性判断。
进一步地，所述步骤(1)包括根据通常人脚步判断的运动状态和其手机投影视频的视频图像需求的相关性，对手机投影视频所采集到的视频图像进行图像处理，获取虚拟人物的位置点图，将使用者的位置点图映射到手机投影环境中建立的坐标；将多个实时的使用者位置点图进行叠加处理，得到使用者在跳舞过程中的脚步运动状态轨迹；并且将舞蹈动作图像传送到处理装置；最后处理装置对舞蹈动作图像进行分解以及处理后，映射到虚拟人物；其中，建立手机投影视频中清晰显示的部分，以及根据运动预测对传输时延超过20ms的图像，在20ms内进行视觉补偿，建立的脚步运动与VR视频关联模型。
进一步地，所述步骤(2)包括个人第一次使用，还未建立个人模型时，用整体人群脚步运动与视频关联模型对应的身高、体重、年龄、性别和其它用户画像信息来设定个人手机投影视频图像预判设置；其中，个人模型作为整体整体人群脚步运动与视频关联模型的输入因子，影响该整体人群的该对应画像类型的模型。
进一步地，所述步骤(3)包括预判准确性设置，根据运动预测对传输时延超过20ms的图像，在20ms内进行视觉补偿，该补偿与20ms后传输来的数据进行校验，一致性超过50％，将准确性因子置为1，低于50％置为0。
进一步地，所述步骤(4)包括在运动状态和步态的特定组合下采集使用者的脚步传感器运动数据。
进一步地，所述步骤(5)包括使用优化的支持向量机分层级结合不同层级数据，定时采集用户使用的加速度传感器输出的加速度数据，并经小波变换过滤高频噪声，通过自适应的算法匹配，在不同特定判别过程中调用不同传感器功能工作，提取不同特定的特征计算，分析环节综合不同特征降维取样，通过重点计算验证，保证其正确性。
进一步地，所述运动状态包括第一循环动作和第二非循环动作；所述第一循环动作包括行走和跑步；所述第二非循环动作包括跳跃、起立、坐下和蹲下；而且，所述行走包括上楼梯、下楼梯和平地走。
进一步地，所述预判准确性设置包括
生理参数设定模块，用于设定运动状态和步态的不同组合下将要采集的生理参数；
生理参数采集模块，用于在运动状态和步态的特定组合下，根据生理参数设定模块设定的将要采集的生理参数，采集对应的生理参数；
运动状态求解模块，用于定时采集用户使用的加速度传感器输出的加速度数据，并经小波变换过滤高频噪声，划分用户的运动状态；用于使用加速度传感器数据进行第一层级运动判断智能鞋三轴加速度传感器，统计通过对轨迹的峰值出现的频率和对数据进行滤波处理。
降维求解模块，用于使用优化的支持向量机分层级结合不同层级数据对基于生理参数的部分病态特征进行区分；
运动环节判断模块，用于结合角速度对所述运动状态进行细分，获得运动细分环节信息；
所述生理参数设定模块通过用户智能手机与云端交互完成，运动状态求解模块和运动环节判断模块的处理在可穿戴设备端完成，降维求解模块的处理在云端完成。
进一步地，所述运动环节判断模块被配置为：
采集所述加速度传感器在x、y、z三轴方向上的加速度值ax、ay、az，并求解加速度信号向量模SVMA；采集所述角速度传感器在x、y、z三轴方向上的角速度值wx、wy、wz，并求解角速度信号向量模SVMW；所述通过加速度信号向量模SVMA、角速度信号向量模SVMW，建立和自适应完善的识别模型，对所述运动状态进行细分，获得运动细分环节信息。
进一步地，所述降维求解模块还被配置为：
利用所述加速度传感器的输出数据，采用对第一条件、第二条件、第三条件进行运算，并利用中值滤波判断人体运动的步态；
所述第一条件为：加速度计输出合成幅值，处于给定的上下阈值之间，则判定人体静止；反之，则判定人运动；
所述加速度计输出合成幅值为：
所述上下阈值分别为：tha min＝8m/s，tha max＝11m/s；所述第一条件表示为：
所述第二条件为：加速度计输出的局部方差，低于给定的阈值，则判定人体静止；反之，则判定人运动；
所述加速度计输出的局部方差为：其中为此区间加速度计合成幅值的输出平均值，其表达式为：
s为半窗口采样数量，定义给定阈值为：thσa＝0.5m/s2，所述第二条件表示为：
所述第三条件为：角速度传感器输出角速度合成幅值，低于给定的阈值，则判定人体静止；反之，则判定人运动；
定义陀螺仪输出的合成幅值为：给定的阈值为：所述第三条件表示为：
为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
与最接近的现有技术相比，本发明提供的技术方案具有的优异效果是：
本发明通过智能鞋采集运动体感数据，通过投影手机的呈现，并通过分层分级数据处理的方法，实现低时延、随时随地运动健身的需求。
本发明提供一种降低投影手机与智能鞋互动健身游戏传输时延的方法，旨在解决现有技术在采集生理参数时未考虑到用户的运动状态的缺陷问题；本发明对运动环节、运动细微特征的进行辨识，并采集相应的生理参数信息，便于医生或其他人员对用户健康状态进行分析。同时，本发明采用分级的方式来采集运动状态，减低数据处理运算量，降低可穿戴设备功耗，提高续航能力。
为了上述以及相关的目的，下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本发明提供的一种降低投影手机与智能鞋互动健身游戏传输时延的方法；
图2是本发明提供的一种降低投影手机与智能鞋互动健身游戏传输时延的方法中预判准确性设置模块示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。
如图1所示，本发明提供一种降低投影手机与智能鞋互动健身游戏传输时延的方法，由于跳舞对传输速度的要求很高，整体人群脚步运动与视频关联模型，根据通常人脚步判断的运动状态和其手机投影视频的视频图像需求的相关性，对手机投影视频所采集到的视频图像进行图像处理，获取虚拟人物的位置点图，将使用者的位置点图映射到手机投影环境中建立的坐标；将多个实时的使用者位置点图进行叠加处理，得到使用者在跳舞过程中的脚步运动状态轨迹；并且将舞蹈动作图像传送到处理装置；最后处理装置对舞蹈动作图像进行分解以及处理后，映射到虚拟人物；其中，
1.建立手机投影视频环境以及虚拟人物，并通过手机投影视频投影到银幕包括：
1.1建立手机投影视频环境，并在所建立的手机投影视频环境中建立坐标；
1.2通过手机投影采集装置以及距离采集装置采集所有的使用者的初始位置；
1.3在手机投影视频环境中建立虚拟人物；
1.4将使用者的初始位置与虚拟人物相映射后，通过投影装置投影到银幕。
2.采集每个使用者在跳舞过程中的脚步运动状态轨迹以及肢体动作；
使用者脚步运动状态轨迹通过采集装置定时采集使用者的图像对所采集到的图像进行图像处理，获取使用者的位置点图，将使用者的位置点图映射到手机投影视频环境中建立的坐标中，将多个实时的使用者位置点图进行叠加处理，得到使用者在跳舞过程中的脚步运动状态轨迹。肢体动作采集包括：通过动作捕捉摄像装置捕捉每个使用者的舞蹈动作图像。
脚步运动状态轨迹包括预判准确性设置，其包括生理参数设定模块、生理参数采集模块、运动状态求解模块、降维求解模块和运动环节判断模块；
其中，叠加处理包括对数据进行滤波处理。由于脚步运动状态轨迹通过采集装置采集过程中电路中的电磁干扰是主要的干扰源，电磁干扰为高频噪声；而人体运动主要是在50Hz以内的低频信号，本发明选用小波变换阈值法。对于这种干扰，给检测加上阈值和步频判断来过滤，也就是说相邻两步的时间间隔至少大于0.2秒，过滤高频噪声。
通过对运动周期内，以时间进行划分环节，当然也可以通过人为设定各个环节的时间来判断各个运动环节。
采用加速度信号向量模、角速度信号向量模，作为模型的输入特征。
叠加处理包括还包含滤波单元，所述滤波单元脚步运动状态轨迹通过采集装置对采集到各个方向数据(加速度传感器、角速度传感器数据)，进行小波分解、对高频小波系数处理、小波重构三个步骤的小波变换操作，将各方向时域信号离散化，将多种频率成分的混合信号分解到不同频段，然后根据各种子信号在频域上的不同特征按频带处理；获取信噪比高的步态数据。
跌倒具有大加速度和角速度峰值特征,这是因为脚步运动过程中由于和低势物体碰撞产生的SVM峰值比日常活动中步行、上楼梯等大多数一般过程要大。然而人体运动行为过程具有复杂性和随机性,使用单一的加速度相关信息判断人体脚步运动行为的发生会带来很大的误判。使用SVMA及SVMW相结合的信息阈值法可以区分跌倒与产生SVM峰值较小的低强度运动。通过对人体脚步运动过程及其它日常生活行为过程中实验结果数据SVMA和SVMW进行分析,本文识别跌倒的加速度信号向量模阈值取SVMAT＝20m/s2和角速度信号向量模阈值取SVMWT＝4rad/s。
所述滤波单元对采集到的加速度传感器、角速度传感器数据进行进行小波分解、高频小波系数处理、小波重构三个步骤的小波变换操作，将各方向时域信号离散化，将多种频率成分的混合信号分解到不同频段，然后根据各种子信号在频域上的不同特征按频带处理；获取信噪比高的步态数据。
所述小波变换采用硬阈值法，小波系数为Cj，k，阈值为λ；
所述
其中，叠加处理还包括：
获取用户的生理参数数据，并对所述用户生理参数数据进行降维；
对样本人群整体取标准差，N为样本量，先训练分类器，再用分类器识别步态样本；
综合计算某人步态偏离整理人群的程度x，所述
其中，ai、bi、ci分别为x、y、z轴方向上的加速度，分别为整体人群在某步态环节的x、y、z轴方向上的加速度。
将数据库中已经注册了个人N类步态样本，将样本输入分类器训练，根据输入值判定是(1，N)中哪一类，如果超出(1，N)范围，则新注册类别N+1类，然后重新更新分类器；
在上述不同运动划分基础上，同种运动再次细分，并采取投票方式决定分类结果。
多维信号为了消除数据间不同量纲、不同数量级的影响，需要对原始数据进行标准化处理，使其具有可比性，通过举证中的每个元素减去所在列的均值，然后除以所在列的标准差，使得每个变量标准化为均值为0，方差为1的矩阵X。
3.将脚步运动状态轨迹和肢体动作送到处理装置进行数据处理，最后处理装置对舞蹈动作图像进行分解以及处理后，使得每个使用者的肢体动作以及位置映射到虚拟人物上。
其中，建立手机投影视频中需要最清晰显示的部分，以及根据运动预测对传输时延超过20ms(阈值时间段)的图像，在20ms内进行视觉补偿，建立虚拟人物脚步运动与投影视频关联模型，并通过投影手机投影到银幕；
因每个人有具体的身高、体重、年龄、性别等用户画像信息，个人均有其在人群中的属性，个人模型作为整体人群脚步运动与视频关联模型的输入因子，影响该整体人群的该对应画像类型的模型；
手机投影视频图像预判设置，个人第一次使用，还未建立个人模型时，用整体人群脚步运动与视频关联模型对应的身高、体重、年龄、性别等用户画像信息来设定个人手机投影视频图像预判设置，根据脚步判断的运动状态和其手机投影视频的视频图像需求的相关性，建立手机投影视频中需要最清晰显示的部分，以及根据运动预测对传输时延超过20ms的图像，在20ms内进行视觉补偿；第二次开始，有了个人数据，使用个体人群脚步运动与视频关联模型，进行预判设置；
预判准确性设置，根据运动预测对传输时延超过20ms的图像，在20ms内进行视觉补偿，该补偿与20ms后传输来的数据进行校验，一致性超过50％(预定百分比)，将准确性因子置为1，低于50％置为0。
采集每个使用者在跳舞过程中脚步运动状态轨迹以及肢体动作，用于在运动状态和步态的特定组合下采集使用者的脚步传感器运动数据；
将脚步运动运动轨迹和肢体动作进行数据处理(降维/典型验证)，使得每个使用者的肢体动作以及位置映射到虚拟人物上，用于使用优化的支持向量机分层级结合不同层级数据，用于定时采集用户使用的加速度传感器输出的加速度数据，并经小波变换过滤高频噪声，通过自适应的算法匹配，在不同特定判别过程只调用有限的不同传感器功能工作，提取不同特定的特征计算，分析环节综合不同特征降维取样，大大减少了计算量，通过重点计算验证环节，又保证了正确性；同时将重点验证环节放在云端，其余计算放在可穿戴设备端，有效地平衡了快速反应和计算量的矛盾，既全面采集运动状态的细节特征，计算量和功耗大大减少；
建立训练集，将运动数据处理后的数据和预判准确性判别模块数据进入一个训练集；
进行深度学习，将运动数据处理后的数据和预判准确性判别模块进行准确性判断。
如图2所述，所述预判准确性设置包括：
生理参数设定模块10，用于设定运动状态和步态的不同组合下将要采集的生理参数；
生理参数采集模块20，用于在运动状态和步态的特定组合下，根据生理参数设定模块10设定的将要采集的生理参数，采集对应的生理参数；
运动状态求解模块30，用于定时采集用户使用的加速度传感器输出的加速度数据，并经小波变换过滤高频噪声，划分用户的运动状态；
所述运动状态包括第一循环动作和第二非循环动作；所述第一循环动作包括行走和跑步；所述第二非循环动作包括跳跃、起立、坐下和蹲下；而且，所述行走包括上楼梯、下楼梯和平地走。
降维求解模块40，用于使用优化的支持向量机(SVM，Support VectorMachine)分层级结合不同层级数据对基于生理参数的部分病态特征进行区分；
运动环节判断模块50，用于结合角速度对所述运动状态进行细分，获得运动细分环节信息。
生理参数设定模块10通过用户智能手机与云端交互完成，运动状态求解模块30和运动环节判断模块50的处理在可穿戴设备端完成，降维求解模块40的处理在云端完成。
针对跌倒检测和常见的人体行为分析的应用而言，加速度传感器能很好的区分人体行为的运动和静止状态，对于相似的运动行为就比较难于区分，特点是区分度大且混淆度也大。结合腕部角速度可以进行进一步的区分，但是加速度、角速度同时进行计算，运算量大，影响了时效性和电量功耗，故采用分层分级、降维分类、重点校验的方式，兼顾了计算量和准确性。
上述实施例中，运动状态求解模块，首先使用加速度传感器数据进行第一层级运动判断智能鞋三轴加速度传感器，按照100Hz的采样频率(人行走的频率一般在110步/分钟(1.8Hz)，跑步时的频率不会超过5Hz，选择100Hz的采样频率可以比较准确地反应加速度变化)，采集x，y，z三个方向的作用力。
上述实施例中，运动状态求解模块，其次统计通过对轨迹的峰值出现的频率。用户在水平运动中，垂直和前进两个加速度会呈现周期性变化。在步行收脚的动作中，由于重心向上单只脚触地，垂直方向加速度是呈正向增加的趋势，之后继续向前，重心下移两脚触底，加速度相反。水平加速度在收脚时减小，在迈步时增加。
上述实施例中，在步行运动中，垂直和前进产生的加速度与时间大致为一个正弦曲线，而且在某点有一个峰值，其中垂直方向的加速度变化最大。
上述实施例中，所述运动环节判断模块被配置为：
采集所述加速度传感器在x、y、z三轴方向上的加速度值ax、ay、az，并求解加速度信号向量模SVMA；采集所述角速度传感器在x、y、z三轴方向上的角速度值wx、wy、wz，并求解角速度信号向量模SVMW；所述通过加速度信号向量模SVMA、角速度信号向量模SVMW，建立和自适应完善的识别模型，对所述运动状态进行细分，获得运动细分环节信息。
由于加速度适合用于方向明确的运动判别，而对于无法跌倒检测、运动周期环节、八字脚等判别，则需要使用角速度来判别。
基于运动学算法原理，检测四个步态事项时相：一个步态周期被分成了两个阶段，分别是“支撑阶段”(stancephase)和“摆动阶段”(swingphase)。
美国加利福尼亚州RLA国家康复中心的Perry医生按照步行周期的发生顺序提出了RLA分期方法；即将支撑期分解为5个分期；迈步期分解为3个分期。
1.首次触地，initialcontact：为步行周期和支撑期的起始点；指足跟或足底的其他部位第一次与地面接触的瞬间。正常人行走的首次着地方式为足跟着地。
2、承重反应期，loadingresponse：指足跟着地后足底与地面全面接触瞬间的一段时间；即一侧足跟着地后至对侧下肢足趾离地时；是中心由足跟转移至足底的过程。该期为0—15％步行周期。
3.站立中期，mid-stance：指从对侧下肢离地至躯干位于该侧腿正上方时；此时重心位于支撑面正上方。该期为15％—40％步行周期：
4.站立末期，terminalstance：指从支撑足跟离地时到对侧下肢足跟着地。该期为40％—50％步行周期。
5.迈步前期，pre-swing：指从对侧下肢足跟着地到支撑足趾离地之前的一段时间。该期为50％—60％步行周期。
6.迈步初期，initialswing：从支撑腿离地至该腿膝关节达到最大屈曲时。该期为60％—70％步行周期。
7.迈步中期，mid-swing：从膝关节最大屈曲摆动到小腿与地面垂直时。该期为70％—85％步行周期。
8.迈步末期，terminalswing：指与地面垂直的小腿向前摆动至该足跟再次着地之前。该期为85％—100％步行周期。
上述实施例中，所述降维求解模块还被配置为：
对原始数据进行标准化处理，通过举证中的每个元素减去所在列的均值，然后除以所在列的标准差，使得每个变量标准化为均值为0、方差为1的矩阵X，即X＝[X1，X2，......Xn]T＝[Xij](n×p)；
其中，i＝1，2...n，j＝1，2...p；
获得
求解相关系数矩阵：
其中，R是实对称矩阵(即rij＝rji)，其中r为相关系数；
求解相关系数矩阵：
若累计贡献率达到50％以上时，采用比高法，将最高贡献率的特征值向量留下，作为固定工作样本集，其余舍弃；
计算得分矩阵，将留下的特征值作为新变量主成分，利用下式计算得分矩阵F(n×m)＝X(n×p)·U(p×m)；
其中，X是原数据矩阵，U是主成分载荷，得分矩阵F即为降维后所得到的结果；
这样做的方式既使用到了固定工作样本集方法计算速度快的特点，又避免了其当向量的个数超出工作样本集的规模，算法仅优化支持向量中的一部分的存在范围局限性的问题。通过上述方法挑出异常人群。
这样做的方式既使用到了固定工作样本集方法计算速度快的特点，又避免了其当向量的个数超出工作样本集的规模，算法仅优化支持向量中的一部分的存在范围局限性的问题。通过上述方法挑出异常人群。
结合大数据进行持续的训练细分:SVM分类器适应度函数为SVM分类器对样本划分正确率。
上述技术方案中，利用加速度计的输出数据,采用三条件(C1,C2和C3)判断算法,并利用中值滤波的方法,便可有效地判断人体运动的步态,在这里,以状态“0”表示运动,状态“1”表示静止。
上述实施例中，所述降维求解模块还被配置为：
利用所述加速度传感器的输出数据，采用对第一条件、第二条件、第三条件进行运算，并利用中值滤波判断人体运动的步态；
所述第一条件为：加速度计输出合成幅值，处于给定的上下阈值之间，则判定人体静止；反之，则判定人运动；
所述加速度计输出合成幅值为：
所述上下阈值分别为：
tha min＝8m/s，tha max＝11m/s；
所述第一条件表示为：
所述第二条件为：加速度计输出的局部方差，低于给定的阈值，则判定人体静止；反之，则判定人运动；
所述加速度计输出的局部方差为：其中为此区间加速度计合成幅值的输出平均值，其表达式为：
s为半窗口采样数量，定义给定阈值为：thσa＝0.5m/s2，所述第二条件表示为：
所述第三条件为：角速度传感器输出角速度合成幅值，低于给定的阈值，则判定人体静止；反之，则判定人运动；
定义陀螺仪输出的合成幅值为：给定的阈值为：所述第三条件表示为：
进一步而言，一种降低投影手机与智能鞋互动健身游戏传输时延的方法，还包括模型自适应完善模块；所述模型自适应完善模块被配置为：
读取新输入样本，并根据交叉验证法，计算SVM分类器识别率；
若训练的当前识别率高于或等于原有识别率，则将本次训练的参数设为最优参数；否则执行选择操作、交叉操作和/或变异操作，进一步优化训练参数。
具体而言，随着样本量的增加，SVM分类器能够自适应不断优化完善：
(1)对运动状态进行抽样计算
在判别时，可能由于其中某个状态标准差偏大，另一个状态标准差偏小，正好相抵，导致未发现异常，故再次进行随机抽样验证。
每次输入新的样本，根据交叉验证法原理，计算SVM分类器识别率。
(2)对异常未发现的样本的特征值，使用SVM分类器适应度函数，为SVM分类器对样本划分正确率。通过保持多个群体和恰当地控制群体间的相互作用来模拟并行执行过程，从而即使不使用并行计算机，也能提高算法的执行效率。
每次输入新的样本，根据交叉验证法原理，计算SVM分类器识别率，进行适应度评估，不设定遗传算法的终止值，终止条件采用比高法，如果训练的识别率高于现有则设为最优参数，否则，执行选择、交叉和变异等操作进一步优化训练参数。
根据运动变化率自适应调整采样率，多路径传输数据处理图像：传输的对象运动速率和恢复图像所需特征值成正比。如：拍摄的对象静止或基本不动，传输的采样率按比例降低。同时，数据通过多路径进行传输，可以充分利用网络的传输能力，把route cache中的多个路由同时使用，根据不同路径传输对象的变化率调整每条链路设置权重来进行负载均衡。
发送数据包时，根据上述数据处理后拆解的子图像的数量多少，分配同等数量的链路路径，通过时间片轮转法在不同的路径中进行轮询，轮询驻留每条链路时间多少，每条链路i动态变化的RTT为每条链路i设置一个权重每20ms时间片的分配关系如下，其中，n为某一条链路特征点的数量Xi，Yi，Zi为该特征点在三个方向的加速度，每条链路在发送完前一条特征后，即发送当时最新采样的数据处理后的特征值。
对计算子结果合并处理：主进程分别读入当前时间步内各个进程的输出文件，将采集到的所述多路视频流进行拼合处理，以生成携带所述时间戳的全景视频流，然后按照区域分解的算法将结果合并还原，将结果以ASCLL格式暂存；
在用户使用投影手机终端时，检测投影手机终端是否处于运动状态，如是，根据加速度调整待播放的视频频帧，以提供给用户同步视频信息，将信息显示于投影手机终端的目视区域。
而帧内延迟指用户头部转动时，构成画面帧的像素点在每一帧结束时会跳回原点，此时，用户视觉暂留现象会保留上一帧和这一帧的图像，产生拖影现象，帧间延迟不能超过20ms，否则会有很明显的拖影感。为了降低延迟率；超过20ms部分结合运动状态进行弥补预测，从而画面的卡顿效果。
模型的自适应完善：
随着样本量的增加，SVM分类器能够自适应不断优化完善，具体方法如下：
每次输入新的样本，根据交叉验证法原理，计算SVM分类器识别率，进行适应度评估，不设定遗传算法的终止值，终止条件采用比高法，如果训练的识别率高于现有则设为最优参数，否则，执行选择、交叉和变异等操作进一步优化训练参数。
结合大数据进行持续的训练细分:SVM分类器适应度函数为SVM分类器对样本划分正确率。随着样本量的增加，如果正确率高于历史最佳模型，则该模型取代原有最佳模型，从而随着样本量的增加模型自适应不断优化完善。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述方法包括
(1)建立虚拟人物脚步运动与投影视频关联模型，并通过投影手机投影到银幕；
(2)设定手机投影视频图像预判设置；
(3)进行预判准确性设置；
(4)采集每个使用者在跳舞过程中脚步运动状态轨迹以及肢体动作；
(5)将脚步运动运动轨迹和肢体动作进行数据处理，使得每个使用者的肢体动作以及位置映射到虚拟人物上；
(6)根据运动数据处理后的数据和预判准确性数据建立训练集；
(7)将运动数据处理后的数据和预判准确性数据进行准确性判断。
2.如权利要求1所述一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述步骤(1)包括根据通常人脚步判断的运动状态和其手机投影视频的视频图像需求的相关性，对手机投影视频所采集到的视频图像进行图像处理，获取虚拟人物的位置点图，将使用者的位置点图映射到手机投影环境中建立的坐标；将多个实时的使用者位置点图进行叠加处理，得到使用者在跳舞过程中的脚步运动状态轨迹；并且将舞蹈动作图像传送到处理装置；最后处理装置对舞蹈动作图像进行分解以及处理后，映射到虚拟人物；其中，建立手机投影视频中清晰显示的部分，以及根据运动预测对传输时延超过20ms的图像，在20ms内进行视觉补偿，建立的脚步运动与VR视频关联模型。
3.如权利要求1所述一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述步骤(2)包括个人第一次使用，还未建立个人模型时，用整体人群脚步运动与视频关联模型对应的身高、体重、年龄、性别和其它用户画像信息来设定个人手机投影视频图像预判设置；其中，个人模型作为整体整体人群脚步运动与视频关联模型的输入因子，影响该整体人群的该对应画像类型的模型。
4.如权利要求1所述一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述步骤(3)包括预判准确性设置，根据运动预测对传输时延超过20ms的图像，在20ms内进行视觉补偿，该补偿与20ms后传输来的数据进行校验，一致性超过50％，将准确性因子置为1，低于50％置为0。
5.如权利要求1所述一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述步骤(4)包括在运动状态和步态的特定组合下采集使用者的脚步传感器运动数据。
6.如权利要求1所述一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述步骤(5)包括使用优化的支持向量机分层级结合不同层级数据，定时采集用户使用的加速度传感器输出的加速度数据，并经小波变换过滤高频噪声，通过自适应的算法匹配，在不同特定判别过程中调用不同传感器功能工作，提取不同特定的特征计算，分析环节综合不同特征降维取样，通过重点计算验证，保证其正确性。
7.如权利要求1～6中所述一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述运动状态包括第一循环动作和第二非循环动作；所述第一循环动作包括行走和跑步；所述第二非循环动作包括跳跃、起立、坐下和蹲下；而且，所述行走包括上楼梯、下楼梯和平地走。
8.如权利要求1中所述一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述预判准确性设置包括
生理参数设定模块，用于设定运动状态和步态的不同组合下将要采集的生理参数；
生理参数采集模块，用于在运动状态和步态的特定组合下，根据生理参数设定模块设定的将要采集的生理参数，采集对应的生理参数；
运动状态求解模块，用于定时采集用户使用的加速度传感器输出的加速度数据，并经小波变换过滤高频噪声，划分用户的运动状态；用于使用加速度传感器数据进行第一层级运动判断智能鞋三轴加速度传感器，统计通过对轨迹的峰值出现的频率和对数据进行滤波处理。
降维求解模块，用于使用优化的支持向量机分层级结合不同层级数据对基于生理参数的部分病态特征进行区分；
运动环节判断模块，用于结合角速度对所述运动状态进行细分，获得运动细分环节信息；
所述生理参数设定模块通过用户智能手机与云端交互完成，运动状态求解模块和运动环节判断模块的处理在可穿戴设备端完成，降维求解模块的处理在云端完成。
9.如权利要求8所述的一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述运动环节判断模块被配置为：
采集所述加速度传感器在x、y、z三轴方向上的加速度值ax、ay、az，并求解加速度信号向量模SVMA；采集所述角速度传感器在x、y、z三轴方向上的角速度值wx、wy、wz，并求解角速度信号向量模SVMW；所述通过加速度信号向量模SVMA、角速度信号向量模SVMW，建立和自适应完善的识别模型，对所述运动状态进行细分，获得运动细分环节信息。
10.如权利要求8所述的一种降低投影手机与智能鞋互动健身游戏传输时延的方法，其特征在于，所述降维求解模块还被配置为：
利用所述加速度传感器的输出数据，采用对第一条件、第二条件、第三条件进行运算，并利用中值滤波判断人体运动的步态；
所述第一条件为：加速度计输出合成幅值，处于给定的上下阈值之间，则判定人体静止；反之，则判定人运动；
所述加速度计输出合成幅值为：
所述上下阈值分别为：tha min＝8m/s，tha max＝11m/s；所述第一条件表示为：
所述第二条件为：加速度计输出的局部方差，低于给定的阈值，则判定人体静止；反之，则判定人运动；
所述加速度计输出的局部方差为：其中为此区间加速度计合成幅值的输出平均值，其表达式为：
s为半窗口采样数量，定义给定阈值为：thσa＝0.5m/s2，所述第二条件表示为：
所述第三条件为：角速度传感器输出角速度合成幅值，低于给定的阈值，则判定人体静止；反之，则判定人运动；
定义陀螺仪输出的合成幅值为：给定的阈值为：所述第三条件表示为：
CN201810770476.1A 2018-07-13 2018-07-13 一种降低投影手机与智能鞋互动健身游戏传输时延的方法 Pending CN109045682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810770476.1A CN109045682A (zh) 2018-07-13 2018-07-13 一种降低投影手机与智能鞋互动健身游戏传输时延的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810770476.1A CN109045682A (zh) 2018-07-13 2018-07-13 一种降低投影手机与智能鞋互动健身游戏传输时延的方法

Publications (1)

Publication Number Publication Date
CN109045682A true CN109045682A (zh) 2018-12-21

Family

ID=64816387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810770476.1A Pending CN109045682A (zh) 2018-07-13 2018-07-13 一种降低投影手机与智能鞋互动健身游戏传输时延的方法

Country Status (1)

Country Link
CN (1) CN109045682A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539352A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 一种判断人体关节运动方向的方法及系统
CN111783717A (zh) * 2020-07-10 2020-10-16 邵勇 一种生物特征运动模态智能识别方法及其应用
CN112764545A (zh) * 2021-01-29 2021-05-07 重庆子元科技有限公司 一种虚拟人物运动同步方法及终端设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150036A (zh) * 2013-02-06 2013-06-12 宋子健 一种信息采集系统和方法、人机交互系统和方法及一种鞋
CN103729867A (zh) * 2014-01-07 2014-04-16 南京大学 基于bp反投影成像算法的硬件加速器以及数据处理方法
US20160155231A1 (en) * 2013-06-11 2016-06-02 Sony Computer Entertainment Europe Limited Head-mountable apparatus and systems
CN106971059A (zh) * 2017-03-01 2017-07-21 福州云开智能科技有限公司 一种基于神经网络自适应健康监测的可穿戴设备
CN106999748A (zh) * 2014-10-06 2017-08-01 弋动科有限公司 与运动数据有关的系统、设备和方法
CN107102728A (zh) * 2017-03-28 2017-08-29 北京犀牛数字互动科技有限公司 基于虚拟现实技术的显示方法及系统
CN107753026A (zh) * 2017-09-28 2018-03-06 古琳达姬（厦门）股份有限公司 针对脊柱腿部健康的智能鞋自适应监测方法
CN107863980A (zh) * 2017-12-18 2018-03-30 上海青橙实业有限公司 智能手环、投影手机、系统及控制方法
CN108109440A (zh) * 2017-12-21 2018-06-01 沈阳体育学院 一种多人舞蹈教学互动投影方法及装置
CN108211200A (zh) * 2018-03-15 2018-06-29 上品家武汉有限公司 基于物联网的智能教学体感健身瑜伽垫

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150036A (zh) * 2013-02-06 2013-06-12 宋子健 一种信息采集系统和方法、人机交互系统和方法及一种鞋
US20160155231A1 (en) * 2013-06-11 2016-06-02 Sony Computer Entertainment Europe Limited Head-mountable apparatus and systems
CN103729867A (zh) * 2014-01-07 2014-04-16 南京大学 基于bp反投影成像算法的硬件加速器以及数据处理方法
CN106999748A (zh) * 2014-10-06 2017-08-01 弋动科有限公司 与运动数据有关的系统、设备和方法
CN106971059A (zh) * 2017-03-01 2017-07-21 福州云开智能科技有限公司 一种基于神经网络自适应健康监测的可穿戴设备
CN107102728A (zh) * 2017-03-28 2017-08-29 北京犀牛数字互动科技有限公司 基于虚拟现实技术的显示方法及系统
CN107753026A (zh) * 2017-09-28 2018-03-06 古琳达姬（厦门）股份有限公司 针对脊柱腿部健康的智能鞋自适应监测方法
CN107863980A (zh) * 2017-12-18 2018-03-30 上海青橙实业有限公司 智能手环、投影手机、系统及控制方法
CN108109440A (zh) * 2017-12-21 2018-06-01 沈阳体育学院 一种多人舞蹈教学互动投影方法及装置
CN108211200A (zh) * 2018-03-15 2018-06-29 上品家武汉有限公司 基于物联网的智能教学体感健身瑜伽垫

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539352A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 一种判断人体关节运动方向的方法及系统
CN111783717A (zh) * 2020-07-10 2020-10-16 邵勇 一种生物特征运动模态智能识别方法及其应用
CN111783717B (zh) * 2020-07-10 2024-02-20 邵勇 一种生物特征运动模态智能识别方法及其应用
CN112764545A (zh) * 2021-01-29 2021-05-07 重庆子元科技有限公司 一种虚拟人物运动同步方法及终端设备

Similar Documents

Publication Publication Date Title
KR101839257B1 (ko) 운동 움직임 속성으로부터의 페이스 및 에너지 지출의 계산
CN108514421A (zh) 提升混合现实与日常健康监测的方法
US7840031B2 (en) Tracking a range of body movement based on 3D captured image streams of a user
CN106650687A (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN109045682A (zh) 一种降低投影手机与智能鞋互动健身游戏传输时延的方法
CN109453509A (zh) 一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法
CN110327595A (zh) 基于可穿戴传感器的动作捕捉识别与评估装置及方法
CN106923839A (zh) 运动辅助装置、运动辅助方法以及记录介质
CN104353240A (zh) 基于Kinect的跑步机系统
CN107930048A (zh) 一种太空体感识别运动分析系统及运动分析方法
CN109805935A (zh) 一种基于人工智能分层分级运动识别方法的智能腰带
CN109285594A (zh) 人体3d扫描投影技术
CN107249456A (zh) 使用来自多个装置的数据进行能量消耗计算
JPWO2017199305A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN113975775B (zh) 可穿戴式惯性体感乒乓运动训练系统及其工作方法
US20240042281A1 (en) User experience platform for connected fitness systems
CN111312363B (zh) 一种基于虚拟现实的双手协调性增强系统
Chu et al. Game interface using digital textile sensors, accelerometer and gyroscope
McNamara et al. Markerless motion capture system to detect upper limb movement during rehabilitation using video games
Jiang et al. Probability model of rock climbing recognition based on information fusion sensor time series
Qiao et al. Analysis of Biomechanical Parameters of Martial Arts Routine Athletes’ Jumping Difficulty Based on Image Recognition
WO2023182726A1 (en) Electronic device and method for segmentation of movement repetitions and extraction of performance metrics
Wenzhi et al. Research on the Application of Computer Big Data Technology in Statistics of Athletes' Ventilation Time and Stroke Speed Model
Carlisle Tracking and Analysis of Ecological Human Walking With Wearable Sensors
CN109078320A (zh) 一种基于投影手机分层分级的物联网终端数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221

RJ01 Rejection of invention patent application after publication