CN111209882A - 一种全向运动装置的步态信息获取方法、系统及可读存储介质 - Google Patents

一种全向运动装置的步态信息获取方法、系统及可读存储介质 Download PDF

Info

Publication number
CN111209882A
CN111209882A CN202010032101.2A CN202010032101A CN111209882A CN 111209882 A CN111209882 A CN 111209882A CN 202010032101 A CN202010032101 A CN 202010032101A CN 111209882 A CN111209882 A CN 111209882A
Authority
CN
China
Prior art keywords
information
gait
gravity center
skeleton
establishing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010032101.2A
Other languages
English (en)
Inventor
杜守杰
田中达也
胡磊
王忠礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaogan Fengchuang Intelligent Technology Co ltd
Original Assignee
Xiaogan Fengchuang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaogan Fengchuang Intelligent Technology Co ltd filed Critical Xiaogan Fengchuang Intelligent Technology Co ltd
Priority to CN202010032101.2A priority Critical patent/CN111209882A/zh
Publication of CN111209882A publication Critical patent/CN111209882A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种全向运动装置的步态信息获取方法、系统及可读存储介质,包括:根据VR场景建立运动空间,提取空间特征,同时获取运动对象骨架信息,建立骨架模型;分析骨架模型信息,获取骨架重心信息及重心变化曲线;根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库;根据空间特征修正步态信息数据库,同时进行数据筛选及更新,通过分析骨架模型,建立重心变化曲线,并根据骨架信息判断运动对象在运动空间内的位置偏差率,使得运动对象始终处于全向运动装置的中心位置,且在获取步态信息的同时,通过数据筛选及更新,经常对步态信息数据库进行调整,以提高步态信息数据库的时效性与准确性。

Description

一种全向运动装置的步态信息获取方法、系统及可读存储 介质
技术领域
本发明涉及一种步态信息获取方法,尤其涉及一种全向运动装置的步态信息获取方法、系统及可读存储介质。
背景技术
虚拟现实技术是一种能够创建和体验虚拟世界的计算机仿真技术,通过与计算机生成一种交互式的三维动态视景,使用户沉浸到虚拟的环境中,实现听觉和触觉的双重体验,随着虚拟现实技术的兴起,新的设备和解决方案层出不穷,传统的设备人体只能再一个方向以不同的速度行走,不能满足虚拟现实要求的人体可以以不同速度沿任意方向走动的要求,而现有的一些方法只能实现单向运动,无法做到全向运动,运动对象体验较差。
步态参数的检测最主要的目的是评估人体运动能力,而人体重心轨迹是评价步态稳定性、平衡性,最基本、最有效的形式之一,通过传感器与计算机对肢体运动特征进行定量描述,通过步态信息的调整及控制使运动对象与运动空间保持相对静止,从而实现在有限的空间内实现全向运动。
为了能够提取精准的步态信息数据,并对步态信息数据库进行筛选及更新,以达到步态信息的准确性,需要开发一款与其相匹配的系统进行控制,通过该系统对运动对象的步态信息进行提取,但是,在步态信息提取过程中,如何实现精准的控制,以及如何实现数据传输的快速性都是亟不可待要解决的问题。
发明内容
本发明克服了现有技术的不足,提供一种全向运动装置的步态信息获取方法、系统及可读存储介质。
为达到上述目的,本发明采用的技术方案为:一种全向运动装置的步态信息获取方法,包括:
根据VR场景建立运动空间,提取空间特征,同时获取运动对象骨架信息,建立骨架模型;
分析骨架模型信息,获取骨架重心信息及重心变化曲线;
根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库;
根据空间特征修正步态信息数据库,同时进行数据筛选及更新。
优选的,所述步态信息包括根据VR场景模拟的运动路线或根据VR场景实现的肢体步态变化信息中或根据VR场景预处理运动信息的一种或两种组合或三种组合。
优选的,获取运动对象骨架信息,建立骨架模型,具体包括:
建立离散分布节点;
逐帧进行预处理、骨架节点提取及算法识别骨架信息,提取骨架参数与重心变化曲线;
通过单帧图像提取运动对象单帧步态特征,建立骨架模型,同时获取单帧步态特征误差;
根据单帧步态特征进行组合建立步态特征模型,得到步态信息。
优选的,通过重心变化曲线,获取重心轨迹,具体为:
利用通过位移时与地面接触力合成重心加速度,并对该加速度进行二次积分,得到重心轨迹;
即,
Figure BDA0002364688620000021
其中Zx表示为重心轨迹,Gr表示地面接触力,m为运动对象重量,t表示时间,g为加速度。
优选的,分析骨架模型信息,获取骨架重心信息及重心变化曲线,具体包括:
确定运动空间内的重心点起始坐标信息;
根据重心信息及重心变化曲线,建立空间坐标系,同时提取空间特征;
根据空间特征,提取实时重心位于运动空间内的位置及实时坐标信息;
通过骨架信息,得到肢体重心坐标信息在运动空间内的位置偏差率;
判断位置偏差率是否大于预设的偏差率阈值;
若大于预设偏差率阈值,则进行运动空间反向修正。
优选的,根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库,具体包括:
根据骨架信息及重心变化曲线建立步态序列模型;
采用步态序列分割进行步态特征分割提取,建立单步步态数据库;
通过数据索引进行单步步态分析,并获取单步步态特征误差,并对单步步态特征进行误差均衡或/和补偿。
将步态分析结果进行聚合模拟,得到完整的步态信息。
本发明第二方面提供了一种全向运动装置的步态信息获取系统,其特征在于,该系统包括:存储器、处理器,所述存储器中包括全向运动装置的步态信息获取方法程序,所述全向运动装置的步态信息获取方法程序被所述处理器执行时实现如下步骤:
根据VR场景建立运动空间,同时获取运动对象骨架信息,建立骨架模型;
分析骨架模型信息,获取骨架重心信息及重心变化曲线;
根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库;
根据空间特征修正步态信息数据库,同时进行数据筛选及更新。
优选的,获取运动对象骨架信息,建立骨架模型,具体包括:
建立离散分布节点;
逐帧进行预处理、骨架节点提取及算法识别骨架信息,提取骨架参数与重心变化曲线;
通过单帧图像提取运动对象单帧步态特征,建立骨架模型,同时获取单帧步态特征误差;
根据单帧步态特征进行组合建立步态特征模型,得到步态信息。
优选的,分析骨架模型信息,获取骨架重心信息及重心变化曲线,具体包括:
确定运动空间内的重心点起始坐标信息;
根据重心信息及重心变化曲线,建立空间坐标系,同时提取空间特征;
根据空间特征,提取实时重心位于运动空间内的位置及实时坐标信息;
通过骨架信息,得到肢体重心坐标信息在运动空间内的位置偏差率;
判断位置偏差率是否大于预设的偏差率阈值;
若大于预设偏差率阈值,则进行运动空间反向修正。
本发明第三方面提供了一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中包括全向运动装置的步态信息获取方法程序,所述全向运动装置的步态信息获取方法程序被处理器执行时,实现上述任一项所述的全向运动装置的步态信息获取方法的步骤。
本发明解决了背景技术中存在的缺陷,本发明具备以下有益效果:
(1)通过逐帧进行预处理,通过单帧图像提取运动对象单帧步态特征,建立骨架模型,同时获取单帧步态特征,对单帧步态特征误差进行补偿或均衡,减小误差,然后进行组合建立步态特征模型,得到完整步态信息,此种方式获取的步态信息精度较高,通过分割步态特征进行逐帧处理,处理速度更快,步态信息更加贴近实际。
(3)通过分析骨架模型,建立重心变化曲线,并根据骨架信息判断运动对象在运动空间内的位置偏差率,通过修正位置偏差率进行运动空间的反向修正,使得运动对象始终处于全向运动装置的中心位置,且在获取步态信息的同时,通过数据筛选及更新,经常对步态信息数据库进行调整,以提高步态信息数据库的时效性与准确性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1示出了本发明一种全向运动装置的步态信息获取方法的流程图;
图2示出了本发明获取骨架信息的方法流程图;
图3示出了本发明分析骨架模型信息的方法流程图;
图4示出了本发明建立步态信息数据库的方法流程图;
图5示出了本发明一种全向运动装置的步态信息获取系统的框图;
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种全向运动装置的步态信息获取方法的流程图。
如图1所示,本发明第一方面提供了一种全向运动装置的步态信息获取方法,包括:
S102,根据VR场景建立运动空间,提取空间特征,同时获取运动对象骨架信息,建立骨架模型;
S104,分析骨架模型信息,获取骨架重心信息及重心变化曲线;
S106,根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库;
S108,根据空间特征修正步态信息数据库,同时进行数据筛选及更新。
需要说明的是,VR场景主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知,运动空间可以是虚拟的运动空间或真实的运动空间,具体而言,真实的运动空间能够是根据VR场景选择对应的房间或平台,房间的面积以及平台的大小可以根据VR场景进行改变,例如VR场景需要单人模拟操作时,则仅需要选择较小的房间面积或平台面积,如5-20平米,优选10平米,当需要多人配合模拟时,则需要建立较大的运动空间,如选择20-100平米的房间面积及平台大小,优选50平米的运动空间。
另外,在进行步态信息的获取时,通过需要提取步态特征及形态特征,并对步态特征及形态特征进行分析,在步态特征及形态特征产生变化时,运动对象的重心轨迹也会同步产生对应变化,步态特征的差异主要体现在体型的差异,如身体比例、身高和步长等,还有上身、手臂的摆动幅度和摆动频率均会影响步态信息,步态发生变化时,运动对象相对于运动空间内的位置相应产生变化,为了保持运动对象与运动空间的相对静止,需要对步态信息进行校正处理。
需要说明的是,在通过传感器获取到步态信息后,确定处理方式,例如,检测到位移方向为第一方向,则需要控制运动空间向第二方向进行移动,其中的第一方向与第二方向为反向,即可以理解为运动空间向位移方向的反向移动,移动的位移量相同,在有限的运动空间内,实现万向运动,同时保证运动对象与运动空间相对静止,或始终位于运动空间的中心位置,在进行校正处理过程中,能够对运动空间进行反向修正,建立新的运动空间,此处新的运动空间即虚拟或模拟的运动空间,即可以理解的是,为了使运动对象具有沉浸式体验,实现全向运动装置的精度,使VR场景内的虚拟运动空间根据步态信息进行实时改变,在感官上依旧实时保证位于运动空间的中心位置。
根据本发明实施例,步态信息包括根据VR场景模拟的运动路线或根据VR场景实现的肢体步态变化信息或根据VR场景预处理运动信息的一种或两种组合或三种组合。
需要说明的是,VR场景模拟的运动路线,可以理解为预先储存在VR场景内的信息,或经过VR场景预处理后的运动信息,例如VR场景内需要进行环游西湖,则需要预先进行环游西湖道路的多种规划,在进行模拟过程中,可以选择任意道路行进,不同道路具有不同的路况信息,则检测到的步态信息及位移信息均会有差异性。
图2示出了获取骨架信息的方法流程图。
根据本发明实施例,获取运动对象骨架信息,建立骨架模型,具体包括:
S202,建立离散分布节点;
S204,逐帧进行预处理、骨架节点提取及算法识别骨架信息,提取骨架参数与重心变化曲线;
S206,通过单帧图像提取运动对象单帧步态特征,建立骨架模型,同时获取单帧步态特征误差;
S208,根据单帧步态特征进行组合建立步态特征模型,得到步态信息。
需要说明的是,骨架的提取可以是在保持拓扑不变性的条件下,不断的剥离表层的像素或者体素直至获取骨架信息,通过此种方法,计算复杂程度较低,骨架的提取方法可以是基于距离变换的方法,计算图像的每个内部点到边界的最近距离,提取骨架点转化为寻找距离值梯度脊线,以距离梯度发生突变的点为骨架点,获取骨架信息,同时建立骨架模型。
本实施例采用离散数据节点模型,即运动对象看作有限运动点的集合,并用基于线段的轨迹表示方法,假定运动对象都是以分段线性方式运动,即沿直线匀速运动直到改变方向或速度,从改变方向或速度的节点记为下一段线性运动,通过多段分割提取,可以将变速变向运动变为无数段匀速直线运动的集合,分别计入数据库,轨迹在时空数据库中表示为一个多维点序列,记为M={Xi,vi,ti|1≤i≤n},其中n表示该轨迹中点的个数,Xi表示在ti时刻的空间物理位置,vi表示在ti和ti+1时间间隔中的速度,即从原轨迹中按顺序抽出的若干个点组成的多维点序列。
另外,数据库为时空数据库,时空数据库就是体现时间、空间和时空概念并且同时捕获数据的时间和空间特性的数据库,时空数据库主要用于存储和管理位置和状态均随时间变化的各类空间对象,并针对对象的时空信息进行分析处理,由于移动对象的位置随时间的变化而连续变化,所以对移动对象进行建模既要考虑连续模型,又要考虑离散模型,连续模型是指把移动对象看作无穷移动点的集合而对其进行描述,并把移动点看作是三维空间中的一条连续曲线进行分析。
在本发明的一个实施方式中,步态信息进行误差校正,从而进行数据库的筛选及更新,剔除偏差较大的数据,具体为:
Figure BDA0002364688620000081
其中,ax、ay、az分别代表校正后的加速度信息,Ax、Ay、Az分别代表测量加速度信息,X4*3则代表校正矩阵,矩阵中的数值k1、k2、k3则代表三轴比例系数,ERx、ERy、ERz则代表零位漂移,kyx、kzx、kxy、kzy、kxz、kyz则代表耦合因数,每次均采集n组加速度数据,进行校正,其中,n取值范围为n≥1的正整数。
需要说明的是,运动对象在运动空间内需要进行误差的检测与校正,使误差维持在预定的范围内,运动对象在不同时刻内的加速度既可以相同,也可以不同,在加速度不同的时间段内,需要进行校正时的反向加速度亦同时产生变化,通过修正矩阵对不同时间段内的加速度进行校正,并考虑到运动对象点的零位漂移偏差的影响,去除运动对象的零位漂移,n组加速度数据进行量化处理,量化处理即是把经过抽样得到的瞬时值将其幅度离散,可以明确的进行度量。
另外,在进行步态信息处理中,逐帧进行处理,可以理解为先对运动对象进行多角度图像拍摄,且在拍摄过程中,运动对象的行走状态也在不停的变化,通过分析拍摄图像的节点信息,以及对运动对象的各种运动状态进行捕捉,得到步态空间参数,通过步态空间参数进行分析运动对象的步态周期与步态轨迹,此外,步态信息也可以进行步态分析,可以进行步态校正,同时为了克服运动对象走路姿态自然的变化,可以采用多次采集样本的方法进行减小误差。
根据本发明实施例,通过重心变化曲线,获取重心轨迹,具体为:
利用通过位移时与地面接触力合成重心加速度,并对该加速度进行二次积分,得到重心轨迹;
即,
Figure BDA0002364688620000091
其中Zx表示为重心轨迹,Gr表示地面接触力,m为运动对象重量,t表示时间,g为加速度。
需要说明的是,运动对象产生位移、下蹲、奔跑或跳跃时,人体与平台接触力产生变化,相应的重心轨迹也会同步产生变化,而运动对象的加速度也会对重心产生影响,因此通过分析重心加速度得出重心轨迹,通过重心轨迹对步态信息进行分析得到精确的步态信息更加接近实际值,误差较小。
图3示出了分析骨架模型信息的方法流程图。
根据本发明实施例,分析骨架模型信息,获取骨架重心信息及重心变化曲线,具体包括:
S302,确定运动空间内的重心点起始坐标信息;
S304,根据重心信息及重心变化曲线,建立空间坐标系,同时提取空间特征;
S306,根据空间特征,提取实时重心位于运动空间内的位置及实时坐标信息;
S308,通过骨架信息,得到肢体重心坐标信息在运动空间内的位置偏差率;
S310,判断位置偏差率是否大于预设的偏差率阈值;
S312,若大于预设偏差率阈值,则进行运动空间反向修正。
需要说明的是,通过分析起始坐标信息与实时坐标信息之间的位置偏差率,得到运动对象修正后的实际偏差率,计算实际偏差率与预设偏差率之间的差值是否在合理范围内,如果不在合理范围内,则需要对运动空间进行反向修正或对位移信息进行二次修正或同时对运动空间与位移信息两者进行合修正,使偏差率维持在预设范围内。
其中,起始坐标信息记为(x0,y0),检测的实时坐标信息记为(xj,yj),j为正整数,每检测到一个坐标信息,j数值加1,
实时坐标(xj,yj)与起始坐标(x0,y0)在X轴上的位移偏差为x=xj-x0,在Y轴上的位移偏差量为y=yj-y0
运动对象在X轴方向的偏差率ρx
Figure BDA0002364688620000101
其中x0≠0;
运动对象在Y轴方向的偏差率ρy
Figure BDA0002364688620000102
其中y0≠0;
运动对象在运动空间内的偏差率为
Figure BDA0002364688620000111
其中xj-x0≠0;
运动对象的实时位移通过实时位移及实时坐标信息进行位移修正,若修正后的修正坐标信息与实时坐标信息存在一定的偏差,则需要计算出偏差阈值。
当运动对象仅仅在X轴方向产生位移,则需要通过计算ρx与预设偏差率之间的偏差率,当运动对象仅仅在Y轴方向产生位移,则需要通过计算ρy与预设偏差率之间的偏差阈值,是否在偏差范围内。
图4示出了建立步态信息数据库的方法流程图;
根据本发明实施例,根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库,具体包括:
S402,根据骨架信息及重心变化曲线建立步态序列模型;
S404,采用步态序列分割进行步态特征分割提取,建立单步步态数据库;
S406,通过数据索引进行单步步态分析,并获取单步步态特征误差,并对单步步态特征进行误差均衡或/和补偿;
S408,将步态分析结果进行聚合模拟,得到完整的步态信息。
需要说明的是,在本实施例中,运动空间为圆形平台,对移动对象分割后进行提取实时肢体坐标信息,圆形平台的中心点即坐标原点,建立坐标系,将重心变化数值进行按照预定的采样时间间隔进行抽样储存至数据库,然后抽样点之间的轨迹进行聚合模拟,形成完整的重心变化轨迹。
一个完整的步态序列可以分割成若干个单个的步态特征,分割具体步骤,先找出长轨迹的特征点,再在各个特征点将长轨迹分割成若干个直线段,每个线段均是沿直线匀速运动直到改变方向或速度;从改变方向或速度的节点记为下一段线性运动,记为下一个直线段,得到多维点数列M集合,M集合内包括若干个步态特征,在进行获取步态特征过程中,需要进行计算步态特征误差,并进行步态特征误差的均衡或补偿,使步态特征误差保持在预定的阈值范围内。
需要说明的是,步态是指人体步行时的姿态和行为特征,人体各个部位的一系列连续活动,使身体沿着一定方向移动的过程,步态空间参数包括步态周期、空间位置参数、运动轨迹参数中的一种或多种组合,通过数值积分对步态空间参数进行积分处理,同时去除空间参数内的趋势化共性参数,找到却别较大的步态空间参数,通过这种处理,能够将运动轨迹模拟化,得到相似的运动轨迹,然后将模拟运动轨迹进行合并,波动较大的特征点进行平均值处理,假定运动对象都是以分段线性方式运动,即沿直线匀速运动直到改变方向或速度,从改变方向或速度的节点记为特征点,每次方向或速度产生变化的转折点记为一个特征点,特征点的参数信息更加能够代表该轨迹的变化。
具体而言,人体姿态信息可以利用陀螺仪输出的角速度,结合欧拉角、四弦矩阵以及四元数法计算,将坐标系依次分别为三维X、Y、Z三个方向进行旋转,陀螺仪输出角速度与姿态角x,y,z之间的关系式如下:
Figure BDA0002364688620000121
将上式转换为欧拉微分方程的形式,记为:
Figure BDA0002364688620000122
通过上述方程可以高效率的进行人体姿态信息的解算。
图5示出了一种全向运动装置的步态信息获取系统的框图。
本发明第二方面还提供了一种全向运动装置的步态信息获取系统5,该系统包括:存储器51、处理器52,存储器中包括全向运动装置的步态信息获取方法程序,全向运动装置的步态信息获取方法程序被处理器执行时实现如下步骤:
根据VR场景建立运动空间,同时获取运动对象骨架信息,建立骨架模型;
分析骨架模型信息,获取骨架重心信息及重心变化曲线;
根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库;
根据空间特征修正步态信息数据库,同时进行数据筛选及更新。
需要说明的是,系统获取步态信息后进行数据存储,通过空间特征对步态信息进行校正,将偏差较大的步态信息进行剔除,同步实现数据库内的步态信息的筛选及更新,
另外,在进行步态信息的获取时,通过需要提取步态特征及形态特征,并对步态特征及形态特征进行分析,在步态特征及形态特征产生变化时,运动对象的重心轨迹也会同步产生对应变化,步态特征的差异主要体现在体型的差异,如身体比例、身高和步长等,还有上身、手臂的摆动幅度和摆动频率均会影响步态信息,步态发生变化时,运动对象相对于运动空间内的位置相应产生变化,为了保持运动对象与运动空间的相对静止,需要对步态信息进行校正处理。
VR场景主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知,运动空间可以是虚拟的运动空间或真实的运动空间,具体而言,真实的运动空间能够是根据VR场景选择对应的房间或平台,房间的面积以及平台的大小可以根据VR场景进行改变,例如VR场景需要单人模拟操作时,则仅需要选择较小的房间面积或平台面积,如5-20平米,优选10平米,当需要多人配合模拟时,则需要建立较大的运动空间,如选择20-100平米的房间面积及平台大小,优选50平米的运动空间。
需要说明的是,在通过传感器获取到步态信息后,确定处理方式,例如,检测到位移方向为第一方向,则需要控制运动空间向第二方向进行移动,其中的第一方向与第二方向为反向,即可以理解为运动空间向位移方向的反向移动,移动的位移量相同,在有限的运动空间内,实现万向运动,同时保证运动对象与运动空间相对静止,或始终位于运动空间的中心位置,在进行校正处理过程中,能够对运动空间进行反向修正,建立新的运动空间,此处新的运动空间即虚拟或模拟的运动空间,即可以理解的是,为了使运动对象具有沉浸式体验,实现全向运动装置的精度,使VR场景内的虚拟运动空间根据步态信息进行实时改变,在感官上依旧实时保证位于运动空间的中心位置。
本发明中的步态信息获取系统采用AT89C51单片机数据采集单元、用于数据处理、存储和控制的中央处理器,数据采集单元与传感器之间通过IIC协议通信,采集单元之间采用RS485接口通信,数据采集单元将数据暂时存储与内部RAM,各模块采集单元同时采集上传数据,保证数据的无延时精准,其中单片机的型号本领域技术人员可以根据实际需要进行选择,如选择ATMEGA48或AT89C52等等均可。
加速度传感器主要用来检测运动对象的加速度信息,加速度信息能够实时显示运动对象的运动变化状态,通过加速度信息的采集进行误差校正,校正时,校正处理信息中的加速度应与运动对象的加速度数值相同,但保持方向相反,使运动对象的位移量为零,保持相对静止。
另外,AT89C51提供以下标准功能:4k字节Flash闪速存储器,256字节片内数据存储器(00H-7FH为片内RAM,80H-FFH为特殊功能寄存器SFR),32个I/O口线,两个16位定时/计数器,一个5向量两级中断结构,一个全双工串行通信口,片内振荡器及时钟电路,同时,AT89C51可降至0Hz的静态逻辑操作,并支持两种软件可选的节电工作模式。空闲方式停止CPU的工作,但允许RAM,定时/计数器,串行通信口及中断系统继续工作。掉电方式保存RAM中的内容,但振荡器停止工作并禁止其它所有部件工作直到下一个硬件复位。
根据本发明实施例,获取运动对象骨架信息,建立骨架模型,具体包括:
建立离散分布节点;
逐帧进行预处理、骨架节点提取及算法识别骨架信息,提取骨架参数与重心变化曲线;
通过单帧图像提取运动对象单帧步态特征,建立骨架模型,同时获取单帧步态特征误差;
根据单帧步态特征进行组合建立步态特征模型,得到步态信息。
需要说明的是,步态信息包括根据VR场景模拟的运动路线或根据VR场景实现的肢体步态变化信息或根据VR场景预处理运动信息的一种或两种组合或三种组合。
需要说明的是,VR场景模拟的运动路线,可以理解为预先储存在VR场景内的信息,或经过VR场景预处理后的运动信息,例如VR场景内需要进行环游西湖,则需要预先进行环游西湖道路的多种规划,在进行模拟过程中,可以选择任意道路行进,不同道路具有不同的路况信息,则检测到的步态信息及位移信息均会有差异性。
根据本发明实施例,分析骨架模型信息,获取骨架重心信息及重心变化曲线,具体包括:
确定运动空间内的重心点起始坐标信息;
根据重心信息及重心变化曲线,建立空间坐标系,同时提取空间特征;
根据空间特征,提取实时重心位于运动空间内的位置及实时坐标信息;
通过骨架信息,得到肢体重心坐标信息在运动空间内的位置偏差率;
判断位置偏差率是否大于预设的偏差率阈值;
若大于预设偏差率阈值,则进行运动空间反向修正。
需要说明的是,骨架的提取可以是在保持拓扑不变性的条件下,不断的剥离表层的像素或者体素直至获取骨架信息,通过此种方法,计算复杂程度较低,骨架的提取方法可以是基于距离变换的方法,计算图像的每个内部点到边界的最近距离,提取骨架点转化为寻找距离值梯度脊线,以距离梯度发生突变的点为骨架点,获取骨架信息,同时建立骨架模型。
本实施例采用离散数据节点模型,即运动对象看作有限运动点的集合,并用基于线段的轨迹表示方法,假定运动对象都是以分段线性方式运动,即沿直线匀速运动直到改变方向或速度,从改变方向或速度的节点记为下一段线性运动,通过多段分割提取,可以将变速变向运动变为无数段匀速直线运动的集合,分别计入数据库,轨迹在时空数据库中表示为一个多维点序列,记为M={Xi,vi,ti|1≤i≤n},其中n表示该轨迹中点的个数,Xi表示在ti时刻的空间物理位置,vi表示在ti和ti+1时间间隔中的速度,即从原轨迹中按顺序抽出的若干个点组成的多维点序列。
另外,数据库为时空数据库,时空数据库就是体现时间、空间和时空概念并且同时捕获数据的时间和空间特性的数据库,时空数据库主要用于存储和管理位置和状态均随时间变化的各类空间对象,并针对对象的时空信息进行分析处理,由于移动对象的位置随时间的变化而连续变化,所以对移动对象进行建模既要考虑连续模型,又要考虑离散模型,连续模型是指把移动对象看作无穷移动点的集合而对其进行描述,并把移动点看作是三维空间中的一条连续曲线进行分析。
在本发明的一个实施方式中,步态信息进行误差校正,从而进行数据库的筛选及更新,剔除偏差较大的数据,具体为:
Figure BDA0002364688620000171
其中,ax、ay、az分别代表校正后的加速度信息,Ax、Ay、Az分别代表测量加速度信息,X4*3则代表校正矩阵,矩阵中的数值k1、k2、k3则代表三轴比例系数,ERx、ERy、ERz则代表零位漂移,kyx、kzx、kxy、kzy、kxz、kyz则代表耦合因数,每次均采集n组加速度数据,进行校正,其中,n取值范围为n≥1的正整数。
需要说明的是,运动对象在运动空间内需要进行误差的检测与校正,使误差维持在预定的范围内,运动对象在不同时刻内的加速度既可以相同,也可以不同,在加速度不同的时间段内,需要进行校正时的反向加速度亦同时产生变化,通过修正矩阵对不同时间段内的加速度进行校正,并考虑到运动对象点的零位漂移偏差的影响,去除运动对象的零位漂移,n组加速度数据进行量化处理,量化处理即是把经过抽样得到的瞬时值将其幅度离散,可以明确的进行度量。
另外,在进行步态信息处理中,逐帧进行处理,可以理解为先对运动对象进行多角度图像拍摄,且在拍摄过程中,运动对象的行走状态也在不停的变化,通过分析拍摄图像的节点信息,以及对运动对象的各种运动状态进行捕捉,得到步态空间参数,通过步态空间参数进行分析运动对象的步态周期与步态轨迹,此外,步态信息也可以进行步态分析,可以进行步态校正,同时为了克服运动对象走路姿态自然的变化,可以采用多次采集样本的方法进行减小误差。
根据本发明实施例,通过重心变化曲线,获取重心轨迹,具体为:
利用通过位移时与地面接触力合成重心加速度,并对该加速度进行二次积分,得到重心轨迹;
即,
Figure BDA0002364688620000181
其中Zx表示为重心轨迹,Gr表示地面接触力,m为运动对象重量,t表示时间,g为加速度。
需要说明的是,运动对象产生位移、下蹲、奔跑或跳跃时,人体与平台接触力产生变化,相应的重心轨迹也会同步产生变化,而运动对象的加速度也会对重心产生影响,因此通过分析重心加速度得出重心轨迹,通过重心轨迹对步态信息进行分析得到精确的步态信息更加接近实际值,误差较小。
另外,一个完整的步态序列可以分割成若干个单个的步态特征,分割具体步骤,先找出长轨迹的特征点,再在各个特征点将长轨迹分割成若干个直线段,每个线段均是沿直线匀速运动直到改变方向或速度;从改变方向或速度的节点记为下一段线性运动,记为下一个直线段,得到多维点数列M集合,M集合内包括若干个步态特征,在进行获取步态特征过程中,需要进行计算步态特征误差,并进行步态特征误差的均衡或补偿,使步态特征误差保持在预定的阈值范围内。
需要说明的是,步态是指人体步行时的姿态和行为特征,人体各个部位的一系列连续活动,使身体沿着一定方向移动的过程,步态空间参数包括步态周期、空间位置参数、运动轨迹参数中的一种或多种组合,通过数值积分对步态空间参数进行积分处理,同时去除空间参数内的趋势化共性参数,找到却别较大的步态空间参数,通过这种处理,能够将运动轨迹模拟化,得到相似的运动轨迹,然后将模拟运动轨迹进行合并,波动较大的特征点进行平均值处理,假定运动对象都是以分段线性方式运动,即沿直线匀速运动直到改变方向或速度,从改变方向或速度的节点记为特征点,每次方向或速度产生变化的转折点记为一个特征点,特征点的参数信息更加能够代表该轨迹的变化。
具体而言,人体姿态信息可以利用陀螺仪输出的角速度,结合欧拉角、四弦矩阵以及四元数法计算,将坐标系依次分别为三维X、Y、Z三个方向进行旋转,陀螺仪输出角速度与姿态角x,y,z之间的关系式如下:
Figure BDA0002364688620000191
将上式转换为欧拉微分方程的形式,记为:
Figure BDA0002364688620000192
通过上述方程可以高效率的进行人体姿态信息的解算。
本发明第三方面还提供了一种计算机可读存储介质,计算机可读存储介质中包括全向运动装置的步态信息获取方法程序,全向运动装置的步态信息获取方法程序被处理器执行时,实现如上述任一项的全向运动装置的步态信息获取方法的步骤。
通过逐帧进行预处理,通过单帧图像提取运动对象单帧步态特征,建立骨架模型,同时获取单帧步态特征,对单帧步态特征误差进行补偿或均衡,减小误差,然后进行组合建立步态特征模型,得到完整步态信息,此种方式获取的步态信息精度较高,通过分割步态特征进行逐帧处理,处理速度更快,步态信息更加贴近实际,通过分析骨架模型,建立重心变化曲线,并根据骨架信息判断运动对象在运动空间内的位置偏差率,通过修正位置偏差率进行运动空间的反向修正,使得运动对象始终处于全向运动装置的中心位置,且在获取步态信息的同时,通过数据筛选及更新,经常对步态信息数据库进行调整,以提高步态信息数据库的时效性与准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种全向运动装置的步态信息获取方法,其特征在于,包括:
根据VR场景建立运动空间,提取空间特征,同时获取运动对象骨架信息,建立骨架模型;
分析骨架模型信息,获取骨架重心信息及重心变化曲线;
根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库;
根据空间特征修正步态信息数据库,同时进行数据筛选及更新。
2.根据权利要求1所述的一种全向运动装置的步态信息获取方法,其特征在于:所述步态信息包括根据VR场景模拟的运动路线或根据VR场景实现的肢体步态变化信息中或根据VR场景预处理运动信息的一种或两种组合或三种组合。
3.根据权利要求1所述的一种全向运动装置的步态信息获取方法,其特征在于:获取运动对象骨架信息,建立骨架模型,具体包括:
建立离散分布节点;
逐帧进行预处理、骨架节点提取及算法识别骨架信息,提取骨架参数与重心变化曲线;
通过单帧图像提取运动对象单帧步态特征,建立骨架模型,同时获取单帧步态特征误差;
根据单帧步态特征进行组合建立步态特征模型,得到步态信息。
4.根据权利要求3所述的一种全向运动装置的步态信息获取方法,其特征在于:
通过重心变化曲线,获取重心轨迹,具体为:
利用通过位移时与地面接触力合成重心加速度,并对该加速度进行二次积分,得到重心轨迹;
即,
Figure FDA0002364688610000021
其中Zx表示为重心轨迹,Gr表示地面接触力,m为运动对象重量,t表示时间,g为加速度。
5.根据权利要求3所述的一种全向运动装置的步态信息获取方法,其特征在于:
分析骨架模型信息,获取骨架重心信息及重心变化曲线,具体包括:
确定运动空间内的重心点起始坐标信息;
根据重心信息及重心变化曲线,建立空间坐标系,同时提取空间特征;
根据空间特征,提取实时重心位于运动空间内的位置及实时坐标信息;
通过骨架信息,得到肢体重心坐标信息在运动空间内的位置偏差率;
判断位置偏差率是否大于预设的偏差率阈值;
若大于预设偏差率阈值,则进行运动空间反向修正。
6.根据权利要求1所述的一种全向运动装置的步态信息获取方法,其特征在于:根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库,具体包括:
根据骨架信息及重心变化曲线建立步态序列模型;
采用步态序列分割进行步态特征分割提取,建立单步步态数据库;
通过数据索引进行单步步态分析,并获取单步步态特征误差,并对单步步态特征进行误差均衡或/和补偿。
将步态分析结果进行聚合模拟,得到完整的步态信息。
7.一种全向运动装置的步态信息获取系统,其特征在于,该系统包括:存储器、处理器,所述存储器中包括全向运动装置的步态信息获取方法程序,所述全向运动装置的步态信息获取方法程序被所述处理器执行时实现如下步骤:
根据VR场景建立运动空间,同时获取运动对象骨架信息,建立骨架模型;
分析骨架模型信息,获取骨架重心信息及重心变化曲线;
根据骨架重心信息及重心变化曲线获取步态信息,建立步态信息数据库;
根据空间特征修正步态信息数据库,同时进行数据筛选及更新。
8.根据权利要求7所述的一种全向运动装置的步态信息获取系统,其特征在于:获取运动对象骨架信息,建立骨架模型,具体包括:
建立离散分布节点;
逐帧进行预处理、骨架节点提取及算法识别骨架信息,提取骨架参数与重心变化曲线;
通过单帧图像提取运动对象单帧步态特征,建立骨架模型,同时获取单帧步态特征误差;
根据单帧步态特征进行组合建立步态特征模型,得到步态信息。
9.根据权利要求7所述的一种全向运动装置的步态信息获取系统,其特征在于:
分析骨架模型信息,获取骨架重心信息及重心变化曲线,具体包括:
确定运动空间内的重心点起始坐标信息;
根据重心信息及重心变化曲线,建立空间坐标系,同时提取空间特征;
根据空间特征,提取实时重心位于运动空间内的位置及实时坐标信息;
通过骨架信息,得到肢体重心坐标信息在运动空间内的位置偏差率;
判断位置偏差率是否大于预设的偏差率阈值;
若大于预设偏差率阈值,则进行运动空间反向修正。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中包括全向运动装置的步态信息获取方法程序,所述全向运动装置的步态信息获取方法程序被处理器执行时,实现如权利要求1至6中任一项所述的全向运动装置的步态信息获取方法的步骤。
CN202010032101.2A 2020-01-13 2020-01-13 一种全向运动装置的步态信息获取方法、系统及可读存储介质 Withdrawn CN111209882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010032101.2A CN111209882A (zh) 2020-01-13 2020-01-13 一种全向运动装置的步态信息获取方法、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010032101.2A CN111209882A (zh) 2020-01-13 2020-01-13 一种全向运动装置的步态信息获取方法、系统及可读存储介质

Publications (1)

Publication Number Publication Date
CN111209882A true CN111209882A (zh) 2020-05-29

Family

ID=70786690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010032101.2A Withdrawn CN111209882A (zh) 2020-01-13 2020-01-13 一种全向运动装置的步态信息获取方法、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN111209882A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023097773A1 (zh) * 2021-11-30 2023-06-08 中国科学院深圳先进技术研究院 步态分析方法、装置、设备及存储介质
WO2024009533A1 (ja) * 2022-07-07 2024-01-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動認識装置、行動認識方法、及び行動認識プログラム
WO2024009532A1 (ja) * 2022-07-06 2024-01-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動認識装置、行動認識方法、及び行動認識プログラム
CN117694841A (zh) * 2024-02-06 2024-03-15 成都中医药大学 一种重心轨迹数据获取方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023097773A1 (zh) * 2021-11-30 2023-06-08 中国科学院深圳先进技术研究院 步态分析方法、装置、设备及存储介质
WO2024009532A1 (ja) * 2022-07-06 2024-01-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動認識装置、行動認識方法、及び行動認識プログラム
WO2024009533A1 (ja) * 2022-07-07 2024-01-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動認識装置、行動認識方法、及び行動認識プログラム
CN117694841A (zh) * 2024-02-06 2024-03-15 成都中医药大学 一种重心轨迹数据获取方法
CN117694841B (zh) * 2024-02-06 2024-04-30 成都中医药大学 一种重心轨迹数据获取方法

Similar Documents

Publication Publication Date Title
CN111209882A (zh) 一种全向运动装置的步态信息获取方法、系统及可读存储介质
CN105094335B (zh) 场景提取方法、物体定位方法及其系统
CN109141433A (zh) 一种机器人室内定位系统及定位方法
CN115024715B (zh) 一种人体运动智能测量与数字训练系统
CN109117893A (zh) 一种基于人体姿态的动作识别方法及装置
CN109298629A (zh) 用于为自主和非自主位置意识提供鲁棒跟踪的容错
CN103530881A (zh) 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN111444600A (zh) 一种vr跑步机的参数修正方法、系统及可读存储介质
CN111330213A (zh) 一种vr跑步机的防摔预判方法、系统及可读存储介质
CN108151738A (zh) 带姿态解算的可编码主动光标识球
CN108734762B (zh) 运动轨迹仿真方法及系统
WO2024060978A1 (zh) 关键点检测模型训练及虚拟角色驱动的方法和装置
CN111330214B (zh) 一种vr跑步机的安全防护方法、系统及可读存储介质
CN103839280B (zh) 一种基于视觉信息的人体姿态跟踪方法
CN111595332A (zh) 一种融合惯性技术与视觉建模的全环境定位方法
CN110197531A (zh) 基于深度学习的角色骨骼点映射技术
CN113350771A (zh) 一种运动员动态姿态识别方法、装置、系统及存储介质
CN117352126A (zh) 肌肉受力可视化方法、装置、计算机设备以及存储介质
CN111240484A (zh) 一种基于全向运动平台的防护方法、系统及可读存储介质
CN112405526A (zh) 一种机器人的定位方法及装置、设备、存储介质
CN116226727A (zh) 一种基于ai的运动识别系统
CN111240480A (zh) 一种全向运动装置的实现方法、系统及可读存储介质
CN111258421A (zh) 一种vr跑步机的预判修正方法、系统及可读存储介质
Ercan et al. On sensor fusion for head tracking in augmented reality applications
Peng et al. Research on action recognition method of dance video image based on human-computer interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200529