CN102792315B - 用于实时确定重复运动参数的系统和方法 - Google Patents

用于实时确定重复运动参数的系统和方法 Download PDF

Info

Publication number
CN102792315B
CN102792315B CN201180009194.6A CN201180009194A CN102792315B CN 102792315 B CN102792315 B CN 102792315B CN 201180009194 A CN201180009194 A CN 201180009194A CN 102792315 B CN102792315 B CN 102792315B
Authority
CN
China
Prior art keywords
motion
cycle
sliding window
signal
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180009194.6A
Other languages
English (en)
Other versions
CN102792315A (zh
Inventor
A·拉吕
F·叙阿尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Movea SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Movea SA filed Critical Commissariat a lEnergie Atomique CEA
Publication of CN102792315A publication Critical patent/CN102792315A/zh
Application granted granted Critical
Publication of CN102792315B publication Critical patent/CN102792315B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00Testing or calibrating of apparatus or devices covered by the preceding groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于实时确定重复形式的运动的参数(PM,Tp)的系统,包括:‑第一模块(EST1),其用于基于表示所述运动的代表性信号(S1,S2),在当前运动结束前,估计所述重复形式的运动的周期的近似值(Tr);‑用于基于由所述第一估计模块(EST1)所估计的所述周期(Tr)来确定滑动窗口的尺寸(F)的模块(DET);‑第二模块(EST2),其用于基于表示所述运动的代表性信号(S1,S2)和由所述第一估计模块(EST1)所传送的所述滑动窗口的尺寸(F),借助滑动窗口来精确估计所述运动参数。

Description

用于实时确定重复运动参数的系统和方法
技术领域
本发明涉及用于实时确定重复形式的运动的参数的系统和方法。
术语实时表示响应时间适合于应用的环境。
本发明应用于发生重复形式的运动的任何领域,诸如医疗领域、康复、体育运动领域等,但特别适合应用于视频游戏领域,其中许多游戏都需要玩家的部分身体的重复形式的运动。本发明也可以应用于自动机或机器人的重复形式的运动。
背景技术
在诸如电影、视频游戏和体育运动等多个领域中实现了对人运动的分析。例如,这种分析使得能够再现由用户所执行的运动成为可能,以使显示在屏幕上的人的虚拟描绘栩栩如生,而无需重建复杂的物理模型,同时还保持了更逼真和更自然的身体动作。
运动的捕捉主要用于电影和视频游戏,以便通过再现实际运动而使显示屏上的人的化身或虚拟描绘栩栩如生,例如在文献WO 2008011352中所描述的那样。
然而,此类系统需要结合集中在人身上的视频采集而使用设置在用户是每一个肢体上的特定标识。之后对视频进行分析,以便通过在三个维度中确定每个标识的位置来定义模型。
因为对所执行的运动和标识的位置的精度上的约束是重要的,所以这种技术涉及复杂的实施方式。此外,因为数据的采集及其处理主要需要再现运动,而不是与系统实时互动,所以不必实时地执行数据的采集及其处理。
诸如在文献WO 2006103662中所公开的其它方案允许追踪体育赛事。这种应用使得可以以根据体育运动动作发生的阶段来改进其定向、或者以能够执行已经发生的体育运动动作的阶段性总结的方式来控制一组摄像机。然而,摄像机常常远离运动员,前者不能用于需要高精度的应用中。
在用户与例如视频游戏控制台等机器之间进行互动的情况下,目前正在研发允许玩家与游戏控制台之间的互动的其它方案。近来,微软(商标)已经提出了Natal计划。其目的在于提出一种使用摄影机的新接口,其解释用户所执行的运动,以便驱动视频游戏或多媒体接口。
然而,这种技术要求用户在确定的空间内动作,该确定的空间特别要求在用户与系统之间不存在任何障碍物。
其它系统使用板载(onboard)传感器,或者以其它方式表述,用户配备有可以给出其地点或位置的传感器,诸如卫星定位系统传感器等;或者配备有可以确定其运动的传感器,诸如加速度计、磁强计、陀螺仪等。在没有外界干涉的情况下,这些传感器必须是侵入可能最小的且易于安置的。
这些传感器,即使是低成本的,也使得可以在测量运动时获得比精度与传感器的尺寸和清晰度成比例并且从而需要更复杂的处理和更有效且更昂贵的处理机的视频传感器更好的精度。
板载传感器可以用于地理定位和导航。配备有诸如GPS接收器等卫星定位系统接收器的某些车辆或装置还包含惯性设备,以便减轻系统信号接收的暂时中断。从而,如文献US 2009192708中所述,这种系统适合于步行者的导航。然而,这些方案都需要全球位置基准(reference),仅可以以临时的方式来使用运动传感器,以便减轻由此产生的缺陷或增大精度。所用的系统包括非常少的传感器,简单的加速度计就可以给出位移的主要方向和速度,并且无需额外的细节来表征运动。此外,不必尽可能快地响应速度或方向的变化。这些系统不适合于相对精确的运动,也不适合于接口的使用。
在本发明中,用户仅借助于运动传感器来与机器进行互动。因此,这种方案需要高精度,但最重要的是需要最早可能的响应以及简单且自然的处理。
近年来,为了控制通信接口而固定在人身上的传感器的使用已经得到推广。
特别是在视频游戏的环境下,其中某些系统不仅使以比使用操纵杆或键盘更精确的方式进行互动成为可能,而且还可以通过使新玩家在无需学习掌握控制方式的情况下而迅速进行游戏来提供用户友好性,那些与运动相关联的控制方式更加自然。最后,这种方案通过使视频游戏适合于玩家自身的运动而提供了改进的真实性。
因此,Sony已经提出了一种与其包括运动传感器的游戏控制台兼容的dualshock(商标)操纵杆,以便可以将施加至控制台的运动转录到屏幕上。然而,这些运动是受限的,因此主要功能保持了将定向运动放大为操纵杆的倾斜角的函数的可能性。
最近,Nintendo推出了其大众化市场的Wii(商标)控制台,其包括互动式操纵杆。这些操纵杆配备有加速度计,用于查明玩家的运动,而无需更精确地确定运动的方向或幅度。诸如在文献EP 0908701中所描述的,为了补充这个操纵杆而开发了平台,以便也考虑腿部的运动。然而,这个平台仅可以查明同一位置处的腿部运动的频率,因此不容许玩家的任何位移。此外,其不可能查明玩家的定向,以便能够例如执行旋转命令。
文献WO 2006086487涉及使得模块适合于运动鞋,以便测量并发送与所执行的运动的数量有关的信息。该发明的具体特征在于能够测量玩家所执行的物理活动的数量,以便能够激活游戏的特定功能,或者化身或虚拟描绘的特定特性。然而,这种装置不允许玩家与其虚拟描绘之间完全的接口连接(interfacing)。实际上,仅使用了一个传感器(例如加速度计)来测量物理活动,但没有恢复信息来更精确表征所执行的运动。
这些系统对于实时应用来说缺乏精度和速度,特别是在视频游戏领域中。
发明内容
本发明的目的在于减轻上述问题。
根据本发明的一个方面,提出了一种用于实时确定重复形式的运动的参数的系统,包括:
-第一模块,其用于基于表示所述运动的代表性信号,在当前运动结束前,估计所述重复形式的运动的周期的近似值;
-用于基于由所述第一估计模块所估计的所述周期来确定滑动窗口的尺寸的模块;
-第二模块,其用于基于表示所述运动的代表性信号和由所述第一估计模块所传送的所述滑动窗口的尺寸,借助滑动窗口来精确估计所述运动参数。
由此改进了实时确定,因为用于在进行中的运动结束前估计重复形式的运动的周期的近似值的第一模块允许确定模块以相适应的方式迅速估计特别适合于以快速方式精确计算运动参数的滑动窗口的尺寸。从而,滑动窗口的尺寸自动适应于重复形式的运动的周期的变化。重复形式的运动的表达旨在表示相对类似形式的运动,但其一些参数可以变化,诸如周期(或者频率或者速度)、幅度、或者冲击力(接触撞击的力)。
在一个实施例中,所述运动参数是所述重复形式的运动的周期。
所述系统尤其适合于基于第一近似快速估计来实时地精确估计重复形式的运动的周期,所述第一近似快速估计可以快速确定特别适合于周期的精确计算的滑动窗口的尺寸,从而迅速得多地执行周期的精确计算。因此,借助改进的最早的可能的响应时间(即,改进的实时方案),从而精确地执行重复形式的运动的周期的确定。
例如,所述第二估计模块包括用于计算重复形式的运动的周期的基于相关性(correlation)的模块。
因此,基于不是非常复杂的统计,有可能在无需运动的时域特征的先验知识的情况下确定参数。
根据一个实施例,用于估计不同于所述周期的所述重复形式的运动的另一运动参数的所述第一模块包括用于精确估计所述周期的所述第二模块。
如果借助根据本发明的系统,以精确的方式实时确定了重复形式的运动的周期,则根据本发明的另一方面,就可以利用所述周期来通过如下方式计算不同于该周期的另一运动参数:确定滑动窗口的尺寸,之后允许精确且迅速地估计该另一运动参数。
在一个实施例中,所述确定模块包括安全倍增(multiplicative enhancement ofsafety)。
因此,采用安全裕度(safety margin)来确定滑动窗口的尺寸,从而使得可以避免滑动窗口的尺寸有点儿太小。
根据一个实施例,所述系统包括用于实时通信所述运动的进展的通信接口,例如,视听接口。
这个视听通信接口尤其适合于视频游戏系统。
在一个实施例中,所述系统还包括传感器组件,其适合于固定至执行重复形式的运动的元件,以便传送所述信号。
传感器组件可以包括至少一个磁强计、和/或至少一个加速度计、和/或陀螺仪、和/或压力传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
根据另一个方面,还提出了一种用于实时确定重复形式的运动的参数的方法,其包括以下步骤:
-基于表示所述运动的代表性信号,在当前运动结束前,估计所述重复形式的运动的周期的近似值;
-基于所述近似估计的周期来确定滑动窗口的尺寸;
-基于表示所述运动的代表性信号和所述滑动窗口的确定尺寸,借助滑动窗口精确估计所述运动参数。
根据一种模式的实施方式,实时确定所述重复形式的运动的精确周期。
在一种模式的实施方式中,不同于所述周期的所述重复形式的运动的另一运动参数的估计用于近似估计所述周期的步骤以及精确估计所述重复形式的运动的周期的步骤中。
根据一种模式的实施方式,所述信号由固定至执行重复形式的运动的元件的传感器组件发送,例如,包括至少一个磁强计、和/或至少一个加速度计、和/或陀螺仪、和/或压力传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
在一个实施例中,通过使用分解为减小的特征值λu、λv和λw,来执行由具备第一正交坐标系[X,Y,Z]的传感器组件所发送的所述信号的坐标系(frame)变化,以在第二正交坐标系[U,V,W]中表示所述第一正交坐标系[X,Y,Z],所述第二正交坐标系的轴U或轴U和V分别对应于所述运动的主轴或主平面。
从而改进了精度和鲁棒性。此外,于是传感器组件的自动校准也是可能的。
根据一个实施例,对所述重复形式的运动的精确周期的所述实时确定:检测所述滑动窗口之上的局部最大值和全局最大值,所述局部最大值和全局最大值是基本持续时间的倍数;并选择对应于所述精确周期的、最早出现的且其相对于所述全局最大值的偏差小于阈值的最大值。
因此,在所述精确周期的检测中的低误差风险在已经借助周期的快速近似估计而优化的滑动窗口的尺寸之上仍受到更多限制。
附图说明
通过研究数个以完全非限制性的示例的方式描述的并由附图来例示的实施例,将会更好地理解本发明,在附图中:
-图1示意性地示出了根据本发明一个方面的用于实时确定重复形式的运动的参数的系统;
-图2示意性地示出了图1的系统的示例性实施例,其中,根据本发明的一个方面,参数是周期;
-图3示意性地示出了根据本发明的一个方面的、还估计了不同于所述周期的所述重复形式的运动的另一运动参数的图2的系统;
-图4和5示意性地示出了在视频游戏应用情况下的传感器组件;
-图6和7示意性地示出了确定周期的问题;以及
-图8示意性地示出了示例性地比较根据本发明一个方面的周期的计算与具有优化尺寸的窗口的估计。
具体实施方式
在各个附图中,具有相同附图标记的元件是相同的。
在图1中示出了用于实时确定重复形式的运动的参数的系统,包括第一估计模块EST1,其用于基于表示运动的信号S1、S2,在当前运动结束前估计重复形式的运动的周期的近似值Tr。确定模块DET基于由所述第一估计模块EST1所估计的所述周期Tr来确定滑动窗口的尺寸F,例如通过将快速近似值Tr乘以等于1+Δ的系数或增益,以便取得安全裕度。例如,Δ可以在0到0.5之间。第二模块用于基于表示运动的信号S1、S2以及由第一估计模块EST1所传送的滑动窗口的尺寸F,借助滑动窗口来精确估计运动参数。
图2示出了在重复形式的运动中所实时确定的运动参数是运动的周期的情况,其作为第二估计模块EST2的输出Tp来传送。
在此情况下,本发明使得可以通常在进行中的运动结束前,通过快速估计运动周期Tr,来给用于精确估计的第二模块提供由确定模块DET所优化的滑动窗口的尺寸F,从而允许第二估计模块EST2在最早可能的时刻执行所述周期的精确估计Tp。这种精确估计要快速得多。
在计算周期的情况下,第二估计模块EST2基于可以包括或可以不包括第一估计模块EST1的输入信号的单一信号或若干信号,借助滑动窗口来执行相关性。
图3示出了根据本发明一个方面的“级联”实施例,其采用了图2的系统,并将其作为第一快速估计模块EST’1,用于估计滑动窗口的尺寸,以便精确地估计另一运动参数,一旦精确周期Tp已经以精确的方式计算出来,该另一运动参数就可以立即视为周期的快速估计Tr’。
例如,用于周期的快速估计的模块EST1可以实现文献A.Marakov的“Frequencytracking in nonstationary signals using Joint Order Statistics”,Proceedingsof the International Symposium on Time-Frequency and Time-Scale Analysis 96,p441-444、M.Jabloun的“Un nouvel outil d'analyse temps-fréquence basésur unmoyennage àrecalage de phase”[A new time-frequency analysis tool based onaveraging with phase registration]Gretsi2009、或者S.Chandra Sekhar的“Adaptivespectrogram vs.Adaptive pseudo Wigner-Ville distribution for instantaneousfrequency estimation”,Signal Processing 2003中所描述的快速估计。
信号S1、S2或S3可以是相同的、不同的或者一个可以包括另一个。它们源自发送表示重复形式的运动的信号的传感器。例如,传感器组件可以包括至少一个磁强计,和/或至少一个加速度计,和/或陀螺仪,和/或压力传感器,和/或心电图仪,和/或用于测量呼吸量的流量计,和/或用于测量呼吸频率的传感器。
图4示出了将本发明应用于与重复形式的行走运动有关的视频游戏领域的示例。对于每条腿来说,传感器组件包括三轴加速度计和三轴磁强计(X、Y和Z)。每个模态都是三维信号,在这个实例中总共有12个信号。以规则的间隔对这些信号进行采样,并且注明所接收的每个信号的日期,以便能使数据同步。
这种配置响应于传感器的具体定位,例如,在脚的一侧上,以便根据运动来确定传感器的一个主轴的方向,但可以想到应用处理来执行坐标系(U,V,W)的变化,以便将传感器定位在同一坐标系中。如图5中所示,坐标系的这种变化还可以查明运动的主方向或主平面。
以不同的方式表述,通过使用分解为减小的特征值λu、λv和λw来执行第一正交坐标系(X,Y,Z)中的信号的坐标系的变化,从而在第二正交坐标系(U,V,W)中表达第一正交坐标系(X,Y,Z),第二正交坐标系(U,V,W)的轴U或者轴U和V分别对应于所述运动的主轴或主平面。
信号必须包含关于所执行的运动的信息的最大值,有必要以相对于运动最优的方式来确定从其提取信号的传感器的轴的方向。
或者以最优的方式定位传感器,例如使得传感器的X轴以最佳信噪比测量包括最多信息的信号的分量,或者可以执行坐标系的变化。
为了执行从基准(X,Y,Z)至(U,V,W)的这种坐标系的变化,使用了特征值分解。原理在于确定系数λu、λv和λw,以使得λuvw。因此,可以将传感器的基准描述为形成正交坐标系的各个轴(U,V,W)的组合。分解的一个特性可以定义这个新的坐标系,以使得U轴是运动的主轴。
例如,对于给定的脚来说,必须在窗口之上考虑例如由加速度计A产生的3个传感器信号:[Ax,Ay,Az]。
此后必须计算相关矩阵C:
其中,c(A,B)是A和B的互相关函数。根据主分量分析或PCA的原理,由以下关系式定义系数λu、λv和λw并且D=P-1CP;其中,P是如此定义新坐标系的交换矩阵,也就是说,该矩阵可以修改信号以使它们适应新坐标系。分解为特征值可以确定交换矩阵P以及矩阵L。
因此,为了实施处理操作,可以考虑加速度计的信号Au而不是Ax
对于这个示例,为了模拟行走/奔跑,当玩家的脚离开地面时,或者当玩家的趾尖在地面上时,系统就认为玩家执行了行走/奔跑运动。在随后的非限制性的描述中,将本发明应用于这个示例。
周期使得可以定义玩家的步伐的频率或速度,即确定玩家是缓慢地还是迅速地行走,或者他是否在奔跑。可以利用两个信号S1和S2的互相关函数来估计步伐的持续时间。这种想法是估计使它们的相关性最大的、在这两个信号之间的时间迁移(shift),此后将这个迁移τopt与玩家的步伐的周期T相关联。可以设想复杂性增加的各种配置:
S1=S2=Agx或Adx或Agu或Adu,即,任选的脚的分量上的自相关性,并且如果可能的话,沿着主运动轴确定方向。在此情况下,τopt=T,
S1=Agx并且S2=Adx或Agu或Adu,即,两只脚的两个相似分量之间的相关性。在此情况下,必须注意,两个轴具有相同的方向和相同的意义。在此情况下,τopt=T/2,
在前一情况下,可以借助信号的特征值分解技术,通过执行对每只脚上的运动的主轴的估计来确定轴的共线性。
为了允许追踪玩家步伐的周期的变化,相关性的计算依赖于信号窗口,该信号窗口以因果关系的方式考虑了或者说顾及到仅使用感兴趣的时刻之前的样本的时间窗口、所述信号以及最近采集的样本。为了确定信号周期,有必要包含至少一个信号周期。
得到了以下用于两个信号S2与S2之间的相关性Γs1s2(t,τ)的等式:
其中:
t表示当前时刻,
τ表示所考虑的迁移,
It表示取决于t的间隔。
这个函数可以借助以下等式来估计:
Tf表示感兴趣的时间窗口的尺寸,从而将延迟τ的变化的取值范围定义为[0;Tf]。
为了支持最近采集的样本并改进估计的质量,可以在这个计算中增加持续时间Tf-τ的加权窗口wTf-τ,从而可以对每个信号窗口应用与窗口的时刻和样本的时刻成比例的特定权重。于是,可以通过以下关系式来计算相关函数:
其中,α表示加权窗口的时间指数(temporal index)。
在后者为最大值时,该相关性可以确定对应于信号周期的最优迁移。图6将相关函数表示为周期变化的信号的t和τ的函数。
图7是在给定时刻t=35s时的图6的纵截面。这两个图涉及具有脚的分量上的自相关性的S1=S2=Agx或Adx的情况。此后,有必要追踪最大值以修正给定时刻的任何误差。
从而,这个步骤使得可以借助适当地适应滑动窗口的尺寸,通过去掉次要值、周期的倍数,来使搜索最大相关性值变得容易。
因此,对应于步伐的持续时间的周期的结果是由相关性的最大值所确定的值T:
因此,这个方案需要单一参数:τmax(Tf),其对应于为计算相关性而考虑的最大迁移。因为有必要考虑这个尺寸的时间窗口,所以将这个迁移解释为最大可能延迟。
当使用固定参数时,延迟将是恒定的,但如果速率加速,就不可能在最早可能的时刻做出响应。因此,有必要将窗口的最大尺寸调整为最慢步伐的函数,即若干秒。因此,这个想法会得到分析窗口的尺寸的适应性调整,以便在改变行走速率之后优化系统的快速。
以其它方式来表述,如图7所示,相关性Γ的结果展现了若干波瓣,在自相关的情况下,其每一个最大值位于T、2T、3T…、kT(在两只脚之间的相关性的情况下,相应地为T/2、3T/2、5T/2…、(2k+1)T/2)。在完全稳定的信号的理想情况下,最大值是全局最大值的波瓣位于T(相应地为T/2)。然而,在周期不稳定的信号的情况下,全局最大值可以不位于T(相应地为T/2),而位于2T或3T(相应地为3T/2、5T/2)。
因此,在此情况下,对周期的估计所给出的结果会是错误的,所估计的周期会比实际值大两倍或三倍。因此,按如下给出修正:
假设T为全局最大值的时刻。
如果存在最大值接近于在时刻T/2或T/3或T/4…时的最大值的波瓣,则将时刻T修正为T/2或T/3或T/4,也就是说,最大可能的分母(相应地为2T/5,2T/3,...)。
第二次检查是可能的,以便验证时间连续性。原理在于通过将其与在最近的窗口之上所确定的值相比较来验证值T。如果值变化过大,那么就等待新样本的采集。根据随后窗口上T的值,其不是接近于在前一窗口上的值,就是接近于当前窗口上的T。在后一情况下,已经存在速率的变化,并已经找到T的优良值,否则,运动没有变化并且在当前窗口之上的T的估计是错误的,且可以用在前一窗口和随后窗口之上的T的平均值来代替。
根据本发明的一个方面,增加了预先确定滑动窗口的尺寸的步骤,其基于信号周期的简单且近似的估计。
对于这种简单且快速的估计,例如可以实现上文所引用的Makarov的估计,其使得可以以因果关系的方式(即,仅使用过去的样本)来定义信号周期的数值范围。
Marakov估计使得可以通过考虑最近所采集的样本,在每个时刻,确定非稳定信号的频率。该原理依赖于趋势的统计。对于信号的每一点,有必要估计是否修改了趋势,也就是说,是否保留了在前一时刻所观测到的最大值和最小值。如果修改了这个趋势,那么该点就不是极值,反之它就是极值。因此,可以在每个时刻查明对应于前一极值的时刻,在已知采样频率的情况下,可以将该前一极值转换为估计的周期或频率。
该算法的复杂性降低,并从而非常适合于信号周期的预先确定。基于这个估计,确实有可能以最优的方式确定随后在其上执行用于估计参数的处理操作的滑动窗口的尺寸。确实更为相关的是仅考虑对应于进行中的运动的最近的信号周期,而不是考虑会干扰计算的、描述过去且完成的运动的信号。
例如,因为由磁强计产生的信号包括较少波瓣,所以将它们用作第一估计模块EST1的输入。这种Marakov估计通过评估极值的存在,而仅考虑信号趋势的变化。对于每一点,有可能确定与最接近的过去极值的距离。因此,新的极值一出现,就可以借助与前一极值的距离来估计周期。
可以被估计的第二个参数是幅度,也就是说,步伐的长度。类似地,有必要通过使用第二估计模块EST2的精确相关性的结果,或者基于第一估计模块EST1的第一快速估计的Makarov结果,来提取包含所执行的步伐的信号的滑动窗口的尺寸。
借助于由磁强计产生的信号来确定幅度,并且该幅度对应于信号总和的最大值和最小值的差的绝对值:
S是右脚或左脚的磁强计的信号总和:
S(t)=Mx(t)+My(t)+Mz(t)
或者在坐标系变化的情况下是S(t)=Mu(t)+Mv(t)+Mw(t)
第三个参数可以是冲击力,也就是脚跟与地之间的撞击力。这个值直接与传感器的加速度相联系,因此与这些值成比例。
认为结果对应于所执行的步伐期间的加速度的最大值。正如对于幅度一样,因此有必要借助于第二估计模块EST2的精确相关的结果,或者基于第一估计模块EST1的第一快速估计的Makarov结果,来提取对应于所执行的步伐的信号的窗口。
作为加速度信号的范数来简单地进行计算:
运动的另一特性可以是定向。因此,通过最自然地考虑玩家相对于磁北极的定向来使用磁强计的信号。
相关性计算涉及加权窗口。可以选择加权的形式。然而,由于窗口对最近的样本赋予了更大的重要性(significance),所以该形式对性能的影响很小。
最后,取决于传感器的位置,指出传感器的定向的主轴以便仅使用两个信号(例如,沿X轴的左脚和右脚)来计算相关性会是有益的。
也可以应用坐标系的变化,以便确定运动的主轴,并从而自动确定待考虑的主轴,但这个计算会导致额外的复杂性。在这里,实验再次强调了当传感器位于脚的一侧上时,使用相同的X轴可以提供良好的结果,同时保持良好的鲁棒性。
为了例示预先确定行走频率的益处,图8示出了通过使用适应性或非适应性窗口来确定步伐的周期或持续时间的结果。
图8中所示的信号从上到下表示:
-由连接至脚的加速度计所发送的沿X轴的加速度信号;
-作为用于可变窗口尺寸的时间t和迁移τ的函数的相关性函数。位于图像顶部的黑色区域与以适应性方式调整的窗口的尺寸相联系。在这个示例中,其在0.5秒与1.7秒之间变化;
-与实际值相比较的、根据本发明以适应性方式估计的周期;
-作为用于固定窗口尺寸的时间t和迁移τ的函数的相关性函数;以及
-与实际值相比较的、以2秒的固定尺寸窗口估计的周期。
因此,在时刻A、B和C时,发生了从快速行走至缓慢行走的过渡,在第二个曲线中所表示的适应性方案比在第三个曲线中所表示的固定尺寸的窗口的情况更迅速地做出响应。时刻D对应于从缓慢行走至快速行走的过渡,由于信号自身的原因,其区别较为细微,但仍然改进了反应性。由于时刻E显示了在两种行走速度之间的较为温和的过渡期间,利用适应性方案更加平缓,所以时刻E比较有趣。
本发明对于改进实时性的方面尤其有益,并且在视频游戏的情况下,对于改进与各种游戏方式相关的系统的鲁棒性尤其有益。

Claims (10)

1.一种用于实时确定重复形式的运动的周期(PM,Tp)的系统,特征在于其包括:
-第一估计模块(EST1),其用于基于表示所述运动的第一代表性信号(S1),在当前运动结束前,估计所述重复形式的运动的周期的近似值(Tr);
-第一确定模块(DET),用于基于由所述第一估计模块(EST1)所估计的所述周期的所述近似值(Tr)来确定第一滑动窗口的第一尺寸(F);
-第二估计模块(EST2),其用于基于表示所述运动的第二代表性信号(S2)和由所述第一估计模块(EST1)所传送的所述第一滑动窗口的所述第一尺寸(F),借助滑动窗口来精确估计所述运动的周期(Tp);
传感器组件,其适合于固定至执行所述重复形式的运动的元件,以便传送所述信号(S1,S2);
并且其中,所述传感器组件包括至少一个磁强计、和/或至少一个加速度计、和/或至少一个陀螺仪、和/或至少一个压力传感器、和/或至少一个心电图仪、和/或至少一个用于测量呼吸量的流量计、和/或至少一个用于测量呼吸频率的传感器。
2.根据权利要求1所述的系统,其中,所述第二估计模块(EST2)包括基于相关性的计算模块。
3.根据权利要求1所述的系统,还包括:第二确定模块(DET’),用于基于由所述第二估计模块(EST2)所估计的所述周期(Tp)来确定第二滑动窗口的第二尺寸(F’);以及第三估计模块(EST2’),其用于基于表示所述运动的第三代表性信号(S3)和由所述第二估计模块(EST2)所传送的所述第二滑动窗口的所述第二尺寸(F’),借助滑动窗口来精确估计不同于所述运动的周期(Tp)的另一运动周期(PM)。
4.根据权利要求3所述的系统,其中,所述第一确定模块(DET)和所述第二确定模块(DET')包括安全倍增模块。
5.根据权利要求1所述的系统,包括通信接口,其用于对所述运动的进展进行实时通信。
6.根据权利要求5所述的系统,其中,所述通信接口包括视听接口。
7.一种用于实时确定重复形式的运动的精确周期的方法,特征在于其包括以下步骤:
-基于表示所述运动的第一代表性信号(S1),在当前运动结束前,估计所述重复形式的运动的周期的近似值(Tr);
-基于所述近似估计的周期(Tr)来确定第一滑动窗口的第一尺寸(F);
-基于表示所述运动的第二代表性信号(S2)和所确定的所述第一滑动窗口的第一尺寸(F),借助滑动窗口精确估计所述运动的周期(Tp),
其中,所述信号(S1,S2)由固定至执行所述重复形式的运动的元件的传感器组件发送,
并且其中,由所述传感器组件所发送的所述信号源自至少一个磁强计、和/或至少一个加速度计、和/或陀螺仪、和/或压力传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
8.根据权利要求7所述的方法,还包括:基于所述周期(Tp)来确定第二滑动窗口的第二尺寸(F’);以及基于表示所述运动的第三代表性信号(S3)和所确定的第二滑动窗口的第二尺寸(F’),借助滑动窗口来精确估计不同于所述运动的周期(Tp)的另一运动周期(PM)。
9.根据权利要求7所述的方法,其中,通过使用分解为减小的特征值λu、λv和λw,来执行对由具备第一正交坐标系[X,Y,Z]的所述传感器组件所发送的所述信号的坐标系的改变,以在第二正交坐标系[U,V,W]中表示所述第一正交坐标系[X,Y,Z],所述第二正交坐标系的轴U或轴U和V分别对应于所述运动的主轴或主平面。
10.根据权利要求7所述的方法,其中,所述重复形式的运动的精确估计的周期(Tp)的所述实时确定检测所述滑动窗口之上的局部最大值和全局最大值,并选择对应于所述精确周期(Tp)的、最早出现的且其相对于所述全局最大值的偏差小于阈值的最大值,其中所述局部最大值和全局最大值是基本持续时间的倍数。
CN201180009194.6A 2010-02-10 2011-02-10 用于实时确定重复运动参数的系统和方法 Expired - Fee Related CN102792315B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1050913A FR2956229B1 (fr) 2010-02-10 2010-02-10 Systeme et procede de determination en temps reel d'un parametre d'un mouvement de forme repetitive
FR1050913 2010-02-10
PCT/EP2011/051961 WO2011098521A1 (fr) 2010-02-10 2011-02-10 Systeme et procede de determination en temps reel d'un parametre d'un mouvement de forme repetitive

Publications (2)

Publication Number Publication Date
CN102792315A CN102792315A (zh) 2012-11-21
CN102792315B true CN102792315B (zh) 2018-03-06

Family

ID=42610922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180009194.6A Expired - Fee Related CN102792315B (zh) 2010-02-10 2011-02-10 用于实时确定重复运动参数的系统和方法

Country Status (7)

Country Link
US (1) US9341645B2 (zh)
EP (1) EP2534610A1 (zh)
JP (1) JP5934865B2 (zh)
KR (1) KR101700004B1 (zh)
CN (1) CN102792315B (zh)
FR (1) FR2956229B1 (zh)
WO (1) WO2011098521A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method
DE102019216189A1 (de) * 2019-10-21 2021-04-22 Robert Bosch Gmbh Verfahren zum Verkehrsbetrieb einer mobilen Arbeitsmaschine in einem Verkehrsbereich aufweisend mindestens eine Zone mit Kollisionsgefahr mit weiteren mobilen Arbeitsmaschinen

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592051B2 (ja) 1997-10-03 2004-11-24 任天堂株式会社 歩数計
GB9817834D0 (en) * 1998-08-14 1998-10-14 British Telecomm Predicting avatar movement in a distributed virtual environment
US8956228B2 (en) 1999-12-03 2015-02-17 Nike, Inc. Game pod
US6686716B1 (en) * 2001-07-18 2004-02-03 Itt Manufacturing Enterprises, Inc. Tuned open-loop switched to closed-loop method for rapid point-to-point movement of a periodic motion control system
JP3815689B2 (ja) * 2003-11-20 2006-08-30 松下電器産業株式会社 移動物体検出装置及び移動物体検出方法
PT1864505T (pt) * 2005-03-29 2020-05-18 Sportvu Ltd Rastreamento de objetos e captura de movimento em tempo real em eventos desportivos
US8433592B2 (en) * 2005-04-14 2013-04-30 Avraham Y. Goldratt Institute, Lp Method and system for determining buffer inventory size
WO2008011352A2 (en) 2006-07-16 2008-01-24 The Jim Henson Company System and method of animating a character through a single person performance
KR20090082711A (ko) 2008-01-28 2009-07-31 삼성전자주식회사 보행자 항법 시스템에서의 보폭 추정 방법 및 시스템
US8892345B2 (en) * 2011-04-08 2014-11-18 Here Global B.V. Trend based predictive traffic

Also Published As

Publication number Publication date
KR101700004B1 (ko) 2017-01-26
WO2011098521A1 (fr) 2011-08-18
EP2534610A1 (fr) 2012-12-19
US20130073249A1 (en) 2013-03-21
CN102792315A (zh) 2012-11-21
FR2956229A1 (fr) 2011-08-12
US9341645B2 (en) 2016-05-17
JP5934865B2 (ja) 2016-06-15
JP2013527774A (ja) 2013-07-04
FR2956229B1 (fr) 2016-02-19
KR20120128620A (ko) 2012-11-27

Similar Documents

Publication Publication Date Title
US10751561B2 (en) Systems and methods for controlling a self-paced treadmill using predicted subject velocity
US9470705B2 (en) Method and system for determining the walking or running speed of a person
EP2381845B1 (fr) Dispositif, methode et systeme de caracterisation de mouvements d'un pied
US9968840B2 (en) Method and apparatus to provide haptic and visual feedback of skier foot motion and forces transmitted to the ski boot
US9067097B2 (en) Virtual locomotion controller apparatus and methods
US8353749B2 (en) Vehicle tracking system, method and game
EP2333490B1 (en) Multi-sensor monitoring of athletic performance
CN105388495B (zh) 估计体育锻炼中的局部运动
US20050076161A1 (en) Input system and method
US20050119036A1 (en) Input system and method
JP2021503646A (ja) Vr歩行機構及び仮想現実シーンにおける歩行方法
US10271775B2 (en) Determining performance indicators for periodic movements
JP6183716B2 (ja) 運動支援装置及び運動支援方法、運動支援プログラム
CA2668946A1 (en) Electronic game that detects and incorporates a user's foot movement
JP2015217250A (ja) 歩幅測定システム,プログラム,方法及び装置
JP2020515312A5 (zh)
CN102792315B (zh) 用于实时确定重复运动参数的系统和方法
Ben Brahem et al. Use of a 3DOF accelerometer for foot tracking and gesture recognition in mobile HCI
US20220042801A1 (en) Methods and systems for adaptive pedestrian inertial navigation
KR101361165B1 (ko) 코킹 풀림 개선을 위한 피드백 장치 및 방법
Jølstad et al. Validity of the AdMos, Advanced Sport Instruments, GNSS Sensor for Use in Alpine Skiing. Remote Sens. 2022, 14, 22
US11481947B2 (en) Information processing device estimating a parameter based on acquired indexes representing an exercise state of a subject, information processing method, and non-transitory recording medium
JP7155345B1 (ja) 情報処理装置、情報処理方法及びプログラム
Reid et al. Validity of the AdMos, Advanced Sport Instruments, GNSS sensor for use in alpine skiing
JP2024022278A (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180306

Termination date: 20220210