CN109791512A - 足势信息获取,检测及应用的方法和设备 - Google Patents

足势信息获取,检测及应用的方法和设备 Download PDF

Info

Publication number
CN109791512A
CN109791512A CN201780056122.4A CN201780056122A CN109791512A CN 109791512 A CN109791512 A CN 109791512A CN 201780056122 A CN201780056122 A CN 201780056122A CN 109791512 A CN109791512 A CN 109791512A
Authority
CN
China
Prior art keywords
foot
gesture
sufficient
state
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780056122.4A
Other languages
English (en)
Inventor
田昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/283,764 external-priority patent/US10448892B2/en
Application filed by Individual filed Critical Individual
Publication of CN109791512A publication Critical patent/CN109791512A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了用于足势信息获取、检测、和应用的方法和设备。一种方法包括获取与足势特征有关的信息,以及将所获取的与足势特征有关的信息发送到电子设备以进行足势检测。足势特征包括用户的一只脚或两只脚中的每一个的脚指向方向中的一个或多个,用户的一只脚、或双脚的脚触地状态。用户脚触地状态由用户的脚底的一个或多个部分是否接触或按压支撑平台来确定,支撑平台包括地面。

Description

足势信息获取,检测及应用的方法和设备
相关申请的交叉引用
本申请有求专利优先权基于U.S.Provisional Patent Application Nos.62/483,966,递交于2017年4月11日,以及62/470,848,递交于2017年3月13日;以及U.S.PatentApplication Nos.15/331,410,递交于2016年10月21日,以及15/283,764,申请于2016年10月03日,该专利申请要求优先权基于U.S.Provisional Patent Application No.62/394,048,申请于2016年9月13日,以上所有相关专利申请内容在本专利中由其引用指代。
技术领域
本公开涉及信息技术领域、电子产品。更具体的涉及方法和设备用于支持用户足势信息的获取,检测以及应用。
背景技术
由各种传感器获取的用户单脚或双脚的数据常被用于收集用户运动信息以支持各种健康相关应用,如智能手机健康相关应用程序。然而户足势检测,以及通过用户足势实现设备控制以及用户与设备、用户与应用之间的交互的功能尚未被有效开发。目前对如电脑,智能手机,游戏机等电子设备控制操作方式集中于用户手的操作。常用的手部控制输入设备包括键盘、鼠标、游戏操纵杆、触摸屏、多点触控触摸屏/触摸板等。
其中,支持多触点检测的输入设备,例如多点触摸屏,可以获取用户手指触摸点的坐标信息和移动信息。这些信息被用于支持基于用户手势的设备、应用控制以及用户与设备及应用的交互。对应于多点触摸输入设备和用户手势检测技术,本发明描述一整套解决方案适用于各种用户足势的检测以及基于用户足势的设备及应用控制和设备及应用交互。该套解决方案包括1)用户足势特征信息获取设备及相关方法,2)应用用户足势特征信息进行用户足势检测的方法,以及使用以上方法进行足势检测,并实现基于足势的用户与设备/应用交互的设备。
用户手触点的坐标是支持手势检测的关键信息,对应的,支持用户足势检测的足势特征信息包括用户单或双脚的脚指向信息、用户单或双脚的触地状态(脚触地状态由单或双脚脚底的多个区域的触地(或支撑平台)的状态决定)。足势特征信息还可包括用户单或双脚的脚倾角,以及脚移动轨迹状态相关的各种特征。对应于多点触摸屏或触摸板作为支持手势检测的输入设备,足势特征信息获取设备是配置为支持获取各种单或双脚足势特征信息相关信息的设备。本发明中描述的罗盘传感器嵌入式鞋类系统是足势特征信息获取设备的一个实例。
发明内容
本公开的一个方面提供了一种方法,包括与足势特征相关信息的获取,以及将所获取的与足势特征有关的信息发送到用于足势检测的电子设备。足势特征包括单脚或双脚的脚指向方向,用户的一只脚的触地状态,或用户双脚的触地状态。脚触地状态由用户脚底的一个或多个部分是否接触或按压包括地面的支撑平台决定。
本公开的另一方面提供了一种方法,包括:从足势特征信息获取设备接收与足势特征有关的信息;使用所接收的信息获取足势特征;使用获得的足势特征检测足势;并基于检测到的足势生成控制信号。
本公开的另一方面提供了一种信息获取设备。信息获取设备包括信息获取组件和通信组件。信息获取组件被配置为获取与足势特征有关的信息,足势特征包括用户的一只脚或两只脚中的每一个的脚指向中的一个或多个,用户的单脚的触地状态,或用户双脚的触地状态。脚触地状态由用户的脚底的一个或多个部分是否接触或按压支撑平台来确定,支撑平台包括地面。通信组件被配置为将所获取的与足势特征有关的信息发送到电子设备以进行足势检测。
本公开的另一方面提供了一种电子设备。电子设备包括信息接收器,足势检测器和命令生成器。信息接收器被配置为从信息获取设备接收与足势特征有关的信息。足势检测器被配置为使用所接收的信息获得足势特征,并使用所获得的足势特征来检测足势。命令生成器被配置为基于检测到的足势生成控制信号。
一种非暂时性计算机可读存储介质,存储计算机可执行指令,当被执行时,一个或多个处理器以执行所公开的方法。
附图说明
以下附图仅是根据各种公开的实施例的说明性目的示例,并且不旨在限制本公开的范围。
图1示出了根据本公开的各种实施例的示例性罗盘传感器嵌入式鞋类系统。该系统是足势特征信息获取装置的实施例;
图2示出了在图1中的罗盘传感器嵌入式鞋类系统中使用的示例性控制通信单元,根据图1的本公开的各种实施例;
图3示出了根据本公开的各种实施例的另一示例性罗盘传感器嵌入式鞋类系统;
图4示出了在图1中的罗盘传感器嵌入式鞋类系统中使用的示例性电源-控制-通信单元,根据图3的本公开的各种实施例;
图5示出了根据本公开的各种实施例的另一示例性罗盘传感器嵌入式鞋类系统;
图6示出了在图1中的罗盘传感器嵌入式鞋类系统中使用的示例性电源-控制-通信-罗盘单元,根据本公开图5的各种实施例;
图7示出了根据本公开的各种实施例的多个鞋底区域处的压力传感器的布置示例
图8示出了根据本公开的各种实施例的用户的本地东北(N-E)坐标系,罗盘传感器的参考X-Y 2维(2D)坐标系和脚方向矢量之间的关系示例;
图9示出了根据本公开的各种实施例的在数据采样时间罗盘传感器嵌入式鞋类系统中的左和右脚测量信息集示例。
图10示出了根据本公开的各种实施例在数据采样时间处理处获得压力传感器测量值以获得脚底区域触地状态检测结果,脚触地检测结果(即单脚触地状态)和用户脚触地检测结果(即双脚触地状态);
图11示出了根据本公开各种实施例的通过融合来自双脚的足方向矢量而获得的用户前向方向矢量VFWD
图12示出了根据本公开的各种实施例的左脚和右脚方向矢量的联合处理和融合以及压力传感器测量导出用户前向方向矢量VFWD
图13示出了根据本公开各种实施例的罗盘传感器嵌入式鞋类系统中在每一数据采样时间的信息处理流程;
图14示出了根据本公开各种实施例的示例性系统工作配置,包括罗盘传感器嵌入式鞋类系统和(外部)电子设备;
图15示出了根据本公开各种实施例的包括罗盘传感器嵌入式鞋类系统和(外部)电子设备的另一示例性系统工作配置;
图16示出了根据本公开的各种实施例的另一罗盘传感器嵌入式鞋类系统示例;
图17示出了根据本公开的各种实施例的另一罗盘传感器嵌入式鞋类系统和由磁源创建的人造参考磁场的示例;
图18示出了对应于脚底不同区域接触(按压)地面的双脚触地状态
图19示出了以(固定的)当地北指向为参考的左脚和右脚指向方向
图20示出了左脚指向踏地足势
图21示出了右脚指向踏地足势
图22示出了一组双脚仅基于触地状态的足势,该组足势能够替换用于向上,向下,向左和向右控制的方向按钮的功能。
图23示出了一组能够替换操纵杆功能的双脚指向踏地足势
图24示出了足势检测的处理流程
图25示出了脚倾斜角度的概念
图26示出了使用罗盘传感器单元105/205中的3轴加速度传感器的测量值来评估脚部倾斜角度;
图27示出了使用具右脚倾角信息作为附加“强度”参数的指向踏地足势用于驾驶游戏中用于加速和制动控制;
图28示出了在本地静止(固定的/非旋转)3D坐标系中脚倾斜角度γLR(1001/1002)、2D脚指向方向矢量VLF/VRF(701/702)和3D脚指向方向VLF3D/VRF3D(1003/1004)之间的关系;
图29示出了在示例传感器放置配置中脚倾斜角度γLR(1001/1002)的变化与陀螺仪传感器的x轴旋转角度之间的关系
图30示出了在任一采样时间当用户的脚移动或静止时用于估计脚倾角γLR(1001/1002)的处理流程。
图31示出了在示例传感器放置配置中3D脚指向方向(1003/1004)的变化与陀螺仪传感器的Z轴旋转角度之间的关系
图32示出了在任一采样时间当用户的脚在移动或静止时用于推导(估计)脚指向方向信息的处理流程,即脚指向方向矢量VLF/VRF(701/702)或脚指向角ωLR(707/708)
图33示出了3D脚移动轨迹(1008/1009)和脚移动轨迹状态的概念。
图34示出了在任一采样时间用于估计脚移动轨迹(状态)的处理流程。
具体实施方式
本发明描述了一套完整的方法和设备,用于i)获取各种用户足势特征信息,ii)使用一系列足势特征检测各种用户足势,以及iii)支持基于足势的用户设备、应用程序控制以及交互。正如用户的手触摸点的坐标为支持用户手势检测的关键输入信息,一系列足势特征信息可用于支持各种足势的检测。这些足势特征包括两个基本类型的足势特征,即用户的一只脚或两只脚的指向方向,以及由用户脚底的多个触地区域的触地(地面或任何支撑面)状态确定的脚触地状态。其它的足势特征还包括来自用户的一只脚或两只脚的脚倾斜角度以及各种脚移动轨迹状态相关的特征。对应于多点触摸屏或多点触摸板作为支持用户手势检测的关键输入设备,足势特征信息获取设备用于获取与各种用户足势特征相关的信息,包括用户脚指向,用户脚触地状态,以及其它足势特征包括用户脚部倾斜角度,用户脚部移动轨迹状态相关特征等。
本发明中公开的方法和设备支持在各种电子设备(包括计算机,智能电话,游戏控制台,虚拟现实设备等)中检测各种用户足势和基于足势的设备、应用程序控制和交互。
做为足势特征信息获取设备的一个实施例,本发明公开了一种罗盘传感器嵌入式鞋类系统。上面提到的与足势检测相关的各种足势,足势特征和其它概念将与罗盘传感器嵌入式鞋类系统一起被详细地定义和解释。
现在根据参考在附图中详细解释本公开的示例性实施例。在下文中,将参考附图描述与本公开的实施例。尽可能的在所有附图中将使用相同的标记来表示发明中相同或相似的部分。显然,所描述的实施例是本公开的一些但不是全部实施例。基于所公开的实施例,本领域普通技术人员可以得出与本公开一致的其它实施例,所有这些实施例都在本公开的范围内。
作为足势特征信息获取装置的一个实施例,本发明提供一种罗盘传感器嵌入式鞋类系统及方法,以实现其作为足势特征信息获取装置的功能。示例性的罗盘传感器嵌入式鞋类系统可包括一只鞋或一双鞋对应于用户双脚,包括左鞋和右鞋。每只鞋包括罗盘传感器(即,能够在其自己的参考2D坐标系统中提供北方向的方向/方向角度测量的传感器)以提供脚方向信息;两个压力传感器,用于在设计的鞋底区域获得压力测量值以获得用户脚触地状态,和/或控制-通信单元以及电源模块以支持系统工作并将获得的与足势特征相关的信息发送到到其他电子设备。
在一些实施例中,在罗盘传感器嵌入式鞋类系统中使用的鞋类可包括鞋底和鞋体。在其他实施例中,在罗盘传感器嵌入式鞋类系统中使用的鞋类可以仅是鞋底(垫),例如鞋垫。例如,鞋类可以是具有鞋底和鞋体的鞋。在另一个示例中,鞋类可以是鞋底,例如鞋内垫,作为可以放置在任何鞋中的单独层。
通过使用所公开的罗盘传感器嵌入式鞋类系统,可以获得与各种足势特征相关的信息(包括足势特征信息和用于导出足势特征的信息),并将其分发给使用来自罗盘传感器嵌入式鞋类系统的信息的电子设备,例如计算机,智能手机,游戏机等。利用来自罗盘传感器嵌入式鞋类系统的信息,足势特征包括脚指向,脚触地状态和其他足势特征,包括脚倾斜角度,脚移动轨迹状态相关特征,可能在电子设备进行或不进行进一步处理的情况下获得。
根据本公开,在一个实施例中,来自用户脚和/或用户方向信息以及一系列足势信息可被有效地提供给诸如智能电话,平板电脑,游戏控制台,计算机等,用于在模拟的虚拟世界中,例如在游戏应用程序和其他类型的应用程序中,实现自然的无需手操作的用户体验导航控制体验。在一个实施例中,基于本公开的产品是能够用于计算机,智能电话,平板电脑,游戏机等的新型脚穿戴输入设备。
在本文中,术语“脚方向信息”指的是操作中的脚指向的方向。术语“脚方向信息”和“脚指向信息”可以在本公开中互换使用。
如本文所使用的,术语“足势”可以包括简单的足势,例如单/双脚踏地,以及复杂的足势,例如步行,跳跃,跑步等。
图1示出了根据本公开的各种实施例的罗盘传感器嵌入式鞋类系统示例的组件。图1中所示的罗盘传感器嵌入式鞋类系统包括:图1所示的鞋类可包括左鞋和/或右鞋。左鞋/右鞋可包括鞋体和鞋底。尽管未在图1中示出,图1所示系统中的所有部件可以配置在鞋内底中。
在各种实施例中,两个压力传感器102和107可以在对应于人左脚底部的位置处嵌入左鞋底106中。例如,压力传感器107可以定位在左脚底的前部(或前脚掌中部)的中部对应的位置处,标记为鞋底区域A;压力传感器102可以定位在左脚底的脚后跟部分的中心位置处,标记为区域B。
在各种实施例中,两个压力传感器202和207可以在对应于人右脚底部的位置处嵌入右鞋底206中。例如,压力传感器207可以定位在右脚底的前部(或脚掌中心)的中心对应的位置处,标记为鞋底区域C,压力传感器202可以定位在右脚底的鞋跟部分(或鞋跟的中心)的中心,标记为鞋底区域D。
在各种实施例中,罗盘传感器105/205可以嵌入左/右鞋底106/206中或者安装在左/右鞋的外表面上,相对于左/右鞋底106/206在固定位置并且具有固定方向。放置罗盘传感器105/205,使得当左/右鞋底106/206在水平位置基本上水平时,罗盘传感器105/205处于正常操作。
罗盘传感器105/205可以是2轴数字罗盘。或者罗盘传感器105/205可以是3轴数字罗盘,特别是当罗盘传感器倾斜而不是水平位置时。
罗盘传感器的工作依赖于地球磁场。在弱地球磁场环境中,罗盘传感器可能无法产生准确的读数,这将影响罗盘嵌入式鞋类系统的性能。在这种情况下,如图2所示。通过将一个或多个人造磁源602加置于罗盘嵌入鞋类系统工作区域以产生人造磁场,使得罗盘传感器可以相对于人工磁场方向准确的方向测量。
在各种实施例中,控制通信单元103/203和电池模块104/204可以放置在左/右鞋106/206内或外表面上,以支持左/右鞋的操作及与外部设备例如智能手机,计算机,游戏机等的通信。
控制通信单元103/203,电池模块104/204,罗盘传感器105/205和压力传感器102,107/202,207与左/右鞋内部的电线连接,用于提供电源、控制和通信。
图2还示出了控制-通信单元103/203组件,包括处理器模块301和无线通信模块302,例如蓝牙通信模块。
对于罗盘传感器嵌入式鞋类系统,可以将包括电池模块104/204,控制通信单元103/203和罗盘传感器105/205的各种不同配置或布置。以在系统性能,鞋类外观和穿着舒适度之间提供不同的权衡。
在第一类部件布置配置,或部件配置1中,电池模块104/204,控制通信单元103/203和罗盘传感器105/205都嵌入鞋中,例如鞋底106/206中。在这种配置中,充电入口101/201可以设置在鞋上,鞋底或鞋体上。在一些实施例中,电池模块可以是无线充电的。在这种情况下,充电入口101/201为可选项。
图1中组件布置示例对鞋的外观影响最小。然而,将所有组件隐藏在鞋体内可能在每次充电的操作时间和鞋类穿着舒适度方面对系统产生负面影响。
部件布置配置1可以允许鞋类系统具有如图1所示鞋子的形式。尽管如图1中未示出,但部件布置1可适用于鞋垫。
图2中示出了第二类组件布置配置,或组件布置配置2。在该配置中,电池模块和控制通信单元放置在鞋类的外表面上,例如,附着在鞋的外表面和/或鞋类的鞋底。
在具有组件布置配置2的各种实施例中,电池模块104/204和控制-通信单元103/203可以组合为单个电源-控制-通信单元108/208,如图4所示。单个电源-控制-通信单元108/208可以安装在鞋类的外表面上。电源-控制-通信单元108/208通过在左/右鞋内部延伸的电缆109/209连接到左/右鞋中的传感器,用于供电,控制和通信。
在根据组件配置2的各种实施例中,电源-控制-通信单元108/208可以使用适当的连接器或夹子实现可拆卸以及可重新安装。
组件配置2可以允许将左/右鞋分成两部分。一部分是单独的鞋垫层,包含压力传感器和罗盘传感器。另一部分是电源-控制-通信单元。鞋的两个部分可以通过适当的连接器和电线连接,用于电源,控制和通信。注意,电源-控制-通信单元中没有任何传感器,并且具有最低安装要求,这为其放置提供了最大的灵活性。它可以用适当的固定装置连接到鞋体,脚踝,小腿或使用者的任何部位,或者可以放入口袋中,只要与传感器进行适当的连接即可。
组件布置2可能对鞋的外观有一定的影响。然而,在鞋外部安装电源、通信、和控制的部件可以改善系统性能,例如每次充电的使用时间,以及鞋的穿着舒适度。该组件布置所允许的电源-控制-通信单元的可拆卸的特征还可以使充电,通信配对和维护过程更容易,以改善用户体验。并支持使用相同的左/右电源-控制-通信模块于不同的左/右鞋类系统。
图5中示出了第三类型的组件布置示例,或组件布置配置3。在该配置中,电池模块,控制通信单元和罗盘传感器放置在鞋的外表面上。
在具有组件布置配置3的各种实施例中,电池模块104/204,控制通信单元103/203和罗盘传感器105/205被组合成一个电源-控制-通信-罗盘单元110/210。图6中所示的电源-控制-通信-罗盘单元110/210可安装于鞋的外表面。电源-控制-通信-罗盘单元110/210通过在左/右鞋内部延伸的电缆109/209连接到左/右鞋中的压力传感器,用于供电,控制和通信。
在具有部件放置配置3的各种实施例中,电源-控制-通信-罗盘单元110/210可以是可拆卸的并可使用适当的连接器或夹子可重新连接到左/右鞋。可拆卸的电源-控制-通信-罗盘单元110/210也可以与不同的左/右鞋一起使用。
部件布置配置3可以允许将鞋分成两个部分。一部分是单独的鞋底层,仅包含压力传感器。另一部分是电源-控制-通信-罗盘单元,与鞋(例如,包括鞋体和鞋底)连接。鞋的两个部分可以通过适当的连接器和电线连接,用于电源,控制和操作。注意,电源-控制-通信-罗盘单元可以安装于用户的身体部位,例如用户的脚踝,只要电源-控制-通信-罗盘单元在安装时具有相对于鞋底的固定方位即可。
与部件布置配置2相比,部件布置配置3仅将两个压力传感器留在鞋底内而进一步改善罗盘传感器嵌入式鞋类系统的佩戴舒适度。鞋底可以是单独的鞋垫,或者可以是鞋底。然而,该配置要求电源-控制-通信-罗盘单元110/210安装在对于鞋底106/206的固定方位,并且集成的罗盘传感器105/205可正常工作。
本公开的系统包含左右鞋类系统获取信息的新颖组合使用。利用罗盘传感器,可以在用户的本地东北坐标系中获得用户的脚指向方向,或称为脚方向信息。压力传感器能够在设定的用户脚底区域提供压力测量。与压力测量结合使用,脚部方向信息可以提供关于用户的目标移动方向的信息,并且支持复杂的足势检测。来自罗盘传感器嵌入式鞋类系统的脚和/或用户方向信息和足势检测结果可支持各种游戏应用和用于控制的其他类型的应用。尤其是实现虚拟世界中的无需用手的方向控制,以提供独特的用户体验。
例如,参照双脚的轮廓图7示出了在四个设计的鞋底区域处的压力传感器的布置,以及相应的左脚方向矢量和右脚方向矢量。
如图7所示,压力传感器的位置,即设计的鞋底区域A,B,C和D,相对于左右鞋底的轮廓的位置。鞋底区域A对应于左脚的前部(或脚掌的中心)的中心。鞋底区域B对应于人左脚跟部(或鞋跟部中心)的中心。鞋底区域C对应于右脚的前部(或脚掌中心)的中心。鞋底区域D对应于人右脚的鞋跟部分(或鞋跟的中心)的中心。在任一数据采样时间,来自压力传感器102,107,202和207的压力测量值可分别表示为PA,PB,PC和PD
图7还示出左脚的脚方向矢量VLF(701)和右脚的方向矢量VRF(702),当用户穿着鞋子时脚方向矢量与相应的脚指向的方向一致。
图8示出了用户的本地东北(N-E)坐标系,罗盘传感器自己的参考X-Y 2D坐标系和脚方向矢量之间的示例性关系。在图8中,N轴对应于用户的本地北方向,E轴对应于用户的本地东方向。Y轴对应于罗盘传感器的参考2D坐标轴Y.X轴对应于罗盘传感器的参考2D坐标轴X.角度θLR(705/706)是从北轴N到Y轴的角度,它可以从罗盘传感器测量中获得。
矢量VLF或VRF对应于左/右脚的脚方向矢量701/702。角度βLR(703/704)是从罗盘的参考坐标系的Y轴到左/右脚方向矢量701/702的角度。一旦罗盘传感器105/205以相对于左/右鞋底106/206安装方位固定,βLR(703/704)是固定的并且可以容易地测量/获得。角度ω是角度θ和角度β的和,它是用户在当地东北(N-E)坐标系中的脚(鞋)指向方向角,即从当地北(N)轴到脚方向矢量的角度。对于左脚,脚指向方向角度表示为ωL(707),而对于右脚,脚指向方向角度表示为ωR(708)。对于每只脚,本地处理器301能够从罗盘传感器获得θ(705/706),然后利用预先获得的β(703/704)值评计算在本地东北2D坐标系中的脚指向方向角ω(707/708)。
图9总结了罗盘传感器嵌入式鞋类系统中的测量以及推导的测量的流程。采样时间间隔表示为901。采样间隔不必是均匀的。图3中所示的均匀采样时间间隔,图9仅用于说明目的。在每个数据采样时间,左/右鞋的罗盘传感器单元(105/205)提供θLR测量值(705/706)。该测量值与预先获得的βLR(703/704)用于获取本地NE坐标系中的ωLR(707/708)。左鞋的压力传感器(107和102)在相应的鞋底区域提供压力测量值PA和PB。右鞋的压力传感器(207和202)在相应的鞋底区域提供压力测量PC和PD。在每个采样时间,所获得的ωL707/ωR 708和压力测量值(PA,PB)/(PC,PD)形成左/右鞋测量信息集。
在任一数据采样时间,通过压力测量值PA,PB,PC和PD可获得用户(脚)触地检测结果,即用户脚触地状态。图10示出了基于压力测量PA,PB,PC和PD导出的用户脚部触地状态的一个示例。其他方法也可用于从压力传感器测量导出用户脚触地状态。如图10所示,首先将来自每个传感器的压力测量值与预设阈值进行比较,在该阈值水平之上,判断相应鞋底区为接触。对应于左脚或右脚的传感器测得的鞋底区域接触检测结果经过组合可以得到脚触地检测结果。如图10所示,对于每只脚,脚踏/触地检测结果,即单脚触地状态,可以落入四个可能的结果集合中。左脚检测结果标示为{},{A},{B}和{AB}。右脚触地状态检测结果标记为{},{C},{D},{CD}。结合双脚的触地检测结果,可以获得在数据采样时间用户脚触地检测结果,即双脚触地状态。双脚触地状态具有16种可能的结果,对应于图10所示16种双脚触地状态,从{}(无触地)至{A B C D}(全触地)。用户的单脚和双脚触地状态是支持各种用户足势的检测的基本足势特征。在本公开的一些实施例中,用户的脚触地状态由用户的脚底的前部和用户的脚底的脚后跟部是否接触/按压包括地面在内的支撑表面/平台来确定。
使用来自罗盘传感器单元(105/205)的测量获得的脚指向方向角ωL(707)和ωR(708)提供在共同的当地东-北NE坐标系中脚方向信息或脚指向方向,并可以进一步融合以获得用户方向信息。注意,罗盘传感器单元(105/205)可以是罗盘传感器,或者是传感器组件包括罗盘传感器的罗盘以及其它传感器如加速度传感器。这些传感器可组合于同一个物理平台。图11示出了ωL(707)和ωR的融合以获得融合的用户(前向)方向矢量VFWD 709,以得到关于佩戴者(用户)想要的移动方向的信息。融合的用户方向信息可以作为有价值的用户信息/控制提供给在通过无线通信链路连接到所公开的系统的外部设备(例如,计算机,游戏控制台和/或智能电话)上运行的其他应用程序。
如图11所示,脚指向方向角ωL(707)和ωR(708)可以在当地N-E坐标系中被转换为脚方向矢量VLF(701)和VRF(702)。作为示例,图10示出了一种可用VLF(701)和VRF(702)的矢量和获得VFWD(709)简单方法。用于导出VFWD(709)的其他方法可以使用压力测量值PA,PB,PC和PD。因为当用户对每只脚施加不同的压力时,具有更多压力的脚的指向方向承载关于VFWD的更多信息。例如,当用户站立在一只脚上时,他或她的自然运动方向主要由站立脚的指向方向决定。
导出的用户(前向)方向矢量VFWD 709还可以用作足势特征以支持新类型的足势检测。
图12示出了获得VFWD(709)的信息处理流程。首先,从左和右鞋类系统测量信息组中,脚指向方向角ωL(707)和ωR(708)被转换为当地N-E坐标系中的脚方向矢量VLF(701)和VRF(702)。然后,所得的VLF(701)和VRF(702)以及压力测量值PA,PB,PC和PD,可合成得到用户(前向)方向矢量VFWD。例如,一种处理方法可以是:
其中τ1是压力水平阈值。如果某只脚上的总压力值低于τ1,则不应使用相应的脚方向矢量进行评估。
根据具体应用,可使用其它计算用户方向信息的方法。在本公开中,联合使用来自指定脚底区域处的压力传感器的测量值、以及来自罗盘传感器单元(105/205)的脚指向方向信息,可得到有价值的用户(运动)方向信息。
图13总结了在罗盘传感器嵌入式鞋类系统的实施例中在任一数据采样时间的信息处理流程。处理流程从左脚鞋和右脚鞋的测量采样开始,如步骤801和步骤802所示,其中从左/右脚鞋的罗盘传感器单元105/205读取罗盘测量值θL 705/θR 706。在步骤801/802中,从左/右脚鞋压力传感器(102,107)/(202,207)读取压力测量值(PA,PB)/(PC,PD)。
在步骤803/805中,利用预先获得的βLR 703/704)以及来自步骤801/802的罗盘测量值θLR(705/706),获得ωLR(707/708),即当地东北2D坐标系中的左/右脚指向方向角。
在步骤804/806中,根据图10方法处理来自步骤801/802的压力测量值(PA,PB)/(PC,PD),以获得左/右脚触地检测结果。注意步骤804/806是可选的,因为在之后的步骤809中也可以执行相同的处理。
步骤807/808中,将来自步骤803/805和804/806的结果组合以获得在每个采样时间左/右鞋类的测量信息集,包括来自步骤803/805的ωLR(707/708),(PA,PB)/(PC,PD)和/或来自步骤804/806的左/右脚触地检测结果。
通过执行步骤809和811,来自步骤807的左脚鞋测量信息和来自步骤808的右脚测量信息集合在一起并联合处理以进行足势检测。
当步骤807和/或808不包括用户左/右脚触地检测结果,在步骤809中,根据步骤807的左脚鞋的压力测量值(PA,PB)和来自步骤808的右脚鞋的(PC,PD)测量值获得当前数据采样时间的用户触地检测结果。当步骤807和808提供左脚和右脚触地检测结果时,在步骤809中整合左脚、右脚触地检测结果以获得用户触地检测结果。
在步骤811中进行用户足势检测。足势检测可基于来自步骤809的当前和历史的用户触地测结果,来自步骤807和808的脚指向方向角度ωL(707),ωR(708)(可由本地NE坐标系中的方向矢量VLF(701)和VRF(702)转换获得),和/或来自步骤807和808的压力传感器测量值PA,PB,PC和PD
通过执行步骤810和812,将针对左鞋的步骤807设置的测量信息和针对右鞋的步骤808设置的测量信息集合在一起并联合处理以获得融合的用户方向信息,例如VFWD(709)。
在步骤810中,可以将来自步骤807和808的脚指向方向角度ωL(707)和ωR(708)转换为当地NE坐标系中的对应脚方向向量VLF(701)和VRF(702)。
在步骤812中,来自步骤810的本地NE坐标系中的脚方向矢量VLF(701)和VRF(702)以及来自步骤807和808的压力传感器测量值PA,PB,PC和PD进一步融合。根据为不同类型的应用设计的各种融合方法,获得用户方向信息,例如VFWD
在步骤813中,来自步骤811的足势检测结果和来自步骤812的用户方向信息被发送到外部(电子)设备中运行目标应用。
注意,图13所示的罗盘传感器嵌入式鞋类系统的处理流程包括中,获取两种基本类型的足势特征的信息,即用户脚指向方向和用户脚触地状态。该处理流程可以扩展加入与其他类型的足势特征相关的信息。还要注意,步骤811涉及足势检测,该功能可以由罗盘传感器嵌入式系统或者具有更多处理能力的外部电子设备来完成。
这样,通过执行步骤809,810,811和812,用于足势检测和用户方向信息提取的信息处理过程需要来自双脚的数据和信息的联合处理。因此,来自左鞋和右鞋的数据和信息需要集中在一起在同一处进行处理。可以使用两种类型的系统操作配置来解决该问题,例如,如图14-15中所示配置。
图14示出了包括罗盘传感器嵌入式鞋类系统和外部电子设备的示例性系统操作配置,其中左鞋和右鞋均与外部设备同时通信。
在图14所示的示例性系统操作配置中,左脚和右脚信息的联合处理,例如图13中的步骤809-812,在外部(电子)装置处完成。左脚鞋类系统鞋和右脚鞋类系统同时连接到该外部(电子)装置。在该配置中,来自左、右脚鞋的如图9所示鞋类系统测量信息集以及图10所示教触地检测结果通过无线链路发送到外部设备。之后的进一步信息融合和足势检测处理由在外部设备的软件驱动程序完成。
图15示出了当罗盘传感器嵌入式鞋类系统与外部装置一起工作时的另一示例性系统操作配置,其中一只脚(例如,左脚)的鞋被配置为主鞋,而另一只脚的鞋(例如,右脚))配置为从属。
在图15所示的示例性系统操作配置中,左脚和右脚信息的联合处理,例如图13中的步骤809-812。在作为主设备的左(或右)鞋上完成。另一只鞋作为从属设备。主设备和从设备通过无线通信链路,例如蓝牙链路,连接。在任一采样时间,从设备发送其本地如图9所示测量信息集,和/或如图10所示用户脚触地检测结果到主设备。左脚和右脚信息的联合处理可在主设备进行。主设备具有与外部设备的另一无线通信连接,通过该连接,主设备可以接收来自外部设备对罗盘传感器嵌入式鞋类系统的控制信息。并且,用户脚方向信息,用户方向信息和/或足势检测结果可以通过该无线连接发送到外部设备。
如图14和15所示的不同系统操作配置中,关于足势特征(例如,双脚触地状态)的信息的推导可以在足势特征信息获取设备(诸如罗盘传感器嵌入式鞋类系统)完成(图15所示情况),或者在使用足势特征信息的电子设备上完成图14的情况)。
因此,足势特征信息获取设备获得与足势特征有关的信息并将该信息发送到某电子设备。与足势特征相关的信息可以是足势特征,即与足势特征直接相关的信息,或者用于导出足势特征所需的信息,即与足势特征间接相关的信息。
本公开能够获得丰富的用户脚的动作与足势特征信息。这类信息无法从现有的基于手操作的系统获得。来自本公开的输出可以用于设备控制,视频游戏应用,交互式3D程序和虚拟现实应用,以支持模拟虚拟世界中的无需手操作的导航。
以上详细描述仅说明了本发明的某些实施例,并且不旨在限制本发明的范围。本领域技术人员可以理解本说明书,并且将各种实施例中的技术特征可以组合应用到其它实施例中。在不脱离本发明的原理的情况下,任何等同或其修改都属本发明的范围。
注意,图1、图3、图5中所示罗盘嵌入式鞋类系统的所有部件仅为示例。并且仅需要基本的一组传感器来实现公开的提供的用户/脚方向信息和足势检测功能。注意图1、图3、图5中的组件可以省略,修改。更多组件可添加到图1、图3、图5所示示例系统中。例如,任何数量的任何类型的组件,包括附加传感器,例如更多压力传感器,弯曲传感器,GPS传感器,心率传感器,陀螺仪,加速度计,触觉部件等可以加入罗盘嵌入式鞋类系统中以提供附加功能,或者用于替换系统中的部件。上述附加组件或传感器可以与控制通信单元103/203连接,以提供电源,控制和通信支持。例如,如图1部件配置1,附加部件可以嵌入鞋中;或者如图3所示部件配置2,附加部件(压力传感器除外)可以集成到电力控制通信单元108/208中;或者如图5所示部件配置3,附加部件(压力传感器除外)可以集成到电力控制通信罗盘单元110/210中。
在示例实施例中,每个鞋类系统,左鞋或右鞋,可包括两个或更多个压力传感器。图16示出了另一种实施例,当图1、图3或图5中的四个压力传感器中的每一个压力传感器由一组压力传感器代替。在这种情况下,可以基于来自相应的压力传感器组的读数导出每个对应区域的压力测量值,即PA,PB,PC或PD。例如,PA、PB、PC、PD可由对应于用户左脚前部、左脚根部、右脚前部、右脚根部的压力触感起组中相应压力传感器读数之和得出。
除了提供PA,PB,PC或PD测量之外,如图16所示压力传感器组,还可提供详细的用户脚底压力分布信息。压力分布信息可用于支持更复杂足势检测。例如,压力分布信息可用于区分用户的脚是使用左/右鞋的内侧、还是使用左/右鞋的外侧、或整个左/右鞋来按压地面。
除了两组压力传感器之外,更多的压力传感器可置于左/右脚的其余区域。这些传感器构成第三组压力传感器,与前两个压力传感器组一起,供整个左/右脚底的详细的压力分布信息。脚底压力分布信息可用于支持检测新类型的足势。
基于上面的讨论,在左/右鞋中可以配置多个,例如两个和两个以上的压力/力传感器。
例如,可将弯曲传感器,如电阻的弯曲传感器,加到罗盘嵌入式鞋类系统,以提供关于脚底的弯曲状态的附加信息,用于检测新类型的足势。电阻弯曲传感器可以与控制-通信单元连接。
运动传感,包括陀螺仪(角速率)传感器,加速度计和陀螺仪加速度传感器组合可以添加到罗盘嵌入式鞋类系统中,以提供诸如脚加速度信息和角速度信息。注意,虽然通过比较在不同时间罗盘传感器的测量值来间接检测脚部运动,但是罗盘传感器与运动传感器不同,因为罗盘传感器仅提供方向信息。这里运动传感器可以指代单独的传感器,例如陀螺仪和/或加速度传感器,以及用于检测运动的多种类型的传感器组合。运动传感器可以放置在鞋类的内部或外部,并且通过电线适当地连接以提供电源、控制和通信功能。与罗盘传感器一样,运动传感器通常布置成相对于脚底具有固定的方向。运动传感器相对于罗盘传感器具有固定的方向。来自运动传感器的信息,例如陀螺仪传感器和/或加速度计,能够检测和表征用户的脚部运动,并且可以用作新的足势特征或用于导出其他足势特征信息以结合来自罗盘传感器的脚部方向信息从而支持新类型的足势检测。例如,对于足势检测,来自运动传感器(例如陀螺仪传感器和加速度传感器)的信息可以与来自罗盘传感器的脚部方向信息联合使用,以支持检测各个方向上的快速和/或慢速踢腿动做。作为另一个示例,加速度计通常用于支持3轴罗盘传感器,其中来自加速度计的足部滚动和俯仰角测量可以与来自3轴罗盘传感器的测量结合用于倾斜补偿。具有倾斜补偿的罗盘传感器能够在倾斜的位置提供更准确的读数。
事实上,加速度传感器和陀螺仪传感器对于罗盘传感器嵌入式鞋类系统有重要作用,支持提供稳定和精确的脚指向方向信息,以及准确检测脚指向方向的突然变化。这是因为,由于用户的脚位置变化和各种脚的运动,罗盘传感器单元105/205的位置不会保持在与地面水平的位置。在倾斜的位置,单独的2轴或3轴罗盘传感器无法提供准确的方向信息,因为在倾斜位置,磁场在传感器各轴上投射不同。需要使用3轴加速度传感器的信息进行倾斜补偿,以得到罗盘传感器处于水平位置时应获得的测量结果。
另一方面,对3轴加速度计测量进行倾斜补偿仅在传感器相对静止时有效。在这种情况下x,y和z轴上的加速度传感器测量可用于导出传感器平台准确的倾角信息(滚动和俯仰角)。当用户脚明显移动(例如脚摆动运动)的情况下,来自3轴陀螺仪传感器的测量可有效的用于推导用户脚指向方向角。陀螺仪传感器可提供传感器平台的绕3轴转动的角速率信息。取决于传感器相对于用户脚的位置,在x,y和z轴某一个轴上的角速率测量值、或者所有3个轴的陀螺仪测量值的特定组合可以有效地用作用户脚指向方向的转动速率。通过脚指向转动速率,脚指向的变化可以通过随时间的积分有效地获取;并且用户脚指向方向可以由所得脚指向方向变化导出。
总之,当用户的脚没有显著移动时,3轴罗盘传感器和3轴加速度计一起作为具有倾斜补偿的罗盘传感器,以在不同的脚位置提供精确的脚指向信息;当用户的脚具有显著的移动时,使用来自3轴的角度速传感器的测量来导出脚指向方向的变化;使用来自3轴加速度计和/或3轴陀螺仪传感器的测量结果,可以容易的实现对用户脚部运动的检测。综上所述,为能在各种实际条件下获得精确的脚指向信息以满足所需的系统性能,在本发明的实施例中,罗盘传感器单元105/205是一个9轴传感器单元包括3轴罗盘传感器,3轴的加速度计和3轴陀螺仪传感器。
注意,通过倾斜补偿,罗盘传感器单元105/205可以在任何方向上工作。所以,罗盘传感器单元105/205不需要安装在水平位置,这在传感器放置方面提供了更大的自由度。然而,相对于在用户的脚,罗盘传感器单元105/205的放置方向仍然需要固定。
除脚指向方向信息和脚触地状态之外,当罗盘传感器单元105/205是9轴传感器单元时,包括3轴罗盘传感器,3轴加速度传感器和3轴角度速(陀螺仪)传感器,可以通过罗盘传感器嵌入式系统获得关于其它的足势特征的信息。这些足势特征包括脚倾斜角度,脚部滚动角度和各种脚部移动轨迹状态相关的足势特征。这些足势特征详述如下。
如前所述,在罗盘嵌入式鞋类系统中,当用户脚显著移动时,可以使用来自罗盘传感器单元105/205中的3轴加速度计的测量值来导出脚倾斜角度。当用户脚处于显著移动时,可以使用来自9轴罗盘传感器单元中的3轴陀螺仪传感器的测量来有效地跟踪脚倾角的变化。
例如,在不失一般性的情况下假设罗盘传感器单元105/205安装在这样的位置,使得陀螺仪传感器的x轴和y轴形成的平面平行于用户脚底表面,陀螺仪y轴与用户左/右3D脚指向VLF3D/VRF3D(1003/1004)相同。假设脚滚角λLR(1005/1006)很小并且可以忽略不计。如图29所示,脚倾角γLR(1001/1002)的变化对应于绕陀螺仪传感器的x轴,表示为Xgyro,的旋转。该旋转角度可以通过对来自陀螺仪传感器x轴角速率测量结果进行积分而得到。在其他传感器放置配置中,也可以使用陀螺仪传感器测量类似地导出脚倾角γLR(1001/1002)的变化。
如前所述,为了得到理想的脚指向方向测量性能,罗盘传感器单元105/205是9轴传感器单元,包括3轴罗盘传感器,3轴加速度传感器和3轴陀螺仪传感器。在这样的配置中,来自加速度计的测量值可用于导出脚倾斜角度信息。
例如,在不失一般性的情况下假设罗盘传感器单元105/205安装在这样的位置,使得加速度传感器的x轴和y轴形成的平面平行于用户脚底;并且,加速度传感器y轴与左/右脚底(1003/1004)的中线相同(即与脚指向重合),如图26所示。在这样的传感器位置配置中,左/右脚的脚倾角γLR即(1001/1002)可计算为其中ax,ay和az是在加速度传感器在x,y和z轴上的测量值(在图26中表示为xacc,yacc,和zacc)。如图26所示测量xacc,yacc,和zacc是重力矢量g到在速度传感器的x,y和z坐标轴的投影。在其它传感器放置配置中,脚倾斜角度可以通过适当的线性坐标转换由3轴加速度计测量得出。
如图26所示,加速度传感器坐标系的x-y平面中的另一个角度λLR(1005/1006)对应于用户左/右脚的侧倾角(滚动角)。此角度也可以使用罗盘传感器单元(105/205)中的加速度传感器的测量得出,并在需要时用作额外的足势参数。
注意,为了有效地获得当用户脚底的前部接触(按压)地面(如图25a)以及当用户脚跟部分接触(按压)地面两种情况下脚倾斜角度测量值,如图25b所示,罗盘传感器单元105/205应置于靠近用户脚或脚底(长度方向)的中间部分。
还应注意,使用3轴加速度计测量来获得脚倾斜角度要求使用者的脚没有显著的运动。
为得到用户的脚移动或静止时的脚倾角γLR(1001/1002),可使用图30所示处理流程。为了理想的估计精度,图30中的处理流程应该以足够高的采样率执行。在每个采样时间,处理流程从步骤2001开始,通过9轴罗盘传感器单元105/205中的3轴加速度传感器和陀螺仪传感器得到测量值。使用从步骤2001获得的传感器测量值,在步骤2002检查以确定脚当前是否处于显著移动状态。可以使用3轴加速度传感器表测量来完成该检查,以检查总加速度值是否与重力值匹配,例如,大约9.8m/s2;或使用3轴陀螺仪传感器测量,检查每个陀螺仪传感器轴是否测量到任何显著的角速率,或使用加速度与陀螺仪传感器测量的组合完成该检查。如果步骤2002中的检查确定用户脚没有移动,则在步骤2003中(如前所述)使用3轴加速度计测量值导出当前用户脚部倾斜角度1001/1002的估计。如果步骤2002中的检查确定用户脚正在移动,则步骤2004使用来自陀螺仪传感器的(当前和/或历史)角速率测量值来评估每个传感器轴在先前和当前采样时间之间的旋转角度。然后,使用来自步骤2004和/或(当前/先前)角速率测量的结果,步骤2005导出从先前采样时间到当前采样时间的脚倾角(1001/1002)的变化(增大或减小)值。然后在步骤2006,使用来自步骤2005的脚倾角变化值和(在低通滤波的情况下)先前的脚倾斜角估计导出当前脚倾角1001/1002的估计。
类似地,使用具有倾斜补偿(使用加速度计测量)的罗盘传感器测量导出(在2D当地X-Y平面中)用户脚指向方向(即,矢量VLF/VRF)也需要用户脚大致静止。当用户脚处于显著移动时,也可以使用来自9轴罗盘传感器单元中的3-轴陀螺仪传感器的测量来有效地跟踪脚指向方向的变化。
同样,假设罗盘传感器单元105/205安装在这样的位置,使得由陀螺仪传感器的x轴和y轴形成的平面平行于用户脚底表面,并且陀螺仪传感器y轴与左/右3D脚指向VLF3D/VRF3D(1003/1004)相同。如图31所示,当脚围绕陀螺仪传感器的z轴旋转时,脚指向方向改变。当用户的脚处于大致水平位置时,即小的脚滚动角度λLR(1005/1006)和倾斜角度γLR(1001/1002)时,可以通过以角度围绕陀螺仪传感器的z轴的旋转角度很好地估计用户3D脚指向(1003/1004)的变化。所以,使用来自陀螺仪传感器的z轴的角速率测量可以获得一段时间内脚指向方向的变化(脚指向角ωLR(707/708)的增加或减少,或者脚指向方向矢量701/702的变化)。对于具有其它的传感器放置配置,以及具有显著的脚部倾斜和滚动角度,脚指向方向的变化可以类似的通过适当的坐标变换和映射导出。
对于当用户的脚移动或静止时脚指向方向的推导(估计),如脚指向方向矢量VLF/VRF(701/702)或脚指向角ωLR(707/708),可以使用图32所示处理流程。为了实现理想的估计精度,图32中的处理流应该以足够高的采样率执行。在每个采样时间,处理从步骤3001开始,通过从9轴罗盘传感器单元105/205中的3轴罗盘传感器,3轴加速度传感器和3轴陀螺仪传感器获得测量值。使用从步骤3001获得的传感器测量值,在步骤3002执行与2002年相同的检查,以确定用户脚当前是否有显著移动。如果步骤3002中的检测判断用户脚没有移动,在步骤3003中使用来自3轴罗盘传感器和3轴加速度计测量的测量值(用于倾斜补偿)导出以VLF/VRF(701/702)或脚指向角ωLR(707/708)形式的当前用户脚指向方向估计。如果步骤3002中的检查判定用户脚正在移动,则步骤3004使用来自陀螺仪传感器(当前和/或历史)的角速率测量值来评估在先前和当前采样时间之间的每个传感器轴的旋转角度。然后,使用来自步骤3004和/或(当前/先前)角速率测量的结果,由步骤3005导出脚指向方向角ωLR(707/708)和/或脚指向方向矢量VLF/VRF(701/702)从前一个采样时间到当前采样时间的变化(增大或减小)值。然后在步骤3006,使用从步骤3005所得当前脚指向方向变化值的估计以及(在存在任何低通滤波的情况下)先前的脚指向方向变化值的估计,导出脚指向方向以VLF/VRF(701/702)和/或脚指向角ωLR(707/708)形式的当前脚指向的估计。
以下描述如何使用来自罗盘嵌入式鞋类系统的一些实施例的测量来获得足部移动轨迹状态估计/信息。所获得的足部移动轨迹状态可以用作足势特征,并且可导出与用户脚移动轨迹相关的一系列足势特征。
使用9轴罗盘传感器单元(105/205),可以获得用户脚的移动轨迹或等效的罗盘传感器单元(105/205)的中心点在固定/非旋转3D坐标系(不随用户移动而改变或旋转)中的轨迹。如前所述,假设固定/非旋转坐标系的X-Y平面平行于当地东北坐标平面。用户脚移动轨迹的估计涉及从起始(时间)点ts到结束(时间)点te的轨迹状态的估计。如图33所示,可以假设固定/非旋转3D坐标系的原点,即坐标(0,0,0)位于脚移动轨迹(1008/1009)的起始点。轨迹状态可以定义为9维状态向量VTraj=[x,y,z,vx,vy,vz,ax,ay,az]',其中x,y和z是移动轨迹在固定坐标3D坐标系的坐标,vx,vy和vz是轨迹状态向量VTraj的速度分量,ax,ay和az是VTraj的加速度分量。完整的用户脚移动轨迹(1008/1009)是轨迹起始与终止时间点之间的轨迹状态向量的连续函数,即
VTraj(t)=[x(t),y(t),z(t),vx(t),vy(t),vz(t),ax(t),ay(t)az(t)]’,t∈[tste].
在实际系统中,轨迹状态VTraj不是以连续时间估计而是以离散时间估计。假设采样时间间隔为T,可以在每个采样时间估计轨迹状态,即0,T,2T,3T,...kT,...KT(假设0对应于开始时间ts并且KT对应于结束时间te。则离散轨迹状态满足以下状态方程
VTraj[(k+1)T]=A(T)*VTraj[kT],k=0,1,2,3,…K-1
其中VTraj[kT]是离散时间轨迹状态,即
VTraj[kT]=[x[kT],y[kT],z[kT],vx[kT],vy[kT],vz[kT],ax[kT],ay[kT]az[kT]]’
以及A(T)是给定采样时间T下,9乘9的线性状态转移矩阵。
对于以上估计问题,在每个采样时间T,在采样时间kT处的加速度状态分量ax(t),ay(t),az(t)的测量值,表示为ax[kT],ay[kT]和az[kT]可以使用罗盘传感器单元(105/205)的测量值获得。轨迹加速度状态分量的矢量可表示为ATraj[kT]=[ax[kT],ay[kT],az[kT]]'。则在任一采样时间的可使用以下轨迹状态的线性观测模型
ATraj[kT]=H*VTraj[kT],
其中H是3乘9的观测矩阵
注意,获得加速度分量az[kT]的测量值时,应当通过从固定3D坐标系的Z轴中的转换后的加速度测量值中减去重力加速度g。
通过上面的公式,当起始时间点k=0处的初始状态,即VTraj[0]已知时,可以使用加速度测量值ATraj[kT]估计轨迹状态VTraj[kT]。注意,以上所述的脚移动轨迹估计问题是典型的线性动态估计问题。这里不讨论详细的状态转换模型和测量模型。
轨迹开始时刻ts的初始轨迹状态VTraj[0]通常容易获得。由于先前假设轨迹从坐标系的原点开始,因此可得到VTraj[0]=[0,0,0,vx[0],vy[0],vz[0],ax[0],ay[0],az[0]]'。
当用户脚不移动时,设置脚移动轨迹(1008/1009)的起始点是方便的,因此初始轨迹状态具有零速度分量。结果,初始轨迹状态向量可由VTraj[0]=[0,0,0,0,0,0,ax[0],ay[0],az[0]]'给出。
初始轨迹状态向量的缺失分量,即加速度分量ax[0],ay[0]和az[0],可以由自9轴罗盘传感器单元的传感器测量值获得。
脚移动轨迹状态估计剩余的问题是获得固定3D坐标系中的用户脚加速度(或等效的罗盘传感器单元(105/205)加速度)的测量值,即,ATraj[kT]=[[ax][kT],ay[kT],az[kT]]'。然而,如图26所示,来自3轴加速度传感器的测量是在传感器的坐标系中轴Xacc,Yacc和Zacc在获得的。加速度传感器测量需转换至固定的3D坐标系。脚指向角度ωLR(707/708),脚倾角γLR(1001/1002)和脚滚动角λLR(1005/1006),对应于传感器单元(105/205)的指向,倾斜角和滚转角度。加速度传感器坐标系中的加速度测量值可以使用线性变换映射到本地固定三维坐标系。
之前使用来自9轴罗盘传感器单元的测量值所估计倾斜角γLR(1001/1002)和脚指向角ωLR(707/708)。使用9轴传感器测量,脚滚动角(侧倾角)λLR(1005/1006)的估计可以使用与估计倾斜角度γLR(1001/1002)类似的方法来完成。因此,脚倾斜角度γLR(1001/1002),脚指向角ωLR(707/708)和脚滚动角λLR(1005/1006)都可以使用9轴罗盘传感器单元(105/205)的测量结果进行估算。
基于上面的讨论,可以使用图34中所示的处理流程来完成脚移动轨迹的估计。图34中的估计过程是在每个采样周期T进行的处理。在每个采样时间,脚移动轨迹状态估计处理从步骤5001开始,首先从9轴罗盘传感器单元(105/205)所需的测量。之后在步骤5002,执行步骤2002中类似的检查,以基于当前传感器测量值以及可能的来自先前采样时间的脚移动轨迹状态来确定脚当前是否处于运动中。如果步骤5002没有检测到脚移动,则步骤5003确定是否存在来自先前采样时间的正在进行的脚移动轨迹估计过程。如果存在现有的脚移动轨迹估计,则步骤5012至步骤5015在当前步骤更新脚移动轨迹状态VTraj(K)并结束(终止)当前轨迹状态估计。返回步骤5003,如果检查发现不存在正在进行的脚轨迹状态估计,则步骤5004简单地将当前脚移动轨迹状态设置为零,并在当前采样步骤完成处理。返回步骤5002,如果步骤5002的检查判定用户的脚在运动,则步骤5005检查是否存在基于先前采样时间的结果的正在进行的脚部移动轨迹状态估计,例如,全零步移动轨迹状态VTraj表示没有正在进行的脚移动轨迹估计。如果在先前采样时间发现全零脚移动轨迹状态(对应于没有正在进行的脚部移动轨迹估计),则步骤5006,5007和5008执行脚部移动轨迹状态估计初始化过程以开始新的轨迹估计并获得脚移动轨迹的初始状态,即VTraj[0]。注意,在步骤5013中,加速度测量值从加速度计到固定3D坐标系的转换需要在采样时间的脚倾角γLR(1001/1002),脚指向角ωLR(707/708)和脚滚动角(侧倾角)λLR(1005/1006)。这些角度可以使用先前讨论的估计方法从支持估计过程获得。返回步骤5005,如果检查发现前一采样时间的脚移动轨迹状态向量VTraj具有非零状态,即存在正在进行的脚移动轨迹状态估计,则步骤5009,5010和5011进行脚移动轨迹在当前采样时间的状态估计。首先在步骤5009中,将先前采样时间的脚移动轨迹状态推导到当前采样时间。然后在步骤5010中,使用与步骤5007中相同的方法获得当前时间的固定3D坐标中的加速度测量值。在步骤5011中,使用步骤5010中获得的加速度测量更新从步骤5009推导的脚移动轨迹状态,以获得当前采样步骤的更新的脚移动轨迹状态VTraj[k]。步骤5009,5010和5011中的状态估计过程与步骤5012,5013和5014中的状态估计过程相同。
通常,脚移动轨迹可以使用时间匹配与脚足势相关联。例如,假设检测到的脚轨迹具有K采样时间的长度,其轨迹状态序列为VTraj[0],VTraj[1],VTraj[2]......VTraj[K]。如果足势的开始时间(或脚部手势的一部分)对应于轨迹状态k1∈0,1,...,K中的一个的采样时间;足势的结束时间对应于另一轨迹状态时间k2 0,1,...,K,k1<k2。则足势可以与3D脚移动轨迹对应于从VTraj[k1]到VTraj[k2]的轨迹状态相关联。
如下所述,其他类型的传感器可以结合到罗盘传感器嵌入式系统中。
可以将GPS传感器添加到罗盘嵌入式鞋类系统,以提供关于脚、用户位置和速度的信息。在这种情况下,GPS传感器可以位于左/右鞋的内部或外部,并且与控制通信单元连接以提供电源,控制和通信支持。来自GPS传感器的位置,速度和加速度测量值可以由处理器301收集,处理,使用和/或通过无线连发送到外部设备。来自GPS传感器的信息可用于支持新类型的足势的检测。来自GPS传感器的用户位置信息也可以用于获得当地经度纬度信息,可补偿当地地球磁场方向和北方向之间的角度差,允许罗盘产生更准确的方向测量。
可以将触觉类型的传感器部件添加到罗盘嵌入式鞋类系统中,以向用户的脚提供振动反馈。在这种情况下,触觉部件可以放置在用户左/右鞋底下方的鞋内。触觉部件适当地与控制通信单元连接连接以提供电源、控制和通信支持。触觉组件能够为用户提供振动反馈,该振动反馈可以与罗盘嵌入式鞋类系统的现有功能共同使用。例如,当用户使用如iPhone的移动设备的地图应用程序用于在步行期间导航。应用程序无法分辨用户的移动方向,除非用户朝那个方向移动一段距离。利用来自所公开系统的用户方向信息,诸如VFWD709,即使当用户静止时,地图应用程序也能够判断用户将要移动的方向。注意,其他类型的传感器依赖于用户的移动来获得方向信息。所以,该特征只能由所公开的罗盘嵌入式鞋类系统提供。基于该信息,导航应用可以通过鞋类系统中的触觉组件发送振动反馈来通知用户用户是否正在或即将朝向正确方向移动。应用程序甚至可以通过向用户的左或右鞋类发送振动来引导用户向左或向右转以朝向正确的移动方向。
可以将心率传感器添加到罗盘嵌入式鞋类系统中以提供关于用户的附加信息。心率传感器应与控制通信单元正确连接以提供电源,控制和通信支持,并且放置在合适的位置,例如,在用户的左和/或右鞋底下方。在各种实施例中,心率传感器可用于基于用户心跳的检测来检测用户是否穿着左和/或右鞋。使用该信息,当没有实际穿着鞋的用户时,指南针嵌入式鞋类系统可以自动决定切换到省电操作模式。在省电模式中,左/右鞋类本地处理器301可以仅从心率传感器读取数据,以便当用户穿上左/右鞋时确定何时切换回正常操作模式。心率传感器允许的这一特征可以显著节省电池寿命并改善系统寿命。
在各种实施例中,上述弯曲传感器,运动传感器,GPS传感器,触觉部件和心率传感器的任何组合,和/或任何其他可以提供额外有用信息的传感器类型可以添加到罗盘嵌入式鞋类系统中,以支持足势检测和附加功能。
在一些实施例中,罗盘嵌入式鞋类系统的左/右鞋中的压力传感器的数量可以减少到一个。在这种情况下,鞋类系统可以检测对应于压力传感器位置是否与地面接触。这样的配置将提供关于用户脚部动作的更少信息并且支持检测更少类型的足势。所以,该配置不能完全支持所公开的足势检测功能。然而,它可以显著减小左/右鞋的尺寸。可选地,可以集成所有鞋类组件,包括压力传感器,罗盘传感器,控制通信单元,电池模块和/或其他合适类型的传感器,例如陀螺仪,加速度计,触觉组件等,为一个紧凑的可连接鞋底的单元。这种简化的配置可以使罗盘嵌入式系统容易地在鞋子,鞋垫之间切换,并且无论鞋子的形状,尺寸,所有者等如何都能容易地与任何鞋子一起工作。
在其他实施例中,罗盘嵌入式鞋类系统的左/右鞋中的压力传感器的数量可以减少到零。在这种情况下,嵌入罗盘的左/右鞋不能检测到脚触地结果,而它仍然可以使用来自罗盘传感器的测量结果提供脚方向信息,即VLF和/或VRF。这种情况下,左脚和右脚方向信息的融合效果会受到影响,并且鞋类系统可以检测到的足势的种类大大减少。然而,移除所有压力传感器可能允许非常紧凑的设计。可选地,包括罗盘传感器,控制通信单元,电池模块和诸如陀螺仪(脚速度传感器),加速度计,触觉部件等的其他有用类型的传感器的所有鞋类部件可以集成到一个单元中。并且集成的单元作在罗盘嵌入式鞋类系统的放置可能不需要放置在用户的鞋底上。例如,像电源控制通信罗盘单元一样,它可以放置在鞋类的外表面上。
因此,在单个左/右鞋中可以存在零个,一个,两个,三个,四个,五个,六个,七个,十个,一百个和任何数量的压力传感器。
罗盘嵌入式鞋类系统是可扩展系统,支持包括脚方向信息提取,用户方向信息提取,足势检测和/或其上的任何其他附加功能。
以下描述基于包括用户脚指向、脚触地状态等用户足势特征的用户足势检测的系统方法。
通常,支持用户足势检测和基于足势的用户设备控制/交互的系统包括i)足势特征信息获取设备,例如,罗盘传感器嵌入式鞋类系统,用于获取足势特征相关信息并将信息分发到电子设备,以及ii)从足势特征信息获取设备接收信息,使用所接收的信息执行用户足势检测的电子设备,并且生成控制信号、消息,并基于足势检测结果执行操作。
在描述用于脚部手势检测的方法之前,首先进行足势的定义。预定义的足势可以作为数据或作为可执行代码的一部分存储在电子设备的存储介质中,以支持足势的检测。
通常,(用户)足势是足势状态的序列。序列的长度可以是1到无穷大的任何数字。
每个足势状态对应于关于足势特征的一组要求。不同的足势状态可能对同一组或不同组的足势特征有不同的要求。足势特征包括(用户)脚指向方向相关特征,例如701/702,(用户)脚部触地状态,等。
注意,定义足势的足势状态的序列(或足势状态序列)指定i)足势允许的一组足势状态,以及ii)由(允许的)足势状态构成的转换序列。
作为说明性示例,考虑一个由抽象足势状态的序列给出的足势:S1->S2->S3。该足势具有三个(允许的)足势状态,即S1,S2和S3。并且要求足势状态序列从S1开始然后转换/切换到S2然后切换到S3。这里->标记是顺序标记,其用于连接足势状态序列中的两个连续的足势状态。
第二个足势状态序列S2->S1->S3具有同样的一组足势状态S1,S2,S3。然而,其足势状态的转换序列与之前第一个足势的转换序列不同。结果,第二个足势状态序列对应于与第一个足势不同的足势。
足势状态序列指定(允许的)足势状态形成的转换序列,还隐含了两个连续的足势状态不能相同,因为没有足势状态的转换。例如,S1->S2->S2->S1不是有效的足势状态序列,而S1->S2->S1是有效的足势状态序列。
各足势定义的示例给出如下。
从基础开始,可以仅基于两种基本类型的足势特征(即,用户脚指向方向和用户脚触地状态)来定义/检测各种用户足势。
如前所述,通过处理来自足势特征信息获取设备的信息,例如罗盘传感器嵌入式鞋类系统,可以获得脚触地状态。如图18所示总共有16个双脚触地状态,黑色圆圈表示相应的脚部区域与地面接触(或按压)。当仅涉及一个左脚或右脚时,有四个对应于左/右脚的单脚触地状态。
方便地,脚触地状态被表示为{},{A},{AB},{ACD},{ABCD}等,其中括号中的A,B,C和D表示对应脚底区域接触地面。不失一般性并遵循图7中的定义,区域A对应于用户左脚底的前部,区域B对应于左脚跟,区域C对应于用户右脚底的前部,以及区域D对应于右脚跟部。
以当地北方向为参考,图19以脚指向方向矢量VLF(701)和VRF(702)示出了左脚和右脚(2D)指向方向。脚指向方向在固定/非旋转2D坐标系统中获得,例如用户的本地东北坐标系统,该坐标系不会随着用户的脚部运动而改变。
可以针对单脚(单脚足势)或双脚(双脚足势)定义足势;足势可以进一步分类为基于触地状态的足势,基于脚指向的足势,以及基于多种足势特征的组合足势。用于足势检测。
单脚足势:
单脚足势是基于一只脚的动作的足势。当用户脚指向方向信息和脚触地状态仅可从一只脚(左侧右脚)获得时使用单脚足势,例如,当用户仅在一只脚上穿鞋类系统时。单脚足势也可用于组合为双脚足势。
单脚基于触地状态的足势:
基于触地状态的单脚足势可使用单(左/右)脚触地状态定义与检测
简单的足势可以是仅具有一个足势状态的足势状态序列。
无触地足势具有足势状态序列:{}。
该足势状态序列仅具有一个足势状态,即{},需要左/右脚触地状态为{}。
左脚全触地足势具有一个仅含一个足势状态的足势状态序列,即{AB},要求左脚触地状态为{AB}。
右脚全触地足势具有一个仅含一个足势状态的足势状态序列,即{CD},要求右脚触地状态为{CD}。
左脚前部触地足势具有一个仅含一个足势状态的足势状态序列,即{A},要求左脚触地状态为{A}。
类似地定义,右脚前部触地足势仅具有一个足势状态{C};
左脚跟触地足势仅具有一个足势状态{B};以及
右脚跟触地足势仅具有一个足势状态{D}。
左脚触地足势仅具有一个足状态{A,B,AB}。足势状态{A,B,AB}要求左脚触地状态为{A}或{B}或{AB},即触地状态属于左脚触地状态集合{A,B,AB}。这里,符号{ele1,ele2,ele3}用于表示足势状态允许的脚触地状态的集合,其中ele1,ele2,ele3代表脚触地状态。
当足势状态序列中的足势状态的数量多于一个时,->标记用于连接两个相邻的足势状态。
第一类拍地(Tap)
描述:脚跟部分与地面保持接触;用户脚底的前部拍地面。
左脚第一类拍地足势,表示为LFTapI具有以下足势状态序列:{AB}->{B}->{AB}->{B}->{AB}...
该足势具有两个(允许的)足势状态{B}和{AB}。足势状态{B}要求左脚触地状态为{B};足势状态{AB}要求用户右脚触地状态为{AB}。
注意,LFTapI的脚手势状态序列具有不确定的长度并且具有重复的模式。
右脚第一类Tap足势,表示为RFTapI,具有以下足势状态序列:{CD}->{D}->{CD}->{D}...
该足势具有两个允许的足势状态{C}和{CD}。足势状态{C}要求用户右脚触地状态为{C};足势状态{CD}要求用户右脚触地状态为{CD}。
该足势状态序列具有不定长度和重复模式。
计数参数可以与具重复模式的足势相关联。例如,足势对应于以下足势状态序列{AB}->{B}->{AB}->{B}->{AB}->{B}->{AB},这是LFTapI足势的截取的版本。这样的足势被表示为LFTapI_3,其中计数参数3(通过“_”标记连接到对应的未截取足势的标示,即LFTapI),表示所需足势状态模式的重复次数。
更一般地,LFTapI_n,(n=1,2,3,4......)表与足势LFTapI的类似的(截短的)具重复模式的足势,即,有限长度的左脚第一类Tap足势。计数参数n对应于该足势要求的左脚第一类拍地的次数。
类似地,可得到足势RFTapI_n(n=0,1,2,3......),是有限长度的右脚第一类Tap足势。计数参数n对应于足势要求的右脚第一类拍地的次数。
第二类拍地(Tap):
描述:用户脚底的前部与地面保持接触;脚后跟部分拍地面。
左脚第二类拍地(Tap)足势,表示为LFTapII,具有以下足势状态序列:{AB}->{A}->{AB}->{A}...
类似地,LFTapII_n,(n=0,1,2,3......)是有限长度的左脚第二类拍地足势。该足势具有从LFTapII足势截取的足势状态序列。计数参数n对应于足势所需的左脚第二类拍地次数。
右脚第二类拍地足势,表示为RFTapII,具有以下脚手势状态序列:{CD}->{D}->{CD}->{D}...。类似地,RFTapII_n,(n=1,2,3,4..)是有限长度的右脚第二类拍地足势。该足势具有从RFTapII截取的足势状态序列。计数参数n对应于足势所需右脚第二类拍地次数。
单脚踏地足势
描述:脚交替地离开及踩踏地面
左脚踏地足势,表示为LFStep,具有以下足势状态模式:{A,AB,B}->{}->{A,AB,B}->{}->{A,AB,B}...。该足势有两个(允许的)足势状态,即{A,AB,B}和{}。足势状态{A,AB,B}要求用户左脚触地状态为{A}或{AB}或{B},对应于用户左脚接触地面。足势状态{}要求用户左脚触地装态为{},即对应于用户左脚离开地面。注意,足势状态{A,AB,B}由多个脚触地状态组成,因此脚触地状态的改变(作为足势特征)不一定改变足势状态。
右脚踏地足势,表示为RFStep,具有以下脚部手势状态序列:{C,CD,D}->{}->{C,CD,D}->{}->{C,CD,D}...
该足势具有两个(允许的)足势状态,即{C,CD,D}和{}。LFStep和RFStep足势本质上都是重复并且具有不确定足势状态序列长度。类似地,有限长度单脚踏地足势可以表示为:LFStep_n或RFStep_n(n=0,1,2,3......),其中计数参数n对应于踏地次数。
注意,诸如{A,AB,B}和{C,CD,D}的足状态由多个脚触地状态组成。只要脚触地状态在属于足势状态的集合中,用户脚触地状态的改变将不会改变足势状态。为简洁的表示具有多个触地状态的复杂足势状态,“|”mark用于表示“或”关系。例如,脚手势状态{A|B}要求用户的脚触地状态属于所有含脚底区域A或脚底区域B触地的脚触地装态的集合。对于单脚触地足势等效于{A,AB,B}。因此,可以给出以下左脚足势更简洁的符号表示
左脚踏地足势(LFStep):{A|B}->{}->{A|B}->{}->{A|B}…
右脚踏地足势(RFStep):{C|D}->{}->{C|D}->{}->{C|D}…
单脚指向足势
可以仅使用(2D)脚指向方向相关的足势特征来定义足势,例如脚指向方向矢量VLF/VRF(701/702)或脚指向角度ωLR(707/708)。两个仅使用2D脚指向方向相关足势特征的单脚手势是Wiggle和Swipe。
足势状态可能对脚指向方向本身或脚指向方向的改变有要求。脚指向角度信息可以以各种形式给出,包括矢量形式VLF/VRF(701/702),或者以脚指向角ωLR(707/708)的形式,它们都是2D脚指向方向相关的足势特征。足势状态对用户脚指向方向的要求可能要求脚指向方向矢量VLF/VRF(701/702)顺时针转动。如此类要,脚指向方向矢量顺时针转动可以在VLF或VRF后加“_R”表示,脚指向方向矢量逆时针转动可以在VLF或VRF后跟L表示。等效地,当脚指向方向相关的足势特征是脚指向角度ωLR(707/708)时,足势状态对脚指向角度的要求可能需要脚部指向角度ωLR(707/708)处某范围内。此类要求可以表示为{a<ωL<b}或{a<ωL},其中脚指向角度范围的要求由一对括号括起来。足势特征要求还可以要求脚指向角ωLR(707/708)增加或减少,这类要求可以用脚指向角ωLR跟_d表示减少,或者跟_u表示增,例如ωL_u,ωR_d等。
单脚摆动足势(wiggle)
描述:脚指向方向顺时针和逆时针交替转动。
左脚摆动足势,表示为LFWig,具有以下足势状态序列:
VLF_R->VLF_L->VLF_R->VLF_L...(或等同的,ωL_u->ωL_d->ωL_u->ωL_d…)
它具有两个足势状态,即VLF_R和VLF_L。足状态VLF_R要求左脚指向方向顺时针旋转。脚手势状态VLF_L要求左脚指向方向逆时针旋转。
右脚摆动足势,表示为RFWig,具有以下足势状态序列:VRF_R->VRF_L->VRF_R->VRF_L......
该足势具有两个(允许的)足势状态VRF_R和VRF_L。足势状态VRF_R要求右脚指向方向顺时针旋转。足势状态VRF_L要求右脚指向方向逆时针转动。
LFWig和RFwig足势都是重复的并且具有不确定的足势序列长度。有限长度的左脚摆动足势和有限长度右脚摆动足势可以表示为:LFWig_n或RFWig_n(n=0,1,2,3......),其中计数参数n对应于足势要求的脚摆动的次数。
单脚滑动足势
描述:脚指向方向顺时针或逆时针转动。滑动足势可以被视为半个摆动足势。
左脚左滑动足势,由LFSwp_L表示,具有长度为1的足势状态序列,即VLF_L。
该足势有且仅有一个足势状态VLF_L,要求左脚脚指向方向逆时针旋转。左脚右滑动势,表示为LFSwp_R,具有且仅具有一个足势状态的足势状态序列:VLF_R。该单脚足势状态VLF_R要求左脚指向方向顺时针转动。
类似地,右脚左滑动足势,表示为RFSwp_L,具有足势状态序列:VRF_L,要求右脚指向方向逆时针转动。右脚右滑动足势,表示为RFSwp_R,具有足势状态序列:VRF_R,要求右脚指向方向顺时针转动。
使用用户脚指向和用户脚触地状态,可以定义更复杂的足势。使用这两种类型足势特征的单脚足势的示例描述如下。
单脚指向踩地足势
左脚指向前脚踩地足势,表示为VLF+{A},具有仅含一个足势状态的足势状态序列:VLF+{A}。
该足势状态,表示为VLF+{A},要求用户的左脚触地状态为{A},并且足势提供左脚指向方向信息。注意,这里对左脚指向方向的要求,以VLF的形式要求足势提供VLF的信息。该足势需要在检测到足势时提供用户左脚指向方向信息,即VLF本身。还要注意足势状态的符号是VLF+{A},其中对两个不同的足势特征的要求由“+”标记连接。“+”标记用于表示一个足势状态对多个足势特征的要求的组合。并且通过将足势特征符号放在足势特征符号中作为独立要求来表示足势特征VLF的可用性要求。
左脚指向脚跟踩地足势,表示为VLF+{B},具有仅含一个足势状态VLF+{B}的足势状态序列。足势状态VLF+{B}要求用户左脚触地状态为{B}并且要求足势(以VLF的形式)提供脚指向方向信息。注意,VLF+{B}实际上等效于ωL+{B}。并且VLF+{B}与{B}+VLF相同,因为足势状态的多个要求的顺序无关紧要。
右脚指向前踩地足势,表示为VRFC,具有仅有一个足势状态VRF+{C}的足势状态序列。
右脚指向脚跟踩地足势,表示为VRFD,具有仅有一个足势状态VRF+{D}的足势状态序列。
注释:可使用单脚触地状态表示沿脚指向方向VLF(左脚指向方向),或者VRF(右脚指向方向)向前(仅有鞋底前部接触地面时)或向后(仅脚跟部接触地面时)的移动。脚触地状态{ABCD}可用作无动作状态。在以下符号中,“+”标记用于表示2个或多个(同时存在的)构成足势的元素的组合。图20示出了左脚指向踩地足势。图21示出了右脚指向踩地足势。
第一类摆动足势
描述:以脚跟为枢轴的脚摆动
左脚第一类摆动足势,表示为LFWigB,具有以下足势状态序列:VLF_R+{B}->VLF_L+{B}->VLF_R+{B}->VLF_L+{B}...该足势具有两个允许的足势状态,即VLF_R+{B}和VLF_L+{B}。足势状态VLF_R+{B}要求脚触地状态为{B}并且脚指向方向顺时针转动。足势状态VLF_L+{B}要求脚触地状态为{B}并且脚指向方向逆时针旋转。对应的有限长度左脚第一类摆动足势表示为LFWigB_n,其中计数参数n表示摆动的次数。
右脚第一类摆动,表示为RFWigD,具有以下足势状态序列:VRF_R+{D}->VRF_L+{D}->VRF_R+{D}->VRF_L+{D}...。对应的有限长度右脚第一类摆动足势表示为RFWigD_n,其中计数参数n表示摆动的次数。
第二类摆动足势
描述:以脚底的前部作为轴摆动
左脚第二类摆动,表示为LFWigA,具有以下足势状态序列:VLF_R+{A}->VLF_L+{A}->VLF_R+{A}->VLF_L+{A}...。
相应的有限长度左脚第二类摆动足势表示为LFWigA_n,其中计数参数n表示所摆动的次数。
右脚第二类摆动,表示为RFWigC,具有以下足势状态转换序列:
VRF_R+{C}->VRF_L+{C}->VRF_R+{C}->VRF_L+{C}...
相应的有限长度右脚第二类摆动足势被表示为LFWigC_n,其中计数参数n表示摆动的次数。
单脚第一类左向滑动:以脚跟为枢轴向左滑动
左脚第一类左向滑动具有仅含一个足势势状态VLF_L+{B}的足势状态序列,要求左脚触地状态为{B}并且左脚指向方向逆时针转动VLF_L。
右脚第一类左向滑动足势具有仅含一个足势状态的足势状态序列:VRF_L+{D}
单脚第二类左向滑动:以脚的前部为枢轴左向滑动
左脚第二类左向滑动具有仅含一个足势状态的足势状态序列:VLF_L+{A}
右脚第二类左向滑动VRF_L+{C}
单脚第一类右向滑动:以脚跟作为枢轴右向滑动
左脚第一类右向滑动:VLF_R+{B}
右脚第一类右向滑动:VRF_R+{D}
单脚第二类右向滑动:以脚底的前部为枢轴左向滑动
左脚第二类右向滑动:VLF_R+{A}
右脚第二类向右滑动:VRF_R+{C}
由基本单脚足势顺序组合所得的单脚足势:
基本单脚足势可以用构建新足势的组成部分。顺序组合的足势仍然是足势状态的序列。这种组合的足势对于向设备提供明确的控制指令非常有用。一下给出由单脚足势序列构成足势的示例。类似地标记“->”用于连接两个相邻的足势,表示顺序组合。
有限长度第一类拍地足势接顺时针滑动
描述:左脚或右脚首先做第一类拍地足势,然后做顺时针滑动足势
左脚:LFTapI_n->LFSwp_R
右脚:RFTapI_n->RFSwp_R
建议的用于设备控制的用途:可作为一般菜单选择的足势,作为控制放大/缩小控制的足势(例如,LFTapI_1->LFSwp_R作为缩小指令)等。
第一类拍地足势接是逆时针滑动足势
描述:左脚或右脚做第一类拍地足势,然后做逆时针滑动足势
左脚:LFTapI_n->LFSwp_L
右脚:RFTapI_n->RFSwp_L
建议的用于设备控制的用途:用于一般菜单选择的足势,用于放大/缩小控制的足势(例如,LFTapI_1->LFSwp_L作为放大/缩小指令)等。
双脚足势
涉及用户双脚的双脚足势有更丰富的表现力。使用包括脚指向和脚部触地状态的足势特征所能构建的双脚足势集合是很大的。使用本公开的方法,可以容易地定义和检测足势。这里列出了一些有用的双脚足势的例子。
一组触地状态的双脚足势可用来替带传统的箭头方向按钮左,右,上和下功能。
左:{AB}或等效{AB}+{},当用户将重心转移到左脚
右:{CD},或等效{}+{CD},当用户将整体重量转移到右脚时
上:{ABC,ACD},当用户用左脚或右脚的脚底前部按压地面时
下:{ABD,BCD},当用户使用左脚或右脚后跟按压地面时
无:{ABCD}当用户双脚所有四个触地区域接触地面时。
如图22所示,该双脚触地足势集合能够替换用于向上,向下,向左和向右控制的方向按钮功能。
双脚指向踩地足势使用足势特征,包括双脚触地状态,以及用户脚指向方向相关的足势特征,例如脚指向方向矢量VLF/VRF(701/702)或脚指向角度ωLR(707/708)。
根据他们的足势状态,双脚指向踩地足势包括:
VLF+{ACD},VLF+{ABC},VLF+{BCD},VRF+{DAB}等。
每个双脚指向踩地足势(例如,VLF+{ACD})具有仅包含一个足势状态的足势状态序列。足势状态VLF+{ACD}要求用户的双足触地状态为{ACD}并且足势提供左脚(指向)方向矢量VLF(指是对足势特征VLF存在的要求)。其他双脚指向踩地足势也可类似的定义。
双脚指向踩地足势可用于指示沿左脚指向方向VLF或右脚指向方向VRF方向的运动。例如
向一个方向移动:VLFA+{CD}或VRFC+{AB}
向一个方向反向移动:VLFB+{CD}或VRFD+{AB}
一组双脚指向踩地足势能够替换操纵杆的功能。图23中示出了这类双脚足势集合的一个示例,其中每个双脚足势可以由用户方便地执行,在固定/非旋转2-D坐标系的一个象限中提供方向控制。
注意,对于双脚足势,当使用脚指向方向信息时,通常需要确定如何使用来自每只脚的脚指向方向。该决定是基于左脚和右脚触地状态做出的。如在双脚指向踩地足势中,保持在完全触地状态的脚的脚指向方向不用于方向控制。这是在所提出的足势系统中联合使用脚触地状态和脚指向方向信息的示例。
双脚步行足势
描述:用户步行运动,左脚和右脚交替离开地面
可以仅基于双脚触地状态足势特征来定义步行足势。步行足势,表示为Walk,具有以下足势状态序列:
{AB,A,B}->{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}->{CD,C,D}->{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}->{AB,A,B}->{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}->{CD,C,D}…
该足势具有三个(允许的)足势状态,{AB,A,B},{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}和{CD,C,D}。
足势状态{AB,A,B}要求双脚触地状态为{AB}、{A}或{B},对应于用户左脚接触/按压地面,用户的右脚离开地面。
足势状态{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}要求用户双脚触地状态为{ABCD},{ABC},{ABD},{ACD},{BCD},{AC},{BC},{AD},{BD}之一对,应于用户双脚同时接触/按压地面。
足势状态{CD,C,D}要求双脚触地状态为{CD}、{C}或{D},对应于用户的右脚接触/按压地面且用户的左脚离地。
当结合脚移动轨迹状态相关的足势特征,可以提供反映步行速度的附加参数。这种情况将在后面讨论。
注意,如步行足势的双脚足势状态中可以包括多种触地状态的集合。为使用更简洁的符号,双脚足势状态可表示为左脚和右脚足势状态的组合,将左、右脚足势状态用符号“+”连接来。例如,{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}等同于{A|B}+{C|D},表示左脚和右脚都处于接触(或按压)地面状态。如前所述,“|”运算符表示“或”的关系,例如,{A|B}等同于{A,B,AB}。步行做为双脚足势具有足势状态序列,用简洁的符号为:{A|B}->{A|B}+{C|D}->{C|D}->{A|B}+{C|D}->{A|B}...
相应的有限步行足势可以表示为Walk_n(n=1,2,3,4..),其中n是与步数的计数参数。
跑动双脚足势
描述:用户跑步运动,左脚和右脚交替地接触地面。
表示为Run,该足势具有足势状态序列:
{A|B}+{}->{}->{}+{C|D}->{}->{A|B}+{}->{}->{}+{C|D}…
该足势具有三个(允许的)足势状态,{A|B}+{}、{}和{}+{C|D}。足势状态{A|B}+{}是通过组合对左脚触地状态和右脚触地状态的要求而形成的双足触地状态的要求。它要求左脚触地状态满足{A|B},即左脚接触地面,同时右脚触地状态满足要求{},即右脚不接触地面。
类似地,足势状态{}+{C|D}对应于当用户的左脚未触及地面并且同时用户的右脚触地时的情况。足势状态{}要求双脚触地状态为{},对应于用户双脚在空中的情况。
对应的有限长度跑步足势表示为Run_n,(n=1,2,3...),其中n是步数要求。
当添加与脚移动轨迹状态相关的足势特征时,可以提供反映跑步速度的附加参数,这将在后面讨论。
跳跃双脚足势
描述:用户的跳跃运动,左脚和/或右脚接触地面并且两只脚同时离开地面。
表示为Jump,足势具有以下足势状态序列:
{A|B|C|D}->{}->{A|B|C|D}->{}->{A|B|C|D}->{}…,
该足势具有两个足势状态{A|B|C|D}和{}。足状态{A|B|C|D}要求双脚触地状态为除非触地状态{}之外的任一触地状态,是15个双脚触地状态集合之一。它对应于用户的任何一只脚接触地面或任何支撑平台的情况。相应的有限长度跳跃足势由Jump_n(n=1,2,3...)表示,其中n是跳跃次数要求。
单脚跳跃足势作为双脚足势
描述:用户单脚跳跃
左脚单脚跳跃手势,表示为LFHop,具有以下足势状态序列:{A|B}+{}->{}->{A|B}+{}->{}->{A|B}+{}->{}...它有两个(允许的)足势状态,{A|B}+{}和{}。足势状态{A|B}+{}指定对用户的双脚触地状态的要求,对应于用户的左脚接触地面并且用户的右脚在空中的情况。
相应的有限长度左脚单脚跳跃足势由LFHop_n(n=1,2,3...)表示,其中n是跳跃次数
右脚单脚跳跃足势,表示为RFHop,具有如下的足势状态序列:{}+{C|D}->{}->{}+{C|D}->{}->{}+{C|D}->{}…
它具有两个(允许的)足势状态,{}+{C|D}和{}。
足势状态{}+{C|D}指定对用户的双脚触地状态的要求,对应于用户的右脚接触地面并且用户左脚离地的情况。
相应的有限长度右脚单脚跳脚手势由RFHop_n(n=1,2,3...)表示,其中n是由足势指定的跳跃次。
注意,根据Run_n,Jump_n,LFHop_n和RFHop_n的足势状态序列,足势Jump_n是包含Run_n,LFHop_n和RFHop_n的大的足势类别,即,检测到Run_n,LFHop_n或RFHop_n将导致Jump_n的检测。Jump_n还包含更多的子足势类型,例如双脚跳跃。可以使用与Jump_n相同的手势状态序列来定义双脚跳跃。但是,它在足势状态{A|B|C|D}中有额外的要求。在足势状态{A|B|C|D}期间,脚触状态需要在离开足势状态{A|B|C|D}之前-进入或满足至少一次子足势状态{A|B}+{C|D}。即要求在{A|B|C|D}足状态期间用户脚双需要有过同时与地面接触。在这种情况下,子足势状态{A|B}+{C|D}作为足势状态{A|B|C|D}的标志状态。可通过*{}标记将标志足状态的要求添加到足势状态。例如{A|B|C|D}*{{A|B}+{C|D}}表示足势状态{A|B|C|D},具有标志状态{A|B}+{C|D}。
双脚跳跃作为双脚足势
描述:用户用左脚和右脚双脚接触地面并且两只脚同时离开地面
双脚跳跃足势,表示为BiJump,具有以下脚足势状态序列:
{A|B|C|D}*{{A|B}+{C|D}}->{}->{A|B|C|D}*{{A|B}+{C|D}}->{}-
>{A|B|C|D}*{{A|B}+{C|D}}->{}…
具有两个允许的足势状态{A|B|C|D}*{{A|B}+{C|D}}和{}。足势状态{A|B|C|D}*{{A|B}+{C|D}}为指定用户双脚触地状态的要求。在该足势状态下,用户的双脚触地装态必须满足{A|B|C|D}的要求,并且在离开该足势状态之前,例如,切换到另一个足势状态{},子足势状态{A|B}+{C|D}的要求至少须满足一次。通常,符号S1*{S2}表示由足势状态S1和标志足势状态S2定义的足势状态,其中标志足势状态S2是S1的子足势状态(这意味着足势状态S2具有比足势状态S1更严格/更多的要求,即当脚足势特征满足S2时,它们也满足S1)。足势状态S1*{S2}要求在离开足势状态S1之前,必须至少满足一次足势状态S2,否则不认为足势状态S1*{S2}被满足。
相应的有限长度BiJump足势被表示为BiJump_n(n=1,2,3,...),其中n是由足势指定的跳跃次数。
将脚指向方向相关的足势特征结合到上面讨论的各种步行,跳跃,单脚跳足势可得到更富的足势。
指向步行作为双脚足势
描述:用户步行运动,左脚和右脚交替地离开地面,而步行的方向基于单脚脚指向方向或用户脚双脚指向的方向给出,例如,支撑脚指向方向。
指向步行双脚足势,表示为VWalk,可以具有以下足部手势状态序列:{A|B}+{}+VLF->{A|B}+{C|D}->{}+{C|D}+VRF->{A|B}+{C|D}->{A|B}+{}+VLF
足势具有三个足势状态{A|B}+{}+VLF,{A|B}+{C|D},以及{}+{C|D}+VRF
足势状态{A|B}+{}+VLF具有由{A|B}+{}给出的对双脚触地状态的要求,并且要求左脚指向方向足势特征VLF
足势状态{A|B}+{C|D}具有由{A|B}+{C|D}给出的双脚足势状态有要求。
足势状态{}+{C|D}+VRF具有由{}+{C|D}给出的双脚足势状态有要求,并且要求有右脚指向方向足势特征VRF
对应的有限长度VWalk足势表示为VWalk_n(n=1,2,3......),其中n是指定对步行步数的要求。
指向跑动做为双脚足势
描述:用户跑步运动,左脚和右脚交替地接触地面,而每步跑动方向基于单脚脚指向方向或用户双脚脚的方向给出,例如,支撑脚指向方向。
指向跑动足势,表示为VRun,可以具有以下足势状态序列:{A|B}+{}+VLF->{}->{}+{C|D}+VRF->{}->{A|B}+{}+VLF->{}->{}+{C|D}+VRF
相应的有限长度VRun足势表示为VRun_n,(n=1,2,3......),其中n指定跑动步数。
指向跳跃双脚足势
描述:用户跳跃运动,左脚和/或右脚的接触地面而后两只脚同时离开地面,而每个跳跃的方向基于单脚脚指向方向或用户双脚脚指向方向给出。
指向跳跃足势,表示为VJump,可以具有以下足势状态序列:{A|B|C|D}+VLF+VRF->{}->{A|B|C|D}+VLF+VRF->{}->{A|B|C|D}+VLF+VRF->{}…
相应的有限长度VJump足势表示为VJump_n,(n=1,2,3......),其中n指定的跳跃次数。
注意,在足势状态{A|B|C|D}+VLF+VRF处评估每步跳跃的方向。跳跃方向的评估基于VLF,VRF以及双脚触地状态。例如,当足势状态{A|B|C|D}检测到触地状态{AB},可以使用VLF作为跳跃方向;当手势状态{A|B|C|D}检测到触地状态{ABC},可以将跳跃方向评估为VLF和VRF的组合。这是另一个例子说明脚指向和触地状态信息的联合使用是的重要性。跳跃方向评估的实现可能因不同的应用、性能要求或用户偏好而异。
类似地,可以定义指向单脚跳跃和双脚跳跃足势。
左脚单脚指向跳跃,表示为VLHop,可具有以下足势状态序列:VLF+{A|B}+{}->{}->VLF+{A|B}+{}->{}->VLF+{A|B}+{}->{}…
相应的有限长度VLHop足势表示为VLHop_n,(n=1,2,3......),其中n指定的跳跃次数。
指向右脚单脚跳跃,表示为VRHop,可以具有以足势状态序列VRF+{}+{C|D}->{}->VRF+{}+{C|D}->{}->VRF+{}+{C|D}->{}…
相应的有限长度VRHop足势表示为VRHop_n,(n=1,2,3......),其中n指定的跳跃次数。
定向双足跳跃足势,表示为VBiJump,可以具有以下足势状态序列:{A|B|C|D}*{{A|B}+{C|D}}+VLF+VRF->{}->{A|B|C|D}*{{A|B}+{C|D}}+VLF+VRF->{}->{A|B|C|D}*{{A|B}+{C|D}}+VLF+VRF->{}…
对应的有限长度VBiJump足势表示为VBiJump_n,(n=1,2,3...),其中n指定的跳跃次数。
类似于VJump_n,基于足特征VLF,VRF和脚触地状态来完成每次跳跃时跳跃方向的评估。具体实施可能因不同的应用,性能要求或用户体验而有所不同。
除了脚指向方向相关的足势特征和脚触地状态之外,用户脚倾斜角γLR(1001/1002)还可以用作支持足势定义和检测的足势特征。对于踩地(tapDown)或指向踩地足势,脚倾角可用作附加参数。图25示出了与踩地(Tapdown)或指向踩地足势相关联的脚倾斜角度。
如图25所示,在Tapdown或指向Tapdown足势中,用户的脚底不与地面平行。为了表征脚倾斜位置,可以使用用户左/右脚脚倾斜角γLR(1001/1002),该角度是从脚底沿脚底面中线(1003)到水平地面的角度。
作为另一种类型的足势特征,脚倾斜角可以结合到单脚指向踩地(Tapdown)足势,包括VLF+{A},VLF+{B},VRF+{C}和VRF+{D},以在很多应用中提供理想的用户体验。
这些具有脚倾斜角度的足势均具有一个足势状态,例如,VLFL+{A},VLFL+{B},VRFR+{C}和VRFR+{D}
足势状态VLFL+{A},也是足势,因为该足势仅具有一个足势状态,要求用户的左脚脚触地状态为{A}并且需要足势的VLF和γL信息。
例如,具有倾斜角度的这类指向踩地(Tapdown)足势可以用于一个方向上的运动控制(例如,如图23所示,以替换操纵杆的功能)。相应的脚的倾斜角度可以用作控制参数(表示控制的“强度”)以表示在目标方向上的移动速度(例如,更大的倾斜角度对应于更高的移动速度)。在没有额外倾斜角度的情况下,定向踩地(Tapdown)足势仅可用于指示是否应在一个方向上移动。
类似地,脚倾斜角度可以与仅与触地状态相关的足势一起使用,例如图22中所示的仅一组触地状态足势,以表示控制的“强度”。
在另一个示例中,如图27所示的指向踩地(Tapdown)足势,例如VRF+{D},可以用于汽车驾驶应用中以进行加速和制动控制。如图27a所示,在一个方向上的指向踩地(Tapdown)足势VRF+{D}可用于制动,并且如图27b所示的另一方向上的指向踩地(Tapdown)足势VRF+{D}可用于加速。相应的附加脚倾斜角度可以用作足势“强度”信息,以指示用户踩地加速或制动的强度以获得逼真的用户驾驶控制体验。
另外,除了脚倾斜角度γLR(1001/1002)之外,鞋底区域A,B,C和D处的压力水平可以用足势特征以指示足势“强度”或用于定义和检测新的足势类型。
脚倾斜角的引入实际上将用户脚指向方向扩展到3维(3D)空间。图28示出了脚倾斜角度γLR(1001/1002)、原来的2D脚指向方向矢量VLF/VRF(701/702)和3D脚指向方向VLF3D/VRF3D(1003/1004)在当地静止(固定/非旋转)3D坐标系中的关系。该坐标系不随用户移动而转动。假设该当地3D坐标系的X-Y平面是水平的(或平行于水平地面),坐标系的Z轴垂直于X-Y平面。2D脚指向方向在X-Y平面中定义,并且可以由脚指向方向矢量VLF/VRF(701/702)指定。3D脚指向方向矢量VLF3D/VRF3D与图3中的矢量1003/1004相同。可以看出VLF/VRF(701/702)是X-Y平面中VLF3D/VRF3D(1003/1004)的投影方向矢量。而γLR(1001/1002)定义在由VLF3D/VRF3D(1003/1004)和当地Z坐标轴形成的平面中,是3D脚指向方向相对于X-Y平面的仰角。
例如,脚倾斜角可以用于定义各种拍地足势。例如,可以使用脚倾角信息重新定义单脚第一类拍地足势。
使用倾角定义的左脚第一类拍地足势,表示为LFTapIwT,具有以下脚足势状态序列。{B,AB}+γL_u+{0≤γL}->{B,AB}+γL_d+{0≤γL}->{B,AB}+γL_u+{0≤γL}->{B,AB}+γL_d+{0≤γL}->{B,AB}+γL_u+{0≤γL}->{B|AB}+γL_d+{0≤γL}……
该足势具有两个足势状态,即{B,AB}+γL_u+{0≤γL}和{{B|AB}+γL_d+{0≤γL},具有对左脚触地状态和左脚倾斜角度的要求。
足势状态{B,AB}+γL_u+{0≤γL}有三个对足势特征的要求。它要求i)脚触地状态为{B}或{AB},ii)左脚倾斜角度增加(该要求用_u表示),以及iii)左脚倾斜角度是非负的,表示为{0≤γL}。
足势状态{B,AB}+γL_d+{0≤γL}有三个对足势特征的要求。它要求i)脚触地状态为{B}或{AB},ii)左脚倾斜角度减小(该要求用_d表示),以及iii)左脚倾斜角度是非负的,表示为{0≤γL}。
这里每个足势状态的表示中,三个不同的对足势状态特征的要求用“+”号组合。
相应的有限长度的使用倾角定义的左脚第一类拍地足势表示为LFTapIwT_n,(n=1,2,3,4,5......)
类似地,使用脚倾角定义的左脚第二类拍地足势,表示为LFTapIIwT,具有以下足势状态序列。
{A,AB}+γL_u+{γL≤0}->{A,AB}+γL_d+{γL≤0}->{A,AB}+γL_u+{γL≤0}->
{A,AB}+γL_d+{γL≤0}->{A,AB}+γL_u+{γL≤0}->{A,AB}+γL_d+{γL≤0}……
该足势具有两个足势状态{A,AB}+γL_u+{γL≤0}和{A,AB}+γL_d+{γL≤0}。
足势状态{A,AB}+γL_u+{γL≤0}有三个对足势特征的要求。它要求i)脚触地状态为{B}或{AB},ii)左脚倾斜角度增加(该要求用_u表示),以及iii)左脚倾斜角度是非正的,表示为{γL≤0}。
足势状态{A,AB}+γL_d+{γL≤0}对足势特征有三个要求。它要求i)脚触地状态为{B}或{AB},ii)左脚倾斜角度减小(该要求用_d表示),以及iii)左脚倾斜角度是非正的,由{γL≤0}表示。
对应的有限长的使用脚倾角定义的左脚第二类拍地足势表示为LFTapIIwT_n,(n=1,2,3,4,5......)。
类似地,对于右脚足势,使用脚倾角定义的右脚第一类拍地足势,表示为RFTapIwT,具有以下足势状态序列。
{D,CD}+γR_u+{0≤γR}->{D,CD}+γR_d+{0≤γR}->{D,CD}+γL_u+{0≤γR}->
{D,CD}+γR_d+{0≤γR}->{D,CD}+γR_u+{0≤γR}->{D,CD}+γR_d+{0≤γR}……
对应的有限长的使用脚倾角定义的右脚第一类拍地足势表示为RFTapIwT_n,(n=1,2,3,...)
类似的,使用脚倾斜角定义的右脚第二类拍地足势可被定义为一下足势状态转换序列,包括对右脚触地状态以及右脚脚倾斜角的要求。
γR_u+{γR≤0}->{C|CD}+γR_d+{γR≤0}->{C|CD}+γR_u+{γR≤0}->{C|CD}+γR_d+
R≤0}->{C|CD}+γR_u+{γR≤0}->{C|CD}+γR_d+{γR≤0}……
有限长的使用脚倾斜角定义的右脚第二类拍地足势表示为RFTapIIwT_n
同样的使用脚倾斜角度作为足势特征的另一类足势是3D指向踩地(Tapdown)足势。该类足势是由如图20和图21所示(2D)指向踩地(Tapdown)足势附加脚倾角信息的延伸。这些3D指向踩地(Tapdown)足势是仅具有一个足势状态的足势,包括
左脚前部指向踩地足势:VLFL+{A}
左脚跟指向踩地足势:VLFL+{B}
右脚前部指向踩地足势:VRFR+{C}
右脚跟指向踩地足势:VRFR+{D}
单脚3D指向踩地(Tapdown)足势分别表示为VLF3DA,VLF3DB,VRF3DC和VRF3DD,可用于许多应用中以实现虚拟3D空间中导航方向控制。
类似地,双脚足势,例如图23所示的双脚指向踩地足势(Bi-foot DirectedTapdown),可通过增加脚倾斜角度足势特征以扩展为3D双脚指向踩地足势(3D Bi-footDirected Tapdown),用于增强的2维或3维导航控制。例如,双脚指向踩地足势(Bi-footDirected Tapdown)VLFA+{CD},VRFC+{AB},VLFB+{CD}和VRFD+{AB}可以扩展为3D双脚指向踩地足势(3D directed Bi-foot Tapdown)VLFL+{A}+{CD},VRFR+{C}+{AB},VLFL+{B}+{CD}和VRFR+{D}+{AB},分别表示为VLF3DA+{CD},VRF3DC+{AB},VLF3D B+{CD}和VRF3DD+{AB}。
如本公开中先前所介绍的,从3D脚移动轨迹(1008/1009)可以提取许多脚移动轨迹状态相关特征并将其用作足势特征。在不失一般性的情况下,假设脚移动轨迹具有轨迹状态VTraj[k1],VTraj[k1+1],VTraj[k1+2],...,VTraj[k2],k1<k2,且与某足势相关。表1中列出了可从脚移动轨迹状态提取的脚移动轨迹相关特征的一些示例。
表1.脚移动轨迹状态相关特征的示例列表
脚移动轨迹常常(但不总是)与涉及脚在空中移动的足势相关,例如单脚足势,如左/右脚踏步(step)和双脚足势,如,走动(walk),跑动(run)和各种跳跃及其相应的有限长度足势,如Walk_n,Run_n,Jump_n等。
左脚/右脚移动轨迹状态和从脚移动轨迹状态导出的各种轨迹特征都是可以用作足势特征的脚移动轨迹相关特征。
至此,已经介绍了用于足势检测的关键概念,例如足势,足势状态和足势特征。如前所述,各种类型的足势,足势状态可以基于各种足势特征来定义。足势特征包括(2D)脚指向方向,脚触地状态,脚倾斜角度,脚移动轨迹状态相关特征等。
总结如下。用户足势是足势状态的序列。每个足势状态包括对于一组足势特征的一组要求。最重要的足势特征是用户脚触地状态和用户2D脚指向方向(可以以不同的方式给出,例如,脚指向方向矢量VLF/VRF(701/702)或脚指向角度ωLR(707/708))。附加的足势特征包括脚倾斜角度,脚滚动角度(侧倾角),脚移动轨迹状态相关的足势特征等。
表2示出了组势特征的列表。该表不包含所有足势特征。
表2.足势特征列表
表3列出了本公开中的关键术语并说明其含义。
表3.与足势相关的关键术语列表
足势特征信息获取设备及其方法总结如下。
足势特征信息获取设备(例如罗盘传感器嵌入式鞋类系统)能够与电子设备通信。足势特征信息获取设备能够在数据采样或信息获取时间获取与包括2D脚指向的各种足势特征有关的信息(以某种形式,例如,脚方向矢量VLF/VRF(701/702)或脚指向角ωLR(707/708)),融合的用户(前向)方向矢量VFWD 709,以及诸如单脚触地状态和/或双脚触地状态的脚触地状态。
足势特征信息获取设备还可以从用户的一只脚或两只脚获得与包括脚倾斜角γLR(1001/1002)附加足势特征有关的信息。
足势特征信息获取设备还可以获得与包括各种脚移动轨迹状态相关特征的附加足势特征有关的信息。
在数据采样时间,所获取的足势特征相关的信息通过通信链路被发送用于足势检测的电子设备。这使得足势特征信息获取设备成为输入设备。注意,当该电子设备也是足势特征信息获取设备时,通信链路可以是内部通信链路。在一些实施例中,例如在罗盘传感器嵌入式鞋类系统中,多个物理上分开的设备可以一起作为足势特征信息获取设备工作。
在讲述足势检测方法和设备之前,关键概念的总结和进一步说明如下。
用户足势(包括各种单脚足势和双脚足势)对应于(预定义的)足势状态序列。足势状态的序列指定i)该足势(允许的)一组足势状态,以及ii)足势状态的所需遵守的状态转换。足状态序列的长度可以是1到无穷大。
足势状态对应于对一组足势特征的一组要求(参见表2)。每个足势状态涉及一组特定的足势特征。例如,在拍地(Tap)足势中,如第一类拍地足势,它们的足势状态使用脚触地状态(与脚触地状态相关);在单脚摆动(Wiggle)足势中,例如LFWig_n,足势状态与脚指向方向有关;又如,在指向踩地(Tapdown)足势中,例如VLF A,足势状态与脚指向和脚触地状态都有关。
足势状态对足势特征的要求可以以各种形式给出。表4列出其中一些常用的类型。
表4.足势状态对足势特征的要求类型
以下足势示例用于进一步解释足势,足势状态以及足势状态对足势特征的要求。
足势示例1
左脚第一类拍地(Tap)足势具有以下足势状态序列{AB}->{B}->{AB}->{B}->{AB}…该足势由两个足势状态组成,即{AB}和{B},由其对(单/左脚)脚触地状态势特征的要求定义。足势状态{AB}要求左脚触地状态为{AB}。另一个足势状态具有要求{B},要求左脚触地状态为{B}。
足势示例2
作为另一示例,作为双脚足势的走动Walk足势基于双脚触地状态并且具有如下的足势状态序列,{AB,A,B}->{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}->{CD,C,D}->{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}->{AB,A,B}->{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}->{CD,C,D}或可等效表示为,{A|B}->{A|B}+{C|D}->{C|D}->{A|B}+{C|D}->{A|B}。
该足势具有三个足势状态。第一个足势状态由要求{AB,A,B}(或等效地表示为{A|B})定义,要求双脚触地状态为{A}或{AB}或{B},对应于要求用户的左脚触地同时用户的右脚不接触地面。
第二个足状态由要求{ABCD,ABC,ABD,ACD,BCD,AC,BC,AD,BD}(相当于{A|B}+{C|D})定义,要求双脚触地状态为{ABCD}或{ABC}或{ABD}或{ACD}或{BCD}或{AC}或{BC}或{AD}或{BD},这对应于要求用户的左脚和右脚同时触地。
第三个足势状态由要求{CD,C,D}(或等效地{C|D})定义,要求双脚触地状态为{C}或{D}或{CD},对应于要求用户的右脚触地并且左脚不接触地面。
定义走动Walk足势的足势状态序列还指定了三个足势状态的转换。例如,从脚足势状态{A|B}到足势状态{C|D}的转换,即{A|B}->{C|D},是不允许的转换,这将违反足势状态序列并结束走动足势。
足势示例3
作为另一示例,基于包括用户左脚触地状态和左脚倾斜角度足势特征,第一个足势状态可以由要求{B,AB}+{-5<γL<5}定义,要求左脚触地状态属于集合{B,AB},并且左脚倾斜角在-5度和5度之间。第二个足势状态可以由要求{A,AB}+{-5<γL<5}定义,要求左脚触地状态属于一组{B,AB}并且左脚倾斜角落在一个区间中在5度到15度之间。第三脚手势状态可以由{A,AB}+{5≤γL≤15}定义,要求左脚触地状态属于集合{B,AB},并且左脚倾斜角大于15度。
基于足势特征包括用户左脚触地状态和左脚倾斜角度,一种左脚拍地足势可以通过三个足势状态构成的序列定义为{B,AB}+{-5<γL<5}->{A,AB}+{5≤γL≤15}->{A,AB}+{15<γL}->{A,AB}+{5≤γL≤15}->{B,AB}+{-5<γL<5}->{A,AB}+{5≤γL≤15}->{A,AB}+{15<γL}…
足势示例4
基于与示例3中相同的一组足势特征,即左脚触地状态和左脚倾斜角度,可给出左脚拍地足势的另一个定义{{{B,AB}+{-5<γL<5}}|{{A,AB}+{5≤γL≤15}}}*{{B,AB}+{-5<γL<5}}->{{{A,AB}+{15<γL}}|{{A,AB}+{5≤γL≤15}}}*{{A,AB}+{15<γL}}->{{{B,AB}+{-5<γL<5}}|{{A,AB}+{5≤γL≤15}}}->}->{{{A,AB}+{15<γL}}|{{A,AB}+{5≤γL≤15}}}*{{A,AB}+{15<γL}}。该足势定义有两个足势状态。
一个足势状态由要求{{{B,AB}+{-5<γL<5}}|{{A,AB}+{5≤γL≤15}}}*{{B,AB}+{-5<γL<5}}定义。该要求规定足势特征或者满足{{B,AB}+{-5<γL<5}}或者满足{{A,AB}+{5≤γL≤15}}。此外足势状态{{{B,AB}+{-5<γL<5}}|{{A,AB}+{5≤γL≤15}}}*{{B,AB}+{-5<γL<5}}具有标志子足势状态{B,AB}+{-5<γL<5},规定该标志子足势状态必须在离开足势状态之前被被满足过。
另一个足势状态由要求{{{A,AB}+{15<γL}}|{{A,AB}+{5≤γL≤15}}}*{{A,AB}+{15<γL}}定义。该要求规定足势特征或满足{A,AB}+{15<γL}或者满足{A,AB}+{5≤γL≤15}。此外该足势状态具有标志子足势状态{A,AB}+{15<γL},要求该标志子足势状态必须在离开足势状态之前被被满足过。
支持检测各种足势和基于足势的设备/应用程序控制和交互的方法和设备描述如下。
图24示出了用于检测预定义足势的一般处理流程,该足势可以是任何足势,例如,步行Walk,跑步Run,Walk_n,LFHop,VWalk,LFWig_n等。
为进行足势检测,足势特征信息获取设备在数据采样/获取时间提供与足势特征有关的信息。在一些实施例中,当在新的(当前)采样时间来自足势特征信息获取设备的信息被电子设备的信息接收器接收时,电子设备的足势检测单元执行图24所示的足势检测处理流程。注意,在一些实施例中,可以存在多个足势特征信息获取设备同时向电子设备发送与足势特征有关的信息。
在步骤7001中,使用来自足势特征信息获取设备(例如,罗盘传感器嵌入式鞋类系统)的信息来获得当前(更新的)足势特征。足势特征信息获取设备提供与足势特征有关的信息,可以包括足势特征和/或可用于推倒足势特征的信息。在足势特征信息获取设备不能直接获得检测预定义足势所需的足势特征的情况下,步骤7001包括处理所接收的信息以得到缺失的足势特征。这种处理的示例包括处理压力测量以导出用户脚触地状态,以及处理来自足势特征信息获取设备的传感器测量值以获得脚移动轨迹状态相关的足势特征。
步骤7002使用所获得的当前足势特征来检测预定义的足势的当前(检测到的)足势状态。当当前足势特征满足足势状态对足势特征的所有要求时,判定检测到足势状态。步骤7002的结果可以是i)检测到(当前)足势状态,或者ii)未检测到预定义足势的足势状态。
然后,基于步骤7002的结果,步骤7003更新检测到的足势状态的序列,即检测到的足势状态序列。这里,使用一个示例来解释检测到的足势状态序列和在步骤7003中完成的更新。
在不失一般性的情况下,假设预定义的足势具有表示为S1,S2,S3,S4,S5的足势状态;并且假设足势具有预定义的足势状态序列,如S1->S2->S4->S3->S1->S5。、
为了检测预定义的足势,根据从当前和过去步骤7002确定的足势的足势状态,在步骤7003中导出(更新)检测到的足势状态序列。如果在当前处理轮次中,步骤7002检测到以上足势状态之一,例如S1,且该足势状态与已检测到的足势状态序列末尾的足势状态(对应于最近的足势状态)不同。在已检测到的足势状态序列中,通过将新检测到的足势状态(例如S1)添加到已检测到的足势状态序列的末尾作为该序列中的最新的足势状态,得到状态序列如,......->S1。
如果在当前处理轮次中,步骤7002检测到的足势状态,例如S1,与已检测到的足势状态序列结尾的足势状态相同,则已检测到的足势状态序列无须更新。
如果在当前处理轮次中,步骤7002没有检测到属于预定义足势的足势状态,则检测到“无效”状态,表示为Null,并将其添加到已检测到的足势状态序列末尾,例如......->S1->Null。
虽然用于获得检测到的足势状态序列的过程可以变化。检测到的足势状态序列记录了当前和历史处理轮次中步骤7002检测到的足势状态和无效状态的转换(对应于没有检测到属于预定义足势的足势状态)。
利用从步骤7003获得的更新的检测到的足势状态序列,步骤7004通过判断预定足势的足势状态序列是否与步骤7003所得更新的检测到的足势状态序列匹配来检测预定义足势。
对于具有有限长度N的足势状态序列的足势,匹配要求检测到的足势状态序列的最近(最新)N个状态与预定义足势足势状态序列完全匹配。
回到先前的示例,检测到的足势状态序列可能是.......S1->S2->S1->S5->Null->S2->S5。当获得更新的检测到的足势状态序列时,具有足势状态序列S1->S2->S4->S3->S1->S5的预定义足势与足势状态序列(在当前处理轮次)匹配,仅当在步骤7003中检测到的足势状态序列具有序列......->S1->S2->S4->S3->S1->S5。
对于具有不确定(无限)长度足势状态序列的足势,可以在任何检测到的足势状态下判定检测到的足势状态序列和预定义足势的足势状态序列匹配。当检测到的足势状态序列的一部分(从判定匹配的状态开始到检测到的足势状态序列的最近状态)不能与预定义足势的状态序列的任何部分完全匹配,即违反预定义足势规定的足势状态转换要求时,判断检测的足势状态序列与预定义足势状态序列不匹配。
如果在步骤7004中,得到检测到的足势状态序列与预定义足势的足势状态序列匹配的判定,则处理流程前进至步骤7006以声明在当前时间/处理轮次检测到预定义足势,完成当前轮次的处理。
如果在步骤7004中,得到检测到的足势状态序列与预定义足势的足势状态序列之间的不匹配的判定,则处理流程前进到步骤7005以声明在当前时间/处理轮次未检测到预定义足势,完成当前轮次处理。
图4所示的处理流程的足势检测方法通常由电子设备的足势检测单元实现以检测各种用户足势。
电子设备应具有信息接收器,被配置为从信息获取设备接收与足势特征有关的信息。在一些实施例中,电子设备也可以是足势特征信息获取设备。在这种情况下,信息接收器使用电子设备内部通信功能接收与足势特征有关的信息。
当电子设备的足势检测单元检测到用户足势时,电子设备的命令生成单元生成与检测到的足势相对应的控制信号。这类控制信号可以采取各种形式,包括消息,足势事件,功能调用等。检测到的足势还可以提供各种足势特征,例如用户脚指向,用户脚倾斜角度等,作为控制信号的一部分。控制信号可以由电子设备的操作系统使用,以支持基于足势的设备控制和设备交互。控制信号还可以被发送到各种软件程序、在电子设备上运行的应用程序,以支持基于足势的应用程序控制和用户应用程序交互。控制信号还可以通过通信链路发送到其它电子设备,以控制该电子设备和/或在电子设备上运行的应用程序。
应用
作为输入设备的足势特征信息获取设备可以用作脚操作的控制器,以支持基于足势的设备/应用程序控制和用户-设备/用户-应用程序交互。下面讨论一些有前景的应用领域。
脚操作的控制器,例如罗盘嵌入式鞋类系统,可用作手操作控制装置的补充输入装置。
它可以与游戏控制台控制器一起使用以获得新的和增强的用户体验。使用具有操纵杆和方向按钮的传统游戏控制器的游戏应用程序容易给双手过多控制任务。脚操作控制器允许使用足势来代替操纵杆或方向按钮组的功能,这有效地减少了用户手的控制任务。用户的重心转移和各种足势可用于游戏控制,以提供更具吸引力的游戏体验。
脚操作控制器(例如,罗盘嵌入式鞋类系统)可以与移动设备和应用一起使用以实现新的和增强的用户体验。当使用诸如智能电话或平板电脑的移动设备时,用户的手需要拿住设备,这使得使用手指进行设备和应用控制变得困难。脚操作控制器允许用户使用丰富的足势来与移动设备和应用程序交互,并提供更真实和自然的用户体验。
脚操作控制器,例如罗盘嵌入式鞋类系统,可用于例如Kinect应用中的无手的控制。在许多应用中需要无手的设备和应用程序控制以提供更轻松的用户体验。当用户的手无需握住控制器,用户还可以更自由地使用手势来与应用程序交互。无手控制的一个例子是Xbox的Kinect。然而,基于视频的手部和身体姿势识别在手势检测速度方面具有局限性。此外,Kinect缺乏足势检测功能,用户需要始终面对Kinect摄像头。脚操作控制器提供来自用户脚的有价值的信息(足势信息,脚指向信息等),并且可以成为Kinect的一个很好的补充控制设备,以实现改善和新颖的用户体验。
对于需要从手操作控制装置不可获得的脚指向方向信息和足势信息的应用,脚操作控制器是必不可少的。在现实世界中,有很多情况下人们的脚都被用于控制目的。在汽车驾驶中,驾驶员使用右脚踏在油门踏板和刹车踏板上实现加速和减速。在滑雪和滑冰中,主要控制来自脚部动作和脚指向而不是手。在网球比赛中,球员的步法是他/她的比赛的关键部分。使用来自脚操作控制器的用户足势和脚指向信息,可以在包括滑雪,滑冰,网球,足球,驾驶游戏的应用中实现真实的用户体验。一下列出一些应用想法。
滑雪游戏:来自脚操作控制器的脚指向方向允许模拟逼真的滑雪板,地面,重力相互作用以实现真实的游戏体验。
网球游戏:利用脚踏控制器,诸如双脚指向踩地(Tapdown)足势,指向走动Walk,指向跑动Run,带有轨迹特征的走动/跑动Walk/Run等的用户足势可用于在场地中的移动控制。脚触地状态信息和脚指向方向信息可用于生成新的足势以检测用户的步法。
足球游戏:脚操作控制器允许使用各种足势进行运动控制。来自脚操作控制器的信息可用于检测踢球方向并区分不同的传球和射门技术。足势可以用于以下的应用,包括,具有脚移动轨迹特征的单脚踏地足势Step,例如(LFStep+Traj-1)_n,(RFStep+Traj-1)_n,(LFStep+Traj-2+Traj-5)_n,(RFStep+Traj-2+Traj-5)_n等,以及具有脚移动轨迹特征的各种双脚足势。
驾驶游戏:脚操作控制器允许使用诸如右脚指向踩地足势(Directed Tapdown)或有脚倾角信息的指向踩地足势(Directed Tapdown with tilt)以实现加速和减速控制。
脚操作控制器能够将用户转动和现实世界中的目标移动方向映射到虚拟世界以实现逼真的虚拟世界中的导航。
在用于虚拟世界中导航控制的传统控制方案中,通常,用户的移动方向以用户的观看方向为参考给出。结果,用户观看方向的改变也改变了用户的移动方向。
然而,在现实世界中,人的观看方向和移动方向是独立控制的。一个人的观看方向由他/她的脖子控制;且一个人的移动方向与观看方向无关,移动方向通常与他/她的脚指向方向大致一致。在现实世界中,一个人可以朝着一个方向移动并环顾四周而不改变移动方向。然而,利用传统的导航控制方案,不能在虚拟世界中实现这种日常的体验。
脚操作控制器能够在固定坐标系统中提供用户脚指向方向信息,该固定坐标系统不随用户移动而改变,脚指向方向可以进一步映射到虚拟世界中的固定坐标系。脚指向方向信息可以自然地用于导出用户的预期移动方向,这样有效地将用户在现实世界中的转动映射到虚拟世界中的转动。
当用户使用移动设备或佩戴视频眼镜时,上述控制方式特别有用,因为用户可以容易地转动。通过脚操作控制器提供用户移动方向的独立控制,可以实现现实生活中的观看体验,例如向一个方向移动的同时环顾四周或侧视。

Claims (29)

1.一种方法,包括:
获取与足势特征相关的信息,足势特征包括用户的一只脚或两只脚中的每一只的脚指向方向中的一个或多个,用户的一只脚的脚触地状态,以及用户的双脚触地状态,其中脚触地状态由用户的脚底的一个或多个部分是否接触或按压支撑平台来确定,支撑平台包括地面;以及
将获取的与足势特征有关的信息发送到电子设备以进行足势检测。
2.根据权利要求1所述的方法,其中所述足势特征还包括用户的一只脚或两只脚的脚倾角。
3.根据权利要求1或2所述的方法,其中所述足势特征还包括与用户的一只脚或两只脚的脚移动轨迹状态相关特征。
4.根据权利要求3所述的方法,其中,所述脚移动轨迹状态包括所述脚的位置,速度和加速度。
5.权利要求1所述的方法,其中:
基于用户脚底的前部和后跟部分是否接触或按压支撑平台来确定脚触地状态,支撑平台包括地面。
6.一种方法,包括:
从信息获取设备接收与足势特征有关的信息;
使用所接收的信息获得足势特征;
使用获得的足势特征检测足势;和
基于检测到的足势产生控制信号。
7.权利要求6所述的方法,其中:
足势包括一系列足势状态,和
每个足势状态包括对与足势相关的脚足势特征的一组要求。
8.权利要求7所述的方法,其中,使用所获得的足势特征检测足势的步骤包括:
当获得的足势特征满足足势状态的所有要求,判定检测到被检测足势的足势状态;
当由检测到的足势状态形成的序列与被检测足势的足势状态的序列匹配时,判定检测到足势;和
如果由检测到的足势状态形成的序列与被检测足势的足势状态的序列不匹配,则判定未检测到足势。
9.根据权利要求6所述的方法,其中所述足势特征包括:
用户的一只脚或两只脚的每个脚的指向方向,和/或
每个用户的一只脚或两只脚的脚触地状态,
其中,根据用户的脚底的一个或多个部分是否接触或按压支撑平台来确定脚触地状态,所述支撑平台包括地面。
10.根据权利要求9所述的方法,其中,所述脚触地状态是基于用户的脚底的前部和后跟部分是否接触或按压支撑平台,所述支撑平台包括地面。
11.根据权利要求9所述的方法,其中,所述足势特征还包括用户的一只脚或两只脚中的每一个脚的脚倾角。
12.根据权利要求9所述的方法,其中,所述足势特征还包括与用户的一只脚或两只脚的脚移动轨迹状态相关特征。
13.如权利要求6所述的方法,还包括:
当从信息获取设备接收的信息与足势特征间接相关时,处理所接收信息以获得足势特征。
14.一种信息获取设备,包括:
信息获取组件,被配置为获取与足势特征相关的信息,所述足势特征包括用户的一只脚或两只脚中的每一个的脚指向方向中的一个或多个,用户的一只脚的脚触地状态,以及用户双脚的脚触地状态,其中,脚触地状态由用户脚底的一个或多个部分是否触摸或按压支撑平台来确定,支撑平台包括地面;以及
通信组件,被配置为将所获取的与足势特征有关的信息发送到用于足势检测的电子设备。
15.权利要求14所述的装置,其中所述足势特征还包括用户的一只脚或双脚的脚倾角中的一个或多个,以及用户的一只脚或两只脚的脚移动轨迹状态相关的特征中的一个或多个。
16.根据权利要求14所述的装置,其中所述信息获取组建包括罗盘传感器组件,所述罗盘传感器组件包括罗盘传感器,加速度传感器,角速率传感器(陀螺仪),整合在一个平台。
17.根据权利要求16所述的装置,其中所述一个平台放置在与用户的脚的中部对应的位置处,以便在各种脚触地状态下获得的脚倾斜角度。
18.根据权利要求16所述的装置,其中,所述信息获取组件还包括用于获得脚触地状态的一个或多个压力传感器。
19.根据权利要求18所述的装置,其中所述一个或多个压力传感器被放置在与用户的脚底的前部和用户的脚底的脚跟部相对应的位置处,以便确定用户脚的相应部分是否接触或按压包括地面的支撑平台。
20.如权利要求14所述的设备,还包括脚可穿戴设备。
21.一种电子设备,包括:
信息接组件,用于从信息获取设备接收与足势特征相关的信息;
足势检测器,用于使用接收到的信息获取足势特征,并使用获得的足势特征检测足势;和
命令生成器,基于检测到的足势生成控制信号。
22.如权利要求21所述的设备,其中:
足势包括一系列足势状态,和
每个足势状态包括对与足势相关足势特征的一组要求。
23.根据权利要求22所述的装置,其中所述足势检测器进一步配置为:
当获得的足势特征满足足势状态对足势特征的要求时,确定检测到被检测足势的足势状态;
当由检测到的足势状态形成的序列与被检测足势的足势状态的序列匹配时,确定当前检测到足势;和
如果由检测到的足势状态形成的序列与足势的足势状态的序列不匹配,则确定当前未被检测到足势。
24.根据权利要求21所述的装置,其中所述足势特征包括:
用户的一只脚或两只脚的每个脚的脚指向方向,和/或
每个用户的一只脚或两只脚的脚触地状态,
其中,基于用户脚底的一个或多个部分是否接触或按压支撑平台(支撑平台包括地面)来确定脚触地状态。
25.如权利要求24所述的设备,其中:
基于用户脚底的前部和后跟部分是否接触或按压支撑平台(支撑平台包括地面)来确定脚触地状态。
26.根据权利要求24所述的装置,其中所述足势特征还包括用户的一只脚或两只脚中的每一个脚的脚倾角。
27.根据权利要求24所述的装置,其中所述足势特征还包括用户的一只脚或两只脚的脚移动轨迹状态相关的特征。
28.根据权利要求21所述的装置,其中所述足势检测器进一步配置为:
当从信息获取设备接收的信息与足势特征间接相关时,处理信息并获得足势特征。
29.一种非暂时性计算机可读存储介质,存储计算机可执行指令;当指令被执行时,一个或多个处理器执行根据权利要求6-13中任一项所述的方法。
CN201780056122.4A 2016-09-13 2017-09-13 足势信息获取,检测及应用的方法和设备 Pending CN109791512A (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662394048P 2016-09-13 2016-09-13
US62/394,048 2016-09-13
US15/283,764 2016-10-03
US15/283,764 US10448892B2 (en) 2016-09-13 2016-10-03 Compass-sensor embedded footwear system and operation method thereof
US201615331410A 2016-10-21 2016-10-21
US15/331,410 2016-10-21
US201762470848P 2017-03-13 2017-03-13
US62/470,848 2017-03-13
US201762483966P 2017-04-11 2017-04-11
US62/483,966 2017-04-11
PCT/US2017/051431 WO2018053055A1 (en) 2016-09-13 2017-09-13 Methods and devices for information acquisition, detection, and application of foot gestures

Publications (1)

Publication Number Publication Date
CN109791512A true CN109791512A (zh) 2019-05-21

Family

ID=61618968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056122.4A Pending CN109791512A (zh) 2016-09-13 2017-09-13 足势信息获取,检测及应用的方法和设备

Country Status (2)

Country Link
CN (1) CN109791512A (zh)
WO (1) WO2018053055A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081346A (zh) * 2020-01-14 2020-04-28 深圳市圆周率智能信息科技有限公司 运动效率分析方法、装置、可穿戴设备和计算机可读存储介质
CN112084372A (zh) * 2020-09-14 2020-12-15 北京数衍科技有限公司 行人轨迹更新方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633007A (zh) * 2018-06-20 2019-12-31 田昕 足势信息获取,检测及应用的方法和设备
AT521937A2 (de) * 2018-12-13 2020-06-15 Cybereshoes Gmbh Automatisches kalibrieren eines sensorsystems zum best immen der bewegungsrichtung eines anwenders in einem vr-system
CN109489694A (zh) * 2019-01-02 2019-03-19 中国船舶重工集团公司第七0七研究所 一种压敏传感器辅助的单兵导航系统零速检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109989A (zh) * 2006-07-18 2008-01-23 凌鹤轩 灵活性腿脚为主电脑键盘
US20100035688A1 (en) * 2006-11-10 2010-02-11 Mtv Networks Electronic Game That Detects and Incorporates a User's Foot Movement
CN102143695A (zh) * 2008-06-13 2011-08-03 耐克国际有限公司 具有传感器系统的鞋
US20110199393A1 (en) * 2008-06-13 2011-08-18 Nike, Inc. Foot Gestures for Computer Input and Interface Control
CN102662469A (zh) * 2012-03-31 2012-09-12 苏州中科启慧软件技术有限公司 基于脚部姿势与动作的交互控制方法
CN102722248A (zh) * 2012-06-04 2012-10-10 宋子健 利用鞋子代替键盘鼠标作为计算机外设的方法及实现装置
CN202600620U (zh) * 2012-06-04 2012-12-12 宋子健 利用鞋子代替键盘鼠标作为计算机外设的实现装置
CN205507686U (zh) * 2016-03-04 2016-08-24 深圳创感科技有限公司 一种具有虚拟现实控制功能的足部可穿戴装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017534985A (ja) * 2014-10-23 2017-11-24 オーピクス メディカル テクノロジーズ インコーポレイテッド 足ジェスチャに基づく制御装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109989A (zh) * 2006-07-18 2008-01-23 凌鹤轩 灵活性腿脚为主电脑键盘
US20100035688A1 (en) * 2006-11-10 2010-02-11 Mtv Networks Electronic Game That Detects and Incorporates a User's Foot Movement
CN102143695A (zh) * 2008-06-13 2011-08-03 耐克国际有限公司 具有传感器系统的鞋
US20110199393A1 (en) * 2008-06-13 2011-08-18 Nike, Inc. Foot Gestures for Computer Input and Interface Control
CN102662469A (zh) * 2012-03-31 2012-09-12 苏州中科启慧软件技术有限公司 基于脚部姿势与动作的交互控制方法
CN102722248A (zh) * 2012-06-04 2012-10-10 宋子健 利用鞋子代替键盘鼠标作为计算机外设的方法及实现装置
CN202600620U (zh) * 2012-06-04 2012-12-12 宋子健 利用鞋子代替键盘鼠标作为计算机外设的实现装置
CN205507686U (zh) * 2016-03-04 2016-08-24 深圳创感科技有限公司 一种具有虚拟现实控制功能的足部可穿戴装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081346A (zh) * 2020-01-14 2020-04-28 深圳市圆周率智能信息科技有限公司 运动效率分析方法、装置、可穿戴设备和计算机可读存储介质
CN112084372A (zh) * 2020-09-14 2020-12-15 北京数衍科技有限公司 行人轨迹更新方法及装置
CN112084372B (zh) * 2020-09-14 2024-01-26 北京数衍科技有限公司 行人轨迹更新方法及装置

Also Published As

Publication number Publication date
WO2018053055A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN109791512A (zh) 足势信息获取,检测及应用的方法和设备
CN103893950B (zh) 运动信息显示系统及运动信息显示方法
Nilsson et al. Tapping-in-place: Increasing the naturalness of immersive walking-in-place locomotion through novel gestural input
US20210275098A1 (en) Methods and devices for information acquisition, detection, and application of foot gestures
US20110131005A1 (en) Mobile recording apparatus, body movement measuring apparatus, information processing apparatus, movement pattern determining apparatus, activity amount calculating apparatus, recording method, body movement measuring method, information processing method, movement pattern determining method, activity amount calculating met
CN105311814A (zh) 运动解析装置、运动解析方法、以及运动解析系统
JP6444813B2 (ja) 分析システム、及び、分析方法
US11216080B2 (en) Methods and devices for information acquisition, detection, and application of foot gestures
CN106474735A (zh) 游戏服装、地垫及应用其的互动式游戏系统
CN105208932B (zh) 步态仪和评价被测定者的步态的方法
CN104126184A (zh) 用于包括训练计划的自动个人训练的方法和系统
CN103476285A (zh) 带传感器系统的鞋
CN102307525A (zh) 用于表征运动的设备和方法
JPWO2014108948A1 (ja) 計測装置、履物及び情報処理装置
US10448892B2 (en) Compass-sensor embedded footwear system and operation method thereof
US20230316620A1 (en) System and method for generating a virtual avatar
US11703955B2 (en) Methods and devices for information acquisition, detection, and application of foot gestures
WO2014049639A1 (ja) 足圧分布計測システムおよび情報処理装置
JP2018073330A (ja) 入力装置及び仮想空間表示装置
CN107153461B (zh) 一种控制显示对象的运动方式的方法和运动控制装置
WO2018179664A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN110633007A (zh) 足势信息获取,检测及应用的方法和设备
EP3860440A1 (en) Method and system for assessing human movements
WO2023127014A1 (ja) 易転倒性推定装置、易転倒性推定システム、易転倒性推定方法、および記録媒体
US20230371849A1 (en) Gait information generation device, gait information generation method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190521