CN110633007A - 足势信息获取,检测及应用的方法和设备 - Google Patents

足势信息获取,检测及应用的方法和设备 Download PDF

Info

Publication number
CN110633007A
CN110633007A CN201910538601.0A CN201910538601A CN110633007A CN 110633007 A CN110633007 A CN 110633007A CN 201910538601 A CN201910538601 A CN 201910538601A CN 110633007 A CN110633007 A CN 110633007A
Authority
CN
China
Prior art keywords
foot
user
movement
gesture
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910538601.0A
Other languages
English (en)
Inventor
田昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN110633007A publication Critical patent/CN110633007A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334Foot operated pointing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

本发明提供了用于足势信息获取,检测及应用的方法和设备。一种方法包括获取与足势特征有关的信息,以及将所获取的与足势特征有关的信息发送到电子设备以进行足势检测。足势特征包括用户的一只脚或两只脚中的每一个的脚指向方向中的一个或多个,用户的一只脚、或双脚的脚触地状态,用户脚倾角,以及用户脚移动程度估计。用户脚触地状态由用户的脚底的一个或多个部分是否接触或按压支撑平台来确定,支撑平台包括地面。

Description

足势信息获取,检测及应用的方法和设备
相关申请引用
本申请有求专利优先权基于递交于2018年6月20日的美国临时专利申请No.62/687,601
技术领域
本公开涉及信息技术领域、电子产品。更具体的涉及方法和设备用于支持用户足势信息的获取,检测以及应用。
背景技术
由各种传感器获取的用户单脚或双脚的数据数据常被用于收集用户运动信息以支持各种健康相关应用,如智能手机健康相关应用程序。然而户足势检测,以及通过用户足势实现设备控制以及用户与设备、用户与应用之间的交互的功能尚未被有效开发。目前对如电脑,智能手机,游戏机等电子设备控制操作方式集中于用户手的操作。常用的手部控制输入设备包括键盘、鼠标、游戏操纵杆、触摸屏、多点触控触摸屏/触摸板等。其中,支持多触点检测的输入设备,例如多点触摸屏,可以获取用户手指触摸点的坐标信息和移动信息。这些信息被用于支持基于用户手势的设备、应用控制以及用户与设备及应用的交互。对应于多点触摸输入设备和用户手势检测技术,本发明描述一整套解决方案适用于各种用户足势的检测以及基于用户足势的设备及应用控制和设备及应用交互。该套解决方案包括1)用户足势特征信息获取设备及相关方法,2)应用用户足势特征信息进行用户足势检测的方法,以及使用以上方法进行足势检测,并实现基于足势的用户与设备/应用交互的设备。用户手触点的坐标是支持手势检测的关键信息,对应的,支持用户足势检测的足势特征信息包括用户单或双脚的脚指向信息、用户单或双脚的触地状态(脚触地状态由单或双脚脚底的多个区域的触地(或支撑平台)的状态度决定)。足势特征信息还可包括用户单或双脚的脚倾角,以及脚移动轨迹状态相关的各种特征,和用户脚移动程度。对应于多点触摸屏或触摸板作为支持手势检测的输入设备,足势特征信息获取设备是配置为支持获取各种单货双脚足势特征信息相关信息的设备。本发明中描述的罗盘传感器嵌入式鞋类系统是足势特征信息获取设备的一个实例。
发明内容
本公开的一个方面提供了一种方法,包括与足势特征相关信息的获取,以及将所获取的与足势特征有关的信息发送到用于足势检测的电子设备。足势特征包括单脚或双脚的脚指向方向,用户的脚触地状态,用户脚倾角,以及脚移动程度等。
本公开的另一方面提供了一种信息获取设备。信息获取设备包括信息获取组件和通信组件。信息获取组件被配置为获取与足势特征有关的信息,足势特征包括用户的一只脚或两只脚中的每一个的脚指向中的一个或多个,用户的单脚的触地状态,或用户双脚的触地状态。脚触地状态由用户的脚底的一个或多个部分是否接触或按压支撑平台来确定,支撑平台包括地面。通信组件被配置为将所获取的与足势特征有关的信息发送到电子设备以进行足势检测。
本公开的另一方面提供了一种按钮垫装置用于放置于鞋底、鞋垫中有效的检测用户脚触地状态。
本公开的一个方面提供了一种方法。该方法根据由足势特征信息获取设备获得的用户脚触地状态,脚指向角,脚倾角控制电子设备的光标移动。
一种非暂时性计算机可读存储介质,存储计算机可执行指令,当被执行时,一个或多个处理器以执行所公开的方法。
附图说明
以下附图仅是根据各种公开的实施例的说明性目的示例,并且不旨在限制本公开的范围。
图1示出了根据本公开的各种实施例的示例性罗盘传感器嵌入式鞋类系统。该系统是足是特征信息获取装置的实施例;
图2示出了在图1中的罗盘传感器嵌入式鞋类系统中使用的示例性控制通信单元,根据图1的本公开的各种实施例;
图3示出了根据本公开的各种实施例的多个鞋底区域处的压力传感器的布置示例
图4示出了根据本公开的各种实施例的用户的本地东北(N-E)坐标系,罗盘传感器的参考X-Y 2维(2D)坐标系和脚方向矢量之间的关系示例;
图5示出了根据本公开的各种实施例的在数据采样时间罗盘传感器嵌入式鞋类系统中的左和右脚测量信息集示例。
图6示出了根据本公开的各种实施例在数据采样时间处理处获得压力传感器测量值以获得脚底区域触地状态检测结果,脚触地检测结果(即单脚触地状态)和用户脚触地检测结果(即双脚触地状态);
图7示出了在示例传感器放置配置中脚倾斜角度γLR(1001/1002)的变化与陀螺仪传感器的x轴旋转角度之间的关系
图8示出了使用罗盘传感器单元105/205中的3轴加速度传感器的测量值来评估脚部倾斜角度;
图9示出了脚倾斜角度的概念
图10示出了对应于脚底不同区域触摸(按压)地面的双脚触地状态
图11示出了在本地静止(固定的/非旋转)3D坐标系中脚倾斜角度γLR(1001/1002)、2D脚指向方向矢量VLF/VRF(701/702)和3D脚指向方向VLF3D/VRF3D(1003/1004)之间的关系;
图12示出了用于脚移动水平评估的相对于用户的左脚或右脚底平面的3个坐标轴的示例。
图13示出了在数据采样时间计算脚移动水平MIX,MIY和MIZ的流程图。
图14用横截面视图示出了用于检测脚触地状态检测的按钮垫的设计。
图15示出了按压状态下用于脚触地状态检测的按钮垫状态。
图16示出了按钮垫置于鞋类中作为传感器102/202和107/207用于脚触地状态的检测
图17示出了可用于本公开中的罗盘嵌入式鞋类系统的鞋底的设计。
图18示出了在数据采样时间用于光标移动控制的处理流程。
具体实施方式
本发明描述了一套完整的方法和设备,用于i)获取各种用户足势特征信息,ii)使用一系列足势特征检测各种用户足势,以及iii)支持基于足势的用户设备、应用程序控制以及交互。正如用户的手触摸点的坐标为支持用户手势检测的关键输入信息,一系列足势特征信息可用于支持各种足势的检测。这些足势特征包括两个基本类型的足势特征,即用户的一只脚或两只脚的指向方向,以及由用户脚底的多个触地区域的触地(地面或任何支撑面)状态确定的脚触地状态。其它的足势特征还包括来自用户的一只脚或两只脚的脚倾斜角度以及各种脚移动轨迹状态相关的特征。对应于多点触摸屏或多点触摸板作为支持用户手势检测的关键输入设备,足势特征信息获取设备用于获取与各种用户足势特征相关的信息,包括用户脚指向,用户脚触地状态,以及其它足势特征包括用户脚部倾斜角度,用户脚部移动轨迹状态相关特征等。
本发明中公开的方法和设备支持在各种电子设备(包括计算机,智能电话,游戏控制台,虚拟现实设备等)中检测各种用户足势和基于足势的设备、应用程序控制和交互。
足势特征信息获取设备的一个实施例,本发明公开了一种罗盘传感器嵌入式鞋类系统。上面提到的与足势检测相关的各种足势,足势特征和其他概念将与罗盘传感器嵌入式鞋类系统一起被详细地定义和解释。
现在根据参考在附图中详细解释本公开的示例性实施例。在下文中,将参考附图描述与本公开的实施例。尽可能的在所有附图中将使用相同的标记来表示发明中相同或相似的部分。显然,所描述的实施例是本公开的一些但不是全部实施例。基于所公开的实施例,本领域普通技术人员可以得出与本公开一致的其他实施例,所有这些实施例都在本公开的范围内。
作为足势特征信息获取装置的一个实施例,本发明提供一种罗盘传感器嵌入式鞋类系统及方法,以实现其作为足势特征信息获取装置的功能。示例性的罗盘传感器嵌入式鞋类系统可包括一只鞋或一双鞋对应于用户双脚,包括左鞋和右鞋。每只鞋包括罗盘传感器(即,能够在其自己的参考2D坐标系统中提供北方向的方向/方向角度测量的传感器)以提供脚方向信息;两个压力传感器,用于在设计的鞋底区域获得压力测量值以获得用户脚触地状态,和/或控制-通信单元以及电源模块以支持系统工作并将获得的与足势特征相关的信息发送到到其他电子设备。
在一些实施例中,在罗盘传感器嵌入式鞋类系统中使用的鞋类可包括鞋底和鞋体。在其他实施例中,在罗盘传感器嵌入式鞋类系统中使用的鞋类可以仅是鞋底(垫),例如鞋垫。例如,鞋类可以是具有鞋底和鞋体的鞋。在另一个示例中,鞋类可以是鞋底,例如鞋内垫,作为可以放置在任何鞋中的单独层。
通过使用所公开的罗盘传感器嵌入式鞋类系统,可以获得与各种足势特征(包括足势特征信息和用于导出足势特征的信息)相关的信息,并将其分发给使用来自罗盘传感器嵌入式鞋类系统的信息的电子设备,例如计算机,智能手机,游戏机等。利用来自罗盘传感器嵌入式鞋类系统的信息,足势特征包括脚指向,脚触地状态和其他足势特征,包括脚倾斜角度,脚移动轨迹状态相关特征,可能在电子设备进行或不进行进一步处理的情况下获得。
根据本公开,在一个实施例中,来自用户脚和/或用户方向信息以及一系列足势信息可被有效地提供给诸如智能电话,平板电脑,游戏控制台,计算机等,用于在模拟的虚拟世界中,例如在游戏应用程序和其他类型的应用程序中,实实现自然的无需手操作的用户体验导航控制体验。在一个实施例中,基于本公开的产品是能够用于计算机,智能电话,平板电脑,游戏机等的新型脚穿戴输入设备。
在本文中,术语“脚方向信息”指的是操作中的脚指向的方向。术语“脚方向信息”和“脚指向信息”可以在本公开中互换使用。
如本文所使用的,术语“足势”可以包括简单的足势,例如单/双脚踏地,以及复杂的足势,例如步行,跳跃,跑步等。
图1示出了根据本公开的各种实施例的罗盘传感器嵌入式鞋类系统示例的组件。图1中所示的罗盘传感器嵌入式鞋类系统包括:图1所示的鞋类可包括左鞋和/或右鞋。左鞋/右鞋可包括鞋体和鞋底。尽管未在图1中示出,图1所示系统中的所有部件可以配置在鞋内底中。
在各种实施例中,两个压力传感器102和107可以在对应于人左脚底部的位置处嵌入左鞋底106中。例如,压力传感器107可以定位在左脚底的前部(或前脚掌中部)的中部对应的位置处,标记为鞋底区域A;压力传感器102可以定位在左脚底的脚后跟部分的中心位置处,标记为区域B。
在各种实施例中,两个压力传感器202和207可以在对应于人右脚底部的位置处嵌入右鞋底206中。例如,压力传感器207可以定位在右脚底的前部(或脚掌中心)的中心对应的位置处,标记为鞋底区域C,压力传感器202可以定位在右脚底的鞋跟部分(或鞋跟的中心)的中心,标记为鞋底区域D的人。
在各种实施例中,罗盘传感器105/205可以嵌入左/右鞋底106/206中或者安装在左/右鞋的外表面上,在固定位置并且相对于固定位置具有固定方向。左/右鞋底106/206。放置罗盘传感器105/205,使得当左/右鞋底106/206在水平位置基本上水平时,罗盘传感器105/205处于正常操作。
罗盘传感器105/205可以是2轴数字罗盘。或者罗盘传感器105/205可以是3轴数字罗盘,特别是当罗盘传感器倾斜而不是水平位置时。
在各种实施例中,控制通信单元103/203和电池模块104/204可以放置在左/右鞋106/206的外表面内或上,以支持左/右鞋的操作及与外部设备的通信,例如智能手机,计算机,游戏机等。
控制通信单元103/203,电池模块104/204,罗盘传感器105/205和压力传感器102,107/202,207与左/右鞋内部的电线连接,用于提供电源、控制和通信。
图2还示出了控制-通信单元103/203组件,包括处理器模块301和无线通信模块302,例如蓝牙通信模块。
对于罗盘传感器嵌入式鞋类系统,可以将包括电池模块104/204,控制通信单元103/203和罗盘传感器105/205的各种不同配置或布置。以在系统性能,鞋类外观和穿着舒适度之间提供不同的权衡。
在第一类部件布置配置,或部件配置1中,电池模块104/204,控制通信单元103/203和罗盘传感器105/205都嵌入鞋中,例如鞋底106/206中。在这种配置中,充电入口101/201可以设置在鞋上,鞋底或鞋体上。在一些实施例中,电池模块可以是无线充电的。在这种情况下,充电入口101/201为可选项。
图1中组件布置示例对鞋的外观影响最小。然而,将所有组件隐藏在鞋体内可能在每次充电的操作时间和鞋类穿着舒适度方面对系统产生负面影响。
部件布置配置1可以允许鞋类系统具有如图1所示鞋子的形式。尽管如图1中未示出,但部件布置1可适用于鞋垫。其它组件布置配置见专利公开WO2018/053055 EN2018.03.22
本公开的系统包含左右鞋类系统获取信息的新颖组合使用。利用罗盘传感器,可以在用户的本地东北坐标系中获得用户的脚指向方向,或称为脚方向信息。压力传感器能够在设定的用户脚底区域提供压力测量。与压力测量结合使用,脚部方向信息可以提供关于用户的目标移动方向的信息,并且支持复杂的足势检测。来自罗盘传感器嵌入式鞋类系统的脚和/或用户方向信息和足势检测结果可支持各种游戏应用和用于控制的其他类型的应用。尤其是实现虚拟世界中的无需用手的方向控制,以提供独特的用户体验。
例如,参照双脚的轮廓图3示出了在四个设计的鞋底区域处的压力传感器的布置,以及相应的左脚方向矢量和右脚方向矢量。
如图3所示,压力传感器的位置,即设计的鞋底区域A,B,C和D,相对于左右鞋底的轮廓的位置。鞋底区域A对应于左脚的前部(或脚掌的中心)的中心。鞋底区域B对应于人左脚跟部(或鞋跟部中心)的中心。鞋底区域C对应于右脚的前部(或脚掌中心)的中心。鞋底区域D对应于人右脚的鞋跟部分(或鞋跟的中心)的中心。在任一数据采样时间,来自压力传感器102,107,202和207的压力测量值可分别表示为PA,PB,PC和PD。
图3还示出左脚的脚方向矢量VLF(701)和右脚的方向矢量VRF(702),当用户穿着鞋子时脚方向矢量与相应的脚指向的方向一致。
图4示出了用户的本地东北(N-E)坐标系,罗盘传感器自己的参考X-Y 2D坐标系和脚方向矢量之间的示例性关系。在图4中,N轴对应于用户的本地北方向,E轴对应于用户的本地东方向。Y轴对应于罗盘传感器的参考2D坐标轴Y.X轴对应于罗盘传感器的参考2D坐标轴X.角度θL/θR(705/706)是从北轴N到Y轴的角度,它可以从罗盘传感器测量中获得。
矢量VLF或VRF对应于左/右脚的脚方向矢量701/702。角度βL/βR(703/704)是从罗盘的参考坐标系的Y轴到左/右脚方向矢量701/702的角度。一旦罗盘传感器105/205以相对于左/右鞋底106/206安装方位固定,βL/βR(703/704)是固定的并且可以容易地测量/获得。角度ω是角度θ和角度β的和,它是用户在当地东北(N-E)坐标系中的脚(鞋)指向方向角,即从当地北(N)轴到脚方向矢量的角度。对于左脚,脚指向方向角度表示为ωL(707),而对于右脚,脚指向方向角度表示为ωR(708)。对于每只脚,本地处理器301能够从罗盘传感器获得θ(705/706),然后利用预先获得的β(703/704)值评计算在本地东北2D坐标系中的脚指向方向角ω(707/708)。
图5总结了罗盘传感器嵌入式鞋类系统中的测量以及推倒的测量的流程。采样时间间隔表示为901。采样间隔不必是均匀的。图3中所示的均匀采样时间间隔,图5仅用于说明目的。在每个数据采样时间,左/右鞋的罗盘传感器单元(105/205)提供θL/θR测量值(705/706)。该测量值与预先获得的βL/βR(703/704)用于获取本地NE坐标系中的ωL/ωR(707/708)。左鞋的压力传感器(107和102)在相应的鞋底区域提供压力测量值PA和PB。右鞋的压力传感器(207和202)在相应的鞋底区域提供压力测量PC和PD。在每个采样时间,所获得的ωL 707/ωR 708和压力测量值(PA,PB)/(PC,PD)形成左/右鞋测量信息集。
在任一数据采样时间,通过压力测量值PA,PB,PC和PD可获得用户(脚)触地检测结果,即用户脚触地状态。图6示出了基于压力测量PA,PB,PC和PD导出的用户脚触地状态的一个示例。其他方法也可用于从压力传感器测量导出用户脚触地状态。如图6所示,首先将来自每个传感器的压力测量值与预设阈值进行比较,在该阈值水平之上,判断相应鞋底区为接触。对应于左脚或右脚的传感器测得的鞋底区域接触检测结果经过组合可以得到脚触地检测结果。如图6所示,对于每只脚,脚踏触摸检测结果,即单脚触地状态,可以落入四个可能的结果集合中。左脚检测结果标示为{},{A},{B}和{AB}。右脚触地状态检测结果标记为{},{C},{D},{CD}。结合双脚的触地检测结果,可以获得在数据采样时间用户脚触地检测结果,即双脚触地状态。双脚触地状态具有16种可能的结果,对应于图6所示16种双脚触地状态,从{}(无触地)至{A B C D}(全触地)。用户的单脚和双脚触地状态是支持各种用户足势的检测的基本足势特征。在本公开的一些实施例中,用户的脚触地状态由用户的脚底的前部和用户的脚底的脚后跟部是否接触/按压包括地面在内的支撑表面/平台来确定。
因此,足势特征信息获取设备获得与足势特征有关的信息并将该信息发送到某电子设备。与足势特征相关的信息可以是足势特征,即与足势特征直接相关的信息,或者用于导出足势特征所需的信息,即与足势特征间接相关的信息。
本公开能够获得丰富的用户脚的动作与足势特征信息。这类信息无法从现有的基于手操作的系统获得。来自本公开的输出可以用于设备控制,视频游戏应用,交互式3D程序和虚拟现实应用,以支持模拟虚拟世界中的无需手操作的导航。
运动传感,包括陀螺仪(角速率)传感器,加速度计和陀螺仪加速度传感器组合可以添加到罗盘嵌入式鞋类系统中,以提供诸如脚加速度信息和角速度信息。注意,虽然通过比较在不同时间罗盘传感器的测量值来间接检测脚部运动,但是罗盘传感器与运动传感器不同,因为罗盘传感器仅提供方向信息。这里运动传感器可以指代单独的传感器,例如陀螺仪和/或加速度传感器,以及用于检测运动的多种类型的传感器组合。运动传感器可以放置在鞋类的内部或外部,并且通过电线适当地连接以提供电源、控制和通信功能。与罗盘传感器一样,运动传感器通常布置成相对于脚底具有固定的方向。运动传感器相对于罗盘传感器具有固定的方向。来自运动传感器的信息,例如陀螺仪传感器和/或加速度计,能够检测和表征用户的脚部运动,并且可以用作新的足势特征或用于导出其他足势特征信息以结合来自罗盘传感器的脚部方向信息从而支持新类型的足势检测。例如,对于足势检测,来自运动传感器(例如陀螺仪传感器和加速度传感器)的信息可以与来自罗盘传感器的脚部方向信息联合使用,以支持检测各个方向上的快速和/或慢速踢腿动做。作为另一个示例,加速度计通常用于支持3轴罗盘传感器,其中来自加速度计的足部滚动和俯仰角测量可以与来自3轴罗盘传感器的测量结合用于倾斜补偿。具有倾斜补偿的罗盘传感器能够在倾斜的位置提供更准确的读数。
事实上,加速传感器和陀螺仪传感器对于罗盘传感器嵌入式鞋类系统有重要作用,支持提供稳定和精确的脚指向方向信息,以及准确检测脚指向方向的突然变化。这是因为,由于用户的脚位置变化和各种脚的运动,罗盘传感器单元105/205的位置不会保持在与地面水平的位置。在倾斜的位置,单独的2轴或3轴罗盘传感器无法提供准确的方向信息,因为在倾斜位置,磁场在传感器各轴上投射不同。需要使用3轴加速度传感器的信息进行倾斜补偿,以得到罗盘传感器处于水平位置时应获得的测量结果。
另一方面,对3轴加速度计测量进行倾斜补偿仅在传感器相对静止时有效。在这种情况下x,y和z轴上的加速度传感器测量可用于导出传感器平台准确的倾角信息(滚动和俯仰角)。当用户脚明显移动(例如脚摆动运动)的情况下,来自3轴陀螺仪传感器的测量可有效的用于推导用户脚指向方向角。陀螺仪传感器可提供传感器平台的绕3轴转动的角速率信息。取决于传感器相对于用户脚的位置,在x,y和z轴某一个轴上的角速率测量值、或者所有3个轴的陀螺仪测量值的特定组合可以有效地用作用户脚指向方向的转动速率。通过脚指向转动速率,脚指向的变化可以通过随时间的积分有效地获取;并且用户脚指向方向可以由所得脚指向方向变化导出。
总之,当用户的脚没有显着移动时,3轴罗盘传感器和3轴加速度计一起作为具有倾斜补偿的罗盘传感器,以在不同的脚位置提供精确的脚指向信息;当用户的脚具有显着的移动时,使用来自3轴的角度速传感器的测量来导出脚指向方向的变化;使用来自3轴加速度计和/或3轴陀螺仪传感器的测量结果,可以容易的实现对用户脚部运动的检测。综上所述,为能在各种实际条件下获得精确的脚指向信息以满足所需的系统性能,在本发明的实施例中,罗盘传感器单元105/205是一个9轴传感器单元包括3轴罗盘传感器,3轴的加速度计和3轴陀螺仪传感器。
注意,通过倾斜补偿,罗盘传感器单元105/205可以在任何方向上工作。所以,罗盘传感器单元105/205不需要安装在水平位置,这在传感器放置方面提供了更大的自由度。然而,相对于在用户的脚,罗盘传感器单元105/205的放置方向仍然需要固定。
除脚指向方向信息和脚触地状态之外,当罗盘传感器单元105/205是9轴传感器单元时,包括3轴罗盘传感器,3轴加速度传感器和3轴角度速(陀螺仪)传感器,可以通过罗盘传感器嵌入式系统获得关于其它的足势特征的信息。这些足势特征包括脚倾斜角度,脚部滚动角度和各种脚部移动轨迹状态相关的足势特征。这些足势特征详述如下。
如前所述,在罗盘嵌入式鞋类系统中,当用户脚显着移动时,可以使用来自罗盘传感器单元105/205中的3轴加速度计的测量值来导出脚倾斜角度。当用户脚处于显着移动时,可以使用来自9轴罗盘传感器单元中的3轴陀螺仪传感器的测量来有效地跟踪脚倾角的变化。
例如,在不失一般性的情况下假设罗盘传感器单元105/205安装在这样的位置,使得陀螺仪传感器的x轴和y轴形成的平面平行于用户脚底表面,陀螺仪y轴与用户左/右3D脚指向VLF3D/VRF3D(1003/1004)相同。假设脚滚角λLR(1005/1006)很小并且可以忽略不计。如图7所示,脚倾角γLR(1001/1002)的变化对应于绕陀螺仪传感器的x轴,表示为Xgyro,的旋转。该旋转角度可以通过对来自陀螺仪传感器x轴角速率测量结果进行积分而得到。在其他传感器放置配置中,也可以使用陀螺仪传感器测量类似地导出脚倾角γLR(1001/1002)的变化。
如前所述,为了得到理想的脚指向方向测量性能,罗盘传感器单元105/205是9轴传感器单元,包括3轴罗盘传感器,3轴加速度传感器和3轴陀螺仪传感器。在这样的配置中,来自加速度计的测量值可用于导出脚倾斜角度信息。
例如,在不失一般性的情况下假设罗盘传感器单元105/205安装在这样的位置,使得加速度传感器的x轴和y轴形成的平面平行于用户脚底;并且,加速度传感器y轴与左/右脚底(1003/1004)的中线相同(即与脚指向重合),如图8所示。在这样的传感器位置配置中,左/右脚的脚倾角γLR即(1001/1002)可计算为
Figure BDA0002101835710000161
其中ax,ay和az是在加速度传感器在x,y和z轴上的测量值(在图8中表示为xacc,yacc,和zacc)。如图8所示测量xacc,yacc,和zacc是重力矢量g到在速度传感器的x,y和z坐标轴的投影。在其它传感器放置配置中,脚倾斜角度可以通过适当的线性坐标转换由3轴加速度计测量得出。
如图8所示,加速度传感器坐标系的x-y平面中的另一个角度λLR(1005/1006)对应于用户左/右脚的侧倾角(滚动角)。此角度也可以使用罗盘传感器单元(105/205)中的加速度传感器的测量得出,并在需要时用作额外的足势参数。
注意,为了有效地获得当用户脚底的前部接触(按压)地面(如图9a)以及当用户脚跟部分接触(按压)地面两种情况下脚倾斜角度测量值,如图9b所示,罗盘传感器单元105/205应置于靠近用户脚或脚底(长度方向)的中间部分。
还应注意,使用3轴加速度计测量来获得脚倾斜角度要求使用者的脚没有显着的运动。
用户的脚移动和静止时的脚倾角γLR(1001/1002)的估计方法见专利公开WO2018/053055 EN 2018.03.22
类似地,使用具有倾斜补偿(使用加速度计测量)的罗盘传感器测量导出(在2D当地X-Y平面中)用户脚指向方向(即,矢量VLF/VRF)也需要用户脚大致静止。用户的脚移动和静止时的用户脚指向方的估计方法见专利公开WO2018/053055 EN 2018.03.22
使用来自罗盘嵌入式鞋类系统的一些实施例的测量可获得足部移动轨迹状态估计/信息。所获得的足部移动轨迹状态可以用作足势特征,并且可导出与用户脚移动轨迹相关的一系列足势特征。详见专利公开WO2018/053055 EN 2018.03.22
罗盘嵌入式鞋类系统是可扩展系统,支持包括脚方向信息提取,用户方向信息提取,足势检测和/或其上的任何其他附加功能。
以下描述基于包括用户脚指向、脚触地状态等用户足势特征的用户足势检测的系统方法。
通常,支持用户足势检测和基于足势的用户设备控制/交互的系统包括i)足势特征信息获取设备,例如,罗盘传感器嵌入式鞋类系统,用于获取足势特征相关信息并将信息分发到电子设备,以及ii)从足势特征信息获取设备接收信息,使用所接收的信息执行用户足势检测的电子设备,并且生成控制信号、消息,并基于足势检测结果执行操作。
在描述用于脚部手势检测的方法之前,首先进行足势的定义。预定义的足势可以作为数据或作为可执行代码的一部分存储在电子设备的存储介质中,以支持足势的检测。
通常,(用户)足势是足势状态的序列。序列的长度可以是1到无穷大的任何数字。
每个足势状态对应于关于足势特征的一组要求。不同的足势状态可能对同一组或不同组的足势特征有不同的要求。足势特征包括(用户)脚指向方向相关特征,例如701/702,(用户)脚触地态,等。
注意,定义足势的足势状态的序列(或足势状态序列)指定i)足势允许的一组足势状态,以及ii)由(允许的)足势状态构成的转换序列。
作为说明性示例,考虑一个由抽象足势状态的序列给出的足势:S1->S2->S3。该足势具有三个(允许的)足势状态,即S1,S2和S3。并且要求足势状态序列从S1开始然后转换/切换到S2然后切换到S3。这里->标记是顺序标记,其用于连接足势状态序列中的两个连续的足势状态。
第二个足势状态序列S2->S1->S3具有同样的一组足势状态S1,S2,S3。然而,其足势状态的转换序列与之前第一个足势的转换序列不同。结果,第二个足势状态序列对应于与第一个足势不同的足势。
足势状态序列指定(允许的)足势状态形成的转换序列,还隐含了两个连续的足势状态不能相同,因为没有足势状态的转换。例如,S1->S2->S2->S1不是有效的足势状态序列,而S1->S2->S1是有效的足势状态序列。
各足势定义的示例给出如下。
从基础开始,可以仅基于两种基本类型的足势特征(即,用户脚指向方向和用户脚触地状态)来定义/检测各种用户足势。
如前所述,通过处理来自足势特征信息获取设备的信息,例如罗盘传感器嵌入式鞋类系统,可以获得脚触地状态。如图10所示总共有16个双脚触地状态,黑色圆圈表示相应的脚部区域与地面接触(或按压)。当仅涉及一个左脚或右脚时,有四个对应于左/右脚的单脚触地状态。
方便地,脚触地状态被表示为{},{A},{AB},{ACD},{ABCD}等,其中括号中的A,B,C和D表示对应脚底区域接触地面。不失一般性并遵循图3中的定义,区域A对应于用户左脚底的前部,区域B对应于左脚跟,区域C对应于用户右脚底的前部,以及区域D对应于右脚跟部。
可以针对单脚(单脚足势)或双脚(双脚足势)定义足手势;足势可以进一步分类为基于触地状态的足势,基于脚指向的足势,以及基于多种足势特征的组合足势。用于足势检测。
单脚足势:
单脚足势是基于一只脚的动作的足势。当用户脚指向方向信息和脚触地状态仅可从一只脚(左侧右脚)获得时使用单脚足势,例如,当用户仅在一只脚上穿鞋类系统时。单脚足势也可用于组合为双脚足势。
单脚基于触地状态的足势:
基于触地状态的单脚足势可使用单(左/右)脚触地状态定义与检测
简单的足手势可以是仅具有一个足势状态的足势状态序列。
无触地足势具有足势状态序列:{}。
该足势状态序列仅具有一个足势状态,即{},需要左/右脚触地状态为{}。
左脚全触地足势具有一个仅含一个足势状态的足势状态序列,即{AB},要求左脚触地状态为{AB}。
右脚全触地足势具有一个仅含一个足势状态的足势状态序列,即{CD},要求右脚触地状态为{CD}。
左脚前部触地足势具有一个仅含一个足势状态的足势状态序列,即{A},要求左脚触地状态为{A}。
类似地定义,右脚前部触地足势仅具有一个足势状态{C};
左脚跟触地足势仅具有一个足势状态{B};以及
右脚跟触地足势仅具有一个足势状态{D}。
左脚触地足势仅具有一个足状态{A,B,AB}。足势状态{A,B,AB}要求左脚触地状态为{A}或{B}或{AB},即触地状态属于左脚触地状态集合{A,B,AB}。这里,符号{ele1,ele2,ele3}用于表示足势状态允许的脚触地状态的集合,其中ele1,ele2,ele3代表脚触地状态。
当足势状态序列中的足势状态的数量多于一个时,->标记用于连接两个相邻的足势状态。
第一类拍地(Tap)
描述:脚跟部分与地面保持接触;用户脚底的前部拍地面。
左脚第一类拍地足势,表示为LFTapI具有以下足势状态序列:{AB}->{B}->{AB}->{B}->{AB}...
该足势具有两个(允许的)足势状态{B}和{AB}。足势状态{B}要求左脚触地状态为{B};足势状态{AB}要求用户右脚触地状态为{AB}。
注意,LFTapI的脚手势状态序列具有不确定的长度并且具有重复的模式。
右脚第一类Tap足势,表示为RFTapI,具有以下足势状态序列:{CD}->{D}->{CD}->{D}…
该足手势具有两个允许的足势状态{C}和{CD}。足势状态{C}要求用户右脚触地态为{C};足势状态{CD}要求用户右脚触地状态为{CD}。
该足势状态序列具有不定长度和重复模式。
计数参数可以与具重复模式的足势相关联。例如,足势对应于以下足势状态序列{AB}->{B}->{AB}->{B}->{AB}->{B}->{AB},这是LFTapI足势的截取的版本。这样的足势被表示为LFTapI_3,其中计数参数3(通过“_”标记连接到对应的未截取足势的标示,即LFTapI),表示所需足势状态模式的重复次数。
更一般地,LFTapI_n,(n=1,2,3,4......)表与足势LFTapI的类似的(截短的)具重复模式的足势,即,有限长度的左脚第一类Tap足势。计数参数n对应于该足势要求的左脚第一类拍地的次数。
更多足势示例见专利公开WO2018/053055 EN 2018.03.22
除了脚指向方向相关的足势特征和脚触地状态之外,用户脚倾角γLR(1001/1002)还可以用作支持足势定义和检测的足势特征。对于踩地(tapDown)或指向踩地(tapDown)足势,脚倾角可用作附加参数。图9示出了与踩地Tapdown或指向踩地(Tapdown)足势相关联的脚倾斜角度。
如图9所示,在Tapdown或指向Tapdown足势中,用户的脚底不与地面平行。为了表征脚倾斜位置,可以使用用户左/右脚脚倾斜角γL/γR(1001/1002),该角度是从脚底沿脚底面中线(1003)到水平地面的角度。
作为另一种类型的足势特征,脚倾斜角可以结合到单脚指向踩地(Tapdown)足势,包括VLF+{A},VLF+{B},VRF+{C}和VRF+{D},以在很多应用中提供理想的用户体验。
这些具有脚倾斜角度的足势均具有一个足势状态,例如,VLF+γL+{A},VLF+γL+{B},VRF+γR+{C}和VRF+γR+{D}
足势状态VLF+γL+{A},也是足势,因为该足势仅具有一个足势状态,要求用户的左脚脚触地状态为{A}并且需要足势的VLF和γL信息。
例如,具有倾斜角度的这类指向踩地(Tapdown)足势可以用于一个方向上的运动控制。相应的脚的倾斜角度可以用作控制参数(表示控制的“强度”)以表示在目标方向上的移动速度(例如,更大的倾斜角度对应于更高的移动速度)。在没有额外倾斜角度的情况下,定向踩地(Tapdown)足势仅可用于指示是否应在一个方向上移动。
脚倾斜角的引入实际上将用户脚指向方向扩展到3维(3D)空间。图11示出了脚倾斜角度γLR(1001/1002)、原来的2D脚指向方向矢量VLF/VRF(701/702)和3D脚指向方向VLF3D/VRF3D(1003/1004)在当地静止(固定/非旋转)3D坐标系中的关系。该坐标系不随用户移动而转动。假设该当地3D坐标系的X-Y平面是水平的(或平行于水平地面),坐标系的Z轴垂直于X-Y平面。2D脚指向方向在X-Y平面中定义,并且可以由脚指向方向矢量VLF/VRF(701/702)指定。3D脚指向方向矢量VLF3D/VRF3D与图9中的矢量1003/1004相同。可以看出VLF/VRF(701/702)是X-Y平面中VLF3D/VRF3D(1003/1004)的投影方向矢量。而γLR(1001/1002)定义在由VLF3D/VRF3D(1003/1004)和当地Z坐标轴形成的平面中,是3D脚指向方向相对于X-Y平面的仰角。
更多使用脚倾角定义的足势见专利公开WO2018/053055 EN 2018.03.22
如本公开中先前所介绍的,从3D脚移动轨迹(1008/1009)可以提取许多脚移动轨迹状态相关特征并将其用作足势特征。详见专利公开WO2018/053055 EN 2018.03.22。
至此,已经介绍了用于足势检测的关键概念,例如足势,足势状态和足势特征。如前所述,各种类型的足势,足势状态可以基于各种足势特征来定义。足势特征包括(2D)脚指向方向,脚触地状态,脚倾斜角度,脚移动轨迹状态相关特征等。
总结如下。用户足势是足势状态的序列。每个足势状态包括对于一组足势特征的一组要求。最重要的足势特征是用户脚触地状态和用户2D脚指向方向(可以以不同的方式给出,例如,脚指向方向矢量VLF/VRF(701/702)或脚指向角度ωL/ωR(707/708))。附加的足势特征包括脚倾斜角度,脚滚动角度(侧倾角),脚移动轨迹状态相关的足势特征等。
表1列出了本公开中的关键术语并说明其含义。
表1.与足势相关的关键术语列表
Figure BDA0002101835710000251
Figure BDA0002101835710000261
足势特征信息获取设备及其方法总结如下。
足势特征信息获取设备(例如罗盘传感器嵌入式鞋类系统)能够与电子设备通信。足势特征信息获取设备能够在数据采样或信息获取时间获取与包括2D脚指向的各种足势特征有关的信息(以某种形式,例如,脚方向矢量VLF/VRF(701/702)或脚指向角ωL/ωR(707/708)),融合的用户(前向)方向矢量VFWD 709,以及诸如单脚触地状态和/或双脚触地状态的脚触地状态。
足势特征信息获取设备还可以从用户的一只脚或两只脚获得与包括脚倾斜角γLR(1001/1002)附加足势特征有关的信息。
足势特征信息获取设备还可以获得与包括各种脚移动轨迹状态相关特征的附加足势特征有关的信息。
在数据采样时间,所获取的足势特征相关的信息通过通信链路被发送用于足势检测的电子设备。这使得足势特征信息获取设备成为输入设备。注意,当该电子设备也是足势特征信息获取设备时,通信链路可以是内部通信链路。在一些实施例中,例如在罗盘传感器嵌入式鞋类系统中,多个物理上分开的设备可以一起作为足势特征信息获取设备工作。
一组在本公开中新引入的重要足势特征是表征用户脚前后方向移动、侧向移动、和上下移动的程度。足势特征信息获取设备,例如专利中公开的罗盘嵌入式鞋类系统,可以提供支脚移动程度的计算。从用户脚移动的开始到用户脚移动的结束,可以使用来自足势特征信息获取设备的数据来评估和更新脚移动程度。
脚移动程度的评估(计算)可以在相对于用户的脚的3个不同的坐标轴上完成。如图12所示,脚底平面1010是用户的脚/鞋底(脚跟和前脚掌)接触的假想平面。第一个坐标轴,表示为Yfoot,对应于用户的脚指向方向1003/1004。该坐标轴位于脚底平面中。在该坐标轴方向的移动对应于用户脚前后方向的移动。Yfoot轴上的移动程度,表示为MIY,表征Yfoot方向用户脚移动的强度/程度。第二个坐标轴1011,表示为Xfoot,同样属于在鞋底/脚底平面1010,并且垂直于第一坐标轴Yfoot。第二轴方向上移动对应于用户脚侧向移动。沿Xfoot轴的移动水平,表示为MIX表征用户脚在Xfoot轴方向的运动/移动的强度/程度。第三个坐标轴1012,表示为Zfoot,垂直于脚/鞋底平面。沿第三个坐标轴的移动对应于脚上/下方向的移动。Zfoot轴上的移动程度,表示为MIZ,表征用户脚在Zfoot方向的移动强度/程度。注意,Xfoot,Yfoot和Zfoot三个坐标轴是相对于用户的脚底平面定义的,该平面随着用户的脚转动而转动。可使用其它固定坐标系统,如当地东北上(ENU)坐标系,进行脚移动程度评估,但可能造成实施难度增加和移动程度评估的准确性降低。
通常,对某坐标轴上的用户脚移动程度(例如,MIX,MIY,MIZ)的评估涉及在每个采样时间评估该坐标轴上的脚运动强度。脚运动强度可以由,例如,在采样时间该坐标轴上的运动加速度来评估。这里,每个坐标轴上的运动加速度仅考虑由用户脚运动引起的加速度,不包含重力加速度在坐标轴上的投影分量。在某坐标轴上运动加速度的计算包括在数据采样时计算重力加速度在该坐标轴上的投影;以及计算(3轴)加速度测量在该坐标轴的投影并减去该坐标轴上重力加速度的投影。
然后基于运动强度(例如,该坐标轴上的运动加速度)评估坐标轴上的用户脚移动程度。注意,可通过其它方法计算某坐标轴上的脚运动强度。例如在采样时计算某坐标轴方向上的运动速度作为该坐标轴上的运动强度。
通常,某坐标轴中的用户脚移动程度的评估涉及以下步骤。首先使用来自足势特征信息获取设备的数据检测脚运动/移动的开始。例如,脚移动的开始可根据用户脚由静止状态到具有显着移动的状态的转换进行检测,或者根据用户脚触地状态的改变进行检测,如脚触地状态由某接触状态如{A},{AB}到非接触状态{}。当确定用户的脚开始移动(或具有显着移动)时,可以通过累积各数据采样时间坐标轴上的运动强度(例如,运动加速度)来计算该坐标轴上的移动程度。注意,实际实现中,坐标轴上微小的运动强度(例如,运动加速度)值可能由数据或评估过程中的不准确性或无意的用户脚移动引起。脚移动程度的计算可以仅使用(累积)具有(绝对)水平/值高于某阈值的显着运动强度。
另外,可以确定坐标轴上移动程度的符号。该符号表示脚运动/移动与坐标轴相同或与坐标轴反向。可使用在脚移动的开始阶段的运动强度(例如,运动加速度)的符号来决定脚移动程度的符号。例如,当确定用户的脚开始移动,该坐标轴上的移动程度的符号可以初始的N个(例如N=10)显著运动强度,如运动加速度,的符号决定。例如,如果N个运动加速度中的大多数具有正号,则确定该坐标轴的脚移动程度为正,即判定为在坐标轴正方向移动。之后移动程度的评估将仅更新移动程度的绝对值,而不改变其符号。
作为评估MIX,MIY和MIZ的示例,在罗盘嵌入式鞋类系统中,假设放置3轴加速度计,使得传感器的X,Y和Z轴对应于Xfoot,Yfoot和Zfoot。来自加速度传感器的测量值可用于计算Xfoot,Yfoot和Zfoot方向的移动程度,即MIX,MIY和MIZ。注意,该计算需要消除重力对加速度计三轴读数的影响。如前所述,通过使用脚倾角γLR(1001/1002)和脚倾角λLR(1005/1006)的估计,可以计算并去除重力加速度在相应坐标轴轴上的投影分量,以获得相应坐标轴脚运动加速度(由于用户的脚运动而非重力引起的加速度加速度量)即AccX,AccY,AccZ。然后可以使用AccX,AccY,AccZ计算脚移动程度MIX,MIY和MIZ
当用户的脚没有移动时,Xfoot,Yfoot和Zfoot轴(方向)上的移动程度,即MIX,MIY和MIZ将接近零。当用户的脚前/后移动/踢动时,Yfoot轴上的移动程度,即MIY,将显著增高。这是由脚前后移动时,加速度计的Y轴上的高运动加速度测量引起的。当用户的脚向侧面移动/踢动时,Xfoot轴上的移动程度,即MIX,将显著增高。可以通过例如加速度计的X轴中的运动加速度测量来估计。轴上的运动水平评估不是基于当前时间的一个样本而是基于脚运动开始产生的一系列脚运动加速度而得出的。类似地,当用户脚上下方向移动,Zfoot轴上的移动程度将显著增高。注意,脚移动程度并非由某一采样时间的运动强度采样值决定,而是由从脚移动开始起的一系列运动强度(如运动加速度)采样值计算。
图13示出了在数据采样时计算移动程度MIX,MIY和MIZ的流程图。步骤12000获取在当前时间的数据及传感器测量值。步骤12001计算个坐标轴当前运动强度,即运动加速度AccX,AccY和AccZ。运动加速度可通过从当前传感器测量值减去重力加速度在相应坐标轴的投影来计算。该计算需要脚倾角γLR(1001/1002),和脚滚动角λLR(1005/1006)的估计值。如前所述,罗盘嵌入式鞋类系统可提供以上所需脚倾角和脚滚动脚估计值。移动程度计算的所需传感器测量测量包括来自3轴加速度计和3轴陀螺仪的测量测量。步骤12002确定脚是否在处理/数据采样时间开始移动。这可以通过测量数据检测脚的显著移动来完成。还可以通过检测脚触地状态的变化(例如,从触地状态到非触地状态{})来完成。如果在步骤12002中检测到脚移动开始,则步骤12004通过用当前运动加速度AccX,AccY和AccZ初始化MIX,MIY和MIZ,开始新的移动程度评估。如果在步骤12002中没有检测到脚移动的开始,则步骤12003检测脚移动是否结束(脚停止移动)。如果12003判定脚运动已经结束,则步骤12005将移动程度MIX,MIY和MIZ设零,以表示脚移动的结束。如果步骤12003确定脚部运动仍在进行,则步骤12006分别使用AccX,AccY,AccZ更新现有的移动程度估计MIX,MIY和MIZ
可以使用各种方法在步骤12004中初始化以及在步骤12006中更新移动程度估计。一个示例方法是
MIX=MIX+|AccX|,MIy=MIy+|AccY|,and MIz=MIz+|AccZ|
另一种方法可以是
MIX=MIX+AccX*AccX,MIy=MIy+AccY*AccY,and MIz=MIz+AccZ*AccZ
注意,在某坐标轴上所得微小的运动加速度可能由数据或评估过程中的不精确、或非预期的用户脚移动引起。移动程度的评估可以仅使用(累积)显着的运动加速度。即当运动加速度AccX,AccY或AccZ的绝对值低于某阈值时,运动加速度可以设置为零。这样,这些小的运动加速度测量不会影响移动程度的更新。以上移动程度计算结果为非负值,仅用于表示移动程度的大小。
另外,可以确定坐标轴(Xfoot,Yfoot,Zfoot)上移动程度的(正/负)符号,以区分与坐标轴同向或反向的脚部运动。在某坐标轴上移动程度的符号可由从脚移动开始起的Ns个相应运动加速度AccX,AccY,AccZ的采样值的符号决定。例如,在检测到脚移动开始之后,根据最早的Ns=20个AccX样本的符号确定MIx的符号。如Ns个样本中如果大多数的样本为正号,则MIx的符号为正,判定该移动是向Xfoot轴正向。
3轴移动程度MIX,MIY,MIZ分别表征脚前向/后向移动,侧向移动和上下移动的程度,是一组非常有用的足势特征。该组足势特征可由足势特征信息获取设备(例如,罗盘嵌入式鞋类系统)提供,用于足势检测和控制。对于诸如,踏地,步行,跑等的足势,移动程度可以用作参数以确定足势的速度/强度、方向。足势特信息征获取设备(例如,罗盘嵌入式鞋类系统)可以获取脚移动程度以及其它脚足势特征,包括脚触地状态,2D脚指向和脚倾斜角,并且将这足势特征发送到其他设备用于足势检测和控制等应用。
用于脚触地状态检测的按钮垫设计
为了获得用户脚触地状态,需要检测用户鞋底的前部和用户鞋底的鞋跟部分是否正在按压地面或支撑平台。通常,压力传感器可用于检测脚触地状态。当仅需要检测按压和非按压状态,可以使用按钮/按键进行触地状态检测。按钮是仅具有两种状态(即接通和断开)的压力传感器。但是,用于检测手指按压的按钮不适合检测脚底按压状态。有两个主要问题,第一个是常规按钮的按压区域太小而不能有效的用于检测脚部按压。第二个问题是,与手指按压相比,脚底按压可成压力过大而导致按钮损坏(特别当使用小/微型按钮时)。
本公开中的按钮垫装置设计解决以上问题,支持在鞋类系统中有效地检测脚触地状态。按钮垫设计包括一个按钮或按钮结构以及一个按钮外壳以提供扩展的按压区域,并保护按钮免于用户的脚部的压力的损害。当使用小/微型按钮时,按钮垫厚度很小,适于放入鞋底,鞋垫中做脚踏地状态检测。
图14以横截面视图示出了按钮垫的设计。按钮垫装置由两部分组成。一部分是基座10800。按钮或按钮结构10808安装在基座10800上以进行按压检测。
如图14所示,外壳的第二部分是一个外壳盖10805。外壳盖10805提供了扩大的按压表面。外壳盖包括按压突起10807用于按压按钮10808。在按钮垫组装之后,按压突起10807在按钮/按钮结构10808上方。
在按钮或按钮结构10808周围存在支撑壁结构10803,如图15所示,该结构用于阻止外壳盖和按压突起在压力下过度移动而造成按钮结构损坏。如图14和图15所示,支撑壁结构10803可以是基座10800的一部分。支撑壁结构形成空间10802,将按钮/按钮结构10808固定在适当位置。或者,支撑壁结构也可以是位于按压突起10807周围作为外壳盖10805的一部分。
如图14和图15所示,外壳盖还包括边缘支撑(支撑边缘或支撑腿)10806。该边缘支撑结构使外壳盖成为具有弹性的结构。如图15所示,当施加压力于外壳盖10805时,按压突起10807将移动(向下)并按下按钮10808。如图.50所示,当没有施加压力时,边缘支撑10806使外壳盖10805以及按压突起10807保持在非按压位置。
如图14所示,基座10800可具有外缘壁结构10801。基座外缘壁10801可与边缘支撑10806一起将外壳盖10805保持在适当位置。
图15示出了当压力施加到外壳盖的顶部时按钮垫的按压状态。在压力下,按压突起10807降低以按下按钮10808。当外壳盖10805的底部与支撑壁结构10803的顶部相遇时,按压突起10807停止进一步向下移动。在这种设计中,支撑壁结构10803防止脚按压产生过大的压力在按钮10808上造成按钮损坏。
基座10800、外壳盖10805、外壳盖边缘支撑结构(边缘或腿)10806可由具有适当柔性的可弯曲的材料制成,使得它们在压力下以上述方式工作且按钮垫可随鞋底适度弯曲。外壳盖边缘支撑10806也可以由诸如弹簧的弹性材料制成。
注意,在按钮垫设计中,可以切换按压突起10807和按钮/按钮结构10808的位置互换而不影响按钮板的功能。在这种情况下,按钮/按钮结构10808安装在外壳盖上;按压突起10807则位于基座10800上。在按钮垫的一些实施例中,支撑壁结构10803也可以在外壳盖10805上。
在按钮垫的一些实施例中,可以存在多个按钮10808,多个支撑壁结构10803,以及多个按压凸起10807。通过按压凸起10807按压任一按钮/按钮结构10808将导致按钮垫按压检测。利用按钮垫的不同位置处的更多按钮,按钮垫可以提供改进的脚按压/触地状态检测性能。
图16示出了在所公开的鞋类系统中使用按钮垫作为传感器102/202和107/207。一个按钮垫安装在鞋底的鞋跟部分,另一个按钮垫安装在鞋底的前部。从按钮垫出来的导线在一端连接到按钮,并且导线的另一端连接到控制器(图16中未示出),用于检测足部按压/触地状态。
罗盘嵌入式鞋类系统鞋底设计
图17示出可用于罗盘嵌入式鞋类系统的鞋底内部设计。在多个位置设有用于各种设备组件的凹槽。如图17所示,凹槽1位于鞋底内部的位置,该位置对应于使用者的足弓(在使用者的足弓区域下方)。凹槽1设计用于固定传感器组件,如罗盘传感器,加速度计和陀螺仪传感器。在该设计中凹槽位于鞋底的中间部分(沿长度方向),这样可以在各种脚触地状态下有效地测量脚倾角。
凹槽2位于鞋底内部的位置,该位置对应于使用者鞋底的前部(或前脚掌部)。该凹槽用于放置压力/触摸检测器,例如本发明中的按钮垫。当使用者鞋底的前部按压地面或支撑平台时,传感器将有效地检测到脚前部按压状态。
凹槽3位于鞋底内部对应于使用者脚后跟的位置。该凹槽用于放置压力/触摸传感器,例如本发明中的按钮垫。当使用者的脚用他/她的脚跟按压地面或支撑平台时,传感器将检测到脚跟部按压。
凹槽2和凹槽3处的传感器可用于联合检测用户脚触地状态。
在鞋底设计中也可以使用其他凹槽,例如图17中所示的凹槽4可以用于放置其它部件,例如设备控制器和/或电池等。
鞋底设计还可以包括内部的其它凹槽,用于放置电缆、连接线等。
以上公开的鞋底设计内部具有多个部件凹槽,该射界可用于各种类型的鞋,例如凉鞋,运动鞋等,用于实现罗盘嵌入式鞋类系统。
应用
作为输入设备的足势特征信息获取设备可以用作脚操作的控制器,以支持基于足势的设备/应用程序控制和用户-设备/用户-应用程序交互。
使用足势特征获取设备(例如,罗盘嵌入式鞋类系统)实现鼠标功能,作为脚操作控制器。
鼠标功能包括光标移动控制和鼠标按钮点击的对于计算机操作是重要的。这些控制通常使用鼠标或触摸板来实现。脚部姿势特征信息获取设备(例如,罗盘嵌入式鞋类)可用于使用脚部指向方向,倾斜角度和触摸状态来执行鼠标的功能。
图18示出了在数据采样时间用于光标移动控制的处理流程。该处理流程可以由足势特征信息获取设备(例如,罗盘嵌入式鞋类系统)作为脚操作控制器,或者由目标设备(例如计算机)执行,用于光标控制。
在采样时间,在步骤13000中,获取脚触地状态,脚指向角(方向)ωLR(707/708)和脚倾角γLR(1001/1002)的数据。
步骤13001检测光标控制的开始。用户脚触地状态的改变可用于决定光标控制的开始。这里,在不失一般性的情况下,假设使用右鞋类系统实现光标控制。光标控制的开始可以通过右脚触地状态改变来指示,例如,从触地状态{}到{D}或{C}的转换。这相当于检测足势{}->{D}或{}->{C}。如果在步骤13001中检测到光标控制的开始,步骤13004通过记录脚指向方向/角度ωR 708并且用户脚倾角γR 1002作为参考脚指向角ωref和参考脚倾角γref来初始化光标控制。
对于右脚,脚触状态{D}或{C}(对于左脚{A}或{B})可用于指示光标控制正在进行(有效)。例如,当{}->{D}用于开始光标控制,脚触地状态{D}表示光标控制在进行中。在这种情况下,当右脚触地状态为{D}时,脚控制器将发出命令控制设备光标移动。在这种情况下,当脚触地状态不是{D}而是其它触地状态{},{CD}或{C},光标控制停止。步骤13002通过检查当前的脚触地状态来确定光标控制是否有效。如果确定光标控制处于停止状态,则不需要进一步的操作。
当步骤13002确定光标控制有效时(开始),步骤13005评估脚指向方向,如ωR708,相对于参考角度ωref的变化和脚倾斜角度,如γR 1002,相对于参考角度γref的变化。可以获得角度差Δω=ωRref和Δγ=γRref
注意,为了评估脚指向和脚倾角的变化,可以假设参考角ωref和γref为零,可以使用传感器,如陀螺传感器,测量直接获得Δω和Δγ。这样不需要脚指向角,如ωR和脚倾角,如γ,的估计值。
在步骤13006中,使用角度差Δω和Δγ来确定与确定光标的坐标变化,如相对于确定ωref和γref时光标坐标(表示为xref和yref)的变化。该坐标变化表示为Δxref和Δyref。注意,可以在步骤13004中确定ωref和γref的同时获得xref和yref
可以使用不同的方式来实现从角度差Δω和Δγ到光标坐标变化的映射。例如,用Δω确定x方向上的光标坐标变化Δxref,例如,Δxref是Δω的函数;用Δγ确定y方向上的光标坐标变化Δyref,例如Δyref是Δγ的函数。计算Δxref和Δyref的映射函数可以是线性的或非线性的。
步骤13007是可选步骤,可使用坐标变化Δxref和Δyref来计算当前光标坐标。
步骤13008生成控制命令并将其发送到目标设备,更新光标坐标至步骤13007所得光标坐标,或者基于来自步骤13006的坐标变化Δxref和Δyref更新光标坐标位置。
对于步骤13006,另外一种方法是使用角度差Δω和Δγ确定光标在x和y坐标的当前移动速度,表示为vx和vy。例如,Δω用于确定x轴方向上的光标移动速度,Δγ用于确定自前一采样时间以来y方向上的光标坐标移动速度。这里vx可以是Δω的线性或非线性函数;vy可以是Δγ的线性或非线性函数。
在这种情况下,可以使用vx,vv以及先前和当前采样时间之间的时间差来获得当前光标坐标相对于前一采样时间时的光标坐标的变化,表示为Δx和Δy。
在步骤13007中,可以使用来自步骤13006的评估的变化Δ评,ΔΔ和在先前的采样时间的光标坐标来评估当前光标坐标。
步骤13008基于来自步骤13006或13007的结果生成控制,并将控制发送到目标设备以进行光标控制。
处理流程13000和13008也可以在目标设备(如电脑)处执行,目标设备从脚控制器接收数据。在这种情况下,步骤13008仅需要生成用于光标坐标更新的控制命令。
除了光标移动控制之外,鼠标的其他功能包括各种类型的点击操作,例如,左单击,左双击,右击等。使用足势特征信息获取设备,例如,罗盘嵌入式鞋类系统作为控制器,各种足势可用于控制鼠标点击。例如,右脚足势{}->{C},{}->{D},或{C}->{CD},{D}->{CD}都可用于指示鼠标点击操作。然而,用于激活鼠标点击动作的足势不应引起光标移动。这个要求可通过选择适当的足势用于鼠标点击控制,使得当执行用于鼠标点击的足势时光标控制处于无效状态。为了实现这一点,使光标控制有效的触地状态(例如,{D})不应是用于触发按钮点击的足势的足势状态。
例如,假设使用右脚鞋类系统来执行鼠标功能,当触地状态{D}是使光标控制有效的脚触状态时,足势包括{}->{C},{}->{C}->{}->{C}可用于执行鼠标点击操作。例如,当检测到足势{}->{C}时,发送控制到目标设备以执行鼠标左键点击操作。当检测到足势{}->{C}->{}->{C}时,将发送控制到目标设备以执行鼠标左键双击操作。当脚触地状态保持为{C}超过预定义时间阈值(例如,1秒)时,发送控制到目标设备以执行鼠标右键单击动作。当检测到以上用于鼠标点击的足势时,光标控制均处于非活动/无效状态,因此在执行鼠标点击动作时不会出现光标移动。
本专利的各种实施例还包括一种非暂时性计算机可读存储介质,存储计算机可执行指令,当被执行时,一个或多个处理器以执行所公开的方法。

Claims (20)

1.一种用于有效检测用户脚触地状态的按钮垫装置,该装置包括:
基座
在基座上用于按压检测的按键
一个外壳盖,包括一个用于按下按钮的按压突起;和
围绕按钮的支撑壁结构,以阻止外壳盖和按压突起在压力下向按钮过度移动。
2.根据权利要求1所述的装置,其中:
外壳盖还包括边缘支撑结构,该边缘支撑结构使外壳盖为具有弹性的结构,使得当压力施加到外壳盖时,按压突起移动以按压按钮。
3.根据权利要求1所述的装置,其中:
基座边缘处具有外缘壁结构,用于使外壳盖保持就位。
4.根据权利要求1所述的装置,其中:
支撑壁结构是基座的一部分。
5.根据权利要求1所述的装置,其中:
支撑壁结构是外壳盖的一部分。
6.根据权利要求1所述的设备,其中:
支撑壁结构用于将按钮固定在适当位置。
7.根据权利要求1所述的设备,还包括:
多个按钮,以及相应的支撑壁结构和相应的按压突起。
8.根据权利要求1所述的设备,其中:
按钮和突起的位置可互换。
9.一种用于足势特征信息获取装置的方法,包括:
计算用户脚前后方向移动程度;
计算用户脚侧向移动程度;和
计算用户脚上下移动程度。
10.根据权利要求9所述的方法,其中:
在与用户的脚指向方向一致的第一个坐标轴上评估用户脚前后方向移动程度;
在第二个坐标轴上计算用户脚侧向移动程度,该第二个坐标轴位于用户的脚底平面中并且垂直于用户的脚指向方向;
在垂直于用户的脚底平面的第三个坐标轴上计算用户脚上下移动程度。
11.根据权利要求10所述的方法,其中:
用户脚移动程度包括用户脚前后方向移动程度,用户脚侧向移动程度和用户脚上下移动程度,以及
在对应坐标轴计算用户脚移动程度的方法包括:
在数据采样时评估相应坐标轴上的运动强度;
检测用户脚移动的开始;和
从用户脚移动开始,通过累积相应坐标轴上的运动强度来计算相应轴的脚移动程度。
12.根据权利要求11所述的方法,其中计算相应坐标轴上的运动强度包括:
在数据采样时评估重力在相应坐标轴上的投影;和
通过从投影在相应轴上的加速度测量值减去相应轴上的重力投影来评估相应轴中的运动加速度以确定运动强度。
13.根据权利要求10所述的方法,其中,对应坐标轴上的用户脚移动程度的计算包括:
在用户脚移动的开始阶段通过相应坐标轴上的运动强度样本的符号确定相应坐标轴上的用户脚移动程度的符号。
14.根据权利要求10所述的方法,其中,所述足势特征信息获取设备是罗盘嵌入式鞋类。
15.根据权利要求14所述的方法,其中,所述用户脚移动程度在罗盘嵌入式鞋类的加速度传感器的第一,第二,第三坐标轴上评估。
16.根据权利要求9所述的方法,包括:
确定用户脚触地状态;
确定用户在二维坐标平面的脚指向的方向;和
确定相对于二维坐标平面的用户脚倾斜角度。
17.根据权利要求16所述的方法,还包括:
将用户脚触地状态,用户脚指向方向,用户脚倾斜角度以及用户脚移动程度发送到一个或多个电子设备进行控制。
18.一种非暂时性计算机可读存储介质,存储计算机可执行指令,用于在执行时,一个或多个处理器执行根据权利要求9所述的方法。
19.一种用于控制电子设备光标移动方法,包括:
根据脚触地状态判断光标控制开始
在光标控制开始时设定当前用户脚指向角为参考脚指向角以及设定当前用户脚倾角为参考脚倾角
根据脚触地状态判断光标控制是否正在进行
计算脚指向角差值为当前用户脚指向角度与参考脚指向角的差值
计算脚倾角差值为当前用户脚倾角与参考脚倾角的差值
根据脚指向角差值和脚倾角差值计算光标坐标变化
根据光标坐标变化生成光标控制命令。
20.一种非暂时性计算机可读存储介质,存储计算机可执行指令,用于在执行时,一个或多个处理器执行根据权利要求19所述的方法。
CN201910538601.0A 2018-06-20 2019-06-20 足势信息获取,检测及应用的方法和设备 Pending CN110633007A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862687601P 2018-06-20 2018-06-20
US62/687,601 2018-06-20

Publications (1)

Publication Number Publication Date
CN110633007A true CN110633007A (zh) 2019-12-31

Family

ID=68968442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910538601.0A Pending CN110633007A (zh) 2018-06-20 2019-06-20 足势信息获取,检测及应用的方法和设备

Country Status (1)

Country Link
CN (1) CN110633007A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694152A (en) * 1995-09-01 1997-12-02 Hunter Digital, Ltd. System for steering an electronically responsive device
US20100035688A1 (en) * 2006-11-10 2010-02-11 Mtv Networks Electronic Game That Detects and Incorporates a User's Foot Movement
US20120206356A1 (en) * 2011-02-11 2012-08-16 Campbell Frank W Foot-Operated Mouse
US20170055880A1 (en) * 2014-04-22 2017-03-02 The Trustees Of Columbia University In The City Of New York Gait Analysis Devices, Methods, and Systems
WO2018053055A1 (en) * 2016-09-13 2018-03-22 Xin Tian Methods and devices for information acquisition, detection, and application of foot gestures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694152A (en) * 1995-09-01 1997-12-02 Hunter Digital, Ltd. System for steering an electronically responsive device
US20100035688A1 (en) * 2006-11-10 2010-02-11 Mtv Networks Electronic Game That Detects and Incorporates a User's Foot Movement
US20120206356A1 (en) * 2011-02-11 2012-08-16 Campbell Frank W Foot-Operated Mouse
US20170055880A1 (en) * 2014-04-22 2017-03-02 The Trustees Of Columbia University In The City Of New York Gait Analysis Devices, Methods, and Systems
WO2018053055A1 (en) * 2016-09-13 2018-03-22 Xin Tian Methods and devices for information acquisition, detection, and application of foot gestures

Similar Documents

Publication Publication Date Title
Nilsson et al. Tapping-in-place: Increasing the naturalness of immersive walking-in-place locomotion through novel gestural input
JP6329469B2 (ja) 認識装置、認識方法及び認識プログラム
KR101666096B1 (ko) 강화된 제스처 기반 상호작용 시스템 및 방법
KR101252634B1 (ko) 보행자세 분석 시스템
CN102317892B (zh) 控制信息输入装置的方法、信息输入装置、程序和信息存储介质
WO2018053055A1 (en) Methods and devices for information acquisition, detection, and application of foot gestures
US11216080B2 (en) Methods and devices for information acquisition, detection, and application of foot gestures
CN103476283A (zh) 带传感器系统的鞋子
WO2008073801A2 (en) Inertial sensor input device
US20210275098A1 (en) Methods and devices for information acquisition, detection, and application of foot gestures
US10448892B2 (en) Compass-sensor embedded footwear system and operation method thereof
JP3847634B2 (ja) 仮想空間シミュレーション装置
US10268282B2 (en) Foot-operated touchpad system and operation method thereof
US11703955B2 (en) Methods and devices for information acquisition, detection, and application of foot gestures
JP5129851B2 (ja) 重心動揺システム
CN110633007A (zh) 足势信息获取,检测及应用的方法和设备
JP2021018225A (ja) ウェアラブルデバイス及びそれを作動させる方法
JP2018073330A (ja) 入力装置及び仮想空間表示装置
CN107153461B (zh) 一种控制显示对象的运动方式的方法和运动控制装置
TW201545720A (zh) 腳步偵測系統
Doppler et al. Variability in foot-worn sensor placement for activity recognition
Barrera et al. Hands-free navigation methods for moving through a virtual landscape walking interface virtual reality input devices
WO1997042620A1 (en) Virtual motion controller
WO2016121999A1 (ja) ユーザ入力装置及びカーソル制御システム
WO2015152361A1 (ja) 経路形状判定装置、運動支援システム及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination