CN111580676A

CN111580676A - 脚势识别全向控制系统及其实现方法

Info

Publication number: CN111580676A
Application number: CN202010430996.5A
Authority: CN
Inventors: 赖胜平
Original assignee: Shenzhen Zhongkedun Technology Co ltd
Current assignee: Shenzhen Zhongkedun Technology Co ltd
Priority date: 2020-05-20
Filing date: 2020-05-20
Publication date: 2020-08-25
Anticipated expiration: 2040-05-20

Abstract

本发明涉及计算机交互控制技术领域，公开了脚势识别全向控制系统及其实现方法，控制系统包括支撑系统、跟踪定位系统、信息处理系统、终端实现系统；脚势识别全向控制的实现方法包括步骤：获取原点坐标系；用户入座，进行双脚的空间移动；跟踪定位系统实时获取双脚坐标信息；信息处理系统进行双脚坐标的判断、计算处理；信息处理系统根据计算结果得出双脚的状态信息并向终端系统输出脚势识别控制指令信息；VR终端设备响应显示相应的虚拟画面。本发明通过实时捕捉用户两脚的空间位置，并计算两脚的相对位置信息来实现对终端系统的控制，该控制方式轻松自由、体验舒适、安全性高，更符合人类的操作习性。

Description

脚势识别全向控制系统及其实现方法

技术领域

本发明涉及计算机交互控制技术领域，具体的说涉及脚势识别全向控制系统及其实现方法。

背景技术

VR能够使人身临其境地感受影视、游戏等内容，但因为缺乏良好的VR移动交互机制，人们还难以在虚拟空间内自由活动，以及自然地与VR场景进行系统操作交互。比如，现阶段方案用户只能坐着或站着，通过手柄来控制画面的移动，这将非常不符合人类用脚来移动的习性，并且因为身体感受到的现实实际运动状态与视觉所感受到的运动状态不符，会给用户带来严重的晕动症；另一种现有方案是让用户在有限的空间面积内行走来体验VR，但用户只能在水平面方向上进行有限的活动，而不能真实体验向上或向下的立体运动，并且始终有安全隐患，如会撞到墙壁、家具等风险；最后，即使像美国的Virtuix Omni、中国的KAT Walk（公开号CN208426580U）等提供移动的方案也存在诸多问题，一是这种频繁使用双脚滑动来移动将会使用户很容易疲劳，并出汗，这将大大限制用户的使用时长，另外该方案也不能实现在立体空间上进行运动，只能在平面上进行行走。因此，有必要提供一种全新的脚势识别全向控制方案。

发明内容

针对现有技术中的不足，本发明要解决的技术问题在于提供了脚势识别全向控制系统，包括支撑系统，该全向控制系统还包括：

跟踪定位系统，用于实时获取用户双脚所处的空间位置信息；

信息处理系统，用于对跟踪定位系统获取的双脚实时位置信息进行收集、处理，并生成脚势识别控制信息；

终端实现系统，用于接收信息处理系统的脚势识别控制信息，并实现终端设备的实时响应。

进一步的，所述支撑系统用于用户的身体支撑，使用户的双脚悬空；

所述跟踪定位系统采用lighthouse定位技术和/或红外光学定位技术和/或可见光定位技术对双脚进行位置追踪；其获取的双脚位置信息包括双脚的实时平面X、Y坐标；

所述信息处理系统包括单片机，其对双脚位置信息的处理包括双脚X、Y坐标的正负判断、数值大小判断、绝对值的计算，左右脚X、Y坐标的差值计算及左右脚X、Y坐标差值的绝对值计算；

所述终端实现系统包括但不限于VR头显终端。

本发明同时提供了脚势识别全向控制的实现方法，该实现方法包括如下步骤：

S1：使用VR头显进行初始化定位，使VR头显及其他跟踪定位器获得原点坐标系；

S2：用户入座在支撑系统上，使双脚悬空并稍微打开, 然后进行双脚的空间移动；

S3：跟踪定位系统实时获取双脚的X、Y坐标值，并输出坐标信息；

S4：单片机进行双脚X、Y坐标的正负判断、数值大小判断、绝对值的计算，左右脚X、Y坐标的差值计算及左右脚X、Y坐标的差值绝对值计算；

S5：单片机根据计算结果得出双脚的前伸、后伸、左摆、右摆、张开、闭合、错位的脚势信息及相应脚势的持续时长信息，并向终端系统输出脚势识别控制指令信息；

S6：VR终端设备接收脚势识别控制指令并实时响应显示相应的虚拟画面。

进一步的，所述VR终端设备显示的虚拟画面包括前后运动和/或左右运动和/或上下升降和/或左右旋转的虚拟画面。

相对于现有技术，本发明的有益效果是：

（1）体验更自由：现有技术方案主要的缺陷是难以进行立体空间上的自由移动，只能在平面上进行行走，而本发明将有助于让用户实现全向性的立体空间运动，因而用户体验会更自由。

（2）更符合人类习性：现有技术方案主要是用手柄来控制移动，而用手来控制移动行为不符合人类的生活习惯，因为在现实世界中我们本来就是通过脚来进行移动的，因此，本发明通过用脚来控制移动更符合人类的习性。

（3）更轻松：本发明的脚势识别不需要太大的摆动就可以控制方向，因而人们可以非常轻松地在虚拟空间内进行移动，体力的消耗非常低。

（4）成本低：现有技术方案中跑步机形式的运动控制器，需要数量众多的传感器及需要购买特定的结构设备，这会加大用户的使用成本；而本发明的控制系统只需要坐在可以让双脚悬空的椅子上即可，理论上家里的椅子也可以拿来直接使用，因而使用场景及设施很容易获得，占地面积也相对较小。

（5）安全性高：本发明只需要稍微摆动双脚即可控制虚拟空间的移动，因此，使用本发明的控制方案用户不用担心在虚拟空间中的过度移动会在现实中产生意外，比如现有方案就可能会因为过度移动而撞到墙、家具等，用户在使用时将会更放松，心理压力会大大缓解。

（6）降低晕动症：用户的晕动症很大一部分原因是因为虚拟的运动体验和身体感受到的实际运动状况不一样而导致，而我们身体感受现实中的实际运动状况信息主要来源于脚上神经系统的反馈，但是本发明坐在悬空的椅子会让双脚离地，因此可以减少用户感知身体在现实中的真实运动状态，使它减少与视觉上的冲突，从而降低晕动症。

附图说明

图1为本发明脚势识别全向控制系统的结构及实现方法示意图；

图2为本发明一种优选实施例中脚势识别全向控制系统的结构示意图；

图3为本发明一种优选实施例中双脚移动坐标示意图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参照附图1，本发明的脚势识别全向控制系统，主要是通过跟踪定位技术实时捕捉用户两脚所处的空间位置，并计算两脚的相对位置信息来实现对计算机系统的控制，该全向控制系统包括：支撑系统，用于用户的身体支撑，使用户的双脚悬空；跟踪定位系统，用于实时获取用户双脚所处的空间位置信息；信息处理系统，用于对跟踪定位系统获取的双脚实时位置信息进行收集、处理，并生成脚势识别控制信息；终端实现系统，用于接收信息处理系统的脚势识别控制信息，并实现终端设备的实时响应。

参照附图1，本发明公开了脚势识别全向控制的实现方法，该方法包括如下步骤：

其中，本发明采用的跟踪定位技术已是较成熟的现有技术，并且能够与VR/电脑等计算机平台进行流畅的交互，如使用HTC vive的lighthouse定位技术，在两脚上各绑一个vive Tracker追踪器或直接将标配手柄绑在脚上，就可以获得精确到毫米的空间位置信息，并将定位信息传输到计算机系统中使用；再或者Oculus使用的红外光学、索尼PSVR使用的可见光定位技术，均可以对脚部的某一特定部位或标记点进行位置追踪，并获得较高的识别定位精度，本发明不对具体使用何种定位技术进行限制。以下优选实施例1以当下最为常用的VR定位方式“lighthouse”为例对脚势识别全向控制VR交互进行具体说明：

实施例1

参照附图2，本优选实施例中，支撑系统包括支撑架6及设置在支撑架6上的安全坐垫5；跟踪定位系统包括定位基站1、跟踪定位器2及坐标原点3；终端实现系统为VR头显4；信息处理系统为嵌入在VR头显4内的单片机7。

其中，安全坐垫5用于为用户提供安全保障，使用户双脚悬空；定位基站1用于向跟踪定位器2发射信号，使其进行定位；跟踪定位器2设有两个，分别绑定在用户的左、右脚上，用于接收定位基站1的发射信号，实时测量与定位基站1的相对距离、角度确定当前所在位置，并将位置信息传输给单片机7；坐标原点3用于初始化跟踪定位器2原点坐标的标识，实际操作中是将VR头显朝前，并放置在坐标原点3处，再执行初始化定位即可得到一个以原点3为中心的初始三维坐标系，该原点即可被所有其他定位器作为原点坐标使用；单片机7用于接收、处理跟踪定位器2的位置信息，并生成脚势识别控制指令信息；VR头显4用于接收脚势识别控制信息，并实时响应显示相应的虚拟画面。

为便于说明，现定义一个X、Y组成的平面坐标系，如图3所示，通过跟踪定位系统确定原点坐标， X为纵坐标，沿脚尖朝向为正数，Y为横坐标，脚的右边为正数，高度坐标不参与计算，只计算两脚投影在X，Y组成的平面坐标值，但该数值仅为表达计算方法，并不限定实际投入使用时的度量单位。该实施例中定义左脚坐标为L（X1,Y1），右脚坐标为R（X2,Y2），为了使运动控制舒适及流畅，现定义左右脚下方各有一个初始区域（图2中央灰色区块），它们的初始区域坐标为L（-10<X1<10,-20<Y1<-10），R（-10<X2<10,10<Y2<20），且定义只要两只脚或其中任一只脚处于与之对应的初始区域，控制系统即不作任何移动指令，使用户在虚拟场景中处于静止状态，因此下述各项运动的控制均是在未触及初始区域的前提下实现。

以下对典型的空间虚拟运动及其他功能设定作更具体地说明，以便相关技术人员更容易理解：

前后运动：根据人类习性，当我们要向前时，身体会前倾，相对的两脚则往后，因此，如果信息处理系统比对出左脚X1、右脚X2值均小于-10，则表示用户/角色在虚拟场景中需向前运动，反之两脚伸向前，信息处理系统比对出左脚X1、右脚X2值均大于10，则表示用户/角色在虚拟场景中需向后运动。前后运动时，另取X1、X2的绝对值中最小数为速度控制参数，且取出的绝对值数值越大，运动速度越快。因此，当用户双脚前伸时，虚拟角色向后运动；当用户双脚后伸时，虚拟角色向前运动，且两只脚伸出位移的最小者数值越大，其前后运动的速度越快。

左右运动：同理，当双脚往左摆，相对身体是向右倾的，即左脚Y1<-20且右脚Y2<10时，则用户/角色将在虚拟场景中向右移动，取Y1的绝对值为速度控制参数，绝对值越大，运动速度越快；反之两脚向右摆，即-10<Y1且20<Y2时，则表示用户/角色在虚拟场景中需向左运动，取Y2的绝对值为速度控制参数，绝对值越大，运动速度越快。因此，当用户双脚左摆时，虚拟角色向右运动，且左脚的位移越大，速度越快；当用户双脚右摆时，虚拟角色向左运动，且右脚位移越大，速度越快。

上下升降：此处定义当两脚合并则上升，两脚打开则下降，本处将用Y2减Y1得到的数值来确定用户/角色在虚拟场景中运动方向，且为使用户双脚的能做些微动作，使过程舒适、可控性更高，定义当-40<Y1-Y2<-20时，为缓冲状态，不作升降反应；当-20<Y1-Y2时，可知两脚正合拢或者交叉，且幅度明显，此时用户/角色在虚拟场景中将可以开始往上运动，取Y1-Y2的绝对值作为控制上升速度的参数，数值越大，速度越快；当Y1-Y2<-40时，可知两脚正张开，且幅度较明显，因此用户/角色在虚拟场景中将可以开始往下运动，取其绝对值作为控制下降速度的参数，数值越大，速度越快。因此，当用户双脚合并时，虚拟角色上升运动，且合并幅度越大，上升速度越大；当用户双脚打开时，虚拟角色下降运动，且打开幅度越大，下降速度越快。

左右旋转：此处定义当左脚在前、右脚在后，则用户/角色在虚拟场景中向左旋转，当左脚在后，右脚在前，则用户/角色在虚拟场景中向右旋转，本处将用X1减X2得到的数值来确定旋转方向，当20<X1-X2时，可知左脚相对右脚在前且幅度已较明显，此时开启左转，转速取X1-X2的绝对值为控制参数，数值越大，速度越快；当X1-X2<-20时，可知右脚相对左脚在前，此时右转，转速取Y1-Y2的绝对值为控制参数，数值越大，速度越快。因此，当用户左脚前伸、右脚后伸时，虚拟角色向左转，且双脚前后伸的幅度越大，左转速度越快；当用户左脚后伸、右脚前伸，虚拟角色向右转，且双脚前后伸的幅度越大，右转速度越快。

复合运动：上述前后移动、左右平移、上升下降、左右旋转等运动并非独立运行的，也可进行复合的运动，例如在左右旋转时，系统还识别到升降信息，则会进行螺旋升降，向右平移运动时，系统还识别到向前运动，则会向右前方移动，通过上述的不同组合，就可以实现用户/角色在虚拟场景中各个方向的自由运动。

失效设定：在某些特殊情形下，如用户双脚行进方向上有障碍物阻挡，开发者可以设定是否需要让相应功能失效，使其不能继续移动。

系统功能：为使脚势控制能够实现更多计算机系统交互功能，比如调出系统菜单等，此优选实施例定义当左右脚中任一脚坐标位于初始区域（注意此时为停止运动状态），如左脚坐标在初始区域时，而右脚的Y2<-15时（实际体验中右脚向左脚过度靠近或交叉），可以调出系统菜单或执行其他交互操作；菜单系统出现后，当右脚处于初始区域时，而左脚的15<X1时，可以作为退出菜单页面的交互操作。并且调出菜单界面后，可以切换上述部分原本用于移动控制的功能设定，即将移动功能暂停，此时用户将可以通过脚势控制中的左转/右转来进行菜单栏的“左右选择功能”，通过脚势控制中的前进/后退来进行 “确认/取消”操作，通过脚势控制中的上升下降来进行“放大/缩小”等操作，直到“退出”菜单界面后，脚势信息才恢复原本的空间移动控制功能。

实施例2

本发明的脚势全向控制系统除了能进行视觉画面的移动操作交互功能外，还可同时或单独用于控制外部电子设备，如在VR设备中可以安装能够带动用户旋转的电机设备，在用户通过脚势实现左转右转时，脚势信息也可以用于控制电机设备的转动，如用户配置了电机设备，则能让用户身体感受到与虚拟世界同步的运动体验。

本发明通过脚势动作、识别来实现对终端设备的交互控制，从而实现VR视觉画面的良好交互及实现对其他必要的外设电动系统的控制，该控制方式轻松自由、体验舒适、安全性高，更符合人类的操作习性。

以上所述仅为本发明的优选实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.脚势识别全向控制系统，包括支撑系统，其特征在于，该全向控制系统还包括：

2.根据权利要求1所述的脚势识别全向控制系统，其特征在于：

所述支撑系统用于用户的身体支撑，使用户的双脚悬空；

所述终端实现系统包括但不限于VR头显终端。

3.脚势识别全向控制的实现方法，其特征在于，该实现方法包括如下步骤：

4.根据权利要求3所述的脚势识别全向控制系统，其特征在于：所述VR终端设备显示的虚拟画面包括前后运动和/或左右运动和/或上下升降和/或左右旋转的虚拟画面。