CN109343702A - 一种基于智能戒指和节点的便携式vr动作输入方法 - Google Patents

一种基于智能戒指和节点的便携式vr动作输入方法 Download PDF

Info

Publication number
CN109343702A
CN109343702A CN201811051608.1A CN201811051608A CN109343702A CN 109343702 A CN109343702 A CN 109343702A CN 201811051608 A CN201811051608 A CN 201811051608A CN 109343702 A CN109343702 A CN 109343702A
Authority
CN
China
Prior art keywords
hand
index finger
knuckle
imu
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811051608.1A
Other languages
English (en)
Inventor
党宏武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meng Zhuo Technology (shenzhen) Co Ltd
Original Assignee
Meng Zhuo Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meng Zhuo Technology (shenzhen) Co Ltd filed Critical Meng Zhuo Technology (shenzhen) Co Ltd
Priority to CN201811051608.1A priority Critical patent/CN109343702A/zh
Publication of CN109343702A publication Critical patent/CN109343702A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种基于智能戒指和节点的便携式VR动作输入方法，在手臂的大臂处附着大臂IMU追踪模块，小臂处附着小臂IMU追踪模块，手背处附着手部IMU追踪模块，食指第一指节处附着食指IMU追踪模块，获取大臂、小臂、手背以及食指第一指节的空间方位，利用无线传输将整个胳膊的动作输入到VR系统，与现有技术相比，本发明首次为VR系统提供了一种精度、低成本的消费级动作输入方案，同时提供了新的基于动作的交互方式。

Description

一种基于智能戒指和节点的便携式VR动作输入方法
技术领域
本发明属于虚拟现实技术领域，特别涉及一种基于智能戒指和节点的便携式VR动作输入方法。
背景技术
当前虚拟现实(VR)输入方案主要分为三类：
一是专业VR方案。例如HTC Vive，Oculus Rift等。通过激光场定位头盔与手柄，来实现头部与手部的空间位置追踪和空间朝向追踪。同时手柄的按钮实现交互操作。
二是移动VR。例如三星Gear VR。将手机置于VR眼镜盒内，并佩戴在头部。利用手机内置的IMU传感器及磁力计，实现对头部空间朝向追踪，提供有限的沉浸感。移动VR一般配备单个手柄，手柄内含9轴传感器，实现对手柄的空间朝向的追踪，利用手柄的空间朝向、以及按钮，实现在虚拟世界中交互。
三是VR一体机。与移动VR类似，主要是集成了显示与处理部件，不需要额外放置手机。同样采用类似移动VR的手柄进行交互操作。
可以看出，专业VR可以确定头部与手部的空间位置与空间朝向，但其成本较高。移动VR与VR一体机只能确定头部与手部的空间朝向，不能确定空间位置信息。同时这几种VR方案均不具备将人体动作作为交互方式。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于智能戒指和节点的便携式VR动作输入方法，主要解决目前VR系统没有高精度低成本的消费级动作输入方案的问题。
为了实现上述目的，本发明采用的技术方法是：
一种基于智能戒指和节点的便携式VR动作输入方法，在手臂的大臂处附着大臂IMU追踪模块1，小臂处附着小臂IMU追踪模块2，手背处附着手部IMU追踪模块3，食指第一指节处附着食指IMU追踪模块4，获取大臂、小臂、手背以及食指第一指节的空间方位，利用无线传输将整个胳膊的动作输入到VR系统。
所述大臂IMU追踪模块1、小臂IMU追踪模块2和手部IMU追踪模块3通过绑带附着在肢体上；所述食指IMU追踪模块4设置在一个指环或者戒指5上，所述指环或者戒指5上靠近大拇指的一侧具有触摸按钮6，以便于大拇指进行触摸输入。
所述触摸按钮6为电容式触摸按键，供用户进行触摸输入，以实现进一步的交互操作。
本发明可通过所述食指IMU追踪模块4追踪食指第一指节的空间方位信息，并以此信息来模拟整个手部的动作，实现对手部动作的追踪。
本发明可通过手背以及食指第一指节的空间方位计算出食指第一指节向掌心弯曲的角度即食指第一指节与手背的夹角a1以及食指向外侧伸展的角度α，根据手指节与手背的几何关系以及手指节之间的几何关系，模拟出整个手部的动作。
用β表示无名指向外侧的伸展角度为，θ表示小指向外侧的伸展角度，a2表示食指第二指节与第一指节的夹角，a3表示食指第三指节与第二指节的夹角，则模拟整个手部的动作的方法为：
当做简单的手部运动时，认为β≈-α，θ≈-2α，模拟出整个手部的姿态；
当手部抓握物体时，认为a2≈a1*1.37，a3≈a1*1.47或者认为a1≈a2≈a3，模拟出手指抓握的姿态。
当全部满足以下条件时，可认为抓握住物体：
1.a1大于一定抓握阈值，认为抓握了物体，当a1小于此阈值时，认为松开了物体；
2.手与物体的具体小于一定距离；
3.掌心方向朝向物体，角度偏差小于一定角度；
4.抓握/松开时，食指具有一定的角速度。
由于胳膊运动时，大臂、小臂、手背及食指第一指节的空间方位会发生变化。因此根据追踪模块的数据进行计算，可追踪大臂、小臂、手背、及食指第一指节的空间方位。
获取大臂、小臂、手背以及食指第一指节的空间方位后，计算手臂各个关节的空间位置信息，各个关节空间位置如下：
J1＝J0+V0*L0
J2＝J1+V1*L1＝J0+V0*L0+V1*L1
J3＝J2+V2*L2＝J0+V0*L0+V1*L1+V2*L2
J4＝J3+V3*L3＝J0+V0*L0+V1*L1+V2*L2+V3*L3
其中，J0是肩关节的三维空间位置坐标，J1是肘关节的三维空间位置坐标，J2是腕关节的三维空间位置坐标，J3是食指第一指节的三维空间位置坐标，J4是食指第二指节的三维空间位置坐标，V0是朝着肢体末端的大臂空间方位三维向量，V1是朝着肢体末端的小臂空间方位三维向量，V2是朝着肢体末端的手背空间方位三维向量，V3是朝着肢体末端的食指第一指节空间方位三维向量，L0是大臂长度，L1是小臂长度，L2是手背长度，L3是食指第一指节长度。
通过记录各个关节的空间位置信息，计算各个关节的运动速度与方向。
与现有技术相比，本发明首次为VR系统提供了一种精度、低成本的消费级动作输入方案，同时提供了新的基于动作的交互方式。
附图说明
图1是本发明IMU追踪模块设置示意图。
图2是本发明食指IMU追踪模块的设置结构示意图。
图3是本发明手指向外侧的伸展角度示意图。
图4是本发明手指抓握模拟示意图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本发明所描述的可穿戴方法，基于IMU传感器技术与无线传输技术，同时追踪用户的大臂、前臂、手背与手部空间方位，将整个胳膊的动作输入到VR系统。
具体地，如图1所示，在手臂的大臂处附着大臂IMU追踪模块1，小臂处附着小臂IMU追踪模块2，手背处附着手部IMU追踪模块3，食指第一指节处附着食指IMU追踪模块4，获取大臂、小臂、手背以及食指第一指节的空间方位，利用无线传输将整个胳膊的动作输入到VR系统。同时，经过计算，可以得知手臂各个关节的空间位置信息，因此提供了包括手部的整个胳膊的位置定位功能。
各IMU追踪模块均为可穿戴设计，设计为小巧的戒指与节点。穿戴及使用方便，不需要笨重的手柄，最大限度解放用户肢体及双手，用户操作更自然，动作更准确。同时，本发明实现了追踪模块的数量最小化，利用手部食指第一指节的食指IMU追踪模块4来追踪食指第一指节的方位信息，并以此信息来模拟整个手部的动作。可以实现对手部抓握、抛扔等动作的追踪。
其中，大臂IMU追踪模块1、小臂IMU追踪模块2和手部IMU追踪模块3通过绑带附着在肢体上；食指IMU追踪模块4设置在一个指环或者戒指5上，参考图2，在指环或者戒指5上靠近大拇指的一侧具有触摸按钮6，以便于大拇指进行触摸输入。触摸按钮6可为普通的电容式触摸按键，供用户进行触摸输入，以实现进一步的交互操作。
本发明可通过食指IMU追踪模块4追踪食指第一指节的空间方位信息，并以此信息来模拟整个手部的动作，实现对手部动作的追踪。
假设各个关节的空间位置分别是：
J0，肩关节的三维空间位置坐标
J1，肘关节的三维空间位置坐标
J2，腕关节的三维空间位置坐标
J3，食指第一指节的三维空间位置坐标
J4，食指第二指节的三维空间位置坐标
假设朝着肢体末端的方位分别是：
V0，大臂空间方位三维向量
V1，小臂空间方位三维向量
V2，手背空间方位三维向量
V3，食指第一指节空间方位三维向量
假设肢体长度(相邻两关节间的距离)分别是：
L0，大臂长度
L1，小臂长度
L2，手背长度
L3，食指第一指节长度
则可以计算出各个关节空间位置如下：
J1＝J0+V0*L0
J2＝J1+V1*L1＝J0+V0*L0+V1*L1
J3＝J2+V2*L2＝J0+V0*L0+V1*L1+V2*L2
J4＝J3+V3*L3＝J0+V0*L0+V1*L1+V2*L2+V3*L3
同时，通过记录各个关节的位置信息，可以计算出各个关节点的运动速度与方向。
参考图3和图4，通过手背以及食指第一指节的空间方位计算出食指第一指节向掌心弯曲的角度即食指第一指节与手背的夹角a1以及食指向外侧伸展的角度α，根据手指节与手背的几何关系以及手指节之间的几何关系，模拟出整个手部的动作。
用β表示无名指向外侧的伸展角度为，θ表示小指向外侧的伸展角度，a2表示食指第二指节与第一指节的夹角，a3表示食指第三指节与第二指节的夹角，则：
根据统计与简化，当做简单的手部运动时，认为β≈-α，θ≈-2α，借助于食指戒指和手背的节点，可以实时监测并计算出夹角α的数值。也就得出了β与θ的数据，可以模拟是整个手部的姿态。
当手部抓握物体时(为简单起见，将物体简化为球体或圆柱体)，食指指节会贴合物体表面。但因为手部生理结构，角度a2与a3相当，a1会比a2及a3略小。通过大量统计以及简化，有如下关系：
a2≈a1*1.37
a3≈a1*1.47
说明：以上夹角关系并不固定。也可以认为a1≈a2≈a3。只要模拟抓握时手部姿势可接受即可。
借助于食指戒指和手背的节点，可以实时监测并计算出夹角a1的数值。并计算出a2与a3，便可模拟出手指抓握的姿态。
当全部满足以下条件时，可以认为抓握住物体。
1.a1大于一定抓握阈值(例如50°)，认为抓握了物体。当a1小于此阈值时，认为松开了物体。
2.手与物体的具体小于一定距离，例如10厘米。
3.掌心方向朝向物体，角度偏差小于一定角度，例如10°。
4.为避免出现抓握/松开的抖动情况，可判定抓握/松开时，食指具有一定的角速度。
说明：抓握阈值与手指大小和物体的直径有关系，通过计算可得出。此处简化计算，直接使用预设值。

Claims (9)

1.一种基于智能戒指和节点的便携式VR动作输入方法，其特征在于，在手臂的大臂处附着大臂IMU追踪模块(1)，小臂处附着小臂IMU追踪模块(2)，手背处附着手部IMU追踪模块(3)，食指第一指节处附着食指IMU追踪模块(4)，获取大臂、小臂、手背以及食指第一指节的空间方位，利用无线传输将整个胳膊的动作输入到VR系统。
2.根据权利要求1所述基于智能戒指和节点的便携式VR动作输入方法，其特征在于，所述大臂IMU追踪模块(1)、小臂IMU追踪模块(2)和手部IMU追踪模块(3)通过绑带附着在肢体上；所述食指IMU追踪模块(4)设置在一个指环或者戒指(5)上，所述指环或者戒指(5)上靠近大拇指的一侧具有触摸按钮(6)，以便于大拇指进行触摸输入。
3.根据权利要求2所述基于智能戒指和节点的便携式VR动作输入方法，其特征在于，所述触摸按钮(6)为电容式触摸按键，供用户进行触摸输入，以实现进一步的交互操作。
4.根据权利要求1所述基于智能戒指和节点的便携式VR动作输入方法，其特征在于，通过所述食指IMU追踪模块(4)追踪食指第一指节的空间方位信息，并以此信息来模拟整个手部的动作，实现对手部动作的追踪。
5.根据权利要求4所述基于智能戒指和节点的便携式VR动作输入方法，其特征在于，通过手背以及食指第一指节的空间方位计算出食指第一指节向掌心弯曲的角度即食指第一指节与手背的夹角a1以及食指向外侧伸展的角度α，根据手指节与手背的几何关系以及手指节之间的几何关系，模拟出整个手部的动作。
6.根据权利要求5所述基于智能戒指和节点的便携式VR动作输入方法，其特征在于，用β表示无名指向外侧的伸展角度为，θ表示小指向外侧的伸展角度，a2表示食指第二指节与第一指节的夹角，a3表示食指第三指节与第二指节的夹角，则模拟整个手部的动作的方法为：
当做简单的手部运动时，认为β≈-α，θ≈-2α，模拟出整个手部的姿态；
当手部抓握物体时，认为a2≈a1*1.37，a3≈a1*1.47或者认为a1≈a2≈a3，模拟出手指抓握的姿态。
7.根据权利要求6所述基于智能戒指和节点的便携式VR动作输入方法，其特征在于，当满足以下条件时，可认为抓握住物体：
1.a1大于一定抓握阈值，认为抓握了物体，当a1小于此阈值时，认为松开了物体；
2.手与物体的距离小于一定距离；
3.掌心方向朝向物体，角度偏差小于一定角度；
4.抓握/松开时，食指具有一定的角速度。
8.根据权利要求1所述基于智能戒指和节点的便携式VR动作输入方法，其特征在于，获取大臂、小臂、手背以及食指第一指节的空间方位后，计算手臂各个关节的空间位置信息，各个关节空间位置如下：
J1＝J0+V0*L0
J2＝J1+V1*L1＝J0+V0*L0+V1*L1
J3＝J2+V2*L2＝J0+V0*L0+V1*L1+V2*L2
J4＝J3+V3*L3＝J0+V0*L0+V1*L1+V2*L2+V3*L3
其中，J0是肩关节的三维空间位置坐标，J1是肘关节的三维空间位置坐标，J2是腕关节的三维空间位置坐标，J3是食指第一指节的三维空间位置坐标，J4是食指第二指节的三维空间位置坐标，V0是朝着肢体末端的大臂空间方位三维向量，V1是朝着肢体末端的小臂空间方位三维向量，V2是朝着肢体末端的手背空间方位三维向量，V3是朝着肢体末端的食指第一指节空间方位三维向量，L0是大臂长度，L1是小臂长度，L2是手背长度，L3是食指第一指节长度。
9.根据权利要求1所述基于智能戒指和节点的便携式VR动作输入方法，其特征在于，通过记录各个关节的空间位置信息，计算各个关节的运动速度与方向。
CN201811051608.1A 2018-09-10 2018-09-10 一种基于智能戒指和节点的便携式vr动作输入方法 Withdrawn CN109343702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811051608.1A CN109343702A (zh) 2018-09-10 2018-09-10 一种基于智能戒指和节点的便携式vr动作输入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811051608.1A CN109343702A (zh) 2018-09-10 2018-09-10 一种基于智能戒指和节点的便携式vr动作输入方法

Publications (1)

Publication Number Publication Date
CN109343702A true CN109343702A (zh) 2019-02-15

Family

ID=65304691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811051608.1A Withdrawn CN109343702A (zh) 2018-09-10 2018-09-10 一种基于智能戒指和节点的便携式vr动作输入方法

Country Status (1)

Country Link
CN (1) CN109343702A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880651A (zh) * 2020-07-16 2020-11-03 北京悉见科技有限公司 用于与ar设备交互的设备、方法及用于ar设备的方法
CN111920416A (zh) * 2020-07-13 2020-11-13 张艳 一种手部康复训练效果测量方法、存储介质、终端及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN205608660U (zh) * 2016-03-14 2016-09-28 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN106354253A (zh) * 2016-08-19 2017-01-25 上海理湃光晶技术有限公司 一种光标控制方法与基于该方法的ar眼镜与智能指环
CN106774926A (zh) * 2016-12-30 2017-05-31 深圳创维－Rgb电子有限公司 一种虚拟现实交互手套系统及虚拟现实系统
CN107102724A (zh) * 2016-02-23 2017-08-29 联发科技股份有限公司 可穿戴传感器装置以及虚拟现实系统
CN206532247U (zh) * 2017-03-02 2017-09-29 羽意互动咨询（北京）有限公司 用于调节控制vr眼镜的智能指环

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102724A (zh) * 2016-02-23 2017-08-29 联发科技股份有限公司 可穿戴传感器装置以及虚拟现实系统
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN205608660U (zh) * 2016-03-14 2016-09-28 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN106354253A (zh) * 2016-08-19 2017-01-25 上海理湃光晶技术有限公司 一种光标控制方法与基于该方法的ar眼镜与智能指环
CN106774926A (zh) * 2016-12-30 2017-05-31 深圳创维－Rgb电子有限公司 一种虚拟现实交互手套系统及虚拟现实系统
CN206532247U (zh) * 2017-03-02 2017-09-29 羽意互动咨询（北京）有限公司 用于调节控制vr眼镜的智能指环

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111920416A (zh) * 2020-07-13 2020-11-13 张艳 一种手部康复训练效果测量方法、存储介质、终端及系统
CN111920416B (zh) * 2020-07-13 2024-05-03 张艳 一种手部康复训练效果测量方法、存储介质、终端及系统
CN111880651A (zh) * 2020-07-16 2020-11-03 北京悉见科技有限公司 用于与ar设备交互的设备、方法及用于ar设备的方法

Similar Documents

Publication Publication Date Title
CN204496431U (zh) 上肢穿戴式动作捕捉设备
US10852835B2 (en) Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
US8421448B1 (en) Hall-effect sensor system for gesture recognition, information coding, and processing
CN104007844B (zh) 电子设备和用于电子设备的可穿戴式输入装置
CN103105945B (zh) 一种支持多点触摸手势的人机交互戒指
CN103793075A (zh) 一种应用在智能手表上的识别方法及智能手表
CN103677289A (zh) 一种智能交互手套及交互方法
Hrabia et al. Whole hand modeling using 8 wearable sensors: Biomechanics for hand pose prediction
CN201638148U (zh) 一种手套式虚拟输入装置
CN103692454B (zh) 外骨架穿戴式数据手套
CN104571837B (zh) 一种实现人机交互的方法及系统
CN104756045A (zh) 用于跟踪由关节连接的身体部位的可佩戴传感器
CN210776590U (zh) 一种可拉伸柔性贴附式手部精细动作捕捉装置
CN106774926B (zh) 一种虚拟现实交互手套系统及虚拟现实系统
CN109701224B (zh) 一种增强现实ar腕关节康复评估和训练系统
TW202026049A (zh) 用於虛擬實境的手部動作感知裝置及其手套組件
CN109343702A (zh) 一种基于智能戒指和节点的便携式vr动作输入方法
CN103677265A (zh) 一种智能感应手套及智能感应方法
CN207087856U (zh) 一种基于触觉反馈的外骨骼
CN109498375A (zh) 一种人体运动意图识别控制装置及控制方法
CN207100612U (zh) 一种基于虚拟现实仿真模拟的数据手套装置
Shigapov et al. Design of digital gloves with feedback for VR
CN206162395U (zh) 一种用于虚拟现实环境的动作捕捉系统
Yeh et al. An integrated system: virtual reality, haptics and modern sensing technique (VHS) for post-stroke rehabilitation
Novacek et al. Overview of controllers of user interface for virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190215

WW01 Invention patent application withdrawn after publication