CN107003751A - 用于控制电子受控设备的手势识别系统 - Google Patents

用于控制电子受控设备的手势识别系统 Download PDF

Info

Publication number
CN107003751A
CN107003751A CN201580066375.0A CN201580066375A CN107003751A CN 107003751 A CN107003751 A CN 107003751A CN 201580066375 A CN201580066375 A CN 201580066375A CN 107003751 A CN107003751 A CN 107003751A
Authority
CN
China
Prior art keywords
control system
gesture motion
motion control
input
drift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580066375.0A
Other languages
English (en)
Inventor
赖庆贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ma Yue Co Ltd
Original Assignee
Ma Yue Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ma Yue Co Ltd filed Critical Ma Yue Co Ltd
Publication of CN107003751A publication Critical patent/CN107003751A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种包括感测设备的远程控制，所述感测设备并入到腕带中并具有用于提供与用户手腕的俯仰、翻滚和偏航移动有关的信号输入的传感器。具有漂移检测器的连续反馈回路接收传感器信号输入和旋转矩阵输入，并使用传感器信号输入来计算数值误差。比例积分控制器从漂移检测器接收所计算的数值误差输出，并将控制输出输出到漂移调节器。陀螺仪为漂移调节器提供输入，以校正仪器漂移，并提供输出以进行运动学和归一化计算并输出旋转矩阵。反馈回路采用旋转矩阵的上界和下界，以消除传感器设备输入中由于俯仰、翻滚或偏航中的突然角度变化引起的严重异常反馈数值误差。

Description

用于控制电子受控设备的手势识别系统
技术领域
本发明一般地涉及运动控制输入设备，更具体地，涉及用于控制具有电子受控运动的受电设备的移动的手持运动控制设备。
背景技术
来自和的现有手持运动控制器被众所周知为虚拟现实输入装置，包括使用多个传感器来检测手指和手的精细移动的虚拟现实手套。然而，VR输入设备必须包括偏航旋转以模拟用户的手或身体在二维电视屏幕上的虚拟移动。因此，它们不能被“重新利用”来控制三维空间中的物理对象(WII是美国华盛顿州雷德蒙德市的美国任天堂股份有限公司(Nintendo of America,Inc)的注册商标；XBOX是华盛顿州雷德蒙德市的微软公司(Microsoft Corporation)的注册商标；PLAYSTATION是日本东京的Kabushiki Kaisha Sony Computer Entertainment TA Sony ComputerEntertainment Inc.的注册商标。
来自Leap Motion的流行的运动控制器补充了鼠标和键盘输入，并且消除了物理接触计算机输入设备的需要，但是它要求用户的手和手指紧邻(非穿戴式)运动跟踪器，使得可以检测到运动。它未实现用户在附近自由移动来控制物理运行对象。
简而言之，市场上和已公开的技术中的已知远程控制器通过手指和手掌移动来控制。所需要的是免提(hands free)运动控制器，其不需要手指或手掌移动来在三维空间(例如，左、右、向前和向后的方向)中控制移动对象。本发明提供这样的解决方案，
上述专利反映了本发明人知道的现有技术的现状。这些专利的提及和讨论旨在帮助免除申请人在公开可能与本发明的权利要求的审查相关的信息方面公认的坦白义务。然而，恭敬地表示上述专利中没有一个单独地或视为组合时公开、教导、建议、示出或以其他方式呈现明显的本文描述的和要求保护的本发明。
发明内容
本发明是一种用于远程控制受控设备的手势运动控制系统。在其最重要的方面，本发明的远程控制系统包括并入到腕带中的感测设备，诸如手表或手镯。感测设备包括传感器，所述传感器提供与用户的手腕分别关于X、Y和Z轴的俯仰、翻滚和偏航移动有关的传感器信号输入。该系统接下来包括具有漂移检测器的连续反馈回路，以接收传感器信号输入以及旋转矩阵输入，然后使用传感器信号输入来计算数值误差。它还包括：比例积分控制器，用于接收来自漂移检测器的计算的数值误差输出，并将控制输出输出到漂移调节器；以及至少一个陀螺仪，其向漂移调节器提供输入以校正仪器漂移，并提供输出以进行运动学和归一化计算，并输出旋转矩阵。反馈回路采用旋转矩阵的上界和下界，以消除传感器设备输入中由于俯仰、翻滚或偏航中的突然角度变化引起的严重异常反馈数值误差。
附图说明
当考虑到以下详细描述时，本发明将被更好地理解，并且除上述内容之外的目的将变得显而易见。这样的描述参考附图，其中：
图1是示出并入到腕带或手镯中的本发明的手势识别设备以及在手势识别设备控制下的设备的高度示意图。
图2是图示手势识别设备的三个旋转元素(即，翻滚、俯仰和偏航)的示意图，三个旋转元素与前臂和手的移动(诸如如旋前、旋后、升高(例如屈曲)和降低(例如伸展))相对应并被识别为通过所述前臂和手的移动来实现；
图3图示了涉及关于Y轴的俯仰旋转以控制电子受控设备的前进和后退方向的手势；
图4图示了涉及关于X轴的翻滚旋转以控制电子设备的左右方向的手势控制；以及
图5是图示来自各种运动传感器的输入和用于校正系统运动算法中的反馈数值误差的装置的高度示意性框图。
具体实施方式
在其最重要的方面，本发明的手势运动控制系统包括并入到和/或嵌入在手镯或腕带(诸如手表10，诸如图1中示意性地示出的手表或腕带)内的感测设备。(如本文所使用的，术语“腕带”应被认为是指包括腕带、手表、手镯等。)腕带中的运动传感器检测用户的手旋转(翻滚和俯仰)以控制物理对象12，诸如被远程控制的轿车、卡车、飞机、船、直升机、多旋翼(四轴飞行器)、机器人等，的移动的方向，或者替选地，服从于涉及来自两个或三个正交传感器的输入变化的远程控制输入的房间或任何其它物理装置的环境条件。
如图2所示，旋转具有三个元素(俯仰14，翻滚16和偏航18)。偏航旋转跟随用户的身体转动移动或任何改变控制器的基本方向(罗盘朝向)的手和手臂的独立移动。不使用偏航旋转，手镯使用户能够自由移动、跑步和转动，以及仅使用手势来跟随和控制物理移动对象。
再次参考图1，手势识别设备嵌入在腕带或手镯内，用于以下几个应用：对于机器人控制(轿车、直升机、四轴飞碟(quadrone))：轻敲控制器一次打开控制器(通电)20；左转包括逆时针扭转手(旋前)20；右转需要顺时针扭转手(旋后)22；向前运动需要向下移动手24；向后运动需要向上移动手26；以及轻敲控制器一次接通控制器电源，再次轻敲一次，然后将其关闭28。使用另一次轻敲将会将其再次打开。
房间环境控制在功能上是可比的。光亮度/暗度和温度增加和减少可以被映射到与手势识别程序相对应。例如，增加房间光和使光变暗可以分别涉及旋后/旋前；温度升高和降低可以被类似地编程，或者可以分别涉及手腕的升高和降低。
接下来参考图2，再次看到在三维轴上存在三个旋转角度，其包括俯仰14、翻滚16和偏航18。本发明的手势识别设备使用俯仰14和翻滚16进行手势控制。偏航旋转18跟随用户的手和身体两者转动移动。因此，偏航不能仅通过手的移动来控制。偏航可以用于左或右方向控制，诸如来自或的运动控制器，因为对于虚拟游戏，用户的身体总是面向在一个方向上的视觉显示。然而，在物理世界中，为控制物理对象，在跟随移动对象的同时，用户几乎总是转动他或她的整个身体。这使得身体定向(关于垂直解剖轴，向右和向左、或顺时针和逆时针转动)作为偏航输入不适合用户在现实世界中控制物理对象的左右移动。
现在参考图3，本发明的手势控制设备使用关于Y轴30的旋转(俯仰)来控制在控制下的设备的向前和向后方向。将手和手腕上下移动等效于关于Y轴旋转。
保持在初始(大体水平)的前臂角度32处以定义初始的大致水平方向的平面并且定义空闲或停止状态，将手和手腕从水平方向降低34(例如，80度)(手向下角度)将提供向前控制输入。进一步减小该角度36(将手从水平定向的轴进一步向下)转化为增加向前的速度。
返回到水平方向32将使被远程控制的设备返回到空闲，停止状态。
然后，升高手和手腕38，并且因此将控制器向后倾斜向用户，相对于水平方向的向上的角度的状态(例如，100度至180度)将提供控制输入以使得在控制下的设备的相反方向。增加向后倾斜度40(手和手腕从水平方向进一步升高)转换为增加反向(向后)速度。
接下来参考图4，本发明的手势控制装置使用关于X轴50的旋转来控制在控制下的设备的左右方向移动。可以用从垂直方向52大约80到100度定向的手掌(在54示出的对应的手定向)来建立初始空闲右/左方向控制条件。然后，顺时针扭转手56或逆时针扭转手58等效于关于X轴旋转。使用初始的“翻滚”位置，顺时针扭转手产生右转输入。降低度数60(使手进一步顺时针扭转，从而离开初始空闲定向更远)导致右转速度输入的增加。相反，关于X轴的逆时针旋转58导致左转控制输入，并且进一步的逆时针旋转62增加左转速度。
接下来参考图5，本发明提供的进一步的改进源于运动控制算法中反馈数值误差的上界和下界的使用。写入由系统微控制器执行的运动控制算法以用于飞机控制，并被修改为禁止在每个时间步长内的俯仰、翻滚和偏航输入中的严重异常(突然角度变化)。在现实世界的控制条件下，在每个时间步长内，在所有方向，手的移动可以非常快速和突然的。这样的突然的移动将扭转正交维数并生成反馈数值误差中的大量级。因此，本发明应用一种算法，其通过使旋转矩阵算法不再在每个时间步长内生成正确的俯仰、翻滚和偏航角来调节任何不切实际的大数值误差。使用上界和下界，数值误差被加盖以稳定连续反馈回路条件70。
使用诸如磁力计72、加速度计74和一个或多个陀螺仪76(优选MEMS陀螺仪)的传感器来建立上电时的初始过程、倾斜、定向和斜度条件。通过漂移检测算法84检测并分析来自磁力计的偏航传感器输入78以及来自加速度计的俯仰和翻滚传感器输入80、以及旋转矩阵输入信号82(下面将更全面地描述)，该漂移检测算法84输出数值误差86到比例积分控制器88。在每个采样周期，比例积分控制器采取数值误差(漂移检测)输出，并使用已建立的PI算法来根据施加在控制器上的上限和下限设定点来计算误差值。控制器输出90是用于仪器漂移调节92的输入(例如，对于根据温度变化的偏移和灵敏度漂移)，漂移调节还将陀螺仪的信号或多个信号用作输入，所述陀螺仪甚至可以检测手势运动控制设备关于X、Y和Z这三个轴中的任何一个的小的运动。然后，控制器输出信号和陀螺仪信号，然后传递到运动学和归一化算法94以描述受控设备运动。输出是旋转矩阵96，其中概率分布根据施加在算法上的上和下矩阵极限在正交性规则下对齐。旋转矩阵信号返回到连续反馈回路，并且还用作设备定向以控制到受控设备98的输出信号，以用于受控设备在设备特定的可接受的控制参数内平滑和连续的操作。在正交规则100下，连续回路反馈算法使用旋转矩阵的上界和下界来消除严重异常的数值误差，使得矩阵的一行或一列中的误差不会过分和不利地影响矩阵中的其他表达。
前面的公开足以使本领域的技术人员能够实践本发明，而无需过多的实验。本公开进一步提供了实施本发明人现在考虑的发明的最佳方式。
虽然本文详细地示出和公开的具体装置和方法完全能够实现目的并提供本文所述的优点，但是应当理解，仅仅是本发明的当前优选实施例的说明，并且没有旨在限制除了如所附权利要求中所定义的之外的本文所示的结构或设计的细节。因此，本发明的适当范围应仅由所附权利要求的最广泛解释来确定，以便包括所有这些修改以及与附图中所示和说明书中描述的那些等价的所有关系。

Claims (18)

1.一种用于远程控制受控设备的手势运动控制系统，包括：
并入到腕带中的感测设备，所述感测设备包括传感器，所述传感器提供与用户手腕分别关于X、Y和Z轴的俯仰、翻滚和偏航移动有关的传感器信号输入；以及
连续反馈回路，所述连续反馈回路具有：漂移检测器，所述漂移检测器用于接收所述传感器信号输入以及旋转矩阵输入，并且使用所述输入来计算数值误差；比例积分控制器，所述比例积分控制器用于从所述漂移检测器接收所计算的数值误差输出，并输出控制输出到漂移调节器；以及至少一个陀螺仪，所述至少一个陀螺仪向所述漂移调节器提供输入，以使用该输入校正仪器漂移，并提供输出以进行运动学和归一化计算，并输出旋转矩阵；
其中，所述连续反馈回路采用所述旋转矩阵的上界和下界，以消除由于俯仰、翻滚或偏航中的突然角度变化而导致对所述感测设备的严重异常反馈数值误差输入。
2.根据权利要求1所述的手势运动控制系统，其中，所述传感器包括至少一个加速度计。
3.根据权利要求2所述的手势运动控制系统，其中，所述传感器包括至少一个加速度计和一个磁力计。
4.根据权利要求3所述的手势运动控制系统，进一步包括至少一个陀螺仪。
5.根据权利要求4所述的手势运动控制系统，其中所述磁力计提供偏航信号，并且所述至少一个加速度计提供俯仰和翻滚信号。
6.根据权利要求1所述的手势运动控制系统，其中，所述运动学和归一化算法描述对象运动并输出旋转矩阵，所述旋转矩阵根据施加在所述算法上的上界和下界在正交规则下使概率分布对齐。
7.根据权利要求1所述的手势运动控制系统，其中，所述旋转矩阵被传递回到所述连续反馈回路中，并且还作为所述感测设备的所计算的定向输出以用于控制所述受控设备。
8.根据权利要求7所述的手势运动控制系统，其中，所述矩阵的一行或一列中的大的数值误差不会不利地影响所述矩阵中的其他表达。
9.根据权利要求1所述的手势运动控制系统，其中，所述受控设备从由以下各项组成的组中选择：被远程控制的轿车、卡车、飞机、船、直升机或多旋翼、和机器人。
10.根据权利要求1所述的手势运动控制系统，其中，所述受控设备是人类住所，包括其照明和温度条件。
11.根据权利要求1所述的手势运动控制系统，其中，偏航旋转跟随用户的身体转动移动以及改变所述传感器设备的基本方向(罗盘朝向)的手和臂的独立运动。
12.如权利要求1所述的手势运动控制系统，其中，使用单个手指轻敲为所述系统上电。
13.根据权利要求1所述的手势运动控制系统，其中，所述手腕的逆时针旋转使得所述系统生成信号并将所述信号发送到受控设备以进行左转，并且所述手腕的顺时针旋转使所述系统生成信号并将所述信号发送到所述受控设备以进行右转。
14.根据权利要求1所述的手势运动控制系统，其中将所述手向下移动使所述系统生成信号并将所述信号传送到所述受控设备以向前移动，并且将所述手向下移动使所述系统生成信号并将所述信号发送到所述受控设备以向后移动。
15.根据权利要求1所述的手势运动控制系统，其中，关于Y轴的旋转控制在控制下的所述设备的所述向前和向后方向，并且其中，将所述手和手腕向上和向下移动等效于关于所述Y轴的旋转。
16.根据权利要求15所述的手势运动控制系统，其中，增加所述用户的手从初始空闲位置的位移增加了在控制下的所述设备的所述向前或反向方向。
17.根据权利要求1所述的手势运动控制系统，其中，关于X轴的旋转控制在控制下的所述设备的左右方向移动，并且所述手腕沿顺时针或逆时针方向的旋转等效于关于所述X轴的旋转。
18.根据权利要求17所述的手势控制系统，其中，增加关于所述X轴的旋转增加在控制下的所述设备从初始非转动条件的角度位移，并且增加由在控制下的所述设备做出的右转或左转的锐度。
CN201580066375.0A 2014-12-06 2015-05-06 用于控制电子受控设备的手势识别系统 Pending CN107003751A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462088572P 2014-12-06 2014-12-06
US62/088,572 2014-12-06
PCT/US2015/029560 WO2016089442A1 (en) 2014-12-06 2015-05-06 Hand gesture recognition system for controlling electronically controlled devices

Publications (1)

Publication Number Publication Date
CN107003751A true CN107003751A (zh) 2017-08-01

Family

ID=56092188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066375.0A Pending CN107003751A (zh) 2014-12-06 2015-05-06 用于控制电子受控设备的手势识别系统

Country Status (3)

Country Link
US (1) US10191544B2 (zh)
CN (1) CN107003751A (zh)
WO (1) WO2016089442A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107831791A (zh) * 2017-11-17 2018-03-23 南方科技大学 一种无人机的操控方法、装置、操控设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854308B1 (en) 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
US11714880B1 (en) * 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
KR20180026919A (ko) * 2016-09-05 2018-03-14 (주)알비케이이엠디 증강현실 또는 가상현실 시스템
FR3056369B1 (fr) * 2016-09-22 2020-01-31 Thales Systeme de communication et procede de communication associe
CN107168162B (zh) * 2017-05-25 2021-10-08 北京东软医疗设备有限公司 控制装置
US10691218B2 (en) 2017-05-31 2020-06-23 City University Of Hong Kong Gesture recognition apparatus and components thereof
CN107389129A (zh) * 2017-07-17 2017-11-24 武汉大学 一种远程体感控制水文水质监测系统平台
CA3029938A1 (en) * 2018-01-12 2019-07-12 Superior Marine Products Llc Gesturing for control input for a vehicle
US10386481B1 (en) * 2018-07-19 2019-08-20 King Abdullah University Of Science And Technology Angle-of-arrival-based gesture recognition system and method
CN109753876A (zh) * 2018-12-03 2019-05-14 西北工业大学 一种三维手势的提取识别和三维手势交互系统的构建方法
WO2020142543A1 (en) 2018-12-31 2020-07-09 Tomahawk Robotics Systems and methods of detecting intent of spatial control

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030149803A1 (en) * 2002-02-07 2003-08-07 Andrew Wilson System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
WO2008150809A1 (en) * 2007-05-29 2008-12-11 Cfph, Llc Game with hand motion control
US20110007000A1 (en) * 2008-07-12 2011-01-13 Lim Seung E Control of computer window systems and applications using high dimensional touchpad user interface
US20110163947A1 (en) * 2009-01-07 2011-07-07 Shaw Kevin A Rolling Gesture Detection Using a Multi-Dimensional Pointing Device
CN102566781A (zh) * 2010-12-08 2012-07-11 合发微系统科技股份有限公司 用于控制目标对象的运动的装置和方法
US20130217998A1 (en) * 2009-02-02 2013-08-22 Jointvue, Llc Motion Tracking System with Inertial-Based Sensing Units
US20140139432A1 (en) * 2008-10-20 2014-05-22 Sensor Platforms, Inc. System and Method for Determining an Attitude of a Device Undergoing Dynamic Acceleration
US20140176439A1 (en) * 2012-11-24 2014-06-26 Eric Jeffrey Keller Computing interface system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10231614B2 (en) * 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US9704412B2 (en) * 2013-08-26 2017-07-11 John Andrew Wells Biometric data gathering
US20150231491A1 (en) * 2014-02-19 2015-08-20 Microsoft Corporation Advanced Game Mechanics On Hover-Sensitive Devices
IL233684B (en) * 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
US9753546B2 (en) * 2014-08-29 2017-09-05 General Electric Company System and method for selective gesture interaction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030149803A1 (en) * 2002-02-07 2003-08-07 Andrew Wilson System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
WO2008150809A1 (en) * 2007-05-29 2008-12-11 Cfph, Llc Game with hand motion control
US20110007000A1 (en) * 2008-07-12 2011-01-13 Lim Seung E Control of computer window systems and applications using high dimensional touchpad user interface
US20140139432A1 (en) * 2008-10-20 2014-05-22 Sensor Platforms, Inc. System and Method for Determining an Attitude of a Device Undergoing Dynamic Acceleration
US20110163947A1 (en) * 2009-01-07 2011-07-07 Shaw Kevin A Rolling Gesture Detection Using a Multi-Dimensional Pointing Device
US20130217998A1 (en) * 2009-02-02 2013-08-22 Jointvue, Llc Motion Tracking System with Inertial-Based Sensing Units
CN102566781A (zh) * 2010-12-08 2012-07-11 合发微系统科技股份有限公司 用于控制目标对象的运动的装置和方法
US20140176439A1 (en) * 2012-11-24 2014-06-26 Eric Jeffrey Keller Computing interface system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107831791A (zh) * 2017-11-17 2018-03-23 南方科技大学 一种无人机的操控方法、装置、操控设备及存储介质
CN107831791B (zh) * 2017-11-17 2020-12-15 深圳意动航空科技有限公司 一种无人机的操控方法、装置、操控设备及存储介质

Also Published As

Publication number Publication date
US20170329403A1 (en) 2017-11-16
US10191544B2 (en) 2019-01-29
WO2016089442A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
CN107003751A (zh) 用于控制电子受控设备的手势识别系统
JP5969626B2 (ja) 高められたジェスチャ・ベースの対話のためのシステム及び方法
US20200050342A1 (en) Pervasive 3D Graphical User Interface
US9659413B2 (en) Method, system and device for navigating in a virtual reality environment
US20160098095A1 (en) Deriving Input from Six Degrees of Freedom Interfaces
WO2016097841A2 (en) Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
US20120038549A1 (en) Deriving input from six degrees of freedom interfaces
CN106293103B (zh) 基于惯性传感器的四轴飞行器手势控制装置和控制方法
CN109952552A (zh) 视觉提示系统
WO2019087564A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110215685A (zh) 游戏中的虚拟对象控制方法及装置、设备、存储介质
US20130060516A1 (en) Trace-generating devices and methods thereof
Park et al. New design and comparative analysis of smartwatch metaphor-based hand gestures for 3D navigation in mobile virtual reality
TW201118662A (en) Trace-generating systems and methods thereof
Lee et al. A development of virtual reality game utilizing kinect, oculus rift and smartphone
US20190187692A1 (en) Remote control device and method for uav and motion control device attached to uav
US20080074385A1 (en) Stand-Alone Device, System And Method For Navigating In A Space Having At Least Three Dimensions
Valkov et al. A multi-touch enabled human-transporter metaphor for virtual 3D traveling
Hsiao et al. Design of a wireless 3d hand motion tracking and gesture recognition glove for virtual reality applications
US20230041294A1 (en) Augmented reality (ar) pen/hand tracking
Butnariu et al. DEVELOPMENT OF A NATURAL USER INTERFACE FOR INTUITIVE PRESENTATIONS IN EDUCATIONAL PROCESS.
KR101962464B1 (ko) 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치
JP2017099608A (ja) 制御システム及びプログラム
Rahardjo et al. Combination of hardware and microservices-based vr game controller using mahony filter
Uribe et al. Gesture-based teleoperation using a holonomic robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170801

WD01 Invention patent application deemed withdrawn after publication