CN108874119B - 跟踪臂移动以生成计算机系统的输入的系统和方法 - Google Patents

跟踪臂移动以生成计算机系统的输入的系统和方法 Download PDF

Info

Publication number
CN108874119B
CN108874119B CN201711059496.XA CN201711059496A CN108874119B CN 108874119 B CN108874119 B CN 108874119B CN 201711059496 A CN201711059496 A CN 201711059496A CN 108874119 B CN108874119 B CN 108874119B
Authority
CN
China
Prior art keywords
upper arm
orientation
hand
longitudinal direction
forearm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711059496.XA
Other languages
English (en)
Other versions
CN108874119A (zh
Inventor
维克托·弗拉基米罗维奇·埃里温特塞夫
鲁斯塔姆·拉菲科维什·库利丘林
亚历山大·谢尔盖耶维奇·洛巴诺夫
亚科夫·叶夫根涅维什·谢尔盖耶夫
阿列克谢·伊万诺维奇·卡尔塔绍夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Finch XR Co.,Ltd.
Original Assignee
ivSystems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ivSystems Ltd filed Critical ivSystems Ltd
Publication of CN108874119A publication Critical patent/CN108874119A/zh
Application granted granted Critical
Publication of CN108874119B publication Critical patent/CN108874119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet

Abstract

一种系统包括：第一传感器模块，其具有惯性测量单元并且附接到用户的上臂，第一传感器模块生成识别上臂的取向的第一运动数据；第二传感器模块，其具有惯性测量单元并且附接到用户的手，第二传感器模块生成识别手的取向的第二运动数据；以及计算设备，其通过通信链路耦合到第一传感器模块和第二传感器模块，计算设备基于上臂的取向和手的取向来计算通过用户的手腕连接到手并且通过用户的肘关节连接到上臂的前臂的取向。

Description

跟踪臂移动以生成计算机系统的输入的系统和方法
相关申请
本申请要求于2017年10月18日提交的并且题为“Tracking Arm Movements toGenerate Inputs for Computer Systems”的美国专利申请序列No.15/787,555和于2017年5月16日提交的并且题为“Methods,Systems,and Apparatuses for Calculating thePosition of a Skeletal 3-D Model in Space using Predictive InterpolationAlgorithms”的临时美国专利申请序列No.62/507,085的提交日期的权益，通过引用将这些申请的全部公开内容并入本文。
本申请涉及于2017年4月20日提交的并且题为“Devices for ControllingComputers based on Motions and Positions of Hands”的美国专利申请序列No.15/492,915，其要求于2016年4月21日提交的并且题为“Hand-Worn Devices for ControllingComputers based on Motions and Positions of Hands and Fingers”的62/325,925、于2017年2月24日提交的并且题为“Devices for Controlling Computers based onMotions and Positions of Hands and Arms”的临时美国专利申请序列No.62/463,183、于2017年2月24日提交的并且题为“Devices for Controlling Computers based onMotions and Positions of Hands”的临时美国专利申请序列No.62/463,209、于2017年2月24日提交的并且题为“Devices for Controlling Computers based on Motions andPositions of Hands and Arms”的临时美国专利申请序列No.62/463,252的申请日期的权益，通过引用将这些申请的全部公开内容并入本文。
技术领域
本文公开的实施例大体涉及计算机输入设备，并且更具体地涉及但不限于用于使用计算设备(例如移动电话、智能手表、类似的移动设备和/或其他设备)实现的虚拟现实和/或增强/混合现实应用的输入设备。
背景技术
美国专利申请公开No.2014/0028547公开了一种具有组合惯性传感器以检测用于在真实或虚拟三维空间内进行指向和选择的设备的移动的用户控制设备。
美国专利申请公开No.2015/0277559公开了一种具有无线地发送由触摸屏上的事件生成的命令的无线收发器的手指环安装的触摸屏。
美国专利申请公开No.2015/0358543公开了一种具有多个惯性测量单元以测量用户的手指和手掌的运动参数的运动捕获设备。
美国专利申请公开No.2007/0050597公开了一种具有加速度传感器和陀螺传感器的游戏控制器。美国专利No.D772,986公开了一种用于无线游戏控制器的装饰设计。
中国专利申请公开No.103226398公开了使用微惯性传感器网络技术的数据手套，其中每个微惯性传感器是姿态和航向参考系统，其具有封装在电路板中的三轴微机电系统(MEMS)微陀螺仪、三轴微加速度传感器和三轴向地磁传感器。美国专利申请公开No.2014/0313022和美国专利申请公开No.2012/0025945公开了其他数据手套。
以上讨论的专利文献的公开内容通过引用并入本文。
发明内容
本发明公开一种跟踪臂移动以生成计算机系统的输入的系统，包括：第一传感器模块，其具有惯性测量单元并且附接到用户的上臂，所述第一传感器模块生成识别所述上臂的取向的第一运动数据；第二传感器模块，其具有惯性测量单元并附接到所述用户的手，所述第二传感器模块生成识别所述手的取向的第二运动数据；以及计算设备，其通过通信链路耦合到所述第一传感器模块和所述第二传感器模块，所述计算设备基于所述上臂的取向和所述手的取向来计算通过所述用户的手腕连接到所述手并且通过所述用户的肘关节连接到所述上臂的前臂的取向；其中，所述计算设备通过以下方式计算所述前臂的取向：确定从所述上臂的纵向到所述手的纵向沿着与所述上臂的纵向和所述手的纵向两者垂直的第一轴旋转的第一旋转；从所述手的取向沿着所述第一轴逆转所述第一旋转以获得沿着所述上臂的纵向的第二旋转；将所述手的纵向投影到平面上以获得所述前臂的纵向；计算从所述上臂的纵向到所述前臂的纵向沿着垂直于所述平面的第二轴的第三旋转；以及由所述计算设备将与沿着所述上臂的纵向根据所述第二旋转而旋转并且然后根据沿所述第二轴的所述第三旋转而旋转的所述上臂对齐的初始取向的组合确定作为所述前臂的取向。
本文公开的至少一些实施例允许臂移动跟踪而没有附接到前臂的传感器设备。根据连接到前臂的上臂的取向以及连接到前臂的手的取向来估计、预测或计算前臂取向。
附图说明
在附图的图中通过示例而非限制的方式示出了实施例，其中类似的附图标记指示相似的元件。
图1图示了根据一个实施例的跟踪臂移动的系统。
图2图示了根据一个实施例的控制计算机操作的系统。
图3图示了臂的骨架模型。
图4图示了根据一个实施例的前臂的取向的确定。
图5示出了根据一个实施例的计算前臂的取向的方法。
图6示出根据一个实施例的计算前臂的取向的详细方法。
具体实施方式
以下描述和附图是说明性的并且不应被解释为限制性的。描述了许多具体细节以提供透彻的理解。然而，在某些情况下，不描述公知的或常规的细节以便避免使描述模糊不清。对本公开内容中的一个实施例或实施例的引用不一定是对同一实施例的引用；并且，这样的引用意指至少一个。
本文公开的至少一些实施例允许臂移动跟踪而没有附接到前臂的传感器设备。根据连接到前臂的上臂的取向以及连接到前臂的手的取向来估计、预测或计算前臂取向。
图1图示了根据一个实施例的跟踪臂移动的系统。
在图1中，用户的肘关节(103)连接用户的上臂(101)和前臂(109)；并且手腕(107)将前臂(109)连接到用户的手(105)。
使用经由壁环(111)附接到上臂(101)的臂模块(113)来跟踪/确定上臂(101)的取向。上臂(101)的取向由局部坐标系X1Y1Z1表示，其中纵向Y1与从肩部到肘关节(103)的方向平行，方向X1与从上臂(101)的内侧到上臂(101)的外侧的方向平行，并且方向Z1与从上臂(101)的后侧到上臂(101)的前侧的方向平行。
使用手持模块(115)跟踪/确定手(105)的取向。手(105)的取向由局部坐标系X3Y3Z3表示，其中纵向Y3与从手腕(105)到手指的方向平行，方向X3与从手(105)的背部到手(105)的手掌的方向平行，并且方向Z3与从手掌的边缘到手(105)的拇指的方向平行。
优选地，臂模块(113)和手持模块(115)使用无线连接(117和119)(诸如个人区域无线网络连接(例如蓝牙连接)或局域无线网络连接(例如Wi-Fi连接))将其运动/取向参数分别报告给计算设备(141)。
备选地，臂模块(113)可以(经由有线或无线连接)将其测量结果报告给手持模块(115)；并且手持模块(115)(例如经由有线或无线连接)将运动/取向测量结果传送到计算设备(141)。
例如，手持模块(115)和臂模块(113)能够分别是在于2017年4月20日提交的并且题为“Devices for Controlling Computers based on Motions and Positions ofHands”的美国专利申请公开No.15/492,915中讨论的基本单元(或游戏控制器)和臂/肩部模块，该申请的全部公开内容通过引用并入本文。
本文公开的至少一些实施例允许根据手(105)的取向和上臂(101)的取向来估计、预测或计算前臂(109)的取向而不需要额外的传感器模块来跟踪前臂(109)的取向，如下面进一步讨论的。
图2图示了根据一个实施例的控制计算机操作的系统。例如，图2的系统能够经由分别以图1图示的方式将手持模块(115)和臂模块(113)附接到手(105)和上臂(101)而被实现。
在图2中，手持模块(115)和臂模块(113)具有微机电系统(MEMS)惯性测量单元(IMU)(121和131)，其测量运动参数并且确定手(105)和上臂(101)的取向。
IMU(131、121)中的每个具有能够沿多个轴确定各自的IMU的移动、位置和/或取向的传感器部件的集合。部件的示例是：测量加速度的投影(对象的真实加速度与重力加速度之间的差)的MEMS加速度计；测量角速度的MEMS陀螺仪；以及测量空间某一点处的磁场的幅值和方向的磁力计。在一些实施例中，IMU使用三轴和两轴的传感器的组合(例如没有磁力计)。
计算设备(141)具有运动处理器(145)，其包括上臂(101)、前臂(109)以及经由肘关节(103)和手腕(107)连接的手(105)的骨架模型(143)(例如，图3所示)。运动处理器(145)根据由臂模块(113)和手持模块(115)测量的上臂(101)和手(105)的移动/取向来控制骨架模型(143)的对应部分的移动。
因为前臂(109)没有附接的传感器模块，所以根据臂模块(113)的取向和手持模块(115)的取向来计算/估计/预测前臂(109)的移动/取向，如下面进一步讨论的。
骨架模型(143)由运动处理器(145)控制以生成用于在计算设备(141)中运行的应用程序(147)的输入。例如，骨架模型(143)能够被用于控制计算设备(141)的用户的臂在视频游戏、虚拟现实、混合现实或增强现实等中的化身/模型的移动。
在一些应用中，手持模块(115)能够用经由固定工具(handing)或经由带子附接到手(105)的臂模块(113)来代替。
优选地，臂模块(113)具有用于处理来自臂模块(113)的IMU(131)的传感器信号的微处理器(139)和用于将臂模块(113)的运动/取向参数发送到计算设备(141)的通信模块(133)。类似地，手持模块(115)具有用于处理来自手持模块(115)的IMU(121)的传感器信号的微控制器(129)和用于将手持模块(115)的运动/取向参数发送到计算设备(141)的通信模块(133)。
可选地，臂模块(113)和手持模块(115)具有LED指示器(137和127)以分别指示模块(113和115)的操作状态。
可选地，臂模块(113)和手持模块(115)具有触觉致动器(138和128)以分别经由模块(113和115)向用户提供触觉反馈。
可选地，手持模块(115)具有按钮和诸如触摸传感器、操纵杆等的其他输入设备(125)。
通常，模块(例如113或115)中的IMU(例如131或121)生成来自加速度计的加速度数据、来自陀螺计/陀螺仪的角速度数据和/或来自磁力计的取向数据。微控制器(139和129)执行预处理任务，例如过滤传感器数据(例如阻塞在特定应用中不使用的传感器)、应用校准数据(例如校正由计算设备(141)计算的平均累积误差)、将三轴中的运动/位置/取向数据转换成四元数以及(例如使用数据压缩技术)将预处理的结果封装成数据包以用于以减少的带宽要求和/或通信时间发送到主控计算设备(141)。
微控制器(129、139)中的每个可以包括存储指令的存储器，这些指令控制各自的微控制器(129或139)的操作以执行对来自IMU(121、131)的传感器数据的主要处理并且控制通信模块(123、133)、和/或其他部件(例如LED指示器(127、137)、触觉致动器(128、138)、按钮和其他输入设备(125))的操作。
计算设备(141)可以包括一个或多个微处理器和存储指令以实现运动处理器(145)的存储器。运动处理器(145)还可以经由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的硬件来实现。
在一些情况下，模块(113和115)中的一个被配置为主要输入设备；并且其他模块被配置为经由主输入设备连接到计算设备(141)的次要输入设备。次要输入设备可以使用其连接的主要输入设备的微处理器来执行预处理任务中的一些。直接与计算设备(141)通信的模块被认为是主要输入设备，即使当模块没有经由主要输入设备连接到计算设备的次要输入设备时。
在一些情况下，计算设备(141)指定所请求的输入数据的类型以及输入数据的条件和/或频率；并且模块(113和115)在这些条件下和/或根据由计算设备(141)指定的频率报告所请求的输入数据。能够为不同类型的输入数据指定不同的报告频率(例如加速度计测量结果、陀螺计/陀螺仪测量结果、磁力计测量结果、位置、取向、速度)。
通常，计算设备(141)可以是数据处理系统，例如移动电话、台式计算机、膝上型计算机、头戴式虚拟现实显示器、个人媒体播放器、平板计算机等。
图3图示了臂的骨架模型。例如，图3的骨架模型能够被用在图2的运动处理器(145)中以确定不具有如图1所示的附接的传感器模块的前臂(109)的取向。
图3示出了与相对于肩部(100)的肘关节(103)和手腕(107)相关的上臂(101)、前臂(109)和手(105)的几何表示。
上臂(101)、前臂(109)和手(105)中的每个具有相对于共同参考系(例如肩部(100)、房间或用户所在的地球上的位置)的取向。上臂(101)、前臂(109)或手(105)的取向能够由与上臂(101)、前臂(109)或手(105)对齐的局部坐标系(151、153或155)来指示。
由局部坐标系(151和155)表示的上臂(101)的取向和手(105)的取向能够根据由附接到上臂(101)和手(105)的模块(113和105)中的IMU测量的运动参数来计算。
因为前臂(109)没有用于测量其取向的附接的IMU，所以运动处理器(145)使用前臂(109)和手(105)的移动之间的假定关系集合以基于上臂(101)的取向和手(105)的取向来计算或估计前臂(109)的取向，如下面进一步讨论的。
图4图示了根据一个实施例的前臂的取向的确定。
在图4中，坐标系X1Y1Z1表示上臂(101)的取向，其中方向Y1是沿着上臂(101)从肩部(100)指向肘关节(103)的纵向，如图3所示。方向X1和Z1与方向Y1垂直。方向X1平行于从上臂(101)的后侧到上臂(101)的前侧的方向；并且方向X1平行于从上臂(101)的内侧到上臂(101)的外侧的方向。
当臂处于手(105)面向用户的身体向下指向的垂直方向时，上臂(101)、前臂(109)和手(105)的纵向Y1、Y2和Y3与向下指向的垂直方向对齐。当处于这种位置中时，前臂(109)和上臂(101)的内侧最靠近用户的身体；并且前臂(109)和上臂(101)的外侧远离用户的身体；上臂(101)、前臂(109)和手(105)的方向Z1、Z2和Z3与指向用户侧面的方向对齐；并且上臂(101)、前臂(109)和手(105)的方向Z1、Z2和Z3与指向用户前方的方向对齐。
因此，平面X1Y1平行于从上臂(101)的后侧到上臂(101)的前侧的方向X1，平行于上臂(101)的纵向Y1，并且垂直于从上臂(101)的内侧到上臂(101)的外侧的方向Z1。方向Z1与肘关节的轴一致，前臂(109)能够关于该轴旋转以在它们的纵向之间与上臂(101)形成角度。当上臂(101)在用户的侧面延伸并且处于水平位置中时，方向X1和Z1分别与前方向和垂直方向对齐(与之平行)。
方向Y2与前臂(109)从肘关节(103)指向手腕(107)的纵向对齐。
方向Y3与手(105)从手腕(107)指向手指的纵向对齐。
当上臂(101)在用户的侧面延伸并处于水平位置中时，方向Y1、Y2和Y3与指向用户侧面的水平方向一致。
当手(105)被移动到图4所示的取向时，手(105)能够被认为已经从坐标系X1Y1Z1的取向通过沿着纵向Y1旋转(165)角度γ并且然后沿着最短弧(161)旋转(161)而移动使得其纵向Y3到达图4所示的方向。沿着最短弧(161)的旋转(161)对应于方向Y1在包含方向Y1和Y3的平面内沿着与方向Y1和Y3两者垂直的轴旋转角度β(即，轴垂直于包含方向Y1和Y3两者的平面)。
假设方向Y3在平面X1Y1中的投影是在前臂(109)的纵向Y2的方向上。该投影表示方向Y1在平面X1Y1中根据最短弧(163)沿着方向Z1旋转(163)角度α。
假设手(105)沿着其纵向的旋转(165)是前臂(109)沿着其纵向的相同旋转的结果，同时前臂(109)最初处于与坐标系X1Y1Z1对齐的取向。因此，当手(105)相对于上臂(101)的取向(X1Y1Z1)具有图4所示的取向时，假设前臂(109)的取向已经从坐标系X1Y1Z1的取向通过沿着纵向Y1旋转(165)并且然后沿着方向Z1在平面X1Y1中旋转(163)而移动。
因为旋转(165、161和163)能够根据手(105)相对于上臂(101)的取向的取向来计算(例如使用由臂模块(113)和手持模块(115)的IMU测量的取向数据)，能够根据旋转(165和163)来计算前臂(109)的取向而不需要来自附接到前臂(109)的IMU的测量数据。
在获得了上臂(101)、前臂(109)和手(105)的取向之后，运动处理器(145)能够计算上臂(101)、前臂(109)和手(105)在三维空间中(相对于肩部(100))的位置，其允许应用程序(147)根据用户的臂的移动而呈现虚拟现实、增强现实或混合现实中的化身的臂。上臂(101)、前臂(109)和手(105)在三维空间中(相对于肩部(100))的位置也能够被用于确定由用户在三维空间中做出的手势以控制应用程序(147)。
图5示出了根据一个实施例的计算前臂的取向的方法。例如，图5的方法能够在具有以图1所示的方式并且使用经由图3和图4识别的几何关系附接到手(105)和上臂(101)的臂模块(113)和手持模块(115)的图2所示的系统中被实现。
在图5中，计算设备(141)从识别用户的上臂(101)的取向的臂模块(113)接收(201)运动数据、从识别用户的手(105)的取向的手持模块(115)接收(203)运动数据并且在没有前臂(109)上的传感器模块的情况下计算(203)用户的连接手(105)和上臂(101)的前臂(109)的取向。
图6示出了根据一个实施例的计算前臂的取向的详细方法。例如，图6的方法能够被用于实现图5的方法中的前臂(109)的取向的计算(203)。
在图6中，前臂(109)的取向的计算(203)通过以下方式来执行：确定(211)从上臂(101)的纵向Y1到手(105)的纵向Y3的第一旋转β，其中第一旋转沿着与上臂(101)的纵向Y1和手(105)的纵向Y3两者垂直的第一轴旋转；从手(105)的取向逆转(213)第一旋转β以获得沿着上臂(101)的纵向Y1的第二旋转γ；将手(105)的纵向Y3投影(215)到与平行于从上臂(101)的内侧到上臂(101)的外侧的方向的第二轴Z1垂直的平面X1Y1以获得前臂(109)的纵向Y2；计算(217)第三旋转α，其在平面X1Y1内并且沿着第二轴Z1从上臂(101)的纵向Y1旋转到前臂(109)的纵向Y2；以及将从上臂(101)的取向X1Y1Z1沿着上臂(101)的纵向Y1根据第二旋转γ而旋转并且然后根据平面X1Y1中并且沿着第二轴线Z1的第三旋转α而旋转的前臂(109)的取向X2Y2Z2的结果确定(219)作为前臂(109)的取向。
如图2所示，臂模块(113)和手持模块(115)中的每个是传感器模块，其具有用于它们的取向测量的惯性测量单元(IMU)(131、121)。优选地，传感器模块具有用于关于计算设备(141)的无线通信链路(117、119)的无线通信设备或模块(133、123)。备选地，能够使用有线连接。传感器模块(113或115)的惯性测量单元(IMU)(131或121)可以包括微机电系统(MEMS)陀螺仪、磁力计和/或MEMS加速度计。
图6的方法允许计算前臂(109)的估计/近似取向而不需要附接到用户的前臂(109)的单独的惯性测量单元或传感器模块，这种布置降低了系统的成本并改善了用户体验。
作为示例，能够使用以下四元数计算来计算前臂的取向。
上臂(101)和手(105)的取向能够被表示为四元数变量qs和qh。上臂(101)和手(105)之间的旋转的四元数能够被计算为qhs＝qs -1*qh。上臂(101)的纵向对于上臂(101)和手(105)之间的取向变换是已知的(例如左手的向量{0；1；0}和右手的向量{0；-1；0})。当上臂(101)的纵向被表示为向量o时，手(105)的纵向能够被计算为向量h＝qhs*o*qhs -1。当h在包含上臂的纵向以及从上臂的后部到上臂的前部的方向的平面中的投影被表示为向量f时，沿着从向量o到向量f的最短弧的旋转(α)的四元数能够被计算为qzxfs。类似地，沿着从向量o到向量h的最短弧的旋转(β)的四元数能够被计算为qzxhs。因为沿着上臂(101)的纵向的旋转(γ)的四元数为qzxhs -1*qhs，上臂(101)和前臂(109)之间的旋转的四元数为qfs＝qzxfs*qzxhs -1*qhs。因此，前臂(109)的四元数取向为qf＝qs*qfs。
本公开内容包括方法和执行这些方法的装置，装置包括执行这些方法的数据处理系统，以及计算机可读介质，其包含当在数据处理系统上运行时使系统执行这些方法的指令。
例如，计算设备(141)、臂模块(113)和/或手持模块(115)能够使用一个或多个数据处理系统来实现。
典型的数据处理系统可以包括互连件(例如总线和系统核心逻辑)，其将(一个或多个)微处理器和存储器互连。微处理器通常耦合到缓存存储器。
互连件将(一个或多个)微处理器和存储器连接在一起并且还经由(一个或多个)I/O控制器将它们互连到(一个或多个)输入/输出(I/O)设备。I/O设备可以包括本领域中已知的显示设备和/或外围设备，例如鼠标、键盘、调制解调器、网络接口、打印机、扫描器、视频摄像机和其他设备。在一个实施例中，当数据处理系统是服务器系统时，诸如打印机、扫描器、鼠标和/或键盘的I/O设备中的一些是可选的。
互连件能够包括通过各种桥接器、控制器和/或适配器彼此连接的一个或多个总线。在一个实施例中，I/O控制器包括用于控制USB外围设备的USB(通用串行总线)适配器和/或用于控制IEEE-1394外围设备的IEEE-1394总线适配器。
存储器可以包括以下中的一个或多个：ROM(只读存储器)、易失性RAM(随机存取存储器)和非易失性存储器，例如硬盘驱动器、闪存、等等。
易失性RAM通常被实现为动态RAM(DRAM)，其要求连续的电力以便刷新或维持存储器中的数据。非易失性存储器通常是磁性硬盘驱动器、磁性光学驱动器、光学驱动器(例如DVD RAM)或即使在从系统移除电源之后也可以维护数据的其他类型的存储器系统。非易失性存储器也可以是随机存取存储器。
非易失性存储器能够是直接耦合到数据处理系统中的部件中的其余部件的本地设备。也能够使用远离系统的非易失性存储器，诸如通过诸如调制解调器或以太网接口的网络接口耦合到数据处理系统的网络存储设备。
在本公开内容中，一些功能和操作被描述为由软件代码执行或引起以简化描述。然而，这样的表达也用于指定功能由诸如微处理器的处理器运行代码/指令而得到。
备选地或组合地，能够使用具有或不具有软件指令(例如使用专用集成电路(ASIC)或现场可编程门阵列(FPGA))的专用电路来实现这里描述的功能和操作。能够使用没有软件指令或者与软件指令组合的硬连线电路来实现实施例。因此，这些技术既不限于硬件电路和软件的任何特定组合，也不限于由数据处理系统运行的指令的任何特定源。
尽管一个实施例能够在全功能的计算机和计算机系统中被实现，但是各种实施例能够被分布为各种形式的计算产品并且能够被应用，而不管用于实际上实现分布的具体类型的机器或计算机可读介质。
所公开的至少一些方面能够至少部分地体现在软件中。也就是说，这些技术可以在计算机系统或其他数据处理系统中响应于其处理器(诸如微处理器)运行诸如ROM、易失性RAM、非易失性存储器、缓存或远程存储设备中包含的指令序列而被执行。
运行以实现实施例的例程可以被实现为操作系统或被称为“计算机程序”的特定应用、部件、程序、对象、模块或指令序列的特定应用的部分。计算机程序通常包括在不同时间设置在计算机中的各种存储器和存储设备中的一个或多个指令，并且其当由计算机中的一个或多个处理器读取和运行时，使计算机执行运行涉及各个方面的单元所必需的操作。
机器可读介质能够被用于存储软件和数据，软件和数据当由数据处理系统运行时使系统执行各种方法。可执行软件和数据可以被存储在包括例如ROM、易失性RAM、非易失性存储器和/或缓存的各种位置中。该软件和/或数据的部分可以被存储在这些存储设备中的任何一个中。此外，能够从集中式服务器或对等网络获得数据和指令。数据和指令的不同部分能够在不同的时间和在不同的通信会话中或在相同的通信会话中从不同的集中式服务器和/或对等网络获得。数据和指令能够在运行应用程序之前被全部获得。备选地，当需要运行时，能够及时地动态地获得数据和指令的部分。因此，不需要数据和指令在特定时刻全部处在机器可读介质上。
计算机可读介质的示例包括但不限于非暂时性、可记录和不可记录型介质，诸如易失性和非易失性存储器设备、只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器设备、软盘和其他可移除盘、磁盘存储介质、光学存储介质(例如紧凑盘只读存储器(CD ROM)、数字多用盘(DVD)、等等)。计算机可读介质可以存储指令。
指令还可以体现在用于诸如载波、红外信号、数字信号等的电、光、声或其他形式的传播信号的数字和模拟通信链路中。然而，诸如载波、红外信号、数字信号等的传播信号不是有形机器可读介质并且不被配置为存储指令。
通常，机器可读介质包括以机器可访问的形式提供(即存储和/或发送)信息的任何机制(例如计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备、等等)。
在各种实施例中，硬连线电路可以与软件指令组合使用以实现这些技术。因此，这些技术既不限于硬件电路和软件的任何特定组合，也不限于用于由数据处理系统运行的指令的任何特定源。
在前面的说明书中，已经参考本发明的具体示例性实施例描述了本公开内容。将显而易见的是，在不脱离如所附权利要求中阐述的更广泛的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图要被认为是说明性的而不是限制性的。

Claims (8)

1.一种跟踪臂移动以生成计算机系统的输入的系统，包括：
第一传感器模块，其具有惯性测量单元并且附接到用户的上臂，所述第一传感器模块生成识别所述上臂的取向的第一运动数据；
第二传感器模块，其具有惯性测量单元并附接到所述用户的手，所述第二传感器模块生成识别所述手的取向的第二运动数据；以及
计算设备，其通过通信链路耦合到所述第一传感器模块和所述第二传感器模块，所述计算设备基于所述上臂的取向和所述手的取向来计算通过所述用户的手腕连接到所述手并且通过所述用户的肘关节连接到所述上臂的前臂的取向；
其中，所述计算设备通过以下方式计算所述前臂的取向：
确定从所述上臂的纵向到所述手的纵向沿着与所述上臂的纵向和所述手的纵向两者垂直的第一轴旋转的第一旋转；
从所述手的取向沿着所述第一轴逆转所述第一旋转以获得沿着所述上臂的纵向的第二旋转；
将所述手的纵向投影到平面上以获得所述前臂的纵向；
计算从所述上臂的纵向到所述前臂的纵向沿着垂直于所述平面的第二轴的第三旋转；以及
由所述计算设备将与沿着所述上臂的纵向根据所述第二旋转而旋转并且然后根据沿所述第二轴的所述第三旋转而旋转的所述上臂对齐的初始取向的组合确定作为所述前臂的取向。
2.根据权利要求1所述的系统，其中，所述第一传感器模块和所述第二传感器模块中的每个还包括用于关于所述计算设备的通信链路的通信设备；并且所述第一传感器模块的所述惯性测量单元和所述第二传感器模块的所述惯性测量中的每个包括微机电系统陀螺仪、磁力计和微机电系统加速度计。
3.根据权利要求1所述的系统，其中，在没有附接到所述用户的所述前臂的惯性测量单元的情况下并且在没有所述用户的所述前臂上的传感器模块的情况下，计算所述前臂的取向。
4.根据权利要求1所述的系统，其中，所述第二轴平行于从所述上臂的内侧到所述上臂的外侧的方向；并且所述平面与所述上臂的纵向和从所述上臂的后侧到所述上臂的前侧的方向平行。
5.一种跟踪臂移动以生成计算机系统的输入的方法，包括：
从附接到用户的上臂的第一传感器模块接收识别所述上臂的取向的第一运动数据；
从附接到所述用户的手的第二传感器模块接收识别所述手的取向的第二运动数据；
基于所述上臂的取向和所述手的取向来计算通过所述用户的手腕连接到所述手并且通过所述用户的肘关节连接到所述上臂的前臂的取向；以及
基于所述上臂的取向、以及所述前臂的取向、所述手的取向、以及所述上臂、所述前臂和所述手的骨架模型来确定所述手在三维空间中的位置；
其中，所述计算包括：
由所述计算设备计算所述手相对于所述上臂的取向；
由所述计算设备确定所述手的纵向从所述上臂的纵向沿着最近弧在所述手相对于所述上臂的取向中的到所述手的纵向的第一旋转；
由所述计算设备从所述手相对于所述上臂的取向减去所述第一旋转以获得所述手沿着所述上臂的纵向的第二旋转；
由所述计算设备将在所述手相对于所述上臂的取向中所述手的纵向投影到平面上来确定所述前臂相对于所述上臂的纵向；
由所述计算设备计算从所述上臂的纵向到所述前臂相对于所述上臂的纵向的最近弧旋转；以及
由所述计算设备基于从与所述上臂对齐的取向沿着所述上臂的纵向根据所述手沿着所述上臂的纵向的所述第二旋转的旋转和所述平面内根据从所述上臂的纵向到所述前臂相对于所述上臂的纵向的所述最近弧旋转的旋转的组合来确定所述前臂的取向。
6.根据权利要求5所述的方法，其中，所述前臂的取向被计算为具有：
所述前臂关于所述前臂的纵向的旋转，其等于所述手关于所述手的纵向的旋转的第一角度；以及
平面中所述前臂的纵向从所述上臂的纵向的旋转，其等于所述平面中所述手的纵向从所述上臂的纵向的在所述平面中投影的旋转的第二角度。
7.根据权利要求6所述的方法，其中，所述平面是：
垂直于从所述上臂的内侧指向所述上臂的外侧的方向；
平行于所述上臂的纵向；以及
平行于从所述上臂的后侧指向所述上臂的前侧的方向。
8.根据权利要求6所述的方法，其中，所述前臂的取向被计算为等于由以下各项得到的第一取向：
从与所述上臂的取向对齐的第二取向关于所述前臂的纵向旋转所述第一角度以到达第三取向；以及
从所述第三取向关于平行于从所述上臂的后侧到所述上臂的前侧的方向的轴旋转所述第二角度以到达所述第一取向。
CN201711059496.XA 2017-05-16 2017-11-01 跟踪臂移动以生成计算机系统的输入的系统和方法 Active CN108874119B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762507085P 2017-05-16 2017-05-16
US62/507,085 2017-05-16
US15/787,555 2017-10-18
US15/787,555 US10379613B2 (en) 2017-05-16 2017-10-18 Tracking arm movements to generate inputs for computer systems

Publications (2)

Publication Number Publication Date
CN108874119A CN108874119A (zh) 2018-11-23
CN108874119B true CN108874119B (zh) 2021-08-06

Family

ID=64271652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711059496.XA Active CN108874119B (zh) 2017-05-16 2017-11-01 跟踪臂移动以生成计算机系统的输入的系统和方法

Country Status (2)

Country Link
US (3) US10379613B2 (zh)
CN (1) CN108874119B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US9996945B1 (en) * 2016-12-12 2018-06-12 Fyusion, Inc. Live augmented reality guides
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) * 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10514780B2 (en) 2017-12-01 2019-12-24 Logitech Europe S.A. Input device
US10521011B2 (en) 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
WO2019133521A1 (en) * 2017-12-27 2019-07-04 Adesanya Olaoluwa O Wearable computing apparatus for augmented reality, virtual reality and artificial intelligence interactions, and methods relating thereto
US10509464B2 (en) * 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
US10817047B2 (en) * 2018-09-19 2020-10-27 XRSpace CO., LTD. Tracking system and tacking method using the same
KR102203933B1 (ko) * 2018-11-26 2021-01-15 재단법인 실감교류인체감응솔루션연구단 다수의 손가락을 이용한 모션 캡쳐 인터페이스 방법 및 장치
CN109531578B (zh) * 2018-12-29 2020-08-07 深圳市工匠社科技有限公司 仿人机械手臂体感控制方法及装置
JP2022501732A (ja) * 2019-01-18 2022-01-06 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法及び装置、画像デバイス並びに記憶媒体
CN111460870A (zh) 2019-01-18 2020-07-28 北京市商汤科技开发有限公司 目标的朝向确定方法及装置、电子设备及存储介质
WO2020251566A1 (en) * 2019-06-12 2020-12-17 Hewlett-Packard Development Company, L.P. Extended reality grasp controller
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
US11531392B2 (en) 2019-12-02 2022-12-20 Finchxr Ltd. Tracking upper arm movements using sensor modules attached to the hand and forearm
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
CN111158476B (zh) * 2019-12-25 2023-05-23 中国人民解放军军事科学院国防科技创新研究院 一种虚拟键盘的按键识别方法、系统、设备及存储介质
CN111240468B (zh) * 2019-12-31 2023-04-25 北京诺亦腾科技有限公司 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN111309098B (zh) * 2020-01-22 2020-12-01 鄢家厚 基于传感器判断读写状态的方法
DE102020106369A1 (de) * 2020-03-09 2021-09-09 Workaround Gmbh Sensor- und/oder Informationsvorrichtung sowie Sensor- und/oder Informationssystem
CN113496165B (zh) * 2020-04-01 2024-04-16 京东科技信息技术有限公司 用户手势识别方法、装置、手部智能穿戴设备及存储介质
GB202013393D0 (en) * 2020-08-26 2020-10-07 Elias Hugo A device for connecting motion tracking sensors to a hand
CN112905002B (zh) * 2021-01-19 2023-07-18 济南超感智能科技有限公司 一种检测正骨手法数据的智能设备及检测方法
CN113364985B (zh) * 2021-06-11 2022-07-29 广州逅艺文化科技有限公司 一种现场直播的镜头跟踪方法、装置及介质
US11604512B1 (en) * 2022-01-05 2023-03-14 City University Of Hong Kong Fingertip-motion sensing device and handwriting recognition system using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402290A (zh) * 2011-12-07 2012-04-04 北京盈胜泰科技术有限公司 一种肢体姿势识别方法及系统
CN103616952A (zh) * 2013-12-03 2014-03-05 北京悦动双成科技有限公司 确定动作的方法及三维传感器
US9278453B2 (en) * 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
CN105904457A (zh) * 2016-05-16 2016-08-31 西北工业大学 一种基于位置跟踪器及数据手套的异构型冗余机械臂控制方法

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142065A1 (en) 2002-01-28 2003-07-31 Kourosh Pahlavan Ring pointer device with inertial sensors
US7565295B1 (en) * 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US20070263001A1 (en) * 2006-05-15 2007-11-15 Michael Trzecieski Motion Capture Device for Capturing of Motion Relative to the Earth
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
KR101299682B1 (ko) 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
US8187100B1 (en) 2007-03-02 2012-05-29 Dp Technologies, Inc. Shared execution of hybrid states
EP1970005B1 (en) 2007-03-15 2012-10-03 Xsens Holding B.V. A system and a method for motion tracking using a calibration unit
KR101483713B1 (ko) 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
US9390516B2 (en) 2008-09-29 2016-07-12 Two Pic Mc Llc Asynchronous streaming of data for validation
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
KR101075018B1 (ko) 2009-12-28 2011-10-19 전자부품연구원 엑스엠엘을 이용한 차량용 센서 데이터 처리 장치 및 방법
US8933886B2 (en) 2010-06-17 2015-01-13 Panasonic Intellectual Property Corporation Of America Instruction input device, instruction input method, program, recording medium, and integrated circuit
US20120025945A1 (en) 2010-07-27 2012-02-02 Cyberglove Systems, Llc Motion capture data glove
US20120130203A1 (en) 2010-11-24 2012-05-24 Fujitsu Limited Inductively-Powered Ring-Based Sensor
JP5800526B2 (ja) 2011-02-22 2015-10-28 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステム、およびゲーム処理方法
US20170352188A1 (en) 2011-03-24 2017-12-07 Pantomime Corporation Support Based 3D Navigation
US20120293410A1 (en) 2011-05-18 2012-11-22 Ian Bell Flexible Input Device Worn on a Finger
DE102011114535A1 (de) 2011-09-29 2013-04-04 Eads Deutschland Gmbh Datenhandschuh mit taktiler Rückinformation und Verfahren
US9141194B1 (en) 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9504414B2 (en) 2012-04-13 2016-11-29 Adidas Ag Wearable athletic activity monitoring methods and systems
US9891718B2 (en) * 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US20140028547A1 (en) 2012-07-26 2014-01-30 Stmicroelectronics, Inc. Simple user interface device and chipset implementation combination for consumer interaction with any screen based interface
CN103226398B (zh) 2013-03-25 2016-05-04 上海交通大学 基于微惯性传感器网络技术的数据手套
US20150062086A1 (en) 2013-08-29 2015-03-05 Rohildev Nattukallingal Method and system of a wearable ring device for management of another computing device
US20150077347A1 (en) 2013-09-19 2015-03-19 Mark O'Green Ergonomically optimized remote controller device and method of use thereof
CN105849502A (zh) 2013-10-24 2016-08-10 阿里·科尔德 动作捕捉系统
US9432636B2 (en) 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
KR101933289B1 (ko) 2014-04-01 2018-12-27 애플 인크. 링 컴퓨팅 디바이스를 위한 디바이스 및 방법
US20150358543A1 (en) 2014-06-05 2015-12-10 Ali Kord Modular motion capture system
JP6572893B2 (ja) 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
US20160005232A1 (en) 2014-07-04 2016-01-07 The University Of Texas At San Antonio Underwater virtual reality system
US10019059B2 (en) 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
JP6329469B2 (ja) 2014-09-17 2018-05-23 株式会社東芝 認識装置、認識方法及び認識プログラム
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US10156908B2 (en) 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US10019806B2 (en) 2015-04-15 2018-07-10 Sportsmedia Technology Corporation Determining x,y,z,t biomechanics of moving actor with multiple cameras
WO2016183812A1 (zh) 2015-05-20 2016-11-24 北京诺亦腾科技有限公司 一种混合运动捕捉系统及方法
USD772986S1 (en) 2015-06-11 2016-11-29 Oculus Vr, Llc Wireless game controller
US20160378204A1 (en) 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US20180217680A1 (en) 2015-07-29 2018-08-02 Kyocera Corporation Wearable device, control method, and control code
KR102400900B1 (ko) 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
JP6514089B2 (ja) 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US10687707B2 (en) 2016-06-07 2020-06-23 Apple Inc. Detecting activity by a wheelchair user
US10602133B2 (en) 2016-10-04 2020-03-24 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US20180101984A1 (en) 2016-10-06 2018-04-12 Google Inc. Headset removal in virtual, augmented, and mixed reality using an eye gaze database
US10210662B2 (en) 2016-12-09 2019-02-19 Fyusion, Inc. Live augmented reality using tracking
US9996945B1 (en) 2016-12-12 2018-06-12 Fyusion, Inc. Live augmented reality guides
US10628675B2 (en) 2017-02-07 2020-04-21 Fyusion, Inc. Skeleton detection and tracking via client-server communication
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10705598B2 (en) 2017-05-09 2020-07-07 Microsoft Technology Licensing, Llc Tracking wearable device and handheld object poses
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10521011B2 (en) 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402290A (zh) * 2011-12-07 2012-04-04 北京盈胜泰科技术有限公司 一种肢体姿势识别方法及系统
US9278453B2 (en) * 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
CN103616952A (zh) * 2013-12-03 2014-03-05 北京悦动双成科技有限公司 确定动作的方法及三维传感器
CN105904457A (zh) * 2016-05-16 2016-08-31 西北工业大学 一种基于位置跟踪器及数据手套的异构型冗余机械臂控制方法

Also Published As

Publication number Publication date
US10534431B2 (en) 2020-01-14
US20180335843A1 (en) 2018-11-22
US11093036B2 (en) 2021-08-17
CN108874119A (zh) 2018-11-23
US20180335855A1 (en) 2018-11-22
US10379613B2 (en) 2019-08-13
US20190332171A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
CN108874119B (zh) 跟踪臂移动以生成计算机系统的输入的系统和方法
US10860091B2 (en) Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US10540006B2 (en) Tracking torso orientation to generate inputs for computer systems
US11009941B2 (en) Calibration of measurement units in alignment with a skeleton model to control a computer system
US10705113B2 (en) Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US11474593B2 (en) Tracking user movements to control a skeleton model in a computer system
US10521011B2 (en) Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US10775946B2 (en) Universal handheld controller of a computer system
US20190212359A1 (en) Correction of Accumulated Errors in Inertial Measurement Units Attached to a User
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US10509464B2 (en) Tracking torso leaning to generate inputs for computer systems
US11009964B2 (en) Length calibration for computer models of users to generate inputs for computer systems
US11531392B2 (en) Tracking upper arm movements using sensor modules attached to the hand and forearm
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
WO2020009715A2 (en) Tracking user movements to control a skeleton model in a computer system
US20210072820A1 (en) Sticky device to track arm movements in generating inputs for computer systems
US20230011082A1 (en) Combine Orientation Tracking Techniques of Different Data Rates to Generate Inputs to a Computing System
US11454646B2 (en) Initiation of calibration of multiple sensor modules related to an orientation of a user of the sensor modules
US10809797B1 (en) Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
US20230103932A1 (en) Motion Sensor Modules with Dynamic Protocol Support for Communications with a Computing Device
US20230214027A1 (en) Reduction of Time Lag Between Positions and Orientations Being Measured and Display Corresponding to the Measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230627

Address after: Limassol

Patentee after: Finch XR Co.,Ltd.

Address before: The British Virgin Islands

Patentee before: IVSYSTEMS Ltd.

TR01 Transfer of patent right