CN104756045B - 用于跟踪由关节连接的身体部位的可佩戴传感器 - Google Patents

用于跟踪由关节连接的身体部位的可佩戴传感器 Download PDF

Info

Publication number
CN104756045B
CN104756045B CN201380052133.7A CN201380052133A CN104756045B CN 104756045 B CN104756045 B CN 104756045B CN 201380052133 A CN201380052133 A CN 201380052133A CN 104756045 B CN104756045 B CN 104756045B
Authority
CN
China
Prior art keywords
joint
body part
image
finger
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380052133.7A
Other languages
English (en)
Other versions
CN104756045A (zh
Inventor
D·A·巴特勒
I·奥口诺米迪斯
J·陈
D·金
O·希利格斯
P·L·奥利维耶
S·伊扎迪
S·霍吉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104756045A publication Critical patent/CN104756045A/zh
Application granted granted Critical
Publication of CN104756045B publication Critical patent/CN104756045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

描述了用于跟踪由关节连接的身体部位的可佩戴传感器，诸如允许对手指进行3D跟踪(并且可任选地还允许对手臂和手进行3D跟踪)的腕带式设备，而不需要在手上佩戴手套或标记。在一实施例中，相机捕捉设备的佩戴者的身体的由关节连接的部位的图像，并且该身体部分的由关节连接的模型被实时地跟踪以允许对分开的计算设备(诸如，智能电话、膝上型计算机或其他计算设备)进行基于姿势的控制。在各示例中，该设备具有用于照明由关节连接的身体部位的结构化照明源和漫射照明源。在一些示例中，该传感器中还包括惯性测量单元以允许对手臂和手进行跟踪。

Description

用于跟踪由关节连接的身体部位的可佩戴传感器
技术领域
本申请涉及可佩戴传感器，尤其涉及跟踪可佩戴传感器。
背景技术
现有的用于移动跟踪由关节连接的身体部位的可佩戴传感器包括紧身衣裤、手套、头戴式传感器和肩戴式传感器。通常，这些传感器是麻烦的，并且会干扰佩戴者与物理对象的日常交互。例如，戴手套会减少手指的触觉和灵巧性，并且穿紧身衣裤可能是限制性的和/或不舒服的。
来自这样的可佩戴传感器的输出通常在它允许的跟踪由关节连接的身体部位的保真度方面受限。例如，与允许佩戴者的精细姿势被准确地检测出所需的自由度数相比，使由关节连接的身体部位可被跟踪到的自由度数通常更少。这样的可佩戴传感器的稳健性和准确性通常由于需要限制尺寸、重量、形状因素、实时操作的需要和对低功率消耗的需要而受到限制。
以下描述的各实施例不限于解决用于跟踪由关节连接的身体部分的已知可佩戴传感器的任何或全部缺点的实现。
发明内容
下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
描述了一种用于跟踪由关节连接的身体部位的可佩戴传感器，诸如允许对手指并且可任选地对手臂和手进行3D跟踪，而无需在手上佩戴手套或标记的腕戴式设备。在一实施例中，相机捕捉设备的佩戴者的身体的由关节连接部位的图像，并且该身体部位的由关节连接的模型被实时地跟踪以允许对不同的计算设备(诸如智能电话、膝上型计算机或其他计算设备)进行基于姿势的控制。在各示例中，该设备具有用于照明由关节连接的身体部位的结构化照明源和漫射照明源。在一些示例中，在传感器中包括内部测量单元以允许对手臂和手进行跟踪。
通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
附图说明
根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：
图1是用于使对手姿势的3D跟踪得以进行的腕戴式传感器的示意图；
图2示出了可使用腕戴式传感器来检测的多个手姿势；
图3是佩戴在用户的腕上的传感器的透视图；
图4是适于佩戴在腕上的传感器的透视图；
图5是使用在漫射照明和结构化照明两者中获得的手的图像来跟踪手姿态的方法的流程图；
图6是用激光线投影仪照明的手的示意图；
图7是激光线感测模块处的方法的流程图；
图8是激光平面校正设置的示意图；
图9是与激光平面相交的重投影光线的示意图；
图10示出手指的运动学模型的示例以及激光距离和近端指骨间关节角之间的图形映射；
图11是跟踪图10的运动学模型的方法的流程图；
图12是手指分开模型处的示例方法的流程图；
图13是指尖检测模块处的示例方法的流程图；
图14是手指的另一运动学模型的示意图；
图15是图14的运动学模型、用于跟踪该运动学模型的数据以及用于跟踪该运动学模型的过程的示意图；
图16示出其中可实现用于跟踪由关节连接的身体部位的可佩戴传感器的各实施例的示例性基于计算的设备。
在各个附图中使用相同的附图标记来指代相同的部件。
具体实施方式
下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
虽然在本文中将本发明的示例描述并示出为在用于跟踪3D手姿态的腕戴式传感器设备中实现，但是所描述的设备是作为示例而非限制来提供的。本领域的技术人员将理解，本发明的示例适于在各种不同类型的用于跟踪由关节连接的身体部位的可佩戴传感器中应用。
图1示出了佩戴在用户的手腕或前臂100上的可佩戴传感器102。该传感器观察用于跟踪用户的手的3D姿态(并且可任选地也跟踪用户的手腕和手臂的3D姿态)的数据。使用感测到的数据，使手的由关节连接的模型被跟踪，并且根据所使用的传感器的类型，使具有更多或更少自由度的由关节连接的模型被跟踪。可将可佩戴传感器102佩戴在身体的其他部位上、佩戴在腰带上、或按其他方式佩戴，以便跟踪身体的其他由关节连接的部位。佩戴者可以是人类或动物。例如，可佩戴传感器102可以被安装在人的肩部，并被安排成跟踪用户的手臂、手腕和手。
在一些示例中，可佩戴传感器102将它观察到的数据(诸如，图像108和可选的传感器数据106)发送至计算设备，诸如移动电话、个人计算机、膝上型设备、个人数字助理、游戏设备、虚拟现实系统、电视和其他计算设备。计算设备可与可佩戴传感器分开，或者在一些情况下，可与可佩戴传感器集成在一起。跟踪模块110使用图像108、可任选的传感器数据106和一个或多个运动学模型112，并按3D方式产生手(或其他由关节连接的身体部位)的经跟踪的由关节连接的模型114。术语“运动学”会在以下解释。经跟踪的由关节连接的模型114可随后被用来控制一个或多个计算设备，包括但不限于智能电话116、电视/游戏显示器118、膝上型计算机120。在一些示例中，可佩戴传感器102结合跟踪模型110来计算身体部位的经跟踪的由关节连接的模型。也有可能在可佩戴传感器102和一个或多个分开的计算设备之间共享跟踪模型功能。即，可佩戴传感器102可包括仅用于实施跟踪模型功能的部分的计算设备。可佩戴传感器102和一个或多个计算设备116、120之间的通信可使用无线通信链路104、有线连接或以其他方式来实现。
可佩戴传感器允许用低计算开销来对裸露的手(即，用户不需要在他或她的手上佩戴标记或感测手套)进行手指跟踪。用户不受特定外部基础结构的束缚，并且不干扰与物理对象的日常交互。将激光线投影仪与漫射照明一起使用允许低计算开销。同样，在IMU被使用的情况下，该系统能够跟踪整个手臂和诸手指的3D姿态。
可佩戴传感器使得各种徒手交互得以进行。例如，用户可以使用可佩戴传感器与家里的电视机或者隔开一定距离的大型公共显示器进行交互。用户可以执行各种连续的或不连续的手姿势(诸如，图2中所示的那些手姿势)以便以3D方式支持空间导航、指向或选择。在另一示例中，用户能够用他或她惯用的手握持平板计算机或电话并与其进行交互，而使用他或她不惯用的手使用可佩戴传感器来向平板或电话提供3D输入。例如，可以用空中的捏姿势来发起语义放大，并且可以用剩下的手指来控制放大因子。在另一示例中，可支持屏幕上的交互和同时的徒手交互
在一些示例中，实现了无需使用眼睛的交互，由此允许在没有视觉输出的情况下与不可见用户界面(诸如，转盘、滑动条或按钮)进行空间交互。例如，用户可以通过直接伸出手并与虚拟转盘进行交互来设置移动电话上的音量：将他们的手转向身体的右边并在虚拟数字垫上执行键入姿势来拨电话；或将手移向身体的左边并触摸其大拇指和各个手指来激活其他电话功能。该类型的动作可被手的初始3D形状检测到。例如，如果用户需要改变音量，则他仅将他的手配置成好像他正握持虚拟转盘，随后可旋转该转盘来设置期望水平。
在一些示例中，可佩戴传感器可用作3D扫描仪以重构场景或对象或从对象的轮廓中识别出对象。这可在用户用激光线投影仪来照明对象的情况下实现。例如，对象可能在他或她的手中或者在接近用户的手的表面上。由相机来捕捉用激光线投影仪来照明的对象的图像。可分析这些图像以确定对象的轮廓或从那个对象的轮廓中识别出该对象。用户可以完全伸出他或她的手指，并允许激光线投影到环境中。从可使用相对运动来正确地在空间上对齐的变形激光线投影以及来自腕戴式IMU的取向数据中可生成表面的3D模型。
图2示出了手姿态200、202、204、206、208的示例，在其中手的由关节连接的模型针对每一手指都包括至少一个关节角(该至少一个关节角是独立于该手指的两个其他关节角从传感器数据计算出的)的一些实施例中，这些手姿态200、202、204、206、208可使用可佩戴传感器所观察到的数据来检测。
图3是佩戴在用户的手腕上的可佩戴传感器的透视图。在该示例中，可佩戴传感器包括红外(IR)传感器304、惯性测量单元(IMU)300、四个IR发光二极管(LED)302和IR激光线投影仪。IMU是可任选的，并且在除了手姿态以外还需要它跟踪手腕和手臂位置时被使用。可将基于相机的传感器附连到用户手腕的内侧(前侧)以便可任选地对用户的裸露手的大部分进行成像。相机可被放置成使得在手掌的上部分和手指朝向该设备向内弯曲时，可对手掌的上半部分和手指进行成像。对IR的使用允许该照明对用户不可见，并提供一定水平的对可见环境光的稳健性。激光线投影仪和LED是低成本、可容易生成并且低功率的组件。
在一些示例中，LED可被省略或者LED数据可被忽略。IR激光线投影仪将细IR线投影在用户的手上以在手指和拇指向内弯曲时与手指和拇指相交。即，激光投影仪投影已知图案的光，在本示例中，为线但可以是另一图案。在这些示例中，使用IR激光线投影仪和相机来在手指和拇指中的每一者上稳健地采样单个3D点。通过这五个稀疏的样本中，并通过利用手的生物理想约束，整个由关节连接的手骨架模型被跟踪。在该情形下，可检测各种3D手姿态，诸如图2中所示出的那些手姿态。本文中，手的由关节连接的模型针对每一手指都包括第一关节角，该第一关节角是独立于那根手指的两个其他关节角从传感器数据计算出的；其他两个关节角是通过假设它们与第一关节角具有固定的、已知关系来推断出的。
在一些示例中，LED用于照明用户的手并获得每一手指的2D指尖位置。可联用2D指尖位置和来自激光线投影仪的采样来跟踪具有更多自由度并且因此能够检测更大范围的姿态的手的由关节连接的模型。在这种情况下，手的由关节连接的模型针对每一手指包括至少两个关节角，这至少两个关节角是独立于彼此从观察到的数据计算出的。
在其他示例中，使用飞行时间相机、立体相机或其他深度相机，且不需要激光线投影仪以及LED。在这种情况下，手的由关节连接的模型针对每一手指包括至少两个关节角，这至少两个关节角是从观察到的数据独立地计算出的。
图4示出了包括IR相机400的示例可佩戴传感器的投射图，该IR相机400附连到被安排成位于用户的前臂内侧的支承臂的一端。支承臂在其另一端连接到桥接部分408。将桥接部分408的尺寸和形状设为供佩戴在用户的前手腕(内手腕)上，并且该桥接部分具有一对槽410，在使用可使固定带条穿过这对槽以允许将可佩戴传感器固定到用户的手腕(如图3所示的)。IR激光线投影仪406以其在操作期间向用户的手指投影激光线的角度被附连到桥接部分408。四个漫射IR LED 402被附连在相机400周围。(在用漫射照明来照明用户的手指的情况下，可使用其他数目和安排的IR LED。)激光线投影仪406和LED 402可被控制成使得在相机捕捉第一帧期间，所有的有源照明都被关闭，以使得该帧捕捉环境IR。在相机捕捉第二帧期间，仅激光线投影仪打开，并且在相机捕捉第三帧期间，仅LED打开。也可使用控制照明和相机帧捕捉的其他方式。IMU可被附连到相机周围的外壳404，并提供前臂的绝对三轴取向数据。与具有金属腕带的标准手表相比，可佩戴传感器可更高。
现在参考图5给出关于图1的跟踪模块110的更多细节。跟踪模块110的输入可包括激光图像500(包括结构化光)、环境IR图像502和LED图像504(包括漫射照明)。背景减去阶段506将环境IR图像502从激光图像500和LED图像504中的每一者中减去。这减少了来自环境中的环境IR(诸如，来自室内光或阳光)的干扰。校正阶段508使用从相机校准步骤(在本文中的稍后描述)获得的相机校准结果来校正激光图像500和LED图像504。
用于从激光图像500获得3D手姿态514的示例过程包括激光线感测过程510和前向运动学过程512。本文中也使用了来自手指分开过程518的结果。运动链是对由关节连接的实体(诸如，机器人、动画角色、人、动物)或由关节连接的实体的一部分的运动进行建模的关节参数序列。运动学链通常使作为在由关节连接的实体末端的元件的末端执行器被表示。例如，在手指末端的指尖、在手臂末端的手、在机器人手臂末端的柄。反向运动学过程可以是在给定由关节连接的实体的所需或已知运动的情况下，用于找出关节参数的计算。前向运动学过程可以是用于找出由关节连接的实体在给定关节参数的情况下的运动的计算。运动学模型将由关节连接的实体表示为通过至少一个关节连接的多个部分。例如，可使用每手指一个运动学链来对手进行建模，使得手指可被表示成通过多个关节串行连接的多根骨骼；每一关节都可被看作具有关节角，使得当这些骨骼串行连接时，手指表示包括关节角链。关节角链也可存在于由关节连接的实体的其他模型中。
在一些示例中，在LED被省略或不被使用的情况下，图1的跟踪模块110仅包括图5中的背景减去阶段506、校正508、激光线感测510、手指分开518和前向运动学512。在其中LED和激光线投影仪被联用以获得较高自由度的手姿态524的示例中，则图1的跟踪模块110还包括漫射IR手指检测520和反向运动学过程516。在其中IMU被使用的示例中，IMU传感器数据528被处理526以获得手腕和前臂运动530。
在其中飞行时间相机被使用的示例中，立体声相机或其他深度相机被使用，背景减去步骤506连同激光线感测510和前向运动学512可被省略。
现参考图6和7给出关于示例激光线感测过程的更多细节。如上所述，IR激光线投影仪将细IR线投影在用户的手上以在手指和拇指向内弯曲时与手指和拇指相交。图6是将激光线段602示为椭圆或水滴状的用户的手600(每一手指上有一个激光线段)的示意图，其中IR线通过照在那个手指上而与那个手指相交。为清楚起见，图6中未示出可佩戴传感器。交点表现为2D IR图像中的亮区域，并且当手指弯曲时朝向手掌移动，而当手指伸直时以相反方向移动。在具有激光线投影仪和相机之间的固定已知的基线和取向的情况下，有可能对每一激光线段的确切3D位置进行三角测量。在经校准的激光平面中，该基线和取向是隐含的。
参考图7，激光线感测过程或模块706接收来自校准阶段的、相对于相机的激光平面700、激光图像702以及激光线投影仪和相机之间的已知基线704长度作为输入。如以上参考图5所描述的，激光图像702已被减去了背景并被校正。激光线感测过程实施激光图像702的二进制化708，由此激光图像的每一图像元素根据其强度(例如，使用阈值过程)而被设为两个可能值中的1。经二进制化的图像经历用于用各唯一的标识符将各经二进制化的图像元素分组成各图像元素分组的连通区域标记708。根据尺寸和形状来过滤710得到的图像以分割激光线段(图6中的602)。图像元素可以是像素或分组或像素补丁，并且在较高维图像的情况下，图像元素可以是体素、体素组或3维或更高维图像的其他区域。手指分开过程(在本文档的后面描述)的结果用于将任何经合并的激光线段(例如两根手指扣在一起的情况)分开712。每一激光线段的3D位置716随后通过进行三角测量714来获得。三角测量可包括使用相机的固有参数(其是从校准步骤获得的)来重新投影每一激光线段的质心。一光线从相机904中心通过图像平面908的质心902与(接收的作为来自校准过程的输入的)激光平面910相交，如图9所示。这定义了每一手指相对于相机的3D点。
现在描述示例校准过程。这可以是针对相机和激光线投影仪的一次性的校准过程。相机的固有参数可使用任何合适类型的棋盘式校准方法来获得。这些固有的相机参数可用于图像校正。用户定位用于相机802校准的相同棋盘，使其与从激光线投影仪804投影的线相交，如图8所示。棋盘的6自由度非固有姿态是使用任何合适的技术相对于相机中心计算出的。用户选择交点806，并且相关联的3D点被记录。该过程被重复，直到三个非共线的点被选择来定义相对于相机的激光平面。
给定每一激光线段的3D位置的情况下，前向运动学过程512可用于获得3D手姿态。手的由关节连接的模型(也被称为运动学模型)针对每一手指了包括三个骨骼长度和一个关节角。前向运动学过程512被用于从观察到的激光图像中计算一个关节角。图10中示出了单根手指的示例由关节连接的模型，该模型将手指中的主要骨骼表示为线，并将手指的主要关节表示为圆。手指被表示为包括三个骨骼，即近端、中间和远端指骨。从指尖到手掌，这些骨骼通过被称为远端指骨间(DIP)关节的1自由度转动关节、1自由度转动前端指骨间(PIP)关节和被称为掌指(MCP)关节的二自由度球形关节互连。由关节连接的模型被安排成使得在PIP角(θp)已知的情况下，MCP(在图10中用符号θm来表示)和DIP(θd)两者都可被导出。由于这些关节角成比例，因此可从这些关节角中的任何一个中导出两个其他关节角。即，其他两个关节角可取决于第一关节角确定。如图10所示，关节角是在沿着从手掌末端朝向指尖进入该关节的第一骨骼纵向投影的线和离开该关节的第二骨骼之间的角。PIP和DIP角之间的比为1/0.84，且PIP和MCP角之间的比为1/0.54。(可针对每一用户和手指自动地或试验性地获得其他比)。使用这些比，该模型使得在伸出的手指向内卷曲时能仅用一个参数(PIP点角)来近似普通的手指运动，直到该手指触摸到手掌(手掌被表示为线1006)。在图10中，相机在位置1000，并且激光线投影仪在位置1002。激光线投影仪照明被表示成从激光线投影仪延伸并根据手指的位置在位置A(1004)、B、C、D和E处与手指相交的虚线。图10还示出以度为单位的PIP角(θp)对照以mm为单位的标准化激光距离(d)的图形。激光距离是通过图5的过程510获得的激光线段的距离。该图形的数据是通过模拟手的由关节连接的模型来获得的；即是通过使用该模型来生成在图10的图形中绘制的所模拟的数据来获得的。该图形上的点A、B、C、D和E对应于图10的上半部分中具有相同参考标记的点。该图形可使用如下立方函数来拟合，其中d为到激光线段交点的距离：
PIP角＝-0.0003*d3+0.059*d2–4.07*d+119.75。
由于各手指具有相似的骨骼，假设该函数对所有手指有效是合理的。一次性在线校准过程对每一手指都实施。这包括绘制每一手指的运动的主轴。新交点是沿着这个轴来标准化的。由于标准化是沿着3D线的，因此该方法还对在传感器图像中更倾斜地移动的拇指起作用。发现跟踪由关节连接的拇指的运动在实践中切实可行。在一些示例中，分开的由关节连接的拇指模型用于增加拇指跟踪的准确性。在一些示例中，通过在校准了手指弯曲后将与经校准的主轴的偏差映射成应用于每一手指的3D旋转来对手指的横向运动(即，允许手指左右移动)进行建模。
现在参考图12描述手指分开1202过程。该过程使LED图像1200的各区域与手的各手指中的每一手指相关联。如上所述，LED图像被减去了背景并被校正。手指分开过程1202将垂直边缘检测器施加1204到LED图像以产生手轮廓，因为被检测的垂直边缘往往跟踪手的轮廓。可使用任何垂直边缘检测器，诸如一维的Sobel过滤器。将指谷标识1206成手轮廓中的凹面，并且在每一指谷处，沿着先前检测到的垂直边缘跟踪1208多条垂直路径。在多条垂直路径中，选择1210最佳跟踪边缘的一路径。例如，这可通过以下方式来实现：使用动态编程来通过惩罚不跟踪该边缘的各路径来检测具有最低总能量的路径。该结果将图像划分成五个区域，每一区域映射1212到一手指。
现在参考图13描述示例指尖检测过程。该过程将如上所述已减去了背景并且被校正的LED图像1300取为输入。从该LED图像计算大致深度值的深度图。该深度图包括每一图像元素的近似深度值以表示那个图像元素所描绘的表面距相机的深度。为了计算深度图，可考虑皮肤反射模型1304以及关于LED光源1306相对于相机的位置的信息、LED功率和关于LED光源的径向强度下降的信息。
在一示例中，通过假设强度和深度之间的关系，LED图像中的图像元素的强度被用于计算那个图像元素的近似深度值。除了一个或多个因素之外，还可考虑诸如径向强度下降、皮肤反射模型、LED位置、LED功率等。例如，根据逆平方定律估计每一图像元素的深度测量，由此该图像元素的强度与该图像元素所描绘的表面距相机的深度的平方反相关。该深度测量随后可根据更远离LED中央光线的图像元素在光强方面的径向下降来削弱。总之，给定图像元素u的深度值可被计算成该图像元素的强度I的平方根乘以图像元素位置和主要点pp(光轴和图像平面的交点，即该图像的中心)之差与相机的焦距f1的比的反正切的余弦的倒数。这也可被表达为：
主要点(图像中心)和焦距可通过校准阶段获得。
计算1308来自深度图中的各毗邻图像元素中的每一图像元素的表面法线。无论手指到相机的距离如何，各指尖的表面法线保持恒定，而图像元素强度改变了。这意味着通过找出各表面法线，以找出指尖候选的模板匹配过程会给出良好的结果。参考图3，指尖候选是通过使用模板匹配或其他方式找到1310的。应发现，各指尖产生不同的深度峰值，这些深度峰值在形状方面与以该手指的最突出部分为中心的高斯球体相似。基于高斯球体的合成指尖模板可用于从法线图中获得匹配分数(被计算成平方距离)。发现该方法工作良好，包括在各指尖指向相机时，并包括在多个指尖彼此接触时都工作良好。其他2D技术(诸如峰谷算法或分层连通区域分析)往往在那些场合下有困难。
在其他示例中，从强度图像中计算出导数图像，而非计算表面法线。在导数图中，每一图像元素对局部强度梯度的方向和强度进行编码。导数图可随后供模板匹配过程用于找到指尖候选。
可按任何合适的方式处理深度图以产生不会因该深度图中描绘的各表面的距离而改变的量。表面法线和导数图仅是两个示例。
指尖候选可(使用通过手指分开过程找到1314的图像区域)与各手指关联1312。如果存在每手指一个以上候选，则(例如通过取最上面的候选或按其他方式来)选择一个候选。这得到最多五个2D指尖区域。
如以上参考图5所解释的，来自LED图像的2D指尖位置522可与从激光图像获得的3D手姿态514一起被输入到反向运动学过程516。通过将从漫射照明图像(LED图像)感测到的数据与结构化光图像(激光图像)组合，有可能获得与可能单独从激光图像获得的手姿态相比有更高自由度的手姿态524。以下参考图14给出可实现这个的示例。反向运动学通常从末端效应器的3D位置中导出关节角，在手指的情况下该末端执行器为指尖。在现在描述的示例中，指尖的非精确3D测量是可用的，并且用激光采样的3D点不直接与该末端执行器关联。尽管如此，通过组合这两个感测模式，由关节连接的身体部分的较高自由度的骨架模型被跟踪。例如，该骨架模型允许MCP关节的单独的关节连接。
图14是手的较高自由度的由关节连接的模型的示意图。为简明起见，图14以2D方式示出该模型，但在实践中，该由关节连接的模型是三维的。图14(再次为了简明起见)仅示出了一个手指的模型，并且将PIP和DIP关节示出组合在一起，因为这两个关节无法独立地移动，除非该手指压在表面上。假设手掌直接搁在X轴上。MCP关节的位置用P0给出，PIP关节的位置是P1，并且末端效应执行器(指尖)在P2处。尽管末端执行器的3D位置未知，但有可能观察到点(yobs)在图像平面(I)上的投影(如这等于检测到的指尖在IR图像中的质心)。给定相机的校准矩阵的情况下，有可能将适于相机中心C的光线投影通过图像平面I，如图14中的虚线所示。P2存在于沿着该光线的某处。激光线投影仪被示为与原点L0和方向Ld有偏移。(其中激光与手指相交的)激光线段被示作在距激光线投影仪距离tobs处的星形。手指的每一根骨骼lo、l1的长度通过测量或通过假设预定义值而已知。MCP角是使用观察到的数据得到的并被示为θm，并且PIP关节也是从观察到的数据计算出的并被示为θp。
参考图15，要被跟踪的由关节连接的模型1500针对手的每一手指包括三个关节位置、两个关节角(MCP和PIP)以及两个骨骼长度。可用于用于跟踪由关节连接的模型的计算过程的数据在图15中在虚线1508以下示意性地示出。该信息包括指骨长度1510(测量值或预定义值)、(从传感器设计中知晓的)激光线投影仪与原点的偏移以及该激光线投影仪的方向1512、(通过计算知晓的)图像平面1514、(来自以上描述的激光线各侧过程的)激光线段的3D位置1516、(来自以上描述的指尖位置过程的)2D指尖位置1518以及来自校准过程的相机校准参数1520。
为了计算1502MCP关节位置(P0)，计算过程可使用激光线数据以给出与手指相交的激光线段的3D位置。MCP关节位置可被看作手腕和前臂的延伸。即，MCP关节位置可通过使手腕位置延长掌骨(手掌)骨骼的长度来估计。该长度可根据经验来确定或者可被指定。
为了计算1504PIP关节位置P1，可向MCP关节位置施加布局变换。布局变换可包括平移骨骼长度l0以及绕MCP关节旋转MCP关节角θm)。MCP关节角仍不被知道，但PIP关节位置可基于局部变换根据MCP关节角来数学地表达。
可使用用于得到1506MCP关节角和PIP关节角的组合以很好地拟合观察到的数据的方法。观察到的数据包括使用LED感测到的2D指尖的位置和用激光测量到的3D点。IK模型中并入在LED图像中观察到的指尖位置的能量函数Eled被定义如下：
Eled＝|proj(P2)-yobs|2
其可用文字表达为：观察到的LED指尖位置和其IK假设之间的误差的绝对值的平方等于P2(指尖位置)使用相机校准参数在图像平面上的投影和观察到的指尖在该图像平面上的投影的距离的平方。
此能量函数Eled生成P2(指尖位置)在给定θm和θp的变化的情况下的估计位置，并(使用固有的相机校准参数)将这些位置投影在图像平面I上。它对于接近在图像平面上观察到的点yobs的各点来说有较小的误差。
第二函数Elas可被定义为与激光图像数据一起使用。该函数在它表达差异的情况下是误差函数，并在它表达误差的绝对值的平方的情况下是能量函数。此误差函数首先基于θm和θp的变化来计算激光线和手指中的每一骨骼指尖的交点，并取最小值：
其可以用文字表达为t是两个交点的最小值。第一交点是在点L0开始并以方向Ld行进的光线(表示激光束)与P0和P1之间的线段(表示指骨之一)的交点。第二交点是在点L0开始并以方向Ld行进的光线与P1和P2之间的线段的交点。
它随后最小化观察到的3D激光点Lobs与该激光线和指骨的该估计交点之间的距离：
Elas＝|tLd+L0-Lobs|2
其可用文字表达为观察到的激光线交互和其IK假设之间的误差的绝对值的平方等于从原点到激光线和指骨的估计交点的距离与(从激光感测过程获得的)观察到的3D激光点之差的平方。
聚集激光的误差函数和LED能量函数可被指定为：
其可用文字表达为产生最小能量的MCP和PIP关节角值的组合，其中该能量被计算成从假设的指尖和从发光二极管图像提取的指尖之间的误差获得能够能量与假设的激光交互和从激光图像提取的激光交互之间的误差获得的能量的加权和。
这允许该系统因此使用用符号λ表示的标量对LED或基于激光的感测的贡献进行加权。可用任何合适的方式跨指定范围的MCP和PIP关节角来求值该能量函数。该求值过程得到1506很好地拟合观察到的数据的MCP关节角和PIP关节角的组合。由于仅存在(以上用符号λ表示的)两个参数，因此有可能使用强力搜索来以高效方式来查找最小值，尽管能量函数原本极难用标准技术来最小化的事实。
通过这种方式，可实时跟踪图15中的运动学模型1500。由于该由关节连接的模型使得手的更多自由度被跟踪，因此更大范围的手姿态被从原传感器数据预测到。这两种感测方式(激光线和光下降两者)的组合使得该系统能够解决原本的不适定反向运动学问题。
作为替换或补充，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，图形处理单元(GPU)。例如，一些或全部跟踪模块(图1的110)在功能上可由一个或多个硬件逻辑组件来执行。
图16示出示例性的基于计算的设备1600的各组件，该基于计算的设备1600可被实现成任何形式的计算设备和/或电子设备、并且其中可实现用于跟踪由关节连接的身体部位的跟踪器的实施例。
基于计算的设备1600包括一个或多个处理器1602，这些处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制设备的操作以便控制一个或多个传感器、接收传感器数据以及使用传感器数据来跟踪由关节连接的身体部位的3d由关节连接的模型的任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的示例中，处理器1602可以包括一个或多个固定功能块(亦称加速计)，这些块以硬件(而非软件或固件)来实现跟踪由关节连接的身体部位的3d由关节连接的模型的方法的一部分。
可以在基于计算的设备处提供包括操作系统1604或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件1606。
基于计算的设备1600还可包括被安排成接收来自传感器1614中的一个或多个传感器的输入并实现例如图7的方法的激光线感测模块1608。可提供前向运动学模块1610来实现例如图11的方法。数据存储1619可存储传感器1614观察到的传感器数据、参数值、运动模型和其他数据。可提供手指分开模块1612来实现例如图12的方法。可提供指尖检测模块来实现例如图13的方法。可提供反向运动学模块1630来实现例如图15的方法。
可以使用可由基于计算的设备1600访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器1616等计算机存储介质和通信介质。诸如存储器1616等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然在基于计算的设备1600中示出了计算机存储介质(存储器1616)，然而应当理解，该存储可以是分布式的或位于远处并经由网络1622或其他通信链路(例如，使用通信接口1618)来访问。
基于计算的设备1600可以包括被安排成向可与基于计算的设备1600分开或集成在一起的显示设备1620输出显示信息的输入/输出控制器1615。显示信息可提供图形用户界面例如以显示由该设备使用传感器输入来跟踪的手姿势或用于其他显示目的。输入/输出控制器1615还被安排成接收并处理来自一个或多个设备的输入，如用户输入设备(例如，鼠标、键盘、相机、话筒、或其他传感器)。在一些示例中，用户输入设备可以检测语音输入、用户姿势或其他用户动作，并且可以提供自然用户界面(NUI)。该用户输入可用于诸如通过接收关于特定用户的骨骼长度的信息来配置该用户的设备。在一实施例中，如果显示设备1620是触敏显示设备，则它还可充当用户输入设备。输入/输出控制器1615还可向除显示设备之外的设备输出数据，例如，本地连接的打印设备。
输入/输出控制器1615可与一个或多个传感器1614通信，诸如一个或多个相机、惯性测量单元和/或其他传感器。这使得基于计算的设备1600能够接收传感器1614观察到的数据并控制传感器1614。输入/输出控制器1615还可与一个或多个光源1624通信，诸如发光二极管或其他漫射照明源以及红外激光线投影仪1626或其他结构化照明源。这使得基于计算的设备能够控制光源。
如以上参考图1所解释的，传感器1614和光源1624、1626可与基于计算的设备1600集成在一起或者可以无线地或以其他方式与基于计算的设备通信。
输入/输出控制器1615、显示设备1620以及可任选地用户输入设备可包括使用户能够按自然的、免受诸如鼠标、键盘、遥控器等输入设备所施加的人工约束的方式与基于计算的设备交互的NUI技术。可以提供的NUI技术的示例包括但不限于依赖于语音和/或话音识别、触摸和/或指示笔识别(触敏显示器)、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、语音和话音、视觉、触摸、姿势、以及机器智能的那些技术。可被使用NUI技术的其他示例包括意图和目的理解系统，使用深度相机(如立体相机系统、红外相机系统、rgb相机系统、以及这些的组合)的运动姿势检测系统，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示，头部、眼睛和注视跟踪，沉浸式增强现实和虚拟现实系统，以及用于使用电场传感电极(EEG和相关方法)的感测大脑活动的技术。
此处所使用的术语“计算机”或“基于计算的设备”是指带有处理能力以便它可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备，并且因此术语每个“计算机”和“基于计算的设备”包括个人电脑、服务器、移动电话(包括智能电话)、平板电脑、机顶盒、媒体播放器、游戏控制台、个人数字助理和许多其它设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或设备可以包含额外的框或元件。
可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种用于对计算设备进行基于姿势的控制的可佩戴感测设备，所述可佩戴感测设备包括：
相机，所述相机用于捕捉所述感测设备的佩戴者的身体的由关节连接的部位的图像；
结构化照明源，所述结构化照明源被定位在距所述相机特定距离处以用包括激光线的已知的结构化照明图案来照明所述由关节连接的身体部位；
跟踪模块，所述跟踪模块被安排成使用捕捉到的图像并计算所述激光线的激光线段的3D位置来实时地跟踪所述由关节连接的身体部位的3D的由关节连接的模型，而无需在所述由关节连接的身体部位上佩戴标记；
通信接口，所述通信接口被安排成将跟踪到的3D的由关节连接的模型发送给计算设备，以便根据所述由关节连接的身体部位的3D关节连接来控制所述计算设备。
2.根据权利要求1所述的设备，其特征在于，所述设备的尺寸和形状被设为供佩戴在用户的手腕的前侧，以跟踪所述用户的手的3D的由关节连接的模型。
3.如权利要求1所述的设备，其特征在于，包括：用漫射照明来照明所述由关节连接的身体部位的至少一个漫射照明源。
4.如权利要求1所述的设备，其特征在于，所述由关节连接的身体部位是手，并且其中所述由关节连接的模型，针对所述手的每一手指，包括通过三个关节串行连接的三根骨骼，每一关节都具有作为沿着从手掌末端向指尖的方向进入该关节的第一骨骼纵向投影的线与离开该关节的第二骨骼之间的角的关节角，并且其中所述由关节连接的模型是通过从所述捕捉到的图像中的至少一些中确定所述关节角中的第一关节角并独立于所述第一关节角确定其他两个关节角来跟踪的。
5.如权利要求4所述的设备，其特征在于，所述捕捉到的图像中的至少一些是用已知图案的结构化照明来照明的手的图像。
6.如权利要求1所述的设备，其特征在于，处理器被安排成通过从所述图像独立于彼此地计算所述由关节连接的模型的至少两个角来跟踪所述3D的由关节连接的模型。
7.如权利要求1所述的设备，其特征在于，包括以下中的一者或两者：激光线投影仪，所述激光线投影仪被安排成用激光线来照明所述由关节连接的身体部位；以及，至少一个红外发光二极管，所述红外发光二极管用于扩散地照明所述由关节连接的身体部位。
8.一种跟踪由关节连接的身体部位的3D的由关节连接的模型的方法，包括：
从在包括所述由关节连接的身体部位的身体上佩戴的感测设备中接收图像，所述图像包括用包括激光线的结构化照明来照明的所述由关节连接的身体部位的图像以及用漫射照明来照明的所述由关节连接的身体部位的图像；
通过在处理器处从接收到的图像独立于彼此地计算所述由关节连接的模型的单个角链中的至少两个角并计算所述激光线的激光线段的3D位置来跟踪所述3D的由关节连接的模型。
9.如权利要求8所述的方法，其特征在于，包括从用漫射照明照明的所述由关节连接的身体部位的图像中计算所述由关节连接的身体部位的末端执行器的2D位置。
10.如权利要求8所述的方法，其特征在于，包括：对于用漫射照明来照明的所述由关节连接的身体部位的图像之一的每一图像元素，基于该图像元素的强度计算用该图像元素描绘的表面距相机的估计距离；从所述估计距离计算不会因所述图像元素所描绘的表面的距离而改变的量，以及对所述量执行模板匹配。
CN201380052133.7A 2012-10-04 2013-09-18 用于跟踪由关节连接的身体部位的可佩戴传感器 Active CN104756045B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/644,701 US10234941B2 (en) 2012-10-04 2012-10-04 Wearable sensor for tracking articulated body-parts
US13/644,701 2012-10-04
PCT/US2013/060233 WO2014055240A2 (en) 2012-10-04 2013-09-18 Wearable sensor for tracking articulated body-parts

Publications (2)

Publication Number Publication Date
CN104756045A CN104756045A (zh) 2015-07-01
CN104756045B true CN104756045B (zh) 2018-06-08

Family

ID=50336486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380052133.7A Active CN104756045B (zh) 2012-10-04 2013-09-18 用于跟踪由关节连接的身体部位的可佩戴传感器

Country Status (4)

Country Link
US (1) US10234941B2 (zh)
EP (2) EP3035164B1 (zh)
CN (1) CN104756045B (zh)
WO (1) WO2014055240A2 (zh)

Families Citing this family (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
WO2015039050A1 (en) * 2013-09-13 2015-03-19 Nod, Inc Using the human body as an input device
US10585478B2 (en) 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
US9743860B2 (en) 2013-11-08 2017-08-29 Applied Invention, Llc Use of light transmission through tissue to sense joint flexure
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10338685B2 (en) 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus recognition of start and/or stop portions of a gesture using relative coordinate system boundaries
US10725550B2 (en) * 2014-01-07 2020-07-28 Nod, Inc. Methods and apparatus for recognition of a plurality of gestures using roll pitch yaw data
US10338678B2 (en) * 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus for recognition of start and/or stop portions of a gesture using an auxiliary sensor
US20150220158A1 (en) 2014-01-07 2015-08-06 Nod Inc. Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) * 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9649558B2 (en) 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9511496B2 (en) * 2014-06-20 2016-12-06 The Boeing Company Robot alignment systems and methods of aligning a robot
US11460956B2 (en) 2014-07-31 2022-10-04 Hewlett-Packard Development Company, L.P. Determining the location of a user input device
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스
CN106575164B (zh) 2014-09-10 2020-10-09 索尼公司 检测装置、检测方法、控制装置和控制方法
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US20180101277A9 (en) * 2014-09-24 2018-04-12 Evan John Kaye Skin Touchpad
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
KR101909540B1 (ko) 2014-10-23 2018-10-18 삼성전자주식회사 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법
KR101632007B1 (ko) * 2014-10-29 2016-06-21 엘지전자 주식회사 와치 타입의 제어 디바이스
WO2016079774A1 (en) * 2014-11-21 2016-05-26 Johri Abhishek System and method for data and command input
KR102347248B1 (ko) 2014-11-26 2022-01-04 삼성전자주식회사 터치 제스쳐 인식 방법 및 장치
CN104484037A (zh) * 2014-12-12 2015-04-01 三星电子（中国）研发中心 通过可穿戴设备进行智能控制的方法及该可穿戴设备
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN104516504A (zh) * 2014-12-29 2015-04-15 东莞市新雷神仿真控制有限公司 概念实物化识别塑造模拟系统
US10347108B2 (en) 2015-01-16 2019-07-09 City University Of Hong Kong Monitoring user activity using wearable motion sensing device
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
WO2016140908A1 (en) 2015-03-02 2016-09-09 Tap Systems Inc. Arbitrary surface and finger position keyboard
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US9690984B2 (en) 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
US9947098B2 (en) * 2015-05-13 2018-04-17 Facebook, Inc. Augmenting a depth map representation with a reflectivity map representation
US10642349B2 (en) * 2015-05-21 2020-05-05 Sony Interactive Entertainment Inc. Information processing apparatus
US20170000392A1 (en) * 2015-07-01 2017-01-05 Rememdia LC Micro-Camera Based Health Monitor
US9913583B2 (en) 2015-07-01 2018-03-13 Rememdia LC Health monitoring system using outwardly manifested micro-physiological markers
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
BR112018000631A2 (pt) * 2015-07-17 2018-09-18 Koninklijke Philips Nv dispositivo de processamento, método e produto de software para determinar uma posição de um dispositivo móvel em relação a um indivíduo, dispositivo de imageamento, dispositivo móvel, e sistema
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
CN106484087A (zh) * 2015-09-02 2017-03-08 黄小明 一种便携遥测体感输入方法及装置
KR20170028130A (ko) 2015-09-03 2017-03-13 박준호 웨어러블 디바이스
US10551916B2 (en) 2015-09-24 2020-02-04 Facebook Technologies, Llc Detecting positions of a device based on magnetic fields generated by magnetic field generators at different positions of the device
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
CN105334959B (zh) * 2015-10-22 2019-01-15 北京小鸟看看科技有限公司 一种虚拟现实环境中的手势动作控制系统和方法
US20170115737A1 (en) * 2015-10-26 2017-04-27 Lenovo (Singapore) Pte. Ltd. Gesture control using depth data
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US9851806B2 (en) * 2015-11-24 2017-12-26 International Business Machines Corporation Gesture recognition and control based on finger differentiation
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
CN105892638A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技（天津）有限公司 一种虚拟现实交互方法、装置和系统
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
DE102015122281B4 (de) 2015-12-18 2017-07-13 Christina Schannath Handschuh-artige Vorrichtung mit ergonomisch vorteilhaft auslösbarer integrierter Kamera
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
US20170193289A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
KR20180101496A (ko) * 2016-02-18 2018-09-12 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
WO2017151142A1 (en) * 2016-03-04 2017-09-08 Hewlett-Packard Development Company, L.P. Generating digital representations using a glove interface
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
CN105868738B (zh) * 2016-05-03 2021-11-09 深圳市君康源智能科技有限公司 一种智能手环
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10081103B2 (en) 2016-06-16 2018-09-25 International Business Machines Corporation Wearable device testing
US10126553B2 (en) 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
GB201611431D0 (en) 2016-06-30 2016-08-17 Nokia Technologies Oy User tracking for use in virtual reality
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US10489927B2 (en) * 2016-07-18 2019-11-26 King Abdullah University Of Science And Technology System and method for three-dimensional image reconstruction using an absolute orientation sensor
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
EP3487595A4 (en) * 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
EP3487457B1 (en) 2016-07-25 2023-09-06 Facebook Technologies, LLC. Adaptive system for deriving control signals from measurements of neuromuscular activity
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
US20180041859A1 (en) * 2016-08-05 2018-02-08 Avery Dennison Retail Information Services, Llc Wearable NFC Device For Secure Data Interaction
ZA201701187B (en) * 2016-08-10 2019-07-31 Tata Consultancy Services Ltd Systems and methods for identifying body joint locations based on sensor data analysis
US10560679B2 (en) 2016-08-30 2020-02-11 Microsoft Technology Licensing, Llc Deformation detection and automatic calibration for a depth imaging system
US10599217B1 (en) * 2016-09-26 2020-03-24 Facebook Technologies, Llc Kinematic model for hand position
US10162422B2 (en) 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
US11185763B2 (en) 2016-10-11 2021-11-30 Valve Corporation Holding and releasing virtual objects
US10649583B1 (en) 2016-10-11 2020-05-12 Valve Corporation Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
US10987573B2 (en) 2016-10-11 2021-04-27 Valve Corporation Virtual reality hand gesture generation
US10691233B2 (en) 2016-10-11 2020-06-23 Valve Corporation Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
US10391400B1 (en) 2016-10-11 2019-08-27 Valve Corporation Electronic controller with hand retainer and finger motion sensing
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US10307669B2 (en) * 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US10549183B2 (en) * 2016-10-11 2020-02-04 Valve Corporation Electronic controller with a hand retainer, outer shell, and finger sensing
US10888773B2 (en) 2016-10-11 2021-01-12 Valve Corporation Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
WO2018079384A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、制御方法、及びプログラム
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
US10509513B2 (en) 2017-02-07 2019-12-17 Oblong Industries, Inc. Systems and methods for user input device tracking in a spatial operating environment
US11009968B1 (en) 2017-03-29 2021-05-18 Tap Systems Inc. Bi-directional tap communication device
CN106980386A (zh) * 2017-04-24 2017-07-25 清华大学 手型跟踪方法、装置和计算机可读介质
US10261595B1 (en) * 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions
WO2018232375A1 (en) 2017-06-16 2018-12-20 Valve Corporation Electronic controller with finger motion sensing
US10598786B2 (en) 2017-06-25 2020-03-24 Pixart Imaging Inc. Object state determining apparatus and object state determining method
KR102536546B1 (ko) * 2017-06-29 2023-05-30 애플 인크. 센서들 및 햅틱들을 갖는 핑거 장착형 디바이스
CN109240484A (zh) * 2017-07-10 2019-01-18 北京行云时空科技有限公司 一种增强现实系统中的交互方法、装置及设备
DE102017116830A1 (de) * 2017-07-25 2019-01-31 Liebherr-Hydraulikbagger Gmbh Bedieneinrichtung für eine Arbeitsmaschine
CN107403178A (zh) * 2017-08-08 2017-11-28 方超 手势采集系统
WO2019028650A1 (zh) * 2017-08-08 2019-02-14 方超 手势采集系统
CN107301415B (zh) * 2017-08-08 2024-03-22 方超 手势采集系统
US10691205B1 (en) 2017-08-29 2020-06-23 Tap Systems Inc. Tap device with dynamically switchable modes
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
RU2670649C9 (ru) * 2017-10-27 2018-12-11 Федоров Александр Владимирович Способ изготовления перчатки виртуальной реальности (варианты)
WO2019147996A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
CN112005198A (zh) 2018-01-25 2020-11-27 脸谱科技有限责任公司 基于多个输入的手部状态重建
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
WO2019147956A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
EP3707584B1 (en) 2018-02-09 2024-06-05 Samsung Electronics Co., Ltd. Method for tracking hand pose and electronic device thereof
JP6910485B2 (ja) * 2018-02-16 2021-07-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム
US10914567B2 (en) * 2018-02-23 2021-02-09 Apple Inc. Magnetic sensor based proximity sensing
US10572002B2 (en) * 2018-03-13 2020-02-25 Facebook Technologies, Llc Distributed artificial reality system with contextualized hand tracking
US10528133B2 (en) * 2018-03-13 2020-01-07 Facebook Technologies, Llc Bracelet in a distributed artificial reality system
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN112469469A (zh) 2018-05-25 2021-03-09 脸谱科技有限责任公司 用于提供肌肉下控制的方法和装置
EP3801216A4 (en) 2018-05-29 2021-04-14 Facebook Technologies, LLC. SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS
US10452947B1 (en) * 2018-06-08 2019-10-22 Microsoft Technology Licensing, Llc Object recognition using depth and multi-spectral camera
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
EP3836836B1 (en) 2018-08-13 2024-03-20 Meta Platforms Technologies, LLC Real-time spike detection and identification
EP4241661A1 (en) 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
US11347189B1 (en) * 2018-09-18 2022-05-31 Apple Inc. Watch having a camera
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
CN109269483B (zh) * 2018-09-20 2020-12-15 国家体育总局体育科学研究所 一种动作捕捉节点的标定方法、标定系统及标定基站
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
US11354787B2 (en) 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US10902250B2 (en) 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
FR3096484A1 (fr) 2019-05-22 2020-11-27 Victor DE BONO Dispositif de reconnaissance des mouvements des doigts d’un porteur
CN110244844A (zh) * 2019-06-10 2019-09-17 Oppo广东移动通信有限公司 控制方法及相关装置
US20210035326A1 (en) * 2019-08-02 2021-02-04 Tokyo Institute Of Technology Human pose estimation system
US11150737B2 (en) * 2020-03-16 2021-10-19 Facebook Technologies, Llc Apparatus, system, and method for wrist tracking and gesture detection via time of flight sensors
KR20230019820A (ko) 2020-04-01 2023-02-09 사르코스 코퍼레이션 비생물학적 이동성 공중 표적의 조기 검출을 위한 시스템 및 방법
CN111494911A (zh) * 2020-04-21 2020-08-07 江苏省人民医院（南京医科大学第一附属医院） 一种基于激光式动作捕捉系统的传统功法评估系统
US20230260155A1 (en) * 2020-04-24 2023-08-17 Cornell University Deep continuous 3d hand pose tracking
CN111563459A (zh) * 2020-05-09 2020-08-21 胡团伟 一种手指动作采集方法及手指动作采集设备
CN111766941B (zh) * 2020-05-15 2021-11-09 中国科学院计算技术研究所 一种基于智能戒指的手势识别方法及系统
US20230244312A1 (en) * 2020-07-14 2023-08-03 Sony Group Corporation Detection device and detection method
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
WO2023034631A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist- wearable device worn by the user, and methods of use thereof
KR20230100472A (ko) * 2021-12-28 2023-07-05 삼성전자주식회사 손의 관절에 관한 위치 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
KR20240006289A (ko) * 2022-07-06 2024-01-15 삼성전자주식회사 공간의 위치 좌표계를 동기화하는 증강 현실 디바이스 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040263473A1 (en) * 2003-06-28 2004-12-30 Samsung Electronics Co., Ltd. Wearable finger montion sensor for sensing finger motion and method of sensing finger motion using the same
CN101093582A (zh) * 2006-06-19 2007-12-26 索尼株式会社 动作捕捉装置和动作捕捉方法、以及动作捕捉程序
US20090322673A1 (en) * 2006-07-16 2009-12-31 Ibrahim Farid Cherradi El Fadili Free fingers typing technology
US20100020078A1 (en) * 2007-01-21 2010-01-28 Prime Sense Ltd Depth mapping using multi-beam illumination
CN102541258A (zh) * 2010-11-19 2012-07-04 微软公司 双模深度图像分析

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
WO1999040562A1 (en) 1998-02-09 1999-08-12 Joseph Lev Video camera computer touch screen system
US6269172B1 (en) * 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6125197A (en) * 1998-06-30 2000-09-26 Intel Corporation Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects
US6552722B1 (en) 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
WO2001048589A1 (fr) 1999-12-28 2001-07-05 Fujitsu Limited Procede et dispositif de resserrement des coordonnees d'un photostyle
ATE453147T1 (de) 2000-07-05 2010-01-15 Smart Technologies Ulc Verfahren für ein kamerabasiertes berührungssystem
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
JP5592070B2 (ja) * 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
US7995808B2 (en) * 2006-07-19 2011-08-09 Lumidigm, Inc. Contactless multispectral biometric capture
US9319741B2 (en) 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
US20080192059A1 (en) 2007-02-09 2008-08-14 Microsoft Corporation Multi-user display
US20110210931A1 (en) 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
US20090146947A1 (en) 2007-12-07 2009-06-11 James Ng Universal wearable input and authentication device
US7731364B2 (en) * 2008-03-11 2010-06-08 Gholam A. Peyman Ocular centration of visual axis and evaluation of retinal function
US20090243998A1 (en) 2008-03-28 2009-10-01 Nokia Corporation Apparatus, method and computer program product for providing an input gesture indicator
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8289162B2 (en) 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
CN102473851A (zh) * 2009-07-07 2012-05-23 皇家飞利浦电子股份有限公司 用于在层中和/或上产生图案的构图设备
US9176628B2 (en) 2009-07-23 2015-11-03 Hewlett-Packard Development Company, L.P. Display with an optical sensor
US8547327B2 (en) 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
CN102648615B (zh) 2009-10-16 2015-11-25 罗姆股份有限公司 移动装置
US8600166B2 (en) * 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US20110199335A1 (en) 2010-02-12 2011-08-18 Bo Li Determining a Position of an Object Using a Single Camera
US20110199296A1 (en) 2010-02-18 2011-08-18 Simpson Samuel K Single wrist user input system
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
US20120025945A1 (en) * 2010-07-27 2012-02-02 Cyberglove Systems, Llc Motion capture data glove
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
JP5642474B2 (ja) 2010-09-24 2014-12-17 ミネベア株式会社 入力装置、振動装置および入力検出方法
KR101700377B1 (ko) * 2010-10-20 2017-01-26 삼성전자주식회사 아바타 생성을 위한 처리 장치 및 방법
US20120117514A1 (en) 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
GB2487043B (en) 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction and illumination system and method
JP2012145612A (ja) * 2011-01-07 2012-08-02 Sony Corp 光学式読取モジュールおよび光学式読取装置
TWI446249B (zh) 2011-03-03 2014-07-21 Wistron Corp 光學影像式觸控裝置
US8593421B2 (en) 2011-03-22 2013-11-26 Adobe Systems Incorporated Local coordinate frame user interface for multitouch-enabled devices
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US10209881B2 (en) * 2012-03-15 2019-02-19 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology
US8760426B1 (en) 2012-03-26 2014-06-24 Amazon Technologies, Inc. Dominant hand detection for computing devices
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9245428B2 (en) 2012-08-02 2016-01-26 Immersion Corporation Systems and methods for haptic remote control gaming
EP2741176A3 (en) 2012-12-10 2017-03-08 Samsung Electronics Co., Ltd Mobile device of bangle type, control method thereof, and UI display method
DE102012112834A1 (de) 2012-12-21 2014-06-26 Robert Bosch Gmbh Rotationslaser
KR102330889B1 (ko) 2013-02-22 2021-11-26 페이스북 테크놀로지스, 엘엘씨 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기
JP6136357B2 (ja) 2013-02-25 2017-05-31 セイコーエプソン株式会社 分光測定装置、通信システム及びカラーマネージメントシステム
US20140240242A1 (en) 2013-02-26 2014-08-28 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing a hover gesture controller
US9425627B2 (en) 2013-03-04 2016-08-23 Hello Inc. Telemetry system with remote firmware updates
US9122351B2 (en) 2013-03-15 2015-09-01 Verizon Patent And Licensing Inc. Apparatus for detecting proximity of object near a touchscreen
US20140347326A1 (en) 2013-05-21 2014-11-27 Samsung Electronics Co., Ltd. User input using hovering input
KR102179812B1 (ko) 2013-07-18 2020-11-17 엘지전자 주식회사 와치형 이동단말기
US9606721B2 (en) 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
US9622074B2 (en) 2013-07-24 2017-04-11 Htc Corporation Method for continuing operation on mobile electronic device, mobile device using the same, wearable device using the same, and computer readable medium
JP2015026196A (ja) 2013-07-25 2015-02-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 移動体からのデータを集約し、フィルタリング処理する方法、並びに、そのコンピュータ及びコンピュータ・プログラム
US9251333B2 (en) 2013-08-29 2016-02-02 Paypal, Inc. Wearable user device authentication system
KR102136836B1 (ko) 2013-09-09 2020-08-13 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
US20150177947A1 (en) 2013-12-20 2015-06-25 Motorola Mobility Llc Enhanced User Interface Systems and Methods for Electronic Devices
US20150185850A1 (en) 2013-12-27 2015-07-02 Farzin Guilak Input detection
KR102219042B1 (ko) 2014-02-26 2021-02-23 삼성전자주식회사 전자 장치, 웨어러블 디바이스 및 전자 장치의 동작 방법
US9239648B2 (en) 2014-03-17 2016-01-19 Google Inc. Determining user handedness and orientation using a touchscreen device
KR20150118813A (ko) 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
EP3170062B1 (en) 2014-07-18 2019-08-21 Apple Inc. Raise gesture detection in a device
KR20160035948A (ko) 2014-09-24 2016-04-01 엘지전자 주식회사 이동 단말기와 그것을 포함하는 시스템
KR20160045269A (ko) 2014-10-17 2016-04-27 엘지전자 주식회사 웨어러블 디바이스 및 상기 디바이스와 통신 가능한 이동 단말기
US20160320850A1 (en) 2015-04-29 2016-11-03 Samsung Electronics Co., Ltd. User interface control using impact gestures
US20170010733A1 (en) 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc User-identifying application programming interface (api)
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US20170010695A1 (en) 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc Enhanced multi-touch input detection
US20170153741A1 (en) 2015-12-01 2017-06-01 Microsoft Technology Licensing, Llc Display hover detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040263473A1 (en) * 2003-06-28 2004-12-30 Samsung Electronics Co., Ltd. Wearable finger montion sensor for sensing finger motion and method of sensing finger motion using the same
CN101093582A (zh) * 2006-06-19 2007-12-26 索尼株式会社 动作捕捉装置和动作捕捉方法、以及动作捕捉程序
US20090322673A1 (en) * 2006-07-16 2009-12-31 Ibrahim Farid Cherradi El Fadili Free fingers typing technology
US20100020078A1 (en) * 2007-01-21 2010-01-28 Prime Sense Ltd Depth mapping using multi-beam illumination
CN102541258A (zh) * 2010-11-19 2012-07-04 微软公司 双模深度图像分析

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UbiHand: A Wearable Input Device for 3D Interaction;FAROOQ AHMAD ET AL;《ACM SIGGRAPH 2006 COURSES ON》;20060730;第159页 *

Also Published As

Publication number Publication date
WO2014055240A2 (en) 2014-04-10
CN104756045A (zh) 2015-07-01
EP2904472A2 (en) 2015-08-12
EP3035164B1 (en) 2018-09-05
US20140098018A1 (en) 2014-04-10
WO2014055240A3 (en) 2014-10-09
US10234941B2 (en) 2019-03-19
EP3035164A1 (en) 2016-06-22
EP2904472B1 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
CN104756045B (zh) 用于跟踪由关节连接的身体部位的可佩戴传感器
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN107004279B (zh) 自然用户界面相机校准
CN105190483B (zh) 检测用至少两个控制对象执行的手势
US20180046874A1 (en) System and method for marker based tracking
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
CN110476168A (zh) 用于手部跟踪的方法和系统
Kim et al. Digits: freehand 3D interactions anywhere using a wrist-worn gloveless sensor
CN107949863A (zh) 使用生物体信息的认证装置以及认证方法
US11776242B2 (en) Augmented reality deep gesture network
US20200363867A1 (en) Blink-based calibration of an optical see-through head-mounted display
CN109313495A (zh) 融合惯性手持控制器与手动跟踪的六自由度混合现实输入
WO2013149586A1 (zh) 一种腕上手势操控系统和方法
CN106575164A (zh) 检测装置、检测方法、控制装置和控制方法
Premaratne et al. Historical development of hand gesture recognition
US10782780B2 (en) Remote perception of depth and shape of objects and surfaces
US11150318B2 (en) System and method of camera-less optical motion capture
CN110488972A (zh) 用于空间交互中的额外模态的面部跟踪
Shires et al. Enhancing the tracking capabilities of the Microsoft Kinect for stroke rehabilitation
CN108475114A (zh) 用于对象姿势跟踪器的反馈
Richter et al. Human Climbing and Bouldering Motion Analysis: A Survey on Sensors, Motion Capture, Analysis Algorithms, Recent Advances and Applications.
Saha et al. A study on leg posture recognition from Indian classical dance using Kinect sensor
Kim et al. Thirdlight: Low-cost and high-speed 3d interaction using photosensor markers
Kempfle et al. Quaterni-On: Calibration-free Matching of Wearable IMU Data to Joint Estimates of Ambient Cameras
Plopski et al. Tracking systems: Calibration, hardware, and peripherals

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171017

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant