CN108475111A - 变换轻量骨骼并且使用逆运动学产生有关节的骨骼 - Google Patents

变换轻量骨骼并且使用逆运动学产生有关节的骨骼 Download PDF

Info

Publication number
CN108475111A
CN108475111A CN201680077331.2A CN201680077331A CN108475111A CN 108475111 A CN108475111 A CN 108475111A CN 201680077331 A CN201680077331 A CN 201680077331A CN 108475111 A CN108475111 A CN 108475111A
Authority
CN
China
Prior art keywords
hand
feature
movement
discrete
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680077331.2A
Other languages
English (en)
Inventor
K·卡蒙
E·克里普卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108475111A publication Critical patent/CN108475111A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种手的骨骼模型的逆向重建的系统，包括：成像器，适于捕获手的至少一个图像；存储器，存储多个手姿态特征记录，多个手姿态特征记录中的每个手姿态特征记录由唯一的离散姿态值集来定义；代码存储装置，存储代码；至少一个处理器，耦合到成像器、存储器和程序存储装置，用于执行所存储的代码，代码包括：用于从对至少一个图像的分析来标识离散姿态值组的代码指令；用于根据离散姿态值组来从手姿态特征记录选择一个手姿态特征记录的代码指令；以及用于基于映射多个手器官的运动学特性的手模型、从手姿态特征记录来重建手姿态中的手的骨骼模型的代码指令。

Description

变换轻量骨骼并且使用逆运动学产生有关节的骨骼
背景技术
我们的时代在计算机化环境中的主要技术进步已经极大地增加人机交互。通常采用输入/输出设备(诸如键盘、指点设备和/或触摸接口)的传统的人机接口(HMI)可能已经满足了先前时代的需要，但是随着HMI变得高度密集，期望更自然的接口。这种自然的接口可以使用一个或多个不同的技术向用户提供简单、直接、友好的接口，同时避免中介器硬件元件的使用。而且，两个或两个以上的自然人机用户接口(NUI)方法可以组合在一起，以提供允许用户简单地和/或直接地与计算机化设备(例如，计算机、移动设备、计算机化机器和/或计算机化电器)交互的综合方案。
发明内容
根据本公开的一些实施例，提供了用于根据图像、基于手姿态、利用从图像标识的离散值来重建手的骨骼模型的系统和方法。
贯穿本公开，如在下文中所提到的手势、手姿态和/或手运动的定义、创建、构造和/或生成分别指手势、手姿态和手运动的表示的定义、创建、构造和/或生成，该表示模拟(多只)手的相应的手势、姿态和运动。
数据集存储一个或多个手姿态，其中一个或多个手姿态中的每个手姿态由指示手特征(特性)的当前状态(诸如各种手指和/或手状态)的离散值的特征记录定义。由成像器(诸如照相机)捕获的手的图像被分析，以找到与手和手指的姿态对应的离散值组，并且手姿态特征记录根据离散值被选择。以姿态的手的骨骼模型从手特征记录基于手模型来重建，该手模型映射手器官的运动学特性，诸如骨长度和手指的关节移动。离散值被用作用于重建骨骼模型的(多个)逆运动学算法的输入。可选地，由运动特征的离散值的特征记录定义的手运动还被存储在数据集中，并且骨骼模型的移动还从手运动特征记录被重建，手运动特征记录基于从捕获的图像序列来标识的运动特征的值而被选择。
通过使用离散值，使得骨骼模型的重建简单，这避免重建过程中的机器学习和计算机视觉处理。
除非另外定义，否则本文使用的所有技术和/或科学术语具有与由本领域的普通技术人员通常理解的相同的意义。尽管与本文所描述的那些方法和材料类似或者等同的方法和材料可以被使用在本公开的实施例的实践或者测试中，但是下文描述了示例性方法和/或材料。在冲突的情况下，以包括定义的专利说明书为准。另外，材料、方法和示例仅是说明性的，并且不旨在是必然地限制性的。
附图说明
本公开的一些实施例在本文中参考附图仅以示例的方式来描述。现在对附图进行详细特定参考，应当强调，所示的细节以示例的方式示出，并且出于本公开的实施例的说明性讨论的目的。就这一点而言，结合附图进行的描述使如何可以实现本发明的实施例对本领域技术人员而言是清楚的。
在附图中；
图1是根据本公开的一些实施例的用于手的骨骼模型的逆向重建的示例性系统的示意图；
图2是根据本公开的一些实施例的用于手的骨骼模型的逆向重建的示例性过程的流程图；
图3是根据本公开的一些实施例的示例性手姿态构造的示意图；
图4是根据本公开的一些实施例的示例性捏的基本手姿态构造的示意图；
图5是根据本公开的一些实施例的示例性基本手运动构造的示意图；
图6是根据本公开的一些实施例的示例性半圆手运动构造的示意图；以及
图7是根据本公开的一些实施例的手的示例性骨骼模型的示意图。
具体实施方式
根据本公开的一些实施例，提供了用于从图像、基于离散值来重建手的骨骼模型的系统和方法，该离散值从图像重建并且指示当前手和手指姿态的状态。通过一个或多个计算机化设备使用离散值来标识手和手指姿态，提供了构建骨骼模型的快速和低资源消耗的方式，这允许在具有较低的中央处理单元(CPU)功率和/或低内存的实现中使用骨骼模型。使用逆运动学，通过计算迫使手到实际姿态的低资源消耗的特征，详尽的骨骼被构建。
数据集定义多个手姿态特征记录，各自由手姿态特征的唯一的离散值集定义。手姿态特征记录可以包括例如特征向量、特征矩阵和/或特征表格。可选地，每个手姿态特征记录由有限状态机(FSM)中的一个状态定义，有限状态机(FSM)包括各自由离散值集构建的有限数目的状态。每个手姿态特征表示(多个)手姿态的特定特征(特性)。姿态特征可以包括：例如，手选择(左、右、二者和/或任何)、手旋转、手方向、手指方向(每手指)、手指弯曲(每手指)、手指接触(每两个或两个以上手指)和/或手指相对位置(每两个或两个以上手指)。可选地，数据集还定义多个手运动特征记录，其各自表示(多个)手运动的特定特征。运动特征可以包括：例如，运动属性，诸如例如大小、速度、范围和/或空间中的位置和/或定义运动形状的(多个)运动脚本。运动脚本可以被定义为以例如可扩展向量图形(SVG)的格式的曲线，和/或由一个或多个预定义离散微移动构造的字符串，一个或多个预定义离散微移动定义三个二维(2D)平面中的每个2D平面中的微移动。手姿态特征记录和/或手运动特征记录中的一个或多个的唯一逻辑序列可以表示一个或多个手势，例如通过记录(多个)手姿态和/或(多个)手运动之间的转变的唯一的有限状态机(FSM)。
成像器(诸如照相机)捕获当前姿态中的手的至少一个图像，并且将图像发送到处理器用于分析。图像分析可以包括例如用于标识表示手姿态的离散姿态值组的区别性蕨群集(DFE)和/或区别性树群集(DTE)。基于所标识的离散姿态值组，手姿态特征然后从数据集被选择。可选地，离散运动值集从所捕获的图像序列被标识，并且手运动特征记录从数据集被选择。
姿态中的手的骨骼模型从所选择的手姿态特征记录来重建。重建基于映射每根手指(诸如与关节连接的刚性段的骨骼，其各自表示手指)的运动学特性的手模型来实现。骨骼模型定义手的每个部分的空间位置。可选地，骨骼模型的运动还根据所选择的手运动特征记录(例如，骨骼的每个段和每个关节的移动)来重建。
骨骼模型可以例如被用于例如在虚拟现实(VR)和/或增强现实(AR)使用中构造手的三维数字图像，用于数字动画，和/或用于与全息图和虚拟世界对象交互。
在详细解释示例性实施例的至少一个实施例之前，将理解到，本公开不必在其应用中限于在以下描述中所阐述的和/或在附图和/或示例中所说明的部件和/或方法的构造和布置的细节。本公开能够具有其他实施例，或者以各种方式被实践或者执行。
现在参照附图，图1是根据本公开的一些实施例的用于手的骨骼模型的逆向重建的示例性系统的示意图。示例性系统100包括用于捕获手150的至少一个图像的成像器110、一个或多个硬件处理器120和用于存储代码指令的存储介质130和具有定义离散姿态值的记录的数据集140。系统100可以被包括在一个或多个计算机化设备中，例如，计算机、移动设备、计算机化机器、和/或装备和/或附接到成像器的计算机化电器。当前具有手姿态或手姿态序列的手150可以是计算机化设备的用户的手，例如，当使用手姿态向计算机化设备输入命令时。成像器110可以包括例如彩色照相机、红外线(IR)照相机、运动检测器、接近传感器和/或捕获视觉信号的任何其他成像设备或其组合。存储介质130可以包括例如数字数据存储单元(诸如磁性驱动器和/或固态驱动器)。存储介质130还可以是例如内容递送网络或者内容分布网络(CDN)，CDN是跨因特网被部署在多个数据中心中的服务器的大型分布式系统。
还参照图2，其图示了根据本公开的一些实施例的用于手的骨骼模型的逆向重建的示例性过程的流程图。在系统(诸如示例性系统100)中执行示例性过程200。
如在210处所示，多个手姿态特征记录被存储在数据集140中，其各自由唯一的离散姿态值集来定义。
现在参照图3，其是根据本公开的一些实施例的示例性手姿态构造的示意图。图示300将示例性手姿态构造350描绘为手姿态特征记录301，手姿态特征记录301包括一个或多个姿态特征310、320、330和340。姿态特征中的每个姿态特征可以被分配一个或多个离散姿态值311、321、331和/或341，离散姿态值311、321、331和/或341标识用于手姿态350中的相关联的手姿态的相应的姿态特征310、320、330和/或340的状态(值)。
由手姿态特征记录301定义的相应的姿态特征310、320、330和340的一个或多个离散姿态值311、321、331和/或341的组合定义手姿态350的特定姿态。手姿态特征记录301可以被表示为例如特征向量、特征矩阵和/或特征表格，存储在存储介质130中。手姿态特征记录301可以包括以下姿态特征中的一个或多个姿态特征的值：
■手掌姿态特征——一个或多个手掌姿态特征310包括例如手选择、手掌方向、手掌旋转和/或手位置。手选择可以标识哪个手活动并且可以包括离散姿态值311，诸如例如左、右、二者和/或任何。手掌方向可以定义活动的手的手掌面对的方向，并且可以包括离散姿态值311，诸如例如左、右、上、下、向前和/或向后。手掌旋转可以定义活动的手的手掌旋转，并且可以包括离散姿态值311，诸如例如左、右、上、下、向前和/或向后。手位置可以标识空间中的活动的手的空间位置并且可以包括离散姿态值311，诸如视场(FOV)的中心、FOV的左侧、FOV的右侧、FOV的顶部、FOV的底部、FOV的前面和/或FOV的后面。其中FOV是例如成像器110的可见空间。可选地，手位置相对于存在于FOV中的固定对象来标识，例如，键盘和/或指点设备，使得手位置可以由离散姿态值311定义，诸如例如在键盘上方,在键盘后面，在键盘右边和/或在键盘左边。
■手指弯曲特征——根据每根手指定义的一个或多个手指弯曲特征320。例如，手指弯曲特征320可以是弯曲和/或屈曲状态，其可以包括离散姿态值321，诸如例如由0、1和2表示的伸展、折叠和/或打开。每个手指(拇指、食指、中指、无名指和/或小指)被分配一个或多个特定手指特征，例如{折叠的}状态中的{拇指、中指、无名指、小指}和{伸展的}状态中的{食指}。
■手指接触条件特征——根据每根手指定义的一个或多个接触特征130。接触特征可以定义任何两个或两个以上手指的触摸条件和/或触摸类型，并且可以包括离散姿态值331，诸如例如非触摸、指尖和/或全触摸。
■手指相对位置条件特征——根据每根手指定义的一个或多个手指相对位置特征340。手指相对位置条件特征340中的每个手指相对位置条件特征340可以定义一根手指相对于另一根的相对位置。手指相对位置特征340可以包括离散姿态值341，诸如例如一根或多根手指相对于另外的一根或多根手指被定位在左、右、上、下、向内、向外、前面和/或后面。
手姿态350中的每个手姿态350由手姿态特征记录301中的唯一一个手姿态特征记录301定义，手姿态特征记录301可以是各自提供对应的手姿态特征310、320、330和/或340的值的一个或多个离散姿态值311、321、331和/或314的组合/或序列。手姿态特征记录101可以仅包括离散姿态值311、321、331和/或341中的一些(并非全部)，同时未包括的其他离散姿态值311、321、331和/或341保持为不受限制。例如，手姿态特征记录301可以定义手指的特定状态(例如，离散姿态值321、331和/或341)，而手的方向被保持未指定(例如，离散姿态值311)。在这种情况下，在手面向任何方向的情况下，手姿态350在运行期检测到手指状态时被标识、识别和/或分类为如手姿态特征记录301所定义的。使用离散姿态值311、321、331和/或341允许手姿态350的简单创建，这是因为存在有限数目的离散姿态值311、321、331和/或341，而手姿态350利用这些值来创建。例如，被包括在手姿态特征310中的手掌旋转特征可以包括多达六个离散姿态值311——左、右、上、下、向前和向后。手姿态特征310、320、330和/或340的离散表示可以不仅限于离散值。一个或多个手特征310、320、330和/或340的连续值可以通过量化连续值分别地由离散姿态值311、321、331和/或341表示。例如，手掌旋转手掌姿态特征可以用8个离散姿态值311来定义——0°、45°、90°、135°、180°、225°、270°和315°，以量化0°-360°的完整旋转范围。
现在参照图4，其是根据本公开的一些实施例的示例性捏的基本手姿态构造的示意图。图示400通过捏的姿态特征记录301A来描绘示例性捏的手姿态350A构造，捏的姿态特征记录301A包括离散姿态值，诸如离散姿态值311、321、331和/或341，其各自指示对应的手姿态特征(诸如姿态特征310、320、330和/或340)的值。通过图像捕获401而可视化的捏的手姿态350A利用多个离散姿态值311、321、331和341中的一些被创建如下：
■手选择特征310A被分配离散姿态值311A，以指示左手是活动的。
■手掌方向特征310B被分配离散姿态值311B，以指示活动的手的手掌面向前。
■手指弯曲特征320A被分配离散姿态值321A和离散弯曲值321B，以指示拇指和食指是折叠的。
■手指弯曲特征320B被分配离散姿态值321C和离散姿态值321D，以指示中指、无名指和小指是打开的。
■手指接触条件特征330A被分配离散姿态值331A，以指示拇指和食指在其尖端处相触摸。
■手指相对位置特征340A被分配离散姿态值341A、离散姿态值341B和离散姿态值341C，以指示食指被定位为在拇指上方。
如上可见，捏的手姿态350A唯一地由捏的姿态特征记录301A定义，捏的姿态特征记录301A包括分别地对应于手姿态特征310A、310B、320A、320B、330A和340A的离散姿态值311A、311B、321A、321B、321C、321D、331A、331B、341A、341B和341C。类似地，附加的手姿态可以使用如由程序员所指示的API并且关联于一个或多个应用函数来创建。
再次参照图1和图2。可选地，多个手运动特征记录也被存储在数据集140中，其各自由唯一的离散运动值集来定义。
现在参照图5，其是根据本公开的一些实施例的示例性基本手运动构造的示意图。图示500将示例性手运动550构造描绘为手运动特征记录501，手运动特征记录501包括一个或多个手运动特征510和520。手运动特征510和520中的每一个可以被分配有一个或多个离散运动值511和/或521，其标识用于手运动550的相关联的手运动的相应的手运动特征510和/或520的状态(值)。手运动特征记录501标识手和/或(一根或多根)手指的特定运动，该特定运动可以稍后通过监测用户的手的移动而被标识、识别和/或分类。一个或多个手运动特征510和/或520的连续值可以由通过量化连续值而引起的离散运动值511和/或521来表示。手运动特征记录501可以被表示为例如特征向量、特征矩阵和/或特征表格。手运动特征记录501可以包括以下手运动特征中的一个或多个：
■运动属性特征——一个或多个运动属性特征510可以包括例如运动大小、运动速度和/或运动位置。运动大小可以标识运动的大小(范围)，并且可以包括离散运动值511，诸如例如小、正常和/或大。运动速度可以定义运动的速度，并且可以包括离散运动值511，诸如例如慢、正常、快和/或中断。运动位置可以标识在其中运动被执行的空间位置，并且可以包括离散运动值511，诸如例如FOV的中心、FOV的右侧、FOV的左侧、FOV的顶部、FOV的底部、FOV的前面和/或FOV的后面。可选地，手位置相对于存在于FOV中的固定对象来标识，例如，键盘和/或指点设备，使得手位置可以包括离散运动值511，诸如例如在键盘上方,在键盘后面，在键盘右边和/或在键盘左边。
■运动脚本特征——一个或多个运动脚本特征520可以定义执行的实际运动。运动脚本值520可以包括例如运动方向、运动开始点、运动结束点和/或预定义曲线形状。运动方向特征520可以包括离散运动值521，诸如例如向上、向下、从左向右、从右向左、对角_左_向上、对角_右_向上、对角_左_向下、对角_右_向下、顺时针_圆弧_右_向上、顺时针_圆弧_右_向下、顺时针_圆弧_左_向上、顺时针_圆弧_左_向下、逆时针_曲线_右_向上、逆时针_曲线_右_向下、逆时针_曲线_左_向上和/或逆时针_曲线_左_向下。运动曲线形状可以包括例如at标志(@)、无限标志(∞)、数字标志、字母标志等。可选地，附加的一个或多个曲线形状可以被创建为预定义曲线，例如检查标志、账单请求等，因为向应用功能分配直观并且公开已知的手势是被期望的，例如用于编写和/或发送电子邮件的at标志、用于检查操作的检查标志、和/或用于请求账单的涂鸦。一个或多个曲线形状可以可选地以例如SVG的格式使用徒手工具来创建。运动脚本特征320中的每个运动脚本特征320被定义用于2D平面，然而，运动脚本特征320中的每个运动脚本特征320可以被变换以描绘另一2D平面(例如，X-Y、X-Z和/或Y-Z)。可选地，运动脚本特征320使用3D图像数据表示格式来定义三维(3D)运动和/或曲线。
手运动550的每个手运动550由手运动特征记录501中的唯一一个手运动特征记录501来定义，手运动特征记录501可以是各自提供对应的手运动特征510和/或520的值的一个或多个离散运动值511和/或521的组合/或序列。使用离散运动值521和/或521允许手运动550的简单创建，因为存在有限数目的离散运动值511和/或521，而手运动550利用这些值来创建。例如，被包括在手运动属性特征510中的运动速度特征可以包括多达四个离散运动值511——慢、正常、快和中断。手运动特征510和/或520的离散表示可以不仅限于离散值，一个或多个手运动特征510和/或520的连续值可以通过量化连续值分别地由离散运动值511和/或521表示。例如，运动速度的运动属性特征可以用6个离散运动值511来定义——5m/s(米/秒)、10m/s、15m/s、20m/s、25m/s和30m/s，以量化0m/s-30m/s的正常人手的运动速度。
现在参考图6，其是根据本公开的一些实施例的示例性半圆手运动构造的示意图。图示600通过从左到右的上半圆的手运动特征记录501A描绘示例性从左到右的上半圆的手运动550A构造，手运动特征记录501A包括离散运动值(诸如离散运动值511和/或521)，其各自指示对应的手运动特，诸如手运动特征510和/或520。通过图像捕获601A、601B和601C而可视化的从左到右的上半圆的手运动550A利用多个离散运动值551和521中的一些被创建如下：
■运动大小特征510A被分配离散运动值511A，以指示运动大小是正常的。
■运动速度特征510B被分配离散运动值511B，以指示运动速度是正常的。
■运动位置特征510C被分配离散运动值511C，以指示在键盘上方执行运动。
■第一运动脚本特征520A被分配离散运动值521A，以指示由图像捕获601B呈现的顺时针_圆弧_左_向上的运动形状。
■第二运动脚本特征520B被分配离散运动值521B，以指示由图像捕获601C呈现的顺时针_圆弧_左_向下的运动形状。
如上所示，从左到右的上半圆的手运动550A由从左到右的上半圆的手运动特征记录501A唯一地定义，运动特征记录501A包括分别对应于运动特征510A、510B、510C、520A和520B的离散运动值511A、511B、511C、521A和521B。类似地，附加的手和/或(多根)手指运动可以使用如由程序员所指示的API并且关联于一个或多个应用函数来创建。
再次参照图1和图2。如在220处所示，手150的至少一个图像由成像器110捕获。可选地，图像的序列(诸如视频)被捕获，其描绘手150的移动。
然后，如在230处所示，(多个)图像由(多个)处理器120分析，并且离散姿态值组被标识，如上文所描述的。可选地，图像的序列被分析，并且离散运动值集也被标识，如上文所描述的。分析可以包括例如区别性蕨群集(DFE)和区别性树群集(DTE)和/或任何其他图像处理算法和/或方法。
然后，如在240处所示，根据分析从(多个)图像所标识的离散姿态值组，手姿态特征记录从被存储在数据集140中的多个手姿态特征记录由(多个)处理器120选择。可选地，当离散运动值也被标识时，根据由分析所标识的离散运动值组，手运动特征记录从被存储在数据集140中的多个手运动特征记录被选择。选择可以例如通过针对每个特征记录、在所标识的值与存储在数据集140中的值之间使用(多个)匹配算法来完成。因为不需要在识别、标识和/或分类期间对手骨骼建模，所以离散姿态值311、321、331和/或341和/或离散运动值511和/或521容易地被标识，因而一个或多个手姿态350和/或一个或多个手运动550的识别、标识和/或分类比手姿态和/或运动的其他图像识别过程更简单，由此减少了计算机视觉处理的量。而且，由于一个或多个手姿态350和/或一个或多个手运动550使用可以提前经训练的手势库和/或手势API来标识、识别和/或分类，因而计算机学习和/或三维向量处理的使用在骨骼重建期间被完全地避免。归因于手姿态350和/或手运动550的离散构造，其允许针对姿态特征310、320、330和/或340中的每一个和/或运动特征510和520中的每一个的有限、受限数目的可能状态，因而手势库和/或手势API的训练可以极大地简化，因此减少处理负载。
最后，如在250处所示，手姿态中的手150的骨骼模型根据所选择的手姿态特征记录由(多个)处理器120重建。参照图7，其是根据本公开的一些实施例的手的示例性骨骼模型的示意图。例如，骨骼模型可以是与关节连接的刚性段的虚拟三维骨骼，其中每个段表示手150中的骨，并且每个接合处表示手150中的骨关节，并定义其空间位置。可选地，骨骼模型的移动还根据所选择的手运动特征记录由(多个)处理器120重建。例如，手150的手指的移动由骨骼的段和关节的运动来表示。
手姿态特征记录(或轻量骨骼)耗费较低资源来计算，但是提出了对手的物理性质的强约束。给定手的物理性质(诸如可以使用所捕获的(多个)图像检测和/或估计的骨的长度)，实际的高分辨率骨骼模型可以以高准确度被推断。归因于其复杂性，因而该高分辨率骨骼模型更难以根据图像直接被推断。
重建基于手模型完成，手模型映射手器官的运动学特性，诸如骨长度和手指的关节移动。例如，手模型可以基于逆运动学，其使用运动学方程来确定提供手150的姿态的关节参数。手的运动学方程定义手的关节角度与其姿态或者配置之间的关系。逆运动学算法求解方程系统，方程对手骨骼的关节的可能配置进行建模，并且用作对每个关节的移动自由度的约束。给定一些手姿态特征(诸如手指的位置、方位、定向和/或相对位置)，逆运动学算法可以计算手器官的可能位置。例如，给定离散姿态值311、321、331和/或341，可以计算骨骼模型的潜在重建。
例如，重建骨骼模型，示例性捏的手姿态350A、离散姿态值311A、311B、321A、321B、321C、321D、331A、331B、341A、341B和341C被用作用于逆运动学算法的输入。基于这些离散姿态值，逆运动学算法可以重建示例性捏的手姿态350A中的手的骨骼模型或者潜在的骨骼模型。例如，基于指示手是面向前的左手的离散姿态值311A和311B、基于指示拇指处于折叠位置的离散姿态值321B并且基于指示拇指和食指在其尖端处触摸的离散姿态值331A，拇指的关节的位置可以由算法推断。而且，例如，为了重建示例性半圆手运动550A中的骨骼模型的移动，离散运动值511A、511B、511C、521A和521B被用作用于逆运动学算法的输入。例如，拇指的关节的移动可以基于手的迹线由算法推断。
逆运动学的建模和/或求解可以例如通过使用回归算法、逆雅可比和/或依赖于迭代优化的方法来完成。骨骼模型可以例如被用于在虚拟现实(VR)和/或增强现实(AR)系统中呈现手。例如，当用户的手被成像、标识并且建模为(多个)特征记录时，骨骼模型可以被重建，并且被用作用于呈现给用户的虚拟手的基础。骨骼模型还可以例如基于手的视频，例如被用于创建手动画中的逼真的移动，。
预计在本申请成熟的专利的生命期间，用于重建骨骼模型的许多相关系统和方法将被开发，并且术语骨骼模型的范围旨在先验地包括所有这样的新技术。
术语“包括”、“具有”和其词形变化意味着“包括但不限于”。
术语“由……组成”意味着“包括并且限于”。
术语“基本上由……组成”意味着组成、方法或者结构可以包括附加成分、步骤和/或部分，但是只要附加成分、步骤和/或部分未实质地更改要求保护的组成、方法或者结构的基本和新颖特性。
如本文所使用的，除非上下文另外清楚地指明，否则单数形式“一”、“一个”和“该”包括复数参考。例如，术语“化合物”或者“至少一个化合物”可以包括多个化合物，包括其混合物。
贯穿本申请，本发明的各种实施例可以以范围格式呈现。应当理解，以范围格式的描述仅出于方便和简洁，并且不应当被解释为对本发明的范围的刚性限制。因此，范围的描述应被认为已经具体公开了所有可能的子范围以及该范围内的个体数值。例如，诸如从1到6的范围的描述应当被认为是已经特别地公开诸如从1到3、从1到4、从1到5、从2到4、从2到6、从3到6等的子范围以及该范围内的个体数值(例如，1、2、3、4、5和6)。无论范围的宽度如何，这都适用。
无论何时在本文中指示数值范围，其旨在包括所指示的范围内的任何所记载的数值(分数或者整数)。短语“第一指示数目与第二指示数目之间的范围”和短语“从第一指示数目到第二指示数目的范围”在本文中可交换地使用，并且旨在包括第一指示数目和第二指示数目，以及在第一指示数目和第二指示数目之间的所有分数和整数数值。
如本文所使用的，术语“方法”指用于完成给定任务的方式、手段、技术和程序，包括但不限于：对于化学、药物学、生物学、生物化学和医学领域的从业者而言，已知的方式、手段、技术和程序，或者易于从已知的方式、手段、技术和程序来开发的方式、手段、技术和程序。
根据本发明的一些实施例的方面，提供了一种手的骨骼模型的逆向重建的系统，包括：成像器，适于捕获手的至少一个图像；存储器，存储多个手姿态特征记录，多个手姿态特征记录中的每个手姿态特征记录由唯一的离散姿态值集来定义；代码存储装置，存储代码；至少一个处理器，被耦合到成像器、存储器和程序存储装置，用于执行所存储的代码，代码包括：用于从对至少一个图像的分析来标识离散姿态值组的代码指令；用于根据离散姿态值组从多个手姿态特征记录选择手姿态特征记录的代码指令；以及用于基于手模型、从手姿态特征记录来重建手姿态中的手的骨骼模型的代码指令，手模型映射多个手器官的运动学特性。
可选地，手姿态特征是选自由以下各项组成的组的构件：活动的手、手方向、手旋转、至少一根手指的姿态、至少两根手指之间的相对位置和至少两根手指之间的接触。
可选地，系统还包括：存储器还存储多个手运动特征记录，多个手运动特征记录中的每个手运动特征记录由唯一的离散运动值集定义；并且代码还包括：用于从对至少一个图像的序列的分析来标识离散运动值集的代码指令，至少一个图像描绘手的移动；用于根据离散运动值组来从多个手运动特征记录选择手运动特征记录的代码指令；以及用于从手运动特征记录来重建骨骼模型的移动的代码指令。
更可选地，手运动特征是选自由以下各项组成的组的构件：运动属性和运动脚本，运动脚本定义以下各项中的至少一项：手运动和至少一根手指的运动。
可选地，唯一的离散姿态值集由唯一的有限状态机模型定义。
可选地，骨骼模型被用于在虚拟现实(VR)系统和增强现实(AR)系统中的至少一个中呈现手。
可选地，骨骼模型被用于创建手动画。
根据本发明的一些实施例的方面，提供了一种用于手的骨骼模型的逆向重建的方法，包括：在存储器中存储多个手姿态特征记录，多个手姿态特征记录中的每个手姿态特征记录由唯一的离散姿态值集定义；通过成像器捕获手的至少一个图像；从对至少一个图像的分析来标识离散姿态值组；根据离散姿态值组从多个手姿态特征记录选择手姿态特征记录；以及基于手模型、从手姿态特征记录来重建手姿态中的手的骨骼模型，手模型映射多个手器官的运动学特性。
可选地，手姿态特征是选自由以下各项组成的组的构件：活动的手、手方向、手旋转、至少一根手指的姿态、至少两根手指之间的相对位置和至少两根手指之间的接触。
可选地，方法还包括：在存储器中存储多个手运动特征记录，多个手运动特征记录中的每个手运动特征记录由唯一的离散运动值集定义；从对至少一个图像的序列的分析来标识离散运动值集，至少一个图像描绘手的移动；根据离散运动值组来从多个手运动特征记录选择手运动特征记录；以及从手运动特征记录来重建骨骼模型的运动。
更可选地，手运动特征是选自由以下各项组成的组的构件：运动属性和运动脚本，运动脚本定义以下各项中的至少一项：手运动和至少一根手指的运动。
可选地，唯一的离散姿态值集由唯一的有限状态机模型定义。
可选地，骨骼模型被用于在虚拟现实(VR)系统和增强现实(AR)系统中的至少一个中呈现手。
可选地，骨骼模型被用于创建手动画。
根据本发明的一些实施例的一个方面，提供了一种用于手的骨骼模型的逆向重建的软件程序产品，包括：非暂态计算机可读存储介质；第一程序指令，用于接收由成像器所捕获的手的至少一个图像；第二程序指令，用于访问存储多个手姿态特征记录的存储器，多个手姿态特征记录中的每一个由唯一的离散姿态值集来定义；第三程序指令，用于从对至少一个图像的分析来标识离散姿态值组；第四程序指令，用于根据离散姿态值组来从多个手姿态特征记录选择手姿态特征记录；以及第五程序指令，用于基于手模型、从手姿态特征记录来重建手姿态中的手的骨骼模型的代码指令，手模型映射多个手器官的运动学特性；其中第一、第二、第三、第四和第五程序指令由来自非暂态计算机可读存储介质的至少一个计算机化处理器执行。
可选地，手姿态特征是选自由以下各项组成的组的构件：活动的手、手方向、手旋转、至少一根手指的姿态、至少两根手指之间的相对位置和至少两根手指之间的接触。
可选地，存储器还存储多个手运动特征记录，多个手运动特征记录中的每个手运动特征记录由唯一的离散运动值集定义；并且软件程序产品还包括：第六程序指令，用于从对至少一个图像的序列的分析来标识离散运动值集，至少一个图像描绘手的移动；第七程序指令，用于根据离散运动值组来从多个手运动特征记录选择手运动特征记录；以及第八程序指令，用于从手运动特征记录来重建骨骼模型的移动；其中第六、第七和第八程序指令由至少一个计算机化处理器执行。
更可选地，其中手运动特征是选自由以下各项组成的组的构件：运动属性和运动脚本，运动脚本定义以下各项中的至少一项：手运动和至少一根手指的运动。
可选地，唯一的离散姿态值集由唯一的有限状态机模型定义。
可选地，骨骼模型被用于在虚拟现实(VR)系统和增强现实(AR)系统中的至少一个中呈现手。
为了清晰起见，本文所描述的示例的某些特征在分离的实施例的上下文中被描述，这些特征还可以被组合而提供在单个实施例中。相反地，为了清晰起见，在单个实施例的上下文中描述的本文所描述的示例的各种特征还可以分离地被提供，或以任何适合的子组合被提供，或者被提供在适于本公开的任何其他所描述的实施例中。除非实施例在没有那些元件的情况下不工作，否则在各种实施例的上下文中所描述的某些特征将不被认为是那些实施例的必要特征。

Claims (14)

1.一种手的骨骼模型的逆向重建的系统，包括：
成像器，适于捕获手姿态中的手的至少一个图像；
存储器，存储多个手姿态特征记录，所述多个手姿态特征记录中的每个手姿态特征记录由唯一的离散姿态值集来定义；
代码存储装置，存储代码；
至少一个处理器，被耦合到所述成像器、所述存储器和所述程序存储装置，用于执行所存储的所述代码，所述代码包括：
用于从对所述至少一个图像的分析来标识离散姿态值组的代码指令；
用于根据所述离散姿态值组从所述多个手姿态特征记录选择手姿态特征记录的代码指令；以及
用于基于手模型、从所述手姿态特征记录来重建所述手姿态中的所述手的骨骼模型的代码指令，所述手模型映射多个手器官的运动学特性。
2.根据权利要求1所述的系统，其中所述手姿态特征是选自由以下各项组成的组的构件：活动的手、手方向、手旋转、至少一根手指的姿态、至少两根手指之间的相对位置和至少两根手指之间的接触。
3.根据权利要求1所述的系统，其中：
所述存储器还存储多个手运动特征记录，所述多个手运动特征记录中的每个手运动特征记录由唯一的离散运动值集定义；以及
所述代码还包括：
用于从对所述至少一个图像的序列的分析来标识离散运动值集的代码指令，所述至少一个图像描绘所述手的移动；
用于根据所述离散运动值组来从所述多个手运动特征记录选择手运动特征记录的代码指令；以及
用于从所述手运动特征记录来重建所述骨骼模型的移动的代码指令。
4.根据权利要求3所述的系统，其中所述手运动特征是选自由以下各项组成的组的构件：运动属性和运动脚本，所述运动脚本定义以下各项中的至少一项：手运动和至少一根手指的运动。
5.根据权利要求1所述的系统，其中所述唯一的离散姿态值集由唯一的有限状态机模型定义。
6.根据权利要求1所述的系统，其中所述骨骼模型被用于在虚拟现实(VR)系统和增强现实(AR)系统中的至少一个中呈现手。
7.根据权利要求1所述的系统，其中所述骨骼模型被用于创建手动画。
8.一种用于手的骨骼模型的逆向重建的方法，包括：
在存储器中存储多个手姿态特征记录，所述多个手姿态特征记录中的每个手姿态特征记录由唯一的离散姿态值集定义；
通过成像器捕获手姿态中的手的至少一个图像；
从对所述至少一个图像的分析来标识离散姿态值组；
根据所述离散姿态值组从所述多个手姿态特征记录选择手姿态特征记录；以及
基于手模型、从所述手姿态特征记录来重建所述手姿态中的所述手的骨骼模型，所述手模型映射多个手器官的运动学特性。
9.根据权利要求8所述的方法，其中所述手姿态特征是选自由以下各项组成的组的构件：活动的手、手方向、手旋转、至少一根手指的姿态、至少两根手指之间的相对位置和至少两根手指之间的接触。
10.根据权利要求8所述的方法，还包括：
在所述存储器中存储多个手运动特征记录，所述多个手运动特征记录中的每个手运动特征记录由唯一的离散运动值集定义；
从对所述至少一个图像的序列的分析来标识离散运动值集，所述至少一个图像描绘所述手的移动；
根据所述离散运动值组来从所述多个手运动特征记录选择手运动特征记录；以及
从所述手运动特征记录来重建所述骨骼模型的运动。
11.根据权利要求10所述的方法，其中所述手运动特征是选自由以下各项组成的组的构件：运动属性和运动脚本，所述运动脚本定义以下各项中的至少一项：手运动和至少一根手指的运动。
12.根据权利要求8所述的方法，其中所述唯一的离散姿态值集由唯一的有限状态机模型定义。
13.根据权利要求8所述的方法，其中所述骨骼模型被用于在虚拟现实(VR)系统和增强现实(AR)系统中的至少一个中呈现手。
14.根据权利要求8所述的方法，其中所述骨骼模型被用于创建手动画。
CN201680077331.2A 2015-12-31 2016-12-21 变换轻量骨骼并且使用逆运动学产生有关节的骨骼 Pending CN108475111A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/985,777 2015-12-31
US14/985,777 US20170193289A1 (en) 2015-12-31 2015-12-31 Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
PCT/US2016/067895 WO2017116880A1 (en) 2015-12-31 2016-12-21 Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton

Publications (1)

Publication Number Publication Date
CN108475111A true CN108475111A (zh) 2018-08-31

Family

ID=57777731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680077331.2A Pending CN108475111A (zh) 2015-12-31 2016-12-21 变换轻量骨骼并且使用逆运动学产生有关节的骨骼

Country Status (4)

Country Link
US (1) US20170193289A1 (zh)
EP (1) EP3398032A1 (zh)
CN (1) CN108475111A (zh)
WO (1) WO2017116880A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854308B1 (en) * 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
US11714880B1 (en) * 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
JP6688990B2 (ja) * 2016-04-28 2020-04-28 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体
US11269480B2 (en) 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
CN107315355B (zh) * 2017-06-30 2021-05-18 京东方科技集团股份有限公司 一种电器控制设备及方法
KR102147930B1 (ko) * 2017-10-31 2020-08-25 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
US11544871B2 (en) * 2017-12-13 2023-01-03 Google Llc Hand skeleton learning, lifting, and denoising from 2D images
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
CN111045511B (zh) * 2018-10-15 2022-06-07 华为技术有限公司 基于手势的操控方法及终端设备
US20200301513A1 (en) * 2019-03-22 2020-09-24 Microsoft Technology Licensing, Llc Methods for two-stage hand gesture input
JP2023532000A (ja) * 2020-06-26 2023-07-26 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ ユーザインターフェース方法及びシステム
CN114663512B (zh) * 2022-04-02 2023-04-07 广西科学院 一种基于器官编码的医学影像精确定位方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038671A (zh) * 2007-04-25 2007-09-19 上海大学 基于立体视觉三维手指运动轨迹跟踪方法
CN102112945A (zh) * 2008-06-18 2011-06-29 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
CN102262783A (zh) * 2011-08-16 2011-11-30 清华大学 一种三维手势运动重建方法和系统
CN102567703A (zh) * 2010-12-10 2012-07-11 上海上大海润信息系统有限公司 一种基于分类特征的手部动作识别信息处理方法
CN104680582A (zh) * 2015-03-24 2015-06-03 中国人民解放军国防科学技术大学 一种面向对象定制的三维人体模型创建方法
CN104756045A (zh) * 2012-10-04 2015-07-01 微软公司 用于跟踪由关节连接的身体部位的可佩戴传感器
WO2015126392A1 (en) * 2014-02-20 2015-08-27 Hewlett-Packard Development Company, L.P. Emulating a user performing spatial gestures

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
US6522332B1 (en) * 2000-07-26 2003-02-18 Kaydara, Inc. Generating action data for the animation of characters
US8508537B2 (en) * 2008-11-17 2013-08-13 Disney Enterprises, Inc. System and method for dependency graph evaluation for animation
US8988437B2 (en) * 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US8664954B2 (en) * 2009-03-31 2014-03-04 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. Magnetic resonance imaging with improved imaging contrast
US20100302253A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US8797328B2 (en) * 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
US10209881B2 (en) * 2012-03-15 2019-02-19 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology
US9536135B2 (en) * 2012-06-18 2017-01-03 Microsoft Technology Licensing, Llc Dynamic hand gesture recognition using depth data
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
US8743052B1 (en) * 2012-11-24 2014-06-03 Eric Jeffrey Keller Computing interface system
US9427868B1 (en) * 2015-02-24 2016-08-30 Disney Enterprises, Inc. Method for developing and controlling a robot to have movements matching an animation character

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038671A (zh) * 2007-04-25 2007-09-19 上海大学 基于立体视觉三维手指运动轨迹跟踪方法
CN102112945A (zh) * 2008-06-18 2011-06-29 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
CN102567703A (zh) * 2010-12-10 2012-07-11 上海上大海润信息系统有限公司 一种基于分类特征的手部动作识别信息处理方法
CN102262783A (zh) * 2011-08-16 2011-11-30 清华大学 一种三维手势运动重建方法和系统
CN104756045A (zh) * 2012-10-04 2015-07-01 微软公司 用于跟踪由关节连接的身体部位的可佩戴传感器
WO2015126392A1 (en) * 2014-02-20 2015-08-27 Hewlett-Packard Development Company, L.P. Emulating a user performing spatial gestures
CN104680582A (zh) * 2015-03-24 2015-06-03 中国人民解放军国防科学技术大学 一种面向对象定制的三维人体模型创建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PENGYU HONG等: "Constructing finite state machines for fast gesture recognition", 《PROCEEDINGS 15TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION.ICPR-2000》 *

Also Published As

Publication number Publication date
EP3398032A1 (en) 2018-11-07
WO2017116880A1 (en) 2017-07-06
US20170193289A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
CN108475111A (zh) 变换轻量骨骼并且使用逆运动学产生有关节的骨骼
CN102915112B (zh) 用于近距离动作跟踪的系统和方法
Wang et al. Real-time hand-tracking with a color glove
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
Ahmad et al. Hand pose estimation and tracking in real and virtual interaction: A review
IL224026A (en) System and method for human interface - known as hand gestures
CN109416570A (zh) 使用有限状态机和姿态语言离散值的手部姿态api
CN108431735A (zh) 姿态视觉构建器工具
Kiselev et al. Hand gesture recognition with multiple leap motion devices
Ma et al. Real-time and robust hand tracking with a single depth camera
Aditya et al. Recent trends in HCI: A survey on data glove, LEAP motion and microsoft kinect
CN106293099A (zh) 手势识别方法及系统
CN109559370A (zh) 一种三维建模方法及装置
Huang et al. Conceptual three-dimensional modeling using intuitive gesture-based midair three-dimensional sketching technique
JP2008512750A (ja) 規則に基づいた逐次アプローチを利用した人間の姿勢を予測するためのシステムおよび方法
Liu et al. A reconfigurable data glove for reconstructing physical and virtual grasps
Cohen et al. A 3d virtual sketching system using NURBS surfaces and leap motion controller
Rustagi et al. Virtual Control Using Hand-Tracking
Liu et al. COMTIS: Customizable touchless interaction system for large screen visualization
Ogiela et al. Natural user interfaces for exploring and modeling medical images and defining gesture description technology
US9870063B2 (en) Multimodal interaction using a state machine and hand gestures discrete values
Figueiredo et al. Bare hand natural interaction with augmented objects
CN113807280A (zh) 一种基于Kinect的虚拟船舶机舱系统与方法
Chen et al. Dual quaternion based virtual hand interaction modeling
CN113887497A (zh) 一种基于手势绘图表面的虚拟现实中的三维草图绘制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180831

WD01 Invention patent application deemed withdrawn after publication