CN102184009B - 跟踪系统中的手位置后处理精炼 - Google Patents

跟踪系统中的手位置后处理精炼 Download PDF

Info

Publication number
CN102184009B
CN102184009B CN201110112867.2A CN201110112867A CN102184009B CN 102184009 B CN102184009 B CN 102184009B CN 201110112867 A CN201110112867 A CN 201110112867A CN 102184009 B CN102184009 B CN 102184009B
Authority
CN
China
Prior art keywords
point
estimation
hand
skeleton pattern
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110112867.2A
Other languages
English (en)
Other versions
CN102184009A (zh
Inventor
J·C·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102184009A publication Critical patent/CN102184009A/zh
Application granted granted Critical
Publication of CN102184009B publication Critical patent/CN102184009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

提供了跟踪系统中的手位置后处理精炼。具有深度相机的跟踪系统在物理空间中跟踪用户的身体并得出身体的模型，包括手位置的初始估计。当初始估计按照小于阈值水平的量从帧到帧移动时，执行时间平滑，而在移动超过阈值时执行极小平滑或不执行平滑。平滑的估计被用于定义局部体，用于搜索手末端以定义新的手位置。另一过程例如通过检测和考虑遮挡来生成可用作可靠参考位置的稳定化的上身点。上身点和前一估计的手位置被用于定义手臂向量。沿该向量进行搜索以检测手末端以定义新的手位置。

Description

跟踪系统中的手位置后处理精炼
技术领域
本申请涉及运动捕捉系统和方法，尤其涉及跟踪系统中的手位置后处理精炼。
背景技术
运动捕捉系统获得关于人或其他主体在物理空间中的位置和移动的数据，并可使用该数据作为计算系统中的某一应用的输入。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，人的运动可被映射到三维(3-D)人类骨架模型并用于创建动画人物或化身。运动捕捉系统可包括包含使用可见和不可见(例如，红外)光的系统在内的光学系统，运动捕捉系统使用相机来检测视野中的人的存在。然而，在以更高的逼真度来跟踪人时需要进一步的精炼。特别是希望以高度的保真度来跟踪人的手。
发明内容
提供了一种用于在运动捕捉系统中以提高的保真度来跟踪用户的手的处理器实现的方法、运动捕捉系统和有形计算机可读存储。例如，用户可作出手的姿势来导航菜单、在浏览或购物体验中交互、选择要玩的游戏、或访问诸如向朋友发送消息等通信特征。用户可使用手来控制光标以从屏幕上菜单选择项目，或者控制化身在3-D虚拟世界中的移动。一般来说，手位置可被跟踪并用作对运动捕捉系统中的应用的控制输入。
为了增强运动捕捉系统准确地标识手位置的能力，提供了若干不同的技术。这些技术一般以手位置的初始估计为起始，并精炼该估计。解决了诸如抖动、有限的相机分辨率、相机噪声以及被遮挡的身体部位等问题。
在一个实施例中，提供了用于在运动捕捉系统中跟踪用户移动的处理器实现的方法。该方法包括随时间在运动捕捉系统的视野中跟踪用户的手，包括在不同的时间点获得手的3-D深度图像。3-D深度图像可用于提供例如用户的身体的骨架模型。该方法还包括基于所述跟踪获得视野中手的位置的初始估计。该初始估计可由任何类型的运动跟踪系统来提供。位置的初始估计可能由于可由运动跟踪系统引入的误差(包括噪声、抖动和所使用的跟踪算法)而稍微不准确。该方法还包括确定初始估计相对于前一时间点的对应估计的差异，并确定该差异是否小于阈值。该阈值可定义将前一时间点的估计作为中心的2-D面积或3-D体。如果该差异小于阈值，则对初始估计应用平滑处理，以通过按照小于该差异的量改变初始估计来提供位置的当前估计。
另一方面，如果该差异相对较大，使得它不小于阈值，则可实质上按照初始估计来提供位置的当前估计。在此情况下，不应用平滑效果。该技术使手的大的帧到帧移动的等待时间最小化，同时平滑了较小的移动。基于当前估计，在视野中定义一个体作为搜索体，如矩形体(包括立方体)或球体。在该体中搜索3-D深度图像来确定视野中手的位置的新估计。该搜索可包括在体中标识手的位置，以及确定位置的平均值。该方法还包括至少部分地基于位置的新估计或从位置的新估计得出的值来向代表视野中的手的应用提供控制输入。该控制输入可用于导航菜单、控制化身的移动等等。
提供本概要以用简化形式介绍在下面的说明书中进一步描述的精选概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图说明
在附图中，标号相同的元素彼此对应。
图1描绘了运动捕捉系统的示例实施例。
图2描绘了图1的运动捕捉系统的示例框图。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。
图5描绘了用于在运动捕捉系统中以提高的保真度跟踪用户的手的方法。
图6描绘了用于如图5的步骤500所述地跟踪个人的移动的示例方法。
图7A描绘了用于如图5的步骤504所述地更新手位置的示例方法。
图7B描绘了用于如图7A的步骤700所述地执行平滑的示例方法。
图7C描绘了用于如图7A的步骤700所述地执行平滑的另一示例方法。
图7D描绘了用于如图5的步骤504所述地更新手位置的示例方法。
图7E描绘了用于如图7D的步骤732所述地稳定模型的参考点的示例方法。
图7F描绘了用于如图5的步骤504所述地更新手位置的示例方法。
图8描绘了如图6的步骤608所述的用户的示例模型。
图9A描绘了用于在初始估计和前一估计之间的差异小于阈值时如图7A的步骤700所述地执行平滑的示例技术。
图9B描绘了用于在初始估计和前一估计之间的差异大于或等于阈值时如图7A的步骤700所述地执行平滑的示例技术。
图10描绘了用于如图7A的步骤704和706所述地提供手位置的新估计的示例技术。
图11A描绘了如图7D的步骤734所述地定义至少一个向量的示例。
图11B描绘了如图7D的步骤736所述地搜索手臂末端的示例。
图11C描绘了如图7D的步骤736所述地对候选位置评分的示例。
图12A描绘了如图7E的步骤750所述的，其中身体的参考点被遮挡的用户的模型的示例性正视图。
图12B描绘了图12A的模型的侧视图。
图12C描绘了图12A的模型的投影相机图像视图。
图12D描绘了图12A的3-D模型的俯视图。
具体实施方式
提供了用于在运动跟踪系统中更准确地标识手的位置的技术。这些技术可被扩展到跟踪诸如脚或头之类的其他身体部位或非身体部位对象。一般来说，深度相机系统可以跟踪物理空间中用户身体的移动，并导出该身体的模型，该模型对于每一相机帧每秒若干次地更新。然而，通常需要以高度的保真度来标识用户的手。但是，为全身体跟踪优化的跟踪系统可能缺乏以足够高的准确性来跟踪手的能力。此类系统可提供对手位置的粗略且可能不稳定的猜测。这里提供的技术精炼了可由外部人类跟踪系统生成的手位置的初始估计。这些技术包括后处理步骤，后处理步骤分析深度图像中的局部区域，生成可被用作可靠参考位置的稳定的上身点，在深度图像中搜索手末端，以及以最小化可感知的等待时间的方式来执行时间平滑。
图1描绘了其中个人8与应用交互的运动捕捉系统10的示例实施例。这示出了运动捕捉系统诸如在用户家中的真实世界部署。运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可包括图像相机组件22，其具有红外(IR)光发射器24、红外相机26和红-绿-蓝(RGB)相机28。也称为个人或玩家的用户8站在深度相机的视野6中。线2和4表示视野6的边界。在该示例中，深度相机系统20和计算环境12提供了其中显示器196上的化身197跟踪用户8的移动的应用。例如，当用户举起手臂时，化身可举起手臂。化身197在3-D虚拟世界中站在路198上。可定义笛卡尔世界坐标系，其包括沿着深度相机系统20的焦距(例如水平)延伸的z轴、垂直延伸的y轴、以及横向且水平延伸的x轴。注意，附图的透视被修改成简化表示，显示器196在y轴方向上垂直延伸，z轴垂直于y轴和x轴且与用户8所站立的地平面平行地从深度相机系统延伸出来。
一般而言，运动捕捉系统10用于识别、分析和/或跟踪人类目标。计算环境12可包括计算机、游戏系统或控制台等，以及执行应用的硬件组件和/或软件组件。
深度相机系统20可以包括相机，相机用于在视觉上监视诸如用户8等的一个或多个人，从而可以捕捉、分析并跟踪用户所执行的姿势和/或移动，来执行应用中的一个或多个控制或动作，如使化身或屏幕上人物活动起来或选择用户界面(UI)中的一菜单项。
运动捕捉系统10可以连接到诸如显示器196等可向用户提供视觉和音频输出的视听设备，如电视机、监视器、高清电视机(HDTV)等，或甚至是墙或其他表面上的投影。音频输出也可经由单独的设备来提供。为驱动显示器，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。显示器196可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
用户8可使用深度相机系统20来跟踪，使得用户的姿势和/或移动被捕捉并用于使化身或屏幕上人物活动起来，和/或被解释为对计算机环境12所执行的应用的输入控制。
用户8的某些移动可被解释为可对应于除控制化身之外的动作的控制。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用，或以其他方式导航选项菜单。由此，用户8的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。
个人可在与应用交互时抓握诸如道具等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用手持球拍的玩家的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用手持诸如塑料剑等玩具武器的玩家的运动来控制提供海盗船的应用的虚拟世界中对应的武器。
运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制命令。例如，操作系统和/或应用的基本上任何可控方面可由用户8的移动来控制。
图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，捕捉带有包括深度图像的深度信息的视频，该深度信息可包括深度值。深度相机系统20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。
深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每一像素具有代表距离图像相机组件22的线性距离的相关联的深度值。
图像相机组件22可包括可用于捕捉场景的深度图像的红外(IR)光发射器24、红外相机26、以及红-绿-蓝(RGB)相机28。3-D相机由红外发射器24和红外相机26的组合来形成。例如，在飞行时间分析中，IR光发射器24将红外光发射到物理空间上，并且红外相机26检测来自物理空间中的一个或多个目标和物体的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的目标或对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。然后可以使用相移来确定从深度相机系统到对象或目标上的特定位置的物理距离。
飞行时间分析也可用于通过经由包括例如快门式光脉冲成像等各种技术来分析反射光束随时间的强度，来间接地确定从深度相机系统20到目标或对象上的特定位置的物理距离。
在另一示例实施例中，深度相机系统20可使用结构化光来捕捉深度信息。在这一分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光发射器24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如红外相机26和/或RGB相机28来捕捉，然后可被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。
深度相机系统20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。
深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收由个人提供的诸如声音等音频信号，来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。
深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令包括例如用于接收深度图像的指令；用于基于深度图像来生成三维像素网格的指令；用于移除包括在三维像素网格中的背景以便隔离与人类目标相关联的一个或多个三维像素的指令；用于确定隔离的人类目标的一个或多个骨端的位置或定位的指令；用于基于一个或多个骨端的位置或定位来调整模型的指令；或任何其他合适的指令，这些将在下文中更详细描述。
深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储3-D相机或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。
另外，深度相机系统20可经由通信链路36向计算环境12提供由例如3-D相机26和/或RGB相机28捕捉的深度信息和图像，和/或可由深度相机系统20生成的骨架模型。计算环境12然后可使用该模型、深度信息和捕捉的图像来控制应用。例如，如图2所示，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可由骨架模型(在用户移动时)执行的姿势的信息。例如，可为各种手姿势提供姿势过滤器，如手的挥击或投掷。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。
可将由深度相机系统20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个特定移动。那些移动可与应用的各种控制命令相关联。
计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。上面描述的诸如计算环境12等计算环境可以包括诸如游戏控制台等多媒体控制台100。多媒体控制台100包括具有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的一级和二级高速缓存102和104。诸如闪存ROM等存储器106可存储在多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以便于处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导进程期间加载的应用数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机26和28的图2的深度相机系统20接收附加输入。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。
在运动捕捉系统中，该计算环境可用于解释一个或多个姿势或其他移动并作为响应更新显示画面上的视觉空间。计算环境220包括计算机241，计算机241通常包括各种有形计算机可读存储介质。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口231与GPU 229进行通信。作为示例而非局限，图4描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238，从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239，以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)，向计算机241输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)，来连接。包括相机26和28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机，诸如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，但是在图4中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
该计算环境可包括其上包含有计算机可读软件的有形计算机可读存储，该计算机可读软件用于对至少一个处理器进行编程来执行此处描述的用于生成用于人体跟踪的代表训练数据的方法。该有形计算机可读存储可包括例如，组件222、234、235、230、253、254中的一个或多个。此外，该计算环境的一个或多个处理器可以提供用于生成用于人体跟踪的代表训练数据的处理器实现的方法，包括此处所描述的处理器实现的步骤。处理器可包括例如组件229和259中的一个或多个。
图5描绘了用于在运动捕捉系统中以提高的保真度跟踪用户的手的方法。步骤500包括在深度相机系统的视野中跟踪用户。进一步的细节见例如图6。步骤502包括基于跟踪算法获得手位置的初始估计。注意，所描述的过程涉及单只手，但是该过程可适用于确定给定用户的第二只手的位置，或一般地用于视野中的一个或多个用户的一只或多只手。初始估计可从如关于图6所描述的用户跟踪来获得。步骤504包括更新手位置。进一步的细节见例如图7A和7D。步骤506包括基于手位置向应用提供控制输入。
输入可例如依据视野中的例如由笛卡尔坐标系中的(x，y，z)坐标来表达的点位置来表示用户的手的位置。图1提供了笛卡尔坐标系的示例。步骤510包括在应用处处理控制输入。这可涉及例如基于用户的手移动来更新显示画面等、启动游戏应用、或执行任何数量的其他动作。
图6描绘了用于如图5的步骤500所述地跟踪个人的移动的示例方法。该示例方法可以使用例如结合图2-4讨论的深度相机系统20和/或计算环境12、100或220来实现。可以扫描一个或多个人来生成模型，如骨架模型、网格人类模型、或个人的任何其他合适的表示。在骨架模型中，每个身体部位可被表征为定义骨架模型的关节和骨骼的数学向量。身体部位可以在关节处相对于彼此移动。
该模型然后可用于与由计算环境执行的应用交互。用于生成模型的扫描可以在启动或运行应用程序时发生，或如所扫描的个人的应用程序所控制地在其他时间发生。
可扫描个人来生成骨架模型，可跟踪该骨架模型使得用户的物理移动或运动可用作调整和/或控制应用的参数的实时用户接口。例如，所跟踪的个人的移动可用于在电子角色扮演游戏中移动化身或其他屏幕上人物；在电子赛车游戏中控制屏幕上车辆；在虚拟环境中控制物体的构成或组织；或执行应用的任何其他合适的控制。
根据一个实施例，在步骤600，例如从深度相机系统接收深度信息。深度相机系统可以捕捉或观察可包括一个或多个目标的视野。在一示例实施例中，如所讨论的，深度相机系统可使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与捕捉区域中的一个或多个目标相关联的深度信息。如所讨论的，深度信息可包括具有多个所观察的像素的深度图像或图(map)，其中每一所观察的像素具有所观察的深度值。
深度图像可以被降采样到较低处理分辨率，以使其可被更容易地使用且以更少的计算开销来处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或有噪的深度值；可填入和/或重构缺少的和/或移除的深度信息的部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成也结合图8讨论的诸如骨架模型等模型。
在判定步骤604，判定深度图像是否包括人类目标。这可包括对深度图像中的每一目标或对象进行泛色填充，将每一目标或对象与一图案进行比较来确定该深度图像是否包括人类目标。例如，可以比较深度图像的所选区域或点中的像素的各个深度值来确定可定义如上所述的目标或对象的边缘。可基于所确定的边缘来对Z个层的可能的Z个值进行泛色填充。例如，与所确定的边缘相关联的像素以及边缘内的区域的像素可互相关联来定义捕捉区域中的可与图案进行比较的目标或对象，这将在下文中更详细描述。
如果判定步骤604为真，则执行步骤606。如果判定步骤604为假，则在步骤600接收附加深度信息。
对照其来比较每一目标或对象的图案可包括具有共同定义典型的人类身体的一组变量的一个或多个数据结构。与例如视野中的人类目标和非人类目标的像素相关联的信息可以与各变量进行比较来标识人类目标。在一个实施例中，该组中的每一变量可基于身体部位来加权。例如，图案中诸如头和/或肩等各个身体部位可具有与其相关联的、可大于诸如腿等其他身体部位的权重值。根据一个实施例，可在将目标与变量进行比较来确定目标是否是人类以及哪一目标可以是人类时使用权重值。例如，变量与目标之间的具有较大权重值的匹配可产生比具有较小权重值的匹配更大的该目标是人类的可能性。
步骤606包括扫描人类目标来寻找身体部位。可以扫描人类目标来提供与个人的一个或多个身体部位相关联的诸如长度、宽度等度量，以提供该个人的准确模型。在一示例实施例中，可隔离该人类目标，并且可创建该人类目标的位掩模来扫描一个或多个身体部位。该位掩模可通过例如对人类目标进行泛色填充，使得该人类目标可以与捕捉区域元素中的其他目标或对象分离来创建。随后可分析该位掩模来寻找一个或多个身体部位，以生成人类目标的模型，如骨架模型、网格人类模型等。例如，根据一实施例，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨。
例如，人类目标的位掩模的顶部可以与头的顶部的位置相关联。在确定了头的顶部之后，可以向下扫描该位掩模来随后确定颈的位置、肩的位置等等。例如，在所扫描的位置处的位掩模的宽度可以与和例如颈、肩等相关联的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩模中先前扫描的并与身体部位相关联的位置的距离来确定颈、肩等的位置。诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。在确定了身体部位的值之后，可创建包括身体部位的度量值的数据结构。该数据结构可包括从深度相机系统在不同时间点提供的多个深度图像中平均的扫描结果。
步骤608包括生成人类目标的模型，包括手位置的初始估计。在一实施例中，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节用于定义可以和人类的身体部位相对应的一根或多根骨。
可调整一个或多个关节，直到这些关节在人类的关节和身体部位之间的典型距离范围之内，以生成更准确的骨架模型。该模型可基于例如与人类目标相关联的高度来进一步调节。
在步骤610，通过每秒若干次更新个人的位置来跟踪该模型。当用户在物理空间中移动时，使用来自深度相机系统的信息来调整骨架模型，使得该骨架模型表示一个人。具体地，可向该骨架模型的一个或多个受力方面施加一个或多个力，来将该骨架模型调整成更接近地和物理空间中的人类目标的姿态相对应的姿态。
一般而言，可使用用于跟踪个人的移动的任何已知技术。
图7A描绘了用于如图5的步骤504所述地更新手位置的示例方法。步骤700包括对手位置的初始估计执行平滑，以提供位置的经平滑的估计。开始于外部跟踪系统提供的原始输入，该步骤创建手猜测的经平滑的版本，以减弱跟踪系统中的轻微的不稳定或抖动的效应。这可使用将可感知的等待时间最小化的基于内插的栓系(tether)技术来实现。参见图7A和7B来获得更多细节。步骤702包括基于当前估计标识视野中的体，其中该体以当前估计为中心或基于当前估计另外定位。参见例如图10。该体可以是诸如包括立方体在内的矩形体之类的3-D体，或球体。当前估计充当高分辨率深度图像中的小的平均体的中心。步骤704包括搜索该体以标识手的位置。在手所覆盖的整个体上有深度(z)值。它们全部可被一起平均，而不是仅仅边缘值。从深度图取局部平均确保了尽管来自跟踪系统的手猜测可能是抖动的，但只要深度图像保持适度地稳定，则产生的手点将是稳定的。步骤706包括取位置的平均来提供手位置的新估计。平均位置可以是作为位于平均体内的深度值的平均值的代表性点。步骤708包括对手位置的新估计执行平滑，类似于步骤700的过程。步骤708的经平滑的值是从步骤706中的位置的新估计得出的值的示例。
由于相机传感器造成深度图像中内在固有某些噪声量，或者操作条件可显著地增加深度图像中的噪声量，因此可能希望进一步的平滑处理来进一步稳定手位置。这可使用与上述类似的基于内插的栓系技术，该技术平滑掉从局部平均产生的任何小噪声。
注意，在该流程图以及其他流程图中提供的步骤并非都是需要的，且所指定的顺序也可在许多情况下改变。
图7B描绘了用于如图7A的步骤700所述地执行平滑的示例方法。步骤710包括确定当前时间处手位置的初始估计与前一时间点处的手位置的位置估计之间的差异Δ，所述当前时间例如来自运动跟踪系统的深度数据的当前帧，所述前一时间点诸如前一帧处。例如，初始估计可由坐标(x(ti)，y(ti)，z(ti))来表示，前一估计可由坐标(x(ti-1)，y(ti-1)，z(ti-1))来表示，其中i是帧索引。该差异可被表示为大小或指示出大小和方向的向量。判定步骤712判断Δ是否小于阈值T。T可以基于诸如手的预期移动范围、帧到帧、人类感知能力、显示器的大小和/或分辨率、以及由应用基于作为控制输入的手移动而提供的显示器上的移动性质等因素来设置。一般来说，小于T的移动被认为是相对小的移动，使得可应用施加了对于用户来说将是可接受的某一等待时间的平滑处理。不小于T的移动被认为是相对大的移动，使得不应该施加平滑处理以避免施加显著的等待时间，或者可应用施加对于用户来说将只是略微明显的某一等待时间的平滑处理。
有可能使T适合于运动捕捉系统的环境。例如，当使用相对较大的显示器时，使用较小的T值可能是合适的，因为给定量的等待时间对于用户来说将是明显的。在给定情形对T的一个值的使用基于Δ＜T还是Δ≥T给出了两个操作规程。还可能使用两个或更多的T值，使得定义三个或更多的操作规程，并且可根据每个规程来调整等待时间。例如，对于T2＞T1，可给出Δ＜T1、T1＜Δ＜T2以及T2＜Δ的规程。
如果在判定步骤712Δ＜T，则步骤714包括提供位于前一时间点处的位置和初始估计之间的手位置的当前估计，使得当前估计落后初始估计。关于进一步细节请参看图9A。如果在判定步骤712Δ≥T，则步骤716包括将当前估计设为与初始估计基本相同。或者，手位置的当前估计可在前一时间点的位置和初始估计之间，如步骤714中，但当前估计比步骤714中更少地落后初始估计。基本相同可指代相等的值、在四舍五入或舍位误差的范围内。关于进一步细节请参看图9B。
等待时间是平滑的负面副作用。平滑是目标，这是隐藏明显的等待时间的策略。新估计对当前或前一估计的接近程度基于比率Δ/T。实际上，当Δ显著小于阈值时，这增加了平滑量。这种动态平滑允许等待时间的负面副作用也基于手移动的速度而动态变化。当做出快速移动时，应用小的平滑或不应用平滑，从而等待时间低。当手相当稳定时，以更高的等待时间应用更多的平滑，但是由于几乎没有手的移动，因此等待时间并非是非常可察觉的。
图7C描绘了用于如图7A的步骤700所述地执行平滑的另一示例方法。步骤720和722分别与图7B的步骤710和712相同。如果在判定步骤722Δ＜T，则步骤724包括提供内插值Interp.＝Δ/T。因为Δ的范围在0和T之间，因此Interp.的范围将介于0和1之间。步骤726包括从关系：初始估计+(Δx Interp.)来提供当前估计，该关系可被表达为：初始估计+Δ2/T。本质上，当前估计可以是Δ的非线性函数。在该示例中，Δ被平方，即升到2次幂。一般来说，Δ可被升到大于1的幂，如Δ1.5。分母应当被修改，使得内插的计算范围从0至1。许多变型是可能的。如果在判定步骤722Δ≥T，则步骤728包括将手位置的当前估计提供为与初始估计基本相同。从而，当Δ小于阈值时，当前估计离初始估计的距离非线性地变化，使得Δ越小它越大，而Δ越大它越小。也就是说，Δ越小，当前估计落后初始估计越多，而Δ越大则落后越少。并且，当前估计离初始估计的距离在Δ接近阈值时接近零。也就是说，当Δ接近阈值时，当前估计接近初始估计。
在该基于内插的栓系技术中，落后点被创建成跟随原始输入点。落后点的位置以类似于依附于诸如初始估计之类的原始输入的弹性栓系的方式被更新。落后点与其与原始输入的距离成比例地朝原始输入移动。如果原始输入远离落后点，则落后点快速向原始输入移动，以适应快速移动。如果原始输入接近落后点，则落后点慢速地向原始输入移动，平滑掉小的抖动移动。该栓系技术的一个实施例是使用原始输入点和落后点之间的线性内插。内插值等于原始输入和落后点之间的距离除以固定的最大距离T。在高速手移动期间，原始输入远离落后点移动，使得内插值接近1，导致计算出的内插点接近原始输入。在慢速移动期间，内插接近零，导致相当固定的计算出的结果。该方法使快速移动期间的观察到的等待时间最小化，同时保持了慢速移动时的强平滑效果。
图7D描绘了用于如图5的步骤504所述地更新手位置的示例方法。这是能够使用试图通过分析深度图来定位手的搜索方法来检测和校正跟踪系统中的大的时间误差的更复杂的实施例。外部跟踪系统所提供的手猜测仅被用于在该更复杂的实施例满足特定准则的情形中重置搜索算法，其中在诸如估计的手位置被直接放在身体两侧、靠近胸前或靠近另一只手时已知该实施例表现差。
步骤730包括标识3-D骨架模型中的一组参考点。参考点可包括例如肩、头或上部躯干上的其他点，如肩之间的线和上部躯干的中心线。这些是可助于确定手的位置的参考点。步骤732包括稳定参考点。例如，这可包括确定某一参考点是否被另一身体部位遮挡，如关于图7E所讨论的。该步骤创建了可被用作参考点来开始搜索的一组稳定的上身点。它可涉及寻找稳定的头部位置、肩部位置和基本身体朝向。对这些关节中的每一个的猜测可由外部跟踪系统提供。可使用试探法来或者平滑或者忽略来自跟踪系统的猜测。在手臂遮挡头部和/或肩部的情况下，跟踪猜测可能是非常不稳定或不可靠的。在这些情况下，可例如通过测量投影相机图像中手臂关节到上身关节的接近程度来检测遮挡。如果按照基于实验或测试的阈值距离所定义的那样，手臂关节接近上身关节，则遮挡状况可能发生。此外，平滑的强度沿每个轴可不一致。例如，沿垂直轴的不稳定性可比横轴或正轴高得多。这些技术的组合可被用于生成稳定的上身点。
而且，在已知用户可能面向相机且肩胛之间的线在很大程度上垂直于相机轴(z轴)的情形中，为了增加的稳定性，迫使该定向约束可能是有用的。肩胛向量被定义为垂直于从肩部中心到相机中心延伸的向量。
步骤734包括定义从参考点开始并延伸到从例如时间ti-1的前一时间点确定的手位置的至少一个向量。关于进一步细节请参看图11A。步骤736包括遍历该至少一个向量，搜索手臂末端。这包括基于相对于所述至少一个向量的距离来对候选位置评分，如进一步关于图11C所讨论的。一旦在步骤732找到了诸如肩之类的稳定参考点，则可从每个肩到每个前一手位置定义手臂搜索向量。如果先前的手位置不可用，则可使用跟踪所提供的原始手猜测。手臂搜索向量定义了手相对于肩的大致方向。从帧到帧，手可能相对接近于它们的前一位置，因此可通过递增地更新搜索向量并沿搜索向量寻找最佳手末端候选来跟踪手。沿搜索向量的末端候选可根据它们沿向量的距离减去它们到向量的垂直距离来评分。这偏向于搜索向量的方向中更远的点，却不利于远远地偏离一端的候选。最大手臂长度也用于限制搜索的距离。当搜索向量生成太接近身体或另外被认为是差的末端结果时，末端可被设为外部跟踪系统所提供的原始手猜测。例如，接近身体可意味着在某一固定距离内，例如5cm，或基于躯干直径或肩宽的度量的距离(例如肩宽的25％)内，或相对于身体的垂直定向的最小角度以下(例如身体的垂直轴的20度以下)。“差”可被定义为太跳跃、超出距离或方向的特定阈值限制之外，或离初始估计太远。
在选择了最终末端猜测之后，可取高分辨率深度图的局部平均来平滑上述的手位置。类似的，可能希望执行最终的基于内插的栓系平滑，以进一步降低手位置中的噪声(步骤744)。步骤744的经平滑的值是从步骤742中的位置的新估计得出的值的示例。
步骤738、740、742和744可分别与图7A中的步骤702、704、706和708相同。
图7E描绘了用于如图7D的步骤732所述地稳定模型的参考点的示例方法。步骤750包括确定身体中的参考点是否被遮挡。参见例如图12A。例如，在步骤752，这可包括测量至少一个手臂关节(如肘或腕)到至少一个上身位置(例如肩、头或上部躯干上的其他点，包括肩胛之间的线和上部躯干的中心线)的接近程度。在步骤754，如果确定参考点被遮挡，则其位置基于3-D骨架模型中未被遮挡的至少一个其他参考点来确定。例如，如果一个肩位置相对于上部躯干的中心线是已知的，则可确定另一个肩位置。
图7F描绘了用于如图5的步骤504所述地更新手位置的另一示例方法。步骤760包括基于第一技术获得新的手位置。判定步骤762确定结果是否令人满意。如果判定步骤762为真，则过程在步骤766结束。如果判定步骤762为假，则步骤764包括基于第二技术获得新的手位置。该方法可被扩展成也使用其他技术。例如，第一技术可以是图7A结合图7B或7C的方法，而第二方法可以是图7D结合图7E的方法。
例如，当搜索方法失败时仅使用外部跟踪猜测作为重置点的策略使得技术对于外部跟踪系统中的时间误差更健壮，反之亦然。该技术仅不能在两种跟踪手位置的方法同时失败时提供合理的手点。给定一可正确地选择或组合多种跟踪处理的输出的管理系统，该方法可被扩展成包括手跟踪的第三或第四方法，进一步减少了失败状况。一般来说，用于在步骤762确定结果何时是令人满意的准则可基于一组已知的准则来定义，该组已知的准则定义了其中算法可在给定先前的测试的情况下表现差的运动或位置范围，例如当手放在身体两侧、接近胸部或接近另一只手时。
图8描绘了如图6的步骤608所述的用户的示例模型。模型800在z方向上面向深度相机，使得所示的截面是x-y平面。注意垂直的是y轴和横向的是x轴。在其他附图中提供了类似的标记法。该模型包括多个参考点，如头802的顶部、头的底部或下巴813、右肩804、右肘806、右腕808、和由例如指尖区域表示的右手810。右侧和左侧是从面向相机的用户观察的角度定义的。这可是手位置的初始估计。手位置810基于手的确定的边缘区域801。然而，如所述，由于噪声或其他因素，在该初始位置确定中可能存在某种误差。区域801和803之间的区域标识手位置的不确定性区域。另一方法是通过手的中心点来表示手位置。该模型包括左肩814、左肘816、左腕818和左手820。还描绘了腰部区域822，以及右髋824、右膝826、右脚828、左髋830、左膝832和左脚834。肩线812是在肩804和814之间的通常为水平的线。也描绘了例如在点822和813之间延伸的上部躯干中心线825。
图9A描绘了用于在初始估计和前一估计之间的差异小于阈值时如图7A的步骤700所述地执行平滑的示例技术。在此，点902表示例如时间ti-1处手位置的前一估计。在本例中，点902是半径为T的球形体的中心，其中T是如先前所讨论的阈值。点810(与图8一致)表示当前时间，即时间ti处的手位置的初始估计。Δ是点810和902之间的差。Δ可以是例如从点902到点810方向上的向量。点904表示手位置的当前估计，它基于内插值落后点810Δx Interp.的距离。落后的量是初始估计和当前估计之间的距离。点904离点902的距离小于点810离点902的距离，且沿着从点902到810的向量。在体900内，随着Δ接近T，内插值接近1。对于Δ≥T，内插值＝1。
图9B描绘了用于在初始估计和前一估计之间的差异大于或等于阈值时如图7A的步骤700所述地执行平滑的示例技术。点902和体900与图9A中的相同。点906表示当前时间，即时间ti处的手位置的替代初始估计。注意，点906在体之外。Δ是点810和906之间的差。Δ可以是例如从点902到点906方向上的向量。点906表示手位置的当前和初始估计两者。这里，Δ≥T，因此内插值＝1。
图10描绘了用于如图7A的步骤704和706所述地提供手位置的新估计的示例技术。体900和点904与图9A一致。一旦获得了点904的当前估计，可定义诸如球体、矩形体或立方体之类的附加体1000，其中点904位于中心。该体被搜索以检测手的存在或不存在。也就是说，对于体中的每个点，作出关于该点是表示自由空间还是身体的模型的某一部位的确定。从而可通过检测模型的一部分和自由空间之间的过渡来在3-D空间中检测边缘。检测到的边缘1002上的示例点由圆圈来表示。点可在3-D中绕被假设为手的身体部分1006延伸。可基于手所覆盖的整个体上的深度值(Z)来取身体部分1006的深度平均值，以获得作为手位置的新估计的点1004。点1004可以是所有边缘区域点的平均。
图11A描绘了如图7D的步骤734所述地定义至少一个向量的示例。3-D模型1100描绘了包括右肩关节1104、右肘关节1106和作为手位置的初始估计的点1110的人的一部分。手的轮廓被描绘成延伸到点1110之外，并且示出了手比实际上大，以说明点1110在表示手的端点时具有某种不准确性。这种不准确性可由噪声、所使用的手检测算法的类型、以及所讨论的其他因素造成。用于提高手位置的准确性的一种技术涉及定义诸如从肩延伸到点1110的向量1112和1114之类的一个或多个向量，点1110是手位置的初始估计。在该示例中，手臂是弯曲的，使得向量1114所表示的前臂以与向量1112所表示的上臂相当不同的方向延伸。对前臂向量1114的使用在该示例中将是足够的。在其他情况中，手臂可相对较直，其中可使用单个向量，例如从肩关节到手位置的初始估计。此外，在对肘的估计是不可用或不可靠的情况下，直接从肩到手的向量在许多情况下可能是足够的。在另一示例中，使用沿着腿，例如从髋到脚或从膝到脚的向量来确定脚位置。
该概念在精炼对手位置的估计时利用了身体的一个或多个参考点，例如肩或肘关节。
图11B描绘了如图7D的步骤736所述地搜索手臂末端的示例。图11A中定义的一个或多个向量被遍历以标识手位置的候选位置以及定义每个候选位置的评分。作为一个简化的示例，每个圆圈代表一经评估的手位置。
每个圆圈代表一经评估的手位置。经评估的手位置可被约束到位于垂直偏离一个或多个向量的某一距离内(如基于手臂厚度的预期范围)，以及在至少一个向量的方向中延伸到手位置的初始估计之外的某一距离内(例如基于手臂长度的预期范围)。每个经评估的手位置被评估以确定它是否是3-D模型的一部分，例如是否存在该点的深度图数据。
开口或白色圆圈代表是3-D模型部分的经评估的手位置，且因此是候选手位置。黑色圆代表不是3-D模型的一部分的经评估的手位置。在该示例中，点1116被确定为具有最高评分的候选手位置，因此成为手位置的新估计。
图11C描绘了如图7D的步骤736所述地对候选位置评分的示例。每个候选手位置可基于其沿至少一个向量的距离以及其垂直离开该至少一个向量的距离来被评分。在一个方法中，评分等于沿该至少一个向量的距离减去离开该至少一个向量的垂直距离。例如，在遍历向量1114时，点1116的评分为d2-d1，其中d2是沿向量1114的距离，即离肘关节1106的距离，d1是垂直于向量1114的距离。该方法偏向沿向量最远且离向量最近的候选点。也可使用其他评分技术，例如相比于垂直于向量的距离，对沿向量的距离提供不同的权重的技术。具有最高评分的位置可被认为是最有可能的手位置。
图12A描绘了如图7E的步骤750所述的，其中身体的参考点被遮挡的用户的模型的示例性正视图。在某些情形中，可被用于精炼手位置的身体模型中的参考点可能被遮挡。例如，作为参考点的肩可被用户抬起的手臂遮挡，这是该示例中的情况。
模型1200在z方向上面向深度相机，使得所示的截面是x-y平面。该模型包括多个参考点，如头1202的顶部、头的底部或下巴1213、右肩1204、右肘1206、右腕1208、和右手1210。点1210可以是手位置的初始估计。该模型包括左肩1214、左肘1216、左腕1218和左手1220。还描绘了腰部区域1222，以及右髋1224、右膝1226、右脚1228、左髋1230、左膝1232和左脚1234。肩线1212是在肩1204和1214之间的通常为水平的线。也描绘了例如在点1222和1213之间延伸的上部躯干中心线1225。如可见，肩1204被用户举起的手臂遮挡。
如关于图11A-11C所讨论的那样，当肩1204被用作参考点来定义用于精炼手位置的一个或多个向量时，肩点1204被遮挡的事实可导致在准确定义其位置时的困难性。在该情况下，用于肩点的稳定化过程涉及使用身体中的其他未被遮挡的参考点来确认和/或定义肩点位置，如关于图12C和12D进一步讨论的那样。
图12B描绘了图12A的模型的侧视图。这里，可看到用户的手举起在身体前部，使得身体的一部分从面向z方向的深度相机看来被遮挡住。注意，在用户前面举起右臂或左臂是向应用提供控制输入的姿势动作中所使用的常见姿态。然而，其他姿态也可导致遮挡。
图12C描绘了图12A的模型的投影相机图像视图。投影相机图像视图是3-D身体模型的2-D视图，示出了身体的参考位置的在平面中的相对位置。图12C的参考位置对应于图12A中相同标号的位置，但是为了清楚起见，身体模型的轮廓被移除。此外，作为示例描绘了离上部躯干中心线1225的若干距离，即：d3(右手1210)、d4(右腕1208、d5(右肩1204-与d5相同)、d5(左肩1214)、d6(右肘1206)、d7(左肘1216)以及d8(左腕1218)。
3-D模型中的一个或多个未遮挡点的位置可用于确定肩点1204的位置。例如，肩点1204可被假设为与肩点1214离中心线1225相同的距离。在某些情况中，可定义从肩点1214到中心线1225延伸的线1212，使得肩点1204被进一步精炼为位于线1212上。
此外，肩点1204被遮挡的可能性可以多种不同的方法来确定，例如通过基于腕1208和肘1206的位置确定右臂的位置。在某些情况中，从中心线到腕1208或肘1206的绝对距离可指示出遮挡。此外，从中心线到另一侧的腕1218或肘1216的距离可与从中心线到腕1208或肘1206的距离进行比较。同样，从中心线到腕1208或肘1206的距离可与从肩1214到中心线1225的近似距离，即d5相比较。各种其他试探法和度量也可用于确定遮挡状况是否存在，以及确定被遮挡的点的位置。也可在确定遮挡状况是否存在以及确定被遮挡的点的位置时使用模型的定向。
图12D描绘了图12A的3-D模型的俯视图。从用户的左肩1214到可穿过头顶点1202的身体中心线的距离d5，以及从用户的左肩1214开始并穿过中心线的线1212可被用于确定右肩1204的位置，这是通过假设它也是离沿线1225的中心线的距离d5(d5＝d5)。在该示例中，用户在-z方向中直接面向相机。然而，如果用户的身体在另一定向中，例如相对于-z轴旋转，则所描述的技术也可被使用。
在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。

Claims (22)

1.一种用于在运动捕捉系统中跟踪用户移动的处理器实现的方法，包括以下处理器实现的步骤：
随时间在运动捕捉系统（10）的视野（6）中跟踪用户的手（810），包括在不同的时间点获得手的3-D深度图像（800）；以及
对于一个时间点：
基于所述跟踪获得视野中手的位置的初始估计（810）；
确定初始估计相对于前一时间点的相应估计（902）的差异（△）；
判断该差异是否小于阈值（T）；
如果该差异小于阈值，则通过将初始估计改变小于所述差异的量（△x Interp.）来提供位置的当前估计（904）；以及
如果该差异不小于阈值，则实质上按照所述初始估计来提供位置的当前估计；
基于所述当前估计，定义视野中的体（1000）；
在该体中搜索3-D深度图像来确定视野中手的位置的新估计（1004）；
至少部分地基于位置的新估计或从位置的新估计得出的值来向代表视野中的手的应用提供控制输入。
2.如权利要求1所述的处理器实现的方法，其特征在于：
当所述差异小于阈值时，所述量被设置成使得所述当前估计在所述差异越小时落后所述初始估计越多，而在所述差异越大时落后所述当前估计越少。
3.如权利要求1或2所述的处理器实现的方法，其特征在于：
当所述差异小于阈值时，所述量被设置成使得所述当前估计随着所述差异接近所述阈值而接近所述初始估计。
4.如权利要求1或2所述的处理器实现的方法，其特征在于，还包括以下，对于所述一个时间点：
确定新估计相对于前一时间点的相应估计的差异；
判断新估计的该差异是否小于所述阈值；
如果新估计的该差异小于所述阈值，则通过将新估计改变小于所述新估计的该差异的量来提供位置的新的当前估计；以及
如果新估计的该差异不小于所述阈值，则实质上按照所述新估计来提供位置的新的当前估计，至少部分地基于该新的当前估计或从该新的当前估计得出的值来向所述应用提供控制输入。
5.如权利要求3所述的处理器实现的方法，其特征在于，还包括以下，对于所述一个时间点：
确定新估计相对于前一时间点的相应估计的差异；
判断新估计的该差异是否小于所述阈值；
如果新估计的该差异小于所述阈值，则通过将新估计改变小于所述新估计的该差异的量来提供位置的新的当前估计；以及
如果新估计的该差异不小于所述阈值，则实质上按照所述新估计来提供位置的新的当前估计，至少部分地基于该新的当前估计或从该新的当前估计得出的值来向所述应用提供控制输入。
6.如权利要求1或2或5所述的处理器实现的方法，其特征在于：
所述搜索包括在体中标识手的边缘的位置，以及确定边缘的位置的平均值。
7.如权利要求3所述的处理器实现的方法，其特征在于：
所述搜索包括在体中标识手的边缘的位置，以及确定边缘的位置的平均值。
8.如权利要求4所述的处理器实现的方法，其特征在于：
所述搜索包括在体中标识手的边缘的位置，以及确定边缘的位置的平均值。
9.如权利要求1、2、5、7-8中的任一项所述的处理器实现的方法，其特征在于，还包括：
在运动捕捉系统（10）的视野（6）中跟踪用户的身体（8），包括获得3-D深度图像以及确定身体的3-D骨架模型（800）；以及
通过标识3-D骨架模型中手的位置（1110）来获得视野中手的位置的初始估计（810）；
其中对于下一时间点，所述获得视野中手的位置的初始估计（810）包括：
标识3-D骨架模型的参考点（1104）；
定义从该下一时间点的该参考点到所述一个时间点的手的位置（1110）的至少一个向量（1112，1114）；
遍历所述至少一个向量以寻找所述下一时间点的最可能的手位置，包括对作为3-D骨架模型部分的候选位置进行评分，评分基于候选位置沿所述至少一个向量的距离（d2）和候选位置垂直离开所述至少一个向量的距离（d1）。
10.如权利要求3所述的处理器实现的方法，其特征在于，还包括：
在运动捕捉系统（10）的视野（6）中跟踪用户的身体（8），包括获得3-D深度图像以及确定身体的3-D骨架模型（800）；以及
通过标识3-D骨架模型中手的位置（1110）来获得视野中手的位置的初始估计（810）；
其中对于下一时间点，所述获得视野中手的位置的初始估计（810）包括：
标识3-D骨架模型的参考点（1104）；
定义从该下一时间点的该参考点到所述一个时间点的手的位置（1110）的至少一个向量（1112，1114）；
遍历所述至少一个向量以寻找所述下一时间点的最可能的手位置，包括对作为3-D骨架模型部分的候选位置进行评分，评分基于候选位置沿所述至少一个向量的距离（d2）和候选位置垂直离开所述至少一个向量的距离（d1）。
11.如权利要求4所述的处理器实现的方法，其特征在于，还包括：
在运动捕捉系统（10）的视野（6）中跟踪用户的身体（8），包括获得3-D深度图像以及确定身体的3-D骨架模型（800）；以及
通过标识3-D骨架模型中手的位置（1110）来获得视野中手的位置的初始估计（810）；
其中对于下一时间点，所述获得视野中手的位置的初始估计（810）包括：
标识3-D骨架模型的参考点（1104）；
定义从该下一时间点的该参考点到所述一个时间点的手的位置（1110）的至少一个向量（1112，1114）；
遍历所述至少一个向量以寻找所述下一时间点的最可能的手位置，包括对作为3-D骨架模型部分的候选位置进行评分，评分基于候选位置沿所述至少一个向量的距离（d2）和候选位置垂直离开所述至少一个向量的距离（d1）。
12.如权利要求6所述的处理器实现的方法，其特征在于，还包括：
在运动捕捉系统（10）的视野（6）中跟踪用户的身体（8），包括获得3-D深度图像以及确定身体的3-D骨架模型（800）；以及
通过标识3-D骨架模型中手的位置（1110）来获得视野中手的位置的初始估计（810）；
其中对于下一时间点，所述获得视野中手的位置的初始估计（810）包括：
标识3-D骨架模型的参考点（1104）；
定义从该下一时间点的该参考点到所述一个时间点的手的位置（1110）的至少一个向量（1112，1114）；
遍历所述至少一个向量以寻找所述下一时间点的最可能的手位置，包括对作为3-D骨架模型部分的候选位置进行评分，评分基于候选位置沿所述至少一个向量的距离（d2）和候选位置垂直离开所述至少一个向量的距离（d1）。
13.如权利要求9所述的处理器实现的方法，其特征在于：
对候选位置评分包括提供一评分，该评分指示出与沿所述至少一个向量的距离越来越大成比例的、且与垂直离开所述至少一个向量的距离越来越小成比例的更可能的位置。
14.如权利要求10-12中任一项所述的处理器实现的方法，其特征在于：
对候选位置评分包括提供一评分，该评分指示出与沿所述至少一个向量的距离越来越大成比例的、且与垂直离开所述至少一个向量的距离越来越小成比例的更可能的位置。
15.如权利要求9所述的处理器实现的方法，其特征在于：
所述3-D骨架模型的参考点是基于从所述3-D骨架模型标识的一组点（804，814）标识的，该组点至少标识所述3-D骨架模型的双肩。
16.如权利要求10-13中任一项所述的处理器实现的方法，其特征在于：
所述3-D骨架模型的参考点是基于从所述3-D骨架模型标识的一组点（804，814）标识的，该组点至少标识所述3-D骨架模型的双肩。
17.如权利要求9所述的处理器实现的方法，其特征在于：
所述3-D骨架模型的参考点是基于从所述3-D骨架模型标识的一组点标识的；以及
所述方法还包括确定所述一组点中的至少一个点（1204）何时可能被遮挡，并且响应于确定所述一组点中的所述至少一个点可能被遮挡，基于所述3-D骨架模型的至少一个其他点（1214）来确定所述至少一个点的位置。
18.如权利要求10-13、15中任一项所述的处理器实现的方法，其特征在于：
所述3-D骨架模型的参考点是基于从所述3-D骨架模型标识的一组点标识的；以及
所述方法还包括确定所述一组点中的至少一个点（1204）何时可能被遮挡，并且响应于确定所述一组点中的所述至少一个点可能被遮挡，基于所述3-D骨架模型的至少一个其他点（1214）来确定所述至少一个点的位置。
19.如权利要求14中任一项所述的处理器实现的方法，其特征在于：
所述3-D骨架模型的参考点是基于从所述3-D骨架模型标识的一组点标识的；以及
所述方法还包括确定所述一组点中的至少一个点（1204）何时可能被遮挡，并且响应于确定所述一组点中的所述至少一个点可能被遮挡，基于所述3-D骨架模型的至少一个其他点（1214）来确定所述至少一个点的位置。
20.如权利要求16中任一项所述的处理器实现的方法，其特征在于：
所述3-D骨架模型的参考点是基于从所述3-D骨架模型标识的一组点标识的；以及
所述方法还包括确定所述一组点中的至少一个点（1204）何时可能被遮挡，并且响应于确定所述一组点中的所述至少一个点可能被遮挡，基于所述3-D骨架模型的至少一个其他点（1214）来确定所述至少一个点的位置。
21.运动捕捉系统中的一种方法，所述方法包括：
随时间在运动捕捉系统（10）的视野（6）中跟踪用户的手（810），包括在不同的时间点获得手的3-D深度图像（800）；以及
对于一个时间点：
基于所述跟踪获得视野中手的位置的初始估计（810）；
确定初始估计相对于前一时间点的相应估计（902）的差异（△）；
判断该差异是否小于阈值（T）；
如果该差异小于阈值，则通过在初始估计上强加一等待时间（△x Interp.）来提供位置的当前估计（904）；
如果该差异不小于阈值，则通过以下之一来提供位置的当前估计（906）：（a）实质上按照初始估计来设置当前估计，以及（b）在所述初始估计上强加比所述差异小于所述阈值时强加在所述初始估计上的所述等待时间小的一等待时间；以及
至少部分地基于位置的当前估计或从位置的当前估计得出的值来向代表视野中的手的应用提供控制输入。
22.运动捕捉系统中的一种系统，所述系统包括：
用于随时间在运动捕捉系统（10）的视野（6）中跟踪用户的手（810），包括在不同的时间点获得手的3-D深度图像（800）的装置；以及
对于一个时间点：
用于基于所述跟踪获得视野中手的位置的初始估计（810）的装置；
用于确定初始估计相对于前一时间点的相应估计（902）的差异（△）的装置；
用于判断该差异是否小于阈值（T）的装置；
用于如果该差异小于阈值，则通过在初始估计上强加一等待时间（△x Interp.）来提供位置的当前估计（904）的装置；
用于如果该差异不小于阈值，则通过以下之一来提供位置的当前估计（906）的装置：（a）实质上按照初始估计来设置当前估计，以及（b）在所述初始估计上强加比所述差异小于所述阈值时强加在所述初始估计上的所述等待时间小的一等待时间；以及
用于至少部分地基于位置的当前估计或从位置的当前估计得出的值来向代表视野中的手的应用提供控制输入的装置。
CN201110112867.2A 2010-04-26 2011-04-25 跟踪系统中的手位置后处理精炼 Active CN102184009B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/767,126 US8351651B2 (en) 2010-04-26 2010-04-26 Hand-location post-process refinement in a tracking system
US12/767,126 2010-04-26

Publications (2)

Publication Number Publication Date
CN102184009A CN102184009A (zh) 2011-09-14
CN102184009B true CN102184009B (zh) 2014-03-19

Family

ID=44570193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110112867.2A Active CN102184009B (zh) 2010-04-26 2011-04-25 跟踪系统中的手位置后处理精炼

Country Status (2)

Country Link
US (2) US8351651B2 (zh)
CN (1) CN102184009B (zh)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7297856B2 (en) * 1996-07-10 2007-11-20 Sitrick David H System and methodology for coordinating musical communication and display
US7989689B2 (en) * 1996-07-10 2011-08-02 Bassilic Technologies Llc Electronic music stand performer subsystems and music communication methodologies
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8964004B2 (en) 2010-06-18 2015-02-24 Amchael Visual Technology Corporation Three channel reflector imaging system
US9789392B1 (en) * 2010-07-09 2017-10-17 Open Invention Network Llc Action or position triggers in a game play mode
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US9665767B2 (en) * 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8648808B2 (en) * 2011-09-19 2014-02-11 Amchael Visual Technology Corp. Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9019352B2 (en) 2011-11-21 2015-04-28 Amchael Visual Technology Corp. Two-parallel-channel reflector with focal length and disparity control
US9704027B1 (en) * 2012-02-27 2017-07-11 Amazon Technologies, Inc. Gesture recognition
US9019603B2 (en) 2012-03-22 2015-04-28 Amchael Visual Technology Corp. Two-parallel-channel reflector with focal length and disparity control
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
JP2013218549A (ja) * 2012-04-10 2013-10-24 Alpine Electronics Inc 電子機器
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US20140007115A1 (en) * 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control
US9557634B2 (en) 2012-07-05 2017-01-31 Amchael Visual Technology Corporation Two-channel reflector based single-lens 2D/3D camera with disparity and convergence angle control
CN103537099B (zh) * 2012-07-09 2016-02-10 深圳泰山在线科技有限公司 跟踪玩具
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
US9152243B2 (en) 2012-08-23 2015-10-06 Qualcomm Incorporated Object tracking using background and foreground models
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
TWI590099B (zh) * 2012-09-27 2017-07-01 緯創資通股份有限公司 互動系統及移動偵測方法
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
US9081413B2 (en) * 2012-11-20 2015-07-14 3M Innovative Properties Company Human interaction system based upon real-time intention detection
JP2014123189A (ja) * 2012-12-20 2014-07-03 Toshiba Corp 物体検出装置、方法およびプログラム
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
TWI515605B (zh) * 2013-01-29 2016-01-01 緯創資通股份有限公司 手勢辨識與控制方法及其裝置
CN109008972A (zh) 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
WO2014131197A1 (en) * 2013-03-01 2014-09-04 Microsoft Corporation Object creation using body gestures
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
US9449392B2 (en) 2013-06-05 2016-09-20 Samsung Electronics Co., Ltd. Estimator training method and pose estimating method using depth image
US9144744B2 (en) 2013-06-10 2015-09-29 Microsoft Corporation Locating and orienting device in space
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150054820A1 (en) * 2013-08-22 2015-02-26 Sony Corporation Natural user interface system with calibration and method of operation thereof
US9721383B1 (en) * 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
TW201510771A (zh) * 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
US10937187B2 (en) 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
AU2013402725B2 (en) 2013-10-07 2018-04-12 Apple Inc. Method and system for providing position or movement information for controlling at least one function of a vehicle
JP6250819B2 (ja) * 2013-10-30 2017-12-20 インテル コーポレイション 画像キャプチャフィードバック
FR3015730B1 (fr) * 2013-12-20 2017-07-21 Thales Sa Procede de detection de personnes et ou d'objets dans un espace
EP3107070B1 (en) * 2014-02-14 2020-04-29 Sony Interactive Entertainment Inc. Information processing device and information processing method
CN106572810A (zh) 2014-03-24 2017-04-19 凯内蒂科尔股份有限公司 去除医学成像扫描的预期运动校正的系统、方法和装置
CN104978554B (zh) * 2014-04-08 2019-02-05 联想(北京)有限公司 信息的处理方法及电子设备
KR20150144179A (ko) 2014-06-16 2015-12-24 삼성전자주식회사 영상에서 대상체 부위의 위치를 추정하기 위한 방법 및 장치
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10368784B2 (en) * 2014-06-23 2019-08-06 Microsoft Technology Licensing, Llc Sensor data damping
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9811721B2 (en) 2014-08-15 2017-11-07 Apple Inc. Three-dimensional hand tracking using depth sequences
CN104463906B (zh) * 2014-11-11 2018-09-28 广东中星电子有限公司 一种物体跟踪装置及其跟踪方法
CN104376100B (zh) * 2014-11-25 2018-12-18 北京智谷睿拓技术服务有限公司 搜索方法及装置
US10362944B2 (en) 2015-01-19 2019-07-30 Samsung Electronics Company, Ltd. Optical detection and analysis of internal body tissues
US9811165B2 (en) 2015-03-11 2017-11-07 Samsung Electronics Co., Ltd. Electronic system with gesture processing mechanism and method of operation thereof
US20170003738A1 (en) * 2015-06-15 2017-01-05 Survios, Inc. Systems and methods for immersive physical interaction with a virtual environment
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10057078B2 (en) 2015-08-21 2018-08-21 Samsung Electronics Company, Ltd. User-configurable interactive region monitoring
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
US10048765B2 (en) 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity
US10033926B2 (en) * 2015-11-06 2018-07-24 Google Llc Depth camera based image stabilization
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US11511156B2 (en) 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
CN105892657A (zh) * 2016-03-30 2016-08-24 联想(北京)有限公司 信息处理方法及电子设备
WO2018022602A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
WO2018022597A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
CN110312471B (zh) 2016-07-25 2022-04-29 脸谱科技有限责任公司 从神经肌肉活动测量中导出控制信号的自适应系统
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
ZA201701187B (en) * 2016-08-10 2019-07-31 Tata Consultancy Services Ltd Systems and methods for identifying body joint locations based on sensor data analysis
US9958951B1 (en) * 2016-09-12 2018-05-01 Meta Company System and method for providing views of virtual content in an augmented reality environment
US20180241927A1 (en) * 2017-02-23 2018-08-23 Motorola Mobility Llc Exposure Metering Based On Depth Map
US10540778B2 (en) * 2017-06-30 2020-01-21 Intel Corporation System for determining anatomical feature orientation
CN107592449B (zh) * 2017-08-09 2020-05-19 Oppo广东移动通信有限公司 三维模型建立方法、装置和移动终端
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10701247B1 (en) 2017-10-23 2020-06-30 Meta View, Inc. Systems and methods to simulate physical objects occluding virtual objects in an interactive space
US10229313B1 (en) 2017-10-23 2019-03-12 Meta Company System and method for identifying and tracking a human hand in an interactive space based on approximated center-lines of digits
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
EP3743790A4 (en) 2018-01-25 2021-03-17 Facebook Technologies, Inc. RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES
WO2019147949A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
EP3742961A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. CALIBRATION TECHNIQUES FOR MODELING A HAND CONDITION USING NEUROMUSCULAR SIGNALS
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3801743B1 (en) 2018-05-25 2024-07-03 Meta Platforms Technologies, LLC Methods and apparatus for providing sub-muscular control
WO2019231911A1 (en) 2018-05-29 2019-12-05 Ctrl-Labs Corporation Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
EP3807795A4 (en) 2018-06-14 2021-08-11 Facebook Technologies, LLC. USER IDENTIFICATION AND AUTHENTICATION BY MEANS OF NEUROMUSCULAR SIGNATURES
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
EP3836836B1 (en) 2018-08-13 2024-03-20 Meta Platforms Technologies, LLC Real-time spike detection and identification
WO2020047429A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
WO2020072915A1 (en) 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
CN111091592B (zh) * 2018-10-24 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质
US10659190B1 (en) * 2019-02-25 2020-05-19 At&T Intellectual Property I, L.P. Optimizing delay-sensitive network-based communications with latency guidance
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
JP7297633B2 (ja) * 2019-10-07 2023-06-26 株式会社東海理化電機製作所 画像処理装置、およびコンピュータプログラム
JP7312079B2 (ja) * 2019-10-07 2023-07-20 株式会社東海理化電機製作所 画像処理装置、およびコンピュータプログラム
US11587361B2 (en) * 2019-11-08 2023-02-21 Wisconsin Alumni Research Foundation Movement monitoring system
US12089953B1 (en) 2019-12-04 2024-09-17 Meta Platforms Technologies, Llc Systems and methods for utilizing intrinsic current noise to measure interface impedances
US11036989B1 (en) * 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
DE102019134253A1 (de) * 2019-12-13 2021-06-17 Hoya Corporation Vorrichtung, Verfahren und computerlesbares Speichermedium zur Erfassung von Objekten in einem Videosignal beruhend auf visuellen Anzeichen unter Verwendung einer Ausgabe eines Maschinenlernmodells
US11763527B2 (en) * 2020-12-31 2023-09-19 Oberon Technologies, Inc. Systems and methods for providing virtual reality environment-based training and certification
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1722071A (zh) * 2004-07-15 2006-01-18 微软公司 用于复合跟踪系统的方法和装置
CN1740950A (zh) * 2005-07-21 2006-03-01 高春平 模块式非手动控制方法及其装置
CN101305401A (zh) * 2005-11-14 2008-11-12 微软公司 用于游戏的立体视频
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法

Family Cites Families (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5802220A (en) 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
AU3283497A (en) 1996-05-08 1997-11-26 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
SE0000850D0 (sv) 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP2005526971A (ja) 2002-04-19 2005-09-08 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 車両安全装置
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
CN101622630B (zh) 2005-01-07 2012-07-04 高通股份有限公司 检测和跟踪图像中的物体
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
JP5038296B2 (ja) 2005-05-17 2012-10-03 クアルコム，インコーポレイテッド 方位感受性信号出力
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US20070047834A1 (en) 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7634108B2 (en) 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
WO2008019698A1 (en) * 2006-08-14 2008-02-21 Cherif Atia Algreatly Motion tracking apparatus and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8325978B2 (en) * 2008-10-30 2012-12-04 Nokia Corporation Method, apparatus and computer program product for providing adaptive gesture analysis
US8379987B2 (en) * 2008-12-30 2013-02-19 Nokia Corporation Method, apparatus and computer program product for providing hand segmentation for gesture analysis
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8373654B2 (en) * 2010-04-29 2013-02-12 Acer Incorporated Image based motion gesture recognition method and system thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1722071A (zh) * 2004-07-15 2006-01-18 微软公司 用于复合跟踪系统的方法和装置
CN1740950A (zh) * 2005-07-21 2006-03-01 高春平 模块式非手动控制方法及其装置
CN101305401A (zh) * 2005-11-14 2008-11-12 微软公司 用于游戏的立体视频
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法

Also Published As

Publication number Publication date
CN102184009A (zh) 2011-09-14
US8351651B2 (en) 2013-01-08
US20130120244A1 (en) 2013-05-16
US20110262002A1 (en) 2011-10-27
US8452051B1 (en) 2013-05-28

Similar Documents

Publication Publication Date Title
CN102184009B (zh) 跟踪系统中的手位置后处理精炼
CN102289815B (zh) 检测多功能传感器设备的运动
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102549619B (zh) 人类跟踪系统
CN102193624B (zh) 用于基于姿势的用户界面的物理交互区
JP6690014B2 (ja) ヘッドマウントディスプレイ追跡
CN103608844B (zh) 全自动动态关节连接的模型校准
CN102129551B (zh) 基于关节跳过的姿势检测
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102129292B (zh) 在运动捕捉系统中识别用户意图
KR101881620B1 (ko) 게임플레이에서의 3차원 환경 모델 사용
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
CN102622774B (zh) 起居室电影创建
CN102609954B (zh) 对人类目标跟踪的确认分析
CN102448562B (zh) 用于跟踪模型的系统和方法
CN102222431B (zh) 用于翻译手语的计算机实现的方法
CN102332090B (zh) 划分在视野内的焦点区域
CN102413885B (zh) 用于对运动捕捉应用模型跟踪的系统和方法
CN102163324B (zh) 深度图像的去混叠
US8542252B2 (en) Target digitization, extraction, and tracking
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
US20100302253A1 (en) Real time retargeting of skeletal data to game avatar
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
CN102194105A (zh) 用于人体跟踪的代表训练数据

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.