CN102129292A - 在运动捕捉系统中识别用户意图 - Google Patents

在运动捕捉系统中识别用户意图 Download PDF

Info

Publication number
CN102129292A
CN102129292A CN2011100249631A CN201110024963A CN102129292A CN 102129292 A CN102129292 A CN 102129292A CN 2011100249631 A CN2011100249631 A CN 2011100249631A CN 201110024963 A CN201110024963 A CN 201110024963A CN 102129292 A CN102129292 A CN 102129292A
Authority
CN
China
Prior art keywords
individual
application
visual field
participate
health
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100249631A
Other languages
English (en)
Other versions
CN102129292B (zh
Inventor
R·马尔科维奇
S·G·拉塔
K·A·盖斯那
J·T·斯蒂德
D·A·贝内特
A·D·万斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102129292A publication Critical patent/CN102129292A/zh
Application granted granted Critical
Publication of CN102129292B publication Critical patent/CN102129292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了在运动捕捉系统中识别用户意图的系统和方法。用于方便在运动捕捉系统中与应用交互的技术允许个人在没有手动设置的情况下容易地开始交互。深度相机系统跟踪物理空间中的个人，并评估该个人参与应用的意图。可评估诸如位置、姿态、移动和语音数据等因素。可评估深度相机的视野中的绝对位置，以及相对于另一个人的位置。姿态可以包括面向深度相机，指示交互意愿。移动可以包括朝向或远离物理空间中的中央区域移动、走过视野、以及当一般站在一个位置时发生的移动，如四周移动一个人的手臂、摆姿势、或将重量从一只脚移到另一只脚。语音数据可包括音量以及由语音识别检测到的单词。

Description

在运动捕捉系统中识别用户意图
技术领域
本发明涉及运动捕捉系统，尤其涉及运动捕捉系统中的用户意图识别。
背景技术
运动捕捉系统获得关于人或其他主体在物理空间中的位置和移动的数据，并可使用该数据作为计算系统中的某一应用的输入。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，人的运动可被映射到三维人类骨架模型并用于创建动画人物或化身。包括使用可见和不可见(例如，红外)光的系统在内的光学系统使用相机来检测视野中的人的存在。可对人放置标记来帮助检测，但也已经开发了无标记系统。某些系统使用由人携带或附带的惯性传感器来检测移动。例如，在某些视频游戏应用中，用户握住可在玩游戏时检测移动的无线控制器。然而，需要允许人与应用更自然地交互的进一步改进。
发明内容
提供了一种用于在使用运动捕捉系统的物理空间中识别用户与应用交互的意图的处理器实现的方法、运动捕捉系统和有形计算机可读存储。
为最大化运动捕捉系统所提供的娱乐或其他体验的可及度，为人们提供了简化的自动化技术来例如通过登录或登出体验以极少或没有显式动作进入并离开该体验。允许个人只需向前走并开始在运动捕捉系统中玩，当完成了玩游戏时走开，并再次返回来从他或她离开的地方继续玩游戏。个人参与或脱离应用的意图基于来自个人的位置、移动、姿态和/或语音数据来确定。此外，也可检测诸如旁观者等在运动捕捉系统的视野中的其他人的意图。
在一个实施例中，提供了一种用于在运动捕捉系统中识别个人参与应用程序的意图的处理器实现的方法。该方法包括在运动捕捉系统的视野中跟踪个人的身体。这种跟踪诸如通过使用骨架模型来标识个人的移动，来区分视野中的个人。基于该跟踪，该方法确定该个人在第一时间不打算参与应用，但在第二时间的确打算参与应用。当个人打算参与应用时，允许他或她参与该应用。采取各种步骤来方便该参与，由此缓解了个人在键盘或其他手动输入设备上提供诸如输入口令和登录用户id等的手动输入的需要。具体地，可自动生成简档和化身并将其与个人相关联。化身可被显示在显示器上的虚拟空间中。显示器在个人通过移动该人的身体来控制化身而参与应用时基于在视野中对该个人的身体的后续跟踪来更新。
提供本概要以用简化形式介绍在下面的说明书中进一步描述的一些概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
图1a和1b描绘了其中用户与模拟拳击比赛的应用交互的运动捕捉系统的一个示例实施例。
图2描绘了图1a的运动捕捉系统10的示例框图。
图3描绘了可以在图1a的运动捕捉系统中使用的计算环境的示例框图。
图4描绘了可以在图1a的运动捕捉系统中使用的计算环境的另一示例框图。
图5描绘了用于允许个人与运动捕捉系统交互的方法。
图6a描绘了用于如图5的步骤500所述地跟踪个人的移动的示例方法。
图6b描绘了如图6a的步骤608所述的个人的示例模型。
图6c描绘了如图6a的步骤608所述的个人的另一示例模型。
图7a描绘了用于如图5的步骤502所述地确定个人是否打算参与应用的示例方法。
图7b描绘了如图7a的步骤700所讨论的，在其中相对于预定义位置来评估个人的位置的视野的示例。
图7c描绘了如图7a的步骤700所讨论的，在其中相对于另一个人来评估个人的位置的视野的示例。
图7d描绘了如图7a的步骤704所讨论的，在其中评估个人的移动的视野的示例。
图8a描绘了用于如图5的步骤504所述地方便个人参与应用的示例方法。
图8b描绘了用于在另一用户当前正在参与应用时如图5的步骤504所述地方便个人参与该应用的示例方法。
图9a描绘了用于如图5的步骤506所述地在参与应用期间监视个人的示例方法。
图9b描绘了用于如图5的步骤506所述地在参与应用期间监视个人的示例方法，其中个人脱离应用然后重新参与该应用。
图9c描绘了用于如图5的步骤506所述地在参与应用期间监视个人并遵循图8b的方法的示例方法，其中玩家在运动捕捉系统的视野中交换位置。
图9d描绘了用于如图5的步骤506所述地在参与应用期间监视个人的示例方法，其中应用的输出基于对不参与应用的另一个人的跟踪来修改。
图9e描绘了用于如图5的步骤506所述地在参与应用期间监视个人的示例方法，其中一个人在参与应用时取代另一个人。
图10a描绘了一个人参与应用，且其他人不参与该应用的示例。
图10b描绘了两个人参与应用，且具有显示器上的虚拟空间的共同视点的示例显示。
图10c描绘了两个人参与应用，且具有显示器上的虚拟空间的不同视点的示例拆分屏幕显示。
图10d描绘了相对于图10c的显示区域的示例拆分屏幕显示，其中当人们在物理空间中交换位置时交换显示区域。
图10e描绘了第一个人使用简档和化身来参与应用的示例显示。
图10f描绘了在图10e之后当第二个人在使用简档和化身参与应用时代替第一个人时的示例显示。
具体实施方式
提供了用于允许一个人或一组人容易地在运动捕捉系统中与应用交互的各种技术。深度相机系统可跟踪物理空间中个人的位置和移动，并评估这些位置和移动来确定该个人是否打算参与应用，例如与应用交互。也可使用来自物理空间的诸如音频输入等附加信息。在某些情况下，相对于视野中的一个或多个其他人来评估个人的移动或位置。此外，提供了用于确定在应用中何时激活对应于个人的化身，以及何时修改显示来反映个人当前是否正在参与应用的技术。当个人在不同的时间参与应用时，存储信息，使得该个人可不丢失连续性地继续参与。例如，在诸如其中个人获得分数或基于他或她在游戏中的进展和花费的时间来获得特定能力的游戏等应用中，个人可以在不丢失先前所作出的进展的情况下继续玩游戏。
图1a和1b描绘了其中个人18与模拟拳击比赛的应用交互的运动捕捉系统10的一个示例实施例。运动捕捉系统10用于识别、分析和/或跟踪诸如个人18(也称为用户或玩家)等人类目标。
如图1a所示，运动捕捉系统10可包括诸如计算机、游戏系统或控制台等计算环境12。计算环境12可包括执行诸如教育和/或娱乐目的等应用的硬件组件和/或软件组件。
运动捕捉系统10还可以包括深度相机系统20。深度相机系统20可以是，例如可用于在视觉上监视诸如个人18等的一个或多个人，从而可以捕捉、分析并跟踪该人所执行的姿势和/或移动，来执行应用中的一个或多个控制命令或动作(如动画化化身或屏幕上人物)的相机，如将在下面更详细地描述的。
运动捕捉系统10可以连接到诸如电视机、监视器、高清电视机(HDTV)等可向用户提供视觉和音频输出的视听设备16。音频输出也可经由单独的设备来提供。为驱动视听设备16，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
个人18可使用深度相机系统20来跟踪，使得该个人的姿势和/或移动被捕捉并用于动画化化身或屏幕上人物，和/或被解释为对计算机环境12所执行的应用的输入控制命令。因此，根据一实施例，用户18可移动他的或她的身体来控制应用和/或动画化化身或屏幕上人物。
作为一个示例，应用可以是其中个人18参与且其中视听设备16向个人18提供拳击对手38的视觉表示的拳击游戏。计算环境12还可使用视听设备16来提供玩家化身40的视觉表示，该视觉表示代表了该个人，并且该个人可用他的或她的身体移动来控制该视觉表示。
例如，如图1b所示，个人18可以在例如该个人站在其中的房间等物理空间中挥出重拳，以便使得玩家化身40在包括拳击台的虚拟空间中挥出重拳。由此，根据一示例实施例，运动捕捉系统10的计算机环境12和深度相机系统20可用于识别并分析物理空间中的个人18的重拳，使得该重拳可被解释为对模拟拳击比赛的应用的输入，以控制虚拟空间中的玩家化身40。
个人18的其他移动也可被解释为其他控制命令或动作，和/或用于动画化玩家化身，如上下快速摆动、闪避、滑步、封堵、用拳猛击或挥动各种不同的重拳的控制命令。此外，某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制命令。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用。由此，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。
个人可在与应用交互时抓握诸如支柱等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用玩家手持球拍的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持诸如塑料剑等玩具武器的运动来控制提供海盗船的应用的虚拟空间中对应的武器。
运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制命令。例如，事实上操作系统和/或应用的任何可控方面可由个人18的移动来控制。
图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。深度相机系统20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。
深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每一像素具有代表距离图像相机组件22的线性距离的相关联的深度值。
图像相机组件22可包括可用于捕捉场景的深度图像的红外(IR)光组件24、三维(3-D)相机26、以及红-绿-蓝(RGB)相机28。例如，在飞行时间分析中，深度相机系统20的IR光组件24可将红外光发射到物理空间上，然后可使用传感器(未示出)，使用例如3-D相机26和/或RGB相机28，来检测来自该物理空间中的一个或多个目标和对象的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的目标或对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。然后可以使用相移来确定从深度相机系统到对象或目标上的特定位置的物理距离。
飞行时间分析也可用于通过经由包括例如快门式光脉冲成像等各种技术来分析反射光束随时间的强度，来间接地确定从深度相机系统20到目标或对象上的特定位置的物理距离。
在另一示例实施例中，深度相机系统20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。
根据另一实施例，深度相机系统20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。
深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收由个人提供的诸如声音等音频信号，来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。
深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令包括例如用于接收深度图像的指令；用于基于深度图像来生成三维像素网格的指令；用于移除包括在三维像素网格中的背景以便隔离与人类目标相关联的一个或多个三维像素的指令；用于确定隔离的人类目标的一个或多个骨端的位置或定位的指令；用于基于一个或多个骨端的位置或定位来调整模型的指令；或任何其他合适的指令，这些将在下文中更详细描述。
深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储3-D相机或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一个实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。
另外，深度相机系统20可经由通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉的图像，和/或可由深度相机系统20生成的骨架模型。计算环境12然后可使用该模型、深度信息和捕捉的图像来控制应用。例如，如图2所示，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可由骨架模型(在用户移动时)执行的姿势的信息。例如，可为以下的每一个提供一姿势过滤器：上举或侧举一条或两条手臂，以圆圈旋转手臂，像鸟一样拍打手臂，向前、向后或向一侧倾斜，跳起来，脚跟抬起踮脚，原地走动，走到视野/物理空间中的不同位置，等等。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。
可将由深度相机系统20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个特定移动。那些移动可与应用的各种控制命令相关联。
计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。
图3描绘了可以在图1a的运动捕捉系统中使用的计算环境的示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。上面参考图1a、1b和2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的1级和2级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时在引导进程初始化阶段加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其它显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线适配器组件中任何一种。
提供系统存储器143来存储在引导进程期间加载的应用程序数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置。应用程序数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。
当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机26和28的图2的深度相机系统20接收附加输入。
图4描绘了可以在图1a的运动捕捉系统中使用的计算环境的另一示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。计算环境220包括计算机241，计算机241通常包括各种有形计算机可读存储介质。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限，图4描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238，从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239，以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252——通常被称为鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可以包括麦克风、游戏杆、游戏手柄、碟形卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)连接。包括相机26和28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机，如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，但是在图4中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，关于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
图5描绘了用于允许个人与运动捕捉系统交互的方法。步骤500包括跟踪运动捕捉系统的视野中的个人的移动和位置。步骤500的进一步细节结合图6a-c来提供。判定步骤502确定该个人是否打算参与应用。步骤502的进一步细节结合图7a-d和10a来提供。一般而言，步骤502可基于一个或多个变量来确定一个人具有指定意图的概率，且在该概率足够高时触发结果动作。
如果该个人不打算参与，则步骤500的跟踪继续。如果判定步骤502为真，则步骤504方便该个人参与应用。步骤504的进一步细节结合图8a、8b和10b-10f来提供。步骤506包括在参与应用期间监视个人。步骤506的进一步细节结合图9a-9d来提供。
例如，图5的方法可确定一个人在第一时间不打算参与应用，如当该个人首次进入视野的时候，但是在稍后的第二时间的确打算参与应用，如当该个人已经在视野中持续了几秒钟的时候。注意，该个人可能在第一时间进入视野时在他或她的脑海中已经有了参与的意图，但因为该个人尚未被观察足够长的时间，因此运动捕捉系统还未能确定该意图。如果应用在第一时间处于非活动模式，则可响应于确定该个人打算参与应用，在第二时间将其设于活动模式。在非活动模式中，可例如通过提供空白屏幕或屏幕保护程序显示，来抑制应用的正常视觉或音频输出，而在活动模式中时，可提供正常视觉或音频输出。
图6a描绘了用于如图5的步骤500所述地跟踪个人的移动的示例方法。该示例方法可以使用例如结合图2-4讨论的深度相机系统20和/或计算环境12、100或220来实现。可以扫描一个或多个人来生成模型，如骨架模型、网格人类模型、或个人的任何其他合适的表示。该模型然后可用于与由计算环境执行的应用交互。进行扫描来生成模型可以在启动或运行应用时发生，或按照所扫描的个人的应用的控制在其他时间发生。
可扫描个人来生成骨架模型，可跟踪该骨架模型使得用户58的物理移动或运动可用作调整和/或控制应用的参数的实时用户接口。例如，所跟踪的个人的移动可用于在电子角色扮演游戏中移动化身或其他屏幕上人物；在电子赛车游戏中控制屏幕上车辆；在虚拟环境中控制物体的构成或组织；或执行应用的任何其他合适的控制。
根据一个实施例，在步骤600，例如从深度相机系统接收深度信息。深度相机系统可以捕捉或观察可包括一个或多个目标的视野。在一示例实施例中，如所讨论的，深度相机系统可使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与捕捉区域中的一个或多个目标相关联的深度信息。如所讨论的，深度信息可包括具有多个所观察的像素的深度图像，其中每一所观察的像素具有所观察的深度值。
深度图像可以被降采样到较低处理分辨率，以使其可被更容易地使用且以更少的计算开销来处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成结合图6b和6c讨论的诸如骨架模型等模型。
在判定步骤604，判定深度图像是否包括人类目标。这可包括对深度图像中的每一目标或对象进行泛色填充，将每一目标或对象与模式进行比较来确定该深度图像是否包括人类目标。例如，可以比较深度图像的所选区域或点中的像素的各种深度值来确定可定义如上所述的目标或对象的边。可基于所确定的边来对Z个层的可能的Z个值进行泛色填充。例如，与所确定的边相关联的像素以及边内的区域的像素可互相关联来定义可与图案进行比较的捕捉区域中的目标或对象，这将在下文中更详细描述。
如果判定步骤604为真，则执行步骤606。如果判定步骤604为假，则在步骤600接收附加深度信息。
对照其来比较每一目标或对象的模式可包括具有共同定义典型的人类身体的一组变量的一个或多个数据结构。与例如视野中的人类目标和非人类目标的像素相关联的信息可以与各变量进行比较来标识人类目标。在一个实施例中，该组中的每一变量可基于身体部位来加权。例如，模式中诸如头和/或肩等各个身体部位可具有与其相关联的、可大于诸如腿等其他身体部位的权重值。根据一个实施例，可在将目标与变量进行比较来确定目标是否以及哪一目标可以是人类时使用权重值。例如，变量与目标之间的具有较大权重值的匹配可产生比具有较小权重值的匹配更大的该目标是人类的可能性。
步骤606包括扫描人类目标来寻找身体部位。可以扫描人类目标来提供与个人的一个或多个身体部位相关联的诸如长度、宽度等度量，以提供该个人的准确模型。在一示例实施例中，可隔离该人类目标，并且可创建该人类目标的位掩模来扫描一个或多个身体部位。该位掩模可通过例如对人类目标进行泛色填充，使得该人类目标可以与捕捉区域元素中的其他目标或对象分离来创建。随后可分析该位掩模来寻找一个或多个身体部位，以生成人类目标的模型，如骨架模型、网格人类模型等。例如，根据一实施例，可使用由所扫描的位掩模确定的度量值来定义结合图6b和6c讨论的骨架模型中的一个或多个关节。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨。
例如，人类目标的位掩模的顶部可以与头的顶部的位置相关联。在确定了头的顶部之后，可以向下扫描该位掩模来随后确定颈的位置、肩的位置等等。例如，在所扫描的位置处的位掩模的宽度可以与和例如颈、肩等相关联的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩模中先前扫描的并与身体部位相关联的位置的距离来确定颈、肩等的位置。诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。在确定了身体部位的值之后，可创建包括身体部位的度量值的数据结构。该数据结构可包括从深度相机系统在不同时间点提供的多个深度图像中平均的扫描结果。
步骤608包括生成人类目标的模型。在一实施例中，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节用于定义可对应于人类的身体部位的一根或多根骨。例如，图6b描绘了如图6a的步骤608中所述的个人的示例模型620，而图6c描绘了如图6a的步骤608中所述的个人的另一示例模型630。
一般而言，每个身体部位可被表征为定义骨架模型的关节和骨骼的数学向量。身体部位可以在关节处相对于彼此移动。例如，前臂段628连接到关节626和629，而上臂段624连接到关节622和626。前臂段628可相对于上臂段624移动。
可调整一个或多个关节，直到这些关节在人类的关节和身体部位之间的典型距离范围之内，以生成更准确的骨架模型。该模型可基于例如与人类目标相关联的高度来进一步调节。
在步骤610，通过每秒若干次更新个人的位置来跟踪该模型。当用户在物理空间中移动时，使用来自深度相机系统的信息来调整骨架模型，使得该骨架模型表示一个人。具体地，可向该骨架模型的一个或多个受力方面施加一个或多个力，来将该骨架模型调整成更接近地对应于物理空间中的人类目标的姿态的姿态。
一般而言，可使用用于跟踪个人的移动的任何已知技术。
图7a描绘了用于如图5的步骤502所述地确定个人是否打算参与应用的示例方法。在确定个人的意图时可以考虑各种因素。可使用一个或多个因素。此外，所提供的因素可指示参与应用的意图，或作为相关但相反的概念的不参与(或脱离)的意图。例如，参与意图的低概率可等价于不参与意图的高概率。可以在诸如几秒等一段时间内频繁地(例如，每秒多次)评估各因素，以获得对个人的意图的更好理解。
步骤700评估视野中，例如诸如房间等物理空间中的个人的位置。例如，图7b描绘了其中相对于预定义位置来评估个人的位置的视野的示例。点700表示深度相机，而线722和724表示视野726的边界。可以定义包括深度相机的光轴或z轴的坐标系，该光轴例如是在其中深度相机看见物理空间的方向的中心延伸的线，其中视野通常围绕该光轴对称。如果深度相机与显示器面朝同一方向，则光轴一般垂直于显示器的平面。可以定义与z轴垂直的横轴(y轴)。第一区729是圆形的，且具有半径r1、周长728、以及沿着z轴的中心点727。第二区731是环状或环形的，具有内半径r1、外半径r2、内周长728、外周长730，且与第一区729同轴并与其相邻。对圆形且同轴的区的使用仅是示例，因为可使用其他形状，如椭圆、矩形、正方形等等。具有中心点734的圆732表示包含其参与应用的意图正被评估的个人的定界圆柱。个人的中心点734离中心点727的距离为r3。定界框或矩形可用作定界圆柱的替换。
例如，个人可以在例如第一区729等其中与应用交互的意图是高度可能的位置，例如区731等其中与应用交互的意图是中等可能的位置，或视野762中的在区729、731外部、其中与应用交互的意图较不可能的位置。基于位置的概率测量因此可以基于个人相对于其中与应用交互的意图是最有可能的位置(例如，区729)的位置来作出。
个人的位置也可相对于视野中当前正在参与应用的另一个人的位置来评估。例如，打算参与应用的个人可以站在已经参与该应用的另一个人旁边，作为例如游戏中的潜在的同队队员或对手。可以确定该个人在视野中正在参与应用的另一个人旁边且在其指定距离内。例如，图7c描绘了其中相对于另一个人来评估个人的位置的视野的示例。此处，具有中心点738的圆736表示包含当前参与应用的个人的定界圆柱，而具有中心点734的圆732表示包含其参与应用的意图正被评估的个人的定界圆柱。轴744平行于y轴，并穿过中心点736。线740和742以相对于轴744的+/-α角穿过中心点738。可以定义在线740和742之间的区域746，在该区域中，认为个人在圆736所表示的人的侧面或与其并排。可以在个人736的另一侧定义相似的区域。d1是从中心点738到中心点734的距离，并且表示由圆736和732描绘的相应个人之间的距离。可以另选地定义作为圆736和732的圆周之间的最小距离的距离。
此处，由圆732表示的个人当在区域746中(例如，在由圆736表示的个人的侧面)时相比由圆732表示的个人不在区域746中时可以有更大的参与意图概率与其相关联。类似地，由圆732表示的个人当在区域746中且离由圆736表示的个人相对接近的距离d1时相比由圆732表示的个人在区域746中且离由圆738表示的个人相对较远的距离可以有更大的参与意图概率与其相关联。
步骤702评估个人的姿态或姿势。例如，如果个人的身体面向深度相机且肩朝向深度相机摆好位置(例如，图10b中的人1022和1024)，则与该人的身体未面向相机，例如肩在另一方向上摆好位置(例如，图10a中的人1026或1028)时相比，该人更有可能打算参与应用。在后一情况下，深度相机看见该人的轮廓。个人坐下(例如，图10a中的人1028)或躺下的姿态类似地不太可能指示参与应用的意图。类似地，将一个人的手臂交叉在胸前的姿态可以表示无参与意图。
作为特定于应用上下文的参与意图的一个示例，考虑与瑜伽练习相关的应用，在这一情况下坐着的姿态可能表示参与意图而非脱离意图。此外，用于确定参与或脱离意图的准则可以基于诸如年龄、性别、身体健全等级或伤残等因素来调整。例如，较慢的人的移动可以是参与意图，而较快的人的移动则不然。
可使用定时器来确定一特定姿态维持多久。较长的持续时间可以与较大的参与或脱离意图相关联。
基于姿态的概率测量因此可以基于个人相对于其中与应用交互的意图最有可能的姿态的姿态来作出。
步骤704评估个人在视野中的移动。例如，如果个人正在视野中快速移动(例如，如图10a中的视野1021中的个人1026所表示的，或对图7d中的圆732所表示的个人在箭头750的方向上)，则该个人有可能只是走过视野而不打算参与应用。或者，如果个人正远离显示器移动(例如，对于图7d中的圆732所表示的个人在箭头752的方向上)，则该用户可能不打算参与应用。此外，如果个人一般在一个位置上但是表现为活动的，如当环绕移动他或她的手臂时(例如，如图10a中的个人1024所表示的)，或者将重量从一只脚移到另一只脚，则这可以与参与应用的较高概率相关联。类似地，如果个人一般在一个位置且表现为非常静止，这可以与参与应用的较低概率相关联。此外，移动和位置因素可以相关，例如，朝向具有较高概率的参与意图的一位置的移动可以是参与意图的较高概率的征兆。
个人所作出的姿势也可被认为是一种形式的移动。例如，用户可以举起他或她的手臂并在深度相机处挥动以指示该个人打算参与。此外，与意图相关的某些姿势可以特定于应用上下文，例如上下文敏感姿势。例如，可以有被预定义为表示了参与或脱离意图的姿势。姿势可以基于移动(例如，在检测到个人的手臂向侧面举起然后放下的情况下)或静态位置(例如，在检测到个人的手臂向侧面举起的情况下)来标识。
基于移动的概率测量可以基于个人相对于其中与应用交互的意图最有可能的移动的移动来作出。
步骤706评估个人的语音数据。一般而言，个人的口声可以包括说出的单词、口哨、叫声和其他话语。也可检测诸如拍手等非口声。可任选地使用方向性话筒来检测从中检测到声音的方向，并将其与所检测的个人的位置相关，以提供个人打算参与应用的概率的更可靠的测量。即使个人在视野外时，语音数据独自也可能足以确定个人的意图。
语音数据的存在可以与个人打算参与应用的增加的概率相关。此外，语音数据的音量或响度可以与个人打算参与应用的增加的概率相关。同样，可以检测言语，使得诸如“开始”或“准备”等命令指示参与应用的意图。由此，对个人打算参与应用的确定可以包括处理个人的语音数据并检测指示参与应用的意图的言语和/或检测指示参与应用的意图的语音音量。
在智力问答(trivia)游戏节目应用中，玩家通常是相对静态的，可能坐在沙发上并回答问题。在这一情况下，对新语音的存在的检测可被评估为新人参加的意图。类似地，在一段时间缺少个人的先前识别的语音可被评估为该现在安静的个人的脱离意图。
基于语音的概率测量可以基于个人相对于其中与应用交互的意图最有可能的语音数据的语音数据来作出。
一旦确定了个人打算参与应用，则如接下来讨论的那样方便该参与。注意，当确定个人打算参与应用时，或在其他适当的时刻，如当脱离时，可以提供适当的状态信息作为反馈。例如，在个人被确定为具有参与应用的意图时可由应用生成诸如门铃声等音频消息，而在个人被确定为具有脱离应用的意图时可由应用生成关门声。
也可在显示器上，诸如在显示器的不显眼侧或底部区域中提供诸如图标等视觉消息。该视觉消息可指示当前参与的人的数量，以及状态的改变，如当个人的参与被延缓(参见图9a)或当个人脱离(参见图9b)的时候。可以提供视觉效果，使得当加入虚拟空间时新化身淡入且正在离开的化身淡出。提供清楚的反馈，使得人们理解他们何时被绑定或未被绑定到应用。如果所有玩家脱离，则应用可被暂停或停用。
图8a描绘了用于如图5的步骤504所述地方便个人参与应用的示例方法。步骤800包括自动生成化身和简档数据。步骤802包括自动将简档和化身与个人相关联。步骤804包括在显示器上显示化身，并且步骤806包括例如实时地基于对个人的后续跟踪来更新显示。如果个人是当前正在参与应用的唯一个人，则应用可从待命状态转换到其中它准备好接收基于用户移动的输入的就绪状态。
个人不必通过任何类型的手动设置过程来参与应用，因此能够在没有延迟的情况下以“只需向前走并玩”方法来开始与应用交互。不需要诸如键盘、鼠标或手持控制器等硬件来开始交互。
自动生成的并与个人相关联的化身可以基于所检测到的个人的特性，如其高度、宽度、骨架模型、来自个人的衣服的RGB色彩数据等等，以及诸如语音语调和音量等可任选的音频特性。或者，可以提供默认的通用化身。个人还可能使用适当的用户界面来修改自动生成的化身。个人不必通过任何类型的手动设置过程来配置化身，并且因此能够使用化身在没有延迟的情况下开始与应用交互。在某些应用中，可在化身探索虚拟空间时修改其外观或其他特征。化身的特征还可与在虚拟空间中获得或丢失的能力(例如，“力量”)有关。在某些情况下，个人使用真实或游戏金钱来为化身购买特征，并且通过化身在虚拟空间中的动作来赢得或输掉特征。简档数据也可包括化身的特征或其他特性。当个人停止参与应用并且稍后返回时，可以访问简档数据来将该个人以及他或她的化身还原到当该个人脱离时存在的状态。
所生成的简档可以包括所检测到的个人的特性，如其高度、宽度、骨架模型、来自个人的衣服的RGB色彩数据等等，以及诸如语音语调和音量等可任选的音频特性。个人可通过将他或她的特性绑定到应用来绑定到应用。一般而言，诸如骨架数据等特性可在个人进入视野中时绑定到个人。简档数据因此可包括个人的标识，包括由深度相机确定的物理特性。
简档数据还可包括表示个人与应用的交互的信息。例如，在游戏应用中，简档数据可以指示个人所达到的分数或进展，以及个人的化身在虚拟空间中的位置。虚拟空间在诸如计算机监视器、电视屏幕等显示器上提供或投影到墙上。虚拟空间可以表示任何真实或想象的室内或室外位置。虚拟空间可包括表示个人且基于所跟踪的个人的移动来移动的化身。化身可以用摄影写实方式来描绘用户，或者化身可以是动物、车辆或其他人物或物体。
任选地，在联网方法中，多个人从不同位置并发地参与应用。例如，第一和第二朋友可分别在他们的家具有单独的第一和第二运动捕捉系统。他们可安排在同一时间开始在虚拟空间中交互。当第一个人通过移动他或她的身体来控制视野中的第一化身而参与应用时，第一运动捕捉系统跟踪第一运动捕捉系统的视野中的第一个人的身体。第一运动捕捉系统还经由网络从第二运动捕捉系统接收数据，在第二个人通过移动他或她的身体来控制虚拟空间中的第二化身而从远程位置参与应用时，第二运动捕捉系统跟踪第二运动捕捉系统的视野中的第二个人的身体。响应于数据，第一应用在显示器上随第一化身一起在虚拟空间中显示第二化身，并且在第二个人继续通过移动他们的身体来控制第二化身而参与应用时更新显示。第二运动捕捉系统可以类似地经由网络从第一运动捕捉系统接收数据，使得第二个人可以在他或她的显示器上同时查看两个化身。由此，两个人都经历相同的音频-视觉输出。
化身和/或虚拟空间的显示可以基于另一个人当前是否参与应用来调整，如接下来讨论的。
图8b描绘了用于在另一用户当前正在参与应用时如图5的步骤504所述地方便个人参与应用的示例方法。在步骤810，确定另一个人当前是否参与应用，且他或她的化身在显示器上。步骤812将简档和化身与新的个人，例如新识别为具有参与应用的意图的个人相关联。在更新显示器来描绘新个人的化身时可能有不同的选项。在一种方法中，在步骤814，化身被显示在显示器的相同区域中，使得它们是从相同的视点来查看的。一个示例在图10b中提供，并在下文中进一步讨论。在另一种方法中，在步骤816，化身被显示在显示器的不同区域中，使得它们是从不同的各自的视点来查看的。一个示例在图10c中提供，并在下文中进一步讨论。
图9a描绘了用于如图5的步骤506所述地在参与期间监视个人的示例方法。当个人在参与应用时会遇到各种情形。例如，由于个人被视野中的另一个人或物体阻挡、个人离开视野、或个人出于某一其他原因而不被检测，个人可能不再被检测到。在用于处理此类情形的示例方法中，判定步骤900确定个人是否不再被检测已持续了一段阈值时间，例如，该段时间可对应于某一数量的检测周期。通常，每秒可以有若干检测周期。适当的阈值时间段可以通过测试来确定。如果判定步骤900为假，则在步骤902，个人继续参与应用。例如，化身可保留在显示器上。
如果判定步骤900为真，则步骤904延缓该个人参与应用。这可包括提供适当的视觉和/或音频消息。另外，个人的化身可被停用，使得它从虚拟空间移除。化身可改为被显示在显示器的单独区域中，指示它是临时不活动的。或者，化身可保留在虚拟空间中，但具有例如变灰的外观，指示它是不活动的，例如以使它不能被移动。在有多个参与的个人且单独的屏幕区域被分配给每一个人(诸如在图10c中)的情况下，延缓可包括更新显示器，使得延缓的个人的屏幕区域被移除(诸如图10b中)。
任选地，判定步骤906确定个人是否被跟踪离开视野。这可例如通过跟踪个人在视野中的移动来确定该个人是否在视野的边界的方向上移动且随后不再能被检测来确定。如果判定步骤906为假，则假定个人仍在视野中，但可能被另一个人或例如一件家具等物体阻挡，且不能被深度相机检测到。在这一情况下，在步骤908，该个人随后被再一次检测。先前被检测到、然后不再被检测到、然后再一次被检测到的同一个人可基于诸如骨架模型等个人的物理特性来标识。
判定步骤912确定该个人是否超时，这意味着参与被延缓了比指定时间段(例如，几分钟)更长的时间。如果判定步骤912为假，在步骤916，则该个人的参与继续而不重新确定参与意图。如前一样，可由应用提供适当的视觉和/或音频消息。参与的继续可包括例如重新激活化身。在有一个或多个其他仍参与的个人的情况下，延缓可包括更新显示器，使得为其参与继续的个人提供单独的屏幕区域(如图10c中)。如果判定步骤912为真，则在步骤914，在个人能再一次参与之前，再次重新确定个人参与应用的意图。由此，该个人被认为是脱离的，直到他或她再次展示了参与意图。
如果判定步骤906为真，则个人已经离开了视野。在这一情况下，当在步骤910个人随后被再一次检测时，在步骤914，在个人能再次参与之前再次重新确定个人参与应用的意图。
图5中的示例指示个人在第一时间，如当首次进入视野中时，不打算参与应用，但是在稍后的第二时间，如几秒之后，的确打算参与应用。在图9b的示例中，个人在第二时间之后，在第三时间打算脱离应用，响应于此，自动存储简档和化身并将其索引到个人的标识符。此外，在第三时间后，个人在第四时间展示出重新参与应用的意图，响应于此，个人基于所存储的简档和化身重新参与应用。
图9b描绘了用于如图5的步骤506所述地在参与应用期间监视个人的示例方法，其中个人脱离应用然后重新参与该应用。在这一情况下，当一个或多个因素指示该个人打算脱离应用时，该个人当前可在视野中被检测到，并且当前参与应用(步骤910)。一般而言，可使用结合图7讨论的相同因素来确定参与或脱离的意图。例如，如果个人在视野中与低参与意图概率相关联，这对应于高脱离意图概率。如果个人具有与低参与意图概率相关联的姿态，这对应于高脱离意图概率。如果个人具有与低参与意图概率相关联的移动，这对应于高脱离意图概率。指示脱离意图的移动包括个人远离显示器走开，将其背转向显示器(同时站着不动或走开)，从参与意图最有可能的位置走开，和/或走向视野的边界然后走出视野。在指定一段时间内缺少来自个人的语音数据也可以与较高的脱离意图概率相关联。
作为特定于应用上下文的脱离意图的一个示例，考虑需要个人在物理空间中大量来回、前后移动的应用。在这一情况下，关于脱离意图的准则可被调整来考虑此类较大的移动。在不需要大量移动的应用中，较大的移动可被认为是脱离意图的征兆。或者，对于与瑜伽练习有关的应用，可能期望坐着的姿态，且该姿态不应被认为是脱离意图的征兆。
步骤912存储被索引到个人的标识符的简档数据和化身数据。标识符可以与个人的物理特性相关联，如高度和宽度，以及骨架模型、可以基于音调和其他因素与特定个人相关联的语音数据、诸如衣服颜色等色彩数据、等等。个人还可说出诸如“再见”或“停”等识别的命令。某一时间之后，步骤914确定该个人打算重新参与应用。步骤916访问所存储的简档和化身数据，因此该个人可以在他或她在脱离时所离开的相同的地方重新参与应用，来维持个人体验的连续性。
图9c描绘了用于如图5的步骤506所述地在参与应用期间监视个人并遵循图8b的方法的示例方法，其中玩家在运动捕捉系统的视野中交换位置。判定步骤920确定玩家是否在视野中交换位置。如果是，则在步骤922，也交换个人专用显示区域。例如，如图10c所描绘的，显示器1004的区域1005提供了个人1022的化身1023，而显示器1004的区域1006提供了个人1024的化身1025。由此，显示区域与物理空间中的人相对应地定位，左侧的显示区域用于左侧的人，而右侧的显示区域用于右侧的人。当与应用交互时，人们可以交换位置，例如从右到左和从左到右。例如，某些应用涉及人们在物理空间中的大量移动，从而不维持固定位置。个人因此可以自然地在物理空间中侧向移动。在某些情况下，一个人阻挡另一个人对显示器的查看，使得被阻挡的人侧向移动并交换位置。
如果个人1022和1024交换位置使得个人1024在左侧而个人1022在右侧，如图10d所描绘的，则显示区域1005和1006相应地交换，显示区域1005移向右手侧而显示区域1006移向左手侧。
一般而言，可以自动提供从单个显示区域到两个或更多显示区域的转换，以及反向的转换。注意，涉及两个以上显示区域的转换也是可能的。例如，当具有其自己的显示区域的两个玩家因第三个玩家而相连时，从两个显示区域到三个显示区域的转换是可能的。每一显示区域可以与物理空间中玩家的位置相对应地定位。此外，可能垂直地堆叠显示区域，一个显示区域在另一个上。例如，一个玩家可能因站在视野中较高的表面上而比另一玩家高，使得用于较高玩家的显示区域在用于较低玩家的显示区域上方提供。
应小心避免显示区域数量太过频繁的变化，或太过频繁地交换显示区域。在一次变化之后，可设置最小时间来允许另一变化。在某些情况下，参与的个人可以被另一参与的个人或旁观者临时阻挡，且因此不能被跟踪。在此类情况下出于连续性考虑，显示区域应尽可能自然地继续响应。
图9d描绘了用于如图5的步骤506所述地在参与应用期间监视个人的示例方法，其中应用的输出基于对不参与应用的另一个人的跟踪来修改。除了跟踪个人来确定他们是否打算参与应用之外，还可能确定视野中的其他人的意图并向应用提供对应的输入。例如，一个或多个人可以在视野中作为旁观者来观看另一个人参与应用，如为他或她加油。步骤930包括跟踪视野中当前未参与应用，例如未控制显示器上的虚拟空间中的化身的其他人。判定步骤932确定该其他人是否具有对应用增加的兴趣。这可以使用包括结合图7a讨论的各种因素来确定。此外，也可检测与感兴趣的旁观者会执行的动作有关的其他因素。例如，可检测一个或多个人在参与的人的后面或侧面某一距离处。该一个或多个人可执行诸如站起来或将其手臂举过头来欢呼，或发出响亮的欢呼声等动作。
如果判定步骤932为假，则步骤930的跟踪继续。如果判定步骤932为真，则步骤934修改应用的视觉和/或听觉输出。例如，在其中个人的化身正在奔跑或驾驶的应用中，对观众为个人加油的适当响应可以是向化身提供增强的能力，如突然加速或播放更响、更快步调的背景音乐来增强娱乐体验。
一个示例场景包括跟踪运动捕捉系统的视野中的第一个人(已经参与了应用)的移动，包括区分视野中的第一个人的身体，其中该第一个人通过移动第一个人的身体来控制显示器上的虚拟空间中的化身来与应用交互。在跟踪第一个人的移动时，步骤930涉及跟踪视野中未参与应用且未控制显示器上的虚拟空间中的化身的至少一个其他人。当在判定步骤932，对该至少一个其他人的跟踪指示满足关于该至少一个其他人的行为的预定义准则时，在步骤934，修改应用的视觉和/或听觉输出。该预定义准则可以包括该至少一个其他人以指示对应用的增加级别的兴趣的方式移动(例如，站起来，举起手臂)，或发出指示对应用程序的增加的兴趣的声音(例如，欢呼，拍手)。
图9e描绘了用于如图5的步骤506所述地在参与应用期间监视个人的示例方法，其中一个人在参与应用时取代另一个人。在步骤940，第一个人使用简档和化身来参与应用。在步骤942，第二个人具有参与意图且第一个人具有脱离意图。在步骤944，第二个人使用与第一个人使用的相同的简档和化身来参与应用。在这一情况下，对虚拟空间中处于同一状态的化身的控制由第二个人接管。例如，在游戏应用中，第一个人所达到的相同的分数或进展级别被移交给第二个人以维持连续性。这与为第二个人使用不同的化身和简档形成对比。还可能为第二个人提供新的化身，同时维持诸如分数或进展级别等其他简档数据的连续性。另一可能性是维持新化身的连续性但使用不同的简档数据。例如，第二个人能以重置的分数开始新游戏，但使用与第一个人相同的化身。
例如，参考图10e，个人1024正在通过控制显示器1040上的化身1042来参与应用(例如，个人1024举起左臂，且化身1042举起对应的手臂)。作为一个示例，化身具有不与个人1024的特定形状对应的通用外观。第二个人1022朝向视野的背面站立，指示不参与的意图。在图10f中，第一个人1024向后移动，指示脱离意图，且第二个人向前移动，指示参与意图，使得第二个人的移动现在用于控制显示器1050中的化身1042(例如，个人1022举起右臂，且化身1042举起对应的手臂)。
在该示例中，一次只有一个参与的玩家，且发生玩家取代。在另一示例中，一次有多个参与的玩家，且对一个或多个玩家发生玩家取代。
应用本身也可以是确定个人参与意图的因素。例如，在单玩家应用中，新化身不能与现有化身相连。为使第二个人能取代第一个人，可能需要第二个人的可能更强、可能性更大的参与意图，以及第一个人的更强的脱离意图。在某些情况下，第二个人可具有强参与意图，但只要第一个人没有脱离意图就忽略该参与意图。
图10a描绘了一个人参与应用，且其他人不参与应用的示例。如先前所讨论的，视野中的人不一定打算参与应用。此外，视野外的人可能打算参与应用。然而，该意图在个人在视野中之前可能无法从个人的图像数据中确定。在这一情况下，可能使用音频数据来确定意图。
显示器1000提供了其中化身1025站在路1008上的虚拟世界的示例。化身1025具有对应于个人1024的形状的形状。提供了具有代表性透镜1012的深度相机系统1010，以及在虚线1019和1020之间的对应的视野1021。一个人1022在视野外，且因此无法由深度相机系统1010在视觉上检测到。另一个人1028坐在椅子1030中。另一个人1024面向深度相机系统站着。另一个人1026走过视野。基于先前讨论的各种考虑事项，个人1022基于他或她的位置在视野外可能不被认为具有参与应用的意图，且可能甚至不被识别为存在。个人1028类似地基于他或她的位置(朝向视野1021的背面和侧面)以及姿态(坐着的姿态)，且身体轮廓面向深度相机系统，可能不被认为具有参与应用的意图。
个人1024基于他或她的位置(在视野1021的中央)以及姿态(面向深度相机系统且肩膀摆好姿势)和移动(将一条手臂向外侧举起)可能被认为具有参与应用的意图。当个人1024参与时，化身1025的移动可由应用与个人1024的移动相对应地设置。
个人1026基于他或她的位置(朝向视野1021的一侧)、姿态(身体没有面向深度相机系统)以及移动(个人移过视野且朝向视野的边界1020移动)可能不被认为具有参与应用的意图。
注意，深度相机系统和/或相关联的计算环境可以重复地，例如每秒多次，确定一个或多个个人的意图，从而可快速地检测适当的变化且相应地调整应用。可使用过滤和平均来平滑结果，例如避免太过频繁的变化。
图10b描绘了两个人参与应用，且具有显示器上的虚拟空间的共同视点的示例。在显示器1002中，来自图10a的个人1024与先前在视野外的个人1022相连。基于先前讨论的各种因素，个人1022被确定为具有参与应用的意图。结果，在显示器1002上靠着个人1024的化身1025提供对应的化身1023。在这一情况下，显示器向个人1022和1024提供虚拟空间的公共视点，如先前结合图8b的步骤814所讨论的。
图10c描绘了两个人参与应用，且具有显示器上的虚拟空间的不同视点的示例拆分屏幕显示。如先前结合图8b的步骤816所讨论的，在显示器1004中，为化身1023和1025提供单独的显示区域1005和1006，且在每一显示区域中从不同的视点或相机角度来查看虚拟空间。例如，显示区域1006的视点大约与图10b中的相同。然而，显示区域1005的视点与图10b的显示区域1002有很大的不同。注意，化身1023和1025仍在同一虚拟空间中。例如，他们两个都站在路1008上。然而，显示区域1005的视点看向路的侧面，那里在山上有房子1007，而显示区域1006的视点继续向下看着路。
任选地，显示区域可在各自的显示区域中提供完全不同的虚拟空间或间隔的场景。显示区域甚至可提供不同应用的虚拟空间。
如所讨论的，显示区域1005和1006的相对位置可以对应于个人1022和1024的相对位置。另一选项是基于个人进入视野的方向来为个人提供显示区域。例如，个人1022可从左手侧进入视野，在这一情况下提供图10c的配置。
图10d描绘了相对于图10c的显示区域的示例拆分屏幕显示，其中当人们在物理空间中交换位置时交换显示区域。如先前结合图9c所讨论的，当个人1022从个人1024的左手侧移到右手侧时，相应地交换显示区域1005和1006。这使得人们甚至在他们在视野中移动时也容易地参与应用，因为他们在物理上更靠近他们正在交互的显示区域且与其对准。
图10a-f提供了在运动捕捉系统的视野中跟踪的人的身体的示例，其中跟踪包括区分视野中的个人的身体。
在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种用于在运动捕捉系统中识别个人参与应用的意图的处理器实现的方法，包括以下处理器实现的步骤：
跟踪所述运动捕捉系统的视野中的所述个人的身体，所述跟踪包括区分所述视野中的所述个人的身体；
基于所述跟踪，确定所述个人在第一时间不打算参与所述应用；
基于所述跟踪，确定所述个人在第二时间打算参与所述应用；以及
响应于确定所述个人打算参与所述应用，通过在所述应用中将简档和化身自动与所述个人相关联，在显示器上的虚拟空间中显示所述化身，并且在所述个人通过移动所述个人的身体来控制所述化身从而参与所述应用时基于对所述视野中的所述个人的身体的后续跟踪来更新所述显示器，来允许所述个人参与所述应用。
2.如权利要求1所述的处理器实现的方法，其特征在于，发起了所述个人对所述应用的参与之后：
当在短于指定时间段的时间段内在所述视野中未检测到所述个人的身体，且随后再一次在所述视野中检测到所述个人的身体时，允许所述个人继续参与所述应用而无需再一次确定所述个人参与所述应用的意图；以及
当在长于所述指定时间段的时间段内在所述视野中未检测到所述个人的身体，且随后再一次在所述视野中检测到所述个人的身体时，不允许所述个人继续参与所述应用，直到再一次确定所述个人打算参与所述应用。
3.如权利要求2所述的处理器实现的方法，其特征在于：
所述指定时间段是基于所述个人的身体是否已被检测到离开所述视野来设置的。
4.如权利要求1到3中任一项所述的处理器实现的方法，其特征在于：
所述应用在所述第一时间处于非活动模式，且响应于确定所述个人打算参与所述应用，在所述第二时间将所述应用设为活动模式。
5.如权利要求1到4中的任一项所述的处理器实现的方法，其特征在于，还包括基于对所述视野中的所述个人的身体的后续跟踪：
确定在所述第二时间之后，在第三时间所述个人打算脱离所述应用，响应于此，自动存储所述简档和化身并将其索引到所述个人的标识符；以及
确定在所述第三时间后，所述个人在第四时间展示出重新参与所述应用的意图，响应于此，所述个人基于所存储的简档和化身重新参与所述应用。
6.如权利要求5所述的处理器实现的方法，其特征在于：
所述简档指示所述个人在玩游戏时的进展，且所述个人的进展在所述个人重新参与所述应用时被维持。
7.如权利要求1到6中任一项所述的处理器实现的方法，其特征在于：
所述确定所述个人打算参与所述应用包括确定所述个人的身体摆好姿势且面向所述运动捕捉系统中的相机。
8.如权利要求1到7中任一项所述的处理器实现的方法，其特征在于：
所述确定所述个人打算参与所述应用包括处理所述个人的语音数据以及以下的至少一个：检测指示参与所述应用的意图的言语，检测指示参与所述应用的意图的语音音量。
9.如权利要求1到8中任一项所述的处理器实现的方法，其特征在于：
所述确定所述个人打算参与所述应用包括确定所述个人的身体在所述视野中正在参与所述应用的另一个人的侧面且与所述另一个人在指定距离内。
10.如权利要求1到9中任一项所述的处理器实现的方法，其特征在于，还包括：
经由网络从另一运动捕捉系统接收数据，当所述另一个人通过移动所述另一个人的身体来控制所述虚拟空间中的另一化身来从远程位置参与所述应用时，所述另一运动捕捉系统跟踪所述另一运动捕捉系统的视野中的所述另一个人的身体；以及
响应于所述数据，在所述显示器的虚拟空间中与被确定为打算参与所述应用的所述个人的化身一起显示所述另一化身，且在所述另一个人通过移动所述另一个人的身体来控制所述另一化身来参与所述应用时更新所述显示器。
11.一种其上包含有用于对至少一个处理器编程来执行如权利要求1所述的方法的计算机可读软件的有形计算机可读存储。
12.一种运动捕捉系统，包括：
具有视野的深度相机系统；
显示器；以及
与所述深度相机系统和所述显示器通信的至少一个处理器，其中所述至少一个处理器为了在所述运动捕捉系统中识别个人参与应用的意图：(a)跟踪所述运动捕捉系统的视野中的所述个人的身体，所述跟踪包括区分所述视野中的所述个人的身体，(b)基于所述跟踪，确定所述个人在第一时间不打算参与所述应用，(c)基于所述跟踪，确定所述个人在第二时间打算参与所述应用，以及(d)响应于确定所述个人打算参与所述应用，通过在所述应用中自动将简档和化身与所述个人相关联，在显示器上的虚拟空间中显示所述化身，以及当所述个人通过移动所述个人的身体来控制所述化身而参与所述应用时基于对所述视野中的所述个人的身体的后续跟踪来更新所述显示器，来允许所述个人参与所述应用。
13.如权利要求12所述的运动捕捉系统，其特征在于，在发起了所述个人对所述应用程序的参与之后：
当在短于指定时间段的时间段内在所述视野中未检测到所述个人的身体，且随后再一次在所述视野中检测到所述个人的身体时，所述至少一个处理器允许所述个人继续参与所述应用而无需再一次确定所述个人参与所述应用的意图；以及
当在长于所述指定时间段的时间段内在所述视野中未检测到所述个人的身体，且随后再一次在所述视野中检测到所述个人的身体时，所述至少一个处理器不允许所述个人继续参与所述应用，直到再一次确定所述个人打算参与所述应用。
14.如权利要求12或13所述的运动捕捉系统，其特征在于，基于对所述视野中的所述个人的身体的后续跟踪，所述至少一个处理器：
确定在所述第二时间之后，在第三时间所述个人打算脱离所述应用，响应于此，自动存储所述简档和化身并索引到所述个人的标识符；以及
确定在所述第三时间后，所述个人在第四时间展示出重新参与所述应用的意图，响应于此，所述个人基于所存储的简档和化身重新参与所述应用。
15.如权利要求12到14中的任一项所述的运动捕捉系统，其特征在于：
为了确定所述个人打算参与所述应用，所述至少一个处理器处理所述个人的语音数据，并执行以下的至少一个：检测指示参与所述应用的意图的言语，检测指示参与所述应用的意图的语音音量。
CN201110024963.1A 2010-01-15 2011-01-14 在运动捕捉系统中识别用户意图 Active CN102129292B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/688,808 US8334842B2 (en) 2010-01-15 2010-01-15 Recognizing user intent in motion capture system
US12/688,808 2010-01-15

Publications (2)

Publication Number Publication Date
CN102129292A true CN102129292A (zh) 2011-07-20
CN102129292B CN102129292B (zh) 2014-05-14

Family

ID=44267400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110024963.1A Active CN102129292B (zh) 2010-01-15 2011-01-14 在运动捕捉系统中识别用户意图

Country Status (8)

Country Link
US (2) US8334842B2 (zh)
EP (1) EP2524350B1 (zh)
JP (1) JP5819856B2 (zh)
KR (1) KR101741864B1 (zh)
CN (1) CN102129292B (zh)
CA (1) CA2786683C (zh)
HK (1) HK1176448A1 (zh)
WO (1) WO2011087890A2 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722253A (zh) * 2011-09-12 2012-10-10 黄得锋 一种静式人机互动的控制方法及其运用
CN103092399A (zh) * 2011-11-01 2013-05-08 索尼公司 信息处理设备，信息处理方法和程序
CN103279188A (zh) * 2013-05-29 2013-09-04 山东大学 一种基于Kinect无接触性操作控制PPT的方法
CN103472920A (zh) * 2013-09-13 2013-12-25 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN103688232A (zh) * 2011-09-15 2014-03-26 欧姆龙株式会社 姿势识别装置及其控制方法、程序、电子设备及记录介质
CN105122353A (zh) * 2013-05-20 2015-12-02 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互
CN105718052A (zh) * 2016-01-18 2016-06-29 京东方科技集团股份有限公司 一种纠正体感交互追踪失败的指示方法及装置
CN105765488A (zh) * 2013-11-19 2016-07-13 微软技术许可有限责任公司 虚拟环境的运动控制
CN103472920B (zh) * 2013-09-13 2016-11-30 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN108205373A (zh) * 2017-12-25 2018-06-26 北京致臻智造科技有限公司 一种交互方法及系统
CN108375958A (zh) * 2018-01-15 2018-08-07 珠海格力电器股份有限公司 一种电器系统
CN109582124A (zh) * 2017-09-29 2019-04-05 株式会社日立制作所 姿势推定系统、姿势推定装置以及距离图像照相机
CN110833697A (zh) * 2018-08-16 2020-02-25 潘小亮 区块链计时式船体控制方法
CN112585667A (zh) * 2018-05-16 2021-03-30 康耐克斯数字有限责任公司 智能平台柜台展示系统和方法
CN113299416A (zh) * 2021-04-29 2021-08-24 中核核电运行管理有限公司 一种核电厂操作人员操作意图智能识别系统及方法

Families Citing this family (336)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6630800A (en) 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8355919B2 (en) 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8396714B2 (en) 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US20110181587A1 (en) * 2010-01-22 2011-07-28 Sony Corporation Image display device having imaging device
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
EP4053760A1 (en) 2010-04-09 2022-09-07 Zoll Medical Corporation Systems and methods for ems device communications interface
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8858333B2 (en) * 2011-04-01 2014-10-14 Electronic Arts, Inc. Method and system for media control
US9619018B2 (en) * 2011-05-23 2017-04-11 Hewlett-Packard Development Company, L.P. Multimodal interactions based on body postures
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US9207767B2 (en) * 2011-06-29 2015-12-08 International Business Machines Corporation Guide mode for gesture spaces
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
JP2013065112A (ja) * 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
US20130070056A1 (en) * 2011-09-20 2013-03-21 Nexus Environmental, LLC Method and apparatus to monitor and control workflow
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9152376B2 (en) * 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
WO2013095679A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013095677A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US10702773B2 (en) * 2012-03-30 2020-07-07 Videx, Inc. Systems and methods for providing an interactive avatar
US9098186B1 (en) 2012-04-05 2015-08-04 Amazon Technologies, Inc. Straight line gesture recognition and rendering
US9373049B1 (en) * 2012-04-05 2016-06-21 Amazon Technologies, Inc. Straight line gesture recognition and rendering
WO2013170428A1 (en) * 2012-05-14 2013-11-21 Nokia Corporation Method and apparatus for determining context-aware similarity
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US9690465B2 (en) * 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US10019994B2 (en) 2012-06-08 2018-07-10 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
CN104995638A (zh) * 2012-09-28 2015-10-21 卓尔医学产品公司 在ems环境中用于三维交互监视的系统和方法
US20140122086A1 (en) * 2012-10-26 2014-05-01 Microsoft Corporation Augmenting speech recognition with depth imaging
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US9571816B2 (en) 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US9081413B2 (en) * 2012-11-20 2015-07-14 3M Innovative Properties Company Human interaction system based upon real-time intention detection
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
US8924735B2 (en) 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
US9754154B2 (en) 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN105190607B (zh) 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
CN112230878B (zh) 2013-03-15 2024-09-27 苹果公司 对中断进行上下文相关处理
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
US20140358691A1 (en) * 2013-06-03 2014-12-04 Cloudwear, Inc. System for selecting and receiving primary and supplemental advertiser information using a wearable-computing device
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP2014238792A (ja) * 2013-06-10 2014-12-18 長崎県公立大学法人 学習支援装置および学習支援方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9438576B2 (en) * 2013-06-12 2016-09-06 Luiz M Franca-Neto Apparatus and method for validation and authorization of device and user by global positioning and non-prompted exchange of information
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
US10474961B2 (en) 2013-06-20 2019-11-12 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on prompting for additional user input
US9594542B2 (en) 2013-06-20 2017-03-14 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on training by third-party developers
US10083009B2 (en) 2013-06-20 2018-09-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system planning
US9633317B2 (en) 2013-06-20 2017-04-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on a natural language intent interpreter
US20150002768A1 (en) * 2013-06-26 2015-01-01 3M Innovative Properties Company Method and apparatus to control object visibility with switchable glass and photo-taking intention detection
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
KR102077108B1 (ko) * 2013-09-13 2020-02-14 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
WO2015047242A1 (en) * 2013-09-25 2015-04-02 Schneider Electric Buildings Llc Method and device for adjusting a set point
KR102224715B1 (ko) * 2013-10-14 2021-03-09 삼성전자주식회사 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR102158751B1 (ko) 2014-03-18 2020-09-22 에스케이플래닛 주식회사 사용자 장치, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US20160078287A1 (en) * 2014-08-29 2016-03-17 Konica Minola Laboratory U.S.A., Inc. Method and system of temporal segmentation for gesture analysis
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
JP6464635B2 (ja) 2014-09-26 2019-02-06 株式会社リコー 画像処理装置、画像処理装置の制御方法、及びプログラム
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
CN104268285B (zh) * 2014-10-21 2018-06-12 厦门大学 一种基于动态弯曲算法的运动捕捉数据库检索方法
CN104318218A (zh) * 2014-10-29 2015-01-28 百度在线网络技术（北京）有限公司 图像识别方法和装置
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US11119565B2 (en) * 2015-01-19 2021-09-14 Samsung Electronics Company, Ltd. Optical detection and analysis of bone
KR101655159B1 (ko) * 2015-02-04 2016-09-22 한국기술교육대학교 산학협력단 사용자의 ３차원 아바타 구현 시스템 및 방법
KR20160096473A (ko) 2015-02-05 2016-08-16 한국전자통신연구원 동작 평가 시스템 및 방법
US9977565B2 (en) 2015-02-09 2018-05-22 Leapfrog Enterprises, Inc. Interactive educational system with light emitting controller
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
CN106157955A (zh) 2015-03-30 2016-11-23 阿里巴巴集团控股有限公司 一种语音控制方法及装置
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
KR101699930B1 (ko) * 2015-06-03 2017-01-25 재단법인 실감교류인체감응솔루션연구단 아바타 동작 생성 방법 및 장치
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US20170053190A1 (en) * 2015-08-20 2017-02-23 Elwha Llc Detecting and classifying people observing a person
EP3139247A1 (en) * 2015-09-03 2017-03-08 Siemens Aktiengesellschaft Method of and system for performing buyoff operations in a computer-managed production facility
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
JP2017093803A (ja) * 2015-11-24 2017-06-01 富士通株式会社 評価プログラム、評価方法及び評価装置
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
KR101876543B1 (ko) * 2016-03-21 2018-07-09 한국전자통신연구원 탑뷰 영상 기반 인체 포즈 추정 장치 및 방법
WO2017180688A1 (en) 2016-04-15 2017-10-19 Spectrum Brands, Inc. Wireless lockset with integrated angle of arrival (aoa) detection
US10474947B2 (en) 2016-05-26 2019-11-12 Asustek Computer Inc. Control method, electronic device and non-transitory computer readable storage medium
CN107436682A (zh) * 2016-05-26 2017-12-05 华硕电脑股份有限公司 控制方法、电子装置及非瞬时电脑可读取记录媒体
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US11896368B2 (en) 2016-08-31 2024-02-13 Apple Inc. Systems and methods for determining swimming metrics
BR112019003561B1 (pt) 2016-08-31 2022-11-22 Apple Inc Sistema e método para melhorar uma exatidão de um dispositivo para ser usado junto ao corpo e determinar um movimento do braço de um usuário
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11071915B2 (en) * 2016-09-30 2021-07-27 Sony Interactive Entertainment Inc. Delivery of spectator feedback content to virtual reality environments provided by head mounted display
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10699461B2 (en) * 2016-12-20 2020-06-30 Sony Interactive Entertainment LLC Telepresence of multiple users in interactive virtual space
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
JP6812803B2 (ja) * 2017-01-12 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6712555B2 (ja) * 2017-03-07 2020-06-24 Kddi株式会社 オブジェクト姿勢推定方法、プログラムおよび装置
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180329486A1 (en) * 2017-05-14 2018-11-15 Phillip Lucas Williams System of Avatar Management within Virtual Reality Environments
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US11051720B2 (en) 2017-06-01 2021-07-06 Apple Inc. Fitness tracking for constrained-arm usage
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US20190079591A1 (en) * 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10867623B2 (en) 2017-11-14 2020-12-15 Thomas STACHURA Secure and private processing of gestures via video input
US10872607B2 (en) 2017-11-14 2020-12-22 Thomas STACHURA Information choice and security via a decoupled router with an always listening assistant device
US10999733B2 (en) 2017-11-14 2021-05-04 Thomas STACHURA Information security/privacy via a decoupled security accessory to an always listening device
US10867054B2 (en) 2017-11-14 2020-12-15 Thomas STACHURA Information security/privacy via a decoupled security accessory to an always listening assistant device
US11100913B2 (en) 2017-11-14 2021-08-24 Thomas STACHURA Information security/privacy via a decoupled security cap to an always listening assistant device
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
EP3724855A4 (en) 2017-12-14 2022-01-12 Magic Leap, Inc. CONTEXT-BASED REPRESENTATION OF VIRTUAL AVATARS
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
CN108629278B (zh) * 2018-03-26 2021-02-26 奥比中光科技集团股份有限公司 基于深度相机实现信息安全显示的系统及方法
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11113374B2 (en) 2018-04-19 2021-09-07 Carrier Corporation Managing seamless access to locks with person/head detection
KR20230148270A (ko) * 2018-05-04 2023-10-24 구글 엘엘씨 자동 어시스턴트를 위한 시각적 단서들의 선택적 검출
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11521326B2 (en) 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11388516B2 (en) 2019-02-07 2022-07-12 Thomas STACHURA Privacy device for smart speakers
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11373544B2 (en) * 2019-03-26 2022-06-28 Apple Inc. Interactive reading assistant
US10846898B2 (en) * 2019-03-28 2020-11-24 Nanning Fugui Precision Industrial Co., Ltd. Method and device for setting a multi-user virtual reality chat environment
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US10976818B2 (en) 2019-08-21 2021-04-13 Universal City Studios Llc Interactive attraction system and method for object and user association
JP6726345B1 (ja) * 2019-08-30 2020-07-22 株式会社コロプラ プログラム、方法、および端末装置
US11937904B2 (en) 2019-09-09 2024-03-26 Apple Inc. Detecting the end of cardio machine activities on a wearable device
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US12109453B2 (en) 2019-09-27 2024-10-08 Apple Inc. Detecting outdoor walking workouts on a wearable device
US11481111B2 (en) 2020-04-24 2022-10-25 Microsoft Technology Licensing, Llc Utilization of predictive gesture analysis for preloading and executing application components
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
JP7536566B2 (ja) 2020-09-10 2024-08-20 株式会社ディーアンドエムホールディングス オーディオ装置
KR102416825B1 (ko) * 2020-10-14 2022-07-06 (주)유디피 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
US11307881B1 (en) 2020-11-11 2022-04-19 Adobe Inc. Systems for generating suggestions with knowledge graph embedding vectors
WO2022113520A1 (ja) * 2020-11-30 2022-06-02 株式会社電通 情報処理システム
US11563815B2 (en) * 2021-01-20 2023-01-24 Vmware, Inc. Session passing between smart devices
CN113655935B (zh) * 2021-01-30 2024-09-10 华为技术有限公司 一种用户确定方法、电子设备和计算机可读存储介质
US11731048B2 (en) * 2021-05-03 2023-08-22 Sony Interactive Entertainment LLC Method of detecting idle game controller
KR102520841B1 (ko) * 2022-04-11 2023-04-11 윤형노 당구 시뮬레이션 장치 및 그 방법
JP7460839B1 (ja) 2023-09-12 2024-04-02 株式会社コロプラ プログラム及びシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256046B1 (en) * 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
CN101322091A (zh) * 2005-11-18 2008-12-10 埃森哲全球服务有限公司 多目标检测和应用项目状态导航系统
US20090163262A1 (en) * 2007-12-21 2009-06-25 Sony Computer Entertainment America Inc. Scheme for inserting a mimicked performance into a scene and providing an evaluation of same

Family Cites Families (202)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
CA2101633A1 (en) 1991-12-03 1993-06-04 Barry J. French Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US5993314A (en) * 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6428449B1 (en) * 2000-05-17 2002-08-06 Stanford Apseloff Interactive video system responsive to motion and voice command
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US8734226B2 (en) * 2001-12-12 2014-05-27 Bgc Partners, Inc. Systems and methods for assisting in game play and wagering
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7365737B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) * 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP3693889A3 (en) 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US7317836B2 (en) * 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
US20070021199A1 (en) * 2005-07-25 2007-01-25 Ned Ahdoot Interactive games with prediction method
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
JP2008225985A (ja) 2007-03-14 2008-09-25 Namco Bandai Games Inc 画像認識システム
US8944917B2 (en) * 2007-03-30 2015-02-03 Microsoft Corporation Multi-tier online game play
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8221290B2 (en) * 2007-08-17 2012-07-17 Adidas International Marketing B.V. Sports electronic training system with electronic gaming features, and applications thereof
US20090058850A1 (en) * 2007-09-04 2009-03-05 Wey Fun System and method for intuitive interactive navigational control in virtual environments
WO2009031155A2 (en) * 2007-09-06 2009-03-12 Yeda Research And Development Co. Ltd. Modelization of objects in images
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8122384B2 (en) 2007-09-18 2012-02-21 Palo Alto Research Center Incorporated Method and apparatus for selecting an object within a user interface by performing a gesture
JP5559691B2 (ja) 2007-09-24 2014-07-23 クアルコム，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
US9292092B2 (en) 2007-10-30 2016-03-22 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US8175326B2 (en) * 2008-02-29 2012-05-08 Fred Siegel Automated scoring system for athletics
US9250702B2 (en) * 2008-03-28 2016-02-02 International Business Machines Corporation Facilitating search for items in 3D simulations
US20110292181A1 (en) * 2008-04-16 2011-12-01 Canesta, Inc. Methods and systems using three-dimensional sensing for user interaction with applications
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
JP5495222B2 (ja) * 2008-04-23 2014-05-21 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作対象物制御装置、システム、方法およびプログラム
US8514251B2 (en) 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
KR101483713B1 (ko) 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
US9399167B2 (en) * 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
US8988437B2 (en) * 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
KR101844366B1 (ko) 2009-03-27 2018-04-02 삼성전자 주식회사 터치 제스처 인식 장치 및 방법
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8231453B2 (en) 2009-08-25 2012-07-31 Igt Gaming system, gaming device and method for providing a player an opportunity to win a designated award based on one or more aspects of the player's skill
US8079938B2 (en) * 2009-10-30 2011-12-20 Nexersys Corporation Boxing and martial arts fight, trainer, and game system and method
US8633916B2 (en) 2009-12-10 2014-01-21 Apple, Inc. Touch pad with force sensors and actuator feedback
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8683363B2 (en) 2010-01-26 2014-03-25 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements
US9361018B2 (en) 2010-03-01 2016-06-07 Blackberry Limited Method of providing tactile feedback and apparatus
US20110219340A1 (en) 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
US20110279368A1 (en) 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256046B1 (en) * 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
CN101322091A (zh) * 2005-11-18 2008-12-10 埃森哲全球服务有限公司 多目标检测和应用项目状态导航系统
US20090163262A1 (en) * 2007-12-21 2009-06-25 Sony Computer Entertainment America Inc. Scheme for inserting a mimicked performance into a scene and providing an evaluation of same

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722253A (zh) * 2011-09-12 2012-10-10 黄得锋 一种静式人机互动的控制方法及其运用
CN103688232A (zh) * 2011-09-15 2014-03-26 欧姆龙株式会社 姿势识别装置及其控制方法、程序、电子设备及记录介质
CN103688232B (zh) * 2011-09-15 2016-08-17 欧姆龙株式会社 姿势识别装置及其控制方法、电子设备
CN103092399A (zh) * 2011-11-01 2013-05-08 索尼公司 信息处理设备，信息处理方法和程序
US10198069B2 (en) 2013-05-20 2019-02-05 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
CN105122353A (zh) * 2013-05-20 2015-12-02 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互
US12099651B2 (en) 2013-05-20 2024-09-24 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
US11609631B2 (en) 2013-05-20 2023-03-21 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
CN109584868A (zh) * 2013-05-20 2019-04-05 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互
CN109584868B (zh) * 2013-05-20 2022-12-13 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互
US11181980B2 (en) 2013-05-20 2021-11-23 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
CN105122353B (zh) * 2013-05-20 2019-07-09 英特尔公司 用于语音识别的计算装置和用于计算装置上的语音识别的方法
CN103279188A (zh) * 2013-05-29 2013-09-04 山东大学 一种基于Kinect无接触性操作控制PPT的方法
CN103472920A (zh) * 2013-09-13 2013-12-25 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN103472920B (zh) * 2013-09-13 2016-11-30 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN105765488B (zh) * 2013-11-19 2018-12-11 微软技术许可有限责任公司 虚拟环境的运动控制
CN105765488A (zh) * 2013-11-19 2016-07-13 微软技术许可有限责任公司 虚拟环境的运动控制
CN105718052B (zh) * 2016-01-18 2018-09-11 京东方科技集团股份有限公司 一种纠正体感交互追踪失败的指示方法及装置
US9990031B2 (en) 2016-01-18 2018-06-05 Boe Technology Group Co., Ltd. Indicating method and device for correcting failure of motion-sensing interaction tracking
CN105718052A (zh) * 2016-01-18 2016-06-29 京东方科技集团股份有限公司 一种纠正体感交互追踪失败的指示方法及装置
CN109582124A (zh) * 2017-09-29 2019-04-05 株式会社日立制作所 姿势推定系统、姿势推定装置以及距离图像照相机
CN109582124B (zh) * 2017-09-29 2021-11-02 株式会社日立制作所 姿势推定系统、姿势推定装置以及距离图像照相机
CN108205373A (zh) * 2017-12-25 2018-06-26 北京致臻智造科技有限公司 一种交互方法及系统
CN108375958A (zh) * 2018-01-15 2018-08-07 珠海格力电器股份有限公司 一种电器系统
CN108375958B (zh) * 2018-01-15 2020-06-19 珠海格力电器股份有限公司 一种电器系统
CN112585667A (zh) * 2018-05-16 2021-03-30 康耐克斯数字有限责任公司 智能平台柜台展示系统和方法
CN110833697A (zh) * 2018-08-16 2020-02-25 潘小亮 区块链计时式船体控制方法
CN113299416A (zh) * 2021-04-29 2021-08-24 中核核电运行管理有限公司 一种核电厂操作人员操作意图智能识别系统及方法

Also Published As

Publication number Publication date
KR20120126070A (ko) 2012-11-20
HK1176448A1 (zh) 2013-07-26
US8334842B2 (en) 2012-12-18
EP2524350A4 (en) 2013-01-02
EP2524350A2 (en) 2012-11-21
US20110175810A1 (en) 2011-07-21
CA2786683C (en) 2016-12-20
WO2011087890A2 (en) 2011-07-21
US9195305B2 (en) 2015-11-24
JP5819856B2 (ja) 2015-11-24
WO2011087890A3 (en) 2011-11-03
JP2013517051A (ja) 2013-05-16
CN102129292B (zh) 2014-05-14
US20130074002A1 (en) 2013-03-21
KR101741864B1 (ko) 2017-05-30
CA2786683A1 (en) 2011-07-21
EP2524350B1 (en) 2016-05-11

Similar Documents

Publication Publication Date Title
CN102129292B (zh) 在运动捕捉系统中识别用户意图
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102129343B (zh) 运动捕捉系统中的受指导的表演
CN102947777B (zh) 用户跟踪反馈
US9244533B2 (en) Camera navigation for presentations
CN102448561B (zh) 姿势教练
US9245177B2 (en) Limiting avatar gesture display
CN102414641B (zh) 改变显示环境内的视图视角
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
CN102194105B (zh) 用于人体跟踪的代表训练数据
CN102473320B (zh) 通过学习到的来自用户的输入使视觉表示生动化的方法
CN102184009A (zh) 跟踪系统中的手位置后处理精炼
CN102413886A (zh) 示出身体位置
CN102449576A (zh) 姿势快捷方式
CN102193624A (zh) 用于基于姿势的用户界面的物理交互区
CN102947774A (zh) 用于驱动交互式故事的自然用户输入
CN102918518A (zh) 基于云的个人特征简档数据

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150528

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150528

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.