CN102222431A - 基于机器的手语翻译器 - Google Patents

基于机器的手语翻译器 Download PDF

Info

Publication number
CN102222431A
CN102222431A CN2011101599257A CN201110159925A CN102222431A CN 102222431 A CN102222431 A CN 102222431A CN 2011101599257 A CN2011101599257 A CN 2011101599257A CN 201110159925 A CN201110159925 A CN 201110159925A CN 102222431 A CN102222431 A CN 102222431A
Authority
CN
China
Prior art keywords
gesture
posture
user
hand
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101599257A
Other languages
English (en)
Other versions
CN102222431B (zh
Inventor
J·塔迪夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102222431A publication Critical patent/CN102222431A/zh
Application granted granted Critical
Publication of CN102222431B publication Critical patent/CN102222431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/852—Sensors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts, e.g. by feet
    • E05Y2400/86—Actuation thereof by body parts, e.g. by feet by hand

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及基于机器的手语翻译器。提供了用于基于用户的动作以执行手语翻译的计算机实现的方法。拍摄设备检测定义姿势的动作，并且所检测的姿势被与手势匹配。连续的手势被检测并且与语法库比较以确定分配给姿势的手势相对于彼此以及语法上下文是否是有意义的。可以将每个手势与前一和连续的手势比较以确定手势相对于彼此是否是有意义的。还可以进一步将手势与用户人口统计信息和上下文数据库比较以验证翻译的准确性。提供了动作和手势之间的匹配的输出。

Description

基于机器的手语翻译器
技术领域
本发明涉及计算机系统，尤其涉及计算机实现的语言翻译系统。
背景技术
已经在众多不同的上下文中开发了语言翻译系统。存在这样的技术，其基于选择被显示的特定意思或单词，用于将书面语言从一种语言翻译到另一种，以及向用户显示手语动作。
公开了为了控制例如游戏的计算机界面，使用例如照相机的多个传感器以检测动作和姿势的系统。
发明内容
提供了将手语(姿势的通信)译成书面或听觉形式的通信的技术。检测用户的姿势(通常使用手)，并且检测到的姿势被与手势匹配。连续的手势被检测并且与语法库比较以确定分配给姿势的手势相对于彼此以及语法上下文是否是有意义的。在一个实施例中，提供了用于翻译手语的计算机实现的方法。拍摄设备拍摄包括人物目标的场景，并且跟踪了在场景内用户身体部分的动作(尤其是手)。姿势被检测并且与和词汇库中手语手势相匹配的姿势比较。可以将每个手势与以前的和连续的手势比较以确定手势相对于彼此是否是有意义的。还可以进一步将手势与用户人口统计信息和上下文数据库比较以验证翻译的准确性。提供了动作和手势之间的匹配的输出。
提供本发明内容以便用一种简单的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容不旨在确定所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
图1A和1B示出用户玩游戏的跟踪系统的示例实施例。
图2示出可以用作跟踪系统的部分的拍摄设备的示例实施例。
图3描述可以用于跟踪姿势以及基于跟踪到的姿势执行应用程序的处理设备的示例。
图4示出可以用于跟踪动作以及基于跟踪到的动作更新应用程序的计算系统的第二个示例实施例。
图5A-5D是美国手语(ASL)的各种视觉手势的表示。
图6A和6B是在不同上下文中采用的美国手势的各种视觉手势的表示。
图7是示出依照本技术的方法的流程图。
图8是示出将姿势与已知手势库比较的方法的流程图。
图9是示出将手势与相邻手势比较的方法的流程图。
图10A-10E是用于用户的姿势识别器和骨骼跟踪模型的表示。
图11-12示出在本技术的系统中使用的示例性显示输出和用户界面。
具体实施方式
提供了用于基于用户的姿势以执行手语翻译的技术。拍摄设备用于检测用户的动作，并且检测到的姿势被与手势匹配。连续的手势被检测并且与语法库比较以确定分配给姿势的手势相对于彼此以及词汇上下文是否是有意义的。可以将每个手势与以前的和连续的手势比较以确定手势相对于彼此是否是有意义的。还可以进一步将手势与用户人口统计信息和上下文数据库比较以验证翻译的准确性。提供了动作和手势之间的匹配的输出。
图1A示出可以与本技术一起使用的系统10的示例实施例。示例性跟踪和翻译系统10的一个用途是用户18在玩游戏。替代地，如此处所述，系统可以用于在用户姿势被识别为一个或更多手语的手势时来翻译和解释手语。
图1A中的示例是用户玩拳击游戏。在示例实施例中，系统10可以用于识别、分析和/或跟踪诸如用户18的人物目标或在跟踪系统10范围内的其它对象。
跟踪系统10可以包括计算系统12。计算系统12可以是计算机、游戏系统、或游戏控制台、等等。根据示例实施例，计算系统12可以包括硬件组件和/或软件组件，以使得计算系统12可以用于执行诸如游戏应用程序、非游戏应用程序等的应用程序。在一个实施例中，计算系统12可以包括诸如标准处理器、专用处理器、微处理器等的处理器，该处理器可以执行存储在处理器可读存储设备上用于执行此处所述过程的指令。
如图1A所示，跟踪和翻译系统10可以进一步包括拍摄设备20。例如，如以下将更详细描述的，拍摄设备20可以是能够用于视觉地监控例如用户18的一个或更多用户的照相机，以使得可以拍摄、分析和跟踪由一个或更多用户执行的姿势和/或动作，以执行应用程序中的一个或更多控制或动作和/或动画化化身或屏幕上的角色。
根据一个实施例，跟踪和翻译系统10可以被连接至诸如电视、监视器、高清晰度电视(HDTV)等的音频/视觉设备16，该设备可以向例如用户18的用户提供游戏或应用程序视觉和/或音频。例如，计算设备12可以包括提供与游戏应用程序、非游戏应用程序等相关的音频/视觉信号的例如显卡的视频适配器和/或例如声卡的音频适配器。音频/视觉设备16可以接收来自计算设备12的音频/视觉信号，并且然后可以将与音频/视觉信号相关的游戏或应用程序视觉和/或音频输出给用户18。根据一个实施例，音频/视频设备16可以通过例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、组件视频电缆等连接至计算系统12。
如图1A所示，系统10可以用于识别、分析和/或跟踪例如用户18的人物目标。例如，可以使用拍摄设备20跟踪用户18，以使得用户18的姿势和/或动作可以被拍摄以动画化化身或屏幕上的角色和/或可以被翻译为用于影响由计算环境12正在执行的应用程序的控制。因此，根据一个实施例，用户18可以移动其身体以控制应用程序和/或动画化化身或屏幕上的角色。类似地，跟踪系统10可以用于识别、分析、和/或跟踪观看用户18玩游戏的人，以使得观看用户18玩游戏的那些人的动作会控制在音频/视觉设备16上显示的拳击游戏里观众中的化身动作。
在图1A所描述的示例中，在系统10上执行的应用程序可以是用户18正在玩的拳击游戏。例如，计算系统12可以使用音频/视觉设备16以向用18户提供拳击对手22的视觉表示。计算系统12还可以使用音频/视觉设备16以提供由用户18用其动作控制的用户化身24的视觉表示。例如，如图1B所示，用户18可以在物理空间出拳以使用户化身24在游戏空间中出拳。因此，根据示例实施例，计算系统12和拍摄设备20识别和分析用户18在物理空间的出拳，以使得该出拳被翻译为用户化身24在游戏空间中的游戏控制和/或该出拳的动作用于动画化游戏空间中的游戏化身24。
根据其它示例实施例，系统10可以进一步用于将目标动作翻译为在游戏范围外的操作系统和/或应用程序控制。例如，可以由例如用户18的目标的动作来虚拟地控制操作系统和/或应用程序的任何可控制方面。
在其它实施例中，如图1B所示，用户18可以在处理设备12A和拍摄设备20A前比图1A所示更小的视野里以及更接近拍摄设备的距离处执行动作。在图1B的图示中，处理设备12A是笔记本计算机，并且用户18和拍摄设备20A之间的距离比图1A中所描述的实施例要小得多。此外，由于用户更接近拍摄设备，因此拍摄设备的视野也更小。当所有其它元素相等时，具有与图1A中拍摄设备20相等分辨率的如图1B所示位于离用户18更近的拍摄设备，将具有更高的拍摄用户手指和脸部动作的能力。
系统10及其组件的合适示例可以在下列同时待批的专利申请中找到，特此专门并入其全部以作为参考：名为“Environment And/Or Target Segmentation(环境和/或目标分割)”的第12/475094号美国专利申请，2009年5月29日提出申请，并且此处特此完全并入以供参考；名为“Auto Generating a Visual Representation(自动生成视觉表示)”的第12/511850号美国专利申请，2009年7月29日提出申请，此处完全并入以供参考；第12/474655号美国专利申请，“Gesture Tool(姿势工具)”，2009年5月29日提出申请，并且此处特此完全并入以供参考；第12/603427号美国专利申请，“Pose Tracking Pipeline(姿势跟踪流水线)”，2009年10月21日提出申请，(在下文中用‘437申请指代)，并且此处特此完全并入以供参考；第12/475308号美国专利申请，“Device for Identifying and Tracking Multiple Humans Over Time(用于跨时间标识和跟踪多个人的设备)”，2009年5月29日提出申请，并且此处特此完全并入以供参考；“Motion Detection Using Depth Images(使用深度图像的动作检测)”，2009年12月18日提出申请，并且此处特此完全并入以供参考；以及第12/575388号美国专利申请，“Human Tracking System(人体跟踪系统)”，2009年10月7日提出申请，并且此处特此完全并入以供参考；第12/422661号美国专利申请，“Gesture Recognizer System Architecture(姿势识别器系统体系结构)”，2009年4月13日提出申请，并且此处特此完全并入以供参考；第12/391150号美国专利申请，“Standarad Gestures(标准姿势)”，2009年2月23日提出申请，并且此处特此完全并入以供参考；以及第12/474655号美国专利申请，“Gesture Tool(姿势工具)”，2009年5月29日提出申请，并且此处特此完全并入以供参考。
图2示出可以用于场景中目标识别、分析和跟踪的拍摄设备20的示例实施例，其中目标可以是用户或对象。根据示例实施例，拍摄设备20可以被配置为拍摄具有包含深度图像的深度信息的视频，该深度图像可以包含通过包括例如飞行时间、结构化光、立体图像等的任何合适技术的深度值。根据一个实施例，拍摄设备20可以将所计算的深度信息组织到“Z个层”，或者与从深度照相机沿着其视线延伸的Z轴垂直的层。
如图2所示，拍摄设备20可以包括图像照相机组件32。根据示例实施例，图像照相机组件32可以是能够拍摄场景的深度图像的深度照相机。深度图像可以包括所拍摄场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素可以表示深度值，该深度值诸如来自照相机所拍摄场景中的对象的以例如厘米、毫米等为单位的长度或距离。
如图2所示，根据示例实施例，图像照相机组件32可以包括可用于拍摄场景的深度图像的红外光组件34、例如三维(3-D)照相机36的第一传感器、以及例如RGB照相机38的第二传感器。这些组件中的每一个都集中在场景。例如，使用飞行时间分析，拍摄设备20的红外光组件34可以发射红外光到场景上，并且然后使用例如3-D照相机26和/或RGB照相机38的传感器(没有示出)以检测来自场景中一个或更多目标和对象表面的反向散射光。在一些实施例中，可以使用脉冲红外光从而使得传出的光脉冲和对应的传入光脉冲之间的时间可以被测量并且用于确定从拍摄设备20到场景中目标或对象上特定位置的物理距离。此外，在其它示例实施例中，可以将传出光波的相位和传入光波的相位相比较以确定相位偏移。相位偏移然后可用于确定从拍摄设备20到目标或对象上特定位置的物理距离。
根据另一个示例实施例，通过包括例如快门光脉冲成像的各种技术跨时间分析反射光束的强度，飞行时间分析可以用于间接地确定从拍摄设备20到目标或对象上特定位置的物理距离。
在另一个示例实施例中，拍摄设备20可以使用结构化光以拍摄深度信息。使用这一分析，带图案的光(即显示为诸如网格图案或条纹图案等的已知图案的光)可以通过例如红外光组件34投影到场景上。在击中场景中一个或更多目标或对象的表面后，作为响应图案会发生变形。这一图案的变形可以由例如3-D照相机36和/或RGB照相机38拍摄，并且然后被分析以确定从拍摄设备20到目标或对象上特定位置的物理距离。
根据另一个实施例，拍摄设备20可以包括两个或更多物理上分开的照相机或传感器，所述照相机或传感器可以从不同角度观察场景以获取可被解析以生成深度信息的视觉立体数据。
在另一个示例实施例中，拍摄设备20可以使用点云数据和目标数字化技术以检测用户的特征。
拍摄设备20可以进一步包括话筒40、或一系列话筒。话筒30可以包括接收声音并将其转换为电信号的转换器或传感器。根据一个实施例，话筒30可以用于减少目标识别、分析和跟踪系统10中拍摄设备20和计算环境12之间的反馈。此外，话筒30可以用于接收音频信号，该音频信号同样由用户提供以控制诸如游戏应用程序、非游戏应用程序等的可以由计算环境12执行的应用程序。
在示例实施例中，拍摄设备20可以进一步包括与图像照相机组件32可操作的通信的处理器或微控制器42。处理器42可以包括可执行指令的标准处理器、专用处理器、或微处理器等，该指令可以包括用于接收深度图像、确定合适目标是否包含在深度图像中、将合适目标转换为目标的骨骼表示或模型的指令，或者其它任何合适指令。
拍摄设备20可以进一步包括存储器组件44，其可以存储由微控制器42执行的指令、由3-D照相机36或RGB照相机38拍摄的图像或图像帧、或任何其它合适信息、图像等。根据示例实施例，存储器组件44可以包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、快闪式存储器、硬盘、或其它合适存储组件。微控制器42和存储器一起可以被共同地称为微控制器。
如图2所示，在一个实施例中，存储器组件44可以是与图像拍摄组件32和处理器42通信的单独的组件。根据另一个实施例，存储器组件44可以被集成到处理器42和/或图像拍摄组件32中。
如图2所示，拍摄设备20可以通过通信链路40与计算环境12通信。通信链路46可以是包括例如USB连接、Firewire连接、以太网电缆连接等的有线连接，和/或诸如无线802.11b、g、a或n连接等的无线连接。根据一个实施例，计算环境12可以向拍摄设备20提供时钟，时钟可以用于确定例如何时通过通信链路46拍摄场景。
此外，拍摄设备20可以通过通信链路46向计算环境12提供由例如3-D照相机36和/或RGB照相机38拍摄的深度信息和图像，以及由拍摄设备20生成的骨骼模型。例如，计算环境12然后可以使用骨骼模型、深度信息和拍摄到的图像以控制诸如游戏或文字处理器等的应用程序。
计算环境12可以包括例如图3和4中所示的那些使得诸如拳击应用程序或手语翻译器180等的应用程序操作在其上执行的组件。
在图2中，计算系统12中示出姿势识别器190和手语翻译器180。在一个实施例中，姿势识别器190可以包括例如骨骼提取组件192、动作跟踪器196、注册组件194、脸部分类器198、以及手部分类器199。骨骼提取组件192依照第12/475094号美国专利申请运行以提取和定义跟踪用户动作的骨骼系统。骨骼系统的示例在图10A和10C中示出。动作跟踪组件186与‘437申请的公开共同运行以跟踪场景中检测到的骨骼的动作。动作和姿势组件被翻译成与等同于姿势的已知手势的库193相匹配的姿势。姿势组件包括但不限于：相对于用户身体和其它手的手掌形状和配置，相对于用户手、其它手指和身体的手指形状和配置、手和手指的方向(例如上、下、横向)，相对于其它手、手指、手臂和身体位置(例如跨胸、向一侧偏移等)包含了动作开始和结束位置的手、手指、手臂和头的动作。这在以下图10A中示出。注册组件194对拍摄设备20的组件34、36、38、40提供的信息进行同步。如上所述，来自拍摄设备的信息可以包括深度和图像信息。注册组件194同步这一信息以跟踪姿势动作。
脸部分类器198和手部分类器199检测用户手和脸、手和手指形状以及配置、方向、位置和动作的精细粒度的变化，如以下所述所有变化可以影响对姿势的翻译。对脸部表情的检测以及手的个别数字动作可以与将姿势翻译为如图5和6所示的手势有关。脸部分类器198和手部分类器199与骨骼提取组件192、动作跟踪器196共同工作。骨骼提取组件192、动作跟踪器196通知脸部分类器198和手部分类器199手和脸位于场景中的何处从而使得为其确定这些信息不成为手部和脸部分类器的负担。骨骼提取组件192还唯一地标识每个用户从而使得可以独立地跟踪每个用户的手语会话。
当拍摄设备20的分辨率足够提供对手或脸的模型的跟踪时，脸部分类器198和手部分类器199基于脸和手的动作确定用户脸和手的位置，这些位置添加信息到词汇/语法匹配器195的匹配算法，脸部分类器198和手部分类器199都基于由拍摄设备20提供的信息检测场景中的用户18以提供手语输出188。词汇/语法匹配器195可以包括词汇字典193、用户数据186和语法库185。当检测到姿势时，信息被放入查询字典193并且将检测到的动作与存储在字典中的动作比较的词汇/语法匹配器195，以确定由用户提供的特定手势的意思。这在以下参考图7描述，并且可以由一个或更多硬件组件和被专门编程以执行实现此处所述技术的指令的处理器所启用。此外，将分配给姿势的手势与语法库185和用户数据186比较，以验证对姿势的手势分配的准确性。语法库185包含关于任何手势根据先前和随后的手势是否有意义的信息。用户数据186包含用于确定手势根据特定的已知用户信息是否有意义的用户特定人口统计和其它用户特定的信息。
目标识别、分析和跟踪系统10可以确定深度图像是否包括人物目标。在一个实施例中，可以确定深度图像的拍摄到的场景中诸如人物目标和非人物目标等的每个目标的边缘。如上所述，每个深度值可以表示诸如来自拍摄设备20所拍摄场景中对象的以例如厘米、毫米等为单位的长度或距离等的深度值。根据示例实施例，可以通过比较与例如深度图像相邻或附近的像素相关的各深度值来确定边缘。如果经比较的各深度值比预定的边缘容限大，则该像素定义了边缘。
根据另一个实施例，可以填充深度图像上预定的点或区域以确定深度图像是否包括人物目标。例如，可以比较深度图像的选定区域或点中像素的各深度值以确定如上所述定义目标或对象的边缘。在示例实施例中，可以跨深度图像均匀地分布预定的点或区域。例如，预定的点或区域可以包括在深度图像中心的点或区域，在深度图像的左边缘和中心之间的两个点或区域，在深度图像的右边缘和中心之间的两个点或区域，等等。
可以基于所确定的边缘填充Z个层的Z个值。例如，与所确定边缘相关的像素和在所确定边缘中的区域的像素可以彼此相关以定义所拍摄区域中的可以与图案比较的目标或对象。
根据示例实施例，每个填充的人物和非人物目标可以与图案匹配以确定所拍摄区域中的目标是否包括人和/或所拍摄区域中的哪些目标包括人。图案可以包括，例如与人的各种位置或姿势相关的预定身体模型的机器表示，该位置或姿势诸如手臂放在两侧的典型站立姿势。
在一个示例实施例中，可以隔离人物目标，并且建立人物目标的位掩码以扫描一个或更多身体部分。例如，在深度图像中发现有效的人物目标之后，可以删除背景或与人物目标不匹配的深度图像的区域。然后可以为人物目标生成包括例如沿着X、Y和Z轴的人物目标值的位掩码。根据示例实施例，可以从例如头部开始，为各身体部分扫描人物目标的位掩码，以生成人物目标的模型。位掩码的顶部可以与头顶的位置相关。在确定头顶之后，可以向下扫描位掩码以接着确定颈部的位置、肩膀的位置等。可以更新深度图或深度图像数据以包含像素与模型中特定虚拟身体部分相关的概率。
根据示例实施例，在确定身体部分的值后，可以建立包含诸如与人物目标的位掩码相关的身体部分的长度、宽度等的测量值的数据结构。在一个实施例中，身体部分的数据结构可以包括由拍摄系统60以一定帧率拍摄的帧中多个深度图像的平均结果。可以以特定数目的帧迭代地调整模型。根据另一个实施例，可以诸如按比例放大、按比例缩小等来调整所确定身体部分的测量值，从而使得数据结构中的测量值更紧密地与典型的人的身体模型对应。身体模型可以包含任何数目的身体部分，其中每一部分可以是模型化目标的对应部分的任何机器可理解表示。
在包括两个或更多身体部分的模型示例中，模型的每个身体部分可以包括关节位于相邻骨头的相交处的一个或更多结构成员(即“骨头”)。例如，由位掩码确定的测量值可以用于定义骨骼模型中一个或更多关节(例如以下参考图10A所示)。该一个或更多关节可以用于定义与人的身体部分对应的一个或更多骨头。每个关节可以允许一个或更多身体部分相对于一个或更多其它身体部分而移动。例如，表示人物目标的模型可以包括多个严格的和/或可变形的身体部分，其中若干身体部分可以表示人物目标对应的解剖学的身体部分。可以将每个身体部分特征化为定义骨骼模型的关节和骨头的数学矢量。应当理解一些骨头可以对应于人物目标中的解剖学骨头和/或一些骨头没有人物目标中对应的解剖学骨头。
骨头和关节可以共同组成骨骼模型(图10A、10D、10E)，该骨骼模型可以是另一个模型的组成元素。骨骼模型可以包括每个身体部分的一个或更多骨骼成员以及相邻骨骼成员之间的关节。
当用户在物理空间移动时，由拍摄设备20所拍摄到的结果图像数据可以用于调节骨骼模型，从而使得骨骼模型可以准确表示用户。根据示例实施例，模型可以被栅格化为合成的深度图像。栅格化允许由数学矢量、多边形网格、或其它对象描述的模型被转换成以像素形式描述的合成的深度图像。由拍摄系统检索的目标的观测到图像和模型栅格化的(即合成的)图像之间的差别可以用于确定应用于模型以将身体调节为不同姿势的力矢量。
在一个实施例中，一个或更多力矢量可以应用于模型的一个或更多力接收方面以调节模型为更紧密地与拍摄区域的物理空间中目标的姿势对应的姿势。模型可以被迭代地调节为拍摄的帧。取决于正在使用的模型的类型，力矢量可以应用于关节、身体部分的重心、三角形的顶点、或者模型的任何其它合适的力接收方面。此外，在一些实施例中，当确定力的方向和/或大小时，可以使用两个或更多不同的计算。
在用于拍摄用户自然动作的一个或更多实施例中，拍摄设备20重复地将用于动作跟踪的数据发送给计算系统12。动作跟踪数据可以包括关于例如与不同关节、重心或节点有关的矢量的某些形式的骨骼模型的参考数据，以示出动作变化。数据可以参考由栅格化矢量数据创建的合成的像素数据表示。数据还可以包括用户的位掩码，用于在每次更新时比较以检测哪个身体部分正在移动。索引每个身体部分，从而可以标识每个身体部分，例如起居室的家具的拍摄区域的其它部分被标识为背景，并且索引用户，从而可以将其相应身体部分的机器可表示的数据链接到用户。
动作跟踪器195可以使用索引以标识哪些身体部分在更新之间改变了位置。对于不同的身体部分，在姿势库455中有相关的姿势过滤器。姿势过滤器包括用于确定在更新或一系列更新中所指示的动作是否表示姿势的指令，该姿势可以是动作本身或造成的姿势。如以下所述，姿势可以具有与基于姿势的手语有关的意思。
在一个实施例中，姿势过滤器450(图10B)执行用于比较涉及带参数的姿势的一个或更多身体部分的动作跟踪数据的指令，该参数包括与定义姿势的动作特征有关的准则。动作特征的一些示例包括用户手和脸、脸和手指形状以及配置、方向、位置和动作中的位置、角度、速度和加速度变化。例如，投掷可以实现为包括表示用户的一只手从身体后方越过身体前方的动作的信息的姿势，如同该动作由深度照相机所拍摄的一样。“投掷”的参数的一些示例可以是手必须达到的阈值速度，手必须移动的距离(既可以是绝对的，也可以是整体上相对于用户的大小)，以及手从身体后越过身体前的动作的方向。参数可以被存储为其对应姿势的元数据。参数可以包括姿势的各种动作特征中的任何一种。在包含参数的过滤器中，参数值可以采用不同形式，例如，它可以是阈值、绝对值、容错或范围。
可以由参数表示的动作特征的若干更多示例如下：包含在姿势中的身体部分，相对于由用户骨骼模型表示的身体部分、关节、其它身体部分或用户身体重心的动作角度，身体部分或整个身体位置的改变，以及由身体部分或整个身体移动的距离。此外，特征的其它示例是在用户身体周围的空间体(身体部分在其中移动的)的位置，移动的方向，身体部分移动的速度，移动发生的地点，身体部分和场景中另一对象之间的角度，加速度阈值，姿势的时间段，姿势的特定时间，以及释放点。
在实施例中，用户还使用其声音以产生、增强、区分或阐明姿势。
在一个实施例中，姿势过滤器的准则参考了如同图10A、10D、10E所示那些的一个或更多的骨骼模型。过滤器可以包括在确定参数准则是否满足时可以处理深度值的代码和相关数据，或关于骨骼数据的矢量，或颜色图像数据，或者两个或更多这些的组合。例如，过滤器的输入可以包括诸如与用户关节位置有关的关节数据，由在关节处相交的骨头形成的角度，对碰撞测试有帮助的用户的RGB颜色数据，以及用户面的变化速率等的事物。使用用于包含在姿势内的一个或更多身体部分的先前位置数据集，输入数据可以被呈现为位置、速度、移动方向、关节角度等发生的变化。
可以由一个或更多输出的置信度表示是否有匹配。在一个实施例中，置信度可以被实现在范围为包括在0和1之间的浮点数的线性标度上。在实施例中，确定置信度可以包括基于与过滤器相关的参数的布尔逻辑确定。例如，每个参数可以具有自己的相关置信度，确定与该置信度相关的动作特征，并且动作跟踪器196检索该置信度以用于其姿势确定。可以给每个参数和其置信度加权，该加权可以被加权技术使用以确定姿势作为整体时做出的置信度。此外，对给定姿势可以有动作特征的输出。动作特征的示例包括时间、速度、加速度速率或做出姿势的角度。
有关识别器引擎190的更多信息可以从第12/422661号，“Gesture Recognizer System Arthitecture姿势识别器体系结构”，2009年4月13日提出申请，中找到，此处参考其全部以并入。有关识别姿势的更多信息可以在第12/391150号美国专利申请，“Standard Gestures(标准姿势)”2009年2月23日提出申请，和第12/474655号美国专利申请“Gesture Tool(姿势工具)”，2009年5月29日提出申请，中找到。此处参考其全部并入这两个专利申请。
如此处所使用的，计算环境12可以指单个计算设备或计算系统。计算环境可以包括非计算组件。计算环境可以包括或被连接至显示输出的显示设备。显示设备可以是单独的但是与计算环境耦合的实体，或者显示设备可以是例如笔记本电脑的处理和显示的计算设备。因此，计算系统、计算设备、计算环境、计算机、处理器、或其它计算组件可以交换着使用。
图3示出可以是用于跟踪动作和/或动画化(或以其他方式更新)由应用程序显示的化身或其它屏幕上对象的如图1A-2所示的计算系统12的计算系统的示例实施例。例如与图1A-2有关的上述计算系统12的计算系统可以是例如游戏控制台的多媒体控制台100。如图3所示，多媒体控制台100有具有1级高速缓存102、2级高速缓存104和快闪ROM(只读存储器)106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104暂时地存储数据并且因此减少存储器访问周期的数目，从而提高处理速度和吞吐量。可以提供具有多个核以及相应的额外的1级和2级高速缓存102和104的CPU 101。快闪ROM 106可以存储当多媒体控制台100开机时在引导过程的初始阶段中加载的可执行代码。图形处理单元(GPU)108和视频编码器/视频编译码器(编码器/译码器)114形成用于高速和高分辨率图形处理的视频处理流水线。数据通过总线被从图形处理单元108运送到视频编码器/视频编译码器114。视频处理流水线输出数据到A/V(音频/视频)端口140以传输给电视或其它显示器。存储器控制器110被连接至GPU 108以使处理器访问各种类型的存储器112，例如但不限于RAM(随机存取存储器)。
多媒体控制台100包括在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128充当外围设备控制器142(1)-142(2)、无线适配器148和外部存储器设备146(例如快闪式存储器、外部CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如因特网、家庭网等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种有线或无线适配器组件中的任何一种。
提供系统存储器143以存储在引导过程中加载的应用程序数据。提供介质驱动器144，并且介质驱动器144可以包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其它可移动介质驱动器等。介质驱动器144可以是多媒体控制台100内部或外部的。可以通过介质驱动器144访问用于由多媒体控制台100执行、回放等的应用程序数据。介质驱动器144通过诸如串行ATA总线或其它高速连接(例如IEEE 1394)等的总线被连接至I/O控制器120。
系统管理控制器122提供与确保多媒体控制台100的可用性有关的各种服务功能。音频处理单元123和音频编译码器132形成具有高保真度和立体处理的对应的音频处理流水线。音频数据通过通信链路被在音频处理单元123和音频编译码器132之间传送。音频处理流水线输出数据至A/V端口140以用于由外部音频用户或具有音频能力的设备进行复制。
前面板I/O子部件130支持电源按钮150和弹出按钮153、以及在多媒体控制台100的外表面上暴露的任何LEDs(发光二极管)或其它指示器的功能。系统电源模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100中的电路。
CPU 101、GPU 108和多媒体控制台100中的各种其它组件通过一个或更多总线被互相连接，总线包括使用各种总线体系结构中的任何一种的串行和并行总线、存储器总线、外围设备总线、以及处理器或本地总线。作为示例，这些体系结构可以包括外围组件互联(PCI)总线、PCI-Express总线等。
当多媒体控制台100开机时，应用程序数据可以从系统存储器143加载到存储器112和/或高速缓存102、104中，并且在CPU 101上执行。应用程序可以呈现图形用户界面，该图形用户界面在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验。在操作中，介质驱动器144中所包含的应用程序和/或其它介质可以由介质驱动器144启动或播放以向多媒体控制台100提供额外的功能。
通过简单地将系统连接至电视或其它显示器，可以将多媒体控制台100当作独立的系统来操作。在这一独立模式中，多媒体控制台100允许一个或更多用户与系统交互，看电影，或听音乐。然而，随着通过网络接口124或无线适配器148成为可用的对宽带连接性的集成，可以进一步将多媒体控制台100当作更大的网络社区内的参与者来操作。
当多媒体控制台100开机时，预留了一组硬件资源以用于多媒体操作台操作系统的系统使用。这些资源可以包括对存储器(例如16MB)、CPU和GPU周期(例如5％)、联网带宽(例如8kbs)等的预留。由于在系统引导时间预留了这些资源，从应用程序的角度看预留的资源并不存在。
特别地，存储器预留要足够大以包含启动内核、并发系统应用程序和驱动器。CPU预留是恒定的，从而使得如果系统应用程序没有使用预留的CPU使用，则空闲线程将消耗任何未使用的周期。
至于GPU预留，通过使用GPU中断来显示由系统应用程序生成的轻量消息(例如弹出式窗口)以调度代码将弹出式窗口呈现为覆盖图。覆盖图所需要的存储器数量取决于覆盖区域大小，覆盖图随着屏幕分辨率而改变大小。在由并发系统应用程序使用完全用户界面时，倾向于使用与应用程序分辨率独立的分辨率。
在引导多媒体控制台100以及预留系统资源之后，并发系统应用程序执行以提供系统功能。系统功能被封装到在上述的预留系统资源中执行的一组系统应用程序中。操作系统内核标识系统应用程序线程对游戏应用程序线程的线程。调度系统应用程序在预定的时间和间隔在CPU 101上运行，以向应用程序提供一致的系统资源视图。调度是为了最小化用于在控制台上运行的游戏应用程序的高速缓存中断。
当并发系统应用程序需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用程序。当系统应用程序活跃时，多媒体控制台应用程序管理器(以下描述)控制游戏应用程序的音频等级(例如静音、减弱)。
输入设备(例如控制器142(1)和142(2))由游戏应用程序和系统应用程序共享。输入设备不是预留的资源，但是将在系统应用程序和游戏应用程序之间切换以使得两者中每个都将具有设备的焦点。应用程序管理器控制输入流的切换，而不需要游戏应用程序的知识以及驱动器维护有关焦点切换的状态信息。照相机36、38和拍摄设备20可以通过USP控制器126或其它接口为控制台100定义额外的输入设备。
图4示出可以用于实现跟踪动作和/或动画化(或以其他方式更新)由应用程序显示的化身或其它屏幕上对象的如图1-2所示的计算系统12的计算系统220的另一个示例实施例。计算系统环境220仅是合适计算系统的一个示例，并且不旨在暗示对本公开主题的使用或功能的范围的任何限制。计算系统220也不应该被翻译为具有与示例性操作系统220中所示的组件的任何一个或组合有关的任何依赖或要求。在一些实施例中，各种所述计算元素可以包括被配置为实例化本公开的特定方面的电路。例如，在本公开中所使用的术语电路可以包括由固件或开关配置以执行功能的专用硬件组件。在其它示例中，术语电路可以包括由包含可操作以执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中的电路包括硬件和软件的组合的示例实施例中，实施者可以编写包含逻辑的源代码，并且源代码可以被编译成由通用处理单元处理的机器可读代码。由于本领域的技术人员可以理解目前的技术已经发展到硬件、软件、或硬件/软件的组合之间的差异很小的地步，因此选择硬件还是软件来实现特定同能是留给实施者的设计选择。更特别地，本领域的技术人员可以理解软件过程可以被转换为等同的硬件结构，并且硬件结构其自身可以被转换为等同的软件过程。因此，选择硬件实现还是软件实现是留给实施者的一个设计选择。
计算系统220包括典型地包含各种计算机可读介质的计算机241。计算机可读介质可以是能够由计算机241访问的任何可用介质，并且包括易失性和非易失性的介质、可移动和不可移动的介质。系统存储器222包括诸如只读存储器(ROM)223和随机存取存储器(RAM)260等的易失性和/或非易失性存储器形式的计算机存储介质。包含例如在启动期间帮助在计算机241的元素之间传递信息的基本例程的基本输入/输出系统224(BIOS)一般被存储在ROM 223。RAM 260一般包含可以立即访问的和/或现在可以由处理单元259在其上操作的数据和/或程序模块。为了示例而不是限制，图4示出操作系统225、应用程序226、其它程序模块227、以及程序数据228。
计算机241还可以包括其它可移动/不可移动、易失性/非易失性的计算机存储介质。仅为了示例，图4示出向不可移动、非易失性磁性介质读或写的硬盘驱动器238，向可移动、非易失性磁盘254读或写的磁盘驱动器239，以及向例如CD ROM或其它光学介质的可移动、非易失性光盘253读或写的光盘驱动器240。可用于示例性操作环境的其它可移动/不可移动、易失性/非易失性的计算机存储介质包括但不限于，盒式磁带、闪存卡、数字通用光盘、数字视频带、固态RAM、固态ROM等。硬盘驱动器238一般通过例如接口234的不可移动存储器接口连接至系统总线221，并且磁盘驱动器239和光盘驱动器240一般由例如接口235的可移动存储器接口连接至系统总线221。
上述和图4所示的驱动器以及其相关的计算机存储介质，为计算机241提供计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图4中，示出存储操作系统258、应用程序257、其它程序模块256和程序数据255的硬盘驱动器238。注意到这些组件既可以和操作系统225、应用程序226、其它程序模块227以及程序数据228相同也可以不同。此处给定操作系统258、应用程序257、其它程序模块256和程序数据255不同的标号以示出它们至少是不同的副本。用户可以通过例如键盘251以及通常为鼠标、跟踪球或触摸板的定点设备252的输入设备将命令和信息输入到计算机241。其它输入设备(没有示出)可以包括话筒、游戏操纵杆、游戏控制器、碟形卫星天线、扫描仪等。这些和其它输入设备通常通过被耦合至系统总线的用户输入接口236连接至处理单元259，但是也可以由诸如并行端口、游戏端口或通用串行总线(USB)等的其它接口和总线结构连接。照相机36、38和拍摄设备20可以为通过用户输入接口236连接的控制台100定义额外的输入设备。监视器242或其它类型的显示设备也通过诸如视频接口232的接口连接至系统总线221。除了监视器以外，计算机还可以包括诸如扬声器244和打印机243等的其它外围输出设备，该外围输出设备可以通过输出外围设备接口233连接。拍摄设备20可以通过输出外围设备接口233、网络接口237或其它接口连接至计算系统220。
计算机241可以在使用到例如远程计算机246的一个或更多远程计算机的逻辑连接的网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常用网络节点，并且一般包括许多或全部以上相对于计算机241描述的元素，尽管在图4中仅示出了存储器存储设备247。所述逻辑连接包括局域网(LAN)245和广域网(WAN)249，但是也包括其它网络。这些联网环境常见于办公室、企业范围计算机网络、内部网和英特网。
当使用在LAN联网环境中时，计算机241通过网络接口或适配器237连接至LAN 245。当使用在WAN联网环境中时，计算机241一般包括调制解调器250或用于通过例如英特网的WAN 249建立通信的其它手段。内部或外部的调制解调器250可以通过用户输入接口236或其它适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可以被存储在远程存储器存储设备中。为了示例而不是限制，图5示出驻在存储器设备247上的应用程序248。应当理解所示网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其它手段。
图3或4中的任何一个系统、或不同的计算设备，可以用于实现图2的计算系统12。如上所述，计算系统12确定用户的动作，并且使用那些检测到的动作以控制视频游戏或其它应用程序。例如，用户的动作可以用于控制视频游戏中的化身和/或对象。在一些实施例中，系统可以同时跟踪多个用户，并且允许多个用户的动作以控制或影响应用程序。
系统将使用RGB图像和深度图像以跟踪用户的动作。例如，系统将使用深度图像跟踪人的骨骼。有很多可以用于使用深度图像跟踪人的骨骼的方法。使用深度图像跟踪人的骨骼的一个合适示例被提供在第12/603437号美国专利申请，“Pose Tracking Pipeline(姿势跟踪流水线)”，2009年10月21日提出申请，(在下文中用‘437申请指代)，此处参考其全部以并入。‘437申请的过程包括获取深度图像，下采样数据，删除和/或平滑高方差噪声数据，标识和删除背景，以及将每个前景像素分配给身体的不同部分。基于那些步骤，系统将用数据拟合模型并且创建骨骼。骨骼将包括一组关节以及关节之间的连接。
在一个实施例中，为了使用户的动作用于控制应用程序，用户必须首先向应用程序登记或和应用程序绑定。在一个实施例中，将要求每个用户通过站立在系统前来标识自己，从而使得能够通过多个角度获得该用户的深度图像和/或视觉图像。例如，在获取深度图像和视觉图像时，可以要求用户站立在照相机前，转身，以及做各种姿势。在系统获得足够多的深度和/或视觉图像之后，系统将创建来自唯一标识用户的图像的一组标识数据。系统将创建唯一标识，并且将该唯一标识与游戏/应用程序中屏幕上的表示(例如化身)或其它对象相关。在用户登记到(或绑定到)应用程序之后，系统将在用户主动地使用应用程序(例如玩游戏或使用应用程序)时跟踪该用户的动作。但是，在过去，房间中没有主动使用应用程序的其它人(例如没有绑定到应用程序，绑定到应用程序但是现在没有玩游戏，或绑定到应用程序但是现在没有轮到玩)没有与应用程序交互的方法。
图5A到5D描绘需要由系统检测的使用美国手语的不同类型的手语。如此处所述，手语可以包括静态手势或包含动作的手势。手语是使用视觉传递的姿势或手势以表达意思的语言。这可以包括，用于表达说话者思想的手型的同时组合，手、手臂或身体的方向和动作，以及脸部表情中的一个或更多。手语可以包括与口语语法不同的空间语法。上百种手语在全世界使用。美国手语(即ASL)是美国的主要手语。在ASL中，手指拼写主要用于专有名词，用于强调(例如手指拼写STOP比手势‘stop’更加强调)，用于阐明，用于说明。
ASL既包括借鉴于英语的手指拼写，也包括将英语单词中的字母结合到ASL手语中，以区分否则将由ASL中的单个手势涵盖的相关的意思。例如，两手画一个圆表示‘一群人’。可以通过手型来指定若干种类的人群：当用C手型完成时，手势表示‘班级(class)’，当用F手型完成时，手势表示‘家庭(family)’。这些手势通常被称为“初始化”手势，因为它们将对应英语单词的第一个字母(首字母)替换为手型以便提供更具体的意思。
当采用这些方式使用字母时，若干非音位的手型变成独特的。例如，在手指拼写之外还有单手的手型-大拇指的位置是无关的。但是，在手指拼写中，大拇指在手上的位置区分了字母A、S和T。依靠例如大拇指位置的细微区别的结合字母的手势从长远来看是不趋于稳定的，但是它们可以最终创建语言中新的区别。对人的相对手指大小和灵活性太过依赖的手势是不理想的。这可以与使用由大多数说话者轻易复制的声音的口语类比。
在图5A中，示出依照美国手语的手势字母表的示例。字母“A”502、“B”504和“C”506均由静态手势完成，术语静态用在这里以表明在实际表示手势意思时不包含动作。对比于图5B中508处示出的字母“J”。为了完成字母“J”，手采取508处所示的形式，并且还采用沿着线509的动作以表明该字母。其它手势更复杂，包含手和手指两者的动作。图5C示出“付款”的手势，其中用户的右手沿着箭头519从位置516移动到位置518。右手相对于图5C中所示的静止的左手520移动。图5D示出还要更复杂的手势意思“卡片”。如图5D所示，用户的右手和左手511、513以远离彼此的动作沿着相反的方向510和512移动，在此之后用户的手指如514处所示捏紧。
为了提供依照本技术的手语翻译系统，所有这些类型的动作被定义为姿势。姿势识别器190翻译这些姿势、以及脸部和手指动作和位置，并且将检测到的姿势与库193中的姿势比较以提供每个姿势的意思。
类似的手势可以以相对于用户表情或头部倾斜的不同意思出现。例如，图6A示出一个人在做短语“爸爸在家”的手势。图6A和6B的每一幅都示出两个手势“爸爸”和“家”。图6A的左边表明用靠在用户前额610上的右手602做出术语“爸爸”。用户将其右手从位置604跨过其脸颊移动到606以表明“家”的动作。在图6A的左边和右边，用户的脸都是一般无表情的并且面朝观看者。图6B示出相同的手势，但是以疑问的方式摆姿势。图6B的短语不是陈述句“爸爸在家”，而是疑问句“爸爸在家否”或更字面地“爸爸在家吗？”以疑问做出的短语表示来自于用户的表情和用户的头部倾斜。如图6B所示，手势602、604、606是相同的，但是用户在614和616处头略微向左倾斜和扬起眉毛的表情表明表达的是疑问句，而不是陈述句。
图7示出依照本技术用于基于动作跟踪和姿势翻译以提供手语翻译系统的方法。在一个实施例中，在700处标识用户。尽管不是必须的，但是系统10可以为特定用户存储用户动作的单独简档。如以下所述，系统为用户生成特定的骨骼跟踪模型，并且可以用用户简档存储与用户的特定倾向和动作方式有关的模型和简档信息。将已知倾向应用于用户的动作和姿势检测可以增加姿势检测和手语翻译的准确性。
在一个实施例中，执行一系列校准步骤701。在替代的实施例中，701处的校准不是必须的。在步骤702处，姿势校准动作被显示给用户。姿势校准动作可以要求用户执行特定姿势，以便系统理解由给定用户以特定方式用于执行姿势的特定动作。应当意识到可以由系统存储每个单独用户的校准，并且依照由处理设备12检测到的骨骼匹配图案识别不同的用户。一旦校准动作被显示，用户执行校准动作，并且在步骤704处，拍摄用户的动作以用于校准事件。可以重复步骤702和704任意次数以为系统提供所需的准确度。在步骤706处，可以获取用户特征信息。用户特征信息可以包括诸如用户的年龄、性别、兴趣、爱好、收藏或其它信息等的用户人口统计，这些信息可以帮助系统确定用户做出特定手势的概率。在一个实施例中，可以在校准步骤期间通过例如允许用户完成显示器上的调查表来收集特征信息。可以在步骤702、704和706的每一个步骤将校准信息存储到用户简档中。可以为任何数量的姿势和手势重复校准步骤702和704。一旦为给定用户执行校准步骤701，则其不需要被重复。
在708处，监视拍摄设备20视野中的场景是否有用户动作。当用户在场景中做出姿势，跟踪用户的骨骼模型，检测手和脸的动作，以在710处确定姿势是否已经发生。依照以下图10和11中的描述以跟踪用户动作和确定姿势。
在712处，将所识别的姿势与已知手势数据比较，并且如果在714处发现可能的匹配，则在716处将初始手势以及姿势是特定手势的初始概率权重分配给该姿势。姿势动作可以具有用户旨作为给定手势以及姿势旨在做出的大量替代的可能手势的概率。当初始手势被分配给检测到的姿势(N)时，也具有姿势的可能意思的任何数量的可能的替代手势可以被存储在库中。每个手势可以有相对于检测到的姿势的概率权重或分数。例如，姿势的第一替代可以是字母“A”，而第二替代姿势为字母“B”。在用户正确拼写名字并且用户名字已知时，给定的由用户使用的其它手势和/或关于用户的已知数据，通过检测“A”相比于“B”有更多还是更少可能使用来对初始翻译中的错误进行调节。由于手语翻译取决于上下文，即在特定手势之前和之后做出的用户动作和手势，因此在714处方法进一步评价初始确定以基于用户简档信息和相对于动作流中其它手势的手势上下文来确认或修改初始确定。在步骤718处，如果上下文信息可用于特定用户，则在720处接收上下文信息。
如果特征信息是可用的，则在722处，在用户个人特征和被分配给所识别的姿势的初始手势之间进行比较。如果特征信息表明手势不正确，则在724处可以更正手势。以下在图8描述了特征信息和初始手势的比较。附加地和可任选地，在722处如果特征信息确认手势评价的初始分配，则在728处将手势和其它姿势比较。
在726处接收前一姿势，并且在728处进行比较，以确定前一姿势(N-1)是否确认姿势是由系统在716处识别的初始手势的概率。如果是，则在736处将增加分配给初始手势的概率权重，并且在734处使用初始手势生成输出。包括以下关于图12和13所示的输出的任何数量不同类型的输出可以由系统生成。应当进一步意识到尽管在所示方法中输出在734处生成并且存储手势(N)，但是可以在手势被识别并且被分配给检测到的姿势之后的任意点处生成输出。
应当意识到用户可以以动作流连续地提供场景中的手势。基于分配给姿势的姿势过滤器和在动作流中做出的手势的上下文，可以通过识别手势之间的转变将动作和姿势与流中的其它动作分开。
在728处，如果由系统识别的前一姿势和手势不确认分配给姿势的初始手势，则在730处确定前一手势结合可归因于姿势的若干替代可能手势中的一个是否证明向姿势(N)分配新的、修改的手势。如果分配新的手势，则方法返回至716，并且基于来自前一姿势的修改的信息向新手势(N)分配新的概率。如果不是，则在732处降低分配给新手势的概率权重，并且在724处生成输出。
由于系统连续地接收姿势和手势，在738处将翻译基于由用户紧接着初始姿势所做出的另一个姿势的下一个手势(N+1)，并且检索下一个姿势。下一个姿势将具有分配给其的概率，并且可以用于确定先前分配的姿势(在这一情况下为手势(N))是否可能是已经在716处被分配到姿势的手势。在740处，将关于手势N的初始分配手势的比较与下一个手势(N＝！)比较以确定下一个手势的上下文是否确认初始手势。在742处可以确定初始手势的新手势，并且如果为初始手势确定了新手势，则在步骤742处可以改变输出。
图8示出可以在726处执行以评价上下文信息是否确认分配给姿势的手势的过程。在802处，对用户个人人口统计信息中的每个特征，在步骤804处确定人口统计是增加还是降低分配给姿势的手势正确的概率。如果考虑到人口统计手势是可能的，则在806处增加分配给手势的权重。如果不是，则在808处减少该权重。这一确定为每个人的每个人口统计信息而持续进行。应当注意并不是所有人口统计信息与所有手势相关。人口统计信息可以包括用户的性别、母语、位置、历史、收藏等。在812处，一旦相对分配的手势检查了所有相关的人口统计信息，就基于库中替代的手势相对于所分配手势(N)的修改分数的已调节权重具有较高概率权重的概率，确定这些替代的手势是否是较佳匹配。
图9示出在步骤728或740处发生以确定分配给前一/下一个姿势的前一手势或下一个手势是否确认所分配的手势的过程。在902处，检索前一/下一个姿势以及分配给前一或下一个姿势的手势。在步骤904处，系统查询字典以确定额外的手势是否可能与前一姿势相邻。库可以包含上下文数据库，该上下文数据库包括标识特定单词(在这一情况下的手势)邻近其它单词或手势出现的可能性的手势交际信息。可以相对于彼此比较手势部分以确定分配给每个邻近姿势的手势在语言学上下文中有意义。这可以用于用高概率的准确性定义语句结构。在906处，确定匹配的手势是否可能被放置为邻近前一或下一个手势。如果是，则在908处可以确认分配的手势。如果不是，则在910处确定分配给姿势的手势是否将永远不邻近前一手势。如果是，则在912处丢弃手势。如果在910处分配的手势可以邻近前一或下一个手势，则在912处确定另一个手势是否比分配的手势更可能邻近前一或下一个手势。如果是，则在914处做出指示以改变手势(图7中可以在730或742处发生)。如果不是，在916处确认手势。
图10A描绘可以采用上述方式由拍摄设备20生成的用户的示例骨骼映射。在这一示例中，标识了各种关节和骨头：每只手402、每只前臂404、每个手肘406、每个二头肌408、每个肩膀410、每个臀部412、每条大腿414、每个膝关节416、每条小腿418、每只脚420、头422、躯干424、脊椎的顶部426和底部428、腰部430。如果跟踪了更多的点，则可以标识额外的特征，例如手指或脚趾的骨头和关节、或者诸如鼻子和眼睛等的脸的单独特征。
通过移动身体，用户可以创建姿势。姿势包括可以被拍摄为图像数据并且解析为意思的用户的动作或姿势。姿势可以是动态的，包括例如模仿抛球的动作。姿势可以是静态的姿势，例如在躯干424前保持交叉的前臂404。姿势还可以结合道具，例如通过挥舞假的剑。姿势可以包括多于一个的身体部分，例如一起拍手402，或者包含细微的动作，例如撅嘴。
姿势可以用于在一般计算上下文中输入。例如，手402或其它身体部分的各种动作可以对应于诸如在层次菜单结构中向上级或向下级导航、在菜单列表中滚动项目、打开文件、关闭文件和保存文件等的通常的系统范围任务。取决于游戏，姿势还可以用在视频游戏特定的上下文中。例如，对于驾驶游戏，手402和脚420的各种动作可以对应于向一个方向驾驶车辆、换挡、加速和刹车。
姿势参数可以包括阈值角度(例如臀部-大腿角度、前臂-二头肌角度等)、动作发生或不发生的时间段的次数，阈值时间段、阈值位置(例如起点、终点)、方向动作、速度、加速度、动作的协调等。
姿势可以与一组默认参数相关，该默认参数可以由应用程序或操作系统用自己的参数取代。在这一场景中，不强迫应用程序提供参数，但是可以替代地使用使得能够在没有应用程序定义的参数的情况下识别姿势的一组默认参数。
有各种与姿势相关的输出。可以是关于姿势是否发生的底线“是或否”。还可以是对应于用户跟踪到的动作与姿势对应的可能性的置信度。这可以是范围跨包括在0和1之间的浮点数的线性标度。在接收这一姿势信息的应用程序不能够接受误报作为输入的地方，它将仅使用具有例如至少0.95的高置信度的那些识别的姿势。在应用程序必须识别姿势的每个实例时，即便以误报为代价，它也要使用至少具有低得多的置信度的姿势，例如那些仅大于0.2的置信度。姿势可以具有两个最近步骤之间时间的输出，并且在仅注册了第一步骤的地方，这一输出被设为例如-1的预留值(因为任何两个步骤之间的时间必须是正的)。姿势还可以具有在最近步骤中达到的最高大腿角度的输出。
姿势的另一个参数可以是移动的距离。在用户的姿势控制虚拟环境中化身动作的地方，该化身可以距球一个手臂的长度。如果用户想要与球交互并且抓住它，这则要求用户在做抓球的姿势时伸展其手臂402-410至全长。在这一情况下，用户仅部分伸展其手臂402-410的类似的抓的姿势不会达到与球交互的结果。
姿势或其部分可以有它在其中一定发生的空间体积作为参数。可以一般地关于身体以表达这一空间体积，其中姿势包括身体动作。例如，可以仅在不低于右肩410a的空间体积中识别右手用户投掷橄榄球的姿势，并且在头422同侧上被识别为投掷手臂402a-410a。定义体积的边界并不一定是必要的，例如使用这一投掷姿势，远离身体的外部边界被留下而没有定义，并且体积无限地伸出，或者到达被监控的拍摄区域的边缘。
图10B提供图2中姿势识别器引擎190的一个示例性实施例的进一步的细节。如图所示，姿势识别器引擎190可以包括库450a中的至少一个过滤器450以确定一个或多个姿势。过滤器450包括定义姿势452(在下文中指代为“姿势”)以及该姿势的元数据454的参数。过滤器可以包括可识别姿势或者以其他方式处理深度、RGB或骨骼数据的代码和相关数据。例如，包括用户的一只手从身体后部穿过身体前部的动作的投掷，可以实现为包括表示用户的一只手从身体后部穿过身体前部的动作的信息的姿势452，而该动作可以由深度照相机拍摄。然后可以为该姿势452设置参数454。在姿势452为投掷的地方，参数454可以是手必须达到的阈值速度，手必须移动的距离(既可以是绝对的，也可以是整体上相对于用户的大小)，以及由识别器引擎评价的姿势发生的置信度。姿势452的这些参数454可以在应用程序之间，在单个应用程序的上下文之间，或在一个应用程序的一个上下文中跨时间改变。
过滤器可以包括可识别姿势或者以其他方式处理深度、RGB或骨骼数据的代码和相关数据。过滤器可以是模块化的或可交换的。在实施例中，过滤器有每个输入都具有类型的大量输入，以及每个输出都具有类型的大量输出。在这种情况下，可以用具有和第一过滤器相同数量和类型的输入和输出的第二过滤器来替换第一过滤器，而不改变识别器引擎体系结构的任何其它方面。例如，有用于驾驶的第一过滤器，该第一过滤器将骨骼数据作为输入，并且输出与过滤器相关的姿势正在发生的置信度和转向的角度。当想要用第二驾驶过滤器替换这个第一驾驶过滤器时，也许是因为第二驾驶过滤器更有效并且需要较少的处理资源，只要第二过滤器具有相同的输入和输出，即骨骼数据类型的一个输入以及置信度类型和角度类型的两个输出，则可以通过简单地用第二过滤器替换第一过滤器来实现。
过滤器不需要有参数。例如，返回用户身高的“用户身高”过滤器不考虑可以被调整的参数。替代的“用户身高”过滤器可以有可调参数，例如用于在确定用户身高时是否说明用户的鞋子、发型、头饰和姿势。
过滤器的输入可以包括诸如与用户的关节位置有关的关节数据，在关节处相交的骨头形成的可能角度，来自拍摄区域的RGB颜色数据，以及用户方面的变化速率等。过滤器的输出可以包括诸如做出给定姿势的置信度，做出姿势动作的速度，以及做出姿势动作的时间等。
姿势识别器引擎190可以具有向姿势过滤器450提供功能的基识别器引擎。在实施例中，基识别器引擎456实现的功能包括跟踪所识别的姿势和其它输入的跨时间输入存档，隐马尔可夫模型实现过程(其中模型系统被假设为具有未知参数的马尔可夫过程，在马尔可夫过程中当前状态封装确定未来状态所需的任何过去状态信息，从而为了这一目的不需要维护其它过去状态信息，并且隐藏的参数由可观测的数据确定)，以及解决姿势识别的特定实例所需的其它功能。
过滤器450在基识别器引擎456的顶部被加载和实现，并且可以使用由引擎456向所有过滤器450提供的服务。在实施例中，基识别器引擎456处理接收到的数据以确定其是否满足任何过滤器450的要求。由于例如解析输出的这些提供的服务由基识别器引擎456提供一次，而不是由每个过滤器450提供，因此这一服务在一时间段中仅需处理一次，而不是在该时间段为每个过滤器450处理一次，从而减少了确定姿势所需的处理。
应用程序可以使用由识别器引擎190提供的过滤器450，或者它可以提供插入基识别器引擎456的自己的过滤器450。在实施例中，所有过滤器450有共同的接口以启用这一插件特征。此外，所有过滤器450可以使用参数454，从而以下所述的单个姿势工具可以用于调试和调整整个过滤器系统。可以由姿势工具为应用程序或应用程序的上下文调整这些参数454。
图10C示出连同手和手臂所做出的手势分类使用的更精细的跟踪模型。在该图的左手边示出做出“PAY(付款)”的姿势的用户。邻近所示用户示出对应的跟踪模型470。图10C中的模型具有比图10A所示的模型更高的分辨率模型。图10C中的模型包括用户的手480、手腕481、和用户右臂的手肘483的元素，以及左臂的对应元素484-486。如此处所示，当用户沿着动作线519移动手518时，至少为点481(从481a到481b)、482(从482a到482b)和483(从483a到483b)跟踪对应的动作。
图10D和10E示出和手势一起使用的跟踪模型。在图10D中，模型可以至少包括用于用户的手的点804a-804m，以及手腕点808、手肘806、前臂802、上臂809和肩膀810。图10E示出图10D的手模型800，该手模型示出使用ASL惯例的字母“a”、“b”和“c”的姿势(为了清晰在图10E省略标号)。
图11和12示出由输出生成器188在显示器16上生成的输出的两个示例。在图14中，用户在做付款的姿势，并且单词“PAY(付款)”将出现在显示器16上的19处。在这一情况下，紧靠着在窗口27中提供的在21处用户的表示定位了单词“PAY(付款)”。表示21可以是用户的真实表示，或者依照名为“Auto Generating a Visual Representation(自动生成视觉表示)”的第12/511850号美国专利申请的教导所生成的化身。如图12所示，在19处可以示出一系列姿势的完整上下文。在图12中，用户正在完成晚(late)的手势，并且已经在先前完成了定义多个单词“我们到达”的一组手势。可以依照本技术提供任何数量的不同类型的用户接口。
虽然用结构特征和/或方法动作专用的语言描述了本主题，但应当理解，所附权利要求书中定义的主题不必限于上述的具体特征或动作。相反，上述具体特征与动作是作为实现所述权利要求书的示例性形式公开的。旨在由所附权利要求书定义本技术的范围。

Claims (10)

1.一种用于翻译手语的计算机实现的方法，包括：
使用拍摄设备拍摄场景，所述场景包括人物目标；
跟踪场景中人物目标的动作；
检测场景中人物目标的一个或更多姿势；
将一个或更多姿势与手语手势库比较；
确定一个或更多姿势与一个或更多手势之间的匹配；以及
生成指示一个或更多手势的视觉翻译的输出。
2.如权利要求1所述的计算机实现方法，其特征在于，所述检测步骤包括使用RGB照相机和深度照相机以检测姿势。
3.如权利要求1所述的计算机实现方法，其特征在于，所述检测步骤至少包括检测第一和第二邻近的姿势，并且所述确定包括确定第一和第二邻近的姿势分别与第一手势和第二手势的匹配。
4.如权利要求3所述的计算机实现方法，其特征在于，还包括相对于彼此比较第一和第二手势以确定在第一手势与第一姿势之间匹配的准确性。
5.如权利要求4所述的计算机实现方法，其特征在于，所述检测步骤进一步包括检测第二手势之后的第三手势，并且还包括将第一手势和第三手势与第二手势比较以确定第二姿势的第二手势的准确性。
6.如权利要求5所述的计算机实现方法，其特征在于，每个比较步骤包括确定每个手势是否在语义学上下文中有意义。
7.如权利要求5所述的计算机实现方法，其特征在于，还包括获取用户人口统计信息的步骤，并且还包括将每个匹配与用户人口统计信息比较以验证该匹配的准确性。
8.如权利要求1所述的计算机实现方法，其特征在于，所述确定匹配的步骤包括分配指示姿势和手势之间匹配的强度的概率权重。
9.如权利要求8所述的计算机实现方法，其特征在于，所述比较步骤包括基于获取的用户信息和语法信息以调节每个检测到的手势的概率权重，并且将每个概率权重与可能被分配给所检测的姿势的其它手势比较。
10.如权利要求1所述的计算机实现方法，其特征在于，所述确定匹配的步骤包括：
分配第一手势给所检测的姿势；
分配第二手势给邻近的所检测的姿势；以及
比较第一和第二手势以验证第二手势的准确性。
CN201110159925.7A 2010-06-04 2011-06-03 用于翻译手语的计算机实现的方法 Active CN102222431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/794,455 US8751215B2 (en) 2010-06-04 2010-06-04 Machine based sign language interpreter
US12/794,455 2010-06-04

Publications (2)

Publication Number Publication Date
CN102222431A true CN102222431A (zh) 2011-10-19
CN102222431B CN102222431B (zh) 2014-03-05

Family

ID=44778973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110159925.7A Active CN102222431B (zh) 2010-06-04 2011-06-03 用于翻译手语的计算机实现的方法

Country Status (2)

Country Link
US (2) US8751215B2 (zh)
CN (1) CN102222431B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309452A (zh) * 2013-06-26 2013-09-18 珠海金山办公软件有限公司 文件存盘方法与系统
CN104395859A (zh) * 2012-06-26 2015-03-04 利奥波德·科世达责任有限股份公司 用于机动车辆的操作系统
CN105518576A (zh) * 2013-06-28 2016-04-20 陈家铭 根据手势的控制装置操作
CN105528061A (zh) * 2014-09-30 2016-04-27 财团法人成大研究发展基金会 手势辨识系统
CN105637531A (zh) * 2013-10-19 2016-06-01 德尔格制造股份两合公司 人体姿势识别
CN106293083A (zh) * 2016-08-07 2017-01-04 苏州苍龙电子科技有限公司 一种大屏幕交互系统及其交互方法
CN106598361A (zh) * 2016-12-27 2017-04-26 美的智慧家居科技有限公司 投影触控装置及家用电器
CN107111746A (zh) * 2014-10-30 2017-08-29 微软技术许可有限责任公司 根据原始飞行时间图像的模型拟合
CN107169449A (zh) * 2017-05-14 2017-09-15 吉林大学 基于深度传感器的中文手语翻译方法
CN108766127A (zh) * 2018-05-31 2018-11-06 京东方科技集团股份有限公司 手语交互方法、设备、装置和存储介质
CN108829253A (zh) * 2018-06-19 2018-11-16 北京科技大学 一种模拟音乐指挥播放方法及装置
CN109144260A (zh) * 2018-08-24 2019-01-04 上海商汤智能科技有限公司 动态动作检测方法、动态动作控制方法及装置
CN109552340A (zh) * 2017-09-22 2019-04-02 奥迪股份公司 用于车辆的手势和表情控制
CN109923462A (zh) * 2016-09-13 2019-06-21 奇跃公司 感测眼镜
CN110036357A (zh) * 2016-10-12 2019-07-19 英智爱软件股份公司 控制用户界面的方法、程序及装置
CN111164603A (zh) * 2017-10-03 2020-05-15 富士通株式会社 姿势识别系统、图像修正程序以及图像修正方法
CN111736702A (zh) * 2019-06-27 2020-10-02 谷歌有限责任公司 利用计算设备的意图检测
US11221681B2 (en) 2017-12-22 2022-01-11 Beijing Sensetime Technology Development Co., Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction

Families Citing this family (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8190419B1 (en) 2006-09-11 2012-05-29 WordRake Holdings, LLC Computer processes for analyzing and improving document readability
EP3117768B1 (en) 2006-05-19 2019-11-06 The Queen's Medical Center Motion tracking system and method for real time adaptive imaging and spectroscopy
US9001036B2 (en) 2007-12-20 2015-04-07 University Of Central Florida Research Foundation, Inc. Systems and methods of camera-based fingertip tracking
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
EP2593847A4 (en) * 2010-07-15 2017-03-15 Hewlett-Packard Development Company, L.P. First response and second response
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
US9031286B2 (en) * 2010-12-09 2015-05-12 Panasonic Corporation Object detection device and object detection method
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
WO2012160566A1 (en) * 2011-05-23 2012-11-29 Hewlett-Packard Development Company, L.P. Multimodal interactions based on body postures
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
TWI484450B (zh) * 2011-08-23 2015-05-11 Hon Hai Prec Ind Co Ltd 手語翻譯系統、手語翻譯裝置及手語翻譯方法
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9251409B2 (en) * 2011-10-18 2016-02-02 Nokia Technologies Oy Methods and apparatuses for gesture recognition
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
CN102609684B (zh) * 2012-01-16 2013-12-18 宁波江丰生物信息技术有限公司 人体姿势检测方法及装置
US20130212501A1 (en) * 2012-02-10 2013-08-15 Glen J. Anderson Perceptual computing with conversational agent
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
TWI590098B (zh) * 2012-05-09 2017-07-01 劉鴻達 以臉部表情為輸入的控制系統
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
CA2875815A1 (en) * 2012-06-12 2014-01-09 University Of Central Florida Research Foundation, Inc. Systems and methods of camera-based body-motion tracking
US9672209B2 (en) * 2012-06-21 2017-06-06 International Business Machines Corporation Dynamic translation substitution
US8819812B1 (en) * 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input
US9230160B1 (en) * 2012-08-27 2016-01-05 Amazon Technologies, Inc. Method, medium, and system for online ordering using sign language
US9360932B1 (en) * 2012-08-29 2016-06-07 Intellect Motion Llc. Systems and methods for virtually displaying real movements of objects in a 3D-space by means of 2D-video capture
US20140073383A1 (en) * 2012-09-12 2014-03-13 Industrial Technology Research Institute Method and system for motion comparison
TWI464696B (zh) * 2012-09-12 2014-12-11 Ind Tech Res Inst 動作比對方法與動作比對系統
US9081413B2 (en) * 2012-11-20 2015-07-14 3M Innovative Properties Company Human interaction system based upon real-time intention detection
US9530213B2 (en) 2013-01-02 2016-12-27 California Institute Of Technology Single-sensor system for extracting depth information from image blur
US9322653B2 (en) * 2013-01-16 2016-04-26 Disney Enterprises, Inc. Video-based motion capture and adaptation
US20140207438A1 (en) * 2013-01-21 2014-07-24 Raanan Liebermann ASL Converter
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9275277B2 (en) * 2013-02-22 2016-03-01 Kaiser Foundation Hospitals Using a combination of 2D and 3D image data to determine hand features information
US9524028B2 (en) * 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US9448634B1 (en) * 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
US20140301603A1 (en) * 2013-04-09 2014-10-09 Pointgrab Ltd. System and method for computer vision control based on a combined shape
US9234742B2 (en) * 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US20150017622A1 (en) * 2013-07-12 2015-01-15 Qussay Abdulatteef Jasim Al-Ani Human body movements control using digital computer controlled light signals-written dance language
US9717118B2 (en) 2013-07-16 2017-07-25 Chia Ming Chen Light control systems and methods
KR20150026649A (ko) * 2013-09-03 2015-03-11 삼성전자주식회사 전자 장치에서 제스처를 설정하는 장치 및 방법
KR102408940B1 (ko) * 2013-10-01 2022-06-14 퀀텀 인터페이스, 엘엘씨 전기 디바이스와 소프트웨어 프로그램을 제어하는 장치 및 이를 제조하고 이용하는 방법
US20150092040A1 (en) * 2013-10-01 2015-04-02 Broadcom Corporation Gesture-Based Industrial Monitoring
US9495351B1 (en) * 2013-10-20 2016-11-15 Mary Shawver Writing a visual language
CN103578329A (zh) * 2013-10-25 2014-02-12 西安理工大学 手语翻译智能装置及其使用方法
US10283162B2 (en) 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
US20150254235A1 (en) * 2014-03-06 2015-09-10 Boyd Whitley Sign Language Translation
WO2015143114A1 (en) * 2014-03-21 2015-09-24 Thomson Licensing Sign language translation apparatus with smart glasses as display featuring a camera and optionally a microphone
WO2015148391A1 (en) 2014-03-24 2015-10-01 Thomas Michael Ernst Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US20160042228A1 (en) * 2014-04-14 2016-02-11 Motionsavvy, Inc. Systems and methods for recognition and translation of gestures
US10406967B2 (en) 2014-04-29 2019-09-10 Chia Ming Chen Light control systems and methods
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
KR20150130808A (ko) * 2014-05-14 2015-11-24 삼성전자주식회사 사용자의 공간 제스처를 식별하는 방법 및 장치
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US20150356780A1 (en) * 2014-06-05 2015-12-10 Wipro Limited Method for providing real time guidance to a user and a system thereof
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US20160078289A1 (en) * 2014-09-16 2016-03-17 Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer Gesture Recognition Apparatuses, Methods and Systems for Human-Machine Interaction
KR101729195B1 (ko) * 2014-10-16 2017-04-21 한국전자통신연구원 질의동작기반 안무 검색 시스템 및 방법
US10775996B2 (en) 2014-11-26 2020-09-15 Snap Inc. Hybridization of voice notes and calling
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
CN104571511B (zh) * 2014-12-30 2018-04-27 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法
EP3051385A1 (en) * 2015-01-30 2016-08-03 4tiitoo GmbH Method and system for object detection
KR102371138B1 (ko) 2015-03-18 2022-03-10 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US10373024B2 (en) * 2015-04-02 2019-08-06 Hitachi, Ltd. Image processing device, object detection device, image processing method
WO2016168591A1 (en) * 2015-04-16 2016-10-20 Robert Bosch Gmbh System and method for automated sign language recognition
CN107209556B (zh) * 2015-04-29 2020-10-16 惠普发展公司有限责任合伙企业 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法
US9668217B1 (en) 2015-05-14 2017-05-30 Snap Inc. Systems and methods for wearable initiated handshaking
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
CN104978886A (zh) * 2015-06-29 2015-10-14 广西瀚特信息产业股份有限公司 一种基于体感技术的手语翻译系统及处理方法
US10210580B1 (en) * 2015-07-22 2019-02-19 Intuit Inc. System and method to augment electronic documents with externally produced metadata to improve processing
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
USD788223S1 (en) * 2015-08-11 2017-05-30 Barbara J. Grady Sign language displaying communicator
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US11854308B1 (en) * 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
WO2017200553A1 (en) * 2016-05-20 2017-11-23 Ford Global Technologies, Llc Sign language inputs to a vehicle user interface
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10628664B2 (en) 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
US11404056B1 (en) 2016-06-30 2022-08-02 Snap Inc. Remoteless control of drone behavior
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
CN110062683B (zh) * 2016-12-12 2023-04-28 微软技术许可有限责任公司 一种机器人姿态生成的方法、装置及计算机可读介质
US10037458B1 (en) * 2017-05-02 2018-07-31 King Fahd University Of Petroleum And Minerals Automated sign language recognition
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US11323398B1 (en) 2017-07-31 2022-05-03 Snap Inc. Systems, devices, and methods for progressive attachments
US11204949B1 (en) 2017-07-31 2021-12-21 Snap Inc. Systems, devices, and methods for content selection
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
WO2019043350A1 (en) * 2017-09-01 2019-03-07 Hoarton, Lloyd SYSTEM AND METHOD FOR TEACHING THE LANGUAGE OF SIGNS
US10176366B1 (en) 2017-11-01 2019-01-08 Sorenson Ip Holdings Llc Video relay service, communication system, and related methods for performing artificial intelligence sign language translation services in a video relay service environment
US11263409B2 (en) * 2017-11-03 2022-03-01 Board Of Trustees Of Michigan State University System and apparatus for non-intrusive word and sentence level sign language translation
US10909333B2 (en) 2017-11-07 2021-02-02 Carrier Corporation Machine interpretation of distress situations using body language
US11847426B2 (en) * 2017-11-08 2023-12-19 Snap Inc. Computer vision based sign language interpreter
US10867054B2 (en) 2017-11-14 2020-12-15 Thomas STACHURA Information security/privacy via a decoupled security accessory to an always listening assistant device
US10999733B2 (en) 2017-11-14 2021-05-04 Thomas STACHURA Information security/privacy via a decoupled security accessory to an always listening device
US10867623B2 (en) 2017-11-14 2020-12-15 Thomas STACHURA Secure and private processing of gestures via video input
US11100913B2 (en) 2017-11-14 2021-08-24 Thomas STACHURA Information security/privacy via a decoupled security cap to an always listening assistant device
US10872607B2 (en) 2017-11-14 2020-12-22 Thomas STACHURA Information choice and security via a decoupled router with an always listening assistant device
CN109841140B (zh) * 2017-11-28 2021-04-27 合肥欣奕华智能机器有限公司 示教器及其操作方法、计算装置和计算机可读介质
US10896298B2 (en) 2017-12-04 2021-01-19 Verizon Patent And Licensing Inc. Systems and methods for configuring an automatic translation of sign language in a video conference
US10567321B2 (en) 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
US10489639B2 (en) * 2018-02-12 2019-11-26 Avodah Labs, Inc. Automated sign language translation and communication using multiple input and output modalities
US10289903B1 (en) * 2018-02-12 2019-05-14 Avodah Labs, Inc. Visual sign language translation training device and method
WO2019157344A1 (en) 2018-02-12 2019-08-15 Avodah Labs, Inc. Real-time gesture recognition method and apparatus
US10304208B1 (en) 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
US10885320B2 (en) 2018-05-03 2021-01-05 Microsoft Technology Licensing, Llc Enhanced accessibility in mixed reality experience for collaboration tools
US11063889B2 (en) 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
US11850514B2 (en) 2018-09-07 2023-12-26 Vulcan Inc. Physical games enhanced by augmented reality
US11670080B2 (en) 2018-11-26 2023-06-06 Vulcan, Inc. Techniques for enhancing awareness of personnel
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
JP7295046B2 (ja) * 2019-01-23 2023-06-20 株式会社ミツバ 装置操作システムおよび装置制御方法
WO2020160683A1 (en) 2019-02-07 2020-08-13 Thomas Stachura Privacy device for smart speakers
US11950577B2 (en) 2019-02-08 2024-04-09 Vale Group Llc Devices to assist ecosystem development and preservation
WO2020198070A1 (en) 2019-03-22 2020-10-01 Vulcan Inc. Underwater positioning system
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11019011B1 (en) 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
US11435845B2 (en) * 2019-04-23 2022-09-06 Amazon Technologies, Inc. Gesture recognition based on skeletal model vectors
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
US11151794B1 (en) 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
CN110472548B (zh) * 2019-08-08 2022-03-01 中国科学技术大学 一种基于语法分类器的视频连续手语识别方法及系统
CN114391160A (zh) 2019-09-09 2022-04-22 斯纳普公司 根据立体相机的手部姿势估计
CN111178138B (zh) * 2019-12-04 2021-01-12 国电南瑞科技股份有限公司 基于激光点云和双目视觉的配网导线作业点检测方法及装置
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
US11265274B1 (en) 2020-02-28 2022-03-01 Snap Inc. Access and routing of interactive messages
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11675494B2 (en) 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
WO2021211632A1 (en) * 2020-04-13 2021-10-21 Proxy, Inc. Authorized remote control device gesture control methods and apparatus
US11991469B2 (en) 2020-06-30 2024-05-21 Snap Inc. Skeletal tracking for real-time virtual effects
KR20230047480A (ko) 2020-08-13 2023-04-07 스냅 인코포레이티드 포즈 구동형 가상 효과들을 위한 사용자 인터페이스
US11671559B2 (en) 2020-09-30 2023-06-06 Snap Inc. Real time video editing
US11587362B2 (en) * 2020-12-16 2023-02-21 Lenovo (Singapore) Pte. Ltd. Techniques for determining sign language gesture partially shown in image(s)
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
EP4272406A1 (en) 2020-12-29 2023-11-08 Snap Inc. Body ui for augmented reality components
CN116670635A (zh) 2020-12-31 2023-08-29 斯纳普公司 具有触觉反馈的实时视频通信界面
CN116685941A (zh) 2020-12-31 2023-09-01 斯纳普公司 具有触觉反馈增强的媒体内容项
CN116648687A (zh) 2020-12-31 2023-08-25 斯纳普公司 具有触觉反馈响应的电子通信界面
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
USD998637S1 (en) 2021-03-16 2023-09-12 Snap Inc. Display screen or portion thereof with a graphical user interface
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
US11503361B1 (en) * 2021-07-26 2022-11-15 Sony Group Corporation Using signing for input to search fields
CN113780013A (zh) * 2021-07-30 2021-12-10 阿里巴巴（中国）有限公司 一种翻译方法、设备和可读介质
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US20230251721A1 (en) * 2022-01-17 2023-08-10 Vipin Singh Gesture-Based and Video Feedback Machine
US11579747B1 (en) 2022-03-14 2023-02-14 Snap Inc. 3D user interface depth forgiveness
US20230359280A1 (en) * 2022-05-09 2023-11-09 KaiKuTek Inc. Method of customizing hand gesture
US11960653B2 (en) 2022-05-10 2024-04-16 Snap Inc. Controlling augmented reality effects through multi-modal human interaction
US11995780B2 (en) 2022-09-09 2024-05-28 Snap Inc. Shooting interaction using augmented reality content in a messaging system
US11948266B1 (en) 2022-09-09 2024-04-02 Snap Inc. Virtual object manipulation with gestures in a messaging system
US11797099B1 (en) 2022-09-19 2023-10-24 Snap Inc. Visual and audio wake commands
US11747912B1 (en) 2022-09-22 2023-09-05 Snap Inc. Steerable camera for AR hand tracking

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666400A (en) * 1994-07-07 1997-09-09 Bell Atlantic Network Services, Inc. Intelligent recognition
US20020152077A1 (en) * 2001-04-12 2002-10-17 Patterson Randall R. Sign language translator
US20030191779A1 (en) * 2002-04-05 2003-10-09 Hirohiko Sagawa Sign language education system and program therefor
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US20050271279A1 (en) * 2004-05-14 2005-12-08 Honda Motor Co., Ltd. Sign based human-machine interaction
WO2009026337A1 (en) * 2007-08-20 2009-02-26 Gesturetek, Inc. Enhanced rejection of out-of-vocabulary words
CN101539994A (zh) * 2009-04-16 2009-09-23 西安交通大学 一种手语语音互译系统及手语语音互译方法
CN101605399A (zh) * 2008-06-13 2009-12-16 英华达(上海)电子有限公司 一种实现手语识别的移动终端及方法

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6477239B1 (en) * 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
AU3283497A (en) 1996-05-08 1997-11-26 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
EP2026035A2 (en) 1998-12-16 2009-02-18 3DV Systems Ltd. 3D camera for distance measurements
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
JP3624733B2 (ja) * 1999-01-22 2005-03-02 株式会社日立製作所 手話メール装置及び手話情報処理装置
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
WO2003089277A1 (de) 2002-04-19 2003-10-30 Iee International Electronics & Engineering S.A. Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US8494859B2 (en) 2002-10-15 2013-07-23 Gh, Llc Universal processing system and methods for production of outputs accessible by people with disabilities
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7277858B1 (en) * 2002-12-20 2007-10-02 Sprint Spectrum L.P. Client/server rendering of network transcoded sign language content
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
US7853041B2 (en) 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
JP5080273B2 (ja) 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
FR2884023B1 (fr) * 2005-03-31 2011-04-22 Erocca Dispositif pour la communication par des personnes handicapees de la parole et/ou de l'ouie
RU2007146172A (ru) 2005-05-17 2009-06-27 Гестуретэк, Инк. (Us) Вывод сигнала, чувствительный к ориентации
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US20070057912A1 (en) 2005-09-14 2007-03-15 Romriell Joseph N Method and system for controlling an interface of a device through motion gestures
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7949157B2 (en) 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
EP2203893A4 (en) 2007-10-30 2014-05-07 Hewlett Packard Development Co INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666400A (en) * 1994-07-07 1997-09-09 Bell Atlantic Network Services, Inc. Intelligent recognition
US20020152077A1 (en) * 2001-04-12 2002-10-17 Patterson Randall R. Sign language translator
US20030191779A1 (en) * 2002-04-05 2003-10-09 Hirohiko Sagawa Sign language education system and program therefor
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US20050271279A1 (en) * 2004-05-14 2005-12-08 Honda Motor Co., Ltd. Sign based human-machine interaction
WO2009026337A1 (en) * 2007-08-20 2009-02-26 Gesturetek, Inc. Enhanced rejection of out-of-vocabulary words
CN101605399A (zh) * 2008-06-13 2009-12-16 英华达(上海)电子有限公司 一种实现手语识别的移动终端及方法
CN101539994A (zh) * 2009-04-16 2009-09-23 西安交通大学 一种手语语音互译系统及手语语音互译方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHILIPPE DREUW;HERMANN NEY: "Visual Modeling and Feature Adaptation in Sign Language Recognition", 《IEEE 2008 ITG CONFERENCE ON VOICE COMMUNICATION》, 10 October 2008 (2008-10-10), pages 1 - 4 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104395859A (zh) * 2012-06-26 2015-03-04 利奥波德·科世达责任有限股份公司 用于机动车辆的操作系统
CN104395859B (zh) * 2012-06-26 2017-03-08 利奥波德·科世达责任有限股份公司 用于机动车辆的操作系统
CN103309452A (zh) * 2013-06-26 2013-09-18 珠海金山办公软件有限公司 文件存盘方法与系统
CN105518576A (zh) * 2013-06-28 2016-04-20 陈家铭 根据手势的控制装置操作
CN105518576B (zh) * 2013-06-28 2019-04-16 陈家铭 根据手势的控制装置操作
CN105637531A (zh) * 2013-10-19 2016-06-01 德尔格制造股份两合公司 人体姿势识别
CN105528061A (zh) * 2014-09-30 2016-04-27 财团法人成大研究发展基金会 手势辨识系统
CN107111746B (zh) * 2014-10-30 2020-10-23 微软技术许可有限责任公司 根据原始飞行时间图像的模型拟合
CN107111746A (zh) * 2014-10-30 2017-08-29 微软技术许可有限责任公司 根据原始飞行时间图像的模型拟合
CN106293083A (zh) * 2016-08-07 2017-01-04 苏州苍龙电子科技有限公司 一种大屏幕交互系统及其交互方法
CN109923462A (zh) * 2016-09-13 2019-06-21 奇跃公司 感测眼镜
CN109923462B (zh) * 2016-09-13 2021-07-09 奇跃公司 感测眼镜
CN110036357A (zh) * 2016-10-12 2019-07-19 英智爱软件股份公司 控制用户界面的方法、程序及装置
CN106598361A (zh) * 2016-12-27 2017-04-26 美的智慧家居科技有限公司 投影触控装置及家用电器
CN107169449A (zh) * 2017-05-14 2017-09-15 吉林大学 基于深度传感器的中文手语翻译方法
CN109552340A (zh) * 2017-09-22 2019-04-02 奥迪股份公司 用于车辆的手势和表情控制
CN109552340B (zh) * 2017-09-22 2022-04-19 奥迪股份公司 用于车辆的手势和表情控制
CN111164603A (zh) * 2017-10-03 2020-05-15 富士通株式会社 姿势识别系统、图像修正程序以及图像修正方法
US11221681B2 (en) 2017-12-22 2022-01-11 Beijing Sensetime Technology Development Co., Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction
CN108766127A (zh) * 2018-05-31 2018-11-06 京东方科技集团股份有限公司 手语交互方法、设备、装置和存储介质
CN108829253A (zh) * 2018-06-19 2018-11-16 北京科技大学 一种模拟音乐指挥播放方法及装置
CN108829253B (zh) * 2018-06-19 2021-06-01 北京科技大学 一种模拟音乐指挥播放方法及装置
CN109144260A (zh) * 2018-08-24 2019-01-04 上海商汤智能科技有限公司 动态动作检测方法、动态动作控制方法及装置
US11455836B2 (en) 2018-08-24 2022-09-27 Shanghai Sensetime Intelligent Technology Co., Ltd. Dynamic motion detection method and apparatus, and storage medium
CN111736702A (zh) * 2019-06-27 2020-10-02 谷歌有限责任公司 利用计算设备的意图检测
US11960793B2 (en) 2019-06-27 2024-04-16 Google Llc Intent detection with a computing device

Also Published As

Publication number Publication date
CN102222431B (zh) 2014-03-05
US20110301934A1 (en) 2011-12-08
US9098493B2 (en) 2015-08-04
US20140316763A1 (en) 2014-10-23
US8751215B2 (en) 2014-06-10

Similar Documents

Publication Publication Date Title
CN102222431B (zh) 用于翻译手语的计算机实现的方法
US9245177B2 (en) Limiting avatar gesture display
CN102184020B (zh) 用于操纵用户界面的姿势和姿势修改
US8660303B2 (en) Detection of body and props
CN102301311B (zh) 标准姿势
US9069381B2 (en) Interacting with a computer based application
CN102262440B (zh) 多模态性别识别
CN102129152B (zh) 具有集成vcsel阵列的深度投影仪系统
US9344707B2 (en) Probabilistic and constraint based articulated model fitting
US8213680B2 (en) Proxy training data for human body tracking
CN102693413B (zh) 运动识别
CN102184009B (zh) 跟踪系统中的手位置后处理精炼
US8968091B2 (en) Scalable real-time motion recognition
CN102356373A (zh) 虚拟对象操纵
CN102262438A (zh) 用于操纵用户界面的姿势和姿势识别
CN103608844A (zh) 全自动动态关节连接的模型校准
CN102314595A (zh) 用于改善话音识别的rgb/深度相机
CN102449576A (zh) 姿势快捷方式
CN103038727A (zh) 骨架关节识别和跟踪系统
CN102301315A (zh) 姿势识别器系统架构
CN102129293A (zh) 在运动捕捉系统中跟踪用户组
CN102448566A (zh) 骨架以外的姿势
bin Mohd Sidik et al. A study on natural interaction for human body motion using depth image data
CN102591456B (zh) 对身体和道具的检测
Bulzacki Machine Recognition of Human Gestures Through Principal Joint Variable Analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.