CN102135882B - 用于在多用户应用程序中将语音与用户相关联的系统和方法 - Google Patents

用于在多用户应用程序中将语音与用户相关联的系统和方法 Download PDF

Info

Publication number
CN102135882B
CN102135882B CN201110033245.0A CN201110033245A CN102135882B CN 102135882 B CN102135882 B CN 102135882B CN 201110033245 A CN201110033245 A CN 201110033245A CN 102135882 B CN102135882 B CN 102135882B
Authority
CN
China
Prior art keywords
voice
user
health
sampling
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110033245.0A
Other languages
English (en)
Other versions
CN102135882A (zh
Inventor
M·德尼斯
T·莱瓦德
C·克莱恩
李劲宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102135882A publication Critical patent/CN102135882A/zh
Application granted granted Critical
Publication of CN102135882B publication Critical patent/CN102135882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本文描述了一种语音-身体身份相关。公开了一种用于随时间推移跟踪图像和音频数据以基于人在多用户游戏或多媒体设置中的语音与身体的相关性来自动地标识人的系统和方法。

Description

用于在多用户应用程序中将语音与用户相关联的系统和方法
技术领域
本发明涉及一种用于在多用户应用程序中将语音与用户相关联的系统和方法。
背景技术
诸如计算机游戏和多媒体应用之类的系统已经演变到系统能够利用用户移动和口头通信作为对系统的输入的地步。此类自然系统可能连向多个用户，在此情况下迫使在个体之间作出区分。现有技术允许游戏或应用通过各种机制来标识视场内的用户，这些机制包括能够感测诸如大小、面部特征、衣着颜色等用户特征的三维深度相机。还存在语音识别技术以通过包括话筒阵列在内的各种机制来标识感知用户语音。传统上，这两种技术还未曾合作地使用过。在不用涉及用户方的特意装置的情况下自动将用户语音与身体相匹配将是令人信服的。例如，可能会有单独使用成像技术或单独使用音频技术，人的身份不明确的情况发生。在低成本的消费者系统中尤其如此。除了帮助明确用户外，音频与视觉身份的此类关联可被用于支持游戏或应用内的用户体验。
发明内容
本文描述了一种用于在多用户应用程序中将语音与用户相关联的系统和方法。该系统包括能够提供所述图像相机组件的视场中的一个或多个用户的深度图像的图像相机组件。该系统还包括话筒阵列，其能够接收该话筒阵列的范围内的音频。话筒阵列还能够将语音的源定位在第一容限内。实施例还包括与图像捕捉组件和话筒阵列两者通信且能够区别视场中的不同用户达到第二容限的计算环境。在实施例中，第一和第二容限有时可能妨碍在对来自图像相机的数据和来自话筒阵列的数据进行初始采样后将语音与用户相关联。然而，计算环境还执行对来自图像相机的数据和来自话筒阵列的数据的附加采样。这些附加采样允许将语音与用户相关联或者该些附加采样降低了语音与用户相关联的似然性。
附图说明
图1A-1B示出伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的另一示例实施例。
图4描绘用于将语音与身体相关联的示例方法的高层流程图。
图5描绘用于标识视场内的一个或多个身体的流程图。
图6描绘用于标识由本系统的话筒阵列所拾取的语音的流程图。
图7描绘用于将语音与身体毫无疑义地相关联的实施例的流程图。
图8A和8B一起描绘用于经由对语音和身体位置标识的多次采样将语音与身体相关联的实施例的流程图。
具体实施方式
现在将参照图1A到8B来描述本技术的实施例，其一般涉及一种用于随时间推移跟踪图像和音频数据以基于人体在多用户游戏或多媒体设置中的语音与身体的相关性来自动地标识人体的系统。一般而言，该系统包括捕捉设备，包括用于感测视场中诸如人之类的对象的一个或多个相机，以及用于感测诸如人的语音之类的音频的话筒阵列。相机能够确定视场中的对象是否是人，并且还能确定所辨识的人的物理特征，诸如骨关节位置。相机还能够确定视场中的人们彼此之间以及与捕捉设备的相对位置。话筒阵列能够确定所听到声音是否是语音，并且可不时地区别不同的语音。话筒也可以能够确定一检出语音与其他检出语音以及与话筒的相对位置。
在图像和音频系统能够毫无疑义地确定给定语音属于视场中的给定用户身体的情况下，存储该语音-身体关联性。然而，可能发生在图像和音频采样之后系统不能建立单个毫无疑义关联性的情况。作为替代，系统标识所采样语音可能属于的一个或多个候选用户。在此实例中，本系统可采用各种因素来确定语音与身体是否高于预定阈值置信度（“TCL”）地相关联。若是，则尽管并非毫无疑义，仍可返回并存储该语音-身体关联性以供未来采样使用。未来采样将或者强化该关联性，或者显示该关联性仍有疑意，在后一情形下可移除该关联性。
最初参考图1A-2，用于实现本发明的技术的硬件包括目标识别、分析和跟踪系统10，该系统可用于识别、分析和/或跟踪诸如用户A到D等一个或多个人类目标。目标识别、分析和跟踪系统10的各实施例包括用于执行游戏或其他应用程序的计算环境12，以及用于从游戏或其他应用程序提供音频和视觉表示的视听设备16。系统10还包括捕捉设备20，包括一个或多个深度感知相机以及包括两个或更多个话筒的话筒阵列。捕捉设备20与计算环境12通信，以使得计算环境12可以部分地基于从捕捉设备20收到的信息来控制至视听设备16的输出。这些组件中的每一各都会在以下详细描述。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用程序可以是多玩家游戏。基于接收自捕捉设备20的信息，计算环境12可使用视听设备16将每个用户A-D的视觉表示提供作为玩家化身A'-D'。用户可以移进和移出视场。例如，图1A显示用户A-D，而图1B显示用户A-C。每个化身A'-D'可以反映相应用户A-D的移动的方式在屏幕上移动。因此，用户在图1B中已经相对于他们在图1A中的位置进行了移动，以及用户D'的化身在图1B中不可见，因为用户D已经离开了视场。
尽管对于本发明技术而言并不是关键点，用户A-D可以执行被在计算环境12上运行的软件引擎所识别的姿势，以使得在识别出该用户的姿势之际，用户的化身执行某个动作。尽管在图1A和1B的示例中示出了4个用户，但应理解本发明技术可在诸实施例中在多于或少于4个用户的情况下工作。此外，本发明技术并不限于在游戏上下文中将语音与说话者相关联，而且也可用在希望基于人的语音与身体的关联性来标识此人的各种其他实例中。
图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。在一示例实施例中，捕捉设备20可包括图像相机组件22。组件22被配置成经由包括例如飞行时间、结构化光、立体图像等任何合适的技术来捕捉视场中的三维视频图象。根据一实施例，图像相机组件22可将所计算的深度信息组织为“Z层”，即可与从深度照相机沿其视线延伸的Z轴垂直的层。
关于可组成捕捉设备20的部分的相机的另外细节在共同待审的题为“GESTURE TOOL（姿势工具）”的专利申请第________号和共同待审的题为“STANDARD GESTURES（标准姿势）”的专利申请第________号中阐述，这些申请的每一个都通过整体引用结合于此。然而，一般而言，如图2所示，图像相机组件22可捕捉深度图像，深度图像具有所捕捉的场景的二维（2-D）像素区域，其中2-D像素区域中的每一像素可表示来自照相机的所捕捉的场景中的对象的长度，该长度可采用例如厘米、毫米等单位。图像相机组件22能够对在图1A和1B中由射线R1和R2表示的视场内的对象进行成像。
如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维（3-D）照相机26、和RGB照相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景上，然后可使用传感器（未示出），使用例如3-D照相机26和/或RGB照相机28，来检测来自场景中的一个或多个目标和物体的表面的反向散射光。
根据另一实施例，捕捉设备20可包括两个或更多物理上分开的照相机，这些照相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。在任一实施例中，图像相机组件22能够确定视场内的人相对于彼此的方位，并能够计算视场中的每个人相对于捕捉设备20的角度。
捕捉设备20可经由通信链路36向计算环境12提供由例如3-D照相机26和/或RGB照相机28捕捉的深度信息和图像，以及可由捕捉设备20生成的骨架模型。存在各种用于确定捕捉设备20所检测的目标或对象是否对应于人类目标的已知技术。例如，捕捉设备20可捕捉可包括人类目标的捕捉区域的深度信息。该深度图像然后可被分析来确定该深度图像是否包括人类目标和/或非人类目标。该深度图像的各部分可被泛色填充并与一模式进行比较来确定该目标是否可能是人类目标。如果该深度图像中的一个或多个目标包括人类目标，则可扫描该人类目标。
骨架映射技术因而可用于确定该用户的骨架上的各个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括将图像变换成该人体的身体模型表示以及将图像变换成该人体的网格模型表示。骨架模型然后可被提供给计算环境12，使得计算环境可跟踪骨架模型并呈现与该骨架模型相关联的化身。
捕捉设备20还可包括话筒阵列32，其包括两个或更多个话筒30。话筒阵列执行至少两项功能。话筒30接收也可由用户A-D中的一个或多个所提供的音频信号，以控制其化身A'-D'，影响其他游戏或系统度量，或者控制可由计算环境12执行的其他应用程序。话筒阵列32的第二项功能是便于标识用户，如下文所解释的。
在所示实施例中，有两个话筒30，但应理解在其他实施例中话筒阵列可具有两个以上的话筒。在解析沿纵轴的相对位置并不是关键的实施例中，可以在共同的垂直面中（即，在相同高度上）对准各话筒。然而，还应理解本发明技术可采用沿不同垂直线和水平线布置的两个到四个或者更多的相机。在此类实施例中，话筒阵列将能够采用沿垂直面和水平面两者的声学定位技术来定位一个或多个语音在三维空间中的位置。
阵列中的话筒30可以如图中所示地彼此靠近（诸如相隔一英尺）地定位。应理解，在其他实施例中，例如在邻近捕捉设备20的墙角处，话筒可以相距更紧，或者相隔更开。
阵列中的话筒30可以彼此同步，且每个话筒可包括可以接收声音并将其转换成电信号的换能器或传感器。用于区分话筒所拾取的声音以确定这些声音中是否有一种或多种声音是人类语音的技术是已知的。话筒30可包括各种已知的滤波器，诸如高通滤波器，以衰减话筒30可能检出的低频噪声。
在给定容限内，使用声学定位技术，阵列32还能够确定所感知语音相对于彼此的方位，并且能够演算每个语音源相对于话筒的角度。各种声学定位技术是已知的。一种实施例可采用抵达时间差（TDOA）技术，其第一步骤是确定不同话筒对之间的TDOA集合。即，对于话筒对集合中的每一对，确定声源信号在该对中的每个话筒处的抵达之间的相对时间差。例如，对应测量声源位置s的两个话筒i和j的TDOA可被确定为：
TDOAi,j=(|s-mi|-|s-mj|)/c
其中mi是第i个话筒的位置，mj是第j个话筒的位置，以及c是光速。
TDOA技术还包括使用所确定的TDOA数据和话筒阵列几何来估计声源位置的第二步骤。此第二步骤可以通过各种已知方法来执行，这些已知方法包括例如最大似然方法、三角测量方法、球面交集方法、以及球面内插方法。
TDOA方法是数种已知的可被用来定位感知语音的源的方法中的一种。其他方法包括基于受控波束成形器的技术以及基于高分辨率频谱估计的技术。关于用于声学定位的话筒系统的进一步细节可在例如题为“Methodand Apparatus for Passive Acoustic Source Localization for Video CameraSteering Applications（用于视频相机操控应用的无源声源定位的方法和装置）”的美国专利No.6,826,284中，以及在由H.Wang和P.Chu在IEEE国际会议声学、语音和信号处理（ICASSP）会刊（德国慕尼黑，1997年4月，第187-190页）中发表的论文“Voice Source Localization for AutomaticCamera Pointing System In Videoconferencing（用于视频会议中的自动相机定位系统的声源定位）”中找到。以上专利和论文通过引用全文包括于此。在技术允许使用单个话筒的声源定位达到给定容限的情况下，话筒阵列32可包括一个或多个话筒。
在一示例实施例中，捕捉设备20还可包括可与图像相机组件22和话筒阵列32操作性地通信的处理器33。处理器33可包括可执行指令的标准化处理器、专用处理器、微处理器、或类似物，这些指令可包括用于接收深度图像、确定该深度图像中是否可能包括合适的目标、将该合适目标转换成该目标的骨骼表示或模型的指令、或任何其他合适指令。处理器33还可执行上述与声学定位有关的操作。
捕捉设备20还可包括存储器组件34，其可存储可由处理器33执行的指令、3D相机或RGB相机所捕捉的图像或图像帧、来自话筒30的音频数据或任何其他合适的信息等。根据示例实施例，存储器组件34可包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2中所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22、话筒阵列32以及处理器33通信的分开的组件。根据另一实施例，存储器组件34可被整合到处理器33、图像捕捉组件22和/或话筒阵列32中。
如图2中所示，捕捉设备20可以经由通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一实施例，计算环境12可经由通信链路36向捕捉设备20提供可用于确定例如何时捕捉场景的时钟。来自捕捉设备20的图像和音频数据也可以经由通信链路36被传达给计算环境12。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。诸如以上参考图1A-2描述的计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。如图3A所示，多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM106的中央处理单元（CPU）101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少了存储器访问周期数，从而提高了处理速度和吞吐量。CPU101可以设置成具有一个以上的核，以及由此的附加的1级和2级高速缓存102和104。闪存ROM106可存储在多媒体控制台100通电时在引导进程的初始化阶段加载的可执行代码。
图形处理单元（GPU）108和视频编码器/视频编解码器（编码器/解码器）114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从GPU108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V（音频/视频）端口140以传输到电视机或其它显示器。存储器控制器110连接到GPU108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB主控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146（例如闪存、外置CD/DVD ROM驱动器、可移动介质等）的主机。网络接口124和/或无线适配器148提供对网络（例如，因特网、家庭网络等）的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线适配器组件中任何一种。
提供系统存储器143来存储在引导进程期间加载的应用程序数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器等。媒体驱动器144对于多媒体控制台100可以内置或外置。应用程序数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接（例如IEEE1394）等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED（发光二极管）或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU101、GPU108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这种架构可以包括外围部件互连（PCI）总线、PCI-快速总线等。
当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留（例如，16MB）、CPU和GPU周期（例如，5％）、网络带宽（例如，8kbs）等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息（例如，弹出窗口），以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用程序使用完整用户界面的情况下，优选使用独立于应用程序分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器（如下所述）在系统应用活动时控制游戏应用的音频水平（例如，静音、衰减）。
输入设备（例如，控制器142(1)和142(2)）由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用程序管理器较佳地控制输入流的切换，而无需知晓游戏应用程序的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可定义控制台100的附加输入设备。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的操作环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元件可包括被配置成实例化本发明的具体方面的电路。例如，本公开中使用的术语电路可包括被配置成执行固件或开关的功能的专用硬件组件。在其他示例实施例中，术语“电路”可包括由具体化可操作来执行功能的逻辑的软件指令来配置的通用处理单元等。在电路包括硬件与软件组合的示例实施例中，实现者可编写实施逻辑的源代码且该源代码可被编译成可由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
在图3B中，计算环境220包括计算机241，其通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括诸如ROM223和RAM260等易失性和/或非易失性存储器形式的计算机存储介质。基本输入/输出系统224（BIOS）包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM223中。RAM260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限，图3B示出了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3B示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器238，对可移动、非易失性磁盘254进行读写的磁盘驱动器239，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘253进行读写的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由不可移动存储器接口，诸如接口234连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由可移动存储器接口，诸如接口235连接至系统总线221。
以上讨论并在图3B中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图3B中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，如键盘251和定点设备252（通常称为鼠标、跟踪球或触摸垫）向计算机241输入命令和信息。其他输入设备（未示出）可以包括麦克风、游戏杆、游戏手柄、碟形卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线（USB）连接。相机26、28和捕捉设备20可定义控制台100的附加输入设备。监视器242或其他类型的显示设备也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机还可以包括其他外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机，如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，尽管在图3B中仅示出了存储器存储设备247。图3B中所示的逻辑连接包括局域网（LAN）245和广域网（WAN）249，但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，关于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制，图3B示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
现在将参照图4-8B的流程图描述用于基于与用户有关的感知图像数据与感知语音数据之间的关联性来标识用户的方法。图4是本发明技术的整体操作的高层流程图。应理解，本发明技术的操作可以由捕捉设备20内的处理器33、计算环境12内的处理器101、259、或者这两个一起行动的组合来实施。在步骤300，本系统标识或者登记图像相机组件22的视场内的身体（诸如举例而言用户A-D中的一个或多个）。此操作是在逐帧的基础上执行的，但是来自先前帧的信息，诸如背景信息，可以被高速缓存以加速处理。关于步骤300的身体登记的进一步细节在下文参照图5的流程图来解释。
在步骤302，本系统登记在话筒阵列32的范围内检出的语音。将存在其中本系统能够将语音毫无疑义地与特定身体相关联的实例。例如，话筒阵列32能够定位语音的源达到包括相对于图像捕捉设备20的特定角度或角度范围的容限，且图像相机组件22确定在该角度或角度范围处只有一个用户。在此类实例中，本系统能够将检出的人与检出的语音毫无疑义地相关联。关于步骤302和306的进一步细节在下文参照图6的流程图来阐述。
另一方面，可能发生在图像和音频采样之后系统不能建立单个毫无疑义的关联性而是标识该语音可能所属的一个或多个候选用户的情况。例如，可能存在这样的两个用户：这两个用户具有过于相近以致使用本系统的图像识别技术不能进行区分的的物理外貌。替换地或者补充地，话筒阵列可能只能确定语音来自视场中具有一个以上的人的区域。例如在其中使用消费者级别的硬件来捕捉图像和音频数据的情况下可能就是这样。
在这种情形下，本系统可采用各种因素来构建指示该语音与给定用户相关联的置信度的置信度分数。尽管不是毫无疑义，但是这些因素可能导致高于阈值置信度的分数。若是如此，则高于阈值置信度的语音-身体关联被存储以用于未来采样。未来采样可以例如在未来采样排除了该语音可能属于的其他用户的情况下强化该关联。或者，未来采样可能显示该关联仍有疑意，在这种情形下可移除该关联。
即使在语音被关联到身体之后，本发明技术的实施例可反复地再评估和再证实该语音-身体关联性的置信度（步骤312）。评估、明确以及再证实置信度的过程在下文参照图8A-8B的流程图来描述。
图5的流程图示出用于基于获得可允许系统将用户与其他用户区别开来的图像数据来登记用户的步骤。本系统可使用用于登记用户的各种准则，包括分析不同用户的多个骨骼参考点。一旦用户被标识，该信息就可被存储在例如存储器34内、和/或计算环境12中的存储器中。然而，可能发生两个或两个以上的用户具有彼此相近到使得系统单独使用图像数据不能在他们之间进行区分的物理外貌的情况。如下文所解释的，此类用户可使用一时间段上的图像和语音数据的采样来消除歧义。
相应地，在步骤320，本系统扫描视场内的人类用户（诸如举例而言一个或多个用户A-D）的视频帧。如上所指示的，当前技术允许将人类身体从可能处在视场内的其他对象中辨识出来。在步骤322，本系统确定是否已在视场内找到身体。若没有，则在步骤326中系统看视场内是否还有更多对象要扫描。假设有，则系统返回步骤320以扫描更多身体。另一方面，若在步骤322中找到身体，则本系统在步骤330中检查该身体是否存在于先前帧中。系统可考虑各种因素来作出此确定，包括当前帧和先前帧中身体之间的骨骼参考点或其他物理特性的匹配、以及在给定帧率的情况下当前帧中的身体位置是否已经从先前帧中检出的位置进行了移动。一旦在步骤330中确定所找到的身体存在于先前帧中，系统就返回步骤320以扫描更多身体。
另一方面，若步骤330确定所找到的身体没有在先前帧中找到，则系统在步骤334中检查所找到的身体是否匹配已经登记的身体。具体而言，系统可将描述当前帧中的身体的信息与来自存储器的关于先前已经被标识和登记的身体的信息相比较。若来自当前帧的身体先前没有被登记过，则在步骤338中系统将身体特征（即，骨骼特征和/或其他物理特性）存储在存储器中。在存储身体特征之后，在步骤344中系统将该匹配身体标记为被标识，并随后返回步骤320以扫描更多身体。
另一方面，若在步骤334确定所找到的身体确实匹配已知的身体，则在步骤340中系统检查所找到的身体是否仅匹配一个已知身体。具体而言，所找到的身体可能具有与先前所标识和存储的身体的骨骼特征充分相近的骨骼特征。若在步骤340中系统确定所找到的身体仅匹配一个已知身体，则在步骤344中该找到的身体被标记为匹配该已知身体，且系统返回步骤320以扫描更多身体。替换地，若在步骤340中确定所找到的身体匹配一个以上的已知身体，则在步骤346中所找到的身体被标记为与模糊性相关联，且系统返回步骤320以扫描更多身体的帧。
在步骤326中系统已经确定该帧中没有其他对象要扫描之后，系统在步骤350中更新当前帧的身体位置，并在步骤354中登记和存储所有的身体匹配。步骤354还存储所发现的身体身份中的模糊性。
如上所指示的，声学技术能够从可由话筒阵列所拾取的各种声音和背景噪声中过滤和辨识人类语音。与如上参照图5的流程图所描述的搜索及登记身体相并发地，系统还搜索和登记语音，如现在将参照图6所描述的。为了登记语音，系统采集包含足以与其他语音相区别地标识一语音的各种语素的语音丰富的数据。
登记语音的过程始于确定所辨识出的语音是否能与可见身体相关联的步骤360。步骤360在下文参照图7的流程图进行更详细地描述。在步骤362，系统估计要登记的语音的源位置。如上所描述的，出于此目的可使用各种声源定位技术中的任何一种。实施例可在低成本的、面向消费者的系统中采用返回源位置加上或减去某个容限水平的声学定位技术。在步骤363中，系统确定该语音是否必定来自图像相机组件22的视场（即，图1A和1B中所示的射线A和B之间）内的源。若不是，则系统在步骤364中确定该语音不与可见身体相关联。
另一方面，若语音确实来自视场内，则系统在366中确定在该语音的所估计源处是否存在一身体。若没有，则系统在步骤364中确定该语音不与可见身体相关联。另一方面，若在该语音的所估计源处检测到一身体，则系统接着在步骤368中检查在该语音的可能源的范围内是否存在一个以上的身体。若是，则系统在步骤364中不能将该语音与可见身体相关联。另一方面，若系统通过步骤363、366和368中的所有检查，则系统能够在步骤370中将语音毫无疑义地与一个可见身体相关联。
返回到图6的流程图，若系统在360中不能将语音与可见身体相关联，则在步骤372中该话语没有资格进行登记，并且在一些实施例中，系统将不使用该话语进行登记且不会将其与特定的人相关联。在实施例中，该话语仍可被系统用于口头指令或命令的语音识别。
在步骤372中话语没有资格进行登记的实施例中，本系统可在步骤373中提示视场中的一个或多个用户讲话并执行一些物理动作。该物理动作例如可以是站在视场中但与其他用户分开。这样，除了接收语音数据外，系统还能够肯定地标识和登记该说话者，因为他正执行所请求的动作。这些物理动作可以是游戏或应用程序度量的部分，或者在游戏或应用程序度量之外。在其他实施例中可以省略步骤373。在被省略的情况下，由于登记的原因用户将体验到较少的侵扰，但登记的完成可能受支配于用户的偶然动作。
另一方面，若在步骤360中确定该语音与可见身体相关联，则系统接下来在步骤374中检查所标识的可见身体是否延续自先前登记话语。换言之，若系统在步骤360中将语音与一可见身体相关联，则系统在步骤374中检查来自先前帧的该身体是否是连续地移动到当前帧中在步骤360中所标识的身体的位置的。若在步骤374中确定语音在先前帧中所相关联的身体不是语音在当前帧中所相关联的身体，则系统可将先前相关性作为错误来处理。在此类事件中，系统在步骤376中关于步骤360中所标识的身体开始一新的语音登记过程。在步骤378中，话语随后被添加到该登记。
在步骤380，系统检查登记是否完成。即，系统检查是否已经采集了足够的语音数据以允许系统毫无疑义地标识与其他语音区别开的给定语音。若没有，则话语不足以进行登记，但在实施例中，在步骤381中可被存储以供与未来话语一起使用从而一旦已采集了必要差异性的语音数据就建立登记。另一方面，若系统在步骤380确定登记完成，则系统在步骤382保存所登记的语音并在步骤384将所登记的语音与已知身体相关联并进行存储。系统随后返回关联到已知身体的已知语音。
在其中登记在步骤380中未完成的实施例中，本系统可在步骤383中提示视场中的一个或多个用户讲话。系统的此动作可被掩盖作为游戏或应用程序度量的部分，或者可以在游戏或应用程序度量之外。在执行步骤383的情况下，可提示特定的被登记用户说出某些语音丰富的词或声音，以使得一旦说出，系统就能够关于该用户的已知身体来登记该用户的语音以用于稍后的话语。步骤383可被省略，在这种情况下，步骤380中的登记失败可导致如上所述地返回未知语音。
如上关于图6所描述的本发明技术的操作登记并存储新的语音，并进一步确定该语音可与已知身体毫无疑义地相关联。如上所述，经常可能的情形是系统听到语音但不能将该语音毫无疑义地与单个身体相关联。相应地，本发明技术包括评估、明确、以及再证实语音-身体相关性的步骤。现在将参照图8A和8B的流程图来描述此过程的更详细的描述。
一般而言，话筒阵列32听到发出声的语音，并且在检测到语音话语之时，执行以下关于图8A和8B所描述的步骤386-432。可能在相同的时间段内检测到一个以上的语音。本系统可对话筒阵列32能够分开和不同地感知的每个发出声的语音执行图8A和8B的步骤。该系统可每帧一次、或者每预定数目个帧一次地运行图8A和8B的步骤，以随时间不断地评估、明确和再证实语音-身体相关性。
在步骤386，系统检查话语是否是所登记的语音。若不是，系统转到如上关于图6所述的步骤360以登记该语音并看其是否与视场内的身体毫无疑义地相关联。
在步骤386，若确定该语音是被登记的，则系统在步骤388中检查该语音是否具有与已知身体的在先匹配。若没有，则系统如下文关于图8B中的步骤416所述地确定在该语音与视场内的身体之间是否具有空间匹配。然而，若步骤388确定存在该语音与已知身体的在先匹配，则系统在步骤390中检查该已知身体是否在视场内可见。如否，则本系统在步骤394中检查在该发声的语音与视场内可见的身体之间是否有空间匹配。系统执行步骤394以检查步骤388中检索到的该语音-身体关联是否正确。具体而言，在步骤394中若在该语音与可见身体之间存在匹配，但在步骤390中确定先前所标识的身体不可见，则系统确定在先语音-身体相关性可能不正确，且可能存在模糊性。系统注意到此模糊性并行进至下文描述的步骤404。步骤394例如可以如上文在图7中所描述地通过确定语音的相近源并看看在该相近源处是否存在身体来执行。
若在步骤390中确定先前与该语音相匹配的身体并不可见且步骤394确认该语音与那时可见的身体并不匹配，则在步骤398中维持该在先关联并且系统返回伴随已知身体的已知语音。另一方面，若步骤390确定先前与该语音匹配的身体可见，则系统接着在步骤400中检查在该语音与该已知身体之间的空间匹配是否是良好匹配，即空间匹配是否是毫无疑义的。步骤400例如可以如上文在图7中所描述地来执行。
本系统保持对给定的语音-身体关联是否在数个不同的采样中保持有歧义的跟踪。若在数次不同的采样中检查语音-身体关联之后，系统不能通过该排除过程毫无疑义地确定该语音与该身体事实上相关联，则系统可认为该关系过于模糊而无需维持，并移除该关联。相应地，在步骤404，本系统计数给定的语音-身体关联多少次被发现有歧义。在步骤406，系统确定步骤404中的计数是否超过某一个歧义阈值。若是，则在步骤410中移除先前标识的关联，且系统返回已知语音但没有与一已知身体相关联。若步骤406中的计数未超过该歧义阈值，则系统在步骤408中维持该关联，并返回已知语音-身体关联。在实施例中，歧义阈值例如可以介于3和6之间。因此，若阈值被设为例如5，则如果系统不能在5次采样之后排除掉给定语音与身体间的关联的歧义，那么系统将移除该关联。在其他实施例中，歧义阈值可以小于3和高于6。
以上描述了若步骤400中的空间匹配有歧义则系统怎么做。然而，若在步骤400中确定空间匹配毫无疑义，则系统接着在步骤414中确定与该语音相匹配的身体先前是否被认为有歧义。若是，则系统更新该关联以移除该歧义，如下文参照图8B中的步骤430所解释的。另一方面，若在步骤414中确定所存储的语音-身体关联没有歧义，则系统在步骤408中保持该关联，且系统返回伴随已知身体的已知语音。
如上所述，步骤390及之后的步骤是在步骤388中确定语音具有与已知身体的在前关联的情况下执行的。然而，若在步骤388中确定该登记的语音没有与已知身体的在前匹配，则本系统执行图8B中的步骤416。步骤416尝试确定在该语音与视场内的一个或多个用户之间是否存在关联。可能发生步骤416能够毫无疑义地标识该语音必定属于的单个用户的情况。例如，系统可确定该语音来自视场内且在视场内只有单个人，如上文参照图7所描述的。
或者，尽管不是毫无疑义，但步骤416可标识可能与该语音相关联的一个或多个用户。为了作出此确定，本系统可采用各种因素，这些因素可被应用于达到得分置信度。一般而言，在考虑了这些因素时，如果语音可与身体高于阈值置信度地相关联，则存储并返回该语音-身体关联。在实施例中，可对得分作出贡献的因素可包括以下一个或多个。
一种因素可以是所估计的语音源的位置与已知身体有多近。在身体就处在声学定位技术所估计的确切位置时，此因素将得到比在身体与语音的所估计位置有间距的实例下更高的分数。形成得分的部分的另一因素可以是在视场中有多少个身体。身体越多，语音与这些身体中的任何一个的相关性中将具有越少的置信度。相反，若视场中的仅有的一个人就是该语音先前所关联的人，则这将导致往往指示相关联的语音与身体之间优质的空间匹配的分数。
对得分作出贡献的另一因素是所听到的语音的数目。此因素可降低或增加分数。例如，若存在许多声音，以使得有太多的噪声以致不能准确地确定正在考虑的语音的源，则这将趋向于降低该语音与所标识的身体的关联性的分数。另一方面，若除了所考虑的语音之外所听到的语音先前已经与其他用户相关联且这些用户在视场内，则此因素可增加衡量所考虑的语音与先前所标识的身体之间的关联性的分数。
除了视场内的人数之外，人与所估计的该语音的源之间的接近度是影响得分的另一因素。若两个人或更多的人在所估计的源的附近，则这往往将降低分数，而在视场中有多个人但只是先前匹配的人在所估计的源的附近的情况下，这往往将促进得分。
对得分作出贡献的另一因素是语音的源是否被估计成以视场为中心而不是靠近边缘。当估计一语音在视场边缘的附近时，该语音可能来自视场内先前匹配的人，或者来自视场之外的人。因此，人与被估计成位于视场中心的语音之间的空间匹配将导致比处在视场边缘的附近的情况更高的分数。本领域技术人员将领会可使用其他因素来得到指示在语音与身体之间是否具有关联性的分数。
不同实施例可使用上述因素中的一个或多个来达到得分置信度。在上述因素中的一个或多个之外或者作为其替代，可使用其他因素。在实施例中，所使用的因素可被加权和量化，以使得在考虑了针对特定的语音-身体对所使用的因素时，可以获得数字分数。可以任意地选择阈值置信度，高于该阈值置信度的分数被认为是有意义的且足以存储该语音与身体之间的关联性。
在于步骤416中得到毫无疑义的标识或得分置信度之后，系统在步骤420更新所作的任何关联性的证据（分数）。在步骤424，系统检查是否找到毫无疑义或者以其它方式获得了超过阈值置信度的分数的匹配。若没有，则系统返回没有找到匹配该已知语音的已知身体。另一方面，若在步骤424确定找到一个或多个与该语音高于阈值置信度地相关联，则在步骤428中记录这些关联，且系统返回已知语音与至少一个已知身体相关联。如所指示的，步骤8A和8B的步骤随后可在多次采样中重复以使得通过排除过程关联性可就语音可能属于哪些身体而言变得毫无疑义，或者若在多次采样之后仍有歧义则可以移除关联。
如上关于图8A所述的，若在步骤414确定所存储的身体身份没有歧义则在步骤414之后执行步骤408。然而，若在步骤414确定所存储的身体身份是有歧义的，则本系统执行如图8B中所示的步骤430。具体而言，在步骤388、390和400中，确定语音与一个或多个已知身体具有关联性，这些已知身体之一是可见的，且与该已知身体的空间匹配是毫无疑义的。步骤414随后查看存储器以确定在存储中是否有一个以上与该语音相关联的身体。若是，则当前采样在步骤430中通过更新证据以显示语音与身体之间的毫无疑义的关联性来明确该关联性。
即使在系统已经确定语音与用户毫无疑义地相关联之后，本系统仍允许在该关联中有可能的误差。具体而言，相同的语音与存储器中的另一用户毫无疑义地相关联、或者该用户与存储器中的另一语音毫无疑义地相关联是可能的由此，步骤432确定该歧义是否被解决。若是，系统返回伴随已知身体的已知语音。若没有，则系统返回已知语音，但没有相关联的已知身体。步骤8A和8B的步骤随后可在多次采样中重复以使得通过排除过程关联性可就语音可能属于哪些身体而言再次变得毫无疑义，或者若在多次采样之后仍有歧义则可以移除关联。
使用上述系统，可在游戏、多媒体或其他多用户应用中将语音与身体相关联。尽管可能存在能够在单次采样中将语音与身体毫无疑义地相关联的系统，这些系统要求在大多数游戏、多媒体或其他基于消费者的应用不切实际的高成本精密系统。然而，不同于常规系统，本系统能够在所用装置无法在单次采样中确定此类关联的情况下作出可靠语音-身体关联。此外，已知的是系统始于被登记的用户。即，该组用户具有已知的被登记的身体特征和/或已知的被登记的语音。常规系统并不是在始于具有未知的身体特征和未知语音的用户的情况下来作出语音-身体关联的。本发明技术允许进行此类关联。
尽管已经结合较佳方面按各附图所示描述了本发明，但要理解，可使用其它相似方面或者可对所述方面进行修改或添加来执行本发明的相同功能而不脱离本发明。因此，本发明应当不限于任何单一方面，而应按照所附权利要求书的宽度与范围来解释。例如，本文描述的各种过程可用硬件或软件、或两者的组合来实现。因此，所公开的各实施例的方法和装置或其某些方面或部分可采用在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中具体化的程序代码（即，指令）的形式。当程序代码被加载到诸如计算机等机器并由其执行时，该机器变为被配置成实施所公开的各实施例的装置。除了此处明确阐述的具体实现之外，考虑此处所公开的说明书，其它方面和实现将对本领域的技术人员是显而易见的。说明书和所示实现旨在仅被认为是示例。

Claims (16)

1.一种用于在始于未知用户集合的多用户应用程序中标识用户与用户语音之间的相关性的方法，所述方法包括以下步骤：
(a)接收在多个时段上拍摄的视频捕捉组件的视场内的对象（A'-D'）的多幅图像；
(b)确定在所述步骤(a)中接收到的所述图像包括一个还是多个用户；
(c)接收多个时段内话筒阵列的范围内的音频；
(d)确定在所述步骤(c)中接收到的所述音频包括一个还是多个人类语音；以及
(e)基于所述用户在不同图像中的所确定位置以及所述语音在不同时间的所确定源位置的多次采样来将所述步骤(d)中所标识的语音与所述视场内的所述一个或多个用户（A-D）中的用户相关联。
2.如权利要求1所述的方法，其特征在于，所述步骤(e)包括通过从对所述多幅图像中的图像的检查确定所述一个或多个用户的位置来形成以及通过使用声源定位技术确定所述语音的位置来形成所述多次采样中的采样的步骤。
3.如权利要求1所述的方法，其特征在于，所述步骤(e)包括执行所述多次采样中的第一次采样以获得所述语音与所述用户之间的关联性的置信度，高于预定义阈值的置信度导致所述语音和所述用户在存储器中被关联在一起。
4.如权利要求3所述的方法，其特征在于，所述步骤(e)包括若所述多次采样中的后续采样减少了所述语音可能属于的可能用户的人数则所述置信度在所述后续采样中升高的步骤。
5.如权利要求4所述的方法，其特征在于，还包括在所述多次采样中排除了所述语音可能属于的所有其他用户之际将所述语音毫无疑义地与所述用户相关联的步骤。
6.如权利要求5所述的方法，其特征在于，还包括在所述语音与用户之间的所述关联性已经是毫无疑义地被关联在一起之后在所述多次采样中执行附加采样的步骤。
7.如权利要求3所述的方法，其特征在于，还包括若附加采样不能就所述语音属于哪个用户消除歧义或者若附加采样显示所述语音属于所述一个或多个用户中的第二用户则移除所述相关性的步骤。
8.如权利要求1所述的方法，其特征在于，所述步骤(e)包括执行所述多次采样中的第一次采样以导出所述语音和用户之间的关联的得分置信度，所述得分置信度是通过检查以下因素中的一个或多个来获得的：
i.语音源的所估计位置与所述一个或多个用户有多近；
ii.所听到的语音的数目；
iii.所述一个或多个用户与所述语音的所估计源的接近度；
iv.所述语音的源是被估计以所述图像的视场为中心还是靠近所述视场的边缘。
9.如权利要求1所述的方法，其特征在于，所述确定在所述步骤(a)中接收到的所述图像包括一个还是多个用户的步骤(b)包括测量用户骨关节的至少部分的位置的步骤。
10.如权利要求9所述的方法，其特征在于，所述部分地基于所述语音的所确定源位置将在所述步骤(d)中标识的语音与用户相关联的步骤(e)包括通过抵达时间差来确定语音的源位置的步骤。
11.如权利要求1所述的方法，其特征在于，还包括检查所述用户的物理特征以将所述用户与其他用户区别开来以及检查所述语音的声学特质以将所述语音与其他语音区别开来的步骤。
12.一种用于在多用户应用程序中将语音与用户（A-D）相关联的系统，所述系统包括：
图像相机组件，用于接收在多个时段上拍摄的视频捕捉组件的视场内的对象（A'-D'）的多幅图像；
话筒阵列，用于接收多个时段内话筒阵列的范围内的音频；以及
与所述图像捕捉组件和话筒阵列两者通信的计算环境，所述计算环境确定所述图像相机组件接收到的所述图像包括一个还是多个用户，确定所述话筒阵列接收到的所述音频包括一个还是多个人类语音，并且基于所述用户在不同图像中的所确定位置以及所述语音在不同时间的所确定源位置的多次采样来将所标识的语音与所述视场内的所述一个或多个用户中的用户相关联。
13.如权利要求12所述的系统，其特征在于：
所述话筒能够在第一容限内定位语音的源，并且
所述计算环境能够在第二容限内区别所述视场中的不同用户，所述第一和第二容限有时妨碍在对来自所述图像相机的数据和来自所述话筒阵列的数据进行初始采样后将所述语音与所述一个或多个用户中的用户相关联，所述计算环境还执行对来自所述图像相机的数据和来自所述话筒阵列的数据的附加采样，所述附加采样允许将所述语音与所述用户相关联或者所述附加采样降低了所述语音与所述用户相关联的似然性。
14.如权利要求13所述的系统，其特征在于，在执行所述初始和附加采样的同时所述计算环境执行涉及所述一个或多个用户的游戏应用程序。
15.如权利要求13所述的系统，其特征在于，所述计算环境通过检测所述一个或多个用户的关节位置来区别所述视场中的不同用户。
16.如权利要求15所述的系统，其特征在于，所述话筒阵列使用两个话筒通过所述语音抵达所述两个话筒的时间差来定位所述语音的源。
CN201110033245.0A 2010-01-25 2011-01-24 用于在多用户应用程序中将语音与用户相关联的系统和方法 Active CN102135882B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/692,797 US8265341B2 (en) 2010-01-25 2010-01-25 Voice-body identity correlation
US12/692,797 2010-01-25

Publications (2)

Publication Number Publication Date
CN102135882A CN102135882A (zh) 2011-07-27
CN102135882B true CN102135882B (zh) 2014-06-04

Family

ID=44295676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110033245.0A Active CN102135882B (zh) 2010-01-25 2011-01-24 用于在多用户应用程序中将语音与用户相关联的系统和方法

Country Status (8)

Country Link
US (2) US8265341B2 (zh)
EP (1) EP2529355B1 (zh)
JP (1) JP5782459B2 (zh)
KR (1) KR101765970B1 (zh)
CN (1) CN102135882B (zh)
CA (1) CA2786681C (zh)
HK (1) HK1177041A1 (zh)
WO (1) WO2011090829A2 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006031580A1 (de) 2006-07-03 2008-01-17 Faro Technologies, Inc., Lake Mary Verfahren und Vorrichtung zum dreidimensionalen Erfassen eines Raumbereichs
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
DE102009015920B4 (de) 2009-03-25 2014-11-20 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
DE102009057101A1 (de) 2009-11-20 2011-05-26 Faro Technologies, Inc., Lake Mary Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
DE102010020925B4 (de) 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
US10726861B2 (en) * 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9168654B2 (en) 2010-11-16 2015-10-27 Faro Technologies, Inc. Coordinate measuring machines with dual layer arm
US20120136658A1 (en) * 2010-11-30 2012-05-31 Cox Communications, Inc. Systems and methods for customizing broadband content based upon passive presence detection of users
US8849199B2 (en) 2010-11-30 2014-09-30 Cox Communications, Inc. Systems and methods for customizing broadband content based upon passive presence detection of users
US8595015B2 (en) * 2011-08-08 2013-11-26 Verizon New Jersey Inc. Audio communication assessment
EP2595031A3 (en) * 2011-11-16 2016-01-06 Samsung Electronics Co., Ltd Display apparatus and control method thereof
DE102012100609A1 (de) 2012-01-25 2013-07-25 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US8894484B2 (en) * 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
US9612663B2 (en) * 2012-03-26 2017-04-04 Tata Consultancy Services Limited Multimodal system and method facilitating gesture creation through scalar and vector data
KR20130137379A (ko) * 2012-06-07 2013-12-17 삼성전자주식회사 홈 네트워크에서 사용자 정보를 저장하는 장치 및 방법
US8997362B2 (en) 2012-07-17 2015-04-07 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with optical communications bus
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
CN103777796A (zh) * 2012-10-22 2014-05-07 联想(北京)有限公司 一种信息处理方法及电子设备
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
US9721587B2 (en) * 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
US8924735B2 (en) 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
US9754154B2 (en) 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
JP6289936B2 (ja) * 2014-02-26 2018-03-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
US8812320B1 (en) 2014-04-01 2014-08-19 Google Inc. Segment-based speaker verification using dynamically generated phrases
CN104410892A (zh) * 2014-11-26 2015-03-11 中国科学院半导体研究所 一种应用于显示设备中的手势控制装置
GB2525464B (en) * 2015-01-13 2016-03-16 Validsoft Uk Ltd Authentication method
US10325600B2 (en) 2015-03-27 2019-06-18 Hewlett-Packard Development Company, L.P. Locating individuals using microphone arrays and voice pattern matching
US9875081B2 (en) * 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
DE102015122844A1 (de) 2015-12-27 2017-06-29 Faro Technologies, Inc. 3D-Messvorrichtung mit Batteriepack
US9948479B2 (en) * 2016-04-05 2018-04-17 Vivint, Inc. Identification graph theory
US20170330564A1 (en) * 2016-05-13 2017-11-16 Bose Corporation Processing Simultaneous Speech from Distributed Microphones
CN106440192B (zh) * 2016-09-19 2019-04-09 珠海格力电器股份有限公司 一种家电控制方法、装置、系统及智能空调
JP6907493B2 (ja) * 2016-09-28 2021-07-21 ブラザー工業株式会社 アクチュエータ装置、配線部材の接続構造、液体吐出装置、及び、アクチュエータ装置の製造方法
US10181333B2 (en) * 2017-04-04 2019-01-15 International Business Machines Corporation Intelligent truthfulness indicator association
US10482904B1 (en) 2017-08-15 2019-11-19 Amazon Technologies, Inc. Context driven device arbitration
US10490195B1 (en) * 2017-09-26 2019-11-26 Amazon Technologies, Inc. Using system command utterances to generate a speaker profile
CN108305615B (zh) * 2017-10-23 2020-06-16 腾讯科技（深圳）有限公司 一种对象识别方法及其设备、存储介质、终端
CN109031961B (zh) * 2018-06-29 2021-04-06 百度在线网络技术（北京）有限公司 用于控制操作对象的方法和装置
CN109584871B (zh) * 2018-12-04 2021-09-03 北京蓦然认知科技有限公司 一种车辆中语音指令的用户身份识别方法、装置
CN110475093A (zh) * 2019-08-16 2019-11-19 北京云中融信网络科技有限公司 一种活动调度方法、装置及存储介质
US11990152B2 (en) * 2020-11-13 2024-05-21 Arris Enterprises Llc Classification of audio as originating from a human source or a non-human to avoid false wake-word detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994016406A1 (en) * 1993-01-11 1994-07-21 Ritchey Kurtis J Improved panoramic image based virtual reality/telepresence audio-visual system and method
EP0640953A1 (en) * 1993-08-25 1995-03-01 Canon Kabushiki Kaisha Audio signal processing method and apparatus
US5761329A (en) * 1995-12-15 1998-06-02 Chen; Tsuhan Method and apparatus employing audio and video data from an individual for authentication purposes
CN1423487A (zh) * 2001-12-03 2003-06-11 微软公司 使用多种线索对多个人的自动探测和追踪
JP2006123161A (ja) * 2004-09-30 2006-05-18 Samsung Electronics Co Ltd 位置把握、追跡および分離のためのオーディオビデオセンサー融合装置および融合方法

Family Cites Families (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) * 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) * 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) * 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) * 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) * 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) * 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) * 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) * 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) * 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
AU3283497A (en) * 1996-05-08 1997-11-26 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) * 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) * 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) * 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
ATE232621T1 (de) * 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) * 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) * 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) * 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) * 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6130677A (en) * 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) * 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) * 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6941274B1 (en) 1997-11-28 2005-09-06 Diebold, Incorporated Automated transaction machine
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) * 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6077201A (en) * 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) * 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) * 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) * 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
GB9908545D0 (en) * 1999-04-14 1999-06-09 Canon Kk Image processing apparatus
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6721706B1 (en) * 2000-10-30 2004-04-13 Koninklijke Philips Electronics N.V. Environment-responsive user interface/entertainment device that simulates personal interaction
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
WO2002072317A1 (fr) * 2001-03-09 2002-09-19 Japan Science And Technology Corporation Systeme de robot audiovisuel
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP3960045B2 (ja) * 2002-01-07 2007-08-15 富士ゼロックス株式会社 個人識別装置
US7162475B2 (en) 2002-04-17 2007-01-09 Ackerman David M Method for user verification and authentication and multimedia processing for interactive database management and method for viewing the multimedia
JP2005526971A (ja) 2002-04-19 2005-09-08 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 車両安全装置
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US20040261097A1 (en) 2003-06-18 2004-12-23 Hanks Darwin Mitchel System and method for regulating device use among multiple users
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4595364B2 (ja) * 2004-03-23 2010-12-08 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
CN101622630B (zh) 2005-01-07 2012-07-04 高通股份有限公司 检测和跟踪图像中的物体
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US7492367B2 (en) 2005-03-10 2009-02-17 Motus Corporation Apparatus, system and method for interpreting and reproducing physical motion
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US7982795B2 (en) * 2005-04-11 2011-07-19 Panayotis B. SPATHARIS Image acquisition and exploitation camera system and methods therefore
JP5038296B2 (ja) 2005-05-17 2012-10-03 クアルコム，インコーポレイテッド 方位感受性信号出力
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) * 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
JP4557919B2 (ja) * 2006-03-29 2010-10-06 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
JP4449987B2 (ja) * 2007-02-15 2010-04-14 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
JP4886575B2 (ja) * 2007-04-05 2012-02-29 株式会社ソニー・コンピュータエンタテインメント 姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
AU2008299883B2 (en) 2007-09-14 2012-03-15 Facebook, Inc. Processing of gesture-based user interactions
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
JP2009141560A (ja) * 2007-12-05 2009-06-25 Sony Corp 音声信号処理装置、音声信号処理方法
JP4462339B2 (ja) * 2007-12-07 2010-05-12 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US9399167B2 (en) 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
US8155394B2 (en) * 2010-07-13 2012-04-10 Polaris Wireless, Inc. Wireless location and facial/speaker recognition system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994016406A1 (en) * 1993-01-11 1994-07-21 Ritchey Kurtis J Improved panoramic image based virtual reality/telepresence audio-visual system and method
EP0640953A1 (en) * 1993-08-25 1995-03-01 Canon Kabushiki Kaisha Audio signal processing method and apparatus
US5761329A (en) * 1995-12-15 1998-06-02 Chen; Tsuhan Method and apparatus employing audio and video data from an individual for authentication purposes
CN1423487A (zh) * 2001-12-03 2003-06-11 微软公司 使用多种线索对多个人的自动探测和追踪
JP2006123161A (ja) * 2004-09-30 2006-05-18 Samsung Electronics Co Ltd 位置把握、追跡および分離のためのオーディオビデオセンサー融合装置および融合方法

Also Published As

Publication number Publication date
US20120327193A1 (en) 2012-12-27
US8781156B2 (en) 2014-07-15
EP2529355B1 (en) 2015-11-04
CA2786681A1 (en) 2011-07-28
US20110182481A1 (en) 2011-07-28
CA2786681C (en) 2016-11-29
CN102135882A (zh) 2011-07-27
WO2011090829A2 (en) 2011-07-28
WO2011090829A3 (en) 2011-11-10
EP2529355A4 (en) 2014-03-12
KR101765970B1 (ko) 2017-08-07
KR20120116446A (ko) 2012-10-22
EP2529355A2 (en) 2012-12-05
US8265341B2 (en) 2012-09-11
HK1177041A1 (zh) 2013-08-09
JP2013519135A (ja) 2013-05-23
JP5782459B2 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
CN102135882B (zh) 用于在多用户应用程序中将语音与用户相关联的系统和方法
CN102262440B (zh) 多模态性别识别
CN102903362B (zh) 集成的本地和基于云的语音识别
CN103019373B (zh) 用于设备激活的音频模式匹配
CN102222431B (zh) 用于翻译手语的计算机实现的方法
CN102194105B (zh) 用于人体跟踪的代表训练数据
US8602887B2 (en) Synthesis of information from multiple audiovisual sources
US8775916B2 (en) Validation analysis of human target
US9349218B2 (en) Method and apparatus for controlling augmented reality
CN102520574B (zh) 飞行时间深度成像
CN102413414B (zh) 用于扩展现实的高精度3维音频的系统和方法
CN102306051B (zh) 复合姿势-语音命令
CN102622774B (zh) 起居室电影创建
US20130177296A1 (en) Generating metadata for user experiences
CN102314595A (zh) 用于改善话音识别的rgb/深度相机
CN102681657A (zh) 交互式内容创建
CN104823234A (zh) 利用深度成像扩充语音识别
CN102141838A (zh) 基于视觉的身份跟踪
CN102448562A (zh) 用于跟踪模型的系统和方法
CN105874424A (zh) 协同的语音和姿态输入
CN102591456B (zh) 对身体和道具的检测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150506

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150506

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.