CN105378742A - 所管理的生物计量身份 - Google Patents

Abstract

诸如游戏控制台之类的计算系统保持和更新用户的生物计量简档。在一方面中，从诸如红外和可见光相机之类的传感器连续地获取用户的生物计量数据，并且将其用于使用机器学习过程对生物计量简档进行更新。在另一方面中，当同时检测到多个用户时和/或当以低于阈值的置信水平检测到用户时，提示用户确认他或她的身份。正在标识的用户的实时图像可以显示在具有与一个或多个账户相关联的用户图像的用户接口上。在另一方面中，由计算系统上的外壳管理用户计量简档，其中外壳使生物计量简档可用于计算系统上的任何若干应用。

Description

所管理的生物计量身份

背景技术

生物计量数据可以用来基于人的物理特性而识别该人。例如，可以基于面部外貌、头发颜色、衣服、身高、声音等来标识人。生物计量数据可以用来控制对计算系统的访问并且用来基于人的偏好而配置计算系统。典型地，生物计量数据在设置过程中从用户获取，并且作为模板存储在计算系统处。当人随后期望访问计算系统时，使用该模板来标识人。

发明内容

如本文所描述的，提供了一种用于使用生物计量数据来标识诸如游戏控制台之类的计算系统的用户的技术。针对传感器视场内的一个或多个人连续地获取和存储生物计量数据。计算系统可以使用生物计量数据立即标识人并且使其自动登入到计算系统上的账户中。可以通过代表诸如计算系统的不同游戏之类的应用的外壳程序来管理生物计量简档。

在一个方案中，提供一种用于识别计算系统的用户的计算机实现方法。该方法包括在用户处于传感器视场中时从传感器获取用户的生物计量数据。例如，传感器可以是有源红外和/或可见光相机。该方法进一步包括使用户登入到计算系统中的账户中，其中账户将用户与用户的生物计量简档相关联，并且生物计量简档包括从传感器获取的用户的生物计量数据。在用户登入到账户中时并且在用户处于传感器视场中时，从传感器获取用户的附加生物计量数据，并且基于附加生物计量数据更新生物计量简档。可以提示用户标识他自己或她自己，诸如当视场中存在多个人时或者当标识的置信水平低于阈值时。还可以检测用户参与计算系统的意图，诸如基于用户的手势或其它移动。

提供本概要来以简化形式介绍在下文描述中进一步描述的概念的选择。本概要不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用来限制所要求保护的主题的范围。

附图说明

在附图中，相同标号的元素彼此对应。

图1描绘了交互系统的示例实施例。

图2描绘了图1的交互系统的示例框图。

图3描绘了可以用在图1的交互系统中的计算系统的示例框图。

图4描绘了可以用在图1的交互系统中的计算系统的另一示例框图。

图5A描绘了用于使用生物计量数据作为交互系统中的输入的方法。

图5B描绘了用于如图7的步骤502中所阐述的那样处理生物计量数据的示例方法。

图5C描绘了用于按照图5A的步骤502处理生物计量数据的示例数据流。

图5D提供了生物计量样本和简档的种类的示例。

图6A描绘了如图5B的步骤514中所阐述的人类目标的示例模型。

图6B描绘了如图5B的步骤516中所阐述的面部识别数据的示例。

图6C描绘了用于按照图5B的步骤516基于头部取向来过滤生物计量数据以提供面部识别数据的示例过程。

图6D描绘了按照图6C的步骤642的示例头部取向。

图7A描绘了用于按照图5A的步骤506使用户登记到计算系统中的示例过程。

图7B描绘了用于按照图5A的步骤506使用户登记或登入到计算系统中的另一示例过程。

图8A描绘了用于按照图5A的步骤506的用户的生物计量识别的示例过程。

图8B描绘了用于按照图5A的步骤506的用户的生物计量识别的示例过程，其中确定匹配的置信水平。

图9描绘了用于按照图5A的步骤506训练用户的生物计量简档的示例过程。

图10A描绘了用于按照图5A的步骤506校正用户的不正确生物计量识别的示例过程。

图10B描绘了用于按照图5A的步骤506校正用户的不正确生物计量识别的另一示例过程。

图11A到11N描绘了按照图7A到10B的示例用户接口。

图12A到12H描绘了按照图11A到11N的用户接口的生物计量识别系统的示例状态。

具体实施方式

如开头所提到的，计算系统可以使用生物计量数据识别人并且基于人的偏好而控制访问或配置计算系统。例如，游戏控制台、PC、平板电脑或手机是可以提供对诸如游戏之类的各种应用以及来自各种网络的多媒体内容的访问的计算系统。例如，游戏控制台典型地允许用户访问来自诸如光盘之类的本地存储介质、来自互联网或来自电视网络的内容。

这样的系统的用户与系统交互，以便玩游戏，访问视频、音乐或其它内容，或者彼此通信。为了控制对计算系统的访问并且跟踪诸如用户偏好、游戏状态和约束（例如，在内容上基于年龄的约束）之类的信息，建立代表计算系统的每个用户的账户。用户登入到账户中以得到对应用的访问。用户可以使用自然用户接口（UI）与计算系统交互，所述自然用户接口（UI）诸如使用运动跟踪相机来检测用户的手势和其它移动的接口。可替换地或附加地，用户可以使用诸如手持式控制器、游戏板或手机之类的控制器设备或者通过话音命令来与计算系统交互。

将合期望的是，使用户在他或她与计算系统交互时具有持久身份。一个方案是基于诸如面部外貌、头发颜色、衣服、身高、话音等的生物计量特性来标识用户。然而，使用生物计量识别来标识用户带来许多挑战。例如，由于照明条件和其它因素，可能难以在诸如计算系统通常设置于的用户起居室或家中其它房间之类的实际环境中识别用户。如果计算系统上的每个应用单独地管理生物计量识别系统，而不是生物计量识别系统作为计算系统本身的固有组件，则会发生另一挑战。最后，如果根据需要手动地使用生物计量识别系统，则其无法得到任何普遍益处，诸如离线处理或提前识别，从而导致用户感知到慢且不准确的系统。解决这些挑战的生物计量识别系统将是有用的。

提供了一种解决这些挑战并且具有许多优点的生物计量识别系统。例如，系统可以通过使用计算系统的外壳程序和平台来管理生物计量身份，从而免除计算系统的各个应用执行该任务。在没有该方案的情况下，每个应用将使用单独的用户接口来手动地标识用户和管理其生物计量身份。

生物计量识别可以使用提供显著改进的照明鲁棒性的有源红外传感器和头部取向来与参考图像相比较地过滤样本。而且，生物计量识别过程可以总在运行。当开始由骨骼跟踪系统跟踪身体时，生物计量身份系统开始标识用户。如果身体被识别为之前登记在系统上的用户，则将身体与系统身份状态中的用户配对。如果身体没有被识别为用户，则作为标准登入/注册过程的一部分，外壳允许在生物计量上登记用户。

在系统不正确地将身体识别为登记用户（或者系统没有将身体识别为正确登记用户）的情况下，外壳允许用户通过系统用户接口（UI）校正其身份。

图1描绘了其中人类8诸如在用户家中与应用交互的交互系统10的示例实施例。交互系统10包括显示器196、深度相机系统20和计算系统12。深度相机系统20可以是分离的计算系统或者是计算系统12的部分。深度相机系统20可以包括图像相机组件22，其具有诸如有源红外（IR）光发射器之类的照明器24、诸如红外相机之类的图像传感器26、以及红-绿-蓝(RGB)可见光相机28。还被称为用户、人或玩家的人类8站在深度相机的视场6中。线2和4标示视场6的边界。在该示例中，深度相机系统20和计算系统12提供其中显示器196上的化身197跟踪人类8的移动的应用。例如，当人类抬起手臂时，化身可以抬起手臂。化身197站在3-D虚拟世界中的道路198上。可以定义笛卡尔世界坐标系统，其包括沿着深度相机系统20的焦距（例如水平）延伸的z轴、竖直延伸的y轴、以及横向且水平延伸的x轴。图的视角被修改为简化的，因为显示器196在y轴方向上竖直延伸，并且z轴从深度相机系统延伸出去，垂直于y轴和x轴，并且平行于用户8所站的地面。

一般地，交互系统10用来识别、分析和/或跟踪一个或多个人类目标。计算系统12可以包括计算机、游戏系统或控制台等，以及硬件组件和/或软件组件以执行应用。

深度相机系统20可以包括相机，其用来在视觉上监测一个或多个人，诸如人类8，使得由人类执行的手势和/或移动可以被捕获、分析和跟踪以执行应用内的一个或多个控制或动作，诸如使化身或屏幕上的角色动画化，或选择用户接口（UI）中的菜单项。

交互系统10可以连接到视听设备，诸如显示器196，例如电视、监视器等，或者甚至是向用户提供视觉和音频输出的墙或其它表面上的投影。音频输出还可以经由分离的设备提供。为了驱动显示器，计算系统12可以包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，其提供与应用相关联的视听信号。

可以使用深度相机系统20跟踪人类8，使得用户的手势和/或移动被捕获并且用来使化身和/或屏幕上的角色动画化，和/或被解译为针对由计算机环境12执行的应用的输入控制。

人类8的一些移动可以被解译为可对应于除控制化身之外的其它动作的控制。例如，在一个实施例中，玩家可以使用移动来结束、暂停或保持游戏、选择等级、查看高分、与好友通信等。玩家可以使用移动来从主用户接口选择游戏或其它应用，或者以其它方式导航选项菜单。因此，可以以任何适当的方式得到、使用和分析人类8的整个范围的运动以与应用交互。

交互系统10可以进一步用来将目标移动解译为意图用于娱乐和休闲的游戏和其它应用的领域之外的操作系统和/或应用控制。例如，操作系统和/或应用的几乎任何可控方面可以由人类8的移动控制。

图2描绘了图1的交互系统10的示例框图。深度相机系统20（一种类型的传感器）可以被配置成经由任何适当的技术（包括例如飞行时间、结构化光、立体视觉等）捕获具有深度信息的视频，所述深度信息包括可以包括深度值的深度图像。深度相机系统20可以将深度信息组织到“Z层”中或者可以垂直于从深度相机沿着其视线延伸的Z轴的层。

深度相机系统20可以包括捕获物理空间中的场景的深度图像的图像相机组件22。深度图像可以包括所捕获的场景的二维（2-D）像素区域，其中2-D像素区域中的每个像素具有相关联的深度值，其表示距图像相机组件22的线性距离，从而提供3-D深度图像。

图像相机组件22可以包括诸如红外（IR）光发射器24之类的照明器24、诸如红外相机之类的图像传感器26、以及红-绿-蓝(RGB)相机28，其可以用来捕获场景的深度图像或者提供用于其它应用的附加相机。

有源红外成像对于执行诸如登记和识别之类的生物计量标识过程是尤其有用的。相反，对于使用彩色成像的生物计量识别，通常会遇到的低光环境中的性能可能是不佳的。而且，对于同样通常会遇到的由于诸如灯、头顶灯和来自窗户的自然光之类的光源所致的不均匀照明，存在高敏感性。这些不同光源在用户面部上创建高光和阴影，从而使得许多面部识别系统失效。相反，对于用于生物计量识别的有源红外成像，用户被均匀地照亮，并且可以跨多种多样的起居室环境而识别，包括具有非常低照明水平的环境。

通过红外发射器24和红外传感器26的组合形成3-D深度相机。例如，在飞行时间分析中，照明器24向物理空间上发射红外光，并且图像传感器26检测从物理空间中的一个或多个目标和对象的表面后向散射的光。在一些实施例中，可以使用脉冲红外光，使得测量外出光脉冲和对应进入光脉冲之间的时间并且使用其来确定从深度相机系统20到物理空间中的目标或对象上的特定位置的物理距离。外出光波的相位可以与进入光波的相位相比较以确定相位偏移。然后可以使用相位偏移来确定从深度相机系统到目标或对象上的特定位置的物理距离。

还可以使用飞行时间分析来通过经由各种技术（包括例如快门光脉冲成像）分析反射光束随时间的强度而间接地确定从深度相机系统20到目标或对象上的特定位置的物理距离。

在另一示例实施例中，深度相机系统20可以使用结构化光来捕获深度信息。在这样的分析中，图案化光（即，被显示为已知图案的光，诸如网格图案或条纹图案）可以经由例如照明器24而投射到场景上。在照射到场景中的一个或多个目标或对象的表面上之后，作为响应，图案可以变得变形。这样的图案变形可以例如由图像传感器26和/或RGB相机28捕获，并且然后可以被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。

深度相机系统20可以进一步包括麦克风30，其包括例如接收声波并且将声波转变成电信号的换能器或传感器。附加地，麦克风30可以用来接收音频信号，诸如由人提供以控制由计算系统12运行的应用的声音。音频信号可以包括人的口声（诸如口语、口哨、叫喊和其它话语）以及非口声，诸如拍手或跺脚。在一个选项中，麦克风是定向的，使得其具有确定声音所来自的方向的能力。

深度相机系统20可以包括与3-D深度相机22通信的处理器32。处理器32可以包括可执行指令的标准化处理器、专用处理器、微处理器等，所述指令包括例如：用于接收深度图像的指令；用于基于深度图像生成体元网格的指令；用于移除包括在体元网格中的背景以隔离与人类目标相关联的一个或多个体元的指令；用于确定所隔离的人类目标的一个或多个四肢的位置或定位的指令；用于基于一个或多个四肢的位置或定位而调整模型的指令；或者任何其它适当的指令，其将在下文更详细地描述。

深度相机系统20可以进一步包括存储器组件34，其可以存储由处理器32执行的指令，以及存储由3-D相机或RGB相机捕获的图像或图像帧、或者任何其它适当的信息、图像等。根据示例实施例，存储器组件34可以包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓冲器、闪速存储器、硬盘、或者任何其它适当的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕获组件22和处理器32通信的分离组件。根据另一实施例，存储器组件34可以集成到处理器32和/或图像捕获组件22中。处理器32包括生物计量数据处理/过滤功能33以用于处理生物计量数据，诸如结合图5A的步骤502所描述的。

深度相机系统20可以经由有线和/或无线通信链路36与计算系统12通信。根据一个实施例，计算系统12可以经由通信链路36向深度相机系统20提供时钟信号，其指示何时从位于深度相机系统20的视场中的物理空间捕获图像数据。

附加地，深度相机系统20可以经由通信链路36向计算系统12提供通过例如图像传感器26和/或RGB相机28捕获的深度信息和图像，和/或可以由深度相机系统20生成的骨骼模型。

计算系统12然后可以使用模型、深度信息和所捕获的图像来控制应用。计算系统12可以提供生物计量识别系统。例如，如图2中所示，计算系统12可以包括手势库180，诸如手势过滤器的集合，其中每个具有关于可以由骨骼模型执行（在用户移动时）的手势的信息。例如，手势过滤器可以提供用于各种手部手势，诸如刷动或挥动手部。通过将所检测的运动与每个过滤器相比较，可以标识由人执行的指定手势或移动。还可以确定执行移动的意图。

以骨骼模型及与其相关联的移动的形式的深度相机系统20所捕获的数据可以与手势库180中的手势过滤器相比较，以标识用户（如由骨骼模型表示）何时已经执行一个或多个特定移动。那些移动可以与应用的各种控制相关联。

计算系统还可以包括处理器181以用于执行存储在存储器182中的指令，以向显示器196提供音频-视频输出信号并且实现如本文所描述的其它功能性。计算系统进一步包括外壳程序183、应用184、机器学习功能185、生物计量简档（模板）比较功能186和用户账户数据187，其包括生物计量简档188和用户缩略图像189。缩略图像可以是存储在文件中并且在向用户提供屏幕上的通知时使用的用户静态图像，如在下文进一步讨论的。

外壳程序是用户在访问诸如游戏（“题目”）之类的单个应用之前可以访问的高水平用户接口。例如，外壳程序可以包含菜单，其组织和描述不同应用。典型地，存在许多可用应用。机器学习功能用来在附加生物计量数据变得可用时随时间更新生物计量简档188。机器学习过程功能将诸如来自深度相机的用户的生物计量数据之类的输入映射到诸如用户的生物计量简档中的生物计量数据之类的输出。在一个方案中，映射使用神经网络。例如，参见2005年9月13日发布的题为“Post-invariantfacerecognitionsystemandprocess”的美国专利6,944,319（微软代理人案号140726.02）。

生物计量简档比较功能186将从深度相机接收的生物计量数据与用户的生物计量简档中的生物计量数据相比较。在一个方案中，可以对不同用户的生物计量简档做出比较，以找到最佳匹配、第二最佳匹配等的一个简档。每个比较的结果可以被指派置信水平，其指示匹配正确的概率。

可以为具有与计算系统相关联的账户的每个用户提供用户账户数据。在一个方案中，一个或多个生物计量简档、用户缩略图像189、用户名和密码与每个用户账户相关联。

在一个方案中，生物计量识别系统连续地运行在计算系统上。生物计量识别系统可以跨所有应用（包括在外壳中）标识所有所跟踪的身体，使得用户通常在其身份将被当前运行的应用所知晓时已经被标识。这给出这样的感知：生物计量身份是即时的。同样，因为用户被连续地标识，因而这允许生物计量身份系统执行离线半监督机器学习，从而随时间改进生物计量识别准确度。半监督学习是利用标注数据和未标注数据进行训练的一类机器学习技术—典型地少量标注数据与大量未标注数据。半监督学习落入非监督学习（不具有任何标注训练数据）和监督学习（具有完全标注的训练数据）之间。

图3描绘了可以用在图1的交互系统中的计算系统的示例框图。计算系统可以包括多媒体控制台100，诸如游戏控制台。多媒体控制台100具有中央处理单元（CPU）101，其具有级别1高速缓冲器102、级别2高速缓冲器104和闪速ROM（只读存储器）106。级别1高速缓冲器102和级别2高速缓冲器104临时存储数据并且因此减少存储器访问循环的数目，因而改进处理速度和吞吐量。CPU101可以提供成具有多于一个核，以及因此附加的级别1高速缓冲器102和级别2高速缓冲器104。存储器106（诸如闪速ROM）可以存储可执行代码，当多媒体控制台100通电时，在开机过程的初始阶段期间加载所述可执行代码。

图形处理单元（GPU）108和视频编码器/视频编解码器（编码器/解码器）114形成用于高速和高分辨率图形处理的视频处理管线。数据经由总线从图形处理单元108运送到视频编码器/视频编解码器114。视频处理管线将数据输出到A/V（音频/视频）端口140以用于传输到电视机或其它显示器。存储器控制器110连接到GPU108以促进处理器对各种类型存储器112（诸如RAM（随机存取存储器））的访问。

多媒体控制台100包括I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主机控制器126、第二USB控制器128和前面板I/O子部件130，其优选地在模块118上实现。USB控制器126和128充当用于外围控制器142（1）-142（2）、无线适配器148和外部存储器设备146（例如，闪速存储器、外部CD/DVDROM驱动器、可移除介质等）的主机。网络接口（NWIF）124和/或无线适配器148提供对于网络（例如，互联网、家庭网络等）的访问，并且可以是任何多种多样的各种有线或无线适配器组件，包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等。

提供系统存储器143以存储在开机过程期间加载的应用数据。提供媒体驱动器144，并且其可以包括DVD/CD驱动器、硬盘驱动器或其它可移除媒体驱动器。媒体驱动器144可以在多媒体控制台100的内部或外部。可以经由媒体驱动器144访问应用数据以用于由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线之类的总线或者其它高速连接而连接到I/O控制器120。

系统管理控制器122提供涉及保证多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体处理的对应音频处理管线。在音频处理单元123和音频编解码器132之间经由通信链路运送音频数据。音频处理管线向A/V端口140输出数据，以用于由外部音频播放器或者具有音频能力的设备进行再现。

前面板I/O子部件130支持电力按钮150和弹出按钮152以及任何LED（发光二极管）或者暴露于多媒体控制台100的外表面上的其它指示器的功能性。系统电力供应模块136向多媒体控制台100的组件提供电力。风扇138冷却多媒体控制台100内的电路。

CPU101、GPU108、存储器控制器110和多媒体控制台100内的各种其它组件经由一个或多个总线互连，所述总线包括使用任何各种总线架构的串行和并行总线、存储器总线、外围总线和处理器或本地总线。

当多媒体控制台100通电时，应用数据可以从系统存储器143加载到存储器112和/或高速缓冲器102、104中，并且在CPU101上执行。应用可以呈现图形用户接口，其在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验。在操作中，应用和/或包含在媒体驱动器144内的其它媒体可以从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能性。

多媒体控制台100可以通过简单地将系统连接到电视机或其它显示器而作为独立系统进行操作。在该独立模式中，多媒体控制台100允许一个或多个用户与系统交互、观看电影或听音乐。然而，在集成通过网络接口124或无线适配器148而可用的宽带连接性的情况下，多媒体控制台100可以进一步作为较大网络社区中的参与者进行操作。

当多媒体控制台100通电时，由多媒体控制台操作系统预留指定量的硬件资源以供系统使用。这些资源可以包括存储器（例如，16MB）、CPU和GPU循环（例如，5%）、联网带宽（例如，8kbs）等的预留。因为这些资源在系统开机时被预留，所以所预留的资源从应用的角度看是不存在的。

特别地，存储器预留优选地足够大以包含启动内核、并发系统应用和驱动器。CPU预留优选地是恒定的，使得如果所预留的CPU使用没有被系统应用所使用，则空闲线程将消耗任何未使用的循环。

关于GPU预留，通过使用针对调度码的GPU中断以将弹窗展现到覆盖中来显示由系统应用生成的轻量级消息（例如，弹窗）。覆盖所要求的存储器量取决于覆盖区域大小，并且覆盖优选地以屏幕分辨率进行缩放。在由并发系统应用使用整个用户接口的情况下，优选的是使用独立于应用分辨率的分辨率。可以使用缩放器来设置该分辨率，使得消除用于改变频率并使TV重新同步的需要。

在多媒体控制台100开机并且系统资源被预留之后，并发系统应用执行以提供系统功能性。系统功能性封装在一组系统应用中，其在上文描述的预留系统资源内执行。操作系统内核标识线程，其是与游戏应用线程相对的系统应用线程。优选地，调度系统应用以在CPU101上以预定时间和间隔运行，以便为应用提供一致的系统资源视图。调度用来针对运行于控制台上的游戏应用最小化缓存中断。

当并发系统应用要求音频时，由于时间敏感性，与游戏应用异步地调度音频处理。当系统应用有效时，多媒体控制台应用管理器（下文描述）控制游戏应用音频水平（例如，静音、减弱）。

输入设备（例如，控制器142（1）和142（2））由游戏应用和系统应用共享。输入设备不是所预留的资源，但是在系统应用和游戏应用之间切换，使得其每个将具有设备的焦点。应用管理器优选地在不知晓游戏应用知识的情况下控制输入流的切换，并且驱动器保持关于焦点切换的状态信息。控制台100可以从包括相机26和28的图2的深度相机系统20接收附加输入。

图4描绘了可以用在图1的交互系统中的计算系统的另一示例框图。在交互系统中，计算系统可以用来解译一个或多个手势或其它移动，并且作为响应，更新显示器上的视觉空间。计算系统20包括计算机241，其典型地包括各种有形计算机可读存储介质。这可以是可由计算机241访问的任何可用介质，并且包括易失性和非易失性介质、可移除和不可移除介质。系统存储器222包括以易失性和/或非易失性存储器形式的计算机存储介质，诸如只读存储器（ROM）223和随机存取存储器（RAM）260。基本输入/输出系统224（BIOS）典型地存储在ROM223中，所述基本输入/输出系统224包含诸如在启动期间有助于在计算机241内的元件之间传递信息的基本例程。RAM260典型地包含对于处理单元259可立即访问和/或目前在由处理单元259操作的数据和/或程序模块。图形接口231与GPU229通信。作为示例而不是限制，提供操作系统225、应用程序226、其它程序模块227和程序数据228。

计算机241还可以包括其它可移除/不可移除、易失性/非易失性计算机存储介质，例如从不可移除的非易失性磁介质读取或者写入到不可移除的非易失性磁介质的硬盘驱动器238、从可移除的非易失性磁盘254读取或者写入到可移除的非易失性磁盘254的磁盘驱动器239、以及从可移除的非易失性光盘253（诸如CDROM）或其它光学介质读取或者写入到可移除的非易失性光盘253（诸如CDROM）或其它光学介质的光盘驱动器240。可用在示例性操作环境中的其它可移除/不可移除、易失性/非易失性有形计算机可读存储介质包括但不限于盒式磁带、闪速存储器卡、数字多用盘、数字视频带、固态RAM、固态ROM等。硬盘驱动器238典型地通过诸如接口234之类的不可移除存储器接口连接到系统总线221，并且磁盘驱动器239和光盘驱动器240典型地通过诸如接口235之类的可移除存储器接口连接到系统总线221。

驱动器及其相关联的计算机存储介质为计算机241提供计算机可读指令、数据结构、程序模块和其它数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。要指出，这些组件可以与操作系统225、应用程序226、其它程序模块227和程序数据228相同或不同。此处给予操作系统258、应用程序257、其它程序模块256和程序数据255不同的数字，以至少描绘它们是不同的副本。用户可以通过诸如键盘251和定点设备252（通常被称为鼠标、跟踪球或触摸板）之类的输入设备向计算机241中键入命令和信息。其它输入设备（未示出）可以包括麦克风、控制杆、游戏板、圆盘形卫星天线、扫描仪等。这些和其它输入设备通常通过耦合到系统总线的用户输入接口236连接到处理单元259，但是可以通过诸如并行端口、游戏端口或通用串行总线（USB）之类的其它接口和总线结构而连接。包括相机26和28的图2的深度相机系统20可以定义用于控制台100的附加输入设备。监视器242或其它类型显示器也经由诸如视频接口232之类的接口连接到系统总线221。除监视器之外，计算机还可以包括其它外围输出设备，诸如扬声器244和打印机243，其可以通过输出外围接口233而连接。

计算机241可以使用到一个或多个远程计算机（诸如远程计算机246）的逻辑连接而在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见网络节点，并且典型地包括上文相对于计算机241描述的许多或所有元件，但是已经在图4中仅描绘存储器存储设备247。逻辑连接包括局域网（LAN）245和广域网（WAN）249，但是还可以包括其它网络。这样的联网环境在办公室、企业范围的计算机网络、内联网和互联网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接到LAN245。当在WAN联网环境中使用时，计算机241典型地包括调制解调器250或者用于在WAN249（诸如互联网）之上建立通信的其它装置。可以在内部或外部的调制解调器250可以经由用户输入接口236或其它适当的机制连接到系统总线221。在联网环境中，相对于计算机241描绘的程序模块或其部分可以存储在远程存储器存储设备中。作为示例而不是限制，远程应用程序248驻留在存储器设备247上。将领会，所示出的网络连接是示例性的，并且可以使用建立计算机之间的通信链路的其它装置。

计算系统可以包括有形计算机可读存储设备或装置，它具有体现在其上的计算机可读软件以用于编程至少一个处理器来执行如本文所描述的方法。有形计算机可读存储设备可以包括例如组件222、234、235、230、253和254中的一个或多个。进一步地，计算系统的一个或多个处理器可以提供如本文所描述的处理器实现方法。GPU229和处理单元259是处理器的示例。

图5A描绘了一种用于使用生物计量数据作为交互系统中的输入的方法。作为概述，每当身体在视场中被跟踪时，身体的生物计量数据就被搜集和缓存。不使用生物计量数据，直到用户的登入发生。一旦用户示出参与意图，则使用生物计量数据来试图使用户登入。如果用户被生物计量数据标识，则提供用户正在登入的通知。如果标识不正确，则用户可以通过选择其真实身份而响应。如果用户没有被生物计量数据标识，则提供用户可以通过选择其身份而对其做出响应的通知。一旦用户选择其身份，要么是响应于不正确的标识要么是响应于没有标识，则应用已经缓存的生物计量数据来创建或扩增用户的生物计量简档。所缓存的生物计量数据可以表示例如几分钟值的数据。而且，附加生物计量数据可以在用户已经被肯定地标识之后搜集，并且在用户登入视场中时用来扩增用户的生物计量简档。

搜集生物计量数据的速率取决于情景。例如，如果第一用户已经被标识并且第二用户进入视场，则与第一用户相比，可以将较高的优先级置于对第二用户搜集生物计量数据。在针对第二用户的数据搜集以相对高的速率发生时，针对第一用户的数据搜集可以停止或放慢。因此，考虑到系统的计算资源。

进一步地，生物计量数据样本可以标记有指示诸如以下各项的数据搜集条件的元数据：用户距传感器的距离、一天中的时间以及周围照明水平。在一些情况下，数据搜集可以着重于存在相对少数据的数据搜集条件。例如，在一天中用户的早间会话中，可以搜集相对大量或高速率的生物计量数据，例如，特定数量的样本。在那一天中用户的晚间会话中，可以搜集相对大量或高速率的生物计量数据。在另一天中用户的早间会话中，可以搜集相对少量或低速率的生物计量数据，因为对于该类别而言，已经存在大量数据。用户的外貌将基于诸如所穿的衣服、身体外貌（是否刮了胡子、是否梳了头等）等而链接到一天中的时间。

类似地，当用户距传感器5-10英尺时，可以在一个或多个会话中使用相对高的速率，直到已经针对该距离类别搜集足够量的生物计量数据。在此之后，对于该类别，速率可以减小或者搜集可以停止。类别也可以组合，例如，针对具有5-10英尺距离的低照明条件的类别、针对具有5-10英尺距离的高照明条件的类别、针对具有10-15英尺距离的低照明条件的类别、针对具有10-15英尺距离的高照明条件的类别等。

数据搜集速率还可以基于用户正在做什么（例如活动或运动水平）而变化。例如，数据搜集速率可以在用户不活跃（例如，长时间坐在沙发上）时减小，并且在用户较活跃（例如，四处移动）时增大。在用户活跃时搜集数据可以允许捕获用户具有不同身体或头部位置或姿态时的数据。

一般地，获取生物计量数据的速率可以基于当前生物计量数据搜集条件以及在当前生物计量数据搜集条件下已经搜集的生物计量数据量。当在当前生物计量数据搜集条件下已经搜集的生物计量数据量相对较低时，速率相对较高。

话音也可以用于自然用户接口中并且与身体位置相关。用户话音可以用来确认用户物理身份，以作为使用游戏板或手势的替换方案或附加方案。

步骤500包括从传感器（或多个传感器）的视场中的一个或多个用户获取生物计量数据。步骤502包括处理生物计量数据。参见例如图5B和5C以得到进一步的细节。

步骤503检测用户参与计算系统的意图。这触发向外壳程序提供生物计量数据。这提供两个主要益处。第一，等待直到用户参与系统为生物计量身份系统提供更多时间来收集数据以识别用户。这增大了识别的准确度。第二，等待直到用户参与是对生物计量数据采取动作的更直观时间，所述动作包括使用户登入或者提供他们没有被识别的反馈。参与计算系统或与计算系统交互的意图可以涉及例如检测用户的移动、检测与视场中的第一用户的位置相关的控制器设备的位置、或者检测与视场中的第一用户的位置相关的话音命令。参与意图的其它示例在2012年12月18日发布的题为“Recognizinguserintentinmotioncapturesystem”的美国专利8,334,842（微软代理人案号328168.01）中。

步骤504包括向计算系统的外壳程序提供经处理的生物计量数据。在步骤506处，外壳程序管理生物计量数据，例如以标识用户和更新生物计量简档。例如结合图7A到10B提供步骤506的进一步细节。

图5B描绘了用于如图7的步骤502中所阐述的那样处理生物计量数据的示例方法。步骤510包括检测传感器视场中的人类目标，例如使用如结合图2-4所讨论的深度相机系统20和/或计算系统12、100或420。可以扫描一个或多个人类目标以生成诸如骨骼模型、网状人类模型或者人的任何其它适当表示之类的模型。在骨骼模型中，每个身体部分可以被表征为定义骨骼模型的关节和骨头的数学向量。身体部分可以在关节处相对于彼此移动。

然后可以使用模型来与外壳程序或由计算系统执行的其它应用交互。步骤512可以在应用发动或启动时发生，或者在其它时间发生。

可以扫描人以生成骨骼模型，其可以被跟踪使得用户的物理移动或运动可以充当调整和/或控制应用参数的实时用户接口。例如，所跟踪的人的移动可以用来移动电子角色扮演游戏中的化身或其它屏幕上的角色；用来控制电子赛车游戏中的屏幕上的车辆；用来控制虚拟环境中的对象的构建或组织；或者用来执行应用的任何其它适当控制。

按照一个实施例，在步骤510处，例如从深度相机系统接收深度信息。深度相机系统可以捕获或观测可包括一个或多个目标的视场。在示例实施例中，深度相机系统可以使用任何适当的技术获取与捕获区域中的一个或多个目标相关联的深度信息。深度信息可以包括具有多个所观测的像素的深度图像或深度图，其中每个所观测的像素具有所观测的深度值。

深度图像可以被降低采样为较低的处理分辨率，使得其可以采用较低的计算开销而更容易地使用和处理。附加地，一个或多个高方差和/或噪声深度值可以从深度图像移除和/或平滑化；缺失和/或移除的深度信息的部分可以被填充和/或重新构造；和/或可以对所接收的深度信息执行任何其它适当的处理，使得深度信息可以用来生成诸如骨骼模型之类的模型（参见图6A）。

步骤510可以确定深度图像是否包括人类目标。这可以包括洪水填充（floodfill）深度图像中的每个目标或对象，从而将每个目标或对象与图案相比较以确定深度图像是否包括人类目标。例如，深度图像的所选区域或点中的像素的各种深度值可以被比较，以确定可以定义如上文所描述的目标或对象的边缘。可以基于所确定的边缘而洪水填充Z层的可能Z值。例如，与所确定的边缘相关联的像素与边缘内的区域的像素可以彼此相关联，以定义可与图案相比较的捕获区域中的目标或对象。

与每个目标或对象相比较的图案可以包括一个或多个数据结构，其具有共同定义人类的典型身体的一组变量。与例如视场中的人类目标和非人类目标的像素相关联的信息可以与变量相比较以标识人类目标。在一个实施例中，可以基于身体部分对组中的每个变量进行加权。例如，图案中诸如头部和/或肩膀之类的各种身体部分可以具有与其相关联的加权值，其可以大于诸如腿部之类的其它身体部分。根据一个实施例，在将目标与变量相比较时可以使用加权值以确定目标是否为人类以及哪个目标可能是人类。例如，与具有较小加权值的匹配相比较，具有较大加权值的目标和变量之间的匹配可以得出目标为人类的更大可能性。

步骤512包括针对身体部分扫描人类目标。可以扫描人类目标，以提供与人的一个或多个身体部分相关联的测量（诸如长度、宽度等），从而提供人的准确模型。在示例实施例中，可以隔离人类目标，并且可以创建人类目标的位掩码以针对一个或多个身体部分进行扫描。可以通过例如洪水填充人类目标使得人类目标可以与捕获区域元素中的其它目标或对象分离而创建位掩码。然后可以针对一个或多个身体部分分析位掩码以生成人类目标的模型，诸如骨骼模型、网状人类模型等。例如，根据一个实施例，由所扫描的位掩码确定的测量值可以用来定义骨骼模型中的一个或多个关节。一个或多个关节可以用来定义可对应于人类的身体部分的一个或多个骨头。

例如，人类目标的位掩码的顶部可以与头部顶部的位置相关联。在确定头部顶部之后，可以向下扫描位掩码以然后确定颈部的位置、肩膀的位置等。可以将例如正在扫描的位置处的位掩码的宽度与例如和颈部、肩膀等相关联的典型宽度的阈值相比较。在可替换实施例中，距所扫描的并且与位掩码中的身体部分相关联的之前位置的距离可以用来确定颈部、肩膀等的位置。可以基于例如其它身体部分的位置来计算诸如腿部、脚部等的一些身体部分。在确定身体部分的值之后，创建包括身体部分的测量值的数据结构。数据结构可以包括根据深度相机系统在不同时间点所提供的多个深度图像所平均的扫描结果。

步骤514包括生成人类目标的模型。在一个实施例中，由所扫描的位掩码确定的测量值可以用来定义骨骼模型中的一个或多个关节。一个或多个关节用来定义对应于人类的身体部分的一个或多个骨头。可以调整一个或多个关节，直到关节处于人类的身体部分和关节之间的典型距离范围内，以生成更准确的骨骼模型。可以基于例如与人类目标相关联的高度进一步调整模型。

步骤516包括生成面部识别数据，例如如结合图5C进一步讨论的。步骤518包括处理可见光图像以标识头发颜色以及衣服颜色和图案，以协助标识特定用户。例如，可以确定衣服的主要颜色。参见图5C中的颜色数据功能538。步骤520包括跟踪人类目标。可以通过每秒更新几次人的位置而跟踪人类目标。当用户在物理空间中移动时，来自深度相机系统的信息用来调整骨骼模型使得骨骼模型表示人。特别地，可以将一个或多个力应用到骨骼模型的一个或多个受力方面，以将骨骼模型调整为更接近地对应于物理空间中的人类目标的姿态的姿态。

图5C描绘了用于按照图5A的步骤502处理生物计量数据的示例数据流530。数据流包括诸如来自深度相机系统20的红外相机数据532。这可以是由相机获取的原始图像数据。处理该图像数据以提供深度数据534，并且处理深度数据以提供身体数据536，诸如身体的骨骼模型。结合图5B和6A提供进一步的细节。诸如来自可见光相机的颜色数据538可以包括有用户生物计量简档540。面部检测过程542使用身体数据来确定用户面部相对于整个身体的位置。可选地，可以在不参考整个身体模型的情况下确定用户面部的位置。面部对准544过程将表示面部的数据与红外相机数据对准。用于将面部与红外相机数据对准的方法可以涉及标识特定面部特征位置，包括眼睛中央、鼻子尖端和嘴角。头部取向过程546基于面部对准数据和红外相机数据而确定头部的取向。

面部识别过程548基于颜色数据、用户生物计量简档和红外相机数据来识别特定用户的面部。可以确定一组面部对准点与一个或多个其它组面部对准点中的每一组之间的匹配程度。例如，一组可以来自传感器，并且一个或多个其它组中的每一组可以处于相应用户的生物计量简档中。可以提供每个匹配的置信水平并且对其进行排序以找到最佳匹配、第二最佳匹配等。置信水平可以与阈值相比较，以确定其是否提供可接受的匹配以及是否应当（和应当如何）提示用户确认匹配。

流行的面部识别算法包括使用Eigen面部的主成分分析、线性判别分析、使用Fisher面部算法的弹性聚束图匹配、隐马尔科夫模型、神经元激励动态链路匹配、3D面部识别、皮肤纹理分析和联合贝叶斯面部识别算法。面部识别算法可以从包括简档视图的一系列视角标识面部。

身体或面部与用户的配对存储在数据550中。

图6A描绘了如在图5B的步骤514中所阐述的人类目标的示例模型。模型600在z方向上面向深度相机，使得所示截面处于x-y平面中。要指出，垂直的是y轴并且横向的是x轴。在图1和6D中提供类似的记号。模型包括若干参考点，诸如头部顶部602、头部底部或下巴613、右肩膀604、右肘606、右手腕608以及例如由指尖区域表示的右手610。还描绘了头部601。从面向相机的用户的角度定义右侧和左侧。模型还包括左肩膀614、左肘616、左手腕618和左手620。连同右臀部624、右膝盖626、右脚628、左臀部630、左膝盖632和左脚634一起，还描绘了腰部区域622。肩线612是肩膀604和614之间的线，其典型地是水平的。还描绘了例如上躯干中心线625，其在腰部区域622和下巴613之间延伸。

图6B描绘了如在图5B的步骤516中所阐述的面部识别数据的示例。模型600的头部601包括若干面部对准点，诸如眼睛中央603和605、鼻子尖端607以及嘴角609和611。

图6C描绘了用于按照图5B的步骤516基于头部取向而过滤生物计量数据以提供面部识别数据的示例过程。头部取向信息可以用来与参考图像相比较地过滤出样本图像，从而做出图像之间更好的“同类”比较，并且提供增大的识别准确度。进一步地，如果指示，则识别系统可以将其参考图像的集合约束为特定头部取向，从而产生用于特定用户的更鲁棒训练成像。基于根据头部取向对生物计量样本的过滤来约束生物计量简档中的头部取向范围。例如，系统可以过滤出其中头部以摇动、倾斜或转动远离传感器取向超过特定度数的所有生物计量样本。在该范围内，头部取向进一步用来比较具有类似取向的图像，从而提供更准确的识别结果。

步骤640最初过滤出不适当的生物计量数据。一般地，不是最适用于生物计量识别的生物计量数据可以被过滤出并且不与生物计量简档相比较。该方案避免了不正确的识别并且减小了处理和存储要求。例如，当用户离传感器过于远时，当用户的面部被其手部或其它对象挡住时，当图像噪声水平例如由于振动而过于高时，或者基于其它准则，可以移除数据。

对于剩余数据，步骤642包括处理生物计量数据以确定用户的头部取向。已经发现，基于头部取向进行过滤是有用的。例如，可以在确定面部对准点之前确定大概的头部取向。头部取向可以以世界坐标系来表达，诸如通过倾斜、摇动和转动的角度量。摇动的示例在图6D中提供。步骤644过滤出所定义的范围之外的头部取向的生物计量数据。因此，方法可以包括执行过滤过程，使得在更新生物计量简档时使用的生物计量数据处于用户头部取向的所定义的范围内，例如其中用户一般面向传感器。一个示例是+/-45度的摇动。倾斜可以在相对于z轴的例如+/-30度的范围内。也可以执行基于头部转动角度的过滤。

步骤646可以可选地用于将生物计量数据分类成头部取向的多个所定义的范围。该方案将生物计量数据划分成不同类，其在生物计量匹配过程期间单独地处理。例如，可以针对从-22.5度到-45度、0到-22.5度、0到22.5度和22.5度到45度的范围中的头部摇动角度定义类。可以基于倾斜和/或转动做出进一步的细分。简档中的生物计量数据可以类似地存储在不同类中。因此，可以针对一个类而不是其它类执行生物计量识别。通过根据类似头部取向对生物计量数据进行分组，可以增大比较的准确度。实际上，相比于不考虑头部取向的生物计量比较，更高的最小可接受置信水平可以用于头部取向类中的生物计量比较。因此，方法可以包括执行过滤过程，使得在更新生物计量简档时使用的生物计量数据处于其中用户面向传感器的用户头部取向的多个所定义的范围内。而且，生物计量简档的生物计量数据也处于头部取向的多个所定义的范围内。对于头部取向的每个所定义的范围，单独地更新生物计量简档的生物计量数据。

图6D描绘了按照图6C的步骤642的示例头部取向。回忆到，x-z平面是平行于地面的水平平面。描绘了用户600的俯视图。z轴沿着线643延伸。线641垂直于肩线612，并且与z轴成45度角，所以摇动量是45度。线645与线641和643两者都成22.5度角。在一个方案中，如结合图6C所讨论的，线641和645之间的头部取向可以表示一类头部取向，并且线643和645之间的头部取向可以表示另一类头部取向。

图7A描绘了用于按照图5A的步骤506使用户登记到计算系统的示例过程。当用户登入到外壳程序中时，可以通过一组提示引导用户以键入其账户凭证并且确认其身份。在完成该过程之后，该用户变成在生物计量上登记的、系统上的已知用户，并且可以经由计算系统访问内容。例如，用户可以通过以不同方式键入命令来与登记用户接口交互。在一个方案中，用户使用向计算系统传达信号的控制器设备。控制器设备可以具有允许用户导航用户接口机制，诸如按钮、按键和控制杆。在另一方案中，用户执行由手势库识别并且与特定命令相关联的手势。在另一方案中，使用语音检测来识别用户的话音命令。在另一方案中，诸如指向用户接口的菜单选择之类的用户移动被识别为命令。在手势或其它移动的情况下，身体本身变成自然用户接口中的控制器。示例用户接口在下文中进一步讨论，例如在图11A到11N处。

在步骤700处，控制器（例如，用户身体或控制器设备）键入命令以使用户登入。用户可以提供例如他或她的名字，例如Ben。步骤702将控制器与用户配对，例如相关联。例如，计算系统可以将名字“Ben”与正在检测的身体相关联或者与正从其接收命令的控制器设备相关联。可以创建新账户并且将其指派给用户。决定步骤704确定用户是否选择在生物计量上登记。可以使用其中用户提供用于期望设置的命令的适当用户接口。如果决定步骤704为假，则过程在步骤718处完成。在该情况下，用户决定退出在生物计量上被识别。如果决定步骤704为真，则决定步骤706确定控制器是否为身体。如果决定步骤706为真，则用户身体已经在被跟踪，使得可以在步骤712处利用链接到账户的生物计量简档中的身体生物计量样本来登记用户。

如果决定步骤706为假，则这指示用户正使用例如控制器设备而不是使用身体移动来键入命令。决定步骤708确定控制器是否与身体配对。例如，可以检测视场中的控制器设备的位置并且将其与在该位置处检测到的身体相关联。计算系统可以具有接收由控制器设备传输的信号（诸如射频信号）的定向天线。一个示例是2.4GHz处的RF传输。然后可以确定控制器设备与计算系统的天线的相对位置，并且将其与视场中的特定用户匹配起来，即便是视场中存在多个用户时。例如，可以通过红外相机本身跟踪游戏板或其它控制器设备的位置，并且使用其将控制器设备与拿着它的身体相关。然后，该用户身体链接到控制器设备。例如参见图12A到12H。

如果决定步骤708为真，则用户身体已经在被跟踪使得步骤712紧跟其后。如果决定步骤708为假，则步骤710提示用户标识他或她的身体，例如通过执行诸如抬起手、挥动或前进之类的手势或者诸如“是”之类的话音命令。这可以例如在视场中存在多个用户时或者另外期望无疑地确认用户身份时完成，并且步骤712紧跟其后。

决定步骤714确定用户是否选择启用生物计量登入以用于与计算系统的未来会话。会话可以是其中用户登入的一段时间。该偏好可以存储在用户账户中。如果决定步骤714为真，则步骤716针对用户启用生物计量登入。在该情况下，在检测到用户处于视场中，被生物计量身份系统标识，以及系统检测到用户参与的意图时，自动使其登入。如果决定步骤714为假，则过程在步骤718处完成。

图7B描绘了用于按照图5A的步骤506使用户登记或登入计算系统的另一示例过程。可以基于用户意图参与计算系统而发起过程，并且多个用户的存在得以解决。在步骤720处，从传感器视场中的一个或多个用户获取生物计量数据。步骤722将生物计量数据与一个或多个账户中的一个或多个用户的生物计量简档相比较。在步骤724处，在该示例中，没有找到匹配。也就是说，没有找到具有高于最小阈值的置信水平的匹配。决定步骤726确定是否存在用户参与计算系统的意图。这可以以不同方式确定。例如，用户可以做出指示意图参与的话音命令。视场中的用户的特定手势、移动或位置可以指示参与意图。如果决定步骤726为假，则在步骤738处获取附加生物计量数据，并且在步骤722处重复比较。如果决定步骤726为真，则决定步骤728确定视场中是否检测到多个用户。

当多个用户存在于视场中时，有用的是，提示用户标识他自己或她自己，以确保由正确用户做出登记。如果决定步骤728为真，则步骤730显示其中一个用户在视觉上被区分（例如，高亮）的用户实时图像。这是计算系统相信其已经指示参与意图的用户。当存在与已经示出参与意图的用户匹配的多个现有身份时，系统显示提示。例如参见图11B或11G。实时图像可以是视频馈送或在交互时拍摄的用户静态图像。步骤732提示用户从多个用户之中标识他自己或她自己。在步骤734处，用户标识他自己或她自己，诸如通过抬起手、挥动或前进或者诸如“是”之类的话音命令。可以通过话音识别技术或者通过使用指示话音相对于计算系统的方向的定向天线来识别话音命令。步骤736使用户登入或登记。如果决定步骤728为假，则步骤740显示用户实时图像，并且步骤732紧跟其后。

图8A描绘了用于按照图5A的步骤506的用户的生物计量识别的示例过程。在步骤800处，获取来自所跟踪的身体的附加生物计量样本。步骤802暂时存储生物计量样本以用于登记和校正。决定步骤804确定身体是否与用户配对。如果决定步骤804为真，则过程在步骤816处完成。如果决定步骤804为假，则决定步骤806确定生物计量样本是否与任何生物计量简档匹配。如果决定步骤806为假，则在步骤800处获取附加样本。如果决定步骤806为真，则步骤808将身体与和匹配的生物计量简档相关联的用户配对。如果用户在决定步骤810处登入，则过程完成。如果用户在决定步骤810处没有登入，则决定步骤812确定用户是否启用生物计量登入。如果决定步骤812为假，则过程完成，如果决定步骤812为真，则在步骤814处使用户自动登入到其账户中，从而假设用户已经被肯定地标识并且已经示出参与意图。

因此，在找到匹配的生物计量简档的事件中，如果用户尚未登入，则系统不会使用户自动登入并且将他与他的身体配对。在使所标识的用户登入并且将他与他的身体配对之前，系统会等待直到用户已经示出参与意图。随后，当用户已经登入时，如果他被重新标识，则自动将他与他的身体再次配对。

图8B描绘了用于按照图5A的步骤506的用户的生物计量识别的示例过程，其中确定匹配的置信水平。可以使用各种技术来确定匹配的置信水平或相似分数。例如，置信水平可以在0-100%之间的范围内，其中100%指示确定无疑的匹配。步骤820将从传感器接收的生物计量数据与生物计量简档中的生物计量数据相比较。步骤822发现最佳匹配生物计量简档，其中置信水平与最佳匹配相关联。步骤824显示正在标识的用户的实时图像，从而假设存在参与意图。例如，参见例如图11K。

因此，在一个实现方式中，系统不会自动显示正在标识的用户的实时图像直到用户示出参与意图。这是要防止设备“观看”用户的感知，并且防止其中存在许多用户的场景（例如，聚会场景）中的嘈杂通知。

决定步骤826确定置信水平是否超过阈值。作为示例，可以使用60%的阈值，这取决于匹配过程。如果决定步骤826为真，则已经以高确定量标识用户。步骤838显示来自与所匹配的生物计量简档相关联的账户的用户的缩略图像。例如，参见例如图11L。步骤832可选地提示用户标识他自己或她自己，例如通过从图11L的用户接口选择是或否。如果系统已经以高置信水平肯定地标识用户，则系统可以不提示用户标识他自己。识别阈值可以设置为高水平，使得系统可以对于用户身份已知是非常自信的。

在步骤834处，如果适用，则用户标识他自己或她自己。步骤836使用户登入到其账户中（如果他们还没有登入的话）并且利用用来标识他们的生物计量数据以及可选地已经获取和存储的其它数据对相关联的生物计量简档进行更新。

如果决定步骤826为假，则步骤828找到第二或另外的最佳匹配生物计量简档。因此，可以获取数量为n1的匹配，并且根据其置信水平从最高置信水平到最低置信水平对其进行排序。步骤830显示来自与所匹配的生物计量简档相关联的账户的用户的缩略图像。例如，参见图11M。然后，步骤832、834和836紧跟其后。在步骤834中，用户可以标识他自己或她自己，例如通过执行诸如抬起手、挥动或前进之类的手势或者诸如“是”之类的话音命令。

可选地，如果置信程度非常高，则可以不提示用户标识他自己或她自己。作为示例，如果置信程度是80%-100%，则不提示用户标识他自己或她自己并且使其自动登入。因此，过程包括在用户登入账户之前并且在用户处于传感器视场中时获取用户的其它生物计量数据，将其它生物计量数据与生物计量简档相比较，以及在确定其它生物计量数据与生物计量简档之间的匹配之后自动执行用户到账户的登入。

如果置信程度是60%-80%，则提示用户使用一个缩略图像和是或否响应来标识他自己或她自己。如果置信程度是40%-60%，则提示用户从使用多个缩略图像的多个用户之中标识他自己或她自己。如果置信程度低于40%，则这太低使得不能做出可靠标识。

图9描绘了用于按照图5A的步骤506训练用户的生物计量简档的示例过程。在用户登入到计算系统上的会话中之前、期间或之后，可以基本上连续地更新生物计量简档。例如，在步骤900处，用户没有登记但是处于视场中。在步骤902处，用户没有登入但是处于视场中。在步骤904处，用户登入并且处于视场中。在步骤906处，用户返回到视场而同时仍然登入。在步骤908处，用户登出但是保留在视场中。在这些情形中的每个中，可能在框910处继续搜集用户的生物计量数据，并且在用户选择或确认其身份时在框912处使用生物计量数据训练用户的生物计量简档。

因此，在计算设备上的应用请求用户身份之外的其它时间，可以搜集生物计量数据。生物计量数据可以在请求用户身份之前提前搜集，使得身份立即可用。可以在用户与计算系统交互时、会话期间、会话之前或之后和/或计算系统离线时搜集生物计量数据。可以分配存储资源来存储生物计量数据以供随后训练。同样地，当处理资源不可用时，可以暂时中止数据搜集。

生物计量简档的训练可以在用户选择或确认其身份时发生。因为肯定的识别也可能是不正确的，所以保守方案是不自动开始训练用户的生物计量简档，直到用户自己选择其真实身份。

生物计量样本可以以各种速率生成，诸如每秒多次，或者每几秒或几分钟一次。在一个方案中，基本上连续地生成生物计量样本。过滤过程（诸如结合图6C所描述的）可以用来减小所处理的数据量。而且，搜集生物计量数据的频率可以是之前生物计量数据的置信水平的函数，以及基于其它因素，如所提到的，诸如已经针对特定种类搜集的生物计量数据量（参见图5D）。例如，当之前生物计量数据的置信水平相对高时，可以较不频繁地搜集生物计量数据，或者当之前生物计量数据的置信水平相对低时，可以较频繁地搜集生物计量数据。还可能基于训练过程的结果来调整满意匹配的最小置信水平。例如，当简档变得接受更多训练并且因此更加准确和鲁棒时，最小置信水平可以增大。

图10A描绘了用于按照图5A的步骤506校正用户的不正确生物计量识别的示例过程。在一些情况下，以高于满意匹配的最小置信水平的置信水平做出不正确的生物计量匹配，诸如当两个用户具有类似外貌时或者当生物计量简档未很好地受训时。在该情况下，正确用户（或另一用户，诸如不正确用户）可以经由适当用户接口键入命令以校正错误标识。在步骤1000处，通过使用这样的用户接口，控制器（例如，控制器设备或正确用户的身体）选择正确用户。步骤1002将控制器与用户配对。可选的决定步骤1004确定用户是否选择扩增他或她的生物计量简档。在用户登入时示出的用户接口可以允许用户选择扩增其生物计量简档。替代地，系统可以选择自动扩增所选用户的生物计量简档，而不询问用户他们是否愿意扩增发生。如果决定步骤1004为假，则过程在步骤1014处完成。如果决定步骤1004为真，并且在步骤1006处控制器是身体，则过程在步骤1014处完成。如果在步骤1006处控制器不是身体，例如控制器是控制器设备，并且在决定步骤1008处控制器与身体配对，则过程在步骤1014处完成。如果决定步骤1008为假，则步骤1010可选地提示用户进入视场并且标识他自己或她自己，例如通过抬起手、挥动、前进等。步骤1012利用身体的生物计量样本扩增用户的生物计量简档，并且过程在步骤1014处完成。可替换地，为了减少用户的负担并且使登入过程更加用户友好，如果用户身体没有在被跟踪，则系统可以选择不扩增用户的生物计量简档，使得省略步骤1010和1012。

图10B描绘了用于按照图5A的步骤506校正用户的不正确生物计量识别的另一示例过程。在步骤1020处，正确用户键入命令以校正错误标识。在步骤1022处，用户接口显示具有账户的所有用户的缩略图像。步骤1024提示用户从具有账户的所有用户之中标识他自己或她自己。在步骤1026处，正确用户通过键入命令来标识他自己或她自己。步骤1028使不正确用户登出。步骤1030使正确用户登入到账户中，并且更新相关联的生物计量简档。

图11A到11N描绘了按照图7A到10B的示例用户接口。这些情景的目的在于论证用于设计生物计量身份系统的原则，包括集成到登入中的生物计量登记，以及在系统级提供反馈和校正机制以应对未标识或错误标识的用户。

图11A描绘了其中用户可以登入到现有账户中或向计算系统注册（登记）的用户接口1100。例如，用户可以提供将与账户相关联的电子邮件地址和密码。

图11B描绘了其中提示用户确认他或她的身份的用户接口1105。用户接口包括传感器视场中的多个用户的实时图像1106。用户是父亲1107、Ben1108和母亲1109。进一步地，在视觉上通过高亮区域1104对父亲进行区分，以示出计算系统已经标识他。这让父亲知道计算系统已经检测到他的身体。可以在视觉上以不同方式对用户图像进行区分。另一示例是以彩色示出所区分的用户身体，而其它用户是灰色的。可以基于视场中所检测的身体的知识而通过修改视场的可见光相机图像来提供视觉高亮。例如，可以例如基于用户的骨骼模型、从背景对象减去前景对象或其它技术来确定每个身体的轮廓。每个身体的轮廓可以通过使用来自红外传感器的图像来确定，并且然后叠加在可见光相机图像上。或者，每个身体的轮廓可以通过使用来自可见光相机的图像来确定。在另一方案中，在来自红外相机的实时图像中对用户身体进行高亮。

用户接口包括消息：确认选择你的身份或者抬起你的手来改变选择。如果标识正确，则用户（父亲）可以选择“下一步”按钮，或者如果用户不希望在生物计量上被登记，则可以选择“跳过”按钮。

图11C描绘了其中父亲登入的用户接口1110。用户接口包括消息：你好，父亲。你正在登入。附加地，显示父亲的缩略图像1111。缩略图像可以是之前获取的图像，其中用户具有与登入时稍微不同的外貌。例如，缩略图像中的用户具有不同的面部表情和头部取向。

图11D描绘了其中父亲登入并且显示主页1116的用户接口1115。在主页的一侧显示父亲的缩略图像1117以作为父亲登入的通知。

图11E描绘了其中Ben诸如通过叫喊或抬起他的手臂（未示出）而开始与计算系统交互的用户接口1120。在该示例中，Ben还没有登记并且因此没有被识别。用户接口显示Ben的实时图像1121和消息：你好，我不认为我们认识。这让Ben知道计算系统已经检测到他的身体。在该情况下，计算系统相当确定Ben的生物计量数据不匹配任何当前生物计量简档。

图11F描绘了允许Ben作为新用户、访客或现有用户登入的用户接口1125。用户接口还显示消息：欢迎，请登入。

图11G描绘了其中提示Ben确认其身份的用户接口1130。在传感器视场中的多个用户的实时图像1131中，在视觉上通过高亮区域1132对Ben进行区分，以示出计算系统已经标识他。用户接口包括消息：确认选择你的身份或者抬起你的手来改变选择。如果标识正确，则用户可以选择“下一步”按钮，或者如果用户不希望在生物计量上被登记，则可以选择“跳过”按钮。

图11H描绘了其中Ben作为新用户登入的用户接口1135。用户接口包括消息：很高兴见到你，Ben。你正在登入。附加地，捕获和显示缩略图像1136。

图11I描绘了其中将Ben的缩略图像1141显示在父亲的缩略图像1117旁边以指示他们两者当前登入的用户接口1140。

图11J描绘了其中当父亲已经离开视场并且在重新进入视场时被再次识别时显示通知的用户接口1145。例如，父亲可以离开房间并且然后在几分钟之后返回。用户可以在其中视场中未检测到其身体的一段时间内保持登入。消息是：欢迎回来，父亲。在该示例中，Ben依然登入。

图11K到图11N描绘了诸如结合图8B所讨论的情况，其中计算系统以高于阈值的置信程度相信Ben的生物计量数据与一个生物计量简档匹配。例如，图11K描绘了用户接口1150，其中与消息：你好，我们认识吗？一同显示Ben的实时图像1121。

图11L描绘了用户接口1155，其中与消息：是你吗？一同显示Ben的缩略图像1156。用户可以选择“是”按钮以确认这是他，或者如果这不是他，则选择“否”按钮。在该示例中，Ben的缩略图像是其中Ben没有戴帽子的图像。同样参见图8B的步骤832。这是通知用户相信他或她与用户账户相关联并且提示用户确认他或她的身份的示例。

图11M描绘了用户接口1160，其中与消息：你又是谁？一同显示Ben的缩略图像1156和父亲的缩略图像1161。这是通知用户相信他或她与第一最佳匹配的用户账户（Ben）和作为第二最佳匹配的用户账户（父亲）相关联，提示用户通过从这些选择之中进行选取而确认他或她的身份的示例。被称为“其他人”的菜单选择1162允许用户检索所有用户账户列表来标识他自己。同样参见图8B的步骤830。

因为Ben是当前用户，所以他选择缩略图像1156，从而导致图11N的用户接口1165，其包括消息：欢迎回来，Ben。你正在登入。

图12A到12H描绘了按照图11A到11N的用户接口的生物计量识别系统的示例状态。状态由表格指示。第一列指示处于视场中的一个或多个实际用户并且不是状态数据中的数据的一部分。第二列指示用户的控制器是身体还是游戏板（控制器设备的示例）。第三列指示根据生物计量识别系统的用户身份，其与实际用户身份相同，除非存在错误标识。如果用户处于正在标识的过程中，则记号“正在标识”出现。

列生物计量标识系统

图12A提供了用于图11B的用户接口的示例状态。视场中存在三个所标识的身体：身体1（父亲）、身体2（Ben）和身体3（母亲）。附加地，假设父亲拿着控制器设备（游戏板A）并且这也已经被检测到并与身体1相关联。计算系统处于标识每个用户的过程中。图12B提供其中父亲已经被标识的示例状态，其对应于图11C和11D的用户接口。图12B的状态还适用于图11E的用户接口，因为Ben还没有被标识。一旦Ben在图11F和11G的用户接口中确认其身份，则在图11H的用户接口中达到图12C的状态。

当父亲登入但是离开视场时，图12D的状态适用。该状态指示父亲及其身体（身体1）不存在。当父亲重新进入视场时，图12E的状态指示其身体（身体1）正被标识，这在表格的第二行中。在该示例中，父亲这次没带游戏板。在表格的第一行中，保留针对登入的父亲的单独条目。当父亲被标识时，图12F的状态适用。父亲的身体而不是游戏板是控制器。图11J的用户接口对应于该状态。

图12G的状态适用于图11K的用户接口。假设母亲不再存在。父亲已经被标识并且Ben处于正被标识的过程中。一旦Ben确认其身份，则达到图12H的状态，这对应于图11N的用户接口。

已经出于图示和描述的目的在本文呈现了技术的前述详细描述。其不旨在是穷尽性的或者将技术限为所公开的明确形式。根据上文的教导，许多修改和变型是可能的。选择所描述的实施例以最好地解释技术的原理及其实际应用，从而使得本领域技术人员能够最好地在各种实施例中利用技术，并且预期到适于特定用途的各种修改。技术范围旨在由所附权利要求限定。

Claims (10)

1.一种用于识别用户的计算机实现方法，包括：

在第一用户处于传感器的视场中时，从传感器获取第一用户的生物计量数据；

确定作为第一用户的生物计量数据的最佳匹配的生物计量简档，所述生物计量简档链接到第一用户账户；

确定最佳匹配的置信水平；

如果置信水平高于阈值，则在不提示第一用户确认他或她的身份的情况下使第一用户登入到第一用户账户中；以及

如果置信水平低于阈值，则通知第一用户相信他或她与第一用户账户相关联，并且提示第一用户确认他或她的身份。

2.权利要求1的计算机实现方法，其中：

通知第一用户相信他或她与第一用户账户相关联包括显示与第一用户账户相关联的用户的图像并且显示来自传感器的第一用户的实时图像。

3.权利要求1或2的计算机实现方法，其中所执行的方法进一步包括：

响应于第一用户确认他或她的身份，使第一用户登入到第一用户账户中。

4.权利要求1到3中任一项的计算机实现方法，其中所执行的方法进一步包括：

确定作为第一用户的生物计量数据的第二最佳匹配的生物计量简档，作为第二最佳匹配的生物计量简档链接到第二用户账户；以及

通知第一用户相信他或她与作为第一用户账户之后的第二最佳匹配的第二用户账户相关联。

5.权利要求1到4中任一项的计算机实现方法，其中：

通知第一用户相信他或她与第一用户账户相关联包括显示与第一用户账户相关联的用户的图像并且显示来自传感器的第一用户的实时图像；并且

通知第一用户相信他或她与作为第一用户账户之后的第二最佳匹配的第二用户账户相关联包括显示与第二用户账户相关联的用户的图像并且显示来自传感器的第一用户的实时图像。

6.一种具有体现在其上的计算机可读软件的计算机可读存储设备，所述计算机可读软件用于对处理器编程以执行用于识别用户的方法，所述方法包括：

使第一用户登入到计算系统中的账户中，所述账户将第一用户与第一用户的生物计量简档相关联，所述生物计量简档包括从传感器获取的第一用户的生物计量数据；

在第一用户登入到账户中时并且在第一用户处于传感器的视场中时，从传感器获取第一用户的附加生物计量数据；以及

基于附加生物计量数据更新生物计量简档。

7.权利要求6的计算机可读存储设备，其中：

基于生物计量数据搜集条件将生物计量简档的生物计量数据分类成不同种类；并且

获取附加生物计量数据的速率基于当前生物计量数据搜集条件以及在当前生物计量数据搜集条件下已经搜集的生物计量数据量，当在当前生物计量数据搜集条件下已经搜集的生物计量数据量相对较少时，速率相对较高。

8.权利要求7的计算机可读存储设备，其中：

不同种类包括针对不同照明条件的种类。

9.权利要求7或8的计算机可读存储设备，其中：

不同种类包括针对第一用户距传感器的距离的种类。

10.权利要求6到9中任一项的计算机可读存储设备，其中所执行的方法进一步包括：

执行过滤过程，使得在更新时所使用的附加生物计量数据处于其中第一用户面向传感器的第一用户的头部取向的多个所定义的范围内，生物计量简档的生物计量数据也处于头部取向的多个所定义的范围内，并且针对头部取向的每个所定义的范围单独地更新生物计量简档的生物计量数据。