CN104246793A - 移动设备的三维脸部识别 - Google Patents

Abstract

一种移动设备可以通过捕捉和处理多个二维图像来生成人脸的三维模型。操作期间，当人或任何其他用户使用所述移送设备在其脸部的前面从一侧到另一侧进行扫描时，所述移动设备使用图像捕捉设备从各种方向捕捉所述人的图像集。所述设备确定所述捕捉图像的方向信息，并从所述捕捉图像中检测所述人脸的多个特征。该设备然后从所述检测到的特征和它们的方向信息生成所述人脸的三维模型。所述人脸的所述三维模型有助于识别和/或认证所述人的身份。

Description

移动设备的三维脸部识别

相关申请案交叉申请

本发明要求2012年4月25日递交的发明名称为“移动设备的三维脸部识别(Three-Dimensional Face Recognition for Mobile Devices)”的第13/456074号美国非临时专利申请案的在先申请优先权，该在先申请的内容以全文引入的方式并入本文本中。

背景技术

技术领域

本发明大体上涉及使用脸部识别来识别或认证一个用户。更具体而言，本发明涉及使用一种包括图像传感器和运动传感器的移动设备来生成用户脸部的三维模型。

相关景技术

现在用户可以使用智能手机等移动设备在移动过程中执行他们的计算任务。他们可以在本地商店购物时查询银行账户余额，将商品价格与他们特别喜爱的在线零售商的价格进行比较，甚至从他们的移动设备上在线购买物品。用户还常常使用他们的移动设备通过在网络游戏中合作或通过在线社交网络与朋友进行通信等方式与朋友和同事(不管他们在什么地方)进行互动。

如果实施得当，脸部识别可以提供最有效、自然的方式来识别和/或认证用户。然而，由于环境照明或用户姿势、表情、化妆和年龄的变化，基于二维(2-D)图像的脸部识别容易出错。基于2-D图像的脸部识别的有效性还受到其被其他人通过捕捉特权用户的打印图片的图像欺骗的容易程度所限制。此外，虽然基于三维(3-D)图像的脸部识别可以更加安全，但是其通常使用具有多个摄像机的立体图像捕捉设备来实施，而移动设备上通常没有这种摄像机。另外，典型的基于3-D图像的脸部识别涉及执行对于移动计算设备来说计算成本太昂贵的复杂计算。

发明内容

一项实施例提供了一种移动设备，其通过捕捉和处理二维图像集生成人脸的三维模型。操作期间，当人或任何其他用户使用移动设备在人的脸部周围扫描时，所述设备使用图像捕捉设备从各个方向来捕捉人的图像集。所述设备确定所述捕捉图像的方向信息，并从所述捕捉图像中检测人脸的多个特征。所述设备随后根据所述检测到的特征和它们的方向信息生成人脸的三维模型。该人脸的三维模型有助于识别和/或认证该人的身份。

在一些实施例中，为了捕捉所述图像集，所述设备监控所述移动设备在方向上的改变。所述设备确定所述方向是否从前一捕捉图像的方向至少改变了最小量，以及确定所述移动设备是否稳固。所述设备捕捉一个图像以响应于确定所述方向已经至少改变了最小量以及所述移动设备是稳固的。所述设备随后存储所述捕捉图像以响应于确定所述图像适合于检测该人的脸部特征。

在一些实施例中，所述设备在捕捉所述图像集时提供通知给该人或任何其他用户以响应于确定所述移动设备不稳固或确定不需要捕捉更多的图像。所述设备还可以提供通知以响应于确定该人脸不在图像帧中，或确定所述设备的当前方向不适合检测该人的脸部特征。

在一些实施例中，所述通知包括以下项中的一个或多个：声音、震动模式、移动设备光源中的闪光模式以及移动设备屏幕上的显示图像。

在一些实施例中，所述设备捕捉所述图像集以响应于接收将该人注册为用户的请求。所述设备随后存储所述与该人的用户配置文件相关联的三维模型。

在一些实施例中，所述设备捕捉所述图像集以响应于接收认证该人的请求，以及使用所述生成的三维模型来认证该人。

在这些实施例的变体中，所述设备通过确定该人的所述生成的三维模型是否匹配注册用户的已存储的三维模型来认证该人。

在这些实施例的变体中，所述设备在认证该人时发送该人的所述生成的三维模型给远程认证设备，以及接收指示该人是否是一个注册用户的认证响应、该人的访问权限，和/或该人的识别配置文件信息。

在一些实施例中，所述设备捕捉所述图像集以响应于接收为该人生成头像的请求。所述设备随后为该人生成头像，这样所述头像的脸部基于该人的三维模型生成了。

附图说明

图1示出了根据实施例的用于图像捕捉设备的示例性应用。

图2展示了根据实施例的描绘用于生成和使用本地用户脸部的三维模型的过程的流程图。

图3示出了根据实施例的从二维图像的多个检测到的脸部特征。

图4展示了根据实施例的描绘用于捕捉本地用户的图像集的方法的流程图。

图5A示出了根据实施例的图像捕捉操作期间的图像捕捉设备的运动轨迹。

图5B示出了根据实施例的模型数据，其在生成本地用户的三维模型时计算。

图6示出了根据实施例的用户脸部的正规化三维模型。

图7示出了根据实施例的示例性装置，其有助于生成本地用户的三维模型。

图8示出了根据实施例的示例性计算机系统，其有助于生成本地用户的三维模型。

在附图中，相同参考标号表示相同附图元件。

具体实施方式

展示下文描述以使所属领域的技术人员实践和使用实施例，并在特定应用和其要求的上下文中提供。所属领域的技术人员将容易明白对公开的实施例进行的各种修改，而且在不脱离本发明的精神或范围的情况下，本文所述的一般原理可适用于其他实施例和应用。因此，本发明并不意图限于本文所示的实施例，而是被赋予根据本文所公开的原理和特征的最大范围。

概述

本发明的实施例提供了一种图像捕捉设备，其解决了使用单个摄像机生成用户脸部的三维模型的问题。该设备可以使用陀螺仪等车载运动传感器，同时从各个视角捕捉用户的多个图像以监控关于各个图像的位置和方向信息。该设备使用该位置和方向信息生成用户脸部的三维模型，并且可以使用该三维模型在该用户请求访问该设备或其他受限资源时识别或认证该用户。

例如，智能手机通常包括至少一个面对特定方向的摄像机，例如前置摄像机和/或后置摄像机。当用户试图访问智能手机设备时，可以要求该用户使用该设备的摄像机在其脸部的前面从一侧到另一侧进行扫描，这样该设备可以从各种角度和视角捕捉该用户脸部的图像。该设备还可以使用车载运动传感器和其脸部检测能力来确定用户使用该设备在其脸部的前面进行扫描时捕捉图像的恰当时间，并且可以通知该用户其是否错误地执行扫描动作。当该设备捕捉图像时，该设备在捕捉到图像的同时使用车载运动传感器来捕捉该设备的运动或方向信息，并存储该信息和捕捉图像。

该设备分析这些捕捉图像以检测图像上的位置信息获得某些脸部特征，以及使用设备运动或方向信息以有效地计算这些特征的3-D位置并为该用户生成对应的三维脸部模型。一旦该设备生成三维模型，该设备可以参考全局坐标系正规化该模型的规模和方向，这样有助于将用户的三维模型直接与其他存储的模型进行比较(例如以识别该用户)。

图1示出了根据实施例的用于图像捕捉设备102的示例性应用。图像捕捉设备102可以包括任何计算设备，其包括数字摄像机和运动传感器(例如陀螺仪、罗盘仪、加速计等)。例如，图像捕捉设备102可以包括智能手机，其包括显示器、数字摄像机(例如前置或后置摄像机)、存储设备以及(例如通过网络112)与其他设备连接的通信设备。设备102可以使用车载摄像机和运动传感器借助于单个摄像机生成用户104的三维模型，并且可以使用该三维模型识别或认证用户104。

在一些实施例中，用户104不必手动输入密码就可以创建或更新用于访问设备102(或服务器110等远程设备)的用户配置文件。为了创建或更新该用户配置文件，设备102生成用户104的三维模型，并可使用该三维模型识别或认证用户104。设备102可以允许用户104创建多个三维模型，这样可以提高设备102识别用户104的可能性。

当设备102准备好生成三维模型时，设备102指示用户104使用设备102扫描其脸部周围以从各种位置和方向(例如，位置106.1、106.2和106.j)捕捉其脸部。用户104随后使用设备102通过单手夹持设备102捕捉其脸部的图像，这样车载摄像机瞄准用户的脸部，并不断地改变设备102的位置和方向直到车载摄像机捕捉到足够数量的用户104的图像。图像捕捉过程是连续、自动的，这样用户104不需要手动按下快门按钮，并且不需要关心捕捉的图像是否运动模糊，是否看不见脸部等。

在一些实施例中，设备102确保其捕捉优质图像，这些图像通过使用运动传感器和脸部检测能力捕捉用户104的脸部特征以确定产生最佳图片的时间，以及可以通知用户104图像捕捉过程期间的任何问题。设备102使用这些图像和它们的方向，例如通过确定三维模型中的位置得到捕捉图像中检测到的脸部特征来生成用户104的三维模型。

如果用户104具有注册的用户配置文件，则用户104可以不必手动输入密码就使用设备102的脸部识别能力。用户104还可以使用设备102来访问其他受限资源，例如，软件或数据、计算机系统，或安全室。例如，服务器110可存储一组用户的配置文件信息，该组用户可以访问受限资源。设备102可以是一种受信任资源，其与服务器110交互以将用户104的三维模型传递给服务器110。如果服务器110确定该三维模型匹配受信任用户的三维模型，则服务器110可以授予用户104访问该信任资源的权限。否则，服务器110可以拒绝用户104访问该信任资源。

图2展示了根据实施例的描绘用于生成和使用本地用户脸部的三维模型的过程的流程图。操作期间，图像捕捉设备可以接收要求本地用户脸部的三维模型的请求(操作202)。该请求可以包括，例如，用于注册包括本地用户脸部的三维模型的用户配置文件的命令，或使用用户脸部的三维模型来识别或验证本地用户的请求。该请求还可以包括用于要求本地用户脸部的模型的其他命令，以生成本地用户的三维头像等。

为了生成三维模型，该设备捕捉本地用户脸部的图像集(操作204)，并处理捕捉图像以检测本地用户的脸部特征(操作206)。该设备随后确定每个捕捉图像的方向信息(操作208)，并根据捕捉图像的方向信息和检测到的特征的图像坐标生成用户脸部的三维模型(操作210)。

操作206期间，该设备检测预定义脸部特征点集，例如沿着眉毛的轮廓、眼睛、鼻子、下颌的轮廓以及嘴的点。该设备可以使用操作210期间出现在若干个不同图像中的每个特征点的位置通过射影几何来计算三维模型中该特征点的位置。

该设备随后使用用户脸部的三维模型来处理请求(操作212)。在一些实施例中，该请求可以包括用于通过创建包括本地用户的三维模型的用户配置文件等来注册本地用户的命令。该设备通过将三维模型和本地用户的配置文件存储在本地配置文件存储器中执行该命令，并还可提供三维模型和本地用户的配置文件给远程认证系统。

在一些实施例中，该请求可以包括识别本地用户的请求，此时该设备通过搜索三维模型匹配本地用户的三维模型的用户配置文件来处理该请求。如果该设备找到具有高置信度值的最接近匹配，则该设备提供该最接近匹配的身份作为用户的身份。否则，该设备提供一个结果，表示无法识别本地用户。

在一些实施例中，该设备将各种注册用户配置文件的三维模型存储在本地存储器中，并通过将本地用户的三维模型与和注册用户配置文件相关联的已存储的模型进行比较来搜索本地用户的配置文件。该设备还可以通过发送本地用户的三维模型给远程认证系统以及接收来自该认证系统的认证响应来搜索本地用户的配置文件。如果认证系统识别本地用户，则认证响应可以指示本地用户的身份、本地用户的访问权限，和/或本地用户的配置文件信息。

在一些实施例中，操作202中的请求可以包括用于为本地用户生成一个头像的命令，此时该设备处理该命令以从生成的三维模型中为本地用户生成头像。该头像可以包括预设计的(例如，由本地用户选中或设计的)身体和服装，并且可以包括匹配本地用户脸部的三维模型中的特征的脸部特征。例如，这些脸部特征的外观和肌理可以基于本地用户脸部的三维模型从预设计的特征存储器中选择，并且它们在头像的脸部上的位置还可以从本地用户脸部的三维模型中确定。

捕捉用户脸部特征的交互过程

图像捕捉设备通过捕捉和处理从各个视角展示用户的脸部特征的多个图像生成本地用户脸部的三维模型。该设备通过允许用户使用设备的车载摄像机通过从左到右或从右到左的运动扫描其脸部的前面和侧面使该图像捕捉过程快速且成本低。然而，为了生成优质三维模型，用户需要确保其不会快速移动该设备，这样捕捉图像不会模糊，并且还需要确保图像捕捉的本地用户的脸部特征足够多。

在一些实施例中，该设备可以监控其运动和捕捉图像的质量使用户知道其什么时候需要放慢动作、重复动作、重新放置该设备以更好地捕捉其脸部、或移动该设备到一个特定的视角以从任何必要的方向捕捉脸部特征。例如，该设备可以使用车载陀螺仪监控该动作，并且可以通过分析捕捉图像的亮度、反差、清晰度，和/或通过计算可检测的脸部特征的数量来监控捕捉图像的质量。该设备与本地用户交互以帮助捕捉包括足够数量的可检测的脸部特征的图像。

图3示出了根据实施例的来自二维图像300的多个检测到的脸部特征点。这些特征点指示脸部特征集的大小、形状，和/或位置，该脸部特征集通过编程或操作设备来识别。例如，图像300示出了脸部特征集(例如左眼特征302和右眼特征304以及左眉毛特征306和右眉毛特征308)的多个特征点(使用十字标记示出)。检测到的特征还可以包括鼻子特征310、嘴唇特征312和下颌轮廓特征314。其他可能的特征包括发际线、下巴、耳朵等。在一些实施例中，检测到的特征还可以包括围绕在每个脸部上没有发现到的其他脸部异常的特征点，例如，酒窝、胎痣、伤疤、纹身等。

图4展示了根据实施例的描绘用于捕捉本地用户的图像集的方法的流程图。操作期间，图像捕捉设备可以确定其是否准备好捕捉图像(操作402)。例如，该设备可确定用户扫描运动捕捉设备太快，这样会导致模糊图像。如果该设备没有准备好，则该设备可以通知用户其无法通过播放声音，生成某个震动模式，生成闪光灯模式(例如，使用摄像机的闪光灯)，或在设备的显示屏上显示图像等方式捕捉(操作404)。当用户注意到该通知时，作为响应，该用户可以放慢其对图像捕捉设备的扫描运动。

否则，该设备可以捕捉图像(操作406)，并处理该图像以确定本地用户的脸部特征和捕捉图像的设备方向(操作408)。该设备随后确定该图像是否适合于检测本地用户的特征(操作410)。例如，图像捕捉设备可以确定其是否可以检测脸部，和/或其是否可以检测足够数量的脸部特征。如果捕捉图像对应于用户脸部的前面，则该设备可期望检测至少六个脸部特征。然而，如果该设备确定所捕捉图像是用户脸部的一个轮廓，则该设备可期望捕捉至少三个或四个脸部特征。

如果该设备无法从捕捉图像中检测足够数量的特征，则该设备可以返回操作404以将该问题通知给用户。当用户注意到该通知时，作为响应，该用户可以重新调整图像捕捉设备使得用户的脸部在捕捉图像中可见，确保捕捉图像期间存在足够的环境光，和/或确保该设备在捕捉聚焦图像时足够稳固。然而，如果该图像适合于检测特征，则该设备存储该图像、检测到的特征点，以及捕捉图像的设备方向(操作412)。

该设备随后确定其是否已经捕捉足够的图像以生成三维模型(操作414)。如果是，则该设备可以前进到终端。否则，该设备通过前一存储的图像的方向监控其方向上的改变(操作416)，并确定该方向是否已经至少改变了最小阈值(操作418)。如果设备方向的改变没有超过该阈值(例如，捕捉图像的方向与前一存储的图像的太相似)，则该设备可以在短暂的延迟(例如几毫秒)之后返回操作416。

然而，如果设备的方向与前一捕捉图像的方向有很大不同，则该设备可以返回操作402以捕捉另一图像。该设备可以继续执行方法400，直到其捕捉到足够的图像，从这些图像中，该设备可以生成用户脸部的三维模型。

生成三维模型

图5A示出了根据实施例的图像捕捉操作期间的图像捕捉设备502的运动轨迹500。当用户开始图像捕捉操作时，该图像捕捉设备捕捉图像506.1和方向数据508.1，而该设备处于方向504.1中。当用户使用设备在其脸部的前面扫描时，该设备可以分别捕捉设备方向504.2到504.j的图像506.2到506.j和方向数据508.2到508.j。

图像捕捉设备可以使用任何现在已知或后续开发的运动传感器确定方向数据508，该运动传感器可以为每个捕捉图像确定绝对或相对的三维坐标。例如，运动传感器可以包括一个陀螺仪，其为每个捕捉图像提供三个垂直于设备平面的旋转角度(例如，分别沿着X、Y和Z轴的螺旋角、偏转角和倾斜角)。

该设备随后处理捕捉图像以检测各种捕捉图像中某些脸部特征的图像坐标。例如，该设备可以确定对应于由图像506.1、506.2和506.j分别捕捉的鼻子特征的特征点510.1、510.2和510.j。图像j内的特征点i的坐标在下文中使用元组表示。该设备随后处理方向数据508和特征点510以在全局坐标系中生成三维模型。该三维模型在下文中使用元组x⁽⁰⁾、y⁽⁰⁾、z⁽⁰⁾表示，这样上标(0)指示该模型使用全局坐标系表示，所有捕捉图像都在该全局坐标系下进行处理。

在透视投影下，点510的二维坐标和三维模型的3D物理空间的关系可以由投影转换表示如下：

[u,v,1]^T＝K_3×3[R_3×3|T_3×1][x,y,z]^T    (1)

在方程式(1)中，[u,v,1]^T提供特征点的相似图像坐标，[x,y,z]^T为3D物理空间中的特征点提供相似三维坐标。K_3×3提供由焦距、主点、宽高比、倾斜因子和径向畸变等摄像机内参数组成的3×3矩阵。K的值可以借助任意摄像机标定技术预先计算，例如由张正友(Zhengyou Zhang)在“摄像机标定的一种灵活新技术(A flexible new technique for camera calibration)”(IEEE模式分析与机器智能汇刊，第22卷，第11期，第1330至1334页，2000年)中描述的技术，其内容以引入的方式并入本文本中。

[R_3×3|T_3×1]提供3D旋转和变换矩阵，这样有助于将3D物理空间中的点转换成摄像机的本地3D坐标系中的点。该设备通过连接3×3旋转矩阵R_3×3和3×1变换矩阵T_3×1生成3×4矩阵[R_3×3|T_3×1]。

尽管每个捕捉图像具有本地3D坐标系，但是该设备使用一个全局坐标系从捕捉图像中生成本地用户的三维模型。在一些实施例中，该设备可以选择一个捕捉图像(例如，用户的正面视图，下文中称为视图0)的坐标系作为三维模型的全局坐标系。全局3D坐标系在下文中使用标记X⁽⁰⁾、Y⁽⁰⁾、Z⁽⁰⁾。

图5B示出了根据实施例的模型数据，其在生成本地用户的三维模型时计算。为了生成三维模型564，该设备首先选择一个捕捉图像用作参考点以处理所有其他图像。例如，该设备可以选择对应于本地用户的前置图像556.2的方向554.2作为全局坐标系562。该设备随后基于方程式(1)为通过全部图像检测到的所有特征点生成一个与全局坐标系562相关的线性方程式组。该设备通过求解该线性方程式组生成三维模型564。

该线性方程式组包括用于每个捕捉图像的每个特征点的线性方程式(例如，用于图像视图j中的特征点i，使用表示)。这些方程式通过使用表示的变换(例如，分别用于特征点560.1和560.j的变换558.1和558.j)从全局坐标系中映射这些特征点的坐标。

为了确定在视图j处捕捉的图像的摄像机方向，图像捕捉设备计算视图j的从全局坐标系X⁽⁰⁾、Y⁽⁰⁾、Z⁽⁰⁾到本地3D坐标系X^(j)、Y^(j)、Z^(j)的3D旋转R_j,o和变换T_j,o。该设备使用陀螺仪数据来计算准确的旋转矩阵R_j,o，这样有助于通过求解线性方程式集生成三维模型，从而使移动设备的计算非常轻便。为了确定变换T_j,o，该设备需要求解线性方程式组。

建立线性方程式组

通过方程式(1)，每个检测到的脸部特征点i引入3个未知数和4个线性方程式：

${[u_i^{\left(0\right)},v_i^{\left(0\right)},1]}^T=K\left[I\right|O]{[{\tilde{x}}_i^{\left(0\right)},{\tilde{y}}_i^{\left(0\right)},{\tilde{z}}_i^{\left(0\right)},1]}^T---\left(2\right)$

${[u_i^{\left(j\right)},v_i^{\left(j\right)},1]}^T=K\left[R_{j,0}\right|{\tilde{T}}_{j,0}]{[{\tilde{x}}_i^{\left(0\right)},{\tilde{y}}_i^{\left(0\right)},{\tilde{z}}_i^{\left(0\right)},1]}^T---\left(3\right)$

方程式(2)对应于视图0(选择作为全局坐标系以生成三维模型的视图)内的投影变换。方程式(3)对应于视图j的投影变换，相对于视图0对应的全局坐标系。

该设备可以为方程式(2)和(3)中的以下变量确定输入值，如下。变量K采用在标定设备的摄像机之前为该设备计算的3×3内部矩阵作为输入。3×3矩阵R_j,o采用从陀螺仪数据计算来的旋转矩阵作为输入，其对应于设备从视图0到视图j的旋转。元组采用为从视图0捕捉的图像中的脸部标记i检测的图像坐标作为输入，元组采用为从视图j捕捉的图像中的脸部标记i检测的图像坐标作为输入。

方程式(2)和(3)中用波型号(～)表示的符号对应于设备(例如，在图2的操作210期间)为之求解的未知值。具体来说，该元组参考全局坐标系X⁽⁰⁾、Y⁽⁰⁾、Z⁽⁰⁾提供脸部标记i的三维坐标。3×1矩阵提供从视图0到视图j的变换矩阵，其对于视图j中的所有脸部标记是相同的。

对于n个检测到的脸部标记，由于对于视图j中的所有脸部标记是相同的，所以存在4n个方程式和3n+3个未知数。如果n非常大，(基于方程式(2)和(3)的)方程式组可以提供的方程式比未知数多。该设备可以使用线性最小二乘法拟合等技术求解视图j的线性方程式组。

当用户使用图像捕捉设备在其脸部的最前面扫描时，该设备可以捕捉多个视图的图像。每个额外的视图j产生额外的4n个方程式(基于方程(2)和(3))，并引入3个新的未知数(基于视图j的3×1变换矩阵)。

求解方程式组

在一些实施例中，该设备(例如，在图2的操作210期间)一起求解为所有视图生成的线性方程式。求解方程式组提供所有脸部标记i的三维坐标并提供所有视图j的变换矩阵两者都与视图0的全局坐标系相关。一起求解全部方程式集有几种优势。这样做克服了一些脸部标记不能在所有的视图中检测到的局限性，并且提供了一种解决方案，其对于从各个视图检测特征坐标中的错误是鲁棒的。

正规化三维模型

一旦设备生成用户脸部的三维模型(例如，在脸部登记或脸部识别操作中)，设备变换该模型以生成正规化的三维模型。例如，图像捕捉设备可以通过执行变换操作、旋转操作以及尺寸变化操作生成正规化的模型，使得两只眼睛固定到特定的坐标上(例如，分别用于用户左眼和右眼的坐标(1,0,0)和(-1,0,0))。

这种计算有效的变换有助于正规化图像捕捉设备处的三维模型，并防止该设备在对比两种模型之前必须使该两个模型适合相同的坐标系，这样可以在大型用户配置文件数据库中将本地用户的脸部和其他用户的脸部进行比较的时候节省时间。

图6示出了根据实施例的用户脸部的正规化的三维模型600。具体而言，正规化的三维模型600的尺寸和方向被变换了，这样左右眼(例如，特征604和606)分别被放置在全局坐标系602的特征坐标(1,0,0)和(-1,0,0)处。

计算三维模型之间的差异

一旦设备生成三维模型，该设备可以无需先将用户脸部的模型和其他三维模型拟合到相同的坐标系就比较它们(例如，以执行脸部识别或认证该用户)。为了比较两种模型，该设备可以通过计算两种模型的对应特征点之间的距离来计算两种三维模型的特征之间的差异。

例如，该设备可以计算这种距离作为所有出现在两种模型中的特征点i之间的欧氏距离，如下：

$\mathrm{diff}=\sqrt{\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-x_i)}^2+{(y_i^{\′}-y_i)}^2+{\left(z_i^{\′}-z_i\right)}^2)}---\left(4\right)$

在方程式(4)中，两个坐标(x_i,y_i,z_i)(x_i',y_i',z_i')对应出现在被比较的两种三维模型中的特征点i。计算出的差值diff提供了指示两种三维模型之间差异的数值(例如，作为与全局坐标系相关的欧氏距离)。

在一些实施例中，图像捕捉设备可以通过说明两种模型的坐标系中的差异的方式计算两种三维模型。例如，如果注册用户的脸部的已存储的三维模型没有被正规化，或被正规化至一个不同的坐标系，则该设备通过求解以下线性方程式执行对比操作：

${[x^{\′},y^{\′},z^{\′},1]}^T=\left[\begin{array}{cc}\tilde{s}{I}_{3\×3}& O\\ O& 1\end{array}\right]\left[R\right|\tilde{T}]{[x,y,z,1]}^T---\left(5\right)$

该设备可以使用陀螺仪数据计算旋转矩阵R，并且可以通过使用线性最小二乘法拟合等求解方程式(5)来求解变换矩阵和标度因子该设备随后可以计算每个三维模型的拟合误差，并且可以使用该拟合误差作为两个三维模型之间的差值。

为了执行脸部识别，该设备可以(例如，使用方程式(4)或方程式(5))计算用户脸部的三维模型到其他注册用户的三维模型之间的距离。如果最接近匹配的置信度较高(例如，最接近匹配的差值小于某个阈值)，则设备可以提供最接近匹配的身份作为用户的身份。否则，该设备可以提供一个结果，表示无法识别本地用户。

如果图像捕捉设备正在验证本地用户的身份，则设备可以将本地用户的三维模型与用户声称属于他的用户配置文件的三维模型进行比较。如果置信度较高(例如，差值小于阈值)，则设备可以授予本地用户权限。否则，设备拒绝本地用户访问。

图7示出了根据实施例的示例性装置700，其有助于生成本地用户的三维模型。装置700可以包括通过有线或无线通信信道彼此进行通信的多个硬件和/或软件模块。装置700可以使用一个或多个集成电路实现，并可包括比图7所示的模块更少或更多的模块。此外，装置700可以集成在计算机系统中，或实现为一个独立的能够与其他计算机系统和/或设备进行通信的设备。具体而言，装置700可以包括通信模块702、接口模块704、图像捕捉模块706、运动传感器708、特征检测模块710、模型生成模块712以及认证模块708。

在一些实施例中，通信模块702可以与认证服务器等第三方系统进行通信。接口模块704可以在认证过程期间提供反馈给本地用户以警告用户存在防止装置700检测本地用户的脸部特征的潜在问题。

图像捕捉模块706可以从各种方向捕捉本地用户的图像集，运动传感器708可以为捕捉的图像确定方向信息。图像检测模块710可以从捕捉的图像中检测本地用户脸部的多个特征，模型生成模块712可以从检测到的特征和方向信息为它们对应的图像生成本地用户脸部的三维模型。认证模型708可以将生成的三维模型与注册用户的三维模型进行比较以识别或认证本地用户。

图8示出了根据实施例的示例性计算机系统802，其有助于生成本地用户的三维模型。计算机系统802包括处理器804、存储器806以及存储设备808。存储器806可以包括用作管理存储器的易失性存储器(例如RAM)，并可以用来存储一个或多个内存池。此外，计算机系统802可以耦合至显示设备810、键盘812以及指点设备814。存储设备808可以存储操作系统816、图像捕捉系统818和数据834。

在一些实施例，显示器810包括触摸屏显示器，这样键盘812包括出现在显示器810上的虚拟键盘，指点设备814包括耦合至显示器810的触敏设备(例如，在显示器810上分层的电容式触控传感器或电阻式触控传感器)。为了使用键盘812打字，用户可以敲打呈现想要的键的显示器810上的一部分。用户还可以通过敲打显示对象选择出现在显示器810上的任何其他显示对象，并可以使用一组预定的触摸屏手势与显示对象交互。

图像捕捉系统818可以包括指令，其在由计算机系统802执行时可以致使计算机系统802执行本发明中描述的方法和/或过程。具体而言，图像捕捉系统818可包括用于与认证服务器等第三方系统进行通信的指令(通信模块820)。此外，图像捕捉系统818可以包括用于在认证过程期间提供反馈给本地用户以警告用户存在防止图像捕捉系统800检测本地用户的脸部特征的潜在问题等的指令(接口模块822)。

图像捕捉系统818还可以包括用于从各个方向捕捉本地用户的图像集的指令(图像捕捉模块824)，以及用于为捕捉的图像确定方向信息的指令(运动感应模块826)。图像捕捉系统818还可以包括用于从捕捉的图像中检测本地用户脸部的多个特征的指令(特征检测模块828)，以及用于从检测到的特征和方向信息为它们对应的图像生成本地用户脸部的三维模型的指令(模型生成模块830)。图像捕捉系统818还可以包括用于将所生成的三维模型与注册用户的三维模型进行比较以识别或认证本地用户的指令(认证模块832)。

数据834可以包括本发明中所述的方法和/或过程需要作为输入或生成作为输出的任何数据。具体而言，数据834至少可以为一个或多个注册用户存储用户配置文件、注册用户的访问权限以及每个注册用户脸部的至少一种三维模型。

本详细描述中所述的数据结构和代码通常存储在计算机可读存储媒介中，该计算机可读存储媒介可以是存储代码和/或数据供计算机使用的任何设备或媒介。计算机可读存储媒介包括，但不限于，易失性存储器、非易失性存储器、磁和光存储设备(例如，磁盘驱动器、磁带、CD(压缩光盘)、DVD(数字多功能光盘或数字视频光盘))，或其他能够存储现在已知或后续开发的计算机可读媒介的其他媒介。

本详细描述部分中所述的方法和过程可以体现为代码和/或数据，其可以存储在上述计算机可读存储媒介中。当计算机系统读取和执行存储在计算机可读存储媒介上的代码和/或数据时，计算机系统执行体现为数据结构和代码并存储在计算机可读存储媒介中的方法和过程。

此外，上述方法和过程可以包含在硬件模块中。例如，硬件模块可以包括但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA以及其他现在已知或后续开发的可编程逻辑设备。当激活硬件模块时，硬件模块执行包含在硬件模块内的方法和过程。

本发明的实施例的上述描述仅仅是出于说明和描述的目的。他们并非要穷尽或将本发明限制为本文中的形式。相应地，许多修改和变化对所述领域的技术人员而言是显而易见的。另外，上文并非限制本发明。本发明的范围由所附权利要求来界定。

Claims (24)

1.一种由计算机实施的方法，其特征在于，包括：

移动设备上的图像捕捉设备从各种方向捕捉获人的图像集；

确定各个捕捉图像的方向信息；

从所述各个捕捉图像检测所述人脸的多个特征；

根据所述检测到的特征和它们对应图像的方向信息生成所述人脸的三维模型；以及

基于所述三维模型认证所述人的身份。

2.根据权利要求1所述的方法，其特征在于，捕捉所述图像集包括：

监控所述图像捕捉设备在方向上的改变；

确定所述方向已经从前一捕捉图像的方向至少改变了最小量；

捕捉一个图像以响应于确定所述图像捕捉设备是稳固的；以及

存储所述捕捉图像以响应于确定所述图像适合于检测脸部特征。

3.根据权利要求1所述的方法，其特征在于，捕捉所述图像集进一步包括提供通知以响应于：

确定所述图像捕捉设备不稳固；

确定所述人脸不在图像帧中；

确定所述设备的当前方向不适合检测所述人脸的特征；或

确定不需要捕捉更多的图像。

4.根据权利要求3所述的方法，其特征在于，所述通知包括以下项中的一个或多个：

声音；

震动模式；

图像捕捉设备光源中的闪光模式；以及

在图像捕捉设备屏幕上显示的图像。

5.根据权利要求1所述的方法，其特征在于，执行捕捉所述图像集以响应于接收将所述人注册为用户的请求；以及

所述方法进一步包括存储所述与人的用户配置文件相关联的三维模型。

6.根据权利要求1所述的方法，其特征在于，执行捕捉所述图像集以响应于接收认证所述人的请求。

7.根据权利要求6所述的方法，其特征在于，进一步包括：

通过确定所述人的所述生成的三维模型是否匹配注册用户的已存储的三维模型来认证所述人。

8.根据权利要求6所述的方法，其特征在于，进一步包括认证所述人，其涉及：

发送所述人的所述生成的三维模型给远程认证系统；以及

接收指示所述人是一个注册用户的认证响应。

9.一种存储指令的非瞬时计算机可读存储介质，当计算机执行这些指令时会致使所述计算机执行一种方法，所述方法包括：

使用移动设备上的图像捕捉设备从各种方向捕捉人的图像集；

确定各个捕捉图像的方向信息；

从所述各个捕捉图像检测所述人脸的多个特征；

根据所述检测到的特征和它们对应图像的方向信息生成所述人脸的三维模型；以及

基于所述三维模型认证所述人的身份。

10.根据权利要求9所述的存储介质，其特征在于，捕捉所述图像集包括：

监控所述图像捕捉设备在方向上的改变；

确定所述方向已经从前一捕捉图像的方向至少改变了最小量；

捕捉一个图像以响应于确定所述图像捕捉设备是稳固的；以及

存储所述捕捉图像以响应于确定所述图像适合于检测脸部特征。

11.根据权利要求9所述的存储介质，其特征在于，捕捉所述图像集进一步包括提供通知以响应于：

确定所述图像捕捉设备不稳固；

确定所述人脸不在图像帧中；

确定所述设备的当前方向不适合检测所述人脸的特征；或

确定不需要捕捉更多的图像。

12.根据权利要求11所述的存储介质，其特征在于，所述通知包括以下项中的一个或多个：

声音；

震动模式；

图像捕捉设备光源中的闪光模式；以及

在图像捕捉设备屏幕上显示的图像。

13.根据权利要求9所述的存储介质，其特征在于，执行捕捉所述图像集以响应于接收将所述人注册为用户的请求；以及

所述方法进一步包括存储所述与人的用户配置文件相关联的三维模型。

14.根据权利要求9所述的存储介质，其特征在于，执行捕捉所述图像集以响应于接收认证所述人的请求。

15.根据权利要求14所述的存储介质，其特征在于，所述方法进一步包括通过确定所述人的所述生成的三维模型是否匹配注册用户的已存储的三维模型来认证所述人。

16.根据权利要求14所述的存储介质，其特征在于，所述方法进一步包括认证所述人，其涉及：

发送所述人的所述生成的三维模型给远程认证系统；以及

接收指示所述人是一个注册用户的认证响应。

17.一种移动设备，其特征在于，包括：

图像捕捉模块，用于从各个方向捕捉人的图像集；

运动传感器，用于确定各个捕捉图像的方向信息；

特征检测模块，用于从所述各个捕捉图像中检测所述人脸的多个特征；

模型生成模块，用于根据所述检测到的特征和它们对应图像的方向信息生成所述人脸的三维模型；以及

认证模块，用于基于所述三维模型认证所述人的身份。

18.根据权利要求17的移动设备，其特征在于，当捕捉所述图像集时，所述图像捕捉模块进一步用于：

监控方向上的改变；

确定所述方向已经从前一捕捉图像的方向至少改变了最小量；

捕捉一个图像以响应于确定所述图像捕捉设备是稳固的；以及

存储所述捕捉图像以响应于确定所述图像适合于检测脸部特征。

19.根据权利要求17的移动设备，其特征在于，进一步包括接口模块，用于提供通知以响应于：

确定所述图像捕捉设备不稳固；

确定所述人脸不在图像帧中；

确定所述设备的当前方向不适合检测所述人脸的特征；或

确定不需要捕捉更多的图像。

20.根据权利要求19所述的移动设备，其特征在于，所述通知包括以下项中的一个或多个：

声音；

震动模式；

图像捕捉设备光源中的闪光模式；以及

在图像捕捉设备屏幕上显示的图像。

21.根据权利要求17的移动设备，其特征在于，进一步包括接口模块，用于接收将所述人注册为用户的请求；

其中所述图像捕捉模块用于捕捉所述图像集以响应于所述将所述人注册为用户的请求；以及

所述装置法进一步包括配置文件管理模块以存储所述与人的用户配置文件相关联的三维模型。

22.根据权利要求17的移动设备，其特征在于，进一步包括接口模块，用于接收认证所述人的请求；

其中所述图像捕捉模块用于捕捉所述图像集以响应于所述认证所述人的请求。

23.根据权利要求22所述的移动设备，其特征在于，进一步包括认证模块，用于通过确定所述人的所述生成的三维模型是否匹配注册用户的已存储的三维模型来认证所述人。

24.根据权利要求22的移动设备，其特征在于，进一步包括认证模块，用于认证所述人，其中认证所述人涉及：

发送所述人的所述生成的三维模型给远程认证系统；以及

接收指示所述人是一个注册用户的认证响应。