CN111630510B - 回声纹用户认证 - Google Patents

Abstract

提供了一种设备和方法，用于对用户进行基于音频的连续身份认证，以使用户访问处理设备。用户回声纹模型是在用户与认证接口针对设备的其他认证方法进行交互时创建的，对所述用户透明。声波是用户特定但听不见的。用户特定声音由用户映射，用于构建回声纹。所述回声纹可以与前述创建的用户特定回声纹模型进行比较。如果结果为正，则可以允许访问所述处理设备。根据所述音频认证的结果访问所述处理设备，或者，根据所述音频认证的结果执行备选认证方法，并对设备状态进行更新，其中，所述设备状态用于指示显示器是否打开以及所述设备是否锁定。

Description

回声纹用户认证

本申请要求于2018年1月17日递交的第15/873,384号、发明名称为“回声纹用户认证(ECHOPRINT USER AUTHENTICATION)”的美国非临时专利申请的优先权，其全部内容通过引用的方式并入本文本中。

背景技术

目前有各种认证机制来阻止未经授权访问如个人计算机、移动设备等处理设备。基于密码的登录方式也已经让位于如指纹识别、人脸识别等生物形式的认证方式。目前，生物形式的认证方式通常要求将一些特殊形式的生物特征传感器耦合到处理设备。

发明内容

本发明的一个通用方面包括：具有基于音频认证功能的处理设备，包括：显示器；麦克风；扬声器；音频信号发生器，耦合到所述扬声器，用于向所述扬声器输出用户特定但听不见的声音；信号处理器，耦合到所述麦克风、用于分离所述用户特定但听不见的声音信号的反射信号并根据所述反射信号创建回声纹；处理器，用于：将所述测试回声纹与所述用户相关联的用户特定回声纹模型进行比较；根据所述比较的结果执行备选认证操作，以对所述用户进行认证；根据所述比较的结果或所述执行的备选认证操作更新设备状态，其中，所述设备状态包括所述显示器是否打开以及所述设备是否锁定。

可选地，在前述任一方面中，所述设备包括机器学习处理器，用于在备选认证设置过程中创建用户特定回声纹。可选地，在前述任一方面中，所述回声纹用于识别与所述用户相关联的特征，所述特征至少包括生物特征或行为特征。可选地，在前述任一方面中，所述生物特征至少包括物理属性或心脏属性。可选地，在前述任一方面中，所述机器学习处理器用于：当用户选择开启基于音频的认证时，在小于或等于用户开启认证开始后的时间段内构建所述用户特定回声纹模型。可选地，在前述任一方面中，所述信号处理器用于：在进入用户界面输入密码的时间段内，根据指示所述用户开启基于音频的认证的用户界面提示构建所述用户特定回声纹。可选地，在前述任一方面中，所述设备还包括非易失性存储设备，用于存储所述信号处理器生成的、作为训练数据集的一个或多个回声纹，以及存储所述用户特定回声纹模型。可选地，在前述任一方面中，所述机器学习处理器用于：接收针对认证识别的用户反馈，并根据所述反馈更新所述用户特定回声纹模型。可选地，在前述任一方面中，所述音频信号发生器和所述信号处理器用于在所述显示器打开且所述设备被锁定时工作，且用于在所述显示器关闭且所述设备被锁定时保持待机状态。

另一通用方面包括一种处理器实现的、用于对访问具有显示器的处理设备的用户进行认证的方法，包括：使用机器学习过程通过以下步骤生成用户特定回声纹模型：以用户特定频率从所述处理设备相关联的扬声器输出听不见的声音信号；当所述用户与备选认证对应的用户界面进行交互时，从所述处理设备相关联的麦克风接收所述听不见的声音信号的反射信号；在所述显示器打开时通过以下步骤对所述用户访问进行认证：以用户特定频率从所述扬声器输出听不见的测试声音信号，生成测试回声纹；从所述麦克风接收所述听不见的测试声音信号的反射信号；将所述测试回声纹与所述用户特定回声纹模型进行比较，确定是否允许所述用户访问所述处理设备；根据所述比较的结果执行备选认证方法；根据所述比较的结果或所述执行的备选认证操作更新设备状态的方式，从而根据所述测试的结果允许或拒绝访问所述处理设备，其中，所述设备状态包括所述显示器是否打开以及所述设备是否锁定。

可选地，在前述任一方面中，在所述显示器打开且所述设备被锁定时执行所述生成测试回声纹、所述接收所述听不见的测试声音信号的反射信号、以及所述测试的步骤，在所述显示器关闭或所述设备被锁定时不执行所述生成测试回声纹、所述接收所述听不见的测试声音信号的反射信号、以及所述测试的步骤。可选地，在前述任一方面中，多次重复执行用于生成所述用户特定回声纹模型的所述输出和接收的步骤，以创建用于机器学习过程的训练数据集。可选地，在前述任一方面中，认证失败时，通过所述测试步骤输出一种不同的用户特定但听不见的测试声音信号，且通过所述测试步骤分离所述不同的用户特定但听不见的测试声音信号的反射信号，并根据所述不同的用户特定但听不见的测试声音信号的所述反射信号创建新的测试回声纹。可选地，在前述任一方面中，所述生成步骤包括识别与所述用户相关联的特征，所述特征至少包括生物特征或行为特征。上述技术可以通过硬件、方法或过程、或计算机可访问介质中的计算机软件实现。

另一方面包括用于存储计算机指令的非瞬时性计算机可读介质。当所述计算机指令由一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：通过以下步骤为用户生成回声纹模型：以用户特定频率从所述处理器相关联的扬声器输出听不见的声音信号；接收所述听不见的声音信号的反射信号；根据所述反射信号生成回声纹，并将所述回声纹与所述用户关联；重复所述输出、接收以及生成的步骤，以创建训练数据。所述非瞬时性计算机可读介质还包括：在所述设备的显示器打开且所述设备被锁定时，通过以下步骤对所述用户进行认证，以使所述用户访问具有所述显示器的处理设备：以所述用户特定频率从所述处理设备相关联的扬声器输出听不见的测试声音信号；接收所述听不见的测试声音信号的反射信号；根据所述听不见的测试声音信号的所述反射信号生成至少一个测试回声纹；将所述回声纹与用户特定回声纹模型进行比较，确定是否允许所述用户访问所述处理设备；根据所述比较的结果执行备选认证方法；根据所述比较的结果或所述执行的备选认证操作更新设备状态，从而根据所述测试的结果以及所述备选认证方法允许或拒绝访问所述处理设备，其中，所述设备状态包括所述显示器是否打开以及所述设备是否锁定。

可选地，在前述任一方面中，所述用于存储计算机指令的非瞬时性计算机可读介质包括指令，其中，所述输出用户特定但听不见的声音包括输出一种不同的用户特定但听不见的测试声音；所述信号处理器用于分离所述不同特定用户但听不见的测试声音的反射信号，并根据所述反射信号创建回声纹。可选地，在前述任一方面中，所述用于存储计算机指令的非瞬时性计算机可读介质包括指令，其中，每次输出中均发送所述用户特定但听不见的信号。可选地，在前述任一方面中，所述用于存储计算机指令的非瞬时生计算机可读介质包括指令，所述指令使得所述一个或多个处理器根据针对所述测试是否准确的用户反馈使用机器学习过程更新所述用户特定回声纹模型。可选地，在前述任一方面中，所述用于存储计算机指令的非瞬时性计算机可读介质包括指令，其中，所述回声纹用于识别与所述用户相关联的特征，所述特征至少包括生物特征或行为特征。可选地，在前述任一方面中，所述用于存储计算机指令的非瞬时性计算机可读介质包括指令，其中，所述生物特征至少包括物理属性或心脏属性。

附图说明

本发明的各个方面通过示例进行详细说明，但不受附图的限制。在附图中，相似的附图标记表示相似的元件。

图1示出了处理设备的第一实施例，该实施例概述了本发明使用音频信号和回声纹对访问处理设备的用户进行认证的技术。

图2A为用于确定与处理设备一起使用的认证类型的选择过程的流程图。

图2B至图2D示出了用于说明处理设备设置过程的用户界面。

图3为获取基于音频反射信号的回声签名的过程的流程图。

图4为通过机器学习构建用户模型的流程图。

图5为测试和更新用户回声纹模型的流程图。

图6A示出了本发明技术提供的认证过程。

图6B示出了适合实现图6A所示的至少一部分过程的测试处理器的一个实施例。

图6C示出了图6A所示步骤625中用于处理反射信号的一种备选方案。

图7示出了基于所述处理设备的显示器状态和锁定或未锁定状态的音频认证方法和备选认证方法的状态。

图8示出了本发明技术提供的移动处理设备。

具体实施方式

提供了一种对用户进行基于音频的连续身份认证以使用户访问处理设备的技术。所述基于音频的认证技术采用由通常在处理设备中发现的标准组件生成和接收的声波，以使所述技术能够并入现有设备以及新设备中使用。与处理设备相关联或集成到处理设备的扬声器发射出用户特定但听不见的声音。所述用户特定的声音由用户映射，用于构建“回声”纹(音频签名中合入了与所述用户相关联的各种生物特征和行为特征)，该“回声”纹通过一个训练完成的回声纹模型进行测试。如果所述测试的结果为正，则可以允许访问所述处理设备。

在一个方面中，可以在所述用户与用户界面进行交互时训练所述回声印记模型，以开启认证的备选方式，例如，基于密码的认证。在该方面中，所述设备可以在所述用户创建密码和训练所述回声纹模型时发射出用户特定但听不见的声音，然后提示所述用户开启音频认证系统。这里的所述音频认证系统也称为“回声标识(EchoID)”。

在授权用户通过认证之前，可能会限制所述用户访问任何处理设备或处理设备上的资源。所述音频认证系统可以与任何适用的备选认证系统相结合。在一些实施例中，所述备选认证系统可以包括用于检测用户的生物特征或属性的系统。例如，所述处理设备可以包括生物指纹系统，用于根据用户皮肤的特征或用户皮肤下的特征检测和认证所述用户。

所述处理设备100可以提供任何适用的认证系统组合，包括例如生物特征认证系统和/或基于图案的认证系统(例如密码认证)。

图1示出了适合通过与用户10进行交互实现基于音频的认证的处理设备100。所述处理设备100可以包括麦克风102、扬声器104以及通过总线106连接的其他组件。如图1所示，所述处理设备100的组件包括信号处理器110、机器学习处理器120、回声签名存储设备130、测试处理器140和用户特定音频发生器150。所述处理设备还可以配备其他设备硬件160，包括本文所描述的创建各种用户界面并输出到显示器的用户界面生成器170。所述处理设备100的具体示例如图8所示。所述处理设备100可以对所述用户10执行基于音频的认证。首先，所述用户特定音频发生器150生成用户特定但听不见的音频信号50，所述音频信号50从所述扬声器104输出。所述用户特定但听不见的声音可以是在可听频率范围内但音量太小的声音，或者是在次声波或超声波频率范围内的声音。所述麦克风102接收并检测所述用户特定但听不见的音频信号50的反射信号55，并将其提供给所述信号处理器110。所述信号处理器110处理所述反射的音频信号55(或“回声”)，并创建回声纹。所述回声纹可以包括音频签名，所述音频签名中标识有从所述反射信号55衍生出的各种生物特征和行为特征的组合。当通过用户特定回声纹模型对所述反射信号55进行测试时，所述反射信号55可用于识别和认证所述用户10，其中，所述用户特定回声纹模型识别所述签名中那些可以与单个用户匹配的特征。

所述用户特定音频信号可以设计为包括从所述扬声器发射出的信号，所述信号具有高统计概率。因此，相对于可能位于附近的另一处理设备来说，所述信号对于该用户的处理设备而言是独特的。这可以通过使用所述信号中的随机元素，包括时间、频率和/或振幅元素，或使用所述扬声器104可能发射出的音频信号的任何其他变形来创建所述用户特定音频信号来实现。

所述回声纹存储设备130是一种非易失性存储设备，可以由上述处理器访问，以执行本文所述的功能。所述测试处理器140在认证过程中通过回声纹用户模型对新接收到的反射信号进行测试，从而进行认证。如本文所述，所述回声纹用户模型由所述机器学习处理器120创建。所述机器学习处理器120可以访问来自认证事件的反馈，以便改进所述回声纹用户模型。

图1所示的每一个处理器都可以实现为专用于提供本文所述功能的单独处理器。本文所述的功能由专用硬件处理器、可编程处理器以及包括硬件和指令的组合实现，以使所述处理器执行所述功能。或者，图1所示的每一个处理器都可以实现为通用的单个处理器，用于执行指令以指示单个处理器执行所述功能。因此，如图8所示，图1所示的每一个“处理器”都可以实现为通过执行指令创建的过程，以指示一个或多个处理器执行与图1所示处理器相关联的功能。

为了在处理设备上实现安全性，通常会为用户提供机会去选择其希望与所述处理设备一起使用的认证类型。本文描述的基于音频的认证可以与各种形式的备选认证一起使用。本发明技术提供了一种易于使用的认证形式，该认证形式通过使用已并入到大多数移动设备中的硬件如扬声器和麦克风实现。本发明技术通过使用一种听不见的声音信号来进行认证，因此也不会打扰用户。

图2A示出了允许用户选择其希望在处理设备中一起使用的安全性认证类型的方法。首先，在步骤200中，执行安全性选择操作。图2B至图2D示出了在处理设备上(例如，在图8所示移动设备800的显示器852上显示)的示例性用户界面。所述界面可以由所述用户界面生成器170生成。其中，所述安全性选择操作可以是用户通过访问所述处理设备的用户设置界面来更改安全性选项的操作，也可以是用户首次访问所述处理设备时自动生成的操作。例如，图2A所示的过程可以在初始设置设备的过程中执行，或者在用户已经操作某设备并决定希望切换认证模式之后的某个时刻执行。

在步骤210中，可以提示用户选择安全性偏好。所述提示可以在与所述处理设备相关联的显示设备提供的用户界面上以任何形式显示出来。设备100a可以是如图8所示的设备800等处理设备。在一实施例中，设置(SETTINGS)提示可以包括供用户选择“开启认证(Enable Authentication)”的复选框、以及允许用户设置数字密码或字母数字密码的选项。在如图8所示的触摸屏界面上，用户可以点击复选框205。如图8所示，显示器可以集成在所述处理设备的外壳中，或者与所述处理设备的外壳分开设置。一旦在步骤210中得到提示后，所述用户就可以通过例如点击复选框205选择在步骤220中开启安全性。如果所述用户在步骤220中没有选择开启安全性，那么在步骤230中没有与所述处理设备一起使用的安全性选项。如果所述用户在步骤220中选择开启安全性，则在步骤240中，用户可以选择设置密码。在图2B所示的用户界面中，所述用户可以选择箭头215来选择设置密码。选择箭头215后，会显示如图2C所示的用户界面。

在一实施例中，在步骤250中，当所述用户在图2C所示的用户界面(UI)中输入密码时，会对所述用户的回声纹模型进行训练。可以从选中复选框“开启认证”205后的时间段内进行训练，或者从所述用户选择箭头215后的时间段内进行训练。该时间段持续到所述用户通过键盘235输入密码时，直至向所述用户显示提示(如图2D所示)的时刻(或该时间段任何子时间段的时刻)。

一旦所述用户在步骤250中完成密码输入，就会在步骤260中得到提示。所述提示如图2D所示。如图2D所示，所述用户界面可以指示“密码已设置”，且包括用于指示用户开启EchoID的提示245，以及用于允许用户开启除密码认证之外的EchoID选择项的复选框255。

本文讨论的基于音频的认证或EchoID是基于发射出的独特的用户特定但听不见的声音的采样反射信号。图3示出了一种用于输出和接收反射信号以创建在所述基于音频的认证中使用的回声纹的方法。

首先，在步骤300中，开启回声纹音频认证。如上述讨论，所述用户可以通过各种选项来开启所述处理设备中的各种类型的认证。

在步骤320中，在特定的时间段T中发射出用户特定但听不见的声音，其中，本步骤320中发射出的所述声音对每个设备而言都是独特的。所述声音信号的独特性使得所述技术能够在创建所述回声纹时分离反射声音。所述时间段T也可以称为采样周期，其范围可以从几纳秒到几秒。在步骤330中，所述处理设备在时间T内接收所述用户特定但听不见的声音的反射信号，其中，所述接收时间可以是相对于步骤320中初始发射出所述声音信号的时间进行偏移的时间。经过步骤325的处理之后，反射信号或回声将展示用户的特征，这些特征描述了独特的物理特征，包括心脏运动、生物特征(人体形状)数据和人体运动活动。在步骤340中，所述方法根据所述接收到的反射声音构建回声纹，并识别出独特于所述用户的数据样本。在步骤350中，将所述回声纹输出到机器学习算法中，或存储在可以由学习处理器实现的训练数据集中，或存储在训练数据集中供学习处理器后续使用。

在步骤360中，确定是否获取其他样本。如果需要获取其他样本，则返回执行所述方法的步骤320，并重复执行步骤330、340、350和360。通常会获取多个样本来统计创建回声纹模型。在多个采样周期内获取一个或多个样本，然后对所述样本通过用户的回声纹模型进行测试，从而进行认证。

如果不需要获取其他样本，则在步骤370中结束所述方法。获取到足够数量的样本后，可以创建用户特定回声纹模型。

图4示出了针对单个用户的回声纹特征构建用户特定模型的方法。在步骤410中，在学习过程中接收或由学习处理器接收步骤350中输出的回声纹样本。对于识别用户的回声纹和不将用户识别到一个或多个测试数据集的回声纹，所述回声纹样本与其期望的输出结果相关联。在步骤420中，计算用户回声纹模型，其中，该模型用于表征与用户唯一关联的特征。所述模型可以是通过多种已知的机器学习技术中的任何一种使用机器学习创建的。

多种机器学习技术中的任何一种都可以在本发明技术中使用。每个已授权用户均可以使用训练数据，所述每个已授权用户都具有一个专门为该用户开发的模型。

在步骤450中，存储所述模型，其中，所述模型可用于测试新样本以对用户进行认证，并且可以由所述学习处理器使用图5所示的方法进行更新。

可以采取多种方式创建回声纹和回声纹模型。在一实施例中，回声纹是包括N维矢量的一组数据，其中，每个维度都可以表示一个特征或一个特征的元素。构建回声纹可以包括将所述声音信号映射到这组数据。

用户特定模型创建完成后，可以根据与所述基于音频的认证的准确性相关的用户反馈来更新所述模型。

图5示出了用于测试和更新用户特定回声纹模型的方法。在步骤500中，在所述机器学习处理器中启动所述测试和更新过程，或将所述测试和更新过程作为通用处理器的进程来启动。在所述测试过程中：在步骤510中，在时间T内发射出用户特定但听不见的声音信号。在步骤515中，接收步骤510中发射出的所述用户特定但听不见的声音信号的反射信号。在步骤517中，处理所述信号。在步骤518中，为所述反射信号构建回声纹，其中，信号处理过程将在下文中结合图6B进行说明。在步骤520中，采用所述用户特定回声纹模型的当前版本测试所述回声纹。在步骤525中，根据所述测试的结果做出认证判断。在步骤530中，针对所述用户已通过认证或所述用户未通过认证的情况，向所述用户发出提示，以确定步骤525中做出的所述认证决定是否正确。针对步骤540中所述认证决定正确与否的情况，在步骤550中，向所述学习处理器提供所述决定的反馈。在步骤560中，所述学习处理器接收所述决定的反馈。在步骤570中，使用所述决定正确与否的反馈更新所述用户特定回声纹模型的当前版本。

图6A示出了可以由测试处理器执行以对访问处理设备的用户进行认证的方法。如图7进一步说明所示，该测试方法可以取决于设备状态，其中，所述设备状态反映了显示器是否打开以及所述设备是否锁定。在步骤600中，设备可能处于锁定状态，因此要求对访问所述设备的用户进行认证。所述设备也可以未被锁定，但被设置为在未锁定时进行周期性检查认证。因此需启动图6A所示的处理流程。用户可以使用手机访问所述处理设备，想到多种方法在步骤605中激活所述设备的显示器。例如，所述用户可以按所述处理设备上的物理按钮，或者，所述用户可以举起所述设备，或者，所述用户可以在所述处理设备的键盘上发起按键序列。步骤610至步骤640为使用测试回声纹执行音频认证的过程。在步骤610中，在采样周期内发射出用户特定但听不见的声音。在步骤620中，接收所述用户特定但听不见的声音的反射信号。在步骤625中，处理所述反射信号，以提取和分离用于指示特定的用户生物特征和行为特征的所述反射信号的特征。图6B示出了一种处理所述信号的方法。在步骤630中，构建测试回声纹。在步骤635中，将所述回声纹与所述用户特定模型的当前版本进行比较，测试所述回声纹。步骤635中，所述处理设备将所述测试回声纹与所述用户相关联的所述用户特定回声纹模型进行比较。在步骤640中，根据所述测试的结果进行判断。如果所述测试的结果为正，则在步骤640中确定所述用户通过认证，且在步骤650中通过更新所述设备状态允许访问所述设备。这样，在步骤650中，所述设备未被锁定或保持未锁定状态。如果所述测试的结果为负，则在步骤640中确定所述用户未通过基于音频的认证，且在步骤660中向所述用户提供备选形式的认证(如果开启)。在步骤650中，执行备选认证操作，根据步骤635中的所述比较的结果对所述用户进行认证。如果所述用户在步骤670中通过了所述备选形式的认证，则在步骤650中通过更新所述设备状态允许访问所述设备。如果所述用户在步骤670中未通过所述备选形式的认证，则在步骤680中通过更新所述设备状态阻止访问所述设备(即，所述设备被锁定)。

可选地，可以根据相同或不同的用户特定声音重复一次或多次执行步骤610至640，以尝试对所述用户进行认证。在尝试对用户进行认证失败后，可以重复执行这些步骤。

步骤635至步骤680可以由所述测试处理器140执行。图6B示出了适合执行步骤635至步骤680的所述测试处理器140的一个实施例。所述测试处理器140包括代码，用于指示所述处理器或具体实现的处理电路将所述测试回声纹与步骤641中所述用户相关联的所述用户特定回声纹模型进行比较。所述测试处理器140包括代码，用于指示所述处理器或具体实现的处理电路执行所述备选认证操作，以根据步骤643中的所述比较的结果对所述用户进行认证。所述测试处理器140包括代码，用于指示所述处理器或具体实现的处理电路根据所述比较的结果或所述执行的备选认证操作更新所述设备状态，其中，所述设备状态指示在步骤647中所述显示器是否打开以及所述设备是否锁定。

图6C示出了步骤630提供的一种处理信号的方法。在步骤628中，删除输入的环境音。在一实施例中，可以删除环境音。在一实施例中，可以通过对所述用户特定声音信号的反射信号进行滤波来删除环境音。

在步骤632中，进行特征识别，包括步骤420创建一组数据以训练机器学习模型。所述一组数据的每个维度对应一个特征。在步骤636中，将回声纹记录为一组数据。

处理设备可能不需要在用户每次解锁或操作电子设备时对所述用户进行认证。在一些实施例中，所述计算设备可以允许在经过特定时长后对用户进行认证。所述处理设备可以在接收到用户最后的指令或进入待机模式之后的特定时长内保留所述用户的认证信息。所述计算设备保留认证信息的时长可以由所述设备设置，也可以由所述用户设置。

图7示出了两种认证的打开状态和待机状态，这两种认证可以同时在处理设备上使用。如上所述的基于音频的认证可以与备选认证方法(例如指纹识别或密码认证)同时使用，以为用户提供更简单方便的设备操作。图7示出了设备状态710、720、730和740b。这四种设备状态指示了设备是否锁定以及设备显示器是否打开。这四种可能的设备状态分别为：设备锁定且显示器关闭710、设备锁定且显示器打开720、设备未锁定且显示器关闭730，以及设备未锁定且显示器打开740b。图7还示出了每种设备状态下每种认证机制的状态。两条虚线表示设备状态和认证方法的状态根据认证成功与否所产生的变化。

通常，处理设备具有电源管理功能和安全性锁定功能。电源管理功能包括用户可设置的选项，用于使设备节省电量，例如，在设置的非活动时长后调暗或关闭显示器。类似地，安全性设置允许用户设置是否需要锁定设备以及需要重新锁定非活动的未锁定设备的时长。在根据所述安全性设置重新锁定设备之前，设备显示器可能已根据电源设置关闭，导致所述设备进入设备未锁定且显示器关闭的状态(730)。如果在状态730下打开所述显示器(例如，响应于检测到显示屏的触摸操作或通过设备按钮发出的用户命令)，则所述设备还可以利用所述音频认证来重新验证(对所述用户透明)是通过认证的用户正在访问所述设备。在状态740b下，已经成功通过一种形式的认证(如下所述)，因此不需要进行其他认证。

在状态710下，所述设备被锁定且所述显示器关闭。某设备在未使用时可能处于该状态(例如，当所述设备处于休眠状态且所述设备中的电源管理功能关闭显示器时)。在该设备状态下，所述备选认证方法处于备用状态且所述基于音频的认证处于关闭状态715。“备用”状态是指不使用所述认证方法，但所述方法已由用户在所述设备的设置中激活。如上所述，用户可以选择一直不激活任何认证或让设备处于锁定状态，或者可以选择不开启音频认证且不使用其他形式的认证。图7的流程图示出了两种认证方法均已开启但不一定处于激活或使用状态(即打开状态)。

当所述设备被锁定且所述显示器关闭(状态710)时，两种认证方法都处于备用状态。在备用状态下，所述音频认证方法是：不输出听不见的信号，且每个处理器可以断电或关闭，以提高用电效率。

在状态720下，所述设备状态为所述设备锁定且所述显示器打开。用户可以通过物理交互机制，例如采用物理按钮，或者通过移动所述设备。所述移动能够被所述设备中的一个或多个运动传感器检测到，与所述设备进行交互，从而激活所述设备的显示器。打开所述显示器后，所述设备状态为假设用户可能需要访问所述锁定的设备。因此，在状态725下，所述基于音频的认证为开启或打开状态且开始尝试对所述用户进行认证，而所述备选认证方法在状态725下保持备用状态。这样，在向用户指示可能需要备选形式的认证之前，如果成功进行所述基于音频的认证，则可以允许使用所述基于音频的认证方法解锁所述设备。在状态725下，如果使用所述基于音频的认证方法成功进行所述认证，则所述设备处于状态740b“设备未锁定且显示器打开”。在状态725下，如果使用所述基于音频的认证方法进行所述认证失败，则在状态735下，所述基于音频的认证方法保持打开状态(并继续尝试对所述用户进行认证)，而且所述备选认证方法处于打开状态。在状态735下，可以在所述显示器上通过消息提示所述用户，指示尝试使用所述基于音频的认证方法对所述用户进行认证已经失败，并提示所述用户使用所述备选形式的认证。

如果使用这两种方法进行认证时都失败了，则所述设备处于状态720“设备锁定且显示器打开”。在状态735下，如果使用任何一种方法进行认证且认证成功，则所述设备处于状态740b“设备未锁定且显示器打开”。

所述设备处于状态740b“设备未锁定且显示器打开”时，两种认证方法都可以进入备用状态715。

在状态730下，所述设备未锁定且所述显示器关闭。如上所述，若所述显示器根据所述设备电源设置在少于所述设备根据所述设备安全性设置重新锁定对所述设备的访问的时长内关闭，就可能进入状态730。检测到用户与所述设备进行交互时，所述设备的状态将从状态730变化为状态740a“设备未锁定且显示器打开”。在状态745下，如果所述基于音频的认证方法检测到进行交互的所述用户不是已通过认证的用户，则所述基于音频的认证可以处于激活状态，重新锁定所述设备。例如，如果已授权用户解锁所述设备后离开了所述设备，然后未授权用户拿起所述设备并尝试访问所述设备，则所述基于音频的认证可以重新锁定所述设备(返回到状态720)。如果在状态745下所述基于音频的认证出错(确实是已授权用户正在与所述设备进行交互)，则所述方法遵循状态720至状态735的流程，以允许所述用户以上述方式通过授权来访问所述设备。如果已授权用户与手机在状态740a下进行交互，则所述基于音频的认证可以在状态745下授权所述用户，且所述设备进入状态740b“设备未锁定且显示器打开”。

可以通过所述设备的用户察觉不到的方式执行所述基于音频的认证(例如，生成听不见的信号，创建测试回声纹，并将所述创建的测试回声纹与用户特定回声纹模型进行比较/测试)或者其他适用的自动认证。所述设备的注册用户或已授权用户可能会被自动认证以解锁所述设备(例如，打开显示器，其上显示以前使用过的应用程序的用户工作界面)，且在所述用户能够访问以前使用过的应用程序之前无需执行可能需要在用户界面(例如，通过显示器或麦克风等)上操作的备选认证操作。因此，所述设备可以更频繁或更高效地激活省电模式(例如，显示器自动关闭)和/或安全性保护(例如，自动锁定)机制，而不影响用户体验。

图8示出了移动处理设备为手机时的典型架构示例。移动处理设备800具有存储器810、物理连接器820、处理器840、输入/输出(I/O)控制器850、蜂窝无线信道和数据信道860以及电源控制器870。这些部件中的每一个部件都通过所述移动处理设备800的系统总线(未示出)进行连接。

所述存储器810包括所述移动处理设备的操作系统812、应用程序814和非易失性存储830。所述存储器810可以是任何类型的存储器存储介质，包括非易失性存储器和易失性存储器。所述操作系统812处理所述移动处理设备800的不同操作，可以包括用于操作的用户界面，例如拨打和接听电话、短信、检查语音信箱等。所述应用程序814可以是任何种类的程序，例如用于照片和/或视频的相机、通讯录、日历、媒体播放器、互联网浏览器、游戏、闹钟、其他第三方应用程序等。所述应用程序可以包括：信号处理器应用程序110a，用于在被所述处理器840执行时执行所述信号处理器110的功能；学习处理器应用程序120a，用于在被所述处理器840执行时执行所述学习处理器120的功能；以及测试处理器应用程序140a，用于在被所述处理器840执行时执行所述测试处理器140的功能。特别地，所述应用程序可以包括代码842，用于将测试回声纹与用户相关联的用户特定回声纹模型进行比较。所述应用程序还可包括代码844，用于执行备选认证操作，以根据所述代码842的所述比较的结果对所述用户进行认证。所述应用程序还可以包括代码846，用于根据所述比较的结果或所述执行的备选认证操作更新设备状态，其中，所述设备状态包括显示器852是否打开以及所述设备是否锁定。所述存储器810中的所述非易失性存储部件830包括如网络缓存、音乐、照片、联系人数据、日程安排数据和其他文件以及回声纹、所述用户特定回声纹模型等数据。

所述操作系统812管理所述移动处理设备800的硬件，包括如所述显示器/触摸屏852、扬声器104和麦克风102等硬件。所述操作系统812还管理所述移动处理设备800上的软件(即所述应用程序814)，例如，用于执行所述用户请求的任务，处理传入的数据等。软件的管理会在操作系统控制和分配内存(即RAM)、系统任务、系统资源、文件系统等时进行。所述处理器840根据这种控制和分配为所述移动处理设备执行操作。

所述移动处理设备800的所述功率控制器870将所述移动处理设备的电源872分配给用于操作所述移动处理设备800及其不同特征的不同移动处理设备部件的电路。

此外，所述物理连接器820可用于将所述移动处理设备800连接到外部电源，例如AC适配器或充电底座。

所述移动处理设备800还包括所述蜂窝无线信道和数据信道860，用于接收和传输数据，例如电话、文本消息、电子邮件、网页数据等。蜂窝无线通信可以采用移动处理设备通信的任何标准网络协议(即GSM、PCS、D-AMPS、UMTS等)进行。所述移动处理设备800还可以包括其他通信信道862如Wi-Fi、蓝牙等，也用于接收和发送数据。所述移动处理设备800还可以包括其他功能元件如GPS，用于进行通信864。所述每个通信介质通过所述移动处理设备800的天线866进行访问。用于执行所述移动处理设备800的操作的通信介质不限于上述介质，还可以包括本领域已知的任何其他通信介质。

应理解的是，任何适合的处理设备，无论是移动式或其他形式，都可以实现本发明的技术。因此，尽管图8示出了移动设备，但台式计算机、膝上型计算机等通用处理设备中也可以包括与图8所示部件类似的部件。

进一步地，在一示例性非限制实施例中，可以包括分布式处理、部件/对象分布式处理以及并行处理等实现方式。可以构建虚拟计算机系统处理以实现本文描述的一个或多个方法或功能，而且，本文描述的处理器可用于支持虚拟处理环境。本文结合本发明实施例提供的方法、装置(系统)和计算机程序产品的流程图图示和/或方框图来描述本发明的各个方面。应理解的是，流程图图示和/或方框图中的每个方框以及流程图图示和/或方框图中的方框的组合可以通过计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以供机器执行，使得所述指令通过所述计算机或其他可编程指令执行装置的处理器执行，以创建用于实现所述流程图和/或方框图中指定的功能/动作的机制。

在一实施例中，可以通过一种装置实现所述技术，所述装置用于从所述处理器相关联的扬声器以某种频率输出听不见的用户特定声音信号，所述装置包括例如用户特定音频发生器150。所述技术可以包括用于接收所述听不见的声音信号的反射信号的装置，包括例如麦克风和信号处理器。所述技术可以包括用于根据所述反射信号生成回声纹以及将所述回声纹与用户相关联的装置，可以包括例如信号处理器110。所述技术包括用于认证用户以访问处理设备的装置，包括例如测试处理器。

本文中的一些实施例可以在非瞬时性计算机可读介质上实现，所述非瞬时性计算机可读介质包括所有类型的计算机可读介质，所述计算机可读介质包括磁存储介质、光存储介质和固态存储介质，具体不包括信号。

本文中所用的术语仅仅是出于描述特定方面的目的，并不旨在限制本发明。除非上下文清楚说明，否则本文所用的单数形式“一”和“所述”包括其复数形式。应进一步了解的是，本说明书中所用的术语“包括”和/或“包含”用于说明存在所述特征、整数、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的组合。

本发明的描述只是为了说明目的，而这些描述并不旨在穷举或限于所公开的实施例。在不偏离本发明的范围和精神的前提下，多种修改和改变对本领域技术人员而言是显而易见的。选择和描述的本发明各个方面以便更好地解释本发明的原理和实际应用，并且使本领域技术人员能够理解本发明适合预期特定用途的各种修改。

为实现本文的目的，与所公开的技术相关联的每个过程可以由一个或多个计算设备连续地执行。过程中的每个步骤可以由与在其他步骤中使用的相同或不同的计算设备执行，而且每个步骤不必由单个计算设备执行完成。

虽然已经以特定于结构特征和/或方法动作的语言描述了主题，但应理解的是，权利要求书中定义的主题不必局限于以上所述的具体特征或动作。相反，上述具体的特征和动作被公开作为实现权利要求的示例性方式。

Claims (19)

1.一种具有基于音频认证功能的处理设备，其特征在于，包括：

显示器；

麦克风；

扬声器；

音频信号发生器，耦合到所述扬声器，用于从所述扬声器输出用户特定但听不见的声音信号；

信号处理器，耦合到所述麦克风，用于分离所述用户特定但听不见的声音信号的反射信号，并根据所述反射信号创建测试回声纹；

处理器，用于：

将所述测试回声纹与用户关联的用户特定回声纹模型进行比较；

若所述比较的结果为所述用户未通过认证，则执行备选认证操作，以及将所述信号处理器创建的测试回声纹与用户关联的用户特定回声纹模型进行比较；

根据所述比较的结果或所述执行的备选认证操作更新设备状态，其中，所述设备状态包括显示器是否打开以及所述设备是否锁定；

其中，所述音频信号发生器和所述信号处理器用于在所述显示器打开且所述设备被锁定时工作，且用于在所述显示器关闭且所述设备被锁定时保持待机状态。

2.根据权利要求1所述的处理设备，其特征在于，还包括机器学习处理器，用于在备选认证设置流程中创建所述用户特定回声纹模型。

3.根据权利要求1所述的处理设备，其特征在于，所述回声纹用于识别与所述用户相关联的特征，所述特征至少包括生物特征或行为特征。

4.根据权利要求3所述的处理设备，其特征在于，所述生物特征至少包括物理属性或心脏属性。

5.根据权利要求1所述的处理设备，其特征在于，机器学习处理器用于：当用户选择开启基于音频的认证时，在小于或等于用户开启认证开始后的时间段内构建所述用户特定回声纹模型。

6.根据权利要求5所述的处理设备，其特征在于，所述信号处理器用于：在进入用户界面输入密码的时间段内，根据指示所述用户开启基于音频的认证的用户界面提示构建所述用户特定回声纹。

7.根据权利要求1所述的处理设备，其特征在于，还包括非易失性存储设备，用于存储所述信号处理器生成的、作为训练数据集的一个或多个回声纹，以及存储所述用户特定回声纹模型。

8.根据权利要求1所述的处理设备，其特征在于，机器学习处理器用于：接收针对认证识别的用户反馈，并根据所述反馈更新所述用户特定回声纹模型。

9.一种通过处理器实现的、用于对访问具有显示器的处理设备的用户进行认证的方法，其特征在于，包括：

使用机器学习处理器通过以下步骤生成用户特定回声纹模型：

以用户特定频率从所述处理设备相关联的扬声器输出听不见的声音信号；

当所述用户与备选认证对应的用户界面进行交互时，从所述处理设备相关联的麦克风接收所述听不见的声音信号的反射信号；

在所述显示器打开时通过以下步骤对所述用户访问进行认证：

执行基于音频的认证方法：以用户特定频率从所述扬声器输出听不见的测试声音信号；从所述麦克风接收所述听不见的测试声音信号的反射信号；生成测试回声纹；将所述测试回声纹与所述用户特定回声纹模型进行比较，确定是否允许所述用户访问所述处理设备；其中，所述基于音频的认证方法处于打开状态，备用认证方法处于备用状态；

根据所述比较的结果确定所述用户访问未认证成功时，执行所述备选认证方法，以及执行所述基于音频的认证方法；其中，所述基于音频的认证方法保持所述打开状态，所述备用认证方法处于所述打开状态；

根据所述比较的结果或所述执行的备选认证操作更新设备状态，从而根据所述测试的结果允许或拒绝访问所述处理设备，其中，所述设备状态包括所述显示器是否打开以及所述设备是否锁定。

10.根据权利要求9所述的处理器实现的方法，其特征在于，在所述显示器打开且所述设备被锁定时执行所述生成测试回声纹、所述接收所述听不见的测试声音信号的反射信号、以及所述测试的步骤，在所述显示器关闭或所述设备被锁定时不执行所述生成测试回声纹、所述接收所述听不见的测试声音信号的反射信号、以及所述测试的步骤。

11.根据权利要求10所述的处理器实现的方法，其特征在于，多次重复执行用于生成所述用户特定回声纹模型的所述输出和接收的步骤，以创建用于机器学习处理器的训练数据集。

12.根据权利要求9所述的处理器实现的方法，其特征在于，认证失败时，通过所述测试步骤输出一种不同的用户特定但听不见的测试声音信号，且通过所述测试步骤分离所述不同的用户特定但听不见的测试声音信号的反射信号，并根据所述不同的用户特定但听不见的测试声音信号的所述反射信号创建新的测试回声纹。

13.根据权利要求9所述的处理器实现的方法，其特征在于，所述生成步骤包括识别与所述用户相关联的特征，所述特征至少包括生物特征或行为特征。

14.一种用于存储计算机指令的非瞬时性计算机可读介质，其特征在于，所述计算机指令由一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：

通过以下步骤为用户生成回声纹模型：

以用户特定频率从所述处理器相关联的扬声器输出听不见的声音信号；

接收所述听不见的声音信号的反射信号；

根据所述反射信号生成回声纹，并将所述回声纹与所述用户相关联；

重复所述输出、接收和生成的步骤，以创建训练数据；

根据所述训练数据，使用机器学习处理器训练回声纹模型；

在显示器打开且设备被锁定时，通过以下步骤执行基于音频的认证方法对所述用户进行认证，以使所述用户访问具有所述显示器的处理设备：

以所述用户特定频率从所述处理设备相关联的扬声器输出听不见的测试声音信号；

接收所述听不见的测试声音信号的反射信号；

根据所述听不见的测试声音信号的所述反射信号生成至少一个测试回声纹；

将所述回声纹与用户特定回声纹模型进行比较，确定是否允许所述用户访问所述处理设备；其中，所述基于音频的认证方法处于打开状态，备用认证方法处于备用状态；

根据所述比较的结果确定所述用户未认证成功时，执行备选认证方法，以及执行所述基于音频的认证方法；其中，所述基于音频的认证方法保持所述打开状态，所述备用认证方法处于所述打开状态；

根据所述比较的结果或所述执行的备选认证操作更新设备状态，从而根据所述测试的结果以及所述备选认证方法允许或拒绝访问所述处理设备，其中，所述设备状态包括所述显示器是否打开以及所述设备是否锁定。

15.根据权利要求14所述的用于存储计算机指令的非瞬时性计算机可读介质，其特征在于，所述输出听不见的测试声音包括：向所述用户输出所述听不见的测试声音信号以及一种不同的听不见的测试声音；还包括：接收所述不同的听不见的测试声音的反射信号，并根据所述不同的听不见的测试声音的所述反射信号创建回声纹。

16.根据权利要求14所述的用于存储计算机指令的非瞬时性计算机可读介质，其特征在于：为所述备选认证方法提供用户设置界面；所述生成回声纹模型包括：在执行所述输出、接收、生成回声纹、重复和训练的步骤的同时，从所述用户界面接收所述用户的输入。

17.根据权利要求14所述的用于存储计算机指令的非瞬时性计算机可读介质，其特征在于，所述计算机指令由一个或多个处理器执行时，使得所述一个或多个处理器根据针对所述测试是否准确的用户反馈使用机器学习处理器更新所述用户特定回声纹模型。

18.根据权利要求14所述的用于存储计算机指令的非瞬时性计算机可读介质，其特征在于，所述回声纹用于识别与所述用户相关联的特征，所述特征至少包括生物特征或行为特征。

19.根据权利要求18所述的用于存储计算机指令的非瞬时性计算机可读介质，其特征在于，所述生物特征至少包括物理属性或心脏属性。