CN110832444B

CN110832444B - 用户界面声音发出活动分类

Info

Publication number: CN110832444B
Application number: CN201880044852.7A
Authority: CN
Inventors: T.阿伯尔萨德; G.博斯; J.小莫雷; R.伦达尔
Original assignee: Qindarui Co
Current assignee: Qindarui Co
Priority date: 2017-07-13
Filing date: 2018-07-06
Publication date: 2024-05-28
Anticipated expiration: 2038-07-06
Also published as: US20200065063A1; US20190018646A1; JP7116778B2; GB2578079B; US20190018647A1; GB202001744D0; DE112018002133T5; US11868678B2; JP2020526839A; CN110832444A; GB2578079A; WO2019012395A1; US10503467B2; US10509627B2

Abstract

介绍了方法，计算机程序产品和系统。该方法,计算机程序产品和系统可以包括,例如：获得音频输入，该音频输入表示从基于按键的用户界面发出的声音；基于音频输入生成上下文模式；执行上下文模式的分类以将上下文模式分类为属于签名模式分类，其中，签名模式分类指定用户活动；并基于执行的分类提供输出。

Description

用户界面声音发出活动分类

技术领域

本发明涉及计算机设备，并且尤其涉及区分计算机设备用户的活动。

背景技术

在计算机安全威胁的背景下，已经研究了来自计算机键盘的声音发出。已经认识到，尽管不同按键的点击听起来类似于人耳，但是按键之间的点击声音可能会略有不同。已经研究了从PC键盘发出的声音，并且实验表明可以进行处理以区分键盘的按键。进一步的研究表明，打字风格对受过训练的神经网络识别按键的能力影响很小。

发明内容

通过一方面提供一种方法，克服了现有技术的缺点，并提供了其他优点。该方法可以包括例如：获得音频输入，该音频输入表示从基于按键的用户界面发出的声音；以及基于音频输入生成上下文模式；执行上下文模式的分类以将上下文模式分类为属于签名模式分类，其中，签名模式分类指定用户活动；并基于执行的分类提供输出。

优选地，本发明提供一种方法，其中，签名模式分类是选自以下的分类：网络浏览，社交媒体，群发消息，游戏，文字处理和特定字符串。

优选地，本发明提供一种方法，其中签名图案分类是由某个字符串定义的分类。

优选地，本发明提供一种方法，其中该方法包括提供允许管理员用户输入字符串的用户界面功能，将上下文模式注册为与该字符串相关联的签名模式，并且其中执行分类包括将上下文模式与签名模式匹配。

优选地，本发明提供一种方法，其中提供输出包括向外部系统提供通知。

优选地，本发明提供一种方法，其中提供输出包括提供输出以配置网络硬件组件。

优选地，本发明提供一种方法，其中提供输出包括提供输出以启动软件在计算机设备上的安装。

优选地，本发明提供一种方法，其中执行分类导致分类失败，并且其中该方法包括响应于分类失败而提示用户输入活动信息。

优选地，本发明提供一种方法，其中，上下文模式包括按键序列信息和定时信息。

优选地，本发明提供一种方法，其中，所述获取包括：从计算机设备获取音频输入，其中，响应于所述执行的分类未能对所述上下文模式进行分类，在所述计算机设备上提供了提示，以提示所述计算机设备的用户输入用于指定与上下文模式关联的活动的标签信息。

优选地，本发明提供一种方法，所述方法包括提供用户界面功能，所述用户界面功能允许管理员用户在训练时段期间执行基于管理员用户按键按压的用户界面的训练使用，提供表示在训练周期期间从基于管理员用户按键的用户界面发出的声音的特定音频输入；提供允许所述管理员用户输入指定与所述训练使用相关联的活动的标记信息的用户界面功能；将使用所述特定音频输入产生的上下文模式注册为标记有存储在数据储存库中的所述标记信息的签名模式；以及将传入上下文模式与所述签名模式匹配。

优选地，本发明提供了一种方法，其中，签名模式分类是Web浏览分类。

优选地，本发明提供一种方法，其中，签名图案分类是游戏分类。

优选地，本发明提供一种方法，其中，签名模式分类是文字处理分类。

在另一方面，可以提供一种计算机程序产品。该计算机程序产品可以包括计算机可读存储介质，该计算机可读存储介质可由一个或多个处理单元读取并且存储指令以由一个或多个处理器执行以执行一种方法。该方法可以包括例如：获得音频输入，该音频输入表示从基于按键的用户界面发出的声音；以及基于音频输入生成上下文模式；执行上下文模式的分类以将上下文模式分类为属于签名模式分类，其中，签名模式分类指定用户活动；并基于执行的分类提供输出。

优选地，本发明提供一种计算机程序产品，其中针对第一至第六音频输入中的每一个执行获取，生成和执行分类，其中，与第一音频输入相关联的上下文模式的执行分类导致根据Web浏览签名模式分类的分类，其中执行与第二音频输入相关联的上下文模式的分类导致根据社交媒体签名模式分类的分类，其中执行与第三音频输入相关联的上下文模式的分类导致根据群发消息签名模式分类的分类，其中执行与第四音频输入相关联的上下文模式的分类导致根据游戏签名模式分类的分类，其中执行与第五音频输入相关联的上下文模式的分类导致根据字处理签名模式分类的分类，其中执行与第六音频输入相关联的上下文模式的分类导致根据特定字符串签名模式分类的分类。

优选地，本发明提供一种计算机程序产品，其中，对第一和第二音频输入中的每一个执行获取，生成和执行分类，其中与第一音频输入结果相关联的上下文模式的执行分类导致根据Web浏览签名模式分类的分类，其中与第二音频输入相关联的上下文模式的执行分类导致根据游戏签名模式分类的分类。

在另一方面，可以提供一种系统。该系统可以包括例如存储器。另外，该系统可以包括与存储器通信的一个或多个处理器。此外，该系统可以包括可由一个或多个处理器经由存储器执行以执行一种方法的程序指令。该方法可以包括例如：获得音频输入，该音频输入表示从基于按键的用户界面发出的声音；以及基于音频输入生成上下文模式；执行上下文模式的分类以将上下文模式分类为属于签名模式分类，其中，签名模式分类指定用户活动；并基于执行的分类提供输出。

优选地，本发明提供一种系统，其中，针对第一至第六音频输入中的每一个执行获取，生成和执行分类，其中，与第一音频输入相关联的上下文模式的执行分类导致根据Web浏览签名模式分类的分类，其中执行与第二音频输入相关联的上下文模式的分类导致根据社交媒体签名模式分类的分类，其中执行与第三音频输入相关联的上下文模式的分类导致根据群发消息签名模式分类的分类，其中执行与第四音频输入相关联的上下文模式的分类导致根据游戏签名模式分类的分类，其中执行与第五音频输入相关联的上下文模式的分类导致根据字处理签名模式分类的分类，其中执行与第六音频输入相关联的上下文模式的分类导致根据特定字符串签名模式分类的分类。

优选地，本发明提供一种计算机程序产品，其中，针对第一和第二音频输入中的每一个执行获取，生成和执行分类，其中，与第一音频输入相关联的上下文模式的执行分类导致根据Web浏览签名模式分类的分类，其中执行与第二音频输入相关联的上下文模式的分类导致根据游戏签名模式分类的分类。

通过本文阐述的技术实现了附加特征。本文中详细描述了其他实施例和方面，包括但不限于方法，计算机程序产品和系统，并且被认为是所要求保护的发明的一部分。

附图说明

作为在说明书的结尾处的权利要求中的实例，特别指出并明确要求保护本发明的一个或多个方面。通过以下结合附图的详细描述，本发明的前述和其他目的，特征和优点将变得显而易见，其中：

图1描绘了具有管理器系统和一个或多个计算机设备的系统；

图2是示出一实施方式的管理者系统的协调方法的流程图；

图3是示出根据一个实施例的用于管理器系统执行的方法的流程图；

图4是示出根据一个实施例的用于具有管理器系统的系统执行的方法的流程图；

图5描绘了可以显示在管理员用户计算机设备的显示器上的管理员用户界面；

图6描绘了可以放置在用户计算机设备上的用户界面；

图7描绘了根据一个实施例的计算节点；

图8描绘了根据一个实施例的云计算环境；和

图9描绘了根据一个实施例的抽象模型层。

具体实施方式

图1是根据本文阐述的实施例的系统100的框图。在图1的实施例中，系统100可以包括许多设备，例如通过网络160连接的基于计算机节点的设备。例如，网络160可以是物理网络或虚拟网络。物理网络可以是例如连接多个计算机节点或系统的物理电信网络，例如可以由计算机服务器和计算机客户端提供的物理电信网络。相比之下，虚拟网络可以例如将众多物理网络或其一部分组合成逻辑虚拟网络。在另一个示例中，可以在单个物理网络上定义多个虚拟网络。

作为说明，图1描绘了示例环境。在一个实施例中，系统100可以包括管理器系统110，其具有关联的数据存储库112，一个或多个管理员用户计算机设备120和用户计算机设备130A-130Z。管理器系统110和计算机设备130A-130Z可以经由网络160进行通信。关于计算机设备130A-130Z，计算机设备130A-130Z可以用于生成表示从基于计算机按键的用户界面发出的声音的音频信息，例如，声音。包括键盘和/或指针控制器。因此，计算机设备130A-130Z的代表性计算机设备可以包括音频输入设备，例如音频输入设备麦克风。计算机设备130A-130Z的某个音频输入设备(例如，计算机设备130A)可以提供表示从计算机设备130A的基于按键的用户界面发出的声音的音频输入和/或表示基于按键的用户界面计算机设备(而非计算机设备130A，诸如与计算机设备130A邻近的计算机设备)的声音的音频输入。在一个实施例中，管理器系统110可以在系统100的每个设备或系统的外部。在一个实施例中，管理器系统110可以与系统100的一个或多个其他设备或系统并置。

本公开的实施例提供了监测一个或多个基于计算机按键的用户界面并且用于记录按键声音(例如，点击声音)以便内插用户参与什么类型的活动。如在此阐述的“基于计算机键的界面”广义上是指具有键的用户界面设备，例如，计算机键盘和/或指针控制器，例如，用于对图形用户界面进行导航的鼠标设备。按键在此是指计算机键盘按键以及指针控制器点击，如“鼠标点击”。计算机按键可包括例如字母字符按键、数字字符按键、符号字符按键(例如箭头键和/或空格按键)。本发明的实施例可以提供认知服务，该认知服务将采用键盘按键按压声音作为输入并且产生对可能打字的特定人的认知分析或对人参与的活动类型的匿名分析作为输出。可以提供的一般分类中的一些包括例如：网络浏览、社交媒体、群发消息、游戏、文字处理和特定字符串。

可以提供一个实施例中的系统100，以仅通过侦听他们的基于键盘的包括键盘的基于用户的按键的用户界面产生的声音来确定用户(或用户集合)从事的活动类型。可以提供系统100来确定人群正在进行的一般活动类型，而无需访问和暴露个人身份。

管理器系统110可以运行各种过程，例如准备和维护过程111，上下文模式生成过程113，分类过程114和机器学习过程115。准备和维护过程111可以准备和维护数据存储库112中的数据，以用于由管理器系统110运行的其他进程使用，例如上下文模式生成过程113，分类过程114和机器学习过程115。通过运行准备和维护过程111存储在数据存储库112中的数据可以包括各种数据。例如，在上下文模式区域2121中，数据存储库112可以存储上下文模式的记录，并且在签名模式区域2122中，数据存储库112可以存储签名上下文模式的记录。在分类历史区域2123中，数据存储库112可以存储由管理器系统110执行的模式分类的记录。在软件区域2124中，数据存储库112可存储不同软件模块，例如用于修改系统100的一个或多个计算机设备或系统的功能。

存储在上下文模式区域2121中的上下文模式的记录可以表示在不同时间从计算机设备130A-130Z接收的音频输入。这样的记录可以包括例如识别每个上下文模式的序列号的标识符，特定的计算机设备产生特定的音频输入，以及指示例如每个音频输入的开始时间，停止时间和持续时间。区域2122-2124中的记录也可以包括标识符和时间戳信息。

管理器系统110可以运行上下文模式生成过程113，以基于从计算机设备130A-130Z接收的接收到的音频输入来生成上下文模式。在一个示例中，每个计算机设备(例如，计算机设备130A-130Z的计算机设备130A)可以例如以音频信号的形式提供音频输入，并且这样的音频信号可以由管理器系统110接收。计算机设备130A-13Z可以是具有相应的音频输入设备的计算机设备，并且可以由诸如PC、膝上型计算机、平板计算机、移动电话、基于专用处理器的麦克风、便携式摄像机或此类设备的任何组合之类的类型的设备提供。

运行上下文模式生成过程113，管理器系统110可以基于所接收和处理的音频输入来确定上下文模式。上下文模式可以包括例如字符串信息和时间信息。运行分类过程114的管理器系统110可以对使用上下文模式生成过程113确定的上下文模式进行分类。运行分类过程114，管理器系统110可以将确定的上下文模式分类为属于签名上下文模式分类。示例性签名模式分类包括例如Web浏览签名模式分类，社交媒体签名模式分类，群发消息签名模式分类，游戏签名模式分类，文字处理签名模式分类和特定字符串签名模式分类。

在一个实施例中，管理器系统110可以运行机器学习过程115。机器学习过程115可以运行各种后台过程，例如将上下文模式和分类的记录存储在数据存储库112中，以供以后的趋势分析使用。管理器系统110可以被配置为使得机器学习过程115的某个过程响应于分类过程114对分类上下文模式的失败而被激活。例如，在基于分类过程114的一个实施例中，管理器系统110未能成功地对当前上下文模式进行分类，可以运行机器学习过程115的某个过程，从而导致管理器系统110将当前确定的无法分类的上下文模式注册为存储在数据存储库112的签名模式区域2122中的新的签名模式。基于当前上下文模式的分类失败，在一个实施例中，管理器系统110可以激活特定计算机的显示的用户界面，例如触发当前上下文模式的生成的计算机设备130A。所显示的用户界面可提示来自计算机设备130A的用户的关于由计算机设备130A执行的活动的信息的输入。管理器系统110可以将当前上下文模式响应性地存储到签名模式区域2122中，该签名模式区域2122以带有返回的信息的模式来标记，该信息指定了与当前上下文模式相关联的活动。因此，可以训练管理器系统110以将进入的上下文模式分类为属于刚存储的签名模式的签名模式分类。

图2是示出了可以由管理器系统110执行的方法200的流程图。在框210，管理器系统110可以例如通过管理器系统110运行准备和维护过程111。以填充，准备和/或维护数据存储库112的各种数据，包括上下文模式区域2121，签名模式区域2122，分类历史区域2123和软件区域2124的数据。管理器系统110可以运行准备和维护过程111，直到过程111在框212处终止在框212处。在框220处，管理器系统110可以运行分类过程114以将从音频输入生成的进入的上下文模式分类为属于签名模式分类。管理器系统110可以运行分类过程114，直到分类过程114在框222处终止。为了运行分类过程114，可以反复运行上下文模式生成过程113。

为了执行准备和维护过程111，管理器系统110可以配置为自动处理从计算机设备130A-130Z接收的音频输入。为了执行准备和维护过程111，管理器系统110可以配置为自动地从一个或多个外部系统140接收数据，例如从管理器系统110接收数据。为了增强软件区域2124中软件模块的清单，管理器系统110可以运行自然语言处理(NLP)过程，以执行准备和维护过程111。

本文的实施例认识到可以根据从基于计算机按键的用户界面发出的记录声音来确定按键。确定的按键可以包括按下的特定按键。本文的实施例认识到，基于计算机按键按压的用户界面声音点击的记录可以被转换为字符串和/或单词。本文的实施例认识到，特定声音可被映射到特定键，包括通过使用可包括例如机器学习处理(包括例如神经网络处理)的不同过程。确定按键可以使用拼写和语法分析来解决以低置信度确定的按键。

本文的实施例认识到可以在训练阶段训练按键分类器，并且可以在识别阶段识别按键分类器。按键分类器可以采用基于神经网络或基于非神经网络的机器学习算法。在一个实施例中，按键分类器的训练可以包括例如特征提取，有监督或无监督的密钥识别，拼写和语法检查以及基于反馈的培训。特征提取可以包括例如倒谱特征提取和/或FFT特征提取。在一个实施例中，键识别可以包括未标记的训练数据。例如，可以使用聚类方法将击键聚类为N个类别之一，可以将N选择为更高的值，大于键盘上的键数。可以使用聚类和隐马尔可夫模型(HMM)确定条件分布类别，并可以用于提供增强的预测。可以使用HMM算法来估计密钥分布和类映射分布的密钥。基于字典的拼写校正可以与语法校正处理一起使用。可以将拼写和语法校正合并到“隐马尔可夫模型”中以提高准确性。基于反馈的培训过程可用于减少或消除对拼写检查或语法检查过程的依赖。在一个实施例中，可以将先前获得的校正结果标记为训练样本，并且可以使用试探法来选择更可能正确的单词。可以使用各种分类算法，例如线性分类算法和/或基于高斯的分类算法。

图3是描绘在一个实施例中可以由管理器系统110执行的方法300的流程图。在框310，管理器系统110可以执行获得音频输入，该音频输入表示从基于按键的用户界面发出的声音。在框310，管理器系统110可以基于音频输入来执行生成上下文模式。方法300可以包括管理器系统110在框330处执行上下文模式的分类，以将上下文模式分类为属于签名模式分类。在框340，管理器系统110可以基于执行的分类来执行提供输出。

系统100可以用于监视一个或多个基于计算机按键的用户界面，并记录包括键盘声音的基于按键的用户界面，以便内插用户或一组用户从事的活动类型。基于用户界面的声学特性的按键成为“用户界面的语言”，并定义了对新认知界面的新输入。系统100可以提供一种认知服务，该认知服务可以将基于按键的用户界面声音(例如，一种新型的语言)作为输入，并且产生可能打字的特定人的认知分析或人参与的活动类型的匿名分析作为输出。可以得出的一些一般类别包括(网页浏览，使用社交媒体网站，游戏，文字处理等)。系统100可以提供数千到数百万到十亿到十亿个声学输入收听设备(例如手机)以侦听基于按键的用户界面特定的声音模式。通过基于声音输入生成上下文模式并将生成的上下文模式分类为属于签名模式分类，可以监听声音模式。系统100可以分析音频输入的定时信息。为了监视定时，信息管理器系统110可以生成上下文模式，该上下文模式包括表示按键之间的暂停持续时间的数据。系统100可以例如监视在暂停之前输入了多少个键，可以将多个单词组合成一个短语，然后寻找该短语。

系统100可以分析基于按键的用户界面声音，并且可以将该声音转换为上下文模式数据以确定用户活动。系统100可以使用基于按键的用户界面声学模式(例如，用户活动分类Web浏览，社交媒体，群发消息，游戏，文字处理，特定字符串等)来识别活动上下文。每个用户活动分类可以具有存储在数据存储库112的签名模式区域2122中的关联的一个或多个签名模式。每个不同的签名模式分类可以指定不同的用户活动，例如，Web浏览，社交媒体，群发消息，游戏，文字处理和/或特定字符串。管理器系统110可以通过对基于计算机按键的用户界面声学模式的分析来识别输入的单词或短语，可以从中生成上下文模式。

图4是流程图，其从管理器系统110及其关联的数据存储库112，计算机设备130A-130Z和网络160的硬件组件162的角度说明了使用系统100执行的方法300的示例。

在框1301和2301，计算机设备130A和计算机设备130Z可以分别在框1101和框1102发送音频输入以供管理器系统110接收。

应当注意，计算机设备130A和计算机设备130Z可以被不同地配置。在一个实施例中，例如，特定计算机设备130A可以被配置为使得在框1301处，表示由计算机设备130A发送的按键的声音的音频输入是表示从计算机设备130A的基于按键的用户界面发出的按键的声音的音频输入，例如，包括一个或多个计算机键盘或指针控制器，例如，特定计算机设备130A的鼠标。另一方面，在一个实施例中，计算机设备130Z可被配置为发送音频输入的计算机设备，所述音频输入表示从计算机设备130Z外部的计算机设备的基于按键的用户界面发出的声音。

在框1101和1102处接收到数据后，管理器系统110可以前进到框1103以运行上下文模式生成过程113。在框1103中，管理器系统110可以基于所接收的一个或多个音频来生成上下文模式。在框1101或框1102接收的输入。

为了执行这种生成，管理器系统110可以输出具有特定格式的上下文模式。可以有多种替代有效格式，或者在一个实施例中，可以是一种有效格式。根据一个实施例，用于生成的上下文模式的某种格式可以包括一系列按键。一系列按键可以包括例如文字字串，例如字母，数字和/或符号字符和/或其他按键(例如，点击指针设备，按空格键等)。在一个实施例中，上下文模式可以包括一系列按键过程(特定的或通用的)和定时信息，例如，指定按键之间的一组暂停的时间信息的时间信息。本文的实施例认识到按键之间的暂停可以包括大量的识别信息。例如，单手按键(QWERTY键盘上的“E”，“R”)通常确保比两个手按键(“E”，“P”)更长的持续时间，并且本文的实施例认识到可以在以下情况中使用定时信息：确定按键顺序。此外，时序信息可以在用于导出按键序列之后被保留，并且可以被包括为包括按键序列和时序信息的上下文模式的一部分。

包括特定按键的上下文模式可以包括一按键序列，该按键序列包括表示某个按键之间的暂停的时间段形式的特定字符串和定时信息。管理器系统110可以基于按键序列(例如，包括字符串)和/或定时信息来进行分类，并且在一个实施例中，可以使用定时信息来解决由管理器系统110确定的预期分类之间的冲突。对于在框1103处生成的每个模式，管理器系统110可以将生成的上下文模式存储到数据存储库112中，以供数据存储库112在接收框1121处接收。完成生成一个或多个上下文模式后，管理器系统110在框1104可以运行分类过程114(图1)。为了执行属于签名模式的上下文模式的分类，分类管理器系统110可以将当前上下文模式与存储在数据存储库112中的所存储的签名模式进行比较，并且可以执行当前上下文模式与所存储的签名模式之间的匹配。为了执行匹配管理器系统110可以采用一个或多个模式识别过程，例如，采用分类算法和/或聚类算法和/或涉及计算相似性或不相似性值的方案。

基于匹配管理器系统110，在框1104处，可以对在框1103处生成的用于将上下文模式分类为属于签名模式分类的一个或多个上下文模式进行分类。为了在框1104处执行这种基于匹配的分类，管理器系统110可以进行多个查询以供数据存储库112接收，如由数据存储库112执行的查询接收和响应框1122(图4)所指示的。

在一个实施例中，在框1104处的管理器系统110可以执行本文所述的各种替代分类。对于每种候选签名模式分类，数据存储库112可以存储一个或多个签名模式。管理器系统110可以基于当前上下文模式匹配与签名模式分类相关联的一个或多个签名模式，将当前上下文模式分类为属于某个签名模式分类。存储在数据存储库112中的签名模式可以例如是由模式列表定义和/或用包括数学和/或逻辑运算符的函数表示。为了在一个实施例中执行匹配，匹配可以基于不需要精确匹配的匹配标准。在一个实施例中，匹配可以基于最佳拟合标准，并且在一个实施例中，可以包括相似性和不相似性评估。

使用上下文模式生成和分类处理的管理器系统110可以分析基于按键的用户界面声音，包括键盘声音，并且可以识别模式，例如包括以下内容：Web浏览上下文：“www.”+“.com”+页面向下，页面向上和滚动模式，群发消息上下文：<M个字符，后跟一个“Enter”键；社交媒体上下文：“[特定域].com”或“点击”+简短回复+“输入”或几种点击模式；游戏上下文：上下左/右箭头键使用；在不更改窗口的情况下以大量键入为特征的文字处理上下文。管理器系统110可以分析基于按键的用户界面声音，并且可以寻找将指示某种活动类型的模式。某些类型的活动具有通常重复的属性。例如，在浏览网络时，可以看到键www.随后是平均2-8个字符、后跟“.com”是通常观察到的模式。如果管理器系统110结合其他键盘声音(例如周期性地按下向下翻页按钮(指示正在阅读网页))识别出这种模式，则管理器系统110随后可以将该用户的活动上下文正确地关联为“Web浏览”。管理器系统110可以将上下文模式分类为属于签名模式分类。每个不同的签名模式分类都可以指定不同的用户活动。表A总结了示例性签名模式分类，可以将其称为用户活动分类。

表A

参见表A，一个分类是：特定字符串的分类。在一个示例中，某一字符串可以由管理员用户使用管理员用户界面来定义。示例性管理员用户界面由图5中所示的用户界面1500示出。用户界面1500可以显示在管理员计算机设备(例如，如图1中所示的计算机设备120)的显示器上。使用用户界面1500的区域1502，管理员用户可输入字符串。字符串可以包括例如字母字符、数字字符、符号和/或空格的组合的集合。在输入使用区域1502输入的特定字符串时，管理器系统110可以被配置为搜索管理员用户定义的字符串，并且根据特定字符串将输入的上下文模式分类为属于签名模式分类，并且与特定字符串相关联。本文在一个实施例中阐述了获得音频输入，该音频输入表示从基于按键的用户界面发出的声音；基于所述音频输入产生上下文模式；执行对所述上下文模式的分类以将所述上下文模式分类为属于签名模式分类，其中所述签名模式分类指定用户活动；以及基于所述执行分类来提供输出，并且其中所述方法包括：提供允许管理员用户输入字符串的用户界面功能；将上下文模式注册为与所述字符串相关联的签名模式，并且其中所述执行分类包括将所述上下文模式与所述签名模式匹配。由此，管理员系统110可被配置为搜索可由管理员用户出于任何目的定义的任何定义的特定字符串。可使用可从计算机设备接收的一个或多个音频输入、或者不发送除了音频输入信息以外的信息的一组计算机设备来搜索所定义的特定字符串。因此，即使当没有经由特定用户的计算机设备的网络适配器接收数据时，管理器系统110也能够执行特定用户的活动的分类。无论管理器系统110仅基于表示用户的按键的音频输入还是基于这样的音频输入结合由特定用户定义并且经由特定用户的计算机设备的网络适配器接收的附加用户定义数据来对特定用户的活动进行分类，不需要任何访问或暴露给用户信息以便执行分类。在一个实施例中，经处理的音频输入可以包括来自某个或多个计算机设备的音频输入，该音频输入提供代表从一个或多个外部计算机设备(例如，在提供音频输入的某个或多个计算机设备外部的一个或多个计算机设备)发出的基于按键的用户界面声音的音频输入。

在一个实施例中，管理器系统110可以为音频输入生成上下文模式，该上下文模式可以包括按键序列信息和/或定时信息。参见表A，管理器系统110可以基于上下文模式的键按压序列来执行活动分类和签名模式分类。在一个实施例中，上下文模式可以包括按键序列信息和定时信息。在一个实施例中，管理器系统110可以基于上下文模式的定时信息来执行活动分类和签名模式分类。例如，管理器系统110可以使用定时信息作为初始分类的基础和/或解决分类之间的冲突。根据一个示例，Web浏览分类的特征可以在于按键之间的长暂停(例如，大于阈值时间段)。由此，基于密钥序列，管理器系统110可以将与具有必要定时模式的签名模式匹配的特定上下文模式分类为属于Web浏览分类，或者如果管理器系统110不能将特定上下文模式解析为属于Web浏览或质量消息传递或特定串分类，并且该特定模式特征在于长暂停，则管理器系统110可以解决有利于Web浏览分类的冲突。根据另一示例，游戏分类可以由按键之间的短暂停(例如，低于阈值时间段)表征。因此，基于密钥序列，管理器系统110可以将与具有必要定时模式的签名模式匹配的特定上下文模式分类为属于游戏分类，或者如果管理器系统110不能将特定上下文模式解析为属于游戏或社交媒体分类或特定字符串，并且该特定模式特征在于短暂停，则管理器系统110可以解决有利于游戏分类的冲突。

管理器系统110可以对从不同音频输入生成的不同传入上下文模式进行不同分类。参考表A，本文在一个实施例中阐述了获得音频输入，音频输入表示从基于按键的用户界面发出的声音；基于所述音频输入产生上下文模式；执行对所述上下文模式的分类以将所述上下文模式分类为属于签名模式分类，其中所述签名模式分类指定用户活动；以及基于所述执行分类提供输出，其中该获得，生成，并且针对第一至第六音频输入中的每一个执行分类，其中，执行与所述第一音频输入相关联的上下文模式的分类导致根据Web浏览签名模式分类的分类，其中，执行与所述第二音频输入相关联的上下文模式的分类导致根据社交媒体签名模式分类的分类，其中，执行与所述第三音频输入相关联的上下文模式的分类导致根据群发消息传送签名模式分类的分类，其中，执行与所述第四音频输入相关联的上下文模式的分类导致根据游戏签名模式分类的分类，其中，执行与所述第五音频输入相关联的上下文模式的分类导致根据字处理签名模式分类的分类，其中，执行与所述第六音频输入相关联的上下文模式的分类导致根据特定串签名模式分类的分类。管理器系统110可被配置为将任意N个音频输入集合分类为任意M个候选分类集合，其中N>/＝1，并且其中M>/＝1。候选分类可以包括表A中详细描述的分类和/或其他分类中的1至6个分类。

使用用户界面1500，管理员用户可以配置管理器系统110以注册各种管理员定义的签名模式。管理员用户可激活区域1506以发起如下模式，在该模式中，管理员用户在训练时段期间参与对基于键按压的用户界面的训练使用，并且在该模式中，管理员系统110响应地提供表示由管理员用户的按键触发的按键声音的布置的音频输入。管理器系统110可以响应地从音频输入生成管理员定义的上下文模式。在区域1506活动的情况下，管理员用户可执行管理员期望注册为具有可由管理员系统110监视的相关联签名模式的活动分类的任何活动。在生成时，管理员定义的上下文模式管理器系统110响应地可以呈现用户界面提示，该用户界面提示提醒管理员输入指定管理员定义的上下文模式的活动分类的标记信息。管理员系统110可以将管理员定义的上下文模式连同其相关联的管理员定义的标记信息存储到签名模式区域2122中，该标记信息指明用户活动分类作为定义签名模式分类的签名模式。通过运行分类过程114，管理器系统110可以将进入的上下文模式与新存储的签名模式匹配，以便根据由管理员用户定义的活动和签名模式分类来执行进入的上下文模式的分类。在此相应地阐述一种方法，包括：提供用户界面功能，该用户界面功能允许管理员用户在训练时段期间执行基于管理员用户按键的用户界面的训练使用；提供表示在训练周期期间从基于管理员用户按键的用户界面发出的声音的特定音频输入；提供允许所述管理员用户输入指定与所述训练使用相关联的活动的标记信息的用户界面功能；将使用所述特定音频输入产生的上下文模式注册为标记有存储在数据储存库中的所述标记信息的签名模式；以及将传入上下文模式与所述签名模式匹配。

在框1105处，管理器系统110可以基于在框1104处执行的分类的执行结果来执行提供输出。为了执行提供输出，在块1104处，管理器系统110可以基于执行分类来执行提供输出。可以在一个或多个目的地中提供输出，例如，可以向计算机设备130A提供输出，以便在框1302处由计算机设备130A接收，并且管理器系统110可以在框1106处将输出提供给计算机设备130Z，以便在接收框2302处由计算机设备130Z接收。管理器系统110在块1106可执行向网络160的硬件组件162提供输出以供硬件组件162在块1621处接收。

在框1106，管理器系统110可以执行机器学习处理。在一个示例中，在块1106处的管理器系统110可以将在块1104处执行的分类的结果存储到分类历史区域2123中，该管理器系统110可以稍后用于例如历史趋势分析。该数据成为由系统100定义的认知服务使用的语料库的一部分。分类历史区域2123可以存储丰富数据，例如与上下文所应用的时间窗口一起导出的上下文(例如，最后20分钟，上下文：例如，Web浏览，设备ABCl置信度得分：X)。在框1106处执行机器学习过程可包括管理器系统110作出对数据存储库112的多个查询，如由数据存储库112执行的查询接收和响应框1123(图4)所指示的。

在一个实施例中，在块1104处，管理器系统110可以基于管理器系统110的故障转换到训练模式以对当前上下文模式进行分类。在一些实施例中，系统100可以通过选择加入方法或者通过人类分析来获得许可以更精确地监测和表征基于用户的按键的用户界面定义的输入。

在一个实施例中，响应于分类过程114的运行未能对当前上下文模式进行分类，管理器系统110可以激活用户界面1600的显示，如图6所示。用户界面1600可响应于提供音频输入的特定计算机设备(例如，计算机设备130A)而被显示在用户计算机设备130A-10Z的显示器上，并且基于根据未被分类的输入的上下文模式，用户界面1600可被显示在特定计算机设备130A上。用户界面1600可提示计算机设备130A的用户输入关于产生当前音频输入的活动的信息。然后，计算机设备130A可以向管理器系统110发送(由计算机设备130A的用户使用用户界面1600定义的)活动的描述。在接收到多个相似的音频输入的情况下，管理器系统110可以激活在提供多个音频输入的多个计算机设备上的用户界面1600的显示。不同计算机设备的用户可以使用区域1602发送他们各自的活动的描述。管理器系统110可以使用自然语言处理(NLP)来识别标记说明符，以将接收到的活动描述分类为指定用户活动的描述的有限数量的分类。管理器系统110可以使用用户输入描述来处理通常被分类为公共活动的常见分类活动的上下文模式。管理器系统110可以基于该分类信息来识别一个或多个签名模式并且可以基于该处理来注册如表A中所示的一个或多个新的签名模式分类。

在框1107处，管理器系统110可以返回到框1101以从计算机设备130A-130Z的一个或多个计算机设备接收额外的一个或多个音频输入。

示例1至5展示了系统100的不同使用情况。在一个实施例中，如示例1所示，系统100可用于执法应用中，并且在块1105(图4)提供输出可包括向执法系统提供的外部系统140输出通知。

示例1

执法官了解计划犯罪活动，他们知道该操作是名为“夜鹰”。管理器系统110可以由执法机构操作和维护，并且管理员用户可以使用用户界面1500将“夜鹰”注册为由管理员系统110搜索的特定字符串签名模式。向具有用户已经选择从周围区域收集基于按键的用户界面声学样本的所有计算机设备130A-130Z发出警报。管理器系统110可以对被确定为匹配为管理员用户定义的特定字符串分类存储的一个或多个签名模式的传入上下文模式进行分类。用于分类的签名模式可以指定按键序列信息(例如，包括字符串信息)以及定时信息，例如，包括在"N"和"i"之间可以有多30％的时间(因为用同一只手键入那些)，比"g"和"h"之间，它们用单独的手键入，并且通常节奏在这些字母之间示出更少的时间。由于空格键通常具有独特的声音，因此在一个实施例中，可以为所描述的特定字符串提供存储的签名模式，如下所示：

N[10]i[8]g[6]h[12]t[12][空格]e[20]a[15]g[8]l[11]e

N[～]i[-2]g[-4]h[+2]t[+2][空格]e[+10]a[+5]g[-2]l[+1]e

括号中的数字是笔画之间的某个时间单位，或者可以是每个字母之间的相对时间。存储的签名模式的键序列信息可以定义例如名称、代码名称、位置坐标、以一个或多个时间格式表达的特定时间等。管理器系统110可以使用例如包括传入上下文模式的字符串信息和/或传入上下文模式的定时信息的键序列信息，将使用音频输入生成的传入上下文模式与所存储的签名模式匹配。管理器系统110可以使用定时信息来建立分类和/或解决预期分类之间的冲突。基于例如将阈值数量的传入上下文模式分类为属于所定义的特定字符串签名模式分类的管理器系统110，管理器系统110可以提供一个或多个输出，例如包括输出到外部系统140以分派执法人员和车辆的消息输出。命令输出，所述命令输出用于启动位置服务过程以确定提供音频输入的计算机设备的位置，所述音频输入具有与所述签名模式相匹配的相关联的上下文模式，机器过程控制，所述机器过程控制用于基于来自所述位置服务过程的结果返回来激活交通控制信号和/或道路阻塞。

[示例1的结束]

在一个实施例中，如示例2所示，系统100可以用于网络配置应用中，并且在框1105(图4)处提供的输出可以包括提供用于配置网络的硬件部件的输出。

示例2

在一个实施例中，管理器系统110可以运行分类过程114以用于确定网络160的配置，例如，用于配置网络160的硬件部件162，如路由器。在一个实施例中，可以运行分类处理114以处理由单个计算机设备(例如，计算机设备130A)提供的音频输入，计算机设备130A可以布置在局域网(LAN)的环境中，该局域网经由路由器提供的硬件部件162与管理器系统110通信。管理器系统110可运行分类过程114以通过由路由器提供的硬件组件162提供的连接来对使用计算机设备130A的用户的活动进行分类。管理器系统110可以运行分类过程114以对用户的活动进行分类并且可以基于该分类来调整由路由器提供的硬件组件162的配置。路由器可以包括可以基于通过路由器的流量来优化的替代端口配置。在一个实施例中，管理器系统110可以操作用于基于使用计算机设备130A的用户的确定的活动来配置硬件组件162，例如，可以将硬件组件162配置成包括基于所检测的第一活动的第一端口配置，例如，游戏和第二端口配置，例如基于检测到的计算机设备130A的活动进行网络浏览。

[示例2的结束]

在一个实施例中，如示例3所展示的，系统100可以用于网络配置应用中并且在框1105(图4)处提供输出，可以包括提供用于配置网络的硬件部件的输出。

示例3

管理器系统110可以被提供用于基于由多个用户计算机设备130A-130Z检测到的活动由路由器来配置在所描述的实施例中提供的硬件部件162。在特定环境(例如，本地环境或广域环境)中可布置多个计算机设备(例如，计算机设备130A到130Z)。在一个示例中，计算机设备130A-130Z可设置在经由局域网(LAN)与管理器系统110通信的网吧中。计算机设备130A-130Z和管理器系统110之间的业务可以通过由路由器提供的硬件组件162提供。管理器系统110可操作用于基于使用计算机设备130A-130Z检测到的用户的活动来配置由路由器提供的硬件组件162。计算机设备130A-130Z可以通过运行上下文模式生成过程113和分类过程114来发送由管理器系统110接收和处理的音频输入。管理器系统110可以迭代地执行分类过程114，并且可以迭代地生成指定利用所描述的环境中的计算机设备执行的活动的已优先化的列表。例如，在时间1，管理器系统110可以确定环境内的活动的以下优先级：

1.游戏，2.社交媒体，3.群发消息。

在稍后的时间(时间2)，管理器系统110可以确定环境内的活动的以下优先级：

1.群发消息，2.网络浏览，3.社交媒体。

基于由分类过程114提供的结果的管理器系统110可以基于由管理器系统110生成的已优先化的列表而迭代地配置由路由器提供的硬件组件162。在时间1处，管理器系统110可以被配置成基于在时间1处确定的活动的优先级来控制由路由器提供的硬件部件162以具有第一端口配置。在时间2，管理器系统110可配置成基于在时间2在环境内确定的用户活动来控制由路由器提供的硬件部件162以具有第二端口配置。

[示例3的结束]

在一个实施例中，如示例4所展示的，系统100可以用于软件配置应用中并且在框1105(图4)处提供输出可以包括提供用于改变计算机设备的功能的输出。

示例4

可以提供管理器系统110来接收和处理由单个计算机设备(例如，130A)接收的音频输入。计算机设备130A的用户可以执行活动，并且该活动的分类可以由管理器系统110通过运行分类过程114来确定。计算机设备130A可将表示包括计算机设备130A的键盘的基于按键的用户界面的声音发出的音频输入信息发送到管理器系统110以用于处理。运行上下文模式生成过程113和分类过程114，管理器系统110可以确定用户的当前活动。响应通过分类过程114的运行执行的分类，管理器系统110可以呈现用于在计算机设备130A处安装从数据存储库112的软件区域2124下载的特定软件，其方式为使得根据用户使用计算机设备130A执行的当前活动优化计算机设备130A的性能。例如，基于分类过程114的运行，确定当前活动分类是文字处理，管理器系统110可以响应于启动从软件区域2124的下载，以安装在计算机设备130A上，用于根据所确定的文字处理分类来优化文字处理。这样的软件可包括例如用于提供附加字体或附加文字处理功能的软件。基于分类过程114的运行确定当前活动分类是游戏管理器系统110能够响应地启动从软件区域2124的下载用于安装在计算机设备130A上的软件，用于根据所确定的游戏分类优化游戏，例如，用于实现附加游戏功能的软件，例如，使用附加键盘输入作为游戏控制。

[示例4的结束]

在一个实施例中，如示例5所展示的，系统100可以用在用户界面应用中并且在框1105(图4)处提供输出可以包括提供用于向计算机设备的用户提供实时反馈以增强用户界面功能的输出。

示例5

在本示例中，计算机设备130A是由现场礼堂中的演讲者所使用的计算机设备，并且通过运行分类过程114而被配置成用于使用计算机设备130A向演讲者提供关于观众的注意力水平的实时反馈。计算机设备130A可以显示例如当前幻灯片演示的幻灯片，这些幻灯片也单独地投影在放映厅中，并且还可以显示例如文本消息，这些文本消息响应于分类过程114的结果而被发送以供在计算机设备130A的显示器上显示。在所描述的场景中，计算机设备130A可以是由呈现者使用的计算机设备，而计算机设备130B-130Z是在放映厅中能够提供音频输入的附加计算机设备。计算机设备130B-130Z提供音频输入以供管理器系统110使用上下文模式生成过程113和分类过程114进行处理。在所描述的场景中，可以提供分类过程114以确定计算机设备130B-130Z的用户的活动。更具体地，运行分类过程114的管理员系统110可被配置为确定正参加呈现的计算机设备130B-130Z的用户是否正在关注正由使用计算机设备130A的呈现者呈现的呈现。例如，使用计算机设备130A呈现的呈现可显示网站域，所述网站域包括受众在呈现者呈现期间请求浏览的字符串或用字符串指定。向管理器系统发送音频输入以使用上下文模式生成过程114和分类过程114进行处理的计算机设备130B-130Z可以用于确定观众成员是否实际上浏览到由计算机设备130A运行的呈现指定的域。监视基于按键的用户界面声音(包含键盘声音)且使用上下文模式生成过程113和分类过程114，管理器系统110可监视由观众厅处的键盘产生的声音以确定计算机设备130B到130Z的观众成员和用户实际上是否正在浏览到被指令到的域，或另一方面它们是否不同于被指令地浏览，例如浏览到在呈现期间指定的指定域之外的域或参与除了网络浏览之外的分类的活动。为了在块1106处提供输出，根据这种场景，管理器系统110可以基于分类过程114的结果将基于文本的消息发送到计算机设备130A，使得关于观众对该呈现的注意力向使用计算机设备130A的呈现的呈现者给予实况实时反馈。例如，管理器系统110可以发送基于文本的消息以在计算机设备130A的显示器上显示，例如，基于管理设备110确定超过阈值数量的受众成员已经浏览到被指示的域，“许多听众已经浏览到指定的域”，或可替代地基于管理设备110确定小于阈值数量的受众成员已经浏览到被指示的域，“很少有成员浏览到指定的域”。基于由管理器系统110发送的提示消息，呈现者因此可以决定改变呈现的过程，例如，如果对所指示的域几乎没有响应，则当域被指定时呈现者可以返回到呈现中的先前部分，并且重复浏览到指定域的请求。

[示例5的结束]

本文中的某些实施例可以提供不同技术计算优点，涉及计算优点以解决在计算机网络的领域出现的问题，如确定计算机设备130A-130Z的用户的当前活动。本文的实施例提供了对计算机用户活动的分类，而无需访问用户标识，并且无需暴露用户标识。本文的实施例从各种源接收音频输入并将这样的输入变换成可促进进一步处理的上下文模式。本文的实施例处理音频输入以用于用户活动的分类。可以基于分类来提供输出以驱动不同自动化过程，例如网络硬件组件控制、发起软件下载的控制、用户界面控制、传输通知的控制。可以实施机器学习过程。例如，在一个实施例中，分类的失败可以触发不可分类模式的注册作为用于存储和与输入的上下文模式进行比较的新签名模式。

图7-9描绘了根据本文阐述的一个或多个方面的计算的各个方面，包括计算机系统和云计算。

首先应当理解，尽管本公开包括关于云计算的详细描述，但其中记载的技术方案的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特征如下：

按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。

广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。

资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。

迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。

可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。

服务模型如下：

软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。

平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。

基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。

部署模型如下：

私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。

共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。

公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。

混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。

云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。

现在参见图7，示出了计算节点的示例的示意图。计算节点10仅是适于用作云计算节点的计算节点的一个示例，并且不旨在对在此描述的本发明的实施例的使用或功能范围提出任何限制。无论如何，计算节点10能够被实施和/或执行上文所阐述的功能中的任何功能。计算节点10可以实现为云计算环境中的云计算节点，或者可以实现为除云计算环境之外的计算环境中的计算节点。

计算节点10具有计算机系统/服务器12或可移动电子装置(例如通讯装置)，其可与众多其它通用或专用计算系统环境或配置一起操作。众所周知，适于与计算机系统/服务器12一起操作的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任意系统的分布式云计算技术环境，等等。

计算机系统12可以在由计算机系统执行的计算机系统可执行指令(诸如程序流程)的一般语境下描述。通常，程序流程可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机系统12可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序流程可以位于包括存储设备的本地或远程计算系统存储介质上。

如图7所示，计算节点10中的计算机系统12以通用计算设备的形式示出。计算机系统12的组件可以包括但不限于一个或多个处理器16、系统存储器28和将包括系统存储器28的不同系统组件耦合到处理器16的总线18。在一个实施例中，计算节点10是非云计算环境的计算节点。在一个实施例中，计算节点10是如本文结合图8-9所阐述的云计算环境的计算节点。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统12典型地包括多种计算机系统可读介质。这些介质可以是能够被计算机系统12访问的任意可获得的介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图1未显示，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序流程被配置以执行本发明各实施例的功能。

具有程序流程42的集合(至少一个)的一个或多个程序40可以通过示例而非限制的方式存储在存储器28中，以及操作系统、一个或多个应用程序、其他程序进程和程序数据。包括程序流程42的一个或多个程序40通常可以执行本发明阐述的功能。在一个实施例中，管理器系统110可以包括一个或多个计算节点10，并且可以包括用于执行参见图2的方法200所描述的功能、用于执行参见图3的方法300所描述的功能以及参见图4的流程图中阐述的管理器系统110所描述的功能的一个或多个程序40。在一个实施例中，一个或多个用户计算机设备130A-130Z可以包括一个或多个计算节点10，并且可以包括用于执行参见图4的流程图中阐述的一个或多个用户计算机设备130A-130Z所描述的功能的一个或多个程序40。

计算机系统12还可以与一个或多个外部设备14通信，如键盘、指针控制器(例如，鼠标)、显示器24等；使用户能与计算机系统12交互的一个或多个设备；和/或使得计算机系统12能够与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)。这种通信可以通过输入/输出(I/O)接口22进行。此外，计算机系统12可经由网络适配器20与诸如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如，互联网)的一个或多个网络通信。如图所示，网络适配器20通过总线18与计算机系统12的其他组件通信。应当理解，尽管未示出，但是其他硬件和/或软件组件可以与计算机系统12结合使用。示例包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动器阵列、RAID系统、磁带驱动器和数据档案存储系统等。除了具有外部设备14和显示器24(其可被配置成提供用户界面功能)之外或代替具有外部设备14和显示器24，在一个实施例中，计算节点10可包括连接到总线18的显示器25。在一个实施例中，显示器25可被配置为触摸屏显示器并且可被配置为提供用户界面功能，例如，可促进虚拟键盘功能和总数据的输入。在一个实施例中，计算机系统12还可包括连接到总线18的一个或多个传感器装置27。一个或多个传感器装置27可替代地通过I/O接口22连接。在一个实施例中，一个或多个传感器装置27可包括全球定位系统(GPS)装置，并且可被配置为提供计算节点10的位置。在一个实施例中，一个或多个传感器装置27可替代地或另外包括例如摄像机、陀螺仪、温度传感器、湿度传感器、脉搏传感器、血压(bp)传感器或音频输入装置中的一个或多个。这种音频输入设备可用于提供代表从计算机设备12和/或计算机设备12外部的计算机设备的基于按键的用户界面发出的声音的音频输入。计算机系统12可以包括一个或多个网络适配器20。在一个实施例中，基于按键的用户界面可以包括键盘和指针控制器。在图8中，计算节点10被描述为在云计算环境中实现，并且因此在图8的上下文中被称为云计算节点。

现在参考图8，其中显示了示例性的云计算环境50。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理(PDA)或移动电话54A，台式电脑54B、笔记本电脑54C和/或汽车计算机系统54N。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解，图8显示的各类计算设备54A-N仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。

现在参考图9，其中显示了云计算环境50(图8)提供的一组功能抽象层。首先应当理解，图9所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图9所示，提供下列层和对应功能。

硬件和软件层60包括硬件和软件组件。硬件组件的例子包括：主机61；基于RISC(精简指令集计算机)体系结构的服务器62；服务器63；刀片服务器64；存储设备65；网络和网络组件66。软件组件的例子包括：网络应用服务器软件67以及数据库软件68。

虚拟层70提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器71、虚拟存储72、虚拟网络73(包括虚拟私有网络)、虚拟应用和操作系统74，以及虚拟客户端75。

在一个示例中，管理层80可以提供下述功能：资源供应功能81：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能82：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能83：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(SLA)计划和履行功能85：为根据SLA预测的对云计算资源未来需求提供预先安排和供应。

工作负载层90提供云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航91；软件开发及生命周期管理92；虚拟教室的教学提供93；数据分析处理94；交易处理95；以及处理组件96，用于基于处理音频输入来进行活动分类，如本文所述。可以使用图7中描述的一个或多个程序40来实现处理组件96。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及通常的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在此使用的术语仅是出于描述特定实施例的目的，并且不旨在是限制性的。如在此使用的，单数形式“一个(a)”、“一种(an)”以及“该(the)”旨在也包括复数形式，除非上下文另外清楚地指示。将进一步理解的是，术语“包括”(和包括的任何形式，如“包括”和“包含”)、“具有”(和具有的任何形式，如“具有”和“具备”)、“包括”(和包括的任何形式，如“包括”和“包含”)和“含有”(和包含的任何形式，如“含有”和“含含”)是开放式连接动词。因此，“包括”、“具有”、“包括”、或“含有”一个或多个步骤或元件的方法或装置具有那些一个或多个步骤或元件，但不限于仅拥有那些一个或多个步骤或元件。同样，“包括”、“具有”、“包括”、或“含有”一个或多个特征的一种方法的步骤或装置的元件拥有那些一个或多个特征，但不限于仅拥有那些一个或多个特征。本文中的术语“基于”的形式涵盖其中元素部分地基于的关系以及其中元素完全基于的关系。被描述为具有一定数量的元件的方法、产品和系统可以用少于或大于一定数量的元件来实践。此外，以某种方式配置的设备或结构至少以该方式配置，但是也可以以未列出的方式配置。

以下权利要求书中的所有手段或步骤加上功能元件(如果有的话)的相应结构、材料、动作和等效物旨在包括用于与如具体要求的其他所要求的元件相结合地执行该功能的任何结构、材料或动作。本文阐述的描述是为了说明和描述而给出的，但不旨在是穷尽的或限于所公开的形式。在不背离本公开的范围和精神的情况下，许多修改和变化对本领域的普通技术人员将是显而易见的。选择和描述实施例是为了最佳地解释本文阐述的一个或多个方面和实际应用的原理，并且使得本领域普通技术人员能够理解如本文针对具有适合于所考虑的特定用途的不同修改的不同实施例所描述的一个或多个方面。

Claims

1.一种方法，包括：

获得音频输入，所述音频输入表示从基于按键的用户界面发出的声音；

基于所述音频输入生成上下文模式；

执行所述上下文模式的分类以将所述上下文模式分类为属于签名模式分类，其中，所述签名模式分类指定用户活动；和

基于执行分类来提供输出，其中，执行分类导致分类失败，其中，所述方法包括：响应于所述分类失败，提示用户输入活动信息，并且其中，所述提示包括提供用户界面功能，所述用户界面功能提示用户输入活动指定信息，所述活动指定信息指定由用户参与的导致所述上下文模式的生成的活动，并且其中，所述方法包括使用响应于所述提示而从用户接收的数据，将所述上下文模式注册为新的签名模式，用于与后续上下文模式进行比较。

2.根据权利要求1所述的方法，其中，所述签名模式分类是从网络浏览、社交媒体、群发消息、游戏、文字处理和特定字符串组成的组中选择的分类。

3.根据权利要求1所述的方法，其中，所述签名模式分类是由某个字符串定义的分类。

4.根据权利要求1所述的方法，其中，所述方法包括：提供允许管理员用户输入字符串的用户界面功能；将第一上下文模式注册为与所述字符串相关联的第一签名模式；并且其中，所述执行分类包括将传入上下文模式与所述第一签名模式进行匹配。

5.根据权利要求1所述的方法，其中所述提供输出包括向外部系统提供通知。

6.根据权利要求1所述的方法，其中所述提供输出包括提供输出以配置网络硬件组件。

7.根据权利要求1所述的方法，其中所述提供输出包括提供输出以启动软件在计算机设备上的安装。

8.根据权利要求1所述的方法，其中，所述上下文模式包括按键序列信息和定时信息。

9.根据权利要求1所述的方法，其中，所述获得包括：从计算机设备获得音频输入，其中，响应于所述执行分类未能对所述上下文模式进行分类，在所述计算机设备上提供提示，以提示所述计算机设备的用户执行以下操作：输入标签信息，所述信息指定与上下文模式关联的活动。

10.根据权利要求1所述的方法，其中，所述方法包括提供功能，所述功能允许管理员用户在训练时段期间执行基于管理员用户按键的用户界面的训练使用；提供表示在训练周期期间从基于管理员用户按键的用户界面发出的声音的特定音频输入；提供允许所述管理员用户输入指定与所述训练使用相关联的活动的标记信息的功能；将使用所述特定音频输入产生的上下文模式注册为标记有存储在数据储存库中的所述标记信息的第一签名模式；以及将传入上下文模式与所述第一签名模式匹配。

11.根据权利要求1所述的方法，其中，所述签名模式分类是网络浏览分类。

12.根据权利要求1所述的方法，其中，所述签名模式分类是游戏分类。

13.根据权利要求1所述的方法，其中，所述签名模式分类是文字处理分类。

14.一种计算机可读存储介质，能够由一个或多个处理单元读取，并存储指令以由一个或多个处理器执行以执行一种方法，所述方法包括：

基于所述音频输入生成上下文模式；

执行所述上下文模式的分类以将所述上下文模式分类为属于签名模式分类，其中，签名模式分类指定用户活动；以及

根据执行分类来提供输出，其中，执行分类导致分类失败，其中，所述方法包括：响应于所述分类失败，提示用户输入活动信息，并且其中，所述提示包括提供用户界面功能，所述用户界面功能提示用户输入活动指定信息，所述活动指定信息指定由用户参与的导致所述上下文模式的生成的活动，并且其中，所述方法包括使用响应于所述提示而从用户接收的数据，将所述上下文模式注册为新的签名模式，用于与后续上下文模式进行比较。

15.根据权利要求14所述的计算机可读存储介质，其中，针对第一音频输入至第六音频输入中的每一个执行所述获取、生成和执行分类，其中，执行与第一音频输入相关联的上下文模式的分类导致根据Web浏览签名模式分类的分类，其中执行与第二音频输入相关联的上下文模式的分类导致根据社交媒体签名模式分类的分类，其中执行与第三音频输入相关联的上下文模式的分类导致根据群发消息签名模式分类的分类，其中执行与第四音频输入相关联的上下文模式的分类导致根据游戏签名模式分类的分类，其中执行与第五音频输入相关联的上下文模式的分类导致根据文字处理签名模式分类的分类，其中，执行与第六音频输入相关联的上下文模式的分类导致根据特定字符串签名模式分类的分类。

16.根据权利要求14所述的计算机可读存储介质，其中，针对第一音频输入和第二音频输入中的每一个执行所述获取、生成和执行分类，其中，执行与第一音频输入相关联的上下文模式的分类导致根据Web浏览签名模式分类的分类，其中执行与第二音频输入相关联的上下文模式的分类导致根据游戏签名模式分类的分类。

17.一种系统，包括：

存储器；

与存储器通信的至少一个处理器；以及

能够由一个或多个处理器经由所述存储器执行以执行一种方法的程序指令，所述方法包括：

基于所述音频输入生成上下文模式；

执行所述上下文模式的分类以将所述上下文模式分类为属于签名模式分类，其中所述签名模式分类指定用户活动；以及

18.根据权利要求17所述的系统，其中，针对第一音频输入至第六音频输入中的每一个执行所述获取、生成和执行分类，其中，执行与第一音频输入相关联的上下文模式的分类导致根据Web浏览签名模式分类的分类，其中执行与第二音频输入相关联的上下文模式的分类导致根据社交媒体签名模式分类的分类，其中执行与第三音频输入相关联的上下文模式的分类导致根据群发消息签名模式分类的分类，其中执行与第四音频输入相关联的上下文模式的分类导致根据游戏签名模式分类的分类，其中执行与第五音频输入相关联的上下文模式的分类导致根据字处理签名模式分类的分类，其中执行与第六音频输入相关联的上下文模式的分类导致根据特定字符串签名模式分类的分类。

19.根据权利要求17所述的系统，其中，针对第一音频输入和第二音频输入中的每一个执行所述获取、生成和执行分类，其中，执行与第一音频输入相关联的上下文模式的分类导致根据Web浏览签名模式分类的分类，其中执行与第二音频输入相关联的上下文模式的分类导致根据游戏签名模式分类的分类。