CN112313606A - 为自动助理扩展物理运动手势词典 - Google Patents

Abstract

本文提供的实施方式涉及将可用的输入手势与最近创建的应用功能关联，和使可用的输入手势和/或用户创建的输入手势适于与现有应用功能关联。可用的输入手势(例如，挥手)可以是在设置计算设备时可以容易地执行的那些手势。当用户安装最初并未被配置成处理可用的输入手势的应用时，可用的输入手势可以与该应用的某些功能关联。此外，用户可以根据他们自己的偏好和/或身体能力来创建用于应用动作的新手势和/或修改现有手势。当多个用户选择以相同方式修改现有手势时，可以在得到用户准许的情况下使修改通用，以便消除随后适应其它用户的偏好时的时延。

Description

为自动助理扩展物理运动手势词典

背景技术

人类可以参与和在本文中称为“自动助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“谈话代理”、等)的交互式软件应用的人机对话。例如，人类(当人类与自动助理交互时可以被称为“用户”)可以使用口头自然语言输入(即，话语)和/或通过提供(例如，键入的)文本的自然语言输入来提供命令和/或请求，在一些情况下该口头自然语言输入可以被转换成文本然后被处理。附加地或可替代地，自动助理可以经由由相机或其它视觉组件捕获的物理运动手势来接收来自用户的请求。自动助理可以通过控制对应的智能设备和/或提供响应的用户界面输出来响应于物理运动手势，该响应的用户界面输出可以包括听觉和/或视觉用户界面输出。

在一些情况下，用户可能提供了物理运动手势，虽然用户预期以该物理运动手势引起执行一自动助理动作，但是并没有导致预期的该一自动助理动作被执行。例如，物理运动手势可能以自动助理无法理解的方式来执行，和/或物理运动手势可能是未明确映射到任何自动助理动作的物理运动手势。结果，自动助理可能无法完全处理物理运动手势和/或可能无法确定该手势是对自动助理动作的请求。这会导致自动助理不对物理运动手势提供任何响应，或者仅提供错误响应，例如“Sorry,I can’t help with that(对不起，我对此无能为力)”和/或错误音。尽管自动助理未能执行与物理运动手势相对应的预期自动助理动作-或以其它方式未标识与该物理运动手势相关联的任何可执行动作，但是在处理该物理运动手势并且试图标识适当的动作时仍然消耗了各种计算机和/或网络资源。例如，对应于物理运动手势的数据可以被传送和/或经历一定量的处理。这种资源消耗是浪费的，因为没有执行预期的动作。而且，用户可能会试图提供替代的用户界面输入(例如，口头命令、触摸输入或替代的物理运动手势)或提供该物理运动手势的另一实例，以再次寻求执行预期动作。这样的后续用户界面输入也将必须被处理。与用户最初向自动助理提供合适的物理运动手势相比，这导致执行附加处理并导致在动作执行时出现时延。因此，存在改善物理运动手势输入的效率的需求。

发明内容

本文提供的实施方式涉及使可用的输入手势与新提供的应用功能关联，并使可用的输入手势和/或用户创建的输入手势适于与现有应用功能关联。最近创建的应用功能可以对应于可以由已经安装在计算设备处的应用执行的动作，该计算设备在安装该应用之前不具有执行该动作的功能性。尽管可以经由一个或多个用户输入(例如，如由应用的制造商建立)来控制应用功能，但是该应用功能可能不能经由任何物理运动手势来控制。例如，用户可以在他们的家用计算设备上安装安保应用，并且该家用计算设备还可以包括用户通常使用横向手轻扫手势来控制的消息收发应用。当用户无法直接触摸计算设备的界面和/或具有阻止他们向计算设备提供口头话语的障碍时，对消息收发应用的这种控制可能是有用的。计算设备可以确定用户频繁地使用横向手轻扫手势，并且还确定安保应用的应用功能(例如，查看安保应用的警报)当前未被配置成经由横向手轻扫手势来控制。基于这些确定，计算设备可以生成将横向手轻扫手势映射到安保应用的应用功能的关联数据。可选地，可以提示用户确认该映射和/或以其它方式使用户注意横向手轻扫手势可用于控制安保应用的一个或多个功能。这可以允许用户决定是否将手势映射到安保应用的功能。

可以基于一个或多个不同的准则，选择特定手势以映射到特定应用功能和/或动作。在一些实施方式中，可以基于用户相对于其它手势执行某个手势的频率来标识该手势以映射到应用。附加地或可替代地，可以基于用户已经成功执行了某个手势多少次来标识该手势以映射到应用。作为示例，计算设备可以确定用户执行第一手势时有90％成功率，并且用户执行第二手势时有85％成功率，并且基于这些确定，第一手势在标识手势时具有优先权以映射到应用功能。因此，在用户已经安装了包括不能经由手势输入立即控制的多个不同应用功能的特定应用之后，可以标识出最频繁使用的特定应用功能(例如，查看安保应用的警报)。然后可以将该最频繁使用的应用功能映射到用户执行的最频繁使用和/或最成功执行的输入手势。此后，可以分析用户与特定应用之间的交互，以便确定应映射到其它输入手势的任何其它应用功能。

在一些实施方式中，由于用户尝试可能最初对于计算设备和/或被委派响应手势的另一设备不熟悉的手势，因此可以扩展用户可用的输入手势的“词典(lexicon)”(即，集合)。当用户第一次尝试输入某个手势时，计算设备可以识别出用户的尝试是第一次尝试，并且生成用于表征该输入手势的数据。可以在得到用户事先准许的情况下将该数据与表征由其它用户执行的其它输入手势的其它数据进行比较。可以对该数据进行比较以确定用户提供的输入手势是否具有与其它输入手势中的任何手势共同的一个或多个特性。例如，数据可以将输入手势表征为具有至少肘摆动运动，而其它数据可以将至少一个其它手势表征为也具有至少肘摆动运动。响应于确定输入手势和另一手势具有至少一个共同的特性，可以在计算设备的界面处提示用户来确认用户所尝试的输入手势是否对应于已被标识的另一输入手势。提示可以在图形界面处提供，并且包括对于其它输入手势的图形描述。附加地或可替代地，提示可以包括对于其它输入手势的文本描述，并且可选地，一个或多个经训练的机器学习模型可以用于生成文本描述(例如，基于其它输入手势的图像、音频、和/或视频)。提示可以对应于以下请求，请用户确认用户是否预期使该输入手势作为其它输入手势的模仿。

如果用户确认他们预期使输入手势模仿所标识的其它输入手势，则可以将经由计算设备可控制的某个应用功能标识为与该其它输入手势所控制的另一个应用功能关联。基于所标识的关联性，可以在计算设备处配置该应用功能，使得可以经由输入手势来控制该应用功能。可以基于其它应用功能和该应用功能共同地具有一个或多个参数和/或一个或多个参数值来标识该关联性。例如，其它应用功能可以是“浏览器刷新”功能，并且该其它应用功能的参数可以包括要刷新的浏览器的“名称”。此外，该应用功能可以是“网站刷新”功能，其也可以具有包括要刷新的浏览器的“名称”的参数。因此，基于此共享参数，可以认为该应用功能和该其它应用功能关联，并且可以将输入手势映射到该应用功能。

在一些实施方式中，如果用户没有确认他们预期使输入手势模仿其它输入手势，则可以标识经由计算设备可控制的一个或多个应用功能。基于先前尚未由用户执行的输入手势，可以提示用户从一个或多个应用功能中选择特定应用功能以映射到该输入手势。这可以允许用户至少关于计算设备和/或应用可以响应多少手势来扩展计算设备和/或应用的“词典”。当用户已经选择了特定应用功能时，可以可选地提示用户提供该输入手势的另一个实例，以确认要映射到特定应用功能的确切的输入手势。此外，通过生成与输入手势的另一实例有关的附加数据，可以将该附加数据用于训练一个或多个机器学习模型，其中该一个或多个机器学习模型将处理基于来自用户的各种输入手势的输入。

在其它实施方式中，用户可以通过执行输入手势一次或多次来指配该输入手势以控制应用的动作，以便向他们的相应计算设备“暗示”他们想要使该输入手势被计算设备识别。此外，用户可以使应用的动作在一次或多次执行输入手势的一段时间内执行。作为示例，用户可以初始化他们的灶台面燃烧器以煮沸水，并且烤箱可以具有集成计算设备，该集成计算设备经由局域网连接到包括相机界面的家用计算设备。用户可能期望他们的灶台面燃烧器能够经由包括“停止”手部手势的一个或多个手部手势来控制，该手部手势可以对应于用户将手向前平伸出去。为了初始化这样的配置，用户可以执行“停止”手部手势，使得“停止”手部手势由家用计算设备捕获，同时烤箱燃烧器正在积极地煮沸一壶水。换句话说，先前未将家用计算设备和/或烤箱配置为响应于“停止”手部手势，并且家用计算设备可能未响应于“停止”手部手势，但是无论如何，家用计算设备可以捕获与“停止”手部手势相对应的图像数据(在得到用户的事先准许的情况下)。

此后，或在执行“停止”手部手势之前，用户可以关掉烤箱燃烧器。家用计算设备可以确定用户在关掉烤箱燃烧器的一段时间内执行了“停止”手部手势，并向用户提供请求以确认用户是否想要“停止”手部手势对烤箱燃烧器进行控制。如果用户确认他们预期用“停止”手部手势来控制烤箱和/或关掉烤箱燃烧器，则家用计算设备可以生成以下数据，该数据用于指示烤箱将要能够经由物理运动手势的实例来控制。换句话说，家用计算设备可以与烤箱和/或服务器设备通信以建立以下设定，该设定允许烤箱响应于家用计算设备(和/或与用户相关联的任何其它计算设备)确定用户执行“停止”手部手势。

在一些实施方式中，为了使用户将其计算设备配置为响应于先前没有使用过的输入手势来控制应用和/或计算设备的动作，可以捕获输入手势的一个或多个初始实例。可以将表征用户执行输入手势的数据与和已经可供用户执行的一个或多个输入手势相关联的其它数据进行比较。该其它数据可以表征自从用户最初设置其家用计算设备和/或在家用计算设备处安装一个或多个应用以来已经可供用户执行的输入手势集。附加地或可替代地，该其它数据可以表征输入手势集和/或一个或多个其它用户已经执行的一个或多个其它输入手势。例如，该一个或多个其它输入手势可以是最初对于一个或多个其它用户不可用的补充输入手势，直到那些一个或多个其它用户创建了该一个或多个其它输入手势。因此，当用户首次最初执行输入手势时，表征输入手势的数据可用于确定该输入手势是否对应于现有手势，该现有手势可包括在初始手势集内和/或其它用户创建的补充输入手势内的手势。当确定该输入手势不对应于初始输入手势集和/或其它用户创建的补充输入手势中的任何手势时，可以提示用户建立全新的输入手势的请求。然后，新输入手势可以与用户指示的和/或由应用和/或计算设备建议的应用和/或计算设备的一个或多个动作关联。

提供以上描述作为本公开的一些实施方式的概述。这些实施方式和其它实施方式的进一步描述在下面更详细地描述。

在一些实施方式中，由一个或多个处理器实施的方法被阐述为包括诸如以下操作：处理经由计算设备的相机界面捕获的图像数据，所述图像数据表征用户已经向计算设备提供的物理运动手势，其中，所述计算设备能够经由所述物理运动手势控制，并且能够经由所述计算设备访问的应用当前不是响应于所述物理运动手势。所述方法可以进一步包括确定所述应用：包括正在由所述用户使用的应用功能，并且所述应用功能不是响应于由所述用户提供给所述计算设备的所述相机界面的所述物理运动手势。所述方法可以进一步包括：基于确定所述应用功能不是响应于所述物理运动手势，使生成以下关联数据，所述关联数据用于将所述物理运动手势与所述应用功能关联，以进一步允许所述用户经由所述物理运动手势来控制所述应用的所述应用功能。所述方法可以进一步包括，继生成所述关联数据之后，确定所述用户是否已经执行了所述物理运动手势，以进一步控制所述应用的所述应用功能。所述方法可以进一步包括，当确定所述用户继生成所述关联数据之后已经执行了所述物理运动手势时，响应于确定所述用户已经执行所述物理运动手势而使所述应用功能经由所述应用来控制。

在一些实施方式中，在所述应用没有在所述计算设备处执行的情况下，不能够经由所述计算设备直接执行所述应用功能。在一些实施方式中，所述方法可以进一步包括：在生成所述关联数据之前，在所述计算设备处提供提示，以请求所述用户确认将所述物理运动手势与所述应用的所述应用功能关联。在一些实施方式中，确定所述应用包括正在由所述用户使用的所述应用功能包括：确定与所述用户已经执行的至少一个其它物理运动手势相比，所述用户已经更频繁地执行了所述物理运动手势。在一些实施方式中，确定所述应用包括正在由所述用户使用的所述应用功能包括：确定与另一个用户已经在不同的计算设备处执行的所述运动手势相比，所述用户已经更加准确地执行了所述运动手势。在一些实施方式中，确定所述应用包括正在由所述用户使用的所述应用功能包括：确定所述用户已经控制了所述应用的多个不同应用功能，其中所述多个不同应用功能包括所述应用功能，并且确定相对于已经由所述用户控制的所述多个不同应用功能的其它应用功能，所述多个不同应用的所述应用功能已经由所述用户更频繁地控制。在一些实施方式中，所述方法可以进一步包括：继生成所述关联数据之后，确定所述应用的单独应用功能当前不是响应于不同于所述物理运动手势的特定运动手势；和基于确定所述应用的所述单独应用功能当前不是响应于所述特定运动手势，使生成以下其它关联数据，所述其它关联数据用于将所述特定运动手势与所述单独应用功能关联，以进一步允许所述用户经由所述特定运动手势来控制所述应用的所述单独应用功能。在一些实施方式中，所述方法可以进一步包括：在确定所述应用包括正在由所述用户使用的所述应用功能之前，确定与所述用户已经控制的所述单独应用功能相比所述用户已经更频繁地控制了所述应用的所述应用功能。

在其它实施方式中，由一个或多个处理器实施的方法被阐述为包括诸如以下操作：基于响应于到计算设备的手势输入而生成的数据来确定用户已经执行了特定手势，所述用户先前未将所述特定手势作为输入提供给所述计算设备。所述方法可以进一步包括，基于所述数据确定先前由不同的用户向单独的计算设备提供了单独的手势输入，并且所述单独的手势输入具有与由所述用户提供给所述计算设备的所述手势输入共同的一个或多个特性，其中，先前将所述单独的手势输入提供给所述单独的计算设备，以控制所述单独的计算设备的应用功能。所述方法可以进一步包括，响应于确定所述单独的手势输入具有与所述手势输入共同的一个或多个特性，使所述计算设备或另一个计算设备的界面向所述用户提供请求以确认所述用户是否预期使所述手势输入模仿所述单独的手势输入。所述方法可以进一步包括，响应于使所述计算设备或所述其它计算设备的所述界面向所述用户提供请求，当所述用户确认他们预期使所述手势输入模仿所述单独的手势输入时：确定另一个应用功能能够经由所述计算设备来控制，并且所述其它应用功能包括与所述应用功能共同的特征，并且使所述应用功能能够经由所述手势输入的实例来控制。

在一些实施方式中，所述方法可以进一步包括，响应于使所述计算设备或所述其它计算设备的所述界面向所述用户提供所述请求，当所述用户指示他们没有预期使所述手势输入模仿所述单独的手势输入时：标识能够经由所述计算设备控制的一个或多个应用功能，并且提示所述用户选择将要能够经由所述手势输入控制的所述一个或多个应用功能中的特定应用功能。在一些实施方式中，所述方法可以进一步包括：响应于使所述计算设备或所述其它计算设备的所述界面向所述用户提供所述请求，当所述用户指示他们没有预期使所述手势输入模仿所述单独的手势输入时：确定所述用户已经选择了将要能够经由手势输入控制的所述一个或多个应用功能中的所述特定应用功能，并且使所述计算设备或所述其它计算设备的所述界面向所述用户提供另一个请求以使所述用户执行所述手势输入的另一个实例。在一些实施方式中，所述共同特征是共同参数，并且使所述应用功能能够经由所述手势输入的所述实例来控制包括当所述用户随后执行所述手势输入的所述实例时，使参数值被指配给所述共同参数。在一些实施方式中，确定能够经由所述计算设备控制另一个应用功能包括：从多个不同的应用中标识所述用户先前在没有向所述计算设备的相机界面提供物理运动手势的情况下已控制的应用，和确定能够经由所述应用控制的一个或多个不同的应用功能，其中，所述一个或多个不同应用功能包括所述应用功能。

在又一其它的实施方式中，由一个或多个处理器实施的方法被阐述为包括诸如以下操作：基于处理经由从其可访问一个或多个应用的计算设备的相机界面捕获的图像数据来确定，用户已经执行了一次或多次物理运动手势的，其中，所述一个或多个应用是响应于其它物理运动手势，而所述一个或多个应用当前不是响应于所述物理运动手势。所述方法可以进一步包括，确定所述用户已经使动作：将经由所述一个或多个应用中的一个应用且在所述用户执行一次或多次所述物理运动手势的时间段内被执行。所述方法可以进一步包括，响应于确定所述用户使所述动作将经由所述应用被执行，使所述计算设备或另一个计算设备的界面向所述用户提供请求以确认所述用户是否预期使所述物理运动手势控制经由所述应用执行的所述动作。所述方法可以进一步包括，响应于使所述计算设备或所述其它计算设备的所述界面向所述用户提供所述请求，当所述用户确认他们预期使所述物理运动手势控制由所述应用执行的所述动作时：生成以下控制数据，所述控制数据指示由所述应用执行的所述动作能够经由所述物理运动手势的实例来控制。

在一些实施方式中，确定所述用户已经执行了一次或多次所述物理运动手势包括：确定所述图像数据和/或表征所述用户执行所述物理运动手势的手势数据与以下其它数据相关联，所述其它数据对应于一个或多个其它物理运动手势中的特定物理运动手势。在一些实施方式中，所述特定物理运动手势与配置另一个计算设备和/或另一个应用以响应于所述特定物理运动手势的另一个用户相关联。在一些实施方式中，基于多个不同用户中的每个用户执行所述特定物理运动手势的实例，来生成与所述特定物理运动手势相对应的所述其它数据。在一些实施方式中，所述时间段基于：与经由所述应用执行的所述动作相对应的动作类型，和/或与所述应用相对应的应用类型。在一些实施方式中，用于确认所述用户是否预期使所述物理运动手势控制经由所述应用执行的所述动作的请求包括向所述用户提供请求，以使所述用户执行所述物理运动手势的另一实例，以便指示确认。在一些实施方式中，所述方法可以进一步包括：标识所述应用的当前不响应于经由所述计算设备的所述相机界面捕获的另一物理运动手势的另一个功能；和当所述用户确认他们预期使所述物理运动手势控制由所述应用执行的所述动作时：使所述计算设备的所述界面提供另一个请求，所述另一个请求用于获得来自所述用户的准许，以允许能够经由所述其它物理运动手势来控制所述其它功能。

在其它实施方式中，由一个或多个处理器实施的方法被阐述为包括诸如以下操作：基于处理经由从其可访问一个或多个应用的计算设备的相机界面捕获的图像数据来确定，用户已经执行了一次或多次物理运动手势的，其中，所述一个或多个应用是响应于其它物理运动手势，而所述一个或多个应用当前不是响应于所述物理运动手势。所述方法可以进一步包括，确定所述用户已经使动作：将经由所述一个或多个应用中的一个应用且在所述用户执行一次或多次所述物理运动手势的时间段内被执行。所述方法可以进一步包括，生成以下控制数据，所述控制数据指示由所述应用执行的所述动作能够经由所述物理运动手势的实例来控制。

其它实施方式可以包括非暂时性计算机可读存储介质，其存储能够由一个或多个处理器(例如，中央处理器(CPU)、图形处理单元(GPU)和/或张量处理单元(TPU))执行的指令以执行方法，诸如上述和/或本文其它地方描述的一种或多种方法。又一其它实施方式可以包括一个或多个计算机和/或一个或多个机器人的系统，其包括一个或多个处理器，其能够操作来执行存储的指令以执行诸如上述和/或本文其它地方描述的方法中的一种或多种的方法。

要理解的是，本文中更详细描述的前述概念和附加概念的所有组合被认为是本文公开的主题的一部分。例如，所附权利要求书中要求保护的主题的所有组合被认为是本文公开的主题的一部分。

附图说明

图1A、图1B以及图1C包括用户的视图，该用户将应用配置为响应于用户先前已经采用以控制一个或多个设备和/或应用功能的物理运动手势。

图2A、图2B以及图2C图示了用户的视图，该用户通过在控制计算设备和/或应用的功能的时间段内执行物理运动手势来配置计算设备和/或应用以响应于该物理运动手势。

图3图示了用于将可用的输入手势与新提供的功能关联并且使可用的输入手势和/或用户创建的输入手势适于与现有功能关联的系统。

图4A和图4B图示了用于将一个或多个物理运动手势映射到能够经由一个或多个设备和/或一个或多个应用访问的一个或多个功能的方法。

图5是示例计算机系统的框图。

具体实施方式

图1A、图1B以及和图1C分别包括用户106的视图100、视图120和视图150，用户106将应用配置为响应于用户106先前已采用以控制一个或多个设备和/或应用功能的物理运动手势104。具体地，图1A提供了当电影应用110在第一计算设备102处执行时用户执行手势104的视图100，并且图1A和图1B分别提供了第二计算设备134指导用户以将呼叫应用124配置为也响应于手势104的视图120和视图150。

图1A图示了用户106观看电影的视图100，该电影由电影应用110提供并且由第一计算设备102渲染。电影应用110可以是由用户106安装的第一计算设备102的制造商安装的应用，和/或经由第一计算设备102和/或通过诸如因特网的网络以其它方式可访问。电影应用110可以响应于能够由用户106执行的一个或多个物理运动手势。

电影应用110可以基于经由第一计算设备102的相机捕获的图像数据来确定用户正在执行特定手势。例如，第一计算设备102可以设置在房间114内，并且当用户正在观看第一计算设备102时，附接到第一计算设备102的相机可以指向(由用户106设置)用户106的方向。以这种方式，用户106能够使用物理运动手势来控制第一计算设备102、电影应用110和/或第一计算设备102可访问的任何其它应用的各种功能和/或动作。

作为示例，电影应用110可以响应于手势104，其中用户将其手112举离他们的身体，并朝向第一计算设备102的相机打开手掌。为了清楚起见，提供透视图108作为用户106正在执行的手势104的特写。此外，图示了元素“A”以指示透视图108所基于的方向118。第一计算设备102可以生成捕获手势104的图像数据，并且电影应用110可以基于对图像数据的处理来确定用户已经执行了控制电影应用110的特定功能的特定手势。具体地，手势104可以是“暂停”手势，并且当电影应用110正在播放电影时，检测到“暂停”手势可以使电影的回放暂停。尽管用户106可以相对于电影应用110频繁使用该手势104，但是可以向用户106提供建议，以允许能够经由手势104控制其它功能。可替代地，或者附加地，用户106可以配置一个或多个他们的设备和/或应用，以能够经由手势104进行控制，而无需事先已经建议这种配置。

在一些实施方式中，第一计算设备102、服务器设备和/或能够经由第一计算设备102和/或服务器设备访问的应用可以确定至少相对于用户先前执行的一个或多个其它手势用户106最频繁执行手势104。基于此确定，手势104可以是当他们与一个或多个设备和/或一个或多个应用进行交互时可以提供给用户106的一个或多个不同建议的主题。可替代地或附加地，可以基于相比于用户106已经执行或尝试执行的一个或多个其它手势，用户106已经成功地和/或准确地执行了更多次的手势104，来选择手势104作为一个或多个建议的主题。

图1B图示了用户106使用计算设备134与呼叫应用124交互的视图120。在操作第二计算设备134时，第二计算设备134和/或呼叫应用124可以使建议128被提供给用户106。当用户106控制呼叫应用124的功能时和/或当呼叫应用124根据特定状态正在操作时，建议128可以在呼叫应用124的界面122处生成和/或提供。作为示例，响应于用户106经由呼叫应用124的呼叫功能来初始化呼叫126，可以在第二计算设备134的显示面板132处提供建议128。呼叫应用124、第一计算设备102、第二计算设备134、自动助理和/或服务器设备可以确定呼叫功能是用户106相对于呼叫应用124的其它功能而言最频繁使用的呼叫应用124的功能。因此，可以提供建议128，以尝试允许用户106将一个应用的最频繁使用的功能与用户106在与另一个应用进行交互时所采用的用于控制的最频繁使用的物理运动手势关联。为了进一步阐明建议，建议128可以包括诸如“Tap here,or say‘select,’to set the‘pause’gesture,used with your‘Movie Application,’to also control a‘mutemicrophone’function of the‘Call Application.’(在此处轻敲或说“选择”，从而将与“电影应用”一起使用的“暂停”手势同样用于控制“呼叫应用”的“静音麦克风”功能”)。

通过向用户106提供配置呼叫应用124的静音麦克风功能以响应于用户106已经熟悉的手势104的机会，用户106和呼叫应用124之间的交互可以被精简。因此，用户可以向相应的计算设备提交命令，这些命令被更加有效地处理。以这种方式，可以减少用户106和相应的计算设备之间的交互时间，从而节省了计算资源和电力资源，诸如电池寿命。例如，当用户106不方便在显示面板132处执行一些手动触摸手势(例如，用户106在厨房中并且手上有面团)来控制特定功能时，则用户106能够经由第二计算设备134的相机使用他们选择的任何物理运动手势来控制该特定功能。

为了将呼叫功能配置为能够经由手势104控制，用户可以通过在表示建议128的图形元素处轻敲显示面板132来选择建议128。可替代地，或者附加地，用户106可以提供口头话语138，该口头话语138指示他们准许使用手势104来控制呼叫应用124的静音麦克风功能。静音麦克风功能可以控制呼叫的接收者是否可以听到用户106，并且静音麦克风功能的操作状态可以可选地由图标130指示。例如，如在图1B中所提供的，用户106可以通过提供口头话语138，“Select！(选择！)”来明确指示愿意将静音麦克风功能配置为能够经由手势104控制。

响应于用户指示他们愿意将静音麦克风功能配置为能够经由手势104控制，呼叫应用124可以在之后被配置为响应于手势104的后续实例。例如，如图1C的视图150中所示，用户106可以调用呼叫应用124的呼叫功能，从而使呼叫应用124的界面122指示呼叫应用124的呼叫状态152。在呼叫期间，用户106可以使用他们的手158来执行手势104。相机160可以通过提供输出来捕获手势104，该输出可以用于生成图像数据，并且然后可以对图像数据进行处理以验证手势106是否由用户106执行。图1C提供用户106执行手势104的透视图162，并且透视图162可以相对于由元素“B”指示的视点。

响应于确定用户106执行了手势104，可以执行呼叫应用124的静音麦克风功能。此外，响应于手势104，可以在呼叫应用124的界面122处提供更新的状态图标156。可替代地或附加地，可以在显示面板132处提供图形元素154并指示暂停手势已被确认。通过执行“静音麦克风”功能，可以在正在进行“Call with Matthew(与Matthew通话)”时使第二计算设备134的麦克风暂时静音。

在一些实施方式中，随着用户106继续使用呼叫应用124和/或计算设备可访问的任何其它应用，可以在各个时点和/或定期地确定应用的每个功能的频率。具体地，可以在各个时点和/或周期性地确定当前与物理运动手势不关联的每个功能的使用频率。因此，当最频繁使用的功能与物理运动手势关联时，可以标识最频繁使用的功能以建议用于使与下一个最频繁使用的功能关联的另一物理运动手势。可以重复该过程，直到能够经由计算设备的相机界面捕获的一个或多个不同的物理运动手势来控制计算设备可访问的多个不同应用和/或设备的多个不同功能。此外，用户106可以创建附加的物理运动手势，以便向一个或多个设备和/或一个或多个应用提供甚至更多的功能性和/或响应性。

图2A、图2B以及图2C分别图示用户206的视图200、视图220和视图230，该用户206通过在控制计算设备和/或应用的功能的时间段内执行物理运动手势来将所述计算设备和/或应用配置为响应于所述物理运动手势。具体地，图2A图示了用户206执行他们想要第二计算设备202响应的手势204，但是第二计算设备202当前不是响应于该手势。图2B图示了用户206控制用户206想要手势204来控制的功能(例如，打开烤箱灯212)，并且图2C图示了用户206执行手势204，从而有效地控制第二计算设备202的功能。

如图2A中所图示的，用户206可以走进到房间210中，诸如厨房，并执行手势204，以便指示用户206想要手势204来控制特定功能。手势204可以是用户206已经用来控制计算设备和/或应用的一个或多个其它功能的手势。可替代地，手势204可以是用户206尚未用于控制计算设备和/或应用的任何功能的手势。使用来自用户206的先前的准许，第一计算设备208可以使用相机界面捕获用户206正在执行手势204的图像数据。

该图像数据可以在事先得到用户206的准许的情况下被捕获，并且被处理以便标识用户206可能已经执行的任何手势。可替代地，或者附加地，图像数据可以被临时存储在第一计算设备208处，并响应于确定用户206在执行手势204的时间段内已经控制了应用和/或设备的一些功能而进行处理。例如，可以对图像数据执行初步处理以确定是否已经执行了已经建立的手势，并且如果否，则图像数据可以被临时存储，在得到来自于用户的准许的情况下，进一步处理应是必要的。如果在没有预先确定图像数据捕获到任何手势的情况下存储图像数据，并且确定用户206先前或其后已经控制特定功能，则可以进一步处理图像数据以标识用户是否执行应表征为可行动的手势(actionable gesture)的任何物理运动。

图2B图示了用户206在第二计算设备202处执行直接触摸输入216，从而控制第二计算设备202的功能，诸如“打开”烤箱灯212功能。用户206可以在执行图2A中的手势204之前或之后执行直接触摸输入216。在一些实施方式中，第二计算设备202可以是通过局域网连接的IoT设备，第一计算设备208以及可选地第三计算设备214也被连接到该局域网。因此，在得到来自于用户206的准许的情况下下，第一计算设备208可以访问表征第二计算设备202和第三计算设备214的操作属性的数据。例如，用于控制第二计算设备202的应用能够经由第一计算设备208访问，并且也能够经由第一计算设备208访问正在第三计算设备214处执行的应用。

响应于用户执行直接触摸输入216，第一计算设备208可以确定第二计算设备202的烤箱灯212已经打开。基于此确定，在得到用户206的先前准许的情况下，第一计算设备208和/或与第一计算设备208相关联的另一个计算设备可以对表征手势204的图像数据进行进一步处理。对图像数据的处理可以导致第一计算设备208确定用户在用户提供直接触摸输入216和/或以其它方式控制第二计算设备202的功能的时间段内一次或多次执行了手势204。

该时间段可以是静态或动态的阈值时间段，并且/或者可以基于用户206的情境、执行的手势的类型、所控制的功能的类型、经由相机界面捕获手势的设备的类型和/或可以基于该时间段的任何其它特征。在阈值时间段内，用户206应该执行手势并控制功能，以便将手势和功能映射在一起，例如，该阈值时间段可以基于该功能影响应用和/或设备的状态的时间量。在一些实施方式中，阈值时间段可以与功能影响应用和/或设备的状态的时间量成正比或成反比。例如，用于映射用于预热烤箱的手势的阈值时间段可以小于在将手势映射到第三计算设备214以用于渲染可听天气报告之前的阈值时间段。阈值时间段的这种差异可以基于以下假定：对烤箱进行预热会比提供天气报告花费更长的时间。

在一些实施方式中，当第一计算设备208和/或另一个计算设备确定用户206在执行手势204的阈值时间段内控制第二计算设备202的功能时，第一计算设备208可以可选地提示用户关于将手势204映射到功能。例如，第一计算设备208可以渲染音频输出218，诸如“would you like the gesture to control the oven light？(您是否想要使该手势控制烤箱灯？)”。作为响应，用户206可以提供诸如“Yes,please(是的，请)”的口头话语。在得到用户准许的情况下，口头话语222可以由第一计算设备208和/或第三计算设备214接收，并且可以被处理以确认用户206想要手势204被映射到第二计算机设备202的功能。换句话说，第一计算设备208或另一个计算设备可以使用标识手势的数据和标识功能(控制烤箱灯)的数据，并生成自然语言输出作为对用户206的查询，以便确认手势204到功能的映射。

图2C图示了用户206执行手势204并因此使第二计算设备202的烤箱灯212打开的视图230。具体地，可以经由第一计算设备208的相机界面来捕获用户206对手势204的执行。可以处理由相机界面捕获的图像数据，以便确定用户执行了手势204。然后，第一计算设备208可以确定手势204已成功映射到打开烤箱灯212的功能，并且作为响应，使烤箱灯212打开。

在一些实施方式中，用户206可以指示对将特定手势映射到设备和/或应用的特定功能的兴趣，并且可以向用户206提供关于将其它手势映射到其它功能的建议。例如，响应于用户206确认他们想要手势204被映射到“turn on(打开)”烤箱灯功能，第一计算设备208可以标识位于房间210中的其它计算设备。第一计算设备208可以标识房间210中的其它计算设备的尚未映射到一个或多个特定手势的一个或多个功能。

例如，第一计算设备208可以确定第三计算设备214提供对用户206已经频繁地使用的音乐应用的访问。此外，第一计算设备208可以确定“下一首歌”功能当前未被映射到物理运动手势。基于此确定，第一计算设备208可以渲染可听建议，诸如“Would you like thegesture to control a‘next song’function of the music application when themusic application is executing at the third computing device？(当在第三计算设备处执行音乐应用时，您想要该手势控制音乐应用的“下一首歌”功能吗？)”。用户206可以确认手势204到音乐应用功能的映射，从而当在第三计算设备214处执行音乐应用时，使手势204控制音乐应用，而当在第三计算设备214处未执行音乐应用时，使手势204控制第二计算设备202。可替代地，第一计算设备208所渲染的建议可以标识与要映射到音乐应用的“下一首歌”功能的手势204不同的另一个手势。可以基于表征其它用户已用来控制其相应音乐应用的“下一首歌”功能的手势的数据来标识该其它手势。

图3图示了用于将可用的输入手势与新提供的应用功能关联并且使可用的输入手势和/或用户创建的输入手势适于与现有应用功能相关联的系统300。在一些实施方式中，能够经由另一个计算设备338和/或经由任何其它应用或装置访问的自动助理308可以响应于一个或多个手势。自动助理308可以作为在一个或多个计算设备302和/或其它计算设备338处提供的自动助理应用的一部分来操作。用户可以经由一个或多个助理界面304与自动助理308进行交互，该一个或多个助理界面304可以包括麦克风、相机、触摸屏显示器、用户界面和/或任何其它能够在用户和应用之间提供界面的装置中的一个或多个。例如，用户可以通过向助理界面提供语言、文本、物理运动和/或图形输入来初始化自动助理308，以使自动助理308执行功能(例如，提供数据、控制设备(例如，控制IoT设备)、访问代理、修改设定、控制应用等)。计算设备302可以包括显示设备，该显示设备可以是包括用于接收触摸输入的触摸界面的显示面板。计算设备302还可以包括用于捕获物理运动手势的相机，从而允许用户经由相机界面来控制计算设备302的应用。触摸输入和/或其它手势(例如，口头话语、由相机界面捕获的物理运动手势)还可以允许用户与自动助理308和/或能够经由计算设备访问的任何其它应用进行交互。

在一些实施方式中，计算设备302可以缺少显示设备，但是包括音频界面(例如，扬声器和/或麦克风)，从而提供可听用户界面输出，而不提供图形用户界面输出，以及提供用于接收来自用户的自然语言输入的用户界面，诸如麦克风。例如，在一些实施方式中，计算设备可以包括一个或多个触觉输入界面，诸如一个或多个按钮，并且省略将由图形处理单元(GPU)提供图形数据的显示面板。

计算设备302可以通过诸如互联网的网络与服务器设备通信。计算设备302可以将计算任务托付(offload)给服务器设备，以便保存计算设备302处的计算资源。例如，服务器设备可以托管自动助理，并且计算设备302可以向服务器设备传送在一个或多个助理界面、和/或用户界面处接收的输入。但是，在一些实施方式中，自动助理308可以被托管在计算设备302处。在各种实施方式中，可以在服务器设备和/或计算设备302上实施自动助理308的所有方面或少于所有方面。在那些实施方式中的一些实施方式中，经由本地自动助理并与服务器设备介接来实施自动助理308的各方面，该服务器设备可以实施自动助理308的其它方面。服务器设备可以可选地经由多个线程为多个用户及其相关联的助理应用服务。在经由计算设备302的本地自动助理来实现自动助理308的所有方面或少于所有方面的实施方式中，本地自动助理可以是与计算设备302的操作系统分离的应用(例如，安装在操作系统“顶部”)，或者可以可替代地直接由计算设备302的操作系统实施(例如，被视为操作系统的应用，但与操作系统集成在一起)。

在一些实施方式中，自动助理308可以包括输入处理引擎312，该输入处理引擎312可以采用多个不同的引擎来处理计算设备302的输入和/或输出。例如，输入处理引擎312可以包括手势处理引擎314，该手势处理引擎314可以处理在助理界面304处接收到的图像数据和/或音频数据，以标识已经执行手势的用户预期的请求。数据可以从例如计算设备302传送到服务器设备，以便保存计算设备302处的计算资源。

用于将图像数据解释为对应于可行动的请求的手势的过程可以包括图像标识算法，该图像标识算法可以采用一个或多个经训练的机器学习模型328和/或统计模型来标识与特定对象和/或物理运动相对应的像素数据组。可以由数据解析引擎316解析从图像数据导出的信息，并使其作为助理数据322而对自动助理308可用，该助理数据322可以用于生成和/或标识来自用户的请求。在一些实施方式中，可以将由数据解析引擎316提供的输出数据提供给动作引擎318，以确定用户是否已经提供了以下输入手势，所述输入手势对应于由能够经由计算设备302访问的自动助理308、应用、代理和/或设备能够执行的特定动作、功能、和/或例程。例如，助理数据322可以存储在服务器设备和/或计算设备302处，并且还可以包括定义能够由自动助理308和/或计算设备302执行的一个或多个动作的数据以及执行这些动作所涉及的参数。

当输入处理引擎312已经确定用户已经请求要执行的特定动作或例程时，动作引擎318可以为该特定动作或例程确定一个或多个参数值，并且然后输出生成引擎320可以基于该特定动作、例程和/或该一个或多个参数向用户提供输出(或根据参数值以其它方式控制功能)。例如，在一些实施方式中，响应于诸如指向助理界面304的手势的用户输入，自动助理308可以使表征该手势的数据被传送到服务器设备，以用于确定用户预期让自动助理308执行的动作。当手势对应于用于控制特定IoT设备的请求时，输出生成引擎320可以使输出经由助理界面304被提供给用户，其指示由IoT设备执行的动作的结果。

在一些实施方式中，可以在一个或多个助理界面304处捕获由手势处理引擎314标识的各种手势，并且可以包括语音输入、运动手势、触摸手势、二维运动手势、三维运动手势和/或计算设备可以标识的任何其它手势。在一些实施方式中，计算设备302可以通过网络336与一个或多个其它计算设备338连接，该一个或多个其它计算设备338可以分别包括一个或多个输入设备340和一个或多个输出设备342。计算设备302可以存储和/或访问表征可以被其它计算设备338访问的一个或多个应用的应用数据334。此外，计算设备302的手势映射引擎332可以访问应用数据，以便标识该一个或多个应用的一个或多个功能当前能够经由一个或多个手势输入334进行控制。

当手势映射引擎332标识出未将特定应用功能映射到特定手势，或者以其它方式未被配置以能够经由用户输入手势控制时，手势映射引擎332可以向建议引擎330传达数据以标识特定应用功能。建议引擎330可以使用所标识的应用功能，以便为用户生成关于使用特定物理运动手势来控制所标识的应用功能的建议。建议引擎330可以通过基于存储在计算设备302处或经由计算设备302以其它方式可访问的客户端数据306来标识用户已经采用以控制一个或多个其它功能的一个或多个物理运动手势，来选择要推荐给用户的特定物理运动手势。

在一些实施方式中，建议引擎330可以确定用户最频繁执行的物理运动手势，并推荐将最频繁使用的物理运动手势映射到当前未映射到手势的标识的功能。附加地或可替代地，相对于用户执行的其它物理运动手势，建议引擎330可以确定出用户最准确地执行的物理运动手势。例如，用户最准确地执行的物理运动手势可以是计算设备302已经提示用户重复最少的物理运动手势。换句话说，手势处理引擎314可以在用户已经尝试执行物理运动手势，并且尽管该尝试被自动助理308确认，但是该物理运动手势并未导致动作被执行时提示用户重新执行手势。因此，为了提供用于映射到识别的应用功能物理运动手势的建议，建议引擎330可以确定用户最准确地执行的并因此具有最少频率数量的“校正”重新执行的物理运动手势。附加地或可替代地，计算设备302可以确定所标识的功能与某个应用功能共享一个或多个参数(例如，function([parameter_1]，[parameter_2]，…[parameter_n](功能([参数_1]，[参数_2]，…[参数_n]))。然后计算设备302可以标识映射到该特定应用功能的另一个手势，并提供将另一个手势映射到所标识的应用功能的建议。

在一些实施方式中，手势映射引擎332可以标识用户先前已经控制但未被映射到手势的功能，并且确定一个或多个其它用户已经将该功能或类似功能映射到特定物理运动手势。手势映射引擎332然后可以为建议引擎330标识特定物理运动手势，使得建议引擎330可以使计算设备或另一个计算设备向用户提供用于将特定物理运动手势映射到已标识的功能的建议。例如，计算设备302可以访问诸如服务器设备的远程计算设备，该远程计算设备可以标识其它用户执行以控制某些应用功能的物理运动手势。手势映射引擎332然后可以标识其它用户通常用来控制该某些应用功能的手势，并使建议引擎330为该用户推荐该手势以映射到所标识的功能。

在一些实施方式中，手势映射引擎332可以基于自动助理308识别出在用户控制应用的功能的时间段内用户也执行了手势一次或者多次来将物理运动手势映射到应用和/或另一个计算设备338的功能。例如，在具有用户的事先准许的情况下，诸如相机的助理界面304可以捕获表征用户至少尝试执行物理运动手势的图像数据。此外，自动助理308可以确定用户在执行该物理运动手势的时间段内已经控制了另一个计算设备338的特定功能。例如，该时间段可以是控制特定功能之前的5秒和/或控制特定功能之后的5秒。因此，如果用户在控制该功能的3秒内执行了一次或多次物理运动手势，则手势映射引擎332可以将该物理运动手势映射到特定功能。

在一些实施方式中，可以提示用户确认用户想要使物理运动手势映射到能够经由另一个计算设备338访问的应用的功能。例如，手势映射引擎332可以确认用户在控制功能的时间段内执行了一次或多次物理运动手势，并且然后将此发生传达给建议引擎330。作为响应，建议引擎330可以使计算设备302提供图形元素，其包括给用户的请求，使用户确认是否应该将他们执行的物理运动手势映射到他们最近控制的功能。如果用户确认，则建议引擎330可以将该确认传达给手势映射引擎332，该手势映射引擎332生成表征和/或建立物理运动手势到应用功能的映射的数据。

图4A和图4B图示了用于将一个或多个物理运动手势映射到能够经由一个或多个设备和/或一个或多个应用访问的一个或多个功能的方法400和方法420。方法400和方法420可以一起或分开地执行。方法400和/或方法420可以由一个或多个应用、计算设备和/或能够响应用户输入的任何其它装置或模块来执行。方法400可以包括确定在一个或多个计算设备界面处是否已经检测到物理运动手势的操作402。计算设备界面可以包括用户可以用来向计算设备提供输入的任何界面。例如，计算设备界面可以包括相机界面，该相机界面可以生成表征由用户执行的物理运动手势的输出。相机界面的输出可以用于生成图像数据，从该图像数据可以确定操作402。例如，当用户尚未执行物理运动手势时，图像数据将不会指示用户已执行物理运动手势，因此，根据继续元素“C”，方法400可以从操作402前进到操作424。继续元素“C”可以表示方法400和方法420之间的继续，并且继续可以是从操作402到操作424，和/或从操作424到操作402。

操作424可以包括确定由用户控制的功能(或另一个功能)。如果功能(或另一个功能)尚未由用户控制，则方法420可以经由继续元素“C”返回到操作402。但是，如果功能已经由用户控制，则方法420可以从操作424前进到操作426。类似地，如果在操作402处检测到物理运动手势，则方法400可以从操作402前进到操作404。

操作404可以包括标识用户预期的手势。为了标识用户预期的手势，可以处理捕获用户执行的物理运动手势的图像数据。在一些实施方式中，可以将图像数据应用于一个或多个经训练的机器学习模型，并且可以基于该一个或多个经训练的机器学习模型来标识手势。可替代地或附加地，可以将图像数据与表征一个或多个不同的可用手势的现有数据进行比较，并且基于该比较，确定所标识的手势是该一个或多个不同的可用手势中的一个可用手势。当在操作404处标识预期的手势时，方法400可以前进到操作406。

操作406可以包括确定预期的手势是否被映射到功能。换句话说，确定是否存在将预期的手势与功能关联的数据，能够以其它方式经由计算设备和/或应用来控制该功能。如果预期的手势被映射到功能，则方法400可以从操作406前进到操作414。在操作414处，可以根据预期的手势来控制功能。例如，取决于手势如何映射到特定功能和/或功能如何配置，可以执行、修改和/或停止功能。

当预期的手势未映射到功能时，方法400可以从操作406前进到操作408。操作408可以包括标识当前未映射到特定手势的一个或多个功能。以这种方式，方法400确保了除非用户明确地请求这样的配置，否则预期的手势不会被映射到已经与某个手势关联的功能。可以从用户先前已控制的功能、能够经由一个或多个应用和/或与用户相关联的一个或多个计算设备可访问的功能和/或可以被映射到特定手势的任何其它功能中标识未映射到特定手势的一个或多个功能。当在操作408处标识出未映射到特定手势的一个或多个功能时，方法400可以前进到操作410。

操作410可以包括分析该一个或多个功能。分析该一个或多个标识的功能可以包括确定用于该一个或多个功能的参数。可替代地或附加地，分析该一个或多个功能可以包括确定用户和/或其它用户对该一个或多个功能的使用频率。可替代地或附加地，分析该一个或多个功能可以包括确定用户已经访问和/或控制该一个或多个功能的计算设备和/或应用的使用频率。在一些实施方式中，操作410可以包括提示用户验证他们是否想要将标识的手势映射到该一个或多个标识的功能中的特定功能。当用户确认时，可以将预期的手势映射到该特定功能。

方法400可以从操作410前进到操作412，该操作412可以包括将预期的手势映射到所标识的一个或多个功能中的功能。以这种方式，如果用户随后执行所标识的手势的实例，则可以根据操作412处的映射来控制特定功能。因此，如果预期的手势到特定功能的映射包括在执行预期的手势时执行特定功能，则用户对预期的手势的后续执行将导致执行特定功能(例如，在电话呼叫期间使麦克风静音)。

可选地，方法400可以从操作412前进到可选操作416。可选操作416可以包括确定其它相关功能是否尚未映射到另一个手势。例如，可以确定应用是否存在与最近映射的功能相对应的任何其它功能，以及那些其它功能中的任一个是否也已经映射到任何其它手势。如果存在尚未映射到特定手势的另一个功能，则可以向用户提供建议，以确认用户是否想要将另一个功能映射到另一个手势。如果用户想要将另一个功能映射到另一个手势，则方法400可以经由继续元素“D”前进到方法420，该继续元素“D”继续方法420的操作428。

当方法400从操作402转变到操作424时，可以确定另一个功能是否已经由用户控制。然后，方法420可以从操作424前进到操作426。操作426可以包括确定特定功能(例如，由用户最近控制的功能)是否已经被映射到特定手势。如果已经由用户最近控制的功能已经映射到特定手势，则方法420可以从操作426前进回到操作424，其中计算设备可以等待用户控制另一个功能，或通过继续元素“C”继续到操作402。但是，如果由用户控制的特定功能尚未映射到特定手势，则方法420可以前进到操作428。

操作428可以包括确定用户是否在控制功能的阈值时间段内执行运动。确定用户是否执行运动可以包括确定用户是否执行可辨别为物理运动手势的运动，并且该运动不同于通常不旨在触发应用动作和/或计算设备动作的频繁运动。例如，确定用户是否执行运动可以包括确定用户是否执行了用户之前尚未执行的，但是以其它方式能够用来控制与用户关联的应用和/或计算设备的可用手势的至少一部分。如果用户在控制功能的阈值时间段内执行“运动”，则方法420可以从操作428前进到操作434。操作434可以包括根据由用户执行的运动创建手势，然后将创建的手势映射到用户控制的功能。然后，方法420可以经由继续元素“E”从操作434前进到操作416。

但是，如果用户没有在控制功能的阈值时间段内执行运动，则方法420可以从操作428前进到操作430。操作430可以包括标识用于映射到由用户控制的功能(和/或如果从继续元素“D”继续的情况下，将会建议映射到已标识手势的其它功能)的候选手势。用于映射到功能的候选手势可以包括：用户先前已执行的手势、包括与用户执行的相同运动的手势(例如，在操作428处标识的运动)、其它用户执行以控制功能的手势、已经由制造商最新指配给功能的手势和/或计算设备可以响应的任何其它手势。

当标识用于映射到功能的手势时，方法420可以从操作430前进到操作432。操作432可以包括将所标识的手势映射到用户控制的功能或在执行方法400和/或方法420的期间已标识的任何其它功能。然后，方法420可以从操作432经由继续元素“E”前进到操作416。

图5是示例计算机系统510的框图。计算机系统510通常包括至少一个处理器514，该至少一个处理器514经由总线子系统512与许多外围设备进行通信。这些外围设备可以包括：存储子系统524，该储子系统524例如包括存储器525和文件存储子系统526；用户界面输出设备520；用户界面输入设备522；以及网络接口子系统516。输入和输出设备允许用户与计算机系统510交互。网络接口子系统516提供到外部网络的接口并且耦合到其它计算机系统中的对应的接口设备。

用户界面输入设备522可以包括：键盘；指点设备(诸如鼠标、轨迹球、触摸板或图形输入板)；扫描仪；结合到显示器中的触摸屏；音频输入设备(诸如语音识别系统、麦克风)；和/或其它类型的输入设备。通常，术语“输入设备”的使用意图包括将信息输入到计算机系统510中或输入到通信网络上的所有可能类型的设备和方式。

用户界面输出设备520可以包括显示子系统、打印机、传真机或非视觉显示器(诸如音频输出设备)。显示子系统可以包括：阴极射线管(CRT)；平板设备(诸如液晶显示器(LCD))；投影设备；或某个其它用于创建可见图像的机制。显示子系统还可以例如经由音频输出设备来提供非视觉显示。通常，术语“输出设备”的使用意图包括用于将信息从计算机系统510输出到用户或输出到另一机器或计算机系统的所有可能类型的设备以及方式。

存储子系统524存储提供本文描述的模块中的一些或全部的功能的编程和数据构造。例如，存储子系统524可以包括执行方法400、方法420的选定方面的逻辑和/或实施第一计算设备102、第二计算设备134、第一计算设备208、第二计算设备202、第三计算设备214、计算设备302、自动助理308、手势映射引擎332、建议引擎330、经训练的机器学习模型328、其它计算设备338和/或本文讨论的任何其它设备、操作、应用和/或引擎中的一个或多个的逻辑。

这些软件模块通常由处理器514单独或与其它处理器结合执行。存储子系统524中使用的存储器525可以包括多个存储器，该多个存储器包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)530以及在其中存储固定指令的只读存储器(ROM)532。文件存储子系统526可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移除介质、CD-ROM驱动器、光盘驱动器或可移除介质盒。实施某些实施方式的功能的模块可以由文件存储子系统526存储在存储子系统524中，或者存储在能够由处理器514访问的其它机器中。

总线子系统512提供了一种机制，该机制使计算机系统510的各个部件和子系统按预期彼此通信。尽管总线子系统512被示意性地示出为单条总线，但是总线子系统的替代实施方式可以使用多条总线。

计算机系统510可以是各种类型的，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其它数据处理系统或计算设备。由于计算机和网络的不断变化的性质，出于说明一些实施方式的目的，图5中描绘的对计算机系统510的描述仅意图作为特定示例。计算机系统510的许多其它配置可能具有比图5中所示的计算机系统更多或更少的部件。

在此处描述的系统收集有关用户(或者在本文也经常被称为“参与者”)的个人信息或可以利用个人信息的情况下，可以向用户提供控制程序或特征是否收集用户信息(例如，有关用户社交网络，社交活动或活动，职业，用户的偏好或用户当前的地理位置的信息)，或控制是否和/或如何从内容服务器接收与用户更为相关的内容的机会。同样，某些数据在存储或使用之前可能会以一个或多个方式加以处理，以便删除个人身份信息。例如，可以处理用户的身份，以便无法为所述用户确定任何个人可识别信息，或者可以在获得地理位置信息(例如针对城市，邮政编码或州级别)的情况下泛化用户的地理位置，使得无法确定用户的特定地理位置。因此，用户可以控制如何收集和/或使用有关用户的信息。

尽管本文已经描述和示出了若干种实施方式，但是可以利用用于执行功能和/或获得结果的多种其它手段和/或结构和/或本文描述的优点中的一个或多个，并且每个这样的变化和/或修改被认为在本文描述的实施方式的范围内。更一般地，本文描述的所有参数、尺寸、材料和构造均意味着是示例性的，并且实际参数、尺寸、材料和/或构造将取决于本教导所用于的具体应用。仅使用常规实验，本领域技术人员将认识到或能够确定本文所述的具体实施方式的许多等同形式。因此，应当理解的是，前述实施方式仅以示例的方式给出，并且在所附权利要求及其等同物的范围内，可以以不同于具体描述和要求保护的方式来实施实施方式。本公开的实施方式针对本文所述的每个单独的特征、系统、物品、材料、套件和/或方法。另外，如果这样的特征、系统、物品、材料、套件和/或方法不是相互矛盾的，则本公开的范围包括两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合。

Claims (24)

1.一种由一个或多个处理器实施的方法，所述方法包括：

处理经由计算设备的相机界面捕获的图像数据，所述图像数据表征用户已经向计算设备提供的物理运动手势，其中，所述计算设备能够经由所述物理运动手势控制，并且经由所述计算设备能够访问的应用当前不是响应于所述物理运动手势的；

确定所述应用：包括正在由所述用户使用的应用功能，并且所述应用功能不是响应于由所述用户提供给所述计算设备的所述相机界面的所述物理运动手势；

基于确定所述应用功能不是响应于所述物理运动手势，使得生成关联数据，所述关联数据用于将所述物理运动手势与所述应用功能关联，以进一步允许所述用户经由所述物理运动手势来控制所述应用的所述应用功能；

继生成所述关联数据之后，确定所述用户是否已经执行了所述物理运动手势，以进一步控制所述应用的所述应用功能；以及

当继生成所述关联数据之后确定所述用户已经执行了所述物理运动手势时：

响应于确定所述用户执行了所述物理运动手势而使得所述应用功能经由所述应用来控制。

2.根据权利要求1所述的方法，其中，在所述应用没有在所述计算设备处执行的情况下，不能够经由所述计算设备直接执行所述应用功能。

3.根据权利要求1或2所述的方法，进一步包括：

在生成所述关联数据之前，使得在所述计算设备上提供提示，用于请求所述用户确认将所述物理运动手势与所述应用的所述应用功能关联。

4.根据权利要求1-3中的一项所述的方法，其中，确定所述应用包括正在由所述用户使用的所述应用功能包括：

确定与所述用户已经执行的至少一个其它物理运动手势相比，所述物理运动手势已经由所述用户更频繁地执行。

5.根据权利要求4所述的方法，其中，确定所述应用包括正在由所述用户使用的所述应用功能包括：

确定与另一个用户已经在不同的计算设备上执行的所述运动手势相比，所述运动手势已经由所述用户更准确地执行。

6.根据前述权利要求中的任一项所述的方法，其中，确定所述应用包括正在由所述用户使用的所述应用功能包括：

确定所述用户已经控制了所述应用的多个不同应用功能，其中所述多个不同应用功能包括所述应用功能，并且

确定相对于已经由所述用户控制的所述多个不同应用功能的其它应用功能，所述应用功能已经由所述用户更频繁地控制。

7.根据前述权利要求中的任一项所述的方法，进一步包括：

继生成所述关联数据之后，确定所述应用的单独应用功能不是当前响应于与所述物理运动手势不同的特定运动手势；和

基于确定所述应用的所述单独应用功能不是当前响应于所述特定运动手势，使得生成其它关联数据，所述其它关联数据用于将所述特定运动手势与所述单独应用功能关联，以进一步允许所述用户经由所述特定运动手势来控制所述应用的所述单独应用功能。

8.根据权利要求7所述的方法，进一步包括：

在确定所述应用包括正在由所述用户使用的所述应用功能之前，确定与所述用户已经控制的所述单独应用功能相比，所述用户已经更频繁地控制了所述应用的所述应用功能。

9.一种由一个或多个处理器实施的方法，所述方法包括：

基于响应于到计算设备的手势输入而生成的数据来确定用户已经执行了特定手势，所述用户先前未将所述特定手势作为输入提供给所述计算设备；

基于所述数据，确定由不同的用户向单独的计算设备先前提供了单独的手势输入并且所述单独的手势输入具有与由所述用户提供给所述计算设备的所述手势输入共同的一个或多个特性，

其中，所述单独的手势输入先前被提供给所述单独的计算设备，以控制所述单独的计算设备的应用功能；

响应于确定所述单独的手势输入具有与所述手势输入共同的一个或多个特性，使得所述计算设备或另一个计算设备的界面向所述用户提供请求，用于确认所述用户是否预期使所述手势输入模仿所述单独的手势输入；

响应于使得所述计算设备或所述另一个计算设备的所述界面向所述用户提供请求，当所述用户确认他们预期使所述手势输入模仿所述单独的手势输入时：

确定另一个应用功能能够经由所述计算设备来控制并且所述另一个应用功能包括与所述应用功能共同的特征，并且

使得所述应用功能能够经由所述手势输入的实例来控制。

10.根据权利要求9所述的方法，进一步包括：

响应于使得所述计算设备或所述另一个计算设备的所述界面向所述用户提供所述请求，当所述用户指示他们没有预期使所述手势输入模仿所述单独的手势输入时：

标识能够经由所述计算设备控制的一个或多个应用功能，并且

提示所述用户选择将要能够经由所述手势输入控制的所述一个或多个应用功能中的特定应用功能。

11.根据权利要求10所述的方法，进一步包括：

响应于使得所述计算设备或所述另一个计算设备的所述界面向所述用户提供所述请求，当所述用户指示他们没有预期使所述手势输入模仿所述单独的手势输入时：

确定所述用户已经选择了将要能够经由手势输入控制的所述一个或多个应用功能中的所述特定应用功能，并且

使得所述计算设备或所述另一个计算设备的所述界面向所述用户提供另一个请求，用于使所述用户执行所述手势输入的另一个实例。

12.根据权利要求9至11中的一项所述的方法，其中，所述共同特征是共同参数，并且使得所述应用功能能够经由所述手势输入的所述实例来控制包括：当所述用户随后执行所述手势输入的所述实例时，使得参数值被指配给所述共同参数。

13.根据权利要求9至12中的一项所述的方法，其中，确定能够经由所述计算设备控制另一个应用功能包括：

从多个不同的应用中标识所述用户在没有向所述计算设备的相机界面提供物理运动手势的情况下先前已控制的应用，和

确定能够经由所述应用控制的一个或多个不同的应用功能，其中，所述一个或多个不同应用功能包括所述应用功能。

14.一种由一个或多个处理器实施的方法，所述方法包括：

基于处理经由能够访问一个或多个应用的计算设备的相机界面所捕获的图像数据，来确定用户已经执行了一次或多次物理运动手势，其中，所述一个或多个应用是响应于其它物理运动手势的，而所述一个或多个应用当前不是响应于所述物理运动手势的；

确定所述用户已经使得动作：将经由所述一个或多个应用中的应用执行，且在所述用户执行一次或多次所述物理运动手势的时间段内执行；

响应于确定所述用户使得所述动作将经由所述应用执行，使得所述计算设备或另一个计算设备的界面向所述用户提供请求，用于确认所述用户是否预期使所述物理运动手势控制经由所述应用执行的所述动作；

响应于使得所述计算设备或所述另一个计算设备的所述界面向所述用户提供所述请求，当所述用户确认他们预期使所述物理运动手势控制由所述应用执行的所述动作时：

生成控制数据，所述控制数据指示由所述应用执行的所述动作能够经由所述物理运动手势的实例来控制。

15.根据权利要求14所述的方法，其中，确定所述用户已经执行了一次或多次所述物理运动手势包括：

确定所述图像数据和/或表征所述用户执行所述物理运动手势的手势数据与其它数据相关联，所述其它数据对应于一个或多个其它物理运动手势中的特定物理运动手势。

16.根据权利要求15所述的方法，其中，所述特定物理运动手势与配置另一个计算设备和/或另一个应用以响应于所述特定物理运动手势的另一个用户相关联。

17.根据权利要求16所述的方法，其中，基于多个不同用户中的每个用户执行所述特定物理运动手势的实例，来生成与所述特定物理运动手势相对应的所述其它数据。

18.根据权利要求14至17中的一项所述的方法，其中，所述时间段基于：与经由所述应用执行的所述动作相对应的动作类型、和/或与所述应用相对应的应用类型。

19.根据权利要求14至18中的一项所述的方法，其中，用于确认所述用户是否预期使所述物理运动手势控制经由所述应用执行的所述动作的请求包括：提供请求，用于使所述用户执行所述物理运动手势的另一实例以便指示确认。

20.根据权利要求14-19中的一项所述的方法，进一步包括：

标识所述应用的另一个功能，所述应用的另一个功能不是当前响应于经由所述计算设备的所述相机界面捕获的另一个物理运动手势；和

当所述用户确认他们预期使所述物理运动手势控制由所述应用执行的所述动作时：

使得所述计算设备的所述界面提供另一个请求，用于获得来自所述用户的准许，以允许能够经由所述其它物理运动手势来控制所述另一个功能。

21.一种由一个或多个处理器实施的方法，所述方法包括：

基于处理经由能够访问一个或多个应用的计算设备的相机界面所捕获的图像数据，来确定用户已经执行了一次或多次物理运动手势，其中，所述一个或多个应用是响应于其它物理运动手势的，而所述一个或多个应用当前不是响应于所述物理运动手势的；

确定所述用户已经使动作：将经由所述一个或多个应用中的应用执行，并且在所述用户执行一次或多次所述物理运动手势的时间段内执行；以及

生成控制数据，所述控制数据指示由所述应用执行的所述动作能够经由所述物理运动手势的实例来控制。

22.一种包括指令的计算机程序产品，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据前述权利要求中的任一项所述的方法。

23.一种包括指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行根据权利要求1至21中的任一项所述的方法。

24.一种系统，包括用于执行根据权利要求1至21中的任一项所述的方法的一个或多个处理器。

Images