CN114675773B - 来自车辆中的用户的自动助理输入的条件准备 - Google Patents
来自车辆中的用户的自动助理输入的条件准备 Download PDFInfo
- Publication number
- CN114675773B CN114675773B CN202210383133.6A CN202210383133A CN114675773B CN 114675773 B CN114675773 B CN 114675773B CN 202210383133 A CN202210383133 A CN 202210383133A CN 114675773 B CN114675773 B CN 114675773B
- Authority
- CN
- China
- Prior art keywords
- computing device
- user
- vehicle
- automated assistant
- operations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002360 preparation method Methods 0.000 title description 6
- 230000003993 interaction Effects 0.000 claims abstract description 77
- 230000015654 memory Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 117
- 238000004891 communication Methods 0.000 claims description 69
- 230000009471 action Effects 0.000 claims description 63
- 230000008859 change Effects 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 28
- 238000012360 testing method Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000008267 milk Substances 0.000 description 2
- 235000013336 milk Nutrition 0.000 description 2
- 210000004080 milk Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003599 detergent Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Navigation (AREA)
Abstract
本文阐述的实现方式涉及根据某些指示抢先地初始化车辆中的自动助理,以便减少时延同时还寻求保存计算资源。在一些实现方式中,能够基于车辆交互数据将用于实现自动助理的一个或多个特征的数据加载到计算设备的存储器中。例如,车辆交互数据能够表征用户在应用完成操作的阈值时间段内从他们的车辆内调用了自动助理的实例。基于车辆交互数据,在用户处于车辆中的同时完成操作的后续实例能够使数据被加载到存储器中以便抢先地使自动助理准备好被用户利用。
Description
背景技术
人类可以用在本文中称为“自动助理”(也称为“数字智能体”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“谈话智能体”等)的交互式软件应用来参与人机对话。例如,人类(当他们与自动助理交互时可以被称为“用户”)可以使用可以在一些情况下被转换成文本并且然后处理的口语自然语言输入(即,话语)和/或通过提供文本的(例如,键入的)自然语言输入来提供命令和/或请求。
在一些实例中,用户可以经由位于车辆内的计算设备的接口访问自动助理,以使自动助理执行某些操作。然而,由于行驶车辆中的网络连接的易变性和/或由于车辆计算设备处的受约束处理能力,自动助理可能响应于用户从车辆计算设备调用自动助理而显示出时延。
例如,车辆计算设备处的处理能力方面的约束能够防止自动助理随时准备好接收口语命令。例如,本地自动助理的一些或所有过程在自动助理的初始使用之前可能未被抢先地加载在存储器中并且/或者能够在一段时间不使用之后被从存储器中清除和/或为其他过程释放资源。至少由于将那些过程加载到存储器中时的时延,这可能在处理针对自动助理的各种用户命令时产生时延。作为另一示例,本地自动助理可能不持续地连接到远程助理服务器。这可以是努力保存网络资源的结果和/或是由于网络可用性和/或条件的变化而导致的。因此,当需要助理服务器来分辨针对自动助理的用户命令并且未与助理服务器建立连接时,可能在建立连接的同时产生时延。在一些实例中,因为用户命令的一部分由于将过程加载到存储器中时的时延和/或与助理服务器建立通信时的时延而未被捕获,所以经历的时延可能导致自动助理不理解用户命令。响应于用户重新发出最初不理解的某些命令,然后可能浪费计算资源。例如,在车辆计算设备处理由用户重新发出的命令的实例中能够消耗网络带宽和存储器。此外,当用户在驾驶车辆和/或乘坐在车辆中的同时重新发出助理命令时,用户安全可能处于危险中。
发明内容
本文阐述的实现方式涉及抢先地加载自动助理的一个或多个特征和/或抢先地与助理服务器建立网络连接。抢先地加载特征和/或抢先地建立网络连接能够减少当用户从车辆内调用他们的自动助理时可能发生的时延并且/或者能够减少处理来自用户的遵循自动助理的调用的对应命令时的时延。
许多实现方式仅涉及选择性地抢先地加载特征和/或建立网络连接以便实现时延的减少,同时还防止抢先地加载特征和/或建立网络连接的不必要的过度发生。抢先地加载特征的过度发生可能引起对本地资源的不必要利用并且/或者可能使其他非自动助理活动过程被从存储器中清除,从而增加与那些其他过程相关联的时延。抢先地建立网络连接的过度发生可能引起对网络资源的过度利用并且/或者可能对可被其他非自动助理活动过程利用的带宽产生约束。
因此,本文公开的各种实现方式寻求使实现时延的减少的期望与可能由抢先地执行动作以实现时延的减少产生的计算缺点和/或网络缺点相平衡。如本文描述的,那些各种实现方式中的一些实现方式利用交互数据来使得能够区分抢先地执行动作以减少时延被保证的情况(例如,对应用户充分地很可能利用自动助理的那些情形)和抢先地执行动作以减少时延未被保证的替代情况(例如,对应用户不充分地很可能利用自动助理并且抢先地执行动作将不必要地消耗计算资源和/或网络资源的那些情形)。交互数据能够基于对应用户的过去的自动助理交互和/或另一用户的过去的自动助理交互。如本文描述的,这种交互数据能够可选地反映响应于一个或多个特定类别的事件(例如,传入消息、正在进行的呼叫停止)和/或与那些事件有关的上下文(例如,当发生事件时的导航阶段、传入消息的来源、正在进行的呼叫停止的日期或时间等)是否发生了自动助理交互和/或到什么程度。
为了当在车辆中时维持自动助理的响应性,能够捕获用户从车辆内初始化自动助理的上下文的各种特性作为能够被处理的交互数据。能够处理交互数据以确定何时抢先地初始化与自动助理相关联的某些操作。例如,自动助理所依赖的数据能够被从远程服务器设备中抢先地检索和/或加载到车辆计算设备的存储器中。例如,能够将由自动助理利用的本地自动语音识别(ASR)过程抢先地加载到存储器中。以这些和其他方式,依赖于数据的任何自动助理特征能够被用户在车辆中无延迟地访问—即使当车辆正在具有受限网络连接的区域中行驶和/或车辆计算设备正在着手其他过程时也如此。
作为示例,与用户相关联的交互数据能够表征用户当在正在向相应目的地驾驶的车辆中时收听相应播客(podcast)的实例。在一些实例中,当相应播客在到达相应目的地的阈值时间量之外完成时,用户可能已从车辆的车辆计算设备调用了他们的自动助理。在其他实例中,当在到达目的地的估计时间的阈值时间量内相应播客完成或者其他媒体停止在接口处渲染某些信息时,用户可能已避免从车辆的车辆计算设备调用他们的自动助理。基于此交互数据,能够在后续实例中执行操作以为用户在驾驶/乘车期间在播客结束和/或停止渲染其他媒体时调用自动助理做准备。例如,并且根据交互数据,当播客在车辆到达目的地的阈值时间量之外结束时,用户可以通常请求自动助理播放“驾驶播放清单”。因此,被初始化的一个或多个操作能够包括检索用于对来自用户的口语话语做出响应的ASR相关数据和用于缓冲一定量的“驾驶播放清单”的媒体数据。然而,当估计播客在用户到达目的地的阈值时间量内结束时,能够绕过一个或多个操作和/或能够初始化一个或多个其他操作(例如,以为用户到达目的地做准备)。
在一些实现方式中,能够生成交互数据以表征用户当在他们的车辆中时接收来自另一人的相应电子通信并且然后初始化他们的自动助理以执行一个或多个操作的实例。例如,在一些实例中,用户可能已请求自动助理在接收到具有一个或多个特性和/或准则的电子通信的阈值时间量内执行特定动作(例如,设置提醒)。一个或多个准则和/或特性可以是但不限于通信是否来自存储的联系人、亲戚、特定位置中的某人和/或同事。替换地或附加地,一个或多个特性可以是但不限于接收时间、发送时间、电子通信的某些内容(例如,文本、视频、图像、URL链接等)、电子通信的长度、相对于车辆的到达时间的接收时间、和/或一个或多个电子通信的任何其他特性。
然后能够处理交互数据以促进确定是否初始化一个或多个特定操作以便使自动助理准备好在用户当在他们的车辆中时接收电子通信的阈值时间量内接收来自用户的输入。例如,交互数据能够指示当用户接收到来自他们存储的联系人的某个联系人子集(例如,同事和/或在其相应的电子邮件地址中具有某个域的联系人)的电话呼叫时用户通常调用他们的自动助理来设置提醒。此后,当用户在他们的车辆中并且接收到来自某个联系人子集的联系人的另一电话呼叫时,能够初始化一个或多个操作。在一些实现方式中,一个或多个操作能够包括将与日历应用和自动助理相对应的数据加载到车辆计算设备的存储器中。以这种方式,当用户正在参与电话呼叫和/或在电话呼叫结束的阈值时间量内时,能够容易地处理要经由自动助理设置提醒的请求。
在一些实现方式中,自动助理可访问的交互数据能够表征用户在修改导航应用的目的地之后调用自动助理的实例。替换地或附加地,当车辆在去初始目的地的路线中,但是用户接收到与路线相关联的电子通信或其他通知时,能够修改目的地。此后,能够处理交互数据以确定何时使车辆计算设备准备好接收针对自动助理的输入。例如,车辆能够提供对导航应用的访问,该导航应用能够在车辆正在朝向目的地驾驶时操作。用户能够与导航应用和/或另一应用交互以修改车辆的目的地。基于与用户相关联的交互数据,车辆计算设备和/或另一计算设备能够使一个或多个操作被初始化以为用户在修改目的地的阈值时间量内向自动助理提供请求做准备。
例如,交互数据能够指示用户通常请求自动助理在修改车辆的目的地的阈值时间量内向用户读商店评论,使得车辆向对应商店驾驶。因此,当用户修改车辆的目的地时,能够初始化一个或多个操作以便检索与商店评论(例如,车辆最近已被请求驾驶到的商店的评论)相关联的媒体数据并且/或者与自动助理服务器建立安全连接。在一些实现方式中,认证数据能够被从便携式计算设备(例如,用户的蜂窝电话)和/或车辆计算设备传达到服务器设备,以建立安全连接。以这种方式,能够在用户向自动助理提供输入之前建立用于传送输入数据的安全连接。这能够减少当用户在另一应用执行操作之后不久调用自动助理时可能显示出的时延。
以上描述被作为本公开的一些实现方式的概要提供。在下面更详细地描述那些实现方式和其他实现方式的进一步描述。
其他实现方式可以包括一种非暂时性计算机可读存储介质,该非暂时性计算机可读存储介质存储可由一个或多个处理器(例如,中央处理单元(CPU)、图形处理单元(GPU)和/或张量处理单元(TPU))运行以执行方法如在上面和/或在本文中别处描述的方法中的一种或多种的指令。其他实现方式可以包括一个或多个计算机的系统,这些计算机包括可操作来运行存储的指令以执行方法如在上面和/或在本文中别处描述的方法中的一种或多种的一个或多个处理器。
应该理解,前面的构思和本文更详细地描述的附加构思的所有组合都被设想为是本文公开的主题的部分。例如,在本公开的结尾处出现的要求保护的主题的所有组合都被设想为是本文公开的主题的部分。
附图说明
图1A、图1B和图1C图示当用户从他们的车辆调用自动助理时抢先地初始化某些操作以便减少时延和/或提升安全的自动助理的视图。
图2图示用于提供能够基于与车辆相关联的各种上下文特性抢先地准备执行动作和/或向用户提供响应的自动助理的系统。
图3图示用于使自动助理准备在用户处于车辆中的同时在某些上下文特征被标识时接收输入的方法。
图4图示用于取决于用户是否接收到具有一个或多个特性的电子通信而使自动助理准备在用户处于车辆中的同时接收输入的方法。
图5图示用于使自动助理准备在用户处于车辆中并且车辆的目的地已被修改的同时接收一个或多个输入的方法。
图6是示例计算机系统的框图。
具体实施方式
图1A、图1B和图1C图示当用户102从车辆112调用自动助理110时抢先地初始化某些操作以便减少时延并且提升安全的自动助理110的视图100、视图120和视图140。例如,用户102可能正乘坐在正向目的地驾驶的车辆112中并且能够请求自动助理110执行特定动作。用户102能够提供诸如“Assistant,change my destination to‘Ear-X-Y-Z’(助理,将我的目的地改变为‘Ear-X-Y-Z’)”的口语话语108以便改变车辆112正驶向的目的地。能够在车辆计算设备104和/或提供对自动助理110的访问的单独计算设备处接收口语话语108。例如,车辆计算设备104能够被集成到车辆并且能够连接到用户102携带进出车辆112的一个或多个其他计算设备。车辆计算设备能够包括显示接口114,该显示接口114能够渲染应用接口116,该应用接口116能够对应于能够经由自动助理110控制的应用106。例如,口语话语108能够由自动助理110处理,这能够使应用106处的一个或多个操作经历状态改变。在一些实现方式中,应用106的一个或多个操作的状态改变能够在没有明确的要经历状态改变的用户输入的情况下发生。例如,当由车辆计算设备104的有声读物应用正在渲染的有声读物的重放结束时,有声读物的结束能够对应于有声读物应用处的媒体重放操作的状态改变。替换地或附加地,应用的操作的状态改变能够在有或没有对应的用户输入的情况下发生。
计算设备104的自动助理110和/或另一应用106或操作系统能够访问历史交互数据122以标识用户102修改了车辆112正驶向的目的地的在先实例。标识此类实例能够允许自动助理110为用户102可以请求自动助理110执行的某些动作做准备。例如,历史交互数据122能够指示用户102先前已修改了车辆112的目的地,并且随后,调用了自动助理110来初始化有声读物的重放。基于此指示,自动助理110能够执行某些操作以便在用户修改车辆112的目的地之后为特定助理输入做准备。
例如,上下文数据124能够指示用户102提供了口语话语108以使车辆112的目的地改变。能够处理上下文数据124和历史交互数据122以确定用户102很可能向自动助理110发出命令以请求重放有声读物。为了减少时延并且保存计算设备104处的计算资源,能够生成操作数据126以标识能够被执行以便为来自用户102的命令和有声读物处的重放做准备的一个或多个操作。例如,操作数据126能够在计算设备104和/或单独计算设备128处被生成,并且能够在用户102请求重放有声读物之前在计算设备104处可用。在一些实现方式中,操作数据126能够包括与有声读物相对应的音频数据、与抢先地执行的搜索相对应的搜索结果、一个或多个web链接和/或能够由应用使用来提供内容和/或执行动作的任何其他数据。以这种方式,自动助理110能够在某些上下文下响应于在车辆内提供的用户输入而显示出更少的时延。
例如,用户102能够在修改车辆112的目的地的阈值时间量内提供口语话语142。在一些实现方式中,阈值时间量能够基于交互数据122和/或用户102在特定事件(例如,应用状态改变)的特定时间量内与自动助理110交互的在先实例。因此,当在特定事件之后经过阈值时间量时,为对自动助理的请求而保存的存储器和/或带宽能够被另一应用或设备利用。
口语话语142可以是例如“Assistant,continue the last audiobook Iwaslistening to(助理,继续我正在收听的最后有声读物)”。作为响应,自动助理能够提供确认来自用户的输入然后渲染有声读物的重放的输出144(例如,“Okay.(好的。)”)。有声读物的重放能够并入基于操作数据126和/或使用操作数据126来运行的其他操作而生成的数据。例如,自动助理能够初始化有声读物应用并且将有声读物的一部分缓冲到存储器中。替换地或附加地,能够基于操作数据126初始化自动助理的特征。此类特征能够包括自动语音识别(ASR),该ASR能够对应于能够在用户提供口语话语142之前被加载到存储器中的函数和/或库。
图2图示用于提供能够基于与车辆相关联的各种上下文特性抢先地准备执行动作和/或向用户提供响应的自动助理204的系统200。自动助理204能够作为在诸如计算设备202和/或服务器设备的一个或多个计算设备处提供的助理应用的一部分操作。用户能够经由助理接口220与自动助理204交互,助理接口220可以是麦克风、相机、触摸屏显示器、用户接口和/或能够在用户与应用之间提供接口的任何其他装置。例如,用户能够通过向助理接口220提供口头输入、文本输入和/或图形输入来初始化自动助理204以使自动助理204初始化一个或多个动作(例如,提供数据、控制外围设备、访问智能体、生成输入和/或输出等)。替换地,能够基于使用一个或多个训练后的机器学习模型对车辆数据和/或上下文数据236的处理来初始化自动助理204。上下文数据236和/或车辆数据能够在来自用户的在先许可情况下表征自动助理204可访问的环境的一个或多个特征,和/或可以与自动助理204交互的用户的一个或多个特征。计算设备202能够包括显示设备,该显示设备可以是显示面板,该显示面板包括用于接收触摸输入和/或手势的触摸接口以便允许用户经由该触摸接口控制计算设备202的应用234。在一些实现方式中,计算设备202可能缺少显示设备,从而提供可听用户接口输出,而不提供图形用户接口输出。此外,计算设备202能够提供用于从用户接收口语自然语言输入的用户接口,诸如麦克风。在一些实现方式中,计算设备202能够包括触摸接口并且可以没有相机,但是能够可选地包括一个或多个其他传感器。
计算设备202和/或其他第三方客户端设备能够通过诸如互联网的网络与服务器设备通信。附加地,计算设备202和任何其他计算设备能够通过诸如Wi-Fi网络的局域网(LAN)彼此通信。计算设备202能够将计算任务卸载到服务器设备以保存计算设备202处的计算资源。例如,服务器设备能够托管自动助理204并且/或者计算设备202能够向服务器设备传送在一个或多个助理接口220处接收到的输入。然而,在一些实现方式中,能够将自动助理204托管在计算设备202处,并且能够在计算设备202处执行能够与自动助理操作相关联的各种过程。
在各种实现方式中,能够在计算设备202上实现自动助理204的所有或少于所有方面。在那些实现方式中的一些实现方式中,自动助理204的各方面经由计算设备202实现并且能够与服务器设备接口,服务器设备能够实现自动助理204的其他方面。服务器设备能够可选地经由多个线程为多个用户及其相关助理应用服务。在经由计算设备202实现自动助理204的所有或少于所有方面的实现方式中,自动助理204可以是与计算设备202的操作系统分离的应用(例如,被安装在操作系统“之上”)—或者能够替换地由计算设备202的操作系统直接实现(例如,被认为是操作系统的应用,但与操作系统成一体)。
在一些实现方式中,自动助理204能够包括输入处理引擎206,该输入处理引擎206能够采用多个不同的模块来处理计算设备202和/或服务器设备的输入和/或输出。例如,输入处理引擎206能够包括语音处理引擎208,该语音处理引擎208能够处理在助理接口220处接收到的音频数据以标识音频数据中体现的文本。音频数据能够被从例如计算设备202传送到服务器设备以便保存计算设备202处的计算资源。附加地或替换地,能够在计算设备202处排他地处理音频数据。
用于将音频数据转换为文本的过程能够包括语音识别算法,该语音识别算法能够采用神经网络和/或统计模型来标识与单词或短语相对应的音频数据组。从音频数据转换的文本能够由数据解析引擎210解析并且作为文本数据提供给自动助理204,文本数据能够用于生成和/或标识命令短语、意图、动作、槽值和/或由用户指定的任何其他内容。在一些实现方式中,能够将由数据解析引擎210提供的输出数据提供给参数引擎212以确定用户是否提供了与能够被自动助理204和/或能够经由自动助理204访问的应用或智能体执行的特定意图、动作和/或例程相对应的输入。例如,助理数据238能够被存储在服务器设备和/或计算设备202处,并且能够包括定义能够被自动助理204执行的一个或多个动作的数据,以及执行动作所必需的参数。参数引擎212能够为意图、动作和/或槽值生成一个或多个参数,并且将该一个或多个参数提供给输出生成引擎214。输出生成引擎214能够使用一个或多个参数来与助理接口220进行通信以便向用户提供输出,并且/或者与一个或多个应用234进行通信以便向一个或多个应用234提供输出。
在一些实现方式中,自动助理204可以是能够被安装在计算设备202的操作系统“之上”和/或本身能够形成计算设备202的操作系统的部分(或全部)的应用。自动助理应用包括和/或能够访问设备上语音识别、设备上自然语言理解和设备上履行。例如,能够使用设备上语音识别模块来执行设备上语音识别,所述设备上语音识别模块使用在本地存储在计算设备202处的端到端语音识别机器学习模型来处理音频数据(由麦克风检测)。设备上语音识别生成针对存在于音频数据中的口语话语(若有的话)的识别文本。另外,例如,能够使用设备上自然语言理解(NLU)模块来执行设备上NLU,设备上NLU模块处理使用设备上语音识别生成的识别文本以及可选地上下文数据,以生成NLU数据。
NLU数据能够包括对应于口语话语的意图和可选地用于意图的参数(例如,槽值)。设备上履行能够使用设备上履行模块来执行,设备上履行模块利用NLU数据(来自设备上NLU)和可选地其他本地数据来确定要采取以分辨口语话语的意图(和可选地用于意图的参数)的动作。这能够包括确定对口语话语的本地和/或远程响应(例如,回答)、与在本地安装的应用的要基于口语话语执行的交互、要基于口语话语(直接地或经由对应的远程系统)向物联网(IoT)设备传送的命令、和/或要基于口语话语执行的其他分辨动作。设备上履行然后能够发起所确定的动作的本地和/或远程执行/运行以分辨口语话语。
在各种实现方式中,能够至少选择性地利用远程语音处理、远程NLU和/或远程履行。例如,识别文本能够至少选择性地被传送到远程自动助理组件以进行远程NLU和/或远程履行。例如,识别文本能够可选地被传送以用于与设备上执行并行进行远程执行,或者响应于设备上NLU和/或设备上履行的失败。然而,设备上语音处理、设备上NLU、设备上履行和/或设备上运行至少由于它们在分辨口语话语时提供的时延减少(由于不需要客户端-服务器往返来分辨口语话语)可能被优先考虑。此外,设备上功能性可以是在没有网络连接或具有受限网络连接的情形下可用的唯一功能性。
在一些实现方式中,计算设备202能够包括能够由与提供了计算设备202和/或自动助理204的实体不同的第三方实体提供的一个或多个应用234。自动助理204和/或计算设备202的应用状态引擎能够访问应用数据230以确定能够被一个或多个应用234执行的一个或多个动作,以及一个或多个应用234中的每个应用的状态和/或与计算设备202相关联的相应设备的状态。自动助理204和/或计算设备202的设备状态引擎能够访问设备数据232以确定能够被计算设备202和/或与计算设备202相关联的一个或多个设备执行的一个或多个动作。此外,应用数据230和/或任何其他数据(例如,设备数据232)能够被自动助理204访问以生成上下文数据236,该上下文数据236能够表征特定应用234和/或设备正在运行的上下文,和/或特定用户正在访问计算设备202、访问应用234和/或任何其他设备或模块的上下文。
当一个或多个应用234正在计算设备202处运行时,设备数据232能够表征在计算设备202处运行的每个应用234的当前操作状态。此外,应用数据230能够表征运行应用234的一个或多个特征,诸如在一个或多个应用234的方向上正在渲染的一个或多个图形用户接口的内容。替换地或附加地,应用数据230能够表征动作模式,该动作模式能够由相应应用和/或由自动助理204基于相应应用的当前操作状态来更新。替换地或附加地,用于一个或多个应用234的一个或多个动作模式能够保持静态,但是能够由应用状态引擎访问以确定合适的动作来经由自动助理204初始化。
计算设备202还能够包括助理调用引擎222,该助理调用引擎222能够使用一个或多个训练后的机器学习模型来处理应用数据230、设备数据232、上下文数据236和/或计算设备202可访问的任何其他数据。助理调用引擎222能够处理此数据以确定是否等待用户显式地讲出调用短语来调用自动助理204,或者认为该数据指示由用户调用自动助理的意图—代替要求用户显式地讲出调用短语。例如,能够使用基于用户处于其中多个设备和/或应用正在展示各种操作状态的环境中的场景的训练数据的实例来训练一个或多个训练后的机器学习模型。能够生成训练数据的实例以便捕获表征用户调用自动助理的上下文和用户不调用自动助理的其他上下文的训练数据。
当根据训练数据的这些实例来训练一个或多个训练后的机器学习模型时,助理调用引擎222能够使自动助理204基于上下文和/或环境的特征来检测或限制检测来自用户的口语调用短语。附加地或替换地,助理调用引擎222能够使自动助理204基于上下文和/或环境的特征来检测或限制检测来自用户的一个或多个助理命令。在一些实现方式中,能够基于计算设备202检测到来自另一计算设备的助理抑制输出来禁用或限制助理调用引擎222。以这种方式,当计算设备202正在检测助理抑制输出时,将不基于上下文数据236调用自动助理204—这将以其他方式使得在未检测到助理抑制输出的情况下调用自动助理204。
系统200能够包括交互引擎216,该交互引擎216能够生成和/或处理表征一个或多个用户与一个或多个自动助理之间的交互的交互数据。在一些实现方式中,交互数据能够与在计算设备202和/或单独计算设备处可用的其他数据一起被处理。例如,应用数据230和助理数据238能够由交互引擎216处理以便生成能够用于表征用户使自动助理204控制应用234的一个或多个实例的交互数据。替换地或附加地,设备数据232和/或上下文数据236能够由交互引擎216处理以便生成交互引擎216,该交互引擎216在生成交互数据时,在用户的在先许可情况下表征设备和/或用户的一个或多个操作的状态。例如,能够生成交互数据以表征在用户调用了他们的自动助理204的实例中用户是否正在乘坐在他们的车辆中并且访问特定应用。此交互数据然后能够用于抢先地使计算设备202(例如,车辆计算设备)的某些特征准备接收针对自动助理204的用户输入。
在当系统200的资源效用引擎218确定在被预测将发生的即将来到的助理交互期间存储器或其他计算资源的缺少可能存在时的实例中,能够执行抢先地为自动助理204的用户输入做准备。例如,资源效用引擎218能够处理计算设备202和/或单独设备可访问的数据以确定用户当前正在行驶的路线包括具有受限网络连接的区域。在此类时间期间,作为受限网络连接的结果,自动助理204可能不得不在“离线”模式下操作。在此类实例中,资源效用引擎218能够访问由交互引擎216生成的交互数据。资源效用引擎218能够使用交互数据来确定是否存在用户将在车辆正在行驶通过具有受限网络连接的区域时和/或在自动助理204被预测为“离线”时与自动助理204交互的机会。当存在用户将在计算设备202正在经历缺少一个或多个计算资源(例如,网络带宽、处理带宽、存储器等)时访问自动助理204的机会或概率时,能够初始化操作预测引擎226。
操作预测引擎226能够与交互引擎216和/或资源效用引擎218交互以便标识应该被执行以使自动助理准备在某些情况下接收用户输入的一个或多个操作。该一个或多个操作能够由操作预测引擎226基于用户可能与自动助理204具有的一个或多个交互的细节来选择。在一些实现方式中,能够基于在估计用户与自动助理交互时可能受限制的一个或多个计算资源来选择一个或多个操作。例如,当估计用户请求重放播客时,资源效用引擎218能够确定存储器在用户正在行驶的路线的特定部分期间可能受限制。
基于此确定,操作预测引擎226能够标识抢先地下载特定播客以便确保播客在可能消耗存储器的任何其他过程之前被存储在存储器中的操作。替换地或附加地,操作预测引擎226能够标识抢先地搜索要呈现给用户的合适播客以确保能够在存在合适的网络连接的同时通过网络(例如,蜂窝网络)执行搜索的另一操作。替换地或附加地,操作预测引擎226能够标识抢先地运行被标记为一种非用户查询的测试查询的操作。以这种方式,能够执行测试查询(例如,搜索播客或商店评论)以测试与助理服务器的连接,而不影响与用户关联地存储的偏好和/或搜索历史。相反,在来自用户的在先许可情况下,能够偶尔地提交测试查询以模拟自动助理与用户之间的交互,而不用在计算设备202的助理接口220处渲染测试查询和/或测试查询的结果。在一些实现方式中,自动助理204能够执行在线测试查询和/或离线测试查询,以便分别测试自动助理的在线特征和/或离线特征。这能够协助抢先地使自动助理204准备接收用户输入,因为在当用户乘坐在他们的车辆中时的某些情况下车辆计算设备的离线资源和在线资源都可能受限制。
在一些实现方式中,交互引擎216能够采用一个或多个训练后的机器学习模型来估计一个或多个用户是否将在特定上下文中与其相应的自动助理交互。例如,交互引擎216能够采用用于通常预测基于多个不同用户的集合的交互的第一模型,以及用于具体地预测基于单个用户的交互的第二模型。在一些实现方式中,能够在来自每个用户的在先许可情况下使用训练数据来训练一个或多个模型中的每一个模型,该训练数据是使用训练数据引擎224生成。训练数据引擎224能够生成表征当对一个或多个操作的抢先执行导致了计算资源的更优化分配时的实例的训练数据。换句话说,训练数据引擎224能够用于根据抢先地执行一个或多个操作是否有益于或不有益于后续助理交互来训练一个或多个模型。
图3图示用于使自动助理准备在用户处于车辆中的同时在某些上下文特征被标识时接收输入的方法300。方法300能够由一个或多个设备、应用和/或能够与自动助理交互的任何其他装置或模块来执行。方法300能够包括确定在用户处于车辆中的同时是否已检测到操作状态改变的操作302。操作状态改变能够对应于与用户和/或车辆相关联的设备和/或应用的操作改变(例如,网络连接的改变、设备设置改变、位置改变、操作系统改变等)。例如,操作状态改变能够对应于媒体的重放改变、下载或上传的完成、电子通信的接收、电子通信的终止、网络带宽的改变、电池状态的改变和/或能够与任何应用和/或设备相关联的操作的任何其他改变(或改变的组合)。
当已发生操作状态改变时,方法300能够从操作302进行到操作304。否则,能够执行操作302直到检测到操作状态改变为止。操作304能够包括确定用户是否先前已在在先状态改变的阈值时间量内与车辆中的自动助理交互。例如,在用户正乘坐在车辆中的先前实例期间,用户可以具有请求自动助理在应用的状态改变的时间量内执行动作的历史。状态改变可以是但不限于例如电话呼叫的结束和/或播客的结束。在此类实例中,用户可以具有当在车辆中到达目的地的阈值时间量内确实未发生状态改变时调用自动助理的历史。换句话说,当在用户到达目的地之前剩下特定时间量时,用户通常调用他们的自动助理来初始化一个或多个不同动作。否则,当在用户到达目的地之前剩下少于特定时间量时,用户可以通常避免在到达目的地之前调用他们的自动助理。
当在先交互指示用户已在在先状态改变的阈值时间量内与他们的自动助理交互时,方法300能够继续到操作306。否则,方法300能够返回到操作302。操作306能够包括确定在到达目的地的另一阈值时间段内是否确实未发生操作状态改变。当确定在到达目的地的另一阈值时间段内尚未发生操作状态改变时,方法300能够进行到操作308。否则,方法300能够返回到操作302和/或另一操作。操作308能够包括使一个或多个操作在车辆计算设备或另一计算设备处被初始化。该一个或多个操作能够包括,例如:被自动助理利用来检索请求数据的搜索过程;用于允许自动助理响应于语音的ASR过程;用于标识用户的话音和/或创建与助理服务器和/或其他远程服务器的安全连接的认证过程;用于确定如何对自然语言输入做出响应的自然语言理解(NLU)过程;用于“预热”自动助理以接收后续输入的试用查询过程;和/或能够与自动助理相关联的任何其他过程。
方法300能够从操作308进行到可选操作310,该可选操作310能够包括确定自动助理是否已接收到输入。在一些实现方式中,可选操作310能够包括确定自动助理是否已接收到不在到达目的地的阈值时间量内的输入。当对自动助理的输入被接收时,方法300能够从操作310进行到可选操作312。否则,方法300能够返回到方法300的操作302和/或另一操作。可选操作312能够包括使自动助理执行与输入和一个或多个操作相对应的动作。例如,输入可以是对自动助理列举在用户的“购物清单”上的项目的请求。被执行的一个或多个操作能够包括在来自用户的在先许可情况下对车辆计算设备与助理服务器之间的连接进行认证,以便自动助理访问用户的“购物清单”。替换地或附加地,一个或多个操作能够包括在车辆计算设备的存储器中存储表征购物清单的数据和/或与描述购物清单的自动助理的话音相对应的音频数据。以这种方式,能够在用户提供输入“Assistant,what’s on my grocerylist(助理,在我的购物清单上有什么)”与自动助理详述在购物清单上有什么“You havemilk,eggs,and laundry detergent on your grocery list(在你的购物清单上有牛奶、鸡蛋和洗衣粉)”之间展示更少的时延。此外,在处于车辆中的用户与自动助理之间提供更流畅的交互能够提升用户的安全。
图4图示用于取决于用户是否接收到具有一个或多个特性的电子通信而使自动助理准备在用户处于车辆中的同时接收输入的方法400。方法400能够由一个或多个设备、应用和/或能够与自动助理交互的任何其他装置或模块来执行。方法400能够包括确定在用户处于车辆中的同时是否已接收到电子通信的操作402。电子通信可以是但不限于从与另一用户相关联的应用和/或设备接收的数据。例如,电子通信可以是来自正在操作单独计算设备(例如,蜂窝电话)的另一用户的文本消息或对用户的电话呼叫。当确定在用户处于车辆中的同时用户已接收到电子通信时,方法400能够从操作402进行到操作404。否则,能够执行操作402直到在用户处于车辆中的同时用户已接收到电子通信为止。
操作404能够包括确定用户先前是否在接收电子通信的阈值时间量内与自动助理交互了。例如,用户可能先前已在接收电子通信的阈值时间量内在多个时机调用了他们的自动助理。在一些实现方式中,能够从表征用户调用了自动助理的在先实例的交互数据中标识阈值时间量。例如,阈值时间量可以是在用户接收电子通信与用户调用自动助理之间的先前时段的平均值。当确定用户先前已在接收在先电子通信的阈值时间量内与车辆中的自动助理交互时,方法400进行到操作406。否则,方法400能够返回到操作402。
操作406能够包括在来自用户的在先许可情况下标识与用户相关联的先前通信的一个或多个特性。例如,一个或多个特性能够包括但不限于电子通信的内容、电子通信的起源位置、电子通信的接收位置、接收和/或传输的一天的特定时间、电子通信的长度、电子通信的作者、电子通信的一个或多个其他接收者、电子通信的地址中的域名、电子通信的作者是否对应于与用户关联地存储的联系人信息和/或能够与电子通信相关联的任何其他特性。
方法400能够从操作406进行到操作408,该操作408能够包括确定由用户接收到的电子通信是否具有一个或多个特性。例如,能够从其联系人信息与用户关联地存储的另一用户接收电子通信。这可以类似于其中用户从其联系人信息与该用户关联地存储的另一用户接收到电子通信并且该用户随后调用了自动系统的在先实例。当确定由用户接收到的电子通信具有一个或多个特性时,方法400能够从操作408进行到操作410。否则,方法400能够返回到操作402或另一操作。
在一些实现方式中,能够从用户的同事接收电子通信,并且同事的联系人信息能够包括标识用户的雇主的域名。在用户在该用户处于他们的车辆中的同时从他们的雇主接收电子通信的在先实例中,用户可能具有调用他们的自动助理来经由他们的日历应用设置提醒和/或创建会议事件的习惯。基于用户的这种习惯,自动助理和/或另一应用能够执行一个或多个操作以为对自动助理和/或另一应用的任何日历相关输入做准备。
操作410能够包括使一个或多个操作在车辆计算设备或另一计算设备处被初始化。该一个或多个操作能够包括初始化日历应用以便接收用于创建提醒和/或事件的输入。替换地或附加地,一个或多个操作能够包括从与可经由车辆的车辆计算设备访问的自动助理相关联的助理服务器下载数据和/或将数据上传到该助理服务器。此数据能够允许实现用户向自动系统提供输入与自动助理执行基于输入的动作之间的时延的减少。此外,这能够保存在用户提供输入之后执行一个或多个操作时否则可能消耗的处理器带宽。
方法400能够从操作410进行到可选操作412,该可选操作412能够包括确定是否已接收到对自动助理的输入。替换地或附加地,可选操作412能够包括确定是否已在另一用户接收电子通信的阈值时间量内接收到对自动助理的输入。例如,对自动助理的输入能够对应于对自动助理设置与电子通信相关联的提醒的请求(例如,“Assistant,set a reminderfor a 2:30PM meeting today.(助理,为今天下午2:30的会议设置提醒。)”)。当确定自动助理已接收到输入时,方法400能够进行到可选操作414。否则,方法400能够返回到操作402和/或另一操作。操作414能够包括使自动助理执行与输入和一个或多个操作相关联的动作。例如,当一个或多个操作包括加载与自动助理的NLU过程相对应的数据时,来自用户的请求能够由自动助理基于在用户提供请求之前已经被加载到存储器中的数据更容易地理解。
图5图示用于使自动助理准备在用户处于车辆中并且车辆的目的地已被修改的同时接收一个或多个输入的方法500。方法500能够由一个或多个应用、设备和/或能够与自动助理交互的任何其他装置或模块来执行。方法500能够包括确定在用户处于车辆中的同时车辆的导航操作是否已被修改的操作502。导航操作能够由车辆、车辆计算设备和/或与用户和/或车辆相关联的导航应用来执行。例如,当用户正乘坐在车辆中时,用户能够根据由导航应用正在提供的方向来驾驶车辆。替换地,当用户正乘坐在车辆中时,车辆能够根据可经由车辆计算设备访问的导航应用自主地驾驶。能够通过来自用户对自动助理、导航应用和/或与车辆相关联的任何其他应用或设备的输入来修改导航操作。
当确定在用户处于车辆中的同时用户已修改导航操作时,方法500能够从操作502进行到操作504。否则,能够执行操作502以确定在用户处于车辆中的同时是否已修改导航操作。操作504能够包括确定用户是否先前在在先导航操作被修改的阈值时间量内与车辆中的自动助理交互。例如,用户可能先前已修改了车辆或应用的导航操作,并且随后在修改导航操作的阈值时间量内与自动助理交互。在一些实例中,基于导航操作的改变,用户可以认识到作为导航操作的改变的结果可以向路线添加附加时间。为了占用此附加时间,用户可以请求自动助理执行搜索以标识有关新目的地的新闻相关信息。例如,在一些实例,用户可以要求自动助理查找位于经更新的目的地的企业的营业时间。因此,基于用户的这种习惯,当车辆或应用的导航操作被修改时,能够执行一个或多个操作以为出于安全和效率目的而调用自动助理做准备。
当确定用户先前已在修改导航操作的阈值时间量内调用自动助理时,方法500能够进行到操作506。否则,方法500能够返回到操作502以确定导航操作是否已被修改。操作506能够包括使一个或多个操作在车辆计算设备或另一计算设备处被初始化。例如,基于表征用户调用自动助理的在先实例的交互数据,能够标识一个或多个操作以便为来自用户的一个或多个特定输入做准备。一个或多个操作能够包括但不限于执行测试查询以准备用于接收来自用户的搜索请求的搜索过程;用提供搜索结果的应用对用户进行认证;当对用户输入做出响应时下载能够被一个或多个应用访问的一个或多个库;和/或能够被运行来为来自用户的自动助理输入做准备的任何其他操作。
方法500能够从操作506进行到可选操作508,该可选操作508能够包括确定是否已接收到对自动助理的输入和/或是否在对导航操作的修改的阈值时间量内接收到输入。例如,继用户修改车辆的目的地之后,用户能够提供诸如“Assistant,what are theoperating hours of the bakery?(助理,面包店的营业时间是几点?)”的口语话语(“面包店”可以是车辆的新的或更新的目的地)。当在操作508处确定已接收到输入时,方法500能够进行到可选操作510。否则,方法500能够返回到操作502和/或另一操作。
可选操作510能够包括使自动助理执行与输入和一个或多个操作相对应的动作。例如,动作可以是向网站提交搜索查询以确定面包店的营业时间。作为在操作506处执行的一个或多个操作的结果,能够以更少的时延执行动作。例如,被抢先地执行的操作能够包括提交搜索查询,这能够确保在自动助理与搜索服务器之间建立适当的通信信道。以这种方式,当用户随后提供有关面包店时间的口语话语时,作为抢先地建立的通信信道的结果,将以更少的时延提供自动助理的响应。
图6是示例计算机系统610的框图600。计算机系统610通常包括经由总线子系统612与许多外围设备进行通信的至少一个处理器614。这些外围设备可以包括例如包括存储器625和文件存储子系统626的存储子系统624、用户接口输出设备620、用户接口输入设备622和网络接口子系统616。输入和输出设备允许用户与计算机系统610交互。网络接口子系统616提供到外部网络的接口并且耦合到其他计算机系统中的对应接口设备。
用户接口输入设备622可以包括键盘、诸如鼠标、轨迹球、触摸板或图形平板的指点设备、扫描器、并入到显示器中的触摸屏、诸如话音识别系统的音频输入设备、麦克风和/或其他类型的输入设备。一般而言,术语“输入设备”的使用旨在包括将信息输入到计算机系统610中或到通信网络上的所有可能类型的设备和方式。
用户接口输出设备620可以包括显示子系统、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于产生可见图像的某种其他机制。显示子系统还可以例如经由音频输出设备提供非视觉显示。一般而言,术语“输出设备”的使用旨在包括从计算机系统610向用户或向另一机器或计算机系统输出信息的所有可能类型的设备和方式。
存储子系统624存储提供本文描述的一些或所有模块的功能性的编程和数据构造。例如,存储子系统624可以包括用于执行方法300、方法400、方法500的所选方面和/或实现系统200、计算设备104、便携式计算设备、车辆计算设备、服务器设备和/或本文讨论的任何其他应用、设备、装置和/或模块中的一个或多个的逻辑。
这些软件模块通常由处理器614单独或与其他处理器相结合地运行。存储子系统624中使用的存储器625能够包括许多存储器,包括用于在程序运行期间存储指令和数据的主随机存取存储器(RAM)630和其中存储有固定指令的只读存储器(ROM)632。文件存储子系统626能够为程序和数据文件提供持久存储,并且可以包括硬盘驱动器、软盘驱动器以及相关可移动介质、CD-ROM驱动器、光驱或可移动介质盒。实现某些实现方式的功能性的模块可以由文件存储子系统626存储在存储子系统624中,或者存储在可由处理器614访问的其他机器中。
总线子系统612提供用于让计算机系统610的各种组件和子系统按预期彼此通信的机制。尽管总线子系统612被示意性地示出为单个总线,但是总线子系统的替代实现方式可以使用多个总线。
计算机系统610可以具有包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其他数据处理系统或计算设备的各种类型。由于计算机和网络的不断改变的性质,图6中描绘的计算机系统610的描述仅旨在作为用于图示一些实现方式的特定示例。计算机系统610的许多其他配置可能具有比图6中描绘的计算机系统更多或更少的组件。
在本文描述的系统收集关于用户(或如本文常常提及的那样为“参与者”)的个人信息或者可以利用个人信息的情形下,可以给用户提供用于控制程序或特征是否收集用户信息(例如,关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前地理位置的信息)或者用于控制是否和/或如何从内容服务器接收可能与用户更相关的内容的机会。另外,某些数据可以在它被存储或使用之前被以一种或多种方式处理,使得个人可标识的信息被去除。例如,可以处理用户的身份,使得对该用户来说不能够确定个人可标识的信息,或者可以在获得地理位置信息的情况下使用户的地理位置一般化(诸如到城市、邮政编码或州级),使得不能够确定用户的特定地理位置。因此,用户可以控制信号如何关于用户被收集和/或使用。
虽然已在本文中描述并图示了若干实现方式,但是可以利用用于执行功能和/或获得结果和/或本文描述的一个或多个优点的各种其他手段和/或结构,并且此类变化和/或修改中的每一个被视为在本文描述的实现方式的范围内。更一般地,本文描述的所有参数、尺寸、材料和配置都意在为示例性的,并且实际参数、尺寸、材料和/或配置将取决于教导被用于的一个或多个特定应用。本领域的技术人员将认识到或能够使用不超过例行实验来探知本文描述的特定实现方式的许多等同物。因此,应当理解,前面的实现方式仅作为示例被呈现,并且在所附权利要求及其等同物的范围内,可以以不同于具体地描述和要求保护的方式实践实现方式。本公开的实现方式致力于本文描述的每个单独的特征、系统、制品、材料、套件和/或方法。另外,两个或更多个此类特征、系统、制品、材料、套件和/或方法的任何组合在此类特征、系统、制品、材料、套件和/或方法不相互不一致的情况下,被包括在本公开的范围内。
在一些实现方式中,一种由一个或多个处理器实现的方法被阐述为包括诸如在计算设备处确定应用的操作已经历了状态改变的操作。该方法能够进一步包括基于状态改变处理交互数据的操作,交互数据基于对于一个或多个在先实例中的每个实例,对应用户是否在应用或单独应用处发生一个或多个操作状态改变的阈值时间段内与自动助理交互了。该方法能够进一步包括在计算设备处确定在用户处于正在朝向目的地驾驶的车辆中的同时发生了状态改变的操作,其中,计算设备或另一计算设备在用户处于车辆中的同时提供对自动助理的特征的访问。该方法能够进一步包括处理车辆数据以促进确定是否在到达目的地的估计时间的另一阈值时间段内发生了状态改变的操作。该方法能够进一步包括以下操作:当交互数据满足一个或多个准则时并且当确定在到达目的地的估计时间的另一阈值时间段内尚未发生状态改变时:使一个或多个操作经由计算设备或另一计算设备被初始化,其中,一个或多个操作与经由自动助理执行的动作相关联。
在一些实现方式中,该方法能够进一步包括以下操作:当确定在到达目的地的估计时间的另一阈值时间段内已发生状态改变时:使一个或多个其他操作经由计算设备或另一计算设备被发起初始化而不用初始化一个或多个操作,其中,一个或多个其他操作与经由自动助理或单独应用执行的另一动作相关联。在一些实现方式中,使一个或多个操作被初始化包括:标识另一计算设备的存储器的一部分以加载与一个或多个操作相关联的数据,其中,计算设备是用户已定位在车辆内部的便携式计算设备,并且另一计算设备是与车辆成一体的车辆计算设备。
在一些实现方式中,该方法能够进一步包括以下步骤:继使一个或多个操作被初始化之后:确定用户提供了包括对自动助理执行动作的请求的口语话语,其中,自动助理响应于口语话语而访问存储器的部分,并且使自动助理响应于口语话语而执行动作。在一些实现方式中,处理交互数据包括:基于交互数据确定用户使应用执行经历了状态改变的操作,并且基于用户标识由用户在该用户在应用处发生一个或多个操作状态改变的阈值时间段内与自动助理交互了的一个或多个在先实例期间经由自动助理初始化的一个或多个动作,其中,一个或多个操作被选择用于基于一个或多个动作初始化。
在一些实现方式中,确定与应用相对应的操作已经历了状态改变包括:确定应用已停止经由计算设备或另一计算设备的接口渲染某些信息。在一些实现方式中,确定在用户处于正在朝向目的地驾驶的车辆中的同时发生了状态改变包括:确定到目的地的路线的一部分包括受限网络活动的区域,其中,经由计算设备或另一计算设备初始化的一个或多个操作包括通过无线网络连接检索数据的单独操作。
在其他实现方式中,一种由一个或多个处理器实现的方法被阐述为包括诸如在车辆的车辆计算设备处确定在用户处于车辆中的同时接收到电子通信的操作,其中,电子通信在车辆计算设备或与该车辆计算设备配对的另一计算设备处被接收。该方法能够进一步包括以下操作:基于处理交互数据,标识用户已经先前在接收先前通信的阈值时间量内经由自动助理从车辆内初始化的动作。该方法能够进一步包括以下操作:基于处理交互数据,在先前通信具有一个或多个特性时确定用户在接收先前通信的阈值时间量内初始化了动作。该方法能够进一步包括以下操作:当由用户接收到的电子通信具有一个或多个特性时:使一个或多个操作经由车辆计算设备或另一计算设备被初始化,其中,一个或多个操作与经由自动助理执行的动作相关联。
在一些实现方式中,一个或多个特性对应于创作了通信的联系人,该联系人具有与用户关联地存储在车辆计算设备或其他计算设备处的联系人信息。在一些实现方式中,一个或多个特性对应于在一天中的时间接收的通信。在一些实现方式中,一个或多个特性对应于包括某种内容的通信。在一些实现方式中,该方法能够进一步包括以下操作:当创作了由用户接收到的电子通信的另一用户不具有一个或多个特性时:使一个或多个其他操作经由车辆计算设备或其他计算设备被初始化,其中,一个或多个其他操作经由自动助理或单独应用被执行而不用初始化一个或多个操作。
在一些实现方式中,使一个或多个操作被初始化包括:标识车辆计算设备或其他计算设备的存储器的部分以加载与一个或多个操作相关联的数据,其中,数据对应于自动助理的自动语音识别(ASR)特征。在一些实现方式中,使一个或多个操作被初始化包括:经由无线网络连接向与自动助理相关联的远程服务器设备传送认证数据。在一些实现方式中,该方法能够进一步包括以下操作:继使一个或多个操作经由车辆计算设备或另一计算设备被初始化之后:确定用户向自动助理提供了口语话语以促进使自动助理执行动作或另一动作,并且使与口语话语相对应的音频数据经由使用认证数据来建立的安全连接被传达到远程服务器设备。
在一些实现方式中,动作或另一动作对应于对自动助理生成与接收到的通信相关联的提醒的请求。在一些实现方式中,该方法能够进一步包括确定计算资源在用户接收电子通信的阈值时间量内在车辆计算设备处将受限制的操作,其中,使一个或多个操作经由车辆计算设备或另一计算设备被初始化在用户接收电子通信的阈值时间量内被执行。在一些实现方式中,计算资源对应于对可经由车辆计算设备访问的一个或多个应用可用的存储器的量。
在又一个实现方式中,一种由一个或多个处理器实现的方法被阐述为包括诸如在车辆计算设备处确定车辆的导航操作已经历了状态改变的操作,其中,车辆计算设备在用户处于车辆中时提供对自动助理的特征的访问。该方法能够进一步包括基于确定导航操作经历了状态改变来处理交互数据的操作,交互数据基于用户在车辆计算设备或另一计算设备在在先导航操作期间经历单独状态改变的阈值时间段内与自动助理交互了的一个或多个在先实例。该方法能够进一步包括基于交互数据标识由用户在车辆或另一车辆经历单独状态改变到在先导航操作的阈值时间段内经由自动助理初始化的动作的操作。该方法能够进一步包括基于交互数据使一个或多个操作经由车辆计算设备被初始化的操作,其中,一个或多个操作与经由自动助理初始化的动作相关联。在一些实现方式中,使一个或多个操作经由车辆计算设备被初始化包括:使与一个或多个操作相关联的操作数据被复制到车辆计算设备的存储器。
Claims (20)
1.一种由一个或多个处理器实现的方法,所述方法包括:
在计算设备处确定应用的操作已经历了状态改变;
基于所述状态改变处理交互数据,所述交互数据基于:对于一个或多个在先实例中的每个实例,对应用户是否在所述应用或单独应用处发生一个或多个操作状态改变的阈值时间段内与自动助理进行了交互;
在所述计算设备处确定在用户处于正在朝向目的地驾驶的车辆中的同时发生了所述状态改变,
其中,所述计算设备或另一计算设备在所述用户处于所述车辆中的同时提供对所述自动助理的特征的访问;
处理车辆数据以促进确定是否在到达所述目的地的估计时间的另一阈值时间段内发生了所述状态改变;以及
当所述交互数据满足一个或多个准则时并且当确定在到达所述目的地的所述估计时间的所述另一阈值时间段内尚未发生所述状态改变时:
使一个或多个操作经由所述计算设备或所述另一计算设备被初始化,
其中,所述一个或多个操作与经由所述自动助理执行的动作相关联。
2.根据权利要求1所述的方法,进一步包括:
当确定在到达所述目的地的所述估计时间的所述另一阈值时间段内已发生所述状态改变时:
使一个或多个其他操作经由所述计算设备或所述另一计算设备被发起而不用初始化所述一个或多个操作,
其中,所述一个或多个其他操作与经由所述自动助理或单独应用执行的另一动作相关联。
3.根据权利要求1所述的方法,其中,使所述一个或多个操作被初始化包括:
标识所述另一计算设备的存储器的一部分以加载与所述一个或多个操作相关联的数据,
其中,所述计算设备是所述用户已定位在所述车辆内部的便携式计算设备,并且所述另一计算设备是与所述车辆成一体的车辆计算设备。
4.根据权利要求3所述的方法,进一步包括:
继使所述一个或多个操作被初始化之后:
确定所述用户提供了包括对所述自动助理执行所述动作的请求的口语话语,
其中,所述自动助理响应于所述口语话语而访问所述存储器的所述一部分,以及
使所述自动助理响应于所述口语话语而执行所述动作。
5.根据权利要求1所述的方法,其中,处理所述交互数据包括:
基于所述交互数据确定所述用户使所述应用执行经历了所述状态改变的所述操作,以及
基于所述用户标识由所述用户在所述用户在所述应用处发生所述一个或多个操作状态改变的阈值时间段内与所述自动助理进行了交互的所述一个或多个在先实例期间经由所述自动助理初始化的一个或多个动作,
其中,所述一个或多个操作被选择用于基于所述一个或多个动作初始化。
6.根据权利要求1所述的方法,其中,确定与所述应用相对应的所述操作经历了所述状态改变包括:
确定所述应用已停止经由所述计算设备或所述另一计算设备的接口渲染某些信息。
7.根据权利要求1所述的方法,其中,确定在所述用户处于正在朝向所述目的地驾驶的所述车辆中的同时发生了所述状态改变包括:
确定到所述目的地的路线的一部分包括受限网络活动的区域,
其中,经由所述计算设备或所述另一计算设备初始化的所述一个或多个操作包括通过无线网络连接检索数据的单独操作。
8.一种由一个或多个处理器实现的方法,所述方法包括:
在车辆的车辆计算设备处确定在用户处于所述车辆中的同时接收到电子通信,
其中,所述电子通信在所述车辆计算设备或与所述车辆计算设备配对的另一计算设备处被接收;
基于处理交互数据,标识所述用户已经先前在接收先前通信的阈值时间量内经由自动助理从所述车辆内初始化的动作;
基于处理所述交互数据,确定当所述先前通信具有一个或多个特性时所述用户在接收所述先前通信的阈值时间量内初始化了所述动作;以及
当由所述用户接收到的所述电子通信具有所述一个或多个特性时:
使一个或多个操作经由所述车辆计算设备或所述另一计算设备被初始化,
其中,所述一个或多个操作与经由所述自动助理执行的所述动作相关联。
9.根据权利要求8所述的方法,其中,所述一个或多个特性对应于创作了通信的联系人,所述联系人具有与所述用户关联地存储在所述车辆计算设备或所述另一计算设备处的联系人信息。
10.根据权利要求8所述的方法,其中,所述一个或多个特性对应于在一天中的时间接收的通信。
11.根据权利要求8所述的方法,其中,所述一个或多个特性对应于包括某些内容的通信。
12.根据权利要求8所述的方法,进一步包括:
当创作了由所述用户接收到的所述电子通信的另一用户不具有所述一个或多个特性时:
使一个或多个其他操作经由所述车辆计算设备或所述另一计算设备被初始化,
其中,所述一个或多个其他操作经由所述自动助理或单独应用被执行而不用初始化所述一个或多个操作。
13.根据权利要求8所述的方法,其中,使所述一个或多个操作被初始化包括:
标识所述车辆计算设备或另一计算设备的存储器的一部分以加载与所述一个或多个操作相关联的数据,
其中,所述数据对应于所述自动助理的自动语音识别(ASR)特征。
14.根据权利要求8所述的方法,其中,使所述一个或多个操作被初始化包括:
经由无线网络连接向与所述自动助理相关联的远程服务器设备传送认证数据。
15.根据权利要求14所述的方法,进一步包括:
继使一个或多个操作经由所述车辆计算设备或所述另一计算设备被初始化之后:
确定所述用户向所述自动助理提供了口语话语以促进使所述自动助理执行所述动作或另一动作,以及
使与所述口语话语相对应的音频数据经由使用所述认证数据来建立的安全连接被传达到所述远程服务器设备。
16.根据权利要求15所述的方法,其中,所述动作或所述另一动作对应于对所述自动助理生成与接收到的通信相关联的提醒的请求。
17.根据权利要求8所述的方法,进一步包括:
确定计算资源在所述用户接收所述电子通信的所述阈值时间量内在所述车辆计算设备处将受限制,
其中,使所述一个或多个操作经由所述车辆计算设备或所述另一计算设备被初始化在所述用户接收所述电子通信的所述阈值时间量内被执行。
18.根据权利要求17所述的方法,其中,所述计算资源对应于能够经由所述车辆计算设备访问的一个或多个应用可用的存储器的量。
19.一种由一个或多个处理器实现的方法,所述方法包括:
在车辆计算设备处确定车辆的导航操作已经历了状态改变,
其中,所述车辆计算设备在用户处于所述车辆中时提供对自动助理的特征的访问;
基于确定所述导航操作经历了所述状态改变处理交互数据,所述交互数据基于所述用户在所述车辆计算设备或另一计算设备在在先导航操作期间经历单独状态改变的阈值时间段内与所述自动助理进行了交互的一个或多个在先实例;
基于所述交互数据标识由所述用户在所述车辆或另一车辆经历所述单独状态改变到所述在先导航操作的所述阈值时间段内经由所述自动助理初始化的动作;以及
基于所述交互数据使一个或多个操作经由所述车辆计算设备被初始化,
其中,所述一个或多个操作与经由所述自动助理初始化的所述动作相关联。
20.根据权利要求19所述的方法,其中,使所述一个或多个操作经由所述车辆计算设备被初始化包括:
使与所述一个或多个操作相关联的操作数据被复制到所述车辆计算设备的存储器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/231,926 | 2021-04-15 | ||
US17/231,926 US11885632B2 (en) | 2021-04-15 | 2021-04-15 | Conditional preparation for automated assistant input from a user in a vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114675773A CN114675773A (zh) | 2022-06-28 |
CN114675773B true CN114675773B (zh) | 2024-08-27 |
Family
ID=82078751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210383133.6A Active CN114675773B (zh) | 2021-04-15 | 2022-04-13 | 来自车辆中的用户的自动助理输入的条件准备 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11885632B2 (zh) |
CN (1) | CN114675773B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110100258A (zh) * | 2016-12-22 | 2019-08-06 | 万事达卡国际公司 | 用于处理来自用户车辆的数据消息的系统和方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9318108B2 (en) * | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
JP6671379B2 (ja) | 2014-10-01 | 2020-03-25 | エクスブレイン・インコーポレーテッド | 音声および接続プラットフォーム |
JP6623233B2 (ja) * | 2015-05-20 | 2019-12-18 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | ユーザの外出の自動手配を支援する方法及び装置 |
US10160463B1 (en) * | 2017-09-26 | 2018-12-25 | Distractech, Llc | System and methods for monitoring driver distraction |
US10368333B2 (en) * | 2017-11-20 | 2019-07-30 | Google Llc | Dynamically adapting provision of notification output to reduce user distraction and/or mitigate usage of computational resources |
KR102439144B1 (ko) * | 2018-05-07 | 2022-09-02 | 구글 엘엘씨 | 자동 어시스턴트 루틴에 포함을 위한 자동 어시스턴트 액션 추천 |
KR20240099496A (ko) * | 2018-10-08 | 2024-06-28 | 구글 엘엘씨 | 어시스턴트 클라이언트 장치에 의해 로컬로 스마트 장치 제어 및/또는 등록 |
CN113826158A (zh) * | 2019-04-26 | 2021-12-21 | 谷歌有限责任公司 | 自动辅助动作执行和/或后台应用请求的动态延迟 |
-
2021
- 2021-04-15 US US17/231,926 patent/US11885632B2/en active Active
-
2022
- 2022-04-13 CN CN202210383133.6A patent/CN114675773B/zh active Active
-
2024
- 2024-01-29 US US18/425,595 patent/US20240167833A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110100258A (zh) * | 2016-12-22 | 2019-08-06 | 万事达卡国际公司 | 用于处理来自用户车辆的数据消息的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
US11885632B2 (en) | 2024-01-30 |
US20220333947A1 (en) | 2022-10-20 |
US20240167833A1 (en) | 2024-05-23 |
CN114675773A (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12106759B2 (en) | Initializing non-assistant background actions, via an automated assistant, while accessing a non-assistant application | |
US12073835B2 (en) | Dynamically delaying execution of automated assistant actions and/or background application requests | |
US11170773B2 (en) | Systems, methods, and apparatuses for managing incomplete automated assistant actions | |
US20230409973A1 (en) | Automated assistant training and/or execution of inter-user procedures | |
US12063191B2 (en) | Automated assistant architecture for preserving privacy of application content | |
US20240361982A1 (en) | Automated assistant performance of a non-assistant application operation(s) in response to a user input that can be limited to a parameter(s) | |
CN114675773B (zh) | 来自车辆中的用户的自动助理输入的条件准备 | |
CN111771189A (zh) | 提供在调解助理应用处的动态自动响应的系统、方法和装置 | |
US20240249720A1 (en) | Bypassing hot word detection for an automated assistant based on device-to-device proximity | |
US20240038246A1 (en) | Non-wake word invocation of an automated assistant from certain utterances related to display content | |
CN117157615A (zh) | 选择性地实施便于助理交互的辅助设备的角色改变请求 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |