CN112219386A - 语音响应系统的图形用户界面 - Google Patents

Abstract

描述了一种包括移动设备的系统，该移动设备接收用户请求以发起对与IVR系统的交互式语音响应(IVR)接口相关联的实体的电话呼叫。该系统获得关于与交互式语音响应系统相关联的选项的层次的信息，并使用于导航与交互式语音响应系统相关联的选项的层次的图形用户界面(GUI)显示在移动设备上。该系统将与GUI相关联的用户输入转换为由IVR系统识别的输入，并且移动设备将转换后的输入以及该实体执行基于输入的操作所需的其他信息输出至该实体。作为响应，系统基于从IVR系统接收的附加信息来更新GUI。

Description

语音响应系统的图形用户界面

背景技术

许多实体(例如，企业、政府等)都依赖交互式语音响应(IVR)系统来处理传入的电话流量。IVR系统向呼叫者呈现听觉提示，并获得拨号音多频(DTMF)音调(“按键音”)、语音响应或其他用户输入，以在IVR系统的节点之间导航呼叫者。IVR系统通常要求呼叫者从IVR系统中的标准起点(例如问候和菜单)导航到IVR系统中的期望目的地。在最终到达目的地节点之前，可能要求呼叫者与语音识别或按键输入系统进行长时间的交互，以遍历一系列中间节点。在某些情况下，用户可能只是想和人说话或执行简单的任务。然而，一些IVR系统可能使执行甚至最简单的任务成为挑战，这可能导致用户对IVR系统感到沮丧或普遍回避。

发明内容

通常，本公开的技术可以针对利用图形用户界面(GUI)和其他支持特征来增强现有IVR系统的方式。示例系统在实体(例如，商业企业、非营利机构、政府办公室或维护IVR系统的任何其他公共或私人实体)的IVR系统之上自动构建GUI，其中用户可以执行与实体相关联的各种任务，这些任务可能很难(如果不是不可能的话)单独使用IVR系统执行。计算设备(例如移动电话)可以获得用户输入以发起与实体的电话呼叫。在电话呼叫期间，计算设备可以显示基于IVR系统菜单层次的GUI，而不是呈现(或除了呈现)IVR系统的可听界面，而且还配置为接收非语音和非按键式输入(作为语音和按键式输入的替代或补充)，以使用IVR系统执行任务，以及扩展了IVR系统功能并通过GUI进行的其他更复杂的任务。在某些情况下，GUI可以与在实体处或在计算设备上执行的其他组件(例如，数字助理、其他应用等)对接，从而使得能够执行甚至更复杂或特定于用户的任务。

以这种方式，本公开的技术可以在以利用现代计算设备的显示器和其他能力的方式与IVR系统接合时提供更好的用户体验，以更快和更好地处理特定用户的需要。依赖于GUI的示例系统可以比单独使用IVR系统执行语音和按键式输入的数量以及执行类似任务所需的时间更少的输入和更少的时间来执行任务。这样，通过与IVR系统的更有效的对接，所描述的技术可以减少到IVR系统中的呼叫的持续时间，从而释放IVR系统和电信网络的资源，以处理附加的呼叫或执行其他任务。有利地，如果需要，IVR系统本身可以保持独立运行的功能，从而可以与无法使用和/或不需要附加功能的设备进行常规交互。因此，本公开的技术可在减轻感知到的缺点(例如，通过音频接口固有地线性呈现选项)的同时结合IVR系统的优点。

在整个公开中，描述了其中计算设备和/或计算系统可以分析信息(例如，上下文信息、用户和/或设备数据等)的示例。但是，系统只能在计算设备和/或计算系统收到来自计算设备和/或计算系统的用户的明确许可后使用信息。例如，在以下讨论的情况下，其中计算设备和/或计算系统可以收集有关用户与在计算设备或计算系统处执行的应用的用户交互的信息，可以为各个用户提供机会以提供输入来控制计算设备和/或计算系统的程序或功能是否可以收集并利用该信息。可以进一步向各个用户提供控制程序或功能可以或不能使用该信息做什么的机会。

此外，在由计算设备和/或计算系统传输、存储或以其他方式使用所收集的信息之前，可以以一种或多种方式对所收集的信息进行预处理，从而去除个人可识别信息。例如，在示例计算系统存储与在计算设备处执行的应用相关联的用户交互数据之前，示例计算系统可以对数据进行预处理以确保去除嵌入在数据中的任何用户识别信息或设备识别信息。因此，用户可以控制是否收集有关用户和用户设备的信息，以及如果收集了这些信息，计算设备和/或计算系统将如何使用这些信息。

在一个示例中，描述了一种方法，该方法包括：由移动设备接收用户请求，以发起对依赖于交互式语音响应系统的实体的电话呼叫；获得关于与交互式语音响应系统相关联的一个层次结构的选项的信息；由移动设备输出用于显示的图形用户界面，用于导航与交互式语音响应系统相关联的所述一个层次结构的选项；由移动设备接收与图形用户界面相关联的一个或多个用户输入；将与图形用户界面相关联的一个或多个用户输入转换为交互式语音响应系统所识别的一个或多个对应输入；由移动设备向实体输出一个或多个对应输入的指示以及实体响应于一个或多个对应输入而执行操作所需的其他信息；响应于输出一个或多个对应输入和其他信息的指示，基于移动设备接收的附加信息来更新图形用户界面。

在另一示例中，描述了一种计算机可读存储介质，该计算机可读存储介质包括指令，该指令在被执行时使至少一个处理器执行以下操作：由移动设备接收用户请求以发起对依靠于交互式语音响应系统的实体的电话呼叫；获得关于与交互式语音响应系统相关联的一个层次结构的选项的信息；由移动设备输出用于显示的图形用户界面，用于导航与交互式语音响应系统相关联的所述一个层次结构的选项；由移动设备接收与所述图形用户界面相关联的一个或多个用户输入；将与图形用户界面相关联的一个或多个用户输入转换为交互式语音响应系统所识别的一个或多个对应输入；由移动设备向实体输出一个或多个对应输入的指示以及实体响应于一个或多个对应输入而执行操作所需的其他信息；响应于输出一个或多个对应输入和其他信息的指示，基于移动设备接收的附加信息来更新图形用户界面。

在另一示例中，描述了一种计算系统，该计算系统包括至少一个处理器，该至少一个处理器被配置为执行以下操作：由移动设备接收用户请求以发起对依赖于交互式语音响应系统的实体的电话呼叫；获得关于与交互式语音响应系统相关联的一个层次结构的选项的信息；由移动设备输出用于显示的图形用户界面，用于导航与交互式语音响应系统相关联的一个层次结构的选项；由移动设备接收与所述图形用户界面相关联的一个或多个用户输入；将与图形用户界面相关联的一个或多个用户输入转换为交互式语音响应系统所识别的一个或多个对应输入；由移动设备向实体输出一个或多个对应输入的指示以及实体响应于一个或多个对应输入而执行操作所需的其他信息；响应于输出一个或多个对应输入和其他信息的指示，基于移动设备接收的附加信息来更新图形用户界面。

在另一示例中，描述了一种系统，该系统包括用于接收用户请求以发起对依赖于交互式语音响应系统的实体的电话呼叫的装置；用于获得关于与交互式语音响应系统相关联的一个层次结构的选项的信息的装置；输出用于显示的图形用户界面的装置，该图形用户界面用于导航与交互式语音响应系统相关联的所述一个层次结构的选项；用于接收与图形用户界面相关的一个或多个用户输入的装置；用于将与图形用户界面相关的一个或多个用户输入转换为交互式语音响应系统识别的一个或多个相应输入的装置；用于向该实体输出一个或多个对应输入的指示以及该实体响应于一个或多个对应输入而执行操作所需的其他信息的指示的装置；以及用于响应于输出一个或多个对应输入和其他信息的指示而基于移动设备接收到的附加信息来更新图形用户界面的装置。

一个或多个示例的细节在附图和以下描述中阐述。根据说明书和附图以及根据权利要求书，本公开的其他特征、目的和优点将是显而易见的。

附图说明

图1是示出了根据本公开的一个或多个方面的经配置以向IVR系统提供增强的用户界面的示例系统的概念图。

图2是示出了根据本公开的一个或多个方面的经配置以向IVR系统提供增强的用户界面的示例计算设备的框图。

图3是示出了根据本公开的一个或多个方面的经配置以向IVR系统提供增强的用户界面的示例计算系统的框图。

图4是示出了根据本公开的一个或多个方面的经配置以向IVR系统提供增强的用户界面的示例实体系统的框图。

图5是示出了根据本公开的一个或多个方面的经配置以向IVR系统提供增强的用户界面的示例系统的概念图。

图6是示出了根据本公开的一个或多个方面的经配置以向IVR系统提供增强的用户界面的示例计算系统执行的示例操作的流程图。

具体实施方式

图1是示出了根据本公开的一个或多个方面的示例系统的概念图，该示例系统被配置为向交互式语音响应(IVR)系统提供增强的用户界面。图1的系统100包括通信耦合到网络130的计算设备110、实体系统180和计算系统160。尽管归因于系统100的操作主要被描述为由计算系统160、实体系统180和计算设备执行，但是在一些示例中，与图1所示相比，系统100的操作可以由附加的或更少的计算设备和系统来执行。例如，实体系统180和计算设备110可各自包括计算系统160的一些或全部功能，反之亦然。

网络130表示用于在计算系统、服务器和计算设备之间传输数据的任何公共或专用通信网络。网络130可以是公共交换电话网络(PSTN)、无线网络(例如，蜂窝、WiFi和/或其他无线网络)、有线网络(例如，局域网(LAN)、广域网(WAN)、互联网等)、互联网协议(IP)电话网络(例如IP语音(VoIP)网络)或任何其他类型的通信网络。网络130可以包括一个或多个可操作地相互耦合从而在计算系统160、实体系统180和计算设备110之间提供信息交换的网络集线器、网络交换机、网络路由器或任何其他网络设备。计算系统160、实体系统180和计算设备110可以使用任何适当的通信技术跨网络130发送和接收数据。

计算系统160、实体系统180和计算设备110可以各自使用各自的网络链路可操作地耦合到网络130。将计算系统160、实体系统180和计算设备110耦合到网络130的链路可以是以太网或其他类型的网络连接，并且这样的连接可以是无线和/或有线连接。在一些示例中，将计算系统160、实体系统180和计算设备110耦合到网络130的链路可以是IP电话链路，例如VoIP或其他类似的电信链路。在一些示例中，将计算系统160、实体系统180和计算设备110耦合到网络130的链路可以是使用会话发起协议(SIP)信令、电路交换(CS)链路或其他类型的电信链路的IP多媒体子系统(IMS)链路。

实体系统180表示能够通过网络130交换信息以实现IVR系统的一个或多个计算机、大型机、服务器(包括所谓的“刀片”)、云计算系统或其他类型的远程计算系统的任意组合。即，实体系统180可以存储或提供被计算设备110直接访问的对IVR系统182的访问，或提供经由从计算系统160获得的GUI间接访问的对IVR系统182的访问。

计算系统160表示一个或多个计算机、大型机、服务器(包括所谓的“刀片”)、云计算系统或能够经由网络130交换信息作为实体系统180的IVR系统182的增强型GUI服务的一部分的其他类型的远程计算系统的任何组合。也就是说，计算系统160可以存储或提供对服务的访问，客户端设备可以通过该服务经由GUI(例如，用户界面114)与IVR系统182进行间接交互，而不是经由按钮或语音提示界面与IVR系统182进行直接交互。计算系统160可以生成GUI并且将指令输出到客户端设备以呈现和/或更新GUI。

计算设备110表示能够经由网络130交换信息以访问由实体系统180的计算系统160或IVR系统182提供的增强的GUI服务的任何合适的计算设备或计算系统。例如，计算设备110可以是移动设备，用户通过移动设备提供输入以使用计算系统160提供的增强的GUI体验来呼叫实体(例如实体系统180)，而不是直接访问实体系统180的IVR系统182。计算设备110的示例包括移动电话、平板电脑、膝上型计算机、台式计算机、服务器、大型机、可穿戴设备(例如，计算机手表等)、家庭自动化设备、辅助设备、游戏机和系统、媒体播放器、电子书阅读器、电视平台、汽车导航或信息娱乐系统，或配置为经由网络(例如网络130)交换信息的任何其他类型的移动、非移动、可穿戴和不可穿戴的计算设备。

计算系统160包括电话GUI模块162，并且实体系统180包括IVR系统182。计算设备110包括用户界面(UI)模块120、电话模块122，并且还包括用户界面组件(UIC)112，其被配置为输出用户界面114。模块120、122、162和182可以使用在计算设备110、计算系统160和实体系统180之一中和/或在其中执行的软件、硬件、固件或硬件、软件和固件的混合来执行本文所述的操作。计算设备110、计算系统160和实体系统180可以使用多个处理器或多个设备执行模块120、122、162和182作为在底层硬件上执行的虚拟机，作为操作系统或计算平台的一个或多个服务，和/或作为计算平台的应用层上的一个或多个可执行程序。在一些示例中，计算设备110、计算系统160和实体系统180可以从应用存储库(例如，应用商店)或其他数据库下载模块120、122、162和182中的任何一个。在一些示例中，计算设备110、计算系统160和实体系统180在生产期间以及在被提供给用户之前被预加载有模块120、122、162和182。

虽然在图1中示出的计算系统160包括电话GUI模块162，实体系统180包括IVR系统182，计算设备110包括UIC 112、UI模块120和电话模块122，但是模块120、122、162和182及其功能可以在计算设备110、计算系统160和实体系统180之间不同地分布。作为一个示例，在一些情况下，实体系统180或计算设备110可以包括电话GUI模块162的全部或部分功能。

计算设备110的UIC 112可以用作计算设备110的输入和/或输出设备。UIC112可以使用各种技术来实现。例如，UIC 112可以使用存在敏感的输入屏幕、麦克风技术、红外传感器技术或其他用于接收用户输入的输入设备用作充当输入设备。UIC 112可以用作输出设备，该输出设备被配置为使用任何一种或多种显示设备、扬声器技术、触觉反馈技术或用于向用户输出信息的其他输出设备技术向用户呈现输出。UIC 112可被计算设备110使用以输出GUI(例如用户界面114)以进行显示。

计算设备110的UI模块120控制UIC 112，包括确定UIC 112呈现什么以及UIC 112与计算设备110的其他应用或组件之间交换什么信息。例如，在控制UIC 112显示什么时，UI模块120可以从计算设备110或计算系统160的组件接收信息，该组件形成用户界面114的一些或全部的基础。作为响应，UI模块120可以将指令和信息输出到UIC 112，从而使UIC 112根据从计算设备110或计算系统160的组件接收的信息显示用户界面114。当处理UIC 112检测到的输入时，UI模块120可以从响应于输入的UIC 112接收信息，该输入在与显示用户界面114的元素所在的UIC112的显示组件的位置相对应的UIC 112的存在敏感输入组件的位置上被检测。UI模块120将关于由UIC 112检测到的输入的信息分发到计算设备110的其他组件，以解释输入并用于使计算设备110响应于输入而执行一个或多个功能。

在一些示例中，UI模块120可以接收对在UIC 112处检测到的一个或多个用户输入的指示，并且可以将关于用户输入的信息输出到电话模块122或预期用户输入的计算设备110的任何其他应用或组件。例如，UIC 112可以检测用户输入并将关于用户输入的数据发送到UI模块120。UI模块120可以基于检测到的输入来生成一个或多个触摸事件。触摸事件可以包括表征用户输入的信息，例如用户输入的位置分量(例如[x，y]坐标)、时间分量(例如当接收到用户输入时)、力分量(例如，用户输入施加的压力大小)或有关用户输入的其他数据(例如速度、加速度、方向、密度等)。基于从用户输入生成的触摸事件的位置信息，UI模块120可以确定检测到的用户输入与电话模块122相关联，并且可以将一个或多个触摸事件的指示发送到电话模块122以进行进一步解释。

实体系统180的IVR系统182向实体系统180提供交互式电话菜单功能。换句话说，IVR系统182可以处理(至少其中的)从外部设备(例如，计算设备110)进入实体系统180的传入电话呼叫业务。IVR系统182可以包括与实体系统180的不同操作、功能或模式相对应的多个节点。IVR系统182提供了将实体系统180的人类客户与实体系统180相关联的人或系统(例如语音消息系统)连接的界面。IVR系统182的人类客户或其他用户可以经由电话呼叫与IVR系统182进行交互，以导航IVR系统182的交互式菜单。例如，在从计算设备110向实体系统180拨打电话呼叫时，计算设备110的用户可以向计算设备110提供各种语音响应或DTMF音调(有时称为“按键音”)，其经由网络130传输到实体系统180。实体系统180可以使用语音响应或DTMF音调作为IVR系统182的输入，以使IVR系统182从一个节点过渡到下一个节点，直到IVR系统182到达目的地节点为止。在目的地节点处，IVR系统182可以执行一些操作或将用户连接到诸如人或机器的运营商(例如，机器人、辅助或其他基于人工智能(AI)的运营商)。

电话模块122是用于处理计算设备110的电话功能的计算设备110的组件。例如，电话模块122可以是计算设备110的计算平台或操作系统的应用或组件。电话模块122可以例如通过与诸如实体系统180的外部设备发起电话呼叫来执行呼出呼叫操作。电话模块122也可以例如通过执行在计算设备110和外部设备之间接受和支持电话呼叫的操作来处理呼入电话呼叫。电话模块122也可以例如通过合并呼叫，将呼叫置于保持、接受、拒绝或转发呼叫以及其他与电话有关的操作来执行促进现有电话呼叫的操作。

电话模块122可以使UI模块120呈现与计算设备110的电话功能相关联的标准电话用户界面。电话模块122的用户界面可以包括数字小键盘，用户可以从该数字小键盘提供输入以进行拨电话号码。电话模块122的用户界面可以包括用于执行与电话有关的任务的菜单或选项，诸如播放语音消息，查看呼叫历史，在电子地址簿中查找联系人等。电话模块122可以使UI模块120和UIC 112进一步呈现增强的电话用户界面，诸如用户界面114，计算设备的用户可以从其更容易地与IVR系统交互，诸如由实体系统180提供的IVR系统。

通常，计算系统160的电话GUI模块162与实体系统180和计算设备110进行交互，以使电话模块122呈现用户界面114，即与IVR系统182关联的增强型GUI。在一些示例中，电话GUI模块162向诸如实体系统180的一个或多个实体订户提供服务，其中，向特定实体订户调用的每个客户端被提供有与该特定实体订户的现有IVR系统相关联的自动生成的GUI。通过使诸如计算设备110的计算设备生成诸如用户界面114或其他类似GUI的补充IVR系统GUI，电话GUI模块162可以使计算设备110和实体系统180的其他客户端能够执行与实体系统180相关联的各种任务，其可能很难(如果不是不可能的话)单独使用IVR系统182来执行。电话GUI模块162可以分析关于在用户界面114处检测到的输入的信息，并且与实体系统180共享该信息，以进行进一步处理。电话GUI模块162可以分析从IVR系统182和实体系统180获得的信息，并使用该信息使计算设备110更新或改变用户界面114。以这种方式，当以利用UIC112和计算设备110的其他功能的方式用户与IVR系统182互动时，电话GUI模块162可以使计算设备110能够提供更好的的用户体验，以更快和更好地处理特定用户的需求。

在操作中，计算设备110可以接收用户请求以发起向IVR系统182的电话呼叫。例如，用户可以向UIC 112提供输入，该输入被电话模块122解释为通过IVR系统182在网络130上建立电信会话的命令。

在电话呼叫之前或期间，电话GUI模块162可以获得关于与IVR系统182的交互式语音响应接口相关联的一个层次结构的选项的信息。例如，电话GUI模块162可以与实体系统进行交互180，以确定与IVR系统182相关联的选项列表、提示或输入，其将一个级别的选项链接到下一个级别，以及与IVR系统182相关联的其他信息。此外，电话GUI模块162可以获得关于IVR系统182和实体系统180的信息，例如，实体的运营时间、运营天数、等待时间或与IVR系统182的不同节点相关联的运营商的可用性等。

电话GUI模块可以创建到IVR系统182的界面的映射，并且随后依赖于该映射来构建用户界面114。例如，电话GUI模块162可以向IVR系统182内的不同目的地节点进行一系列呼叫以遍历IVR系统182的节点之间的各种不同的可能路径，并且可以记录节点之间的层次关系，在每个节点处发生的提示以及用于前进到不同节点的语音或按键音响应。即，电话GUI模块162可以通过诸如网络130的通信网络连接到IVR系统182。电话GUI模块162可以处理从IVR系统182获得的信息(例如，音频、IMS数据、CS数据、SIP信令数据或其他类似的包括用于生成IVR系统182的增强型GUI的信号的电信信息)。电话GUI模块162可以例如使用语音识别、机器学习或其他语音/数据处理技术来将从IVR系统182获得的信息解释为进入构建用户界面114的文本或图形表示。

在一些示例中，实体系统180可以向电话GUI模块162提供关于IVR系统182的信息，作为订阅电话GUI模块162的GUI生成服务的要求。例如，IVR系统182可以经由网络130将IVR系统182的映射的指示发送到计算系统160。

IVR系统182可以在实体系统180与计算系统160之间在网络130内建立的一个或多个通信信道上交换信息。在某些情况下，实体系统180与计算系统160之间的单个通信信道被用于实现电话呼叫并发送附加信息，电话GUI模块162可以使用这些信息生成用户界面114。有时，使用实体系统180和计算系统160之间的专用电话信道和不同的数据信道。例如，计算系统160和实体系统180可以通过互联网或者经由在计算系统160和实体系统180之间建立的专用数据信道进行连接，以交换数据以生成用于IVR系统182的GUI。

当检测到对IVR系统182的改变和/或响应于从IVR系统182接收到更新的信息以向计算系统160警告改变时，电话GUI模块162可以随着时间刷新或更新关于IVR系统182的信息。电话GUI模块162可以例如通过与IVR系统182重新连接并重新发布先前使用的命令来确定是否需要不同的命令来到达当前映射到先前命令的节点，来执行周期性或偶然的映射验证操作。例如，对于每个节点，电话GUI模块162可以将在每个节点处从IVR系统182获得的信息与由电话GUI模块162维护的期望信息进行比较。电话GUI模块162可以例如使用语音识别、机器学习或其他语音/数据处理技术，以基于从IVR系统182获得的信息来确定用户界面114是否需要更新，如果需要，则如何基于更新后的信息来更新用户界面114。

在继续前面的示例中，在操作中，在计算设备110和IVR系统182之间建立的电话呼叫之前或期间，电话GUI模块162可以向电话模块122发送信息，该信息使UIC 112显示用户界面114。换句话说，响应于发起向IVR系统182的电话呼叫的用户请求，电话模块122或IVR系统182可以向电话GUI模块162警告有关电话呼叫，并触发电话GUI模块162向电话模块122发送显示指令或电话模块122输出用户界面114所需的其他信息以用于显示。基于来自电话GUI模块162的显示指令，计算设备110可以输出用于导航与IVR系统182的交互式语音响应接口相关联的一个层次结构的选项的用户界面114以进行显示。例如，电话模块122可以解释从电话GUI模块162获得的显示指令或其他信息，以向UI模块120发送命令以使UIC 112显示用户界面114。

如在图1的示例中所示，用户界面114包括IVR系统182的节点的各种图形指示。例如，用户界面114包括账户设置节点、账户状态节点、新订单节点、支付节点、讲话代表节点、请求回叫节点以及更多选项或搜索节点的各自的图形指示。可能存在其他类型的节点，并且这些节点的许多不同的图形表示是可能的。用户界面114可以包括与每个节点的每个图形表示相关联的文本、图像、图形、视频、音频或其他特征。

计算设备110可以接收与用户界面114相关联的一个或多个用户输入。例如，用户可以通过在UIC 112显示讲话代表节点的图形表示的位置处或附近提供触摸或手势输入或UIC 112检测到的语音输入。UI模块120可以识别输入，并将与输入有关的信息发送给电话模块122，以进行关于用户界面114的解释。

计算设备110可以将与用户界面114相关联的一个或多个用户输入转换为与IVR系统182相关联的一个或多个对应输入。例如，使用电话GUI模块162提供的信息以在计算设备110上再现用户界面114，电话模块122可以将用户输入映射到IVR系统182可识别的功能或命令，以基于用户输入采取适当的动作。例如，电话模块122可以确定按键音、语音提示、SIP信号、电路交换命令或将使IVR系统182将计算设备110连接到适当的IVR系统节点的其他命令。

计算设备110可以经由为实现电话呼叫而建立的电信会话将一个或多个对应输入的指示输出到实体。例如，电话模块122可以将电话模块122确定的对应输入传达给IVR系统182，以使IVR系统182将计算设备110与IVR系统182的适当节点(例如，将呼叫者转移给实体系统180的运营商的节点)连接。例如，电话模块122可以将确定的按键音、语音提示、SIP信号、CS命令或其他命令发送到IVR系统182，该命令使IVR系统182将在计算设备110和IVR系统182之间建立的电话呼叫连接到适当的IVR系统节点。

计算设备110可以基于附加信息接收关于与交互式语音响应界面和更新用户界面114相关联的一个层次结构的选项的附加信息。例如，在对用户界面114的讲话代表图形表示处检测到用户输入之前，电话GUI模块162和电话模块122可能不具有关于与IVR系统182相关联的当前等待时间的信息。在一些示例中，经由从与计算设备110和实体系统180之间的电话呼叫相关联的IMS数据中提取的SIP信号，电话模块122可以将与IVR系统182的所选节点相关联的当前等待时间确定为附加信息。在一些示例中，计算设备110可访问的助理服务可以基于IVR系统182或其他类似系统的其他用户的等待时间的观察来确定等待时间。无论如何，电话模块122可以将与IVR系统182的选定节点相关联的当前等待时间确定为附加信息。电话模块122可以使UI模块120和UIC 112更新用户界面114以反映当前等待时间以及IVR系统182的替代节点选项(例如，回叫选项)。UIC 112可以输出等待时间和替代节点的图形表示作为用户界面114的一部分，并且计算设备110的用户可以通过向用户界面114提供附加的输入来继续与IVR系统182的交互，例如，在当前等待时间小于时间阈值(例如，零或更多分钟、秒等)时，放置为保持与代表讲话或以IVR系统182回叫的请求终止电话呼叫。

这样，依赖于本公开的所描述的技术，系统可以提供GUI生成服务，通过该GUI生成服务，基于与使用其他IVR系统的传统用户界面执行类似任务所需的讲话和按键输入的数量和时间相比更少的用户输入或更少的时间，系统可以执行IVR相关任务。这样，所描述的技术可以减少IVR系统接收的传入通信的持续时间或数量，具有释放IVR系统和用于与IVR系统通信的通信网络的资源的潜力，从而使IVR系统和通信网络能够处理附加的呼叫或执行以其他方式无法完成的其他任务。

在一些示例中，依赖于本公开的所描述的技术，系统可以实现更可靠的商务呼叫。也就是说，由于与IVR系统的交互可能需要复杂的输入，诸如多数字DTMF输入(例如，输入信用卡号等)，因此所描述的技术可以减少不准确的输入，因为它们可能使IVR系统提供了一个更直观的界面，该界面不太可能接收到不正确的输入，并且用户可以在将其提交给IVR系统之前直观地验证其输入的准确性。此外，经由GUI界面而不是经由语音提示提供此类信息可能更安全。

在一些示例中，依赖于本公开的所描述的技术，在提供增强的GUI之前，系统可能不需要首先尝试识别输入语言(例如，英语、西班牙语等)。即，使用如本文所述的增强的SIP信号，IVR系统可以基于从用户设备接收的指示其语言偏好的SIP信号来识别用户的偏好语言，因此避免提供多种语言的欢迎声明。

图2是示出根据本公开的一个或多个方面的示例计算设备的框图，该示例计算设备被配置为向交互式语音响应系统提供增强的用户界面。在图1的上下文中描述图2。例如，图2的计算设备210是图1的计算设备110的示例。图2仅示出了计算设备210的一个特定示例，并且计算设备210的许多其他示例可以在其他实例中使用，并且可以包括示例计算设备210中包括的组件的子集，或者可以包括图2中未示出的附加组件。

如在图2的示例中所示，计算设备210包括用户界面组件(UIC)212、一个或多个处理器240、一个或多个通信单元242、一个或多个输入组件244、一个或多个输出组件246以及一个或多个存储组件248。UIC212包括输出组件202和输入组件204。计算设备210的存储组件248包括UI模块220、辅助模块224、上下文模块228和电话模块222。电话模块22包括电话信道接口223A和补充数据信道接口223B。

通信信道250可以互连组件212、240、242、244、246和248中的每一个，以(物理地，通信地和/或可操作地)进行组件间通信。在一些示例中，通信通道250可以包括系统总线、网络连接、进程间通信数据结构或用于通信数据的任何其他方法。

计算设备210的一个或多个通信单元242可以通过在一个或多个网络上发送和/或接收网络信号来经由一个或多个有线和/或无线网络与外部设备通信。通信单元242的示例包括网络接口卡(例如，诸如以太网卡)、光收发器、射频收发器、GPS接收器或可以通过网络(诸如图1的网络130)发送和/或接收信息的任何其他类型的电信设备。通信单元242的其他示例可以包括短波无线电、蜂窝语音或数据无线电、无线网络无线电以及通用串行总线(USB)控制器、VoIP类型、IMS类型和CS类型电话收发器以及其他电话设备。

计算设备210的一个或多个输入组件244可以接收输入。输入的示例是触觉、音频和视频输入。在一个示例中，计算设备210的输入组件242包括存在敏感输入设备(例如，触摸屏、PSD)、鼠标、键盘、语音响应系统、摄像机、麦克风或用于检测人或机器的输入的任何其他类型的设备。在一些示例中，输入组件242可以包括一个或多个传感器组件、一个或多个位置传感器(GPS组件、Wi-Fi组件、蜂窝组件)、一个或多个温度传感器、一个或多个运动传感器(例如，加速度计，陀螺仪)、一个或多个压力传感器(例如，气压计)、一个或多个环境光传感器以及一个或多个其他传感器(例如，麦克风、照相机、红外接近传感器、湿度计等)。其他传感器可以包括心率传感器、磁力计、葡萄糖传感器、湿度计传感器、嗅觉传感器、罗盘传感器、步数计数器传感器，仅举几个其他非限制性示例。

计算设备110的一个或多个输出组件246可以生成输出。输出的示例是触觉、音频和视频输出。在一个示例中，计算设备210的输出组件246包括PSD、声卡、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或用于对人或机器生成输出的任何其他类型的设备。

计算设备210的UIC 212可以类似于计算设备110的UIC 112，并且包括输出组件202和输入组件204。输出组件202可以是显示组件，例如由UIC 212在其上显示信息的屏幕并且输入组件204可以是存在敏感输入组件，诸如电容传感器的触摸，其检测在输出组件202处和/或附近的对象。输出组件202和输入组件204可以是扬声器和麦克风对或一个或多个输入和输出组件(例如输入组件244和输出组件244)的任何其他组合。在图2的示例中，UIC 212可以呈现用户界面(诸如图1的用户界面114)。

作为一个示例范围，存在敏感输入组件204可以检测在输出组件202的两英寸或更短范围内的对象，例如一个或多个手指、指示笔或一个或多个其他输入单元。输入组件204可以确定检测到对象的输出组件202的位置(例如，[x，y]坐标)。在另一示例范围中，输入组件204可以检测到与输出组件202相距六英寸或不超过六英寸的对象，并且其他范围也是可能的。输入组件204可以使用电容、电感和/或光学识别技术确定由用户的手指选择的输出组件202的位置。在一些示例中，输入组件204还使用针对输出组件202所描述的触觉、听觉或视觉刺激向用户提供输出。

计算设备210的UIC 212可以检测到二维和/或三维手势作为来自计算设备210的用户的输入。例如，UIC 212的传感器可以检测到在UIC 212的传感器的阈值距离内用户的运动(例如，移动一个或多个手、手臂、手指、其他身体部位、笔、触摸笔等)。UIC212可以确定运动的二维或三维矢量表示并将该矢量表示相关于具有多个维度的手势输入(例如，手波、捏、拍手、笔触等)。换句话说，UIC 212可以检测多维手势，而无需用户在UIC 212输出用于显示的信息的屏幕或表面处或附近做出手势。替代地，UIC 212可以检测在传感器处或附近执行的多维手势，该传感器可以或可以不位于UIC 212输出用于显示的信息的屏幕或表面附近。

尽管被示为计算设备210的内部组件，但是UIC 212也可以表示与计算设备210共享数据路径以发送和/或接收输入和输出的外部组件。例如，在一个示例中，UIC 212表示位于计算设备210的外部包装内并物理连接到计算设备210的外部包装(例如，移动电话上的屏幕)的计算设备210的内置组件。在另一个示例中，UIC 212表示位于计算设备210的包装或壳体外部并与计算设备210的包装或壳体物理分离的计算设备210的外部组件(例如，监视器、投影仪等，其与计算设备210共享有线和/或无线数据路径)。

计算设备210内的一个或多个存储组件248可以存储在计算设备210的操作期间进行处理的信息(例如，计算设备210可以存储由模块220、222、224和226和操作平台228在计算设备210执行期间访问的数据)。在一些示例中，存储组件248是临时存储器，这意味着存储组件248的主要目的不是长期存储。计算设备210上的存储组件248可以被配置用于作为易失性存储器的信息的短期存储，并且因此如果断电则不保留所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域已知的其他形式的易失性存储器。

在一些示例中，存储组件248还包括一个或多个计算机可读存储介质。在一些示例中，存储组件248包括一个或多个非暂时性计算机可读存储介质。存储组件248可以被配置为存储比通常由易失性存储器存储的信息更多的信息量。存储组件248可以进一步被配置用于将信息作为非易失性存储空间进行长期存储，并在通电/断电周期之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦可编程存储器(EEPROM)的形式。存储组件248可以存储与模块220、222、224和226相关联的程序指令和/或信息(例如，数据)。存储组件248可以包括被配置为存储与通知队列232、模块220、222、224和226相关联的数据或其他信息的存储器。

一个或多个处理器240可以实现与计算设备210相关联的功能和/或执行指令。处理器240的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器集线器以及配置为用作处理器、处理单元或处理设备的任何其他硬件。模块220、222、224和226可以由处理器240操作以执行计算设备210的各种动作、操作或功能。例如，计算设备210的处理器240可以检索并执行由存储组件248存储的导致处理器240执行本文所述的，归因于模块220、222、224和226的操作的指令。指令在由处理器240执行时可以使计算设备210将信息存储在存储组件248内。

UI模块220可以包括图1的计算设备110的UI模块120的所有功能，并且可以执行与UI模块120类似的操作，以管理计算设备210在UIC 212处提供的用于处理来自用户的输入以及向用户的输出的用户界面(例如，用户界面114)。例如，UI模块220可以基于从电话模块222接收的命令或指令来生成指令或命令，以使UIC 212显示用户界面114及其元素。UI模块220可以是计算设备210的操作平台的一部分或与计算设备210的操作平台相关联。例如，UI模块220可以是计算设备210的操作系统的子模块、服务或活动，而不是与计算平台或操作系统计算设备210分开的计算设备210的模块或应用。

辅助模块224和上下文模块226是计算设备210的组件，其配置为收集附加信息并将其向电话模块222提供，以使电话模块222能够为IVR系统(诸如图1的IVR系统182)提供增强的GUI体验。诸如图1的计算系统160和实体系统180的计算设备210的其他组件以及其他外部设备或系统，可以类似地从辅助模块224和上下文模块226获得附加信息以支持增强的GUI服务，例如，类似于图1的系统100所提供的服务。辅助模块224通过与用户和由辅助模块224提供的辅助服务的交互，输出关于计算设备110或计算设备110的用户获得的信息，并且上下文模块226输出与计算设备110或计算设备110的用户相关联的上下文信息。

上下文模块226可以处理和分析与计算设备210相关联的上下文信息。在一些情况下，上下文模块226可以处理上下文信息以定义计算设备210的上下文或计算设备210的用户的上下文。

在整个公开中使用的术语“上下文信息”是指可以在向IVR系统进行电话呼叫期间由计算系统和/或计算设备(诸如计算设备210)用来提供增强的GUI服务的任何可能的信息。上下文信息可以包括：设备位置和/或感官信息、感兴趣的用户主题(例如，通常作为用户兴趣图或某种其他类型的数据结构维护的用户喜欢的“事物”)、与用户相关联的联系信息(例如，用户的个人联系信息以及关于用户的朋友、同事、社交媒体连接、家庭等的信息)、搜索历史、位置历史、长期和短期任务、日历信息、应用使用历史、购买历史、标记为收藏夹的项目、电子书签以及计算设备210可以从与计算设备210的交互中收集关于计算设备210的用户的其他信息。

此外，上下文信息可以包括关于计算设备的操作状态的信息。例如，在给定时间或在特定位置执行的应用是关于计算设备的操作状态的信息的示例。指示计算设备的操作状态的上下文信息的其他示例包括但不限于开关的位置、电池电量、设备是否插入壁装电源插座或以其他方式可操作地耦合到另一设备和/或机器、用户认证信息(例如，哪个用户当前正在认证或是设备的当前用户)、设备是否在“飞机”模式、待机模式、全功率模式下操作、无线电的操作状态、通信单元、输入设备和输出设备等。

与“上下文信息”相反，术语“上下文”是指在特定时间来自与计算设备和/或计算设备的用户相关联的特征集合的每个特征的特定状态。上下文可以指示在特定位置和/或时间与用户和/或计算设备的物理和/或虚拟环境相关联的特性。作为一些示例，计算设备的上下文可以指定声学指纹、视频指纹、位置、移动轨迹、方向、速度、地点名称、街道地址、地点类型、建筑物、在不同的位置和时间的天气状况和交通状况。作为一些其他示例，计算设备的上下文可以指定日历事件、会议或与位置或时间相关联的其他事件。

在一些示例中，计算设备的上下文可以指定在特定时间访问的任何网页地址、在特定时间在网页的数据字段中进行的一个或多个文本条目，包括搜索或浏览历史记录，在特定时间进行的产品购买、产品愿望清单、产品注册表以及与各种位置和时间相关联的其他应用使用数据。计算设备的上下文可以进一步指定在存在计算设备的情况下在各种位置和时间访问或广播的音频和/或视频，在存在计算设备的情况下在各种位置和时间访问或广播的电视或有线/卫星广播，以及有关计算设备在各种位置和时间访问的其他服务的信息。

当收集、存储和使用上下文信息或任何其他用户或设备数据时，计算设备210采取预防措施以确保保留用户隐私。即，如果计算设备210接收到上下文信息源自的各个用户的明确许可，则计算设备210仅可以收集、存储和分析上下文信息。例如，在计算设备210可以收集信息以为IVR系统提供增强的GUI体验的情况下，可以向计算设备210的用户提供向计算设备210提供输入以控制计算设备210是否可以收集并利用他们的信息的机会。可以进一步给各个用户提供控制计算设备210可以或不可以使用该信息做什么的机会。

在将计算设备210收集的任何数据传输到计算设备210，由计算设备210存储或以其他方式使用之前，可以用一种或多种方式对其进行预处理，以便去除个人身份信息。例如，在计算设备210收集上下文信息之前，计算设备210可以对上下文信息进行预处理，以确保在被计算设备210存储或转移到外部计算设备或系统之前，移除任何嵌入在上下文信息中的用户识别信息或设备识别信息。用户可以完全控制是否收集上下文信息，如果可以，则可以控制计算设备210如何使用这些信息。

辅助模块224为计算设备210提供对智能数字助理服务和功能的访问。在某些情况下，辅助模块224可以输出与用户相关联的辅助信息，电话模块222使用该辅助信息来为IVR系统提供增强的GUI服务。

辅助模块224是配置为满足从计算设备210的用户接收的用户输入(例如，语音、文本输入等)的智能辅助组件。辅助模块124可以在计算设备210本地执行，或者在在一些示例中，辅助模块124是例如在云计算环境中远程执行的辅助服务的接口(例如，应用编程接口或“API”)。

辅助模块224使计算设备210能够经由计算设备210接收自然语言输入(例如，对话)以执行“现实世界”任务。辅助模块224可以被编程或者可以随着时间的流逝而适应以学习如何并且完成具体任务，诸如安排某些类型的约会。对于这样的任务，辅助模块224执行用户输入(例如，说话、打字等)的自然语言处理技术，以使用户体验尽可能自然，从而允许用户像对其他人一样正常地键入或说出语音，而不必使他们的语言适应机器的语言。

辅助模块224可以包括一个或多个软件代理(例如，也称为“代理”)，该软件代理被配置为给诸如计算设备210的用户的个人执行与专业辅助相关的任务或服务。辅助模块224的代理可以基于用户输入(例如，在UIC 212处检测到)、位置感知(例如，基于从上下文模块226接收到的上下文信息)和/或从各种信息源(例如，本地存储在计算设备210上，远程存储或经由搜索服务获得的信息(经由互联网可访问的))访问其他信息的能力(例如，天气或交通状况、新闻、股票价格、运动成绩、用户时间表、运输时间表、零售价格等)来执行任务或服务。辅助模块224可以执行机器学习或人工智能技术以代表用户自动识别并完成一个或多个任务。

电话模块222可以包括图1的计算设备110的电话模块122的所有功能，并且可以执行与电话模块122类似的操作，以处理计算设备210的电话功能。作为处理电话功能的一部分，电话模块222可以与诸如计算系统160和实体系统180的外部系统和设备进行通信，以为诸如IVR系统182的IVR系统提供用于交互的GUI。电话模块222可以与UI模块220、辅助模块224和上下文模块226通信，以提供用于与IVR系统交互的GUI。

电话模块222被配置为使计算设备210能够与通过诸如网络130(例如，CS网络、IP分组交换网络等)的电信网络提供的电话服务进行交互。附加地或可替代地，电话模块222被配置为使计算设备210能够根据一个或多个公共或私有通信协议和标准与通过互联网提供的电话服务进行交互。电话模块222可以代表计算设备210发起和接收电话呼叫。例如，电话模块222可以与通过网络130交换电话信息的通信单元242进行交互。

电话模块222包括电话信道接口223A，并且在一些示例中，包括补充数据信道接口223B。电话通道接口223A和补充数据通道接口223B统称为“接口223”，使电话模块222可以将信息传达给外部实体，例如实体系统180。

电话模块222可以使用电话信道接口223A来交换语音呼叫信息，以使计算设备210能够与外部实体进行数字电话呼叫。例如，电话模块222可以在计算设备210与外部实体之间的数字电话呼叫期间，响应于在计算设备210与诸如实体系统180的外部实体之间交换的、嵌入在语音数据流中的一个或多个命令或信号来编码、解码、解释和执行操作。电话模块222可以根据IMS和SIP、VoIP或其他电信协议来处理语音呼叫数据流。电话模块222可以利用电话信道接口223A向DTR系统182发送DTMF代码、口头响应、IMS和SIP消息传递或其他输入。

在某些情况下，除了电话通道接口223A之外，电话模块222还可包括补充数据通道接口223B以与其他计算系统交换已经经由电话信道接口223A接收到的信息类型之外的其他信息，以促进IVR系统GUI服务。其他信息的示例可以包括：上下文信息、支付或交易信息、用户信息、关于计算设备210的信息以及其他类型的信息。电话模块222可以利用补充数据信道接口223B发送信息，而不是向IVR系统182发送已由电话模块222使用接口223A发送的DTMF代码、语音响应或其他输入。作为示例，电话模块222可以与IVR系统182交换信息，该信息使IVR系统182能够执行IVR系统182的典型能力之外的操作。例如，需要比使用DTMF代码或IMS和SIP消息传递能够交换的信息更多的信息的操作。

在一些示例中，电话调查可以受益于本公开的技术。也就是说，在电话调查中，IVR系统可能会联系用户的移动设备，并通常请求用户“使用您的按键式小键盘，提供对以下问题的回答，其中按'0'是否定的响应而按'1'是肯定的响应”，或者IVR系统可能会提示用户输入“满意”，其中“0”是非常不满意，“1”是大部分不满意，“2”是不关心，“3”是有些满意，而“4”是非常满意。一遍又一遍地提示用户每个问题可能会产生一个很长、很无聊且耗时的调查。然而，本公开的技术可以使移动电话能够自动提供基于GUI的调查，以改善用户体验并使收集调查响应更加有效。

电话模块222可以从计算系统160、实体系统180或IVR系统GUI服务提供商的其他设备或系统获得其他信息。电话模块222可以将其他信息输出到计算系统160、实体系统180或IVR系统GUI服务提供商的其他设备或系统。电话模块222可以从模块224和/或模块226获得，或者与模块224和/或模块226共享电话模块222与计算系统160、实体系统180或IVR系统GUI服务提供商的其他设备或系统交换的其他信息的一部分。例如，电话模块222可以将从辅助模块224获得的辅助生成的信息发送到计算系统160或实体系统180。在一些情况下，电话模块222可以将由上下文模块226收集的上下文信息发送到计算系统160或实体系统180。

图3是示出了根据本公开的一个或多个方面的示例计算系统的框图，该示例计算系统被配置为向交互式语音响应系统提供增强的用户界面。在图1的上下文中描述图3。例如，图3的计算系统360是图1的计算系统160的示例。图3仅示出了计算系统160的一个特定示例，并且计算系统160的许多其他示例可以在其他实例中使用，并且可以包括示例计算系统160中包括的组件的子集，或者可以包括图3中未示出的附加组件。

计算系统360包括一个或多个处理器370、一个或多个通信单元372以及一个或多个存储组件376，它们全部经由一个或多个通信通道374通信耦合。处理器370、通信单元372、存储组件376和通信通道374分别类似于计算设备210的处理器240、通信单元242、通信通道250和存储组件248。

一个或多个存储组件376包括电话GUI模块362、通信模块366以及可选的辅助模块364。电话GUI模块362包括GUI控制模块365，GUI控制模块365包括机器学习(ML)模型367。通信模块366包括电话信道接口323A和补充数据信道接口323B。

辅助模块364可以类似于计算设备210的辅助模块224，因为辅助模块364为计算系统360提供了对智能、数字辅助服务和功能的访问。在一些情况下，辅助模块364可以输出与访问由电话GUI模块362管理的IVR系统的增强的GUI服务的计算设备的用户相关联的辅助信息。辅助模块364可以与计算设备210或其他辅助服务提供商的辅助模块224通信，以获得电话GUI模块362为增强的IVR系统GUI所需的其他信息，或IVR系统(诸如IVR系统182)为执行操作所需的其他信息。例如，辅助模块364可以将由辅助模块264维护的或可由辅助模块264访问(例如，由在计算设备210处执行的移动支付应用维护)的用户特定信息分配给电话GUI模块362或IVR系统182。辅助模块364可以将例如由辅助模块264维护或可由辅助模块264访问的用户特定信息(例如，除了用户的姓名或电话号码之外)分配给电话GUI模块362或IVR系统182(例如，当由在计算设备210处执行的移动支付应用或在可经由网络130访问的云环境中维护时)。

通信模块366被配置为控制通信单元372以管理计算系统360的一个或多个网络通信接口。通信模块366包括电话信道接口323A，并且可选地包括补充数据信道接口323B(统称为“接口323”)。

接口323类似于计算设备210的电话模块222的接口223。也就是说，通信模块366可以经由电话信道接口323A发送和/或接收电话信息。通信模块366可以经由补充数据信道接口323B发送和/或接收其他信息。通信模块366可以代表辅助模块364和电话GUI模块362经由接口323交换(发送和/或接收)信息，作为电话GUI模块362提供的服务的一部分。

电话GUI模块362管理网络可访问的IVR系统GUI服务。电话GUI模块362类似于并且可以包括与计算系统160的电话GUI模块162相同的功能中的至少一些。也就是说，电话GUI模块362可以与通信模块366和通信单元372交互以与外部实体(例如实体系统180)和外部设备(例如计算设备110、210)通信，以在外部设备呼叫外部实体的IVR系统时，促进外部设备处的增强的GUI体验。

电话GUI模块362的GUI控制模块365在诸如计算设备110、210的计算设备处输出用于产生IVR系统GUI的指令。GUI控制模块365可以根据从通信模块366和/或辅助模块364接收的信息来生成指令。例如，GUI控制模块365可以观察经由电话信道接口323A获得的IMS数据。IMS数据可以是在订阅实体和/或计算设备之间的电话呼叫期间发生的IMS数据流的一部分。GUI控制模块365可以包括用于识别IMS数据内的SIP信号的一个或多个规则或过滤器，当被识别时，该SIP信号可以引起对IVR系统GUI中包含的信息的改变或更新。

GUI控制模块365可以获得关于诸如计算设备110、210的计算设备的用户的附加信息，以便生成用于在计算设备处产生IVR系统GUI的指令。在与附加信息相关联的用户的明确许可下，GUI控制模块365可以使电话GUI模块362与诸如实体系统180的订阅实体系统共享附加信息，以使该实体系统能够执行如果没有附加信息的情况下以其他方式不可能，至少执行起来不会更困难的操作。在计算系统360包括辅助模块364的情况下，GUI控制模块365可以与辅助模块364通信以获得关于计算设备的至少一些附加信息。在一些情况下，GUI控制模块365与外部实体和计算设备对接以获得关于计算设备的附加信息。例如，GUI控制模块365可以与实体系统180的IVR系统182和/或计算设备110、210的电话模块122、222通信，以获得关于用户的计算设备的附加信息。

GUI控制模块365可以获得关于诸如实体系统180和IVR系统182的实体系统或IVR系统的附加信息，以便在用户的计算机处生成用于产生与IVR系统相关联的IVR系统GUI的指令。GUI控制模块365可以使电话GUI模块362与诸如计算设备110、210的计算设备共享附加信息，以使得计算设备能够更新或改变在IVR系统GUI中呈现的信息。在计算系统360包括辅助模块364的情况下，GUI控制模块365可以与辅助模块364通信以获得关于计算设备的至少一些附加信息。在一些情况下，GUI控制模块365与外部实体和计算设备对接以获得关于订阅实体的附加信息。例如，GUI控制模块365可以与实体系统180的IVR系统182和/或计算设备110、210的电话模块122、222通信，以获得关于IVR系统182的附加信息。

在一些示例中，GUI控制模块365收集的关于实体系统或IVR系统的附加信息包括与IVR系统的各个节点相关联的状态信息，包括：连接至节点的预期等待时间、连接到节点的平均等待时间、等待连接到节点的实际等待时间、呼叫者的帐户状态信息、呼叫者的订单状态信息、订单运送信息、项目或服务成本以及可用性信息等。在一些示例中，就像动态状态信息一样，附加信息可以包括静态信息，诸如目录信息、技术支持建议以及随时间变化或可能不变化的其他类型的附加信息。除了获得关于计算设备的用户或实体的IVR系统的附加信息之外，GUI控制模块365还可以做出关于该用户或IVR系统的预测。

机器学习(ML)模型367是一种机器学习模型，它是基于一个或多个计算设备(诸如计算设备110、210和其他设备，以及一个或多个IVR系统，包括IVR系统182和其他IVR系统)之间过去的电话呼叫训练的，以做出关于用户和IVR系统的预测。在一些实施方式中，训练ML模型367以接收一种或多种类型的输入数据，并且作为响应，提供一种或多种类型的输出数据。输入数据和对应输出数据的示例包括先前观察到的遍历IVR系统节点的一部分的等待时间，以及用于得出给定上下文在将来进行遍历的预期等待时间的对应规则。输入数据和对应输出数据的另一个示例包括对于给定的上下文，通过IVR系统的节点的先前遍历的路径，以及预测通过IVR系统的各个节点的未来路径的对应程序。

在任何情况下，输入数据都可以包括与实例、上下文或示例相关联的一个或多个特征。给定与特定实例、上下文相关联的特征，例如，ML模型367可以输出对该实例、上下文或示例的预测。例如，基于先前观察到的对IVR系统的电话呼叫，ML模型367可以确定先前观察到的电话呼叫的特征，关于用于进行先前的电话呼叫的设备的上下文信息等，并给定类似上下文生成用于预测在对IVR系统的将来的电话呼叫的过程中可能发生的情况的规则。

ML模型367可以是或包括各种不同类型的机器学习模型中的一种或多种。特别地，在一些实施方式中，ML模型367可以执行分类、回归、聚类、异常检测、推荐生成和/或其他任务。不同类型的机器学习模型的示例包括：分类器模型，例如线性分类模型；二次分类模型和回归模型，例如简单的线性回归模型；多元线性回归模型；逻辑回归模型；逐步回归模型；多元自适应回归样条；局部估计的散点图平滑模型等。其他类型的模型包括基于决策树的模型，例如分类和/或回归树；迭代二分法3决策树；C4.5决策树；卡方自动交互检测决策树；决策树桩；有条件的决策树等；内核机器，支持向量机以及基于实例的学习模型，例如学习向量量化模型；自组织地图模型；本地加权学习模型等。在一些实施方式中，ML模型367可以是或包括一个或多个最近邻居模型，例如，k个最近邻居分类模型；k个最近邻居回归模型等；贝叶斯模型，例如朴素的贝叶斯模型；高斯朴素贝叶斯模型；多项式朴素贝叶斯模型；平均一依赖估计量；贝叶斯网络；贝叶斯信念网络；隐藏的马尔可夫模型等。

在一些实施方式中，ML模型367可以是或包括一个或多个人工神经网络(也简称为神经网络)，包括包含多层的神经网络，即所谓的“深度”网络，前馈网络，递归网络神经网络，包括长期短期(LSTM)循环神经网络；门控循环单元；双向递归神经网络；连续时间递归神经网络；神经历史压缩机；回声状态网络；Elman网络；约旦网络；递归神经网络；Hopfield网络；完全循环网络；序列到序列的配置等。在一些实施方式中，ML模型367可以是或包括一个或多个卷积神经网络，生成网络，例如生成对抗性或其他形式的人工神经网络，例如深玻尔兹曼机器；深入信仰网络；堆叠式自动编码器等。本文描述的任何神经网络都可以组合(例如，堆叠)以形成更复杂的网络。

在一些实施方式中，ML模型367可以以一种或多种推荐的形式提供输出数据。例如，ML模型367可以是推荐系统或引擎。作为示例，描述某些实体的先前结果的给定输入数据(例如，表示成功或享受的分数，排名或评级)，ML模型367可以输出一个或多个附加实体的建议或推荐，其基于先前的结果，预期具有期望的结果(例如，得出表示成功或享受的分数，排名或等级)。作为一个示例，给定的输入数据描述了诸如图1的计算设备110的计算设备的上下文，推荐系统，诸如计算系统360，可以输出用户遍历到IVR系统的“回叫节点”而不是对代表节点讲话的给定特定上下文(例如，一天的时间)或基于与对代表节点讲话相关联的预期或实际等待时间的建议或推荐。

GUI控制模块365可以依赖ML模型367来推断关于计算设备或IVR系统用户的附加信息(即，类似于直接从辅助模块364、IVR系统182或电话模块222获得的附加信息)。例如，ML模型367可以根据从对IVR系统或其他IVR系统的用户过去行为的观察给出的推论或规则来预测关于用户的附加信息。以类似的方式，ML模型367可以根据从对IVR系统或其他IVR系统的其他用户的过去行为的观察得出的推论或规则来预测关于用户的附加信息。ML模型367可以根据对IVR系统或其他IVR系统的过去电话呼叫的观察得出的推论或规则预测关于IVR系统的附加信息。

图4是示出根据本公开的一个或多个方面的示例实体系统的框图，该示例实体系统被配置为向交互式语音响应系统提供增强的用户界面。在图1的上下文中描述图4。例如，图4的实体系统480是图1的实体系统180的示例。图4仅示出了实体系统480的一个特定示例，并且实体系统480的许多其他示例可以在其他实例中使用，并且可以包括在示例实体系统480中包括的组件的子集，或者可以包括在图4中未示出的附加组件。

实体系统480包括一个或多个处理器470、一个或多个通信单元472和一个或多个存储组件476，它们均通过一个或多个通信通道474通信耦合。处理器470、通信单元472、存储组件476和通信通道474分别类似于计算系统210、计算系统360的处理器240、370、通信单元242、372、通信通道250、374和存储组件248、376。

一个或多个存储组件476包括IVR系统482、通信模块466和运营商GUI模块484。通信模块466包括电话信道接口423A和补充数据信道接口423B。通信模块466类似于通信模块366，因为通信模块466被配置为控制通信单元472以管理计算系统460的一个或多个网络通信接口。

通信模块466包括电话信道接口423A，并且可选地包括补充数据信道接口423B(统称为“接口423”)。接口323类似于计算设备210的电话模块222的接口223和计算系统360的接口323。即，通信模块466可以经由电话信道接口423A发送和/或接收电话信息。通信模块466可以经由补充数据信道接口423B发送和/或接收其他信息。通信模块366可以代表IVR系统482和运营商GUI模块484经由接口423交换(发送和/或接收)信息。

IVR系统482和运营商GUI模块484代表实体系统480提供IVR服务。类似于实体系统180的IVR系统182，通过包括IVR系统182的一些或全部相同功能，IVR系统482控制由实体系统480提供的IVR服务的电话功能。运营商GUI模块484向实体系统480提供用户界面，与实体系统480相关联的用户可以从该用户界面管理已经与呼叫IVR系统482的客户端设备的用户并与之交互。

IVR系统482管理分别与IVR系统的一个或多个功能相关联的一组节点(例如，树或其他分层数据结构)。IVR系统482使用规则从一个节点遍历到下一节点。规则以包括DTMF代码、语音响应等的用户输入作为输入，并基于用户输入从当前节点遍历到下一个节点。在一些示例中，IVR系统482的每个节点包括一个或多个相关联的功能、操作或特征。

例如，节点可以包括回叫功能和等待保持选项。如果IVR系统482识别出选择了回叫功能的输入，则IVR系统482可以将用户的电话号码存储在堆栈中，并且可以输出(例如，经由电话信道接口423A或补充数据信道接口423B)用户应该预期回叫的预期的一天的时间的指示。当用户的电话号码到达堆栈的输出时，IVR系统482可以自动连接到用户的计算设备。如果IVR系统482识别出选择了等待保持功能的输入，则IVR系统482可以将用户的电话号码存储在IVR系统482的堆栈中，直到遍历下一个节点为止，其中与实体系统180相关联的运营商可以从堆栈中移除电话号码，并与用户互动。

IVR系统482可以响应于在电话信道接口423A处接收到的电话通信数据流来执行操作。另外，与其他IVR系统不同，IVR系统482可以使用从电话通信数据流中闪烁的附加信息来执行高级功能，或者在某些示例中，可以使用从补充数据信道接口(即电话通信数据流外部)获得的附加信息来执行高级功能。

例如，IVR系统482可以基于传统的电话命令和嵌入在数据流中的信号来处理IMS数据流以执行操作。另外，IVR系统482可以对隐藏的特征、参数和编码到IMS数据流中的消息进行解码，这使IVR系统482能够执行更复杂的操作。例如，不是要求用户输入DTMF代码或语音提示，而是使用电话键盘输入帐号、社会保险号、信用卡号、地址、电话号码或任何其他个人可识别或其他敏感信息，IVR系统482可以通过订阅IVR系统GUI服务来获得这样的敏感信息或附加信息，其中，提供商系统或客户端计算设备使用接口423之一来发送传输其他个人可识别信息或其他敏感信息。通过以这种方式，通过利用电话通信网络，在实体和客户端设备之间传输敏感信息的传输可能比其他形式的传输(例如网页界面或其他安全性较低的媒体媒介)更安全。此外，通过利用多个通道信道(例如，电话通道信道接口和补充数据通道信道接口)，IVR系统482较不容易受到黑客攻击或窥探，因此比主要通过单个电话通信信道交换信息的其他IVR系统更安全。

运营商GUI模块484提供了进入IVR系统482的用户界面，运营商可以从该界面与IVR系统482的客户端进行交互。与其他IVR系统相比，GUI模块484受益于IVR系统482增强的功能，因为它可以访问关于客户端的(例如，经由接口423之一获得的)附加信息。GUI模块484可以为IVR系统482的用户提供更有用的运营商体验，从而当客户端连接到IVR系统482时提供更好的客户体验(例如，减少烦恼，减少时间消耗等)。

例如，补充数据信道接口423B可以使客户端设备(诸如计算设备110)提供针对经由IVR系统482请求的服务的支付信息。该支付信息可以由客户端设备的电子钱包存储，并且电子钱包可以经由补充数据通道接口423B将支付信息发送给运营商GUI模块484，以例如批准或拒绝订单。作为另一个示例，客户端设备可以与IVR系统482连接以更新与实体系统480相关联的账户的地址。不是要求客户端设备的用户向IVR系统482的运营商提供DTMF代码或说出语音输入，而是用户可以仅在客户端设备上单击GUI元素以向实体系统480发送电子地址薄条目。响应于接收到电子地址薄条目，运营商GUI模块484可以使运营商的显示器呈现条目的图形化指示，运营商可以经由到客户端设备的电话连接从该条目中大声地读出条目的文本，以便客户端设备的用户可以口头确认该条目的准确性。

图5是示出根据本公开的一个或多个方面的示例系统的概念图，该示例系统被配置为向交互式语音响应系统提供增强的用户界面。图5的系统500包括计算设备510、计算系统560、实体系统580和网络530。实体系统580输出用于显示的运营商用户界面515，并且计算设备510输出用于显示的用户界面514。

在图1至图4的上下文中描述了图5。例如，图5的实体系统580是图1和图4的实体系统180、480的示例。图5的网络530是图1的网络130的示例。图5的计算系统560是图1和图3的计算系统160、360的示例。图5的计算设备510是图1和图2的计算设备110、210的示例。图5仅示出系统500的一个特定示例，并且系统500的许多其他示例可以在其他实例中使用，并且可以包括示例系统500中包括的组件的子集，或者可以包括图5中未示出的附加组件。

根据本公开的技术，计算设备510可以向实体系统580的IVR系统发起电话呼叫。计算设备510可以代替输出与IVR系统相关联的可听接口，而输出用于显示的用户界面514，即与实体系统580相关联的IVR系统GUI。计算设备510可以访问计算系统560提供的服务，以获得在计算设备510上本地再现用户界面514所需的指令。

无论如何，用户界面514的初始屏幕包括指示用户帐户名称(例如“客户A”)的一般欢迎消息。系统500的组件可以交换传统类型的电话信息以外的附加信息，以提供用户界面514。例如，在计算系统560处执行的电话GUI模块可以从实体系统580和/或计算系统560可访问的辅助服务中获得用户的帐户名称的指示以及其他类型的附加信息以定制用户体验。电话GUI模块可以向计算设备510发送指令，该指令使计算设备510的电话模块在用户界面514的各个部分处包括附加信息的各方面。

用于在诸如计算设备510的客户端计算设备处提供IVR系统GUI的类似技术可以应用于诸如实体系统580的实体系统，以提供运营商侧IVR系统GUI。例如，从用户界面514和515的屏幕的图5中的并列位置可以看出，当计算设备510正在显示与用户界面514相关联的欢迎屏幕时，实体系统正在向运营商用户显示与实体系统580的IVR系统相关联的主状态屏幕。就像计算设备510可以获得附加信息来更新用户界面514的状态一样，实体系统580可以获得附加信息，包括状态信息、呼叫者信息、账户信息等，以使实体系统580能够通过IVR系统的节点跟踪用户的进度，并在用户界面515内显示进度指示。

例如，在用户导航到IVR系统的“新订单”节点并经由用户界面514选择下达新订单的操作之后，用户界面515可以向运营商显示订单页面，该页面显示客户A的订单正在待处理。现在，在“下新订单”节点处，用户经由用户界面514选择用于支付新订单的操作。计算系统510可以自动将支付信息发送给实体系统580以处理新订单。例如，可以使用在系统500的组件之间建立的补充数据信道，经由电话(例如，IMS)数据流内或数据流之外的编码消息将该支付信息发送到实体系统580。

在一些示例中，在电话呼叫期间，计算设备510可以经由计算系统560获得与实体系统580的IVR系统的一个层次结构的选项中的特定选项相关联的状态信息。例如，使用补充数据信道或经由用于进行电话呼叫的相同电话信道，计算设备510可以获得与实体系统580的IVR系统相关联的预期等待时间的指示。

计算设备510可以输出与特定选项相关联的状态指示符以作为用户界面514的一部分进行显示。例如，计算设备510可以使用状态信息(例如，期望的等待时间)来生成图形元素，其被计算设备510包括在用户界面514中以向计算设备510的用户指示该状态信息。在图5中，计算设备510在用户界面514中显示指示与运营商说话的预期等待时间为5m的文本，作为状态信息的指示。存在状态指示符的其他示例，包括使用各种形状、大小、颜色、动画等其他类型的图形元素、图像和对象。

响应于获得与特定选项相关联的更新状态信息，计算设备510可以基于与特定选项相关联的更新状态信息来更新状态指示符。例如，在电话呼叫期间，计算设备510可以经由计算系统560获得与特定选项相关联的更新状态信息。例如，使用补充数据信道，或者经由用于进行电话呼叫的相同电话信道，计算设备510可以获得与实体系统580的IVR系统相关联的更新的预期等待时间的指示。例如，由于与实体系统580相关联的运营商之一当天必须提早回家，且由于实体系统580减少了处理传入呼叫的带宽，预期等待时间已从5m增加到15m。计算设备510可以使用户界面514显示更新的文本，该更新的文本指示与运营商说话的预期等待时间已变为10m。在一些示例中，更新的状态指示符可以包括使用各种形状、大小、颜色、动画等的更新的文本、图形元素、图像、对象，以使计算设备510的用户知道该改变。

图6是示出根据本公开的一个或多个方面的由配置为向交互式语音响应系统提供增强的用户界面的示例计算系统执行的示例操作的流程图。在图1的上下文中描述图6。例如，操作600至614可以由计算设备110、计算系统160或系统100的计算设备110和计算系统160的组合执行。操作616至620可以由图1的系统100的实体系统180执行。操作600至620可以以与图6所示不同的顺序或以更多或更少的操作来执行。

根据本公开的技术，计算设备110可以接收用户请求以发起对依赖于IVR系统182的实体系统180的电话呼叫(600)。例如，UI模块120可以经由UIC112检测导致计算设备110启动电话应用的用户输入。响应于用户输入，电话模块122可以发起到实体系统180的电话呼叫。

在一些示例中，计算设备110可以被配置为显示IVR系统GUI或不显示IVR系统GUI。例如，UI模块120可以使UIC 112显示用于切换、打开和关闭、对由计算系统160提供的IVR系统GUI服务的访问的可选元素。响应于从UI模块120接收到关于对计算设备110的选项的用户选择的信息，以便每当进行到IVR系统的电话呼叫时就启用图形用户界面，电话模块122可以使UIC输出用于显示的用户界面114。在用户没有选择该选项的情况下，计算设备110可以显示默认电话用户界面，包括小键盘的图形指示等。然而，在用户为IVR GUI选择选项的情况下，计算设备110可以执行操作602至606以显示用户界面114，而不是计算设备110的默认电话用户界面。

计算设备110和/或计算系统160可以获得关于与实体系统180的IVR系统182相关联的一个层次结构的选项的信息(602)。例如，计算系统160的电话GUI模块162可以从实体系统180请求IVR系统182的节点地图。实体系统180可以通过提供关于IVR系统182的所述一个层次结构的选项的信息来响应该请求(616)。

在其他示例中，电话GUI模块162执行对IVR系统182的不同节点的一系列呼叫，以自动生成IVR系统182的地图。并且在其他示例中，电话GUI模块162可以获得与IVR系统182相关联的选项的信息，以基于从在其他计算系统处执行的其他电话GUI模块收集的信息来生成IVR系统182的节点地图。在一些情况下，电话GUI模块162可以执行机器学习模型以预测关于与IVR系统182相关联的选项的信息。

计算设备110和/或计算系统160可以生成用于IVR系统182的GUI(604)。例如，电话GUI模块162可以使用关于IVR系统182的每个节点可用的不同选项的信息，与IVR系统182的节点相关联的功能以及关于计算设备110的用户、计算设备110或与实体系统180相关联的用户帐户的附加信息来填充GUI模板。电话GUI模块162可以基于学习到的用户偏好(例如，计算设备110的用户或其他计算设备的其他用户)来组织GUI的元素。电话GUI模块162可以使用基于先前生成的IVR系统GUI的特征预测的信息来填充GUI。

计算设备110可以输出用于导航与IVR系统182相关联的所述一个层次结构的选项的用户界面1141以用于显示(606)。例如，计算设备110的电话模块222可以从电话模块162获得用于在UIC 112处渲染用户界面114的指令。电话模块222可以处理该指令并命令UI模块120以在UIC 112处显示用户界面114。

在一些示例中，电话模块222抑制或选择性地启用由IVR系统182输出的与IVR系统182相关联的可听接口的各方面。例如，计算设备110可使用电话模块222在显示用户界面114时接收与IVR系统182相关联的音频。有时，电话模块222可以使计算设备110在输出用户界面113用于显示时避免输出与IVR系统182相关的至少一些音频。例如，当电话模块222识别出机器产生的语音或大声读取的菜单选项列表时，电话模块222可以抑制音频，因为用户宁愿与用户界面114进行交互。

在电话呼叫期间，响应于从与IVR系统182相关联的音频中检测到未记录的人的语音，电话模块222可以使计算设备110经由UIC 112输出与包括未记录的人的语音的IVR系统182相关联的音频的至少一部分。换句话说，如果人类运营商在IVR系统182与计算设备110之间的通信会话期间上线，则计算设备110可以自动避免抑制IVR系统182的音频接口。在这种情况下，电话模块222可以停止显示用户界面114或可以继续显示用户界面114。例如，运营商可以响应于接收到请求协助下订单的命令而在与计算设备110的IVR会话期间进行干预。在回答了客户的问题后，客户可以在用户界面114内单击以发送用于订单的支付。从计算设备110可访问的电子支付服务可以将钱转账到实体系统180的用户帐户。当支付通过时，运营商可以通过电话讲话以确认已接收到支付。

计算设备110可以接收与用户界面114相关联的一个或多个用户输入(608)。例如，用户可以选择在用户界面114中呈现的操作，诸如检查待处理但尚未被运送的订单的运送状态的支票帐户选项。电话GUI模块162可以例如通过与在计算设备110处执行的辅助服务进行交互，来在用户界面114中包括关于待处理订单和已发货订单的信息，该辅助服务跟踪用户下的订单并跟踪它们的发货状态。

然而，在此示例中，辅助服务不包含关于待处理订单状态的信息，因为该订单仍在实体系统180的手中。因此，电话模块222向IVR系统182请求关于待处理订单的附加信息。

计算设备110和/或计算系统160可以将与用户界面114相关联的用户输入映射到对应的IVR系统输入(610)。例如，电话模块222可以将用户输入的指示发送到电话GUI模块162，以解释并结合到计算设备110和实体系统180之间的电话通信流中。电话GUI模块162可以将与用户界面114相关联的一个或多个用户输入转换为IVR系统182识别的一个或多个对应输入。电话GUI模块162可以向电话模块222发送信息以包括在电话数据流中，以命令IVR系统182导航到IVR系统182的订单状态节点。除了提供节点导航命令之外，电话GUI模块162还可向电话模块222发送IVR系统182处理该命令所需的其他信息。例如，由于电话GUI模块162具有关于特定订单的信息(例如，订单号、用户帐号或IVR系统182执行命令所需的其他信息)，电话GUI模块162可以将其他信息发送至电话模块222，用于进一步包含在IMS数据流中或用于经由计算设备110和实体系统180之间的不同通信信道发送。在任何情况下，响应于一个或多个对应输入，计算设备110都可以向实体系统180输出一个或多个对应输入的指示以及实体执行操作所需的其他信息。

实体系统180可以基于映射输入和映射输入中未传达的其他信息来执行IVR操作(618)。例如，IVR系统182可以导航到IVR系统182的订单状态节点。IVR系统182可以反馈从计算设备110获得的(例如，嵌入在IMS数据流中或经由补充数据信道接收的)关于特定订单的信息(例如，订单号、用户帐号或其他信息)。

使用关于特定订单的附加信息，IVR系统182可以执行订单状态查找操作以获得关于待处理订单的信息，而不需要计算设备110的用户或IVR系统182的运营商必须提供指定特定顺序的任何输入。

实体系统180可以输出操作的结果(620)。例如，实体系统180可以在电话数据流内或经由补充数据信道将订单状态查找操作的结果的指示返回电话模块222。

响应于输出一个或多个对应输入和其他信息的指示，计算设备110或计算系统160可以基于计算设备110接收到的附加信息来更新用户界面114(612)。例如，使用从实体系统180获得的信息，电话GUI模块162可以生成用户界面114的订单状态页面，计算设备110的用户可以从该界面查看关于该订单在实体处的处理周期中的位置的信息。

计算设备110可以基于结果显示更新的用户界面114(614)。例如，电话模块222可以从电话GUI模块162接收更新的指令，该更新的指令使用户界面114反映关于订单在实体处的处理周期中的位置的信息。

在某些示例中，电话呼叫可能会掉线或以其他方式被中断(例如由于人为错误、技术错误、环境因素等)。为了改善用户体验，电话GUI模块162和电话模块222可以执行操作以自动保存相对于IVR系统182的用户状态。例如，电话模块222可以存储与到IVR系统182的电话呼叫相关联的会话识别符。会话识别符可以被嵌入在IMS流中并且还由实体系统180存储。实体系统180和电话模块222可以存储各自的电话呼叫的记录，其包括诸如以下信息：当前节点、附加信息、先前的节点、先前的选择以及关于该呼叫的其他信息。这样，响应于实体系统180与计算设备110之间的电信会话中的中断，电话模块122和IVR系统182可以使用会话识别符自动地重新建立电信会话。在电信会话被重新建立以对应于中断之前的用户界面114的状态之后，电话模块222可以引起用户界面114的状态。

条款1。一种方法，包括：由移动设备接收用户请求以发起对依赖于交互式语音响应系统的实体的电话呼叫；获得关于与交互式语音响应系统相关联的一个层次结构的选项的信息；由移动设备输出用于显示的图形用户界面，用于导航与交互式语音响应系统相关联的所述一个层次结构的选项；由移动设备接收与图形用户界面相关联的一个或多个用户输入；将与图形用户界面相关联的一个或多个用户输入转换为交互式语音响应系统所识别的一个或多个对应输入；由移动设备向实体输出一个或多个对应输入的指示以及实体响应于一个或多个对应输入而执行操作所需的其他信息；以及响应于输出一个或多个对应输入和其他信息的指示，基于移动设备接收的附加信息来更新图形用户界面。

条款2。根据条款1的方法，其中，实体执行操作所需的其他信息包括由在移动设备处执行的数字助理或在移动设备处执行的移动支付应用维护的用户特定信息。

条款3。根据条款1或2中的任一项的方法，其中，实体执行操作所需的其他信息包括用户的名称或与用户相关联的电话号码之外的用户特定信息。

条款4。根据条款1-3中的任一项的方法，还包括：在电话呼叫期间：获得与所述一个层次结构的选项中的特定选项相关联的状态信息；输出与该特定选项相关联的状态指示符以作为图形用户界面的一部分显示；以及响应于获得与该特定选项相关联的更新状态信息，基于与该特定选项相关联的更新状态信息来更新状态指示符。

条款5。根据条款4的方法，其中，至少以下之一：状态信息或更新后的状态信息是从机器学习模型中获得的，该机器学习模型是基于移动设备和实体或者其他移动电话和实体中的至少一个之间的过去的电话呼叫来训练的；或者从实体获得状态信息或更新后的状态信息。

条款6。根据条款1-5中的任一项的方法，其中，输出图形用户界面以进行显示包括：检测对用于启用图形用户界面的移动设备的选项的用户选择；响应于检测到用户选择，输出图形用户界面，而不是移动设备的默认电话用户界面以供显示。

条款7。根据条款1-6中任一项的方法，其中，一个或多个对应输入的指示经由第一通信信道被输出到实体；实体响应于一个或多个对应输入而执行操作所需的其他信息经由第二通信信道输出到实体。

条款8。根据条款7的方法，其中，第一通信信道包括第二通信信道，并且使用具有会话发起协议的互联网协议多媒体子系统。

条款9。根据条款1-8中的任一项的方法，其中，至少以下之一：经由通信信道从所述实体中获得关于所述一个层次结构的选项的信息；或者经由所述通信信道或从学习了所述附加信息的机器学习模型接收所述附加信息。

条款10。.根据条款1-9中的任一项所述的方法，其中，输出用于导航与所述交互式语音-响应界面相关联的所述一个层次结构的选项的图形用户界面以供显示，所述图形用户界面包括：由所述移动设备来接收与所述交互式语音响应界面相关联的音频，同时输出所述图形用户界面以供显示；当图形用户界面被输出用于显示时，移动设备禁止输出与交互式语音响应界面相关联的至少一些音频。

条款11。根据条款10的方法，还包括：在电话呼叫期间：响应于从与交互式语音响应界面相关联的音频中检测到未记录的人的语音，由移动设备输出与包括未记录的人的语音的交互式语音响应界面相关联的音频的至少一部分。

条款12。根据条款1-11中的任一项的方法，还包括：存储电话呼叫的会话识别符；以及响应于电信会话中的中断，使用会话识别符自动重新建立电信会话，其中，在重新建立电信会话之后的图形用户界面的状态对应于中断之前的图形用户界面的状态。

条款13。一种计算系统，包括至少一个处理器，该至少一个处理器被配置为执行条款1-12中的任一项的方法。

条款14。一种计算系统，其包括用于执行条款1-12中的任一项的方法的装置。

条款15。一种计算机可读存储介质，包括指令，该指令在被执行时使至少一个处理器执行条款1-12中的任一项的方法。通过示例而非限制的方式，这种计算机可读存储装置介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备、闪存或可用于以指令或数据结构形式存储所需程序代码并且可以由计算机访问任何其他的存储介质。而且，任何连接都适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(诸如红外、无线电和微波)从网站、服务器或其他远程源发送指令，则介质的定义包括同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如红外、无线电和微波)。但是，应当理解，计算机可读存储介质以及介质和数据存储介质不包括连接、载波、信号或其他瞬态介质，而是针对非瞬态的有形存储介质。本文使用的磁盘和光盘包括光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中光盘通常以磁性方式复制数据，而光盘则通过激光光学方式复制数据。上述的组合也应包括在计算机可读介质的范围内。

指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或分立逻辑电路。因此，如本文中所使用的，术语“处理器”可以指任何前述结构或适合于实现本文中所描述的技术的任何其他结构。另外，在一些方面，本文描述的功能可以在专用硬件和/或软件模块内提供。同样，该技术可以在一个或多个电路或逻辑元件中完全实现。

可以在包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)在内的多种设备或装置中实现本公开的技术。在本公开中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但不一定需要由不同硬件单元来实现。相反，如上所述，各种单元可以组合在硬件单元中，或者由包括如上所述的一个或多个处理器互操作硬件单元的集合结合合适的软件和/或固件提供。

已经描述了各种实施例。这些和其他实施例在所附权利要求的范围内。

Claims (15)

1.一种方法，包括：

由移动设备接收用户请求以发起对依赖于交互式语音响应系统的实体的电话呼叫；

获得关于与所述交互式语音响应系统相关联的一个层次结构的选项的信息；

由所述移动设备输出用于显示的图形用户界面，用于导航与所述交互式语音响应系统相关联的所述一个层次结构的选项；

由所述移动设备接收与所述图形用户界面相关联的一个或多个用户输入；

将与所述图形用户界面相关联的所述一个或多个用户输入转换为由所述交互式语音响应系统所识别的一个或多个对应输入；

由所述移动设备向所述实体输出所述一个或多个对应输入的指示以及由所述实体响应于所述一个或多个对应输入而执行操作所需的其他信息；以及

响应于输出所述一个或多个对应输入和所述其他信息的所述指示，基于由所述移动设备接收的附加信息来更新所述图形用户界面。

2.根据权利要求1所述的方法，其中，所述实体执行所述操作所需的所述其他信息包括由在所述移动设备处执行的数字助理或在所述移动设备处执行的移动支付应用所维护的用户特定信息。

3.根据权利要求1或2所述的方法，其中，所述实体执行所述操作所需的所述其他信息包括用户的名称或与所述用户相关联的电话号码之外的用户特定信息。

4.根据权利要求1-3中的任一项所述的方法，进一步包括：

在所述电话呼叫期间：

获得与所述一个层次结构的选项中的特定选项相关联的状态信息；

输出与所述特定选项相关联的状态指示符以作为所述图形用户界面的一部分显示；以及

响应于获得与所述特定选项相关联的更新状态信息，基于与所述特定选项相关联的所述更新状态信息来更新所述状态指示符。

5.根据权利要求4所述的方法，其中，至少以下之一：

所述状态信息或所述更新状态信息是从机器学习模型中获得的，所述机器学习模型是基于所述移动设备和所述实体或者其他移动电话和所述实体中的至少一个之间的过去的电话呼叫来训练的；或者

所述状态信息或所述更新状态信息是从所述实体获得的。

6.根据权利要求1-5中任一项所述的方法，其中，输出所述图形用户界面以进行显示包括：

检测对用于启用所述图形用户界面的所述移动设备的选项的用户选择；以及

响应于检测到所述用户选择，输出所述图形用户界面，而不是所述移动设备的默认电话用户界面以供显示。

7.根据权利要求1-6中任一项所述的方法，其中：

所述一个或多个对应输入的所述指示经由第一通信信道输出到所述实体；以及

所述实体响应于所述一个或多个对应输入而执行所述操作所需的所述其他信息经由第二通信信道被输出到所述实体。

8.根据权利要求7所述的方法，其中，所述第一通信信道包括所述第二通信信道，并且使用具有会话发起协议的互联网协议多媒体子系统。

9.根据权利要求1-8中任一项所述的方法，其中，至少以下之一：

关于所述一个层次结构的选项的信息是经由通信信道从所述实体中获得的；或者

所述附加信息是经由所述通信信道或从学习了所述附加信息的机器学习模型接收的。

10.根据权利要求1-9中的任一项所述的方法，其中，输出用于导航与所述交互式语音响应界面相关联的所述一个层次结构的选项的所述图形用户界面以供显示，所述图形用户界面包括：

由所述移动设备在所述图形用户界面被输出供显示的同时接收与所述交互式语音响应界面相关联的音频，；以及

由所述移动设备在所述图形用户界面被输出供显示的同时，禁止输出至少一些与所述交互式语音响应界面相关联的所述音频。

11.根据权利要求10所述的方法，还包括：

在所述电话呼叫期间：

响应于从与所述交互式语音响应界面相关联的所述音频中检测到未记录的人的语音，由所述移动设备输出与包括所述未记录的人的语音的所述交互式语音响应界面相关联的所述音频的至少一部分。

12.根据权利要求1-11中的任一项所述的方法，进一步包括：

存储所述电话呼叫的会话标识符；

响应于电信会话中的中断，使用所述会话标识符自动重新建立所述电信会话，其中，在重新建立所述电信会话之后的所述图形用户界面的状态对应于所述中断之前的所述图形用户界面的状态。

13.一种计算系统，包括至少一个处理器，所述至少一个处理器被配置为执行权利要求1-12中的任一项所述的方法。

14.一种计算系统，包括用于执行权利要求1-12中的任一项所述的方法的装置。

15.一种计算机可读存储介质，包括指令，所述指令在被执行时使至少一个处理器执行根据权利要求1-12中的任一项所述的方法。

Images