CN115210692A - 用于数字动作执行的接口和模式选择 - Google Patents

用于数字动作执行的接口和模式选择 Download PDF

Info

Publication number
CN115210692A
CN115210692A CN202080097834.2A CN202080097834A CN115210692A CN 115210692 A CN115210692 A CN 115210692A CN 202080097834 A CN202080097834 A CN 202080097834A CN 115210692 A CN115210692 A CN 115210692A
Authority
CN
China
Prior art keywords
digital
computing device
data processing
client computing
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080097834.2A
Other languages
English (en)
Inventor
普里特维·巴拉拉姆
尼基·拉奥
伊恩·贝克
亚当·科英布拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN115210692A publication Critical patent/CN115210692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G06F9/45508Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
    • G06F9/45512Command shells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于数字动作执行的接口和模式选择。例如,系统加载嵌入在电子资源中的脚本库。系统确定客户端计算设备与一个或多个数字助理之间的历史接洽级别。系统基于客户端计算设备的第一属性和历史接洽级别来选择数字接口的类型。系统基于数字接口的类型生成具有调用动作的数字接口。系统响应于执行调用动作的指令确定执行模式。系统选择数字助理和第二客户端设备以执行调用动作。系统向第二客户端设备传输调用动作以用于执行。

Description

用于数字动作执行的接口和模式选择
背景技术
计算设备能够执行应用。应用能够提供用户接口,该用户接口能够接收输入信息、执行功能和输出信息。
发明内容
本技术解决方案总体上涉及选择用于执行数字动作的接口和模式的类型。该技术解决方案能够基于设备类型和设备与数字助理之间的历史接洽级别来调整接口或模式。例如,执行不同类型的接口或模式能够利用不同数量的计算资源、能量或功率资源、网络带宽资源、显示资源、传感器资源或时间。因此,相对于使用较少资源的资源,选择消耗过多资源的接口可能低效。然而,某些资源可能与某些类型的设备不兼容,或者可能在特定计算环境中低效执行,从而导致潜在更高效的接口最终消耗过多资源以完成数字动作的执行。因此,本技术解决方案的系统和方法能够选择执行数字动作的接口或模式的类型以减少过多资源消耗,从而提高计算环境执行数字动作的效率。
本技术解决方案的至少一个方面涉及一种用于调整数字动作的执行的系统。该系统能够包括包括一个或多个处理器的数据处理系统。数据处理系统能够加载嵌入在电子资源中的脚本库。数据处理系统能够经由客户端计算设备加载脚本库。客户端设备能够是链接到电子账户的多个客户端计算设备中的一个。脚本库能够包括用于电子资源的一个或多个调用动作,这些调用动作被配置用于由客户端计算设备中的每一个所提供的一个或多个数字助理执行。数据处理系统能够查询数字助理组件以确定客户端计算设备与一个或多个数字助理之间的历史接洽级别。数据处理系统能够基于客户端计算设备的第一属性和历史接洽级别来选择其中呈现多个调用动作中的调用动作的数字接口的类型。数据处理系统能够基于根据客户端计算设备的第一属性和历史接洽级别所选择的数字接口的类型来生成具有调用动作的数字接口。数据处理系统能够经由数字接口检测执行调用动作的指令。数据处理系统能够响应于执行调用行动的指令,基于客户端计算设备的第二属性和历史接洽级别来确定用于调用动作的执行模式。数据处理系统能够基于执行模式从一个或多个数字助理和多个客户端计算设备中的第二客户端设备中选择数字助理以执行调用动作。数据处理系统能够向第二客户端设备传输调用动作,以使得第二客户端设备调用数字助理执行调用动作。
本技术解决方案的至少一个方面涉及一种调整数字动作的执行的方法。该方法能够由包括一个或多个处理器的数据处理系统执行。该方法能够包括数据处理系统经由链接到电子账户的多个客户端计算设备中的客户端计算设备加载嵌入在电子资源中的脚本库。脚本库能够包括用于电子资源的调用动作,该调用动作被配置用于由每个客户端计算设备所提供的一个或多个数字助理执行。该方法能够包括数据处理系统查询数字助理组件以确定多个客户端计算设备与一个或多个数字助理之间的历史接洽级别。该方法能够包括数据处理系统基于客户端计算设备的第一属性和历史接洽级别来选择在其中呈现多个调用动作中的调用动作的数字接口的类型。该方法能够包括数据处理系统基于根据客户端计算设备的第一属性和历史接洽级别所选择的数字接口的类型生成具有调用动作的数字接口。该方法能够包括数据处理系统经由数字接口检测执行调用动作的指令。该方法能够包括数据处理系统响应于执行调用动作的指令,基于客户端计算设备的第二属性和历史接洽级别来确定用于调用动作的执行模式。该方法能够包括数据处理系统基于执行模式从一个或多个数字助理和多个客户端计算设备中的第二客户端设备中选择数字助理以执行调用动作。该方法能够包括数据处理系统将调用动作传输到第二客户端设备以使得第二客户端设备调用数字助理执行调用动作。
在下文中详细讨论这些和其他方面以及实施方式。前述信息和以下详细描述包括各个方面和实施方式的说明性示例,并且提供了用于理解所要求保护的方面和实施方式的性质和特性的概述或框架。附图提供了对各个方面和实施方式的说明和进一步的理解,并且被并入本说明书中并构成本说明书的一部分。
附图说明
附图不旨在按比例绘制。在各个附图中,相同的附图标记和标号指示相同的元素。为了清楚起见,并非每个组件都在每个附图中被标记。在附
图中:
图1是根据实施方式的调整数字动作的系统的图示。
图2是根据实施方式的调整数字动作的执行的处理的图示。
图3是根据实施方式的调整数字动作的执行的处理的图示。
图4是根据实施方式的用于执行数字动作的图形用户接口的图示。
图5是根据实施方式的用于执行数字动作的图形用户接口的图示。
图6是根据实施方式的调整数字动作的执行的方法的图示。
图7是图示计算机系统的总体架构的框图,该计算机系统能够被采用于实施图1中所描绘的系统的元素、图2、3和6中所描绘的过程和方法以及图4和5中所描绘的图形用户接口元素。
具体实施方式
以下是与用于数字动作执行的接口和模式选择的方法、装置和系统有关的各种概念及其实施方式的更详细描述。例如,该方法、装置和系统能够调整数字动作的执行。可以以许多方式中的任何一种来实施上文介绍的和下文更详细讨论的各种概念。
该技术解决方案总体涉及选择执行数字动作的接口或模式。该技术解决方案的系统和方法能够通过选择数字动作的执行的接口或模式的类型来调整数字动作的执行。
动作能够被链接以供基于语音的数字助理执行。动作(或功能)能够指或包括能够由一个或多个应用、计算设备、服务器或电子资源执行的任何类型的数字动作。针对能够与数字助理对接的第三方(“3P”)应用或电子资源,高效地提供数字助理能够在应用上执行的功能的通知能够是具有挑战性的或不可能的。随着数字助理能够执行的动作的类型的数目不断增加,发现这些功能能够变得越来越具有挑战性且效率低下,更不用说在给定场境中以最佳时间或方式适当地执行功能。
例如,通知能够包括显示或播放指示数字助理能够执行的功能或动作的类型的音频。然而,显示或播放列出关于3P应用的所有可用数字助理功能的音频能够是耗时的、低效的、引入延迟的,并且提供子窗口或浪费的用户接口,因为这些功能中的许多功能可能在当前计算环境或场境中不相关。缺少对数字助理能够在3P应用或电子资源上执行的相关功能的知晓的系统通过执行可以另外由更高效的数字助理功能执行的不必要的或多个动作能够导致数字助理或应用被利用不足或利用低效。因此,本技术解决方案的系统和方法能够选择能够提高动作能够被执行(例如,通过选择数字助理功能或动作)的效率的接口或执行模式。
本技术解决方案能够有助于识别和选择具有基于语音的接口的数字助理能够在3P应用上执行的可用和相关功能,并且有助于相关功能的执行。例如,系统能够捕获数字助理能够在特定应用上执行的可用动作或功能。系统能够识别哪些动作与计算环境场境相关。系统能够经由用户接口提供那些相关动作的指示(例如,调用动作)。系统能够立即执行来自应用内的那些相关动作,从而将调用动作直接链接到数字助理上的相关动作(例如,动作链接)。
例如,用户能够导航到诸如电子金融工具交易网站的网站。系统能够捕获或检测场境计算信息(例如,与网站相关联的动作,诸如登录、认证账户以便确定当前投资组合值、交易状态、或执行交易或资金划拨)。系统能够识别基于语音的数字助理被配置成执行的与当前计算环境相关的可用动作。系统能够经由网站内的用户接口直接提供指示(例如,调用动作),该指示提供与当前计算环境相关的可用数字助理动作的通知。系统能够接收或检测指令、命令或与经由通知呈现的数字助理动作中的一个的交互。系统能够提供数字助理接口,该数字助理接口能够有助于所选择的动作的执行或调用。因此,相对于在没有数字助理的情况下由3P应用或电子资源直接执行动作,该技术解决方案在第三方应用或电子资源上识别并且选择数字助理能够更高效地执行的相关动作。系统能够发现数字助理被配置成在应用被调用时执行与应用或电子资源(例如,网站)相关联的一个或多个动作、识别哪些动作与当前计算环境相关、显示提供相关动作的通知的调用动作,并且然后执行相关动作。
该系统能够提供用于调用动作发现的动态接口调整。针对通过语音接口提供功能的3P应用或电子资源,以不打断与应用或资源的当前非语音计算交互的方式有效地提供应用或资源提供的功能的通知能够是具有挑战性的或不可能的。该系统能够为基于语音的数字助理提供平台专用动作链接机制。针对通过语音接口提供功能的3P应用或电子资源,允许从向用户通知功能的非语音场境高效地调用3P提供的语音接口功能能够是具有挑战性或者是不可能的。
例如,在发现与当前计算环境场境相关的可用动作时,系统能够确定向用户提供什么类型的调用动作(可用动作的通知)。该系统能够包括动态通知器组件,其能够(例如,基于与当前计算环境相关联的参数、特性或特征)动态地确定与应用或电子资源的接洽的级别,以便确定要显示哪个调用动作,以及调用动作的格式或类型。例如,如果客户端设备正在主动地与网站交互以执行某些数字动作,则该技术解决方案的动态通知器能够提供具有所发现的调用动作的弹出窗口,因为设备(或其用户)可能更有可能与数字助理接洽以执行对应动作。通过提供(例如,相对于嵌入式通知或横幅通知或位于网站的角落处的小图标)更显著的通知,动态通知器能够增加与数字助理接洽以执行动作的可能性,从而防止利用可能消耗附加计算资源或浪费时间的应用经由非基于语音的接口直接执行功能。
系统能够确定客户端设备的用户正被动查看应用或电子资源。被动地查看电子资源能够指非交互状态或查看电子资源而不与电子资源交互。不与电子资源交互能够指客户端设备未接收到针对电子资源的输入达到一段时间。能够被动地查看的应用或电子资源的示例能够包括音乐、视频、流式传输音乐、流式传输视频、或者能够在没有交互达到一段时间的情况下查看或消耗的其他类型的音频或视频内容。在检测到电子资源正被被动地查看时,动态通知器能够选择与能够针对正被主动地消耗的应用或电子资源被选择的通知类型相比能够不太明显的不同格式或类型的通知。较不明显的通知的示例能够包括音频或语音覆盖、或被定位在显示屏或应用图形用户接口的角落中的小图标。
当系统在第三方应用或电子资源上接收到与调用动作的交互时,系统能够执行用于基于语音的数字助理的平台特定动作链接。平台特定动作链接能够指系统确定用于将用户引导或导航到数字助理内的所选择的动作的适当平台特定技术。该系统能够包括数字助理选择器组件(例如,动态设备选择器),该数字助理选择器组件能够动态地选择要用于执行数字动作的设备。该系统能够识别彼此链接的多个设备以用于执行数字动作的目的。显示通知并且接收到执行调用动作(例如,数字动作)的指令的设备能够被链接到能够与多个设备相关联或链接的账户。链接到账户的一个或多个设备能够被配置为或者能够进行或执行数字动作。链接到账户的设备能够被配置有数字助理。一个或多个设备能够可用于响应于指令或在一些其它期望时间间隔期间执行动作。系统能够使用选择策略来识别或选择用于执行数字动作的设备。该选择策略能够基于当前计算环境或场境来选择设备。
平台特定动作链接的示例能够包括使用深度链接来启动或触发本地数字助理在客户端设备上执行以进行动作。在另一示例中,系统能够生成通用应用链接或定制统一资源定位符以在客户端设备上启动非本地数字助理应用以进行动作。在又一示例中,系统能够选择具有数字助理的不同设备来进行动作。平台特定动作链接能够指或包括,例如,基于操作系统的类型、设备的类型、设备的特性、设备的配置或设备的能力来执行动作。
因此,在一些情况下,系统能够基于配置、设备的类型、安装在设备上的应用、网络连接或与计算环境相关联的其他特性来动态地确定执行模式。例如,如果安装了数字助理应用,则系统能够导航至数字助理应用并且输入命令以响应于调用动作来执行数字动作。另一方面,如果数字助理应用未被安装在设备上,则系统能够在执行数字动作之前提供请求安装数字助理应用的通知。该通知能够包括到能够由设备下载和安装的应用可执行文件的基于云的存储库的链接、路径或指针。
该系统能够在不同设备上启动数字助理以执行数字动作。例如,电子资源能够包括在诸如web浏览器的应用中渲染的网页。该调用动作能够经由web浏览器呈现。调用动作能够作为横幅、弹出、插播式或以某种其它方式覆盖在电子资源上。系统能够检测与调用动作的交互或执行与调用动作相对应的数字动作的其他指示。系统能够确定当前计算环境信息,诸如web浏览器的类型、设备、网络连接、与执行应用的设备相关联的账户信息、或链接到账户的附加设备。系统能够经由动态设备选择器组件或功能来显示具有链接到与提供呼叫动作的设备相同的账户的设备的列表的网页。系统能够预处理或过滤设备列表,使得被呈现的设备仅是兼容或能够执行与调用动作相对应的数字动作的那些设备。在一些情况下,系统能够基于相关性、能力、兼容性、性能或其他因素对该设备列表进行排名以对设备进行加权。例如,系统能够基于与数字动作的相关性来对设备进行排名或过滤(例如,仅向设备示出可以提供图形输出的动作的屏幕)。本技术解决方案的动态设备选择器能够对设备列表进行排名,使得与当前计算上下文最相关的设备的排名高于与当前计算上下文较不相关的设备(例如,最近使用的设备的排名高于最近未使用的设备,频繁使用的设备的排名高于不经常使用的设备)。
图1图示了选择用于数字动作的执行的接口和模式的示例系统100。系统100能够调整数字动作的执行。系统100能够包括内容选择架构。系统100能够包括数据处理系统102。数据处理系统102能够包括计算设备122或在计算设备122上执行。数据处理系统102能够经由网络105与3P数字内容提供者设备160、远程数据处理系统136或3P电子资源服务器142、148中的一个或多个通信。网络105能够包括计算机网络,诸如互联网、局域网、广域网、城域网或其他区域网络、内联网、卫星网络以及其他通信网络,诸如语音或数据移动电话网络。网络105能够被用来访问信息资源,诸如网页、网站、域名或统一资源定位符,它们能够在至少一个计算设备122,诸如膝上型计算机、台式计算机、平板计算机、个人数字助理、智能电话、便携式计算机或扬声器,上被呈现、输出、渲染或显示。例如,经由网络105,计算设备122的用户能够访问由3P数字内容提供者设备134提供的信息或数据。计算设备122可以包括显示器或可以不包括显示器;例如,计算设备可以包括有限类型的用户接口,诸如麦克风和扬声器。在一些情况下,计算设备122的主要用户接口可以是麦克风和扬声器。计算设备122能够与基于语音的计算环境交互或被包括在基于语音的计算环境中。
网络105能够由数据处理系统102使用以访问能够由客户端计算设备122呈现、输出、渲染或显示的信息资源,诸如应用、网页、网站、域名或统一资源定位符。例如,客户端计算设备122的用户能够经由网络105访问由3P数字内容提供者设备134提供的信息或数据。网络105能够包括或构成在互联网上可用的信息资源的子网,其与内容投放或搜索引擎结果系统相关联,或有资格将第三方数字组件包括为数字组件投放活动的一部分。
网络105可以是任何类型或形式的网络,并且可以包括以下的任何一种:点对点网络、广播网络、广域网、局域网、电信网络、数据通信网络、计算机网络、ATM(异步传输模式)网络、SONET(同步光网络)网络、SDH(同步数字体系)网络、无线网络和有线网络。网络105可以包括无线链路,诸如红外信道或卫星频带。网络105的拓扑结构可以包括总线、星形或环形网络拓扑结构。网络可以包括使用用于在移动设备之间进行通信的任何一种或多种协议的移动电话网络,协议包括高级移动电话协议(“AMPS”)、时分多址(“TDMA”)、码分多址(“CDMA”)、全球移动通信系统(“GSM”)、通用分组无线业务(“GPRS”)或通用移动电信系统(“UMTS”)。可以经由不同的协议传输不同类型的数据,或者可以经由不同的协议传输相同类型的数据。
系统100能够包括3P电子资源服务器142、与其对接、与其通信或以其他方式对其进行访问。数据处理系统102能够经由网络105与3P电子资源服务器142通信。3P电子资源服务器142能够远离并且不同于数据处理系统102、远程数据处理系统136、3P数字内容提供者设备134和计算设备122。3P电子资源服务器142能够与电子资源112的开发者相关联。3P电子资源服务器142能够有助于电子资源112的执行。例如,3P电子资源服务器142能够对由应用110执行的电子资源112执行后端处理。在计算设备122上执行的应用110能够执行应用110的前端组件,并且3P电子资源服务器142能够执行应用110的后端组件。在计算设备122上执行的应用110能够向3P电子资源服务器142传输远程过程呼叫或其它请求或数据。3P电子资源服务器142能够向应用110传输数据、信息或请求以执行功能或执行动作。3P电子资源服务器142能够修改或改变经由在计算设备122上执行的应用110所执行或提供的应用110或电子资源112的状态。
系统100能够包括至少一个远程数据处理系统136。该远程数据处理系统136能够包括至少一个逻辑设备,诸如具有处理器以经由网络105例如与数据处理系统102通信的计算设备、3P数字内容提供者设备134(例如,内容提供者)。远程数据处理系统136能够包括至少一个计算资源、服务器、处理器或存储器。例如,远程数据处理系统136能够包括位于至少一个数据中心中的多个计算资源或服务器。远程数据处理系统136能够包括多个按逻辑分组的服务器,并且能够有助于分布式计算技术。服务器的逻辑组可以被称为数据中心、服务器场或机器场。服务器也能够在地理位置上分散。数据中心或机器场可以作为单个实体被管理,或者机器场能够包括多个机器场。每个计算机场内的服务器能够是异构的—一个或多个服务器或机器能够根据一种或多种操作系统平台进行操作。
机器场中的服务器能够与相关联的存储系统一起存储在高密度机架系统中,并且能够位于企业数据中心中。例如,以这种方式整合服务器可以通过在本地化的高性能网络上安置服务器和高性能存储系统来提高系统可管理性、数据安全性、系统的物理安全性和系统性能。包括服务器和存储系统的所有或一些远程数据处理系统136组件的集中化、以及将它们与高级系统管理工具耦合在一起允许更有效地利用服务器资源,这节省电力和处理需求并减少带宽使用。
远程数据处理系统136能够包括数字助理服务器138和内容选择器组件140。数字助理服务器138能够被设计、构造和操作以执行与计算设备122的数字助理组件106通信的一个或多个功能。内容选择器组件140能够被设计、构造和操作以选择由3P数字内容提供者设备134提供的数字组件项(例如,内容项)。内容选择器组件140能够响应于对来自计算设备122的内容的请求来选择内容项。内容选择器组件140能够将所选择的内容项传输到计算设备122以用于呈现(例如,音频输出、视觉输出或视听输出)。
系统100能够包括至少一个3P数字内容提供者设备134、对其进行访问或以其他方式与其交互。3P数字内容提供者设备134能够包括至少一个逻辑设备,诸如具有处理器的计算设备,以经由网络105与例如计算设备122、数据处理系统102或远程数据处理系统136通信。3P数字内容提供者设备134能够包括至少一个计算资源、服务器、处理器或存储器。例如,3P数字内容提供者设备134能够包括位于至少一个数据中心中的多个计算资源或服务器。3P数字内容提供者设备134能够包括或指服务提供者设备或商品提供者设备。
3P数字内容提供者设备134能够提供基于音频的数字组件以由计算设备122呈现作为音频输出数字组件。数字组件能够包括对搜索查询或请求的响应。数字组件能够包括来自数据库、搜索引擎或网络资源的信息。例如,数字组件能够包括新闻信息、天气信息、体育信息、百科全书条目、字典条目或来自数字教科书的信息。数字组件能够包括商品或服务的要约,诸如陈述“你要我给你叫辆出租车吗?(Would you like me to order you ataxi?)”的基于语音的消息。3P数字内容提供者设备134能够包括存储器,以存储能够响应于基于语音的查询而提供的一系列音频数字组件。3P数字内容提供者设备134还能够将基于音频的数字组件(或其他数字组件)提供给远程数据处理系统136,其中能够存储它们以供内容选择器组件140选择。远程数据处理系统136能够选择音频数字组件,并且向客户端计算设备122提供(或指示内容提供者计算设备140提供)数字组件。基于音频的数字组件能够是专门的音频、或者能够与文本、图像或视频数据组合。数字组件或内容项能够包括一种或多种格式的图像、文本、视频、多媒体或其他类型的内容。
远程数据处理系统136可以包括具有至少一个计算资源或服务器的内容投放系统。远程数据处理系统136能够包括至少一个内容选择器组件108,与该至少一个内容选择器组件140连接或以其他方式与其通信。远程数据处理系统136能够包括至少一个数字助理服务器138、与该至少一个数字助理服务器138对接或以其他方式与其通信。
内容选择器组件140和数字助理服务器138能够各自包括至少一个处理单元或其他逻辑设备,诸如可编程逻辑阵列引擎、或被配置成彼此通信或与其他资源或数据库通信的模块。内容选择器组件140和数字助理服务器138能够是分开的组件、单个组件或远程数据处理系统136的一部分。系统100及其组件,诸如远程数据处理系统136,能够包括硬件元素,诸如一个或多个处理器、逻辑设备或电路。
远程数据处理系统136能够获得与多个计算设备122相关联的匿名计算机网络活动信息。计算设备122的用户能够肯定地授权远程数据处理系统136获得与用户的计算设备122相对应的网络活动信息。例如,远程数据处理系统136能够提示计算设备122的用户以用于同意获得一种或多种网络活动信息。计算设备122的用户的身份能够保持匿名,并且计算设备122能够与唯一标识符(例如,用于由数据处理系统提供的用户或计算设备或计算设备的用户的唯一标识符)相关联。远程数据处理系统136能够将每个观察与对应的唯一标识符相关联。
3P数字内容提供者设备134能够建立电子内容活动。电子内容活动能够作为内容数据被存储在内容选择器组件140的存储库中。电子内容活动能够指对应于共同主题的一个或多个内容组。内容活动能够包括分层数据结构,该分层数据结构包括内容组、数字组件数据对象和内容选择标准。为了创建内容活动,3P数字内容提供者设备134能够为内容活动的活动级别参数指定值。该活动级别参数能够包括,例如,活动名称、用于投放数字组件对象的优选内容网络、要被用于内容活动的资源的值、内容活动的开始和结束日期、内容活动的持续时间、数字组件对象投放的时间表、语言、地理位置、要在其上提供数字组件对象的计算设备的类型。在一些情况下,印象能够指何时从其来源(例如,远程数据处理系统136或数字内容提供者设备134)中提取数字组件对象,并且是可计数的。在一些情况下,由于点击欺骗的可能性,因此作为印象,可以过滤并排除机器人活动。因此,在一些情况下,印象能够指对来自浏览器的页面请求的来自Web服务器的响应的度量,该度量过滤掉机器人活动和错误代码,并且被记录在尽可能接近渲染数字组件对象以在显示设备122上显示的机会的点处。在一些情况下,印象能够指可见的或可听的印象;例如,数字组件对象在客户端计算设备122的显示设备上至少部分可见(例如,20%、30%、30%、40%、50%、60%、70%或更多),或经由计算设备122的扬声器可听。点击或选择能够指用户与数字组件对象的交互,诸如对可听印象的语音响应、鼠标单击、触摸交互、手势、摇动、音频交互或键盘点击。转换能够指用户相对于数字组件对象采取了预期的动作;例如,购买产品或服务、完成调查、访问与数字组件相对应的实体商店、或完成电子交易。
3P数字内容提供者设备134能够进一步为内容活动建立一个或多个内容组。内容组包括一个或多个数字组件对象和对应的内容选择标准,诸如关键字、词、术语、短语、地理位置、计算设备的类型、时刻、兴趣、主题或垂直元(vertical)。相同内容活动下的内容组能够共享相同的活动级别参数,但是可以针对特定内容组级别参数定制规范,诸如关键字、否定性关键字(例如,在主要内容上存在否定性关键字的情况下阻止投放数字组件)、关键字出价、或与出价或内容活动相关联的参数。
为了创建新的内容组,3P数字内容提供者设备134能够提供内容组的内容组级别参数的值。内容组级别参数包括,例如,内容组名称或内容组主题以及对不同内容投放机会(例如,自动投放或管理投放)或结果(例如,点击、印象或转化)的出价。内容组名称或内容组主题能够是一个或多个术语,3P数字内容提供者设备134能够使用该术语来捕获内容组的数字组件对象要被选择的话题或主题以用于显示。例如,汽车经销商能够为其出售的每个品牌的车辆创建不同的内容组,并且可以进一步为其出售的每种型号的车辆创建不同的内容组。汽车经销商能够使用的内容组主题的示例包括例如“品牌A跑车(Make A sportscar)”、“品牌B跑车(Make B sports car)”、“品牌C轿车(Make C sedan)”、“品牌C卡车(Make C truck)”、“品牌C混合动力车辆(Make C hybrid)”或“品牌D混合动力车辆(Make Dhybrid)”。示例内容活动主题能够是“混合动力车辆”并且包括例如用于“品牌C混合动力车辆(Make C hybrid)”和“品牌D混合动力车辆(Make D hybrid)”两者的内容组。
3P数字内容提供者设备134能够向每个内容组提供一个或多个关键字和数字组件对象。关键字能够包括与产品或服务相关的术语,产品或服务与数字组件对象相关联或由数字组件对象标识。关键字能够包括一个或多个术语或短语。例如,汽车经销商能够包括“跑车”、“V-6发动机”、“四轮驱动”、“燃油效率”作为内容组或内容活动的关键字。在一些情况下,能够由内容提供者指定否定性关键字以避免、防止、阻止或禁用对某些术语或关键字的内容投放。内容提供者能够指定用于选择数字组件对象的匹配类型,诸如精确匹配、短语匹配或宽泛匹配。
3P数字内容提供者设备134能够提供一个或多个关键字以供远程数据处理系统136使用以选择由3P数字内容提供者设备134提供的数字组件对象。3P数字内容提供者设备134能够识别要出价的一个或多个关键字,并且进一步提供用于各种关键字的出价金额。3P数字内容提供者设备134能够提供其他内容选择标准以供远程数据处理系统136使用以选择数字组件对象。多个3P数字内容提供者设备134能够对相同或不同的关键字出价,并且远程数据处理系统136能够响应于接收到电子消息的关键字的指示来运行内容选择过程或广告拍卖。
3P数字内容提供者设备134能够提供一个或多个数字组件对象以供远程数据处理系统136选择。当与资源分配、内容时间表、最高出价、关键字和为内容组指定的其他选择标准匹配的内容投放机会变得可用时,远程数据处理系统136(例如,经由内容选择器组件140)能够选择数字组件对象。在内容组中能够包括不同类型的数字组件对象,诸如语音数字组件、音频数字组件、文本数字组件、图像数字组件、视频数字组件、多媒体数字组件或数字组件链接。在选择数字组件时,远程数据处理系统136能够传输数字组件对象以经由计算设备122呈现、在计算设备122上或在计算设备122的显示设备上渲染。渲染能够包括在显示设备上显示数字组件,或者经由计算设备122的扬声器播放数字组件。远程数据处理系统136能够向计算设备122提供指令以渲染数字组件对象。远程数据处理系统136能够指示计算设备122的数字助理组件106或计算设备122的音频驱动器132以生成音频信号或声波。远程数据处理系统136能够指示由计算设备122执行的应用110以呈现所选择的数字组件对象。例如,该应用110能够包括其中能够呈现数字组件对象的槽(例如,内容槽)(例如,音频槽或可视槽)。
数据处理系统102能够包括、执行或以其他方式与内容选择器组件140通信,以接收由自然语言处理器识别的查询、关键字或触发关键字,并且基于触发关键字来选择数字组件。内容选择器组件140能够经由实时内容选择过程来选择数字组件。内容选择过程能够包括,例如,经由搜索引擎执行搜索,或访问存储在远程服务器或设备,诸如3P数字内容提供者设备134,上的数据库。内容选择过程能够指或包括:选择由第三方内容提供者134提供的赞助数字组件对象。实时内容选择过程能够包括服务,其中由多个内容提供者提供的数字组件被解析、处理、加权或匹配以便选择一个或多个数字组件以提供给计算设备122。内容选择器组件140能够实时执行内容选择过程。实时执行内容选择过程能够指响应于对经由客户端计算设备122接收的内容的请求来执行内容选择过程。能够在接收请求的时间间隔(例如1秒、2秒、5秒、10秒、20秒、30秒、1分钟、2分钟、3分钟、5分钟、10分钟或20分钟)内执行实时内容选择过程。能够在与客户端计算设备122的通信会话期间或者在终止通信会话之后的时间间隔内,执行实时内容选择过程。数据处理系统102能够在完成数字组件选择处理或其它数字任务之后选择要提供的音频蜂鸣。
例如,数字数据处理系统102能够包括被设计、构造、配置或可操作以选择数字组件对象的内容选择器组件140。为了选择数字组件以在基于语音的环境中显示,数据处理系统102(例如,经由数字助理组件106的NLP组件)能够解析输入音频信号以识别查询、关键字(例如,触发关键字),并且使用关键字来选择匹配的数字组件。数据处理系统102能够基于广泛匹配、精确匹配或短语匹配来选择匹配的数字组件。例如,内容选择器组件140能够分析、解析或以其他方式处理候选数字组件的主题,以确定候选数字组件的主题是否对应于由客户端计算设备122的麦克风检测到的输入音频信号的关键字或短语的主题。内容选择器组件140可以使用图像处理技术、字符识别技术、自然语言处理技术或数据库查找来标识、分析或识别候选数字组件的语音、音频、术语、字符、文字、符号或图像。候选数字组件可以包括用于指示候选数字组件的主题的元数据,在这种情况下,内容选择器组件140可以处理元数据以确定候选数字组件的主题是否对应于输入音频信号。
3P数字内容提供者134可以在设置包括数字组件的内容活动时提供其他指示符。内容提供者可以在内容活动或内容组级别上提供关于内容选择器组件140可以通过使用有关候选数字组件的信息执行查找识别的信息。例如,候选数字组件可以包括唯一标识符,其可以映射到内容组、内容活动或内容提供者。内容选择器组件140可以基于存储在数据存储库108中的内容活动数据结构中的信息,确定有关3P数字内容提供者设备134的信息。
远程数据处理系统136能够经由计算机网络接收对用于在计算设备122上呈现的内容的请求。数据处理系统102能够通过处理由客户端计算设备122的麦克风检测到的输入音频信号来识别请求。该请求能够包括请求的选择标准,诸如设备类型、位置和与请求相关联的关键字。
响应于该请求,远程数据处理系统136能够从能够包括由一个或多个3P数字内容提供商设备134提供的内容的数据存储库或数据库中选择数字组件对象,并且提供该数字组件以用于经由网络105经由计算设备122的呈现。计算设备122能够与数字组件对象交互。计算设备122能够接收对数字组件的音频响应。计算设备122能够接收选择与数字组件对象相关联的超链接或其它按钮的指示,该指示使得或允许计算设备122识别服务提供商、向服务提供商请求服务、指令服务提供商执行服务、将信息传输到服务提供商或以其它方式询问服务提供商设备。
计算设备122(或客户端计算设备或客户端设备)能够包括或执行数据处理系统102。数据处理系统102能够包括至少一个接口104,与其对接或以其他方式与其通信。数据处理系统102能够包括至少一个本地数字助理组件106(或数字助理组件106)、与其对接或以其他方式与其通信。本地数字助理组件106能够包括自然语言处理能力或功能。本地数字助理组件106能够包括自然语言处理器(“NLP”)组件。数据处理系统102能够包括至少一个数据存储库108、与其对接或以其他方式与其通信。数据处理系统102能够包括或执行至少一个应用110。数据处理系统102能够至少部分地执行至少一个应用110(例如,应用可以包括客户端组件和服务器组件)。应用110能够执行或提供电子资源112。电子资源112能够包括脚本库114。脚本库114能够包括、访问、提供或以其他方式利用动态通知器组件116或数字助理选择器组件120。
数据存储库108能够包括一个或多个本地或分布式数据库,并且能够包括数据库管理系统。数据存储库108能够包括计算机数据存储设备或存储器,并且能够存储应用110、应用数据、简档、索引、设备配置信息、账户信息、偏好、与电子资源相关联的数据以及其他数据。应用110能够包括可执行文件、应用包文件、配置文件或有助于应用的执行的其他数据。
接口104、数字助理组件106、应用110或数据处理系统102的其他组件能够各自包括或利用至少一个处理单元或其他逻辑设备,诸如可编程逻辑阵列引擎,或被配置为与彼此或其他资源或数据库进行通信的模块。接口104、数字助理组件106、应用110或数据处理系统102的其他组件能够是分开的组件、单个组件或数据处理系统102的一部分。系统100及其组件,诸如数据处理系统102,能够包括硬件元素,诸如一个或多个处理器、逻辑设备或电路。数据处理系统102的组件、系统或模块能够至少部分地由远程数据处理系统136执行。
计算设备122能够包括至少一个传感器130、换能器126、音频驱动器132、预处理器124或显示设备128,与之对接,或以其他方式与之通信。传感器130能够包括,例如,环境光传感器、接近传感器、温度传感器、加速度计、陀螺仪、运动检测器、GPS传感器、位置传感器、麦克风或触摸传感器。换能器126能够包括扬声器或麦克风。音频驱动器132能够向硬件换能器126提供软件接口。音频驱动器能够执行音频文件或由数据处理系统102提供的其他指令,以控制换能器126生成对应的声波或音波。显示设备128能够包括图7描绘的显示器735的一个或多个组件或功能。预处理器124能够被配置为检测触发关键字、预定热词、初始化关键字或激活关键字。在一些情况下,触发关键字能够包括执行动作的请求。在一些情况下,触发关键字能够包括预定动作关键字以启用或激活计算设备122,并且请求关键字能够跟随触发关键字或热词。预处理器124能够被配置为检测关键字并且基于该关键字执行动作。预处理器124能够检测唤醒词或其他关键字或热词,并且响应于该检测,调用由计算设备122执行的数据处理系统102的数字助理组件106。在一些情况下,在将术语传输到远程数据处理系统136以用于进一步处理之前,预处理器124能够过滤掉一个或多个术语或修改术语。预处理器124能够将由麦克风检测到的模拟音频信号转换为数字音频信号,并且经由网络105,将携带数字音频信号的一个或多个数据分组传输或提供给数据处理系统102或远程数据处理系统136。在一些情况下,响应于检测到执行这种传输的指令,预处理器124能够向数字助理组件106或远程数据处理系统136提供携带一些或全部输入音频信号的数据分组。该指令能够包括,例如,触发关键字或其他关键字或许可,以将包括输入音频信号的数据分组传输到数据处理系统102或远程数据处理系统136。
客户端计算设备122能够与终端用户相关联,该终端用户将语音查询作为音频输入(经由传感器130)输入到客户端计算设备140中,并且接收计算机生成的语音形式的音频输出,其能够从数据处理系统102(或3P数字内容提供者设备134)被提供到客户端计算设备122、从换能器126(例如,扬声器)输出。计算机生成的语音能够包括来自真实人的录音或计算机生成语言。
数据处理系统102能够包括至少一个接口104,该接口104被设计、配置、构造或可操作为使用例如数据分组来接收和传输信息。接口104能够使用一种或多种协议,诸如网络协议,来接收和传输信息。接口104能够包括硬件接口、软件接口、有线接口或无线接口。接口104可以有助于将数据从一种格式转换或格式化为另一种格式。例如,接口104能够包括应用编程接口,该应用编程接口包括用于在诸如软件组件的各种组件之间进行通信的定义。接口104能够有助于在系统100的一个或多个组件之间的通信,诸如在数字助理组件106、应用110和数据存储库108之间的通信。
数据处理系统102能够包括本地数字助理组件106。本地数字助理组件106可以包括安装在客户端计算设备122处的应用、脚本或程序。本地数字助理组件106能够接收输入信号、数据分组或其他信息。本地数字助理组件106能够经由接口104接收数据分组或其他输入。本地数字助理106能够包括用于从数据处理系统102的接口104接收输入音频信号并且驱动客户端计算设备的组件呈现输出音频信号的应用。数据处理系统102能够接收包括或识别音频输入信号的数据分组或其他信号。例如,本地数字助理组件106能够被配置有NLP技术、功能或组件,其能够接收或获得音频信号并且解析音频信号。数字助理组件106能够提供人类与计算机之间的交互。数字助理组件106能够被配置有用于理解自然语言并且允许数据处理系统102从人类或自然语言输入推导含义的技术。数字助理组件106能够包括或被配置有基于机器学习的技术,诸如统计机器学习。数字助理组件106能够利用决策树、统计模型或概率模型来解析输入音频信号。数字助理组件106能够执行例如以下功能,诸如命名实体识别(例如,给定文本流,确定文本中的哪些项映射到诸如人或地点的适当名称,以及每个这样的名称是什么类型,诸如人、位置或组织)、自然语言生成(例如,将来自计算机数据库或语义意图的信息转换成可理解的人类语言)、自然语言理解(例如,将文本转换成更正式的表示,诸如计算机模块能够操纵的一阶逻辑结构)、机器翻译(例如,自动地将文本从一种人类语言翻译成另一种)、形态学分割(例如,将单词分开成单个词素并且识别词素的类别,这能够基于所考虑的语言的单词的形态学或结构的复杂性而具有挑战性)、问题回答(例如,确定人类语言问题的答案,其能够是特定的或开放式的)、语义处理(例如,能够在识别单词并且编码其含义以便与所识别的单词与具有相似含义的其他单词相关之后发生的处理)。
数字助理组件106能够(例如,利用NLP技术、功能或组件)通过将音频输入信号与所存储的音频波形的代表性集合进行比较并且选择最接近的匹配来将该输入信号转换成所识别的文本。音频波形的集合能够被存储在数据存储库108或数据处理系统102可访问的其他数据库中。代表性波形能够跨大用户集合生成,并且然后可以利用来自用户的语音样本来增强。在音频信号被转换成所识别的文本之后,数字助理组件106能够将文本与单词匹配,该单词例如经由使用存储在数据存储库108中的、已经跨用户训练的或通过手动指定的模型而与数据处理系统102能够提供的动作相关联。
音频输入信号能够由客户端计算设备122的传感器130或换能器126(例如,麦克风)检测。经由换能器126、音频驱动器132或其他组件,客户端计算设备122能够将音频输入信号提供给数据处理系统102,其中音频输入信号能够(例如,通过接口104)被接收并且被提供给本地数字助理106或被存储在数据存储库108中。
数字助理组件106能够获得输入音频信号。根据输入音频信号,数字助理组件106能够识别至少一个请求或对应于该请求的至少一个触发关键词。该请求能够指示输入音频信号的意图或主题。触发关键字能够指示可能采取的动作的类型。例如,数字助理组件106能够解析输入音频信号以识别调用应用的至少一个请求。数字助理组件106能够解析输入音频信号以识别至少一个请求,诸如晚上离开家吃晚餐和看电影的请求。关键词能够包括至少一个单词、短语、词根或部分单词、或指示要采取的动作的派生物。例如,来自输入音频信号的关键词“去(go)”或“要去(to go to)”能够指示对交通的需要。在该示例中,输入音频信号(或所识别的请求)未直接表达对交通的意图,然而,关键字指示交通是由请求指示的至少一个其他动作的辅助动作。
数字助理组件106能够解析输入音频信号以识别、确定、检索或以其他方式获得请求和关键词。例如,数字助理组件106能够将语义处理技术应用于输入音频信号以识别关键字或请求。数字助理组件106能够将语义处理技术应用于输入音频信号以识别一个或多个关键字。关键字能够包括一个或多个术语或短语。数字助理组件106能够应用语义处理技术来识别执行数字动作的意图。
例如,计算设备122能够接收由客户端计算设备122的传感器130(例如,麦克风)检测到的输入音频信号。输入音频信号能够是“数字助理,我需要有人帮我洗衣服和干洗(digital assistant,I need someone to do my laundry and my dry cleaning)”。客户端计算设备122的预处理器124能够检测输入音频信号中的唤醒词、热词或触发关键字,诸如“数字助理”。预处理器124能够通过将输入音频信号中的音频签名或波形与对应于触发关键字的模型音频签名或波形进行比较来检测唤醒词、热词或触发关键字。预处理器124能够确定输入音频信号包括唤醒词、热词或触发关键字,其指示输入音频信号将由数字助理组件106处理。响应于检测到热词、唤醒词或触发关键字,预处理器124能够向数据处理系统102确定、授权、路由、转发或以其他方式提供检测到的输入音频信号,以由数字助理组件106处理。
数字助理组件106能够接收输入音频信号并将语义处理技术或其他自然语言处理技术应用于包括句子的输入音频信号,以识别触发短语“洗衣服(do my laundry)”和“干洗(do my dry cleaning)”。在一些情况下,数字助理组件106能够将对应于输入音频信号的数据分组提供给远程数据处理系统136,以使数字助理服务器138处理输入音频信号。数字助理组件106能够结合或经由数字助理服务器138来处理输入音频信号。数字助理组件106能够进一步识别多个关键字,诸如洗衣店和干洗。
数字助理组件106能够识别与执行对信息的搜索或其他请求相对应的搜索查询、关键字、意图或短语。数字助理组件106能够确定输入音频信号对应于对有关主题、事件、当前事件、新闻事件、字典定义、历史事件、人、地点或事物的信息的请求。例如,数字助理组件106能够确定输入音频信号对应于查询、请求、意图或动作,以进行旅行安排、预定行程、获得信息、执行Web搜索、检查股票价格、启动应用、查看新闻、订购食物、或购买其他产品、商品或服务。
数字助理组件106能够使用一种或多种技术来解析或处理输入音频信号。技术能够包括基于规则的技术或统计技术。技术能够利用机器学习或深度学习。示例技术能够包括命名实体识别、情感分析、文本摘要、方面挖掘或主题挖掘。技术能够包括或基于文本嵌入(例如,字符串的实数值向量表示)、机器翻译(例如,语言分析和语言生成)、或对话和会话(例如,人工智能使用的模型)。技术能够包括确定或利用语法技术(例如,基于语法的句子中的单词排列),诸如词条化、形态学分割、单词分割、词性标注、解析、断句或词干。技术能够包括确定或利用语义技术,诸如命名实体识别(例如,确定能够被识别和分类为当前组的文本部分,诸如应用152的名称、人员或地点)、词义消歧或自然语言生成。
在一些情况下,数字助理组件106能够启动应用110。在一些情况下,应用110可能已经在数字助理组件106接收输入音频信号之前被启动。例如,基于对输入音频信号的处理或解析,数字助理组件106能够识别应用110以调用、启动、打开或以其他方式激活。数字助理组件106能够基于解析输入音频信号以识别术语、关键字、触发关键字或短语来识别应用110。数字助理组件106能够使用所识别的术语、关键字、触发关键字或短语在数据存储库108中执行查找以识别应用110。在一些情况下,关键字能够包括应用110的标识符,诸如“Application_Name_A”或“Application_Name_B”。在一些情况下,关键字能够指示应用110的类型或类别,诸如拼车应用、餐厅预订应用、电影票应用、新闻应用、天气应用、导航应用、流式传输媒体音乐应用、流式传输媒体视频应用、餐厅评论应用或其他类型或类别的应用110。对于在接收到输入音频信号之前可能已经启动和执行应用110的情况,数字助理组件106能够处理输入音频信号以确定在应用110中要执行的动作或对经由被应用110渲染的电子资源呈现的调用动作的响应。
客户端计算设备122能够执行应用110。数据处理系统102能够执行应用110。数据处理系统102能够包括或执行操作系统,客户端计算设备122能够经由该操作系统执行应用110。应用110能够包括客户端计算设备122被配置为执行、运行、启动或以其他方式提供的任何类型的应用。应用110能够包括多媒体应用、音乐播放器、视频播放器、web浏览器、文字处理器、移动应用、桌面应用、平板应用、电子游戏、电子商务应用或其他类型的应用110。应用110能够执行、渲染、加载、解析、处理、呈现或以其他方式输出与电子资源112相对应的数据。电子资源112能够包括,例如,网站、网页、多媒体web内容、视频内容、音频内容、旅行内容、娱乐内容、与购物或服务有关的内容、或其他内容。
应用110能够从第三方(“3P”)电子资源服务器142接收与电子资源112相关联的数据。3P电子资源服务器142能够提供电子资源112以供应用110执行。3P电子资源服务器142能够包括文件服务器、web服务器、游戏服务器、多媒体服务器、云计算环境或被配置为提供数据以使得应用110经由计算设备122呈现或提供电子资源112的其他后端计算系统。计算设备122能够经由网络105访问3P电子资源服务器142。
3P电子资源服务器142的管理员能够开发、建立、维护或提供电子资源112。3P电子资源服务器142能够响应于对电子资源112的请求而将电子资源112传输到计算设备122。电子资源112能够与标识符,诸如统一资源定位符(“URL”)、统一资源标识符、web地址或文件名或文件路径相关联。3P电子资源服务器142能够从应用110接收对电子资源112的请求。电子资源112能够包括电子文档、网页、多媒体内容、流式传输媒体内容、音频、视频、文本、图像、视频游戏或其他数字或电子内容。
3P电子资源服务器142的管理员能够提供脚本库114。3P电子资源服务器142能够将脚本库114嵌入在电子资源112中。脚本库114能够包括JavaScript库。脚本库114能够被配置成与远程数据处理系统136通信以为电子资源112提供基于数字助理的功能。脚本库114能够在电子资源112上提供用户接口元素(例如,按钮、表单、自动完成建议)。
数据处理系统102能够在由电子资源的提供者建立的电子资源112上的位置处加载与脚本库114相对应的图形用户接口元素。脚本库114能够在电子资源112上的内嵌框架(“iframe”)中被启动。通过在电子资源112上的内嵌框架中启动或执行,数据处理系统102能够在安全计算环境中托管脚本库114或对应的用户接口元素。计算环境能够关于电子资源或3P电子资源服务器142是安全的。例如,脚本库114在其中执行的iframe能够控制或防止访问iframe的内容或数据。iframe能够防止电子资源112或3P电子资源服务器142访问与脚本库114相关联的内容或数据。在iframe中执行的脚本库114能够与数字助理服务器138通信数据,而电子资源112(或3P电子资源服务器142)没有获得对数据的访问。脚本库114能够获得与数据处理系统102、登录到数据处理系统102的账户、计算设备122相关联的数据或信息或其他信息。
电子资源112的管理员能够将超文本标记语言(“HTML”)标记投放在电子资源112上。电子资源112能够包括HTML标记。电子资源112上的HTML标记能够包括用于脚本库在电子资源112上显示用户接口元素的方式的描述或配置设置。以下图示电子资源112的HTML标记的示例:
Figure BDA0003820994610000241
Figure BDA0003820994610000251
定制的web元素<digital-assistant-action-link-group>能够充当容器,其保存3P电子资源服务器142提供的用于在电子资源112上显示的调用动作。容器内的每个<digital-assistant-action-link>能够表示要在电子资源112上显示的单个调用动作。3P能够指定用于页面上的调用动作的附加配置,诸如图标、项目标识符或属性。例如,属性能够是超文本引用(“href”),并且具有类型“字符串(string)”。href属性能够包括链接到本地数字助理体验中的动作链接统一资源定位符“URL”。URL能够在渲染所选择的动作用户接口之前被验证。数据处理系统102能够阻止或不渲染无效的动作链接。为了验证动作链接,数据处理系统102或远程数据处理系统136能够:1)确定所加载的脚本库114后缀是否与动作链接的URL后缀匹配;2)确定所加载的脚本库114具有用于动作链接的意图的动作;以及3)确定所加载的脚本库114是否具有针对动作链接的意图而启用的链接。
另一示例属性能够包括“标题”并具有类型“字符串”。标题属性能够显示或提供标题。该标题能够与动作链接的intent_title相同,或者是由电子资源112的管理员设置的不同标题。
诸如web浏览器的应用110能够加载电子资源112。加载电子资源112能够包括从3P电子资源服务器142或其它文件服务器或web服务器或主机服务器下载电子资源112的数据或内容。加载电子资源112能够包括应用110渲染或执行电子资源112。加载电子资源112能够包括应用110加载嵌入有电子资源112的脚本库114。脚本库能够包括用于被配置成由一个或多个数字助理执行的电子资源112的多个调用动作。调用动作能够被配置成由本地数字助理组件106或数字助理服务器138执行。调用动作能够由本地数字助理组件106和数字助理服务器138两者执行。例如,本地数字助理组件106和数字助理服务器138能够彼此通信以执行调用动作,或执行调用动作的不同部分。
计算设备122或数据处理系统102能够与由多个计算设备122执行的多个数字助理相关联或链接。数字助理能够与相同的账户标识符相关联或链接。例如,用户能够利用用户名和密码或其他凭证登录到数据处理系统102。数据处理系统102能够认证并且授权用户利用数字助理组件。账户能够与多个计算设备122相关联,诸如智能电话、膝上型计算机、平板计算机、智能手表和台式计算机。计算设备122中的每一个能够包括能够与数字助理服务器138对接的本地数字助理组件106。因此,脚本库能够被配置有调用动作,该调用动作能够由与由一个或多个计算设备122执行的一个或多个本地数字助理组件106相对应的一个或多个数字助理执行,该一个或多个计算设备122与计算设备122的用户的相同账户标识符链接或相关联。
在加载电子资源112时,应用110能够使得脚本库114加载到电子资源112的安全iframe中。脚本库114能够启动、调用、发起、执行、呼叫或以其他方式提供一个或多个组件,诸如动态通知器组件116和数字助理选择器组件120。诸如在3P电子资源服务器142没有获得所传送的数据的情况下,脚本库114的组件能够以安全方式与数据处理系统102或远程数据处理系统136的一个或多个组件或元素通信。脚本库能够由第三方服务提供者(例如,3P电子资源服务器142)利用包括由第三方服务提供者选择的预定调用动作集合的调用动作来建立。3P电子资源服务器142的管理员能够建立对电子资源112的调用动作,并且将调用动作嵌入到脚本库114中。每个调用动作能够与指示调用动作是什么任务、何时、或在什么条件下调用或呈现调用动作的属性或元数据相关联。脚本库114能够被设计、配置和操作以执行图2和图3中所描绘的一个或多个功能、过程或方法,诸如过程200和300。
动态通知器组件116能够被设计、构造和操作成查询数字助理组件106以确定计算设备122与一个或多个数字助理之间的历史接洽级别。动态通知器组件116能够确定数字助理和与计算设备122相关联的账户之间的历史接洽级别。账户能够与多个计算设备相关联。在一些情况下,历史接洽级别能够基于与关联于相同账户的所有计算设备122上的数字助理的接洽。在一些情况下,历史接洽级别能够基于与关联于加载脚本库114的计算设备122的数字助理的接洽。
动态通知器组件116能够确定呈现什么调用动作,并且然后选择呈现调用动作利用的数字接口的类型。为了选择调用动作,动态通知器组件116能够确定电子资源112的当前场境或状态。例如,状态或上下文能够指或包括搜索状态、购买状态、结账流程或信息收集流程。该场境能够指示用户正在搜索航班,或者不能识别例如具有期望价格、时间或持续时间的航班。电子资源112能够呈现获得场境信息的调查或提示。动态通知器组件116能够识别与电子资源112的当前场境或状态相关联的调用动作。
为了选择要生成的接口的类型,动态通知器组件116能够确定历史接洽级别。历史接洽级别能够指先前接洽级别。历史接洽级别能够指在当前时间之前的接洽级别。历史接洽级别能够指在最近24小时、48小时、72小时、1周、2周、3周、4周、30天、60天、90天、6个月或更长时间内的接洽级别。
数据处理系统102(例如,经由动态通知器组件116)能够经由网络105从远离数据处理系统102的数字助理服务器138接收关于历史接洽级别的信息。动态通知器组件116能够基于数字助理的使用量来确定接洽级别。接洽级别能够基于数字助理的使用次数、与数字助理的交互次数、或数字助理已被启动或调用的次数。接洽级别能够基于与数字助理的交互的类型。交互的类型能够包括例如由数字助理执行的任务的类别或类型、查询的类型、请求的类型、或调用动作的类型。任务或调用动作的示例类型能够包括启动应用、执行在线搜索、进行购买、订购服务、拼车请求、检查天气或其他类型的任务。任务或调用动作的类别能够包括,例如,对信息的请求、娱乐任务、购买、商业、拼车请求或多媒体请求。动态通知器组件116能够基于在时间间隔(例如,过去24小时、48小时、7天或30天)期间多个客户端计算设备之间的先前交互的次数来确定历史接洽级别。
动态通知器组件116能够确定用于特定类别或任务的接洽级别。能够针对特定电子资源112或应用110确定接洽级别。能够针对一天中的特定时间、一周中的特定天或计算设备122的位置来确定接洽级别。能够针对登录到计算设备122中的特定账户确定接洽级别。能够针对计算设备122的特定用户确定接洽级别。
动态通知器组件116能够将接洽级别确定为分值、值、百分比或其他标签。例如,动态通知器组件116能够将接洽级别确定为低、中或高之一。动态通知器组件116可以确定数值或分值以表示分值级别。例如,动态通知器组件116能够使用从1到10的标度来表示接洽级别,其中1是最低接洽级别,并且10是最高接洽级别。在另一示例中,动态通知器组件116能够将接洽级别表示为等级,诸如A、B、C、D或F,其中A是最高接洽级别,并且F是最低接洽级别。动态通知器组件116能够使用二进制值来表示接洽级别,其中1指示在先前时间间隔(例如,最后1周)期间在账户与数字助理之间已经存在历史接洽,并且0指示在账户与数字助理之间不存在接洽或账户最近被创建。
接洽级别能够基于多个因素。该多个因素能够被组合以确定总体接洽级别。因素能够包括例如接洽的类型、接洽的类别或历史接洽的其它方面。例如,动态通知器组件116能够针对多个接洽因素指派值,并且然后组合这些值(例如,和、积、平均或加权平均)以确定总分值。例如:过去一周的接洽次数+与相同电子资源112的相同类别的接洽次数+相同计算设备122上的接洽次数。动态通知器组件116能够基于这些因素来确定总分值。动态通知器组件116能够将该分值与阈值进行比较以确定接洽级别是低还是高;或者将分值映射到更颗粒的级别,诸如低、中-低、中-高或高接洽级别。阈值能够由远程数据处理系统136的管理员预先确定或配置。能够基于其他账户的聚合接洽级别来动态地确定阈值。
例如,电子资源112能够是涉及购买机票的网站。动态通知器组件116能够确定数字助理被用于有助于在过去30天中在该电子资源112上购买机票。因此,动态通知器组件116能够确定该账户和该电子资源112的接洽级别是高的。
为了确定历史接洽级别,动态通知器组件116能够经由网络105与数字助理服务器138通信。动态通知器组件116能够向数字助理服务器138传输请求或查询,以从数字助理服务器138获得关于登录到计算设备122中的账户与数字助理之间的历史接洽级别的信息。在一些情况下,动态通知器组件116能够从本地数字助理组件106获得信息。例如,动态通知器组件116能够查询本地数字助理组件106或以其他方式与其通信以确定接洽级别。本地数字助理组件106能够将与数字助理组件106或数字助理106的历史接洽或先前接洽、交互、用途、调用或使用有关的信息存储在与相同账户相关联的其他计算设备上。
动态通知器组件116能够以安全方式访问与历史接洽级别相关的信息。例如,脚本库114能够在iframe中被启动,该iframe可以是防止电子资源112访问由动态通知器组件116获得或使用的数据的安全计算环境或沙箱计算环境。因此,动态通知器组件116能够在电子资源112没有获得信息的情况下确定账户的历史接洽级别。
动态通知器组件116能够确定计算设备122(例如,客户端计算设备)的属性。计算设备122的属性能够指或包括计算设备的类型、计算设备的位置、计算设备的配置、安装在计算设备上的应用、计算设备的操作系统、电池剩余电量、性能能力、或可用接口。例如,与设备类型相关的属性能够包括移动设备或台式设备、智能电话、平板电脑、台式机、智能手表、可穿戴设备、智能扬声器、智能电视或电器。计算设备122的属性能够指示计算设备122是否具有本地数字助理、麦克风或扬声器。本地数字助理能够指集成在计算设备122上或在其上安装或执行的操作系统的一部分的本地数字助理组件106。不具有本地数字助理的计算设备122能够具有作为第三方应用安装在计算设备122上的数字助理组件。在一些情况下,计算设备122可能没有安装任何数字助理,在这种情况下,属性值能够指示没有安装数字助理或没有数字助理可用。属性能够包括与电子资源相关联的账户是否已经登录。
动态通知器组件116能够确定设备属性。动态通知器组件116能够从远程数据处理系统136获得设备属性。例如,远程数据处理系统136能够将设备属性传输到数据处理系统102。在一些情况下,数据处理系统102能够直接从计算设备122获得设备属性。属性能够包括,例如:账户标识符;设备操作系统类型;设备操作系统版本;或设备位置。
动态通知器组件116能够选择一种类型的数字接口,在该数字接口中呈现包括在脚本库114中的多个调用动作的调用动作。动态通知器组件116能够基于计算设备122的属性和历史接洽级别来选择数字接口的类型。调用动作能够对应于数字助理能够执行的与电子资源112相关联的任务。示例任务能够包括例如从乘客共享应用订购乘坐、在旅行电子资源上预订航班、从商务电子资源购买商品或服务、在电子资源上继续或重复任务、或进行金融交易。
其中呈现调用动作的数字接口的类型能够包括位于计算设备122的电子资源或显示设备的角落中的图标、横幅、弹出窗口、覆盖图、动画图标、滚动文本、闪烁图标、内嵌文本或图像、或音频输出。数字接口的类型能够是明显的数字接口(例如,覆盖在整个电子资源112或电子资源112的大部分区域上),或者是细微的或不明显的数字接口(例如,在电子资源112的右上角中的不使电子资源的其余部分模糊的图标)。
动态通知器组件116能够基于客户端计算设备122的属性和历史接洽级别来选择数字接口的类型。动态通知器组件116能够使用各种技术来基于一个或多个属性和历史接洽级别来选择数字接口。例如,由动态通知器组件116使用的选择技术能够使用或包括账户偏好、预定配置、映射、数字接口的历史性能或机器学习中的一个或多个。
动态通知器组件116能够使用账户偏好来选择数字接口。账户偏好能够取决于计算设备的类型指示对数字接口的偏好。例如,计算设备122的用户能够建立账户偏好。该账户偏好能够包括针对计算设备122的类型的数字接口的类型的偏好的排名。例如,智能电话的数字接口的排名能够是:1)屏幕角落图标;2)横幅;以及3)覆盖在电子资源上,其中1表示最高排名(或数字接口的最优选的类型),而3表示最低排名(或数字接口的最不优选的类型)。动态通知器组件116能够利用与智能电话相关联的历史接洽级别来增加该排名以选择数字接口的类型。例如,如果历史接洽级别已经为高,则动态通知器组件116能够选择最高排名类型的数字接口。如果历史接洽级别已经为低,则动态通知器组件116能够确定选择不同类型的数字接口以便增加与数字助理的接洽的可能性。在另一示例中,如果与数字助理的历史接洽水平高,则动态通知器组件116能够覆盖排名以选择更明显的数字接口的类型,以便增加与数字助理的接洽的可能性。增加与数字助理的接洽的可能性能够减少计算资源利用,因为数字助理能够增加计算任务的执行效率。
动态通知器组件116能够利用预定映射来选择数字接口的类型。表1中图示了示例映射。
表1:属性和历史接洽水平对数字接口类型的说明性映射
Figure BDA0003820994610000311
接口
动态通知器组件116能够利用由数字助理服务器138或3P电子资源服务器142的管理员提供的映射。映射能够被称为选择技术、策略或逻辑。动态通知器组件116能够确定属性和历史接洽级别,以识别要选择的数字接口的类型。动态通知器组件116能够使用属性和级别在映射中执行查找以识别数字接口的对应类型。
动态通知器组件116能够使用数字接口的历史性能来确定要选择的数字接口。动态通知器组件116能够获得与数字接口的性能相关联的属性和历史接洽级别。数字接口的性能能够指该接口导致交互或执行调用动作。积极执行能够指执行调用动作以使得与数字助理的接洽,而消极执行能够指关闭、终止或以其他方式不执行调用动作或不调用或使用数字助理以执行任务。动态通知器组件116能够利用由机器学习技术训练的模型,其中模型的特征能够包括一个或多个属性、历史接洽级别、数字接口的类型和数字接口的性能(例如,指示执行调用动作或没有调用动作的执行的二进制值)。
动态通知器组件116能够使用机器学习技术来选择数字接口的类型。一个或多个组件或系统能够使用机器学习技术来生成模型。例如,远程数据处理系统136(例如,经由数字助理服务器138)能够生成模型,本地数字助理组件106能够生成模型,或者动态通知器组件116能够生成模型。数据用于使用用于特定账户的数据来训练由机器学习使用的模型。动态通知器组件116能够使用与特定账户相关联的数据来生成或使用用于该账户的模型。在一些情况下,动态通知器组件116能够聚合与多个账户相关联的去识别或匿名化的数据以训练模型。
动态通知器组件116能够将权重应用于与属性或历史接洽级别相关联的分值或值以确定分值。动态通知器组件116能够使用该分值来选择数字接口的类型。例如,属性的存在或缺乏能够被表示为数值。历史接洽级别能够表示为数值。动态通知器组件116能够对分值加权(例如,将乘数应用于分值)。动态通知器组件116能够组合分值(或加权的分值)以确定用于选择数字接口的总分值。动态通知器组件116能够将分值映射到数字接口的类型。在表2中图示基于示例分值的映射。
分值阈值 数字接口的类型
小于3 电子资源的角落中的图标
3至5 电子资源的底部的横幅
大于5且小于7 在电子资源上明显覆盖的接口
大于7 基于语音的接口
因此,动态通知器组件116能够基于与计算设备122的属性和与数字助理的历史接洽级别相关联的实时信息来进行数字接口的类型的定制的、动态的选择,以便提高计算设备122、3P电子资源服务器142或远程数据处理系统136能够执行与电子资源112相关联的任务或功能的计算效率。例如,数据处理系统102(例如,经由动态通知器组件116)能够基于指示客户端计算设备122包括麦克风和扬声器的客户端计算设备122的性质以及指示与相同账户相关联的客户端计算设备122与一个或多个数字助理之间的交互次数大于阈值(例如,7)的历史接洽级别来选择数字接口的类型作为基于语音的接口。
动态通知器组件116能够生成具有调用动作的数字接口。动态通知器组件116可以基于基于客户端计算设备122的第一属性和历史接洽级别而选择的数字接口的类型来生成数字接口接口。动态通知器组件116能够响应于该选择来生成数字接口。动态通知器组件116能够使用、呼叫、填充或以其他方式利用模板、图像、文本、脚本、函数、用户接口元素、音频、多媒体或其他组件来生成数字接口。例如,动态通知器组件116能够访问用于数字接口的模板,并且基于由3P电子资源服务器142针对电子资源112建立的调用动作来填充模板中的字段。在另一示例中,脚本库114能够包括用于每种类型的数字接口的预先建立或配置的数字接口。动态通知器组件116能够渲染与用于调用动作的所选择的数字接口类型相对应的预先建立或预先配置的数字接口。在另一示例中,动态通知器组件116能够基于指示客户端计算设备122缺少麦克风(或者通过一个或多个数字助理对客户端计算设备122的麦克风或扬声器的访问已经被禁用)的客户端计算设备122的第一属性来选择数字接口的类型作为图形用户接口。如果对麦克风的访问被禁用,则动态通知器组件116能够选择能够接收诸如触摸输入、或键盘或鼠标输入的基于非语音的输入的数字接口的类型。
数据处理系统102能够检测执行调用动作的指令。指令能够经由客户端计算设备122的输入设备检测。计算设备122能够经由触摸接口、鼠标输入、键盘输入、语音输入、基于手势的输入或其他类型的输入来接收输入。输入能够是与数字接口的交互,对经由接口所呈现的按钮、链接或其他交互式小部件的选择。因此,数据处理系统102能够经由数字接口检测执行调用动作的指令。
数据处理系统102或脚本库114能够包括或执行数字助理选择器组件120,其被设计、构造和操作成确定调用动作的执行模式、选择数字助理执行调用动作,以及传输调用动作。数字助理选择器组件120能够响应于执行调用动作的指令,基于客户端计算设备122的一个或多个属性和历史接洽级别来确定调用动作的执行模式。执行模式能够指或包括在计算设备122上执行本地数字助理,或者在计算设备122上执行非本地数字助理。非本地数字助理能够指或包括未预先安装有操作系统的数字助理。非本地数字助理能够指作为第三方应用安装在计算设备122上的数字助理。
执行模式能够包括,例如:导航到安装在计算设备122上的非本地数字助理应用;利用下载和安装所述数字助理的提示或指示来重定向到电子资源;导航到安装在计算设备122上的本地数字助理;导航到本地数字助理并且立即执行调用动作;利用指示如何执行调用动作的提示来导航到数字助理电子资源;提供具有其他计算设备122的列表的提示,这些其他计算设备122具有链接到与执行数据处理系统102的计算设备122相同的账户的数字助理,并且提供选择其他计算设备122中的一个来启动数字助理执行调用动作的提示。
数据处理系统102能够基于客户端计算设备的一个或多个属性指示客户端计算设备的操作系统的类型来选择调用动作的执行模式。由数据处理系统102用于选择执行模式的属性能够被称为第二属性或第二一个或多个属性,而用于选择数字接口的属性能够被称为第一属性或第一一个或多个属性。第一属性能够与第二属性相同。第一一个或多个属性能够与第二一个或多个属性重叠。第一属性能够不同于第二属性。第一一个或多个属性能够与第二一个或多个属性互斥。
为了选择执行模式,数字助理选择器组件120能够使用类似于动态通知器组件116的一个或多个功能或技术。例如,数字助理选择器组件120能够利用映射技术、索引、机器学习技术、基于逻辑的技术、规则或策略。
数字助理选择器组件120能够基于第二属性和历史接洽级别来选择执行模式。数字助理选择器组件120能够在具有第二属性和历史接洽级别的映射或索引中执行查找以识别对应的执行模式。数字助理选择器组件120能够使用机器学习模型或利用机器学习技术所训练的模型来确定执行模式。该模型能够包括诸如属性、历史接洽级别、不同执行模式、以及数字助理的历史执行或具有对应的执行模式的动作的执行之类的特征。
数字助理选择器组件120能够基于与账户相关联的偏好、或由3P电子资源服务器142或数字助理服务器138提供的配置来选择执行模式。
数字助理选择器组件120能够基于执行模式来从一个或多个数字助理和多个客户端计算设备中的第二客户端设备中选择数字助理以执行调用动作。例如,执行模式能够包括在第二计算设备122(例如,与初始加载电子资源112和脚本库114的计算设备122不同的计算设备122)上启动、调用、执行或以其他方式利用数字助理。数字助理选择器组件120能够提供可用计算设备122的列表,并且接收计算设备的选择。数字助理选择器组件120能够对链接到相同账户并且被配置或操作成启动数字助理执行调用动作的计算设备122的列表进行排名。数字助理选择器组件120能够自动地选择最高排名的计算设备122,或者接收计算设备的选择的指示。
例如,具有被配置成执行调用动作的数字助理的计算设备122的列表能够基于以下中的一个或多个来排名:计算设备122被用于启动数字助理以执行调用动作有多频繁;计算设备122最近被使用的时间;初始加载脚本库114的计算设备122与另一计算设备122有多接近(位置/接近);或者计算设备122与调用动作有多么相关。例如,启用数字助理的智能扬声器计算设备122与用于播放音乐的调用动作高度相关,而智能手表计算设备122与这样的调用动作较不相关。在另一示例中,启用数字助理的智能电视与用于播放视频的调用动作高度相关,而智能手表计算设备122与这样的调用动作较不相关。
数字助理选择器组件120能够选择与第一计算设备(例如,最初加载脚本库114的计算设备)不同的第二计算设备122来执行调用动作。数字助理选择器组件120能够将调用动作传输到第二客户端计算设备122以使得第二客户端计算设备122调用数字助理执行调用动作。数字助理选择器组件120可以传输有助于执行调用动作的信息,诸如与电子资源112相关联的信息或与电子资源112相关联的账户。该信息可包括引用、指针、元数据、位置信息、或有助于由第二计算设备122的数字助理执行调用动作的其他数据。
在一些情况下,系统100能够选择数字组件以用于提供。系统能够从3P数字内容提供者设备134选择内容项或数字组件。系统100能够提供所选择的数字组件以用于经由计算设备122在电子资源112上利用数字接口呈现、或者在执行调用动作的第二计算设备122上呈现。能够基于电子资源112、属性、历史接洽级别、调用动作或其他信息来选择内容项或数字组件。
例如,远程数据处理系统136能够包括内容选择器组件140。远程数据处理系统136的内容选择器组件140能够选择内容项(例如,数字组件对象)。内容选择器组件140能够基于或响应于以下中的一个或多个来选择内容项:对内容的请求,基于动态通知器组件116选择数字接口,基于数字助理选择器组件120选择执行或计算设备122的模式,基于调用动作,或基于根据请求或响应于请求的调用动作的传输。内容选择器组件140能够选择与和调用动作相关联的信息相关或以其他方式匹配的内容项。例如,如果应用是销售鞋的电子商务应用,则内容选择器组件140能够选择用于一种类型的运动鞋的内容项。在另一示例中,如果调用动作涉及预订航班,则远程数据处理系统136能够选择与旅行相关的内容项(例如,航班的优惠券)。
在一些情况下,在数据处理系统102的动态通知器组件116选择数字接口的类型之后,远程数据处理系统136的内容选择器组件140能够确定选择由3P数字内容提供者设备134提供的内容项(例如,数字组件对象)。在动态通知器组件116选择数字接口的类型之后,动态通知器组件116能够向远程数据处理系统136提供所选择的数字接口的类型的指示。动态通知器组件116能够将指示提供给数字助理服务器138。数字助理服务器138能够生成对内容项的请求并且将该请求转发到内容选择器组件140。数字助理服务器138能够响应于接收到对数字接口的类型的选择的指示来生成对内容的请求。在一些情况下,数字助理服务器138能够基于动态通知器组件116所生成的数字接口的类型来确定生成对内容的请求。例如,如果动态通知器组件116选择占据更多屏幕空间的显著或明显接口,则数字助理服务器138能够确定可能存在足够空间来包括内容项。因此,数字助理服务器138响应于确定存在用于补充内容项的足够屏幕空间,能够生成对内容的请求。然而,如果所选择的数字接口的类型更不明显,诸如屏幕的角落中的小图标,则数字助理服务器138能够确定不生成对内容的请求,从而减少了浪费的计算资源利用。
在生成对内容的请求时,数字助理服务器138能够将对内容的请求转发到内容选择器组件140。内容选择器组件140能够执行实时内容选择处理以选择内容项。内容选择器组件140能够使用一个或多个参数或选择标准来选择内容项。例如,由内容选择器组件140接收到的请求能够包括关于电子资源112的信息(例如,关键字、主题、概念或其他场境信息)、要在数字接口中提供的调用动作、所选择的数字接口的类型、或与电子账户相关联的信息。内容选择器组件140能够使用该信息来选择相关内容项。
远程数据处理系统136能够将所选择的内容项提供给数据处理系统102以用于呈现。远程数据处理系统136能够向脚本库114提供内容项以使脚本库114经由由动态通知器组件116选择的数字接口显示或呈现内容项。动态通知器组件116能够显示内容项以及经由数字接口呈现的调用动作。因此,实时内容选择处理能够在选择数字接口的类型之后并且在呈现数字接口以供显示之前发生。
在一些情况下,数据处理系统102能够经由数字助理组件106呈现内容项。远程数据处理系统136能够将所选择的内容项提供给应用110以用于呈现。远程数据处理系统136能够将所选择的内容项提供给数字助理组件106以提供给应用110用于呈现。内容项能够经由应用110的用户接口被呈现,诸如在视觉内容槽或音频输出中。动态通知器组件116能够提供或呈现内容项以及所选择的数字接口。数字助理选择器组件120能够向被选择用于执行调用动作的第二计算设备122提供内容项,以使得第二计算设备122呈现内容项。
数字助理组件106能够与应用110分开或独立地呈现内容项。例如,数字助理组件106能够调用单独用户接口,诸如弹出窗口或横幅内容以用于经由计算设备122的显示设备128显示。在一些情况下,数字助理组件106能够提供内容项作为音频输出。音频输出能够在应用110的音频输出之前、期间或之后被呈现。在应用110不提供音频输出的情况下,数字助理组件106能够独立于应用所使用的接口经由音频输出来提供内容项。因此,数据处理系统102能够经由数字助理组件106的用户接口(例如,音频接口)或应用110(例如,图形用户接口)来呈现内容项。
在一些情况下,远程数据处理系统136能够将所选择的内容项传输到与初始加载电子资源112的计算设备122不同的第二计算设备122。例如,远程数据处理系统136能够从数字助理选择器组件120接收识别第二计算设备122的指示。数字助理选择器组件120能够选择第二计算设备122来执行经由数字接口所提供的调用动作。因此,系统100能够经由执行调用动作的第二计算设备122来呈现内容项,而不是经由计算设备122来呈现所选择的内容项。
为此,在一些情况下,远程数据处理系统136能够将内容项传输到数据处理系统102,并且数据处理系统102能够确定延迟呈现内容项,直到数字助理选择器组件120选择第二计算设备122的数字助理来执行调用动作。在选择第二计算设备122的数字助理时,数据处理系统102能够将所选择的内容项连同用于执行的调用动作一起转发到对应的第二计算设备122。
在一些情况下,数据处理系统102能够将内容项连同数字接口一起呈现,并且然后将内容项传输到第二计算设备122的所选择的数字助理以使得第二计算设备122重新显示所选择的内容项或相关的内容项。
图2是根据实施方式的调整数字动作的执行的处理的图示。该处理200能够由图1或图7中所描绘的一个或多个系统或组件执行,包括例如数据处理系统、远程数据处理系统、本地数字助理、脚本库、动态通知器组件、或数字选择器组件。方法200能够通过检查是否已经为会话激活了账户而发起。如果账户没有被激活,则数据处理系统能够确定动态选择数字接口可能是不可能的,因为可能不能确定历史接洽级别。因此,如果账户对于会话不是活动的或登录的,则数据处理系统能够选择默认数字接口。默认数字接口当被选择时能够生成请求账户登录凭证的提示。
如果账户被登录,则脚本库能够通过以下来检查账户是否已经与数字助理接洽:(1)与数字助理服务器通信以确认是否存在与账户相关联的任何启用助理的设备,或者(2)账户是否已经完成了过去的数字助理上传体验。如果账户不是助理用户,则脚本库能够选择相同默认、非定制数字接口按钮,就好像账户未登录一样,因为不存在能够被用于动态选择更显著的数字接口的关于历史接洽级别的信号。然而,如果账户被登录并且账户在历史上已经与数字助理接洽,则库能够检查用户与第三方电子资源提供者之间是否存在经由与账户相关联的数字助理的任何过去的交互。脚本库能够通过查询数字助理服务器来确定与在电子资源上执行动作的数字助理的历史接洽级别。
如果账户在过去没有使用数字助理与电子资源交互(例如,如果在过去不存在电子资源和与账户相关联的数字助理之间的记录的交互),则脚本库能够选择相同非个性化默认数字接口按钮,因为不存在关于他们是否可以从针对数字助理语音功能的更明显的调用动作中获益的信号(肯定的或否定的)。
如果账户被登录,账户已经与数字助理接洽,并且账户已经与数字助理接洽以与电子资源交互或在电子资源上执行动作,则脚本库能够确定示出针对电子资源上的数字助理语音功能的更明显的调用动作。
例如,在动作202,执行脚本库的数据处理系统能够确定是否存在可用的助理提供者的账户。账户不可用(例如,未登录),则脚本库能够前进到动作218以显示不是针对内嵌按钮进入点所定制的默认数字接口,并且然后前进到动作220以提供基于web浏览的动作链接,诸如具有关于数字助理的信息的链接,以及前进到动作210以提供抢占底层表格进入点。然而,如果在动作202处脚本库确定与数字助理相关联的账户针对该会话被登录(例如,经由计算设备的操作系统、应用或电子资源),则脚本库(或执行脚本库的系统)能够前进到动作204以确定账户是否已经与数字助理接洽。在动作204,脚本库能够确定账户的历史接洽级别。脚本库能够确定账户过去是否已经使用数字助理。
如果在动作204处脚本库确定账户过去尚未使用数字助理,则脚本库能够前进到动作218以选择用于内嵌按钮进入点的默认数字接口。如果脚本库在动作204处确定账户已经与数字助理接洽,则脚本库能够前进到动作206以确定账户(或账户在其上被登录的计算设备122)是否已经使用用于电子资源的数字助理执行调用动作。如果在动作206处脚本库确定用户先前已经使用数字助理对电子资源执行动作,则脚本库能够前进到动作208以基于设备的属性来选择对应于该接洽级别的数字接口,然后前进到动作210。如果在动作206,脚本库确定该账户尚未使用数字助理来执行用于电子资源的动作,则脚本库能够前进到动作210以提供抢占底层表格进入点。
在动作210,脚本库能够提供抢占底层表格进入点,该抢占底层表格进入点能够包括确定数字助理的执行模式。脚本库能够确定提供更显著的数字接口。脚本库能够前进到动作212以确定到电子资源的账户链接是否被需要。账户链接能够将数字助理链接到电子资源以有助于数字助理执行与电子资源相关联的动作。脚本库能够基于要被执行的动作的类型(例如,购买)来确定账户链接是否被需要。如果在动作212处脚本库确定需要账户链接,则脚本库能够前进到动作214以执行账户链接流,其能够包括账户凭证的提示或将电子资源的账户与数字助理链接的请求,然后前进到动作216。如果脚本库在动作212确定账户链接不被需要,则脚本库能够前进到动作216以提供具有设备选择器的动作链接用户接口。脚本库能够对被配置有执行动作的数字助理的可用设备进行排名,并且接收用于执行动作的设备的选择。在一些情况下,脚本库能够自动地选择排名最高的设备来执行动作。
图3是根据实施方式的调整数字动作的执行的处理的图示。该处理300能够由图1或图7中所描绘的一个或多个系统或组件执行,包括例如数据处理系统、远程数据处理系统、本地数字助理、脚本库、动态通知器组件、或数字选择器组件。处理300能够被用于已经具有链接账户的设备。例如,在动作302,脚本库能够确定数字助理提供者的账户是否可用。脚本库能够确定数字助理账户是否被激活或登录用于会话,诸如在应用、操作系统或设备中。如果在动作302处,脚本库确定数字助理的账户未被登录或不可用,则脚本库能够前进到动作306以选择并且提供内嵌按钮进入点。脚本库能够针对没有被定制的调用动作提供默认数字接口。脚本库能够前进到动作308以提供基于web浏览的动作链接,该链接能够指或包括到电子资源的链接。
然而,如果在动作302处脚本库确定数字助理账户被登录,则脚本库能够前进到动作304以确定与数字助理的历史接洽级别。如果账户在历史上没有与数字助理接洽,或者具有低于阈值的与数字助理的低接洽级别(例如,自从账户与数字助理接洽以来已经超过3个月),则脚本库能够前进到动作306以提供默认、非定制数字接口。
如果在动作304处脚本库确定账户已经与数字助理接洽或者已经接洽超过阈值,则脚本库能够前进到动作310以确定电子资源的账户是否已经与数字助理的账户链接。脚本库能够确定数字助理账户是被链接到3P电子资源或者3P电子资源服务器的账户。如果数字助理账户没有被链接到电子资源的账户,则脚本库能够前进到动作318以执行账户链接流。
然而,如果在动作310处脚本库确定数字助理账户被链接到电子资源账户(例如,旅行网站、音乐服务或在线市场的账户),则脚本库能够前进到动作312以确定设备或账户是否已经使用数字助理以执行用于电子资源的调用动作。如果脚本库在312处确定设备尚未使用数字助理来执行用于电子资源的动作,则脚本库能够前进到动作316以返回具有设备选择器的动作链接用户接口(“UI”)。然而,如果脚本库确定数字助理已被用于执行用于电子资源的动作,则脚本库能够前进到动作314以选择内嵌按钮进入点,该内嵌按钮进入点能够是与针对数字助理的调用动作一起显著地显示的定制或个性化数字接口。脚本库能够基于被链接并且先前被用于执行电子资源的动作的账户来选择更显著的数字接口。脚本库然后能够前进到动作318以提供具有设备选择器的动作链接UI。脚本库能够对可用设备进行排名以供选择,或者自动地选择排名最高的设备。
图4是根据实施方式的用于执行数字动作的图形用户接口的图示。图形用户接口400能够由图1或图7中所描绘的一个或多个系统或组件提供,包括例如数据处理系统、远程数据处理系统、本地数字助理、脚本库、动态通知器组件、数字选择器组件或显示设备。图形用户接口400能够包括电子资源112、主内容402和图标或内嵌进入点按钮404。主内容402能够包括或指文本、图像、多媒体内容或由电子资源112的提供者提供的其他内容。图标404能够是数字接口类型的示例,并且能够包括具有提示的内嵌按钮进入点,诸如“利用数字助理进行尝试(try it with digital assistant)”。脚本库能够基于检测到数字助理账户未被登录(例如,经由处理200或300)来选择按钮404。脚本库能够在主内容402下方显示图标404,以便不混淆或不以其他方式阻挡主内容402。
图5是根据实施方式的用于执行数字动作的图形用户接口的图示。图形用户接口500能够由图1或图7中所描绘的一个或多个系统或组件提供,包括例如数据处理系统、远程数据处理系统、本地数字助理、脚本库、动态通知器组件、数字选择器组件或显示设备。图形用户接口500能够包括电子资源112、主内容402、弹出窗口502的显示,其具有链接账户504或不链接账户506的按钮。图形用户接口500能够经由处理300或400提供。
弹出窗口能够是数字接口并且对应于由脚本库基于属性和历史接洽级别选择的数字接口的类型。脚本库能够响应于确定数字助理账户被登录、账户先前已经与数字助理接洽、但是电子资源提供者的账户未与数字助理提供者链接而选择、生成和提供弹出窗口502。例如,脚本库能够基于历史接洽级别和设备的属性来确定选择具有更显著的调用动作的数字接口类型。例如,如果第一属性指示客户端计算设备是利用数字助理启用的智能电话,并且历史接洽级别指示计算设备在由数据处理系统针对电子资源加载的脚本库之前的时间间隔期间与一个或多个数字助理交互,则脚本库能够选择具有覆盖在电子资源112上的弹出图标502的数字接口。弹出窗口502比图4中所描绘的图标404更显著,因为弹出窗口502阻挡了电子资源112的主内容402的一部分(例如,主内容402的一半)。脚本库能够确定提供更显著的数字接口类型。如处理200和300中所描绘的,链接账户按钮504能够执行账户链接流。
图6是根据实施方式的调整数字动作的执行的方法的图示。方法600能够由图1或图7中所描绘的一个或多个系统或组件执行,包括例如数据处理系统、远程数据处理系统、本地数字助理、脚本库、动态通知器组件、或数字选择器组件。
在602,方法600能够包括计算设备或数据处理系统加载电子资源的脚本库或嵌入在电子资源中。脚本库能够被嵌入在由web服务器提供的网页中。数据处理系统或设备能够在电子资源的内嵌框架中执行脚本库。脚本库能够包括一个或多个调用动作、组件或模块。数据处理系统能够经由链接到数字助理的电子账户的客户端计算设备来加载嵌入在电子资源中的脚本库。脚本库能够包括用于电子资源的多个调用动作,其被配置用于由客户端计算设备提供的一个或多个数字助理执行。
在604,脚本库能够确定数字助理账户是否针对会话被登录(例如,当前在设备上登录)。脚本库能够查询设备的应用或操作系统以确定数字助理账户是否是活动的、激活的或以其他方式被登录。如果脚本库确定数字助理账户不是活动的或未被登录,则脚本库能够前进到动作606以提供用于调用动作的默认数字接口,其不是针对数字助理执行而定制或配置的。
然而,如果在动作604脚本库确定数字助理账户是活动的,则脚本库能够前进到动作608。在608,脚本库能够确定历史接洽级别。脚本库能够查询数字助理服务器以确定账户和数字助理之间的历史接洽级别。脚本库能够查询数字助理服务器以确定链接到电子账户的客户端计算设备与一个或多个数字助理之间的历史接洽级别。
在610,脚本库能够基于账户和数字助理之间的历史接洽级别来选择并且生成数字接口。脚本库能够基于客户端计算设备的第一属性和历史接洽级别来选择数字接口。脚本库能够经由数字接口提供调用动作。
在612,脚本库能够检测执行调用动作的指令,并且确定调用动作的执行模式。脚本库能够响应于执行调用动作的指令、基于客户端计算设备的第二属性和历史接洽级别来确定调用动作的执行模式。执行模式能够是例如启动本地数字助理或3P提供的数字助理。
在动作614,脚本库能够确定是否存在任何兼容设备可用。脚本库能够识别可用的启用数字助理的设备。如果脚本库不能识别当前可用的任何启用数字助理的设备,则脚本库能够前进到动作606以提供默认数字接口。例如,执行模式能够是使用本地数字助理,但是客户端设备可能没有安装的本地数字助理。在另一示例中,执行模式能够是使用第三方提供的数字助理,但是当前客户端设备可能没有安装的第三方数字助理,并且第二链接设备可以是离线的或者不位于第一计算设备附近。
然而,如果脚本库识别能够经由所选择的执行模式执行调用动作的可用的启用数字助理的设备,则脚本库能够前进到动作616。在动作616,脚本库能够选择数字助理执行调用动作。脚本库能够基于一个或多个属性和历史接洽级别来选择第二计算设备。例如,脚本库能够选择在第二计算设备上配置的数字助理,其最近用于执行类似调用动作并且与第一计算设备邻近(例如,在相同的WIFI网络上)。在动作618,脚本库能够将调用动作传输到所选择的第二计算设备以使得第二计算设备的数字助理执行调用动作。
图7是示例性计算机系统700的框图。计算机系统或计算设备700能够包括或被用来实施系统100或其组件,诸如数据处理系统102。计算机系统700包括总线705或用于传送信息的其他通信组件、以及耦合到总线705以用于处理信息的处理器710或处理电路。计算系统700还能够包括耦合到总线以用于处理信息的一个或多个处理器710或处理电路。计算系统700还包括耦合到总线705以用于存储信息以及将由处理器710执行的指令的主存储器715,诸如随机存取存储器(RAM)或其他动态存储设备。主存储器715能够是或包括数据存储库。主存储器715还能够被用于在由处理器710执行指令期间存储位置信息、临时变量或其他中间信息。计算系统300可以进一步包括耦合到总线705以用于存储用于处理器310的静态信息和指令的只读存储器(ROM)720或其他静态存储设备。诸如固态设备、磁盘或光盘的存储设备725能够被耦合到总线705,以持久地存储信息和指令。存储设备725能够包括数据存储库或作为其一部分。
计算机系统700可以经由总线705耦合到显示器735,诸如液晶显示器或有源矩阵显示器,以用于向用户显示信息。诸如包括字母数字和其他键的键盘的输入设备730可以被耦合到总线705,以用于将信息和命令选择传送给处理器710。输入设备730能够包括触摸屏显示器735。输入设备730还能够包括光标控件,诸如鼠标、轨迹球或光标方向键,以用于将方向信息和命令选择传送给处理器710并用于控制显示器735上的光标移动。显示器735能够是例如图1的数据处理系统102、客户端计算设备122或其他组件的一部分。
本文中所描述的过程、系统和方法能够由计算系统700响应于处理器710执行包含在主存储器715中的指令的布置实施。这样的指令能够从诸如存储设备725的另一计算机可读介质读入主存储器715中。执行包含在主存储器715中的指令的布置使得计算系统700执行本文中所描述的说明性过程。也可以采用在多处理布置中的一个或多个处理器来执行包含在主存储器715中的指令。能够使用硬接线电路代替软件指令或者与软件指令以及与本文中所描述的系统和方法结合。本文中所描述的系统和方法不限于硬件电路和软件的任何特定组合。
虽然在图7中描述了示例性计算系统,但是包括在本说明书中描述的操作的主题能够被实施在其他类型的数字电子电路中,或被实施在包括在本说明书中公开的结构及其等同结构的计算机软件、固件或硬件或者它们的一个或多个组合中。
在本文中所描述的系统收集有关用户或安装在用户设备上的应用的个人信息或利用个人信息的情况中,用户被提供机会来控制程序或功能部件是否可以收集用户信息(例如,有关用户的社交网络、社交行为或活动、职业、用户的偏好或用户的当前位置的信息)。另外或替代地,某些数据在被存储或使用之前,能够以一种或多种方式进行处理,以便移除个人信息。
本说明书中描述的主题和操作能够被实施在数字电子电路、或者计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)、或者它们中的一个或多个的组合中。本说明书中描述的主题能够被实施为一个或多个计算机程序,例如,编码在一个或多个计算机存储介质上的计算机程序指令的一个或多个电路,用于由数据处理装置执行或控制数据处理装置的操作。替代地或另外,程序指令能够被编码在人工生成的传播信号上,例如,机器生成的电、光或电磁信号,其被生成以编码信息以便传输到合适的接收器装置以供数据处理装置执行。计算机存储介质能够是或被包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或者它们的一个或多个的组合中。虽然计算机存储介质不是传播信号,但是计算机存储介质能够是以人工生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质也能够是或被包括在一个或多个单独的组件或介质(例如,多个CD、磁盘或其他存储设备)中。本说明书中描述的操作能够被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
术语“数据处理系统”、“计算设备”、“组件”或“数据处理装置”涵盖用于处理数据的各种装置、设备和机器,举例来说包括,可编程处理器、计算机、片上系统、或多个片上系统、或前述的组合。该装置能够包括专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外,该装置还能够包括为所涉及的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或它们的一个或多个的组合的代码。装置和执行环境能够实现各种不同的计算模型基础结构,诸如web服务、分布式计算和网格计算基础结构。数字助理组件106和其他数据处理系统102或远程数据处理系统136组件能够包括或共享一个或多个数据处理装置、系统、计算设备或处理器。数字助理服务器138和内容选择器组件140例如能够包括或共享一个或多个数据处理装置、系统、计算设备或处理器。
计算机程序(也称为程序、软件、软件应用、应用、脚本或代码)能够用任何形式的编程语言编写,包括编译或解释语言、声明或过程语言,并且能够以任何形式部署,包括作为独立程序或作为模块、组件、子例程、对象、或适用于计算环境的其他单元。计算机程序能够对应于文件系统中的文件。计算机程序能够被存储在保存其他程序或数据的文件的一部分(例如,存储在标记语言文档中的一个或多个脚本)中、存储在专用于所述的程序的单个文件中、或者存储在多个协调文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。计算机程序能够被部署以在一个计算机上或在位于一个站点上或分布在多个站点上并由通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程能够由执行一个或多个计算机程序(例如,数据处理系统102的组件)的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也能够由专用逻辑电路执行,并且装置也能够被实施为专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备,举例来说包括半导体存储器设备,例如,EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动磁盘;磁光盘;以及CD ROM和DVD-ROM磁盘。处理器和存储器能够由专用逻辑电路补充或并入专用逻辑电路中。
本文中所描述的主题能够被实施在包括后端组件,例如,作为数据服务器,或者包括中间件组件,例如,应用服务器,或者包括前端组件,例如,具有用户能够通过其与本说明书中描述的主题的实施方式进行交互的图形用户接口或网络浏览器的客户端计算机,或者一个或多个这样的后端、中间件或前端组件的组合的计算系统中。系统的组件能够通过任何形式或介质的数字数据通信,例如,通信网络,互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互连网(例如,互联网)和对等网络(例如,自组织对等网络)。
诸如系统100或系统700的计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络(例如,网络105)进行交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在一些实施方式中,服务器将数据(例如,表示数字组件的数据包)传输到客户端设备(例如,出于向与客户端设备交互的用户显示数据或从其接收用户输入的目的)。能够在服务器处从客户端设备接收(例如,由数字助理服务器138从计算设备122的数字助理组件106或3P数字内容提供者设备134接收)在客户端设备处生成的数据(例如,用户交互的结果)。
虽然在附图中以特定顺序描绘了操作,但是不需要以所示的特定顺序或相继顺序执行这些操作,并且不需要执行所有示出的操作。本文中所描述的动作能够以不同的顺序执行。
各种系统组件的分开不需要在所有实施方式中均要求分开,并且所描述的程序组件能够被包括在单个硬件或软件产品中。例如,动态通知器组件116和数字助理选择器组件120能够是单个组件、应用或程序,或具有一个或多个处理电路的逻辑设备,或者由数据处理系统102的一个或多个处理器执行。
现在已经描述了一些说明性实施方式,显而易见的是,前述内容是示例性的而非限制性的,已经通过示例呈现。特别地,尽管本文呈现的许多示例涉及方法动作或系统元素的特定组合,但是这些动作和那些元素可以以其他方式组合以实现相同的目标。结合一个实施方式讨论的动作、元素和特征不旨在从其他实施方式中的类似角色中被排除。
本文中使用的措辞和术语是出于描述的目的,并且不应当被视为限制。使用“包括”、“包含”、“具有”、“含有”、“涉及”、“特征在于”、“特征是”及其变体意味着涵盖其后列出的项目、其等同物、和附加项目、以及由其后列出的项目组成的替代实施方式。在一个实施方式中,本文中所描述的系统和方法包括一个、多于一个的每个组合或所有所描述的元素、动作或组件。
以单数形式提及的对本文中的系统和方法的实施方式、元素或动作的任何引用也可以涵盖包括多个这些元素的实施方式,并且对本文的任何实施方式、元素或动作的以复数形式的任何引用也可以涵盖仅包括一个元素的实施方式。以单数或复数形式的引用并不旨在将当前公开的系统或方法、它们的组件、动作或元素限制到单个或多个配置。对基于任何信息、动作或元素的任何动作或元素的引用可以包括其中动作或元素至少部分地基于任何信息、动作或元素的实施方式。
本文中公开的任何实施方式可以与任何其他实施方式或实施例组合,并且对“实施方式”、“一些实施方式”、“一个实施方式”等的引用不一定是相互排斥的并且旨在指示结合实施方式描述的特定特征、结构或特性可以被包括在至少一个实施方式或实施例中。本文中使用的这些术语不必然都指的是相同的实施方式。任何实施方式可以以与本文中公开的方面和实施方式一致的任何方式包含或排他地与任何其他实施方式组合。
对“或”的引用可以被解释为包含性的,使得使用“或”描述的任何术语可以指示所描述的术语中的单个、多于一个和全部。对术语的组合列表中的至少一个的引用可以被解释为包括性的或,以指示所描述的术语中的单个、多于一个和全部。例如,对“‘A’和‘B’中的至少一个”的引用能够仅包括‘A’、仅包括‘B’、以及‘A’和‘B’两者。与“包括”或其他开放术语结合使用的此类引用能够包括附加项目。
在附图、详细说明或任何权利要求中的技术特征之后是附图标记的情况下,附图标记已经被包括以增加附图、详细说明和权利要求的可懂度。因此,附图标记和它们的缺失都不会对任何权利要求要素的范围具有任何限制作用。
在不脱离其特性的情况下,本文中所描述的系统和方法可以以其他特定形式体现。例如,描述为3P或第三方,诸如3P数字内容提供者设备160,的设备、产品或服务能够部分地或完全地是或包括第一方设备、产品或服务,并且能够由与数据处理系统102、数字助理服务器138或其他组件相关联的实体共同拥有。前述实施方式是说明性的而不是限制所描述的系统和方法。因此,本文中所描述的系统和方法的范围由所附权利要求而不是前面的描述指示,并且在权利要求的等同物的含义和范围内的变化被涵盖其中。

Claims (20)

1.一种调整数字动作的执行的系统,包括:
包括一个或多个处理器的数据处理系统,用于:
经由链接到电子账户的多个客户端计算设备中的客户端计算设备加载嵌入在电子资源中的脚本库,所述脚本库包括用于所述电子资源的多个调用动作,所述多个调用动作被配置用于由所述多个客户端计算设备中的每个客户端计算设备所提供的一个或多个数字助理执行;
查询数字助理组件以确定所述多个客户端计算设备与所述一个或多个数字助理之间的历史接洽级别;
基于所述客户端计算设备的第一属性和所述历史接洽级别来选择在其中呈现所述多个调用动作中的调用动作的数字接口的类型;
基于根据所述客户端计算设备的所述第一属性和所述历史接洽级别所选择的所述数字接口的类型生成具有所述调用动作的数字接口;
经由所述数字接口检测执行所述调用动作的指令;
响应于执行所述调用动作的指令,基于所述客户端计算设备的第二属性和所述历史接洽级别来确定用于所述调用动作的执行模式;
基于所述执行模式从所述一个或多个数字助理和所述多个客户端计算设备中的第二客户端设备中选择数字助理以执行所述调用动作;以及
将所述调用动作传输到所述第二客户端设备以使得所述第二客户端设备调用所述数字助理执行所述调用动作。
2.根据权利要求1所述的系统,其中,所述脚本库由第三方服务提供者利用包括由所述第三方服务提供者选择的预定调用动作集合的所述多个调用动作建立。
3.根据权利要求1所述的系统,包括:
所述数据处理系统用于在由所述电子资源的提供者建立的所述电子资源上的位置处加载与所述脚本库相对应的图形用户接口元素。
4.根据权利要求1所述的系统,包括:
所述数据处理系统用于经由网络从远离所述数据处理系统的所述数字助理组件接收关于所述历史接洽级别的信息。
5.根据权利要求1所述的系统,包括:
所述数据处理系统基于在时间间隔期间在所述多个客户端计算设备之间的先前交互次数来确定所述历史接洽级别。
6.根据权利要求1所述的系统,包括:
所述数据处理系统用于针对调用动作的类型确定历史接洽级别。
7.根据权利要求1所述的系统,包括:
所述数据处理系统用于基于指示所述客户端计算设备包括麦克风和扬声器的所述客户端计算设备的所述第一属性以及指示所述多个客户端计算设备与所述一个或多个数字助理之间的交互次数大于阈值的所述历史接洽级别来选择包括基于语音的接口的数字接口的类型。
8.根据权利要求1所述的系统,包括:
所述数据处理系统用于基于指示所述客户端计算设备缺少麦克风或通过所述一个或多个数字助理对所述客户端计算设备的所述麦克风或扬声器的访问已经被禁用的所述客户端计算设备的所述第一属性来选择包括图形用户接口的数字接口的类型。
9.根据权利要求1所述的系统,包括:
所述数据处理系统用于基于指示所述客户端计算设备的操作系统的类型的所述客户端计算设备的所述第二属性来选择用于所述调用动作的所述执行模式。
10.根据权利要求1所述的系统,其中,所述第一属性指示所述客户端计算设备是利用所述数字助理启用的智能电话,并且所述历史接洽级别指示所述多个客户端计算设备在由所述数据处理系统针对所述电子资源加载的脚本库之前的时间间隔期间与所述一个或多个数字助理交互,包括:
所述数据处理系统选择包括覆盖在所述电子资源上的弹出图标的所述数字接口。
11.一种调整数字动作的执行的方法,包括:
由包括一个或多个处理器的数据处理系统经由链接到电子账户的多个客户端计算设备中的客户端计算设备加载嵌入在电子资源中的脚本库,所述脚本库包括用于所述电子资源的多个调用动作,所述多个调用动作被配置用于由所述多个客户端计算设备中的每个客户端计算设备所提供的一个或多个数字助理执行;
由所述数据处理系统查询数字助理组件以确定所述多个客户端计算设备与所述一个或多个数字助理之间的历史接洽级别;
由所述数据处理系统基于所述客户端计算设备的第一属性和所述历史接洽级别来选择在其中呈现所述多个调用动作中的调用动作的数字接口的类型;
由所述数据处理系统基于根据所述客户端计算设备的所述第一属性和所述历史接洽级别所选择的所述数字接口的类型生成具有所述调用动作的数字接口;
由所述数据处理系统经由所述数字接口检测执行所述调用动作的指令;
由所述数据处理系统响应于执行所述调用动作的指令,基于所述客户端计算设备的第二属性和所述历史接洽级别来确定用于所述调用动作的执行模式;
由所述数据处理系统基于所述执行模式从所述一个或多个数字助理和所述多个客户端计算设备中的第二客户端设备中选择数字助理以执行所述调用动作;以及
由所述数据处理系统将所述调用动作传输到所述第二客户端设备以使得所述第二客户端设备调用所述数字助理执行所述调用动作。
12.根据权利要求11所述的方法,其中,所述脚本库由第三方服务提供者利用包括由所述第三方服务提供者选择的预定调用动作集合的所述多个调用动作建立。
13.根据权利要求11所述的方法,包括:
在由所述电子资源的提供者建立的所述电子资源上的位置处加载与所述脚本库相对应的图形用户接口元素。
14.根据权利要求11所述的方法,包括:
经由网络从远离所述数据处理系统的所述数字助理组件接收关于所述历史接洽级别的信息。
15.根据权利要求11所述的方法,包括:
基于在时间间隔期间的所述多个客户端计算设备之间的先前交互次数来确定所述历史接洽级别。
16.根据权利要求11所述的方法,包括:
针对调用动作的类型确定所述历史接洽级别。
17.根据权利要求11所述的方法,包括:
基于指示所述客户端计算设备包括麦克风和扬声器的所述客户端计算设备的所述第一属性以及指示所述多个客户端计算设备与所述一个或多个数字助理之间的交互次数大于阈值的所述历史接洽级别来选择包括基于语音的接口的数字接口的类型。
18.根据权利要求11所述的方法,包括:
基于指示所述客户端计算设备缺少麦克风或通过所述一个或多个数字助理对所述客户端计算设备的所述麦克风或扬声器的访问已经被禁用的所述客户端计算设备的所述第一属性来选择包括图形用户接口的所述数字接口的类型。
19.根据权利要求11所述的方法,包括:
基于指示所述客户端计算设备的操作系统的类型的所述客户端计算设备的所述第二属性来选择用于所述调用动作的所述执行模式。
20.根据权利要求11所述的方法,其中,所述第一属性指示所述客户端计算设备是利用所述数字助理所启用的智能电话,并且所述历史接洽级别指示所述多个客户端计算设备在由所述数据处理系统针对所述电子资源所加载的脚本库之前的时间间隔期间与所述一个或多个数字助理交互,包括:
选择包括覆盖在所述电子资源上的弹出图标的所述数字接口。
CN202080097834.2A 2020-02-28 2020-02-28 用于数字动作执行的接口和模式选择 Pending CN115210692A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/020341 WO2021173151A1 (en) 2020-02-28 2020-02-28 Interface and mode selection for digital action execution

Publications (1)

Publication Number Publication Date
CN115210692A true CN115210692A (zh) 2022-10-18

Family

ID=70058472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080097834.2A Pending CN115210692A (zh) 2020-02-28 2020-02-28 用于数字动作执行的接口和模式选择

Country Status (6)

Country Link
US (5) US11922193B2 (zh)
EP (1) EP4111304A1 (zh)
JP (1) JP7440654B2 (zh)
KR (1) KR20220141891A (zh)
CN (1) CN115210692A (zh)
WO (1) WO2021173151A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657295B2 (en) * 2020-03-31 2023-05-23 Bank Of America Corporation Cognitive automation platform for dynamic unauthorized event detection and processing
KR20220046964A (ko) * 2020-10-08 2022-04-15 삼성전자주식회사 멀티 챗봇을 이용하여 질의에 응답하는 전자 장치 및 그 제어 방법
US11475122B1 (en) * 2021-04-16 2022-10-18 Shape Security, Inc. Mitigating malicious client-side scripts
US20230074240A1 (en) * 2021-09-08 2023-03-09 BlueStack Systems, Inc. Methods, Systems and Computer Program Products for Fine Grained Cloud Gaming Session Control
CN113873314A (zh) * 2021-09-30 2021-12-31 北京有竹居网络技术有限公司 直播互动方法、装置、可读介质及电子设备
US11842026B2 (en) * 2022-03-31 2023-12-12 Microsoft Technology Licensing, Llc Intelligent placement of a browser-added user interface element on a webpage

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3720024B2 (ja) * 2003-01-10 2005-11-24 株式会社東芝 電子機器システムおよび動作制御方法
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20110106835A1 (en) * 2009-10-29 2011-05-05 International Business Machines Corporation User-Defined Profile Tags, Rules, and Recommendations for Portal
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US20110238731A1 (en) * 2010-03-23 2011-09-29 Sony Corporation Method to provide an unlimited number of customized user interfaces
JP5727964B2 (ja) 2012-04-19 2015-06-03 日本電信電話株式会社 リンク領域強調表示装置およびその動作方法
US9085303B2 (en) * 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
US10735552B2 (en) * 2013-01-31 2020-08-04 Google Llc Secondary transmissions of packetized data
US9341479B2 (en) * 2013-03-05 2016-05-17 Google Inc. Configurable point of interest alerts
US10445115B2 (en) * 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US10482490B2 (en) * 2014-04-09 2019-11-19 Sailthru, Inc. Behavioral tracking system and method in support of high-engagement communications
US9467743B2 (en) * 2014-09-15 2016-10-11 Verizon Patent And Licensing Inc. Personalized content aggregation platform
US9922357B2 (en) * 2014-09-18 2018-03-20 Adobe Systems Incorporated Interactive notifications for mobile commerce applications
US9762945B2 (en) * 2015-05-19 2017-09-12 Rovi Guides, Inc. Methods and systems for recommending a display device for media consumption
US20170187815A1 (en) * 2015-12-24 2017-06-29 Intel Corporation Indoor device control assistance
US10069934B2 (en) * 2016-12-16 2018-09-04 Vignet Incorporated Data-driven adaptive communications in user-facing applications
US11089132B2 (en) * 2016-03-29 2021-08-10 Microsoft Technology Licensing, Llc Extensibility for context-aware digital personal assistant
US10115400B2 (en) * 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
EP3566155A4 (en) * 2017-03-06 2020-10-14 Google LLC SHARED EXPERIENCE
US11150922B2 (en) 2017-04-25 2021-10-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
US10237209B2 (en) 2017-05-08 2019-03-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
DK179745B1 (en) * 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US10841122B1 (en) * 2017-08-02 2020-11-17 Vivint, Inc. Automatic custom rule generation for home automation system
US20190095069A1 (en) * 2017-09-25 2019-03-28 Motorola Solutions, Inc Adaptable interface for retrieving available electronic digital assistant services
US10546023B2 (en) 2017-10-03 2020-01-28 Google Llc Providing command bundle suggestions for an automated assistant
US10368333B2 (en) * 2017-11-20 2019-07-30 Google Llc Dynamically adapting provision of notification output to reduce user distraction and/or mitigate usage of computational resources
WO2019146188A1 (ja) 2018-01-24 2019-08-01 ソニー株式会社 情報処理装置および情報処理方法
DK201870334A1 (en) * 2018-05-07 2019-12-05 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROACTIVE MANAGEMENT OF NOTIFICATIONS
US11087748B2 (en) * 2018-05-11 2021-08-10 Google Llc Adaptive interface in a voice-activated network
US11169668B2 (en) * 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
US10860096B2 (en) * 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US10497361B1 (en) * 2018-12-26 2019-12-03 Capital One Services, Llc Systems and methods for providing a virtual assistant
US11507855B2 (en) * 2019-03-22 2022-11-22 Motorola Mobility Llc Generating action suggestions based on a change in user mood
US11290574B2 (en) * 2019-05-20 2022-03-29 Citrix Systems, Inc. Systems and methods for aggregating skills provided by a plurality of digital assistants

Also Published As

Publication number Publication date
JP2023515158A (ja) 2023-04-12
US11922193B2 (en) 2024-03-05
US12073239B2 (en) 2024-08-27
WO2021173151A1 (en) 2021-09-02
US11620143B2 (en) 2023-04-04
EP4111304A1 (en) 2023-01-04
US20210365281A1 (en) 2021-11-25
US11086644B1 (en) 2021-08-10
JP7440654B2 (ja) 2024-02-28
US20210271497A1 (en) 2021-09-02
US20230325217A1 (en) 2023-10-12
KR20220141891A (ko) 2022-10-20
US20240152369A1 (en) 2024-05-09
US20230168909A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
US12073239B2 (en) Interface and mode selection for digital action execution
US11924644B2 (en) Secure communication in mobile digital pages
US11599336B2 (en) Generating and updating voice-based software applications using application templates
US11893993B2 (en) Interfacing with applications via dynamically updating natural language processing
EP3847546B1 (en) Interfacing with applications via dynamically updating natural language processing
CN112262391A (zh) 网页中的安全数字助理集成
US20220308987A1 (en) Debugging applications for delivery via an application delivery server
US11869504B2 (en) Systems and methods to verify trigger keywords in acoustic-based digital assistant applications
US11385990B2 (en) Debugging applications for delivery via an application delivery server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination