CN111213136A - 联网系统中特定于域的模型的生成 - Google Patents

联网系统中特定于域的模型的生成 Download PDF

Info

Publication number
CN111213136A
CN111213136A CN201980005097.6A CN201980005097A CN111213136A CN 111213136 A CN111213136 A CN 111213136A CN 201980005097 A CN201980005097 A CN 201980005097A CN 111213136 A CN111213136 A CN 111213136A
Authority
CN
China
Prior art keywords
component
digital
request
digital component
knowledge graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980005097.6A
Other languages
English (en)
Other versions
CN111213136B (zh
Inventor
萨普塔尔什·巴塔查里亚
扎卡赖亚·菲利普斯
什里达尔·马达瓦佩迪
戴维·迈穆代什
维韦克·拉奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111213136A publication Critical patent/CN111213136A/zh
Application granted granted Critical
Publication of CN111213136B publication Critical patent/CN111213136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本公开通常涉及互连网络中特定于域的、语音激活的系统的生成。系统可以接收在客户端设备上检测到的输入信号。输入信号可以是基于语音的输入信号、基于文本的输入信号、基于图像的输入信号或其他类型的输入信号。基于输入信号，系统可以选择特定于域的知识图并基于所选择的知识图来生成响应。

Description

联网系统中特定于域的模型的生成
相关申请的交叉引用
本申请要求于2018年6月14日提交且标题为“GENERATION OF DOMAIN-SPECIFICMODELS IN NETWORKED SYSTEM”的美国非临时专利申请No.16/008,988的优先权，其全部内容通过引用整体合并于此。
背景技术
在诸如互联网或其他网络的联网环境中，第一方内容提供商可以在诸如网页、文档、应用和其他资源的资源上提供用于公共呈现的信息。第一方内容可以包括第一方内容提供商提供的文本、视频和音频信息。访问资源的用户可以请求或希望接收关于与资源有关的信息的其他信息。要查看或接收其他信息，用户需要离开当前查看的资源。
发明内容
根据本公开的至少一个方面，一种在联网系统中生成自然语言处理模型的系统可以包括数据处理系统。该数据处理系统可以包括一个或多个处理器和存储器。一个或多个处理器可以执行自然语言处理器组件和数字组成部分选择器。数据处理系统可以通过自然语言处理器组件并经由数据处理系统的接口来接收由第一客户端设备处的传感器检测到的输入音频信号。数据处理系统可以通过自然语言处理器组件解析输入音频信号以识别输入音频信号中的第一搜索请求中的第一搜索请求。数据处理系统可以通过由数据处理系统执行的数字组成部分选择器至少基于第一搜索请求来选择搜索结果。数据处理系统可以通过数字组成部分选择器基于第一搜索请求来选择数字组成部分。该数字组成部分可以包括到数据源的链接。数据源可以包括多个实体。数字组成部分可以包括输入接口以请求基于知识图的响应。
数据处理系统可以通过接口将包括到数据源的链接以及与知识图相关联的数字组成部分与搜索结果一起传输到第一客户端设备。数据处理系统可以通过该接口并经由客户端设备所渲染的数字组成部分的输入接口来接收第二搜索请求。数据处理系统可以通过数字组成部分选择器并基于知识图来选择基于第二搜索请求的响应。数据处理系统可以通过接口将响应传输到第一客户端设备，以将响应渲染在数字组成部分内。
根据本公开的至少一个方面，一种在联网系统中生成自然语言处理模型的方法可以包括，通过由数据处理系统执行的自然语言处理器组件并经由数据处理系统的接口接收由第一客户端设备处的传感器检测到的输入音频信号。该方法可以包括由自然语言处理器组件解析输入音频信号，以识别输入音频信号中的第一搜索请求中的第一搜索请求。该方法可以包括，由数据处理系统执行的数字组成部分选择器基于至少第一搜索请求来选择搜索结果。该方法可以包括由数字组成部分选择器基于第一搜索请求来选择数字组成部分。可以将数字组成部分与数据源和基于该数据源的知识图相关联。该方法可以包括由数字组成部分选择器将与数据源和基于数据源的知识图相关联的数字组成部分与搜索结果一起传输到第一客户端设备。
根据本公开的至少一个方面，一种用于在联网系统中生成自然语言处理模型的系统可以包括数据处理系统。该数据处理系统可以包括一个或多个处理器和存储器。一个或多个处理器可以执行数字组成部分选择器和自然语言处理器组件。数据处理系统可以通过数字组成部分选择器从客户端设备接收内容请求。数据处理系统可以通过数字组成部分选择器基于内容请求来选择数字组成部分。可以将数字组成部分与数据源和基于该数据源的知识图相关联。数据处理系统可以通过数字组成部分选择器将数字组成部分传输到客户端计算设备以将数字组成部分渲染在内容插槽中。数据处理系统可以通过自然语言处理器组件并经由数据处理系统的接口来接收由客户端设备处的传感器检测到的输入音频信号。数据处理系统可以通过自然语言处理器组件解析输入音频信号，以识别输入音频信号中的请求。数据处理系统可以通过自然语言处理器组件基于知识图来选择对请求的响应。数据处理系统可以通过接口将响应传输到客户端计算设备。
根据本公开的至少一个方面，一种在联网系统中生成自然语言处理模型的方法可以包括，通过由数据处理系统执行的数字组成部分选择器接收来自客户端计算设备的内容请求。该方法可以包括由数字组成部分选择器基于内容请求来选择数字组成部分。可以将数字组成部分与数据源和基于该数据源的知识图相关联。该方法可以包括通过数字组成部分选择器将数字组成部分传输到客户端计算设备以将数字组成部分渲染在内容插槽中。该方法可以包括通过自然语言处理器接收由客户端设备处的传感器检测到的输入音频信号。该方法可以包括通过自然语言处理器组件解析输入音频信号以识别输入音频信号中的请求。该方法可以包括通过自然语言处理器组件基于知识图来选择对请求的响应。该方法可以包括通过接口将响应传输到客户端计算设备。
在下面详细讨论这些和其他方面以及实施方式。前述信息和以下详细描述包括各个方面和实施方式的说明性示例，并且提供用于理解所要求保护的方面和实施方式的性质和特征的概述或框架。附图提供对各个方面和实施方式的说明和进一步的理解，并且被并入本说明书中且构成本说明书的一部分。
附图说明
不旨在按比例绘制附图。在各个附图中，相同的附图标记和命名指示相同的元件。为了清楚起见，并非在每个附图中都标记每个组件。
在附图中：
图1图示根据本公开的示例的在联网的计算机环境中基于特定于域的自然语言模型来生成响应的示例系统。
图2图示根据本公开的示例的生成并使用示例知识图的图1中图示的系统的框图。
图3和图4图示根据本公开的示例的联网系统中基于特定于域的自然语言处理模型来生成响应的示例方法的框图。
图5图示根据本公开的示例的可以在图1中所图示的系统中使用的示例计算机系统的框图。
具体实施方式
以下是与在互连网络中生成语音激活的数据流的方法、装置和系统有关的各种概念以及其实施方式的更详细描述。可以以许多方式中的任何一种来实现上面介绍的和下面将更详细讨论的各种概念。
本公开总体上针对互连网络中的特定于域的、语音激活系统的生成。系统可以接收在客户端设备上检测到的输入信号。输入信号可以是基于语音的输入信号、基于文本的输入信号、基于图像的输入信号或其他类型的输入信号。输入信号可以包括请求，诸如搜索请求。由于输入信号的对话性质，请求可能是含糊、广泛或缺乏上下文的。系统可以使用特定于域的知识图来生成对请求的响应。可以将特定于域的知识图的接口合并到数字组成部分中，该数字组成部分响应搜索请求而被提供，或者在网页上提供有第一方内容。
本技术解决方案的系统和方法通过减少完成基于语音的请求所需的网络传输的数量来实现网络带宽的减少。本解决方案可以使数字助理能够选择针对不清楚的请求的特定响应，这可以减少完成请求所需的后续输入音频信号的数量。例如，当接收到第一搜索请求时，可以基于第一搜索请求来选择与特定于域的知识图相关联的数字组成部分。当接收到第二搜索请求时，特定于域知识图可以用于处理第二搜索请求。特定于域的知识图可以帮助提供对第二查询的响应，即使其中第二查询是模棱两可、含糊、宽泛或缺乏上下文的自然语言查询。继而，这可以减少完成请求所需的后续输入音频信号的数量。在一些实施例中，数字组成部分可以包括输入接口，通过该输入接口可以接收第二搜索请求。在数字组成部分中提供输入接口可以避免用户离开当前观看的资源以提交与数字组成部分有关的第二搜索请求的需求。在一些实施例中，数字组成部分可以被配置成在数字组成部分内渲染对第二搜索请求的响应。在数字组成部分内渲染响应可以避免用户离开当前查看的资源以查看或接收对第二搜索请求的响应的需求。
图1图示示例系统100，该示例系统100基于联网计算机环境中的特定于域的自然语言模型来生成响应。系统100可以包括数据处理系统102。数据处理系统102可以经由网络105与一个或多个数字组成部分提供商设备106(例如，内容提供商设备)或客户端计算设备104进行通信。
系统100可以包括一个或多个网络105。网络105可以包括诸如互联网、局域网、广域网、城域网或其他区域网的计算机网络；内联网；卫星网络；诸如语音或数据移动电话网络的其他通信网络或其任何组合。
数据处理系统102和客户端计算设备104可以经由网络105访问数字组成部分和数据源135。网络105可用于访问数据源，诸如网页、网站、域(例如，网页的集合)或统一资源定位符。可以在诸如膝上型计算机、台式机、平板电脑、数字助理、个人数字助理、智能手表、可穿戴设备、智能电话、便携式计算机或扬声器的至少一个计算设备104上呈现、输出、渲染或显示数字组成部分。例如，经由网络105，客户端计算设备104的用户可以访问由数字组成部分提供商设备106提供的网站(示例数据源135)。该网站可以包括一个或多个数字组成部分，诸如第一方和第三方内容。
网络105可以包括或构成显示网络，例如，互联网上可用的与内容放置或搜索引擎结果系统相关联或有资格包括第三方数字组成部分的信息资源的子集。数据处理系统102可以使用网络105访问可以由客户端计算设备104呈现、输出、渲染或显示的诸如网页、网站、域名或统一资源定位符的信息资源。
网络105可以是任何类型或形式的网络，并且可以包括下述中的任何一种：点对点网络、广播网络、广域网、局域网、电信网络、数据通信网络、计算机网络、ATM(异步传输模式)网络、SONET(同步光网络)网络、SDH(同步数字体系)网络、无线网络和有线网络。网络105可以包括无线链路，诸如红外信道或卫星频带。网络105的拓扑可以包括总线、星形或环形网络拓扑。该网络可以包括使用用于在移动设备当中进行通信的任何一种或多种协议的移动电话网络，所述协议包括高级移动电话协议(“AMPS”)、时分多址(“TDMA”)、码分多址(“CDMA”)、全球移动通信系统(“GSM”)、通用分组无线业务(“GPRS”)或通用移动电信系统(“UMTS”)。可以经由不同的协议传输不同类型的数据，或者可以通过不同的协议传输相同类型的数据。
系统100可以包括至少一个数据处理系统102。数据处理系统102可以包括至少一个逻辑设备，诸如具有处理器以经由网络105与例如计算设备104或数字组成部分提供商设备106进行通信的处理器的计算设备。数据处理系统102可以包括至少一个计算资源、服务器、处理器或内存。例如，数据处理系统102可以包括位于至少一个数据中心中的多个计算资源或服务器。数据处理系统102可以包括多个按逻辑分组的服务器，并且有助于分布式计算技术。服务器的逻辑组可以称为数据中心、服务器场或机器场。服务器也可以在地理位置上分散。数据中心或机器场可以作为单个实体进行管理，或者机器场可以包括多个机器场。每个机器场内的服务器可以是异构的；服务器或机器中的一个或多个可以根据一种或多种类型的操作系统平台进行操作。
机器场中的服务器可以与关联的存储系统一起存储在高密度机架系统中，并且可以位于企业数据中心中。例如，通过在本地化的高性能网络上定位服务器和高性能存储系统，以这种方式合并服务器可以改善系统的可管理性、数据安全性、系统的物理安全性和系统性能。包括服务器和存储系统以及将它们与高级系统管理工具耦合的所有或一些数据处理系统102组成部分组件的集中化，允许更有效地利用服务器资源，这节省功率和处理要求并减少带宽使用。
客户端计算设备104可以包括、执行、接合(interface)或以其他方式与以下中的一个或多个通信：至少一个本地数字助理134、至少一个传感器138、至少一个换能器140、至少一个音频驱动器142或者至少一个显示器144。客户端计算设备104可以与诸如图形或物理关键字的一个或多个接口进行结合。
传感器138可以包括例如相机、环境光传感器、接近传感器、温度传感器、加速计、陀螺仪、运动检测器、GPS传感器、位置传感器、麦克风、视频、图像检测或触摸传感器。换能器140可以包括扬声器或麦克风或可以是扬声器或麦克风的一部分。音频驱动器142可以向硬件换能器140提供软件接口。音频驱动器142可以执行由数据处理系统102提供的音频文件或其他指令，以控制换能器140产生对应的声波或音波。显示器144可以包括被配置成提供视觉指示或光学输出的一个或多个硬件或软件组件，诸如发光二极管、有机发光二极管、液晶显示器、激光器或显示器。
客户端计算设备104可以包括或可以不包括显示器。例如，客户端计算设备104可以包括有限类型的用户接口，诸如麦克风和扬声器(例如，客户端计算设备104可以包括语音驱动或基于音频的接口)。客户端计算设备104可以是基于扬声器的数字助理。计算设备104的主要用户接口可以包括麦克风和扬声器。
客户端计算设备104可以包括、执行、接合或以其他方式与本地数字助理134通信。本地数字助理134可以在客户端计算设备104处检测输入信号，诸如音频输入信号。输入信号可以包括请求或搜索请求。本地数字助理134可以是在数据处理系统102处执行的远程数字助理组件112的实例，或者可以执行远程数字助理组件112的任何功能。
本地数字助理134可以滤除一个或多个词项，或者在将词项作为数据传输到数据处理系统102(例如，远程数字助理组件112)以进一步处理之前修改这些词项。本地数字助理134可以将由换能器140检测到的模拟音频信号转换成数字音频信号，并经由网络105将承载数字音频信号的一个或多个数据分组传输到数据处理系统102。响应于检测到执行这种传输的指令，本地数字助理134可以传输承载一些或全部输入音频信号的数据分组。该指令可以包括例如触发关键字或其他关键字或批准，以将包括输入音频信号的数据分组传输到数据处理系统102。
本地数字助理134可以与数据处理系统102托管或生成的知识图126中的一个或多个接合。本地数字助理134可以向知识图126提供或渲染接口。例如，本地数字助理134可以接收传输到数据处理系统102的输入信号。远程数字组成部分助理112可以至少基于知识图126来确定对请求的响应。本地数字助理134可以与知识图126接合以提供结果或对从输入信号解析的请求的响应。
本地数字助理134可以对输入音频信号执行预滤波或预处理，以去除音频的某些频率。该预滤波可以包括诸如低通滤波器、高通滤波器或带通滤波器的滤波器。滤波器可以应用于频域。可以使用数字信号处理技术来应用滤波器。滤波器可以配置成保持对应于人类语音或人类话音的频率，同时消除属于在人类话音的典型频率之外的频率。例如，带通滤波器可以配置成去除低于第一阈值(例如，70Hz、75Hz、80Hz、85Hz、90Hz、95Hz、100Hz或105Hz)并且高于第二阈值(例如，200Hz、205Hz、210Hz、225Hz、235Hz、245Hz或255Hz)的频率。应用带通滤波器可以减少下游处理中的计算资源利用率。计算设备104上的本地数字助理134可以在将输入音频信号传输到数据处理系统102之前应用带通滤波器，从而降低网络带宽利用率。然而，基于可用于计算设备104的计算资源和可用的网络带宽，将输入音频信号提供给数据处理系统102以允许数据处理系统102执行滤波可能更有效。
本地数字助理134可以应用附加的预处理或预滤波技术，诸如降噪技术，以减少可能干扰自然语言处理器的环境噪声水平。降噪技术可以提高自然语言处理器的准确性和速度，从而改善数据处理系统102的性能，并管理经由显示器144提供的图形用户界面的渲染。
客户端计算设备104可以与终端用户相关联，该终端用户(经由传感器138或换能器140)将语音查询作为音频输入输入到客户端计算设备104中，并且从数据处理系统102或数字组成部分提供商设备106接收音频(或其他)输出以呈现、显示或渲染给客户端计算设备104的终端用户。
数字组成部分可以包括计算机生成的语音，该计算机生成的语音可以从数据处理系统102或数字组成部分提供商设备106提供给客户端计算设备104。客户端计算设备104可以经由换能器140(例如，扬声器)将计算机生成的语音渲染给终端用户。计算机生成的语音可以包括来自于真人的录音或计算机生成的语言。客户端计算设备104可以经由通信耦合到计算设备104的显示设备144提供视觉输出。客户端计算设备104可以经由键盘从终端用户接收查询。该查询可以是请求或搜索请求。
客户端计算设备104可以接收由计算设备104的传感器138(例如，麦克风)检测到的输入音频信号。输入音频信号或其他形式的输入信号可以包括，例如，查询、问题、命令、指令、请求、搜索请求或其他以口头语言提供的陈述。
客户端计算设备104可以包括、执行或被称为数字助理设备。数字助理设备可以包括计算设备104的一个或多个组成部分组件。数字助理设备可以包括图形驱动器，该图形驱动器可以接收来自数据处理系统102的显示输出并将该显示输出渲染在显示器132上。图形驱动器可以包括控制或增强在显示器144上如何显示图形或视觉输出的硬件或软件组件。图形驱动器可以包括例如控制图形组件如何与计算设备104的其余部分(或数字助理)一起工作的程序。本地数字助理134可以对输入音频信号进行滤波以创建滤波后的输入音频信号，将滤波后的输入音频信号转换为数据分组，并将数据分组传输到包括一个或多个处理器和存储器的数据处理系统。
数字助理设备可以包括音频驱动器142和扬声器组件(例如，换能器140)。预处理器组件140可以接收对显示输出的指示，并指令音频驱动器142生成输出音频信号，以使扬声器组件(例如，换能器140)传输与对显示输出的指示相对应的音频输出。
系统100可以包括组成部分、访问或者以其他方式与至少数字组成部分提供商设备106交互。数字组成部分提供商设备106可以包括可以向客户端计算设备104或数据处理系统102提供数字组成部分的一个或多个服务器。数字组成部分提供商设备106可以提供数据源135或与数据源135相关联。数据源135可以是网站或登陆页面。由数字组成部分提供商设备106提供的数字组成部分可以与由数字组成部分提供商设备106提供的数据源135相关联。例如，数字组成部分可以是包括到数据源135的链接的第三方内容，诸如由数字组成部分提供商设备106提供的登录页面。
数字组成部分提供商设备106或其组件可以与数据处理系统102集成，或者至少部分地由数据处理系统102执行。数字组成部分提供商设备106可以包括至少一个逻辑设备，诸如具有处理器以经由网络105例如与计算设备104、数据处理系统102或数字组成部分提供商设备106通信的计算设备。数字组成部分提供商设备106可以包括至少一个计算资源、服务器、处理器或存储器。例如，数字组成部分提供商设备106可以包括位于至少一个数据中心中的多个计算资源或服务器。
数字组成部分提供商设备106可以提供基于音频、视觉或多媒体的数字组成部分，以供客户端计算设备104呈现为输出数字组成部分或视觉输出数字组成部分。术语“数字组成部分”通常是指可以由客户端计算设备104渲染的数据。数字组成部分可以是网站、网页、应用、基于文本的内容、基于音频的内容、基于视频的内容、其他数字文件或其任何组合。数字组成部分可以是或包括数字内容。数字组成部分可以是或可以包括数字对象。数字组成部分可以包括多个数字内容项或其他数字组成部分。例如，数字组成部分可以是包括诸如来自于第三方的广告或者内容的其他数字组成部分的网站。数字组成部分可以包括本地数字助理134的实例，或者使客户端计算设备104执行本地数字助理134的实例。
数字组成部分提供商设备106可以经由网络105将数字组成部分提供给客户端计算设备104，并且绕开数据处理系统102。数字组成部分提供商设备106可以经由网络105和数据处理系统102将数字组成部分提供给客户端计算设备104。例如，数字组成部分提供商设备106可以将数字组成部分提供给数据处理系统102，其可以存储数字组成部分，并在被客户端请求时将数字组成部分提供给客户端计算设备104。数字组成部分可以来自数据源135。数据源可以是托管网页、登陆页面或其他内容的服务器。
数据处理系统102可以包括至少一个计算资源或服务器。数据处理系统102可以包括、接合或以其他方式与至少一个接口110通信。数据处理系统102可以包括、接合或以其它方式与至少一个远程数字助理组件112通信。远程数字辅助组件112可以包括、接合或者以其它方式与至少一个NLP组件114和至少一个域处理器117通信。数据处理系统102可以包括、接合或以其他方式与至少一个数字组成部分选择器120通信。数据处理系统102可以包括、接合或以其他方式与至少一个数据存储库124通信。至少一个数据存储库124可以在一个或多个数据结构或数据库中包括或存储知识图126和内容数据132。
数据处理系统102的组件可以均包括至少一个处理单元或其他逻辑设备，诸如被配置成与数据库存储库或数据库124通信的可编程逻辑阵列引擎或模块。数据处理系统102的组件可以是单独的组件、单个组件或多个数据处理系统102的一部分。系统100及其诸如数据处理系统10 2的组件可以包括硬件元件，诸如一个或多个处理器、逻辑设备或电路。
数据处理系统102可以包括接口110。接口110可以被配置、构造或操作为使用例如数据分组来接收和传输信息。接口110可以使用诸如网络协议的一个或多个协议来接收和传输信息。接口110可以包括硬件接口、软件接口、有线接口或无线接口。接口110可以有助于将数据从一个格式转换或格式化为另一个格式。例如，接口110可以包括应用编程接口(“API”)，其包括用于在诸如软件组件的各种组件之间进行通信的定义。
数据处理系统102的远程数字助理组件112可以执行或运行NLP组件114以接收或获得包括输入信号的数据分组。输入信号可以包括由计算设备104的传感器138检测到的输入音频信号或其他输入信号，诸如键入的文本。例如，输入信号可以包括用户经由键盘或其他文本键入系统输入到客户端计算设备104中的文本。数据分组可以提供数字文件。NLP组件114可以接收或获得包括输入信号的数字文件或数据分组并解析输入信号。例如，NLP组件114可以实现人与计算机之间的交互。NLP组件114可以配置有用于将输入信号转换为文本并理解自然语言的技术，以使数据处理系统102能够从人类或自然语言输入中得出含义。
NLP组件114可以包括或配置有基于机器学习的技术，诸如统计机器学习。NLP组件114可以利用决策树、统计模型或概率模型来解析输入音频信号。NLP组件114可以执行功能，例如，诸如命名实体识别(例如，给定文本流，确定文本中的哪些词项映射到名称，诸如人或地方，以及每个这样的名称的类型是什么，诸如人、位置(例如，“家”)或组织)、自然语言生成(例如，将信息从计算机数据库或语义意图转换为可理解的人类语言)、自然语言理解(例如，将文本转换为更正式的表示，诸如计算机模块可以操纵的一阶逻辑结构)、机器翻译(例如，将文本从一种人类语言自动翻译为另一种语言)、词法分割(例如，将词语分离为单个词素并识别词素的类别，基于所考虑语言的词语的词法或结构的复杂性，这可能是具有挑战性的)、问题回答(例如，确定对可以是特定的或开放式的人类语言的回答)、或者语义处理(例如，在识别词语并将其含义编码后发生的处理，以便将识别出的单词与其他具有相似含义的单词相关联)。
NLP组件114可以通过将输入信号与存储的代表性的音频波形的集合(例如，在数据存储库124中)进行比较并选择最接近的匹配，来将输入音频信号转换为识别的文本。音频波形的集合可以存储在数据存储库124或数据处理系统102可访问的其他数据库中。代表性波形可以跨越大的用户集合生成，并且然后可以通过来自用户的语音样本来增强。在音频信号被转换成识别的文本之后，NLP组件114将文本与词语匹配，该单词例如通过跨越用户的训练或通过手动指定与数据处理系统102可以服务的动作相关联。NLP组件114可以将图像或视频输入转换为文本或数字文件。NLP组件114可以处理、分析或解释图像或视频输入以执行动作，生成请求或者选择或识别数据结构。
NLP组件114可以获得输入信号。根据输入信号，NLP组件114可以识别至少一个请求。该请求可以指示意图或数字组成部分，或者可以是搜索请求。该请求可以是明确陈述的针对信息的请求。例如，请求可以是“汽车模型X会使用什么颜色？”的问题。意图也可以是得出的或不明确陈述。例如，在输入信号“汽车型号X 2018”中，输入信号未明确陈述用户想要关于2018汽车型号X的信息，但是NLP组件114可以得出意图。
NLP组件114可以解析输入信号以从输入信号中识别、确定、检索或以其他方式获得请求。例如，NLP组件114可以将语义处理技术应用于输入信号以识别输入信号中的搜索请求。
数据处理系统102可以包括或接合域处理器117的实例。域处理器117可以是被配置成实现在其上执行域处理器117以生成知识图126的计算设备的任何脚本、文件、程序、应用、指令集或计算机可执行代码。如以下更详细地解释，“知识图”可以是表示多个实体之间的关系的数据结构(例如，图数据结构)。实体可以是与数据源相关联(例如，由数据源存储和/或由数据源引用)的任何数据。
域处理器117可以生成特定于域的知识图126。例如，域处理器117可以为不同的特定网站、域、数据集合、其他数据源135生成知识图126。域处理器117可以为数据处理系统102从数字组成部分提供商设备106接收到的每个数字组成部分生成知识图126。域处理器117可以将知识图126保存到数据存储库124中。域处理器117可以将知识图126保存在相关数据库中。
诸如特定域下的网站的数据源135可以包括词项、短语或其他通常可以称为实体的数据。给定数据源135的知识图126可以包括表示数据源135中实体的节点。
知识图126可以包括连接知识图126中的相关节点的边或连线。边可以表示实体之间的关系。例如，由边连线的两个节点可以指示由节点表示的实体是相关联的。域处理器117可以将权重分配给边。权重可以指示通过连线被连接的节点之间的关联程度。例如，具有较高权重的边可以指示由节点表示的两个实体比通过具有相对较低权重的边连接的两个实体彼此之间的更相关。边可以表示由边连接的节点所表示的实体之间的语义关系。域处理器117可以使用NLP组件114处理数据源的文本、短语或其他实体，以生成知识图126。
域处理器117可以基于数据源的实体来生成知识图126。数据源可以与数字组成部分相关或关联。例如，数字组成部分可以是与网页的第一方内容一起显示的第三方内容。该数字组成部分可以包括到登录页面、网站或其他数据源的链接。域处理器117可以生成数字组成部分链接到的数据源(例如，登陆页面)的知识图126。域处理器117可以将知识图126与对数据源的指示相关联地存储在数据存储库124中。域处理器117可以为传输到客户端计算设备104以进行渲染的每个数字组成部分生成不同的知识图126。
可以仅从一阶数据生成数字组成部分的知识图126。例如，知识图126可以仅基于与数字组成部分相关联的数据源135中包括的实体和其他数据来生成。可以从一阶和二阶数据生成数字组成部分的知识图126。一阶数据可以是包含在与数字组成部分相关联的数据源135中的实体和其他数据。二阶数据可以是与不同数据源135或web搜索相关联的实体和其他数据。域处理器117可以将不同的权重因子分配给一阶数据和二阶数据。例如，在与来自二阶数据的实体相比时，来自一阶数据的实体对两个节点之间的边强度可以具有相对较大的影响。
数字组成部分提供商设备106可以将数字组成部分传输到数据处理系统102。数据处理系统102可以将数字组成部分存储为内容数据132。数字组成部分可以用作网站的第三方内容。数字组成部分可以包括统一资源定位器或到登录页面或其他数据源135的链接。当数据处理系统102从数字组成部分提供商设备106接收数字组成部分时，域处理器117可以生成由数字组成部分所链接到的数据源135的知识图126。域处理器117可以将知识图126与对数据源或数字组成部分的指示相关联地存储在数据存储库124中。
域处理器117可以生成知识图126的接口并将到知识图126的接口包括到数字组成部分中。该接口可以是使本地数字助理134的实例在客户端计算设备104上执行的链接或深层链接。例如，客户端计算设备104可以响应于请求而接收数字组成部分。渲染数字组成部分可以使客户端计算设备104启动或执行本地数字助理134的实例。可以基于知识图126来生成对呈现给被渲染的数字组成部分的请求的响应。
数据处理系统102可以执行或运行数字组成部分选择器120的实例。数字组成部分选择器120可以选择包括客户端计算设备104可以处理并经由显示器144或换能器140(例如，扬声器)呈现给用户的文本、字符串、字符、视频文件、图像文件或音频文件的数字组成部分。
数字组成部分选择器120可以选择响应于输入音频信号中的由NLP组件114识别的请求的数字组成部分或者与该请求相关联的数字组成部分。数字组成部分选择器120可以选择哪个数字组成部分提供商设备106应该或可以满足该请求，并且可以将该请求转发给该数字组成部分提供商设备106。例如，数据处理系统102可以在数字组成部分提供商设备106和客户端计算设备104之间发起会话，以使数字组成部分提供商设备106能够将数字组成部分传输到客户端计算设备104。数字组成部分选择器120可以从数字组成部分提供商设备106请求数字组成部分。数字组成部分提供商设备106可以将数字组成部分提供给数据处理系统102，其可以将数字组成部分存储在数据存储库124中。响应于对数字组成部分的请求，数字组成部分选择器120可以从数据存储库124中检索数字组成部分。
数字组成部分选择器120可以经由实时内容选择过程来选择多个数字组成部分。数字组成部分选择器120可以对数字组成部分进行评分和排序，并且可以基于数字组成部分的评分或排名从多个数字组成部分中选择数字组成部分。数字组成部分选择器120可以基于输入音频信号(或其中包含的关键字和请求)来选择被传输到第二客户端计算设备104的一个或多个附加数字组成部分。数字组成部分选择器120可以选择与不同的数字组成部分提供商设备106相关联的附加的数字组成部分(例如，广告)。
数字组成部分选择器120可以将响应于在输入信号中识别的请求而选择的数字组成部分提供给计算设备104或本地数字助理134或在计算设备104上执行的应用以用于呈现。因此，数字组成部分选择器120可以从客户端计算设备104接收内容请求，响应于该内容请求，选择数字组成部分，并将该数字组成部分传输给客户端计算设备104以用于呈现。数字组成部分选择器120可以将所选择的数字组成部分传输给本地数字助理134以用于通过本地数字助理134本身或由客户端计算设备104执行的第三方应用来呈现。例如，本地数字助理134可以播放或输出与所选择的数字组成部分相对应的音频信号。
数据存储库124可以存储内容数据132，该内容数据132可以包括例如由数字组成部分提供商设备106提供或由数据处理系统102获得或确定的数字组成部分以促进内容选择。内容数据132可以包括例如数字组成部分(或数字组成部分对象)，其可以包括例如内容项、在线文档、音频、图像、视频、多媒体内容或第三方内容。内容数据132可以包括由客户端计算设备104(或其终端用户)提供的数字组成部分、数据或信息。例如，内容数据132可以包括用户偏好、用户存储的用户信息或来自先前输入音频信号的数据。
图2图示系统100生成并使用示例知识图126以生成响应的框图。如图2中所图示，系统100包括客户端计算设备104。客户端计算设备104与数据处理系统102和数字组成部分提供商设备106通信。数字组成部分提供商设备106可以托管、服务或以其他方式与数据源135相关联。如图2中所图示，数据源135可以是登陆页面。登陆页面可以是与数字组成部分相关联的网站。例如，数字组成部分可以包括到登录页面的链接。数字组成部分可以是在具有第一方内容的网站上呈现的第三方内容。在此示例中，数字组成部分可以是与ACME咖啡机有关的图像、视频、音频剪辑或文本，并且数据源135可以是ACME咖啡机的登录页面。
数字组成部分提供商设备106可以将数字组成部分(在此示例中为ACME咖啡机)提供给数据处理系统102。数字组成部分选择器120可以接收数字组成部分并将数字组成部分存储在数据存储库中124。数据处理系统102可以基于数字组成部分来生成知识图126。数据处理系统102可以基于与数字组成部分相关联的数据源135来生成知识图126。例如，域处理器117可以经由NLP组件114处理与数字组成部分相关联的登陆页面的文本或其他内容。数据处理系统102可以将知识图126存储在数据存储库124中。数字组成部分提供商设备106可以生成与数字组成部分相关联的知识图126，并将知识图126与数字组成部分一起提供给数据处理系统102。
在图2中所图示的示例中，客户端计算设备104可以是移动电话。客户端计算设备104可以接收输入信号200。客户端计算设备104可以接收输入信号作为输入音频信号。例如，用户可以向客户端计算设备104说出请求。(在客户端计算设备104或数据处理系统102处执行的)NLP组件114的实例可以解析输入信号以确定输入信号的文本。客户端计算设备104可以经由键盘接收输入信号。例如，用户可以键入请求。NLP组件114可以解析输入信号以识别输入信号200中的请求，诸如搜索请求。如图2中所图示，NLP组件114可以解析输入信号200以将搜索请求识别为“where is the nearest coffee shop？(最近的咖啡店在哪里？)”
客户端计算设备104可以将输入信号传输到数据处理系统102。数据处理系统102可以选择对从输入信号中解析出的搜索请求的响应。数据处理系统102可以将搜索响应传输到客户端计算设备104以进行渲染。如图2中所图示，响应可以作为搜索响应202被渲染给用户。搜索响应202可以被渲染为文本、图像、视频、音频或其任何组合。例如，如图2中所图示，搜索响应202被渲染为文本。当客户端计算设备104是基于扬声器的数字助理时，搜索响应202可以被渲染为音频输出信号。
基于搜索请求，数据处理系统102的数字组成部分选择器120可以选择数字组成部分204。数据处理系统102可以将数字组成部分204传输到客户端计算设备104。客户端计算设备104可以渲染该数字组成部分204，以与搜索响应202一起将数字组成部分204显示或呈现给用户。数字组成部分204可以被包括在另一个数字组成部分206中。数字组成部分206可以由本地数字助理134执行。数字组成部分206可以包括到知识图126的接口208。接口208可以被配置成接收输入信号，诸如基于文本或基于音频的输入信号。界面208可以称为输入界面208。数字组成部分204或206可以包括到登录页面135的链接。选择数字组成部分204或206可以使客户端计算设备104激活web浏览器，该web浏览器加载在登录页面135的链接中识别的地址。
接口208可以接受输入信号，诸如基于音频或基于文本的输入信号。客户端计算设备104可以经由接口208接收输入信号，并且将输入信号传输到数据处理系统102。为了接收输入信号，接口208可以由用户激活。例如，用户可以选择、点击或轻敲数字组成部分206或接口208来激活接口208，使得接口208开始接收输入信号。激活接口208可以使输入信号进入接口208，而不是输入信号200通过其被接收到的接口。本地数字助理134可以确定是否应该将输入信号提供给接口208或者提供给数据处理系统102(就像输入信号200一样)。例如，本地数字助理134可以使用NLP组件114的本地实例处理输入信号，并基于从输入信号中解析出的一个或多个词项以及基于数字组成部分204的上下文或关键字将输入信号提供给接口208。
当数据处理系统102经由接口208接收输入信号时，其可以基于知识图126生成响应。例如，NLP组件114可以处理输入信号以解析输入信号中的请求。该请求可以是对与数字组成部分204有关的附加信息的请求。例如，在图2中所图示的示例中，该请求可以是有关ACME咖啡机的附加信息。数据处理系统102可以使用与数字组成部分204相关联的知识图126来生成对请求的响应。例如，知识图126可以基于与数字组成部分204相关联的登录页面135，使得响应提供特定于登录页面135内所包含的实体、文本和其他数据的响应。例如，经由接口208收到的请求可以是“what is the cost of the coffee maker？(咖啡机的价格是多少？)”数据处理系统102可以使用知识图126生成对请求的响应。响应可以包括如登录页面135上所指示的咖啡机的价格。
可以响应于搜索请求将数字组成部分206传输到客户端计算设备104。可以响应于对第三方内容的请求，将数字组成部分206传输到客户端计算设备104。例如，客户端计算设备104可以加载包括第一方内容的网页。该网页可以包括用于第三方内容的插槽。该网页可以包括脚本或其他处理器可执行指令，所述脚本或其他处理器可执行指令当被执行时，使客户端计算设备104向数据处理系统102请求第三方内容。数据处理系统102可以经由数字组成部分选择器120基于与网页的第一方内容相关联的实体、关键字、内容或数据来选择数字组成部分206。数据处理系统102可以生成数字组成部分206以包括来自数字组成部分提供商设备106和接口208的数字组成部分204。接口208可以是处理器可执行指令，其使客户端计算设备104启动本地数字助理的实例。当用户查看包括第一方内容和数字组成部分206的网页时，用户可以将信号输入接口208。接口208可以将输入信号传输到数据处理系统102。接口208可以将输入信号传输到数据处理系统102而无需使浏览器离开网页。这可以使用户收集或请求有关数字组成部分204的附加信息而无需离开网页。
客户端计算设备104可以包括仅语音接口。例如，代替显示搜索响应202，客户端计算设备104可以将搜索响应202渲染为输出音频文件。例如，在渲染搜索响应202之后，也可以将数字组成部分206和204作为输出音频信号渲染给用户。用户可以与客户端计算设备104对话，以将输入信号提供给接口208。
图3图示联网系统中基于特定于域的自然语言处理模型来生成响应的示例方法300的框图。方法300可以包括接收输入音频信号(ACT 302)。方法300可以包括解析输入音频信号(ACT 304)。方法300可以包括选择搜索结果(ACT 306)。方法300可以包括选择数字组成部分(ACT 308)。方法300可以包括传输搜索结果和数字组成部分(ACT 310)。方法300可以包括接收请求(ACT 312)。方法300可以包括选择响应(ACT 314)。方法300可以包括传输响应(ACT 316)。
方法300可以包括接收输入信号(ACT 302)。该方法可以包括通过由数据处理系统执行的NLP组件接收输入信号。输入信号可以是输入音频信号，该输入音频信号由第一客户端设备上的传感器检测到并被传输到数据处理系统。传感器可以是第一客户端设备的麦克风。输入信号可以是键入的请求。由包括一个或多个处理器和存储器的数据处理系统至少部分地执行的数字助理组件可以接收输入信号。输入信号可以包括由数字助理促进的对话。对话可以包括一个或多个输入和输出。对话可以是基于音频的、基于文本的或音频和文本的组合。输入音频信号可以包括文本输入、或者可以提供对话信息的其他类型的输入。数据处理系统可以接收与对话相对应的会话的输入。
方法300可以包括解析输入信号(ACT 304)。数据处理系统的NLP组件可以解析输入信号以识别请求。该请求可以是搜索请求。该请求可以是对数据、信息、网页或搜索的意图或请求。NLP组件可以在请求中识别一个或多个实体，诸如词项或短语。
方法300可以包括选择搜索结果(ACT 306)。数据处理系统可以选择至少基于从输入信号中解析出的搜索请求的搜索结果。数据处理系统可以包括搜索引擎或搜索数据处理系统，或者可以与搜索引擎或搜索数据处理系统接合，该搜索引擎或搜索数据处理系统可以选择一个或多个搜索结果并将搜索结果提供给客户端计算设备。
方法300可以包括选择数字组成部分(ACT 308)。数据处理系统可以基于搜索请求来选择数字组成部分。例如，数字组成部分提供商设备可以提供数据处理系统候选数字组成部分。数字组成部分提供商设备可以将候选数字组成部分与关键字相关联或进行标记。数字组成部分选择器可以基于数字组成部分的关键字与请求中识别的实体(例如，词项)之间的相似性从候选数字组成部分中选择一个或多个数字组成部分。
相似度可以是匹配。例如，数据处理系统可以选择具有关键字的数字组成部分，该关键字在请求中作为实体存在。例如，并且参考图2，数字组成部分204可以用关键字“coffee(咖啡)”标记。数字组成部分选择器可以选择数字组成部分204，因为在输入信号200中存在词项“coffee”。
相似度可以基于语义关系。例如，搜索可以针对度假租赁，并且数据处理系统可以使搜索与包括关键字“航班预订”的数字组成部分匹配，因为短语“航班预订”在语义上可以与度假租赁相关。
数字组成部分可以与诸如登陆页面或其他网站的数据源相关联。当数字组成部分包括到数据源的链接时，数字组成部分可以与数据源关联。该数字组成部分可以包括链接，使得当该链接被客户端计算设备激活时，该链接使由客户端计算设备执行的web浏览器检索数据源。数据处理系统可以基于数据源来生成知识图。例如，知识图可以从数据源中包括的词项、短语或其他实体中生成。数字组成部分提供商设备可以生成知识图，并将知识图与候选数字组成部分一起提供给数据处理系统。
方法300可以包括传输结果和数字组成部分(ACT 310)。数据处理系统可以将搜索结果和数字组成部分传输到将输入信号传输到数据处理系统的客户端计算设备。一旦客户端计算设备接收到结果和数字组成部分，客户端计算设备就可以渲染结果和数字组成部分。渲染数字组成部分可能导致在客户端计算设备处激活或执行本地数字助理的实例。本地数字助理可以渲染或以其它方式显示数字组成部分。本地数字助理可以渲染或显示结果。
数字组成部分可以包括到知识图的接口。例如，数字组成部分在被渲染时可以向用户呈现输入界面，诸如图形界面。经由输入界面，用户可以输入请求。可以经由数字组成部分将请求传输到数据处理系统。
方法300可以包括接收请求(ACT 312)。该请求可以在输入信号内。输入信号可以是基于音频或基于文本的输入信号。例如，用户可以向输入接口说出可以由客户端计算设备的麦克风检测到的问题。本地数字助理可以接收输入信号，并将输入信号传输到数据处理系统。当输入信号是输入音频信号时，NLP组件可以接收输入信号并从输入信号中解析请求。
方法300可以包括选择响应(ACT 314)。数字组成部分选择器可以选择对输入信号中包括的请求的响应。数据处理系统可以基于与在ACT 310处传输到客户端计算设备的数字组成部分相关联的知识图来生成响应。
方法300可以包括传输响应(ACT 316)。数据处理系统可以将响应传输到客户端计算设备。数据处理系统可以将响应包括在数字组成部分中，该数字组成部分包括响应和针对如何在客户端计算设备处渲染响应的指令。客户端计算设备可以在ACT 310处传输到客户端计算设备的数字组成部分内渲染或显示响应。在先前传输到客户端计算设备的数字组成部分内渲染响应可以使响应能够呈现给用户无需更改或改变当前显示给用户的内容。例如，并且还参考图2，在数字组成部分206中渲染结果可使输入信号200和搜索响应202能够保持显示给用户，同时用户请求并接收有关数字组成部分204的附加信息。
图4图示联网系统中的基于特定于域的自然语言处理模型来生成响应的示例方法400的框图。方法400可以包括接收请求(ACT 402)。方法400可以包括选择数字组成部分(ACT 404)。方法400可以包括传输数字组成部分(ACT 406)。方法400可以包括接收输入信号(ACT 408)。方法400可以包括解析输入信号(ACT 410)。方法400可以包括选择响应(ACT412)。方法400可以包括传输响应(ACT 414)。
方法400可以包括接收请求(ACT 402)。该请求可以是对第三方内容的请求。可以从客户端计算设备接收该请求。例如，客户端计算设备可以包括web浏览器。web浏览器可以接收和渲染包括第一方内容的网站。该网站可以包含用于第三方内容的插槽。插槽可以包括处理器可执行指令，该指令可以使web浏览器将内容请求传输到数据处理系统。该请求可以包括内容参数。内容参数可以是返回的数字组成部分的大小要求或者数据处理系统可以用来选择数字组成部分的关键字。
方法400可以包括选择数字组成部分(ACT 404)。数据处理系统可以从多个数字组成部分中选择一个数字组成部分。数据处理系统的数字组成部分选择器可以选择数字组成部分。数字组成部分选择器可以经由实时内容选择过程选择多个数字组成部分。数字组成部分选择器可以对数字组成部分进行评分和排名。数字组成部分选择器可以基于数字组成部分的评分和排名来从多个数字组成部分中选择数字组成部分。例如，数字组成部分选择器可以选择具有最高排名或评分的数字组成部分。数据处理系统可以将数字组成部分包括在另一个数字组成部分中，该另一个数字组成部分具有对与所选数字组成部分相关联的知识图的接口。
方法400可以包括传输数字组成部分(ACT 406)。数据处理系统可以将选择的数字组成部分传输到客户端计算设备。客户端计算设备可以接收数字组成部分并将数字组成部分作为第三方内容渲染在网页的插槽之一中。与第一方内容一起渲染数字组成部分可以将对与数字组成部分相关联的知识图的接口呈现给终端用户。例如，数字组成部分的渲染可以使客户端计算设备启动或执行数字助理的本地实例。该接口可以配置成接收输入信号。输入信号可以是基于文本的或基于音频的。客户端计算设备可以将经由数字组成部分接收的输入信号传输到数据处理系统。
方法400可以包括接收输入信号(ACT 408)。方法400可以包括，通过由数据处理系统执行的NLP组件接收输入信号。输入信号可以是输入音频信号，该输入音频信号由第一客户端设备上的传感器检测到并被传输到数据处理系统。传感器可以是第一客户端设备的麦克风。输入信号可以是键入的请求。由包括一个或多个处理器和存储器的数据处理系统至少部分地执行的数字助理组件可以接收输入信号。
方法400可以包括解析输入信号(ACT 410)。数据处理系统的NLP组件可以解析输入信号以识别请求。该请求可以是搜索请求。该请求可以是对数据、信息、网页或搜索的意图或请求。NLP组件可以在请求中识别一个或多个实体，诸如词项或短语。例如，该请求可以是针对与作为第三方内容提供给客户端计算设备的数字组成部分有关的信息或数据。
方法400可以包括选择响应(ACT 412)。输入信号从其传输的数字组成部分可以与知识图相关联。知识图可以从与数字组成部分相关联的数据源(例如，登陆页面)中包含的词项或实体生成。数据处理系统可以基于与数字组成部分相关联的知识图来选择响应。例如，数据处理系统的NLP组件可以使用知识图以基于登录页面中包含的实体和数据来生成响应。
方法400可以包括传输响应(ACT 414)。数据处理系统可以将响应传输到客户端计算设备。客户端计算设备可以接收响应并在ACT 406处传输到客户端计算设备的数字组成部分内渲染响应。在数字组成部分内渲染响应可以使响应能够呈现给用户，而无需更改或改变呈现给用户的第一方内容。例如，用户不需要离开显示第一方内容的原始网站以查看或接收响应。
图5是示例计算机系统500的框图。计算机系统或计算设备500可以包括或用于实现系统100或其组件，诸如数据处理系统102。数据处理系统102可以包括智能个人助理或基于语音的数字助理。计算系统500包括总线505或其他用于传送信息的通信组件以及耦合到总线505以处理信息的处理器510或处理电路。计算系统500还可包括一个或多个处理器510或耦合到总线以处理信息的处理电路。计算系统500还包括主存储器515，诸如随机存取存储器(RAM)或其他动态存储设备，其耦合到总线505，用于存储信息和将由处理器510执行的指令。主存储器515可以是或包括数据存储库124。主存储器515也可以用于在处理器510执行指令期间存储位置信息、临时变量或其他中间信息。计算系统500还可包括只读存储器(ROM)520或耦合到总线505以用于存储静态信息和处理器510的指令的静态存储设备。诸如固态设备、磁盘或光盘之类的存储设备525可以耦合到总线505以持续存储信息和指令。存储设备525可以包括或作为数据存储库124的一部分。
计算系统500可以经由总线505耦合到显示器535，诸如液晶显示器或有源矩阵显示器，以向用户显示信息。诸如包括字母数字键和其他键的键盘的输入设备530可以耦合到总线505，用于将信息和命令选择传送给处理器510。输入设备530可以包括触摸屏显示器535。输入设备530还可以包括光标控件，诸如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择传送给处理器510，并且用于控制显示器535上的光标移动。例如，显示器535可以是数据处理系统102、客户端计算设备104或图1的其他组件的一部分。
本文所述的过程、系统和方法可以由计算系统500响应于处理器510执行包含在主存储器515中的指令的布置来实现。这样的指令可以从诸如存储设备525的另一计算机可读介质读取到主存储器515中。执行包含在主存储器515中的指令的布置使计算系统500执行本文所述的说明性过程。也可以采用多处理布置中的一个或多个处理器来执行包含在主存储器515中的指令。硬连线电路可以代替软件指令与本文所述的系统和方法一起使用或与结合软件指令与本文所述的系统和方法一起使用。本文描述的系统和方法不限于硬件电路和软件的任何特定组合。
尽管在图5中已经描述了示例计算系统，但是包括在本说明书中描述的操作的主题可以在其他类型的数字电子电路或包括在本说明书中公开的结构及结构等同物的计算机软件、固件或硬件中实现，或者在它们中的一个或多个的组合中实现。
对于本文讨论的系统收集有关用户的个人信息或可能使用个人信息的情况，可以向用户提供以下机会：控制程序或功能是否可以收集个人信息(例如，有关个人的社交网络、社交行为或活动、用户的偏好或用户的位置的信息)，或控制是否或如何从内容服务器或其他可能与用户更相关的数据处理系统接收内容。另外，某些数据可以在存储或使用之前以一种或多种方式匿名化，以便在生成参数时删除个人可识别信息。例如，可以对用户的身份进行匿名处理，以便无法为针对该用户确定任何个人可识别信息，或者可以在获得位置信息的情况下将用户的地理位置概括化(诸如城市、邮政编码或州级别)，使得无法确定用户的特定位置。因此，用户可以控制如何收集有关他或她的信息以及如何由内容服务器使用信息。
本说明书中描述的主题和操作可以在数字电子电路或包括本说明书中公开的结构及其结构等同物的计算机软件、固件或硬件中实现，或在它们中的一个或多个的组合中实现。本说明书中描述的主题可以被实现为一个或多个计算机程序(例如，计算机程序指令的一个或多个电路)，该程序指令被编码在一个或多个计算机存储介质上以由数据处理装置执行或控制数据处理装置的操作。可替选地或附加地，程序指令可以被编码在人工生成的传播信号上(例如，机器生成的电、光或电磁信号)，其被生成以对信息进行编码以传输到合适的接收器装置用于由数据处理装置执行。计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备或它们中的一个或多个的组合中。尽管计算机存储介质不是传播信号，但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质还可以是一个或多个单独的组件或介质(例如，多个CD，磁盘或其他存储设备)或包括在其中。本说明书中描述的操作可以被实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
术语“数据处理系统”、“计算设备”、“组件”或“数据处理装置”涵盖用于处理数据的各种装置、设备和机器，例如，包括可编程处理器、计算机、片上系统或多个芯片或上述的组合。该装置可以包括专用逻辑电路，(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，(例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码)。装置和执行环境可以实现各种不同的计算模型基础设施，诸如web服务、分布式计算和网格计算基础设施。例如，接口110、数字组件选择器120、域处理器117或者NLP组件114以及其它数据处理系统102的组件可以包括或共享一个或多个数据处理装置、系统、计算设备或处理器。
计算机程序(也称为程序、软件、软件应用、app、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言、声明性或过程语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象或其他适合在计算环境中使用的单元。计算机程序可以对应于文件系统中的文件。计算机程序可以存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)、专用于所讨论程序的单个文件、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。可以将计算机程序部署为在位于一个站点或分布在多个站点并通过通信网络互连的一个计算机或多个计算机上执行。
可以通过执行一个或多个计算机程序的一个或多个可编程处理器(例如，数据处理系统102的组件)来执行本说明书中描述的处理和逻辑流程，以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA或ASIC)执行，并且装置也可以实现为专用逻辑电路。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备(例如EPROM、EEPROM和闪存设备)；磁盘(例如，内部硬盘或可移动磁盘)；磁光盘；以及CD-ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或可以被并入专用逻辑电路中。
本文描述的主题可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有图形用户界面或web浏览器的客户端计算机，用户可通过该图形用户界面或web浏览器与本说明书中描述的主题的实施方式进行交互)或者一个或多个此类后端、中间件或前端组件的组合的计算系统中实现。系统的组件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、网际网络(例如，互联网)和对等网络(例如，ad hoc对等网络)。
诸如系统100或系统500的计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络(例如，网络105)进行交互。客户端和服务器的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。在一些实施方式中，服务器将数据(例如，表示数据组成部分的数据分组)传输到客户端设备(例如，出于向与客户端设备交互的用户显示数据以及从该用户接收用户输入的目的)。可以从服务器处的客户端设备接收在客户端设备处生成的数据(例如，用户交互的结果)(例如，由数据处理系统102从客户端计算设备104或者数字组成部分提供商设备106接收)。
虽然在附图中以特定顺序描绘了操作，但是不需要以所示的特定顺序或以相继顺序来执行这样的操作，并且不需要执行所有示出的操作。本文描述的动作可以以不同顺序执行。
各个系统组件的分离并不需要在所有实施方式中都进行分离，并且所描述的程序组件可以包括在单个硬件或软件产品中。例如，NLP组件114、域处理器117或者数字组成部分选择器120可以是单个组件、app或程序、或具有一个或多个处理电路逻辑设备、或数据处理系统102的一个或多个服务器的一部分。
现在已经描述了一些说明性实施方式，很明显，已经以示例的方式给出的前述内容是说明性的而不是限制性的。特别地，尽管本文给出的许多示例涉及方法动作或系统元素的特定组合，但是可以以其他方式组合那些动作和那些元素以实现相同的目标。结合一个实施方式讨论的动作、要素和特征不旨在被排除在其他实施方式或者多个实施方式中的类似角色之外。
这里使用的措词和术语是出于描述的目的，而不应被认为是限制性的。本文中“包括(including)”、“包括(comprising)”、“具有”、“包含”、“涉及”、“特征为”、“特征在于”及其变体的使用意在涵盖其后列出的项目、其等同物和附加项目以及仅由其后列出的项目组成的替代实施方式。在一种实施方式中，本文描述的系统和方法由所描述的元素、动作或组件中的一个、每个多于一个的组合或全部组成。
对本文中以单数形式提及的系统和方法的实施方式或元素或动作的任何引用也可以涵盖包括多个这些元素的实施方式，并且在本文中以复数形式对任何实施方式、或元素或动作的任何引用也可以涵盖仅包含单个元素的实施方式。单数或复数形式的引用无意将当前公开的系统或方法、它们的组件、动作或元素限制为单个或多个配置。对基于任何信息、动作或元素的任何动作或元素的引用可以包括其中该行为或元素至少部分基于任何信息、动作或元素的实施方式。
本文公开的任何实施方式可以与任何其他实施方式或实施例组合，并且对“实施方式”、“一些实施方式”，“一个实施方式”等的引用不一定是互斥的，并且旨在指示结合实施方式描述的特定特征、结构或特性可以被包括在至少一个实施方式或实施例中。如本文所使用的这样的术语不一定全部指代相同的实施方式。任何实施方式可以以与本文公开的方面和实施方式一致的任何方式包括地或排他地与任何其他实施方式相结合。
对“或”的引用可以被解释为包括性的，使得使用“或”描述的任何术语可以指示所描述术语中的单个、多于一个以及全部中的任何一个。例如，对“‘A’和‘B’中的至少一个”的引用可以包括仅“A”、仅“B”以及“A”和“B”两者。结合“包括”或其他开放式术语使用的此类引用可以包括附加项目。
在附图、具体实施方式或任何权利要求中的技术特征之后跟随有参考标记的情况下，附图标记已经被包括以增加附图、具体实施方式和权利要求的可理解性。因此，参考标记或其缺失都不会对任何权利要求要素的范围产生任何限制性影响。
本文描述的系统和方法可以以其他特定形式来体现而不背离其特征。例如，计算设备104可以生成分组的数据对象，并且在启动应用时将其转发给第三方应用。前述实施方式是说明性的，而不是限制所描述的系统和方法。因此，在此描述的系统和方法的范围由所附权利要求而不是前述描述来指示，并且在权利要求的等同含义和范围内的改变被包含在其中。

Claims (25)

1.一种用于在联网系统中基于特定于域的自然语言处理模型来生成响应的系统，包括：
数据处理系统，所述数据处理系统包括一个或多个处理器和存储器，所述一个或多个处理器执行自然语言处理器组件和数字组成部分选择器以用于：
通过所述自然语言处理器组件并且经由所述数据处理系统的接口接收由第一客户端设备处的传感器检测到的输入音频信号；
通过所述自然语言处理器组件解析所述输入音频信号以识别所述输入音频信号中的第一搜索请求；
通过由所述数据处理系统执行的数字组成部分选择器至少基于所述第一搜索请求来选择搜索结果；
通过所述数字组成部分选择器基于所述第一搜索请求来选择数字组成部分，所述数字组成部分包括到包括多个实体的数据源的链接并且与表示所述数据源的所述多个实体之间的关系的知识图相关联，所述数字组成部分包括输入接口以请求基于所述知识图的响应；
通过所述接口将包括到所述数据源的链接并且与所述知识图相关联的所述数字组成部分与所述搜索结果一起传输给所述第一客户端设备；
通过所述接口并且经由所述客户端设备渲染的所述数字组成部分的输入接口来接收第二搜索请求；
通过所述数字组成部分选择器并基于所述知识图来选择基于所述第二搜索请求的响应；以及
通过所述接口将所述响应传输到所述第一客户端设备以将所述响应渲染在所述数字组成部分内。
2.根据权利要求1所述的系统，包括：
域处理器，所述域处理器由所述数据处理系统执行以基于所述数据源的所述多个实体来生成所述知识图。
3.根据权利要求1或权利要求2所述的系统，其中，所述知识图表示所述数据源的所述多个实体之间的语义关系。
4.根据前述权利要求中的任意一项所述的系统，其中，所述数据源包括所述数字组成部分的登陆页面。
5.根据前述权利要求中的任意一项所述的系统，包括：
所述自然语言处理器组件经由所述数字组成部分的输入接口接收所述第二搜索请求作为由所述第一客户端设备的所述传感器检测到的第二输入音频信号；
所述自然语言处理器组件解析所述第二输入音频信号以识别所述第二输入音频信号中的请求；
域处理器，所述域处理器至少基于所述知识图来生成第二数字组成部分，所述第二数字组成部分包括对所述第二输入音频信号中的请求的响应；以及
所述接口将所述第二数字组成部分传输到所述第一客户端设备。
6.根据权利要求5所述的系统，包括：
所述数字组成部分选择器基于所述第二输入音频信号中的请求来选择内容提供商；
所述数字组成部分选择器在所述数字组成部分中包括到所述内容提供商的链接。
7.根据前述权利要求中的任意一项所述的系统，包括：
所述数字组成部分选择器基于所述第二搜索请求来选择第二数据源，所述第二数据源包括多个第二实体；以及
所述域处理器生成表示所述数据源的多个实体与所述第二数据源的多个第二实体之间的语义关系的所述知识图。
8.根据前述权利要求中的任意一项所述的系统，其中，知识图包括表示所述数据源的多个实体中的每个实体的节点和表示所述节点之间的关系的边。
9.根据权利要求8所述的系统，包括：
域处理器，所述域处理器计算表示节点之间的关系的所述边中的每个边的权重。
10.根据前述权利要求中的任意一项所述的系统，包括：
所述自然语言处理器组件接收由所述第一客户端设备检测到的第二输入信号；
所述自然语言处理器组件解析所述第二输入信号以识别所述第二输入信号中的请求；
域处理器，所述域处理器至少基于所述知识图来生成第二数字组成部分，所述第二数字组成部分包括对所述第二输入信号中的所述请求的响应；以及
所述接口响应于所述第二输入信号中的所述请求而将所述第二数字组成部分传输到所述第一客户端设备。
11.根据前述权利要求中的任意一项所述的系统，包括：
所述数字组成部分选择器从所述第一客户端设备接收内容请求；
所述数字组成部分选择器基于所述内容请求来选择第二数字组成部分，所述第二数字组成部分与第二数据源和基于所述第二数据源的第二知识图相关联；
所述数字组成部分选择器将所述第二数字组成部分传输到所述第一客户端设备以在内容插槽中渲染所述数字组成部分；
所述自然语言处理器组件接收由所述第一客户端设备处的传感器检测到的第二输入音频信号；
所述自然语言处理器组件解析所述输入音频信号以识别所述输入音频信号中的第二请求；
所述自然语言处理器组件基于所述第二知识图来选择对所述第二请求的响应；以及
所述接口将所述响应传输到所述客户端计算设备。
12.一种用于在联网系统中基于特定于域的自然语言处理模型来生成响应的方法，包括：
通过由数据处理系统执行的自然语言处理器组件并且经由所述数据处理系统的接口接收由第一客户端设备处的传感器检测到的输入音频信号；
通过所述自然语言处理器组件解析所述输入音频信号以识别所述输入音频信号中的第一搜索请求；
通过由所述数据处理系统执行的数字组成部分选择器至少基于所述第一搜索请求来选择搜索结果；
通过所述数字组成部分选择器基于所述第一搜索请求来选择数字组成部分，所述数字组成部分与数据源和基于所述数据源的知识图相关联；
通过所述数字组成部分选择器将与所述数据源和基于所述数据源的所述知识图相关联的所述数字组成部分与所述搜索结果一起传输到所述第一客户端设备。
13.根据权利要求12所述的方法，包括：
通过由所述数据处理系统执行的域处理器基于所述数据源中包含的一个或多个实体来生成所述知识图。
14.根据权利要求12或13所述的方法，其中，所述知识图表示所述数据源的多个实体之间的语义关系。
15.根据权利要求12至14中的任意一项所述的方法，其中，所述数据源包括所述数字组成部分的登陆页面。
16.根据权利要求12至15中的任意一项所述的方法，包括：
通过所述自然语言处理器组件经由所述数字组成部分接收由所述第一客户端设备的所述传感器检测到的第二输入音频信号；
通过所述自然语言处理器组件解析所述第二输入音频信号以识别所述第二输入音频信号中的请求；
通过域处理器至少基于所述知识图生成第二数字组成部分，所述第二数字组成部分包括对所述第二输入音频信号中的请求的响应；以及
通过所述接口将所述第二数字组成部分传输给所述第一客户端设备。
17.根据权利要求16所述的方法，包括：
通过所述数字组成部分选择器基于所述第二输入音频信号中的请求来选择内容提供商；
通过所述数字组成部分选择器生成到所述内容提供商的链接；以及
在所述数字组成部分中包括所述链接。
18.根据权利要求16或17所述的方法，包括：
通过所述数字组成部分选择器基于所述请求来选择第二数据源，所述第二数据源包括多个第二实体；以及
通过所述域处理器生成表示所述数据源的多个实体与所述第二数据源的多个第二实体之间的语义关系的所述知识图。
19.根据权利要求12至18中的任意一项所述的方法，包括：
通过所述自然语言处理器组件并经由所述数字组成部分接收由所述第一客户端设备检测到的第二输入信号；
通过所述自然语言处理器组件解析所述第二输入信号以识别所述第二输入信号中的请求；
通过域处理器至少基于所述知识图来生成第二数字组成部分，所述第二数字组成部分包括对所述第二输入信号中的所述请求的响应；以及
通过所述域处理器响应于所述第二输入信号中的所述请求而将所述第二数字组成部分传输到所述第一客户端设备。
20.根据权利要求12至19中的任意一项所述的方法，包括：
通过由所述数据处理系统执行的数字组成部分选择器从所述第一客户端设备接收内容请求；
通过所述数字组成部分选择器基于所述内容请求来选择第二数字组成部分，所述第二数字组成部分与第二数据源和基于所述第二数据源的第二知识图相关联；
通过所述数字组成部分选择器将所述第二数字组成部分传输给所述第一客户端设备以将所述数字组成部分渲染在内容插槽中；
通过所述自然语言处理器组件接收由所述第一客户端设备处的传感器检测到的第二输入音频信号；
通过所述自然语言处理器组件解析所述输入音频信号以识别所述输入音频信号中的第二请求；
通过所述自然语言处理器组件基于所述第二知识图来选择对所述第二请求的响应；以及
通过所述接口向所述客户端计算设备传输所述响应。
21.根据权利要求12至20中的任意一项所述的方法，其中，所述数字组成部分包括输入接口以请求基于所述知识图的响应，并且其中，所述方法还包括：
通过所述数据处理系统的接口并且经由所述客户端设备渲染的所述数字组成部分的所述输入接口接收第二搜索请求；
通过所述数字组成部分选择器并且基于所述知识图选择基于所述第二搜索请求的响应；以及
通过所述数据处理系统的所述接口向所述第一客户端设备传输所述响应以将所述响应渲染在所述数字组成部分内。
22.根据权利要求12至21中的任意一项所述的方法，其中，知识图包括表示所述数据源的多个实体中的每个实体的节点和表示所述节点之间的关系的边。
23.根据权利要求22所述的方法，进一步包括计算表示节点之间的关系的所述边中的每个边的权重。
24.一种包括指令的计算机可读介质，所述指令在由计算机执行时使所述计算机执行根据权利要求12至23中的任意一项所述的方法。
25.一种包括指令的计算机程序产品，所述指令在由计算机执行时使所述计算机执行根据权利要求12至23中的任意一项所述的方法。
CN201980005097.6A 2018-06-14 2019-03-12 联网系统中特定于域的模型的生成 Active CN111213136B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/008,988 US10963492B2 (en) 2018-06-14 2018-06-14 Generation of domain-specific models in networked system
US16/008,988 2018-06-14
PCT/US2019/021882 WO2019240857A1 (en) 2018-06-14 2019-03-12 Generation of domain-specific models in networked system

Publications (2)

Publication Number Publication Date
CN111213136A true CN111213136A (zh) 2020-05-29
CN111213136B CN111213136B (zh) 2024-05-14

Family

ID=65995847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005097.6A Active CN111213136B (zh) 2018-06-14 2019-03-12 联网系统中特定于域的模型的生成

Country Status (6)

Country Link
US (2) US10963492B2 (zh)
EP (1) EP3682341A1 (zh)
JP (2) JP7095114B2 (zh)
KR (2) KR20230160958A (zh)
CN (1) CN111213136B (zh)
WO (1) WO2019240857A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020077350A1 (en) * 2018-10-13 2020-04-16 Predii Inc. Adaptable systems and methods for discovering intent from enterprise data
USD929431S1 (en) * 2019-01-17 2021-08-31 Bae Systems Controls Inc. Display screen or portion thereof with animated graphical user interface
US20220076672A1 (en) * 2019-01-22 2022-03-10 Sony Group Corporation Information processing apparatus, information processing method, and program
US11100933B2 (en) * 2019-04-17 2021-08-24 Tempus Labs, Inc. Collaborative artificial intelligence method and system
CN111243587A (zh) * 2020-01-08 2020-06-05 北京松果电子有限公司 语音交互方法、装置、设备及存储介质
CN113779231B (zh) * 2020-06-09 2024-04-26 中科云谷科技有限公司 基于知识图谱的大数据可视化分析方法、装置及设备
US11403340B2 (en) * 2020-08-18 2022-08-02 Bank Of America Corporation Hierarchical multi-tier language processing platform

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100114886A1 (en) * 2008-10-16 2010-05-06 Cain Jr Clyde L Relevance content searching for knowledge bases
US9009192B1 (en) * 2011-06-03 2015-04-14 Google Inc. Identifying central entities
CN105074694A (zh) * 2013-03-15 2015-11-18 卡马祖伊发展公司 自然语言处理的系统和方法
CN105528349A (zh) * 2014-09-29 2016-04-27 华为技术有限公司 知识库中问句解析的方法及设备
US20160180437A1 (en) * 2014-12-18 2016-06-23 Nuance Communications, Inc. Product recommendation with ontology-linked product review
US20160210363A1 (en) * 2015-01-21 2016-07-21 Microsoft Technology Licensing, Llc Contextual search using natural language
US20170257456A1 (en) * 2013-01-31 2017-09-07 Google Inc. Secondary transmissions of packetized data
US20180129704A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Determining the significance of an event in the context of a natural language query
US20180150524A1 (en) * 2016-11-28 2018-05-31 Facebook, Inc. Methods and Systems for Ranking Messaging Bots

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011537A (en) * 1997-01-27 2000-01-04 Slotznick; Benjamin System for delivering and simultaneously displaying primary and secondary information, and for displaying only the secondary information during interstitial space
US20030140063A1 (en) * 2001-12-17 2003-07-24 Pizzorno Joseph E. System and method for providing health care advice by diagnosing system function
US6731239B2 (en) * 2002-01-18 2004-05-04 Ford Motor Company System and method for retrieving information using position coordinates
GB2385160A (en) * 2002-02-08 2003-08-13 Int Computers Ltd Knowledge management system
US8024335B2 (en) * 2004-05-03 2011-09-20 Microsoft Corporation System and method for dynamically generating a selectable search extension
US7451152B2 (en) * 2004-07-29 2008-11-11 Yahoo! Inc. Systems and methods for contextual transaction proposals
US8335753B2 (en) * 2004-11-03 2012-12-18 Microsoft Corporation Domain knowledge-assisted information processing
WO2006099621A2 (en) * 2005-03-17 2006-09-21 University Of Southern California Topic specific language models built from large numbers of documents
US7788245B1 (en) * 2005-06-16 2010-08-31 Google Inc. Method and system for dynamically generating search links embedded in content
US7669142B2 (en) * 2006-02-28 2010-02-23 Microsoft Corporation Viewable and actionable search results
KR100874334B1 (ko) 2006-12-14 2008-12-15 엔에이치엔(주) 검색 기능을 구비한 배너광고 제공 방법 및 시스템, 그리고상기 방법을 실행시키기 위한 프로그램이 기록된컴퓨터에서 판독 가능한 기록 매체
US20110288917A1 (en) * 2010-05-21 2011-11-24 James Wanek Systems and methods for providing mobile targeted advertisements
US20120260158A1 (en) * 2010-08-13 2012-10-11 Ryan Steelberg Enhanced World Wide Web-Based Communications
US20120246003A1 (en) * 2011-03-21 2012-09-27 Hart Gregory M Advertisement Service
US9471666B2 (en) * 2011-11-02 2016-10-18 Salesforce.Com, Inc. System and method for supporting natural language queries and requests against a user's personal data cloud
WO2013088287A1 (en) * 2011-12-12 2013-06-20 International Business Machines Corporation Generation of natural language processing model for information domain
US20130311875A1 (en) * 2012-04-23 2013-11-21 Derek Edwin Pappas Web browser embedded button for structured data extraction and sharing via a social network
US9477711B2 (en) * 2012-05-16 2016-10-25 Google Inc. Knowledge panel
US20140006370A1 (en) * 2012-06-30 2014-01-02 Microsoft Corporation Search application for search engine results page
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
EP4138075A1 (en) 2013-02-07 2023-02-22 Apple Inc. Voice trigger for a digital assistant
US10719591B1 (en) 2013-03-15 2020-07-21 Google Llc Authentication of audio-based input signals
US9665662B1 (en) * 2013-06-13 2017-05-30 DataRPM Corporation Methods and system for providing real-time business intelligence using natural language queries
JP2015052971A (ja) 2013-09-09 2015-03-19 邦和 田中 インターネット広告検索支援装置
US9798829B1 (en) * 2013-10-22 2017-10-24 Google Inc. Data graph interface
US20150234930A1 (en) * 2014-02-19 2015-08-20 Google Inc. Methods and systems for providing functional extensions with a landing page of a creative
US9881089B2 (en) * 2014-04-28 2018-01-30 Verizon New Jersey Inc. Pop-up search box
US9652799B2 (en) * 2014-12-18 2017-05-16 Nuance Communications, Inc. Product recommendation with product review analysis
US10534851B1 (en) * 2014-12-19 2020-01-14 BloomReach Inc. Dynamic landing pages
US20170092278A1 (en) 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US9928840B2 (en) 2015-10-16 2018-03-27 Google Llc Hotword recognition
US9747926B2 (en) 2015-10-16 2017-08-29 Google Inc. Hotword recognition
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10193843B2 (en) * 2015-12-08 2019-01-29 Samsung Electronics Co., Ltd. Computing system with conversation modeling mechanism and method of operation thereof
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10491709B2 (en) * 2016-09-22 2019-11-26 Facebook, Inc. Time and location based distribution of additional content for content items
US11106712B2 (en) 2016-10-24 2021-08-31 Google Llc Systems and methods for measuring the semantic relevance of keywords
US10387528B2 (en) * 2016-12-20 2019-08-20 Microsoft Technology Licensing, Llc Search results integrated with interactive conversation service interface
US10333868B2 (en) * 2017-04-14 2019-06-25 Facebook, Inc. Techniques to automate bot creation for web pages
US11276393B2 (en) * 2017-05-09 2022-03-15 Microsoft Technology Licensing, Llc Chat bot registration with search results integration
WO2018226888A1 (en) * 2017-06-06 2018-12-13 Diffeo, Inc. Knowledge operating system
US20190179878A1 (en) * 2017-12-12 2019-06-13 Google Llc Generating organization-specific tags for communications from various sources of an organization using an expanded knowledge graph for organization-specific content
KR102628282B1 (ko) 2018-10-10 2024-01-24 현대자동차주식회사 차량 및 그 제어 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100114886A1 (en) * 2008-10-16 2010-05-06 Cain Jr Clyde L Relevance content searching for knowledge bases
US9009192B1 (en) * 2011-06-03 2015-04-14 Google Inc. Identifying central entities
US20170257456A1 (en) * 2013-01-31 2017-09-07 Google Inc. Secondary transmissions of packetized data
CN105074694A (zh) * 2013-03-15 2015-11-18 卡马祖伊发展公司 自然语言处理的系统和方法
CN105528349A (zh) * 2014-09-29 2016-04-27 华为技术有限公司 知识库中问句解析的方法及设备
US20160180437A1 (en) * 2014-12-18 2016-06-23 Nuance Communications, Inc. Product recommendation with ontology-linked product review
US20160210363A1 (en) * 2015-01-21 2016-07-21 Microsoft Technology Licensing, Llc Contextual search using natural language
US20180129704A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Determining the significance of an event in the context of a natural language query
US20180150524A1 (en) * 2016-11-28 2018-05-31 Facebook, Inc. Methods and Systems for Ranking Messaging Bots

Also Published As

Publication number Publication date
EP3682341A1 (en) 2020-07-22
JP2022121523A (ja) 2022-08-19
US20190384855A1 (en) 2019-12-19
CN111213136B (zh) 2024-05-14
US20210209140A1 (en) 2021-07-08
JP2021525410A (ja) 2021-09-24
KR102603717B1 (ko) 2023-11-17
KR20210002619A (ko) 2021-01-08
KR20230160958A (ko) 2023-11-24
JP7095114B2 (ja) 2022-07-04
US10963492B2 (en) 2021-03-30
US11562009B2 (en) 2023-01-24
WO2019240857A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN111213136B (zh) 联网系统中特定于域的模型的生成
CN111108476B (zh) 通过语音驱动的计算基础设施进行的图形用户界面渲染管理
US11908462B2 (en) Adaptive interface in a voice-activated network
US11514907B2 (en) Activation of remote devices in a networked system
US11776536B2 (en) Multi-modal interface in a voice-activated network
CN111344694B (zh) 分布式网络系统的接口
US20240185847A1 (en) Bit Vector-Based Content Matching for Third-Party Digital Assistant Actions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant