CN116089574A - 对话式人工智能应用中的非结构化数据存储和检索 - Google Patents

对话式人工智能应用中的非结构化数据存储和检索 Download PDF

Info

Publication number
CN116089574A
CN116089574A CN202210849348.2A CN202210849348A CN116089574A CN 116089574 A CN116089574 A CN 116089574A CN 202210849348 A CN202210849348 A CN 202210849348A CN 116089574 A CN116089574 A CN 116089574A
Authority
CN
China
Prior art keywords
input
processor
query
response
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210849348.2A
Other languages
English (en)
Inventor
V·热塞勒维奇
P·慕克吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN116089574A publication Critical patent/CN116089574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及对话式人工智能应用中的非结构化数据存储和检索。系统和方法确定输入的分类。对于基于信息的输入，可以评估存储为非结构化的测试的信息以确定对输入的响应。可以生成至少包括响应的回复。对于声明性输入，输入可以以自然语言格式存储以供以后使用，例如作为对后续输入的回复。

Description

对话式人工智能应用中的非结构化数据存储和检索
背景技术
交互环境可以包括对话式人工智能系统，其接收用户输入，例如语音输入或文本输入，然后推理意图以便提供对输入的响应。这些系统通常在大型数据集上进行训练，其中每个意图都针对特定实体进行训练，这会创建一个通常不灵活且笨拙的模型。例如，系统可能会部署各种不同的模型，这些模型专门针对每个任务进行训练，当进行小的更改时，模型会根据新注释的数据进行重新训练。通常，与这些系统相关的数据(例如意图/槽数据集)存储在结构化数据模式中，这进一步产生了添加或更改的问题。结果，系统可能对新信息不灵活或更新可能很慢，这可能会限制系统的可用性。
附图说明
将参照附图描述根据本公开的各种实施例，其中：
图1示出了根据至少一个实施例的示例交互环境；
图2示出了根据至少一个实施例的用于输入分类、存储和检索的管线的示例；
图3示出了根据至少一个实施例的用于分类、存储和检索的示例环境；
图4示出了根据至少一个实施例的用于交互环境的示例界面；
图5A示出了根据至少一个实施例的用于输入分类的过程的示例流程图；
图5B示出了根据至少一个实施例的用于输入分类和检索的过程的示例流程图；
图6示出了根据至少一个实施例的用于根据输入生成响应的过程的示例流程图；
图7示出了根据至少一个实施例的示例数据中心系统；
图8示出了根据至少一个实施例的计算机系统；
图9示出了根据至少一个实施例的计算机系统；
图10示出了根据一个或更多个实施例的图形处理器的至少部分；以及
图11示出了根据一个或更多个实施例的图形处理器的至少部分。
具体实施方式
根据各种实施例的方法提供用于信息(例如与交互环境一起使用的信息)的非结构化存储和检索的系统和方法。在至少一个实施例中，系统和方法与聊天机器人或对话式人工智能(AI)系统一起使用，以便存储和检索可以以不同的存储模式存储和/或没有结构化存储模式响应查询的数据。各种实施例可以包括一个或更多个分类器来分析用户输入，确定输入是否与基于信息的请求相关联，然后沿着适当的管线引导输入以进行分析和响应。在至少一个实施例中，可以使用一个或更多个抽取式问答模型来评估基于信息的请求，以便识别输入内的一个或更多个特征并从一组非结构化数据中确定响应于输入的信息。该信息然后可以被呈现给用户或者可以被用于执行一个或更多个动作，以及其他选项。此外，系统和方法可用于将用户输入存储为非结构化文本，例如以自然语言方法存储，以供以后检索。以这种方式，可以轻松地更新和维护数据集，而无需使每条信息都符合请求模式。
各种实施例可以部分地与对话式AI系统一起使用，对话式AI系统响应于一个或更多个用户输入而提供信息或执行命令。在至少一个实施例中，用户可以向环境提供输入，例如信息请求或执行一个或更多个任务的请求。该系统可以处理输入，例如使用一种或多种自然语言或语音识别系统处理音频输入，或者可以评估文本输入以将输入分类为属于一个或更多个类别。在至少一个实施例中，类别可以与基于信息的输入、意图/槽输入、声明性输入等相关联。根据分类，可以将不同的处理管线用于输入。仅作为示例，基于信息的输入可以通过一个或更多个抽取式问答模型针对非结构化数据的数据存储区来评估，其中模型可以从输入中确定一个或更多个特征以生成对输入的响应。作为另一个示例，意图/槽分类可以针对管线，在该管线中，经训练的抽取式问答模型根据不同的意图/槽信息评估输入，以便用适当的值填充槽以提供响应。作为另一个示例，声明性输入可以被分类，然后添加到非结构化数据存储库中，然后可以在其中使用它或使其可供以后的用户查询使用。
可以利用各种实施例来提供对用户输入的响应，用户输入可以是听觉输入、文本输入、选择性输入(例如，选择内容元素)或指令输入的形式，例如作为在交互环境中执行一个或更多个操作的数据文件。系统和方法不仅可以将相关信息作为自然文本存储在非结构化存储器中并基于该信息回答灵活的问题，而且还可以检索信息片段以在命令中使用。例如，结果可以与对用户的文本或语音响应相关联，以及或附加地，与与结果相关的一个或更多个动作的实现相关联。举例来说，可以将一个或更多个元命令添加到与输入相关联的响应输出，其中命令本身不提供给用户，但该命令触发一个或更多个附加动作。
可以在包括一个或更多个内容元素的显示区域102中呈现交互环境100，如图1所示。在至少一个实施例中，交互环境100可以与对话式AI系统相关联，该系统允许用户至少部分地基于一个或更多个输入，例如语音输入、文本输入、区域的选择、一个或更多个内容元素的选择等，来与不同的内容元素进行交互。显示区域102可以形成电子设备的一部分，电子设备例如为智能电话、个人计算机、智能电视、虚拟现实系统、交互信息亭等。在该示例中，示出了包括与汽车相对应的对象106的显示元素104。对象106在后视图中示出，其中保险杠是可见的。如以下将描述的，各种实施例使用户能够提供输入指令，例如语音指令，以修改对象106的一个或更多个方面和/或在交互环境100内执行一个或更多个支持的动作以呈现一个或更多个查询，例如与环境中的信息相关联的问题。
所示系统还包括可选内容元素，其可以包括输入内容元素108、保存内容元素110、退出内容元素112和属性内容元素114。应当意识到，这些可选内容元素是仅作为示例提供，并且其他实施例可以包括更多或更少的内容元素。此外，不同类型的内容元素可以与不同类型的交互属性一起使用，例如语音命令、手动输入等。此外，交互环境可以接收一个或更多个脚本，该脚本包括用于启动与可选内容元素相关联的不同命令的一系列动作。在操作中，用户可以与内容元素中的一个或更多个交互以执行与环境相关联的一个或更多个任务或动作，例如改变对象106的属性。举例来说，用户可以选择输入内容元素108，例如通过点击它(例如，用鼠标或手指控制的光标)、通过提供口头指令等。然后可以接收用户的命令，并且一个或更多个系统可以对输入进行分类，确定对输入的适当响应，然后执行适当的响应。
系统和方法可以指向存储、检索和更新非结构化文本。实施例包括存储与用户提出查询的对话式AI相关的信息，评估查询以确定它是否是基于信息的，然后使用问答神经网络模型从查询中提取事实以确定来自非结构化文本的响应。各种查询的答案或数据可以自然地存储为非结构化文本，而不是存储在可能难以生成和/或更新的意图/槽模式中。在操作期间，输入查询被引导到确定查询是否是问题的分类器。此外，问题被分解为基于信息的查询或意图/槽查询，以指向适当的管线。可以训练抽取式问答(QA)模型，然后将其用于提供对基于信息的查询的响应，例如通过搜索非结构化文本来识别输入查询的答案。该系统支持开发由非结构化存储器支持的对话式人工智能，这可能会增加与系统相关的自定义事实。
本公开的实施例可以提供对利用结构化数据模式来存储、更新和检索信息的现有系统的一个或更多个改进。举例来说，本实施例的非结构化自然语言存储可以提供对意图/槽模式的改进，其中特定响应或意图被预加载和定义以供系统使用。因此，通常通过查看各种不同的输入和期望的输出来生成意图/槽模式，以便生成意图/槽组合，然后响应于输入来识别和执行这些意图/槽组合。这些系统的生成可能是耗时的，并且对于与预加载的意图和槽不对应的用户输入不灵活。类似地，系统提供了对可能需要严格分类信息而不是存储和检索非结构化文本的可变字典和知识图谱的改进。
架构200可以包括一个或更多个处理单元，其可以是本地托管的或者是一个或更多个分布式系统的一部分，如图2所示。在该示例中，输入200被提供给分类器204，分类器204可以是分布式系统的一部分或本地托管的分类器，以及其他选项。分类器204可以包括一个或更多个经训练的机器学习系统，其评估输入的一个或更多个方面以确定输入是否与问题相关联。仅作为示例，可以是一个或更多个自然语言处理(NLP)模型的一部分的一个或更多个标点符号模型可用于预测标点符号是否跟在词之后，此外，还可用于预测输入语句或短语是否是一个问题。此外，分类器204的至少部分可以结合一个或更多个自然语言理解(NLU)系统，该系统使人类能够自然地与设备交互。NLU系统可用于解释输入的上下文和意图以生成响应。例如，可以对输入进行预处理，这可能包括标记化、词形还原、词干提取和其他过程。此外，NLU系统可以包括一个或更多个深度学习模型，例如BERT模型，以启用实体识别、意图识别、情感分析等功能。此外，各种实施例还可以包括自动语音识别(ASR)、文本到语音处理等。
在操作中，输入202由分类器204评估，并且至少部分地基于输入202的分类，数据可以沿着一个或更多个管线传输以用于进一步处理。在该示例中，问题环境206可以包括基于基于信息的查询208和意图/槽查询210以及其他选项的评估。例如，分类器204可以最初确定输入202对应于问题并且将数据沿着适当的管线引导到问题环境206。然而，在问题环境内，可以执行一个或更多个附加分析或确定以确定是否由基于信息的系统208或意图/槽系统210执行适当的处理，如上所述，这是示例，因为在问题环境206中可能使用额外的系统。仅作为示例，一个或更多个功能可用于评估和确定如何处理输入，如下所示：
Figure BDA0003752712410000051
在该示例中，如果查询是问题并且如果这样的查询可以由系统处理，则使用经训练的抽取式问答网络评估和处理初始查询。然而，在其他示例中，意图/槽系统210可以继续识别意图、识别相关联的槽、填充槽，然后提供响应。
另外，输入202可以进一步被分类为声明性陈述并且可以指向信息存储系统212。例如，用户可以提供诸如“我最喜欢的颜色是绿色的”或“这应该是默认的视图设置”之类的肯定性陈述作为输入202。然后，可以将该信息提供给信息存储系统212以作为非结构化自然语言进行存储和保留，然后可以将其用作对另一个查询的响应。如将意识到的，将输入202存储为非结构化自然语言使得能够实时和近实时地存储和检索，使得与系统相关联的数据可以在运行时更新，而无需重新训练模型或通过添加新的意图来修改意图/槽分类。以这种方式，对话式AI可以使用自然语言以更频繁和更自然的方式更新，而不是要求信息符合特定的数据结构。
环境300可以与一个或更多个对话式AI一起使用，如图3所示。应当意识到，环境300可以包括更多或更少的组件，并且环境300的各种组件可以被包含到单个系统中，但是为了方便和清楚起见，可以将其显示为单独的模块。在该示例中，输入302经由一个或更多个网络306被发送到对话系统304。网络306可以是有线或无线网络，其包括一个或更多个中间系统，例如用户设备、服务器组件、交换机等。此外，应当意识到，对话系统304的一个或更多个特征可以被预加载或以其他方式存储在用户设备上，使得至少一部分数据的发送可以不利用网络306，而是可以在设备上本地地执行。
在该示例中，输入处理器308接收输入308并且可以执行一个或更多个预处理或后处理步骤。例如，输入处理器308可以包括一个或更多个NLP系统，其评估听觉输入以从输入中提取一个或更多个特征，以及其他选项。此外，在实施例中，输入处理器308可以包括用于预处理(例如，标记化、标点符号的去除、停顿词的去除、词干提取、词形还原等)、特征提取等的文本处理系统。应当意识到，输入处理器308可以利用一个或更多个经训练的机器学习系统，并且可以进一步并入对话系统304的其他组件中。
分类器310可用于确定输入是否对应于问题、陈述或任何其他标签。例如，分类器310可以利用一个或更多个经训练的机器学习系统来评估输入是否为问题的形式，例如使用标点符号模型以及其他潜在模型。如上所述，分类器310然后可以根据相应的分类沿着不同的路径引导输入，其中可以针对一个或更多个数据库进一步评估问题以确定响应，并且可以评估陈述并将其添加到非结构化文本的语料库中.
如上所述，问题可以针对问题环境，其中一个或更多个抽取式问答模型312用于确定对输入的响应。举例来说，抽取式问答模型312可以是用于抽取输入序列的一个或更多个部分以回答与这种序列相关联的自然语言问题的经训练的神经网络。如上所述，对于诸如“我可以给汽车涂什么颜色”之类的输入，可以评估非结构化文本以识别汽车的潜在颜色，然后可以将这些颜色呈现给用户。例如，如果非结构化文本包含自然语言信息，例如“汽车颜色是白色、黑色、红色、黄色和灰色”，那么对问题的响应将是“白色、黑色、红色、黄色和灰色”。另外，应当意识到，模型312也可以与意图/槽评估一起使用。在各种实施例中，抽取式问答模型可以是经训练的神经网络系统，例如来自NVIDIA公司的Megatron。
在各种实施例中，训练数据314可用于训练模型312，其中数据包括信息语料库，例如multiQA数据集。结果，模型312可能能够直接从非结构化文本316的语料库中提取相关事实，其对应于为对话系统304提供的信息。作为示例，语料库316可以包括作为自然语言呈现的信息，例如句子、段落、CSV数据等。此外，语料库316还可以包括一个或更多个结构数据集。
所示实施例还包括运行时交互模块318以识别和合并可用于更新语料库316的不同陈述或事实。举例来说，分类器310可确定输入与问题不相关并且可以将输入提供给运行时交互模块318用于评估，例如使用一个或更多个机器学习系统。可以从输入中识别和/或提取一个或更多个特征以便更新语料库316。例如，输入可以对应于用户偏好，例如用户偏好某种颜色或相机角度的话语。然后可以利用该信息来更新语料库316，以便将来的命令或请求可以包含用户的偏好。在至少一个实施例中，可以使用数据修改器320来更新语料库316，例如以自然语言格式格式化输入。
各种实施例还可以使与输入相关联的一个或更多个动作被执行。例如，动作模块322可用于实现与自然语言文本相关联的一个或更多个元命令，其使得能够连接到与文本相关联的适当命令。在各种实施例中，元命令可以是对机器学习系统的符号或调用以忽略或以其他方式忽略某些字符，其中这些字符与动作相关联。在各种实施例中，动作可以与对输入的响应并行或半并行地执行。在至少一个实施例中，元命令可以是跟随符号或调用的单独句子或字符串。例如，如果用户要问，“这顿饭有什么配菜？”，相关联的动作可能不仅是向用户提供口头或文本响应以回答问题，而且还提供图片或显示列表。结果，在非结构化文本内，符号或调用可以跟随与答案相关联的非结构化文本，使得当对用户输入的答案被识别时，一个或更多个动作也执行。
如这里所指出的，各种实施例能够将信息存储和检索为自然语言、非结构化文本。因此，可以容易地将新信息添加到信息语料库中，而无需格式化为特定模式。如图4所示，存储系统400可以包括一组信息402。信息集402被存储为自然语言格式的自由文本，在这种情况下是一系列句子。应该理解，可以使用不同的非结构化存储器模式，例如列表(例如，颜色是白色、黑色、红色、黄色和灰色)、键值对(例如，颜色：白色、黑色、红色、黄色、灰色)等。此外，应当意识到，不同的结构化模式也可以与信息集402内的存储系统400一起使用。换句话说，不同的模式可以在存储系统400内组合成信息集402，从而提供改进的存储和更新信息的灵活性。
在这个示例中，输入404示出了提供给系统400的用户查询的示例，在这种情况下，输入404是已经被转换成文本的语音输入，例如使用一个或更多个NLP系统。应当意识到，输入404作为示例提供以说明由系统400评估的过程，并且在实施例中，使用系统400的用户将不会可视化信息集402和/或输入404。也就是说，系统400可以在后台执行，同时向用户显示不同的用户界面。在该示例中，输入404对应于可以由一个或更多个分类器识别的问题，如上所述。此外，在各种实施例中，可以进一步分析问题以确定它是否是基于信息的问题。在这种情况下，查询与关于系统能力的问题相关，该问题可以对应于基于信息的问题。
在至少一个实施例中，可以启用生成响应408，使得答案406以句子结构提供给用户。作为示例，生成性神经网络可用于接收答案406作为输入，然后确定包含(incorporate)答案406的适当响应。在该示例中，生成响应408以句子格式提供答案406给用户。如将意识到的，使用生成响应408可以为用户提供改进的交互体验，其中用户可能感觉好像他们正在与系统进行对话，而不是仅接收信息。因此，可以鼓励用户将系统用于更多目的。
在至少一个实施例中，一个或更多个动作可以与不同的用户输入相关联，其中该动作可以包括标记或调用，如上所述。动作集410可以包括具有不同答案406的关联动作的列表或集合。在图4的示例中，没有与用户请求了解颜色选项相关的相关动作。然而，在各种实施例中，动作可以与请求相关联，例如显示颜色选项的面板或样本。因此，可以列出不同的调用或函数。在至少一个实施例中，提供者可以访问系统400以进行改变或更新。例如，可以将不同的信息添加到信息集402和/或可以将不同的动作与不同的问题或情况相关联。以这种方式，可以在运行时提供对系统的动态改变，而无需重新训练系统。
图5A示出了用于确定用户意图以在交互环境中执行动作的示例过程500。应当理解，对于本文提出的这个过程和其他过程，除非另有具体说明，否则在各种实施例的范围内，可以有以类似或替代顺序或至少部分并行地执行的附加、更少或替代步骤。在该示例中，可以在交互环境502处接收输入。在各种实施例中，输入可以是语音输入、文本输入、来自软件程序脚本的命令、内容元素的选择等。可以确定输入的分类504，例如使用一个或更多个机器学习系统来确定输入是问题还是声明性陈述506。如上所述，该确定可以至少部分地包括一个或更多个模型，例如标点符号模型。
如果信息是声明性陈述，例如用户提供信息，则输入可以以自然语言格式存储508。存储输入可以实现信息的稍后识别和检索，例如，如果用户提供可能对交互环境有用的信息，例如验证一个或更多个偏好。此外，如本文所讨论的，以自然语言格式存储信息为系统提供了灵活性，使得可能不需要特定的存储模式，这可以实现对新提供的信息的更快、自动化的存储。
在至少一个实施例中，输入是问题，并且可以从输入中提取一个或更多个文本序列510。文本序列的提取部分可以提供给一个或更多个机器学习系统，例如抽取式问答模型，以至少部分地基于序列来确定响应512。响应可以提供对输入提出的问题的回答，其中可以在存储在非结构化格式的信息集合中识别响应，例如自然语言格式。然后该响应可用于生成对输入514的回复，例如提供附加信息、执行动作或其组合。
图5B示出了用于响应用户输入的示例过程520。在该示例中，在交互环境处接收输入522。如上所述，该输入可以包括经由语音交互、文本输入、内容元素的选择或其他选项提供的一个或更多个查询。在最后一个实施例中，输入可以包括基于信息的问题524。例如，输入可以是关于对话式AI系统的潜在能力的问题。来自输入的信息可用于评估存储为非结构化自然语言的数据，以便确定对输入的响应526。举例来说，抽取式问答模型可以将来自输入的一个或更多个特征作为输入来确定存储数据中的信息是否响应输入。然后可以使用响应528生成回复。
图6示出了用于基于输入执行动作的示例过程600。在该示例中，一组信息被存储为非结构化的自然语言602。例如，该信息可以被存储为一系列句子以及其他选项。确定对应于信息的一部分的动作604。动作可以包括交互环境的一个或更多个能力，例如响应于用户查询提供视觉指示。可以将调用函数指派给信息部分，其中调用函数用于执行动作606。在各种实施例中，调用函数可以包括符号或指示符，使得调用函数不被计数或不包括在信息集中。
在各种实施例中，接收输入并且响应于输入608而检索该部分。该部分可以用于生成对输入610的响应，并且基于该响应，可以执行一个或更多个相关联的动作612。以这种方式，与该部分相关联的调用可以与提供响应并行地执行。
数据中心
图7示出了可以使用至少一个实施例的示例数据中心700。在至少一个实施例中，数据中心700包括数据中心基础设施层710、框架层720、软件层730和应用层740。
在至少一个实施例中，如图7所示，数据中心基础设施层710可以包括资源协调器712、分组的计算资源714和节点计算资源(“节点C.R.”)716(1)-716(N)，其中“N”代表任何正整数。在至少一个实施例中，节点C.R.716(1)-716(N)可以包括但不限于任何数量的中央处理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、图形处理器等)，存储器设备(例如动态只读存储器)、存储设备(例如固态硬盘或磁盘驱动器)，网络输入/输出(“NWI/O”)设备，网络交换机，虚拟机(“VM”)，电源模块和冷却模块等。在至少一个实施例中，节点C.R.716(1)-716(N)中的一个或更多个节点C.R.可以是具有一个或更多个上述计算资源的服务器。
在至少一个实施例中，分组的计算资源714可以包括容纳在一个或更多个机架内的节点C.R.的单独分组(未示出)，或者容纳在各个地理位置的数据中心内的许多机架(也未示出)。分组的计算资源714内的节点C.R.的单独分组可以包括可以被配置或分配为支持一个或更多个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中，可以将包括CPU或处理器的几个节点C.R.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个或更多个机架还可以包括任何数量的电源模块、冷却模块和网络交换机，以任意组合。
在至少一个实施例中，资源协调器712可以配置或以其他方式控制一个或更多个节点C.R.716(1)-716(N)和/或分组的计算资源714。在至少一个实施例中，资源协调器712可以包括用于数据中心700的软件设计基础结构(“SDI”)管理实体。在至少一个实施例中，资源协调器107可以包括硬件、软件或其某种组合。
在至少一个实施例中，如图7所示，框架层720包括作业调度器722、配置管理器724、资源管理器726和分布式文件系统728。在至少一个实施例中，框架层720可以包括支持软件层730的软件732和/或应用程序层740的一个或更多个应用程序742的框架。在至少一个实施例中，软件732或应用程序742可以分别包括基于Web的服务软件或应用程序，例如由Amazon Web Services，Google Cloud和Microsoft Azure提供的服务或应用程序。在至少一个实施例中，框架层720可以是但不限于一种免费和开放源软件网络应用程序框架，例如可以利用分布式文件系统728来进行大范围数据处理(例如“大数据”)的Apache SparkTM(以下称为“Spark”)。在至少一个实施例中，作业调度器732可以包括Spark驱动器，以促进对数据中心700的各个层所支持的工作负载进行调度。在至少一个实施例中，配置管理器724可以能够配置不同的层，例如软件层730和包括Spark和用于支持大规模数据处理的分布式文件系统728的框架层720。在至少一个实施例中，资源管理器726能够管理映射到或分配用于支持分布式文件系统728和作业调度器722的集群或分组计算资源。在至少一个实施例中，集群或分组计算资源可以包括数据中心基础设施层710上的分组计算资源714。在至少一个实施例中，资源管理器726可以与资源协调器712协调以管理这些映射的或分配的计算资源。
在至少一个实施例中，包括在软件层730中的软件732可以包括由节点C.R.716(1)-716(N)的至少一部分，分组的计算资源714和/或框架层720的分布式文件系统728使用的软件。一种或更多种类型的软件可以包括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据库软件和流视频内容软件。
在至少一个实施例中，应用层740中包括的一个或更多个应用程序742可以包括由节点C.R.716(1)-716(N)的至少一部分、分组计算资源714和/或框架层720的分布式文件系统728使用的一种或更多种类型的应用程序。一种或更多种类型的应用程序可以包括但不限于任何数量的基因组学应用程序、认知计算和机器学习应用程序，包括训练或推理软件，机器学习框架软件(例如PyTorch、TensorFlow、Caffe等)或其他与一个或更多个实施例结合使用的机器学习应用程序。
在至少一个实施例中，配置管理器724、资源管理器726和资源协调器712中的任何一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施例中，自我修改动作可以减轻数据中心700的数据中心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部分。
在至少一个实施例中，数据中心700可以包括工具、服务、软件或其他资源，以根据本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如，在至少一个实施例中，可以通过使用上文关于数据中心700描述的软件和计算资源，根据神经网络架构通过计算权重参数来训练机器学习模型。在至少一个实施例中，通过使用通过本文所述的一种或更多种训练技术计算出的权重参数，可以使用上面与关于数据中心700所描述的资源，使用对应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。
在至少一个实施例中，数据中心可以使用CPU、专用集成电路(ASIC)、GPU、FPGA或其他硬件来使用上述资源来执行训练和/或推理。此外，上述的一个或更多个软件和/或硬件资源可以配置成一种服务，以允许用户训练或执行信息推理，例如图像识别、语音识别或其他人工智能服务。
此类组件可用于在交互环境中存储和检索信息。
计算机系统
图8是示出了根据至少一个实施例示例性计算机系统的框图，该示例性计算机系统可以是具有互连的设备和组件的系统，片上系统(SOC)或它们的某种形成有处理器的组合，该处理器可以包括执行单元以执行指令。在至少一个实施例中，根据本公开，例如本文所述的实施例，计算机系统800可以包括但不限于组件，例如处理器802，其执行单元包括逻辑以执行用于过程数据的算法。在至少一个实施例中，计算机系统800可以包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司(Intel Corporation of Santa Clara,California)获得的
Figure BDA0003752712410000131
处理器家族、XeonTM、
Figure BDA0003752712410000134
XScaleTM和/或StrongARMTM，
Figure BDA0003752712410000132
CoreTM或
Figure BDA0003752712410000133
NervanaTM微处理器，尽管也可以使用其他系统(包括具有其他微处理器的PC、工程工作站、机顶盒等)。在至少一个实施例中，计算机系统800可以执行可从华盛顿州雷蒙德市的微软公司(Microsoft Corporation of Redmond,Wash.)获得的WINDOWS操作系统版本，尽管其他操作系统(例如UNIX和Linux)、嵌入式软件和/或图形用户界面也可以使用。
实施例可以用在其他设备中，例如手持设备和嵌入式应用程序。手持设备的一些示例包括蜂窝电话、互联网协议(Internet Protocol)设备、数码相机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式应用程序可以包括微控制器、数字信号处理器(“DSP”)、片上系统、网络计算机(“NetPC”)、边缘计算设备、机顶盒、网络集线器、广域网(“WAN”)交换机，或根据至少一个实施例可以执行一个或更多个指令的任何其他系统。
在至少一个实施例中，计算机系统800可包括但不限于处理器802，该处理器802可包括但不限于一个或更多个执行单元808，以根据本文描述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算机系统800是单处理器台式机或服务器系统，但是在另一个实施例中，计算机系统800可以是多处理器系统。在至少一个实施例中，处理器802可以包括但不限于复杂指令集计算机(“CISC”)微处理器、精简指令集计算(“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集组合的处理器，或任何其他处理器设备，例如数字信号处理器。在至少一个实施例中，处理器802可以耦合到处理器总线810，该处理器总线810可以在处理器802与计算机系统800中的其他组件之间传输数据信号。
在至少一个实施例中，处理器802可以包括但不限于1级(“L1”)内部高速缓存存储器(“cache”)804。在至少一个实施例中，处理器802可以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速缓存存储器可以驻留在处理器802的外部。根据特定的实现和需求，其他实施例也可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存器文件806可以在各种寄存器中存储不同类型的数据，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑执行单元808，其也位于处理器802中。在至少一个实施例中，处理器802还可以包括微码(“ucode”)只读存储器(“ROM”)，用于存储某些宏指令的微代码。在至少一个实施例中，执行单元808可以包括用于处理封装指令集809的逻辑。在至少一个实施例中，通过将封装指令集809包括在通用处理器的指令集中，以及要执行指令的相关电路，可以使用处理器802中的封装数据来执行许多多媒体应用程序使用的操作。在一个或更多个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的数据上执行操作来加速和更有效地执行许多多媒体应用程序，这可能不需要在处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的一个或更多个操作。
在至少一个实施例中，执行单元808也可以用在微控制器、嵌入式处理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中，计算机系统800可以包括但不限于存储器820。在至少一个实施例中，存储器820可以实现为动态随机存取存储器(“DRAM”)设备、静态随机存取存储器(“SRAM”)设备、闪存设备或其他存储设备。在至少一个实施例中，存储器820可以存储由处理器802可以执行的由数据信号表示的指令819和/或数据821。
在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线810和存储器820。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器控制器集线器(“MCH”)816，并且处理器802可以经由处理器总线810与MCH 816通信。在至少一个实施例中，MCH 816可以提供到存储器820的高带宽存储器路径818以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，MCH 816可以在处理器802、存储器820和计算机系统800中的其他组件之间启动数据信号，并且在处理器总线810、存储器820和系统I/O 822之间桥接数据信号。在至少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，MCH 816可以通过高带宽存储器路径818耦合到存储器820，并且图形/视频卡812可以通过加速图形端口(Accelerated Graphics Port)(“AGP”)互连814耦合到MCH 816。
在至少一个实施例中，计算机系统800可以使用系统I/O 822，所述系统I/O 822是专有集线器接口总线来将MCH 816耦合到I/O控制器集线器(“ICH”)830。在至少一个实施例中，ICH 830可以通过本地I/O总线提供与某些I/O设备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将外围设备连接到存储器820、芯片组和处理器802的高速I/O总线。示例可以包括但不限于音频控制器828、固件集线器(“Flash BIOS”)828、无线收发器826、数据存储824、包含用户输入和键盘接口的传统I/O控制器823、串行扩展端口827(例如通用串行总线(USB)端口)和网络控制器834。数据存储824可以包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备或其他大容量存储设备。
在至少一个实施例中，图8示出了包括互连的硬件设备或“芯片”的系统，而在其他实施例中，图8可以示出示例性片上系统(SoC)。在至少一个实施例中，设备可以与专有互连、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，计算机系统800的一个或更多个组件使用计算快速链路(CXL)互连来互连。
此类组件可用于在交互环境中存储和检索信息。
图9是示出了根据至少一个实施例的用于利用处理器910的电子设备900的框图。在至少一个实施例中，电子设备900可以是，例如但不限于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、膝上型计算机、台式机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电子设备。
在至少一个实施例中，系统900可以包括但不限于通信地耦合到任何合适数量或种类的组件、外围设备、模块或设备的处理器910。在至少一个实施例中，处理器910使用总线或接口耦合，诸如1℃总线、系统管理总线(“SMBus”)、低引脚数(LPC)总线、串行外围接口(“SPI”)、高清音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行总线(“USB”)(1、2、3版)或通用异步接收器/发送器(“UART”)总线。在至少一个实施例中，图9示出了系统，该系统包括互连的硬件设备或“芯片”，而在其他实施例中，图9可以示出示例性片上系统(SoC)。在至少一个实施例中，图9中所示的设备可以与专有互连线、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，图9的一个或更多个组件使用计算快速链路(CXL)互连线来互连。
在至少一个实施例中，图9可以包括显示器924、触摸屏925、触摸板930、近场通信单元(“NFC”)945、传感器集线器940、热传感器946、快速芯片组(“EC”)935、可信平台模块(“TPM”)938、BIOS/固件/闪存(“BIOS，FWFlash”)922、DSP 960、驱动器920(例如固态磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元(“WLAN”)950、蓝牙单元952、无线广域网单元(“WWAN”)956、全球定位系统(GPS)955、相机(“USB3.0相机”)954(例如USB3.0相机)和/或以例如LPDDR3标准实现的低功耗双倍数据速率(“LPDDR”)存储器单元(“LPDDR3”)915。这些组件可以各自以任何合适的方式实现。
在至少一个实施例中，其他组件可以通过上文所述的组件通信地耦合到处理器910。在至少一个实施例中，加速度计941、环境光传感器(“ALS”)942、罗盘943和陀螺仪944可以可通信地耦合到传感器集线器940。在至少一个实施例中，热传感器939、风扇937、键盘936和触摸板930可以通信地耦合到EC 935。在至少一个实施例中，扬声器963、耳机964和麦克风(“mic”)965可以通信地耦合到音频单元(“音频编解码器和D类放大器”)962，其又可以通信地耦合到DSP 960。在至少一个实施例中，音频单元962可以包括例如但不限于音频编码器/解码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”)957可以通信地耦合到WWAN单元956。在至少一个实施例中，组件(诸如WLAN单元950和蓝牙单元952以及WWAN单元956)可以被实现为下一代形式因素(NGFF)。
此类组件可用于在交互环境中存储和检索信息。
图10是根据至少一个实施例的处理系统的框图。在至少一个实施例中，系统1000包括一个或更多个处理器1002和一个或更多个图形处理器1008，并且可以是单处理器台式机系统、多处理器工作站系统或具有大量统一或单独管理的处理器1002或处理器核心1007的服务器系统或数据中心。在至少一个实施例中，系统1000是结合在片上系统(SoC)集成电路内的处理平台，以在移动、手持或嵌入式设备使用。
在至少一个实施例中，系统1000可以包括或结合在基于服务器的游戏平台、云计算主机平台、虚拟化计算平台、游戏控制台中，游戏控制台包括游戏和媒体控制台的游戏控制台、移动游戏控制台、手持游戏控制台或在线游戏控制台。在至少一个实施例中，系统1000是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理系统1000还可包括与可穿戴设备耦合或集成在可穿戴设备中，例如智能手表可穿戴设备、智能眼镜设备、增强现实设备、边缘设备、物联网(“IoT”)设备或虚拟现实设备。在至少一个实施例中，处理系统1000是电视或机顶盒设备，其具有一个或更多个处理器1002以及由一个或更多个图形处理器1008生成的图形界面。
在至少一个实施例中，一个或更多个处理器1002每个包括一个或更多个处理器核心1007，以处理指令，该指令在被执行时执行针对系统和用户软件的操作。在至少一个实施例中，一个或更多个处理器核心1007中的每一个被配置为处理特定指令集1009。在至少一个实施例中，指令集1009可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)，或通过超长指令字(VLIW)进行计算。在至少一个实施例中，处理器核心1007可以各自处理不同的指令集1009，该指令集可以包括有助于仿真其他指令集的指令。在至少一个实施例中，处理器核心1007还可以包括其他处理设备，例如数字信号处理器(DSP)。
在至少一个实施例中，处理器1002包括高速缓存存储器1004。在至少一个实施例中，处理器1002可以具有单个内部高速缓存或多个级别的内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器1002的各个组件之间共享。在至少一个实施例中，处理器1002还使用外部高速缓存(例如，三级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，可以使用已知的高速缓存一致性技术在处理器核心1007之间共享该外部高速缓存。在至少一个实施例中，处理器1002中另外包括寄存器文件1006，处理器可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件1006可以包括通用寄存器或其他寄存器。
在至少一个实施例中，一个或更多个处理器1002与一个或更多个接口总线1010耦合，以在处理器1002与系统1000中的其他组件之间传输通信信号，例如地址、数据或控制信号。在至少一个实施例中，接口总线1010在一个实施例中可以是处理器总线，例如直接媒体接口(DMI)总线的版本。在至少一个实施例中，接口总线1010不限于DMI总线，并且可以包括一个或更多个外围组件互连总线(例如，PCI，PCIExpress)、存储器总线或其他类型的接口总线。在至少一个实施例中，处理器1002包括集成存储器控制器1016和平台控制器集线器1030。在至少一个实施例中，存储器控制器1016促进存储器设备与处理系统1000的其他组件之间的通信，而平台控制器集线器(PCH)1030通过本地I/O总线提供到I/O设备的连接。
在至少一个实施例中，存储器设备1020可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储设备或具有适当的性能以用作处理器存储器。在至少一个实施例中，存储设备1020可以用作处理系统1000的系统存储器，以存储数据1022和指令1021，以在一个或更多个处理器1002执行应用程序或过程时使用。在至少一个实施例中，存储器控制器1016还与可选的外部图形处理器1012耦合，其可以与处理器1002中的一个或更多个图形处理器1008通信以执行图形和媒体操作。在至少一个实施例中，显示设备1011可以连接至处理器1002。在至少一个实施例中，显示设备1011可以包括内部显示设备中的一个或更多个，例如在移动电子设备或膝上型设备或通过显示器接口(例如显示端口(DisplayPort)等)连接的外部显示设备中。在至少一个实施例中，显示设备1011可以包括头戴式显示器(HMD)，诸如用于虚拟现实(VR)应用或增强现实(AR)应用中的立体显示设备。
在至少一个实施例中，平台控制器集线器1030使外围设备能够通过高速I/O总线连接到存储设备1020和处理器1002。在至少一个实施例中，I/O外围设备包括但不限于音频控制器1046、网络控制器1034、固件接口1028、无线收发器1026、触摸传感器1025、数据存储设备1024(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备1024可以经由存储接口(例如，SATA)或经由外围总线来连接，诸如外围组件互连总线(例如，PCI、PCIe)。在至少一个实施例中，触摸传感器1025可以包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器1026可以是Wi-Fi收发器、蓝牙收发器或移动网络收发器，诸如3G、4G或长期演进(LTE)收发器。在至少一个实施例中，固件接口1028使能与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。在至少一个实施例中，网络控制器1034可以启用到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线1010耦合。在至少一个实施例中，音频控制器1046是多通道高清晰度音频控制器。在至少一个实施例中，处理系统1000包括可选的传统(legacy)I/O控制器1040，用于将传统(例如，个人系统2(PS/2))设备耦合到系统1000。在至少一个实施例中，平台控制器集线器1030还可以连接到一个或更多个通用串行总线(USB)控制器1042，该控制器连接输入设备，诸如键盘和鼠标1043组合、相机1044或其他USB输入设备。
在至少一个实施例中，存储器控制器1016和平台控制器集线器1030的实例可以集成到离散的外部图形处理器中，例如外部图形处理器1012。在至少一个实施例中，平台控制器集线器1030和/或存储器控制器1016可以在一个或更多个处理器1002的外部。例如，在至少一个实施例中，系统1000可以包括外部存储器控制器1016和平台控制器集线器1030，其可以配置成在与处理器1002通信的系统芯片组中的存储器控制器集线器和外围控制器集线器。
此类组件可用于在交互环境中存储和检索信息。
图11是根据至少一个实施例的具有一个或更多个处理器核心1102A-1102N、集成存储器控制器1114和集成图形处理器1108的处理器1100的框图。在至少一个实施例中，处理器1100可以包含附加核心，多达并包括以虚线框表示的附加核心1102N。在至少一个实施例中，每个处理器核心1102A-1102N包括一个或更多个内部高速缓存单元1104A-1104N。在至少一个实施例中，每个处理器核心还可以访问一个或更多个共享高速缓存单元1106。
在至少一个实施例中，内部高速缓存单元1104A-1104N和共享高速缓存单元1106表示处理器1100内的高速缓存存储器层次结构。在至少一个实施例中，高速缓存存储器单元1104A-1104N可以包括每个处理器核心内的至少一级指令和数据高速缓存以及共享中级高速缓存中的一级或更多级缓存，例如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中将外部存储器之前的最高级别的高速缓存归类为LLC。在至少一个实施例中，高速缓存一致性逻辑维持各种高速缓存单元1106和1104A-1104N之间的一致性。
在至少一个实施例中，处理器1100还可包括一组一个或更多个总线控制器单元1116和系统代理核心1110。在至少一个实施例中，一个或更多个总线控制器单元1116管理一组外围总线，例如一个或更多个PCI或PCIe总线。在至少一个实施例中，系统代理核心1110为各种处理器组件提供管理功能。在至少一个实施例中，系统代理核心1110包括一个或更多个集成存储器控制器1114，以管理对各种外部存储器设备(未示出)的访问。
在至少一个实施例中，一个或更多个处理器核心1102A-1102N包括对多线程同时进行的支持。在至少一个实施例中，系统代理核心1110包括用于在多线程处理期间协调和操作核心1102A-1102N的组件。在至少一个实施例中，系统代理核心1110可以另外包括电源控制单元(PCU)，该电源控制单元包括用于调节处理器核心1102A-1102N和图形处理器1108的一个或更多个电源状态的逻辑和组件。
在至少一个实施例中，处理器1100还包括用于执行图处理操作的图形处理器1108。在至少一个实施例中，图形处理器1108与共享高速缓存单元1106和包括一个或更多个集成存储器控制器1114的系统代理核心1110耦合。在至少一个实施例中，系统代理核心1110还包括用于驱动图形处理器输出到一个或更多个耦合的显示器的显示器控制器1111。在至少一个实施例中，显示器控制器1111也可以是经由至少一个互连与图形处理器1108耦合的独立模块，或者可以集成在图形处理器1108内。
在至少一个实施例中，基于环的互连单元1112用于耦合处理器1100的内部组件。在至少一个实施例中，可以使用替代性互连单元，例如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器1108经由I/O链路1113与环形互连1112耦合。
在至少一个实施例中，I/O链路1113代表多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块1118(例如eDRAM模块)之间的通信的封装I/O互连。在至少一个实施例中，处理器核心1102A-1102N和图形处理器1108中的每一个使用嵌入式存储器模块1118作为共享的最后一级高速缓存。
在至少一个实施例中，处理器核心1102A-1102N是执行公共指令集架构的同质核心。在至少一个实施例中，处理器核心1102A-1102N在指令集架构(ISA)方面是异构的，其中一个或更多个处理器核心1102A-1102N执行公共指令集，而一个或更多个其他处理器核心1102A-1102N执行公共指令集的子集或不同指令集。在至少一个实施例中，就微架构而言，处理器核心1102A-1102N是异构的，其中具有相对较高功耗的一个或更多个核心与具有较低功耗的一个或更多个功率核心耦合。在至少一个实施例中，处理器1100可以在一个或更多个芯片上实现或被实现为SoC集成电路。
此类组件可用于在交互环境中存储和检索信息。
其他变型在本公开的精神内。因此，尽管公开的技术易于进行各种修改和替代构造，但是某些示出的其实施例在附图中示出并且已经在上面进行了详细描述。然而，应理解，无意将公开内容限制为所公开的一种或更多种特定形式，而是相反，其意图是涵盖落入如所附权利要求书所定义的本公开内容的精神和范围内的所有修改、替代构造和等同物。
除非另有说明或显然与上下文矛盾，否则在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文中)，术语“一”和“一个”和“该”以及类似指代的使用应被解释为涵盖单数和复数，而不是作为术语的定义。除非另有说明，否则术语“包括”、“具有”、“包含”和“含有”应被解释为开放式术语(意味着“包括但不限于”)。术语“连接”(在未经修改时指的是物理连接)应解释为部分或全部包含在内、附接到或连接在一起，即使有某些介入。除非本文另外指出，否则本文中对数值范围的引用仅旨在用作分别指代落入该范围内的每个单独值的简写方法，并且每个单独值都被并入说明书中，就如同其在本文中被单独叙述一样。除非另外指出或与上下文矛盾，否则术语“集”(例如“项目集”)或“子集”的使用应解释为包括一个或更多个成员的非空集合。此外，除非另外指出或与上下文矛盾，否则术语相对应集的“子集”不一定表示对应集的适当子集，而是子集和对应集可以相等。
除非以其他方式明确指出或与上下文明显矛盾，否则诸如“A，B和C中的至少一个”或“A，B与C中的至少一个”形式的短语之类的连接语在上下文中理解为通常用于表示项目、条款等，其可以是A或B或C，也可以是A和B和C集的任何非空子集。例如，在具有三个成员的集的说明性示例中，连接短语“A，B和C中的至少一个”和“A，B与C中的至少一个”是指以下任意集：{A}，{B}，{C}，{A，B}，{A，C}，{B，C}，{A，B，C}。因此，这种连接语言通常不旨在暗示某些实施例要求存在A中的至少一个，B中的至少一个和C中的至少一个。另外，除非另有说明或与上下文矛盾，否则术语“多个”表示复数的状态(例如，“多个项目”表示多个项目)。多个项目中项目的数量至少为两个，但如果明确指示或通过上下文指示，则可以更多。此外，除非另有说明或从上下文中可以清楚得知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。
除非本文另外指出或与上下文明显矛盾，否则本文描述的过程的操作可以任何合适的顺序执行。在至少一个实施例中，诸如本文所述的那些过程(或其变形和/或其组合)之类的过程在配置有可执行指令的一个或更多个计算机系统的控制下执行，并且被实现为代码(例如，可执行指令，一个或更多个计算机程序或一个或更多个应用程序)，该代码通过硬件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，代码以例如计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个指令。在至少一个实施例中，计算机可读存储介质是非暂时性计算机可读存储介质，其排除了暂时性信号(例如，传播的瞬态电或电磁传输)，但包括非暂时性数据存储电路(例如，缓冲区、高速缓存和队列)。在至少一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令的一组一个或更多个非暂时性计算机可读存储介质(或用于存储可执行指令的其他存储器)上，该可执行指令在由计算机系统的一个或更多个处理器执行时(即，作为被执行的结果)，使得计算机系统执行本文所述的操作。在至少一个实施例中，一组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介质，并且多个非暂时性计算机可读存储介质中的个体非暂时性存储介质中的一个或更多个缺少全部代码，而是多个非暂时性计算机可读存储介质共同存储全部代码。在至少一个实施例中，可执行指令被执行，以使得不同的指令由不同的处理器执行，例如，非暂时性计算机可读存储介质存储指令，并且主中央处理单元(“CPU”)执行一些指令，而图形处理单元(“GPU”)和/或数据处理单元(“DPU”)执行其他指令。在至少一个实施例中，计算机系统的不同组件具有单独的处理器，并且不同的处理器执行指令的不同子集。
因此，在至少一个实施例中，计算机系统被配置为实现单独地或共同地执行本文所述的过程的操作的一个或更多个服务，并且这样的计算机系统被配置有使能实施操作的适用的硬件和/或软件。此外，实现本公开的至少一个实施例的计算机系统是单个设备，并且在另一实施例中是分布式计算机系统，其包括以不同方式操作的多个设备，使得分布式计算机系统执行本文所述的操作，并且使得单个设备不执行所有操作。
本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本公开的实施例，并且不对公开的范围构成限制，除非另有要求。说明书中的任何语言都不应被解释为表示任何未要求保护的要素对于实践公开内容是必不可少的。
本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度就如同每个参考文献被单独且具体地指示为以引用的方式并入本文并且其全部内容在本文中阐述一样。
在说明书和权利要求中，可以使用术语“耦合”和“连接”以及它们的派生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接物理或电接触。“耦合”也可能意味着两个或更多个元素彼此不直接接触，但仍彼此协作或交互。
除非另有明确说明，否则可以理解，在整个说明书中，诸如“处理”、“计算”、“核算”、“确定”等之类的术语，是指计算机或计算系统或类似的电子计算设备的动作和/或过程，其将计算系统的寄存器和/或存储器中表示为物理量(例如电子)的数据处理和/或转换为类似表示为计算系统的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。
以类似的方式，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或存储器的一部分。作为非限制性示例，“处理器”可以是能够进行通用处理的任何处理器，例如CPU、GPU或DPU。作为非限制性示例，“处理器”可以是任何微控制器或专用处理单元，例如DSP、图像信号处理器(“ISP”)、算术逻辑单元(“ALU”)、视觉处理单元(“VPU”)、树遍历单元(“TTU”)、光线追踪核心、张量追踪核心、张量处理单元(“TPU”)、嵌入式控制单元(“ECU”)等。作为非限制性示例，“处理器”可以是硬件加速器，例如PVA(可编程视觉加速器)、DLA(深度学习加速器)等。作为非限制性示例，“处理器”还可以包括托管在执行一个或更多个虚拟机的底层硬件组件上的CPU、GPU等的一个或更多个虚拟实例。“计算平台”可以包括一个或更多个处理器。如本文所使用的，“软件”进程可以包括例如随时间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每个过程可以指代多个过程，以连续地或间歇地顺序地或并行地执行指令。术语“系统”和“方法”在本文中可以互换使用，只要系统可以体现一种或更多种方法，并且方法可以被认为是系统。
在本文件中，可以参考获得、获取、接收或将模拟或数字数据输入子系统、计算机系统或计算机实现的机器中。可以通过多种方式来获得、获取、接收或输入模拟和数字数据，例如通过接收作为函数调用或对应用程序编程接口的调用的参数的数据。在一些实现方式中，可以通过经由串行或并行接口传输数据来完成获得、获取、接收或输入模拟或数字数据的过程。在另一实现方式中，可以通过经由计算机网络将数据从提供实体传输到获取实体来完成获得、获取、接收或输入模拟或数字数据的过程。也可以参考提供、输出、传送、发送或呈现模拟或数字数据。在各种示例中，提供、输出、传送、发送或呈现模拟或数字数据的过程可以通过将数据作为函数调用的输入或输出参数、应用程序编程接口或进程间通信机制的参数进行传输来实现。
尽管上面的讨论阐述了所描述的技术的示例实现，但是其他架构可以用于实现所描述的功能，并且旨在落入本公开的范围内。此外，尽管出于讨论的目的在上面定义了具体的职责分配，但是根据情况，可以以不同的方式分配和划分各种功能和职责。
此外，尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书所要求保护的主题不必限于所描述的特定特征或动作。而是，公开了特定的特征和动作作为实现权利要求的示例性形式。

Claims (20)

1.一种处理器，包括：
一个或更多个处理单元，用于：
接收对交互环境的查询；
确定所述查询的分类对应于基于信息的查询；
从所述查询中提取文本序列；
至少部分基于所述文本序列确定对所述查询的响应；以及
提供对所述查询的响应。
2.根据权利要求1所述的处理器，其中，所述响应在非结构化文本内被识别。
3.根据权利要求1所述的处理器，其中，所述一个或更多个处理单元进一步用于：
使用经训练的生成性神经网络模型接收所述响应；以及
使用所述经训练的生成性神经网络模型至少部分地基于所述响应和所述查询的提取部分生成答案。
4.根据权利要求3所述的处理器，其中，所述一个或更多个处理单元进一步用于：
接收信息性陈述；以及
将所述信息性陈述存储为自然语言陈述。
5.根据权利要求4所述的处理器，其中，所述一个或更多个处理单元进一步用于：
接收对所述交互环境的第二查询；
确定所述第二查询的分类是第二基于信息的查询；
确定所述第二查询与所述信息性陈述相关联；以及
至少部分基于所述信息性陈述执行一个或更多个任务。
6.根据权利要求1所述的处理器，其中，所述一个或更多个处理单元还用于响应于查询至少部分地基于所述响应来执行任务。
7.根据权利要求1所述的处理器，其中，所述一个或更多个处理单元进一步用于：
确定与所述响应相关联的标识符；以及
至少部分地基于所述标识符使得执行一个或更多个动作。
8.根据权利要求1所述的处理器，其中，所述一个或更多个处理单元进一步用于执行抽取式问答模型，并且其中所述一个或更多个处理单元使用抽取式问答模型来确定对所述查询的所述响应。
9.根据权利要求1所述的处理器，其中，所述查询是听觉输入、文本输入或可选择输入中的至少一种。
10.一种方法，包括：
将多个事实作为非结构化纯文本存储在数据集中；
接收与交互环境的参数相关联的用户查询；
从所述用户查询中提取文本序列；
在所述数据集中确定与所述文本序列相关联的一个或更多个选定事实；以及
至少部分地基于所述一个或更多个选定事实来生成响应。
11.根据权利要求10所述的方法，其中，所述文本序列被提取并且所述一个或更多个选定事实是使用经训练的抽取式问答模型来确定的。
12.根据权利要求10所述的方法，其中，所述响应是至少部分地基于生成性神经网络模型的输出的自然语言响应。
13.根据权利要求10所述的方法，还包括：
接收信息性输入；以及
将所述信息性输入以自然语言格式存储在所述数据集中。
14.根据权利要求13所述的方法，还包括：
接收第二用户查询；
确定所述第二用户查询的分类；
至少部分基于所述分类检索所述信息性输入的一个或更多个部分；以及
至少部分地基于所述一个或更多个部分执行一个或更多个任务。
15.根据权利要求10所述的方法，还包括：
确定与所述文本序列相关联的一个或更多个调用，所述一个或更多个调用对应于动作；以及
至少部分地基于所述响应使得执行所述动作。
16.一种计算机实现的方法，包括：
接收来自用户的信息输入；
将所述信息输入存储为自然语言；
接收用户查询以执行任务；
确定所述用户查询的分类；
从所述用户查询中提取与所述任务相关联的段；
至少部分地基于所述段来检索所述信息输入的至少一部分；以及
至少部分基于所述信息输入来执行所述任务。
17.根据权利要求16所述的计算机实现的方法，还包括：
确定与所述信息输入相关联的一个或更多个动作；以及
为所述信息输入指派一个或更多个标签。
18.根据权利要求16所述的计算机实现的方法，其中，抽取式问答模型确定所述信息输入的部分。
19.根据权利要求16所述的计算机实现的方法，其中，所述信息输入被添加到非结构化数据集。
20.根据权利要求16所述的计算机实现的方法，
将所述至少一部分接收到经训练的生成性神经网络模型；
生成与所述至少一部分相关联的听觉指示符。
CN202210849348.2A 2021-11-08 2022-07-19 对话式人工智能应用中的非结构化数据存储和检索 Pending CN116089574A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/521,232 US20230147096A1 (en) 2021-11-08 2021-11-08 Unstructured data storage and retrieval in conversational artificial intelligence applications
US17/521,232 2021-11-08

Publications (1)

Publication Number Publication Date
CN116089574A true CN116089574A (zh) 2023-05-09

Family

ID=86053043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210849348.2A Pending CN116089574A (zh) 2021-11-08 2022-07-19 对话式人工智能应用中的非结构化数据存储和检索

Country Status (4)

Country Link
US (1) US20230147096A1 (zh)
JP (1) JP2023070002A (zh)
CN (1) CN116089574A (zh)
DE (1) DE102022126287A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230350928A1 (en) * 2022-04-28 2023-11-02 Knowbl LLC Systems and methods for implementing a virtual agent performing context and query transformations using unsupervised machine learning models

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10388274B1 (en) * 2016-03-31 2019-08-20 Amazon Technologies, Inc. Confidence checking for speech processing and query answering
US20210065018A1 (en) * 2019-08-27 2021-03-04 Intuit Inc. Smart Question and Answer Optimizer
WO2021195130A1 (en) * 2020-03-23 2021-09-30 Sorcero, Inc. Cross-context natural language model generation
US11775839B2 (en) * 2020-06-10 2023-10-03 International Business Machines Corporation Frequently asked questions and document retrieval using bidirectional encoder representations from transformers (BERT) model trained on generated paraphrases
US11526509B2 (en) * 2020-12-31 2022-12-13 International Business Machines Corporation Increasing pertinence of search results within a complex knowledge base
GB2603464A (en) * 2021-01-27 2022-08-10 Legal Utopia Ltd System and method for classification of unstructured text data
US11907273B2 (en) * 2021-06-18 2024-02-20 International Business Machines Corporation Augmenting user responses to queries

Also Published As

Publication number Publication date
DE102022126287A1 (de) 2023-05-11
US20230147096A1 (en) 2023-05-11
JP2023070002A (ja) 2023-05-18

Similar Documents

Publication Publication Date Title
US11769481B2 (en) Unsupervised alignment for text to speech synthesis using neural networks
US11113473B2 (en) Interpreting expressions having potentially ambiguous meanings in different domains
US12013844B2 (en) Concurrent hash map updates
CN117217190A (zh) 使用从结构化数据库中提取的自然语言表达来预训练语言模型
US20220309389A1 (en) Evaluating on-device machine learning model(s) based on performance measures of client device(s) and/or the on-device machine learning model(s)
US20240095463A1 (en) Natural language processing applications using large language models
CN115729347A (zh) 用于人机接口应用中内容识别的多模态传感器融合
CN115202664A (zh) 云计算环境中的编译的着色器程序的高速缓存
CN116089574A (zh) 对话式人工智能应用中的非结构化数据存储和检索
CN116127022A (zh) 在交互环境中使用神经网络识别用户意图和相关实体
US20230316000A1 (en) Generation of conversational responses using neural networks
US20240112021A1 (en) Automatic speech recognition with multi-frame blank decoding using neural networks for conversational ai systems and applications
US20240071366A1 (en) Text normalization and inverse text normalization using weighted finite-state transducers and neural language models
CN116976449A (zh) 使用由通用模型生成的训练数据的特定任务机器学习操作
US20240037792A1 (en) Determining optical center in an image
US20230298257A1 (en) Visibility-based environment importance sampling for light transport simulation systems and applications
US20230376849A1 (en) Estimating optimal training data set sizes for machine learning model systems and applications
US20240184991A1 (en) Generating variational dialogue responses from structured data for conversational ai systems and applications
US20240045662A1 (en) Software code verification using call graphs for autonomous systems and applications
US20240303203A1 (en) Cache management using eviction priority based on memory reuse
US20240095895A1 (en) Component analysis from multiple modalities in an interaction environment
US20240095083A1 (en) Parallel workload scheduling based on workload data coherence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination