CN110431566B - 基于概率的引导器 - Google Patents

基于概率的引导器 Download PDF

Info

Publication number
CN110431566B
CN110431566B CN201880018349.4A CN201880018349A CN110431566B CN 110431566 B CN110431566 B CN 110431566B CN 201880018349 A CN201880018349 A CN 201880018349A CN 110431566 B CN110431566 B CN 110431566B
Authority
CN
China
Prior art keywords
neural network
recurrent neural
natural language
model
language sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880018349.4A
Other languages
English (en)
Other versions
CN110431566A (zh
Inventor
A·R·约翰森
B·麦卡恩
J·布拉德伯里
R·佐赫尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuo Power Co
Original Assignee
Shuo Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuo Power Co filed Critical Shuo Power Co
Publication of CN110431566A publication Critical patent/CN110431566A/zh
Application granted granted Critical
Publication of CN110431566B publication Critical patent/CN110431566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

所公开的技术提出使用计算上便宜、不太精确的词袋(BoW)模型和计算上昂贵、更精确的长短期记忆(LSTM)模型的组合来执行自然处理任务(诸如情绪分析)。使用便宜的、不太精确的BoW模型在本文中称为“略读”。使用昂贵的、更精确的LSTM模型在本文中称为“阅读”。所公开的技术提出了基于概率的引导器(PBG)。PBG结合了BoW模型和LSTM模型的使用。PBG使用概率阈值策略来基于BoW模型的结果确定是否调用LSTM模型以将句子可靠地分类为积极或消极。所公开的技术还提出了基于深度神经网络的决策网络(DDN)，其被训练以学习BoW模型和LSTM模型之间的关系并且仅调用两个模型中的一个。

Description

基于概率的引导器
相关申请的交叉引用
本申请要求2017年12月22日提交的美国实用专利申请No.15/853,530和2017年3月15日提交的美国临时申请No.62/471,934的优先权，其内容通过引用全部并入本文用于所有目的。
本申请通过引用将2017年12月22日提交的美国实用专利申请No.15/853,570全部用于所有目的。
技术领域
所公开的技术涉及人工智能型计算机和数字数据处理系统以及用于仿真智能的相应数据处理方法和产品(即，基于知识的系统、推理系统和知识获取系统)；并包括用于具有不确定性推理的系统(例如，模糊逻辑系统)、自适应系统、机器学习系统和人工神经网络。所公开的技术使用深度神经网络(诸如长短期记忆(LSTM)网络)来进行自然语言处理任务。
背景技术
本节中讨论的主题不应仅仅因为在本节中提及而被认为是现有技术。类似地，不应假定本节中提到的或与作为背景提供的主题相关的问题先前已在现有技术中被认识到。本节中的主题仅表示不同的方法，这些方法本身也可以对应于所要求保护的技术的实现。
自然语言处理(NLP)中最近的深度学习进展一直集中于一个目标-无论计算成本如何，都具备最先进的性能。我们提出了一种基于深度学习的解决方案，可以降低计算成本，同时保持深度神经网络提供的高精度。通过让快速基线模型决定哪个句子容易或困难，我们展示了一个便宜的分类器(例如词袋)，学习如何将简单句子与难句分开。我们的结果发现，阈值概率(在分类期间作为副产品产生)优于不具有准确性与时间节省度量的引导策略。
深度学习模型越来越大，越来越好，越来越昂贵，在全有或全无的追求中达到超人的表现。在自然语言处理(NLP)中，通常新增加的基础是他们的新颖的最先进的设计在一个相对狭窄的扩展，其很好地解决了复杂的语言任务。这包括合并语义知识，减少字典大小，甚至增加字典大小。直观地说，有意义的是，这样的增加只会将新系统发挥到具有增加所征服的特定挑战的那些数据点。然而，通常情况并非如此，因为深度学习算法主要是以不变量为基准的，该不变量对给定数据点及其困难是不注意的。此外，随着对更深意味着更好的理解的增加，当前最先进的系统可能过多并且浪费计算以确保在大多数场景下可能不相关的语言区域中的窄的准确度改进。例如，图3示出了便宜模型如何在训练用于情绪分析(例如，使用反向传播)时对句子进行群集。在图3中，标记了一些群集以显示某些数据点比其他数据点更容易，并且监督学习可以揭示某些语言属性的群集。
所公开的技术提出了两种不同的方法，用于理解句子何时易于分类以及何时难以分类。所公开的技术应用便宜的词袋(略读)或昂贵的LSTM(阅读)来基于方法的决定对句子进行分类。第一种方法使用词袋系统的概率输出作为置信度量。第二种方法构建决策神经网络，以了解何时词袋可能正确与何时LSTM可能正确之间的关系。
我们的方法都优于没有引导式基线策略，并且可以为工程团队节省大量计算资源。
附图说明
该专利或申请文件包含至少一幅彩色附图。具有彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用后由主管局提供。也可以通过补充内容选项卡在PAIR获得彩色附图。
在附图中，相同的附图标记在不同视图中通常指代相同的部分。而且，附图不一定按比例绘制，而是通常将重点放在说明所公开的技术的原理上。在以下描述中，参考以下附图描述所公开的技术的各种实现，其中：
图1示出了系统的架构级示意图，其中基于概率的引导器自动选择用于执行机器分类任务的机器学习模型。在一个实现中，机器分类任务可以是句子的情绪分类。情绪分类任务可以包括将句子分类为具有积极或消极情绪。在其他实现中，情绪分类任务可以包括将句子分类为具有非常积极的、有些积极的、中立的、非常消极的或有些消极的情绪。在其他实现中，可以使用附加的、更少的或不同的类别标签。在进一步的实现中，可以执行其他机器分类任务，诸如语音识别、机器翻译、文本摘要、问题回答、图像字幕和文本到语音(TTS)合成。
图2A是示出使用图1的基于概率的引导器对输入句子进行分类的处理步骤的流程图。
图2B是示出情绪分类任务的处理步骤的流程图。
图3是使用来自示例数据库的输入句子上的词袋(缩写为BoW)模型的情绪分类结果的图形说明。
图4是BoW模型的示例架构。
图5是长短期记忆(缩写为LSTM)模型的示例架构。
图6A是使用BoW模型对来自示例数据库的输入句子的情绪预测结果的图形说明。
图6B示出了指派给图6A的BoW模型的输出层中的预测情绪类别的概率。
图7A是使用LSTM模型对来自示例数据库的输入句子的情绪预测结果的图形说明。
图7B示出了指派给图7A的LSTM模型的输出层中的预测情绪类别的概率。
图8A是示出各种概率间隔中图6A的BoW模型的预测精度的图表。
图8B是示出BoW模型的每阈值仓的数据量的图表。
图8C是类似于图8A的图表，其示出了图7A的LSTM模型的预测精度。
图8D是示出LSTM模型的每阈值仓的数据量的图表。
图9示出了系统的架构级示意图，其中决策网络用于选择用于执行机器分类任务的机器学习模型。在一个实现中，机器分类任务可以是句子的情绪分类。情绪分类任务可以包括将句子分类为具有积极或消极情绪。在其他实现中，情绪分类任务可以包括将句子分类为具有非常积极的、有些积极的、中立的、非常消极的或有些消极的情绪。在其他实现中，可以使用附加的、更少的或不同的类别标签。在进一步的实现中，其他机器分类任务可以用于训练，例如语音识别、机器翻译、文本摘要、问题回答、图像字幕和文本到语音(TTS)合成。
图10示出了图9的系统的分离器的操作，以创建训练数据库和验证数据库。
图11示出了使用由图10中所示的分离器生成的训练数据库对候选神经网络模型的训练。
图12示出了使用由图10中所示的由分离器生成的验证数据对训练的神经网络模型的测试。
图13示出了图9中系统的标签变换器的操作，其使用混淆矩阵通过使新模型类别标签替换任务类别标签来生成验证数据。
图14示出了对图9的决策网络的训练，其使用具有新的模型类别标签的验证数据。
图15示出了图9的决策网络的示例架构。
图16是示出使用图9的决策网络进行模型选择的过程步骤的流程图。
图17是可用于实现图1和图9的机器学习系统的计算机系统的简化框图。
具体实现
呈现以下讨论以使得本领域技术人员能够进行和使用所公开的技术，并且在特定应用及其要求的上下文中提供以下讨论。对于本领域技术人员来说，对所公开的实现的各种修改是显而易见的，并且在不脱离所公开的技术的精神和范围的情况下，本文定义的一般原理可以应用于其他实现和应用。因此，所公开的技术不旨在限于所示的实现，而是与符合本文公开的原理和特征的最宽范围相一致。
介绍
所公开的技术要解决的技术问题是如何在基于深度神经网络的自然语言处理任务中引入计算效率，同时保持现代深度神经网络提供的准确性。
为此，所公开的技术提出使用计算上便宜的、不太精确的词袋(BoW)模型和计算上昂贵的、更精确的长短期记忆(LSTM)模型的组合来执行自然处理任务，例如情绪分析。使用便宜的、不太精确的BoW模型在本文中称为“略读”。使用昂贵的、更精确的LSTM模型在本文中称为“阅读”。
所公开的技术提出了基于概率的引导器(PBG)。PBG结合了BoW模型和LSTM模型的使用。PBG使用概率阈值策略来基于BoW模型的结果确定是否调用LSTM模型以将句子可靠地分类为积极或消极。PBG使用BoW模型的概率输出作为置信度量，并且随后仅在BoW模型的概率输出低于设定阈值时才调用LSTM模型。
所公开的技术还提出了一种基于深度神经网络的决策网络(DDN)，其被训练以学习BoW模型和LSTM模型之间的关系(例如，使用反向传播)并且仅调用两个模型中的一个。换句话说，对于特定输入，DDN从预训练模型的集合中选择正确的模型，其中选择以最小化计算成本和最大化和/或保持分类准确性为条件。在一个实现中，DDN包括堆叠在BoW模型顶部的双层多层感知器(MLP)，具有循环的丢失(dropout)层、ReLU非线性和全连接层。
与PBG不同，DDN是可以训练的基于神经网络的模型(例如，使用反向传播)。PBG总是必须使用BoW模型，并且经常使用BoW和LSTM模型。相比之下，DDN可能决定跳过BoW模型并仅使用LSTM模型或仅停留在BoW模型，因为它知道LSTM模型不太可能产生更好的结果。
任何基于神经网络的模型都只能如同可用于训练它的数据一样好。拥有大型训练集可防止模型过度拟合。为此，所公开的技术使用BoW和LSTM模型来自动生成标记的训练示例，其中基于混淆矩阵来指派标签。然后，DDN在二级监督分类任务上进行训练，该任务选择用于对给定句子进行分类的正确模型。混淆矩阵标识两个模型正确地和错误地将句子分类为积极或消极的频率。然后在自动标记的句子上训练DDN。
然后，所公开的技术从原始的完整训练集创建了一个新的保持分离。完整训练集包括模型训练集(例如，80％的训练数据)和决策训练集(剩余20％的训练数据)。首先，在模型训练集上训练BoW和LSTM模型以生成DDN的标签(例如，使用反向传播)。然后在决策训练集上训练DDN(例如，使用反向传播)。最后，在整个训练集中对BoW和LSTM模型进行微调，同时保持DDN固定。这有助于DDN通用化为在完整训练集上进行微调的模型。
系统概述-基于概率的引导器
我们描述了输入句子的情绪分类系统。参考图1描述系统和过程，示出了根据实现的系统的架构级示意图。因为图1是架构图，所以有意省略某些细节以提高描述的清晰度。
图1的讨论组织如下。首先，描述该图的元件，然后是它们的互连。然后，更详细地描述系统中元件的使用。
图1包括系统100。系统100包括机器学习系统110、一个或更多个网络120、训练数据库142、验证数据库144和基于概率的引导器132。在其他实现中，系统100还包括具有测试数据的测试数据库，其用于在推理(生产或测试)期间测试机器学习系统110。
机器学习系统110包括词袋(缩写为BoW)模型112和递归神经网络(缩写为RNN)模型114。训练数据库142和验证数据库144包含情绪分析数据，诸如每个句子具有积极和消极情绪标签的自然语言句子。在一个实现中，训练数据库142和验证数据库144包含英语句子和每个句子的积极或消极情绪标签。BoW112和RNN114分别对每次来自训练数据库142或验证数据库144的一个句子执行情绪分类任务。BoW112和RNN 114二者都可以运行各种硬件处理器，诸如一个或更多个图形处理器单元(GPU)。基于神经网络的模型涉及计算密集型方法。GPU非常适合这些类型的计算。最近，正在开发专用硬件以有效地训练神经网络模型。
递归神经网络(RNN)(诸如RNN 114)处理可变长度序列输入。它使用循环隐藏状态，其激活依赖于前一个的激活。更正式地，给定输入序列x＝(x1,x2,...,xT),，RNN更新隐藏的矢量序列h＝(h1,h2,...,hT)并从t＝1至T中输出矢量序列y＝(y1,y2,...,yT)如下：
ht＝Η(Wxhxt+Whhht-1+bh)
yt＝Whyht+by)
在上面的数学公式中，W表示权重矩阵，b表示偏置矢量，并且Η为循环隐藏层函数。
长短期记忆(LSTM)(诸如LSTM模型244)是RNN114的强大变体。LSTM是神经网络中的一个单元，在时间步长中重复执行以从顺序输入产生顺序输出。输出通常被称为隐藏状态，不应与单元的存储器混淆。输入是来自先前时间步长和当前输入的隐藏状态和存储器。该单元具有输入激活功能、存储器和门。输入激活功能将输入映射到范围，诸如-1到1，用于tanh激活功能。门确定应用于更新存储器并从存储器生成隐藏状态输出结果的权重。门是忘记门、输入门和输出门。忘记门会减弱存储器。输入门将激活的输入与衰减的存储器混合。输出门控制存储器的隐藏状态输出。隐藏状态输出可以直接标记输入，或者可以由另一个组件处理以发出单词或其他标签或在生成标签的概率分布。
输入门控制当前输入xt和先前隐藏状态ht-1的多少进入当前存储器单元状态mt，并表示为：
it＝σ(Wxixt+Whiht-1+bi)
＝σ(linearxi(xt)+linearhi(ht-1))
遗忘门对当前存储器单元状态mt和先前存储器单元状态mt-1进行操作，并决定是否擦除(设置为零)或保持存储器单元的各个组件，并表示为：
ft＝σ(Wxfxt+Whfht-1+bf)
输出门缩放来自存储器单元的输出，表示为：
ot＝σ(Wxoxt+Whoht-1+bo)
LSTM还可以包括当前隐藏状态生成器，其输出通过当前存储器单元状态mt的tanh(压扁)变换缩放的当前隐藏状态ht，并且表示为：
ht＝ot⊙tanh(mt)
在上面的等式中，⊙表示逐元素的乘积。
词袋(BoW)模型，诸如BoW112，确定跨每个特征维度的句子的输入单词的均值。在一个实现中，BoW模型确定字嵌入的平均值或均值(例如，GloVe或word2vec)。采用均值可以是便宜的操作并且可以将句子的维度减少到固定大小的矢量。BoW模型或其变体的一些示例包括连续词袋(CBoW)模型和skip-gram模型，由Tomas Mikolov、Kai Chen、Greg Corrado和Jeffrey Dean提出，2013a，“对矢量空间中词表示的有效估计(Efficient Estimationof Word Representations in Vector Space)”，在ICLR研讨会论文；Tomas Mikolov、IlyaSutskever、Kai Chen、Greg Corrado和Jeffrey Dean，2013b，“单词和短语的分布式表示及其组合性(Distributed representations of words and phrases and theircompositionality)”，在NIPS中，第3111-3119页；以及Tomas Mikolov、Wen tau Yih和Geoffrey Zweig，2013c，“连续空间词表示中的语言规律(Linguistic regularities incontinuous space word representations)，在HLTNAACL中，出于所有目的通过引用并入，如同在本文中完全阐述一样。CBoW模型从句子上下文中预测单词。skip-gram模型从单词预测句子上下文。
在训练BoW112和RNN114期间，网络从训练数据库142接收输入句子并对其进行处理以执行情绪分类任务。在验证期间，BoW112和RNN114从验证数据库144接收输入句子并对其进行处理以执行情绪分类任务。机器学习系统110、训练数据库142、验证数据库144和基于概率的引导器132经由一个或更多个网络120彼此通信。
在其他实现中，基于概率的引导器132可以与其他机器分类任务一起使用，例如语音识别、机器翻译、文本摘要、问题回答、图像字幕和文本到语音(TTS)合成。
已经呈现了系统100的高级描述，现在讨论转向系统100的各种组件的详细描述。
过程流程
图2A是示出用于情绪分类任务的输入句子的处理的流程图200A。当给出句子作为BoW模型112的输入时，该过程开始于步骤210。在步骤212，BoW模型112评估输入句子并产生置信度分数，该置信度分数指定句子的情绪为积极或消极的可能性。在一个实现中，置信度分数的值是0和1之间的实数值，并且可以预设(例如，0.5)。在该实现中，置信度分数值小于0.5意味着输入句子属于第一情绪类别，置信度分数大于0.5意味着该句子属于第二情绪类别。置信度分数值接近0.5，即0.49或0.51意味着BoW模型112对输入句子的情绪不是很肯定是积极还是消极。距离0.5更远的置信度分数值，即1或0.9表明BoW模型对句子的情绪是积极还是消极非常有信心。
在步骤214，由基于概率的导向器132针对设定阈值(例如，0.5)检查由BoW模型112生成的置信度分数的值。在一个实现中，阈值是单个值。例如，对于0和1之间的置信度分数值(如上所示)，对于第一情绪类别可以将阈值设置为0.4，对于第二情绪类别可以设置为0.6。在这样的实现中，如果由BoW模型112生成的置信度分数低于0.4，则基于概率的引导器认为这是第一情绪类别中句子的确信分类。同样，置信度分数高于0.6表明BoW模型112对第二情绪类别中的输入句子进行分类有信心。应当理解，可以基于用户偏好和要求来选择阈值的不同值。
基于概率的引导器将BoW模型112产生的置信度分数与设定阈值进行比较。如果基于比较置信度分数高于阈值，则在步骤216接受通过BoW模式的句子的情绪分类。否则，如果基于比较置信度分数低于阈值，则在步骤218该判定作为到RNN模型114的输入。然后，RNN模型114将句子的情绪分类为积极或消极。在步骤220接受由RNN模型114产生的情绪分类。在步骤222，系统检查是否存在用于情绪分类的更多输入句子。如果这是真的，那么在212处将下一个句子作为BoW模式的输入给出并且重复该过程。当没有用于情绪分类的其他输入句子时，该过程在步骤224结束。
图2B是示出句子情绪分类任务的过程流程200B。情绪分类任务可以包括将句子分类为具有积极或消极情绪。在其他实现中，情绪分类任务可以包括将句子分类为具有非常积极的、有些积极的、中立的、非常消极的或有些消极的情绪。
句子230被给出作为基于神经网络的第一自然语言处理(NLP)模型(诸如BoW模型112)的输入。在步骤236，BoW模型112生成词袋情绪分类概率“α”(读作alpha)。基于概率的导向器132将“α”的值与设定阈值“τ”(读作tau)进行比较，以确定输入句子是否需要通过基于神经网络的第二NLP模型(诸如LSTM 244)进行补充评估，其比第一NLP模型更精确且计算更昂贵。如果“α”的值大于阈值“τ”的值(步骤238)，则接受BoW模型112对输入句子230的情绪分类(步骤400)。
如果分类概率“α”的值小于阈值“τ”的值(步骤242)，则输入句子230被发送到用于情绪分类任务的长短期记忆(LSTM)模型244。然后LSTM244生成在步骤246接受的句子的情绪分类。
图3示出了BoW模型的内部结构300，其将句子分类为积极或消极。探索深度学习模型的一种方法是绘制每个句子在隐藏层中的表示方式。然而，由于隐藏层通常是高维的，因此使用算法(诸如t分布随机邻域嵌入(T-SNE))来将维度降低到二维(2D)以允许人工检查。T-SNE是用于降维的机器学习算法，并且允许将高维数据可视化为二维或三维空间。
图3是来自BoW模型112顶部的双层多层感知器(MLP)的最后隐藏层的可视化。图3中的包围盒提供了一些重要的见解。现实世界的数据存在不同程度的困难；一些句子很容易分类，而其他句子包含复杂的语义结构。语言复杂的句子同时出现了消极和积极的成分。另外，语言复杂的句子可以具有多个否定词和对比连词的实例。计算上较便宜的模型(诸如BoW模型112)可以可靠地对语言上简单的句子进行分类。然而，较便宜的模型在语言复杂的句子上产生较低的置信度分类分数。相反，对于语言上简单的句子，计算上较便宜的模型(诸如BoW模型112)可以生成确信的分类分数，并且因此不需要诸如LSTM 244的计算上昂贵的模型。
模型架构
图4是BoW模型112的架构400。底部框中的单词嵌入用GloVe(用于单词表示的全局矢量)初始化。其他单词嵌入模型(诸如Word2Vec)也可用于生成单词嵌入。然后计算单词的平均值(词袋)和具有丢失的两层MLP。顶部的输出层是分类器，其针对输入句子生成积极或消极情绪分类。这仅是架构400的一种实现。在其他实现中，可以在此使用任何其他传统或未来开发的BoW架构。在不脱离所公开的技术的精神和范围的情况下，这些实现对于本领域技术人员来说是显而易见的。
图5是LSTM模型244的架构500。底部框中的单词嵌入用如上所述的GloVe初始化。不通过单词嵌入来跟踪梯度。双向RNN与LSTM小区一起使用，以与BoW模型类似的方式进行。RNN的隐藏状态用于提取平均值和最大值。接下来是具有丢失的两层MLP。最后，输出层将输入句子的情绪分类为积极或消极。这仅是架构500的一种实现。在其他实现中，可以在此使用任何其他传统或未来开发的RNN或LSTM架构。在不脱离所公开的技术的精神和范围的情况下，这些实现对于本领域技术人员来说是显而易见的。
验证结果
以下附图示出了BoW模型112和RNN模型114在验证数据库144上的性能。
图6A是BoW模型112中的最后隐藏层的T-SNE绘图600A。绘图600A中的每个数据点是句子。数据点是彩色的。数据点的中心表示BoW模型112的预测。蓝色意味着句子表示积极情绪，红色指示句子表示消极情绪。中心周围线条的颜色指示句子的实际情绪标签。这允许检查何时BoW模型112正确地预测了句子的情绪以及何时错误。
具有红色中心和红色边框的数据点表示真正的消极，意味着该模型正确预测了消极情绪句子。具有红色中心和蓝色边框的数据点是假消极，意味着该模型错误地将积极情绪句子预测为消极情绪句子。具有蓝色中心和蓝色边框的数据点指示真正积极，意味着模型正确预测了积极情绪。具有蓝色中心和红色边框的数据点表示假积极，意味着模型错误地将消极情绪句子预测为积极情绪句子。
对绘图600A的分析表明，句子根据其语言复杂性而分成群集。一些群集位于简单的流形上，其由BoW模型112以高置信度分数预测。其他群集更分散并且被BoW模型112指派低置信度分数。对句子结构的进一步分析指示具有积极和消极成分的句子难以由BoW模型112准确预测。
图6B示出了指派给BoW模型112的输出层中的预测分类的概率的绘图600B。深蓝色数据点指示模型在句子情绪预测中的高置信度，而浅色数据点指示模型在句子情绪预测中的置信度较低。
图7A和图7B是LSTM模型244的验证结果。图7A是绘图700A并且类似于绘图600A。我们观察到LSTM模型244的绘图700A具有相对较少的具有低置信度的数据点。LSTM模型244以较高的置信度对包含积极和消极情绪的句子进行分类。图7B中的绘图700B示出了LSTM模型244正确地对大多数句子(表示为数据点)进行分类。深蓝色点指示非常确信的分类。相对较少的句子颜色浅，指示模型的置信度较低。
概率策略
训练BoW模型112和LSTM模型244(例如，使用反向传播)以给出每个类别的概率(例如，积极情绪和消极情绪)，其指示模型预测的置信度。对于二进制分类，在一个实现中，概率必须大于0.5，否则，预测是针对另一个情绪类别。例如，如果BoW模型112返回1，则意味着它对其预测非常有信心。阈值转换(Thresholding)意味着由模型比较预测概率并评估是否使用它。例如，阈值为0.7意味着可以接受概率为0.7或更高的所有句子的情绪分类。分析模型结果的另一种方法是查看间隔，诸如正确预测在0.5到0.55的间隔内的句子。这显示了模型的预测在该置信区间内的准确度。
图8A是示出在0.5和1之间的各种概率间隔中的BoW模型112的预测准确度的绘图800A。绘图800A示出增加概率阈值增加了模型的性能。图8C是LSTM模型244的类似绘图800C。从LSTM绘图800C可以看出，增加概率阈值不会增加模型的性能。这是因为LSTM模型244可以过度拟合训练数据并且仅提供确信的答案。
使用概率阈值，所公开的技术创建“概率策略”。输出概率给出了句子何时容易以及何时需要来自计算上昂贵的模型(如LSTM模型244)的引导的指示。阈值被应用于BoW模型112的概率。LSTM模型244应用于情绪分类概率小于设定阈值的所有句子。因此，BoW模型112用于语言上容易的句子，并且LSTM模型244用于语言复杂的句子。
图8B和图8D分别是数据量绘图800B和800D。这两个绘图上的条形高度显示了两个阈值内的数据量，而顶部的线条是来自每个阈值区间的累积数据。
系统概述-基于深度神经网络的决策网络
我们描述了一种用于基于深度神经网络的决策网络的系统，用于在逐个输入的基础上选择基于神经网络的模型(也称为基于神经网络的分类器)以执行机器分类任务。基于神经网络的模型选自基于候选神经网络的模型(也称为基于神经网络的分类器)池。参考图9描述系统和过程，示出了根据实现的系统的架构级示意图。因为图9是架构图，所以有意省略某些细节以提高描述的清晰度。
图9的讨论的结构如下。首先，描述该图的元件，然后是它们的互连。然后，更详细地描述系统中元件的使用。
图9包括系统900。系统900包括机器学习系统905、网络120、训练数据库142、验证数据库144、分离器910、标签变换器920和模型选择器930。机器学习系统905包括决策网络902、词袋(缩写为BoW)模型112和递归神经网络(缩写为RNN)模型114。训练数据库142和验证数据库144包含情绪分析数据，诸如每个句子具有积极和消极情绪标签的自然语言句子。在其他实现中，系统100还包括具有测试数据的测试数据库，用于在推理(生产或测试)期间测试机器学习系统905。
决策网络902是基于神经网络的分类器，其输出概率以选择BoW模型112或RNN模型114以对输入句子执行情绪分类任务。机器学习系统905、训练数据库142、验证数据库144和分离器910、标签变换器920和模型选择器930经由一个或更多个网络120彼此通信。在呈现系统900的高级描述之后，现在讨论转向系统900的各种组件的详细描述。
数据准备
图10示出了分离器910的操作1000以创建训练数据库1030和验证数据库1040。训练数据库1030和验证数据库1040可以是单个训练数据库142的一部分。在一个实现中，分离器910通过将来自训练数据库142的80％的数据指派给训练数据库1030和将来自训练数据库142的20％的训练数据指派给验证数据库1040创建训练数据库1030和验证数据库1040。在其他实现中，分离器910可以以与上述不同的比例向训练数据库1030和验证数据库1040分配数据。
模型训练与推理-情绪分析任务
图11示出了在神经网络模型的候选池中基于神经网络的模型的训练1100，以使用训练集来执行分类任务。在一个实现中，分类任务可以是句子的情绪分类。情绪分类任务可以包括将句子分类为具有积极或消极情绪。在其他实现中，情绪分类任务可以包括将句子分类为具有非常积极的、有些积极的、中立的、非常消极的或有些消极的情绪。在其他实现中，可以使用附加的、更少的或不同的类别标签。在进一步的实现中，其他分类任务可以用于训练，例如语音识别、机器翻译、文本摘要、问题回答、图像字幕和文本到语音(TTS)合成。
训练数据库1030包含具有情绪标签的句子，其用于分别训练LSTM模型244和BoW模型112。在一个实现中，使用训练数据库1030分别训练LSTM模型244和BoW模型112，所述训练数据库1030包含来自训练数据库142的80％的训练数据(例如，使用反向传播)。在机器分类任务上训练模型(例如，使用反向传播)。在一个实现中，机器分类任务是情绪分类，输入是句子。训练数据1030中的每个输入句子可以具有指示该句子是否具有积极情绪或消极情绪的任务标签。在一个实现中，所得到的训练模型在本文中被称为LSTM80％1110和BoW80％1120，因为它们在80％的训练数据上被训练。
训练模型LSTM80％1110和BoW80％1120分别用验证数据1040进行测试。验证数据1040包含来自训练数据库142的一部分数据，其不用于训练和产生LSTM80％1110和BoW80％1120。在一个实现中，验证数据包含来自训练数据库142的20％的数据。如图12所示，训练模型LSTM80％1110和BoW80％1120为每个输入句子生成情绪类别标签1200。将每个输入句子的推断的情绪类别标签(积极或消极)1200与相应的地面真实情绪类别标签进行比较。
混淆矩阵
推断的情绪类别标签与地面真实情绪类别标签的比较结果用于生成1300“混淆矩阵”1310，如图13所示。混淆矩阵是用于准确评估分类模型的度量。对于C类的分类问题，混淆矩阵M是C×C矩阵，其中该矩阵中的元素Mij显示其实际类别标签为i的样本的百分比，但是它们使用神经网络分类器在类别j下分类。Mij显示正确分类的样品百分比。对于存在两类的二进制分类问题，混淆矩阵是2×2矩阵1310，如图13所示。
混淆矩阵1310的元素M111312示出了其实际标签为“真”并且在预测期间它们被正确分类为“真”的样本的百分比。元素M111312包含76％真积极(TP)样本。混淆矩阵1310的元素M121314示出了其实际标签为“真”但在预测期间它们被错误地分类为“假”的样本的百分比。元素M121314包含12％假消极(FN)样本。混淆矩阵1310的元素M211316示出了其实际标签为“假”但在预测期间它们被错误地分类为“真”的样本的百分比。元素M211316包含6％假积极(FP)样本。混淆矩阵1310的元素M221318示出了实际标签为“假”并且在预测期间它们被正确地分类为“假”的样本的百分比。元素M221318包含6％真消极(TN)样本。
根据一种实现，由训练模型LSTM80％1110和BoW80％1120在验证数据1040(图12)中生成的分类结果可以绘制在两个单独的混淆矩阵中。来自两个分类器LSTM80％1110和BoW80％1120的两个混淆矩阵的结果也可以组合在单个混淆矩阵1310中。由此产生的混淆矩阵1310标识：
·验证数据库1040中的输入由经训练的基于递归神经网络的分类器LSTM80％1110和经训练的基于非递归神经网络的分类器BoW80％1120(真积极，左上)准确地分类。这意味着LSTM和BoW模型在76％的时间都是正确的。
·验证数据库1040中的输入由经训练的基于递归神经网络的分类器LSTM80％1110和经训练的基于非递归神经网络的分类器BoW80％1120(真消极，底部)不准确地分类。这意味着LSTM和BoW模型在6％的时间均不正确。
·验证数据库1040中的输入由经训练的基于非递归神经网络的分类器BoW80％1120准确分类，但是由经训练的基于递归神经网络的分类器LSTM80％1110(假积极，左下)不准确地分类。这意味着，当LSTM模型不正确时，BoW模型在6％的时间是正确的。
·验证数据库1040中的输入由经训练的基于递归神经网络的分类器LSTM80％1110准确地分类，但由经训练的基于非递归神经网络的分类器BoW80％1120(假消极，右上)不准确地分类。这意味着，当BoW模型不正确时，LSTM模型在12％的时间是正确的。
标签变换器920将新标签指派给验证数据库1040中的输入并生成新的验证数据库1340。在一个实现中，标签变换器920将验证数据库1040中的输入分组到新验证数据库1340中的两个子集中。第一输入子集被指派以第一模型类别标签，其标识经训练的基于递归神经网络的分类器LSTM80％1110。第二输入子集被指派以第二模型类别标签，其标识经训练的基于非递归神经网络的分类器BoW80％1120。
验证数据1340中的第一输入子集包括由经训练的基于递归神经网络的分类器LSTM80％1110准确分类，但是由经训练的基于非递归神经网络的分类器BoW80％1120不准确分类的验证数据库1040中的输入。验证数据1340中的第二输入子集包括来自混淆矩阵1310的剩余三个类别中的验证数据库1040中的输入。这些输入包括：由经训练的基于递归神经网络的分类器LSTM80％1110和经训练的基于非递归神经网络的分类器BoW80％1120二者准确分类的验证数据库1040中的输入，由经训练的基于递归神经网络的分类器LSTM80％1110和经训练的基于非递归神经网络的分类器BoW80％1120二者不准确分类的验证数据库1040中的输入，以及由经过训练的基于非递归神经网络的分类器BoW80％1120准确地分类，但是由训练的基于递归神经网络的分类器LSTM80％1110不准确地分类的验证数据库1040中的输入。标记为输入数据的新模型类存储在验证数据库1340中。验证数据库1340中的数据也称为决策集。在另一实现中，标签变换器920将模型类别标签增加到现有验证数据库1040中的输入。这导致输入每个输入具有两个标签-任务类别标签(其标识积极或消极情绪)和模型类别标签(其标识基于经训练的时间递归神经网络的分类器LSTM80％1110或基于经训练的非递归神经网络的分类器BoW80％1120)。
在一些实现中，不复制原始验证数据以形成新的验证数据，而是验证数据中的每个数据项被指派并存储有两个真值(ground truth)指针；一个用于情绪类别标签，一个用于模型类别标签。在其他实现中，验证数据的两个副本用单独的和不同的真值标签维护(一个用于情绪类别标签，一个用于模型类别标签)。
决策网络
图14示出了使用具有验证数据库1340中的模型类别标签的输入的决策网络(在此也称为决策分类器)902的训练1400。决策网络902的输出是验证数据库1340中的每个输入句子的推断模型类别标签。将决策网络902的每个句子的推断模型类别标签与验证数据1340中该句子的真值模型类别标签进行比较。
图15示出了决策网络902的架构1500的一种实现。在其他实现中，可以在本文使用任何其他传统或未来开发的BoW、RNN或LSTM架构。在不脱离所公开的技术的精神和范围的情况下，这些实现对于本领域技术人员来说是显而易见的。
在一个实现中，决策网络902包括经训练的基于非递归神经网络的分类器BoW80％1120，其中原始分类层从架构中移除，如决策网络902中所示。原始BoW模型112的架构的一种实现如图4所示。决策网络902中的新分类层使用模型类别标签在输入句子中进行分类，并产生第一和第二模型类别标签的输出概率。在上述实现中，这些概率对应于LSTM80％1110和BoW80％1120。另外，具有ReLU的两个全连接层包括在决策网络902中。
在一些实现中，在训练决策网络902期间，仅针对全连接层和新的分类层的梯度被反向传播。经训练的基于非递归神经网络的分类器BoW80％1120的权重保持固定并维持不变。
过程流程
图16是示出使用图9的决策网络进行模型选择的过程步骤的流程图1600。当句子被作为输入提供给决策网络902时，该过程在步骤1610开始。然后，决策网络902在步骤1612生成模型分类。在步骤1614，基于决策网络902在步骤1612的分类选择LSTM模型或BoW模型。
如果在步骤1614选择LSTM模型，则将句子提供给用于情绪分类的LSTM100％模型。LSTM100％在整个训练数据142上训练，其又包括训练数据1030和验证数据1040。在步骤1616，LSTM100％产生句子的情绪分类。在步骤1618，接受LSTM100％的情绪分类。
如果在步骤1614选择了BoW模型，则将该句子提供给用于情绪分类的BoW100％模型。BoW100％在整个训练数据142上训练，其又包括训练数据1030和验证数据1040。在步骤1622，BoW100％产生句子的情绪分类。在步骤1624，接受BoW100％的情绪分类。
在步骤1620，系统检查是否存在用于情绪分类的更多输入句子。如果这是真的，则将下一个句子作为输入提供给决策网络902并重复该过程。当没有用于情绪分类的其他输入句子时，该过程在步骤1626结束。
计算机系统
图17是可用于实现图1和图9的机器学习系统110和905的计算机系统1700的简化框图。计算机系统1700包括至少一个中央处理单元(CPU)1724，其通过总线子系统1722与多个外围设备通信。这些外围设备可以包括存储子系统1710，包括例如存储器设备和文件存储子系统1718、用户界面输入设备1720、用户界面输出设备1728和网络接口子系统1726。输入和输出设备允许用户与计算机系统1700交互。网络接口子系统1726提供到外部网络的接口，包括对应其他计算机系统中的接口设备的接口。
在一个实现中，图1的机器学习系统110和图9的机器学习系统905可通信地链接到存储子系统1710和用户界面输入设备1720。
用户界面输入设备1720可包括键盘；指点设备，诸如鼠标、轨迹球、触摸板或图形输入板；扫描仪；包含在显示器中的触摸屏；音频输入设备，诸如语音识别系统和麦克风；和其他类型的输入设备。通常，术语“输入设备”的使用旨在包括所有可能类型的设备和将信息输入计算机系统1700的方式。
用户界面输出设备1728可以包括显示子系统、打印机、传真机或非可视显示器(诸如音频输出设备)。显示子系统可包括阴极射线管(CRT)，平板装置(诸如液晶显示器(LCD))，投影装置或用于产生可视图像的一些其他机构。显示子系统还可以提供非可视显示，诸如音频输出设备。通常，术语“输出设备”的使用旨在包括所有可能类型的设备和将信息从计算机系统1700输出到用户或另一个机器或计算机系统的方式。
存储子系统1710存储编程和数据构造，其提供本文描述的一些或所有模块和方法的功能。这些软件模块通常由深度学习处理器1730执行。
深度学习处理器1730可以是图形处理单元(GPU)或现场可编程门阵列(FPGA)。深度学习处理器1730可以由深度学习云平台(诸如Google Cloud PlatformTM、XilinxTM和CirrascaleTM)托管。深度学习处理器1730的示例包括Google的张量处理单元(TPUTM、机架式解决方案，如GX4Rackmount SeriesTM、GX8 Rackmount SeriesTM、NVIDIA DGX-1TM、Microsoft'Stratix V FPGATM、Graphcore的Intelligent Processor Unit(IPU)TM、具有Snapdragon processors TM的Qualcomm的Zeroth PlatformTM、NVIDIA的VoltaTM、NVIDIA的DRIVE PXTM、NVIDIA的JETSON TX1/TX2MODULETM、Intel的NirvanaTM、Movidius VPUTM、Fujitsu DPITM、ARM的DynamicIQTM，IBM TrueNorthTM等。
存储子系统1710中使用的存储器子系统1712可以包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)1714和其中存储固定指令的只读存储器(ROM)1716。文件存储子系统1718可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、CD-ROM驱动器、光盘驱动器或可移除介质盒。实现某些实现的功能的模块可以由文件存储子系统1718存储在存储子系统1710中，或者存储在处理器可访问的其他机器中。
总线子系统1722提供用于使计算机系统1700的各种组件和子系统按预期彼此通信的机制。虽然总线子系统1722被示意性地示为单个总线，但总线子系统的替代实现可以使用多个总线。
计算机系统1700本身可以是各种类型，包括个人计算机、便携式计算机、工作站、计算机终端、网络计算机、电视、大型机、服务器群、广泛分布的松散网络计算机组或任何其他数据处理系统或用户设备。由于计算机和网络的不断变化的性质，图17中描述的计算机系统1700的描述仅用作说明本发明的优选实施例目的的具体示例。计算机系统1700的许多其他配置可能具有比图17中描绘的计算机系统更多或更少的组件。
提供前面的描述以使得能够进行和使用所公开的技术。对所公开的实现的各种修改将是显而易见的，并且在不脱离所公开的技术的精神和范围的情况下，本文定义的一般原理可以应用于其他实现和应用。因此，所公开的技术不旨在限于所示的实现，而是与符合本文公开的原理和特征的最宽范围相一致。所公开的技术的范围由所附权利要求限定。
特定实现
·基于概率的引导器
所公开的技术涉及在包括多个输入的数据集上的机器分类任务的有效性能。在一个实现中，机器分类任务可以是句子的情绪分类。情绪分类任务可以包括将句子分类为具有积极或消极情绪。在其他实现中，情绪分类任务可以包括将句子分类为具有非常积极的、有些积极的、中立的、非常消极的或有些消极的情绪。在其他实现中，可以使用附加的、更少的或不同的类别标签。在进一步的实现中，可以执行其他机器分类任务，诸如语音识别、机器翻译、文本摘要、问题回答、图像字幕和文本到语音(TTS)合成。
所公开的技术可以作为系统、方法或制品来实施。实现的一个或更多个特征可以与基础实现组合。不相互排斥的实现被教导是可组合的。实现的一个或更多个特征可以与其他实现组合。本公开定期提醒用户这些选项。重复这些选项的一些实现的省略不应被视为限制前面部分中教导的组合-这些叙述通过引用结合到以下每个实现中。
所公开的技术的第一系统实现包括耦合到存储器的一个或更多个处理器。存储器装载有计算机指令，以有效地对包括多个输入的数据集执行机器分类任务。系统通过第一非递归神经网络处理输入，其对输入执行机器分类任务。第一非递归神经网络通过平均输入的矢量嵌入来生成输入的平均矢量表示。然后，系统通过第二递归神经网络(缩写为RNN)处理所选输入子集，以对子集中的输入执行机器分类任务。进一步处理的选择取决于第一非递归神经网络对数据集中输入执行机器分类任务的信心。
所公开的第一系统实现和其他系统可选地包括以下特征中的一个或更多个。系统还可以包括结合所公开的方法描述的特征。为了简明起见，系统特征的替代组合不是单独列举的。对于每个法定类别的基本特征组，不重复适用于系统、方法和制品的特征。读者将理解本节中确定的特征如何能够与其他法定类别中的基本特征相结合。
包含在系统中的第二RNN比第一非递归神经网络至少准确3％并且计算成本高4倍。当第一非递归神经网络的置信度低于设定阈值时，系统选择第二RNN。机器分类任务是将输入分类为第一类或第二类。第一非递归神经网络的置信度表示指派给第一类或第二类的概率分数。输入是一个句子，机器分类任务是将句子分类为积极情绪类别或消极情绪类别。
包括在系统中的第一非递归神经网络产生语言复杂句子的概率分数，该概率分数比用于语言简单句子的第一非递归神经网络产生的分类概率低至少百分之二十。
该系统包括第二RNN，其用于将语言复杂句子分类为积极情绪类别或消极情绪类别。在一个实现中，系统中包括的第一非递归神经网络是词袋(缩写为BoW)网络。在另一个实现中，第一非递归神经网络是至少一个连续的词袋(缩写为CBoW)网络。在另一实现中，第一非递归神经网络是至少一个skip-gram网络。在又一实现中，第一非递归神经网络是至少一个卷积神经网络(缩写为CNN)。在另一实现中，第二RNN是长短期存储器(缩写为LSTM)网络。在另一实现中，第二RNN是门控递归单元(缩写为GRU)网络。在又一实现中，第二RNN是准递归神经网络(缩写为QRNN)。
在一个实现中，该系统包括作为单个值的阈值。在另一实现中，该系统包括阈值，其为两个值之间的范围。
在一个实现中，机器分类任务是词性(缩写的POS)标签。在另一实现中，机器分类任务是分块。在另一实现中，机器分类任务是依赖性解析。在另一实现中，机器分类任务是语义相关性。在又一实现中，机器分类任务是文本蕴含。
可以由所公开的技术执行的一些机器分类任务的示例包括语音识别、机器翻译、文本摘要、问题回答、图像字幕和文本到语音(TTS)合成。
所公开的技术的第二系统实现包括耦合到存储器的一个或更多个处理器。存储器加载有计算机指令以有效地对句子执行情绪分类任务。该系统包括第一非递归神经网络，其评估该句子并产生置信度分数。该分数指定句子的情绪为积极或消极的可能性。第一非递归神经网络通过平均输入的矢量嵌入来生成输入的平均矢量表示。该系统还包括引导器，该引导器将由第一非递归神经网络产生的置信度分数与设定阈值进行比较。基于该比较，引导器确定该句子是否需要通过第二递归神经网络(缩写为RNN)进行补充评估。补充评估包括当置信度分数低于阈值时，使用第二RNN将句子的情绪分类为积极或消极。当置信度分数高于阈值时，依赖于由第一非递归神经网络产生的用于情绪分类任务的置信度分数，而不需要第二RNN的补充评估。
所公开的第二系统实现和其他系统可选地包括以下特征中的一个或更多个。系统还可以包括结合所公开的方法描述的特征。为了简明起见，系统特征的替代组合不是单独列举的。对于基本特征的每个法定类别集，不重复适用于系统、方法和制品的特征。读者将理解本节中确定的特征如何能够与其他法定类别中的基本特征相结合。
当与句子是语言简单的句子相比，句子是语言复杂句子时，系统中的第一非递归神经网络产生20％降低的置信度分数。在这样的实现中，语言复杂的句子具有消极和积极成分的共同出现。在另一个这样的实现中，语言复杂句子具有多个否定词和对比连词的实例。在另一个这样的实现中，该系统包括使用第二RNN将语言复杂句子的情绪分类为积极或消极。
在该特定实现部分中针对第一系统实现所讨论的每个特征同样适用于第二系统实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述系统的功能的指令的非暂时性计算机可读存储介质。又一实现可以包括执行上述系统的功能的方法。
所公开的技术的第三系统实现包括并行操作并耦合到存储器的多于一个处理器。存储器加载有计算机指令，以有效地对包括多个输入的数据集执行机器分类任务。在处理器上执行时的指令实现包括通过第一非递归神经网络处理输入的动作，该第一非递归神经网络对输入执行机器分类任务。第一非递归神经网络的处理通过平均输入的矢量嵌入来生成输入的均值矢量表示。
在此之后，系统通过第二递归神经网络(缩写为RNN)处理所选择的输入子集，以对子集中的输入执行机器分类任务。用于进一步处理的输入的选择取决于第一非递归神经网络对数据集中的输入执行机器分类任务的置信度。
在该特定实现部分中针对第一和第二系统实现所讨论的每个特征同样适用于第三系统实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述系统的功能的指令的非暂时性计算机可读存储介质。又一实现可以包括执行上述系统的功能的方法。
所公开的技术的第一方法实现包括在包括多个输入的数据集上有效地执行机器分类任务。该方法包括通过第一非递归神经网络处理输入，该第一非递归神经网络对输入执行机器分类任务。第一非递归神经网络通过平均输入的矢量嵌入来生成输入的平均矢量表示。该方法然后通过第二递归神经网络(缩写为RNN)处理所选择的输入子集，以对子集中的输入执行机器分类任务。进一步处理的选择取决于第一非递归神经网络对数据集中输入执行机器分类任务的置信度。
在该特定实现部分中针对第一系统实现所讨论的每个特征同样适用于该方法实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述第一方法的指令的非暂时性计算机可读存储介质。又一实现可以包括系统，所述系统包括存储器和一个或更多个处理器的系统，所述处理器可操作以执行存储在存储器中的指令，以执行上述第一方法。
所公开的技术的计算机可读介质(CRM)实现包括印有计算机程序指令的非暂时性计算机可读存储介质，当在处理器上执行时，实现上述方法。
在该特定实现部分中针对第一系统实现所讨论的每个特征同样适用于CRM实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
所公开的技术的第二方法实现包括有效地对句子执行情绪分类任务。该方法包括使用第一非递归神经网络评估句子并产生置信度分数，该置信度分数指定句子的情绪为积极或消极的可能性。该方法包括通过平均第一非递归神经网络的输入的矢量嵌入来生成输入的均值矢量表示。在此之后，该方法包括使用引导器将由第一非递归神经网络产生的置信度分数与设定阈值进行比较。基于该比较，该方法包括确定该句子是否需要通过第二递归神经网络(缩写为RNN)进行补充评估。该方法还包括，基于该评估，当置信度分数低于阈值时，使用第二RNN将句子的情绪分类为积极或消极。该方法包括依赖由第一非递归神经网络产生的用于情绪分类任务的置信度分数，而不需要在置信度分数高于阈值时由第二RNN进行补充评估。
在该特定实现部分中讨论的用于第二系统实现的每个特征同样适用于该方法实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述第二方法的指令的非暂时性计算机可读存储介质。又一实现可以包括一种系统，该系统包括存储器和一个或更多个处理器，其可操作以执行存储在存储器中的指令，以执行上述第二方法。
所公开的技术的计算机可读介质(CRM)实现包括印有计算机程序指令的非暂时性计算机可读存储介质，当在处理器上执行时，实现上述方法。
在该特定实现部分中讨论的用于第二系统实现的每个特征同样适用于CRM实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
所公开的技术的第三方法实现包括在包括多个输入的数据集上有效地执行机器分类任务。该方法还包括通过第一非递归神经网络处理输入，该第一非递归神经网络对输入执行机器分类任务，其中第一非递归神经网络通过平均输入的矢量嵌入来生成输入的均值矢量表示。在此之后，该方法包括通过第二递归神经网络(缩写为RNN)进一步处理所选择的输入子集，以对子集中的输入执行机器分类任务。进一步处理的选择取决于第一非递归神经网络对数据集中的输入执行机器分类任务的置信度。
在该特定实现部分中针对第三系统实现所讨论的每个特征同样适用于该方法实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述第三方法的指令的非暂时性计算机可读存储介质。又一实现可以包括一种系统，该系统包括存储器和一个或更多个处理器，其可操作以执行存储在存储器中的指令，以执行上述第三方法。
所公开的技术的计算机可读介质(CRM)实现包括印有计算机程序指令的非暂时性计算机可读存储介质，当在处理器上执行时，实现上述方法。
在该特定实现部分中讨论的用于第三系统实现的每个特征同样适用于CRM实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
基于深度神经网络的决策网络
所公开的技术涉及在包括多个输入的数据集上的机器分类任务的有效性能。
所公开的技术可以作为系统、方法或制品来实施。实现的一个或更多个特征可以与基础实现组合。不相互排斥的实现被教导是可组合的。实现的一个或更多个特征可以与其他实现组合。本公开定期提醒用户这些选项。重复这些选项的一些实现的省略不应被视为限制前面部分中教导的组合-这些叙述通过引用结合到以下每个实现中。
所公开的技术的第一系统实现包括耦合到存储器的一个或更多个处理器。存储器装载有计算机指令以在逐个输入的基础上选择来自基于候选神经网络的分类器池的基于神经网络的分类器，以最大化准确性和最小化计算成本的方式执行机器分类任务。系统执行池中基于候选神经网络的分类器的训练，以使用训练集执行机器分类任务。训练集包括用为机器分类任务定义的任务类别标签注释的训练输入。然后，系统使用经训练的基于候选神经网络的分类器在验证集上执行机器分类任务。验证集由使用任务类别标签注释的验证输入组成。然后，系统基于经训练的基于神经网络的分类器的性能生成混淆矩阵。然后，系统使用混淆矩阵来标识仅由池中的特定训练的基于递归神经网络的分类器准确推断的验证输入的第一子集，以及包括不在第一子集中的验证输入的验证输入的第二子集。然后，系统用第一模型类别标签标记第一子集中的验证输入，该第一模型类别标签标识特定训练的基于递归神经网络的分类器。系统使用第二模型类别标签标记第二子集中的验证输入，该第二模型类别标签标识池中的特定训练的基于非递归神经网络的分类器。系统将模型类别标记的验证输入存储在第一和第二子集中作为决策集。
所公开的第一系统实现和其他系统可选地包括以下特征中的一个或更多个。系统还可以包括结合所公开的方法描述的特征。为了简明起见，系统特征的替代组合不是单独列举的。对于每个法定类别的基本特征组，不重复适用于系统、方法和制品的特征。读者将理解本节中确定的特征如何能够与其他法定类别中的基本特征相结合。
系统基于使用特定训练的基于递归神经网络的分类器或特定训练的基于非递归神经网络的训练的分类器的经训练的基于递归神经网络的决策分类器的输出概率，在推理期间针对给定输入执行机器分类任务。当第一模型类别标签的输出概率高于第二模型类别标签的输出概率时，系统选择特定训练的基于递归神经网络的分类器。当第二模型类别标签的输出概率高于第一模型类别标签的输出概率时，系统选择特定训练的基于非递归神经网络的分类器。
在该系统的一个实现中，特定训练的基于递归神经网络的分类器比特定训练的基于非递归神经网络的分类器准确性至少高3％并且计算成本高4倍。在一个这样的实现中，特定训练的基于递归神经网络的分类器是至少一个递归神经网络(缩写为RNN)。在另一实现中，特定训练的基于非递归神经网络的分类器是至少一个词袋(缩写为BoW)网络。在另一个这样的实现中，特定训练的基于非递归神经网络的分类器是至少一个连续的词袋(缩写为CBoW)网络。在另一实现中，特定训练的基于非循环神经网络的分类器是至少一个skip-gram网络。在一个实现中，特定训练的基于非递归神经网络的分类器是至少一个卷积神经网络(缩写为CNN)。在一个实现中，RNN是长短期存储器(缩写为LSTM)网络。在另一实现中，RNN是门控递归单元(缩写为GRU)网络。在又一实现中，RNN是准递归神经网络(缩写为QRNN)。
在系统的一个实现中，训练集和验证集是单个数据集的一部分，其经受保持分裂以创建训练集和验证集。池中的每个候选基于神经网络的分类器在训练集上被单独训练。机器分类任务是情绪分类，输入是句子。任务类别标签是积极情绪和消极情绪。
混淆矩阵标识以下中的至少一个(1)由特定训练的基于递归神经网络的分类器和特定训练的基于非递归神经网络的分类器二者准确分类的验证输入，(2)由特定训练的基于递归神经网络的分类器和特定训练的基于非递归神经网络的分类器二者不准确分类的验证输入，(3)由特定训练的基于非递归神经网络分类器准确分类，但由特定训练的基于递归神经网络的分类器不准确分类的验证输入，以及(4)由特定训练的基于递归神经网络的分类器准确分类，但是由特定训练的基于非递归神经网络分类器不准确分类的验证输入。
在系统的这种实现中，第一子集包括由特定训练的基于递归神经网络的分类器准确分类但由特定训练的基于非递归神经网络分类器不准确分类的验证输入。第二子集包括以下中的至少一个：由特定训练的基于递归神经网络的分类器和特定训练的基于非递归神经网络的分类器二者准确分类的验证输入；由特定训练的基于递归神经网络的分类器和特定训练的基于非递归神经网络的分类器二者不准确分类的验证输入；以及由特定训练的基于非递归神经网络的分类器准确分类，但由特定训练的基于递归神经网络的分类器不准确分类的验证输入。
由经训练的基于神经网络的决策分类器在推理期间在训练集和验证集(即，经过训练的LSTM100％和BoW100％)的组合上训练选择的特定训练的基于递归神经网络的分类器和特定训练的基于非递归神经网络的分类器。基于神经网络的决策分类器包括在训练集上训练的特定训练的基于非递归神经网络的分类器，其中消融(ablated)了原始分类层。它包括一个或更多个新的全连接层，以及一个新的分类层，其为第一和第二模型类别标签生成输出概率。在基于神经网络的决策分类器的训练期间，仅反向传播全连接层和新分类层的梯度，并且保持特定训练的基于非递归神经网络的分类器的权重是固定的。在一个实现中，特定训练的基于非递归神经网络的分类器是至少一个词袋(缩写为BoW)网络。
可以由所公开的技术执行的一些机器分类任务的示例包括语音识别、机器翻译、文本摘要、问题回答、图像字幕和文本到语音(TTS)合成。
所公开的技术的第二系统实现包括基于神经网络的决策系统，其具有并行操作的处理器。基于神经网络的决策系统使用经训练的递归长短期记忆(缩写为LSTM)网络或经训练的词袋(缩写为BoW)网络有效地对句子执行情绪分类任务，其通过平均句子的令牌矢量嵌入来生成句子的平均矢量表示。该系统基于经训练的LSTM和BoW网络对用积极和消极情绪标签注释的验证句子的评估来生成混淆矩阵。系统使用混淆矩阵来标识仅由经训练的LSTM网络准确分类的验证句子的子集。然后，系统用标识经训练的LSTM网络的第一模型标签注释验证句子的子集，并用标识经训练的BoW网络的第二模型标签注释验证句子的剩余部分。系统将模型注释的验证句子存储在决策集中。该系统使用经训练的BoW网络构建决策系统，并使用决策集训练决策系统以产生输出，该输出指定是否使用经训练的LSTM网络或经训练的BoW网络来对句子的情绪进行分类。
所公开的第二系统实现和其他系统可选地包括以下特征中的一个或更多个。系统还可以包括结合所公开的方法描述的特征。为了简明起见，系统特征的替代组合不是单独列举的。对于每个法定类别的基本特征组，不重复适用于系统、方法和制品的特征。读者将理解本节中确定的特征如何能够与其他法定类别中的基本特征相结合。
在推理期间，系统使用经训练的决策系统的输出来选择经训练的LSTM网络或经训练的BoW网络来对句子的情绪进行分类。当句子是语言复杂的句子时，决策系统选择经训练的LSTM网络。当句子是语言简单的句子时，决策系统选择经训练的BoW网络。
在该特定实现部分中针对第一系统实现所讨论的每个特征同样适用于第二系统实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述系统的功能的指令的非暂时性计算机可读存储介质。又一实现可以包括执行上述系统的功能的方法。
所公开的技术的第三系统实现包括具有并行操作的处理器的系统。该系统包括基于第三神经网络的分类器，其在逐个输入的基础上，在被训练以执行分类任务的第一和第二基于神经网络的分类器之间进行选择。该选择由基于第三神经网络的分类器对训练集的训练来控制，该训练集用类别标签注释，该训练集区分仅由训练的基于第二神经网络的分类器和训练集中的剩余输入准确分类的输入。
所公开的第三系统实现和其他系统可选地包括以下特征中的一个或更多个。系统还可以包括结合所公开的方法描述的特征。为了简明起见，系统特征的替代组合不是单独列举的。对于每个法定类别的基本特征组，不重复适用于系统、方法和制品的特征。读者将理解本节中确定的特征如何能够与其他法定类别中的基本特征相结合。
剩余的输入包括由经训练的基于第二神经网络的分类器不准确分类的输入和由经训练的基于第一和第二神经网络的分类器准确分类的输入。
在该特定实现部分中针对第一和第二系统实现所讨论的每个特征同样适用于第三系统实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述系统的功能的指令的非暂时性计算机可读存储介质。又一实现可以包括执行上述系统的功能的方法。
所公开的技术的第一方法实现包括在逐个输入的基础上从基于候选神经网络的分类器池中选择基于神经网络的分类器，以最大化准确度并最大限度地降低计算成本的方式执行机器分类任务。该方法包括：训练池中的基于候选神经网络的分类器以使用训练集执行机器分类任务，该训练集包括用为机器分类任务定义的任务类别标签注释的训练输入。在此之后，该方法包括使用经训练的基于候选神经网络的分类器在验证集上执行机器分类任务，验证集包括用任务类别标签注释的验证输入。该方法包括基于经训练的基于神经网络的分类器的性能生成混淆矩阵。混淆矩阵用于标识仅由池中的特定训练的基于递归神经网络的分类器准确推断的验证输入的第一子集，以及包括不在第一子集中的验证输入的验证输入的第二子集。在此之后，该方法包括用第一模型类别标签标记第一子集中的验证输入，该第一模型类别标签标识特定训练的基于递归神经网络的分类器。该方法还包括用第二模型类别标签标记第二子集中的验证输入，该第二模型类别标签标识池中的特定训练的基于非递归神经网络分类器。在此之后，该方法包括将模型类别标记的验证输入存储在第一和第二子集中作为决策集。最后，该方法包括使用决策集训练基于神经网络的决策分类器，以在逐个输入的基础上输出第一和第二模型类别标签的概率。输出概率指定选择特定训练的基于递归神经网络的分类器和特定训练的基于非递归神经网络的分类器的相应可能性。
在该特定实现部分中针对第一系统实现所讨论的每个特征同样适用于该方法实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述第一方法的指令的非暂时性计算机可读存储介质。又一实现可以包括系统，所述系统包括存储器和一个或更多个处理器，所述处理器可操作以执行存储在存储器中的指令，以执行上述第一方法。
所公开的技术的计算机可读介质(CRM)实现包括印有计算机程序指令的非暂时性计算机可读存储介质，当在处理器上执行时，实现上述方法。
在该特定实现部分中针对第一系统实现所讨论的每个特征同样适用于CRM实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
所公开的技术的第二方法实现包括使用经训练的递归长短期记忆(缩写为LSTM)网络或经训练的词袋(缩写为BoW)网络有效地对句子执行情绪分类任务，其通过平均句子的符号矢量嵌入来生成句子的平均矢量表示。该方法包括基于经训练的LSTM和BoW网络对用积极情绪标签和消极情绪标签注释的验证句子的评估来生成混淆矩阵。在此之后，该方法包括使用混淆矩阵来标识仅由经训练的LSTM网络准确分类的验证句子的子集，并用标识经训练的LSTM网络的第一模型标签注释验证句子的子集，并用标识经训练的BoW网络的第二模型类别标签注释验证句子的剩余部分。然后，该方法包括将模型注释的验证句子存储在决策集中。最后，该方法包括：使用经训练的BoW网络构建决策系统，并使用决策集训练决策系统以产生输出，该输出指定是否使用经训练的LSTM网络或经训练的BoW网络来对句子的情绪进行分类。
在该特定实现部分中针对第二系统实现所讨论的每个特征同样适用于该方法实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述第二方法的指令的非暂时性计算机可读存储介质。又一实现可以包括一种系统，该系统包括存储器和一个或更多个处理器，其可操作以执行存储在存储器中的指令，以执行上述第二方法。
所公开的技术的计算机可读介质(CRM)实现包括印有计算机程序指令的非暂时性计算机可读存储介质，当在处理器上执行时，实现上述方法。
在该特定实现部分中讨论的用于第二系统实现的每个特征同样适用于CRM实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
所公开的技术的第三方法实现包括在逐个输入的基础上，在被训练以执行分类任务的第一和第二基于神经网络的分类器之间使用基于第三神经网络的分类器进行选择。该选择由基于第三神经网络的分类器对训练集的训练控制，该训练集用类别标签注释，该类别标签区分仅由经训练的第二基于神经网络的分类器准确分类的输入和训练集中的剩余输入。
在该特定实现部分中讨论的用于第三系统实现的每个特征同样适用于该方法实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。
其他实现可以包括存储可由处理器执行以执行上述第三方法的指令的非暂时性计算机可读存储介质。又一实现可以包括一种系统，该系统包括存储器和一个或更多个处理器，其可操作以执行存储在存储器中的指令，以执行上述第三方法。
所公开的技术的计算机可读介质(CRM)实现包括印有计算机程序指令的非暂时性计算机可读存储介质，当在处理器上执行时，实现上述方法。
在该特定实现部分中讨论的用于第三系统实现的每个特征同样适用于CRM实现。如上所述，这里不重复所有系统特征，应该通过引用重复考虑。

Claims (22)

1.一种在自然语言句子上执行机器分类任务的计算机实现的方法，所述方法包括：
通过在所述自然语言句子上执行所述机器分类任务的第一非递归神经网络处理所述自然语言句子，其中所述第一非递归神经网络通过平均所述自然语言句子的矢量嵌入生成所述自然语言句子的均值矢量表示；以及
通过第二递归神经网络(RNN)进一步处理所述自然语言句子，以对所述自然语言句子执行机器分类任务，其中由所述第二RNN处理所述自然语言句子取决于所述第一非递归神经网络在其所述自然语言句子的分类中的确信程度。
2.如权利要求1所述的计算机实现的方法，其中所述第一非递归神经网络包括词袋网络、连续词袋网络、skip-gram网络或卷积神经网络。
3.如权利要求1所述的计算机实现的方法，其中所述第二RNN包括长短期存储器网络、门控递归单元网络或准递归神经网络。
4.如权利要求1所述的计算机实现的方法，其中所述机器分类任务是将所述自然语言句子分类为第一类或第二类。
5.如权利要求1所述的计算机实现的方法，其中所述机器分类任务为：
词性(POS)标记，
分块，
依赖解析，
语义相关性，
文本蕴涵，
语音识别，
机器翻译，
文本摘要，
问答，
图像字幕，或
文本-语音合成。
6.如权利要求1所述的计算机实现的方法，还包括：当所述第一非递归神经网络的确信程度低于阈值时，通过所述第二RNN处理所述自然语言句子。
7.如权利要求6所述的计算机实现的方法，其中所述阈值是单个值。
8.如权利要求1所述的计算机实现的方法，还包括当所述第一非递归神经网络的确信程度在两个值之间的范围内时，通过所述第二RNN处理所述自然语言句子。
9.如权利要求1所述的计算机实现的方法，其中所述第一非递归神经网络的确信程度表示指派给第一类或第二类的概率分数。
10.如权利要求1所述的计算机实现的方法，其中所述机器分类任务是将所述自然语言句子分类为多个情绪类别之一。
11.一种基于神经网络的自然语言处理系统，其具有并行操作的处理器，以对自然语言句子执行分类任务，所述系统包括：
第一非递归神经网络装置，所述第一非递归神经网络装置评估所述自然语言句子并产生置信度分数，所述置信度分数指定所述自然语言句子情绪的所述第一非递归神经网络在其确定中的确信程度，其中所述第一非递归神经网络装置通过平均所述自然语言句子的矢量嵌入来生成所述自然语言句子的均值矢量表示；以及
引导器装置，所述引导器装置将由所述第一非递归神经网络装置产生的所述置信度分数与阈值进行比较，并且基于所述比较，确定所述自然语言句子是否需要由第二递归神经网络(RNN)装置进行补充评估，其中：
当所述引导器装置确定所述置信度分数低于所述阈值时，使用所述第二RNN装置对所述自然语言句子的情绪进行分类；以及
当所述引导器装置确定所述置信度分数高于所述阈值时，依赖于由所述第一非递归神经网络装置产生的所述置信度分数用于所述分类任务，而不需要所述第二RNN装置的所述补充评估。
12.如权利要求11所述的系统，其中所述自然语言句子在语言上是复杂的并且包括消极和积极成分的共同出现或者消极词和对比连词的多个实例。
13.如权利要求11所述的系统，其中所述第一非递归神经网络装置包括词袋网络、连续词袋网络、skip-gram网络或卷积神经网络。
14.如权利要求11所述的系统，其中所述第二RNN装置包括长短期存储器网络、门控递归单元网络或准递归神经网络。
15.如权利要求11至14中任一项所述的系统，其中所述分类任务是将所述自然语言句子分类为第一类或第二类。
16.如权利要求11至14中任一项所述的系统，其中所述分类任务为：
词性(POS)标记，
分块，
依赖解析，
语义相关性，
文本蕴涵，
语音识别，
机器翻译，
文本摘要，
问答，
图像字幕，或
文本-语音合成。
17.如权利要求11至14中任一项所述的系统，还包括：当所述第一非递归神经网络装置的置信度分数低于阈值时，使用所述第二RNN装置以分类所述自然语言句子的情绪。
18.如权利要求17所述的系统，其中所述阈值是单个值。
19.如权利要求17所述的系统，还包括当所述第一非递归神经网络装置的置信度分数在两个值之间的范围内时，使用所述第二RNN装置以分类所述自然语言句子的情绪。
20.如权利要求11至14中任一项所述的系统，其中所述第一非递归神经网络装置的所述置信度分数表示指派给第一类或第二类的概率分数。
21.如权利要求11至14中任一项所述的系统，其中所述分类任务是将所述自然语言句子分类为多个情绪类别之一。
22.一种非暂时性计算机可读介质，具有用于执行如权利要求1至5或6至10中任一项所述的方法的计算机可执行指令。
CN201880018349.4A 2017-03-15 2018-03-14 基于概率的引导器 Active CN110431566B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762471934P 2017-03-15 2017-03-15
US62/471,934 2017-03-15
US15/853,530 2017-12-22
US15/853,530 US11354565B2 (en) 2017-03-15 2017-12-22 Probability-based guider
PCT/US2018/022504 WO2018170175A1 (en) 2017-03-15 2018-03-14 Probability-based guider

Publications (2)

Publication Number Publication Date
CN110431566A CN110431566A (zh) 2019-11-08
CN110431566B true CN110431566B (zh) 2024-03-19

Family

ID=63519333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880018349.4A Active CN110431566B (zh) 2017-03-15 2018-03-14 基于概率的引导器

Country Status (5)

Country Link
US (3) US11354565B2 (zh)
JP (1) JP7104059B2 (zh)
CN (1) CN110431566B (zh)
CA (1) CA3052212C (zh)
WO (1) WO2018170175A1 (zh)

Families Citing this family (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA201604581B (en) * 2016-04-14 2017-08-30 Zensar Tech Limited A system and a method of direct communication and engagement within an organization
US10565305B2 (en) 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
US11354565B2 (en) 2017-03-15 2022-06-07 Salesforce.Com, Inc. Probability-based guider
US10565318B2 (en) 2017-04-14 2020-02-18 Salesforce.Com, Inc. Neural machine translation with latent tree attention
EP3654172A1 (en) * 2017-04-19 2020-05-20 Shanghai Cambricon Information Technology Co., Ltd Fused vector multiplier and method using the same
WO2018212599A1 (en) * 2017-05-17 2018-11-22 Samsung Electronics Co., Ltd. Super-resolution processing method for moving image and image processing apparatus therefor
US11386327B2 (en) 2017-05-18 2022-07-12 Salesforce.Com, Inc. Block-diagonal hessian-free optimization for recurrent and convolutional neural networks
US10817650B2 (en) 2017-05-19 2020-10-27 Salesforce.Com, Inc. Natural language processing using context specific word vectors
GB2568233A (en) * 2017-10-27 2019-05-15 Babylon Partners Ltd A computer implemented determination method and system
US11170287B2 (en) 2017-10-27 2021-11-09 Salesforce.Com, Inc. Generating dual sequence inferences using a neural network model
US10573295B2 (en) 2017-10-27 2020-02-25 Salesforce.Com, Inc. End-to-end speech recognition with policy learning
US10592767B2 (en) 2017-10-27 2020-03-17 Salesforce.Com, Inc. Interpretable counting in visual question answering
US11604956B2 (en) 2017-10-27 2023-03-14 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
US11928600B2 (en) 2017-10-27 2024-03-12 Salesforce, Inc. Sequence-to-sequence prediction using a neural network model
US11562287B2 (en) 2017-10-27 2023-01-24 Salesforce.Com, Inc. Hierarchical and interpretable skill acquisition in multi-task reinforcement learning
EP3710990A4 (en) * 2017-11-14 2021-10-27 Magic Leap, Inc. METALERS FOR MULTITASK LEARNING FOR NEURAL NETWORKS
US10542270B2 (en) 2017-11-15 2020-01-21 Salesforce.Com, Inc. Dense video captioning
TWI661319B (zh) * 2017-11-30 2019-06-01 財團法人資訊工業策進會 根據文本產生控制指令之裝置、方法及其電腦程式產品
US11276002B2 (en) 2017-12-20 2022-03-15 Salesforce.Com, Inc. Hybrid training of deep networks
US11501076B2 (en) 2018-02-09 2022-11-15 Salesforce.Com, Inc. Multitask learning as question answering
US11227218B2 (en) 2018-02-22 2022-01-18 Salesforce.Com, Inc. Question answering from minimal context over documents
US10929607B2 (en) 2018-02-22 2021-02-23 Salesforce.Com, Inc. Dialogue state tracking using a global-local encoder
US11106182B2 (en) 2018-03-16 2021-08-31 Salesforce.Com, Inc. Systems and methods for learning for domain adaptation
US10783875B2 (en) 2018-03-16 2020-09-22 Salesforce.Com, Inc. Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US10963273B2 (en) 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US10909157B2 (en) 2018-05-22 2021-02-02 Salesforce.Com, Inc. Abstraction of text summarization
US10956790B1 (en) * 2018-05-29 2021-03-23 Indico Graphical user interface tool for dataset analysis
US10965708B2 (en) * 2018-06-06 2021-03-30 Whitehat Security, Inc. Systems and methods for machine learning based application security testing
US10380997B1 (en) 2018-07-27 2019-08-13 Deepgram, Inc. Deep learning internal state index-based search and classification
US10970486B2 (en) * 2018-09-18 2021-04-06 Salesforce.Com, Inc. Using unstructured input to update heterogeneous data stores
US11436481B2 (en) 2018-09-18 2022-09-06 Salesforce.Com, Inc. Systems and methods for named entity recognition
US11029694B2 (en) 2018-09-27 2021-06-08 Salesforce.Com, Inc. Self-aware visual-textual co-grounded navigation agent
US11087177B2 (en) 2018-09-27 2021-08-10 Salesforce.Com, Inc. Prediction-correction approach to zero shot learning
US11514915B2 (en) 2018-09-27 2022-11-29 Salesforce.Com, Inc. Global-to-local memory pointer networks for task-oriented dialogue
US11645509B2 (en) 2018-09-27 2023-05-09 Salesforce.Com, Inc. Continual neural network learning via explicit structure learning
CN109299262B (zh) * 2018-10-09 2022-04-15 中山大学 一种融合多粒度信息的文本蕴含关系识别方法
US11141088B2 (en) * 2018-10-09 2021-10-12 Sony Corporation Electronic device for recognition of mental behavioral attributes based on deep neural networks
TWI692776B (zh) * 2018-10-29 2020-05-01 財團法人工業技術研究院 基於神經網路的分類裝置及分類方法
US11416733B2 (en) * 2018-11-19 2022-08-16 Google Llc Multi-task recurrent neural networks
CN109376695B (zh) * 2018-11-26 2021-09-17 北京工业大学 一种基于深度混合神经网络的烟雾检测方法
US10726207B2 (en) * 2018-11-27 2020-07-28 Sap Se Exploiting document knowledge for aspect-level sentiment classification
US11748393B2 (en) * 2018-11-28 2023-09-05 International Business Machines Corporation Creating compact example sets for intent classification
US11822897B2 (en) 2018-12-11 2023-11-21 Salesforce.Com, Inc. Systems and methods for structured text translation with tag alignment
US10963652B2 (en) 2018-12-11 2021-03-30 Salesforce.Com, Inc. Structured text translation
CN109710761A (zh) * 2018-12-21 2019-05-03 中国标准化研究院 基于注意力增强的双向lstm模型的情感分析方法
JP7335542B2 (ja) * 2018-12-27 2023-08-30 ブラザー工業株式会社 サーバ装置、システム、および、学習済モデル
US11922323B2 (en) 2019-01-17 2024-03-05 Salesforce, Inc. Meta-reinforcement learning gradient estimation with variance reduction
US11636330B2 (en) 2019-01-30 2023-04-25 Walmart Apollo, Llc Systems and methods for classification using structured and unstructured attributes
US11568306B2 (en) 2019-02-25 2023-01-31 Salesforce.Com, Inc. Data privacy protected machine learning systems
US11366969B2 (en) 2019-03-04 2022-06-21 Salesforce.Com, Inc. Leveraging language models for generating commonsense explanations
US11003867B2 (en) 2019-03-04 2021-05-11 Salesforce.Com, Inc. Cross-lingual regularization for multilingual generalization
US11580445B2 (en) 2019-03-05 2023-02-14 Salesforce.Com, Inc. Efficient off-policy credit assignment
US11087092B2 (en) 2019-03-05 2021-08-10 Salesforce.Com, Inc. Agent persona grounded chit-chat generation framework
CN110148318B (zh) * 2019-03-07 2021-09-07 上海晨鸟信息科技有限公司 一种数字助教系统、信息交互方法和信息处理方法
US11227102B2 (en) * 2019-03-12 2022-01-18 Wipro Limited System and method for annotation of tokens for natural language processing
US11232308B2 (en) 2019-03-22 2022-01-25 Salesforce.Com, Inc. Two-stage online detection of action start in untrimmed videos
CN109934302B (zh) * 2019-03-23 2021-12-07 大国创新智能科技(东莞)有限公司 新类别识别方法和基于模糊理论和深度学习的机器人系统
US11494615B2 (en) * 2019-03-28 2022-11-08 Baidu Usa Llc Systems and methods for deep skip-gram network based text classification
CN110096346B (zh) * 2019-03-29 2021-06-15 广州思德医疗科技有限公司 一种多计算节点的训练任务处理方法及装置
US11281863B2 (en) 2019-04-18 2022-03-22 Salesforce.Com, Inc. Systems and methods for unifying question answering and text classification via span extraction
US11120215B2 (en) * 2019-04-24 2021-09-14 International Business Machines Corporation Identifying spans using visual recognition
CN110069634A (zh) * 2019-04-24 2019-07-30 北京泰迪熊移动科技有限公司 一种生成分类模板的方法、装置及计算机可读存储介质
CN110059191A (zh) * 2019-05-07 2019-07-26 山东师范大学 一种文本情感分类方法及装置
US11487939B2 (en) 2019-05-15 2022-11-01 Salesforce.Com, Inc. Systems and methods for unsupervised autoregressive text compression
US11562251B2 (en) 2019-05-16 2023-01-24 Salesforce.Com, Inc. Learning world graphs to accelerate hierarchical reinforcement learning
US11620572B2 (en) 2019-05-16 2023-04-04 Salesforce.Com, Inc. Solving sparse reward tasks using self-balancing shaped rewards
US11604965B2 (en) 2019-05-16 2023-03-14 Salesforce.Com, Inc. Private deep learning
CN110135441B (zh) * 2019-05-17 2020-03-03 北京邮电大学 一种图像的文本描述方法及装置
US11501233B2 (en) * 2019-05-21 2022-11-15 Hcl Technologies Limited System and method to perform control testing to mitigate risks in an organization
US11669712B2 (en) 2019-05-21 2023-06-06 Salesforce.Com, Inc. Robustness evaluation via natural typos
US11775775B2 (en) 2019-05-21 2023-10-03 Salesforce.Com, Inc. Systems and methods for reading comprehension for a question answering task
US11687588B2 (en) 2019-05-21 2023-06-27 Salesforce.Com, Inc. Weakly supervised natural language localization networks for video proposal prediction based on a text query
US11657269B2 (en) 2019-05-23 2023-05-23 Salesforce.Com, Inc. Systems and methods for verification of discriminative models
US11507869B2 (en) 2019-05-24 2022-11-22 Digital Lion, LLC Predictive modeling and analytics for processing and distributing data traffic
US11934971B2 (en) 2019-05-24 2024-03-19 Digital Lion, LLC Systems and methods for automatically building a machine learning model
CN110232123B (zh) * 2019-05-28 2021-12-03 第四范式（北京）技术有限公司 文本的情感分析方法及其装置、计算设备与可读介质
CN110334210A (zh) * 2019-05-30 2019-10-15 哈尔滨理工大学 一种基于bert与lstm、cnn融合的中文情感分析方法
CN110362677B (zh) * 2019-05-31 2022-12-27 平安科技（深圳）有限公司 文本数据类别的识别方法及装置、存储介质、计算机设备
CN110309304A (zh) * 2019-06-04 2019-10-08 平安科技（深圳）有限公司 一种文本分类方法、装置、设备及存储介质
CN110222186B (zh) * 2019-06-13 2021-06-29 出门问问信息科技有限公司 叠字类问题处理方法、处理装置、设备及存储介质
US11068663B2 (en) * 2019-06-19 2021-07-20 Microsoft Technology Licensing, Llc Session embeddings for summarizing activity
US11960977B2 (en) * 2019-06-20 2024-04-16 Oracle International Corporation Automated enhancement of opportunity insights
CN110472045B (zh) * 2019-07-11 2023-02-03 中山大学 一种基于文档嵌入的短文本虚假问题分类预测方法及装置
KR102270169B1 (ko) * 2019-07-26 2021-06-25 주식회사 수아랩 데이터 관리 방법
US11615240B2 (en) 2019-08-15 2023-03-28 Salesforce.Com, Inc Systems and methods for a transformer network with tree-based attention for natural language processing
US11829871B2 (en) * 2019-08-20 2023-11-28 Lg Electronics Inc. Validating performance of a neural network trained using labeled training data
US20210074398A1 (en) * 2019-09-10 2021-03-11 Medstar Health, Inc. Evaluation of patient safety event reports from free-text descriptions
US11568000B2 (en) 2019-09-24 2023-01-31 Salesforce.Com, Inc. System and method for automatic task-oriented dialog system
US11599792B2 (en) 2019-09-24 2023-03-07 Salesforce.Com, Inc. System and method for learning with noisy labels as semi-supervised learning
US11640527B2 (en) 2019-09-25 2023-05-02 Salesforce.Com, Inc. Near-zero-cost differentially private deep learning with teacher ensembles
US11227195B2 (en) 2019-10-02 2022-01-18 King Fahd University Of Petroleum And Minerals Multi-modal detection engine of sentiment and demographic characteristics for social media videos
CN110866539A (zh) * 2019-10-10 2020-03-06 天津大学 基于多迁移学习策略hpv疫苗接种态度的情感分析模型
US11620515B2 (en) 2019-11-07 2023-04-04 Salesforce.Com, Inc. Multi-task knowledge distillation for language model
US11347708B2 (en) 2019-11-11 2022-05-31 Salesforce.Com, Inc. System and method for unsupervised density based table structure identification
US11334766B2 (en) 2019-11-15 2022-05-17 Salesforce.Com, Inc. Noise-resistant object detection with noisy annotations
US11288438B2 (en) 2019-11-15 2022-03-29 Salesforce.Com, Inc. Bi-directional spatial-temporal reasoning for video-grounded dialogues
US11922303B2 (en) 2019-11-18 2024-03-05 Salesforce, Inc. Systems and methods for distilled BERT-based training model for text classification
US11416688B2 (en) 2019-12-09 2022-08-16 Salesforce.Com, Inc. Learning dialogue state tracking with limited labeled data
US11256754B2 (en) 2019-12-09 2022-02-22 Salesforce.Com, Inc. Systems and methods for generating natural language processing training samples with inflectional perturbations
US11487999B2 (en) 2019-12-09 2022-11-01 Salesforce.Com, Inc. Spatial-temporal reasoning through pretrained language models for video-grounded dialogues
US11640505B2 (en) 2019-12-09 2023-05-02 Salesforce.Com, Inc. Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading
US11573957B2 (en) 2019-12-09 2023-02-07 Salesforce.Com, Inc. Natural language processing engine for translating questions into executable database queries
CN111158912B (zh) * 2019-12-30 2023-04-21 天津大学 云雾协同计算环境下一种基于深度学习的任务卸载决策方法
CN111178446B (zh) * 2019-12-31 2023-08-04 歌尔股份有限公司 一种基于神经网络的目标分类模型的优化方法、装置
US11669745B2 (en) 2020-01-13 2023-06-06 Salesforce.Com, Inc. Proposal learning for semi-supervised object detection
US11481584B2 (en) * 2020-01-15 2022-10-25 Vmware, Inc. Efficient machine learning (ML) model for classification
US11562147B2 (en) 2020-01-23 2023-01-24 Salesforce.Com, Inc. Unified vision and dialogue transformer with BERT
US11900070B2 (en) * 2020-02-03 2024-02-13 International Business Machines Corporation Producing explainable rules via deep learning
US20210249105A1 (en) 2020-02-06 2021-08-12 Salesforce.Com, Inc. Systems and methods for language modeling of protein engineering
US11423305B2 (en) 2020-02-26 2022-08-23 Deere & Company Network-based work machine software optimization
US11194971B1 (en) 2020-03-05 2021-12-07 Alexander Dobranic Vision-based text sentiment analysis and recommendation system
JP7476578B2 (ja) * 2020-03-06 2024-05-01 富士フイルムビジネスイノベーション株式会社 学習装置及びプログラム
JP7447985B2 (ja) 2020-03-06 2024-03-12 日本電信電話株式会社 学習装置、学習方法、学習プログラム、推定装置、推定方法及び推定プログラム
US11263476B2 (en) 2020-03-19 2022-03-01 Salesforce.Com, Inc. Unsupervised representation learning with contrastive prototypes
US11328731B2 (en) 2020-04-08 2022-05-10 Salesforce.Com, Inc. Phone-based sub-word units for end-to-end speech recognition
CN111694957B (zh) * 2020-05-29 2024-03-12 新华三大数据技术有限公司 基于图神经网络的问题单分类方法、设备及存储介质
US11625543B2 (en) 2020-05-31 2023-04-11 Salesforce.Com, Inc. Systems and methods for composed variational natural language generation
US11720559B2 (en) 2020-06-02 2023-08-08 Salesforce.Com, Inc. Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text
CN111775158B (zh) * 2020-06-08 2022-04-01 华南师范大学 人工智能伦理规则实现方法、专家系统和机器人
US20230224360A1 (en) * 2020-06-15 2023-07-13 Nippon Telegraph And Telephone Corporation Processing system, and processing method
US11526785B2 (en) 2020-06-22 2022-12-13 Vmware, Inc. Predictability-driven compression of training data sets
CN111966824B (zh) * 2020-07-11 2024-02-09 天津大学 一种基于情感相似度注意力机制的文本情感识别方法
CN111881667B (zh) * 2020-07-24 2023-09-29 上海烽烁科技有限公司 一种敏感文本审核方法
US11625436B2 (en) 2020-08-14 2023-04-11 Salesforce.Com, Inc. Systems and methods for query autocompletion
US11934952B2 (en) 2020-08-21 2024-03-19 Salesforce, Inc. Systems and methods for natural language processing using joint energy-based models
US11934781B2 (en) 2020-08-28 2024-03-19 Salesforce, Inc. Systems and methods for controllable text summarization
US11626108B2 (en) * 2020-09-25 2023-04-11 Td Ameritrade Ip Company, Inc. Machine learning system for customer utterance intent prediction
US11995048B2 (en) * 2020-09-29 2024-05-28 Adobe Inc. Lifelong schema matching
CN112183751A (zh) * 2020-11-09 2021-01-05 大连东软教育科技集团有限公司 神经网络模型预测置信度校准方法、系统及存储介质
US11829442B2 (en) 2020-11-16 2023-11-28 Salesforce.Com, Inc. Methods and systems for efficient batch active learning of a deep neural network
CN112487237B (zh) * 2020-12-14 2022-10-18 重庆邮电大学 基于自适应cnn和半监督自训练模型的音乐分类方法
WO2022193171A1 (en) 2021-03-17 2022-09-22 Huawei Cloud Computing Technologies Co., Ltd. System and method for unsupervised multi-model joint reasoning
KR20220170183A (ko) * 2021-06-22 2022-12-29 공주대학교 산학협력단 신경망을 기반으로 암호화 데이터를 분류하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체
ES2932674A1 (es) * 2021-07-15 2023-01-23 Crucelegi Unai Idiaquez Procedimiento para la identificación de usuarios
WO2023062790A1 (ja) * 2021-10-14 2023-04-20 日本電信電話株式会社 ログデータ解析装置、ログデータ解析方法、およびプログラム
US11302314B1 (en) * 2021-11-10 2022-04-12 Rammer Technologies, Inc. Tracking specialized concepts, topics, and activities in conversations
WO2023193917A1 (en) * 2022-04-07 2023-10-12 Huawei Technologies Co., Ltd. Classifier device for network traffic and method of operating said classifier device
US11450124B1 (en) * 2022-04-21 2022-09-20 Morgan Stanley Services Group Inc. Scoring sentiment in documents using machine learning and fuzzy matching
US11599713B1 (en) 2022-07-26 2023-03-07 Rammer Technologies, Inc. Summarizing conversational speech

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126507A (zh) * 2016-06-22 2016-11-16 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
CN106328122A (zh) * 2016-08-19 2017-01-11 深圳市唯特视科技有限公司 一种利用长短期记忆模型递归神经网络的语音识别方法
CN106372058A (zh) * 2016-08-29 2017-02-01 中译语通科技（北京）有限公司 一种基于深度学习的短文本情感要素抽取方法及装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8959011B2 (en) * 2007-03-22 2015-02-17 Abbyy Infopoisk Llc Indicating and correcting errors in machine translation systems
US8355550B2 (en) 2007-05-01 2013-01-15 Siemens Aktiengesellschaft Methods and apparatus for virtual coronary mapping
US8121367B2 (en) 2007-09-21 2012-02-21 Siemens Aktiengesellschaft Method and system for vessel segmentation in fluoroscopic images
US8676730B2 (en) * 2011-07-11 2014-03-18 Accenture Global Services Limited Sentiment classifiers based on feature extraction
US9224386B1 (en) * 2012-06-22 2015-12-29 Amazon Technologies, Inc. Discriminative language model training using a confusion matrix
US9576262B2 (en) * 2012-12-05 2017-02-21 Microsoft Technology Licensing, Llc Self learning adaptive modeling system
GB2541625A (en) * 2014-05-23 2017-02-22 Datarobot Systems and techniques for predictive data analytics
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
US11113598B2 (en) 2015-06-01 2021-09-07 Salesforce.Com, Inc. Dynamic memory network
US20160350653A1 (en) 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US20170032280A1 (en) 2015-07-27 2017-02-02 Salesforce.Com, Inc. Engagement estimator
US20170140240A1 (en) 2015-07-27 2017-05-18 Salesforce.Com, Inc. Neural network combined image and text evaluator and classifier
EP3582151A1 (en) 2015-08-15 2019-12-18 Salesforce.com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
US9607616B2 (en) 2015-08-17 2017-03-28 Mitsubishi Electric Research Laboratories, Inc. Method for using a multi-scale recurrent neural network with pretraining for spoken language understanding tasks
US10289731B2 (en) * 2015-08-17 2019-05-14 International Business Machines Corporation Sentiment aggregation
US9836484B1 (en) * 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US10810212B2 (en) * 2016-07-29 2020-10-20 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Validating provided information in a conversation
US10565493B2 (en) 2016-09-22 2020-02-18 Salesforce.Com, Inc. Pointer sentinel mixture architecture
JP7106077B2 (ja) * 2016-09-22 2022-07-26 エヌフェレンス，インコーポレイテッド 意味的情報の可視化およびライフサイエンスエンティティ間の顕著な関連を示す時間的信号の推測のためのシステム、方法、およびコンピュータ可読媒体
US10929743B2 (en) * 2016-09-27 2021-02-23 Disney Enterprises, Inc. Learning to schedule control fragments for physics-based character simulation and robots using deep Q-learning
US10839284B2 (en) 2016-11-03 2020-11-17 Salesforce.Com, Inc. Joint many-task neural network model for multiple natural language processing (NLP) tasks
US20180129937A1 (en) 2016-11-04 2018-05-10 Salesforce.Com, Inc. Quasi-recurrent neural network
US10963782B2 (en) 2016-11-04 2021-03-30 Salesforce.Com, Inc. Dynamic coattention network for question answering
US10565305B2 (en) 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
US10872598B2 (en) * 2017-02-24 2020-12-22 Baidu Usa Llc Systems and methods for real-time neural text-to-speech
US11354565B2 (en) 2017-03-15 2022-06-07 Salesforce.Com, Inc. Probability-based guider
US10474709B2 (en) 2017-04-14 2019-11-12 Salesforce.Com, Inc. Deep reinforced model for abstractive summarization
US20190130896A1 (en) 2017-10-26 2019-05-02 Salesforce.Com, Inc. Regularization Techniques for End-To-End Speech Recognition
US10346721B2 (en) 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126507A (zh) * 2016-06-22 2016-11-16 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
CN106328122A (zh) * 2016-08-19 2017-01-11 深圳市唯特视科技有限公司 一种利用长短期记忆模型递归神经网络的语音识别方法
CN106372058A (zh) * 2016-08-29 2017-02-01 中译语通科技（北京）有限公司 一种基于深度学习的短文本情感要素抽取方法及装置

Also Published As

Publication number Publication date
JP7104059B2 (ja) 2022-07-20
CN110431566A (zh) 2019-11-08
US20180268298A1 (en) 2018-09-20
US11250311B2 (en) 2022-02-15
CA3052212A1 (en) 2018-09-20
CA3052212C (en) 2022-05-03
US20220164635A1 (en) 2022-05-26
JP2020511720A (ja) 2020-04-16
US11354565B2 (en) 2022-06-07
US20180268287A1 (en) 2018-09-20
WO2018170175A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN110431566B (zh) 基于概率的引导器
US11797835B2 (en) Explainable transducer transformers
Guan et al. A unified probabilistic model for global and local unsupervised feature selection
Borg et al. E-mail classification with machine learning and word embeddings for improved customer support
CN113806493B (zh) 一种用于互联网文本数据的实体关系联合抽取方法、装置
EP4315106A1 (en) Accelerated document categorization using machine-learning
Jang et al. TechWordNet: Development of semantic relation for technology information analysis using F-term and natural language processing
CN116595979A (zh) 一种基于标签提示的命名实体识别方法、装置及介质
US11880660B2 (en) Interpreting text classifier results with affiliation and exemplification
CN114328931A (zh) 题目批改方法、模型的训练方法、计算机设备及存储介质
Rosander et al. Email Classification with Machine Learning and Word Embeddings for Improved Customer Support
Wibawa et al. Detecting emotions using a combination of bidirectional encoder representations from transformers embedding and bidirectional long short-term memory.
US11954135B2 (en) Methods and apparatus for intelligent editing of legal documents using ranked tokens
US20240028828A1 (en) Machine learning model architecture and user interface to indicate impact of text ngrams
CN117708351B (zh) 基于深度学习的技术标辅助评审方法、系统及存储介质
US20240184810A1 (en) Methods and apparatus for intelligent editing of legal documents using ranked tokens
CN115269854B (zh) 基于主题和结构感知神经网络的虚假新闻检测方法
Zhong Deep Neural Networks for Text Classification
Theocharopoulos et al. Who Writes the Review, Human or AI?
Preetha et al. A systematic review and research contributions on aspect-based sentiment analysis using twitter data
Tiwari IMAGE PARAGRAPH GENERATION USING DEEP LEARNING
Nedashkivskyi HIERARCHICAL MULTI-LABEL CLASSIFICATION
Jiang Very Large Language Model as a Unified Methodology of Text Mining
BAMGBOYE COMPARATIVE STUDY OF RECURRENT NEURAL NETWORK AND SUPPORT VECTOR MACHINE FOR TEXT CLASSIFICATION
CN115423106A (zh) 一种基于多模态事件知识图谱的溯因推理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Shuo Power Co.

Address before: California, USA

Applicant before: SALESFORCE.COM, Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant