CN110046709A - 一种基于双向lstm的多任务学习模型 - Google Patents

一种基于双向lstm的多任务学习模型 Download PDF

Info

Publication number
CN110046709A
CN110046709A CN201910326878.7A CN201910326878A CN110046709A CN 110046709 A CN110046709 A CN 110046709A CN 201910326878 A CN201910326878 A CN 201910326878A CN 110046709 A CN110046709 A CN 110046709A
Authority
CN
China
Prior art keywords
lstm
network
weight
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910326878.7A
Other languages
English (en)
Inventor
韩景光
赵小诣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu New Hope Finance Information Co Ltd
Original Assignee
Chengdu New Hope Finance Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu New Hope Finance Information Co Ltd filed Critical Chengdu New Hope Finance Information Co Ltd
Priority to CN201910326878.7A priority Critical patent/CN110046709A/zh
Publication of CN110046709A publication Critical patent/CN110046709A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公涉及人工智能领域的深度学习领域，开了一种基于双向LSTM的多任务学习模型，用以同时完成自然语言处理中的词性标注、语块识别、命名实体识别等任务。主要方案包括S1、定义单个长短记忆网络(LSTM)神经网络；S2、定义双向LSTM的使用方法为使用一张LSTM网络对输入数据串从左往右的顺序输入到LSTM网络(L2R)，同时输出结果为 使用一张LSTM网络对输入数据串从右往左的顺序输入LSTM网络(R2L)，同时输出结果为合并L2R与R2L网络的输出结果，即S4、合并输出层结果得到单词级的各子任务的输出。本发明不仅适用于自然语言学习领域，在其他领域皆可使用。

Description

一种基于双向LSTM的多任务学习模型
技术领域
一种基于双向LSTM的多任务学习模型，属于人工智能领域的深度学习范畴。
背景技术
深度学习是基于学习数据表示的更广泛的机器学习方法的一部分。深度学习架构，如深度神经网络，深度置信网络和递归神经网络等，已应用于计算机视觉，语音识别，自然语言处理，音频识别，社交网络过滤，机器翻译，生物信息学，药物设计，医学图像分析等领域。由深度学习框架所产生的模型结果可与人类专家相媲美，甚至在某些情况下优于人类专家。
与机器学习一样深度学习可以分为两种：监督学习与无监督学习。近年来，深度学习技术随着计算机算力的提高得到飞速的发展。在信息识别、推荐引擎等领域都取得了出色的应用效果。同时，大量实验结果证明深度学习模型有着良好的鲁棒性和泛化性。
目前，传统的分类模型都以单一模型针对单一任务进行建模，在生产环境中，该建模方式需耗费大量人力与算力对相似的任务进行重复建模。对于复杂的问题，传统模型的解决思路是将复杂问题分解为简单且相互独立的子问题来单独建模解决，然后再合并结果，从而得到最初复杂问题的结果。而生产环境中很多问题不能分解为一个一个独立的子问题，即使可以分解，各个子问题之间也存在较强的相关性。
发明内容
针对上述生产环境中存在的问题，本发明提供了一种基于双向LSTM的多任务学习模型框架，解决传统单任务模型一次训练只能产生一个模型应对单一任务的问题，强化了相关任务之间模型的性能，对比现有技术，本专利提供了一种新的方法实现多任务处理。同时，本发明所述模型可解决问题包括不限于自然语言处理中多个单词级任务、句子级任务，还可应对单词级与句子级任务的混合使用。
为达到上述目的，本发明采用如下技术方案：
一、针对多个单词级或多个句子级任务
S1、首先定义单个LSTM神经网络构造如下：
ft＝σg(Wfxt+Ufht-1+bf)
it＝σg(Wixt+Uiht-1+bi)
ot＝σg(Woxt+Uoht-1+bo)
ct＝ft·ct-1+it·σc(Wcxt+Ucht-1+bc)
ht＝ot·σh(ct)
其中xt为t时刻的输入；W为不同输出对应的输入权重，即Wf为t时刻输出ft对应的输入权重，Wi为t时刻输出it对应的输入权重，Wo为t时刻输出ot对应的输入权重，Wc为t时刻输出ct对应的输入权重；U为不同输出对应的输出权重，即Uf为t时刻输出ft对应的输出权重，Ui为t时刻输出it对应的输出权重，Uo为t时刻输出ot对应的输出权重，Uc为t时刻输出ct对应的输出权重；b为不同输出对应的偏置；σ为ReLu激活函数。
S2、定义双向LSTM(Bi-LSTM)的使用方法为使用一张LSTM网络对输入数据串从左往右的顺序输入到LSTM网络(L2R)，同时输出结果为使用一张LSTM网络对输入数据串从右往左的顺序输入LSTM网络(R2L)，同时输出结果为其具体操作为：
S2.1、设置神经网络输入层，并配置初始权重；
S2.2、设置神经网络隐藏层，隐藏层设置为1层或2层的长短期记忆网络，并结S2.1中的初始权重进行训练，得到训练后的隐藏层权重；
S2.3、设置输出层，结合S4.2中隐藏层的权重输出模型结果；
S2.4、将输入数据按照从左往右的顺序输入LSTM模型，并进行S2.1到S2.3的步骤，得到输出结果
S2.5、将输入数据按照从右往左的顺序输入LSTM模型，并进行S2.1到S2.3的步骤，得到输出结果
S3、合并L2R与R2L网络的输出结果构成Bi-LSTM模型，即使用Bi-LSTM网络的意义在于，Bi-LSTM网络能够从输入句子的正反两个方向学习到历史与未来的信息，从而有利于提高对后续任务的预测能力。
S4、将Bi-LSTM的输出作为下级子任务的输入，该阶段可以链接任意个数的全联接神经网络模型，并将各子任务的输出传入其他子任务中。该操作的意义在于，把Bi-LSTM神经网络与其他子任务全联接模型的输出数据进行自动化的特征选择与特征权重赋值，通过训练迭代达到自动化参数调整的目的。该操作异于传统意义的有人工参与的特征选择过程，模型通过迭代可以发现数据内在联系，找到人工不易发现的细微特征，显著提高模型性能。同时，由于其他子任务的输出作为当前子任务的输入，并且各个子任务之间存在一定的任务相关性，该操作能为各子任务提供较强的特征参考，增加了于任务之间的协同性。另外，由于特征数量的增加，也在一定程度上增加了子任务模型的数据噪声，可使训练的到的模型有较强的泛化能力。
S4、合并输出层结果得到单词级的各子任务的输出，以三个子任务为例可以得到如下公式：
其中m为不同子任务的编号，b为偏置，softmax为softmax函数。
二、针对同时存在单词级与句子级任务
S1、与针对多个单词级或多个句子级任务一样，首先定义单个LSTM神经网络构造如下：
ft＝σg(Wfxt+Ufht-1+bf)
it＝σg(Wixt+Uiht-1+bi)
ot＝σg(Woxt+Uoht-1+bo)
ct＝ft·ct-1+it·σc(Wcxt+Ucht-1+bc)
ht＝ot·σh(ct)
其中xt为t时刻的输入；W为不同输出对应的输入权重，即Wf为t时刻输出ft对应的输入权重，Wi为t时刻输出it对应的输入权重，Wo为t时刻输出ot对应的输入权重，Wc为t寸刻输出ct对应的输入权重；U为不同输出对应的输出权重，即Uf为t时刻输出ft对应的输出权重，Ui为t时刻输出it对应的输出权重，Uo为t时刻输出ot对应的输出权重，Uc为t时刻输出ct对应的输出权重；b为不同输出对应的偏置；σ为ReLu激活函数。
S2、定义双向LSTM(Bi-LSTM)的使用方法为使用一张LSTM网络对输入数据串从左往右的顺序输入到LSTM网络(L2R)，同时输出结果为使用一张LSTM网络对输入数据串从右往左的顺序输入LSTM网络(R2L)，同时输出结果为其具体操作为：
S2.1、设置神经网络输入层.并配置初始权重；
S2.2、设置神经网络隐藏层，隐藏层设置为1层或2层的长短期记忆网络，并结合S2.1中的初始权重进行训练，得到训练后的隐藏层权重；
S2.3、设置输出层，结合S2.2中隐藏层的权重输出模型结果；
S2.4、将输入数据按照从左往右的顺序输入LSTM模型，并进行S2.1到S2.3的步骤，得到输出结果
S2.5、将输入数据按照从右往左的顺序输入LSTM模型，并进行S2.1到S2.3的步骤，得到输出结果
S3、合并L2R与R2L网络的输出结果构成Bi-LSTM模型，即
S4、合并输出层结果得到单词级的各子任务的输出，以三个子任务为例可以得到如下公式：
S5、构造句子级各子任务的输入如下所示：
xt＝Ht+ym+ym+1+ym+2
S6、运用S5中构造的输入作为下一级任务的输入，重复S1至S4可得到下一级任务的输出。
本发明因为采用以上技术方案因此具备以下有益效果：
一、本专利要求在前置模型中同时使用了两个LSTM模型，其中一个LSTM模型识别输入数据的正向顺序(从左向右输入)，另一个LSTM模型识别输入数据的逆向顺序(从右向左输入)，该操作能够让神经网络不仅能够充分的学习到历史信息的上下文信息，同时也能学习到未来信息的上下文信息。
二、在前置模型中使用了类似Boosting的模型组合策略，将两个输入数据不同方向的LSTM神经网络进行结合，作为中间模型的输入结果。
三、本专利在LSTM网络的内部构造上同样具有原创性，本专利为了简化LSTM网络结构，在激活函数上均采用ReLu激活函数作为激活函数。同时，该操作能够在计算速度上达到计算速度的提升。
四、本专利所述模型具有较强的拓展性，其具体表现为：
4.1、当模型结构为双向LSTM模型+多任务模型时，模型可以同时完成多任务模型所对应的多个单词级任务。
4.2、当模型结构为双向LSTM模型+多任务模型+双向LSTM模型+多任务模型时，模型可以同时完成单词级任务与句子级任务。
4.3、多任务模型之间具备权重共享的特性，即第一个子任务模型的输出权重以一定比例共享给第二个子任务模型，以此类推。同时，第一个子任务的模型输出作为第二个子任务模型的入模特征。该操作为后续子任务模型提供了更多维度的数据特征，该操作可以类比于集成学习中的boosting，提高了模型整体的预测能力，同时由于子任务模型的具体任务具有一定差异，该差异可以将上级子任务模型的输入在一定程度上视为噪声数据为下级子任务模型提供数据噪声，增强子任务模型的泛化能力。
4.5、本专利二、针对同时存在单词级与句子级任务中S6的意义在于：
4.5.1、将上级多任务模块的输出整合后作为下一个多任务模块的Bi-LSTM的输入。该阶段，Bi-LSTM作为两个多任务模块的链接，对输入数据重新进行特征采样，并将采样结果传入下一多任务模块的各子任务模型中。该操作的意义在于，Bi-LSTM神经网络对上级多任务模块的Bi-LSTM模型行输出与其他子任务全联接模型的输出数据重新进行自动化的特征选择与特征权重赋值，通过训练迭代达到自动化参数调整的目的。该操作异于传统意义的有人工参与的特征选择过程，模型通过迭代可以发现数据内在联系，找到人工不易发现的细微特征，显著提高模型性能。
4.5.2、由于下级多任务模块同样使用Bi-LSTM模型作为两个多任务模块的连结，可使后续多任务模块同样参考上级多任务模块的历史与未来的信息，可以动态的调整下级多任务模块内各模型的权重配置。
4.5.3、该操作也异于传统多层单任务Bi-LSTM模型结构，由于把上级多任务模块的各子任务的输出作为下级多任务模块的输入，并且因为各个子任务之间存在一定的任务相关性，该操作能为下级多任务模块提供较强的特征参考，增加了子任务之间的协同性。另外，由于特征数量的增加，也在一定程度上增加下级多任务模型的数据噪声，可使训练的到的模型有较强的泛化能力。
4.5.4、与本专利模型对比，传统双层单任务Bi-LSTM模型缺少中间的各子任务模块，因此会导致传统双层单任务Bi-LSTM的二级Bi-LSTM模型对上级Bi-LSTM模型的输出进行过度采样(因为上级Bi-LSTM模型的输出与预测结果存在较强相关性)，从而导致传统双层单任务Bi-LSTM模型对任务的泛化性能较差。而本专利模型通过构建各子任务模块，显示地引入与预测结果不明显相关的数据作为二级Bi-LSTM模型的输入特征，可以明显地避免传统双层单任务Bi-LSTM中所出现的问题，提高了模型的泛化能力。
4.5、对比专利文件“CN109375776A-基于多任务RNN模型的脑电信号动作意图识别方法”在多任务阶段使用模型仅作为多分类任务，而本专利要求模型不仅能用于多分类任务(单词级任务)，同时可以用于非分类任务上，如文本的情感识别，文本输出预测，拼写纠正等任务。
附图说明
图1为本发明中使用的LSTM模型构造与内部结构图；
图2为本发明中多任务的单词级/句子级模型结构图；
图3为本发明中多任务的单词级与句子级模型结构图。
具体实施方式
下面将结合附图对模型进行具体描述：
本发明提供了一种基于双向LSTM的多任务学习模型，其特征在于以下三点：
S1.1、提出了一个统一的多任务学习模型，其中包含最少数量的RNN(循环神经网络)层(两层/一层)用于单词级和句子级的自然语言处理任务。
S1.2、该模型可用于多个单词级任务(如POS，Chunk，NER)也可以用于多个句子级任务(如情感分析)。同时，也可以一起学习这两种类型的任务。
S1.3、保持较少的RNN/LSTM神经网络的层数，仅改变输出层以加快训练速度。
在S1.1中模型使用的神经网络层数较少，以应对不同类型的自然语言处理任务。使用较少的神经网络层数可以加快模型训练的速度。
S1.2中模型区别于传统的单任务模型中一个模型仅能完成一个任务，专利要求1所述模型可以同时对自然语言处理中单词级或句子级的任务进行统一学习。由于统一学习的任务具备相关性，多个任务之间可共享一些因素(包括不限于入模特征，神经网络的模型参数等)，从而提高模型中各任务的效果与泛化性能。
实施例
一、针对多个单词级或多个句子级任务
S1、如图1所示，首先定义单个LSTM神经网络构造如下：
ft＝σg(Wfxt+Ufht-1+bf)
it＝σg(Wixt+Uiht-1+bi)
ot＝σg(Woxt+Uoht-1+bo)
ct＝ft·ct-1+it·σc(Wcxt+Ucht-1+bc)
ht＝ot·σh(ct)
S2、定义双向LSTM(Bi-LSTM)的使用方法为使用一张LSTM网络对输入数据串从左往右的顺序输入到LSTM网络(L2R)，同时输出结果为使用一张LSTM网络对输入数据串从右往左的顺序输入LSTM网络(R2L)，同时输出结果为
S3、合并L2R与R2L网络的输出结果，即如图2中“+”所示部分；
S4、合并输出层结果得到单词级的各子任务的输出，以三个子任务为例可以得到如下公式：
二、针对同时存在单词级与句子级任务
S1、与针对多个单词级或多个句子级任务一样，首先定义单个LSTM神经网络结构(如图1所示)如下：
ft＝σg(Wfxt+Ufht-1+bf)
it＝σg(Wixt+Uiht-1+bi)
ot＝σg(Woxt+Uoht-1+bo)
ct＝ft·ct-1+it·σc(Wcxt+Ucht-1+bc)
ht＝ot·σh(ct)
S2、定义双向LSTM(Bi-LSTM)的使用方法为使用一张LSTM网络对输入数据串从左往右的顺序输入到LSTM网络(L2R)，同时输出结果为使用一张LSTM网络对输入数据串从右往左的顺序输入LSTM网络(R2L)，同时输出结果为
S3、合并L2R与R2L网络的输出结果，即如图3下部“+”所示部分；
S4、合并输出层结果得到单词级的各子任务的输出.以三个子任务为例可以得到如下公式：
S5、如图3上部“+”所示部分，构造句子级各子任务的输入如下所示：
x′t＝Ht+ym+ym+1+ym+2
S6、运用S5中构造的输入作为下一级任务的输入，重复S1至S4可得到下一级任务的输出。

Claims (3)

1.一种基于双向LSTM的多任务学习模型，其特征在于，包括以下步骤：
S1、定义单个LSTM神经网络；
S2、定义双向LSTM的使用方法为使用一张LSTM网络对输入数据串从左往右的顺序输入到LSTM网络L2R，同时输出结果为使用一张LSTM网络对输入数据串从右往左的顺序输入LSTM网络R2L，同时输出结果为
S3、合并LSTM网络L2R与LSTM网络R2L网络的输出结果，即
S4、合并输出层结果得到单词级的各子任务的输出，以三个子任务为例可以得到如下公式：
其中m为不同子任务的编号，b为偏置，softmax为softmax函数；
S5、构造句子级各子任务的输入如下所示：
x′t＝Ht+ym+ym+1+ym+2
S6、运用S5中构造的输入作为下一级任务的输入，重复S1至S4可得到下一级任务的输出；
针对多个单词级或多个句子级任务，执行步骤S1-S4，针对同时存在单词级与句子级任务执行步骤S1-S6。
2.根据专利要求1所述的一种基于双向LSTM的多任务学习模型，其特征在于，单个LSTM神经网络构造如下：
ft＝σg(Wfxt+Ufht-1+bf)
it＝σg(Wixt+Uiht-1+bi)
ot＝σg(Woxt+Uoht-1+bo)
ct＝ft·ct-1+it·σc(Wcxt+Ucht-1+bc)
ht＝ot·σh(ct)
其中xt为t时刻的输入；W为不同输出对应的输入权重，即Wf为t时刻输出ft对应的输入权重，Wi为t时刻输出it对应的输入权重，Wo为t时刻输出ot对应的输入权重，Wc为t时刻输出ct对应的输入权重；U为不同输出对应的输出权重，即Uf为t时刻输出ft对应的输出权重，Ui为t时刻输出it对应的输出权重，Uo为t时刻输出ot对应的输出权重，Uc为t时刻输出ct对应的输出权重；b为不同输出对应的偏置；σ为ReLu激活函数。
3.根据专利要求1所述的一种基于双向LSTM的多任务学习模型，其特征在于，步骤S2包括以下步骤：
S2.1、设置神经网络输入层，并配置初始权重；
S2.2、设置神经网络隐藏层，隐藏层设置为1层或2层的长短期记忆网络，并结合S2.1中的初始权重进行训练，得到训练后的隐藏层权重；
S2.3、设置输出层，结合S2.2中隐藏层的权重输出模型结果；
S2.4、将输入数据按照从左往右的顺序输入LSTM模型，并进行S2.1到S2.3的步骤，得到输出结果
S2.5、将输入数据按照从右往左的顺序输入LSTM模型，并进行S2.1到S2.3的步骤，得到输出结果
CN201910326878.7A 2019-04-22 2019-04-22 一种基于双向lstm的多任务学习模型 Pending CN110046709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910326878.7A CN110046709A (zh) 2019-04-22 2019-04-22 一种基于双向lstm的多任务学习模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910326878.7A CN110046709A (zh) 2019-04-22 2019-04-22 一种基于双向lstm的多任务学习模型

Publications (1)

Publication Number Publication Date
CN110046709A true CN110046709A (zh) 2019-07-23

Family

ID=67278590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910326878.7A Pending CN110046709A (zh) 2019-04-22 2019-04-22 一种基于双向lstm的多任务学习模型

Country Status (1)

Country Link
CN (1) CN110046709A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209738A (zh) * 2019-12-31 2020-05-29 浙江大学 一种联合文本分类的多任务命名实体识别方法
CN112149119A (zh) * 2020-09-27 2020-12-29 苏州遐视智能科技有限公司 一种用于人工智能系统的动态主动安全防御方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN109375776A (zh) * 2018-10-30 2019-02-22 东北师范大学 基于多任务rnn模型的脑电信号动作意图识别方法
CN109460466A (zh) * 2018-09-20 2019-03-12 电子科技大学 一种基于多任务双向长短时记忆网络的隐式句间关系分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN109460466A (zh) * 2018-09-20 2019-03-12 电子科技大学 一种基于多任务双向长短时记忆网络的隐式句间关系分析方法
CN109375776A (zh) * 2018-10-30 2019-02-22 东北师范大学 基于多任务rnn模型的脑电信号动作意图识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖祥文等: "《基于多任务迭代学习的论辩挖掘方法》", 《计算机学报》 *
郭江: "《基于分布表示的跨语言跨任务自然语言分析》", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209738A (zh) * 2019-12-31 2020-05-29 浙江大学 一种联合文本分类的多任务命名实体识别方法
CN112149119A (zh) * 2020-09-27 2020-12-29 苏州遐视智能科技有限公司 一种用于人工智能系统的动态主动安全防御方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US11514305B1 (en) Intelligent control with hierarchical stacked neural networks
US20230419074A1 (en) Methods and systems for neural and cognitive processing
CN106560848B (zh) 模拟生物双向认知能力的新型神经网络模型及训练方法
CN109992779B (zh) 一种基于cnn的情感分析方法、装置、设备及存储介质
CN109829541A (zh) 基于学习自动机的深度神经网络增量式训练方法及系统
Lin et al. Attribute-Aware Convolutional Neural Networks for Facial Beauty Prediction.
CN104732274A (zh) 一种智能计算机
CN107451230A (zh) 一种问答方法以及问答系统
CN108427665A (zh) 一种基于lstm型rnn模型的文本自动生成方法
CN108829737B (zh) 基于双向长短期记忆网络的文本交叉组合分类方法
CN113987179A (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
CN113254675B (zh) 基于自适应少样本关系抽取的知识图谱构建方法
Wu et al. Optimized deep learning framework for water distribution data-driven modeling
Tirumala Evolving deep neural networks using coevolutionary algorithms with multi-population strategy
CN110046709A (zh) 一种基于双向lstm的多任务学习模型
Hebbar Augmented intelligence: Enhancing human capabilities
Monroe Neurosymbolic ai
CN112000793B (zh) 一种面向人机交互的对话目标规划方法
CN114169408A (zh) 一种基于多模态注意力机制的情感分类方法
CN110297894A (zh) 一种基于辅助网络的智能对话生成方法
CN112560440A (zh) 一种基于深度学习的面向方面级情感分析的句法依赖方法
CN116975743A (zh) 行业信息分类方法、装置、计算机设备和存储介质
Goertzel et al. The Novamente artificial intelligence engine
Li et al. Multimodal information-based broad and deep learning model for emotion understanding
Chander Deep learning network: deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723

RJ01 Rejection of invention patent application after publication