CN111563534A - 一种基于自编码器的任务导向型词嵌入向量融合方法 - Google Patents

一种基于自编码器的任务导向型词嵌入向量融合方法 Download PDF

Info

Publication number
CN111563534A
CN111563534A CN202010272357.0A CN202010272357A CN111563534A CN 111563534 A CN111563534 A CN 111563534A CN 202010272357 A CN202010272357 A CN 202010272357A CN 111563534 A CN111563534 A CN 111563534A
Authority
CN
China
Prior art keywords
word
task
word embedding
vectors
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010272357.0A
Other languages
English (en)
Other versions
CN111563534B (zh
Inventor
蔡毅
吴欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010272357.0A priority Critical patent/CN111563534B/zh
Publication of CN111563534A publication Critical patent/CN111563534A/zh
Application granted granted Critical
Publication of CN111563534B publication Critical patent/CN111563534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于自编码器的任务导向型词嵌入向量融合方法，包括步骤：获取待融合的原始词嵌入向量；选定下游任务并计算出任务导向标签；对一个自编码器进行训练；获取融合后的元词嵌入向量；将元词嵌入向量经过解码器预测原始词嵌入向量和经过一个解码器预测任务导向标签，计算误差并进行反向传播训练；当遇到新词或者需要再训练时，通过训练好的编码器和融合操作即可得到新词的元词嵌入向量。本发明具有良好的特征筛选以及下游任务导向学习的能力，在重构原始词嵌入向量的基础上，提高了元词嵌入向量在下游任务的性能，可广泛应用于自然语言处理任务中的文本分类，命名实体识别等领域。

Description

一种基于自编码器的任务导向型词嵌入向量融合方法
技术领域
本发明涉及自然语言处理中的词嵌入表示技术领域，尤其涉及一种基于自编码器的任务导向型词嵌入向量融合方法。
背景技术
词语的语义表示是自然语言处理任务中的重要一环，许多自然语言处理任务中都建立在其之上。近几年随着词嵌入技术的发展，涌现出了许多词嵌入表示的方法，例如word2vec，Glove等等。上述方法使用不同的损失函数和语料进行训练，得到了许多不同的预训练词嵌入向量。这些预训练词嵌入向量中包含了丰富的词语语义信息，在诸多下游自然语言处理任务中取得了不错的效果。
然而，在实践中通常会发现不同的预训练词嵌入向量在不同的自然语言处理任务上效果具有明显的差异，并且即使在同一个任务上，使用不同的数据集时也会受预训练词嵌入向量的影响。同时，这些预训练的词嵌入向量大多在海量的语料上训练得到，其中包含的是比较通俗的语义信息，而在特定的自然语义处理任务上，往往需要词嵌入向量能够捕获特定的语义信息。这就需要使用特定任务的语料重新训练一些特定领域的词嵌入向量。如何融合这些网络上可得的预训练词嵌入向量和特定领域的词嵌入向量从而获得一个包含了各自语义信息的元词嵌入向量成为近年来词嵌入表示领域研究的热点。
Joshua N Coates等人提出了使用简单的取平均操作融合多种原始词嵌入向量，并通过推导证明了当这些原始词嵌入向量呈正交时，所保留的语言信息和拼接操作是一致的。但是简单的取平均操作并不能很好地保留不同词嵌入向量中复杂的语义信息，CongBao等人在2018年提出使用自编码器的结构对多种词嵌入向量进行融合，在其方法中主要运用了多个编码器对多个原始词嵌入向量进行编码，并将编码后的结果进行融合得到元词嵌入向量，通过多个解码器将元词嵌入向量重新解码成原始词嵌入向量，并计算解码和真实的词嵌入向量之间的误差进行训练。这种自编码器的结构能够很好地训练模型来捕捉多种词嵌入向量之间不同的语义信息，并将其映射到同一个空间，使其融合后的元词嵌入向量仍可以解码回原始的词嵌入向量。
但是采用自编码器的做法仍然存在以下缺陷，自编码器的结构中除了重构损失外无其他监督信号，无法保证编码器编码的是想获得的信息，很可能是一些无用的信息。同时，对多种编码后的结果Cao Bao的方法中只是使用简单的拼接或者取平均的操作进行融合。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于自编码器的任务导向型词嵌入向量融合方法。本发明使用更多的选择机制作用在自编码器上，使其能够对不同原始词嵌入向量中的信息进行选择，保留最有用的信息。本发明使用下游任务作为训练导向，使自编码器选择对不同词嵌入向量的编码结果进行筛选，选择最有用的信息进行保留。本发明具有良好的特征筛选以及下游任务导向学习的能力，在重构原始词嵌入向量的基础上，提高了元词向量在下游任务的性能。
本发明的目的能够通过以下技术方案实现：
一种基于自编码器的任务导向型词嵌入向量融合方法，包括步骤：
获取N个待融合的原始词嵌入向量；
选定下游任务并根据该下游任务计算出用于训练融合模型的任务导向标签；所述融合模型包括一个自编码器；
以N个原始词嵌入向量作为输入，以N个原始词嵌入向量和任务导向标签作为输出，来对一个自编码器进行训练；
N个原始词嵌入向量通过训练好的自编码器中的N个编码器得到N个映射词嵌入向量，将N个映射词嵌入向量经过融合操作后得到一个融合后的元词嵌入向量；
将元词嵌入向量经过N个解码器预测N个原始词嵌入向量和一个解码器预测任务导向标签，通过计算预测原始词嵌入向量和真实原始词嵌入向量，预测任务导向标签和真实任务导向标签之间的误差，通过联合学习的方式进行反向传播训练；
保留训练好元词嵌入向量作为算法的输出，即融合N个原始词嵌入向量的融合词嵌入向量，保留训练好的N个编码器，当遇到新词或者需要再训练时，通过训练好的编码器和融合操作即可得到新词的元词嵌入向量。
本发明相较于现有技术，具有以下的有益效果：
1、本发明在自编码器的重构损失上，额外加入了两种选择机制，确保模型能够对不同词嵌入向量中最有用的信息进行保留，忽略错误或无意义的信息。
2、本发明具体分别使用下游任务作为训练导向，使自编码器选择对下游任务中有用的信息进行融合，同时在元词嵌入融合阶段，使用attention机制对不同词嵌入向量的编码结果进行筛选，选择最有用的信息进行保留。
3、本发明具有良好的特征筛选以及下游任务导向学习的能力，在重构原始词嵌入向量的基础上，提高了元词嵌入向量在下游任务的性能，可广泛应用于自然语言处理任务中的文本分类和命名实体识别等领域。
附图说明
图1为本发明中一种基于自编码器的任务导向型词嵌入向量融合方法的流程图。
图2为本发明实施例的词嵌入向量融合模型的结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示为一种基于自编码器的任务导向型词嵌入向量融合方法的流程图，所述方法包括步骤：
(1)获取N个待融合的原始词嵌入向量；
具体地，通过现有词嵌入技术获取待融合的原始词嵌入向量，包括Word2Vec、Glove等。
(2)选定下游任务并根据该下游任务计算出用于训练融合模型的任务导向标签，所述融合模型的结构如图2所示，包括步骤：
设下游任务中包含d篇文档，用集合D表示，类别标签集合为Y，第i篇文档Di的标签为yi，i∈[1,d]，yi∈Y；
(2-1)每篇文档中包含若干个词语，通过统计词语wj在哪些文档中出现过，得到一个词语文档分布向量qj；其中qj的维度为d，每一维的值为0或者1，0和1分别表示wj在文档Di中没出现过和出现过；
(2-2)每篇文档都有对应的一个类别标签，因此可以通过变换词语文档分布向量qj得到词语类别的分布向量pj；其中pj的每一维的值为0或者一个正数，该正数表示wj在类别Yk中出现的文档数；
例如，词语“电脑”的词语类别分布向量为[10,0,0]，且对应的类别标签为“科技，政治，娱乐”，则说明在科技类别中有10篇文档包含了词语“电脑”，在政治，娱乐类别中则没有包含；
(2-3)将每个词语的词语类别分布向量进行归一化操作，使其每一维度相加的和为1，并将所有词语的归一化词语类别分布向量拼接成一个矩阵T，即任务导向标签。
(3)以N个原始词嵌入向量作为输入，以N个原始词嵌入向量和任务导向标签作为输出，来对一个自编码器进行训练，所述自编码器包括N个编码器以及N个解码器；
(4)N个原始词嵌入向量通过训练后的自编码器中的N个编码器得到N个映射词嵌入向量，将N个映射词嵌入向量经过融合操作后得到一个融合后的元词嵌入向量。
设N个原始词嵌入向量的集合为S＝{S1,S2,…,SN}，其中Si∈Rv*d均为一个矩阵，v为词汇表大小，词汇表为一个数据集中所有词汇构成的集合，d为词嵌入向量的维度，因此，每一个矩阵表示的是一种词嵌入技术所得到的所有词的原始词嵌入向量；设N个编码器的集合为E＝{E1,E2,…,EN}，其中编码器Ei是一个多层神经网络，用于对N个原始词嵌入向量分别进行编码；
具体地，设当前训练的词语为wj，则该词语对应的N个原始词嵌入向量为S(wj)＝[S1(wj),S2(wj),…,SN(wj)]，这N个原始词嵌入向量经过N个编码器后得到的N个映射词嵌入向量为E1(S1(wj)),E2(S2(wj)),…,EN(SN(wj))。为了更好地从这N个映射词嵌入向量中选择有用的信息，使用attention机制对这N个映射词嵌入向量E1(S1(wj)),E2(S2(wj)),…,EN(SN(wj))进行融合，最终得到一个元词嵌入向量M(wj)：
M(wj)＝ATTENTION(E1(S1(wj)),E2(S2(wj)),…,EN(SN(wj)))
(5)将元词嵌入向量经过N个解码器预测N个原始词嵌入向量和经过一个解码器预测任务导向标签，通过计算预测原始词嵌入向量和真实原始词嵌入向量的误差以及预测任务导向标签和真实任务导向标签之间的误差，通过联合学习的方式进行反向传播训练，包括步骤：
(5-1)将词语wj的元词嵌入向量M(wj)输入到N个解码器中解码出预测的原始词嵌入向量G(wj)＝[G1(M(wj)),G2(M(wj)),…,GN(M(wj))]；
(5-2)将词语wj的元词嵌入向量M(wj)输入到自编码器之外的一个解码器中，解码出预测的任务导向标签Tpred(wj)；
(5-3)通过MSE计算预测原始词嵌入向量和真实原始词嵌入向量的误差以及预测任务导向标签和真实任务导向标签之间的误差L1和L2：
L1＝MSE(S(wj),G(wj))
L2＝MSE(T(wj),Tpred(wj))
其中，S(wj)和G(wj)分别为真实的和预测的原始词嵌入向量，T(wj)和Tpred(wj)分别为真实的和预测的任务导向标签；
(5-4)为了使融合模型能够同时学习到如何预测原始词嵌入向量和如何预测任务导向标签，使用联合学习的方式将L1和L2两个误差结合起来得到最终误差L，并通过梯度下降方向传播的方法对整个融合模型的参数进行更新，所述参数为模型中编码器及解码器中的参数：
L＝αL1+(1-α)L2
其中，α为调节因子，用于平衡L1和L2在数值上的差异。
(6)保留训练好的元词嵌入向量作为算法的输出，即融合N个原始词嵌入向量的融合词嵌入向量，便于用于其他下游任务；保留训练好的N个编码器，当遇到新词或者需要再训练时，重复步骤(4)即可得到新词的元词嵌入向量。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于自编码器的任务导向型词嵌入向量融合方法，其特征在于，包括步骤：
获取N个待融合的原始词嵌入向量；
选定下游任务并根据该下游任务计算出用于训练融合模型的任务导向标签；所述融合模型包括一个自编码器；
以N个原始词嵌入向量作为输入，以N个原始词嵌入向量和任务导向标签作为输出，来对一个自编码器进行训练；所述自编码器包括N个编码器与N个解码器；
N个原始词嵌入向量通过训练后的自编码器中的N个编码器得到N个映射词嵌入向量，将N个映射词嵌入向量经过融合操作后得到一个融合后的元词嵌入向量；
将元词嵌入向量经过N个解码器预测N个原始词嵌入向量和经过一个解码器预测任务导向标签，通过计算预测原始词嵌入向量和真实原始词嵌入向量的误差以及预测任务导向标签和真实任务导向标签之间的误差，通过联合学习的方式进行反向传播训练；
保留训练好元词嵌入向量作为算法的输出，即融合N个原始词嵌入向量的融合词嵌入向量，保留训练好的N个编码器，当遇到新词或者需要再训练时，通过训练好的编码器和融合操作即可得到新词的元词嵌入向量。
2.根据权利要求1所述的方法，其特征在于，所述选定下游任务并根据该下游任务计算出用于训练融合模型的任务导向标签的步骤中，设下游任务中包含d篇文档，用集合D表示，类别标签集合为Y，第i篇文档Di的标签为yi，i∈[1,d]，yi∈Y，包括：
通过统计词语wj在哪些文档中出现过，得到一个词语文档分布向量qj；其中qj的维度为d，每一维的值为0或者1，0和1分别表示wj在文档Di中没出现过和出现过；
每篇文档都有对应的一个类别标签，通过变换词语文档分布向量qj得到词语类别的分布向量pj；其中pj的每一维的值为0或者一个正数，该正数表示wj在类别Yk中出现的文档数；
将每个词语的词语类别分布向量进行归一化操作，使其每一维度相加的和为1，并将所有词语的归一化词语类别分布向量拼接成一个矩阵T，即任务导向标签。
3.根据权利要求1所述的方法，其特征在于，所述将N个映射词嵌入向量经过融合操作后得到一个融合后的元词嵌入向量的步骤中，使用attention机制对这N个映射词嵌入向量E1(S1(wj)),E2(S2(wj)),…,EN(SN(wj))进行融合，最终得到一个元词嵌入向量M(wj)：
M(wj)＝ATTENTION(E1(S1(wj)),E2(S2(wj)),…,EN(SN(wj)))
其中，wj为当前训练的词语，该词语对应的N个原始词嵌入向量为S(wj)＝[S1(wj),S2(wj),…,SN(wj)]，这N个原始词嵌入向量经过N个编码器后得到的N个映射词嵌入向量为E1(S1(wj)),E2(S2(wj)),…,EN(SN(wj))。
4.根据权利要求1所述的方法，其特征在于，所述将元词嵌入向量经过N个解码器预测N个原始词嵌入向量和经过一个解码器预测任务导向标签，通过计算预测原始词嵌入向量和真实原始词嵌入向量的误差以及预测任务导向标签和真实任务导向标签之间的误差，通过联合学习的方式进行反向传播训练的步骤中，包括：
将词语wj的元词嵌入向量M(wj)输入到N个解码器中解码出预测的原始词嵌入向量G(wj)＝[G1(M(wj)),G2(M(wj)),…,GN(M(wj))]；
将词语wj的元词嵌入向量M(wj)输入到一个解码器中解码出预测的任务导向标签Tpred(wj)；
通过MSE计算预测原始词嵌入向量和真实原始词嵌入向量的误差以及预测任务导向标签和真实任务导向标签之间的误差L1和L2：
L1＝MSE(S(wj),G(wj))
L2＝MSE(T(wj),Tpred(wj))
其中，S(wj)和G(wj)分别为真实的和预测的原始词嵌入向量，T(wj)和Tpred(wj)分别为真实的和预测的任务导向标签；
使用联合学习的方式将L1和L2两个误差结合起来得到最终误差L，并通过梯度下降方向传播的方法对整个模型的参数进行更新。
5.根据权利要求4所述的方法，其特征在于，最终误差L的计算方法为：
L＝αL1+(1-α)L2
其中，α为调节因子，用于平衡L1和L2在数值上的差异。
CN202010272357.0A 2020-04-09 2020-04-09 一种基于自编码器的任务导向型词嵌入向量融合方法 Active CN111563534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010272357.0A CN111563534B (zh) 2020-04-09 2020-04-09 一种基于自编码器的任务导向型词嵌入向量融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010272357.0A CN111563534B (zh) 2020-04-09 2020-04-09 一种基于自编码器的任务导向型词嵌入向量融合方法

Publications (2)

Publication Number Publication Date
CN111563534A true CN111563534A (zh) 2020-08-21
CN111563534B CN111563534B (zh) 2023-02-14

Family

ID=72074262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010272357.0A Active CN111563534B (zh) 2020-04-09 2020-04-09 一种基于自编码器的任务导向型词嵌入向量融合方法

Country Status (1)

Country Link
CN (1) CN111563534B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643720A (zh) * 2021-08-06 2021-11-12 腾讯音乐娱乐科技（深圳）有限公司 歌曲的特征提取模型训练方法、歌曲识别方法及相关设备
CN115374787A (zh) * 2022-10-21 2022-11-22 神州医疗科技股份有限公司 基于医学命名实体识别的持续学习的模型训练方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299273A (zh) * 2018-11-02 2019-02-01 广州语义科技有限公司 基于改进seq2seq模型的多源多标签文本分类方法及其系统
CN109582786A (zh) * 2018-10-31 2019-04-05 中国科学院深圳先进技术研究院 一种基于自动编码的文本表示学习方法、系统及电子设备
CN109582767A (zh) * 2018-11-21 2019-04-05 北京京东尚科信息技术有限公司 对话系统处理方法、装置、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582786A (zh) * 2018-10-31 2019-04-05 中国科学院深圳先进技术研究院 一种基于自动编码的文本表示学习方法、系统及电子设备
CN109299273A (zh) * 2018-11-02 2019-02-01 广州语义科技有限公司 基于改进seq2seq模型的多源多标签文本分类方法及其系统
CN109582767A (zh) * 2018-11-21 2019-04-05 北京京东尚科信息技术有限公司 对话系统处理方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI CAI ET AL.: "Incorporating context-relevant knowledge into convolutional neural networks for short text classification", 《INCORPORATING CONTEXT-RELEVANT KNOWLEDGE INTO CONVOLUTIONAL NEURAL NETWORKS FOR SHORT TEXT CLASSIFICATION》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643720A (zh) * 2021-08-06 2021-11-12 腾讯音乐娱乐科技（深圳）有限公司 歌曲的特征提取模型训练方法、歌曲识别方法及相关设备
CN115374787A (zh) * 2022-10-21 2022-11-22 神州医疗科技股份有限公司 基于医学命名实体识别的持续学习的模型训练方法及装置
CN115374787B (zh) * 2022-10-21 2023-01-31 神州医疗科技股份有限公司 基于医学命名实体识别的持续学习的模型训练方法及装置

Also Published As

Publication number Publication date
CN111563534B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
CN111310471B (zh) 一种基于bblc模型的旅游命名实体识别方法
CN113158665B (zh) 一种基于文本摘要生成与双向语料改善对话文本生成的方法
CN110795552B (zh) 一种训练样本生成方法、装置、电子设备及存储介质
CN110597961B (zh) 一种文本类目标注方法、装置、电子设备及存储介质
CN113254610B (zh) 面向专利咨询的多轮对话生成方法
CN110795945A (zh) 一种语义理解模型训练方法、语义理解方法、装置及存储介质
CN109522403A (zh) 一种基于融合编码的摘要文本生成方法
CN112800757B (zh) 关键词生成方法、装置、设备及介质
CN108845994A (zh) 利用外部信息的神经机器翻译系统及翻译系统的训练方法
CN111563534B (zh) 一种基于自编码器的任务导向型词嵌入向量融合方法
CN111814477B (zh) 一种基于争议焦点实体的争议焦点发现方法、装置及终端
CN116484879A (zh) 提示信息的生成方法、装置、电子设备及存储介质
CN114489669A (zh) 一种基于图学习的Python语言代码片段生成方法
CN115935957B (zh) 一种基于句法分析的句子语法纠错方法及系统
CN112163435A (zh) 机器翻译方法、机器翻译模型的训练方法、装置及设备
CN115630145A (zh) 一种基于多粒度情感的对话推荐方法及系统
CN114611520A (zh) 一种文本摘要生成方法
Ma et al. Multi-teacher knowledge distillation for end-to-end text image machine translation
CN112199952A (zh) 一种分词方法、多模式分词模型和系统
CN117493548A (zh) 文本分类方法、模型的训练方法和装置
CN115759262A (zh) 基于知识感知注意力网络的视觉常识推理方法及系统
CN115186085A (zh) 回复内容处理方法以及媒体内容互动内容的交互方法
CN113505828A (zh) 多源信息融合的分词方法、装置和设备
CN114242038A (zh) 一种语音合成方法及系统
CN113421551A (zh) 语音识别方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant