CN109918503A - 基于动态窗口自注意力机制提取语义特征的槽填充方法 - Google Patents
基于动态窗口自注意力机制提取语义特征的槽填充方法 Download PDFInfo
- Publication number
- CN109918503A CN109918503A CN201910084904.XA CN201910084904A CN109918503A CN 109918503 A CN109918503 A CN 109918503A CN 201910084904 A CN201910084904 A CN 201910084904A CN 109918503 A CN109918503 A CN 109918503A
- Authority
- CN
- China
- Prior art keywords
- word
- attention mechanism
- current
- feature
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 238000003780 insertion Methods 0.000 abstract 1
- 230000037431 insertion Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000010006 flight Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种基于动态窗口自注意力机制提取语义特征的槽填充方法，用于口语对话系统中提取用户话语的语义槽，步骤如下：将文本数据中的句子切分为词；将切分句子得到的词用词嵌入向量表示；选定一个窗口大小，对每个词计算该词需选择当前窗口内的具体信息，进一步得到当前词的上下文特征；对每个词，用该词的上下文特征和词向量，根据自注意力机制计算当前词的融合特征；对于每个词，将当前词的融合特征和当前词向量输入双向循环神经网络中进行分类，输出结果。本发明提出的动态窗口的方法先计算出上下文特征中哪些是不需要的，筛选掉不需要的特征，然后再通过自注意力机制提取剩余更有价值的特征之间的关系，得到最终的输入特征表示。
Description
技术领域
本发明涉及口语对话系统中的自然语言理解技术领域，具体涉及一种 基于动态窗口自注意力机制提取语义特征的槽填充方法。
背景技术
槽填充是口语对话系统中自然语言理解模块的重要组成部分，旨在提 取用户话语中一些比较重要的“语义槽”信息。槽填充性能的好坏，不仅对 影响着自然语言理解的准确与否，也影响着整个对话系统中的后续模块的 性能。提升槽填充的性能，可以让系统提取到用户话语中更准确的信息， 让系统更好的和用户交互，提升用户的服务体验。在如今越来越多口语系 统的不断发展下，槽填充也有着重要的实践和应用价值。
在槽填充的输入的特征提取方面，国内外目前的方法都是将词向量特 征或者字符向量特征输入到模型进行分类(具体参见：Bing Liu and Ian Lane. “Attention-BasedRecurrent Neural Network Models for Joint Intent Detection and Slot Filling”,In Proceedings of INTERSPEECH.pp.685-689,2016.)，没有进一步提取更好 的输入特征。词向量或者字符向量可以在一定程度上表示文本的语义信息， 但是直接输入模型并不能提取到很好的特征表示。一些人使用卷积神经网 络(CNN)提取输入的上下文特征(具体参见：Heike Adel,Benjamin Roth and Hinrich Schütze:“Comparing ConvolutionalNeural Networks to Traditional Models for Slot Filling”,In Proceedings ofNAACL/HLT.pp.828–838,2016.)，Li等人使用了自注意 力机制提取输入特征(具体参见：Changliang Li,Liang Li,Ji Qi.“A Self-Attentive Model with Gate Mechanism forSpoken Language Understanding”,In Proceedings of the 2018 Conference onEmpirical Methods in Natural Language Processing.pp.3824–3833, 2018.)。卷积神经网络可以提取到输入的上下文特征，但是卷积网络中卷积 核的大小是固定的，这样提取到的特征上下文范围也是固定的。尽管自注 意力机制是一种很好的特征提取手段，但是它假设了当前上下文中的信息 是同等重要的，计算时计算了上下文范围内的所有特征。卷积网络和目前 的自注意力机制都计算了上下文范围内所有特征，但是存在一些冗余特征 是不需要被计算到的，针对这个问题，目前国内外并没有相关的解决方法。 考虑到这一点，目前亟待提出一种基于动态窗口自注意力机制提取语义特 征的槽填充方法。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于动态 窗口自注意力机制提取语义特征的槽填充方法，该方法首先通过一种动态 窗口选择特征，然后采用自注意力机制进行特征融合，更好地提取输入特 征之间的关系。
本发明的目的可以通过采取如下技术方案达到：
一种基于动态窗口自注意力机制提取语义特征的槽填充方法，所述的 槽填充方法包括下列步骤：
S1、将文本数据中的每个句子切分为词；
S2、将切分句子得到的词w＝(w1,w2,…wT)用词嵌入向量 表示，其中T为词的个数，1≤i≤T；
S3、选定一个窗口大小L，对于每个词，利用当前词的词嵌入向量计算该词需要选择当前窗口内的信息，得到当前词的上下文特征表示 其中t为当前词的下标；
S4、对于每一个词，利用该词的上下文特征表示和词向量根据自注意力机制计算当前词的融合特征表示
S5、对于每一个词，将当前词的融合特征表示和词向量输入 到双向循环神经网络中进行分类，输出结果。
进一步地，所述的步骤S3包括：
S31、将当前词的词嵌入向量和窗口内词的词嵌入向量 输入到下式中，产生动态窗口 概率分布分布每个元素
其中，函数代表矩阵乘法，
S32、在训练和测试时分别利用计算得到变量 1≤t≤L-1，maskt的值为1时表示选中第t个词，maskt的值为 0时表示没有选中第t个词；
S33、利用得到经过筛选后的 窗口内的词表示也即是当前词的上下文特征表示。 其中，⊙为对应元素相乘二元运算符。
进一步地，所述的步骤S32中，在训练时实施过程如下：
从分布Gumbel(0,1)＝-log(-log(Uniform(0,1)))中产生随机变量 定义每个为g的第t维的切片向量,其中Uniform(0,1)为正 态分布；
定义温度超参数τ，定义变量它的每一个分量是一个近似0或 者1的数,[rt-L/2,…,rt-1,rt+1,…,rt+L/2]即可表示为窗口内词是否加入当 前词的语义表示中，由下式计算得到rt的第i个分量1≤i≤2：
其中，是pt的第i个分量，pt是P的第t个分量，是gt的第i个分量，exp(x) 是指数函数；
计算的值，计算公式如下：
其中，matmul(·)代表矩阵乘法。
进一步地，所述的步骤S32中，在预测时实施过程如下：
从多项式分布Multinomial(·)中采样产生其中，
mask～Multinomial(log(P))。
进一步地，所述的步骤S4实施过程如下：
其中，matmul(·)代表矩阵乘法，indicator为和矩阵乘法结果张量同维的张 量，矩阵乘法结果为0的元素，在indicator中对应位置元素为-∞，否则 为0。
进一步地，所述的步骤S5包括：
S51、遍历每一个词，将当前词的融合特征和当前词向量进 行拼接得到
S52、将得到的1≤t≤T输入到双向循环神经网络中进 行分类，得到输出结果[o1,o2,…,oT]。
进一步地，所述的文本数据包括中文数据和/或英文数据。
本发明相对于现有技术具有如下的优点及效果：
1.与卷积网络和目前的自注意力计算上下文范围内所有特征不同，存 在一些冗余特征对构建最终的输入特征是没有必要的。本发明提出的动态 窗口的方法先计算出上下文特征中哪些是不需要的，筛选掉不需要的特征。 这里使用求得的动态窗口概率分布，选择合适的温度超参数，利用Gumbel 分布和softmax函数求得近似离散的01数值，作为窗口内特征的“掩码”， 1代表保留，0代表丢弃，由于该数值是由动态窗口概率分布决定的，对于 某个特征，对应的动态窗口概率越大，该数值是1的概率就越大，就越可 能保留下来，反之同理，从而保留了窗口内有用的特征，过滤了窗口内无 用的特征。
2.经过特征的筛选后，再通过自注意力机制提取剩余更有价值的特征 之间的关系。用当前词向量和筛选的特征计算得到最终的输入特征。本发 明使用的自注意力机制包含当前词向量和上下文特征的交互，且它的形式 相对简单，相比一般自注意力机制有更少的参数，计算速度更快，可以很 好的建模句子上下文特征之间的关系。
附图说明
图1是本发明中公开的基于动态窗口自注意力机制提取语义特征的槽 填充方法的流程图；
图2是本发明中公开的基于动态窗口自注意力机制提取语义特征的槽 填充方法的工作模型概要图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
图1是公开的基于动态窗口自注意力机制提取语义特征的槽填充方法 的流程图，如图1所示，所述方法包括以下步骤：
S1、将文本数据中的每个句子切分为词。数据可以是中文数据也可以 是英文数据，中文语句可以用jieba分词，但不限于此。在这里以英文数据 为例。如图2所示将句子“find flights from charlotte to Newark.”切分为词， 得到词的列表：[find,flights,from,charlotte,to,Newark]。
S2、将文本句子得到的词w＝(w1,w2,…wT)用词嵌入向量 表示，每个词有一个300维的词嵌入向量，词嵌入矩阵大 小为所有训练数据的词表大小，维度为300维。
S3、选定一个窗口大小L，这里选定L＝5，但不限于此，对于每个词 计算该词需要选择当前窗口内哪些词的信息，进一步得到当前 词的上下文特征表示得到上下文特征表示的过程如 下：
S3.1、如图2所示，从中可以看出每个时间步时计算特征的方式。将 当前正在计算的词charlotte的词嵌入向量表示和窗口内的词flights, from,to,Newark的词嵌入向量表示输入到一个网络中， 产生动态窗口概率分布P＝[pt-2,pt-1,pt+1,pt+2]，它含4个2分类概率分 布，其中每个
S3.2、在训练和测试时分别利用计算得到变量 maskt(1≤t≤4)的值为1表示选中窗口内的第t个词，为0表示没有选中 窗口内的第t个词，这里求得的mask＝[0,1,0,1]。
S3.3、利用得到经过筛选后的当前词的 上下文特征表示
S4、利用上述步骤S3.2中，在训练和测试时分别利用计 算得到变量具体按以下步骤：在训练时，
S4.1、从分布Gumbel(0,1)＝-log(-log(Uniform(0,1)))中产生随机变 量定义每个为g的第t维的切片向量,其中Uniform(0,1)为 正太分布；
S4.2、定义温度超参数为一个很小的值，如τ＝0.001，定义变量rt，它 的每一个分量是一个近似0或者1的数，[rt-2,rt-1,rt+1,rt+2]即 可表示为窗口内词是否加入当前词的语义表示中。由下式计算得到rt的第i 个分量其中，是pt的第i个分量(1≤i≤2)，pt是P的第 t个分量，是gt的第i个分量(1≤i≤2)，exp(x)是指数函数。
S4.3、计算的值，其中matmul(·)代表矩阵乘法，
mask＝matmul([rt-2,rt-1,rt+1,rt+2],[[0],[1]])
在预测时，从多项式分布Multinomial(·)中采样产生
mask～Multinomial(log(P))
S5、对于每一个词，这里以图2中正在计算的charlotte为例，利用上 下文flights,from,to,Newark的特征表示和当前词 charlotte的特征表示根据自注意力机制计算当前词的融合特征 表示具体如下：
其中，matmul(·)代表矩阵乘法，上下文特征和当前词特征利用矩阵乘 法计算出一个4×1的张量，对于它包含flights,from,to,Newark 的特征表示，这里们求得flights和to的特征为全0的张量。为了便于后续 处理，将indicator＝[-∞,0,-∞,0]这个4×1的张量和计算结果相加。输 入softmax函数得到一个4×1的表示概率的张量，如图2所示，得到的张 量为[0,0.3,0,0.7]。矩阵乘法计算得出的张量元素越大，经过softmax函数 计算得到的概率值就越大,indicator对应为-∞的位置计算后为0，即达到 了将这些不重要的语义去掉的目的。结果和进行矩阵乘法，输入 softmax函数，得到融合特征表示
S6、对于句子的每一个词，都进行上述步骤，这里以图2的charlotte 为例，将charlotte的融合特征表示和charlotte词向量输入到双向 循环神经网络(Bi-LSTM)中进行分类，输出结果，步骤如下：
S6.1、将当前词charlotte的融合特征和charlotte的词向量进 行拼接得到
S6.2、将得到的输入到双向循环神经网络(Bi- LSTM)中进行分类，得到槽填充的输出结果[o1,o2,…,o6]。
综上所述，本实施例提出的动态窗口的方法先计算出上下文特征中哪 些是不需要的，筛选掉不需要的特征，然后再通过自注意力机制提取剩余 更有价值的特征之间的关系，得到最终的输入特征表示。通过这种提取特 征的方式，再输入到分类器如双向循环神经网络(Bi-LSTM)中，可以达到很 好的识别效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上 述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改 变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明 的保护范围之内。
Claims (7)
1.一种基于动态窗口自注意力机制提取语义特征的槽填充方法，其特征在于，所述的槽填充方法包括下列步骤：
S1、将文本数据中的每个句子切分为词；
S2、将切分句子得到的词w＝(w1,w2,…wT)用词嵌入向量 表示，其中T为词的个数，
S3、选定一个窗口大小L，对于每个词，利用当前词的词嵌入向量计算该词需要选择当前窗口内的信息，得到当前词的上下文特征表示其中t为当前词的下标；
S4、对于每一个词，利用该词的上下文特征表示和词向量根据自注意力机制计算当前词的融合特征表示
S5、对于每一个词，将当前词的融合特征表示和词向量输入到双向循环神经网络中进行分类，输出结果。
2.根据权利要求1所述的基于动态窗口自注意力机制提取语义特征的槽填充方法，其特征在于，所述的步骤S3包括：
S31、将当前词的词嵌入向量和窗口内词的词嵌入向量 输入到下式中，产生动态窗口概率分布分布每个元素
其中，函数matmul(·)代表矩阵乘法，
S32、在训练和测试时分别利用计算得到变量 1≤t≤L-1，maskt的值为1时表示选中第t个词，maskt的值为0时表示没有选中第t个词；
S33、利用得到经过筛选后的窗口内的词表示也即是当前词的上下文特征表示。其中，⊙为对应元素相乘二元运算符。
3.根据权利要求2所述的基于动态窗口自注意力机制提取语义特征的槽填充方法，其特征在于，所述的步骤S32中，在训练时实施过程如下：
从分布Gumbel(0,1)＝-log(-log(Uniform(0,1)))中产生随机变量 定义每个为g的第t维的切片向量,其中Uniform(0,1)为正态分布；
定义温度超参数τ，定义变量它的每一个分量是一个近似0或者1的数,[rt-L/2,…,rt-1,rt+1,…,rt+L/2]即可表示为窗口内词是否加入当前词的语义表示中，由下式计算得到rt的第i个分量
其中，是pt的第i个分量，pt是P的第t个分量，是gt的第i个分量，exp(x)是指数函数；
计算的值，计算公式如下：
其中，matmul(·)代表矩阵乘法。
4.根据权利要求2所述的基于动态窗口自注意力机制提取语义特征的槽填充方法，其特征在于，所述的步骤S32中，在预测时实施过程如下：
从多项式分布Multinomial(·)中采样产生其中，
mask～Multinomial(log(P))。
5.根据权利要求1所述的基于动态窗口自注意力机制提取语义特征的槽填充方法，其特征在于，所述的步骤S4实施过程如下：
其中，matmul(·)代表矩阵乘法，indicator为和矩阵乘法结果张量同维的张量，矩阵乘法结果为0的元素，在indicator中对应位置元素为-∞，否则为0。
6.根据权利要求1所述的基于动态窗口自注意力机制提取语义特征的槽填充方法，其特征在于，所述的步骤S5包括：
S51、遍历每一个词，将当前词的融合特征和当前词向量进行拼接得到
S52、将得到的输入到双向循环神经网络中进行分类，得到输出结果[o1,o2,…,oT]。
7.根据权利要求1至6任一所述的基于动态窗口自注意力机制提取语义特征的槽填充方法，其特征在于，所述的文本数据包括中文数据和/或英文数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910084904.XA CN109918503B (zh) | 2019-01-29 | 2019-01-29 | 基于动态窗口自注意力机制提取语义特征的槽填充方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910084904.XA CN109918503B (zh) | 2019-01-29 | 2019-01-29 | 基于动态窗口自注意力机制提取语义特征的槽填充方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109918503A true CN109918503A (zh) | 2019-06-21 |
| CN109918503B CN109918503B (zh) | 2020-12-22 |
Family
ID=66960929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910084904.XA Active CN109918503B (zh) | 2019-01-29 | 2019-01-29 | 基于动态窗口自注意力机制提取语义特征的槽填充方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109918503B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528168A (zh) * | 2020-12-23 | 2021-03-19 | 华南理工大学 | 基于可形变自注意力机制的社交网络文本情感分析方法 |
| CN115186110A (zh) * | 2022-08-04 | 2022-10-14 | 中国科学技术大学 | 基于关系增强负采样的多模态知识图谱补全方法与系统 |
| CN116992870A (zh) * | 2023-09-26 | 2023-11-03 | 山东省计算中心（国家超级计算济南中心） | 基于非对称核函数的文本信息实体关系抽取方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070143296A1 (en) * | 2005-12-15 | 2007-06-21 | Kanoodle.Com, Inc. | Taxonomy-based method and system for targeted advertising |
| CN101149739A (zh) * | 2007-08-24 | 2008-03-26 | 中国科学院计算技术研究所 | 一种面向互联网的有意义串的挖掘方法和系统 |
| CN107169035A (zh) * | 2017-04-19 | 2017-09-15 | 华南理工大学 | 一种混合长短期记忆网络和卷积神经网络的文本分类方法 |
| CN108090558A (zh) * | 2018-01-03 | 2018-05-29 | 华南理工大学 | 一种基于长短期记忆网络的时间序列缺失值自动填补方法 |
| CN108460013A (zh) * | 2018-01-30 | 2018-08-28 | 大连理工大学 | 一种基于细粒度词表示模型的序列标注模型 |
| CN108763390A (zh) * | 2018-05-18 | 2018-11-06 | 浙江新能量科技股份有限公司 | 基于滑动窗口技术的细粒度主题提取方法 |
| CN109241295A (zh) * | 2018-08-31 | 2019-01-18 | 北京天广汇通科技有限公司 | 一种非结构化数据中的特定实体关系的提取方法 |
-
2019
- 2019-01-29 CN CN201910084904.XA patent/CN109918503B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070143296A1 (en) * | 2005-12-15 | 2007-06-21 | Kanoodle.Com, Inc. | Taxonomy-based method and system for targeted advertising |
| CN101149739A (zh) * | 2007-08-24 | 2008-03-26 | 中国科学院计算技术研究所 | 一种面向互联网的有意义串的挖掘方法和系统 |
| CN107169035A (zh) * | 2017-04-19 | 2017-09-15 | 华南理工大学 | 一种混合长短期记忆网络和卷积神经网络的文本分类方法 |
| CN108090558A (zh) * | 2018-01-03 | 2018-05-29 | 华南理工大学 | 一种基于长短期记忆网络的时间序列缺失值自动填补方法 |
| CN108460013A (zh) * | 2018-01-30 | 2018-08-28 | 大连理工大学 | 一种基于细粒度词表示模型的序列标注模型 |
| CN108763390A (zh) * | 2018-05-18 | 2018-11-06 | 浙江新能量科技股份有限公司 | 基于滑动窗口技术的细粒度主题提取方法 |
| CN109241295A (zh) * | 2018-08-31 | 2019-01-18 | 北京天广汇通科技有限公司 | 一种非结构化数据中的特定实体关系的提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHANGLIANG LI等: "A Self-Attentive Model with Gate Mechanism for Spoken Language Understanding", 《PROCEEDINGS OF THE 2018 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING》 * |
| 于江德等: "汉语词性标注的特征工程", 《山东大学学报(工学版)》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528168A (zh) * | 2020-12-23 | 2021-03-19 | 华南理工大学 | 基于可形变自注意力机制的社交网络文本情感分析方法 |
| CN112528168B (zh) * | 2020-12-23 | 2022-03-29 | 华南理工大学 | 基于可形变自注意力机制的社交网络文本情感分析方法 |
| CN115186110A (zh) * | 2022-08-04 | 2022-10-14 | 中国科学技术大学 | 基于关系增强负采样的多模态知识图谱补全方法与系统 |
| CN115186110B (zh) * | 2022-08-04 | 2022-12-30 | 中国科学技术大学 | 基于关系增强负采样的多模态知识图谱补全方法与系统 |
| CN116992870A (zh) * | 2023-09-26 | 2023-11-03 | 山东省计算中心（国家超级计算济南中心） | 基于非对称核函数的文本信息实体关系抽取方法及系统 |
| CN116992870B (zh) * | 2023-09-26 | 2023-12-19 | 山东省计算中心（国家超级计算济南中心） | 基于非对称核函数的文本信息实体关系抽取方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109918503B (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038221B (zh) | 一种基于语义信息引导的视频内容描述方法 | |
| CN111488807B (zh) | 基于图卷积网络的视频描述生成系统 | |
| CN110134757B (zh) | 一种基于多头注意力机制的事件论元角色抽取方法 | |
| US10417329B2 (en) | Dialogue act estimation with learning model | |
| CN108197670B (zh) | 伪标签生成模型训练方法、装置及伪标签生成方法及装置 | |
| CN109271876B (zh) | 基于时间演化建模和多示例学习的视频动作检测方法 | |
| CN109960747B (zh) | 视频描述信息的生成方法、视频处理方法、相应的装置 | |
| CN111104799B (zh) | 文本信息表征方法、系统及计算机设备、存储介质 | |
| CN110222178A (zh) | 文本情感分类方法、装置、电子设备及可读存储介质 | |
| CN110390363A (zh) | 一种图像描述方法 | |
| CN109918503B (zh) | 基于动态窗口自注意力机制提取语义特征的槽填充方法 | |
| CN110427616B (zh) | 一种基于深度学习的文本情感分析方法 | |
| CN112329476B (zh) | 一种文本纠错方法及装置、设备、存储介质 | |
| CN110991515B (zh) | 一种融合视觉上下文的图像描述方法 | |
| CN110879938A (zh) | 文本情感分类方法、装置、设备和存储介质 | |
| CN114187311A (zh) | 一种图像语义分割方法、装置、设备及存储介质 | |
| CN110633467A (zh) | 一种基于改进特征融合的语义关系抽取方法 | |
| CN107180084A (zh) | 词库更新方法及装置 | |
| CN111475622A (zh) | 一种文本分类方法、装置、终端及存储介质 | |
| CN111966812A (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
| CN110135441A (zh) | 一种图像的文本描述方法及装置 | |
| CN110674642B (zh) | 一种用于含噪稀疏文本的语义关系抽取方法 | |
| CN110472040A (zh) | 评价信息的提取方法及装置、存储介质、计算机设备 | |
| CN110532575A (zh) | 文本翻译方法及装置 | |
| CN111353040A (zh) | 基于gru的属性级别情感分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |