CN113377961B - 基于知识图谱和用户主题的意图-语义槽联合识别系统 - Google Patents

基于知识图谱和用户主题的意图-语义槽联合识别系统 Download PDF

Info

Publication number
CN113377961B
CN113377961B CN202011416840.8A CN202011416840A CN113377961B CN 113377961 B CN113377961 B CN 113377961B CN 202011416840 A CN202011416840 A CN 202011416840A CN 113377961 B CN113377961 B CN 113377961B
Authority
CN
China
Prior art keywords
vector
information
feature
module
theme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011416840.8A
Other languages
English (en)
Other versions
CN113377961A (zh
Inventor
甘明刚
郝楠
陈博
陈杰
窦丽华
陈文颉
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011416840.8A priority Critical patent/CN113377961B/zh
Publication of CN113377961A publication Critical patent/CN113377961A/zh
Application granted granted Critical
Publication of CN113377961B publication Critical patent/CN113377961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)

Abstract

本公开的基于知识图谱和用户主题的意图‑语义槽联合识别模型，通过特征提取模块提取输入的文本信息的语义信息、词语间的关系以及局部信息，并输出文本信息的特征信息向量；外部向量生成模块提取输入的文本信息的主题，并利用先验知识图谱库查询与主题相关的多条知识，将主题和其相关的多条知识进行Bert编码生成外部信息向量；特征融合模块利用注意力机制将特征信息向量和外部信息向量进行融合得到融合特征向量；特征分类模块利用softmax对融合特征向量进行识别分类得到文本信息的意图，利用crf算法对融合特征向量进行序列标注得到文本信息的语义槽向量。能够提高智能对话系统中语义识别的准确率，提高对输入的文本信息的意图、语义的识别准确度。

Description

基于知识图谱和用户主题的意图-语义槽联合识别系统
技术领域
本发明属于自然语言理解技术领域，具体涉及一种基于知识图谱和用户主题的意图-语义槽联合识别系统。
背景技术
自然语言理解模块是人机对话系统中最重要的部分，因此其两个子任务意图是实现自然的人机交互系统必不可少的步骤。
但是，目前的智能对话系统(例如智能手机、智能家居、车载驾驶等)中，一般是将输入的文本信息进行特征提取后，未经过用户主题的理解和推理分析，直接将得到语义的特征信息向量分类，造成智能对话系统在智能对话时，对输入的文本信息语义理解不准、语义识别准确率较低等问题。
发明内容
有鉴于此，本公开提出了一种基于知识图谱和用户主题的意图-语义槽联合识别系统，通过融入主题生成模块、知识推理模块和特征融合模块能够提高智能对话系统中语义识别的准确率，提高对输入的文本信息的意图、语义的识别准确度。
根据本发明的一方面，提出了一种基于知识图谱和用户主题的意图-语义槽联合识别系统，所述模型包括：特征提取模块、外部向量生成模块、特征融合模块和特征分类模块；
其中，所述特征提取模块，用于提取输入的文本信息的语义信息、词语之间的关系以及局部信息，并输出文本信息的特征信息向量；
所述外部向量生成模块，用于提取输入的文本信息的主题，并利用先验知识图谱库查询与所述主题相关的多条知识，将所述主题和其相关的多条知识进行Bert编码生成外部信息向量；
所述特征融合模块，利用注意力机制将所述特征信息向量和所述外部信息向量进行融合得到融合特征向量；
所述特征分类模块，利用softmax对所述融合特征向量进行识别分类得到所述文本信息的意图，利用crf算法对所述融合特征向量进行序列标注得到所述文本信息的语义槽向量。
在一种可能的实现方式中，所述外部向量生成特征包括：主题生成模块、知识推理模块和Bert编码模块；
其中，所述主题生成模块，用于提取输入的文本信息的主题，输出所述主题到所述知识推理模块；
所述知识推理模块，用于利用先验知识图谱库查询与所述主题相关的多条知识；
所述Bert编码模块，用于将所述主题和所述主题相关的多条知识进行Bert编码生成外部信息向量。
在一种可能的实现方式中，所述特征提取模块，包括：Bert模型、Bi-Lstm模型和和Text-Cnn模型；
所述Bert模型，用于提取输入的文本信息的语义信息；
所述Bi-Lstm模型，用于提取所述语义信息内的词语之间的关系信息；
所述Text-Cnn模型，用于提取所述语义信息内的局部信息，并输出所述文本信息的特征信息向量。
在一种可能的实现方式中，所述主题生成模块，还用于提取输入的文本信息的主题对应的词语。
在一种可能的实现方式中，所述Bert模型是一个双向的NLP预训练模型，用于将输入的文本信息编码成输入向量，通过多层的Transformer形成句向量，得到所述文本信息的语义信息。
在一种可能的实现方式中，所述输入向量为：Input＝TokenVec+SegmentVec+PositionVec，其中，TokenVec是普通的词向量，SegmentVec是分割向量，PositionVec是位置向量。
在一种可能的实现方式中，所述Bi-Lstm模型是一个双向的LSTM模型，包括输入门、遗忘门和输出们三个门结构，从正向和反向提取语义信息内的词语之间的关系信息。
在一种可能的实现方式中，所述Text-Cnn模型是一个一维CNN模型，卷积核宽度和所述句向量长度相同，利用不同卷积核在所述句向量上进行卷积，然后将不通卷积核得到的一维向量进行池化，拼接得到所述文本信息的特征信息向量。
在一种可能的实现方式中，所述利用注意力机制将所述特征信息向量和所述外部信息向量进行融合得到融合特征向量，包括：
利用注意力机制将所述特征信息向量和所述外部信息向量进行融合的公式为：
Figure GDA0003893047510000031
m＝Attention(Q,K,V)+Q，
其中，Q为特征信息向量，K和V指的是外部信息向量，
Figure GDA0003893047510000032
是固定系数，m是融合特征向量。
本公开的基于知识图谱和用户主题的意图-语义槽联合识别系统，通过特征提取模块提取输入的文本信息的语义信息、词语之间的关系以及局部信息，并输出文本信息的特征信息向量；外部向量生成模块提取输入的文本信息的主题，并利用先验知识图谱库查询与主题相关的多条知识，将主题和其相关的多条知识进行Bert编码生成外部信息向量；特征融合模块利用注意力机制将特征信息向量和外部信息向量进行融合得到融合特征向量；特征分类模块利用softmax对融合特征向量进行识别分类得到文本信息的意图，利用crf算法对融合特征向量进行序列标注得到文本信息的语义槽向量。通过融入主题生成模块、知识推理模块和特征融合模块能够提高智能对话系统中语义识别的准确率，提高对输入的文本信息的意图、语义的识别准确度。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的基于知识图谱和用户主题的意图-语义槽联合识别系统原理框图；
图2示出根据本公开另一实施例的特征提取模块的原理框图；
图3示出根据本公开另一实施例的外部向量生成模块的原理框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
在自然语言理解部分，首先通过特征提取，提取文本的语义特征，然后通过主题生成模块和知识推理模块生成外部信息向量，通过特征融合模块融合提取的语义特征和外部知识向量，然后通过分类器进行特征分类。
本公开可以使用Twitter-LDA主题模型实现主题生成，Bert-BiLstm-Cnn实现特征提取，用Attention模块实现特征融合，用CRF和SoftMax实现特征分类，下面对这几个部分进行具体说明。
图1示出根据本公开一实施例的基于知识图谱和用户主题的意图-语义槽联合识别系统原理框图。
如图1所示，该意图-语义槽联合识别系统可以包括：特征提取模块、外部向量生成模块、特征融合模块和特征分类模块。
其中，特征提取模块，用于提取输入的文本信息的语义信息、词语之间的关系以及局部信息，并输出文本信息的特征信息向量。
图2示出根据本公开另一实施例的特征提取模块的原理框图。
在一示例中，如图2所示，特征提取模块可以包括：Bert模型、Bi-Lstm模型和和Text-Cnn模型；Bert模型可以用于提取输入的文本信息的语义信息；Bi-Lstm模型可以用于提取语义信息内的词语之间的关系信息；Text-Cnn模型可以用于提取语义信息内的局部信息，并输出文本信息的特征信息向量。
其中，Bert模型是一个双向的NLP预训练模型，用于将输入的文本信息编码成输入向量，通过多层的Transformer形成句向量，得到所述文本信息的语义信息。
例如，Bert模型是一个大型NLP预训练模型，可以通过海量文本信息学习到大量文本中丰富的语义信息，可以初步提取文本特征。Bert模型的基本结构可以由多层Transformer的Encoder组成，因Encoder是双向的，则Bert模型也是一个双向模型，Bert模型可以先将文本信息编码成输入向量，然后通过多层的Trans-former形成句向量。
其中，输入向量由词向量TokenVec，分割向量SegmentVec是，位置向量PositionVec这三个部分构成，具体为：
Input＝TokenVec+SegmentVec+PositionVec式(1)，
式中，TokenVec是普通的词向量；SegmentVec是分割向量，用于在预训练的时候和做多个句子的相关任务时区分两个句子；PositionVec是位置向量，用于编码句子中每个词语在句子中的位置。
Bi-Lstm模型可以是一个双向的LSTM模型，包括输入门、遗忘门和输出们三个门结构，从正向和反向提取语义信息内的词语之间的关系信息。
例如，Bi-Lstm模型是一个双向LSTM模型，可以从正向和反向同时提取句子间各个词语的关系信息。LSTM模型是一个循环神经网络模型，包括输入门，遗忘门和输出门三个门结构，使其避开传统循环神经网络模型难以记住长期信息的缺点。Bi-Lstm模型在t时刻的输出如下：
ft＝σ(wf*[ht-1,xt]+bf) (2)，
it＝σ(wi*[ht-1,xt]+bi) (3)，
gt＝tanh(wg*[ht-1,xt]+bg) (4)，
ot＝σ(wo*[ht-1,xt]+bo) (5)，
ct＝gt*it+ct-1*ft (6)，
ht＝ot*ct (7)，
其中，ft是遗忘门，it是更新门，ot是输出门，ct代表细胞状态，ht代表输出，gt是一个临时变量，w和b代表三个门的权重和偏置，Bi-Lstm模型通过三个门来决定有多少以往的内容要被遗忘，有多少本次输入被记住，有多少本次的内容要输出，从而解决了NLP预训练模型中长期依赖问题。
Text-Cnn模型可以是个一维CNN模型，Text-Cnn模型的卷积核宽度和句向量长度相同，利用不同卷积核在所述句向量上进行卷积(相当于每次观察不同数量的局部单词进行提取局部特征)，然后将不通卷积核得到的一维向量进行池化，拼接得到所述文本信息的特征信息向量。
外部向量生成模块，用于提取输入的文本信息的主题，并利用先验知识图谱库查询与主题相关的多条知识，将主题和其相关的多条知识进行Bert编码生成外部信息向量。
图3示出根据本公开一实施例的外部向量生成模块的原理框图。
在一示例中，如图3所示，外部向量生成特征可以包括：主题生成模块、知识推理模块和Bert编码模块；其中，主题生成模块可以用于提取输入的文本信息的主题，输出主题到知识推理模块；知识推理模块可以用于利用先验知识图谱库查询与主题相关的多条知识；Bert编码模块可以用于将主题和主题相关的多条知识进行Bert编码生成外部信息向量。
主题生成模型可以是一种从文本信息中自动提取出主题分布和主题对应的词语分布的方法。由于本系统包含多个短文本信息，主题生成模型可以为Twitter-LDA模型，Twitter-LDA模型与LDA模型相比，将一条短文本看成只包含一个主题，并且加入了一个背景主题变量来抑制噪声。
知识推理模块可以利用知识图谱进行推理，其中，知识图谱是一种包含两种实体以及其两者之间关系的三元组，是一种结构化的先验知识。例如，在外部向量生成特征部分，首先通过主题生成模块生成概率最高的5个主题，然后将这5个主题通过知识图谱库查询与其相关的10条知识，再将5个主题以及10条知识通过Bert编码后变成向量，即为外部信息向量。
特征融合模块，利用注意力机制将特征信息向量和外部信息向量进行融合得到融合特征向量。
其中，注意力(Attention)机制是一种模仿人在观察事物时候的机制，其会给其视野内不同的内容赋予不同的权重，模仿人类在观察到某一事物的时候会将视角聚焦在某一部分这一过程。
注意力机制首先从人类直觉中得到，在NLP预训练领域的机器翻译任务上取得不错的效果。深度学习中的注意力可以广义地解释为重要性权重的向量，即为了预测一个元素，例如句子中的单词，使用注意力机制向量来计它与其他元素的相关程度的强弱，并将其值的总和作为目标的近似值。
注意力机制来使外部信息向量和特征信息向量进行融合，如式(8)、(9)所示:
Figure GDA0003893047510000081
m＝Attention(Q,K,V)+Q (9)；
其中，Q为特征信息向量，K和V为外部信息向量，
Figure GDA0003893047510000082
为固定系数，m为融合特征向量。可以通过计算外部信息向量和特征信息向量的乘机得到与每个融合特征向量的相似度，然后，通过softmax得到每个外部信息向量的权重，然后再得到外部信息向量的加权和即为Attention向量，然后将Attention向量和特征信息向量加和即为最终的融合特征向量。
特征分类模块，利用softmax对融合特征向量进行识别分类得到文本信息的意图，利用CRF算法对融合特征向量进行序列标注得到文本信息的语义槽向量。
本公开的基于知识图谱和用户主题的意图-语义槽联合识别系统，通过特征提取模块提取输入的文本信息的语义信息、词语之间的关系以及局部信息，并输出文本信息的特征信息向量；外部向量生成模块提取输入的文本信息的主题，并利用先验知识图谱库查询与主题相关的多条知识，将主题和其相关的多条知识进行Bert编码生成外部信息向量；特征融合模块利用注意力机制将特征信息向量和外部信息向量进行融合得到融合特征向量；特征分类模块利用softmax对融合特征向量进行识别分类得到文本信息的意图，利用crf算法对融合特征向量进行序列标注得到文本信息的语义槽向量。通过融入主题生成模块、知识推理模块和特征融合模块能够提高智能对话系统中语义识别的准确率，提高对输入的文本信息的意图、语义的识别准确度。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种基于知识图谱和用户主题的意图-语义槽联合识别系统，其特征在于，所述系统包括：特征提取模块、外部向量生成模块、特征融合模块和特征分类模块；
其中，所述特征提取模块，用于提取输入的文本信息的语义信息、词语之间的关系以及局部信息，并输出文本信息的特征信息向量；
所述外部向量生成模块，用于提取输入的文本信息的主题，并利用先验知识图谱库查询与所述主题相关的多条知识，将所述主题和其相关的多条知识进行Bert编码生成外部信息向量；
所述特征融合模块，利用注意力机制将所述特征信息向量和所述外部信息向量进行融合得到融合特征向量，利用注意力机制将所述特征信息向量和所述外部信息向量进行融合的公式为：
Figure 940419DEST_PATH_IMAGE001
，
Figure 70050DEST_PATH_IMAGE002
，
其中，Q为特征信息向量，K和V指的是外部信息向量，
Figure 618843DEST_PATH_IMAGE003
是固定系数，m是融合特征向量；
所述特征分类模块，利用softmax对所述融合特征向量进行识别分类得到所述文本信息的意图，利用crf算法对所述融合特征向量进行序列标注得到所述文本信息的语义槽向量。
2.根据权利要求1所述的意图-语义槽联合识别系统，其特征在于，所述外部向量生成特征包括：主题生成模块、知识推理模块和Bert编码模块；
其中，所述主题生成模块，用于提取输入的文本信息的主题，输出所述主题到所述知识推理模块；
所述知识推理模块，用于利用先验知识图谱库查询与所述主题相关的多条知识；
所述Bert编码模块，用于将所述主题和所述主题相关的多条知识进行Bert编码生成外部信息向量。
3.根据权利要求1所述的意图-语义槽联合识别系统，其特征在于，所述特征提取模块，包括：Bert模型、Bi-Lstm模型和Text-Cnn模型；
所述Bert模型，用于提取输入的文本信息的语义信息；
所述Bi-Lstm模型，用于提取所述语义信息内的词语之间的关系信息；
所述Text-Cnn模型，用于提取所述语义信息内的局部信息，并输出所述文本信息的特征信息向量。
4.根据权利要求2所述的意图-语义槽联合识别系统，其特征在于，所述主题生成模块，还用于提取输入的文本信息的主题对应的词语。
5.根据权利要求3所述的意图-语义槽联合识别系统，其特征在于，所述Bert模型是一个双向的NLP预训练模型，用于将输入的文本信息编码成输入向量，通过多层的Transformer形成句向量，得到所述文本信息的语义信息。
6.根据权利要求5所述的意图-语义槽联合识别系统，其特征在于，所述输入向量为：
Figure 300360DEST_PATH_IMAGE004
，其中，TokenVec是普通的词向量，SegmentVec是分割向量，PositionVec是位置向量。
7.根据权利要求5所述的意图-语义槽联合识别系统，其特征在于，所述Bi-Lstm模型是一个双向的LSTM模型，包括输入门、遗忘门和输出们三个门结构，从正向和反向提取语义信息内的词语之间的关系信息。
8.根据权利要求6所述的意图-语义槽联合识别系统，其特征在于，所述Text-Cnn模型是一个一维CNN模型，卷积核宽度和所述句向量长度相同，利用不同卷积核在所述句向量上进行卷积，然后将不通卷积核得到的一维向量进行池化，拼接得到所述文本信息的特征信息向量。
CN202011416840.8A 2020-12-07 2020-12-07 基于知识图谱和用户主题的意图-语义槽联合识别系统 Active CN113377961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011416840.8A CN113377961B (zh) 2020-12-07 2020-12-07 基于知识图谱和用户主题的意图-语义槽联合识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011416840.8A CN113377961B (zh) 2020-12-07 2020-12-07 基于知识图谱和用户主题的意图-语义槽联合识别系统

Publications (2)

Publication Number Publication Date
CN113377961A CN113377961A (zh) 2021-09-10
CN113377961B true CN113377961B (zh) 2022-12-06

Family

ID=77569153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011416840.8A Active CN113377961B (zh) 2020-12-07 2020-12-07 基于知识图谱和用户主题的意图-语义槽联合识别系统

Country Status (1)

Country Link
CN (1) CN113377961B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010583B (zh) * 2023-03-17 2023-07-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221961A (zh) * 2019-10-31 2020-06-02 南京南邮信息产业技术研究院有限公司 一种基于s-lstm模型与槽值门的说话人意图识别系统及方法
CN111712836A (zh) * 2018-02-09 2020-09-25 易享信息技术有限公司 作为问答的多任务学习

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366163B2 (en) * 2016-09-07 2019-07-30 Microsoft Technology Licensing, Llc Knowledge-guided structural attention processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111712836A (zh) * 2018-02-09 2020-09-25 易享信息技术有限公司 作为问答的多任务学习
CN111221961A (zh) * 2019-10-31 2020-06-02 南京南邮信息产业技术研究院有限公司 一种基于s-lstm模型与槽值门的说话人意图识别系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint Slot Filling and Intent Detection in Spoken Language Understanding by Hybrid CNN-LSTM Model;Moath Al Ali et al.;《2020 International Conference on Control, Robotics and Intelligent System》;20201031;14-25 *
端到端对话系统意图语义槽联合识别研究综述;王堃等;《计算机工程与应用》;20200731;第56卷(第14期);112-117 *

Also Published As

Publication number Publication date
CN113377961A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN107992597B (zh) 一种面向电网故障案例的文本结构化方法
CN109241255B (zh) 一种基于深度学习的意图识别方法
CN112966074B (zh) 一种情感分析方法、装置、电子设备以及存储介质
CN111738004A (zh) 一种命名实体识别模型的训练方法及命名实体识别的方法
CN112732916B (zh) 一种基于bert的多特征融合模糊文本分类系统
CN113010693A (zh) 融合指针生成网络的知识图谱智能问答方法
CN111651974B (zh) 一种隐式篇章关系分析方法和系统
WO2022198750A1 (zh) 语义识别方法
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
CN114490953B (zh) 训练事件抽取模型的方法、事件抽取的方法、装置及介质
CN113032568A (zh) 一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法
CN115409018B (zh) 基于大数据的公司舆情监测系统及其方法
CN112200664A (zh) 基于ernie模型和dcnn模型的还款预测方法
Gangadharan et al. Paraphrase detection using deep neural network based word embedding techniques
CN115688784A (zh) 一种融合字与词语特征的中文命名实体识别方法
CN113377961B (zh) 基于知识图谱和用户主题的意图-语义槽联合识别系统
Wakchaure et al. A scheme of answer selection in community question answering using machine learning techniques
CN111199152A (zh) 一种基于标签注意力机制的命名实体识别方法
CN114332288B (zh) 基于短语驱动生成对抗网络的文本生成图像的方法及网络
CN111813927A (zh) 一种基于主题模型和lstm的句子相似度计算方法
CN115828142A (zh) 一种基于双路编码器的可解释性文本分类系统
CN116244435A (zh) 文本情感分析模型训练方法、情感分析方法、设备和介质
CN113505226B (zh) 融合图卷积神经网络的文本情感分类系统
CN114238649A (zh) 一种常识概念增强的语言模型预训练方法
CN111813924A (zh) 基于可扩展动态选择与注意力机制的类别检测算法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant