CN113761935B - 一种短文本语义相似度度量方法、系统及装置 - Google Patents
一种短文本语义相似度度量方法、系统及装置 Download PDFInfo
- Publication number
- CN113761935B CN113761935B CN202110892292.4A CN202110892292A CN113761935B CN 113761935 B CN113761935 B CN 113761935B CN 202110892292 A CN202110892292 A CN 202110892292A CN 113761935 B CN113761935 B CN 113761935B
- Authority
- CN
- China
- Prior art keywords
- vector
- short text
- feature
- obtaining
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 175
- 238000011176 pooling Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000005728 strengthening Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种短文本语义相似度度量方法、系统及装置，该系统包括：向量转化模块，用于将待匹配的短文本A和短文本B分别转化为向量A1和向量B1；特征强化模块，用于将向量A1和向量B1分别转化为特征增强向量A2和特征增强向量B2；特征提取模块，用于根据特征增强向量A2和特征增强向量B2得到全局最大池化向量C和全局平均池化向量D；输出模块，用于根据全局最大池化向量C和全局平均池化向量D得到相似度预测结果。本发明基于神经网络获得待匹配的短文本的语义特征，结合并强化共有特征，可以实现快速、准确且稳定的语义相似度的计算。
Description
技术领域
本发明涉及语义相似度计算技术领域，特别是一种短文本语义相似度度量方法、系统及装置。
背景技术
短文本语义相似度(short-text semantic similarity,STSS)的计算，旨在提取并匹配短文本特征，核心任务是自然语言理解，属于一项关键的基础工作。文本相似度在自动问答系统、信息检索、自动文本摘要、文本分类等自然语言处理的任务中都有广泛的应用。
现有的语义相似度模型主要分为两大类：一种是表征类模型，分别提取两句话的特征，输入多层感知机判断是否相似，例如SiameseNet，DSSM，CDSSM；一种是交互类模型，在获得两句话的初级特征后，进行交互，再输入多层感知机预测相似度，例如MatchPyramid，ESIM，DAM。这两类模型均取得了十分卓越的效果。
但现有的计算短文本相似度的方法仍存在一定的局限性：
首先，在词嵌入过程中，通常使用通过GloVe或Fasttext等方法预训练的词向量，存于字典中进行调用，但由于文件过大，经常会导致数据处理时间长于模型预测时间。而且，为增强输入序列信息表征，有时会加入分词信息，而分词后产生的是一个迭代器，获取分词结果的时间是分词耗时的20多倍。这都会导致模型无法在短时间内处理大量文本。
其次，提取句子特征时，通常使用RNN结构，通常是2或4层的GRU或LSTM。循环神经网络的结构设计预示着由于并行度不高而造成的计算速度上的瓶颈，造成TPS下降。此外，每处理一个token，都会造成信息损失，在文本较长的情况下，会造成梯度消失或梯度爆炸，信息损耗过大。
最后，模型参数上，由于模型过于精巧，复杂度高，动辄几百甚至上千万的参数经常会造成模型占用内存较大，同时也需要更多的训练数据。考虑到高质量数据获取和标注耗时耗力，现有相似度模型的应用性和推广性有待进一步提高。
发明内容
本发明为解决上述问题，提供了一种短文本语义相似度度量方法、系统及装置，基于神经网络获得待匹配的短文本的语义特征，结合并强化共有特征，可以实现快速、准确且稳定的语义相似度的计算。
为实现上述目的，本发明采用的技术方案为：
一种短文本语义相似度度量系统，包括：向量转化模块，用于将待匹配的短文本A和短文本B分别转化为向量A1和向量B1；特征强化模块，用于将所述向量A1和所述向量B1分别转化为特征增强向量A2和特征增强向量B2；特征提取模块，用于根据所述特征增强向量A2和所述特征增强向量B2得到全局最大池化向量C和全局平均池化向量D；输出模块，用于根据所述全局最大池化向量C和所述全局平均池化向量D得到相似度预测结果。
优选的，所述向量转化模块包括：序号矩阵转化模块，用于将短文本转化为序号矩阵；词嵌入模块，用于将所述序号矩阵转化为向量。
优选的，所述特征强化模块包括：特征交互模块，用于基于注意力机制，得到注意力权重，并将所述向量A1乘以所述注意力权重，得到加权向量A1'，将所述向量B1乘以所述注意力权重，得到加权向量B1'；第一特征融合模块，用于根据所述向量A1和所述加权向量A1'得到所述特征增强向量A2，根据所述向量B1和所述加权向量B1'得到所述特征增强向量B2。
优选的，所述注意力机制为局部注意力机制。
优选的，所述特征增强向量的计算方法为：A2＝[A1,A1',A1-A1',A1+A1',A1*A1']，B2＝[B1,B1',B1-B1',B1+B1',B1*B1']。
优选的，所述特征提取模块包括：相似度矩阵生成模块，用于根据所述特征增强向量A2和所述特征增强向量B2得到相似度矩阵；卷积池化模块，用于根据所述特征增强向量A2、所述特征增强向量B2和所述相似度矩阵得到所述全局最大池化向量C和所述全局平均池化向量D。
优选的，所述输出模块包括：第二特征融合模块，用于根据全局最大池化向量和全局平均池化向量得到全局特征增强向量。
优选的，所述系统包括EMBED层、BN层、Attention层、CNN层、GlobalAveragePool层、GlobalMaxPool层和MLP层。
基于同样的发明构思，本发明还提供了一种短文本语义相似度度量方法，包括以下步骤：将待匹配的短文本A和短文本B分别转化为向量A1和向量B1；将所述向量A1和所述向量B1分别转化为特征增强向量A2和特征增强向量B2；根据所述特征增强向量A2和所述特征增强向量B2得到全局最大池化向量C和全局平均池化向量D；根据所述全局最大池化向量C和所述全局平均池化向量D得到相似度预测结果。
基于同样的发明构思，本发明还提供了一种短文本语义相似度度量装置，包括：输入端，用于输入待匹配的短文本A和短文本B；计算端，加载有上述的系统，用于计算所述短文本A和所述短文本B的语义相似度。
本发明的有益效果是：
1.将待匹配的短文本分别转化为向量，获得语义特征，结合并强化共有特征，可以实现快速、准确且稳定的语义相似度的计算；
2.使用word2index字典将短文本转化为序号矩阵作为输入，再进行词嵌入操作，有效地简化了短文本的预处理过程；
3.采用注意力机制进行局部推理操作，大大降低了参数量，减少了信息损失，提高了并行能力；
4.系统为轻量级，参数量少，内存占用少，可以应用于移动终端。
附图说明
图1为实施例二所述模型的结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合具体实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一
本实施例提供一种短文本语义相似度度量系统，包括：
向量转化模块，用于预处理待匹配的句对A和B，将句子A和B分别转化为向量A1和向量B1。
其中，向量转化模块包括序号矩阵转化模块和词嵌入模块。
序号矩阵转化模块通过word2index字典将句子A和B分别转化为序号矩阵A'和B'，获取句中每个字的索引。
词嵌入模块包括EMBED层和BN层，进行词嵌入操作，将序号矩阵A'和B'分别转化为词嵌入句向量A1和B1。
本实施例的系统可以对序列化的句对进行匹配，取消了传统的语义相似度度量方法中预训练的步骤。
特征强化模块，用于将向量A1和向量B1分别转化为特征增强向量A2和特征增强向量B2。
其中，特征强化模块包括特征交互模块和第一特征融合模块。
特征交互模块包括Attention层，对两个词嵌入句向量进行字粒度的自注意力机制，得到注意力权重，然后将词嵌入句向量分别乘以该注意力权重，得到加权句向量A1'和B1'。
本实施例的系统取消了循环神经网络的编码过程，而是采用了最简单的注意力机制进行局部推理，这一点在目前的语义相似度度量方法中是十分罕见的，可以大大降低了参数量，减少了序列长度和遮罩造成的信息损失，提高了并行能力。
第一特征融合模块，进行ESIM模型的特征强化操作，对词嵌入句向量和加权句向量进行特征增强，分别得到特征增强向量A2＝[A1,A1',A1-A1',A1+A1',A1*A1']和B2＝[B1,B1',B1-B1',B1+B1',B1*B1']。
第一特征融合模块通过拼接计算模型的中间量，将局部推理信息更好的融合到最终的表征向量中。
特征提取模块，用于根据特征增强向量A2和特征增强向量B2得到全局最大池化向量C和全局平均池化向量D。
其中，特征提取模块包括相似度矩阵生成模块和卷积池化模块。
相似度矩阵生成模块，用于根据特征增强向量A2和特征增强向量B2得到相似度矩阵。
卷积池化模块，包括3个CNN层、GlobalAveragePool层和GlobalMaxPool层，将特征增强向量A2、特征增强向量B2以及相似度矩阵进行多层卷积和最大池化操作，得到全局最大池化向量C和全局平均池化向量D。
输出模块，用于根据全局最大池化向量C和全局平均池化向量D得到相似度预测结果。
其中，输出模块包括第二特征融合模块。第二特征融合模块与第一特征融合模块采用相同的特征增强的方式，根据全局最大池化向量C和全局平均池化向量D得到全局特征增强向量E。
输出模块还包括MLP层，即多层感知机。全局特征增强向量E经过MLP层，得到句对的语音相似度的预测结果(值域为0～1)。
本实施例所述的系统基于神经网络获得待匹配的短文本的语义特征，结合并强化共有特征，可以实现快速、准确且稳定的语义相似度的计算。
本实施例所述的系统的参数量仅20+W，内存占用仅8M，十分轻量级。
本实施例所述的系统在哈尔滨工业大学公开的大规模语义相似度数据(LCQMC)的测试集上取得了87.1％的准确率，比官方提供的CNN模型高了14多个百分点，效果显著。
实施例二
本实施例提供一种短文本语义相似度度量方法，包括以下步骤：
S1.使用word2index字典，将待匹配的句对A和B分别转化为序号矩阵。
如图1所示，本实施例所述的方法使用一种短文本语义相似度度量模型。本实施例所述的模型可以分为两个部分：第一部分进行特征增强操作，第二部分进行特征提取操作。
S2.将序号矩阵A'和B'输入本实施例所述的模型，然后经过EMBED层和BN层，进行词嵌入操作，得到词嵌入句向量A1和B1。
即在本实施例中，以字索引作为模型输入，在模型内部进行词嵌入操作，而非采用传统的预训练的方式。
S3.词嵌入句向量A1和B1经过Attention层，即进入交互阶段，对两个词嵌入句向量进行字粒度的自注意力机制，得到注意力权重，然后将词嵌入句向量分别乘以该注意力权重，得到加权句向量A1'和B1'。
S4.进行ESIM的特征强化操作(Local Inference和Inference Composition)，得到特征增强向量A2和B2。
S5.使用特征增强向量A2和B2生成相似度矩阵。
S6.结合特征增强向量A2和B2以及相似度矩阵，依次经过3个CNN层、GlobalAveragePool层和GlobalMaxPool层，得到全局最大池化向量C和全局平均池化向量D。
S7.采用步骤S4所述的特征增强的方式，将全局最大池化向量C和全局平均池化向量D展开和拼接，得到全局特征增强向量E。
S8.将全局特征增强向量E输入多层感知机，得到相似度预测结果。
本实施例所述的方法有效地简化了语义相似度度量模型，在保证模型准确率和召回率的情况下，实现了快速和轻量级的目标。
本领域技术人员可以理解，实现上述音频数据识别方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例三
本实施例提供一种短文本语义相似度度量装置，包括：
输入端，用于输入待匹配的短文本A和B。
计算端，加载有实施例一所述的系统，用于计算短文本A和B的语义相似度。
由于实施例一所述的系统为轻量级，参数量少，内存占用少，可以应用于移动终端，如手机，以提供短文本语义相似度度量服务。
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (6)
1.一种短文本语义相似度度量系统，其特征在于，包括：
向量转化模块，用于将待匹配的短文本A和短文本B分别转化为向量A1和向量B1；所述向量转化模块包括：序号矩阵转化模块，用于将短文本转化为序号矩阵；词嵌入模块，用于将所述序号矩阵转化为向量；
特征强化模块，用于将所述向量A1和所述向量B1分别转化为特征增强向量A2和特征增强向量B2；所述特征强化模块包括：特征交互模块，用于基于局部注意力机制，得到注意力权重，并将所述向量A1乘以所述注意力权重，得到加权向量A1'，将所述向量B1乘以所述注意力权重，得到加权向量B1'；第一特征融合模块，用于根据所述向量A1和所述加权向量A1'得到所述特征增强向量A2，根据所述向量B1和所述加权向量B1'得到所述特征增强向量B2；所述特征增强向量A2的计算方法为：A2=[A1,A1', A1-A1', A1+A1', A1*A1']，所述特征增强向量B2的计算方法为：B2=[B1,B1', B1-B1', B1+B1', B1*B1']；
特征提取模块，用于根据所述特征增强向量A2和所述特征增强向量B2得到全局最大池化向量C和全局平均池化向量D；
输出模块，用于根据所述全局最大池化向量C和所述全局平均池化向量D得到相似度预测结果。
2.根据权利要求1所述的短文本语义相似度度量系统，其特征在于，所述特征提取模块包括：
相似度矩阵生成模块，用于根据所述特征增强向量A2和所述特征增强向量B2得到相似度矩阵；
卷积池化模块，用于根据所述特征增强向量A2、所述特征增强向量B2和所述相似度矩阵得到所述全局最大池化向量C和所述全局平均池化向量D。
3.根据权利要求1所述的短文本语义相似度度量系统，其特征在于，所述输出模块包括：
第二特征融合模块，用于根据全局最大池化向量和全局平均池化向量得到全局特征增强向量。
4.根据权利要求1所述的短文本语义相似度度量系统，其特征在于，包括EMBED层、BN层、Attention层、CNN层、Global Average Pool层、Global Max Pool层和MLP层。
5.一种短文本语义相似度度量方法，其特征在于，包括以下步骤：
将待匹配的短文本A和短文本B分别转化为向量A1和向量B1；其中，先将所述短文本A和短文本B分别转化为序号矩阵，然后将所述序号矩阵转化为向量，得到对应的向量A1和向量B1；
将所述向量A1和所述向量B1分别转化为特征增强向量A2和特征增强向量B2；
根据所述特征增强向量A2和所述特征增强向量B2得到全局最大池化向量C和全局平均池化向量D；
根据所述全局最大池化向量C和所述全局平均池化向量D得到相似度预测结果；
其中，将所述向量A1和所述向量B1分别转化为特征增强向量A2和特征增强向量B2，进一步包括：
基于局部注意力机制，得到注意力权重，并将所述向量A1乘以所述注意力权重，得到加权向量A1'，将所述向量B1乘以所述注意力权重，得到加权向量B1'；
根据所述向量A1和所述加权向量A1'得到所述特征增强向量A2，根据所述向量B1和所述加权向量B1'得到所述特征增强向量B2；所述特征增强向量A2的计算方法为：A2=[A1,A1', A1-A1', A1+A1', A1*A1']，所述特征增强向量B2的计算方法为：B2=[B1,B1', B1-B1', B1+B1', B1*B1']。
6.一种短文本语义相似度度量装置，其特征在于，包括：
输入端，用于输入待匹配的短文本A和短文本B；
计算端，加载有如权利要求1~4任一项所述的系统，用于计算所述短文本A和所述短文本B的语义相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110892292.4A CN113761935B (zh) | 2021-08-04 | 2021-08-04 | 一种短文本语义相似度度量方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110892292.4A CN113761935B (zh) | 2021-08-04 | 2021-08-04 | 一种短文本语义相似度度量方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113761935A CN113761935A (zh) | 2021-12-07 |
| CN113761935B true CN113761935B (zh) | 2024-02-27 |
Family
ID=78788581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110892292.4A Active CN113761935B (zh) | 2021-08-04 | 2021-08-04 | 一种短文本语义相似度度量方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113761935B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114003698B (zh) * | 2021-12-27 | 2022-04-01 | 成都晓多科技有限公司 | 一种文本检索方法、系统、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298037A (zh) * | 2019-06-13 | 2019-10-01 | 同济大学 | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 |
| CN110781680A (zh) * | 2019-10-17 | 2020-02-11 | 江南大学 | 基于孪生网络和多头注意力机制的语义相似度匹配方法 |
| CN111428026A (zh) * | 2020-02-20 | 2020-07-17 | 西安电子科技大学 | 一种多标签文本分类处理方法及系统、信息数据处理终端 |
| CN112633364A (zh) * | 2020-12-21 | 2021-04-09 | 上海海事大学 | 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法 |
| WO2021143396A1 (zh) * | 2020-01-16 | 2021-07-22 | 支付宝(杭州)信息技术有限公司 | 利用文本分类模型进行分类预测的方法及装置 |
-
2021
- 2021-08-04 CN CN202110892292.4A patent/CN113761935B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298037A (zh) * | 2019-06-13 | 2019-10-01 | 同济大学 | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 |
| CN110781680A (zh) * | 2019-10-17 | 2020-02-11 | 江南大学 | 基于孪生网络和多头注意力机制的语义相似度匹配方法 |
| WO2021143396A1 (zh) * | 2020-01-16 | 2021-07-22 | 支付宝(杭州)信息技术有限公司 | 利用文本分类模型进行分类预测的方法及装置 |
| CN111428026A (zh) * | 2020-02-20 | 2020-07-17 | 西安电子科技大学 | 一种多标签文本分类处理方法及系统、信息数据处理终端 |
| CN112633364A (zh) * | 2020-12-21 | 2021-04-09 | 上海海事大学 | 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113761935A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109992782B (zh) | 法律文书命名实体识别方法、装置及计算机设备 | |
| CN111931513B (zh) | 一种文本的意图识别方法及装置 | |
| CN111460807B (zh) | 序列标注方法、装置、计算机设备和存储介质 | |
| WO2021155699A1 (zh) | 面向中文长文本自动摘要的全局编码方法 | |
| CN110795552B (zh) | 一种训练样本生成方法、装置、电子设备及存储介质 | |
| CN108428447A (zh) | 一种语音意图识别方法及装置 | |
| CN111506732B (zh) | 一种文本多层次标签分类方法 | |
| CN111538809B (zh) | 一种语音服务质量检测方法、模型训练方法及装置 | |
| CN110853626A (zh) | 基于双向注意力神经网络的对话理解方法、装置及设备 | |
| CN110851594A (zh) | 一种基于多通道深度学习模型的文本分类方法及其装置 | |
| CN111651993A (zh) | 融合局部-全局字符级关联特征的中文命名实体识别方法 | |
| CN113761935B (zh) | 一种短文本语义相似度度量方法、系统及装置 | |
| CN115391520A (zh) | 一种文本情感分类方法、系统、装置及计算机介质 | |
| CN114281996A (zh) | 长文本分类方法、装置、设备及存储介质 | |
| CN113672714A (zh) | 一种多轮对话装置及方法 | |
| CN112800196A (zh) | 一种基于孪生网络的faq问答库匹配方法与系统 | |
| CN114626529B (zh) | 一种自然语言推理微调方法、系统、装置及存储介质 | |
| CN116028606A (zh) | 基于Transformer指针抽取的人机多轮对话改写方法 | |
| CN112818688B (zh) | 文本处理方法、装置、设备及存储介质 | |
| CN115221284A (zh) | 文本相似度的计算方法、装置、电子设备及存储介质 | |
| CN111460126B (zh) | 一种用于人机对话系统的回复生成方法、装置及电子设备 | |
| CN111091011B (zh) | 领域预测方法、领域预测装置及电子设备 | |
| EP4261735A1 (en) | Natural language processing by means of a quantum random number generator | |
| CN110347813A (zh) | 一种语料处理方法、装置、存储介质及电子设备 | |
| CN113094489A (zh) | 基于疑问词分类器的神经网络问题生成方法及生成系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |