CN116663523A - 多角度增强网络的语义文本相似度计算方法 - Google Patents

多角度增强网络的语义文本相似度计算方法 Download PDF

Info

Publication number
CN116663523A
CN116663523A CN202310565889.7A CN202310565889A CN116663523A CN 116663523 A CN116663523 A CN 116663523A CN 202310565889 A CN202310565889 A CN 202310565889A CN 116663523 A CN116663523 A CN 116663523A
Authority
CN
China
Prior art keywords
vector
text
similarity
semantic
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310565889.7A
Other languages
English (en)
Inventor
章涵博
黄静
马柯宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhongzhang Data Technology Co ltd
Original Assignee
Hangzhou Zhongzhang Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhongzhang Data Technology Co ltd filed Critical Hangzhou Zhongzhang Data Technology Co ltd
Priority to CN202310565889.7A priority Critical patent/CN116663523A/zh
Publication of CN116663523A publication Critical patent/CN116663523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明关于一种多角度增强网络的语义文本相似度计算方法，包括：对中文文本进行分词，使用字符嵌入和词嵌入获得文本表示，在语料库中训练字符嵌入与词嵌入；融合字符嵌入与词嵌入获得融合向量，使用Bi‑SRU对融合向量进行编码；使用软对齐注意力进一步捕获两个文本的相似性和差异性；对文本进行全局相似性建模，捕获更丰富的全局相似性信息；通过池化层将结果向量表示为固定向量，输入到MLP多分类器中，进行分类；通过MLP多分类器的softmax对两个文本的相似程度进行预测，输出预测概率。可以解决中文丰富的语义不能被完全利用和从单一角度无法有效地捕捉上下文语义交互特征的问题，以此提升模型计算语义文本相似度的准确性。

Description

多角度增强网络的语义文本相似度计算方法
技术领域
本发明主要关于自然语言处理技术领域及计算机人工智能技术领域，特别是关于多角度增强网络的语义文本相似度计算方法。
背景技术
文本语义匹配是自然语言处理中的核心问题，也称为语义文本相似度(STS)计算，用来衡量两段文本之间的相似程度，可应用到大量的自然语言处理任务中，如信息检索、自动问答、机器翻译、推荐系统等。这些自然语言处理任务在很大程度上可以抽象为文本匹配问题，具体而言，信息检索任务，对比用户的查询与答案之间的相似度找到与其匹配的文档；自动问答任务通过问题找到与其相关的最佳候选答案；机器翻译为两种语言的相关性匹配；推荐系统通过用户的行为特征匹配用户可能感兴趣的相关度量标准。
通过将语义文本进行相似度计算归纳和分析的模型架构，主要总结为下述三类。
1、第一种框架是表示型框架，主要思想是“Siamese结构”，通过两个相同的编码器将文本对映射到同一空间中，仅利用向量间距离对两个文本向量进行相似度计算。然而，两个文本在编码过程中相互独立，缺少了明确的交互信息，造成了重要信息的丢失。
2、第二种是基于“matching-aggregation”的架构，通常使用RNN或CNN等编码器，将两个文本编码为相同长度的向量后捕获两个文本较小单元(例如字符、单词或上下文信息)的匹配信号，然后将匹配的结果聚合，从全局角度分析相似度。这种框架本质上在“Siamese network”中通过某种技术或方法进行交互，所以交互能力得到了显著提升，更好地把握了语义焦点和交互信息。
3、第三种框架是基于预训练模型的框架，它通过微调预训练的Bert模型完成具体的文本匹配任务，在多种NLP任务中都取得了不错的成果。这种方法虽然准确率有所提升但相较于前两种方法具有更高数量级的参数大小和时间成本，在平衡模型容量和准确度方面存在较大问题。
由于中文文本语义的复杂性和多义性，包含更多语义信息未被充分利用，并且仅从单一角度不能有效地捕捉上下文多角度的语义交互特征，目前的模型架构及方法还需进一步解决这个问题。
前述背景技术知识的记载旨在帮助本领域普通技术人员理解与本发明较为接近的现有技术，同时便于对本申请发明构思及技术方案的理解，应当明确的是，在没有明确的证据表明上述内容在本专利申请的申请日前已公开的情况下，上述背景技术不应当用于评价本申请技术方案的新创性。
发明内容
为解决上述背景技术中提及的至少一种技术问题，本发明的目的旨在提供一种基于简单循环单元的多角度增强网络的语义文本相似度计算方法，可以解决中文丰富的语义不能被完全利用和从单一角度无法有效地捕捉上下文语义交互特征的问题，从语义、时间和空间三个角度对文本进行全局相似性建模，捕获更丰富的全局相似性信息，从而可以提升计算语义文本相似度的准确性。
多角度增强网络的语义文本相似度计算方法，包括：
对中文文本进行分词，使用字符嵌入和词嵌入获得文本表示，在语料库中训练字符嵌入与词嵌入；
融合字符嵌入与词嵌入获得融合向量，使用Bi-SRU对融合向量进行编码；
使用软对齐注意力进一步捕获两个文本的相似性和差异性；
对文本进行全局相似性建模，捕获更丰富的全局相似性信息；
通过池化层将结果向量表示为固定向量，输入到MLP多分类器中，进行分类；
通过MLP多分类器的softmax对两个文本的相似程度进行预测，输出为文本语义相似度的预测概率。
作为本申请技术方案的优选，所述对中文文本进行分词时使用jieba分词工具进行。
作为本申请技术方案的优选，所述语料库包括维基百科和/或百度百科。
作为本申请技术方案的优选，所述在语料库中训练字符嵌入与词嵌入执行下述步骤：
字符嵌入和词嵌入由Word2Vec进行训练；
设置字符向量维度为300，词向量维度为300，得到两个文本a和b的词向量矩阵和/>其中，d是词向量的维度，/>是向量的嵌入，m是文本a的长度，n是文本b的长度。在训练过程中发现可训练的词嵌入可能导致过拟合现象出现，因此，词嵌入是固定的。
作为本申请技术方案的优选，所述使用Bi-SRU对融合向量进行编码执行下述步骤：
将融合向量输入到Bi-SRU中；
在Bi-SRU中进行轻量计算去除门控结构中对上一时刻隐藏状态的依赖以减轻递归程度，同时，采用跳跃连接；
通过Bi-SRU后得到的特征序列为和/>下标t是时间步长，ht是时刻t的隐藏状态向量，将二者连接后得到特征向量。
作为本申请技术方案的优选，所述将融合向量输入到Bi-SRU时公式如下：
其中，是编码后A的第i个编码向量；/>是编码后B的第j个编码向量；Ai是A的第i个词向量；Bj是B的第j个词向量。
作为本申请技术方案的优选，所述使用软对齐注意力进一步捕获两个文本的相似性和差异性执行下述步骤：
使用软对齐注意力来计算文本对之间的隐藏状态组的相似程度，以关联两个文本间的相关部分：/>sij是注意力权重，用来获得两个文本的局部相关性；
对于和/>使用sij来识别和组合另一个文本中的相关语义，具体公式如下：
其中，是/>的加权和，即/>中与/>相关的信息被选择并表示为/>
对于使用相同的计算操作。
作为本申请技术方案的优选，所述使用软对齐注意力进一步捕获两个文本的相似性和差异性更进一步的执行下述步骤：
通过计算元组和/>中的差值和元素乘积，然后将原始向量/>和/>以及/>和/>分别与差异和元素乘积连接获得局部相似信息，计算公式如下：
其中，⊙代表逐元素乘法，IA和IB分别为拼接后的向量。
作为本申请技术方案的优选，所述对文本进行全局相似性建模时从语义、时间和空间三个角度进行。
作为本申请技术方案的优选，所述对文本进行全局相似性建模，捕获更丰富的全局相似性信息执行下述步骤：
将前述局部相似信息合成后输入到至少2层Bi-SRU中，分别捕获文本的语义和时间的全局相似性信息，具体公式包括：
其中，G为带有ReLU激活的1层前馈神经网络，lt表示Bi-SRU在t时刻的输出。在完全捕获到时间角度和语义角度的全局相似性信息后，还需进一步捕获空间角度的全局相似性信息。
作为本申请技术方案的优选，所述对文本进行全局相似性建模，捕获更丰富的全局相似性信息进一步执行下述步骤：
将上一步输出的结果表示为：
其中，k0为隐藏状态大小，为连接操作，li:i+j为(li,li+1,...li+j)的连接，将其输入到NIN；
在卷积生成输出的基础上进行最大池化和按列平均池化，以从中为每个特征图捕获最有价值的特征，并将这些向量连接起来表示为最终向量，整体NIN公式为：
其中，为NIN模块的输出。在完全捕获到时间角度和语义角度的全局相似性信息后，使用CNN层来进一步捕获空间角度的全局相似性信息，同时引入“NIN”思想，即“NetworkIn Network”，来改进CNN以达到更好的性能。
作为本申请技术方案的优选，所述通过池化层将结果向量表示为固定向量，输入到MLP多分类器中，进行分类，具体执行下述步骤：
使用平均池化操作和最大池化操作获得向量结果，并将得到的向量结果与NIN层的输出连接起来，形成最终的固定向量o，公式如下：
其中，是/>平均池化后的向量；/>是/>平均池化后的向量；/>是/>最大池化后的向量；/>是/>最大池化后的向量；/>和/>是Bi-GRU输出拼接后的向量经过NIN模块的结果。
将o输入到多层感知机分类器中：y＝MLP(o)；
其中，MLP包括一个带有tanh激活的隐藏层和一个带有softmax的输出层。
作为本申请技术方案的优选，训练模型的操作具体如下：
创建损失函数：使用sigmoid交叉熵损失函数进行训练，公式如下：
选择优化器：经过实验对比选择使用Adam优化器通过反向传播来更新参数，学习率设置为0.0002；
当模型尚未进行训练时，需要进行训练，在最优时保存模型参数；当模型训练完毕时，即可判断所输入的文本语义是否相似。
计算机可读存储介质，所述计算机可读存储介质内存储有可被处理器执行的计算机程序，所述计算机程序被处理器执行时运行前述所述多角度增强网络的语义文本相似度计算方法中的至少一个步骤。
计算机设备，所述计算机设备包括存储器、处理器、通信接口以及通信总线；其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现前述所述多角度增强网络的语义文本相似度计算方法中的至少一个步骤。
本申请的有益效果为：
(一)本发明使用字符粒度嵌入和词粒度嵌入融合，通过两种粒度的嵌入捕获中文文本中更细粒度的语义特征信息，充分利用中文文本的语义信息；
(二)利用易于拓展的简单循环单元网络(Bi-SRU)代替Bi-LSTM来提取文本语法及语义信息，降低模型计算时间，并提高准确性；
(三)从语义、时间和空间三个角度对文本进行全局相似性建模，捕获更丰富的全局相似性信息，从而提高文本语义文本相似度预测的准确性。
附图说明
为让本发明的上述和/或其他目的、特征、优点与实例能更明显易懂，下面将对本发明的具体实施方式中所需要使用的附图进行简单的介绍，显然地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的情况下还可以根据这些附图获得其他的附图。
图1是本发明提出的多角度增强网络的语义文本相似度计算方法流程图；
图2是本发明提出的多角度增强网络的语义文本相似度计算方法的技术流程框图。
具体实施方式
本领域技术人员可以借鉴本文内容，适当替换和/或改动工艺参数实现，然而特别需要指出的是，所有类似的替换和/或改动对本领域技术人员来说是显而易见的，它们都被视为包括在本发明。本发明所述产品和制备方法已经通过较佳实例进行了描述，相关人员明显能在不脱离本发明内容、精神和范围内对本文所述的产品和制备方法进行改动或适当变更与组合，来实现和应用本发明技术。
除非另有定义，本文所使用的技术和科学术语，具有本发明所属领域的普通技术人员通常所理解的相同的含义。本发明使用本文中所描述的方法和材料；但本领域中已知的其他合适的方法和材料也可以被使用。本文中所描述的材料、方法和实例仅是说明性的，并不是用来作为限制。所有出版物、专利申请案、专利案、临时申请案、数据库条目及本文中提及的其它参考文献等，其整体被并入本文中作为参考。若有冲突，以本说明书包括定义为准。
除非具体说明，本文所描述的材料、方法和实例仅是示例性的，而非限制性的。尽管与本文所述的那些方法和材料类似或等同的方法和材料可用于本发明的实施或测试，但本文仍描述了合适的方法和材料。
为了便于理解本发明的实施例，首先对本发明实施例中可能涉及的缩略语和关键术语进行解释说明或定义。
Bi-SRU：双向SRU网络；
MLP：Multilayer Perceptron，多层感知机，又称人工神经网络；
Word2Vec：一群用来产生词向量的相关模型，具体为浅而双层的神经网络，用来训练以重新建构语言学之词文本；
ReLU：Linear rectification function，线性整流函数，又称修正线性单元，是一种人工神经网络中常用的激活函数；
CNN：Convolutional Neural Networks，卷积神经网络；
tanh：双曲正切激活函数；
softmax：归一化指数函数；
decomposable attention：可分解的注意力模型；
ABCNN：Attention-Based Convolutional Neural Network，基于注意力的卷积神经网络模型；
BiMPM：bilateral multi-perspective matching model，双向多视角匹配模型；
ESIM：Enhanced Sequential Inference Model，增强型顺序推理模型，是一个综合应用了BiLSTM和注意力机制的模型；
RE2：阿里巴巴和南京大学发表的在2019年发表的一篇文本匹配论文：Simple andEffective Text Matching with Richer Alignment Features中提及的一种模型，没有使用LSTM进行特征提取，支持了并行化处理以及参数也少了很多；
ERCNN：基于误差反馈递归卷积神经网络。
以下详细描述本发明。
实施例1：
提供一种基于简单循环单元的多角度增强网络的语义文本相似度计算方法，流程图如图1所示，方法简要过程如下：
首先对中文文本进行分词，使用字符嵌入和词嵌入获得文本表示，在维基百科和百度百科预训练字符嵌入与词嵌入，通过两种粒度的嵌入捕获中文文本中更细粒度的语义特征信息。
其次利用易于拓展的简单循环单元网络(Bi-SRU)代替Bi-LSTM来对融合字符嵌入与词嵌入后获得的融合向量进行文本语法及语义信息的提取，对文本进行编码。
再次使用软对齐注意力进一步捕获两个文本的相似性和差异性。
最后从语义、时间和空间三个角度对文本进行全局相似性建模，捕获更丰富的全局相似性信息。
最终通过池化层将结果向量表示为固定向量，输入到MLP多分类器中，进行分类，对两个文本的相似程度进行预测，输出语义相似度的预测概率。
实施例2：
在前述实施例的基础上，进一步详细描述基于简单循环单元的多角度增强网络的语义文本相似度计算方法，其技术流程框图如图2所示，其具体步骤如下。
步骤一：
使用jieba分词工具对输入的两个中文文本进行分词，使用词嵌入和字符嵌入来获得文本表示。词嵌入和字符嵌入使用由Word2Vec预先使用相关语料库进行训练。在训练过程中发现可训练的词嵌入可能导致过拟合现象出现，因此，词嵌入是固定的。设置字符向量维度为300，词向量维度为300。得到两个文本的词向量矩阵和/>其中是向量的嵌入，d是词向量的维度，m是文本a的长度，n是文本b的长度。
步骤二：
将词嵌入和字符嵌入进行融合，将融合的向量输入到双向SRU网络(Bi-SRU)中进行编码。在SRU中进行轻量计算去除门控结构中对上一时刻隐藏状态的依赖以减轻递归程度，同时，采用跳跃连接。通过Bi-SRU后得到的特征序列为 和将二者连接后得到特征向量，其中t下标为时间步长，ht是时刻t的隐藏状态向量。
将得到的文本表示A和B输入到Bi-SRU中，公式如下：
其中，为编码后A的第i个编码向量，/>为编码后B的第j个编码向量，Ai代表A的第i个词向量，Bj代表B的第j个词向量。
步骤三：
使用软对齐注意力来计算文本对之间的隐藏状态组的相似程度，以关联两个文本间的相关部分：/>sij是注意力权重，用来获得两个文本的局部相关性。
对于和/>使用sij来识别和组合另一个文本中的相关语义，具体公式如下；
其中，是/>的加权和，直观地说，/>中与/>相关的信息被选择并表示为/>对于/>使用相同的计算操作，即/>是/>的加权和，/>中与/>相关的信息被选择并表示为/>
步骤四：
通过计算元组和/>中的差值和元素乘积，然后将原始向量/>和/>以及/>和/>分别与差异和元素乘积连接，计算公式如下：
其中，⊙代表逐元素乘法，IA和IB为拼接后的向量。
步骤五：
将前述局部相似信息合成后输入到2层Bi-SRU中，分别捕获文本的语义和时间的全局相似性信息，具体公式为：
其中，G为带有ReLU激活的1层前馈神经网络，lt表示Bi-SRU在t时刻的输出。
步骤六：
在完全捕获到时间角度和语义角度的全局相似性信息后，使用CNN层来进一步捕获空间角度的全局相似性信息，同时引入“NIN”思想，即“Network In Network”，来改进CNN以达到更好的性能。将上一步输出的结果表示为：/>其中，k0为隐藏状态大小，/>为连接操作。li:i+j为(li,li+1,...li+j)的连接，将其输入到改进的CNN中，即NIN。
在卷积生成输出的基础上进行最大池化和按列平均池化，以从中为每个特征图捕获最有价值的特征，并将这些向量连接起来表示为最终向量，整体NIN公式为：为NIN模块的输出。
步骤七：
将通过两层Bi-SRU的向量结果经过池化层处理为固定长度的向量，具体是使用平均池化操作和最大池化操作，并将得到的向量结果与NIN层的输出连接起来，形成最终的固定长度的向量o。操作公式如下：
其中，是/>平均池化后的向量，/>是/>平均池化后的向量，/>是/>最大池化后的向量，/>是/>最大池化后的向量，/>和/>是Bi-GRU输出拼接后的向量经过NIN模块的结果。
将o输入到多层感知机分类器中：y＝MLP(o)；其中，MLP包括一个带有tanh激活的隐藏层和一个带有softmax的输出层。
通过softmax来对两个文本的相似程度进行预测，MLP的输出为文本A和B语义相似度的预测概率。
训练模型的操作具体如下：
创建损失函数：使用sigmoid交叉熵损失函数进行训练，公式如下：
选择优化器：经过实验对比选择使用Adam优化器通过反向传播来更新参数，学习率设置为0.0002；
当模型尚未进行训练时，需要进行训练，在最优时保存模型参数；当模型训练完毕时，即可判断所输入的文本语义是否相似。
本发明方法首先对文本进行分词操作，使用词嵌入和字符嵌入来表示文本，并将字符粒度嵌入和词粒度嵌入融合，通过两种粒度的嵌入捕获中文文本中更细粒度的语义特征信息，充分利用中文文本的语义信息，然后通过简单循环单元网络(Bi-SRU)代替Bi-LSTM来提取文本语法及语义信息，降低模型计算时间不低于30％，旨在因本申请方案通过对文本进行全局相似性建模后从语义、时间和空间三个角度捕获更丰富的全局相似性信息，从而显著提高了文本语义文本相似度预测的准确性，表1示出了本申请方案同传统模型的验证结果对比，可知本申请模型(SMAEN)具有85.88％的准确率及86.62％的F1值，均优于现有技术的传统模型。
表1-模型验证结果
实施例3：
在前述实施例的基础上，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有可被处理器执行的计算机程序，所述计算机程序被处理器执行时运行前述所述多角度增强网络的语义文本相似度计算方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
实施例4：
在前述实施例的基础上，提供一种计算机设备，所述计算机设备包括存储器、处理器、通信接口以及通信总线；其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现前述所述多角度增强网络的语义文本相似度计算方法中的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PR AM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
上述实施例中的常规技术为本领域技术人员所知晓的现有技术，故在此不再详细赘述。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管对本发明已作出了详细的说明并引证了一些具体实施例，但是对本领域熟练技术人员来说，只要不离开本发明的精神和范围可作各种变化或修正是显然的。
虽然上述具体实施方式已经显示、描述并指出应用于各种实施方案的新颖特征，但应理解，在不脱离本公开内容的精神的前提下，可对所说明的装置或方法的形式和细节进行各种省略、替换和改变。另外，上述各种特征和方法可彼此独立地使用，或可以各种方式组合。所有可能的组合和子组合均旨在落在本公开内容的范围内。上述许多实施方案包括类似的组分，并且因此，这些类似的组分在不同的实施方案中可互换。虽然已经在某些实施方案和实施例的上下文中公开了本发明，但本领域技术人员应理解，本发明可超出具体公开的实施方案延伸至其它的替代实施方案和/或应用以及其明显的修改和等同物。因此，本发明不旨在受本文优选实施方案的具体公开内容限制。
本发明未尽事宜均为公知技术。

Claims (10)

1.多角度增强网络的语义文本相似度计算方法，其特征在于：包括：
对中文文本进行分词，使用字符嵌入和词嵌入获得文本表示，在语料库中训练字符嵌入与词嵌入；
融合字符嵌入与词嵌入获得融合向量，使用Bi-SRU对融合向量进行编码；
使用软对齐注意力进一步捕获两个文本的相似性和差异性；
对文本进行全局相似性建模，捕获更丰富的全局相似性信息；
通过池化层将结果向量表示为固定向量，输入到MLP多分类器中，进行分类；
通过MLP多分类器的softmax对两个文本的相似程度进行预测，输出为文本语义相似度的预测概率。
2.根据权利要求1所述的多角度增强网络的语义文本相似度计算方法，其特征在于：所述在语料库中训练字符嵌入与词嵌入执行下述步骤：
字符嵌入和词嵌入由Word2Vec进行训练；
设置字符向量维度为300，词向量维度为300，得到两个文本a和b的词向量矩阵和/>其中，d是词向量的维度，/>是向量的嵌入，m是文本a的长度，n是文本b的长度。
3.根据权利要求1所述的多角度增强网络的语义文本相似度计算方法，其特征在于：所述使用Bi-SRU对融合向量进行编码执行下述步骤：
将融合向量输入到Bi-SRU中；
在Bi-SRU中进行轻量计算去除门控结构中对上一时刻隐藏状态的依赖以减轻递归程度，同时，采用跳跃连接；
通过Bi-SRU后得到的特征序列为和/>下标t是时间步长，ht是时刻t的隐藏状态向量，将二者连接后得到特征向量。
4.根据权利要求3所述的多角度增强网络的语义文本相似度计算方法，其特征在于：所述将融合向量输入到Bi-SRU时公式如下：
其中，是编码后A的第i个编码向量；/>是编码后B的第j个编码向量；Ai是A的第i个词向量；Bj是B的第j个词向量。
5.根据权利要求4所述的多角度增强网络的语义文本相似度计算方法，其特征在于：所述使用软对齐注意力进一步捕获两个文本的相似性和差异性执行下述步骤：
使用软对齐注意力来计算文本对之间的隐藏状态组的相似程度，以关联两个文本间的相关部分：/>sij是注意力权重，用来获得两个文本的局部相关性；
对于和/>使用sij来识别和组合另一个文本中的相关语义，具体公式如下：
其中，是/>的加权和，即/>中与/>相关的信息被选择并表示为/>
对于使用相同的计算操作。
6.根据权利要求5所述的多角度增强网络的语义文本相似度计算方法，其特征在于：所述使用软对齐注意力进一步捕获两个文本的相似性和差异性更进一步的执行下述步骤：
通过计算元组和/>中的差值和元素乘积，然后将原始向量/>和/>以及/>和/>分别与差异和元素乘积连接获得局部相似信息，计算公式如下：
其中，⊙代表逐元素乘法，IA和IB分别为拼接后的向量。
7.根据权利要求6所述的多角度增强网络的语义文本相似度计算方法，其特征在于：所述对文本进行全局相似性建模，捕获更丰富的全局相似性信息执行下述步骤：
将前述局部相似信息合成后输入到至少2层Bi-SRU中，分别捕获文本的语义和时间的全局相似性信息，具体公式包括：
其中，G为带有ReLU激活的1层前馈神经网络，lt表示Bi-SRU在t时刻的输出。
8.根据权利要求7所述的多角度增强网络的语义文本相似度计算方法，其特征在于：所述通过池化层将结果向量表示为固定向量，输入到MLP多分类器中，进行分类，具体执行下述步骤：
使用平均池化操作和最大池化操作获得向量结果，并将得到的向量结果与NIN层的输出连接起来，形成最终的固定向量o，公式如下：
其中，是/>平均池化后的向量；/>是/>平均池化后的向量；/>是/>最大池化后的向量；/>是/>最大池化后的向量；/>和/>是Bi-GRU输出拼接后的向量经过NIN模块的结果。
9.计算机可读存储介质，所述计算机可读存储介质内存储有可被处理器执行的计算机程序，其特征在于：所述计算机程序被处理器执行时运行权利要求1-8任一项所述多角度增强网络的语义文本相似度计算方法中的至少一个步骤。
10.计算机设备，所述计算机设备包括存储器、处理器、通信接口以及通信总线；其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述多角度增强网络的语义文本相似度计算方法中的至少一个步骤。
CN202310565889.7A 2023-05-19 2023-05-19 多角度增强网络的语义文本相似度计算方法 Pending CN116663523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310565889.7A CN116663523A (zh) 2023-05-19 2023-05-19 多角度增强网络的语义文本相似度计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310565889.7A CN116663523A (zh) 2023-05-19 2023-05-19 多角度增强网络的语义文本相似度计算方法

Publications (1)

Publication Number Publication Date
CN116663523A true CN116663523A (zh) 2023-08-29

Family

ID=87723420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310565889.7A Pending CN116663523A (zh) 2023-05-19 2023-05-19 多角度增强网络的语义文本相似度计算方法

Country Status (1)

Country Link
CN (1) CN116663523A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992294A (zh) * 2023-09-26 2023-11-03 成都国恒空间技术工程股份有限公司 卫星测控训练评估方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858032A (zh) * 2019-02-14 2019-06-07 程淑玉 融合Attention机制的多粒度句子交互自然语言推理模型
CN112101043A (zh) * 2020-09-22 2020-12-18 浙江理工大学 一种基于注意力的语义文本相似度计算方法
CN114595306A (zh) * 2022-01-26 2022-06-07 西北大学 基于距离感知自注意力机制和多角度建模的文本相似度计算系统及方法
US20220292265A1 (en) * 2021-03-09 2022-09-15 Beijing Xiaomi Mobile Software Co., Ltd. Method for determining text similarity, storage medium and electronic device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858032A (zh) * 2019-02-14 2019-06-07 程淑玉 融合Attention机制的多粒度句子交互自然语言推理模型
CN112101043A (zh) * 2020-09-22 2020-12-18 浙江理工大学 一种基于注意力的语义文本相似度计算方法
US20220292265A1 (en) * 2021-03-09 2022-09-15 Beijing Xiaomi Mobile Software Co., Ltd. Method for determining text similarity, storage medium and electronic device
CN114595306A (zh) * 2022-01-26 2022-06-07 西北大学 基于距离感知自注意力机制和多角度建模的文本相似度计算系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
程淑玉;郭泽颖;刘威;印鉴;: "融合Attention多粒度句子交互自然语言推理研究", 小型微型计算机系统, no. 06, pages 121 - 12205 *
陈天龙;喻国平;姚磊岳;: "基于卷积与双向简单循环单元的文本分类模型", 计算机工程与设计, no. 03, pages 838 - 844 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992294A (zh) * 2023-09-26 2023-11-03 成都国恒空间技术工程股份有限公司 卫星测控训练评估方法、装置、设备及存储介质
CN116992294B (zh) * 2023-09-26 2023-12-19 成都国恒空间技术工程股份有限公司 卫星测控训练评估方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108932342A (zh) 一种语义匹配的方法、模型的学习方法及服务器
CN112131366A (zh) 训练文本分类模型及文本分类的方法、装置及存储介质
CN113762322A (zh) 基于多模态表示的视频分类方法、装置和设备及存储介质
WO2023160472A1 (zh) 一种模型训练方法及相关设备
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
CN111400601B (zh) 一种视频推荐的方法及相关设备
CN116415654A (zh) 一种数据处理方法及相关设备
CN112633010A (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
WO2022253074A1 (zh) 一种数据处理方法及相关设备
CN111858984A (zh) 一种基于注意力机制哈希检索的图像匹配方法
CN113761868A (zh) 文本处理方法、装置、电子设备及可读存储介质
CN116975350A (zh) 图文检索方法、装置、设备及存储介质
CN116663523A (zh) 多角度增强网络的语义文本相似度计算方法
CN111930894A (zh) 长文本匹配方法及装置、存储介质、电子设备
CN114329051A (zh) 数据信息识别方法、装置、设备、存储介质及程序产品
CN114282055A (zh) 视频特征提取方法、装置、设备及计算机存储介质
CN116680407A (zh) 一种知识图谱的构建方法及装置
CN116561272A (zh) 开放域视觉语言问答方法、装置、电子设备及存储介质
WO2023168818A1 (zh) 视频和文本相似度确定方法、装置、电子设备、存储介质
CN113779938B (zh) 基于视觉与主题协同注意力的连贯性故事生成系统及方法
CN113704466B (zh) 基于迭代网络的文本多标签分类方法、装置及电子设备
CN115130461A (zh) 一种文本匹配方法、装置、电子设备及存储介质
CN115774992A (zh) 信息处理方法、装置、电子设备、存储介质及程序产品
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN112749554A (zh) 确定文本匹配度的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination