CN113641789B - 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统 - Google Patents

基于分层融合多头注意力网络和卷积网络的观点检索方法及系统 Download PDF

Info

Publication number
CN113641789B
CN113641789B CN202110917626.9A CN202110917626A CN113641789B CN 113641789 B CN113641789 B CN 113641789B CN 202110917626 A CN202110917626 A CN 202110917626A CN 113641789 B CN113641789 B CN 113641789B
Authority
CN
China
Prior art keywords
viewpoint
score
retrieval
layer
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110917626.9A
Other languages
English (en)
Other versions
CN113641789A (zh
Inventor
廖祥文
蔡鸿杰
陈甘霖
梁明
郭星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110917626.9A priority Critical patent/CN113641789B/zh
Publication of CN113641789A publication Critical patent/CN113641789A/zh
Application granted granted Critical
Publication of CN113641789B publication Critical patent/CN113641789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于分层融合多头注意力网络和卷积网络的观点检索方法及系统，主要包含一个文本预处理模块，对输入的查询和候选文档的文本数据进行预处理；包含一个相关得分计算模块，用于计算查询和候选文档之间的相关得分；包含一个观点得分计算模块，用于计算候选文档的观点得分；包含一个统一相关检索模块，用于根据相关得分和观点得分计算观点检索得分；包含一个排序学习检索模块，将相关得分作为新的特征加入到常用的特征、文本概念化特征、网络表示特征和观点得分特征中，用于计算观点检索得分。

Description

基于分层融合多头注意力网络和卷积网络的观点检索方法及 系统
技术领域
本发明属于观点检索技术领域，尤其涉及一种基于分层融合多头注意力网络和卷积网络的观点检索方法及系统。能够通过融合多层次多头注意力的结果来获取更加丰富的文本上下文信息，通过卷积网络获取文本N-Gram信息，并基于这些信息进行观点检索。
背景技术
随着互联网从提供信息服务向提供平台服务延伸，诸如博客、微博等社会媒介已成为网民表达观点、意见等主观性信息的重要载体。以分析、挖掘网络主观性信息为目标的观点挖掘已成为当前信息检索和文本挖掘领域的热点研究问题之一。文本观点检索旨在从社交媒体等候选文档集中检索出与查询主题相关并且能表达用户观点的候选文档。该任务不仅要求被检索出的候选文档必须与给定查询主题相关，而且还要求必须具有对给定查询的主观性评论。围绕观点检索课题的研究和讨论，引起了来自学术、工业以及各行业学者的广泛关注。观点检索模型的研究经历了早期的二阶段检索模型，到统一相关模型，再到基于排序学习的检索模型这三个阶段。下面将对这三个阶段作简要介绍。
两阶段检索模型，首先检索出与给定查询话题相关的候选文档，然后识别出这些与给定查询相关候选文档的倾向性，最后综合相关性和倾向性对候选文档进行排序。该模型结构简单，容易理解，但是缺乏合理的理论解释。该方法第一阶段通常采用语言模型、BM25等经典检索模型，而将研究重点放在第二阶段，即候选文档的观点挖掘。
统一检索模型，借助当前信息检索和文本挖掘领域的最新模型，直接挖掘描述主题的倾向性对候选文档进行排序。该方法相对于两阶段模型，具有在理论上易解释、对信息需求表达更直接有效等优点。
排序学习模型，是利用提取的特征和机器学习的方法对推文进行倾向性检索。利用多种基于学习或非学习的组合方式将候选文档的观点信息与查询-候选文档之间的相关性信息相结合，根据所结合的信息对候选文档进行排序，其中基于排序学习模型的组合方式获得更高的性能。
发明内容
为了弥补现有技术的空白和不足，本发明的目的在于提供一种基于分层融合多头注意力网络和卷积网络的观点检索方法及系统，能够通过融合多层次多头注意力的结果来获取更加丰富的文本上下文信息，通过卷积网络获取文本N-Gram信息，并基于这些信息实现较好的观点检索性能。
主要包含一个文本预处理模块，对输入的查询和候选文档的文本数据进行预处理；包含一个相关得分计算模块，用于计算查询和候选文档之间的相关得分；包含一个观点得分计算模块，用于计算候选文档的观点得分；包含一个统一相关检索模块，用于根据相关得分和观点得分计算观点检索得分；包含一个排序学习检索模块，将相关得分作为新的特征加入到常用的特征、文本概念化特征、网络表示特征和观点得分特征中，用于计算观点检索得分。
本发明具体采用以下技术方案：
一种基于分层融合多头注意力网络和卷积网络的观点检索系统，其特征在于，包括：
文本预处理模块，用于对输入的用户查询和候选文档的文本数据进行预处理，包括分词、去除停用词的操作；将查询语句的词语与候选文档的词语映射到低维的语义空间中获取对应词语的向量表示；
相关得分计算模块，由分层上下文编码层，上下文融合层、卷积层、匹配层、核池化层、学习层组合而成，用于计算用户查询和候选文档之间的相关得分；
观点得分计算模块，由上下文编码层，上下文融合层、卷积层、分类器组合而成，用于计算候选文档的观点得分；
统一相关检索模块，用于根据相关得分和观点得分计算候选文档的观点检索得分，对候选文档进行排序，输出排序结果。
进一步地，还包括：排序学习检索模块，将相关得分作为新的特征加入到常用的特征、文本概念化特征、网络表示特征和观点得分特征中，用于计算候选文档的观点检索得分，对候选文档进行排序，输出排序结果。
系统在相关得分计算模块和观点得分计算模块的训练阶段，根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。
进一步地，分层上下文编码层由3个Transformer编码器组成，根据输入的300维词向量获取对应不同层次的上下文表示的300维上下文向量；
上下文融合层由多个全连接层和一个GLU模块组成，不同层次的上下文信息通过拼接的方式进行第一步融合，此时每个表示向量为900维，通过第一个全连接层对这些向量进行降维，每个表示向量的维度变回300维，通过第二个全连接层对这些表示向量进行初步的调整，作为GLU模块的输入；通过第三个全连接层对原始词向量进行初步的调整，作为GLU模块的输入，得到最后的上下文表示向量；
卷积层由若干个窗口大小不同的卷积核组成，通过这些卷积核在上一层获取到的融合上下文信息的基础上进一步获取输入文本中的N-Gram表示信息，即挖掘文本中的局部上下文特征表示；
匹配层根据上一层获得的N-Gram信息，计算用户查询和候选文档之间的每个N-Gram向量的相似度得分，构建查询-候选文档的交互矩阵；
核池化层由k个高斯核函数组成，用于产生软交互特征，该层通过k个高斯核函数计算交互矩阵中k个强度级别的N-Gram相似度得分，捕捉隐含的软交互特征；
学习层通过学习根据上一层提取到的软交互特征，获得最终的相关得分。
进一步地，所述观点得分计算模块采用的分层上下文编码层，上下文融合层和卷积层与相关得分计算模块相同，分类器由两个全连接层组成。
进一步地，所述统一相关检索模块将相关得分与查询得分进行相乘，得到候选文档的观点检索得分。
进一步地，对于一个查询-候选文档对，通过一个特征向量x表示，该向量由若干个特征值组合而成，通过排序学习框架将观点检索得分函数转换为线性函数；在通过排序学习框架将排序问题转换为Pairwise的分类问题；使用Linear SVM分类模型进行学习并调整参数矩阵，得到最后的线性函数；
根据所述线性函数计算出每个候选文档在对应查询下的观点检索得分，由高到低对候选文档进行排序，并输出排序后的候选文档列表，得到最终观点检索的结果。
以及，一种基于分层融合多头注意力网络和卷积网络的观点检索方法，其特征在于，包括以下步骤：
步骤S1：对输入的用户查询和候选文档的文本数据进行预处理，包括分词、去除停用词的操作；将查询语句的词语与候选文档的词语映射到低维的语义空间中获取对应词语的向量表示；
步骤S2：进行相关得分计算：引入基于多头注意力机制的Transformer编码器获取文本上下文信息，引入卷积神经网络计算文本的N-Gram信息，通过余弦相似度计算查询和候选文档的交互信息，最后通过核池化操作计算查询-候选文档的相关得分；
步骤S3：进行观点得分计算：引入基于多头注意力机制的Transformer编码器获取文本上下文信息，引入卷积神经网络计算文本的N-Gram信息，同时利用分类器对卷积特征进行计算，从而得到候选文档的观点得分；
步骤S4：进行统一相关检索：通过将相关得分与观点得分进行相乘，得到候选文档的观点检索得分，并根据观点检索得分对所有的候选文档进行重新排序，并输出排序结果；
进一步地，还包括步骤S5：进行排序学习检索：通过将相关得分作为新的特征加入到常用的特征、文本概念化特征、网络表示特征和观点得分特征中，将这些特征融入到排序学习框架中，将排序问题转换成分类问题进行训练，对所有的候选文档进行重新排序，并输出排序结果。
进一步地，在步骤S5中，对于一个查询-候选文档对，通过一个特征向量x表示，该向量由若干个特征值组合而成，通过排序学习框架将观点检索得分函数转换为线性函数；在通过排序学习框架将排序问题转换为Pairwise的分类问题；使用Linear SVM分类模型进行学习并调整参数矩阵，得到最后的线性函数。
以及，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的基于分层融合多头注意力网络和卷积网络的观点检索方法的步骤。
以及，一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上所述的基于分层融合多头注意力网络和卷积网络的观点检索方法的步骤。
与现有技术相比，本发明及其优选方案能够通过融合多层次多头注意力的结果来获取更加丰富的文本上下文信息，通过卷积网络获取文本N-Gram信息，并基于这些信息进行观点检索。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例整体流程示意图。
图2为本发明实施例相关得分计算模块工作流程意图。
图3为本发明实施例观点得分计算模块工作流程示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，根据本发明实施提供的包括基于分层融合多头注意力网络和卷积网络的观点检索方法及系统的方案包括：
文本预处理模块1，对数据进行预处理包括分词、去除停用词的操作；将查询语句的词语与候选文档的词语映射到低维的语义空间中获取对应词语的向量表示；
相关得分计算模块2，引入基于多头注意力机制的Transformer编码器来获取文本上下文信息，引入卷积神经网络来计算文本的N-Gram信息，通过余弦相似度计算查询和候选文档的交互信息，最后通过高斯核池化操作来计算查询-候选文档的相关得分；
观点得分计算模块3，引入了基于多头注意力机制的Transformer编码器来获取文本上下文信息，引入卷积神经网络来计算文本的N-Gram信息，同时利用线性分类器对卷积特征进行计算，从而得到候选文档的观点得分；
统一相关检索模块4，通过将相关得分与查询得分进行相乘，得到候选文档的观点检索得分，并根据观点检索得分对所有的候选文档进行重新排序，并输出排序结果；
排序学习检索模块5，通过将相关得分作为新的特征加入到常用的特征、文本概念化特征、网络表示特征和观点得分特征中，将这些特征融入到排序学习框架中，将排序问题转换成分类问题进行训练，对所有的候选文档进行重新排序，并输出排序结果。
1)文本预处理模块1
首先，描述文本预处理模块如何进行文本的预处理。
社交媒体候选文档中包含了丰富的信息但同时也夹杂了一定的噪声，因此对数据集进行预处理。主要进行以下几个方面的操作：
a、去除候选文档中包括网页链接、特殊字符和标点符号；
b、根据中英文的停用词表分别过滤掉数据集中包含的停用词；
c、对文本数据进行词干还原处理；
d、根据Glove模型获取文本数据中每个词语对应的300维向量。
2)相关得分计算模块2
下面描述相关得分计算模块2是如何利用文本预处理模块1得到的文本词向量表示，通过基于分层融合多头注意力网络和卷积网络，计算查询文本和候选文档文本的相关得分。
具体而言，如图2所示，此模块由分层上下文编码层，上下文融合层、卷积层、匹配层、核池化层、学习层组合而成。
分层上下文编码层由3个Transformer编码器组成，根据输入的300维词向量用于获取对应不同层次的上下文表示的300维上下文向量。
Transformer编码器公式如下：
TransformerEncoder(x1:n)＝MultiHeadAttention(LL(x1:n))+x1:n
LL(x1:n)＝Linear(ReLU(Linear(x1:n)))
MultiHeadAttention(x1:n)＝Concat(head1,…,headh)WO
Linear(x1:n)＝x1:nAT+b
其中x1:n为一段文本中n个词语对应的词向量,为第i个Transformer编码器的输出，ReLU为非线性激活函数，W为需要模型学习的参数矩阵。
上下文融合层由多个全连接层和一个GLU模块组成，不同层次的上下文信息通过拼接的方式进行第一步融合，此时每个表示向量为900维，然后通过第一个全连接层对这些向量进行降维，每个表示向量的维度变回300维，然后通过第二个全连接层对这些表示向量进行初步的调整，作为GLU模块的输入。然后通过第三个全连接层对原始词向量进行初步的调整，作为GLU模块的输入，得到最后的上下文表示向量，此时每个词语对应的上下文向量不仅包含自身单词的信息，还带有了不同层次且丰富的上下文信息。
卷积层由若干个窗口大小不同的卷积核组成，通过这些卷积核可以在上一层获取到的融合上下文信息的基础上进一步获取输入文本中的N-Gram表示信息，即挖掘文本中的局部上下文特征表示：
其中h∈[1,N]为卷积核在词语维度的窗口大小，N＝2，W为卷积核的参数矩阵。
匹配层根据上一层获得的N-Gram信息，计算用户查询和候选文档/>之间的每个N-Gram向量的相似度得分，构建查询-候选文档的交互矩阵：
核池化层由k个高斯核函数组成，用于产生软交互特征，该层通过k个高斯核函数计算交互矩阵中k个强度级别的N-Gram相似度得分，捕捉隐含的软交互特征φ(M)：
φ(M)＝Concat(φ(M1),…,φ(MN))
学习层通过学习根据上一层提取到的软交互特征，获得最终的相关得分RelScore。
RelScore(q,d)＝sigmoid(Linear(φ(M)))。
3)观点得分计算模块3
下面描述观点得分计算模块3是如何利用文本预处理模块1得到的文本词向量表示，通过基于分层融合多头注意力网络和卷积网络，计算候选文档文本的观点得分。
具体而言，如图3所示，此模块由上下文编码层，上下文融合层、卷积层、分类器组合而成。其中分层上下文编码层，上下文融合层、卷积层与相关得分计算模块2相同，分类器由两个全连接层组成：
4)统一相关检索模块4
下面描述统一相关检索模块4是如何利用相关得分计算模块2得到的相关得分和观点得分计算模块3得到的观点得分计算最终的观点检索得分RankScore。
将相关得分与查询得分进行相乘，得到候选文档的观点检索得分：
RankScore(q,d)＝RelScore(q,d)·OpiScore(d)
最后根据每个候选文档的观点检索得分由高到低排序，并依次输出候选文档列表，得到最终观点检索的结果。
5)排序学习检索模块5
下面描述排序学习检索模块5是如何利用相关得分计算模块2得到的相关得分和观点得分计算模块3得到的观点得分计算最终的观点检索排序结果。
推特信息常用的特征包括否有提及他人@、是否有超链接、作者的写作长度和发表篇数。
排序学习检索模块利用机器学习的思想来解决排序问题，在排序学习模型中性能最好的文本概念化特征、网络表示特征以及推特常用的特征的基础上加入相关得分和观点得分作为新的特征，融入排序学习框架进行分类，并按照顺序输出候选文档。
对于一个查询-候选文档对，可以通过一个特征向量x来表示，该向量上述的若干个特征值组合而成，此时通过排序学习框架可以将观点检索得分函数转换为线性函数：
此时当f(xi)>f(xj)时，候选文档di应该排在dj的前面。
通过排序学习框架首先将上述排序问题转换为Pairwise的分类问题:
使用Linear SVM分类模型进行学习并调整参数矩阵W，得到最后的线性函数。
最后根据线性函数计算出每个候选文档在对应查询下的观点检索得分，由高到低对候选文档进行排序，并输出排序后的候选文档列表，得到最终观点检索的结果。
本实施例提供的以上方法可以代码化的形式存储在计算机可读取存储介质中，并以计算机程序的方式进行实现，并通过计算机硬件输入计算所需的基本参数信息，并输出计算结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于分层融合多头注意力网络和卷积网络的观点检索方法及系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (3)

1.一种基于分层融合多头注意力网络和卷积网络的观点检索系统，其特征在于，包括：
文本预处理模块，用于对输入的用户查询和候选文档的文本数据进行预处理，包括分词、去除停用词的操作；将查询语句的词语与候选文档的词语映射到低维的语义空间中获取对应词语的向量表示；
相关得分计算模块，由分层上下文编码层，上下文融合层、卷积层、匹配层、核池化层、学习层组合而成，用于计算用户查询和候选文档之间的相关得分；
观点得分计算模块，由分层上下文编码层，上下文融合层、卷积层、分类器组合而成，用于计算候选文档的观点得分；
统一相关检索模块，用于根据相关得分和观点得分计算候选文档的观点检索得分，对候选文档进行排序，输出排序结果；
所述文本预处理模块根据Glove模型获取文本数据中每个词语对应的300维向量；
在所述相关得分计算模块中：
分层上下文编码层由3个Transformer编码器组成，根据输入的300维词向量获取对应不同层次的上下文表示的300维上下文向量；
上下文融合层由多个全连接层和一个GLU模块组成，不同层次的上下文信息通过拼接的方式进行第一步融合，此时每个表示向量为900维，通过第一个全连接层对这些向量进行降维，每个表示向量的维度变回300维，通过第二个全连接层对这些表示向量进行初步的调整，作为GLU模块的输入；通过第三个全连接层对原始词向量进行初步的调整，作为GLU模块的输入，得到最后的上下文表示向量；
卷积层由若干个窗口大小不同的卷积核组成，通过这些卷积核在上一层获取到的融合上下文信息的基础上进一步获取输入文本中的N-Gram表示信息，即挖掘文本中的局部上下文特征表示；
匹配层根据上一层获得的N-Gram信息，计算用户查询和候选文档之间的每个N-Gram向量的相似度得分，构建查询-候选文档的交互矩阵；
核池化层由 k个高斯核函数组成，用于产生软交互特征，该层通过k个高斯核函数计算交互矩阵中k个强度级别的N-Gram相似度得分，捕捉隐含的软交互特征；
学习层通过学习根据上一层提取到的软交互特征，获得最终的相关得分；
所述观点得分计算模块采用的分层上下文编码层，上下文融合层和卷积层与相关得分计算模块的对应模块相同，分类器由两个全连接层组成；
所述统一相关检索模块将相关得分与查询得分进行相乘，得到候选文档的观点检索得分；
对于一个查询-候选文档对，通过一个特征向量x表示，该向量由若干个特征值组合而成，通过排序学习框架将观点检索得分函数转换为线性函数；在通过排序学习框架将排序问题转换为Pairwise的分类问题；使用Linear SVM分类模型进行学习并调整参数矩阵，得到最后的线性函数；
根据所述线性函数计算出每个候选文档在对应查询下的观点检索得分，由高到低对候选文档进行排序，并输出排序后的候选文档列表，得到最终观点检索的结果。
2.根据权利要求1所述的基于分层融合多头注意力网络和卷积网络的观点检索系统，其特征在于：
还包括：排序学习检索模块，将相关得分作为新的特征加入到常用的特征、文本概念化特征、网络表示特征和观点得分特征中，用于计算候选文档的观点检索得分，对候选文档进行排序，输出排序结果。
3.根据权利要求1所述的基于分层融合多头注意力网络和卷积网络的观点检索系统，其特征在于：其观点检索方法，包括以下步骤：
步骤S1：对输入的用户查询和候选文档的文本数据进行预处理，包括分词、去除停用词的操作；将查询语句的词语与候选文档的词语映射到低维的语义空间中获取对应词语的向量表示；
步骤S2：进行相关得分计算：引入基于多头注意力机制的Transformer编码器获取文本上下文信息，引入卷积神经网络计算文本的N-Gram信息，通过余弦相似度计算查询和候选文档的交互信息，最后通过核池化操作计算查询-候选文档的相关得分；
步骤S3：进行观点得分计算：引入基于多头注意力机制的Transformer编码器获取文本上下文信息，引入卷积神经网络计算文本的N-Gram信息，同时利用分类器对卷积特征进行计算，从而得到候选文档的观点得分；
步骤S4：进行统一相关检索：通过将相关得分与观点得分进行相乘，得到候选文档的观点检索得分，并根据观点检索得分对所有的候选文档进行重新排序，并输出排序结果；
步骤S5：进行排序学习检索：通过将相关得分作为新的特征加入到常用的特征、文本概念化特征、网络表示特征和观点得分特征中，将这些特征融入到排序学习框架中，将排序问题转换成分类问题进行训练，对所有的候选文档进行重新排序，并输出排序结果；
在步骤S5中，对于一个查询-候选文档对，通过一个特征向量x表示，该向量由若干个特征值组合而成，通过排序学习框架将观点检索得分函数转换为线性函数；在通过排序学习框架将排序问题转换为Pairwise的分类问题；使用Linear SVM分类模型进行学习并调整参数矩阵，得到最后的线性函数。
CN202110917626.9A 2021-08-11 2021-08-11 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统 Active CN113641789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110917626.9A CN113641789B (zh) 2021-08-11 2021-08-11 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110917626.9A CN113641789B (zh) 2021-08-11 2021-08-11 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统

Publications (2)

Publication Number Publication Date
CN113641789A CN113641789A (zh) 2021-11-12
CN113641789B true CN113641789B (zh) 2023-08-04

Family

ID=78420716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110917626.9A Active CN113641789B (zh) 2021-08-11 2021-08-11 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统

Country Status (1)

Country Link
CN (1) CN113641789B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542252B (zh) * 2023-07-07 2023-09-29 北京营加品牌管理有限公司 一种金融文本核查方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN112308370A (zh) * 2020-09-16 2021-02-02 湘潭大学 一种基于Transformer的面向思政课程的主观题自动评分技术
CN113220856A (zh) * 2021-05-28 2021-08-06 天津大学 一种基于中文预训练模型的多轮对话系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN112308370A (zh) * 2020-09-16 2021-02-02 湘潭大学 一种基于Transformer的面向思政课程的主观题自动评分技术
CN113220856A (zh) * 2021-05-28 2021-08-06 天津大学 一种基于中文预训练模型的多轮对话系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Senda S., Minoh M., Ikeda K..Document image retrieval system using character candidates generated by character recognition process.Document Analysis and Recognition, 1993., Proceedings of the Second International Conference on Tsukuba Science City, Japan 20-22 Oct. 1993.Los Alamitos, CA, USA,IEEE Comput. Soc.,1993,全文. *

Also Published As

Publication number Publication date
CN113641789A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN111611361B (zh) 抽取式机器智能阅读理解问答系统
US11900064B2 (en) Neural network-based semantic information retrieval
CN108733742B (zh) 全局归一化阅读器系统和方法
US10055686B2 (en) Dimensionally reduction of linguistics information
CN111581401B (zh) 一种基于深度相关性匹配的局部引文推荐系统及方法
CN111291188B (zh) 一种智能信息抽取方法及系统
Shi et al. Deep adaptively-enhanced hashing with discriminative similarity guidance for unsupervised cross-modal retrieval
CN110781306B (zh) 一种英文文本的方面层情感分类方法及系统
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
CN110879834B (zh) 一种基于循环卷积网络的观点检索系统及其观点检索方法
CN112015868A (zh) 基于知识图谱补全的问答方法
CN112328800A (zh) 自动生成编程规范问题答案的系统及方法
WO2019133506A1 (en) Intelligent routing services and systems
Huang et al. Character-level convolutional network for text classification applied to chinese corpus
CN111581364B (zh) 一种面向医疗领域的中文智能问答短文本相似度计算方法
CN113641789B (zh) 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统
Liu et al. Resume parsing based on multi-label classification using neural network models
CN116089592A (zh) 一种开放域多答案问答的实现方法、设备及存储介质
CN114021550A (zh) 一种基于图卷积神经网络的新闻趋势预测系统及方法
Ribeiro et al. UA. PT Bioinformatics at ImageCLEF 2019: Lifelog Moment Retrieval based on Image Annotation and Natural Language Processing.
CN112182159A (zh) 一种基于语义表示的个性化检索式对话方法和系统
CN117828050B (zh) 基于长文档检索增强生成的中医问答方法、设备及介质
US11914635B2 (en) Performing image search based on user input using neural networks
KR102435849B1 (ko) 문서에 포함된 텍스트 기반이 아닌 개체에 대한 검색결과를 제공하는 방법
CN113610128B (zh) 基于美学属性检索的图片美学描述建模、描述方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant