CN117131853A - 文本相似度确定方法、装置、设备及存储介质 - Google Patents

文本相似度确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117131853A
CN117131853A CN202311096488.8A CN202311096488A CN117131853A CN 117131853 A CN117131853 A CN 117131853A CN 202311096488 A CN202311096488 A CN 202311096488A CN 117131853 A CN117131853 A CN 117131853A
Authority
CN
China
Prior art keywords
text
word
vector
matrix
attention weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311096488.8A
Other languages
English (en)
Inventor
徐乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202311096488.8A priority Critical patent/CN117131853A/zh
Publication of CN117131853A publication Critical patent/CN117131853A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种文本相似度确定方法、装置、电子设备及存储介质，可以应用于人工智能技术领域。该文本相似度确定方法包括：对两个待处理文本分别执行下述操作，得到两个文本特征：对待处理文本进行切词，得到文本词序列；对文本词序列进行向量表示，得到词矩阵；基于词矩阵和可调节参数矩阵，得到注意力权重向量，其中，可调节参数矩阵包括用于提取文本词序列中多个文本词之间的语义相关性的学习向量；基于注意力权重向量和词矩阵，生成文本特征；基于两个文本特征，确定两个待处理文本之间的相似度。

Description

文本相似度确定方法、装置、设备及存储介质
技术领域
本公开涉及人工智能技术领域，更具体地，涉及一种文本相似度确定方法、装置、电子设备及存储介质。
背景技术
随着人工智能、互联网和计算机技术的快速发展，文本相似度计算在很多领域得以应用。例如，在自然语言处理领域中，通常用于诸如文本匹配、句子相似度计算、文本聚类和分类等任务；在推荐系统中，文本相似度可用于推荐系统中的项目相似度计算，为用户提供个性化的推荐内容；在情感分析中，文本相似度可用于比较和分析不同文本之间的情感倾向和情绪相似度；在问答系统中，相似度可用于问答系统中的问题匹配和答案推荐，以提供准确和相关的答案。
但是，现有的文本相似度方法往往难以准确地捕捉文本的语义信息和上下文含义，难以捕捉到上下文信息的变化，在计算大规模文本数据集的文本相似度时复杂度高，在不同的语言和领域中计算性能可能下降。在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：无法捕捉文中的上下文信息，进而使得模型无法利用语义信息而导致确定的相似度结果精度低。
发明内容
有鉴于此，本公开提供了一种文本相似度确定方法、装置、电子设备及存储介质。
本公开的一个方面提供了一种文本相似度确定方法，包括：对两个待处理文本分别执行下述操作，得到两个文本特征：对上述待处理文本进行切词，得到文本词序列；对上述文本词序列进行向量表示，得到词矩阵；基于上述词矩阵和可调节参数矩阵，得到注意力权重向量，其中，上述可调节参数矩阵包括用于提取上述文本词序列中多个文本词之间的语义相关性的学习向量；基于上述注意力权重向量和上述词矩阵，生成文本特征；基于上述两个文本特征，确定上述两个待处理文本之间的相似度。
根据本公开的实施例，上述词矩阵包括多个词向量；上述基于上述词矩阵和可调节参数矩阵，得到注意力权重向量，包括：针对上述词矩阵中的每个词向量，确定上述词向量的向量维度；基于上述向量维度、上述可调节参数矩阵、查询向量以及键向量，得到上述词向量的注意力权重；基于上述多个词向量各自的注意力权重，得到上述注意力权重向量。
根据本公开的实施例，上述基于上述注意力权重向量和上述词矩阵，生成文本特征，包括：基于上述注意力权重向量，对上述词矩阵中的多个词向量进行加权，得到加权后的词矩阵；基于上述加权后的词矩阵，生成上述文本特征。
根据本公开的实施例，上述基于上述加权后的词矩阵，生成上述文本特征，包括：对上述加权后的词矩阵和上述词矩阵进行拼接，得到初始文本特征；上述初始文本特征进行特征编码，得到上述文本特征。
根据本公开的实施例，上述基于上述向量维度、上述可调节参数矩阵、查询向量以及键向量，得到上述词向量的注意力权重，包括：基于上述可调节参数矩阵和上述查询向量，得到线性变换后的查询向量；基于上述可调节参数矩阵和上述键向量，得到线性变换后的键向量；基于上述线性变换后的查询向量、上述线性变换后的键向量和上述向量维度，得到注意力权重矩阵；对上述注意力权重矩阵进行回归，得到上述注意力权重。
根据本公开的实施例，上述对上述文本词序列进行向量表示，得到词矩阵，包括：确定上述文本词序列的词数量；在确定上述词数量不满足预定数量阈值的情况下，基于预定词序列，对上述文本词序列进行增补，得到满足上述预定数量阈值的目标文本词序列；对上述目标文本词序列进行向量表示，得到上述词矩阵。
根据本公开的实施例，上述方法还包括：确定样本文本对各自的样本词矩阵；基于上述样本词矩阵和上述样本文本对的标签，训练初始可调节参数矩阵，得到上述可调节参数矩阵，其中，上述样本文本对的标签用于表征上述样本文本对之间的相似度。
本公开的另一个方面提供了一种文本相似度确定装置，包括：第一处理模块，用于对两个待处理文本分别执行操作，得到两个文本特征，其中，第一处理模块包括第一处理子模块、第二处理子模块、第一生成子模块和第二生成子模块；第一处理子模块，用于对上述待处理文本进行切词，得到文本词序列；第二处理子模块，用于对上述文本词序列进行向量表示，得到词矩阵；第一生成子模块，用于基于上述词矩阵和可调节参数矩阵，得到注意力权重向量，其中，上述可调节参数矩阵包括用于提取上述文本词序列中多个文本词之间的语义相关性的学习向量；第二生成子模块，用于基于上述注意力权重向量和上述词矩阵，生成文本特征；以及第一确定模块，用于基于上述两个文本特征，确定上述两个待处理文本之间的相似度。
本公开的另一方面提供了电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当一个或多个指令被一个或多个处理器执行时，使得一个或多个处理器实现如上上述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，指令被处理器执行时使处理器实现如上上述的方法。
本公开的另一方面提供了一种计算机程序产品，计算机程序产品包括计算机可执行指令，指令在被执行时用于实现如上上述的方法。
根据本公开的实施例，通过向文本相似度计算中引入注意力机制，允许模型更加关注文本中更重要的部分，通过对文本的不同部分分配不同的权重，从而在计算文本相似度时更好地建模上下文关系；通过学习每个部分的重要性权重，从而更准确地计算相似度；通过自动学习词语之间的相关性，使得长距离的依赖关系更容易捕捉和建模。至少解决因传统方式无法捕捉文中的上下文信息，进而使得模型无法利用语义信息而导致的相似度精度低的问题。
在本公开的实施例中，通过可调节参数处理词矩阵，得到注意力权重向量，利用注意力权重向量中的每个注意力权重，使得文本特征包含多个词之间的上下文关联特征，由此使得相似度精度提高。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了可以应用本公开的文本相似度确定方法和装置的示例性系统架构；
图2示意性示出了根据本公开实施例的文本相似度确定方法的流程图；
图3示意性示出了根据本公开实施例的注意力向量确定方法的流程图；
图4示意性示出了根据本公开实施例的文本特征确定模型的网络结构示意图；
图5示意性示出了根据本公开另一实施例的检索方法的流程图；
图6示意性示出了根据本公开实施例的文本相似度确定装置的结构框图；
图7示意性示出了根据本公开实施例的检索装置的结构框图；以及
图8示意性示出了根据本公开实施例的适于文本相似度确定方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
现有的文本相似度计算方法中，通常将文本表示为固定长度的向量，无法捕捉到文中的上下文信息；不关注文本中不同部分对于计算相似度的结果贡献不同的重要性，由此导致相似度计算不够准确；在处理较长的文本序列时，面临长距离依赖的问题。
因此，现有技术存在无法捕捉文中的上下文信息，进而使得模型无法利用语义信息而导致的相似度精度低的问题。
本公开的实施例提供了一种文本相似度确定方法，该方法包括对两个待处理文本分别执行下述操作，得到两个文本特征：对待处理文本进行切词，得到文本词序列；对文本词序列进行向量表示，得到词矩阵；基于词矩阵和可调节参数矩阵，得到注意力权重向量；基于注意力权重向量和词矩阵，生成文本特征；基于两个文本特征，确定两个待处理文本之间的相似度。
图1示意性示出了根据本公开实施例的可以应用文本相似度确定方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的文本相似度确定方法一般可以由服务器105执行。相应地，本公开实施例所文本相似度确定装置一般可以设置于服务器105中。本公开实施例所提供的文本相似度确定方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的文本相似度确定装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的文本相似度确定方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的文本相似度确定装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的文本相似度确定方法的流程图。
如图2所示，文本相似度确定方法200包括操作S210～S220。
在操作S210，对两个待处理文本分别执行操作S211～操作S214，得到两个文本特征。
根据本公开的实施例，针对两个待处理文本，在执行操作S211～操作S214之后，得到两个对应的文本特征。
在操作S211，对待处理文本进行切词，得到文本词序列。
根据本公开的实施例，待处理文本可以来源于不同类型的待处理内容。例如，待处理的内容包括文本类型的内容、图片类型的内容、音频类型的内容和视频类型的内容等中的至少一种，其中，图片类型的内容包括终端的摄像头组件拍摄的照片或含有待处理内容的图片，等等。本公开实施例的待处理文本的来源不加以限定。例如，可以通过文字识别、语音识别等技术从图片、音频、视频等类型的内容中识别得到待处理的文本内容。
根据本公开的实施例，待处理文本可以为单词、句子、段落或者文档，对待处理文本的级别不加以限定。
根据本公开的实施例，文本词序列是指对待处理文本以词为单位进行切割后得到的文本词序列。
在操作S212，对文本词序列进行向量表示，得到词矩阵。
根据本公开的实施例，因为计算机不能直接处理汉字，所以需要将文本词序列中的每个词转换为向量表示。
根据本公开的实施例，词矩阵是对文本词序列中的每个词进行向量表示后拼合得到的矩阵。可以通过Word2Vec或编码器对文本词序列中的每个词进行编码处理，得到每个词的词向量，拼合所有词向量得到词矩阵。例如，可以通过编码器对词序列中的每个词进行嵌入处理，以N维向量表示每个词，得到每个词的词向量，拼合每个词的词向量得到词矩阵。在获取每个词的词向量之后，还可以获取每个词在待处理文本中的位置，生成每个词的位置向量。
在操作S213，基于词矩阵和可调节参数矩阵，得到注意力权重向量，其中，可调节参数矩阵包括用于提取文本词序列中多个文本词之间的语义相关性的学习向量。
根据本公开的实施例，在基于注意力机制处理输入的词矩阵时，可以通过预先设置或者对包含注意力层的神经网络模型训练得到Q(查询向量)、K(键向量)以及V(值向量)。并通过可调节参数矩阵调节得到的Q、K、V，根据调节后的Q、K、V，计算得到注意力权重向量。例如，在使用包含Transformer(编码解码器)模块的神经网络文本相似度计算模型处理输入的词矩阵时，可以得到权重矩阵WQ(查询权重矩阵)、WK(键权重矩阵)以及WV(值权重矩阵)，通过对WQ、WK以及WV分别对词矩阵进行线性变换，可以分别得到Q、K以及V。通过可调节参数对Q、K、V进行线性变换得到注意力权重向量。
根据本公开的实施例，可调节参数矩阵Wa可以是基于权重矩阵WQ(查询权重矩阵)、WK(键权重矩阵)以及WV(值权重矩阵)通过拼接、加和、线性组合等方式组合全部或者部分的权重矩阵，并且通过训练得到的参数矩阵。
例如，权重矩阵包括权重矩阵1、权重矩阵2以及权重矩阵3，可以将权重矩阵2拼接至权重矩阵1后面，并将权重矩阵3拼接至权重矩阵2后面，训练后得到可调节参数矩阵，此处对拼接顺序不加限定，此外，可以根据应用场景或不同神经网络模型选择组合全部或者部分权重矩阵训练得到权重矩阵。
根据本公开的可选实施例，可调节参数矩阵可以包括用于提取文本词序列中多个文本词之间的语义相关性的学习向量。学习向量可以是一组可学习的参数，通过样本数据对可调节参数矩阵的学习向量进行调参学习，从而使得可调节参数矩阵具有提取文本词序列中多个文本词之间的语义相关性能力或者特性，进而使得基于词矩阵和可调节参数矩阵，得到注意力权重向量。注意力权重向量可以理解为结合文本词序列中多个文本词之间的语义相关性，确定每个文本词的关注度。
在操作S214，基于注意力权重向量和词矩阵，生成文本特征。
根据本公开的实施例，注意力权重向量即为每个文本词的关注度，将其注意力权重向量中的多个元素分别作为权重对词矩阵中的词向量加权，使得生成的文本特征突出待处理文本中重要的部分。
根据本公开的实施例，文本特征是指根据注意力权重向量和词矩阵得到的特征。例如，在使用包含Transformer模块的神经网络文本相似度计算模型输入注意力权重向量和词矩阵时，可以得到文本特征。
在操作S220，基于两个文本特征，确定两个待处理文本之间的相似度。
根据本公开的实施例，在分别获得两个文本特征后可以将这两个特征输入到输出层。在输出层中可以对这两个文本特征通过余弦相似度计算确定两个待处理文本之间的相似度，并输出相似度。
根据本公开的实施例，通过可调节参数矩阵处理词矩阵，得到注意力权重向量，利用注意力权重向量中的每个注意力权重，使得文本特征关联了多个词之间的上下文关联特征，并突出了关键词的重要性，由此使得相似度精度提高。
下面参考图3～图5，结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开的实施例的确定注意力权重向量的流程图。
需要说明的是，本公开实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。
如图3所示，确定注意力权重向量300包括操作S310～操作S320，可以作为操作S213的一个具体实施例。
根据本公开的实施例，每个词矩阵中包含多个词向量，针对每个词向量，执行操作S310～操作S330。
在操作S310，针对词矩阵中的每个词向量，确定词向量的向量维度。
根据本公开的实施例，词向量的向量维度可以为使用Word2Vec或编码器将文本词序列中的每个词转化为词向量时，根据实际需要设置的向量维度。
在操作S320，基于每个词向量的向量维度、可调节参数矩阵、查询向量以及键向量，得到词向量的注意力权重。
根据本公开的实施例，使用可调节参数矩阵WA对查询向量Q、键向量K进行线性变换后，基于向量维度并通过一个激活函数得到每个词向量的注意力权重。
在操作S330，基于多个词向量各自的注意力权重，得到注意力权重向量。
根据本公开的实施例，注意力权重向量为多个词向量各自的注意力权重拼接得到的。注意力权重在注意力权重向量中的位置可以与词向量在词矩阵中的位置有关。
根据本公开的实施例，通过每个词向量的向量维度、可调节参数矩阵、查询向量以及键向量得到各个词向量的注意力权重，再基于多个词向量的注意力权重得到注意力权重向量，使得到的注意力权重向量更能突出表示出多个词向量中的关键词向量。
根据本公开的实施例，基于注意力权重向量和词矩阵，生成文本特征，包括：基于注意力权重向量，对词矩阵中的多个词向量进行加权，得到加权后的词矩阵；基于加权后的词矩阵，生成文本特征。
根据本公开的实施例，在得到注意力权重之后，可以根据注意力权重确定词矩阵中每个词向量对应的注意力权重向量中的注意力权重，由于注意力权重融合了词矩阵中每个词向量的信息，因此得到的加权后的词矩阵具有全局的依赖关系，能够提高文本相似度计算的准确性。例如，可以采用点积运算，得到加权后的词矩阵。得到加权后的词矩阵之后，通过特征编码输出文本特征。
需说明的是，当包含Transformer模块的神经网络机器翻译模型的解码器包括多个顺序相连的解码层时，每个解码层可以至少包含多头注意力层，词向量经过一个解码层处理后得到的向量，输入下一解码层，直至输入所有的解码层处理后得到文本特征，每个解码层可以多头注意力层中对输入的向量执行操作S213～操作S214的处理过程。
根据本公开的实施例，通过注意力权重向量对词矩阵进行加权，得到加权后的词矩阵，再根据加权后的词矩阵生成文本特征，使生成的文本特征包含多个词之间的上下文关联特征。
根据本公开的实施例，对加权后的词矩阵和词矩阵进行拼接，得到初始文本特征；对初始文本特征进行特征编码，得到文本特征。
根据本公开的实施例，可以利用注意力层对词矩阵进行处理，得到加权后的词矩阵。将词矩阵与加权后的词矩阵进行拼接，得到初始文本特征，可以包括如下操作。
重复执行下述操作，直至重复次数达到预定重复阈值：
根据本公开的实施例，可以将第n次词矩阵输入至第n级注意力机制层中，得到第n次加权后的词矩阵。将第n次加权后的词矩阵和第n次词矩阵输入至第n级第一残差连接和归一化层，得到第n次初始文本特征。将第n次初始文本特征输入至第n级前馈神经网络层，得到第n次中间特征。将第n次中间特征和第n次初始文本特征输入至第n级第二残差连接和归一化层，得到第n次编码特征。
根据本公开的实施例，n小于等于N，N为预定重复阈值。将第N次编码特征作为文本特征。
根据本公开的实施例，使用Transformer的编码层中编码层和线性层结构，对词矩阵和加权词矩阵多次进行特征编码，使得到的文本特征能更好地表示出词矩阵和加权词矩阵内部的联系。
根据本公开的实施例，可以利用文本特征确定模型对待处理文本进行处理，得到文本特征。文本特征确定模型可以包括编码解码器(Transformer)，但是并不局限于此。文本特征确定模型还可以参考如图4所示的网络结构。
图4示意性示出了根据本公开实施例的文本特征确定模型的网络结构示意图。
如图4所示，文本特征确定模型400可以包括嵌入层M410及编码层M420。编码层M420可以包括堆叠的N个子编码层，每个子编码层包括依序连接的注意力机制层(HeadAttention)M421、第一残差和归一化层(Add&Norm)M422、前向反馈网络层(Feed Forward)M423和第二残差和归一化层(Add&Norm)M424。
如图4所示，将待处理文本410输入至嵌入层M410，输出词矩阵。将词矩阵输入至编码层M420，输出文本特征420。
根据本公开的实施例，可以将第n次词矩阵输入至第n级注意力机制层中，得到第n次加权后的词矩阵。将第n次加权后的词矩阵和第n次词矩阵输入至第n级第一残差连接和归一化层，得到第n次初始文本特征。将第n次初始文本特征输入至第n级前馈神经网络层，得到第n次中间特征。将第n次中间特征和第n次初始文本特征输入至第n级第二残差连接和归一化层，得到第n次编码特征。将第N次编码特征作为文本特征。
根据本公开的实施例，可以利用文本特征确定模型处理待处理文本，得到文本特征，简化文本相似度计算过程，提高处理效率。
根据本公开的实施例，基于向量维度、可调节参数矩阵、查询向量以及键向量，得到词向量的注意力权重，包括：基于可调节参数矩阵和查询向量，得到线性变换后的查询向量；基于可调节参数矩阵和键向量，得到线性变换后的键向量；基于线性变换后的查询向量、线性变换后的键向量和向量维度，得到注意力权重分数矩阵；对注意力权重分数矩阵进行回归，得到注意力权重。
根据本公开的实施例，查询向量的计算方式为：对于每个词语xi，计算其查询向量qi，查询向量用来衡量当前词语与其他词语之间的关联程度。查询向量的公式为：
qi＝xi*WQ。
根据本公开的实施例，键向量的计算方式为：对于每个词语xi，计算其键向量ki。键向量用于提供给其他词语计算注意力分数时的参考。键向量的公式为：
ki＝xi*WK。
根据本公开的实施例，线性变换可以将属于一个向量空间的向量映射到另一个向量空间，可以使用可调节参数矩阵对词向量进行线性变换，将词向量分别映射到不同的向量空间中，以得到词向量对应的注意力权重。
根据本公开的实施例，通过可调节参数对查询向量和键向量进行线性变换，得到注意力权重分数，每一个词的所有注意力权重分数组成一个注意力权重分数矩阵，对注意力权重分数矩阵进行回归，得到每个词的注意力权重。
根据本公开的实施例，计算注意力权重的方法包括点积注意力、加性注意力、缩放点积注意力等。其中，点积注意力是一种简单且常用的注意力计算方法，通过计算词向量之间的点积作为相关性度量，它的优点是计算简单高效，不需要额外的参数，在大规模数据集和较长序列上的计算效率较高；缺点是当词向量维度较高时，点积的数值会变得较大，可能导致梯度爆炸问题。此外，点积注意力无法考虑输入序列中不同位置的重要性差异。加性注意力使用通过线性变换和激活函数来计算注意力权重，以考虑词向量之间的非线性关系。优点是其引入线性变换和非线性激活函数，可以更好地建模词向量之间的复杂关系，具有较强的表达能力，能够处理不同位置之间的依赖关系；缺点是加性注意力需要学习额外的权重矩阵，参数较多，计算量较大。在处理较长序列时，计算效率可能会下降。缩放点积注意力则是在点积注意力的基础上进行改进，引入缩放因子来平衡点积的大小和注意力的稳定性。它相对简单且计算高效，但是无法考虑输入序列中的不同位置的重要性差异。可以根据不同的场景和需要，选择适合的计算注意力权重的方法。
例如，使用点积注意力作为基本的注意力计算方法，注意力权重可表示为：
根据本公开的实施例，通过注意力机制层，基于向量维度、可调节参数矩阵、查询向量以及键向量，得到每个词的注意力权重。
根据本公开的实施例，对文本词序列进行向量表示，得到词矩阵，包括：确定文本词序列的词数量；在确定词数量不满足预定数量阈值的情况下，基于预定词序列，对文本词序列进行增补，得到满足预定数量阈值的目标文本词序列；对目标文本词序列进行向量表示，得到词矩阵。
根据本公开的实施例，预定数量阈值为预先设定好的词序列的固定长度，在文本词序列没有达到预定数量阈值时，可以通过补零的方式对词序列进行增补，达到预定数量阈值，得到目标文本词序列。
例如，当有文本词序列L1和词序列L2，将不同长度两个文本词序列通过填充和裁剪的方式保持同一长度L，同时计算mask(掩膜)，mask记录句子的原始长度，比如一个文本词序列原始长度为28，预定词序列长度L，对文本词序列增补后，得到的目标文本词序列第29位至第L位的值均为0。
为了获取目标文本中不同字符的位置信息，采用了位置向量P。假设文本词序列L1和文本词序列L2原始长度分别为61和28，那么由文本词序列L1得到的目标词序列L3中，第1位至第61位的位置id的值依次为1,2,3,4,..,61，第62位至第L位的位置id的值均为0，同理由文本词序列L2得到的目标词序列L4中，第1位至第28位的位置id的值依次为1,2,3,4,...,28，第29位至第L位的位置id的值均为0。得到词序列的文本和位置向量后，再分别对每个词序列中的词的文本和位置向量进行合并后得到词序列中每个词的词向量，词序列中所有词向量组成词矩阵。
根据本公开的实施例，通过增补的方式，统一了词序列的长度，将文本词序列转化为长度相同的目标文本词序列，再通过目标文本词序列得到词矩阵，方便进行文本相似度计算。
根据本公开的实施例，在实现上述方法的过程中，还包括：确定样本文本对各自的样本词矩阵；基于样本词矩阵和样本文本对的标签，训练初始可调节参数矩阵，得到可调节参数矩阵，其中，样本文本对的标签用于表征样本文本对之间的相似度。
根据本公开的实施例，可调节参数矩阵通过初始可调节参数矩阵经过训练得到。基于样本文本对的标签对训练得到的可调节参数矩阵进行评估。
根据本公开的实施例，初始可调节参数矩阵可以由权重矩阵WQ、WK和WV组合得到。
根据本公开的实施例，可调节参数矩阵WA可以由权重矩阵WQ、WK以及WV中的至少两个矩阵进行组合后经过训练得到。在对初始可调节参数矩阵进行训练时，可以通过调节初始可调节参数矩阵中权重矩阵WQ、WK和WV组合的方法，得到初始可调节参数矩阵中权重矩阵的最佳组合方式，进而训练得到最佳的可调节参数矩阵。
根据本公开的实施例，在组合多个权重矩阵中的至少两个权重矩阵时，可以是全部或部分地组合多个权重矩阵中的权重矩阵。若组合全部的权重矩阵得到组合权重矩阵，则可调节参数矩阵可以为组合权重矩阵。若组合部分权重矩阵得到组合权重矩阵，则可调节参数矩阵可以包括组合权重矩阵以及未被组合的权重矩阵，例如，权重矩阵包括权重矩阵1、权重矩阵2以及权重矩阵3，将权重矩阵1以及权重矩阵2拼接得到组合权重矩阵，则可调节参数矩阵包括组合权重矩阵以及权重矩阵3。
根据本公开的实施例，在可调节参数矩阵包括组合权重矩阵以及未被组合的权重矩阵时，可以结合组合权重矩阵以及未被组合的权重矩阵得到一个注意力权重，例如，可以使用组合权重矩阵以及权重矩阵3先后对内容词进行两次线性变换，得到注意力权重，此处对线性变换顺序不加以限定。也可以针对组合权重矩阵以及未被组合的权重矩阵分别得到注意力权重，例如，可以根据组合权重矩阵对词向量进行线性变换，得到注意力权重1，并根据初始参数矩阵3对词向量进行线性变换，得到注意力权重2，以此，操作S312中得到的注意力权重包括注意力权重1以及注意力权重2。在实际应用中，还可以将注意力权重1和注意力权重2拼接的形式表示注意力权重，此处对拼接顺序不加以限定。
根据本公开的实施例，本申请实施例在对至少两个权重矩阵组合得到组合权重矩阵后，可以使用组合权重矩阵以及未被组合的权重矩阵计算得到注意力权重，以此，使得到的注意力权重与所有的初始权重矩阵关联，即受到所有权重矩阵的影响，使得到的注意力权重更为精确。
根据本公开的实施例，选择适当的损失函数来衡量模型输出的相似度与真实标签之间的差异，例如均方差损失函数、交叉熵损失函数等。使用验证集对评估训练后的模型的性能，例如准确度、F1分数、均方根误差等。
根据本公开的实施例，还可以根据模型评估结果，对模型的超参数进行调整，如学习率、批量大小、隐藏单元数量等。可以使用交叉验证等技术来找到最佳的超参数组合。经过充分训练和调优之后，使用测试数据集对模型进行最终评估。评估结果将反映出模型在真实环境中的性能。
根据本公开的实施例，可调节参数矩阵可以由权重矩阵进行组合后训练得到，通过不断调节可调节参数矩阵，使得到的注意力权重更加准确。
图5示意性示出了根据本公开另一实施例的检索方法的流程图。
如图5所示，检索方法500包括操作S510～S530。
在操作S510，响应于接收到检索请求，从检索请求中确定检索语句。
在操作S520，利用如上述实施例的文本相似度确定方法，确定多个待匹配语句中的每个待匹配语句与检索语句的相似度，得到多个相似度；
在操作S530，基于多个相似度，从多个待匹配语句中确定与检索语句相匹配的目标语句。
根据本公开的实施例，服务器响应于接收到的检索请求，从检索请求中提取检索语句，使用文本相似度确定计算检索语句和每个待匹配语句之间的相似度，得到多个相似度之后，确定与检索语句相似度最高的待匹配语句为目标语句。
例如，有检索语句sent，待匹配语句sent1，sent2，sent3。利用文本相似度确定方法分别计算sent与sent1、sent与sent2、sent与sent3之间的相似度s1、s2、s3，得到的相似度s1为60％，s2为90％，s3为70％，则确定sent2为目标语句。
根据本公开的实施例，利用本提案的文本相似度确定方法，实现了一种检索方法，使得检索精准有效，提高用户体验。
图6示意性示出了根据本公开的实施例的文本相似度确定装置的框图。
如图6所示，文本相似度确定装置600包括第一处理模块610，第一确定模块620。
第一处理模块610，用于对两个待处理文本分别执行操作S211～S214，得到两个文本特征。在本公开的实施例中，第一处理模块410可以用于执行操作S210，此不再赘述。
第一确定模块620，用于基于两个文本特征，确定两个待处理文本之间的相似度。在本公开的实施例中，第一确定模块420可以用于执行操作S220，此不再赘述。
根据本公开的实施例，第一处理模块包括第一处理子模块、第二处理子模块、第一生成子模块和第二生成子模块。
第一处理子模块，用于对待处理文本进行切词，得到文本词序列。在本公开的实施例中，第一处理子模块可以用于执行操作S211，此不再赘述。
第二处理子模块，用于对文本词序列进行向量表示，得到词矩阵。在本公开的实施例中，第二处理子模块可以用于执行操作S212，此不再赘述。
第一生成子模块，用于基于词矩阵和可调节参数矩阵，得到注意力权重向量，其中，可调节参数矩阵包括用于提取文本词序列中多个文本词之间的语义相关性的学习向量。在本公开的实施例中，第一生成子模块可以用于执行操作S213，此不再赘述。
第二生成子模块，用于基于注意力权重向量和词矩阵，生成文本特征。在本公开的实施例中，第二生成子模块可以用于执行操作S214，此不再赘述。
根据本公开的实施例，第一生成子模块包括第一确定单元、第一生成单元和第二生成单元。
第一确定单元用于确定词向量的向量维度。在本公开的实施例中，第一确定单元可以用于执行操作S310，此不再赘述。
第一生成单元用于基于向量维度、可调节参数矩阵、查询向量以及键向量，得到词向量的注意力权重。在本公开的实施中，第一生成单元可以用于执行操作S320，此不再赘述。
第二生成单元用于基于多个词向量各自的注意力权重，得到注意力权重向量。在本公开的实施例中，第二生成单元可以用于执行操作S330，此不再赘述。
根据本公开的实施例，第三生成子模块包括第三生成单元和第四生成单元。
第三生成单元用于基于注意力权重向量，对词矩阵中的多个词向量进行加权，得到加权后的词矩阵。
第四生成单元用于基于加权后的词矩阵，生成文本特征。
根据本公开的实施例，第四生成单元包括拼接子单元和编码子单元。
拼接子单元用于将加权后的词矩阵和词矩阵进行拼接，得到初始文本特征。
编码子单元用于对初始文本特征进行特征编码，得到文本特征。
根据本公开的实施例，第一生成单元包括第一生成子单元，第二生成子单元，第三生成子单元和回归子单元。
第一生成子单元用于基于可调节参数矩阵和查询向量，得到线性变换后的查询向量。
第二生成子单元用于基于可调节参数矩阵和键向量，得到线性变换后的键向量。
第三生成子单元用于基于线性变换后的查询向量、线性变换后的键向量和向量维度，得到注意力权重矩阵。
回归子单元用于对注意力权重矩阵进行回归，得到注意力权重。
根据本公开的实施例，第二生成子模块包括词数量确定单元、词序列增补单元和词矩阵生成单元。
词数量确定单元用于确定文本词序列的词数量。
词序列增补单元用于在确定词数量不满足预定数量阈值的情况下，基于预定词序列，对文本词序列进行增补，得到满足预定数量阈值的目标文本词序列。
词矩阵生成单元用于对目标文本词序列进行向量表示，得到词矩阵。
文本相似度确定装置600还包括调节模块，包括样本确定子模块和参数调节子模块。
样本确定子模块用于确定样本文本对各自的样本词矩阵。
参数调节子模块用于基于样本词矩阵和样本文本对的标签，训练初始可调节参数矩阵，得到可调节参数矩阵。
图7示意性示出了根据本公开的实施例的文本相似度确定的框图。
如图7所示，检索装置700包括检索语句确定模块710、相似度确定模块720、目标语句确定模块730。
检索语句确定模块710，用于响应于接收到检索请求，从检索请求中确定检索语句。根据本公开的实施例，检索语句确定模块710可以用于执行操作S510，此不再赘述。
相似度确定模块720，用于利用如本公开实施例提供的文本相似度确定装置，确定多个待匹配语句中的每个待匹配语句与检索语句的相似度，得到多个相似度。根据本公开的实施例，相似度确定模块720可以用于执行操作S520，此不再赘述。
目标语句确定模块730，用于基于多个相似度，从多个待匹配语句中确定与检索语句相匹配的目标语句。根据本公开的实施例，目标语句确定模块730可以用于执行操作S530，此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一处理模块610，第一确定模块620中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，身第一处理模块610，第一确定模块620中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一处理模块610，第一确定模块620中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图8示意性示出了根据本公开实施例的适于实现文本相似度确定方法的计算机系统的框图。图8示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，根据本公开实施例的计算机系统800包括处理器801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中，存储有系统800操作所需的各种程序和数据。处理器801、ROM 802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统800还可以包括输入/输出(I/O)接口808，输入/输出(I/O)接口805也连接至总线804。系统800还可以包括连接至I/O接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口808。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的文本相似度确定方法。
在该计算机程序被处理器801执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种文本相似度确定方法，包括：
对两个待处理文本分别执行下述操作，得到两个文本特征：
对所述待处理文本进行切词，得到文本词序列；
对所述文本词序列进行向量表示，得到词矩阵；
基于所述词矩阵和可调节参数矩阵，得到注意力权重向量，其中，所述可调节参数矩阵包括用于提取所述文本词序列中多个文本词之间的语义相关性的学习向量；
基于所述注意力权重向量和所述词矩阵，生成文本特征；
基于所述两个文本特征，确定所述两个待处理文本之间的相似度。
2.根据权利要求1所述的方法，其中，所述词矩阵包括多个词向量；
所述基于所述词矩阵和可调节参数矩阵，得到注意力权重向量，包括：
针对所述词矩阵中的每个词向量，
确定所述词向量的向量维度；
基于所述向量维度、所述可调节参数矩阵、查询向量以及键向量，得到所述词向量的注意力权重；
基于所述多个词向量各自的注意力权重，得到所述注意力权重向量。
3.根据权利要求2所述的方法，其中，所述基于所述注意力权重向量和所述词矩阵，生成文本特征，包括：
基于所述注意力权重向量，对所述词矩阵中的多个词向量进行加权，得到加权后的词矩阵；
基于所述加权后的词矩阵，生成所述文本特征。
4.根据权利要求3所述的方法，其中，所述基于所述加权后的词矩阵，生成所述文本特征，包括：
将所述加权后的词矩阵和所述词矩阵进行拼接，得到初始文本特征；
对所述初始文本特征进行特征编码，得到所述文本特征。
5.根据权利要求2所述的方法，其中，所述基于所述向量维度、所述可调节参数矩阵、查询向量以及键向量，得到所述词向量的注意力权重，包括：
基于所述可调节参数矩阵和所述查询向量，得到线性变换后的查询向量；
基于所述可调节参数矩阵和所述键向量，得到线性变换后的键向量；
基于所述线性变换后的查询向量、所述线性变换后的键向量和所述向量维度，得到注意力权重矩阵；
对所述注意力权重矩阵进行回归，得到所述注意力权重。
6.根据权利要求1至5中任一项所述的方法，其中，所述对所述文本词序列进行向量表示，得到词矩阵，包括：
确定所述文本词序列的词数量；
在确定所述词数量不满足预定数量阈值的情况下，基于预定词序列，对所述文本词序列进行增补，得到满足所述预定数量阈值的目标文本词序列；
对所述目标文本词序列进行向量表示，得到所述词矩阵。
7.根据权利要求1至5中任一项所述的方法，还包括：
确定样本文本对各自的样本词矩阵；
基于所述样本词矩阵和所述样本文本对的标签，训练初始可调节参数矩阵，得到所述可调节参数矩阵，其中，所述样本文本对的标签用于表征所述样本文本对之间的相似度。
8.一种文本相似度确定装置，包括：
第一处理模块，用于对两个待处理文本分别执行操作，得到两个文本特征，其中，第一处理模块包括第一处理子模块、第二处理子模块、第一生成子模块和第二生成子模块；
第一处理子模块，用于对所述待处理文本进行切词，得到文本词序列；
第二处理子模块，用于对所述文本词序列进行向量表示，得到词矩阵；
第一生成子模块，用于基于所述词矩阵和可调节参数矩阵，得到注意力权重向量，其中，所述可调节参数矩阵包括用于提取所述文本词序列中多个文本词之间的语义相关性的学习向量；
第二生成子模块，用于基于所述注意力权重向量和所述词矩阵，生成文本特征；以及
第一确定模块，用于基于所述两个文本特征，确定所述两个待处理文本之间的相似度。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个指令，
其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，所述指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。
11.一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现权利要求1至7中任一项所述的方法。
CN202311096488.8A 2023-08-29 2023-08-29 文本相似度确定方法、装置、设备及存储介质 Pending CN117131853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311096488.8A CN117131853A (zh) 2023-08-29 2023-08-29 文本相似度确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311096488.8A CN117131853A (zh) 2023-08-29 2023-08-29 文本相似度确定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117131853A true CN117131853A (zh) 2023-11-28

Family

ID=88862453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311096488.8A Pending CN117131853A (zh) 2023-08-29 2023-08-29 文本相似度确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117131853A (zh)

Similar Documents

Publication Publication Date Title
US11120801B2 (en) Generating dialogue responses utilizing an independent context-dependent additive recurrent neural network
US11816442B2 (en) Multi-turn dialogue response generation with autoregressive transformer models
US11544474B2 (en) Generation of text from structured data
CN107066464B (zh) 语义自然语言向量空间
US11468239B2 (en) Joint intent and entity recognition using transformer models
CN111274815B (zh) 用于挖掘文本中的实体关注点的方法和装置
US20220121906A1 (en) Task-aware neural network architecture search
US20230077849A1 (en) Content recognition method and apparatus, computer device, and storage medium
WO2019080864A1 (zh) 一种文本语义编码方法及装置
US11769018B2 (en) System and method for temporal attention behavioral analysis of multi-modal conversations in a question and answer system
CN111866610B (zh) 用于生成信息的方法和装置
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
US10685012B2 (en) Generating feature embeddings from a co-occurrence matrix
US20230042221A1 (en) Modifying digital images utilizing a language guided image editing model
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN111126084B (zh) 数据处理方法、装置、电子设备和存储介质
US10755171B1 (en) Hiding and detecting information using neural networks
CN111368554B (zh) 语句处理方法、装置、计算机设备和存储介质
CN112307738A (zh) 用于处理文本的方法和装置
CN116451700A (zh) 目标语句生成方法、装置、设备及存储介质
CN113420869B (zh) 基于全方向注意力的翻译方法及其相关设备
CN117131853A (zh) 文本相似度确定方法、装置、设备及存储介质
CN117788842B (zh) 图像检索方法及相关装置
CN114091662B (zh) 一种文本图像生成方法、装置及电子设备
CN117033621A (zh) 名称分类方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination