CN116756275A - 文本检索匹配方法及装置 - Google Patents
文本检索匹配方法及装置 Download PDFInfo
- Publication number
- CN116756275A CN116756275A CN202310822712.0A CN202310822712A CN116756275A CN 116756275 A CN116756275 A CN 116756275A CN 202310822712 A CN202310822712 A CN 202310822712A CN 116756275 A CN116756275 A CN 116756275A
- Authority
- CN
- China
- Prior art keywords
- text
- model
- gradient
- training batch
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 192
- 238000012512 characterization method Methods 0.000 claims abstract description 79
- 238000004458 analytical method Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 230000002457 bidirectional effect Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000002779 inactivation Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000008485 antagonism Effects 0.000 description 12
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种文本检索匹配方法及装置。其中，该方法包括：获取检索文本与被检索文本；采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量，其中，向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；依据第二嵌入式表征向量构建ANNOY索引树；从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。本申请解决了相关技术中进行文本检索时训练模型需要使用大量标注数据，且最终匹配准确率和效率不佳的技术问题。
Description
技术领域
本申请涉及文本检索技术领域，具体而言，涉及一种文本检索匹配方法及装置。
背景技术
近年来，随着人工智能技术的迅速发展，特别是自然语言处理(Natural LanguageProcessing，NLP)的日益更新，文本检索匹配成为自然语言处理领域一个比较核心的任务，不管是在对话系统、推荐系统、搜索引擎中，文本匹配都是必不可少的，文本检索匹配方法的优劣将严重影响相关企业业务的健康发展。
将深度学习的方法应用于中文文本检索匹配时，最常见的是有监督的训练(最有代表性的是近年来流行的双塔模型)，但这种方法需要大量可用于训练的有标签数据，而这往往需要大量的人工标注，需要企业承担较高的人工标注成本；同时，训练好的模型往往缺乏泛化能力，导致最终进行文本检索匹配时的结果并不理想。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种文本检索匹配方法及装置，以至少解决相关技术中进行文本检索时训练模型需要使用大量标注数据，且最终匹配准确率和效率不佳的技术问题。
根据本申请实施例的一个方面，提供了一种文本检索匹配方法，包括：获取检索文本与被检索文本；采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量，其中，向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；依据第二嵌入式表征向量构建ANNOY索引树；从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
可选地，向量分析模型的训练过程包括：确定待训练模型，其中，待训练模型中至少包括双向编码表示转换子模型，双向编码表示转换子模型中包括嵌入层和编码器；在每个训练批次中，构建正负样本对，并依据正负样本对构建目标损失函数；确定与正负样本对对应的对抗样本，并确定引入对抗样本后的待训练模型的对抗梯度；依据对抗梯度确定目标内斯特罗夫动量，其中，目标内斯特罗夫动量包括：一阶内斯特罗夫动量、梯度差分的一阶内斯特罗夫动量和二阶内斯特罗夫动量；对目标内斯特罗夫动量进行解耦的权重衰减，得到更新后的模型参数；对待训练模型进行迭代训练，直至目标损失函数收敛，得到向量分析模型。
可选地，构建正负样本对，包括：获取第一文本数据，并利用正则表达式对第一文本数据进行清洗，得到第二文本数据；对第二文本数据进行分词处理，得到第一分词序列；按照目标重复率随机重复第一分词序列中的部分分词，得到第二分词序列；通过编码器对第一分词序列和第二分词序列进行随机失活处理，得到正样本对；获取第二文本数据对应的训练批次的紧邻训练批次中的第三文本数据，对第二文本数据和第三文本数据进行动量对比学习，得到负样本对。
可选地，依据正负样本对构建目标损失函数，包括：确定正负样本对对应的输入样本；将输入样本输入待训练模型，得到待训练模型的输出结果；依据正样本对和输出结果构建目标损失函数。
可选地，迭代训练包括k个训练批次，确定与正负样本对对应的对抗样本，并确定引入对抗样本后的待训练模型的对抗梯度，包括：在第1个训练批次中，将第1个训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型的第一梯度和嵌入层的第一权重，其中，将输入样本作为第1个训练批次的对抗样本，将第一梯度作为第1个训练批次的对抗梯度；在第2至第k-1的每个训练批次中，依据上一训练批次的对抗样本和正负样本对构建当前训练批次的对抗样本，并依据当前训练批次的对抗样本将嵌入层的第一权重调整为第二权重，设置待训练模型的当前梯度为0，将当前训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型在当前训练批次的对抗梯度，并调整待训练模型的模型参数；其中，对抗样本的类型为投影梯度下降对抗样本；在第k个训练批次中，依据上一训练批次的对抗样本和正负样本对构建当前训练批次的对抗样本，并依据当前训练批次的对抗样本将嵌入层的第一权重调整为第三权重，设置待训练模型的当前梯度为第一梯度，将当前训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型在当前训练批次的对抗梯度。
可选地，依据对抗梯度确定目标内斯特罗夫动量，包括：对于每个训练批次，依据上一训练批次的一阶内斯特罗夫动量、当前训练批次的对抗梯度和预设的一阶动量平均参数确定当前训练批次的一阶内斯特罗夫动量，其中，第1个训练批次的一阶内斯特罗夫动量为第一梯度；依据上一训练批次的对抗梯度、当前训练批次的对抗梯度、上一训练批次的梯度差分的一阶内斯特罗夫动量和预设的梯度差分的一阶动量平均参数确定当前训练批次的梯度差分的一阶内斯特罗夫动量；依据上一训练批次的对抗梯度、当前训练批次的对抗梯度、上一训练批次的二阶内斯特罗夫动量和预设的二阶动量平均参数确定当前训练批次的二阶内斯特罗夫动量。
可选地，从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，包括：依据ANNOY索引树的节点顺序依次确定ANNOY索引树中各个节点与第一嵌入式表征向量的余弦距离；将与第一嵌入式表征向量的余弦距离最小的节点对应的第二嵌入式表征向量作为目标嵌入式表征向量；或，将与第一嵌入式表征向量的余弦距离小于预设阈值的节点对应的第二嵌入式表征向量作为目标嵌入式表征向量。
根据本申请实施例的另一方面，还提供了一种文本检索匹配装置，包括：获取模块，用于获取检索文本与被检索文本；处理模块，用于采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量，其中，向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；构建模块，用于依据第二嵌入式表征向量构建ANNOY索引树；检索模块，用于从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，非易失性存储介质所在设备通过运行该计算机程序执行上述的文本检索匹配方法。
根据本申请实施例的另一方面，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行上述的文本检索匹配方法。
在本申请实施例中，首先获取检索文本与被检索文本；然后采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量；依据第二嵌入式表征向量构建ANNOY索引树；从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。其中，在训练向量分析模型时，利用词重复及动量对比机制构建正负样本对，并加入多次迭代下的对抗样本以增加扰动，可以提高模型的泛化能力；通过结合内斯特罗夫动量的梯度下降算法，同时引入解耦的权重衰减，提前感知周围梯度信息，可以避免局部最优而寻找全局最优模型，达到快速的收敛与良好的泛化，提升深度学习模型对文本的匹配能力；在检索匹配阶段，以ANNOY高维空间索引代替传统信息检索方法，可以极大提高文本检索效率。本申请方案有效解决了相关技术中进行文本检索时训练模型需要使用大量标注数据，且最终匹配准确率和效率不佳的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的计算机终端的结构示意图；
图2是根据本申请实施例的一种可选的文本检索匹配方法的流程示意图；
图3是根据本申请实施例的一种可选的文本检索匹配装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例，首先对本申请实施例描述过程中出现的部分名词或术语翻译解释如下：
BERT(Bidirectional Encoder Representations from Transformers，双向编码表示转换)模型：是一种基于Transformer的预训练语言模型。在预训练阶段，BERT使用大规模的无标签文本数据进行训练，通过学习预测掩码任务和下一句预测任务来捕捉语言的上下文信息，通过这种方式，BERT可以学习到丰富的语言表示；在微调阶段，BERT可以通过在特定任务上进行有监督的微调来适应不同的NLP任务，如文本分类、命名实体识别、问答等，通过微调，BERT可以根据具体任务的需求，进一步优化模型的性能。
ANNOY(Approximate Nearest Neighbors Oh Yeah)：是一种基于二叉树的数据结构，用于近似最近邻搜索，可以高效地搜索最近邻点。ANNOY树的构建过程是通过将数据点逐个添加到树中来完成的，树的每个节点都有一个分割超平面，该超平面将数据空间划分为两个子空间，通过在构建树的过程中选择合适的分割超平面，可以使得树的结构更加平衡，从而提高搜索效率；在搜索最近邻点时，可以通过遍历ANNOY树的节点来逐步逼近目标点的最近邻点，通过比较目标点与节点的分割超平面的距离，可以确定应该先搜索哪个子空间。然后，继续递归地搜索子空间中的节点，直到找到最近邻点为止。
实施例1
根据本申请实施例，提供了一种文本检索匹配方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现文本检索匹配方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的文本检索匹配方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下，本申请实施例提供了一种文本检索匹配方法，如图2所示，该方法包括如下步骤：
步骤S202，获取检索文本与被检索文本；
步骤S204，采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量，其中，向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；
步骤S206，依据第二嵌入式表征向量构建ANNOY索引树；
步骤S208，从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
以下结合具体的实施过程对文本检索匹配方法的各步骤进行说明。
作为一种可选的实施方式，在训练向量分析模型时，可以通过如下方式进行：
首先确定待训练模型，其中，待训练模型中至少包括双向编码表示转换子模型，双向编码表示转换子模型中包括嵌入层和编码器。
可选地，可以从Hugging Face社区的模型库中选取预训练的语言模型BERT，同时结合CLS(Classification，分类)模型和池化层等共同组成待训练模型。
在对待训练模型进行训练时，在每个训练批次中，首先构建正负样本对，并依据正负样本对构建目标损失函数；然后确定与正负样本对对应的对抗样本，并确定引入对抗样本后的待训练模型的对抗梯度；在依据对抗梯度确定目标内斯特罗夫动量，其中，目标内斯特罗夫动量包括：一阶内斯特罗夫动量、梯度差分的一阶内斯特罗夫动量和二阶内斯特罗夫动量；最后对目标内斯特罗夫动量进行解耦的权重衰减，得到更新后的模型参数；不断对待训练模型进行迭代训练，直至目标损失函数收敛，得到最终的向量分析模型。
可选地，在构建正负样本对时，可以先获取第一文本数据，并利用正则表达式对第一文本数据进行清洗，得到第二文本数据。
其中，第一文本数据为用户提供的训练用文本数据，为了提高模型训练的精准性，可以先利用正则表达式对第一文本数据进行清洗，去除第一文本数据中的英文、特殊字符等杂乱字符，得到第二文本数据。
之后，可以利用ESimCSE(Enhanced Sample Building Method for ContrastiveLearning of Unsupervised Sentence Embedding，改进的基于无监督句向量对比学习的样本构建方法)方法构建正负样本对：
可选地，在构建正样本对时，可以先对第二文本数据进行分词处理，得到第一分词序列x；按照目标重复率随机重复第一分词序列x中的部分分词，得到第二分词序列x+；通过编码器encoder对第一分词序列x和第二分词序列x+进行随机失活dropout处理，得到正样本对。
可选地，在构建负样本对时，可以获取第二文本数据对应的训练批次的紧邻训练批次中的第三文本数据，通常为上一个训练批次的第三文本数据，然后对第二文本数据和第三文本数据进行动量对比学习，得到负样本对。
具体地，动量对比允许维护固定大小的队列来重用来自紧邻训练批次中编码的句嵌入，该队列中的句嵌入会被逐步替换，即当前训练批次输出的句嵌入入队时，会删除队列中最旧的句嵌入。通过动量更新编码器对排队的句嵌入进行编码，根据该排队队列生成当前训练批次的负样本对。
可选地，在依据正负样本对构建目标损失函数时，可以先确定正负样本对对应的输入样本；然后将输入样本输入待训练模型，得到待训练模型的输出结果；再依据正样本对和输出结果构建目标损失函数。一种可选的损失函数公式如下：
式中，N是一个训练批次batch的大小，batch里的样本对为(quei,posj)，当i＝j时是正样本对，i≠j时是负样本对，P(posi|quei)是正样本对中第一个样本出现时，第二个样本出现的条件概率，S(quei,posi)表示待训练模型的输出。
作为一种可选的实施方式，在进行迭代训练时，可以采用如下方式，通过k个训练批次引入对抗样本扰动，以提升模型的泛化能力。其中，k为正整数，具体值可由用户根据经验自行设置，此处不做具体限定。
在第1个训练批次中，将第1个训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型的第一梯度和嵌入层的第一权重，其中，可以将该输入样本作为第1个训练批次的对抗样本，将该第一梯度作为第1个训练批次的对抗梯度；
在第2至第k-1的每个训练批次中，依据上一训练批次的对抗样本和正负样本对构建当前训练批次的对抗样本，并依据当前训练批次的对抗样本将嵌入层的第一权重调整为第二权重，设置待训练模型的当前梯度为0，将当前训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型在当前训练批次的对抗梯度，并调整待训练模型的模型参数；
在第k个训练批次中，依据上一训练批次的对抗样本和正负样本对构建当前训练批次的对抗样本，并依据当前训练批次的对抗样本将嵌入层的第一权重调整为第三权重，设置待训练模型的当前梯度为第一梯度，将当前训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型在当前训练批次的对抗梯度。
其中，对抗样本的类型为投影梯度下降对抗样本，其计算公式如下：
xt+1＝Clipx,ε(xt+α·sign(▽xL(xt,y；θ)))
式中，xt是第t步的对抗样本，t≤k-1，xt+1是第t+1步的对抗样本，对于首步，xt就是原始输入样本，Clipx,ε是投影操作，如果输入在范数球外，则将输入投影到以x为中心，∈为半径的范数球上，以保证迭代过程中对抗样本的扰动范围不超过限定∈，α是单步扰动大小，sign是1或-1取值的符号函数，▽是取偏导，L是损失函数，θ是损失函数相关参数，x是样本输入，y是数据增强后的正负样本对标记。
通过上述步骤，可得到累加多次对抗样本扰动后的对抗梯度，也即多次迭代下最强对抗样本攻击后的对抗梯度。
可选地，在依据对抗梯度确定目标内斯特罗夫动量时，可通过如下方式进行：
对于每个训练批次，依据上一训练批次的一阶内斯特罗夫动量、当前训练批次的对抗梯度和预设的一阶动量平均参数确定当前训练批次的一阶内斯特罗夫动量，其中，第1个训练批次的一阶内斯特罗夫动量为第一梯度。具体计算公式如下：
mk＝(1-β1)mk-1+β1gk
式中，β1是一阶动量平均参数，值在0至1之间，gk是当前训练批次的对抗梯度，mk-1为前一训练批次的一阶内斯特罗夫动量，初始值m0＝g0。
之后，依据上一训练批次的对抗梯度、当前训练批次的对抗梯度、上一训练批次的梯度差分的一阶内斯特罗夫动量和预设的梯度差分的一阶动量平均参数确定当前训练批次的梯度差分的一阶内斯特罗夫动量。具体计算公式如下：
vk＝(1-β2)vk-1+β2(gk-gk-1)
式中，β2是梯度差分的一阶动量平均参数，值在0至1之间，gk、gk-1分别是当前训练批次及上一训练批次的对抗梯度，vk-1是上一训练批次的梯度差分的一阶内斯特罗夫动量。
之后，依据上一训练批次的对抗梯度、当前训练批次的对抗梯度、上一训练批次的二阶内斯特罗夫动量和预设的二阶动量平均参数确定当前训练批次的二阶内斯特罗夫动量。具体计算公式如下：
nk＝(1-β3)nk-1+β3[gk+(1-β2)(gk-gk-1)2]
式中，β3是二阶动量平均参数，值在0至1之间，gk、gk-1分别是当前训练批次及上一训练批次的对抗梯度，nk-1是上一训练批次的二阶内斯特罗夫动量。
对于每个训练批次，可以对上述计算得到的目标内斯特罗夫动量进行解耦的权重衰减，得到更新后的模型参数，具体计算公式如下：
式中，θk+1是更新后的模型参数，λk是当前训练批次的权重衰减参数，η是学习率，ε是稳定参数。
通过上述方式不断对待训练模型进行迭代训练，直至目标损失函数收敛，得到最终的向量分析模型。
在实际应用中，检索文本即用户输入的需要进行检索的文本，被检索文本可以是文本数据库中的文本，也可以是用户提供的作为检索基础的文本。
可以将检索文本和被检索文本分别输入上述训练完成的向量分析模型，得到与检索文本对应的第一嵌入式表征向量和与被检索文本对应的第二嵌入式表征向量，可以依据第二嵌入式表征向量构建ANNOY索引树；然后从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
可选地，在从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量时，可以依据ANNOY索引树的节点顺序依次确定ANNOY索引树中各个节点与第一嵌入式表征向量的余弦距离；将与第一嵌入式表征向量的余弦距离最小的节点对应的第二嵌入式表征向量作为目标嵌入式表征向量；也可以预先设置阈值，将与第一嵌入式表征向量的余弦距离小于该阈值的所有节点对应的第二嵌入式表征向量作为目标嵌入式表征向量。
在本申请实施例中，首先获取检索文本与被检索文本；然后采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量；依据第二嵌入式表征向量构建ANNOY索引树；从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。其中，在训练向量分析模型时，利用词重复及动量对比机制构建正负样本对，并加入多次迭代下的对抗样本以增加扰动，可以提高模型的泛化能力；通过结合内斯特罗夫动量的梯度下降算法，同时引入解耦的权重衰减，提前感知周围梯度信息，可以避免局部最优而寻找全局最优模型，达到快速的收敛与良好的泛化，提升深度学习模型对文本的匹配能力；在检索匹配阶段，以ANNOY高维空间索引代替传统信息检索方法，可以极大提高文本检索效率。本申请方案有效解决了相关技术中进行文本检索时训练模型需要使用大量标注数据，且最终匹配准确率和效率不佳的技术问题。
实施例2
根据本申请实施例，还提供了一种用于实现实施例1中的文本检索匹配方法的文本检索匹配装置，如图3所示，该文本检索匹配装置中至少包括获取模块31，处理模块32，构建模块33和检索模块34，其中：
获取模块31，用于获取检索文本与被检索文本；
处理模块32，用于采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量，其中，向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；
构建模块33，用于依据第二嵌入式表征向量构建ANNOY索引树；
检索模块34，用于从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
可选地，文本检索匹配装置中还包括有模型训练模块，用于通过如下方式训练得到向量分析模型：
首先确定待训练模型，其中，待训练模型中至少包括双向编码表示转换子模型，双向编码表示转换子模型中包括嵌入层和编码器。可选地，可以从Hugging Face社区的模型库中选取预训练的语言模型BERT，同时结合CLS模型和池化层等共同组成待训练模型。
在对待训练模型进行训练时，在每个训练批次中，首先构建正负样本对，并依据正负样本对构建目标损失函数；然后确定与正负样本对对应的对抗样本，并确定引入对抗样本后的待训练模型的对抗梯度；在依据对抗梯度确定目标内斯特罗夫动量，其中，目标内斯特罗夫动量包括：一阶内斯特罗夫动量、梯度差分的一阶内斯特罗夫动量和二阶内斯特罗夫动量；最后对目标内斯特罗夫动量进行解耦的权重衰减，得到更新后的模型参数；不断对待训练模型进行迭代训练，直至目标损失函数收敛，得到最终的向量分析模型。
可选地，在构建正负样本对时，可以先获取第一文本数据，并利用正则表达式对第一文本数据进行清洗，得到第二文本数据。其中，第一文本数据为用户提供的训练用文本数据，为了提高模型训练的精准性，可以先利用正则表达式对第一文本数据进行清洗，去除第一文本数据中的英文、特殊字符等杂乱字符，得到第二文本数据。
之后，可以利用ESimCSE方法构建正负样本对：
可选地，在构建正样本对时，可以先对第二文本数据进行分词处理，得到第一分词序列；按照目标重复率随机重复第一分词序列中的部分分词，得到第二分词序列；通过编码器对第一分词序列和第二分词序列进行随机失活处理，得到正样本对。
可选地，在构建负样本对时，可以获取第二文本数据对应的训练批次的紧邻训练批次中的第三文本数据，通常为上一个训练批次的第三文本数据，然后对第二文本数据和第三文本数据进行动量对比学习，得到负样本对。
具体地，动量对比允许维护固定大小的队列来重用来自紧邻训练批次中编码的句嵌入，该队列中的句嵌入会被逐步替换，即当前训练批次输出的句嵌入入队时，会删除队列中最旧的句嵌入。通过动量更新编码器对排队的句嵌入进行编码，根据该排队队列生成当前训练批次的负样本对。
可选地，在依据正负样本对构建目标损失函数时，可以先确定正负样本对对应的输入样本；然后将输入样本输入待训练模型，得到待训练模型的输出结果；再依据正样本对和输出结果构建目标损失函数。
作为一种可选的实施方式，在进行迭代训练时，可以采用如下方式，通过k个训练批次引入对抗样本扰动，以提升模型的泛化能力。其中，k为正整数，具体值可由用户根据经验自行设置，此处不做具体限定。
在第1个训练批次中，将第1个训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型的第一梯度和嵌入层的第一权重，其中，可以将该输入样本作为第1个训练批次的对抗样本，将该第一梯度作为第1个训练批次的对抗梯度；
在第2至第k-1的每个训练批次中，依据上一训练批次的对抗样本和正负样本对构建当前训练批次的对抗样本，并依据当前训练批次的对抗样本将嵌入层的第一权重调整为第二权重，设置待训练模型的当前梯度为0，将当前训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型在当前训练批次的对抗梯度，并调整待训练模型的模型参数，其中，对抗样本的类型为投影梯度下降对抗样本；
在第k个训练批次中，依据上一训练批次的对抗样本和正负样本对构建当前训练批次的对抗样本，并依据当前训练批次的对抗样本将嵌入层的第一权重调整为第三权重，设置待训练模型的当前梯度为第一梯度，将当前训练批次的正负样本对中的输入样本输入待训练模型进行正向传播和反向传播，得到待训练模型在当前训练批次的对抗梯度。
通过上述步骤，可得到累加多次对抗样本扰动后的对抗梯度，也即多次迭代下最强对抗样本攻击后的对抗梯度。
可选地，在依据对抗梯度确定目标内斯特罗夫动量时，可通过如下方式进行：
对于每个训练批次，依据上一训练批次的一阶内斯特罗夫动量、当前训练批次的对抗梯度和预设的一阶动量平均参数确定当前训练批次的一阶内斯特罗夫动量，其中，第1个训练批次的一阶内斯特罗夫动量为第一梯度。
之后，依据上一训练批次的对抗梯度、当前训练批次的对抗梯度、上一训练批次的梯度差分的一阶内斯特罗夫动量和预设的梯度差分的一阶动量平均参数确定当前训练批次的梯度差分的一阶内斯特罗夫动量。
之后，依据上一训练批次的对抗梯度、当前训练批次的对抗梯度、上一训练批次的二阶内斯特罗夫动量和预设的二阶动量平均参数确定当前训练批次的二阶内斯特罗夫动量。
对于每个训练批次，可以对上述计算得到的目标内斯特罗夫动量进行解耦的权重衰减，得到更新后的模型参数。
通过上述方式不断对待训练模型进行迭代训练，直至目标损失函数收敛，得到最终的向量分析模型。
在实际应用中，获取模块31获取的检索文本即用户输入的需要进行检索的文本，被检索文本可以是文本数据库中的文本，也可以是用户提供的作为检索基础的文本。
处理模块32可以将检索文本和被检索文本分别输入上述训练完成的向量分析模型，得到与检索文本对应的第一嵌入式表征向量和与被检索文本对应的第二嵌入式表征向量；之后，构建模块33可以依据第二嵌入式表征向量构建ANNOY索引树；检索模块34可以从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
可选地，检索模块34在从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量时，可以依据ANNOY索引树的节点顺序依次确定ANNOY索引树中各个节点与第一嵌入式表征向量的余弦距离；将与第一嵌入式表征向量的余弦距离最小的节点对应的第二嵌入式表征向量作为目标嵌入式表征向量；也可以预先设置阈值，将与第一嵌入式表征向量的余弦距离小于该阈值的所有节点对应的第二嵌入式表征向量作为目标嵌入式表征向量。
需要说明的是，本申请实施例中的文本检索匹配装置中的各模块与实施例1中的文本检索匹配方法的各实施步骤一一对应，由于实施例1中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例1，在此不再过多赘述。
实施例3
根据本申请实施例，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，非易失性存储介质所在设备通过运行该计算机程序执行实施例1中的文本检索匹配方法。
具体地，非易失性存储介质所在设备通过运行该计算机程序执行实现以下步骤：获取检索文本与被检索文本；采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量，其中，向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；依据第二嵌入式表征向量构建ANNOY索引树；从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
根据本申请实施例，还提供了一种处理器，该处理器用于运行计算机程序，其中，计算机程序运行时执行实施例1中的文本检索匹配方法。
具体地，计算机程序运行时执行实现以下步骤：获取检索文本与被检索文本；采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量，其中，向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；依据第二嵌入式表征向量构建ANNOY索引树；从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
根据本申请实施例，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行实施例1中的文本检索匹配方法。
具体地，处理器被配置为通过计算机程序执行实现以下步骤：获取检索文本与被检索文本；采用向量分析模型分别对检索文本和被检索文本进行特征提取，得到检索文本对应的第一嵌入式表征向量和被检索文本对应的第二嵌入式表征向量，其中，向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；依据第二嵌入式表征向量构建ANNOY索引树；从ANNOY索引树中检索与第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定目标嵌入式表征向量对应的文本为目标检索结果。
上述实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种文本检索匹配方法，其特征在于，包括：
获取检索文本与被检索文本；
采用向量分析模型分别对所述检索文本和所述被检索文本进行特征提取，得到所述检索文本对应的第一嵌入式表征向量和所述被检索文本对应的第二嵌入式表征向量，其中，所述向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；
依据所述第二嵌入式表征向量构建ANNOY索引树；
从所述ANNOY索引树中检索与所述第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定所述目标嵌入式表征向量对应的文本为目标检索结果。
2.根据权利要求1所述的方法，其特征在于，所述向量分析模型的训练过程包括：
确定待训练模型，其中，所述待训练模型中至少包括双向编码表示转换子模型，所述双向编码表示转换子模型中包括嵌入层和编码器；
在每个训练批次中，构建所述正负样本对，并依据所述正负样本对构建目标损失函数；确定与所述正负样本对对应的对抗样本，并确定引入所述对抗样本后的待训练模型的对抗梯度；依据所述对抗梯度确定目标内斯特罗夫动量，其中，所述目标内斯特罗夫动量包括：一阶内斯特罗夫动量、梯度差分的一阶内斯特罗夫动量和二阶内斯特罗夫动量；对所述目标内斯特罗夫动量进行解耦的权重衰减，得到更新后的模型参数；
对所述待训练模型进行迭代训练，直至所述目标损失函数收敛，得到所述向量分析模型。
3.根据权利要求2所述的方法，其特征在于，构建所述正负样本对，包括：
获取第一文本数据，并利用正则表达式对所述第一文本数据进行清洗，得到第二文本数据；
对所述第二文本数据进行分词处理，得到第一分词序列；按照目标重复率随机重复所述第一分词序列中的部分分词，得到第二分词序列；通过所述编码器对所述第一分词序列和所述第二分词序列进行随机失活处理，得到正样本对；
获取所述第二文本数据对应的训练批次的紧邻训练批次中的第三文本数据，对所述第二文本数据和所述第三文本数据进行动量对比学习，得到负样本对。
4.根据权利要求2所述的方法，其特征在于，依据所述正负样本对构建目标损失函数，包括：
确定所述正负样本对对应的输入样本；
将所述输入样本输入所述待训练模型，得到所述待训练模型的输出结果；
依据正样本对和所述输出结果构建所述目标损失函数。
5.根据权利要求2所述的方法，其特征在于，所述迭代训练包括k个训练批次，确定与所述正负样本对对应的对抗样本，并确定引入所述对抗样本后的待训练模型的对抗梯度，包括：
在第1个训练批次中，将第1个训练批次的正负样本对中的输入样本输入所述待训练模型进行正向传播和反向传播，得到所述待训练模型的第一梯度和嵌入层的第一权重，其中，将所述输入样本作为所述第1个训练批次的对抗样本，将所述第一梯度作为所述第1个训练批次的对抗梯度；
在第2至第k-1的每个训练批次中，依据上一训练批次的对抗样本和正负样本对构建当前训练批次的对抗样本，并依据所述当前训练批次的对抗样本将所述嵌入层的所述第一权重调整为第二权重，设置所述待训练模型的当前梯度为0，将当前训练批次的正负样本对中的输入样本输入所述待训练模型进行正向传播和反向传播，得到所述待训练模型在当前训练批次的对抗梯度，并调整所述待训练模型的模型参数；其中，所述对抗样本的类型为投影梯度下降对抗样本；
在第k个训练批次中，依据上一训练批次的对抗样本和正负样本对构建当前训练批次的对抗样本，并依据所述当前训练批次的对抗样本将所述嵌入层的所述第一权重调整为第三权重，设置所述待训练模型的当前梯度为所述第一梯度，将当前训练批次的正负样本对中的输入样本输入所述待训练模型进行正向传播和反向传播，得到所述待训练模型在当前训练批次的对抗梯度。
6.根据权利要求5所述的方法，其特征在于，依据所述对抗梯度确定目标内斯特罗夫动量，包括：
对于每个训练批次，依据上一训练批次的一阶内斯特罗夫动量、当前训练批次的对抗梯度和预设的一阶动量平均参数确定当前训练批次的一阶内斯特罗夫动量，其中，第1个训练批次的一阶内斯特罗夫动量为所述第一梯度；
依据上一训练批次的对抗梯度、当前训练批次的对抗梯度、上一训练批次的梯度差分的一阶内斯特罗夫动量和预设的梯度差分的一阶动量平均参数确定当前训练批次的梯度差分的一阶内斯特罗夫动量；
依据上一训练批次的对抗梯度、当前训练批次的对抗梯度、上一训练批次的二阶内斯特罗夫动量和预设的二阶动量平均参数确定当前训练批次的二阶内斯特罗夫动量。
7.根据权利要求1所述的方法，其特征在于，从所述ANNOY索引树中检索与所述第一嵌入式表征向量相匹配的目标嵌入式表征向量，包括：
依据所述ANNOY索引树的节点顺序依次确定所述ANNOY索引树中各个节点与所述第一嵌入式表征向量的余弦距离；
将与所述第一嵌入式表征向量的余弦距离最小的节点对应的所述第二嵌入式表征向量作为所述目标嵌入式表征向量；或，
将与所述第一嵌入式表征向量的余弦距离小于预设阈值的节点对应的所述第二嵌入式表征向量作为所述目标嵌入式表征向量。
8.一种文本检索匹配装置，其特征在于，包括：
获取模块，用于获取检索文本与被检索文本；
处理模块，用于采用向量分析模型分别对所述检索文本和所述被检索文本进行特征提取，得到所述检索文本对应的第一嵌入式表征向量和所述被检索文本对应的第二嵌入式表征向量，其中，所述向量分析模型是利用正负样本对和对抗样本进行训练，利用基于内斯特罗夫动量的梯度下降算法和解耦的权重衰减策略调整模型参数得到的；
构建模块，用于依据所述第二嵌入式表征向量构建ANNOY索引树；
检索模块，用于从所述ANNOY索引树中检索与所述第一嵌入式表征向量相匹配的目标嵌入式表征向量，确定所述目标嵌入式表征向量对应的文本为目标检索结果。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的计算机程序，其中，所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至7中任意一项所述的文本检索匹配方法。
10.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器被配置为通过所述计算机程序执行权利要求1至7中任意一项所述的文本检索匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310822712.0A CN116756275A (zh) | 2023-07-05 | 2023-07-05 | 文本检索匹配方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310822712.0A CN116756275A (zh) | 2023-07-05 | 2023-07-05 | 文本检索匹配方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116756275A true CN116756275A (zh) | 2023-09-15 |
Family
ID=87958918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310822712.0A Pending CN116756275A (zh) | 2023-07-05 | 2023-07-05 | 文本检索匹配方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756275A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118035424A (zh) * | 2024-04-11 | 2024-05-14 | 四川大学 | 一种代码搜索方法、装置、电子设备及存储介质 |
-
2023
- 2023-07-05 CN CN202310822712.0A patent/CN116756275A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118035424A (zh) * | 2024-04-11 | 2024-05-14 | 四川大学 | 一种代码搜索方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840287B (zh) | 一种基于神经网络的跨模态信息检索方法和装置 | |
| Abu-El-Haija et al. | Watch your step: Learning node embeddings via graph attention | |
| CN109614471B (zh) | 一种基于生成式对抗网络的开放式问题自动生成方法 | |
| Hughes et al. | Reliable and scalable variational inference for the hierarchical dirichlet process | |
| CN111966812B (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
| CN109948140B (zh) | 一种词向量嵌入方法及装置 | |
| CN111966810B (zh) | 一种用于问答系统的问答对排序方法 | |
| CN116049459B (zh) | 跨模态互检索的方法、装置、服务器及存储介质 | |
| Janz et al. | Actively learning what makes a discrete sequence valid | |
| CN112667818A (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 | |
| CN113204611A (zh) | 建立阅读理解模型的方法、阅读理解方法及对应装置 | |
| CN112307048B (zh) | 语义匹配模型训练方法、匹配方法、装置、设备及存储介质 | |
| CN116756275A (zh) | 文本检索匹配方法及装置 | |
| CN115130538A (zh) | 文本分类模型的训练方法、文本处理的方法、设备及介质 | |
| CN113705196A (zh) | 基于图神经网络的中文开放信息抽取方法和装置 | |
| CN115438169A (zh) | 一种文本与视频的互检方法、装置、设备及存储介质 | |
| CN110348012B (zh) | 确定目标字符的方法、装置、存储介质及电子装置 | |
| CN114218921A (zh) | 一种优化bert的问题语义匹配方法 | |
| CN111506717B (zh) | 问题答复方法、装置、设备及存储介质 | |
| CN116955644A (zh) | 基于知识图谱的知识融合方法、系统及存储介质 | |
| Bellet | Supervised metric learning with generalization guarantees | |
| CN114757310B (zh) | 情感识别模型及其训练方法、装置、设备及可读存储介质 | |
| CN116361438A (zh) | 基于文本-知识扩展图协同推理网络的问答方法及系统 | |
| CN113051938B (zh) | 一种基于Transformer模型的机器翻译模型优化方法 | |
| CN110929527B (zh) | 一种确定语义相似度方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |