CN115204178A - 文本排序匹配方法、系统、装置及存储介质 - Google Patents

文本排序匹配方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN115204178A
CN115204178A CN202210541447.4A CN202210541447A CN115204178A CN 115204178 A CN115204178 A CN 115204178A CN 202210541447 A CN202210541447 A CN 202210541447A CN 115204178 A CN115204178 A CN 115204178A
Authority
CN
China
Prior art keywords
semantic
vector
text
training
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210541447.4A
Other languages
English (en)
Inventor
宁时贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Jizhi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jizhi Digital Technology Co Ltd filed Critical Shenzhen Jizhi Digital Technology Co Ltd
Priority to CN202210541447.4A priority Critical patent/CN115204178A/zh
Publication of CN115204178A publication Critical patent/CN115204178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及智能语义技术领域，提供了一种文本排序匹配方法、系统、装置及存储介质。该方法包括：将多个文本与其分别对应的分类标识组成的作为训练样本作为语义编码模型的输入单元；将该输入单元输入到语义编码模型，选择间隔的交叉熵损失函数对该语义编码模型进行优化与调整；将查询文本和训练样本同时输入该语义编码模型，输出查询文本语义向量和训练样本语义向量，计算查询文本语义向量与训练样本各语义向量的所有余弦距离，该余弦距离的大小用于表征查询文本的语义编码相似度，完成文本的排序匹配。本公开能够实现类内差距小于类间差距，无需负采样的同时保证较高的时效性，提高了语义排序匹配的精准度。

Description

文本排序匹配方法、系统、装置及存储介质
技术领域
本公开涉及智能语义技术领域，尤其涉及一种文本排序匹配方法、系统、装置及存储介质。
背景技术
文本语义匹配场景下，匹配的核心其实是评价两段文本之间的相似度，常被用于搜索、检索式问答等场景。
深度语义匹配一般有两种做法：a.基于表示的匹配方法：对句子编码时是相互独立的，编码层分别将两段文本转换为语义向量，然后计算它们之间的相似度。b.基于交互的匹配方法：在表示型模型的基础上增加两个平行网络之间的交互层，从而能够提取到句子对之间更加丰富的交互信息。
两种方法的目的都是最大化正样本之间的相关性，抑制负样本之间的相关性。但二者都有一个很严重的缺陷：负样本采样严重不足以及训练时间过长，导致效果提升非常慢。
发明内容
有鉴于此，本公开实施例提供了一种文本排序匹配方法、系统、装置及计算机程序可读存储介质，以解决现有技术中的负样本采样严重不足导致的匹配效果差、采样的负样本经过训练的时间过长等导致文本排序匹配效率低、速度慢等问题。
本公开实施例的第一方面，提供了一种文本排序匹配方法，包括以下步骤：
训练样本准备：将多个文本与其分别对应的分类标识组成的向量构成训练样本，作为语义编码模型的输入单元；
训练语义编码模型：将该输入单元输入到语义编码模型；选择间隔的交叉熵损失函数对该语义编码模型进行优化与调整，该语义编码模型输出单元输出语义向量；
文本的排序匹配：将查询文本和训练样本同时输入该语义编码模型，输出查询文本语义向量和训练样本语义向量，计算查询文本语义向量与训练样本各语义向量的所有余弦距离，该余弦距离的大小用于表征查询文本的语义编码相似度，完成文本的排序匹配。
本公开实施例的第二方面，提供了一种文本排序匹配方法，包括：
训练样本准备：将多个文本与其分别对应的分类标识组成的向量构成训练样本，作为语义编码模型的输入单元；
训练语义编码模型：将该输入单元输入到语义编码模型，该语义编码模型输出单元输出语义向量；
选择间隔的交叉熵损失函数：AM-Softmax(Additive Margin Softmax)对该语义编码模型进行优化与调整；
鲁棒性设计：语义编码模型的训练过程中或者训练结束后，采用监督聚类算法对错误的分类标识进行兼容，完成语义编码模型的鲁棒性设计，监督聚类算法为学习向量量化Learning vector Quantization(LVQ)的原型聚类，LVQ的训练过程为：
通过该语义编码模型获得原型向量，进行原型向量的随机初始化；计算原型向量的全局质心，计算目标特征向量(训练样本中的一个文本语义向量)与全局质心之间的最短空间向量距离；如果目标特征向量与原型向量的全局质心属于同一分类标识，采取拉拢式的迭代计算，直到迭代收敛；如果目标特征向量与原型向量的全局质心属于不同的分类标识，采取排斥式的迭代计算，直到迭代收敛。
文本的排序匹配：将查询文本和训练样本同时输入该语义编码模型，输出查询文本语义向量和训练样本语义向量，计算查询文本语义向量与训练样本各语义向量的所有余弦距离，该余弦距离的大小用于表征查询文本的语义编码相似度，完成文本的排序匹配。
本公开实施例的第三方面，提供了一种系统，包括：包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种装置，包括：包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：通过将具有分类标识的文本输入到语义编码模型中，特别是选择大间隔的交叉熵损失函数对语义编码模型进行优化与调整，能够保证类间距离大于类内距离，提高了语义排序匹配和输出的精准度，不需要采集大量的负采样样本作为语义编码模型的训练样本，减少工作量的同时，还能够保证较高的时效性；此外，通过在预测阶段计算查询文本语义向量与训练样本各语义向量的所有余弦距离，能够较快的完成文本的语义排序匹配。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的一种文本排序匹配方法的流程示意图；
图3是本公开实施例提供的另一种文本排序匹配方法的流程示意图；
图4是本公开实施例提供的一种学习向量量化Learning vector Quantization(LVQ)的监督训练过程的流程示意图；
图5是本公开实施例提供的一种系统的结构示意图。
具体实施方式
本发明实施例能够解决现有技术中存在的相关问题，具体参见下文描述。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种文本排序匹配方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备1、2和3、服务器4、网络5。
终端设备1、2和3可以是硬件，也可以是软件。当终端设备1、2和3为硬件时，其可以是具有显示屏且支持与服务器4通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备1、2和3为软件时，其可以安装在如上所述的电子设备中。终端设备1、2和3可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1、2和3上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器4可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器4可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器4可以是硬件，也可以是软件。当服务器4为硬件时，其可以是为终端设备1、2和3提供各种服务的各种电子设备。当服务器4为软件时，其可以是为终端设备1、2和3提供各种服务的多个软件或软件模块，也可以是为终端设备1、2和3提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
网络5可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙(Bluetooth)、近场通信(Near FieldCommunication，NFC)、红外(Infrared)等，本公开实施例对此不作限制。
用户可以通过终端设备1、2和3经由网络5与服务器4建立通信连接，以接收或发送信息等。
需要说明的是，终端设备1、2和3、服务器4以及网络5的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
本公开实施例提供的一种文本排序匹配方法，可以应用在机器人对话的场景下，从机器人访客的预期要求来看，机器人对话可以分为两种类型，一类是基于任务类型的人机对话：任务型，通过访客问句与每个意图配置的对应问题，计算相似度匹配，通过多轮的询问交互，最终解决访客的问题；一类是基于情感与聊天类型的人机对话：咨询型，咨询型通过访客问句与每条常见的问题相似度计算的问题，计算相似度匹配，从而回复问题相应的回答。
咨询型是针对访客query，直接给予答案回应；任务型是针对访客query，收集query相关的信息(意图、词槽、机制)，根据收集的情况给予答案回应(答案回应包括：富文本、链接跳转、外部资源调用)，是以任务达成为目的的对话。
不管是任务型机器人对话，还是咨询型的机器人对话，均需要矩阵计算、概率统计等数学计算方法，还需要机器学习和深度学习等人工智能领域的学习框架的支撑，将需要处理的任务或者对话通过数学计算与机器学习，在上述学习与计算完成后输出相关数据，完成最终的任务或者对话。
用户可以通过终端设备1、2、3、服务器4以及网络5的任一端，进行文本排序匹配，可以是问句文本，还可以是长句文本、短句文本等，通过最终的文本排序匹配，从而解决本发明的技术问题并且实现相应的技术效果。
图2是本公开实施例提供的一种文本排序匹配方法的流程示意图。图2的文本排序匹配方法可以由图1的终端设备或服务器执行。如图2所示，该文本排序匹配方法包括：
S201，训练样本准备：将多个文本与其分别对应的分类标识组成的向量构成训练样本
具体地，将多个文本与其分别对应的分类标识组成的向量构成训练样本，作为语义编码模型的输入单元；
S202，训练语义编码模型
具体地，训练语义编码模型：将该输入单元输入到语义编码模型；该语义编码模型输出单元输出语义向量；
S203，间隔的交叉熵损失函数对模型进行优化
具体地，选择间隔的交叉熵损失函数对该语义编码模型进行优化与调整；
S204，查询文本输入
具体地，将查询文本和训练样本同时输入该语义编码模型，输出查询文本语义向量和训练样本语义向量；
S205，计算查询文本语义向量与训练样本各语义向量的所有余弦距离
具体地，计算查询文本语义向量与训练样本各语义向量的所有余弦距离，该余弦距离的大小用于表征查询文本的语义编码相似度；
S206，完成文本的排序匹配。
方法步骤用“SXXX”表示，XXX为三位连续编号的数字，如该方法步骤的S201、S202、S203、S204，S205，S206，应理解，实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对公开实施例的实施过程构成任何限定。其他具体实施方式中关于方法步骤的理解方式与本实施方式相同，将不再赘述。
具体地，通过将多个文本与其分别对应的分类标识组成的向量构成训练样本，可以完成训练样本的分类训练，提高了训练的效率；间隔的交叉熵损失函数对模型进行优化，可以将类间的间隔拉得更大，能够保证类间距离大于类内距离，可以提高本排序匹配的精准度；计算查询文本语义向量与训练样本各语义向量的所有余弦距离，可以准确计算用于表征查询文本的语义编码的相似度，进一步提高匹配的精确度。
根据本公开实施例提供的技术方案，通过间隔的交叉熵损失函数对模型进行优化、计算查询文本语义向量与训练样本各语义向量的所有余弦距离，两种关键技术手段能够提高训练的效率，提高本排序匹配的精准度，还可以同时保证较高的时效性。
在一些实施例中，语义编码模型选用人工神经网络(Artificial NeuralNetwork，ANN)模型，通过反向传播算法来训练人工神经网络的最常用且最有效的算法：将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；由于ANN的输出结果与实际结果有误差，则先计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。
具体地，通过反向传播算法来训练人工神经网络模型，可以在一定程度上减少输出值与实际值的误差，能够提高输出数据的准确性，采用人工神经网络的反馈式训练，可以在最大程度上对模型不断进行优化与调整。
在一些实施例中，该文本排序匹配方法，在语义编码模型的训练和预测过程中，选择间隔的交叉熵损失函数为：带有加性间隔的交叉熵损失函数：AM-Softmax(AdditiveMargin Softmax)或者大角度间隔的交叉熵损失函数A-Softmax或者AAM-Softmax。
优选地，选择带有加性间隔的交叉熵损失函数：AM-Softmax(Additive MarginSoftmax)，公式为：
Figure BDA0003647339230000081
其中，θt代表类权重特征向量Rt的向量角，θi代表输出的第i个特征向量Ri和分类的类权重特征向量Rt的夹角。
具体地，采用了带有加性间隔的交叉熵损失函数Additive Margin Softmax(AM-Softmax)来实现相似文本在语义空间中聚合，不相似文本在语义空间中远离。具体来说，Softmax损失函数只着重于对不同类之间区分能力，而AM-Softmax在Softmax损失基础上引入了加性间隔m，对相同类之间进行了约束；同时增加特征/权重归一化，使得内积变成了余弦计算，将匹配分值的范围限制在[-1,1]；增加伸缩因子S(也称温度系数)用于控制余弦分数的幅度，从而保证对目标函数的近似效果和泛化性能。
根据本公开实施例提供的技术方案，基于间隔的多分类问题，不仅可以免除负采样带来的各种问题，还间接的加快了整体的训练速度，能够实现高精度的文本排序匹配输出结果。
图3是本公开实施例提供的另一种文本排序匹配方法的流程示意图。图3的文本排序匹配方法可以由图1的终端设备或服务器执行。如图3所示，该文本排序匹配方法包括：
S301，训练样本准备：将多个文本与其分别对应的分类标识组成的向量构成训练样本
具体地，将多个文本与其分别对应的分类标识组成的向量构成训练样本，作为语义编码模型的输入单元；
S302，训练语义编码模型
具体地，训练语义编码模型：将该输入单元输入到语义编码模型；该语义编码模型输出单元输出语义向量；
S303-1，间隔的交叉熵损失函数对模型进行优化
具体地，选择间隔的交叉熵损失函数对该语义编码模型进行优化与调整；
S303-2，采用监督聚类算法的鲁棒性设计
具体地，选择学习向量量化Learning vector Quantization(LVQ)的原型聚类对语义编码模型进行训练。
S304，查询文本输入
具体地，将查询文本和训练样本同时输入该语义编码模型，输出查询文本语义向量和训练样本语义向量；
S305，计算查询文本语义向量与训练样本各语义向量的所有余弦距离
具体地，计算查询文本语义向量与训练样本各语义向量的所有余弦距离，该余弦距离的大小用于表征查询文本的语义编码相似度；
S306，完成文本的排序匹配。
具体地，语义编码模型的训练过程中或者训练结束后，采用监督聚类算法对错误的分类标识进行兼容，可以完成语义编码模型的鲁棒性设计，能够使得系统更加稳定，容错效果更好。
图4是本公开实施例提供的一种学习向量量化Learning vector Quantization(LVQ)的监督训练过程的流程示意图，学习向量量化Learning vector Quantization(LVQ)为原型聚类算法，如图4所示，该LVQ的训练过程为：
S401，原型向量随机初始化
具体地，通过该语义编码模型获得原型向量，进行原型向量的随机初始化；
S402，计算原型向量的全局质心
S403，计算目标特征向量与全局质心之间的最短空间向量距离
具体地，目标特征向量为训练样本中的一个文本语义向量；
S404，判断是否为同一类别
S405，如果是同一类别，拉拢计算更新质心，计算公式如下：
Figure BDA0003647339230000101
S406，如果不是同一类别，排斥计算更新质心，计算公式如下：
Figure BDA0003647339230000102
S407，查询迭代停止条件，根据迭代结果，执行程序；
S408，若不符合迭代停止条件，跳转到步骤S403，循环执行步骤S403—S407；
S409，符合迭代停止条件的情况下，结束监督训练。
具体地，通过语义编码模型获得原型向量，进行原型向量的随机初始化；计算原型向量的全局质心，计算目标特征向量(训练样本中的一个文本语义向量)与全局质心之间的最短空间向量距离；如果目标特征向量与原型向量的全局质心属于同一分类标识，采取拉拢式的迭代计算，直到迭代收敛；如果目标特征向量与原型向量的全局质心属于不同的分类标识，采取排斥式的迭代计算，直到迭代收敛。
采取拉拢式的迭代计算和排斥式的迭代计算公式分别为：
Figure BDA0003647339230000103
Figure BDA0003647339230000104
其中，
Figure BDA0003647339230000105
为目标特征向量，
Figure BDA0003647339230000106
为原型全局质心向量，μ为迭代系数。
优选地，目标特征向量(训练样本中的一个文本语义向量)与全局质心之间的最短空间向量距离为欧氏距离或者曼哈顿距离或者余弦距离。
通过监督聚类算法对错误的分类标识进行兼容，能够在异常和危险情况下提高系统的生存的能力，特别是在输入的文本分类与已有分类不匹配的情况下，能够最大限度地进行分类匹配，维持系统的健壮和稳定性，即鲁棒性。
鲁棒性包括稳定鲁棒性和品质鲁棒性。一个控制系统是否具有鲁棒性，是它能否真正实际应用的关键。因此，现代控制系统的设计已将鲁棒性作为一种最重要的设计指标。控制系统的鲁棒性是指系统在不确定性的扰动下，具有保持某种性能不变的能力。如果对象的不确定性可用一个集合描述，考察控制系统的某些性能指标，如稳定性品质指标等，设计一个控制器，如果该控制器对对象集合中的每个对象都能满足给定的性能指标，则称该控制器对此性能指标(特性)是鲁棒的。因此，在谈到鲁棒性时，必须要求有一个控制器对系统进行控制，本公开实施例采用的是监督聚类算法对语义编码模型进行监督与调控，提升系统的整体稳健性能。
根据本公开实施例提供的技术方案，通过计算目标特征向量与全局质心之间的最短空间向量距离，可以最大限度的实现神经元的拉拢与排斥，能够在已有分类基础上，建立目标语句与已有分类的兼容处理，实现语义编码模型容错，通过监督聚类算法实现归纳层，提升算法的泛化性和鲁棒性。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图5是本公开实施例提供的系统500的示意图。如图5所示，该实施例的系统500包括：处理器501、存储器502以及存储在该存储器502中并且可在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者，处理器501执行计算机程序503时实现上述各装置实施例中各模块/单元的功能。
示例性地，计算机程序503可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器502中，并由处理器501执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序503在系统500中的执行过程。
系统500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。系统500可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是系统500的示例，并不构成对系统500的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，系统还可以包括输入输出设备、网络接入设备、总线等。
处理器501可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器502可以是系统500的内部存储单元，例如，系统500的硬盘或内存。存储器502也可以是系统500的外部存储设备，例如，系统500上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器502还可以既包括系统500的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备所需的其它程序和数据。存储器502还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/系统和方法，可以通过其它的方式实现。例如，以上所描述的装置/系统实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

1.一种文本排序匹配方法，其特征在于，包括：
将多个文本与其分别对应的分类标识组成的向量构成训练样本；
将训练样本组成的训练集输入到语义编码模型，选择间隔的交叉熵损失函数对所述语义编码模型进行优化与调整，以便所述语义编码模型输出单元输出语义向量；
将查询文本和训练样本同时输入所述语义编码模型，输出查询文本语义向量和训练样本语义向量，计算查询文本语义向量与每个训练样本语义向量之间的余弦距离，所述余弦距离的大小用于表征查询文本的语义编码相似度，基于所述语义编码相似度对文本进行排序匹配。
2.根据权利要求1所述的文本排序匹配方法，其特征在于，语义编码模型的训练和预测过程中，选择间隔的交叉熵损失函数为：带有加性间隔的交叉熵损失函数：AM-Softmax或者大角度间隔的交叉熵损失函数A-Softmax或者AAM-Softmax。
3.根据权利要求2所述的文本排序匹配方法，其特征在于，语义编码模型的训练和预测过程中，选择间隔的交叉熵损失函数为：带有加性间隔的交叉熵损失函数：AM-Softmax，公式为：
Figure FDA0003647339220000011
其中，θi代表输出的第i个特征向量Ri和分类的类权重特征向量Rt的夹角，θt代表类权重特征向量Rt的向量角，m代表加性间隔，s代表伸缩因子。
4.根据权利要求1所述的文本排序匹配方法，其特征在于，语义编码模型的训练过程中或者训练结束后，采用监督聚类算法对错误的分类标识进行兼容，完成语义编码模型的鲁棒性设计。
5.根据权利要求4所述的文本排序匹配方法，其特征在于，所述监督聚类算法为学习向量量化：Learning vector Quantization的原型聚类，LVQ的训练过程为：
通过所述语义编码模型获得原型向量，进行原型向量的随机初始化；计算原型向量的全局质心，计算目标特征向量与全局质心之间的最短空间向量距离，所述目标特征向量为训练样本中的一个文本语义向量；如果目标特征向量与原型向量的全局质心属于同一分类标识，采取拉拢式的迭代计算，直到迭代收敛；如果目标特征向量与原型向量的全局质心属于不同的分类标识，采取排斥式的迭代计算，直到迭代收敛。
6.根据权利要求5所述的文本排序匹配方法，其特征在于，所述目标特征向量与全局质心之间的最短空间向量距离为欧氏距离或者曼哈顿距离或者余弦距离，其中，所述目标特征向量为训练样本中的一个文本语义向量。
7.根据权利要求5所述的文本排序匹配方法，其特征在于，所述采取拉拢式的迭代计算和排斥式的迭代计算公式分别为：
Figure FDA0003647339220000021
Figure FDA0003647339220000022
Figure FDA0003647339220000023
为目标特征向量，
Figure FDA0003647339220000024
为原型全局质心向量，μ为迭代系数。
8.一种文本排序匹配装置，其特征在于，包括：
训练样本准备模块，被配置为将多个文本与其分别对应的分类标识组成的向量构成训练样本；
训练语义编码模块，被配置为将训练样本组成的训练集输入到语义编码模型，选择间隔的交叉熵损失函数对所述语义编码模型进行优化与调整，以便所述语义编码模型输出单元输出语义向量；
查询文本的相似度计算模块，被配置为将查询文本和训练样本同时输入所述语义编码模型，输出查询文本语义向量和训练样本语义向量，计算查询文本语义向量与每个训练样本语义向量之间的余弦距离，所述余弦距离的大小用于表征查询文本的语义编码相似度，基于所述语义编码相似度对文本进行排序匹配。
9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202210541447.4A 2022-05-17 2022-05-17 文本排序匹配方法、系统、装置及存储介质 Pending CN115204178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541447.4A CN115204178A (zh) 2022-05-17 2022-05-17 文本排序匹配方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541447.4A CN115204178A (zh) 2022-05-17 2022-05-17 文本排序匹配方法、系统、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115204178A true CN115204178A (zh) 2022-10-18

Family

ID=83575166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541447.4A Pending CN115204178A (zh) 2022-05-17 2022-05-17 文本排序匹配方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115204178A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383491A (zh) * 2023-03-21 2023-07-04 北京百度网讯科技有限公司 信息推荐方法、装置、设备、存储介质和程序产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383491A (zh) * 2023-03-21 2023-07-04 北京百度网讯科技有限公司 信息推荐方法、装置、设备、存储介质和程序产品
CN116383491B (zh) * 2023-03-21 2024-05-24 北京百度网讯科技有限公司 信息推荐方法、装置、设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
WO2020182122A1 (zh) 用于生成文本匹配模型的方法和装置
CN114549874B (zh) 多目标图文匹配模型的训练方法、图文检索方法及装置
CN110209809B (zh) 文本聚类方法和装置、存储介质及电子装置
WO2023019933A1 (zh) 构建检索数据库的方法、装置、设备以及存储介质
CN109726391B (zh) 对文本进行情感分类的方法、装置及终端
CN111382270A (zh) 基于文本分类器的意图识别方法、装置、设备及存储介质
CN111353033A (zh) 一种训练文本相似度模型的方法和系统
CN112035626A (zh) 一种大规模意图的快速识别方法、装置和电子设备
CN110727769B (zh) 语料库生成方法及装置、人机交互处理方法及装置
CN113837669A (zh) 一种标签体系的评价指标构建方法和相关装置
CN114003682A (zh) 一种文本分类方法、装置、设备及存储介质
CN109492085A (zh) 基于数据处理的答案确定方法、装置、终端及存储介质
CN117312641A (zh) 智能获取信息的方法、装置、设备及存储介质
CN116204672A (zh) 图像识别、模型训练方法、装置、设备及存储介质
CN115204178A (zh) 文本排序匹配方法、系统、装置及存储介质
CN112925895A (zh) 自然语言软件运维方法及装置
CN116521832A (zh) 对话交互方法、装置及系统、电子设备和存储介质
CN116127027A (zh) 意图识别方法及装置、意图识别模型的训练方法及装置
CN114970535B (zh) 意图识别方法、系统、装置及存储介质
CN115062769A (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
CN113656566A (zh) 智能对话处理方法、装置、计算机设备及存储介质
CN113220840A (zh) 文本处理方法、装置、设备以及存储介质
CN115129847B (zh) 智能回答方法及装置
CN113761183A (zh) 意图识别方法和意图识别装置
CN115062630B (zh) 机器人昵称的确认方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221128

Address after: 518054 cable information transmission building 25f2504, no.3369 Binhai Avenue, Haizhu community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Xumi yuntu Space Technology Co.,Ltd.

Address before: No.103, no.1003, Nanxin Road, Nanshan community, Nanshan street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Jizhi Digital Technology Co.,Ltd.