CN112100529A - 搜索内容排序方法、装置、存储介质和电子设备 - Google Patents

搜索内容排序方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN112100529A
CN112100529A CN202011287659.1A CN202011287659A CN112100529A CN 112100529 A CN112100529 A CN 112100529A CN 202011287659 A CN202011287659 A CN 202011287659A CN 112100529 A CN112100529 A CN 112100529A
Authority
CN
China
Prior art keywords
search
sample
search content
content
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011287659.1A
Other languages
English (en)
Other versions
CN112100529B (zh
Inventor
杨扬
王金刚
步佳昊
周翔
李勇
张富峥
陈�胜
仙云森
王仲远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202011287659.1A priority Critical patent/CN112100529B/zh
Publication of CN112100529A publication Critical patent/CN112100529A/zh
Application granted granted Critical
Publication of CN112100529B publication Critical patent/CN112100529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种搜索内容排序方法、装置、存储介质和电子设备，该方法包括：通过预先训练后的语义相关性模型，确定搜索词对应的每个搜索内容与该搜索词的相关性得分；根据相关性得分对多个搜索内容进行排序；语义相关性模型的训练过程包括：通过多个搜索词样本和根据用户针对于每个搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对语言模型进行预训练，以及，通过多个搜索词样本和每个搜索词样本对应的两个附带用于表征搜索内容样本是否与搜索词样本相关的标签的第二搜索内容样本对预训练语言模型进行微调。能够通过预训练和微调的语义相关性模型确定搜索内容的相关性得分，拓宽语义相关性模型的使用范围并减小标注成本。

Description

搜索内容排序方法、装置、存储介质和电子设备
技术领域
本公开涉及搜索技术领域，具体地，涉及一种搜索内容排序方法、装置、存储介质和电子设备。
背景技术
搜索平台可以根据用户输入的关键词（下文称Query）向用户推荐若干搜索结果（下文称Document）。搜索结果需要在排序之后行程搜索结果列表展示给用户，因此，搜索结果排序的准确性直接影响平台的效果。其中，文本语义相关性是排序中的核心因素之一，与搜索体验直接挂钩。判别文本语义相关性是为了计算搜索词和搜索内容的相关程度，即判断搜索内容是否满足用户的搜索需求。判别搜索词和搜索内容的相关性是搜索系统所需的功能之一。
发明内容
本公开的主要目的是提供一种搜索内容排序方法、装置、存储介质和电子设备，以解决相关技术中相关性模型适用范围小标注成本高的技术问题。
为了实现上述目的，本公开第一方面提供一种搜索内容排序方法，所述方法包括：
根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定所述目标搜索词对应的每个搜索内容与所述目标搜索词的相关性得分；
根据所述相关性得分对所述目标搜索词对应的多个所述搜索内容进行排序；
其中，所述语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，所述预设训练过程包括：通过多个搜索词样本和根据用户针对于每个所述搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对所述预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个所述搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，所述标签用于表征所述第二搜索内容样本是否与所述搜索词样本相关。
可选的，在所述根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定所述目标搜索词对应的每个搜索内容与所述目标搜索词的相关性得分之前，所述方法还包括：
通过所述多个搜索词样本和所述第一搜索内容样本执行所述第一训练过程；
在所述第一训练过程完成后，通过所述多个搜索词样本和所述第二搜索内容样本执行所述第二训练过程，以生成所述语义相关性模型。
可选的，所述第一搜索内容样本，包括：正相关搜索内容和负相关搜索内容，用户对所述正相关搜索内容存在历史操作行为，用户对所述负相关搜索内容不存在历史操作行为，所述通过所述多个搜索词样本和所述第一搜索内容样本执行所述第一训练过程，包括：
根据所述历史操作行为从所述多个搜索内容中确定所述正相关搜索内容和所述负相关搜索内容；
针对于每个所述搜索词样本，根据所述搜索词样本和所述搜索词样本对应的多个正相关搜索内容和多个负相关搜索内容，以获取多个预训练样本；其中，每个所述预训练样本包括：由依次排列的所述搜索词样本、所述正相关搜索内容和所述负相关搜索内容组成的正样本，以及，由依次排列的所述搜索词样本、所述负相关搜索内容和所述正相关搜索内容组成的负样本；
通过每个所述搜索词样本对应的多个预训练样本对所述预设语言模型进行预训练，以完成所述第一训练过程。
可选的，所述通过所述多个搜索词样本和所述第二搜索内容样本执行所述第二训练过程，以生成所述语义相关性模型，包括：
针对每个所述搜索词样本，获取所述搜索词样本对应的两个附带标签的第二搜索内容样本，所述标签包括：用于表征所述第二搜索内容样本与所述搜索词样本相关的第一标签，以及，用于表征所述第二搜索内容样本与所述搜索词样本不相关的第二标签；
将所述搜索词样本、附带所述第一标签的第二搜索内容样本以及附带所述第二标签的第二搜索内容样本组成的三元组作为微调训练样本；
将每个所述搜索词样本对应的微调训练样本作为经过预训练的预设语言模型的输入，以完成所述第二训练过程，生成所述语义相关性模型。
可选的，所述预设语言模型包括：输入层、上下文语义表征层和具备预设损失函数的匹配层，所述将每个所述搜索词样本对应的微调训练样本作为经过预训练的预设语言模型的输入，以完成所述第二训练过程，生成所述语义相关性模型，包括：
通过所述输入层获取所述微调训练样本对应的目标向量，所述目标向量为所述微调训练样本中包含的文本序列的词嵌入向量、分段嵌入向量和位置嵌入向量三者的和；
通过所述上下文语义表征层，根据所述目标向量，获取所述搜索词样本与附带所述第一标签的第二搜索内容样本的第一相关性得分，以及，所述搜索词样本与附带所述第二标签的第二搜索内容样本的第二相关性得分；
通过每个所述微调训练样本对应的所述第一相关性得分和所述第二相关性得分对所述预设损失函数的预设梯度进行迭代更新，以完成所述第二训练过程，生成所述语义相关性模型；
其中，所述预设梯度为：
Figure 949035DEST_PATH_IMAGE001
，
其中，i表示附带所述第一标签的第二搜索内容样本，j表示附带所述第二标签的第二搜索内容样本，
Figure 593643DEST_PATH_IMAGE002
表示所述预设梯度，
Figure DEST_PATH_IMAGE003
表示所述第一相关性得分，
Figure 784452DEST_PATH_IMAGE004
表示所述第二相关性得分，σ为预设参数，ΔNDCG表示所述两个第二搜索内容样本交换搜索排序位置后归一化折损累计增益NDCG值的变化量。
本公开第二方面提供一种搜索内容排序装置，所述装置包括：
相关性确定模块，被配置成用于根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定所述目标搜索词对应的每个搜索内容与所述目标搜索词的相关性得分；
内容排序模块，被配置成用于根据所述相关性得分对所述目标搜索词对应的多个所述搜索内容进行排序；
其中，所述语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，所述预设训练过程包括：通过多个搜索词样本和根据用户针对于每个所述搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对所述预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个所述搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，所述标签用于表征所述第二搜索内容样本是否与所述搜索词样本相关。
可选的，所述装置还包括：
第一模型训练模块，被配置成用于通过所述多个搜索词样本和所述第一搜索内容样本执行所述第一训练过程；
第二模型训练模块，被配置成用于在所述第一训练过程完成后，通过所述多个搜索词样本和所述第二搜索内容样本执行所述第二训练过程，以生成所述语义相关性模型。
可选的，所述第一搜索内容样本，包括：正相关搜索内容和负相关搜索内容，用户对所述正相关搜索内容存在历史操作行为，用户对所述负相关搜索内容不存在历史操作行为，所述第一模型训练模块，被配置成用于：
根据所述历史操作行为从所述多个搜索内容中确定所述正相关搜索内容和所述负相关搜索内容；
针对于每个所述搜索词样本，根据所述搜索词样本和所述搜索词样本对应的多个正相关搜索内容和多个负相关搜索内容，以获取多个预训练样本；其中，每个所述预训练样本包括：由依次排列的所述搜索词样本、所述正相关搜索内容和所述负相关搜索内容组成的正样本，以及，由依次排列的所述搜索词样本、所述负相关搜索内容和所述正相关搜索内容组成的负样本；
通过每个所述搜索词样本对应的多个预训练样本对所述预设语言模型进行预训练，以完成所述第一训练过程。
可选的，所述第二模型训练模块，被配置成用于：
针对每个所述搜索词样本，获取所述搜索词样本对应的两个附带标签的第二搜索内容样本，所述标签包括：用于表征所述第二搜索内容样本与所述搜索词样本相关的第一标签，以及，用于表征所述第二搜索内容样本与所述搜索词样本不相关的第二标签；
将所述搜索词样本、附带所述第一标签的第二搜索内容样本以及附带所述第二标签的第二搜索内容样本组成的三元组作为微调训练样本；
将每个所述搜索词样本对应的微调训练样本作为经过预训练的预设语言模型的输入，以完成所述第二训练过程，生成所述语义相关性模型。
可选的，所述预设语言模型包括：输入层、上下文语义表征层和具备预设损失函数的匹配层，所述第二模型训练模块，被配置成用于：
通过所述输入层获取所述微调训练样本对应的目标向量，所述目标向量为所述微调训练样本中包含的文本序列的词嵌入向量、分段嵌入向量和位置嵌入向量三者的和；
通过所述上下文语义表征层，根据所述目标向量，获取所述搜索词样本与附带所述第一标签的第二搜索内容样本的第一相关性得分，以及，所述搜索词样本与附带所述第二标签的第二搜索内容样本的第二相关性得分；
通过每个所述微调训练样本对应的所述第一相关性得分和所述第二相关性得分对所述预设损失函数的预设梯度进行迭代更新，以完成所述第二训练过程，生成所述语义相关性模型；
其中，所述预设梯度为：
Figure DEST_PATH_IMAGE005
，
其中，i表示附带所述第一标签的第二搜索内容样本，j表示附带所述第二标签的第二搜索内容样本，
Figure 336657DEST_PATH_IMAGE006
表示所述预设梯度，
Figure DEST_PATH_IMAGE007
表示所述第一相关性得分，
Figure 663733DEST_PATH_IMAGE008
表示所述第二相关性得分，σ为预设参数，ΔNDCG表示所述两个第二搜索内容样本交换搜索排序位置后归一化折损累计增益NDCG值的变化量。
本公开第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的搜索内容排序方法的步骤。
本公开第四方面提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述的搜索内容排序方法的步骤。
采用本公开提供的技术方案，至少可以达到如下技术效果：
根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定该目标搜索词对应的每个搜索内容与该目标搜索词的相关性得分；根据该相关性得分对该目标搜索词对应的多个该搜索内容进行排序；其中，该语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，该预设训练过程包括：通过多个搜索词样本和根据用户针对于每个该搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对该预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个该搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，该标签用于表征该第二搜索内容样本是否与该搜索词样本相关。能够通过预训练和微调的语义相关性模型确定搜索内容的相关性得分，拓宽语义相关性模型的使用范围并减小标注成本。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种搜索内容排序方法的流程图；
图2是根据图1示出的另一种搜索内容排序方法的流程图；
图3是根据图2示出的一种语义相关性模型的预训练方法的流程图；
图4是根据图2示出的一种语义相关性模型的微调方法的流程图；
图5是根据一示例性实施例示出的一种搜索内容排序装置的框图；
图6是根据图5示出的另一种搜索内容排序装置的框图；
图7是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在搜索内容排序的相关技术中，可以通过BM25模型和DSSM（Deep StructuredSemantic Models，深层结构语义模型）等确定Query-Doc文本相关性特征。但是，BM25模型只能处理Query与Document有重合词（字面匹配）的情况，无法处理词语的语义相关性。由于Query与Document之间的语义差别，可能会存在很多语义相似，但文本并不匹配的情况。此外，字面匹配的文本也会存在语义差别，如“机器学习”和“学习机器”。因此BM25模型的相似性计算在很多语义匹配场景中表现较差，适用范围较小。而DSSM属于深度学习方法，需要依赖大量训练样本，人工标注成本高。此外，由于使用BOW（Bag-of-Words model，词袋模型）进行文本向量表示，没有考虑到单词之间的时序联系，损失了上下文信息。所以，基于BM25和DSSM等Query-Doc等模型确定文本相关性特征，部分搜索请求（例如，商家搜索、商品搜索）的相关性没有得到很好的解决。
发明人注意到这一问题，提出了一种搜索内容排序方法，具体如下：
图1是根据一示例性实施例示出的一种搜索内容排序方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定该目标搜索词对应的每个搜索内容与该目标搜索词的相关性得分。
其中，该语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，该预设训练过程包括：通过多个搜索词样本和根据用户针对于每个该搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对该预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个该搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，该标签用于表征该第二搜索内容样本是否与该搜索词样本相关。
示例地，该预设语言模型可以为预训练语音模型，预训练语言模型BERT（Bidirectional Encoder Representations from Transformers）依赖其深层网络结构以及海量数据预训练可以更好的表征上下文信息，尤其擅长提取深层次的语义信息。也可以选择其他的预训练语言模型，如XLNET模型和RoBERTa模型等。该第一训练过程为BERT模型的Post Pre-training过程，该第二训练过程为对BERT4Search模型Fine-tuning（或称微调）的过程。在本公开实施例中，引入listwise训练方式，对Fine-tuning过程的训练目标进行改造，将搜索内容之间的排序先后关系作为训练目标的一部分，得到训练好的listwiseBERT（即语义相关性模型），进一步优化相关性排序。
步骤102，根据该相关性得分对该目标搜索词对应的多个该搜索内容进行排序。
示例地，可以直接通过BERT模型产出的Query和Document的相关性得分对搜索内容进行排序。或者，可以将通过BERT模型产出的Query和Document的相关性得分作为评判搜索内容排序的多种评判依据中的一项，生成最终的针对于该目标搜索词相关性排序。
综上所述，本公开的实施例所提供的技术方案，能够根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定该目标搜索词对应的每个搜索内容与该目标搜索词的相关性得分；根据该相关性得分对该目标搜索词对应的多个该搜索内容进行排序；其中，该语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，该预设训练过程包括：通过多个搜索词样本和根据用户针对于每个该搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对该预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个该搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，该标签用于表征该第二搜索内容样本是否与该搜索词样本相关。能够通过预训练和微调的语义相关性模型确定搜索内容的相关性得分，拓宽语义相关性模型的使用范围并减小标注成本。
图2是根据图1示出的另一种搜索内容排序方法的流程图，如图2所示，在步骤101之前，该方法还包括：
步骤103，通过上述多个搜索词样本和该第一搜索内容样本执行该第一训练过程。
步骤104，在该第一训练过程完成后，通过上述多个搜索词样本和该第二搜索内容样本执行该第二训练过程，以生成该语义相关性模型。
图3是根据图2示出的一种语义相关性模型的预训练方法的流程图，该第一搜索内容样本，包括：正相关搜索内容和负相关搜索内容，其中，用户对该正相关搜索内容存在历史操作行为，用户对该负相关搜索内容不存在历史操作行为，如图3所示，上述步骤103可以包括：
步骤1031，根据该历史操作行为从上述多个搜索内容中确定该正相关搜索内容和该负相关搜索内容。
步骤1032，针对于每个该搜索词样本，根据该搜索词样本和该搜索词样本对应的多个正相关搜索内容和多个负相关搜索内容，以获取多个预训练样本。
其中，每个该预训练样本包括：由依次排列的该搜索词样本、该正相关搜索内容和该负相关搜索内容组成的正样本，以及，由依次排列的该搜索词样本、该负相关搜索内容和该正相关搜索内容组成的负样本。
步骤1033，通过每个该搜索词样本对应的多个预训练样本对该预设语言模型进行预训练，以完成该第一训练过程。
示例地，利用搜索场景的海量弱监督数据（如用户浏览，点击，下单等用户行为）对BERT模型进行Post Pre-training，得到一个适配于搜索相关性场景的预训练语言模型BERT4Search。具体地，可以利用，例如外卖团购平台的数据，对Query和POI（Point ofInterest，兴趣点）对进行分类，对于用户浏览点击且下单了的POI视为强相关（Query，POI+），出现在搜索页面但是用户没点击的POI视为不相关（Query，POI-）。为进一步针对搜索的排序关系进行优化，视（Query，POI+，POI-）为正样本，（Query，POI-，POI+）为负样本，构造搜索相关性排序预训练任务IR Relevance，并且和语言模型的Mask Language Model任务一起联合学习，得到适配于搜索场景的预训练语言模型BERT4Search。
图4是根据图2示出的一种语义相关性模型的微调方法的流程图，如图4所示，上述步骤104可以包括：
步骤1041，针对每个该搜索词样本，获取该搜索词样本对应的两个附带标签的第二搜索内容样本。
其中，该标签包括：用于表征该第二搜索内容样本与该搜索词样本相关的第一标签，以及，用于表征该第二搜索内容样本与该搜索词样本不相关的第二标签。
步骤1042，将该搜索词样本、附带该第一标签的第二搜索内容样本以及附带该第二标签的第二搜索内容样本组成的三元组作为微调训练样本。
示例地，Query-Doc相关性最终作为特征加入排序模型训练中，因此可以对Fine-tuning任务的训练目标做了针对性改进。Pairwise Fine-tuning任务输入的单条样本为三元组，对于同一Query的多个候选Doc，选择任意一个正例和一个负例组合成三元组作为输入样本。在下游任务中只需要使用少量的Query和Doc相关性的标注数据（有监督训练样本），对BERT模型进行相关性Fine-tuning，产出Query和Doc的相关性特征。
步骤1043，将每个该搜索词样本对应的微调训练样本作为经过预训练的预设语言模型的输入，以完成该第二训练过程，生成该语义相关性模型。
示例地，该预设语言模型包括：输入层、上下文语义表征层和具备预设损失函数的匹配层，该步骤1043可以包括：通过该输入层获取该微调训练样本对应的目标向量，该目标向量为该微调训练样本中包含的文本序列的词嵌入向量、分段嵌入向量和位置嵌入向量三者的和；通过该上下文语义表征层，根据该目标向量，获取该搜索词样本与附带该第一标签的第二搜索内容样本的第一相关性得分，以及，该搜索词样本与附带该第二标签的第二搜索内容样本的第二相关性得分；通过每个该微调训练样本对应的该第一相关性得分和该第二相关性得分对该预设损失函数的预设梯度进行迭代更新，以完成该第二训练过程，生成该语义相关性模型。
示例地，在上述的输入层。对于同一Query的文档集中，可以得到两个标注不同标签的文档，其中相关文档的标签（即第一标签）为Document+，不相关文档的标签（第二标签）为Document-。输入层通过查询表将文本Query、Document+以及Document-的单词序列转换为Token Embedding序列（即词嵌入向量）；为了向模型中引入单词位置关系，引入位置嵌入向量（Position Embedding）将单词的位置信息编码成特征向量；分段嵌入向量（SegmentEmbedding）用于区分两个句子即Query和Document。最终的目标向量表示为上述三种向量的和。示例地，上述的上下文语义表征层（Contextual Representation Layer）采用上述适配到搜索场景的BERT4Search预训练语言模型得到文本的上下文表征。通过BERT4Search模型可以分别得到（Query，Document+）以及（Query，Document-）的语义相关性表征，其储存于BERT4Search的CLS位。
示例地，在上下文语义表征层之后，Query和Document的语义相似性可以通过BERT4Search的CLS位进行表征，通过匹配层进行Softmax处理可得到Document的打分。现有的预训练语言模型使用pointwise训练方式，忽略了搜索排序场景下不同样本的排序信息。对于搜索系统来说，系统接收到用户査询后，返回相关文档列表，关键是确定文档之间的先后顺序关系。pointwise训练方式完全从单个文档的分类得分角度计算，没有考虑文档之间的顺序关系。为进一步适配到搜索排序的场景，对BERT4Search的训练目标进行了改造。
具体地，令
Figure DEST_PATH_IMAGE009
为同一个Query下文档Doc（i）相比文档Doc（j）更相关的概率，其中，
Figure 278909DEST_PATH_IMAGE007
为Doc（i）与Query的第一相关性得分，
Figure 222595DEST_PATH_IMAGE008
为Doc（j）与Query的第二相关性得分，
Figure 985014DEST_PATH_IMAGE010
的计算公式如下列公式（1）所示：
Figure 697755DEST_PATH_IMAGE011
（1），
此后，使用交叉熵为损失函数，令
Figure 684166DEST_PATH_IMAGE012
表示样本对的真实标记，
Figure 318410DEST_PATH_IMAGE013
用于表征Doc（i）和文档Doc（j）中的哪一者与Query更相关。即，当Doc（i）比Doc（j）更相关时（即Doc（i）为正例，而Doc（j）为负例），有
Figure 415679DEST_PATH_IMAGE014
=1，否则
Figure 514085DEST_PATH_IMAGE014
=-1；则损失函数
Figure 405817DEST_PATH_IMAGE015
可以表示为下列公式（2）：
Figure 527357DEST_PATH_IMAGE016
（2），
再次，在构造样本对时，可以始终令Doc（i）为更相关的文档，此时始终有
Figure 428317DEST_PATH_IMAGE017
=1，代入上述公式（2）并进行求导，则损失函数的梯度可以表示为下列公式（3）：
Figure 115650DEST_PATH_IMAGE018
（3），
最后，由于上述BERT4Search模型的损失函数计算过程是以pairwise训练方式实现的，并未考虑样本所在的位置排序信息。因此进一步对梯度进行改造，考虑Doc（i）和Doc（j）交换搜索排序位置时的NDCG（Normalized discounted cumulative gain，归一化折损累计增益）值变化。NDCG是listwise训练方式中用于衡量整个结果列表的排序质量的指标。具体来说，对于搜索引擎，本质是用户输入一个Query，引擎返回一个结果列表，衡量这个结果列表的好坏的条件包括：1）把最相关的结果放到排名最靠前的位置；2）整个列表的结果尽可能的和Query相关。而NDCG能够体现整个结果列表在上述的两个条件的优劣。该预设梯度可以表示为下列公式（4）：
Figure 443863DEST_PATH_IMAGE019
，
其中，i表示附带该第一标签的第二搜索内容样本，j表示附带该第二标签的第二搜索内容样本，
Figure 787120DEST_PATH_IMAGE002
表示该预设梯度，
Figure 491771DEST_PATH_IMAGE007
表示该第一相关性得分，
Figure 33611DEST_PATH_IMAGE008
表示该第二相关性得分，σ为预设参数，ΔNDCG表示上述两个第二搜索内容样本交换搜索排序位置后归一化折损累计增益NDCG值的变化量。
示例地，如此，BERT4Search模型的训练方式被改造为结合pairwise的listwise训练方式，通过多个搜索词（以及其对应的两个第二搜索内容样本）对该预设梯度经过迭代更新，最终可以让BERT4Search模型Fine-tuning阶段的优化目标和搜索排序模型的目标对齐，达到优化NDCG的目的。
综上所述，本公开的实施例所提供的技术方案，能够根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定该目标搜索词对应的每个搜索内容与该目标搜索词的相关性得分；根据该相关性得分对该目标搜索词对应的多个该搜索内容进行排序；其中，该语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，该预设训练过程包括：通过多个搜索词样本和根据用户针对于每个该搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对该预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个该搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，该标签用于表征该第二搜索内容样本是否与该搜索词样本相关。能够通过预训练和微调的语义相关性模型确定搜索内容的相关性得分，拓宽语义相关性模型的使用范围并减小标注成本。
图5是根据一示例性实施例示出的一种搜索内容排序装置的框图，如图5所示，该装置500包括：
相关性确定模块510，被配置成用于根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定该目标搜索词对应的每个搜索内容与该目标搜索词的相关性得分；
内容排序模块520，被配置成用于根据该相关性得分对该目标搜索词对应的多个该搜索内容进行排序；
其中，该语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，该预设训练过程包括：通过多个搜索词样本和根据用户针对于每个该搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对该预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个该搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，该标签用于表征该第二搜索内容样本是否与该搜索词样本相关。
图6是根据图5示出的另一种搜索内容排序装置的框图，如图6所示，该装置500还包括：
第一模型训练模块530，被配置成用于通过上述多个搜索词样本和该第一搜索内容样本执行该第一训练过程；
第二模型训练模块540，被配置成用于在该第一训练过程完成后，通过上述多个搜索词样本和该第二搜索内容样本执行该第二训练过程，以生成该语义相关性模型。
可选的，该第一搜索内容样本，包括：正相关搜索内容和负相关搜索内容，用户对该正相关搜索内容存在历史操作行为，用户对该负相关搜索内容不存在历史操作行为，该第一模型训练模块530，被配置成用于：
根据该历史操作行为从上述多个搜索内容中确定该正相关搜索内容和该负相关搜索内容；
针对于每个该搜索词样本，根据该搜索词样本和该搜索词样本对应的多个正相关搜索内容和多个负相关搜索内容，以获取多个预训练样本；其中，每个该预训练样本包括：由依次排列的该搜索词样本、该正相关搜索内容和该负相关搜索内容组成的正样本，以及，由依次排列的该搜索词样本、该负相关搜索内容和该正相关搜索内容组成的负样本；
通过每个该搜索词样本对应的多个预训练样本对该预设语言模型进行预训练，以完成该第一训练过程。
可选的，该第二模型训练模块540，被配置成用于：
针对每个该搜索词样本，获取该搜索词样本对应的两个附带标签的第二搜索内容样本，该标签包括：用于表征该第二搜索内容样本与该搜索词样本相关的第一标签，以及，用于表征该第二搜索内容样本与该搜索词样本不相关的第二标签；
将该搜索词样本、附带该第一标签的第二搜索内容样本以及附带该第二标签的第二搜索内容样本组成的三元组作为微调训练样本；
将每个该搜索词样本对应的微调训练样本作为经过预训练的预设语言模型的输入，以完成该第二训练过程，生成该语义相关性模型。
可选的，该预设语言模型包括：输入层、上下文语义表征层和具备预设损失函数的匹配层，该第二模型训练模块540，被配置成用于：
通过该输入层获取该微调训练样本对应的目标向量，该目标向量为该微调训练样本中包含的文本序列的词嵌入向量、分段嵌入向量和位置嵌入向量三者的和；
通过该上下文语义表征层，根据该目标向量，获取该搜索词样本与附带该第一标签的第二搜索内容样本的第一相关性得分，以及，该搜索词样本与附带该第二标签的第二搜索内容样本的第二相关性得分；
通过每个该微调训练样本对应的该第一相关性得分和该第二相关性得分对该预设损失函数的预设梯度进行迭代更新，以完成该第二训练过程，生成该语义相关性模型；
其中，该预设梯度为：
Figure 798304DEST_PATH_IMAGE019
，
其中，i表示附带该第一标签的第二搜索内容样本，j表示附带该第二标签的第二搜索内容样本，
Figure 628857DEST_PATH_IMAGE002
表示该预设梯度，
Figure 871619DEST_PATH_IMAGE007
表示该第一相关性得分，
Figure 267966DEST_PATH_IMAGE008
表示该第二相关性得分，σ为预设参数，ΔNDCG表示上述两个第二搜索内容样本交换搜索排序位置后归一化折损累计增益NDCG值的变化量。
综上所述，本公开的实施例所提供的技术方案，能够根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定该目标搜索词对应的每个搜索内容与该目标搜索词的相关性得分；根据该相关性得分对该目标搜索词对应的多个该搜索内容进行排序；其中，该语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，该预设训练过程包括：通过多个搜索词样本和根据用户针对于每个该搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对该预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个该搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，该标签用于表征该第二搜索内容样本是否与该搜索词样本相关。能够通过预训练和微调的语义相关性模型确定搜索内容的相关性得分，拓宽语义相关性模型的使用范围并减小标注成本。
示例地，图7是根据一示例性实施例示出的一种电子设备700的框图。参照图7，电子设备700包括处理器701，其数量可以为一个或多个，以及存储器702，用于存储可由处理器701执行的计算机程序。存储器702中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器701可以被配置为执行该计算机程序，以执行上述的搜索内容排序方法。
另外，电子设备700还可以包括电源组件703和通信组件704，该电源组件703可以被配置为执行电子设备700的电源管理，该通信组件704可以被配置为实现电子设备700的通信，例如，有线或无线通信。此外，该电子设备700还可以包括输入/输出（I/O）接口705。电子设备700可以操作基于存储在存储器702的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的搜索内容排序方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的搜索内容排序方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

Claims (12)

1.一种搜索内容排序方法，其特征在于，所述方法包括：
根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定所述目标搜索词对应的每个搜索内容与所述目标搜索词的相关性得分；
根据所述相关性得分对所述目标搜索词对应的多个所述搜索内容进行排序；其中，所述语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，所述预设训练过程包括：通过多个搜索词样本和根据用户针对于每个所述搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对所述预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个所述搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，所述标签用于表征所述第二搜索内容样本是否与所述搜索词样本相关。
2.根据权利要求1所述的方法，其特征在于，在所述根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定所述目标搜索词对应的每个搜索内容与所述目标搜索词的相关性得分之前，所述方法还包括：
通过所述多个搜索词样本和所述第一搜索内容样本执行所述第一训练过程；
在所述第一训练过程完成后，通过所述多个搜索词样本和所述第二搜索内容样本执行所述第二训练过程，以生成所述语义相关性模型。
3.根据权利要求2所述的方法，其特征在于，所述第一搜索内容样本，包括：正相关搜索内容和负相关搜索内容，其中，用户对所述正相关搜索内容存在历史操作行为，用户对所述负相关搜索内容不存在历史操作行为，所述通过所述多个搜索词样本和所述第一搜索内容样本执行所述第一训练过程，包括：
根据所述历史操作行为从所述多个搜索内容中确定所述正相关搜索内容和所述负相关搜索内容；
针对于每个所述搜索词样本，根据所述搜索词样本和所述搜索词样本对应的多个正相关搜索内容和多个负相关搜索内容，以获取多个预训练样本；其中，每个所述预训练样本包括：由依次排列的所述搜索词样本、所述正相关搜索内容和所述负相关搜索内容组成的正样本，以及，由依次排列的所述搜索词样本、所述负相关搜索内容和所述正相关搜索内容组成的负样本；
通过每个所述搜索词样本对应的多个预训练样本对所述预设语言模型进行预训练，以完成所述第一训练过程。
4.根据权利要求2所述的方法，其特征在于，所述通过所述多个搜索词样本和所述第二搜索内容样本执行所述第二训练过程，以生成所述语义相关性模型，包括：
针对每个所述搜索词样本，获取所述搜索词样本对应的两个附带标签的第二搜索内容样本，所述标签包括：用于表征所述第二搜索内容样本与所述搜索词样本相关的第一标签，以及，用于表征所述第二搜索内容样本与所述搜索词样本不相关的第二标签；
将所述搜索词样本、附带所述第一标签的第二搜索内容样本以及附带所述第二标签的第二搜索内容样本组成的三元组作为微调训练样本；
将每个所述搜索词样本对应的微调训练样本作为经过预训练的预设语言模型的输入，以完成所述第二训练过程，生成所述语义相关性模型。
5.根据权利要求4所述的方法，其特征在于，所述预设语言模型包括：输入层、上下文语义表征层和具备预设损失函数的匹配层，所述将每个所述搜索词样本对应的微调训练样本作为经过预训练的预设语言模型的输入，以完成所述第二训练过程，生成所述语义相关性模型，包括：
通过所述输入层获取所述微调训练样本对应的目标向量，所述目标向量为所述微调训练样本中包含的文本序列的词嵌入向量、分段嵌入向量和位置嵌入向量三者的和；
通过所述上下文语义表征层，根据所述目标向量，获取所述搜索词样本与附带所述第一标签的第二搜索内容样本的第一相关性得分，以及，所述搜索词样本与附带所述第二标签的第二搜索内容样本的第二相关性得分；
通过每个所述微调训练样本对应的所述第一相关性得分和所述第二相关性得分对所述预设损失函数的预设梯度进行迭代更新，以完成所述第二训练过程，生成所述语义相关性模型；
其中，所述预设梯度为：
Figure 140210DEST_PATH_IMAGE001
，
其中，i表示附带所述第一标签的第二搜索内容样本，j表示附带所述第二标签的第二搜索内容样本，
Figure 443015DEST_PATH_IMAGE002
表示所述预设梯度，
Figure 128074DEST_PATH_IMAGE003
表示所述第一相关性得分，
Figure 807317DEST_PATH_IMAGE004
表示所述第二相关性得分，σ为预设参数，ΔNDCG表示所述两个第二搜索内容样本交换搜索排序位置后归一化折损累计增益NDCG值的变化量。
6.一种搜索内容排序装置，其特征在于，所述装置包括：
相关性确定模块，被配置成用于根据接收到的目标搜索词，通过预先训练后的语义相关性模型，确定所述目标搜索词对应的每个搜索内容与所述目标搜索词的相关性得分；
内容排序模块，被配置成用于根据所述相关性得分对所述目标搜索词对应的多个所述搜索内容进行排序；其中，所述语义相关性模型是通过预设训练过程对预设语言模型进行训练后获取到的，所述预设训练过程包括：通过多个搜索词样本和根据用户针对于每个所述搜索词样本对应的多个搜索内容的历史操作行为确定的第一搜索内容样本对所述预设语言模型进行预训练的第一训练过程，以及，通过多个搜索词样本和每个所述搜索词样本对应的两个附带标签的第二搜索内容样本对预训练后的预设语言模型进行微调的第二训练过程，所述标签用于表征所述第二搜索内容样本是否与所述搜索词样本相关。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一模型训练模块，被配置成用于通过所述多个搜索词样本和所述第一搜索内容样本执行所述第一训练过程；
第二模型训练模块，被配置成用于在所述第一训练过程完成后，通过所述多个搜索词样本和所述第二搜索内容样本执行所述第二训练过程，以生成所述语义相关性模型。
8.根据权利要求7所述的装置，其特征在于，所述第一搜索内容样本，包括：正相关搜索内容和负相关搜索内容，用户对所述正相关搜索内容存在历史操作行为，用户对所述负相关搜索内容不存在历史操作行为，所述第一模型训练模块，被配置成用于：
根据所述历史操作行为从所述多个搜索内容中确定所述正相关搜索内容和所述负相关搜索内容；
针对于每个所述搜索词样本，根据所述搜索词样本和所述搜索词样本对应的多个正相关搜索内容和多个负相关搜索内容，以获取多个预训练样本；其中，每个所述预训练样本包括：由依次排列的所述搜索词样本、所述正相关搜索内容和所述负相关搜索内容组成的正样本，以及，由依次排列的所述搜索词样本、所述负相关搜索内容和所述正相关搜索内容组成的负样本；
通过每个所述搜索词样本对应的多个预训练样本对所述预设语言模型进行预训练，以完成所述第一训练过程。
9.根据权利要求7所述的装置，其特征在于，所述第二模型训练模块，被配置成用于：
针对每个所述搜索词样本，获取所述搜索词样本对应的两个附带标签的第二搜索内容样本，所述标签包括：用于表征所述第二搜索内容样本与所述搜索词样本相关的第一标签，以及，用于表征所述第二搜索内容样本与所述搜索词样本不相关的第二标签；
将所述搜索词样本、附带所述第一标签的第二搜索内容样本以及附带所述第二标签的第二搜索内容样本组成的三元组作为微调训练样本；
将每个所述搜索词样本对应的微调训练样本作为经过预训练的预设语言模型的输入，以完成所述第二训练过程，生成所述语义相关性模型。
10.根据权利要求9所述的装置，其特征在于，所述预设语言模型包括：输入层、上下文语义表征层和具备预设损失函数的匹配层，所述第二模型训练模块，被配置成用于：
通过所述输入层获取所述微调训练样本对应的目标向量，所述目标向量为所述微调训练样本中包含的文本序列的词嵌入向量、分段嵌入向量和位置嵌入向量三者的和；
通过所述上下文语义表征层，根据所述目标向量，获取所述搜索词样本与附带所述第一标签的第二搜索内容样本的第一相关性得分，以及，所述搜索词样本与附带所述第二标签的第二搜索内容样本的第二相关性得分；
通过每个所述微调训练样本对应的所述第一相关性得分和所述第二相关性得分对所述预设损失函数的预设梯度进行迭代更新，以完成所述第二训练过程，生成所述语义相关性模型；
其中，所述预设梯度为：
Figure 690960DEST_PATH_IMAGE005
，
其中，i表示附带所述第一标签的第二搜索内容样本，j表示附带所述第二标签的第二搜索内容样本，
Figure 164666DEST_PATH_IMAGE006
表示所述预设梯度，
Figure 337022DEST_PATH_IMAGE007
表示所述第一相关性得分，
Figure 288797DEST_PATH_IMAGE008
表示所述第二相关性得分，σ为预设参数，ΔNDCG表示所述两个第二搜索内容样本交换搜索排序位置后归一化折损累计增益NDCG值的变化量。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述的搜索内容排序方法的步骤。
12.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至5中任一项所述的搜索内容排序方法的步骤。
CN202011287659.1A 2020-11-17 2020-11-17 搜索内容排序方法、装置、存储介质和电子设备 Active CN112100529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011287659.1A CN112100529B (zh) 2020-11-17 2020-11-17 搜索内容排序方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011287659.1A CN112100529B (zh) 2020-11-17 2020-11-17 搜索内容排序方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN112100529A true CN112100529A (zh) 2020-12-18
CN112100529B CN112100529B (zh) 2021-03-19

Family

ID=73786065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011287659.1A Active CN112100529B (zh) 2020-11-17 2020-11-17 搜索内容排序方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN112100529B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297511A (zh) * 2021-05-24 2021-08-24 北京三快在线科技有限公司 商户排序模型的构建方法、装置、服务器及存储介质
CN113343046A (zh) * 2021-05-20 2021-09-03 成都美尔贝科技股份有限公司 一种智能搜索排序系统
CN113344078A (zh) * 2021-06-09 2021-09-03 北京三快在线科技有限公司 一种模型训练的方法及装置
CN113407814A (zh) * 2021-06-29 2021-09-17 北京字节跳动网络技术有限公司 文本搜索方法、装置、可读介质及电子设备
CN113590796A (zh) * 2021-08-04 2021-11-02 百度在线网络技术（北京）有限公司 排序模型的训练方法、装置和电子设备
CN113988157A (zh) * 2021-09-30 2022-01-28 北京百度网讯科技有限公司 语义检索网络训练方法、装置、电子设备及存储介质
CN114168708A (zh) * 2021-11-15 2022-03-11 哈尔滨工业大学 一种基于多域特征的个性化生物通路检索方法
CN114281935A (zh) * 2021-09-16 2022-04-05 腾讯科技（深圳）有限公司 搜索结果分类模型的训练方法、装置、介质及设备
CN115186163A (zh) * 2022-06-27 2022-10-14 北京百度网讯科技有限公司 搜索结果排序模型的训练与搜索结果排序方法、装置
CN115952350A (zh) * 2022-12-09 2023-04-11 贝壳找房(北京)科技有限公司 信息的查询方法、电子设备、存储介质及计算机程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567326A (zh) * 2010-12-14 2012-07-11 中国移动通信集团湖南有限公司 一种信息搜索、及信息搜索排序装置和方法
JP2014013476A (ja) * 2012-07-04 2014-01-23 Hitachi Ltd ファイルの検索方法、ファイル検索装置及びプログラム
CN104077306A (zh) * 2013-03-28 2014-10-01 阿里巴巴集团控股有限公司 一种搜索引擎的结果排序方法及系统
CN104102733A (zh) * 2014-07-24 2014-10-15 百度在线网络技术（北京）有限公司 搜索内容提供方法和搜索引擎
CN106372231A (zh) * 2016-09-08 2017-02-01 乐视控股（北京）有限公司 一种搜索方法及装置
CN109299344A (zh) * 2018-10-26 2019-02-01 Oppo广东移动通信有限公司 排序模型的生成方法、搜索结果的排序方法、装置及设备
CN109697256A (zh) * 2018-12-21 2019-04-30 北京字节跳动网络技术有限公司 确定相关搜索词的方法、装置、存储介质及电子设备
CN110046713A (zh) * 2019-04-19 2019-07-23 井冈山大学 基于多目标粒子群优化的鲁棒性排序学习方法及其应用
CN111428125A (zh) * 2019-01-10 2020-07-17 北京三快在线科技有限公司 排序方法、装置、电子设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567326A (zh) * 2010-12-14 2012-07-11 中国移动通信集团湖南有限公司 一种信息搜索、及信息搜索排序装置和方法
JP2014013476A (ja) * 2012-07-04 2014-01-23 Hitachi Ltd ファイルの検索方法、ファイル検索装置及びプログラム
CN104077306A (zh) * 2013-03-28 2014-10-01 阿里巴巴集团控股有限公司 一种搜索引擎的结果排序方法及系统
CN104102733A (zh) * 2014-07-24 2014-10-15 百度在线网络技术（北京）有限公司 搜索内容提供方法和搜索引擎
CN106372231A (zh) * 2016-09-08 2017-02-01 乐视控股（北京）有限公司 一种搜索方法及装置
CN109299344A (zh) * 2018-10-26 2019-02-01 Oppo广东移动通信有限公司 排序模型的生成方法、搜索结果的排序方法、装置及设备
CN109697256A (zh) * 2018-12-21 2019-04-30 北京字节跳动网络技术有限公司 确定相关搜索词的方法、装置、存储介质及电子设备
CN111428125A (zh) * 2019-01-10 2020-07-17 北京三快在线科技有限公司 排序方法、装置、电子设备及可读存储介质
CN110046713A (zh) * 2019-04-19 2019-07-23 井冈山大学 基于多目标粒子群优化的鲁棒性排序学习方法及其应用

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343046B (zh) * 2021-05-20 2023-08-25 成都美尔贝科技股份有限公司 一种智能搜索排序系统
CN113343046A (zh) * 2021-05-20 2021-09-03 成都美尔贝科技股份有限公司 一种智能搜索排序系统
CN113297511A (zh) * 2021-05-24 2021-08-24 北京三快在线科技有限公司 商户排序模型的构建方法、装置、服务器及存储介质
CN113344078A (zh) * 2021-06-09 2021-09-03 北京三快在线科技有限公司 一种模型训练的方法及装置
CN113344078B (zh) * 2021-06-09 2022-11-04 北京三快在线科技有限公司 一种模型训练的方法及装置
CN113407814A (zh) * 2021-06-29 2021-09-17 北京字节跳动网络技术有限公司 文本搜索方法、装置、可读介质及电子设备
JP7430820B2 (ja) 2021-08-04 2024-02-13 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム
CN113590796A (zh) * 2021-08-04 2021-11-02 百度在线网络技术（北京）有限公司 排序模型的训练方法、装置和电子设备
WO2023010847A1 (zh) * 2021-08-04 2023-02-09 百度在线网络技术（北京）有限公司 排序模型的训练方法、装置和电子设备
CN113590796B (zh) * 2021-08-04 2023-09-05 百度在线网络技术（北京）有限公司 排序模型的训练方法、装置和电子设备
CN114281935A (zh) * 2021-09-16 2022-04-05 腾讯科技（深圳）有限公司 搜索结果分类模型的训练方法、装置、介质及设备
CN113988157A (zh) * 2021-09-30 2022-01-28 北京百度网讯科技有限公司 语义检索网络训练方法、装置、电子设备及存储介质
CN113988157B (zh) * 2021-09-30 2023-10-13 北京百度网讯科技有限公司 语义检索网络训练方法、装置、电子设备及存储介质
CN114168708B (zh) * 2021-11-15 2022-06-14 哈尔滨工业大学 一种基于多域特征的个性化生物通路检索方法
CN114168708A (zh) * 2021-11-15 2022-03-11 哈尔滨工业大学 一种基于多域特征的个性化生物通路检索方法
CN115186163A (zh) * 2022-06-27 2022-10-14 北京百度网讯科技有限公司 搜索结果排序模型的训练与搜索结果排序方法、装置
CN115952350A (zh) * 2022-12-09 2023-04-11 贝壳找房(北京)科技有限公司 信息的查询方法、电子设备、存储介质及计算机程序产品

Also Published As

Publication number Publication date
CN112100529B (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112100529B (zh) 搜索内容排序方法、装置、存储介质和电子设备
CN108804641B (zh) 一种文本相似度的计算方法、装置、设备和存储介质
CN106815252B (zh) 一种搜索方法和设备
CN111444320B (zh) 文本检索方法、装置、计算机设备和存储介质
CN108932342A (zh) 一种语义匹配的方法、模型的学习方法及服务器
CN112328891B (zh) 训练搜索模型的方法、搜索目标对象的方法及其装置
CN108845988B (zh) 一种实体识别方法、装置、设备及计算机可读存储介质
CN110321437B (zh) 一种语料数据处理方法、装置、电子设备及介质
CN111159485A (zh) 尾实体链接方法、装置、服务器及存储介质
CN112084307B (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN113806482A (zh) 视频文本跨模态检索方法、装置、存储介质和设备
CN110147494A (zh) 信息搜索方法、装置，存储介质及电子设备
CN104615621B (zh) 搜索中的相关性处理方法和系统
JPH11167581A (ja) 情報分類方法、装置及びシステム
CN113837669B (zh) 一种标签体系的评价指标构建方法和相关装置
CN116628162A (zh) 语义问答方法、装置、设备及存储介质
JP7121819B2 (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
CN113869034B (zh) 基于强化依赖图的方面情感分类方法
CN114780700A (zh) 基于机器阅读理解的智能问答方法、装置、设备及介质
CN114281942A (zh) 问答处理方法、相关设备及可读存储介质
CN110262906B (zh) 接口标签推荐方法、装置、存储介质和电子设备
CN113591004A (zh) 游戏标签生成方法、装置、存储介质及电子设备
CN113312523B (zh) 字典生成、搜索关键字推荐方法、装置和服务器
CN116881437B (zh) 一种获取文本集的数据处理系统
CN113535829B (zh) 排序模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant