CN112100493A - 文档排序方法、装置、设备及存储介质 - Google Patents
文档排序方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112100493A CN112100493A CN202010955170.0A CN202010955170A CN112100493A CN 112100493 A CN112100493 A CN 112100493A CN 202010955170 A CN202010955170 A CN 202010955170A CN 112100493 A CN112100493 A CN 112100493A
- Authority
- CN
- China
- Prior art keywords
- document
- sample
- ranking
- search results
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 152
- 238000012163 sequencing technique Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 235000013305 food Nutrition 0.000 description 11
- 230000002776 aggregation Effects 0.000 description 9
- 238000004220 aggregation Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 235000019687 Lamb Nutrition 0.000 description 1
- 241000239226 Scorpiones Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种文档排序方法、装置、设备及存储介质，属于数据处理领域。所述方法包括：获取与搜索语句匹配的文档类型不同的多个搜索结果；基于多个搜索结果的文档特征，通过排序模型确定多个搜索结果的排序结果，排序模型是采用第一训练方式和第二训练方式进行交替训练得到，第一训练方式基于多个样本文档对对待训练排序模型的嵌入层参数进行更新，且每个样本文档对中样本文档的文档类型相同，第二训练方式基于多个样本文档对待训练排序模型的预测层参数进行更新；基于排序结果对多个搜索结果进行排序。本申请可以减少不同文档类型的文档特征之间的特征干扰对嵌入层网络参数的影响，提高了排序模型对不同文档类型的文档进行排序的准确性。
Description
技术领域
本申请涉及数据处理领域，特别涉及一种文档排序方法、装置、设备及存储介质。
背景技术
目前，大多应用平台都提供搜索功能。应用平台在基于用户输入的搜索语句(Query)返回搜索结果时，通常需要对搜索结果进行排序。其中，搜索结果可以为信息、新闻、科技文献、网页或广告等文档。
相关技术中，一般采用传统的排序模型对搜索结果进行排序，该排序模型是基于多个样本文档以及各个样本文档的排序标签进行训练得到。其中，这多个样本文档中可能存在文档类型不同的样本文档，在进行模型训练时，不同文档类型的样本文档的文档特征之间可能会存在特征干扰。比如，假设第一样本文档的第一文档特征集合为A+B，第二样本文档的第二文档特征集合为A+C，在进行模型训练时，需要将第一文档特征集合A+B与第二文档特征集合A+C进行混排，得到特征全集A+B+C，再在特征全集A+B+C上训练排序模型。但是这种情况下，在训练特征与文档特征B直接相连的网络参数时，第二样本文档也就成了干扰项，导致文档特征之间存在特征干扰。
由于传统的排序模型在训练过程中，不同文档类型的样本文档的文档特征之间可能会存在特征干扰，因此通过这种排序模型对文档类型不同的搜索结果进行排序时，排序准确度较低。
发明内容
本申请实施例提供了一种文档排序方法、装置、设备及存储介质，可以用于解决相关技术中存在的对文档类型不同的搜索结果进行排序时排序准确度较低的问题。所述技术方案如下：
一方面，提供了一种文档排序方法，所述方法包括：
获取与搜索语句匹配的多个搜索结果，所述多个搜索结果中存在文档类型不同的搜索结果；
基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果，所述排序模型是采用第一训练方式和第二训练方式进行交替训练得到；
其中，所述第一训练方式用于基于多个样本文档对以及每个样本文档对的排序标签，对待训练排序模型的嵌入层参数进行更新，且每个样本文档对中样本文档的文档类型相同，所述第二训练方式用于基于多个样本文档以及每个样本文档的排序标签，对所述待训练排序模型的预测层参数进行更新；
基于所述多个搜索结果的排序结果，对所述多个搜索结果进行排序。
可选地，所述基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果，包括：
将所述多个搜索结果的文档特征输入至所述排序模型中进行处理，得到所述多个搜索结果的预测得分，所述预测得分用于指示对应搜索结果与所述搜索语句之间的相关度；
所述基于所述多个搜索结果的排序结果，对所述多个搜索结果进行排序，包括：
基于所述多个搜索结果的预测得分，按照预测得分从大到小的顺序，对所述多个搜索结果进行排序。
可选地，所述基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果之前，还包括：
获取第一样本数据和第二样本数据，所述第一样本数据包括所述多个样本文档以及每个样本文档的排序标签，所述第二样本数据包括所述多个样本文档对以及每个样本文档对的排序标签；
基于所述第一样本数据和所述第二样本数据，采用所述第一训练方式和所述第二训练方式，对待训练排序模型进行交替训练。
可选地，所述待训练排序模型包括嵌入层和预测层，所述嵌入层用于将文档特征映射为文档的嵌入特征，所述预测层用于将文档的嵌入特征映射为文档的预测得分；
所述基于所述第一样本数据和所述第二样本数据，采用所述第一训练方式和所述第二训练方式，对待训练排序模型进行交替训练，包括：
基于所述第二样本数据，采用所述第一训练方式对所述待训练模型的嵌入层参数进行更新，以及基于所述第一样本数据，采用所述第二训练方式，对所述待训练排序模型的预测层参数进行更新。
可选地，所述获取第一样本数据和第二样本数据，包括：
获取所述第一样本数据；
基于所述第一样本数据包括的所述多个样本文档以及每个样本文档的文档类型，构建多个样本文档对，所述多个样本文档对中每个样本文档对包括文档类型相同的一对样本文档；
确定所述多个样本文档对中每个样本文档对的排序标签，每个样本文档对的排序标签用于指示每个样本文档对的第一个样本文档是否排序在第二个样本文档之前；
基于所述多个样本文档以及每个样本文档对的排序标签，构建所述第二样本数据。
可选地，所述基于所述第二样本数据，采用所述第一训练方式对所述待训练模型的嵌入层参数进行更新，以及基于所述第一样本数据，采用所述第二训练方式，对所述待训练排序模型的预测层参数进行更新，包括：
基于所述第一样本数据，采用第一损失函数，对所述待训练排序模型的嵌入层参数进行更新，所述第一损失函数用于评估所述多个样本文档对中每个样本文档对的预测得分与对应排序标签之间的差异；
基于所述第二样本数据，采用第二损失函数，对所述待训练排序模型的预测层参数进行更新，所述第二损失函数用于评估所述多个样本文档中每个样本文档的预测得分与对应排序标签之间的差异。
可选地，所述基于所述第一样本数据，采用第一损失函数，对所述待训练排序模型的嵌入层参数进行更新，包括：
基于所第一样本数据，采用所述第一损失函数，对所述待训练排序模型的嵌入层参数和网络层参数进行更新。
另一方面，提供了一种文档排序装置，所述装置包括：
第一获取模块，用于获取与搜索语句匹配的多个搜索结果，所述多个搜索结果中存在文档类型不同的搜索结果；
确定模块，用于基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果，所述排序模型是采用第一训练方式和第二训练方式进行交替训练得到；
其中，所述第一训练方式用于基于多个样本文档对以及每个样本文档对中样本文档的排序标签，对所述排序模型的嵌入层参数进行更新，且每个样本文档对中样本文档的文档类型相同，所述第二训练方式用于基于多个样本文档以及每个样本文档的排序标签，对所述排序模型的预测层参数进行更新；
排序模块，用于基于所述多个搜索结果的排序结果，对所述多个搜索结果进行排序。
可选地，确定模块用于：
将所述多个搜索结果的文档特征输入至所述排序模型中进行处理，得到所述多个搜索结果的预测得分，所述预测得分用于指示对应搜索结果与所述搜索语句之间的相关度；
所述排序模块用于：
基于所述多个搜索结果的预测得分，按照预测得分从大到小的顺序，对所述多个搜索结果进行排序。
可选地，所述装置还包括：
第二获取模块，用于获取第一样本数据和第二样本数据，所述第一样本数据包括所述多个样本文档以及每个样本文档的排序标签，所述第二样本数据包括所述多个样本文档对以及每个样本文档对的排序标签；
训练模块，用于基于所述第一样本数据和所述第二样本数据，采用所述第一训练方式和所述第二训练方式，对待训练排序模型进行交替训练，得到所述排序模型。
可选地，所述排序模型包括嵌入层和预测层，所述嵌入层用于将文档特征映射为文档的嵌入特征，所述预测层用于将文档的嵌入特征映射为文档的预测得分；所述训练模块用于：
基于所述第二样本数据，采用所述第一训练方式对所述待训练模型的嵌入层参数进行更新，以及基于所述第一样本数据，采用所述第二训练方式，对所述待训练排序模型的预测层参数进行更新
可选地，第二获取模块用于：
获取所述第一样本数据；
基于所述第一样本数据包括的所述多个样本文档以及每个样本文档的文档类型，构建多个样本文档对，所述多个样本文档对中每个样本文档对包括文档类型相同的一对样本文档；
确定所述多个样本文档对中每个样本文档对的排序标签，每个样本文档对的排序标签用于指示每个样本文档对的第一个样本文档是否排序在第二个样本文档之前；
基于所述多个样本文档以及每个样本文档对的排序标签，构建所述第二样本数据。
可选地，所述训练模块用于：
第一训练单元，用于基于所述第一样本数据，采用第一损失函数，对所述待训练排序模型的嵌入层参数进行更新，所述第一损失函数用于评估所述多个样本文档对中每个样本文档对的预测得分与对应排序标签之间的差异；
第二训练单元，用于基于所述第二样本数据，采用第二损失函数，对所述待训练排序模型的预测层参数进行更新，所述第二损失函数用于评估所述多个样本文档中每个样本文档的预测得分与对应排序标签之间的差异。
可选地，第一训练单元用于：
基于所第一样本数据，采用所述第一损失函数，对所述待训练排序模型的嵌入层参数和网络层参数进行更新。
另一方面，提供了一种计算机设备，所述设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述任一种文档排序方法的步骤。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述任一种文档排序方法的步骤。
在另一实施例中，还提供了一种计算机程序产品，当所述计算机程序产品被执行时，用于实现上述任一种文档排序方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例中，可以预先采用第一训练方式和第二训练方式进行交替训练得到排序模型，其中，第一训练方式用于基于文档类型相同的样本文档对对排序模型的嵌入层参数进行更新，第二训练方式用于基于多个单独的样本文档对排序模型的预测层参数进行更新。由于越是与原始特征直接相连的网络参数，受特征干扰的影响更大，因此仅通过存在文档类型相同的样本文档对的第一训练方式对与原始特征直接相连的嵌入层参数进行更新，对于可能存在文档类型不同的多个样本文档的第二训练方式，则不对嵌入层参数进行更新，如此可以减少不同文档类型的文档特征之间的特征干扰对嵌入层网络参数的影响，使得训练得到的排序模型能够对不同文档类型的搜索结果进行准确排序，提高了排序的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种文档类型不同的搜索结果的示意图；
图2是本申请实施例提供的一种文档排序系统的结构示意图；
图3是本申请实施例提供的一种排序模型的结构示意图；
图4是本申请实施例提供的一种排序模型的训练方法流程图；
图5是一种相关技术提供的排序模型的模型训练示意图；
图6是本申请实施例提供的一种排序模型的模型训练示意图；
图7是本申请实施例提供的一种文档排序方法的流程图；
图8是本申请实施例提供的一种文档排序装置的结构框图；
图9是本申请实施例提供的一种计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前，先对本申请实施例的应用场景予以说明。
本申请实施例提供的排序方法可以文档类型不同的文档进行排序。比如，可以应用于搜索场景，对待返回的多个搜索结果进行排序，进一步地，可以适用于对文档类型不同的搜索结果进行排序。另外，该方法还可以应用于推荐场景中，比如多个待推荐结果进行排序。其中，不同文档类型的文档是指文档结构不同的文档。
比如，以信息聚合平台为例，该信息聚合平台可以向用户提供各种类型的信息，如美食、酒店、娱乐、电影等信息，且该信息聚合平台提供有搜索功能，用户可以通过该搜索功能搜索感兴趣的信息，比如搜索美食信息。但是，该信息聚合平台基于用户的搜索语句所获取的搜索结果的文档类型可能不同，这就需要通过本申请实施例提供的排序方法对文档结果不同的搜索结果进行排序。
比如，假设用户在该信息聚合平台搜索美食信息，该信息聚合平台基于该美食信息获取的搜索结果可能包括与美食信息匹配的商家信息和主题信息，且商家信息和主题信息的文档类型不同。对于文档类型不同的商家信息和主题信息，本申请实施例可以通过采用不同训练方式交替训练得到的排序模型进行排序。其中，商家信息可以包括商家的名称或地址等。主题信息是指与搜索的美食信息相关联的除商家信息之外的信息，可以为主题信息列表，如美食排行榜、美食类型等。请参考图1，假设用户搜索“火锅”，则该信息聚合平台获取搜索结果中的主题信息可以为“火锅排行榜”、“上海火锅排行榜”、“自助火锅”、“重庆火锅”、“羊蝎子火锅”等，而且若用户点击这些主题信息，还可以进入对应主题信息的详情信息页面。另外，该信息聚合平台获取的搜索结果的商家信息可以为“A火锅天山西路店”、“B火锅淮海路店”等，而且若用户点击商家信息，还可以进入对应商家的详情信息页面。
接下来，对本申请实施例涉及的实施环境进行介绍。
图2是本申请实施例提供的一种文档排序系统的结构示意图，如图2所示，该系统包括：终端10、服务器20和数据库30。终端10与服务器20之间可以通过有线网络或无线网络进行连接。
其中，终端10中安装有指定应用，指定应用可以为信息聚合应用、新闻应用或电商应用等。指定应用提供有搜索功能，以供用户进行信息搜索。比如，指定应用提供有搜索框，用户可以在搜索框中输入搜索语句进行搜索，搜索语句可以为关键词等。终端10可以为手机、平板电脑、计算机、可穿戴设备等电子设备。
其中，服务器20为指定应用的后台服务器，可以提供信息搜索和排序功能。数据库30用于存储指定应用的相关数据，如文档数据集等。比如，服务器20可以获取用户在指定应用中输入的搜索语句，基于该搜索语句，从数据库30的文档数据集中确定与该搜索语句匹配的多个文档，得到多个搜索结果，然后按照本申请实施例提供的方法对多个搜索结果进行排序。
作为一个示例，服务器20集成有采用不同训练方式交替训练得到的排序模型40的模型算法，可以通过排序模型40对多个搜索结果进行排序。
需要说明的是，图2仅是本申请实施例提供的一种排序系统的示意图，其并不构成对排序系统的限定，在其他实施例中，排序系统还可以包括比图2更多或更少的网络设备，本申请实施例对此不作限定。另外，图2仅是以由服务器对搜索结果进行排序为例进行说明，而在其他实施例中，还可以由终端或者其他设备对搜索结果进行排序，本申请实施例对此也不作限定。
需要说明的是，本申请实施例提供的排序方法需要采用排序模型进行排序，为了便于理解，先对该排序模型的模型结构和训练过程进行介绍。
图3是本申请实施例提供的一种排序模型的结构示意图，如图3所示，该排序模型包括：嵌入层31和预测层32。
其中，嵌入层31的输入为文档的文档特征，其用于将文档特征映射为文档的嵌入特征。也即是，嵌入层31用于对文档特征进行嵌入处理，得到文档的嵌入特征。预测层32的输入为文档的嵌入特征，其用于将文档的嵌入特征映射为文档的预测得分，该预测得分用于指示文档与搜索语句之间的相关度。也即是，预测层32用于对文档的嵌入特征进行处理，得到文档的预测得分。
图4是本申请实施例提供的一种排序模型的训练方法流程图，该方法应用于计算机设备中，该计算机设备可以为手机、平板电脑或计算机等，如图4所示，该方法包括如下步骤：
步骤401：获取第一样本数据和第二样本数据，第一样本数据包括多个样本文档以及每个样本文档的排序标签，第二样本数据包括多个样本文档对以及每个样本文档对的排序标签。
也即是，第一样本数据包括多个单独的样本文档，以及各个单独的样本文档在整体样本文档中的排序标签。第二样本数据包括多个样本文档对，以及各个样本文档对的排序标签。
其中，第一样本数据和第二样本数据均为与样本查询语句(Query)相关的样本数据，也即是，第一样本数据和第二样本数据中的样本文档均为与样本查询语句相关的文档，比如，均为与样本查询语句之间的相关度大于或等于相关度阈值的文档。作为一个示例，第一样本数据和第二样本数据还包括样本查询语句。
其中，样本文档对包括成对出现的两个样本文档，且这两个样本文档的文档类型相同，即文档结构相同。示例的，这两个样本文档中的一个样本文档与样本查询语句之间的相关度较高，另一个样本文档与样本查询语句之间的相关度较低，因此，一个样本文档的排序在另一个样本文档的排序之前。多个样本文档存在文档类型不同的样本文档。文档类型不同的样本文档是指文档结构不同的文档。
其中，每个样本文档的排序标签用于指示每个样本文档在整体样本文档中的排序。示例的，样本文档的排序标签可以用排序得分来表示，排序得分越大，表示排序越靠前。排序得分用于指示对应样本文档与样本查询语句之间的相关度。每个样本文档对的排序标签用于指示每个样本文档对中的第一个样本文档是否排序在第二个样本文档之前。示例的，若第一个样本文档排序在第二个样本文档之前，则排序标签为1，否则为0。
示例的，第一样本数据中的单个样本可以为样本文档-排序得分。第二样本数据中的单个样本可以为样本文档对-排序标签。
作为一个示例，第二样本数据可以基于第一样本数据进行构建得到。
比如，可以先获取第一样本数据，然后基于第一样本数据中的多个样本文档以及每个样本文档的文档类型，构建多个样本文档对，这多个样本文档对中每个样本文档对包括文档类型相同的一对样本文档。之后，确定每个样本文档对的排序标签，再基于这多个样本文档以及每个样本文档对的排序标签，构建第二样本数据。
步骤402：基于第一样本数据和第二样本数据，采用第一训练方式和第二训练方式，对待训练排序模型进行交替训练，得到训练好的排序模型。
其中，第一训练方式的训练数据为第二样本数据，第二训练方式的训练数据为第一样本数据。
作为一个示例，获取第一样本数据和第二样本数据之后，还可以先对第一样本数据和第二样本数据中的样本文档进行特征提取，得到各个样本文档的文档特征。然后，基于各个样本文档对中样本文档的文档特征和对应的排序标签，以及多个样本文档中每个样本文档的文档特征和排序标签，采用第一训练方式和第二训练方式，对待训练排序模型进行交替训练。
其中，第一训练方式的样本数据为各个样本文档对中样本文档的文档特征和对应的排序标签，比如，样本文档对的文档特征-排序标签。第二训练方式的训练数据为多个样本文档中每个样本文档的文档特征和排序标签，比如，样本文档的文档特征-排序得分。
其中，基于第一样本数据和第二样本数据，采用第一训练方式和第二训练方式，对待训练排序模型进行交替训练，包括：
1)基于第一样本数据，对待训练排序模型的嵌入层参数进行更新。
作为一个示例，可以基于第一样本数据，采用第一损失函数，对排序模型的嵌入层参数进行更新。其中，第一损失函数用于评估多个样本文档对中各个样本文档对的预测得分与对应排序标签之间的差异。
作为一个示例，可以将第一样本数据输入到待训练排序模型中，通过待训练排序模型确定多个样本文档对中每个样本文档对的预测得分，该预测得分用于指示每个样本文档对中的第一个样本文档排序在第二个样本文档之前的概率。然后，基于多个样本文档对中每个样本文档对的预测得分和对应的排序标签，通过第一损失函数，评估多个样本文档对中各个样本文档对的预测得分与对应排序标签之间的差异。再采用反向传播算法，对评估的差异进行反向传播，以对排序模型的嵌入层参数进行更新，使得评估的差异逐渐变小。
也即是，在使用样本文档对对排序模型进行训练时，可以仅对与原始特征直接相连的嵌入层参数进行更新。由于样本文档对包括的一对样本文档的文档类型相同，因此，在对嵌入层参数进行更新时，避免了不同文档类型的文档特征之间的特征干扰对嵌入层网络参数的影响。
进一步地，还可以基于第一样本数据，对待训练排序模型的嵌入层参数以及预测层参数进行更新。也即是，采用第一训练方式对排序模型进行训练时，不仅可以对排序模型的嵌入层参数进行更新，还可以对其预测层参数进行更新。
2)基于第二样本数据，对待训练排序模型的预测层参数进行更新。
作为一个示例，可以基于第二样本数据，采用第二损失函数，对排序模型的预测层参数进行更新。其中，第二损失函数用于评估多个样本文档中每个样本文档的预测得分与对应排序标签之间的差异。
作为一个示例，可以将第二样本数据输入到待训练排序模型中，通过待训练排序模型确定多个样本文档中每个样本文档的预测得分，该预测得分用于指示每个样本文档与样本查询语句之间的相关度。然后，基于多个样本文档中每个样本文档的预测得分和对应的排序标签，通过第二损失函数，评估多个样本文档中各个样本文档的预测得分与对应排序标签之间的差异。再采用反向传播算法，对评估的差异进行反向传播，以对排序模型的预测层参数进行更新，使得评估的差异逐渐变小。
也即是，在使用样本文档对排序模型进行训练时，可以不对与原始特征直接相连的嵌入层参数进行更新，以避免不同文档类型的文档特征之间的特征干扰对嵌入层网络参数的影响，从而提高排序模型对不同文档类型的文档进行排序的准确性。
作为一个示例，第一训练方式为Listwise(列表)方法或Pairwise(配对)方法的训练方式，第二训练方式为Pointwise(单点)方法的训练方式。
需要说明的是，Pointwise方法、Pairwise方法和Listwise方法这三种方法并不是特定的算法，而是排序学习模型的设计思路，主要区别体现在损失函数(Loss Function)、以及相应的标签标注方式和优化方法的不同。
其中，Pointwise方法是通过近似为回归问题解决排序问题，输入的单条样本为得分-文档，将每个查询-文档对的相关性得分作为实数分数或者序数分数，使得单个查询-文档对作为样本点(Pointwise的由来)，来训练排序模型。
其中，Pairwise方法是通过近似为分类问题解决排序问题，输入的单条样本为标签-文档对。对于一次查询的多个结果文档，组合任意两个文档形成文档对作为输入样本。即学习一个二分类器，对输入的一对文档对AB(Pairwise的由来)，根据A相关性是否比B好，二分类器给出分类标签1或0。对所有文档对进行分类，就可以得到一组偏序关系，从而构造文档全集的排序关系。该类方法的原理是对给定的文档全集S，降低排序中的逆序文档对的个数来降低排序错误，从而达到优化排序结果的目的。
Listwise方法是直接优化排序列表，输入为单条样本为一个文档排列。通过构造合适的度量函数衡量当前文档排序和最优排序差值，优化度量函数得到排序模型。由于度量函数很多具有非连续性的性质，优化困难。
请参考图5，图5是一种相关技术提供的排序模型的模型训练示意图。如图4所示，假设文档类型0的文档具有特征A和特征B，文档类型1的文档具有特征A和特征C，则在将这两种文档类型的文档特征输入至嵌入层时，需要将两者进行混排，得到特征全集A+B+C。比如，对于文档类型0对应的文档特征A+B，可以在特征B之后填一个特定值作为特征C。对于文档类型1对应的文档特征A+C，可以在特征A和特征C之间填一个特定值作为特征B。其中，特征C在文档类型0下是无意义的特征，特征B在文档类型1下也是无意义的特征。这种情况下，在训练嵌入层中与特征B直接相连的网络参数时，文档类型1也就成了干扰项；在训练特征嵌入层中与特征C直接相连的网络参数时，文档类型0也就成了干扰项。
请参考图6，图6是本申请实施例提供的一种排序模型的模型训练示意图。如图6所示，本申请实施例可以采用第一训练方式和第二训练方式对排序模型进行交替训练，且第一训练方式仅对嵌入层参数进行更新，第二训练方式对预测层参数进行更新，不对嵌入层参数进行更新。第一训练方式是基于样本文档对进行训练，样本文档对中包括的一对样本文档的文档类型相同，因此这一对样本文档对的有意义的文档特征的结构也相同，在训练嵌入层中与原始特征直接相连的网络参数时，不会互相干扰。第二训练方式虽然是基于不同文档类型的样本文档进行训练，但是由于其不会嵌入层参数进行更新，因此也不会对与原始特征直接相连的网络参数产生干扰。这样训练得到的排序模型即可提高对不同文档类型的文档进行排序的准确性。
本申请实施例中，通过采用第一训练方式和第二训练方式进行交替训练得到排序模型，其中，第一训练方式用于基于文档类型相同的样本文档对对排序模型的嵌入层参数进行更新，第二训练方式用于基于多个单独的样本文档对排序模型的预测层参数进行更新。由于越是与原始特征直接相连的网络参数，受特征干扰的影响更大，因此仅通过存在文档类型相同的样本文档对的第一训练方式对与原始特征直接相连的嵌入层参数进行更新，对于可能存在文档类型不同的多个样本文档的第二训练方式，则不对嵌入层参数进行更新，如此可以减少不同文档类型的文档特征之间的特征干扰对嵌入层网络参数的影响，使得训练得到的排序模型能够对不同文档类型的搜索结果进行准确排序，提高了排序的准确性。
图7是本申请实施例提供的一种文档排序方法的流程图，该方法可以基于图4实施例训练得到的排序模型实现，该方法应用于计算机设备中，该计算机设备可以为手机、平板电脑或计算机等，如图7所示，该方法包括如下步骤：
步骤701：获取与搜索语句匹配的多个搜索结果，多个搜索结果中存在文档类型不同的搜索结果。
其中，与搜索语句匹配的多个搜索结果均为文档，且这多个文档中存在文档类型不同的文档。比如，这多个搜索结果可以包括主题信息和商家信息。其中，商家信息可以包括商家的名称或地址等。主题信息是指与搜索语句相关联的除商家信息之外的信息，可以为主题信息列表，如与美食信息匹配的美食排行榜、美食类型等。
作为一个示例，可以从文档数据集中获取与搜索语句匹配的多个文档，将这多个文档作为多个搜索结果。其中，这多个文档中存在文档类型不同的文档。
步骤702：基于多个搜索结果的文档特征，通过排序模型，确定多个搜索结果的排序结果，该排序模型是采用第一训练方式和第二训练方式进行交替训练得到。
其中，第一训练方式用于基于多个样本文档对以及每个样本文档的排序标签，对待训练排序模型的嵌入层参数进行更新，且每个样本文档对中样本文档的文档类型相同。第二训练方式用于基于多个样本文档以及每个样本文档的排序标签，对待训练排序模型的预测层参数进行更新。
作为一个示例，可以将多个搜索结果的文档特征输入至该排序模型中进行处理，得到多个搜索结果的预测得分，该预测得分用于指示对应搜索结果与搜索语句之间的相关度，预测得分越高，表示排序越靠前。
步骤703：基于多个搜索结果的排序结果，对多个搜索结果进行排序。
作为一个示例，可以基于多个搜索结果的预测得分，按照预测得分从大到小的顺序，对多个搜索结果进行排序。
另外，在对多个搜索结果进行排序之后，还可以从排序后的多个搜索结果中选择排序在前的n个搜索结果，将选择的搜索结果展示给用户。其中，n为正整数。n可以预先设置，比如，n可以为5、8或10等。
作为一个示例，计算机设备可以将选择的搜索结果发送给终端，由终端进行展示。当然，也可以由计算机设备本机对选择的搜索结果进行展示，本申请实施例对此不作限定。
本申请实施例中，通过采用第一训练方式和第二训练方式进行交替训练得到排序模型，其中，第一训练方式用于基于文档类型相同的样本文档对对排序模型的嵌入层参数进行更新，第二训练方式用于基于多个单独的样本文档对排序模型的预测层参数进行更新。由于越是与原始特征直接相连的网络参数，受特征干扰的影响更大，因此仅通过存在文档类型相同的样本文档对的第一训练方式对与原始特征直接相连的嵌入层参数进行更新，对于可能存在文档类型不同的多个样本文档的第二训练方式，则不对嵌入层参数进行更新，如此可以减少不同文档类型的文档特征之间的特征干扰对嵌入层网络参数的影响，使得训练得到的排序模型能够对不同文档类型的搜索结果进行准确排序，提高了排序的准确性。另外，通过采用第一训练方式与第二训练方式进行交替训练，还可以兼顾单个文档的绝对位置与整体文档列表的相对位置的排序。
图8是本申请实施例提供的一种文档排序装置的结构框图，该装置可以集成于计算机设备中，如图8所示，该装置包括：
第一获取模块801，用于获取与搜索语句匹配的多个搜索结果，所述多个搜索结果中存在文档类型不同的搜索结果；
确定模块802，用于基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果，所述排序模型是采用第一训练方式和第二训练方式进行交替训练得到；
其中，所述第一训练方式用于基于多个样本文档对以及每个样本文档对中样本文档的排序标签，对所述排序模型的嵌入层参数进行更新，且每个样本文档对中样本文档的文档类型相同，所述第二训练方式用于基于多个样本文档以及每个样本文档的排序标签，对所述排序模型的预测层参数进行更新；
排序模块803，用于基于所述多个搜索结果的排序结果，对所述多个搜索结果进行排序。
可选地，确定模块802用于：
将所述多个搜索结果的文档特征输入至所述排序模型中进行处理，得到所述多个搜索结果的预测得分，所述预测得分用于指示对应搜索结果与所述搜索语句之间的相关度；
所述排序模块803用于：
基于所述多个搜索结果的预测得分，按照预测得分从大到小的顺序，对所述多个搜索结果进行排序。
可选地，所述排序模型包括嵌入层和预测层，所述嵌入层用于将文档特征映射为文档的嵌入特征，所述预测层用于将文档的嵌入特征映射为文档的预测得分；
所述装置还包括：
第二获取模块，用于获取第一样本数据和第二样本数据，所述第一样本数据包括所述多个样本文档以及每个样本文档的排序标签，所述第二样本数据包括所述多个样本文档对以及每个样本文档对的排序标签；
训练模块，用于基于所述第一样本数据和所述第二样本数据，采用所述第一训练方式和所述第二训练方式，对待训练排序模型进行交替训练，得到所述排序模型。
可选地，第二获取模块用于：
获取所述第一样本数据；
基于所述第一样本数据包括的所述多个样本文档以及每个样本文档的文档类型，构建多个样本文档对，所述多个样本文档对中每个样本文档对包括文档类型相同的一对样本文档；
确定所述多个样本文档对中每个样本文档对的排序标签，每个样本文档对的排序标签用于指示每个样本文档对的第一个样本文档是否排序在第二个样本文档之前；
基于所述多个样本文档以及每个样本文档对的排序标签，构建所述第二样本数据。
可选地，训练模块用于：
第一训练单元，用于基于所述第一样本数据，采用第一损失函数，对所述待训练排序模型的嵌入层参数进行更新，所述第一损失函数用于评估所述多个样本文档对中每个样本文档对的预测得分与对应排序标签之间的差异；
第二训练单元，用于基于所述第二样本数据，采用第二损失函数，对所述待训练排序模型的预测层参数进行更新，所述第二损失函数用于评估所述多个样本文档中每个样本文档的预测得分与对应排序标签之间的差异。
可选地，第一训练单元用于：
基于所第一样本数据，采用所述第一损失函数，对所述待训练排序模型的嵌入层参数和网络层参数进行更新。
本申请实施例中，通过采用第一训练方式和第二训练方式进行交替训练得到排序模型，其中，第一训练方式用于基于文档类型相同的样本文档对对排序模型的嵌入层参数进行更新，第二训练方式用于基于多个单独的样本文档对排序模型的预测层参数进行更新。由于越是与原始特征直接相连的网络参数，受特征干扰的影响更大，因此仅通过存在文档类型相同的样本文档对的第一训练方式对与原始特征直接相连的嵌入层参数进行更新，对于可能存在文档类型不同的多个样本文档的第二训练方式，则不对嵌入层参数进行更新，如此可以减少不同文档类型的文档特征之间的特征干扰对嵌入层网络参数的影响，使得训练得到的排序模型能够对不同文档类型的搜索结果进行准确排序，提高了排序的准确性。
需要说明的是：上述实施例提供的文档排序装置在对文档进行排序时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的文档排序装置与文档排序方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9是本申请实施例提供的一种计算机设备900的结构框图。该计算机设备900可以是手机、平板电脑、智能电视、多媒体播放设备、可穿戴设备、台式电脑、服务器等电子设备。该计算机设备900可用于实施上述实施例中提供的文档排序方法。
通常，计算机设备900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的文档排序方法。
在一些实施例中，计算机设备900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备可以包括：显示屏904、音频电路905、通信接口906和电源907中的至少一种。
本领域技术人员可以理解，图9中示出的结构并不构成对计算机设备900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性的实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述文档排序方法。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述文档排序方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种文档排序方法，其特征在于，所述方法包括：
获取与搜索语句匹配的多个搜索结果，所述多个搜索结果中存在文档类型不同的搜索结果；
基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果，所述排序模型是采用第一训练方式和第二训练方式进行交替训练得到；
其中，所述第一训练方式用于基于多个样本文档对以及每个样本文档对的排序标签，对待训练排序模型的嵌入层参数进行更新，且每个样本文档对中样本文档的文档类型相同，所述第二训练方式用于基于多个样本文档以及每个样本文档的排序标签，对所述待训练排序模型的预测层参数进行更新；
基于所述多个搜索结果的排序结果，对所述多个搜索结果进行排序。
2.如权利要求1所述的方法，其特征在于，所述基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果，包括：
将所述多个搜索结果的文档特征输入至所述排序模型中进行处理，得到所述多个搜索结果的预测得分，所述预测得分用于指示对应搜索结果与所述搜索语句之间的相关度；
所述基于所述多个搜索结果的排序结果，对所述多个搜索结果进行排序，包括：
基于所述多个搜索结果的预测得分，按照预测得分从大到小的顺序，对所述多个搜索结果进行排序。
3.如权利要求1所述的方法，其特征在于，所述待训练排序模型包括嵌入层和预测层，所述嵌入层用于将文档特征映射为文档的嵌入特征，所述预测层用于将文档的嵌入特征映射为文档的预测得分；
所述基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果之前，还包括：
获取第一样本数据和第二样本数据，所述第一样本数据包括所述多个样本文档以及每个样本文档的排序标签，所述第二样本数据包括所述多个样本文档对以及每个样本文档对的排序标签；
基于所述第二样本数据，采用所述第一训练方式对所述待训练模型的嵌入层参数进行更新，以及基于所述第一样本数据，采用所述第二训练方式，对所述待训练排序模型的预测层参数进行更新。
4.如权利要求3所述的方法，其特征在于，所述获取第一样本数据和第二样本数据，包括：
获取所述第一样本数据；
基于所述第一样本数据包括的所述多个样本文档以及每个样本文档的文档类型，构建多个样本文档对，所述多个样本文档对中每个样本文档对包括文档类型相同的一对样本文档；
确定所述多个样本文档对中每个样本文档对的排序标签，每个样本文档对的排序标签用于指示每个样本文档对的第一个样本文档是否排序在第二个样本文档之前；
基于所述多个样本文档以及每个样本文档对的排序标签，构建所述第二样本数据。
5.如权利要求3所述的方法，其特征在于，所述基于所述第二样本数据，采用所述第一训练方式对所述待训练模型的嵌入层参数进行更新，以及基于所述第一样本数据，采用所述第二训练方式，对所述待训练排序模型的预测层参数进行更新，包括：
基于所述第一样本数据，采用第一损失函数，对所述待训练排序模型的嵌入层参数进行更新，所述第一损失函数用于评估所述多个样本文档对中每个样本文档对的预测得分与对应排序标签之间的差异；
基于所述第二样本数据，采用第二损失函数，对所述待训练排序模型的预测层参数进行更新，所述第二损失函数用于评估所述多个样本文档中每个样本文档的预测得分与对应排序标签之间的差异。
6.如权利要求5所述的方法，其特征在于，所述基于所述第一样本数据，采用第一损失函数，对所述待训练排序模型的嵌入层参数进行更新，包括：
基于所第一样本数据，采用所述第一损失函数，对所述待训练排序模型的嵌入层参数和网络层参数进行更新。
7.如权利要求1-6任一所述的方法，其特征在于，所述第一训练方式为列表Listwise方法或配对Pairwise方法，所述第二训练方式为单点Pointwise方法。
8.一种文档排序装置，其特征在于，所述装置包括：
第一获取模块，用于获取与搜索语句匹配的多个搜索结果，所述多个搜索结果中存在文档类型不同的搜索结果；
确定模块，用于基于所述多个搜索结果的文档特征，通过排序模型，确定所述多个搜索结果的排序结果，所述排序模型是采用第一训练方式和第二训练方式进行交替训练得到；
其中，所述第一训练方式用于基于多个样本文档对以及每个样本文档对中样本文档的排序标签，对所述排序模型的嵌入层参数进行更新，且每个样本文档对中样本文档的文档类型相同，所述第二训练方式用于基于多个样本文档以及每个样本文档的排序标签，对所述排序模型的预测层参数进行更新；
排序模块，用于基于所述多个搜索结果的排序结果，对所述多个搜索结果进行排序。
9.一种计算机设备，其特征在于，所述设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-7所述的任一项方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-7所述的任一项方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010955170.0A CN112100493B (zh) | 2020-09-11 | 2020-09-11 | 文档排序方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010955170.0A CN112100493B (zh) | 2020-09-11 | 2020-09-11 | 文档排序方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112100493A true CN112100493A (zh) | 2020-12-18 |
| CN112100493B CN112100493B (zh) | 2024-04-26 |
Family
ID=73751783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010955170.0A Active CN112100493B (zh) | 2020-09-11 | 2020-09-11 | 文档排序方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112100493B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344201A (zh) * | 2021-06-22 | 2021-09-03 | 北京三快在线科技有限公司 | 一种模型训练的方法及装置 |
| CN113515620A (zh) * | 2021-07-20 | 2021-10-19 | 云知声智能科技股份有限公司 | 电力设备技术标准文档排序方法、装置、电子设备和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605493A (zh) * | 2013-11-29 | 2014-02-26 | 哈尔滨工业大学深圳研究生院 | 基于图形处理单元的并行排序学习方法及系统 |
| CN104615767A (zh) * | 2015-02-15 | 2015-05-13 | 百度在线网络技术（北京）有限公司 | 搜索排序模型的训练方法、搜索处理方法及装置 |
| US20160335263A1 (en) * | 2015-05-15 | 2016-11-17 | Yahoo! Inc. | Method and system for ranking search content |
| CN108897871A (zh) * | 2018-06-29 | 2018-11-27 | 北京百度网讯科技有限公司 | 文档推荐方法、装置、设备及计算机可读介质 |
| CN109886310A (zh) * | 2019-01-25 | 2019-06-14 | 北京三快在线科技有限公司 | 图片排序方法、装置、电子设备及可读存储介质 |
| CN110222838A (zh) * | 2019-04-30 | 2019-09-10 | 北京三快在线科技有限公司 | 深度神经网络及其训练方法、装置、电子设备及存储介质 |
-
2020
- 2020-09-11 CN CN202010955170.0A patent/CN112100493B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605493A (zh) * | 2013-11-29 | 2014-02-26 | 哈尔滨工业大学深圳研究生院 | 基于图形处理单元的并行排序学习方法及系统 |
| CN104615767A (zh) * | 2015-02-15 | 2015-05-13 | 百度在线网络技术（北京）有限公司 | 搜索排序模型的训练方法、搜索处理方法及装置 |
| US20160335263A1 (en) * | 2015-05-15 | 2016-11-17 | Yahoo! Inc. | Method and system for ranking search content |
| CN108897871A (zh) * | 2018-06-29 | 2018-11-27 | 北京百度网讯科技有限公司 | 文档推荐方法、装置、设备及计算机可读介质 |
| CN109886310A (zh) * | 2019-01-25 | 2019-06-14 | 北京三快在线科技有限公司 | 图片排序方法、装置、电子设备及可读存储介质 |
| CN110222838A (zh) * | 2019-04-30 | 2019-09-10 | 北京三快在线科技有限公司 | 深度神经网络及其训练方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 杨志明等: "基于BiDAF多文档重排序的阅读理解模型", 中文信息学报, vol. 32, no. 11, 30 November 2018 (2018-11-30), pages 117 - 127 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344201A (zh) * | 2021-06-22 | 2021-09-03 | 北京三快在线科技有限公司 | 一种模型训练的方法及装置 |
| CN113515620A (zh) * | 2021-07-20 | 2021-10-19 | 云知声智能科技股份有限公司 | 电力设备技术标准文档排序方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112100493B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902077B2 (en) | Search result aggregation method and apparatus based on artificial intelligence and search engine | |
| US20130282682A1 (en) | Method and System for Search Suggestion | |
| CN110297935A (zh) | 图像检索方法、装置、介质及电子设备 | |
| US20130282702A1 (en) | Method and system for search assistance | |
| JP6785921B2 (ja) | ピクチャ検索方法、装置、サーバー及び記憶媒体 | |
| CN113486252A (zh) | 搜索结果展示方法、装置、设备和介质 | |
| JP6428795B2 (ja) | モデル生成方法、単語重み付け方法、モデル生成装置、単語重み付け装置、デバイス、コンピュータプログラム及びコンピュータ記憶媒体 | |
| CN112100493B (zh) | 文档排序方法、装置、设备及存储介质 | |
| CN109858024B (zh) | 一种基于word2vec的房源词向量训练方法及装置 | |
| US20240143684A1 (en) | Information presentation method and apparatus, and device and medium | |
| CN108959550B (zh) | 用户关注点挖掘方法、装置、设备及计算机可读介质 | |
| CN112052297B (zh) | 信息生成方法、装置、电子设备和计算机可读介质 | |
| CN109508361A (zh) | 用于输出信息的方法和装置 | |
| CN114154013A (zh) | 视频推荐方法、装置、设备及存储介质 | |
| CN110264277A (zh) | 由计算设备执行的数据处理方法及装置、介质和计算设备 | |
| CN114511085A (zh) | 实体属性值的识别方法、装置、设备、介质及程序产品 | |
| CN112560461A (zh) | 新闻线索的生成方法、装置、电子设备及存储介质 | |
| WO2022245469A1 (en) | Rule-based machine learning classifier creation and tracking platform for feedback text analysis | |
| CN113935401A (zh) | 物品信息的处理方法、装置、服务器及存储介质 | |
| CN103995881A (zh) | 搜索结果的展现方法及装置 | |
| CN110413823A (zh) | 服装图片推送方法及相关装置 | |
| CN113591881B (zh) | 基于模型融合的意图识别方法、装置、电子设备及介质 | |
| US20220164377A1 (en) | Method and apparatus for distributing content across platforms, device and storage medium | |
| CN115048599A (zh) | 企业产品的界面配置方法、装置、设备及介质 | |
| CN115129885A (zh) | 实体链指方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |