CN110737816A - 排序方法、装置、电子设备及可读存储介质 - Google Patents

排序方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110737816A
CN110737816A CN201810709899.2A CN201810709899A CN110737816A CN 110737816 A CN110737816 A CN 110737816A CN 201810709899 A CN201810709899 A CN 201810709899A CN 110737816 A CN110737816 A CN 110737816A
Authority
CN
China
Prior art keywords
record
query result
training
sample set
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810709899.2A
Other languages
English (en)
Inventor
黄靖文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201810709899.2A priority Critical patent/CN110737816A/zh
Publication of CN110737816A publication Critical patent/CN110737816A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例提供了一种排序方法、装置、电子设备及可读存储介质，所述方法包括：获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。能够根据点击率和生效率进行综合排序，有助于提高排序准确性。

Description

排序方法、装置、电子设备及可读存储介质
技术领域
本公开的实施例涉及搜索技术领域，尤其涉及一种排序方法、装置、电子设备及可读存储介质。
背景技术
在搜索技术领域，根据用户输入的搜索词显示相关结果。而在显示结果时，往往会参考用户之前的搜索记录并对相关记录进行排序。
现有技术中，主要通过点击率对相关记录进行排序，即：按照各记录的点击率降序排列，其中，点击率为记录的点击次数与展示次数的比值。
发明内容
本公开的实施例提供一种排序方法、装置、电子设备及可读存储介质，用以提高排序准确性。
根据本公开的实施例的第一方面，提供了一种排序方法，所述方法包括：
获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；
将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；
将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；
根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。
根据本公开的实施例的第二方面，提供了一种排序装置，所述装置包括：
特征信息提取模块，用于获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；
点击率预测模块，用于将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；
生效率预测模块，用于将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；
排序模块，用于根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。
根据本公开的实施例的第三方面，提供了一种电子设备，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现前述排序方法。
根据本公开的实施例的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述排序方法。
本公开的实施例提供了一种排序方法、装置、电子设备及可读存储介质，所述方法包括：获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。能够根据点击率和生效率进行综合排序，有助于提高排序准确性。
附图说明
为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了在本公开的一个实施例中的排序方法的步骤流程图；
图2示出了在本公开的另一个实施例中的排序方法的步骤流程图；
图3示出了在本公开的一个实施例中的排序装置的结构图；
图4示出了在本公开的另一个实施例中的排序装置的结构图；
图5示出了本公开的一个实施例提供的电子设备的结构图。
具体实施方式
下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。
实施例一
参照图1，其示出了在本公开的一个实施例中的排序方法的步骤流程图，包括：
步骤101，获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息。
本公开的实施例在搜索技术领域中，用户可以在输入框输入查询词，从而可以得到与查询词相关的查询结果记录。在这些查询结果记录向用户展现时，需要按照一定顺序排列，从而使得查询结果记录的转化率尽量高。
其中，特征信息对查询结果记录的点击率和生效率起决定作用。例如，对于外卖场景，查询结果记录为外卖商家，则特征信息包括但不限于：外卖商家与用户的距离、外卖商家的历史订单数目、外卖订单的评价得分等。
可以理解，外卖商家与用户的距离越大，外卖商家的历史订单数目越小，外卖订单的评价得分越小，则查询结果列表的点击率和生效率越小；外卖商家与用户的距离越小，外卖商家的历史订单数目越大，外卖订单的评价得分越大，则查询结果列表的点击率和生效率越大。
可以理解，特征信息可以根据实际应用场景设定，本公开的实施例对其不加以限制。
需要注意的是，若查询结果记录只有一个时，不需要进行排序；本公开的实施例对查询结果记录为两个及两个以上的场景进行处理。
步骤102，将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率。
其中，点击率为点击次数与展现次数的比值。例如，对于一次查询，查询结果记录被展示一次，则记录一次展现次数；对于展现的查询结果记录，用户点击该查询结果记录的链接以查看详细信息，则记录一次点击次数。
本公开的实施例可以通过点击率预测模型，直接通过特征信息预测点击率。
可以理解，点击率预测模型的输入为特征信息，输出为点击率。其中，特征信息可以为多个，本公开的实施例对特征信息的数目不加以限制。
步骤103，将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率。
其中，生效率为生效次数与点击次数的比值。例如，对于被点击进入详细信息的查询结果记录，若用户对该查询结果记录进行付款下单或注册成为会员等操作，则记录一次生效次数。点击次数可以参照步骤102的详细说明。
本公开的实施例可以通过生效率预测模型，直接通过特征信息预测生效率。
可以理解，生效率预测模型的输入为特征信息，输出为生效率。其中，特征信息可以为多个，本公开的实施例对特征信息的数目不加以限制。
在实际应用中，生效率预测模型的输入特征信息与点击率预测模型的输入特征信息相同。在特殊应用场景下也可以不同，本公开的实施例对其不加以限制。
步骤104，根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。
具体地，若点击率越大，生效率越大，则查询结果记录排序越靠前；若点击率越小，生效率越小，则查询结果记录越靠后。
在本公开的实施例中，后台软件在将查询结果进行排序之后，返回至前台应用显示。从而用户会优先看到点击率和生效率较高的查询结果记录，达到提高转化率的目的。
可以理解，在显示时，若一页无法显示所有查询结果记录，则进行分页显示，其中，每页所显示的查询结果记录的数目可以根据实际应用场景设定，本公开的实施例对其不加以限制。
综上所述，本公开的实施例提供了一种排序方法，所述方法包括：获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。能够根据点击率和生效率进行综合排序，有助于提高排序准确性。
实施例二
参照图2，其示出了在本公开的另一个实施例中的排序方法的步骤流程图，具体如下。
步骤201，获取预设历史时间段内的展现记录，得到第一记录样本集。
其中，历史时间段的长度可以根据实际应用场景设定，本公开的实施例对其不加以限制。可以理解，历史时间段的长度越长，得到的展现记录越多，训练结果越准确；历史时间段的长度越短，得到的展现记录越少，训练结果越不准确。
展现记录为符合用户的搜索条件并展现的记录。在外卖应用场景中，展现记录为符合用户的搜索条件并展现的外卖商家。
可以理解，第一记录样本集中的各展现记录，包括被点击的记录和未被点击的记录，其中，被点击的记录包括生效的记录和未生效的记录。
步骤202，根据所述第一记录样本集训练得到点击率预测模型。
可以理解，由于点击率预测模型的输入为特征信息，输出为点击率，从而训练过程即为建立特征信息和点击率之间函数关系的过程，即：通过不断调整点击率预测模型的参数，从而确定最优参数，得到点击率预测模型。
可选地，在本公开的另一种实施例中，上述步骤202包括子步骤2021至2024：
子步骤2021，提取所述第一记录样本集中各记录的第一特征信息。
其中，第一特征信息为第一记录样本集中各记录的特征信息，可以参照步骤101的详细说明，在此不再赘述。
子步骤2022，将所述第一记录样本集中被点击的记录标记为第一正样本。
可以理解，对于点击率，展现之后被点击的样本为正样本。
具体地，可以采用0和1对记录进行标记，例如，1代表正样本，0代表负样本；还可以采用指定字符对记录进行标记，例如，P代表正样本，N代表负样本。
可以理解，标记的形式可以根据实际应用场景设定，本公开的实施例对标记的形式不加以限制。
子步骤2023，将所述第一记录样本集中未被点击的记录标记为第一负样本。
可以理解，对于点击率，只展现未被点击的样本为正样本。
子步骤2024，根据所述第一特征信息对所述第一正样本及第一负样本进行训练，得到点击率预测模型。
具体地，可以采用xgboost算法训练得到点击率预测模型。
可以理解，点击率为正样本数目与所有样本数目的比值。。
步骤203，复制所述第一记录样本集，并去除其中未被点击的记录，得到第二记录样本集。
对于生效率，被点击的记录为有效记录，未被点击的记录需要被忽略。
本公开的实施例可以对被点击之后的样本划分为生效和未生效样本，从而提高了生效样本的数目，解决了生效样本的稀疏性问题。
步骤204，根据所述第二记录样本集训练得到生效率预测模型。
可以理解，由于生效率预测模型的输入为特征信息，输出为生效率，从而训练过程即为建立特征信息和生效率之间函数关系的过程，即：通过不断调整生效率预测模型的参数，从而确定最优参数，得到生效率预测模型。
可选地，在本公开的另一种实施例中，上述步骤204包括子步骤2041至2044：
子步骤2041，提取所述第二记录样本集中各记录的第二特征信息。
其中，第二特征信息为第二记录样本集中各记录的特征信息，可以参照步骤101的详细说明，在此不再赘述。
子步骤2042，将所述第二记录样本集中被点击且生效的记录标记为第二正样本。
可以理解，对于生效率，点击之后生效的样本为正样本。
具体地，可以采用0和1对记录进行标记，例如，1代表正样本，0代表负样本；还可以采用指定字符对记录进行标记，例如，P代表正样本，N代表负样本。
可以理解，标记的形式可以根据实际应用场景设定，本公开的实施例对标记的形式不加以限制。
子步骤2043，将所述第二记录样本集中被点击且未生效的记录标记为第二负样本。
可以理解，对于生效率，点击之后未生效的样本为正样本。
子步骤2044，根据所述第二特征信息对所述第二正样本及第二负样本进行训练，得到生效率预测模型。
具体地，可以采用xgboost算法训练生效率预测模型。
可以理解，生效率即为正样本数目与所有样本数目的比值。
步骤205，获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息。
该步骤可以参照步骤101的详细说明，在此不再赘述。
步骤206，将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率。
该步骤可以参照步骤102的详细说明，在此不再赘述。
步骤207，将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率。
该步骤可以参照步骤103的详细说明，在此不再赘述。
步骤208，将各查询结果记录对应的点击率和生效率相乘，得到各查询结果记录对应的排序得分。
具体地，为了方便对比以及排序，可以采用系统对点击率和生效率的乘积进行调整。例如，若排序得分为小数，则可以通过乘以10或100来将排序得分调整为整数。
步骤209，根据所述排序得分对各查询结果记录进行降序排列。
具体地，排序得分越大，查询结果记录的排序越靠前；排序得分越小，查询结果记录的排序越靠后。
综上所述，本公开的实施例提供了一种排序方法，所述方法包括：获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。能够根据点击率和生效率进行综合排序，有助于提高排序准确性。此外，还可以通过特征信息预先训练得到点击率预测模型及生效率预测模型，并通过点击之后的样本训练得到生效率预测模型，从而提高了正样本的比例，解决了正样本稀疏性问题。
实施例三
参照图3，其示出了在本公开的一个实施例中的排序装置的结构图，具体如下。
特征信息提取模块301，用于获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息。
点击率预测模块302，用于将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率。
生效率预测模块303，用于将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率。
排序模块304，用于根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。
综上所述，本公开的实施例提供了一种排序装置，所述装置包括：特征信息提取模块，用于获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；点击率预测模块，用于将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；生效率预测模块，用于将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；排序模块，用于根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。能够根据点击率和生效率进行综合排序，有助于提高排序准确性。
装置实施例三对应方法实施例一，详细说明可以参照实施例一，在此不再赘述。
实施例四
参照图4，其示出了本公开的另一个实施例中的排序装置的结构图，具体如下。
第一记录样本集获取模块401，用于获取预设历史时间段内的展现记录，得到第一记录样本集。
点击率模型训练模块402，用于根据所述第一记录样本集训练得到点击率预测模型。
第二记录样本集获取模块403，用于复制所述第一记录样本集，并去除其中未被点击的记录，得到第二记录样本集。
生效率模型训练模块404，用于根据所述第二记录样本集训练得到生效率预测模型。
特征信息提取模块405，用于获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息。
点击率预测模块406，用于将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率。
生效率预测模块407，用于将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率。
排序模块408，用于根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。可选地，在本公开的另一种实施例中，上述排序模块408包括：
排序得分计算子模块4081，用于将各查询结果记录对应的点击率和生效率相乘，得到各查询结果记录对应的排序得分。
排序子模块4082，用于根据所述排序得分对各查询结果记录进行降序排列。
可选地，在本公开的另一种实施例中，上述点击率模型训练模块402包括：
第一特征信息提取子模块，用于提取所述第一记录样本集中各记录的第一特征信息。
第一正样本标记子模块，用于将所述第一记录样本集中被点击的记录标记为第一正样本。
第一负样本标记子模块，用于将所述第一记录样本集中未被点击的记录标记为第一负样本。
点击率模型训练子模块，用于根据所述第一特征信息对所述第一正样本及第一负样本进行训练，得到点击率预测模型。
可选地，在本公开的另一种实施例中，上述生效率模型训练模块404包括：
第二特征信息提取子模块，用于提取所述第二记录样本集中各记录的第二特征信息。
第二正样本标记子模块，用于将所述第二记录样本集中被点击且生效的记录标记为第二正样本。
第二负样本标记子模块，用于将所述第二记录样本集中被点击且未生效的记录标记为第二负样本。
生效率模型训练子模块，用于根据所述第二特征信息对所述第二正样本及第二负样本进行训练，得到生效率预测模型。
综上所述，本公开的实施例提供了一种排序装置，所述装置包括：特征信息提取模块，用于获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；点击率预测模块，用于将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；生效率预测模块，用于将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；排序模块，用于根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。能够根据点击率和生效率进行综合排序，有助于提高排序准确性。此外，还可以通过特征信息预先训练得到点击率预测模型及生效率预测模型，并通过点击之后的样本训练得到生效率预测模型，从而提高了正样本的比例，解决了正样本稀疏性问题。
装置实施例四对应方法实施例二，详细说明可以参照实施例二，在此不再赘述。
本公开的实施例还提供了一种电子设备，参见图5，包括：处理器501、存储器502以及存储在所述存储器上并可在所述处理器上运行的计算机程序5021，所述处理器执行所述程序时实现前述实施例的排序方法。
本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的排序方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的实施例的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的排序设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。
以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种排序方法，其特征在于，所述方法包括：
获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；
将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；
将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；
根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。
2.根据权利要求1所述的方法，其特征在于，所述根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序的步骤，包括：
将各查询结果记录对应的点击率和生效率相乘，得到各查询结果记录对应的排序得分；
根据所述排序得分对各查询结果记录进行降序排列。
3.根据权利要求1所述的方法，其特征在于，所述点击率预测模型通过如下步骤训练得到：
获取预设历史时间段内的展现记录，得到第一记录样本集；
根据所述第一记录样本集训练得到点击率预测模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一记录样本集训练得到点击率预测模型的步骤，包括：
提取所述第一记录样本集中各记录的第一特征信息；
将所述第一记录样本集中被点击的记录标记为第一正样本；
将所述第一记录样本集中未被点击的记录标记为第一负样本；
根据所述第一特征信息对所述第一正样本及第一负样本进行训练，得到点击率预测模型。
5.根据权利要求3所述的方法，其特征在于，所述生效率预测模型通过如下步骤训练得到：
复制所述第一记录样本集，并去除其中未被点击的记录，得到第二记录样本集；
根据所述第二记录样本集训练得到生效率预测模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第二记录样本集训练得到生效率预测模型的步骤，包括：
提取所述第二记录样本集中各记录的第二特征信息；
将所述第二记录样本集中被点击且生效的记录标记为第二正样本；
将所述第二记录样本集中被点击且未生效的记录标记为第二负样本；
根据所述第二特征信息对所述第二正样本及第二负样本进行训练，得到生效率预测模型。
7.一种排序装置，其特征在于，所述装置包括：
特征信息提取模块，用于获取预先输入的查询词对应的至少一个查询结果记录，并提取各查询结果记录的特征信息；
点击率预测模块，用于将各查询结果记录的特征信息输入至预先训练得到的点击率预测模型中，计算各查询结果记录对应的点击率；
生效率预测模块，用于将各查询结果记录的特征信息输入至预先训练得到的生效率预测模型，计算各查询结果记录对应的生效率；
排序模块，用于根据各查询结果记录对应的点击率和生效率对各查询结果记录进行排序。
8.根据权利要求7所述的装置，其特征在于，所述排序模块包括：
排序得分计算子模块，用于将各查询结果记录对应的点击率和生效率相乘，得到各查询结果记录对应的排序得分；
排序子模块，用于根据所述排序得分对各查询结果记录进行降序排列。
9.根据权利要求7所述的装置，其特征在于，所述点击率预测模型通过如下模块训练得到：
第一记录样本集获取模块，用于获取预设历史时间段内的展现记录，得到第一记录样本集；
点击率模型训练模块，用于根据所述第一记录样本集训练得到点击率预测模型。
10.根据权利要求9所述的装置，其特征在于，所述点击率模型训练模块包括：
第一特征信息提取子模块，用于提取所述第一记录样本集中各记录的第一特征信息；
第一正样本标记子模块，用于将所述第一记录样本集中被点击的记录标记为第一正样本；
第一负样本标记子模块，用于将所述第一记录样本集中未被点击的记录标记为第一负样本；
点击率模型训练子模块，用于根据所述第一特征信息对所述第一正样本及第一负样本进行训练，得到点击率预测模型。
11.根据权利要求10所述的装置，其特征在于，所述生效率预测模型通过如下模块训练得到：
第二记录样本集获取模块，用于复制所述第一记录样本集，并去除其中未被点击的记录，得到第二记录样本集；
生效率模型训练模块，用于根据所述第二记录样本集训练得到生效率预测模型。
12.根据权利要求11所述的装置，其特征在于，所述生效率模型训练模块包括：
第二特征信息提取子模块，用于提取所述第二记录样本集中各记录的第二特征信息；
第二正样本标记子模块，用于将所述第二记录样本集中被点击且生效的记录标记为第二正样本；
第二负样本标记子模块，用于将所述第二记录样本集中被点击且未生效的记录标记为第二负样本；
生效率模型训练子模块，用于根据所述第二特征信息对所述第二正样本及第二负样本进行训练，得到生效率预测模型。
13.一种电子设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中一个或多个所述的排序方法。
14.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1-6中一个或多个所述的排序方法。
CN201810709899.2A 2018-07-02 2018-07-02 排序方法、装置、电子设备及可读存储介质 Pending CN110737816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810709899.2A CN110737816A (zh) 2018-07-02 2018-07-02 排序方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810709899.2A CN110737816A (zh) 2018-07-02 2018-07-02 排序方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110737816A true CN110737816A (zh) 2020-01-31

Family

ID=69233454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810709899.2A Pending CN110737816A (zh) 2018-07-02 2018-07-02 排序方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110737816A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360796A (zh) * 2021-05-20 2021-09-07 北京三快在线科技有限公司 数据排序方法及装置、数据排序模型训练方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514178A (zh) * 2012-06-18 2014-01-15 阿里巴巴集团控股有限公司 一种基于点击率的搜索排序方法及装置
CN104077306A (zh) * 2013-03-28 2014-10-01 阿里巴巴集团控股有限公司 一种搜索引擎的结果排序方法及系统
CN104750713A (zh) * 2013-12-27 2015-07-01 阿里巴巴集团控股有限公司 一种对搜索结果进行排序的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514178A (zh) * 2012-06-18 2014-01-15 阿里巴巴集团控股有限公司 一种基于点击率的搜索排序方法及装置
CN104077306A (zh) * 2013-03-28 2014-10-01 阿里巴巴集团控股有限公司 一种搜索引擎的结果排序方法及系统
CN104750713A (zh) * 2013-12-27 2015-07-01 阿里巴巴集团控股有限公司 一种对搜索结果进行排序的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张志千等: "《互联网营销》", 29 February 2016, 知识产权出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360796A (zh) * 2021-05-20 2021-09-07 北京三快在线科技有限公司 数据排序方法及装置、数据排序模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN107690657B (zh) 根据影像发现商户
CN107168854B (zh) 互联网广告异常点击检测方法、装置、设备及可读存储介质
WO2018157746A1 (zh) 一种视频数据的推荐方法和装置
US20190236497A1 (en) System and method for automated model selection for key performance indicator forecasting
CN105808762B (zh) 资源排序方法和装置
CN105118048A (zh) 翻拍证件图片的识别方法及装置
CN109191133B (zh) 支付渠道的选择方法及终端设备
RU2010115471A (ru) Устройство и способ обработки изображения, обучающееся устройство и способ обучения, и программа
CN104021185B (zh) 对网页中数据的信息属性进行识别的方法和装置
CN104636407B (zh) 参数取值训练及搜索请求处理方法和装置
CN107958270B (zh) 类别识别方法、装置、电子设备及计算机可读存储介质
CN112487283A (zh) 训练模型的方法、装置、电子设备及可读存储介质
JP2021018459A5 (zh)
CN109902157A (zh) 一种训练样本有效性检测方法及装置
CN112232933A (zh) 房源信息的推荐方法、装置、设备及可读存储介质
US20190258629A1 (en) Data mining method based on mixed-type data
CN115423535A (zh) 基于市场先验大数据的产品采购方法、装置、设备及介质
CN113807066A (zh) 一种图表生成方法、装置及电子设备
CN113407849B (zh) 一种粗排序的方法及装置
CN109344347B (zh) 显示控制方法、装置、电子设备及计算机可读存储介质
US20140039876A1 (en) Extracting related concepts from a content stream using temporal distribution
CN110737816A (zh) 排序方法、装置、电子设备及可读存储介质
CN111898378B (zh) 政企客户的行业分类方法和装置、电子设备、存储介质
CN110489514B (zh) 提升事件抽取标注效率的系统及方法、事件抽取方法及系统
CN112084376A (zh) 基于图谱知识的推荐方法、推荐系统及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131

RJ01 Rejection of invention patent application after publication