CN109597941B - 排序方法及装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例涉及信息推荐技术领域，公开了一种排序方法及装置、电子设备和存储介质。该方法包括：生成实时训练样本；根据生成的实时训练样本更新排序模型的模型参数；基于更新的排序模型预测排序结果。本发明实施方式通过生成实时训练样本更新排序模型并得到排序结果，从而使得排序结果能够实时反映用户或者群体的兴趣变化，显著提高用户点击购买的意愿，提高排序性能。

Description

排序方法及装置、电子设备和存储介质

技术领域

本发明涉及信息推荐技术领域，特别涉及一种排序方法及装置、电子设备和存储介质。

背景技术

在用户意图明确时，我们通常用搜索引擎来解决互联网时代的信息过载问题，但当用户的意图不明确或者很难用清晰的语义表达，搜索引擎就无能为力。此时，通过对用户行为的分析理解其意图，为其推送个性化的结果，便成为一种更好的选择。现有的外卖场景中，后台服务器有一个专门的排序模型可以根据用户选购的商家以及餐品等信息进行智能推荐排序，使得前端软件界面上的商家列表能够根据用户选购的商家以及餐品的不同而更新。

发明人发现相关技术至少存在以下问题：现有排序模型利用历史数据，例如截至前一天的用户的行为数据(选购的商家、餐品等)对排序模型进行更新，以便在后续，例如第二天为用户推荐更新的排序结果(例如商家列表)。因此，现有的排序方法存在一定的滞后性。

发明内容

本发明实施方式的目的在于提供一种排序方法及装置、电子设备和存储介质，通过生成实时训练样本更新排序模型并得到排序结果，从而使得排序结果能够实时反映用户或者群体的兴趣变化，显著提高用户点击购买的意愿，提高排序性能。

为解决上述技术问题，本发明的实施方式提供了一种排序方法，包括：

生成实时训练样本；

根据生成的所述实时训练样本更新排序模型的模型参数；

基于更新的所述排序模型预测排序结果。

本发明的实施方式还提供了一种排序装置，包括：

生成模块，用于生成实时训练样本；

更新模块，用于根据生成的所述实时训练样本更新排序模型的模型参数；

预测模块，用于基于更新的所述排序模型预测排序结果。

本发明的实施方式还提供了一种电子设备，包括：存储器和处理器，存储器存储计算机程序，处理器运行所述计算机程序以实现：

生成实时训练样本；

根据生成的所述实时训练样本更新排序模型的模型参数；

基于更新的所述排序模型预测排序结果。

本发明的实施方式还提供了一种存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行如前所述的排序方法。

本发明实施方式相对于现有技术而言，生成实时训练样本提供给排序模型进行训练得到新的模型参数，并基于新的模型参数预测排序结果，由于实时训练样本能够及时体现用户或者群体的兴趣变化，因此基于其的排序结果能够实时反映用户或者群体的兴趣变化，从而可以显著提高用户点击购买的意愿，提高排序性能。

作为一个实施例，所述生成实时训练样本，具体包括：实时采集并组织样本数据；对组织的所述样本数据进行聚合得到所述实时训练样本。

作为一个实施例，所述样本数据包括：后端业务日志以及前端反馈的用户行为数据。

作为一个实施例，所述实时采集并组织样本数据，具体包括：确定采集的所述样本数据是否为所述后端业务日志，若为所述后端业务日志，则确定所述样本数据是否存在分页，若存在分页，则将分页的样本数据进行合并后缓存，若不存在分页，则直接缓存采集的所述样本数据。

作为一个实施例，所述实时采集并组织样本数据，还包括：确定采集的所述样本数据是否为所述用户行为数据，若为所述用户行为数据，则确定是否缓存有与采集的所述用户行为数据对应的后端业务日志；若未缓存对应的所述后端业务日志，则丢弃所述用户行为数据，若缓存有对应的所述后端业务日志，则保留采集的所述用户行为数据。

作为一个实施例，确定是否缓存有与采集的所述用户行为数据对应的后端业务日志，具体包括：缓存采集的所述用户行为数据，并定时轮询是否采集到对应的后端业务日志，若在预设时间内未轮询到对应的后端业务日志，则确定未缓存对应的所述后端业务日志，若在预设时间内轮询到对应的后端业务日志，则确定缓存有对应的所述后端业务日志。

作为一个实施例，所述实时采集并组织样本数据，具体为：按照排序请求的次数组织所述样本数据。

作为一个实施例，所述根据生成的所述实时训练样本更新排序模型的模型参数，具体包括：根据生成的所述实时训练样本对所述排序模型进行训练得到新的模型参数；快照存储所述新的模型参数。

作为一个实施例，所述快照存储所述新的模型参数后，还包括：对存储的所述新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数。

作为一个实施例，所述对存储的所述新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数之后，还包括：周期性地加载所述候选模型参数至所述排序模型；所述基于更新的所述排序模型预测排序结果，具体为：基于加载有所述候选模型参数的排序模型预测排序结果。

附图说明

图1是根据本发明第一实施方式排序方法的流程图；

图2是根据本发明第二实施方式排序方法的流程图；

图3是根据本发明第三实施方式排序方法的流程图；

图4是根据本发明第三实施方式排序方法对应的系统框图；

图5是根据本发明第四实施方式排序装置的结构示意图；

图6是根据本发明第五实施方式电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。

本发明的第一实施方式涉及一种排序方法，应用于服务器侧。该方法包括：生成实时训练样本，根据生成的实时训练样本更新排序模型的模型参数，基于更新的排序模型预测排序结果。本发明实施方式相对于现有技术而言，生成实时训练样本提供给排序模型进行训练得到新的模型参数，并基于新的模型参数预测排序结果，由于实时训练样本能够及时体现用户或者群体的兴趣变化，因此基于其的排序结果能够实时反映用户或者群体的兴趣，从而可以显著提高用户点击购买的意愿，提高排序性能。

下面结合图1对本实施方式的排序方法进行详细说明。该方法包括步骤101至步骤103。

步骤101：生成实时训练样本。

步骤101可以包括：实时采集并组织样本数据，对组织的样本数据进行聚合得到实时训练样本。其中，样本数据包括：后端业务日志以及前端反馈的用户行为数据。实时训练样本即是将后端实时投放的业务日志与前端对其的反馈数据进行关联得到的模型训练样本。其中，后端业务日志例如包括排序模型实时推送的排序结果，例如商家列表。用户行为数据是指用户对推送的后端业务日志的实时反馈，例如购买商家信息以及餐品信息、点击商家信息以及餐品信息、商家以及餐品的评价信息等等的行为数据。在实际应用中，样本数据可以按照秒级的实时性进行采集，即数秒内完成一次后端业务日志以及用户行为数据的采集。其中后端业务日志的数据源可以是服务器，用户行为数据来源可以是移动终端以及个人电脑(Personal Computer，PC)等的用户终端。其中，后端业务日志和用户行为数据是分别采集得到的。本实施方式对于后端业务日志以及用户行为数据的采集方式不做具体限制。实时采集的样本数据可以缓存起来以备生成实时训练样本。通过将采集的后端业务日志以及用户行为数据对应关联起来(即聚合)即可得到实时训练样本，从而为排序模型的实时更新提供了前提条件。

步骤102：根据生成的实时训练样本更新排序模型的模型参数。

即在线根据实时训练样本对排序模型进行训练得到新的模型参数，并将新的模型参数实时地加载至排序模型以更新排序模型。

步骤103：基于更新的排序模型预测排序结果。

即实时获取用户的排序请求，并基于参数更新后的排序模型对用户意图进行预测得到排序结果，例如推荐商家列表信息，将推荐的商家列表信息推送到用户终端上，用户便可及时获知当前的质量较好，热度较高的商家以及餐品等。

举例而言，如果某家餐厅截至前一天的订餐人数很少，因此排序模型并未给用户推荐该餐厅，但突然由于该餐厅推出新款餐品使得订餐人数剧增，那么本实施方式由于可以实时采集用户行为数据构建实时训练样本，更新排序模型参数，使得更新后的排序模型可以及时地为用户推荐这家餐厅。

本实施方式通过实时采集并组织后端业务日志以及前端用户行为数据，将两者聚合得到实时训练样本，并通过实时训练样本对排序模型进行训练得到新的模型参数，在接收到排序请求时，即可根据新的模型参数预测得到排序结果。由于排序结果基于用户的实时行为数据得到，而用户实时行为数据能够及时反映用户兴趣的变化，所以使得新的排序结果更能及时反映用户的购买意图，提高用户下单意愿，优化排序性能。

本发明的第二实施方式涉及一种排序方法，如图2所示，本实施方式包括步骤201至步骤211。

步骤201：确定采集的样本数据为后端业务日志或者用户行为数据，若为后端业务日志，则进入步骤202，若为用户行为数据，则进入步骤205。

步骤201中，可以按照排序请求的次数采集并组织样本数据。其中，后端针对每次排序请求会生成一个唯一的rankid，代表唯一的某一次排序结果，例如唯一的某个推荐商家列表信息。本实施方式中，可以按照rankid采集并组织样本数据，即按照每个排序结果将后端业务日志以及前端用户行为数据对应起来。然不限于此，例如针对同一用户也可以按照一定时间采集并组织样本数据，例如可以将多个rankid对应的样本数据一并进行采集组织。

步骤202：确定样本数据是否存在分页,若存在分页，则进入步骤203，若不存在分页，则进入步骤204。

步骤203：将分页的样本数据进行合并后缓存。

其中，针对一次排序请求得到的商家推荐列表，在采集后端业务日志时，由于一个排序结果可能分多次展示，例如，虽然用户附近可能会有几十家餐厅，但是一般会先展示一个商家推荐列表的一部分，例如展示排名最靠前的10多个商家，而在用户下滑继续浏览该商家推荐列表时，就会继续展示该排序结果的剩余部分。而在采集后端业务日志时，多次展示的内容会被分页缓存。因此，步骤202中，在确定采集到的多个样本数据存在分页时，例如多个样本数据对应同一rankid时，在步骤203中，就将对应于同一rankid的分页的样本数据进行合并后缓存，即将同一rankid对应的多段后端业务日志拼接后缓存。

步骤204：直接缓存采集的样本数据。

例如用户仅浏览了首次展示的商家推荐列表，此时采集到的一页的样本数据即为一个rankid对应的完整的后端业务日志，因此步骤204中可以直接缓存该样本数据。

步骤202～步骤204能够按照rankid对后端业务日志进行采集并组织。

步骤205：缓存采集的用户行为数据。然后通过步骤206可以确定是否缓存有与采集的用户行为数据对应的后端业务日志。

步骤206：在预设时间内确定是否轮询到对应的后端业务日志，若未轮询到对应的后端业务日志，则进入步骤207，若轮询到对应的后端业务日志，则进入步骤208。

步骤207：丢弃缓存的用户行为数据。

步骤208：保留采集的用户行为数据。

在采集样本数据时，同一rankid对应的前端反馈的用户行为数据与后端业务日志的采集时间可能存在先后，也可能无法采集到用户行为数据对应的后端业务日志。因此，步骤206中，针对尚未采集到对应的后端业务日志的用户行为数据，可以先将其缓存，然后在预设时间内定时轮询是否采集到对应的后端业务日志。其中，预设时间例如是1秒钟，然不限于此。若到达预设时间且未轮询到对应的后端业务日志时，则由于未采集到与该用户行为数据对应的后端业务日志，故而丢弃该用户行为数据。若在预设时间内轮询到对应的后端业务日志，或者先于用户行为数据采集到对应的后端业务日志，则保留该用户行为数据以备后续聚合生成实时训练样本。

步骤205～步骤208实现了对用户行为数据的采集与组织。步骤201～步骤208完成了样本数据的实时采集以及组织。

步骤209：对组织的样本数据进行聚合得到实时训练样本。

步骤210：根据生成的实时训练样本更新排序模型的模型参数。

步骤211:基于更新的排序模型预测排序结果。

步骤210～步骤211分别与第一实施方式的步骤102～步骤103对应相同，此处不再赘述。

本实施方式通过实时采集并组织后端业务日志以及前端用户行为数据，将两者聚合得到实时训练样本，并通过实时训练样本对排序模型进行训练得到新的模型参数，在接收到排序请求时，即可根据新的模型参数预测得到排序结果。由于排序结果基于用户的实时行为数据得到，而用户实时行为数据能够及时反映用户兴趣的变化，所以使得新的排序结果更能及时反映用户的购买意图，提高用户下单意愿，优化排序性能。并且，本实施方式通过按照rankid采集并组织样本数据，从而可以有序地对后端投放的排序结果以及前端对应的用户反馈数据进行组织，并且可以有机地生成实时训练样本，为排序模型地更新打下基础。

本发明的第三实施方式涉及一种排序方法，请参阅图3，该方法包括步骤301至步骤306。

步骤301：生成实时训练样本。

步骤301的实现细节可以参照第一实施方式的步骤101或者第二实施方式的步骤201～步骤209，此处不再赘述。

步骤302：根据生成的实时训练样本对排序模型进行训练得到新的模型参数。

其中，生成的实时训练样本可以放入消息队列，在线训练引擎接收消息后，对排序模型进行训练得到新的模型参数。

步骤303：快照存储新的模型参数。

其中，排序模型每更新一次会得到一套(亦可称为一个版本)的新的模型参数，快照存储新的模型参数即是对新版本的模型参数进行存储。

步骤304：对存储的新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数。

在一些情况下，基于新的模型参数的排序结果的波动会比较大，即新的模型参数的稳定性比较差。因此，在得到新的模型参数后，可以对其进行校验以确定其稳定性是否满足预设条件，若其稳定性满足预设条件则将其作为候选模型参数，若其稳定性不满足预设条件，则可以丢弃该模型参数。对模型参数的稳定性校验可以通过对比前后排序结果的差异的方式实现。例如，基于前一版本的模型参数的排序结果中，A、B、C、D商家分别排在前四位，而基于当前版本的模型参数的排序结果中，A、B、C、D商家均未出现在商家推荐列表中，则可确定当前版本的模型参数的波动较大，不满足预设条件。本实施方式对于候选模型参数的稳定性判定方式不做具体限制。

步骤305：周期性地加载候选模型参数至排序模型。

步骤305中，可以在实时生成的候选模型参数中选取最近的候选模型参数加载至在线的排序模型中，并且可以按照预设周期进行模型参数的加载，例如每10秒钟加载一次模型参数。

步骤306：基于加载有候选模型参数的排序模型预测排序结果。

下面结合图4，对本实施方式的排序方法的实时性进行说明。其中，排序系统包括：线上排序模块、实时训练样本生成模块以及在线模型训练模块。线上排序模块具体用于版本管理、参数加载、特征处理以及预测排序。版本管理可以从候选模型参数中得到最新的候选模型参数，参数加载可以周期性的加载最新的候选模型参数，预测排序可以基于实时加载的模型参数以及特征处理实时预测得到排序结果。实时训练样本生成模块具体用于对后端业务日志以及用户行为数据进行采集和组织，并聚合得到实时训练样本。在线模型训练模块包括：基于实时训练样本进行在线模型训练得到新的模型参数，并快照存储新的模型参数，参数校验通过对新的模型参数进行稳定性校验得到候选模型参数。由此可见，本实施方式的排序方法中在线排序结果、样本数据的采集以及模型参数的训练形成了实时闭合数据流，从而实现排序模型实时在线更新的排序方法。本实施方式通过生成实时训练样本，利用最新样本增量迭代更新已有排序模型，使得排序模型及时反馈样本分布变化，提高模型排序性能。

本实施方式通过实时采集并组织后端业务日志以及前端用户行为数据，将两者聚合得到实时训练样本，并通过实时训练样本对排序模型进行训练得到新的模型参数，在接收到排序请求时，即可根据新的模型参数预测得到排序结果。由于排序结果基于用户的实时行为数据得到，而用户实时行为数据能够及时反映用户兴趣的变化，所以使得新的排序结果更能及时反映用户的购买意图，提高用户下单意愿，优化排序性能。并且，本实施方式通过对新的模型参数进行稳定性校验，可以避免排序结果大幅波动，有利于保证排序的质量。

本发明的第四实施方式涉及一种排序装置。请参阅图5，本实施方式的排序装置500包括：

生成模块601，用于生成实时训练样本。

更新模块602，用于根据生成的实时训练样本更新排序模型的模型参数。

以及

预测模块503，用于基于更新的排序模型预测排序结果。

作为一个实施例，生成模块601具体用于实时采集并组织样本数据，对组织的样本数据进行聚合得到实时训练样本。更具体地，生成模块601用于确定采集的样本数据是否为后端业务日志，若为后端业务日志，则确定样本数据是否存在分页，若存在分页，则将分页的样本数据进行合并后缓存，若不存在分页，则直接缓存采集的样本数据；生成模块601还用于确定采集的样本数据是否为用户行为数据，若为用户行为数据，则确定是否缓存有与采集的用户行为数据对应的后端业务日志；若未缓存对应的后端业务日志，则丢弃用户行为数据，若缓存有对应的后端业务日志，则保留采集的用户行为数据。进一步地，生成模块601还用于缓存采集的用户行为数据，并定时轮询是否采集到对应的后端业务日志，若在预设时间内未轮询到对应的后端业务日志，则确定未缓存对应的后端业务日志，若在预设时间内轮询到对应的后端业务日志，则确定缓存有对应的后端业务日志。在实际应用中，生成模块601包括但不限于用于按照排序请求的次数组织样本数据，例如按照基于排序请求生成的唯一的rankid采集和组织样本数据。

在实际应用中，更新模块602具体用于根据生成的实时训练样本对排序模型进行训练得到新的模型参数，快照存储新的模型参数。在一些例子中，更新模块602还用于在快照存储新的模型参数后对存储的新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数，并周期性地加载候选模型参数至排序模型。预测模块503具体用于基于加载有候选模型参数的排序模型预测排序结果。

本实施方式通过实时采集并组织后端业务日志以及前端用户行为数据，将两者聚合得到实时训练样本，并通过实时训练样本对排序模型进行训练得到新的模型参数，在接收到排序请求时，即可根据新的模型参数预测得到排序结果。由于排序结果基于用户的实时行为数据得到，而用户实时行为数据能够及时反映用户兴趣的变化，所以使得新的排序结果更能及时反映用户的购买意图，提高用户下单意愿，优化排序性能。并且，本实施方式通过按照rankid采集并组织样本数据，从而可以有序地对后端投放的排序结果以及前端对应的用户反馈数据进行组织，并且可以有机地生成实时训练样本，为排序模型地更新打下基础。此外，本实施方式通过对新的模型参数进行稳定性校验，可以避免排序结果大幅波动，有利于保证排序的质量。

本发明的第五实施方式涉及一种电子设备。本实施方式的电子设备可以是独立的服务器，也可以是服务器群。如图6所示，该电子设备包括：存储器602和处理器601；

其中，所述存储器602存储有可被所述至少一个处理器601执行的指令，所述指令被所述至少一个处理器601执行以实现：生成实时训练样本，根据生成的所述实时训练样本更新排序模型的模型参数，基于更新的所述排序模型预测排序结果。

一个或多个处理器601以及存储器602，图6中以一个处理器601为例。处理器601、存储器602可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器601通过运行存储在存储器602中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述排序方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储过滤器等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器602中，当被一个或者多个处理器601执行时，执行上述任意方法实施方式中的排序方法。

上述设备可执行本发明实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本发明实施方式所提供的方法。

本实施方式通过实时采集并组织后端业务日志以及前端用户行为数据，将两者聚合得到实时训练样本，并通过实时训练样本对排序模型进行训练得到新的模型参数，在接收到排序请求时，即可根据新的模型参数预测得到排序结果。由于排序结果基于用户的实时行为数据得到，而用户实时行为数据能够及时反映用户兴趣的变化，所以使得新的排序结果更能及时反映用户的购买意图，提高用户下单意愿，优化排序性能。并且，本实施方式通过按照rankid采集并组织样本数据，从而可以有序地对后端投放的排序结果以及前端对应的用户反馈数据进行组织，并且可以有机地生成实时训练样本，为排序模型地更新打下基础。此外，本实施方式通过对新的模型参数进行稳定性校验，可以避免排序结果大幅波动，有利于保证排序的质量。

本发明的第六实施方式涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

本申请实施例公开了A1.一种排序方法，包括：

生成实时训练样本；

根据生成的所述实时训练样本更新排序模型的模型参数；

基于更新的所述排序模型预测排序结果。

A2.如A1所述的排序方法，所述生成实时训练样本，具体包括：

实时采集并组织样本数据；

对组织的所述样本数据进行聚合得到所述实时训练样本。

A3.如A2所述的排序方法，

所述样本数据包括：后端业务日志以及前端反馈的用户行为数据。

A4.如A3所述的排序方法，所述实时采集并组织样本数据，具体包括：

确定采集的所述样本数据是否为所述后端业务日志，若为所述后端业务日志，则确定所述样本数据是否存在分页，若存在分页，则将分页的样本数据进行合并后缓存，若不存在分页，则直接缓存采集的所述样本数据。

A5.如A3所述的排序方法，所述实时采集并组织样本数据，还包括：

确定采集的所述样本数据是否为所述用户行为数据，若为所述用户行为数据，则确定是否缓存有与采集的所述用户行为数据对应的后端业务日志；若未缓存对应的所述后端业务日志，则丢弃所述用户行为数据，若缓存有对应的所述后端业务日志，则保留采集的所述用户行为数据。

A6.如A5所述的排序方法，确定是否缓存有与采集的所述用户行为数据对应的后端业务日志，具体包括：

缓存采集的所述用户行为数据，并定时轮询是否采集到对应的后端业务日志，若在预设时间内未轮询到对应的后端业务日志，则确定未缓存对应的所述后端业务日志，若在预设时间内轮询到对应的后端业务日志，则确定缓存有对应的所述后端业务日志。

A7.如A2所述的排序方法，所述实时采集并组织样本数据，具体为：

按照排序请求的次数组织所述样本数据。

A8.如A1所述的排序方法，所述根据生成的所述实时训练样本更新排序模型的模型参数，具体包括：

根据生成的所述实时训练样本对所述排序模型进行训练得到新的模型参数；

快照存储所述新的模型参数。

A9.如A8所述的排序方法，在所述快照存储所述新的模型参数后，还包括：对存储的所述新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数。

A10.如A9所述的排序方法，所述对存储的所述新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数之后，还包括：周期性地加载所述候选模型参数至所述排序模型；

所述基于更新的所述排序模型预测排序结果，具体为：

基于加载有所述候选模型参数的排序模型预测排序结果。

B1.一种排序装置，包括：

生成模块，用于生成实时训练样本；

更新模块，用于根据生成的所述实时训练样本更新排序模型的模型参数；

预测模块，用于基于更新的所述排序模型预测排序结果。

C1.一种电子设备，包括：存储器和处理器，存储器存储计算机程序，处理器运行所述计算机程序以实现：

生成实时训练样本；

根据生成的所述实时训练样本更新排序模型的模型参数；

基于更新的所述排序模型预测排序结果。

C2.如C1所述的电子设备，所述处理器还用于执行：

实时采集并组织样本数据；

对组织的所述样本数据进行聚合得到所述实时训练样本。

C3.如C2所述的电子设备，所述样本数据包括：后端业务日志以及前端反馈的用户行为数据。

C4.如C3所述的电子设备，所述处理器还用于执行：

确定采集的所述样本数据是否为所述后端业务日志，若为所述后端业务日志，则确定所述样本数据是否存在分页，若存在分页，则将分页的样本数据进行合并后缓存，若不存在分页，则直接缓存采集的所述样本数据。

C5.如C3所述的电子设备，所述处理器还用于执行：确定采集的所述样本数据是否为所述用户行为数据，若为所述用户行为数据，则确定是否缓存有与采集的所述用户行为数据对应的后端业务日志；若未缓存对应的所述后端业务日志，则丢弃所述用户行为数据，若缓存有对应的所述后端业务日志，则保留采集的所述用户行为数据。

C6.如C5所述的电子设备，所述处理器还用于执行：

缓存采集的所述用户行为数据，并定时轮询是否采集到对应的后端业务日志，若在预设时间内未轮询到对应的后端业务日志，则确定未缓存对应的所述后端业务日志，若在预设时间内轮询到对应的后端业务日志，则确定缓存有对应的所述后端业务日志。

C7.如C2所述的电子设备，所述处理器还用于执行：

按照排序请求的次数组织所述样本数据。

C8.如C1所述的电子设备，所述处理器还用于执行：

根据生成的所述实时训练样本对所述排序模型进行训练得到新的模型参数；

快照存储所述新的模型参数。

C9.如C8所述的电子设备，所述处理器还用于在所述快照存储所述新的模型参数后，对存储的所述新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数。

C10.如C9所述的电子设备，所述处理器还用于所述对存储的所述新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数之后，周期性地加载所述候选模型参数至所述排序模型；

基于加载有所述候选模型参数的排序模型预测排序结果。

本申请实施例还公开了D1.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行如A1至A10中任一项所述的排序方法。

Claims (11)

1.一种排序方法，其特征在于，包括：

生成实时训练样本，具体包括：

实时采集并组织样本数据；所述样本数据包括：后端业务日志以及前端反馈的用户行为数据；所述后端业务日志为实时推送的排序结果；所述用户行为数据为对推送的后端业务日志的实时反馈；对组织的所述样本数据进行聚合得到所述实时训练样本；所述实时采集并组织样本数据，具体包括：

确定采集的所述样本数据是否为所述用户行为数据，若为所述用户行为数据，则确定是否缓存有与采集的所述用户行为数据对应的后端业务日志；若未缓存对应的所述后端业务日志，则丢弃所述用户行为数据，若缓存有对应的所述后端业务日志，则保留采集的所述用户行为数据；

根据生成的所述实时训练样本更新排序模型的模型参数；

基于更新的所述排序模型预测排序结果。

2.根据权利要求1所述的排序方法，其特征在于，所述实时采集并组织样本数据，还包括：

确定采集的所述样本数据是否为所述后端业务日志，若为所述后端业务日志，则确定所述样本数据是否存在分页，若存在分页，则将分页的样本数据进行合并后缓存，若不存在分页，则直接缓存采集的所述样本数据。

3.根据权利要求1所述的排序方法，其特征在于，确定是否缓存有与采集的所述用户行为数据对应的后端业务日志，具体包括：

缓存采集的所述用户行为数据，并定时轮询是否采集到对应的后端业务日志，若在预设时间内未轮询到对应的后端业务日志，则确定未缓存对应的所述后端业务日志，若在预设时间内轮询到对应的后端业务日志，则确定缓存有对应的所述后端业务日志。

4.根据权利要求1所述的排序方法，其特征在于，所述实时采集并组织样本数据，具体为：

按照排序请求的次数组织所述样本数据。

5.根据权利要求1所述的排序方法，其特征在于，所述根据生成的所述实时训练样本更新排序模型的模型参数，具体包括：

根据生成的所述实时训练样本对所述排序模型进行训练得到新的模型参数；

快照存储所述新的模型参数。

6.根据权利要求5所述的排序方法，其特征在于，在所述快照存储所述新的模型参数后，还包括：对存储的所述新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数。

7.根据权利要求6所述的排序方法，其特征在于，所述对存储的所述新的模型参数进行稳定性校验得到稳定性满足预设条件的候选模型参数之后，还包括：周期性地加载所述候选模型参数至所述排序模型；

所述基于更新的所述排序模型预测排序结果，具体为：

基于加载有所述候选模型参数的排序模型预测排序结果。

8.一种排序装置，其特征在于，包括：

生成模块，用于生成实时训练样本，具体包括：

实时采集并组织样本数据；所述样本数据包括：后端业务日志以及前端反馈的用户行为数据；所述后端业务日志为实时推送的排序结果；所述用户行为数据为对推送的后端业务日志的实时反馈；对组织的所述样本数据进行聚合得到所述实时训练样本；所述实时采集并组织样本数据，具体包括：

确定采集的所述样本数据是否为所述用户行为数据，若为所述用户行为数据，则确定是否缓存有与采集的所述用户行为数据对应的后端业务日志；若未缓存对应的所述后端业务日志，则丢弃所述用户行为数据，若缓存有对应的所述后端业务日志，则保留采集的所述用户行为数据；

更新模块，用于根据生成的所述实时训练样本更新排序模型的模型参数；

预测模块，用于基于更新的所述排序模型预测排序结果。

9.一种电子设备，其特征在于，包括：存储器和处理器，存储器存储计算机程序，处理器运行所述计算机程序以实现：

生成实时训练样本，具体包括：

实时采集并组织样本数据；所述样本数据包括：后端业务日志以及前端反馈的用户行为数据；所述后端业务日志为实时推送的排序结果；所述用户行为数据为对推送的后端业务日志的实时反馈；对组织的所述样本数据进行聚合得到所述实时训练样本；所述实时采集并组织样本数据，具体包括：

确定采集的所述样本数据是否为所述用户行为数据，若为所述用户行为数据，则确定是否缓存有与采集的所述用户行为数据对应的后端业务日志；若未缓存对应的所述后端业务日志，则丢弃所述用户行为数据，若缓存有对应的所述后端业务日志，则保留采集的所述用户行为数据；

根据生成的所述实时训练样本更新排序模型的模型参数；

基于更新的所述排序模型预测排序结果。

10.根据权利要求9所述的电子设备，其特征在于，所述处理器还用于执行如权利要求2至7中任一项所述的排序方法。

11.一种存储介质，其特征在于，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行如权利要求1至7中任一项所述的排序方法。

Images