CN116205308A

CN116205308A - 预测模型的训练及预测方法、装置、电子设备及存储介质

Info

Publication number: CN116205308A
Application number: CN202211600283.4A
Authority: CN
Inventors: 陈国梁; 陈正亮; 刘伟
Original assignee: Baidu China Co Ltd
Current assignee: Baidu China Co Ltd
Priority date: 2022-12-13
Filing date: 2022-12-13
Publication date: 2023-06-02

Abstract

本公开提供了一种预测模型的训练及预测方法、装置、电子设备及存储介质，涉及智能搜索、深度学习以及人工智能等技术领域。具体实现方案为：获取多个业务领域的日志数据；基于所述多个业务领域的日志数据，构建特征信息表；所述特征信息表中包括所述多个业务领域的特征以及所述特征对应的内容数据；基于所述特征信息表中各个所述业务领域的特征以及所述特征对应的内容数据，获取参与模型训练的目标特征；基于所述目标特征和所述特征信息表，对预测模型进行多目标的训练。本公开的技术，能够有效地提高多个业务领域的模型管理和维护效率。

Description

预测模型的训练及预测方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，具体涉及智能搜索、深度学习以及人工智能等技术领域，尤其涉及一种预测模型的训练及预测方法、装置、电子设备及存储介质。

背景技术

为了探索和构建用户的购买交易心智，在服务和商品的各垂类的业务领域中持续深耕发力，可以深入研究各垂类的业务领域的核心目标，以进行更加精准地分析与探索。

由于每个业务领域存在其产品或者业务的独特性，不同的业务领域分别由独立团队分别建设和效果优化，每个业务领域独立构建“展-点-转”等用户行为日志数据，然后独立训练该业务领域的核心目标的深度神经网络(Deep Neural Network；DNN)模型。

发明内容

本公开提供了一种预测模型的训练及预测方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种预测模型的训练方法，包括：

获取多个业务领域的日志数据；

基于所述多个业务领域的日志数据，构建特征信息表；所述特征信息表中包括所述多个业务领域的特征以及所述特征对应的内容数据；

基于所述特征信息表中各个所述业务领域的特征以及所述特征对应的内容数据，获取参与模型训练的目标特征；

基于所述目标特征和所述特征信息表，对预测模型进行多目标的训练。

根据本公开的另一方面，提供了一种目标预测方法，包括：

响应于业务请求，从所述数据管理平台中获取多条业务信息；

对于各条所述业务信息，基于对应的所述业务信息和预设的目标特征，获取所述预设的目标特征对应的内容数据；

基于所述预设的目标特征的内容数据和预先训练的预测模型，获取所述预测模型预测的多个目标的信息。

根据本公开的再一方面，提供了一种预测模型的训练装置，包括：

日志获取模块，用于获取多个业务领域的日志数据；

构建模块，用于基于所述多个业务领域的日志数据，构建特征信息表；所述特征信息表中包括所述多个业务领域的特征以及所述特征对应的内容数据；

特征获取模块，用于基于所述特征信息表中各个所述业务领域的特征以及所述特征对应的内容数据，获取参与模型训练的目标特征；

训练模块，用于基于所述目标特征和所述特征信息表，对预测模型进行多目标的训练。

根据本公开的又一方面，提供了一种目标预测装置，包括：

业务信息获取模块，用于响应于业务请求，从所述数据管理平台中获取多条业务信息；

特征数据获取模块，用于对于各条所述业务信息，基于对应的所述业务信息和预设的目标特征，获取所述预设的目标特征对应的内容数据；

目标预测模块，用于基于所述预设的目标特征的内容数据和预先训练的预测模型，获取所述预测模型预测的多个目标的信息。

根据本公开的再另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。

根据本公开的再又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。

根据本公开的又另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。

根据本公开的技术，能够有效地提高多个业务领域的模型管理和维护效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三施例的示意图；

图4是根据本公开第四施例的示意图；

图5是根据本公开第五施例的示意图；

图6是图5所示实施例中构建的特征信息表的部分片段的示意图；

图7是本公开实施例提供的预测模型中的DNN塔的结构示意图；

图8是根据本公开第六施例的示意图；

图9是是根据本公开第七施例的示意图；

图10是用来实现本公开实施例的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(TabletComputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

现有技术中，需要针对于每个业务领域中的每个核心目标，都单独训练一个相应的模型。若同一个商家平台，包括多个垂类的业务领域，且也需要多个核心目标的情况下，需要维护多个模型，长期迭代特征工作量非常大，导致模型管理和维护效率非常低。

图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种预测模型的训练方法，具体可以包括如下步骤：

S101、获取多个业务领域的日志数据；

本实施例的多个业务领域包括多个垂类的业务或者场景的领域。例如，在某个商户平台中，可以包括酒店、旅游、教培、上门服务、惠生活商品等等各种商品或者服务的业务领域。

对于每种业务领域，可以获取到其相应的日志数据。例如可以包括用户画像数据、用户行为的埋点数据、各业务领域的商品或者服务的特征数据，还可以包括各业务领域的原始数据。

其中用户画像数据，可以为各业务领域中用户授权的数据，也可以包括基于用户授权的数据，挖掘的其他数据。

用户行为的埋点数据可以包括：对用户的展示行为、用户的点击行为、以及后续用户的购买商品或者服务的行为等相关的数据。

各业务领域的商品或者服务的特征数据可以包括对应业务领域的一种比较重要的特征。如酒店领域中，可以包括酒店的级别、酒店的住宿单价等等。业务领域的原始数据可以包括该业务领域的商品或者服务的所有原始信息。

S102、基于多个业务领域的日志数据，构建特征信息表；特征信息表中包括多个业务领域的特征以及特征对应的内容数据；

该特征信息表的表头可以包括多个业务领域的特征，然后在表中每一行可以为一条日志数据对应的各个特征的内容数据。由于涉及的业务领域多，覆盖的各个业务领域的特征也非常多。所以，该特征信息表是一个包括多个业务领域的特征的宽表。

S103、基于特征信息表中各个业务领域的特征以及特征对应的内容数据，获取参与模型训练的目标特征；

具体地，特征对应的内容数据，可以理解为特征对应的值。具体可以通过分析各个特征以及各特征的内容数据，获取参与模型训练的目标特征。

S104、基于目标特征和特征信息表，对预测模型进行多目标的训练。

具体地，基于目标特征和特性信息表，可以获取到训练数据，进而基于训练数据，对预测模型进行多目标的训练。也就是说，可以训练该预测模型可以同时预测并输出多个目标值，实现多目标的预测。

本实施例的预测模型的训练方法，由于基于目标特征和多个业务领域的日志数据构架的特征信息表，对预测模型进行多目标的训练，不仅使得还预测模型能够通用于各个业务领域，同时又能够使得该预测模型能够预测多个目标。基于此，在包括由多个业务领域的商户平台，采用本实施例的方式仅训练一个预测模型即可实现多个业务领域、多个目标的预测，仅需要维护一个模型即可，能够有效地减少多个模型维护中长期迭代特征的工作量，而且，能够更加高效、准确地对预测模型进行训练，不仅能够提高训练的预测模型的准确性，还能够有效地提高同一商户平台中模型的管理和维护效率。

图2是根据本公开第二施例的示意图；如图2所示，本实施例提供一种预测模型的训练方法，具体可以包括如下步骤：

S201、获取多个业务领域的日志数据；

S202、基于多个业务领域的日志数据，挖掘各业务领域的特征以及特征对应的内容数据；

S203、将各业务领域的特征以及特征对应的内容数据进行聚合，得到特征信息表；

通过上述方式得到的特征信息表，可以覆盖各业务领域的特征，特征非常丰富、覆盖全面。

S204、对特征信息表进行统一的格式转换；

例如，本实施例中，具体可以对特征信息表进行ProtoBuf(简称PB)序列化，得到统一格式的特征信息表，能够更加高效地获取对参与模型训练的目标特征，并基于特征信息表高效、准确地获取训练数据。

可选地，实际应用中，也可以不进行该步骤的格式转换，也能够实现模型的训练。

S205、基于特征信息表中各业务领域的特征以及特征对应的内容数据，抽取至少两个业务领域共用的至少一个共用特征；

不用领域的特征可以采用不同的字段名称，例如有的业务领域标识姓名的字段叫姓名，而有的业务领域标识姓名的字段叫name。此时可以通过分析各个业务领域的特征以及特征的内容数据，挖掘标识相同属性的内容数据的特征，为不同业务领域共用的共用特征。

优选地，从多个业务领域的特征中抽取共用特征。但是该抽取方式抽取的共用特征数量较少。实际应用中，也可以从至少两个业务领域的特征中抽取共用特征。由于不同业务领域中包括相同的共用特征，则表示共用特征对不同业务领域的模型的建模都有帮助，所以，在本实施例中，需要抽取出来，以便于提高模型的训练效果。

S206、基于至少一个共用特征和各业务领域的至少一个特有特征，获取参与模型训练的目标特征；各业务领域的特有特征为特征信息表中业务领域对应的所有特征中共用特征之外的特征；

各个业务领域的特有特征对相应业务领域的目标预测具有非常大的帮助，所以，本实施例中，也需要考虑每个业务领域的特有特征，以使得预测模型在训练阶段能够关注到各个业务领域的特征信息，以提高预测模型对各个业务领域的目标预测的准确性。

本实施例中，在获取参与模型训练的目标特征时，可以通过对所有的备选特征进行评估，获取符合评估要求的特征即可。目标特征的数量不做限制，只要符合评估要求即可。

可选地，此时可以对特征信息表进行调整，将共用特征放在靠前的位置，各业务领域的特有特征依次排在特征信息表中靠后的位置。

该步骤S206具体实现时，具体可以通过如下两个方面获取目标特征；且两个方面获取目标特征的步骤，可以联合使用。

第一方面：基于至少一个共用特征，获取参与模型训练的目标特征；

该第一方面具体实现时，又可以包括如下两种实现方式。

第一种实现方式，通过对各共用特征进行评估，从至少一个共用特征中，筛选参与模型训练的目标特征。

第二种实现方式，可以先基于至少一个共用特征，按照预设的特征生成方式，生成至少一个第一类特征；通过对各共用特征和各第一类特征分别进行评估，从至少一个共用特征和至少一个第一类特征中，筛选参与模型训练的目标特征。

考虑到实际应用中，单独的两个特征对模型的性能可能影响不大，但是这两个特征组合后，可能对模型的性能影响较大。基于此，本实施例中，可以参考特征工程中特征的生成方式，基于至少一个共用特征，生成至少一个第一类特征。具体地，生成每一个第一类特征，可以需要至少一个共用特征。具体地预设的特征生成方式，可以参考特征工程中，生成有价值的特征的生成方式。例如，预设的特征生成方式可以包括对至少一个共用特征，进行各种数学计算。

此时，基于至少一个共用特征，扩展后得到至少一个第一类特征，与至少一个共用特征一起作为备选特征。然后通过对各共用特征和各第一类特征分别进行评估，从至少一个共用特征和至少一个第一类特征中，筛选参与模型训练的所有目标特征。

实际应用中，可以根据需求，选择上述任一实现方式，单独实施。

第二方面：基于各业务领域的至少一个特有特征，获取参与模型训练的目标特征。

同上述第一方面的实施，该第二方面实施时，也可以包括两种实现方式。

第一种实现方式、通过对各业务领域的至少一个特有特征分别进行评估，从各业务领域的所述至少一个特有特征中，筛选参与模型训练的目标特征。

第二种实现方式、先基于各业务领域的至少一个特有特征，按照预设的特征生成方式，生成各业务领域的至少一个第二类特征；通过对各业务领域的至少一个特有特征和至少一个第二类特征分别进行评估，从各业务领域的至少一个特有特征和至少一个第二类特征中，筛选参与模型训练的目标特征。

第二方面的两种实现方式的具体实现过程，分别参考上述第一方面的两种实现方式，在此不再赘述。

另外，本实施例的特征评估和筛选的方法，可以参考相关领域中特征评估和筛选选用的过滤法、包裹法，嵌入法等。或者也可以预训练一个特征筛选模型，从多个备选特征中选择有价值的目标特征。

本实施例中，筛选出的目标特征对预测模型的训练具有参考意义，目标特征的值在一定范围内发生变化，预测模型的预测的目标会发生明显的变化。而有些特征，即使发生很大的变化，在预测模型预测时，预测的目标都不会有明显的变化，这些特征，可以不参与模型训练。本实施例的目标特征的筛选，目的就是获取对预测模型具有参考意义的特征。

具体地，获取到的目标特征可以存储在特征管理平台中，同时若目标特征为第一类特征或者第二类特征，还需要记录生成该目标特征所需的原始特征的标识以及目标特征的生成方式，方便预测阶段使用。

本实施例的上述目标特征的获取方式，都能够有效地确保获取的目标特征的准确性。当然实际应用中，也可以采用其他方式实现目标特征的获取，例如，可以采用预先训练的特征挖掘模型，将特征信息表中的所有特征输入进去，该特征挖掘模型可以挖掘到所有可能的目标特征。训练时，采用较多的样本数据，使得该特征挖掘模型学习到该能力即可。

S207、基于目标特征，从特征信息表中获取多条训练数据；各条所述训练数据中包括目标特征的内容数据；

具体地，根据目标特征，从特征信息表中，获取每一条训练数据时，若目标特征属于特征信息表中的共用特征或者某个业务领域的特有特征时，直接从特征信息表中，获取该目标特征对应的内容数据，便能够确报获取的目标特征对应的内容数据的准确性。

而对于目标特征属于第一类特征或者第二类特征，可以根据对应的第一类特征或者第二类特征的生成所需的原始的特征以及生成方式，从特征信息表中获取相应的原始特征以及对应的内容数据，按照预设的生成方式，生成第一类特征或者第二类特征对应的内容数据，以确保得到的第一类特征或者第二类特征的内容数据的准确性。

可选地，若目标特征包括多个时，训练数据中包括多个目标特征的内容数据。训练时，多个目标特征的内容数据拼接输入至预测模型。

S208、采用多条训练数据，对预测模型进行多目标的训练。

本实施例的多目标，可以包括点击率(Click Through Rate；CTR)、转化率(Conversion Rate；CVR)、深度转化率(Deep Conversion Rate DCVR)以及展现转化率(Show Conversion Rate；SCVR)等等。

由于训练数据是基于已有的日志数据生成的，而且其中包括参与模型训练的目标特征的所有内容数据。例如，一条服务或者商品的全量日志数据中，可以包括展现信息、点击信息、用户的购买信息等，这些信息对应的特征的内容数据，都会作为目标特征的内容数据，参与预测模型的多目标训练。训练时，不同的目标的预测，可以采用不同的特征的内容数据作为标签数据。

由于同一条训练数据中，包括各个业务领域的特征信息，虽然可以在各个业务领域通用，但是不同业务领域的数据还是具有其独特性。例如对于来源于业务领域A的训练数据，其对应的业务领域A的特有特征可以包括有具体的内容数据，而对于业务领域B的特有特征，可以没有具体的内容数据。由于基于不同业务领域，包括数据内容略有不同，即具体的有效特征不同，导致不同的业务领域，该预测模型的预测目标可以不相同。例如，在A业务领域，该预测模型可以预测到3个目标，而在B业务领域，该预测模型可能能够预测4个目标。

本实施例中，预测模型中可以设计全局统一的embedding共享层，可以有效学习到所有各个业务领域的一些通用信息。并设计不同的DNN塔实现不同目标的预测。而且有些目标也可以基于不同的DNN塔预测的目标，进行组合运算得到。

由于上层各业务领域的CTR、CVR、CTCVR等目标的DNN塔都是基于统一的embedding共享层进行迭代生成的，从而各目标的DNN模型可以有效在不同业务领域之间实现迁移学习，以提高预测模型的预测精度。

对于不同目标的DNN塔的训练过程，虽然目标预测是独立，但是embedding共享层是共用的，所以，不能认为不同目标的DNN塔是完全独立的。

本实施例的基于多个业务领域的特征信息表，统一建模生成多业务领域多目标的统一的预测模型，从而实现多个业务领域在线共用同一个多目标的预测模型。后续还可以基于特征信息表新增或更新特征，即可生成新的预测模型，可以直接生效并应用到所有参与统一建模的业务领域，实现了一次特征迭代优化覆盖全部业务领域的各个目标的预测模型，从而能够极大地提高模型特征迭代效率。

图3是根据本公开第三施例的示意图；如图3所示，本实施例提供一种目标预测方法，具体可以包括如下步骤：

S301、响应于业务请求，从数据管理平台中获取多条业务信息；

可选地，本实施例中，商户平台的所有业务领域可以共用一个数据管理平台。

或者也可以分业务领域，具体为每个业务领域配置一个数据管理平台。此时，可以基于业务请求，分析对应的业务领域，然后从对应的业务领域的数据管理平台获取多条业务信息。

S302、对于各业务信息，基于对应的业务信息和预设的目标特征，获取目标特征对应的内容数据；

S303、基于目标特征对应的内容数据和预先训练的预测模型，获取预测模型预测的多个目标的信息。

本实施例为上述图1或者图2所示实施例训练的预测模型的应用场景。具体地，本实施例的业务请求可以为搜索场景的搜索请求，或者也可以推荐场景的推荐请求。

本实施例的数据管理平台可以包括商户平台的多个业务领域中各个业务领域的所有商品或者服务的数据信息，根据业务请求可以从数据管理平台中获取到匹配的多条业务信息。基于业务领域的不同，业务信息可以为商品信息，也可以为服务信息等。

预设的目标特征为上述图1或者图2所示实施例中参与模型训练的目标特征。具体地，在模型训练阶段得到目标特征后，可以将获取的目标特征作为预设目标特征存储下来，以便在预测阶段参考。

本实施例的目标预测方法，针对于任一业务请求，可以基于一个预先训练的预测模型，预测得到多个目标的信息，不用采用多个模型分别实现多个目标的预测，能够有效地提高多个目标的预测效率。

另外，本实施例的业务请求可以为该预测模型可适用于的多个业务领域中的任一业务领域的业务请求，也就是说，本实施例的预测模型不仅可以预测多个目标，还可以在多个业务领域通用，避免同一商户平台维护多个业务领域的多个目标模型，能够有效地提供商户平台中模型的管理和维护效率。

在本公开的一个实施例中，对于步骤S302的具体实现时，若预设的目标特征对应为上述图2所示实施例的共用特征或者某个业务领域的特有特征，此时对应地，直接从对应的业务信息中可以抽取到该预设的目标特征的内容数据。

而若所述预设的目标特征对应为上述图2所示实施例的第一类特征或者第二类特征时，此时可以先查询特征管理平台中记录的生成目标特征所需的原始的特征，以及相应的生成方式。然后，从对应的业务信息中抽取到生成目标特征所需的原始特征的内容数据，并按照目标特征的生成方式，生成目标特征的内容数据，有效地确保获取到的目标特征的内容数据的准确性。

进一步可选地，在上述图3所示实施例的技术方案的基础上，

图4是根据本公开第四施例的示意图；如图4所示，本实施例提供一种目标预测方法，具体可以在上述图3所示实施例的基础上，进一步包括如下步骤：

S401、对于各条业务信息，从对应的多个目标的信息中获取指定目标的信息；

S402、基于各条业务信息的指定目标的信息，对多个业务信息进行排序；

S403、按照排序的结果，展示多个业务信息。

本实施例的业务请求包括预测模型可以适用的多个业务领域中任一业务领域的业务请求。

多个目标包括点击率、转化率、深度转化率、展现转换率以及点击转化率中的至少两个。

在本实施例中的应用场景中，获取到每条业务信息对应的多个目标的信息之后，可以基于任意的指定目标的信息，对多条业务信息进行排序，进而基于排序结果，展示多个业务信息，可以灵活、高效地实现基于任意的指定目标，对多条业务信息的展示。

在搜索场景或者推荐场景中，可以按照本实施例的方式，展示多个业务信息之后；若展现的前TOP N条业务信息的效果不好，如点击率不高或者转换率不高。此时，还可以基于之前获取的多条业务信息，随意更换一个指定目标的信息，直接按照本实施例的方式，重新对多个业务信息进行展示，使用非常方便，不用采用不同的目标模型，重新获取目标值，重新进行处理。采用本实施例的适用于多个业务领域的多个目标的预测模型，不仅能够通用于多个业务领域，还能兼容多个业务领域的信息，对多个目标值分别进行准确地预测，而且方便使用在各种应用场景中，使用非常灵活、方便。

图5是根据本公开第五施例的示意图；如图5所示，为本实施例提供的一种预测模型的训练过程以及应用过程的示例图。其中训练过程可以参考上述图1和图2所示实施例的记载。应用过程可以参考上述图3和图4所示实施例的记载。

例如，如图5所示，采集的日志数据可以包括用户画像数据、用户行为埋点数据、不同业务领域的特征如酒店服务特征、商品服务特征等等，还可以包括各业务领域的原始数据。按照上述图2所示实施例的方式，可以对日志数据进行聚合，得到特征信息表；再对特征信息表进行PB序列化；并基于特征评估的方式，获取参与模型训练的目标特征；并将目标特征存储在特征管理平台中，若目标特征由原始特征按照一定的特征生成方式生成，也需要在特征管理平台中记录原始特征的表示以及对应的特征生成方式。然后基于目标特征和特征信息表，实现对预测模型进行多业务领域、多目标的训练，得到通用于各个业务领域的预测模型，并存储在模型管理平台中。

使用时，可以从模型管理平台获取该预测模型，并进行在线预测。具体地，可以先接收一个业务请求，并基于该业务请求，请求PB接口，实现格式转换。然后从数据管理平台获取相应的多个业务信息，也可以进行PB格式转换，再根据特征管理平台中的目标特征，基于各业务西信息，抽取相应的目标特征的内容数据。再将各业务信息的内容数据输入至预测模型，该预测模型可以在线预测到各业务信息的多个目标值，并输出。详细实现方式也可以参考上述相关实施例的记载，在此不再赘述。

图6是图5所示实施例中构建的特征信息表的部分片段的示意图。如图6所示，在特性信息表的该部分片段中，可以包括前端锚点日志中的特征和后端服务日志中的特征。例如，前端埋点日志的特征可以包括“展现、点击、转换以及时长”相关的特征、“qid、vs_resp_id、loc、uid”相关的特征、还可以包括“时间、地点、pos、页面类型等”相关的特征。其中特征“展现、点击、转换以及时长”标识用户行为的lable信息，“qid、vs_resp_id、loc、uid”标识一些关键key信息，“时间、地点、pos、页面类型等”标识一些请求上下文信息。后端服务日志中可以包括基础通用和服务画像特征、垂类间公共特征，垂类自定义特征等。其中基础通用和服务画像特征表示用户画像数据。一个垂类即指的是一个业务领域。垂类间公共特征和垂类自定义特征都对应是请求和项目(item)级别的特征。实际应用中，特征信息表，也可以按照任意方便记录的方式，记录日志中的特征信息，在此不做限定。

图7是本公开实施例提供的预测模型中的DNN塔的结构示意图。如图7所示，以预测模型包括三个DNN塔结构为例，三个DNN塔结构可以实现不同目标的预测。例如，该预测模型应用在左侧的业务领域中，基于预测模型的3个DNN塔结构，可以预测4个目标，除了3各DNN塔结构分别预测3个目标CTR、SCVR和DCVR，还可以基于SCVR和DCVR，预测目标CVR。该预测模型应用在右侧的业务领域中，基于预测模型的3个DNN塔结构，可以预测5个目标，在左侧业务领域的预测的4个目标的基础上，还可以基于预测的CTR和CVR，预测CTCVR。

基于以上所述，可以得知，预测模型应用在不同的业务领域，预测的目标的数量可以不同。具体还需要参考该业务领域的日志数据的训练能力，若基于该业务领域的日志数据，可以实现预测模型预测某个目标的训练，那么该预测模型便可以实现该目标的预测。

实际应用中，预测模型还可以采用其他数量的DNN塔结构，实现预测其他数量的目标，在此不做限定。

本公开，通过采用上述方案，能够有效的解决搜索和推荐场景中的多垂类业务领域、多目标场景下的模型数量多、特征迭代重复工作多、垂类间样本无法协同利用问题，经实验验证，本公开的技术，能够在多个垂类业务场景完成应用落地验证，统一的预测模型相对基线独立模型在关键业务指标如CTR、CVR、CTCVR等上面有显著提升，其中CVR相对提升5％+，CTCVR相对提升9％+。

图8是根据本公开第六施例的示意图；如图8所示，本实施例提供一种预测模型的训练装置800，包括：

日志获取模块801，用于获取多个业务领域的日志数据；

构建模块802，用于基于所述多个业务领域的日志数据，构建特征信息表；所述特征信息表中包括所述多个业务领域的特征以及所述特征对应的内容数据；

特征获取模块803，用于基于所述特征信息表中各个所述业务领域的特征以及所述特征对应的内容数据，获取参与模型训练的目标特征；

训练模块804，用于基于所述目标特征和所述特征信息表，对预测模型进行多目标的训练。

本实施例的预测模型的训练装置800，通过采用上述模块实现预测模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关实施例的记载，在此不再赘述。

进一步可选地，在本公开的一个实施例中，构建模块，用于：

基于所述多个业务领域的日志数据，挖掘各所述业务领域的特征以及所述特征对应的内容数据；

将各所述业务领域的特征以及所述特征对应的内容数据进行聚合，得到所述特征信息表。

进一步可选地，在本公开的一个实施例中，特征获取模块，用于：

基于所述特征信息表中各所述业务领域的特征以及所述特征对应的内容数据，抽取至少两个所述业务领域共用的至少一个共用特征；

基于所述至少一个共用特征和各所述业务领域的至少一个特有特征，获取参与模型训练的所述目标特征；各所述业务领域的特有特征为所述特征信息表中所述业务领域对应的所有特征中所述共用特征之外的特征。

基于所述至少一个共用特征，获取参与模型训练的所述目标特征；

基于各所述业务领域的至少一个特有特征，获取参与模型训练的所述目标特征。

通过对各所述共用特征进行评估，从所述至少一个共用特征中，筛选参与模型训练的所述目标特征。

基于所述至少一个共用特征，按照预设的特征生成方式，生成至少一个第一类特征；

通过对各所述共用特征和各所述第一类特征分别进行评估，从所述至少一个共用特征和所述至少一个第一类特征中，筛选参与模型训练的所述目标特征。

通过对各所述业务领域的所述至少一个特有特征分别进行评估，从各所述业务领域的所述至少一个特有特征中，筛选参与模型训练的所述目标特征。

基于各所述业务领域的至少一个特有特征，按照预设的特征生成方式，生成各所述业务领域的至少一个第二类特征；

通过对各所述业务领域的所述至少一个特有特征和所述至少一个第二类特征分别进行评估，从各所述业务领域的所述至少一个特有特征和所述至少一个第二类特征中，筛选参与模型训练的所述目标特征。

进一步可选地，在本公开的一个实施例中，训练模块，用于：

基于所述目标特征，从所述特征信息表中获取多条训练数据；各条所述训练数据中包括所述目标特征的内容数据；

采用所述多条训练数据，对所述预测模型进行多目标的训练。

进一步可选地，在本公开的一个实施例中，该装置还包括：

格式转换模块，用于对所述特征信息表进行统一的格式转换。

上述实施例的预测模型的训练装置，通过采用上述模块实现预测模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关实施例的记载，在此不再赘述。

图9是是根据本公开第七施例的示意图；如图9所示，本实施例提供一种目标预测装置900，包括：

业务信息获取模块901，用于响应于业务请求，从数据管理平台中获取多条业务信息；

特征数据获取模块902，用于对于各条所述业务信息，基于对应的所述业务信息和预设的目标特征，获取所述目标特征对应的内容数据；

目标预测模块903，用于基于所述目标特征对应的内容数据和预先训练的预测模型，获取所述预测模型预测的多个目标的信息。

本实施例的目标预测装置900，通过采用上述模块实现目标预测的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关实施例的记载，在此不再赘述。

进一步可选地，在本公开的一个实施例中，目标预测装置还包括：

目标获取模块，用于对于各条所述业务信息，从对应的所述多个目标的信息中获取指定目标的信息；

排序模块，用于基于各条所述业务信息的所述指定目标的信息，对所述多个业务信息进行排序；

展示模块，用于按照所述排序的结果，展示所述多个业务信息。

进一步可选地，在本公开的一个实施例中，所述业务请求包括所述预测模型可以适用的多个业务领域中任一业务领域的业务请求；

所述多个目标包括点击率、转化率、深度转化率、展现转换率以及点击转化率中的至少两个。

上述实施例的目标预测装置，通过采用上述模块实现目标预测的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关实施例的记载，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如本公开的上述方法。例如，在一些实施例中，本公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的本公开的上述方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开的上述方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种预测模型的训练方法，包括：

获取多个业务领域的日志数据；

2.根据权利要求1所述的方法，其中，基于所述多个业务领域的日志数据，构建特征信息表，包括：

3.根据权利要求1所述的方法，其中，基于所述特征信息表中各个所述业务领域的特征以及所述特征对应的内容数据，获取参与模型训练的目标特征，包括：

4.根据权利要求3所述的方法，其中，基于所述至少一个共用特征和各所述业务领域的至少一个特有特征，获取参与模型训练的所述目标特征，包括：

5.根据权利要求4所述的方法，其中，基于所述至少一个共用特征，获取参与模型训练的所述目标特征，包括：

6.根据权利要求4所述的方法，其中，基于所述至少一个共用特征，获取参与模型训练的所述目标特征，包括：

7.根据权利要求4所述的方法，其中，基于各所述业务领域的至少一个特有特征，获取参与模型训练的所述目标特征，包括：

8.根据权利要求4所述的方法，其中，基于各所述业务领域的至少一个特有特征，获取参与模型训练的所述目标特征，包括：

9.根据权利要求1-8任一所述的方法，其中，基于所述目标特征和所述特征信息表，对预测模型进行多任务目标的训练，包括：

10.根据权利要求1-8任一所述的方法，其中，基于所述多个业务领域的日志数据，构建特征信息表之后，基于所述特征信息表中各个所述业务领域的特征以及所述特征对应的内容数据，获取参与模型训练的目标特征之前，所述方法还包括：

对所述特征信息表进行统一的格式转换。

11.一种目标预测方法，包括：

响应于业务请求，从数据管理平台中获取多条业务信息；

对于各条所述业务信息，基于对应的所述业务信息和预设的目标特征，获取所述目标特征对应的内容数据；基于所述目标特征对应的内容数据和预先训练的预测模型，获取所述预测模型预测的多个目标的信息。

12.根据权利要求11所述的方法，其中，基于所述预设的目标特征的内容数据和预先训练的预测模型，获取所述预测模型预测的多个目标的信息之后，所述方法还包括：

对于各条所述业务信息，从对应的所述多个目标的信息中获取指定目标的信息；

基于各条所述业务信息的所述指定目标的信息，对所述多个业务信息进行排序；

按照所述排序的结果，展示所述多个业务信息。

13.根据权利要求11所述的方法，其中，所述业务请求包括所述预测模型可以适用的多个业务领域中任一业务领域的业务请求；

14.一种预测模型的训练装置，包括：

日志获取模块，用于获取多个业务领域的日志数据；

15.根据权利要求14所述的装置，其中，所述构建模块，用于：

16.根据权利要求14所述的装置，其中，所述特征获取模块，用于：

17.根据权利要求16所述的装置，其中，所述特征获取模块，用于：

18.根据权利要求17所述的装置，其中，所述特征获取模块，用于：

19.根据权利要求17所述的装置，其中，所述特征获取模块，用于：

20.根据权利要求17所述的装置，其中，所述特征获取模块，用于：

21.根据权利要求17所述的装置，其中，所述特征获取模块，用于：

22.根据权利要求14-21任一所述的装置，其中，所述训练模块，用于：

23.根据权利要求14-21任一所述的装置，其中，所述装置包括：

24.一种目标预测装置，包括：

特征数据获取模块，用于对于各条所述业务信息，基于对应的所述业务信息和预设的目标特征，获取所述目标特征对应的内容数据；

目标预测模块，用于基于所述目标特征对应的内容数据和预先训练的预测模型，获取所述预测模型预测的多个目标的信息。

25.根据权利要求24所述的装置，其中，所述装置还包括：

26.根据权利要求24所述的装置，其中，所述业务请求包括所述预测模型可以适用的多个业务领域中任一业务领域的业务请求；

27.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10或者11-13中任一项所述的方法。

28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10或者11-13中任一项所述的方法。

29.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10或者11-13中任一项所述的方法。