CN113326440B - 基于人工智能的推荐方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种基于人工智能的推荐方法、装置、电子设备及计算机可读存储介质；方法包括：通过基准网络对样本对象的关联特征进行特征融合处理，得到融合特征，并对融合特征进行推荐预测处理，得到基准预测结果；通过群体网络对融合特征进行推荐预测处理，得到多个对象群体分别对应的群体预测结果；根据基准预测结果、样本对象属于的样本对象群体对应的群体预测结果、以及样本对象的样本推荐结果确定损失值，并根据损失值对推荐模型进行训练；其中，训练后的推荐模型用于针对属于任意一个对象群体的目标对象进行推荐。通过本申请，能够提升对推荐模型的训练效果，并提升根据训练后的推荐模型对不同对象群体进行推荐的精度。

Description

基于人工智能的推荐方法、装置及电子设备

技术领域

本申请涉及人工智能技术，尤其涉及一种基于人工智能的推荐方法、装置、电子设备及计算机可读存储介质。

背景技术

人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。机器学习（Machine Learning，ML）是人工智能的核心，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

个性化推荐是机器学习的一个重要应用，个性化推荐的目标是向对象（如用户）推荐感兴趣的内容，其中，推荐模型在推荐过程中起着关键的作用。在相关技术提供的方案中，通常是根据不区分对象群体的训练样本来训练推荐模型，然而，这会导致基数大的对象群体的训练样本主导整个训练过程，即训练效果差；训练出来的推荐模型也更容易按照基数大的对象群体的特点对所有对象进行推荐，导致推荐精度低。

发明内容

本申请实施例提供一种基于人工智能的推荐方法、装置、电子设备及计算机可读存储介质，能够提升对推荐模型的训练效果，并提升根据训练后的推荐模型进行推荐的精度。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种基于人工智能的推荐方法，推荐模型包括基准网络以及对应多个对象群体的群体网络；所述方法包括：

通过所述基准网络对样本对象的关联特征进行特征融合处理，得到融合特征，并对所述融合特征进行推荐预测处理，得到基准预测结果；

通过所述群体网络对所述融合特征进行推荐预测处理，得到所述多个对象群体分别对应的群体预测结果；

根据所述基准预测结果、所述样本对象属于的样本对象群体对应的群体预测结果、以及所述样本对象的样本推荐结果确定损失值，并根据所述损失值对所述推荐模型进行训练；

其中，训练后的所述推荐模型用于针对属于任意一个对象群体的目标对象进行推荐。

本申请实施例提供一种基于人工智能的推荐方法，推荐模型包括基准网络以及对应多个对象群体的群体网络；所述方法包括：

通过所述基准网络对目标对象的关联特征进行特征融合处理，得到融合特征；

通过所述群体网络对所述融合特征进行推荐预测处理，得到所述目标对象属于的目标对象群体对应的群体预测结果；

根据所述群体预测结果对多个候选内容进行筛选处理，得到目标内容；

根据所述目标内容执行针对所述目标对象的推荐操作。

本申请实施例提供一种基于人工智能的推荐装置，推荐模型包括基准网络以及对应多个对象群体的群体网络；所述装置包括：

基准模块，用于通过所述基准网络对样本对象的关联特征进行特征融合处理，得到融合特征，并对所述融合特征进行推荐预测处理，得到基准预测结果；

群体模块，用于通过所述群体网络对所述融合特征进行推荐预测处理，得到所述多个对象群体分别对应的群体预测结果；

训练模块，用于根据所述基准预测结果、所述样本对象属于的样本对象群体对应的群体预测结果、以及所述样本对象的样本推荐结果确定损失值，并根据所述损失值对所述推荐模型进行训练；

其中，训练后的所述推荐模型用于针对属于任意一个对象群体的目标对象进行推荐。

本申请实施例提供一种基于人工智能的推荐装置，推荐模型包括基准网络以及对应多个对象群体的群体网络；所述装置包括：

基准模块，用于通过所述基准网络对目标对象的关联特征进行特征融合处理，得到融合特征；

群体模块，用于通过所述群体网络对所述融合特征进行推荐预测处理，得到所述目标对象属于的目标对象群体对应的群体预测结果；

筛选模块，用于根据所述群体预测结果对多个候选内容进行筛选处理，得到目标内容；

推荐模块，用于根据所述目标内容执行针对所述目标对象的推荐操作。

本申请实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的基于人工智能的推荐方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的基于人工智能的推荐方法。

本申请实施例具有以下有益效果：

通过基准网络确定基准预测结果，通过群体网络确定群体预测结果，并结合基准预测结果、样本对象属于的样本对象群体对应的群体预测结果、以及样本对象的样本推荐结果来确定损失值，如此，在根据损失值进行模型训练的过程中，能够实现不同对象群体的信息共享和知识迁移，使得各个对象群体的兴趣都能得到充分的学习。此外，在根据训练后的推荐模型进行推荐时，也能够提升推荐精度，适用于不同的对象群体。

附图说明

图1是本申请实施例提供的训练多个对象群体分别对应的推荐模型的示意图；

图2是本申请实施例提供的推荐系统的架构示意图；

图3A是本申请实施例提供的终端设备的架构示意图；

图3B是本申请实施例提供的终端设备的架构示意图；

图4A是本申请实施例提供的基于人工智能的推荐方法的流程示意图；

图4B是本申请实施例提供的基于人工智能的推荐方法的流程示意图；

图4C是本申请实施例提供的确定第一损失值及第二损失值的流程示意图；

图4D是本申请实施例提供的基于人工智能的推荐方法的流程示意图；

图4E是本申请实施例提供的基于人工智能的推荐方法的流程示意图；

图5是本申请实施例提供的基于人工智能的推荐方法的流程示意图；

图6是本申请实施例提供的用户界面的示意图；

图7是本申请实施例提供的应用于排序阶段的推荐模型的架构示意图；

图8是本申请实施例提供的点击量对比示意图；

图9是本申请实施例提供的点击量对比示意图；

图10是本申请实施例提供的应用于召回阶段的推荐模型的架构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。在以下的描述中，所涉及的术语“多个”是指至少两个。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1）推荐模型：基于机器学习原理构建的模型，用于在推荐环节中提供内容筛选的依据，其中，推荐模型可以应用于推荐环节中的召回阶段，也可以应用于排序阶段。在本申请实施例中，推荐模型包括基准网络以及对应多个对象群体的群体网络，其中，基准网络用于建立一个整体目标（或称任务）来学习所有对象群体的兴趣，群体网络用于建立各个对象群体分别对应的群体目标，群体目标在整体目标的基础上进行调整，从而针对性地学习各个对象群体的兴趣。值得说明的是，模型中的网络是指人工神经网络（Artificial NeuralNetwork，ANN），而并不是指通信网络。

2）对象：指需要执行推荐操作的对象，例如对象可以是真实用户、用于代表真实用户的应用程序账号（如即时通信程序中的账号、资讯类应用程序中的账号、邮箱程序的账号）等。在本申请实施例中，可以通过特定的群体划分标准划分出多个对象群体，对这里的划分标准不做限定，例如可以根据活跃度情况划分出三个对象群体，分别为高活跃度对象、中活跃度对象以及低活跃度对象，其中，高活跃度对象的活跃度大于第一活跃度阈值，低活跃度对象的活跃度小于第二活跃度阈值，中活跃度对象的活跃度介于第一活跃度阈值与第二活跃度阈值之间，第一活跃度阈值大于第二活跃度阈值。

3）内容：指向对象推荐的内容，本申请实施例对内容的类型不做限定，例如可以是视频内容和/或图文内容等。

4）损失值：用于表示模型的输出结果与实际结果（或称标注结果）之间的差异。模型的训练主要涉及前向传播（Forward Propagation）及反向传播（Back Propagation）两个过程，以包括输入层、隐藏层及输出层的神经网络模型为例，前向传播处理是指依次通过输入层、隐藏层及输出层进行处理，最终得到输出结果；反向传播处理是指根据计算出的损失值依次传播至输出层、隐藏层及输入层，从而对各个层中的权重参数进行更新。

5）召回：从数据库的全量内容中筛选出与对象的兴趣相关的候选内容的集合。

6）排序：对召回的候选内容进行进一步筛选，以根据筛选出的候选内容执行推荐操作。

7）嵌入（Embedding）表示处理：是指将源数据映射到另外一个空间。在机器学习中，是指将源数据映射到更加低维的向量空间，得到低维稠密向量。

对于个性化推荐，相关技术主要提供了以下两种方案。

1）根据不区分对象群体的训练样本来训练推荐模型，并根据训练后的推荐模型进行个性化推荐。然而，这会导致基数大的对象群体的训练样本主导整个训练过程，训练出的推荐模型更容易按照基数大的对象群体的特点对所有对象进行推荐。以对象为用户的情况举例，高活跃度的用户群体的训练样本占了所有训练样本的80%，低活跃度的用户群体的训练样本占了所有训练样本的20%，则在进行模型训练后，训练后的推荐模型会偏向于高活跃度用户的喜好（或称兴趣），导致对低活跃度用户的推荐精度差，进而引发不良的用户体验。

2）训练与多个对象群体分别对应的推荐模型，以对象为用户的情况举例，按照用户的活跃度情况可以划分出高活跃度、中活跃度及低活跃度。在模型训练阶段，将所有训练样本同样按活跃度划分为三部分，每部分训练样本单独训练一个推荐模型，每个训练后的推荐模型用于对特定活跃度的用户进行推荐。如图1所示，用户1、4和5属于用户群体A，即高活跃度的用户群体，对应的训练样本用于训练推荐模型A；用户2属于用户群体B，即中活跃度的用户群体，对应的训练样本用于训练推荐模型B；用户3和6属于用户群体C，即低活跃度的用户群体，对应的训练样本用于训练推荐模型C。然而，该方案至少存在以下问题：①每个用户群体对应一个推荐模型，这会导致推荐模型的参数量会随着用户群体的增加而增大；②对于不同的用户群体来说，训练样本的数量可能差异很大，如果某个用户群体的训练样本的数量过少，则在训练该用户群体对应的推荐模型时很容易出现过拟合的情况，即训练效果差；③训练每个用户群体对应的推荐模型时需要维护用户群体自身的训练样本，在进行线上推荐时又需要维护多个用户群体分别对应的训练后的推荐模型，维护成本高。

本申请实施例提供一种基于人工智能的推荐方法、装置、电子设备及计算机可读存储介质，能够提升对推荐模型的训练效果，并提升根据训练后的推荐模型进行推荐的精度，能够适用于不同的对象群体。下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为各种类型的终端设备，也可以实施为服务器。

参见图2，图2是本申请实施例提供的推荐系统100的架构示意图，终端设备400通过网络300连接服务器200，服务器200连接数据库500，其中，网络300可以是广域网或者局域网，又或者是二者的组合。

在一些实施例中，以电子设备是终端设备为例，本申请实施例提供的基于人工智能的推荐方法可以由终端设备实现。例如，终端设备400可以根据训练样本对推荐模型进行训练，并将训练后的推荐模型保存在本地，其中，训练样本是根据样本推荐操作（即根据样本内容执行的针对样本对象的推荐操作）生成的，训练样本包括样本对象的关联特征、样本对象属于的样本对象群体、以及样本推荐结果。在需要向目标对象进行推荐时，终端设备400调用训练后的推荐模型确定出目标对象属于的目标对象群体对应的群体预测结果，并根据该群体预测结果对多个候选内容进行筛选处理得到目标内容，最终根据目标内容执行针对目标对象的推荐操作。

值得说明的是，对于训练样本来说，可以是终端设备400预先存储在本地的，也可以是终端设备400从外界（如服务器200、数据库500或区块链等）获取的，候选内容同理。

在一些实施例中，以电子设备是服务器为例，本申请实施例提供的基于人工智能的推荐方法可以由服务器实现。例如，服务器200可以从数据库500（或者区块链等处）中获取训练样本，根据训练样本对推荐模型进行训练，并将训练后的推荐模型保存在本地的分布式文件系统中，等待进行模型应用。在需要向目标对象进行推荐时，服务器200调用训练后的推荐模型，以在数据库500存储的多个候选内容中筛选出目标内容，并根据目标内容执行针对目标对象的推荐操作。

在一些实施例中，本申请实施例提供的基于人工智能的推荐方法可以由服务器和终端设备协同实现。例如，服务器200在训练完成推荐模型后，若接收到终端设备400发送的推荐请求，则根据推荐请求中携带的目标对象的信息（如标识），在数据库500中查询目标对象的关联特征。然后，服务器200调用训练后的推荐模型对目标对象的关联特征进行一系列处理，以在数据库500存储的多个候选内容中筛选出目标内容，并将目标内容发送至终端设备400，实现推荐。

又例如，服务器200在训练完成推荐模型后，可以将训练后的推荐模型发送至终端设备400，以使终端设备400在本地实现推荐。

在一些实施例中，可以将推荐模型训练过程中以及推荐过程中涉及到的各种结果（如训练样本、推荐模型、候选内容等）存储至区块链中，由于区块链具有不可篡改的特性，因此能够保证区块链中的数据的准确性。电子设备可以向区块链发送查询请求，以查询区块链中存储的数据。

在一些实施例中，终端设备400或服务器200可以通过运行计算机程序来实现本申请实施例提供的基于人工智能的推荐方法，计算机程序如图2示出的客户端410。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地（Native）应用程序（APP，Application），即需要在操作系统中安装才能运行的程序，如即时通信程序、资讯类程序等；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。

在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content DeliveryNetwork，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云服务可以是基于人工智能的推荐服务，供终端设备400进行调用。终端设备400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能电视、智能手表等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。

在一些实施例中，数据库500和服务器200可以独立设置。在一些实施例中，数据库500和服务器200也可以集成在一起，即数据库500可以视为存在于服务器200内部，与服务器200一体化，服务器200可以提供数据库500的数据管理功能。

以本申请实施例提供的电子设备是终端设备为例说明，可以理解的，对于电子设备是服务器的情况，图3A中示出的结构中的部分（例如用户接口、呈现模块和输入处理模块）可以缺省。参见图3A，图3A是本申请实施例提供的终端设备400的结构示意图，图3A所示的终端设备400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端设备400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3A中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个（有线或无线）网络接口420到达其他电子设备，示例性的网络接口420包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，Universal Serial Bus）等；

呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431（例如，显示屏、扬声器等）使得能够呈现信息（例如，用于操作外围设备和显示内容和信息的用户接口）；

输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的基于人工智能的推荐装置可以采用软件方式实现，图3A示出了存储在存储器450中的基于人工智能的推荐装置4551，其可以是程序和插件等形式的软件，包括以下软件模块：基准模块45511、群体模块45512及训练模块45513，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在一些实施例中，本申请实施例提供的基于人工智能的推荐装置也可以采用软件方式实现，图3B示出了存储在存储器450中的基于人工智能的推荐装置4552，其可以是程序和插件等形式的软件，包括以下软件模块：基准模块45521、群体模块45522、筛选模块45523及推荐模块45524，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。值得说明的是，图3B中除了示出的基于人工智能的推荐装置4552外，其余结构均可与图3A相同。

将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的基于人工智能的推荐方法。

参见图4A，图4A是本申请实施例提供的基于人工智能的推荐方法的流程示意图，将结合图4A示出的步骤进行说明。

在步骤101中，通过基准网络对样本对象的关联特征进行特征融合处理，得到融合特征，并对融合特征进行推荐预测处理，得到基准预测结果。

在本申请实施例中，推荐模型包括基准网络以及对应多个对象群体的群体网络，其中，基准网络用于建立一个整体目标来学习所有对象群体的兴趣，群体网络用于建立各个对象群体分别对应的群体目标，群体目标在整体目标的基础上进行调整，从而针对性地学习各个对象群体的兴趣。

在推荐模型的训练阶段，首先确定训练样本，该训练样本是根据样本推荐操作生成的，样本推荐操作即为根据样本内容执行的针对样本对象的推荐操作，是历史上已经发生过的。训练样本包括样本对象的关联特征、样本对象属于的样本对象群体、以及样本推荐操作的样本推荐结果，其中，关联特征至少包括样本对象的初始对象特征（如用户性别、用户年龄等），还可以包括样本内容的初始内容特征（如点击量、点击率等）；样本推荐结果用于表示样本对象是否对推荐的样本内容感兴趣，例如样本推荐结果可以包括两种，一种是已触发（即样本对象触发了推荐的样本内容），另一种是未触发，这里对触发的方式不做限定，例如可以是点击或长按等。

由于样本对象的关联特征一般包括多种特征，因此，这里通过基准网络对样本对象的关联特征进行特征融合处理得到融合特征，并对融合特征进行推荐预测处理得到基准预测结果。特征融合处理可以是指将关联特征中的多种特征拼接在一起，在拼接之前，还可以通过嵌入层对特定的若干种特征进行嵌入表示处理，以提升特征的稠密度和有效性。可以通过基准网络中的多层感知机（Multiple Layer Perceptron，MLP）网络对融合特征进行一系列处理，并对MLP网络的输出结果进行激活处理，得到基准预测结果，其中，MLP网络又称多层全连接神经网络，激活处理可以通过sigmoid激活函数实现，当然，推荐预测处理的方式并不限于此。

基准预测结果的含义可以根据推荐模型所要实现的功能的不同而改变，例如，当推荐模型用于确定推荐操作（或样本推荐操作）的预测推荐结果时，基准预测结果用于表示基准网络所确定出的预测推荐结果；当推荐模型用于确定对象的推荐对象特征时，基准预测结果用于表示基准网络所确定出的推荐对象特征。值得说明的是，推荐对象特征是指应用于推荐环节的对象特征，相较于初始对象特征来说能够更加准确、有效地描述对象。

在一些实施例中，可以通过这样的方式来实现上述的通过基准网络对样本对象的关联特征进行特征融合处理，得到融合特征：通过基准网络执行以下任意一种处理：对关联特征中的多种特征分别进行嵌入表示处理，并将得到的嵌入表示向量进行融合处理，得到融合特征；对关联特征中的可枚举特征进行嵌入表示处理，并将得到的嵌入表示向量与关联特征中的非可枚举特征进行融合处理，得到融合特征。

本申请实施例提供了以下两种方式来实现特征融合处理，根据实际场景中的需求，可以任选其一进行应用，将进行分别说明。

1）对关联特征中的多种特征分别进行嵌入表示处理，得到嵌入表示向量。然后，将多种特征分别对应的嵌入表示向量进行融合处理，得到融合特征。其中，嵌入表示处理的目的是提升特征的稠密度和有效性。通过该方式，能够提升确定出的融合特征的有效性。

2）对关联特征中的可枚举特征进行嵌入表示处理，并将得到的嵌入表示向量与关联特征中的非可枚举特征进行融合处理，得到融合特征。其中，可枚举特征又称稀疏型特征，对应的特征变量空间是可枚举的，例如对于用户性别这个特征来说，取值数包括男、女及未知这三种，因此用户性别属于可枚举特征；对于对象群体这个特征来说，取值数包括高活跃度、中活跃度及低活跃度这三种，因此对象群体也属于可枚举特征；非可枚举特征又称稠密型特征、连续型特征，对应的特征变量空间是不可枚举的，如内容的点击量、点击率均属于非可枚举特征。该方式通过特征的稀疏情况来判断是否进行嵌入表示处理，能够在节省计算资源的同时保证得到的融合特征的有效性。

值得说明的是，嵌入表示处理是一种能够对变量实现低维稠密表示的一种方法。嵌入表示处理可以通过查表法实现，例如，对于需要进行嵌入表示处理的特征，可以初始化对应的查找表（Lookup Table），该查找表的行数为该特征的取值数（特征变量空间中的取值数），列数为需要得到的嵌入表示向量的维数，在嵌入表示处理的过程中，根据该特征的实际取值在查找表中取出对应的行，并进行加权求和处理，得到嵌入表示向量。在该情况下，查找表中的参数即为需要更新的权重参数。对于非可枚举特征来说，可以将非可枚举特征（的取值）变换到区间[0，1]中，从而便于后续计算，例如可以利用特征变换的方式（如归一化、对数值取log等方式）来实现。

值得说明的是，这里的融合处理包括但不限于拼接处理。

在步骤102中，通过群体网络对融合特征进行推荐预测处理，得到多个对象群体分别对应的群体预测结果。

在本申请实施例中，针对多个对象群体进行多目标建模，其中每个对象群体对应一个群体目标，从而单独学习各个对象群体的兴趣，例如，可以体现在群体网络中，即是通过群体网络对融合特征进行推荐预测处理，得到与多个对象群体分别对应的群体预测结果。其中，对多目标建模的方式不做限定，例如可以通过多门控专家混合（Multi-gateMixture-of-Experts，MMoE）网络来实现，即群体网络可以包括MMoE网络。

群体预测结果与基准预测结果的含义基本相同，差异在于，基准预测结果是面向所有对象，而群体预测结果是面向特定的某个对象群体。

在步骤103中，根据基准预测结果、样本对象属于的样本对象群体对应的群体预测结果、以及样本对象的样本推荐结果确定损失值，并根据损失值对推荐模型进行训练；其中，训练后的推荐模型用于针对属于任意一个对象群体的目标对象进行推荐。

为了便于区分，这里将样本对象所属的对象群体命名为样本对象群体。在通过步骤102得到多个对象群体分别对应的群体预测结果后，从中筛选出样本对象群体对应的群体预测结果，并结合基准预测结果、样本对象群体对应的群体预测结果、以及样本推荐结果确定损失值，值得说明的是，损失值是以训练样本为单位确定出的。

根据得到的损失值在推荐模型中进行反向传播，并在反向传播的过程中，沿梯度下降方向更新推荐模型的权重参数，以实现对推荐模型的训练。本申请实施例对梯度下降算法不做限定，例如可以是批量梯度下降（Batch Gradient Descent，BGD）算法、小批量梯度下降（Mini-Batch Gradient Descent，MBGD）算法或随机梯度下降（StochasticGradient Descent，SGD）算法。

由于损失值的确定参考了基准预测结果及群体预测结果，因此，在根据损失值进行模型训练的过程中，能够同时学习整体目标以及各个对象群体的群体目标，通过信息共享和知识迁移的原理提升模型训练的效果。训练后的推荐模型可以应用于线上推荐，即针对属于任意一个对象群体的目标对象进行推荐。

如图4A所示，本申请实施例通过建立一个整体目标来学习全体对象的兴趣，同时建立各个对象群体对应的群体目标来学习对象群体的兴趣，在实现不同对象群体的信息共享和知识迁移的同时，解决了基数大的对象群体容易主导模型训练的问题，使得各个对象群体的兴趣都能得到充分的学习；另外，本申请实施例可以通过一个推荐模型同时服务多个对象群体，使得每个对象群体都可得到更加个性化的推荐体验，即能够提升推荐精度。

在一些实施例中，参见图4B，图4B是本申请实施例提供的基于人工智能的推荐方法的流程示意图，图4A示出的步骤103可以通过步骤201至步骤203实现，将结合各步骤进行说明。

在步骤201中，根据基准预测结果以及样本推荐结果，确定第一损失值。

在本申请实施例中，整体目标以及各个对象群体对应的群体目标可以分别进行学习，由于基准网络体现了整体目标，因此，可以根据基准网络输出的基准预测结果以及训练样本中的样本推荐结果，确定第一损失值。

在步骤202中，根据样本对象群体对应的群体预测结果以及样本推荐结果，确定第二损失值。

由于群体网络体现了群体目标，因此，可以根据群体网络输出的与样本对象群体对应的群体预测结果以及训练样本中的样本推荐结果，确定第二损失值，该第二损失值用于学习样本对象群体对应的群体目标。

值得说明的是，本申请实施例对用于计算损失值的损失函数不做限定，例如可以是交叉熵损失函数。

在步骤203中，根据第一损失值以及第二损失值对推荐模型进行训练。

例如，可以对第一损失值及第二损失值进行融合处理（如直接求和或加权求和），得到融合损失值，并根据融合损失值训练整个推荐模型。又例如，第一损失值及第二损失值可分别用于训练推荐模型中的不同部分。

在一些实施例中，可以通过这样的方式来实现上述的根据第一损失值以及第二损失值对推荐模型进行训练：根据第一损失值对推荐模型中的基准网络进行训练；根据第二损失值对推荐模型中的群体网络进行训练。

在本申请实施例中，群体网络可以是在基准网络的基础上进行调整的，因此，可以约束群体网络的训练无法影响到基准网络的训练，即两个网络的训练过程彼此隔离。例如，可以根据第一损失值对推荐模型中的基准网络进行训练，根据第二损失值对推荐模型中的群体网络进行训练。通过上述方式，能够进一步提升推荐模型的训练效果。

如图4B所示，本申请实施例通过确定第一损失值及第二损失值，能够进一步提升对整体目标和群体目标的学习效果。

在一些实施例中，参见图4C，图4C是本申请实施例提供的确定第一损失值及第二损失值的流程示意图，图4B示出的步骤201可以通过步骤301至步骤302实现，将结合各个步骤进行说明。

在步骤301中，将基准预测结果与样本内容对应的推荐内容特征进行内积处理，得到基准预测推荐结果。

例如，当样本对象的关联特征仅包括样本对象的初始对象特征时，推荐预测处理用于确定样本对象的推荐对象特征，在该情况下，基准预测结果即为基准推荐对象特征（即基准网络预测出的对象特征）。由于基准推荐对象特征仅能表示样本对象，因此，将基准推荐对象特征与样本内容对应的推荐内容特征进行内积处理，得到基准预测推荐结果。其中，推荐内容特征用于表示样本内容。

在步骤302中，确定基准预测推荐结果与样本推荐结果之间的差异，以作为第一损失值。

这里，根据损失函数确定基准预测推荐结果与样本推荐结果之间的差异，以作为第一损失值。

在图4C中，图4B示出的步骤202可以通过步骤303至步骤304实现，将结合各个步骤进行说明。

在步骤303中，将样本对象群体对应的群体预测结果与样本内容对应的推荐内容特征进行内积处理，得到群体预测推荐结果。

这里，样本对象群体对应的群体预测结果即为群体推荐对象特征（即群体网络预测出的对象特征），将群体推荐对象特征与样本内容对应的推荐内容特征进行内积处理，得到群体预测推荐结果。

在步骤304中，确定群体预测推荐结果与样本推荐结果之间的差异，以作为第二损失值。

同理，根据损失函数确定群体预测推荐结果与样本推荐结果之间的差异，以作为第二损失值。

值得说明的是，对于根据这里的第一损失值及第二损失值训练出的推荐模型来说，可以用于推荐环节的召回阶段。

在一些实施例中，步骤301之前，还包括：执行以下任意一种处理：确定样本内容对应的初始内容特征，以作为推荐内容特征；通过推荐模型中的内容表示网络对样本内容对应的初始内容特征进行特征融合处理，得到推荐内容特征。

本申请实施例提供了推荐内容特征的两种确定方式，可以根据实际场景中的需求任选其一应用，将进行分别说明。

1）确定样本内容对应的初始内容特征，以作为推荐内容特征，其中，初始内容特征可以包括内容的类型（如娱乐、时事、经济等）、点击量、点击率等。该种方式适用于初始内容特征包括的特征种类较少（例如仅包括一种特征）的情况，能够节省计算资源。

2）通过推荐模型中的内容表示网络对样本内容对应的初始内容特征进行特征融合处理，得到推荐内容特征。该种方式适用于初始内容特征包括的特征种类较多的情况，能够提升得到的推荐内容特征的有效性。

其中，特征融合处理可以通过以下两种方式中的任意一种来实现，将进行分别说明。

①通过内容表示网络中的嵌入层对初始内容特征中的多种特征分别进行嵌入表示处理，得到嵌入表示向量。然后，将多种特征分别对应的嵌入表示向量进行融合处理（如拼接处理），得到推荐内容特征。通过该方式能够得到稠密度高且有效的推荐内容特征。在一些实施例中，还可以通过内容表示网络中的MLP网络对推荐内容特征进行前向传播处理，得到新的推荐内容特征，从而进一步提升有效性。

②通过内容表示网络中的嵌入层对初始内容特征中的可枚举特征进行嵌入表示处理，并将得到的嵌入表示向量与初始内容特征中的非可枚举特征进行融合处理（如拼接处理），得到推荐内容特征。该方式通过特征的稀疏情况来判断是否进行嵌入表示处理，能够在节省计算资源的同时保证推荐内容特征的有效性。在一些实施例中，还可以通过内容表示网络中的MLP网络对推荐内容特征进行前向传播处理，得到新的推荐内容特征，从而进一步提升有效性。

在一些实施例中，当推荐模型包括内容表示网络时，还包括：对第一损失值和第二损失值进行融合处理，得到融合损失值；根据融合损失值训练内容表示网络。

在推荐模型包括内容表示网络的情况下，可以对第一损失值和第二损失值进行融合处理（如直接求和或加权求和等），得到融合损失值。然后，根据融合损失值训练内容表示网络，例如，当内容表示网络仅包括嵌入层时，根据融合损失值更新该嵌入层的权重参数；当内容表示网络包括嵌入层及MLP网络时，根据融合损失值更新该嵌入层及该MLP网络的权重参数。

如图4C所示，本申请实施例在推荐预测处理用于确定样本对象的推荐对象特征的情况下，通过内积处理的方式确定预测推荐结果，进而能够准确、有效地确定出损失值。

在一些实施例中，参见图4D，图4D是本申请实施例提供的基于人工智能的推荐方法的流程示意图，图4A示出的步骤103可以通过步骤401至步骤403实现，将结合各步骤进行说明。

在步骤401中，确定基准预测结果与样本推荐结果之间的差异，以作为第一损失值。

例如，当样本对象的关联特征包括样本对象的初始对象特征、样本内容的初始内容特征、交叉特征以及上下文（Context）特征时，推荐预测处理用于确定样本推荐操作的预测推荐结果，在该情况下，基准预测结果即为基准预测推荐结果（即基准网络预测出的推荐结果）。因此，根据损失函数确定基准预测推荐结果与样本推荐结果之间的差异，以作为第一损失值。

值得说明的是，上下文特征用于描述执行样本推荐操作时样本对象所处的上下文，例如时间信息和/或地点信息等。交叉特征可以是指样本对象与样本内容之间的交叉特征，例如将样本对象的初始对象特征中的用户性别与样本内容的初始内容特征中的内容类型进行交叉，得到“用户性别-内容类型”的交叉特征；也可以是指样本对象与上下文特征之间的交叉特征，例如将样本对象的初始对象特征中的用户性别与上下文特征中的时间信息进行交叉，得到“用户性别-时间信息”的交叉特征。

在步骤402中，确定样本对象群体对应的群体预测结果与样本推荐结果之间的差异，以作为第二损失值。

这里，样本对象群体对应的群体预测结果即为群体预测推荐结果，因此，根据损失函数确定群体预测推荐结果与样本推荐结果之间的差异，以作为第二损失值。

在步骤403中，根据第一损失值以及第二损失值对推荐模型进行训练。

这里，根据得到的第一损失值以及第二损失值对推荐模型进行训练。值得说明的是，对于这里训练出的推荐模型来说，可以用于推荐环节的排序阶段。

如图4D所示，本申请实施例在推荐预测处理用于确定推荐操作的预测推荐结果的情况下，直接将预测推荐结果与样本推荐结果之间的差异作为损失值，实现了损失值的准确计算。

在一些实施例中，参见图4E，图4E是本申请实施例提供的基于人工智能的推荐方法的流程示意图，图4A示出的步骤102可以通过步骤501至步骤504实现，将结合各步骤进行说明。

在步骤501中，通过多个子网络分别对融合特征进行子网络预测处理，得到子网络预测结果。

在本申请实施例中，群体网络可以包括MMoE网络以及多个对象群体分别对应的整合网络，其中，MMoE网络包括多个子网络（或称专家子网络）、以及多个对象群体分别对应的门控网络，不同子网络用于提取不同的特征；整合网络可以是MLP网络，但并不限于此。

为了便于理解，以多个对象群体中的任意一个对象群体（命名为对象群体A）为例，说明通过群体网络进行推荐预测处理的过程。首先，通过多个子网络分别对融合特征进行子网络预测处理（前向传播处理），如此，每个子网络都会输出一个子网络预测结果。

在步骤502中，通过任意一个对象群体对应的门控网络对融合特征进行门控预测处理，得到多个子网络分别对应的门控权重。

在步骤501的同时，通过对象群体A对应的门控网络对融合特征进行门控预测处理（前向传播处理），得到一个概率向量，该概率向量包括多个子网络分别对应的门控权重。

在步骤503中，根据门控权重对多个子网络分别对应的子网络预测结果进行加权处理，得到任意一个对象群体对应的加权预测结果。

这里，根据每个子网络的门控权重，对多个子网络分别对应的子网络预测结果进行加权处理（如加权求和），得到对象群体A对应的加权预测结果。

在步骤504中，通过任意一个对象群体对应的整合网络对加权预测结果进行整合处理，得到任意一个对象群体对应的群体预测结果。

这里，通过对象群体A对应的整合网络对加权预测结果进行整合处理（前向传播处理），得到对象群体A对应的群体预测结果。其中，在进行整合处理后还可以进行激活处理，得到对象群体A对应的群体预测结果，激活处理可以通过sigmoid激活函数实现，但并不限于此。

如图4E所示，本申请实施例提供了群体网络的一种示例架构，能够提升通过群体网络进行推荐预测处理的准确性。

将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的基于人工智能的推荐方法。

参见图5，图5是本申请实施例提供的基于人工智能的推荐方法的流程示意图，将结合图5示出的步骤进行说明。

在步骤601中，通过基准网络对目标对象的关联特征进行特征融合处理，得到融合特征。

例如，在完成对推荐模型的训练后，可以通过训练后的推荐模型中的基准网络对目标对象的关联特征进行特征融合处理，得到融合特征。其中，目标对象即为需要执行推荐操作的对象。

在步骤602中，通过群体网络对融合特征进行推荐预测处理，得到目标对象属于的目标对象群体对应的群体预测结果。

例如，通过训练后的推荐模型中的群体网络对融合特征进行推荐预测处理，得到多个对象群体分别对应的群体预测结果，并从中筛选出目标对象所属的对象群体（为了便于区分，命名为目标对象群体）对应的群体预测结果。又例如，通过训练后的推荐模型中的群体网络对融合特征进行推荐预测处理，在推荐预测处理的过程中仅确定目标对象群体对应的群体预测结果，如此，能够有效地节省计算资源。

在步骤603中，根据群体预测结果对多个候选内容进行筛选处理，得到目标内容。

这里，根据群体预测结果对多个候选内容（例如数据库中的全量候选内容）进行筛选处理，为了便于区分，将筛选出的候选内容命名为目标内容。

在一些实施例中，推荐预测处理用于确定目标对象的推荐对象特征；可以通过这样的方式来实现上述的根据群体预测结果对多个候选内容进行筛选处理，得到目标内容：将群体预测结果与候选内容的推荐内容特征进行内积处理，得到预测推荐结果；对多个候选内容分别对应的预测推荐结果进行筛选处理；将筛选出的预测推荐结果对应的候选内容作为目标内容。

例如，目标对象的关联特征仅包括目标对象的初始对象特征，推荐预测处理用于确定目标对象的推荐对象特征。在该情况下，目标对象群体对应的群体预测结果即为群体推荐对象特征，因此，可以将群体推荐对象特征与候选内容的推荐内容特征进行内积处理，得到预测推荐结果（群体预测推荐结果），其中，每一个预测推荐结果对应一个候选内容。

然后，对多个候选内容分别对应的预测推荐结果进行筛选处理，并将筛选出的预测推荐结果对应的候选内容作为目标内容。例如，在预测推荐结果与目标对象的感兴趣程度（指对候选内容的感兴趣程度）正相关的情况下，可以按照预测推荐结果从大到小的顺序，筛选出数量达到数量阈值的预测推荐结果。

在一些实施例中，在将群体预测结果与候选内容的推荐内容特征进行内积处理之前，还包括：执行以下任意一种处理：将候选内容对应的初始内容特征作为推荐内容特征；通过推荐模型中的内容表示网络对候选内容对应的初始内容特征进行特征融合处理，得到推荐内容特征。

同样地，对于每个候选内容，可以直接将候选内容对应的初始内容特征作为推荐内容特征，也可以通过训练后的推荐模型中的内容表示网络对候选内容对应的初始内容特征进行特征融合处理，得到推荐内容特征。如此，能够适用于不同的应用场景。

值得说明的是，可以预先确定出每个候选内容的推荐内容特征，并存储至数据库中，以作为离线索引。如此，能够提升推荐的实时性。

在一些实施例中，推荐预测处理用于确定根据候选内容执行针对目标对象的推荐操作的预测推荐结果；可以通过这样的方式来实现上述的根据群体预测结果对多个候选内容进行筛选处理，得到目标内容：对多个候选内容分别对应的群体预测结果进行筛选处理；将筛选出的群体预测结果对应的候选内容作为目标内容。

例如，目标对象的关联特征包括目标对象的初始对象特征、候选内容的初始内容特征、交叉特征以及上下文特征，推荐预测处理用于确定根据候选内容执行针对目标对象的推荐操作的预测推荐结果。在该情况下，目标对象群体对应的群体预测结果即为群体预测推荐结果，因此，可以对多个候选内容分别对应的群体预测推荐结果进行筛选处理，并将筛选出的群体预测推荐结果对应的候选内容作为目标内容。例如，在群体预测推荐结果与目标对象的感兴趣程度（指对候选内容的感兴趣程度）正相关的情况下，可以按照群体预测推荐结果从大到小的顺序，筛选出数量达到数量阈值的群体预测推荐结果。

在步骤604中，根据目标内容执行针对目标对象的推荐操作。

在筛选得到目标内容后，根据目标内容执行针对目标对象的推荐操作，例如，将目标内容显示于目标对象打开的用户界面中，当然，推荐操作的实施方式并不限于此。

在一些实施例中，本申请实施例的推荐环节可以包括召回和排序两个阶段。例如，在召回阶段中，通过应用于召回阶段、且训练后的推荐模型从多个候选内容中筛选出数量等于第一数量阈值的候选内容，以作为召回的候选内容；在排序阶段中，通过应用于排序阶段、且训练后的推荐模型从召回的多个候选内容中筛选出数量等于第二数量阈值的候选内容，以作为目标内容，其中，第二数量阈值小于第一数量阈值。如此，能够进一步提升推荐精度。

如图5所示，无论是基数较大的对象群体还是基数较小的对象群体，通过本申请实施例提供的推荐模型进行推荐后，均能取得良好的推荐效果，能够提升用户体验。

下面，将说明本申请实施例在实际的应用场景中的示例性应用。本申请实施例可以适用于各种推荐场景中，例如可以在各种应用程序中（如即时通信应用程序、资讯类应用程序）中通过本申请实施例提供的方案来实现内容推荐，其中，对需要推荐的内容不做限定，例如可以是图文内容和/或视频内容等。这里，提供了图6所示的用户界面的示意图，其中示例性地示出了内容61。

在一些实施例中，本申请实施例可以应用于推荐过程中的排序（Ranking）阶段，排序阶段用于对召回（Recall）阶段所召回的内容（例如数量在百到千级别的内容）进行打分和排序。相较于召回阶段来说，在排序阶段可以融入更多特征，使用更复杂的模型结构，从而使得推荐精度更高。作为示例，提供了如图7所示的推荐模型的架构示意图，为了便于理解，将以对象为用户的情况进行举例说明。

在图7中，输入基准网络的特征（对应上文的关联特征）包括但不限于初始用户特征（对应上文的初始对象特征，例如可以包括用户性别、用户群体等）、初始内容特征、人工交叉特征以及上下文特征等。这些特征可以分为两类，即稀疏型特征（Sparse Features）和稠密型特征（Dense Features），其中，稀疏型特征对应上文的可枚举特征，稠密型特征（又称连续型特征）对应上文的非可枚举特征。稀疏型特征的特征变量空间是可枚举的，例如对于用户性别这个特征来说，取值数包括男、女及未知这三种；对于用户群体这个特征来说，取值数包括高活跃度、中活跃度及低活跃度这三种；对于内容的一级分类这个特征来说，取值数就是一级分类的总数。稠密型特征的特征变量空间是不可枚举的，如内容的点击量、点击率等。

对于每个稀疏型特征，通过基准网络中的嵌入（Embedding）层进行嵌入表示处理，得到嵌入表示向量。其中，嵌入表示处理是一种能够对变量实现低维稠密表示的一种方法，例如，对于每个稀疏型特征，可以初始化一个查找表（Lookup Table），该查找表的行数为稀疏型特征的取值数，列数为低维稠密向量（即需要得到的嵌入表示向量）的维数，在嵌入表示处理的过程中，根据实际的稀疏型特征（指实际的取值）在查找表中取出对应的行，并进行加权求和处理，得到嵌入表示向量。对于稠密型特征，将稠密型特征（的取值）变换到区间[0，1]中，其中，可以利用特征变换的方式（如归一化、对数值取log等）来实现。

基准网络用于根据全部的训练样本学习全部用户的兴趣，该基准网络能够充分利用所有信息学习共性的知识，供各个用户群体做迁移学习。如图7所示，在基准网络中，通过嵌入层对输入的稀疏型特征进行嵌入表示处理得到嵌入表示向量，将嵌入表示向量与稠密型特征进行拼接处理得到融合特征，然后通过MLP网络（包括多个全连接层）以及非线性激活处理得到分数（对应图7中的logit），最后通过sigmoid激活函数对分数进行激活处理，得到基准预测点击率（对应图7示出的基准网络中的PCTR），其中，基准预测点击率即上文的基准预测推荐结果。

在训练时，所有的训练样本都会参与对基准网络的权重参数（包括图7中的

）的更新。举例来说，使用

来表示融合特征，

表示基准网络中的MLP网络，

表示基准预测点击率，则有如下公式：

公式（1）

基准网络可采用交叉熵损失函数来计算损失值，计算公式如下所示：

公式（2）

在公式（2）中，

表示训练样本的数量，

表示将样本内容推荐至样本用户后得到的点击标签（对应上文的样本推荐结果），

表示样本用户点击了样本内容，

表示已曝光且未点击，S表示所有的用户群体产生的训练样本的集合。

前面提到，在相关技术提供的方案中，在不同用户群体的训练样本的数量差异较大的情况下，训练出的推荐模型对训练样本的数量较少的用户群体的推荐效果很差。为了克服这个问题，本申请实施例通过多目标（或称多任务）的方式引入了群体网络，群体网络的主要作用就是在基准网络学习到的全局知识的基础上，根据各个用户群体的训练样本分别学习各个用户群体独有的兴趣特点，如此，对于训练样本的数量较少的用户群体，也能借助于知识的共享和迁移学习得到充分的学习。同时，以多目标的形式引入的群体网络为每个用户群体分配了独立的参数空间，群体网络中的各个专家子网络都能学习到对应用户群体的兴趣特点，避免训练样本数量较多的用户群体主导模型训练所导致的影响其他用户群体的推荐精度的问题。

本申请实施例提供的群体网络是在基准网络的基础上进行微调（Finetune），群体网络中引入了多门控专家混合（Multi-gate Mixture-of-Experts，MMoE）的网络结构，该网络结果包括多个专家子网络（Expert Network），每一个专家子网络是一个深度神经网络，不同专家子网络用于提取不同的特征。在融合各个专家子网络的输出时，通过门控网络（Gate Network）来为每一个专家子网络分配一个门控权重，然后对所有专家子网络的输出按门控权重进行加权求和处理，得到MMoE的输出。如图7所示，专家子网络是各个用户群体共用的，不同的用户群体对应不同的门控网络（如图7中的Gate1和Gate2）。对于各个用户群体，通过用户群体对应的门控网络来控制对多个专家子网络的输出的融合，得到该用户群体（的训练样本）的MMoE输出，然后，通过该用户群体对应的MLP网络（对应上文的整合网络）对该用户群体的MMoE输出进行前向传播处理，得到群体预测点击率（对应图7示出的群体网络中的PCTR），其中，群体预测点击率即上文的群体预测推荐结果。

将融合特征记作

，第i个专家子网络的输出记作

，第k个用户群体的门控函数记为

，则

的表达式为：

公式（3）

在公式（3）中，

表示第k个用户群体对应的门控网络的权重参数，

表示x经过全连接之后再进行softmax处理得到的概率向量，该概率向量中的元素数量等于专家子网络的数量，用于表示对应各个专家子网络的门控权重。记

中的第i个元素为

，则

，其中M是专家子网络的数量。那么，第k个用户群体对应的门控网络的输出

（同样也是MMoE的输出）可以表示为：

公式（4）

在得到用户群体对应的门控网络的输出之后，将

作为该用户群体对应的MLP的输入，经过处理得到群体预测点击率。设第k个用户群体的MLP为

，那么第k个用户群体的分数为：

公式（5）

在群体网络中，得到第k个用户群体的分数后，可以通过sigmoid激活函数对第k个用户群体的分数进行激活处理，得到群体预测点击率。

群体网络也可采用交叉熵损失函数来计算损失值，如下所示：

公式（6）

在公式（6）中，

表示第i个用户群体的群体预测点击率，

的含义与公式（2）中

的含义相同，

表示第i个用户群体产生的训练样本所构成的集合，即在对各用户群体计算损失值时只利用该用户群体的训练样本。

根据得到的

（对应上文的第一损失值）和

（对应上文的第二损失值），即可实现对推荐模型的训练。如图7所示，推荐模型的权重参数可分为三部分，第一部分是基准网络的底层权重参数，主要是嵌入层中的各种查找表，对应图7中的

；第二部分是基准网络的MLP网络中的各个全连接层的权重参数，对应图7中的

；第三部分是群体网络的权重参数

。其中，

和

通过最小化

来更新，

通过最小化

来更新，基准网络和群体网络在训练时互不干扰。

在完成对推荐模型的训练后，即可根据训练后的推荐模型进行在线推荐。例如，基于目标用户属于的目标用户群体，通过训练后的推荐模型确定出目标用户分别针对多个候选内容的群体预测点击率，例如存在候选内容A、B和C，通过训练后的推荐模型可以确定出目标用户针对候选内容A的群体预测点击率为20%，目标用户针对候选内容B的群体预测点击率为60%，目标用户针对候选内容C的群体预测点击率为80%。然后，根据每个候选内容对应的群体预测点击率对多个候选内容进行筛选处理，并将筛选出的候选内容作为目标内容，其中，可以筛选出数值最大的若干个群体预测点击率（即TOP K的群体预测点击率，这里的K是大于0的整数）对应的候选内容，以作为目标内容。以TOP 1的筛选条件为例，在上述得到的20%、60%及80%中，最大的群体预测点击率是80%，因此将候选内容C作为目标内容。最后，根据目标内容执行针对目标用户的推荐操作，即是将目标内容推荐给目标用户。

本申请实施例提供了一种应用于排序阶段的基于用户分群的推荐模型，以此解决由于不同用户群体的训练样本的数量差异大所导致的模型推荐有偏的问题。本申请实施例在图文内容推荐场景中进行了线上A/B测试，实验结果证明本申请实施例较之相关技术提供的方案更加有效。作为示例，提供了如图8所示的用户群体1的点击量对比示意图、以及如图9所示的用户群体2的点击量对比示意图，如图8和图9中示出的百分比（即纵轴的数值）是指实验组与对照组之间的点击量相对值，其中，在空跑期期间，实验组和对照组都是按照相关技术提供的方案来进行模型训练和线上推荐；在实验期期间，对照组仍是按照相关技术提供的方案来进行模型训练和线上推荐，而实验组则是按照本申请实施例提供的方案来进行模型训练和线上推荐。

值得说明的是，用户群体1是基数比较小（用户比较少，训练样本的数量也较少）的用户群体，用户群体2是基数比较大的用户群体，若应用相关技术提供的方案，则模型训练的过程会被用户群体2主导。应用本申请实施例提供的方案后，各个用户群体拥有独立的参数空间，推荐模型能够学习到各个用户群体的兴趣特点，从而使得推荐精度更加高，由此带来了点击量的提升。如图8所示，对于用户群体1，在实验期应用本申请实施例提供的方案后，点击量的涨幅提升明显；如图9所示，对于用户群体2，在实验期应用本申请实施例提供的方案后，点击量略有涨幅。此外，图8和图9中示出的负数百分比属于正常的波动情况。

在一些实施例中，本申请实施例提供的基于用户分群的多目标建模方式除了应用于排序阶段之外，同样也能应用于召回阶段。作为示例，提供了如图10所示的应用于召回阶段的推荐模型的架构示意图，同样包括基准网络和群体网络，差异在于，输入基准网络的特征仅包括初始用户特征（如图10中示出的用户特征1和用户特征2）。在通过基准网络中的嵌入层进行嵌入表示处理后，将得到的嵌入表示向量进行拼接处理得到融合特征，然后，通过基准网络中的MLP网络对融合特征进行特征提取处理，得到基准推荐用户特征（对应图10中的基准user vector），同时，通过群体网络对融合特征进行特征提取网络，得到各个用户群体的群体推荐用户特征（即群体网络所预测出的用户特征，对应图10中的用户群体1的uservector和用户群体2的user vector）。对于召回阶段，推荐模型还包括内容表示网络，通过内容表示网络对内容的初始内容特征（对应图10中的内容特征1和内容特征2）进行处理后，得到推荐内容特征。

对于基准网络，将基准推荐用户特征与推荐内容特征进行内积处理得到推荐分数（即预测推荐结果），并将公式（2）中的基准预测点击率替换为该推荐分数，得到损失值

，该损失值

用于更新基准网络的权重参数。同理，对于群体网络，将群体推荐用户特征与推荐内容特征进行内积处理得到推荐分数，并将公式（6）中的群体预测点击率替换为该推荐分数，得到损失值

，该损失值

用于更新群体网络的权重参数。对于内容表示网络，将损失值

和

进行融合处理（如求和处理），并根据得到的融合损失值更新内容表示网络的权重参数。

在完成对推荐模型的训练后，可以通过训练后的推荐模型进行线上召回，例如，通过训练后的推荐模型计算目标用户与每个候选内容之间的推荐分数，并根据推荐分数对多个候选内容进行筛选处理（例如筛选出最大的若干个推荐分数对应的候选内容），得到召回的候选内容，这里召回的候选内容用于进入排序阶段，以进行进一步筛选。

值得说明的是，为了提升召回阶段的处理实时性，可以预先通过训练后的推荐模型（这里可指训练后的内容表示网络）确定候选内容的推荐内容特征，并将推荐内容特征存储至数据库中，以作为离线索引（如faiss索引）。在线上接收到任意一个用户的推荐请求时，将该用户作为目标用户，通过训练后的推荐模型实时确定目标用户的群体推荐用户特征，同时请求数据库，以根据该群体推荐用户特征以及数据库中的各推荐内容特征确定推荐分数。

本申请实施例至少能够实现以下技术效果：1）提供了一种基于用户分群的推荐模型，能够利用多目标模型的优势去更好地学习各个用户群体的兴趣，一个推荐模型能够同时服务于多个用户群体，使得每个用户群体能够得到更加个性化的精准推荐体验；2）通过建立一个整体目标（对应基准网络）学习全体用户的兴趣，各个用户群体分别建立各自的群体目标（对应群体网络），群体目标在整体目标的基础上微调，在实现不同用户群体的信息共享和知识迁移的同时，解决了基数大的用户群体容易主导模型训练的问题，使得各个用户群体的兴趣都能得到充分的学习；3）具有普适性，对于不同的推荐场景和不同的群体划分标准都适用，例如能够适用于召回阶段和排序阶段；4）具有可扩展性，能够在不增加线上维护成本的情况下扩展用户群体的数量；5）对多个用户群体进行建模的方式并不限于MMoE，也可以采用其他的多目标网络，能够提升灵活性。

下面继续说明本申请实施例提供的基于人工智能的推荐装置4551实施为软件模块的示例性结构，在一些实施例中，如图3A所示，存储在存储器450的基于人工智能的推荐装置4551中的软件模块可以包括：基准模块45511，用于通过基准网络对样本对象的关联特征进行特征融合处理，得到融合特征，并对融合特征进行推荐预测处理，得到基准预测结果；群体模块45512，用于通过群体网络对融合特征进行推荐预测处理，得到多个对象群体分别对应的群体预测结果；训练模块45513，用于根据基准预测结果、样本对象属于的样本对象群体对应的群体预测结果、以及样本对象的样本推荐结果确定损失值，并根据损失值对推荐模型进行训练；其中，训练后的推荐模型用于针对属于任意一个对象群体的目标对象进行推荐。

在一些实施例中，训练模块45513还用于：根据基准预测结果以及样本推荐结果，确定第一损失值；根据样本对象群体对应的群体预测结果以及样本推荐结果，确定第二损失值；根据第一损失值以及第二损失值对推荐模型进行训练。

在一些实施例中，样本推荐结果用于表示根据样本内容执行针对样本对象的推荐操作的推荐结果；推荐预测处理用于确定样本对象的推荐对象特征；训练模块45513还用于：将基准预测结果与样本内容对应的推荐内容特征进行内积处理，得到基准预测推荐结果；确定基准预测推荐结果与样本推荐结果之间的差异，以作为第一损失值；将样本对象群体对应的群体预测结果与样本内容对应的推荐内容特征进行内积处理，得到群体预测推荐结果；确定群体预测推荐结果与样本推荐结果之间的差异，以作为第二损失值。

在一些实施例中，训练模块45513还用于执行以下任意一种处理：确定样本内容对应的初始内容特征，以作为推荐内容特征；通过推荐模型中的内容表示网络对样本内容对应的初始内容特征进行特征融合处理，得到推荐内容特征。

在一些实施例中，当推荐模型包括内容表示网络时，训练模块45513还用于：对第一损失值和第二损失值进行融合处理，得到融合损失值；根据融合损失值训练内容表示网络。

在一些实施例中，样本推荐结果用于表示根据样本内容执行针对样本对象的推荐操作的推荐结果；推荐预测处理用于确定推荐操作的预测推荐结果；训练模块45513还用于：确定基准预测结果与样本推荐结果之间的差异，以作为第一损失值；确定样本对象群体对应的群体预测结果与样本推荐结果之间的差异，以作为第二损失值。

在一些实施例中，训练模块45513还用于：根据第一损失值对推荐模型中的基准网络进行训练；根据第二损失值对推荐模型中的群体网络进行训练。

在一些实施例中，群体网络包括多个子网络、多个对象群体分别对应的门控网络、以及多个对象群体分别对应的整合网络；群体模块45512还用于针对任意一个对象群体，执行以下处理：通过多个子网络分别对融合特征进行子网络预测处理，得到子网络预测结果；通过任意一个对象群体对应的门控网络对融合特征进行门控预测处理，得到多个子网络分别对应的门控权重；根据门控权重对多个子网络分别对应的子网络预测结果进行加权处理，得到任意一个对象群体对应的加权预测结果；通过任意一个对象群体对应的整合网络对加权预测结果进行整合处理，得到任意一个对象群体对应的群体预测结果。

在一些实施例中，基准模块45511还用于：通过基准网络执行以下任意一种处理：对关联特征中的多种特征分别进行嵌入表示处理，并将得到的嵌入表示向量进行融合处理，得到融合特征；对关联特征中的可枚举特征进行嵌入表示处理，并将得到的嵌入表示向量与关联特征中的非可枚举特征进行融合处理，得到融合特征。

下面继续说明本申请实施例提供的基于人工智能的推荐装置4552实施为软件模块的示例性结构，在一些实施例中，如图3B所示，存储在存储器450的基于人工智能的推荐装置4552中的软件模块可以包括：基准模块45521，用于通过基准网络对目标对象的关联特征进行特征融合处理，得到融合特征；群体模块45522，用于通过群体网络对融合特征进行推荐预测处理，得到目标对象属于的目标对象群体对应的群体预测结果；筛选模块45523，用于根据群体预测结果对多个候选内容进行筛选处理，得到目标内容；推荐模块45524，用于根据目标内容执行针对目标对象的推荐操作。

在一些实施例中，推荐预测处理用于确定目标对象的推荐对象特征；筛选模块45523还用于：将群体预测结果与候选内容的推荐内容特征进行内积处理，得到预测推荐结果；对多个候选内容分别对应的预测推荐结果进行筛选处理；将筛选出的预测推荐结果对应的候选内容作为目标内容。

在一些实施例中，筛选模块45523还用于执行以下任意一种处理：将候选内容对应的初始内容特征作为推荐内容特征；通过推荐模型中的内容表示网络对候选内容对应的初始内容特征进行特征融合处理，得到推荐内容特征。

在一些实施例中，推荐预测处理用于确定根据候选内容执行针对目标对象的推荐操作的预测推荐结果；筛选模块45523还用于：对多个候选内容分别对应的群体预测结果进行筛选处理；将筛选出的群体预测结果对应的候选内容作为目标内容。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令（即可执行指令），该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例上述的基于人工智能的推荐方法。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的基于人工智能的推荐方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。

以上，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种基于人工智能的推荐方法，其特征在于，推荐模型包括基准网络以及对应多个对象群体的群体网络；所述方法包括：

通过所述基准网络对样本对象的关联特征进行特征融合处理，得到融合特征，并对所述样本对象的融合特征进行推荐预测处理，得到基准预测结果；

通过所述群体网络对所述融合特征进行推荐预测处理，得到所述多个对象群体分别对应的群体预测结果；

根据所述基准预测结果以及所述样本对象的样本推荐结果，确定第一损失值；其中，所述样本推荐结果用于表示所述样本对象是否对推荐的样本内容感兴趣；

根据所述样本对象属于的样本对象群体对应的群体预测结果以及所述样本推荐结果，确定第二损失值；

根据所述第一损失值以及所述第二损失值对所述推荐模型进行训练；

通过训练后的所述基准网络对目标对象的关联特征进行特征融合处理，得到融合特征；

通过训练后的所述群体网络对所述目标对象的融合特征进行推荐预测处理，得到所述目标对象属于的目标对象群体对应的群体预测结果；

根据所述目标对象群体对应的群体预测结果对多个候选内容进行筛选处理，得到目标内容；

根据所述目标内容执行针对所述目标对象的推荐操作。

2.根据权利要求1所述的方法，其特征在于，所述推荐预测处理用于确定所述样本对象的推荐对象特征；

所述根据所述基准预测结果以及所述样本对象的样本推荐结果，确定第一损失值，包括：

将所述基准预测结果与所述样本内容对应的推荐内容特征进行内积处理，得到基准预测推荐结果；

确定所述基准预测推荐结果与所述样本推荐结果之间的差异，以作为第一损失值；

所述根据所述样本对象属于的样本对象群体对应的群体预测结果以及所述样本推荐结果，确定第二损失值，包括：

将所述样本对象群体对应的群体预测结果与所述样本内容对应的推荐内容特征进行内积处理，得到群体预测推荐结果；

确定所述群体预测推荐结果与所述样本推荐结果之间的差异，以作为第二损失值。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

执行以下任意一种处理：

确定所述样本内容对应的初始内容特征，以作为推荐内容特征；

通过所述推荐模型中的内容表示网络对所述样本内容对应的初始内容特征进行特征融合处理，得到推荐内容特征。

4.根据权利要求3所述的方法，其特征在于，当所述推荐模型包括所述内容表示网络时，所述方法还包括：

对所述第一损失值和所述第二损失值进行融合处理，得到融合损失值；

根据所述融合损失值训练所述内容表示网络。

5.根据权利要求1所述的方法，其特征在于，所述推荐预测处理用于确定根据所述样本内容执行针对所述样本对象的推荐操作的预测推荐结果；

所述根据所述基准预测结果以及所述样本对象的样本推荐结果，确定第一损失值，包括：

确定所述基准预测结果与所述样本推荐结果之间的差异，以作为第一损失值；

所述根据所述样本对象属于的样本对象群体对应的群体预测结果以及所述样本推荐结果，确定第二损失值，包括：

确定所述样本对象群体对应的群体预测结果与所述样本推荐结果之间的差异，以作为第二损失值。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失值以及所述第二损失值对所述推荐模型进行训练，包括：

根据所述第一损失值对所述推荐模型中的所述基准网络进行训练；

根据所述第二损失值对所述推荐模型中的所述群体网络进行训练。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述群体网络包括多个子网络、所述多个对象群体分别对应的门控网络、以及所述多个对象群体分别对应的整合网络；

所述通过所述群体网络对所述融合特征进行推荐预测处理，得到所述多个对象群体分别对应的群体预测结果，包括：

针对任意一个对象群体，执行以下处理：

通过所述多个子网络分别对所述融合特征进行子网络预测处理，得到子网络预测结果；

通过所述任意一个对象群体对应的门控网络对所述融合特征进行门控预测处理，得到所述多个子网络分别对应的门控权重；

根据所述门控权重对所述多个子网络分别对应的子网络预测结果进行加权处理，得到所述任意一个对象群体对应的加权预测结果；

通过所述任意一个对象群体对应的整合网络对所述加权预测结果进行整合处理，得到所述任意一个对象群体对应的群体预测结果。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述通过所述基准网络对样本对象的关联特征进行特征融合处理，得到融合特征，包括：

通过所述基准网络执行以下任意一种处理：

对所述关联特征中的多种特征分别进行嵌入表示处理，并将得到的嵌入表示向量进行融合处理，得到融合特征；

对所述关联特征中的可枚举特征进行嵌入表示处理，并将得到的嵌入表示向量与所述关联特征中的非可枚举特征进行融合处理，得到融合特征。

9.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述目标对象群体对应的群体预测结果对多个候选内容进行筛选处理，得到目标内容，包括：

当所述推荐预测处理用于确定所述目标对象的推荐对象特征时，将所述目标对象群体对应的群体预测结果与所述候选内容的推荐内容特征进行内积处理，得到预测推荐结果，并

对所述多个候选内容分别对应的预测推荐结果进行筛选处理，将筛选出的预测推荐结果对应的候选内容作为目标内容；

当所述推荐预测处理用于确定根据所述候选内容执行针对所述目标对象的推荐操作的预测推荐结果时，对所述多个候选内容分别对应的群体预测结果进行筛选处理，并将筛选出的群体预测结果对应的候选内容作为目标内容。

10.一种基于人工智能的推荐装置，其特征在于，推荐模型包括基准网络以及对应多个对象群体的群体网络；所述装置包括：

基准模块，用于通过所述基准网络对样本对象的关联特征进行特征融合处理，得到融合特征，并对所述融合特征进行推荐预测处理，得到基准预测结果；

群体模块，用于通过所述群体网络对所述融合特征进行推荐预测处理，得到与所述多个对象群体分别对应的群体预测结果；

训练模块，用于：

根据所述基准预测结果以及所述样本对象的样本推荐结果，确定第一损失值；其中，所述样本推荐结果用于表示所述样本对象是否对推荐的样本内容感兴趣；

根据所述样本对象属于的样本对象群体对应的群体预测结果以及所述样本推荐结果，确定第二损失值；

根据所述第一损失值以及所述第二损失值对所述推荐模型进行训练；

所述基准模块，还用于通过训练后的所述基准网络对目标对象的关联特征进行特征融合处理，得到融合特征；

所述群体模块，还用于通过训练后的所述群体网络对所述目标对象的融合特征进行推荐预测处理，得到所述目标对象属于的目标对象群体对应的群体预测结果；

筛选模块，用于根据所述目标对象群体对应的群体预测结果对多个候选内容进行筛选处理，得到目标内容；

推荐模块，用于根据所述目标内容执行针对所述目标对象的推荐操作。

11.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至9任一项所述的基于人工智能的推荐方法。

12.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至9任一项所述的基于人工智能的推荐方法。

Images