CN110796232A - 属性预测模型训练方法、属性预测方法及电子设备 - Google Patents

Abstract

本公开提供了一种属性预测模型训练方法、属性预测方法、模型、装置、介质以及电子设备，主要涉及人工智能中的迁移学习技术领域。该方法包括获取源域数据，所述源域数据包括样本对象在源域的行为序列；利用所述源域数据对初始神经网络进行训练以得到源域行为表征模型；冻结所述源域行为表征模型的参数，并在所述源域行为表征模型中插入微调网络层；获取目标域数据，所述目标域数据包括样本对象在源域的行为序列以及在目标域的属性标签；利用所述目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对所述目标域的属性预测模型。该方法可以有效地将源域中的行为特征迁移至目标域中，可以缩减参数调整数量并提高模型训练效果。

Description

属性预测模型训练方法、属性预测方法及电子设备

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种属性预测模型训练方法、属性预测方法、属性预测模型、属性预测模型训练装置、属性预测装置、计算机可读介质以及电子设备。

背景技术

随着计算机和互联网技术的发展，通过网络平台查看内容或者浏览信息已经成为人们日常生活中极为重要的部分。例如，在短视频、新闻流或者图片流等领域，用户通常可以在数十秒内完成一项内容的阅读或观看，因此，在短短的数小时或者一天之内，亿级别的用户可以生产出数百亿级别的用户点击/观看行为记录数据。基于这些数据可以推测用户的喜好，从而继续生产并向用户推送可能感兴趣的短视频、新闻、图片等内容。

但是，在诸如广告流等领域中，绝大部分用户都只有极少量的点击查看行为或者是完全没有点击行为的新用户，这样的场景通常可以称为冷启动场景，相关用户即称为冷用户。由于缺少用户数据，在冷启动场景下难以准确地向用户推送内容。因此，如何能够在冷启动场景下预测冷用户的兴趣爱好等属性信息是目前亟待解决的问题。

发明内容

本公开的目的在于提供一种属性预测模型训练方法、属性预测方法、属性预测模型、属性预测模型训练装置、属性预测装置、计算机可读介质以及电子设备，进而至少在一定程度上克服相关技术中存在的用户属性信息预测困难等技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一个方面，提供一种属性预测模型训练方法，该方法包括：获取源域数据，所述源域数据包括样本对象在源域的行为序列；利用所述源域数据对初始神经网络进行训练以得到源域行为表征模型；冻结所述源域行为表征模型的参数，并在所述源域行为表征模型中插入微调网络层；获取目标域数据，所述目标域数据包括样本对象在源域的行为序列以及在目标域的属性标签；利用所述目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对所述目标域的属性预测模型。

根据本公开实施例的一个方面，提供一种属性预测模型训练装置，该装置包括：源域数据获取模块，被配置为获取源域数据，所述源域数据包括样本对象在源域的行为序列；模型预训练模块，被配置为利用所述源域数据对初始神经网络进行训练以得到源域行为表征模型；模型调整模块，被配置为冻结所述源域行为表征模型的参数，并在所述源域行为表征模型中插入微调网络层；目标域数据获取模块，被配置为获取目标域数据，所述目标域数据包括样本对象在源域的行为序列以及在目标域的属性标签；模型微调模块，被配置为利用所述目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对所述目标域的属性预测模型。

在本公开的一些实施例中，基于以上技术方案，所述模型预训练模块包括：节点遮蔽模块，被配置为在所述源域数据的行为序列中选取多个目标行为节点，并将所述目标行为节点替换为遮蔽行为节点；行为预测模块，被配置为将带有遮蔽行为节点的行为序列输入初始神经网络以得到对应于所述遮蔽行为节点的行为预测信息；行为误差确定模块，被配置为根据所述行为预测信息和所述目标行为节点确定行为预测误差；预训练参数更新模块，被配置为利用所述行为预测误差更新所述初始神经网络的网络参数以得到源域行为表征模型。

在本公开的一些实施例中，基于以上技术方案，所述遮蔽行为节点包括指定行为节点和随机行为节点；所述节点遮蔽模块包括：节点分类模块，被配置为确定节点分类比例，并按照所述节点分类比例将所述目标行为节点分类至指定节点集合、随机节点集合和原始节点集合中；指定替换模块，被配置为确定指定行为节点，并将所述指定节点集合中的目标行为节点替换为所述指定行为节点；随机替换模块，被配置为确定随机行为节点，并将所述随机节点集合中的目标行为节点替换为所述随机行为节点。

在本公开的一些实施例中，基于以上技术方案，所述行为预测模块包括：预训练输入模块，被配置为将带有遮蔽行为节点的行为序列输入初始神经网络；预训练映射模块，被配置为通过所述初始神经网络中的嵌入层对所述行为序列进行映射处理以得到所述行为序列中各个行为节点的嵌入向量；预训练卷积模块，被配置为通过所述初始神经网络中的卷积层对所述嵌入向量进行卷积处理以得到对应于所述遮蔽行为节点的行为预测信息。

在本公开的一些实施例中，基于以上技术方案，所述预训练卷积模块包括：预训练卷积处理模块，被配置为通过所述初始神经网络中的卷积层对所述嵌入向量进行卷积处理以得到卷积处理信息；预训练映射处理模块，被配置为通过所述初始神经网络中的残差连接分支对所述嵌入向量以及所述卷积处理信息进行映射处理以得到残差映射信息；预训练信息叠加模块，被配置为基于所述卷积处理信息和所述残差映射信息得到对应于所述遮蔽行为节点的行为预测信息。

在本公开的一些实施例中，基于以上技术方案，所述卷积处理模块包括：空洞卷积模块，被配置为通过所述初始神经网络中的具有不同空洞率的多个空洞卷积层对所述嵌入向量进行空洞卷积处理以得到卷积处理信息。

在本公开的一些实施例中，基于以上技术方案，所述模型微调模块包括：属性预测模块，被配置为将所述目标域数据中的行为序列输入带有微调网络层的源域行为表征模型以得到对应于所述行为序列的属性预测信息；属性误差确定模块，被配置为确定与所述行为序列相关联的属性标签，并根据所述属性标签和所述属性预测信息确定属性预测误差；微调参数更新模块，被配置为利用所述属性预测误差更新所述微调网络层的参数以得到针对所述目标域的属性预测模型。

在本公开的一些实施例中，基于以上技术方案，所述属性预测模块包括：微调输入模块，被配置为将所述目标域数据中的行为序列输入带有微调网络层的源域行为表征模型；微调卷积模块，被配置为通过所述源域行为表征模型中的卷积层对所述行为序列进行卷积处理以得到行为表征信息；微调映射模块，被配置为通过所述微调网络层对所述行为表征信息进行映射处理以得到对应于所述行为序列的属性预测信息。

在本公开的一些实施例中，基于以上技术方案，所述微调网络层包括卷积分支和残差分支；所述微调映射模块包括：微调卷积处理模块，被配置为通过所述卷积分支对所述行为表征信息进行卷积处理以得到卷积预测信息；微调映射处理模块，被配置为通过所述残差分支对所述行为表征信息进行映射处理以得到残差预测信息；微调信息叠加模块，被配置为基于所述卷积预测信息和所述残差预测信息确定对应于所述行为序列的属性预测信息。

在本公开的一些实施例中，基于以上技术方案，所述卷积分支包括依次连接的降维卷积层、激活层和升维卷积层；所述微调卷积处理模块包括：降维卷积模块，被配置为通过所述降维卷积层对所述行为表征信息进行卷积处理以得到维度低于所述行为表征信息的低维预测信息；激活模块，被配置为通过所述激活层对所述低维预测信息进行映射处理以得到具有非线性特征的激活预测信息；升维卷积模块，被配置为通过所述升维卷积层对所述激活预测信息进行卷积处理以得到维度等于所述行为表征信息的卷积预测信息。

在本公开的一些实施例中，基于以上技术方案，所述属性误差确定模块包括：属性标签映射模块，被配置为根据所述目标域的属性信息对所述属性标签进行映射处理以得到标签表征信息；预测相似度确定模块，被配置为确定所述标签表征信息与所述属性预测信息的相似度，并将所述相似度确定为属性预测误差。

在本公开的一些实施例中，基于以上技术方案，所述模型调整模块包括：参数冻结模块，被配置为冻结所述源域行为表征模型的参数；微调层插入模块，被配置为在所述源域行为表征模型中的多个卷积层之间等间隔地插入多个微调网络层。

在本公开的一些实施例中，基于以上技术方案，所述样本对象在源域的行为序列是样本对象针对源域中内容的内容点击行为序列。

根据本公开实施例的一个方面，提供一种属性预测方法，该方法包括：获取待测对象在源域的行为序列，并确定与所述源域相对应的目标域；将所述行为序列输入预先训练的针对所述目标域的属性预测模型以得到所述待测对象的属性预测信息；其中，所述属性预测模型是由如以上技术方案中的属性预测模型训练方法训练得到的。

根据本公开实施例的一个方面，提供一种属性预测装置，该装置包括：数据获取模块，被配置为获取待测对象在源域的行为序列，并确定与所述源域相对应的目标域；模型预测模块，被配置为将所述行为序列输入预先训练的针对所述目标域的属性预测模型以得到所述待测对象的属性预测信息；其中，所述属性预测模型是由如以上技术方案中的属性预测模型训练方法训练得到的。

根据本公开实施例的一个方面，提供一种属性预测模型，包括：输入层，用于输入待测对象在源域的行为序列；卷积网络层，用于对所述行为序列进行卷积处理以得到行为表征信息；微调网络层，位于多个所述卷积网络层之间，用于对所述行为表征信息进行映射处理以得到对应于所述行为序列的属性预测信息；输出层，根据所述属性预测信息输出待测对象在目标域的属性标签。

在本公开的一些实施例中，基于以上技术方案，所述微调网络层包括卷积分支和残差分支，所述卷积分支包括依次连接的降维卷积层、激活层和升维卷积层。

在本公开的一些实施例中，基于以上技术方案，所述降维卷积层卷积核数量小于所述微调网络层的输入通道数，所述升维卷积层的卷积核数量等于所述微调网络层的输入通道数。

在本公开的一些实施例中，基于以上技术方案，所述激活层的激活函数是基于高斯误差线性单元的非线性激活函数。

在本公开的一些实施例中，基于以上技术方案，所述卷积网络层为空洞卷积网络层。

在本公开的一些实施例中，基于以上技术方案，所述属性预测模型还包括分布在多个所述卷积网络层之间的残差连接分支。

根据本公开实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的方法。

根据本公开实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的方法。

在本公开实施例提供的技术方案中，利用源域数据进行无监督学习预训练一源域行为表征模型，再利用目标域数据对插入微调网络层的源域行为表征模型进行参数微调，可以有效地将源域中的行为特征迁移至目标域中。通过冻结源域行为表征模型参数并插入微调网络层的方式，可以在微调阶段保留预训练阶段的学习结果，同时极大地缩减参数调整数量，提高模型的训练速度和训练效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了应用本公开技术方案的示例性系统架构示意图。

图2示意性地示出了本公开一些实施例中属性预测模型训练方法的步骤流程图。

图3示意性地示出了本公开一些实施例中属性预测模型的结构框架。

图4示意性地示出了本公开一些实施例中训练源域行为表征模型的步骤流程图。

图5示意性地示出了本公开一些实施例中替换遮蔽行为节点的步骤流程图。

图6示意性地示出了本公开一些实施例中基于遮蔽行为节点获得行为预测信息的步骤流程图。

图7示意性地示出了本公开一些实施例中基于残差连接进行卷积处理的步骤流程图。

图8示意性地示出了预训练阶段的源域行为表征模型的一种网络架构。

图9示意性地示出了本公开一些实施例中在微调阶段训练属性预测模型的步骤流程图。

图10示意性地示出了微调阶段的属性预测模型的一种网络架构。

图11示意性地示出了本公开一些实施例中获得属性预测信息的步骤流程图。

图12示意性地示出了本公开一些实施例中基于属性预测信息确定属性预测误差的步骤流程图。

图13示意性地示出了对属性标签进行映射处理的模型架构。

图14示意性地示出了微调阶段的整体网络架构。

图15示意性地示出了本公开一些实施例中的微调网络层的网络架构。

图16示意性地示出了本公开一些实施例中通过微调网络层获得属性预测信息的步骤流程图。

图17示意性地示出了本公开一些实施例中通过卷积分支获得卷积预测信息的步骤流程图。

图18示意性地示出了本公开一些实施例中的属性预测方法。

图19示意性地示出了本公开一些实施例中的属性预测模型训练装置的结构框图。

图20示意性地示出了本公开一些实施例中的属性预测装置的结构框图。

图21示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本公开技术方案主要涉及人工智能中的机器学习技术，具体涉及一种迁移学习技术。

本公开技术方案的主要原理在于：通过学习非冷启动场景中的用户行为序列数据可以指导针对冷启动用户的内容推荐，同时也可以根据非冷启动场景中的用户行为序列数据较为准确的预测冷启动场景中未知的用户画像信息，例如，性别、年龄、人生状态、育儿状态、兴趣爱好等等。

具体而言，本公开提供了一种基于学习用户表征的迁移学习算法，该算法在预训练(pre-training)阶段，基于用户行为序列数据，通过无监督学习对神经网络序列模型建模，预训练模型收敛后，相关模型参数将被冻结。在下游任务学习时，即算法的微调(finetuning)阶段，本公开提供一种微调网络层，并将该微调网络层插入至预训练模型中，通过有监督学习对微调网络层进行参数调节即可满足不同类型的下游任务的需求。

图1示出了应用本公开技术方案的示例性系统架构示意图。

如图1所示，系统架构100可以包括客户端110、网络120和服务端130。客户端110可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种终端设备。服务端130可以包括网络服务器、应用服务器、数据库服务器等各种服务器设备。网络120可以是能够在客户端110和服务端130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路、无线通信链路等等。

根据实现需要，本公开实施例中的系统架构可以具有任意数目的客户端、网络和服务端。例如，服务端130可以是由多个服务器设备组成的服务器群组。另外，本公开实施例中的属性预测模型训练方法以及属性预测方法可以应用于客户端110，也可以应用于服务端130，本公开对此不做特殊限定。

以本公开实施例中的属性预测模型训练方法在服务端130的应用为例，通过客户端110可以采集在源域(source domain)的用户行为序列数据，例如可以利用客户端110上安装的短视频观看程序采集用户点击查看短视频的行为序列。与此同时，客户端110也可以采集在目标域(target domain)的用户属性数据，例如可以采集用户点击广告的行为信息，或者可以采集用户的性别、年龄等用户画像数据。在源域中，每个用户通常具有较为丰富的点击行为数据，包括浏览记录，评分，点赞，转发等行为数据。而相关用户在目标域中则完全是没有任何数据的新用户或者是仅有少量点击行为数据的冷用户。

客户端110通过网络120将采集到的源域以及目标域的相关数据发送至服务端130。在预训练阶段，服务端130将源域中的数据作为训练样本，预先训练一个用于表征用户在源域的行为习惯的源域行为表征模型。在源域行为表征模型训练完成后，即进入微调阶段。在微调阶段，首先将微调网络层插入训练得到的表征模型训练中，然后利用来自源域以及目标域的具有关联关系的数据对插入微调网络层的源域行为表征模型继续进行训练。在微调阶段的训练过程中需要冻结源域行为表征模型的网络参数，仅对微调网络层的相关参数进行调整，这样可以保证仅调整少量的网络参数就可以达到对目标域的用户属性进行预测的目的。

一般而言，同一用户在源域和目标域中的用户属性和兴趣偏好通常存在较大的相似性或相关性。因此，通过迁移学习技术，利用源域中学习到的用户潜在兴趣点和喜好能够很好地改善在目标域中的数据缺失问题，实现准确的用户属性预测。

本公开实施例提供的属性预测模型可以适用于于各种不同的应用场景。举例而言，利用经过迁移学习微调的用户表征和标签表征，可以用于推荐系统冷启动场景，为新用户推荐内容，尤其适用于广告推荐等用户点击行为较少的场景。利用微调后用户表征可以用于相似用户查找，用于交友网站等场景的交友匹配。利用微调后用户表征与用户画像标签表征可以用于其他用户的画像预测，包括性别、年龄、人生状态(单身/已婚)等等。另外，还可以用于检测青少年身心健康程度，有无犯罪倾向等等。

下面结合具体实施方式对本公开提供的属性预测模型训练方法、属性预测方法、属性预测模型、属性预测模型训练装置、属性预测装置、计算机可读介质以及电子设备等内容做出详细说明。

图2示意性地示出了本公开一些实施例中属性预测模型训练方法的步骤流程图。如图2所示，该方法主要可以包括以下步骤：

步骤S210.获取源域数据，源域数据包括样本对象在源域的行为序列。

样本对象可以是某一个或者某几个应用领域中的用户，例如可以是在手机、电脑等终端设备上安装并使用视频客户端、新闻客户端等应用程序的用户。行为序列的一种形成方式可以是将样本对象在源域实施的行为节点按照时间先后顺序进行排列而形成序列。样本对象在源域的行为序列可以是样本对象针对源域中内容的内容点击行为序列，例如，该行为序列可以是用户在一周时间内点击观看视频或者点击查看新闻所形成的记录数据。

步骤S220.利用源域数据对初始神经网络进行训练以得到源域行为表征模型。

利用步骤S210获取到的源域数据，可以对初始神经网络进行迭代训练以不断更新网络参数，当满足预期的训练效果时，如网络收敛或者达到预设的迭代训练次数，便可以得到源域行为表征模型。源域数据是未经标注的数据，因此本步骤中的网络训练是采用无监督学习的方式挖掘样本对象在源域的行为序列中的内在信息，用以表征样本对象在源域的深层行为特征。本步骤中用于构建源域行为表征模型的初始神经网络可以选用卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)或者基于编码器-解码器架构(Encoer-Decoder)的Transformer模型。但是，考虑到真实场景下的用户行为序列数据通常很长(以短视频为例，用户在一周之内可能观看数千个短视频)，如果采用RNN建模，很容易出现梯度爆炸或者消失问题，同时RNN本身的序列依赖关系使其很难充分利用图形处理器(Graphics Processing Unit，GPU)资源加速。如果采用Transformer模型，由于self-attention机制中每个元素都需要与其他元素计算相似度，当序列较长时，平方复杂度计算非常耗时。因此，本步骤中的初始神经网络优选使用CNN模型。当然，在其他一些实施方式中，也可以选用RNN、Transformer或者其他模型，本公开对此不做特殊限定。

步骤S230.冻结源域行为表征模型的参数，并在源域行为表征模型中插入微调网络层。

迁移学习中的微调方式通常受具体任务和数据的影响很大，微调的最终效果依赖于操作人员的经验水平，例如微调阶段是冻结预训练网络所有参数，还是微调一部分网络参数，又或者是微调所有网络参数，将产生不同的训练效果。一般而言，如果冻结所有参数，容易导致源域与目标域空间不一致；如果微调所有参数又容易导致遗忘预训练网络参数，当目标域样本不足时，非常容易导致过拟合问题；而微调部分网络在实践中经常使用，但是非常依赖于调参和经验。基于以上考虑，本步骤针对预训练得到的源域行为表征模型，冻结其所有网络参数，同时在该源域行为表征模型中插入微调网络层，用以进行后续的参数微调。在一些可选的实施方式中，可以预先构建带有微调网络层的初始神经网络，当执行步骤S220训练源域行为表征模型时，保持微调网络层始终处于关闭状态，而在本步骤中再将其打开，以获得插入微调网络层的效果。另外，当源域行为表征模型选用卷积神经网络时，本步骤可以在源域行为表征模型中的多个卷积层之间等间隔地插入多个微调网络层，例如可以每间隔两个卷积层插入一个微调网络层。均匀分布的多个微调网络层有利于提高模型的训练速度和训练效果。

步骤S240.获取目标域数据，目标域数据包括样本对象在源域的行为序列以及在目标域的属性标签。

目标域数据作为微调阶段的样本数据，用于将样本对象在源域的行为特征迁移至目标域。例如，源域可以是视频观看领域，目标域可以是广告推荐、新闻推荐、音乐推荐或者用户画像预测等各种领域。与源域数据所不同的是，本步骤中获取到的目标域数据是经过标注的数据。换言之，本步骤中获取到的目标域数据除了包括样本对象在源域的行为序列之外，还包括有样本对象在目标域的属性标签。当目标域是广告推荐领域时，属性标签可以是用户点击观看的对应于不同产品或者对应于不同类型的广告。当目标域是用户画像预测领域时，属性标签可以是用户的年龄、性别、性格、职业等不同方面的分类标签。例如，针对年龄可以标注少年、中年、老年等标签，针对性别则可以标注男、女等标签。

步骤S250.利用目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对目标域的属性预测模型。

利用步骤S240获取到的目标域数据，本步骤将对带有微调网络层的源域行为表征模型继续进行训练。在本步骤的训练过程中，源域行为表征模型的网络参数已被冻结，因此这部分网络参数不会被更新。而经过迭代训练，微调网络层的网络参数将会不断地被调整和优化，直至满足预期的训练效果，最终得到针对目标域中的对象属性进行预测的属性预测模型。

在本公开实施例提供的属性预测模型训练方法中，利用源域数据进行无监督学习预训练一源域行为表征模型，再利用目标域数据对插入微调网络层的源域行为表征模型进行参数微调，可以有效地将源域中的行为特征迁移至目标域中。通过冻结源域行为表征模型参数并插入微调网络层的方式，可以在微调阶段保留预训练阶段的学习结果，同时极大地缩减参数调整数量，提高模型的训练速度和训练效果。

图3示意性地示出了本公开一些实施例中属性预测模型的结构框架。如图3所示，本公开实施例中训练得到的属性预测模型主要可以包括：输入层310、卷积网络层320、微调网络层330和输出层340。

输入层310用于输入待测对象在源域的行为序列，输入层310可以通过嵌入矩阵(即作为Embedding层)将行为序列中的各个行为节点映射为嵌入向量。

卷积网络层320用于对行为序列进行卷积处理以得到行为表征信息。卷积网络层320可以是具有一定空洞率(Dilation Rate)的空洞卷积网络层(Dilated Convolution)。而且，各个相邻的卷积网络层可以具有不同的空洞率。采用空洞卷积可以呈指数级别地增加各层的感受野(Receptive Field)。

微调网络层330位于多个卷积网络层320之间，用于对行为表征信息进行映射处理以得到对应于行为序列的属性预测信息。微调网络层330可以等间隔地分布在多个卷积网络层320之间，例如可以每隔两个卷积网络层320配置一个微调网络层330。

输出层340用于根据属性预测信息输出待测对象在目标域中的属性标签。输出层340可以使用Softmax或者其他函数计算目标域中不同属性标签的分类概率，并将概率最高的一个分类结果作为待测对象在目标域中的属性标签。

在一些可选的实施方式中，属性预测模型300还可以包括分布在多个卷积网络层320之间的残差连接分支。利用残差连接分支可以将浅层网络的信息直接传递至后面的深层网络中，将网络的学习目标改变为学习输入数据和输出数据的残差。由此一来，可以避免因网络层数不断加深而导致的梯度消失现象，从而可以提高网络训练效果。

下面结合以上模型示例对本公开各实施例中的属性预测模型训练方法的细节进行说明。

图4示意性地示出了本公开一些实施例中训练源域行为表征模型的步骤流程图。如图4所示，在以上各实施例的基础上，步骤S220.利用源域数据对初始神经网络进行训练以得到源域行为表征模型，可以包括以下步骤：

步骤S410.在源域数据的行为序列中选取多个目标行为节点，并将目标行为节点替换为遮蔽行为节点。

源域数据包括样本对象在源域的行为序列，而这些行为序列又由一系列行为节点组成。本步骤首先在行为序列中选取多个目标行为节点，然后再将选取到的目标行为节点替换为遮蔽行为节点，相当于使用遮蔽行为节点对行为序列中的部分节点进行遮挡。目标行为节点的选取方式可以是随机指定。较为优选地，在一个行为序列中可以随机选取20-30％的行为节点作为目标行为节点。

步骤S420.将带有遮蔽行为节点的行为序列输入初始神经网络以得到对应于遮蔽行为节点的行为预测信息。

通过对行为序列中的部分行为节点进行遮挡，初始神经网络可以通过学习各个行为节点的上下文关系，利用未被遮挡的行为节点对遮蔽行为节点的遮挡内容进行预测，得到对应于遮蔽行为节点的行为预测信息。

步骤S430.根据行为预测信息和目标行为节点确定行为预测误差。

由步骤S420可以得到每一个遮蔽行为节点所对应的行为预测信息，本步骤将该行为预测信息与对应的目标行为节点进行比较，可以确定行为预测误差。行为预测误差用于表示神经网络对被遮挡的目标行为节点进行预测的真实可信度。行为预测误差越低，说明由神经网络得到的行为预测信息与真实的目标行为节点越接近，也说明神经网络的预测能力越强。

步骤S440.利用行为预测误差更新初始神经网络的网络参数以得到源域行为表征模型。

基于步骤S430得到的行为预测误差，可以在初始神经网络中进行反向传播，从而完成一轮对网络参数的更新。交替进行正向传播和反向传播便可以不断地对神经网络中网络参数调整优化，最终得到满足预期训练效果的源域行为表征模型。

在一些可选的实施方式中，用于对行为序列中的目标行为节点进行遮挡的遮蔽行为节点可以包括两类，即指定行为节点和随机行为节点。在此基础上，可以利用不同类型的遮蔽行为节点对目标行为节点进行遮挡。图5示意性地示出了本公开一些实施例中替换遮蔽行为节点的步骤流程图。如图5所示，在以上各实施例的基础上，步骤S410中的将目标行为节点替换为遮蔽行为节点，可以包括以下步骤：

步骤S510.确定节点分类比例，并按照节点分类比例将目标行为节点分类至指定节点集合、随机节点集合和原始节点集合中。

在行为序列中可以确定多个目标行为节点，这些目标行为节点可以采用随机分配的方式划分成指定节点集合、随机节点集合和原始节点集合三个部分。其中，指定节点集合、随机节点集合以及原始节点集合中的节点数量应当满足一个节点分类比例。举例而言，本步骤可以按照8：1：1的节点分类比例对目标行为节点进行分类，其中80％的目标行为节点可以被分类至指定节点集合，10％的目标行为节点被分类至随机节点集合，另外10％的目标行为节点被分类至原始节点集合。

步骤S520.确定指定行为节点，并将指定节点集合中的目标行为节点替换为指定行为节点。

针对指定行为节点集合中的目标行为节点，使用一个预先指定的指定行为节点对其进行替换。例如，某一行为序列中包括编号为0-255的共计256个行为节点，那么本步骤可以将编号为0(或者编号为255)的行为节点确定为指定行为节点，指定行为节点集合中的目标行为节点也都将被替换为编号为0的行为节点，亦即使用编号为0的行为节点对指定节点集合中的所有目标行为节点进行遮挡。

步骤S530.确定随机行为节点，并将随机节点集合中的目标行为节点替换为随机行为节点。

针对随机节点集合中的目标行为节点，使用一个随机确定的随机行为节点对其进行替换。例如，某一行为序列中包括编号为0-255的共计256个行为节点，那么本步骤可以在这256个行为节点中随机选取一个行为节点(如编号为129的行为节点)作为随机行为节点，然后将随机行为节点集合中的目标行为节点替换为这个随机行为节点。由于随机行为节点是随机选取的，随机节点集合中的各个目标行为节点可能被替换为同一个随机行为节点，也可能被替换为不同的随机行为节点。

针对原始节点集合中的目标行为节点，不再对其进行遮挡操作，相当于使用原始的行为节点对其自身进行遮挡。但是在后续的神经网络预测过程中，仍然会对这部分目标行为节点进行预测。

在本公开实施例中，通过将一定比例的目标行为节点进行随机遮挡或者不做遮挡，可以在带有遮蔽行为节点的行为序列中引入一定量的噪声，从而可以提高训练得到模型的鲁棒性。

图6示意性地示出了本公开一些实施例中基于遮蔽行为节点获得行为预测信息的步骤流程图。如图6所示，在以上各实施例的基础上，步骤S420.将带有遮蔽行为节点的行为序列输入初始神经网络以得到对应于遮蔽行为节点的行为预测信息，可以包括以下步骤：

步骤S610.将带有遮蔽行为节点的行为序列输入初始神经网络。

初始神经网络的网络架构一般可以包括嵌入层和多个卷积层，最后一个卷积层也可以再接入一个softmax层。

步骤S620.通过初始神经网络中的嵌入层对行为序列进行映射处理以得到行为序列中各个行为节点的嵌入向量。

嵌入层主要用于将高维的one-hot编码映射到低维的嵌入矩阵，嵌入矩阵的每一行代表一个行为节点的嵌入向量。

步骤S630.通过初始神经网络中的卷积层对嵌入向量进行卷积处理以得到对应于遮蔽行为节点的行为预测信息。

初始神经网络中的依次连接的多个卷积层可以逐层地对嵌入向量进行卷积处理，从而得到对应于遮蔽行为节点的行为预测信息。

一般而言，网络层数越深，能够提取到的不同层次的信息越多，而且不同的层次信息的组合也会越多。但是随着网络层数的不断加深，极容易出现梯度消失和梯度爆炸等问题，这也导致了网络性能的退化。为了解决这一问题，本公开实施例可以在初始神经网络的各个卷积层之间引入残差连接分支(shortcut connection)，从而将浅层信息引入深层计算。图7示意性地示出了本公开一些实施例中基于残差连接进行卷积处理的步骤流程图。如图7所示，在以上各实施例的基础上，步骤S630.通过初始神经网络中的卷积层对嵌入向量进行卷积处理以得到对应于遮蔽行为节点的行为预测信息，可以包括以下步骤：

步骤S710.通过初始神经网络中的卷积层对嵌入向量进行卷积处理以得到卷积处理信息。

每个卷积层可以使用不同大小、不同数量的卷积核对嵌入向量进行卷积处理，经过卷积处理后可以得到对应的卷积处理信息。对于两个相邻的卷积层而言，前一卷积层输出的卷积处理信息作为后一卷积层的输入，通过逐层卷积不断提取嵌入向量中的深层信息。在一些可选的实施方式中，初始神经网络中的卷积层可以是具有一定空洞率的空洞卷积层。相应地，本步骤即可通过初始神经网络中的具有不同空洞率的多个空洞卷积层对嵌入向量进行空洞卷积处理以得到卷积处理信息。

步骤S720.通过初始神经网络中的残差连接分支对嵌入向量以及卷积处理信息进行映射处理以得到残差映射信息。

分布在初始神经网络的多个卷积层中的残差连接分支可以对输入信息进行映射处理以得到残差映射信息。连接嵌入层和一个卷积层的残差连接分支将对嵌入向量进行映射处理，然后将残差映射信息传递给对应的卷积层。连接两个卷积层的残差连接分支将对前一卷积层的卷积处理信息进行映射处理，然后将残差映射信息传递给后一卷积层。一般而言，残差连接分支直接对输入信息做恒等映射。

步骤S730.基于卷积处理信息和残差映射信息得到对应于遮蔽行为节点的行为预测信息。

由卷积层得到的卷积处理信息以及由残差连接分支得到的残差映射信息可以进行基于element-wise的叠加，即进行对位元素相乘运算。由多个卷积层和多个残差连接分支进行以上步骤的卷积、映射和叠加处理后，最终将得到对应于遮蔽行为节点的行为预测信息。

以上实施例介绍了基于初始神经网络预训练源域行为表征模型的相关方法步骤。图8示意性地示出了预训练阶段的源域行为表征模型的一种网络架构。如图8所示，该神经网络包括自下向上依次排布的嵌入层810、八个依次连接的卷积层820以及一个softmax层830。另外，各个卷积层820之间分布有残差连接分支840。

在模型的预训练阶段，输入至嵌入层810的行为序列是带有遮蔽行为节点的序列。如图中下方数字所示，完整的行为序列是由编号为0-16的共计17个行为节点组成的行为序列。在将其输入嵌入层810时，对其中的编号分别为2、7、9、12、14、16的行为节点进行遮挡处理(图中以黑色方块进行示例)。在逐层向上地进行正向传播后，最终由softmax层输出对应于各个被遮挡的行为节点的预测信息，再将这些预测信息与真实的标签数据计算交叉熵(cross entropy)损失函数，得到预测误差。基于该预测误差再进行逐层向下的反向传播，从而对各个层级的网络参数做出调整优化。

如图8中所示，该神经网络中的卷积层820是具有一定空洞率的空洞卷积层。图中所示的各个卷积层的空洞率自下向上依次为{1、2、4、8、1、2、4、8}，采用空洞卷积可以使感受野以指数级别增加，如图中实线部分所示例的，第一个卷积层至第四个卷积层的感受野依次为{3、7、15、31}。

在真实的长序列的应用场景中，例如，一个用户一天观看了1000个短视频，可以不断加深神经网络以获取深层信息。例如可以重复与图8类似的神经网络架构，空洞卷积层的空洞值设置例如采用如下方式{1,2,4,…,128,1,2,4,…,128,1,2,4,…,128}。随着层数的加深，空洞值越大，卷积层的感受野也会越大。

在基于源域数据的源域行为表征模型的预训练阶段，全程采用无监督学习进行训练，待模型收敛后，可以将最后的softmax层移除，并在其中插入微调网络层，然后进入基于目标域数据的微调阶段。在微调阶段，利用目标域数据中的样本对象在目标域的行为序列以及与之相关联的在目标域的属性标签可以进行有监督学习，从而训练得到针对目标域的属性预测模型。

图9示意性地示出了本公开一些实施例中在微调阶段训练属性预测模型的步骤流程图。如图9所示，在以上各实施例的基础上，步骤S250.利用目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对目标域的属性预测模型，可以包括以下步骤：

步骤S910.将目标域数据中的行为序列输入带有微调网络层的源域行为表征模型以得到对应于行为序列的属性预测信息。

与源域行为表征模型在预训练阶段的正向传播过程相似的，在将目标域数据中的行为序列输入至带有微调网络层的源域行为表征模型后，可以由源域行为表征模型以及插入其中的微调网络层对行为序列逐层进行信息提取，最终得到模型输出的对应于行为序列的属性预测信息。

步骤S920.确定与行为序列相关联的属性标签，并根据属性标签和属性预测信息确定属性预测误差。

在目标域数据中，每个样本对象的行为序列都经过标注后与属性标签建立的关联关系。根据属性标签与属性预测信息之间的差异可以确定属性预测误差。属性预测误差越低，说明属性预测信息与真实的属性标签越接近，也说明该模型在目标域的属性预测能力越强。

步骤S930.利用属性预测误差更新微调网络层的参数以得到针对目标域的属性预测模型。

基于步骤S920得到的属性预测误差，可以在带有微调网络层的源域行为表征模型中进行反向传播，从而完成一轮对模型中网络参数的更新。由于源域行为表征模型的网络参数已被冻结，因此在反向传播时，仅会对微调网络层中的网络参数进行更新。交替进行正向传播和反向传播便可以不断地对微调网络层中的网络参数调整优化，最终得到满足预期训练效果的属性预测模型。

图10示意性地示出了微调阶段的属性预测模型的一种网络架构。如图10所示，属性预测模型的基本架构是在图8所示的源域行为表征模型的基础上每隔两个卷积层插入一个微调网络层1010。将目标域数据中的行为序列输入至图中所示的带有微调网络层的源域行为表征模型并进行自下向上的正向传播后，可以得到由位于图中顶部的一个微调网络层输出的属性预测信息，该属性预测信息可以是经过池化处理后得到的信息，例如可以采用平均池化或者最大池化。

图11示意性地示出了本公开一些实施例中获得属性预测信息的步骤流程图。如图11所示，在以上各实施例的基础上，步骤S910.将目标域数据中的行为序列输入带有微调网络层的源域行为表征模型以得到对应于行为序列的属性预测信息，可以包括以下步骤：

步骤S1110.将目标域数据中的行为序列输入带有微调网络层的源域行为表征模型；

步骤S1120.通过源域行为表征模型中的卷积层对行为序列进行卷积处理以得到行为表征信息；

步骤S1130.通过微调网络层对行为表征信息进行映射处理以得到对应于行为序列的属性预测信息。

由于源域行为表征模型的网络参数被冻结，预训练阶段针对行为表征的学习结果将被保留，因此源域行为表征模型中的卷积层对目标域数据中的行为序列进行卷积处理后可以得到行为表征信息。微调网络层用于将对应于源域的行为表征信息迁移至目标域，通过映射处理得到行为序列在目标域的属性预测信息。

图12示意性地示出了本公开一些实施例中基于属性预测信息确定属性预测误差的步骤流程图。如图12所示，在以上各实施例的基础上，步骤S920中的根据属性标签和属性预测信息确定属性预测误差，可以包括以下步骤：

步骤S1210.根据目标域的属性信息对属性标签进行映射处理以得到标签表征信息。

图13示意性地示出了对属性标签进行映射处理的模型架构。如图13所示，针对目标域数据中的属性标签1310，可以通过一个嵌入矩阵1320对其进行映射处理以得到与目标域数据中的行为序列相对应的标签表征信息。针对具有不同属性信息的目标域，需要构建不同结构的嵌入矩阵。例如，如果目标域为广告推荐，那么嵌入矩阵的长度即为广告数量，如果目标域为性别预测，那么嵌入矩阵的长度则为二。本公开实施例中的目标域可以是用户画像预测场景，例如，可以用于预测用户的年龄、性别、性格、人生状态、暴力倾向、成功潜力、喜好等等。其中，人生状态对应的属性标签例如可以包括中学、大学、单身、已婚、恋爱、老年等等；性格对应的属性标签例如可以包括乐观、消极、腼腆等等。另外，本公开实施例中的目标域也可以是各种内容推荐场景，例如可以包括广告推荐、新闻推荐、音乐推荐、相亲交友推荐、长短视频推荐等等。

步骤S1220.确定标签表征信息与属性预测信息的相似度，并将相似度确定为属性预测误差。

在由步骤S1210得到标签表征信息后，本步骤可以将该标签表征信息与对应的属性预测信息进行比较，计算二者之间的相似度，并将计算得到的相似度确定为属性预测误差。例如，本步骤可以采用计算向量内积或者计算余弦相似度等方式确定属性预测误差。图14示意性地示出了微调阶段的整体网络架构。如图14所示，在微调阶段的训练过程中，属性预测模型1410(对应于图10所示的网络架构)可以根据目标域数据中的行为序列输出属性预测信息，该属性预测信息是经过平均池化得到的用户表征信息。与此同时，标签映射模型1420(对应于图13所示的模型架构)可以根据目标域数据中的属性标签输出标签表征信息，本步骤对标签表征信息和属性预测信息计算内积后即可得到属性预测误差。在标签映射模型1420中，不同的目标域对应于不同的标签类别。例如，图14中列举了针对暴力倾向、人生状态、成功潜力、性别、性格、喜好等多个标签类别的示例。其中，“人生状态”对应的属性标签例如可以包括中学、大学、单身、已婚、恋爱、老年等等；“性格”对应的属性标签例如可以包括乐观、消极、腼腆等等；“喜好”(即内容推荐场景)对应的属性标签例如可以包括广告冷用户推荐、新闻推荐、音乐推荐、相亲交友推荐、长短视频推荐等等。

图15示意性地示出了本公开一些实施例中的微调网络层的网络架构。如图15所示，微调网络层主要可以包括卷积分支1510和残差分支1520。在此基础上，图16示意性地示出了本公开一些实施例中通过微调网络层获得属性预测信息的步骤流程图。如图16所示，步骤S1130.通过微调网络层对行为表征信息进行映射处理以得到对应于行为序列的属性预测信息，可以包括以下步骤：

步骤S1610.通过卷积分支对行为表征信息进行卷积处理以得到卷积预测信息。

步骤S1620.通过残差分支对行为表征信息进行映射处理以得到残差预测信息。

步骤S1630.基于卷积预测信息和残差预测信息确定对应于行为序列的属性预测信息。

利用残差分支1520可以将输入微调网络层的行为表征信息直接映射至微调网络层的输出端，将映射得到的残差预测信息与经过卷积分支1510进行卷积处理得到的卷积预测信息进行叠加，从而得到对应于行为序列的属性预测信息。

继续参考图15，卷积分支1510可以进一步包括依次连接的降维卷积层1511、激活层1512和升维卷积层1513。激活层1512的激活函数优选基于高斯误差线性单元(GaussianError Linear Units，GELU)的非线性激活函数。另外，在其他一些实施方式中激活层1512的激活函数也可以选用Sigmoid或者ReLU等函数，本公开对此不做特征限定。

本公开实施例中的微调网络层可以构造基于瓶颈结构(bottleneck)的残差块(residual block)，具体可以将降维卷积层1511的卷积核数量配置为小于微调网络层的输入通道数，同时将升维卷积层1513的卷积核数量配置为等于微调网络层的输入通道数。

举例而言，微调网络层的输入通道数为4k，那么输入至微调网络层的特征图(feature map)的数量也为4k个。降维卷积层1511可以使用k个大小为1×1的卷积核变换输入数据的维度空间，产生降低维度的效果。相应地，升维卷积层1513可以使用4k个大小为1×1的卷积核再升高维度，保证微调网络层的输入和输出具有相同的维度空间。

在此基础上，图17示意性地示出了本公开一些实施例中通过卷积分支获得卷积预测信息的步骤流程图。如图17所示，步骤S1610.通过卷积分支对行为表征信息进行卷积处理以得到卷积预测信息，可以包括以下步骤：

步骤S1710.通过降维卷积层对行为表征信息进行卷积处理以得到维度低于行为表征信息的低维预测信息。

步骤S1720.通过激活层对低维预测信息进行映射处理以得到具有非线性特征的激活预测信息。

步骤S1730.通过升维卷积层对激活预测信息进行卷积处理以得到维度等于行为表征信息的卷积预测信息。

基于瓶颈结构的微调网络层设计可以大幅减少微调阶段需要调整的参数量，从而减少微调阶段的网络规模，便于在移动平台部署微调模型,而且在性能上可以有效的避免过拟合问题。

图15所示的微调网络层可以表示为以下公式：

y＝F(x,{W_i,b_i})+x；

F＝W₂(GELU(W₁+b₁))+b₂

其中，x为输入向量，y为输出向量，F为需要学习的残差映射函数，W为卷积项权重，b为偏置项。

在一个微调网络层中，卷积项权重W的总参数量为2k²×2，偏置项b的总参数量为k+2k。

下面以一个包括有6个微调网络层和12个卷积网络层的属性预测模型为例，对调整参数量进行估算。

与卷积网络层相关的模型信息包括：12个卷积网络层的空洞率依次为{1,2,4,8,16,32,1,2,4,8,16,32}，输入通道数量为256(即4k＝256)，输入数据总量为100万，行为序列的平均长度为500，卷积核大小为3，在忽略偏置项和层归一化(layer normalization)参数且去除softmax层的基础上，总参数为：10⁶×256+500×256×256×3×12≈14亿。

微调网络层的参数量为：256×64×2×6＝19万，仅占总参数量的0.01％。换言之，通过插入微调网络层，在微调阶段只需要重新优化0.01％的参数量即可以达到与优化总参数量相同的效果。

利用以上各实施例提供的属性预测模型训练方法可以训练得到针对各种不同目标域的属性预测模型，在此基础上可以针对目标域进行属性预测。图18示意性地示出了本公开一些实施例中的属性预测方法，如图18所示，该方法主要可以包括以下步骤：

步骤S1810.获取待测对象在源域的行为序列，并确定与源域相对应的目标域；

步骤S1820.将行为序列输入预先训练的针对目标域的属性预测模型以得到待测对象的属性预测信息。

经过实验验证，本公开实施例提供模型预测方法在冷启动用户推荐和画像预测场景具有较高的准确率。冷启动用户由于缺少必要点击行为，实际业务中通常采用热度等方式找回，因此本公开采用热度方法作为比较基线，称之为MP。同时，本公开还采用另外一种基线，也就是使用源域场景中的用户点击行为作为输入数据，采用相同的微调网络层，但是在微调阶段对属性预测模型中的所有参数均进行优化，即对预训练得到的源域行为表征模型的参数以及插入其中的微调网络层的参数同步进行优化，该基线可以称为TFRec_Nopretrain。而对应于本公开以上实施例训练得到的属性预测模型的基线，可以称之为TFRec_Adapter。

本公开进行实验验证的具体设置如下：

实验设置：

实验中所有模型采用Adam作为优化器，微调阶段的批尺寸(batch size)为256，学习率(learning rate)采用0.0005，训练数据采用90％作为训练集，剩下的作为测试集。在评测时，将一个用户点击的内容(item)作为正样本，然后随机挑选99个负样本，采用属性预测模型为该100个样本打分，计算分数最高的五个样本(top-5样本)中是否覆盖有正样本，以参数Hit@5进行表征。实验硬件环境采用GPU Tesla P40，Tensorflow版本1.7.0。

应用场景1：

在该应用场景下，源域为某浏览器信息流点击观看行为，目标域为某内容社交平台的信息流点击观看行为。其中目标域用户均为冷启动用户，观看行为不超过5个，大部分用户只有一个观看行为。源域用户的点击行为序列最大长度为100。源域数据的内容总量为64万，目标域数据的内容总量为17880。

该应用场景下的实验结果如表1所示。

表1内容社交平台信息流点击实验结果

	MP	TFRec_Nopretrain	TFRec_Adapter
				Hit@5	0.351	0.453	0.501

应用场景2：

在该应用场景下，源域为某浏览器信息流点击观看行为，目标域为某广告业务平台的广告点击观看行为。其中，目标域所有用户观看行为不超过5个，大部分用户只有小于3个观看行为。源域用户点击行为序列最大长度为50。源域数据的内容总量为11350，目标域数据的内容总量为163。

该应用场景下的实验结果如表2所示。

表2广告业务平台广告点击观看实验结果

	MP	TFRec_Nopretrain	TFRec_Adapter
				Hit@5	0.161	0.220	0.242

结果分析：应用场景1与应用场景2均为推荐系统场景，可以看出通过本公开实施例提供的迁移学习框架预训练与微调后，TFRec_Adapter在Hit@5指标上大幅超过热度方法。同时，虽然TFRec_Nopretrain与TFRec_Adapter具有相同的微调网络结构，但是TFRec_Adapter结果明显好于TFRec_Nopretrain，这也证实了本公开实施例中采用的属性预测模型训练方法不仅可以大幅降低参数调节量，而且可以获得比全量参数优化更好的网络训练效果。

应用场景3：

除了内容推荐以外，本公开实施例提供的属性预测模型还可以用于用户的画像信息的预测。表3至表5分别提供了针对用户性别、人生状态以及年龄等画像信息的预测实验结果。

表3性别预测实验结果

	MP	TFRec_Adapter
			分类准确率	0.725	0.891

表4人生状态预测实验结果

	MP	TFRec_Adapter
			分类准确率	0.527	0.599

表5年龄预测实验结果(每十岁为一个年龄段)

	MP	TFRec_Adapter
			分类准确率	0.56	0.69

根据表3至表5的实验结果可知，本公开实施例提供的属性预测模型在用户的画像信息预测方面也具有更好的预测能力。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的属性预测模型训练方法以及属性预测方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的方法实施例。

图19示意性地示出了本公开一些实施例中的属性预测模型训练装置的结构框图。如图19所示，属性预测模型训练装置1900主要可以包括：源域数据获取模块1910，被配置为获取源域数据，源域数据包括样本对象在源域的行为序列；模型预训练模块1920，被配置为利用源域数据对初始神经网络进行训练以得到源域行为表征模型；模型调整模块1930，被配置为冻结源域行为表征模型的参数，并在源域行为表征模型中插入微调网络层；目标域数据获取模块1940，被配置为获取目标域数据，目标域数据包括样本对象在源域的行为序列以及在目标域的属性标签；模型微调模块1950，被配置为利用目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对目标域的属性预测模型。

在本公开的一些实施例中，基于以上各实施例，模型预训练模块包括：节点遮蔽模块，被配置为在源域数据的行为序列中选取多个目标行为节点，并将目标行为节点替换为遮蔽行为节点；行为预测模块，被配置为将带有遮蔽行为节点的行为序列输入初始神经网络以得到对应于遮蔽行为节点的行为预测信息；行为误差确定模块，被配置为根据行为预测信息和目标行为节点确定行为预测误差；预训练参数更新模块，被配置为利用行为预测误差更新初始神经网络的网络参数以得到源域行为表征模型。

在本公开的一些实施例中，基于以上各实施例，遮蔽行为节点包括指定行为节点和随机行为节点；节点遮蔽模块包括：节点分类模块，被配置为确定节点分类比例，并按照节点分类比例将目标行为节点分类至指定节点集合、随机节点集合和原始节点集合中；指定替换模块，被配置为确定指定行为节点，并将指定节点集合中的目标行为节点替换为指定行为节点；随机替换模块，被配置为确定随机行为节点，并将随机节点集合中的目标行为节点替换为随机行为节点。

在本公开的一些实施例中，基于以上各实施例，行为预测模块包括：预训练输入模块，被配置为将带有遮蔽行为节点的行为序列输入初始神经网络；预训练映射模块，被配置为通过初始神经网络中的嵌入层对行为序列进行映射处理以得到行为序列中各个行为节点的嵌入向量；预训练卷积模块，被配置为通过初始神经网络中的卷积层对嵌入向量进行卷积处理以得到对应于遮蔽行为节点的行为预测信息。

在本公开的一些实施例中，基于以上各实施例，预训练卷积模块包括：预训练卷积处理模块，被配置为通过初始神经网络中的卷积层对嵌入向量进行卷积处理以得到卷积处理信息；预训练映射处理模块，被配置为通过初始神经网络中的残差连接分支对嵌入向量以及卷积处理信息进行映射处理以得到残差映射信息；预训练信息叠加模块，被配置为基于卷积处理信息和残差映射信息得到对应于遮蔽行为节点的行为预测信息。

在本公开的一些实施例中，基于以上各实施例，卷积处理模块包括：空洞卷积模块，被配置为通过初始神经网络中的具有不同空洞率的多个空洞卷积层对嵌入向量进行空洞卷积处理以得到卷积处理信息。

在本公开的一些实施例中，基于以上各实施例，模型微调模块包括：属性预测模块，被配置为将目标域数据中的行为序列输入带有微调网络层的源域行为表征模型以得到对应于行为序列的属性预测信息；属性误差确定模块，被配置为确定与行为序列相关联的属性标签，并根据属性标签和属性预测信息确定属性预测误差；微调参数更新模块，被配置为利用属性预测误差更新微调网络层的参数以得到针对目标域的属性预测模型。

在本公开的一些实施例中，基于以上各实施例，属性预测模块包括：微调输入模块，被配置为将目标域数据中的行为序列输入带有微调网络层的源域行为表征模型；微调卷积模块，被配置为通过源域行为表征模型中的卷积层对行为序列进行卷积处理以得到行为表征信息；微调映射模块，被配置为通过微调网络层对行为表征信息进行映射处理以得到对应于行为序列的属性预测信息。

在本公开的一些实施例中，基于以上各实施例，微调网络层包括卷积分支和残差分支；微调映射模块包括：微调卷积处理模块，被配置为通过卷积分支对行为表征信息进行卷积处理以得到卷积预测信息；微调映射处理模块，被配置为通过残差分支对行为表征信息进行映射处理以得到残差预测信息；微调信息叠加模块，被配置为基于卷积预测信息和残差预测信息确定对应于行为序列的属性预测信息。

在本公开的一些实施例中，基于以上各实施例，卷积分支包括依次连接的降维卷积层、激活层和升维卷积层；微调卷积处理模块包括：降维卷积模块，被配置为通过降维卷积层对行为表征信息进行卷积处理以得到维度低于行为表征信息的低维预测信息；激活模块，被配置为通过激活层对低维预测信息进行映射处理以得到具有非线性特征的激活预测信息；升维卷积模块，被配置为通过升维卷积层对激活预测信息进行卷积处理以得到维度等于行为表征信息的卷积预测信息。

在本公开的一些实施例中，基于以上各实施例，属性误差确定模块包括：属性标签映射模块，被配置为根据目标域的属性信息对属性标签进行映射处理以得到标签表征信息；预测相似度确定模块，被配置为确定标签表征信息与属性预测信息的相似度，并将相似度确定为属性预测误差。

在本公开的一些实施例中，基于以上各实施例，模型调整模块包括：参数冻结模块，被配置为冻结源域行为表征模型的参数；微调层插入模块，被配置为在源域行为表征模型中的多个卷积层之间等间隔地插入多个微调网络层。

在本公开的一些实施例中，基于以上各实施例，样本对象在源域的行为序列是样本对象针对源域中内容的内容点击行为序列。

图20示意性地示出了本公开一些实施例中的属性预测装置的结构框图。如图20所示，属性预测装置2000主要可以包括：数据获取模块2010，被配置为获取待测对象在源域的行为序列，并确定与源域相对应的目标域；模型预测模块2020，被配置为将行为序列输入预先训练的针对目标域的属性预测模型以得到待测对象的属性预测信息；其中，属性预测模型是由如以上各实施例中的属性预测模型训练方法训练得到的。

图21示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图21示出的电子设备的计算机系统2100仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图21所示，计算机系统2100包括中央处理单元(Central Processing Unit，CPU)2101，其可以根据存储在只读存储器(Read-Only Memory，ROM)2102中的程序或者从存储部分2108加载到随机访问存储器(Random Access Memory，RAM)2103中的程序而执行各种适当的动作和处理。在RAM 2103中，还存储有系统操作所需的各种程序和数据。CPU2101、ROM 2102以及RAM 2103通过总线2104彼此相连。输入/输出(Input/Output，I/O)接口2105也连接至总线2104。

以下部件连接至I/O接口2105：包括键盘、鼠标等的输入部分2106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分2107；包括硬盘等的存储部分2108；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分2109。通信部分2109经由诸如因特网的网络执行通信处理。驱动器2110也根据需要连接至I/O接口2105。可拆卸介质2111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器2110上，以便于从其上读出的计算机程序根据需要被安装入存储部分2108。

特别地，根据本公开的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分2109从网络上被下载和安装，和/或从可拆卸介质2111被安装。在该计算机程序被中央处理单元(CPU)2101执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种属性预测模型训练方法，其特征在于，包括：

获取源域数据，所述源域数据包括样本对象在源域的行为序列；

利用所述源域数据对初始神经网络进行训练以得到源域行为表征模型；

冻结所述源域行为表征模型的参数，并在所述源域行为表征模型中插入微调网络层；

获取目标域数据，所述目标域数据包括样本对象在源域的行为序列以及在目标域的属性标签；

利用所述目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对所述目标域的属性预测模型。

2.根据权利要求1所述的属性预测模型训练方法，其特征在于，所述利用所述源域数据对初始神经网络进行训练以得到源域行为表征模型，包括：

在所述源域数据的行为序列中选取多个目标行为节点，并将所述目标行为节点替换为遮蔽行为节点；

将带有遮蔽行为节点的行为序列输入初始神经网络以得到对应于所述遮蔽行为节点的行为预测信息；

根据所述行为预测信息和所述目标行为节点确定行为预测误差；

利用所述行为预测误差更新所述初始神经网络的网络参数以得到源域行为表征模型。

3.根据权利要求2所述的属性预测模型训练方法，其特征在于，所述遮蔽行为节点包括指定行为节点和随机行为节点；所述将所述目标行为节点替换为遮蔽行为节点，包括：

确定节点分类比例，并按照所述节点分类比例将所述目标行为节点分类至指定节点集合、随机节点集合和原始节点集合中；

确定指定行为节点，并将所述指定节点集合中的目标行为节点替换为所述指定行为节点；

确定随机行为节点，并将所述随机节点集合中的目标行为节点替换为所述随机行为节点。

4.根据权利要求2所述的属性预测模型训练方法，其特征在于，所述将带有遮蔽行为节点的行为序列输入初始神经网络以得到对应于所述遮蔽行为节点的行为预测信息，包括：

将带有遮蔽行为节点的行为序列输入初始神经网络；

通过所述初始神经网络中的嵌入层对所述行为序列进行映射处理以得到所述行为序列中各个行为节点的嵌入向量；

通过所述初始神经网络中的卷积层对所述嵌入向量进行卷积处理以得到对应于所述遮蔽行为节点的行为预测信息。

5.根据权利要求4所述的属性预测模型训练方法，其特征在于，所述通过所述初始神经网络中的卷积层对所述嵌入向量进行卷积处理以得到对应于所述遮蔽行为节点的行为预测信息，包括：

通过所述初始神经网络中的卷积层对所述嵌入向量进行卷积处理以得到卷积处理信息；

通过所述初始神经网络中的残差连接分支对所述嵌入向量以及所述卷积处理信息进行映射处理以得到残差映射信息；

基于所述卷积处理信息和所述残差映射信息得到对应于所述遮蔽行为节点的行为预测信息。

6.根据权利要求5所述的属性预测模型训练方法，其特征在于，所述通过所述初始神经网络中的卷积层对所述嵌入向量进行卷积处理以得到卷积处理信息，包括：

通过所述初始神经网络中的具有不同空洞率的多个空洞卷积层对所述嵌入向量进行空洞卷积处理以得到卷积处理信息。

7.根据权利要求1所述的属性预测模型训练方法，其特征在于，所述利用所述目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对所述目标域的属性预测模型，包括：

将所述目标域数据中的行为序列输入带有微调网络层的源域行为表征模型以得到对应于所述行为序列的属性预测信息；

确定与所述行为序列相关联的属性标签，并根据所述属性标签和所述属性预测信息确定属性预测误差；

利用所述属性预测误差更新所述微调网络层的参数以得到针对所述目标域的属性预测模型。

8.根据权利要求7所述的属性预测模型训练方法，其特征在于，所述将所述目标域数据中的行为序列输入带有微调网络层的源域行为表征模型以得到对应于所述行为序列的属性预测信息，包括：

将所述目标域数据中的行为序列输入带有微调网络层的源域行为表征模型；

通过所述源域行为表征模型中的卷积层对所述行为序列进行卷积处理以得到行为表征信息；

通过所述微调网络层对所述行为表征信息进行映射处理以得到对应于所述行为序列的属性预测信息。

9.根据权利要求8所述的属性预测模型训练方法，其特征在于，所述微调网络层包括卷积分支和残差分支；所述通过所述微调网络层对所述行为表征信息进行映射处理以得到对应于所述行为序列的属性预测信息，包括：

通过所述卷积分支对所述行为表征信息进行卷积处理以得到卷积预测信息；

通过所述残差分支对所述行为表征信息进行映射处理以得到残差预测信息；

基于所述卷积预测信息和所述残差预测信息确定对应于所述行为序列的属性预测信息。

10.根据权利要求9所述的属性预测模型训练方法，其特征在于，所述卷积分支包括依次连接的降维卷积层、激活层和升维卷积层；所述通过所述卷积分支对所述行为表征信息进行卷积处理以得到卷积预测信息，包括：

通过所述降维卷积层对所述行为表征信息进行卷积处理以得到维度低于所述行为表征信息的低维预测信息；

通过所述激活层对所述低维预测信息进行映射处理以得到具有非线性特征的激活预测信息；

通过所述升维卷积层对所述激活预测信息进行卷积处理以得到维度等于所述行为表征信息的卷积预测信息。

11.根据权利要求7所述的属性预测模型训练方法，其特征在于，所述根据所述属性标签和所述属性预测信息确定属性预测误差，包括：

根据所述目标域的属性信息对所述属性标签进行映射处理以得到标签表征信息；

确定所述标签表征信息与所述属性预测信息的相似度，并将所述相似度确定为属性预测误差。

12.根据权利要求1所述的属性预测模型训练方法，其特征在于，所述在所述源域行为表征模型中插入微调网络层，包括：

在所述源域行为表征模型中的多个卷积层之间等间隔地插入多个微调网络层。

13.根据权利要求1至12中任一项所述的属性预测模型训练方法，其特征在于，所述样本对象在源域的行为序列是样本对象针对源域中内容的内容点击行为序列。

14.一种属性预测方法，其特征在于，包括：

获取待测对象在源域的行为序列，并确定与所述源域相对应的目标域；

将所述行为序列输入预先训练的针对所述目标域的属性预测模型以得到所述待测对象的属性预测信息；

其中，所述属性预测模型是由如权利要求1至13中任一项所述的属性预测模型训练方法训练得到的。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行如权利要求1至14中任一项所述的方法。

Images