CN111026970A - 基于人工智能的迁移模型的训练方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种基于人工智能的迁移模型的训练方法、装置及存储介质；方法包括：获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量；通过映射模型，对内容数据向量进行映射处理，得到对应的映射向量，映射向量用于表征第二推荐领域的第二推荐对象样本的内容数据向量；通过内容特征提取层，对映射向量进行内容特征提取，得到相应的映射特征；通过用户特征提取层，对用户数据向量进行用户特征提取，得到对应的用户特征；通过特征预测层，基于映射特征及用户特征，进行交互特征预测，得到第一推荐对象样本的交互特征；获取目标交互特征与第一推荐对象样本的交互特征的差异，并基于差异，更新迁移模型的模型参数。

Description

基于人工智能的迁移模型的训练方法、装置及存储介质

技术领域

本发明涉及人工智能的自然语言处理技术，尤其涉及一种基于人工智能的迁移模型的训练方法、人工智能的特征预测方法、装置及存储介质。

背景技术

自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向，能够实现人与计算机之间用自然语言进行有效通信，通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。推荐系统是自然语言处理领域的重要应用之一，可以自动联系用户和推荐对象，能够在信息过载的环境中帮助用户发现可能令他们感兴趣的信息，也能将信息推送给对它们感兴趣的用户。

冷启动在推荐系统中主要指对于没有交互行为的新用户或新推荐对象作相关推荐，常用于产品的拉新、增加日活、增加留存，在推荐初期扮演重要作用。然而在实际应用中，对于新领域的推荐系统，往往没有或存在少量的用户交互数据，致使相关技术仅结合新领域的待推荐对象的内容数据和用户数据，或结合待推荐对象的内容数据、用户数据及少量的用户交互数据，所进行的内容推荐的准确度低。

发明内容

本发明实施例提供一种基于人工智能的迁移模型的训练方法、装置及存储介质，通过将一个成熟领域的预测模型迁移至另一个没有用户交互行为的新领域，能够预测得到新领域中推荐对象的交互特征。

本发明实施例提供一种基于人工智能的迁移模型的训练方法，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述方法包括：

获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量；

通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量，所述映射向量用于表征第二推荐领域的第二推荐对象样本的内容数据向量，所述第二推荐对象样本标注有用于表征所述第二推荐对象样本的目标交互特征；

通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述第一推荐对象样本的交互特征，所述交互特征用于供结合所述第一推荐对象样本的内容特征进行内容推荐；

获取所述目标交互特征与所述第一推荐对象样本的交互特征的差异，并基于获取的所述差异，更新所述迁移模型的模型参数。

本发明实施例还提供一种基于人工智能的迁移模型的训练装置，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述装置包括：

第一获取模块，用于获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量；

第一映射模块，用于通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量，所述映射向量用于表征第二推荐领域的第二推荐对象样本的内容数据向量，所述第二推荐对象样本标注有用于表征所述第二推荐对象样本的目标交互特征；

第一特征提取模块，用于通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

第二特征提取模块，用于通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

第一预测模块，用于通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述第一推荐对象样本的交互特征，所述交互特征用于供结合所述第一推荐对象样本的内容特征进行内容推荐；

更新模块，用于获取所述目标交互特征与所述第一推荐对象样本的交互特征的差异，并基于获取的所述差异，更新所述迁移模型的模型参数。

上述方案中，所述装置还包括预测模型训练模块，

所述预测模型训练模块，用于获取所述第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量；

分别对获取的所述第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量进行特征提取，得到对应的第二推荐对象样本的用户特征、交互数据特征和内容特征；

通过所述特征预测层，基于所述第二推荐对象样本的用户特征、所述第二推荐对象样本的交互数据特征及所述第二推荐对象样本的内容特征，进行交互特征预测，得到对应所述第二推荐对象样本的交互特征；

获取所述目标交互特征与所述第二推荐对象样本的交互特征的差异，并基于获取的所述差异，更新所述预测模型的模型参数。

上述方案中，所述预测模型还包括交互特征提取层；所述预测模型训练模块，还用于通过所述用户特征提取层，对所述第二推荐对象样本的用户数据向量进行用户特征提取，得到第二推荐对象样本的用户特征；

通过所述交互特征提取层，对所述第二推荐对象样本的交互数据向量进行交互特征提取，得到第二推荐对象样本的交互数据特征；

通过所述内容特征提取层，对所述第二推荐对象样本的内容数据向量进行内容特征提取，得到第二推荐对象样本的内容特征。

上述方案中，所述预测模型归属于回归模型，第一预测模块，还用于通过所述特征预测层，基于所述映射特征及所述用户特征，调用回归函数进行回归处理，得到所述第一推荐对象样本的交互特征。

上述方案中，所述预测模型归属于分类模型，第一预测模块，还用于通过所述特征预测层，基于所述映射特征及所述用户特征，对所述第一推荐对象样本的交互特征进行分类预测，得到所述第一推荐对象样本的交互特征。

上述方案中，所述映射模型包括：编码模型和解码模型，所述装置还包括映射模型训练模块，

所述映射模型训练模块，用于通过所述编码模型，对所述第一推荐对象样本的内容数据向量进行编码处理，得到用于表征所述第二推荐对象样本的内容数据向量的编码向量；

对所述编码向量进行解码处理，得到用于表征所述第一推荐对象样本的内容数据向量的解码向量；

获取所述编码向量与所述第二推荐对象样本的内容数据向量之间的第一差异，以及所述第一推荐对象样本的内容数据向量与所述解码向量之间的第二差异；

基于所述第一差异及所述第二差异，更新所述映射模型的模型参数。

上述方案中，所述映射模型训练模块，用于获取所述编码向量与所述第二推荐对象样本的内容数据向量之间的第一相对熵，将所述第一相对熵作为所述第一差异，以及，

获取所述第一推荐对象样本的内容数据向量与所述解码向量之间的第二相对熵，将所述第二相对熵作为所述第二差异。

上述方案中，所述映射模型训练模块，用于将所述第一差异及所述第二差异进行求和处理，得到对应的差异值；

基于得到的所述差异值，更新所述映射模型的模型参数。

上述方案中，所述第一映射模块，还用于通过更新后的所述映射模型中的编码模型，对所述内容数据向量进行编码处理，得到对应的编码向量，以表征第二推荐领域的第二推荐对象样本的内容数据向量。

上述方案中，所述更新模块，还用于当所述差异超过差异阈值时，基于所述差异确定相应的误差信号；

将所述误差信号在所述迁移模型中反向传播，并在传播的过程中更新各个层的模型参数。

本发明实施例还提供一种人工智能的特征预测方法，所述方法应用于迁移模型，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述方法包括：

获取待推荐对象的用户数据向量和内容数据向量；

通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量；

通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述待推荐对象的交互特征；

所述交互特征，用于供结合所述交互特征及所述待推荐对象的内容特征，进行对应所述待推荐对象的内容推荐；

其中，所述迁移模型基于上述方案中所提供的训练方法训练得到。

本发明实施例还提供一种人工智能的特征预测装置，所述装置应用于迁移模型，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述装置包括：

第二获取模块，用于获取待推荐对象的用户数据向量和内容数据向量；

第二映射模块，用于通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量；

第三特征提取模块，用于通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

第四特征提取模块，用于通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

第二预测模块，用于通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述待推荐对象的交互特征；

所述交互特征，用于供结合所述交互特征及所述待推荐对象的内容特征，进行对应所述待推荐对象的内容推荐；

其中，所述迁移模型基于上述方案中所提供的训练方法训练得到。

本发明实施例还提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的方法。

本发明实施例还提供一种存储介质，所述存储介质存储有可执行指令，用于引起处理器执行时，本发明实施例提供的方法。

本发明实施例具有以下有益效果：

首先通过迁移模型包括的映射模型，对获取的第一推荐领域的第一推荐对象样本的内容数据向量进行映射处理，得到用于表征第二推荐领域的第二推荐对象样本的内容数据向量的映射向量；然后通过迁移模型包括的预测模型对映射向量进行内容特征提取，得到相应的映射特征；对用户数据向量进行用户特征提取，得到对应的用户特征；并基于映射特征及用户特征，进行交互特征预测，得到第一推荐对象样本的交互特征；最后获取目标交互特征与第一推荐对象样本的交互特征的差异，并基于差异，更新迁移模型的模型参数；如此，将第二推荐领域的预测模型迁移至第一推荐领域中，实现将一个成熟领域的预测模型，迁移至另一个没有用户交互行为或用户交互行为比较少的新领域，从而预测得到新领域中待推荐对象的交互特征，进而可结合待推荐对象的交互特征及内容特征进行内容推荐，提高推荐的准确度。

附图说明

图1为本发明实施例提供的推荐系统的架构示意图；

图2为本发明实施例提供的迁移模型的实施场景示意图；

图3为本发明实施例提供的电子设备的一个可选的结构示意图；

图4为本发明实施例提供的迁移模型的训练方法的一个可选的流程示意图；

图5为本发明实施例提供的迁移模型的结构示意图；

图6为本发明实施例提供的预测模型的结构示意图；

图7为本发明实施例提供的预测模型的结构示意图；

图8为本发明实施例提供的映射模型的结构图；

图9为本发明实施例提供的迁移模型的训练方法的一个可选的流程示意图；

图10为本发明实施例提供的人工智能的特征预测方法的数据流走向图；

图11为本发明实施例提供的人工智能的特征预测方法的流程示意图；

图12为本发明实施例提供的迁移模型的训练装置的一个可选的结构示意图；

图13为本发明实施例提供的人工智能的特征预测装置的结构组成图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三\第四”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三\第四”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)推荐对象：Item，比如新闻、比赛、帖子或feeds流中的短视频等。

2)推荐领域：推荐对象所处的领域或所属的类别，在实际应用中，领域或类别的划分可依据实际需要进行设定，例如，依据推荐对象的类型，推荐领域可以为音乐推荐领域、新闻推荐领域等。

3)内容数据：与推荐对象相关的文本数据，例如，对于音乐推荐领域，内容数据是与歌曲相关的数据，如歌曲的名字、歌词、歌手、风格、音频信息等。

4)交互数据：也称用户的领域内特征数据，主要指用户与推荐对象的交互数据，例如，对于音乐推荐领域，交互数据是与歌曲的交互相关数据，包括但不限于用户听过什么歌、听了多少次、听歌时长、听过的歌曲的音频信息或文本信息等。

5)用户数据：也称用户的领域外特征数据，是与推荐对象交互无关的数据，如用户年龄、性别、城市、用户在其他场景下有过什么行为(比如搜索记录、对话记录、浏览文章记录等等)。

6)召回(Recall)：从推荐库中检索出相关对象，或从文档库中检索出相关文档，例如为用户粗选一批待推荐的对象。

7)word2vec：用来产生词向量的相关模型。将所有的词向量化，使得词与词之间可以定量地度量它们之间的关系，从而挖掘词之间的联系。

参见图1，图1为本发明实施例提供的推荐系统的架构示意图，如图1所示，本发明实施例提供的推荐系统由召回模块、排序模块、重新排序模块等几部分组成，其中，召回模块、排序模块及重排序模块的输入一般由两大类输入组成，第一大类是候选的待推荐对象的内容数据特征，第二大类是与用户有关的特征，如用户领域外特征(用户内容数据特征)和用户领域内特征(交互数据特征)，基于上述特征，可从百万级的推荐库中逐级挑选几千个待推荐对象以至选出最优的少量推荐对象展现给用户。

在实际应用中，在成熟领域的推荐系统中，推荐对象的内容数据、用户的用户数据和交互数据都是可以采集到的，而在新领域的推荐系统中，仅有推荐对象的内容数据和用户数据，往往没有或存在少量的用户交互数据，如果仅结合推荐对象的内容数据和用户数据，或结合待推荐对象的内容数据、用户数据及少量的用户交互数据，所进行的内容推荐的准确度低。

基于此，本发明实施例提供了一种基于人工智能的迁移模型的训练方法，将第二推荐领域的预测模型迁移至第一推荐领域中，实现将一个成熟领域的预测模型，迁移至另一个没有用户交互行为的新领域，从而预测得到新领域中待推荐对象的交互特征，进而可基于待推荐对象的交互特征进行对象推荐，提高对象推荐的准确度。

首先对本发明实施例提供的基于人工智能的迁移模型的实施场景进行说明，图2为本发明实施例提供的迁移模型的实施场景示意图，参见图2，为实现支撑一个示例性应用，终端400(示例性示出了终端400-1、终端400-2)上设置有应用客户端，如新闻应用客户端、QQ音乐客户端，其中，终端400-1位于推荐对象发布侧，终端400-2位于推荐对象接收侧，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。

在一些实施例中，服务器200，用于获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量；通过映射模型，对内容数据向量进行映射处理，得到对应的映射向量，映射向量用于表征第二推荐领域的第二推荐对象样本的内容数据向量，第二推荐对象样本标注有用于表征第二推荐对象样本的目标交互特征；通过预测模型的内容特征提取层，对映射向量进行内容特征提取，得到相应的映射特征；通过预测模型的用户特征提取层，对用户数据向量进行用户特征提取，得到对应的用户特征；通过预测模型的特征预测层，基于映射特征及用户特征，进行交互特征预测，得到第一推荐对象样本的交互特征；获取目标交互特征与第一推荐对象样本的交互特征的差异，并基于差异，更新迁移模型的模型参数；如此，实现对迁移模型的训练。

用户打开用户终端400-1的客户端，发布一条待推荐对象，终端400-1用于生成并发送携带待推荐对象的用户数据和内容数据的特征预测请求给服务器200。

服务器200，用于获取待推荐对象的用户数据向量和内容数据向量；采用训练好的迁移模型对待推荐对象进行特征预测，得到对应待推荐对象的交互特征；并基于交互特征进行对应待推荐对象的内容推荐，并将确定的推荐对象返回给终端400-2，以在终端的显示界面410-2呈现推荐对象。

在另一些实施例中，在实施迁移模型的训练过程中，首先，训练出用于将第一推荐领域(即新领域)的推荐对象样本映射到第二推荐领域(即成熟领域)的推荐对象样本的映射模型，其中，映射模型包括：编码模型和解码模型，具体训练过程为：通过编码模型，对第一推荐对象样本的内容数据向量进行编码处理，得到用于表征第二推荐对象样本的内容数据向量的编码向量；对编码向量进行解码处理，得到用于表征第一推荐对象样本的内容数据向量的解码向量；获取编码向量与第二推荐对象样本的内容数据向量之间的第一差异，以及第一推荐对象样本的内容数据向量与解码向量之间的第二差异；基于第一差异及第二差异，更新映射模型的模型参数；如此，得到训练好的映射模型。

然后，基于第二推荐领域的第二推荐对象样本的用户数据和内容数据，训练出第二推荐领域的预测模型，其中，预测模型包括：用户特征提取层、内容特征提取层和特征预测层，具体训练过程：获取第二推荐对象样本的用户数据向量和内容数据向量，其中，第二推荐对象样本标注有用于表征第二推荐对象样本的目标交互特征；通过用户特征提取层，对第二推荐对象样本的用户数据向量进行用户特征提取，得到第二推荐对象样本的用户特征；通过内容特征提取层，对第二推荐对象样本的内容数据向量进行内容特征提取，得到第二推荐对象样本的内容特征；通过特征预测层，基于第二推荐对象样本的用户特征及第二推荐对象样本的内容特征，进行交互特征预测，得到对应第二推荐对象样本的交互特征；获取目标交互特征与第二推荐对象样本的交互特征的差异，并基于获取的差异，更新预测模型的模型参数；如此，基于第二推荐领域的第二推荐对象样本的用户数据和内容数据，训练得到第二推荐领域的预测模型。

参见图3，图3为本发明实施例提供的电子设备200的一个可选的结构示意图，以电子设备实施为服务器200为例，图3所示的电子设备200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。终端200中的各个组件通过总线系统240耦合在一起。可理解，总线系统250用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。

处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。

存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。

在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本发明实施例提供的迁移模型的训练装置可以采用软件方式实现，图3示出了存储在存储器250中的迁移模型的训练装置255，其可以是程序和插件等形式的软件，包括以下软件模块：第一获取模块2551、第一映射模块2552、第一特征提取模块2553、第二特征提取模块2554、第一预测模块2555和更新模块2556，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本发明实施例提供的迁移模型的训练装置可以采用硬件方式实现，作为示例，本发明实施例提供的迁移模型的训练装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的迁移模型的训练方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Pro grammable Gate Array)或其他电子元件。

下面将结合本发明实施例提供的迁移模型的训练方法实施为服务器时的示例性应用，说明本发明实施例提供的迁移模型的训练方法。

参见图4-5，图4为本发明实施例提供的迁移模型的训练方法的一个可选的流程示意图，图5为本发明实施例提供的迁移模型的结构示意图，如图5所示，本发明实施例提供的迁移模型包括：预测模型52、映射模型51，将结合图4和图5示出的步骤进行说明。

步骤401：服务器获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量。

这里，第一推荐领域为新领域，第二推荐领域为成熟领域，在实际实施时，服务器采集第一推荐领域的第一推荐样本的内容数据和用户数据，然后对采集到的内容数据进行分词处理，得到对应的多个词语，分别对得到的各个词语进行word2vector词向量转换处理，得到对应各个词语的词语向量；对得到的各个词语的词语向量加权求平均，得到对应的内容数据向量；基于同样的处理，得到对应用户数据的用户数据向量。

步骤402：通过映射模型，对内容数据向量进行映射处理，得到对应的映射向量。

其中，映射向量用于表征第二推荐领域的第二推荐对象样本的内容数据向量，第二推荐对象样本标注有用于表征所述第二推荐对象样本的目标交互特征。

在实际应用中，在成熟领域的推荐系统中，推荐对象的内容数据、用户的用户数据和交互数据都是可以采集到的，基于上述数据，成熟领域的推荐效果比较好；而在新领域的推荐系统中，仅有推荐对象的内容数据和用户数据，如果仅结合推荐对象的内容数据和用户数据，所进行的内容推荐的准确度低，为了提高新领域冷启动过程中推荐对象的内容推荐的准确度，可将一个成熟领域的预测模型迁移至另一个没有用户交互行为的新领域，也即将第二推荐领域的预测模型迁移至第一推荐领域中。

在实际实施时，在进行迁移模型的训练之前，需要先训练第二推荐领域的预测模型，在一些实施例中，服务器可通过如下方式进行预测模型的训练：

获取第二推荐领域的第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量；分别对获取的第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量进行特征提取，得到对应的第二推荐对象样本的用户特征、交互数据特征和内容特征；通过特征预测层，基于第二推荐对象样本的用户特征、第二推荐对象样本的交互数据特征及第二推荐对象样本的内容特征，进行交互特征预测，得到对应第二推荐对象样本的交互特征；获取目标交互特征与第二推荐对象样本的交互特征的差异，并基于获取的差异，更新预测模型的模型参数。

其中，第二推荐对象样本标注有用于表征第二推荐对象样本的目标交互特征，目标交互特征基于用户对第二推荐对象样本的交互数据所得到。比如，对于音乐推荐领域，第二推荐对象样本为一首歌曲，则第二推荐对象样本的交互数据是与歌曲的交互相关数据，包括但不限于用户听过什么歌、听了多少次、听歌时长、听过的歌曲的音频信息或文本信息等，目标交互特征即时基于这些交互数据而得到的。

在实际应用中，服务器对采集到的第二推荐对象样本的内容数据、用户数据及交互数据进行向量转换处理，得到对应的内容数据向量、用户数据向量和交互数据向量；然后分别对获取的内容数据向量、用户数据向量和交互数据向量进行特征提取处理，得到相应的内容特征、用户特征和交互数据特征。

参见图6，图6为本发明实施例提供的预测模型的结构示意图，如图6所示，预测模型包括：用户特征提取层、交互特征提取层、内容特征提取层和特征预测层，在一些实施例中，服务器可通过如下方式得到相应的内容特征、用户特征和交互数据特征：

通过用户特征提取层，对第二推荐对象样本的用户数据向量进行用户特征提取，得到第二推荐对象样本的用户特征h1；通过交互特征提取层，对第二推荐对象样本的交互数据向量进行交互特征提取，得到第二推荐对象样本的交互数据特征h2；通过内容特征提取层，对第二推荐对象样本的内容数据向量进行内容特征提取，得到第二推荐对象样本的内容特征h3。

这里，用户数据向量通过用户特征提取层经过k层卷积层进行卷积操作，并经最大池化层处理；交互数据向量通过交互特征提取层的q层卷积层进行卷积操作，并经最大池化层处理，k和q均为自然数，两者可相同也可不同，用户特征提取层的卷积层参数和交互特征提取层的卷积层参数并不共享，是相互独立的。

在一些实施例中，服务器可通过如下方式基于获取的差异，更新预测模型的模型参数：

当差异超过第一差异阈值时，基于差异确定相应的第一误差信号；将第一误差信号在预测模型中反向传播，并在传播的过程中更新各个层的模型参数。

如此，实现对第二领域的初始预测模型的训练，得到了预测模型的参数，将此参数作为下面训练的初始化参数。接下来移除图6所示的交互数据向量(即领域内特征)对应的模块，得到如图7所示的预测模型，以上述训练好的预测模型的初始化参数继续训练。

参见图7，图7为本发明实施例提供的预测模型的结构示意图，如图7所示，此时只剩下用户数据向量和内容数据向量，这是为了继续学出只跟这用户领域外特征和Item特征相关的信息。需要说明的是，移除图6所示的交互数据行了对应的模块后，继续训练的预测模型的表现肯定会变差，在训练的过程中，可适当放宽预测模型收敛的条件，将模预测型训练到比较合适的程度即可。

预测模型训练完成后，即可得到一个只有用户领域外特征和item特征这两大特征作为输入的推荐系统模型。而新领域的特征包括：用户领域外特征和it em特征，而由于新领域的item和成熟领域并不相同，比如新领域是音乐，成熟领域是文章，这是完全不同的item，他们的特征表示也不同，所以接下来还需通过无监督的方法建立两个领域的item之间的映射关系，进行映射模型的训练。

参见图8，图8为本发明实施例提供的映射模型的结构图，如图8所示，映射模型包括：编码模型和解码模型。在一些实施例中，服务器可通过如下方式进行映射模型的训练：

通过编码模型，对第一推荐对象样本的内容数据向量进行编码处理，得到用于表征第二推荐对象样本的内容数据向量的编码向量；对编码向量进行解码处理，得到用于表征第一推荐对象样本的内容数据向量的解码向量；获取编码向量与第二推荐对象样本的内容数据向量之间的第一差异，以及第一推荐对象样本的内容数据向量与解码向量之间的第二差异；基于第一差异及第二差异，更新映射模型的模型参数。

如图8所示，第一推荐领域(即新领域)的第一推荐对象样本的内容数据向量为h_new，第二推荐领域(即成熟领域)的第二推荐对象样本的内容数据向量为h_old。在实际实施时，首先，通过编码模型对第一推荐对象样本的内容数据向量为h_new进行编码处理，得到对应的编码向量h；通过解码模型对得到的编码向量h进行解码处理，得到对应的解码向量h’，然后获取编码向量h与第二推荐对象样本的内容数据向量h_old之间的第一差异，以及第一推荐对象样本的内容数据向量h_new与解码向量h’之间的第二差异。

为了保证编码向量h能够更好地表征第二推荐对象样本的内容数据向量h_old，则希望h越接近h_old越好，即两者间的第一差异越小越好；为了保证通过编码和解码处理之后得到的解码向量h’不偏离原有的第一推荐对象样本的内容数据向量h_new，则希望h’越接近h_new越好，即两者间的第二差异越小越好。

在一些实施例中，服务器可通过如下方式获取第一差异和第二差异：

获取编码向量与第二推荐对象样本的内容数据向量之间的第一相对熵，将第一相对熵作为所述第一差异，以及，获取第一推荐对象样本的内容数据向量与解码向量之间的第二相对熵，将第二相对熵作为所述第二差异。

这里，相对熵又称KL散度(Kullback-Leibler divergence)，为了表示两个分布的接近程度，一般可用公式(1)示出的KL散度来度量：

其中，X为字符集，x为随机变量，P(x)和Q(x)是随机变量x上的两个概率分布，P(x)表示真实分布，Q(x)表示P(x)的近似分布，这里，P(x)可以看成h或h’，Q(x)可以看成h_new或h_old。

在一些实施例中，服务器可通过如下方式基于第一差异及第二差异，更新映射模型的模型参数：

将第一差异及第二差异进行求和处理，得到对应的差异值；基于得到的差异值，更新映射模型的模型参数。

这里，需要最小化第一差异和第二差异，在实际实施时，可将第一差异的最小化函数与第二差异的最小化函数进行求和处理，得到映射模型的损失函数，当损失函数的值超过预设阈值时，基于损失函数的值确定映射模型的误差信号；并将映射模型的误差信号在映射模型中反向传播，并在传播的过程中更新各个层的模型参数。如此，实现映射模型的训练。

在一些实施例中，服务器可通过如下方式对内容数据向量进行映射处理，得到对应的映射向量：

通过更新后的映射模型中的编码模型，对内容数据向量进行编码处理，得到对应的编码向量，以表征第二推荐领域的第二推荐对象样本的内容数据向量。如此，实现了由第一推荐对象样本到第二推荐对象样本的映射。

需要说明的是，关于如何挑选不同领域的推荐对象样本，即如何挑选两个不同领域的h_new和h_old这一问题，比如，成熟领域选的是某篇文章，新领域比如音乐领域，该如何挑选对应的某一首歌曲。一般而言，根据运营和算法计算来实现，比如某篇文章的题目和某个歌曲有对应关系，或者从运营人员的角度看他们是有联系的，便可将他们放到上述映射模型的框架里进行学习。这里，并不需要穷举所有可能性，只需要一小部分<h_new，h_old>用来学习上面的映射模型，那么对于新的h_new，我们便可以通过映射模型中的编码模型直接映射到h，也就是h_old上。

步骤403：通过内容特征提取层，对映射向量进行内容特征提取，得到相应的映射特征。

这里，通过预测模型的内容特征提取层，对映射向量进行内容特征提取，得到了相应的映射特征，其中，内容特征提取层可为全连接神经网络，全连接神经网络包括输入层、隐藏层及输出层，具体地：将获取的映射向量输入至输入层，以通过输入层传递至隐藏层，通过隐藏层，调用激活函数得到对应映射向量的隐层特征，通过输出层，对得到的隐层特征进行预测，得到对应的映射特征。

步骤404：通过用户特征提取层，对用户数据向量进行用户特征提取，得到对应的用户特征。

步骤405：通过特征预测层，基于映射特征及用户特征，进行交互特征预测，得到对应第一推荐对象样本的交互特征。

在实际应用中，上述训练得到的预测模型可用于预测出Item被用户交互的时长，此种情况是回归任务，预测模型归属于回归模型；或用于预测Item是否被用户交互，如是否被用户点击，此种情况是分类任务，预测模型归属于分类模型。

在一些实施例中，当预测模型归属于回归模型时，服务器可通过如下方式通过特征预测层，基于映射特征及用户特征，进行交互特征预测，得到对应第一推荐对象样本的交互特征：

通过特征预测层，基于映射特征及用户特征，调用回归函数进行回归处理，得到第一推荐对象样本的交互特征。

这里，预测模型用于对Item是否被用户交互的连续变量预测，将第一推荐对象样本的映射特征和用户特征输入至预测模型的特征预测层，通过特征预测层调用回归函数进行回归处理，预测得到第一推荐对象的交互特征，该交互特征表征第一推荐对象样本被用户交互的定量表示，如被用户交互的时长或交互的次数。

在一些实施例中，当预测模型归属于分类模型，服务器可通过如下方式通过特征预测层，基于映射特征及用户特征，进行交互特征预测，得到对应第一推荐对象样本的交互特征：

通过特征预测层，基于映射特征及用户特征，对第一推荐对象样本的交互特征进行分类预测，得到第一推荐对象样本的交互特征。

这里，预测模型用于对Item是否被用户交互的离散变量预测，将第一推荐对象样本的映射特征和用户特征输入至预测模型的特征预测层，通过特征预测层进行分类预测，预测得到第一推荐对象的交互特征，该交互特征表征第一推荐对象样本被用户交互的定性表示，如被用户点击或被用户分享。

步骤406：获取目标交互特征与第一推荐对象样本的交互特征的差异，并基于获取的差异，更新迁移模型的模型参数。

在一些实施例中，服务器可通过如下方式获取的差异，采用反向传播的方式更新迁移模型的模型参数：

当差异超过差异阈值时，基于差异确定相应的误差信号；将确定的误差信号在迁移模型中反向传播，并在传播的过程中更新各个层的模型参数。

在一些实施例中，首先，服务器获取第二推荐领域的第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量；通过预测模型的用户特征提取层，对第二推荐对象样本的用户数据向量进行用户特征提取，得到第二推荐对象样本的用户特征；通过预测模型的交互特征提取层，对第二推荐对象样本的交互数据向量进行交互特征提取，得到第二推荐对象样本的交互数据特征；通过预测模型的内容特征提取层，对第二推荐对象样本的内容数据向量进行内容特征提取，得到第二推荐对象样本的内容特征；通过预测模型的特征预测层，基于第二推荐对象样本的用户特征、第二推荐对象样本的交互数据特征及第二推荐对象样本的内容特征，进行交互特征预测，得到对应第二推荐对象样本的交互特征；获取目标交互特征与第二推荐对象样本的交互特征的差异，基于获取的差异，更新预测模型的模型参数。

如此，基于第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量训练得到第二领域中初始预测模型，接下来去除初始预测模型中交互数据行了对应的交互特征提取层这一模块后，继续基于第二推荐对象样本的用户数据向量和内容数据向量进行训练，得到最终的预测模型。然后，建立两个领域的item之间的映射关系，进行映射模型的训练，映射模型的训练方法同上述实施例中采用的方法相同，在此不再赘述。最后，以上述训练得到的预测模型和映射模型作为新领域的迁移模型的组成部分，即得到了第二推荐领域中用于预测交互特征的迁移模型。

通过上述方式，实现了迁移模型的训练，将一个成熟领域的预测模型迁移至另一个没有用户交互行为的新领域，从而将新领域中待推荐对象输入训练好的迁移模型中，通过映射模型实现待推荐对象到成熟推荐领域中的推荐对象样本的映射，再基于成熟领域的预测模型，结合待推荐对象的内容特征和用户特征，进行交互特征的预测，得到相应的交互特征，以供结合预测得到的交互特征及待推荐对象的内容特征进行内容推荐，提高推荐的准确度。

接下来以第一推荐领域(即新领域)为音乐领域、第二推荐领域(即成熟领域)为新闻领域，将新闻领域中的预测模型迁移至音乐领域为例，继续对本发明实施例提供的迁移模型的训练方法进行介绍，图9为本发明实施例提供的迁移模型的训练方法的一个可选的流程示意图，参见图9，本发明实施例提供的迁移模型的训练方法由应用客户端、服务器协同实施。本发明实施例提供的迁移模型包括：预测模型和映射模型，其中，预测模型包括：用户特征提取层、交互特征提取层、内容特征提取层和特征预测层；映射模型包括：编码模型和解码模型。

步骤501：服务器获取第二推荐领域的第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量。

这里，第二推荐领域为成熟的新闻领域，在对第二推荐领域的预测模型进行训练之前，需构建第二推荐对象样本，第二推荐对象样本就是一篇篇新闻，其中，新闻的内容数据就是与新闻本身相关的数据，如新闻标题、主题内容、文本信息等；交互数据是指用户对新闻的交互相关的数据，如用户看过什么新闻、看新闻的次数、看新闻的时长、对新闻的评论等，基于该交互数据，确定对应该新闻的目标交互特征；用户数据就是与新闻无关的数据，如用户年龄、性别、城市、搜索记录等；另外，第二推荐对象样本标注有用于表征第二推荐对象样本(即新闻)的目标交互特征，目标交互特征基于用户对第二推荐对象样本(即新闻)的交互数据所得到。然后对第二推荐对象样本的用户数据、交互数据和内容数据进行向量转换处理，得到第二推荐领域的第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量，以输入神经网络模型进行训练。

步骤502：服务器通过用户特征提取层，对第二推荐对象样本的用户数据向量进行用户特征提取，得到第二推荐对象样本的用户特征。

这里，用户特征表征用户自身特征，是与第二推荐对象样本(即新闻)无关的，如用户特征包括用户年龄、性别、所处城市、兴趣爱好、搜索记录等。

步骤503：服务器通过交互特征提取层，对第二推荐对象样本的交互数据向量进行交互特征提取，得到第二推荐对象样本的交互数据特征。

这里，交互数据特征表征用户对第二推荐对象样本(即新闻)的交互特征，如对该新闻的观看次数、观看时长，及观后评论等特征。

步骤504：服务器通过内容特征提取层，对第二推荐对象样本的内容数据向量进行内容特征提取，得到第二推荐对象样本的内容特征。

这里，内容特征表征第二推荐对象样本(即新闻)的自身特征，如新闻标题、主题内容、文本信息等特征。

步骤505：服务器通过特征预测层，基于第二推荐对象样本的用户特征、第二推荐对象样本的交互数据特征及第二推荐对象样本的内容特征，进行交互特征预测，得到对应第二推荐对象样本的交互特征。

在实际实施时，通过特征预测层，结合第二推荐对象样本(即新闻)的内容特征、用户对该新闻的交互数据特征以及用户自身特征对样本的交互特征进行预测，得到对应的交互特征，也即，将新闻领域的某条新闻，输入该预测模型中，可以预测得到相应的交互特征，该交互特征表征用户对该新闻的交互情况，如是否点击查看了该新闻、或对该新闻查看几遍等特征。

步骤506：服务器获取目标交互特征与第二推荐对象样本的交互特征的差异。

这里，目标交互特征表征用户对第二推荐对象样本(即新闻)的实际交互特征，而第二推荐对象样本的交互特征是通过该新闻领域的预测模型预测得到的，将用户对该新闻的实际交互特征与预测得到的交互特征进行比较，得到两者间的差异，进而基于该差异更新该新闻领域的预测模型的模型参数。

步骤507：服务器基于获取的差异，更新预测模型的模型参数。

这里，差异超过第一差异阈值时，基于差异确定相应的第一误差信号；将第一误差信号在预测模型中反向传播，并在传播的过程中更新各个层的模型参数。

通过上述步骤501-507，实现了对新闻领域的预测模型的训练。

步骤508：通过编码模型，对第一推荐对象样本的内容数据向量进行编码处理，得到用于表征第二推荐对象样本的内容数据向量的编码向量。

这里，第一推荐领域音乐领域，该音乐领域为新领域，第一推荐对象样本是指音乐领域中的歌曲，相应的，歌曲的内容数据是指是与歌曲相关的数据，如歌曲的名字、歌词、歌手、风格、音频信息等，相应地，对歌曲的内容数据进行向量转换，得到歌曲的内容数据向量，该内容数据向量用于表征该歌曲的内容特征。

步骤509：对编码向量进行解码处理，得到用于表征第一推荐对象样本的内容数据向量的解码向量。

这里，解码向量h’表征对第一推荐对象样本(即歌曲)进行映射之后又复原得到的特征向量，用于表征复原得到的特征向量是否偏离第一推荐对象样本(即歌曲)的内容数据向量h_new。

步骤510：获取编码向量与第二推荐对象样本的内容数据向量之间的第一差异，以及第一推荐对象样本的内容数据向量与解码向量之间的第二差异。

这里，为了保证第一推荐对象样本(即歌曲)的编码向量h能够更好地表征第二推荐对象样本(即新闻)的内容数据向量h_old，则希望h越接近h_old越好，即两者间的差异越小越好；为了保证通过编码和解码处理之后复原得到的解码向量h’不偏离原有的第一推荐对象样本(即歌曲)的内容数据向量h_new，则希望h’越接近h_new越好，即两者间的差异越小越好。

步骤511：基于第一差异及第二差异，更新映射模型的模型参数。

这里，在实际实施时，可将第一差异及第二差异进行求和处理，得到对应的差异值；基于得到的差异值，更新映射模型的模型参数。

通过上述步骤508-511，实现了映射模型的训练。通过更新后的映射模型中的编码模型，音乐领域的歌曲的内容数据向量进行编码处理，得到歌曲的编码向量，以表征新闻领域中的新闻。如此，实现了由音乐领域的歌曲到新闻领域中的新闻的映射。

步骤512：服务器获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量。

这里，服务器首先获取音乐领域的歌曲的用户数据和内容数据，并将采集的歌曲的用户数据和内容数据进行向量转换处理，得到歌曲的用户数据向量和内容数据向量。

步骤513：通过映射模型，对第一推荐对象样本的内容数据向量进行映射处理，得到对应的映射向量。

步骤514：通过内容特征提取层，对第一推荐对象样本的映射向量进行内容特征提取，得到相应的映射特征。

步骤515：通过用户特征提取层，对第一推荐对象样本的用户数据向量进行用户特征提取，得到对应的用户特征。

步骤516：通过特征预测层，基于第一推荐对象样本的映射特征及用户特征，进行交互特征预测，得到对应第一推荐对象样本的交互特征。

这里，第一推荐对于样本(即歌曲)的交互特征表征预测用户对该歌曲的交互情况，如是否听这首歌曲、听的次数、听歌时长等。

步骤517：获取目标交互特征与第一推荐对象样本的交互特征的差异，并基于获取的差异，更新迁移模型的模型参数。

通过上述步骤，仅基于第一推荐样本(即歌曲)的用户数据和内容数据，训练得到了可用于预测交互特征的迁移模型，实现将第二推荐领域(即新闻领域)的预测模型迁移至第一推荐领域(即音乐领域)的迁移模型，即将一个成熟领域的预测模型迁移至另一个没有用户交互行为的新领域。

步骤518：应用客户端响应于针对第一推荐领域的待推荐对象的发布操作，生成对应的交互特征预测请求。

这里，音乐领域中的新发布的歌曲即为待推荐对象，进行交互特征的预测，其中，交互特征预测请求携带待推荐对象的用户数据和内容数据。

步骤519：应用客户端发送交互特征预测请求至服务器。

步骤520：服务器基于交互特征预测请求，通过迁移模型对待推荐对象进行交互特征预测处理，得到待推荐对象的交互特征。

这里，服务器解析接收到的交互特征预测请求，得到新发布歌曲的歌名、类型、歌词等内容数据，以及用户内容数据，并通过训练得到的迁移模型进行交互特征的预测，得到待推荐对象的交互特征，也即得到预测的用户对新发布歌曲的交互特征，如哪些用户听该歌曲，听的次数和听的时长等。

步骤521：服务器发送待推荐对象的交互特征至应用客户端。

步骤522：应用客户端呈现待推荐对象的交互特征。

通过上述步骤518-522，实现了新的音乐领域中待推荐歌曲的交互特征的预测，得到的交互特征，用于供结合待推荐歌曲的内容特征，进行对应待推荐歌曲的内容推荐，进而可将待推荐歌曲推荐给对它感兴趣的用户。

接下来对本发明实施例提供的人工智能的特征预测方法进行说明，参见图10-11，图10为本发明实施例提供的人工智能的特征预测方法的数据流走向图，图11为本发明实施例提供的人工智能的特征预测方法的流程示意图，其中，该特征预测方法应用于迁移模型，如图10所示，迁移模型包括：预测模型、映射模型，其中，预测模型包括：用户特征提取层、内容特征提取层和特征预测层。将结合图10和图11对本发明实施例提供的基于迁移模型的特征预测方法进行说明。

步骤601：服务器获取待推荐对象的用户数据向量和内容数据向量。

这里，在实际应用中，当用户在终端上的应用客户端发布一条新领域(即第一推荐领域)的待推荐对象，如在新的音乐领域上发布一首歌曲时，应用客户端响应于针对第一推荐领域的待推荐对象的发布操作，生成对应的交互特征预测请求，其中，交互特征预测请求携带待推荐对象的用户数据和内容数据。应用客户端发送交互特征预测请求至服务器，服务器解析接收到的交互特征预测请求，得到待推荐对象的用户数据和内容数据，并对待推荐对象的用户数据和内容数据进行向量转换，得到对应的用户数据向量和内容数据向量。

步骤602：通过映射模型，对内容数据向量进行映射处理，得到对应的映射向量。

步骤603：通过内容特征提取层，对映射向量进行内容特征提取，得到相应的映射特征。

步骤604：通过用户特征提取层，对用户数据向量进行用户特征提取，得到对应的用户特征。

步骤605：通过特征预测层，基于映射特征及用户特征，进行交互特征预测，得到对应待推荐对象的交互特征。

其中，交互特征用于供结合交互特征及待推荐对象的内容特征，进行对应待推荐对象的内容推荐，提高了推荐的准确度。

下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。在实际实施时，推荐系统由召回模块、排序模块、重新排序模块等几部分组成，其中，召回模块、排序模块及重排序模块的输入一般由两大类输入组成，第一大类是候选的Item特征(即待推荐对象的内容数据特征)，第二大类是与用户有关的特征，如用户领域外特征(即用户内容数据特征)和用户领域内特征(即交互数据特征)，将这大两类特征一起输入到分类或回归模型(即预测模型)中，用于预测Item是否被用户点击(分类模型)、浏览多长时间(回归模型)等。

在实际应用中，在成熟领域(即第二推荐领域)的推荐系统中，Item和用户这两大类特征都是可以收集到的，即推荐对象的内容数据、用户的用户数据和交互数据都是可以采集到的，而在新领域(即第一推荐领域)的推荐系统中，仅有Item特征和用户领域外特征，还没有或存在少量的用户领域内特征，即在新领域的推荐系统中，仅有待推荐对象的内容数据和用户数据，没有或存在少量的用户交互数据，而如果仅结合推荐对象的内容数据和用户数据，所进行的内容推荐的准确度低。

基于此，本发明实施例提供一种迁移模型的训练方法，在成熟领域的推荐系统中，构建合理的预测模型，去建模Item特征、用户领域外特征、用户领域内特征到推荐目标的映射，然后移除领域内特征的影响，并建模新领域的Item到成熟领域Item的映射，从而将成熟领域的预测模型整个到新领域中。接下来对迁移模型的训练过程进行说明。

1、第二推荐领域预测模型的训练

如图6所示，预测模型包括：用户特征提取层、交互特征提取层、内容特征提取层和特征预测层。预测模型的训练过程如下：

首先，获取第二推荐领域的第二推荐对象样本的用户数据向量(即用户领域外特征)、交互数据向量(即用户领域内特征)和内容数据向量(即Item特征)。其中，第二推荐对象样本标注有用于表征第二推荐对象样本的目标交互特征，目标交互特征基于用户对第二推荐对象样本的交互数据所得到。比如，对于音乐推荐领域，第二推荐对象样本为一首歌曲，则第二推荐对象样本的交互数据是与歌曲的交互相关数据，包括但不限于用户听过什么歌、听了多少次、听歌时长、听过的歌曲的音频信息或文本信息等，目标交互特征即时基于这些交互数据而得到的。

其次，通过用户特征提取层，对第二推荐对象样本的用户数据向量进行用户特征提取，得到第二推荐对象样本的用户特征h1；通过交互特征提取层，对第二推荐对象样本的交互数据向量进行交互特征提取，得到第二推荐对象样本的交互数据特征h2；通过内容特征提取层，对第二推荐对象样本的内容数据向量进行内容特征提取，得到第二推荐对象样本的内容特征h3。

然后，通过特征预测层，基于第二推荐对象样本的用户特征、第二推荐对象样本的交互数据特征及第二推荐对象样本的内容特征，进行交互特征预测，得到对应第二推荐对象样本的交互特征。

最后，获取目标交互特征与第二推荐对象样本的交互特征的差异，并基于获取的差异，更新预测模型的模型参数。

如此，实现对第二领域的预测模型的训练，得到了预测模型的参数，将此参数作为下面训练的初始化参数。接下来移除图6中的交互数据向量(即领域内特征)对应的模块，得到如图7所示的预测模型，以通过图6训练好的预测模型的初始化参数继续训练。

如图7所示，此时只剩下用户数据向量和内容数据向量，这是为了继续学出只跟这用户领域外特征和Item特征相关的信息。需要说明的是，移除图6所示的交互数据向量对应的模块后，继续训练的预测模型的表现肯定会变差，在训练的过程中，可适当放宽预测模型收敛的条件，将模预测型训练到比较合适的程度即可。

预测模型训练完成后，即可得到一个只有用户领域外特征和item特征这两大特征作为输入的预测模型。而新领域的特征包括：用户领域外特征和item特征，而由于新领域的item和成熟领域并不相同，比如新领域是音乐，成熟领域是文章，这是完全不同的item，他们的特征表示也不同，所以接下来还需通过无监督的方法建立两个领域的item之间的映射关系，进行映射模型的训练。

2、映射模型的训练

如图8所示，映射模型包括：编码模型和解码模型，第一推荐领域(即新领域)的第一推荐对象样本的内容数据向量为h_new，第二推荐领域(即成熟领域)的第二推荐对象样本的内容数据向量为h_old。映射模型的训练过程如下：

首先，通过编码模型对第一推荐对象样本的内容数据向量为h_new进行编码处理，得到对应的编码向量h；通过解码模型对得到的编码向量h进行解码处理，得到对应的解码向量h’；然后，获取编码向量h与第二推荐对象样本的内容数据向量h_old之间的第一差异(即第一KL散度)，以及第一推荐对象样本的内容数据向量h_new与解码向量h’之间的第二差异(即第二KL散度)；最后，基于第一差异及第二差异，更新映射模型的模型参数。

为了保证编码向量h能够更好地表征第二推荐对象样本的内容数据向量h_old，则希望h越接近h_old越好；为了保证通过编码和解码处理之后得到的解码向量h’不偏离原有的第一推荐对象样本的内容数据向量h_new，则希望h’越接近h_new越好，因此，第一差异和第二差异越小越好。

为此，可将第一差异的最小化函数与第二差异的最小化函数进行求和处理，得到映射模型的损失函数，当损失函数的值超过预设阈值时，基于损失函数的值确定映射模型的误差信号，并将映射模型的误差信号在映射模型中反向传播，并在传播的过程中更新各个层的模型参数。如此，实现映射模型的训练。

通过更新后的映射模型中的编码模型，对内容数据向量进行编码处理，得到对应的编码向量，以表征第二推荐领域的第二推荐对象样本的内容数据向量。如此，实现了由第一推荐对象样本到第二推荐对象样本的映射。

3、第一推荐领域待推荐对象的交互特征预测

通过上述方式，将第二推荐领域的预测模型迁移至第一推荐领域中，实现将一个成熟领域的预测模型，迁移至另一个没有用户交互行为的新领域，新领域的迁移模型包括：预测模型、映射模型，其中，预测模型包括：用户特征提取层、内容特征提取层和特征预测层。

在对第一推荐领域中待推荐对象进行交互特征预测时，如图10所示，获取待推荐对象的用户数据向量和内容数据向量；通过映射模型，对内容数据向量进行映射处理，得到对应的映射向量；通过内容特征提取层，对映射向量进行内容特征提取，得到相应的映射特征；通过用户特征提取层，对用户数据向量进行用户特征提取，得到对应的用户特征；通过特征预测层，基于映射特征及用户特征，进行交互特征预测，得到对应待推荐对象的交互特征，进而预测得到的交互特征可结合待推荐对象的内容特征进行内容推荐，提高推荐的准确度。

下面继续说明本发明实施例提供的迁移模型的训练装置255实施为软件模块的示例性结构，在一些实施例中，如图3和图12所示，图12为本发明实施例提供的迁移模型的训练装置的一个可选的结构示意图，存储在存储器250中的基于人工智能的迁移模型的训练装置255，其中，迁移模型包括预测模型和映射模型，其中，预测模型包括：用户特征提取层、内容特征提取层和特征预测层其可以是程序和插件等形式的软件，包括以下软件模块：第一获取模块2551、第一映射模块2552、第一特征提取模块2553、第二特征提取模块2554、第一预测模块2555和更新模块2556。

第一获取模块2551，用于获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量；

第一映射模块2552，用于通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量，所述映射向量用于表征第二推荐领域的第二推荐对象样本的内容数据向量，所述第二推荐对象样本标注有用于表征所述第二推荐对象样本的目标交互特征；

第一特征提取模块2553，用于通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

第二特征提取模块2554，用于通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

第一预测模块2555，用于通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述第一推荐对象样本的交互特征，所述交互特征用于供结合所述第一推荐对象样本的内容特征进行内容推荐；

更新模块2556，用于获取所述目标交互特征与所述第一推荐对象样本的交互特征的差异，并基于获取的所述差异，更新所述迁移模型的模型参数。

在一些实施例中，所述装置还包括预测模型训练模块，

所述预测模型训练模块，用于获取所述第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量；

分别对获取的所述第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量进行特征提取，得到对应的第二推荐对象样本的用户特征、交互数据特征和内容特征；

通过所述特征预测层，基于所述第二推荐对象样本的用户特征、所述第二推荐对象样本的交互数据特征及所述第二推荐对象样本的内容特征，进行交互特征预测，得到对应所述第二推荐对象样本的交互特征；

获取所述目标交互特征与所述第二推荐对象样本的交互特征的差异，并基于获取的所述差异，更新所述预测模型的模型参数。

在一些实施例中，所述预测模型还包括交互特征提取层；所述预测模型训练模块，还用于通过所述用户特征提取层，对所述第二推荐对象样本的用户数据向量进行用户特征提取，得到第二推荐对象样本的用户特征；

通过所述交互特征提取层，对所述第二推荐对象样本的交互数据向量进行交互特征提取，得到第二推荐对象样本的交互数据特征；

通过所述内容特征提取层，对所述第二推荐对象样本的内容数据向量进行内容特征提取，得到第二推荐对象样本的内容特征。

在一些实施例中，所述预测模型归属于回归模型，第一预测模块，还用于通过所述特征预测层，基于所述映射特征及所述用户特征，调用回归函数进行回归处理，得到所述第一推荐对象样本的交互特征。

在一些实施例中，所述预测模型归属于分类模型，第一预测模块，还用于通过所述特征预测层，基于所述映射特征及所述用户特征，对所述第一推荐对象样本的交互特征进行分类预测，得到所述第一推荐对象样本的交互特征。

在一些实施例中，所述映射模型包括：编码模型和解码模型，所述装置还包括映射模型训练模块，

所述映射模型训练模块，用于通过所述编码模型，对所述第一推荐对象样本的内容数据向量进行编码处理，得到用于表征所述第二推荐对象样本的内容数据向量的编码向量；

对所述编码向量进行解码处理，得到用于表征所述第一推荐对象样本的内容数据向量的解码向量；

获取所述编码向量与所述第二推荐对象样本的内容数据向量之间的第一差异，以及所述第一推荐对象样本的内容数据向量与所述解码向量之间的第二差异；

基于所述第一差异及所述第二差异，更新所述映射模型的模型参数。

在一些实施例中，所述映射模型训练模块，用于获取所述编码向量与所述第二推荐对象样本的内容数据向量之间的第一相对熵，将所述第一相对熵作为所述第一差异，以及，

获取所述第一推荐对象样本的内容数据向量与所述解码向量之间的第二相对熵，将所述第二相对熵作为所述第二差异。

在一些实施例中，所述映射模型训练模块，用于将所述第一差异及所述第二差异进行求和处理，得到对应的差异值；

基于得到的所述差异值，更新所述映射模型的模型参数。

在一些实施例中，所述第一映射模块，还用于通过更新后的所述映射模型中的编码模型，对所述内容数据向量进行编码处理，得到对应的编码向量，以表征第二推荐领域的第二推荐对象样本的内容数据向量。

在一些实施例中，所述更新模块，还用于当所述差异超过差异阈值时，基于所述差异确定相应的误差信号；

将所述误差信号在所述迁移模型中反向传播，并在传播的过程中更新各个层的模型参数。

本发明实施例还提供一种人工智能的特征预测装置13，所述装置应用于迁移模型，参见图13，图13为本发明实施例提供的人工智能的特征预测装置的结构组成图，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述装置包括：

第二获取模块131，用于获取待推荐对象的用户数据向量和内容数据向量；

第二映射模块132，用于通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量；

第三特征提取模块133，用于通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

第四特征提取模块134，用于通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

第二预测模块135，用于通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述待推荐对象的交互特征；

所述交互特征，用于供结合所述交互特征及所述待推荐对象的内容特征，进行对应所述待推荐对象的内容推荐；

其中，所述迁移模型基于上述方案中所提供的训练方法训练得到。

本发明实施例还提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的方法。

本发明实施例还提供一种存储介质，所述存储介质存储有可执行指令，用于引起处理器执行时，本发明实施例提供的方法。

在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种基于人工智能的迁移模型的训练方法，其特征在于，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述方法包括：

获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量；

通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量，所述映射向量用于表征第二推荐领域的第二推荐对象样本的内容数据向量，所述第二推荐对象样本标注有用于表征所述第二推荐对象样本的目标交互特征；

通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述第一推荐对象样本的交互特征，所述交互特征用于供结合所述第一推荐对象样本的内容特征进行内容推荐；

获取所述目标交互特征与所述第一推荐对象样本的交互特征的差异，并基于获取的所述差异，更新所述迁移模型的模型参数。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量；

分别对获取的所述第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量进行特征提取，得到对应的第二推荐对象样本的用户特征、交互数据特征和内容特征；

通过所述特征预测层，基于所述第二推荐对象样本的用户特征、所述第二推荐对象样本的交互数据特征及所述第二推荐对象样本的内容特征，进行交互特征预测，得到对应所述第二推荐对象样本的交互特征；

获取所述目标交互特征与所述第二推荐对象样本的交互特征的差异，并基于获取的所述差异，更新所述预测模型的模型参数。

3.如权利要求2所述的方法，其特征在于，所述预测模型还包括交互特征提取层；所述分别对获取的所述第二推荐对象样本的用户数据向量、交互数据向量和内容数据向量进行特征提取，得到对应的第二推荐对象样本的用户特征、交互特征和内容特征，包括：

通过所述用户特征提取层，对所述第二推荐对象样本的用户数据向量进行用户特征提取，得到第二推荐对象样本的用户特征；

通过所述交互特征提取层，对所述第二推荐对象样本的交互数据向量进行交互特征提取，得到第二推荐对象样本的交互数据特征；

通过所述内容特征提取层，对所述第二推荐对象样本的内容数据向量进行内容特征提取，得到第二推荐对象样本的内容特征。

4.如权利要求1所述的方法，其特征在于，所述预测模型归属于回归模型，所述通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述第一推荐对象样本的交互特征，包括：

通过所述特征预测层，基于所述映射特征及所述用户特征，调用回归函数进行回归处理，得到所述第一推荐对象样本的交互特征。

5.如权利要求1所述的方法，其特征在于，所述预测模型归属于分类模型，所述通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述第一推荐对象样本的交互特征，包括：

通过所述特征预测层，基于所述映射特征及所述用户特征，对所述第一推荐对象样本的交互特征进行分类预测，得到所述第一推荐对象样本的交互特征。

6.如权利要求1所述的方法，其特征在于，所述映射模型包括：编码模型和解码模型，所述方法还包括：

通过所述编码模型，对所述第一推荐对象样本的内容数据向量进行编码处理，得到用于表征所述第二推荐对象样本的内容数据向量的编码向量；

对所述编码向量进行解码处理，得到用于表征所述第一推荐对象样本的内容数据向量的解码向量；

获取所述编码向量与所述第二推荐对象样本的内容数据向量之间的第一差异，以及所述第一推荐对象样本的内容数据向量与所述解码向量之间的第二差异；

基于所述第一差异及所述第二差异，更新所述映射模型的模型参数。

7.如权利要求6所述的方法，其特征在于，所述获取所述编码向量与所述第二推荐对象样本的内容数据向量之间的第一差异，以及所述第一推荐对象样本的内容数据向量与所述解码向量之间的第二差异，包括：

获取所述编码向量与所述第二推荐对象样本的内容数据向量之间的第一相对熵，将所述第一相对熵作为所述第一差异，以及，

获取所述第一推荐对象样本的内容数据向量与所述解码向量之间的第二相对熵，将所述第二相对熵作为所述第二差异。

8.如权利要求6所述的方法，其特征在于，所述基于所述第一差异及所述第二差异，更新所述映射模型的模型参数，包括：

将所述第一差异及所述第二差异进行求和处理，得到对应的差异值；

基于得到的所述差异值，更新所述映射模型的模型参数。

9.如权利要求6所述的方法，其特征在于，所述通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量，包括：

通过更新后的所述映射模型中的编码模型，对所述内容数据向量进行编码处理，得到对应的编码向量，以表征第二推荐领域的第二推荐对象样本的内容数据向量。

10.如权利要求1所述的方法，其特征在于，所述基于获取的所述差异，采用反向传播的方式更新所述迁移模型的模型参数，包括：

当所述差异超过差异阈值时，基于所述差异确定相应的误差信号；

将所述误差信号在所述迁移模型中反向传播，并在传播的过程中更新各个层的模型参数。

11.一种人工智能的特征预测方法，其特征在于，所述方法应用于迁移模型，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述方法包括：

获取待推荐对象的用户数据向量和内容数据向量；

通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量；

通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述待推荐对象的交互特征；

所述交互特征，用于供结合所述交互特征及所述待推荐对象的内容特征，进行对应所述待推荐对象的内容推荐；

其中，所述迁移模型基于权利要求1-10任一项所述的训练方法训练得到。

12.一种基于人工智能的迁移模型的训练装置，其特征在于，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述装置包括：

第一获取模块，用于获取第一推荐领域的第一推荐对象样本的用户数据向量和内容数据向量；

第一映射模块，用于通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量，所述映射向量用于表征第二推荐领域的第二推荐对象样本的内容数据向量，所述第二推荐对象样本标注有用于表征所述第二推荐对象样本的目标交互特征；

第一特征提取模块，用于通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

第二特征提取模块，用于通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

第一预测模块，用于通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述第一推荐对象样本的交互特征，所述交互特征用于供结合所述第一推荐对象样本的内容特征进行内容推荐；

更新模块，用于获取所述目标交互特征与所述第一推荐对象样本的交互特征的差异，并基于获取的所述差异，更新所述迁移模型的模型参数。

13.一种人工智能的特征预测装置，其特征在于，所述方法应用于迁移模型，所述迁移模型包括：预测模型、映射模型，所述预测模型包括：用户特征提取层、内容特征提取层和特征预测层，所述装置包括：

第二获取模块，用于获取待推荐对象的用户数据向量和内容数据向量；

第二映射模块，用于通过所述映射模型，对所述内容数据向量进行映射处理，得到对应的映射向量；

第三特征提取模块，用于通过所述内容特征提取层，对所述映射向量进行内容特征提取，得到相应的映射特征；

第四特征提取模块，用于通过所述用户特征提取层，对所述用户数据向量进行用户特征提取，得到对应的用户特征；

第二预测模块，用于通过所述特征预测层，基于所述映射特征及所述用户特征，进行交互特征预测，得到对应所述待推荐对象的交互特征；

所述交互特征，用于供结合所述交互特征及所述待推荐对象的内容特征，进行对应所述待推荐对象的内容推荐；

其中，所述迁移模型基于权利要求1-10任一项所述的训练方法训练得到。

14.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11中任一项所述的方法。

15.一种存储介质，其特征在于，所述存储介质存储有可执行指令，用于引起处理器执行时，实现权利要求1至11中任一项所述的方法。

Images