CN114118435A - 基于迁移学习的时序模型训练方法和用于时序预测的方法 - Google Patents

Abstract

本公开的实施例公开了基于迁移学习的时序模型训练方法和用于时序预测的方法。该方法的一具体实施方式包括：获取用于迁移学习的目标域数据和目标数目的源域数据，其中，该目标域数据和源域数据分别包括样本时序数据和对应的标签；基于该目标数目的源域数据，按照与该目标数目对应的方式训练初始时序模型，得到预训练时序模型；利用该目标域数据训练该预训练时序模型，得到训练完成后的时序模型。该实施方式有助于提升时序模型的训练效率和学习效果，实现了模型的冷启动。还可以利用上述模型进行时序预测，从而提升了冷启动时序模型的预测效果。

Description

基于迁移学习的时序模型训练方法和用于时序预测的方法

技术领域

本公开的实施例涉及计算机技术领域，具体涉及基于迁移学习的时序模型训练方法和用于时序预测的方法。

背景技术

随着机器学习技术的发展，迁移学习(Transfer Learning)因其可以将一个领域(即源领域)的知识，迁移到另外一个领域(即目标领域)，使得目标领域能够取得更好的学习效果，从而得到越来越多的应用。

在诸如新景区客流量预测等场景下，由于需要预测的新景区刚开园没有足够的数据积累，采用传统的机器学习方式在训练数据不足的情况下往往会出现模型的过拟合问题，从而对未来预测的泛化性能下降，预测准确度较低。

发明内容

本公开的实施例提出了基于迁移学习的时序模型训练方法和用于时序预测的方法。

第一方面，本公开的实施例提供了一种基于迁移学习的时序模型训练方法，该方法包括：获取用于迁移学习的目标域数据和目标数目的源域数据，其中，目标域数据和源域数据分别包括样本时序数据和对应的标签；基于目标数目的源域数据，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型；利用目标域数据训练预训练时序模型，得到训练完成后的时序模型。

在一些实施例中，上述预训练时序模型包括记忆网络和预测网络；以及上述基于目标数目的源域数据，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型，包括：响应于确定目标数目大于第一预设阈值且小于第二预设阈值，执行以下第一预训练步骤：将目标数目的源域数据中的样本时序数据分别输入至各源域数据对应的记忆网络，得到目标数目个第一隐层输出；将目标数目个第一隐层输出输入至预测网络，得到与各源域数据对应的目标数目个第一源域输出结果；基于目标数目个第一源域输出结果与输入的样本时序数据对应的标签的比较，调整目标数目个记忆网络和预测网络的网络参数；响应于确定满足第一预训练的停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为预训练时序模型。

在一些实施例中，上述利用目标域数据训练预训练时序模型，得到训练完成后的时序模型，包括：将目标域数据的样本时序数据分别输入至预训练时序模型的目标数目个记忆网络，得到目标数目个第二隐层输出；融合目标数目个第二隐层输出，以生成融合隐层输出；将融合隐层输出输入至预训练时序模型的预测网络，得到目标域输出结果；基于目标域输出结果与输入的样本时序数据对应的标签的比较，调整预训练模型中目标数目个记忆网络和预测网络的网络参数；响应于确定满足时序模型的训练停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为训练完成后的时序模型。

在一些实施例中，上述融合目标数目个第二隐层输出，以生成融合隐层输出，包括：确定目标数目个第二隐层输出与对应的第一隐层输出的相似度；根据与所确定的相似度一致的权重进行融合，生成融合隐层输出。

在一些实施例中，上述源域数据的样本时序数据包括训练集中的样本时序数据和测试集中的样本时序数据；以及上述基于目标数目的源域数据，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型，包括：响应于确定目标数目大于第二预设阈值，获取初始模型，以及执行以下第二预训练步骤：将目标数目的源域数据的训练集中的样本时序数据分别作为各源域数据对应的初始时序模型的输入，将对应的标签作为期望输出，训练得到目标数目个源域模型，其中，初始时序模型基于初始模型生成；将目标数目的源域数据的测试集中的样本时序数据分别输入至各源域数据对应的源域模型，得到目标数目个第二源域输出结果；基于目标数目个第二源域输出结果与输入的样本时序数据对应的标签之间的差异，生成综合损失值；基于综合损失值调整初始模型的网络参数；响应于确定满足第二预训练的停止条件，将网络参数调整后的初始模型确定为预训练时序模型；响应于不确定满足第二预训练的停止条件，将网络参数调整后的初始模型作为新的初始模型；以及继续执行第二预训练步骤。

第二方面，本公开的实施例提供了一种用于时序预测的方法，该方法包括：获取目标时序数据；将目标时序数据输入至预先训练的时序模型，得到与目标时序数据对应的预测值，其中，时序模型通过如第一方面中任一实现方式描述的方法训练得到。

第三方面，本公开的实施例提供了一种基于迁移学习的时序模型训练装置，该装置包括：第一获取单元，被配置成获取用于迁移学习的目标域数据和目标数目的源域数据，其中，目标域数据和源域数据分别包括样本时序数据和对应的标签；预训练单元，被配置成基于目标数目的源域数据，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型；训练单元，被配置成利用目标域数据训练预训练时序模型，得到训练完成后的时序模型。

在一些实施例中，上述预训练时序模型包括记忆网络和预测网络；以及上述预训练单元被进一步配置成：响应于确定目标数目大于第一预设阈值且小于第二预设阈值，执行以下第一预训练步骤：将目标数目的源域数据中的样本时序数据分别输入至各源域数据对应的记忆网络，得到目标数目个第一隐层输出；将目标数目个第一隐层输出输入至预测网络，得到与各源域数据对应的目标数目个第一源域输出结果；基于目标数目个第一源域输出结果与输入的样本时序数据对应的标签的比较，调整目标数目个记忆网络和预测网络的网络参数；响应于确定满足第一预训练的停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为预训练时序模型。

在一些实施例中，上述训练单元被进一步配置成：将目标域数据的样本时序数据分别输入至预训练时序模型的目标数目个记忆网络，得到目标数目个第二隐层输出；融合目标数目个第二隐层输出，以生成融合隐层输出；将融合隐层输出输入至预训练时序模型的预测网络，得到目标域输出结果；基于目标域输出结果与输入的样本时序数据对应的标签的比较，调整预训练模型中目标数目个记忆网络和预测网络的网络参数；响应于确定满足时序模型的训练停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为训练完成后的时序模型。

在一些实施例中，上述训练单元被进一步配置成：确定目标数目个第二隐层输出与对应的第一隐层输出的相似度；根据与所确定的相似度一致的权重进行融合，生成融合隐层输出。

在一些实施例中，上述源域数据的样本时序数据包括训练集中的样本时序数据和测试集中的样本时序数据；以及上述预训练单元被进一步配置成：响应于确定目标数目大于第二预设阈值，获取初始模型，以及执行以下第二预训练步骤：将目标数目的源域数据的训练集中的样本时序数据分别作为各源域数据对应的初始时序模型的输入，将对应的标签作为期望输出，训练得到目标数目个源域模型，其中，初始时序模型基于初始模型生成；将目标数目的源域数据的测试集中的样本时序数据分别输入至各源域数据对应的源域模型，得到目标数目个第二源域输出结果；基于目标数目个第二源域输出结果与输入的样本时序数据对应的标签之间的差异，生成综合损失值；基于综合损失值调整初始模型的网络参数；响应于确定满足第二预训练的停止条件，将网络参数调整后的初始模型确定为预训练时序模型；响应于不确定满足第二预训练的停止条件，将网络参数调整后的初始模型作为新的初始模型；以及继续执行第二预训练步骤。

第四方面，本公开的实施例提供了一种用于时序预测的装置，该装置包括：第二获取单元，被配置成获取目标时序数据；预测单元，被配置成将目标时序数据输入至预先训练的时序模型，得到与目标时序数据对应的预测值，其中，时序模型通过如第一方面中任一实现方式描述的方法训练得到。

第五方面，本公开的实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面或第二方面中任一实现方式描述的方法。

第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面中任一实现方式描述的方法。

本公开的实施例提供的基于迁移学习的时序模型训练方法和用于时序预测的方法，通过根据源域数据的不同数目采用不同的方式，使得迁移学习的训练方式更适合源域数据，从而有助于提升时序模型的训练效率和学习效果，实现了模型的冷启动。还可以利用上述模型进行时序预测，从而提升了冷启动时序模型的预测效果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2a是根据本公开的基于迁移学习的时序模型训练方法的一个实施例的流程图；

图2b是根据本公开的基于迁移学习的时序模型训练方法的又一个实施例的示意图；

图2c是根据本公开的基于迁移学习的时序模型训练方法的又一个实施例的示意图；

图2d是根据本公开的基于迁移学习的时序模型训练方法的又一个实施例的示意图；

图3是根据本公开的实施例的基于迁移学习的时序模型训练方法的一个应用场景的示意图；

图4是根据本公开的用于时序预测的方法的又一个实施例的流程图；

图5是根据本公开的基于迁移学习的时序模型训练装置的一个实施例的结构示意图；

图6是根据本公开的用于时序预测的装置的一个实施例的结构示意图；

图7是适于用来实现本公开的实施例的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的基于迁移学习的时序模型训练方法或基于迁移学习的时序模型训练装置的示例性架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持人机交互的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如从终端设备101、102、103获取数据用于模型训练的后台服务器。后台服务器可以利用所获取的目标域数据和源域数据进行时序模型的训练。可选地，还可以将利用时序模型得到的预测结果反馈给终端设备。

需要说明的是，上述目标域数据和目标数目的源域数据也可以直接存储在服务器105的本地，服务器105可以直接提取本地所存储的目标域数据和目标数目的源域数据并进行处理，此时，可以不存在终端设备101、102、103和网络104。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本公开的实施例所提供的基于迁移学习的时序模型训练方法一般由服务器105执行，相应地，基于迁移学习的时序模型训练装置一般设置于服务器105中。本公开的实施例所提供的用于时序预测的方法可以由服务器105执行，在满足计算能力的条件下，也可以由终端101、102、103执行。相应地，用于时序预测的装置可以设置于服务器105中，在满足计算能力的条件下，也可以设置于终端101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2a，示出了根据本公开的基于迁移学习的时序模型训练方法的一个实施例的流程200。该基于迁移学习的时序模型训练方法包括以下步骤：

步骤201，获取用于迁移学习的目标域数据和目标数目的源域数据。

在本实施例中，基于迁移学习的时序模型训练方法的执行主体(如图1所示的服务器105)可以通过有线连接方式或者无线连接方式从通信连接的电子设备或本地获取用于迁移学习的目标域数据和目标数目的源域数据。其中，上述目标数目可以是根据实际的应用需求，预先指定的任意数目(例如5、12)。上述目标数目也可以是根据规则而定的数目，例如在预设时间内能够获取到的源域数据的数目。上述目标数目通常指源域数据所指示的域的数目。上述目标域数据和源域数据可以分别包括样本时序数据和对应的标签。通常，上述源域数据的数据量远大于上述目标域数据的数据量。上述样本时序数据可以包括按照时间顺序排列的历史数据。上述历史数据的数目可以根据预先设定的时间窗口而定。上述样本时序数据和对应的标签可以根据实际应用场景而定。

作为示例，在景区客流量预测领域，上述目标域数据可以包括新景区的历史客流量数据，例如最近7天每天各开放时段的客流量数据、最近3个月每天客流量数据。上述源域数据可以包括成熟景区的历史客流量数据，例如最近7天每天各开放时段的客流量数据、最近3个月每天客流量数据、最近半年的每天客流量数据。其中，从当前第一时段(例如9:00-10:00)至倒数第二时段(例如16:00-17:00)中每时段的客流量数据可以作为样本时序数据，当天最后一个时段(例如17:00-18:00)的客流量可以作为上述样本时序数据的标签。

需要说明的是，当有2个成熟景区时，上述目标数目可以为2。而每个成熟景区可以对应多于1条源域数据，例如成熟A景区在1月1日至1月7日的客流量数据序列和1月8日至1月14日的客流量数据序列可以作为同属于一个源域(例如成熟A景区)的2条数据。

作为又一示例，在电力负荷预测领域，上述目标域数据可以包括某新开发区的在预设时段的历史用电量，例如最近7天每天用电总量。上述源域数据可以包括主城区的在与上述预设时段对应的时段的历史用电量。

需要说明的是，上述样本时序数据和对应的标签通常基于历史数据生成。作为示例，上述执行主体可以对所获取的原始历史数据进行预处理(例如异常值提出、缺失值填补、数据归一化等)，从而生成上述样本时序数据和对应的标签。

步骤202，基于目标数目的源域数据，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型。

在本实施例中，基于步骤201所获取的目标数目的源域数据，上述执行主体可以按照与上述目标数目对应的方式训练初始时序模型，得到预训练时序模型。作为示例，上述执行主体可以首先获取不同数目与初始时序模型的训练方式之间的对应关系，而后按照与上述步骤201所获取的目标数目一致的方式训练初始时序模型，从而得到预训练时序模型。

作为示例，当上述目标数目为1时，上述执行主体可以利用上述源域数据对初始时序模型进行训练。具体地，可以将上述源域数据的样本时序数据作为初始时序模型的输入，将输入的样本时序数据对应的标签作为期望输出，通过反向传播法调整上述初始时序模型的参数，当满足训练停止条件时停止迭代，从而将参数调整后的初始时序模型确定为上述预训练时序模型。

需要说明的是，上述训练停止条件可以包括但不限于以下至少一项：训练轮次达到预设轮次，训练时长达到预设训练时长，损失值收敛。

在本实施例的一些可选的实现方式中，参见图2b，上述预训练时序模型可以包括记忆网络(Memory Network)和预测网络。基于上述步骤201获取的目标数目的源域数据，上述执行主体可以按照如下步骤，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型：

第一步：响应于确定目标数目大于第一预设阈值且小于第二预设阈值，执行以下第一预训练步骤：

在这些实现方式中，上述第一预设阈值(例如“1”)和第二预设阈值(例如“10”)可以根据实际应用场景而设定。

S1、将目标数目的源域数据中的样本时序数据分别输入至各源域数据对应的记忆网络，得到目标数目个第一隐层输出。

在这些实现方式中，作为示例，上述执行主体可以将属于第一源域数据的样本时序数据输入至初始预训练时序模型中与第一源域数据对应的记忆网络；将属于第二源域数据的样本时序数据输入至初始预训练时序模型中与第二源域数据对应的记忆网络；以此类推。从而，上述目标数目个记忆网络可以分别输出对输入的样本时序数据对应的第一隐层输出。

S2、将目标数目个第一隐层输出输入至预测网络，得到与各源域数据对应的目标数目个第一源域输出结果。

在这些实现方式中，作为示例，上述执行主体可以将上述步骤S1所得到的目标数目个第一隐层输出输入至上述初始预训练时序模型中的预测网络属于第一源域数据的样本时序数据输入至初始预训练时序模型中的预测网络，得到与上述目标数目个第一隐层输出分别对应的第一源域输出结果。

S3、基于目标数目个第一源域输出结果与输入的样本时序数据对应的标签的比较，调整目标数目个记忆网络和预测网络的网络参数。

在这些实现方式中，作为示例，上述执行主体可以根据属于第一源域数据的样本时序数据所得到的第一源域输出结果与属于第一源域数据的样本时序数据对应的标签的比较结果生成损失值(例如均方误差)；作为又一示例，上述执行主体可以根据属于第二源域数据的样本时序数据所得到的第二源域输出结果与属于第二源域数据的样本时序数据对应的标签的比较结果生成损失值，以此类推。根据所得到的损失值，上述执行主体可以利用反向传播法调整上述目标数目个记忆网络和预测网络的网络参数。

第二步，响应于确定满足第一预训练的停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定预训练时序模型。

在这些实现方式中，上述停止条件可以与前述步骤所描述的训练停止条件一致，此处不再赘述。

可选地，响应于确定不满足上述第一预训练的停止条件，上述执行主体可以将网络参数调整后的目标数目个记忆网络和预测网络确定为新的初始时序模型的记忆网络和预测网络，以及继续执行上述第一预训练步骤。

基于上述可选的实现方式，本方案可以利用与目标数目一致的记忆网络与预测网络的组合作为预训练时序模型，从而通过考虑源域数据中存在的与目标域数据相似的时间片，利用记忆网络将源域数据中有用信息进行保留，为更为丰富的知识迁移提供数据基础。

在本实施例的一些可选的实现方式中，上述源域数据的样本时序数据可以包括训练集中的样本时序数据和测试集中的样本时序数据。基于目标数目的源域数据，参见图2c，上述执行主体可以按照以下步骤，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型，包括：

第一步，响应于确定目标数目大于第二预设阈值，获取初始模型，以及执行以下第二预训练步骤：

在这些实现方式中，上述初始模型可以包括各种用于时序预测的模型，例如LSTM(Long short-term memory,长短期记忆)网络、GRU(Gate Recurrent Unit，门控循环单元)等。

S’1、将目标数目的源域数据的训练集中的样本时序数据分别作为各源域数据对应的初始时序模型的输入，将对应的标签作为期望输出，训练得到目标数目个源域模型。

在这些实现方式中，上述初始时序模型可以基于上述初始模型生成。作为示例，上述初始时序模型可以是与上述初始模型结构相同、参数相同或不同的模型。上述训练得到目标数目个源域模型可以通过有监督训练得到。

S’2、将目标数目的源域数据的测试集中的样本时序数据分别输入至各源域数据对应的源域模型，得到目标数目个第二源域输出结果。

在这些实现方式中，作为示例，上述执行主体可以将测试集中属于第一源域数据的样本时序数据输入至第一源域数据训练得到的源域模型，从而得到与属于第一源域数据的样本时序数据对应的第二源域输出结果；作为又一示例，上述执行主体可以将测试集中属于第二源域数据的样本时序数据输入至第二源域数据训练得到的源域模型，从而得到与属于第二源域数据的样本时序数据对应的第二源域输出结果；以此类推。

S’3、基于目标数目个第二源域输出结果与输入的样本时序数据对应的标签之间的差异，生成综合损失值。

在这些实现方式中，基于目标数目个第二源域输出结果与输入的样本时序数据对应的标签之间的差异，上述执行主体可以通过各种方式生成综合损失值。作为示例，上述执行主体可以将上述步骤S’2得到的第二源域输出结果与输入的样本时序数据对应的标签之间的差异进行叠加，生成综合损失值。

S’4、基于综合损失值调整初始模型的网络参数。

在这些实现方式中，基于上述步骤S’3生成的综合损失值，上述执行主体可以利用反向传播法调整上述初始模型的网络参数。从而，上述执行主体可以利用目标数目的源域数据的训练集中的样本时序数据在上述调整后的初始模型的基础上重新训练得到目标数目个源域模型。

第二步，响应于确定满足第二预训练的停止条件，将网络参数调整后的初始模型确定为预训练时序模型。

第三步，响应于不确定满足第二预训练的停止条件，将网络参数调整后的初始模型作为新的初始模型；以及继续执行上述第二预训练步骤。

在这些实现方式中，上述步骤S’4、第二步、第三步中对于有监督训练的具体训练过程可以与前述相应描述一致，此处不再赘述。

基于上述可选的实现方式，本方案可以借助将多个源域数据对应的源域模型看作多个同类型的任务的思想，通过对初始模型的调整提取上述任务中的共有知识，从而为后续通过较少迭代次数即能得到训练完成后的时序模型提供技术基础。

步骤203，利用目标域数据训练预训练时序模型，得到训练完成后的时序模型。

在本实施例中，上述执行主体可以利用目标域数据训练上述步骤202所得到的预训练时序模型，从而得到训练完成后的时序模型。作为示例，上述执行主体可以在上述预训练时序模型的基础上，利用上述目标域数据继续训练上述模型。具体地，上述执行主体可以利用上述预训练时序模型的参数作为初始参数，将上述目标域数据的样本时序数据作为上述预训练时序模型的输入，将输入的样本时序数据对应的标签作为期望输出，通过反向传播法调整上述预训练时序模型的参数，当满足训练停止条件时停止迭代，从而将参数调整后的预训练时序模型确定为上述训练完成后的时序模型。

需要说明的是，上述训练停止条件可以包括但不限于以下至少一项：训练轮次达到预设轮次，训练时长达到预设训练时长，损失值收敛。

在本实施例的一些可选的实现方式中，参见图2d，基于上述可选的实现方式，上述执行主体可以按照如下步骤利用目标域数据训练预训练时序模型，得到训练完成后的时序模型：

第一步，将目标域数据的样本时序数据分别输入至预训练时序模型的目标数目个记忆网络，得到目标数目个第二隐层输出。

在这些实现方式中，上述目标数目个记忆网络可以是从上述步骤202可选的实现方式中描述的预训练时序模型迁移得到的。

第二步，融合目标数目个第二隐层输出，以生成融合隐层输出。

在这些实现方式中，上述执行主体可以通过各种方式融合目标数目个第二隐层输出，以生成融合隐层输出。作为示例，上述执行主体可以将上述目标数目个第二隐层输出进行叠加或拼接。

可选地，上述执行主体还可以按照如下步骤融合上述目标数目个第二隐层输出，以生成融合隐层输出：

S1、确定目标数目个第二隐层输出与对应的第一隐层输出的相似度。

在这些实现方式中，作为示例，上述执行主体可以确定属于第一源域数据的样本时序数据对应的第一隐层输出和第二隐层输出之间的相似度；作为又一示例，上述执行主体可以确定属于第二源域数据的样本时序数据对应的第一隐层输出和第二隐层输出之间的相似度；以此类推。

S2、根据与所确定的相似度一致的权重进行融合，生成融合隐层输出。

在这些实现方式中，上述执行主体可以通过各种方式根据与所确定的相似度一致的权重进行融合，以使得相似度较高的第二隐层输出对应的权重较高。作为示例，上述执行主体可以对上述相似度进行归一化，从而将归一化后的相似度作为权重，将上述目标数目的第二隐层输出进行加权求和，生成融合隐层输出。

基于上述可选的实现方式，本方案可以利用相似性匹配找到各个源域数据中与之相似的记忆表征，从而通过目标域数据与源域数据的相似性，对多个源域数据的记忆表征进行融合，以提升融合后的特征的特征表征能力。

第三步，将融合隐层输出输入至预训练时序模型的预测网络，得到目标域输出结果。

在这些实现方式中，上述预训练时序模型的预测网络可以是从上述步骤202可选的实现方式中描述的预训练时序模型迁移得到的。

第四步，基于目标域输出结果与输入的样本时序数据对应的标签的比较，调整预训练模型中目标数目个记忆网络和预测网络的网络参数。

第五步，响应于确定满足时序模型的训练停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为训练完成后的时序模型。

可选地，响应于确定不满足上述时序模型的训练停止条件，上述执行主体可以将网络参数调整后的目标数目个记忆网络和预测网络确定为新的预训练时序模型的记忆网络和预测网络，以及继续执行上述第一步至第四步的步骤。

在这些实现方式中，上述第四步、第五步及其可选的实现方式中对于有监督训练的具体训练过程可以与前述相应描述一致，此处不再赘述。

基于上述可选的实现方式，本方案可以将对多个源域数据的记忆表征进行融合，生成特征表征能力更强的融合隐层输出，有助于提升模型的有效性。

继续参见图3，图3是根据本公开的实施例的基于迁移学习的时序模型训练方法的应用场景的一个示意图。在图3的应用场景中，分别设置于成熟A景区、成熟B景区和新开C景区的客流量统计设备3011、3012、3013可以存储有近5天的客流量记录。后台服务器302可以从上述客流量统计设备3011、3012、3013获取新开C景区的客流量记录作为目标域数据307；获取成熟A景区和成熟B景区的客流量记录作为源域数据303、304。之后，后台服务器可以按照与两组源域数据对应的方式，利用上述源域数据303、304训练初始时序模型305，得到预训练时序模型306。而后，后台服务器可以继续利用上述目标域数据307训练上述预训练时序模型306，从而得到训练完成后的时序模型308。

目前，现有技术之一通常是直接利用较少的数据对时序模型进行训练或采用通用的预训练模型，导致模型由于训练数据不足而出现过拟合问题或因通用的预训练模型没有针对性而使得迁移后的模型缺乏相应“知识”造成训练后的模型准确度不高。而本公开的上述实施例提供的方法，通过根据源域数据的不同数目采用不同的方式，使得迁移学习的训练方式更适合源域数据，从而有助于提升时序模型的训练效率和学习效果，实现了模型的冷启动。

进一步参考图4，其示出了用于时序预测的方法的又一个实施例的流程400。该用于时序预测的方法的流程400，包括以下步骤：

步骤401，获取目标时序数据。

在本实施例中，用于时序预测的方法的执行主体(例如图1所示的服务器105)可以通过各种方式获取目标时序数据。上述目标时序数据可以与前述实施例中所描述的目标域数据和目标数目的源域数据一致。上述目标时序数据可以根据实际应用场景而定。

作为示例，上述目标时序数据可以是2月8日至2月13日的新景区的每日客流量数据序列。作为又一示例，上述目标时序数据可以是2月8日至2月13日的新开发区的每日用电总量序列。

步骤402，将目标时序数据输入至预先训练的时序模型，得到与目标时序数据对应的预测值。

在本实施例中，上述时序模型可以通过如前述实施例所描述的基于迁移学习的时序模型训练方法训练得到，此处不再赘述。作为示例，上述与目标时序数据对应的预测值可以是2月14日的新区的全天客流量数据，也可以是2月14日的新开发区的全天用电总量。

从图4中可以看出，本实施例中的用于时序预测的方法的流程400体现了利用如上述的基于迁移学习的时序模型训练方法训练得到的时序模型进行预测的步骤。由此，本实施例描述的方案可以利用较少的训练数据进行时序预测模型的训练并应用该模型进行时序预测，从而提升了冷启动时序模型的预测效果。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了基于迁移学习的时序模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例提供的基于迁移学习的时序模型训练装置500包括第一获取单元501、预训练单元502和训练单元503。其中，第一获取单元501，被配置成获取用于迁移学习的目标域数据和目标数目的源域数据，其中，目标域数据和源域数据分别包括样本时序数据和对应的标签；预训练单元502，被配置成基于目标数目的源域数据，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型；训练单元503，被配置成利用目标域数据训练预训练时序模型，得到训练完成后的时序模型。

在本实施例中，基于迁移学习的时序模型训练装置500中：第一获取单元501、预训练单元502和训练单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202和步骤203的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述预训练时序模型可以包括记忆网络和预测网络。上述预训练单元502可以被进一步配置成：响应于确定目标数目大于第一预设阈值且小于第二预设阈值，执行以下第一预训练步骤：将目标数目的源域数据中的样本时序数据分别输入至各源域数据对应的记忆网络，得到目标数目个第一隐层输出；将目标数目个第一隐层输出输入至预测网络，得到与各源域数据对应的目标数目个第一源域输出结果；基于目标数目个第一源域输出结果与输入的样本时序数据对应的标签的比较，调整目标数目个记忆网络和预测网络的网络参数；响应于确定满足第一预训练的停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为预训练时序模型。

在本实施例的一些可选的实现方式中，上述训练单元503可以被进一步配置成：将目标域数据的样本时序数据分别输入至预训练时序模型的目标数目个记忆网络，得到目标数目个第二隐层输出；融合目标数目个第二隐层输出，以生成融合隐层输出；将融合隐层输出输入至预训练时序模型的预测网络，得到目标域输出结果；基于目标域输出结果与输入的样本时序数据对应的标签的比较，调整预训练模型中目标数目个记忆网络和预测网络的网络参数；响应于确定满足时序模型的训练停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为训练完成后的时序模型。

在本实施例的一些可选的实现方式中，上述训练单元503可以被进一步配置成：确定目标数目个第二隐层输出与对应的第一隐层输出的相似度；根据与所确定的相似度一致的权重进行融合，生成融合隐层输出。

在本实施例的一些可选的实现方式中，上述源域数据的样本时序数据可以包括训练集中的样本时序数据和测试集中的样本时序数据。上述预训练单元502可以被进一步配置成：响应于确定目标数目大于第二预设阈值，获取初始模型，以及执行以下第二预训练步骤：将目标数目的源域数据的训练集中的样本时序数据分别作为各源域数据对应的初始时序模型的输入，将对应的标签作为期望输出，训练得到目标数目个源域模型，其中，初始时序模型基于初始模型生成；将目标数目的源域数据的测试集中的样本时序数据分别输入至各源域数据对应的源域模型，得到目标数目个第二源域输出结果；基于目标数目个第二源域输出结果与输入的样本时序数据对应的标签之间的差异，生成综合损失值；基于综合损失值调整初始模型的网络参数；响应于确定满足第二预训练的停止条件，将网络参数调整后的初始模型确定为预训练时序模型；响应于不确定满足第二预训练的停止条件，将网络参数调整后的初始模型作为新的初始模型；以及继续执行第二预训练步骤。

本公开的上述实施例提供的装置，通过预训练单元502根据第一获取单元501获取的源域数据的不同数目采用不同的方式进行预训练，使得迁移学习的训练方式更适合源域数据；训练单元503基于预训练的模型继续训练，从而有助于提升时序模型的训练效率和学习效果，实现了模型的冷启动。

进一步参考图6，作为对上述各图所示方法的实现，本公开提供了用于时序预测的装置的一个实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例提供的用于时序预测的装置600包括第二获取单元601和预测单元602。其中，第二获取单元601，被配置成获取目标时序数据；预测单元602，被配置成将目标时序数据输入至预先训练的时序模型，得到与目标时序数据对应的预测值，其中，时序模型通过如前述实施例中基于迁移学习的时序模型训练方法训练得到。

在本实施例中，用于时序预测的装置600中：第二获取单元601和预测单元602的具体处理及其所带来的技术效果可分别参考图4对应实施例中的步骤401、步骤402的相关说明，在此不再赘述。

本公开的上述实施例提供的装置，通过预测单元602应用基于较少的训练数据进行训练的时序预测模型对第二获取单元601获取的目标时序数据进行时序预测，从而提升了冷启动时序模型的预测效果。

下面参考图7，其示出了适于用来实现本申请实施例的电子设备(例如图1中的服务器)700的结构示意图。本申请实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD，LiquidCrystal Display)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本申请的实施例的方法中限定的上述功能。

需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(Radio Frequency，射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取用于迁移学习的目标域数据和目标数目的源域数据，其中，目标域数据和源域数据分别包括样本时序数据和对应的标签；基于目标数目的源域数据，按照与目标数目对应的方式训练初始时序模型，得到预训练时序模型；利用目标域数据训练预训练时序模型，得到训练完成后的时序模型；或者使得该电子设备：获取目标时序数据；将目标时序数据输入至预先训练的时序模型，得到与目标时序数据对应的预测值，其中，时序模型通过如第一方面中任一实现方式描述的方法训练得到。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”、Python语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括第一获取单元、预训练单元、训练单元；或者可以描述为：一种处理器，包括第二获取单元、预测单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取用于迁移学习的目标域数据和目标数目的源域数据的单元，其中，目标域数据和源域数据分别包括样本时序数据和对应的标签”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于迁移学习的时序模型训练方法，包括：

获取用于迁移学习的目标域数据和目标数目的源域数据，其中，所述目标域数据和源域数据分别包括样本时序数据和对应的标签；

基于所述目标数目的源域数据，按照与所述目标数目对应的方式训练初始时序模型，得到预训练时序模型；

利用所述目标域数据训练所述预训练时序模型，得到训练完成后的时序模型。

2.根据权利要求1所述的方法，其中，所述预训练时序模型包括记忆网络和预测网络；以及

所述基于所述目标数目的源域数据，按照与所述目标数目对应的方式训练初始时序模型，得到预训练时序模型，包括：

响应于确定所述目标数目大于第一预设阈值且小于第二预设阈值，执行以下第一预训练步骤：

将所述目标数目的源域数据中的样本时序数据分别输入至各源域数据对应的所述记忆网络，得到所述目标数目个第一隐层输出；

将所述目标数目个第一隐层输出输入至所述预测网络，得到与各源域数据对应的目标数目个第一源域输出结果；

基于所述目标数目个第一源域输出结果与输入的样本时序数据对应的标签的比较，调整所述目标数目个记忆网络和所述预测网络的网络参数；

响应于确定满足所述第一预训练的停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为所述预训练时序模型。

3.根据权利要求2所述的方法，其中，所述利用所述目标域数据训练所述预训练时序模型，得到训练完成后的时序模型，包括：

将所述目标域数据的样本时序数据分别输入至所述预训练时序模型的目标数目个记忆网络，得到目标数目个第二隐层输出；

融合所述目标数目个第二隐层输出，以生成融合隐层输出；

将所述融合隐层输出输入至所述预训练时序模型的预测网络，得到目标域输出结果；

基于所述目标域输出结果与输入的样本时序数据对应的标签的比较，调整所述预训练模型中目标数目个记忆网络和预测网络的网络参数；

响应于确定满足所述时序模型的训练停止条件，将网络参数调整后的目标数目个记忆网络和预测网络确定为所述训练完成后的时序模型。

4.根据权利要求3所述的方法，其中，所述融合所述目标数目个第二隐层输出，以生成融合隐层输出，包括：

确定所述目标数目个第二隐层输出与对应的第一隐层输出的相似度；

根据与所确定的相似度一致的权重进行融合，生成所述融合隐层输出。

5.根据权利要求1-4之一所述的方法，其中，所述源域数据的样本时序数据包括训练集中的样本时序数据和测试集中的样本时序数据；以及

所述基于所述目标数目的源域数据，按照与所述目标数目对应的方式训练初始时序模型，得到预训练时序模型，包括：

响应于确定所述目标数目大于第二预设阈值，获取初始模型，以及执行以下第二预训练步骤：

将所述目标数目的源域数据的训练集中的样本时序数据分别作为各源域数据对应的初始时序模型的输入，将对应的标签作为期望输出，训练得到所述目标数目个源域模型，其中，所述初始时序模型基于所述初始模型生成；

将所述目标数目的源域数据的测试集中的样本时序数据分别输入至各源域数据对应的源域模型，得到目标数目个第二源域输出结果；

基于所述目标数目个第二源域输出结果与输入的样本时序数据对应的标签之间的差异，生成综合损失值；

基于所述综合损失值调整所述初始模型的网络参数；

响应于确定满足所述第二预训练的停止条件，将网络参数调整后的初始模型确定为所述预训练时序模型；

响应于不确定满足所述第二预训练的停止条件，将网络参数调整后的初始模型作为新的初始模型；以及继续执行所述第二预训练步骤。

6.一种用于时序预测的方法，包括：

获取目标时序数据；

将所述目标时序数据输入至预先训练的时序模型，得到与所述目标时序数据对应的预测值，其中，所述时序模型通过如权利要求1-5之一所述的方法训练得到。

7.一种基于迁移学习的时序模型训练装置，包括：

第一获取单元，被配置成获取用于迁移学习的目标域数据和目标数目的源域数据，其中，所述目标域数据和源域数据分别包括样本时序数据和对应的标签；

预训练单元，被配置成基于所述目标数目的源域数据，按照与所述目标数目对应的方式训练初始时序模型，得到预训练时序模型；

训练单元，被配置成利用所述目标域数据训练所述预训练时序模型，得到训练完成后的时序模型。

8.一种用于时序预测的装置，包括：

第二获取单元，被配置成获取目标时序数据；

预测单元，被配置成将所述目标时序数据输入至预先训练的时序模型，得到与所述目标时序数据对应的预测值，其中，所述时序模型通过如权利要求1-5之一所述的方法训练得到。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images