CN110414690A - 利用机器学习模型执行预测的方法及装置 - Google Patents

Abstract

提供了一种利用机器学习模型执行训练的方法及装置。所述方法包括：获取将针对其执行预测的当前数据记录；获取第一机器学习模型针对所述当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录；产生与所述当前数据记录相应的预测样本，其中，所述序列特征被用作所述预测样本所包括的特征之一；利用第二机器学习模型针对预测样本提供关于预测目标的预测结果。

Description

利用机器学习模型执行预测的方法及装置

技术领域

本申请总体说来涉及人工智能领域，更具体地讲，涉及一种利用机器学习模型执行预测的方法及装置、以及用于训练机器学习模型的方法及装置。

背景技术

随着海量数据的出现，人工智能技术迅速发展，而机器学习是人工智能发展到一定阶段的必然产物，其致力于通过计算的手段，从大量数据中挖掘有价值的潜在信息。

在计算机系统中，“经验”通常以“数据”形式存在。每条数据记录可被看作关于一个事件或对象的描述，并且每条数据记录包括反映事件或对象在某方面的表现或性质的各个事项，这些事项可被称之为数据的“属性”。如何利用原始数据记录的属性获得适宜的机器学习样本，会对机器学习模型的效果产生很大的影响。

对于连续出现的序列数据记录而言，在特征提取过程中，通常采用人为设计时间窗进行统计等方法来获得机器学习样本的序列特征。然而，此类方法需要专家知识和大量的工作时间，对此，机器学习建模技术人员难以掌握。而且，即便耗费了大量的人力，按照此类方法获得的样本特征仍难以准确地反映真实连续数据之间的复杂的序列特性或时序规律，从而导致预测效果不理想。事实上，对于很多应用场景(例如，在线推荐、反欺诈等)，连续数据记录之间的序列特性或时序规律往往具有很大的预测价值，但在现实中却难以被有效地利用。

发明内容

根据本申请示例性实施例，提供一种利用机器学习模型执行预测的方法，包括：获取将针对其执行预测的当前数据记录；获取第一机器学习模型针对所述当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录；产生与所述当前数据记录相应的预测样本，其中，所述序列特征被用作所述预测样本所包括的特征之一；以及利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果。

可选地，第一机器学习模型可被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果，其中，序列预测目标与所述预测目标相同或不同。

可选地，获取内部状态的步骤可包括：将所述当前数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态。

可选地，在所述方法中，所述当前数据记录涉及待预测行为对象，所述在先数据记录涉及连续正向行为对象，其中，

可选地，第一机器学习模型可被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象，或者，第一机器学习模型可被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象，

可选地，在利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果的步骤中，可利用第二机器学习模型来预测所述预测样本对应正向行为对象还是负向行为对象。

可选地，在所述方法中，所述待预测行为对象可指示以下项之中的至少一项：将预测其是否被接受的推荐对象、将预测其是否为欺诈行为的行为对象、将预测其是否为异常行为的行为对象、将预测其是否被接受的营销对象。

可选地，第一机器学习模型可包括多个第一机器学习子模型，其中，每个第一机器学习子模型被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果；或者，第一机器学习模型可作为单个机器学习模型，被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。

可选地，在所述方法中，在所述对应属性特征或所述全部属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量可经由仿射变换而映射到统一的特征空间。

可选地，在所述方法中，在属性特征同时具有多个取值的情况下，所述属性特征的特征向量值可通过将与所述多个取值相应的特征向量值进行最大值池化、加权平均或均值池化而得到。

可选地，第一机器学习模型可具有循环神经网络结构。

可选地，所述循环神经网络结构可包括简单循环神经网络结构、长短期记忆网络结构和门控循环单元结构之一。

根据本申请另一示例性实施例，提供一种用于利用机器学习模型执行预测的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行如上所述的方法的计算机程序。

根据本申请另一示例性实施例，提供一种用于利用机器学习模型执行预测的计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令被所述处理器执行时，促使处理器执行如上所述的方法。

根据本申请另一示例性实施例，提供一种利用机器学习模型执行预测的装置，包括：数据记录获取单元，被配置为获取将针对其执行预测的当前数据记录；序列特征提取单元，被配置为获取第一机器学习模型针对所述当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录；预测样本产生单元，被配置为产生与所述当前数据记录相应的预测样本，其中，所述序列特征被用作所述预测样本所包括的特征之一；以及预测单元，被配置为利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果。

可选地，第一机器学习模型可被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果，其中，序列预测目标可与所述预测目标相同或不同。

可选地，在所述装置中，序列特征提取单元可将所述当前数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态。

可选地，所述当前数据记录可涉及待预测行为对象，所述在先数据记录可涉及连续正向行为对象，其中，第一机器学习模型可被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象，或者，第一机器学习模型被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象，并且，预测单元可利用第二机器学习模型来预测所述预测样本对应正向行为对象还是负向行为对象。

可选地，所述待预测行为对象可指示以下项之中的至少一项：将预测其是否被接受的推荐对象、将预测其是否为欺诈行为的行为对象、将预测其是否为异常行为的行为对象、将预测其是否被接受的营销对象。

可选地，第一机器学习模型可包括多个第一机器学习子模型，其中，每个第一机器学习子模型被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果；或者，第一机器学习模型可作为单个机器学习模型，被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。

可选地，在所述对应属性特征或所述全部属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量可经由仿射变换而映射到统一的特征空间。

可选地，在属性特征同时具有多个取值的情况下，所述属性特征的特征向量值可通过将与所述多个取值相应的特征向量值进行最大值池化、加权平均或均值池化而得到。

可选地，第一机器学习模型可具有循环神经网络结构。

可选地，所述循环神经网络结构可包括简单循环神经网络结构、长短期记忆网络结构和门控循环单元结构之一。

根据本申请示例性实施例，提供一种用于训练机器学习模型的方法，包括：获取针对预测目标的待用历史数据记录；获取事先训练的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录连同所述待用历史数据记录；产生与所述待用历史数据记录相应的训练样本，其中，所述序列特征被用作所述训练样本所包括的特征之一；基于由产生的所述训练样本组成的训练样本集，针对预测目标来训练第二机器学习模型。

可选地，第一机器学习模型可被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果，其中，序列预测目标可与所述预测目标相同或不同。

可选地，在所述方法中，获取内部状态的步骤可包括：将所述待用历史数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态。

可选地，在所述方法中，所述待用历史数据记录可涉及历史行为对象，所述在先数据记录可涉及连续正向行为对象，其中，第一机器学习模型可被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象，或者，第一机器学习模型被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象，并且，在训练第二机器学习模型时，所述训练样本的标记可以为所述待用历史数据记录对应历史正向行为对象还是历史负向行为对象。

可选地，所述历史行为对象可指示以下项之中的至少一项：历史上被接受或未被接受的推荐对象、历史上被确定为欺诈行为或非欺诈行为的行为对象、历史上被确定为异常行为或非异常行为的行为对象、历史上被接受或未被接受的营销对象。

可选地，第一机器学习模型可包括多个第一机器学习子模型，其中，每个第一机器学习子模型可被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果；或者，第一机器学习模型可作为单个机器学习模型，被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。

可选地，在所述对应属性特征或所述全部属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量可经由仿射变换而映射到统一的特征空间。

可选地，在属性特征同时具有多个取值的情况下，所述属性特征的特征向量值可通过将与所述多个取值相应的特征向量值进行最大值池化、加权平均或均值池化而得到。

可选地，第一机器学习模型可具有循环神经网络结构。

可选地，所述循环神经网络结构可包括简单循环神经网络结构、长短期记忆网络结构和门控循环单元结构之一。

可选地，在所述方法中，产生与所述待用历史数据记录相应的训练样本的步骤可包括：将与所述待用历史数据记录对应的一个或多个特征连同所述序列特征作为所述训练样本的特征，并将所述待用历史数据记录针对所述预测目标的真实结果作为所述训练样本的标记，

可选地，训练第二机器学习模型的步骤可包括：基于由产生的所述训练样本组成的训练样本集，针对所述预测目标利用有监督机器学习算法来训练第二机器学习模型。

可选地，所述方法还可包括：基于针对序列预测目标的序列训练样本的集合来训练第一机器学习模型，其中，所述序列训练样本基于相同长度或不同长度的一系列连续历史数据记录，并且所述序列训练样本之间由分隔符进行连接。

根据本申请另一示例性实施例，提供一种用于训练机器学习模型的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行如上所述的方法的计算机程序。

根据本申请另一示例性实施例，提供一种用于训练机器学习模型的计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令被所述处理器执行时，促使处理器执行如上所述的方法。

根据本申请另一示例性实施例，提供一种用于训练机器学习模型的装置，包括：数据记录获取单元，被配置为获取针对预测目标的待用历史数据记录；序列特征提取单元，被配置为获取事先训练的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录连同所述待用历史数据记录；训练样本产生单元，被配置为产生与所述待用历史数据记录相应的训练样本，其中，所述序列特征被用作所述训练样本所包括的特征之一；第二机器学习模型训练单元，被配置为基于由产生的所述训练样本组成的训练样本集，针对预测目标来训练第二机器学习模型。

可选地，第一机器学习模型可被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果，其中，序列预测目标与所述预测目标相同或不同。

可选地，在所述装置中，序列特征提取单元可将所述待用历史数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态。

可选地，所述待用历史数据记录可涉及历史行为对象，所述在先数据记录可涉及连续正向行为对象，

可选地，第一机器学习模型可被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象，或者，第一机器学习模型可被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象，

可选地，第二机器学习模型训练单元在训练第二机器学习模型时，所述训练样本的标记可以为所述待用历史数据记录对应历史正向行为对象还是历史负向行为对象。

可选地，所述历史行为对象可指示以下项之中的至少一项：历史上被接受或未被接受的推荐对象、历史上被确定为欺诈行为或非欺诈行为的行为对象、历史上被确定为异常行为或非异常行为的行为对象、历史上被接受或未被接受的营销对象。

可选地，第一机器学习模型可包括多个第一机器学习子模型，其中，每个第一机器学习子模型可被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果；或者，第一机器学习模型可作为单个机器学习模型，被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。

可选地，在所述对应属性特征或所述全部属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量可经由仿射变换而映射到统一的特征空间。

可选地，在属性特征同时具有多个取值的情况下，所述属性特征的特征向量值可通过将与所述多个取值相应的特征向量值进行最大值池化、加权平均或均值池化而得到。

可选地，第一机器学习模型可具有循环神经网络结构。

可选地，所述循环神经网络结构可包括简单循环神经网络结构、长短期记忆网络结构和门控循环单元结构之一。

可选地，在所述装置中，训练样本产生单元在产生训练样本时，可将与所述待用历史数据记录对应的一个或多个特征连同所述序列特征作为所述训练样本的特征，并将所述待用历史数据记录针对所述预测目标的真实结果作为所述训练样本的标记，

可选地，第二机器学习模型训练单元可基于由产生的所述训练样本组成的训练样本集，针对所述预测目标利用有监督机器学习算法来训练第二机器学习模型。

可选地，所述装置还可包括：第一机器学习模型训练单元，基于针对序列预测目标的序列训练样本的集合来训练第一机器学习模型，其中，所述序列训练样本基于相同长度或不同长度的一系列连续历史数据记录，并且所述序列训练样本之间由分隔符进行连接。

根据本申请示例性实施例的利用机器学习模型执行预测的方法及装置中，通过获取具有循环结构的机器学习模型针对当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与当前数据记录相应的序列特征，并将序列特征用作与当前数据记录相应的预测样本所包括的特征之一，从而可有效地利用一系列连续数据记录之间的序列特性，进而提供更加准确的预测结果。此外，根据本申请示例性实施例的用于训练机器学习模型的方法及装置，通过获取具有循环网络结构的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征，并将序列特征用作与待用历史数据记录相应的训练样本所包括的特征之一，可有效地利用一系列连续数据记录之间的序列特性对机器学习模型进行训练，使得训练出的机器学习模型能够具有更好的预测效果。

附图说明

从下面结合附图对本申请实施例的详细描述中，本申请的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：

图1示出根据本申请示例性实施例的利用机器学习模型执行预测的装置的框图；

图2示出根据本申请示例性实施例的用于训练机器学习模型的装置的框图；

图3示出根据本申请另一示例性实施例的用于训练机器学习模型的装置的框图；

图4示出根据本申请示例性实施例的利用机器学习模型执行预测的方法的流程图；

图5示出根据本申请示例性实施例的用于训练机器学习模型的方法的流程图；

图6示出根据本申请另一示例性实施例的用于训练机器学习模型的方法的流程图；

图7是示出根据本申请示例性实施例的包含预测装置的网络环境的示意图。

具体实施方式

为了使本领域技术人员更好地理解本申请，下面结合附图和具体实施方式对本申请的示例性实施例作进一步详细说明。

这里，为便于更好地理解本申请，首先对本申请中所涉及的部分知识进行解释。在机器学习领域，往往通过将经验数据提供给机器学习算法来训练“机器学习模型”，以确定构成机器学习模型的理想参数。通常，可针对不同的“预测目标”来训练或产生不同的机器学习模型，而产生或训练好的机器学习模型可被应用于在面对新的待预测数据时提供针对相应预测目标的判断，即，预测结果。不论是训练机器学习模型，还是利用训练好的机器学习模型进行预测，数据都需要转换为包括各种特征的机器学习样本。另外，机器学习算法可包括“有监督机器学习算法”、“无监督机器学习算法”或“半监督机器学习算法”。需要说明的是，在本申请中，除非另有明确说明，否则，本申请的示例性实施例对具体的机器学习算法并不进行特定限制。此外，不同的机器学习模型可具有不同的结构，例如，线性结构、循环结构等。具有循环结构的机器学习模型适于处理具有序列规律的一系列连续数据(也可称为，序列数据)，并可基于一系列连续数据提供针对特定预测目标的预测结果。这里，所述特定预测目标例如可以是与基于序列数据的预测相关的序列预测目标。

图1示出根据本申请示例性实施例的利用机器学习模型执行预测的装置100(在下文中，被简称为预测装置100)的框图。预测装置100可包括数据记录获取单元110、序列特征提取单元120、预测样本产生单元130和预测单元140。

具体说来，数据记录获取单元110可获取将针对其执行预测的当前数据记录。这里，当前数据记录可涉及待预测对象，其可以是在线产生的数据记录、预先生成并存储的数据记录，也可以是通过输入装置或传输媒介而从外部数据源(例如，服务器、数据库等)接收的数据记录。需要说明的是，在本申请中，所提及的任何数据记录均可涉及任何对象或事物在至少一个方面的表现或性质，即，数据记录可涉及任何对象或事物的至少一个属性信息。例如，当前数据记录可涉及待预测对象的至少一个属性信息。此外，在无明确限定的情况下，关于“数据记录”的描述可适用于本申请中提及的任何数据记录，例如，当前数据记录、历史数据记录、连续数据记录、在先数据记录等。

根据本申请示例性实施例，当前数据记录可涉及待预测行为对象。作为示例，待预测行为对象可指示以下项之中的至少一项：将预测其是否被接受的推荐对象、将预测其是否为欺诈行为的行为对象、将预测其是否为异常行为的行为对象、将预测其是否被接受的营销对象。在待预测行为对象是将预测其是否被接受的推荐对象(例如，新闻)时，当前数据记录可例如涉及新闻的以下属性信息：新闻的主题、新闻的关键词和新闻的展示位置等。在待预测行为对象是将预测其是否为欺诈行为(例如，信用卡欺诈行为)的行为对象时，当前数据记录可例如涉及以下属性信息：借款数额、行为记录、网上的浏览记录等。在待预测行为对象是将预测其是否为异常行为(例如，异常投资)的行为对象时，当前数据记录可例如涉及以下属性信息：投资金额、投资对象等。在待预测行为对象是将预测其是否被接受的营销对象(例如，投放的广告)时，当前数据记录可例如涉及以下属性信息：所广告产品的类别、广告时间、广告媒体类型等。然而，本领域技术人员应清楚的是，在本申请中，当提及“数据记录”时，无论是数据记录所涉及的行为对象，还是数据记录所涉及的属性信息，均不限于以上示例，而是可根据不同的应用场景且针对不同的预测目标而涉及不同的行为对象和不同的属性信息。

另外，数据记录获取单元110可获取不同来源的结构化或非结构化数据记录，例如，文本数据或数值数据等。获取的数据记录可用于形成机器学习的预测样本的特征的一部分，以参与机器学习模型的预测过程。当前数据记录可来源于期望获取模型预测结果的实体内部，例如，来源于期望获取预测结果的银行、企业、学校等；这些数据也可来源于上述实体以外，例如，来源于数据提供商、互联网(例如，社交网站)、移动运营商、APP运营商、快递公司、信用机构等。可选地，当前数据记录可仅包括某个相对完整的数据表记录中的一部分属性信息，例如，数据记录获取单元110可从上述数据表中抽取出当前数据记录。另外，除了获取当前数据记录之外，数据记录获取单元110还可获取与当前数据记录对应的其他数据记录(例如，将被推荐内容的用户的年龄、职业、个人偏好等)，以在后续形成携带更多信息的机器学习预测样本。

就数据记录的获取方式而言，上述数据记录可通过输入装置输入到数据记录获取单元110，或者由数据记录获取单元110根据已获取的数据来自动生成，或者可由数据记录获取单元110从网络上(例如，网络上的存储介质(例如，数据仓库))获得，此外，诸如服务器的中间数据交换装置可有助于数据记录获取单元110从外部数据源获取相应的数据。这里，获取的数据记录可被进一步转换为容易处理的格式。

此外，数据记录可例如以数据表的形式被存储在本地存储介质或具有数据存储功能的云计算平台(包括但不限于公有云和私有云等)中。通常，数据表的一行可对应一条数据记录，数据表的一列可对应一个属性字段。如上所述，数据表中的每条数据记录可包括一个或多个属性信息(即，属性字段)。属性字段可用于形成属性特征，而属性特征可被作为样本的组成特征，并且属性特征可以是属性字段本身或属性字段的局部、各种属性字段的组合、或属性字段经过处理(或运算)而得到的结果。这里，作为示例，可将不同用户的数据记录整合在同一数据表中，并且每条数据记录的属性字段中均可包含例如用户ID的用户标识字段。这里，作为示例，根据应用场景，可认为序列性存在于同一用户的连续数据记录之间。

序列特征提取单元120可获取第一机器学习模型针对数据记录获取单元110获取的当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征。

这里，所述一系列连续数据记录可包括在所述当前数据记录之前连续出现的在先数据记录(此时，当前数据记录不被输入到第一机器学习模型)，或者，所述一系列连续数据记录可包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录(此时，当前数据记录也需被输入到第一机器学习模型中)。作为示例，用于获取当前数据记录的数据记录获取单元110也可被用于获取在当前数据记录之前连续出现的在先数据记录，或者，在先数据记录可通过其他具有数据获取功能的单元或装置来获取，本申请对此不作限制，例如，在先数据记录可从用户本身的客户端或相关的内容提供商等获取。此外，在先数据记录也可以数据表的形式被存储。

根据本申请示例性实施例，序列数据记录是指具有某种连续性(例如，行为或其对象在时间上的连续性)的一系列数据，例如，用户在开启某新闻资讯类的App之后，截至退出该App之前连续点击的新闻。实践中，为了便于数据收集，也可人为地进行时间划分，并将划分的单位时间区间内的数据记录视为具有连续性，例如，可将一天24小时内出现(例如，展现给用户)的数据记录(或展现的数据记录之中用户点击的数据记录)处理为连续数据记录。或者，也可人为地进行数量划分，例如，将在时间上顺序出现的预设数量的数据记录认为是连续出现的一系列数据。

可选地，当预测装置100需要针对特定用户进行预测时，数据记录获取单元110可获取针对该特定用户的当前数据记录，并且可例如通过该特定用户的标识信息(例如，数据表中该特定用户的标识字段)来获取针对该特定用户的在当前数据记录之前连续出现的在先数据记录，从而可针对该特定用户执行预测。

根据示例性实施例，数据获取单元110获取的当前数据记录可涉及待预测行为对象，相应地，当前数据记录之前连续出现的在先数据记录可涉及连续行为对象。可选地，在先数据记录可仅涉及连续正向行为对象(例如，在行为对象被划分为正向行为对象和负向行为对象的场景下)。通过这种方式，连续正向行为对象可对于预测结果提供更大的贡献，从而提升序列特征的预测能力。然而，本申请不限于此，换言之，在先数据记录所涉及的连续行为对象中除了包括正向行为对象之外，还可包括负向行为对象。这里，正向行为对象可指示正向行为所针对的对象，而正向行为可以是期望获取模型预测结果的实体所期望的行为，例如，内容提供商所期望的用户对其所推荐的内容的接受行为(诸如，用户的主动点击推荐内容的行为)，但不限于此。与此相反，负向行为对象可对应于负向行为，而负向行为可以是与正向行为相反或相对的行为，例如，用户未接受内容提供商所推荐的内容的行为。作为示例，如果当前数据记录涉及将预测其是否被接受的新闻对象，则在当前数据记录之前连续出现的在先数据记录可涉及内容提供商之前推荐给用户的用户曾连续点击过的新闻对象。例如，在先数据记录可涉及内容提供商在当前数据记录所在的预定时间段(例如，一小时、一天或更长的时间等)内推送给用户的用户曾点击过的新闻对象。应注意的是，这里的预定时间段的长度并无限制，而是可根据实际需要被设置为适宜的时间长度。

如上所述，序列特征提取单元120获取序列特征时，需要获取第一机器学习模型针对当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态。因此，接下来，将首先对本申请所涉及的第一机器学习模型进行详细描述。

根据示例性实施例，第一机器学习模型可具有循环结构，使得能够学习出连续数据记录之间的特性或规律。优选地，第一机器学习模型可具有循环神经网络结构。作为示例，循环神经网络结构可包括简单循环神经网络结构、长短期记忆网络(LSTM)结构和门控循环单元结构之一。例如，第一机器学习模型可以是普通的RNN(Recurrent NeuralNetwork)。然而，本领域技术人员清楚的是，循环神经网络结构不限于此，而是可包括现在已知的或将来可能出现的任何循环神经网络结构。通常，具有循环结构的机器学习模型往往适于处理序列数据，并可基于序列数据提供关于预测目标的预测结果。下文中，为了区分，将第一机器学习模型所针对的问题称为序列预测目标，而将相应的预测结果称为序列预测结果。因此，具有循环结构的第一机器学习模型可针对以上所描述的当前数据记录所涉及的一系列连续数据记录执行预测，以提供关于序列预测目标的序列预测结果。

根据示例性实施例，在序列特征提取单元120获取第一机器学习模型的内部状态之前，对第一机器学习模型的训练已经事先完成。根据示例性实施例，第一机器学习模型可被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果。

如上所述，数据记录获取单元110所获取的当前数据记录可涉及待预测行为对象，并且在当前数据记录之前连续出现的在先数据记录可涉及连续正向行为对象。在这种情况下，根据示例性实施例，第一机器学习模型可被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象。作为示例，当行为对象是新闻对象时，第一机器学习模型可被事先训练为针对一系列用户连续点击的新闻对象来预测用户接下来点击的新闻对象是什么。或者，可选地，根据另一示例性实施例，第一机器学习模型可被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象。同样，以行为对象是新闻对象为例，第一机器学习模型可被事先训练为针对用户点击的一系列新闻对象和接下来连续出现的新闻对象来预测该接下来连续出现的新闻对象是用户会点击的新闻对象还是用户不会点击的新闻对象(即，预测用户是否将点击该新闻对象)。

另外，需要说明的是，以上提及的第一机器学习模型既可以是单个机器学习模型，也可以包括多个第一机器学习子模型。在第一机器学习模型是单个机器学习模型的情况下，第一机器学习模型可被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。这里，全部属性特征可指基于数据记录的属性字段产生的全部属性特征，其既可以是数据记录的全部属性字段本身，也可以是数据记录的部分或全部属性字段通过一定的处理或运算而得到的全部属性特征。可选地，根据另一示例性实施例，第一机器学习模型可包括多个第一机器学习子模型，每个第一机器学习子模型可被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果。对应属性特征可指基于数据记录的属性字段而形成的部分属性特征，其既可以是数据记录的部分属性字段本身，也可以是部分或全部属性字段通过一定的处理或运算而得到的部分属性特征。在这种情况下，每个第一机器学习子模型均有其各自所针对的对应属性特征，并且每个第一机器学习子模型所针对的对应属性特征的数量可以相同或不同。例如，假设数据记录涉及新闻对象并且数据记录可包括新闻对象的以下属性信息：新闻主题、新闻关键词、新闻展示位置，在直接将属性信息作为属性特征的情况下，可针对每个属性信息来训练一个第一机器学习子模型；或者，可通过将属性信息进行分组来训练多个第一机器学习子模型，例如，可针对新闻主题这一属性信息来训练一个第一机器学习子模型，并针对新闻关键词和新闻展示位置这两个属性信息来训练另一个第一机器学习子模型；或者，可针对以上三个属性信息仅训练单个第一机器学习模型。

另外，需要说明的是，每个第一机器学习子模型既可以是相同类型的具有循环结构的机器学习模型，或者可以是不同类型的具有循环结构的机器学习模型。例如，假设第一机器学习模型包括三个第一机器学习子模型，则这三个机器学习子模型中的每个机器学习子模型可分别是例如简单循环神经网络结构、长短期记忆网络结构和门控循环单元结构中的任意一个。需要说明的是，本申请中第一机器学习模型可包括的第一机器学习子模型的数量不限于此，而且每个第一机器学习子模型的类型也不限于此，只要其具有循环结构即可。

根据示例性实施例，无论是在第一机器学习模型作为单个机器学习模型的情况下所描述的全部属性特征，还是在第一机器学习模型包括多个第一机器学习子模型的情况下所描述的对应属性特征，其均可包括一个或多个属性特征。

这里，在全部属性特征或对应属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量可经由仿射变换而映射到统一的特征空间。

此外，在属性特征同时具有多个取值的情况下，所述属性特征的特征向量值可通过将与所述多个取值相应的特征向量值进行最大值池化、加权平均或均值池化而得到。

通过上述方式，能够更全面或有效地刻画连续数据记录，以便于更好地学习出它们之间的特性或规律，从而用作相应的序列特征。

在对本申请所涉及的第一机器学习模型进行描述之后，接下来，将继续对序列特征提取单元120进行描述。

如上所述，序列特征提取单元120可获取第一机器学习模型针对当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征。具体而言，序列特征提取单元120可将所述当前数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态。根据示例性实施例，这里的最后一个数据记录可以是在当前数据记录之前连续出现的在先数据记录中的最后一个在先数据记录。也就是说，此时，当前数据记录所涉及的一系列连续数据记录包括在当前数据记录之前连续出现的在先数据记录，而不包括当前数据记录本身。此时，当所述当前数据记录是所述一系列连续数据记录中的第一个数据记录时，即，不存在当前数据记录所涉及的一系列连续数据记录时，此时的内部状态可被设置为默认值，例如，被设置为一个值为零(或值为内部状态均值)的向量。可选地，根据另一示例性实施例，这里的最后一个数据可以是当前数据记录本身，也就是说，此时，当前数据记录所涉及的一系列连续数据记录除包括在当前数据记录之前连续出现的在先数据记录之外还包括所述当前数据记录本身。

这里，根据所述最后一个数据记录的不同，内部状态的获取方式也可有所不同。具体而言，如果所述最后一个数据记录是在当前数据记录之前连续出现的在先数据记录中的最后一个在先数据记录，则序列特征提取单元120可通过查找历史状态表中的内部状态记录来获取第一机器学习模型在所述最后一个在先数据记录被输入第一机器学习模型之后产生的内部状态。这里，历史状态表可记录有第一机器学习模型在每个在先数据记录被输入到第一机器学习模型中之后产生的内部状态，或者可仅记录第一机器学习模型在当前数据记录之前的最后一个在先数据记录被输入到第一机器学习模型之后产生的内部状态。例如，仍然以数据记录涉及新闻对象为例，每当内容提供商将新闻对象推荐给用户，而用户点击了该新闻对象(即，成为一个正向行为对象)时，该新闻对象所对应的数据记录就被输入事先训练的第一机器学习模型以执行预测(例如，可预测下一新闻对象)，此时，第一机器学习模型会针对输入的该数据记录产生内部状态，并且该内部状态可被记录在历史状态表中。与之前描述数据记录时所提及的数据表类似，作为示例，可针对不同用户建立统一的历史状态表，并且表中的每条内部状态记录可用例如用户ID的用户标识字段来标识。

与所述最后一个数据记录是在先数据记录的情况不同，如果所述最后一个数据记录是当前数据记录本身，则所述当前数据记录本身也需要被输入第一机器学习模型以执行运算，即，此时的内部状态是：在当前数据记录之前连续出现的在先数据记录已经被依次输入第一机器学习模型的情况下，再将当前数据记录输入第一机器学习模型进行预测后，第一机器学习模型的内部状态。提取的具有循环结构的第一机器学习模型的内部状态往往可以反映动态时序行为，从而可作为序列特征被用于后续的预测处理。

预测样本产生单元130可被配置为产生与所述当前数据记录相应的预测样本。根据示例性实施例，由序列特征提取单元120提取的序列特征可被用作所述预测样本所包括的特征之一。这里，预测样本产生单元130可将序列特征与当前数据记录对应的一个或多个特征进行拼接或组合来产生预测样本。与当前数据记录对应的一个或多个特征既可基于当前数据记录本身的属性字段来形成，也可基于来自于有助于预测的其他数据记录的属性字段而形成，或者可基于当前数据记录的属性字段和其他数据记录的属性字段两者来形成。应注意，本申请示例性实施例对预测样本的特征组成并不加以限制。可选地，在预测样本中，序列特征可单独存在，也可与其他特征进行组合，或经过进一步的特征处理。作为示例，预测样本既可包括输入第一机器学习模型的属性特征，也可不包括所述属性特征。此外，需要说明的是，这里的预测样本特征既可以是属性字段本身，也可以是属性字段通过特征工程处理而得到的特征。此外，与当前数据记录对应的预测样本的特征可来源于相同或不同的数据源。例如，在当前数据记录涉及待预测行为对象，并且待预测行为对象指示将预测其是否为欺诈行为的行为对象时，除了需要获取当前数据记录(包括例如客户所申请的借款额度等)之外，还可获取客户的一些其他数据记录(例如，包括收入、学历、职务、资产情况、历史消费记录等属性信息)，以提高预测的准确性。这些其他数据记录既可与当前数据记录来源于同一数据源(例如，银行)，也可与当前数据记录来源于不同的数据源，例如，其他数据记录可来源于数据提供商、来源于互联网(例如，社交网站)、来源于移动运营商、来源于APP运营商、来源于信用机构等等。

在预测样本被产生的情况下，预测单元140可利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果。这里的预测目标可与以上在描述第一机器学习模型时提及的序列预测目标相同或不同。此外，这里的第二机器学习模型已经是训练完成的机器学习模型，在下文中，将结合图2对第二机器学习模型的训练进行描述，这里暂不做描述。

根据示例性实施例，在数据记录获取单元110获取的当前数据记录涉及待预测行为对象并且在当前数据记录之前连续出现的在先数据记录涉及连续正向行为对象的情况下，预测单元140可利用第二机器学习模型来预测由预测样本产生单元130产生的预测样本对应正向行为对象还是负向行为对象。例如，假设数据记录涉及新闻对象，在这种情况下，第二机器学习模型可被事先训练为根据提供给其的预测样本来预测该预测样本对应的是用户将点击的新闻对象还是用户将不会点击的新闻样本，即，预测用户是否会点击当前数据记录所涉及的该新闻对象。然而，以上提及的第二机器学习模型所针对的预测目标不限于此，而是可以是任何预测目标。

根据示例性实施例，第二机器学习模型可以是逻辑回归模型、支持向量机、梯度提升决策树或深度神经网络等。然而，需要说明的是，在本申请中，第二机器学习模型不限于以上示例，而是可以是任何机器学习模型，只是该机器学习模型的预测样本中包括以上所描述的序列特征。

以上，已结合图1对根据本申请示例性实施例的预测装置100进行了描述。在以上示例性实施例中，预测装置100可获取具有循环结构的机器学习模型针对当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与当前数据记录相应的序列特征，并将序列特征用作与当前数据记录相应的预测样本所包括的特征之一，从而可提供更加准确的预测结果。

需要说明的是，预测装置100可执行预测的前提需要第一机器学习模型和第二机器学习模型事先已完成训练。根据本申请示例性实施例，用于训练模型的装置可与预测装置100可彼此分离，或可集成于相同的计算实体(例如，单机或集群)中，此外，训练装置与预测装置两者也可共用部分共同的单元或这些单元的一部分功能。接下来，将参照图2描述用于训练机器学习模型的装置。

图2示出根据本申请示例性实施例的用于训练机器学习模型的装置200(在下文中，将被简称为训练装置200)的框图。该训练装置200可用于训练第二机器学习模型。

根据示例性实施例，训练装置200可包括数据记录获取单元210、序列特征提取单元220、训练样本产生单元230和第二机器学习模型训练单元240。

数据记录获取单元210可被配置为获取针对预测目标的待用历史数据记录。该待用历史数据记录对应于历史上真实的数据记录，其即将被用于训练第二机器学习模型。与当前数据记录的获取方式类似，上述待用历史数据也可通过输入装置输入到数据记录获取单元210，或者可由数据记录获取单元210根据已获取的数据来自动生成，或者可由数据记录获取单元210从网络上(例如，网络上的存储介质(例如，数据仓库))获得，此外，诸如服务器的中间数据交换装置可有助于数据记录获取装置100从外部数据源获取相应的数据。作为示例，数据记录获取单元210可获取已经标记过的待用历史数据记录。另外，待用历史数据记录可涉及历史对象的至少一个属性信息。作为示例，待用历史数据记录可涉及历史行为对象。需要说明的是，参照图1所描述的数据记录获取单元110与图2中的数据记录获取单元210可以是相同或不同的单元，并且数据记录获取单元210与数据记录获取单元110获取数据记录的方式均不受限制。两者获取的数据记录在形式上可具有一致性或被处理为具有一致性，只是数据记录获取单元210获取的是历史上真实存在的数据记录，其在有监督学习的情况下具有相应的标记(label)；而数据记录获取单元110获取的是将执行预估的新的数据记录。

序列特征提取单元220可获取事先训练的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征。这里，第一机器学习模型可具有循环结构。作为示例，第一机器学习模型可具有循环神经网络结构。例如，循环神经网络结构可包括简单循环神经网络结构、长短期记忆网络结构和门控循环单元结构之一，但不限于此。这里，所述一系列连续数据记录可包括在所述待用历史数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录可包括在所述待用历史数据记录之前连续出现的在先数据记录连同所述待用历史数据记录。作为示例，待用历史数据记录可涉及历史行为对象，而在先数据记录可涉及连续行为对象，可选地，在先数据记录可仅涉及连续正向行为对象。参照图1关于在先数据记录的描述同样适用于这里的在先数据记录，所不同的仅是需要将关于图1的相关描述中的当前数据记录替换为这里的待用历史数据记录，因此，这里不再赘述。根据示例性实施例，历史行为对象可指示以下项之中的至少一项：历史上被接受或未被接受的推荐对象、历史上被确定为欺诈行为或非欺诈行为的行为对象、历史上被确定为异常行为或非异常行为的行为对象、历史上被接受或未被接受的营销对象。也就是说，根据应用场景的不同，可从各种不同的具体行为对象中学习出序列规律性。

根据示例性实施例，第一机器学习模型可被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果。作为示例，第一机器学习模型可被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象。可选地，第一机器学习模型可被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象。此外，第一机器学习模型可包括多个第一机器学习子模型，而每个第一机器学习子模型可被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果。或者，第一机器学习模型可以是单个机器学习模型，并且可被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。

如上参照图1所描述的，所述对应属性特征或所述全部属性特征可包括至少一个属性特征。在所述对应属性特征或所述全部属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量可经由仿射变换而映射到统一的特征空间。此外，在属性特征同时具有多个取值的情况下，所述属性特征的特征向量值可通过将与所述多个取值相应的特征向量值进行最大值池化、加权平均或均值池化而得到。

需要说明的是，以上在描述图1的过程中已经对第一机器学习模型和属性特征进行了描述，这里不再赘述。

根据示例性实施例，序列特征提取单元220可将数据记录获取单元210获取的待用历史数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态。根据示例性实施例，这里的最后一个数据记录可以是在所述待用历史数据记录之前连续出现的在先数据记录中的最后一个在先数据记录。也就是说，此时，所述待用历史数据记录所涉及的一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录，而不包括所述待用历史数据本身。可选地，根据另一示例性实施例，这里的最后一个数据可以是所述待用历史数据记录本身，也就是说，此时，待用历史数据记录所涉及的一系列连续数据记录除包括在待用历史数据记录之前连续出现的在先数据记录之外，还包括所述待用历史数据记录本身。

训练样本产生单元230可产生与所述待用历史数据记录相应的训练样本，其中，所述序列特征被用作所述训练样本所包括的特征之一。这里，由于训练样本与预测样本在特征方面存在对应一致性，因此，训练样本产生单元230可按照与预测样本产生单元130同样的方式来产生训练样本的特征，具体地，训练样本产生单元230在产生训练样本时，可将与所述待用历史数据记录对应的一个或多个特征连同所述序列特征作为所述训练样本的特征，并将所述待用历史数据记录针对所述预测目标的真实结果作为所述训练样本的标记。这里，与待用历史数据记录对应的一个或多个特征既可基于待用历史数据记录本身的属性字段来形成，也可基于其他属性字段来形成，例如，基于来自于其他数据表中的属性字段形成的特征。此外，需要说明的是，这里的特征既可以是属性字段本身，也可以是属性字段通过特征工程处理而得到的特征。此外，与待用历史数据记录对应的多个属性特征可来源于相同或不同的数据源。

第二机器学习模型训练单元240可基于由训练样本产生单元230产生的训练样本组成的训练样本集，针对预测目标来训练第二机器学习模型。这里，预测目标可与第一机器学习模型所针对的序列预测目标相同或不同。这里，第二机器学习模型训练单元240可采用任何适当的机器学习算法从训练样本集学习出针对任何预测目标的第二机器学习模型。作为示例，第二机器学习模型训练单元240在训练第二机器学习模型时，可将所述待用历史数据记录对应历史正向行为对象还是历史负向行为对象，作为所述训练样本的标记，从而相应地学习出关于数据记录对应正向行为对象还是负向行为对象的经验。作为示例，第二机器学习模型训练单元240可基于由训练样本产生单元产生的训练样本组成的训练样本集，针对预测目标利用有监督机器学习算法来训练第二机器学习模型。然而，训练第二机器学习模型的机器学习算法不限于有监督机器学习算法。

根据本申请示例性实施例的训练装置，通过获取具有循环网络结构的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征，并将序列特征用作与待用历史数据记录相应的训练样本所包括的特征之一，可有效地刻画训练样本的序列规律，从而学习出具有较好预测效果的机器学习模型。

图3示出根据本申请另一示例性实施例的用于训练机器学习模型的装置的300的框图。在图3所示的装置300中，除了可包括数据记录获取单元210、序列特征提取单元220、训练样本产生单元230和第二机器学习模型训练单元240之外，还可进一步包括第一机器学习模型训练单元250。也就是说，第一机器学习模型和第二机器学习模型均由训练装置300得到，相应地，序列特征提取单元220可利用由第一机器学习模型训练单元250得到的第一机器学习模型来获取序列特征。

具体而言，第一机器学习模型训练单元250可基于针对序列预测目标的序列训练样本的集合来训练第一机器学习模型，这里，序列训练样本可基于相同长度或不同长度的一系列连续历史数据记录。这里，长度可指示一系列连续历史数据记录所包含的历史数据记录的数量。相应地，训练得到的第一机器学习模型可针对一系列连续数据记录来提供关于序列预测目标的序列预测结果。

这里，序列训练样本所基于的一系列连续历史数据记录可以是任意具有连续性的历史数据记录的集合，比如，所述数据记录可对应于用户在某资讯类App于前台运行期间连续点击的资讯内容。根据示例性实施例，在数据记录涉及用户主动行为的情况下，可直接采集用户的真实连续行为，或者，可将用户的行为按照预设时间间隔(或预设数量)进行划分，并将单个预设时间间隔内的行为(或在时间上连续出现的预设数量的行为)视为一系列连续行为。这里，可根据具体应用场景来限定何为连续行为(例如，仅将行为之中的正向行为作为连续行为，而排出掉夹杂在中间的负向行为)。

此外，序列训练样本之间可由分隔符进行连接，进一步地，使用分隔符连接的序列训练样本的相关历史数据记录集合可被进一步划分为不同的批次(batch)，并且，每个批次可具有相同或不同的批次规模(batch size)。作为示例，每个批次可包括相同数量的连续数据记录，并且分隔符本身可被视为是一个数据记录。在针对特定序列预测目标(例如，持续估算下一连续数据记录具体内容)的第一机器学习模型的训练过程中，每一批次所包括的历史数据记录可依次被输入第一机器学习模型，通过识别输入的分隔符，第一机器学习模型可判断出与单个序列训练样本对应的一系列连续数据记录的结束，作为示例，可不将与分隔符相应的预测损失计入最终的损失函数。

需要说明的是，根据本申请示例性实施例，可期望第一机器学习模型被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象，在这种情况下，在序列训练样本中包括的一系列连续历史数据记录中的与所述下一行为对象对应的历史数据记录(即，最后一个历史数据记录)对应于正向行为对象还是负向行为对象的真实结论可被作为该序列训练样本的标记。此外，在用于第一机器学习模型的序列训练样本的集合中，被标记为最后一个历史数据记录对应于正向行为对象的序列训练样本与被标记为最后一个历史数据记录对应于负向行为对象的序列训练样本可占全部序列训练样本的不同比例，例如，前者可占全部序列训练样本的百分之七十，而后者可占全部序列训练样本的百分之三十。然而，本领域技术人员清楚的是以上所述比例分布仅是示例，本发明的示例性实施例对此不作限制，完全可按照训练数据的真实分布来训练模型，而不进行任何人为设定。

虽然图3示出训练装置300本身包括第一机器学习模型训练单元250，但是，需要说明的是，第一机器学习模型既可由训练装置300本身进行训练，也可由除训练装置300之外的其他训练装置进行训练，本申请对此并无限制。而且，第一机器学习模型训练单元250可借助训练装置300内的其他单元来完成诸如数据读取、特征处理等操作。也就是说，在图1到图3所示的装置内部，或者在图1到图3所示的装置之间，某些单元的操作可彼此融合，并共享处理结果。以上已经结合图1和图2对根据本申请示例性实施例的预测装置和训练装置进行了描述。在下文中，将参照图4和图5对根据本申请示例性实施例的利用机器学习模型执行预测的方法以及用于训练机器学习模型的方法进行描述。

图4示出根据本申请示例性实施例的利用机器学习模型执行预测的方法的流程图。

这里，作为示例，图4所示的方法可由图1所示的预测装置100来执行，也可完全通过计算机程序以软件方式实现，还可通过特定配置的计算装置来执行。为了描述方便，假设图4所示的方法由图1所示的预测装置100来执行，并假设预测装置100可具有图1所示的组成单元。

参照图4，在步骤S410，由数据记录获取单元110获取将针对其执行预测的当前数据记录。

这里，作为示例，数据记录获取单元110可通过手动、半自动或全自动的方式来采集当前数据，或对采集的当前数据进行处理，使得处理后的当前数据记录具有适当的格式或形式。作为示例，数据记录获取单元110可批量地采集当前数据记录，以使得预测装置100可执行批量预测。

这里，数据记录获取单元110可通过输入装置(例如，工作站)接收操作者(例如，来自期望获得预测结果的实体的操作者)手动输入的数据记录。此外，数据记录获取单元110可通过全自动的方式从数据源系统地取出数据记录，例如，通过以软件、固件、硬件或其组合实现的定时器机制来系统地请求数据源并从响应中得到所请求的数据。所述数据源可包括一个或多个数据库或服务器。可经由内部网络和/或外部网络来实现全自动获取数据的方式，其中可包括通过互联网来传送加密的数据。在服务器、数据库、网络等被配置为彼此通信的情况下，可在没有人工干预的情况下自动进行数据采集，但应注意，在这种方式下仍旧可存在一定的用户输入操作。半自动方式介于手动方式与全自动方式之间。半自动方式与全自动方式的区别在于由用户激活的触发机制代替了例如定时器机制。在这种情况下，在接收到特定的用户输入的情况下，才产生提取数据的请求。每次获取数据时，优选地，可将捕获的数据存储在非易失性存储器中。作为示例，可利用数据仓库来存储在获取期间采集的或进一步处理后的数据记录。

这里，当前数据记录可涉及待预测对象。具体地，根据示例性实施例，当前数据记录可涉及待预测行为对象。作为示例，待预测行为对象可指示以下项之中的至少一项：将预测其是否被接受的推荐对象、将预测其是否为欺诈行为的行为对象、将预测其是否为异常行为的行为对象、将预测其是否被接受的营销对象。此外，当前数据记录可包括待预测对象的至少一个属性信息。

此外，需要说明的是，在以上描述图1的过程中关于当前数据记录的相关描述同样适用于这里，因此，这里不再赘述。

在获取到当前数据记录之后，在步骤S420，由序列特征提取单元120获取第一机器学习模型针对当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征。这里，所述一系列连续数据记录可包括在所述当前数据记录之前连续出现的在先数据记录(此时，当前数据记录未被输入到第一机器学习模型)，或者，所述一系列连续数据记录可包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录(此时，当前数据记录也被输入到第一机器学习模型中)。

这里，第一机器学习模型可具有循环结构。此外，根据示例性实施例，第一机器学习模型可被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果。在执行预测的过程中，第一机器学习模型内部的状态(中间或最终运算结果)会随着输入的数据记录而不断变化，该内部状态在本申请示例性实施例中被用于反映与当前数据记录相应的序列特性。

根据示例性实施例，第一机器学习模型可具有循环网络结构。作为示例，第一机器学习模型可具有循环神经网络结构。这里，循环神经网络结构可例如包括简单循环神经网络结构、长短期记忆网络结构和门控循环单元结构之一，但不限于此。

根据示例性实施例，在当前数据记录涉及待预测行为对象的情况下，优选地，所述在先数据记录可涉及连续正向行为对象。根据示例性实施例，第一机器学习模型可被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象。或者，根据另一示例性实施例，第一机器学习模型可被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象，

另外，第一机器学习模型既可以是单个机器学习模型，也可以包括多个第一机器学习子模型。根据示例性实施例，第一机器学习模型可作为单个机器学习模型，被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。根据另一示例性实施例，在第一机器学习模型包括多个第一机器学习子模型的情况下，每个第一机器学习子模型可被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果。由于已经在参照图1的描述中，对全部属性特征以及对应属性特征进行了解释，因此，这里不再赘述。根据示例性实施例，在所述对应属性特征或所述全部属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量经由仿射变换而映射到统一的特征空间。此外，如果属性特征同时具有多个取值的情况下，所述属性特征的特征向量值可通过将与所述多个取值相应的特征向量值进行最大值池化、加权平均或均值池化而得到。

例如，假设第一机器学习模型是RNN并且上述一系列连续数据记录包括在当前数据记录之前连续出现的在先数据记录，每个在先数据记录对应单个属性特征x，该属性特征包括多个取值，则RNN针对当前数据记录所涉及的一系列连续数据记录执行预测的过程可表示为如下的等式：

其中，N为t时刻输入的属性特征x_t的取值个数，是t时刻与该属性特征的第i个取值相应的特征向量，W_t，i为t时刻该属性特征的第i个取值的权重，e_{t，maxpooling}表示对与N个取值对应的特征向量进行最大值池化后得到的特征向量，e_t，weighted表示对与N个取值对应的特征向量进行加权平均后得到的特征向量，e_t，average表示对与N个取值对应的特征向量进行均值池化后得到的特征向量，e_t为t时刻RNN的输入(为上述三者e_{t，maxpooling}、e_t，weighted和e_t，average之一)，h_t为t时刻RNN的内部状态，为RNN的状态更新函数，p()为条件概率(即，在t时刻的特征x_t的情况下预测出t+1时刻的特征的概率)，loss为预测损失，ll()为指示函数，当括号内条件满足时为1，不满足时为0。

例如，假设数据记录可包括新闻对象的以下属性信息：新闻主题、新闻关键词、新闻展示位置，并且新闻主题具有多个取值，例如，新闻主题可包括以下取值：体育、明星、娱乐。此时，可通过将与体育对应的特征向量值、与明星相应的特征向量值和与娱乐相应的特征向量值进行最大值池化、加权平均或均值池化来得到与新闻主题这一属性信息对应的属性特征。此外，与新闻主题对应的属性特征、与新闻关键词对应的属性特征以及与新闻展示位置对应的属性特征可经由仿射变换而映射到统一的特征空间。

由于在图1的描述中已经对第一机器学习模型进行了详细的描述并且关于第一机器学习模型的其他描述同样适用于这里，因此，这里不再赘述。

根据示例性实施例，在步骤S420，序列特征提取单元120可将所述当前数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态，以用作与当前数据记录相应的序列特征。在这个过程中，每当一个连续数据记录被输入到第一机器学习模型，第一机器学习模型的内部状态将被更新。

根据示例性实施例，这里的最后一个数据记录可以是在当前数据记录之前连续出现的在先数据记录中的最后一个在先数据记录。也就是说，在步骤S420，序列特征提取单元120可将在当前数据记录之前连续出现的在先数据记录依次输入第一机器学习模型，并提取第一机器学习模型在最后一个在先数据记录被输入第一机器学习模型之后产生的内部状态。可选地，根据另一示例性实施例，这里的最后一个数据可以是当前数据记录本身，也就是说，在步骤S410，在将当前数据记录之前连续出现的在先数据记录依次输入第一机器学习模型之后，序列特征提取单元120还将当前数据记录本身输入第一机器学习模型，并提取第一机器学习模型在当前数据记录被输入到第一机器学习模型之后产生的内部状态。

根据示例性实施例，在当前数据记录所涉及的一系列连续数据记录不包括当前数据记录本身的情况下，可选地，在步骤S420中，序列特征提取单元120还可直接通过查找历史状态表中的内部状态记录来获取第一机器学习模型在最后一个在先数据记录被输入第一机器学习模型之后产生的内部状态，而无需序列特征提取单元120本身在步骤S420将在当前数据记录之前连续出现的在先数据记录依次输入第一机器学习模型来提取内部状态。也就是说，在步骤S420之前，可由序列特征提取单元120或其他单元将在当前数据记录之前连续出现的在先数据记录依次输入第一机器学习模型来提取内部状态，并对内部状态进行记录，例如，以历史状态表的形式进行保存(例如，保存在内存或其他存储介质中)。在这种情况下，在步骤S420，序列特征提取单元120只需在需要时从历史状态表中查找在当前数据记录之前出现的最后一个在先数据记录被输入第一机器学习模型之后第一机器学习模型产生的内部状态即可。这里，历史状态表可记录有第一机器学习模型在每个在先数据记录被输入到第一机器学习模型中之后产生的内部状态，或者可仅记录第一机器学习模型在当前数据记录之前的最后一个在先数据记录被输入到第一机器学习模型之后产生的内部状态。此外，历史状态表可针对多个用户保存其各自对应的上述内部状态。

根据另一示例性实施例，在所述最后一个数据记录是当前数据记录本身的情况下，在步骤S420中，序列特征提取单元120需要将所述当前数据记录本身也输入到第一机器学习模型。例如，在当前数据记录之前连续出现的在先数据记录已经被依次输入第一机器学习模型的情况下，序列特征提取单元120可再将当前数据记录输入第一机器学习模型，并提取第一机器学习模型在当前数据记录被输入第一机器学习模型之后产生的内部状态。可选地，序列特征提取单元120本身也可不在步骤420执行将当前数据记录输入到第一机器学习模型的操作，而是可由其他装置或单元将数据记录获取单元110在步骤410获取的当前数据记录输入事先训练的第一机器学习模型，并记录第一机器学习模型在当前数据记录被输入第一机器学习模型之后产生的内部状态。在这种情况下，在步骤420，序列特征提取单元120可直接从所述其他装置或单元获取相应的内部状态。

作为示例，当第一机器学习模型是普通RNN时，内部状态可以是对应于所述最后一个数据记录的特征向量x被输入RNN之后，RNN的状态更新函数的输出h。作为另一示例，当第一机器学习模型是LSTM时，内部状态可以是对应于所述最后一个数据记录的特征向量x被输入LSTM之后，LSTM模型中的元胞状态(Cell State)和/或隐藏状态(Hidden State)。

此外，当所述当前数据记录所涉及的一系列连续数据记录仅包括在先连续数据记录，而当前数据记录是所述一系列连续数据记录中的第一个数据记录(即，不存在当前数据记录所涉及的一系列连续数据记录)时，此时，在步骤S420，序列特征提取单元120可将所述内部状态设置为默认值，例如，设置为一个值为零(或内部状态均值)的向量。

如上所述，第一机器学习模型可包括多个第一机器学习子模型，在这种情况下，序列特征提取单元120可将一系列连续数据记录的对应属性特征依次输入对应的第一机器学习子模型，并提取各个第一机器学习子模型在最后一个数据记录的对应属性特征被输入到各第一机器学习模型之后产生的内部状态。在这种情况下，获取的各第一机器学习子模型的内部状态可被拼接或组合，以作为与当前数据记录相应的序列特征。

在步骤S430，预测样本产生单元130可产生与所述当前数据记录相应的预测样本。根据示例性实施例，在步骤S420获取的序列特征可被用作预测样本所包括的特征之一。根据示例性实施例，在步骤S430，预测样本产生单元130可将序列特征与在步骤S410获取的当前数据记录对应的一个或多个特征进行拼接或组合来产生与当前数据记录相应的预测样本。根据示例性实施例，如果第一机器学习模型包括多个第一机器学习子模型，则通过每个第一机器学习子模型获取的序列特征可分别被拼接到与当前数据记录对应的一个或多个特征，以产生与当前数据记录相应的预测样本。这里，与当前数据记录对应的一个或多个特征既可基于当前数据记录本身的属性字段来形成，也可基于来自于有助于预测的其他数据记录的属性字段来形成，或者可基于当前数据记录的属性字段和其他数据记录的属性字段两者来形成。此外，需要说明的是，这里的预测样本特征既可以是属性字段本身，也可以是属性字段通过特征工程处理而得到的特征。此外，与当前数据记录对应的预测样本的特征可来源于相同或不同的数据源。

接下来，在步骤S440，预测单元140可利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果。这里的预测目标可与以上在描述第一机器学习模型时提及的序列预测目标相同或不同。根据示例性实施例，第二机器学习模型可以是逻辑回归模型、支持向量机、梯度提升决策树或深度神经网络等。然而，需要说明的是，在本申请中，第二机器学习模型可以是任何机器学习模型，只是该机器学习模型的预测样本中包括上文所述的序列特征。

根据示例性实施例，在步骤S410获取的当前数据记录涉及待预测行为对象并且在当前数据记录之前连续出现的在先数据记录涉及连续正向行为对象的情况下，预测单元140可利用第二机器学习模型来预测在步骤S430产生的预测样本对应正向行为对象还是负向行为对象。然而，需要说明的是，第二机器学习模型所针对的预测目标不限于此，而是可以是任何预测目标。

根据本申请的利用机器学习模型执行预测的方法，通过获取第一机器学习模型针对一系列连续数据记录在执行预测的过程中所产生的内部状态，作为序列特征，可有效地捕获连续数据记录之前的序列特性。此外，通过将序列特征与和当前数据记录对应的一个或更多个特征结合来利用第二机器学习模型执行预测，可提高预测结果的准确性。

图5示出根据本申请示例性实施例的用于训练机器学习模型的方法的流程图。这里，图5所示的流程图可用于根据本申请示例性实施例来训练第二机器学习模型。

这里，作为示例，图5所示的方法可由图2所示的训练装置200来执行，也可完全通过计算机程序以软件方式实现，还可通过特定配置的计算装置来执行。为了描述方便，假设图5所示的方法由图2所示的训练装置200来执行，并且假设训练装置200可具有图2所示的组成单元。

参照图5，在步骤S510，数据记录获取单元210可获取针对预测目标的待用历史数据记录。这里，待用历史数据记录与将执行预测的数据记录在形式上可具有一致性或被处理为具有一致性，只是待用历史数据记录是历史上真实存在的数据记录，其在有监督学习的情况下具有相应的标记；而将执行预估的当前数据记录则为新的数据记录。这里，作为示例，数据记录获取单元210可通过手动、半自动或全自动的方式来采集待用历史数据，或对采集的待用历史数据进行处理，使得处理后的待用历史数据记录具有适当的格式或形式。作为示例，数据记录获取单元210可批量地获取待用历史数据记录。此外，数据记录获取单元210可获取已经标记过的待用历史数据记录，并且待用历史数据记录可包括至少一条属性信息。

这里，数据记录获取单元210可通过全自动的方式从数据源系统地获取历史数据记录，例如，通过以软件、固件、硬件或其组合实现的定时器机制来系统地请求数据源并从响应中得到所请求的数据。所述数据源可包括一个或多个数据库或服务器。可经由内部网络和/或外部网络来实现全自动获取数据的方式，其中可包括通过互联网来传送加密的数据。在服务器、数据库、网络等被配置为彼此通信的情况下，可在没有人工干预的情况下自动进行数据采集，但应注意，在这种方式下仍旧可存在一定的用户输入操作。半自动方式介于手动方式与全自动方式之间。半自动方式与全自动方式的区别在于由用户激活的触发机制代替了例如定时器机制。在这种情况下，在接收到特定的用户输入的情况下，数据记录获取单元210可产生提取待用历史数据的请求，并将请求发送到存储待用历史数据记录的数据源，并通过网络等从数据源接收待用历史数据记录。此外，数据记录获取单元210还可在接收到待用历史数据记录时将获取的待用历史数据记录存储在非易失性存储器中。此外，上述获取的待用历史数据记录可来源于相同或不同的数据源，也就是说，每条数据记录也可以是不同数据记录的拼接结果。作为示例，数据记录获取单元210可包括文本分析模块等数据转换模块，相应地，在步骤S510中，数据记录获取单元210可将文本等非结构化数据转换为更易于使用的结构化数据以在后续进行进一步的处理或引用。

在获取到待用历史数据记录之后，在步骤S520，序列特征提取单元220可获取事先训练的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征。

这里，第一机器学习模型可具有循环结构。作为示例，第一机器学习模型可具有循环神经网络结构。例如，循环神经网络结构可包括简单循环神经网络结构、长短期记忆网络结构和门控循环单元结构之一，但不限于此。这里，所述一系列连续数据记录可包括在所述待用历史数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录可包括在所述待用历史数据记录之前连续出现的在先数据记录连同所述待用历史数据记录。作为示例，待用历史数据记录可涉及历史行为对象，而在先数据记录可涉及连续行为对象，可选地，在先数据记录可仅涉及连续正向行为对象。但是，需要说明的是，在先数据记录所涉及的连续行为对象中除了包括正向行为对象之外，还可包括负向行为对象，这取决于具体的应用场景以及在相应的应用场景下从何种连续数据中学习经验。此外，每个在先数据记录可包括至少一条属性信息。之前关于在先数据记录、正向行为对象、负向行为对象的描述同样适用于这里，因此，这里不再赘述。根据示例性实施例，历史行为对象可指示以下项之中的至少一项：历史上被接受或未被接受的推荐对象、历史上被确定为欺诈行为或非欺诈行为的行为对象、历史上被确定为异常行为或非异常行为的行为对象、历史上被接受或未被接受的营销对象。

根据示例性实施例，第一机器学习模型可被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果。作为示例，第一机器学习模型可被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象。或者，可选地，根据另一示例性实施例，第一机器学习模型可被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象。

这里，第一机器学习模型既可以是单个机器学习模型，也可以包括多个第一机器学习子模型。在第一机器学习模型是单个机器学习模型的情况下，第一机器学习模型可被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。这里，全部属性特征可指基于数据记录的全部属性字段的属性特征，其既可以是连续数据记录的全部属性字段本身，也可以是连续数据记录的全部数据字段通过一定的处理或运算而得到的属性特征。可选地，根据另一示例性实施例，第一机器学习模型可包括多个第一机器学习子模型，每个第一机器学习子模型可被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果。对应属性特征可指基于数据记录的部分属性字段而形成的属性特征，其既可以是数据记录的部分属性字段本身，也可以是部分属性字段通过一定的处理或运算而得到的属性特征。此外，每个第一机器学习子模型均有其各自所针对的对应属性特征，并且每个第一机器学习子模型所针对的对应属性特征的数量可以相同或不同。在第一机器学习模型包括多个第一机器学习子模型的情况下，每个第一机器学习子模型既可以是相同类型的具有循环结构的机器学习模型，或者可以是不同类型的具有循环结构的机器学习子模型。

根据示例性实施例，上述对象属性特征或全部属性特征可包括至少一个属性特征。在全部属性特征或对应属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量可经由仿射变换而映射到统一的特征空间。此外，在属性特征同时具有多个取值的情况下，可通过将与所述多个取值相应的特征向量值进行最大值池化、加权平均或均值池化来得到所述属性特征的特征向量值。

根据示例性实施例，在步骤S520，序列特征提取单元220可将在步骤S510获取的待用历史数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态。根据示例性实施例，这里的最后一个数据记录可以是在所述待用历史数据记录之前连续出现的在先数据记录中的最后一个在先数据记录。此时，所述待用历史数据记录所涉及的一系列连续数据记录仅包括在所述待用历史数据记录之前连续出现的在先数据记录。可选地，根据另一示例性实施例，这里的最后一个数据可以是所述待用历史数据记录本身。此时，待用历史数据记录所涉及的一系列连续数据记录除包括在待用历史数据记录之前连续出现的在先数据记录之外，还包括所述待用历史数据记录本身。

在待用历史数据记录所涉及的一系列连续数据记录不包括待用历史数据记录本身的情况下，可选地，在步骤S520中，序列特征提取单元220还可直接通过查找历史状态表中的内部状态记录来获取第一机器学习模型在最后一个在先数据记录被输入第一机器学习模型之后产生的内部状态，而无需序列特征提取单元220本身在步骤S520将在待用历史数据记录之前连续出现的在先数据记录依次输入第一机器学习模型来提取内部状态。也就是说，在步骤S420之前，可由序列特征提取单元220或其他单元预先将在待用历史数据记录之前连续出现的在先数据记录依次输入第一机器学习模型来提取内部状态，并对内部状态进行记录，例如，以历史状态表的形式进行保存。在这种情况下，在步骤S520，序列特征提取单元220只需在需要时从历史状态表中查找在待用历史数据记录之前出现的最后一个在先数据记录被输入第一机器学习模型之后第一机器学习模型产生的内部状态即可。这里，历史状态表可记录有第一机器学习模型在每个在先数据记录被输入到第一机器学习模型中之后产生的内部状态，或者可仅记录第一机器学习模型在当前数据记录之前的最后一个在先数据记录被输入到第一机器学习模型之后产生的内部状态。此外，历史状态表不仅可针对单个用户记录上述内部状态，而且可针对多个用户保存其各自对应的上述内部状态。

根据另一示例性实施例，在上述最后一个数据记录是待用历史数据记录本身的情况下，在步骤S520中，序列特征提取单元220可将待用历史数据记录本身也输入到第一机器学习模型。例如，在待用历史数据记录之前连续出现的在先数据记录已经被依次输入第一机器学习模型的情况下，序列特征提取单元220可再将待用历史数据记录输入第一机器学习模型，并提取第一机器学习模型在待用历史数据记录被输入第一机器学习模型之后产生的内部状态。可选地，序列特征提取单元220本身也可不在步骤S520执行将待用历史数据记录输入到第一机器学习模型的操作，而是可由其他装置或单元将数据记录获取单元210在步骤S510获取的待用历史数据记录输入事先训练的第一机器学习模型，并记录第一机器学习模型在待用历史数据记录被输入第一机器学习模型之后产生的内部状态。在这种情况下，在步骤S520，序列特征提取单元220也可直接从所述其他装置或单元获取第一机器学习模型在待用历史数据记录被输入到第一机器学习模型之后产生的内部状态。

如上所述，第一机器学习模型可包括多个第一机器学习子模型，在这种情况下，序列特征提取单元220可将一系列连续数据记录的对应属性特征依次输入对应的第一机器学习子模型，并提取各个第一机器学习子模型在最后一个数据记录的对应属性特征被输入到各第一机器学习模型之后产生的内部状态。在这种情况下，获取的各第一机器学习子模型的内部状态可被拼接或组合以作为与待用历史数据记录相应的序列特征。

在获取到序列特征之后，在步骤S530，训练样本产生单元230可产生与在步骤S510获取的待用历史数据记录相应的训练样本。这里，在步骤S520获取的序列特征可被用作训练样本所包括的特征之一。具体而言，在步骤S530，训练样本产生单元230可将与所述待用历史数据记录对应的一个或多个特征连同序列特征作为所述训练样本的特征，并将待用历史数据记录针对预测目标的真实结果作为训练样本的标记。这里，与待用历史数据记录对应的一个或多个特征既可基于待用历史数据记录本身的属性字段来形成，也可基于来自于有助于上述预测目标的其他数据记录的属性字段来形成，或者也可基于待用历史数据记录的属性字段和所述其他数据记录的属性字段两者来形成。此外，需要说明的是，这里的特征既可以是属性字段本身，也可以是属性字段通过特征工程处理而得到的特征。此外，训练样本产生单元230可从相同或不同的数据源获得与待用历史数据记录对应的多个属性特征。

在产生了训练样本之后，接下来，在步骤S540，第二机器学习模型训练单元240可基于由产生的训练样本组成的训练样本集，针对预测目标来训练第二机器学习模型。这里的预测目标可与以上在描述第一机器学习模型时提及的序列预测目标相同或不同。根据示例性实施例，第二机器学习模型可以是逻辑回归模型、支持向量机、梯度提升决策树或深度神经网络等。然而，需要说明的是，在本申请中，第二机器学习模型可以是任何机器学习模型，只是该机器学习模型的训练样本中包括上文所述的序列特征。

作为示例，在步骤S540，可基于由产生的所述训练样本组成的训练样本集，针对所述预测目标利用有监督机器学习算法来训练第二机器学习模型。例如，如上所述，待用历史数据记录可涉及历史行为对象。在这种情况下，在训练第二机器学习模型时，可将待用历史数据记录对应历史正向行为还是历史负向行为作为训练样本的标记。在第二机器学习模型的训练过程中，针对每个训练样本，可将第二机器学习模型针对预测目标的预测结果与该训练样本的标记进行比较来确定针对每个训练样本的预测损失。当所有训练样本的预测损失之和满足预定条件或其他训练终止条件被满足时可认为第二机器学习模型训练完成。

然而，需要说明的是，第二机器学习模型的训练方法不限于有监督机器学习算法，并且第二机器学习模型所针对的预测目标也不限于预测数据记录对应正向行为对象还是负向行为对象，而是可采用任何机器学习算法来针对任何预测目标来训练第二机器学习模型。

图6示出根据本申请示例性实施例的用于训练第一机器学习模型的方法的流程图。

如以上在描述训练装置300时所提及的，第一机器学习模型即可由训练装置300本身进行训练(例如，如图3所示，训练装置300可包括用于训练第一机器学习模型的第一机器学习模型训练单元250)，也可由除训练装置300之外的其他训练装置进行训练。作为示例，假设图6所示的方法由图3所示的训练装置300所包括的第一机器学习模型训练单元250来执行。

参照图6，在步骤S610，第一机器学习模型训练单元250可获取一系列连续历史数据记录。这里，一系列连续历史数据记录可以是任意具有连续性的历史数据记录的集合，比如，与用户在某资讯类App于前台运行期间连续点击的资讯内容对应的数据记录的集合。根据示例性实施例，在数据记录涉及用户主动行为的情况下，可直接采集用户的真实连续行为数据记录，或者，可将用户的行为数据记录按照预设时间间隔(或预设数量)进行划分，并将单个预设时间间隔内的行为数据记录(或在时间上连续出现的预设数量的行为数据记录)视为一系列连续历史数据记录。这里，可根据具体应用场景来限定何为连续数据记录(例如，仅将行为数据记录之中的正向行为数据记录作为连续数据记录，而排出掉夹杂在中间的负向行为数据记录)。

在步骤S620，第一机器学习模型训练单元250可基于针对序列预测目标的序列训练样本的集合来训练第一机器学习模型。这里，序列训练样本可基于相同长度或不同长度的一系列连续历史数据记录，而长度可指示一系列连续历史数据记录所包含的历史数据记录的数量。此外，序列训练样本之间可由分隔符进行连接，进一步地，使用分隔符连接的序列训练样本的相关历史数据记录集合可被进一步划分为不同的批次(batch)，并且，每个批次可具有相同或不同的批次规模(batch size)。作为示例，每个批次可包括相同数量的连续数据记录，并且分隔符本身可被视为是一个数据记录。在划分批次之后，在针对特定序列预测目标(例如，持续预测下一连续数据记录的具体内容)的第一机器学习模型的训练过程中，可将每一批次所包括的历史数据记录依次输入第一机器学习模型。第一机器学习模型可通过识别输入的分隔符判断出与单个序列训练样本对应的一系列连续数据记录的结束，作为示例，可不将与分隔符相应的预测损失计入最终的损失函数。根据示例性实施例，可期望第一机器学习模型被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象。在这种情况下，序列训练样本所基于的一系列连续数据记录可仅涉及连续正向行为对象。

根据另一示例性实施例，可期望第一机器学习模型被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象。在这种情况下，在步骤S620训练第一机器学习模型时，可将在序列训练样本中包括的一系列连续历史数据记录中的与所述下一行为对象对应的历史数据记录(即，最后一个历史数据记录)对应于正向行为对象还是负向行为对象的真实结论作为该序列训练样本的标记，然后采用有监督机器学习算法来训练第一机器学习模型。此外，在用于第一机器学习模型的序列训练样本的集合中，被标记为最后一个历史数据记录对应于正向行为对象的序列训练样本与被标记为最后一个历史数据记录对应于负向行为对象的序列训练样本可占全部序列训练样本的不同比例。

另外，需要说明的是，在步骤S620，既可训练单个第一机器学习模型，也可训练多个第一机器学习子模型。作为示例，在步骤S620，第一机器学习模型训练单元250可将一系列连续历史数据记录的全部属性特征依次输入第一机器学习模型来训练单个第一机器学习模型。作为另一示例，在步骤S620，第一机器学习模型训练单元250可将一系列连续历史数据记录的对应属性特征分别输入到对应的第一机器学习子模型来训练多个第一机器学习子模型。这里，每个第一机器学习子模型可针对不同的对应属性特征，并且第一机器学习模型训练单元250在步骤S620既可依次训练各个第一机器学习子模型，也可同时将针对各个第一机器学习子模型的一系列连续历史数据记录的对应属性特征依次输入到各个第一机器学习子模型来同时训练多个第一机器学习子模型。需要说明的是，每个第一机器学习子模型所针对的对应属性特征的数量可以相同或不同，并且，每个第一机器学习子模型既可以是相同类型的具有循环结构的机器学习模型，也可以是不同类型的具有循环结构的机器学习子模型。

当针对第一机器学习模型最终的损失函数满足预定条件或其他训练终止条件被满足时可认为第一机器学习模型训练完成。通过图6所示的方法训练得到的第一机器学习模型可针对一系列连续数据记录来提供关于序列预测目标的序列预测结果，并且其在针对序列预测目标执行预测的过程中所产生的内部状态可被作为序列特征，以在第二机器学习模型的训练过程以及利用第二机器学习模型执行预测的过程中使用。

需要说明的是，尽管在图6的描述中提及第一机器学习模型训练单元250执行上述步骤S610和S620，但是第一机器学习模型训练单元250可借助训练装置300内的其他单元或者甚至可借助其他装置(例如，预测装置100)中的单元来完成诸如数据获取、特征处理等操作。

此外，应注意，关于第一机器学习模型和第二机器学习模型，两者可共用一部分相同的历史数据记录以完成各自的训练，在这一过程中，可考虑保存中间的特征处理、中间状态等结果，以便于节省运算资源。

以上已参照图1至图6描述了根据本申请示例性实施例的利用机器学习模型执行预测的装置和方法以及用于训练机器学习模型的装置和方法。

然而，应理解的是：图1至图3所示出的装置及其单元可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些装置或单元可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些装置或单元所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

此外，上述方法可通过记录在计算可读介质上的程序来实现，例如，根据本申请的示例性实施例，可提供一种用于利用机器学习模型执行预测的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序：获取将针对其执行预测的当前数据记录；获取第一机器学习模型针对所述当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录；产生与所述当前数据记录相应的预测样本，其中，所述序列特征被用作所述预测样本所包括的特征之一；以及利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果。

此外，根据本申请的另一示例性实施例，可提供一种用于训练机器学习模型的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序：获取针对预测目标的待用历史数据记录；获取事先训练的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录连同所述待用历史数据记录；产生与所述待用历史数据记录相应的训练样本，其中，所述序列特征被用作所述训练样本所包括的特征之一；基于由产生的所述训练样本组成的训练样本集，针对预测目标来训练第二机器学习模型。

上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图4到图6进行相关方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。

应注意，根据本申请示例性实施例的利用机器学习模型执行预测的装置以及用于训练机器学习模型的装置可完全依赖计算机程序的运行来实现相应的功能，即，各个单元在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，图1到图3所示的各个装置或单元也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，本申请的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行利用机器学习模型执行预测的方法以及用于训练机器学习模型的方法。

具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

根据本申请示例性实施例的利用机器学习模型执行预测的方法以及用于训练机器学习模型的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。

处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

根据本申请示例性实施例的利用机器学习模型执行预测的方法以及用于训练机器学习模型的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。

例如，如上所述，根据本申请示例性实施例的用于利用机器学习模型执行预测的计算装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：获取将针对其执行预测的当前数据记录；获取第一机器学习模型针对所述当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录；产生与所述当前数据记录相应的预测样本，其中，所述序列特征被用作所述预测样本所包括的特征之一；以及利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果。

此外，根据本申请另一示例性实施例的用于训练机器学习模型的计算装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：获取针对预测目标的待用历史数据记录；获取事先训练的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录连同所述待用历史数据记录；产生与所述待用历史数据记录相应的训练样本，其中，所述序列特征被用作所述训练样本所包括的特征之一；基于由产生的所述训练样本组成的训练样本集，针对预测目标来训练第二机器学习模型。

另外，需要说明的是，本申请中的预测装置和训练装置既可以是独立的装置，也可以被组合或集成为单个装置，使得组合后的单个装置既可进行机器学习模型的训练，也可利用机器学习模型执行预测。

接下来，为便于更好地理解本申请，示例性地简要描述包含根据本申请示例性实施例的上述预测装置的网络环境。

图7是示出根据本申请示例性实施例的包含预测装置的推荐网络700的示意图。

为方便描述，图7以内容推荐场景为例示出包含预测装置的推荐网络700。参照图7，推荐网络700可包括预测装置710、用户端设备720、内容运营系统730和第三方信息源740(可选)。这里，内容运营系统730旨在向用户端设备720推荐更容易被接受的内容(例如，资讯、音乐、视频等)，为此，内容运营系统730可将关于待推荐的候选内容的数据记录提供给预测装置710，以便预测装置710利用机器学习模型来评估用户端设备720接受各个候选内容的可能性。这里，预测装置710可以是以上参照图1所描述的利用机器学习模型执行预测的装置，或者可以是以上所描述的用于利用机器学习模型执行预测的计算装置。具体说来，预测装置710可由内容运营商自己构建，也可由专门的提供机器学习服务的实体来提供。相应地，预测装置710既可设置在云端(如公有云或私有云)，也可设置在内容运营商的本地系统。这里，为方便描述，假设预测装置710被设置在公有云端。

用户端设备720可以是任何终端装置，例如，个人计算机、智能电话、TV等，但不限于此。此外，用户端设备720可通过安装在其上的应用等接收或访问由内容运营系统730推荐的内容，例如，展示在应用中的具体内容或推送的通知消息等。

第三方信息源740可为预测装置710和/或内容运营系统730提供信息。例如，第三方信息源740可以是内容运营系统730的关联实体、业务伙伴或完全与内容运营系统730独立的第三方(例如，单纯的数据提供者)，在这种情况下，内容运营系统730可基于合作协议或以付费购买的方式从第三方信息源740获取与候选推荐内容对应的其他信息(例如，将被推荐内容的用户的年龄、职业、个人偏好等)，并可将获取的信息进行加工处理之后存储在例如数据仓库中。此外，第三方信息源740也可为预测装置710提供利用机器学习模型执行预测所需的信息，例如，如上所述的与候选推荐内容对应的其他信息也可被直接提供给预测装置710，而不是被提供给内容运营系统730。这里，第三方信息源740可以以一个单独的中央服务器的形式存在，也可以以通过网络连接的多个服务器的形式存在，还可以以大量的个人设备的形式存在，或者以云服务器的形式存在，然而，第三方信息源740的存在形式不限于此。另外，需要说明的是，推荐网络700并不必然包括第三方信息源740，例如，内容运营系统730本身可能拥有足够的信息数据。

在图7所示的推荐网络700中，在内容运营系统730期望向用户端设备720中的特定用户(例如，用户端设备1的用户)推荐内容时，内容运营系统730可从其本地服务器或云端的数据仓库获取针对该特定用户的多个候选推荐内容，并进一步获取所述多个候选推荐内容各自的属性信息(如上所述，这里的属性信息包括从候选推荐内容提取的属性信息，还可包括从第三方信息源740获取的属性信息)，并将获取的各个候选推荐内容的属性信息组成的数据记录发送给预测装置710。这里，内容运营系统730可批量地获取针对多个用户的候选推荐内容和与候选推荐内容对应的属性信息，并将属性信息数据记录批量地发送给预测装置710。此外，内容运营系统730可在其所拥有的内容资源中初步筛选期望推荐给特定用户的候选推荐内容。例如，内容运营系统可根据用户在其客户端的基本注册信息(例如，用户的性别、年龄、职业、地域等)以及用户在其客户端上的历史行为记录(例如，历史内容收藏记录、内容评论记录、内容分享记录、内容搜索记录、观看或收听内容播放的完整度等)来初步判断该特定用户可能偏好的内容类别，并从大量内容资源中初步筛选出属于该内容类别的多个内容，作为由预测装置710执行预测的多个候选推荐内容。

随后，预测装置710针对接收到的与多个候选推荐内容对应的多条数据记录，可利用机器学习模型来预测每个候选推荐内容在被推荐给该特定用户后被接受的概率，以作为每个候选推荐内容的推荐指数。之后，预测装置710可将针对该特定用户的所述多个候选推荐内容的各自的推荐指数发送给内容运营系统730。内容运营系统730可基于所述多个候选推荐内容的推荐指数确定最终向该特定用户推荐哪些候选内容，并执行相应的内容推荐。可选地，预测装置710可基于所述多个候选推荐内容的推荐指数确定向该用户推荐哪些候选内容，然后将确定结果发送给内容运营系统730以便于内容运营系统根据确定结果执行相应的内容推荐，或者预测装置710在预先获得内容运营系统730授权的情况下也可直接基于确定结果执行向特定用户的内容推荐(在这种情况下，预测装置710还需额外获取各个候选推荐内容)。在内容被推荐该特定用户之后，预测装置710可获取关于内容被推荐之后是否被该特定用户所接受的真实反馈，例如，内容运营系统730可采集该特定用户的日志数据记录，并从日志数据记录中获得关于内容被推荐之后是否被该特定用户所接受的真实反馈，然后将真实反馈发送给预测装置710。此外，预测装置710可基于获取的真实反馈来更新相应的机器学习模型(如上所述的第一机器学习模型和/或第二机器学习模型)，以便于利用更新后的机器学习模型提供更准确的预测结果。这里，机器学习模型的更新可以是重新学习或训练机器学习模型，也可以是在利用当前机器学习模型的历史训练结果的基础上进行增量学习。

另外，需要说明的是，这里的预测装置710并不限于单个装置，而是可以以分布式方式或集群方式被部署以共同对外提供服务。此外，以上参照图7描述的推荐网络并不限于包括以上描述的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。此外，各组件之间的连接方式也不限于图7所示的连接方式。

以上仅以内容推荐场景为例示出了包括预测装置的一个示例性网络环境的配置，然而，本领域技术人员清楚的是，预测装置710并不仅限于用于内容推荐场景，而是可应用于任何期望执行预测的场景，例如，欺诈行为检测、异常行为检测、智能营销、智能投资顾问等。

以上描述了本申请的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本申请不限于所披露的各示例性实施例。在不偏离本申请的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本申请的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种利用机器学习模型执行预测的方法，包括：

获取将针对其执行预测的当前数据记录；

获取第一机器学习模型针对所述当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录；

产生与所述当前数据记录相应的预测样本，其中，所述序列特征被用作所述预测样本所包括的特征之一；以及

利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果。

2.如权利要求1所述的方法，其中，第一机器学习模型被事先训练为针对一系列连续数据记录来提供关于序列预测目标的序列预测结果，其中，序列预测目标与所述预测目标相同或不同。

3.如权利要求2所述的方法，其中，获取内部状态的步骤包括：

将所述当前数据记录所涉及的一系列连续数据记录依次输入第一机器学习模型，并提取第一机器学习模型在所述一系列连续数据记录之中的最后一个数据记录被输入第一机器学习模型之后产生的内部状态。

4.如权利要求2所述的方法，其中，所述当前数据记录涉及待预测行为对象，所述在先数据记录涉及连续正向行为对象，其中，

第一机器学习模型被事先训练为针对一系列连续正向行为对象来预测下一连续正向行为对象，或者，第一机器学习模型被事先训练为针对一系列连续正向行为对象和接下来连续出现的下一行为对象来预测所述下一行为对象对应正向行为对象还是负向行为对象，

并且，在利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果的步骤中，利用第二机器学习模型来预测所述预测样本对应正向行为对象还是负向行为对象。

5.如权利要求4所述的方法，其中，所述待预测行为对象指示以下项之中的至少一项：将预测其是否被接受的推荐对象、将预测其是否为欺诈行为的行为对象、将预测其是否为异常行为的行为对象、将预测其是否被接受的营销对象。

6.如权利要求2所述的方法，其中，第一机器学习模型包括多个第一机器学习子模型，其中，每个第一机器学习子模型被事先训练为针对一系列连续数据记录的对应属性特征来提供关于序列预测目标的序列预测结果；或者，第一机器学习模型作为单个机器学习模型，被事先训练为针对一系列连续数据记录的全部属性特征来提供关于序列预测目标的序列预测结果。

7.如权利要求6所述的方法，其中，在所述对应属性特征或所述全部属性特征包括多个属性特征的情况下，所述多个属性特征各自的特征向量经由仿射变换而映射到统一的特征空间。

8.一种利用机器学习模型执行预测的装置，包括：

数据记录获取单元，被配置为获取将针对其执行预测的当前数据记录；

序列特征提取单元，被配置为获取第一机器学习模型针对所述当前数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，以用作与所述当前数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述当前数据记录之前连续出现的在先数据记录连同所述当前数据记录；

预测样本产生单元，被配置为产生与所述当前数据记录相应的预测样本，其中，所述序列特征被用作所述预测样本所包括的特征之一；以及

预测单元，被配置为利用第二机器学习模型针对预测样本来提供关于预测目标的预测结果。

9.一种用于训练机器学习模型的方法，包括：

获取针对预测目标的待用历史数据记录；

获取事先训练的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录连同所述待用历史数据记录；

产生与所述待用历史数据记录相应的训练样本，其中，所述序列特征被用作所述训练样本所包括的特征之一；

基于由产生的所述训练样本组成的训练样本集，针对预测目标来训练第二机器学习模型。

10.一种用于训练机器学习模型的装置，包括：

数据记录获取单元，被配置为获取针对预测目标的待用历史数据记录；

序列特征提取单元，被配置为获取事先训练的第一机器学习模型针对所述待用历史数据记录所涉及的一系列连续数据记录执行预测的过程中所产生的内部状态，作为与所述待用历史数据记录相应的序列特征，其中，第一机器学习模型具有循环结构，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录，或者，所述一系列连续数据记录包括在所述待用历史数据记录之前连续出现的在先数据记录连同所述待用历史数据记录；

训练样本产生单元，被配置为产生与所述待用历史数据记录相应的训练样本，其中，所述序列特征被用作所述训练样本所包括的特征之一；

第二机器学习模型训练单元，被配置为基于由产生的所述训练样本组成的训练样本集，针对预测目标来训练第二机器学习模型。