CN105760950A - 提供或获取预测结果的方法、装置以及预测系统 - Google Patents

Abstract

本发明公开了一种提供或获取预测结果的方法、装置以及预测系统。其中，针对业务问题产生预测样本的预测结果；获取训练样本，训练样本是基于预测样本之中针对业务问题具有实际执行结果的预测样本产生的；以及基于训练样本来获得预测模型，预测模型用于针对业务问题进行预测，其中，在获得预测模型之前，通过外部预测手段来产生预测样本的预测结果；在获得预测模型之后，使用预测模型来产生预测样本的预测结果。对本发明而言，不需要获取专门的历史数据就可以启动为业务问题提供的预测服务，并可以基于反馈的实际执行结果，来训练、完善预测模型。

Description

提供或获取预测结果的方法、装置以及预测系统

技术领域

本发明涉及数据计算技术领域，特别是涉及一种针对业务问题提供或获取预测结果的方法、装置及系统。

背景技术

随着大数据、云计算和人工智能等技术的发展，越来越需要(例如，通过机器学习和/或统计方法等技术)从海量数据中挖掘出其中隐藏的有用信息。这里，为了获得用于给出预测结果的预测模型，需要事先准备好大量的历史数据作为训练样本以进行模型训练，而为了准备好这些训练用历史数据，不仅需要预先拥有一定的原始数据储备量，还需要其对历史数据完成一定的预处理，这些都成为了应用数据挖掘技术的障碍。

发明内容

本发明主要提供一种针对业务问题提供或获取预测结果的方法、装置及系统，其克服了现有技术中需要事先存储并准备训练用历史数据的缺陷。

根据本发明的一个方面，提供了一种针对业务问题提供预测结果的方法，包括：针对业务问题产生预测样本的预测结果；获取训练样本，该训练样本是基于预测样本之中针对业务问题具有实际执行结果的预测样本产生的；以及基于训练样本来获得预测模型，预测模型用于针对业务问题进行预测，其中，在获得预测模型之前，通过外部预测手段来产生预测样本的预测结果；在获得预测模型之后，使用预测模型来产生预测样本的预测结果。

这样，对于需要预测的业务问题来说，不需要事先获取训练用历史数据就可以启动预测服务并给出初步预测结果，然后基于得到的预测样本的实际执行结果可以生成训练样本来训练预测模型，训练得到的预测模型可以用来对同一业务问题的不同预测样本继续进行预测，并基于预测样本的实际执行结果继续训练该预测模型。由此，基于本发明得到的预测模型可以不断地被训练或更新。

优选地，该方法可以由服务器执行，并且该方法还可以包括：从客户端接收业务问题的预测请求，预测请求包括预测样本；向客户端发送预测结果报告，预测结果报告包括预测样本的预测结果；从客户端接收预测样本的预测执行报告，其中，从预测执行报告能够得到预测样本的实际执行结果。

优选地，预测请求和预测结果报告还可以包括预测样本的唯一标识符，预测执行报告可以包括预测样本的唯一标识符和预测样本的实际执行结果，其中，该方法还可以包括：在服务器的存储器上保存预测请求中的预测样本及其唯一标识符，其中，获取训练样本的步骤可以包括：基于预测执行报告中的唯一标识符，确定存储器上保存的预测样本中与唯一标识符对应的预测样本；以及基于所确定的预测样本的特征及预测执行报告中的实际执行结果，产生训练样本。

优选地，预测请求针对一个或业务问题，不同的业务问题分别对应于不同的预测模型，预测结果报告以及预测执行报告还可以包括业务代码，用于指示其在一个或多个业务问题之中所针对的业务问题，对于每个业务问题，分别设有相应的外部预测手段。

优选地，预测执行报告还可以包括预测样本针对业务问题的实际执行信息。

优选地，训练样本的特征包括所确定的预测样本的特征及基于实际执行信息得到的特征。

优选地，获取训练样本的步骤和/或基于训练样本的特征来获得预测模型的步骤可以被划分为多个处理阶段，在先处理阶段的输出数据为紧接在先处理阶段的在后处理阶段的输入数据，针对每个处理阶段，定期地或者周期性地或者在该处理阶段被成功执行预定数量次之后，在存储系统中写入该处理阶段的执行记录，执行记录用于标记该处理阶段已经成功处理过的数据，在一个处理阶段出现故障的情况下，根据该处理阶段以及紧接该处理阶段的在先处理阶段的执行记录，确定应该从哪一条数据开始执行该处理阶段。

优选地，通过外部预测手段来产生预测样本的预测结果的步骤可以是通过以下任意一种方式或任意多种方式的结合执行的：随机产生预测结果；基于关联模型产生预测结果；基于专家规则或业务规则产生预测结果。

优选地，在基于训练样本的特征来获得预测模型的步骤中，基于训练样本，利用机器学习算法和/或统计方法得到预测模型。

根据本发明的另一个方面，提供了一种针对业务问题获取预测结果的方法，包括：向服务器发送业务问题的预测请求，预测请求包括预测样本及预测样本的唯一标识符；从服务器接收服务器针对业务问题提供的预测样本的预测结果报告，预测结果报告包括预测样本的唯一标识符和预测样本的预测结果；以及向服务器发送预测样本之中针对业务问题具有实际执行结果的预测样本的预测执行报告，预测执行报告包括预测样本的实际执行结果。

优选地，预测执行报告还包括预测样本的唯一标识符。

优选地，业务问题涉及推荐业务、营销业务、搜索业务、个性化定价业务、风险控制业务之中的至少一项，实际执行结果涉及预测样本关于业务问题的实际反馈，该方法还可以包括：根据预测结果报告确定是否针对预测样本执行业务问题的实际操作；在执行实际操作的情况下，获取预测样本针对业务问题的实际执行结果，并基于获取的实际执行结果来产生预测执行报告。

优选地，在执行实际操作的情况下，该方法还可以包括：获取预测样本针对业务问题的实际执行信息，并基于获取的实际执行结果和实际执行信息来产生预测执行报告。

根据本发明的另一个方面，提供了一种针对业务问题提供预测结果的装置，包括：预测结果生成模块，用于针对业务问题产生预测样本的预测结果；训练样本获取模块，用于获取训练样本，该训练样本是基于预测样本之中针对业务问题具有实际执行结果的预测样本产生的；以及预测模型获取模块，用于基于训练样本来获得预测模型，该预测模型用于针对业务问题进行预测，其中，在获得预测模型之前，预测结果生成模块通过外部预测手段来产生预测样本的预测结果；在获得预测模型之后，预测结果生成模块使用预测模型来产生预测样本的预测结果。

优选地，该装置可以应用于服务器端，并且该装置还可以包括：预测请求获取模块，用于从客户端接收业务问题的预测请求，预测请求包括预测样本；预测结果报告发送模块，用于向客户端发送预测结果报告，预测结果报告包括预测样本的预测结果；以及预测执行报告接收模块，用于从客户端接收预测样本的预测执行报告，其中，从预测执行报告能够得到预测样本的实际执行结果。

优选地，预测请求和预测结果报告还可以包括预测样本的唯一标识符，预测执行报告可以包括预测样本的唯一标识符和预测样本的实际执行结果，该装置还可以包括：保存模块，用于在服务器端的存储器上保存预测请求中的预测样本及其唯一标识符，其中，训练样本获取模块可以包括：预测样本确定模块，用于基于预测执行报告中的唯一标识符，确定存储器上保存的预测样本中与唯一标识符对应的预测样本；以及训练样本产生模块，用于基于所确定的预测样本的特征及预测执行报告中的实际执行结果，产生训练样本。

优选地，预测请求可以针对一个或多个业务问题，不同的业务问题分别对应于不同的预测模型，预测结果报告以及预测执行报告还可以包括业务代码，用于指示其在一个或多个业务问题之中所针对的业务问题，对于每个业务问题，可以分别设有相应的外部预测手段。

优选地，预测执行报告还可以包括预测样本针对业务问题的实际执行信息。

优选地，训练样本的特征可以包括所确定的预测样本的特征及基于实际执行信息得到的特征。

优选地，该装置还可以包括：划分模块，用于将训练样本获取模块执行的操作和/或预测模型获取模块执行的操作划分为多个处理阶段，在先处理阶段的输出数据为紧接在先处理阶段的在后处理阶段的输入数据，写入模块，用于针对每个处理阶段，定期地或者周期性地或者在该处理阶段被成功执行预定数量次之后，在存储系统中写入该处理阶段的执行记录，执行记录用于标记该处理阶段已经成功处理过的数据，在一个处理阶段出现故障的情况下，根据该处理阶段以及紧接该处理阶段的在先处理阶段的执行记录，确定应该从哪一条数据开始执行该处理阶段。

优选地，在获得预测模型之前，预测结果生成模块可以是通过以下任意一种方式或任意多种方式的结合执行的：随机产生预测结果；基于关联模型产生预测结果；基于专家规则或业务规则产生预测结果。

优选地，预测模型获取模块基于训练样本，可以利用机器学习算法和/或统计方法得到预测模型。

根据本发明的另一个方面，还提供了一种针对业务问题获取预测结果的装置，可以应用于客户端设备，该装置可以包括：预测请求发送模块，用于向服务器发送针对业务问题的预测请求，预测请求包括预测样本及预测样本的唯一标识符；预测结果报告接收模块，用于从服务器接收服务器针对业务问题提供的预测样本的预测结果报告，预测结果报告包括预测样本的唯一标识符和预测样本的预测结果；预测执行报告发送模块，用于向服务器发送预测样本之中针对业务问题具有实际执行结果的预测样本的预测执行报告，预测执行报告包括预测样本的实际执行结果。

优选地，预测执行报告还可以包括预测样本的唯一标识符。

优选地，业务问题涉及推荐业务、营销业务、搜索业务、个性化定价业务、风险控制业务之中的至少一项，实际执行结果涉及预测样本关于业务问题的实际反馈，该装置还可以包括：确定模块，用于根据预测结果报告确定是否针对预测样本执行业务问题的实际操作；实际执行结果获取模块，用于在执行实际操作的情况下，获取预测样本针对业务问题的实际执行结果，并基于获取的实际执行结果来产生预测执行报告。

优选地，在确定模块确定执行实际操作的情况下，该装置还可以包括：实际执行信息获取模块，可以用于获取预测样本针对所述业务问题的实际执行信息，实际执行结果获取模块可以基于获取的实际执行结果和实际执行信息来产生预测执行报告。

根据本发明的另一个方面，还提供了一种针对业务问题进行预测的预测系统，包括服务器和客户端，其中，客户端向服务器发送针对业务问题的预测请求，该预测请求包括预测样本；服务器针对业务问题产生针对预测样本的预测结果，并向客户端发送预测结果报告，预测结果报告包括针对预测样本产生的预测结果；客户端向服务器发送对应于预测样本之中针对业务问题具有实际执行结果的预测样本的预测执行报告，其中，从预测执行报告包括对应于能够得到预测样本的实际执行结果；服务器基于预测执行报告获取训练样本，并基于训练样本来获得预测模型，训练样本是基于预测样本的特征及业务问题的对应于预测样本的预测执行报告中的实际执行结果产生的，预测模型用于针对业务问题进行预测，其中，在获得预测模型之前，服务器通过外部预测手段来产生预测样本的预测结果；在获得预测模型之后，服务器使用预测模型来产生预测样本的预测结果。

优选地，服务器与客户端之间可以基于SaaS架构，服务器可以以离线方式利用机器学习算法来获得预测模型。

综上，对于需要预测的业务问题来说，本发明不需要事先获取训练用历史数据就可以启动为业务问题提供的预测服务，并可以基于预测样本的实际执行结果生成训练样本来训练预测模型，训练得到的预测模型可以用来对后续的预测样本进行预测，并基于后续的预测样本的实际执行结果，继续训练所得到的预测模型。由此，基于本发明得到的预测模型可以不断地被训练或更新。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了一种实现本发明的方案的方法的示意性流程图。

图2示出了一种实现本发明的方案的装置的结构示意图。

图3示出了本发明一实施例的预测系统的结构示意图。

图4示出了一种由服务器执行本发明的方案时的方法的示意性流程图。

图5示出了一种应用于服务器端的装置的结构示意图。

图6示出了一种在客户端执行的针对业务问题获取预测结果的方法的示意性流程图。

图7示出了一种应用于客户端的装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

如前所述，本发明主要提出了一种针对业务问题提供预测结果的方案。基于该方案，不必专门准备和提供训练用的历史数据，即可为业务问题提供相应的预测结果。

图1示出了一种实现本发明的方案的方法的示意性流程图。其中，图1中示出的各个流程步骤可以由集中的预测服务系统执行，该预测服务系统可位于客户端或服务器，或者，所述各个流程步骤还可以由客户端和服务器共同执行。图2示出了一种实现图1所示的各个流程步骤的装置的结构示意图。下面结合图1、图2对本发明的方案做以简要说明。

参见图1、图2，在步骤S110，例如可以由预测结果生成模块210，针对业务问题产生预测样本的预测结果。

这里，业务问题可以是预测样本(例如，关于相关的特定用户和/或内容的特征集合)针对任何业务(诸如推荐、营销、风控、欺诈、安全等)的待解答问题，即，对某业务目标值的预测。例如，业务问题可指示用户对某项内容是否感兴趣(例如，用户是否会点击在网页上展示的所述某项内容或采取进一步的操作(例如，购买所述内容等))，相应的预测结果可表示为用户对所述内容的点击概率。

针对这样的业务问题，其中，预测结果生成模块210可根据是否存在训练好的预测模型，采用不同的方式来产生预测结果。这里，预测模型可反映业务数据内部规律，由大量的历史数据(即，训练样本)训练得出，例如，可基于在过往被点击内容以及点击用户的各个特征(即，正样本)以及在过往未被点击内容以及未点击用户的各个特征(即，负样本)训练出能够预测新的用户是否会点击某个内容的预测模型。

根据本发明的示例性实施例，在获得预测模型之前(例如，在预测的初期阶段)，预测结果生成模块210可以通过外部预测手段来产生预测样本的预测结果。这里所说的“外部预测手段”是指基于除了反映业务数据内部规律的预测模型之外的其它因素进行预测的手段，下文中给出了“外部预测手段”的一些示例，此处暂不做详细说明。

在步骤S120，例如可以由训练样本获取模块220获取训练样本。其中，训练样本是基于预测样本之中针对业务问题具有实际执行结果的预测样本产生的。

具体说来，在产生了预测样本的预测结果之后，会针对预测样本之中的至少一部分实际执行相应的业务操作，并取得这至少一部分预测样本针对业务问题的实际执行结果。

例如，假设业务问题是“用户是否对特定内容感兴趣”，作为示例，上述问题可具体化为：用户是否会在页面上点击被推荐的特定内容。在得到预测结果(例如，点击概率)之后，可选择是否将所述特定内容展示给用户(例如，在页面上展示给用户)，并在所述特定内容被展示的情况下，进一步追踪用户实际上是否对展示的所述特定内容感兴趣(即，预测样本针对业务问题的实际执行结果)，例如，用户是否点击了所述特定内容。

这里，在获得预测样本的实际执行结果之后，可获取用于训练预测模型的训练样本，其中，该训练样本包括所述预测样本的各个特征以及作为标记(label)的相应实际执行结果。

针对用户是否点击内容这一具体的业务问题，在展示给用户的内容之中，实际执行结果为用户对展示的内容进行了点击操作的训练样本属于正样本，实际执行结果为用户没有对展示的内容进行点击操作的训练样本属于负样本，没有实际执行结果的预测样本将不会转换为训练样本。

在步骤S130，例如可以由预测模型获取模块230基于训练样本来获得预测模型，所述预测模型用于针对所述业务问题进行预测。

这里，可以利用机器学习算法和/或统计方法得到预测模型，例如，可利用单独的机器学习算法或统计方法得到预测模型，也可以通过机器学习算法与统计方法的融合来得到预测模型，还可以通过机器学习方法的变型方式来得到预测模型，这里，本发明并不限制基于训练样本来获得预测模型的具体方式。

作为示例，预测模型获取模块230可基于获得的训练用正样本和训练用负样本，训练出用于预测用户是否会点击某项内容的预测模型。优选地，预测模型获取模块230可获知哪些内容被实际展示给了用户，并纠正训练用正样本和训练用负样本的采样偏差，进而获取更为准确的预测模型。

针对获得预测模型之后的预测样本，在步骤S110，可以使用预测模型来产生预测样本的预测结果。

如上所述，通过训练获得的预测模型可以较好地体现业务数据的内部规律，但是，在预测的初期，由于尚未获得预测模型，因此也就无法基于数据的内部规律给出相应的预测结果。为此，根据本发明的示例性实施例，可首先采用外部预测手段给出初步预测结果，使得可以在没有提供历史数据，没有掌握数据内部规律的情况下，直接启动预测服务并进而得到训练用的正样本和负样本。根据这些正样本和负样本，可以对预测模型进行充分的训练，使得训练出的预测模型随后可以较为准确地进行预测。此外，针对预测模型给出的预测结果，也会追踪相应的实际执行结果并形成训练样本，以重新训练和/或更新预测模型。

至此，结合图1、图2对本发明的方案做了简要说明。应注意，除了历史数据的准备之外，搭建专门的建模平台(例如，机器学习建模平台)还需要较为复杂的资源部署以及精通数据挖掘的操作人员，这使得很多企业或组织选择直接购买相应的软件服务，例如，机器学习的软件实现可作为一种服务(例如，按照SaaS(Software-as-a-Service，软件即服务)方式)提供给客户端。作为示例，如图3所示，本发明的方案可以实现为一种由客户端10和服务器20组成的针对业务问题进行预测的预测系统。其中，客户端10和服务器20可以通过网络连接，使得服务器20可以向客户端10提供预测服务。例如，服务器20可以以SaaS的形式向客户端10提供预测服务，其中，客户端10与服务器20之间可通过API接口、HTTP接口、RPC调用等方式进行数据通讯。

下面结合图3对本发明的预测系统的工作过程进行详细说明。首先，在客户端10与服务器20连接之后，在步骤S310，客户端10向服务器20发送针对业务问题的预测请求，该预测请求包括预测样本。

预测样本可包括各种特征(例如，相关用户和内容的原始数据样本中的属性字段、属性字段的进一步处理结果等)，以便服务器20可基于所述特征针对待预测的业务问题进行预测。此外，当预测样本后续具有针对业务的实际执行结果(即，标记)时，这些特征还可以结合相应的标记作为预测模型的训练样本。或者，预测请求可以包括预测样本的原始数据，而由服务器20从原始数据抽取相应的特征(例如，针对属性字段进行直接取值、离散化取值、组合取值等多种抽取方式)，以降低客户端10的工作量。或者，预测请求可以包括预测样本的原始数据和特征，而由服务器20对所述特征和原始数据进行更精细的加工，作为原有特征的扩充。

作为示例，如本领域技术人员所知，特征在机器学习中被用于描述模式的属性。具体说来，针对特定机器学习算法，其数据集可视为来自具有N(N为大于1的整数)个特征的具有类别标记的符合分布的例子空间，实践中，往往需要从原始的N个特征中选择或提取对于某种评价标准最优的特征子集以进行机器学习。

这里，客户端10可通过API接口、HTTP接口、RPC调用等方式向服务器20发送预测请求，发送的预测请求可以针对一项或多项业务问题。即客户端10可以在一条预测请求内向服务器20请求关于预测样本的某项或某几项业务问题的预测结果。

在客户端10在一条预测请求内向服务器20请求关于预测样本的几项不同的业务问题时，该预测请求可以包括针对多项业务问题的所有相关特征数据，同时作为可选方式，客户端10还可以在预测请求中指明需要进行预测的业务问题，或者，按照默认约定对所述几项业务问题均进行预测。例如，客户端10可在一条请求中请求服务器20同时预测用户对推荐内容的广告点击率(即，广告展示后的点击概率)和广告转换率(即，用户点击广告后进一步作出购买等实质性动作的概率)。

在步骤S320，服务器20针对预测请求中的业务问题产生针对预测样本的预测结果，并向客户端10发送预测结果报告，预测结果报告包括针对预测样本产生的预测结果。这里，当客户端10在一条请求中针对多项业务问题请求进行预测时，服务器20需使用相应的预测手段分别对每项业务进行预测，并在一个或多个预测结果报告中返回预测结果。

这里，服务器20可通过API接口、HTTP接口、RPC调用等方式向客户端10发送预测结果报告。

这里，对于初始阶段客户端10发送的预测请求来说，由于服务器20之前并未接收过关于业务问题的任何历史数据(也就没有训练出相应的预测模型)，因此，服务器20可以基于一些外部预测手段对预测请求进行预测。

下面描述几种外部预测手段的示例，这些外部预测手段可以单独或组合使用。应该明白，还可以采用除以下示例之外的其它外部预测手段对预测请求进行预测。

例如，针对预测请求中的业务问题，服务器20可依据关联模型(例如，在应用场景、预测内容和/或其他方面具有相似性的模型)来产生针对预测样本的预测结果。这里所说的关联模型可以是事先基于外部数据训练出的模型，该模型所针对的场景可与客户端10发送的预测请求中的待预测业务问题的场景相同或相似(例如，涉及相同或相似内容的个性化推荐)。或者，该模型所预测的内容可与客户端10发送的预测请求中的待预测业务问题的内容相同或相似(例如，均涉及某用户对某项内容感兴趣(例如，会点击展示的内容)的概率)。其中，外部数据的特征可以与客户端发送的预测样本的特征存在交集或关联性，使得关联模型能够基于预测样本的特征产生预测值，作为服务器20响应于预测样本的预测结果。

此外，作为示例，服务器20还可以基于特定规则(例如，专家规则或业务规则)对预测请求中的业务问题进行预测。这里所说的专家规则或业务规则可以是基于待预测业务问题所在的业务领域中存在的专门知识、规律、经验、人为设定等所产生的规则。应用所述特定规则，可基于预测样本之中的至少一部分特征取得针对业务问题的预测结果。

这里，在初始阶段由服务器20所产生的预测结果，可以仅仅作为针对预测请求的初步响应，该预测结果的准确性可以不做要求。这是因为，根据本发明的示例性实施例，在得到预测结果之后，预测样本之中的至少一部分会在后续形成训练用的正样本或负样本，在训练样本不断增长的情况下，基于训练出的预测模型得到的预测结果会满足预测准确性方面的要求。

应注意，还可以使用其它外部预测手段产生预测结果，例如通过随机方式产生预测结果，或者将预设值作为预测结果，该预设值可基于预测样本中的至少一个特征或与所述特征无关。

在步骤S330，客户端10向服务器20发送对应于预测样本中针对业务问题具有实际执行结果的预测样本的预测执行报告。其中，预测执行报告包括对应于预测样本的实际执行结果。

具体说来，客户端10在从服务器20接收到预测结果之后，会针对预测样本之中的至少一部分实际执行相应的业务操作，并取得这至少一部分预测样本针对业务问题的实际执行结果。

例如，假设业务问题是“用户A是否对内容M(例如，可购买车辆M)感兴趣”，即，客户端10在步骤S310请求服务器20预测的是用户A是否对内容M感兴趣(即，用户A是否会点击内容M)。

作为示例，下表示出根据本发明示例性实施例的预测样本的特征示例：

表1

用户A-1

用户A-2

用户A-3

…

内容M-1

内容M-2

内容M-3

…

其中，用户A-1、用户A-2、用户A-3等是用于描述用户A的相关特征，例如，性别、年龄、职业、收入等。内容M-1、内容M-2、内容M-3是用于描述内容M的相关特征，例如，内容名称、内容类别、内容所涉及地区等。

相应地，服务器20在步骤S320返回了预测出的用户A对内容M的感兴趣程度(例如，点击概率)，则在这种情况下，在步骤S330，客户端10可根据服务器20反馈的预测结果来决定是否有必要向用户A展示内容M，并且在内容M被展示的情况下记录用户A是否点击了展示的内容M。即，客户端10可获取对预测样本执行相应业务操作所获得的实际执行结果(例如，用户A是否点击了展示的内容M，即，用户A是否对内容M感兴趣)，该实际执行结果可在后续作为标记被用于进行预测模型的训练。

然后由客户端10将包括对应于所述预测样本的实际执行结果的预测执行报告反馈给服务器20。

作为示例，客户端10可将包括执行业务操作所获得的实际执行结果(即，标记(label))和相关的特征信息的完整日志作为预测执行报告提供给服务器20。

此外，根据本发明的示例性实施例，客户端10可不必拼接完整的日志，而只需在预测执行报告中写入针对预测样本得到的实际执行结果。例如，在服务器20分别预测出用户A会点击各个内容的概率之后，客户端10可选择将所述各个内容中的一部分内容(例如，点击概率较高的一部分内容)展示给用户，并仅向服务器20提供关于向用户A展示了所述一部分内容的信息(即，展示信息)和关于用户A点击了所述一部分内容之中的某个内容的信息(即，点击信息)。服务器20在接收到上述预测执行报告之后，就可以在后台生成后续用于训练预测模型的训练样本。

在步骤S340，服务器20基于预测执行报告获取训练样本，并基于训练样本来获得预测模型。训练样本是基于预测样本的特征及待预测业务问题的对应于预测样本的预测执行报告中的实际执行结果产生的，预测模型用于针对待预测业务问题进行预测。

具体说来，在客户端10提供的预测执行报告包括完整的训练日志的情况下，服务器20可直接利用该日志产生训练样本，进而进行预测模型的训练。

此外，在客户端10提供的预测执行报告仅包括执行业务操作的实际执行结果的情况下，服务器20可读取之前保存下来的预测样本的特征数据(或者从之前接收的预测样本中抽取相应的特征数据)，将其与实际执行结果所代表的标记进行拼接以形成用于对预测模型进行训练的训练样本。

具体说来，服务器20在获取关于向用户A展示了哪些内容的展示信息和关于用户A点击了其中的哪部分内容的点击信息之后，可将涉及被点击内容和点击用户的预测样本中的相关特征与点击标记拼接为用于训练预测模型的正样本，并将涉及展示内容中未被点击内容和未点击用户的预测样本中的相关特征与未点击标记拼接为用于训练预测模型的负样本。

此外，作为可选方式，除了从预测样本所确定的特征之外，训练样本的特征还可以包括基于针对业务问题的实际执行信息所得到的其它新特征，其中，实际执行信息可被包括在预测执行报告中，可指示例如，内容被展示的位置、展示项的尺寸、展示顺序等。

在获取训练样本后，服务器20就可以利用这样的训练样本对预测模型进行训练。这里，服务器20可按照预定的时间周期，基于在相应周期内获取的训练样本来统一进行预测模型训练，也可在获取的训练样本数量达到某个阈值时启动预测模型训练，还可基于每次获取的训练样本来实时地训练预测模型。具体可以根据业务需要、资源环境或人为设定来确定采用上述哪种方式。另外，在预测执行报告涉及不同业务问题的情况下，服务器20可利用相应的标记连同预测请求中包括的有关特征数据分别对不同业务问题的预测模型进行训练。

服务器20与客户端10之间可以基于SaaS架构，服务器20可以以离线方式利用机器学习算法来获得预测模型。在训练出预测模型之后，当服务器20再次从客户端10接收到对某个或某些预测样本的预测请求时，服务器20可基于训练出的预测模型对预测样本进行在线预测，并将预测得到的结果作为预估提供给客户端10。在此之后，客户端10仍旧可继续向服务器20反馈预测执行报告，以使得训练出的预测模型可在后续被不断地重新训练或更新。

其中，服务器20执行获取训练样本的操作和/或基于训练样本获得预测模型的操作可以被划分为多个处理阶段，在先处理阶段的输出数据为紧接在先处理阶段的在后处理阶段的输入数据。

针对每个处理阶段，服务器20可以定期地或者周期性地或者在该处理阶段被成功执行预定数量次之后，在存储系统(例如，文件存储系统，具体说来，可以是分布式文件存储系统，优选地，可采用HDFS作为文件存储系统以利于数据的安全保护)中写入该处理阶段的执行记录，该执行记录用来标记该处理阶段已经成功处理过的数据。作为优选方式，执行记录可包括：相应阶段的完成时间、已处理数据的存储位置等信息。

这样，在一个处理阶段出现故障的情况下，服务器20根据该处理阶段以及紧接该处理阶段的在先处理阶段的执行记录，就可以确定应该从哪一条数据开始执行该处理阶段。其中，作为优选，服务器20可以每执行一次就写入一次执行记录。

通过上述方式，实现了一种可靠有效的灾备机制，每个处理阶段定时重启时，能够有效地从出现故障的位置开始重新执行相应的处理，从而从错误中恢复且无需人工介入。

这里，服务器20可基于分布式计算集群(诸如基于Mapreduce、Spark等分布式计算框架的集群)来完成离线的模型训练工作，优选地，机器学习模型训练过程中产生的参数可分布在多个参数服务器(parameterserver)之中，以增强运算效力。

另外，就客户端10向服务器20发送的预测请求和预测执行报告来说，其中还可以包括唯一标识符。其中，该唯一标识符可以由客户端10配置，也可以由服务器20配置。此外，由服务器20向客户端10发送的预测结果报告中也可以包括所述唯一标识符。由此可见，上述唯一标识符可确保预测样本在业务流程下被有效执行，还可确保从预测样本到训练样本的对应性。可选地，所述唯一标识符还可用于同时唯一地标识出客户端10，以适用于存在多个客户端10的情形。

在客户端10发送的预测请求针对多个业务问题时，服务器20反馈给客户端10的预测结果报告还包括指示所针对的业务问题的业务代码，而客户端10提供给服务器20的预测执行报告也包括所述业务代码。其中，对于预测请求中的不同业务问题，分别对应于不同的预测模型，并且对于每个业务问题，可以分别设有相应的外部预测手段。

至此，结合图3对本发明的方案实现为一种由客户端和服务器组成的预测系统时，系统的工作流程做了详细说明。另外，本发明的方案还可以实现为一种服务器，即本发明的方案还可以由服务器执行，图4示出了一种由服务器执行本发明的方案时的方法的流程图。图5示出了一种应用于服务器的装置的结构示意图。其中，图4所示的流程图中的各个步骤所涉及的细节部分已在上文做了详细说明，下面结合图5对图4所示的方案的流程做以简要说明，对于其中的一些细节部分不再赘述。

参见图4，在步骤S100，例如可以由服务器20或者预测请求获取模块200，从客户端10接收业务问题的预测请求，该预测请求包括预测样本。

在步骤S115，例如可以由服务器20或者预测结果报告发送模块215，向客户端10发送预测结果报告。其中，预测结果报告包括预测样本的预测结果。

在步骤S117，例如可以由服务器20或者预测执行报告接收模块217，从客户端10接收预测样本的预测执行报告。其中，从预测执行报告能够得到预测样本的实际执行结果。

这里，预测执行报告接收模块217可通过统一的接口(例如，API接口、HTTP接口、RPC调用等)从客户端10接收预测执行报告，这里，预测执行报告接收模块217可将接收的预测执行报告保存为日志，以便相关日志被传送到(例如，通过Flume组件、Kafka组件等)预测模型获取模块230以用于后续进行的模型训练。

其中，步骤S110、步骤S120以及步骤S130已结合图1、图2做了描述，此处不再赘述。

在预测请求包括预测样本的唯一标识符时(其中，预测样本的唯一标识符可以由客户端配置，也可以由服务器配置)，预测结果报告和预测执行报告也包括预测样本的唯一标识符。

可选地，在步骤S105，例如可以由服务器20或者保存模块205，在服务器端的存储器上保存预测请求中的预测样本及其唯一标识符。

这里，保存模块205可将接收的预测请求中包括的预测样本数据保存为日志，以便相关日志被传送到(例如，通过Flume组件、Kafka组件等)训练样本获取模块220以用于后续进行的模型训练。这里，作为示例，接收的预测请求中可包括针对两种以上业务问题进行预测的所有相关特征数据，保存模块205可将该预测请求中包括的预测样本数据保存为单条日志，以便后续分别利用该条日志中包括的相关特征集及其对应的标记来训练相应的模型，从而提高模型训练的效率。

此时，步骤S110，获取训练样本的实现过程可以是如下所述：

首先，可以由服务器20或者预测样本确定模块2210，基于预测执行报告中的唯一标识符，确定在服务器端的存储器上保存的预测样本中与唯一标识符对应的预测样本。

然后，可以由服务器20或者训练样本产生模块2220，基于所确定的预测样本的特征及预测执行报告中的实际执行结果，产生训练样本。

另外，可以由服务器20或划分模块240将获取训练样本的步骤和/或基于训练样本获得预测模型的步骤划分为多个处理阶段，在先处理阶段的输出数据为紧接在先处理阶段的在后处理阶段的输入数据。

针对每个处理阶段，定期地或者周期性地或者在该处理阶段被成功执行预定数量次之后，可以由服务器20或写入模块250在存储系统中写入该处理阶段的执行记录，该执行记录用于标记该处理阶段已经成功处理过的数据。这样，在一个处理阶段出现故障的情况下，根据该处理阶段以及紧接该处理阶段的在先处理阶段的执行记录，就可以确定应该从哪一条数据开始执行该处理阶段。

作为示例，可将图5所示的上述模块以及相关组件和程序设计为具有可扩展性，在这种情况下，为了保证服务器20整体的协作效果，可采用特别的组件或程序设计，例如：对于预测执行报告中只包含结果标记的情况，训练样本获取模块220可使用基于Mapreduce的分布式日志拼接程序，将标记和预测样本所包括的各特征进行拼接；对于预测样本为原始数据或需要进行更精细的加工的情况，训练样本获取模块220可使用基于Mapreduce的分布式特征提取程序抽取特征。

至此，结合图4、图5简要说明了本发明的方案由服务器端执行的过程的流程。另外，本发明还提供了一种在客户端执行的针对业务问题获取预测结果的方法。图6示出了该方法的示意性流程图，图7示出了一种在客户端实现图6所示的方法的装置的结构示意图。下面结合图7对图6所示的方法做以简要说明。

参见图6，在步骤S610，例如可以由客户端10或者预测请求发送模块710，向服务器20发送针对业务问题的预测请求，该预测请求包括预测样本及预测样本的唯一标识符。

其中，可以由客户端10或预测请求发送模块710为预测请求中的预测样本配置相应的唯一标识符。在一条预测请求针对多个业务问题时，还可以为不同的业务问题分配业务代码。

在步骤S620，例如可以由客户端10或者预测结果报告接收模块720，从服务器20接收服务器20针对业务问题提供的预测样本的预测结果报告，预测结果报告包括预测样本的唯一标识符和预测样本的预测结果。

在步骤S630，例如可以由客户端10或者预测执行报告发送模块730，向服务器20发送预测样本之中针对业务问题具有实际执行结果的预测样本的预测执行报告，预测执行报告包括预测样本的实际执行结果。

此时，作为示例，向服务器20反馈的预测执行报告可以包括预测样本的实际执行结果而不包括相应的特征。其中，所述预测执行报告还可包括预测样本的唯一标识符。

其中，业务问题可以是涉及推荐业务、营销业务、搜索业务、个性化定价业务、风险控制业务之中的一项或多项，实际执行结果涉及预测样本关于业务问题的实际反馈，此时图6所示的方法还可以包括如下步骤。

在步骤S621，例如可以由客户端10或者确定模块721，根据预测结果报告确定是否针对预测样本执行业务问题的实际操作。

在步骤S623，例如可以由客户端10或者实际执行结果获取模块723，在执行实际操作的情况下，获取预测样本针对业务问题的实际执行结果，并基于获取的实际执行结果来产生预测执行报告。

在步骤S625，例如可以由客户端10或者实际执行信息获取模块725，在执行实际操作的情况下，获取预测样本针对业务问题的实际执行信息，并基于获取的实际执行结果和实际执行信息来产生预测执行报告。

这里，实际执行信息可指示例如，内容被展示的位置、展示项的尺寸、展示顺序等，通过预测执行报告来传送业务的实际执行信息，从而简化了信息的传递过程，以便后续对实际执行信息进行相应的处理，例如，服务器20可利用实际执行信息来提供相应的统计数据或将实际执行信息作为新的特征参与到模型训练中。

上文中已经参考附图详细描述了根据本发明的提供或获取预测结果的方法、装置及预测系统。由上述描述可知，利用本发明，不需要获取专门的历史数据就可以启动为业务问题提供的预测服务，并可以基于反馈的实际执行结果，来训练、完善预测模型。

此外，根据本发明的方法还可以实现为一种计算机程序，该计算机程序包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。或者，根据本发明的方法还可以实现为一种计算机程序产品，该计算机程序产品包括计算机可读介质，在该计算机可读介质上存储有用于执行本发明的上述方法中限定的上述功能的计算机程序。本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种针对业务问题提供预测结果的方法，包括：

针对所述业务问题产生预测样本的预测结果；

获取训练样本，所述训练样本是基于预测样本之中针对所述业务问题具有实际执行结果的预测样本产生的；以及

基于所述训练样本来获得预测模型，所述预测模型用于针对所述业务问题进行预测，

其中，在获得所述预测模型之前，通过外部预测手段来产生预测样本的预测结果；在获得所述预测模型之后，使用所述预测模型来产生预测样本的预测结果。

2.根据权利要求1所述的方法，该方法由服务器执行，并且该方法还包括：

从客户端接收所述业务问题的预测请求，所述预测请求包括预测样本；

向所述客户端发送预测结果报告，所述预测结果报告包括预测样本的预测结果；以及

从所述客户端接收预测样本的预测执行报告，其中，从所述预测执行报告能够得到预测样本的实际执行结果。

3.根据权利要求2所述的方法，其中，

所述预测请求和所述预测结果报告还包括预测样本的唯一标识符，

所述预测执行报告包括预测样本的唯一标识符和预测样本的实际执行结果，

其中，该方法还包括：

在所述服务器的存储器上保存所述预测请求中的预测样本及其唯一标识符，

其中，所述获取训练样本的步骤包括：

基于预测执行报告中的唯一标识符，确定所述存储器上保存的所述预测样本中与所述唯一标识符对应的预测样本；以及

基于所确定的预测样本的特征及预测执行报告中的实际执行结果，产生所述训练样本。

4.根据权利要求3所述的方法，其中，

所述预测执行报告还包括预测样本针对所述业务问题的实际执行信息。

5.根据权利要求4所述的方法，其中，所述训练样本的特征包括所确定的预测样本的特征及基于所述实际执行信息得到的特征。

6.根据权利要求1所述的方法，其中，所述通过外部预测手段来产生预测样本的预测结果的步骤是通过以下任意一种方式或任意多种方式的结合执行的：

随机产生所述预测结果；

基于关联模型产生所述预测结果；

基于专家规则或业务规则产生所述预测结果。

7.一种针对业务问题获取预测结果的方法，包括：

向服务器发送所述业务问题的预测请求，所述预测请求包括预测样本及预测样本的唯一标识符；

从所述服务器接收所述服务器针对所述业务问题提供的所述预测样本的预测结果报告，所述预测结果报告包括所述预测样本的唯一标识符和所述预测样本的预测结果；以及

向所述服务器发送预测样本之中针对所述业务问题具有实际执行结果的预测样本的预测执行报告，所述预测执行报告包括所述预测样本的实际执行结果。

8.一种针对业务问题提供预测结果的装置，包括：

预测结果生成模块，用于针对业务问题产生预测样本的预测结果；

训练样本获取模块，用于获取训练样本，所述训练样本是基于预测样本之中针对所述业务问题具有实际执行结果的预测样本产生的；以及

预测模型获取模块，用于基于训练样本来获得预测模型，所述预测模型用于针对所述业务问题进行预测，

其中，在获得所述预测模型之前，所述预测结果生成模块通过外部预测手段来产生预测样本的预测结果；在获得所述预测模型之后，所述预测结果生成模块使用所述预测模型来产生预测样本的预测结果。

9.一种针对业务问题获取预测结果的装置，应用于客户端设备，该装置包括：

预测请求发送模块，用于向服务器发送针对所述业务问题的预测请求，所述预测请求包括预测样本及预测样本的唯一标识符；

预测结果报告接收模块，用于从所述服务器接收所述服务器针对所述业务问题提供的所述预测样本的预测结果报告，所述预测结果报告包括所述预测样本的唯一标识符和所述预测样本的预测结果；以及

预测执行报告发送模块，用于向所述服务器发送预测样本之中针对所述业务问题具有实际执行结果的预测样本的预测执行报告，所述预测执行报告包括所述预测样本的实际执行结果。

10.一种针对业务问题进行预测的预测系统，包括服务器和客户端，其中，

所述客户端向服务器发送针对所述业务问题的预测请求，所述预测请求包括预测样本；

所述服务器针对所述业务问题产生针对所述预测样本的预测结果，并向所述客户端发送预测结果报告，所述预测结果报告包括针对所述预测样本产生的预测结果；

所述客户端向所述服务器发送对应于所述预测样本之中针对所述业务问题具有实际执行结果的预测样本的预测执行报告，其中，所述预测执行报告包括对应于所述预测样本的实际执行结果；

所述服务器基于所述预测执行报告获取训练样本，并基于所述训练样本来获得预测模型，所述训练样本是基于所述预测样本的特征及所述业务问题的对应于所述预测样本的预测执行报告中的实际执行结果产生的，所述预测模型用于针对所述业务问题进行预测，

其中，在获得所述预测模型之前，所述服务器通过外部预测手段来产生预测样本的预测结果；在获得所述预测模型之后，所述服务器使用所述预测模型来产生预测样本的预测结果。