CN111723940B - 基于机器学习服务系统提供预估服务的方法、装置及设备 - Google Patents

基于机器学习服务系统提供预估服务的方法、装置及设备 Download PDF

Info

Publication number
CN111723940B
CN111723940B CN202010441566.3A CN202010441566A CN111723940B CN 111723940 B CN111723940 B CN 111723940B CN 202010441566 A CN202010441566 A CN 202010441566A CN 111723940 B CN111723940 B CN 111723940B
Authority
CN
China
Prior art keywords
scheme
model
feature
time sequence
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010441566.3A
Other languages
English (en)
Other versions
CN111723940A (zh
Inventor
郑淇木
章进洲
杨守仁
王冀
石光川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4Paradigm Beijing Technology Co Ltd
Original Assignee
4Paradigm Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4Paradigm Beijing Technology Co Ltd filed Critical 4Paradigm Beijing Technology Co Ltd
Priority to CN202010441566.3A priority Critical patent/CN111723940B/zh
Publication of CN111723940A publication Critical patent/CN111723940A/zh
Application granted granted Critical
Publication of CN111723940B publication Critical patent/CN111723940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本公开实施例公开了一种基于机器学习服务系统提供预估服务的方法、装置及电子设备。其中，所述机器学习服务系统包括：在线系统、近线系统和离线系统，该方法包括：获取离线系统产出的特征工程方案；将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案；将所述第一特征工程子方案上线至在线系统的预估请求接口中执行；将所述第二特征工程子方案分别上线至在线系统的模型预估模块中执行以及上线至近线系统中执行。

Description

基于机器学习服务系统提供预估服务的方法、装置及设备
技术领域
本公开实施例涉及人工智能技术领域，更具体地，涉及一种基于机器学习服务系统提供预估服务的方法，一种基于机器学习服务系统提供预估服务的装置，一种电子设备以及一种计算机可读存储介质。
背景技术
随着大数据、云计算和人工智能等技术的快速发展，有越来越多的业务及场景依赖推荐系统、点击率预估系统等机器学习服务系统从海量数据中挖掘价值。
通常，机器学习服务系统由在线系统、离线系统及近线系统组成。其中，在线系统主要负责对用户的预估请求基于模型进行预测，并将用户的预估请求及后续反馈存储至离线系统和近线系统中。离线系统将所存储的历史预估请求及历史反馈进行拼接得到历史样本，并基于历史样本进行模型调研得到建模方案，其中包括和特征处理相关的特征工程(Feature Engineering，FE)方案及模型训练相关的模型方案。离线系统所得到的FE方案和模型方案会被部署至近线方案进行线上数据的拼接、特征工程及模型的持续更新，离线系统得到的FE方案和近线系统得到的模型会一起被持续部署至在线系统的模型预估模块提供服务。
在上述流程中，FE方案中的“时序特征”有很强的时效性，这一类特征能够反映所建模目标的最新变化，对于最终的建模方案效果至关重要。
对于上述流程，现有技术中所采取的系统架构如图1所示，用户向机器学习服务系统的预估请求接口发起预估请求，并通过反馈上报接口上报预估对应的反馈。预估请求及上报日志被分别传输至离线系统和近线系统中。离线系统根据所得日志得到FE方案及模型方案，这两种方案被部署至近线系统以持续更新模型，并将所得模型及FE方案部署至在线系统以提供预估服务。
但是，上述方案在将FE方案部署至在线系统和近线系统的过程中存在以下问题：一是近线系统中所获得时序特征常常存在数据穿越问题，造成用于训练的样本和用于预测的样本不一致的现象。例如，对于一条t0时刻的样本，当它在在线系统执行FE方案时，由于数据传输延时及其他因素的影响，它只能获取截止到t-1时刻的信息(t-1<t0，两者的差距无法确定，在不同情况下，两者的差距可能在秒级别、分钟级别或者更长时间)。而这条样本在近线系统执行FE方案时，假设执行时刻是t1，若在近线系统直接获取最新的时序特征，则该样本将泄漏[t-1,t1]时间段的信息；若在近线系统尝试获取截止到t0时刻的时序特征，则该样本将泄漏[t-1,t0]时间段内的信息，此外获取系统截止到历史某一时刻的时序特征的实现难度巨大，极易出错。因此，无论近线系统如何执行FE方案，都将面临潜在的时序特征穿越问题。二是包含时序特征的FE方案部署需要对在线系统和近线系统的额外开发。由于离线系统中存储有完整的历史信息，且对于特征的获取可以允许较长的延迟，时序特征的获取难度较低。而在线系统、近线系统对延迟的要求更为苛刻，无法使用离线系统中的方式获取时序特征，此外时序特征有着频繁变动的特性，故为了在较低的延迟下获得正确的时序特征，近线系统及在线系统需要额外编写高效、正确的程序对时序特征进行维护及获取。
因此，有必要对现有技术中存在的上述缺陷进行改进。
发明内容
本公开实施例的一个目的是提供一种基于机器学习服务系统提供预估服务的新的技术方案。
根据本公开实施例的第一方面，提供了一种基于机器学习服务系统提供预估服务的方法，其中，所述机器学习服务系统包括：在线系统、近线系统和离线系统，所述方法包括：
获取离线系统产出的特征工程方案；
将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案；
将所述第一特征工程子方案上线至在线系统的预估请求接口中执行；
将所述第二特征工程子方案分别上线至在线系统的模型预估模块中执行以及上线至近线系统中执行。
可选地，其中，该方法还包括：
获取所述离线系统产出的模型方案，将所述模型方案上线至所述近线系统中执行；其中，所述近线系统中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线系统中的模型预估模块中。
可选地，其中，该方法还包括：
所述在线系统的预估请求接口接收到预估请求后，执行所述第一特征子工程方案得到包含时序特征的预估请求，并发送至所述在线系统的模型预估模块；
所述在线系统的模型预估模块接收到所述包含时序特征的预估请求后，执行第二特征工程子方案，得到非时序特征，整合时序特征和非时序特征得到预估样本，将所述预估样本输入至所述模型中得到预估结果，将预估结果返回所述预估请求接口。
可选地，其中，所述获取离线系统产出的特征工程方案，包括：
获取所述离线系统中的历史预估请求日志和历史反馈日志；
根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。
可选地，其中，所述根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案，包括：
基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索，得到所述特征工程方案。
可选地，其中，所述将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案，包括：
分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系；
将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征，以及，将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
可选地，其中，所述分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系，包括：
通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系。
可选地，其中，所述方法还包括：
从所述在线系统中获取所述包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，得到包含时序特征的训练样本；
在所述近线系统中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型，并将所述模型上线至所述在线系统中的模型预估模块中。
可选地，其中，所述对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，包括：
采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
可选地，其中，所述对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，包括：
采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
可选地，其中，所述方法还包括：
从所述在线系统中获取预设周期内新的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接，得到新的训练样本；基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
可选地，其中，所述方法还包括：
在预设时间间隔从所述在线系统中获取新增的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并基于所述模型方案、新增的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
可选地，其中，所述方法还包括：
从所述在线系统中实时获取新增的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
可选地，其中，所述方法还包括：
接收预估请求；
在所述在线系统的模型预估模块中执行所述预估请求，得到对应的预估结果。
可选地，其中，所述得到对应的预估结果之后，所述方法还包括：
接收基于所述预估结果的预估反馈；
将所述预估请求及对应的预估结果更新至所述离线系统的历史预估请求日志中，以及，将所述预估反馈更新至所述离线系统的历史反馈日志中。
根据本公开实施例的第二方面，提供了一种基于机器学习服务系统提供预估服务的装置，其中，所述机器学习服务系统包括：在线系统、近线系统和离线系统，所述装置包括：
获取模块，用于获取离线系统产出的特征工程方案；
拆分模块，用于将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案；
第一执行模块，用于将所述第一特征工程子方案上线至在线系统的预估请求接口中执行；
第二执行模块，用于将所述第二特征工程子方案分别上线至在线系统的模型预估模块中执行以及上线至近线系统中执行。
可选地，其中，所述获取模块还用于：
获取所述离线系统产出的模型方案，将所述模型方案上线至所述近线系统中执行；其中，所述近线系统中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线系统中的模型预估模块中。
可选地，其中，所述第一执行模块还用于：在所述在线系统的预估请求接口接收到预估请求后，执行所述第一特征子工程方案得到包含时序特征的预估请求，并发送至所述在线系统的模型预估模块；
所述第二执行模块还用于：所述在线系统的模型预估模块接收到所述包含时序特征的预估请求后，执行第二特征工程子方案，得到非时序特征，整合时序特征和非时序特征得到预估样本，将所述预估样本输入至所述模型中得到预估结果，将预估结果返回所述预估请求接口。
可选地，其中，所述获取模块具体用于：
获取所述离线系统中的历史预估请求日志和历史反馈日志；
根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。
可选地，其中，所述获取模块具体用于：
基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索，得到所述特征工程方案。
可选地，其中，所述拆分模块具体用于：
分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系；
将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征，以及，将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
可选地，其中，所述拆分模块具体用于：
通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系。
可选地，其中，所述获取模块还用于：
从所述在线系统中获取所述包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，得到包含时序特征的训练样本；
在所述近线系统中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型，并将所述模型上线至所述在线系统中的模型预估模块中。
可选地，其中，所述获取模块还用于：采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
可选地，其中，所述获取模块还用于：采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
可选地，其中，所述第二执行模块还用于：
从所述在线系统中获取预设周期内新的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接，得到新的训练样本；基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
可选地，其中，所述第二执行模块还用于：
在预设时间间隔从所述在线系统中获取新增的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并基于所述模型方案、新增的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
可选地，其中，所述第二执行模块还用于：
从所述在线系统中实时获取新增的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
可选地，其中，所述装置还包括：
接收模块，用于接收预估请求；
所述第一执行模块还用于：在所述在线系统的模型预估模块中执行所述预估请求，得到对应的预估结果。
可选地，其中，所述接收模块还用于接收基于所述预估结果的预估反馈；
所述装置还包括：更新模块，用于将所述预估请求及对应的预估结果更新至所述离线系统的历史预估请求日志中，以及，将所述预估反馈更新至所述离线系统的历史反馈日志中。
根据本公开实施例的第三方面，提供了一种电子设备，其中，所述电子设备包括如本公开实施例的第二方面中任一项所述的基于机器学习服务系统提供预估服务的装置；或者，
包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如本公开实施例的第一方面中任一项所述的方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据本公开实施例的第一方面中任一项所述的方法。
本公开实施例的一个技术效果在于，能够使机器学习服务系统在无需进行额外开发的情况下快速上线建模方案，并保证训练数据及预估数据的一致性，避免了现有方案中数据穿越的问题。
通过以下参照附图对本公开实施例的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开实施例的实施例，并且连同其说明一起用于解释本公开实施例的原理。
图1示出了现有技术中基于机器学习服务系统提供预估服务的系统架构示意图；
图2是示出了用于实现本公开实施例的电子设备的硬件配置的示意性框图；
图3示出了用于实现本公开实施例中基于机器学习服务系统提供预估服务的系统架构示意图；
图4示出了本公开实施例的基于机器学习服务系统提供预估服务的方法的示意性流程图；
图5示出了本公开实施例的基于机器学习服务系统提供预估服务的装置的示意性结构图；
图6示出了本公开实施例的电子设备的示意性结构图。
具体实施方式
现在将参照附图来详细描述本公开实施例的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开实施例及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
下面，参照附图描述根据本公开实施例的各个实施例和例子。
<硬件配置>
本公开实施例的方法可以由至少一台电子设备实施。图2示出了任意电子设备的硬件结构。图2所示的电子设备可以是便携式电脑、台式计算机、手机、平板电脑等，也可以是任意的具有处理器等计算装置和存储器等存储装置的其他设备，在此不做限定。
如图2所示，该电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100用于执行计算机程序。该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信，具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。电子设备1000可以通过扬声器1700输出语音信息，及可以通过麦克风1800采集语音信息等。
图2所示的电子设备仅仅是说明性的并且决不意味着对本发明、其应用或使用的任何限制。应用于本公开的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以执行本公开任意实施例的基于机器学习服务系统提供预估服务的方法。技术人员可以根据本公开实施例所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
在另外的实施例中，该电子设备1000也可以包括根据本公开任意实施例的基于机器学习服务系统提供预估服务的装置，其中，该装置被设置为执行根据本公开任意实施例的基于机器学习服务系统提供预估服务的方法。
在一个实施例中，提供了一种包括至少一个计算装置和至少一个存储装置的系统，该至少一个存储装置用于存储指令，该指令用于控制该至少一个计算装置执行根据本公开任意实施例的方法。
该系统可以包括至少一台图2中的电子设备1000，以提供至少一个例如是处理器的计算装置和至少一个例如是存储器的存储装置，在此不做限定。
<方法实施例>
本实施例的基于机器学习服务系统提供预估服务的方法具体可以基于如图3所示机器学习服务系统的系统架构，该方法例如可以由如图2中所示的电子设备1000执行。
如图3所示，该机器学习服务系统可以包括：在线系统、近线系统和离线系统。具体地，如图4所示，该方法可以包括如下步骤2100～步骤2400：
步骤2100，获取离线系统产出的特征工程方案。
其中，对于一个机器学习任务来说，特征工程是指基于样本现有的特征创建新特征，以提升模型性能的过程。特征工程方案是指在模型调研中得到的对于给定机器学习任务具有良好效果的一种特征工程方式。
本步骤中，该电子设备1000首先获取所述离线系统中的历史预估请求日志和历史反馈日志；再根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。具体地，该电子设备1000可以基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索及机器学习建模方案探索，从而得到所述特征工程方案及模型方案。
步骤2200，将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案。
具体地，本实施例中，将特征工程方案FE分为了包含时序特征的第一特征工程子方案FE1和不包含时序特征的第二特征工程子方案FE2。其中，时序特征是样本特征取值受样本所处时间点影响的一类特征，例如，当前用户最近浏览的五篇新闻。对于一个用户来说，随着用户的操作，用户的这一特征在不同时间点的取值是不同的。
该电子设备1000通过分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系；从而将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征，以及，将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
需要说明的是，FeQL是一种用于描述FE方案的领域特定语言，描述了特征工程中各特征的产生方式。对于一个确定的FE方案，其对应的FeQL脚本在在线系统中可由在线系统FeQL执行器进行执行，而无需针对FE方案进行额外开发，对于FE方案中的时序特征，FeQL执行器在离线系统将其编译为批处理程序，而在在线系统将其编译为时序数据库查询语句。
因此，在实际应用中，该电子设备1000使用FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系。由于FeQL分析器实现了对FE方案中的时序特征和非时序特征部分的自动拆分，从而可以避免现有方案中针对FE方案进行额外的开发。
步骤2300，将所述第一特征工程子方案上线至在线系统的预估请求接口中执行。
步骤2400，将所述第二特征工程子方案分别上线至在线系统的模型预估模块中执行以及上线至近线系统中执行。
需要说明的是，对于一个机器学习任务产生于t0时刻的训练样本，若其特征中包含了t1时刻才能获取到的信息，其中，t1＞t0，则称该样本存在数据穿越问题，且称该样本特征中泄露了[t0，t1]时间段内的信息。数据穿越问题会导致建模方案效果的退化甚至失效，原因在于训练样本中包含了相对于t1时刻的未来信息，可是该类信息在实际预测时是无法获得的，故在实际预测过程中得到的方案效果常常无法达到或远远差于模型调研时所达到的效果。
而在本实施例中，将FE方案拆分为包含时序特征的第一特征工程子方案FE1和不包含时序特征的第二特征工程子方案FE2，FE1和FE2共同组成了完整的FE方案。在本步骤中，该电子设备1000将FE1方案上线至在线系统的预估请求接口中执行，并可以将执行FE1方案后的样本传输至模型预估模块及近线系统，从而可保证模型预估模块和近线系统所得的时序特征一致。同时，将FE2方案则在模型预估模块及近线系统中分别执行，由于FE2中不包含时序特征，模型预估模块及近线系统中所产生的样本可保证完全一致。从而避免了数据穿越的问题。
此外，可以理解的是，由于在预估请求接口中只执行了FE1方案，即，仅执行FE方案的一部分，因而可以避免在预估请求接口中执行完整的FE方案可能导致的数据传输量过大的问题。
进一步地，在本实施例中，该电子设备1000还可以获取所述离线系统产出的模型方案，将所述模型方案上线至所述近线系统中执行；其中，所述近线系统中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线系统中的模型预估模块中。其中，该模型方案是基于历史预估请求日志和历史反馈日志进行机器学习建模方案探索后得到的。
具体地，该电子设备1000在获取所述离线系统产出的模型方案，将所述模型方案上线至所述近线系统中执行时，还可以从所述在线系统中获取所述包含时序特征的预估请求日志和反馈日志；在所述近线系统中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，得到包含时序特征的训练样本；在所述近线系统中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型，并将所述模型上线至所述在线系统中的模型预估模块中。
其中，所述电子设备1000对所述包含时序特征的预估请求日志和所述反馈日志进行拼接的方式可以包括：采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，即将数据分为若干批进行批量处理。或者，所述电子设备1000对所述包含时序特征的预估请求日志和所述反馈日志进行拼接的方式可以包括：采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，即在数据抵达近线系统时立即与历史数据进行拼接。
进一步地，在本实施例中，用户还可以向该电子设备1000发起预估请求，该电子设备1000可以在所述在线系统的预估请求接口接收到预估请求后，执行所述第一特征子工程方案得到包含时序特征的预估请求，并发送至所述在线系统的模型预估模块；所述在线系统的模型预估模块接收到所述包含时序特征的预估请求后，执行第二特征工程子方案，得到非时序特征，整合时序特征和非时序特征得到预估样本，将所述预估样本输入至所述模型中得到预估结果，将预估结果返回所述预估请求接口。
其中，在近线系统的训练模块中，训练可以基于历史数据批量训练，即定期根据近线系统所得历史数据进行模型训练。即，该电子设备1000可以从所述在线系统中获取预设周期内新的包含时序特征的预估请求日志和反馈日志；在所述近线系统中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接，得到新的训练样本；基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
训练也可基于历史数据和历史模型增量训练，即定期根据近线系统所得历史数据和近线系统所产生的历史模型进行模型训练。即，该电子设备1000可以在预设时间间隔从所述在线系统中获取新增的包含时序特征的预估请求日志和反馈日志；在所述近线系统中对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并基于所述模型方案、新增的训练样本、近线系统中的历史模型和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
训练也可基于上游数据进行流式训练，即持续根据上游产生的数据进行模型训练，对模型进行持续、流式的更新。即，该电子设备1000可以从所述在线系统中实时获取新增的包含时序特征的预估请求日志和反馈日志；在所述近线系统中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
本实施例的方法在实际应用中，该电子设备1000接收到预估请求后，在所述在线系统的模型预估模块中执行所述预估请求，得到对应的预估结果。
为了持续的更新模型方案，进而根据更新后的模型方案更新近线系统中的模型，在得到对应的预估结果之后，该电子设备1000还可以接收基于所述预估结果的预估反馈，该预估反馈是用户基于预估结果提供的反馈，是用户的实际操作，比如，该用户的浏览点击记录、购买行为等。该电子设备1000将所述预估请求及对应的预估结果更新至所述离线系统的历史预估请求日志中，以及，将所述预估反馈更新至所述离线系统的历史反馈日志中。
本实施例的技术方案，基于包括在线系统、近线系统和离线系统的机器学习服务系统实现，通过获取离线系统产出的特征工程方案，将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案，将所述第一特征工程子方案上线至在线系统的预估请求接口中执行，以及，将所述第二特征工程子方案分别上线至在线系统的模型预估模块中执行以及上线至近线系统中执行。能够使机器学习服务系统在无需进行额外开发的情况下快速上线建模方案，并保证训练数据及预估数据的一致性，避免了现有方案中数据穿越的问题。同时，还可以避免在预估请求接口中执行完整FE方案可能导致的数据传输量过大的问题。
<装置实施例>
图5示出了本公开实施例的基于机器学习服务系统提供预估服务的装置的示意性结构图。
其中，所述机器学习服务系统包括：在线系统、近线系统和离线系统。如图5所示，本实施例的基于机器学习服务系统提供预估服务的装置3000可以包括获取模块3100，拆分模块3200，第一执行模块3300和第二执行模块3400。
其中，获取模块3100，用于获取离线系统产出的特征工程方案。
拆分模块3200，用于将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案。
第一执行模块3300，用于将所述第一特征工程子方案上线至在线系统的预估请求接口中执行。
第二执行模块3400，用于将所述第二特征工程子方案分别上线至在线系统的模型预估模块中执行以及上线至近线系统中执行。
在一个例子中，所述获取模块3100还可以用于：获取所述离线系统产出的模型方案，将所述模型方案上线至所述近线系统中执行；其中，所述近线系统中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线系统中的模型预估模块中。
其中，所述获取模块3100具体用于：获取所述离线系统中的历史预估请求日志和历史反馈日志；根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。其中，所述获取模块3100可以基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索，得到所述特征工程方案。
在一个例子中，所述第一执行模块3300还可以用于：在所述在线系统的预估请求接口接收到预估请求后，执行所述第一特征子工程方案得到包含时序特征的预估请求，并发送至所述在线系统的模型预估模块；所述第二执行模块3400还可以用于：所述在线系统的模型预估模块接收到所述包含时序特征的预估请求后，执行第二特征工程子方案，得到非时序特征，整合时序特征和非时序特征得到预估样本，将所述预估样本输入至所述模型中得到预估结果，将预估结果返回所述预估请求接口。
在一个例子中，所述拆分模块3200具体可以用于：分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系；将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征，以及，将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
实际应用中，所述拆分模块3200具体可以通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系。
进一步地，在一个例子中，所述获取模块3100还可以用于：从所述在线系统中获取所述包含时序特征的预估请求日志和反馈日志；在所述近线系统中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，得到包含时序特征的训练样本；在所述近线系统中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型，并将所述模型上线至所述在线系统中的模型预估模块中。
可选地，所述获取模块3100还用于：采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。或者，所述获取模块3100还用于：采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
进一步地，在一个例子中，所述第二执行模块3400还用于：从所述在线系统中获取预设周期内新的包含时序特征的预估请求日志和反馈日志；在所述近线系统中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接，得到新的训练样本；基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
在另一个例子中，所述第二执行模块3400还用于：在预设时间间隔从所述在线系统中获取新增的包含时序特征的预估请求日志和反馈日志；在所述近线系统中对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并基于所述模型方案、新增的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
在又一个例子中，所述第二执行模块3400还用于：从所述在线系统中实时获取新增的包含时序特征的预估请求日志和反馈日志；在所述近线系统中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
进一步地，所述基于机器学习服务系统提供预估服务的装置3000还可以包括：接收模块，用于接收预估请求。相应的，所述第一执行模块3300还用于：在所述在线系统的模型预估模块中执行所述预估请求，得到对应的预估结果。
进一步地，所述接收模块还可以用于接收基于所述预估结果的预估反馈。所述基于机器学习服务系统提供预估服务的装置3000还可以包括：更新模块，用于将所述预估请求及对应的预估结果更新至所述离线系统的历史预估请求日志中，以及，将所述预估反馈更新至所述离线系统的历史反馈日志中。
本实施例的基于机器学习服务系统提供预估服务的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
<设备实施例>
本实施例提供一种电子设备，该电子设备可以包括根据本公开实施例的基于机器学习服务系统提供预估服务的装置3000。
在另一个实施例中，如图6所示，该电子设备4000可以包括存储器4100和处理器4200，所述存储器4100用于存储计算机指令，所述处理器4200用于从所述存储器中调用所述计算机指令，以执行本公开任意方法实施例中的方法。
<存储介质实施例>
本实施例提供了一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的方法。
本公开实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开实施例的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体地例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开实施例的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开实施例的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开实施例的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开实施例的范围由所附权利要求来限定。

Claims (32)

1.一种基于机器学习服务系统提供预估服务的方法，其中，所述机器学习服务系统包括：在线系统、近线系统和离线系统，所述方法包括：
获取离线系统产出的特征工程方案；
将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案；
将所述第一特征工程子方案上线至在线系统的预估请求接口中执行，并将执行所述第一特征工程子方案后的样本传输至在线系统的模型预估模块及近线系统；
将所述第二特征工程子方案分别上线至在线系统的模型预估模块中执行以及上线至近线系统中执行。
2.根据权利要求1所述的方法，其中，该方法还包括：
获取所述离线系统产出的模型方案，将所述模型方案上线至所述近线系统中执行；其中，所述近线系统中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线系统中的模型预估模块中。
3.根据权利要求2所述的方法，其中，该方法还包括：
所述在线系统的预估请求接口接收到预估请求后，执行所述第一特征工程子方案得到包含时序特征的预估请求，并发送至所述在线系统的模型预估模块；
所述在线系统的模型预估模块接收到所述包含时序特征的预估请求后，执行第二特征工程子方案，得到非时序特征，整合时序特征和非时序特征得到预估样本，将所述预估样本输入至所述模型中得到预估结果，将预估结果返回所述预估请求接口。
4.根据权利要求1所述的方法，其中，所述获取离线系统产出的特征工程方案，包括：
获取所述离线系统中的历史预估请求日志和历史反馈日志；
根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。
5.根据权利要求4所述的方法，其中，所述根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案，包括：
基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索，得到所述特征工程方案。
6.根据权利要求1所述的方法，其中，所述将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案，包括：
分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系；
将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征，以及，将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
7.根据权利要求6所述的方法，其中，所述分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系，包括：
通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系。
8.根据权利要求2所述的方法，其中，所述方法还包括：
从所述在线系统中获取所述包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，得到包含时序特征的训练样本；
在所述近线系统中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型，并将所述模型上线至所述在线系统中的模型预估模块中。
9.根据权利要求8所述的方法，其中，所述对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，包括：
采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
10.根据权利要求8所述的方法，其中，所述对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，包括：
采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
11.根据权利要求8所述的方法，其中，所述方法还包括：
从所述在线系统中获取预设周期内新的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接，得到新的训练样本；基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
12.根据权利要求8所述的方法，其中，所述方法还包括：
在预设时间间隔从所述在线系统中获取新增的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并基于所述模型方案、新增的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
13.根据权利要求8所述的方法，其中，所述方法还包括：
从所述在线系统中实时获取新增的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
14.根据权利要求1所述的方法，其中，所述方法还包括：
接收预估请求；
在所述在线系统的模型预估模块中执行所述预估请求，得到对应的预估结果。
15.根据权利要求14所述的方法，其中，所述得到对应的预估结果之后，所述方法还包括：
接收基于所述预估结果的预估反馈；
将所述预估请求及对应的预估结果更新至所述离线系统的历史预估请求日志中，以及，将所述预估反馈更新至所述离线系统的历史反馈日志中。
16.一种基于机器学习服务系统提供预估服务的装置，其中，所述机器学习服务系统包括：在线系统、近线系统和离线系统，所述装置包括：
获取模块，用于获取离线系统产出的特征工程方案；
拆分模块，用于将所述特征工程方案拆分成包含时序特征的第一特征工程子方案和不包含时序特征的第二特征工程子方案；
第一执行模块，用于将所述第一特征工程子方案上线至在线系统的预估请求接口中执行，并将执行所述第一特征工程子方案后的样本传输至在线系统的模型预估模块及近线系统；
第二执行模块，用于将所述第二特征工程子方案分别上线至在线系统的模型预估模块中执行以及上线至近线系统中执行。
17.根据权利要求16所述的装置，其中，所述获取模块还用于：
获取所述离线系统产出的模型方案，将所述模型方案上线至所述近线系统中执行；其中，所述近线系统中基于所述第二特征工程子方案和所述模型方案生成的模型被上线至所述在线系统中的模型预估模块中。
18.根据权利要求17所述的装置，其中，所述第一执行模块还用于：在所述在线系统的预估请求接口接收到预估请求后，执行所述第一特征工程子方案得到包含时序特征的预估请求，并发送至所述在线系统的模型预估模块；
所述第二执行模块还用于：所述在线系统的模型预估模块接收到所述包含时序特征的预估请求后，执行第二特征工程子方案，得到非时序特征，整合时序特征和非时序特征得到预估样本，将所述预估样本输入至所述模型中得到预估结果，将预估结果返回所述预估请求接口。
19.根据权利要求16所述的装置，其中，所述获取模块具体用于：
获取所述离线系统中的历史预估请求日志和历史反馈日志；
根据所述历史预估请求日志和所述历史反馈日志得到所述特征工程方案。
20.根据权利要求19所述的装置，其中，所述获取模块具体用于：
基于所述历史预估请求日志和所述历史反馈日志进行特征工程方案探索，得到所述特征工程方案。
21.根据权利要求16所述的装置，其中，所述拆分模块具体用于：
分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系；
将分析确定的所述特征工程方案中的时序特征和与所述时序特征具有依赖关系的特征确定为所述第一特征工程子方案中的特征，以及，将所述特征工程方案中的其他特征确定为所述第二特征工程子方案中的特征。
22.根据权利要求21所述的装置，其中，所述拆分模块具体用于：
通过FeQL分析器分析所述特征工程方案中的各个特征是否属于时序特征，并分析各个所述特征之间的依赖关系。
23.根据权利要求17所述的装置，其中，所述获取模块还用于：
从所述在线系统中获取所述包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对所述包含时序特征的预估请求日志和所述反馈日志进行拼接，得到包含时序特征的训练样本；
在所述近线系统中基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以生成所述模型，并将所述模型上线至所述在线系统中的模型预估模块中。
24.根据权利要求23所述的装置，其中，所述获取模块还用于：采用批处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
25.根据权利要求23所述的装置，其中，所述获取模块还用于：采用流处理模式对所述包含时序特征的预估请求日志和所述反馈日志进行拼接。
26.根据权利要求23所述的装置，其中，所述第二执行模块还用于：
从所述在线系统中获取预设周期内新的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对预设周期内新的包含时序特征的预估请求日志和反馈日志进行拼接，得到新的训练样本；基于当前所述模型方案、新的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
27.根据权利要求23所述的装置，其中，所述第二执行模块还用于：
在预设时间间隔从所述在线系统中获取新增的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并基于所述模型方案、新增的训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
28.根据权利要求23所述的装置，其中，所述第二执行模块还用于：
从所述在线系统中实时获取新增的包含时序特征的预估请求日志和反馈日志；
在所述近线系统中实时地对新增的包含时序特征的预估请求日志和反馈日志进行拼接，得到新增的训练样本；并实时地基于所述模型方案、训练样本和所述第二特征工程子方案进行训练以更新模型，并将更新后的所述模型上线至所述在线系统中的模型预估模块中。
29.根据权利要求16所述的装置，其中，所述装置还包括：
接收模块，用于接收预估请求；
所述第一执行模块还用于：在所述在线系统的模型预估模块中执行所述预估请求，得到对应的预估结果。
30.根据权利要求29所述的装置，其中，所述接收模块还用于接收基于所述预估结果的预估反馈；
所述装置还包括：更新模块，用于将所述预估请求更新至所述离线系统的历史预估请求日志中，以及，将所述预估反馈更新至所述离线系统的历史反馈日志中。
31.一种电子设备，其中，所述电子设备包括根据权利要求16-30任一项所述的基于机器学习服务系统提供预估服务的装置；或者，
包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如权利要求1-15中任一项所述的方法。
32.一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-15任一项所述的方法。
CN202010441566.3A 2020-05-22 2020-05-22 基于机器学习服务系统提供预估服务的方法、装置及设备 Active CN111723940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010441566.3A CN111723940B (zh) 2020-05-22 2020-05-22 基于机器学习服务系统提供预估服务的方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010441566.3A CN111723940B (zh) 2020-05-22 2020-05-22 基于机器学习服务系统提供预估服务的方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111723940A CN111723940A (zh) 2020-09-29
CN111723940B true CN111723940B (zh) 2023-08-22

Family

ID=72564886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010441566.3A Active CN111723940B (zh) 2020-05-22 2020-05-22 基于机器学习服务系统提供预估服务的方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111723940B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110064205A (zh) * 2019-04-24 2019-07-30 腾讯科技（深圳）有限公司 用于游戏的数据处理方法、设备和介质
CN110188910A (zh) * 2018-07-10 2019-08-30 第四范式（北京）技术有限公司 利用机器学习模型提供在线预测服务的方法及系统
CN110400219A (zh) * 2019-06-14 2019-11-01 阿里巴巴集团控股有限公司 业务处理方法及系统、交易监控方法及系统
CN110489128A (zh) * 2019-08-23 2019-11-22 第四范式（北京）技术有限公司 将特征计算脚本转换成底层程序代码的方法和设备
CN110598953A (zh) * 2019-09-23 2019-12-20 哈尔滨工程大学 一种时空相关的空气质量预测方法
CN110995508A (zh) * 2019-12-23 2020-04-10 中国人民解放军国防科技大学 基于kpi突变的自适应无监督在线网络异常检测方法
CN111125518A (zh) * 2019-12-10 2020-05-08 海尔优家智能科技（北京）有限公司 家电信息推荐的系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286573B2 (en) * 2013-07-17 2016-03-15 Xerox Corporation Cost-aware non-stationary online learning
WO2016201631A1 (en) * 2015-06-17 2016-12-22 Yahoo! Inc. Systems and methods for online content recommendation
US11367149B2 (en) * 2016-01-15 2022-06-21 Carnegie Mellon University Pattern identification in time-series social media data, and output-dynamics engineering for a dynamic system having one or more multi-scale time-series data sets
US10432689B2 (en) * 2016-02-15 2019-10-01 Netflix, Inc. Feature generation for online/offline machine learning
US20170278007A1 (en) * 2016-03-23 2017-09-28 Nec Laboratories America, Inc. Early Warning Prediction System
US20190279042A1 (en) * 2018-03-06 2019-09-12 Tazi Al Systems, Inc. Human understandable online machine learning system
US10762444B2 (en) * 2018-09-06 2020-09-01 Quickpath, Inc. Real-time drift detection in machine learning systems and applications
US11620528B2 (en) * 2018-06-12 2023-04-04 Ciena Corporation Pattern detection in time-series data
US11101043B2 (en) * 2018-09-24 2021-08-24 Zasti Inc. Hybrid analysis framework for prediction of outcomes in clinical trials
US11080564B2 (en) * 2018-09-28 2021-08-03 Microsoft Technology Licensing, Llc Content classification tool with re-classification techniques

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188910A (zh) * 2018-07-10 2019-08-30 第四范式（北京）技术有限公司 利用机器学习模型提供在线预测服务的方法及系统
CN110064205A (zh) * 2019-04-24 2019-07-30 腾讯科技（深圳）有限公司 用于游戏的数据处理方法、设备和介质
CN110400219A (zh) * 2019-06-14 2019-11-01 阿里巴巴集团控股有限公司 业务处理方法及系统、交易监控方法及系统
CN110489128A (zh) * 2019-08-23 2019-11-22 第四范式（北京）技术有限公司 将特征计算脚本转换成底层程序代码的方法和设备
CN110598953A (zh) * 2019-09-23 2019-12-20 哈尔滨工程大学 一种时空相关的空气质量预测方法
CN111125518A (zh) * 2019-12-10 2020-05-08 海尔优家智能科技（北京）有限公司 家电信息推荐的系统及方法
CN110995508A (zh) * 2019-12-23 2020-04-10 中国人民解放军国防科技大学 基于kpi突变的自适应无监督在线网络异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于时间序列模型的变压器油中溶解气体预测;刘慧鑫等;高压电器;第55卷(第12期);第193-199页 *

Also Published As

Publication number Publication date
CN111723940A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
JP7208952B2 (ja) 対話モデルを生成するための方法及び装置
CN110807515A (zh) 模型生成方法和装置
KR20210052410A (ko) 온라인 예측 모델의 트레이닝 방법, 장치, 기기 및 저장 매체
US10656907B2 (en) Translation of natural language into user interface actions
US10976904B2 (en) Graphical chatbot interface facilitating user-chatbot interaction
US11755461B2 (en) Asynchronous consumer-driven contract testing in micro service architecture
US10832150B2 (en) Optimized re-training for analytic models
CN111090756A (zh) 基于人工智能的多目标推荐模型的训练方法及装置
Ularu et al. Mobile Computing and Cloud maturity-Introducing Machine Learning for ERP Configuration Automation.
CN111353601A (zh) 用于预测模型结构的延时的方法和装置
US20220138074A1 (en) Method, electronic device and computer program product for processing data
JP2023530947A (ja) クエリ最適化のための自動フィードバックおよび継続学習
WO2021074736A1 (en) Providing adversarial protection of speech in audio signals
CN112182281B (zh) 一种音频推荐方法、装置及存储介质
KR20230006601A (ko) 정렬 방법, 정렬 모델의 트레이닝 방법, 장치, 전자 기기 및 매체
CN111723940B (zh) 基于机器学习服务系统提供预估服务的方法、装置及设备
US11604928B2 (en) Efficiently managing predictive changes for a conversational agent
US20170208446A1 (en) Data usage recommendation generator
US20190303770A1 (en) Architectural composite service solution builder
CN116107867A (zh) 数据测试链路确定方法、交互方法、测试数据方法及系统
US20220189475A1 (en) Dynamic virtual assistant speech modulation
CN112395490B (zh) 用于生成信息的方法和装置
CN114077664A (zh) 机器学习平台中的文本处理方法、装置及设备
CN111767316A (zh) 目标任务处理方法、装置及电子设备
CN114167731B (zh) 污水采样器的远程控制方法及污水处理控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant