CN110717597A - 利用机器学习模型获取时序特征的方法和装置 - Google Patents

Abstract

提供了一种利用机器学习模型获取时序特征的方法和装置。所述方法包括：获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果；按照所述待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型；基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。

Description

利用机器学习模型获取时序特征的方法和装置

技术领域

本申请要求申请号为201810671327.X，申请日为2018年6月26日，名称为“利用机器学习模型获取时序特征的方法和装置”的中国专利申请的优先权。本申请总体说来涉及人工智能领域，更具体地讲，涉及一种利用机器学习模型获取时序特征的方法和装置、以及执行机器学习处理的方法和系统。

背景技术

随着海量数据的出现，人工智能技术迅速发展，而机器学习是人工智能发展到一定阶段的必然产物，其致力于通过计算的手段，从大量数据中挖掘有价值的潜在信息。

在机器学习领域，往往通过将经验数据提供给机器学习算法来训练机器学习模型以确定构成机器学习模型的理想参数，而训练好的机器学习模型可被应用于在面对新的预测数据时提供相应的预测结果。很多经典算法的机器学习模型往往都基于静态数据模型，即，假设数据之间没有顺序，都按照同一个概率分布随机生成，导致数据本身的时序性并未被模型考虑。然而，在应用机器学习的实际场景中，数据往往呈流式源源不断地产生，与时序性相关的特征非常重要(例如，用户近期的持续消费行为等)，虽然目前已经存在一些提取数据中的时序特征的方法，但是其通常采用人为设计时间窗进行统计等方法来获得时序特征，而这些方法不仅需要操作者了解机器学习技术，还需要具备相关具体业务的专家知识，需投入大量的人力和计算资源，从而导致使用这些方法的门槛较高并且提取时序特征的代价较大。此外，此类方法每更换一个应用场景就需要结合该应用场景进行重新设计相应的规则，而且即使耗费了大量的人力，按照此类方法获得的时序特征也难以有效地反映真实的流式数据的时序信息，从而导致预测效果不理想。

发明内容

根据本申请示例性实施例，提供了一种利用机器学习模型获取时序特征的方法，所述方法可包括：获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果；按照所述待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型；基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。

可选地，所述方法还可包括：监测按时序流入的待处理数据的分布状态变化；根据监测结果，设置用于更新所述机器学习模型的超参数。可选地，更新所述机器学习模型的步骤可包括：基于设置的超参数，利用所述训练数据来更新所述机器学习模型。

可选地，设置用于更新所述机器学习模型的超参数的步骤可包括：在根据监测结果确定出现了超出阈值的分布状态变化的情况下，全部重新设置用于更新所述机器学习模型的超参数，以替代当前用于更新所述机器学习模型的超参数；在根据监测结果确定未出现超出阈值的分布状态变化的情况下，部分地调整当前用于更新所述机器学习模型的超参数。

可选地，监测步骤可包括：监测按时序流入的待处理数据的分布状态和/或所述机器学习模型的模型效果。

可选地，所述方法还可包括：根据监测到的分布状态和/或模型效果来选取所述至少一部分具有真实结果的待处理数据。

可选地，在所述方法中，与当前更新的所述机器学习模型的至少一个模型参数相关的参数项可包括模型参数本身、模型参数之间的运算结果和/或在所述机器学习模型的更新过程中模型参数的统计信息。

可选地，所述机器学习模型可包括多个机器学习模型，并且每个机器学习模型的算法类型可以相同或不同。

可选地，所述待处理数据是内容推荐、信用卡欺诈检测、异常行为检测、用户兴趣提取或精准营销场景下产生的具有时序性的数据。

可选地，在内容推荐场景下，所述待处理数据包括与内容运营商期望推荐给用户的候选推荐内容相关的数据，以及内容运营商在App运行期间从用户设备不断获取的用户历史操作数据和/或与用户相关的数据。

可选地，所述待处理数据是如下任一场景中产生的具有时序性的数据：

图像处理场景；

语音识别场景；

自然语言处理场景；

自动控制场景；

智能问答场景；

业务决策场景；

推荐业务场景；

搜索场景；

异常行为检测场景。

可选地，

所述图像处理场景包括：光学字符识别OCR、人脸识别、物体识别和图片分类；

所述语音识别场景包括：可通过语音进行人机交互的产品；

所述自然语音处理场景包括：审查文本、垃圾内容识别和文本分类；

所述自动控制场景包括：矿井组调节操作预测、风力发电机组调节操作预测和空调系统调节操作预测；

所述智能问答场景包括：聊天机器人和智能客服；

所述业务决策场景包括：金融科技领域、医疗领域和市政领域的场景，其中，金融科技领域包括：营销与获客、反欺诈、反洗钱、承保和信用评分，医疗领域包括：疾病筛查和预防、个性化健康管理和辅助诊断，市政领域包括：社会治理与监管执法、资源环境和设施管理、产业发展和经济分析、公众服务和民生保障和智慧城市；

所述推荐业务场景包括：新闻、广告、音乐、咨询、视频和金融产品的推荐；

所述搜索场景，包括：网页搜索、图像搜索、文本搜索、视频搜索；

所述异常行为检测场景，包括：国家电网客户用电异常行为检测、网络恶意流量检测和操作日志中的异常行为检测。

根据本申请另一示例性实施例，提供了一种执行机器学习处理的方法，所述方法可包括：按照上述方法利用机器学习模型获取时序特征；生成与所述当前待处理数据相应的机器学习样本，其中，所述机器学习样本包括所述时序特征。

可选的，所述方法还可包括：利用其他机器学习模型针对所述机器学习样本执行预测，或者利用所述机器学习样本来训练所述其他机器学习模型，其中，所述其他机器学习模型与所述机器学习模型所针对的预测目标相同。

可选地，在所述方法中，所述机器学习样本的特征还可包括：所述训练数据基于时间窗的统计信息。

根据本申请另一示例性实施例，提供了一种用于利用机器学习模型获取时序特征的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行上述利用机器学习模型获取时序特征的方法的计算机程序。

根据本申请另一示例性实施例，提供了一种利用机器学习模型获取时序特征的计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，促使处理器执行上述利用机器学习模型获取时序特征的方法。

根据本申请另一示例性实施例，提供了一种用于执行机器学习处理的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行上述执行机器学习处理的方法的计算机程序。

根据本申请另一示例性实施例，提供了一种执行机器学习处理的计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，促使处理器执行上述执行机器学习处理的方法。

根据本申请另一示例性实施例，提供了一种利用机器学习模型获取时序特征的装置，所述装置可包括：数据获取单元，被配置为获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果；机器学习模型更新单元，被配置为按照所述待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型；时序特征获取单元，被配置为基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。

可选的，所述装置还可包括：监测单元，被配置为监测按时序流入的待处理数据的分布状态变化；超参数设置单元，被配置为根据监测结果，设置用于更新所述机器学习模型的超参数，其中，机器学习模型更新单元可被配置为基于设置的超参数，利用所述训练数据来更新所述机器学习模型。

可选地，超参数设置单元可被配置为：在根据监测结果确定出现了超出阈值的分布状态变化的情况下，全部重新设置用于更新所述机器学习模型的超参数，以替代当前用于更新所述机器学习模型的超参数；在根据监测结果确定未出现超出阈值的分布状态变化的情况下，部分地调整当前用于更新所述机器学习模型的超参数。

可选的，监测单元可被配置为监测按时序流入的待处理数据的分布状态和/或所述机器学习模型的模型效果。

可选地，所述装置还可包括：数据选取单元，被配置为根据监测到的分布状态和/或模型效果来选取所述至少一部分具有真实结果的待处理数据。

可选地，与当前更新的所述机器学习模型的模型参数相关的参数项可包括模型参数本身、模型参数之间的运算结果和/或在所述机器学习模型的更新过程中模型参数的统计信息。

可选地，所述机器学习模型可包括多个机器学习模型，并且每个机器学习模型的算法类型可相同或不同。

可选地，所述待处理数据是内容推荐、信用卡欺诈检测、异常行为检测、用户兴趣提取或精准营销场景下产生的具有时序性的数据。

可选地，在内容推荐场景下，所述待处理数据包括与内容运营商期望推荐给用户的候选推荐内容相关的数据，以及内容运营商在App运行期间从用户设备不断获取的用户历史操作数据和/或与用户相关的数据。

可选地，所述待处理数据是如下任一场景中产生的具有时序性的数据：

图像处理场景；

语音识别场景；

自然语言处理场景；

自动控制场景；

智能问答场景；

业务决策场景；

推荐业务场景；

搜索场景；

异常行为检测场景。

可选地，

所述图像处理场景包括：光学字符识别OCR、人脸识别、物体识别和图片分类；

所述语音识别场景包括：可通过语音进行人机交互的产品；

所述自然语音处理场景包括：审查文本、垃圾内容识别和文本分类；

所述自动控制场景包括：矿井组调节操作预测、风力发电机组调节操作预测和空调系统调节操作预测；

所述智能问答场景包括：聊天机器人和智能客服；

所述业务决策场景包括：金融科技领域、医疗领域和市政领域的场景，其中，金融科技领域包括：营销与获客、反欺诈、反洗钱、承保和信用评分，医疗领域包括：疾病筛查和预防、个性化健康管理和辅助诊断，市政领域包括：社会治理与监管执法、资源环境和设施管理、产业发展和经济分析、公众服务和民生保障和智慧城市；

所述推荐业务场景包括：新闻、广告、音乐、咨询、视频和金融产品的推荐；

所述搜索场景，包括：网页搜索、图像搜索、文本搜索、视频搜索；

所述异常行为检测场景，包括：国家电网客户用电异常行为检测、网络恶意流量检测和操作日志中的异常行为检测。

根据本申请另一示例性实施例，提供了一种执行机器学习处理的系统，所述系统可包括：上述利用机器学习模型获取时序特征的装置；机器学习样本生成装置，被配置为生成与所述当前待处理数据相应的机器学习样本，其中，所述机器学习样本包括所述时序特征。

可选地，所述系统还可包括：预测装置，被配置为利用其他机器学习模型针对所述机器学习样本执行预测；或者，训练装置，被配置为利用所述机器学习样本来训练所述其他机器学习模型，其中，所述其他机器学习模型与所述机器学习模型所针对的预测目标相同。

可选地，所述机器学习样本的特征还可包括：所述训练数据基于时间窗的统计信息。

根据本申请示例性实施例的利用机器学习模型获取时序特征的方法和装置可不断更新机器学习模型，并基于与当前更新的机器学习模型的模型参数相关的参数项来获取时序特征，从而能够不断利用机器学习模型本身来获取可更加准确客观的反映数据的时序信息的时序特征，同时，能够降低机器学习过程中的人力成本。

根据本申请示例性实施例的执行机器学习处理的方法和系统由于可有效地利用按照上述方式获取的时序特征，因此，可提高后续机器学习模型在包括所述时序特征的机器学习样本上的预测效果(例如，预测准确率)。

附图说明

从下面结合附图对本申请实施例的详细描述中，本申请的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：

图1是示出根据本申请示例性实施例的利用机器学习模型获取时序特征的装置的框图；

图2是示出根据本申请另一示例性实施例的利用机器学习模型获取时序特征的装置的框图；

图3是示出根据本申请示例性实施例的执行机器学习处理的系统的框图；

图4是示出根据本申请示例性实施例的利用机器学习模型获取时序特征的方法的流程图；

图5是示出根据本申请示例性实施例的执行机器学习处理的方法的流程图；

图6是示出根据本申请示例性实施例的包括执行机器学习处理的系统的推荐网络的示意图。

具体实施方式

为了使本领域技术人员更好地理解本申请，下面结合附图和具体实施方式对本申请的示例性实施例作进一步详细说明。

图1是示出根据本申请示例性实施例的利用机器学习模型获取时序特征的装置(在下文中，为描述方便，将其简称为时序特征获取装置)100的框图。参照图1，时序特征获取装置100可包括数据获取单元110、机器学习模型更新单元120和时序特征获取单元130。

具体说来，数据获取单元110可获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果。这里，待处理数据可以是按时序流入的流式数据，数据获取单元110可不断获取从外部数据源(例如，内容运营商)按照流传输方式流入的待处理数据，或一次性或分批次地从外部数据源流入的待处理数据。例如，这里的待处理数据可以是与内容运营商期望推荐给用户的候选推荐内容相关的数据，然而，待处理数据不限于此，而是可以是任何种类的数据源不断产生的数据，或任何种类的数据获取装置不断获取的数据(例如，内容运营商在App运行期间从用户设备不断获取的用户历史操作数据等)，此外，这样的数据中还可包括与用户相关的数据(例如，用户ID、年龄、性别等)。数据获取单元110除可获取按时序流入的待处理数据之外，还可在待处理数据具有真实结果的情况下获取待处理数据的真实结果。这里，真实结果可以是待处理数据关于预测目标的真实标记(label)信息。例如，待处理数据的真实结果可以是关于与待处理数据对应的候选推荐内容在被实际推荐给用户设备之后是否被用户接受的真实反馈。“待处理数据具有真实结果”表明该待处理数据关于预测目标的真实标记信息已经能够被获知(例如，内容运营商已经从用户设备获得了关于实际推荐的候选推荐内容在被推荐之后是否被用户接受的真实反馈，例如，用户点击了其推荐的内容可指示用户接受了该推荐内容)，在这种情况下，数据获取单元110可获取待处理数据的真实结果。另外，需要说明的是，待处理数据的获取与在待处理数据具有真实结果的情况下所述真实结果的获取可以不是同时进行的，例如，待处理数据的真实结果的获取可滞后于待处理数据的获取。也就是说，数据获取单元110可一方面持续获取不断按时序流入的待处理数据，另一方面也相应地获取各个待处理数据的真实结果，为此，外部数据源可在提供待处理数据之后，以适当的方式仅提供待处理数据相应的真实结果，或者，外部数据源也可在提供待处理数据之后，完整地提供待处理数据及其真实结果。应注意，本发明的示例性实施例对数据获取单元110获取待处理数据及其真实结果的具体方式并不加以限制，即，数据获取单元110可通过适当的接收、提取和/或拼接处理来获取待处理数据和/或待处理数据的真实结果。

在本发明的实施例中，在推荐场景下，数据获取单元110获取的待处理数据可以包括前面提到的“与内容运营商期望推荐给用户的候选推荐内容相关的数据”，以及还可以包括：“内容运营商在App运行期间从用户设备不断获取的用户历史操作数据”和/或“与用户相关的数据”。

在本发明的实施例中，数据获取单元110获取的待处理数据也可以是信用卡欺诈检测、异常行为检测、用户兴趣提取或精准营销场景下产生的具有时序性的数据。

进一步地，在本发明的实施例中，数据获取单元110获取的待处理数据可以是具有时序性的任何数据，具体地产生具有时序性的数据的场景包括但不限于以下场景：

图像处理场景，包括：光学字符识别OCR、人脸识别、物体识别和图片分类；更具体地举例来说，OCR可应用于票据(如发票)识别、手写字识别等，人脸识别可应用安防等领域，物体识别可应用于自动驾驶场景中的交通标志识别，图片分类可应用于电商平台的“拍照购”、“找同款”等。

语音识别场景，包括可通过语音进行人机交互的产品，如手机的语音助手(如苹果手机的Siri)、智能音箱等；

自然语言处理场景，包括：审查文本(如合同、法律文书和客服记录等)、垃圾内容识别(如垃圾短信识别)和文本分类(情感、意图和主题等)；

自动控制场景，包括：矿井组调节操作预测、风力发电机组调节操作预测和空调系统调节操作预测；具体的对于矿井组可预测开采率高的一组调节操作，对于风力发电机组可预测发电效率高的一组调节操作，对于空调系统，可以预测满足需求的同时节省能耗的一组调节操作；

智能问答场景，包括：聊天机器人和智能客服；

业务决策场景，包括：金融科技领域、医疗领域和市政领域的场景，其中：

金融科技领域包括：营销(如优惠券使用预测、广告点击行为预测、用户画像挖掘等)与获客、反欺诈、反洗钱、承保和信用评分、商品价格预测；

医疗领域包括：疾病筛查和预防、个性化健康管理和辅助诊断；

市政领域包括：社会治理与监管执法、资源环境和设施管理、产业发展和经济分析、公众服务和民生保障、智慧城市(公交、网约车、共享单车等各类城市资源的调配和管理)；

推荐业务场景，包括：新闻、广告、音乐、咨询、视频和金融产品(如理财、保险等)的推荐；

搜索场景，包括：网页搜索、图像搜索、文本搜索、视频搜索等；

异常行为检测场景，包括：国家电网客户用电异常行为检测、网络恶意流量检测、操作日志中的异常行为检测等。

数据获取单元110获取的待处理数据，根据特定场景和该特定场景下的不同预测目标来确定。例如，在业务决策这一场景分类下，以商品价格预测为例，待处理数据是在不同时间点/段的关于商品的数据，如商品本身的属性、季节、天气、库存量、竞品情况等相关数据，真实结果是在相应时间点/时间段的商品实际价格。又例如，以预测网约车订单分布为例，待处理数据可以是不同地点在不同时间点/段的相关数据，如地理位置属性(商圈、写字楼、学校、住宅区等)、天气情况、公共交通数量等，真实结果可以是在相应时间点/段产生约车订单的数量。

机器学习模型更新单元120可按照待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型。这里，至少一部分具有真实结果的待处理数据可以是最新获取的具有真实结果的待处理数据，或者可以是获取的具有真实结果的全部待处理数据，或者可以包括最新获取的具有真实结果的待处理数据以及在最新获取的具有真实结果的待处理数据之前获取的具有真实结果的部分待处理数据。例如，假设按时序流入的待处理数据依次是数据块1、数据块2、数据块3和数据块4(这里，每个数据块可包括至少一个数据)，则按照待处理数据的时序，在数据块1具有真实结果的情况下(即，数据获取单元110获取到数据块1的真实结果的情况下)，机器学习模型更新单元120可首先利用基于具有真实结果的数据块1形成的训练数据来更新机器学习模型，随后，在数据获取单元110又获取到数据块2的真实结果的情况下，机器学习模型更新单元120可继续利用基于具有真实结果的数据块2形成的训练数据来更新机器学习模型，或者，也可利用基于具有真实结果的数据块1和数据块2形成的训练数据来更新机器学习模型。后续，在数据获取单元110又获取到数据块3的真实结果的情况下，机器学习模型更新单元120可利用基于具有真实结果的数据块3形成的训练数据来更新机器学习模型，或者，可利用基于具有真实结果的数据块1、数据块2和数据块3形成的训练数据来更新机器学习模型，或者还可利用基于具有真实结果的数据块2和数据块3形成的训练数据来更新机器学习模型。从以上示例可知，事实上，在本申请示例性实施例中，按照待处理数据的时序，机器学习模型可被不断地更新。

此外，在利用训练数据更新机器学习模型时，例如，可利用随机梯度下降(SGD)算法来确定使机器学习模型在训练数据上的损失函数最小化时机器学习模型的模型参数，从而得到更新的机器学习模型的模型参数。然而，利用训练数据更新机器学习模型所采用的算法不限于SGD，而是还可使用任何一种基于训练数据来训练机器学习模型以确定模型参数的机器学习算法。

时序特征获取单元130可基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。例如，依然按照上述待处理数据的时序假设(即，待处理数据按照数据块1至数据块4的顺序依次按时序流入)，在这种情况下，如果当前待处理数据是数据块3，则当前更新的所述机器学习模型可以是以上提及的利用基于具有真实结果的数据块2形成的训练数据更新的机器学习模型，或者，也可以是利用基于具有真实结果的数据块1和数据块2形成的训练数据更新的机器学习模型。作为另一示例，如果当前待处理数据是例如数据块4，则当前更新的所述机器学习模型可以是以上提及的利用基于具有真实结果的数据块3形成的训练数据更新的机器学习模型，或者，可以是利用基于具有真实结果的数据块1、数据块2和数据块3形成的训练数据更新的机器学习模型，或者可以是利用基于具有真实结果的数据块2和数据块3形成的训练数据更新的机器学习模型。在当前更新的机器学习模型被确定的情况下，时序特征提取单元130可基于与更新的机器学习模型的至少一个模型参数相关的参数项获取与当前待处理数据(例如，数据块4)相应的时序特征。也就是说，当前更新的机器学习模型可以是利用基于在当前待处理数据之前出现的具有真实结果的一部分待处理数据形成的训练数据更新的机器学习模型。

此外，作为示例，与当前更新的所述机器学习模型的至少一个模型参数相关的参数项可包括模型参数本身、模型参数之间的运算结果和/或在所述机器学习模型的更新过程中模型参数的统计信息。例如，模型参数之间的运行结果可以是同一机器学习模型的多个模型参数之间执行预定运算(例如，求和、求均值等)之后的运算结果。除了可以利用更新后的机器学习模型的模型参数和/或模型参数之间的运算结果作为时序特征之外，可选地，由于在机器学习模型的更新过程中，机器学习模型的参数不断地变化，因此，也可以利用机器学习模型的更新过程中模型参数的统计信息作为时序特征。具体地，在所述机器学习模型的更新过程中模型参数的统计信息可以是例如在机器学习模型更新过程中至少一个模型参数的均值、方差、标准差等，但不限于此。

根据示例性实施例，时序特征整体可被表示为特征向量，其中，特征向量中的每个维度(以下为方便描述，简称为时序特征分量)可对应于机器学习模型的一个特征参数。在时序特征分量对应的特征是连续特征的情况下，该时序特征分量可通过将该连续特征的取值本身与该连续特征对应的模型参数执行预定运算来获取。例如，如果机器学习模型是LR(逻辑回归)机器学习模型并且连续特征为年龄，则时序特征中与年龄这一连续特征对应的时序特征分量可通过将年龄大小(例如，18岁)与年龄这一连续特征对应的模型参数(即，年龄这一连续特征对应的权重)相乘来获得。在时序特征分量对应的特征是离散特征的情况下，如果该离散特征具有一维离散值，则可将该离散特征对应的模型参数本身直接作为与该离散特征对应的时序特征分量，而如果该离散特征具有多维离散值，则可将与该离散特征的各个维度对应的模型参数执行预定运算(例如，加和、平均、取最大值等)之后的结果作为与该离散特征对应的时序特征分量。例如，如果机器学习模型是LR机器学习模型并且离散特征为“主题＝体育”，则与“主题＝体育”对应的时序特征分量可以是与“主题＝体育”对应的模型参数本身，而如果离散特征为“主题＝体育、明星”，则与“主题＝体育、明星”对应的时序特征分量可以是将与“主题＝体育”对应的模型参数和与“主题＝明星”对应的模型参数执行预定运算之后的结果。需要说明的是，以上提及的时序特征表示或计算方式仅是示例，时序特征的具体表示或计算方式可根据机器学习模型的不同而不同。

另外，以上提及的机器学习模型既可以是单个机器学习模型(任何机器学习模型)，也可以是多个机器学习模型，并且每个机器学习模型的算法类型可以相同或不同。例如，机器学习模型既可以是单个逻辑回归(LR)机器学习模型，也可以是多个LR机器学习模型，或者可以是包括LR机器学习模型和其他机器学习模型(例如，分解机(FM)、支持向量机(SVM)、深度神经网络等)的多个机器学习算法类型彼此不同的机器学习模型。在以上提及的机器学习模型是多个机器学习模型的情况下，与当前更新的机器学习模型的至少一个模型参数相关的参数项也可以是不同机器学习模型的模型参数之间的运算结果。此外，当机器学习模型是多个机器学习模型的情况下，时序特征获取单元130获取的时序特征可以是将利用所述多个机器学习模型中的每个机器学习模型获取的时序特征进行拼接之后的结果。

如上所述，根据示例性实施例的时序特征提取装置100可不断地获取流式待处理数据，并按照待处理数据的时序不断利用具有真实结果的一部分待处理数据形成的训练数据来更新机器学习模型，从而始终能够利用机器学习模型本身来获取与当前待处理数据相应的时序特征，使得时序特征的获取不再依赖于专家知识或专业技术人员对各个场景的深入理解，而且按照以上方式获取的时序特征往往比人为通过统计方式等获取的时序特征更能够客观准确地反映待处理数据的时序信息。此外，以上描述的获取时序特征的方式由于通过机器学习模型本身来获取时序特征，因而可大大降低人力消耗，并且这样的时序特征获取方式也不受特定机器学习场景的限制，而是可广泛应用于任何机器学习场景。

图2是示出根据本申请另一示例性实施例的利用机器学习模型获取时序特征的装置(在下文中，为描述方便，简称为时序特征获取装置)200的框图。

参照图2，与图1的时序特征获取装置100相比，图2的时序特征获取装置200除包括数据获取单元210、机器学习模型更新单元220和时序特征获取单元230之外，还包括监测单元240和超参数设置单元250。图2的数据获取单元210、机器学习模型更新单元220和时序特征获取单元230可分别相应于图1的数据获取单元110、机器学习模型更新单元120和时序特征获取单元130，因此，参照图1关于数据获取单元110、机器学习模型更新单元120和时序特征获取单元130的描述同样适用于图2的相应单元，这里不再赘述。以下，将重点描述图2的监测单元240和超参数设置单元250。

如上参照图1所述，数据获取单元210可获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果。监测单元240可监测按时序流入的待处理数据的分布状态变化。例如，分布状态变化可包括待处理数据的联合概率分布变化。具体地，监测单元240可监测按时序流入的待处理数据的分布状态和/或所述机器学习模型的模型效果，以确定按时序流入的待处理数据的分布状态变化。这里，待处理数据的分布状态可指待处理数据及其真实结果的概率分布状态。例如，在待处理数据具有真实结果的情况下，数据获取单元210可获取待处理数据的真实结果，在这种情况下，监测单元240可计算待处理数据及其真实结果的概率分布状态，从而据此确定按时序流入的待处理数据的分布状态变化。此外，如上参照图1所述，机器学习模型更新单元220可按照所述待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新机器学习模型。相应地，待处理数据的分布状态的变化通常会导致先前更新出的机器学习模型在效果方面变得较差，因此，也可以通过监测机器学习模型的模型效果来监测待处理数据的分布状态变化。例如，上述机器学习模型的模型效果可以是机器学习模型更新过程中机器学习模型在基于至少一部分具有真实结果的待处理数据形成的训练数据上的模型效果(例如，模型准确率等)。例如，在机器学习模型更新过程中，监测单元240可将机器学习模型针对待处理数据的预测结果与其真实结果进行比较来确定模型效果，从而根据模型效果变化来确定待处理数据的分布状态变化。或者，可选地，监测单元240也可监测按时序流入的待处理数据的分布状态和机器学习模型的模型效果两者，从而可综合分析上述两者来更准确地确定按时序流入的待处理数据的分布状态变化。随后，监测单元240的监测结果可被用于设置用于更新机器学习模型的超参数。

在该示例性实施例中，超参数设置单元250可根据监测单元240的监测结果设置用于更新机器学习模型的超参数。具体而言，在根据监测结果确定出现了超出阈值的分布状态变化的情况下，超参数设置单元250可全部重新设置用于更新机器学习模型的超参数，以替代当前用于更新机器学习模型的超参数。这里，重新设置用于更新机器学习模型的超参数可以是例如根据监测到的分布状态、模型效果以及机器学习模型的算法类型等将当前用于更新所述机器学习模型的超参数全部重新设置为新的值。然而，在根据监测结果确定未出现超出阈值的分布状态变化的情况下，超参数设置单元250可部分地调整当前用于更新所述机器学习模型的超参数。例如，超参数设置单元250可通过评估机器学习模型在训练数据上的模型效果来调整机器学习模型的超参数。这里，所述阈值可由用户根据实际机器学习场景进行设置。此外，这里的超参数可以是例如学习率、正则项、深度神经网络隐藏层数等，但不限于此，而是可以是影响机器学习模型学习的任何一种超参数。

在超参数设置单元250设置了用于更新机器学习模型的超参数的情况下，机器学习模型更新单元220可基于设置的超参数，利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新机器学习模型。

另外，监测单元240监测到的按时序流入的待处理数据的分布状态和/或机器学习模型的模型效果除了可用于监测按时序流入的待处理数据的分布状态变化以便于超参数设备单元250可根据监测结果设置用于更新机器学习模型的超参数之外，其还可用于选取所述至少一部分具有真实结果的待处理数据。例如，根据另一示例性实施例，时序特征获取装置200还可包括数据选取单元(未示出)。数据选取单元可根据监测单元240监测到的分布状态和/或模型效果来选取所述至少一部分具有真实结果的待处理数据，从而确定用于机器学习模型更新的训练数据。具体地，例如，如果分布状态发生很大的变化和/或模型效果降低较多，则需要选取的所述至少一部分具有真实结果的待处理数据的量较多，而如果分布状态发生较小的变化和/或模型效果降低较少，则需要选取的所述至少一部分具有真实结果的待处理数据的量可以较少。例如，如以上参照图1所述，在数据获取单元110获取到数据块2的真实结果的情况下，机器学习模型更新单元120可利用基于具有真实结果的数据块2形成的训练数据来更新机器学习模型，或者，也可利用基于具有真实结果的数据块1和数据块2形成的训练数据来更新机器学习模型。此时，数据选取单元便可根据监测单元240监测到的分布状态和/或模型效果来选取所述至少一部分具有真实结果的待处理数据，即，在以上示例中，是选择具有真实结果的数据块2作为所述至少一部分具有真实结果的待处理数据，还是选择具有真实结果的数据块1和数据块2两者作为所述至少一部分具有真实结果的待处理数据。例如，如果根据监测到的分布状态的变化程度较大和/或模型效果的下降程度较大，则可选择具有真实结果的数据块1和数据块2两者作为所述至少一部分具有真实结果的待处理数据，而如果根据监测到的分布状态的变化程度相对较小和/或模型效果的下降程度相对较小，则可选择具有真实结果的数据块2作为所述至少一部分具有真实结果的待处理数据。至于如何确定分布状态的变化程度和模型效果的下降程度，实际中，可针对分布状态的变化程度和模型效果的下降程度分别设置相应的阈值，并通过将监测结果与阈值进行比较来确定分布状态的变化程度和模型效果的下降程度。此外，在确定所述至少一部分具有真实结果的待处理数据时，除考虑监测到的分布状态和/或模型效果之外，还可考虑机器学习模型的算法类型，这是因为，不同算法类型的机器学习模型进行机器学习模型训练所需要的训练数据量会存在一定差异。

与图1的时序特征获取单元130相同，时序特征获取单元230可基于与当前更新的机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征，关于时序特征获取单元130的任何描述(例如，关于当前更新的机器学习模型的描述、关于参数项的描述等)同样适用于时序特征获取单元230，这里不再赘述。

如上所述，根据本申请示例性实施例的时序特征获取装置200由于可持续监测按时序流入的待处理数据的分布状态变化，根据监测结果设置用于更新所述机器学习模型的超参数，并基于设置的超参数利用训练数据来不断更新机器学习模型，由于根据分布状态变化在超参数的更新下不断进行机器学习模型的更新，所以按照这种方式获取的时序特征相较图1所述的时序特征获取装置获取的时序特征能够更加准确地反映待处理数据的时序信息，即使在数据分布出现变动的情况下，也能够提供较好的机器学习效果。

图3是示出根据本申请示例性实施例的执行机器学习处理的系统(在下文中，为描述方便，将其简称为机器学习系统)300的框图。

参照图3，机器学习系统300可包括时序特征获取装置310和机器学习样本生成装置320。这里，时序特征获取装置310可以是参照图1所述的时序特征获取装置100或参照图2所述的时序特征获取装置200，因此，参照图1和图2关于时序特征获取装置的任何描述同样适用于这里的时序特征获取装置310，这里不再赘述。

机器学习样本生成装置320可生成与参照图1或图2所述的当前待处理数据相应的机器学习样本，这里，所述机器学习样本可包括由时序特征获取装置310利用机器学习模型获取的时序特征。这里，根据后续将该机器学习样本用于模型训练还是模型预测，所述机器学习样本可以是训练样本(在有监督机器学习的情况下，该机器学习样本需包括相应的标记)或预测样本。通过在机器学习样本中包括如上所述的时序特征，当该机器学习样本被用于后续的机器学习时，可进一步提高后续机器学习模型的效果。

例如，在推荐场景下，当时序特征获取装置310中的数据获取单元110获取的待处理数据是“与内容运营商期望推荐给用户的候选推荐内容相关的数据”以及“内容运营商在App运行期间从用户设备不断获取的用户历史操作数据”和/或“与用户相关的数据”时，机器学习样本生成装置320生成的是训练用于预测用户推荐内容的机器学习模型的训练样本，或者利用该模型进行预测的预测样本。又例如，当时序特征获取装置310中的数据获取单元110获取的待处理数据是商品价格预测相关数据(不同时间点/段，商品本身的属性、季节、天气、库存量、竞品的情况等相关数据)时，机器学习样本生成装置320生成的是训练用于进行商品价格预测的机器学习模型的训练样本，或者利用该模型进行预测的预测样本。在不同的场景下，机器学习样本生成装置320生成对应于该场景的机器学习样本，这里不再一一赘述。

可选地，根据另一示例性实施例，与当前待处理数据相应的机器学习样本除可包括由时序特征获取装置310获取的时序特征之外，还可包括参照图1或图2描述的训练数据基于时间窗的统计信息。作为示例，训练数据基于时间窗的统计信息可以是训练数据关于预测目标的真实结果的统计信息，例如，假设训练数据与推荐的电影有关并且预测目标是推荐的电影是否会被用户接受，则训练数据关于预测目标的真实结果的统计信息可以是预定时间段内(例如，一个星期内)主题为科幻的电影在推荐后被用户接受的概率(例如，30％)。或者，训练数据基于时间窗的统计信息也可以是训练数据本身包含的特征基于时间窗的统计信息，例如，在最近的一个星期内推荐给用户并被用户接受的电影中，电影主题逐渐从科幻变为了爱情。通过在已经包括上述时序特征的机器学习样本中进一步包括训练数据基于时间窗的统计信息，当该机器学习样本被用于后续的机器学习时，可进一步提高后续机器学习模型的效果。

如上所述，包括时序特征的机器学习样本可被用于后续的机器学习，例如，用于训练其他机器学习模型或利用其他机器学习模型执行预测。因此，可选地，图3所示的机器学习系统300还可包括预测装置(未示出)或训练装置(未示出)。具体而言，预测装置可利用其他机器学习模型针对机器学习样本生成装置生成的机器学习样本执行预测。训练装置可利用所述机器学习样本来训练所述其他机器学习模型(在这种情况下，针对有监督机器学习，所述机器学习样本还需进一步包含相应的标记)。这里，所述其他机器学习模型与所述机器学习模型所针对的预测目标可以相同。另外，所述其他机器学习模型的算法类型与所述机器学习模型的算法类型可以相同或不同，并且所述其他机器学习模型也可以包括至少一个机器学习模型。需要说明的是，本申请对预测装置330和训练装置340所使用的机器学习算法、机器学习模型的数量、机器学习模型的类型(例如，既可以是线性模型，也可以是非线性模型)等均无限制，只要其能够利用时序特征获取装置310利用机器学习模型获取的时序特征即可。

根据本申请示例性实施例的机器学习系统300可利用机器学习模型获取时序特征并生成包括所述时序特征的机器学习样本，而这样的机器学习样本由于包括了可准确地反映数据时序信息的时序特征，因此，当其被用于后续机器学习时，可提高后续机器学习模型的效果(例如，预测准确率)。

以上，已经参照图1至图3描述了根据本申请示例性实施例的时序特征获取装置和机器学习系统，需要说明的是，尽管以上在描述时序特征获取装置和机器学习系统时，为描述方便，将它们划分为用于分别执行相应处理的单元(例如，数据获取单元110、机器学习模型更新单元120和时序特征获取单元130)和装置(例如，时序特征获取装置310和机器学习样本生成装置320)，然而，本领域技术人员清楚的是，上述各单元或各装置执行的处理也可在时序特征获取装置和机器学习系统在不进行任何具体的单元和装置划分、或者各单元和各装置之间并无明确划界的情况下执行。此外，以上参照图1或图2描述的时序特征获取装置并不限于包括以上描述的单元，而是可根据需要增加或删除一些单元，并且以上单元也可被组合。同样，以上参照图3描述的机器学习系统也并不限于包括以上描述的装置，而是可根据需要增加或删除一些装置，并且以上装置也可被组合。

接下来，将参照图4和图5对根据本申请示例性实施例的利用机器学习模型获取时序特征的方法以及执行机器学习处理的方法进行描述。

图4是示出根据本申请示例性实施例的利用机器学习模型获取时序特征的方法(以下，为描述方便将其简称为“时序特征获取方法”)的流程图。

这里，作为示例，图4所示的时序特征获取方法可由图1所示的时序特征获取装置100来执行，也可完全通过计算机程序以软件方式实现，还可通过特定配置的计算装置来执行。为了描述方便，假设图4所示的方法由图1所示的时序特征获取装置100来执行，并假设时序特征获取装置100可具有图1所示的配置。

参照图4，在步骤S410，数据获取单元110可获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果。作为示例，数据获取单元110可通过手动、半自动或全自动的方式来不断获取待处理数据或其真实结果。以上参照图1在描述数据获取单元110时所提及的内容(例如，关于待处理数据及其真实结果的描述等)均适用于这里，因此不再赘述。

在本步骤中，在推荐场景下，获取的待处理数据可以包括前面提到的“与内容运营商期望推荐给用户的候选推荐内容相关的数据”以及还可以包括：“内容运营商在App运行期间从用户设备不断获取的用户历史操作数据”和/或“与用户相关的数据”。

在本步骤中，获取的待处理数据也可以是信用卡欺诈检测、异常行为检测、用户兴趣提取或精准营销场景下产生的具有时序性的数据。

进一步地，所述的待处理数据可以是具有时序性的任何数据，具体地产生具有时序性的数据的场景包括但不限于以下场景：图像处理场景、语音识别场景、自然语言处理场景、自动控制场景、智能问答场景、业务决策场景、推荐业务场景、搜索场景和异常行为检测场景。上述各类场景下的更具体应用场景详见前面的描述。

在步骤S420，机器学习模型更新单元120可按照按时序流入的待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型。关于至少一部分具有真实结果的待处理数据的选取以及如何更新机器学习模型，可参见以上图1和图2的描述，这里不再赘述。需要说明的是，步骤S420可不断地进行，从而机器学习模型可按照待处理数据的时序被不断地进行更新。

在步骤S430，时序特征获取单元130可基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。作为示例，与当前更新的所述机器学习模型的至少一个模型参数相关的参数项可包括模型参数本身、模型参数之间的运算结果和/或在所述机器学习模型的更新过程中模型参数的统计信息。此外，以上提及的机器学习模型既可以是单个机器学习模型(任何机器学习模型)，也可以是多个机器学习模型，并且每个机器学习模型的算法类型可以相同或不同。在参照图1描述时序特征获取单元130时提及的内容同样适用于这里，因此，不再赘述。

根据本申请示例性实施例的时序特征获取方法能够利用机器学习模型本身来获取与当前待处理数据相应的时序特征，使得时序特征的获取不再依赖于专家知识或专业技术人员对各个场景的深入理解，而且按照以上方式获取的时序特征往往比人为通过统计方式获得的时序特征更能够客观准确地反映待处理数据的时序信息。

如以上参照图2所述，时序特征提取装置除如图1所示可包括数据获取单元、机器学习模型更新单元和时序特征获取单元之外，还可如图2所示包括监测单元和超参数设置单元，此外，还可进一步包括数据选取单元。因此，与图2所示的时序特征提取装置相应，可选地，图4的自动机器学习方法还可进一步包括由监测单元240执行的操作、由超参数设置单元250执行的操作以及由数据选取单元执行的操作。

例如，根据另一示例性实施例，图4的自动机器学习方法还可在步骤S410和S420之间包括监测步骤和超参数确定步骤。具体地，在监测步骤，监测单元可监测按时序流入的待处理数据的分布状态变化。作为示例，在监测步骤，监测单元240可监测按时序流入的待处理数据的分布状态和/或所述机器学习模型的模型效果，从而实现对按时序流入的待处理数据的分布状态变化的监测。在超参数确定步骤，超参数设置单元250可根据监测结果，设置用于更新所述机器学习模型的超参数。作为示例，在超参数确定步骤，在根据监测结果确定出现了超出阈值的分布状态变化的情况下，超参数设置单元250可全部重新设置用于更新所述机器学习模型的超参数以替代当前用于更新所述机器学习模型的超参数，而在根据监测结果确定未出现超出阈值的分布状态变化的情况下，超参数设置单元250可部分地调整当前用于更新所述机器学习模型的超参数。

在设置了用于更新机器学习模型的超参数的情况下，在步骤S420，机器学习模型更新单元230(或机器学习模型更新单元130)可基于设置的超参数，利用所述训练数据来更新所述机器学习模型。

如以上参照图2所描述的，时序特征提取装置还可包括数据选取单元。相应地，根据本申请另一示例性实施例，图4的时序特征获取方法还可在监测步骤之后进一步包括由数据选取单元执行的数据选取步骤。具体地，在数据选取步骤，数据选取单元可根据在监测步骤由监测单元240监测到的分布状态和/或模型效果来选取所述至少一部分具有真实结果的待处理数据。以上已经在参照图2的描述中对所述至少一部分具有真实结果的待处理数据的选取方式进行了描述，因此，这里不再赘述。

根据本申请另一示例性实施例的时序特征获取方法，可不断监测按时序流入的待处理数据的分布状态变化，根据监测结果设置用于更新所述机器学习模型的超参数，并基于设置的超参数利用训练数据来不断更新机器学习模型，因此，能够获取到更加准确地反映待处理数据的时序信息的时序特征。

需要说明的是，尽管以上在描述图4时，按顺序对图4中的步骤进行了描述，但是，本领域技术人员清楚的是，上述方法中的各个步骤不一定按顺序执行，而是可并行地执行，例如，以上描述的步骤S410与步骤S420便可并行执行，也就是说，在机器学习模型更新单元120更新机器学习模型期间，数据获取单元110仍然可不断地获取新的按时序流入的待处理数据。另外，在监测步骤监测单元240监测按时序流入的待处理数据的分布状态变化的同时，在步骤S410数据获取单元110仍然可不断地获取新流入的待处理数据。

以上已经参照图4对根据本申请示例性实施例的时序特征获取方法进行了描述，接下来，将参照图5对根据本申请示例性实施例的执行机器学习处理的方法进行描述。

图5是示出根据本申请示例性实施例的执行机器学习处理的方法(以下，为描述方便，简称为“机器学习方法”)的流程图。

这里，作为示例，图5所示的机器学习方法可由图3所示的机器学习系统300执行，也可完全通过计算机程序以软件方式实现，还可通过特定配置的计算装置来执行。为了描述方便，假设图5所示的方法由图3所示的机器学习系统300来执行，并假设机器学习系统300可具有图3所示的配置。

参照图5，在步骤S510，时序特征获取装置310可利用机器学习模型获取时序特征。具体而言，时序特征获取装置310可按照与时序特征获取装置100和时序特征获取装置200获取时序特征的方式相同的方式获取时序特征，因此，这里不再赘述。在步骤S520，机器学习样本生成装置320可生成与当前待处理数据相应的机器学习样本，其中，所述机器学习样本可包括在步骤S510获取的时序特征。如以上参照图3所述，这里的机器学习样本还可包括训练数据(基于至少一部分具有真实结果的待处理数据而形成)基于时间窗的统计信息。关于统计信息的描述可参见以上关于图3的描述，这里不再赘述。

如参照图3所述，机器学习系统300还可包括预测装置330或训练装置340。相应地，根据另一示例性实施例，图5的机器学习方法还可包括由预测装置330执行的预测步骤或训练装置340执行的训练步骤。具体地，在预测步骤，预测装置330可利用其他机器学习模型针对在步骤S520生成的机器学习样本执行预测。在训练步骤，训练装置340可利用在步骤S520生成的机器学习样本来训练其他机器学习模型。这里，其他机器学习模型与所述机器学习模型所针对的预测目标可以是相同的。

根据本申请示例性实施例的机器学习方法能够利用由时序特征获取装置基于机器学习模型获取的时序特征来生成机器学习样本，而这样的机器学习样本由于包括了可准确地反映时序信息的时序特征，因此，当其被用于后续机器学习时，可提高后续机器学习模型针对其的预测效果。

接下来，为便于更好地理解本申请，示例性地简要描述包含根据本申请示例性实施例的机器学习系统的网络环境。

图6是示出根据本申请示例性实施例的包括执行机器学习处理的系统的推荐网络600的示意图。

为方便描述，图6以内容推荐场景为例示出包含以上参照图3描述的机器学习系统的推荐网络600。

参照图6，推荐网络600可包括机器学习系统610、用户端设备620和内容运营系统630。这里，内容运营系统630旨在向用户端设备620推荐更容易被接受的内容(例如，新闻、广告、音乐、视频等)，为此，内容运营系统630可将关于候选推荐内容的待处理数据提供给机器学习系统610，以便机器学习系统610利用机器学习模型来评估用户端设备620接受各个候选内容的可能性。这里，机器学习系统610可以是以上参照图3所描述的机器学习系统300，其中，该机器学习系统可包括参照图3描述的时序特征获取装置310、机器学习样本生成装置320和预测装置330。具体说来，机器学习系统610可由内容运营商自己构建，也可由专门的提供机器学习服务的实体来提供。相应地，机器学习系统610既可设置在云端(如公有云、私有云或混合云)，也可设置在内容运营商的本地系统。这里，为方便描述，假设机器学习系统610被设置在公有云端。

用户端设备620可以是任何终端装置，例如，个人计算机、智能电话、TV等，但不限于此。此外，用户端设备620可通过安装在其上的应用等接收或访问由内容运营系统630推荐的内容，例如，展示在应用中的具体内容或推送的通知消息等。

在图6所示的推荐网络600中，在内容运营系统630期望向用户端设备620中的特定用户(例如，用户端设备1的用户)推荐内容时，内容运营系统630可例如从其本地服务器或云端的数据仓库中其所拥有的内容资源中初步筛选期望推荐给特定用户的候选推荐内容。例如，内容运营系统630可根据用户在其客户端的基本注册信息(例如，用户的性别、年龄、职业、地域等)以及用户在其客户端上的历史行为记录(例如，历史内容收藏记录、内容评论记录、内容分享记录、内容搜索记录、观看或收听内容播放的完整度等)来初步判断该特定用户可能偏好的内容类别，并从大量内容资源中初步筛选出多个候选推荐内容。此外，内容运营系统630可进一步获取与所述多个候选推荐内容对应的待处理数据，并将获取的待处理数据不断发送给机器学习系统610，这里，待处理数据可被预先处理为呈预定格式或者可由机器学习系统610在接收到其之后将其处理为呈预定格式。这里，内容运营系统630可不断地(例如，每隔预定时间)将与针对多个用户的候选推荐内容对应的待处理数据发送给机器学习系统610。另外，机器学习系统610针对接收到的与多个候选推荐内容对应的待处理数据，可利用机器学习模型获取与当前待处理数据对应的时序特征，然后生成包括时序特征的与当前待处理数据相应的机器学习样本，并针对生成的机器学习样本来预测与当前待处理数据对应的每条候选内容在推荐后被接受的概率，以作为每条候选内容的推荐指数。

之后，机器学习系统610可将针对该特定用户的所述多个候选推荐内容的各自的推荐指数发送给内容运营系统630。内容运营系统630可基于所述多个候选推荐内容的推荐指数确定最终向该特定用户推荐哪些候选内容，并执行相应的内容推荐。可选地，机器学习系统610可基于所述多个候选推荐内容的推荐指数确定向该用户推荐哪些候选内容，然后将确定结果发送给内容运营系统630以便于内容运营系统630根据确定结果执行相应的内容推荐，或者机器学习系统610在预先获得内容运营系统630授权的情况下也可直接基于确定结果执行向特定用户的内容推荐(在这种情况下，机器学习系统610还需额外获取各个候选推荐内容)。在内容被推荐给该特定用户之后，机器学习系统610可获取关于内容被推荐之后是否被该特定用户所接受的真实反馈，例如，内容运营系统630可不断采集该特定用户的日志数据记录，并从日志数据记录中获得关于内容被推荐之后是否被该特定用户所接受的真实反馈，然后将真实反馈发送给机器学习系统610。也就是说，在与实际推荐内容对应的待处理数据具有真实结果(即，关于内容被推荐之后是否被用户接受的真实反馈)的情况下，机器学习学习系统610可获取该待处理数据的真实结果。此外，机器学习系统610可按照待处理数据的时序，不断利用基于至少一部分具有真实反馈的待处理数据形成的训练数据来更新机器学习模型，并基于与当前更新的机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。例如，按照与实际推荐内容对应的待处理数据的时序，每当获取到关于实际推荐的内容在被推荐后是否被接受的真实反馈，机器学习系统610就可利用至少一部分具有真实结果的与实际推荐内容对应的待处理数据来更新机器学习模型。鉴于已经参照图1和图2等描述了与机器学习系统610中包括的时序特征获取装置更新机器学习模型以及获取时序特征相关的细节，因此，这里不再详细赘述。

根据本申请示例性实施例的推荐网络由于在内容推荐时利用了基于与当前更新的机器学习模型的模型参数相关的参数项获取的时序特征，因此，能够提高内容推荐的准确性。需要说明的是，以上仅以内容推荐场景为例示出了包括根据本申请示例性实施例的机器学习系统的一个示例性网络环境的配置，然而，本领域技术人员清楚的是，机器学习系统610并不仅限于用于内容推荐场景，而是可应用于任何涉及时序信息的机器学习场景，例如，信用卡欺诈检测、异常行为检测、用户兴趣提取、精准营销等。

更进一步来说，本申请中的机器学习系统可应用于的场景包括但不限于以下场景：图像处理场景、语音识别场景、自然语言处理场景、自动控制场景、智能问答场景、业务决策场景、推荐业务场景、搜索场景和异常行为检测场景。上述各类场景下的更具体应用场景详见前面的描述。

本申请的利用机器学习模型获取时序特征的方法、装置以及执行机器学习处理的方法和装置，在应用于不同的场景时，总体执行方案并无差别，只是在不同场景下针对的数据不同，因此本领域的技术人员基于前述的方案公开可以毫无障碍地将本申请的方案应用于不同的场景，因此不需要对每个场景一一进行说明。

以上已参照图1至图6描述了根据本申请示例性实施例的时序特征获取方法和时序特征获取装置、机器学习方法和机器学习系统、以及包括机器学习系统的推荐网络。然而，应理解的是：图1至图3所示出的装置、系统、单元可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些系统、装置或单元可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些系统、装置或单元所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

此外，上述方法可通过记录在计算可读介质上的程序来实现，例如，根据本申请的示例性实施例，可提供一种用于利用机器学习模型获取时序特征的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序：获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果；按照所述待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型；基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。此外，根据本申请的另一示例性实施例，可提供一种用于执行机器学习处理的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序：按照前述方法利用机器学习模型获取时序特征；生成与当前待处理数据相应的机器学习样本，其中，所述机器学习样本包括所述时序特征。

上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图4到图5进行相关方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。

应注意，根据本申请示例性实施例的时序特征获取装置或机器学习系统可完全依赖计算机程序的运行来实现相应的功能，即，各个单元或装置在计算机程序的功能架构中与各步骤相应，使得整个装置或系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，当图1至图3所示的各个单元或装置以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，根据本申请示例性实施例的利用机器学习模型获取时序特征的计算装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果；按照所述待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型；基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。此外，根据本申请另一示例性实施例的执行机器学习处理的计算装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：按照上述方式利用机器学习模型获取时序特征；生成与当前待处理数据相应的机器学习样本，其中，所述机器学习样本包括所述时序特征。

具体说来，上述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

以上描述了本申请的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本申请不限于所披露的各示例性实施例。在不偏离本申请的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本申请的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种利用机器学习模型获取时序特征的方法，所述方法包括：

获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果；

按照所述待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型；

基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。

2.如权利要求1所述的方法，还包括：

监测按时序流入的待处理数据的分布状态变化；

根据监测结果，设置用于更新所述机器学习模型的超参数，

其中，更新所述机器学习模型的步骤包括：基于设置的超参数，利用所述训练数据来更新所述机器学习模型。

3.如权利要求2所述的方法，其中，设置用于更新所述机器学习模型的超参数的步骤包括：

在根据监测结果确定出现了超出阈值的分布状态变化的情况下，全部重新设置用于更新所述机器学习模型的超参数，以替代当前用于更新所述机器学习模型的超参数；

在根据监测结果确定未出现超出阈值的分布状态变化的情况下，部分地调整当前用于更新所述机器学习模型的超参数。

4.如权利要求2所述的方法，其中，监测步骤包括：监测按时序流入的待处理数据的分布状态和/或所述机器学习模型的模型效果。

5.如权利要求4所述的方法，其中，所述方法还包括：根据监测到的分布状态和/或模型效果来选取所述至少一部分具有真实结果的待处理数据。

6.一种执行机器学习处理的方法，包括：

按照如权利要求1到5之中的任一权利要求获取时序特征；以及

生成与所述当前待处理数据相应的机器学习样本，其中，所述机器学习样本包括所述时序特征。

7.一种用于利用机器学习模型获取时序特征的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行如权利要求1至6中的任一权利要求所述的方法的计算机程序。

8.一种利用机器学习模型获取时序特征的计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，促使处理器执行如权利要求1至6中的任一权利要求所述的方法。

9.一种利用机器学习模型获取时序特征的装置，所述装置包括：

数据获取单元，被配置为获取按时序流入的待处理数据，并在待处理数据具有真实结果的情况下获取待处理数据的真实结果；

机器学习模型更新单元，被配置为按照所述待处理数据的时序，不断利用基于至少一部分具有真实结果的待处理数据形成的训练数据来更新所述机器学习模型；

时序特征获取单元，被配置为基于与当前更新的所述机器学习模型的至少一个模型参数相关的参数项，获取与当前待处理数据相应的时序特征。

10.一种执行机器学习处理的系统，包括：

如权利要求9所述的利用机器学习模型获取时序特征的装置；

机器学习样本生成装置，被配置为生成与所述当前待处理数据相应的机器学习样本，其中，所述机器学习样本包括所述时序特征。

Images