CN109461011A - 机器学习方法、装置及系统 - Google Patents

Abstract

本发明公开了一种机器学习方法、装置及系统，涉及数据处理领域，该方法包括：获取目标广告信息对应的目标广告投放参数和实际效果数据；获取目标广告信息对应的初始广告投放参数；当目标广告投放参数和初始广告投放参数一致时，将目标广告投放参数和实际效果数据发送至机器学习系统。本发明通过比较终端展示目标广告信息后上报的目标广告投放参数和在线预测系统计算预测效果数据时使用的初始广告投放参数，保证了机器学习系统最终接收到的广告投放参数与初始广告投放参数的一致性，提高了机器学习系统对预测模型的准确性，以及预测效果数据的计算准确性，减小计算得到的预测效果数据的误差。

Description

机器学习方法、装置及系统

技术领域

本申请实施例涉及数据处理领域，特别涉及一种机器学习方法及装置。

背景技术

网页上通常设置有广告位。每个广告位可以对应多个广告主投放的候选广告信息，广告系统可以根据正在浏览网页的用户的用户画像信息，从多个候选广告信息中确定出一个目标广告信息投放至广告位中。

在从多个候选广告信息中确定出一个目标广告信息的过程中，相关技术中提供了一种基于机器学习的选择方法，具体来讲：广告系统中设置有机器学习系统和在线预测系统，由机器学习系统根据历史数据训练出一个点击率预测模型，并将该点击率预测模型应用至在线预测系统中。终端在打开设置有广告位的网页时，向在线预测系统发送广告投放参数，广告投放参数包括用户画像信息和候选广告信息；在线预测系统接收到广告投放参数后，根据点击率计算模型计算每个候选广告内容的预测效果数据，选择具有最高的预测效果数据的广告信息作为目标广告信息进行曝光，并将目标广告信息的广告投放参数和实际效果数据发送至机器学习系统进行再学习，得到更新后的点击率计算模型。

由于目标广告信息的广告投放参数需要经过多个环节才能传输至机器学习系统，在传输过程中可能会导致广告投放参数中某些字段中的参数发生改变，所以机器学习系统最终接收到的广告投放参数与初始的广告投放参数可能不同，从而导致更新后的点击率计算模型不够准确，存在较大的误差。

发明内容

为了解决机器学习系统最终接收到的广告投放参数与初始的广告投放参数不同的问题，本申请实施例提供了一种机器学习方法及装置。所述技术方案如下：

第一方面，提供了一种机器学习方法，所述方法包括：

获取目标广告信息对应的目标广告投放参数和实际效果数据，所述目标广告投放参数和所述实际效果数据是终端在展示所述目标广告信息后上报的，所述目标广告信息是在线预测系统根据预测效果数据从至少一个候选广告信息中选择出的广告信息；

获取所述目标广告信息对应的初始广告投放参数，所述初始广告投放参数是所述在线预测系统通过预测模型计算所述目标广告信息的所述预测效果数据时所使用的投放参数；

当所述目标广告投放参数和所述初始广告投放参数一致时，将所述目标广告投放参数和所述实际效果数据发送至机器学习系统，所述机器学习系统是根据所述目标广告投放参数和所述实际效果数据对所述预测模型进行更新的系统。

第二方面，提供了一种机器学习装置，所述装置包括：

获取模块，用于获取目标广告信息对应的目标广告投放参数和实际效果数据，所述目标广告投放参数和所述实际效果数据是终端在展示所述目标广告信息后上报的，所述目标广告信息是在线预测系统根据预测效果数据从至少一个候选广告信息中选择出的广告信息；

所述获取模块，还用于获取所述目标广告信息对应的初始广告投放参数，所述初始广告投放参数是所述在线预测系统通过预测模型计算所述目标广告信息的所述预测效果数据时所使用的投放参数；

发送模块，用于当所述目标广告投放参数和所述初始广告投放参数一致时，将所述目标广告投放参数和所述实际效果数据发送至机器学习系统，所述机器学习系统是根据所述目标广告投放参数和所述实际效果数据对所述预测模型进行更新的系统。

第三方面，提供一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本申请实施例第一方面所述的机器学习方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本申请实施例第一方面所述的机器学习方法。

第五方面，提供了一种计算机系统，所述计算机系统包括在线预测系统、所述流式存储系统、流式校验系统和所述机器学习系统，其中，流式校验系统中包括本发明实施例第二方面所述的机器学习装置。

本发明实施例提供的技术方案带来的有益效果至少包括:

通过比较终端展示目标广告信息后上报的目标广告投放参数和在线预测系统计算预测效果数据时使用的初始广告投放参数，当目标广告投放参数与初始广告投放参数一致时，将目标广告投放参数发送至机器学习系统，而当目标广告投放参数与初始广告投放参数不一致时，不将其发送至机器学习系统，保证了机器学习系统最终接收到的目标广告投放参数与初始广告投放参数的一致性，提高了机器学习系统通过机器学习所训练得到的预测模型的准确性，以及预测模型所计算得到的预测效果数据的计算准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个示例性实施例提供的计算机系统的示意图；

图2是本发明一个示例性的实施例提供的机器学习方法的流程图；

图3是本发明另一个示例性的实施例提供的机器学习方法的流程图；

图4是本发明另一个示例性实施例提供的机器学习方法的流程图；

图5A至图5B是本发明一个示例性的实施例提供的机器学习装置的框图；

图6是本发明一个示例性实施例提供的服务器的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明一个示例性的实施例提供的计算机系统的示意图，如图1所示，该计算机系统包括：终端11、在线预测系统12、流式存储系统13、流式校验系统14、机器学习系统15、订单存储系统16以及用户画像库17。其中，在线预测系统12还包括：预测模型121。

终端11可以是智能手机、平板电脑等电子设备。终端11是用于提供与用户进行交互的用户界面，并根据用户界面中的广告位向用户投放广告的设备。可选地，终端11还用于向在线预测系统12发送初始广告投放参数。可选地，该终端11中安装有浏览器，用户在该浏览器中打开包括有广告位的网页。终端11根据该广告位向在线预测系统12发送初始广告投放参数，该初始广告投放参数中包括有与该广告位对应的候选广告信息。可选地，该终端11中还可能安装有应用程序，该应用程序的用户界面上包括有广告位，终端11根据该广告位向在线预测系统12发送初始广告投放参数，该初始广告投放参数中包括有与该广告位对应的候选广告信息。

在一个可选的实施例中，终端11还用于接收在线预测系统12发送的目标广告信息，并在广告位上对该目标广告信息进行展示。也即，终端11与在线预测系统12之间有通信连接。可选地，该目标广告信息可以包括图片、文字、音频、视频和下载链接中的至少一种素材，本发明实施例对此不加以限定。

在线预测系统12用于对初始广告投放参数中的至少一个候选广告信息的预测效果数据进行计算，并根据计算得到的预测效果数据从候选广告信息中选择出目标广告信息。可选地，该在线预测系统12包括预测模型121，预测模型121用于对每个候选广告信息的预测效果数据进行计算，然后根据每个候选广告信息的预测效果数据确定出目标广告信息(通常具有最好的预测效果数据)，并将目标广告信息发送至终端11。可选地，该在线预测系统12可以实现在一个服务器上，也可以实现在多个服务器上，还可以实现在虚拟计算系统中的虚拟机上。

在线预测系统12还需要将初始广告投放参数以及通过预测模型计算得到的预测效果数据发送至流式存储系统13，该流式存储系统13用于存储在线预测系统12发送的初始广告投放参数以及预测效果数据。在确定出目标广告信息后，在线预测系统12还需要将该目标广告信息发送至终端11，终端11将该目标广告信息对应的目标广告投放参数以及实际效果数据发送至流式校验系统14。

该流式校验系统14是用于对目标广告信息对应的目标广告投放参数，以及从流式存储系统13获取的目标广告信息对应的初始广告投放参数进行校验的系统，当上述目标广告投放参数与初始广告投放参数一致时，流式校验系统14将目标广告投放参数以及实际效果数据发送至机器学习系统15。

可选地，该流式校验系统的名称还可以是数据校验系统、参数校验系统等，本发明实施例对此不加以限定。

机器学习系统15用于对目标广告信息对应的目标广告投放参数和实际效果数据进行学习，并根据学习结果得到新的预测模型，对在线预测系统12中的预测模型121进行更新。

其中，在线预测系统12和流式校验系统14与订单存储系统16相连，以及与用户画像库17相连。

订单存储系统16用于存储与订单标识对应的广告订单信息，可选地，订单存储系统16可以存储在一个独立的服务器中，流式校验系统14与在线预测系统12与该服务器向连，或者，在线预测系统12所在的服务器中包括该订单存储系统16，或者，流式校验系统14所在的服务器中包括该订单存储系统16。

用户画像库17用于存储与用户标识对应的用户画像信息，可选地，用户画像库17可以存储在一个独立的服务器中，流式校验系统14和在线预测系统12与该服务器向连，或者，在线预测系统12所在的服务器中包括该用户画像库17，或者，流式校验系统14所在的服务器中包括该用户画像库17。

值得注意的是，上述在线预测系统12、流式存储系统13、流式校验系统14、机器学习系统15、订单存储系统16以及用户画像库17可以单独实现为多个服务器，也可以作为软件模块或硬件模块实现在同一个服务器设备上，还可以任意组合实现在相互连接的多个服务器设备上。

图2是本发明一个示例性的实施例提供的机器学习方法的流程图。如图2所示，该方法主要包括两个阶段，第一个阶段是在线预测系统对目标广告信息的选择阶段，第二个阶段是机器学习阶段利用目标广告信息进行再学习的阶段。首先，第一个阶段包括：

步骤201，终端向在线预测系统发送至少一个初始广告投放参数。

可选地，终端中安装有浏览器或应用程序，以终端中安装有浏览器为例进行说明：用户在该浏览器中打开包括有至少一个广告位的网页，对于每一个广告位，终端根据该广告位向在线预测系统发送至少一个初始广告投放参数，其中，每一个初始广告投放参数对应一个候选广告信息，每一个初始广告投放参数中包括但不限于：与该终端对应的用户画像信息以及与该初始广告投放参数对应的候选广告信息的广告订单信息。终端向在线预测系统发送至少一个初始广告投放参数，即终端向在线预测系统发送了用户画像信息以及至少一个候选广告信息。

其中，用户画像信息中包括用户标识，且每一个广告订单信息中包括一个订单标识。其中，广告订单信息是广告主根据该广告位向广告位供应方签订的与该候选广告信息对应的订单。广告订单信息包括至少一个数据项，该数据项包括但不限于：该候选广告信息的广告主体的素材、该候选广告信息所涉及的行业、该候选广告信息的投放人群以及该候选广告信息的广告主中的全部或部分。用户画像信息包括至少一个用于表示与该终端的使用者相关的数据项，该用户画像信息中的数据项包括但不限于：用户使用的终端的型号，终端使用的操作系统，终端使用的联网方法、用户的性别、年龄、省份、兴趣爱好、从事的行业等。

步骤202，在线预测系统根据初始广告投放参数对候选广告信息的预测效果数据进行计算。

预测效果数据用于表示对候选广告信息进行展示后预计得到的效果，该预测效果数据是根据预测模型计算得到的。该预测效果数据可以是点击率，也可以是转化率，本发明实施例对此不加以限定。

可选地，在线预测系统根据初始广告投放参数中的用户画像信息以及候选广告信息的广告订单信息，对每一个初始广告投放参数对应的候选广告信息的预测效果数据进行计算。可选地，在线预测系统中包括预测模型，通过该预测模型对每一个初始广告投放参数对应的候选广告信息的预测效果数据进行计算。

若该预测效果数据是点击率，则该预测效果数据用于表示对候选广告信息进行展示后，用户对该候选广告信息进行点击的概率，即终端的用户界面跳转至与该候选广告信息对应的用户界面的概率；若该预测效果数据是转化率，以该候选广告信息为下载链接为例，则该预测效果数据用于表示对下载链接进行展示后，用户对该下载链接对应的程序进行下载的概率，该程序可以是应用程序、驱动程序、应用程序的安装包、文件、代码等，本发明实施例对此不加以限定。

步骤203，在线预测系统根据计算得到的预测效果数据从候选广告信息中选择目标广告信息。

可选地，在线预测系统从候选广告信息中选择出预测效果数据最高的候选广告信息为目标广告信息。

示意性的，该预测效果数据为点击率，在线预测系统从候选广告信息中选择出点击率最高的候选广告信息为目标广告信息。

步骤204，在线预测系统将目标广告信息发送到终端。

步骤205，终端对目标广告信息进行展示。

可选地，该目标广告信息的展示内容可以是图片、文字、音频、视频、网页和下载链接中的至少一种，本发明实施例对此不加以限定。

步骤206，终端根据目标广告信息在终端展示后的效果生成实际效果数据。

实际效果数据用于表示终端展示目标广告信息后该目标广告信息所起的效果。

可选地，终端在接收到目标广告信息后，对目标广告信息进行展示，并根据展示后的效果生成实际效果数据。

示意性的，该实际效果数据分为点击与未点击，终端对目标广告信息进行展示后，监测展示目标广告信息的当前用户界面是否跳转至与目标广告信息对应的用户界面，从而判断用户是否对目标广告信息进行点击，并生成实际效果数据。

相关技术中提供一种机器学习方法，终端在获取目标广告信息对应的实际效果数据后，直接向机器学习系统发送该目标广告信息对应的投放参数以及实际效果数据，该方法步骤如下：

步骤207，在线预测系统向机器学习系统发送目标广告信息对应的目标广告投放参数和预测效果数据。

可选地，该目标广告信息对应的目标广告投放参数包括目标广告信息对应的用户画像信息以及目标广告信息对应的广告订单信息。

步骤208，机器学习系统对目标广告投放参数和预测效果数据进行学习并更新预测模型。

由于相关技术中目标广告信息的目标广告投放参数需要经过多个环节才能传输至机器学习系统，在传输过程中可能会导致目标广告投放参数中某些字段中的参数发生改变，步骤201中终端向在线预测系统发送的初始广告投放参数，与步骤207中在线预测系统向机器学习系统发送的目标广告投放参数有可能不一致，会导致更新后的预测模型不够准确，存在较大的误差，故本发明对上述方法进行改进，引入了流式存储系统以及流式校验系统，用于对上述初始广告投放参数和目标广告投放参数进行校验。图3是本发明一个示例性的实施例提供的机器学习方法的流程图，该方法如图3所示：

步骤301，终端向在线预测系统发送至少一个初始广告投放参数。

可选地，终端中安装有浏览器或应用程序，以终端中安装有浏览器为例进行说明：用户在该浏览器中打开一个包括有至少一个广告位的网页，对于每一个广告位，终端根据该广告位向在线预测系统发送至少一个初始广告投放参数，其中，每一个初始广告投放参数对应一个候选广告信息，每一个初始广告投放参数中包括但不限于：与该终端对应的用户画像信息以及与该初始广告投放参数对应的候选广告信息的广告订单信息。终端向在线预测系统发送至少一个初始广告投放参数，即终端向在线预测系统发送了用户画像信息以及至少一个候选广告信息。

其中，用户画像信息中包括用户标识，且每一个广告订单信息中包括一个订单标识。其中，广告订单信息是广告主根据该广告位向广告位供应方提供的与该候选广告信息对应的数据项，该数据项包括但不限于：该候选广告信息的广告主体的素材、该候选广告信息所涉及的行业、该候选广告信息的投放人群以及该候选广告信息的广告主等。用户画像信息用于表示与该终端的使用者相关的数据项，该用户画像信息中的数据项包括但不限于：用户使用的终端的型号，终端使用的操作系统，终端使用的联网方法、用户的性别、年龄、省份、兴趣爱好、从事的行业等。

步骤302，在线预测系统根据初始广告投放参数对候选广告信息的预测效果数据进行计算。

预测效果数据用于表示对候选广告信息进行展示后预计得到的效果，该预测效果数据是根据预测模型计算得到的。

可选地，在线预测系统根据初始广告投放参数中的用户画像信息以及广告订单信息，对每一个初始广告投放参数对应的候选广告信息的预测效果数据进行计算。可选地，在线预测系统中包括预测模型，通过该预测模型对每一个初始广告投放参数对应的候选广告信息的预测效果数据进行计算。

该预测效果数据可以是点击率，也可以是转化率，本发明实施例对此不加以限定。若该预测效果数据是点击率，则该预测效果数据用于表示对候选广告信息进行展示后，用户对该候选广告信息进行点击的概率，即终端的用户界面跳转至与该候选广告信息对应的用户界面的概率；若该预测效果数据是转化率，以该候选广告信息为下载链接为例，则该预测效果数据用于表示对下载链接进行展示后，用户对该下载链接对应的程序进行下载的概率，该程序可以是应用程序、驱动程序、应用程序的安装包、文件、代码等，本发明实施例对此不加以限定。

步骤303，在线预测系统将初始广告投放参数和预测效果数据发送至流式存储系统。

步骤304，流式存储系统对初始广告投放参数和预测效果数据进行存储。

可选地，与传统的数据库的固化存储方式不同的是，流式存储系统可以实时地存储初始广告投放参数和预测效果数据。流式存储系统可以是Redis订单存储系统。

可选地，该流式存储系统是具有存储时效的订单存储系统，即当初始广告投放参数和预测效果数据的存储时长达到预设时长时，流式存储系统会将该初始广告投放参数和预测效果数据从流式存储系统中删除。

示意性的，预设存储时长为1小时，当初始广告投放参数和预测效果数据的存储时长达到1小时时，流式存储系统将该初始广告投放参数和预测效果数据删除。

步骤305，在线预测系统根据计算得到的预测效果数据从候选广告信息中选择目标广告信息。

可选地，在线预测系统从候选广告信息中选择出预测效果数据最高的候选广告信息为目标广告信息。

示意性的，该预测效果数据为点击率，共有三个候选广告信息，分别为候选广告A、候选广告B以及候选广告C，根据预测模型对三个后徐昂广告信息的点击率进行计算得到候选广告A的点击率为20％、候选广告B的点击率为70％以及候选广告C的点击率为0，在线预测系统从候选广告信息中选择出点击率最高的候选广告信息，即候选广告B为目标广告信息。

步骤306，在线预测系统将目标广告信息发送到终端。

步骤307，终端对目标广告信息进行展示。

步骤308，终端根据目标广告信息在终端展示后的效果生成实际效果数据。

可选地，终端在接收到目标广告信息后，对目标广告信息进行展示，并根据展示后的效果生成实际效果数据。

步骤309，终端将目标广告信息对应的目标广告投放参数以及实际效果数据发送至流式校验系统。

实际效果数据用于表示终端展示目标广告信息后该目标广告信息所起的效果。

示意性的，该实际效果数据可以包括点击或未点击，点击代表目标广告信息展示在终端后被点击，未点击代表目标广告信息展示在终端后未被点击。

示意性的，以目标广告信息为下载链接为例，该实际效果数据也可以包括转化或未转化，转化代表用户对下载链接对应的程序进行了下载，未转化表示用户对下载链接对应的程序未进行下载，其中，该程序可以是应用程序、驱动程序、应用程序的安装包、文件、代码等，本发明实施例对此不加以限定。

步骤310，流式校验系统接收到目标广告信息对应的目标广告投放参数和实际效果数据。

可选地，该目标广告投放参数中包括但不限于目标广告信息对应的用户画像信息以及该目标广告信息的广告订单信息，其中，用户画像信息中包括目标广告信息对应的用户标识，广告订单信息中包括一个订单标识。

步骤311，流式校验系统从流式存储系统中获取目标广告信息对应的初始广告投放参数。

可选地，流式校验系统根据接收到的目标广告信息中的用户标识以及订单标识从流式存储系统中获取与上述用户标识以及订单标识对应的初始广告投放参数。

步骤312，流式校验系统比较目标广告投放参数和初始广告投放参数是否一致。

可选地，目标广告投放参数与初始广告投放参数中均包括有至少一个数据项，该数据项可以是用户图像信息中包括的数据项，也可以是广告订单信息中包括的数据项。

可选地，流式校验系统比较目标广告投放参数中的各个数据项与初始广告投放参数中的各个数据项是否一致，从而判断目标广告投放参数与初始广告投放参数是否一致。

步骤313，若目标广告投放参数和初始广告投放参数一致，将目标广告投放参数和实际效果数据发送至机器学习系统。

机器学习系统是根据目标广告投放参数和实际效果数据对预测模型进行更新的系统。

步骤314，机器学习系统对目标广告投放参数和实际效果数据进行学习，生成预测模型。

可选地，该目标广告投放参数中包括用户画像信息、以及目标广告信息的广告订单信息，机器学习系统对第一用户画像信息和目标广告信息的广告订单信息以及实际效果数据进行学习，得到预测模型。

步骤315，机器学习系统根据生成的预测模型，对在线预测系统的预测模型进行更新。

综上所述，通过比较终端展示目标广告信息后上报的目标广告投放参数和在线预测系统计算预测效果数据时使用的初始广告投放参数，保证了机器学习系统最终接收到的广告投放参数与初始的广告投放参数的一致性，提高了机器学习系统对预测模型的准确性，以及预测效果数据的计算准确性，减小计算得到的预测效果数据的误差。

在一个可选的实施例中，终端发送至在线预测系统以及流式校验系统的数据不是完整的初始广告投放参数或目标广告投放参数，而是通过发送用户标识以及订单标识使得在线预测系统获取初始广告投放参数，以及使得流式校验系统获取目标广告投放参数。如图4所示，是本发明另一个示例性的实施例提供的机器学习方法的流程图，该方法包括：

步骤401，终端向在线预测系统发送用户标识、至少一个订单标识、第一用户画像信息。

第一用户画像信息用于表示与用户使用的终端相关的信息示意性的，该第一用户画像信息中包括的数据项有终端的型号、终端使用的操作系统以及终端的联网方式等。

可选地，终端中安装有浏览器或应用程序，以终端中安装有浏览器为例进行说明：用户在该浏览器中打开包括有至少一个广告位的网页，对于每一个广告位，终端根据该广告位向在线预测系统发送用户标识、第一用户画像信息以及至少一个订单标识，其中，每一个订单标识对应一个候选广告信息。

步骤402，在线预测系统根据用户标识查询对应的第二用户画像信息，并根据第二用户画像信息和第一用户画像信息构成用户画像信息。

可选地，在线预测系统所在的服务器中包括用户画像库，该用户画像库中存储有与用户标识对应的第二用户画像信息，该第二用户画像信息用于表示与用户本身相关的信息，示意性的，该第二用户画像信息中包括的数据项有用户的年龄、性别、省份、兴趣爱好、从事的行业等。

根据第二用户画像信息和第一用户画像信息构成用户画像信息，该用户画像信息中包括第二用户画像信息中的所有数据项，以及第一用户画像信息中的所有数据项，还包括用户标识。

示意性的，该用户画像信息形式如下：

user_01，os_11，net_10，phone_21，age_20，gender_1，prov_15，interest_book，indus_it；

其中，user_01为用户标识；os_11代表终端所使用的操作系统为11代表的操作系统，如安卓操作系统、iOS操作系统、塞班操作系统、Windows Phone操作系统等；net_10代表终端所使用的联网方式为10代表的联网方式，如有线网络连接、无线网络连接、家庭网络、工作网络、公共网络等；phone_21代表终端的型号；age_20代表标识0所代表的用户为20岁；gender_1代表标识0所代表的用户为男性；prov_15代表用户所在省为标识15对应的省，interest_book代表用户的兴趣爱好为读书，indus_it代表用户从事的行业为IT业。

步骤403，在线预测系统根据订单标识查询对应的广告订单信息。

可选地，在线预测系统所在的服务器中包括订单存储系统，该订单存储系统中存储有与订单标识对应的广告订单信息，可选地，在线预测系统根据所有候选广告信息的订单标识从订单存储系统中获取所有候选广告信息的广告订单信息。

每一个广告订单信息包括至少一个数据项，该数据项包括但不限于：该候选广告信息的广告主体的素材、该候选广告信息所涉及的行业、该候选广告信息的投放人群以及该候选广告信息的广告主中的全部或部分。

示意性的，该广告订单信息形式如下：

oid_011，adv_2345，indus_12，cat_22；

其中，oid_011为订单标识；adv_2345代表订单011的广告主为2345所代表的广告主；indus_12代表订单011的广告主所述的行业为12所代表的行业；cat_22代表广告主体的素材为22所代表的素材。

步骤404，在线预测系统根据用户画像信息和广告订单信息对候选广告信息的预测效果数据进行计算。

在线预测系统通过预测模型，并根据用户画像以及广告订单信息，计算得到与该广告订单信息对应的候选广告信息的预测效果数据。

示意性的，候选广告信息包括候选广告信息A、候选广告信息B以及候选广告信息C，根据预测模型对上述三个候选广告信息的点击率进行计算得到，候选广告信息A的点击率为10％，候选广告信息B的点击率为70％，候选广告信息C的点击率为0。

步骤405，在线预测系统将用户标识、用户画像信息、订单标识、广告订单信息以及预测效果数据发送至流式存储系统。

可选地，该流式存储系统可以是Redis数据库，也可以是HBase数据库或Mongodb数据库，本发明实施例对此不加以限定。

步骤406，在线订单存储系统对用户标识、用户画像信息、订单标识、广告订单信息以及预测效果数据进行存储，并将用户画像信息、广告订单信息存储为初始广告投放参数。

可选地，一个候选广告信息对应一条初始广告投放参数，即在线订单存储系统中存储有至少一个初始广告投放参数，每个初始广告投放参数对应一个预测效果数据。

步骤407，在线预测系统根据预测效果数据从候选广告信息中选择目标广告信息。

示意性的，步骤404中的候选广告信息A、候选广告信息B以及候选广告信息C中，将候选广告信息B确定为目标广告信息。

步骤408，在线预测系统将目标广告信息发送到终端。

步骤409，终端对目标广告信息进行展示。

步骤410，终端根据目标广告信息在终端展示后的结果生成实际效果数据。

可选地，终端对目标广告信息进行展示后，监测用户是否对该目标广告信息进行点击，即监测当前用户界面是否跳转至与目标广告信息对应的用户界面，然后根据监测结果生成实际效果数据。示意性的，该实际效果数据可以包括点击或未点击。

示意性的，以目标广告信息为下载链接为例，该实际效果数据也可以包括转化或未转化，转化代表用户对下载链接对应的程序进行了下载，未转化表示用户对下载链接对应的程序未进行下载，其中，该程序可以是应用程序、驱动程序、应用程序的安装包、文件、代码等，本发明实施例对此不加以限定。

步骤411，终端将用户标识、订单标识、第一用户画像信息以及实际效果数据发送至流式校验系统。

实际效果数据用于表示终端展示目标广告信息后所起的效果，示意性的，该实际效果数据可以包括点击或未点击，点击代表目标广告信息展示在终端后被点击，未点击代表目标广告信息展示在终端后未被点击。

步骤412，流式校验系统根据用户标识、订单标识、第一用户画像信息生成目标广告投放参数。

可选地，流式校验系统所在的服务器中包括用户画像库，流式校验系统根据用户标识从用户画像库中获取与该用户标识对应的第二用户画像信息，流式校验系统所在的服务器中包括订单存储系统，流式校验系统根据订单标识从订单存储系统中获取与该订单标识对应的第一广告订单信息，通过该第二用户画像信息、第一广告订单信息以及第一用户画像信息构成目标广告投放参数，可选地，该目标广告投放参数中还包括用户标识和订单标识。

步骤413，流式校验系统从流式存储系统中获取初始广告投放参数。

可选地，流式校验系统读取目标广告投放参数中的用户标识以及订单标识，从流式存储系统中读取与用户标识对应的用户画像，以及从流式存储系统中读取与订单标识对应的第二广告订单信息，将用户画像信息以及第二广告订单信息确定为初始广告投放参数，其中，流式存储系统用于存储在线预测系统在最近时间段内所使用的。

步骤414，流式校验系统比较目标广告投放参数和初始广告投放参数是否一致。

可选地，流式校验系统比较目标广告投放参数中的各个数据项与初始广告投放参数中的各个数据项是否一致，从而判断目标广告投放参数与初始广告投放参数是否一致。

示意性的，目标广告投放参数以及初始广告投放参数中均包括n个数据项，获取目标广告投放参数中的第i个第一数据项，其中i≥1且i≤n；获取目标广告投放参数的第i个第一数据项；获取初始广告投放参数中的第i个第二数据项；检测第i个第一数据项与第i个第二数据项是否一致；若第i个第一数据项与第i个第二数据项一致，且i小于n，则令i＝i+1并重复执行上述步骤获取目标广告投放参数中的第i个第一数据项；若第i个第一数据项与第i个第二数据项一致，且i等于n，则确定目标广告投放参数和初始广告投放参数一致。

在一个可选地实施例中，当检测到第i个第一数据项和第i个第二数据项不一致时，根据所述第i个第一数据项与所述第i个第二数据项生成告警日志，并显示所述告警日志。

步骤415，若目标广告投放参数和初始广告投放参数一致，将目标广告投放参数和实际效果数据发送至机器学习系统。

机器学习系统是根据目标广告投放参数和实际效果数据对预测模型进行更新的系统。

步骤416，机器学习系统对目标广告投放参数和实际效果数据进行学习，生成预测模型。

该目标广告投放参数中包括第一用户画像信息、第二用户画像信息以及目标广告信息的广告订单信息，机器学习系统对第一用户画像信息、第二用户画像信息、目标广告信息的广告订单信息以及实际效果数据进行学习，得到预测模型。

步骤417，机器学习系统根据生成的预测模型，对在线预测系统的预测模型进行更新。

值得注意的是，上述在线预测系统、流式存储系统、流式校验系统以及机器学习系统可以作为实现在同一个服务器中，也可以任意组合实现在多个服务器中，本发明实施例对此不加以限定，另外，上述在线预测系统、流式存储系统、流式校验系统以及机器学习系统可以实现为服务器中的物理模块，由硬件完成，也可以实现为逻辑模块，由软件完成，还可以由软硬件搭配完成。

综上所述，通过机器学习系统对目标广告投放参数以及实际效果数据进行学习，得到预测模型，并用该预测模型对候选广告信息的预测效果数据进行计算，提高了在线预测系统对候选广告信息的预测效果数据计算的准确率，使得预测效果数据更接近于实际效果数据；通过比较终端展示目标广告信息后上报的目标广告投放参数和在线预测系统计算预测效果数据时使用的初始广告投放参数，保证了机器学习系统最终接收到的广告投放参数与初始的广告投放参数的一致性，提高了机器学习系统对预测模型的准确性，以及预测效果数据的计算准确性，减小计算的得到的预测效果数据的误差。

图5A至图5B是本发明一个示例性的实施例提供的机器学习装置的框图，如图5A及图5B所示，该机器学习装置包括：

获取模块51，用于获取目标广告信息对应的目标广告投放参数和实际效果数据，所述目标广告投放参数和所述实际效果数据是终端在展示所述目标广告信息后上报的，所述目标广告信息是在线预测系统根据预测效果数据从至少一个候选广告信息中选择出的广告信息；

所述获取模块51，还用于获取所述目标广告信息对应的初始广告投放参数，所述初始广告投放参数是所述在线预测系统通过预测模型计算所述目标广告信息的所述预测效果数据时所使用的投放参数；

发送模块52，用于当所述目标广告投放参数和所述初始广告投放参数一致时，将所述目标广告投放参数和所述实际效果数据发送至机器学习系统，所述机器学习系统是根据所述目标广告投放参数和所述实际效果数据对所述预测模型进行更新的系统。

在一个可选的实施例中，获取模块51，包括：

接收单元，用于接收所述终端发送的用户标识、订单标识、第一用户画像信息以及实际效果数据；

查询单元，用于根据所述用户标识在用户画像库中查询第二用户画像信息；

所述查询单元，还用于根据所述订单标识在订单存储系统中查询第一广告订单信息；

确认单元，还用于将所述第一用户画像信息、所述第二用户画像信息和所述第一广告订单信息确定为所述目标广告投放参数。

在一个可选的实施例中，所述获取模块51，还包括：

读取单元，用于读取所述目标广告投放参数中的用户标识和订单标识；

所述读取单元，还用于从流式存储系统读取与所述用户标识对应的用户画像信息，所述流式存储系统用于存储所述在线预测系统在最近时间段内所使用的投放参数；

所述读取单元，还用于从所述流式存储系统读取与所述订单标识对应的第二广告订单信息；

所述确认单元，还用于将所述用户画像信息和所述第二广告订单信息确定为所述初始广告投放参数。

在一个可选的实施例中，所述目标广告投放参数和所述初始广告投放参数均包括n个数据项，所述获取模块，还用于获取所述目标广告投放参数中的第i个第一数据项，i≥1且i≤n；

所述获取模块51，还用于获取所述初始广告投放参数中的第i个第二数据项；

检测模块53，用于检测所述第i个第一数据项与所述第i个第二数据项是否一致；

执行模块54，用于若所述第i个第一数据项与所述第i个第二数据项一致且i小于n，则令i＝i+1，再次执行所述获取所述目标广告投放参数中的第i个第一数据项的步骤；

所述执行模块54，还用于若所述第i个第一数据项与所述第i个第二数据项一致且i等于n，则确定所述目标广告投放参数和所述初始广告投放参数一致。

在一个可选的实施例中，所述装置，还包括：

生成模块，用于根据所述第i个第一数据项与所述第i个第二数据项生成告警日志；

显示模块，用于显示所述告警日志。

图6是本发明一个示例性实施例提供的服务器的结构框图。该服务器包括：处理器62和存储器64。

处理器62可以是单核处理器、多核处理器、嵌入式芯片以及具有计算能力的处理器中的至少一种。

存储器64存储有处理器的可执行指令。示意性的，存储器64中一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器62加载并执行以实现如图1至图4所示的任意一种机器学习方法。

可选地，本发明实施例还提供了一种计算机可读存储介质，该存储介质中一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图1至图4所示的任意一种机器学习方法，可选地，该计算机可读存储介质包括高速存取存储器、非易失性存储器。

可选地，该服务器中包括上述实施例中所述的在线预测系统，还包括上述实施例中所述的流式存储系统、流式校验系统以及机器学习系统中的一个或多个。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种机器学习方法，其特征在于，所述方法包括：

获取目标广告信息对应的目标广告投放参数和实际效果数据，所述目标广告投放参数和所述实际效果数据是终端在展示所述目标广告信息后上报的，所述目标广告信息是在线预测系统根据预测效果数据从至少一个候选广告信息中选择出的广告信息；

获取所述目标广告信息对应的初始广告投放参数，所述初始广告投放参数是所述在线预测系统通过预测模型计算所述目标广告信息的所述预测效果数据时所使用的投放参数；

当所述目标广告投放参数和所述初始广告投放参数一致时，将所述目标广告投放参数和所述实际效果数据发送至机器学习系统，所述机器学习系统是根据所述目标广告投放参数和所述实际效果数据对所述预测模型进行更新的系统。

2.根据权利要求1所述的方法，其特征在于，所述获取目标广告信息对应的目标广告投放参数和实际效果数据，包括：

接收所述终端发送的用户标识、订单标识、第一用户画像信息以及实际效果数据；

根据所述用户标识在用户画像库中查询第二用户画像信息；

根据所述订单标识在订单存储系统中查询第一广告订单信息；

将所述第一用户画像信息、所述第二用户画像信息和所述第一广告订单信息确定为所述目标广告投放参数。

3.根据权利要求1所述的方法，其特征在于，所述获取所述目标广告信息对应的初始广告投放参数，包括：

读取所述目标广告投放参数中的用户标识和订单标识；

从流式存储系统读取与所述用户标识对应的用户画像信息，所述流式存储系统用于存储所述在线预测系统在最近时间段内所使用的投放参数；

从所述流式存储系统读取与所述订单标识对应的第二广告订单信息；

将所述用户画像信息和所述第二广告订单信息确定为所述初始广告投放参数。

4.根据权利要求1至3任一所述的方法，其特征在于，所述目标广告投放参数和所述初始广告投放参数均包括n个数据项，所述方法还包括：

获取所述目标广告投放参数中的第i个第一数据项，i≥1且i≤n；

获取所述初始广告投放参数中的第i个第二数据项；

检测所述第i个第一数据项与所述第i个第二数据项是否一致；

若所述第i个第一数据项与所述第i个第二数据项一致且i小于n，则令i＝i+1，再次执行所述获取所述目标广告投放参数中的第i个第一数据项的步骤；

若所述第i个第一数据项与所述第i个第二数据项一致且i等于n，则确定所述目标广告投放参数和所述初始广告投放参数一致。

5.根据权利要求4所述的方法，其特征在于，所述检测所述第i个第一数据项与所述第i个第二数据项是否一致之后，还包括：

若所述第i个第一数据项和第i个第二数据项不一致，则根据所述第i个第一数据项与所述第i个第二数据项生成告警日志；

显示所述告警日志。

6.一种机器学习装置，其特征在于，所述装置包括：

获取模块，用于获取目标广告信息对应的目标广告投放参数和实际效果数据，所述目标广告投放参数和所述实际效果数据是终端在展示所述目标广告信息后上报的，所述目标广告信息是在线预测系统根据预测效果数据从至少一个候选广告信息中选择出的广告信息；

所述获取模块，还用于获取所述目标广告信息对应的初始广告投放参数，所述初始广告投放参数是所述在线预测系统通过预测模型计算所述目标广告信息的所述预测效果数据时所使用的投放参数；

发送模块，用于当所述目标广告投放参数和所述初始广告投放参数一致时，将所述目标广告投放参数和所述实际效果数据发送至机器学习系统，所述机器学习系统是根据所述目标广告投放参数和所述实际效果数据对所述预测模型进行更新的系统。

7.根据权利要求6所述的装置，其特征在于，所述获取模块，包括：

接收单元，用于接收所述终端发送的用户标识、订单标识、第一用户画像信息以及实际效果数据；

查询单元，用于根据所述用户标识在用户画像库中查询第二用户画像信息；

所述查询单元，还用于根据所述订单标识在订单存储系统中查询第一广告订单信息；

确认单元，还用于将所述第一用户画像信息、所述第二用户画像信息和所述第一广告订单信息确定为所述目标广告投放参数。

8.根据权利要求6所述的装置，其特征在于，所述获取模块，还包括：

读取单元，用于读取所述目标广告投放参数中的用户标识和订单标识；

所述读取单元，还用于从流式存储系统读取与所述用户标识对应的用户画像信息，所述流式存储系统用于存储所述在线预测系统在最近时间段内所使用的投放参数；

所述读取单元，还用于从所述流式存储系统读取与所述订单标识对应的第二广告订单信息；

所述确认单元，还用于将所述用户画像信息和所述第二广告订单信息确定为所述初始广告投放参数。

9.根据权利要求6至8任一所述的装置，其特征在于，所述目标广告投放参数和所述初始广告投放参数均包括n个数据项，所述获取模块，还用于获取所述目标广告投放参数中的第i个第一数据项，i≥1且i≤n；

所述获取模块，还用于获取所述初始广告投放参数中的第i个第二数据项；

检测模块，用于检测所述第i个第一数据项与所述第i个第二数据项是否一致；

执行模块，用于若所述第i个第一数据项与所述第i个第二数据项一致且i小于n，则令i＝i+1，再次执行所述获取所述目标广告投放参数中的第i个第一数据项的步骤；

所述执行模块，还用于若所述第i个第一数据项与所述第i个第二数据项一致且i等于n，则确定所述目标广告投放参数和所述初始广告投放参数一致。

10.根据权利要求9所述的装置，其特征在于，所述装置，还包括：

生成模块，用于若所述第i个第一数据项和第i个第二数据项不一致，则根据所述第i个第一数据项与所述第i个第二数据项生成告警日志；

显示模块，用于显示所述告警日志。

11.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如如权利要求1至5任一所述的机器学习方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的机器学习方法。

13.一种计算机系统，其特征在于，所述计算机系统包括在线预测系统、流式存储系统、流式校验系统和机器学习系统，所述流式校验系统包括如权利要求6至10任一所述的机器学习装置。