CN110503206A - 一种预测模型更新方法、装置、设备及可读介质 - Google Patents
一种预测模型更新方法、装置、设备及可读介质 Download PDFInfo
- Publication number
- CN110503206A CN110503206A CN201910733567.2A CN201910733567A CN110503206A CN 110503206 A CN110503206 A CN 110503206A CN 201910733567 A CN201910733567 A CN 201910733567A CN 110503206 A CN110503206 A CN 110503206A
- Authority
- CN
- China
- Prior art keywords
- model
- prediction model
- evaluation index
- behavior data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000011156 evaluation Methods 0.000 claims abstract description 192
- 230000003542 behavioural effect Effects 0.000 claims abstract 3
- 230000006399 behavior Effects 0.000 claims description 131
- 239000000523 sample Substances 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 63
- 239000013074 reference sample Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例公开了一种预测模型更新方法、装置、设备及可读介质。方案包括：获取用户的行为数据；根据所述行为数据对第一预测模型进行训练得到第二预测模型；根据评估样本对所述第二预测模型进行评估得到模型评估指标；判断所述模型评估指标是否优于基准评估指标，得到判断结果；当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种预测模型更新方法、装置、设备及可读介质。
背景技术
随着计算机技术的发展，机器学习不断进入人们的生活中，机器学习产生的模型在线上服务的使用越来越多，例如一些视频、音频、购物等个性化推荐服务，还有一些金融类的欺诈提醒服务等，主要采用机器学习的在线学习过程，根据用户的一些行为实时为用户提供一些服务信息供用户选择。
现有技术中，一般会采用实时获取用户行为进行模型的实时更新，进而根据用户当前的行为为用户提供一些满足当前时刻的信息，这种方法仅可能最大限度的满足当前时刻用户的需求，对用户在一段时间内的需求的适应性较差，提供的信息的稳定性较弱。
发明内容
有鉴于此，本申请实施例提供了一种预测模型方法、装置、设备及可读介质，用于提高预测结果的稳定性，可满足用户在一段时间内的需求。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供的一种预测模型更新方法，包括：
获取用户的行为数据；
根据所述行为数据对第一预测模型进行训练得到第二预测模型；
根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据；
判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于所述第二预设数量；
当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
本说明书实施例提供的一种预测模型更新装置，包括：
数据获取模块，用于获取用户的行为数据；
模型训练模块，用于根据所述行为数据对第一预测模型进行训练得到第二预测模型；
模型评估模块，用于根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据；
结果判断模块，用于判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于第二预设数量；
预测模型更新模块，用于当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
本说明书实施例提供的一种预测模型更新设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取用户的行为数据；
根据所述行为数据对第一预测模型进行训练得到第二预测模型；
根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据；
判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于第二预设数量；
当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
本说明书实施例提供的一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述任一项所述预测模型更新方法的步骤。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例中借助基准模型判断预测模型是否进行更新，避免因不停的更新模型导致模型长时间的召回率降低，有效缓解了在线学习中预测模型实时更新带来的预测结果不稳定的情况，可以为用户提供更符合用户行为数据的预测结果，提高用户的体验性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种预测模型更新方法的应用场景的示意图；
图2为本说明书实施例提供的一种预测模型更新方法的流程示意图；
图3为本说明书实施例提供的一种预测模型更新方法的原理框图；
图4为本说明书实施例提供的当所述判断结果表示所述模型评估指标不优于所述基准评估指标时的方法步骤流程示意图；
图5为本说明书实施例提供的当所述判断结果表示所述模型评估指标不优于所述基准评估指标时的另一种方法步骤流程示意图；
图6为本说明书实施例提供的一种预测模型更新装置的结构示意图；
图7为本说明书实施例提供的一种预测模型更新设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
传统的批量算法的每次迭代是对全体训练数据集进行计算(例如计算全局梯度)，优点是精度和收敛可以，缺点是无法有效处理大数据集(此时全局梯度计算代价太大)，且没法应用于数据流做在线学习。在线学习算法的特点是：每来一个训练样本，就用该样本产生的损失(loss)和梯度对模型迭代一次，一个一个数据地进行训练，因此可以处理大数据量训练和在线训练。
在线学习(Online Learning)，是一种机器学习中模型的训练方法，其能够根据线上反馈数据，实时快速的进行模型调整，使得模型及时反馈线上的变化，提高线上预测的准确率。传统的训练方法，模型上线后，更新的周期会比较长(一般是一天，效率高的时候为一小时)，这种模型上线后，一般是静态的(一段时间内不会改变)，不会与线上的状况有任何互动，假设预测错了，只能在下一次更新的时候完成更正。在线学习的训练方法不同，会根据线上预测的结果动态调整模型，如果模型预测错误，会及时做出修正。因此，在线学习能够更加及时地反映线上变化。
在线学习的流程可以包括：将模型的预测结果展现给用户，然后收集用户的反馈数据，再用来训练模型，形成闭环的系统。
常用的在线学习算法可以包括FTRL(Follow The Regularized Leader)算法，是一种适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法，方便实用，而且效果很好，常用于更新在线的CTR(Click-Through Rate Prediction，点击率预估)模型。
LR(Logistic Regerssion，逻辑回归)算法：是一种非线性回归模型算法，特征数据可以是连续的，也可以是分类变量和哑变量，是当前业界比较常用的机器学习方法，用于估计某种事物的可能性，主要的用途：分类问题，如反垃圾系统判别，通过计算被标注为垃圾邮件的概率和非垃圾邮件的概率判定等；排序问题，如推荐系统中的排序，根据转换预估值进行排序等；预测问题，如广告系统中CTR预估，根据CTR预估值预测广告收益等。
现有技术中线上学习模型更新的算法中一般是将采集到的数据直接更新模型，用更新后的模型进行后续数据的处理，这种方法虽然可以及时的反馈用户当下的情况，但可能会偏离用户的真实需求，无法保证一段时间的最优解，无法为用户提供较稳定的预测结果。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本说明书实施例提供的一种预测模型更新方法的应用场景的示意图。如图1所示，整体架构中，主要包括用户1、终端2、服务器3。用户1通过在终端2上的操作，向服务器3发出某种指令，服务器3中包括在线学习的模型，模型根据用户1的操作进行在线学习产生结果展示在终端2中，用户1可以对展示在终端2中的结果进行相应的反馈，用户1反馈的结果可以传输到服务器3中，可以用于对模型进行调整。例如，用户1为某金融应用的注册用户，用户1通过终端2中金融应用的界面搜索一些理财产品，服务器3可以是此金融应用的服务器，接收到用户1的请求信息后，会根据用户1的之前的一些搜索内容、浏览记录或者用户1的注册信息，推荐给用户1一些较大程度符合用户1需求的理财产品，供用户1选择或查看，还可以将用户的选择或查看结果作为反馈信息，反馈给服务器3，进而对用户1的后续需求进行预测。在实际应用中，还可以将用户1在终端2中的操作信息，如注册信息、搜索记录、浏览记录等，保存在数据库4中，在使用时从数据库4中调取即可。服务器3可以是同一设备，也可以是不同的设备，可以是单台设备，也可以是多台设备组成的系统。
图2为本说明书实施例提供的一种预测模型更新方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器的程序或应用客户端。
如图2所示，本说明书实施例提供的预测模型主要是基于用户行为数据的模型，该流程可以包括以下步骤：
步骤201：获取用户的行为数据。
随着计算机技术的发展，通过机器学习为用户提供的服务越来越多，在学习构成中，构建模型的基础是大量的数据，本说明书实施例中是依据用户的行为数据进行的学习，用户的行为数据可以存储在用户行为日志中，可以包括，用户在某些应用或者网页中进行各种操作所产生的数据，如用户点击某应用中的某窗口浏览其中的信息，或者在搜索窗口进行搜索操作等，具体的行为数据的表现形式这里不做限定，只要是可以被服务器获取的操作即可。
步骤202：根据所述行为数据对第一预测模型进行训练得到第二预测模型。
本说明书实施例中第一预测模型具体可以包括用于预测推荐信息的模型、用于预测评估的模型或用于预测欺诈的模型中任一种。例如，第一预测模型可以包括为用户推荐音频、视频、消息等的推荐信息预测模型，如用于为用户提供推荐新闻消息服务的模型；也可以包括根据用户的搜索内容，提供搜索结果的评估预测模型，如某电商平台根据用户的搜索，提供搜索结果，并按照推测的用户需求将搜索结果进行一定的排序展现给用户；还可以包括根据用户的一些行为，判断是否存在欺诈可能的欺诈预测模型，如电子银行的一些反欺诈系统，这些服务中应用的预测模型均可使用本说明书实施例中提供的预测模型，即第一预测模型或第二预测模型。
步骤203：根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据。
本说明书实施例中对第一预测模型进行更新后得到第二预测模型，需要进一步对得到的第二预测模型进行评估，再决定是否采用更新后的第二预测模型。
步骤204：判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于所述第二预设数量。
本说明书实施例中根据同样的评估样本对第二预测模型和基准模型进行评估，得到各自的评估结果，进而通过评估结果判断哪个模型的性能更优一些。
步骤205：当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
本说明书实施例中第一预测模型更新可以得到第二预测模型，但并不直接采用第二预测模型进行预测服务，而是选择泛化能力较好的模型，其中当第二预测模型的模型评估指标优于基准模型的基准评估指标时，才会将第二预测模型真正推送到供用户使用的层级，即在预测服务中完成模型的更新。
本说明书实施例中借助基准模型判断是否采用更新后的模型，避免因不停的更新模型导致模型长时间的召回率降低，有效缓解了在线学习中预测模型实时更新带来的预测结果不稳定的情况，可以为用户提供更符合用户行为数据的预测结果，提高用户的体验性。
图3为本说明书实施例提供的一种预测模型更新方法的原理框图，如图3所示。根据用户的行为数据生成样本，可以将样本拆分出训练样本和评估样本，利用训练样本对第一预测模型进行训练得到第二预测模型，然后利用评估样本对第二预测模型和基准模型分别进行评估得到各自的评估指标，当第二预测模型的评估指标优于基准模型的评估指标时，将第二预测模型进行推送，即更新第一预测模型为第二预测模型，完成预测服务。
在实际应用中，可以利用用户的历史行为数据训练模型得到第一预测模型和基准模型，历史行为数据可以包括用户的历史操作数据、身份信息数据、用户的反馈信息等，也可以采用统计的大数据训练模型得到初始的第一训练模型，初始的基准模型可以采用初始的第一训练模型，并随着后续不断行为数据的采集，第一训练模型进行更新，使预测结果更符合用户的需求。
本说明书实施例基准模型可以根据基准样本训练得到，为保证基准模型的具有较优的性能指标，可以采用历史通用的样本进行训练，如根据用户的历史为行为数据得到的一些已知特征的样本对模型进行训练得到基准模型，例如，以上面的推荐电影的基准模型为例，可以采用用户真正喜欢的电影为样本对模型进行训练，进而可以得到更准确的推荐结果。还可以采用靠近用户发出行为数据时一段时间内的历史行为数据作为样本，并且可以采用较大数量的历史行为数据作为样本对模型进行训练得到基准模型，由于较大的历史行为数据更能体验用户的真实需求，也就可以提高基准模型的预测准确性。
本说明书实施例提供的方法中，如图2中的步骤206，当所述判断结果表示所述模型评估指标不优于所述基准评估指标时，保持所述第一预测模型不变，在后续的预测过程中，可以继续使用第一预测模型进行预测，避免了模型的不停更新，有利于预测结果的稳定性。
在保证预测稳定性的同时为进一步提高预测的准确性，本说明书提供的更新方法还可以包括：当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述基准模型更新为所述第二预测模型。利用性能指标更优越的第二预测模型替代基准模型，在后续的处理过程中采用性能指标更优越的新的基准模型与预测模型进行比较，从而可以获得更准确的预测结果。
由于用户的需求可能在短时间里不会发生大的变动，为了保证预测的准确性，本说明书实施例的评估样本可以包括基准样本的部分或者全部，这样可以保证基准模型的性能较优，也可以为第二预测模型的评估提供一个较稳定的评估标准，也一定程度上可以提高预测的准确定和稳定性。
第一预测模型也可以根据上述基准模型的训练方式得到，也可以采用其他方式获得，具体方式这里不做限定。
本说明书实施提供的所述模型评估指标和所述基准评估指标的类型相同，所述模型评估指标可以包括：所述第二预测模型的精确率、召回率、ROC曲线的AUC值或CTR值中至少一种；所述基准评估指标可以包括：所述基准模型的精确率、召回率、ROC曲线的AUC值或CTR值中至少一种。
其中，精确率可以理解为是针对预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本，可以理解为正确预测为正的占全部预测为正的比例；召回率可以理解为是针对样本而言的，它表示的是样本中的正例有多少被预测正确了，可以理解为正确预测为正的占全部实际为正的比例。
例如，用户通过某视频软件观看电影，此软件中具有推荐功能，可以为用户推荐用户喜欢的电影。其中，可以根据用户的一些观看电影的历史记录推测用户喜欢的电影，进而将一些类似的电影推荐给用户。假设用户真正喜欢的是喜剧类的电影，在历史记录中也存在大量的喜剧电影，同时也存在一些动作电影、科幻电影、悬疑电影等。假设此软件的电影库里包含50部喜剧类型的电影，其中包括30部用户真正喜欢的喜剧类电影。假设第二预测模型推荐出了25部电影，这25部电影中有20部是用户真正喜欢的，则可以得到第二预测模型的精确率为0.8，召回率为0.667；假设基础模型推荐出了25部电影，其中有16部是用户真正喜欢的，则可以得到基准模型的精确率为0.64，召回率为0.533。此时，可以判断第二预测模型的模型模型评估指标优于基准模型的基准评估指标，进而可以选择进行模型更新，将第一预测模型更新为第二预测模型。为了后续预测的准确性，还可以将基准模型也更新为第二预测模型。
在实际应用中还可以采用CTR值、ROC曲线或者ROC曲线的AUC值对模型进行评估，具体采用哪些评估指标这里不做具体限定，可以根据具体的情况进行选择，只要能够合理的对第二预测模型和基准模型进行评估即可。
本说明书实施例提供的方法中根据所述行为数据对第一预测模型进行训练得到第二预测模型，具体可以包括：
获取训练样本，所述训练样本至少可以包括所述行为数据以及所述用户的历史行为数据；基于所述训练样本对第一预测模型进行训练得到第二预测模型。
将当前的用户的行为数据包含在训练样本中对第一预测模型进行训练，如果当前的用户的行为数据时符合用户通常的行为需求的数据，则训练得到的第二预测模型可以更好的为用户提供预测服务；并且由于训练样本中还可以包括用户的历史行为数据，而历史行为数据中包含一定量符合用户通常的行为需求的数据，这样即使当前的用户的行为数据并不是用户通常的行为需求数据时，第二预测模型也可以预测出部分符合用户需求的信息。
在实际应用中，在对模型进行训练时，还可以对训练样本进行预处理，具体可以包括，对训练样本进行数据聚合、数据加工、或特征工程处理中至少一种操作处理。
其中，数据聚合可以理解为根据某个标准对数据进行分组；数据加工可以理解为负责从各个数据源加工提取出原始数据，主要是做数据准备的工作。
特征工程：数据是信息的载体，但是原始的数据包含了大量的噪声，信息的表达也不够简练。因此，特征工程的目的，是通过一系列的工程活动，将这些信息使用更高效的编码方式或特征表示。使用特征表示的信息，信息损失较少，原始数据中包含的规律依然保留。此外，新的编码方式还需要尽量减少原始数据中的不确定因素的影响，如白噪声、异常数据、数据缺失等等因素的影响。主要包括：
有效特征提取：结合要实现的目标以及业务理解确定需要哪些数据；通过可用性评估，如获取难度，覆盖率，准确率等，确定特征范畴；
特征处理：主要分为两个部分特征清洗和特征预处理；其中特征清洗可以包括清洗异常样本、均衡采样，特征预处理可以包括归一化，离散化，特征变换，缺失值填充，特征降维，特征选择等。
特征分析：分析特征的最终效果和重要性，监控特征效果。
预处理的方式还有很多，这里不再一一赘述，在实际应用中选择合适的预处理方式即可。
本说明书实施例提供的方法中利用评估样本对第二预测模型和基准模型进行评估，其中可以将得到的基准模型的基准评估指标进行保存，当基准模型和评估样本不变时，得到的基准评估指标不变，在利用基准评估指标对第二预测模型的模型评估指标进行比较时，可以直接调取基准评估指标，无需再利用基准模型对评估指标进行处理，可以减少服务器的工作量，也可以一定程度上提高预测效率。
本说明书实施例提供的方法中评估样本也可以进行更新处理，具体可以包括：
获取所述评估样本的使用持续时间；所述评估样本包括第一时间段内生成的历史行为数据。在实际应用中可将用户的历史行为数据记录在用户的行为日志中，当需要时，可以从日志中调取，也可以记录在其他地方，如为用户设置数据库，将用户的信息以及行为数据均存储在数据库中，具体的存储方式这里不做限定，只要可以符合场景需求即可。
当所述评估样本的使用持续时间超过第一预设使用时间时，采用第二时间段内的历史行为数据作为新的评估样本；所述第二时间段的起始时间晚于所述第一时间段的起始时间。
例如，用户利用某金融服务平台查看一些金融信息，用户从注册到当前的所有历史行为数据都可以存在在用户的行为日志中，假设用户使工薪阶层的一员，想投资一些基金，关注较多的是风险低、收益平稳的基金类型，当前的评估样本中包括了用户在1月和2月的历史行为数据，由于基金产品的不断更新或者用户的需求有了变化，当评估样本的使用持续时间超过一个月时，当前的评估样本可能不能很好的体现当前用户的需求，此时可以将2月和3月的历史行为数据包含在新的评估样本中，这样可以使评估结果更接近用户的需求。上述实例中，第一时间段和第二时间段有重合的部分，在实际应用中也可以将第一时间段和第二时间段设置为不重合的时间段，并且第一预设使用时间、第一时间段以及第二时间段都可以根据实际需要进行设定，具体数值这里不做限定，只要能够满足应用场景的需求即可。
本说明书实施例提供的方法中基准模型也可以进行更新处理，具体可以包括：
获取所述基准模型的使用持续时间；所述基准模型为基于第三时间段内获取的历史行为数据训练得到的。
当所述基准模型的使用持续时间超过第二预设时间时，采用第四时间段内的历史行为数据作为新的基准样本；所述第四时间段的起始时间晚于所述第三时间段的起始时间；
基于所述新的基准样本对所述基准模型进行训练得到更新后的基准模型。
例如，为了使预测结果在保证一定的稳定性时还具有一定的精确性，尽可能的接近用户的真实需求或某些特定场景，可以将基准模型进行定时的更新，仍以上述用户关注的金融信息为例，假设设定的基准模型的更新时间为一个月(即第二预设时间)，当前获取用户的行为数据的时间为5月份，基准模型在更新前是采用的包含3月份历史行为数据的基准样本训练得到的，假设到目前为止基准模型已经有一个月没有更新过，此时，就可以采用包含4月份历史行为数据的样本作为新的基准样本对基准模型进行训练得到新的基准模型。新的基准样本中包含了距离当前时间较近的历史行为数据，可以更好的体现近期用户的需求，当第一预测模型根据当前用户的行为数据进行模型更新得到第二预测模型时，由于新的基准模型也更符合当前时间段用户的需求，进而可以作为评估标准对第二预测模型进行评估，在一定程度上提高了预测的精确性，并且第一预测模型也可以不因后续采集的每次行为数据都更新为第二预测模型，使在线模型更新时一定程度上保证离开全局最优解，保证了一段时间周期内的整体模型效果。
同样上述实例中，第三时间段和第四时间段是不重合的时间段，在实际应用中也可以将第三时间段和第四时间段设置为包含重合部分的时间段，并且第二预设使用时间、第三时间段以及第四时间段都可以根据实际需要进行设定，具体数值这里不做限定，只要能够满足应用场景的需求即可。
基于上述图2的方法，图4为本说明书实施例提供的当所述判断结果表示所述模型评估指标不优于所述基准评估指标时的方法步骤流程示意图，如图4所示，本说明书实施例提供的方法还可以包括：
步骤401：当所述判断结果表示所述模型评估指标不优于所述基准评估指标时，统计所述第一预测模型的保持次数；
步骤402：当所述保持次数大于或等于预设的模型保持次数时，基于所述第一预测模型的保持次数中的历史行为数据对所述第一预测模型进行更新，得到更新后的第一预测模型；
步骤403：将所述基准模型更新为所述更新后的第一预测模型。
在实际应用中，当用户由于某些原因改变了平时的一些习惯或者方法，即行为数据发生较大变化时，例如假设用户从事某金融行业，之前关注的是基金类产品，但由于工作调整，现在以及后续一段时间需要关注股票类产品，由于第一预测模型和基准模型都是根据用户之前的历史行为数据进行训练得到的，当此时获得的用户的行为数据与之前的行为数据偏差交大时，可能会使第二预测模型的模型评估指标一直低于基准模型的基准评估指标，此时第一预测模型将不会更换为第二预测模型，即在预测的过程中一直使用第一预测模型进行预测，而由于用户改变了之前常用的行为数据，并且可能是长时间的改变，这是导致出现的预测结果会偏离用户的需求，例如，预测结果中仍包含更多的基金类产品，而客户想要关注的基金类产品较少，这样可能会降低用户的满意度。
当面对这种行为数据发生较大的变化时，并且不是偶然的变化，本说明书实施例提供的方法中可以根据第一预测模型的保持次数对第一预测模型和基准模型进行更新，以满足用户的需求，例如，当第一预测模型的保持次数大于或等于50次时，就可以采集这50次的历史行为数据，基于这50次的历史行为数据对第一预测模型进行训练得到新的第一预测模型，在实际应用中，还可以采集50次历史行为数据之前的数据同这50次的历史行为数据组成训练集对第一预测模型进行训练得到更新后的第一预测模型。由于基准模型也可能不适应此时的用户需求，还可以将基准模型更新为新的第一预测模型进行后续的预测处理。需要说明的是，预设的模型保持次数可以根据具体的需求进行设定，具体数据数值这里不做限定，只要能够符合场景需求即可。本说明书实施例提供的方法既可以满足用户需求的变换，还可以提供稳定的预测结果，不会因用户的行为数据发生偶然的变化而出现预测结果的偏差，降低用户的体验性。
基于上述图2的方法，图5为本说明书实施例提供的当所述判断结果表示所述模型评估指标不优于所述基准评估指标时的另一种方法步骤流程示意图，如图5所示，本说明书实施例提供的方法还可以包括：
步骤501：当所述判断结果所述模型评估指标不优于所述基准评估指标时，统计所述第一预测模型的保持时间；
步骤502：当所述保持时间大于或等于预设的模型保持时间时，基于所述第一预测模型的保持时间中的历史行为数据对所述第一预测模型进行更新，得到更新后的第一预测模型；
步骤503：将所述基准模型更新为所述更新后的第一预测模型。
同样，为了适应用户的行为数据发生较大的变化，且不是偶然变化，本说明书实施提供的方法中还可以根据第一预测模型的保持时间对第一预测模型和基准模型进行更新，以满足用户的需求。具体过程同上述过程类似，这里不做赘述，其中预设的模型保持时间可以根据具体的需求进行设定，具体数据数值这里不做限定，只要能够符合场景需求即可。
另外，当面对新的用户时，由于用户使用本说明书实施例提供的方法的次数或者时间有限，用户的历史行为数据不够完善，利用用户的历史行为数据进行模型训练得到模型的性能可能较低，面对这种情况，本说明书实施例提供的方法中在获取用户的行为数据之前，还可以包括：
当所述用户的真实历史行为数据的数量小于或等于预设的历史行为数据的最低阈值时，获取所述用户的相似用户的历史行为数据；所述用户的相似用户为与所述用户具有相同或相近特征的用户；
将所述用户的真实历史行为数据和所述用户的相似用户的历史行为数据的集合作为所述用户的历史行为数据。
其中，用户的相似用户可以包括与用户具有相似个人信息，如性别、年龄、学历、职业或昵称等等；也可以具有相似的关联信息，如具有相似的购物记录、交易记录、信息浏览记录等；也可以根据IP地址或其他网络标识获取一些关联信息，如虚拟网络终端地址、终端中垃圾清理时间等等。当用户的真实历史行为数据较少甚至是没有时，就可以先将相似用户的数据看做是用户的历史行为数据，这样即使用户时新用户，也可以为用户提供比较符合需求的服务。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图6为本说明书实施例提供的一种预测模型更新装置的结构示意图。如图6所示，该装置可以包括：
数据获取模块600，用于获取用户的行为数据；
模型训练模块610，用于根据所述行为数据对第一预测模型进行训练得到第二预测模型；
模型评估模块620，用于根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据；
结果判断模块630，用于判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于第二预设数量；
预测模型更新模块640，用于当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
可选的，本说明书实施例提供的装置，还可以包括：
预测模型保持模块，用于当所述判断结果表示所述模型评估指标不优于所述基准评估指标时，保持所述第一预测模型不变。
可选的，本说明书实施例提供的装置，还可以包括：
基准模型更新模块，用于当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述基准模型更新为所述第二预测模型。
可选的，本说明书实施例提供的装置，还可以包括：
评估样本更新模块，用于将所述评估样本进行更新处理，具体可以用于：
获取所述评估样本的使用持续时间；所述评估样本包括第一时间段内生成的历史行为数据；
当所述评估样本的使用持续时间超过第一预设使用时间时，采用第二时间段内的历史行为数据作为新的评估样本；所述第二时间段的起始时间晚于所述第一时间段的起始时间。
可选的，本说明书实施例提供的装置，还可以包括基准模型自动更新模块，用于将所述基准模型进行更新处理，具体可以用于：
获取所述基准模型的使用持续时间；所述基准模型为基于第三时间段内获取的历史行为数据训练得到的；
当所述基准模型的使用持续时间超过第二预设使用时间时，采用第四时间段内的历史行为数据作为新的基准样本；所述第四时间段的起始时间晚于所述第三时间段的起始时间；
基于所述新的基准样本对所述基准模型进行训练得到更新后的基准模型。
可选的，本说明书实施例提供的装置，还可以包括第一模型更新模块，具体可以用于：
当所述判断结果表示所述模型评估指标不优于所述基准评估指标时，统计所述第一预测模型的保持次数；
当所述保持次数大于或等于预设的模型保持次数时，基于所述第一预测模型的保持次数中的历史行为数据对所述第一预测模型进行更新，得到更新后的第一预测模型；
将所述基准模型更新为所述更新后的第一预测模型。
可选的，本说明书实施例提供的装置，还可以包括第二模型更新模块，具体可以用于：
当所述判断结果表示所述模型评估指标不优于所述基准评估指标时，统计所述第一预测模型的保持时间；
当所述保持时间大于或等于预设的模型保持时间时，基于所述第一预测模型的保持时间中的历史行为数据对所述第一预测模型进行更新，得到更新后的第一预测模型；
将所述基准模型更新为所述更新后的第一预测模型。
基于同样的思路，本说明书实施例还提供了上述方法对应的设备。
图7为本说明书实施例提供的一种预测模型更新设备的结构示意图。如图7所示，设备700可以包括：
至少一个处理器710；以及，
与所述至少一个处理器通信连接的存储器730；其中，
所述存储器730存储有可被所述至少一个处理器710执行的指令720，所述指令被所述至少一个处理器710执行，以使所述至少一个处理器710能够：
获取用户的行为数据；
根据所述行为数据对第一预测模型进行训练得到第二预测模型；
根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据；
判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于第二预设数量；
当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
本说明书实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述预测模型更新方法中任一处理步骤。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell UniversityProgramming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、AtmelAT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (17)
1.一种预测模型更新方法，包括：
获取用户的行为数据；
根据所述行为数据对第一预测模型进行训练得到第二预测模型；
根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据；
判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于所述第二预设数量；
当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
2.如权利要求1所述的方法，还包括：
当所述判断结果表示所述模型评估指标不优于所述基准评估指标时，保持所述第一预测模型不变。
3.如权利要求1所述的方法，还包括：
当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述基准模型更新为所述第二预测模型。
4.如权利要求1所述的方法，所述评估样本包括所述基准样本的部分或者全部。
5.如权利要求1所述的方法，所述第一预测模型具体包括用于预测推荐信息的模型、用于预测评估的模型或用于预测欺诈的模型中任一种。
6.如权利要求1所述的方法，所述模型评估指标和所述基准评估指标的类型相同，所述模型评估指标包括：所述第二预测模型的精确率、召回率、ROC曲线的AUC值或CTR值中至少一种；
所述基准评估指标包括：所述基准模型的精确率、召回率、ROC曲线的AUC值或CTR值中至少一种。
7.如权利要求1所述的方法，所述根据所述行为数据对第一预测模型进行训练得到第二预测模型，具体包括：
获取训练样本，所述训练样本至少包括所述行为数据以及所述用户的历史行为数据；
基于所述训练样本对第一预测模型进行训练得到第二预测模型。
8.如权利要求1所述的方法，还包括：将所述评估样本进行更新处理，具体包括：
获取所述评估样本的使用持续时间；所述评估样本包括第一时间段内生成的历史行为数据；
当所述评估样本的使用持续时间超过第一预设使用时间时，采用第二时间段内的历史行为数据作为新的评估样本；所述第二时间段的起始时间晚于所述第一时间段的起始时间。
9.如权利要求1所述的方法，还包括，将所述基准模型进行更新处理，具体包括：
获取所述基准模型的使用持续时间；所述基准模型为基于第三时间段内获取的历史行为数据训练得到的；
当所述基准模型的使用持续时间超过第二预设使用时间时，采用第四时间段内的历史行为数据作为新的基准样本；所述第四时间段的起始时间晚于所述第三时间段的起始时间；
基于所述新的基准样本对所述基准模型进行训练得到更新后的基准模型。
10.如权利要求1所述的方法，还包括：
当所述判断结果表示所述模型评估指标不优于所述基准评估指标时，统计所述第一预测模型的保持次数；
当所述保持次数大于或等于预设的模型保持次数时，基于所述第一预测模型的保持次数中的历史行为数据对所述第一预测模型进行更新，得到更新后的第一预测模型；
将所述基准模型更新为所述更新后的第一预测模型。
11.如权利要求1所述的方法，还包括：
当所述判断结果表示所述模型评估指标不优于所述基准评估指标时，统计所述第一预测模型的保持时间；
当所述保持时间大于或等于预设的模型保持时间时，基于所述第一预测模型的保持时间中的历史行为数据对所述第一预测模型进行更新；
将所述基准模型更新为更新后的第一预测模型。
12.如权利要求1所述的方法，所述获取用户的行为数据之前，还包括：
当所述用户的真实历史行为数据的数量小于或等于预设的历史行为数据的最低阈值时，获取所述用户的相似用户的历史行为数据；所述用户的相似用户为与所述用户具有相同或相近特征的用户；
将所述用户的真实历史行为数据和所述用户的相似用户的历史行为数据的集合作为所述用户的历史行为数据。
13.一种预测模型更新装置，包括：
数据获取模块，用于获取用户的行为数据；
模型训练模块，用于根据所述行为数据对第一预测模型进行训练得到第二预测模型；
模型评估模块，用于根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据；
结果判断模块，用于判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于第二预设数量；
预测模型更新模块，用于当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
14.如权利要求13所述的装置，还包括：
预测模型保持模块，用于当所述判断结果所述模型评估指标不优于所述基准评估指标时，保持所述第一预测模型不变。
15.如权利要求13所述的装置，还包括：
基准模型更新模块，用于当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述基准模型更新为所述第二预测模型。
16.一种预测模型更新设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取用户的行为数据；
根据所述行为数据对第一预测模型进行训练得到第二预测模型；
根据评估样本对所述第二预测模型进行评估得到模型评估指标；所述评估样本包括第一预设数量的所述用户的历史行为数据；
判断所述模型评估指标是否优于基准评估指标，得到判断结果；所述基准评估指标为根据所述评估样本对基准模型进行评估得到的评估指标；所述基准模型为基于基准样本进行训练得到的模型，所述基准样本包括第二预设数量的所述用户的历史行为数据，所述第一预设数量小于或等于第二预设数量；
当所述判断结果表示所述模型评估指标优于所述基准评估指标时，将所述第一预测模型更新为所述第二预测模型。
17.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1至12中任一项所述的基于用户行为数据的预测模型更新方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910733567.2A CN110503206A (zh) | 2019-08-09 | 2019-08-09 | 一种预测模型更新方法、装置、设备及可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910733567.2A CN110503206A (zh) | 2019-08-09 | 2019-08-09 | 一种预测模型更新方法、装置、设备及可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110503206A true CN110503206A (zh) | 2019-11-26 |
Family
ID=68587968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910733567.2A Pending CN110503206A (zh) | 2019-08-09 | 2019-08-09 | 一种预测模型更新方法、装置、设备及可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503206A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110890985A (zh) * | 2019-11-27 | 2020-03-17 | 北京邮电大学 | 虚拟网络映射方法及其模型训练方法、装置 |
| CN111125519A (zh) * | 2019-12-11 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 用户行为预测方法、装置、电子设备以及存储介质 |
| CN111126495A (zh) * | 2019-12-25 | 2020-05-08 | 广州市百果园信息技术有限公司 | 模型训练方法、信息预测方法、装置、存储介质及设备 |
| CN111242506A (zh) * | 2020-02-06 | 2020-06-05 | 杭州飞步科技有限公司 | 影响订单转换的特征的确定方法、装置、设备及存储介质 |
| CN111260419A (zh) * | 2020-02-20 | 2020-06-09 | 世纪龙信息网络有限责任公司 | 获取用户属性的方法、装置、计算机设备和存储介质 |
| CN111460292A (zh) * | 2020-03-30 | 2020-07-28 | 百度在线网络技术（北京）有限公司 | 模型评估方法、装置、设备和介质 |
| CN111652379A (zh) * | 2020-05-29 | 2020-09-11 | 京东城市(北京)数字科技有限公司 | 模型管理方法、装置、电子设备及存储介质 |
| CN111815177A (zh) * | 2020-07-10 | 2020-10-23 | 杭州海康消防科技有限公司 | 消防安全评估方法、服务器、系统及存储介质 |
| CN112215357A (zh) * | 2020-09-29 | 2021-01-12 | 三一专用汽车有限责任公司 | 模型优化方法、装置、设备和计算机可读存储介质 |
| CN112380273A (zh) * | 2020-11-11 | 2021-02-19 | 北京达佳互联信息技术有限公司 | 数据预估方法及装置 |
| CN112489794A (zh) * | 2020-12-18 | 2021-03-12 | 推想医疗科技股份有限公司 | 一种模型的训练方法、装置、电子终端及存储介质 |
| CN112561575A (zh) * | 2020-12-08 | 2021-03-26 | 上海优扬新媒信息技术有限公司 | 一种ctr预估模型选择方法及装置 |
| CN113422751A (zh) * | 2020-08-27 | 2021-09-21 | 阿里巴巴集团控股有限公司 | 基于在线强化学习的流媒体处理方法、装置及电子设备 |
| CN113449773A (zh) * | 2021-05-26 | 2021-09-28 | 北京有竹居网络技术有限公司 | 模型更新方法、装置、存储介质及电子设备 |
| CN113487103A (zh) * | 2021-07-26 | 2021-10-08 | 平安银行股份有限公司 | 模型更新方法、装置、设备及存储介质 |
| CN113642622A (zh) * | 2021-08-03 | 2021-11-12 | 浙江数链科技有限公司 | 数据模型的效果评估方法、系统、电子装置和存储介质 |
| CN113674855A (zh) * | 2020-05-13 | 2021-11-19 | 阿里健康信息技术有限公司 | 一种数据分析方法及装置 |
| CN113705827A (zh) * | 2021-07-29 | 2021-11-26 | 阿里巴巴新加坡控股有限公司 | 一种模型评估方法、装置及电子设备 |
| CN113935788A (zh) * | 2021-12-17 | 2022-01-14 | 腾讯科技（深圳）有限公司 | 模型评估方法、装置、设备及计算机可读存储介质 |
| CN114386525A (zh) * | 2022-01-17 | 2022-04-22 | 中国人民解放军国防科技大学 | 一种评估标准的自适应调整方法、装置、设备和存储介质 |
| CN114820074A (zh) * | 2022-05-16 | 2022-07-29 | 郑州简信软件科技有限公司 | 基于机器学习的目标用户群体预测模型构建方法 |
| CN115081787A (zh) * | 2022-03-10 | 2022-09-20 | 上海数中科技有限公司 | 一种模型管理方法及系统 |
| CN116843388A (zh) * | 2023-08-29 | 2023-10-03 | 新义互联(北京)科技有限公司 | 一种广告投放分析方法及系统 |
| CN117061198A (zh) * | 2023-08-30 | 2023-11-14 | 广东励通信息技术有限公司 | 一种基于大数据的网络安全预警系统及方法 |
| CN117522156A (zh) * | 2023-10-17 | 2024-02-06 | 江苏尚诚能源科技有限公司 | 基于大数据分析的分布式光伏预测评估方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017143921A1 (zh) * | 2016-02-26 | 2017-08-31 | 阿里巴巴集团控股有限公司 | 一种多重抽样模型训练方法及装置 |
| CN108509644A (zh) * | 2018-04-12 | 2018-09-07 | 成都优易数据有限公司 | 一种具备模型预警更新机制的数据挖掘方法 |
| CN109003091A (zh) * | 2018-07-10 | 2018-12-14 | 阿里巴巴集团控股有限公司 | 一种风险防控处理方法、装置及设备 |
-
2019
- 2019-08-09 CN CN201910733567.2A patent/CN110503206A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017143921A1 (zh) * | 2016-02-26 | 2017-08-31 | 阿里巴巴集团控股有限公司 | 一种多重抽样模型训练方法及装置 |
| CN108509644A (zh) * | 2018-04-12 | 2018-09-07 | 成都优易数据有限公司 | 一种具备模型预警更新机制的数据挖掘方法 |
| CN109003091A (zh) * | 2018-07-10 | 2018-12-14 | 阿里巴巴集团控股有限公司 | 一种风险防控处理方法、装置及设备 |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110890985A (zh) * | 2019-11-27 | 2020-03-17 | 北京邮电大学 | 虚拟网络映射方法及其模型训练方法、装置 |
| CN110890985B (zh) * | 2019-11-27 | 2021-01-12 | 北京邮电大学 | 虚拟网络映射方法及其模型训练方法、装置 |
| CN111125519A (zh) * | 2019-12-11 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 用户行为预测方法、装置、电子设备以及存储介质 |
| CN111125519B (zh) * | 2019-12-11 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 用户行为预测方法、装置、电子设备以及存储介质 |
| CN111126495A (zh) * | 2019-12-25 | 2020-05-08 | 广州市百果园信息技术有限公司 | 模型训练方法、信息预测方法、装置、存储介质及设备 |
| CN111126495B (zh) * | 2019-12-25 | 2023-06-02 | 广州市百果园信息技术有限公司 | 模型训练方法、信息预测方法、装置、存储介质及设备 |
| CN111242506A (zh) * | 2020-02-06 | 2020-06-05 | 杭州飞步科技有限公司 | 影响订单转换的特征的确定方法、装置、设备及存储介质 |
| CN111260419A (zh) * | 2020-02-20 | 2020-06-09 | 世纪龙信息网络有限责任公司 | 获取用户属性的方法、装置、计算机设备和存储介质 |
| CN111460292A (zh) * | 2020-03-30 | 2020-07-28 | 百度在线网络技术（北京）有限公司 | 模型评估方法、装置、设备和介质 |
| CN113674855A (zh) * | 2020-05-13 | 2021-11-19 | 阿里健康信息技术有限公司 | 一种数据分析方法及装置 |
| CN111652379A (zh) * | 2020-05-29 | 2020-09-11 | 京东城市(北京)数字科技有限公司 | 模型管理方法、装置、电子设备及存储介质 |
| CN111652379B (zh) * | 2020-05-29 | 2024-04-16 | 京东城市(北京)数字科技有限公司 | 模型管理方法、装置、电子设备及存储介质 |
| CN111815177A (zh) * | 2020-07-10 | 2020-10-23 | 杭州海康消防科技有限公司 | 消防安全评估方法、服务器、系统及存储介质 |
| CN113422751B (zh) * | 2020-08-27 | 2023-12-05 | 阿里巴巴集团控股有限公司 | 基于在线强化学习的流媒体处理方法、装置及电子设备 |
| CN113422751A (zh) * | 2020-08-27 | 2021-09-21 | 阿里巴巴集团控股有限公司 | 基于在线强化学习的流媒体处理方法、装置及电子设备 |
| CN112215357A (zh) * | 2020-09-29 | 2021-01-12 | 三一专用汽车有限责任公司 | 模型优化方法、装置、设备和计算机可读存储介质 |
| CN112380273A (zh) * | 2020-11-11 | 2021-02-19 | 北京达佳互联信息技术有限公司 | 数据预估方法及装置 |
| CN112561575B (zh) * | 2020-12-08 | 2023-02-03 | 度小满科技(北京)有限公司 | 一种ctr预估模型选择方法及装置 |
| CN112561575A (zh) * | 2020-12-08 | 2021-03-26 | 上海优扬新媒信息技术有限公司 | 一种ctr预估模型选择方法及装置 |
| CN112489794A (zh) * | 2020-12-18 | 2021-03-12 | 推想医疗科技股份有限公司 | 一种模型的训练方法、装置、电子终端及存储介质 |
| CN113449773A (zh) * | 2021-05-26 | 2021-09-28 | 北京有竹居网络技术有限公司 | 模型更新方法、装置、存储介质及电子设备 |
| CN113487103A (zh) * | 2021-07-26 | 2021-10-08 | 平安银行股份有限公司 | 模型更新方法、装置、设备及存储介质 |
| CN113705827A (zh) * | 2021-07-29 | 2021-11-26 | 阿里巴巴新加坡控股有限公司 | 一种模型评估方法、装置及电子设备 |
| CN113705827B (zh) * | 2021-07-29 | 2024-04-12 | 阿里巴巴创新公司 | 一种模型评估方法、装置及电子设备 |
| CN113642622A (zh) * | 2021-08-03 | 2021-11-12 | 浙江数链科技有限公司 | 数据模型的效果评估方法、系统、电子装置和存储介质 |
| CN113642622B (zh) * | 2021-08-03 | 2024-08-09 | 浙江数链科技有限公司 | 数据模型的效果评估方法、系统、电子装置和存储介质 |
| CN113935788A (zh) * | 2021-12-17 | 2022-01-14 | 腾讯科技（深圳）有限公司 | 模型评估方法、装置、设备及计算机可读存储介质 |
| CN114386525A (zh) * | 2022-01-17 | 2022-04-22 | 中国人民解放军国防科技大学 | 一种评估标准的自适应调整方法、装置、设备和存储介质 |
| CN115081787A (zh) * | 2022-03-10 | 2022-09-20 | 上海数中科技有限公司 | 一种模型管理方法及系统 |
| CN114820074A (zh) * | 2022-05-16 | 2022-07-29 | 郑州简信软件科技有限公司 | 基于机器学习的目标用户群体预测模型构建方法 |
| CN116843388B (zh) * | 2023-08-29 | 2023-11-17 | 新义互联(北京)科技有限公司 | 一种广告投放分析方法及系统 |
| CN116843388A (zh) * | 2023-08-29 | 2023-10-03 | 新义互联(北京)科技有限公司 | 一种广告投放分析方法及系统 |
| CN117061198A (zh) * | 2023-08-30 | 2023-11-14 | 广东励通信息技术有限公司 | 一种基于大数据的网络安全预警系统及方法 |
| CN117061198B (zh) * | 2023-08-30 | 2024-02-02 | 广东励通信息技术有限公司 | 一种基于大数据的网络安全预警系统及方法 |
| CN117522156A (zh) * | 2023-10-17 | 2024-02-06 | 江苏尚诚能源科技有限公司 | 基于大数据分析的分布式光伏预测评估方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503206A (zh) | 一种预测模型更新方法、装置、设备及可读介质 | |
| CN107729542B (zh) | 一种信息评分方法及装置和存储介质 | |
| CN110781321B (zh) | 一种多媒体内容推荐方法及装置 | |
| CN110428298A (zh) | 一种店铺推荐方法、装置及设备 | |
| CN110674408B (zh) | 业务平台、训练样本的实时生成方法及装置 | |
| US9864951B1 (en) | Randomized latent feature learning | |
| CN109213802B (zh) | 用户画像构建方法、装置、终端和计算机可读存储介质 | |
| CN113688313A (zh) | 一种预测模型的训练方法、信息推送的方法及装置 | |
| JP2017509960A (ja) | コンテンツ推奨のための方法、装置およびシステム | |
| CN113626679B (zh) | 一种多媒体资源推荐方法、装置及存储介质 | |
| CN113656681B (zh) | 一种对象评价方法、装置、设备及存储介质 | |
| CN112966186A (zh) | 一种模型训练和信息推荐的方法及装置 | |
| CN114329207A (zh) | 多业务信息排序系统、方法、存储介质及电子设备 | |
| CN111191132B (zh) | 一种信息推荐方法、装置及电子设备 | |
| CN114298735A (zh) | 一种模型训练的方法、信息推送的方法及装置 | |
| CN110738562B (zh) | 一种风险提醒信息的生成方法、装置及设备 | |
| JP7549668B2 (ja) | パターンベースの分類 | |
| CN114331602A (zh) | 一种基于迁移学习的模型训练方法、信息推荐方法及装置 | |
| CN113343085A (zh) | 一种信息推荐方法、装置、存储介质及电子设备 | |
| CN112287208B (zh) | 用户画像生成方法、装置、电子设备及存储介质 | |
| CN113554448A (zh) | 一种用户流失预测方法、装置及电子设备 | |
| CN116302278A (zh) | 业务系统的检测方法、装置以及存储介质 | |
| CN114861043A (zh) | 一种模型训练以及推荐位置确定方法及装置 | |
| US11379929B2 (en) | Advice engine | |
| CN110955823B (zh) | 信息推荐方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200927 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200927 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191126 |