CN113487103A - 模型更新方法、装置、设备及存储介质 - Google Patents

模型更新方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113487103A
CN113487103A CN202110848971.1A CN202110848971A CN113487103A CN 113487103 A CN113487103 A CN 113487103A CN 202110848971 A CN202110848971 A CN 202110848971A CN 113487103 A CN113487103 A CN 113487103A
Authority
CN
China
Prior art keywords
variable
real
time
data
offline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110848971.1A
Other languages
English (en)
Inventor
王志省
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202110848971.1A priority Critical patent/CN113487103A/zh
Publication of CN113487103A publication Critical patent/CN113487103A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Accounting & Taxation (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Technology Law (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能技术，揭露了一种模型更新方法，包括：将业务数据分类，得到实时业务数据及离线业务数据，对实时业务数据进行统计变换，得到第一实时变量，对离线业务数据进行数据分离，得到第一离线变量及第二离线变量，对第一实时变量及第一离线变量进行合并，得到第一合并变量，基于所述第一合并变量得到第二实时变量，汇总第一合并变量、第二离线变量及第二实时变量，得到训练数据，利用训练数据对原始模型进行训练，得到标准模型。此外，本发明还涉及区块链技术，所述合并变量可存储在区块链的节点中。本发明还提出一种模型更新装置、电子设备以及计算机可读存储介质。本发明可以解决模型更新效率较低且精度较低的问题。

Description

模型更新方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种模型更新方法、装置、电子设备及计算机可读存储介质。
背景技术
模型更新训练是算法迭代优化的关键操作，替换效果下降的老模型，上线效果更好的新模型，才能不断保持模型的良好性能。现有技术下，广泛使用实际应用中生产数据作为样本数据对模型进行离线再训练，以此来提高模型精度。然而这种方法对于样本经常出现变化的模型效果不佳，例如，在市场营销和风险识别领域，营销模型和风控模型完成一次样本数据准备和模型更新评估迭代，通常要花费数周时间，加上模型部署和测试的时间，等到模型真正能够上线应用，几个月的时间已经过去了，更新效率较低，而用户群经常随时间出现不同程度的波动，模型从训练到上线的时间跨度长，上线时不能及时捕捉当前用户群的特征，使得模型精度变差。
发明内容
本发明提供一种模型更新方法、装置、设备及存储介质，其主要目的在于解决模型更新效率较低且精度较低的问题。
为实现上述目的，本发明提供的一种模型更新方法，包括：
将业务应用的业务数据分类，得到实时业务数据及离线业务数据；
对所述实时业务数据进行统计变换，得到第一实时变量，利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量；
对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量；
汇总所述第一合并变量、所述第二离线变量及所述第二实时变量，得到训练数据，利用所述训练数据对待训练原始模型进行训练，得到标准模型。
可选地，所述将业务应用的业务数据分类，得到实时业务数据及离线业务数据，包括：
提取所述业务数据中的实时数据，利用预设的消息中间件对所述实时数据进行排列，得到实时业务队列，其中，所述实时业务队列中包含所述实时业务数据；
提取所述业务数据中的离线日志，根据所述实时数据中的用户信息提取所述离线日志中同一用户的离线业务数据。
可选地，所述对所述实时业务数据进行统计变换，得到第一实时变量，包括：
利用预设的流计算平台依次从所述实时业务队列中获取实时业务数据；
在所述流计算平台中，统计所述实时业务数据中的用户浏览操作的时长，并将统计到的时长作为所述第一实时变量。
可选地，所述利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量，包括：
利用预设的批处理平台对所述离线业务数据进行批量划分，得到批量离线数据；
将所述批量离线数据中的离线用户信息作为所述第一离线变量，将所述批量离线数据中的历史用户点击操作作为所述第二离线变量。
可选地，所述对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量，包括：
对同一用户的第一实时变量及第一离线变量进行合并，得到第一合并变量；
将所述第一合并变量合并后所述业务应用反馈的实时用户点击操作作为所述第二实时变量。
可选地，所述利用所述训练数据对待训练原始模型进行训练，得到标准模型，包括：
合并所述训练数据中的所述第二离线变量及所述第二实时变量，得到第二合并变量，并将所述第二合并变量作为实时验证数据；
利用所述待训练原始模型对所述第一合并变量进行预测评分，得到实时预测结果；
计算所述实时预测结果与所述实时验证数据的差值，并根据所述差值计算损失值，在所述损失值小于预设的损失阈值时，返回所述将业务应用的业务数据分类的步骤，在所述损失值大于等于所述损失阈值时，得到所述标准模型。
可选地，所述利用所述训练数据对所述原始模型进行训练，得到标准模型之后，所述方法还包括：
计算所述原始模型的性能评估指标，得到原始评估指标，及计算所述标准模型的性能评估指标，得到标准评估指标；
计算所述标准评估指标与所述原始评估指标的比值；
在所述比值小于预设的性能阈值时，不对所述原始模型进行更新；
在所述比值大于等于预设的性能阈值时，利用所述标准模型更新所述原始模型。
为了解决上述问题，本发明还提供一种模型更新装置，所述装置包括：
业务数据分类模块，用于将业务应用的业务数据分类，得到实时业务数据及离线业务数据；
数据分离模块，用于对所述实时业务数据进行统计变换，得到第一实时变量，利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量；
数据合并模块，用于对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量；
模型训练模块，用于汇总所述第一合并变量、所述第二离线变量及所述第二实时变量，得到训练数据，利用所述训练数据对待训练原始模型进行训练，得到标准模型。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的模型更新方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的模型更新方法。
本发明通过对实时业务数据进行统计变换，得到第一实时变量，可以实时采集用户数据，并基于第一合并变量得到第二实时变量，可以提高实时数据的时效性，更快的生成用户的实时特征，并且所述训练数据集包括了用户的历史离线数据，进一步丰富了用户特征，因此可以提高模型更新的精度。同时，利用训练数据可以实时对所述原始模型进行训练，得到标准模型，相对于传统的离线更新方式，本发明对实时数据的使用更加充分，可以提高模型更新的效率，并且更能捕捉在线快速变化的趋势特征，也提高了模型的精度。因此本发明提出的模型更新方法、装置、电子设备及计算机可读存储介质，可以解决模型更新效率较低且精度较低的问题。
附图说明
图1为本发明一实施例提供的模型更新方法的流程示意图；
图2为图1中其中一个步骤的详细实施流程示意图；
图3为图1中另一个步骤的详细实施流程示意图；
图4为图1中另一个步骤的详细实施流程示意图；
图5为本发明一实施例提供的模型更新装置的功能模块图；
图6为本发明一实施例提供的实现所述模型更新方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种模型更新方法。所述模型更新方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述模型更新方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的模型更新方法的流程示意图。
在本实施例中，所述模型更新方法包括：
S1、将业务应用的业务数据分类，得到实时业务数据及离线业务数据。
本发明实施例中，所述业务数据可以为用户在各类应用中产生的用户数据，包括实时业务数据、离线业务数据等。比如，在银行领域，A银行的业务应用包括“A口袋银行”、“A银行汽融助手”等，所述业务数据包括用户进入业务应用后浏览理财产品页面的时间、点击理财产品页面的次数和在页面中填写的资料等原始数据。所述实时业务数据为实际场景下，最近一段时间内的用户数据，包括用户实时浏览页面的时长、点击贷款理财产品次数等，所述离线业务数据包括同一用户历史浏览页面的时长、历史点击贷款理财产品次数、离线用户信息等。
具体地，参照图2所示，所述将业务应用的业务数据分类，得到实时业务数据及离线业务数据，包括：
S10、提取所述业务数据中的实时数据，利用预设的消息中间件对所述实时数据进行排列，得到实时业务队列，其中，所述实时业务队列中包含所述实时业务数据；
S11、提取所述业务数据中的离线日志，根据所述实时数据中的用户信息提取所述离线日志中同一用户的离线业务数据。
详细地，所述利用预设的消息中间件对所述实时数据进行排列，得到实时业务队列，包括：
利用所述消息中间件将所述实时数据分发至不同的集群，并在所述集群中将所述实时数据推送至不同的业务分类节点；
在所述业务分类节点中，将所述实时数据按照先后顺序进行实时排列，得到包含所述实时业务数据的实时业务队列。
本发明一可选实施例中，所述用户信息可以为登录账号，所述预设的消息中间件可以为Kafka处理平台，所述Kafka处理平台是一种高吞吐量的分布式发布订阅消息系统，包括类别(Topic)、分类节点(broker)、集群(kafka cluster)等结构。所述实时数据在Kafka处理平台被分发至不同的集群(kafka cluster)，并在所述集群(kafka cluster)中的业务分类节点处(broker)进行分类，所述实时数据以类别(Topic)的形式进行存储，并按照先后顺序进行排列，得到所述实时业务队列。当所述实时数据来自于多个业务应用时，利用所述Kafka处理平台可以降低各个业务应用间的耦合性。同时，所述Kafka处理平台使用消息队列作为缓冲，将所述实时数据排列成消息队列，在一段时间内进行处理，提高了高峰期业务处理能力。
本发明实施例中，对于采集到的业务数据，为了提高业务数据的时效性及降低对计算资源的浪费，将所述业务数据划分为实时及离线两种数据，将实时的数据加工到消息队列，及将离线的数据单独存储，可以提高业务数据处理的效率。
S2、对所述实时业务数据进行统计变换，得到第一实时变量，利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量。
具体地，所述对所述实时业务数据进行统计变换，得到第一实时变量，包括：
利用预设的流计算平台依次从所述实时业务队列中获取实时业务数据；
在所述流计算平台中，统计所述实时业务数据中的用户浏览操作的时长，并将统计到的时长作为所述第一实时变量。
本发明一可选实施例中，例如，用户的实时数据通过消息队列进入实时流计算平台，利用所述流计算平台对用户打开业务应用后的页面浏览时间进行统计。
详细地，所述利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量，包括：
利用预设的批处理平台对所述离线业务数据进行批量划分，得到批量离线数据；
将所述批量离线数据中的离线用户信息作为所述第一离线变量，将所述批量离线数据中的历史用户点击操作作为所述第二离线变量。
其中，以风险识别领域为例，所述第一离线变量是指用户历史浏览页面的时长等数据，所述第二离线变量是指用户历史浏览页面的点击操作，例如，是否点击某一理财产品，点击记为1，未点击记为0。所述离线用户信息包括用户姓名、身份证号等，由于第一离线变量与第二离线变量是不同维度的数据，利用离线用户信息可以较好地进行数据分离。
本发明实施例中，利用所述流计算平台计算最近一段时间内的实时用户操作，利用离线批处理平台计算更长时间及更多维度的用户历史操作，可以提高数据处理的效率。
S3、对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量。
具体地，参照图3所示，所述对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量，包括：
S30、对同一用户的第一实时变量及第一离线变量进行合并，得到第一合并变量；
S31、将所述第一合并变量合并后所述业务应用反馈的实时用户点击操作作为所述第二实时变量。
本发明一可选实施例中，对于同一个用户的第一实时变量和第一离线变量经过合并，得到合并变量，比如，将用户的基本信息与实时浏览页面时长进行拼接合并，将合并的变量作为线上原始模型Mt的入参，并将用户在业务应用中相关的表现(如实时用户点击操作)作为第二实时变量。
S4、汇总所述第一合并变量、所述第二离线变量及所述第二实时变量，得到训练数据，利用所述训练数据对待训练原始模型进行训练，得到标准模型。
具体地，参照图4所示，所述利用所述训练数据对待训练原始模型进行训练，得到标准模型，包括：
S40、合并所述训练数据中的所述第二离线变量及所述第二实时变量，得到第二合并变量，并将所述第二合并变量作为实时验证数据；
S41、利用所述待训练原始模型对所述第一合并变量进行预测评分，得到实时预测结果；
S42、计算所述实时预测结果与所述实时验证数据的差值，并根据所述差值计算损失值，在所述损失值小于预设的损失阈值时，返回S1，在所述损失值大于等于所述损失阈值时，得到所述标准模型。
本发明实施例中，利用下述公式计算损失值F：
Figure BDA0003179556760000081
其中，n为第一合并变量的数量，ai为第i个第一合并变量的权重，fi为第i个实时预测结果与第i个实时验证数据之间的差值。
本发明实施例中，通过第一合并变量及第二合并变量训练生成新的标准模型Mt+1，由于第一合并变量中包括第一实时变量(用户实时浏览操作)，时效性更强，且第二合并变量中包括第二离线变量(历史用户点击操作)及第二实时变量(实时用户点击操作)，更能反映用户点击操作的完整性，因此可以更加准确的对模型进行实时训练。
本发明另一可选实施例中，所述方法还包括：
计算所述原始模型的性能评估指标，得到原始评估指标，及计算所述标准模型的性能评估指标，得到标准评估指标；
计算所述标准评估指标与所述原始评估指标的比值；
在所述比值小于预设的性能阈值时，不对所述原始模型进行更新；
在所述比值大于等于预设的性能阈值时，利用所述标准模型更新所述原始模型。
本发明一可选实施例中，所述性能评估指标可以为AUC值、KS值等。例如，原始模型对于某一样本区间的KS值为50％，标准模型对于同一样本区间的KS值为65％，预设的性能阈值为1.2，则所述标准评估指标与所述原始评估指标的比值为1.3，大于所述性能阈值，则利用所述标准模型更新所述原始模型。
本发明通过对实时业务数据进行统计变换，得到第一实时变量，可以实时采集用户数据，并基于第一合并变量得到第二实时变量，可以提高实时数据的时效性，更快的生成用户的实时特征，并且所述训练数据集包括了用户的历史离线数据，进一步丰富了用户特征，因此可以提高模型更新的精度。同时，利用训练数据可以实时对所述原始模型进行训练，得到标准模型，相对于传统的离线更新方式，本发明对实时数据的使用更加充分，可以提高模型更新的效率，并且更能捕捉在线快速变化的趋势特征，也提高了模型的精度。因此本发明实施例可以解决模型更新效率较低且精度较低的问题。
如图5所示，是本发明一实施例提供的模型更新装置的功能模块图。
本发明所述模型更新装置100可以安装于电子设备中。根据实现的功能，所述模型更新装置100可以包括业务数据分类模块101、数据分离模块102、数据合并模块103及模型训练模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述业务数据分类模块101，用于将业务应用的业务数据分类，得到实时业务数据及离线业务数据。
具体地，所述业务数据分类模块101通过下述操作得到实时业务数据及离线业务数据：
提取所述业务数据中的实时数据，利用预设的消息中间件对所述实时数据进行排列，得到实时业务队列，其中，所述实时业务队列中包含所述实时业务数据；
提取所述业务数据中的离线日志，根据所述实时数据中的用户信息提取所述离线日志中同一用户的离线业务数据。
详细地，所述业务数据分类模块101通过下述操作得到实时业务队列，包括：
利用所述消息中间件将所述实时数据分发至不同的集群，并在所述集群中将所述实时数据推送至不同的业务分类节点；
在所述业务分类节点中，将所述实时数据按照先后顺序进行实时排列，得到包含所述实时业务数据的实时业务队列。
所述数据分离模块102，用于对所述实时业务数据进行统计变换，得到第一实时变量，利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量。
具体地，所述数据分离模块102通过下述操作得到第一实时变量：
利用预设的流计算平台依次从所述实时业务队列中获取实时业务数据；
在所述流计算平台中，统计所述实时业务数据中的用户浏览操作的时长，并将统计到的时长作为所述第一实时变量。
详细地，所述数据分离模块102通过下述操作得到第一离线变量及第二离线变量，包括：
利用预设的批处理平台对所述离线业务数据进行批量划分，得到批量离线数据；
将所述批量离线数据中的离线用户信息作为所述第一离线变量，将所述批量离线数据中的历史用户点击操作作为所述第二离线变量。
所述数据合并模块103，用于对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量。
具体地，所述数据合并模块103通过下述操作得到第二实时变量：
对同一用户的第一实时变量及第一离线变量进行合并，得到第一合并变量；
将所述第一合并变量合并后所述业务应用反馈的实时用户点击操作作为所述第二实时变量。
所述模型训练模块104，用于汇总所述第一合并变量、所述第二离线变量及所述第二实时变量，得到训练数据，利用所述训练数据对待训练原始模型进行训练，得到标准模型。
具体地，所述模型训练模块104通过下述操作得到标准模型：
合并所述训练数据中的所述第二离线变量及所述第二实时变量，得到第二合并变量，并将所述第二合并变量作为实时验证数据；
利用所述待训练原始模型对所述第一合并变量进行预测评分，得到实时预测结果；
计算所述实时预测结果与所述实时验证数据的差值，并根据所述差值计算损失值，在所述损失值小于预设的损失阈值时，返回业务数据分类模块101，在所述损失值大于等于所述损失阈值时，得到所述标准模型。
本发明实施例中，利用下述公式计算损失值F：
Figure BDA0003179556760000101
其中，n为第一合并变量的数量，ai为第i个第一合并变量的权重，fi为第i个实时预测结果与第i个实时验证数据之间的差值。
本发明另一可选实施例中，所述模型训练模块104还包括：
计算所述原始模型的性能评估指标，得到原始评估指标，及计算所述标准模型的性能评估指标，得到标准评估指标；
计算所述标准评估指标与所述原始评估指标的比值；
在所述比值小于预设的性能阈值时，不对所述原始模型进行更新；
在所述比值大于等于预设的性能阈值时，利用所述标准模型更新所述原始模型。
如图6所示，是本发明一实施例提供的模型更新方法的电子设备的结构示意图，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序，如模型更新程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的模型更新方法，包括：
将业务应用的业务数据分类，得到实时业务数据及离线业务数据；
对所述实时业务数据进行统计变换，得到第一实时变量，利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量；
对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量；
汇总所述第一合并变量、所述第二离线变量及所述第二实时变量，得到训练数据，利用所述训练数据对待训练原始模型进行训练，得到标准模型。
上述通信总线114可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线114可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口112用于上述电子设备与其他设备之间的通信。
存储器113可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器113还可以是至少一个位于远离前述处理器111的存储装置。
上述的处理器111可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
将业务应用的业务数据分类，得到实时业务数据及离线业务数据；
对所述实时业务数据进行统计变换，得到第一实时变量，利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量；
对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量；
汇总所述第一合并变量、所述第二离线变量及所述第二实时变量，得到训练数据，利用所述训练数据对待训练原始模型进行训练，得到标准模型。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种模型更新方法，其特征在于，所述方法包括：
将业务应用的业务数据分类，得到实时业务数据及离线业务数据；
对所述实时业务数据进行统计变换，得到第一实时变量，利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量；
对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量；
汇总所述第一合并变量、所述第二离线变量及所述第二实时变量，得到训练数据，利用所述训练数据对待训练原始模型进行训练，得到标准模型。
2.如权利要求1所述的模型更新方法，其特征在于，所述将业务应用的业务数据分类，得到实时业务数据及离线业务数据，包括：
提取所述业务数据中的实时数据，利用预设的消息中间件对所述实时数据进行排列，得到实时业务队列，其中，所述实时业务队列中包含所述实时业务数据；
提取所述业务数据中的离线日志，根据所述实时数据中的用户信息提取所述离线日志中同一用户的离线业务数据。
3.如权利要求2所述的模型更新方法，其特征在于，所述对所述实时业务数据进行统计变换，得到第一实时变量，包括：
利用预设的流计算平台依次从所述实时业务队列中获取实时业务数据；
在所述流计算平台中，统计所述实时业务数据中的用户浏览操作的时长，并将统计到的时长作为所述第一实时变量。
4.如权利要求1所述的模型更新方法，其特征在于，所述利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量，包括：
利用预设的批处理平台对所述离线业务数据进行批量划分，得到批量离线数据；
将所述批量离线数据中的离线用户信息作为所述第一离线变量，将所述批量离线数据中的历史用户点击操作作为所述第二离线变量。
5.如权利要求4所述的模型更新方法，其特征在于，所述对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量，包括：
对同一用户的第一实时变量及第一离线变量进行合并，得到第一合并变量；
将所述第一合并变量合并后所述业务应用反馈的实时用户点击操作作为所述第二实时变量。
6.如权利要求1所述的模型更新方法，其特征在于，所述利用所述训练数据对待训练原始模型进行训练，得到标准模型，包括：
合并所述训练数据中的所述第二离线变量及所述第二实时变量，得到第二合并变量，并将所述第二合并变量作为实时验证数据；
利用所述待训练原始模型对所述第一合并变量进行预测评分，得到实时预测结果；
计算所述实时预测结果与所述实时验证数据的差值，并根据所述差值计算损失值，在所述损失值小于预设的损失阈值时，返回所述将业务应用的业务数据分类的步骤，在所述损失值大于等于所述损失阈值时，得到所述标准模型。
7.如权利要求6所述的模型更新方法，其特征在于，所述利用所述训练数据对所述原始模型进行训练，得到标准模型之后，所述方法还包括：
计算所述原始模型的性能评估指标，得到原始评估指标，及计算所述标准模型的性能评估指标，得到标准评估指标；
计算所述标准评估指标与所述原始评估指标的比值；
在所述比值小于预设的性能阈值时，不对所述原始模型进行更新；
在所述比值大于等于预设的性能阈值时，利用所述标准模型更新所述原始模型。
8.一种模型更新装置，其特征在于，所述装置包括：
业务数据分类模块，用于将业务应用的业务数据分类，得到实时业务数据及离线业务数据；
数据分离模块，用于对所述实时业务数据进行统计变换，得到第一实时变量，利用所述业务数据中的离线用户信息对所述离线业务数据进行数据分离，得到第一离线变量及第二离线变量；
数据合并模块，用于对所述第一实时变量及所述第一离线变量进行合并，得到第一合并变量，并基于所述第一合并变量得到第二实时变量；
模型训练模块，用于汇总所述第一合并变量、所述第二离线变量及所述第二实时变量，得到训练数据，利用所述训练数据对待训练原始模型进行训练，得到标准模型。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的模型更新方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的模型更新方法。
CN202110848971.1A 2021-07-26 2021-07-26 模型更新方法、装置、设备及存储介质 Pending CN113487103A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110848971.1A CN113487103A (zh) 2021-07-26 2021-07-26 模型更新方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848971.1A CN113487103A (zh) 2021-07-26 2021-07-26 模型更新方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113487103A true CN113487103A (zh) 2021-10-08

Family

ID=77943881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848971.1A Pending CN113487103A (zh) 2021-07-26 2021-07-26 模型更新方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113487103A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841843A (zh) * 2022-04-15 2022-08-02 广州天长信息技术有限公司 一种分析可疑绿通车的方法和系统
CN117633489A (zh) * 2023-12-13 2024-03-01 智车信安(苏州)信息安全科技有限公司 一种基于ai的车辆安全分析方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978062A (zh) * 2019-03-28 2019-07-05 北京九章云极科技有限公司 一种模型在线监控方法及系统
CN110472152A (zh) * 2019-08-16 2019-11-19 南京云帐房网络科技有限公司 在线离线混合推荐方法及系统
CN110503206A (zh) * 2019-08-09 2019-11-26 阿里巴巴集团控股有限公司 一种预测模型更新方法、装置、设备及可读介质
CN111125519A (zh) * 2019-12-11 2020-05-08 腾讯科技（深圳）有限公司 用户行为预测方法、装置、电子设备以及存储介质
CN112651785A (zh) * 2020-12-31 2021-04-13 中国农业银行股份有限公司 交易量实时监测方法与系统
CN112990455A (zh) * 2021-02-23 2021-06-18 北京明略软件系统有限公司 网络模型的发布方法及装置、存储介质、电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978062A (zh) * 2019-03-28 2019-07-05 北京九章云极科技有限公司 一种模型在线监控方法及系统
CN110503206A (zh) * 2019-08-09 2019-11-26 阿里巴巴集团控股有限公司 一种预测模型更新方法、装置、设备及可读介质
CN110472152A (zh) * 2019-08-16 2019-11-19 南京云帐房网络科技有限公司 在线离线混合推荐方法及系统
CN111125519A (zh) * 2019-12-11 2020-05-08 腾讯科技（深圳）有限公司 用户行为预测方法、装置、电子设备以及存储介质
CN112651785A (zh) * 2020-12-31 2021-04-13 中国农业银行股份有限公司 交易量实时监测方法与系统
CN112990455A (zh) * 2021-02-23 2021-06-18 北京明略软件系统有限公司 网络模型的发布方法及装置、存储介质、电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841843A (zh) * 2022-04-15 2022-08-02 广州天长信息技术有限公司 一种分析可疑绿通车的方法和系统
CN117633489A (zh) * 2023-12-13 2024-03-01 智车信安(苏州)信息安全科技有限公司 一种基于ai的车辆安全分析方法和系统

Similar Documents

Publication Publication Date Title
CN111209352B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN107123047B (zh) 基于债券交易的数据采集系统及其数据采集方法
WO2021254027A1 (zh) 一种可疑社团的识别方法、装置、存储介质和计算机设备
CN106228175A (zh) 自非常高速率的数据流的水平决策树学习
CN115237802A (zh) 基于人工智能的模拟测试方法及相关设备
CN113505936A (zh) 项目审批结果的预测方法、装置、设备及存储介质
CN113487103A (zh) 模型更新方法、装置、设备及存储介质
CN112686717B (zh) 一种广告召回的数据处理方法及系统
CN112035449B (zh) 数据处理方法及装置、计算机设备、存储介质
CN113222668A (zh) 增值服务推送方法、装置、设备及存储介质
CN113505805B (zh) 样本数据闭环生成方法、装置、设备及存储介质
CN114860742A (zh) 基于人工智能的ai客服交互方法、装置、设备及介质
CN114493853A (zh) 信用等级评价方法、装置、电子设备及存储介质
CN105468676A (zh) 一种大数据处理方法
CN113591881A (zh) 基于模型融合的意图识别方法、装置、电子设备及介质
CN111325255B (zh) 特定人群圈定方法、装置、电子设备及存储介质
CN107644042B (zh) 软件程序点击率预估排序方法及服务器
CN115049446A (zh) 商户识别方法、装置、电子设备及计算机可读介质
CN111507397B (zh) 一种异常数据的分析方法及装置
CN116843395A (zh) 一种业务系统的告警分级方法、装置、设备及存储介质
CN115495587A (zh) 一种基于知识图谱的告警分析方法及装置
CN114385646A (zh) 用于民政系统的数据汇聚方法、装置及终端
CN114358024A (zh) 日志分析方法、装置、设备、介质和程序产品
CN114385878A (zh) 政务数据的可视化展示方法、装置及终端设备
CN112084408A (zh) 名单数据筛选方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination