CN112241754B - 在线模型学习方法、系统、设备及计算机可读存储介质 - Google Patents

在线模型学习方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112241754B
CN112241754B CN201910656610.XA CN201910656610A CN112241754B CN 112241754 B CN112241754 B CN 112241754B CN 201910656610 A CN201910656610 A CN 201910656610A CN 112241754 B CN112241754 B CN 112241754B
Authority
CN
China
Prior art keywords
online
ith
model
parameter set
model parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910656610.XA
Other languages
English (en)
Other versions
CN112241754A (zh
Inventor
黄昉
王瑜
何其真
吴安新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN201910656610.XA priority Critical patent/CN112241754B/zh
Publication of CN112241754A publication Critical patent/CN112241754A/zh
Application granted granted Critical
Publication of CN112241754B publication Critical patent/CN112241754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供了一种在线模型学习方法，所述在线模型学习方法包括：在第i时间节点执行第i次在线训练任务：获取第i批线上样本数据和第i模型参数集合，其中，当i为初始值1时，所述第i模型参数集合包括通过训练离线模型得到的初始模型参数集合；将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型；及基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型，得到对应的第i+1模型参数集合。本申请实施例提供的技术方案，占用计算资源少、对新广告预估准确率高及具备较高的实效性。

Description

在线模型学习方法、系统、设备及计算机可读存储介质
技术领域
本申请实施例涉及通信技术领域，尤其涉及一种在线模型学习方法、系统、设备及计算机可读存储介质。
背景技术
预测点击率预估模型被广泛的应用在多媒体技术广告投放技术中，例如，通过预测点击率对网页中的广告进行排序展示。目前，预测点击率预估模型的训练方式主要是离线训练，这种训练方式中，一般通过历史数据训练离线模型，并基于该离线模型预测广告点击率。
但是，上述训练方式可能导致以下缺陷：占用较多计算资源、对新广告预估准确率低及缺乏实效性。
需要说明的是，上述内容并不用于限制申请保护范围。
发明内容
本申请实施例的目的是提供一种在线模型学习方法、系统、计算机设备及计算机可读存储介质，用于占用较多计算资源、对新广告预估准确率低及缺乏实效性的技术问题。
本申请实施例的一个方面提供了一种在线模型学习方法，所述方法包括：在第i时间节点执行第i次在线训练任务，i为正整数：获取第i批线上样本数据和第i模型参数集合，其中，当i为初始值1时，所述第i模型参数集合包括通过训练离线模型得到的初始模型参数集合；将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型；及基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型，得到对应的第i+1模型参数集合。
优选地，获取第i批线上样本数据和第i模型参数集合，包括：当i大于1时，所述第i模型参数集合包括在执行第i-1次在线训练任务得到的模型参数集合。
优选地，将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型，包括：将所述第i模型参数集合加载到第一存储器中；及将位于所述第一存储器中的第i模型参数集合配置到所述在线模型中，得到配置有第i模型参数集合的在线模型。
优选地，在第i时间节点执行第i次在线训练任务，包括：当i大于1时，检测所述离线模型是否发生变化；如果所述离线模型发生变化，则将所述离线模型对应的当前模型参数集合配置到所述在线模型；及如果所述离线模型没有发生变化，则将第i模型参数集合配置到所述在线模型，其中，所述第i模型参数集合为执行第i-1次在线训练任务得到的模型参数集合。
优选地，在第i时间节点执行第i次在线训练任务，包括：检测所述第i-1时间节点对应的第i-1次在线训练任务是否执行完毕；如果所述第i-1次在线训练任务执行完毕，则基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型；及如果所述第i-1次在线训练任务没有执行完毕，则延迟执行所述第i次在线训练任务，直至所述第i-1次在线训练任务执行完毕。
优选地，在第i时间节点执行第i次在线训练任务，包括：检测所述第i批线上样本数据是否被产生；如果所述第i批线上样本数据被产生，则执行所述第i次在线训练任务；及如果所述第i批线上样本数据没有被产生，则延迟执行所述第i次在线训练任务，直至所述第i批线上样本数据被产生。
优选地，所述第i+1模型参数集合被暂存在第一存储器中；所述方法还包括：为第i+1模型参数集合配置第i+1时间戳，所述第i+1时间戳为初始模型参数集合的生成时间节点与预设时间长度乘积之和，所述预设时间段乘积等于预设时间段乘以i；判断所述i+1时间戳是否位于预设时间范围内；及如果所述i+1时间戳位于预设时间范围内，则将所述第i+1模型参数集合从所述第一存储器落到第二存储器中。
优选地，所述预设时间长度是为执行一次在线训练任务所分配的时间长度，所述预设时间范围对应于当前时间点所在的时间区间。
优选地，还包括：监测每个特征在多次模型训练过程中的出现次数；及如果监测到其中一个目标特征的出现次数低于预设阈值，则在后续模型训练中停止训练所述目标特征。
本申请实施例的一个方面又提供了一种在线模型学习系统，所述在线模型学习系统包括获取模块、配置模块和训练模块。获取模块，用于当在第i时间节点执行第i次在线训练任务，获取第i批线上样本数据和第i模型参数集合，i为正整数。配置模块，用于将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型。训练模块，用于基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型，得到对应的第i+1模型参数集合。
本申请实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现上述在线模型学习方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行上述在线模型学习方法的步骤。
本申请实施例提供的在线模型学习方法、系统、设备及计算机可读存储介质，包括以下技术效果：
(1)通过离线模型训练得到初始模型参数集合，并将该初始模型参数集合加载到计算机设备中，使得计算机设备可以在初始模型参数集合的基础上，针对线上样本数据等小批量数据执行低运算量的增量训练任务(在线训练任务)，从而减少模型训练所需的计算资源以及确保整体训练效果；
(2)基于时间节点启动和执行在线训练任务，避免了不间断实时在线训练的计算资源浪费，同时兼顾了计算机设备的实效性，使得该训练好的模型具有很高的预测准确度，尤其针对实时性强、生命周期较短的待预测对象(如新广告)具有很高的预测准确度。
附图说明
图1示意性示出了根据本申请实施例一的在线模型学习系统的架构示意图；
图2示意性示出了根据本申请实施例一的在线模型学习方法的流程图；
图3为图2中步骤S202的具体流程图；
图4为图2中步骤S204的具体流程图；
图5为图2中步骤S204的另一具体流程图；
图6为图2中步骤S204的另一具体流程图；
图7示意性示出了根据本申请实施例一的在线模型学习方法的新增步骤流程图；
图8示意性示出了根据本申请实施例二的在线模型学习方法的流程图；
图9示意性示出了根据本申请实施例三的在线模型学习系统的架构示意图；
图10示意性示出了根据本申请实施例三的在线模型学习方法的流程图；
图11示意性示出了根据本申请实施例四的在线模型学习系统的框图；以及
图12示意性示出了根据本申请实施例五的适于实现在线模型学习方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请实施例，并不用于限定本申请实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
图1示意性示出了根据本申请实施例一的在线模型学习方法的环境应用示意图。在示例性的实施例中，计算机设备2可以通过网络6连接多个用户设备4。
计算机设备2用于配置模型训练系统，如针对预测点击率预估模型的模型训练系统。计算机设备2还可以用于配置广告发布系统及广告追踪系统，用于向所述多个用户设备4发布广告并追踪各个用户设备4上的广告投放效果等。计算机设备2是可以是服务器等。
用户设备4可以是移动电话、平板个人计算机、机顶盒以及云端虚拟设备等。所述多个用户设备4用于呈现广告内容。
网络6可以因特网(Internet)、广域网(wide area network，WAN)、局域网等。
实施例一
图2示意性示出了根据本申请实施例一的在线模型学习方法的流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。
如图2所示，该在线模型学习方法在第i时间节点执行第i次在线训练任务时，可以包括步骤S200～S204，其中：
步骤S200，获取第i批线上样本数据和第i模型参数集合，i为正整数。
第i批线上样本数据，可以是以小时或N分钟为单位，在线获取的第i批广告曝光点击特征日志的日志数据。
例如，2019年6月8号AM 7:00开始启动第1次在线训练任务。如果以1小时为一个在线模型训练周期，则每个在线训练任务的训练素材为上1个小时产生的线上样本数据。即，该第1次在线训练任务使用的训练素材为第1批线上样本数据，该第1批线上样本数据为：2019年6月8号AM 6:00～AM 7:00期间产生的线上样本数据。
在示例性的实施例中，当i为初始值1时，所述第i模型参数集合包括基于线下样本数据训练离线模型得到的初始模型参数集合。当i大于1时，所述第i模型参数集合包括在执行第i-1次在线训练任务得到的模型参数集合。
基于线下样本数据训练离线模型得到的初始模型参数集合，可以是基于过去7天、10天产生的批量样本数据，并通过分布式服务器对离线模型进行分布式训练，从而训练得到所述初始模型参数集合。
例如，将2019年6月8号AM 00:00～2019年6月14号PM12:00期间产生的样本数据作为线下样本数据，该线下样本数据用于训练一个离线模型，并在2019年6月15号AM12:00之前完成对该离线模型的训练，从而得到训练后的离线模型对应的模型参数集合。该模型参数集合可以作为在线模型的初始模型参数集合。
当2019年6月15号PM1:00执行第1次在线训练任务时，则该第1模型参数集合为所述初始模型参数集合。
当2019年6月15号PM 2:00执行第2次在线训练任务时，则该第2模型参数集合为第1次在训练任务完成之后得到的模型参数集合。
步骤S202，将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型。
需要说明的是，将所述第i模型参数集合配置到在线模型中，在于将所述第i模型参数集合中的部分或全部参数配置到在线模型中。
在示例性的实施例中，如图3所示，所述步骤S202包括步骤S300～S302：步骤S300，将所述第i模型参数集合加载到第一存储器(如，随机存取存储器RAM)中；步骤S302，将位于所述第一存储器中的第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型。
当i为初始值1时，将初始模型参数集合配置到所述在线模型中；当i大于1时，将i-1模型参数集合配置到所述在线模型中。
例如，当2019年6月15号PM1:00执行第1次在线训练任务时，则该第1模型参数集合为通过训练离线模型得到的初始模型参数集合。
当2019年6月15号PM 2:00执行第2次在线训练任务时，则该第2模型参数集合为第1次在线训练任务完成之后得到的模型参数集合。
当2019年6月15号PM 3:00执行第3次在线训练任务时，则该第3模型参数集合为第2次在线训练任务完成之后得到的模型参数集合。
以上，可以以此类推，本文不再赘述。
步骤S204，基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型，得到对应的第i+1模型参数集合。
示例性的，所述第i+1模型参数集合为：通过第i批线上样本数据，对配置有第i模型参数集合的在线模型进行训练之后得到的新在线模型对应的模型参数集合。
在示例性的实施例中，如图4所示，所述步骤S204包括步骤S400～S404：步骤S400，当i大于1时，检测所述离线模型是否发生变化。步骤S402，如果所述离线模型发生变化，则将所述离线模型对应的当前模型参数集合配置到所述在线模型。步骤S404，如果所述离线模型没有发生变化，则将第i模型参数集合配置到所述在线模型，其中，所述第i模型参数集合为执行第i-1次在线训练任务得到的模型参数集合。
不难理解，本实施例旨在选择模型参数集合，以便将被选择的模型参数集合加载至第一存储器中。示例性的，当2019年6月15号PM 5:00执行第5次在线训练任务时：
(1)可以通过监测所述离线模型的MD5(消息摘要算法，message-digestalgorithm)文件是否发生变化，来确定所述离线模型是否发生变化；
(2)如果确定所述离线模型发生变化，则将所述离线模型对应的当前模型参数集合做为第i模型参数集合，并所述离线模型对应的当前模型参数集合重新加载到计算机设备2的RAM中，以将该当前模型参数集合配置到所述在线模型中；
(3)如果确定所述离线模型没有发生变化，则将第4次在线训练任务得到的模型参数集合加载到所述在线模型中；
(4)将2019年6月15号PM 4:00～PM 5:00期间产生的第5批线上样本数据，用来训练加载有“第4次在线训练任务得到的模型参数集合”的在线模型。
在示例性的实施例中，如图5所示，所述步骤S204包括步骤S500～S504：步骤S500，检测所述第i-1时间节点对应的第i-1次在线训练任务是否执行完毕。步骤S502，如果所述第i-1次在线训练任务执行完毕，则基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型。步骤S504，如果所述第i-1次在线训练任务没有执行完毕，则延迟执行所述第i次在线训练任务，直至所述第i-1次在线训练任务执行完毕。
不难理解，本实施例旨在确定是否延迟第i在线训练任务，以防止训练任务冲突及计算资源争夺问题。示例性的，当2019年6月15号PM 5:00执行第5次在线训练任务时：
(1)可以通过检测第4次在线训练任务是否执行完毕。
示例性的，每次启动一个在线训练任务均会产生一个相应的文件夹，例如，启动第3次在线训练任务时会产生一个命名为“03”文件夹，启动4次在线训练任务时会产生一个命名为“04”文件夹。且每次在线训练任务被执行完毕则会产生一个_success文件夹放入到对应的文件夹中。如，当第4次在线训练任务被执行完毕时，则在“04”文件夹中产生一个_success文件夹。因此，可以通过检测“04”文件夹中是否有_success文件夹，来确定所述第4次在线训练任务是否执行完毕。
(2)如果所述第4次在线训练任务执行完毕，则基于第5批线上样本数据执行第5次在线训练任务。
(3)如果所述第4次在线训练任务没有执行完毕，则延迟执行所述第5次在线训练任务，直至所述第4次在线训练任务执行完毕。
在示例性的实施例中，如图6所示，所述步骤S204包括步骤S600～S604：步骤S500，检测所述第i批线上样本数据是否被产生。步骤S502，如果所述第i批线上样本数据被产生，则执行所述第i次在线训练任务。步骤S504，如果所述第i批线上样本数据没有被产生，则延迟执行所述第i次在线训练任务，直至所述第i批线上样本数据被产生。
不难理解，本实施例旨在确定是否延迟第i在线训练任务，防止无效训练事件，从而节省计算资源。示例性的，当2019年6月15号PM 5:00执行第5次在线训练任务时：
(1)检测2019年6月15号PM 4:00～PM 5:00期间是否产生线上样本数据。
(2)如果产生样本数据(即第5批线上样本数据)，则基于所述第5批线上样本数据执行第5次在线训练任务。
(3)如果没有产生样本数据，则延迟执行所述第5次在线训练任务，直至获取到所述第5批线上样本数据。
在示例性的实施例中，为减轻模型训练量，从而进一步降低计算机设备2的训练负担。如图7所示，所述在线模型学习方法包括步骤S700～S702：步骤S700，监测每个特征在多次模型训练过程中的出现次数。步骤S702，如果监测到其中一个目标特征的出现次数低于预设阈值，则认为该目标特征为长尾特征并在后续模型训练中停止训练所述目标特征。
实施例二
图8示意性示出了根据本申请实施例二的在线模型学习方法的流程图。如图8所示，该在线模型学习方法可以包括步骤S800～S810，其中：
步骤S800，获取第i批线上样本数据和第i模型参数集合，i为正整数。
第i批线上样本数据，可以是以小时或N分钟为单位，在线实时获取的第i批广告曝光点击特征日志的日志数据。
步骤S802，将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型。
当i为初始值1时，将初始模型参数集合配置到所述在线模型中；
当i大于1时，将i-1模型参数集合配置到所述在线模型中。
步骤S804，基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型，得到对应的第i+1模型参数集合。
步骤S806，为第i+1模型参数集合配置第i+1时间戳，所述第i+1模型参数集合被暂存在第一存储器中。
第i+1时间戳，为初始模型参数集合的生成时间节点与预设时间长度乘积之和，所述预设时间段乘积等于预设时间段乘以i。
预设时间长度，是为执行一次在线训练任务所分配的时间长度，所述预设时间范围对应于当前时间点所在的时间区间。
步骤S808，判断所述i+1时间戳是否位于预设时间范围内。如果是，进入步骤S810，否则进入步骤S800。
步骤S810，将所述第i+1模型参数集合从第一存储器落到第二存储器中。进入步骤S800。
示例性的，所述第一存储器可以为随机存取存储器(RAM，random accessmemory)；所述第二存储器可以为非易失性存储器(NVM，non-volatile memory)，如只读存储器(ROM，read-only memory)等。
例如：
假设，2019年6月15号AM 6:00得到2019年6月14号的训练数据。
(1)2019年6月15号AM 6:00开始对离线模型的训练任务：
将2019年6月14号的训练数据用于训练离线模型，以得到初始模型参数。
基于离线模型训练量大的问题，假设经过3个小时(以小时为最小单位)的模型训练，在2019年6月15号AM 9:00得到初始模型参数。为该离线模型对应的初始模型参数集合配置携带有时间戳的名称“batch_model.06”，时间戳为“06”。
(2)2019年6月15号AM 9:00开始对在线模型的在线训练任务。
(2.1)2019年6月15号AM 9:00开启执行第1次在线训练任务(基于2019年6月15号AM 6:00～7:00期间产生的第1批线上样本数据)，训练得到对应的模型参数集合：
为第1次在线训练任务得到的上述模型参数集合配置携带有时间戳的名称“delta_model.07”，时间戳为“07”。
(2.2)产生delta_model.07之后，开启执行第2次在线训练任务(基于2019年6月15号AM 7:00～8:00期间产生的第2批线上样本数据)，训练得到对应的模型参数集合：
为第2次在线训练任务得到的上述模型参数集合配置携带有时间戳的名称“delta_model.08”，时间戳为“08”。
(2.3)产生delta_model.08之后，开启执行第3次在线训练任务(基于2019年6月15号AM 8:00～9:00期间产生的第3批线上样本数据)，训练得到对应的模型参数集合：
为第3次在线训练任务得到的上述模型参数集合配置携带有时间戳的名称“delta_model.09”，时间戳为“09”。
在步骤(2)中，由于产生“delta_model.07”和“delta_model.08”的实时时间为“2019年6月15号AM 9:00～10:00期间”，因此，作为中间数据使用，不被落入到ROM中；而产生“delta_model.09”的实时时间为“2019年6月15号AM 9:00～10:00期间”，因此，说明第3次在线训练任务在预定时间内训练得到相应的模型参数集合，则将该模型参数集合从RAM中落入到ROM中。
(3)2019年6月15号AM10:00开启执行第4次在线训练任务，以及在后续时间节点执行后续在线训练任务，分别训练得到的模型参数集合，可以参照上述第1～3次在线训练任务，判断是否要将各次在线训练任务得到的模型参数集合落入到ROM中。
实施例三
图9示意性示出了根据本申请实施例三的在线模型学习方法的环境应用示意图。在示例性的实施例中，计算机设备2可以通过网络6连接多个用户设备4，以通过网络6或其他方式(总线方式)连接分布式服务器8。
如图10所示，为该在线模型学习方法中的第一次在线训练任务和第二次在线训练任务的示例性步骤S1000～S1008，其中：
步骤S1000，通过分布式服务器8和线下样本数据对离线模型进行训练，得到初始模型参数集合。
示例性的，所述初始模型参数集合包括，但不限于，中间变量、权重等参数。
示例性的，可以将过去7天产生的样本数据作为线下样本数据。
示例性的，因为数据延迟问题，在第T天AM 6:00产生T-1天的样本数据，用过去7天的天级别数据以及当天AM 00:00～6:00的小时级别数据作为线下样本数据。
步骤S1002，计算机设备2获取第1批线上样本数据，以及从所述分布式服务器8中获取所述初始模型参数集合。
可以将当天小时级别的线上样本数据作为增量训练数据，当前小时会产生上前一个小时的小时级别的线上样本数据，并且每个小时都会启动在线训练任务(又称，增量训练任务)。
第1批线上样本数据，可以是以1个小时为单位，在线获取上一个小时的广告曝光点击特征日志。
需要说明的是，离线模型和在线模型可以是不同模型，在线模型可以是轻量级模型。所述离线模型和所述在线模型可以是基于以下算法的CRT(click through rate，点击率)预估模型：FM(factorization machine，分解机)、LR(logistic regression，逻辑回归)、FFM(field-aware factorization machines，)、DNN(deep neural networks，深度神经网络)、WDL(wide&deep Learning)、DeepFM(由FM和DNN结合生成)等算法。
步骤S1004，计算机设备2将所述初始模型参数集合加载到在线模型中，得到加载有所述初始模型参数集合的在线模型。
示例性的，将所述初始模型参数集合加载到RAM中；并将位于RAM中的初始模型参数集合配置到在线模型中，得到加载参数后的在线模型。
步骤S1006，在第1时间节点执行第1次在线训练任务：基于所述第1批线上样本数据训练加载有所述初始模型参数集合的在线模型，得到第2模型参数集合。
步骤S1008，在第2时间节点执行第2次在线训练任务：
步骤S1008A，检测所述第2批线上样本数据是否被产生；如果所述第2批线上样本数据被产生，进入步骤S1008B，否则延迟执行所述第2次在线训练任务，直至所述第2批线上样本数据被产生。
步骤S1008B，检测第1次在线训练任务是否执行完毕；如果所述第1次在线训练任务执行完毕，进入步骤S1008C，否则延迟执行所述第2次在线训练任务，直至所述第2批线上样本数据被产生。
步骤S1008C，检测所述离线模型是否发生变化；如果所述离线模型发生变化，进入步骤S1008D，否则进入步骤S1008E。
步骤S1008D，将所述离线模型对应的当前模型参数集合作为第2模型参数集合，配置到所述在线模型中。
步骤S1008E，将第2模型参数集合配置到所述在线模型中。
其中，所述第2模型参数集合为执行第1次在线训练任务得到的模型参数集合。
步骤S1008F，获取第2批线上样本数据。
步骤S1008G，基于所述第2批线上样本数据训练所述配置有第2模型参数集合的在线模型，得到对应的第3模型参数集合。
步骤S1008H，当第3模型参数集合的获取时间节点对应预设时间范围内，则将所述第3模型参数集合落到ROM中。
步骤S1010，在第3时间节点执行第3次在线训练任务。
通过上述实施例可知：
(1)通过分布式服务器8和线下样本数据对离线模型进行训练，得到初始模型参数集合，并将该初始模型参数集合加载到计算机设备2中，使得计算机设备2可以在初始模型参数集合的基础上，针对线上样本数据等小批量数据执行低运算量的增量训练任务(在线训练任务)，从而减少计算机设备2模型训练所需的计算资源以及确保整体训练效果；
(2)基于时间节点启动和执行在线训练任务，避免了不间断实时在线训练的计算资源浪费，同时兼顾了计算机设备2的实效性，使得该训练好的模型具有很高的预测准确度，尤其针对实时性强、生命周期较短的待预测对象(如新广告)具有很高的预测准确度。
(3)基于时间节点启动和执行在线训练任务，避免了不间断实时在线训练的稳定性问题。
实施例四
图11示意性示出了根据本申请实施例四的在线模型学习系统的框图，该在线模型学习系统可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述视频处理系统在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图11所示，该在线模型学习系统1100可以包括获取模块1110、配置模块1120和训练模块1130，其中：
获取模块1110，用于当在第i时间节点执行第i次在线训练任务，获取第i批线上样本数据和第i模型参数集合，i为正整数。在示例性的实施例中，当i为初始值1时，所述第i模型参数集合包括通过训练离线模型得到的初始模型参数集合。当i大于1时，所述第i模型参数集合包括在执行第i-1次在线训练任务得到的模型参数集合。
配置模块1120，用于将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型。
训练模块1130，用于基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型，得到对应的第i+1模型参数集合。
在示例性的实施例中，所述配置模块1120还用于：将所述第i模型参数集合加载到第一存储器中；将位于所述第一存储器中的第i模型参数集合配置到所述在线模型中，得到配置有第i模型参数集合的在线模型。
在示例性的实施例中，所述在线模型学习系统1100还可以包括第一判断模块(未图示)。所述第一判断模块用于：所述配置模块1120还用于：当i大于1时，检测所述离线模型是否发生变化；如果所述离线模型发生变化，则将所述离线模型对应的当前模型参数集合配置到所述在线模型；及如果所述离线模型没有发生变化，则将第i模型参数集合配置到所述在线模型，其中，所述第i模型参数集合为执行第i-1次在线训练任务得到的模型参数集合。
在示例性的实施例中，所述在线模型学习系统1100还可以包括第二判断模块(未图示)。所述第二判断模块用于：检测所述第i-1时间节点对应的第i-1次在线训练任务是否执行完毕；如果所述第i-1次在线训练任务执行完毕，则基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型；及如果所述第i-1次在线训练任务没有执行完毕，则延迟执行所述第i次在线训练任务，直至所述第i-1次在线训练任务执行完毕。
在示例性的实施例中，所述在线模型学习系统1100还可以包括第三判断模块(未图示)。所述第三判断模块用于：检测所述第i批线上样本数据是否被产生；如果所述第i批线上样本数据被产生，则执行所述第i次在线训练任务；及如果所述第i批线上样本数据没有被产生，则延迟执行所述第i次在线训练任务，直至所述第i批线上样本数据被产生。
在示例性的实施例中，所述第i+1模型参数集合被暂存在第一存储器中，所述在线模型学习系统1100还可以包括第四判断模块(未图示)。所述第四判断模块用于：为第i+1模型参数集合配置第i+1时间戳，所述第i+1时间戳为初始模型参数集合的生成时间节点与预设时间长度乘积之和，所述预设时间段乘积等于预设时间段乘以i；判断所述i+1时间戳是否位于预设时间范围内；及如果所述i+1时间戳位于预设时间范围内，则将所述第i+1模型参数集合从所述第一存储器落到第二存储器中。
在示例性的实施例中，所述预设时间长度是为执行一次在线训练任务所分配的时间长度，所述预设时间范围对应于当前时间点所在的时间区间。
在示例性的实施例中，所述在线模型学习系统1100还可以包括第五判断模块(未图示)。所述第五判断模块用于：监测每个特征在多次模型训练过程中的出现次数；及如果监测到其中一个目标特征的出现次数低于预设阈值，则在后续模型训练中停止训练所述目标特征。
实施例五
图12示意性示出了根据本申请实施例五的适于实现在线模型学习方法的计算机设备的硬件架构示意图。本实施例中，计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集合群)等。如图12所示，计算机设备2至少包括但不限于：可通过系统总线相互通信链接存储器1210、处理器1220、网络接口1230。其中：
存储器1210至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1210可以是计算机设备2的内部存储模块，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器1210也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(FlashCard)等。当然，存储器1210还可以既包括计算机设备2的内部存储模块也包括其外部存储设备。本实施例中，存储器1210通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如在线模型学习方法的程序代码等。此外，存储器1210还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器1220在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1220通常用于控制计算机设备2的总体操作，例如执行与计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中，处理器1220用于运行存储器1210中存储的程序代码或者处理数据。
网络接口1230可包括无线网络接口或有线网络接口，该网络接口1230通常用于在计算机设备2与其他计算机设备之间建立通信链接。例如，网络接口1230用于通过网络将计算机设备2与外部终端相连，在计算机设备2与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图12仅示出了具有部件1210-1230的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器1210中的在线模型学习方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器1220)所执行，以完成本发明。
实施例六
本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的在线模型学习方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的在线模型学习方法或在线模型学习方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集合中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集合成电路模块，或者将它们中的多个模块或步骤制作成单个集合成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种在线模型学习方法，其特征在于，应用于点击率预估模型，所述方法包括：
在第i时间节点执行第i次在线训练任务，i为正整数：
获取第i批线上样本数据和第i模型参数集合，其中，当i为初始值1时，所述第i模型参数集合包括通过训练离线模型得到的初始模型参数集合，所述第i批线上样本数据包括第i批广告曝光点击特征日志的日志数据；
将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型；及
基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型，得到对应的第i+1模型参数集合；所述第i+1模型参数集合被暂存在第一存储器中；
所述方法还包括：
为所述第i+1模型参数集合配置第i+1时间戳，所述第i+1时间戳为所述初始模型参数集合的生成时间节点与预设时间长度乘积之和，所述预设时间长度乘积等于预设时间段乘以i；
判断所述i+1时间戳是否位于预设时间范围内；及
如果所述i+1时间戳位于预设时间范围内，则将所述第i+1模型参数集合从所述第一存储器落到第二存储器中。
2.根据权利要求1所述的在线模型学习方法，其特征在于，获取第i批线上样本数据和第i模型参数集合，包括：
当i大于1时，所述第i模型参数集合包括在执行第i-1次在线训练任务得到的模型参数集合。
3.根据权利要求1所述的在线模型学习方法，其特征在于，将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型，包括：
将所述第i模型参数集合加载到第一存储器中；及
将位于所述第一存储器中的第i模型参数集合配置到所述在线模型中，得到配置有第i模型参数集合的在线模型。
4.根据权利要求1所述的在线模型学习方法，其特征在于，在第i时间节点执行第i次在线训练任务，包括：
当i大于1时，检测所述离线模型是否发生变化；
如果所述离线模型发生变化，则将所述离线模型对应的当前模型参数集合配置到所述在线模型；及
如果所述离线模型没有发生变化，则将第i模型参数集合配置到所述在线模型，其中，所述第i模型参数集合为执行第i-1次在线训练任务得到的模型参数集合。
5.根据权利要求1所述的在线模型学习方法，其特征在于，在第i时间节点执行第i次在线训练任务，包括：
检测第i-1时间节点对应的第i-1次在线训练任务是否执行完毕；
如果所述第i-1次在线训练任务执行完毕，则基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型；及
如果所述第i-1次在线训练任务没有执行完毕，则延迟执行所述第i次在线训练任务，直至所述第i-1次在线训练任务执行完毕。
6.根据权利要求1所述的在线模型学习方法，其特征在于，在第i时间节点执行第i次在线训练任务，包括：
检测所述第i批线上样本数据是否被产生；
如果所述第i批线上样本数据被产生，则执行所述第i次在线训练任务；及
如果所述第i批线上样本数据没有被产生，则延迟执行所述第i次在线训练任务，直至所述第i批线上样本数据被产生。
7.根据权利要求1所述的在线模型学习方法，其特征在于，所述预设时间长度是为执行一次在线训练任务所分配的时间长度，所述预设时间范围对应于当前时间点所在的时间区间。
8.根据权利要求1所述的在线模型学习方法，其特征在于，还包括：
监测每个特征在多次模型训练过程中的出现次数；及
如果监测到其中一个目标特征的出现次数低于预设阈值，则在后续模型训练中停止训练所述目标特征。
9.一种在线模型学习系统，其特征在于，应用于点击率预估模型，包括：
获取模块，用于当在第i时间节点执行第i次在线训练任务，获取第i批线上样本数据和第i模型参数集合，i为正整数，其中，当i为初始值1时，所述第i模型参数集合包括通过训练离线模型得到的初始模型参数集合，所述第i批线上样本数据包括第i批广告曝光点击特征日志的日志数据；
配置模块，用于将所述第i模型参数集合配置到在线模型中，得到配置有第i模型参数集合的在线模型；及
训练模块，用于基于所述第i批线上样本数据训练所述配置有第i模型参数集合的在线模型，得到对应的第i+1模型参数集合；所述第i+1模型参数集合被暂存在第一存储器中；
为所述第i+1模型参数集合配置第i+1时间戳，所述第i+1时间戳为所述初始模型参数集合的生成时间节点与预设时间长度乘积之和，所述预设时间长度乘积等于预设时间段乘以i；
判断所述i+1时间戳是否位于预设时间范围内；及
如果所述i+1时间戳位于预设时间范围内，则将所述第i+1模型参数集合从所述第一存储器落到第二存储器中。
10.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1～8中任一项所述在线模型学习方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1～8中任一项所述的在线模型学习方法的步骤。
CN201910656610.XA 2019-07-19 2019-07-19 在线模型学习方法、系统、设备及计算机可读存储介质 Active CN112241754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910656610.XA CN112241754B (zh) 2019-07-19 2019-07-19 在线模型学习方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910656610.XA CN112241754B (zh) 2019-07-19 2019-07-19 在线模型学习方法、系统、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112241754A CN112241754A (zh) 2021-01-19
CN112241754B true CN112241754B (zh) 2023-06-23

Family

ID=74168132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910656610.XA Active CN112241754B (zh) 2019-07-19 2019-07-19 在线模型学习方法、系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112241754B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653728A (zh) * 2016-01-26 2016-06-08 大连理工大学 基于双层模型体系的无线传感网的数据采集方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6004084B2 (ja) * 2013-03-29 2016-10-05 富士通株式会社 モデル更新方法、装置、およびプログラム
CN107464023B (zh) * 2017-08-16 2020-04-17 新疆金风科技股份有限公司 生命周期预测模型的在线学习方法和设备
CN109816412B (zh) * 2017-11-21 2022-11-29 腾讯科技（深圳）有限公司 一种训练模型生成方法、装置、设备和计算机存储介质
KR102550932B1 (ko) * 2017-12-29 2023-07-04 삼성전자주식회사 음성 인식 모델의 개인화 방법 및 장치
CN110020877B (zh) * 2018-01-09 2023-04-18 腾讯科技（深圳）有限公司 点击率的预测方法、点击率的确定方法及服务器
CN109377752A (zh) * 2018-10-19 2019-02-22 桂林电子科技大学 短时交通流变化预测方法、装置、计算机设备及存储介质
CN109299327A (zh) * 2018-11-16 2019-02-01 广州市百果园信息技术有限公司 视频推荐方法、装置、设备及存储介质
CN109635948A (zh) * 2018-12-19 2019-04-16 北京达佳互联信息技术有限公司 在线训练方法、装置、系统及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653728A (zh) * 2016-01-26 2016-06-08 大连理工大学 基于双层模型体系的无线传感网的数据采集方法

Also Published As

Publication number Publication date
CN112241754A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN109992473B (zh) 应用系统的监控方法、装置、设备及存储介质
CN110990138A (zh) 资源调度方法、装置、服务器及存储介质
CN112612607A (zh) 基于消息队列的数据处理方法、装置、计算机设备和介质
CN112579304A (zh) 基于分布式平台的资源调度方法、装置、设备及介质
CN113168347A (zh) 容器化应用程序的编排
CN112948450A (zh) 用于实时推荐的Flink流式处理引擎方法、装置及计算机设备
CN111158999A (zh) 一种格式化时间的计算方法和装置
CN114237852A (zh) 一种任务调度方法、装置、服务器及存储介质
CN111800807A (zh) 一种基站用户数量告警的方法及装置
CN112241754B (zh) 在线模型学习方法、系统、设备及计算机可读存储介质
CN113608751A (zh) 推理服务平台的运行方法、装置、设备及存储介质
CN113360250A (zh) 一种应用服务资源控制方法、装置、设备及介质
CN113254153A (zh) 流程任务处理方法、装置、计算机设备和存储介质
CN110443451B (zh) 事件定级方法、装置、计算机设备和存储介质
CN117093787A (zh) 一种应用于脑刺激装置的信息推送方法及相关设备
CN111258854A (zh) 模型训练方法、基于预测模型的报警方法和相关装置
CN112445504A (zh) 设备固件升级方法、装置及系统
CN115907234A (zh) 病虫害预测方法、装置、电子设备和存储介质
CN115809384A (zh) 网页更新方法、装置、计算机设备及计算机可读介质
CN113850428A (zh) 作业调度的预测处理方法、装置和电子设备
CN111258724B (zh) 一种分布式系统的数据处理方法、装置、设备和存储介质
CN112448855B (zh) 区块链系统参数更新方法和系统
CN114936089A (zh) 资源调度方法、系统、设备及存储介质
CN114116761A (zh) 变量加工方法、装置、计算机设备和存储介质
US20200279199A1 (en) Generating a completion prediction of a task

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant