CN116992275A - 资源分配推理模型训练方法、装置、设备及介质 - Google Patents

资源分配推理模型训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN116992275A
CN116992275A CN202211097778.XA CN202211097778A CN116992275A CN 116992275 A CN116992275 A CN 116992275A CN 202211097778 A CN202211097778 A CN 202211097778A CN 116992275 A CN116992275 A CN 116992275A
Authority
CN
China
Prior art keywords
model
reasoning
algorithm
processor
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211097778.XA
Other languages
English (en)
Inventor
沈宁
李元锋
孙知洋
郭向
刘亮
杨猛
景昕
顾骧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202211097778.XA priority Critical patent/CN116992275A/zh
Publication of CN116992275A publication Critical patent/CN116992275A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计算机领域，提供一种资源分配推理模型训练方法、装置、设备及介质，该方法包括：确定影响处理器分配和内存分配的特征因素，特征因素包括推理参数、算法个数和算法类型基数；基于推理参数、算法个数和算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；基于推理参数、算法个数和算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；基于内存分配模型和处理器分配模型，得到资源分配推理模型；多元线性回归模型是基于多元线性函数构成的模型；线性回归对数模型是基于线性函数和对数函数构成的模型。本发明实施例提供的资源分配推理模型训练方法训练出的资源分配推理模型解决了推理计算资源管理粗放的问题。

Description

资源分配推理模型训练方法、装置、设备及介质
技术领域
本发明涉及计算机领域，尤其涉及一种资源分配推理模型训练方法、装置、设备及介质。
背景技术
为了快速在数字化营销场景下使用挖掘模型进行精准预测，通常是采用从表中批量提取全量数据集，进行大批量离线推理预测打标，为用户进行业务标签的设定。目前通常的做法是数据开发人员对接离线推理模型的接口协议，再开发独立的批量推理脚本，从而导致了推理计算资源管理粗放。
发明内容
本发明提供一种资源分配推理模型训练方法、装置、设备及介质，旨在解决推理计算资源管理粗放的问题。
第一方面，本发明提供一种资源分配推理模型训练方法，包括：
确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数；
基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型；
其中，所述多元线性回归模型是基于多元线性函数构成的模型；所述线性回归对数模型是基于线性函数和对数函数构成的模型。
在一个实施例中，所述基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型，包括：
确定所述推理参数中的推理数据量和推理特征数，以及确定所述算法类型基数中的算法内存基数；
基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法内存基数及其权重系数，对所述多元线性回归模型进行训练，得到所述内存分配模型。
所述基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法内存基数及其权重系数，对所述多元线性回归模型进行训练，得到所述内存分配模型，包括：
通过所述多元线性回归模型对节点容器的内存偏移进行拟合，得到内存模型公式；
基于所述推理数据量及其第一权重系数确定第一乘积，基于所述推理特征数及其第二权重系数确定第二乘积，基于所述算法个数及其第三权重系数确定第三乘积，基于所述算法内存基数及其第四权重系数确定多个第四乘积，基于节点容器的偏移系数和容器系统内存值确定第五乘积；
通过所述第一乘积、所述第二乘积、所述第三乘积、多个所述第四乘积和所述第五乘积，对所述内存模型公式进行训练，得到所述内存分配模型。
所述基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型，包括：
确定所述推理参数中的推理数据量和推理特征数，以及确定所述算法类型基数中的算法处理器基数；
基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法处理器基数及其权重系数，对所述线性回归对数模型进行训练，得到所述处理器分配模型。
所述基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法处理器基数及其权重系数，对所述线性回归对数模型进行训练，得到所述处理器分配模型，包括：
通过所述线性回归对数模型对节点容器的处理器数量进行拟合，得到处理器模型公式；
基于所述推理数据量及其第六权重系数确定第六乘积，基于所述推理特征数及其第七权重系数确定第七乘积，基于所述算法个数及其第八权重系数确定第八乘积，基于所述算法处理器基数及其第九权重系数确定多个第九乘积；
基于所述第六乘积、所述第七乘积、所述第八乘积和多个所述第九乘积，对处理器模型公式进行训练，得到所述处理器分配模型。
基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型之后，还包括：
确定输入的推理数据量、推理特征数、算法个数和算法内存基数；
基于所述内存分配模型对输入的推理数据量、推理特征数、算法个数和算法内存基数推理计算，得到所要分配的内存数量。
基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型之后，还包括：
确定输入的推理数据量、推理特征数、算法个数和算法处理器基数；
基于所述处理器分配模型对输入的推理数据量、推理特征数、算法个数和算法处理器基数推理计算，得到所要分配的处理器数量。
第二方面，本发明提供一种资源分配推理模型训练装置包括：
第一确定模块，用于确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数；
第一训练模块，用于基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
第二训练模块，用于基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
第二确定模块，用于基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型；
其中，所述多元线性回归模型是基于多元线性函数构成的模型；所述线性回归对数模型是基于线性函数和对数函数构成的模型。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述资源分配推理模型训练方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述资源分配推理模型训练方法。
第五方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述资源分配推理模型训练方法。
本发明提供的资源分配推理模型训练方法、装置、设备及介质，确定影响处理器分配和内存分配的特征因素，特征因素包括推理参数、算法个数和算法类型基数；基于推理参数、算法个数和算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；基于推理参数、算法个数和算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；基于内存分配模型和处理器分配模型，得到资源分配推理模型；多元线性回归模型是基于多元线性函数构成的模型；线性回归对数模型是基于线性函数和对数函数构成的模型。
在资源分配推理模型训练的过程中，内存分配模型是推理参数、算法个数和算法类型基数，对多元线性回归模型进行训练得到的，处理器分配模型是推理参数、算法个数和算法类型基数，对线性回归对数模型进行训练得到的，从而使得训练出的资源分配推理模型能够适应各类推理场景，达到动态分配资源的效果，解决了推理计算资源管理粗放的问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的资源分配推理模型训练方法的流程示意图；
图2是本发明提供的资源分配推理模型训练装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。
结合图1至图3描述本发明提供的资源分配推理模型训练方法、装置、设备及介质。图1是本发明提供的资源分配推理模型训练方法的流程示意图；图2是本发明提供的资源分配推理模型训练装置的结构示意图；图3是本发明提供的电子设备的结构示意图。
本发明实施例提供了资源分配推理模型训练方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。
本发明实施例以电子设备作为执行主体进行举例，本发明实施例以模型训练系统作为电子设备的表现形式之一，并不进行限制。
参照图1，图1是本发明提供的资源分配推理模型训练方法的流程示意图。本发明实施例提供的资源分配推理模型训练方法包括：
步骤101，确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数。
需要说明的是，模型训练系统中至少包括资源评估模型。
因此，模型训练系统通过资源评估模型进行特征提取，确定影响处理器分配和内存分配的特征因素，具体分析如下：
通过对批量推理模型的运行的CPU(Central Processing Unit，中央处理器)和内存相关影响因素的分析，发现以下方面因素影响批量推理模型的CPU处理器和内存的分配，即影响处理器分配和内存分配的特征因素包括但不限制于推理参数(推理数据量和推理特征数)、算法个数(模型中包含的算法个数)和算法类型基数(模型采用的算法类型的内存基数或CPU处理器基数)。需要说明的是，本发明涉及到的模型包括但不限制于线性SVR回归模型、Lassolars回归模型、弹性网络回归模型、岭回归模型、XGBOOST模型和梯度提升决策树模型，各个模型的算法类型基数可以根据模型算法原理进行设置。
步骤102，基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
需要说明的是，在模型推理内存测试数据收集时，不但要考虑推理过程需要的内存，还需要收集容器操作系统占用的内存，因此，本发明实施例采用多元线性回归模型进行训练，其中，多元线性回归模型是基于多元线性函数h(x)构成的模型，多元线性函数h(x)即由多个线性表达式组成的函数。
因此，模型训练系统通过影响内存分配的推理参数、算法个数和算法类型基数，对多元线性回归模型进行训练，得到内存分配模型。
步骤103，基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
步骤104，基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型。
需要说明的是，为了保证批量推理的整体效果效率，CPU处理器的数量需要根据推理参数、算法个数和算法类型基数进行扩充，但由于CPU处理器是所有比较重要的资源，在实际使用过程不能完全随指标进行线性扩充，因此，本发明实施例采用线性回归对数模型进行训练，线性回归对数模型是基于线性函数和对数函数(In(h(y)))构成的模型，线性函数和对数函数(In(h(y)))即对多个线性表达式组成的线性函数h(y)再进行对数的函数。
因此，模型训练系统通过影响CPU处理器的推理参数、算法个数和算法类型基数，对线性回归对数模型进行训练，得到CPU处理器分配模型。
进一步地，模型训练系统将内存分配模型和CPU处理器分配模型进行组合，得到最终所要训练的资源分配推理模型。
本发明提供的资源分配推理模型训练方法，确定影响处理器分配和内存分配的特征因素，特征因素包括推理参数、算法个数和算法类型基数；基于推理参数、算法个数和算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；基于推理参数、算法个数和算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；基于内存分配模型和处理器分配模型，得到资源分配推理模型；多元线性回归模型是基于多元线性函数构成的模型；线性回归对数模型是基于线性函数和对数函数构成的模型。
在资源分配推理模型训练的过程中，内存分配模型是推理参数、算法个数和算法类型基数，对多元线性回归模型进行训练得到的，处理器分配模型是推理参数、算法个数和算法类型基数，对线性回归对数模型进行训练得到的，从而使得训练出的资源分配推理模型能够适应各类推理场景，达到动态分配资源的效果，解决了推理计算资源管理粗放的问题。
进一步地，步骤101所记载的基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型的具体分析如下：
确定所述推理参数中的推理数据量和推理特征数，以及确定所述算法类型基数中的算法内存基数；
基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法内存基数及其权重系数，对所述多元线性回归模型进行训练，得到所述内存分配模型。
具体地，模型训练系统确定推理参数中的推理数据量(推理批次的总记录数)和推理特征数(模型输入的特征数量)，以及确定算法类型基数中的算法内存基数。进一步地，模型训练系统确定推理数据量的权重系数，推理特征数的权重系数，算法个数的特征数的权重系数，算法内存基数的权重系数，然后根据推理数据量及其权重系数、根据推理特征数及其权重系数、根据算法个数及其权重系数和根据算法内存基数及其权重系数，对多元线性回归模型h(x)进行训练，得到内存分配模型。
进一步地，基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法内存基数及其权重系数，对所述多元线性回归模型进行训练，得到所述内存分配模型的具体分析如下：
通过所述多元线性回归模型对节点容器的内存偏移进行拟合，得到内存模型公式；
基于所述推理数据量及其第一权重系数确定第一乘积，基于所述推理特征数及其第二权重系数确定第二乘积，基于所述算法个数及其第三权重系数确定第三乘积，基于所述算法内存基数及其第四权重系数确定多个第四乘积，基于节点容器的偏移系数和容器系统内存值确定第五乘积；
通过所述第一乘积、所述第二乘积、所述第三乘积、多个所述第四乘积和所述第五乘积，对所述内存模型公式进行训练，得到所述内存分配模型。
具体地，模型训练系统通过多元线性回归模型对节点容器的内存偏移进行拟合，得到内存模型公式，内存模型公式形如z1：h(x)＝w1*x1+w2*x2+w3*x3+w4*x4+…wn*xn+b*k，采用拟合值和实际消耗情况的均方差作为评价指标，通过训练求出推理过程的各个变量权重系数，其中，z1推理分配的内存数量，以M(兆)为单位。
模型训练系统根据推理数据量x1及其第一权重系数w1确定第一乘积，即第一乘积为w1*x1，根据推理特征数x2及其第二权重系数w2确定第二乘积，即第二乘积为w2*x2，根据算法个数x3及其第三权重系数w3确定第三乘积，即第三乘积为w3*x3，根据算法内存基数x4至xn及其第四权重系数w4至wn确定多个第四乘积，即多个第四乘积为w4*x4+w5*x5+w6*x6+…wn*xn，根据节点容器的偏移系数b和容器系统内存值k(k为常数，由容器系统内存决定)确定第五乘积，即第五乘积为b*k。
进一步地，在一实施例中，容器系统内存值k为200，即第五乘积为b*200，因此，模型训练系统将第一乘积w1*x1，第二乘积w2*x2，第三乘积w3*x3，多个第四乘积w4*x4+w5*x5+w6*x6+…wn*xn，第五乘积b*200代入内存模型公式z1：h(x)＝w1*x1+w2*x2+w3*x3+w4*x4+…wn*xn+b*k中进行训练，计算出内存模型公式z1：h(x)＝w1*x1+w2*x2+w3*x3+w4*x4+…wn*xn+b*k中的第一权重系数w1，第二权重系数w2，第三权重系数w3，第四权重系数w4至wn，节点容器的偏移系数b。
进一步地，模型训练系统根据计算出的第一权重系数w1，第二权重系数w2，第三权重系数w3，第四权重系数w4至wn，节点容器的偏移系数b代入内存模型公式z1：h(x)＝w1*x1+w2*x2+w3*x3+w4*x4+…wn*xn+b*k，得到内存分配模型。
本发明实施例在内存分配模型训练的过程中，内存分配模型是推理参数、算法个数和算法内存基数，对多元线性回归模型进行训练得到的，从而使得训练出的内存分配模型能够适应各类推理场景，达到动态分配资源的效果，解决了推理计算资源管理粗放的问题。
进一步地，步骤101所记载的基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型的具体分析如下：
确定所述推理参数中的推理数据量和推理特征数，以及确定所述算法类型基数中的算法处理器基数；
基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法处理器基数及其权重系数，对所述线性回归对数模型进行训练，得到所述处理器分配模型。
具体地，模型训练系统确定推理参数中的推理数据量(推理批次的总记录数)和推理特征数(模型输入的特征数量)，以及确定算法类型基数中的算法CPU处理器基数。进一步地，模型训练系统确定推理数据量的权重系数，推理特征数的权重系数，算法个数的特征数的权重系数，算法CPU处理器基数的权重系数，然后根据推理数据量及其权重系数、根据推理特征数及其权重系数、根据算法个数及其权重系数和根据算法CPU处理器基数及其权重系数，对线性回归对数模型In(h(y))进行训练，得到处理器分配模型。
进一步地，基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法处理器基数及其权重系数，对所述线性回归对数模型进行训练，得到所述处理器分配模型的具体分析如下：
通过所述线性回归对数模型对节点容器的处理器数量进行拟合，得到处理器模型公式；
基于所述推理数据量及其第六权重系数确定第六乘积，基于所述推理特征数及其第七权重系数确定第七乘积，基于所述算法个数及其第八权重系数确定第八乘积，基于所述算法处理器基数及其第九权重系数确定多个第九乘积；
基于所述第六乘积、所述第七乘积、所述第八乘积和多个所述第九乘积，对处理器模型公式进行训练，得到所述处理器分配模型。
具体地，模型训练系统线性回归对数模型对节点容器的处理器数量进行拟合，得到CPU处理器模型公式，CPU处理器模型公式形如z2：g(y)＝In(h(y))，其中，h(y)＝λ1*y1+λ2*y2+λ3*y3+λ4*y4+…+λn*yn，即CPU处理器模型公式z2：g(y)＝In(λ1*y1+λ2*y2+λ3*y3+λ4*y4+…+λn*yn)，通过训练求出推理过程的各个变量权重系数，z2推理分配CPU处理器的数量，以核数为单位。
模型训练系统根据推理数据量y1及其第六权重系数λ1确定第六乘积，即第六乘积为λ1*y1，根据推理特征数y2及其第七权重系数λ2确定第七乘积，即第七乘积为λ2*y2，根据算法个数y3及其第八权重系数λ3确定第八乘积，即第八乘积为λ3*y3，根据算法处理器基数y4至yn及其第九权重系数λ4至λn确定多个第九乘积，即多个第九乘积为λ4*y4+λ5*y5+λ6*y6+…+λn*yn。
进一步地，模型训练系统将第六乘积λ1*y1，第七乘积λ2*y2，第八乘积λ3*y3，多个第九乘积λ4*y4+λ5*y5+λ6*y6+…+λn*yn代入CPU处理器模型公式z2：g(y)＝In(λ1*y1+λ2*y2+λ3*y3+λ4*y4+…+λn*yn)中进行训练，计算出CPU处理器模型公式z2：g(y)＝In(λ1*y1+λ2*y2+λ3*y3+λ4*y4+…+λn*yn)中的第六权重系数λ1，第七权重系数λ2，第八权重系数λ3，第九权重系数λ4至λn。
进一步地，模型训练系统根据计算出的第六权重系数λ1，第七权重系数λ2，第八权重系数λ3，第九权重系数λ4至λn代入CPU处理器模型公式z2：g(y)＝In(λ1*y1+λ2*y2+λ3*y3+λ4*y4+…+λn*yn)，得到处理器CPU分配模型。
本发明实施例在处理器CPU分配模型训练的过程中，处理器CPU分配模型是推理参数、算法个数和算法CPU处理器基数，对线性回归对数模型进行训练得到的，从而使得训练出的处理器CPU分配模型能够适应各类推理场景，达到动态分配资源的效果，解决了推理计算资源管理粗放的问题。
进一步地，基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型之后，需要推理计算出所要分配的内存数量，具体分析如下：
确定输入的推理数据量、推理特征数、算法个数和算法内存基数；
基于所述内存分配模型对输入的推理数据量、推理特征数、算法个数和算法内存基数推理计算，得到所要分配的内存数量。
具体地，在内存资源推理分配时，模型训练系统确定输入的推理数据量x1、推理特征数x2、算法个数x3和算法内存基数x4至xn。
进一步地，模型训练系统将输入的推理数据量x1、推理特征数x2、算法个数x3和算法内存基数x4至xn，输入至训练好的内存分配模型z1：h(x)＝w1*x1+w2*x2+w3*x3+w4*x4+…wn*xn+b*k中，通过训练好的内存分配模型z1：h(x)＝w1*x1+w2*x2+w3*x3+w4*x4+…wn*xn+b*k，对输入的推理数据量x1、推理特征数x2、算法个数x3和算法内存基数x4至xn进行内存资源推理计算，得到所要分配的内存数量。
本发明实施例通过内存分配模型根据推理数据量、推理特征数、算法个数和算法内存基数，对推理过程中需要分配内存采用公式化的方式进行动态评估，减少推理过程中的资源浪费。
进一步地，基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型之后，需要推理计算出所要分配的处理器数量，具体分析如下：
确定输入的推理数据量、推理特征数、算法个数和算法处理器基数；
基于所述处理器分配模型对输入的推理数据量、推理特征数、算法个数和算法处理器基数推理计算，得到所要分配的处理器数量。
具体地，在进行处理器CPU资源推理分配时，模型训练系统确定输入的推理数据量y1、推理特征数y2、算法个数y3和算法处理器基数y4至yn。
进一步地，模型训练系统将输入的推理数据量y1、推理特征数y2、算法个数y3和算法处理器基数y4至yn，输入至训练好的处理器CPU分配模型z2：g(y)＝In(λ1*y1+λ2*y2+λ3*y3+λ4*y4+…+λn*yn)中，通过训练好的处理器CPU分配模型z2：g(y)＝In(λ1*y1+λ2*y2+λ3*y3+λ4*y4+…+λn*yn)，对输入的推理数据量y1、推理特征数y2、算法个数y3和算法处理器基数y4至yn进行处理器CPU资源推理计算，得到所要分配的处理器CPU数量。
本发明实施例通过处理器分配模型根据推理数据量、推理特征数、算法个数和算法处理器基数，对推理过程中需要分配的处理器CPU采用公式化的方式进行动态评估，减少推理过程中的资源浪费。
进一步地，本发明为解决推理能力性能瓶颈和环境部署的复杂性，还提出了一种基于spark on k8s实现容器化离线批量推理的设计，为了达到推理过程灵活组合、高吞吐量、环境的快速部署。
通过将推理过程抽象，分离各常用步骤为独立可复用模块，并将数据访问作为公共库剥离出来，并将spark计算引擎部署在K8S容器上，能够实现数据的并行抽取和推理过程的计算，达到快速部署，保障数据安全，提升吞吐量和计算并行度，快速实现用户基于算法模型的批量推理打标技术，为了实现以上目的，按照以下步骤实现：
S1，获取离线批量推理运行的依赖环境列表，包括python的版本和运行的操作系统版本，驱动库、算法依赖包，数据源连接插件，这些运行环境往往彼此层级关系复杂，同时各种算法包和基础组件包还有先后依赖关系，本方案通过全自动化模式提取算法包调用依赖关系，无需依赖相关说明文件。
S2，上传批量推理入口文件、挖掘模型文件、数据预处理文件。
S3，构建镜像生成的dockfile文件，通过文件进行运行环境和模型的统一打包，根据dockfile文件的顺序生成镜像。
S4，推理过程拆分，将推理过程拆分为数据读取、数据清洗、特征过滤、模型调用，各个过程间可以灵活进行组合。
S5，读取批量推理的数据访问对象，通过平台管理员统一进行连接信息的配置，配置完成后对外提供统一的数据访问对象，并将对象在容器拉起的时候自动设置容器的环境变量中，公共插件通过加密机制进行数据源的连接。
S6，系统根据推理的场景，构建需要运行推理过程的spark计算节点容器，通过对推理过程的资源影响因子采用线性回归模型进行训练，分别训练出处理器CPU分配模型和内存分配模型，在批量推理过程进行容器资源分配时将实时采集到因子代入到模型中计算出需要分配给容器需要的CPU处理器和内存资源。
需要说明的是，CPU分配模型和内存分配模型已在本发明实施例的步骤101至步骤103中详细阐述，在此不再赘述。
S7，上传推理入口脚本和算法文件以及相关依赖包，支持单个文件或整个目录的上传，能够自动将推理脚本发布为对外开放的API服务，支持Restful服务接口。
进一步，离线批量推理是指从数据存储区域中选取需要进行挖掘标签预测的数据子集，子集中的每条记录调用挖掘模型的算法进行标签概率的预测，并将预测中输出到预测的数据子集中。
进一步的，离线批量推理运行的依赖包遍历方式，推理运行环境是指推理过程需要在容器中正常运行需要的完整底层库和依赖的上层功能以及通用的业务预处理过程等方面的信息，其中，算法依赖包的获取无需开发者提供相关文档或列表，采用从推理入口文件引用包逐级展开向下递归追溯的方式提取方式，直到算法包集合中库都是python自带的基础库，搜索结束，同时保存遍历的轨迹，形成依赖包在容器中加载树形结构表，并自动从运行环境中提取所需的依赖包，通过搜索推理脚本的所有算法包关键字，进行逐级溯源下探，算法包的版本同时搜索_verion.py文件和dist-info后缀的文件夹。
进一步地，搜索详细方法具体分析如下：
确定推理入口文件，根据关键字搜索依赖包(如import dask)，进入搜索到的依赖包中，确定是否存在基础包，若存在基础包，则查询依赖包的版本，保存依赖包调用链关系。若不存在基础包，则返回根据关键字搜索依赖包(如import dask)，进入搜索到的依赖包中，确定是否存在基础包，直至确定存在基础包。
进一步的，构建镜像生成的配置文件，通过文件进行运行环境和模型的统一打包的具体分析如下：
获取模型推理需要运行的操作系统环境版本，通常是Centos和Ubuntu等linux版本。读取依赖包列表文件和版本，使用专用的下载工具从外部或内部组件库下载库文件。执行镜像构建的命令，通过镜像生成时候进行依赖包自动加载和构建，构建模型推理的虚拟化环境，无需人工进行提前准备和干预。
进一步的，推理过程拆分，将数据处理加工和模型的调用进行解耦，使推理更加方便进行实施和标准化，过程间可以灵活进行组合，过程包括数据读取、数据预处理、特征过滤和模型推理。
对于数据读取：配置连接的数据库地址、实例名、连接认证文件、接口机等信息，数据读取模块根据数据源类型，加载不同的数据库访问驱动库，并形成统一的标准数据集，包括业务数据和元数据，通过元数据信息可以实现对数据集的快速访问和搜索。
对于数据预处理：提供数据的过滤、合并、分发、截取、表达式、函数计算等多种方式的数据处理方法，并支持定制的python脚本或java包进行引入，同时提供对数据的异常值和空值进程处理，异常值记录通常直接进行告警，不纳入数据推理的范围，空值采用中位数或平均值或众数方面进行补充，数据输入可以是文件、消息队列、数据库表等多种方式。
对于特征过滤：提供统计特征和模型特征的计算功能，并将权重值从高到低进行排列，支持通过编写运算表达式对特征进行选择处理，将一些不在模型范围内的特征进行剔除，可以自动根据计算特征的个数分配K8S容器个数和每个容器的CPU和内存个数。
对于模型推理：构建独立的模型应用和推理容器，并能实现模型版本的自动下载和更新，通过模型提供的标准协议，加载模型二进制文件，调用统一的接口，进行数据标签的预测和打标，输出多个分类预测的概率值，调用数据加载将预测的结果插入到数据库中。
进一步的，设置批量推理的数据库源连接系统，通过平台管理员统一进行连接信息的配置，是指在系统中预设好了各类数据源的连接通道和连接访问信息，通常包括各种关系型数据库如：mysql、oracle等，也可以是分布式文件数据库如：hive、Hbase等，并将连接信息以加密串的方式存储在文件卷中，容器在启动时候自动挂接分配到文件卷，读取分配给推理需要的数据源的加密文件。
进一步的，系统根据推理的场景，构建需要运行推理过程的spark计算节点容器，计算资源采用以下数据挖掘回归模型进行预测，解决主观判定或简单倍数关系机械扩充粗放模式。需要说明的是，CPU分配模型和内存分配模型已在本发明实施例的步骤101至步骤103中详细阐述，在此不再赘述。
进一步地，资源规格管理，为了更方便的进行资源管理，系统只设定若干数量的基准规格，不超过15种，流程和CPU和内存的区间进行匹配，向上浮动，以内存为关键配置，不超过最高规格的上限制。
进一步的，批量推理框架通过统一推理入口，调用推理过程的各个模块，读取数据源的推理数据集，调用挖掘模型容器进行推理结果的输出，具体分析如下为：
加载离线推理入口文件；定义推理模型接口对外接口；启动推理入口文件的执行方法；调用数据预处理模块；获取数据源连接信息，获取需要批量推理的数据子集；对数据子集的数据逐条调用挖掘模型进行营销标签预测将推理结果输出到指定的数据源的库表中。
进一步地，本发明提供的资源分配推理模型训练装置与本发明提供的资源分配推理模型训练方法互对应参照。
图2所示，图2是本发明提供的资源分配推理模型训练装置的结构示意图，资源分配推理模型训练装置包括：
第一确定模块201，用于确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数；
第一训练模块202，用于基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
第二训练模块203，用于基于推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
第二确定模块204，用于基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型；
其中，所述多元线性回归模型是基于多元线性函数构成的模型；所述线性回归对数模型是基于线性函数和对数函数构成的模型。
进一步地，第一训练模块202还用于：
确定所述推理参数中的推理数据量和推理特征数，以及确定所述算法类型基数中的算法内存基数；
基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法内存基数及其权重系数，对所述多元线性回归模型进行训练，得到所述内存分配模型。
进一步地，第一训练模块202还用于：
通过所述多元线性回归模型对节点容器的内存偏移进行拟合，得到内存模型公式；
基于所述推理数据量及其第一权重系数确定第一乘积，基于所述推理特征数及其第二权重系数确定第二乘积，基于所述算法个数及其第三权重系数确定第三乘积，基于所述算法内存基数及其第四权重系数确定多个第四乘积，基于节点容器的偏移系数和容器系统内存值确定第五乘积；
通过所述第一乘积、所述第二乘积、所述第三乘积、多个所述第四乘积和所述第五乘积，对所述内存模型公式进行训练，得到所述内存分配模型。
进一步地，第二训练模块203还用于：
确定所述推理参数中的推理数据量和推理特征数，以及确定所述算法类型基数中的算法处理器基数；
基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法处理器基数及其权重系数，对所述线性回归对数模型进行训练，得到所述处理器分配模型。
进一步地，第二训练模块203还用于：
通过所述线性回归对数模型对节点容器的处理器数量进行拟合，得到处理器模型公式；
基于所述推理数据量及其第六权重系数确定第六乘积，基于所述推理特征数及其第七权重系数确定第七乘积，基于所述算法个数及其第八权重系数确定第八乘积，基于所述算法处理器基数及其第九权重系数确定多个第九乘积；
基于所述第六乘积、所述第七乘积、所述第八乘积和多个所述第九乘积，对处理器模型公式进行训练，得到所述处理器分配模型。
进一步地，资源分配推理模型训练装置包括推理计算模块，用于：
确定输入的推理数据量、推理特征数、算法个数和算法内存基数；
基于所述内存分配模型对输入的推理数据量、推理特征数、算法个数和算法内存基数推理计算，得到所要分配的内存数量。
进一步地，推理计算模块还用于：
确定输入的推理数据量、推理特征数、算法个数和算法处理器基数；
基于所述处理器分配模型对输入的推理数据量、推理特征数、算法个数和算法处理器基数推理计算，得到所要分配的处理器数量。
本发明提供的资源分配推理模型训练装置的具体实施例与上述资源分配推理模型训练方法各实施例基本相同，在此不作赘述。
图3示例了一种电子设备的实体结构示意图，如图3所示，电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行资源分配推理模型训练方法，该方法包括：
确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数；
基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型；
其中，所述多元线性回归模型是基于多元线性函数构成的模型；所述线性回归对数模型是基于线性函数和对数函数构成的模型。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的资源分配推理模型训练方法，该方法包括：
确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数；
基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型；
其中，所述多元线性回归模型是基于多元线性函数构成的模型；所述线性回归对数模型是基于线性函数和对数函数构成的模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的资源分配推理模型训练方法，该方法包括：
确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数；
基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型；
其中，所述多元线性回归模型是基于多元线性函数构成的模型；所述线性回归对数模型是基于线性函数和对数函数构成的模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种资源分配推理模型训练方法，其特征在于，包括：
确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数；
基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型；
其中，所述多元线性回归模型是基于多元线性函数构成的模型；所述线性回归对数模型是基于线性函数和对数函数构成的模型。
2.根据权利要求1所述的资源分配推理模型训练方法，其特征在于，所述基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型，包括：
确定所述推理参数中的推理数据量和推理特征数，以及确定所述算法类型基数中的算法内存基数；
基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法内存基数及其权重系数，对所述多元线性回归模型进行训练，得到所述内存分配模型。
3.根据权利要求2所述的资源分配推理模型训练方法，其特征在于，所述基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法内存基数及其权重系数，对所述多元线性回归模型进行训练，得到所述内存分配模型，包括：
通过所述多元线性回归模型对节点容器的内存偏移进行拟合，得到内存模型公式；
基于所述推理数据量及其第一权重系数确定第一乘积，基于所述推理特征数及其第二权重系数确定第二乘积，基于所述算法个数及其第三权重系数确定第三乘积，基于所述算法内存基数及其第四权重系数确定多个第四乘积，基于节点容器的偏移系数和容器系统内存值确定第五乘积；
通过所述第一乘积、所述第二乘积、所述第三乘积、多个所述第四乘积和所述第五乘积，对所述内存模型公式进行训练，得到所述内存分配模型。
4.根据权利要求1所述的资源分配推理模型训练方法，其特征在于，所述基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型，包括：
确定所述推理参数中的推理数据量和推理特征数，以及确定所述算法类型基数中的算法处理器基数；
基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法处理器基数及其权重系数，对所述线性回归对数模型进行训练，得到所述处理器分配模型。
5.根据权利要求4所述的资源分配推理模型训练方法，其特征在于，所述基于所述推理数据量及其权重系数、所述推理特征数及其权重系数、所述算法个数及其权重系数和所述算法处理器基数及其权重系数，对所述线性回归对数模型进行训练，得到所述处理器分配模型，包括：
通过所述线性回归对数模型对节点容器的处理器数量进行拟合，得到处理器模型公式；
基于所述推理数据量及其第六权重系数确定第六乘积，基于所述推理特征数及其第七权重系数确定第七乘积，基于所述算法个数及其第八权重系数确定第八乘积，基于所述算法处理器基数及其第九权重系数确定多个第九乘积；
基于所述第六乘积、所述第七乘积、所述第八乘积和多个所述第九乘积，对处理器模型公式进行训练，得到所述处理器分配模型。
6.根据权利要求2至3任一项所述的资源分配推理模型训练方法，其特征在于，基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型之后，还包括：
确定输入的推理数据量、推理特征数、算法个数和算法内存基数；
基于所述内存分配模型对输入的推理数据量、推理特征数、算法个数和算法内存基数推理计算，得到所要分配的内存数量。
7.根据权利要求4至5任一项所述的资源分配推理模型训练方法，其特征在于，基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型之后，还包括：
确定输入的推理数据量、推理特征数、算法个数和算法处理器基数；
基于所述处理器分配模型对输入的推理数据量、推理特征数、算法个数和算法处理器基数推理计算，得到所要分配的处理器数量。
8.一种资源分配推理模型训练装置，其特征在于，包括：
第一确定模块，用于确定影响处理器分配和内存分配的特征因素，其中，所述特征因素包括推理参数、算法个数和算法类型基数；
第一训练模块，用于基于所述推理参数、所述算法个数和所述算法类型基数，对多元线性回归模型进行训练，得到内存分配模型；
第二训练模块，用于基于所述推理参数、所述算法个数和所述算法类型基数，对线性回归对数模型进行训练，得到处理器分配模型；
第二确定模块，用于基于所述内存分配模型和所述处理器分配模型，得到资源分配推理模型；
其中，所述多元线性回归模型是基于多元线性函数构成的模型；所述线性回归对数模型是基于线性函数和对数函数构成的模型。
9.一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的资源分配推理模型训练方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的资源分配推理模型训练方法。
CN202211097778.XA 2022-09-08 2022-09-08 资源分配推理模型训练方法、装置、设备及介质 Pending CN116992275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211097778.XA CN116992275A (zh) 2022-09-08 2022-09-08 资源分配推理模型训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211097778.XA CN116992275A (zh) 2022-09-08 2022-09-08 资源分配推理模型训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116992275A true CN116992275A (zh) 2023-11-03

Family

ID=88532710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211097778.XA Pending CN116992275A (zh) 2022-09-08 2022-09-08 资源分配推理模型训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116992275A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117573373A (zh) * 2024-01-15 2024-02-20 中诚华隆计算机技术有限公司 一种基于云计算的cpu虚拟化调度方法及系统
CN117608866A (zh) * 2024-01-24 2024-02-27 山东博商缘信息科技发展有限公司 一种基于大模型的数据协同处理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117573373A (zh) * 2024-01-15 2024-02-20 中诚华隆计算机技术有限公司 一种基于云计算的cpu虚拟化调度方法及系统
CN117573373B (zh) * 2024-01-15 2024-03-26 中诚华隆计算机技术有限公司 一种基于云计算的cpu虚拟化调度方法及系统
CN117608866A (zh) * 2024-01-24 2024-02-27 山东博商缘信息科技发展有限公司 一种基于大模型的数据协同处理方法及系统
CN117608866B (zh) * 2024-01-24 2024-05-03 山东博商缘信息科技发展有限公司 一种基于大模型的数据协同处理方法及系统

Similar Documents

Publication Publication Date Title
US20220335338A1 (en) Feature processing tradeoff management
Wang et al. Rafiki: Machine learning as an analytics service system
CN116992275A (zh) 资源分配推理模型训练方法、装置、设备及介质
US11100420B2 (en) Input processing for machine learning
US11423082B2 (en) Methods and apparatus for subgraph matching in big data analysis
US10339465B2 (en) Optimized decision tree based models
US11182691B1 (en) Category-based sampling of machine learning data
Karau et al. Learning spark: lightning-fast big data analysis
US9672474B2 (en) Concurrent binning of machine learning data
Verbeek et al. Decomposed process mining: The ILP case
CN109791492B (zh) 流水线相关树查询优化器和调度器
CN107562532B (zh) 一种预测设备集群的硬件资源利用率的方法及装置
CN116508019A (zh) 用于数据库管理系统的基于学习的工作负载资源优化
CN108062384A (zh) 数据检索的方法和装置
CN114911830A (zh) 基于时序数据库的索引缓存方法、装置、设备及存储介质
Singh et al. A machine learning approach for modular workflow performance prediction
US20230334325A1 (en) Model Training Method and Apparatus, Storage Medium, and Device
Nkisi-Orji et al. Clood CBR: towards microservices oriented case-based reasoning
Spaggiari et al. Architecting HBase applications: a guidebook for successful development and design
Ead PStorM: Profile storage and matching for feedback-based tuning of MapReduce jobs
EP3961411A1 (en) Method for decentralized accessioning for distributed machine learning and other applications
JP5555238B2 (ja) ベイジアンネットワーク構造学習のための情報処理装置及びプログラム
Saurabh et al. Semantics-aware virtual machine image management in IaaS clouds
CN111222833A (zh) 基于数据湖服务器的算法配置组合平台
US11921756B2 (en) Automated database operation classification using artificial intelligence techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination