CN117032936B - 一种数据调度方法、装置和计算机设备 - Google Patents
一种数据调度方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117032936B CN117032936B CN202311267177.3A CN202311267177A CN117032936B CN 117032936 B CN117032936 B CN 117032936B CN 202311267177 A CN202311267177 A CN 202311267177A CN 117032936 B CN117032936 B CN 117032936B
- Authority
- CN
- China
- Prior art keywords
- data
- tpu
- time
- scheduling model
- data scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000005457 optimization Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 239000002245 particle Substances 0.000 claims abstract description 18
- 238000000638 solvent extraction Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/509—Offload
Abstract
本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算资源消耗高的问题。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据调度方法、装置和计算机设备。
背景技术
随着人工智能的发展，大语言模型因为其卓越的性能而受到重视。但是，大语言模型因为其本身存储有数以十亿甚至数万亿个参数，在使用大语言模型进行任务处理的过程中调用大量参数需要极高的计算和内存要求。
现有技术中，通常采用多块TPU（Tensor Processing Unit，张量处理器）和复杂的并行策略，来满足大预言模型运行时的吞吐量的要求，这无疑增加了计算机计算资源的消耗。
然而，对于现有技术中因为需要多块TPU而导致计算机计算资源的消耗高的问题，仍没有得到解决。
发明内容
基于此，有必要针对上述技术问题，提供一种数据调度方法、装置和计算机设备。
第一方面，本申请提供了一种数据调度方法。所述方法包括以下步骤：
对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；
基于所述数据块所对应的所述加载时间和所述卸载时间，得到数据调度模型的初始参数，将所述初始参数输入到所述数据调度模型，得到初始数据调度模型；
基于所述数据块的大小，所述数据块所对应的所述加载时间和所述卸载时间，以及每块TPU存储量的大小，得到所述数据块占用TPU数量的时间分布；
根据所述数据块占用TPU数量的所述时间分布，计算按照所述初始数据调度模型进行数据调度的资源消耗量；
利用粒子群优化算法，对所述初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照所述训练后的数据调度模型进行数据调度的所述资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；
基于所述完备数据调度模型，对TPU上的所述数据块进行数据调度。
在其中一个实施例中，所述对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块，包括以下步骤：
获取TPU的整个生命周期内的数据的加载信息和所述数据的卸载信息；所述数据的加载信息，包括所述数据的加载时间；所述数据的卸载信息，包括所述数据的卸载时间；
对TPU上的所述数据进行分块，将所述加载时间和所述卸载时间均相同的所述数据划分为同一数据块。
在其中一个实施例中，所述基于所述数据块所对应的所述加载时间和所述卸载时间，得到数据调度模型的初始参数，将所述初始参数输入到所述数据调度模型中，得到初始数据调度模型，包括以下步骤：
基于所述数据块所对应的所述加载时间和所述卸载时间，得到所述数据块的所述加载时间和所述卸载时间所形成的向量；
将所有数据块对应的向量作为所述数据调度模型的初始参数，输入到所述数据调度模型中，得到所述初始数据调度模型。
在其中一个实施例中，所述基于所述数据块的大小，所述数据块所对应的所述加载时间和所述卸载时间，以及每块TPU存储量的大小，得到所述数据块占用TPU数量的时间分布，包括以下步骤：
基于所述数据块的大小，以及所述数据块所对应的所述加载时间和所述卸载时间，得到TPU上的所有数据块的总数据大小的时间分布；
基于TPU上的所有所述数据块的所述总数据大小的时间分布，以及每块TPU存储量的大小，得到所述数据块占用TPU数量的时间分布。
在其中一个实施例中，所述基于所述数据块的大小，以及所述数据块所对应的所述加载时间和所述卸载时间，得到TPU上的所有数据块的总数据大小的时间分布，包括以下步骤：
基于每个所述数据块所对应的所述加载时间和所述卸载时间，获取TPU的整个生命周期内的每个时刻的所有数据块；
根据TPU的所述整个生命周期内的每个时刻的所有所述数据块，以及每个所述数据块的大小，得到TPU的所述整个生命周期内的每个时刻的所有所述数据块的总数据大小；
基于TPU的所述整个生命周期内的每个时刻的所有所述数据块的所述总数据大小，得到TPU上的所有所述数据块的所述总数据大小的时间分布。
在其中一个实施例中，所述基于TPU上的所有所述数据块的所述总数据大小的时间分布，以及每块TPU存储量的大小，得到所述数据块占用TPU数量的时间分布，包括以下步骤：
基于TPU上的所有所述数据块的所述总数据大小的时间分布，以及每块TPU存储量的大小，计算每个时刻的TPU上的所有所述数据块的所述总数据大小与每块TPU存储量的大小的比值，并对所述比值向上取整，得到每个时刻的所述数据块占用TPU数量；
基于每个时刻的所述数据块占用TPU数量，得到所述数据块占用TPU数量的时间分布。
在其中一个实施例中，所述根据所述数据块占用TPU数量的所述时间分布，计算按照所述初始数据调度模型进行数据调度的资源消耗量，包括：
根据所述数据块占用TPU数量的时间分布，得到所述数据块占用TPU数量的数量值以及各个数量值所对应的占用时间；
计算所述数量值、所述数量值所对应的占用时间以及预设的每块TPU单位时间所消耗的资源，这三部分的积，得到所述数量值所对应的资源消耗量；
对每个数量值所对应的资源消耗量求和，得到按照所述初始数据调度模型进行资源调度的所述资源消耗量。
在其中一个实施例中，所述利用粒子群优化算法，对所述初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照所述训练后的数据调度模型进行数据调度的所述资源消耗量达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型，包括：
利用所述粒子群优化算法，对所述初始数据调度模型的参数进行优化训练，得到训练后的参数；
将所述训练后的参数输入到所述初始数据调度模型中，得到所述训练后的数据调度模型，直至按照所述训练后的数据调度模型进行数据调度的所述资源消耗量，达到按照预设的最少的TPU数量计算得到的所述资源消耗量时，停止训练，得到所述完备数据调度模型。
第二方面，本申请还提供了一种数据调度装置。所述装置包括：
分块模块，用于对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；
模型模块，用于基于所述数据块所对应的所述加载时间和所述卸载时间，得到数据调度模型的初始参数，将所述初始参数输入到所述数据调度模型，得到初始数据调度模型；
分布模块，用于基于所述数据块的大小，所述数据块所对应的所述加载时间和所述卸载时间，以及每块TPU存储量的大小，得到所述数据块占用TPU数量的时间分布；
计算模块，用于根据所述数据块占用TPU数量的所述时间分布，计算按照所述初始数据调度模型进行数据调度的资源消耗量；
训练模块，用于利用粒子群优化算法，对所述初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照所述训练后的数据调度模型进行数据调度的所述资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量，停止训练，得到完备数据调度模型；
以及调度模块，用于基于所述完备数据调度模型，对TPU上的所述数据块进行数据调度。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的数据调度方法。
上述数据调度方法、装置和计算机设备，通过对TPU上的数据进行分块，将加载时间和卸载时间相同的数据划分为同一数据块。进而，根据数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数，得到初始数据调度模型。并计算占用TPU数量的时间分布，进而计算按照初始数据调度模型进行数据调度的资源消耗量。然后，利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型。基于完备数据调度模型，对TPU上的数据块进行数据调度。采用这种方式，根据完备数据调度模型对数据块进行数据调度，通过数据调度来减少TPU的使用数量，解决了需要多块TPU而导致计算机计算资源的消耗高的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一实施例提供的数据调度方法的终端的硬件结构框图；
图2为本申请一实施例提供的数据调度方法的流程图；
图3为本申请一优选实施例提供的数据调度方法的流程图；
图4为本申请一实施例提供的数据调度装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的数据调度方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本申请实施例提供的数据调度方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种数据调度方法，图2是本实施例的数据调度方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块。
在本步骤中，上述TPU上的数据，可以是模型的参数数据、网络梯度数据和优化器状态数据中的一种或多种。
上述对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块，可以是获取TPU的整个生命周期内的数据的加载信息和数据的卸载信息，其中，数据的加载信息，可以包括数据的加载时间，数据的卸载信息，可以包括数据的卸载时间，进而对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块。上述TPU的整个生命周期，可以将向TPU内加载数据的时刻作为起点，将TPU内的数据卸载完成，即停止使用TPU的时刻作为终点，整个时间长度内TPU内的数据的情况记作TPU的整个生命周期。需要说明的是，数据的加载信息，除了包括数据的加载时间，还包括数据的加载大小，数据的卸载信息，除了包括数据的卸载时间，还包括数据的卸载大小。本步骤通过将加载时间和卸载时间均相同的数据划分为同一数据块，对TPU上的数据进行分块，可以通过分块的结果，得到每一个数据块所对应的加载时间和卸载时间，便于通过加载时间和卸载时间来构建数据调度模型的初始参数，还可以得到每一个数据块的大小，便于根据数据块的大小来计算TPU上的数据的大小。
步骤S220，基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数，将初始参数输入到数据调度模型，得到初始数据调度模型。
其中，上述数据调度模型的初始参数，可以是由所有数据块所对应的加载时间和卸载时间所形成的向量。上述基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数，可以是基于数据块所对应的加载时间和卸载时间，得到数据块的加载时间和卸载时间所形成的向量。上述将初始参数输入到数据调度模型，得到初始数据调度模型，可以是将所有数据块对应的向量作为数据调度模型的初始参数，输入到数据调度模型中，得到初始数据调度模型。本步骤通过数据块所对应的加载时间和卸载时间确定数据调度模型的初始参数，进而将初始参数输入到数据调度模型中得到初始数据调度模型，能够建立初始数据调度模型与每个数据块的加载时间和卸载时间的关系，便于通过训练优化数据调度模型的参数，来实现数据块的调度。
步骤S230，基于数据块的大小，数据块所对应的加载时间和卸载时间，以及每块TPU存储量的大小，得到数据块占用TPU数量的时间分布。
在本步骤中，上述每块TPU存储量的大小，可以是由预先选定的TPU的类型决定的，指的是TPU的存储容量，为了便于计算，本实施例所选取的所有TPU的存储量的大小都相等。上述基于数据块的大小，数据块所对应的加载时间和卸载时间，以及每块TPU存储量的大小，得到数据块占用TPU数量的时间分布，可以是基于数据块的大小，以及数据块所对应的加载时间和卸载时间，得到TPU上的所有数据块的总数据大小的时间分布，进而基于TPU上的所有数据块的总数据大小的时间分布，以及每块TPU存储量的大小，得到数据块占用TPU数量的时间分布。本步骤通过TPU上的数据块的大小，以及数据块的加载时间以及卸载时间，能够得到TPU上的所有数据块的总数据大小的时间分布，进而根据每块TPU存储量的大小，能够得到数据块占用TPU数量的时间分布。
步骤S240，根据数据块占用TPU数量的时间分布，计算按照初始数据调度模型进行数据调度的资源消耗量。
具体地，上述根据数据块占用TPU数量的时间分布，计算按照初始数据调度模型进行数据调度的资源消耗量，可以是根据数据块占用TPU数量的时间分布，得到数据块占用TPU数量的数量值以及各个数量值所对应的占用时间，进而，计算占用TPU数量的数量值、数量值所对应的占用时间以及预设的每块TPU单位时间所消耗的资源，这三部分的积，得到数量值所对应的资源消耗量，最后，对每个数量值所对应的资源消耗量求和，得到按照初始数据调度模型进行资源调度的资源消耗量。上述预设的每块TPU单位时间所消耗的资源，可以用每块TPU单位时间所花费的单价来衡量每块TPU单位时间所占用的计算机的计算资源。例如，每块TPU单位时间所花费的单价为10元每小时。 上述占用TPU数量的数量值，可以是指占用TPU的块数，例如，占用TPU的数量为2块。上述对每个数量值所对应的资源消耗量求和，得到按照初始数据调度模型进行资源调度的资源消耗量，可以通过举例进行说明，例如，按照初始数据调度模型进行资源调度，占用2块TPU的时间为10小时，占用3块TPU的时间为5小时，每块TPU单位时间所花费的单价为3元每小时，则，得到按照初始数据调度模型进行资源调度后的资源消耗量为：2×10×3+3×5×3=105元。
步骤S250，利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型。
其中，上述利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型，可以是利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的参数，进而，将训练后的参数输入到初始数据调度模型中，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型。
上述预设的最少的TPU数量，可以是使用初始数据调度模型计算出的占用TPU数量的每个数量值的平均数向下取整或向上取整的值，例如，使用初始数据调度模型计算出的占用TPU数量的数量值包括1块、2块和4块，则通过计算可以得到数量值的平均数向下取整为2块，预设的最少的TPU数量为2块，或通过计算可以得到数量值的平均数向上取整为3块，预设的最少的TPU数量为3块。一般情况下，只有当使用初始数据调度模型计算出的占用TPU数量的每个数量值的平均数向下取整，训练数据调度模型次数超过预设的第一阈值次数时，例如，预设的第一阈值次数可以为500次，按照训练后的数据调度模型进行数据调度的资源消耗量，仍没有达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，使用初始数据调度模型计算出的占用TPU数量的每个数量值的平均数向上取整按照新的设定最少的TPU数量计算得到的资源消耗量，进行数据调度模型的训练。需要说明的是，当使用初始数据调度模型计算出的占用TPU数量的每个数量值的平均数得到的数值不足1时，预设的最少的TPU数量为1块。
上述预设的最少的TPU数量，还可以是使用初始数据调度模型计算出的占用TPU数量的最小数值，例如，使用初始数据调度模型计算出的占用TPU数量的数量值包括1块、2块和4块，则可以设定预设的最少的TPU数量为1块。
上述两种确定预设的最少的TPU数量的方式，可以根据具体情况而定，正常情况下，两种方式都能得到完备数据调度模型，若采用其中一种方式设定的最少的TPU数量的情况下，训练数据调度模型次数超过预设的第一阈值次数时，按照训练后的数据调度模型进行数据调度的资源消耗量，仍没有达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，进而，采用另一种方式设定最少的TPU数量，按照新的设定最少的TPU数量计算得到的资源消耗量，进行数据调度模型的训练。若采用两种方式所设定的最少的TPU数量的情况下，训练数据调度模型次数超过预设的第二阈值次数时，例如，预设的第二阈值次数可以为5000次，按照训练后的数据调度模型进行数据调度的资源消耗量，仍没有达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，将最后一次训练后的数据调度模型作为完备数据调度模型。上述预设的第二阈值次数大于预设的第一阈值次数。
上述按照预设的最少的TPU数量计算得到的资源消耗量，是指预设的最少的TPU数量，所有数量值所对应的占用时间的和以及预设的每块TPU单位时间所消耗的资源，这三部分的积。例如，按照初始数据调度模型进行资源调度，占用2块TPU的时间为10小时，占用3块TPU的时间为5小时，每块TPU单位时间所花费的单价为3元每小时，使用初始数据调度模型计算出的占用TPU数量的每个数量值的平均数向下取整的值为2块，所有数量值所对应的占用时间的和为15小时，此时按照预设的最少的TPU数量计算得到的资源消耗量为：2×15×3=90元。
步骤S260，基于完备数据调度模型，对TPU上的数据块进行数据调度。
本步骤通过完备数据调度模型对TPU上的数据块进行数据调度，能够通过数据调度来减少TPU的使用数量，进而减少计算机资源的计算资源消耗量。
上述步骤S210至步骤S260，通过对TPU上的数据进行分块，将加载时间和卸载时间相同的数据划分为同一数据块。进而，根据数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数，得到初始数据调度模型。并计算占用TPU数量的时间分布，进而计算按照初始数据调度模型进行数据调度的资源消耗量。然后，利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型。基于完备数据调度模型，对TPU上的数据块进行数据调度。采用这种方式，根据完备数据调度模型对数据块进行数据调度，通过数据调度来减少TPU的使用数量，进而减少计算机的计算资源消耗量，解决了需要多块TPU而导致计算机的计算资源消耗高的问题。
在一个实施例中，基于步骤S230，基于数据块的大小，数据块所对应的加载时间和卸载时间，以及每块TPU存储量的大小，得到数据块占用TPU数量的时间分布，可以包括以下步骤：
步骤S232，基于数据块的大小，以及数据块所对应的加载时间和卸载时间，得到TPU上的所有数据块的总数据大小的时间分布。
具体地，基于数据块的大小，以及数据块所对应的加载时间和卸载时间，得到TPU上的所有数据块的总数据大小的时间分布，可以是首先基于每个数据块所对应的加载时间和卸载时间，获取TPU的整个生命周期内的每个时刻的所有数据块，然后，根据TPU的整个生命周期内的每个时刻的所有数据块，以及每个数据块的大小，得到TPU的整个生命周期内的每个时刻的所有数据块的总数据大小，最后，基于TPU的整个生命周期内的每个时刻的所有数据块的总数据大小，得到TPU上的所有数据块的总数据大小的时间分布。本步骤通过计算TPU上的所有数据块的总数据大小的时间分布，便于后续计算数据块占用TPU数量的时间分布。
步骤S234，基于TPU上的所有数据块的总数据大小的时间分布，以及每块TPU存储量的大小，得到数据块占用TPU数量的时间分布。
上述基于TPU上的所有数据块的总数据大小的时间分布，以及每块TPU存储量的大小，得到数据块占用TPU数量的时间分布，可以是基于TPU上的所有数据块的总数据大小的时间分布，以及每块TPU存储量的大小，计算每个时刻的TPU上的所有数据块的总数据大小与每块TPU存储量的大小的比值，并对比值向上取整，得到每个时刻的数据块占用TPU数量，进而，基于每个时刻的数据块占用TPU数量，得到数据块占用TPU数量的时间分布。上述每个时刻的数据块占用TPU数量，可以通过举例进行说明，例如，某一时刻TPU上的所有数据块的总数据大小为325G，每块TPU存储量的大小为80G，则，此时数据块占用TPU数量为325除以80的结果向上取整的值，因此，此时数据块占用TPU数量为为5块。
上述步骤S232至步骤S234，通过数据块的大小和数据块的存储时间和卸载时间，得到TPU上的总数据大小的时间分布，进而根据TPU上的总数据大小的时间分布，来得到数据块占用TPU数量的时间分布，便于后续通过占用TPU数量的时间分布来计算资源消耗量。
下面通过优选实施例对本实施例进行描述和说明。
图3是本申请一优选实施例提供的数据调度方法的流程图。如图3所示，该数据调度方法包括以下步骤：
步骤310，获取TPU的整个生命周期内的数据的加载信息和数据的卸载信息；数据的加载信息，包括数据的加载时间；数据的卸载信息，包括数据的卸载时间；
步骤320，对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；
步骤330，基于数据块所对应的加载时间和卸载时间，得到数据块的加载时间和卸载时间所形成的向量；
步骤340，将所有数据块对应的向量作为数据调度模型的初始参数，输入到数据调度模型中，得到初始数据调度模型；
步骤350，基于数据块的大小，以及数据块所对应的加载时间和卸载时间，得到TPU上的所有数据块的总数据大小的时间分布；
步骤360，基于TPU上的所有数据块的总数据大小的时间分布，以及每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；
步骤370，根据数据块占用TPU数量的时间分布，计算按照初始数据调度模型进行数据调度的资源消耗量；
步骤380，利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；
步骤390，基于完备数据调度模型，对TPU上的数据块进行数据调度。
上述步骤S310至步骤S390，通过对TPU上的数据进行分块，将加载时间和卸载时间相同的数据划分为同一数据块。进而，根据数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数，得到初始数据调度模型。并计算占用TPU数量的时间分布，进而计算按照初始数据调度模型进行数据调度的资源消耗量。然后，利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型。基于完备数据调度模型，对TPU上的数据块进行数据调度。采用这种方式，根据完备数据调度模型对数据块进行数据调度，通过数据调度来减少TPU的使用数量，进而减少计算机的计算资源消耗量，解决了需要多块TPU而导致使计算机的计算资源消耗高的问题。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，在本实施例中还提供了一种数据调度装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中，图4是本申请一实施例提供的数据调度装置的结构框图，如图4所示，该数据调度装置，包括：
分块模块41，用于对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；
模型模块42，用于基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数，将初始参数输入到数据调度模型，得到初始数据调度模型；
分布模块43，用于基于数据块的大小，数据块所对应的加载时间和卸载时间，以及每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；
计算模块44，用于根据数据块占用TPU数量的时间分布，计算按照初始数据调度模型进行数据调度的资源消耗量；
训练模块45，用于利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量，停止训练，得到完备数据调度模型；
以及调度模块46，用于基于完备数据调度模型，对TPU上的数据块进行数据调度。
上述数据调度装置，其通过对TPU上的数据进行分块，将加载时间和卸载时间相同的数据划分为同一数据块。进而，根据数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数，得到初始数据调度模型。并计算占用TPU数量的时间分布，进而计算按照初始数据调度模型进行数据调度的资源消耗量。然后，利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型。基于完备数据调度模型，对TPU上的数据块进行数据调度。采用这种方式，根据完备数据调度模型对数据块进行数据调度，通过数据调度来减少TPU的使用数量，进而减少了计算机的计算资源消耗量，解决了需要多块TPU而导致计算机的计算资源消耗高的问题。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中的任意一种数据调度方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (7)
1.一种数据调度方法，应用于TPU的资源调度，其特征在于，所述方法包括：
对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；
基于所述数据块所对应的所述加载时间和所述卸载时间，得到所述数据块的所述加载时间和所述卸载时间所形成的向量；将所有数据块对应的向量作为数据调度模型的初始参数，输入到所述数据调度模型中，得到初始数据调度模型；
基于所述数据块的大小，以及所述数据块所对应的所述加载时间和所述卸载时间，得到TPU上的所有数据块的总数据大小的时间分布；基于TPU上的所有所述数据块的所述总数据大小的时间分布，以及每块TPU存储量的大小，得到所述数据块占用TPU数量的时间分布；
根据所述数据块占用TPU数量的时间分布，得到所述数据块占用TPU数量的数量值以及各个数量值所对应的占用时间；计算所述数量值、所述数量值所对应的占用时间以及预设的每块TPU单位时间所消耗的资源，这三部分的积，得到所述数量值所对应的资源消耗量；对每个数量值所对应的资源消耗量求和，得到按照所述初始数据调度模型进行资源调度的资源消耗量；
利用粒子群优化算法，对所述初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照所述训练后的数据调度模型进行数据调度的所述资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；
基于所述完备数据调度模型，对TPU上的所述数据块进行数据调度。
2.根据权利要求1所述的数据调度方法，其特征在于，所述对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块，包括：
获取TPU的整个生命周期内的数据的加载信息和所述数据的卸载信息；所述数据的加载信息，包括所述数据的加载时间；所述数据的卸载信息，包括所述数据的卸载时间；
对TPU上的所述数据进行分块，将所述加载时间和所述卸载时间均相同的所述数据划分为同一数据块。
3.根据权利要求1所述的数据调度方法，其特征在于，所述基于所述数据块的大小，以及所述数据块所对应的所述加载时间和所述卸载时间，得到TPU上的所有数据块的总数据大小的时间分布，包括：
基于每个所述数据块所对应的所述加载时间和所述卸载时间，获取TPU的整个生命周期内的每个时刻的所有数据块；
根据TPU的所述整个生命周期内的每个时刻的所有所述数据块，以及每个所述数据块的大小，得到TPU的所述整个生命周期内的每个时刻的所有所述数据块的总数据大小；
基于TPU的所述整个生命周期内的每个时刻的所有所述数据块的所述总数据大小，得到TPU上的所有所述数据块的所述总数据大小的时间分布。
4.根据权利要求1所述的数据调度方法，其特征在于，所述基于TPU上的所有所述数据块的所述总数据大小的时间分布，以及每块TPU存储量的大小，得到所述数据块占用TPU数量的时间分布，包括：
基于TPU上的所有所述数据块的所述总数据大小的时间分布，以及每块TPU存储量的大小，计算每个时刻的TPU上的所有所述数据块的所述总数据大小与每块TPU存储量的大小的比值，并对所述比值向上取整，得到每个时刻的所述数据块占用TPU数量；
基于每个时刻的所述数据块占用TPU数量，得到所述数据块占用TPU数量的时间分布。
5.根据权利要求1所述的数据调度方法，其特征在于，所述利用粒子群优化算法，对所述初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照所述训练后的数据调度模型进行数据调度的所述资源消耗量达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型，包括：
利用所述粒子群优化算法，对所述初始数据调度模型的参数进行优化训练，得到训练后的参数；
将所述训练后的参数输入到所述初始数据调度模型中，得到所述训练后的数据调度模型，直至按照所述训练后的数据调度模型进行数据调度的所述资源消耗量，达到按照预设的最少的TPU数量计算得到的所述资源消耗量时，停止训练，得到所述完备数据调度模型。
6.一种数据调度装置，其特征在于，所述装置包括：
分块模块，用于对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；
模型模块，用于基于所述数据块所对应的所述加载时间和所述卸载时间，得到所述数据块的所述加载时间和所述卸载时间所形成的向量；将所有数据块对应的向量作为数据调度模型的初始参数，输入到所述数据调度模型中，得到初始数据调度模型；
分布模块，用于基于所述数据块的大小，以及所述数据块所对应的所述加载时间和所述卸载时间，得到TPU上的所有数据块的总数据大小的时间分布；基于TPU上的所有所述数据块的所述总数据大小的时间分布，以及每块TPU存储量的大小，得到所述数据块占用TPU数量的时间分布；
计算模块，用于根据所述数据块占用TPU数量的时间分布，得到所述数据块占用TPU数量的数量值以及各个数量值所对应的占用时间；计算所述数量值、所述数量值所对应的占用时间以及预设的每块TPU单位时间所消耗的资源，这三部分的积，得到所述数量值所对应的资源消耗量；对每个数量值所对应的资源消耗量求和，得到按照所述初始数据调度模型进行资源调度的资源消耗量；
训练模块，用于利用粒子群优化算法，对所述初始数据调度模型的参数进行优化训练，得到训练后的数据调度模型，直至按照所述训练后的数据调度模型进行数据调度的所述资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量，停止训练，得到完备数据调度模型；
以及调度模块，用于基于所述完备数据调度模型，对TPU上的所述数据块进行数据调度。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求5中任一项所述的数据调度方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311267177.3A CN117032936B (zh) | 2023-09-28 | 2023-09-28 | 一种数据调度方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311267177.3A CN117032936B (zh) | 2023-09-28 | 2023-09-28 | 一种数据调度方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117032936A CN117032936A (zh) | 2023-11-10 |
| CN117032936B true CN117032936B (zh) | 2024-02-06 |
Family
ID=88635752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311267177.3A Active CN117032936B (zh) | 2023-09-28 | 2023-09-28 | 一种数据调度方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117032936B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103021016A (zh) * | 2012-12-05 | 2013-04-03 | 上海创图网络科技发展有限公司 | 一种渲染过程中海量三维地理信息数据处理方法 |
| CN111026548A (zh) * | 2019-11-28 | 2020-04-17 | 国网甘肃省电力公司电力科学研究院 | 一种逆向深度强化学习的电力通信设备测试资源调度方法 |
| CN111309421A (zh) * | 2020-02-11 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 界面资源的加载方法、装置、终端及存储介质 |
| WO2021232848A1 (zh) * | 2020-05-18 | 2021-11-25 | 南京邮电大学 | 一种异构网络下基于支持向量机的资源分配方法 |
| EP4024212A1 (en) * | 2020-12-29 | 2022-07-06 | Telefonica Digital España, S.L.U. | Method for scheduling interference workloads on edge network resources |
| CN114995994A (zh) * | 2022-04-24 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 任务处理方法及系统 |
| CN115934333A (zh) * | 2022-12-12 | 2023-04-07 | 国网辽宁省电力有限公司信息通信分公司 | 基于历史数据感知的云计算资源调度方法及调度系统 |
| CN116339932A (zh) * | 2021-12-16 | 2023-06-27 | 中国信息通信研究院 | 资源调度方法、装置和服务器 |
| CN116472533A (zh) * | 2020-12-14 | 2023-07-21 | 华为技术有限公司 | 人工智能ai模型的开发方法和装置 |
| WO2023150912A1 (zh) * | 2022-02-08 | 2023-08-17 | 华为技术有限公司 | 算子的调度运行时间比较方法、装置及存储介质 |
-
2023
- 2023-09-28 CN CN202311267177.3A patent/CN117032936B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103021016A (zh) * | 2012-12-05 | 2013-04-03 | 上海创图网络科技发展有限公司 | 一种渲染过程中海量三维地理信息数据处理方法 |
| CN111026548A (zh) * | 2019-11-28 | 2020-04-17 | 国网甘肃省电力公司电力科学研究院 | 一种逆向深度强化学习的电力通信设备测试资源调度方法 |
| CN111309421A (zh) * | 2020-02-11 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 界面资源的加载方法、装置、终端及存储介质 |
| WO2021232848A1 (zh) * | 2020-05-18 | 2021-11-25 | 南京邮电大学 | 一种异构网络下基于支持向量机的资源分配方法 |
| CN116472533A (zh) * | 2020-12-14 | 2023-07-21 | 华为技术有限公司 | 人工智能ai模型的开发方法和装置 |
| EP4024212A1 (en) * | 2020-12-29 | 2022-07-06 | Telefonica Digital España, S.L.U. | Method for scheduling interference workloads on edge network resources |
| CN116339932A (zh) * | 2021-12-16 | 2023-06-27 | 中国信息通信研究院 | 资源调度方法、装置和服务器 |
| WO2023150912A1 (zh) * | 2022-02-08 | 2023-08-17 | 华为技术有限公司 | 算子的调度运行时间比较方法、装置及存储介质 |
| CN114995994A (zh) * | 2022-04-24 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 任务处理方法及系统 |
| CN115934333A (zh) * | 2022-12-12 | 2023-04-07 | 国网辽宁省电力有限公司信息通信分公司 | 基于历史数据感知的云计算资源调度方法及调度系统 |
Non-Patent Citations (2)
| Title |
|---|
| 云计算系统中能量有效的数据摆放算法和节点调度策略;倪斌;;现代电子技术(第09期);全文 * |
| 基于多目标粒子群的边缘云资源调度策略;胡应鑫;;电信技术(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117032936A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106570559A (zh) | 一种基于神经网络的数据处理方法和装置 | |
| CN112084038B (zh) | 神经网络的内存分配方法及装置 | |
| CN111445020A (zh) | 一种基于图的卷积网络训练方法、装置及系统 | |
| CN109754359A (zh) | 一种应用于卷积神经网络的池化处理的方法及系统 | |
| CN111984400A (zh) | 神经网络的内存分配方法及装置 | |
| US20230393813A1 (en) | Sorting apparatus and method | |
| CN110674569A (zh) | 基于决策树的充电剩余时间估算方法及系统 | |
| US20200364558A1 (en) | Electronic apparatus and controlling method thereof | |
| CN112686379A (zh) | 集成电路装置、电子设备、板卡和计算方法 | |
| CN117032936B (zh) | 一种数据调度方法、装置和计算机设备 | |
| CN106933882B (zh) | 一种大数据增量计算方法和装置 | |
| CN114281474A (zh) | 一种资源调节方法及装置 | |
| CN110021166B (zh) | 用于处理用户出行数据的方法、装置和计算设备 | |
| CN114637606A (zh) | 基于配电台区配变网关的任务卸载方法、装置和设备 | |
| CN116186417B (zh) | 推荐方法、装置、计算机设备和存储介质 | |
| CN117573382B (zh) | 一种数据采集任务编排方法、装置 | |
| CN116131259B (zh) | 基于时间聚合的电力资源调度方法、装置和计算机设备 | |
| CN117155929B (zh) | 分布式集群的通信方法、系统、电子设备及可读存储介质 | |
| US20230376562A1 (en) | Integrated circuit apparatus for matrix multiplication operation, computing device, system, and method | |
| CN117873304A (zh) | 应用于芯片的低功耗运行方法、装置、芯片和存储介质 | |
| CN116700972A (zh) | 金融系统的资源调度模型训练方法、调度方法及装置 | |
| CN117312653A (zh) | 服务策略确定方法、装置、计算机设备和存储介质 | |
| CN115859156A (zh) | 应用资源密集类型的分类方法、装置和计算机设备 | |
| CN118034906A (zh) | 云服务器集群处理方法、装置、计算机设备和存储介质 | |
| CN114691593A (zh) | 基于多核处理器的数据处理方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |