CN116414726B - 基于存算一体加速器的任务动态分配数据并行计算方法 - Google Patents
基于存算一体加速器的任务动态分配数据并行计算方法 Download PDFInfo
- Publication number
- CN116414726B CN116414726B CN202310299133.2A CN202310299133A CN116414726B CN 116414726 B CN116414726 B CN 116414726B CN 202310299133 A CN202310299133 A CN 202310299133A CN 116414726 B CN116414726 B CN 116414726B
- Authority
- CN
- China
- Prior art keywords
- mode
- addressing
- switching
- memory
- accelerator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 claims description 40
- 238000004458 analytical method Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000011897 real-time detection Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Complex Calculations (AREA)
- Multi Processors (AREA)
Abstract
本发明属于数据处理领域，涉及存算一体加速器技术，用于解决现有技术中的任务动态分配数据并行计算方法，无法采用不同的寻址模式来提高空间寻址效率的问题，具体是基于存算一体加速器的任务动态分配数据并行计算方法，先通过存算一体加速器内核对数据进行近数据计算，在接收到请求者发送的空间分配信号时，再通过任务寻址模块将请求者发送请求任务的计算空间内存需求值发送至模式切换模块，模式切换模块对计算空间的寻址模式进行切换控制分析，将空间节点发送至请求者的客户端；本发明是通过加速器网络将每一个运算内核分割成多个任务模块，并利用任务地址空间技术将任务模块在网络中传输，以实现最高的硬件利用率。
Description
技术领域
本发明属于数据处理领域，涉及存算一体加速器技术，具体是基于存算一体加速器的任务动态分配数据并行计算方法。
背景技术
为了满足应用程序对时延及同时处理大量数据的需要，现有技术中的存算一体加速器是将多个内核连接到一块共享内存上，以实现核间的指令及数据交换，整个交互过程由加速器连接的主处理器控制，通过执行程序设计中的数据传输及任务执行指令完成，同时，为了保证任务的可靠性，该方法需要严格控制数据处理及共享内存访问的先后顺序；
且现有技术中的任务动态分配数据并行计算方法，仅能够根据固定的计算空间分配方式进行空间寻址，而无法采用不同的寻址模式来提高空间寻址效率，同时也无法根据历史分配过程的参数进行规律分析，从而不能够对寻址模式进行科学化的管理，导致计算空间寻址效率低下；
针对上述技术问题，本申请提出一种解决方案。
发明内容
本发明的目的在于提供基于存算一体加速器的任务动态分配数据并行计算方法，用于解决现有技术中的任务动态分配数据并行计算方法，无法采用不同的寻址模式来提高空间寻址效率的问题。
本发明需要解决的技术问题为：如何提供一种可以采用不同的寻址模式来提高空间寻址效率的任务动态分配数据并行计算方法。
本发明的目的可以通过以下技术方案实现：
基于存算一体加速器的任务动态分配数据并行计算方法，包括以下步骤：
步骤一：通过存算一体加速器内核对数据进行近数据计算；
步骤二：在接收到请求者发送的空间分配信号时，通过任务寻址模块将请求者发送请求任务的计算空间内存需求值发送至模式切换模块；
步骤三：模式切换模块对计算空间的寻址模式进行切换控制分析，并将调取的寻址模式发送至任务寻址模块进行计算空间寻址得到空间节点，将空间节点发送至请求者的客户端；
步骤四：通过模式管理模块对模式切换控制分析过程进行周期性管理，设定管理周期，在管理周期结束后对需求区间的切换特征进行标记；在下一管理周期开始时，模式切换模块接收到计算空间内存需求值后调取对应需求区间的切换特征，若切换特征为链节，则优先采取链节分配模式进行计算空间寻址；若切换特征为节点，则直接采取节点分配模式进行计算空间寻址。
作为本发明的一种优选实施方式，在步骤一中，加速器网络的每一个节点均包括存算一体加速器内核、重分配模块以及若干个监测模块，对数据进行近数据计算的具体过程包括：存算一体加速器内核用于对数据进行近数据计算，加速器网络的各个节点连接成网状拓扑结构以进行数据和任务的传输；由多个存算一体加速器内核构成一个加速器群组，监测模块与加速器群组一一对应；通过实时检测与动态任务分配算法，使加速器网络中的每一个节点都构成可重配的存算一体加速器内核，以对数据进行近数据计算，各个节点连接成网状拓扑结构以进行数据和任务的传输，通过任务地址空间模式与任务寻址传输方法支持任务的分配和重组。
作为本发明的一种优选实施方式，在步骤三中，通过模式切换模块对计算空间的寻址模式进行切换控制分析的具体过程包括：寻址模式包括链节分配模式以及节点分配模式，模式切换模块接收到内存需求值后将寻址模式标记为链节分配模式并发送至任务寻址模块；任务寻址模块采用链节分配模式进行计算空间寻址时，若连续M1次匹配失败，则生成切换信号并发送至模式切换模块，模式切换模块接收到切换信号后将寻址模式标记为节点分配模式并发送至任务寻址模块。
作为本发明的一种优选实施方式，采用链节分配模式进行计算空间寻址的具体过程包括：将加速器群组中的所有节点内存值进行求和得到加速器群组的分配值，将分配值最大的加速器群组标记为匹配群组，在匹配群组中的节点按照内存值由小到大的顺序进行排序，排序完成后按照排序对计算空间内存需求值进行逐一匹配，直至节点的内存值与计算空间内存需求值完成匹配，则判定匹配成功；若加速器群组中不存在有与计算空间内存需求值相匹配的节点，则判定匹配失败，选取分配值第二大的加速器群组进行计算空间内存需求值匹配，以此类推，直至匹配成功或匹配失败次数达到M1次。
作为本发明的一种优选实施方式，采用节点分配模式进行计算空间寻址的具体过程包括：按照分配值由大到小的顺序对加速器群组进行排序，将排序中靠前的M1个加速器群组进行剔除，将剔除后加速器群组中的所有节点按照内存值由小到大的顺序进行排序，排序完成后按照排序对计算空间内存需求值进行逐一匹配，直至节点的内存值与计算空间内存需求值完成匹配，则判定匹配成功。
作为本发明的一种优选实施方式，在步骤四中，模式管理模块用于对模式切换控制分析过程进行周期性管理：设定管理周期，在管理周期结束后，获取模式切换模块接收到的计算空间内存需求值的最大值与最小值，由计算空间内存需求值的最大值与最小值构成需求范围，将需求范围分割为若干个需求区间，将需求区间内通过链节分配模式完成寻址匹配的次数标记为链节值LJ，将需求区间内通过节点分配模式完成寻址匹配时的节点排序平均值标记为节序值JX，通过对链节值LJ与节序值JX进行数值计算得到管理周期内需求区间的切换系数QH，通过存储模块获取到切换阈值QHmin，将需求区间的切换系数QH与切换阈值QHmin进行比较并通过比较结果对需求区间是否满足切换条件进行判定。
作为本发明的一种优选实施方式，将需求区间的切换系数QH与切换阈值QHmin进行比较的具体过程包括：若切换系数QH小于切换阈值QHmin，则判定需求区间满足切换条件，将需求区间在下一管理周期的切换特征标记为节点；若切换系数QH大于等于切换阈值QHmin，则判定需求区间不满足切换条件，将需求区间在下一管理周期的切换特征标记为链节。
作为本发明的一种优选实施方式，应用于基于存算一体加速器的任务动态分配数据并行计算系统中，包括数据计算平台，所述数据计算平台通信连接有任务寻址模块、模式切换模块、模式管理模块、加速器网络以及存储模块；
所述任务寻址模块用于接收请求者发送的空间分配信号并将空间分配信号发送至模式切换模块，通过模式切换模块返回的寻址模式进行计算空间寻址，将计算空间寻址得到的空间节点发送至请求者的客户端；
所述模式切换模块用于接收任务寻址模块发送的空间分配信号并调取对应的寻址模式返回至任务寻址模块；
所述模式管理模块用于对模式切换控制分析过程进行周期性管理并在管理周期结束后对需求区间的切换特征进行标记，在下一管理周期开始时通过需求区间的切换特征进行模式切换控制分析。
本发明具备下述有益效果：
1、通过加速器网络将每一个运算内核分割成多个任务模块，并利用任务地址空间技术将任务模块在网络中传输，通过实时检测与动态任务分配算法以实现各个加速器之间的负载平衡，以实现最高的硬件利用率；
2、通过任务寻址模块可以根据模式切换模块返回的寻址模式进行计算空间寻址，采用合适的寻址模式进行空间节点分配，将计算空间利用率最大化，同时对寻址模式进行自动化切换，进一步提高计算空间寻址效率；
3、通过模式切换模块可以对计算空间的寻址模式进行切换控制分析，通过对链节分配模式的结果进行记录与统计，为模式切换控制提供数据支撑，优先采用链节分配模式提高整体的寻址效率，针对特殊请求时，链节分配模式的寻址效率低下，及时切换节点分配模式，以提高特殊请求的寻址效率；
4、通过模式管理模块可以对模式切换控制分析过程进行周期性管理，通过在管理周期结束时进行需求区间的切换特征判定，从而根据历史分配数据对计算空间内存需求值进行分类，在下一管理周期开始可以直接采取最合适的寻址模式进行空间寻址，进一步对寻址过程进行优化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的系统框图；
图2为本发明实施例二的方法流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
如图1所示，基于存算一体加速器的任务动态分配数据并行计算系统，包括数据计算平台，数据计算平台通信连接有任务寻址模块、模式切换模块、模式管理模块、加速器网络以及存储模块；
加速器网络的每一个节点均包括存算一体加速器内核、重分配模块以及若干个监测模块，存算一体加速器内核用于对数据进行近数据计算，加速器网络的各个节点连接成网状拓扑结构以进行数据和任务的传输；由多个存算一体加速器内核构成一个加速器群组，监测模块与加速器群组一一对应；通过实时检测与动态任务分配算法，使加速器网络中的每一个节点都构成可重配的存算一体加速器内核，以对数据进行近数据计算，各个节点连接成网状拓扑结构以进行数据和任务的传输，通过任务地址空间模式与任务寻址传输方法支持任务的分配和重组，该方法将每一个运算内核分割成多个任务模块，并利用任务地址空间技术将任务模块在网络中传输，通过实时检测与动态任务分配算法以实现各个加速器之间的负载平衡，以实现最高的硬件利用率；
任务寻址模块用于在接收到请求者发送的空间分配信号后对请求任务进行计算空间分配：在接收到空间分配信号之后，获取请求者发送请求任务的计算空间内存需求值，任务寻址模块将内存需求值发送至模式切换模块并调取寻址模式，通过调取的寻址模式在加速器群组中筛选得到空间节点并将空间节点发送至请求者的客户端；根据模式切换模块返回的寻址模式进行计算空间寻址，采用合适的寻址模式进行空间节点分配，将计算空间利用率最大化，同时对寻址模式进行自动化切换，进一步提高计算空间寻址效率；
模式切换模块用于对计算空间的寻址模式进行切换控制分析：寻址模式包括链节分配模式以及节点分配模式，模式切换模块接收到内存需求值后将寻址模式标记为链节分配模式并发送至任务寻址模块；任务寻址模块采用链节分配模式进行计算空间寻址时，若连续M1次匹配失败，则生成切换信号并发送至模式切换模块，模式切换模块接收到切换信号后将寻址模式标记为节点分配模式并发送至任务寻址模块；采用链节分配模式进行计算空间寻址的具体过程包括：将加速器群组中的所有节点内存值进行求和得到加速器群组的分配值，将分配值最大的加速器群组标记为匹配群组，在匹配群组中的节点按照内存值由小到大的顺序进行排序，排序完成后按照排序对计算空间内存需求值进行逐一匹配，直至节点的内存值与计算空间内存需求值完成匹配，则判定匹配成功；若加速器群组中不存在有与计算空间内存需求值相匹配的节点，则判定匹配失败，选取分配值第二大的加速器群组进行计算空间内存需求值匹配，以此类推，直至匹配成功或匹配失败次数达到M1次；采用节点分配模式进行计算空间寻址的具体过程包括：按照分配值由大到小的顺序对加速器群组进行排序，将排序中靠前的M1个加速器群组进行剔除，将剔除后加速器群组中的所有节点按照内存值由小到大的顺序进行排序，排序完成后按照排序对计算空间内存需求值进行逐一匹配，直至节点的内存值与计算空间内存需求值完成匹配，则判定匹配成功；对计算空间的寻址模式进行切换控制分析，通过对链节分配模式的结果进行记录与统计，为模式切换控制提供数据支撑，优先采用链节分配模式提高整体的寻址效率，针对特殊请求时，链节分配模式的寻址效率低下，及时切换节点分配模式，以提高特殊请求的寻址效率；
模式管理模块用于对模式切换控制分析过程进行周期性管理：设定管理周期，在管理周期结束后，获取模式切换模块接收到的计算空间内存需求值的最大值与最小值，由计算空间内存需求值的最大值与最小值构成需求范围，将需求范围分割为若干个需求区间，将需求区间内通过链节分配模式完成寻址匹配的次数标记为链节值LJ，将需求区间内通过节点分配模式完成寻址匹配时的节点排序平均值标记为节序值JX，通过公式QH＝α1*LJ+α2*JX得到管理周期内需求区间的切换系数QH，切换系数是一个反映需求区间优先采用节点分配模式的适配程度的数值，切换系数的数值越小，则表示需求区间采用节点分配模式的适配程度越高；通过存储模块获取到切换阈值QHmin，将需求区间的切换系数QH与切换阈值QHmin进行比较：若切换系数QH小于切换阈值QHmin，则判定需求区间满足切换条件，将需求区间在下一管理周期的切换特征标记为节点；若切换系数QH大于等于切换阈值QHmin，则判定需求区间不满足切换条件，将需求区间在下一管理周期的切换特征标记为链节；在下一管理周期开始时，模式切换模块接收到计算空间内存需求值后调取对应需求区间的切换特征，若切换特征为链节，则优先采取链节分配模式进行计算空间寻址；若切换特征为节点，则直接采取节点分配模式进行计算空间寻址；对模式切换控制分析过程进行周期性管理，通过在管理周期结束时进行需求区间的切换特征判定，从而根据历史分配数据对计算空间内存需求值进行分类，在下一管理周期开始可以直接采取最合适的寻址模式进行空间寻址，进一步对寻址过程进行优化。
实施例二
如图2所示，基于存算一体加速器的任务动态分配数据并行计算方法，包括以下步骤：
步骤一：通过存算一体加速器内核对数据进行近数据计算，通过实时检测与动态任务分配算法以实现各个加速器之间的负载平衡，以实现最高的硬件利用率；
步骤二：在接收到请求者发送的空间分配信号时，通过任务寻址模块将请求者发送请求任务的计算空间内存需求值发送至模式切换模块；
步骤三：模式切换模块对计算空间的寻址模式进行切换控制分析，并将调取的寻址模式发送至任务寻址模块进行计算空间寻址，优先采用链节分配模式提高整体的寻址效率，针对特殊请求时，链节分配模式的寻址效率低下，及时切换节点分配模式，以提高特殊请求的寻址效率；
步骤四：通过模式管理模块对模式切换控制分析过程进行周期性管理，设定管理周期，在管理周期结束后对需求区间的切换特征进行标记；在下一管理周期开始时，模式切换模块接收到计算空间内存需求值后调取对应需求区间的切换特征，若切换特征为链节，则优先采取链节分配模式进行计算空间寻址；若切换特征为节点，则直接采取节点分配模式进行计算空间寻址；通过在管理周期结束时进行需求区间的切换特征判定，从而根据历史分配数据对计算空间内存需求值进行分类。
基于存算一体加速器的任务动态分配数据并行计算方法，在工作时，通过存算一体加速器内核对数据进行近数据计算，通过实时检测与动态任务分配算法以实现各个加速器之间的负载平衡，以实现最高的硬件利用率；在接收到请求者发送的空间分配信号时，通过任务寻址模块将请求者发送请求任务的计算空间内存需求值发送至模式切换模块；通过模式管理模块对模式切换控制分析过程进行周期性管理，设定管理周期，在管理周期结束后对需求区间的切换特征进行标记；在下一管理周期开始时，模式切换模块接收到计算空间内存需求值后调取对应需求区间的切换特征，若切换特征为链节，则优先采取链节分配模式进行计算空间寻址；若切换特征为节点，则直接采取节点分配模式进行计算空间寻址；通过在管理周期结束时进行需求区间的切换特征判定，从而根据历史分配数据对计算空间内存需求值进行分类。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置；如：公式QH＝α1*LJ+α2*JX；由本领域技术人员采集多组样本数据并对每一组样本数据设定对应的切换系数；将设定的切换系数和采集的样本数据代入公式，任意两个公式构成二元一次方程组，将计算得到的系数进行筛选并取均值，得到α1以及α2的取值分别为4.25和3.16；
系数的大小是为了将各个参数进行量化得到的一个具体的数值，便于后续比较，关于系数的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的切换系数；只要不影响参数与量化后数值的比例关系即可，如切换系数与链节值的数值成正比。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (6)
1.基于存算一体加速器的任务动态分配数据并行计算方法，其特征在于，包括以下步骤：
步骤一：通过存算一体加速器内核对数据进行近数据计算；
步骤二：在接收到请求者发送的空间分配信号时，通过任务寻址模块将请求者发送请求任务的计算空间内存需求值发送至模式切换模块；
步骤三：模式切换模块对计算空间的寻址模式进行切换控制分析，并将调取的寻址模式发送至任务寻址模块进行计算空间寻址得到空间节点，将空间节点发送至请求者的客户端；
步骤四：通过模式管理模块对模式切换控制分析过程进行周期性管理，设定管理周期，在管理周期结束后对需求区间的切换特征进行标记；在下一管理周期开始时，模式切换模块接收到计算空间内存需求值后调取对应需求区间的切换特征，若切换特征为链节，则优先采取链节分配模式进行计算空间寻址；若切换特征为节点，则直接采取节点分配模式进行计算空间寻址；
在步骤三中，通过模式切换模块对计算空间的寻址模式进行切换控制分析的具体过程包括：寻址模式包括链节分配模式以及节点分配模式，模式切换模块接收到内存需求值后将寻址模式标记为链节分配模式并发送至任务寻址模块；任务寻址模块采用链节分配模式进行计算空间寻址时，若连续M1次匹配失败，则生成切换信号并发送至模式切换模块，模式切换模块接收到切换信号后将寻址模式标记为节点分配模式并发送至任务寻址模块；
采用链节分配模式进行计算空间寻址的具体过程包括：将加速器群组中的所有节点内存值进行求和得到加速器群组的分配值，将分配值最大的加速器群组标记为匹配群组，在匹配群组中的节点按照内存值由小到大的顺序进行排序，排序完成后按照排序对计算空间内存需求值进行逐一匹配，直至节点的内存值与计算空间内存需求值完成匹配，则判定匹配成功；若加速器群组中不存在有与计算空间内存需求值相匹配的节点，则判定匹配失败，选取分配值第二大的加速器群组进行计算空间内存需求值匹配，以此类推，直至匹配成功或匹配失败次数达到M1次。
2.根据权利要求1所述的基于存算一体加速器的任务动态分配数据并行计算方法，其特征在于，在步骤一中，加速器网络的每一个节点均包括存算一体加速器内核、重分配模块以及若干个监测模块，对数据进行近数据计算的具体过程包括：存算一体加速器内核用于对数据进行近数据计算，加速器网络的各个节点连接成网状拓扑结构以进行数据和任务的传输；由多个存算一体加速器内核构成一个加速器群组，监测模块与加速器群组一一对应；通过实时检测与动态任务分配算法，使加速器网络中的每一个节点都构成可重配的存算一体加速器内核，以对数据进行近数据计算，各个节点连接成网状拓扑结构以进行数据和任务的传输，通过任务地址空间模式与任务寻址传输方法支持任务的分配和重组。
3.根据权利要求2所述的基于存算一体加速器的任务动态分配数据并行计算方法，其特征在于，采用节点分配模式进行计算空间寻址的具体过程包括：按照分配值由大到小的顺序对加速器群组进行排序，将排序中靠前的M1个加速器群组进行剔除，将剔除后加速器群组中的所有节点按照内存值由小到大的顺序进行排序，排序完成后按照排序对计算空间内存需求值进行逐一匹配，直至节点的内存值与计算空间内存需求值完成匹配，则判定匹配成功。
4.根据权利要求3所述的基于存算一体加速器的任务动态分配数据并行计算方法，其特征在于，在步骤四中，模式管理模块用于对模式切换控制分析过程进行周期性管理：设定管理周期，在管理周期结束后，获取模式切换模块接收到的计算空间内存需求值的最大值与最小值，由计算空间内存需求值的最大值与最小值构成需求范围，将需求范围分割为若干个需求区间，将需求区间内通过链节分配模式完成寻址匹配的次数标记为链节值LJ，将需求区间内通过节点分配模式完成寻址匹配时的节点排序平均值标记为节序值JX，通过对链节值LJ与节序值JX进行数值计算得到管理周期内需求区间的切换系数QH，通过存储模块获取到切换阈值QHmin，将需求区间的切换系数QH与切换阈值QHmin进行比较并通过比较结果对需求区间是否满足切换条件进行判定。
5.根据权利要求4所述的基于存算一体加速器的任务动态分配数据并行计算方法，其特征在于，将需求区间的切换系数QH与切换阈值QHmin进行比较的具体过程包括：若切换系数QH小于切换阈值QHmin，则判定需求区间满足切换条件，将需求区间在下一管理周期的切换特征标记为节点；若切换系数QH大于等于切换阈值QHmin，则判定需求区间不满足切换条件，将需求区间在下一管理周期的切换特征标记为链节。
6.根据权利要求1-5任一项所述的基于存算一体加速器的任务动态分配数据并行计算方法，其特征在于，应用于基于存算一体加速器的任务动态分配数据并行计算系统中，包括数据计算平台，所述数据计算平台通信连接有任务寻址模块、模式切换模块、模式管理模块、加速器网络以及存储模块；
所述任务寻址模块用于接收请求者发送的空间分配信号并将空间分配信号发送至模式切换模块，通过模式切换模块返回的寻址模式进行计算空间寻址，将计算空间寻址得到的空间节点发送至请求者的客户端；
所述模式切换模块用于接收任务寻址模块发送的空间分配信号并调取对应的寻址模式返回至任务寻址模块；
所述模式管理模块用于对模式切换控制分析过程进行周期性管理并在管理周期结束后对需求区间的切换特征进行标记，在下一管理周期开始时通过需求区间的切换特征进行模式切换控制分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310299133.2A CN116414726B (zh) | 2023-03-24 | 2023-03-24 | 基于存算一体加速器的任务动态分配数据并行计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310299133.2A CN116414726B (zh) | 2023-03-24 | 2023-03-24 | 基于存算一体加速器的任务动态分配数据并行计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116414726A CN116414726A (zh) | 2023-07-11 |
| CN116414726B true CN116414726B (zh) | 2024-03-15 |
Family
ID=87054193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310299133.2A Active CN116414726B (zh) | 2023-03-24 | 2023-03-24 | 基于存算一体加速器的任务动态分配数据并行计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116414726B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113746846A (zh) * | 2021-09-06 | 2021-12-03 | 滨州学院 | 基于大数据的计算机网络安全访问处理系统 |
| CN115002027A (zh) * | 2022-05-26 | 2022-09-02 | 中国邮政储蓄银行股份有限公司 | 一种在途流程的数据寻址方法及装置 |
| CN115827256A (zh) * | 2023-02-17 | 2023-03-21 | 上海亿铸智能科技有限公司 | 用于多核存算一体加速器网络的任务传输调度管理系统 |
-
2023
- 2023-03-24 CN CN202310299133.2A patent/CN116414726B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113746846A (zh) * | 2021-09-06 | 2021-12-03 | 滨州学院 | 基于大数据的计算机网络安全访问处理系统 |
| CN115002027A (zh) * | 2022-05-26 | 2022-09-02 | 中国邮政储蓄银行股份有限公司 | 一种在途流程的数据寻址方法及装置 |
| CN115827256A (zh) * | 2023-02-17 | 2023-03-21 | 上海亿铸智能科技有限公司 | 用于多核存算一体加速器网络的任务传输调度管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116414726A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110096349B (zh) | 一种基于集群节点负载状态预测的作业调度方法 | |
| US20210073169A1 (en) | On-chip heterogeneous ai processor | |
| CN109617826B (zh) | 一种基于布谷鸟搜索的storm动态负载均衡方法 | |
| CN106126323B (zh) | 基于云平台的实时任务调度方法 | |
| US11757790B2 (en) | Method and server for adjusting allocation of computing resources to plurality of virtualized network functions (VNFs) | |
| CN116244081B (zh) | 一种多核存算一体加速器网络拓扑结构控制系统 | |
| CN115827256B (zh) | 用于多核存算一体加速器网络的任务传输调度管理系统 | |
| CN107291544A (zh) | 任务调度的方法及装置、分布式任务执行系统 | |
| CN114356587B (zh) | 算力任务跨区域调度方法、系统及设备 | |
| CN112162789A (zh) | 一种基于软件定义的边缘计算随机卸载决策方法及系统 | |
| CN116700993B (zh) | 一种负载均衡方法、装置、设备及可读存储介质 | |
| CN115934333A (zh) | 基于历史数据感知的云计算资源调度方法及调度系统 | |
| CN116467082A (zh) | 一种基于大数据的资源分配方法及系统 | |
| CN112261120A (zh) | 一种配电物联网云边协同任务卸载方法及装置 | |
| CN113946450A (zh) | 一种用于k8s微服务框架的自适应带权轮询负载均衡系统 | |
| CN111831354A (zh) | 数据精度配置方法、装置、芯片、芯片阵列、设备及介质 | |
| CN116414726B (zh) | 基于存算一体加速器的任务动态分配数据并行计算方法 | |
| CN112162837B (zh) | 一种基于软件定义的边缘计算调度方法及系统 | |
| CN105872109B (zh) | 云平台负载运行方法 | |
| CN116302404B (zh) | 面向资源解耦合数据中心的服务器无感知计算调度方法 | |
| CN115801896A (zh) | 算力网络节点分配方法、装置、电子设备及存储介质 | |
| CN114266168A (zh) | 一种共享节点负荷调度参数优选方法 | |
| CN112954022A (zh) | 一种基于智能变电站的多并发实时通信方法及装置 | |
| CN117997906B (zh) | 节点计算资源分配方法、网络交换子系统及智能计算平台 | |
| CN117255134B (zh) | 一种基于云边协同的数据传输方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |