CN115495248B - 一种推理卡的内存分配方法、装置、电子设备及存储介质 - Google Patents

一种推理卡的内存分配方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115495248B
CN115495248B CN202211317604.XA CN202211317604A CN115495248B CN 115495248 B CN115495248 B CN 115495248B CN 202211317604 A CN202211317604 A CN 202211317604A CN 115495248 B CN115495248 B CN 115495248B
Authority
CN
China
Prior art keywords
target
memory
memory allocation
operator
allocation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211317604.XA
Other languages
English (en)
Other versions
CN115495248A (zh
Inventor
李星星
解易
刘宝琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Suiyuan Technology Co ltd
Original Assignee
Shanghai Enflame Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Enflame Technology Co ltd filed Critical Shanghai Enflame Technology Co ltd
Priority to CN202211317604.XA priority Critical patent/CN115495248B/zh
Publication of CN115495248A publication Critical patent/CN115495248A/zh
Application granted granted Critical
Publication of CN115495248B publication Critical patent/CN115495248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种推理卡的内存分配方法、装置、电子设备及存储介质。该方法包括：获取推理卡中待进行计算的目标算子集，确定目标算子集对应的目标内存分配字典；目标内存分配字典包括：各算子的内存请求大小、内存请求时长、以及内存请求开始时间；根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并循环上述确定目标内存占用上下界进行内存分配的步骤，直至目标算子集中各算子均已内存分配。通过目标内存分配字典，提高了内存分配处理操作便捷性；且考虑内存占用上下界进行内存分配，优化了内存分配机制。

Description

一种推理卡的内存分配方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种推理卡的内存分配方法、装置、电子设备及存储介质。
背景技术
随着深度学习技术的发展，神经网的推理计算逐渐成为一个主流业务。在深度学习推理加速卡中，其内存中需要存储网络计算中使用的算子以及对应产生的数据。对推理卡中各算子进行合理的内存分配，可以加快推理计算，支持更大模型的推理。
现有技术中，在对算子进行内存分配时，通常采用公式计算的方式确定分配算法。但是，公式计算的方式并不是一种搜索方式，对算子的内存分配合理性较差。此外，在一些内存分配算法中，默认未来其他算子请求是不可见的。然而，在该默认条件下，进行当前算子的内存分配时，不会考虑未来算子，从而会导致推理卡的内存分配机制性能较差。
发明内容
本发明提供了一种推理卡的内存分配方法、装置、电子设备及存储介质，以优化推理卡的内存分配机制。
根据本发明的一方面，提供了推理卡的内存分配方法，该方法包括：
获取所述推理卡中待进行计算的目标算子集，并确定与所述目标算子集对应的目标内存分配字典；其中，所述目标内存分配字典包括：所述目标算子集中各算子的内存请求大小、内存请求时长、以及内存请求开始时间；
根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；
根据所述目标内存占用上下界，对所述目标算子集中的算子进行推理卡内存分配，并返回根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至所述目标算子集中的各算子均已进行内存分配。
根据本发明的另一方面，提供了一种推理卡的内存分配装置，该装置包括：
目标内存分配字典确定模块，用于获取所述推理卡中待进行计算的目标算子集，并确定与所述目标算子集对应的目标内存分配字典；其中，所述目标内存分配字典包括：所述目标算子集中各算子的内存请求大小、内存请求时长、以及内存请求开始时间；
目标内存占用上下界确定模块，用于根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；
内存分配模块，用于根据所述目标内存占用上下界，对所述目标算子集中的算子进行推理卡内存分配，并返回根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至所述目标算子集中的各算子均已进行内存分配。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的推理卡的内存分配方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的推理卡的内存分配方法。
本发明实施例的技术方案，通过获取推理卡中待进行计算的目标算子集，并确定与目标算子集对应的目标内存分配字典；目标内存分配字典包括：各算子的内存请求大小、内存请求时长、以及内存请求开始时间；根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并循环上述确定目标内存占用上下界进行内存分配的步骤，直至目标算子集中各算子均已进行内存分配，解决了推理卡的内存分配问题，通过确定算子集的目标内存分配字典，提高了内存分配处理操作的便捷性；通过考虑内存占用上下界对算子进行内存分配，优化了内存分配机制，提高推理卡的内存分配合理性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是根据本发明实施例一提供的一种推理卡的内存分配方法的流程图；
图1b是根据本发明实施例一提供的一种推理卡的存储结构示意图；
图1c是根据本发明实施例一提供的一种计算图的图结构示意图；
图1d是根据本发明实施例一提供的一种目标内存分配字典的确定流程图；
图1e是根据本发明实施例一提供的一种内存分配示意图；
图1f是根据本发明实施例一提供的一种当前内存分配结果的示意图；
图1g是根据本发明实施例一提供的一种树搜索示意图；
图1h是根据本发明实施例一提供的一种启发式剪枝树搜索流程图；
图2a是根据本发明实施例二提供的一种推理卡的内存分配方法的流程图；
图2b是根据本发明实施例二提供的一种贪心策略内存分配的流程图；
图2c是根据本发明实施例二提供的一种贪心策略进行内存分配的示意图；
图2d是根据本发明实施例二提供的又一种贪心策略进行内存分配的示意图；
图2e是根据本发明实施例二提供的一种算子内存分配请求拆分示意图；
图2f是根据本发明实施例二提供的一种目标算子集对应的连通子图示意图；
图3是根据本发明实施例三提供的一种推理卡的内存分配装置的结构示意图；
图4是实现本发明实施例的推理卡的内存分配方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1a是根据本发明实施例一提供的一种推理卡的内存分配方法的流程图，本实施例可适用于对神经网络推理加速卡中的算子进行内存分配的情况，该方法可以由推理卡的内存分配装置来执行，该推理卡的内存分配装置可以采用硬件和/或软件的形式实现，该推理卡的内存分配装置可配置于电子设备如计算机、芯片或者推理卡等中。如图1a所示，该方法包括：
步骤110、获取推理卡中待进行计算的目标算子集，并确定与目标算子集对应的目标内存分配字典。
其中，推理卡可以是深度学习推理加速卡。在推理卡可以具有两级存储结构。具体的，推理卡可以具有主存以及高速缓存区。主存可以存储整个神经网络计算过程中产生的数据。高速缓存可以存储单个神经网络算子计算过程中产生的数据。图1b是根据本发明实施例一提供的一种推理卡的存储结构示意图。如图1b所示，主存中正在参与计算的算子占用内存区域，通过映射算法，可以映射到对应的高速缓存的单元。算子在高速缓存中占用缓存大小于在主存中占用的内存大小相同。算子在高速缓存中完成计算时，可以将数据写回主存中对应的内存区域。
目标算子集中的算子可以包括两种。例如，目标算子集中的算子可以为中间表示(intermediate representation，IR)算子，或者，目标算子集中的算子可以为神经网算子。其中，IR算子可以是高速缓存中的算子。神经网算子可以是主存中的算子。其中，在神经网算子进行内存分配时，需要先知晓IR算子的内存请求大小，才能确定神经网算子对应的目标内存分配字典中的内存请求大小。
本发明实施例的技术方案可以存在多种应用场景。例如，可以通过本发明实施例的技术方案在知晓神经网算子的内存请求大小时，实现神经网算子的内存分配；其中，神经网算子的内存请求大小确定方式可以不限定。又如，可以通过本发明实施例的技术方案确定IR算子的内存分配。再如，可以通过本发明实施例的技术方案，先对IR算子进行内存分配，得到对应的内存分配结果；再根据IR算子对应的内存分配结果，确定神经网算子的内存请求大小；进而，通过本发明实施例的技术方案对神经网算子进行内存分配。对于计算中的IR算子或者神经网算子，均可以通过计算图表示的。计算图可以表示为图结构。其中，图1c是根据本发明实施例一提供的一种计算图的图结构示意图。在图1c中，每个节点可以表示IR算子或者神经网算子。各算子具有已知的内存请求大小以及内存请求时长。各节点之间的单向边表示算子之间的数据依赖关系。在本发明实施例中可以根据如图1c所示的计算图，确定对应的目标内存分配字典。
其中，目标内存分配字典是一种数据结构，可以记为liveness view。通过目标内存分配字典可以更加方便地对算子进行内存分配。具体的，目标内存分配字典包括：目标算子集中各算子的内存请求大小、内存请求时长、以及内存请求开始时间。内存请求大小以及内存请求时长可以是在图1c所示的计算图中进行数据提取并保存。内存请求开始时间可以是根据内存请求时长以及数据依赖关系确定的。
具体的，在本发明实施例的一个可选实施方式中，确定与目标算子集对应的目标内存分配字典，包括：根据目标算子集中各算子对应的内存请求时长、以及各算子之间的数据依赖关系，确定目标算子集中各算子的内存请求开始时间；根据各内存请求开始时间、各算子对应的内存请求大小以及内存请求时长，确定目标算子集的目标内存分配字典。
图1d是根据本发明实施例一提供的一种目标内存分配字典的确定流程图。如图1d所示，可以将如图1c所示的计算图作为输入；根据计算图，创建请求时长表(elapses)以及请求开始时间表(timestamps)。其中，elapses可以映射保存计算图中各算子的内存请求时长；timestamps可以映射保存计算图中各算子的内存请求开始时间。内存请求开始时间是需要通过目标算子集中各算子对应的内存请求时长、以及各算子之间的数据依赖关系确定的。
如图1d所示，可以创建开队列OG和闭队列CG，将与计算图对应的各算子中，所有没有前驱节点的算子放入OG中。其中，前驱节点可以理解为与当前节点存在数据依赖关系的节点。具体的，前驱节点的数据可以根据数据依赖关系传递给当前节点。当前节点的数据可以根据数据依赖关系传递给后继节点。
接下来，可以检测OG是否不为空，即OG中是否存在元素。如果OG存在元素，则可以从OG头中取出一个目标元素；并检测目标元素是否出现在CG中。如果目标元素出现在CG中，可以返回检测OG是否不为空操作，以重新选择目标元素。如果目标元素没有出现在CG中，可以根据目标元素是否存在前驱节点确定内存请求开始时间t。如果目标元素存在前驱节点，可以将目标元素的所有前驱节点w组成的集合W。t可以通过公式确定。timestamps[w]为w的内存请求开始时间；elapses[w]为w的内存请求时长。即将目标元素对应的所有前驱节点的最晚结束请求时间作为目标元素的内存请求开始时间。如果目标元素不存在前驱节点，可以设置t＝0，即目标元素的内存请求可以在内存分配任务最开始可以进行处理。
如图1d所示，确定目标元素的内存请求开始时间之后，可以将目标元素放入CG中，将目标元素对应的所有后继节点放入OG中，更新timestamps，并返回检测OG是否不为空操作，以重新选择目标元素。
如果OG为空，即OG中不存在元素，则可以得到目标算子集中各算子的内存请求时长、以及各算子的内存请求开始时间。如此操作，可以得到目标算子集中各算子的内存请求开始时间。由此，可以根据各内存请求开始时间、各算子对应的内存请求大小以及内存请求时长，确定目标算子集的目标内存分配字典(liveness view)。在目标内存分配字典中，关键词(key)可以是内存请求开始时间；值(value)可以是与内存请求开始时间对应的各算子的请求信息。请求信息包括内存请求时长，以及内存请求大小。
在本发明实施过程中，通过内存分配搜索为liveness view中每一个内存请求分配地址。图1e是根据本发明实施例一提供的一种内存分配示意图。如图1e所示，不同矩形图表示不同内存请求任务，矩阵的水平边长度表示请求时长，垂直边长度表示请求内存大小。图1e中用同一种几何形状表示相同内存请求开始时间的一个或多个内存请求任务，即liveness view中的一个内存请求开始时间对应的多个内存请求任务。不同的内存分配方案会保持所有内存请求任务在水平位置上固定，在垂直位置上发生改动。
本发明实施例，通过如图1d所示的转换算法，可以将计算图转换为目标内存分配字典，提高内存分配的可操作性，更便于对算子通过搜索实现内存分配。
步骤120、根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界。
其中，在本发明实施例中可以采用树搜索实现推理卡的内存分配。算子的内存分配问题其实是一个邮差问题。如图1e所示的内存分配结果，其实是由算子内存请求顺序生成的。最先请求的算子内存请求可以放到最低地址位置，后面的算子请求在不与前面请求地址冲突的条件下选择一个最低地址进行放置。可以把n个算子内存请求看做是n个城市，邮差选择如何遍历城市可以最小化行程时间，就是选择算子请求顺序，以最小化内存占用峰值的过程。所以本发明实施例进行内存分配寻找最小化峰值内存的问题就是一个邮差问题。
为了解决这个邮差问题。可以通过树搜索方式遍历算子内存请求顺序的全排列。遍历的方法是用空分配作为根节点。然后父节点通过加入一个还没有分配的请求到最低地址，形成一个新的分配，作为子节点。如此递归就生成一个内存分配搜索树。树的非终端节点表示没有完整分配的内存分配方式。树的叶节点表示完整分配的内存分配方式。比较所有可能的分配方式，选择一种内存占用峰值最小的方式就得到解。
为了在树搜索过程中，避免搜索所有叶节点，并优先搜索最可能找到最优分配的非终端节点。本发明实施过程中，计算非终端节点的所有后继叶节点的内存占用上下界，并按照内存占用上界从小到大顺序进行搜索。通过最小内存占用上界作为阈值，删除所有内存占用下界超过阈值的非终端节点，降低搜索复杂度。
其中，下一内存分配结果可以理解为当前未完整分配的内存分配方案所有的后继叶节点。下一内存分配结果对应的目标内存占用上下界可以是根据当前内存分配结果对应的当前内存占用上下界以及目标算子集中未进行内存分配的算子的预估内存占用上下界确定的。
具体的，在本发明实施例的一个可选实施方式中，根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界，包括：根据当前内存分配结果，确定与当前内存分配结果对应的当前内存占用上下界；根据目标内存分配字典，确定对目标算子集中未进行内存分配的算子进行内存分配时，所需的预估内存占用上下界；根据当前内存占用上下界以及预估内存占用上下界，确定下一内存分配结果对应的目标内存占用上下界。
其中，图1f是根据本发明实施例一提供的一种当前内存分配结果的示意图。当前内存分配结果可以是一种不完整分配，即并没有对所有算子均进行内存分配。如图1f所示，当前内存分配结果对内存空间已经占用，其占用情况可以通过当前内存占用上下界进行表示。其中，当前内存占用下界记为L，可以是已经分配的请求在内存占用时间内占用的最小内存空间；当前内存占用上界记为U，可以是已经分配的请求在内存占用时间内占用的最大内存的空间。
预估内存占用上下界可以是对于一个不完整分配未来还需要占用的内存空间的估算。其中，预估内存占用下界记为B，可以是目标算子集中未进行内存分配的算子内存请求中占用空间最大值。预估内存占用上界记为W，可以是目标算子集中所有未进行内存分配的算子的内存请求的占用空间加和。具体的，预估内存占用下界代表未来分配请求遇到的最优情况。预估内存占用上界代表未来分配请求遇到的最差情况。
当前内存占用情况加上预估内存占用情况，可以对应非终端节点后继所有叶节点的内存分配方案，所对应的内存占用峰值范围。即目标内存占用上下界可以为[L+B,U+W]。目标内存占用上下界可以表示当前内存分配结果对应的所有下一内存分配结果的内存占用峰值范围。
在本发明实施例中，考虑内存占用情况，进行内存分配，可以更好的实现内存最优分配，并且可以降低内存分配的复杂度。
步骤130、根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配。
其中，图1g是根据本发明实施例一提供的一种树搜索示意图。如图1g所示，树的根节点是一个空分配，每个节点的子节点是加入一个未分配内存请求后的分配结果。最终叶节点就是各种完整分配的结果。只需要比较叶节点的各种完整分配的内存占用峰值，选择一个最小的就是最优的分配结果。但是如果按照这种完整展开搜索树，时间复杂度是O(n！)。在本发明实施例中，可以根据目标内存占用上下界可以结合树搜索方式生成一种启发式树搜索，以降低树搜索的复杂度。示例性的，启发式树搜索可以对U+W最小的非终端节点对应的分配方案进行展开。此外，在本发明实施例中，还可以生成一种剪枝方式，在完全展开所有分支之前就删除确定不再最优解范围内的分支。
具体的，在本发明实施例的一个可选实施方式中，根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配，包括：在下一内存分配结果中，检测到第一目标内存分配结果的第一目标内存占用下界大于第二目标内存分配结果的第二目标内存占用上界时，删除第一目标内存分配结果；根据目标内存上界，在剩余的下一内存分配结果中选取备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果；如果当前内存分配结果中目标算子集中存在未进行内存分配的算子，则根据当前内存分配结果，依次针对目标算子集中未分配的算子更新生成下一内存分配结果，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配；如果当前内存分配结果中目标算子集中的各算子均已进行内存分配，则确定当前内存分配结果是否满足预设内存占用条件；若否，则返回根据目标内存上界，在剩余的下一内存分配结果中选取备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果步骤，直至当前内存分配结果满足预设内存占用条件；若是，则将当前内存分配结果作为推理卡的最终分配结果。
其中，图1h是根据本发明实施例一提供的一种启发式剪枝树搜索流程图。如图1h所示，目标算子集对应的目标内存分配字典可以作为输入；创建开放队列Q，创建代表空分配的根节点root，并将根节点root放入开放队列Q中；设置最优分配best_alloc，以及最小内存峰值min_peak，min_peak的初始值可以是+∞。当Q不为空时，可以对Q中的所有节点计算目标内存上下界；并在检测到第一目标内存分配结果的第一目标内存占用下界大于第二目标内存分配结果的第二目标内存占用上界时，删除第一目标内存分配结果。
当第一目标内存分配结果的第一目标内存占用下界大于第二目标内存分配结果的第二目标内存占用上界时，第一目标内存分配结果的后继所有叶节点的内存分配方案的内存占用峰值一定逊于，第二目标内存分配结果后继所有叶节点的内存分配方案的内存占用峰值。通过在第一目标内存分配结果的第一目标内存占用下界大于第二目标内存分配结果的第二目标内存占用上界时，对第一目标内存分配结果进行剪枝，可以减少树搜索的复杂度，降低内存分配搜索量，提高内存分配速率。
如图1h所示，在删除第一目标内存分配结果之后，可以根据目标内存上下界，在剩余的内存分配结果中重新选取确定当前内存分配结果。例如，可以将在剩余的内存分配结果中，将目标内存上界最小的内存分配结果，作为当前内存分配结果。通过对U+W最小的内存分配结果进行继续展开的启发式搜索，可以更快的找到最优内存分配方案。
具体的，在本发明实施例的一个可选实施方式中，根据目标内存上界，在剩余的下一内存分配结果中选取备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果，包括：根据目标内存上界的升序顺序，对剩余的下一内存分配结果进行排序；将当前排在首位的下一内存分配结果选取为备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果。
如图1h所示，可以对Q中的所有节点计算目标内存上下界。并按照U+W的升序顺序，对内存分配结果进行排序。轮询取出Q中的第一个节点，即当前排在首位的下一内存分配结果，并更新为当前内存分配结果，可以赋值为alloc。
如图1h所示，如果alloc不是一个完整分配，即当前内存分配结果存在未进行内存分配的算子时，可以将针对alloc，目标算子集中未分配的算子分别加入alloc，生成alloc子节点即下一内存分配结果。并将所有子节点加入Q，返回检测Q不为空，从而确定各内存分配结果的内存占用上下界，继续进行剪枝处理以及启发式搜索，找到最优分配方案。
如图1h所示，如果alloc是一个完整分配，即当前内存分配结果中目标算子集中的各算子均已进行内存分配，则可以对alloc进行预设内存占用条件检测。其中，预设内存占用条件可以是找到内存峰值最小的内存分配结果，作为最优分配方案。具体的，可以判断alloc的内存峰值是否小于min_peak。如果否，可以返回检测Q不为空，从而确定各内存分配结果的内存占用上下界，继续进行剪枝处理以及启发式搜索，找到最优分配方案。如果是，可以将alloc作为best_alloc，alloc的内存峰值作为min_peak，并返回检测Q不为空，从而确定各内存分配结果的内存占用上下界，继续进行剪枝处理以及启发式搜索，找到最优分配方案。当Q不为空时，可以将best_alloc输出，得到推理卡的最终分配结果。
在本发明实施例中，通过如图1h所示的剪枝以及启发式搜索，可以降低树搜索的复杂度，并提高内存分配方案确定的速度。
本实施例的技术方案，通过获取推理卡中待进行计算的目标算子集，并确定与目标算子集对应的目标内存分配字典；目标内存分配字典包括：各算子的内存请求大小、内存请求时长、以及内存请求开始时间；根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并循环上述确定目标内存占用上下界进行内存分配的步骤，直至目标算子集中各算子均已进行内存分配，解决了推理卡的内存分配问题，通过确定算子集的目标内存分配字典，提高了内存分配处理操作的便捷性；通过考虑内存占用上下界对算子进行内存分配，优化了内存分配机制，提高推理卡的内存分配合理性，从而便于对推理卡的推理计算进行加速。
实施例二
图2a是根据本发明实施例二提供的一种推理卡的内存分配方法的流程图，本实施例是对上述技术方案的进一步追加，本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。
在本发明实施例的一个可选实施方式中，在根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界之前，还包括：
根据所述目标内存分配字典，当检测到所述目标算子集中任意两个算子在内存请求时间上存在重叠，则在所述两个算子之间构建连通子图边线；
根据各所述连通子图边线，生成与所述目标算子集对应的连通子图；并根据所述连通子图，将所述目标算子集拆分为一个或多个目标算子子集。
如图2a所示，该方法包括：
步骤210、如果目标算子集包括存储在推理卡高速缓存区的IR算子，则提取目标算子集中的全部IR算子，生成目标IR算子集；并在目标算子集中剔除全部IR算子。
其中，IR算子可以与神经网算子采用不同的内存分配机制。具体的，可以对IR算子采用贪心策略快速实现次优内存分配；在IR算子占用空间确定后，可以对神经网算子进行启发式剪枝搜索实现最优内存分配。由于IR算子数量多，通过贪心策略可以实现快速分配，结合神经网算子的启发式剪枝搜索，可以对内存分配机制进行优化，保证推理卡推理速度的同时，可以避免内存分配机制给推理卡造成额外的负担，提高方案的可行性。
在本发明实施例中，可以将目标算子集拆分为目标IR算子集以及神经网算子集。其中，目标IR算子集采用贪心策略进行内存分配。神经网算子集作为新的目标算子集，采用本发明任一实施例提供的启发式剪枝搜索进行内存分配。
步骤220、确定与目标IR算子集对应的IR算子内存分配字典。
其中，IR算子内存分配字典包括：目标IR算子集中各IR算子的内存请求大小、内存请求时长、以及内存请求开始时间。
在本发明实施例的一个可选实施方式中，确定与目标IR算子集对应的IR算子内存分配字典，包括：根据目标IR算子集中各IR算子对应的内存请求时长、以及各算子之间的数据依赖关系，确定目标IR算子集中各IR算子的内存请求开始时间；根据各内存请求开始时间、各IR算子对应的内存请求大小以及内存请求时长，确定目标IR算子集的IR算子内存分配字典。
具体的，IR算子内存分配字典的确定方式可以与实施例一中目标内存分配字典的确定方式相同，即参考图1d的方式，这里不再赘述。
步骤230、根据IR算子内存分配字典中的IR算子的内存请求大小、以及内存请求时长，确定目标IR算子集中各IR算子的内存分配顺序。
其中，内存分配顺序可以是内存请求大小与内存请求时长乘积的倒序顺序。
步骤240、按照内存分配顺序，对目标IR算子集中各IR算子进行垂直向下搜索匹配的最小地址，作为目标IR算子集的IR算子内存分配结果。
其中，通过按照内存请求大小与内存请求时长乘积的倒序顺序可以选取最大内存消耗进行优先处理，实现内存分配的次优且快速分配。图2b是根据本发明实施例二提供的一种贪心策略内存分配的流程图。如图2b所示，可以将目标IR算子集对应的IR算子内存分配字典作为输入；判断内存分配任务数量不为0时，按照内存请求大小与内存请求时长乘积的倒序顺序对各内存请求任务进行排序，生成序列L；从序列L中取出最前面的内存请求任务进行内存申请，并保存内存请求的地址信息；从内存分配任务中删除已经进行分配的内存请求，并返回判断内存分配任务数量不为0，直至内存分配任务数量为0时，输出IR算子内存分配结果。
其中，从序列L中取出最前面的内存请求任务进行内存申请时，可以是在内存时空中搜索可以放置请求的最小地址位置，即在timestamp定义的内存请求开始位置垂直向下搜索可以容纳请求的最小地址。
图2c是根据本发明实施例二提供的一种贪心策略进行内存分配的示意图。图2d是根据本发明实施例二提供的又一种贪心策略进行内存分配的示意图。如图2c所示，内存请求在更低地址空间找不到足够容纳自己的空间，所以落在已经分配的请求的上方。如图2d所示，内存请求可以在更低地址空间找到容纳自己的空间，所以可以落在能够容纳自己的更低地址空间，从而减小了内存峰值，实现内存分配快速地达到次优结果。
需要说明的是，根据贪心策略可以对IR算子进行内存分配，得到IR算子内存分配结果。但是，IR算子内存分配结果分配的地址并不是绝对物理地址。IR算子内存分配结果分配的地址是每个IR算子在容纳神经网算子的连续地址空间中占用的相对地址位置。IR算子占用的连续地址空间和时间区域，可以通过神经网算子的物理地址对应确定。
步骤250、根据IR算子内存分配结果，确定与目标算子集对应的目标内存分配字典。
其中，目标内存分配字典包括：目标算子集中各算子的内存请求大小、内存请求时长、以及内存请求开始时间。
神经网算子需要先确定与神经网算子对应的一个或多个IR算子的内存请求大小，才能确定神经网算子的内存请求大小。因此，可以根据IR算子内存分配结果，确定神经网算子的内存请求大小。进而，确定剔除IR算子的目标算子集对应的目标内存分配字典。
在本发明实施例的一个可选实施方式中，确定与目标算子集对应的目标内存分配字典，包括：根据目标算子集中各算子对应的内存请求时长、以及各算子之间的数据依赖关系，确定目标算子集中各算子的内存请求开始时间；根据各内存请求开始时间、各算子对应的内存请求大小以及内存请求时长，确定目标算子集的目标内存分配字典。
步骤260、根据目标内存分配字典，当检测到目标算子集中任意两个算子在内存请求时间上存在重叠，则在两个算子之间构建连通子图边线。
图2e是根据本发明实施例二提供的一种算子内存分配请求拆分示意图。如图2e所示，在时间戳0、1进行内存分配的算子，与在时间戳2进行内存分配的算子，在时间维度上没有任何重叠。如果可以将该内存分配，拆分为两个问题进行内存分配搜索，而不互相影响，则可以降低内存分配的规模，从而降低内存分配的复杂度，提高内存分配速率。
具体的，对算子内存分配请求进行拆分，可以通过连通子图拆解问题实现。根据目标内存分配字典，确定目标算子集中任意两个算子在内存请求时间上存在重叠时，可以在两个算子之间构建连通子图边线，即构建两个算子的连接线。
步骤270、根据各连通子图边线，生成与目标算子集对应的连通子图；并根据连通子图，将目标算子集拆分为一个或多个目标算子子集。
其中，一个连通子图内的各算子可以在时间维度上存在重叠。不同连通子图内的算子在时间维度上互不影响。图2f是根据本发明实施例二提供的一种目标算子集对应的连通子图示意图。如图2f所示，在连通子图A和连通子图B中的各算子在时间维度上存在重叠；但是，连通子图A和连通子图B中的算子在时间维度上互不干扰。因此，可以根据连通子图对目标算子集进行拆分，生成分别与连通子图A和连通子图B对应的目标算子子集。在后续的启发式剪枝搜索中，可以以目标算子子集为单位，实现算子的内存分配，降低内存分配复杂度。即通过连通子图拆分后得到的目标算子子集可以作为新的目标算子集。
步骤280、根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界。
在本发明实施例的一个可选实施方式中，根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界，包括：根据当前内存分配结果，确定与当前内存分配结果对应的当前内存占用上下界；根据目标内存分配字典，确定对目标算子集中未进行内存分配的算子进行内存分配时，所需的预估内存占用上下界；根据当前内存占用上下界以及预估内存占用上下界，确定下一内存分配结果对应的目标内存占用上下界。
步骤290、根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配。
在本发明实施例的一个可选实施方式中，根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配，包括：在下一内存分配结果中，检测到第一目标内存分配结果的第一目标内存占用下界大于第二目标内存分配结果的第二目标内存占用上界时，删除第一目标内存分配结果；根据目标内存上界，在剩余的下一内存分配结果中选取备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果；如果当前内存分配结果中目标算子集中存在未进行内存分配的算子，则根据当前内存分配结果，依次针对目标算子集中未分配的算子更新生成下一内存分配结果，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配；如果当前内存分配结果中目标算子集中的各算子均已进行内存分配，则确定当前内存分配结果是否满足预设内存占用条件；若否，则返回根据目标内存上界，在剩余的下一内存分配结果中选取备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果步骤，直至当前内存分配结果满足预设内存占用条件；若是，则将当前内存分配结果作为推理卡的最终分配结果。
在本发明实施例的一个可选实施方式中，根据目标内存上界，在剩余的下一内存分配结果中选取备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果，包括：根据目标内存上界的升序顺序，对剩余的下一内存分配结果进行排序；将当前排在首位的下一内存分配结果选取为备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果。
本发明实施例的技术方案，通过获取推理卡中待进行计算的目标算子集，并确定与目标算子集对应的目标内存分配字典；如果目标算子集包括存储在推理卡高速缓存区的IR算子，则提取目标算子集中的全部IR算子，生成目标IR算子集；根据目标内存分配字典中的算子的内存请求大小、以及内存请求时长，确定目标IR算子集中各算子的内存分配顺序；按照内存分配顺序，对目标IR算子集中各算子进行垂直向下搜索匹配的最小地址，作为目标IR算子集的IR算子内存分配结果；根据目标内存分配字典，当检测到目标算子集中任意两个算子在内存请求时间上存在重叠，则在两个算子之间构建连通子图边线；根据各连通子图边线，生成与目标算子集对应的连通子图；并根据连通子图，将目标算子集拆分为一个或多个目标算子子集；根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配，解决了推理卡的内存分配问题，通过确定算子集的目标内存分配字典，提高了内存分配处理操作的便捷性；通过考虑内存占用上下界对算子进行内存分配，优化了内存分配机制，提高推理卡的内存分配合理性，从而便于对推理卡的推理计算进行加速；通过贪心策略可以提高内存分配速率；通过连通子图拆分可以降低内存分配复杂度；通过启发式剪枝搜索可以使内存分配峰值最小，即实现内存最优分配。
实施例三
图3是根据本发明实施例三提供的一种推理卡的内存分配装置的结构示意图。如图3所示，该装置包括：目标内存分配字典确定模块310，目标内存占用上下界确定模块320，和内存分配模块330。其中：
目标内存分配字典确定模块310，用于获取推理卡中待进行计算的目标算子集，并确定与目标算子集对应的目标内存分配字典；其中，目标内存分配字典包括：目标算子集中各算子的内存请求大小、内存请求时长、以及内存请求开始时间；
目标内存占用上下界确定模块320，用于根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；
内存分配模块330，用于根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配。
可选的，目标内存分配字典确定模块310，包括：
内存请求开始时间确定单元，用于根据目标算子集中各算子对应的内存请求时长、以及各算子之间的数据依赖关系，确定目标算子集中各算子的内存请求开始时间；
目标内存分配字典分配单元，用于根据各内存请求开始时间、各算子对应的内存请求大小以及内存请求时长，确定目标算子集的目标内存分配字典。
可选的，目标内存占用上下界确定模块320，包括：
当前内存占用上下界确定单元，用于根据当前内存分配结果，确定与当前内存分配结果对应的当前内存占用上下界；
预估内存占用上下界确定单元，用于根据目标内存分配字典，确定对目标算子集中未进行内存分配的算子进行内存分配时，所需的预估内存占用上下界；
目标内存占用上下界确定单元，用于根据当前内存占用上下界以及预估内存占用上下界，确定下一内存分配结果对应的目标内存占用上下界。
可选的，内存分配模块330，包括：
内存分配结果删除单元，用于在下一内存分配结果中，检测到第一目标内存分配结果的第一目标内存占用下界大于第二目标内存分配结果的第二目标内存占用上界时，删除第一目标内存分配结果；
内存分配结果更新单元，用于根据目标内存上界，在剩余的下一内存分配结果中选取备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果；
内存分配结果生成单元，用于如果当前内存分配结果中目标算子集中存在未进行内存分配的算子，则根据当前内存分配结果，依次针对目标算子集中未分配的算子更新生成下一内存分配结果，并返回根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至目标算子集中的各算子均已进行内存分配；
内存占用检测单元，用于如果当前内存分配结果中目标算子集中的各算子均已进行内存分配，则确定当前内存分配结果是否满足预设内存占用条件；
分配结果确定单元，用于若当前内存分配结果不满足预设内存占用条件，则返回根据目标内存上界，在剩余的下一内存分配结果中选取备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果步骤，直至当前内存分配结果满足预设内存占用条件；若当前内存分配结果满足预设内存占用条件，则将当前内存分配结果作为推理卡的最终分配结果。
可选的，内存分配结果更新单元，具体用于：
根据目标内存上界的升序顺序，对剩余的下一内存分配结果进行排序；
将当前排在首位的下一内存分配结果选取为备选内存分配结果，并将备选内存分配结果更新为当前内存分配结果。
可选的，该装置，还包括：
连通子图边线构建模块，用于在根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界之前，根据目标内存分配字典，当检测到目标算子集中任意两个算子在内存请求时间上存在重叠，则在两个算子之间构建连通子图边线；
目标算子集拆分模块，用于根据各连通子图边线，生成与目标算子集对应的连通子图；并根据连通子图，将目标算子集拆分为一个或多个目标算子子集。
可选的，目标内存分配字典确定模块，包括：
目标IR算子集生成单元，用于如果目标算子集包括存储在推理卡高速缓存区的IR算子，则提取目标算子集中的全部IR算子，生成目标IR算子集；并在目标算子集中剔除全部IR算子；
IR算子内存分配字典确定单元，用于确定与目标IR算子集对应的IR算子内存分配字典；IR算子内存分配字典包括：目标IR算子集中各IR算子的内存请求大小、内存请求时长、以及内存请求开始时间；
内存分配顺序确定单元，用于根据IR算子内存分配字典中的IR算子的内存请求大小、以及内存请求时长，确定目标IR算子集中各IR算子的内存分配顺序；
IR算子内存分配结果确定单元，用于按照内存分配顺序，对目标IR算子集中各IR算子进行垂直向下搜索匹配的最小地址，作为目标IR算子集的IR算子内存分配结果；
目标内存分配字典确定单元，用于根据IR算子内存分配结果，确定与目标算子集对应的目标内存分配字典。
本发明实施例所提供的推理卡的内存分配装置可执行本发明任意实施例所提供的推理卡的内存分配方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如推理卡的内存分配方法。
在一些实施例中，推理卡的内存分配方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的推理卡的内存分配方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行推理卡的内存分配方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，不构成对本发明保护范围的限制。本领域技术人员应该明白，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种推理卡的内存分配方法，其特征在于，包括：
获取所述推理卡中待进行计算的目标算子集，并确定与所述目标算子集对应的目标内存分配字典；其中，所述目标内存分配字典包括：所述目标算子集中各算子的内存请求大小、内存请求时长、以及内存请求开始时间；
根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；
根据所述目标内存占用上下界，对所述目标算子集中的算子进行推理卡内存分配，并返回根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至所述目标算子集中的各算子均已进行内存分配；
其中，根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界，包括：
根据所述当前内存分配结果，确定与所述当前内存分配结果对应的当前内存占用上下界；
根据所述目标内存分配字典，确定对所述目标算子集中未进行内存分配的算子进行内存分配时，所需的预估内存占用上下界；
根据所述当前内存占用上下界以及所述预估内存占用上下界，确定下一内存分配结果对应的目标内存占用上下界；
其中，根据所述目标内存占用上下界，对所述目标算子集中的算子进行推理卡内存分配，是指计算非终端节点的所有后继叶节点的内存占用上下界，并按照内存占用上界从小到大顺序进行搜索，通过最小内存占用上界作为阈值，删除所有内存占用下界超过阈值的非终端节点。
2.根据权利要求1所述的方法，其特征在于，确定与所述目标算子集对应的目标内存分配字典，包括：
根据所述目标算子集中各算子对应的内存请求时长、以及各算子之间的数据依赖关系，确定所述目标算子集中各算子的内存请求开始时间；
根据各所述内存请求开始时间、各算子对应的内存请求大小以及内存请求时长，确定所述目标算子集的目标内存分配字典。
3.根据权利要求1所述的方法，其特征在于，根据所述目标内存占用上下界，对所述目标算子集中的算子进行推理卡内存分配，并返回根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至所述目标算子集中的各算子均已进行内存分配，包括：
在所述下一内存分配结果中，检测到第一目标内存分配结果的第一目标内存占用下界大于第二目标内存分配结果的第二目标内存占用上界时，删除所述第一目标内存分配结果；
根据目标内存上界，在剩余的所述下一内存分配结果中选取备选内存分配结果，并将所述备选内存分配结果更新为当前内存分配结果；
如果所述当前内存分配结果中所述目标算子集中存在未进行内存分配的算子，则根据所述当前内存分配结果，依次针对所述目标算子集中未分配的算子更新生成下一内存分配结果，并返回根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至所述目标算子集中的各算子均已进行内存分配；
如果所述当前内存分配结果中所述目标算子集中的各算子均已进行内存分配，则确定所述当前内存分配结果是否满足预设内存占用条件；
若否，则返回根据目标内存上界，在剩余的所述下一内存分配结果中选取备选内存分配结果，并将所述备选内存分配结果更新为当前内存分配结果步骤，直至所述当前内存分配结果满足预设内存占用条件；
若是，则将所述当前内存分配结果作为推理卡的最终分配结果。
4.根据权利要求3所述的方法，其特征在于，根据目标内存上界，在剩余的所述下一内存分配结果中选取备选内存分配结果，并将所述备选内存分配结果更新为当前内存分配结果，包括：
根据目标内存上界的升序顺序，对剩余的所述下一内存分配结果进行排序；
将当前排在首位的下一内存分配结果选取为备选内存分配结果，并将所述备选内存分配结果更新为当前内存分配结果。
5.根据权利要求1所述的方法，其特征在于，在根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界之前，还包括：
根据所述目标内存分配字典，当检测到所述目标算子集中任意两个算子在内存请求时间上存在重叠，则在所述两个算子之间构建连通子图边线；
根据各所述连通子图边线，生成与所述目标算子集对应的连通子图；并根据所述连通子图，将所述目标算子集拆分为一个或多个目标算子子集。
6.根据权利要求1所述的方法，其特征在于，获取所述推理卡中待进行计算的目标算子集，并确定与所述目标算子集对应的目标内存分配字典，包括：
目标内存分配字典如果所述目标算子集包括存储在推理卡高速缓存区的中间表示IR算子，则提取所述目标算子集中的全部IR算子，生成目标IR算子集；并在所述目标算子集中剔除全部IR算子；
确定与所述目标IR算子集对应的IR算子内存分配字典；所述IR算子内存分配字典包括：所述目标IR算子集中各IR算子的内存请求大小、内存请求时长、以及内存请求开始时间；
根据所述IR算子内存分配字典中的IR算子的内存请求大小、以及内存请求时长，确定所述目标IR算子集中各IR算子的内存分配顺序；
按照所述内存分配顺序，对所述目标IR算子集中各IR算子进行垂直向下搜索匹配的最小地址，作为所述目标IR算子集的IR算子内存分配结果；
根据所述IR算子内存分配结果，确定与所述目标算子集对应的目标内存分配字典。
7.一种推理卡的内存分配装置，其特征在于，包括：
目标内存分配字典确定模块，用于获取所述推理卡中待进行计算的目标算子集，并确定与所述目标算子集对应的目标内存分配字典；其中，所述目标内存分配字典包括：所述目标算子集中各算子的内存请求大小、内存请求时长、以及内存请求开始时间；
目标内存占用上下界确定模块，用于根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；
内存分配模块，用于根据所述目标内存占用上下界，对所述目标算子集中的算子进行推理卡内存分配，并返回根据所述目标内存分配字典以及与所述目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界步骤，直至所述目标算子集中的各算子均已进行内存分配；
其中，目标内存占用上下界确定模块，包括：
当前内存占用上下界确定单元，用于根据当前内存分配结果，确定与当前内存分配结果对应的当前内存占用上下界；
预估内存占用上下界确定单元，用于根据目标内存分配字典，确定对目标算子集中未进行内存分配的算子进行内存分配时，所需的预估内存占用上下界；
目标内存占用上下界确定单元，用于根据当前内存占用上下界以及预估内存占用上下界，确定下一内存分配结果对应的目标内存占用上下界；
其中，根据所述目标内存占用上下界，对所述目标算子集中的算子进行推理卡内存分配，是指计算非终端节点的所有后继叶节点的内存占用上下界，并按照内存占用上界从小到大顺序进行搜索，通过最小内存占用上界作为阈值，删除所有内存占用下界超过阈值的非终端节点。
8. 一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的推理卡的内存分配方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的推理卡的内存分配方法。
CN202211317604.XA 2022-10-26 2022-10-26 一种推理卡的内存分配方法、装置、电子设备及存储介质 Active CN115495248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211317604.XA CN115495248B (zh) 2022-10-26 2022-10-26 一种推理卡的内存分配方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211317604.XA CN115495248B (zh) 2022-10-26 2022-10-26 一种推理卡的内存分配方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115495248A CN115495248A (zh) 2022-12-20
CN115495248B true CN115495248B (zh) 2023-09-15

Family

ID=85114886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211317604.XA Active CN115495248B (zh) 2022-10-26 2022-10-26 一种推理卡的内存分配方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115495248B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117806988B (zh) * 2024-02-29 2024-05-24 山东云海国创云计算装备产业创新中心有限公司 任务执行方法、任务配置方法、板卡、服务器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163232A (zh) * 2011-04-18 2011-08-24 国电南瑞科技股份有限公司 一种支持iec61850对象查询的sql接口实现方法
CN112199190A (zh) * 2020-07-31 2021-01-08 厦门星宸科技有限公司 内存分配方法、装置、存储介质及电子设备
CN113168349A (zh) * 2021-03-26 2021-07-23 珠海全志科技股份有限公司 Ai处理器的内存分配方法、计算机装置及计算机可读存储介质
CN113886090A (zh) * 2021-10-22 2022-01-04 哲库科技(北京)有限公司 内存分配方法及装置、设备、存储介质
CN114237903A (zh) * 2021-12-22 2022-03-25 上海壁仞智能科技有限公司 内存分配优化方法、装置、电子设备、介质及程序产品
WO2022105187A1 (zh) * 2020-11-18 2022-05-27 华为技术有限公司 一种内存管理的方法、设备及系统
CN114780230A (zh) * 2022-03-11 2022-07-22 奥比中光科技集团股份有限公司 一种内存分配方法、部署方法及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163232A (zh) * 2011-04-18 2011-08-24 国电南瑞科技股份有限公司 一种支持iec61850对象查询的sql接口实现方法
CN112199190A (zh) * 2020-07-31 2021-01-08 厦门星宸科技有限公司 内存分配方法、装置、存储介质及电子设备
WO2022105187A1 (zh) * 2020-11-18 2022-05-27 华为技术有限公司 一种内存管理的方法、设备及系统
CN113168349A (zh) * 2021-03-26 2021-07-23 珠海全志科技股份有限公司 Ai处理器的内存分配方法、计算机装置及计算机可读存储介质
CN113886090A (zh) * 2021-10-22 2022-01-04 哲库科技(北京)有限公司 内存分配方法及装置、设备、存储介质
CN114237903A (zh) * 2021-12-22 2022-03-25 上海壁仞智能科技有限公司 内存分配优化方法、装置、电子设备、介质及程序产品
CN114780230A (zh) * 2022-03-11 2022-07-22 奥比中光科技集团股份有限公司 一种内存分配方法、部署方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种在GPU上高精度大型矩阵快速运算的实现;苏畅;付忠良;谭雨辰;;计算机应用(第04期);全文 *

Also Published As

Publication number Publication date
CN115495248A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
US9798774B1 (en) Graph data search method and apparatus
CN104915717B (zh) 数据处理方法、知识库推理方法及相关装置
CN116166405B (zh) 异构场景下的神经网络任务调度策略确定方法及装置
US20220245465A1 (en) Picture searching method and apparatus, electronic device and computer readable storage medium
CN115495248B (zh) 一种推理卡的内存分配方法、装置、电子设备及存储介质
CN113407649A (zh) 数据仓库建模方法、装置、电子设备及存储介质
CN113312175A (zh) 一种算子确定、运行方法及装置
CN117271101B (zh) 一种算子融合方法、装置、电子设备及存储介质
US8392393B2 (en) Graph searching
CN113791882B (zh) 多任务的部署方法、装置、电子设备及存储介质
CN115033616A (zh) 一种基于多轮采样的数据筛查规则验证方法及其装置
CN113449052A (zh) 空间索引的建立方法、空间区域查询方法及装置
CN114897666B (zh) 图数据存储、访问、处理方法、训练方法、设备及介质
CN116382658A (zh) Ai模型的编译方法、装置、计算机设备及存储介质
CN116049420A (zh) 知识图谱生成任务构建方法、装置、电子设备和存储介质
CN116415093A (zh) 页面数据的缓存方法、装置、设备和存储介质
CN115408547A (zh) 一种字典树构建方法、装置、设备及存储介质
CN114035906A (zh) 虚拟机迁移方法、装置、电子设备及存储介质
CN116610453A (zh) 一种任务分配方法、装置、电子设备及存储介质
CN118552556A (zh) 一种图形分割方法、装置、设备及介质
CN117271098A (zh) 一种ai模型计算核调度方法、装置、设备及存储介质
CN115759233B (zh) 模型的训练方法、图数据处理方法、装置及电子设备
CN115358379B (zh) 神经网络处理、信息处理方法、装置和计算机设备
CN116700996A (zh) 一种神经网络的内存分配方法、装置、设备及介质
CN116822756A (zh) 多路径的生成方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room a-522, 188 Yesheng Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201306

Patentee after: Shanghai Suiyuan Technology Co.,Ltd.

Country or region after: China

Address before: Room a-522, 188 Yesheng Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201306

Patentee before: SHANGHAI ENFLAME TECHNOLOGY Co.,Ltd.

Country or region before: China