CN115587018B - 算力服务数据集存储方法、算力计算装置及算力服务设备 - Google Patents
算力服务数据集存储方法、算力计算装置及算力服务设备 Download PDFInfo
- Publication number
- CN115587018B CN115587018B CN202211462571.8A CN202211462571A CN115587018B CN 115587018 B CN115587018 B CN 115587018B CN 202211462571 A CN202211462571 A CN 202211462571A CN 115587018 B CN115587018 B CN 115587018B
- Authority
- CN
- China
- Prior art keywords
- data set
- computing
- module
- new
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Power Sources (AREA)
Abstract
本文公开算力服务数据集存储方法、算力计算装置和算力服务设备。算力服务数据集存储方法应用于算力计算装置，包括：控制模块确定算力服务数据集需要更新时，如果计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则计算生成新的第一数据集和第二数据集，将新的第一数据集保存在存储模块中，将新的第二数据集发送给计算模块并由计算模块将新的第二数据集保存在计算模块的内存中；其中，第二数据集是由第一数据集生成的且直接参与计算模块执行计算任务，第一数据集不直接参与计算模块执行计算任务。本文的方案能延长计算模块的内存使用时间和整个算力计算装置的使用寿命。
Description
技术领域
本公开实施例涉及数据存储领域，尤其涉及一种算力服务数据集存储方法、算力计算装置及算力服务设备。
背景技术
Ethash中使用PoW（Proof Of Work，工作量证明）算法。 PoW算法是哈希算法和DAG（Directed Acyclic Graph，有向无环图）算法的结合，该算法的一般流程如下：首先使用种子计算出一个缓存（cache）哈希数据集，然后利用缓存（cache）哈希数据集计算出一个有向无环图（DAG）哈希数据集。DAG哈希数据集可以理解为是一个完整的搜索空间，基于PoW算法的计算过程中需要从DAG哈希数据集中重复地随机抽取数据去和其他数据进行混合哈希运算。
算力服务设备包括主控板和算力板，其中，主控板负责从网络接收计算任务并将计算结果返回给网络，算力板负责进行大量的计算。算力板通常使用ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)芯片执行计算任务，ASIC芯片内集成DRAM（Dynamic Random Access Memory，动态随机存取内存）用于存储算力服务数据集（cache哈希数据集和DAG哈希数据集）。
ASIC芯片内的DRAM大小是固定的且无法扩展，但是基于POW（Proof Of Work，工作量证明）机制的计算要求不断扩充算力服务数据集的规模，导致ASIC芯片的内存逐渐不够用，影响了整个算力服务设备的使用寿命。
发明内容
本公开实施例提供了一种算力服务数据集存储方法，应用于算力计算装置，包括：
控制模块确定算力服务数据集是否需要更新；其中，所述算力服务数据集包括第一数据集和第二数据集，所述第二数据集是由所述第一数据集生成的且直接参与计算模块执行计算任务，所述第一数据集不直接参与所述计算模块执行计算任务；
当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则所述控制模块计算生成新的第一数据集和新的第二数据集，将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块并由所述计算模块将所述新的第二数据集保存在所述计算模块的内存中。
本公开实施例提供了一种算力计算装置，包括：控制模块、存储模块和计算模块；所述计算模块包括计算单元和内存；
所述控制模块，用于确定算力服务数据集是否需要更新；当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则计算生成新的第一数据集和新的第二数据集，将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块；向所述计算模块发送计算任务，接收所述计算模块返回的计算任务执行结果；
所述计算模块，用于接收到所述新的第二数据集，将所述新的第二数据集保存在所述内存中；接收到所述计算任务，通过所述计算单元进行计算得到计算任务执行结果，将所述计算任务执行结果返回给所述控制模块；
其中，所述算力服务数据集包括第一数据集和第二数据集，所述第二数据集是由所述第一数据集生成的且直接参与计算模块执行计算任务，所述第一数据集不直接参与所述计算模块执行计算任务。
本公开实施例提供了一种算力服务设备，包括主控装置和上述算力计算装置；
所述主控装置，用于从网络上接收计算任务，将所述计算任务下发给所述算力计算装置，接收所述算力计算装置返回的计算任务执行结果，将所述计算任务执行结果上传至所述网络。
本公开实施例提供的算力服务数据集存储方法、算力计算装置和算力服务设备，控制模块确定算力服务数据集是否需要更新，当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则由控制模块代替计算模块计算生成新的第一数据集和新的第二数据集，控制模块将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块并由所述计算模块将所述新的第二数据集保存在所述计算模块的内存中，由于第一数据集主要用于生成第二数据集且不直接参与所述计算模块执行计算任务，只有第二数据集直接参与计算模块执行计算任务，因此将第一数据集保存在计算模块的外部并不会影响计算模块执行计算任务。同时，当第一数据集不在计算模块内存中存储时可以空出更多的存储空间用于存储第二数据集的数据，当第二数据集的规模逐渐增大时，可以延长计算模块的内存使用时间和整个算力计算装置的使用寿命。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
附图用来提供对本公开技术方案的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1为本公开实施例的一种算力服务数据集存储方法的流程图；
图2为本公开实施例的一种算力计算装置的结构示意图；
图3为本公开实施例的一种算力服务设备的结构示意图。
具体实施方式
本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本公开包括并设想了与本领域普通技术人员已知的特征和元件的组合。本公开已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由所附权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由所附权利要求限定的独特的发明方案。因此，应当理解，在本公开中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
本公开实施例提供了一种算力服务数据集存储方法。如图1所示，一种算力服务数据集存储方法，应用于算力计算装置，包括：
步骤S10，控制模块确定算力服务数据集是否需要更新；其中，所述算力服务数据集包括第一数据集和第二数据集，所述第二数据集是由所述第一数据集生成的且直接参与计算模块执行计算任务，所述第一数据集不直接参与所述计算模块执行计算任务；
步骤S20，当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则所述控制模块计算生成新的第一数据集和新的第二数据集，将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块并由所述计算模块将所述新的第二数据集保存在所述计算模块的内存中。
本公开实施例提供的算力服务数据集存储方法应用于算力计算装置，控制模块确定算力服务数据集是否需要更新，当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则由控制模块代替计算模块计算生成新的第一数据集和新的第二数据集，控制模块将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块并由所述计算模块将所述新的第二数据集保存在所述计算模块的内存中，由于第一数据集主要用于生成第二数据集且不直接参与所述计算模块执行计算任务，只有第二数据集直接参与计算模块执行计算任务，因此将第一数据集保存在计算模块的外部并不会影响计算模块执行计算任务。同时，当第一数据集不在计算模块内存中存储时可以空出更多的存储空间用于存储第二数据集的数据，当第二数据集的规模逐渐增大时，可以延长计算模块的内存使用时间和整个算力计算装置的使用寿命。
在一些示例性的实施方式中，所述方法还包括：如果所述计算模块的内存容量大于或等于更新后的第一数据集和第二数据集需要的存储容量总和，则所述控制模块向所述计算模块发送计算任务，其中携带用于更新算力服务数据集的任务参数；所述计算模块接收到所述计算任务，根据所述计算任务中携带的用于更新算力服务数据集的任务参数计算生成新的第一数据集，根据所述新的第一数据集计算生成新的第二数据集，将所述新的第一数据集和所述新的第二数据集保存在所述计算模块的内存中；其中，所述新的第一数据集覆盖之前旧的第一数据集，所述新的第二数据集覆盖之前旧的第二数据集。
在一些示例性的实施方式中，所述计算任务是主控装置下发给所述算力计算装置的；其中，所述主控装置设置在所述算力计算装置的外部，用于从网络上接收计算任务，将所述计算任务下发给所述算力计算装置，接收所述算力计算装置返回的计算任务执行结果，将所述计算任务执行结果上传至所述网络。
在一些示例性的实施方式中，所述方法还包括：如果所述计算模块的内存容量小于更新后的第二数据集需要的存储容量，则所述控制模块向主控装置发送告警信息指示所述算力计算装置的计算模块的内存不够；其中，所述主控装置设置在所述算力计算装置的外部，用于从网络上接收计算任务，将所述计算任务下发给所述算力计算装置，接收所述算力计算装置返回的计算任务执行结果，将所述计算任务执行结果上传至所述网络。
主控装置在获知算力计算装置的计算模块的内存不够时，可以停止向所述算力计算装置下发新的计算任务。
在一些示例性的实施方式中，所述第一数据集在所述计算模块的内存中的存放顺序是由最高地址开始向最低地址方向存储；所述第二数据集在所述计算模块的内存中的存放顺序是由最低地址开始向最高地址方向存储；或者
所述第一数据集在所述计算模块的内存中的存放顺序是由最低地址开始向最高地址方向存储；所述第二数据集在所述计算模块的内存中的存放顺序是由最高地址开始向最低地址方向存储。
第一数据集和第二数据集在内存中分开存储，便于寻址，从而加快计算模块执行计算任务的速度。
在一些示例性的实施方式中，所述计算模块是ASIC(Application SpecificIntegrated Circuit，专用集成电路)芯片。
在一些示例性的实施方式中，所述控制模块是FPGA（Field Programmable GateArray，现场可编程门阵列）芯片。
在一些示例性的实施方式中，所述存储模块包括第一存储单元，所述第一存储单元是所述控制模块的内存；所述第一存储单元用于存储所述控制模块计算生成的第一数据集。
在一些示例性的实施方式中，所述第一存储单元是DDR（Double Data RateSDRAM，双倍速率同步动态随机存储器）。
在一些示例性的实施方式中，所述存储模块还包括第二存储单元；所述第二存储单元用于存储所述控制模块的硬件逻辑文件。
在一些示例性的实施方式中，所述第二存储单元是NAND 闪存。
在一些示例性的实施方式中，所述第一数据集和所述第二数据集需要周期性更新；所述第一数据集和所述第二数据集的更新周期相同。
在一些示例性的实施方式中，控制模块确定算力服务数据集是否需要更新，包括：
控制模块查询算力服务数据集更新时间表，如果当前时间还在最新的更新周期的时间范围内，则确定算力服务数据集不需要更新；如果当前时间超出了最新的更新周期的时间范围且进入下一个更新周期的时间范围，则确定算力服务数据集需要更新；其中，所述算力服务数据集更新时间表中记录了每一个更新周期的起止时间。
在一些示例性的实施方式中，所述控制模块计算生成新的第一数据集和新的第二数据集，包括：
所述控制模块根据计算任务中携带的用于更新算力服务数据集的任务参数计算生成新的第一数据集，根据所述新的第一数据集计算生成新的第二数据集。
在一些示例性的实施方式中，所述计算任务是基于工作量证明机制的计算任务，所述第一数据集是缓存（cache）哈希数据集，所述第二数据集是有向无环图（DAG）哈希数据集。
在一些示例性的实施方式中，所述方法还包括：所述控制模块定期向所述计算模块发送内存检测指令；
所述计算模块接收到所述内存检测指令后，统计所述内存中坏块的数量，根据统计结果确定计算模块的内存容量，将计算模块的内存容量信息发送给所述控制模块。
在一些示例性的实施方式中，所述控制模块向所述计算模块发送内存检测指令的周期小于或等于算力服务数据集的更新周期。
本公开实施例提供了一种算力计算装置。如图2所示，一种算力计算装置，包括：控制模块1、存储模块2和计算模块3；所述计算模块3包括计算单元31和内存32；
所述控制模块，用于确定算力服务数据集是否需要更新；当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则计算生成新的第一数据集和新的第二数据集，将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块；向所述计算模块发送计算任务，接收所述计算模块返回的计算任务执行结果；
所述计算模块，用于接收到所述新的第二数据集，将所述新的第二数据集保存在所述内存中；接收到所述计算任务，通过所述计算单元进行计算得到计算任务执行结果，将所述计算任务执行结果返回给所述控制模块；
其中，所述算力服务数据集包括第一数据集和第二数据集，所述第二数据集是由所述第一数据集生成的且直接参与计算模块执行计算任务，所述第一数据集不直接参与所述计算模块执行计算任务。
本公开实施例提供的算力计算装置，所述算力计算装置包括：控制模块、存储模块和计算模块；所述计算模块包括计算单元和内存。控制模块确定算力服务数据集是否需要更新，当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则由控制模块代替计算模块计算生成新的第一数据集和新的第二数据集，控制模块将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块并由所述计算模块将所述新的第二数据集保存在所述计算模块的内存中，由于第一数据集主要用于生成第二数据集且不直接参与所述计算模块执行计算任务，只有第二数据集直接参与计算模块执行计算任务，因此将第一数据集保存在计算模块的外部并不会影响计算模块执行计算任务。同时，当第一数据集不在计算模块内存中存储时可以空出更多的存储空间用于存储第二数据集的数据，当第二数据集的规模逐渐增大时，可以延长计算模块的内存使用时间和整个算力计算装置的使用寿命。
在一些示例性的实施方式中，所述控制模块，还用于如果所述计算模块的内存容量大于或等于更新后的第一数据集和第二数据集需要的存储容量总和，则向所述计算模块发送计算任务，其中携带用于更新算力服务数据集的任务参数；
所述计算模块，还用于接收到所述计算任务，根据所述计算任务中携带的用于更新算力服务数据集的任务参数计算生成新的第一数据集，根据所述新的第一数据集计算生成新的第二数据集，将所述新的第一数据集和所述新的第二数据集保存在所述计算模块的内存中；其中，所述新的第一数据集覆盖之前旧的第一数据集，所述新的第二数据集覆盖之前旧的第二数据集。
在一些示例性的实施方式中，所述计算任务是主控装置下发给所述算力计算装置的；其中，所述主控装置设置在所述算力计算装置的外部，用于从网络上接收计算任务，将所述计算任务下发给所述算力计算装置，接收所述算力计算装置返回的计算任务执行结果，将所述计算任务执行结果上传至所述网络。
在一些示例性的实施方式中，所述控制模块，还用于如果所述计算模块的内存容量小于更新后的第二数据集需要的存储容量，则向主控装置发送告警信息指示所述算力计算装置的计算模块的内存不够；其中，所述主控装置设置在所述算力计算装置的外部，用于从网络上接收计算任务，将所述计算任务下发给所述算力计算装置，接收所述算力计算装置返回的计算任务执行结果，将所述计算任务执行结果上传至所述网络。主控装置在获知算力计算装置的计算模块的内存不够时，可以停止向所述算力计算装置下发新的计算任务。
在一些示例性的实施方式中，所述第一数据集在所述计算模块的内存中的存放顺序是由最高地址开始向最低地址方向存储；所述第二数据集在所述计算模块的内存中的存放顺序是由最低地址开始向最高地址方向存储；或者
所述第一数据集在所述计算模块的内存中的存放顺序是由最低地址开始向最高地址方向存储；所述第二数据集在所述计算模块的内存中的存放顺序是由最高地址开始向最低地址方向存储。
第一数据集和第二数据集在内存中分开存储，便于寻址，从而加快计算模块执行计算任务的速度。
在一些示例性的实施方式中，所述计算模块是ASIC(Application SpecificIntegrated Circuit，专用集成电路)芯片。
在一些示例性的实施方式中，所述控制模块是FPGA（Field Programmable GateArray，现场可编程门阵列）芯片。
在一些示例性的实施方式中，所述存储模块包括第一存储单元，所述第一存储单元是所述控制模块的内存；所述第一存储单元用于存储所述控制模块计算生成的第一数据集。
在一些示例性的实施方式中，所述第一存储单元是DDR（Double Data RateSDRAM，双倍速率同步动态随机存储器）。
在一些示例性的实施方式中，所述存储模块还包括第二存储单元；所述第二存储单元用于存储所述控制模块的硬件逻辑文件。
在一些示例性的实施方式中，所述第二存储单元是NAND 闪存。
在一些示例性的实施方式中，所述第一数据集和所述第二数据集需要周期性更新；所述第一数据集和所述第二数据集的更新周期相同。
在一些示例性的实施方式中，控制模块，用于采用以下方式确定算力服务数据集是否需要更新：查询算力服务数据集更新时间表，如果当前时间还在最新的更新周期的时间范围内，则确定算力服务数据集不需要更新；如果当前时间超出了最新的更新周期的时间范围且进入下一个更新周期的时间范围，则确定算力服务数据集需要更新；其中，所述算力服务数据集更新时间表中记录了每一个更新周期的起止时间。
在一些示例性的实施方式中，所述控制模块，用于采用以下方式计算生成新的第一数据集和新的第二数据集：根据计算任务中携带的用于更新算力服务数据集的任务参数计算生成新的第一数据集，根据所述新的第一数据集计算生成新的第二数据集。
在一些示例性的实施方式中，所述计算任务是基于工作量证明机制的计算任务，所述第一数据集是缓存（cache）哈希数据集，所述第二数据集是有向无环图（DAG）哈希数据集。
在一些示例性的实施方式中，所述控制模块，还用于定期向所述计算模块发送内存检测指令；
所述计算模块，还用于接收到所述内存检测指令后，统计所述内存中坏块的数量，根据统计结果确定计算模块的内存容量，将计算模块的内存容量信息发送给所述控制模块。
在一些示例性的实施方式中，所述控制模块向所述计算模块发送内存检测指令的周期小于或等于算力服务数据集的更新周期。
如图3所示，本公开实施例还提供了一种算力服务设备，包括主控装置100和上述算力计算装置200；
所述主控装置，用于从网络上接收计算任务，将所述计算任务下发给所述算力计算装置，接收所述算力计算装置返回的计算任务执行结果，将所述计算任务执行结果上传至所述网络。
在一些示例性的实施方式中， 所述主控装置，还用于接收到算力计算装置发送的指示计算模块的内存不够的告警信息后，停止向所述算力计算装置下发新的计算任务。
本领域普通技术人员可以理解，上文中所公开的装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (9)
1.一种算力服务数据集存储方法，应用于算力计算装置，包括：
控制模块确定算力服务数据集是否需要更新；其中，所述算力服务数据集包括第一数据集和第二数据集，所述第二数据集是由所述第一数据集生成的且直接参与计算模块执行计算任务，所述第一数据集不直接参与所述计算模块执行计算任务；所述第一数据集和所述第二数据集需要周期性更新；所述第一数据集和所述第二数据集的更新周期相同；
当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则所述控制模块计算生成新的第一数据集和新的第二数据集，将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块并由所述计算模块将所述新的第二数据集保存在所述计算模块的内存中。
2.如权利要求1所述的方法，其特征在于：
所述方法还包括：
如果所述计算模块的内存容量大于或等于更新后的第一数据集和第二数据集需要的存储容量总和，则所述控制模块向所述计算模块发送计算任务，其中携带用于更新算力服务数据集的任务参数；所述计算模块接收到所述计算任务，根据所述计算任务中携带的用于更新算力服务数据集的任务参数计算生成新的第一数据集，根据所述新的第一数据集计算生成新的第二数据集，将所述新的第一数据集和所述新的第二数据集保存在所述计算模块的内存中；其中，所述新的第一数据集覆盖之前旧的第一数据集，所述新的第二数据集覆盖之前旧的第二数据集。
3.如权利要求1所述的方法，其特征在于：
所述方法还包括：
如果所述计算模块的内存容量小于更新后的第二数据集需要的存储容量，则所述控制模块向主控装置发送告警信息指示所述算力计算装置的计算模块的内存不够；其中，所述主控装置设置在所述算力计算装置的外部，用于从网络上接收计算任务，将所述计算任务下发给所述算力计算装置，接收所述算力计算装置返回的计算任务执行结果，将所述计算任务执行结果上传至所述网络。
4. 如权利要求2所述的方法，其特征在于：
所述第一数据集在所述计算模块的内存中的存放顺序是由最高地址开始向最低地址方向存储；所述第二数据集在所述计算模块的内存中的存放顺序是由最低地址开始向最高地址方向存储；或者
所述第一数据集在所述计算模块的内存中的存放顺序是由最低地址开始向最高地址方向存储；所述第二数据集在所述计算模块的内存中的存放顺序是由最高地址开始向最低地址方向存储。
5.如权利要求1所述的方法，其特征在于：
所述控制模块确定算力服务数据集是否需要更新，包括：
所述控制模块查询算力服务数据集更新时间表，如果当前时间还在最新的更新周期的时间范围内，则确定算力服务数据集不需要更新；如果当前时间超出了最新的更新周期的时间范围且进入下一个更新周期的时间范围，则确定算力服务数据集需要更新；
其中，所述算力服务数据集更新时间表中记录了每一个更新周期的起止时间。
6.如权利要求1所述的方法，其特征在于：
所述方法还包括：
所述控制模块定期向所述计算模块发送内存检测指令；
所述计算模块接收到所述内存检测指令后，统计所述内存中坏块的数量，根据统计结果确定计算模块的内存容量，将计算模块的内存容量信息发送给所述控制模块。
7.一种算力计算装置，包括：控制模块、存储模块和计算模块；所述计算模块包括计算单元和内存；
所述控制模块，用于确定算力服务数据集是否需要更新；当所述算力服务数据集需要更新时，如果所述计算模块的内存容量大于或等于更新后的第二数据集需要的存储容量但小于更新后的第一数据集和第二数据集需要的存储容量总和，则计算生成新的第一数据集和新的第二数据集，将所述新的第一数据集保存在存储模块中，将所述新的第二数据集发送给所述计算模块；向所述计算模块发送计算任务，接收所述计算模块返回的计算任务执行结果；
所述计算模块，用于接收到所述新的第二数据集，将所述新的第二数据集保存在所述内存中；接收到所述计算任务，通过所述计算单元进行计算得到计算任务执行结果，将所述计算任务执行结果返回给所述控制模块；
其中，所述算力服务数据集包括第一数据集和第二数据集，所述第二数据集是由所述第一数据集生成的且直接参与计算模块执行计算任务，所述第一数据集不直接参与所述计算模块执行计算任务；所述第一数据集和所述第二数据集需要周期性更新；所述第一数据集和所述第二数据集的更新周期相同。
8.如权利要求7所述的算力计算装置，其特征在于：
所述控制模块，还用于如果所述计算模块的内存容量大于或等于更新后的第一数据集和第二数据集需要的存储容量总和，则向所述计算模块发送计算任务，其中携带用于更新算力服务数据集的任务参数；
所述计算模块，还用于接收到所述计算任务，根据所述计算任务中携带的用于更新算力服务数据集的任务参数计算生成新的第一数据集，根据所述新的第一数据集计算生成新的第二数据集，将所述新的第一数据集和所述新的第二数据集保存在所述计算模块的内存中；其中，所述新的第一数据集覆盖之前旧的第一数据集，所述新的第二数据集覆盖之前旧的第二数据集。
9.一种算力服务设备，包括主控装置和上述权利要求7或8所述的算力计算装置；
所述主控装置，用于从网络上接收计算任务，将所述计算任务下发给所述算力计算装置，接收所述算力计算装置返回的计算任务执行结果，将所述计算任务执行结果上传至所述网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211462571.8A CN115587018B (zh) | 2022-11-22 | 2022-11-22 | 算力服务数据集存储方法、算力计算装置及算力服务设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211462571.8A CN115587018B (zh) | 2022-11-22 | 2022-11-22 | 算力服务数据集存储方法、算力计算装置及算力服务设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115587018A CN115587018A (zh) | 2023-01-10 |
| CN115587018B true CN115587018B (zh) | 2023-03-10 |
Family
ID=84783554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211462571.8A Active CN115587018B (zh) | 2022-11-22 | 2022-11-22 | 算力服务数据集存储方法、算力计算装置及算力服务设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115587018B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347637A (zh) * | 2018-04-08 | 2019-10-18 | 北京嘉楠捷思信息技术有限公司 | Asic阵列、数据处理板以及区块挖掘方法和设备 |
| CN112995023A (zh) * | 2021-03-02 | 2021-06-18 | 北京邮电大学 | 一种多接入边缘计算网络计算卸载系统及其计算卸载方法 |
| CN114490458A (zh) * | 2021-12-31 | 2022-05-13 | 浙江毫微米科技有限公司 | 数据传输方法、芯片、服务器以及存储介质 |
| CN114900533A (zh) * | 2022-05-11 | 2022-08-12 | 江苏领焰智能科技股份有限公司 | 基于以太网的调光数据同步方法、系统、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10762927B2 (en) * | 2018-08-28 | 2020-09-01 | Motorola Solutions, Inc. | Method to log audio in a distributed, immutable transaction log for end-to-end verification and auditing |
-
2022
- 2022-11-22 CN CN202211462571.8A patent/CN115587018B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347637A (zh) * | 2018-04-08 | 2019-10-18 | 北京嘉楠捷思信息技术有限公司 | Asic阵列、数据处理板以及区块挖掘方法和设备 |
| CN112995023A (zh) * | 2021-03-02 | 2021-06-18 | 北京邮电大学 | 一种多接入边缘计算网络计算卸载系统及其计算卸载方法 |
| CN114490458A (zh) * | 2021-12-31 | 2022-05-13 | 浙江毫微米科技有限公司 | 数据传输方法、芯片、服务器以及存储介质 |
| CN114900533A (zh) * | 2022-05-11 | 2022-08-12 | 江苏领焰智能科技股份有限公司 | 基于以太网的调光数据同步方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115587018A (zh) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109408590B (zh) | 分布式数据库的扩容方法、装置、设备及存储介质 | |
| WO2009098547A1 (en) | Memory management | |
| EP3944556A1 (en) | Block data access method and apparatus, and block data storage method and apparatus | |
| CN112269661B (zh) | 基于Kafka集群的分区迁移方法和装置 | |
| CN114388025B (zh) | 动态随机存储器刷新电路和刷新方法、工作量证明芯片 | |
| CN110674187A (zh) | 一种全局唯一序列号的生成方法 | |
| CN111831639B (zh) | 一种全局唯一id生成方法及装置、车辆管理系统 | |
| CN112256433A (zh) | 基于Kafka集群的分区迁移方法和装置 | |
| CN108958665B (zh) | 一种历史记录信息的存储方法及装置 | |
| CN115587018B (zh) | 算力服务数据集存储方法、算力计算装置及算力服务设备 | |
| CN111832693B (zh) | 神经网络层运算、模型训练方法、装置及设备 | |
| CN114721594A (zh) | 一种分布式存储方法、装置、设备及机器可读存储介质 | |
| JP2008516320A (ja) | メモリフレームのサイズを決定する方法および装置 | |
| CN111506254B (zh) | 分布式存储系统及其管理方法、装置 | |
| CN111444163A (zh) | 一种地图数据管理以及电子地图回滚的方法及装置 | |
| CN115442262B (zh) | 一种资源评估方法、装置、电子设备及存储介质 | |
| CN110874268B (zh) | 数据处理方法、装置和设备 | |
| CN114936169A (zh) | 存储器的磨损均衡方法和装置、存储器和电子设备 | |
| CN109345300B (zh) | 数据统计方法及装置 | |
| CN113297107A (zh) | 一种数据处理方法、装置以及电子设备 | |
| CN112578772A (zh) | 电子控制单元的数据处理方法及相关装置 | |
| CN112286466B (zh) | 电子装置及空间复用方法 | |
| CN116521351B (zh) | 多线程任务调度方法、装置、存储介质及处理器 | |
| CN116679639B (zh) | 金属制品生产控制系统的优化方法及系统 | |
| CN111078122B (zh) | 数据处理方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230414 Address after: 10 Jialeng Road, Singapore # 09-11 Patentee after: Shenglong (Singapore) Pte. Ltd. Address before: 1605, floor 16, No. 9, North Fourth Ring West Road, Haidian District, Beijing 100080 Patentee before: SUNLUNE TECHNOLOGY DEVELOPMENT (BEIJING) Co.,Ltd. |
|
| TR01 | Transfer of patent right |