CN117057974B - 一种gpu大数据平台、电子设备和存储介质 - Google Patents

一种gpu大数据平台、电子设备和存储介质 Download PDF

Info

Publication number
CN117057974B
CN117057974B CN202311021274.4A CN202311021274A CN117057974B CN 117057974 B CN117057974 B CN 117057974B CN 202311021274 A CN202311021274 A CN 202311021274A CN 117057974 B CN117057974 B CN 117057974B
Authority
CN
China
Prior art keywords
local
data
idc
blockchain
recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311021274.4A
Other languages
English (en)
Other versions
CN117057974A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moore Threads Technology Co Ltd
Original Assignee
Moore Threads Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moore Threads Technology Co Ltd filed Critical Moore Threads Technology Co Ltd
Priority to CN202311021274.4A priority Critical patent/CN117057974B/zh
Publication of CN117057974A publication Critical patent/CN117057974A/zh
Application granted granted Critical
Publication of CN117057974B publication Critical patent/CN117057974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及计算机技术领域，尤其涉及一种GPU大数据平台、电子设备和存储介质，所述平台包括：N个IDC，其中，N是大于等于2的正整数；每个IDC，用于将本地IDC内产生的GPU数据，以区块链形式，存储到所述N个IDC；每个IDC，用于对本地IDC内存储的各区块链进行数据可靠性校验；每个IDC，用于根据其他N‑1个远程IDC中的至少一个，对本地IDC内数据可靠性校验失败的区块链进行数据恢复。本公开实施例能够有效解决GPU在多种类多维度多地域场景下的大数据传输、收集、计算、存储、监管等关键步骤所涉及的数据高可靠性和数据高时效性的问题。

Description

一种GPU大数据平台、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种GPU大数据平台、电子设备和存储介质。
背景技术
由于全功能图像处理器(Graphics Processing Unit，GPU)的研发在国内尚处于起始阶段，各GPU厂商尚未在GPU设计、实现、生产、销售、服务、传输、收集、计算、存储、监管、分析等关键步骤所涉及的大数据相关问题形成通用技术方案。因此，针对全功能GPU使用场景，构建一种GPU大数据平台，以应用于GPU大数据场景，是当前亟需解决的问题。
发明内容
本公开提出了一种GPU大数据平台、电子设备和存储介质的技术方案。
根据本公开的一方面，提供了一种GPU大数据平台，包括：N个IDC，其中，N是大于等于2的正整数；每个IDC，用于将本地IDC内产生的GPU数据，以区块链形式，存储到所述N个IDC；每个IDC，用于对本地IDC内存储的各区块链进行数据可靠性校验；每个IDC，用于根据其他N-1个远程IDC中的至少一个，对本地IDC内数据可靠性校验失败的区块链进行数据恢复。
在一种可能的实现方式中，所述平台包括：节点区块任务队列；第一IDC，用于根据本地产生的GPU数据生成数据区块，以及将所述数据区块发送至节点区块任务队列，其中，所述第一IDC为所述N个IDC中的任意一个；第二IDC，用于从所述节点区块任务队列获取所述数据区块，以及将所述数据区块加入本地的目标区块链，其中，所述第二IDC为所述N个IDC中的每一个。
在一种可能的实现方式中，所述第一IDC中包括：本地交易产生者服务、本地分布式流平台、本地交易标题分类信息；所述本地交易产生者服务，用于对本地产生的GPU数据进行标准化打包，生成一个交易数据，以及将所述交易数据发送至所述本地分布式流平台；所述本地分布式流平台，用于按照所述本地交易标题分类信息中的预设交易标题信息，对所述交易数据进行分类，得到不同类别的交易流数据。
在一种可能的实现方式中，所述第一IDC中包括：本地流消费者服务、本地区块创建者服务；所述本地流消费者服务，用于根据所述本地交易标题分类信息中的预设交易标题信息，从所述本地分布式流平台中获取多个目标交易流数据，以及将所述多个目标交易流数据发送至所述本地区块创建者服务；所述本地区块创建者服务，用于根据所述多个目标交易流数据，生成所述数据区块；所述本地区块创建者服务，用于将所述数据区块发送至所述节点区块任务队列。
在一种可能的实现方式中，所述第二IDC中包括：节点区块消化器、节点区块链工作器、节点区块链；所述节点区块消化器，用于从所述节点区块任务队列中获取所述数据区块，对所述数据区块进行校验，以及将校验通过后的所述数据区块发送至所述节点区块链工作器；所述节点区块链工作器，用于根据所述数据区块以及所述数据区块需要加入的所述节点区块链中的所述目标区块链，生成签名信息；所述节点区块链工作器，用于将所述数据区块加入所述目标区块链，以及将所述签名信息发送至所述目标区块链的尾部。
在一种可能的实现方式中，所述第二IDC中包括：本地分布式数据库；所述节点区块链工作器，用于将所述数据区块对应的GPU数据，发送至所述本地分布式数据库中进行存储。
在一种可能的实现方式中，第三IDC中包括：本地校验规划器、本地区块链、本地校验任务队列，其中，第三IDC为所述N个IDC中的任意一个；所述本地校验规划器，用于根据预设校验计划，为所述本地区块链中的一个待校验区块链创建对应的校验任务，以及将所述校验任务发送至所述本地校验任务队列。
在一种可能的实现方式中，所述第三IDC中包括：本地校验工作器、本地消息中心；所述本地校验工作器，用于从所述本地校验任务队列中获取所述校验任务，以及对所述本地区块链中所述校验任务对应的所述待校验区块链进行数据可靠性校验，得到校验结果；所述本地校验工作器，用于将所述校验结果发送至所述本地消息中心。
在一种可能的实现方式中，所述本地校验工作器，用于对所述待校验区块链中包括的每个数据区块的内部信息进行校验，以及对所述待校验区块链中包括的每个数据区块之间的关联信息进行校验。
在一种可能的实现方式中，所述第三IDC中包括：本地恢复任务队列；所述本地校验工作器，用于在所述校验结果为校验失败的情况下，为校验失败的区块链创建对应的恢复任务，以及将所述恢复任务发送至所述本地恢复任务队列。
在一种可能的实现方式中，所述第三IDC中包括：本地恢复任务工作器；第四IDC中包括：远程恢复任务管理器、远程恢复助手资源池、远程区块链，其中，所述第四IDC是所述N个IDC中除所述第三IDC外的一个IDC；所述本地恢复任务工作器，用于从所述本地恢复任务队列中获取所述恢复任务，以及向所述远程恢复任务管理器发送恢复请求，其中，所述恢复请求用于请求对所述本地区块链中存储的所述恢复任务对应的待恢复区块链进行数据恢复；所述远程恢复任务管理器，用于基于所述恢复请求，从所述远程恢复助手资源池中获取对应的恢复助手资源，以及将所述恢复助手资源发送至所述本地恢复任务工作器；所述本地恢复任务工作器，用于根据所述恢复助手资源，从所述远程区块链中获取所述恢复任务对应的参考区块链，以及基于所述参考区块链，对所述待恢复块链进行数据恢复，得到修复后区块链。
在一种可能的实现方式中，所述本地恢复任务工作器，用于为所述修复后区块链创建对应的校验任务，以及将所述校验任务发送至所述本地校验工作器；所述本地校验工作器，用于基于所述校验任务，对所述修复后区块链进行数据可靠性校验，得到恢复结果；所述本地校验工作器，用于将所述恢复结果发送至所述本地消息中心。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以运行上述平台。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述平台。
在本公开实施例中，GPU大数据平台包括：N个互联网数据中心IDC；每个IDC将本地IDC内产生的GPU数据以区块链形式存储到N个IDC；每个IDC对本地IDC内存储的各区块链进行数据可靠性校验；每个IDC根据其他N-1个远程IDC中的至少一个对本地IDC内数据可靠性校验失败的区块链进行数据恢复。基于本公开实施例的GPU大数据平台，能够有效解决GPU在多种类多维度多地域场景下的大数据传输、收集、计算、存储、监管等关键步骤所涉及的数据高可靠性和数据高时效性的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出相关技术中大数据平台的示意图；
图2示出根据本公开实施例的GPU大数据平台的示意图；
图3示出根据本公开实施例的GPU大数据平台中的数据存储的流程图；
图4示出根据本公开实施例的GPU大数据平台中的数据可靠性校验的流程图；
图5示出根据本公开实施例的GPU大数据平台中的数据恢复的流程图；
图6示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
由于目前并没有针对GPU大数据场景的通用技术方案，考虑其他具有大数据产生的场景，其对应的大数据平台存在一些问题。图1示出相关技术中大数据平台的示意图。如图1所示，一个企业的跨地域大数据平台有四个数据源：数据源1至数据源4。四个数据源分别存在于企业在不同区域设置的四个站点，每个数据源每天产生海量的数据，四个站点不同级别的员工需要去查询、计算和可视化不同的数据集来完成数据的监管和挖掘数据背后的意义，期望实现用数据驱动的方式保证公司良性运作。每个数据中心只收集其订阅的数据源中的数据，如图1所示，数据中心3仅收集数据源3中的数据。每个计算中心按照用户在可视化中心提交的可视化需求，去对应的数据中心取数据进行计算后，将结果返回到可视化中心的前端做信息展示。如图1所示，计算中心4按照用户在可视化中心1提交的可视化需求，去对应的数据中心3/数据中心4取数据进行计算后，将结果返回到可视化中心1的前端做信息展示。
上述相关技术中的大数据平台虽然可以应用于大数据场景，但是仍然存在一些技术问题。数据可靠性问题：数据可靠性是指数据是否准确、完整和真实。如果数据不可靠，就会导致对数据的错误决策和操作。相关技术中，数据只是被存储到传统的数据库集群中，数据中心无法自检数据是否被非授权删除、更新或者增加，而这会导致严重的数据质量问题，包括数据完整性问题和数据准确性问题，进而导致数据分析结果不可信和不可用。数据时效性问题：数据时效性是指数据是否及时。如果数据不及时，就可能导致操作和决策失效，影响业务的正常运行。相关技术中，数据只是被存储到当地或者经常被调用的数据中心，基于真实场景的业务分析由于市场的变化转瞬即逝和千变万化具有极大的不确定性，对于不确定性的数据分析倘若其要分析的数据存储在其他数据中心，当数据的维度和累计数量过大就会导致的数据尺寸具大，其数据搬运耗时巨大也因此严重影响当前分析的端到端的计算效率，进而影响决策的时效性。
为了解决GPU大数据场景下的数据可靠性问题和数据时效性问题，本公开提供了一种GPU大数据平台。下面对本公开实施例的GPU大数据平台进行详细描述。
图2示出根据本公开实施例的GPU大数据平台的示意图。如图2所示，GPU大数据平台包括：N个互联网数据中心(Internet Data Center，IDC)(IDC1至IDCN)，其中，N是大于等于2的正整数；每个IDC，用于将本地IDC内产生的GPU数据，以区块链形式，存储到N个IDC；每个IDC，用于对本地IDC内存储的各区块链进行数据可靠性校验；每个IDC，用于根据其他N-1个远程IDC中的至少一个，对本地IDC内数据可靠性校验失败的区块链进行数据恢复。
例如，GPU厂商有N个站点，每个站点都设置一个IDC，基于N个IDC构建GPU大数据平台。其中，N的具体取值可以根据实际应用场景进行灵活设置，本公开对此不做具体限定。
在本公开实施例中，GPU大数据平台包括：N个互联网数据中心IDC；每个IDC将本地IDC内产生的GPU数据以区块链形式存储到N个IDC；每个IDC对本地IDC内存储的各区块链进行数据可靠性校验；每个IDC根据其他N-1个远程IDC中的至少一个对本地IDC内数据可靠性校验失败的区块链进行数据恢复。基于本公开实施例的GPU大数据平台，能够有效解决GPU在多种类多维度多地域场景下的大数据传输、收集、计算、存储、监管等关键步骤所涉及的数据高可靠性和数据高时效性的问题。
在一种可能的实现方式中，GPU数据平台包括：节点区块任务队列；第一IDC，用于根据本地产生的GPU数据生成数据区块，以及将数据区块发送至节点区块任务队列，其中，第一IDC为N个IDC中的任意一个；第二IDC，用于从节点区块任务队列获取数据区块，以及将数据区块加入本地的目标区块链，其中，第二IDC为N个IDC中的每一个。
针对GPU大数据平台中的任意一个IDC(第一IDC)，该IDC(第一IDC)产生的GPU数据，通过大数据和区块链技术，存储在N个IDC中的每一个(第二IDC)，即既存储在本地IDC，也发送至其他N-1个异地IDC进行存储，从而使得一个IDC产生的GPU数据会被同时发送至其他所有IDC中进行存储，实现了异地备份存储。下面对GPU大数据平台中的数据存储的过程进行详细描述。
这里的节点区块任务队列可以是对应N个IDC的一个节点区块任务队列，也可以是每个IDC对应的单独一个节点区块任务队列，本公开对此不做具体限定。
在一种可能的实现方式中，第一IDC中包括：本地交易产生者服务、本地分布式流平台、本地交易标题分类信息；本地交易产生者服务，用于对本地产生的GPU数据进行标准化打包，生成一个交易数据，以及将交易数据发送至本地分布式流平台；本地分布式流平台，用于按照本地交易标题分类信息中的预设交易标题信息，对交易数据进行分类，得到不同类别的交易流数据。
图3示出根据本公开实施例的GPU大数据平台中的数据存储的流程图。图3以对GPU大数据平台中的第一IDC本地产生的GPU数据进行存储为例进行描述，其中，第一IDC可以是GPU大数据平台的任意一个IDC。如图3所示，第一IDC中包括：本地IDC服务(LocalService)、本地交易产生者服务(Local Transaction Producer)、本地分布式流平台(Local Distributed Streaming Platform)、本地交易标题分类信息(Local Topics)。第一IDC中的本地IDC服务将本地产生的GPU数据发送至第一IDC中的本地交易产生者服务，以使得第一IDC中的本地交易产生者服务将该GPU数据进行标准化打包，生成一个交易数据(transaction)，进而将该交易数据发送至第一IDC中的本地分布式流平台。
如图3所示，本地IDC服务向本地交易产生者服务发送GPU数据，本地交易产生者服务向本地分布式流平台发送交易数据，本地分布式流平台基于本地交易标题分类信息中的预设交易标题信息对交易数据进行分类，得到不同类别的交易流数据。其中，本地交易标题分类信息中的预设交易标题信息可以根据实际应用场景进行灵活设置，本公开对此不做具体限定。
在一种可能的实现方式中，第一IDC中包括：本地流消费者服务、本地区块创建者服务；本地流消费者服务，用于根据本地交易标题分类信息中的预设交易标题信息，从本地分布式流平台中获取多个目标交易流数据，以及将多个目标交易流数据发送至本地区块创建者服务；本地区块创建者服务，用于根据多个目标交易流数据，生成数据区块；本地区块创建者服务，用于将数据区块发送至节点区块任务队列。
如图3所示，第一IDC中包括：本地流消费者服务(Local Stream Consumer)、本地区块创建者服务(Local Block Creator)；GPU大数据平台中包括：节点区块任务队列(NodeBlock Task Queue)。第一IDC中的本地流消费者服务根据第一IDC中的本地交易标题分类信息中的预设交易标题信息，从第一IDC中的本地分布式流平台中获取签订的多个目标交易流数据，以及将该多个目标交易流数据打包发送给第一IDC中的本地区块创建者服务。第一IDC中的本地区块创建者服务基于流入的被打包的多个目标交易流数据，将之生成一个数据区块，并把数据区块推送到区块任务队列。其中，区块任务队列对应的是所有IDC中的每一个，这是实现异地批量数据备份的基础。
如图3所示，本地流消费者服务从本地分布式流平台中获取多个目标交易流数据，以及将多个目标交易流数据发送至本地区块创建者服务；本地区块创建者服务向节点区块任务队列发送数据区块。
由于使用了区块链技术和大数据的分布式流技术，可以按需将一个IDC中产生的多个原始的GPU数据压缩成一个数据区块，以节省每次API通信建立的时间，并在并发度高度可控的前提下有序稳定的发往其他的异地IDC进行备份，进而保证每个IDC的备份数据的时效性。
在一种可能的实现方式中，第二IDC中包括：节点区块消化器、节点区块链工作器、节点区块链；节点区块消化器，用于从节点区块任务队列中获取数据区块，对数据区块进行校验，以及将校验通过后的数据区块发送至节点区块链工作器；节点区块链工作器，用于根据数据区块以及数据区块需要加入的节点区块链中的目标区块链，生成签名信息；节点区块链工作器，用于将数据区块加入目标区块链，以及将签名信息发送至目标区块链的尾部。
如图3所示，第二IDC(每个IDC)中包括：节点区块消化器(Node Block Ingestor)、节点区块链工作器(Node Chain Worker)、节点区块链(Node Chain)。每个IDC中的节点区块链中包括该IDC中存储的多个区块链。每个IDC中的节点区块消化器从节点区块任务队列中取出数据区块，并对数据区块进行校验，以及将校验通过后的数据区块发送至本地IDC中的节点区块链工作器。每个IDC中的节点区块链工作器在收到数据区块后，根据需要加入的本地IDC中节点区块链中的目标区块链的链路信息，以及该数据区块的区块信息，产生签名信息，进而将该数据区块加入目标区块链，以及将签名信息发送到目标区块链的尾部，从而实现第一IDC中产生的GPU数据以区块链的形式存储在每个IDC中。
如图3所示，节点区块消化器从节点区块任务队列中获取数据区块，并对数据区块进行校验；校验通过后，节点区块消化器将数据区块发送至节点区块链工作器；节点区块链工作器将数据区块加入节点区块链中的目标区块链，并生成签名信息。
由于使用了区块链技术，使得新增GPU数据在加入目标数据链之时，都会产生基于目标数据链的历史所有数据区块的签名信息，因此，任何对于目标数据链的破坏都可以被检测出来，从而可以实现GPU大数据平台中每个IDC均可实现数据自检，有效保证数据质量，实现数据完整性和数据准确性。
本公开实施例所提及的数据区块以及区块链的形式，可以参考相关区块链技术中的数据区块以及区块链的形式，本公开对此不做具体限定。
在一种可能的实现方式中，第二IDC中包括：本地分布式数据库；本地区块链工作器，用于将数据区块对应的GPU数据，发送至本地分布式数据库中进行存储。
如图3所示，第二IDC(每个IDC)中包括：本地分布式数据库(Local DistributedDatabase)。每个IDC中的节点区块链工作器将加入本地目标区块链的数据区块对应的GPU数据，发送至本地分布式数据库中进行存储。如图3所示，本地区块链工作器将GPU数据发送至本地分布式数据库中进行存储。
基于大数据和区块链技术，每个IDC本地产生的GPU数据实现了全公司范围(N个IDC)的完全拷贝，进而为每个IDC本地的数据分析和应用提供了可靠并且高速的本地数据访问。由于使用了大数据技术中的分布式流平台、分布式数据库、分布式队列等，可以有效保证GPU大数据在传输和存储过程中的高并发特性，进而实现GPU大数据服务的高可靠性、高可用性和高弹性。
通过区块链和去中心技术，GPU大数据平台中的每个IDC，在不影响区块链系统正常运作的前提下，可以对本地存储的每一条区块链进行有计划有步骤的周期性的数据可靠性检验。
在一种可能的实现方式中，第三IDC中包括：本地校验规划器、本地区块链、本地校验任务队列，其中，第三IDC为N个IDC中的任意一个；本地校验规划器，用于根据预设校验计划，为本地区块链中的一个待校验区块链创建对应的校验任务，以及将校验任务发送至本地校验任务队列。
图4示出根据本公开实施例的GPU大数据平台中的数据可靠性校验的流程图。图4以GPU大数据平台中的第三IDC对本地存储的区块链进行数据可靠性校验为例进行描述，其中，第三IDC可以是GPU大数据平台的任意一个IDC。第三IDC中包括：本地校验规划器(LocalValidation Scheduler)、本地区块链(Local Chain)、本地校验任务队列(LocalValidation Task Queue)。当第三IDC与第二IDC为相同IDC时，本地区块链(Local Chain)相当于上述节点区块链(Node Chain)。
第三IDC中的本地校验规划器根据预设校验计划，从第三IDC中的本地区块链中取出一个待校验区块链，并为其创建对应的校验任务，进而将校验任务发送至第三IDC中的本地校验任务队列。如图4所示，本地校验规划器从本地区块链中取出待校验区块链，以及向本地校验任务队列发送校验任务。
在一种可能的实现方式中，第三IDC中包括：本地校验工作器、本地消息中心；本地校验工作器，用于从本地校验任务队列中获取校验任务，以及对本地区块链中校验任务对应的待校验区块链进行数据可靠性校验，得到校验结果；本地校验工作器，用于将校验结果发送至本地消息中心。
如图4所示，第三IDC中包括：本地校验工作器(Local Validation Task Worker)、本地消息中心(Local Message Center)。第三IDC中的本地校验工作器从第三IDC中的本地校验任务队列中获取校验任务，进而从第三IDC中的本地区块链中获取校验任务对应的待校验区块链，并对其进行数据可靠性校验，得到校验结果。如图4所示，本地校验工作器从本地校验任务队列中获取校验任务，进而从本地区块链中获取待校验区块链进行可靠性校验。
在一种可能的实现方式中，本地校验工作器，用于对待校验区块链中包括的每个数据区块的内部信息进行校验，以及对待校验区块链中包括的每个数据区块之间的关联信息进行校验。
第三IDC中的本地校验工作器对待校验区块链进行数据可靠性校验包括两个步骤：对待校验区块链中包括的每个数据区块的内部信息进行校验；对待校验区块链中包括的每个数据区块之间的关联信息进行校验。由于使用了区块链技术，使得每一条区块链之内的数据区块都可以基于当前数据区块之前的数据区块的信息进行验证，并且每个数据区块内部存储的原始交易数据也可以进行验证，具体校验过程和算法可以根据实际情况进行灵活设置，本公开对此不做具体限定。
由于第三IDC中的本地区块链中待校验区块链的所有信息均在第三IDC本地有备份存储，因此，数据可靠性校验速度不会收到地域影响，以使得可以有效保证数据可靠性。
第三IDC中的本地校验工作器对待校验区块链的数据可靠性校验完成之后，得到校验结果，进而将校验结果发送至第三IDC中的本地消息中心。如图4所示，本地校验工作器向本地消息中心发送校验结果。基于本地消息中心中待校验区块链对应的校验结果，可以清晰快捷了解到待检验区块链的数据是否准确可靠。
在一种可能的实现方式中，第三IDC中包括：本地恢复任务队列；本地校验工作器，用于在校验结果为校验失败的情况下，为校验失败的区块链创建对应的恢复任务，以及将恢复任务发送至本地恢复任务队列。
在校验结果为校验失败的情况下，第三IDC中的本地校验工作器为校验失败的区块链创建对应的恢复任务，以及将恢复任务发送至第三IDC中的本地恢复任务队列，以使得为后续进行本地/异地数据恢复做好准备。如图4所示，本地校验工作器向本地恢复任务队列发送恢复任务。
由于使用了区块链和去中心技术，每个IDC中的每一条区块链都在异地IDC的区块链系统中有完整的备份，因此，针对GPU大数据平台中的每个IDC，在不影响其他异地IDC中区块链系统正常运作的前提下，可以针对本地存储的校验失败的区块链进行有计划有步骤的数据恢复。
在一种可能的实现方式中，第三IDC中包括：本地恢复任务工作器；第四IDC中包括：远程恢复任务管理器、远程恢复助手资源池、远程区块链，其中，第四IDC是N个IDC中除第三IDC外的一个IDC；本地恢复任务工作器，用于从本地恢复任务队列中获取恢复任务，以及向远程恢复任务管理器发送恢复请求，其中，恢复请求用于请求对本地区块链中存储的恢复任务对应的待恢复区块链进行数据恢复；远程恢复任务管理器，用于基于恢复请求，从远程恢复助手资源池中获取对应的恢复助手资源，以及将恢复助手资源发送至本地恢复任务工作器；本地恢复任务工作器，用于根据恢复助手资源，从远程区块链中获取恢复任务对应的参考区块链，以及基于参考区块链，对待恢复区块链进行数据恢复，得到修复后区块链。
图5示出根据本公开实施例的GPU大数据平台中的数据恢复的流程图。图5以GPU大数据平台中对第三IDC本地区块链中的待恢复区块链进行数据恢复为例进行描述，其中，第三IDC可以是GPU大数据平台的任意一个IDC。在对第三IDC本地区块链中的待恢复区块链进行数据恢复时，需要借助GPU大数据平台中异地的第四IDC中的区块链系统，其中，第四IDC为GPU大数据平台中N个IDC中除第三IDC以外的某一个异地IDC，具体是哪个IDC可以根据实际各IDC情况灵活选择，本公开对此不做具体限定。
如图5所示，第三IDC中包括：本地恢复任务工作器；第四IDC中包括：远程恢复任务管理器、远程恢复助手资源池、远程区块链。在第四IDC与第二IDC为相同IDC时，远程区块链(Remote Chain)相当于上述节点区块链(Node Chain)。
第三IDC中的本地恢复任务工作器，从第三IDC中的本地恢复任务队列中获取恢复任务，以及向异地的第四IDC中的远程恢复任务管理器发送恢复请求，以请求对第三IDC中的本地区块链中存储的恢复任务对应的待恢复区块链进行数据恢复。如图5所示，本地恢复任务工作器从本地恢复任务队列中获取恢复任务，以及向远程恢复任务管理器发送恢复请求。
异地的第四IDC中的远程恢复任务管理器，基于恢复请求，从第四IDC中的远程恢复助手资源池中获取对应的恢复助手资源。为了使得第三IDC可以自主选择数据恢复时机，第四IDC中的远程恢复任务管理器将恢复助手资源发送至第三IDC中的本地恢复任务工作器。如图5所示，远程恢复任务管理器从远程恢复助手资源池中获取恢复助手资源，以及将恢复助手资源发送至本地恢复任务工作器。
第三IDC中的本地恢复任务工作器，根据恢复助手资源，从异地的第四IDC中的远程区块链中获取恢复任务对应的参考区块链；进而，第三IDC中的本地恢复任务工作器可以基于获取到的参考区块链，对本地区块链中的待恢复区块链进行数据恢复，得到修复后区块链。如图5所示，本地恢复任务工作器从远程区块链中获取参考区块链，以及对本地区块链中的待恢复区块链进行数据恢复。
需要注意的是，由于每个IDC均可以基于前述实施例记载的数据可靠性校验方式，对本地存储的每一个区块链进行数据可靠性校验，因此，上述数据恢复过程中，需要确保第三IDC从第四IDC中获取的参考区块链是已经通过数据可靠性校验的区块链，以此确保数据恢复过程能够顺序执行，以及确保修复后区块链的数据正确性和数据完整性。
在一种可能的实现方式中，本地恢复任务工作器，用于为修复后区块链创建对应的校验任务，以及将校验任务发送至本地校验工作器；本地校验工作器，用于基于校验任务，对修复后区块链进行数据可靠性校验，得到恢复结果；本地校验工作器，用于将恢复结果发送至本地消息中心。
第三IDC中的本地恢复任务工作器为修复后区块链创建对应的校验任务，以及将校验任务发送至本地校验工作器，第三IDC中的本地校验工作器基于校验任务，对修复后区块链进行数据可靠性校验，以验证本次数据修复是否成功。如图5所示，本地恢复任务工作器向本地校验工作器发送校验任务，以使得本地校验工作器对修复后区块链进行数据可靠性校验。
第三IDC中的本地校验工作器对修复后区块链的数据可靠性校验完成之后，得到恢复结果，进而将恢复结果发送至本地消息中心。如图5所示，本地校验工作器向本地消息中心发送恢复结果。基于本地消息中心中修复后区块链对应的恢复结果，可以清晰快捷了解到恢复后区块链的数据是否准确可靠，以此确定本次数据恢复是否成功。
在本公开实施例中，GPU大数据平台包括：N个互联网数据中心IDC；每个IDC将本地IDC内产生的GPU数据以区块链形式存储到N个IDC；每个IDC对本地IDC内存储的各区块链进行数据可靠性校验；每个IDC根据其他N-1个远程IDC中的至少一个对本地IDC内数据可靠性校验失败的区块链进行数据恢复。基于本公开实施例的GPU大数据平台，能够有效解决GPU在多种类多维度多地域场景下的大数据传输、收集、计算、存储、监管等关键步骤所涉及的数据高可靠性和数据高时效性的问题。
基于大数据和区块链技术，本公开实施例的GPU大数据平台能够提供高可用数据系统。高可用数据系统能够保证系统稳定性和连续性，从而提高数据访问的可靠性，避免数据中断和访问延迟等问题。高可用数据系统能够快速响应用户请求，减少系统闲置时间和数据处理时间，从而提高数据处理效率。高可用数据系统能够保障数据的连续性，即使出现故障或者灾难性事件，也能够快速恢复业务，从而提高业务连续性。高可用数据系统能够保证数据的可靠性、时效性和安全性，提高用户对数据的信任度和满意度，从而提高用户满意度，促进业务的发展。高可用数据系统能够支持高并发和大数据量的处理，为企业的业务发展提供可扩展的数据处理能力，从而提高数据的可扩展性。
可以理解，本公开提及的上述各个实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述过程中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种具体实施方式，相应技术方案和描述和参见上述相应记载，不再赘述。
该平台与计算机系统的内部结构存在特定技术关联，且能够解决如何提升硬件运算效率或执行效果的技术问题(包括减少数据存储量、减少数据传输量、提高硬件处理速度等)，从而获得符合自然规律的计算机系统内部性能改进的技术效果。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的平台，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述平台。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以运行上述平台。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器运行上述平台。
电子设备可以被提供为终端、服务器或其它形态的设备。
图6示出根据本公开实施例的一种电子设备的框图。参照图6，电子设备1900可以被提供为一服务器或终端设备。参照图6，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(Windows ServerTM)，苹果公司推出的基于图形用户界面操作系统(Mac OS XTM)，多用户多进程的计算机操作系统(UnixTM)，自由和开放原代码的类Unix操作系统(LinuxTM)，开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种GPU大数据平台系统，其特征在于，包括：N个互联网数据中心IDC，其中，N是大于等于2的正整数；
每个IDC，用于将本地IDC内产生的GPU数据，以区块链形式，存储到所述N个IDC；
每个IDC，用于对本地IDC内存储的各区块链进行数据可靠性校验；
每个IDC，用于根据其他N-1个远程IDC中的至少一个，对本地IDC内数据可靠性校验失败的区块链进行数据恢复；
第一IDC中包括：本地交易产生者服务、本地分布式流平台、本地交易标题分类信息，其中，所述第一IDC为所述N个IDC中的任意一个；
所述本地交易产生者服务，用于对本地产生的GPU数据进行标准化打包，生成一个交易数据，以及将所述交易数据发送至所述本地分布式流平台；
所述本地分布式流平台，用于按照所述本地交易标题分类信息中的预设交易标题信息，对所述交易数据进行分类，得到不同类别的交易流数据。
2.根据权利要求1所述的平台系统，其特征在于，所述平台系统包括：节点区块任务队列；
所述第一IDC，用于根据本地产生的GPU数据生成数据区块，以及将所述数据区块发送至节点区块任务队列；
第二IDC，用于从所述节点区块任务队列获取所述数据区块，以及将所述数据区块加入本地的目标区块链，其中，所述第二IDC为所述N个IDC中的每一个。
3.根据权利要求2所述的平台系统，其特征在于，所述第一IDC中包括：本地流消费者服务、本地区块创建者服务；
所述本地流消费者服务，用于根据所述本地交易标题分类信息中的预设交易标题信息，从所述本地分布式流平台中获取多个目标交易流数据，以及将所述多个目标交易流数据发送至所述本地区块创建者服务；
所述本地区块创建者服务，用于根据所述多个目标交易流数据，生成所述数据区块；
所述本地区块创建者服务，用于将所述数据区块发送至节点区块任务队列。
4.根据权利要求2或3所述的平台系统，其特征在于，所述第二IDC中包括：节点区块消化器、节点区块链工作器、节点区块链；
所述节点区块消化器，用于从所述节点区块任务队列中获取所述数据区块，对所述数据区块进行校验，以及将校验通过后的所述数据区块发送至所述节点区块链工作器；
所述节点区块链工作器，用于根据所述数据区块以及所述数据区块需要加入的所述节点区块链中的所述目标区块链，生成签名信息；
所述节点区块链工作器，用于将所述数据区块加入所述目标区块链，以及将所述签名信息发送至所述目标区块链的尾部。
5.根据权利要求4所述的平台系统，其特征在于，所述第二IDC中包括：本地分布式数据库；
所述节点区块链工作器，用于将所述数据区块对应的GPU数据，发送至所述本地分布式数据库中进行存储。
6.根据权利要求1所述的平台系统，其特征在于，第三IDC中包括：本地校验规划器、本地区块链、本地校验任务队列，其中，第三IDC为所述N个IDC中的任意一个；
所述本地校验规划器，用于根据预设校验计划，为所述本地区块链中的一个待校验区块链创建对应的校验任务，以及将所述校验任务发送至所述本地校验任务队列。
7.根据权利要求6所述的平台系统，其特征在于，所述第三IDC中包括：本地校验工作器、本地消息中心；
所述本地校验工作器，用于从所述本地校验任务队列中获取所述校验任务，以及对所述本地区块链中所述校验任务对应的所述待校验区块链进行数据可靠性校验，得到校验结果；
所述本地校验工作器，用于将所述校验结果发送至所述本地消息中心。
8.根据权利要求7所述的平台系统，其特征在于，所述本地校验工作器，用于对所述待校验区块链中包括的每个数据区块的内部信息进行校验，以及对所述待校验区块链中包括的每个数据区块之间的关联信息进行校验。
9.根据权利要求7或8所述的平台系统，其特征在于，所述第三IDC中包括：本地恢复任务队列；
所述本地校验工作器，用于在所述校验结果为校验失败的情况下，为校验失败的区块链创建对应的恢复任务，以及将所述恢复任务发送至所述本地恢复任务队列。
10.根据权利要求9所述的平台系统，其特征在于，所述第三IDC中包括：本地恢复任务工作器；第四IDC中包括：远程恢复任务管理器、远程恢复助手资源池、远程区块链，其中，所述第四IDC是所述N个IDC中除所述第三IDC外的一个IDC；
所述本地恢复任务工作器，用于从所述本地恢复任务队列中获取所述恢复任务，以及向所述远程恢复任务管理器发送恢复请求，其中，所述恢复请求用于请求对所述本地区块链中存储的所述恢复任务对应的待恢复区块链进行数据恢复；
所述远程恢复任务管理器，用于基于所述恢复请求，从所述远程恢复助手资源池中获取对应的恢复助手资源，以及将所述恢复助手资源发送至所述本地恢复任务工作器；
所述本地恢复任务工作器，用于根据所述恢复助手资源，从所述远程区块链中获取所述恢复任务对应的参考区块链，以及基于所述参考区块链，对所述待恢复区块链进行数据恢复，得到修复后区块链。
11.根据权利要求10所述的平台系统，其特征在于，所述本地恢复任务工作器，用于为所述修复后区块链创建对应的校验任务，以及将所述校验任务发送至所述本地校验工作器；
所述本地校验工作器，用于基于所述校验任务，对所述修复后区块链进行数据可靠性校验，得到恢复结果；
所述本地校验工作器，用于将所述恢复结果发送至所述本地消息中心。
12.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以运行权利要求1至11中任意一项所述的平台系统。
13.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时运行权利要求1至11中任意一项所述的平台系统。
CN202311021274.4A 2023-08-14 2023-08-14 一种gpu大数据平台、电子设备和存储介质 Active CN117057974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311021274.4A CN117057974B (zh) 2023-08-14 2023-08-14 一种gpu大数据平台、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311021274.4A CN117057974B (zh) 2023-08-14 2023-08-14 一种gpu大数据平台、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN117057974A CN117057974A (zh) 2023-11-14
CN117057974B true CN117057974B (zh) 2024-04-09

Family

ID=88658409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311021274.4A Active CN117057974B (zh) 2023-08-14 2023-08-14 一种gpu大数据平台、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117057974B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019235A (zh) * 2017-12-29 2019-07-16 百度在线网络技术（北京）有限公司 基于区块链的数据存储、恢复方法、装置、设备及介质
CN113222595A (zh) * 2021-04-23 2021-08-06 上海和数软件有限公司 一种基于区块链技术的电力数据存储、查询方法及系统
CN115878629A (zh) * 2023-01-04 2023-03-31 摩尔线程智能科技(北京)有限责任公司 一种gpu跟踪数据服务系统、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100063A1 (en) * 2017-11-20 2019-05-23 Moshe Shadmon A system and apparatus to manage data using a peer-to-peer network and the blockchain
CN117194562A (zh) * 2023-07-25 2023-12-08 中国人民银行数字货币研究所 数据同步方法和装置、电子设备和计算机可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019235A (zh) * 2017-12-29 2019-07-16 百度在线网络技术（北京）有限公司 基于区块链的数据存储、恢复方法、装置、设备及介质
CN113222595A (zh) * 2021-04-23 2021-08-06 上海和数软件有限公司 一种基于区块链技术的电力数据存储、查询方法及系统
CN115878629A (zh) * 2023-01-04 2023-03-31 摩尔线程智能科技(北京)有限责任公司 一种gpu跟踪数据服务系统、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A framework for maintaining sustainable energy use in Bitcoin mining through switching efficient mining hardware;Yazici, AF等;《TECHNOLOGICAL FORECASTING AND SOCIAL CHANGE》;20230531;第190卷;22406-22406 *
chainSQL平台众享多活数据库中间件AIAisc产品白皮书;chainSQL;《http://www.chainsql.net/PDF/AIAisc%E4%BC%97%E4%BA%AB%E5%A4%9A%E6%B4%BB%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B8%AD%E9%97%B4%E4%BB%B6%E7%99%BD%E7%9A%AE%E4%B9%A6v1.0pdf》;20170131;1-11 *
数据共享交易场景中的数据和模型标记研究;刘慧琦;《中国博士学位论文全文数据库》;20230315(第3期);1-127 *

Also Published As

Publication number Publication date
CN117057974A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN109522363B (zh) 基于区块链的云平台同步方法、系统、设备及存储介质
US20210342214A1 (en) Cognitive disaster recovery workflow management
US11507359B2 (en) Performing firmware updates using blockchain
CN110532322B (zh) 运维交互方法、系统、计算机可读存储介质及设备
CN108874678B (zh) 一种智能程序的自动测试方法及装置
CN109508295B (zh) 区块链共识算法测试方法、装置、计算装置和存储介质
CN108959678B (zh) 用于测试卫星线束和信号处理单元的设计的方法和装置
US20160048703A1 (en) Securing integrity and consistency of a cloud storage service with efficient client operations
CN111338834B (zh) 数据存储方法和装置
CN112579353A (zh) 自动运维方法、装置及大数据平台
CN112506771A (zh) 一种报文比对方法和装置
CN116701053B (zh) 生产环境数据库的数据备份恢复方法、装置、设备及介质
CN117057974B (zh) 一种gpu大数据平台、电子设备和存储介质
CN113448770A (zh) 用于恢复数据的方法、电子设备和计算机程序产品
CN114362961B (zh) 基于区块链的账户恢复方法、装置、设备及存储介质
US10291700B2 (en) Network optimized scan with dynamic fallback recovery
CN114257632A (zh) 断线重连的方法、装置、电子设备及可读存储介质
CN111949738A (zh) 基于区块链的数据存储去重方法、终端设备和存储介质
CN112486940A (zh) 用于事件排序的方法、设备和计算机程序产品
CN117118986B (zh) 基于区块链的容错验证方法、装置、设备及介质
US20190190972A1 (en) System and method for defining windows of tuples of interest
CN115981857B (zh) 故障分析系统
CN116821117B (zh) 流式数据处理方法、系统、设备及存储介质
US11797388B1 (en) Systems and methods for lossless network restoration and syncing
CN114968491B (zh) 虚拟资源测试方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant