CN114510540A - 数据处理方法、计算存储分离系统及区块链网络架构 - Google Patents

Abstract

本申请提出一种数据处理方法、计算存储分离系统及区块链网络架构。其中，方法应用于部署在区块链网络架构中的分布式计算存储分离系统，分布式计算存储分离系统包括任务管理调度模块、计算资源模块、存储管理调度模块和存储资源模块，该方法包括：任务管理调度模块接收区块链客户端发送的计算任务请求，并将计算任务请求调度分发到计算资源模块中不同节点服务器的计算单元执行相应的计算任务；在计算资源模块将计算任务完成后，存储管理调度模块将计算任务的执行结果分片存储至存储资源模块中；任务管理调度模块将执行结果发送给区块链客户端。本申请能够适用于区块链应用当中对算力及账本数据存储要求高的场景，从而能够适用于对区块链高吞吐、高并发的场景应用需求。

Description

数据处理方法、计算存储分离系统及区块链网络架构

技术领域

本申请涉及区块链技术领域，尤其涉及一种数据处理方法、计算存储分离系统及区块链网络架构。

背景技术

随着互联网快速发展，区块链技术已经广泛应用于现代金融交互系统。相关技术中，现代金融交互系统的数据传输方法主要依靠分布式数据库。其中，分布式数据库与区块链节点通信连接，分布式数据库获得第一区块链节点对所要写入的数据的正确性验证通过后以区块方式写入的数据；分布式数据库将被写入的数据推送到其他区块链节点，以使各其他区块链节点对接收的数据的正确性进行验证并根据验证结果对该数据的有效性进行投票；分布式数据库将投票信息与被写入的数据对应存储。也就是说，通过将待共识投票区块数据提前写入分布式数据存储，缓解了区块链账本数据存储效率低下的问题。

但是，上述方案中分布式数据库并非是区块链网络的机构内实现，而是外挂于区块链网络的单独的分布式数据存储。因此，相关技术需要改进。

发明内容

本申请旨的目的在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种数据处理方法，以实现在区块链网络的机构内部署分布式计算存储分离架构，将区块链网络中各节点的账本存储资源与计算资源完全解耦，能够适用于区块链应用当中对算力及账本数据存储要求高的场景，从而能够适用于对区块链高吞吐、高并发的场景应用需求。

本申请的第二个目的在于提出一种分布式计算存储分离系统。

本申请的第三个目的在于提出一种区块链网络架构。

为达上述目的，本申请第一方面实施例提出了一种数据处理方法，应用于部署在区块链网络架构中的分布式计算存储分离系统，所述分布式计算存储分离系统包括任务管理调度模块、计算资源模块、存储管理调度模块和存储资源模块，所述方法包括：

所述任务管理调度模块接收区块链客户端发送的计算任务请求，并将所述计算任务请求调度分发到所述计算资源模块中不同节点服务器的计算单元执行相应的计算任务；

在所述计算资源模块将所述计算任务完成后，所述存储管理调度模块将所述计算任务的执行结果分片存储至存储资源模块中；

所述任务管理调度模块将所述执行结果发送给所述区块链客户端。

为达上述目的，本申请第二方面实施例提出了一种分布式计算存储分离系统，所述分布式计算存储分离系统部署于区块链网络架构中，所述系统包括任务管理调度模块、计算资源模块、存储管理调度模块和存储资源模块，其中，

所述任务管理调度模块，用于接收计算任务请求，并将任务调度分发到所述计算资源模块；

所述计算资源模块，用于基于不同的节点服务器的计算单元提供计算服务；

所述存储管理调度模块，用于接收数据写入或读取服务请求，并将存储任务调度发送至所述存储资源模块；

所述存储资源模块，用于以分片存储方式提供区块链账本数据存储服务。

为达上述目的，本申请第三方面实施例提出了一种区块链网络架构，所述区块链网络架构部署有本申请第二方面实施例所述的分布式计算存储分离系统。

根据本申请的技术方案，提出一种新型区块链计算及存储分离架构，将区块链网络中各节点的账本存储资源与计算资源完全解耦，计算资源提供计算服务，存储资源以分片存储的方式进行数据存储，存储资源与计算资源共同构建成分布式计算存储分离架构，且存储与计算资源均可独立扩容，该架构能够适用于区块链应用当中对算力及账本数据存储要求高的场景，从而能够适用于对区块链高吞吐、高并发的场景应用需求。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种数据处理方法的流程图；

图2为本申请实施例所提供的一种分布式计算存储分离系统的结构示意图；

图3为根据本申请实施例的分布式计算存储分离系统的交互示例图；

图4为本申请实施例所提供的一种区块链网络架构的结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的数据处理方法、分布式计算存储分离系统及部署有该分布式计算存储分离系统的区块链网络架构。

图1为本申请实施例所提供的一种数据处理方法的流程图。需要说明的是，本申请实施例的数据处理方法可应用于部署在区块链网络架构中的分布式计算存储分离系统。其中，该分布式计算存储分离系统可包括：任务管理调度模块、计算资源模块、存储管理调度模块和存储资源模块。其中，任务管理调度模块可负责接收计算任务请求，并将任务调度分发到计算资源模块；计算资源模块包含若干节点服务器，可提供计算服务；存储资源模块包含若干节点服务器，以分片存储方式提供区块链账本数据存储服务；存储管理调度模块可负责接收数据写入或读取服务请求，并将存储任务调度发送到存储资源模块，实现分片账本数据存储与读取。

如图1所示，本申请实施例的数据处理方法可包括以下步骤。

在步骤101中，任务管理调度模块接收区块链客户端发送的计算任务请求，并将计算任务请求调度分发到计算资源模块中不同节点服务器的计算单元执行相应的计算任务。

可选地，任务管理调度模块可以从区块链客户端接收计算任务请求，并将任务调度分发到计算资源模块中不同节点服务器的计算单元，使得该计算单元执行相应的计算任务。

举例而言，假设任务管理调度模块接收到区块链客户端A发送的计算任务请求，任务管理调度模块可以将该任务调度分发到计算资源模块中节点服务器1的计算单元1、节点服务器2的计算单元4以及节点服务器3的计算单元6执行相应的计算任务。节点服务器1的计算单元1、节点服务器2的计算单元4以及节点服务器3的计算单元6分别在接收到任务管理调度模块发送的任务调度之后，可以无状态的形式提供计算服务，即以无状态的形式执行与各自接收到的任务调度相应的计算任务。

在本申请一些实施例中，计算资源模块中不同节点服务器的计算单元在执行相应的计算任务时，可以通过存储资源管理调度单元读取存储资源的数据。在一种实现方式中，任务管理调度模块将计算任务请求调度分发到计算资源模块中不同节点服务器的计算单元；计算单元在接收到任务管理调度模块的任务管理调度请求时，向存储管理调度模块发送数据读取请求；存储管理调度模块基于数据读取请求从存储资源模块中对应节点服务器中读取存储数据，并将读取的存储数据进行合并以得到数据读取请求的原始数据，并将原始数据发送给计算单元；计算单元基于原始数据执行相应的计算任务。

举例而言，假设任务管理调度模块接收到区块链客户端A发送的计算任务请求，任务管理调度模块可以将该任务调度分发到计算资源模块中节点服务器1的计算单元1、节点服务器2的计算单元4以及节点服务器3的计算单元6。计算单元1、计算单元4和计算单元6分别在接收到任务管理调度模块发送的任务调度请求时，分别向存储管理调度模块发送数据读取请求，以获得各自所需的存储数据。存储管理调度模块在接收到计算单元1、计算单元4和计算单元6发送的数据读取请求时，可以从存储资源模块中对应节点服务器中读取存储数据。

例如，假设存储资源模块中的节点服务器C1和节点服务器C2存储有计算单元4所需的数据，存储资源模块中节点服务器C2和节点服务器C3存储有计算单元1所需的数据，存储资源模块中节点服务器C4、节点服务器C5和节点服务器C6存储有计算单元6所需的数据。计算单元1在接收到任务管理调度模块发送的任务调度请求时，可以通过存储管理调度模块从节点服务器C2和节点服务器C3中读取所需的存储数据，存储管理调度模块将读取到的存储数据进行合并以得到计算单元1所需的原始数据，使得计算单元1基于该原始数据执行相应的计算任务。计算单元4在接收到任务管理调度模块发送的任务调度请求时，可以通过存储管理调度模块从节点服务器C1和节点服务器C2中读取所需的存储数据，存储管理调度模块将读取到的存储数据进行合并以得到计算单元4所需的原始数据，使得计算单元4基于该原始数据执行相应的计算任务。计算单元6在接收到任务管理调度模块发送的任务调度请求时，可以通过存储管理调度模块从节点服务器C4、节点服务器C5和节点服务器C6中读取所需的存储数据，存储管理调度模块将读取到的存储数据进行合并以得到计算单元6所需的原始数据，使得计算单元6基于该原始数据执行相应的计算任务。

需要说明的是，在实际区块链应用中，计算资源模块中的不同节点服务器的计算单元可并发执行相应的计算任务。其中，计算任务可至少包括但不限于冲突检测任务和共识计算任务等中的一种或多种。

在步骤102中，在计算资源模块将计算任务完成后，存储管理调度模块将计算任务的执行结果分片存储至存储资源模块中。

可选地，计算资源模块将计算任务完成后，可以通过存储管理调度模块将计算资源模块针对该计算任务的执行结果，以分片存储（或分片写入）的方式存储到存储资源模块中。

在步骤103中，任务管理调度模块将执行结果发送给区块链客户端。

可选地，计算资源模块将计算任务完成后，可以将针对该计算任务的执行结果发送给任务管理调度模块。任务管理调度模块将该执行结果发送给区块链客户端。

本申请实施例的数据处理方法，可应用于部署在区块链网络架构中的分布式计算存储分离系统，通过分布式计算存储分离系统中的任务管理调度模块接收区块链客户端发送的计算任务请求，并将计算任务请求调度分发到分布式计算存储分离系统中的计算资源模块执行相应的计算任务；在计算资源模块将计算任务完成后，分布式计算存储分离系统中的存储管理调度模块将计算任务的执行结果分片存储至分布式计算存储分离系统中的存储资源模块中；任务管理调度模块将执行结果发送给区块链客户端。由此可见，本申请提出一种新型区块链计算及存储分离架构，即将区块链网络中各节点的账本存储资源与计算资源完全解耦，计算资源以无状态的形式提供计算服务，存储资源以分片存储的方式进行数据存储，存储资源与计算资源共同构建成分布式存算分离架构，且存储与计算资源均可独立扩容，该架构能够较好适用于区块链应用当中对算力及账本数据存储要求高的场景。同时基于该方案，在一家机构维护多个节点的场景下，也便于实现对机构内节点的统一管理。

为了实现上述实施例，本申请还提出了一种分布式计算存储分离系统。

图2为本申请实施例所提供的一种分布式计算存储分离系统的结构示意图。需要说明的是，本申请实施例的分布式计算存储分离系统部署于区块链网络架构中。如图2所示，该分布式计算存储分离系统200可以包括：任务管理调度模块210、计算资源模块220、存储管理调度模块230和存储资源模块240。作为一种示例，计算资源模块220和存储资源模块240均可独立扩容。

其中，任务管理调度模块210用于接收计算任务请求，并将任务调度分发到计算资源模块220。计算资源模块220用于基于不同的节点服务器的计算单元提供计算服务。可选地，计算资源模块220可以基于不同的节点服务器的计算单元以无状态方式提供计算服务。存储管理调度模块230用于接收数据写入或读取服务请求，并将存储任务调度发送至存储资源模块240。存储资源模块240用于以分片存储方式提供区块链账本数据存储服务。

在一种实现方式中，任务管理调度模块210接收区块链客户端发送的计算任务请求，并将计算任务请求调度分发到计算资源模块220中不同节点服务器的计算单元执行相应的计算任务。存储管理调度模块230在计算资源模块220将计算任务完成后，将计算任务的执行结果分片存储至存储资源模块240中。任务管理调度模块210将执行结果发送给区块链客户端。

作为一种示例，任务管理调度模块210将计算任务请求调度分发到计算资源模块220中不同节点服务器的计算单元221；计算单元221用于在接收到任务管理调度模块210的任务管理调度请求时，向存储管理调度模块230发送数据读取请求；存储管理调度模块230用于基于数据读取请求从存储资源模块240中对应节点服务器中读取存储数据，并将读取的存储数据进行合并以得到数据读取请求的原始数据，并将原始数据发送给计算单元221；计算单元221用于基于原始数据执行相应的计算任务。其中，在本申请的实施例中，该计算任务可至少包括但不限于冲突检测任务和共识计算任务等中的一种或多种。

举例而言，如图3所示，假设计算资源模块220中包括m个节点服务器，如节点服务器1至节点服务器m，m个节点服务器中共包含k个计算单元；存储资源模块240可包括n个节点服务器。

假设任务管理调度模块210接收到区块链客户端A发送的计算任务请求，任务管理调度模块210可以将该任务调度分发到计算资源模块220中节点服务器1的计算单元1、节点服务器2的计算单元4以及节点服务器3的计算单元6。计算单元1、计算单元4和计算单元6分别在接收到任务管理调度模块210发送的任务调度请求时，分别向存储管理调度模块230发送数据读取请求，以获得各自所需的存储数据。存储管理调度模块230在接收到计算单元1、计算单元4和计算单元6发送的数据读取请求时，可以从存储资源模块240中对应节点服务器中读取存储数据。

例如，假设存储资源模块240中的节点服务器C1和节点服务器C2存储有计算单元4所需的数据，存储资源模块240中节点服务器C2和节点服务器C3存储有计算单元1所需的数据，存储资源模块240中节点服务器C4、节点服务器C5和节点服务器C6存储有计算单元6所需的数据。计算单元1在接收到任务管理调度模块210发送的任务调度请求时，可以通过存储管理调度模块230从节点服务器C2和节点服务器C3中读取所需的存储数据，存储管理调度模块230将读取到的存储数据进行合并以得到计算单元1所需的原始数据，使得计算单元1基于该原始数据执行相应的计算任务。计算单元4在接收到任务管理调度模块210发送的任务调度请求时，可以通过存储管理调度模块230从节点服务器C1和节点服务器C2中读取所需的存储数据，存储管理调度模块230将读取到的存储数据进行合并以得到计算单元4所需的原始数据，使得计算单元4基于该原始数据执行相应的计算任务。计算单元6在接收到任务管理调度模块210发送的任务调度请求时，可以通过存储管理调度模块230从节点服务器C4、节点服务器C5和节点服务器C6中读取所需的存储数据，存储管理调度模块230将读取到的存储数据进行合并以得到计算单元6所需的原始数据，使得计算单元6基于该原始数据执行相应的计算任务。

需要说明的是，在实际区块链应用中，计算资源模块220中的不同节点服务器的计算单元可并发执行相应的计算任务。

本申请实施例的分布式计算存储分离系统，通过将区块链网络中各节点的账本存储资源与计算资源完全解耦，计算资源以无状态的形式提供计算服务，存储资源以分片存储的方式进行数据存储，存储资源与计算资源共同构建成分布式存算分离架构，且存储与计算资源均可独立扩容，该架构能够较好适用于区块链应用当中对算力及账本数据存储要求高的场景。同时基于该方案，在一家机构维护多个节点的场景下，也便于实现对机构内节点的统一管理。

为了实现上述实施例，本申请还提出了一种区块链网络架构。

图4为本申请实施例所提供的一种区块链网络架构的结构框图。如图4所示，该区块链网络架构400上部署有分布式计算存储分离系统401。其中，分布式计算存储分离系统401的功能和结构描述可参见上述图2和图3所示实施例所述的分布式计算存储分离系统的功能和结构描述，在此不再赘述。

根据本申请的技术方案，提出一种新型区块链计算及存储分离架构，通过将区块链网络中各节点的账本存储资源与计算资源完全解耦，计算资源以无状态的形式提供计算服务，存储资源以分片存储的方式进行数据存储，存储资源与计算资源共同构建成分布式存算分离架构，且存储与计算资源均可独立扩容，该架构能够较好适用于区块链应用当中对算力及账本数据存储要求高的场景。同时基于该方案，在一家机构维护多个节点的场景下，也便于实现对机构内节点的统一管理。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种数据处理方法，其特征在于，应用于部署在区块链网络架构中的分布式计算存储分离系统，所述分布式计算存储分离系统包括任务管理调度模块、计算资源模块、存储管理调度模块和存储资源模块，所述方法包括：

所述任务管理调度模块接收区块链客户端发送的计算任务请求，并将所述计算任务请求调度分发到所述计算资源模块中不同节点服务器的计算单元执行相应的计算任务；

在所述计算资源模块将所述计算任务完成后，所述存储管理调度模块将所述计算任务的执行结果分片存储至存储资源模块中；

所述任务管理调度模块将所述执行结果发送给所述区块链客户端。

2.根据权利要求1所述的方法，其特征在于，所述将所述计算任务请求调度分发到所述计算资源模块中不同节点服务器的计算单元执行相应的计算任务，包括：

所述任务管理调度模块将所述计算任务请求调度分发到所述计算资源模块中不同节点服务器的计算单元；

所述计算单元在接收到所述任务管理调度模块的任务管理调度请求时，向所述存储管理调度模块发送数据读取请求；

所述存储管理调度模块基于所述数据读取请求从所述存储资源模块中对应节点服务器中读取存储数据，并将读取的存储数据进行合并以得到所述数据读取请求的原始数据，并将所述原始数据发送给所述计算单元；

所述计算单元基于所述原始数据执行相应的计算任务。

3.根据权利要求1或2所述的方法，其特征在于，所述计算任务至少包括冲突检测任务和共识计算任务中的一种或多种。

4.一种分布式计算存储分离系统，其特征在于，所述分布式计算存储分离系统部署于区块链网络架构中，所述系统包括任务管理调度模块、计算资源模块、存储管理调度模块和存储资源模块，其中，

所述任务管理调度模块，用于接收计算任务请求，并将任务调度分发到所述计算资源模块；

所述计算资源模块，用于基于不同的节点服务器的计算单元提供计算服务；

所述存储管理调度模块，用于接收数据写入或读取服务请求，并将存储任务调度发送至所述存储资源模块；

所述存储资源模块，用于以分片存储方式提供区块链账本数据存储服务。

5.根据权利要求4所述的系统，其特征在于，所述任务管理调度模块还用于接收区块链客户端发送的计算任务请求，并将所述计算任务请求调度分发到所述计算资源模块中不同节点服务器的计算单元执行相应的计算任务；

所述存储管理调度模块还用于在所述计算资源模块将所述计算任务完成后，将所述计算任务的执行结果分片存储至存储资源模块中；

所述任务管理调度模块还用于将所述执行结果发送给所述区块链客户端。

6.根据权利要求5所述的系统，其特征在于，所述任务管理调度模块用于将所述计算任务请求调度分发到所述计算资源模块中不同节点服务器的计算单元；

所述计算单元用于在接收到所述任务管理调度模块的任务管理调度请求时，向所述存储管理调度模块发送数据读取请求；

所述存储管理调度模块用于基于所述数据读取请求从所述存储资源模块中对应节点服务器中读取存储数据，并将读取的存储数据进行合并以得到所述数据读取请求的原始数据，并将所述原始数据发送给所述计算单元；

所述计算单元用于基于所述原始数据执行相应的计算任务。

7.根据权利要求5或6所述的系统，其特征在于，所述计算任务至少包括冲突检测任务和共识计算任务中的一种或多种。

8.根据权利要求4所述的系统，其特征在于，所述计算资源模块基于不同的节点服务器的计算单元以无状态方式提供计算服务。

9.根据权利要求4所述的系统，其特征在于，所述计算资源模块与所述存储资源模块均可独立扩容。

10.一种区块链网络架构，其特征在于，所述区块链网络架构部署有如权利要求4至9中任一项所述的分布式计算存储分离系统。

Images