CN109285071A - 一种基于区块链的数据处理平台及数据处理方法 - Google Patents

Abstract

本发明公开了一种基于区块链的数据处理平台及数据处理方法，该系统包括：数据处理平台部署在区块链网络中的各节点上，包括区块链协议层、智能合约层和接口层，接口层用于接收数据提供方发送的交易，区块链协议层用于将交易解包，将解包后的待处理数据发送给智能合约层，以及将智能合约层计费统计后的账单进行共识后存储区块链网络，智能合约层用于为数据消费方提供合约规则以实现对区块链协议层发送的解包后的待处理数据进行处理，以及对数据消费方的数据处理进行计费统计。可以实现为数据流通提供可信的、可记录的、可计费、可追踪的数据处理平台。

Description

一种基于区块链的数据处理平台及数据处理方法

技术领域

本发明实施例涉及区块链技术领域，尤其涉及一种基于区块链的数据处理平台及数据处理方法。

背景技术

在大数据时代，大数量的数据使得企业具有巨大的资源优势，金融企业利用大量的金融数据可以解决安全、风控等许多的金融问题。但目前无论是部门间或者是企业间进行数据流通和共享都需要很大的时间成本和开发成本。因此如何利用这些数据，方便快捷地为企业服务，进而为企业盈利，其首先需要解决的技术问题是如何提供一种可信的、可记录的、可计费、可追踪的数据平台，以实现对企业大量数据的有效利用。

发明内容

本发明实施例提供一种基于区块链的数据处理平台及数据处理方法，用以为数据流通提供可信的、可记录的、可计费、可追踪的数据处理平台，以实现数据的有效流通。

本发明实施例提供的一种基于区块链的数据处理平台，包括：所述数据处理平台部署在区块链网络中的各节点上，包括区块链协议层、智能合约层和接口层；

所述接口层用于接收数据提供方发送的交易；

所述区块链协议层用于将所述交易解包，将解包后的待处理数据发送给所述智能合约层，以及将所述智能合约层计费统计后的账单进行共识后存储区块链网络；

所述智能合约层用于为数据消费方提供合约规则以实现对所述区块链协议层发送的解包后的待处理数据进行处理，以及对所述数据消费方的数据处理进行计费统计。

用区块链底层作为接受数据或存储的平台，用智能合约实现数据处理功能，通过区块链对交易的记录来对数据进行精确计费，根据智能合约的执行步骤来对计算资源进行精确计费，并通过对区块链上交易记录的统计对费用进行确认和审计。

可选的，所述区块链协议层包括P2P(Peer to Peer，对等)网络、交易处理模块、状态存储模块、智能合约引擎和共识模块；

所述P2P网络为由各节点组成的去中心化的网络；

所述交易处理模块用于接收所述接口层转发的所述数据提供方发送的交易，对所述交易解包，并将解包后的交易路由到其他模块；

所述状态存储模块用于存储所述智能合约层中待处理数据；

所述共识模块用于交易的共识；

所述智能合约引擎用于为所述智能合约层提供运行环境。

可选的，所述智能合约层包括计费统计模块和数据处理合约模块；

所述计费统计模块用于统计所述数据处理合约模块消费的数据的数目和/或资源的数量，并生成费用账单；

所述数据处理合约模块用于接收所述区块链协议层发送的解包后的待处理数据，并根据智能合约对所述待处理数据进行处理。

可选的，所述计费统计模块包括数据统计模块、计算统计模块和计费模块；

所述数据统计模块用于统计所述数据处理合约模块消费的数据的数目；

所述计算统计模块用于统计所述数据处理合约模块执行智能合约消耗的计算资源；

所述计费模块用于记录所述数据提供方与所述数据消费方协商的数据和计算价格，并根据所述数据统计模块统计的数据的数目和/或所述计算统计模块统计的计算资源生成费用账单。

可选的，所述接口层包括统计接口、数据发送接口、合约部署与调用接口；

所述统计接口用于为所述数据提供方和所述数据消费方提供计费统计查询的接口；

所述数据发送接口用于为所述数据提供方提供交易输入的接口；

所述合约部署与调用接口用于为所述数据提供方提供部署合约和调用合约结果，以及为所述计费统计模块提供部署定价合约的接口。

相应的，本发明实施例还提供了一种基于上述的数据处理平台的数据处理方法，包括：

数据处理平台接收数据提供方将待处理的数据打包后的交易；

所述数据处理平台将所述交易解包，得到所述待处理数据；

所述数据处理平台根据解包后的所述待处理数据以及预设的智能合约对所述待处理数据进行处理，并在统计处理所述待处理数据的数目和/或消耗的计算资源后生成费用账单。

可选的，所述数据处理平台根据解包后的所述待处理数据以及预设的智能合约对所述待处理数据进行处理，包括：

所述数据处理平台的数据处理合约模块接收交易处理模块发送的所述解包后的所述待处理数据，依据所述预设的智能合约对所述待处理数据进行处理；或

所述数据处理平台的数据处理合约模块从所述数据处理平台的状态存储模块获取所述解包后的待处理数据，依据所述预设的智能合约对所述待处理数据进行处理。

可选的，所述数据处理平台在接收数据提供方将待处理的数据打包后的交易之前，还包括：

所述数据处理平台接收数据消费方部署的所述预设的智能合约以及所述数据提供方和所述数据消费方协商的数据定价和/或资源定价。

相应的，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述数据处理方法。

相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述数据处理方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于区块链的数据服务系统的结构示意图；

图2为本发明实施例提供的一种基于区块链的数据服务系统的结构示意图；

图3为本发明实施例提供的一种基于区块链的数据处理平台的结构示意图；

图4为本发明实施例提供的一种区块链协议层的结构示意图；

图5为本发明实施例提供的一种智能合约层的结构示意图；

图6为本发明实施例提供的一种接口层的结构示意图；

图7为本发明实施例提供的一种数据处理方法的流程示意图；

图8为本发明实施例提供的一种基于区块链的数据服务系统的结构示意图；

图9为本发明实施例提供的一种数据处理方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例提供的一种基于区块链的数据服务系统的结构，其可以包括数据提供方100、数据处理平台200和数据消费方300。该数据提供方100拥有数据，将数据以区块链交易的形式发送到数据处理平台200上。数据提供方100可以是本地数据库、云数据库、生成系统等存储和生成数据的系统。数据消费方300对数据进行处理，其处理数据的模型可以通过智能合约的形式部署在数据处理平台200上，以对数据进行处理。数据处理平台200可以用于接收数据提供方100将待处理的数据打包后的交易，将所述交易解包得到待处理数据，根据解包后的待处理数据以及数据消费方部署的智能合约对待处理数据进行处理。

其中，如图2所示，该数据处理平台200可以部署在区块链网络中的各个节点上，区块链网络中的节点可以包括普通节点、存储节点和计算节点，其中，普通节点具备交易背书和区块存储的功能；存储节点和计算节点是可选的，除了具备交易背书和区块存储的功能外，也可以具备交易信息存储和数据处理模型训练的功能。

本发明实施例提供的数据处理平台200可以以软件的形式部署在区块链网络中的各节点上，如图3所示，其可以包括区块链协议层210、智能合约层220和接口层230。其中，接口层230用于接收数据提供方100发送的交易；区块链协议层210用于将交易解包，将解包后的待处理数据发送给智能合约层220，以及将智能合约层220计费统计后的账单进行共识后存储区块链网络；智能合约层220用于为数据消费方300提供合约规则以实现对区块链协议层210发送的解包后的待处理数据进行处理，以及对数据消费方300的数据处理进行计费统计。

图4示例性的示出了上述区块链协议层210的结构，该区块链协议层210可以包括P2P网络211、交易处理模块212、状态存储模块213、智能合约引擎214和共识模块215。

其中，P2P网络211为由各节点组成的去中心化的网络。交易处理模块212用于接收接口层230转发的数据提供方100发送的交易，对交易解包，并将解包后的交易路由到其他模块。状态存储模块213用于存储智能合约层220中待处理数据。共识模块215用于交易的共识。智能合约引擎214用于为智能合约层220提供运行环境。

图5示例性的示出了上述智能合约层220的结构，该智能合约层220可以包括计费统计模块221和数据处理合约模块222。

其中，计费统计模块221用于统计数据处理合约模块222消费的数据的数目和/或资源的数量，并生成费用账单。数据处理合约模块222用于接收区块链协议层210发送的解包后的待处理数据，并根据智能合约对待处理数据进行处理。如数据消费方300部署的智能合约为对数据进行机器训练，则可以提供特征选取功能可以对数据的特征进行选择，实现数据降维；模型训练功能可以根据数据样本，训练机器学习模型；数据可视化模块，分析数据，对数据生成可视化脚本或服务。

可选的，计费统计模块221包括数据统计模块2211、计算统计模块2212和计费模块2213。数据统计模块2211用于统计数据处理合约模块222消费的数据的数目。计算统计模块2212用于统计数据处理合约模块222执行智能合约消耗的计算资源。计费模块2213用于记录数据提供方100与数据消费方300协商的数据和计算价格，并根据数据统计模块2211统计的数据的数目和/或计算统计模块2212统计的计算资源生成费用账单。

需要说的是，该计费统计模块221在具体应用时，可以是集成在系统中的单独模块，也可以通过合约的形式进行部署来实现，在具体实施时依据经验进行选择，对此不做限制。

图6示例性的示出了上述接口层230的几个，该接口层230可以包括统计接口231、数据发送接口232、合约部署与调用接口233。

其中，统计接口231用于为数据提供方100和数据消费方300提供计费统计查询的接口，例如计费查询、数据消费统计查询、资源消耗统计查询等。数据发送接口232用于为数据提供方100提供交易输入的接口。合约部署与调用接口233用于为数据提供方100提供部署合约和调用合约结果，以及为计费统计模块221提供部署定价合约的接口。

基于上述数据处理平台，图7示例性的示出了本发明实施例还提供了一种数据处理方法的流程，该流程具体步骤包括：

步骤701，数据处理平台200接收数据提供方100将待处理的数据打包后的交易。

在数据处理平台200接收数据提供方100将待处理的数据打包后的交易之前，还需要该数据处理平台200接收数据消费方300部署的预设的智能合约以及数据提供方100和数据消费方300协商的数据定价和/或资源定价。

例如，数据提供发提供数据模板(包括数据的维度和每个维度的类型以和/或标记数据类型)给数据消费方300，数据消费方300根据数据模块编写在线数据处理合约代码，实现数据处理功能。

数据提供方100与数据消费方300协商数据定价(如每条数据的价格或每批数据的价格)及资源定价(如每个核心运行一小时的价格以及使用百兆内存一小时的价格)。定价更新合约有双方签名，调用计费模块2213的更新定价接口，写入链上；或者将定价内置到数据处理平台200上。数据消费方300把数据处理的智能合约部署到数据处理平台200上。

数据提供方100把一条或约定的条数的数据打包成交易，并调用数据发送接口232将交易发送到区块链协议层210。

步骤702，所述数据处理平台200将所述交易解包，得到所述待处理数据。

区块链协议层210接收到交易后，可以通过下面两种方式进行处理：

方式一为：

区块链协议层210的交易处理模块212接收到交易后，对交易进行解包，将解包后的待处理数据路由给智能合约层220的数据处理合约模块222，以使数据处理合约模块222对该解包后的待处理数据进行处理。这种方式属于交易在线处理模式。

方式二为：

区块链协议层210的交易处理模块212接收到交易后，对交易进行解包，将解包后的待处理数据存储在上述状态存储模块213，以供智能合约层220的数据处理合约模块222对该解包后的待处理数据进行调用。这种方式属于交易离线处理模式。

步骤703，所述数据处理平台200根据解包后的所述待处理数据以及预设的智能合约对所述待处理数据进行处理，并在统计处理的所述待处理数据的数目和/或消耗的计算资源后生成费用账单。

根据步骤702中的两种方式，智能合约层220对待处理数据进行处理的方式也存在两种方式：

其中，方式一为：

数据处理合约模块222接收交易处理模块212发送的解包后的待处理数据，依据预设的智能合约对待处理数据进行处理。

方式二为：

数据处理合约模块222从状态存储模块213提取解包后的待处理数据，依据预设的智能合约对待处理数据进行处理。

该预设的智能合约是由数据消费方300部署在数据处理平台200上的，其用于对待处理数据进行处理。

数据处理合约模块222在进行待处理数据处理的过程中，数据统计模块2211对处理的每一条或一批数据进行统计，得到相应的数目。计算统计模块2212调用系统方法来获取数据处理合约模块222执行预设的智能合约时消耗的计算资源、内存等。这些信息在区块链网络上通过共识模块215共识后，写入区块链账本，从而为数据流通实现可信的、可记录的、可计费、可追踪的数据处理方法。

数据处理合约模块222在进行待处理数据处理的过程中，数据提供方100和数据消费方300都可以通过接口层230中的各种接口来查询相应数据，例如，可以调用数据处理智能合约功能，查询数据处理结果，可以调用计费合约的功能，查询账单、数据消费记录、计算资源消耗记录等。

为了更好的解释本发明实施例，下面将在具体应用场景下来描述上述数据处理流程。

本发明实施例是利用开源区块链平台搭建一个数据服务平台，提供卡消费数据服务。数据提供方提供银行卡消费记录，数据消费方训练一个卡消费异常的在线学习模型。

其中，如图8所示的系统架构，底层区块链平台采用开源的fabric平台。存储节点和计算节点全部由普通服务器充当，四个节点组成fabric集群。数据提供方从本地数据库(mysql)拉取数据，打包成交易，调用Fabric Java SDK发送到fabric网络上。数据消费方通过调用Fabric Java SDK将卡消费异常在线训练模型的智能合约部署在数据处理平台上。

数据处理平台底层区块链协议采用fabric区块链协议，其P2P网络遵从Gossip协议；交易处理模块对交易进行解包，验证交易头和签名，将卡消费数据提取出来；状态存储模块是基于leveldb的内存数据库；共识模块采用二阶段提交协议；智能合约引擎是以docker容器的方式集成go语言编译执行环境。

卡消费异常智能合约采用fabric的智能合约语言Go语言编写，实现卡消费异常在线学习模型的特征过滤、模型训练、模型输出功能。

计费模块采用fabric智能合约语言go进行实现，一方面实现统计发向卡消费异常训练合约智能合约的数据数目。具体实现方式为，数据提供方每向卡消费异常智能合约输入一条数据，数据统计合约里数据消费的状态加1。另一方面调用docker容器功能，统计卡消费异常智能合约docker容器CPU和内存量。计费模块按照初始化的价格定时生成账单。

接口层的接口按照智能合约调用的形式向数据提供方和数据消费方提供，即调用fabric sdk相应的功能，参数为相应智能合约、版本号、调用的方法、输入的参数，返回的结果为json的形式，包含状态码和结果两个域。

基于图8所示的系统架构，下面将描述数据处理的流程。

在数据处理执行之前，还需要进行准备阶段：

(1)、数据提供方提供数据模板(包括交易序号、消费人、卡号、消费商户、时间等维度，及此交易是否为异常消费的标签)给数据消费方，数据消费方根据数据模板使用go语言编写在线学习合约代码，实现特征过滤、训练、模型输出，生成卡消费异常训练模型的智能合约。

(2)、卡消费异常训练模型的智能合约经审核后，用数据提供方和数据消费方的私钥进行签名，调用合约部署接口部署到数据处理平台上。

(3)、数据提供方与数据消费方协商数据定价及资源定价，初始化参数到计费合约。

(4)、计费合约用数据提供方和数据消费方的私钥进行共同签名，合约部署接口部署在数据处理平台上。

基于上述准备阶段，图9示出了数据处理阶段的流程。

如图9所示，数据提供方从本地mysql数据库提取一条卡消费数据，把数据打包成fabric交易，并调用fabric sdk将交易发送到fabric区块链平台。fabric区块链平台接受到交易后，由交易处理模块解包交易，路由给计费合约进行数据统计，同时路由给卡消费异常模型训练的智能合约进行模型训练。数据处理智能合约接受到交易的内容后，调用合约逻辑对数据的特征进行过滤，处理成在线模型定义的样本数据格式，发送给模型训练器，模型训练器针对这条样本进行一次训练。重复上述过程，直到处理固定条目的合约，或者数据消费方停止执行智能合约。

在上述数据处理过程中，区块链底层每发送到数据处理合约模块一条样本，计费合约的数据统计模块则将对应的数据消费状态加1。计费合约的计算模块调用docker功能，获取数据处理合约的docker容器消耗的计算资源、内存。计费合约根据数据统计模块和计费统计模块的统计，并结合数据定价和资源定价，进行计费，并定时生成账单。

同时，数据消费者可以调用卡消费异常模型智能合约的功能，查询在线模型训练器的结果。数据提供者和数据消费者可以调用计费合约的功能，查询账单、数据消费记录、计算资源消耗记录等。

上述实施例表明，提出一种基于区块链的数据处理平台和数据处理方法，用区块链底层作为接受数据或存储的平台，用智能合约实现数据处理功能，通过区块链对交易的记录来对数据进行精确计费，根据智能合约的执行步骤来对计算资源进行精确计费，并通过对区块链上交易记录的统计对费用进行确认和审计。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述数据处理方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述数据处理方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于区块链的数据处理平台，其特征在于，包括：所述数据处理平台部署在区块链网络中的各节点上，包括区块链协议层、智能合约层和接口层；

所述接口层用于接收数据提供方发送的交易；

所述区块链协议层用于将所述交易解包，将解包后的待处理数据发送给所述智能合约层，以及将所述智能合约层计费统计后的账单进行共识后存储区块链网络；

所述智能合约层用于为数据消费方提供合约规则以实现对所述区块链协议层发送的解包后的待处理数据进行处理，以及对所述数据消费方的数据处理进行计费统计。

2.如权利要求1所述的数据处理平台，其特征在于，所述区块链协议层包括对等P2P网络、交易处理模块、状态存储模块、智能合约引擎和共识模块；

所述P2P网络为由各节点组成的去中心化的网络；

所述交易处理模块用于接收所述接口层转发的所述数据提供方发送的交易，对所述交易解包，并将解包后的交易路由到其他模块；

所述状态存储模块用于存储所述智能合约层中待处理数据；

所述共识模块用于交易的共识；

所述智能合约引擎用于为所述智能合约层提供运行环境。

3.如权利要求1所述的数据处理平台，其特征在于，所述智能合约层包括计费统计模块和数据处理合约模块；

所述计费统计模块用于统计所述数据处理合约模块消费的数据的数目和/或资源的数量，并生成费用账单；

所述数据处理合约模块用于接收所述区块链协议层发送的解包后的待处理数据，并根据智能合约对所述待处理数据进行处理。

4.如权利要求3所述的数据处理平台，其特征在于，所述计费统计模块包括数据统计模块、计算统计模块和计费模块；

所述数据统计模块用于统计所述数据处理合约模块消费的数据的数目；

所述计算统计模块用于统计所述数据处理合约模块执行智能合约消耗的计算资源；

所述计费模块用于记录所述数据提供方与所述数据消费方协商的数据和计算价格，并根据所述数据统计模块统计的数据的数目和/或所述计算统计模块统计的计算资源生成费用账单。

5.如权利要求1所述的数据处理平台，其特征在于，所述接口层包括统计接口、数据发送接口、合约部署与调用接口；

所述统计接口用于为所述数据提供方和所述数据消费方提供计费统计查询的接口；

所述数据发送接口用于为所述数据提供方提供交易输入的接口；

所述合约部署与调用接口用于为所述数据提供方提供部署合约和调用合约结果，以及为所述计费统计模块提供部署定价合约的接口。

6.一种基于权利要求1至5任一项所述的数据处理平台的数据处理方法，其特征在于，包括：

数据处理平台接收数据提供方将待处理的数据打包后的交易；

所述数据处理平台将所述交易解包，得到所述待处理数据；

所述数据处理平台根据解包后的所述待处理数据以及预设的智能合约对所述待处理数据进行处理，并在统计处理所述待处理数据的数目和/或消耗的计算资源后生成费用账单。

7.如权利要求6所述的方法，其特征在于，所述数据处理平台根据解包后的所述待处理数据以及预设的智能合约对所述待处理数据进行处理，包括：

所述数据处理平台的数据处理合约模块接收交易处理模块发送的所述解包后的所述待处理数据，依据所述预设的智能合约对所述待处理数据进行处理；或

所述数据处理平台的数据处理合约模块从所述数据处理平台的状态存储模块获取所述解包后的待处理数据，依据所述预设的智能合约对所述待处理数据进行处理。

8.如权利要求6所述的方法，其特征在于，所述数据处理平台在接收数据提供方将待处理的数据打包后的交易之前，还包括：

所述数据处理平台接收数据消费方部署的所述预设的智能合约以及所述数据提供方和所述数据消费方协商的数据定价和/或资源定价。

9.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求6至8任一项所述的方法。

10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求6至8任一项所述的方法。