CN115048458A - 基于区块链的数据处理方法、装置、设备、介质和程序产品 - Google Patents

Abstract

本公开提供了一种基于区块链的数据处理方法，可以应用于区块链技术领域。该基于区块链的数据处理方法包括：基于业务区块链执行入湖智能合约，对采集的源数据执行写入操作，写入至去中心化数据库；基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并对所述外送数据执行所述写入操作，写入至所述去中心化数据库；基于所述业务区块链执行文件生成智能合约，生成外送文件；以及将所述外送文件传输至目标端。本公开还提供了一种基于区块链的数据处理系统、设备、存储介质和程序产品。

Description

基于区块链的数据处理方法、装置、设备、介质和程序产品

技术领域

本公开涉及区块链技术领域，具体的涉及一种区块链的数据处理方法、装置、设备、介质和程序产品。

背景技术

随着我国金融体系的日趋完善和经营风险的急剧增加，同时面对互联网金融、大数据的冲击，银行对其业务数据的分析显得尤为重要。随着数据湖等技术的不断发展和日益成熟，银行对客户信息及交易业务数据的分析提出了更高的要求。

传统的银行数据监管报送采用中心化数据湖进行贴源数据存储，并利用大数据处理引擎对贴源数据根据具体业务场景的数据标准进行清洗、加工，形成监管指标数据和明细数据。并传输至具体业务场景对应的机构。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，集中式集群存在容易故障、数据处理不及时、数据不完备以及元数据节点易受到攻击等技术问题。

发明内容

鉴于上述问题，本公开提供了提高数据处理安全性与效率的基于区块链的数据处理方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种基于区块链的数据处理方法，包括：基于业务区块链执行入湖智能合约，对采集的源数据执行写入操作，写入至去中心化数据库；基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并对所述外送数据执行所述写入操作，写入至所述去中心化数据库；基于所述业务区块链执行文件生成智能合约，生成外送文件；以及将所述外送文件传输至目标端。

根据本公开的实施例，其中，所述源数据和所述外送数据为入库数据，所述写入操作包括：将所述入库数据分开成为第一预设数量的子数据块；以及采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块，其中，所述第二预设数量的数据块相较于所述第一预设数量的子数据块，存在第三预设数量的冗余数据块。

根据本公开的实施例，在所述采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块后，所述写入操作还包括：基于多重哈希标识所述子数据块中的内容；以及基于分布式哈希表将标识后的所述子数据块，存入去中心化节点中。

根据本公开的实施例，所述基于业务区块链执行入湖智能合约，包括：基于预设采集时间，周期性执行所述入湖智能合约。

根据本公开的实施例，所述去中心化数据库包括第一去中心化数据库和第二去中心化数据库，其中，所述源数据是写入第一去中心化数据库的，所述外送数据是写入第二去中心化数据库的。

根据本公开的实施例，所述基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并将所述外送数据存储至所述去中心化数据库，包括：将第一去中心化节点中的所述源数据执行映射操作，得到待加工数据，其中，所述第一去中心化节点为所述第一去中心化数据库中的节点，所述映射操作用于重排数据块；将所述待加工数据暂存至第二去中心化节点，其中，所述第二去中心化节点为所述第一去中心化数据库中的节点，所述第二去中心化节点为所述第一去中心化节点的相邻节点；基于预设的计算逻辑，将所述第二去中心化节点上的所述待加工数据执行化简操作，得到所述外送数据；以及将所述外送数据存储至第三去中心化节点，其中，所述第三去中心化节点为所述第二去中心化数据库中的节点。

根据本公开的实施例，在所述源数据写入至所述去中心化数据库后，或者在所述外送数据写入至所述去中心化数据库后，所述方法还包括：监控所述源数据的入库状态，和/或监控所述外送数据的入库状态；若所述入库状态为成功，则发出入库成功指令；以及若所述入库状态为失败，则发出入库失败指令，以完成报警。

本公开的第二个方面，提供了一种基于区块链的数据处理装置，所述装置包括：数据采集模块、数据加工模块、文件生成模块以及文件传输模块，其中，所述数据采集模块，用于基于业务区块链执行入湖智能合约，对采集的源数据执行写入操作，写入至去中心化数据库；所述数据加工模块，用于基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并对所述外送数据执行所述写入操作，写入至所述去中心化数据库；所述文件生成模块，用于基于所述业务区块链执行文件生成智能合约，生成外送文件；以及所述文件传输模块，用于将所述外送文件传输至目标端。

根据本公开的实施例，其中，所述源数据和所述外送数据为入库数据，所述写入操作包括：将所述入库数据分开成为第一预设数量的子数据块；以及采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块，其中，所述第二预设数量的数据块相较于所述第一预设数量的子数据块，存在第三预设数量的冗余数据块。

根据本公开的实施例，在所述采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块后，所述写入操作还包括：基于多重哈希标识所述子数据块中的内容；以及基于分布式哈希表将标识后的所述子数据块，存入去中心化节点中。

根据本公开的实施例，所述数据采集模块，还用于基于预设采集时间，周期性执行所述入湖智能合约。

根据本公开的实施例，所述去中心化数据库包括第一去中心化数据库和第二去中心化数据库，其中，所述源数据是写入第一去中心化数据库的，所述外送数据是写入第二去中心化数据库的。

根据本公开的实施例，所述数据加工模块，还用于将第一去中心化节点中的所述源数据执行映射操作，得到待加工数据，其中，所述第一去中心化节点为所述第一去中心化数据库中的节点，所述映射操作用于重排数据块；将所述待加工数据暂存至第二去中心化节点，其中，所述第二去中心化节点为所述第一去中心化数据库中的节点，所述第二去中心化节点为所述第一去中心化节点的相邻节点；基于预设的计算逻辑，将所述第二去中心化节点上的所述待加工数据执行化简操作，得到所述外送数据；以及将所述外送数据存储至第三去中心化节点，其中，所述第三去中心化节点为所述第二去中心化数据库中的节点。

根据本公开的实施例，所述装置还包括：监控报警模块，其中，所述监控模块用于监控所述源数据的入库状态，和/或监控所述外送数据的入库状态；若所述入库状态为成功，则发出入库成功指令；以及若所述入库状态为失败，则发出入库失败指令，以完成报警。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述基于区块链的数据处理方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述基于区块链的数据处理方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述基于区块链的数据处理方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的基于区块链的数据处理方法的应用场景图。

图2示意性示出了根据本公开实施例的基于区块链的数据处理方法的流程图。

图3A示意性示出了根据本公开实施例的一种基于区块链的数据处理方法的流程图。

图3B示意性示出了根据本公开实施例的一种基于区块链的数据处理方法的流程图。

图4示意性示出了根据本公开实施例的一种基于区块链的数据处理方法的流程图。

图5示意性示出了根据本公开实施例的一种大数据分析技术 Hadoop与去中心化存储技术IPFS相结合的架构示意图。

图6示意性示出了根据本公开实施例的一种在图5架构下去中心化存储技术IPFS数据处理的示意图。

图7示意性示出了根据本公开实施例的一种基于区块链的数据处理方法的全流程图。

图8示意性示出了根据本公开实施例的基于区块链的数据处理装置的结构框图。

图9示意性示出了根据本公开实施例的适于实现基于区块链的数据处理方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有 B和C、和/或具有A、B、C的系统等)。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有 B和C、和/或具有A、B、C的系统等)。

在详细解释本公开的实施例之前，对本公开中涉及的关键技术术语一一说明：

区块链：区块链(Blockchain)是一种由多方共同维护，使用密码学保证传输和访问安全，能够实现数据一致存储、难以篡改、防止抵赖的记账技术，也称为分布式账本技术(Distributed Ledger Technology)。典型的区块链以块-链结构存储数据。

智能合约：智能合约层负责将区块链系统的业务逻辑以代码的形式实现、编译并部署，完成既定规则的条件触发和自动执行，最大限度的减少人工干预。

银行监管报送：中国银行业的迅速发展带来了中国银行业监管体制和机制的深刻变革，银保监会秉持″风险为本″的监管理念，规划、构建了银行业监管信息系统框架，各银行需根据监管部门要求按照规定频率报送相关数据。

元数据：元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(dataabout data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

去中心化存储：去中心化存储是由众多节点参与存储的分布式，能摆脱庞大的中心化存储和地理位置的局限，去中心化存储安全性更高、效率更快、性价比更高，由于去中心化存储没有元数据的概念，因此能够防止元数据被篡改导致的数据安全性问题。

纠删码：纠删码的原理是将数据分成K块，采用纠删码编码成 K+R个编码的数据块，任意K个编码数据块都可以恢复出完整数据。每个纠删码节点只需存储其中一个编码数据块，即完整数据块的1/K，因此降低了存储负担。

Hadoop：一种分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，基于Hadoop开发分布式程序。

Hadoop分布式文件系统：(Hadoop Distributed File System，缩写为HDFS)，HDFS具有有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。

MapReduce：一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归约)”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map (映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。

另一种资源协调者：(Yet Another Resource Negotiator，缩写为 YARN)，是一种新的Hadoop资源管理器，可以提高集群利用率、资源管理统一性和数据共享。

星际文件系统：(InterPlanetary File System，缩写为IPFS)，是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。在IPFS网络中的节点将构成一个分布式文件系统。IPFS至少拥有以下优势：1.永久的、去中心化保存和共享文件(区块链模式下的存储DHTs)。2.通过文件内容生成独立哈希值来标识文件，而不是通过文件保存位置来标识。相同内容的文件在系统中只会存在一份，节约存储空间。

数据湖：(Data Lake)是一个存储库，它允许存储大量的原始数据，也就是说，没有按照特定的模式进行准备、处理或操作的数据。

在数据处理领域中，以银行的数据监管报送为例，传统的银行数据监管报送采用中心化数据湖进行贴源数据存储，并利用大数据处理引擎对贴源数据根据监管报送数据标准进行清洗、加工，形成监管指标数据和明细数据，进而根据监管部门要求将上述指标数据和明细数据进行处理和汇总，并将待报送数据传输给对接监管部门对应的监管系统应用程序，由该应用程序将监管报送数据通过专线发送给监管部门。

但银行的数据监管报送系统采用的中心化数据湖模式，至少存在以下缺点：

1.传统的银行数据监管报送采用中心化数据湖模式，虽然处理效率相对较高，但中心化集群容易出现单点故障问题，即使存在主备集群，也无法保证某一集群发生故障时数据的完整性，从而无法保障监管报送应用的运行连续性，容易导致监管报送不及时、数据不完备的风险。

2.传统的数据湖存储系统的元数据保存在中心节点上，容易被恶意修改，安全性较差，一旦元数据节点受到攻击，则报送数据的准确性无法保障。

3.中心化数据湖存在数据需要反复传输、重复存储的问题，造成存储成本提高、通讯开销浪费。

基于以上的几点，都可能导致银行等被监管机构无法很好地达成监管部门所要求的时效性以及数据质量标准。

为解决现有技术中存在的问题，本公开的实施例提供一种基于区块链的数据处理方法，包括：基于业务区块链执行入湖智能合约，对采集的源数据执行写入操作，写入至去中心化数据库；基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并对所述外送数据执行所述写入操作，写入至所述去中心化数据库；基于所述业务区块链执行文件生成智能合约，生成外送文件；以及将所述外送文件传输至目标端。

在本公开的实施例中，数据采集与外送全程采用区块链配合去中心化数据库，极大程度上保证了数据的安全性，避免了在此过程中数据被篡改的可能。采用区块链配合去中心化数据库，又能够有效避免全程仅使用区块链进行数据存储处理时低效的问题，提高了整个数据处理流程的效率。

图1示意性示出了根据本公开实施例的基于区块链的数据处理方法的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备 101、102、103、网络104和服务器105。网络104用以在终端设备 101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器 105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的基于区块链的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的基于区块链的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的基于区块链的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的基于区块链的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、 103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图7对公开实施例的基于区块链的数据处理方法进行详细描述。

图2示意性示出了根据本公开实施例的基于区块链的数据处理方法的流程图。

如图2所示，该实施例的基于区块链的数据处理方法包括操作 S210～操作S240，该基于区块链的数据处理方法可以由服务器105执行。

在操作S210中，基于业务区块链执行入湖智能合约，对采集的源数据执行写入操作，写入至去中心化数据库。

源数据由银行相关业务应用系统产生，例如，银行相关业务应用系统包括核心业务系统、支付系统、银行卡系统、信贷管理系统等。相应地，业务应用系统中一般包括客户信息管理模块”、“核心账务处理模块”、“风险管理模块”、“公共参数管理模块”、“业务数据存储模块”等。业务应用系统能够实现向银行客户提供相关金融服务，例如，金融服务包括：账户管理、账务处理、利率管理以及风险管控等。在执行上述金融服务的过程中，不同模块的运行都会将产生的与业务相关的源数据数据，并在此基础上对源数据进行存储。

例如，客户信息管理模块，主要负责银行个人、对公客户信息管理，包括收集、传输、存储、使用、保护、删除、销毁等处理过程，核心目标是在合理使用客户信息原则范围内实现对客金融服务。核心账务处理模块，主要负责交易流水、会计核算、会计分录等业务功能，记录包括交易明细、结转账信息、期初期末数据等与账务相关信息。风险管理模块，主要负责对本业务系统的相关风险进行预警，如资本充足率、不良贷款率、拨备覆盖率、流动性比例等。该模块提供水位线指标，对某些指标超过水位线或未达到水位线的相关指标执行相关报警或采取其他措施。公共参数管理模块，主要负责业务系统相关参数管理，如基础参数、利率参数、手续费参数、产品参数、交易参数等。通过该模块实现对机构层级、地区编码、卡BIN定义，以此来对参数进行统一定义和修改，实现银行业务系统数字化管理。业务数据存储模块，主要向前述处理模块提供存储能力，主要存储“客户信息管理模块、核心账务处理模块、“风险管理模块、公共参数管理模块等所产生或管理的客户信息、账务数据、风险指标、公共参数等数据。

智能合约可理解为是能够自动执行任务的协议，其中，智能合约包含约束规则，该约束规则是可提前定义的。智能合约有着无人工干预、无条件执行的好处。例如，入湖智能合约则是起着采集数据的作用，其中的约束规则也是与数据采集相关的。又例如，数据加工智能合约则是起着数据加工的作用，其中的约束规则也是与数据加工相关的。

传统的，在进行数据存储时所采用的数据库大致分为两种，一种是集中式数据库，一种是分布式数据库。对于前者，在此不过多赘述。而对于后者的分布式数据库，去中心化数据库与分布式数据库存在较大差异，其中，最主要的是，分布式数据库存在中心化管理节点，该中心化管理节点参与数据写入写出的操作，而去中心化数据库不存在中心化管理节点，这样，就避免了在对数据库操作的过程中，他人查看和/或篡改中心化管理节点。进而，减少数据泄密和/或篡改的风险。

同样的，去中心化数据库与区块链也存在一定区别。在进行数据存储时，区块链是通过共识进行链式存储，而去中心化数据库不必执行共识与链式存储。并且，区块链的存储空间有限，且对于数据的存取较慢，致使大文件难以存储于区块链上，因此，采用去中心化数据库对各个应用汇总得来的大量数据进行存储和加工。

具体的，所述业务区块链可以基于具体的银行业务命名。例如，在银行监管报送的业务场景下，所述业务区块链可以被叫做报送区块链。

根据本公开的实施例，所述基于业务区块链执行入湖智能合约，包括：基于预设采集时间，周期性执行所述入湖智能合约。

其中，该预设采集时间可以是基于具体场景人为自定义的，在此不再赘述。

例如，预设采集时间为两小时。又例如，一个应用分配一个区块链节点，入湖智能合约规定采集十个应用的源数据，并且，还规定十个应用的源数据必须全部入库成功才算该本次合约执行成功。

可以理解的是，基于预设采集时间采集源数据至去中心化数据库的好处在于，避免频繁连接去中心化数据库与具体应用，从而实现流量保护效果。

在操作S220中，基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并对所述外送数据执行所述写入操作，写入至所述去中心化数据库。

其中，数据加工智能合约中约束规则的逻辑基于具体应用场景而定。

例如，在银行监管报送的应用场景下，上述数据加工智能合约主要根据监管部门对数据的要求的逻辑实现，通过这些逻辑实现对源数据进行加工处理。

根据本公开的实施例，所述去中心化数据库包括第一去中心化数据库和第二去中心化数据库，其中，所述源数据是写入第一去中心化数据库的，所述外送数据是写入第二去中心化数据库的。

需要说明的是，第一去中心化数据库和第二去中心化数据库中，对数据的写入/写出操作的实现过程是一致的，其不同点仅在于所存储的数据内容不一致。

可以理解的是，设置两个去中心化数据库，可以将未经处理的源数据和经过处理的外送数据分开存储，避免不同数据库中数据产生数据污染。

当然，去中心化数据库中还可以进行参数设置，包括副本数量以及容错率等参数，合适的参数设置可以决定上述第一去中心化数据库或第二去中心化数据库中的存储利用率、容错能力以及计算效率等。

在操作S230中，基于所述业务区块链执行文件生成智能合约，生成外送文件。

具体的，外送文件生成于外部应用中。

在操作S240中，将所述外送文件传输至目标端。

例如，在银行监管报送的应用场景下，目标端为银行监管机构。

在本公开的实施例中，数据采集与外送全程采用区块链配合去中心化数据库，极大程度上保证了数据的安全性，避免了在此过程中数据被篡改的可能。采用区块链配合去中心化数据库，又能够有效避免全程仅使用区块链进行数据存储处理时低效的问题，提高了整个数据处理流程的效率。

由于第一去中心化数据库和第二去中心化数据库中，对数据的写入写出/写出操作的实现过程是一致的。接下来将详细揭示本公开中的写入操作。

图3A示意性示出了根据本公开实施例的一种基于区块链的数据处理方法的流程图。

如图3A所示，该实施例的一种基于区块链的数据处理方法包括操作S310～操作S320。

在操作S310中，将所述入库数据分开成为第一预设数量的子数据块。

其中，所述源数据和所述外送数据统称为入库数据。

在操作S320中，采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块，其中，所述第二预设数量的数据块相较于所述第一预设数量的子数据块，存在第三预设数量的冗余数据块。

具体的，第一预设数量对应数量K，第二预设数量对应数量K+R，第三预设数量对应数量R。纠删码的原理是将数据分成K块，采用纠删码编码成K+R个编码的数据块，任意K个编码数据块都可以恢复出完整数据。每个纠删码节点只需存储其中一个编码数据块，即完整数据块的1/K。

在本公开的实施例中，任意第一预设数量的编码数据块都可以恢复出完整数据。每个纠删码节点只需存储其中一个编码数据块，因此降低了存储负担。

图3B示意性示出了根据本公开实施例的一种基于区块链的数据处理方法的流程图。

如图3B所示，该实施例的一种基于区块链的数据处理方法除了操作S310～操作S320，还包括操作S330～操作S340。

在操作S330中，基于多重哈希标识所述子数据块中的内容。

在操作S340中，基于分布式哈希表将标识后的所述子数据块，存入去中心化节点中。

不同的去中心化节点之间，基于可访问的路由表，通过节点管理，实现所有节点间的点对点通讯，使得能够支持分布式哈希表(DHT) 以及内容寻址等功能。

可以理解的是，上述操作S310～操作S320和上述操作S330～操作S340适用于第一去中心化数据库和第二去中心化数据库。

在本公开的实施例中，每个存储节点提供存储能力，存储的数据结构主要是MerkleDAG，该数据结构通过使用多重哈希来唯一识别一个数据块的内容，另外可以方便的检查哈希值来确认数据是否被篡改，达到防攻击的目的；同时由于内容相同的数据块哈希是相同的，可以很容易去掉重复数据，节省存储空间。

图4示意性示出了根据本公开实施例的一种基于区块链的数据处理方法的流程图。

图5示意性示出了根据本公开实施例的一种大数据分析技术 Hadoop与去中心化存储技术IPFS相结合的架构示意图。

图6示意性示出了根据本公开实施例的一种在图5架构下去中心化存储技术IPFS数据处理的示意图。

如图5所示，一个节点中安装有大数据分析软件Hadoop、去中心存储数据库IPFS，其中大数据分析软件Hadoop包含MapReduce 和Yam等功能组件。

其中，MapReduce组件是大数据分析软件Hadoop的子模块，主要用于对数据进行加工和分析，实现对大数据的挖掘。Yam组件是大数据分析软件Hadoop的子模块，主要用于节点资源管理，实现“MapReduce组件能更好地利用CPU、内存等资源。IPFS去中心化数据库是一种去中心化存储技术实现，是一种基于文件存储的数据库，但其没有中心化的元数据管理节点，通过哈希寻址等技术进行数据查询。

通过实现MapReduce组件直接就近(一般为相邻)读所运行的去中心化节点上的IPFS去中心化数据库上的数据，并通过网络连接组件实现不同MapReduce组件、IPFS去中心化数据库之间的连接和通信，就近读取数据可极大降低不同节点间传输数据所占用的带宽。

结合图4和图6所示，该实施例的一种基于区块链的数据处理方法包括操作S410～操作S440。该操作S410～操作S440对应上述操作S220。

在操作S410中，将第一去中心化节点中的所述源数据执行映射操作，得到待加工数据，其中，所述第一去中心化节点为所述第一去中心化数据库中的节点，所述映射操作用于重排数据块。

具体的，映射操作为Map。

在操作S420中，将所述待加工数据暂存至第二去中心化节点，其中，所述第二去中心化节点为所述第一去中心化数据库中的节点，所述第二去中心化节点为所述第一去中心化节点的相邻节点。

在操作S430中，基于预设的计算逻辑，将所述第二去中心化节点上的所述待加工数据执行化简操作，得到所述外送数据。

具体的，化简操作为Reduce。

在操作S440中，将所述外送数据存储至第三去中心化节点，其中，所述第三去中心化节点为所述第二去中心化数据库中的节点。

以银行监管报送数据为例，所述第一去中心化数据库为图6中的源数据去中心化存储数据库，所述第二去中心化数据库为图6中的报送数据去中心化存储数据库。在源数据完成Map操作后，将待加工数据会暂存在源数据去中心化存储数据库中，并且，将待加工数据存储于相邻节点(图6中的交叉划线便表示存储于相邻节点)。在待加工数据通过Reduce操作后，得到外送数据，并存储于报送数据去中心化存储数据库中。

在本公开的实施例中，将去中心化存储技术IPFS与传统大数据技术Hadoop融合，实现就近为IPFS节点上的数据提供MapReduce 运算和数据加工，避免了传统中心化数据湖需要在全局、跨机架节点上进行取数、传输、运算等复杂流程，以此减少节点间通讯成本，最终达到提升计算效率的效果。

接下来，还是以银行监管报送的实施场景为例，对该场景下的基于区块链的数据处理方法进行详细揭示。

图7示意性示出了根据本公开实施例的一种基于区块链的数据处理方法的全流程图。

如图7所示，该实施例的一种基于区块链的数据处理方法包括操作S701～操作S713。上述操作S701～操作S713分别执行于业务应用、报送区块链、第一去中心化数据库、第二去中心化数据库以及对外报送应用。

在操作S701中，业务应用中发生业务操作，得到业务数据。

具体的，业务应用伴随着业务发生，会产生相关业务数据，这些数据也是监管报送的数据来源。

在操作S702中，将所述业务数据写入业务数据库。

其中，所述业务数据库为业务应用配套的数据库，可以看做一个小型的集中式的数据库。

在操作S703中，定时执行报送区块链上所部署的源数据入湖智能合约，以使源数据入湖逻辑。

在操作S704中，报送区块链上源数据入湖智能合约将源数据写第一去中心化数据库。

其中，所述第一去中心化数据库仅存储源数据。

在操作S705中，记录入湖状态。

其中，入湖状态包括成功(SUCCESS)和失败(FAILED)。

在操作S706中，报送区块链对入湖状态进行监控，若成功。则执行操作S707，若失败，则执行操作S713。

在操作S707中，执行监管报送数据加工智能合约，对源数据执行加工逻辑，得到报送数据。

在操作S708中，报送数据入湖至第二中心化数据库。

在操作S709中，记录入湖状态。

在操作S710中，报送区块链对入湖状态进行监控，若成功。则执行操作S711，若失败，则执行操作S713。

在操作S711中，执行监管报送数据文件生成智能合约，生成数据文件，并发送给对外报送应用。

在操作S712中，接收数据文件，并对外报送。

在操作S713中，将入湖失败状态发送至对外报送应用，以进行报警。

本发明提出一种基于区块链智能合约的监管报送数据流系统。通过本发明转置，可以在各类报送应用的运行服务中构建一个去中心化的报送数据加工网络，由智能合约承担监管报送数据清洗、加工逻辑，形成监管指标数据和明细数据，并实时通过数据流式处理将这些数据汇聚到去中心化存储数据库中，然后通过多个报送智能合约互为主备的模式对接对外报送应用，这些报送智能合约只实施数据流式处理功能，将去中心存储数据库中的监管报送数据传输给对外报送应用，并在对外报送应用中形成汇总数据文件。

基于上述基于区块链的数据处理方法，本公开还提供了一种基于区块链的数据处理装置。以下将结合图8对该装置进行详细描述。

图8示意性示出了根据本公开实施例的基于区块链的数据处理装置的结构框图。

如图8所示，该实施例的基于区块链的数据处理装置800包括数据采集模块810、数据加工模块820、文件生成模块830和文件传输模块840。

所述数据采集模块810用于基于业务区块链执行入湖智能合约，对采集的源数据执行写入操作，写入至去中心化数据库。在一实施例中，所述数据采集模块810可以用于执行前文描述的操作S210，在此不再赘述。

所述数据加工模块820用于基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并对所述外送数据执行所述写入操作，写入至所述去中心化数据库。在一实施例中，所述数据加工模块820可以用于执行前文描述的操作S220，在此不再赘述。

所述文件生成模块830用于基于所述业务区块链执行文件生成智能合约，生成外送文件。在一实施例中，所述文件生成模块830可以用于执行前文描述的操作S230，在此不再赘述。

所述文件传输模块840用于将所述外送文件传输至目标端。在一实施例中，所述文件传输模块840可以用于执行前文描述的操作S240，在此不再赘述。

在本公开的实施例中，数据采集与外送全程采用区块链配合去中心化数据库，极大程度上保证了数据的安全性，避免了在此过程中数据被篡改的可能。采用区块链配合去中心化数据库，又能够有效避免全程仅使用区块链进行数据存储处理时低效的问题，提高了整个数据处理流程的效率。

根据本公开的实施例，其中，所述源数据和所述外送数据为入库数据，所述写入操作包括：将所述入库数据分开成为第一预设数量的子数据块；以及采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块，其中，所述第二预设数量的数据块相较于所述第一预设数量的子数据块，存在第三预设数量的冗余数据块。

根据本公开的实施例，在所述采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块后，所述写入操作还包括：基于多重哈希标识所述子数据块中的内容；以及基于分布式哈希表将标识后的所述子数据块，存入去中心化节点中。

根据本公开的实施例，所述数据采集模块810，还用于基于预设采集时间，周期性执行所述入湖智能合约。

根据本公开的实施例，所述去中心化数据库包括第一去中心化数据库和第二去中心化数据库，其中，所述源数据是写入第一去中心化数据库的，所述外送数据是写入第二去中心化数据库的。

根据本公开的实施例，所述数据加工模块820，还用于将第一去中心化节点中的所述源数据执行映射操作，得到待加工数据，其中，所述第一去中心化节点为所述第一去中心化数据库中的节点，所述映射操作用于重排数据块；将所述待加工数据暂存至第二去中心化节点，其中，所述第二去中心化节点为所述第一去中心化数据库中的节点，所述第二去中心化节点为所述第一去中心化节点的相邻节点；基于预设的计算逻辑，将所述第二去中心化节点上的所述待加工数据执行化简操作，得到所述外送数据；以及将所述外送数据存储至第三去中心化节点，其中，所述第三去中心化节点为所述第二去中心化数据库中的节点。

根据本公开的实施例，所述装置还包括：监控报警模块，其中，所述监控模块用于监控所述源数据的入库状态，和/或监控所述外送数据的入库状态；若所述入库状态为成功，则发出入库成功指令；以及若所述入库状态为失败，则发出入库失败指令，以完成报警。

根据本公开的实施例，所述数据采集模块810、所述数据加工模块820、所述文件生成模块830和所述文件传输模块840中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，所述数据采集模块810、所述数据加工模块820、所述文件生成模块830和所述文件传输模块840中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，所述数据采集模块810、所述数据加工模块820、所述文件生成模块830和所述文件传输模块840中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图9示意性示出了根据本公开实施例的适于实现基于区块链的数据处理方法的电子设备的方框图。

如图9所示，根据本公开实施例的电子设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分 908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器 901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备900还可以包括输入/输出(I/O) 接口905，输入/输出(I/O)接口905也连接至总线904。电子设备 900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910 上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903 以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的基于区块链的数据处理方法。

在该计算机程序被处理器901执行时执行本公开实施例的系统/ 装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分909被下载和安装，和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体的，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++， python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网 (LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种基于区块链的数据处理方法，其特征在于，包括：

基于业务区块链执行入湖智能合约，对采集的源数据执行写入操作，写入至去中心化数据库；

基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并对所述外送数据执行所述写入操作，写入至所述去中心化数据库；以及

基于所述业务区块链执行文件生成智能合约，生成外送文件；以及

将所述外送文件传输至目标端。

2.根据权利要求1所述的方法，其特征在于，其中，所述源数据和所述外送数据为入库数据，

所述写入操作包括：

将所述入库数据分开成为第一预设数量的子数据块；以及

采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块，其中，所述第二预设数量的数据块相较于所述第一预设数量的子数据块，存在第三预设数量的冗余数据块。

3.根据权利要求2所述的方法，其特征在于，在所述采用纠删码编码将所述第一预设数量的数据块编写成为第二预设数量的数据块后，所述写入操作还包括：

基于多重哈希标识所述子数据块中的内容；以及

基于分布式哈希表将标识后的所述子数据块，存入去中心化节点中。

4.根据权利要求1所述的方法，其特征在于，所述基于业务区块链执行入湖智能合约，包括：

基于预设采集时间，周期性执行所述入湖智能合约。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述去中心化数据库包括第一去中心化数据库和第二去中心化数据库，其中，所述源数据是写入第一去中心化数据库的，所述外送数据是写入第二去中心化数据库的。

6.根据权利要求4所述的方法，其特征在于，所述基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并将所述外送数据存储至所述去中心化数据库，包括：

对第一去中心化节点中的所述源数据执行映射操作，得到待加工数据，其中，所述第一去中心化节点为所述第一去中心化数据库中的节点，所述映射操作用于重排数据块；

将所述待加工数据暂存至第二去中心化节点，其中，所述第二去中心化节点为所述第一去中心化数据库中的节点，所述第二去中心化节点为所述第一去中心化节点的相邻节点；

基于预设的计算逻辑，将所述第二去中心化节点上的所述待加工数据执行化简操作，得到所述外送数据；以及

将所述外送数据存储至第三去中心化节点，其中，所述第三去中心化节点为所述第二去中心化数据库中的节点。

7.根据权利要求1所述的方法，其特征在于，在所述源数据写入至所述去中心化数据库后，或者在所述外送数据写入至所述去中心化数据库后，所述方法还包括：

监控所述源数据的入库状态，和/或监控所述外送数据的所述入库状态；

若所述入库状态为成功，则发出入库成功指令；以及

若所述入库状态为失败，则发出入库失败指令，以完成报警。

8.一种基于区块链的数据处理装置，其特征在于，所述装置包括：数据采集模块、数据加工模块、文件生成模块以及文件传输模块，

其中，

所述数据采集模块，用于基于业务区块链执行入湖智能合约，对采集的源数据执行写入操作，写入至去中心化数据库；

所述数据加工模块，用于基于所述业务区块链执行数据加工智能合约，将所述去中心化数据库中的源数据进行加工，形成外送数据，并对所述外送数据执行所述写入操作，写入至所述去中心化数据库；

所述文件生成模块，用于基于所述业务区块链执行文件生成智能合约，生成外送文件；以及

所述文件传输模块，用于将所述外送文件传输至目标端。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。

Images