CN112131228B - 一种基于fabric的便于数据检索的联盟链系统 - Google Patents

Abstract

本发明公开了一种基于FABRIC的便于数据检索的联盟链系统，包括多个CA节点，在每个CA节点下的peer节点上均配置有db插件，所述db插件配置在peer节点的共识层；所述db插件用于在peer节点的账本更新时在数据库中执行写操作，所述数据库中预先配置有状态表、区块表、块高表、交易表、合约表、节点表、有效读集表、无效读集表、有效范围读集表和无效范围读集表中的一种或多种；每个表上均配置有索引字段。本发明能够满足业务的多类别关键字组合检索。

Description

一种基于FABRIC的便于数据检索的联盟链系统

技术领域

本发明属于联盟链技术领域，尤其涉及一种便于数据检索查询的联盟链系统。

背景技术

基于现有的Fabric联盟链链上查询机制做数据查询，必须通过调用链码方式执行对链上数据collection的Query操作。

因链上状态数据表是将智能合约键、智能合约所在的通道名和智能合约的名字拼接在一起，形成一个组合键【合成健KEY＝COMBINED(通道名，合约名，合约键)】，然后用这个组合键作为底层数据库存储的唯一键，用来区分不同合约层级下的各自存储信息(不同通道或合约都可能存在同名K-V键值对)；这导致缺乏任意可变键组的键值对作为关键字进行链上数据查询，另一个就是批量检索大量数据时，链码容器执行性能损耗低下，无法满足实时性批量检索数据需求。在区块历史溯源方面，fabric联盟链目前只能支持到通道级别的区块历史溯源来遍历所有的表(collection)检索指定条件下的关联记录。这样做的缺点在于，没法满足业务的多类别关键字组合检索。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于FABRIC的便于数据检索的联盟链系统，能够满足业务的多类别关键字组合检索。

为解决上述技术问题，本发明采用的技术方案是：一种基于FABRIC的便于数据检索的联盟链系统，包括1个排序节点和多个组织机构节点，每个组织机构包含1个CA节点和1个peer主节点，在每个peer节点上均配置有db插件，所述db插件配置在peer节点的共识层；所述db插件用于在peer节点的账本更新时在数据库中执行写操作，所述数据库中预先配置有状态表、区块表、块高表、交易表、合约表、节点表、有效读集表、无效读集表、有效范围读集表和无效范围读集表中的一种或多种；每个表上均配置有索引字段；

所述写操作包括根据peer节点的账本更新时的区块数据对状态表、区块表、块高表、交易表、合约表、节点表、有效读集表、无效读集表、有效范围读集表和无效范围读集表中的一种或多种进行更新；

对应每个peer节点配置有restful服务端接受外部请求；当所述服务端接收到外部查询请求时，所述db插件在数据库中执行读操作；所述查询请求中包含有索引字段；所述db插件根据查询请求中的索引字段访问数据库中对应的表调取对应的数据返回服务端。

上述基于FABRIC的便于数据检索的联盟链系统，所述服务端根据每个表上的索引字段配置有供用户进行选择的查询筛选条件。

上述基于FABRIC的便于数据检索的联盟链系统，所述db插件执行写操作更新有效读集表、无效读集表、有效范围读集表和无效范围读集表时，是通过在最终交易验证过程中db插件直接读取交易读写集，然后进行更新。

上述基于FABRIC的便于数据检索的联盟链系统，所述状态表用于记录当前联盟链最新世界状态数据,所述状态表中记录的世界状态数据和链上世界状态数据实时一致；所述状态表中的世界状态数据包括通道名、合约名、合约健、合约值。

上述基于FABRIC的便于数据检索的联盟链系统，所述db插件执行写操作更新状态表和区块表时，是通过在区块提交过程中，db插件读取区块元数据然后更新状态表和区块表。

上述基于FABRIC的便于数据检索的联盟链系统，所述db插件执行写操作更新合约表时，是通过在部署合约的操作过程中，所述db插件将合约名存储至合约表中。

本发明与现有技术相比具有以下优点：在现有fabric联盟链基础上，加入了db插件和服务端，为区块检索和链上数据富查询提供了更全面的检索机制和db区块回放重构机制；针对db插件而言，对比现有fabric联盟链提供的level db和counch db富查询机制，前者leveldb的问题在于查询手段有限，无法提供多关键字丰富查询组和机制，仅支持单个或若干个关键字[key]匹配下的json value记录检索；后者counch db对此限制提供了丰富的JSON富查询，可以使链码查询关键字搭配更为灵活，可以在链码基础上提供任意关键字组过滤的丰富查询过滤机制，对于链码检索而言，counch db可以解决前者面临的问题。但这两种机制只能针对链码数据做查询检索，无法提供完整的用户检索、区块、交易、历史和区块+存储储混合条件检索(如区块号>100且链码操作＝＝set zs.tms表方法的查询)。对于链码执行失败返回的情况，区块依然是有效的，链码逻辑判定用户权限不合格，因此不做上链操作----在这种情况下，传统的fabric联盟链只能通过直接调用链数据query方法，或者查询leveldb来检测记录是否存在，同时需要遍历所有区块号翻查相关db操作以验证是否发生过上链行为但操作失败等历史过程；通过在联盟链上使用db插件，这个问题就能被容易解决：db插件会在每个区块产出时直接拆分数据，将时间戳和区块明细、交易明细、状态等记录在db对应表中。并提供丰富的查询机制，用户可根据不同表的查询条件做关联检索，得到过滤条件下的关联记录。db插件目前采用mongodb实现，并提供了表间关联pipeline级联操作，结合服务端请求机制，为多通道业务系统检索提供高效快捷的检索机制。采用db插件直接访问数据缓存，避免了查链带来的数据开销，同时也保证了和联盟节点同时出块写链可以保持并发，并不阻塞数据查询过程。此外，db插件还提供了自我修复的功能，一旦数据库中的数据被损坏，它可以通过回放区块交易重塑数据库和业务链数据记录，在数据库恢复过程中，区块操作和数据写操作是保持并发互不干扰的，联盟节点一样可以使用基础Restful Api查询区块交易和链上数据，一旦数据库自我修复完成，服务端丰富查询接口即立即恢复使用。

本发明中服务端采用GO编写，整合了系统链码和区块基础操作，相对于现在的Fabric联盟链SDK而言，服务端提供了一套完整链操作、区块操作、数据上链、区块/交易检索等基础功能；在配合db插件的基础上，为现有的Fabric联盟链检索机制带来了更高效、便捷和灵活的链上数据查询机制。

综上所述，本发明通过设置db插件，可将区块数据分表存储，对具有多条通道的应用场景，可将多个通道上的块数据整合到一起存储，可以很好的为查询检索做好准备。通过设置服务端，可以直接对数据库中的数据进行查询，因每个db插件包含的数据库均独立存在于各自的peer节点上，使得数据查询可以非常快速与高效。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实施例的系统结构图。

图2为本发明实施例的流程图。

图3为本发明db插件的写操作的流程图。

具体实施方式

如图1所示，一种基于FABRIC的便于数据检索的联盟链系统，包括多个联盟组织，在每个联盟组织CA节点下的peer节点上均配置有db插件和Restful服务端，所述db插件配置在peer节点的共识层；所述db插件用于在peer节点的账本更新时在数据库中执行写操作，所述数据库中预先配置有状态表、区块表、块高表、交易表、合约表、节点表、有效读集表、无效读集表、有效范围读集表和无效范围读集表中的一种或多种；每个表上均配置有索引字段；

所述写操作包括根据peer节点的账本更新时的区块数据对db插件所构建的状态表、区块表、块高表、交易表、合约表、节点表、有效读集表、无效读集表、有效范围读集表和无效范围读集表中的一种或多种进行更新；

当所述Restful服务端接收到外部查询请求时，所述db插件在数据库中执行读操作；所述查询请求中包含有索引字段；所述db插件根据查询请求中的索引字段访问数据库中对应的表调取对应的数据返回服务端。

所述服务端根据每个表上的索引字段配置有供用户进行选择的查询筛选条件。

所述db插件执行写操作更新有效读集表、无效读集表、有效范围读集表和无效范围读集表时，是通过在最终交易验证过程中db插件直接读取交易读写集，然后进行更新。

所述db插件执行写操作更新状态表和区块表时，是通过在区块提交过程中，db插件读取区块元数据然后更新状态表和区块表。

所述状态表用于记录当前联盟链最新世界状态数据,所述状态表中记录的世界状态数据和链上世界状态数据实时一致；所述状态表中的世界状态数据包括通道名、合约名、合约健、合约值。

所述db插件执行写操作更新合约表时，是通过在部署合约的操作过程中，所述db插件将合约名存储至合约表中。

如图2所示，以一个具体流程对db插件的写操作进行详细说明。

Step1、Restful服务端收到链码invoke操作请求；发起背书提案请求；

Step2、Peer2/3/4等节点在接到交易提案时并进行验证，包括对交易提案的格式的验证、该交易以前是否被提交过、交易发送者的签名是否正确以及该发送者是否有权利去提交这笔交易等

Step3、交易提案验证通过后，peer节点构建智能合约执行环境链码容器，调用ESCC链码验证背书策略：验证读集ReadSet版本必须和链上世界状态数据版本一致；当本节点在背书要求节点内，则构建合约容器环境，并将交易发送给智能合约进行INVOKE调用隔离执行链码；执行完返回一个执行结果，peer节点并对这个返回结果进行签名(即背书)，然后返回给restful服务端；

Step4、当restful服务端收到足够多的背书签名后(根据交易背书策略而定)，将交易提案、背书结果和自己的签名组合起来成为一个交易TX，然后发送给排序节点进行排序；

Step5、排序节点接收网络中所有的交易然后按照规定好的排序逻辑进行排序打包，产生交易广播给各个组织的peer主节点；

Step6、各PEER节点调用内置系统VSCC链码验证读集和范围读写集版本有效性(有效性以读集数据是否和世界状态db对应数据版本严格一致来判断)；

Step7、VSCC链码向db插件发送写db插件表请求，携带参数读写集、范围读写集以及其验证结果；

Step8、db插件收到请求后，判断读写集验证结果是通过还是未通过；验证通过，则将读写集写入插件读有效读写集表，同时写入交易哈希，区块号等信息，同时将读写集作为增量操作更新入插件状态数据库；验证未通过，则将读写集写入无效读写集表，并不做插件状态表更新；范围读写集与读写集执行相同操作；

Step9、当peer节点提交账本并触发写账本操作后，账本ledger模块负责产生一条通知发送给db插件，db插件收到后，将完整区块写入区块表；区块表将记录所属通道号，区块号，当前时间戳，区块交易是否有效等字段。

参考图3所示，对db插件的写操作，进一步进行说明。

步骤一、db插件收到ledger模块的通知；

步骤二、获取当前区块链最新块高；

步骤三、获取块高表中最新块高；

步骤四、判断peer节点是否收到新到区块，并且块高表中的最新块高＝新区块的块号-1；若是，则进入步骤六，若否，则进入步骤五；

步骤五、顺序循环查找区块链中未登记到块高表中的区块，在找到未登记的区块后，在块高表中进行块号登记，并调用QSCC链码获取该区块进行区块解析，解析出该区块中的交易明细；然后进入步骤六；

步骤六、获取VSCC链码验证读写集、范围读写集，判断是否有效；若有效，则更新有效读写集、有效范围读写集，并更新状态表；若无效，则更新无效读集表、无效读写集表；

步骤七、读取TX交易明细，更新交易表，具体的写入TXID(哈希值)、通道名、合约名、合约方法、合约参数到交易表；

步骤八、将当前区块对应的合约方法名更新到合约表中；

步骤九、返回peer节点，判断当前db插件是否处于同步历史区块过程中，若是则将每个同步的历史区块写入区块表中，然后进入步骤二；若否，进入步骤十；

步骤十、peer节点将最新区块写入账本；

步骤十一、db插件将最新区块写入区块表，更新区块表。

需要说明的是，所述db插件和数据库之间的数据读取操作，采用mongodb的pipeline可以实现不同合约表和数据的范围查找，查找内容包括：合约表，合约方法查询，区块查询，有效/无效读写集查询，区块明细查询，时间段内区块查询等。查询方法可参考mongodb检索语法，此处不做详述。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (6)

1.一种基于FABRIC的便于数据检索的联盟链系统，包括多个CA节点，其特征在于：在每个CA节点下的peer节点上均配置有db插件，所述db插件配置在peer节点的共识层；所述db插件用于在peer节点的账本更新时在数据库中执行写操作，所述数据库中预先配置有状态表、区块表、块高表、交易表、合约表、节点表、有效读集表、无效读集表、有效范围读集表和无效范围读集表中的一种或多种；每个表上均配置有索引字段；

所述写操作包括根据peer节点的账本更新时的区块数据对状态表、区块表、块高表、交易表、合约表、节点表、有效读集表、无效读集表、有效范围读集表和无效范围读集表中的一种或多种进行更新；

对应每个CA节点配置有服务端；当所述服务端接收到外部查询请求时，所述db插件在数据库中执行读操作；所述查询请求中包含有索引字段；所述db插件根据查询请求中的索引字段访问数据库中对应的表调取对应的数据返回服务端。

2.按照权利要求1所述的一种基于FABRIC的便于数据检索的联盟链系统，其特征在于：所述服务端根据每个表上的索引字段配置有供用户进行选择的查询筛选条件。

3.按照权利要求1所述的一种基于FABRIC的便于数据检索的联盟链系统，其特征在于：所述db插件执行写操作更新有效读集表、无效读集表、有效范围读集表和无效范围读集表时，是通过在最终交易验证过程中db插件直接读取交易读写集，然后进行更新。

4.按照权利要求1所述的一种基于FABRIC的便于数据检索的联盟链系统，其特征在于：所述状态表用于记录当前联盟链最新世界状态数据,所述状态表中记录的世界状态数据和链上世界状态数据实时一致；所述状态表中的世界状态数据包括通道名、合约名、合约健、合约值。

5.按照权利要求1所述的一种基于FABRIC的便于数据检索的联盟链系统，其特征在于：所述db插件执行写操作更新状态表和区块表时，是通过在区块提交过程中，db插件读取区块元数据然后更新状态表和区块表。

6.按照权利要求1所述的一种基于FABRIC的便于数据检索的联盟链系统，其特征在于：所述db插件执行写操作更新合约表时，是通过在部署合约的操作过程中，所述db插件将合约名存储至合约表中。