CN109710680A - 一种区块链数据处理引擎及操作方法 - Google Patents
一种区块链数据处理引擎及操作方法 Download PDFInfo
- Publication number
- CN109710680A CN109710680A CN201811636085.7A CN201811636085A CN109710680A CN 109710680 A CN109710680 A CN 109710680A CN 201811636085 A CN201811636085 A CN 201811636085A CN 109710680 A CN109710680 A CN 109710680A
- Authority
- CN
- China
- Prior art keywords
- data processing
- block chain
- processing engine
- contract
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种区块链数据处理引擎及操作方法，区块链数据处理引擎用于提供用户撰写数据处理合约对链上数据以及按需进行计算。该引擎包括编码器、计算层、存储适配层和存储中心几个模块组成，其中编码器负责数据输入参数和执行结果的统一编解码；计算层负责对数据处理合约的解析和执行；适配层负责处理引擎与异构数据源之间的读写交互；存储中心主要负责数据处理合约存储、元数据存储以及安全规则的存储等。基于这套数据处理引擎本发明还提出了一套基于合约的数据操作方法，主要包括合约的部署、初始化、计算等关键步骤。本发明一种区块链数据处理引擎及操作方法能够突破传统智能合约的计算限制、提高对异构数据的综合处理能力。
Description
技术领域
本发明涉及区块链技术、数据处理、数据分析领域，尤其涉及一种区块链数据处理引擎及其操作方法。
背景技术
区块链技术，区块链是一种新型去中心化协议，能安全地存储数字货币交易或其他数据，信息不可伪造和篡改，区块链上的交易确认由区块链上的所有节点共同完成。智能合约是部署在区块链上的一段可自动执行的程序，广泛意义上的智能合约包含编程语言、编译器、虚拟机、事件、状态机、容错机制等。
区块链网络能够解决互联网络中不同个体之间的互信问题，当前区块链技术主要被运用在虚拟货币、金融资产数字化、医疗保险等关键信息交换场景。这种场景中的相关信息具有较高的价值。然而目前的区块链数据分析、处理只能通过内置的智能合约引擎进行。智能合约在数据处理领域的计算能力有限、且只能够接收链上数据。因此如何为区块链数据分析提供一个高效灵活的分析引擎需求日盛。
发明内容
本发明的目的是针对现有区块链数据分析能力的不足，提供了一种区块链数据处理引擎及其操作方法，该处理引擎能够支持灵活的数据分析合约的定制，并提供了异构数据源的融合计算能力。
本发明的目的是通过以下技术方案来实现的：一种区块链数据处理引擎，包括编码器、计算层、存储适配层和本地数据存储层；
所述编码器负责对数据处理引擎合约的参数、合约ID以及返回值编解码；
所述计算层包括编译器、执行器和扩展函数；该层负责对输入数据按照合约指定规则进行处理；
所述存储适配层用于数据处理引擎导入外部异构数据源，包括键值对、关系型和对象存储类型；
所述本地存储层负责本地数据的存储，包括元数据存储库、合约数据库和安全规则库。
进一步地，所述编码器的编码规则可以按照需求进行灵活控制。
进一步地，所述扩展函数包括数值计算、科学计算以及AI计算和用户自定义计算库。
一种区块链数据处理引擎的操作方法，具体包括如下步骤：
(1)所述的区块链数据处理引擎接收来自用户的数据处理合约，通过编码器转码之后将相应合约进行部署；
(2)所述的区块链数据处理引擎计算层在计算之前会进行虚拟机的初始化操作，该初始化步骤会将本次计算所需的合约字节码及其扩展函数加载到虚拟机中；
(3)所述的计算层虚拟机按照合约字节码依次解析执行计算；
(4)所述的区块链处理引擎将处理结果转交给编码器统一编码；
(5)所述的区块链处理引擎将编码结果返回。
进一步地，所述步骤(3)中，计算层在进行解析执行计算时支持对区块链外异构数据源数据进行导入融合计算。
进一步地，所述所述步骤(3)中，计算层虚拟机执行支持多协程并行计算。
本发明的有益效果如下：
本发明的一种区块链数据处理引擎及操作方法，为区块链使用者提供了一种高度灵活的数据处理引擎。该引擎支持基本的数值计算、科学计算、AI计算以及用户自定义计算计算模型。该引擎还支持对链上数据以及链外异构数据进行融合计算。本发明的区块链数据处理引擎及操作方法解决了传统区块链自身数据处理能力不足的问题，引入外部异构数据源的融合计算为基于区块链的人工智能提供了基础的计算平台。
附图说明
图1是一种区块链数据处理引擎的架构示意图；
图2是一种区块链数据处理引擎的操作方法示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种区块链数据处理引擎，包括编码器、计算层、存储适配层和本地数据存储层；
所述编码器负责对数据处理引擎合约的参数、合约ID以及返回值编解码；
所述计算层包括编译器、执行器和扩展函数；该层负责对输入数据按照合约指定规则进行处理；
所述存储适配层用于数据处理引擎导入外部异构数据源，包括键值对、关系型和对象存储类型；
所述本地存储层负责本地数据的存储，包括元数据存储库、合约数据库和安全规则库。
进一步地，所述编码器的编码规则可以按照需求进行灵活控制。
进一步地，所述扩展函数包括数值计算、科学计算以及AI计算和用户自定义计算库。
一种区块链数据处理引擎的操作方法，具体包括如下步骤：
(1)所述的区块链数据处理引擎接收来自用户的数据处理合约，通过编码器转码之后将相应合约进行部署；
(2)所述的区块链数据处理引擎计算层在计算之前会进行虚拟机的初始化操作，该初始化步骤会将本次计算所需的合约字节码及其扩展函数加载到虚拟机中；
(3)所述的计算层虚拟机按照合约字节码依次解析执行计算；
(4)所述的区块链处理引擎将处理结果转交给编码器统一编码；
(5)所述的区块链处理引擎将编码结果返回。
进一步地，所述步骤(3)中，计算层在进行解析执行计算时支持对区块链外异构数据源数据进行导入融合计算。
进一步地，所述所述步骤(3)中，计算层虚拟机执行支持多协程并行计算。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (6)
1.一种区块链数据处理引擎，其特征在于，包括编码器、计算层、存储适配层和本地数据存储层；
所述编码器负责对数据处理引擎合约的参数、合约ID以及返回值编解码。
所述计算层包括编译器、执行器和扩展函数；该层负责对输入数据按照合约指定规则进行处理。
所述存储适配层用于数据处理引擎导入外部异构数据源，包括键值对、关系型和对象存储类型。
所述本地存储层负责本地数据的存储，包括元数据存储库、合约数据库和安全规则库。
2.根据权利要求1所述的区块链数据处理引擎，其特征在于，所述编码器的编码规则可以按照需求进行灵活控制。
3.根据权利要求1所述的区块链数据处理引擎，其特征在于，所述扩展函数包括数值计算、科学计算以及AI计算和用户自定义计算库。
4.一种基于权利要求1所述的区块链数据处理引擎的操作方法，其特征在于，具体包括如下步骤：
(1)所述的区块链数据处理引擎接收来自用户的数据处理合约，通过编码器转码之后将相应合约进行部署。
(2)所述的区块链数据处理引擎计算层在计算之前会进行虚拟机的初始化操作，该初始化步骤会将本次计算所需的合约字节码及其扩展函数加载到虚拟机中。
(3)所述的计算层虚拟机按照合约字节码依次解析执行计算。
(4)所述的区块链处理引擎将处理结果转交给编码器统一编码。
(5)所述的区块链处理引擎将编码结果返回。
5.根据权利要求4所述的区块链数据处理引擎的操作方法，其特征在于，所述步骤(3)中，计算层在进行解析执行计算时支持对区块链外异构数据源数据进行导入融合计算。
6.根据权利要求4所述的区块链数据处理引擎的操作方法，其特征在于，所述所述步骤(3)中，计算层虚拟机执行支持多协程并行计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811636085.7A CN109710680A (zh) | 2018-12-29 | 2018-12-29 | 一种区块链数据处理引擎及操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811636085.7A CN109710680A (zh) | 2018-12-29 | 2018-12-29 | 一种区块链数据处理引擎及操作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109710680A true CN109710680A (zh) | 2019-05-03 |
Family
ID=66259537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811636085.7A Pending CN109710680A (zh) | 2018-12-29 | 2018-12-29 | 一种区块链数据处理引擎及操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109710680A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532038A (zh) * | 2019-08-19 | 2019-12-03 | 杭州趣链科技有限公司 | 一种基于Java智能合约的并行执行方法 |
| CN110544092A (zh) * | 2019-08-22 | 2019-12-06 | 杭州趣链科技有限公司 | 一种区块链的动态新增多类型数据库数据操作上链方法 |
| CN110675256A (zh) * | 2019-08-30 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 部署和执行智能合约的方法及装置 |
| CN111095198A (zh) * | 2019-06-28 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 用于数据处理的系统和方法 |
| CN111133733A (zh) * | 2019-06-21 | 2020-05-08 | 阿里巴巴集团控股有限公司 | 用于基于云平台的自动区块链部署的方法和系统 |
| CN111414408A (zh) * | 2020-03-11 | 2020-07-14 | 成都数融科技有限公司 | 基于区块链的数据可信表示的方法及装置 |
| US10783082B2 (en) | 2019-08-30 | 2020-09-22 | Alibaba Group Holding Limited | Deploying a smart contract |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101094173A (zh) * | 2007-06-28 | 2007-12-26 | 上海交通大学 | 分布式异构环境下的数据交换集成系统 |
| US20170091397A1 (en) * | 2012-01-26 | 2017-03-30 | Netspective Communications Llc | Device-driven non-intermediated blockchain system over a social integrity network |
| CN106777101A (zh) * | 2016-12-14 | 2017-05-31 | 深圳天源迪科信息技术股份有限公司 | 数据处理引擎 |
| CN108681569A (zh) * | 2018-05-04 | 2018-10-19 | 亚洲保理（深圳）有限公司 | 一种数据自动分析系统及其方法 |
-
2018
- 2018-12-29 CN CN201811636085.7A patent/CN109710680A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101094173A (zh) * | 2007-06-28 | 2007-12-26 | 上海交通大学 | 分布式异构环境下的数据交换集成系统 |
| US20170091397A1 (en) * | 2012-01-26 | 2017-03-30 | Netspective Communications Llc | Device-driven non-intermediated blockchain system over a social integrity network |
| CN106777101A (zh) * | 2016-12-14 | 2017-05-31 | 深圳天源迪科信息技术股份有限公司 | 数据处理引擎 |
| CN108681569A (zh) * | 2018-05-04 | 2018-10-19 | 亚洲保理（深圳）有限公司 | 一种数据自动分析系统及其方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHI_QINFENG: "以太坊智能合约字节码深入解析", 《HTTPS://WWW.JIANSHU.COM/P/230C6D805560》 * |
| SHI_QINFENG: "以太坊的ABI编码", 《HTTPS://WWW.JIANSHU.COM/P/E8263BDB7DCF》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111133733A (zh) * | 2019-06-21 | 2020-05-08 | 阿里巴巴集团控股有限公司 | 用于基于云平台的自动区块链部署的方法和系统 |
| CN111095198A (zh) * | 2019-06-28 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 用于数据处理的系统和方法 |
| CN111095198B (zh) * | 2019-06-28 | 2023-06-30 | 创新先进技术有限公司 | 用于数据处理的系统和方法 |
| CN110532038A (zh) * | 2019-08-19 | 2019-12-03 | 杭州趣链科技有限公司 | 一种基于Java智能合约的并行执行方法 |
| CN110544092A (zh) * | 2019-08-22 | 2019-12-06 | 杭州趣链科技有限公司 | 一种区块链的动态新增多类型数据库数据操作上链方法 |
| CN110544092B (zh) * | 2019-08-22 | 2022-04-01 | 杭州趣链科技有限公司 | 一种区块链的动态新增多类型数据库数据操作上链方法 |
| CN110675256A (zh) * | 2019-08-30 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 部署和执行智能合约的方法及装置 |
| US10783082B2 (en) | 2019-08-30 | 2020-09-22 | Alibaba Group Holding Limited | Deploying a smart contract |
| US11010303B2 (en) | 2019-08-30 | 2021-05-18 | Advanced New Technologies Co., Ltd. | Deploying a smart contract |
| US11307990B2 (en) | 2019-08-30 | 2022-04-19 | Advanced New Technologies Co., Ltd. | Deploying a smart contract |
| CN111414408A (zh) * | 2020-03-11 | 2020-07-14 | 成都数融科技有限公司 | 基于区块链的数据可信表示的方法及装置 |
| CN111414408B (zh) * | 2020-03-11 | 2023-08-01 | 成都数融科技有限公司 | 基于区块链的数据可信表示的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109710680A (zh) | 一种区块链数据处理引擎及操作方法 | |
| JP6966474B2 (ja) | デジタル資産のモデリング | |
| CA3184440A1 (en) | Training a machine learning system for transaction data processing | |
| CN107025559A (zh) | 一种业务处理方法及装置 | |
| US11481412B2 (en) | Data integration and curation | |
| CN107688487A (zh) | 用于恢复数据库会话的状态的方法和系统 | |
| CN108038646A (zh) | 一种散杂货港口堆场智能调度系统 | |
| Gai et al. | Secure cyber incident analytics framework using Monte Carlo simulations for financial cybersecurity insurance in cloud computing | |
| CN104572260B (zh) | 用于实现事务内存区域提升的代码版本控制的方法和设备 | |
| CN108958729A (zh) | 一种数据处理方法、装置及存储介质 | |
| CN109522742A (zh) | 一种计算机大数据的批处理方法 | |
| CN108595276A (zh) | 业务逻辑的处理方法、系统、计算机设备和存储介质 | |
| CN109669931A (zh) | 历史数据异常分析方法、系统、设备及存储介质 | |
| US20200183668A1 (en) | System for code analysis by stacked denoising autoencoders | |
| Amaral et al. | Ml-based compliance verification of data processing agreements against gdpr | |
| AU2020377394B2 (en) | Hierarchical deep neural network forecasting of cashflows with linear algebraic constraints | |
| US20210004738A1 (en) | Use of service pattern identifier in augmentation of service catalog | |
| Kratz et al. | Pillars for Establishing a Durable and Future-Proof IT Architecture Maturing Along with the NSC: Approaches from Continuous Integration to Service Mesh | |
| Benyagoub et al. | Formal design of scalable conversation protocols using Event‐B: Validation, experiments, and benchmarks | |
| Cantenot et al. | Test generation with Satisfiability Modulo Theories solvers in model‐based testing | |
| Liu et al. | Vite: A high performance asynchronous decentralized application platform | |
| US10990887B1 (en) | Anything-but matching using finite-state machines | |
| Matthes | Business conversations: A high-level system model for agent coordination | |
| US12008348B2 (en) | Smart contract compiler | |
| CN102566536A (zh) | 系统流程控制设备和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |