CN113868711A - 一种数据联邦存储方法、查询方法及系统 - Google Patents

一种数据联邦存储方法、查询方法及系统 Download PDF

Info

Publication number
CN113868711A
CN113868711A CN202111026753.6A CN202111026753A CN113868711A CN 113868711 A CN113868711 A CN 113868711A CN 202111026753 A CN202111026753 A CN 202111026753A CN 113868711 A CN113868711 A CN 113868711A
Authority
CN
China
Prior art keywords
data
request
uplink
query
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111026753.6A
Other languages
English (en)
Inventor
周秀耐
陈�光
田丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GRG Banking Equipment Co Ltd
Original Assignee
GRG Banking Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GRG Banking Equipment Co Ltd filed Critical GRG Banking Equipment Co Ltd
Priority to CN202111026753.6A priority Critical patent/CN113868711A/zh
Publication of CN113868711A publication Critical patent/CN113868711A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805—Real-time

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据联邦存储方法、查询方法及系统，其数据联邦存储方法包括利用SQL接入单元接收数据写入或更新请求，对请求进行解析后分发至计算集群中进行计算；利用计算集群中的各节点控制对应的上链处理单元分别将待上链列表中的加密数据进行上链以实现基于区块链的数据更新存储操作；其数据联邦查询方法，包括利用SQL接入单元接收数据查询请求，对查询请求进行解析后分发至计算集群中进行计算；利用计算集群中的各节点分别从区块链中获取对应数据后，并行对数据进行统计和计算，并汇聚计算结果返回至SQL接入单元。本发明解决数据联邦过程中数据新增、更新场景，提高数据安全性以及提高硬件针对性扩展，可适用更广泛的数据源进行数据联邦。

Description

一种数据联邦存储方法、查询方法及系统
技术领域
本发明设计分布式数据库领域，尤其涉及一种数据联邦存储方法、查询方法及系统。
背景技术
目前，传统的数据联邦方式数据更新必须制定确定的数据源进行存储更新，无法实现去中心化，使得更新过程中存在单点故障导致数据丢失等系列问题，往往仅用于数据联邦查询场景，难以很好的解决数据联邦过程中的数据新增，更新场景。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种数据联邦存储方法，解决上述数据联邦过程中数据新增、更新场景，提高数据安全性以及提高硬件针对性扩展，可适用更广泛的数据源进行数据联邦。
本发明的目的之二在于提供一种数据联邦查询方法。
本发明的目的之三在于提供一种数据联邦处理系统。
本发明的目的之四在于提供一种电子设备。
本发明的目的之五在于提供一种计算机存储介质。
本发明的目的之一采用如下技术方案实现：
一种数据联邦存储方法，包括：
利用SQL接入单元接收数据写入或更新请求，对请求进行解析后分发至计算集群中进行计算；
利用计算集群中对应节点所配置的上链处理单元分别将待上链列表中的加密数据进行上链以实现基于区块链的数据更新存储操作。
进一步地，将加密数据添加至待上链列表的方法为：
利用上链处理单元扫描检测未上链数据源的元数据信息或数据信息以监测元数据变化或数据变化；
将发生变化且需要上链的元数据或数据进行加密处理以获得加密后的上链数据，并将加密后的上链数据添加至待上链列表中。
进一步地，每个数据源均对应有一个上链处理单元，每个上链处理单元在每次循环中执行至少一次扫描检测操作。
本发明的目的之二采用如下技术方案实现：
一种数据联邦查询方法，包括：
利用SQL接入单元接收数据查询请求，对查询请求进行解析后分发至计算集群中进行计算；
利用计算集群中的各节点分别从区块链中获取对应数据后，并行对数据进行统计和计算，并汇聚计算结果返回至SQL接入单元中中以完成查询操作。
进一步地，从区块链中获取数据的方法为：
利用区块链对数据添加及修改形成记账请求并广播，使计算集群中各节点接收区块链的广播信息以从区块链中获取数据。
本发明的目的之三采用如下技术方案实现：
一种数据联邦处理系统，执行如上述的数据联邦存储方法或数据联邦查询方法，其系统包括：
SQL接入单元，用于接收请求，并对请求进行解析并分发至计算集群中；并用于接收并返回查询结果；其中，请求包括写入请求、修改请求或查询请求；
计算集群，用于对解析后的请求进行计算以根据计算结果控制计算集群中对应节点所配置的单元执行对应操作；
查询单元，用于从区块链中获取查询数据，并将查询数据返回至SQL接入单元中；
上链处理单元，用于获取待上链数据并将数据进行上链和广播。
进一步地，还包括：
数据监测单元，用于在每次循环中对未上链数据源的元数据信息或者数据信息进行扫描检测。
本发明的目的之四采用如下技术方案实现：
一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的数据联邦存储方法或如上述的数据联邦查询方法。
本发明的目的之五采用如下技术方案实现：
一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述的数据联邦存储方法或如上述的数据联邦查询方法。
相比现有技术，本发明的有益效果在于：
采用计算和存储分离方式提高数据库硬件的扩展能力，同时，基于区块链对更新或修改的数据进行上链，使得数据不可篡改，提高了共享数据的安全性和可信度；基于区块链方式实现去中心化，无需确定的数据源进行存储，由在线数据源节点主动负担记录，同时上链的数据具有多个副本，不存在传统机器故障导致的，数据丢失，单点故障问题。
附图说明
图1为本发明数据联邦处理系统的模块示意框图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
本实施例提供一种数据联邦存储方法，本方法较传统数据库存储方案可更容易实现硬件的针对性扩展，具有更为安全的数据保证体系，更容易满足数据新增，更新的需求，对数据更新方案具有全面的完善方案，同时适用更广泛的数据源进行数据联邦。
本实施例的数据联邦存储方法具体包括如下步骤：
步骤S1：利用SQL接入单元接收数据写入或更新请求，对请求进行解析后分发至计算集群中进行计算；
步骤S2：利用计算集群中对应节点所配置的上链处理单元分别将待上链列表中的加密数据进行上链以实现基于区块链的数据更新存储操作。
本实施例中每个数据源分组对应一个上链处理单元，其上链处理单元用于对需要上链的数据进行上链处理，从而将数据上链至区块链中进行存储。
本实施例中每个上链处理单元在每次循环中执行至少一次扫描检测操作，通过上链处理单元的扫描检测操作监测每个数据源的元数据变化以及数据变化，当元数据及数据发生变化且该元数据及数据类型为需要上链的数据时，即可将发生变化的元数据或数据添加至待上链列表中；若发生变化的数据的类型为不需要上链的数据时，则可将其数据进行忽略。当待上链列表不为空时，即可向SQL接入单元发送数据写入或更新请求；此外，当用户执行刷新操作时，也可生成数据写入或更新请求并将请求发送至SQL接入单元中。
所述SQL接入单元接收到数据写入或更新请求时，需要先对请求进行解析，并分发给计算集群中；本实施例采用独立的计算集群，可使计算和存储分离，计算集群依赖系统CPU、GPU对资源进行计算，而存储则依赖IO接口性能，本实施例将计算和存储分离，可单独分别对硬件进行优化升级，提高硬件扩展性。
计算集群中的每个节点各自计算后，各节点分别控制对应的上链单元将待上链列表中的元数据或数据进行加密处理后进行上链；其数据加密过程也可在数据添加至待上链列表时进行；经过加密后的数据进行上链，使得数据共享安全性提高，基于区块链方式实现去中心化，无需确定的数据源进行存储，由在线数据源节点主动负担记录，同时上链的数据具有多个副本，不存在传统机器故障导致的，数据丢失，单点故障问题。其中，计算集群中每个节点的计算是由被联邦的现有的异构计算存储节点完成的，属于现有技术，在此不对其计算过程进行详细描述。
将需要上链的写入或更新的数据上链至区块链后，区块链对数据添加及修改形成记载请求并广播。
实施例二
本实施例提供一种数据联邦查询方法，该方法是在实施例一所述的数据联邦存储方法的基础上实现数据查询功能，其查询方法具体包括如下步骤：
步骤S3：利用SQL接入单元接收数据查询请求，对查询请求进行解析后分发至计算集群中进行计算；
步骤S4：利用计算集群中的各节点分别从区块链中获取对应数据后，并行对数据进行统计和计算，并汇聚计算结果返回至SQL接入单元中。
如实施例一所述的数据联邦存储方法可将添加及修改的元数据或数据上链至区块链中，并利用区块链对数据添加及修改形成记账请求并广播，因此，本实施例计算集群中各节点经过计算后接收区块链的广播信息，实现从区块链中获取数据，各节点并行对数据进行统计和计算，最终各节点将统计结果汇聚在一起后统一返回至SQL接入单元中，使得SQL接入单元可将数据返回至查询查观看，从而完成查询功能。
实施例三
本实施例提供一种数据联邦处理系统，该系统执行如实施例一所述的数据联邦存储方法或如实施例二所述的数据联邦查询方法，系统包括：
SQL接入单元，用于接收请求，并对请求进行解析并分发至计算集群中；并用于接收并返回查询结果；其中，请求包括写入请求、修改请求或查询请求；
计算集群，用于对解析后的请求进行计算以根据计算结果控制计算集群中对应节点所配置的单元执行对应操作；
查询单元，用于从区块链中获取查询数据，并将查询数据返回至SQL接入单元中；
上链处理单元，用于获取待上链数据并将数据进行上链和广播。
此外，本实施例系统还包括数据监测单元，用于在每次循环中对未上链数据源的元数据信息或者数据信息进行扫描检测，并将检测所得的待上链的数据添加至待上链列表中，使得上链处理单元可从待上链列表中读取上链数据并将其上链至区块链中进行存储。
实施例四
本实施例提供一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一所述的数据联邦存储方法或实施例二所述的数据联邦查询方法；另外，本实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现实施例一所述的数据联邦存储方法或实施例二所述的数据联邦查询方法。
本实施例中的设备及存储介质与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施例中的设备的结构及实施过程，为了说明书的简洁，在此就不再赘述。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (9)

1.一种数据联邦存储方法，其特征在于，包括：
利用SQL接入单元接收数据写入或更新请求，对请求进行解析后分发至计算集群中进行计算；
利用计算集群中对应节点所配置的上链处理单元分别将待上链列表中的加密数据进行上链以实现基于区块链的数据更新存储操作。
2.根据权利要求1所述的数据联邦存储方法，其特征在于，将加密数据添加至待上链列表的方法为：
利用上链处理单元扫描检测未上链数据源的元数据信息或数据信息以监测元数据变化或数据变化；
将发生变化且需要上链的元数据或数据进行加密处理以获得加密后的上链数据，并将加密后的上链数据添加至待上链列表中。
3.根据权利要求2所述的数据联邦存储方法，其特征在于，每个数据源均对应有一个上链处理单元，每个上链处理单元在每次循环中执行至少一次扫描检测操作。
4.一种数据联邦查询方法，其特征在于，包括：
利用SQL接入单元接收数据查询请求，对查询请求进行解析后分发至计算集群中进行计算；
利用计算集群中的各节点分别从区块链中获取对应数据后，并行对数据进行统计和计算，并汇聚计算结果返回至SQL接入单元中以完成查询操作。
5.根据权利要求4所述的数据联邦查询方法，其特征在于，从区块链中获取数据的方法为：
利用区块链对数据添加及修改形成记账请求并广播，使计算集群中各节点接收区块链的广播信息以从区块链中获取数据。
6.一种数据联邦处理系统，其特征在于，执行如权利要求1～3任意一项所述的数据联邦存储方法或如权利要求4～5所述的数据联邦查询方法，其系统包括：
SQL接入单元，用于接收请求，并对请求进行解析并分发至计算集群中；并用于接收并返回查询结果；其中，请求包括写入请求、修改请求或查询请求；
计算集群，用于对解析后的请求进行计算以根据计算结果控制计算集群中对应节点所配置的单元执行对应操作；
查询单元，用于从区块链中获取查询数据，并将查询数据返回至SQL接入单元中；
上链处理单元，用于获取待上链数据并将数据进行上链和广播。
7.根据权利要求6所述的数据联邦系统，其特征在于，还包括：
数据监测单元，用于在每次循环中对未上链数据源的元数据信息或者数据信息进行扫描检测。
8.一种电子设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～3任一所述的数据联邦存储方法或如权利要求4～5任一所述的数据联邦查询方法。
9.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1～3任一所述的数据联邦存储方法或如权利要求4～5任一所述的数据联邦查询方法。
CN202111026753.6A 2021-09-02 2021-09-02 一种数据联邦存储方法、查询方法及系统 Pending CN113868711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111026753.6A CN113868711A (zh) 2021-09-02 2021-09-02 一种数据联邦存储方法、查询方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111026753.6A CN113868711A (zh) 2021-09-02 2021-09-02 一种数据联邦存储方法、查询方法及系统

Publications (1)

Publication Number Publication Date
CN113868711A true CN113868711A (zh) 2021-12-31

Family

ID=78989289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111026753.6A Pending CN113868711A (zh) 2021-09-02 2021-09-02 一种数据联邦存储方法、查询方法及系统

Country Status (1)

Country Link
CN (1) CN113868711A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721832A (zh) * 2022-05-12 2022-07-08 北京溪塔科技有限公司 一种区块链节点的初始化方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721832A (zh) * 2022-05-12 2022-07-08 北京溪塔科技有限公司 一种区块链节点的初始化方法及装置

Similar Documents

Publication Publication Date Title
CN107800787B (zh) 一种分布式大数据实时交换共享的计算机网络系统
US20200210398A1 (en) Technique of comprehensively support autonomous json document object (ajd) cloud service
US7590668B2 (en) Pausable backups of file system items
US20200301961A1 (en) Image retrieval method and apparatus, system, server, and storage medium
CN103793284B (zh) 基于共同序列模式的、用于智能客户服务的分析系统和方法
US8819064B2 (en) Method and system for data provenance management in multi-layer systems
US11321158B2 (en) Clustering of structured log data by key schema
US11176110B2 (en) Data updating method and device for a distributed database system
CN108595664B (zh) 一种hadoop环境下的农业数据监控方法
KR20150076227A (ko) 위치 정보를 가진 데이터 프로파일링
EP4390696A2 (en) Method and system for the on-demand generation of graph-like models out of multidimensional observation data
CN103425734A (zh) 用于存储编码三元组的数据库控制器、方法及系统
EP3251033B1 (en) Hybrid data distribution in a massively parallel processing architecture
KR20190020105A (ko) 스트리밍 데이터의 분배 처리 방법 및 디바이스
CN111563130A (zh) 一种基于区块链技术的数据可信数据治理方法和系统
EP3794487A1 (en) Obfuscation and deletion of personal data in a loosely-coupled distributed system
Chen et al. Optimization of sub-query processing in distributed data integration systems
US11734235B2 (en) Automatic drift detection and handling
US8260761B2 (en) Detecting performance degrading design and algorithm issues in database applications
CN111046022A (zh) 一种基于大数据技术的数据库审计方法
US20180121532A1 (en) Data table partitioning management method and apparatus
CN113868711A (zh) 一种数据联邦存储方法、查询方法及系统
Dietrich et al. Ros meets cassandra: Data management in smart environments with nosql
Chen et al. Data management at huawei: Recent accomplishments and future challenges
US20040111706A1 (en) Analysis of latencies in a multi-node system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination