CN106934302B - 一种数据有效性检验方法 - Google Patents

一种数据有效性检验方法 Download PDF

Info

Publication number
CN106934302B
CN106934302B CN201611206495.9A CN201611206495A CN106934302B CN 106934302 B CN106934302 B CN 106934302B CN 201611206495 A CN201611206495 A CN 201611206495A CN 106934302 B CN106934302 B CN 106934302B
Authority
CN
China
Prior art keywords
data set
data
metadata
cluster nodes
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611206495.9A
Other languages
English (en)
Other versions
CN106934302A (zh
Inventor
林殷
徐凤桐
李垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Star Map Co ltd
Original Assignee
Zhongke Star Map Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Star Map Co ltd filed Critical Zhongke Star Map Co ltd
Priority to CN201611206495.9A priority Critical patent/CN106934302B/zh
Publication of CN106934302A publication Critical patent/CN106934302A/zh
Application granted granted Critical
Publication of CN106934302B publication Critical patent/CN106934302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Abstract

本发明涉及一种数据有效性检验方法，在生成数据集的各集群节点上对所述数据集的完整性进行验证；将数据集及其元数据一并发送至各集群节点的数据提交区；在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回给用户。

Description

一种数据有效性检验方法
【技术领域】
本发明致力于数据安全访问，通过对数据进行分布式验证，而保证数据验证的安全性和完备性，最终将完整且正确的数据返回给用户。
【背景技术】
在现有的数据同步过程中，分布式系统采用多个分布式客户端以文件共享方式向中央服务器导入数据，再在服务器端对数据的有效性或完整性进行判断，如果服务器端的安全性或性能遭遇危机，则不能保证最终获得正确、完整的数据结果。这样的方案不仅成本大、效率低下，且安全性和可靠性不能得到保证。因此，本申请提出以下方案。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种数据有效性检验方法。
本发明采用的技术方案如下：
一种数据有效性检验方法，其特征在于，包括：
在生成数据集的各集群节点上对所述数据集的完整性进行验证；若验证所述数据集为完整的，则获取所述数据集，并生成数据集对应的元数据，将数据集及其元数据一并发送至各集群节点的数据提交区；
如果至少两个集群节点上生成的数据集之间具有逻辑关联关系，则在所述至少两个集群节点之间共享其各自拥有的数据集及其元数据；
在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验；
当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回给用户。
优选地，所述在数据集所在集群节点上对所述数据集的完整性进行验证包括：对生成数据集的集群节点进行问询，当获取到完整标记时，验证所述数据集为完整的；或者当接收到所述生成数据集的集群节点生成数据集的集群节点提交的完整标记时，验证所述数据集为完整的；其中所述完整标记是由所述生成数据集的集群节点生成数据集的集群节点在所述数据集生成完成之后产生的。
优选地，合并所述至少两个集群节点中的元数据形成元数据总表，依照所述元数据总表对数据集合进行校验包括：
在所述至少两个集群节点中的每个集群节点上根据合并生成的元数据总表对数据集合进行分片，然后对每个分片进行校验并得到校验和，合并各个分片对应的校验和产生总校验结果，如果在所述至少两个集群节点中的每个集群节点上的总校验结果相同，则数据集合通过校验。
本发明的有益效果包括：在不改变任何原有系统的前提下，通过建立一种分离式多路访问的分布式数据验证方式，对数据进行分布式验证，而保证数据验证的安全性和完备性。同时允许用户自定义数据验证方式，最终将验证的结果数据返回给对应的用户。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中；
图1是本发明方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，一种数据有效性检验方法，首先，在生成数据集的各集群节点上对所述数据集的完整性进行验证；若验证所述数据集为完整的，则获取所述数据集，并生成数据集对应的元数据，将数据集及其元数据一并发送至各集群节点的数据提交区。
优选地，所述在数据集所在集群节点上对所述数据集的完整性进行验证，包括：对生成数据集的集群节点进行问询，当获取到完整标记时，验证所述数据集为完整的；或者当接收到所述生成数据集的集群节点生成数据集的集群节点提交的完整标记时，验证所述数据集为完整的；其中所述完整标记是由所述生成数据集的集群节点生成数据集的集群节点在所述数据集生成完成之后产生的。
如果至少两个集群节点上生成的数据集之间具有逻辑关联关系，则在所述至少两个集群节点之间共享其各自拥有的数据集及其元数据。
在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验。
合并所述至少两个集群节点中的元数据形成元数据总表，依照所述元数据总表对数据集合进行校验包括：
在所述至少两个集群节点中的每个集群节点上根据合并生成的元数据总表对数据集合进行分片，然后对每个分片进行校验并得到校验和，合并各个分片对应的校验和产生总校验结果，如果在所述至少两个集群节点中的每个集群节点上的总校验结果相同，则数据集合通过校验。
当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回给用户。
其中，可以根据压缩格式对数据集进行过滤，以过滤掉无效数据。例如，校验源数据(数据文件)，排除不符合指定压缩格式的文件，如任务log日志文件等非数据的文件，从而排除不必要的数据量，以降低系统负担。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (3)

1.一种数据有效性检验方法，其特征在于，包括：
在生成数据集的各集群节点上对所述数据集的完整性进行验证；若验证所述数据集为完整的，则获取所述数据集，并生成数据集对应的元数据，将数据集及其元数据一并发送至各集群节点的数据提交区；
如果至少两个集群节点上生成的数据集之间具有逻辑关联关系，则在所述至少两个集群节点之间共享其各自拥有的数据集及其元数据；
在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验；
当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回给用户。
2.根据权利要求1所述的方法，其特征在于，所述在生成数据集的各集群节点上对所述数据集的完整性进行验证，包括：对生成数据集的集群节点进行问询，当获取到完整标记时，验证所述数据集为完整的；或者当接收到所述生成数据集的集群节点提交的完整标记时，验证所述数据集为完整的；其中所述完整标记是由所述生成数据集的集群节点在所述数据集生成完成之后产生的。
3.根据权利要求1所述的方法，合并所述至少两个集群节点中的元数据形成元数据总表，依照所述元数据总表对数据集合进行校验包括：
在所述至少两个集群节点中的每个集群节点上根据合并生成的元数据总表对数据集合进行分片，然后对每个分片进行校验并得到校验和，合并各个分片对应的校验和产生总校验结果，如果在所述至少两个集群节点中的每个集群节点上的总校验结果相同，则数据集合通过校验。
CN201611206495.9A 2016-12-23 2016-12-23 一种数据有效性检验方法 Active CN106934302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611206495.9A CN106934302B (zh) 2016-12-23 2016-12-23 一种数据有效性检验方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611206495.9A CN106934302B (zh) 2016-12-23 2016-12-23 一种数据有效性检验方法

Publications (2)

Publication Number Publication Date
CN106934302A CN106934302A (zh) 2017-07-07
CN106934302B true CN106934302B (zh) 2021-07-13

Family

ID=59444645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611206495.9A Active CN106934302B (zh) 2016-12-23 2016-12-23 一种数据有效性检验方法

Country Status (1)

Country Link
CN (1) CN106934302B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598467A (zh) * 2019-07-31 2019-12-20 北京大学 一种内存数据块完整性检验方法
CN111200609B (zh) * 2020-01-02 2022-08-12 苏州盛科通信股份有限公司 一种INT Metadata数据处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645038A (zh) * 2009-05-20 2010-02-10 中国科学院声学研究所 基于彼特森的网络存储结构的数据存储方法
CN102281321A (zh) * 2011-04-25 2011-12-14 程旭 云存储分割与备份数据的方法及装置
CN102523205A (zh) * 2011-12-05 2012-06-27 中兴通讯股份有限公司 内容校验和的确定方法及装置
CN103535014A (zh) * 2013-04-23 2014-01-22 华为技术有限公司 一种网络存储系统、数据处理方法和客户端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645038A (zh) * 2009-05-20 2010-02-10 中国科学院声学研究所 基于彼特森的网络存储结构的数据存储方法
CN102281321A (zh) * 2011-04-25 2011-12-14 程旭 云存储分割与备份数据的方法及装置
CN102523205A (zh) * 2011-12-05 2012-06-27 中兴通讯股份有限公司 内容校验和的确定方法及装置
CN103535014A (zh) * 2013-04-23 2014-01-22 华为技术有限公司 一种网络存储系统、数据处理方法和客户端

Also Published As

Publication number Publication date
CN106934302A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
US11726875B1 (en) Verifying revision levels while storing data in a storage network
US9749419B2 (en) Check operation dispersed storage network frame
US9183073B2 (en) Maintaining data concurrency with a dispersed storage network
US10452836B2 (en) Retrieving a hypertext markup language file from a dispersed storage network memory
US9152489B2 (en) Revision synchronization of a dispersed storage network
US10255135B2 (en) Method and apparatus for non-interactive information dispersal
CN112532396A (zh) 一种基于聚合签名的优化拜占庭容错方法及存储介质
CN106934302B (zh) 一种数据有效性检验方法
TW202044086A (zh) 檔案驗證方法、檔案驗證系統與檔案驗證伺服器
CN112597241A (zh) 一种基于区块链的分布式数据库存储方法及系统
CN112131609A (zh) 基于Merkle树的电能质量数据交换格式文件完整性校验方法及系统
CN103605768A (zh) 一种提高存储系统间海量文件同步速度的方法
CN112131229A (zh) 基于区块链的分布式数据存取方法、装置及存储节点
CN111917826A (zh) 一种基于区块链知识产权保护的pbft共识算法
WO2023221772A1 (zh) 基于区块链网络的数据处理方法及相关产品
US20170132272A1 (en) Verifying a rebuilt encoded data slice using slice verification information
CN117149915B (zh) 用于云端数据库迁移到开源数据库的方法
CN113961149B (zh) 一种电力信息系统多态数据存储系统及存储方法
Duan In Search of a Scalable Geo-Distributed Consensus Protocol
CN117155953A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co., Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Applicant before: Space Star Technology (Beijing) Co., Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant