CN110659265B - 一种分布式并行数据库资源管理方法 - Google Patents

一种分布式并行数据库资源管理方法 Download PDF

Info

Publication number
CN110659265B
CN110659265B CN201910926413.5A CN201910926413A CN110659265B CN 110659265 B CN110659265 B CN 110659265B CN 201910926413 A CN201910926413 A CN 201910926413A CN 110659265 B CN110659265 B CN 110659265B
Authority
CN
China
Prior art keywords
data
node
nodes
preset
node group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910926413.5A
Other languages
English (en)
Other versions
CN110659265A (zh
Inventor
朱小亮
王幼林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Junlin Interconnection Technology Co ltd
Original Assignee
Guangzhou Junlin Interconnection Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Junlin Interconnection Technology Co ltd filed Critical Guangzhou Junlin Interconnection Technology Co ltd
Priority to CN201910926413.5A priority Critical patent/CN110659265B/zh
Publication of CN110659265A publication Critical patent/CN110659265A/zh
Application granted granted Critical
Publication of CN110659265B publication Critical patent/CN110659265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明一种分布式并行数据库资源管理方法其应用于N个相互连接的节点，包括当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比每个节点组中的节点输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若不一致，分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同，若相同，则将所述第四数据转化为第一数据输出。本发明在传统的分布式并行数据库中引了节点组的概念而将多个节点的数据安全视为了一个整体，而在这个整体中，每个节点均为独立的个体。从而判定节点组中的安全的节点和不安全的节点，而将不安全的节点断开，使每个节点组都是更加安全的，并保证高性能和高可用性。

Description

一种分布式并行数据库资源管理方法
技术领域
本发明涉及一种处理大数据的技术方案，特别是涉及一种通过分布式并行数据库资源管理大数据的方法。
背景技术
随着海量数据问题的出现，特别是对于大数据处理的问题。海量管理能力，多类型，变化快，高可用性，低成本高端可扩展性等需求给企业数据斩落带来了巨大挑战，也是目前业界的普遍困扰。
分布式并行数据库通常是一种解决上述问题的具有高性能(High Performance)和高可用性(HighAvailability)的解决方案。
分布式并行数据库可保证在一个节点宕机之后仍然保持高性能和高可用性。
但是对于数据的安全性，传统的数据库依旧不是太理想。因此，针对需要更安全需求的用户而言，目前亟需一种能够更安全的分布式并行数据库资源管理方法。
发明内容
本发明要解决的技术问题是提供一种能够更安全的分布式并行数据库资源管理方法。
本发明一种分布式并行数据库资源管理方法，包括
输入第一数据；
通过哈希算法输出第一数据的第一哈希值；
按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据；
将所述N个相互连接的节点按照预设分配方式分配为M个节点组，其中，N大于2M且每个节点组的节点数量均大于2；
将所述M个第二数据按照预设分发方式发送至M个节点组内存储；
当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比一个节点组的节点与节点之间输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若一致，则将所述第三数据按照预设组合方式输出为第一数据；若不一致，则分别将节点组中的每个节点的第三数据的按照预设组合方式输出为至少两个第四数据，分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同，若相同，则将所述第四数据转化为第一数据输出，若不同则断开组合出第四数据的若不一致的第三数据所在的节点与其他节点的连接。
本发明一种分布式并行数据库资源管理方法，其中所述预设拆分方式和预设分发方式包括：
获取所述第一数据中的文件类型；
判定文件类型数量是否超过第一预设阈值，若是，则按文件类型将每个第一数据拆分为多个容量小于等于预设容量的数据封包，并压缩后按顺序分配至每个节点组；若否，则将所述第一数据平分为M个或M的倍数个，并压缩后按顺序分配至M个节点组内存储。
本发明一种分布式并行数据库资源管理方法，其中所述预设组合方式为：以每个节点组顺序排列第三数据并将其组合为第一数据。
本发明通过上述方式保证组合出的第一数据的顺序与其拆分时一致。
本发明一种分布式并行数据库资源管理方法，其中所述预设分配方式包括：
判定单位时间内，是否获取过输出第一数据指令，若否，则随机地平均分配所有节点至M个节点组；若是，则采集上一次输出第一数据指令时，获取每个节点分别将所述第二数据解压为第三数据的节点速度，并将节点速度排名靠前的前M个节点分别随机地平均配置在M个节点组内，其他节点随机地平均分配在M个节点组内。
本发明一种分布式并行数据库资源管理方法，其中所述N大于3M且每个节点组的节点数量均大于3；
判定是否获取过输出第一数据指令，若否，则随机地平均分配所有节点至M个节点组；若是，则采集上一次输出第一数据指令时，每个节点分别将所述第二数据解压为第三数据的节点速度，并将节点速度排名靠后的后M个节点分别随机地平均配置在M个节点组内，其他节点随机地平均分配在M个节点组内，所述节点速度排名靠后的后M个节点仅接收第二数据而不输出第三数据，其中，节点速度排名靠后的后M个节点仅在有节点被判定组合出第四数据的若不一致的第三数据所在的节点断开时替换被断开的节点而能够向其他节点输出第三数据；
所述判定组合出第四数据的若不一致的第三数据所在的节点在之后的获取输出第一数据指令时，依旧输出第三数据和第三哈希值，但是不发送至其他节点，判定组合出第四数据的若不一致的第三数据所在的节点的第三哈希值与节点组内其他节点输出的第三哈希值的连续一致次数超过第二预设阈值，则将所述判定组合出第四数据的若不一致的第三数据所在的节点与其他节点连接并将所述节点速度较慢的节点恢复为所述节点速度排名靠后的后M个节点仅接收第二数据而不输出第三数据。
本发明一种分布式并行数据库资源管理方法的系统，包括多个相互连接的用于存储数据的节点，与每个所述节点连接的服务器；
所述服务器包括：
输入模块，其用于输入第一数据；
第一哈希模块，其用于通过哈希算法输出第一数据的第一哈希值；
第一行为模块，按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据；
第二行为模块，将所述N个相互连接的节点按照预设分配方式分配为M个节点组，其中，N大于2M且每个节点组的节点数量均大于2；
分发模块，将所述M个第二数据按照预设分发方式发送至M个节点组内存储；
处理器，当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比一个节点组的节点与节点之间输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若一致，则将所述第三数据按照预设组合方式输出为第一数据；若不一致，则分别将节点组中的每个节点的第三数据的按照预设组合方式输出为至少两个第四数据，分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同，若相同，则将所述第四数据转化为第一数据输出，若不同则断开组合出第四数据的若不一致的第三数据所在的节点与其他节点的连接。
本发明一种分布式并行数据库资源管理方法，其应用于N个相互连接的节点，包括
输入第一数据；
通过哈希算法输出第一数据的第一哈希值；
按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据；
将所述N个相互连接的节点按照预设分配方式分配为M个节点组，其中，N大于5M且每个节点组的节点数量均大于5；
将所述M个第二数据按照预设分发方式发送至M个节点组内存储；
当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比一个节点组的节点与节点之间输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若一致，则将所述第三数据按照预设组合方式输出为第一数据；若不一致，则与每个节点的第三哈希值重合的个数，若重合的个数较多，则输出与所述重合的个数较多的第三哈希值对应的节点的第三数据，并通过预设组合方式输出第四数据，并判定通过哈希算法生成的第四数据的第四哈希值是否与所述第一哈希值一致，若是，则将第四数据转化为第一数据输出，并将重合的个数较少，则将重合的个数较少的第三哈希值对应的节点断开与其他节点的连接；若否，再将重合的个数较少的第三哈希值对应的第三数据生成第五数据，而判定第五数据的通过哈希算法生成的第五哈希值与第一哈希值是否一致，若是，将第五数据输出为第一数据，并将所述重合的个数较多的节点断开与其他节点的连接，若否，则提示错误并断开所有节点之间的连接。
本发明一种分布式并行数据库资源管理方法与现有技术不同之处在于本发明一种分布式并行数据库资源管理方法在传统的分布式并行数据库中引了节点组的概念而将多个节点的数据安全视为了一个整体，而在这个整体中，每个节点均为独立的个体。而上述独立的个体的节点中虽然存储了相同的第二数据，但是解压出的第三数据不同，有可能是因为上述节点的系统问题或解压而产生的数据冗余或被黑客攻击等问题，而通过每个节点的第三数据分别组合为第四数据，而直到找到与所述第一数据相同的第四数据，从而判定节点组中的安全的节点和不安全的节点，而将不安全的节点断开，使每个节点组都是更加安全的，并保证高性能和高可用性。
下面结合附图对本发明的一种分布式并行数据库资源管理方法作进一步说明。
附图说明
图1是一种分布式并行数据库资源管理方法的流程图。
具体实施方式
如图1所示，本发明一种分布式并行数据库资源管理方法包括
输入第一数据；
通过哈希算法输出第一数据的第一哈希值；
按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据；
将所述N个相互连接的节点按照预设分配方式分配为M个节点组，其中，N大于2M且每个节点组的节点数量均大于2；
将所述M个第二数据按照预设分发方式发送至M个节点组内存储；
当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比一个节点组的节点与节点之间输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若一致，则将所述第三数据按照预设组合方式输出为第一数据；若不一致，则分别将节点组中的每个节点的第三数据的按照预设组合方式输出为至少两个第四数据，分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同，若相同，则将所述第四数据转化为第一数据输出，若不同则断开组合出第四数据的若不一致的第三数据所在的节点与其他节点的连接。
本发明通过上述方式可利用节点组作为一个具有至少两个节点来独立存储、备份分布式拆分出的数据的存储端，而需要采集时，则对比至少两个节点的数据是否一致，若一致，则可认为其数据是安全可靠的，若不一致，则肯定某个节点发生的安全隐患或者数据冗余而使本发明无法将分布式拆分的第一数据复原，因此，将之前备份的第一数据的第一哈希值与组合后的第四数据的第四哈希值进行对比，若一致，则该第四数据所在的节点可被判定为安全的，若不一致，则将上述不安全的节点与其他节点断开连接，而保证其他节点不被这个不安全的节点攻击。
其中，N大于2M且每个节点组的节点数量均大于2，以便每个节点组内均有节点可备份第二数据。
其中，每个节点组内存储的第二数据互不相同。
其中，M个节点组内每个节点均存储有相同的M个第二数据中的其中一个。
通过ZLIB和QYUCKLZ方式的压缩。压缩表通过利用空闲的cpu资源，而减少I/O资源占用。
本发明在传统的分布式并行数据库中引了节点组的概念而将多个节点的数据安全视为了一个整体，而在这个整体中，每个节点均为独立的个体。而上述独立的个体的节点中虽然存储了相同的第二数据，但是解压出的第三数据不同，有可能是因为上述节点的系统问题或解压而产生的数据冗余或被黑客攻击等问题，而通过每个节点的第三数据分别组合为第四数据，而直到找到与所述第一数据相同的第四数据，从而判定节点组中的安全的节点和不安全的节点，而将不安全的节点断开，使每个节点组都是更加安全的，并保证高性能和高可用性。
具体地说，所述预设拆分方式和预设分发方式包括：
获取所述第一数据中的文件类型；
判定文件类型数量是否超过第一预设阈值，若是，则按文件类型将每个第一数据拆分为多个容量小于等于预设容量的数据封包，并压缩后按顺序分配至每个节点组；若否，则将所述第一数据平分为M个或M的倍数个，并压缩后按顺序分配至M个节点组内存储。
本发明通过上述方式将多个文件类型的第一数据按照文件类型进行拆分并将每个文件类型的文件拆分为较小的数据封包，其中，每个数据封包在还原后依旧是相同的数据类型，而不会由于还原为多个数据类型的第三数据而产生数据冗余，从而造成数据还原错误。而在非多个文件类型的第一数据中，只需要将其平均分配为M个或M的倍数个，依次循环地按顺序分配至每个节点组中即可共享每个数据组的速度，而提高存储和输出的第一数据的速度。
其中，每个节点组的顺序可理解为M的序列号，其中，若第二数据的个数超过M，则循环利用M的序列号，存储第二数据，以便可根据存储时间和存储节点的序列号复原第一数据。
当然，所述预设拆分方式还可为：直接将所述第一数据拆分为2M个或3M、4M个第二数据，并对其压缩，从而对于每个第一数据进行快速的拆分和压缩，增加效率。而上述利用水平拆分和垂直拆分共有的拆分法则可增加保存的稳定性和还原数据的安全性。
其中，第一预设阈值可为3、4、5、6、7、8、9，优选为6。也就是说，当第一数据中的文件类型超过6个时，则可通过文件类型来对于第一数据进行拆分，也就是通常所说的垂直分割数据。
其中，所述预设容量可为：所述第一数据的容量除以2倍的节点组的个数M和文件类型的数量之和，或者除以更多倍。也就是说，预设容量应该是能够让每个节点组上均存储有拆分出的第二数据。甚至说，能够让每个节点组内存储有两个或三个或更多的第二数据，从而发挥分布式并行数据库的优势，提高数据的传输速度，不会有空闲的节点。
本发明通过结合了水平拆分和垂直拆分法，可针对于不同类型的数据而针对性地拆分，便于其保存和复原的效率。
其中，按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据可理解为，先将第一数据拆分成多个小数据，再将小数据压缩而成为第二数据，以尽可能降低其存储的容量，并适用于分布式存储，每个第二数据均可带有第二数据存储至哪个节点组、如何拆分的第一数据的数据列表，以便将所述第二数据重新转化复原为第一数据。
更具体地说，所述预设组合方式为：以每个节点组顺序排列第三数据并将其组合为第一数据。
本发明通过上述方式保证组合出的第一数据的顺序与其拆分时一致。
更具体地说，所述预设分配方式包括：
判定单位时间内，是否获取过输出第一数据指令，若否，则随机地平均分配所有节点至M个节点组；若是，则采集上一次输出第一数据指令时，获取每个节点分别将所述第二数据解压为第三数据的节点速度，并将节点速度排名靠前的前M个节点分别随机地平均配置在M个节点组内，其他节点随机地平均分配在M个节点组内。
本发明通过上述预设分配方式可实时地根据整个系统中的每个节点的实时情况而动态地调整每个节点组的节点配置，一方面说，可以通过随机性分配优良的节点速度最快的M个节点来作为每个节点组中的性能担当，而提高这个节点组的运算速度和运算能力，而其他的节点依次分配也不会影响每个节点组之间的速度的差异，另一方面说，由于每次均随机配置M个节点，那么每次保存第一数据时，保存其第二数据的节点组的节点配置均不相同，可保证输出第一数据的安全性和可靠性，避免黑客攻击一个节点致使整个系统的多个数据损坏，保证了安全性。此外，受单位时间的约束，外界不好利用客观规律掌握每个节点组的节点分配情况，也就是说，即便外界控制了节点速度排名靠前的节点，也不一定能够掌控某个节点组或整个系统。
其中，M为自然数，N也为自然数，M和N均不为0。
其中，单为时间内，可以是每小时或每天或每分钟或每周。
其中，节点速度排名靠前的前M个节点是指，节点速度最快的M个节点。
当然，本发明的一种变形还可为：所述N大于3M且每个节点组的节点数量均大于3；
判定是否获取过输出第一数据指令，若否，则随机地平均分配所有节点至M个节点组；若是，则采集上一次输出第一数据指令时，每个节点分别将所述第二数据解压为第三数据的节点速度，并将节点速度排名靠后的后M个节点分别随机地平均配置在M个节点组内，其他节点随机地平均分配在M个节点组内，所述节点速度排名靠后的后M个节点仅接收第二数据而不输出第三数据，其中，节点速度排名靠后的后M个节点仅在有节点被判定组合出第四数据的若不一致的第三数据所在的节点断开时替换被断开的节点而能够向其他节点输出第三数据；
所述判定组合出第四数据的若不一致的第三数据所在的节点在之后的获取输出第一数据指令时，依旧输出第三数据和第三哈希值，但是不发送至其他节点，判定组合出第四数据的若不一致的第三数据所在的节点的第三哈希值与节点组内其他节点输出的第三哈希值的连续一致次数超过第二预设阈值，则将所述判定组合出第四数据的若不一致的第三数据所在的节点与其他节点连接并将所述节点速度较慢的节点恢复为所述节点速度排名靠后的后M个节点仅接收第二数据而不输出第三数据。
本发明通过上述预设分配方式可实时地根据整个系统中的每个节点的实时情况而动态地调整每个节点组的节点配置，一方面说，可以通过随机性分配的节点速度最慢的M个节点来中和每个节点组中的最慢速度，而使每个节点组的运算速度和运算能力更加平均，而其他的节点依次分配也不会影响每个节点组之间的速度的差异，另一方面说，通过将节点速度较慢的M个节点作为备用节点，而分配至每个节点组内，即便节点组内某个节点被断开而依旧可继续对比生成的第三数据，而不孤立某个节点而保证节点组的安全性，也许某一次节点输出的第三数据与其他节点不一致可能是其硬盘的坏道、系统偶尔冗余而大多数是安全的，那么在连续第三哈希值一致的次数超过第二预设阈值之后，则应将其恢复为节点组内的数据，而替补的节点速度较慢的节点应继续对其替补，而保证节点组的速度和整体的安全性。
本发明一种分布式并行数据库资源管理方法的系统，包括多个相互连接的用于存储数据的节点，与每个所述节点连接的服务器；
所述服务器包括：
输入模块，其用于输入第一数据；
第一哈希模块，其用于通过哈希算法输出第一数据的第一哈希值；
第一行为模块，按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据；
第二行为模块，将所述N个相互连接的节点按照预设分配方式分配为M个节点组，其中，N大于2M且每个节点组的节点数量均大于2；
分发模块，将所述M个第二数据按照预设分发方式发送至M个节点组内存储；
处理器，当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比一个节点组的节点与节点之间输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若一致，则将所述第三数据按照预设组合方式输出为第一数据；若不一致，则分别将节点组中的每个节点的第三数据的按照预设组合方式输出为至少两个第四数据，分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同，若相同，则将所述第四数据转化为第一数据输出，若不同则断开组合出第四数据的若不一致的第三数据所在的节点与其他节点的连接。
当然，本发明的一种变形还可为：本发明一种分布式并行数据库资源管理方法，其应用于N个相互连接的节点，包括
输入第一数据；
通过哈希算法输出第一数据的第一哈希值；
按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据；
将所述N个相互连接的节点按照预设分配方式分配为M个节点组，其中，N大于5M且每个节点组的节点数量均大于5；
将所述M个第二数据按照预设分发方式发送至M个节点组内存储；
当接收输出第一数据指令时，将所述第二数据解压为第三数据，对比一个节点组的节点与节点之间输出的第三数据的通过哈希算法得出的第三哈希值是否一致，若一致，则将所述第三数据按照预设组合方式输出为第一数据；若不一致，则与每个节点的第三哈希值重合的个数，若重合的个数较多，则输出与所述重合的个数较多的第三哈希值对应的节点的第三数据，并通过预设组合方式输出第四数据，并判定通过哈希算法生成的第四数据的第四哈希值是否与所述第一哈希值一致，若是，则将第四数据转化为第一数据输出，并将重合的个数较少，则将重合的个数较少的第三哈希值对应的节点断开与其他节点的连接；若否，再将重合的个数较少的第三哈希值对应的第三数据生成第五数据，而判定第五数据的通过哈希算法生成的第五哈希值与第一哈希值是否一致，若是，将第五数据输出为第一数据，并将所述重合的个数较多的节点断开与其他节点的连接，若否，则提示错误并断开所有节点之间的连接。
本发明通过上述每个节点组配置有多个节点的情况下，依靠比较重合数量而信任多数的节点，而作为首先输出的第四数据，而输出第四数据再判定其第四哈希值与第一哈希值是否一致，则可先判定较多的是否一致，若是则将少的断开连接，输出第一数据，若否，则将再同样判定少得，如果都不一致，则断开所有节点的连接，并提示错误，而保证整个系统的安全和可用性。而通过直接的个数比较可保证本发明相对的高性能和安全性。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (1)

1.一种分布式并行数据库资源管理方法，其应用于N个相互连接的节点，其特征在于：包括
输入第一数据；
通过哈希算法输出第一数据的第一哈希值；
按照预设拆分方式将所述第一数据拆分并压缩为M个第二数据；
将所述N个相互连接的节点按照预设分配方式分配为M个节点组，其中，所述N大于3M且每个节点组的节点数量均大于3；
将所述M个第二数据按照预设分发方式发送至M个节点组内存储；
当接收输出第一数据指令时，将所述第二数据解压为第三数据，对于每个节点组，对比节点组内的节点输出的第三数据通过哈希算法得出的第三哈希值是否一致，若一致，则将所述第三数据按照预设组合方式输出为第一数据；若不一致，则分别将节点组中的每个节点的第三数据的按照预设组合方式输出为至少两个第四数据，分别对比至少两个第四数据通过哈希算法生成的第四哈希值是否与第一哈希值相同，若相同，则将所述第四数据转化为第一数据输出，若不同则断开组合出第四数据的若不一致的第三数据所在的节点与其他节点的连接；
其中，所述预设组合方式为：以每个节点组顺序排列第三数据并将其组合为第一数据；
所述预设拆分方式和预设分发方式包括：
获取所述第一数据中的文件类型；
判定文件类型数量是否超过第一预设阈值，若是，则按文件类型将每个第一数据拆分为多个容量小于等于预设容量的数据封包，并压缩后按顺序分配至每个节点组；若否，则将所述第一数据平分为M个或M的倍数个，并压缩后按顺序分配至M个节点组内存储；
所述预设分配方式包括：
判定单位时间内，是否获取过输出第一数据指令，若否，则随机地平均分配所有节点至M个节点组；若是，则采集上一次输出第一数据指令时每个节点分别将所述第二数据解压为第三数据的节点速度，并将节点速度排名靠前的前M个节点分别随机地平均配置在M个节点组内，其他节点随机地平均分配在M个节点组内。
CN201910926413.5A 2019-09-27 2019-09-27 一种分布式并行数据库资源管理方法 Active CN110659265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910926413.5A CN110659265B (zh) 2019-09-27 2019-09-27 一种分布式并行数据库资源管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910926413.5A CN110659265B (zh) 2019-09-27 2019-09-27 一种分布式并行数据库资源管理方法

Publications (2)

Publication Number Publication Date
CN110659265A CN110659265A (zh) 2020-01-07
CN110659265B true CN110659265B (zh) 2020-11-24

Family

ID=69039629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910926413.5A Active CN110659265B (zh) 2019-09-27 2019-09-27 一种分布式并行数据库资源管理方法

Country Status (1)

Country Link
CN (1) CN110659265B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112910922A (zh) * 2021-03-03 2021-06-04 季明明 一种区块链金融大数据处理系统及方法
CN114205424B (zh) * 2021-12-01 2023-08-29 招联消费金融有限公司 账单文件解压方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106249A (zh) * 2013-01-08 2013-05-15 华中科技大学 一种基于Cassandra的数据并行处理系统
CN104050291A (zh) * 2014-06-30 2014-09-17 浪潮(北京)电子信息产业有限公司 一种账户余额数据的并行处理方法和系统
CN107733952A (zh) * 2016-08-12 2018-02-23 中国电信股份有限公司 用于提供差异化缓存服务的方法、装置和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060080427A1 (en) * 2004-10-12 2006-04-13 Yach David P Apparatus, and associated method, for facilitating determination of synchronization status of database copies connected by way of a radio air interface of a radio communication system
JP5716554B2 (ja) * 2011-06-06 2015-05-13 富士通株式会社 検索プログラム、検索方法、検索装置、およびノード
US8706695B1 (en) * 2012-01-26 2014-04-22 Amazon Technologies, Inc. Reducing head and tail duplication in stored data
CN105228157B (zh) * 2015-09-16 2019-05-17 华东师范大学 一种无线传感器网络安全轻量重编程方法
CN108681943B (zh) * 2018-05-18 2022-07-12 百度在线网络技术（北京）有限公司 一种区块链网络的数据处理方法、装置、设备及存储介质
CN110046160B (zh) * 2019-03-15 2021-07-20 中国科学院计算技术研究所 一种基于条带的一致性哈希存储系统构建方法
CN109977077B (zh) * 2019-03-25 2021-09-24 腾讯科技（深圳）有限公司 模型文件存储方法、装置、可读存储介质和计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106249A (zh) * 2013-01-08 2013-05-15 华中科技大学 一种基于Cassandra的数据并行处理系统
CN104050291A (zh) * 2014-06-30 2014-09-17 浪潮(北京)电子信息产业有限公司 一种账户余额数据的并行处理方法和系统
CN107733952A (zh) * 2016-08-12 2018-02-23 中国电信股份有限公司 用于提供差异化缓存服务的方法、装置和系统

Also Published As

Publication number Publication date
CN110659265A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
US10942828B2 (en) Method for storing data shards, apparatus, and system
US10942812B2 (en) System and method for building a point-in-time snapshot of an eventually-consistent data store
US9773015B2 (en) Dynamically varying the number of database replicas
CN110659265B (zh) 一种分布式并行数据库资源管理方法
CN101286165B (zh) 多路并行现用文件系统
US10102086B2 (en) Replicated database distribution for workload balancing after cluster reconfiguration
US20110010498A1 (en) Providing preferred seed data for seeding a data deduplicating storage system
CN101820426B (zh) 一种在线备份服务软件中的数据压缩方法
CN106156037B (zh) 数据处理方法、装置及系统
CN105120003A (zh) 一种实现云环境下数据备份的方法
CN115688141B (zh) 一种个人信息拆分脱敏存储与重构方法及系统
CN106354865A (zh) 一种同步主从数据库的方法、装置和系统
CN105843713B (zh) 一种双机系统无共享存储实现Oracle RAC的方法
CN113900598A (zh) 基于区块链的数据存储方法、装置、设备以及存储介质
KR20210058746A (ko) 에러 정정 코드에 기초하는 동적 블록체인 데이터 저장
CN106686117B (zh) 一种分布式计算集群的数据存储处理系统及方法
KR101428649B1 (ko) 맵 리듀스 기반의 대용량 개인정보 암호화 시스템 및 그의 동작 방법
CN111416992A (zh) 文件转码方法及装置
CN113656502A (zh) 数据同步方法、系统、电子设备和存储介质
CN103744882A (zh) 一种基于键值对的目录片段表示方法及装置
US20150149498A1 (en) Method and System for Performing an Operation Using Map Reduce
CN112148797B (zh) 基于区块链的分布式数据存取方法、装置及存储节点
Dean Handling large datasets at google: Current systems and future directions
US10348828B2 (en) Method and apparatus for optimizing data transfers utilizing machine learning
CN112131229B (zh) 基于区块链的分布式数据存取方法、装置及存储节点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant