CN116319815B - 引入SaaS特征的云数据放置策略管理系统 - Google Patents
引入SaaS特征的云数据放置策略管理系统 Download PDFInfo
- Publication number
- CN116319815B CN116319815B CN202310553883.8A CN202310553883A CN116319815B CN 116319815 B CN116319815 B CN 116319815B CN 202310553883 A CN202310553883 A CN 202310553883A CN 116319815 B CN116319815 B CN 116319815B
- Authority
- CN
- China
- Prior art keywords
- data
- hash
- cloud server
- blockchain
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 88
- 230000011218 segmentation Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000007726 management method Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims description 33
- 239000012634 fragment Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 238000006467 substitution reaction Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 9
- 238000013500 data storage Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1061—Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
- H04L67/1065—Discovery involving distributed pre-established resource-based relationships among peers, e.g. based on distributed hash tables [DHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了引入SaaS特征的云数据放置策略管理系统，涉及数据处理技术领域，包括：第一数据获取模块获取企业业务数据；数据备份模块对原数据备份以得到K个备份原数据；第一数据分片模块对K份备份原数据进行一次hash分片处理，获取一次分片处理结果；时间戳改写模块对每个数据类型的一级切分数据块进行时间戳改写处理；第二数据分片模块对改写后的每个数据类型的一级切分数据块进行二次hash分片处理，获取二次分片处理结果；分布式存储模块将二级切分数据块映射至对应的目标区块链云服务器节点中的至少一条目标数据区块链，本发明有利于在保证数据存储安全的同时保证数据的高可靠性和高可还原性。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及引入SaaS特征的云数据放置策略管理系统。
背景技术
SaaS,是Software as a Service的简称,意为软件即服务，即通过网络提供软件服务，无需企业另外购买和管理硬件设备，大大降低企业的业务运行成本，其已成为当下最受欢迎的云服务方式，然而SaaS云服务器的管理运维一般由SaaS提供商执行，因此，企业云数据的安全受制于SaaS提供商的安全运维水平，且对于企业而言，SaaS模式的中心化数据管理模式对企业的业务数据安全风险性较大；区块链是一种去中心化、分布式的数据库技术，它可以记录交易数据和信息，并使用密码学技术确保数据的安全性和完整性，去中心化的数据存储方式可以有效保护企业云数据的安全性；因此，如何在保留SaaS模式特征优点的同时引入区块链技术以解决现有云数据存储安全性较低的问题已成为当下研究重点。
目前，现有的云数据放置策略管理系统大多通过依托于区块链的分布式存储实现，然而经发明人针对当下区块链的分布式存储系统研究应用发现，在对云数据处理存储过程中现有系统仍存在以下缺陷：
1.针对云数据分块并利用区块链进行分布式存储的方式虽然成本低，但仍具备一些明显缺陷，例如授权公告号CN107273410B的中国专利公开了一种基于区块链的分布式存储方法，该发明虽然将区块链和分布式文件系统相结合，实现了对文件的防篡改和分布式存储，但其无法在保证数据存储安全的同时保证数据的高可靠性和高可还原性，无法满足现有SaaS软件用户对数据的高可用需求；
2.单份文件的分布式存储可靠性低，一旦某一存储节点出现故障，则易导致云数据的不可逆性丢失，且缺乏对多份备份数据的高可用查找选择；
3. 缺乏对外在影响因素的分析考虑，导致在数据查找还原时效率较低，且缺乏对hash冲突问题的解决以及解决hash冲突问题所带来的查找问题。
鉴于此，本发明提出引入SaaS特征的云数据放置策略管理系统以解决上述问题。
发明内容
本发明的目的是解决现有技术中存在的缺陷，而提出的引入SaaS特征的云数据放置策略管理系统。
为了实现上述目的，本发明采用了如下技术方案：
引入SaaS特征的云数据放置策略管理系统，所述系统应用于SaaS提供商云服务器中，所述SaaS提供商云服务器与若干个目标区块链云服务器节点远程通信连接，每个目标区块链云服务器节点中包括至少一条目标数据区块链，包括：
第一数据获取模块，用于获取上传的企业业务数据，以及获取若干个目标区块链云服务器节点中至少一条目标数据区块链的原始hash数据，所述原始hash数据包括至少一条目标数据区块链的区块个数、对应区块的原始hash值和原始hash索引；
数据备份模块，用于将企业业务数据作为原数据，并对所述原数据进行备份，以得到K个备份原数据，K∈N＊，N＊为正整数集合；
第一数据分片模块，用于对K份所述备份原数据进行一次hash分片处理，以获取一次分片处理结果，所述一次分片处理结果包括Q个数据类型的若干个一级切分数据块、对应服务器hash值和服务器的hash索引，Q∈N＊；
时间戳改写模块，用于根据预设改写规则对每个数据类型的若干个所述一级切分数据块进行时间戳改写处理；
第二数据分片模块，用于对时间戳改写后的每个数据类型的若干个所述一级切分数据块进行二次hash分片处理，以获取二次分片处理结果，所述二次分片处理结果包括G个二级切分数据块、对应区块的处理hash值和区块链的处理hash索引，G∈N＊；
分布式存储模块，用于根据对应区块的处理hash值将二级切分数据块映射至对应的所述目标区块链云服务器节点中的至少一条目标数据区块链。
进一步地，所述目标区块链云服务器节点的确定过程具体如下：
获取若干个区块链云服务器节点中若干个数据区块链的基本信息，所述基本信息包括数据区块链的个数数据和数据区块链的长度数据；
筛选每个区块链云服务器节点中每个数据区块链的个数数据大于预设数量阈值的对应区块链云服务器节点；
筛选对应区块链云服务器节点中数据区块链的长度数据大于预设长度阈值的对应数据区块链；
将大于预设长度阈值的对应数据区块链作为目标数据区块链，并将所述目标数据区块链所在的对应区块链云服务器节点作为目标区块链云服务器节点。
进一步地，对K份所述备份原数据进行一次hash分片处理，包括：
将每份所述备份原数据划分为若干个普通数据分片；每个所述普通数据分片的大小一致；
根据余弦相似度度量模型计算每个普通数据分片的相似度，对相似度大于预设相似阈值的对应数据分片进行聚类，得到若干个聚类集合，每个聚类集合包含C个元素数据；
利用SHA-256哈希函数对每个元素数据执行一次hash计算，以得到Q个数据类型的若干个一级切分数据块、对应服务器hash值和服务器的hash索引。
进一步地，对每个数据类型的若干个所述一级切分数据块进行时间戳改写处理，包括：
获取Q个数据类型的若干个一级切分数据块，根据备份原数据的内容顺序提取每个数据类型中若干个一级切分数据块的时间戳；
根据备份原数据的内容顺序对每个数据类型中若干个一级切分数据块的时间戳进行T个时段的相同时间戳改写。
进一步地，对时间戳改写后的每个数据类型的若干个所述一级切分数据块进行二次hash分片处理，包括：
对每个所述一级切分数据块划分为若干个一级切分子数据块；
利用SHA-256哈希函数对每个一级切分子数据块执行二次hash计算，以得到G个二级切分数据块、对应区块的处理hash值和区块链的处理hash索引。
进一步地，还包括：
第二数据获取模块，用于获取SaaS客户端发送的查找还原请求；
数据提取模块，用于基于查找还原请求提取每个所述目标区块链云服务器节点的当前状态信息，以及所述SaaS提供商云服务器与每个目标区块链云服务器节点之间的当前网络状态信息，所述当前状态信息包括当前节点进程数和当前节点响应时间；所述当前网络状态信息包括当前网络延迟和当前数据丢包率；
分析处理模块，用于根据当前状态信息和当前网络状态信息进行分析，以筛选出最优目标区块链云服务器节点；
查找还原模块，用于根据对应区块的处理hash值、区块链的处理hash索引、对应服务器hash值和服务器的hash索引对最优目标区块链云服务器节点进行数据查找还原。
进一步地，根据当前状态信息和当前网络状态信息进行分析，包括：
获取每个目标区块链云服务器节点的节点总进程数和最快响应时间，以及SaaS提供商云服务器与每个目标区块链云服务器节点之间的最低网络延迟和最低数据丢包率；
分别将节点总进程数与当前节点进程数的差值作为进程系数Spc，将最快响应时间与当前节点响应时间的差值作为时间系数Rtc，将最低网络延迟与当前网络延迟的差值作为延迟系数Nlc，将最低数据丢包率与当前数据丢包率的差值作为丢包系数Plc；
对进程系数Spc、时间系数Rtc、延迟系数Nlc和丢包系数Plc无量纲化处理后进行公式化计算，以获取查找状态评价系数QT；
设置状态评价阈值KT，将状态评价阈值KT与查找状态评价系数QT进行比较，以获取比较结果；
根据比较结果将查找状态评价系数QT小于状态评价阈值KT，且查找状态评价系数QT与状态评价阈值KT差值最大的对应目标区块链云服务器节点作为最优目标区块链云服务器节点。
进一步地，还包括：
hash索引替代模块，用于将目标数据区块链的原始hash值、原始hash索引对对应区块的处理hash值和区块链的处理hash索引进行替代。
进一步地，所述查找还原模块还用于根据原始hash值和原始hash索引、对应服务器hash值和服务器的hash索引对最优目标区块链云服务器节点进行数据查找还原。
相比于现有技术，本发明的有益效果在于：
1.本发明提出的引入SaaS特征的云数据放置策略管理系统，通过获取上传的企业业务数据，并对其生成多个备份原数据，本发明有利于解决现有分布式存储过程中一旦某一存储节点出现故障，易导致云数据的不可逆性丢失的问题，且有利于提高分布式存储可靠性；之后针对多个备份原数据进行一次分片处理并进行聚类分析，以获取多个数据类型的若干个一级切分数据块，之后对多个数据类型的若干个一级切分数据块进行时间戳改写，本发明有利于通过改写后的时间戳实现在后续查找时对分布式数据的快速还原；接着再将改写时间戳后的一级切分数据块映射至对应的所述目标区块链云服务器节点后进行二次hash分片处理，根据二次hash分片处理得到对应区块的处理hash值，将若干个二级切分数据映射至对应的所述目标区块链云服务器节点中的至少一条目标数据区块链中，本发明能够在保证数据存储安全的同时保证数据的高可靠性和高可还原性，从而能够满足现有SaaS软件用户对数据的高可用需求；
2.本发明提出的引入SaaS特征的云数据放置策略管理系统，通过引入外界因素对查找还原时影响进行分析，根据分析结果选择最优目标区块链云服务器节点，本发明有利于筛选多个目标区块链云服务器节点中最优目标区块链云服务器节点，进而提高数据查找还原时的效率，此外通过将目标数据区块链的原始hash值、原始hash索引对对应区块的处理hash值和区块链的处理hash索引进行替代，本发明有利于消除通过开放寻址法解决hash冲突而遗留的数据查找还原效率低的问题，进一步提高数据查找还原时的效率，从而满足现有SaaS软件用户对数据的高效还原的需求。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例一提出的引入SaaS特征的云数据放置策略管理系统的整体结构示意图；
图2为本发明实施例一中提出的数据存储示意图；
图3为本发明实施例二提出的引入SaaS特征的云数据放置策略管理系统的整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例一
请参阅图1示，本实施例公开提供了引入SaaS特征的云数据放置策略管理系统，所述系统应用于SaaS提供商云服务器中，所述SaaS提供商云服务器与若干个目标区块链云服务器节点远程通信连接，每个目标区块链云服务器节点中包括至少一条目标数据区块链，所述系统包括：
第一数据获取模块110，用于获取上传的企业业务数据，以及获取若干个目标区块链云服务器节点中至少一条目标数据区块链的原始hash数据，所述原始hash数据包括至少一条目标数据区块链的区块个数、对应区块的原始hash值和原始hash索引；
需要解释的是：所述目标数据区块链为非本企业业务数据加密后生成的企业业务区块链；换言之就是，所述目标数据区块链为事先存在于目标区块链云服务器节点中与所述企业业务数据无关的数据区块链，且其相关的原始hash数据，即区块个数以及对应区块的原始hash值均为事先存储在目标区块链云服务器节点中目标数据区块链的若干区块的属性信息（包括但不限于区块个数以及对应区块的原始hash值）；进一步解释说明就是，本发明依托于事先存储于目标区块链云服务器节点中的目标数据区块链进行分布式数据存储；
需要说明的是：若干个所述目标区块链云服务器节点的确定根据存储于每个所述目标区块链云服务器节点中的目标数据区块链确定；
具体地，所述目标区块链云服务器节点的确定过程具体如下：
获取若干个区块链云服务器节点中若干个数据区块链的基本信息，所述基本信息包括数据区块链的个数数据和数据区块链的长度数据；
筛选每个区块链云服务器节点中每个数据区块链的个数数据大于预设数量阈值的对应区块链云服务器节点；
筛选对应区块链云服务器节点中数据区块链的长度数据大于预设长度阈值的对应数据区块链；
将大于预设长度阈值的对应数据区块链作为目标数据区块链，并将所述目标数据区块链所在的对应区块链云服务器节点作为目标区块链云服务器节点；
需要事先说明的是：每个对应数据区块链中每个区块都含有预留存储空间，且该预留存储空间大于预设空间阈值，若存在一条数据区块链不包含大于预设空间阈值的预留存储空间，则不将该数据区块链作为目标数据区块链的筛选范围之内；
数据备份模块120，用于将企业业务数据作为原数据，并对所述原数据进行备份，以得到K个备份原数据，K∈N＊，N＊为正整数集合；
需要说明的是：对所述原数据进行备份的具体备份数量是根据若干个所述目标区块链云服务器节点和至少一条目标数据区块链确定；还需要说明的是，通过对企业业务数据进行一定量的数据备份，本发明有利于实现对企业业务数据高可靠性存储，并根据其进行后续数据处理，有利于实现对企业业务数据的高效率查询调取；
进一步说明就是：所述原数据的备份数量根据目标区块链云服务器节点个数确定，举例来说就是，若目标区块链云服务器节点个数为P，则所述原数据的备份数量就为P，P为大于等于1的正整数；
第一数据分片模块130，用于对K份所述备份原数据进行一次hash分片处理，以获取一次分片处理结果，所述一次分片处理结果包括Q个数据类型的若干个一级切分数据块、对应服务器hash值和服务器的hash索引，Q∈N＊；
具体地，对K份所述备份原数据进行一次hash分片处理，包括：
S301：将每份所述备份原数据划分为若干个普通数据分片；每个所述普通数据分片的大小一致；
S302：根据余弦相似度度量模型计算每个普通数据分片的相似度，对相似度大于预设相似阈值的对应数据分片进行聚类，得到若干个聚类集合，每个聚类集合包含C个元素数据；
需要说明的是：根据余弦相似度度量模型计算每个普通数据分片的相似度前，先人工标定参考数据分片，之后基于所述余弦相似度度量模型进行快速聚类，所述余弦相似度度量模型的公式如下：；式中：/>为相似度系数，区间[0,1]；/>为向量转化后的参考数据分片；B为向量转化后的普通数据分片；通过将备份后的原数据划分为若干个普通数据分片并进行聚类，本发明有利于提高查找时的处理效率；
S303：利用SHA-256哈希函数对每个元素数据执行一次hash计算，以得到Q个数据类型的若干个一级切分数据块、对应服务器hash值和服务器的hash索引；
需要说明的是：本领域技术人员应当了解，任何现有的hash分片处理方法都可用于生成针对数据的hash值，只要所生成的hash值能够区分不同的数据即可；此外，还能够生成针对hash值的索引，并且将索引提供给用户，以用于后续查询，因此本发明对此不做过多赘述；但需要注意的是，本发明一次hash分片处理所生成的hash值和hash值的索引为对应服务器hash值和服务器的hash索引；
还需要说明的是：所述数据类型的数量与聚类集合的数量相一致，举例来说就是，假设存在3份备份原数据，将每个备份原数据按文件内容顺序进行划分生成V个数据类型，那么对应的，将3份备份原数据划分为若干个普通数据分片，再通过余弦相似度度量模型聚类后得到V个聚类集合，每个聚类集合中的C个元素数据的数据内容相同，但每个聚类集合类型不同；再进一步解释就是，通过对3份备份原数据按文件内容顺序划分生成V个数据类型的若干个一级切分数据块，但一级切分数据块分布存储于不同的目标区块链云服务器节点；
时间戳改写模块140，用于根据预设改写规则对每个数据类型的若干个所述一级切分数据块进行时间戳改写处理；
需要说明的是：所述预设改写规则具体是指预设改写顺序规则，即依照备份原数据的内容顺序对每个数据类型的若干个所述一级切分数据块进行时间戳改写处理；进一步说明就是将按照内容顺序依次对每个数据类型的所述一级切分数据进行不同时段的时间戳设定；
具体地，对每个数据类型的若干个所述一级切分数据块进行时间戳改写处理，包括：
获取Q个数据类型的若干个一级切分数据块，根据备份原数据的内容顺序提取每个数据类型中若干个一级切分数据块的时间戳；
根据备份原数据的内容顺序对每个数据类型中若干个一级切分数据块的时间戳进行T个时段的相同时间戳改写；
举例说明就是：假设所述Q个数据类型按照文件内容顺序划分为第一类型、第二类型和第三类型，因此，若需要组成一份备份原数据，只需要提取第一类型、第二类型和第三类型的一个一级切分数据即可得到一份完整备份原数据，进而通过获取每个数据类型中若干个一级切分数据块的时间戳，根据备份原数据的内容顺序设定T个时段（即将Q赋值给T），此时Q等于3，将同一时段的每个数据类型中若干个一级切分数据块的时间戳进行相同改写，则可实现在时间范围上对若干个一级切分数据块的划分，因此，后续查找时仅需提取每个时间段的一级切分数据块即可实现对备份原数据的快速还原，此方式大大提高了企业业务数据分布式存储的高可靠性；
需要说明的是：在对每个数据类型的若干个所述一级切分数据块进行时间戳改写处理后，会根据对应服务器hash值将改写处理后得到的每个数据类型的若干个所述一级切分数据块映射至对应的所述目标区块链云服务器节点中；
第二数据分片模块150，用于对时间戳改写后的每个数据类型的若干个所述一级切分数据块进行二次hash分片处理，以获取二次分片处理结果，所述二次分片处理结果包括G个二级切分数据块、对应区块的处理hash值和区块链的处理hash索引，G∈N＊；
对时间戳改写后的每个数据类型的若干个所述一级切分数据块进行二次hash分片处理，包括：
对每个所述一级切分数据块划分为若干个一级切分子数据块；
利用SHA-256哈希函数对每个一级切分子数据块执行二次hash计算，以得到G个二级切分数据块、对应区块的处理hash值和区块链的处理hash索引；
需要说明的是；利用SHA-256哈希函数对每个一级切分子数据块执行二次hash计算时需要获取目标数据区块链的区块个数；
分布式存储模块160，用于根据对应区块的处理hash值将二级切分数据块映射至对应的所述目标区块链云服务器节点中的至少一条目标数据区块链。
进一步解释说明就是，如图2数据存储示意图所示，A为目标区块链云服务器节点中的一条目标数据区块链，B为映射至对应的所述目标区块链云服务器节点中的二级切分数据链，若A的区块个数为M，则根据M，并利用SHA-256哈希函数对每个一级切分子数据块执行二次hash计算，再对二次hash计算结果进行MOD函数运算，即可得到每个二级切分数据块在目标数据区块链的存储位置，本发明通过将每个二级切分数据块映射至至少一条目标数据区块链的存储位置，从而有利于实现数据存储和数据查询时的并行处理，进而有利于提高对企业数据的分布式存储效率和查询速度；
还需要说明的是：若某一目标数据区块链在对二级切分数据块存储时存在hash冲突，则采用开放寻址法（线性探查法）解决，需要进一步说明的是，本领域人员应当了解hash冲突和开放寻址法的原理以及含义，因此本发明对此不做过多赘述；
通过获取上传的企业业务数据，并对其生成多个备份原数据，本发明有利于解决现有分布式存储过程中一旦某一存储节点出现故障，易导致云数据的不可逆性丢失的问题，且有利于提高分布式存储可靠性，之后针对多个备份原数据进行一次分片处理并进行聚类分析，以获取多个数据类型的若干个一级切分数据块，之后对多个数据类型的若干个一级切分数据块进行时间戳改写，本发明有利于通过改写后的时间戳实现在后续查找时对分布式数据的快速还原；接着再将改写时间戳后的一级切分数据块映射至对应的所述目标区块链云服务器节点后进行二次hash分片处理，根据二次hash分片处理得到对应区块的处理hash值，将若干个二级切分数据映射至对应的所述目标区块链云服务器节点中的至少一条目标数据区块链中，本发明能够在保证数据存储安全，同时保证数据的高可靠性和高可还原性，从而能够满足现有SaaS软件用户对数据的高可用需求。
实施例二
请参阅图3示，本实施例是在实施例一的基础上作出的进一步延伸，考虑到基于SaaS模式的企业业务数据需要快速查找还原以满足企业业务运行需求，因此本实施例主要是围绕对分布式存储后的企业业务数据进行查询而作出的方案设计，同时引入外界因素对查找还原的影响，本实施例公开提供了引入SaaS特征的云数据放置策略管理系统，所述系统还包括：
第二数据获取模块210，用于获取SaaS客户端发送的查找还原请求；
数据提取模块220，基于查找还原请求提取每个所述目标区块链云服务器节点的当前状态信息，以及所述SaaS提供商云服务器与每个目标区块链云服务器节点之间的当前网络状态信息，所述当前状态信息包括当前节点进程数和当前节点响应时间；所述当前网络状态信息包括当前网络延迟和当前数据丢包率；
分析处理模块230，用于根据当前状态信息和当前网络状态信息进行分析，以筛选出最优目标区块链云服务器节点；
具体地，根据当前状态信息和当前网络状态信息进行分析，包括：
获取每个目标区块链云服务器节点的节点总进程数和最快响应时间，以及SaaS提供商云服务器与每个目标区块链云服务器节点之间的最低网络延迟和最低数据丢包率；
分别将节点总进程数与当前节点进程数的差值作为进程系数Spc，将最快响应时间与当前节点响应时间的差值作为时间系数Rtc，将最低网络延迟与当前网络延迟的差值作为延迟系数Nlc，将最低数据丢包率与当前数据丢包率的差值作为丢包系数Plc；
对进程系数Spc、时间系数Rtc、延迟系数Nlc和丢包系数Plc无量纲化处理后进行公式化计算，以获取查找状态评价系数QT，其计算公式为： ，式中：/>为权重影响因子，/>；
设置状态评价阈值KT，将状态评价阈值KT与查找状态评价系数QT进行比较，以获取比较结果；
需要说明的是：将状态评价阈值KT与查找状态评价系数QT进行分析处理的具体过程如下：设置状态评价阈值KT，将查找状态评价系数QT与状态评价阈值KT进行比对，若查找状态评价系数QT大于状态评价阈值KT，则表示对应目标区块链云服务器节点还原出所述企业业务数据的可能性低，若查找状态评价系数QT小于状态评价阈值KT，则表示对应目标区块链云服务器节点还原出所述企业业务数据的可能性高；
根据比较结果将查找状态评价系数QT小于状态评价阈值KT，且查找状态评价系数QT与状态评价阈值KT差值最大的对应目标区块链云服务器节点作为最优目标区块链云服务器节点；
需要说明的是：所述最优目标区块链云服务器节点不仅限于一个，其具体数量根据按文件内容顺序划分生成的若干个数据类型确定，进一步说明就是，当一份备份原数据被划分为a段，每段存储于不同的目标区块链云服务器节点中，则此时的最优目标区块链云服务器节点为a个；
查找还原模块240，用于根据对应区块的处理hash值、区块链的处理hash索引、对应服务器hash值和服务器的hash索引对最优目标区块链云服务器节点进行数据查找还原；
在本实施例中，所述系统还包括hash索引替代模块250，所述hash索引替代模块250用于将目标数据区块链的原始hash值、原始hash索引对对应区块的处理hash值和区块链的处理hash索引进行替代；通过将目标数据区块链的原始hash值、原始hash索引对对应区块的处理hash值和区块链的处理hash索引进行替代，本发明有利于消除通过开放寻址法解决hash冲突而遗留的数据查找还原效率低的问题；
需要说明的是：所述原始hash值的数量根据目标数据区块链的区块个数确定，所述原始hash值和原始hash索引与对应区块的处理hash值和区块链的处理hash索引并不一致，所述原始hash值和原始hash索引为目标区块链云服务器节点中目标数据区块链的原始hash值和原始hash索引，所述对应区块的处理hash值和区块链的处理hash索引通过第二数据分片模块150处理得到，因此本发明将二级切分数据块通过目标数据区块链进行存储，进而可以通过获取目标数据区块链原始hash值和原始hash索引进行数据查找还原，从而大大提高了数据查找还原的速度和效率；进一步说明就是：在第二数据分片模块150处理得到对应区块的处理hash值和区块链的处理hash索引后，将对应区块的处理hash值和区块链的处理hash索引与对应目标数据区块链的原始hash值和原始hash索引进行匹配标记，之后将对应目标数据区块链的原始hash值和原始hash索引替换成对应区块的处理hash值和区块链的处理hash索引，由于原始hash值和原始hash索引链接于对应目标数据区块链中每个区块，因此在查找还原时直接利用原始hash值和原始hash索引，有利于解决hash冲突而遗留的数据查找还原效率低的问题；
所述查找还原模块240还用于根据原始hash值和原始hash索引、对应服务器hash值和服务器的hash索引对最优目标区块链云服务器节点进行数据查找还原；
通过引入外界因素对查找还原时影响进行分析，根据分析结果选择最优目标区块链云服务器节点，本发明有利于筛选多个备份目标区块链云服务器节点中最优目标区块链云服务器节点，进而提高数据查找还原时的效率，此外通过将目标数据区块链的原始hash值、原始hash索引对对应区块的处理hash值和区块链的处理hash索引进行替代，本发明有利于消除通过开放寻址法解决hash冲突而遗留的数据查找还原效率低的问题，进一步提高数据查找还原时的效率，从而满足现有SaaS软件用户对数据的高效还原的需求。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.引入SaaS特征的云数据放置策略管理系统，所述系统应用于SaaS提供商云服务器中，所述SaaS提供商云服务器与若干个目标区块链云服务器节点远程通信连接，每个目标区块链云服务器节点中包括至少一条目标数据区块链，其特征在于，包括：
第一数据获取模块，用于获取上传的企业业务数据，以及获取若干个目标区块链云服务器节点中至少一条目标数据区块链的原始hash数据，所述原始hash数据包括至少一条目标数据区块链的区块个数、对应区块的原始hash值和原始hash索引；
数据备份模块，用于将企业业务数据作为原数据，并对所述原数据进行备份，以得到K个备份原数据，K∈N＊，N＊为正整数集合，所述原数据的备份数量根据目标区块链云服务器节点个数确定；
第一数据分片模块，用于对K份所述备份原数据进行一次hash分片处理，以获取一次分片处理结果，所述一次分片处理结果包括Q个数据类型的若干个一级切分数据块、对应服务器hash值和服务器的hash索引，Q∈N＊，包括：
将每份所述备份原数据划分为若干个普通数据分片；
根据余弦相似度度量模型计算每个普通数据分片的相似度，对相似度大于预设相似阈值的对应数据分片进行聚类，得到若干个聚类集合，每个聚类集合包含C个元素数据；
利用SHA-256哈希函数对每个元素数据执行一次hash计算，以得到Q个数据类型的若干个一级切分数据块、对应服务器hash值和服务器的hash索引；所述数据类型的数量与聚类集合的数量相一致，一级切分数据块分布存储于不同的目标区块链云服务器节点；
时间戳改写模块，用于根据预设改写规则对每个数据类型的若干个所述一级切分数据块进行时间戳改写处理，包括：
获取Q个数据类型的若干个一级切分数据块，根据备份原数据的内容顺序提取每个数据类型中若干个一级切分数据块的时间戳；
根据备份原数据的内容顺序对每个数据类型中若干个一级切分数据块的时间戳进行T个时段的相同时间戳改写，T∈N＊；在对每个数据类型的若干个所述一级切分数据块进行时间戳改写处理后，会根据对应服务器hash值将改写处理后得到的每个数据类型的若干个所述一级切分数据块映射至对应的所述目标区块链云服务器节点中；
第二数据分片模块，用于对时间戳改写后的每个数据类型的若干个所述一级切分数据块进行二次hash分片处理，以获取二次分片处理结果，所述二次分片处理结果包括G个二级切分数据块、对应区块的处理hash值和区块链的处理hash索引，G∈N＊；
分布式存储模块，用于根据对应区块的处理hash值将二级切分数据块映射至对应的所述目标区块链云服务器节点中的至少一条目标数据区块链。
2.根据权利要求1所述的引入SaaS特征的云数据放置策略管理系统，其特征在于，所述目标区块链云服务器节点的确定过程具体如下：
获取若干个区块链云服务器节点中若干个数据区块链的基本信息，所述基本信息包括数据区块链的个数数据和数据区块链的长度数据；
筛选每个区块链云服务器节点中每个数据区块链的个数数据大于预设数量阈值的对应区块链云服务器节点；
筛选对应区块链云服务器节点中数据区块链的长度数据大于预设长度阈值的对应数据区块链；
将大于预设长度阈值的对应数据区块链作为目标数据区块链，并将所述目标数据区块链所在的对应区块链云服务器节点作为目标区块链云服务器节点。
3.根据权利要求2所述的引入SaaS特征的云数据放置策略管理系统，其特征在于，对时间戳改写后的每个数据类型的若干个所述一级切分数据块进行二次hash分片处理，包括：
对每个所述一级切分数据块划分为若干个一级切分子数据块；
利用SHA-256哈希函数对每个一级切分子数据块执行二次hash计算，以得到G个二级切分数据块、对应区块的处理hash值和区块链的处理hash索引。
4.根据权利要求3所述的引入SaaS特征的云数据放置策略管理系统，其特征在于，还包括：
第二数据获取模块，用于获取SaaS客户端发送的查找还原请求；
数据提取模块，基于查找还原请求提取每个所述目标区块链云服务器节点的当前状态信息，以及所述SaaS提供商云服务器与每个目标区块链云服务器节点之间的当前网络状态信息；所述当前状态信息包括当前节点进程数和当前节点响应时间；所述当前网络状态信息包括当前网络延迟和当前数据丢包率；
分析处理模块，用于根据当前状态信息和当前网络状态信息进行分析，以筛选出最优目标区块链云服务器节点；
查找还原模块，用于根据对应区块的处理hash值、区块链的处理hash索引、对应服务器hash值和服务器的hash索引对最优目标区块链云服务器节点进行数据查找还原。
5.根据权利要求4所述的引入SaaS特征的云数据放置策略管理系统，其特征在于，根据当前状态信息和当前网络状态信息进行分析，包括：
获取每个目标区块链云服务器节点的节点总进程数和最快响应时间，以及SaaS提供商云服务器与每个目标区块链云服务器节点之间的最低网络延迟和最低数据丢包率；
分别将节点总进程数与当前节点进程数的差值作为进程系数Spc，将最快响应时间与当前节点响应时间的差值作为时间系数Rtc，将最低网络延迟与当前网络延迟的差值作为延迟系数Nlc，将最低数据丢包率与当前数据丢包率的差值作为丢包系数Plc；
对进程系数Spc、时间系数Rtc、延迟系数Nlc和丢包系数Plc无量纲化处理后进行公式化计算，以获取查找状态评价系数QT；
设置状态评价阈值KT，将状态评价阈值KT与查找状态评价系数QT进行比较，以获取比较结果；
根据比较结果将查找状态评价系数QT小于状态评价阈值KT，且查找状态评价系数QT与状态评价阈值KT差值最大的对应目标区块链云服务器节点作为最优目标区块链云服务器节点。
6.根据权利要求5所述的引入SaaS特征的云数据放置策略管理系统，其特征在于，还包括：
hash索引替代模块，用于将目标数据区块链的原始hash值、原始hash索引对对应区块的处理hash值和区块链的处理hash索引进行替代。
7.根据权利要求6所述的引入SaaS特征的云数据放置策略管理系统，其特征在于，所述查找还原模块还用于根据原始hash值、原始hash索引、对应服务器hash值和服务器的hash索引对最优目标区块链云服务器节点进行数据查找还原。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310553883.8A CN116319815B (zh) | 2023-05-17 | 2023-05-17 | 引入SaaS特征的云数据放置策略管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310553883.8A CN116319815B (zh) | 2023-05-17 | 2023-05-17 | 引入SaaS特征的云数据放置策略管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116319815A CN116319815A (zh) | 2023-06-23 |
| CN116319815B true CN116319815B (zh) | 2023-08-04 |
Family
ID=86799940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310553883.8A Active CN116319815B (zh) | 2023-05-17 | 2023-05-17 | 引入SaaS特征的云数据放置策略管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116319815B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117555904B (zh) * | 2024-01-05 | 2024-03-26 | 杭银消费金融股份有限公司 | 一种异构环境下精确数据截面快速构建获取方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256663A (zh) * | 2020-10-30 | 2021-01-22 | 深圳壹账通智能科技有限公司 | 基于区块链的分布式文件存储方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273410B (zh) * | 2017-05-03 | 2020-07-07 | 上海点融信息科技有限责任公司 | 基于区块链的分布式存储 |
| CN109165190A (zh) * | 2018-07-11 | 2019-01-08 | 南京邮电大学 | 一种基于区块链智能合约的电子数据存证方法 |
| CN111797068A (zh) * | 2020-07-21 | 2020-10-20 | 浙江同善人工智能技术有限公司 | 一种基于区块链和ipfs的物联网数据管理系统和方法 |
| US11632255B2 (en) * | 2020-09-19 | 2023-04-18 | Radu VESTEMEAN | Method and system for storing and retrieving electronic files using blockchains |
| CN115408715A (zh) * | 2022-08-31 | 2022-11-29 | 云南电网有限责任公司信息中心 | 基于区块链和ipfs的异构数据处理系统、方法及设备 |
| CN115757280A (zh) * | 2022-11-08 | 2023-03-07 | 冯高华 | 一种基于分布式文档存储的云文档管理系统 |
-
2023
- 2023-05-17 CN CN202310553883.8A patent/CN116319815B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256663A (zh) * | 2020-10-30 | 2021-01-22 | 深圳壹账通智能科技有限公司 | 基于区块链的分布式文件存储方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116319815A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10417191B2 (en) | Transmitting filesystem changes over a network | |
| US7478113B1 (en) | Boundaries | |
| CN106100902B (zh) | 云端指标监控方法和装置 | |
| US20220132213A1 (en) | Hybrid Blockchains and Streamchains Using Non-Crypto Hashes for Securing Audio-, Video-, Image-, and Speech-Based Transactions and Contracts | |
| CN107220559B (zh) | 一种针对不可篡改文件的加密存储方法 | |
| EP2256934A1 (en) | Method and apparatus for content-aware and adaptive deduplication | |
| CN116319815B (zh) | 引入SaaS特征的云数据放置策略管理系统 | |
| CN102016789A (zh) | 数据处理装置和处理数据的方法 | |
| CN109634959B (zh) | 一种区块索引方法及区块索引装置 | |
| CN116451263B (zh) | 硬盘数据的储存方法、装置、设备及存储介质 | |
| CN109947730B (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
| CN102722584A (zh) | 数据存储系统及方法 | |
| CN112685436A (zh) | 一种溯源信息处理方法及装置 | |
| JP2022553130A (ja) | 温度データを格納及び収集するための方法、システム、電子機器及び記憶媒体 | |
| CN110515895B (zh) | 大数据存储系统中对数据文件进行关联存储的方法及系统 | |
| CN115422479A (zh) | 轨迹关联方法、装置、电子设备及机器可读存储介质 | |
| Pahade et al. | A survey on multimedia file carving | |
| KR101667756B1 (ko) | 아카이브 파일 중복 제거 장치 및 방법 | |
| CN112965980A (zh) | 信息存储方法及装置 | |
| Du et al. | Deduplicated disk image evidence acquisition and forensically-sound reconstruction | |
| CN112214801A (zh) | 电子取证管理方法、电子取证设备和计算机可读存储介质 | |
| CN109886318B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN114185952A (zh) | 一种数据找回方法、装置、电子设备及存储介质 | |
| CN112148920A (zh) | 数据管理方法 | |
| CN111368115B (zh) | 数据聚类方法、装置、聚类服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231218 Address after: No. 888, South Section of Tianfu Avenue, Huayang Street, Tianfu New District, Chengdu City, Sichuan Province, 610000, with OL-07-202211050 attached Patentee after: Chengdu Bosi Hengyi Technology Co.,Ltd. Address before: 16th Floor, Building K, No. 19 Ningshuang Road, Yuhuatai District, Nanjing City, Jiangsu Province, 210046 Patentee before: Yiling Jiangsu Big Data Co.,Ltd. |
|
| TR01 | Transfer of patent right |