CN112653539B - 一种待存储数据的存储方法、装置以及设备 - Google Patents
一种待存储数据的存储方法、装置以及设备 Download PDFInfo
- Publication number
- CN112653539B CN112653539B CN202011596241.9A CN202011596241A CN112653539B CN 112653539 B CN112653539 B CN 112653539B CN 202011596241 A CN202011596241 A CN 202011596241A CN 112653539 B CN112653539 B CN 112653539B
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- sub
- server
- dividing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种待存储数据的存储方法、装置以及设备,在处理待上传数据时,所需上传的数据块之间存在重复的数据,因此,可在一定程度上避免部分数据块在上传过程中出现数据丢失导致服务器侧接收到的待上传数据存在数据丢失的情况。本申请提供的一种待存储数据的存储方法,包括:获取待存储数据,其中,待存储数据为数据存储系统待存储的数据;将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据整体的数据相较于待存储数据存在具有重复的数据;将多个子待存储数据发送至服务器,以使得服务器基于多个子待存储数据存储待存储数据,其中,服务器包含于数据存储系统。
Description
技术领域
本申请涉及数据存储领域,具体涉及一种待存储数据的存储方法、装置以及设备。
背景技术
在网络服务中,经常存在需要进行数据上传的情况,例如在线上数据库中进行商业数据的云存储、资源数据的共享等情况,而由于网络传输能力的限制,经常会导致上传失败或者上传异常的情况,尤其大数据的上传容易受到网络波动的影响,导致出现丢包、掉线的问题。
在上述背景下,为更好地适应如今大数据的上传场景,则引入了切片上传机制,将本地待上传的大数据进行切片、分割,得到多个的数据块,再将这些数据块进行上传,服务器侧可将这些数据块进行组合,得到原来的大数据,在这过程中,由于将大数据分为了多个数据块,因此更便于断点续传以及断线重连。
而在现有的相关技术的研究过程中,发明人发现,尽管采用了切片上传机制,但是上传至服务器的部分数据块仍可能在上传过程中出现数据丢失的情况,因此,还需在识别出现数据异常的数据块后,重新上传该数据块,需要重新发起数据上传。
发明内容
本申请提供了一种待存储数据的存储方法、装置以及设备,在处理待上传数据时,所需上传的数据块之间存在重复的数据,因此,可在一定程度上避免部分数据块在上传过程中出现数据丢失导致服务器侧接收到的待上传数据存在数据丢失的情况。
第一方面,本申请提供了一种待存储数据的存储方法,方法包括:
获取待存储数据,其中,待存储数据为数据存储系统待存储的数据;
将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据整体的数据相较于待存储数据存在具有重复的数据;
将多个子待存储数据发送至服务器,以使得服务器基于多个子待存储数据存储待存储数据,其中,服务器包含于数据存储系统。
结合本申请第一方面,在本申请第一方面第一种可能的实现方式中,将待存储数据进行分割处理,得到多个子待存储数据,包括:
确定多个分割区间,其中,至少两个分割区间之间存在重叠;
按照多个分割区间从待存储数据中分割出多个子存储数据。
结合本申请第一方面,在本申请第一方面第二种可能的实现方式中,多个待存储数据按照待存储数据中数据的存储顺序构成数据序列,至少一组相邻次序的子待存储数据之间存在重叠。
结合本申请第一方面,在本申请第一方面第三种可能的实现方式中,将待存储数据进行分割处理,得到多个子待存储数据,包括:
确定分割数量以及数据重复比例;
按照分割数量以及数据重复比例,将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据的数据量大小是等同的。
结合本申请第一方面,在本申请第一方面第四种可能的实现方式中,将多个子待存储数据发送至服务器之前,方法还包括:
为多个子待存储数据配置分割标识,其中,分割标识用于标识子待存储数据在待存储数据中的分割范围;
按照待存储数据的分割策略,对预设的秘钥进行分割处理,得到多个子秘钥,其中,秘钥用于加密处理以及解密处理;
根据每个子待存储数据具有相同分割范围的子秘钥,对每个子待存储数据进行加密处理。
结合本申请第一方面,在本申请第一方面第五种可能的实现方式中,服务器包括多个子服务器,将多个子待存储数据发送至服务器,包括:
将多个子待存储数据发送至不同的子服务器,以使得多个子服务器分别存储接收到的子待存储数据。
结合本申请第一方面,在本申请第一方面第六种可能的实现方式中,数据存储系统是基于区块链平台搭建得到的,服务器为区块链平台中的区块链节点设备,将多个子待存储数据发送至服务器,包括:
将多个子待存储数据作为待上链数据,发送至服务器,进行多个子待存储数据的上链。
第二方面,本申请提供了一种待存储数据的存储装置,装置包括:
获取单元,用于获取待存储数据,其中,待存储数据为数据存储系统待存储的数据;
分割单元,用于将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据整体的数据相较于待存储数据存在具有重复的数据;
发送单元,用于将多个子待存储数据发送至服务器,以使得服务器基于多个子待存储数据存储待存储数据,其中,服务器包含于数据存储系统。
结合本申请第二方面,在本申请第二方面第一种可能的实现方式中,分割单元,具体用于:
确定多个分割区间,其中,至少两个分割区间之间存在重叠;
按照多个分割区间从待存储数据中分割出多个子存储数据。
结合本申请第二方面,在本申请第二方面第二种可能的实现方式中,多个待存储数据按照待存储数据中数据的存储顺序构成数据序列,至少一组相邻次序的子待存储数据之间存在重叠。
结合本申请第二方面,在本申请第二方面第三种可能的实现方式中,分割单元,具体用于:
确定分割数量以及数据重复比例;
按照分割数量以及数据重复比例,将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据的数据量大小是等同的。
结合本申请第二方面,在本申请第二方面第四种可能的实现方式中,装置还包括加密单元,用于:
为多个子待存储数据配置分割标识,其中,分割标识用于标识子待存储数据在待存储数据中的分割范围;
按照待存储数据的分割策略,对预设的秘钥进行分割处理,得到多个子秘钥,其中,秘钥用于加密处理以及解密处理;
根据每个子待存储数据具有相同分割范围的子秘钥,对每个子待存储数据进行加密处理。
结合本申请第二方面,在本申请第二方面第五种可能的实现方式中,服务器包括多个子服务器,发送单元,具体用于:
将多个子待存储数据发送至不同的子服务器,以使得多个子服务器分别存储接收到的子待存储数据。
结合本申请第二方面,在本申请第二方面第六种可能的实现方式中,数据存储系统是基于区块链平台搭建得到的,服务器为区块链平台中的区块链节点设备,发送单元,具体用于:
将多个子待存储数据作为待上链数据,发送至服务器,进行多个子待存储数据的上链。
第三方面,本申请还提供了一种待存储数据的存储设备,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面,本申请还提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出,本申请具有以下的有益效果:
对于线上的数据存储系统,本申请则引入了一种新的切片机制,当获取到数据存储系统待的待存储数据时,将该待存储数据进行分割处理,在分割处理中,分割出的子待存储数据之间存在重复的数据,将这些子待存储数据上传至数据存储系统中的服务器中后,这些上传的子待存储数据由于存在重复的数据,当某一子待存储数据中的数据存在数据丢失等数据异常情况时,由于在其它的子待存储数据中仍有相应的重复数据,因此仍可正常组合、还原得到原先的待存储数据,如此可看出,本申请可在一定程度上避免部分数据块在上传过程中出现数据丢失导致服务器侧接收到的待上传数据存在数据丢失的情况。
附图说明
图1为本申请待存储数据的存储方法的一种流程示意图;
图2为本申请分割处理的一种流程示意图;
图3为本申请加密处理的一种流程示意图;
图4为本申请待存储数据的存储装置的一种结构示意图;
图5为本申请待存储数据的存储设备的一种结构示意图。
具体实施方式
首先,在介绍本申请之前,先介绍下本申请关于应用背景的相关内容。
本申请提供的待存储数据的存储方法、装置以及计算机可读存储介质,可应用于待存储数据的存储设备上,在处理待上传数据时,所需上传的数据块之间存在重复的数据,因此,可在一定程度上避免部分数据块在上传过程中出现数据丢失导致服务器侧接收到的待上传数据存在数据丢失的情况。
本申请提及的待存储数据的存储方法,其执行主体可以为待存储数据的存储装置,或者集成了该待存储数据的存储装置的服务器设备、物理主机或者用户设备(UserEquipment,UE)等不同类型的待存储数据的存储设备,其中,待存储数据的存储装置可以采用硬件或者软件的方式实现,UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant,PDA)等终端设备,待存储数据的存储设备还可以以设备集群的形式配置。
下面,开始介绍本申请提供的待存储数据的存储方法。
图1示出了本申请待存储数据的存储方法的一种流程示意图,如图1示出的,本申请提供的待存储数据的存储方法,具体可包括如下步骤:
步骤S101,获取待存储数据,其中,待存储数据为数据存储系统待存储的数据;
步骤S102,将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据整体的数据相较于待存储数据存在具有重复的数据;
步骤S103,将多个子待存储数据发送至服务器,以使得服务器基于多个子待存储数据存储待存储数据,其中,服务器包含于数据存储系统。
从上述图1所示实施例可看出,对于线上的数据存储系统,本申请则引入了一种新的切片机制,当获取到数据存储系统待的待存储数据时,将该待存储数据进行分割处理,在分割处理中,分割出的子待存储数据之间存在重复的数据,将这些子待存储数据上传至数据存储系统中的服务器中后,这些上传的子待存储数据由于存在重复的数据,当某一子待存储数据中的数据存在数据丢失等数据异常情况时,由于在其它的子待存储数据中仍有相应的重复数据,因此仍可正常组合、还原得到原先的待存储数据,如此可看出,本申请可在一定程度上避免部分数据块在上传过程中出现数据丢失导致服务器侧接收到的待上传数据存在数据丢失的情况。
以下继续对图1所示的各步骤以及在实际应用中可能采用的具体实施方式进行详细阐述:
在本申请中,数据存储系统,可以理解为由一个或者多个的服务器搭建得到的数据库,当线下的设备存在数据上传需求时,则可触发本申请所提供的待存储数据的存储方法,将待存储数据进行分割,并上传至服务区,以在数据存储系统中进行存储。
其中,该触发本申请所提供的待存储数据的存储方法的线下设备,则可作为本申请所提供的待存储数据的存储设备,该设备在实际应用中,对应不同的数据存储场景,可以为任意类型的设备。
进一步的,在实际应用中,该设备也可以包括于数据存储系统,当本地接收到需要进行存储的数据时,触发本申请提供的待存储数据的存储方法,进行存储处理。
或者,该设备也可以为数据存储系统之外的设备,当本地具有数据的存储需求,或者接收到其他设备发送过来的具有存储需求的数据,则可触发本申请提供的待存储数据的存储方法,进行存储处理。
待存储数据的获取,可根据实际需求配置不同的获取方式。
例如,可接收其他设备发送过来的存储请求,该存储请求可直接携带请求存储的待存储数据;或者,请求中也可携带请求存储的待存储数据的存储地址,例如访问地址或者其他类型的地址标识,根据该存储地址调取到待存储数据后再进行存储处理。
又例如,本地的相关应用程序在运行时,可触发存储处理,比如说视频监控设备所监控得到的视频数据,可定时上传至数据存储系统供视频监控使用;办公系统将本地更新的商业数据,上传至数据存储系统以进行数据实时同步。
又例如,可在用户的手动触发下,查找或者读取所需存储的数据,并进行存储处理。
而当完成待存储数据的存储处理后,数据存储系统中的存储有之前上传的待存储数据的服务器,则可提供数据查询或者数据下载服务,以对应存储需求实现如数据存储功能、数据下载功能、数据同步功能、数据共享功能、数据溯源功能、数据举证功能等不同的数据处理功能。
如此可以理解的是,在本申请中,待存储数据、待存储数据的处理设备以及数据存储系统,其可随实际中的应用场景的不同,而存在相应的调整,本申请具体在此不做限定。
以上介绍了相关的应用场景,以下内容则介绍本申请涉及的对待存储数据所执行的分割处理。
在本申请中,首先可以获知的是,对待存储数据执行分割处理后得到了多个子待存储数据,这些子待存储数据之间存在了重复的数据,换句话说,这些子待存储数据之间存在重叠的情况,其数据量,相比于原先的、完整的待存储数据更大,该情况下所多出来的数据量主要是由于重复的数据所造成的。
而由于子待存储数据之间存在重复的数据,上传至数据存储系统的服务器后,当某一子待存储数据中的数据存在数据丢失等数据异常情况时,由于在其它的子待存储数据中仍有相应的重复数据,因此仍可正常组合、还原得到原先的待存储数据。
当然,应当理解的是,本申请所实现的分片上传机制,为尽可能减少数据上传过程中由于数据丢失等数据异常情况所导致的数据损失,在实际应用中,若出现严重的网络波动等异常情况,导致子待存储数据之间重复的数据若都存在数据丢失等异常情况时,则可能还是会导致整体上(或者说组合后、还原后的待存储数据)存在数据丢失等数据异常情况的,而该情况下,由于子存储数据之间存在重复的数据,因此尽管发生了数据丢失等数据异常情况,在实际中也很可能减少了数据损失量。
此时,可让待存储数据的存储设备本地重新进行分割处理并上传;或者,也可让待存储数据的存储设备根据存在数据丢失等异常情况的数据位置,进行针对性的新的分割处理,从设备本地的待存储数据中分割出当前服务器侧存在数据丢失等异常情况的数据的原数据,再次上传进行存储。
如此可看出,在执行本申请所提供的待存储数据的存储方法时,其执行对象不仅可以为首次进行存储的待存储数据,也可以为二次甚至N次进行存储的待存储数据(比如说当前的待存储数据X2和原先的待存储数据X1可能是不同的,换句话说,待存储数据X2包含于待存储数据X1),而在存储过程中,由于本申请引入的分片上传机制,尽可能减少了数据上传过程中由于数据丢失等数据异常情况所导致的数据损失,从而可减少存储处理的执行次数,提高了存储质量。
而在分割处理中具体所采用的分割策略,在实际应用中,可存在多种实施方式。
举例而言,在实际应用中,可配置分割区间的方式进行分割。参阅图2示出的本申请分割处理的一种流程示意图,本申请所提供的分割处理,具体可包括步骤S201以及步骤S202:
步骤S201,确定多个分割区间,其中,至少两个分割区间之间存在重叠;
举例而言,分割区间可通过分割比例的形式进行配置,例如将待存储数据分割成两份子待存储数据,第一份数据可以存储待存储数据中前60%的数据,第二份数据可以存储待存储数据中后55%的数据。
此时若发生数据丢失等异常情况,比如说第一份数据损失了前55%至前60%之间的部分数据,由于第二份数据中也包括了该前55%至前60%之间的数据,因此两份数据加起来并未存在数据损失的情况。
又比如说,第一份数据损失了前50%至前55%之间的部分数据,则是由于第二份数据中未包含前50%至前55%之间的数据,因此可重新进行分割处理,将待存储数据中前60%的数据重新上传;或者,进行新的分割处理,将待存储数据中前50%至前55%之间的数据进行上传。
又例如,若将待存储数据分割成三份子待存储数据,第一份数据以及第二份数据分别存储了待存储数据的前60%、前55%的数据,而第三份数据则存储待存储数据的后55%数据,此时,若第一份数据、第二分数据其中一份数据存在数据丢失等数据异常情况,情况下,也可与第三份数据结合,保证数据的完整性。
其中,在上述内容中可以看出的是,为便于实际应用,存在一种情况,即,多个待存储数据是按照待存储数据中数据的存储顺序构成数据序列,至少一组相邻次序的子待存储数据之间存在重叠。
该存储顺序,可以理解为待存储数据中在进行数据读取或者数据存储的顺序,并以该顺序可方便地在0%-100%之间进行分割比例、分割空间甚至分割策略的配置。
当然,在实际应用中,分割区间,可以是由用户人工选定的,或者随机配置的,其具体的分割位置以及重叠位置都可实际情况调整。
并且,当前所进行的分割处理,其分割区间可以是当前配置的,也可以为预先配置的分割区间或者为历史分割区间。
步骤S202,按照多个分割区间从待存储数据中分割出多个子存储数据。
当确定了当前的分割区间后,则可根据不同分割区间的区间位置,从待存储数据中分割出不同的子存储数据。
而在另外一种实施方式中,除了可直接配置分割区间来根据分割区间的方式进行分割处理,在确定当前的待存储数据后,确定其分割数量或者数据重复比例等考虑元素,来实时分配分割区间甚至分割策略。
例如,前后两个分割区间,重叠了50%区间范围,对应的,这前后两个分割区间所分割得到的两个子待存储数据,重复了50%的数据量。
又例如,预先配置了10份的分割数量,此时则可采用随机配置的方式,得到10个分割区间,这10个分割区间组合可得到0%-100%的完整区间。
当然,根据考虑因素具体如何进行分割区间的配置,以及具体根据哪些考虑因素进行分割区间的配置,可随实际需要调整,在此不做限定。
作为一种便于设备快速执行的一种实时方式,在实际应用中,可采用数据量均分的分割方式,以上述的分割区间为例,这些分割区间的区间大小为固定、等同的,对应的,根据这些分割区间所分割得到的子待存储数据,在数据量大小上是等同的,通过配置为等同数据量的分割方式,如此,提供一种简洁的分割方式。
以上述提及的分割数量以及数量重复比例两个参考因素为例,在确定当前分割处理的分割舒朗以及数据重复比例后,可在数据量大小等同的分割基准下,按照分割数量以及数据重复比例,将待存储数据进行分割处理,如此可的大多等同数据量大小的子待存储数据。
此外,值得说明的是,为提高数据安全性,还可为子待存储数据进行加密处理,加密处理所使用的预设秘钥,其可以为固定的秘钥,例如数据存储系统的部分节点或者各个节点可以通用一个秘钥;或者可以为待存储数据的处理设备通过预先配置的秘钥生成策略所生成的秘钥,例如随机生成的秘钥,如此仅为待存储数据的处理设备可知晓解密子待存储数据所需的秘钥,当然,该秘钥也可由待存储数据的处理设备告知其他设备,例如告知存储待存储数据的服务器、告知从服务器下载待存储数据的设备。
其中,该秘钥,容易理解的,是用来执行加密处理以及解密处理的,当根据该秘钥对子待存储数据执行加密处理后,处于加密状态的子待存储数据也可用于该秘钥进行解密处理,如此解密后方可查看子待存储数据的数据内容。
为进一步地提高数据安全性,对应于待存储数据分割得到的不同子待存储数据,还可为这些子待存储数据配置不同的秘钥。
参阅图3示出的本申请加密处理的一种流程示意图,在本申请中,子待存储数据所涉及的加密处理,具体可包括:
步骤301,为多个子待存储数据配置分割标识,其中,分割标识用于标识子待存储数据在待存储数据中的分割范围;
可以理解,在对子待存储数据加密后,若未加密、看到子待存储数据的数据内容,则难以确定其数据内容,或者说,难以确定子待存储数据在原来的待存储数据中的数据范围。
因此,对应于引入的加密处理,可为子待存储数据配置分割标识,如此在对待存储数据执行分割处理后,可根据分割处理所涉及的分割范围,形成分割标识的标识内容,通过分割标识,即可直接获知当前子待存储数据在原来的待存储数据中的分割范围。
例如,标识的内容可以为“前60%的数据”、“后55%的数据”、“[0,0.35]”、“[0.8,1]”等。
具体的,分割标识可以配置在子待存储数据的数据名称或者配置数据等数据内容。
步骤302,按照待存储数据的分割策略,对预设的秘钥进行分割处理,得到多个子秘钥,其中,秘钥用于加密处理以及解密处理;
在本申请中,作为一种适于实用的实施方案,对应于待存储数据的分割处理,还可将原来的秘钥执行相同的分割处理,具体的,可调取待存储数据在分割处理中所遵守的分割策略,对预设的秘钥进行分割处理,如此也可得到多个子秘钥。
步骤303,根据每个子待存储数据具有相同分割范围的子秘钥,对每个子待存储数据进行加密处理。
在当前情况下,显然,由于执行的是相同的分割策略,或者说执行了相同分割范围,因此形成了多组具有一一配对关系的子待存储数据以及子秘钥,而在该配对关系下,则可根据每个子待存储数据所配对的子秘钥,对每个子待存储数据进行加密处理。
后续,在服务器侧,或者通过服务器调取、下载处于加密状态的子待存储数据时,由于子待存储数据配置了分割标识,可确定子待存储数据的分割范围,因此,基于该分割范围,则可将数据存储系统的部分节点或者各个节点公开的秘钥,或者获知到的秘钥,进行与当前子待存储数据相同的分割处理,得到相同分割范围的子秘钥,如此,即可根据该子秘钥进行解密处理,查看子待存储数据的数据内容。
在该设置下,显然,由于秘钥也引入的分割处理,因此,子秘钥相较于原先的秘钥,具有更为灵活的配置方式,对于数据存储系统的内部或者数据存储服务的服务方而言,省去了记载不同秘钥的繁琐操作,此外,由于不同子待存储数据都具有唯一性的子秘钥,这也进一步提高了破解秘钥的难度,从而提高了数据安全性。
在进行分割处理得到多个子待存储数据后(包括上述提及的进行过加密的多个子待存储数据),则可将其进行上传至数据存储系统中的服务器,可以理解的是,对于数据存储系统,还可进行分布式存储,如此减少个别服务器节点由于存储大量数据形成的工作负荷(当进行下载服务时也可通过分布式下载来减少个别服务器节点的工作负荷)。
数据存储系统中的服务器可设置分发节点,将本地上传的多个子待存储数据分发至不同的服务器进行存储。
或者,对应于分布式存储场景,本地在上传分割处理得到的多个子待存储数据时,可先确定多个数据存储系统中的多个子服务器,这些子服务器用于分别存储一个或者多个的子待存储数据,此时,则可将多个子待存储数据发送至不同的子服务器,以使得多个子服务器分别存储接收到的子待存储数据,如此在网络传输能力允许的情况下,可通过分布式上传机制更快的完成分布式存储。
其中,这些子服务器,可以为当前选定的,也可以为预先选定的,例如历史分配的子服务器,或者提前确定的子服务器。
其次,这些子服务器,可以为数据存储系统选定的,例如由系统中的分发节点进行选定,或者,也可以为本次在上传子待存储数据时选定的。
而子服务器的选定,可以采用随机分配的方式,或者采用序列的方式按序分配,当然,也可根据空余存储空间、存储压力等存储能力的评估方式,来挑选适配的服务器,具体选定方式可随实际需要调整,在此不做限定。
为进一步提高数据安全,本申请还可引入区块链技术,或者说,数据存储系统是在区块链平台的基础上搭建得到的,数据存储系统中的服务器,则为区块链平台中的区块链节点设备,此时,本地将多个子待存储数据作为待上链数据,发送至服务器,进行多个子待存储数据的上链。
其中,存储这些子待存储数据的服务器,可以为多个,实现如上述提及的分布式上传以及分布式存储,而本地设备,即待存储数据的存储设备,也可加入到该区块链平台中,即,为一区块链节点设备。
可以理解的是,区块链平台在进行相关数据的上链时,由于其智能合约具有不可篡改、公开的工作机制,且对传输的数据引入了数据加密机制以及身份校验机制,因此,基于区块链平台所完成的数据存储,具有显著的数据安全质量,其次,由于其区块链平台的工作特性,也保证了数据的存储安全以及数据存储工作的稳定性。
与此同时,数据存储系统在存储数据的同时,还可提供数据查询或者数据下载服务,而借由区块链平台搭建数据存储系统的情况下,则可更为方便地提供这些服务,并保证了服务中的数据安全性以及工作稳定性。
进一步的,在区块链平台的基础上,还可继续引入联盟链机制,如此方便落实联盟链对应各公司机构之间的数据同步、数据共享等需求涉及的数据上传。
以上是本申请待存储数据的存储方法的说明,为便于更好的实施本申请提供的待存储数据的存储方法,本申请还提供了待存储数据的存储装置。
参阅图4,图4为本申请待存储数据的存储装置的一种结构示意图,在本申请中,待存储数据的存储装置400具体可包括如下结构:
获取单元401,用于获取待存储数据,其中,待存储数据为数据存储系统待存储的数据;
分割单元402,用于将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据整体的数据相较于待存储数据存在具有重复的数据;
发送单元403,用于将多个子待存储数据发送至服务器,以使得服务器基于多个子待存储数据存储待存储数据,其中,服务器包含于数据存储系统。
在一种示例性的实现方式中,分割单元402,具体用于:
确定多个分割区间,其中,至少两个分割区间之间存在重叠;
按照多个分割区间从待存储数据中分割出多个子存储数据。
在又一种示例性的实现方式中,多个待存储数据按照待存储数据中数据的存储顺序构成数据序列,至少一组相邻次序的子待存储数据之间存在重叠。
在又一种示例性的实现方式中,分割单元402,具体用于:
确定分割数量以及数据重复比例;
按照分割数量以及数据重复比例,将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据的数据量大小是等同的。
在又一种示例性的实现方式中,装置还包括加密单元404,用于:
为多个子待存储数据配置分割标识,其中,分割标识用于标识子待存储数据在待存储数据中的分割范围;
按照待存储数据的分割策略,对预设的秘钥进行分割处理,得到多个子秘钥,其中,秘钥用于加密处理以及解密处理;
根据每个子待存储数据具有相同分割范围的子秘钥,对每个子待存储数据进行加密处理。
在又一种示例性的实现方式中,服务器包括多个子服务器,发送单元403,具体用于:
将多个子待存储数据发送至不同的子服务器,以使得多个子服务器分别存储接收到的子待存储数据。
在又一种示例性的实现方式中,数据存储系统是基于区块链平台搭建得到的,服务器为区块链平台中的区块链节点设备,发送单元403,具体用于:
将多个子待存储数据作为待上链数据,发送至服务器,进行多个子待存储数据的上链。
本申请还提供了待存储数据的存储设备,参阅图5,图5示出了本申请待存储数据的存储设备的一种结构示意图,具体的,本申请待存储数据的存储设备包括处理器501、存储器502以及输入输出设备503,处理器501用于执行存储器502中存储的计算机程序时实现如图1至图3对应任意实施例中待存储数据的储存方法的各步骤;或者,处理器501用于执行存储器502中存储的计算机程序时实现如图4对应实施例中各单元的功能,存储器502用于存储处理器501执行上述图1至图3对应任意实施例中待存储数据的存储方法所需的计算机程序。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器502中,并由处理器501执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
待存储数据的存储设备可包括,但不仅限于处理器501、存储器502、输入输出设备503。本领域技术人员可以理解,示意仅仅是待存储数据的存储设备的示例,并不构成对待存储数据的存储设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如待存储数据的存储设备还可以包括网络接入设备、总线等,处理器501、存储器502、输入输出设备503以及网络接入设备等通过总线相连。
处理器501可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是待存储数据的存储设备的控制中心,利用各种接口和线路连接整个设备的各个部分。
存储器502可用于存储计算机程序和/或模块,处理器501通过运行或执行存储在存储器502内的计算机程序和/或模块,以及调用存储在存储器502内的数据,实现计算机装置的各种功能。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据待存储数据的存储设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器501用于执行存储器502中存储的计算机程序时,具体可实现以下功能:
获取待存储数据,其中,待存储数据为数据存储系统待存储的数据;
将待存储数据进行分割处理,得到多个子待存储数据,其中,多个子待存储数据整体的数据相较于待存储数据存在具有重复的数据;
将多个子待存储数据发送至服务器,以使得服务器基于多个子待存储数据存储待存储数据,其中,服务器包含于数据存储系统。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的待存储数据的存储装置、设备及其相应单元的具体工作过程,可以参考如图1至图3对应任意实施例中待存储数据的存储方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1至图3对应任意实施例中待存储数据的存储方法中的步骤,具体操作可参考如图1至图3对应任意实施例中待存储数据的存储方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1至图3对应任意实施例中待存储数据的存储方法中的步骤,因此,可以实现本申请如图1至图3对应任意实施例中待存储数据的存储方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请提供的待存储数据的存储方法、装置、设备以及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种待存储数据的存储方法,其特征在于,所述方法包括:
获取待存储数据,其中,所述待存储数据为数据存储系统待存储的数据;
将所述待存储数据进行分割处理,得到多个子待存储数据,其中,多个所述子待存储数据整体的数据相较于所述待存储数据存在具有重复的数据;
将多个所述子待存储数据发送至服务器,以使得所述服务器基于多个所述子待存储数据存储所述待存储数据,其中,所述服务器包含于所述数据存储系统;
所述将多个所述子待存储数据发送至服务器之前,所述方法还包括:
为多个所述子待存储数据配置分割标识,其中,所述分割标识用于标识所述子待存储数据在所述待存储数据中的分割范围;
按照所述待存储数据的分割策略,对预设的秘钥进行分割处理,得到多个子秘钥,其中,所述秘钥用于加密处理以及解密处理;
根据每个所述子待存储数据具有相同分割范围的所述子秘钥,对每个所述子待存储数据进行加密处理。
2.根据权利要求1所述的方法,其特征在于,所述将所述待存储数据进行分割处理,得到多个子待存储数据,包括:
确定多个分割区间,其中,至少两个所述分割区间之间存在重叠;
按照多个所述分割区间从所述待存储数据中分割出多个所述子待存储数据。
3.根据权利要求1所述的方法,其特征在于,多个所述待存储数据按照所述待存储数据中数据的存储顺序构成数据序列,至少一组相邻次序的所述子待存储数据之间存在重叠。
4.根据权利要求1所述的方法,其特征在于,所述将所述待存储数据进行分割处理,得到多个子待存储数据,包括:
确定分割数量以及数据重复比例;
按照所述分割数量以及所述数据重复比例,将所述待存储数据进行分割处理,得到多个所述子待存储数据,其中,多个所述子待存储数据的数据量大小是等同的。
5.根据权利要求1所述的方法,其特征在于,所述服务器包括多个子服务器,所述将多个所述子待存储数据发送至服务器,包括:
将多个所述子待存储数据发送至不同的所述子服务器,以使得多个所述子服务器分别存储接收到的所述子待存储数据。
6.根据权利要求1所述的方法,其特征在于,所述数据存储系统是基于区块链平台搭建得到的,所述服务器为所述区块链平台中的区块链节点设备,所述将多个所述子待存储数据发送至服务器,包括:
将多个所述子待存储数据作为待上链数据,发送至所述服务器,进行多个所述子待存储数据的上链。
7.一种待存储数据的存储装置,其特征在于,所述装置包括:
获取单元,用于获取待存储数据,其中,所述待存储数据为数据存储系统待存储的数据;
分割单元,用于将所述待存储数据进行分割处理,得到多个子待存储数据,其中,多个所述子待存储数据整体的数据相较于所述待存储数据存在具有重复的数据;
发送单元,用于将多个所述子待存储数据发送至服务器,以使得所述服务器基于多个所述子待存储数据存储所述待存储数据,其中,所述服务器包含于所述数据存储系统;
装置还包括加密单元,用于:
为多个所述子待存储数据配置分割标识,其中,所述分割标识用于标识所述子待存储数据在所述待存储数据中的分割范围;
按照所述待存储数据的分割策略,对预设的秘钥进行分割处理,得到多个子秘钥,其中,所述秘钥用于加密处理以及解密处理;
根据每个所述子待存储数据具有相同分割范围的所述子秘钥,对每个所述子待存储数据进行加密处理。
8.一种待存储数据的存储设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011596241.9A CN112653539B (zh) | 2020-12-29 | 2020-12-29 | 一种待存储数据的存储方法、装置以及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011596241.9A CN112653539B (zh) | 2020-12-29 | 2020-12-29 | 一种待存储数据的存储方法、装置以及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112653539A CN112653539A (zh) | 2021-04-13 |
CN112653539B true CN112653539B (zh) | 2023-06-20 |
Family
ID=75363919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011596241.9A Active CN112653539B (zh) | 2020-12-29 | 2020-12-29 | 一种待存储数据的存储方法、装置以及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112653539B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114553499B (zh) * | 2022-01-28 | 2024-02-13 | 中国银联股份有限公司 | 一种图像加密、图像处理方法、装置、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011193161A (ja) * | 2010-03-12 | 2011-09-29 | Hitachi Information Systems Ltd | 暗号管理システム及び暗号管理方法 |
CN103414682A (zh) * | 2013-04-07 | 2013-11-27 | 深圳大学 | 一种数据的云端存储方法及系统 |
WO2018177107A1 (zh) * | 2017-03-29 | 2018-10-04 | 腾讯科技(深圳)有限公司 | 数据迁移方法、迁移服务器及存储介质 |
CN109063501A (zh) * | 2018-08-02 | 2018-12-21 | 台州市金算子知识产权服务有限公司 | 数据分布存储方法、装置、存储介质及电子设备 |
CN109936446A (zh) * | 2019-01-16 | 2019-06-25 | 深圳壹账通智能科技有限公司 | 分布式环境下的秘钥管理方法、装置及计算机设备 |
CN110148137A (zh) * | 2019-05-16 | 2019-08-20 | 深圳市芯动电子科技有限公司 | 一种基于拼接的旋转显示屏的图像切割方法及系统 |
CN111291415A (zh) * | 2020-03-12 | 2020-06-16 | 北京阿尔山金融科技有限公司 | 数据存储方法、装置及业务系统服务器 |
WO2020237868A1 (zh) * | 2019-05-24 | 2020-12-03 | 平安科技(深圳)有限公司 | 数据传输方法、电子设备、服务器及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393851A (zh) * | 2011-07-25 | 2012-03-28 | 中国科学院深圳先进技术研究院 | 数据区域重叠的边界数据零通信并行计算方法和系统 |
CN103338090B (zh) * | 2013-05-30 | 2016-12-28 | 中国联合网络通信集团有限公司 | 业务数据传输方法、设备及系统 |
WO2017182062A1 (en) * | 2016-04-19 | 2017-10-26 | Huawei Technologies Co., Ltd. | Concurrent segmentation using vector processing |
CN108628539B (zh) * | 2017-03-17 | 2021-03-26 | 杭州海康威视数字技术股份有限公司 | 数据存储、分散、重构、回收方法、装置及数据处理系统 |
CN108962227B (zh) * | 2018-06-08 | 2020-06-30 | 百度在线网络技术(北京)有限公司 | 语音起点和终点检测方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-29 CN CN202011596241.9A patent/CN112653539B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011193161A (ja) * | 2010-03-12 | 2011-09-29 | Hitachi Information Systems Ltd | 暗号管理システム及び暗号管理方法 |
CN103414682A (zh) * | 2013-04-07 | 2013-11-27 | 深圳大学 | 一种数据的云端存储方法及系统 |
WO2018177107A1 (zh) * | 2017-03-29 | 2018-10-04 | 腾讯科技(深圳)有限公司 | 数据迁移方法、迁移服务器及存储介质 |
CN109063501A (zh) * | 2018-08-02 | 2018-12-21 | 台州市金算子知识产权服务有限公司 | 数据分布存储方法、装置、存储介质及电子设备 |
CN109936446A (zh) * | 2019-01-16 | 2019-06-25 | 深圳壹账通智能科技有限公司 | 分布式环境下的秘钥管理方法、装置及计算机设备 |
CN110148137A (zh) * | 2019-05-16 | 2019-08-20 | 深圳市芯动电子科技有限公司 | 一种基于拼接的旋转显示屏的图像切割方法及系统 |
WO2020237868A1 (zh) * | 2019-05-24 | 2020-12-03 | 平安科技(深圳)有限公司 | 数据传输方法、电子设备、服务器及存储介质 |
CN111291415A (zh) * | 2020-03-12 | 2020-06-16 | 北京阿尔山金融科技有限公司 | 数据存储方法、装置及业务系统服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN112653539A (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107819828B (zh) | 数据传输方法、装置、计算机设备和存储介质 | |
US10936560B2 (en) | Methods and devices for data de-duplication | |
CN111625593B (zh) | 基于区块链的数据处理方法、装置、计算机设备 | |
CN107819891B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
EP3400542B1 (en) | Techniques for performing data reconciliation in distributed data store systems | |
CN110995513B (zh) | 物联网系统中的数据发送、接收方法、物联网设备及平台 | |
KR20160139493A (ko) | 클라우드 서비스를 위한 암호화 키 관리 방법 및 그 장치 | |
CN111163130B (zh) | 一种网络服务系统及其数据传输方法 | |
CN108920111B (zh) | 数据共享方法及分布式数据共享系统 | |
EP2852093B1 (en) | Method, system, and device for sharing documents | |
CN113032357A (zh) | 文件的存储方法、装置和服务器 | |
CN112650721A (zh) | 一种文件存储方法、装置、系统以及设备 | |
CN111522874A (zh) | 区块链共识方法、装置、计算机设备和存储介质 | |
KR20170121911A (ko) | P2P를 이용한 IoT 기기의 펌웨어 업데이트 방법 및 그 장치 | |
CN112653539B (zh) | 一种待存储数据的存储方法、装置以及设备 | |
KR101428649B1 (ko) | 맵 리듀스 기반의 대용량 개인정보 암호화 시스템 및 그의 동작 방법 | |
CN112119608B (zh) | 用于可验证秘密共享的系统和异步协议 | |
CN109460182A (zh) | 一种数据存储、读取方法及装置 | |
CN109479214A (zh) | 一种负载均衡的方法及相关装置 | |
US11907591B1 (en) | Method and system for storage management, storage medium and device | |
CN116166749A (zh) | 数据共享方法、装置、电子设备及存储介质 | |
CN114650188A (zh) | 一种基于代理节点的数据安全传输方法及装置 | |
CN105245569A (zh) | 断点上传方法及系统 | |
CN111262837A (zh) | 一种数据加密方法、数据解密方法、系统、设备和介质 | |
CN116226064B (zh) | 共享电网运维数据的方法、系统、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |