CN108920099B - 基于多种分片方式的数据动态存储系统及方法 - Google Patents

基于多种分片方式的数据动态存储系统及方法 Download PDF

Info

Publication number
CN108920099B
CN108920099B CN201810653166.1A CN201810653166A CN108920099B CN 108920099 B CN108920099 B CN 108920099B CN 201810653166 A CN201810653166 A CN 201810653166A CN 108920099 B CN108920099 B CN 108920099B
Authority
CN
China
Prior art keywords
data
fragment
user data
control module
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810653166.1A
Other languages
English (en)
Other versions
CN108920099A (zh
Inventor
游伟
汤红波
赵星
赵宇
柏溢
陈云杰
秦小刚
冯莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN201810653166.1A priority Critical patent/CN108920099B/zh
Publication of CN108920099A publication Critical patent/CN108920099A/zh
Application granted granted Critical
Publication of CN108920099B publication Critical patent/CN108920099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062Securing storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供一种基于多种分片方式的数据动态存储系统及方法。该系统包括:分布式存储系统和分片控制模块;分布式存储系统包括元数据服务器和数据节点,数据节点用于存储各数据分片,元数据服务器用于存储与用户数据对应的用户认证信息、分片方式标识以及各数据分片的存储地址;分片控制模块用于当用户数据写入数据节点时随机选取分片方式将用户数据分片并将分片方式标识发送至元数据服务器;当用户数据被读取时根据用户数据对应的分片方式将各数据分片还原为所述用户数据。本发明通过将用户数据分成若干数据分片分散于不同的数据节点中且分片方式不唯一,同时不定期在各数据节点间对数据分片动态迁移,可有效降低分布式存储系统的信息泄露风险。

Description

基于多种分片方式的数据动态存储系统及方法
技术领域
本发明涉及网络安全技术领域,尤其涉及一种基于多种分片方式的数据动态存储系统及方法。
背景技术
近年来,数据正以前所未有的速度不断增长和积累,随着数据量的增加,人们对数据存储的认识程度也日益加深,对于存储过程中数据安全问题尤为关注。随着数据价值不断提升,以及存储网络化不断发展,数据遭受的安全威胁日益增多,若无存储安全防范措施,一旦攻击者成功渗透到数据存储系统中,其负面影响将是无法估计的。
现有数据存储系统的防御手段主要基于静态防御的机制,无法应对复杂多样的攻击手段,且由于攻击者具有不对称性优势,可对静态部署的防御机制做深入的研究、持续性的渗透以及无穷尽的探测,最终达到窃取用户数据的目的,这是现有数据存储系统数据安全保障必须解决的问题。
发明内容
针对现有数据存储系统中的数据节点安全性无法得到保证,攻击者可利用其漏洞后门等手段持续性攻击窃取静态存储的用户数据,威胁用户数据信息安全的问题,本发明提供一种基于多种分片方式的数据动态存储系统及方法,能够提高数据存储的安全性,为用户提供信息安全保证。
一方面,本发明提供一种基于多种分片方式的数据动态存储系统,该系统包括:分布式存储系统和分片控制模块;
所述分布式存储系统包括元数据服务器和数据节点,数据节点用于存储用户数据的各数据分片,元数据服务器用于存储与所述用户数据对应的用户认证信息、分片方式标识及各数据分片的存储地址;
所述分片控制模块用于当用户数据写入数据节点时随机选取分片方式将所述用户数据分片并将所述分片方式的所述分片方式标识发送至元数据服务器;当用户数据被读取时根据所述用户数据对应的分片方式将各数据分片还原为所述用户数据。
进一步地,所述分布式存储系统还用于:当用户数据写入时,为所述用户数据分配一数据标识;并存储所述数据标识;为各数据分片分配存储地址,接收分片控制模块发送的各数据分片。
进一步地,所述分片控制模块还用于:当用户数据写入时,从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,将所述各数据分片存储至所述存储地址对应的数据节点中;
当用户数据被读取时,从元数据服务器获取与所述用户数据对应的分片方式标识及各数据分片的存储地址,从所述存储地址对应的数据节点中读取所述各数据分片,并根据所述分片方式标识将各数据分片还原为所述用户数据。
进一步地,所述系统还包括:迁移控制模块;
所述迁移控制模块用于存储各数据分片的静止时间,根据预设迁移规则对所述静止时间超过预设时间阈值的数据分片执行迁移操作;
其中,所述预设迁移规则包括以待迁移数据分片对应的用户数据为迁移单元,对所述用户数据的所有数据分片进行迁移;和/或以待迁移数据分片所在的数据节点为迁移单元,对所述数据节点内部的所有数据分片进行迁移。
进一步地,所述分布式存储系统还用于:在所述迁移控制模块完成所述迁移操作后更新各数据分片的存储地址。
另一方面,本发明提供一种基于多种分片方式的数据动态存储方法,该方法包括:
步骤1.通过分布式存储系统接收用户数据写请求,对所述用户数据写请求进行认证,认证成功后分片控制模块接收用户数据;
步骤2.通过分片控制模块为所述用户数据随机选取分片方式将所述用户数据分片,并将所述分片方式的分片方式标识及各数据分片发送至分布式存储系统;
步骤3.分布式存储系统接收并存储所述分片方式标识及各数据分片。
进一步地,该方法还包括:分布式存储系统认证成功后为所述用户数据分配一数据标识,并将所述数据标识发送至所述分片控制模块;
通过分片控制模块根据分片方式确定与所述数据标识对应的所述用户数据的分片个数,将所述分片个数发送至分布式存储系统;
分布式存储系统根据所述分片个数为所述用户数据分配存储地址。
进一步地,该方法还包括:当用户数据写入时,通过分片控制模块从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,将所述各数据分片存储至所述存储地址对应的数据节点中;
当用户数据被读取时,通过分片控制模块从元数据服务器获取与所述用户数据对应的分片方式标识及各数据分片的存储地址,从所述存储地址对应的数据节点中读取所述各数据分片并按照所述分片方式标识对应的分片方式将所述各数据分片还原为所述用户数据。
进一步地,在所述步骤3之后还包括:通过迁移控制模块存储各数据分片的静止时间,根据预设迁移规则对所述静止时间超过预设时间阈值的数据分片执行迁移操作;
其中,所述预设迁移规则包括以待迁移数据分片对应的用户数据为迁移单元,对所述用户数据的所有数据分片进行迁移;和/或以待迁移数据分片所在的数据节点为迁移单元,对所述数据节点内部的所有数据分片进行迁移。
进一步地,该方法还包括:分布式存储系统在所述迁移控制模块完成所述迁移操作后更新各数据分片的存储地址。
本发明的有益效果:
本发明提供的基于多种分片方式的数据动态存储系统及方法,分布式存储系统的数据节点仅存储各数据分片的内容而不负责存储其所属用户和分片方式,元数据服务器仅存储用户的数据标识、分片方式标识及各分片的位置信息而无法获取各分片方式标识的具体分片/还原操作;分片控制模块仅负责存储数据分片方式却不负责存储各数据分片的位置信息;迁移控制模块仅执行预设数据迁移策略而无法读取数据分片的内容。因此,即使系统中某个控制模块被攻击者劫持,攻击者也仅能获得系统的部分信息,无法掌握数据存储的全貌。并且,由于用户数据被分片控制模块分成若干数据分片分散于不同的数据节点中且分片方式不唯一,同时迁移控制模块控制数据分片不定期在各数据节点间动态迁移,使得攻击者无法根据分布式存储系统的漏洞或后门持续探测静态存储的用户数据,已获得的部分攻击信息也会由于本方法的动态存储机制而很快失效,从而可有效降低分布式存储系统的信息泄露风险。
附图说明
图1为本发明实施例提供的基于多种分片方式的数据动态存储系统的结构示意图;
图2为图1中分布式存储系统的结构示意图;
图3为本发明又一实施例提供的基于多种分片方式的数据动态存储系统的结构示意图;
图4为本发明再一实施例提供的基于多种分片方式的数据动态存储系统的结构示意图;
图5为本发明实施例提供的基于多种分片方式的数据动态存储方法的流程示意图;
图6为本发明实施例提供的基于多种分片方式的数据动态存储方法的数据写入流程示意图;
图7为本发明实施例提供的基于多种分片方式的数据动态存储方法的数据读取流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的基于多种分片方式的数据动态存储系统的结构示意图。如图1所示,该系统1包括:分布式存储系统10和分片控制模块11;
所述分布式存储系统10包括元数据服务器101和数据节点102,数据节点102用于存储用户数据的各数据分片,元数据服务器101用于存储与所述用户数据对应的用户认证信息、分片方式标识以及各数据分片的存储地址;
所述分片控制模块11用于当用户数据写入数据节点102时随机选取分片方式将所述用户数据分片并将所述分片方式的所述分片方式标识发送至元数据服务器;当用户数据被读取时根据所述用户数据对应的分片方式将各数据分片还原为所述用户数据。
具体地,分布式储存系统的可伸缩性好,性能较高,是目前广泛使用的一种存储系统。图2为图1中分布式存储系统的结构示意图,如图2所示,与图1中所示的分布式存储系统的不同之处在于,该分布式存储系统还包括用户端,所述用户端指分布式存储系统的使用者,向/从分布式存储系统中存储/读取数据;例如所述用户端可以是应用服务器,也可以是终端用户。元数据服务器用于记录用户认证信息、分片方式标识及数据分片位置等用户数据的管理和控制数据,数据节点用于存储将分片控制模块发送的各数据分片。
如果仅采用独立的分布式存储系统存储用户数据,会存在如下问题:分布式存储系统一般用在服务系统的后端,为前端的服务器提供数据支持,并不直接面对用户,所以通常只有很少的安全防护措施。然而分布式存储系统中难免会存在漏洞和陷门,仍然有被攻击者劫持的可能。一旦系统的某部分被劫持,其中的信息就可能被窃取或篡改。但是,本发明实施例通过增加分片控制模块对用户数据进行分片,用户数据被分片控制模块分成若干数据分片分散于不同的数据节点中且分片方式不唯一,使得攻击者无法根据分布式存储系统的漏洞或后门探测完整的用户数据,从而可有效降低分布式存储系统的信息泄露风险。
在上述实施例的基础上,该分布式存储系统还用于:当用户数据写入时,为所述用户数据分配一数据标识;并存储所述数据标识;为各数据分片分配存储地址,接收分片控制模块发送的各数据分片。
具体地,当用户向分布式存储系统请求写入数据时,分布式存储系统会自动为该用户数据分配一个数据标识,如此,当用户需要读取该用户数据时,元数据服务器可以先通过所述数据标识定位到所述用户数据的分片方式标识,从而在读取到各数据分片后,按照该分片方式标识对应的分片方式将所述各数据分片进行还原为源数据。
当用户向分布式存储系统请求写入数据时,分布式存储系统并不会直接对该源数据进行存储,而是会将该数据发送给分片控制模块对该源数据进行分片,所以,分布式存储系统还用于为所述各数据分片分配存储地址,接收分片控制模块发送的各数据分片。
在上述各实施例的基础上,该分片控制模块还用于:当用户数据写入时,从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,将所述各数据分片存储至所述存储地址对应的数据节点中;
当用户数据被读取时,从元数据服务器获取与所述用户数据对应的分片方式标识及各数据分片的存储地址,从所述存储地址对应的数据节点中读取所述各数据分片,并根据所述分片方式标识将各数据分片还原为所述用户数据。
具体地,当用户数据写入时,分片控制模块将用户数据的各数据分片发送至分布式存储系统,分布式存储系统为各数据分片分配存储地址,之后,元数据服务器会对所述存储地址进行存储;因此,当用户数据写入时,分片控制模块可从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,按照存储地址将各数据分片存储至对应的数据节点中。同理,当用户读取用户数据时,分片控制模块可根据元数据服务器发送的与所述用户数据对应的数据标识从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,还可根据所述数据标识从元数据服务器获取所述用户数据的分片方式标识,在读取到各数据分片后,根据所述分片方式标识对应的分片方式对各数据分片进行组合还原得到源数据。
由上述内容可知,通过将各数据分片的存储地址、数据内容和用户数据的分片方式存储在不同的功能模块中,这样即使系统中某个功能模块被攻击者劫持,攻击者也仅能获得系统的部分信息,无法掌握数据存储的全貌。并且通过在分布式存储系统存储有数据标识以及与所述数据标识对应的分片方式标识,这样可以在用户读取数据时,通过数据标识将分布式存储系统上数据分片的存储地址、分片方式标识和分片控制模块上的分片方式进行对应,从而通过分片控制模块还原为源数据供用户读取,通过上述的数据存储和读取方式,同时保证了用户数据的安全存储和易读性。
在上述各实施例的基础上,该系统还包括:迁移控制模块;
所述迁移控制模块用于存储各数据分片的静止时间,根据预设迁移规则对所述静止时间超过预设时间阈值的数据分片执行迁移操作;
其中,所述预设迁移规则包括以待迁移数据分片对应的用户数据为迁移单元,对所述用户数据的所有数据分片进行迁移;和/或以待迁移数据分片所在的数据节点为迁移单元,对所述数据节点内部的所有数据分片进行迁移。
具体地,所述迁移控制模块根据安全需求预设了最长静止时间T(即预设时间阈值),对于超出T时长未发生过移动的数据分片,执行迁移操作。所述迁移控制模块的迁移方式包括针对某一用户的数据分片迁移或数据节点内部多个用户数据分片的整体迁移。
例如,迁移控制模块在系统空闲时或有其他迁移操作时(如为了负载均衡对访问频次较高的数据分片进行迁移时或者数据节点故障而进行的备份恢复),将上述长期静止的待迁移数据分片迁移至不存在该数据分片备份的数据节点中,并向元数据服务器更新其迁移后的位置信息。
为保证用户数据的正常读写或更改操作,所述迁移控制模块不同时对相同数据分片执行迁移操作。
在上述各实施例的基础上,所述分布式存储系统还用于:在所述迁移控制模块完成所述迁移操作后更新各数据分片的存储地址。
需要说明的是,本发明提供的各实施中,分片控制模块和迁移控制模块既可以作为增量式应用模块,位于独立的分布式存储系统之外;也可以重新设计元数据服务器,将分片控制模块和迁移控制模块与元数据服务器结合。图3为本发明又一实施例提供的基于多种分片方式的数据动态存储系统的结构示意图,如图3所示,分片控制模块和迁移控制模块作为增量式应用模块,位于独立的分布式存储系统之外。图4为本发明再一实施例提供的基于多种分片方式的数据动态存储系统的结构示意图,如图4所示,分片控制模块和迁移控制模块与原有的元数据服务器结合,重新设计元数据服务器。
可以理解的是,图2至图4中的控制信息指用于控制数据传输的指令或请求等非待传输数据本身等信息;相应地,数据信息指待传输的用户数据或数据分片本身。
本发明提供的基于多种分片方式的数据动态存储系统,由于用户数据被分片控制模块分成若干数据分片分散于不同的数据节点中且分片方式不唯一,同时迁移控制模块控制数据分片不定期在各数据节点间动态迁移,使得攻击者无法根据分布式存储系统的漏洞或后门持续探测静态存储的用户数据,已获得的部分攻击信息也会由于本方法的动态存储机制而很快失效,从而可有效降低分布式存储系统的信息泄露风险。
图5为本发明实施例提供的基于多种分片方式的数据动态存储方法的流程示意图。如图5所示,该方法包括以下步骤:
S501.通过分布式存储系统接收用户数据写请求,对所述用户数据写请求进行认证,认证成功后分片控制模块接收用户数据;
具体地,本步骤中的认证过程可以采用现有的认证方式,例如静态密码、动态口令等,此处不再赘述。
S502.通过分片控制模块为所述用户数据随机选取分片方式将所述用户数据分片,并将所述分片方式的分片方式标识及各数据分片发送至分布式存储系统;
具体地,本步骤中,分片控制模块预先存储有多种分片方式供随机选取。例如,按hash方式分片、按不同数据长度分片、经过网络编码产生数据冗余后的分片。每种分片方式均有与之对应的分片方式标识,根据所述分片方式标识可唯一确定分片方式。
S503.分布式存储系统接收并存储所述分片方式标识和各数据分片。
由上述内容可知,本发明实施例提供的基于多种分片方式的数据动态存储方法,由于用户数据被分片控制模块分成若干数据分片分散于不同的数据节点中且分片方式不唯一,单个功能模块被攻击入侵后,攻击者无法获取恢复用户数据的全部信息,且即使分布式存储系统的数据节点存在漏洞或后门,也只能获得部分分片后的用户数据,也无法从获得的数据分片恢复出完整的用户数据,从而可有效降低分布式存储系统的信息泄露风险,提高整个分布式存储系统放数据窃取的能力。
本发明实施例对分布式存储系统中的存储安全进行有效的防护,使得网络数据节点无论遭受入侵攻击、病毒攻击、非法控制或者存在预置的漏洞后门的情况下,都难以窃取用户存储的数据,攻击者成功攻击某一功能服务器也无法对整个防御系统造成严重的影响。
在上述实施例的基础上,该方法还包括:
分布式存储系统认证成功后为所述用户数据分配一数据标识,并将所述数据标识发送至所述分片控制模块;
通过分片控制模块根据所述分片方式确定与所述数据标识对应的所述用户数据的分片个数,将所述分片个数发送至分布式存储系统;
分布式存储系统根据所述分片个数为所述用户数据分配存储地址。
具体地,每个用户数据本身均携带有数据长度信息,分片控制模块在选取分片方式之后,根据分片方式和数据长度即可确定分片个数。分片控制模块将所述分片个数发送至分布式存储系统,分布式存储系统为所述用户数据分配与所述分片个数相同个数的存储地址,用于存储接收到的分片控制模块发送的各数据分片。
在上述各实施例的基础上,该方法还包括:
当用户数据写入时,通过分片控制模块从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,将所述各数据分片存储至所述存储地址对应的数据节点中;
当用户数据被读取时,通过分片控制模块从元数据服务器获取与所述用户数据对应的分片方式标识及各数据分片的存储地址,从所述存储地址对应的数据节点中读取所述各数据分片并按照所述分片方式标识对应的分片方式将所述各数据分片还原为所述用户数据。
图6为本发明实施例提供的基于多种分片方式的数据动态存储方法的数据写入流程示意图,具体步骤为:
S601:用户发送写数据请求至所述元数据服务器进行认证,认证成功后元数据服务器将用户数据的标识及数据长度发送给所述分片控制模块;
S602:分片控制模块为用户数据随机选取一种分片方式,将分片方式标识及分片个数信息发送至元数据服务器;
S603:元数据服务器根据分片个数为用户数据分配存储地址,发送至分片控制模块,并记录用户数据标识及其对应的分片方式标识;
S604:分片控制模块接收用户发送的数据,将数据分片后存储至分配的数据节点中,用户写数据操作完成。
通过分片控制模块与分布式存储系统的上述信息交互流程,增加了信息存储的安全性,即使系统中某个控制模块被攻击者劫持,攻击者也仅能获得系统的部分信息,无法掌握数据存储的全貌。
图7为本发明实施例提供的基于多种分片方式的数据动态存储方法的数据读取流程示意图,具体步骤为:
S701:用户发送读数据请求至所述元数据服务器进行认证,认证成功后元数据服务器根据其用户数据标识匹配其分片方式标识及各数据分片当前的地址信息,发送至所述分片控制器;
S702:分片控制器从各数据节点中读取相关数据分片,根据分片方式标识对应的分片方式将各数据分片还原为原始数据,发送至用户端,用户读数据操作完成。
在上述各实施例的基础上,在所述S503之后,该方法还包括:通过迁移控制模块存储各数据分片的静止时间,根据预设迁移规则对所述静止时间超过预设时间阈值的数据分片执行迁移操作;
其中,所述预设迁移规则包括以待迁移数据分片对应的用户数据为迁移单元,对所述用户数据的所有数据分片进行迁移;和/或以待迁移数据分片所在的数据节点为迁移单元,对所述数据节点内部的所有数据分片进行迁移。
在上述各实施例的基础上,该方法还包括:分布式存储系统在所述迁移控制模块完成所述迁移操作后更新各数据分片的存储地址。
具体地,本发明实施例数据迁移流程具体步骤为:
步骤1,迁移控制模块监测元数据服务器中各数据分片地址信息的变化情况,记录各数据分片地址保持不变的静止时间;
步骤2,静止时间超过设定的时间间隔T,则触发执行预设的迁移操作;
步骤3,监测系统自身是否存在将执行的迁移操作,若存在,则将步骤2中的迁移操作合并到系统自身的迁移中,不增加额外的开销;若不存在,则查看迁移路径上系统的带宽资源是否空闲,若空闲则执行迁移操作,否则继续等待;
步骤4,数据分片迁移完成后,由数据节点向元数据服务器更新其位置信息。
本发明提供的基于多种分片方式的数据动态存储方法,由于用户数据被分片控制模块分成若干数据分片分散于不同的数据节点中且分片方式不唯一,同时迁移控制模块控制数据分片不定期在各数据节点间动态迁移,使得攻击者无法根据分布式存储系统的漏洞或后门持续探测静态存储的用户数据,已获得的部分攻击信息也会由于本方法的动态存储机制而很快失效,从而可有效降低分布式存储系统的信息泄露风险。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.基于多种分片方式的数据动态存储系统,其特征在于,包括:分布式存储系统、分片控制模块和迁移控制模块;
所述分布式存储系统包括元数据服务器和数据节点,数据节点用于存储用户数据的各数据分片,元数据服务器用于存储与所述用户数据对应的用户认证信息、分片方式标识及各数据分片的存储地址;
所述分片控制模块用于当用户数据写入数据节点时随机选取分片方式将所述用户数据分片并将所述分片方式的所述分片方式标识发送至元数据服务器;当用户数据被读取时根据所述用户数据对应的分片方式将各数据分片还原为所述用户数据;
所述迁移控制模块用于存储各数据分片的静止时间,根据预设迁移规则对所述静止时间超过预设时间阈值的数据分片执行迁移操作;
其中,所述预设迁移规则包括以待迁移数据分片对应的用户数据为迁移单元,对所述用户数据的所有数据分片进行迁移;和/或以待迁移数据分片所在的数据节点为迁移单元,对所述数据节点内部的所有数据分片进行迁移;
所述分布式存储系统还用于在所述迁移控制模块完成所述迁移操作后更新各数据分片的存储地址。
2.根据权利要求1所述的系统,其特征在于,所述分布式存储系统还用于:
当用户数据写入时,为所述用户数据分配一数据标识,并存储所述数据标识;
为各数据分片分配存储地址,接收分片控制模块发送的各数据分片。
3.根据权利要求2所述的系统,其特征在于,所述分片控制模块还用于:
当用户数据写入时,从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,将所述各数据分片存储至所述存储地址对应的数据节点中;
当用户数据被读取时,从元数据服务器获取与所述用户数据对应的分片方式标识及各数据分片的存储地址,从所述存储地址对应的数据节点中读取所述各数据分片,并根据所述分片方式标识将各数据分片还原为所述用户数据。
4.基于多种分片方式的数据动态存储方法,其特征在于,包括:分布式存储系统、分片控制模块和迁移控制模块;所述分布式存储系统包括元数据服务器和数据节点,数据节点用于存储用户数据的各数据分片,元数据服务器用于存储与所述用户数据对应的用户认证信息、分片方式标识及各数据分片的存储地址;所述方法具体包括:
步骤1.通过分布式存储系统接收用户数据写请求,对所述用户数据写请求进行认证,认证成功后分片控制模块接收用户数据;
步骤2.通过分片控制模块为所述用户数据随机选取分片方式将所述用户数据分片,并将所述分片方式的分片方式标识及各数据分片发送至分布式存储系统;
步骤3.分布式存储系统接收并存储所述分片方式标识及各数据分片;
步骤4.通过迁移控制模块存储各数据分片的静止时间,根据预设迁移规则对所述静止时间超过预设时间阈值的数据分片执行迁移操作;
其中,所述预设迁移规则包括以待迁移数据分片对应的用户数据为迁移单元,对所述用户数据的所有数据分片进行迁移;和/或以待迁移数据分片所在的数据节点为迁移单元,对所述数据节点内部的所有数据分片进行迁移;
分布式存储系统在所述迁移控制模块完成所述迁移操作后更新各数据分片的存储地址。
5.根据权利要求4所述的方法,其特征在于,还包括:
分布式存储系统认证成功后为所述用户数据分配一数据标识,并将所述数据标识发送至所述分片控制模块;
通过分片控制模块根据分片方式确定与所述数据标识对应的所述用户数据的分片个数,将所述分片个数发送至分布式存储系统;
分布式存储系统根据所述分片个数为所述用户数据分配存储地址。
6.根据权利要求5所述的方法,其特征在于,还包括:
当用户数据写入时,通过分片控制模块从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,将所述各数据分片存储至所述存储地址对应的数据节点中;
当用户数据被读取时,通过分片控制模块从元数据服务器获取与所述用户数据对应的分片方式标识及各数据分片的存储地址,从所述存储地址对应的数据节点中读取所述各数据分片并按照所述分片方式标识对应的分片方式将所述各数据分片还原为所述用户数据。
CN201810653166.1A 2018-06-22 2018-06-22 基于多种分片方式的数据动态存储系统及方法 Active CN108920099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810653166.1A CN108920099B (zh) 2018-06-22 2018-06-22 基于多种分片方式的数据动态存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810653166.1A CN108920099B (zh) 2018-06-22 2018-06-22 基于多种分片方式的数据动态存储系统及方法

Publications (2)

Publication Number Publication Date
CN108920099A CN108920099A (zh) 2018-11-30
CN108920099B true CN108920099B (zh) 2021-11-16

Family

ID=64420534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810653166.1A Active CN108920099B (zh) 2018-06-22 2018-06-22 基于多种分片方式的数据动态存储系统及方法

Country Status (1)

Country Link
CN (1) CN108920099B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309184B (zh) 2019-07-10 2021-05-25 中国民航信息网络股份有限公司 一种航空运价数据的缓存方法及系统
CN111835742B (zh) * 2020-07-03 2022-07-19 南京普建维思信息技术有限公司 一种基于分布式副本存储的数据安全管理系统及方法
CN112711382B (zh) * 2020-12-31 2024-04-26 百果园技术(新加坡)有限公司 基于分布式系统的数据存储方法、装置和存储节点
CN112966312B (zh) * 2021-03-02 2024-05-17 中国银联股份有限公司 数据存储方法、装置、设备及存储介质
CN113038196A (zh) * 2021-03-17 2021-06-25 大陆投资(中国)有限公司 在通信网络中传输媒体数据的发送方设备和接收方设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954314B (zh) * 2014-03-24 2019-06-28 阿里巴巴集团控股有限公司 安全提示方法及装置
CN105592013B (zh) * 2014-10-24 2019-03-12 阿里巴巴集团控股有限公司 一种敏感信息处理方法、装置及客户端
CN104580395B (zh) * 2014-12-22 2018-02-23 西安电子科技大学 一种基于现存云存储平台的多云协同存储中间件系统
CN112328168A (zh) * 2017-06-29 2021-02-05 华为技术有限公司 分片管理方法和分片管理装置

Also Published As

Publication number Publication date
CN108920099A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108920099B (zh) 基于多种分片方式的数据动态存储系统及方法
JP6263675B1 (ja) 信頼できない装置におけるデータの保護
US11809605B2 (en) Method and system for storage-based intrusion detection and recovery
CN107977573B (zh) 用于安全的盘访问控制的方法和系统
US8385551B2 (en) Highly available cryptographic key storage (HACKS)
US10554685B1 (en) Self-healing architecture for resilient computing services
EP3265949B1 (en) Operating system management
WO2007070658A1 (en) System and method for detecting unauthorized boots
KR100788256B1 (ko) 네트워크를 이용한 웹서버 위변조 모니터링 시스템 및모니터링 방법
US20180026986A1 (en) Data loss prevention system and data loss prevention method
Luo et al. Whispers between the containers: High-capacity covert channel attacks in docker
US20210014243A1 (en) Method and system for antivirus scanning of backup data at a centralized storage
WO2015029157A1 (ja) ストレージシステム及びストレージシステムの制御方法
CN108229162B (zh) 一种云平台虚拟机完整性校验的实现方法
JP2008305287A (ja) ユーザ操作端末の記憶装置情報制御方式
US20140041053A1 (en) Data block access control
EP3964990A1 (en) Method and system for deciding on the need for an automated response to an incident
EP1634136A1 (en) System for real-time healing of vital computer files
US20080127352A1 (en) System and method for protecting a registry of a computer
US11983272B2 (en) Method and system for detecting and preventing application privilege escalation attacks
CN112597492B (zh) 一种基于Windows内核的二进制可执行文件更改监测方法
EP4231168A1 (en) Mimic storage system and method for data security of industrial control system
CN106060093A (zh) 用于移动设备的云平台开发方法
US20230334153A1 (en) Detect and prevent synchronizing of a corrupted file
Ahn et al. Sgx-ssd: A policy-based versioning ssd with intel sgx

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant