CN113778339A - 一种数据分散存储方法和系统 - Google Patents

一种数据分散存储方法和系统 Download PDF

Info

Publication number
CN113778339A
CN113778339A CN202111072504.0A CN202111072504A CN113778339A CN 113778339 A CN113778339 A CN 113778339A CN 202111072504 A CN202111072504 A CN 202111072504A CN 113778339 A CN113778339 A CN 113778339A
Authority
CN
China
Prior art keywords
data
storage
server
original
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111072504.0A
Other languages
English (en)
Inventor
徐政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wabote Intelligent Technology Co ltd
Original Assignee
Suzhou Wabote Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wabote Intelligent Technology Co ltd filed Critical Suzhou Wabote Intelligent Technology Co ltd
Priority to CN202111072504.0A priority Critical patent/CN113778339A/zh
Publication of CN113778339A publication Critical patent/CN113778339A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于数据存储技术领域，提供了一种数据分散存储方法和系统，方法包括以下步骤：对存储数据进行备份形成原始存储数据和备份存储数据；将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中；对数据存储路径进行记录；当需要拓展存储空间时，增加新的存储服务器，将原来的存储服务器中的部分数据迁移到新的存储服务器中，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据。通过对存储数据进行备份形成原始存储数据和备份存储数据，然后将原始存储数据和备份存储数据存储到不同的存储服务器中，这样即使某一台存储服务器遭受损坏，也有其它服务器中的数据可以替代使用，不影响数据的完整性。

Description

一种数据分散存储方法和系统
技术领域
本发明涉及数据存储技术领域，具体是涉及一种数据分散存储方法和系统。
背景技术
分散存储是指将数据分散存储在多个存储服务器上，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器容易成为系统性能的瓶颈，也是数据可靠性和安全性的焦点，当存储服务器遭受损坏时，数据都会遭到损坏甚至丢失；而分散存储系统能够利用多台存储服务器分担存储负荷，大幅度提高了系统的可靠性、可用性和存取效率，当一台存储服务器遭受损坏时，只有该台存储服务器上的数据遭到损坏，对整体的影响相对较小，安全性更高，且分散存储系统具有更好的拓展性。
但是，当一台存储服务器遭受损坏时，仍然会造成数据的损坏和丢失，影响整个存储系统的完整性，因此，需要提供一种数据分散存储方法和系统，旨在解决上述问题。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种数据分散存储方法和系统，以解决上述背景技术中存在的问题。
本发明是这样实现的，一种数据分散存储方法，所述方法包括以下步骤：
对存储数据进行备份形成原始存储数据和备份存储数据；
将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中；
对数据存储路径进行记录并保存；
当需要拓展存储空间时，增加新的存储服务器，将原来的存储服务器中的部分数据迁移到新的存储服务器中，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据；
对数据迁移路径进行记录并保存。
作为本发明进一步的方案：所述将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中的步骤，具体包括：
对所有的存储服务器的剩余存储空间进行读取，得到服务器剩余空间值；
对服务器剩余空间值进行降序排序，将排序前两位的服务器剩余空间值所对应的存储服务器标记为第一存储服务器和第二存储服务器；
将原始存储数据和备份存储数据分别存储到第一存储服务器和第二存储服务器中。
作为本发明进一步的方案：所述将原来的存储服务器中的部分数据迁移到新的存储服务器中的步骤，具体包括：
对原来的服务器剩余空间值进行求和得到原本剩余存储空间值；
对新的存储服务器的存储空间进行读取，得到服务器拓展空间值；
将原本剩余存储空间值与服务器拓展空间值进行求和得到剩余存储总空间值；
根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中，以使得每个存储服务器的服务器剩余空间值相当。
作为本发明进一步的方案：所述根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中的步骤，具体包括：
将剩余存储总空间值除以存储服务器的总数量得到每台存储服务器的理论剩余空间值；
将原来的每个服务器剩余空间值与理论剩余空间值进行差值计算得到待迁移数据量，提取出与待迁移数据量大小相当的待迁移数据；
对所有的待迁移数据进行汇总得到整体迁移数据，将整体迁移数据迁移到新的存储服务器中。
作为本发明进一步的方案：所述对所有的待迁移数据进行汇总得到整体迁移数据的步骤，具体包括：
对所有的待迁移数据进行汇总得到汇总数据；
对汇总数据进行检验，判定汇总数据中是否存在同一份数据的原始存储数据和备份存储数据；
当汇总数据中存在同一份数据的原始存储数据和备份存储数据时，将所述原始存储数据存储到原来的存储服务器中，并从原来的存储服务器中提取出与所述原始存储数据大小相当的其它数据，将所述其它数据添加至汇总数据中得到整体迁移数据；
当汇总数据中不存在同一份数据的原始存储数据和备份存储数据时，所述汇总数据即为整体迁移数据。
作为本发明进一步的方案：所述将整体迁移数据迁移到新的存储服务器中的步骤，具体包括：
对每个新的存储服务器的空间大小与理论剩余空间值进行差值计算得到待迁入数据量；
从整体迁移数据中提取出与待迁入数据量大小相当的数据，并将提取出的数据存储到新的存储服务器中。
本发明的另一目的在于提供一种数据分散存储系统，所述系统包括：
数据备份模块，用于对存储数据进行备份形成原始存储数据和备份存储数据；
数据存储模块，用于将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中；
存储路径记录模块，用于对数据存储路径进行记录并保存；
数据迁移模块，当需要拓展存储空间时，增加新的存储服务器，将原来的存储服务器中的部分数据迁移到新的存储服务器中，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据；以及
迁移路径记录模块，用于对数据迁移路径进行记录并保存。
作为本发明进一步的方案：所述数据存储模块包括：
剩余存储空间读取单元，用于对所有的存储服务器的剩余存储空间进行读取，得到服务器剩余空间值；
剩余空间值排序单元，用于对服务器剩余空间值进行降序排序，将排序前两位的服务器剩余空间值所对应的存储服务器标记为第一存储服务器和第二存储服务器；以及
数据存储单元，用于将原始存储数据和备份存储数据分别存储到第一存储服务器和第二存储服务器中。
作为本发明进一步的方案：所述数据迁移模块包括：
空间值求和单元，用于对原来的服务器剩余空间值进行求和得到原本剩余存储空间值；
拓展空间值读取单元，用于对新的存储服务器的存储空间进行读取，得到服务器拓展空间值；
总空间值计算单元，用于将原本剩余存储空间值与服务器拓展空间值进行求和得到剩余存储总空间值；以及
数据迁移单元，用于根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中，以使得每个存储服务器的服务器剩余空间值相当。
作为本发明进一步的方案：所述数据迁移单元包括：
理论剩余空间值计算子单元，用于将剩余存储总空间值除以存储服务器的总数量得到每台存储服务器的理论剩余空间值；
待迁移数据提取子单元，用于将原来的每个服务器剩余空间值与理论剩余空间值进行差值计算得到待迁移数据量，提取出与待迁移数据量大小相当的待迁移数据；以及
整体迁移数据子单元，用于对所有的待迁移数据进行汇总得到整体迁移数据，将整体迁移数据迁移到新的存储服务器中。
与现有技术相比，本发明的有益效果是：本发明通过对存储数据进行备份形成原始存储数据和备份存储数据，然后将原始存储数据和备份存储数据存储到不同的存储服务器中，这样即使某一台存储服务器遭受损坏，也有其它服务器中的数据可以替代使用，不影响数据的完整性；
另外，当增加新的存储服务器时，本发明能够将原来的存储服务器中的部分数据迁移到新的存储服务器中，保证所有的存储服务器都有存储空间可以使用，进而保证数据能够分散存储到更多的服务器中，安全性更高。
附图说明
图1为一种数据分散存储方法的流程图。
图2为一种数据分散存储方法中将原始存储数据和备份存储数据存储到不同的存储服务器中的流程图。
图3为一种数据分散存储方法中将原来的存储服务器中的部分数据迁移到新的存储服务器中的流程图。
图4为一种数据分散存储方法中根据剩余存储总空间值对数据进行迁移的流程图。
图5为一种数据分散存储方法中对所有的待迁移数据进行汇总得到整体迁移数据的流程图。
图6为一种数据分散存储方法中将整体迁移数据迁移到新的存储服务器中的流程图。
图7为一种数据分散存储系统的结构示意图。
图8为一种数据分散存储系统中数据存储模块的结构示意图。
图9为一种数据分散存储系统中数据存储模块的结构示意图。
图10为一种数据分散存储系统中数据迁移单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图1所示，本发明实施例提供了一种数据分散存储方法，包括以下步骤：
S100，对存储数据进行备份形成原始存储数据和备份存储数据；
S200，将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中；
S300，对数据存储路径进行记录并保存；
S400，当需要拓展存储空间时，增加新的存储服务器，将原来的存储服务器中的部分数据迁移到新的存储服务器中，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据；
S500，对数据迁移路径进行记录并保存。
本发明实施例中，分散存储是指将数据分散存储在多个存储服务器上，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是数据可靠性和安全性的焦点，当存储服务器遭受损坏时，数据都会遭到损坏甚至丢失；而分散存储系统能够利用多台存储服务器分担存储负荷，大幅度提高了系统的可靠性、可用性和存取效率，当一台存储服务器遭受损坏时，只有该台存储服务器上的数据遭到损坏，安全性更高，此外，分散存储系统还易于扩展。
本发明实施例中，为了保证一台存储服务器遭受损坏时，不影响整个存储系统的完整性，首先对存储数据进行备份形成原始存储数据和备份存储数据，然后将原始存储数据和备份存储数据存储到不同的存储服务器中，这样的话，就算某一台存储服务器遭受损坏，也有其它服务器中的数据可以使用，不影响数据的完整性；此外，当需要拓展存储空间时，就会增加新的存储服务器，此时需要将原来的存储服务器中的部分数据迁移到新的存储服务器中，这样就可以避免原来的存储服务器因为没有存储空间不能存储数据，保证所有的存储服务器都可以正常使用，进而能够保证原始存储数据和备份存储数据存储到不同的存储服务器中，需要注意的是，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据，避免新的存储服务器遭受损坏时，数据缺乏完整性，可以理解的是，需要对数据存储路径进行记录并保存，也需要对数据迁移路径进行记录并保存，方便后续对数据进行查找和读取。
如图2所示，作为本发明一个优选的实施例，所述将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中的步骤，具体包括：
S201，对所有的存储服务器的剩余存储空间进行读取，得到服务器剩余空间值；
S202，对服务器剩余空间值进行降序排序，将排序前两位的服务器剩余空间值所对应的存储服务器标记为第一存储服务器和第二存储服务器；
S203，将原始存储数据和备份存储数据分别存储到第一存储服务器和第二存储服务器中。
本发明实施例中，为了尽可能使用全部的存储服务器，且尽可能让每个存储服务器的剩余存储空间相等，需要对所有的存储服务器的剩余存储空间进行读取，得到服务器剩余空间值，然后对服务器剩余空间值进行降序排序，将排序第一位和第二位的服务器剩余空间值所对应的存储服务器标记为第一存储服务器和第二存储服务器，最后将原始存储数据和备份存储数据分别存储到第一存储服务器和第二存储服务器中，例如有10个存储服务器，10个存储服务器的剩余存储空间分别为500TB、512TB、523TB、546TB、570TB、485B、498TB、432TB、496TB以及452TB，那么，此时第一存储服务器和第二存储服务器就是570TB和546TB所对应的存储服务器，可以理解的是，随着存储数据的不断变化，第一存储服务器和第二存储服务器也会发生变化，且所有存储服务器的剩余存储空间会趋于一致，保证每个存储服务器都能够被利用，数据存储更加分散、更加安全。
如图3所示，作为本发明一个优选的实施例，所述将原来的存储服务器中的部分数据迁移到新的存储服务器中的步骤，具体包括：
S401，对原来的服务器剩余空间值进行求和得到原本剩余存储空间值；
S402，对新的存储服务器的存储空间进行读取，得到服务器拓展空间值；
S403，将原本剩余存储空间值与服务器拓展空间值进行求和得到剩余存储总空间值；
S404，根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中，以使得每个存储服务器的服务器剩余空间值相当。
本发明实施例中，当增加新的存储服务器时，需要将原来的存储服务器中的部分数据迁移到新的存储服务器中，如果不将部分数据迁移到新的存储服务器中，那么新的存储服务器的剩余存储空间基本是最大的，这样，数据大都会存储到新的存储服务器中，原来的存储服务器的利用率变低，数据存储不够分散、不够安全；因此需要对原来的服务器剩余空间值进行求和得到原本剩余存储空间值，并对新的存储服务器的存储空间进行读取，得到服务器拓展空间值，然后将原本剩余存储空间值与服务器拓展空间值进行求和得到剩余存储总空间值，最后根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中，以使得每个存储服务器的服务器剩余空间值相当。
如图4所示，作为本发明一个优选的实施例，所述根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中的步骤，具体包括：
S4041，将剩余存储总空间值除以存储服务器的总数量得到每台存储服务器的理论剩余空间值；
S4042，将原来的每个服务器剩余空间值与理论剩余空间值进行差值计算得到待迁移数据量，提取出与待迁移数据量大小相当的待迁移数据；
S4043，对所有的待迁移数据进行汇总得到整体迁移数据，将整体迁移数据迁移到新的存储服务器中。
本发明实施例中，例如剩余存储总空间值为7000TB，存储服务器的总数量为12台（其中10台是原本的存储服务器，2台是拓展的存储服务器），则理论剩余空间值为583.33TB，然后将原来的每个服务器剩余空间值与理论剩余空间值进行差值计算得到待迁移数据量，提取与待迁移数据量大小相当的待迁移数据，需要注意的是，提取出的每份数据是完整的，在保证数据完整性的前提下，提取出的数据大小与待迁移数据量大小相接近即可，最后对所有的待迁移数据进行汇总得到整体迁移数据，将整体迁移数据迁移到新的存储服务器中。
如图5所示，作为本发明一个优选的实施例，所述对所有的待迁移数据进行汇总得到整体迁移数据的步骤，具体包括：
S40431，对所有的待迁移数据进行汇总得到汇总数据；
S40432，对汇总数据进行检验，判定汇总数据中是否存在同一份数据的原始存储数据和备份存储数据；
S40433，当汇总数据中存在同一份数据的原始存储数据和备份存储数据时，将所述原始存储数据存储到原来的存储服务器中，并从原来的存储服务器中提取出与所述原始存储数据大小相当的其它数据，将所述其它数据添加至汇总数据中得到整体迁移数据；
S40434，当汇总数据中不存在同一份数据的原始存储数据和备份存储数据时，所述汇总数据即为整体迁移数据。
本发明实施例中，需要注意的是，整体迁移数据中不能够包括同一份数据的原始存储数据和备份存储数据，因此需要对汇总数据进行检验，当汇总数据中存在同一份数据的原始存储数据和备份存储数据时，将所述原始存储数据存储到原来的存储服务器中，并从原来的存储服务器中提取出与所述原始存储数据大小相当的其它数据，将所述其它数据添加至汇总数据中得到整体迁移数据。
如图6所示，作为本发明一个优选的实施例，所述将整体迁移数据迁移到新的存储服务器中的步骤，具体包括：
S40435，对每个新的存储服务器的空间大小与理论剩余空间值进行差值计算得到待迁入数据量；
S40436，从整体迁移数据中提取出与待迁入数据量大小相当的数据，并将提取出的数据存储到新的存储服务器中。
本发明实施例中，需要说明的是，对于新的存储服务器，迁入数据之后，应该保证新的存储服务器的剩余空间值与理论剩余空间值相当，因此，需要对每个新的存储服务器的空间大小与理论剩余空间值进行差值计算得到待迁入数据量；然后从整体迁移数据中提取出与待迁入数据量大小相当的数据，并将提取出的数据存储到新的存储服务器中，最后的结果是：整体迁移数据全部存储到新的存储服务器中，且所有存储服务器的剩余空间值相当。
如图7所示，本发明实施例还提供了一种数据分散存储系统，所述系统包括：
数据备份模块100，用于对存储数据进行备份形成原始存储数据和备份存储数据；
数据存储模块200，用于将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中；
存储路径记录模块300，用于对数据存储路径进行记录并保存；
数据迁移模块400，当需要拓展存储空间时，增加新的存储服务器，将原来的存储服务器中的部分数据迁移到新的存储服务器中，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据；以及
迁移路径记录模块500，用于对数据迁移路径进行记录并保存。
本发明实施例中，为了保证一台存储服务器遭受损坏时，不影响整个存储系统的完整性，首先对存储数据进行备份形成原始存储数据和备份存储数据，然后将原始存储数据和备份存储数据存储到不同的存储服务器中，这样的话，就算某一台存储服务器遭受损坏，也有其它服务器中的数据可以使用，不影响数据的完整性；此外，当需要拓展存储空间时，就会增加新的存储服务器，此时需要将原来的存储服务器中的部分数据迁移到新的存储服务器中，这样就可以避免原来的存储服务器因为没有存储空间不能存储数据，保证所有的存储服务器都可以正常使用，进而能够保证原始存储数据和备份存储数据存储到不同的存储服务器中，需要注意的是，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据，避免新的存储服务器遭受损坏时，数据缺乏完整性，可以理解的是，需要对数据存储路径进行记录并保存，也需要对数据迁移路径进行记录并保存，方便后续对数据进行查找和读取。
如图8所示，作为本发明一个优选的实施例，所述数据存储模块200包括：
剩余存储空间读取单元201，用于对所有的存储服务器的剩余存储空间进行读取，得到服务器剩余空间值；
剩余空间值排序单元202，用于对服务器剩余空间值进行降序排序，将排序前两位的服务器剩余空间值所对应的存储服务器标记为第一存储服务器和第二存储服务器；以及
数据存储单元203，用于将原始存储数据和备份存储数据分别存储到第一存储服务器和第二存储服务器中。
本发明实施例中，为了尽可能使用全部的存储服务器，且尽可能让每个存储服务器的剩余存储空间相等，需要对所有的存储服务器的剩余存储空间进行读取，得到服务器剩余空间值，然后对服务器剩余空间值进行降序排序，将排序前两位的服务器剩余空间值所对应的存储服务器标记为第一存储服务器和第二存储服务器，最后将原始存储数据和备份存储数据分别存储到第一存储服务器和第二存储服务器中，例如有10个存储服务器，10个存储服务器的剩余存储空间分别为500TB、512TB、523TB、546TB、570TB、485B、498TB、432TB、496TB以及452TB，那么，此时第一存储服务器和第二存储服务器就是570TB和546TB所对应的存储服务器，可以理解的是，随着存储数据的不断变化，第一存储服务器和第二存储服务器也会发生变化，且所有存储服务器的剩余存储空间会趋于一致，保证每个存储服务器都能够被利用，数据存储更加分散、更加安全。
如图9所示，作为本发明一个优选的实施例，所述数据迁移模块400包括：
空间值求和单元401，用于对原来的服务器剩余空间值进行求和得到原本剩余存储空间值；
拓展空间值读取单元402，用于对新的存储服务器的存储空间进行读取，得到服务器拓展空间值；
总空间值计算单元403，用于将原本剩余存储空间值与服务器拓展空间值进行求和得到剩余存储总空间值；以及
数据迁移单元404，用于根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中，以使得每个存储服务器的服务器剩余空间值相当。
本发明实施例中，当增加新的存储服务器时，需要将原来的存储服务器中的部分数据迁移到新的存储服务器中，如果不将部分数据迁移到新的存储服务器中，那么新的存储服务器的剩余存储空间基本是最大的，这样，数据大都会存储到新的存储服务器中，原来的存储服务器的利用率变低，数据存储不够分散、不够安全；因此需要将对原来的服务器剩余空间值进行求和得到原本剩余存储空间值，并对新的存储服务器的存储空间进行读取，得到服务器拓展空间值，然后将原本剩余存储空间值与服务器拓展空间值进行求和得到剩余存储总空间值，最后根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中，以使得每个存储服务器的服务器剩余空间值相当。
如图10所示，作为本发明一个优选的实施例，所述数据迁移单元404包括：
理论剩余空间值计算子单元4041，用于将剩余存储总空间值除以存储服务器的总数量得到每台存储服务器的理论剩余空间值；
待迁移数据提取子单元4042，用于将原来的每个服务器剩余空间值与理论剩余空间值进行差值计算得到待迁移数据量，提取出与待迁移数据量大小相当的待迁移数据；以及
整体迁移数据子单元4043，用于对所有的待迁移数据进行汇总得到整体迁移数据，将整体迁移数据迁移到新的存储服务器中。
本发明实施例中，例如剩余存储总空间值为7000TB，存储服务器的总数量为12台（其中10台是原本的存储服务器，2台是拓展的存储服务器），则理论剩余空间值为583.33TB，然后将原来的每个服务器剩余空间值与理论剩余空间值进行差值计算得到待迁移数据量，提取与待迁移数据量大小相当的待迁移数据，需要注意的是，提取出的每份数据是完整的，在保证数据完整性的前提下，提取出的数据大小与待迁移数据量大小相接近即可，最后对所有的待迁移数据进行汇总得到整体迁移数据，将整体迁移数据迁移到新的存储服务器中。
以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种数据分散存储方法，其特征在于，所述方法包括以下步骤：
对存储数据进行备份形成原始存储数据和备份存储数据；
将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中；
对数据存储路径进行记录并保存；
当需要拓展存储空间时，增加新的存储服务器，将原来的存储服务器中的部分数据迁移到新的存储服务器中，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据；
对数据迁移路径进行记录并保存。
2.根据权利要求1所述一种数据分散存储方法，其特征在于，所述将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中的步骤，具体包括：
对所有的存储服务器的剩余存储空间进行读取，得到服务器剩余空间值；
对服务器剩余空间值进行降序排序，将排序前两位的服务器剩余空间值所对应的存储服务器标记为第一存储服务器和第二存储服务器；
将原始存储数据和备份存储数据分别存储到第一存储服务器和第二存储服务器中。
3.根据权利要求2所述一种数据分散存储方法，其特征在于，所述将原来的存储服务器中的部分数据迁移到新的存储服务器中的步骤，具体包括：
对原来的服务器剩余空间值进行求和得到原本剩余存储空间值；
对新的存储服务器的存储空间进行读取，得到服务器拓展空间值；
将原本剩余存储空间值与服务器拓展空间值进行求和得到剩余存储总空间值；
根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中，以使得每个存储服务器的服务器剩余空间值相当。
4.根据权利要求3所述一种数据分散存储方法，其特征在于，所述根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中的步骤，具体包括：
将剩余存储总空间值除以存储服务器的总数量得到每台存储服务器的理论剩余空间值；
将原来的每个服务器剩余空间值与理论剩余空间值进行差值计算得到待迁移数据量，提取出与待迁移数据量大小相当的待迁移数据；
对所有的待迁移数据进行汇总得到整体迁移数据，将整体迁移数据迁移到新的存储服务器中。
5.根据权利要求4所述一种数据分散存储方法，其特征在于，所述对所有的待迁移数据进行汇总得到整体迁移数据的步骤，具体包括：
对所有的待迁移数据进行汇总得到汇总数据；
对汇总数据进行检验，判定汇总数据中是否存在同一份数据的原始存储数据和备份存储数据；
当汇总数据中存在同一份数据的原始存储数据和备份存储数据时，将所述原始存储数据存储到原来的存储服务器中，并从原来的存储服务器中提取出与所述原始存储数据大小相当的其它数据，将所述其它数据添加至汇总数据中得到整体迁移数据；
当汇总数据中不存在同一份数据的原始存储数据和备份存储数据时，所述汇总数据即为整体迁移数据。
6.根据权利要求4所述一种数据分散存储方法，其特征在于，所述将整体迁移数据迁移到新的存储服务器中的步骤，具体包括：
对每个新的存储服务器的空间大小与理论剩余空间值进行差值计算得到待迁入数据量；
从整体迁移数据中提取出与待迁入数据量大小相当的数据，并将提取出的数据存储到新的存储服务器中。
7.一种数据分散存储系统，其特征在于，所述系统包括：
数据备份模块，用于对存储数据进行备份形成原始存储数据和备份存储数据；
数据存储模块，用于将同一份数据的原始存储数据和备份存储数据存储到不同的存储服务器中；
存储路径记录模块，用于对数据存储路径进行记录并保存；
数据迁移模块，当需要拓展存储空间时，增加新的存储服务器，将原来的存储服务器中的部分数据迁移到新的存储服务器中，迁移到新的存储服务器中的数据不包括同一份数据的原始存储数据和备份存储数据；以及
迁移路径记录模块，用于对数据迁移路径进行记录并保存。
8.根据权利要求7所述一种数据分散存储系统，其特征在于，所述数据存储模块包括：
剩余存储空间读取单元，用于对所有的存储服务器的剩余存储空间进行读取，得到服务器剩余空间值；
剩余空间值排序单元，用于对服务器剩余空间值进行降序排序，将排序前两位的服务器剩余空间值所对应的存储服务器标记为第一存储服务器和第二存储服务器；以及
数据存储单元，用于将原始存储数据和备份存储数据分别存储到第一存储服务器和第二存储服务器中。
9.根据权利要求8所述一种数据分散存储系统，其特征在于，所述数据迁移模块包括：
空间值求和单元，用于对原来的服务器剩余空间值进行求和得到原本剩余存储空间值；
拓展空间值读取单元，用于对新的存储服务器的存储空间进行读取，得到服务器拓展空间值；
总空间值计算单元，用于将原本剩余存储空间值与服务器拓展空间值进行求和得到剩余存储总空间值；以及
数据迁移单元，用于根据剩余存储总空间值将原来的存储服务器中的部分数据迁移到新的存储服务器中，以使得每个存储服务器的服务器剩余空间值相当。
10.根据权利要求9所述一种数据分散存储系统，其特征在于，所述数据迁移单元包括：
理论剩余空间值计算子单元，用于将剩余存储总空间值除以存储服务器的总数量得到每台存储服务器的理论剩余空间值；
待迁移数据提取子单元，用于将原来的每个服务器剩余空间值与理论剩余空间值进行差值计算得到待迁移数据量，提取出与待迁移数据量大小相当的待迁移数据；以及
整体迁移数据子单元，用于对所有的待迁移数据进行汇总得到整体迁移数据，将整体迁移数据迁移到新的存储服务器中。
CN202111072504.0A 2021-09-14 2021-09-14 一种数据分散存储方法和系统 Withdrawn CN113778339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111072504.0A CN113778339A (zh) 2021-09-14 2021-09-14 一种数据分散存储方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111072504.0A CN113778339A (zh) 2021-09-14 2021-09-14 一种数据分散存储方法和系统

Publications (1)

Publication Number Publication Date
CN113778339A true CN113778339A (zh) 2021-12-10

Family

ID=78843275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111072504.0A Withdrawn CN113778339A (zh) 2021-09-14 2021-09-14 一种数据分散存储方法和系统

Country Status (1)

Country Link
CN (1) CN113778339A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356869A (zh) * 2022-03-11 2022-04-15 深圳市一号互联科技有限公司 一种图片分布式存储方法和系统
CN114500567A (zh) * 2022-01-13 2022-05-13 骤雨湾(武汉)技术服务有限公司 远程附件多冗余存储方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500567A (zh) * 2022-01-13 2022-05-13 骤雨湾(武汉)技术服务有限公司 远程附件多冗余存储方法、装置、设备及存储介质
CN114356869A (zh) * 2022-03-11 2022-04-15 深圳市一号互联科技有限公司 一种图片分布式存储方法和系统

Similar Documents

Publication Publication Date Title
CN113778339A (zh) 一种数据分散存储方法和系统
CN104778126B (zh) 非易失性主存中事务数据存储优化方法及系统
CN101515276B (zh) 一种文件数据写操作的方法、文件数据恢复方法及系统
EP3309685B1 (en) Method and apparatus for writing data to cache
CN109213817B (zh) 增量数据抽取方法、装置及服务器
CN109213432B (zh) 利用日志结构合并树将数据写入的存储设备及其方法
CN112395212B (zh) 减少键值分离存储系统的垃圾回收和写放大的方法及系统
CN110213326B (zh) 元数据节点集群的扩容方法、系统、设备和存储介质
CN111638995A (zh) 元数据备份方法、装置及设备、存储介质
CN109325026B (zh) 基于大数据平台的数据处理方法、装置、设备及介质
US20170242872A1 (en) Method for reliable and efficient filesystem metadata conversion
CN104239438A (zh) 基于分离存储的文件信息存储方法和文件信息读写方法
US9858287B2 (en) Storage system
CN109407985B (zh) 一种数据管理的方法以及相关装置
CN108664482B (zh) Flash存储器及存储文件管理方法
CN114936188A (zh) 数据处理方法、装置、电子设备及存储介质
CN110688065A (zh) 一种存储空间管理方法、系统、电子设备及存储介质
CN110989931A (zh) 存储设备坏块处理方法、装置、设备及存储介质
CN109426587B (zh) 一种数据恢复方法及装置
CN109669621B (zh) 一种文件管理方法、文件管理系统、电子设备及存储介质
US20160253247A1 (en) Method and device for restoring system file indexes
US11803525B2 (en) Selection and movement of data between nodes of a distributed storage system
CN113326262B (zh) 基于键值数据库的数据处理方法、装置、设备及介质
CN115421856A (zh) 一种数据恢复方法及装置
CN113312309B (zh) 快照链的管理方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211210

WW01 Invention patent application withdrawn after publication