CN113655969B - 一种基于流式分布式存储系统的数据均衡存储方法 - Google Patents

一种基于流式分布式存储系统的数据均衡存储方法 Download PDF

Info

Publication number
CN113655969B
CN113655969B CN202110980898.3A CN202110980898A CN113655969B CN 113655969 B CN113655969 B CN 113655969B CN 202110980898 A CN202110980898 A CN 202110980898A CN 113655969 B CN113655969 B CN 113655969B
Authority
CN
China
Prior art keywords
online
storage
nodes
residual
capacity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110980898.3A
Other languages
English (en)
Other versions
CN113655969A (zh
Inventor
齐翔
瞿洪桂
王�华
王思瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinonet Science and Technology Co Ltd
Original Assignee
Beijing Sinonet Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinonet Science and Technology Co Ltd filed Critical Beijing Sinonet Science and Technology Co Ltd
Priority to CN202110980898.3A priority Critical patent/CN113655969B/zh
Publication of CN113655969A publication Critical patent/CN113655969A/zh
Application granted granted Critical
Publication of CN113655969B publication Critical patent/CN113655969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于流式分布式存储系统的数据均衡存储方法，包括：对各个在线节点的剩余网络带宽b进行求和计算，得到集群总剩余网络带宽；对各个在线节点的剩余存储容量c进行求和计算，得到集群总剩余存储容量；计算需接入设备的总网络带宽和总存储容量；选择带宽优先存储策略、容量优先存储策略或资源能力指数存储策略进行数据存储。具有以下优点：(1)根据当前分布式存储系统中网络带宽或存储容量，采用对应的最佳存储策略进行数据存储，保证数据存储分片均匀分布于分布式系统中的各个节点，提升系统资源利用率。(2)保证无论是同构系统还是异构的分布式系统，都支持数据的均衡分布，保证系统负载均衡。同时支持集群的扩容及缩容场景。

Description

一种基于流式分布式存储系统的数据均衡存储方法
技术领域
本发明属于数据存储技术领域，具体涉及一种基于流式分布式存储系统的数据均衡存储方法。
背景技术
近年来，随着互联网技术的不断发展，从日常用到的社交网络、电子商务，到智慧城市、国家安全等相关领域，各种数据呈爆发式增长，数据存储需求日益剧增。与此同时，数据存储领域对云存储的安全性、完备性和高可用性的要求也越来越高。目前，分布式存储系统是大规模数据存储的主流技术，分布式存储系统区别于传统单机存储系统的地方在于：分布式存储系统将数据分布在不同的节点上存储，解决大规模存储系统数据备份、扩容、缩容和数据迁移等问题。然而，如何分布数据以保证各个节点的资源分布均衡，从而提高资源利用率，是分布式存储需要解决的一个重要问题。
数据分布存储常见方法包括：哈希分布和顺序分布。(一)哈希分布：哈希分布是根据数据的某一种特征计算哈希值，并将哈希值与集群中的服务器建立映射关系，从而将不同哈希值的数据分布到不同服务器上。如果哈希的散列特性很好，哈希方式可以将数据比较均匀的分布到集群中去。然而找到一个散列特性很好的哈希函数是很难的。一般的哈希算法还容易导致数据分布不均的问题。传统的哈希算法还有一个问题就是：当服务器上线或下线时，服务器数量发生变化，数据映射完全被打乱，几乎所有的数据都需要重新分布，从而带来大量的数据迁移。(二)顺序分布：另一种分布方式是顺序分布，顺序分布在分布式表格系统中比较常见，一般的做法是：将大表顺序划分为连续范围，每个范围称为一个子表，总控服务器负责将子表按照一定的策略分配到存储节点上。顺序分布与B+树数据结构比较类似，每个子表相当于叶子节点，随着数据的插入和删除，某些子表可能变得很大，某些子表可能变得很小，数据分布不均匀，如果采用顺序分布，系统设计时需要考虑子表的分裂与合并，极大地增加系统的复杂度。
目前，大部分数据分布策略仅采用哈希分布或顺序分布方式，具有以下问题：数据在各节点上分布不均，并且在系统扩容和缩容时导致数据迁移工作巨大等问题。因此，针对以上问题，现有技术迫切需要一种能够兼顾负载均衡和易于缩容扩容的分布式数据存储方法。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于流式分布式存储系统的数据均衡存储方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于流式分布式存储系统的数据均衡存储方法，包括以下步骤：
步骤1，确定流式分布式存储系统采用k+m的纠删码冗余存储策略；其中，k代表数据节点数量，m代表校验节点数量；
步骤2，当接收到流式设备E的接入请求时，对接入请求进行解析，获得以下参数：流式设备E的设备ID、存储周期T和需要占用的总网络带宽B(E)；
根据存储周期T和需要占用的总网络带宽B(E)，计算得到流式设备E需要占用的总存储容量C(E)；
步骤3，获取当前流式分布式存储系统的以下参数：当前在线节点数量n、每个在线节点的剩余网络带宽b和每个在线节点的剩余存储容量c；
对各个在线节点的剩余网络带宽b进行求和计算，得到集群总剩余网络带宽B(F)；对各个在线节点的剩余存储容量c进行求和计算，得到集群总剩余存储容量C(F)；
步骤4，如果B(E)/B(F)>9[C(E)/C(F)]，则表明当前集群的带宽资源稀缺，存储容量资源充足，执行步骤5；
如果C(E)/C(F)>9[B(E)/B(F)]，则表明当前集群的存储容量资源稀缺，带宽资源充足，执行步骤6；
如果以上两个条件均不满足，则执行步骤7；
步骤5，采用带宽优先存储策略：
步骤5.1，预设置集群在线节点数量阈值ε0；
步骤5.2，比较当前在线节点数量n和集群在线节点数量阈值ε0，如果当前在线节点数量n大于集群在线节点数量阈值ε0，则执行步骤5.3；否则，执行步骤5.4；
步骤5.3，采用堆排序算法，按节点的剩余网络带宽从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余网络带宽最大的在线节点；
对于选出的k+2m个剩余网络带宽最大的在线节点，如果存在剩余网络带宽相同的在线节点，则采用插入排序算法，按节点的剩余存储容量从大到小的顺序，对剩余网络带宽相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤5.4，采用快速排序算法，按节点的剩余网络带宽从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余网络带宽最大的在线节点；
对于选出的k+2m个剩余网络带宽最大的在线节点，如果存在剩余网络带宽相同的在线节点，则采用插入排序算法，按节点的剩余存储容量从大到小的顺序，对剩余网络带宽相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤6，采用容量优先存储策略：
步骤6.1，预设置集群在线节点数量阈值ε1；
步骤6.2，比较当前在线节点数量n和集群在线节点数量阈值ε1，如果当前在线节点数量n大于集群在线节点数量阈值ε1，则执行步骤6.3；否则，执行步骤6.4；
步骤6.3，采用堆排序算法，按节点的剩余存储容量从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余存储容量最大的在线节点；
对于选出的k+2m个剩余存储容量最大的在线节点，如果存在剩余存储容量相同的在线节点，则采用插入排序算法，按节点的剩余网络带宽从大到小的顺序，对剩余存储容量相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤6.4，采用快速排序算法，按节点的剩余存储容量从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余存储容量最大的在线节点；
对于选出的k+2m个剩余存储容量最大的在线节点，如果存在剩余存储容量相同的在线节点，则采用插入排序算法，按节点的剩余网络带宽从大到小的顺序，对剩余存储容量相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤7，采用资源能力指数存储策略：
步骤7.1，对于每个在线节点i，采用下式，计算其资源能力指数ei：
Figure BDA0003228990570000051
其中：
bi为在线节点i的剩余网络带宽；
bi′为在线节点i的总网络带宽；
ci为在线节点i的剩余存储容量；
ci′为在线节点i的总存储容量；
rb为在线节点i的网络带宽权重；
rc为在线节点i的存储容量权重；
rb和rc通过以下公式计算获得：
rb＝B(E)/B(F)÷[B(E)/B(F)+C(E)/C(F)]
rc＝(C(E)/C(F))÷[B(E)/B(F)+C(E)/C(F)]；
步骤7.2，按节点的资源能力指数从大到小的顺序，对n个在线节点进行排序，选出k+m个资源能力指数最大的在线节点；然后执行步骤8；
步骤8，对于选出的k+m个在线节点，判断各个在线节点的剩余存储容量是否均满足对流式设备E的分片存储需求；如果满足，则实时将流式设备E传输的视频数据，按k+m的纠删码冗余存储策略，存储到选出的各个在线节点；然后返回步骤2；
如果存在不满足分片存储需求的在线节点，则进一步按以下两种存储策略处理：
强制存储策略：
假设当前选择的k+m个在线节点中，存在x1个在线节点不满足单个存储分片的容量要求，则对剩余的k+m-x1个在线节点按照剩余存储容量降序排序后，判断各在线节点是否满足存储分片循环存储的容量要求，即：单个在线节点支持存储多个存储分片；如果满足，则进行存储分片循环存储；
如果不满足，则从剩余的k+m-x1个在线节点中，选择出剩余存储容量最高的k+m-x1-1个在线节点，并对k+m-x1-1个在线节点按照剩余存储容量降序排序后，判断各在线节点是否满足存储分片循环存储的容量要求，如果满足，则进行存储分片循环存储；
如果不满足，则从k+m-x1-1个在线节点中，选择出剩余存储容量最高的k+m-x1-2个在线节点，依此类推，直到当只选择出1个剩余存储容量最高的在线节点时，该在线节点的剩余存储容量仍然不满足存储分片循环存储的容量要求，则返回存储失败的通知消息；
非强制存储策略：对于当前选择的k+m个在线节点，只有存在1个在线节点的剩余存储容量不满足单个存储分片的容量要求，则返回存储失败的通知消息。
优选的，还包括：
对于流式分布式存储系统，当需要新增多个在线节点进行扩容时，在接入流式设备时，在步骤3中，将新增的多个在线节点和原有的在线节点作为统计对象，统计各在线节点的参数即可；
当需要移除流式分布式存储系统中的部分在线节点时，首先将需要移除的在线节点所存储的数据，以存储分片为单位，将各存储分片迁移存储到其他在线节点上，并更新数据存储位置记录；然后，当需要接入流式设备时，在步骤3中，只需要将剩余在线节点作为统计对象，统计各剩余在线节点的参数即可。
本发明提供的一种基于流式分布式存储系统的数据均衡存储方法具有以下优点：
(1)本发明根据当前分布式存储系统中网络带宽或存储容量，采用对应的最佳存储策略进行数据存储，保证数据存储分片均匀分布于分布式系统中的各个节点，提升系统资源利用率。
(2)本发明保证无论是同构系统还是异构的分布式系统，都支持数据的均衡分布，保证系统负载均衡。同时支持集群的扩容及缩容场景。
(3)本发明中，当分布式节点数量多时，采用堆排序的方式，短时间选出最优的部分节点，而后内部再采用插入排序的策略，减少内存申请与释放开销，提高分片在选择节点的高效性。
附图说明
图1为本发明提供的一种基于流式分布式存储系统的数据均衡存储方法的流程示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
依据传统分布式存储技术中存在的数据存储不均匀，存储灵活性差等问题，
本发明提供一种基于流式分布式存储系统的数据均衡存储方法，具有以下特点：1.本发明的均衡存储策略支持基于各节点的带宽资源及容量资源进行数据的存储，达到充分利用分布式系统中各个节点资源，且存储分片数据均匀分布的目的。2.本发明中新增采用了一种计算能力指数的公式，支持更简单的计算策略选择更优的存储节点，同时可支持根据实际存储场景及资源的优先级动态的进行调整。3.本发明中基于云存储系统强相关的带宽及容量指标进行分布存储，支持异构系统的均衡分布存储，保证系统负载均衡。同时支持集群的扩容及缩容场景。4.本发明中在选择存储分片的节点时，通过资源数或能力指数为标准，采用堆排序的方式，短时间选出最优的少量节点，提高各数据分片在选择节点的高效性。
本发明提供一种基于流式分布式存储系统的数据均衡存储方法，参考图1，包括以下步骤：
步骤1，确定流式分布式存储系统采用k+m的纠删码冗余存储策略；其中，k代表数据节点数量，m代表校验节点数量；
本发明中，通过纠删码冗余策略提高数据存储的可靠性，即一个整体原始数据包会被拆分成k个小数据包，分别存储在对应的k个节点上；同时根据纠删码算法计算出m个冗余数据，并分别存储在m个节点上。当丢失数据小于等于m个包时，可通过其它k个数据包进行恢复。因此，原始数据对应的数据节点个数为k，校验节点(即存储纠删码冗余数据节点)个数为m。
步骤2，当接收到流式设备E的接入请求时，对接入请求进行解析，获得以下参数：流式设备E的设备ID、存储周期T和需要占用的总网络带宽B(E)；
根据存储周期T和需要占用的总网络带宽B(E)，计算得到流式设备E需要占用的总存储容量C(E)；
具体计算公式为：C(E)＝T×24×3600×B(E)÷8。
步骤3，获取当前流式分布式存储系统的以下参数：当前在线节点数量n、每个在线节点的剩余网络带宽b和每个在线节点的剩余存储容量c；
具体的，本发明中，流式分布式存储系统，即分布式集群由多个节点组成，分布式集群中的节点可表示为：N[1]，N[2]...，即节点编号从1开始，且编号数字是连续的，用于存储视频分片数据。同时，分布式集群中的各节点具有一定的计算和存储能力。
一般情况下，网络带宽和存储容量是影响节点存储能力的重要指标。因此，本步骤中，获取每个在线节点的剩余网络带宽b和每个在线节点的剩余存储容量c。
对各个在线节点的剩余网络带宽b进行求和计算，得到集群总剩余网络带宽B(F)；对各个在线节点的剩余存储容量c进行求和计算，得到集群总剩余存储容量C(F)；
步骤4，如果B(E)/B(F)>9[C(E)/C(F)]，则表明当前集群的带宽资源稀缺，存储容量资源充足，执行步骤5；
如果C(E)/C(F)>9[B(E)/B(F)]，则表明当前集群的存储容量资源稀缺，带宽资源充足，执行步骤6；
如果以上两个条件均不满足，则执行步骤7；
步骤5，采用带宽优先存储策略：
在采用带宽优先存储策略时，首先根据当前集群中所有在线节点的数量级别进行排序算法的选择。具体方式如下：
步骤5.1，预设置集群在线节点数量阈值ε0；
步骤5.2，比较当前在线节点数量n和集群在线节点数量阈值ε0，如果当前在线节点数量n大于集群在线节点数量阈值ε0，表明当前集群中所有在线节点的数量较多，则执行步骤5.3；否则，表明当前集群中所有在线节点的数量较少，执行步骤5.4；
步骤5.3，采用堆排序算法，按节点的剩余网络带宽从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余网络带宽最大的在线节点；
对于选出的k+2m个剩余网络带宽最大的在线节点，如果存在剩余网络带宽相同的在线节点，则采用插入排序算法，按节点的剩余存储容量从大到小的顺序，对剩余网络带宽相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤5.4，采用快速排序算法，按节点的剩余网络带宽从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余网络带宽最大的在线节点；
对于选出的k+2m个剩余网络带宽最大的在线节点，如果存在剩余网络带宽相同的在线节点，则采用插入排序算法，按节点的剩余存储容量从大到小的顺序，对剩余网络带宽相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤6，采用容量优先存储策略：
步骤6.1，预设置集群在线节点数量阈值ε1；
步骤6.2，比较当前在线节点数量n和集群在线节点数量阈值ε1，如果当前在线节点数量n大于集群在线节点数量阈值ε1，则执行步骤6.3；否则，执行步骤6.4；
步骤6.3，采用堆排序算法，按节点的剩余存储容量从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余存储容量最大的在线节点；本步骤中，选取的k+2m个在线节点的数量，大于需要的k+m个在线节点的数量，理由为：防止部分网络带宽资源充足的节点未被选中。
对于选出的k+2m个剩余存储容量最大的在线节点，如果存在剩余存储容量相同的在线节点，则采用插入排序算法，按节点的剩余网络带宽从大到小的顺序，对剩余存储容量相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤6.4，采用快速排序算法，按节点的剩余存储容量从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余存储容量最大的在线节点；
对于选出的k+2m个剩余存储容量最大的在线节点，如果存在剩余存储容量相同的在线节点，则采用插入排序算法，按节点的剩余网络带宽从大到小的顺序，对剩余存储容量相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤7，采用资源能力指数存储策略：
步骤7.1，对于每个在线节点i，采用下式，计算其资源能力指数ei：
Figure BDA0003228990570000111
其中：
bi为在线节点i的剩余网络带宽；
bi′为在线节点i的总网络带宽；
ci为在线节点i的剩余存储容量；
ci′为在线节点i的总存储容量；
rb为在线节点i的网络带宽权重；
rc为在线节点i的存储容量权重；
rb和rc通过以下公式计算获得：
rb＝B(E)/B(F)÷[B(E)/B(F)+C(E)/C(F)]
rc＝(C(E)/C(F))÷[B(E)/B(F)+C(E)/C(F)]；
因此，每个节点的资源能力指数，是该节点剩余网络带宽、总网络带宽、剩余存储容量和总存储容量计算出来的指数值。
rb和rc的和为1。
步骤7.2，按节点的资源能力指数从大到小的顺序，对n个在线节点进行排序，选出k+m个资源能力指数最大的在线节点；然后执行步骤8；
在选择存储分片节点时，由于仅需获取资源能力指数最大的k+m个节点，无需了解其余节点的次序，同时为防止整体排序导致时间复杂度高，效率低下，因此，如果在线节点数量n大于集群在线节点数量阈值ε1，则选择通过堆排序算法完成n个在线节点的排序；如果在线节点数量n不大于集群在线节点数量阈值ε1，则通过快速排序算法，完成n个在线节点的排序。
本发明中，涉及到的各个在线节点数量阈值，即：ε0和ε1，可以相同，也可以不相同，具体根据实际需求灵活设置。
通过步骤5-步骤8，根据当前配置的k与m的值，在每次进行流式设备接入时，选择排序后的前k+m个节点进行分片存储。
步骤8，对于选出的k+m个在线节点，判断各个在线节点的剩余存储容量是否均满足对流式设备E的分片存储需求；如果满足，则实时将流式设备E传输的视频数据，按k+m的纠删码冗余存储策略，存储到选出的各个在线节点；然后返回步骤2；
如果存在不满足分片存储需求的在线节点，则进一步按以下两种存储策略处理：
强制存储策略：
假设当前选择的k+m个在线节点中，存在x1个在线节点不满足单个存储分片的容量要求，则对剩余的k+m-x1个在线节点按照剩余存储容量降序排序后，判断各在线节点是否满足存储分片循环存储的容量要求，即：单个在线节点支持存储多个存储分片；如果满足，则进行存储分片循环存储；
如果不满足，则从剩余的k+m-x1个在线节点中，选择出剩余存储容量最高的k+m-x1-1个在线节点，并对k+m-x1-1个在线节点按照剩余存储容量降序排序后，判断各在线节点是否满足存储分片循环存储的容量要求，如果满足，则进行存储分片循环存储；
如果不满足，则从k+m-x1-1个在线节点中，选择出剩余存储容量最高的k+m-x1-2个在线节点，依此类推，直到当只选择出1个剩余存储容量最高的在线节点时，该在线节点的剩余存储容量仍然不满足存储分片循环存储的容量要求，则返回存储失败的通知消息；
非强制存储策略：对于当前选择的k+m个在线节点，只有存在1个在线节点的剩余存储容量不满足单个存储分片的容量要求，则返回存储失败的通知消息。
由于分布式存储系统中，节点可能会出现损坏，或者分布式系统需要扩容及缩容，此时需要将某些节点进行添加或移除。
对于流式分布式存储系统，当需要新增多个在线节点进行扩容时，在接入流式设备时，在步骤3中，将新增的多个在线节点和原有的在线节点作为统计对象，统计各在线节点的参数即可；即：当前环境已有大部分节点被使用，剩余资源较少时，可新增多个节点进行扩容。如果各节点的总网络带宽、总存储容量均相同，则此时由于新增节点的剩余网络带宽、剩余存储容量和能力指数最高，当有流式设备接入时，数据分片存储优先选择新增节点，保证分片存储均衡，同时支持异构节点场景。
当需要移除流式分布式存储系统中的部分在线节点时，首先将需要移除的在线节点所存储的数据，以存储分片为单位，将各存储分片迁移存储到其他在线节点上，并更新数据存储位置记录；然后，当需要接入流式设备时，在步骤3中，只需要将剩余在线节点作为统计对象，统计各剩余在线节点的参数即可。即：当环境中有节点损坏需要移除时，首先将该节点信息进行删除，并获取所有保存在该节点的分片，并进行分片迁移；然后，统计各剩余在线节点的参数，并选择符合存储策略的k+m个在线节点即可。
与现有技术相比，本发明的有益效果是：
(1)本发明不同于现有技术采用哈希策略或单一指标进行数据存储，本发明根据当前分布式存储系统中网络带宽或存储容量，采用对应的最佳存储策略进行数据存储，保证数据存储分片均匀分布于分布式系统中的各个节点，提升系统资源利用率。
(2)本发明提供的基于流式分布式存储系统的数据均衡存储方法，保证无论是同构系统还是异构的分布式系统，都支持数据的均衡分布，保证系统负载均衡。同时支持集群的扩容及缩容场景。
(3)本发明中，当分布式节点数量多时，采用堆排序的方式，短时间选出最优的部分节点，而后内部再采用插入排序的策略，减少内存申请与释放开销，提高分片在选择节点的高效性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (2)

1.一种基于流式分布式存储系统的数据均衡存储方法，其特征在于，包括以下步骤：
步骤1，确定流式分布式存储系统采用k+m的纠删码冗余存储策略；其中，k代表数据节点数量，m代表校验节点数量；
步骤2，当接收到流式设备E的接入请求时，对接入请求进行解析，获得以下参数：流式设备E的设备ID、存储周期T和需要占用的总网络带宽B(E)；
根据存储周期T和需要占用的总网络带宽B(E)，计算得到流式设备E需要占用的总存储容量C(E)；
步骤3，获取当前流式分布式存储系统的以下参数：当前在线节点数量n、每个在线节点的剩余网络带宽b和每个在线节点的剩余存储容量c；
对各个在线节点的剩余网络带宽b进行求和计算，得到集群总剩余网络带宽B(F)；对各个在线节点的剩余存储容量c进行求和计算，得到集群总剩余存储容量C(F)；
步骤4，如果B(E)/B(F)>9[C(E)/C(F)]，则表明当前集群的带宽资源稀缺，存储容量资源充足，执行步骤5；
如果C(E)/C(F)>9[B(E)/B(F)]，则表明当前集群的存储容量资源稀缺，带宽资源充足，执行步骤6；
如果以上两个条件均不满足，则执行步骤7；
步骤5，采用带宽优先存储策略：
步骤5.1，预设置集群在线节点数量阈值ε0；
步骤5.2，比较当前在线节点数量n和集群在线节点数量阈值ε0，如果当前在线节点数量n大于集群在线节点数量阈值ε0，则执行步骤5.3；否则，执行步骤5.4；
步骤5.3，采用堆排序算法，按节点的剩余网络带宽从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余网络带宽最大的在线节点；
对于选出的k+2m个剩余网络带宽最大的在线节点，如果存在剩余网络带宽相同的在线节点，则采用插入排序算法，按节点的剩余存储容量从大到小的顺序，对剩余网络带宽相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤5.4，采用快速排序算法，按节点的剩余网络带宽从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余网络带宽最大的在线节点；
对于选出的k+2m个剩余网络带宽最大的在线节点，如果存在剩余网络带宽相同的在线节点，则采用插入排序算法，按节点的剩余存储容量从大到小的顺序，对剩余网络带宽相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤6，采用容量优先存储策略：
步骤6.1，预设置集群在线节点数量阈值ε1；
步骤6.2，比较当前在线节点数量n和集群在线节点数量阈值ε1，如果当前在线节点数量n大于集群在线节点数量阈值ε1，则执行步骤6.3；否则，执行步骤6.4；
步骤6.3，采用堆排序算法，按节点的剩余存储容量从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余存储容量最大的在线节点；
对于选出的k+2m个剩余存储容量最大的在线节点，如果存在剩余存储容量相同的在线节点，则采用插入排序算法，按节点的剩余网络带宽从大到小的顺序，对剩余存储容量相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤6.4，采用快速排序算法，按节点的剩余存储容量从大到小的顺序，对n个在线节点进行一次排序，选出k+2m个剩余存储容量最大的在线节点；
对于选出的k+2m个剩余存储容量最大的在线节点，如果存在剩余存储容量相同的在线节点，则采用插入排序算法，按节点的剩余网络带宽从大到小的顺序，对剩余存储容量相同的在线节点进行二次排序，由此得到排序后的k+2m个在线节点；
对于排序后的k+2m个在线节点，选出排序在前面的k+m个在线节点；然后执行步骤8；
步骤7，采用资源能力指数存储策略：
步骤7.1，对于每个在线节点i，采用下式，计算其资源能力指数ei：
Figure FDA0003764912670000031
其中：
bi为在线节点i的剩余网络带宽；
bi′为在线节点i的总网络带宽；
ci为在线节点i的剩余存储容量；
ci′为在线节点i的总存储容量；
rb为在线节点i的网络带宽权重；
rc为在线节点i的存储容量权重；
rb和rc通过以下公式计算获得：
rb＝B(E)/B(F)÷[B(E)/B(F)+C(E)/C(F)]
rc＝(C(E)/C(F))÷[B(E)/B(F)+C(E)/C(F)]；
步骤7.2，按节点的资源能力指数从大到小的顺序，对n个在线节点进行排序，选出k+m个资源能力指数最大的在线节点；然后执行步骤8；
步骤8，对于选出的k+m个在线节点，判断各个在线节点的剩余存储容量是否均满足对流式设备E的分片存储需求；如果满足，则实时将流式设备E传输的视频数据，按k+m的纠删码冗余存储策略，存储到选出的各个在线节点；然后返回步骤2；
如果存在不满足分片存储需求的在线节点，则进一步按以下两种存储策略之一处理：
强制存储策略：
假设当前选择的k+m个在线节点中，存在x1个在线节点不满足单个存储分片的容量要求，则对剩余的k+m-x1个在线节点按照剩余存储容量降序排序后，判断各在线节点是否满足存储分片循环存储的容量要求，即：单个在线节点支持存储多个存储分片；如果满足，则进行存储分片循环存储；
如果不满足，则从剩余的k+m-x1个在线节点中，选择出剩余存储容量最高的k+m-x1-1个在线节点，并对k+m-x1-1个在线节点按照剩余存储容量降序排序后，判断各在线节点是否满足存储分片循环存储的容量要求，如果满足，则进行存储分片循环存储；
如果不满足，则从k+m-x1-1个在线节点中，选择出剩余存储容量最高的k+m-x1-2个在线节点，依此类推，直到当只选择出1个剩余存储容量最高的在线节点时，该在线节点的剩余存储容量仍然不满足存储分片循环存储的容量要求，则返回存储失败的通知消息；
非强制存储策略：对于当前选择的k+m个在线节点，只有存在1个在线节点的剩余存储容量不满足单个存储分片的容量要求，则返回存储失败的通知消息。
2.根据权利要求1所述的一种基于流式分布式存储系统的数据均衡存储方法，其特征在于，还包括：
对于流式分布式存储系统，当需要新增多个在线节点进行扩容时，在接入流式设备时，在步骤3中，将新增的多个在线节点和原有的在线节点作为统计对象，统计各在线节点的参数即可；
当需要移除流式分布式存储系统中的部分在线节点时，首先将需要移除的在线节点所存储的数据，以存储分片为单位，将各存储分片迁移存储到其他在线节点上，并更新数据存储位置记录；然后，当需要接入流式设备时，在步骤3中，只需要将剩余在线节点作为统计对象，统计各剩余在线节点的参数即可。
CN202110980898.3A 2021-08-25 2021-08-25 一种基于流式分布式存储系统的数据均衡存储方法 Active CN113655969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110980898.3A CN113655969B (zh) 2021-08-25 2021-08-25 一种基于流式分布式存储系统的数据均衡存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110980898.3A CN113655969B (zh) 2021-08-25 2021-08-25 一种基于流式分布式存储系统的数据均衡存储方法

Publications (2)

Publication Number Publication Date
CN113655969A CN113655969A (zh) 2021-11-16
CN113655969B true CN113655969B (zh) 2022-09-16

Family

ID=78481953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110980898.3A Active CN113655969B (zh) 2021-08-25 2021-08-25 一种基于流式分布式存储系统的数据均衡存储方法

Country Status (1)

Country Link
CN (1) CN113655969B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416737B (zh) * 2022-01-04 2022-08-05 北京中电兴发科技有限公司 基于动态权重均衡时序数据库集群的时序数据存储方法
CN114816257B (zh) * 2022-04-29 2023-05-05 重庆大学 一种应用于移动分布式存储的数据布局方法
CN116055562A (zh) * 2022-10-26 2023-05-02 北京蔚领时代科技有限公司 一种云游戏存储空间自动扩容方法及装置
CN116437115B (zh) * 2023-06-12 2023-08-18 江西云眼视界科技股份有限公司 一种分布式存储磁盘分组方法、系统、计算机及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997726A (zh) * 2008-02-05 2011-03-30 华为技术有限公司 电信网络用户数据存储管理的方法及装置
CN104539730A (zh) * 2015-01-16 2015-04-22 浙江大学 一种hdfs中面向视频的负载均衡方法
CN105357257A (zh) * 2015-09-29 2016-02-24 杭州天宽科技有限公司 一种跨数据中心的关联云数据部署方法
CN108347466A (zh) * 2017-01-24 2018-07-31 全球能源互联网研究院 一种云存储系统的数据存储方法和装置
CN109901985A (zh) * 2017-12-08 2019-06-18 北京京东尚科信息技术有限公司 分布式测试装置及方法、存储介质和电子设备
US10353610B1 (en) * 2017-03-16 2019-07-16 EMC IP Holding Company LLC Method, apparatus and computer program product for configuring a data storage system
CN111970383A (zh) * 2020-10-20 2020-11-20 中国人民解放军国防科技大学 数据中心网络的多租户共享方法、系统及存储介质
CN112491564A (zh) * 2020-11-18 2021-03-12 北京金山云网络技术有限公司 网络设备的带宽计费值检测方法、装置、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4518887B2 (ja) * 2004-09-10 2010-08-04 株式会社日立製作所 ストレージエリアネットワーク管理システム及び管理装置とボリューム割当て方法並びにコンピュータ・ソフトウエア
US9276973B2 (en) * 2013-03-29 2016-03-01 Philip Scott Lyren Peer-to-peer data storage
US10846001B2 (en) * 2017-11-08 2020-11-24 Robin Systems, Inc. Allocating storage requirements in a distributed storage system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997726A (zh) * 2008-02-05 2011-03-30 华为技术有限公司 电信网络用户数据存储管理的方法及装置
CN104539730A (zh) * 2015-01-16 2015-04-22 浙江大学 一种hdfs中面向视频的负载均衡方法
CN105357257A (zh) * 2015-09-29 2016-02-24 杭州天宽科技有限公司 一种跨数据中心的关联云数据部署方法
CN108347466A (zh) * 2017-01-24 2018-07-31 全球能源互联网研究院 一种云存储系统的数据存储方法和装置
US10353610B1 (en) * 2017-03-16 2019-07-16 EMC IP Holding Company LLC Method, apparatus and computer program product for configuring a data storage system
CN109901985A (zh) * 2017-12-08 2019-06-18 北京京东尚科信息技术有限公司 分布式测试装置及方法、存储介质和电子设备
CN111970383A (zh) * 2020-10-20 2020-11-20 中国人民解放军国防科技大学 数据中心网络的多租户共享方法、系统及存储介质
CN112491564A (zh) * 2020-11-18 2021-03-12 北京金山云网络技术有限公司 网络设备的带宽计费值检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113655969A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113655969B (zh) 一种基于流式分布式存储系统的数据均衡存储方法
CN108551474B (zh) 一种服务器集群的负载均衡方法
CN106599308B (zh) 一种分布式元数据管理方法及系统
CN107249035B (zh) 一种等级动态可变的共享重复数据存储和读取方法
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN102577241A (zh) 分布式缓存资源调度的方法、装置及系统
CN103929454A (zh) 一种云计算平台中负载均衡存储的方法和系统
CN103905530A (zh) 一种高性能全局负载均衡的分布式数据库数据路由方法
CN104331253B (zh) 一种对象存储系统中对象迁移的计算方法
CN109981702B (zh) 一种文件存储方法及系统
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
CN102508902A (zh) 云存储系统中可变分块大小的块数据分块方法
CN106973091B (zh) 分布式内存数据重分布方法及系统、主控服务器
CN108388471B (zh) 一种基于双门限约束虚机迁移的管理方法
CN116707759B (zh) 一种面向数据流通高并发场景的轻量级联盟链共识方法
CN111309260B (zh) 一种数据存储节点选择方法
CN104219163A (zh) 一种基于动态副本法和虚拟节点法的节点动态前移的负载均衡方法
CN111399755A (zh) 数据存储管理的方法和装置
CN113688115B (zh) 一种基于Hadoop的档案大数据分布式存储系统
CN110704223A (zh) 一种数据库单节点异常的恢复系统和方法
CN111901448B (zh) 一种集群节点故障场景ctdb虚拟ip均衡分配方法
CN111949438B (zh) 多媒体数据备份方法、装置、服务器和介质
CN110502582B (zh) 一种分布式数据库的在线扩容方法
Furuya et al. Load balancing method for data management using high availability distributed clusters
CN108366094B (zh) 一种云存储平台管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant