CN110149384A - 基于网络存储设备集群的数据分布式存储方法及装置 - Google Patents

基于网络存储设备集群的数据分布式存储方法及装置 Download PDF

Info

Publication number
CN110149384A
CN110149384A CN201910385874.6A CN201910385874A CN110149384A CN 110149384 A CN110149384 A CN 110149384A CN 201910385874 A CN201910385874 A CN 201910385874A CN 110149384 A CN110149384 A CN 110149384A
Authority
CN
China
Prior art keywords
network storage
storage
storage equipment
connection
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910385874.6A
Other languages
English (en)
Other versions
CN110149384B (zh
Inventor
秦江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cat Disk Technology Co Ltd
Original Assignee
Beijing Cat Disk Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cat Disk Technology Co Ltd filed Critical Beijing Cat Disk Technology Co Ltd
Priority to CN201910385874.6A priority Critical patent/CN110149384B/zh
Publication of CN110149384A publication Critical patent/CN110149384A/zh
Application granted granted Critical
Publication of CN110149384B publication Critical patent/CN110149384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1044Group management mechanisms 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1044Group management mechanisms 
    • H04L67/1046Joining mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于网络存储设备集群的数据分布式存储方法及装置。该方法包括在多个网络存储设备之间建立第一连接;以及在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群。本申请通过将网络存储设备组成分布式存储集群,解决了公有云和私有云存储成本高的问题。此外,还能够解决集中式存储的单点稳定性、可用性和扩展性问题以及解决分布式存储的分布式节点性能差异问题。本申请适用于将网络中不同类型的存储设备通过应用软件集合起来协同工作,对外提供数据存储和业务访问功能的云存储系统。

Description

基于网络存储设备集群的数据分布式存储方法及装置
技术领域
本申请涉及计算机存储领域,具体而言,涉及一种基于网络存储设备集群的数据分布式存储方法及装置。
背景技术
针对企业客户或个人用户的本地存储资源如计算机、移动硬盘、USB闪存、网络存储设备(英文全称:Network Attached Storage,简称:NAS)等均存在资源和访问的局限,通过使用云存储的可以让使用者在任何时间、地点,通过可连网并安装云存储应用的装置,方便地访问云存储空间和存取数据。
发明人发现,云存储存在存储成本高的问题。进一步,还存在集中式存储节点的单点稳定性、扩展性的问题,分布式存储节点性能差异的问题。
针对相关技术中存储成本高的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于网络存储设备集群的数据分布式存储方法及装置,以解决存储成本高的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种基于网络存储设备集群的数据分布式存储方法。
根据本申请的基于网络存储设备集群的数据分布式存储方法包括:在多个网络存储设备之间的建立第一连接;以及在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群。
进一步地,在预设服务器和多个所述网络存储设备之间建立第二连接之后还包括:将数据进行分块、分发的步骤,所述将数据进行分块、分发的步骤具体包括:在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,对所述数据进行冗余纠错编码得到编码数据对象;将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备,并将冗余存储至第N+1个和/或第N+2个网络存储设备中,其中,N为自然数;将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器,以使所述预设服务器可根据所述存储位置进行寻址。
进一步地,在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群后,建立数据的分块分发策略,所述分块分发策略的建立方法具体包括:通过在预设服务器初始化后配置预设参数的多维度权重;获取每个所述网络存储设备上报的预设参数;根据预设参数和所述多维度权重,对对每个所述网络存储设备打分;将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。
进一步地,在多个网络存储设备之间的建立第一连接包括:在多个网络存储设备之间的建立P2P连接;在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群包括:在预设服务器和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
进一步地,在多个网络存储设备之间的建立第一连接包括:在多个网络存储设备之间的建立P2P(Peer-to-Peer)连接;在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群包括:在至少包括索引和信令服务器中和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
为了实现上述目的,根据本申请的另一方面,提供了一种基于网络存储设备集群的数据分布式存储装置。
根据本申请的基于网络存储设备集群的数据分布式存储装置包括:第一建立模块,在多个网络存储设备之间的建立第一连接;以及第二建立模块,用于在信令服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群。
进一步地,所述装置还包括:分块以及分发模块,所述分块以及分发模块包括:冗余纠错编码单元,用于在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,对所述数据进行冗余纠错编码得到编码数据对象;划分单元,用于将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备,并将冗余存储至第N+1个和/或第N+2个网络存储设备中,其中,N为自然数;记录单元,用于将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器,以使所述预设服务器可根据所述存储位置进行寻址。
进一步地,装置还包括:分块分发策略模块,所述分块分发策略模块包括:
权重单元,用于通过在预设服务器初始化后配置预设参数的多维度权重;获取单元,用于获取每个所述网络存储设备上报的预设参数;打分单元,用于根据预设参数和所述多维度权重,对每个所述网络存储设备打分;分发单元,用于将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。
进一步地,所述第一建立模块包括:P2P单元,所述第二建立模块包括:长连接单元,P2P单元,用于在多个网络存储设备之间的建立P2P连接;第一配置单元,用于在预设服务器和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
进一步地,所述第二建立模块包括:P2P单元,所述第二建立模块包括:配置单元,P2P单元,用于在多个网络存储设备之间的建立P2P连接;第二配置单元,用于在至少包括索引和信令服务器中和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
在本申请实施例中基于网络存储设备集群的数据分布式存储方法及装置,采用在多个网络存储设备之间的建立第一连接的方式,通过在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群,达到了搭建分布式存储集群的目的,进而解决了集中式存储成本高的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请第一实施例中的基于网络存储设备集群的数据分布式存储方法示意图;
图2是根据本申请第二实施例中的基于网络存储设备集群的数据分布式存储方法示意图;
图3是根据本申请第三实施例中的基于网络存储设备集群的数据分布式存储方法示意图;
图4是根据本申请第四实施例中的基于网络存储设备集群的数据分布式存储方法示意图;
图5是根据本申请第五实施例中的基于网络存储设备集群的数据分布式存储方法示意图;
图6是根据本申请第一实施例中的基于网络存储设备集群的数据分布式存储装置示意图;
图7是根据本申请第二实施例中的基于网络存储设备集群的数据分布式存储装置示意图;
图8是根据本申请第三实施例中的基于网络存储设备集群的数据分布式存储装置示意图;
图9是根据本申请第四实施例中的基于网络存储设备集群的数据分布式存储装置示意图
图10是根据本申请第五实施例中的基于网络存储设备集群的数据分布式存储装置示意图;
图11是新型分布式存储集群结构示意图;
图12是将文件/数据分块、分发流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,该方法包括如下的步骤S102至步骤S104:
步骤S102,在多个网络存储设备之间的建立第一连接;
所述网络存储设备,是指具备本地和远程访问能力,但存储容量缺乏弹性,当本地存储器损坏时无法确保用户数据安全,远程访问文件传输速率体验较差。
通过在多个所述网络存储设备之间建立第一连接,可以完成对于分布式存储集群的构建。由于在每个所述网络存储设备之间建立了连接,从而可以在所述网络存储设备之间极性数据和/或文件的读取或写入。所述网络存储设备之间通过节点间的第一连接组成分布式存储集群。
步骤S104,在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群。
通过在预设服务器和所述网络存储设备之间建立相关连接,可以使得所述网络存储设备组成分布式存储集群。
具体地,由于通过将网络存储设备组成分布式存储集群,可以解决公有云和私有云存储成本高的问题。由于每个所述网络存储设备之间建立了连接,可以解决集中式存储的单点稳定性、可用性和扩展性问题。通过在预设服务器和多个所述网络存储设备之间建立的连接,可以解决分布式存储的分布式节点性能差异的问题。
从以上的描述中,可以看出,本申请实现了如下技术效果:
在本申请实施例中基于网络存储设备集群的数据分布式存储方法及装置,采用在多个网络存储设备之间的建立第一连接的方式,通过在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群,达到了搭建新型分布式存储集群的目的,从而实现了在集中式存储节点和分布式存储节点中的优化技术效果,进而解决了存储成本高的技术问题。
根据本申请实施例,作为本实施例中的优选,如图2所示,在预设服务器和多个所述网络存储设备之间建立第二连接之后还包括:将数据进行分块、分发的步骤,所述将数据进行分块、分发的步骤具体包括:
步骤S202,在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,对所述数据进行冗余纠错编码得到编码数据对象;
通过在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,可以将文件/数据进行分块和分发。
具体地,首先需要对所述数据进行冗余纠错编码从而可以得到编码数据对象。
步骤S204,将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备,并将冗余存储至第N+1个和/或第N+2个网络存储设备中,其中,N为自然数;
通过将数据进行冗余纠错编码得到编码数据对象,再利用相关分块算法将编码数据对象划分为若干个数据块,冗余存储在其他网络存储设备中。
需要注意的是,所述相关分块算法对于本领域技术人员是公知且常见的,本领域技术人员可以根据实际使用场景进行选择。
步骤S206,将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器,以使所述预设服务器可根据所述存储位置进行寻址。
冗余存储在其他网络存储设备中时,需要将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器。具体地,当文件1在第一网络存储设备上完整存储,在第二网络存储设备以及第三网络存储设备上冗余分块存储。此时,文件分块的存储设备和存储位置记录在预设服务器上,根据预设服务器进行存储位置寻址。
如图12所示,通过将数据分块以及分发,解决用户对公有云存储的安全性顾虑问题,解决集中式存储的单点可用性问题,在图12中分布式存储集群中的网络存储设备根据服务器的分块策略,将文件进行冗余纠错编码得到编码数据对象,再利用文件分块算法将编码数据对象划分为若干个数据块,冗余存储在其他网络存储设备中。
根据本申请实施例,作为本实施例中的优选,如图3所示,在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群后,建立数据的分块分发策略,所述分块分发策略的建立方法具体包括:
步骤S302,通过在预设服务器初始化后配置预设参数的多维度权重;
所述配置预设参数,需要兼顾分布式存储节点公平性、冗余性、可靠性和性能参数等多维参数。并且针对所述多维参数可以配置出多维度权重。
步骤S304,获取每个所述网络存储设备上报的预设参数;
在所述预设服务器初始化后,设定公平性、冗余性、可靠性和性能参数的多维度权重即哪类参数更重要。比如,网络存储设备上报公平性是指存储空间大小和冗余文件分块占用空间大小参数。又比如,网络存储设备上冗余性是指文件分块的存储冗余情况。再比如,网络存储设备上可靠性是指节点数据规模、节点在线情况。又比如,网络存储设备上性能是指CPU型号、内存大小、硬盘大小、硬盘类型、上行带宽、下行带宽等等参数。
具体地,所述预设参数需要考虑公平性。即在分布式存储集群中如果每个网络存储设备的能力都得到尽可能利用,则在网络存储设备节点的公平性得到保证。
具体地,所述预设参数需要考虑冗余性。冗余性指单个文件的分块尽可能不存储在同一个网络存储设备节点上,而存储在不同的网络存储设备节点上。
具体地,所述预设参数需要考虑可靠性。可靠性指考虑分布式存储系统规模、单节点数据规模等因素对分布式存储系统可靠性的影响,通过利用Markov模型可以建立可靠性分析模型对分布式存储系统文件分块和分布方案进行分析,获得多个参数对分布式存储系统可靠性影响的定量估计,热数据优先存储在可靠性高的网络存储设备中。
具体地,所述预设参数需要考虑性能参数。性能参数指网络存储设备的CPU、内存大小、硬盘大小、硬盘类型、上行带宽、下行带宽等性能。
步骤S306,根据预设参数和所述多维度权重,对对每个所述网络存储设备打分;
在所述预设服务器根据所述参数和权重对于各网络存储设备打分。
步骤S308,将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。
根据各所述网络存储设备的打分结果,将文件分块优先分发至分值高的所述网络存储设备中。
根据本申请实施例,作为本实施例中的优选,如图4所示,在多个网络存储设备之间的建立第一连接包括:
步骤S402,在多个网络存储设备之间的建立P2P连接;
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群包括:
在步骤S404,预设服务器和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
通过将网络存储设备组成分布式存储集群,通过索引和/或信令服务器和每个网络存储设备建立长连接,网络存储设备通过节点间的P2P连接组成分布式存储集群。
根据本申请实施例,作为本实施例中的优选,如图5所示,在多个网络存储设备之间的建立第一连接包括:
步骤S502,在多个网络存储设备之间的建立P2P连接;
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群包括:
步骤S504,在至少包括索引和信令服务器中和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
通过将网络存储设备组成分布式存储集群,通过索引和/或信令服务器和每个网络存储设备建立长连接,网络存储设备通过节点间的P2P连接组成分布式存储集群。
如图11所示,通过将网络存储设备组成分布式存储集群,解决公有云和私有云存储成本高的问题,解决集中式存储的单点稳定性、可用性和扩展性问题,解决分布式存储的分布式节点性能差异问题。索引和/或信令服务器和每个网络存储设备建立长连接,网络存储设备通过节点间的P2P连接组成分布式存储集群。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例,还提供了一种用于实施上述方法的基于网络存储设备集群的数据分布式存储装置,如图6所示,该装置包括:第一建立模块10,在多个网络存储设备之间的建立第一连接;以及第二建立模块20,用于在信令服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群。
本申请实施例的第一建立模块10中所述网络存储设备,是指具备本地和远程访问能力,但存储容量缺乏弹性,当本地存储器损坏时无法确保用户数据安全,远程访问文件传输速率体验较差。
通过在多个所述网络存储设备之间建立第一连接,可以完成对于分布式存储集群的构建。由于在每个所述网络存储设备之间建立了连接,从而可以在所述网络存储设备之间极性数据和/或文件的读取或写入。所述网络存储设备之间通过节点间的第一连接组成分布式存储集群。
本申请实施例的第二建立模块20中通过在预设服务器和所述网络存储设备之间建立相关连接,可以使得所述网络存储设备组成分布式存储集群。
具体地,由于通过将网络存储设备组成分布式存储集群,可以解决公有云和私有云存储成本高的问题。由于每个所述网络存储设备之间建立了连接,可以解决集中式存储的单点稳定性、可用性和扩展性问题。通过在预设服务器和多个所述网络存储设备之间建立的连接,可以解决分布式存储的分布式节点性能差异的问题。
根据本申请实施例,作为本实施例中的优选,如图7所示,还包括:分块以及分发模块30,所述分块以及分发模块30包括:冗余纠错编码单元301,用于在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,对所述数据进行冗余纠错编码得到编码数据对象;划分单元302,用于将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备,并将冗余存储至第N+1个和/或第N+2个网络存储设备中,其中,N为自然数;记录单元303,用于将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器,以使所述预设服务器可根据所述存储位置进行寻址。
本申请实施例的冗余纠错编码单元301中通过在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,可以将文件/数据进行分块和分发。
具体地,首先需要对所述数据进行冗余纠错编码从而可以得到编码数据对象。
本申请实施例的划分单元302中通过将数据进行冗余纠错编码得到编码数据对象,再利用相关分块算法将编码数据对象划分为若干个数据块,冗余存储在其他网络存储设备中。
需要注意的是,所述相关分块算法对于本领域技术人员是公知且常见的,本领域技术人员可以根据实际使用场景进行选择。
本申请实施例的记录单元303中冗余存储在其他网络存储设备中时,需要将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器。具体地,当文件1在第一网络存储设备上完整存储,在第二网络存储设备以及第三网络存储设备上冗余分块存储。此时,文件分块的存储设备和存储位置记录在预设服务器上,根据预设服务器进行存储位置寻址。
根据本申请实施例,作为本实施例中的优选,如图8所示,还包括:分块分发策略模块40,所述分块分发策略模块40包括:权重单元401,用于通过在预设服务器初始化后配置预设参数的多维度权重;获取单元402,用于获取每个所述网络存储设备上报的预设参数;打分单元403,用于根据预设参数和所述多维度权重,对每个所述网络存储设备打分;分发单元404,用于将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。
本申请实施例的权重单元401中所述配置预设参数,需要兼顾分布式存储节点公平性、冗余性、可靠性和性能参数等多维参数。并且针对所述多维参数可以配置出多维度权重。
本申请实施例的获取单元402中在所述预设服务器初始化后,设定公平性、冗余性、可靠性和性能参数的多维度权重即哪类参数更重要。比如,网络存储设备上报公平性是指存储空间大小和冗余文件分块占用空间大小参数。又比如,网络存储设备上冗余性是指文件分块的存储冗余情况。再比如,网络存储设备上可靠性是指节点数据规模、节点在线情况。又比如,网络存储设备上性能是指CPU型号、内存大小、硬盘大小、硬盘类型、上行带宽、下行带宽等等参数。
具体地,所述预设参数需要考虑公平性。即在分布式存储集群中如果每个网络存储设备的能力都得到尽可能利用,则在网络存储设备节点的公平性得到保证。
具体地,所述预设参数需要考虑冗余性。冗余性指单个文件的分块尽可能不存储在同一个网络存储设备节点上,而存储在不同的网络存储设备节点上。
具体地,所述预设参数需要考虑可靠性。可靠性指考虑分布式存储系统规模、单节点数据规模等因素对分布式存储系统可靠性的影响,通过利用Markov模型可以建立可靠性分析模型对分布式存储系统文件分块和分布方案进行分析,获得多个参数对分布式存储系统可靠性影响的定量估计,热数据优先存储在可靠性高的网络存储设备中。
具体地,所述预设参数需要考虑性能参数。性能参数指网络存储设备的CPU、内存大小、硬盘大小、硬盘类型、上行带宽、下行带宽等性能。
本申请实施例的打分单元403中在所述预设服务器根据所述参数和权重对于各网络存储设备打分。
本申请实施例的分发单元404中根据各所述网络存储设备的打分结果,将文件分块优先分发至分值高的所述网络存储设备中。
根据本申请实施例,作为本实施例中的优选,如图9所示,所述第一建立模块包括:P2P单元201,所述第二建立模块包括:长连接单元202,P2P单元,用于在多个网络存储设备之间的建立P2P连接;第一配置单元,用于在预设服务器和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
通过将网络存储设备组成分布式存储集群,通过索引和/或信令服务器和每个网络存储设备建立长连接,网络存储设备通过节点间的P2P连接组成分布式存储集群。
根据本申请实施例,作为本实施例中的优选,如图10所示,所述第二建立模块包括:P2P单元201,所述第二建立模块包括:配置单元203,P2P单元,用于在多个网络存储设备之间的建立P2P连接;第二配置单元,用于在至少包括索引和信令服务器中和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
通过将网络存储设备组成分布式存储集群,通过索引和/或信令服务器和每个网络存储设备建立长连接,网络存储设备通过节点间的P2P连接组成分布式存储集群。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于网络存储设备集群的数据分布式存储方法,其特征在于,包括:
在多个网络存储设备之间建立第一连接;以及
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群。
2.根据权利要求1所述的数据分布式存储方法,其特征在于,在预设服务器和多个所述网络存储设备之间建立第二连接之后还包括:将数据进行分块、分发的步骤,所述将数据进行分块、分发的步骤具体包括:
在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,对所述数据进行冗余纠错编码得到编码数据对象;
将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备,并将冗余存储至第N+1个和/或第N+2个网络存储设备中,其中,N为自然数;
将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器,以使所述预设服务器可根据所述存储位置进行寻址。
3.根据权利要求1或2所述的数据分布式存储方法,其特征在于,在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群后,建立数据的分块分发策略,所述分块分发策略的建立方法具体包括:
通过在预设服务器初始化后配置预设参数的多维度权重;
获取每个所述网络存储设备上报的预设参数;
根据预设参数和所述多维度权重,对每个所述网络存储设备打分;
将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。
4.根据权利要求1所述的数据分布式存储方法,其特征在于,
在多个网络存储设备之间的建立第一连接包括:
在多个网络存储设备之间的建立P2P,Peer-to-Peer连接;
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群包括:
在预设服务器和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
5.根据权利要求1所述的数据分布式存储方法,其特征在于,在多个网络存储设备之间的建立第一连接包括:
在多个网络存储设备之间的建立P2P连接;
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群包括:
在至少包括索引和信令服务器中和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
6.一种基于网络存储设备集群的数据分布式存储装置,其特征在于,包括:
第一建立模块,在多个网络存储设备之间的建立第一连接;以及
第二建立模块,在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群。
7.根据权利要求6所述的数据分布式存储装置,其特征在于,还包括:分块以及分发模块,所述分块以及分发模块包括:
冗余纠错编码单元,用于在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,对所述数据进行冗余纠错编码得到编码数据对象;
划分单元,用于将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备,并将冗余存储至第N+1个和/或第N+2个网络存储设备中,其中,N为自然数;
记录单元,用于将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器,以使所述预设服务器可根据所述存储位置进行寻址。
8.根据权利要求6或7所述的数据分布式存储装置,其特征在于,还包括:分块分发策略模块,所述分块分发策略模块包括:
权重单元,用于通过在预设服务器初始化后配置预设参数的多维度权重;
获取单元,用于获取每个所述网络存储设备上报的预设参数;
打分单元,用于根据预设参数和所述多维度权重,对每个所述网络存储设备打分;
分发单元,用于将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。
9.根据权利要求6所述的数据分布式存储装置,其特征在于,所述第一建立模块包括:P2P单元,所述第二建立模块包括:长连接单元,
P2P单元,用于在多个网络存储设备之间的建立P2P连接;
第一配置单元,用于在预设服务器和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
10.根据权利要求6所述的数据分布式存储装置,其特征在于,所述第二建立模块包括:P2P单元,所述第二建立模块包括:配置单元,
P2P单元,用于在多个网络存储设备之间的建立P2P连接;
第二配置单元,索引和信令用于在至少包括索引和信令服务器中和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
CN201910385874.6A 2019-05-09 2019-05-09 基于网络存储设备集群的数据分布式存储方法及装置 Active CN110149384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910385874.6A CN110149384B (zh) 2019-05-09 2019-05-09 基于网络存储设备集群的数据分布式存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910385874.6A CN110149384B (zh) 2019-05-09 2019-05-09 基于网络存储设备集群的数据分布式存储方法及装置

Publications (2)

Publication Number Publication Date
CN110149384A true CN110149384A (zh) 2019-08-20
CN110149384B CN110149384B (zh) 2022-06-24

Family

ID=67594185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910385874.6A Active CN110149384B (zh) 2019-05-09 2019-05-09 基于网络存储设备集群的数据分布式存储方法及装置

Country Status (1)

Country Link
CN (1) CN110149384B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859115A (zh) * 2006-01-24 2006-11-08 华为技术有限公司 一种网络数据的分布式存储下载系统、设备及方法
US20070239952A1 (en) * 2006-04-10 2007-10-11 Wen-Shyang Hwang System And Method For Remote Mirror Data Backup Over A Network
CN105072201A (zh) * 2015-08-28 2015-11-18 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
CN108205573A (zh) * 2016-12-20 2018-06-26 中兴通讯股份有限公司 一种数据分布式存储方法及系统
CN109413207A (zh) * 2018-12-11 2019-03-01 深圳市网心科技有限公司 一种文件上传方法、系统、装置及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859115A (zh) * 2006-01-24 2006-11-08 华为技术有限公司 一种网络数据的分布式存储下载系统、设备及方法
US20070239952A1 (en) * 2006-04-10 2007-10-11 Wen-Shyang Hwang System And Method For Remote Mirror Data Backup Over A Network
CN105072201A (zh) * 2015-08-28 2015-11-18 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
CN108205573A (zh) * 2016-12-20 2018-06-26 中兴通讯股份有限公司 一种数据分布式存储方法及系统
CN109413207A (zh) * 2018-12-11 2019-03-01 深圳市网心科技有限公司 一种文件上传方法、系统、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN110149384B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN105656198B (zh) 一种电力通信网络冗余路径策略的获取方法
CN104506435B (zh) Sdn控制器和sdn中的最短路径确定方法
Guo et al. On the role of communications plane in distributed optimization of power systems
CN108494678A (zh) 基于遗传算法的备用路由配置方法及系统
CN103001892B (zh) 基于云计算的网络资源分配方法及系统
CN102609808A (zh) 一种用于对数据中心进行能耗管理的方法与设备
CN112887207B (zh) 用于电力ip-光通信网络的业务路由分配方法及装置
CN104144135A (zh) 用于多播虚拟网络的资源分配方法及抗毁资源分配方法
CN107204909A (zh) 构建电力调度数据网的系统、方法和装置
Johnson et al. Building rural wireless networks: Lessons learnt and future directions
CN103973747B (zh) 一种获取内容的方法和装置
CN114580661A (zh) 基于联邦学习的数据处理方法、装置和计算机设备
RU2749444C1 (ru) Способ моделирования виртуальной сети связи на остаточных ресурсах физической сети
CN110149384A (zh) 基于网络存储设备集群的数据分布式存储方法及装置
CN108270672A (zh) 一种计算线路路由的方法及装置
CN109474506A (zh) 建立虚拟专用网络vpn业务的方法及装置
CN110677306B (zh) 网络拓扑副本服务器配置方法及装置、存储介质和终端
CN106992885A (zh) 一种服务器系统中识别设备的方法及服务器系统
CN106452911A (zh) 一种同城灾难备份系统
CN107465589A (zh) 电力数据通信网的建立方法和装置
CN117473594A (zh) 机房部署方法、装置、电子设备及存储介质
CN113905052A (zh) 基于区块链的智能家居管理方法、系统、设备及介质
CN205812076U (zh) 一种计算机信息网络工程系统
US9158871B2 (en) Graph modeling systems and methods
CN104040950B (zh) 一种对虚拟机进行网络配置的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant