CN108897497B - 一种无中心的数据管理方法及装置 - Google Patents

Abstract

本发明公开了一种无中心的数据管理方法及装置。本发明方法应用于一数据源端，数据源端与存储节点通信连接，包括：数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；数据源端的源数据编码分片成多个单片数据，为第二信息；根据第一信息获得第三信息，第三信息为单个片数据片段的可靠度；根据第三信息获得第四信息，第四信息为用于存放一个单片数据的存储节点组；根据第四信息获得第五信息，第五信息为用于存放所述多个单片数据的存储节点组集合；将第二信息分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上。本发明采用去中心、分布式的数据存储方案，极大降低了数据存储的建造、运营及维护成本。

Description

一种无中心的数据管理方法及装置

技术领域

本发明涉及信息处理技术，尤其涉及一种无中心的数据管理方法及装置。

背景技术

针对数据的存储装置和方法有很多。以视频监控数据存储为例，当前用于视频监控的云存储均采用中心和类中心的结构方式，即所有数据传输并存储到一个或者多个中心节点中。

但是这些数据，比如视频数据具有复杂度高，数据量巨大等属性，给存储、管理及其使用提出了巨大的挑战：

首先，存储中心的员工工资、法律成本、数据中心租金固定成本是不变的或逐渐增加的，使中心化云服务的价格高昂，而且无法降低。

其次，为了保证高可靠性，则需要从电力、网络带宽、存储设备等诸多方面予以保证。因此，系统的造价和维护代价昂。

第三，系统可靠性一般。毫无疑问，存储中心一旦出现任何异常，或者摄像机等工作节点到中心节点的链路出现任何问题会造成系统和节点存储异常。

第四，安全性不足，所有数据存于中心一处，不能消除用户的数据安全担忧。

此外，还存在其他局限：

(1)数据量巨大，所需存储器容量大，花费大。据测算，一路720p视频存储30天约需要500g存储空间，云存储每月约需40元；

(2)转储和备份困难，由于数据量大，转储不仅耗费巨大的存储设备，同时需要高配的服务器和网络资源。

(3)检索困难；人工从海量的视频数据中找寻有价值线索需要逐条观看，效率低，工作强度大，枯燥乏味。

(4)分析和处理耗费大量计算资源，传统的中心处理节点往往形成系统瓶颈。

发明内容

本发明的目的是解决现有技术中的中心化存储管理的局限性，提出数据分片式、去中心的无中心的数据管理方法及装置。

第一方面，本发明提供了一种无中心的数据管理方法，应用于一数据源端，所述数据源端与存储节点通信连接，所述方法包括：

所述数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；

所述数据源端的源数据编码分片成多个单片数据，为第二信息；

根据所述第一信息获得第三信息，所述第三信息为单个片数据片段的可靠度；

根据所述第三信息获得第四信息，所述第四信息为用于存放一个单片数据的存储节点组；

根据所述第四信息获得第五信息，所述第五信息为用于存放所述多个单片数据的存储节点组集合；

将所述第二信息分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上。

所述存储节点为n个，n为自然数；所述数据源端与n个存储节点建立p2p通讯通信；所述第一信息记为：Rj，j＝1～n。

所述数据源端的源数据编码分片成k份原始数据和m份编码数据。

所述第三信息为单个片数据片段的可靠度，所述第三信息根据第六信息获得，所述第六信息为可靠度预设值，单个数据片段的可靠度

N为k+m，Ra为可靠度预设值。

所述第四信息为存放一个单片数据的存储节点组，每个单片数据的存储节点组的获得方法为：Ri1＝1-(1-R1)×(1-R2)×...×(1-Rn)，R1…Rn为第一信息Rj；当Ri1≥Ri时，则该单片数据的存储节点组M1为1～n。

所述第五信息为用于存放所述多个单片数据的存储节点组集合，包括k+m个单片数据的数据节点组。

所述数据源端存放第一信息、第二信息、第三信息、第四信息和第五信息。

所述存储节点存放第一信息、第二信息、第三信息、第四信息和第五信息。

第二方面，本发明提供一种无中心的数据管理装置，所述装置包括：

第一获得单元，所述第一获得单元用于获得所述数据源端从所述存储节点获得的第一信息，所述第一信息为各存储节点的可靠度；

第一分片单元，所述第一分片单元用于数据源端的源数据编码分片成多个单片数据，形成第二信息；

第二获得单元，所述第二获得单元用于根据所述第一信息获得第三信息，其中，第三信息为单个片数据片段的可靠度；

第三获得单元，所述第三获得单元用于根据所述第三信息获得第四信息，其中，第四信息为用于存放一个单片数据的存储节点组；

第四获得单元，所述第四获得单元用于根据所述第四信息获得第五信息，其中，第五信息为用于存放所述多个单片数据的存储节点组集合；

第一发送单元，所述第一发送单元用于将所述第二信息发送至所述存储节点组集合的各相应存储节点组内的所有存储节点上。

第三方面，本发明提供了一种无中心的数据管理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

所述数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；

所述数据源端的源数据编码分片成多个单片数据，为第二信息；

根据所述第一信息获得第三信息，所述第三信息为单个片数据片段的可靠度；

根据所述第三信息获得第四信息，所述第四信息为用于存放一个单片数据的存储节点组；

根据所述第四信息获得第五信息，所述第五信息为用于存放所述多个单片数据的存储节点组集合；

将所述多个单片数据分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上。

采用了上述技术方案后，本发明具有以下的积极的效果：本发明采用去中心、分布式的数据存储方案，通过合理设计可靠性计算和存储节点的选择和组织方式，极大降低了数据存储的建造、运营及维护成本，而且大大提高了系统的可靠性，提高了数据转储、下载使用的效率和安全性。随着节点的增加，可存放更多冗余数据，而自有成本则越来越低，随着规模的增加最终趋于0成本。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1为本发明的流程框图。

图2为本发明的数据存放的示意图。

具体实施方式

本发明实施例提供一种无中心的数据管理方法及装置，用于解决现有技术中中心式数据管理存在的成本高、可靠度有限的技术问题。为了解决上述技术问题，本发明提供的技术方案总体思路如下：

一种无中心的数据管理方法，应用于一数据源端，数据源端与存储节点通信连接，方法包括：

数据源端从存储节点获得第一信息，第一信息为各存储节点的可靠度；

数据源端的源数据编码分片成多个单片数据，为第二信息；

获得第三信息，第三信息为单个片数据片段的可靠度；

根据第三信息获得第四信息，第四信息为用于存放一个单片数据的存储节点组；

根据第四信息获得第五信息，第五信息为用于存放多个单片数据的存储节点组集合；

将第二信息分别存储到存储节点组集合的各相应存储节点组内的所有存储节点上。

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

(实施例1)

图1为本发明实施例的方法的流程示意图。本实施例的一种无中心的数据管理方法，应用于一数据源端，数据源端与存储节点通信连接。

一、存储节点准备过程：

存储节点为n个，n为自然数；数据源端与n个存储节点分别建立p2p通讯通信；可以采用各种经典的p2p方案，比如基于stun、ice、turn等，建立数据源和多个存储点间p2p通讯。这种通讯方法已经是成熟技术，文中用“p2p”指代，细节不赘述。存储节点可以是电脑、手机、用户家里有存储功能的路由器、网络存储服务器以及其他有存储功能的设备。

存储节点上报可靠度(比如在线率)、存储容量等信息到存储节点信息库。初始的时候存储节点信息库存可放在一台服务器或者设备中，随着系统的运行，可以分散到各个存储节点和数据源中，各个节点通过服务器，或者通过p2p通讯，不断更新其他节点及其可靠度信息。

数据源端从存储节点获得第一信息，第一信息为各存储节点的可靠度；第一信息记为：Rj，j＝1～n。可靠度信息主要是指在线率。

二、数据编码分片：

数据源端的源数据编码分片成k份原始数据和m份编码数据，为第二信息。在本实施例中采用erasure coding的编码技术(本技术为成熟技术，有多种算法支撑，比如基于范得蒙德算法)，这种技术的特点是：它可以将原始数据分为k份原始数据和m份编码数据(用来存储erasure编码)，并能通过k+m份中的任意k份数据，还原为原始数据。由特点看出，本发明中采用这种技术对文件分片，比如当k＝9,m＝1的时候(后续的计算和说明过程均以k＝9、m＝1为例方便说明，但是本发明不局限于使用此一种实例)。基于上述对于erasurecoding的特点来看，计算可靠度的时候按k+m片文件来计算，实际最少只需k份数据即可恢复原始数据，当且仅当至少k片数据齐全后方能恢复(正常工作)，因此经编码分片后的数据可以视为一个串联系统，串联系统的可靠性：R＝R1×R2×…R(k+m)。由于R1、…Rn≤1，因此：R_存储(R1×R2×…R(k+m))≤R_实际(R1×R2×…Rk)，R_存储是根据用户可靠度要求计算而来，低于R_实际，也就是说具体实现的可靠度是高于预设的。同时由于文件分布式存放，某单一节点的数据至少还需要其他k-1份才能恢复，因此单片数据即便被接触，但是无法被使用。因此数据安全性也比中心式的存放更加有保证。进一步地：即便是数片数据被接触，只要数量小于k，数据也是无法还原使用的，实际还可以加大k数值，降低数据被全部获取的风险。

三、数据存储过程：

根据第六信息获得第三信息，第六信息为可靠度预设值，第三信息为单个片数据片段的可靠度；单个数据片段的可靠度

N为k+m，Ra为可靠度预设值(即为第六信息)，由用户预设，可以设置为1，也可以是0.999999等，因此整体系统的存储是可控和可靠的。

根据第三信息获得第四信息，第四信息为用于存放一个单片数据的存储节点组；每个单片数据的存储节点组的获得方法为：Ri1＝1-(1-R1)×(1-R2)×...×(1-Rn)，R1…Rn为第一信息Rj，也即依次为各个存储节点的可靠度；当Ri1≥Ri时，则该单片数据的存储节点组M1为1～n，即根据可靠要求，选取合适数量的存储节点数量来同时存放一个文件分片。如图2所示，按上述过方式获取所有N＝10组文件片的存储节点，分别将N＝10个文件分片存储到相应组内的所有节点上。

根据第四信息获得第五信息，第五信息为用于存放k+m单片数据的存储节点组集合；

将第二信息分别存储到存储节点组集合的各相应存储节点组内的所有存储节点上。

数据源端存放第一信息、第二信息、第三信息、第四信息和第五信息。同时也可以由存储节点存放第一信息、第二信息、第三信息、第四信息和第五信息。

系统初始时，自建一些高质量的存储节点(比如可靠度无限接近1的存储节点)。随着具体的业务开展，分布在千家万户的存储节点逐步上线，则对于整个系统来说规模越来越大，高质量节点取消，成本则越来越低，可用的冗余越来越多，因此可靠性越来越高。

四、数据获取使用的过程

用户端查询数据源端，数据源端返回文件属性信息及其存放的节点对应关系；

客户端选取某些节点，建立p2p链路，在任一存储节点中获取文件片段，重复获取，直到成功获取到k片数据片段；

客户端将“收集”到的片段采用erasure coding加密技术解码为数据文件。

通讯过程不经过第三方链路和服务器保证了通讯的安全性。数据分片、加密存放，非用户无法使用该数据，源头上保证了安全。举例而言，比如视频监控系统，数据源端为IP摄像机，按照本发明的方法来进行视频数据的存储和获取，安全高效，成本大为降低。

(实施例2)

基于与前述无中心的数据管理方法同样的发明构思，本实施例的一种无中心的数据管理装置包括：

第一获得单元，第一获得单元用于获得数据源端从存储节点获得的第一信息，第一信息为各存储节点的可靠度；

第一分片单元，第一分片单元用于数据源端的源数据编码分片成多个单片数据，形成第二信息；

第二获得单元，获得第三信息，其中，第三信息为单个片数据片段的可靠度；

第三获得单元，第三获得单元用于根据第三信息获得第四信息，其中，第四信息为用于存放一个单片数据的存储节点组；

第四获得单元，第四获得单元用于根据第四信息获得第五信息，其中，第五信息为用于存放多个单片数据的存储节点组集合；

第五获得单元，获得第六信息，第六信息用于计算第三信息；

第一发送单元，第一发送单元用于将第二信息发送至存储节点组集合的各相应存储节点组内的所有存储节点上。

实施例1中的方法的各种变化方式和具体实施方式同样适合本实施例，通过前述对管理方法的详细描述，本领域技术人员可以清楚地知道本实施例地装置地数据管理方法，所以为了说明书地简洁，在此不再详述。

(实施例3)

基于与前述无中心的数据管理方法同样的发明构思，本实施例的一种无中心的数据管理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现以下步骤：

数据源端从存储节点获得第一信息，第一信息为各存储节点的可靠度；

数据源端的源数据编码分片成多个单片数据，为第二信息；

获得第三信息，第三信息为单个片数据片段的可靠度；第三信息根据第六信息获得；

根据第三信息获得第四信息，第四信息为用于存放一个单片数据的存储节点组；

根据第四信息获得第五信息，第五信息为用于存放多个单片数据的存储节点组集合；

将多个单片数据分别存储到存储节点组集合的各相应存储节点组内的所有存储节点上。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种无中心的数据管理方法，应用于一数据源端，所述数据源端与存储节点通信连接，其特征在于，所述方法包括：

所述数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；

所述数据源端的源数据编码分片成多个单片数据，为第二信息；

获得第三信息，所述第三信息为单个片数据片段的可靠度；

根据所述第三信息获得第四信息，所述第四信息为用于存放一个单片数据的存储节点组；

根据所述第四信息获得第五信息，所述第五信息为用于存放所述多个单片数据的存储节点组集合；

将所述第二信息分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上；所述存储节点为n个，n为自然数；所述数据源端与n个存储节点建立p2p通讯通信；所述第一信息记为：Rj，j＝1～n；所述数据源端的源数据编码分片成k份原始数据和m份编码数据；所述第三信息根据第六信息获得，所述第六信息为可靠度预设值，单个数据片段的可靠度

N为k+m，Ra为可靠度预设值；所述第四信息中的每个单片数据的存储节点组的获得方法为：Ri1＝1-(1-R1)×(1-R2)×...×(1-Rn)，R1…Rn为第一信息Rj；当Ri1≥Ri时，则该单片数据的存储节点组M1为1～n；所述第五信息包括k+m个单片数据的数据节点组；所述各存储节点的可靠度信息指在线率；经编码分片后的数据视为一个串联系统，串联系统的可靠性：R＝R1×R2×…R(k+m)。

2.根据权利要求1所述的一种无中心的数据管理方法，其特征在于：所述数据源端存放第一信息、第二信息、第三信息、第四信息和第五信息。

3.根据权利要求1所述的一种无中心的数据管理方法，其特征在于：所述存储节点存放第一信息、第二信息、第三信息、第四信息和第五信息。

4.一种无中心的数据管理装置，其特征在于，所述装置包括：

第一获得单元，所述第一获得单元用于获得数据源端从存储节点获得的第一信息，所述第一信息为各存储节点的可靠度；

第一分片单元，所述第一分片单元用于数据源端的源数据编码分片成多个单片数据，形成第二信息；

第二获得单元，所述第二获得单元用于获得第三信息，其中，第三信息为单个片数据片段的可靠度；

第三获得单元，所述第三获得单元用于根据所述第三信息获得第四信息，其中，第四信息为用于存放一个单片数据的存储节点组；

第四获得单元，所述第四获得单元用于根据所述第四信息获得第五信息，其中，第五信息为用于存放所述多个单片数据的存储节点组集合；

第一发送单元，所述第一发送单元用于将所述第二信息发送至所述存储节点组集合的各相应存储节点组内的所有存储节点上；

所述存储节点为n个，n为自然数；所述数据源端与n个存储节点建立p2p通讯通信；所述第一信息记为：Rj，j＝1～n；所述数据源端的源数据编码分片成k份原始数据和m份编码数据；所述第三信息根据第六信息获得，所述第六信息为可靠度预设值，单个数据片段的可靠度

N为k+m，Ra为可靠度预设值；所述第四信息中的每个单片数据的存储节点组的获得方法为：Ri1＝1-(1-R1)×(1-R2)×...×(1-Rn)，R1…Rn为第一信息Rj；当Ri1≥Ri时，则该单片数据的存储节点组M1为1～n；所述第五信息包括k+m个单片数据的数据节点组；所述各存储节点的可靠度信息指在线率；经编码分片后的数据视为一个串联系统，串联系统的可靠性：R＝R1×R2×…R(k+m)。

5.一种无中心的数据管理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；

所述数据源端的源数据编码分片成多个单片数据，为第二信息；

获得第三信息，所述第三信息为单个片数据片段的可靠度；

根据所述第三信息获得第四信息，所述第四信息为用于存放一个单片数据的存储节点组；

根据所述第四信息获得第五信息，所述第五信息为用于存放所述多个单片数据的存储节点组集合；

将所述多个单片数据分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上；

所述存储节点为n个，n为自然数；所述数据源端与n个存储节点建立p2p通讯通信；所述第一信息记为：Rj，j＝1～n；所述数据源端的源数据编码分片成k份原始数据和m份编码数据；所述第三信息根据第六信息获得，所述第六信息为可靠度预设值，单个数据片段的可靠度

N为k+m，Ra为可靠度预设值；所述第四信息中的每个单片数据的存储节点组的获得方法为：Ri1＝1-(1-R1)×(1-R2)×...×(1-Rn)，R1…Rn为第一信息Rj；当Ri1≥Ri时，则该单片数据的存储节点组M1为1～n；所述第五信息包括k+m个单片数据的数据节点组；所述各存储节点的可靠度信息指在线率；经编码分片后的数据视为一个串联系统，串联系统的可靠性：R＝R1×R2×…R(k+m)。

Images