CN107465706B - 一种基于无线通信网络的分布式数据对象存储装置 - Google Patents

Abstract

本发明一种基于无线通信网络的分布式数据对象存储装置，该存储装置设置于移动节点内，包括，面向APP层模块，复制控制模块、本地搜索模块、本地数据对象管理模块、本地存储模块、面向通信层模块。本发明面向无线通信环境，在一组移动着的节点上，提供统一的云存储和数据处理功能，对于每个放入云存储中的数据，可以自动创建若干个备份并存入适当的节点中，如果有节点失效，可自动从其它备份中恢复出一个新的实例并存入适当的节点中，从而保证数据对象存储的鲁棒性，实现了在无线通信的条件下，时刻移动着的设施之间可靠的、高效的数据共享和协同工作。

Description

一种基于无线通信网络的分布式数据对象存储装置

技术领域

本发明属于通信技术领域，特别涉及基于无线通信网络通信领域的分布式数据存储技术。

背景技术

云存储是一种以数据存储和管理为核心的云计算系统。它是通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，它要实现多个存储设备之间的协同工作，多个存储设备可以对外提供同一种服务，提供更大更强更好的数据访问性能。这就要求这些互联的存储设备之间有稳定可靠的高速网络连接，以及各种数据备份和容灾技术作为保障。

但对于仅具有无线通信能力的、时刻移动着的设施或称为节点而言，由于无线通信的带宽很窄而且不稳定，要实现这些节点间类似于云存储的可靠的、高效的数据共享和协同工作模式，传统的实现技术和相应的协议就不适用了。

发明内容

本发明提供了一种存储装置，该装置能够在无线通信的条件下，保证时刻移动着的设施之间实现可靠的、高效的数据共享和协同工作模式。

本发明一种基于无线通信网络的分布式数据对象存储装置，其特征在于该存储装置设置于移动节点内，包括，面向APP层模块，复制控制模块、本地搜索模块、本地数据对象管理模块、本地存储模块、面向通信层模块；其中：

面向APP层模块为移动节点提供应用层调用的接口，包括存储数据、删除数据、浏览数据、搜索数据、下载数据；

复制控制模块执行来自于面向APP层模块的数据存储、删除、浏览、搜索、下载功能请求的逻辑；通过面向通信层模块，复制控制模块与其它移动节点上的存储装置通过无线信道进行通信，共同完成数据一致性的同步；复制控制模块根据面向APP层模块的搜索指令，首先调用本地搜索模块完成本地搜索，如果未发现搜索数据，通过面向通信层模块与其它节点的存储装置进行通信完成数据搜索，并获取连接节点的搜索结果；

面向通信层模块调用节点间的无线通信功能，提供各种数据和协议报文的传输，以及周期性地获取各个节点之间的无线通信连接状态和可用带宽等信息；

本地存储模块存储数据，包括本节点的数据对象，以及其它节点推送的数据对象，同时存储上述数据对象的相关信息；

本地数据对象管理模块接收复制控制模块和本地搜索引擎模块的调用直接管理本地存储模块中的数据，包括对本地存储模块中的数据进行增加、删除、下载；

本地搜索模块接收来自于复制控制模块的指令，在本地存储模块的数据对象中进行搜索，并向复制控制模块返回数据对象搜索结果。

作为优选方案，基于无线通信网络的分布式数据对象存储装置还包括拓扑管理模块；

面向通信层模块调用节点间的无线通信功能，将各个节点之间的无线通信连接状态和可用带宽信息向上反馈给拓扑管理模块；

拓扑管理模块通过面向通信层模块定时接收当前节点与其它节点之间的无线通信连接状态和可用带宽信息，结合本节点预定义的主中心节点、分中心节点或者协同节点的角色，动态地生成与更新上述的数据覆盖网拓扑结构；

根据拓扑结构，复制控制模块与本节点连接的其它节点上的存储装置进行无线通信，共同完成数据一致性的同步；复制控制模块根据面向APP层模块的搜索指令，首先调用本地搜索模块完成本地搜索，如果未发现搜索数据，根据拓扑管理模块的拓扑结构，通过面向通信层模块与连接节点的存储装置进行通信完成数据搜索，并获取连接节点的搜索结果。

本发明面向无线通信环境，在一组移动着的节点上，提供统一的云存储和数据处理功能，对于每个放入存储装置的数据，可以自动创建若干个备份并存入适当的节点中，如果有节点失效，可自动从其它备份中恢复出一个新的实例并存入适当的节点中，从而保证数据对象存储的鲁棒性，实现了在无线通信的条件下，时刻移动着的设施之间可靠的、高效的数据共享和协同工作。另外，通过预先设定节点角色，完成高效的节点拓扑结构，可以在对跨节点的分布式数据对象存储装置中的数据对象进行存储、复制、搜索、下载等操作时，有效地减少对全网无线通信带宽总量的消耗。

附图说明

下面结合附图和具体实施方式对本发明进行描述。

图1本发明结构图；

图2移动节点的拓扑结构图；

图3本地存储模块存储数据结构图；

图4全网节点对各数据对象存储状况的同步机制；

图5摘要生成方法示意图。

具体实施方式

如图1所示，本发明是一种基于无线通信网络的分布式数据对象存储装置，包括面向APP层模块，复制控制模块、本地搜索模块、本地数据对象管理模块、本地存储模块、面向通信层模块和拓扑管理模块。其中：

面向APP层模块为移动节点提供应用层调用的接口，包括存储数据、删除数据、浏览数据、搜索数据、下载数据。本模块只对上述接口传递的参数和数据进行封装和转换，具体的功能执行交由下层的复制控制模块来完成。

面向通信层模块调用节点间的无线通信功能，提供各种数据和协议报文的传输，以及周期性地获取各个节点之间的无线通信连接状态和可用带宽等信息。

面向通信层模块调用节点间的无线通信功能，将各个节点之间的无线通信连接状态和可用带宽信息向上反馈给拓扑管理模块；拓扑管理模块通过面向通信层模块定时接收当前节点与其它节点之间的无线通信连接状态和可用带宽信息，结合本节点预定义的主中心节点、分中心节点或者协同节点的角色，动态地生成与更新节点拓扑结构。

拓扑结构中，主中心节点选择通信和计算能力最强的节点；通信和计算能力较强的一些节点作为分中心节点，其它的节点则作为协同节点。各节点上的存储装置在工作时，从逻辑上看，主中心节点只与分中心节点进行数据通信，而协同节点根据其与各个分中心节点间无线通信连接带宽的强弱，选择一个最优的分中心节点建立数据通信链路，从而形成如图2所示的三层的树形拓扑结构。基于该拓扑结构，在对跨节点的分布式数据对象存储装置中的数据进行存储、复制、搜索、下载等操作时，可以有效地减少对全网无线通信带宽总量的消耗。

本地存储模块存储数据，包括本节点的数据对象，以及其它节点推送的数据对象，同时存储上述数据对象的相关信息。本地存储模块是真正的物理存储，例如是位于该存储装置本地的硬盘，或是挂在网络上的NAS存储设备。本地存储模块对数据的存储分为两部分，对象数据库和元信息数据库。对象数据库存储的是本节点上的应用通过接口调用存入该分布式数据对象存储系统的数据对象，以及从其它节点上通过自动复制功能推送过来的一些数据对象的拷贝。元信息数据库存储的是对象数据库中每一个数据对象相关的信息，包括数据对象ID、文件名、文件类型、备份数(该数据对象在全网存在的最少备份个数)、索引标识(是否根据数据内容为全文搜索引擎建立索引)，以及若干个标签(或关键字，在存储数据对象时由应用程序指定)。如图3所示，右边的是数据对象的内容，左边的是数据对象对应的元信息。

本地搜索模块接收来自于复制控制模块的指令，在本地存储模块的数据中进行搜索，并向复制控制模块返回数据对象搜索结果。搜索通常是针对本地存储模块中的数据对象进行搜索。

本地数据对象管理模块接收复制控制模块和本地搜索模块的调用直接管理本地存储模块中的数据，包括对本地存储模块中的数据进行增加、删除、下载；

复制控制模块执行来自于面向APP层模块的数据存储、删除、浏览、下载功能请求的逻辑；通过面向通信层模块，复制控制模块与其它移动节点上的存储装置以无线信道进行通信，共同完成数据一致性的同步；复制控制模块根据面向APP层模块的搜索指令，首先调用本地搜索模块完成本地搜索，如果未发现搜索数据，通过面向通信层模块与其它节点的存储装置进行通信完成数据搜索，并获取连接节点的搜索结果。

复制控制模块与其它移动节点上的存储装置共同完成数据一致性的同步是定时地接收来自其它节点的，以及发送本节点的，各个数据对象的摘要信息，从而更新“节点-对象索引表”。同时，根据本地存储的数据对象所要求的最少备份数，优选合适的无线通信链路，按照拓扑结构上连接的节点，产生相应的数据对象的拷贝，并传输过去，同时更新对象-节点信息表。

如表1所示，该表格记录了包括该存储装置所在节点在内的各个节点上已存储的每一个数据对象的摘要信息，以及接收到本条摘要信息时的时间戳。

表1 节点-对象索引表

节点ID	对象ID摘要	时间戳
			N-1	Digest-n1	T-n1
N-2	Digest-n2	T-n2
			N-3	Digest-n3	T-n3
......	......	......
			N-k	Digest-nk	T-nk

如表2所示，该表格记录了本节点存储的各个数据对象在整个存储网络中需要存储的最少备份数，以及存储有这些备份的其它节点的ID的列表。

表2 对象-节点信息表

本地对象ID	目标备份数	备份存储节点列表
			ObjID-1	4	N-1，N-3
ObjID-2	3	N-1，N-6，N-7
			ObjID-3	2	N-1
......	......	......
			ObjID-m	4	N-1，N-4，N-5，N-6

复制控制模块接受对数据进行搜索的请求，该请求的参数为一组标签(例如，关键词)，它通过对本地搜索模块的调用，以及与其它节点进行交互，从而将汇集到的、对数据对象的全网搜索结果返回给应用程序。

在构建拓扑结构的条件下，依据拓扑结构，复制控制模块与本节点连接的其它节点上的存储装置进行无线通信，共同完成数据一致性的同步；复制控制模块根据面向APP层模块的搜索指令，首先调用本地搜索模块完成本地搜索，如果未发现搜索数据，根据拓扑管理模块的拓扑结构，通过面向通信层模块与连接节点的存储装置进行通信完成数据搜索，并获取连接节点的搜索结果。对于搜索到并要下载的数据，可自动从最合适的节点和最优的通信链路中下载。根据拓扑结构完成上述工作可以有效地减少对全网无线通信带宽总量的消耗。

上述技术方案综合考虑一组移动中的节点集合，其中每个节点都可以通过无线通信信道与任意其它的节点相连接，同时，任意两个节点间的链路带宽依赖于节点类型(通信能力、无线信道种类)、距离、位置等因素。这些节点可以四处移动，或是失效，例如由于设备故障、意外损坏，或是与其它节点集合相距过远使得无线信号不可达。在这些节点上已有一种统一的通讯系统，它们可以：在任意两个节点间提供面向连接的数据传输(如TCP协议)；实时地上报任意两个节点间无线通信链路的当前可用带宽。

每个节点上都可以有多种类型的应用系统运行，各个应用系统都可以各自拥有一些数据对象(data object，每个都具有唯一的对象ID)，这些数据对象需要在不同节点上的应用系统之间共享。数据对象可以是某种类型的文件，也可以是一些二进制或文本数据的集合(例如数据库记录、网络报文等)，其具体含义可由所属的应用系统来解析。

本发明构建的存储装置，使得这些移动中的节点可以利用每个节点上的本地存储来提供一种分布式的、可共享数据对象，并且面向应用系统可提供透明访问机制的“云存储”系统。存储装置可以是传统的文件系统，也可以是关系型数据库或其它类型的存储系统，每个节点上的本地存储空间由其上的存储装置来全权管理。每个节点上都部署了一个存储装置，而各类应用则运行在各自的PC或服务器上，它们通过局域网访问该存储装置。每个节点上的存储装置都可以通过无线通信设备与其它节点上的存储装置建立无线网络连接，并进行通信，对其各自携带的本地存储空间进行统一的管理，从而为各自节点上的应用提供虚拟的、透明的共享数据访问能力。

该存储装置通过特定的协议构建层次型的拓扑结构。其中，通信和计算能力最强的一个节点作为主中心节点，通信和计算能力较强的一些节点作为分中心节点，其它的节点则作为协同节点。各节点上的存储装置在工作时，从逻辑上看，主中心只与分中心进行数据通信，而协同节点根据其与各个分中心节点间无线通信连接(带宽)的强弱，选择一个最优的分中心节点建立数据通信链路，从而形成的三层的树形拓扑结构。基于该拓扑结构，在对跨节点的虚拟存储系统中的数据对象进行存储、复制、搜索、下载等操作时，可以有效地减少对全网无线通信带宽总量的消耗。

下面对本发明具体实施过程进行描述：

a)数据对象的存储与复制：

复制控制模块收到“存储数据对象”的请求后，调用本地数据对象管理模块在本地存储模块中添加数据对象；同时，通知本地搜索模块对其内容和标签进行索引，以便于今后可基于全文检索对数据对象进行搜索。

复制控制模块根据已存储的数据对象的ID生成摘要，并将其广播出去；各个节点上复制控制模块根据定时收到的来自于其它各个节点的数据对象摘要信息，将其存入节点-对象索引表，更新原有信息；同时检查它所存储在本地的每个数据对象在全网中的备份个数，如发现有某个数据对象的备份个数不足，则：计算出全网范围内要进行复制操作的源、目标节点ID，方法如下：

根据对象-节点信息表和最新的节点拓扑结构，取所有已存储有该数据对象(用ID来判断)的节点作为候选源节点；取所有未存储有该数据对象的节点作为候选目标节点；根据拓扑管理模块返回的当前各节点间的可用带宽，计算出从任一个候选源节点到任一个候选目标节点间可达路径(用传统的深度优先或广度优先算法均可)的最大可用带宽。其中，该“最大可用带宽”的取值为从候选源节点到候选目标节点沿途经过的所有节点路径上的带宽的最小值；然后按需增加的备份数的要求(假设为n)，取上述源、目标节点中的前n对组合作为挑选出来的具有最高可用带宽的源、目标节点；如果该节点本身就是计算出来的某个源节点，则由它发送该数据对象的一个备份到目标节点。

接收到“数据对象复制”请求的节点，将其(数据对象的备份)存入本地存储空间，同时更新对象-节点信息表(相应数据对象的备份数加1，并添加新的目标节点ID到表格中)，并添加索引(供搜索使用)。

这样，在每个节点上就记录下了的各个节点上已存在数据对象的摘要表，即：节点-对象索引表；以及每个数据对象在各个节点上存在备份的分布图，即：对象-节点信息表。图4所示。

b)摘要的生成方法：Bloom-Filter：

Bloom-Filter(BF)是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，利用多个不同的Hash函数来解决“冲突”：

位数组结构；

添加元素，K个独立的Hash函数；

判断元素是否存在于集合中。

它可以用于快速检索一个元素是否在一个集合中：

如果BF判断元素不在集合中，那么肯定不在；否则有一定的误警。该误警是可被允许的，因为存储装置中对每个数据对象只规定了至少要保证存在的备份数，而因为BF误警的存在使得实际存储的备份数比要求的略多一点儿(小概率事件)是可以接受的。

本发明的方法：

节点中所有本地数据对象的ID被Hash到一个BF中，即形成“摘要”；这里的Hash过程，可以是直接取该数据对象ID的二进制编码形式，或是采用任意一种散列函数。

通过定时检查本地对象在其它节点的BF中是否出现来统计备份个数。Bloom-Filter的工作原理如图5所示

c)数据对象的删除：

由于存储网络中对任一个数据对象都可能存在多个冗余的备份，但要删除该数据对象时，这些备份都应当被删除掉。过程如下：

复制控制模块接收到“删除数据对象”的指令，沿拓扑结构向相邻的节点递归式地广播；收到该指令的节点通过本地数据对象管理模块检查是否在本地存在它的某份拷贝。如果有，则从本地存储空间中删除它、更新本地搜索引擎中的索引，同时在对象-节点信息表中删除相应一行的记录；在下次各个节点间广播摘要信息时，它们上面的节点-对象索引表将会被更新。此后已被删除的数据对象信息就不复存在了，从而达到了各节点间分布式信息的一致性。

d)数据对象的浏览：

某节点上的复制对象管理模块收到“浏览数据对象”的指令，它就沿拓扑结构向相邻节点递归式地转发该指令。

收到该指令的节点读取对象-节点信息表，将自己的节点ID和其中已存储的数据对象列表发回给最初接收到指令的节点；

该节点汇聚所有其它节点返回的所有数据对象信息，按相同的ID去除重复，并记录下所有已存储有该数据对象的节点ID的集合，作为结果返回给发出调用的应用系统。

e)数据对象的搜索：

应用发出一个搜索消息给当前节点；复制控制模块收到一个搜索消息后，如果该消息是新的则：在本地存储模块中搜索。根据搜索类型，决定搜索标签，还是对象内容。如果有匹配的数据对象，则直接发送应答消息给搜索的发起者。

完成本地搜索，如果未发现搜索数据，根据拓扑管理模块的拓扑结构，通过面向通信层模块与连接节点的存储装置进行通信完成数据搜索，并获取连接节点的搜索结果。

f)数据对象的下载：

收到该“数据对象下载”指令的节点从本地缓存的节点-对象索引表中，通过与摘要的匹配(Bloom-Filter)，找到含有待下载数据对象ID的节点的列表；如果没有任何节点的摘要表中包含该对象的ID，则发出一个“按数据对象ID进行搜索”的请求。

对每个包含该对象的节点，按其与本节点间的最大可用带宽排序，向排序表中的第一个节点发出获取请求。如果某个节点收到了获取请求，则从其本地存储模块中读取该对象并返回给请求节点。

Claims (2)

1.一种基于无线通信网络的分布式数据对象存储装置，其特征在于该存储装置设置于移动节点内，包括，面向APP层模块，复制控制模块、本地搜索模块、本地数据对象管理模块、本地存储模块、面向通信层模块；其中：

面向APP层模块为移动节点提供应用层调用的接口，包括存储数据、删除数据、浏览数据、搜索数据、下载数据；

复制控制模块执行来自于面向APP层模块的数据存储、删除、浏览、搜索、下载功能请求的逻辑；通过面向通信层模块，复制控制模块与其它移动节点上的存储装置通过无线信道进行通信，共同完成数据一致性的同步；复制控制模块根据面向APP层模块的搜索指令，首先调用本地搜索模块完成本地搜索，如果未发现搜索数据，通过面向通信层模块与其它移动节点的存储装置进行通信完成数据搜索，并获取连接移动节点的搜索结果；

面向通信层模块调用移动节点间的无线通信功能，提供各种数据和协议报文的传输，以及周期性地获取各个移动节点之间的无线通信连接状态和可用带宽信息；

本地存储模块存储数据，包括本移动节点的数据对象，以及其它移动节点推送的数据对象，同时存储上述数据对象的相关信息；

本地数据对象管理模块接收复制控制模块和本地搜索引擎模块的调用直接管理本地存储模块中的数据，包括对本地存储模块中的数据进行增加、删除、下载；

本地搜索模块接收来自于复制控制模块的指令，在本地存储模块的数据对象中进行搜索，并向复制控制模块返回数据对象搜索结果。

2.根据权利要求1所述的一种基于无线通信网络的分布式数据对象存储装置，其特征在于，还包括拓扑管理模块；

面向通信层模块调用移动节点间的无线通信功能，将各个移动节点之间的无线通信连接状态和可用带宽信息向上反馈给拓扑管理模块；

拓扑管理模块通过面向通信层模块定时接收当前移动节点与其它移动节点之间的无线通信连接状态和可用带宽信息，结合本移动节点预定义的主中心移动节点、分中心移动节点或者协同移动节点的角色，动态地生成与更新移动节点拓扑结构；

根据拓扑结构，复制控制模块与本移动节点连接的其它移动节点上的存储装置进行无线通信，共同完成数据一致性的同步；复制控制模块根据面向APP层模块的搜索指令，首先调用本地搜索模块完成本地搜索，如果未发现搜索数据，根据拓扑管理模块的拓扑结构，通过面向通信层模块与连接移动节点的存储装置进行通信完成数据搜索，并获取连接移动节点的搜索结果。

Images