CN102981933A - 物联网感知层的数据增量备份方法及系统 - Google Patents

Abstract

本发明公开了一种物联网感知层的数据增量备份方法及系统，该方法包括以下步骤：为每一个传感器分配一个唯一的节点聚集索引Node_ID，每一条传感器检测数据生成时自动分配一个唯一的数据聚集索引Index_ID；以节点聚集索引Node_ID为键查找增量日志索引树获得相应传感器在增量日志索引树上的节点，根据每个节点最近两条检测数据的比较结果更新，增量日志索引树为AVL树结构；以数据聚集索引Index_ID为键查找数据日志索引树获得相应传感器在数据日志索引树上的节点，将检测数据写入数据日志文件，数据日志索引树为B+树结构。本发明，可以在运行过程中进行在线备份，保证物联网应用的连续运行，并且大大提高了对数据增量的查询速度。

Description

物联网感知层的数据增量备份方法及系统

技术领域

本发明涉及无线传感器网络，具体涉及物联网感知层的数据增量备份方法及系统。

背景技术

无线传感器网络作为物联网感知层的核心，承担着数据检测、采集和传输的重任。由于无线传感器网络的特殊性，在实际应用中，经常会遇到以下各种风险的危害：

自然风险—例如洪涝、雨雪等；

人为风险—例如环境污染、人为破坏等；

技术风险—例如硬件失效、软件错误、供电失败等。

上面这些人为或自然的原因，会造成无线传感器网络的瘫痪或单个传感器的运行故障，使得具有重要科研价值及经济价值的检测数据丢失，并对整个物联网的正常工作带来严重影响。因此对无线传感器网络实施一种有效的数据备份策略，是非常有必要的。

无线传感器网络作为一种小型嵌入式系统，目前所采用的数据备份策略一般可分为两种：

（1）完全备份。

所谓完全备份，是指对无线传感器网络的全部数据文件执行一个完整的物理拷贝。其优点在于：实现机制最为简单，对无线传感器网络的软件及硬件要求都很低。但是，由于在备份过程中可能有新的数据插入，为了保证备份数据的完整性，在执行备份操作之前，需要关闭数据录入服务，在对数据文件进行了完整的物理拷贝后，再启用数据录入。因此，这种方案存在以下缺点：每次备份前需要关闭数据录入服务，对于大多数需要连续运行的物联网应用而言，这种长时间的停机操作是不允许的。

（2）增量备份。

增量备份是指在上一次备份的基础上，只对后续更新的数据进行备份，依赖数据库系统实现。在目前广泛应用的嵌入式数据库系统中（如MySQL），增量备份的策略通常是通过二进制日志来实现的，即在每次有数据插入或修改操作时，数据库系统会把相应的DDL（数据定义）语句和DML（数据操作）语句以事务（transaction）的形式，连同执行该SQL事务的时间戳（timestamp）等信息一起保存在二进制日志中，通过重做指定时间点之后的事务实现。由于增量备份的执行时间及所需的存储空间都仅为完全备份的几分之一，因此，同完全备份相比，增量备份的优势非常明显。但基于二进制日志实现增量备份也存在以下缺点：

（1）需要使用嵌入式数据库系统，对无线传感器网络的软件及硬件要求都很高，提高了无线传感器网络的成本；

（2）二进制日志文件内容的编码、文件格式均依赖于特定的数据库系统，不具备可读性，物联网应用的数据迁移和移植较为困难。

由此可见，现有物联网感知层的数据备份策略中：完全备份方案需要关闭数据录入服务，难以满足物联网应用连续运行的需求；而基于二进制日志的增量备份方案又需要依赖于特定的数据库系统，导致备份系统成本提高、备份数据可移植性差。因此，需要对现有的物联网感知层数据备份策略进行优化设计，以改善物联网感知层的数据备份能力。

发明内容

本发明所要解决的技术问题是解决如何改善物联网感知层的数据备份能力的问题。

为了解决上述技术问题，本发明所采用的技术方案是提供一种物联网感知层的数据增量备份方法，包括以下步骤：

为每一个传感器分配一个唯一的节点聚集索引Node_ID，每一条传感器检测数据生成时自动分配一个唯一的数据聚集索引Index_ID；

以所述节点聚集索引Node_ID为键查找增量日志索引树获得相应传感器在所述增量日志索引树上的节点，根据每个所述节点最近两条检测数据标识是否不同更新增量日志索引树的相应节点，所述增量日志索引树为AVL树结构，每一个传感器唯一对应于所述AVL树中的一个节点，所述节点保存有该传感器与所述每一条检测数据相对应的数据聚集索引Index_ID；

以相应的数据聚集索引Index_ID为键查找数据日志索引树获得相应传感器在所述数据日志索引树上的节点，并将相应检测数据的写入数据日志文件中，所述数据日志索引树为B+树结构。

在上述方法中，所述增量日志索引树的节点包括五个成员，分别对应于节点聚集索引Node_ID、传感器所关联的节点增量日志文件名、上一次备份检测数据的标识、最近一次插入检测数据的标识以及传感器所关联的增量日志链表的头指针，所述增量日志链表中保存了传感器所发送出的全部检测数据的数据聚集索引Index_ID；

通过最近一次插入检测数据的标识与上一次备份检测数据的标识是否相同判断是否需要更新增量日志索引树的相应节点。

在上述方法中，在对每个传感器进行增量备份之前，先将该传感器对应节点的增量日志记录同步到增量日志存储器，具体方法为：通过增量日志链表的头指针对相应节点的增量日志链表进行遍历，并将遍历所得到的Index_ID序列写入该节点对应的增量日志文件名所指向的存储器物理文件。

在上述方法中，所述数据日志索引树的节点采用页类型的数据结构，包括多个索引节点和多个叶子节点，所述索引节点包括：

PAGE_TYPE：对应于页类型，包括索引页、叶子页两种；

PAGE_NUM_RECORD：对应于该页中数据日志链表的头指针；

PAGE_USER_RECORD：成员指向的数据日志链表；

所述叶子节点包括：

Key域：其中保存了传感器检测数据的标识Index_ID；

Data域：对于叶子页，各个Data域中记录了该Index_ID所对应的检测数据的内容，以及各传感器检测数据在数据日志文件中的偏移量RECORD_OFFSET；对于索引页，各个Data域中仅记录了该Index_ID所关联的子树中最小的键值；

Pt域：对于叶子页，Pt域中的值为空值NULL；而对于索引页，Pt域中的值为指向对应叶子页的指针。

在上述方法中，更新数据日志索引树相应节点的过程如下：

以每条传感器检测数据的Index_ID为键查找数据日志索引树；

在查找到对应的索引页后，创建叶子节点，并用该条传感器检测数据的Index_ID及检测数据内容更新该叶子节点的Key域及Data域；

将该叶子节点链接至索引页中数据日志链表的尾部。

在上述方法中，更新增量日志索引树的相应节点的过程如下：

获取发出检测数据的传感器的节点聚集索引Node_ID；

以所述节点聚集索引Node_ID为键查找增量日志索引树获得对应的节点；

将该条检测数据的Index_ID加入对应的增量日志链表，更新最近一次插入检测数据的标识，用最近一条检测数据的Index_ID值，更新增量日志索引树节点的Last_index域。

在上述方法中，所述增量日志文件包括系统增量日志文件和节点增量日志文件两类，系统增量日志文件保存增量日志索引树的顺序存储结构，每一个传感器都单独对应一个增量日志文件Incremental_file，其中保存了该传感器所关联的增量日志链表。

在上述方法中，针对不同的物联网感知层应用，所述Data域在编译时被相应地设定为固定的字节长度，在默认情况下，所述Data域为255个字节。

本发明还提供了一种物联网感知层的数据增量备份系统，包括由无线网络控制器和多个无线传感器组成的无线传感器网络以及数据日志存储器、增量日志存储器和数据备份主控制器、物联网感知层控制中心，所述无线网络控制器为每一个加入无线网络的传感器分配唯一的节点聚集索引Node_ID；所述数据备份主控制器为接收到的每一条传感器检测数据分配唯一的数据聚集索引Index_ID；所述数据备份主控制器通过数据日志进程、增量日志进程和备份进程进行管理，所述数据日志进程通过B+Tree结构的数据日志索引树对检测数据进行管理，数据日志索引树以Index_ID为键值进行插入和查询操作；所述增量日志进程负责维护AVL Tree结构的增量日志索引树，增量日志索引树中的每一个节点均对应一个传感器，并在其中保存了该传感器相关检测数据的Index_ID辅助索引序列；所述备份进程通过在数据日志索引树与增量日志索引树之间执行联结操作，实施以传感器为单位的数据增量备份。

本发明，可以在无线传感器网络运行过程中进行在线备份（onlinebackup），不需要停止数据录入服务，保证物联网应用的连续运行；并且，日志文件以无线传感器节点为单位进行组织，其内容的可读性和可移植性更好；采用AVL树算法实现的增量日志索引树，以链表为逻辑单元记录数据增量，使得对增量日志的记录更加精确，通过与数据日志索引树的联结，使得对数据增量的查询速度也得到了提高。

附图说明

图1为本发明提供的物联网感知层的数据增量备份系统示意图；

图2为本发明中数据日志索引树的逻辑结构图；

图3为本发明中增量日志索引树的逻辑结构图；

图4为本发明中增量日志文件的逻辑组成图；

图5为本发明执行一次增量备份的流程图。

具体实施方式

本发明提供的物联网感知层的数据增量备份方法实现方式如下：

第1步：每一条传感器检测数据生成时自动分配一个唯一的数据聚集索引Index_ID，通过以数据聚集索引Index_ID为键的数据日志索引树对系统数据日志文件进行管理；为每一个传感器分配一个唯一的节点聚集索引Node_ID，通过以节点聚集索引Node_ID为键的增量日志索引树对每个传感器的节点增量日志文件进行管理。

第2步：以所述节点聚集索引Node_ID为键查找增量日志索引树获得相应传感器在所述增量日志索引树上的节点，根据每个所述节点最近两条检测数据的标识是否不同更新增量日志索引树的相应节点，所述增量日志索引树为AVL树结构，每一个传感器唯一对应于所述AVL树中的一个节点，所述节点保存有与该传感器每一条检测数据相对应的数据聚集索引Index_ID；

第3步：以所述数据聚集索引Index_ID为键查找数据日志索引树获得相应传感器在所述数据日志索引树上的节点，将所述检测数据的内容写入数据日志文件，所述数据日志索引树为B+树结构。

下面结合说明书附图和具体实施方式对本发明提供的物联网感知层的数据增量备份方法作出详细的说明。

首先请参见图3，增量日志索引树是一棵以Node_ID为键的AVL树，每一个传感器都唯一对应于AVL Tree中的一个节点Node，一个AVL Tree节点包括以下几个成员：

（1）Node_ID：对应于该传感器的Node_ID；

（2）Incremental_file：对应于该传感器所关联的节点增量日志文件名；

（3）Last_index：对应于该传感器上一次备份的检测数据的标识Index_ID_O；

（4）Current_index：对应于该传感器最近一次所插入的检测数据的标识Index_ID_N；

（5）List：对应于该传感器所关联的增量日志链表的头指针，增量日志链表中保存了该传感器所发送出的全部检测数据的Index_ID。

其中，Last_index和Current_index两个成员标识了上一次所备份的检测数据和当前最新的检测数据。当这二者的取值不相等时，即表示在上次备份操作后，该传感器又有新的检测数据插入，需要进行增量备份操作。否则，则表明该传感器不需要进行增量备份操作。

为保证无线传感器网络系统的一致性及高可用性，在对每个传感器进行增量备份之前，需要先将该传感器对应的增量日志记录同步到增量日志存储器。即通过增量日志链表的头指针，对相应节点的增量日志链表进行遍历，并将遍历所得到的Index_ID序列写入该节点对应的增量日志文件名所指向存储器物理文件，每次写入物理文件时采用截断方式。

再请参见图2，数据日志索引树是一棵以Index_ID为键的B+Tree（多路搜索树），数据日志索引树的节点采用了页（page）类型的内存数据结构，它包括以下的组成部分：

PAGE_TYPE：对应于该页的类型，包括索引页、叶子页两种。

PAGE_NUM_RECORD：对应于该页中数据日志链表的头指针。

PAGE_USER_RECORD：成员指向的数据日志链表，每个链表节点包括如下的成员：

Key域：其中保存了传感器检测数据的标识Index_ID；

Data域：对于叶子页，各个Data域中记录了该Index_ID所对应的检测数据的内容，以及各传感器检测数据在数据日志文件中的偏移量RECORD_OFFSET；对于索引页，各个Data域中仅记录了该Index_ID所关联的子树中最小的键值。针对不同的物联网感知层应用，Data域可在编译时被设定为固定的字节长度，在默认情况下，该值为255个字节。

Pt域：对于叶子页，Pt域中的值为空值NULL；而对于索引页，Pt域中的值为指向对应叶子页的指针。

由于物联网感知层的数据量很大，如采用链表数据结构在内存中保存不仅会造成系统开销大，同时系统的可靠性也会降低。因此采用B+Tree结构设计数据日志索引树，B+Tree是一种广泛应用于RMDBS系统的数据结构，它是专为磁盘或其他外部存储设备（如Flash）所设计的一种平衡查找树结构。将索引页及叶子页定义为相同的数据结构，可以通过对B+树的查找操作，显著提高进行增量备份时的数据查找速度。

传感器检测数据的插入操作如下：

增量日志进程获取发出该条检测数据的传感器的标识Node_ID；

以该Node_ID为键对增量日志索引树进行查找，获得对应的节点；

将条检测数据的Index_ID加入对应的增量日志链表，然后对Current_index域进行更新。

更新增量日志索引树的相应节点的过程如下：

获取发出检测数据的传感器的节点聚集索引Node_ID；

以所述节点聚集索引Node_ID为键查找增量日志索引树获得对应的节点；

将该条检测数据的Index_ID加入对应的增量日志链表，更新最近一次插入检测数据的标识，用最近一条检测数据的Index_ID值，更新增量日志索引树节点的Last_index域。

更新数据日志索引树相应节点的过程如下：

以每条传感器检测数据的Index_ID为键查找数据日志索引树；

在查找到对应的索引页后，创建叶子节点，并用该条传感器检测数据的Index_ID及检测数据内容更新该叶子节点的Key域及Data域；

将该叶子节点链接至索引页中数据日志链表的尾部。

无线传感器网络系统中的增量日志通过增量日志文件进行持久化（把内存中的数据对象保存到可永久保存的存储设备中），增量日志文件包括系统增量日志文件和节点增量日志文件两类，系统增量日志文件保存增量日志索引树的顺序存储结构（即以一维数组形式顺序存储的Node_ID序列），每一个传感器都单独对应一个增量日志文件Incremental_file，其中保存了该传感器所关联的增量日志链表，增量日志文件的逻辑结构如图4所示。这样，系统在每次遭遇灾害后恢复或人工重启后，通过对物理存储器中的增量日志文件Incremental_file进行解析，即可在内存中重建增量日志索引树，以保证前后系统数据的一致性及较高的系统恢复速度。

本发明，通过对数据日志索引树和增量日志索引树的联结操作，即可以快速的查询到指定传感器的数据增量，并以此实现在线、高效、可移植的数据增量备份操作。

下面为对指定的传感器进行一次增量备份的具体实例，请参见图5，具体步骤如下：

步骤A10、以Node_ID为键值查找增量日志索引树，获得Node_ID对应的节点，并对该节点的Last_index和Current_index域进行比较；如果二者相等，则表示该Node_ID没有数据增量，无需进行备份，退出备份流程；否则执行步骤A20。

步骤A20、将对应的节点增量日志文件持久化到增量日志存储器。

步骤A30、对该增量日志索引树节点的增量日志链表进行遍历，得到各个检测数据的Index_ID。

步骤A40、分别用最近一条检测数据的Index_ID值，更新增量日志索引树相应节点的Last_index域。

步骤A50、以遍历得到的Index_ID为键值查找数据日志索引树，获得相应Index_ID对应的叶子页，并从数据日志链表中查找到该Index_ID所关联的数据内容。

步骤A60、将检测数据的内容写入数据日志文件。

步骤A70、通过操作系统的sync命令持久化数据日志文件到数据日志存储器，完成本次增量备份操作。

由上述具体实例可见，在对每个传感器进行增量备份之前，会先将与该传感器对应的节点的增量日志文件同步到增量日志存储器。对整个无线传感器网络进行一次增量备份的基本流程，与上述步骤相似，在此不再赘述。

本发明还提供了一种物联网感知层的数据增量备份系统，如图1所示，包括由无线网络控制器10和多个无线传感器20组成的无线传感器网络以及数据日志存储器30、增量日志存储器40和数据备份主控制器50、物联网感知层控制中心60。

无线网络控制器10和多个无线传感器20通过SimpliciTI无线通信协议建立连接组成的无线传感器网络，无线传感器20作为SimpliciTI协议栈的ED节点，其片上集成ADC外设，结合专用传感器芯片后，可以作为各种物联网应用中的信息采集节点，无线网络控制器10作为SimpliciTI协议栈的AP节点，可组建多达254个ED节点设备的星形无线网络，无线网络控制器10为每一个加入无线网络的传感器分配一个聚集索引Node_ID，并将接收到的每一条传感器检测数据通过并行数据总线传递给数据备份主控制器50。

物联网感知层控制中心60位于外围网络，数据日志存储器30和增量日志存储器40采用NOR FLASH memory作为存储介质，数据备份主控制器50具有ARM Cortex-A8架构的处理器，通过SPI接口同数据日志存储器30及增量日志存储器40连接，通过TCP/IP网络与感知层控制中心60进行通信。数据备份主控制器50对所接收到的每一条传感器检测数据分配唯一的聚集索引Index_ID，并通过QNX分布式实时操作系统中的数据日志进程、增量日志进程、备份进程实现基于无线传感器的数据增量备份策略。数据日志进程通过B+Tree结构的数据日志索引树对检测数据进行管理，数据日志索引树以Index_ID为键值进行插入和查询操作。增量日志进程负责维护AVL Tree结构的增量日志索引树，增量日志索引树中的每一个节点均对应一个传感器，并在其中保存了该传感器相关检测数据的Index_ID辅助索引序列。备份进程通过在数据日志索引树与增量日志索引树之间执行联结操作，实施以传感器为单位的数据增量备份。

本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (9)

1.物联网感知层的数据增量备份方法，其特征在于，包括以下步骤：

为每一个传感器分配一个唯一的节点聚集索引Node_ID，每一条传感器检测数据生成时自动分配一个唯一的数据聚集索引Index_ID；

以所述节点聚集索引Node_ID为键查找增量日志索引树获得相应传感器在所述增量日志索引树上的节点，根据每个所述节点最近两条检测数据标识是否不同更新增量日志索引树的相应节点，所述增量日志索引树为AVL树结构，每一个传感器唯一对应于所述AVL树中的一个节点，所述节点保存有该传感器与所述每一条检测数据相对应的数据聚集索引Index_ID；

以相应的数据聚集索引Index_ID为键查找数据日志索引树获得相应传感器在所述数据日志索引树上的节点，并将相应检测数据的写入数据日志文件中，所述数据日志索引树为B+树结构。

2.如权利要求1所述的物联网感知层的数据增量备份方法，其特征在于，

所述增量日志索引树的节点包括五个成员，分别对应于节点聚集索引Node_ID、传感器所关联的节点增量日志文件名、上一次备份检测数据的标识、最近一次插入检测数据的标识以及传感器所关联的增量日志链表的头指针，所述增量日志链表中保存了传感器所发送出的全部检测数据的数据聚集索引Index_ID；

通过最近一次插入检测数据的标识与上一次备份检测数据的标识是否相同判断是否需要更新增量日志索引树的相应节点。

3.如权利要求2所述的物联网感知层的数据增量备份方法，其特征在于，

在对每个传感器进行增量备份之前，先将该传感器对应节点的增量日志记录同步到增量日志存储器，具体方法为：通过增量日志链表的头指针对相应节点的增量日志链表进行遍历，并将遍历所得到的Index_ID序列写入该节点对应的增量日志文件名所指向的存储器物理文件。

4.如权利要求1所述的物联网感知层的数据增量备份方法，其特征在于，所述数据日志索引树的节点采用页类型的数据结构，包括多个索引节点和多个叶子节点，所述索引节点包括：

PAGE_TYPE：对应于页类型，包括索引页、叶子页两种；

PAGE_NUM_RECORD：对应于该页中数据日志链表的头指针；

PAGE_USER_RECORD：成员指向的数据日志链表；

所述叶子节点包括：

Key域：其中保存了传感器检测数据的标识Index_ID；

Data域：对于叶子页，各个Data域中记录了该Index_ID所对应的检测数据的内容，以及各传感器检测数据在数据日志文件中的偏移量RECORD_OFFSET；对于索引页，各个Data域中仅记录了该Index_ID所关联的子树中最小的键值；

Pt域：对于叶子页，Pt域中的值为空值NULL；而对于索引页，Pt域中的值为指向对应叶子页的指针。

5.如权利要求4所述的物联网感知层的数据增量备份方法，其特征在于，更新数据日志索引树相应节点的过程如下：

以每条传感器检测数据的Index_ID为键查找数据日志索引树；

在查找到对应的索引页后，创建叶子节点，并用该条传感器检测数据的Index_ID及检测数据内容更新该叶子节点的Key域及Data域；

将该叶子节点链接至索引页中数据日志链表的尾部。

6.如权利要求4所述的物联网感知层的数据增量备份方法，其特征在于，更新增量日志索引树的相应节点的过程如下：

获取发出检测数据的传感器的节点聚集索引Node_ID；

以所述节点聚集索引Node_ID为键查找增量日志索引树获得对应的节点；

将该条检测数据的Index_ID加入对应的增量日志链表，更新最近一次插入检测数据的标识，用最近一条检测数据的Index_ID值，更新增量日志索引树节点的Last_index域。

7.如权利要求6所述的物联网感知层的数据增量备份方法，其特征在于，所述增量日志文件包括系统增量日志文件和节点增量日志文件两类，系统增量日志文件保存增量日志索引树的顺序存储结构，每一个传感器都单独对应一个增量日志文件Incremental_file，其中保存了该传感器所关联的增量日志链表。

8.如权利要求4所述的物联网感知层的数据增量备份方法，其特征在于，针对不同的物联网感知层应用，所述Data域在编译时被相应地设定为固定的字节长度，在默认情况下，所述Data域为255个字节。

9.物联网感知层的数据增量备份系统，包括由无线网络控制器和多个无线传感器组成的无线传感器网络以及数据日志存储器、增量日志存储器和数据备份主控制器、物联网感知层控制中心，其特征在于，

所述无线网络控制器为每一个加入无线网络的传感器分配唯一的节点聚集索引Node_ID；

所述数据备份主控制器为接收到的每一条传感器检测数据分配唯一的数据聚集索引Index_ID；

所述数据备份主控制器通过数据日志进程、增量日志进程和备份进程进行管理，所述数据日志进程通过B+Tree结构的数据日志索引树对检测数据进行管理，数据日志索引树以Index_ID为键值进行插入和查询操作；所述增量日志进程负责维护AVL Tree结构的增量日志索引树，增量日志索引树中的每一个节点均对应一个传感器，并在其中保存了该传感器相关检测数据的Index_ID辅助索引序列；所述备份进程通过在数据日志索引树与增量日志索引树之间执行联结操作，实施以传感器为单位的数据增量备份。

Images