CN106407385A

CN106407385A - 数据管理方法、设备和系统

Info

Publication number: CN106407385A
Application number: CN201610825463.0A
Authority: CN
Inventors: 刘佳楠; 江露
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2016-09-14
Filing date: 2016-09-14
Publication date: 2017-02-15
Anticipated expiration: 2036-09-14
Also published as: CN106407385B

Abstract

本发明公开了数据管理方法、设备和系统，所述方法包括：主设备获取更新信息，以Log的方式写入NFS，以便在写入成功后，从设备通过tail日志的方式，根据更新信息更新本地内存，另外，写入成功，主设备根据更新信息更新本地内存。应用本发明所述方案，能够提高系统的稳定性和可扩展性等。

Description

数据管理方法、设备和系统

【技术领域】

本发明涉及数据处理技术，特别涉及数据管理方法、设备和系统。

【背景技术】

目前，基于openstack的开源云计算平台得到了广泛应用，其中使用的是传统的mysql开源数据库，采用无中心数据(元信息)管理方式，稳定性和可扩展性均较差。

【发明内容】

本发明提供了数据管理方法、设备和系统，能够提高系统的稳定性和可扩展性。

具体技术方案如下：

一种数据管理方法，包括：

主设备获取更新信息，以Log的方式写入网络文件系统NFS，以便在写入成功后，从设备通过tail日志的方式，根据所述更新信息更新本地内存；

写入成功，所述主设备根据所述更新信息更新本地内存。

根据本发明一优选实施例，该方法进一步包括：

当所述主设备出现故障时，执行checkpoint，将当前的内存数据快照备份到本地硬盘；

当checkpoint完成之后，执行主从切换。

根据本发明一优选实施例，所述NFS中的数据为进行序列化处理后的数据；

所述更新信息的数据存储格式包括：每个表中依次包括uid字段、方法名字段和参数列表字段，所述参数列表字段中进一步包括至少一个参数子字段，每个参数子字段中分别存储有对应参数的取值。

根据本发明一优选实施例，所述更新本地内存包括：利用内存表的管理接口类Manager，对需要更新的表进行更新。

一种数据管理方法，包括：

当主设备获取更新信息，以Log的方式写入网络文件系统NFS之后，从设备通过tail日志的方式，根据所述更新信息更新本地内存。

根据本发明一优选实施例，该方法进一步包括：

所述从设备周期性地执行checkpoint，将当前的内存数据快照备份到所述NFS中；

并且，当所述从设备出现故障时，在进程退出之前，执行checkpoint，将当前的内存数据快照备份到所述NFS中。

其中，内存数据快照的数据存储格式包括：每个表中依次包括表名字段和数据数据，所述数据字段中进一步包括至少一个item子字段，每个item子字段中分别采用key-value的形式对数据进行存储；

根据本发明一优选实施例，所述根据所述更新信息更新本地内存包括：

所述从设备对获取到的序列化后的更新信息进行反序列化，根据反序列化结果更新本地内存。

一种主设备，包括：获取单元和第一更新单元；

所述获取单元，用于获取更新信息，并发送给所述第一更新单元；

所述第一更新单元，用于将所述更新信息以Log的方式写入网络文件系统NFS，以便在写入成功后，从设备通过tail日志的方式，根据所述更新信息更新本地内存，并且，写入成功后，所述第一更新单元根据所述更新信息更新本地内存。

根据本发明一优选实施例，所述主设备中进一步包括：第一备份单元；

所述第一备份单元，用于当所述主设备出现故障时，执行checkpoint，将当前的内存数据快照备份到本地硬盘，当checkpoint完成之后，执行主从切换。

根据本发明一优选实施例，所述第一更新单元利用内存表的管理接口类Manager，对本地内存中需要更新的表进行更新。

一种从设备，包括：第二更新单元；

所述第二更新单元，用于当主设备获取更新信息，以Log的方式写入网络文件系统NFS之后，通过tail日志的方式，根据所述更新信息更新本地内存。

根据本发明一优选实施例，所述从设备中进一步包括：第二备份单元；

所述第二备份单元，用于周期性地执行checkpoint，将当前的内存数据快照备份到所述NFS中；并且，当所述从设备出现故障时，在进程退出之前，执行checkpoint，将当前的内存数据快照备份到所述NFS中。

根据本发明一优选实施例，所述第二更新单元对获取到的序列化后的更新信息进行反序列化，根据反序列化结果更新本地内存。

一种数据管理系统，包括：

如以上所述的主设备，以及，如以上所述的从设备。

基于上述介绍可以看出，采用本发明所述方案，采用主从方式来实现数据同步，底层文件系统采用NFS，从而相比于现有技术提高了系统的稳定性和可扩展性，且文件存储速度快，提升了数据处理效率等。

【附图说明】

图1为本发明所述数据管理方法实施例的流程图。

图2为本发明所述内存数据快照的数据存储格式示意图。

图3为本发明所述更新信息的数据存储格式示意图。

图4为本发明所述主设备实施例的组成结构示意图。

图5为本发明所述从设备实施例的组成结构示意图。

图6为本发明所述数据管理系统实施例的组成结构示意图。

【具体实施方式】

针对现有技术中存在的问题，本发明中提出一种基于ds-common分布式网络文件系统(NFS，Network File System)存储架构的内存数据库系统nova-master。

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。

实施例一

图1为本发明所述数据管理方法实施例的流程图，如图1所示，包括以下具体实现方式：

在11中，主设备获取更新信息，以日志(Log)的方式写入NFS；

在12中，写入成功，主设备根据更新信息更新本地内存，并且，从设备通过跟踪(tail)日志的方式，根据更新信息更新本地内存。

在实际应用中，主设备的个数通常为一个，从设备的个数可以为一个，也可以为多个。

以下对本实施例中涉及到的各部分内容分别进行详细说明。

1)选主

初始，各设备之间是对等的，并无主从之分，当nova-master系统启动后，需要进行选主操作，即从各设备中选出一个作为主设备，其它的作为从设备。

各设备的启动加载逻辑可包括：

RestoreMeta先恢复checkpoint的数据，结束后调用OnLoadBaseFinished；

ApplyLog恢复checkpoint后的Log数据，结束后调用OnLoadLogFinished，OnLoadFinished，启动加载逻辑结束。

各设备之间可竞争指定的锁的钥匙，谁先拿到钥匙，则为主设备，否则，为从设备。

if主设备:

启动RpcServer，consumer消息；

else:#从设备

定期做checkpoint。

如果上述加载接口出现失败，则报警，进程退出。

2)主设备

主设备启动时，需要启动本地的RpcServer，可通过RpcServer来获取来自外部的更新信息等。

当获取到更新信息后，主设备可将其以Log的方式写入NFS，并在写入成功后，更新(update)本地内存。

如果主设备出现故障，可报警、资源回收、进程退出、触发主从切换。

另外，在进行主从切换之前，主设备可执行checkpoint，将当前的内存数据快照备份到本地硬盘。

checkpoint完成之后，即可执行主从切换，如前所述，主设备启动时，需要启动本地的RpcServer，那么相应地，当主设备Dead时，需要关闭本地的RpcServer。

3)从设备

主设备将更新信息以Log的方式写入NFS，写入成功后，从设备可通过tail日志的方式，更新本地内存，实现与主设备之间的准实时的数据同步。

即从设备可从NFS中读取Log，根据读取到的信息更新本地内存，涉及的接口可包括日志回放接口和读错误回调接口等。

如果读取失败，且连续失败次数达到N次，N为正整数，通常大于1，则可认为从设备出现故障，执行checkpoint，将当前的内存数据快照备份到NFS中，之后报警、进程退出。

另外，当从设备处于正常状态时，还需要定期执行checkpoint，即周期性地执行checkpoint，将当前的内存数据快照备份到NFS中。

所述周期的具体时长以及N的具体取值均可根据实际需要而定。

当主设备出现故障时，从设备可迅速tail完日志并切换成主设备，并启动本地的RpcServer等。

4)资源定位

可在上游配置nova-master系统的域名，主设备和从设备均可提供查询主设备的信息如IP的功能，上游定时或在发送失败时均可以去主设备或从设备上查询主设备的信息。

5)checkpoint流程

本实施例中所述的checkpoint可称为内存全量数据的持久化，以从设备为例，其可在获取到全局写锁即写优先的读写锁后，fork出子进程完成当前内存完整数据的快照，即获取内存数据快照，对于多线程进程fork后可仅复制当前线程到子进程，进而在子进程中遍历内存数据快照中的所有表(数据表)，对表进行分片序列化和持久化。

初始阶段即初始化过程，可由Manager在内存中创建所需的表，再从NFS中逐条加载Metadata更新对应的表。

内存表可分为两级，Manager和Info，Manager为内存表的管理接口类，可提供所有的内存表访问接口及索引结构，Info可对应到每个具体的表或者是多个表。

6)主从同步流程

本实施例中，可利用Manager，对需要更新的表进行更新，即内存更新操作由Manager发起，可以是对Manager所维护的多个表的多个更新，所有需要一次完成的内存更新均可封装在一个更新行为内完成，对这一更新行为进行序列化和持久化。

主设备的持久化阻塞在等待NFS写入成功的事件，NFS写入成功后将触发applylog过程以标记该事件发生，之后继续执行实际的Manager更新行为。

NFS写入成功后，也将触发从设备执行applylog过程，从设备对从NFS中获取到的序列化后的更新信息进行反序列化，根据反序列化结果更新本地内存，即进行反序列化后得到实际的Manager更新行为，并执行更新，更新过程需要获取全局读锁。

7)数据存储格式

对于存储到NFS中的数据，可进行序列化处理，并针对不同类型的数据，可分别采用不同的存储格式。

比如，图2为本发明所述内存数据快照的数据存储格式示意图，如图2所示，每个表中可依次包括表名字段和数据数据，数据字段中可进一步包括至少一个项目(item)子字段，每个item子字段中可分别采用键值(key-value)的形式对数据进行存储。

图3为本发明所述更新信息(即主从同步数据)的数据存储格式示意图，如图3所示，每个表中可依次包括用户标识(uid)字段、方法名字段和参数列表字段，参数列表字段中可进一步包括至少一个参数(param)子字段，每个参数子字段中可分别存储有对应参数的取值(value)。

以上是关于本发明方法实施例的介绍，以下通过设备实施例，对本发明所述方案进行进一步说明。

实施例二

图4为本发明所述主设备实施例的组成结构示意图，如图4所示，包括：获取单元41和第一更新单元42。

获取单元41，用于获取更新信息，并发送给第一更新单元42。

第一更新单元42，用于将更新信息以Log的方式写入NFS，以便在写入成功后，从设备通过tail日志的方式，根据更新信息更新本地内存，并且，写入成功后，第一更新单元42根据更新信息更新本地内存。

主设备启动时，获取单元41可启动本地的RpcServer，通过RpcServer来获取来自外部的更新信息等。

当获取到更新信息后，获取单元41可将其发送给第一更新单元42，进而由第一更新单元42将更新信息以Log的方式写入NFS，并在写入成功后，更新本地内存。

具体地，第一更新单元42可利用Manager，对本地内存中需要更新的表进行更新，即内存更新操作由Manager发起，可以是对Manager所维护的多个表的多个更新，所有需要一次完成的内存更新均可封装在一个更新行为内完成。

另外，如图4所示，主设备中还可进一步包括：第一备份单元43。

第一备份单元43，用于当主设备出现故障时，执行checkpoint，将当前的内存数据快照备份到本地硬盘，当checkpoint完成之后，执行主从切换。

NFS中的数据可为进行序列化处理后的数据。

更新信息的数据存储格式可包括：每个表中依次包括uid字段、方法名字段和参数列表字段，参数列表字段中进一步包括至少一个参数子字段，每个参数子字段中分别存储有对应参数的取值。

实施例三

图5为本发明所述从设备实施例的组成结构示意图，如图5所示，包括：第二更新单元51。

第二更新单元51，用于当主设备获取更新信息，以Log的方式写入NFS之后，通过tail日志的方式，根据更新信息更新本地内存。

第二更新单元51可从NFS中读取Log，根据读取到的信息更新本地内存。

另外，如图5所示，从设备中还可进一步包括：第二备份单元52。

第二备份单元52，用于周期性地执行checkpoint，将当前的内存数据快照备份到NFS中；并且，当从设备出现故障时，在进程退出之前，执行checkpoint，将当前的内存数据快照备份到NFS中。

其中，NFS中的数据可为进行序列化处理后的数据。

具体地，内存数据快照的数据存储格式可包括：每个表中依次包括表名字段和数据数据，数据字段中进一步包括至少一个item子字段，每个item子字段中分别采用key-value的形式对数据进行存储。

相应地，第二更新单元51可对从NFS中获取到的序列化后的更新信息进行反序列化，根据反序列化结果更新本地内存。

实施例四

图6为本发明所述数据管理系统实施例的组成结构示意图，如图6所示，包括：如实施例二中所述的主设备，以及，如实施例三中所述的从设备，主设备和从设备均需要与NFS进行交互，图6所述系统实施例的具体工作流程请参照前述各实施例中的相应说明，此处不再赘述。

总之，采用本发明所述方案，采用主从方式来实现数据同步，底层文件系统采用NFS，从而相比于现有技术提高了系统的稳定性和可扩展性，且文件存储速度快，提升了数据处理效率；而且，现有的表结构多存在冗余，而本发明所述方案中重新构造了表结构，去除了冗余，从而提升了访问速度；另外，采用本发明所述方案，可通过远程过程调用(RPC，Remote Procedure Call)协议来直接访问内存等，从而相比于现有技术能够提供更高的每秒请求数，进而提高了系统的处理效率等。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种数据管理方法，其特征在于，包括：

写入成功，所述主设备根据所述更新信息更新本地内存。

2.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：

当checkpoint完成之后，执行主从切换。

3.根据权利要求1所述的方法，其特征在于，

所述NFS中的数据为进行序列化处理后的数据；

4.根据权利要求1、2或3所述的方法，其特征在于，

所述更新本地内存包括：利用内存表的管理接口类Manager，对需要更新的表进行更新。

5.一种数据管理方法，其特征在于，包括：

6.根据权利要求5所述的方法，其特征在于，

该方法进一步包括：

7.根据权利要求6所述的方法，其特征在于，

所述NFS中的数据为进行序列化处理后的数据；

8.根据权利要求7所述的方法，其特征在于，

所述根据所述更新信息更新本地内存包括：

9.一种主设备，其特征在于，包括：获取单元和第一更新单元；

10.根据权利要求9所述的主设备，其特征在于，

所述主设备中进一步包括：第一备份单元；

11.根据权利要求9所述的主设备，其特征在于，

所述NFS中的数据为进行序列化处理后的数据；

12.根据权利要求9所述的主设备，其特征在于，

所述第一更新单元利用内存表的管理接口类Manager，对本地内存中需要更新的表进行更新。

13.一种从设备，其特征在于，包括：第二更新单元；

14.根据权利要求13所述的从设备，其特征在于，

所述从设备中进一步包括：第二备份单元；

15.根据权利要求14所述的从设备，其特征在于，

所述NFS中的数据为进行序列化处理后的数据；

16.根据权利要求15所述的从设备，其特征在于，

所述第二更新单元对获取到的序列化后的更新信息进行反序列化，根据反序列化结果更新本地内存。

17.一种数据管理系统，其特征在于，包括：

如权利要求9～12中任一项所述的主设备，以及，如权利要求13～16中任一项所述的从设备。