CN103810265A - 基于WiMAX本地路由下的数据库优化方法 - Google Patents

Abstract

本发明提供一种基于WiMAX本地路由下的数据库优化方法，采用基于用户IP地址和数据库操作频率改进的分片优化方法，将CSN用户数据库中的用户信息根据用户IP地址按照一定的规则转移到其它物理服务器，形成一个分片集群，并且在CSN用户数据库中设置数据库路由，在查询用户信息时，将被叫用户的IP地址发送至该数据库路由，数据库路由按照上述规则选择在对应分片查询被叫用户信息，并且数据库路由根据基于数据库操作频率改进算法实时分配各个分片存储的用户信息，使得各个分片服务器达到负载均衡。利用本发明的数据库优化方法可提高在高并发读的CSN用户数据库的查询管理效率，同时能够降低运营商服务器的运营成本，为用户提供更快捷更优质的通信服务。

Description

基于WiMAX本地路由下的数据库优化方法

技术领域

本发明涉及计算机移动通信中的数据库技术领域，具体而言涉及一种基于WiMAX本地路由下的数据库优化方法。

背景技术

在3G技术的发展备受关注的今天，WiMAX（全球微波互联接入）技术作为一项新兴无线宽带技术，能够在比Wi-Fi更广阔的地域范围内提供“最后一公里”宽带连接性，由此支持企业客户享受T1类服务以及居民用户拥有相当于线缆/DSL的访问能力。由于其优异的性能和较好的发展前景，使其在国内外的通信领域都占有一席之地，并且将作为一股强大的动力推动通信发展。

同时，作为互联网延伸的WiMAX系统每天都会产生大量的用户数据，如何有效管理大量数据库数据是刻不容缓的问题。WiMAX网络拓扑如图1所示，该拓扑图的参考模型如下：

ASN（AccessServiceNetwork）：接入服务网络，其功能是管理IEEE802.16的空中接口，为WIMAX用户提供无线接入。通常由基站（BS是指基站）和网关（ASN-GW是指服务接入网关）两部分构成。MS通过空中接口与BS连接，接入到WiMAX网络中；ASN-GW是ASN网络的上行出口，负责对终端的接入认证、接入路由、移动IP外部代理等功能。

CSN（ConnectivityServiceNetwork）：连接端的核心服务网络，其功能是定义了一套网络功能的组合，为WiMAX网络的用户提供IP连接。通常可以由路由器，AAA代理或服务器，用户数据库，Internet网关设备等组成。

特别得，在WiMAX通信过程中，CSN的用户数据库需要存储用户的基本信息，例如用户的MSID，即用的电话号码，用户的姓名，用户的所在的BS，以及用户所在的ASN网关信息。当被叫用户处于该CSN时，CSN需要根据被叫用户的IP查询用户数据库查询该用户所属ASN和BS，并根据路由协议转发用户的业务数据。CSN中用户基本信息的表格式如下：

表1

MSID	NAME	IP-ADRRESS	ASNID	BSID
					13852410001	李云	192.168.1.7	ASN1	BS2
13852410002	周清	202.119.1.9	ASN2	BS3
					13951420003	黄上善	234.82.13.1	ASN3	BS5
13951420004	刘青	192.168.1.8	ASN4	BS5

……

在CSN数据库中的用户基本信息表中，记录着该CSN下的所有用户的基本信息，包括用户的MSID，用户的姓名，用户当前分配的IP地址以及当前用户所在基站的ASNID和BSID。在WiMAX通信系统中，CSN中的用户基本数据库时刻处高并发的读写状态，特别是查询被叫用户信息时，数据库需要根据用户的IP地址查找该被叫用户的所属基站信息从而建立下行路径。在CSN中的用户基本信息表中，往往存储着几十万乃至百万条用户数据，CSN需要在毫秒级的时间内完成对用户路由信息的查询，因此CSN数据库的优化能够大大提高查询效率为WiMAX用户提供更优质的服务。同时，随着CSN中用户数量的增不断加，对数据库服务器性能的负载性能要求也在增加，一般的解决方案是更换性能更好存储空间更大的数据库服务器，这无疑给运营商的运营成本带来负担。

发明内容

针对现有技术存在的缺陷或不足，本发明的目的在于提出一种基于WiMAX本地路由下的数据库优化方法，该方法能够提高在高并发读的CSN用户数据库的查询管理效率，同时能够降低运营商服务器的运营成本，为用户提供更快捷更优质的通信服务。

本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。

为达成上述目的，本发明所采用的技术方案如下：

一种基于WiMAX本地路由下的数据库优化方法，采用基于用户IP地址和数据库操作频率改进的分片优化方法，将CSN用户数据库中的用户信息根据用户IP地址按照一定的规则转移到其它物理服务器，形成一个分片集群，并且在CSN用户数据库中设置数据库路由，在查询用户信息时，将被叫用户的IP地址发送至该数据库路由，数据库路由按照上述规则选择在对应分片查询被叫用户信息，并且数据库路由根据基于数据库操作频率改进算法实时分配各个分片存储的用户信息，使得各个分片服务器达到负载均衡，其实现包括以下步骤：

步骤1、将原始CSN用户数据库中的数据信息按照IP地址的字段进行数据分块，分为C₁、C₂...C_m，并规定每个分块的用户IP字段范围，每个分块中记录所有符合该分块IP字段范围的用户数据信息；

步骤2、为原始CSN用户数据库增加横向物理服务器，建立分片集群Shard1、Shard2...ShardN，根据每个分块的用户数量建立数据分块与分片的映射关系，然后将数据分块根据用户数量平均迁移到各个分片中，并在分片集群中建立分片路由器，分片路由器记录当前分片与分块的映射关系；

步骤3、通过CSN用户数据库中设置的数据库路由记录分片-分块映射表以及分块-用户IP映射表，并为每个分片进行主备份，对于每个分片节点至少用两个服务器进行备份，两个备份服务器实时与分片的主服务器进行同步，其中一个备份服务器为分片的查询服务器，即该分片存储的用户信息需要增加、删除或更改时，在分片的主服务器中进行更改，当需要查询该分片所存储的信息时，则查询该备份服务器；另外一个备份服务器作为分片主服务器的备用服务器，即在主服务器发生意外情况时自动升级为分片主服务器；

步骤4、分片服务器开始运行：当ASN网关向CSN提出新增、删除或更新用户信息请求时，首先根据用户的IP地址查询前述数据库路由的分块-用户IP映射表，查找到用户所在分块，然后查选分片-分块数据表得到用户所在的分片，在分片的主服务器中进行相关操作；对于ASN网关提出的查询操作，在获得用户信息所在的分片后，在分片的查询服务器进行查询操作；

步骤5、计算操作频率值：根据每个分块的插入次数、删除次数、更新次数以及查询次数I_i、D_i、U_i、F_i，结合上述插入、删除、更新和查询四个操作的权重值Ins、Del、Upd、Fin，计算第i个分块的操作频率值为F_DO_i，其计算公式如下：

$F\_{\mathrm{DO}}_i=\mathrm{Ins}*\frac{I_i}{{\mathrm{\Σ}}_{i=1}^n{I}_i}+\mathrm{Fin}*\frac{F_i}{{\mathrm{\Σ}}_{i=1}^n{F}_i}+\mathrm{Upd}*\frac{U_i}{{\mathrm{\Σ}}_{i=1}^n{U}_i}+\mathrm{Del}*\frac{D_i}{{\mathrm{\Σ}}_{i=1}^n{D}_i},$ 式中n表示一个分片中所包含的的分块数量；

然后，根据下述公式计算每个分片的操作频率值F_Do：

$s(F\_\mathrm{DO})={\mathrm{\Σ}}_{i=1}^n{c}_i(F\_{\mathrm{DO}}_i);$

将每个分片的F_DO值记录在前述数据库路由的分片-分块映射表中，并实时更新；以及

步骤6、基于步骤5得出的各分片的F_DO值，CSN用户数据库中的数据库路由实时调整各个分片的分块，实现各分片的负载均衡。

进一步的实施例中，前述步骤6中，预先定义一阈值U-MAX和UMIN，在所有分片中，用户数量最大的分片与用户数量最小的分片，其用户数量的差值超过该阈值U-MAX时，调整各分片的分块，其实现包括以下步骤：

步骤6-1、数据迁移的门限：计算每个分片的用户数量，如果前述用户数量的差值超过该阈值U-MAX时，则进行数据平衡直到前述差值小于U-MIN，分块将从数据最密集的分片到最稀疏的分片，该数据最密集的分片定义为源分片，最稀疏的分片定义为目的分片；

步骤6-2、选择迁移分块：计算源分片和目的分片的F_DO值的差值，如果源分片的F_DO值f(F_DO)与目的分片的F_DO值t(F_DO)满足：f(F_DO)>t(F_DO)，则从从源分片中选择具有最大F_DO_i值的分块作为迁移分块，如果不满足上述条件，则从从源分片中选择具有最小F_DO_i值的分块迁移分块；以及

步骤6-3、分块的迁移：将上述步骤6-2选择的分块迁移到目的分片中，然后计算分片集群中的分片用户最大相差数，即数据最密集的分片和最稀疏的分片的用户相差值，返回步骤6-1。

进一步的实施例中，前述步骤1中，以IP地址的前八位作为分块的依据。

由以上本发明的技术方案可知，本发明提出的基于WiMAX本地路由下的数据库优化方法，与现有技术相比，其显著优点在于：

1）对CSN数据进行分片，系统查询用户信息时，通过CSN数据库路由只需查询分片集群的一个分片，大大降低了查询用户信息的时延，为用户提供了更快捷优质的服务；

2）降低了运营商对用户数据库的服务器性能要求，运营商可以使用旧的或廉价服务器对CSN用户数据库进行横向扩展，在保证数据库运行的效率下可以对各个分片服务器进行负载均衡，最大化得利用服务器资源。

附图说明

图1为WiMAX的网络拓扑示意图。

图2为本发明一实施方式基于WiMAX本地路由下的数据库优化方法的实现流程示意图。

图3为图1实施例中分片集群的一个示例性示意图。

图4为图1实施例中负载均衡实现的一个示例性示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

总体来说，本发明提出一种基于WiMAX本地路由下的数据库优化方法，采用基于用户IP地址和数据库操作频率改进的分片优化方法，将CSN用户数据库中的用户信息根据用户IP地址按照一定的规则转移到其它物理服务器，形成一个分片集群，并且在CSN用户数据库中设置数据库路由，在查询用户信息时，将被叫用户的IP地址发送至该数据库路由，数据库路由按照上述规则选择在对应分片查询被叫用户信息，并且数据库路由根据基于数据库操作频率改进算法实时分配各个分片存储的用户信息，使得各个分片服务器达到负载均衡。利用该优化方法，可提高在高并发读的CSN用户数据库的查询管理效率，同时能够降低运营商服务器的运营成本，为用户提供更快捷更优质的通信服务。

图2所示为本发明一实施方式基于WiMAX本地路由下的数据库优化方法的实现流程，其中，一种基于WiMAX本地路由下的数据库优化方法，其实现包括以下步骤1-步骤6，下面详细介绍步骤1-步骤6的具体实现。

步骤1、将原始CSN用户数据库中的数据信息按照IP地址的字段进行数据分块，分为C₁、C₂...C_m，并规定每个分块的用户IP字段范围，每个分块中记录所有符合该分块IP字段范围的用户数据信息。

本实施例中，前述分块即为数据库分片迁移的基本单位，一个分块中记录了所有符合该分块IP字段范围的用户数据信息。作为一个示例，分块与用户记录对应如下表2所示：

表2

步骤2、为原始CSN用户数据库增加横向物理服务器，建立分片集群Shard1、Shard2...ShardN,根据每个分块的用户数量建立数据分块与分片的映射关系，然后将数据分块根据用户数量平均迁移到各个分片中，并在分片集群中建立分片路由器，分片路由器记录当前分片与分块的映射关系。如图3所示；作为一个示例，分片和分块的映射关系如下表3所示：

表3

在可选的实施方式中，根据每个分片服务器的性能如内存、硬盘容量、新旧度等进行权重值打分，Shard1、Shard2、Shard-N的分数依次记录为W₁、W₂...W_N,性能越好，分数越高，每个分片服务器的分数记录在CSN用户数据库的数据库路由中。

步骤3、通过CSN用户数据库中设置的数据库路由记录分片-分块映射表以及分块-用户IP映射表，并为每个分片进行主备份，对于每个分片节点至少用两个服务器进行备份，两个备份服务器实时与分片的主服务器进行同步，其中一个备份服务器为分片的查询服务器，即该分片存储的用户信息需要增加、删除或更改时，在分片的主服务器中进行更改，当需要查询该分片所存储的信息时，则查询该备份服务器；另外一个备份服务器作为分片主服务器的备用服务器，即在主服务器发生意外情况时自动升级为分片主服务器。

步骤4、分片服务器开始运行：当ASN网关向CSN提出新增、删除或更新用户信息请求时，首先根据用户的IP地址查询前述数据库路由的分块-用户IP映射表，查找到用户所在分块，然后查选分片-分块数据表得到用户所在的分片，在分片的主服务器中进行相关操作；对于ASN网关提出的查询操作，在获得用户信息所在的分片后，在分片的查询服务器进行查询操作。

步骤5、计算操作频率值：根据每个分块的插入次数、删除次数、更新次数以及查询次数I_i、D_i、U_i、F_i，结合上述插入、删除、更新和查询四个操作的权重值Ins、Del、Upd、Fin，计算第i个分块的操作频率值为F_DO_i，其计算公式如下：

$F\_{\mathrm{DO}}_i=\mathrm{Ins}*\frac{I_i}{{\mathrm{\Σ}}_{i=1}^n{I}_i}+\mathrm{Fin}*\frac{F_i}{{\mathrm{\Σ}}_{i=1}^n{F}_i}+\mathrm{Upd}*\frac{U_i}{{\mathrm{\Σ}}_{i=1}^n{U}_i}+\mathrm{Del}*\frac{D_i}{{\mathrm{\Σ}}_{i=1}^n{D}_i},$ 式中n表示一个分片中所包含的的分块数量；

然后，根据下述公式计算每个分片的操作频率值F_DO：

$s(F\_\mathrm{DO})={\mathrm{\Σ}}_{i=1}^n{c}_i(F\_{\mathrm{DO}}_i);$

将每个分片的F_DO值记录在前述数据库路由的分片-分块映射表中，并实时更新。

步骤6、基于步骤5得出的各分片的F_DO值，CSN用户数据库中的数据库路由实时调整各个分片的分块，实现各分片的负载均衡。

本实施例中，作为优选的实施方式，前述步骤6中，预先定义一阈值U-MAX和UMIN，在所有分片中用户数量最大的分片与用户数量最小的分片差值超过该阈值U-MAX时，调整各分片的分块，如图4所示，其实现包括以下步骤：

步骤6-1、数据迁移的门限：计算每个分片的用户数量，如果用户数量最大的分片与用户数量最小的分片差值超过该阈值U-MAX时，则进行数据平衡直到前述差值小于U-MIN，分块将从数据最密集的分片到最稀疏的分片，该数据最密集的分片定义为源分片，最稀疏的分片定义为目的分片；

步骤6-2、选择迁移分块：计算源分片和目的分片的F_DO值的差别，如果源分片的F_DO值f(F_DO）与目的分片的F_DO值t(F_DO)满足：f(F_DO)>t(F_DO)，则从从源分片中选择具有最大F_DO_i值的分块作为迁移分块，如果不满足上述条件，则从从源分片中选择具有最小F_DO_i值的分块迁移分块；以及

步骤6-3、分块的迁移：将上述步骤6-2选择的分块迁移到目的分片中，然后计算分片集群中的分片用户最大相差数（即数据最密集的分片和最稀疏的分片的用户相差值），返回步骤6-1。

作为可选的实施方式，由于在数据库中，插入和删除用户操作复杂度较高，所以其对应的权重值Ins、Del值较高，大于1；而查询操作对分片性能影响并不大，所以其权重值Fin小于1。

下面结合一个实例，补充和辅助说明上述个步骤的实现。

步骤1、对原来的CSN数据库进行分块操作，分块的依据是用户的IP地址。例如将IP地址的前八位作为分块的依据，如表4所示：

表4

分块	用户IP地址
		C1	0.XXX.XXX.XXX
C2	1.XXX.XXX.XXX
		C3	2.XXX.XXX.XXX
…	…
		C256	255.XXX.XXX.XXX

根据上述表4，所有的用户数据可以分成256个分块，例如，用户IP地址为10.10.102.12的用户就被分配在分块C9中。其他的，以此类推。

步骤2、对原有的CSN服务器进行横向扩展，建立分片集群。新增的服务器可以是旧设备的服务器也可以是廉价的服务器，每个服务器为一个分片，这里新建了8个分片，即Shard1，Shard2，…，Shard8。并根据将256个用户数据分块平均分布于各个分片节点，分片-分块映射如下表5所示：

表5

步骤3、将分块-用户IP映射表（表4）和分片-分块映射表（表5）记录在CSN路由服务器中，同时对于每个分片，还建立主从备份，每个分片服务器至少需要两个备份服务器，两个备份服务器实时与分片主节点服务器同步，其中一个备份服务器用作查询服务器，另外一个服务器作为主节点的备用服务器。

步骤4、开始启用分片集群服务器，例如，当用户需要查询IP地址为202.119.230.8的用户路由信息时，数据库路由首先根据分块-IP地址表判断该用户属于数据分块C201，同时查询分片-分块映射表查询该用户信息存储在分片Shard8中，则查询分片Shard8的查询服务器找到该用户的具体信息。

同理，若要新增IP地址为10.10.102.32的用户，首先根据IP地址判断该新增用户属于C1数据块，同时根据分片-分块映射表查找到C1数据块目前存储在分片Shard1中，则将新增的用户信息包括MSID，BSID，ASNID，用户姓名等信息写入Shard1分片中，新增和删除以及更新操作都在分片服务器的主服务器中进行操作。

步骤5、分片集群服务器运行时，记录每个分块的如下信息，该分块的用户数Num、该分块的用户的查询次数F,插入次数I，更新次数U，以及删除次数D，并根据这些信息计算数据库操作频率值，分片-分块映射表的示例性格式如下表所示：

步骤6、当各个分片存储的用户分布不均匀时，需要迁移数据分块进行负载均衡。首先需要定义迁移的阀值U-MAX，这里设置成50000，即用户数最大的分片与用户数最小的分片的用户数量相差超过50000时，分片开始进行分片迁移，直至相差数相差小于U-MIN，在这里设定为10000。CSN数据库触发迁移后，其实现流程如下：

1）数据迁移的门限：计算每个分片的用户数量。如果用户数最大的分片与用户数最小的分片的用户数量相差超过阈值U-MIN的值10000，继续进行数据平衡，分块将会从数据最密集的分片（定义为源分片）到最稀疏的分片（定义为目的分片）；

2）选择迁移分块：计算源分片和目的分片的F_DO值的差别。各个分片的F_DO数值的算法根据前述公式算出，如果源分片的F_DO值f(F_DO)与目的分片的F_DO值t(f_DO)满足：f(F_DO)>t(F_DO)，则从从源分片中选择具有最大F_DO_i值的分块作为迁移分块，如果不满足上述条件，则从从源分片中选择具有最小F_DO_i值的分块迁移分块。

3）迁移分块：将步骤2）中选择的分块迁移到目的分片中中，然后计算分片集群中的分片用户最大相差数（即数据最密集的分片和最稀疏的分片的用户相差值），返回步骤1）。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (3)

1.一种基于WiMAX本地路由下的数据库优化方法，其特征在于，采用基于用户IP地址和数据库操作频率改进的分片优化方法，将CSN用户数据库中的用户信息根据用户IP地址按照一定的规则转移到其它物理服务器，形成一个分片集群，并且在CSN用户数据库中设置数据库路由，在查询用户信息时，将被叫用户的IP地址发送至该数据库路由，数据库路由按照上述规则选择在对应分片查询被叫用户信息，并且数据库路由根据基于数据库操作频率改进算法实时分配各个分片存储的用户信息，使得各个分片服务器达到负载均衡，其实现包括以下步骤：

步骤1、将原始CSN用户数据库中的数据信息按照IP地址的字段进行数据分块，分为                                                

、

...

，并规定每个分块的用户IP字段范围，每个分块中记录所有符合该分块IP字段范围的用户数据信息；

步骤2、为原始CSN用户数据库增加横向物理服务器，建立分片集群Shard1、Shard2...ShardN，根据每个分块的用户数量建立数据分块与分片的映射关系，然后将数据分块根据用户数量平均迁移到各个分片中，并在分片集群中建立分片路由器，分片路由器记录当前分片与分块的映射关系；

步骤3、通过CSN用户数据库中设置的数据库路由记录分片-分块映射表以及分块-用户IP映射表，并为每个分片进行主备份，对于每个分片节点至少用两个服务器进行备份，两个备份服务器实时与分片的主服务器进行同步，其中一个备份服务器为分片的查询服务器，即该分片存储的用户信息需要增加、删除或更改时，在分片的主服务器中进行更改，当需要查询该分片所存储的信息时，则查询该备份服务器；另外一个备份服务器作为分片主服务器的备用服务器，即在主服务器发生意外情况时自动升级为分片主服务器；

步骤4、分片服务器开始运行：当ASN网关向CSN提出新增、删除或更新用户信息请求时，首先根据用户的IP地址查询前述数据库路由的分块-用户IP映射表，查找到用户所在分块，然后查选分片-分块数据表得到用户所在的分片，在分片的主服务器中进行相关操作；对于ASN网关提出的查询操作，在获得用户信息所在的分片后，在分片的查询服务器进行查询操作；

步骤5、计算操作频率值：根据每个分块的插入次数、删除次数、更新次数以及查询次数

、

、

、

，结合上述插入、删除、更新和查询四个操作的权重值Ins、Del、Upd、Fin，计算第i个分块的操作频率值为

，其计算公式如下：

，式中n表示一个分片中所包含的的分块数量；

然后，根据下述公式计算每个分片的操作频率值

：

 ；

将每个分片的

值记录在前述数据库路由的分片-分块映射表中，并实时更新；以及

步骤6、基于步骤5得出的各分片的

值，CSN用户数据库中的数据库路由实时调整各个分片的分块，实现各分片的负载均衡。

2.根据权利要求1所述的基于WiMAX本地路由下的数据库优化方法，其特征在于，前述步骤6中，预先定义一阈值U-MAX和UMIN，在所有分片中，用户数量最大的分片与用户数量最小的分片，其用户数量的差值超过该阈值U-MAX时，调整各分片的分块，其实现包括以下步骤：

步骤6-1、数据迁移的门限：计算每个分片的用户数量，如果前述用户数量的差值超过该阈值U-MAX时，则进行数据平衡直到前述差值小于U-MIN，分块将从数据最密集的分片到最稀疏的分片，该数据最密集的分片定义为源分片，最稀疏的分片定义为目的分片；

步骤6-2、选择迁移分块：计算源分片和目的分片的

值的差值，如果源分片的

值

与目的分片的

值

满足：

，则从从源分片中选择具有最大

值的分块作为迁移分块，如果不满足上述条件，则从从源分片中选择具有最小

值的分块迁移分块；以及

步骤6-3、分块的迁移：将上述步骤6-2选择的分块迁移到目的分片中，然后计算分片集群中的分片用户最大相差数，即数据最密集的分片和最稀疏的分片的用户相差值，返回步骤6-1。

3.根据权利要求1所述的基于WiMAX本地路由下的数据库优化方法，其特征在于，前述步骤1中，以IP地址的前八位作为分块的依据。

Images