CN105635343B - 应用于dns查询的ip地址列表存储和查询方法 - Google Patents

Abstract

本发明涉及一种应用于DNS查询的IP地址列表存储和查询方法。首先将每个策略的IP地址列表进行去重处理，并采用红黑树、数组、链表等方式存储；然后将每个业务的不同策略的IP地址列表进行合并，构建成“IP地址列表+策略”的形式并存储，合并过程中遵循IP最长匹配原则或者优先级原则；然后将不同业务的“IP地址列表+策略”存储结构继续进行合并，构建成“IP地址列表+业务+策略”的形式并存储；然后对“IP地址列表+业务+策略”的存储结构按照IP地址列表起始地址大小进行排序；查询时采用二分法等查询方法进行DNS查询。本发明在现有的IP存储结构上上进行了改进，操作简单，能够减少查询次数，提高查询效率。

Description

应用于DNS查询的IP地址列表存储和查询方法

技术领域

本发明属于信息技术、DNS技术领域，具体涉及一种应用于DNS查询的IP地址列表存储和查询方法。

背景技术

IP地址的匹配广泛存在于DNS(Domain Name System，域名系统)查询过程中，比如服务器端的查询黑白名单、View(视图)的客户端的IP地址列表、递归服务器的Sortlist(路由重定向)配置等等，IP地址列表的快速匹配在一定程度上影响着查询的效率。

Radix Tree(基数树)是常用的IP路由存储结构，实际上IP路由查找正是Radixtree最常用的领域之一。在存储IP数据，尤其是CIDR(无类别域间路由，Classless Inter-Domain Routing)的时候，Radix退化成一种二叉树，左右子树分别表示IP的二进制表示的1或者0，所以对于IPv4，Radix树的最大高度是32。对于CIDR的存储，只需要存储前缀位就可以了，比如存储130.50.30.40/18，只需要存储前18位即可，后面的14位不用存储，因为在查找ACL(访问控制列表)的时候，只要对比到第18位就可以确定是否让此IP通过验证。BIND9中ACL的实现就是基于Radix Tree。Nginx(一种高性能的服务器，Engine X)中的Geo模块(用于作全局负载功能)也用Radix Tree存储CIDR形式的IP。

除此之外常用的IP存储结构还有顺序表、四级HASH表等。各结构的复杂度如表1所示：

表1.不同IP存储结构的复杂度

	最坏复杂度	平均复杂度	备注
				顺序表	O(N)	O(N/2)	N:表项总数
Radix树	O(LOG(N))		N:搜索键长度
				四级HASH表	4		折衷空间/效率

这些结构有个共同的缺点，以View为例，配置N个View时，就需要建立N个树(表)，匹配一条IP时，最坏的情况是需要查找N次。如果业务较多的情况下(先匹配黑白名单、再匹配权威View，最后匹配递归Sortlist)，查询次数(时间)不论采用哪种结构都会成倍增长。

发明内容

本发明针对上述问题，提供一种应用于DNS查询的IP地址列表存储和查询方法，能够快速进行IP匹配，提高DNS查询的效率，并降低配置的策略与业务对查询效率的影响。

本发明中，“业务”是指需要实现的不同功能，比如视图功能、访问控制功能等；“策略”是指每个功能下的不同策略标识，比如视图功能下配置视图一、视图二，或者访问控制功能配置允许访问、拒绝访问等。

本发明采用的技术方案如下：

一种IP地址列表存储方法，其特征在于，包括如下步骤：

1)将每个策略的IP地址列表进行去重处理，然后进行存储；

2)将每个业务的不同策略的IP地址列表进行合并，构建成“IP地址列表+策略”的形式并存储，合并过程中视业务要求遵循IP最长匹配原则或者优先级原则；

3)将不同业务的“IP地址列表+策略”存储结构继续进行合并，构建成“IP地址列表+业务+策略”的形式并存储；

4)对“IP地址列表+业务+策略”的存储结构按照IP地址列表起始地址大小进行排序。

进一步地，步骤2)所述IP最长匹配原则是指收到一个IP数据包时，将数据包的目的IP地址与IP列表中的表项进行逐位查找，直到找到匹配度最长的条目；所述优先级原则是指收到一个IP数据包时，将数据包的目的IP地址与IP列表中的表项进行匹配，找到匹配时优先级最高的条目。

进一步地，步骤1)采用下列方式之一存储每个策略的IP地址列表：红黑树、数组、链表。

进一步地，步骤2)和步骤3)采用下列方式之一存储合并后的IP地址列表：数组、Radix树、四级HASH表。

进一步地，步骤2)和步骤3)采用数组存储合并后的IP地址列表，并将形成的“IP地址列表+业务+策略”的数组拆为两个数组以提高查询效率，其中，数组一存储IP起始地址，数组二存储“IP结束地址+业务+策略”；在查询时对IP起始地址的数组采用二分法进行查询，查到后获取数组下标，到对应的另一IP数组中获取对应的业务及策略。

进一步地，步骤2)在合并的过程中根据优先级进行IP段的拆分、去重，优先级相同时按照IP最长匹配进行拆分、去重。

进一步地，步骤3)在不同业务直接合并时不存在优先级的区别，以保证数组覆盖每个业务的每个策略的所有IP段。

一种DNS查询方法，首先权威服务器或递归服务器采用上述方法对IP地址列表进行存储，然后通过存储的IP地址列表进行DNS查询。

进一步地，将形成的“IP地址列表+业务+策略”拆为两个数组以提高查询效率，其中，数组一存储IP起始地址，数组二存储“IP结束地址+业务+策略”，然后对IP起始地址的数组采用二分法进行查询，查到后获取数组下标，到对应的另一IP数组中获取对应的业务及策略。

本发明的关键点是：1)每个策略的IP地址列表储存时，可以采用红黑树的方式进行存储，以IP段为key，以业务数据为info；也可以视情况采用其他方式存储，如采用数组、链表等方式存储IP地址。2)合并IP地址列表时有两种原则，IP最长匹配原则和优先级原则。根据业务的不同，在策略合并的过程中采用不同的原则，因此，每个业务的保存结构需要进行相应的变化。以红黑树为例，key值均为IP地址，info的值需要视业务的不同存储view_id/acl_deny以及优先级。3)二分法查询需要对数组进行排序，不同的业务的IP数组进行合并后，需要进一步排序。4)该存储结构对配置的策略个数与业务个数不做限制。本发明对配置的业务类型、策略类型都不作要求，可作为通用模块广泛应用于权威、递归服务器。

本发明的技术核心在于通过IP地址的合并、拆分将不同业务的IP地址列表整合到一起，对于整合后的IP地址列表的存储方式和查询方法除了上述实施方式提出的通过两个数组进行存储并利用二分法进行查询以外，可根据具体应用场景进行灵活调整，并不局限于利用数组的方式进行存储，也不局限于利用二分法的方式进行查询。前文提到的Radix树、四级HASH表都可以用于存储合并拆分后的IP地址列表，具体使用时根据存储空间和时间复杂度的取舍，选择合适的存储方式和查询算法。

与现有技术相比，本发明的有益效果如下：

1)二分法查询的复杂度为O(LOG2(N))，以2个View为例，每个View的match_clients(客户端IP列表)的IP列表为2^10，传统的二分法最坏查找次数为10+10次，合并为2^10*2的数组后，最坏查找次数为11次。

2)DNS查询过程中需要进行多次IP匹配，采用上述结构后，只需要一次查询就可以，减少查询次数，以查询黑白名单+View为例，黑白名单IP列表为2^10，View的match_clients的IP列表为2^10，采用传统的结构查询的次数为10+10次，采用新的存储方式后，查询的次数为11次。

3)采用以上方案后，DNS查询过程中，策略以及业务的配置个数对查询时间的影响大大降低。本发明在现有的IP存储结构上上进行了改进，操作简单，能够减少查询次数，提高查询效率。

附图说明

图1是实施例1中按照优先级原则进行业务合并的示意图。

图2是实施例1中按照IP最长匹配原则进行业务合并的示意图。

图3是实施例1中合并后的数组示意图。

图4是实施例2中按照各IP数组内合并的示意图。

图5是实施例2中按照优先级原则进行组间合并的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。

实施例1：

本实施例的合并过程如图1、2所示，其中图1是按照优先级原则进行合并的示意图，图2是按照IP最长匹配原则进行合并的示意图。合并过程中视业务要求遵循IP最长匹配原则或者根据优先级进行匹配。其具体步骤描述如下：

1)每个策略的IP地址列表经过去重处理后构建红黑树(Red Black Tree)，以IP段作为key值(节点关键字)，以策略id(策略标识)、优先级(视具体业务的不同，节点的数据要求不同)作为info(节点数据)；

2)视业务的不同对优先级进行分级：权威View按照配置先后顺序设定优先级、递归View按照配置的优先级决定优先级、对于IP最长匹配原则的业务可配置相同的优先级；

3)每个业务的不同策略的红黑树经过合并构建成一个“IP地址列表+策略”的数组，合并的过程中要根据优先级进行IP段的拆分、去重，优先级相同时按照IP最长匹配进行拆分、去重；

4)不同业务的“IP地址列表+策略”的数组继续进行合并构建新的“IP地址列表+业务+策略”的数组，不同业务直接合并时不存在优先级的区别，保证数组覆盖每个业务的每个策略的所有IP段；

5)对合并后的数组按照IP地址列表起始地址大小进行排序，合并后的数组不存在重复IP，不区分优先级先后；合并后的数组如图3所示，图中ip_start表示IP起始地址，ip_end表示IP结束地址，u32、u8表示存储数据类型，view_id表示视图业务的标识，acl_deny表示访问控制业务标识；

6)为进一步提高查询效率，将上述数组拆为两个数组，数组一存储IP起始地址，数组二存储“IP结束地址+业务+策略”。搜索时只要用IP起始地址就可以，这个数组在内存里面连续分布，可以提高缓存命中率，进一步提高查询效率。

7)在采用上述存储结构后，对IP起始地址的数组采用二分法进行匹配查询。查到后获取数组下标，到对应的另一IP数组中获取对应的业务及策略等。保存查询后的结果，后续不再需要二次查询，可以处理多项业务。

以合并后的IP数组共2^20个为例，最坏的查询次数为20次，经过20次搜索，获取对应的业务及相关策略后，即可达到传统存储方式中多次查询才能获取结果的目的。且采用此方案后，配置业务、策略的数量对查询效率的影响与传统存储方式相比大大降低。例如，配置策略个数为M，策略包含IP地址2^10个，传统存储方式中，最坏查询次数为M*10，采用此方案后，最坏查询次数为10+LOG2M。

实施例2：

本实施例仍以View业务为例，具体的合并过程如图4、5所示，其中图4是按照各IP数组内合并的示意图，图5是按照优先级原则进行组间合并的示意图。其具体步骤描述如下：

1)每个View的IP构建一个数组，数组内按照起始IP的大小进行排序，排序后的结果如图4左侧的view1、view2；

2)对view1、view2的IP数组进行组内合并，去除重复的IP地址，去重后的结果如图4右侧的view1、view2；

3)按照优先级原则对view1、view2的IP数组进行拆分和合并，最终结果(合并后的数组)如图5所示。

在上述实施例中，数组如果都采用二分法进行查询，合并之前的最高查询次数为2+3为5次，合并后最高查询次数为4次。与合并之前相比提高了查询效率。附图中所示的IP列表比较少，在数据量大的场景下，效率提高的会更加明显。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (7)

1.一种IP地址列表存储方法，其特征在于，包括如下步骤：

1)将每个策略的IP地址列表进行去重处理，然后进行存储；

2)将每个业务的不同策略的IP地址列表进行合并，构建成“IP地址列表+策略”的形式并存储，合并过程中视业务要求遵循IP最长匹配原则或者优先级原则；

3)将不同业务的“IP地址列表+策略”存储结构继续进行合并，构建成“IP地址列表+业务+策略”的形式并存储；

4)对“IP地址列表+业务+策略”的存储结构按照IP地址列表起始地址大小进行排序；其中，步骤2)和步骤3)采用数组存储合并后的IP地址列表，并将形成的“IP地址列表+业务+策略”的数组拆为两个数组以提高查询效率，其中，数组一存储IP起始地址，数组二存储“IP结束地址+业务+策略”；在查询时对IP起始地址的数组采用二分法进行查询，查到后获取数组下标，到对应的另一IP数组中获取对应的业务及策略。

2.如权利要求1所述的方法，其特征在于：步骤2)所述IP最长匹配原则是指收到一个IP数据包时，将数据包的目的IP地址与IP列表中的表项进行逐位查找，直到找到匹配度最长的条目；所述优先级原则是指收到一个IP数据包时，将数据包的目的IP地址与IP列表中的表项进行匹配，找到匹配时优先级最高的条目。

3.如权利要求1或2所述的方法，其特征在于：步骤1)采用下列方式之一存储每个策略的IP地址列表：红黑树、数组、链表。

4.如权利要求1所述的方法，其特征在于：步骤2)在合并的过程中根据优先级进行IP段的拆分、去重，优先级相同时按照IP最长匹配进行拆分、去重。

5.如权利要求1所述的方法，其特征在于：步骤3)在不同业务直接合并时不存在优先级的区别，以保证数组覆盖每个业务的每个策略的所有IP段。

6.一种DNS查询方法，其特征在于，首先权威服务器或递归服务器采用权利要求1至5中任一项所述方法对IP地址列表进行存储，然后通过存储的IP地址列表进行DNS查询。

7.如权利要求6所述的方法，其特征在于：将形成的“IP地址列表+业务+策略”拆为两个数组以提高查询效率，其中，数组一存储IP起始地址，数组二存储“IP结束地址+业务+策略”，然后对IP起始地址的数组采用二分法进行查询，查到后获取数组下标，到对应的另一IP数组中获取对应的业务及策略。