CN112667629A - 基于布隆过滤器的威胁检测方法和系统 - Google Patents

Abstract

本申请涉及一种基于布隆过滤器的威胁检测方法和系统；所述方法包括：DNS服务器将接收到的DNS请求发送到布隆过滤器；布隆过滤器对DNS请求进行筛选，将DNS请求分为非威胁请求和疑似威胁请求；将非威胁请求返回到DNS服务器，将疑似威胁请求发送到威胁数据库；威胁数据库对疑似威胁请求进行查询，并将查询结果发送到DNS服务器；DNS服务器对非威胁请求进行正常响应，丢弃威胁请求。本申请方案通过在DNS服务器与威胁情报系统之间布置布隆过滤器，在执行代价较大的威胁数据查询前进行一次过滤，布隆过滤器能够将大部分的非威胁请求过滤掉，使其直接继续进行DNS相关的解析；这样就能够减少非威胁域名的查询操作，保证在不漏判威胁域名的情况下提升DNS服务性能。

Description

基于布隆过滤器的威胁检测方法和系统

技术领域

本申请涉及域名解析技术领域，具体涉及一种基于布隆过滤器的威胁检测方法和系统。

背景技术

当前的DNS服务器开始与威胁情报系统(以下简称为TI)联动，可承担一定威胁拦截的职责，这样的应用开始变得更加普遍和成熟。另一方面，TI的体量也比较大，所以具体实现上，DNS服务器通常是与它解耦的。这也带来维护上的便利，但同时需要着重考虑性能上是否能够满足需求，因为跨进程甚至是跨设备的威胁信息查询必然会带来性能上的损失。

相关技术中，在使用DNS服务器与TI相联动的系统中，大部分的域名请求都不会在威胁数据库(TI内)中查询到，而这样大量的无效查询拖累了整个系统的性能。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种基于布隆过滤器的威胁检测方法和系统。

根据本申请实施例的第一方面，提供一种基于布隆过滤器的威胁检测方法，包括：

DNS服务器将接收到的DNS请求发送到布隆过滤器；

布隆过滤器对DNS请求进行筛选，将DNS请求分为非威胁请求和疑似威胁请求；

将非威胁请求返回到DNS服务器，将疑似威胁请求发送到威胁数据库；

威胁数据库对疑似威胁请求进行查询，并将查询结果发送到DNS服务器；

DNS服务器对非威胁请求进行正常响应，丢弃威胁请求。

进一步地，所述方法还包括：

服务器与威胁数据库之间约定有过滤表的同步协议，所述同步协议约定一个同步周期，所述同步周期等于威胁数据库更新数据的周期；

在每个同步周期，DNS服务器的独立线程向威胁数据库请求过滤表；所述过滤表由威胁数据库定期生成，内容为当前全量威胁数据；

DNS服务器端收到过滤表后通过哈希算法生成对应的位向量。

进一步地，DNS服务器的过滤表的有效期是所述同步协议约定的同步周期。

进一步地，所述布隆过滤器对DNS请求进行筛选，包括：

通过所述位向量对DNS请求进行匹配；

如果未命中，则该DNS请求为非威胁请求；如果命中，则该DNS请求为疑似威胁请求。

根据本申请实施例的第二方面，提供一种基于布隆过滤器的威胁检测系统，包括：

DNS服务器，用于将接收到的DNS请求发送到布隆过滤器；

布隆过滤器，用于对DNS请求进行筛选，将DNS请求分为非威胁请求和疑似威胁请求；将非威胁请求返回到DNS服务器，将疑似威胁请求发送到威胁数据库；

威胁数据库，用于对疑似威胁请求进行查询，并将查询结果发送到DNS服务器；

DNS服务器还用于对非威胁请求进行正常响应，丢弃威胁请求。

进一步地，所述服务器与所述威胁数据库之间约定有过滤表的同步协议，所述同步协议约定一个同步周期，所述同步周期等于威胁数据库更新数据的周期；

在每个同步周期，DNS服务器的独立线程向威胁数据库请求过滤表；所述过滤表由威胁数据库定期生成，内容为当前全量威胁数据；

DNS服务器端收到过滤表后通过哈希算法生成对应的位向量。

进一步地，所述DNS服务器的过滤表的有效期是所述同步协议约定的同步周期。

进一步地，所述布隆过滤器用于对DNS请求进行筛选，具体包括：

通过所述位向量对DNS请求进行匹配；

如果未命中，则该DNS请求为非威胁请求；如果命中，则该DNS请求为疑似威胁请求。

本申请的实施例提供的技术方案具备以下有益效果：

本申请方案通过在DNS服务器与威胁情报系统之间布置布隆过滤器，在执行代价较大的威胁数据查询前进行一次过滤，布隆过滤器能够将大部分的非威胁请求过滤掉，使其直接继续进行DNS相关的解析；疑似威胁请求会穿过过滤器，再与威胁情报系统进行通信来查询；这样就能够减少非威胁域名的查询操作，保证在不漏判威胁域名的情况下提升DNS服务性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种基于布隆过滤器的威胁检测方法的流程图。

图2是根据一示例性实施例示出的一种基于布隆过滤器的威胁检测系统的流程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。

图1是根据一示例性实施例示出的一种基于布隆过滤器的威胁检测方法的流程图。该方法可以包括以下步骤：

步骤S1：DNS服务器将接收到的DNS请求发送到布隆过滤器；

步骤S2：布隆过滤器对DNS请求进行筛选，将DNS请求分为非威胁请求和疑似威胁请求；

步骤S3：将非威胁请求返回到DNS服务器，将疑似威胁请求发送到威胁数据库；

步骤S4：威胁数据库对疑似威胁请求进行查询，并将查询结果发送到DNS服务器；

步骤S5：DNS服务器对非威胁请求进行正常响应，丢弃威胁请求。

本申请方案通过在DNS服务器与威胁情报系统之间布置布隆过滤器，在执行代价较大的威胁数据查询前进行一次过滤，布隆过滤器能够将大部分的非威胁请求过滤掉，使其直接继续进行DNS相关的解析；疑似威胁请求会穿过过滤器，再与威胁情报系统进行通信来查询；这样就能够减少非威胁域名的查询操作，保证在不漏判威胁域名的情况下提升DNS服务性能。

应当理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本申请方案中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为进一步详述本申请的技术方案，首先具体解释布隆过滤器。

本质上布隆过滤器是一种比较巧妙的概率型数据结构，特点是高效地插入和查询，可以用来查询某个数据一定不存在或者可能存在。相比于传统的链表、哈希表等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。

布隆过滤器的原理是通过多个哈希函数，将输入结果映射到一个位向量空间中。添加时，每个哈希函数计算完成后，将空间中的对应二进制位置为1。搜索时，如果所有哈希结果映射位的值都是1，则表明数据很可能存在(可能出现哈希冲突)，但如果任意一位为0，则表明数据必定不存在。对于数据是否存在，布隆过滤器可能存在误报的情形，但有一个可预测的误判率。

在执行代价较大的威胁数据查询前进行一次过滤，仅令可能存在于威胁数据库中的域名查询请求可以与TI进行通信。过滤器可以过滤掉大部分的非威胁请求(肯定不存在于TI的威胁数据库中)，确保其直接继续进行DNS相关的解析。而可能是威胁的请求，会穿过过滤器，但最终结果也可能会未能命中威胁数据，这是因为哈希结果存在碰撞的概率(布隆过滤器的缺陷)。但在设计这个机制时，本方案的目标是尽可能地过滤掉不必进行的大代价操作(查询威胁数据库)，而非完全杜绝，所以小概率的情况在整体的影响上可以充分地被稀释，而不影响整体的目标。

上面说明了对查询性能有影响的环节，但除此之外，要实现这个机制还需要应对威胁数据库的动态变更问题，所以还需要讨论布隆过滤器中的数据是怎样生成和变更的。

一些实施例中，所述方法还包括：

服务器与威胁数据库之间约定有过滤表的同步协议，所述同步协议约定一个同步周期，所述同步周期等于威胁数据库更新数据的周期；

在每个同步周期，DNS服务器的独立线程向威胁数据库请求过滤表；所述过滤表由威胁数据库定期生成，内容为当前全量威胁数据；

DNS服务器端收到过滤表后通过哈希算法生成对应的位向量。

需要说明的是，TI端的数据更新需要有一个周期，服务器端与TI端对周期进行约定；并且数据更新频率较低、周期较长将是本机制发挥作用的前提。

一些实施例中，DNS服务器的过滤表的有效期是所述同步协议约定的同步周期。DNS服务器每次全量同步新的表，保证数据增减可体现在表中；定期同步威胁数据库的数据表，保证了过滤器的时效性。

DNS端服务器端使用同步后的表实生成的位向量过滤，基于数据更新周期在实时性上的影响可接受这一前提，所有过滤器中未命中的请求，均确定为非威胁域名请求，可正常放行。剩余可能是威胁域名的请求，会在威胁数据库做进一步确认。

一些实施例中，所述布隆过滤器对DNS请求进行筛选，包括：

通过所述位向量对DNS请求进行匹配；

如果未命中，则该DNS请求为非威胁请求；如果命中，则该DNS请求为疑似威胁请求。

另外，带计数的布隆过滤器或布谷鸟过滤器虽然也可以在某些场景下使用，因为使用它们可以增量地变更过滤表。但对于本申请方案的应用场景，误删是不被允许的，即使概率较小也会导致威胁域名被判定为正常域名，从而引起更大的问题。

并且需要明确的是，本申请所述的“非威胁请求”和“威胁请求”是针对TI来说的。当一个未知的威胁请求出现时，由于其不存在于TI的威胁数据库中，所以大概率会被过滤掉；即使该请求没有被过滤并传给了TI进行查询，TI也无法识别该未知的威胁请求；故此种情况并不属于本申请方案所说的“不漏判威胁域名”。

如图2所示，本申请的实施例还提供一种基于布隆过滤器的威胁检测系统，包括：DNS服务器、布隆过滤器、威胁数据库。

DNS服务器，用于将接收到的DNS请求发送到布隆过滤器。

布隆过滤器，用于对DNS请求进行筛选，将DNS请求分为非威胁请求和疑似威胁请求；将非威胁请求返回到DNS服务器，将疑似威胁请求发送到威胁数据库。

威胁数据库，用于对疑似威胁请求进行查询，并将查询结果发送到DNS服务器。

DNS服务器还用于对非威胁请求进行正常响应，丢弃威胁请求。

一些实施例中，所述服务器与所述威胁数据库之间约定有过滤表的同步协议，所述同步协议约定一个同步周期，所述同步周期等于威胁数据库更新数据的周期；

在每个同步周期，DNS服务器的独立线程向威胁数据库请求过滤表；所述过滤表由威胁数据库定期生成，内容为当前全量威胁数据；

DNS服务器端收到过滤表后通过哈希算法生成对应的位向量。

一些实施例中，所述DNS服务器的过滤表的有效期是所述同步协议约定的同步周期。

一些实施例中，所述布隆过滤器用于对DNS请求进行筛选，具体包括：

通过所述位向量对DNS请求进行匹配；

如果未命中，则该DNS请求为非威胁请求；如果命中，则该DNS请求为疑似威胁请求。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于布隆过滤器的威胁检测方法，其特征在于，包括：

DNS服务器将接收到的DNS请求发送到布隆过滤器；

布隆过滤器对DNS请求进行筛选，将DNS请求分为非威胁请求和疑似威胁请求；

将非威胁请求返回到DNS服务器，将疑似威胁请求发送到威胁数据库；

威胁数据库对疑似威胁请求进行查询，并将查询结果发送到DNS服务器；

DNS服务器对非威胁请求进行正常响应，丢弃威胁请求。

2.根据权利要求1所述的方法，其特征在于，还包括：

服务器与威胁数据库之间约定有过滤表的同步协议，所述同步协议约定一个同步周期，所述同步周期等于威胁数据库更新数据的周期；

在每个同步周期，DNS服务器的独立线程向威胁数据库请求过滤表；所述过滤表由威胁数据库定期生成，内容为当前全量威胁数据；

DNS服务器端收到过滤表后通过哈希算法生成对应的位向量。

3.根据权利要求2所述的方法，其特征在于：DNS服务器的过滤表的有效期是所述同步协议约定的同步周期。

4.根据权利要求2所述的方法，其特征在于，所述布隆过滤器对DNS请求进行筛选，包括：

通过所述位向量对DNS请求进行匹配；

如果未命中，则该DNS请求为非威胁请求；如果命中，则该DNS请求为疑似威胁请求。

5.一种基于布隆过滤器的威胁检测系统，其特征在于，包括：

DNS服务器，用于将接收到的DNS请求发送到布隆过滤器；

布隆过滤器，用于对DNS请求进行筛选，将DNS请求分为非威胁请求和疑似威胁请求；将非威胁请求返回到DNS服务器，将疑似威胁请求发送到威胁数据库；

威胁数据库，用于对疑似威胁请求进行查询，并将查询结果发送到DNS服务器；

DNS服务器还用于对非威胁请求进行正常响应，丢弃威胁请求。

6.根据权利要求5所述的方法，其特征在于：所述服务器与所述威胁数据库之间约定有过滤表的同步协议，所述同步协议约定一个同步周期，所述同步周期等于威胁数据库更新数据的周期；

在每个同步周期，DNS服务器的独立线程向威胁数据库请求过滤表；所述过滤表由威胁数据库定期生成，内容为当前全量威胁数据；

DNS服务器端收到过滤表后通过哈希算法生成对应的位向量。

7.根据权利要求6所述的方法，其特征在于，所述DNS服务器的过滤表的有效期是所述同步协议约定的同步周期。

8.根据权利要求6所述的方法，其特征在于，所述布隆过滤器用于对DNS请求进行筛选，具体包括：

通过所述位向量对DNS请求进行匹配；

如果未命中，则该DNS请求为非威胁请求；如果命中，则该DNS请求为疑似威胁请求。

Images