CN102163219A - 数据流映射类连接查询方法和系统 - Google Patents

Abstract

本发明实施例公开了一种数据流映射类连接查询方法和系统，所述方法在获取到待查询数据流、并设定该数据流的待查询数据域之后，包括：定义与所述待查询数据流具有相同结构的目标数据流，所述目标数据流中包括所述待查询数据流记载的数据信息；建立所述待查询数据流与待查询数据库中对应表的数据连接；查询所述待查询数据域在所述待查询数据库的对应表中映射的详细信息；将所述详细信息存储到所述目标数据流内，并使用目标数据流替换所述代查询数据流。上述方案能够有效的提高查询效率，保证后续数据处理的实时性。

Description

数据流映射类连接查询方法和系统

技术领域：

本发明涉及数据流分析处理技术领域，尤其涉及一种数据流映射类连接查询方法和系统。

背景技术：

随着信息技术的飞速发展，一种新的被称为数据流的应用模型广泛出现在众多应用领域，例如金融市场、网络监控、电讯数据管理和传感器网络等。数据流是一个按照时间递增顺序排列的无穷事件序列，其共同特点是不断第产生、在时间维度上严格有序、并且其数值也在不断的变化，因此数据流应用对数据流查询处理往往有很高的实时性要求。

由于数据流与传统的数据类型存在区别，所以在数据流中引入了滑动窗口以及界标模型等数据模型，以滑动窗口作为流模型为例，数据流的连接查询每次都是在两个滑动窗口的数据中进行查询，每次都要将滑动窗口中的已查询数据丢弃，并将新的数据插入到滑动窗口中然后再进行查询。映射类查询是数据流与数据库之间的混合连接查询，其中数据库表中的某些数据域是数据流中的某一个或多个元组数据域映射的详细信息。

以互联网网络安全事件分析为例，其基本的分析之一是需要随时计算出当前各地区蠕虫传播的态势，因此要获取某一个地区发生攻击的次数。由于网络安全事件数据规模比较大，且不间断的产生，其通常以数据流的形式传输。网络安全事件探针获取的序列元素格式为<源IP、目的IP、事件类型、事件时间、事件发生次数、......>，可以知道网络安全事件数据流中只有IP地址，没有IP地址对应的详细地区信息，因此需要将该数据流与IP地址表进行连接并查询，才能获得详细的地区信息，从而获得该地区攻击次数的分析结果。上述应用场景即为一种典型的数据流映射类连接查询。

目前传统的数据流映射类连接查询方法在每一次执行过程中，都必须首先执行待查询数据流和数据库中对应表之间的连接操作，以建立数据连接，之后通过该数据连接进行相应查询操作。由于上述数据连接建立过程速度较慢，致使后续查询效率较低，实时性差；同时，在对数据流的某一个或多个元组数据域执行多次映射类连接查询时，需要多次建立上述数据连接，占用了较多的系统资源，也影响了查询效率。

发明内容

为解决上述技术问题，本发明的目的在于提供一种数据流映射类连接查询方法和系统，以提高其查询效率，进而提高查询的实时性。

为此，本发明实施例提供了如下技术方案：

一种数据流映射类连接查询方法，在获取到待查询数据流、并设定该数据流的待查询数据域之后，包括：

定义与所述待查询数据流具有相同结构的目标数据流，所述目标数据流中包括所述待查询数据流记载的数据信息；

建立所述待查询数据流与待查询数据库中对应表的数据连接；

查询所述待查询数据域在所述待查询数据库的对应表中映射的详细信息；

将所述详细信息存储到所述目标数据流内，并使用目标数据流替换所述代查询数据流。

优选的，所述建立所述待查询数据流与待查询数据库中对应表的数据连接，包括：

定义数据结构，并将所述待查询数据库对应表中记载的数据存储到所述数据结构中；

建立所述待查询数据流与所述数据结构的数据连接。

优选的，在将所述详细信息存储到所述转换数据流内之前，还包括：

在所述目标数据流的序列元素内预定义存储数据域；

将所述详细信息存储到所述目标数据流内，包括：

将所述详细信息存储到所述存储数据域内。

优选的，以所述待查询数据流的一个滑动窗口为基本单位，查询所述滑动窗口内的待查询数据域在所述待查询数据库的对应表中映射的详细信息。

优选的，在将所述详细信息存储到目标数据流内之后，还包括：

查询所述目标数据流，从其中获取其存储的详细信息；

所述详细信息即为所述待查询数据域在待查询数据库对应表中映射的详细信息。

相应于上述方法，本发明还提供了一种数据流映射类连接查询系统，包括：

查询目标获取模块，用于获取待查询数据流、并设定该数据流的待查询数据域；

目标数据流建立模块，用于定义与所述待查询数据流具有相同结构的目标数据流，所述目标数据流中包括所述待查询数据流记载的数据信息；

连接建立模块，用于建立所述待查询数据流与待查询数据库中对应表的数据连接；

第一查询模块，用于查询所述待查询数据域在所述待查询数据库的对应表中映射的详细信息；

数据流转换模块，用于将所述详细信息存储到所述目标数据流内，并使用目标数据流替换所述代查询数据流。

优选的，所述数据流映射类连接查询系统还包括：

数据结构定义模块，用于定义数据结构，并将所述待查询数据库对应表中记载的数据存储到所述数据结构中；

所述连接建立模块，具体用于建立所述待查询数据流与所述数据结构的数据连接。

优选的，所述目标数据流的序列元素内包括有预定义的存储数据域；

所述数据流转换模块，具体用于将所述详细信息存储到所述存储数据域内，并使用目标数据流替换所述代查询数据流。

优选的，所述数据流映射类连接查询系统还包括：

滑动窗口设置模块，用于将所述查询数据流设置为多个连续的滑动窗口；

所述第一查询模块，用于以所述待查询数据流的一个滑动窗口为基本单位，查询所述滑动窗口内的待查询数据域在所述待查询数据库的对应表中映射的详细信息。

所述数据流映射类连接查询系统还包括：

第二查询模块，用于查询所述目标数据流，从所述存储数据域中获取其存储的详细信息；

所述详细信息即为所述待查询数据域在待查询数据库对应表中映射的详细信息。

与现有技术相比，上述技术方案具有以下优点：

本发明实施例所提供的技术方案中，将待查询数据流转换并替代为目标数据流，由于所述目标数据流中存储有待查询的详细信息，因此后续查询阶段无需再次建立待查询数据流和数据库中对应表之间的连接操作，在后续查询阶段只需对目标数据流进行简单的查询即可得到所述的详细信息，能够有效的提高查询效率，保证后续数据处理的实时性。同时，在需要执行多次映射类连接查询时，无需多次建立上述数据连接，可以减少对系统资源的占用，提供查询效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为实施例一提供的数据流映射类连接查询方法流程示意图；

图2为实施例二提供的数据流映射类连接查询系统结构示意图。

具体实施方式

首先对实施例中出现的部分相关术语进行详细的解释：

数据流：一个数据流是一个按照时间递增顺序排列的无穷事件序列S＝{s₁，…，s_t，…}，S_t是时刻t出现的序列元素，假设S_t为一个元组(a₁，a₂，…，a_n)，则a_i…a_i+K为s_t的数据域。

滑动窗口：设T是一个时间长度，t＞T是一个变化的时刻，则可称s[t-T：t]为S的一个时间间隔为T的滑动窗口，其中t和T的单位相同，并且t为相对于S的起始观测时刻的时间距离。

结合背景技术部分所述可知，当遇到映射类连接查询时，即设有数据流S{s₁，…，s_n，…}流入系统，且S每个序列元素的结构为s_i(a₁…a_n)，但是在S上序列元素的数据域中并没有数据域a_i…a_i+k中某些属性的详细信息，则现有的连接查询方法就必须首先与数据库的表建立数据连接，然后进行查询并得到结果。具体的，将输入的数据流S与保存在数据库中的库表R(b₁，…，b_m)进行一个连接操作，即执行S Join R从而获得数据域a_i…a_i+k中某些属性的详细信息。但是针对现有的问题是S Join R的连接查询速度比较慢，致使查询效率较低，实时性差。

基于上述研究的基础上，本发明实施例提供了一种数据流映射类连接查询方法，在获取到待查询数据流、并设定该数据流的待查询数据域之后，包括：

定义与所述待查询数据流具有相同结构的目标数据流，所述目标数据流中包括所述待查询数据流记载的数据信息；

建立所述待查询数据流与待查询数据库中对应表的数据连接；

查询所述待查询数据域在所述待查询数据库的对应表中映射的详细信息；

将所述详细信息存储到所述目标数据流内，并使用目标数据流替换所述代查询数据流。

本发明实施例所提供的技术方案得到的目标数据流中存储有待查询的详细信息，因此后续查询阶段无需再次建立待查询数据流和数据库中对应表之间的连接操作，在后续查询阶段只需对目标数据流进行简单的查询即可得到所述的详细信息，能够有效的提高查询效率，保证后续数据处理的实时性。同时，在需要执行多次映射类连接查询时，无需多次建立上述数据连接，可以减少对系统资源的占用，提供查询效率。

以上是本申请的核心思想，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

实施例一：

本实施例提供了一种数据流映射类连接查询方法，如图1所示，为该方法的一种流程示意图，在获取到待查询数据流、并设定该数据流的待查询数据域之后，包括以下步骤：

步骤S101，定义与所述待查询数据流具有相同结构的目标数据流，所述目标数据流中包括所述待查询数据流记载的数据信息；

根据待查询数据流S定义一个新的数据流S’，以S’作为目标数据流，S和S’具有相同的结构，且S’中包括有待查询数据流记载的全部数据信息。

同时，还可以在S’的序列元素内预定义存储数据域，所述存储数据域用于记录后续查询得到的详细信息。当然，所述详细信息也可以以其他方式存储到目标数据流S’内。

以待查询数据流S＝{S₁，…，S_t，…}，S_t是时刻t出现的序列元素，且其格式为(a₁，a₂，…，a_n)为例，所述目标数据流S’＝{S’₁，…，S’_t，…}，S’_t是时刻t出现的序列元素，且其格式为(a₁，a₂，…，a_n，b₁，…b_m)，其中b_i…b_m为所述预先定义的存储数据域。

步骤S102，建立所述待查询数据流与待查询数据库中对应表的数据连接；

在执行本步骤之前，可以首先将待查询数据库中对应表一定的数据格式保存到系统的内存中。

具体的，可根据待查询数据库中对应表R，定义一个数据结构R’，并将所述待查询数据库对应表R中记载的数据存储到所述数据结构中R’；所述数据结构中R’保存到系统的内存中。

在上述定义了数据结构R’的基础上，本步骤中，相应的建立所述待查询数据流S与所述数据结构R’的数据连接即可。

步骤S103，查询所述待查询数据域在所述待查询数据库的对应表中映射的详细信息；

当获取到流入系统的数据流S，并建立数据连接后，本步骤中选择最优的查找算法(二分法、哈希法等)与数据结构R’(待查询数据库中对应表)的连接，查询获取数据流S中序列元素的某些数据域在数据结构R’中映射的详细信息。

由于数据流与传统的数据类型存在区别，所以可以在待查询数据流S中引入滑动窗口或界标模型等数据模型，以滑动窗口作为流模型为例，数据流的连接查询每次都是在两个滑动窗口的数据中进行查询，每次都要将滑动窗口中的已查询数据丢弃，并将新的数据插入到滑动窗口中然后再进行查询。

本步骤中可以以所述待查询数据流S的一个滑动窗口为基本单位，依次查询所述滑动窗口内的待查询数据域在所述待查询数据库的对应表中映射的详细信息。

步骤S104，将所述详细信息存储到所述目标数据流内，并使用目标数据流替换所述代查询数据流。

本步骤中将步骤S103中查询到的结果(待查询数据域在所述待查询数据库的对应表中映射的详细信息)加入到所述目标数据流S’中，并使用目标数据流S’替换所述代查询数据流S。

结合步骤S101中预先定义的存储数据域b_i…b_m，所述详细信息可以保存到所述存储数据域b_i…b_m中。

在上述方法的基础上，本实施例在步骤S104之后，还可以包括：

步骤S105，查询所述目标数据流，从其中获取其存储的详细信息；

所述详细信息即为所述待查询数据域在待查询数据库对应表中映射的详细信息。

由于所述目标数据流中存储有待查询数据域在所述待查询数据库的对应表中映射的详细信息，因此在查询过程中，无需再次建立待查询数据流和数据库中对应表之间的连接操作，只需对目标数据流进行相关查询即可，相对比与现有技术，具有较高的查询效率。

本实施例提供的数据流映射类连接查询方法中，将连接查询划分为数据流转换和查询过程两个阶段，在数据流转换阶段中，将查询到的详细信息(待查询数据域在所述待查询数据库的对应表中映射的详细信息)保存到目标数据流中，将查询数据流转换并替代为目标数据流，由于最终得到的目标数据流中包括上述详细信息，使后续查询阶段无需再次建立待查询数据流和数据库中对应表之间的连接操作，在后续查询阶段只需对目标数据流进行简单的查询即可得到所述的详细信息，能够有效的提高查询效率，保证后续数据处理的实时性。同时，在需要执行多次映射类连接查询时，无需多次建立上述数据连接，可以减少对系统资源的占用，提供查询效率。

实施例二：

相应于上述实施例提供的数据流映射类连接查询方法，本实施例提供了一种数据流映射类连接查询系统，如图2所示，该系统包括：

查询目标获取模块201，用于获取待查询数据流、并设定该数据流的待查询数据域。

目标数据流建立模块202，用于定义与所述待查询数据流具有相同结构的目标数据流，所述目标数据流中包括所述待查询数据流记载的数据信息。

同时，所述目标数据流中的序列元素中还可以包括预定义存储数据域，所述存储数据域用于记录后续查询得到的详细信息。当然，所述详细信息也可以以其他方式存储到目标数据流内。

连接建立模块203，用于建立所述待查询数据流与待查询数据库中对应表的数据连接。

所述待查询数据流可以以设定的数据格式保存到系统的内存中。因此该系统还可以包括数据结构定义模块206，用于定义数据结构，并将所述待查询数据库对应表中记载的数据存储到所述数据结构中；在建立了所述数据结构后。所述连接建立模块203，通过选用的具体算法建立所述待查询数据流与所述数据结构的数据连接。

第一查询模块204，用于查询所述待查询数据域在所述待查询数据库的对应表中映射的详细信息。

由于数据流与传统的数据类型存在区别，所以可以在待查询数据流S中引入滑动窗口或界标模型等数据模型，因此该系统还可以包括滑动窗口设置模块，用于将所述查询数据流设置为多个连续的滑动窗口；此时。所述第一查询模块204，用于以所述待查询数据流的一个滑动窗口为基本单位，查询所述滑动窗口内的待查询数据域在所述待查询数据库的对应表中映射的详细信息。

数据流转换模块205，用于将所述详细信息存储到所述目标数据流内，并使用目标数据流替换所述代查询数据流。

当所述数据流的序列元素内包括有预定义的存储数据域时，所述数据流转换模块205，具体用于将所述详细信息存储到所述存储数据域内，并使用目标数据流替换所述代查询数据流。

上述系统完成了待查询数据流到目标数据流的转换和替代，得到的目标数据流中包含了所述待查询数据域在数据库表中映射的详细信息。

在上述方案的基础上，本实施例提供的数据流映射类连接查询系统还可以包括：

第二查询模块207，用于查询所述目标数据流，从所述存储数据域中获取其存储的详细信息；

所述详细信息即为所述待查询数据域在待查询数据库对应表中映射的详细信息。

本实施例提供的数据流映射类连接查询系统可以将查询数据流转换并替代为目标数据流，由于目标数据流中存储有待查询数据域在所述待查询数据库的对应表中映射的详细信息，因此后续查询阶段无需再次建立待查询数据流和数据库中对应表之间的连接操作，在后续查询阶段只需对目标数据流进行简单的查询即可得到所述的详细信息，能够有效的提高查询效率，保证后续数据处理的实时性。同时，在需要执行多次映射类连接查询时，无需多次建立上述数据连接，可以减少对系统资源的占用，提供查询效率。

实施例三：

本实施例将结合一个具体的应用实例，对上述实施例提供的技术方案进行详细的说明：

以互联网网络安全事件分析为例，其基本的分析之一是需要随时计算出当前各地区蠕虫传播的态势，因此要获取某一个地区发生攻击的次数。由于网络安全事件数据规模比较大，且不间断的产生，其通常以数据流的形式传输。网络安全事件探针获取的序列元素格式为<源IP、目的IP、事件类型、事件时间、事件发生次数、......>，可以知道网络安全事件数据流中只有IP地址，没有IP地址对应的详细地区信息，因此需要将该数据流与IP地址表进行连接并查询，才能获得详细的地区信息。该实例中，源IP或目的IP即为待查询的数据域，地区信息即为该数据域在IP地址中映射的详细信息。

为实现上述目的，本实施例提供的解决方案如下：

使用TelegraphCQ流处理系统作为网络安全数据的获取中的流处理模块，并将连接查询分为两个流水处理阶段。

首先，要先将存储有IP地址和地址信息映射关系的IP库表以一定的数据格式保存到系统的内存中，所以预先定义一个存储IP库的数据结构，如表1所示：

表1

其次，在TelegraphCQ的数据预处理是在Wrapper模块中进行的，所以在Wrapper模块中将建立好索引结构的IP库以上述预定义的数据结构保存在流系统的内存中。

然后，对于输入的数据流进行相应的转换。本步骤同样是在TelegraphCQ系统的Wrapper模块中执行，并将相应的方法加入到Wrapper模块，通过相应的查询算法，获取到待查询的数据域中IP地址对应的详细地址，并将所述详细地址存储到输出的目标数据流中。

通过上述操作，之后就可以在需要查询分析处理相关地址信息时，便可直接对输出的目标数据流进行查询，无需再次建立与的IP库表的连接，因此该方案能够有效的提供查询效率，进而可以提高接后续系统数据分析效率。

本发明实施例提供的技术方案中，可以将查询数据流转换并替代为目标数据流，由于目标数据流中存储有待查询数据域在所述待查询数据库的对应表中映射的详细信息，因此后续查询阶段无需再次建立待查询数据流和数据库中对应表之间的连接操作，在后续查询阶段只需对目标数据流进行简单的查询即可得到所述的详细信息，能够有效的提高查询效率，保证后续数据处理的实时性。同时，在需要执行多次映射类连接查询时，无需多次建立上述数据连接，可以减少对系统资源的占用，提供查询效率。

本说明书中各个部分采用递进的方式描述，每个部分重点说明的都是与其他部分的不同之处，各个部分之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据流映射类连接查询方法，其特征在于，在获取到待查询数据流、并设定该数据流的待查询数据域之后，包括：

定义与所述待查询数据流具有相同结构的目标数据流，所述目标数据流中包括所述待查询数据流记载的数据信息；

建立所述待查询数据流与待查询数据库中对应表的数据连接；

查询所述待查询数据域在所述待查询数据库的对应表中映射的详细信息；

将所述详细信息存储到所述目标数据流内，并使用目标数据流替换所述代查询数据流。

2.根据权利要求1所述的方法，其特征在于，建立所述待查询数据流与待查询数据库中对应表的数据连接，包括：

定义数据结构，并将所述待查询数据库对应表中记载的数据存储到所述数据结构中；

建立所述待查询数据流与所述数据结构的数据连接。

3.根据权利要求1所述的方法，其特征在于：

在将所述详细信息存储到所述转换数据流内之前，还包括：

在所述目标数据流的序列元素内预定义存储数据域；

将所述详细信息存储到所述目标数据流内，包括：

将所述详细信息存储到所述存储数据域内。

4.根据权利要求1所述的方法，其特征在于：

以所述待查询数据流的一个滑动窗口为基本单位，查询所述滑动窗口内的待查询数据域在所述待查询数据库的对应表中映射的详细信息。

5.根据权利要求1至4任一项所述的方法，其特征在于，在将所述详细信息存储到目标数据流内之后，还包括：

查询所述目标数据流，从其中获取其存储的详细信息；

所述详细信息即为所述待查询数据域在待查询数据库对应表中映射的详细信息。

6.一种数据流映射类连接查询系统，其特征在于，包括：

查询目标获取模块，用于获取待查询数据流、并设定该数据流的待查询数据域；

目标数据流建立模块，用于定义与所述待查询数据流具有相同结构的目标数据流，所述目标数据流中包括所述待查询数据流记载的数据信息；

连接建立模块，用于建立所述待查询数据流与待查询数据库中对应表的数据连接；

第一查询模块，用于查询所述待查询数据域在所述待查询数据库的对应表中映射的详细信息；

数据流转换模块，用于将所述详细信息存储到所述目标数据流内，并使用目标数据流替换所述代查询数据流。

7.根据权利要求6所述的系统，其特征在于，还包括：

数据结构定义模块，用于定义数据结构，并将所述待查询数据库对应表中记载的数据存储到所述数据结构中；

所述连接建立模块，具体用于建立所述待查询数据流与所述数据结构的数据连接。

8.根据权利要求6所述的系统，其特征在于：

所述目标数据流的序列元素内包括有预定义的存储数据域；

所述数据流转换模块，具体用于将所述详细信息存储到所述存储数据域内，并使用目标数据流替换所述代查询数据流。

9.根据权利要求6所述的系统，其特征在于，还包括：

滑动窗口设置模块，用于将所述查询数据流设置为多个连续的滑动窗口；

所述第一查询模块，用于以所述待查询数据流的一个滑动窗口为基本单位，查询所述滑动窗口内的待查询数据域在所述待查询数据库的对应表中映射的详细信息。

10.根据权利要求6至9任一项所述的系统，其特征在于，还包括：

第二查询模块，用于查询所述目标数据流，从所述存储数据域中获取其存储的详细信息；

所述详细信息即为所述待查询数据域在待查询数据库对应表中映射的详细信息。

Images