CN105447077A - 基于OpenFlow的查询词抽取方法及系统 - Google Patents

Abstract

本发明公开了一种基于OpenFlow的查询词抽取方法及系统，该方法包括以下步骤：在OpenFlow控制器中预先存储若干目标网站以形成目标网站集合和通过控制器在OpenFlow接入设备中预先设置所述接入设备的报文第一转发规则；控制器采集接入设备基于第一转发规则转发的包含查询词的报文，并结合目标网站集合对包含查询词的报文进行分析直到发现查询词。本发明的网络设备负担小、不依赖用户端和网站端，在OpenFlow的组网结构中均可以采用，同时，本发明只需要分析很少的报文就可以获取到查询词，且分析延时低。

Description

基于OpenFlow的查询词抽取方法及系统

技术领域

本发明涉及网络技术领域，具体地说，涉及一种基于OpenFlow(开放网络流)的抽取查询词的方法及系统。

背景技术

目前，通信网络通过网络设备实现信息流的控制和转发，网络设备作为独立的个体对报文信息进行处理。基于现有的通信网络的查询词获取方法，一般有如下的几类办法，深度包检测或者深度流检测技术、基于浏览器或其他软件的查询方法和基于目标网站的查询方法。

其中，一种是深度包检测或者深度流检测技术，该方法是对报文进行深度分析，并从中找到相应的查询词。这种方法需要网络设备在硬件和软件方面具有相应的处理能力，对网络设备的要求较高，开销巨大，一般的接入设备难以支持。另外，这种方法在分析模式上缺乏灵活性，如果出现新的要求难以较快满足。

另外一种是基于浏览器或其他软件的查询方法，该方法取决于用户是否安装了对应的浏览器或者软件，这种方法缺乏适用的普遍性。

还有一种是基于目标网站的查询方法，该方法需要目标网站的配合。同时，由于用户访问的网站数量可能非常多，所以并没有很好的效果。

目前，新出现的一种组网方式OpenFlow是一种采用控制/转发分离的架构。网络设备只保留最基本的转发功能，而网络设备上转发规则的产生和维护都由控制器进行管理。这样，就可以减轻网络设备的负荷，有利于信息流的转发及传输。

发明内容

为解决上述问题，本发明提供了一种轻量级的、不依赖于用户端和网站端的基于OpenFlow的查询词抽取方法及系统。

根据本发明的一个方面，提供了一种基于OpenFlow的查询词抽取方法，包括以下步骤：

在OpenFlow控制器中预先存储若干目标网站以形成目标网站集合和通过所述控制器在OpenFlow接入设备中预先设置其报文第一转发规则；

所述控制器采集所述接入设备基于所述第一转发规则转发的包含查询词的报文，并结合所述目标网站集合对包含查询词的报文进行分析直到发现查询词。

根据本发明的一个实施例，所述第一转发规则为所述接入设备将包含查询词的报文转发到对应目标网站的输出端口和所述控制器。

根据本发明的一个实施例，建立所述目标网站集合包括：

基于目标网站建立目标网站域名和对应的IP地址的第一重哈希表{目标网站域名：IP地址}；

基于所述第一重哈希表建立IP地址和对应的参数表的第二重哈希表{IP地址：参数表}；

建立对应目标网站的查询词参数的哈希表{目标网站域名：查询词参数}，所述控制器从经所述接入设备转发的报文中查找所述查询词参数来找到位于所述查询词参数后的查询词。

根据本发明的一个实施例，当目标网站不在所述目标网站集合中时，可在所述目标网站集合中增加对应的表项，并给出查询词在该目标网站的URI中对应的参数名称，以将该目标网站加入到所述目标网站集合中。

根据本发明的一个实施例，控制器通过在采集到的报文中直接查找HTTP协议中的requestURI来获取报文中的查询词。

根据本发明的一个实施例，在获取到查询词后，控制器向接入设备安装细粒度流表用以记录用户地址及目标网站地址，并基于所述细粒度流表设置第二转发规则。

根据本发明的一个实施例，所述第二转发规则为接入设备将报文转发到对应的目标网站的输出端口而不转发给控制器。

根据本发明的另一个方面，还提供了一种基于OpenFlow的查询词抽取系统，包括：

接入设备，其包括第一转发规则控制模块；

控制器，其包括采集模块、分析模块和用于存储目标网站集合的存储模块，

其中，所述控制器采集所述接入设备基于第一转发规则转发的包含查询词的报文并结合所述目标网站集合对包含查询词的报文进行分析直到发现所述查询词。

根据本发明的一个实施例，所述接入设备还包括细粒度流表模块，所述控制器完成查询词抽取后向所述细粒度流表模块安装包括用户地址及目标网站地址的细粒度流表。

根据本发明的一个实施例，所述接入设备还包括第二转发规则控制模块，所述第二转发规则控制模块在所述控制器完成查询词抽取后基于所述第二转发规则控制所述接入设备转发报文到对应的输出端口。

本发明带来了以下有益效果：

本发明的用户查询词抽取方法的网络设备负担小、不依赖用户端和网站端，在OpenFlow的组网结构中均可以采用。同时，本发明不用分析用户的每一个报文，而且不用过于深度地分析一个报文，只需要分析很少的报文就可以获取到查询词。此外，由于控制器的处理器相对强大，所以分析延时非常低。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是OpenFlow的组网结构图；

图2是根据本发明的一个实施例的方法流程图；以及

图3是根据本发明的一个实施例的系统结构图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

查询词是指用户向提供检索服务的网站提交的词。例如，用户在某一搜索网站上搜索“雨伞”，雨伞即为查询词。用户期望搜索网站能返回与查询词相关的内容。通过获取用户的查询词就可以向用户提供更加精确的服务。

目前的通信网络将报文的控制和转发完全放置在网络设备上，网络设备作为独立的个体来对报文进行处理。现在的网络设备是基于前缀进行转发的，缺少细粒度流操作的能力。如果采用DPI(深度流检测)技术，就将对所有的数据流进行深度处理，因此会造成网络设备的性能出现问题。如果基于浏览器或其他软件来获取用户的查询词则需要用户安装相应的软件，这种方法缺乏应用的普遍性。或者，基于目标网站来获取用户的查询词，这得需要目标网站的配合。所以，本发明提供了一种相较于现有的网络设备查询词获取方法轻量级的、不依赖于用户端和网站端的查询词抽取方法。

本发明所述的查询词抽取方法是基于OpenFlow组网结构来进行的，因此，首先对OpenFlow的组网结构进行介绍。

OpenFlow组网结构采用一种控制/转发分离的架构，网络设备只保留最基本的转发功能，而网络设备上转发规则的产生和维护都由控制器进行管理。如图1所示为OpenFlow的标准结构示意图。

如图1所示，该OpenFlow组网结构中的设备主要包括OpenFlow控制器1和OpenFlow交换机2(网络设备)，本发明以交换机作为接入设备来进行说明。其中，控制器1用于对交换机2上的转发规则的产生和维护进行管理。交换机2只保留基本的转发功能。用户设备3通过交换机2连入网络。交换机2内部设有由软件控制的安全通道201和存储在交换机2中的流表202。安全通道201是连接OpenFlow交换机到控制器1的接口。控制器1通过这个接口控制和管理交换机2，同时控制器1接收来自交换机2的事件并向交换机2发送数据包。交换机2和控制器1通过安全通道201进行通信，而且所有的信息必须按照OpenFlow协议规定的格式来执行。

OpenFlow协议用来描述控制器1和交换机2之间信息交互所用的标准，以及控制器1和交换机2的接口标准。该协议的核心部分是用于OpenFlow协议信息结构的集合。

目前，只有OpenFlow支持微流级别(可以看成是五元组级别)的操作。这种操作模式对于查询词抓取具有重要的意义。该操作模式可以精确处理和查询词相关的报文，而不用干扰其他流量。只有OpenFlow的控制/转发分离的结构支持可以灵活定义查询词抓取规则，使得在获取查询词的网站、查询词在报文中的位置时有很大的灵活性。当前通用的网络设备由于可编程能力弱，或者需要不断的升级网络设备的软件，无法匹配相应的灵活性。而OpenFlow借助于控制器强大的可编程能力，可以适用于对应的场景，即便是有新的需求，也只需要在控制器上定义相应的规则，无需对网络设备进行任何改变。

如图2所示为根据本发明的一个实施例的方法流程图，以下参考图2来对本发明所述的方法进行详细说明。

首先，在步骤S110中，在控制器中预先存储若干目标网站以形成目标网站集合。在存储目标网站集合之前，需将控制器及对应的接入设备、通信网络进行连接来为以后的功能实现提供硬件基础。接入设备主要包括OpenFlow交换机，其主要用于将用户设备接入网络和基于转发规则来转发用户的报文信息。

在该步骤中，首先选择若干目标网站，然后将这些网站的域名和对应的IP地址在控制器上进行存储，可以通过哈希表<key，value>建立<域名，对应的ip地址集合>作为目标网站集合。

该目标网站集合可以通过一个双重的哈希表来实现。外层的表(第一重哈希表)的关键码值key是域名，value是一个哈希表，如{目标网站域名：IP地址}；每个value对应一个内层的哈希表(第二重哈希表)，关键码key是IP地址，value随意，如{IP地址：参数表}。在这个结构下，对于域名、IP的增加删除只需要增加删除对应的key就可以了。对于域名和URI(统一资源标识符)中查询词参数的映射表，也可以用哈希表实现。即key为域名，value为关键词。

如果用户访问的并非是管理者预先存储目标网站的一个，则说明管理者对于相应的查询词不感兴趣，无需进行抽取。如果管理者考虑增加新的网站，则需要在这个表增加对应的表项，并且给出查询词在对应的URI中对应的查询词参数。

如感兴趣的网站是XX，对应的地址是A、B、C和D，相应的关键词是wd。域名-IP映射：{‘www.XX.com’：{A:True；B:True；C:True；D:True}}，其中的{A:True；B:True；C:True；D:True}通过另一哈希表对应，则可以实现双重哈希表结构的目标网站集合。同时，通过哈希表设置域名-查询词参数映射：{‘www.XX.com’：‘wd’}。通过获取查询词参数wd，即可以获取在该查询词参数wd之后的查询词。在本发明的一个实施例中，该参数可选取HTTP协议(超文本传输协议)中的requestURI。

接下来，在步骤S120中，通过控制器在接入设备上预先设置接入设备的报文第一转发规则。

在该步骤中，第一转发规则设定为接入设备除转发对应的报文到指定的输出端口外，同时还将该报文转发给控制器。该转发规则可设定为以下的表示形式：

Match:DestinationIP＝IP_A

Action:OutputportX+copytocontroller

其中，Match行用于比较用户的目标网站IP与控制器内部预先存储的目标网站是否匹配，DestinationIP表示用户的目标网站，IP_A表示控制器内部预先存储的目标网站。如果两者匹配，则执行Action行的操作。OutputportX表示接入设备将用户发送的报文信息通过输出端口X输出，copytocontroller表示接入设备将用户的报文信息复制一份发送给控制器。

在步骤S130中，控制器采集并分析接入设备转发的包含查询词的报文信息直到发现该查询词。

在该步骤中，控制器通过对接入设备转发的报文数据不断分析，直到查找到HTTP协议中的requestURI从而获得用户的查询词。例如，

RequestURI

[truncated]:/searchnewwindow＝1&safe＝strict&site＝&source＝hp&其中，框中的内容即为用户的查询词。

根据本发明的一个实施例，在控制器抽取到用户的查询词后，控制器会针对该用户的IP地址和用户查询的目标网站，在接入设备中安装对应的细粒度流表。该细粒度流表包括用户的IP地址及目标网站的IP地址。同时，控制器还对应该用户的IP地址及目标网站的IP地址建立第二转发规则。该第二转发规则控制接入设备将报文只发送给目标网站而不转发给控制器。该转发规则可设定为以下的表示形式：

Match:Source_IP＝UserIP,DestinationIP＝IP_A

Action:OutputportX

其中，Match行用于判断用户的地址(UserIP)与控制器存储的源地址(Source_IP)是否一致，目标网站地址(DestinationIP)与控制器存储的目标地址(IP_A)是否一致。如果两者都一致，则执行Action行操作，将用户的报文信息通过端口X(OutputportX)发送到目标网站而不转发给控制器。

如果细粒度流表中的用户的IP地址及目标网站的IP地址任一个发生改变，则接入设备重新按照第一转发规则转发报文，控制器重新对用户发送的报文进行采集分析来获取查询词。所以，相比于深度检测，本方法最大的优点在于设备负担小，不用分析每一个报文，而且不用过于深度地分析一个报文。此外，由于控制器的处理器相对强大，所以分析延时非常低。

以下通过一个具体的例子来对本发明所述的方法进行说明。首先，选择一个支持OpenFlow的应用接口，其上的控制器设置为C。在控制器C上配置某目标网站XX相关的信息：

(a、域名:www.XX.com；

(b、IPaddresses:IPS＝<IP_A,IP_B,…>；

(c、查询词参数:wd。

接下来，控制器C向应用接口下发流表：应用接口除了转发目的地址是IPS的报文外，还将该报文向控制器C拷贝一份。接下来，用户H通过应用接口接入网络，用户访问www.XX.com，并搜索”雨伞“；同时，该报文被拷贝到控制器C，控制器C基于报文目的地址，找到对应的域名和查询词模式wd。控制器C在报文的requesturi中找到wd参数，并获取对应的值”雨伞“。最后，控制器C向用户接口下发流表，用户H到网站XX的流表按第二转发规则直接转发，不再拷贝到控制器C中。

如图3所示为根据本发明的一个实施例的基于OpenFlow的查询词抽取系统的结构图。如图3所示，该系统包括OpenFlow接入设备和控制器。其中，控制器内部设有用于存储目标网站集合的存储模块、用于采集接入设备输出的报文信息的采集模块和用于对报文信息进行分析的分析模块。接入设备包括第一转发规则控制模块，该模块将用户输入的包含查询词的报文同时转发给控制器和对应的输出到查询网站的输出端口。

在本发明的一个实施例中，接入设备还设置有细粒度流表模块。控制器完成查询词抽取后向细粒度流表模块安装细粒度流表。该细粒度流表包括用户的IP地址及目标网站的IP地址。同时，接入设备还包括第二转发规则控制模块，控制器完成查询词抽取后基于细粒度流表产生第二转发规则，并输出给第二转发规则控制模块，第二转发规则控制模块控制接入设备转发报文到对应查询的目标网站的输出端口，而不将报文转发给控制器。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于OpenFlow的查询词抽取方法，包括以下步骤：

在OpenFlow控制器中预先存储若干目标网站以形成目标网站集合和通过所述控制器在OpenFlow接入设备中预先设置其报文第一转发规则；

所述控制器采集所述接入设备基于所述第一转发规则转发的包含查询词的报文，并结合所述目标网站集合对包含查询词的报文进行分析直到发现查询词。

2.如权利要求1所述的方法，其特征在于，所述第一转发规则为所述接入设备将包含查询词的报文转发到对应目标网站的输出端口和所述控制器。

3.如权利要求2所述的方法，其特征在于，建立所述目标网站集合包括：

基于目标网站建立目标网站域名和对应的IP地址的第一重哈希表{目标网站域名：IP地址}；

基于所述第一重哈希表建立IP地址和对应的参数表的第二重哈希表{IP地址：参数表}；

建立对应目标网站的查询词参数的哈希表{目标网站域名：查询词参数}，所述控制器从经所述接入设备转发的报文中查找所述查询词参数来找到位于所述查询词参数后的查询词。

4.如权利要求3所述的方法，其特征在于，当目标网站不在所述目标网站集合中时，可在所述目标网站集合中增加对应的参数表项，并给出该目标网站的查询词参数，以将该目标网站加入到所述目标网站集合中。

5.如权利要求4所述的方法，其特征在于，所述查询词参数为requestURI，控制器通过直接查找HTTP协议中的requestURI来获取报文中的查询词。

6.如权利要求1-5中任一项所述的方法，其特征在于，在获取到查询词后，控制器向接入设备安装细粒度流表用以记录用户地址及目标网站地址，并基于所述细粒度流表设置第二转发规则。

7.如权利要求6所述的方法，其特征在于，所述第二转发规则为接入设备将报文转发到对应的目标网站的输出端口而不转发给控制器。

8.一种基于OpenFlow的查询词抽取系统，包括：

接入设备，其包括第一转发规则控制模块；

控制器，其包括采集模块、分析模块和用于存储目标网站集合的存储模块，

其中，所述控制器采集所述接入设备基于第一转发规则转发的包含查询词的报文并结合所述目标网站集合对包含查询词的报文进行分析直到发现所述查询词。

9.如权利要求8所述的系统，其特征在于，所述接入设备还包括细粒度流表模块，所述控制器完成查询词抽取后向所述细粒度流表模块安装包括用户地址及目标网站地址的细粒度流表。

10.如权利要求9所述的系统，其特征在于，所述接入设备还包括第二转发规则控制模块，所述第二转发规则控制模块在所述控制器完成查询词抽取后基于所述第二转发规则控制所述接入设备转发报文到对应的输出端口。