CN103634146B - 一种网络数据处理方法及装置 - Google Patents
一种网络数据处理方法及装置 Download PDFInfo
- Publication number
- CN103634146B CN103634146B CN201310617017.7A CN201310617017A CN103634146B CN 103634146 B CN103634146 B CN 103634146B CN 201310617017 A CN201310617017 A CN 201310617017A CN 103634146 B CN103634146 B CN 103634146B
- Authority
- CN
- China
- Prior art keywords
- identification
- network data
- circumstances
- identification condition
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0894—Policy-based network configuration management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
- H04L12/1403—Architecture for metering, charging or billing
- H04L12/1407—Policy-and-charging control [PCC] architecture
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请提供了一种网络数据处理方法及装置。所述方法包括：预先生成识别条件数据库；所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应；获取网络数据；确定与所述网络数据相匹配的第二识别条件集合；根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果；确定每个所述识别结果对应的处理策略；采用所述处理策略对所述网络数据进行处理。采用本申请的方法或装置，可以对网络数据进行多维度的识别，解决只能将网络数据确定为一种类型的问题，提高对于网络数据处理的精细度。
Description
技术领域
本申请涉及数据处理领域，特别是涉及一种网络数据处理方法及装置。
背景技术
通过网络传输的数据，可以称之为网络数据。随着网络业务的普及，网络中的设备需要处理的网络数据也越来越多。
现有技术中，为了实现对于网络数据的智能化管理，会对网络数据进行分类。完成分类之后，可以对不同类型的网络数据采用不同的处理方法进行处理。
现有技术中，对于网络数据的分类方法主要是，将网络数据的特征分别与不同的条件进行匹配，将最先匹配成功的条件所对应的类型，确定为该网络数据的类型。
但是，现有技术中，随着网络业务的不断发展，有些网络数据，同时符合多种类型的分类条件。而现有技术中，只能将这种网络数据确定为一种类型。在完成分类之后，只能采用该种类型对应的策略对该网络数据进行处理，无法采用多种策略同时对该网络数据进行处理，导致对网络数据的处理精细度较低。
发明内容
本申请的目的是提供一种网络数据处理方法及装置，能够通过对网络数据进行多维度的识别，解决只能将网络数据确定为一种类型的问题。
为实现上述目的，本申请提供了如下方案：
根据本申请的第一方面的第一种可能的实现方式，本申请提供一种网络数据处理方法，所述方法包括：
预先生成识别条件数据库；所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应；
获取网络数据；
确定与所述网络数据相匹配的第二识别条件集合；
根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果；
确定每个所述识别结果对应的处理策略；
采用所述处理策略对所述网络数据进行处理。
结合第一方面的第二种可能的实现方式，全部的所述第一识别条件集合中包含多个类型的第一识别条件，所述确定与所述网络数据相匹配的第二识别条件集合，具体包括：
将所述网络数据分别与不同类型的所述第一识别条件进行匹配；
确定每个类型下与所述网络数据相匹配的第二识别条件；
根据所述第二识别条件确定所述第二识别条件集合。
结合第一方面的第二种可能的实现方式的第一种具体实现方式，所述根据所述第二识别条件确定所述第二识别条件集合，具体包括：
根据条件规则关系表确定所述第二识别条件对应的所述第二识别条件集合，
其中，所述条件规则关系表中存储有所述第二识别条件与所述第二识别条件集合之间的对应关系。
结合第一方面的第二种可能的实现方式的第二种具体实现方式，所述将所述网络数据分别与不同类型的所述第一识别条件进行匹配，具体包括：
将所述网络数据与协议类型的所述第一识别条件进行匹配；
和/或，将所述网络数据与端口类型的所述第一识别条件进行匹配；
和/或，将所述网络数据与字符串类型的所述第一识别条件进行匹配；
和/或，将所述网络数据与行为特征类型的所述第一识别条件进行匹配；
和/或，将所述网络数据与正则表达式类型的所述第一识别条件进行匹配。
结合第一方面的第三种可能的实现方式，所述预先生成识别条件数据库，具体包括：
获取数据处理策略信息，所述数据处理策略信息中至少包含识别结果信息和每个所述识别结果对应的识别条件标识；所述识别结果信息用于表示需要进行识别的所述识别结果，所述识别条件标识用于表示所述识别结果对应的识别条件；
确定所述识别结果对应的维度；
从基础识别条件数据库的与所述维度对应的识别条件中，选取与所述识别条件标识对应的识别条件，得到识别条件集合；
对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构。
结合第一方面的第三种可能的实现方式中的第一种具体实现方式，所述对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构，具体包括：
对所述识别条件集合中包含的端口识别条件进行编译，生成哈希表。
结合第一方面的第三种可能的实现方式中的第二种具体实现方式，所述对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构，具体包括：
对所述识别条件集合中包含的字符串识别条件进行编译，生成Aho-Corasick自动机；
或者，对所述识别条件集合中包含的字符串识别条件进行编译，生成Boyer-Moore算法中的跳转表。
结合第一方面的第三种可能的实现方式中的第三种具体实现方式，所述对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构，具体包括：
对所述识别条件集合中包含的正则表达式识别条件进行编译，生成确定有穷自动机；
或者，对所述识别条件集合中包含的正则表达式识别条件进行编译，生成不确定有穷自动机。
根据本申请的第二方面的第一种可能的实现方式，本申请提供一种网络数据处理装置，所述装置包括：
数据库生成模块，用于预先生成识别条件数据库；所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应；
网络数据获取模块，用于获取网络数据；
第二识别条件集合确定模块，用于确定与所述网络数据相匹配的第二识别条件集合；
识别结果确定模块，用于根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果；
处理策略确定模块，用于确定每个所述识别结果对应的处理策略；
处理模块，用于采用所述处理策略对所述网络数据进行处理。
结合第二方面的第二种可能的实现方式，全部的所述第一识别条件集合中包含多个类型的第一识别条件，所述第二识别条件集合确定模块，具体包括：
匹配单元，用于将所述网络数据分别与不同类型的所述第一识别条件进行匹配；
第二识别条件确定单元，用于确定每个类型下与所述网络数据相匹配的第二识别条件；
第二识别条件集合确定单元，用于根据所述第二识别条件确定所述第二识别条件集合。
结合第二方面的第二种可能的实现方式的第一种具体的实现方式，所述第二识别条件集合确定单元，具体包括：
第二识别条件集合确定子单元，用于根据条件规则关系表确定所述第二识别条件对应的所述第二识别条件集合，
其中，所述条件规则关系表中存储有所述第二识别条件与所述第二识别条件集合之间的对应关系。
结合第二方面的第二种可能的实现方式的第二种具体的实现方式，所述匹配单元，具体包括：
第一匹配子单元，用于将所述网络数据与协议类型的所述第一识别条件进行匹配；
第二匹配子单元，用于将所述网络数据与端口类型的所述第一识别条件进行匹配；
第三匹配子单元，用于将所述网络数据与字符串类型的所述第一识别条件进行匹配；
第四匹配子单元，用于将所述网络数据与行为特征类型的所述第一识别条件进行匹配；
第五匹配子单元，用于将所述网络数据与正则表达式类型的所述第一识别条件进行匹配。
结合第二方面的第三种可能的实现方式，所述数据库生成模块，具体包括：
数据处理策略信息获取单元，用于获取数据处理策略信息，所述数据处理策略信息中至少包含识别结果信息和每个所述识别结果对应的识别条件标识；所述识别结果信息用于表示需要进行识别的所述识别结果，所述识别条件标识用于表示所述识别结果对应的识别条件；
维度确定单元，用于确定所述识别结果对应的维度；
识别条件选取单元，用于从基础识别条件数据库的与所述维度对应的识别条件中，选取与所述识别条件标识对应的识别条件，得到识别条件集合；
编译单元，用于对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
本申请公开的网络数据处理方法或装置，通过预先生成识别条件数据库，所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应，确定与所述网络数据相匹配的第二识别条件集合；根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果，可以对网络数据进行多维度的识别，解决只能将网络数据确定为一种类型的问题，提高对于网络数据处理的精细度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的网络数据处理方法实施例1的流程图；
图2为本申请的网络数据处理方法中，预先生成识别条件数据库的流程图；
图3为本申请的网络数据处理装置实施例1的结构图；
图4为本申请的计算节点的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
图1为本申请的网络数据处理方法实施例1的流程图。如图1所示，该方法可以包括：
步骤101：预先生成识别条件数据库；所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应；
一个所述第一识别条件集合中可以包含多个识别条件，是由多个识别条件构成的集合。一个所述第一识别条件集合与一个所述识别结果相对应。
所述识别结果具有不同的类型，一种类型的识别结果可以称为一个维度的识别结果。具体的，所述维度可以包括：网络应用维度、协议维度、文件格式维度、软件类型维度、终端类型维度、上网方式维度等等。
其中，网络应用维度可以表示网络数据是对应于哪个网络应用程序的。例如，可以识别网络数据是否是对应于facebook程序的，还可以识别网络数据是否是对应于飞信的，还可以识别网络数据是否是对应于微博的，等等。
协议维度可以表示网络数据是采用哪种协议传输的。例如，可以识别网络数据是否采用HTTP协议传输，或者是否采用BitTorrent协议传输，或者是否采用实时流传输协议（Real Time Streaming Protocol，RTSP），或者是否采用skype协议，等等。
文件格式维度可以表示网络数据是哪种类型的文件的数据。例如，可以识别网络数据是否是视频文件的数据，也可以识别网络数据是否是图片文件的数据，还可以识别网络数据是否是文本文件的数据，等等。
软件类型维度可以表示网络数据是由何种类型的软件发送或接收的数据。例如，可以识别网络数据是否是网络下载软件收发的数据，也可以识别网络数据是否是视频播放软件收发的数据，还可以识别网络数据是否是浏览器软件收发的数据，等等。
终端类型维度可以表示网络数据是由何种类型的终端发送或接收的数据。例如，可以识别网络数据是否是iphone收发的数据，也可以识别网络数据是否是安卓手机收发的数据，等等。
上网方式维度可以表示网络数据是通过何种上网方式发送或接收的数据。例如，可以识别网络数据是否是通过移动终端上网方式发送或接收的数据，或者可以识别网络数据是否是通过路由器共享上网方式发送或接收的数据，或者可以识别网络数据是否是固定终端通过移动终端上网方式发送或接收的数据，或者可以识别网络数据是否是通过Wi-Fi上网方式发送或接收的数据。
需要说明的是，一个维度下的第一识别条件集合中包含的某个识别条件，与另一个维度下的第一识别条件集合中包含的某个识别条件，可以是相同的。
步骤102：获取网络数据；
本申请的网络数据处理方法实施例的执行主体可以是各种核心网络设备，例如业务网关、路由器、网络安全设备等。
由于上述网络设备是网络中的核心设备，因此，网络中的数据在传输过程中，都会经过上述网络设备。上述网络设备也就可以获取到在网络中传输的数据，即网络数据。
步骤103：确定与所述网络数据相匹配的第二识别条件集合；
可以采用各种方法对所述网络数据进行识别。对于一个网络数据，可以符合多个识别条件。这些识别条件可以分别属于不同的第一识别条件集合。
可以根据预先设置的识别条件与识别条件集合之间的对应关系，根据所述网络数据符合的识别条件，确定与所述网络数据相匹配的第二识别条件集合。
举例来说，假设某个网络数据同时符合识别条件A、B、C、D。在预先设置的识别条件与识别条件集合之间的对应关系中，规定同时符合识别条件A、B的网络数据与识别条件集合1相匹配，同时符合识别条件B、C的网络数据与识别条件集合2相匹配，同时符合识别条件B、C、D的网络数据与识别条件集合3相匹配。则最终可以确定与该网络数据相匹配的识别条件集合为1、2、3。
需要说明的是，与所述网络数据相匹配的第二识别条件集合，如果有多个，则每个所述第二识别条件集合分别属于一个与其他的第二识别条件集合不同的维度。换句话说，所述网络数据在每个维度上，最多只可以匹配到一个识别条件集合。当然，在某个维度上，匹配到的识别条件集合的个数也可以是0。
步骤104：根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果；
可以根据预先设置的识别条件集合与识别结果之间的对应关系，确定所述网络数据在每个维度上的所述识别结果。
具体的，在不同的维度上，可以用不同的id标识表示该维度上的识别结果。例如，在网络应用维度可以用id的值为1表示所述网络数据对应于facebook程序，用id的值为2表示所述网络数据对应于飞信，id的值为3表示所述网络数据对应于微博。
可以首先确定每个所述第二识别条件集合对应的id标识，再确定各个id标识对应的不同维度上的识别结果即可。
步骤105：确定每个所述识别结果对应的处理策略；
不同的识别结果可以对应不同的处理策略。所述处理策略可以是对于所述网络数据的处理优先级的处理策略，也可以是对于所述网络数据的计费策略等等。
例如，对于iphone终端发送的网络数据，可以实行有别于其他终端的计费标准；当识别出该网络数据是由iphone发送或接收时，就可以采用相应的计费标准进行计费。对于视频软件发送或接收的网络数据，可以设置比较高的优先级；当识别出该网络数据是由视频软件发送或接收时，可以采用较高的优先级，优先对该网络数据进行处理，以保证视频数据播放的流畅性。
步骤106：采用所述处理策略对所述网络数据进行处理。
综上所述，本实施例中，通过预先生成识别条件数据库，所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应，确定与所述网络数据相匹配的第二识别条件集合；根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果，可以对网络数据进行多维度的识别，解决只能将网络数据确定为一种类型的问题，提高对于网络数据处理的精细度。
实际应用中，为了提高对于网络数据的识别效率，所述确定与所述网络数据相匹配的第二识别条件集合，具体可以包括以下步骤：
将所述网络数据分别与不同类型的所述第一识别条件进行匹配；
确定每个类型下与所述网络数据相匹配的第二识别条件；
根据所述第二识别条件确定所述第二识别条件集合。
其中，一个所述第一识别条件集合中可以包含多个识别条件。所述多个识别条件可以分别属于不同类型。全部的所述第一识别条件集合中可以包含多个类型的第一识别条件。例如，第一识别条件集合A中包括类型1和类型2的识别条件，第一识别条件集合B中包括类型2和类型3的识别条件，则第一识别条件集合A和B中，共包含3个类型的识别条件。
所述类型可以包括：协议类型、端口类型，字符串类型，行为特征类型，正则表达式类型等等。对于不同类型的识别条件，可以采用不同的识别算法进行识别，从而提高识别效率。因此，在获取到网络数据之后，可以先采用某一类型的识别算法，对所述网络数据进行识别，以确定在该类型下，与所述网络数据相匹配的识别条件。可以将某一类型下，与所述网络数据相匹配的识别条件称为第二识别条件。
对于所有类型的识别条件完成识别后，也就完成了对全部的所述第一识别条件集合中的全部的第一识别条件的识别，确定出了每个类型下与所述网络数据相匹配的第二识别条件。然后就可以根据识别条件与识别条件集合之间的对应关系，确定第二识别条件所对应的所述第二识别条件集合。
由于不是以识别条件集合为单位，将所述网络数据分别与一个一个的第一识别条件集合进行匹配，而是按照识别条件的类型，将所述网络数据分别与不同类型的所述第一识别条件进行匹配，因此，可以依次采用与不同类型的识别条件相对应的识别算法，提高对于网络数据的识别效率。
需要说明的是，识别条件与识别条件集合之间的对应关系可以存储在数据表中。该数据表可以称为条件规则关系表。因此，可以根据条件规则关系表确定所述第二识别条件对应的所述第二识别条件集合。
下面对不同类型的识别条件进行说明。协议类型的识别条件，可以用于识别所述网络数据是采用哪种协议传输的。端口类型的识别条件，可以用于识别所述网络数据是由哪个端口进行发送或接收的。字符串类型的识别条件，可以用于识别所述网络数据是否包含特定的字符。行为特征类型的识别条件，可以用于识别所述网络数据是否满足某种特定的行为。正则表达式类型的识别条件，则可以用于识别所述网络数据是否满足多种特定条件的组合。
图2为本申请的网络数据处理方法中，预先生成识别条件数据库的流程图。如图2所示，该流程可以包括：
步骤201：获取数据处理策略信息，所述数据处理策略信息中至少包含识别结果信息和每个所述识别结果对应的识别条件标识；所述识别结果信息用于表示需要进行识别的所述识别结果，所述识别条件标识用于表示所述识别结果对应的识别条件；
所述数据处理策略信息可以是网络管理者制定的。所述数据处理策略信息可以包含识别结果信息和每个所述识别结果对应的识别条件标识。例如，识别结果信息为视频软件，则可以表示需要识别网络数据是否是视频软件发送或接收的。识别条件标识为1和2，则可以表示数据库中条件标识id值为1和2对应的识别条件，是用于判断网络数据是否是视频软件发送或接收的识别条件。
步骤202：确定所述识别结果对应的维度；
以所述识别结果为视频软件为例，可以确定对应的维度为软件类型维度。
步骤203：从基础识别条件数据库的与所述维度对应的识别条件中，选取与所述识别条件标识对应的识别条件，得到识别条件集合；
一个所述识别条件标识，可以对应多个识别条件。多个识别条件共同构成所述识别条件集合。基础识别条件数据库中，存储有所有可能用到的识别条件。这些识别条件分别对应于各个维度。
所述数据处理策略信息中，可以只选择基础识别条件数据库中的一部分维度的识别条件，而不必选择全部维度的识别条件。
步骤204：对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构。
前面提到，不同的识别条件可以对应不同的类型。例如，对应端口类型，字符串类型等等。对于不同类型的识别条件，可以采用不同识别算法。而每种类型的识别算法，在进行识别时，都需要用到与该识别算法相对应的数据结构。因此，需要对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构。
具体的，可以对所述识别条件集合中包含的端口识别条件进行编译，生成哈希表。
可以对所述识别条件集合中包含的字符串识别条件进行编译，生成Aho-Corasick自动机；
或者，可以对所述识别条件集合中包含的字符串识别条件进行编译，生成Boyer-Moore算法中的跳转表。
所述跳转表可以包括坏字符（Bad-character）启发跳转表以及好后缀（Good-suffix）启发跳转表。
可以对所述识别条件集合中包含的正则表达式识别条件进行编译，生成确定有穷自动机；
或者，可以对所述识别条件集合中包含的正则表达式识别条件进行编译，生成不确定有穷自动机。
实际应用中，上述将识别条件编译成各个类型的数据结构的具体算法，均为现有技术中的算法，此处不再赘述。
本申请还提供了一种网络数据处理装置。所述装置可以是网络中的业务网关、路由器、网络安全设备等。
图3为本申请的网络数据处理装置实施例1的结构图。如图3所示，该装置可以包括：
数据库生成模块301，用于预先生成识别条件数据库；所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应；
一个所述第一识别条件集合中可以包含多个识别条件，是由多个识别条件构成的集合。一个所述第一识别条件集合与一个所述识别结果相对应。
所述识别结果具有不同的类型，一种类型的识别结果可以称为一个维度的识别结果。具体的，所述维度可以包括：网络应用维度、协议维度、文件格式维度、软件类型维度、终端类型维度、上网方式维度等等。
其中，网络应用维度可以表示网络数据是对应于哪个网络应用程序的。例如，可以识别网络数据是否是对应于facebook程序的，还可以识别网络数据是否是对应于飞信的，还可以识别网络数据是否是对应于微博的，等等。
协议维度可以表示网络数据是采用哪种协议传输的。例如，可以识别网络数据是否采用HTTP协议传输，或者是否采用BitTorrent协议传输，或者是否采用实时流传输协议（Real Time Streaming Protocol，RTSP），或者是否采用skype协议，等等。
文件格式维度可以表示网络数据是哪种类型的文件的数据。例如，可以识别网络数据是否是视频文件的数据，也可以识别网络数据是否是图片文件的数据，还可以识别网络数据是否是文本文件的数据，等等。
软件类型维度可以表示网络数据是由何种类型的软件发送或接收的数据。例如，可以识别网络数据是否是网络下载软件收发的数据，也可以识别网络数据是否是视频播放软件收发的数据，还可以识别网络数据是否是浏览器软件收发的数据，等等。
终端类型维度可以表示网络数据是由何种类型的终端发送或接收的数据。例如，可以识别网络数据是否是iphone收发的数据，也可以识别网络数据是否是安卓手机收发的数据，等等。
上网方式维度可以表示网络数据是通过何种上网方式发送或接收的数据。例如，可以识别网络数据是否是通过移动终端上网方式发送或接收的数据，或者可以识别网络数据是否是通过路由器共享上网方式发送或接收的数据，或者可以识别网络数据是否是固定终端通过移动终端上网方式发送或接收的数据，或者可以识别网络数据是否是通过Wi-Fi上网方式发送或接收的数据。
需要说明的是，一个维度下的第一识别条件集合中包含的某个识别条件，与另一个维度下的第一识别条件集合中包含的某个识别条件，可以是相同的。
网络数据获取模块302，用于获取网络数据；
第二识别条件集合确定模块303，用于确定与所述网络数据相匹配的第二识别条件集合；
可以采用各种方法对所述网络数据进行识别。对于一个网络数据，可以符合多个识别条件。这些识别条件可以分别属于不同的第一识别条件集合。
可以根据预先设置的识别条件与识别条件集合之间的对应关系，根据所述网络数据符合的识别条件，确定与所述网络数据相匹配的第二识别条件集合。
举例来说，假设某个网络数据同时符合识别条件A、B、C、D。在预先设置的识别条件与识别条件集合之间的对应关系中，规定同时符合识别条件A、B的网络数据与识别条件集合1相匹配，同时符合识别条件B、C的网络数据与识别条件集合2相匹配，同时符合识别条件B、C、D的网络数据与识别条件集合3相匹配。则最终可以确定与该网络数据相匹配的识别条件集合为1、2、3。
需要说明的是，与所述网络数据相匹配的第二识别条件集合，如果有多个，则每个所述第二识别条件集合分别属于一个与其他的第二识别条件集合不同的维度。换句话说，所述网络数据在每个维度上，最多只可以匹配到一个识别条件集合。当然，在某个维度上，匹配到的识别条件集合的个数也可以是0。
识别结果确定模块304，用于根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果；
可以根据预先设置的识别条件集合与识别结果之间的对应关系，确定所述网络数据在每个维度上的所述识别结果。
具体的，在不同的维度上，可以用不同的id标识表示该维度上的识别结果。例如，在网络应用维度可以用id的值为1表示所述网络数据对应于facebook程序，用id的值为2表示所述网络数据对应于飞信，id的值为3表示所述网络数据对应于微博。
可以首先确定每个所述第二识别条件集合对应的id标识，再确定各个id标识对应的不同维度上的识别结果即可。
处理策略确定模块305，用于确定每个所述识别结果对应的处理策略；
不同的识别结果可以对应不同的处理策略。所述处理策略可以是对于所述网络数据的处理优先级的处理策略，也可以是对于所述网络数据的计费策略等等。
例如，对于iphone终端发送的网络数据，可以实行有别于其他终端的计费标准；当识别出该网络数据是由iphone发送或接收时，就可以采用相应的计费标准进行计费。对于视频软件发送或接收的网络数据，可以设置比较高的优先级；当识别出该网络数据是由视频软件发送或接收时，可以采用较高的优先级，优先对该网络数据进行处理，以保证视频数据播放的流畅性。
处理模块306，用于采用所述处理策略对所述网络数据进行处理。
综上所述，本实施例中，通过预先生成识别条件数据库，所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应，确定与所述网络数据相匹配的第二识别条件集合；根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果，可以对网络数据进行多维度的识别，解决只能将网络数据确定为一种类型的问题，提高对于网络数据处理的精细度。
实际应用中，为了提高对于网络数据的识别效率，全部的所述第一识别条件集合中包含多个类型的第一识别条件，所述第二识别条件集合确定模块303，具体可以包括：
匹配单元，用于将所述网络数据分别与不同类型的所述第一识别条件进行匹配；
第二识别条件确定单元，用于确定每个类型下与所述网络数据相匹配的第二识别条件；
第二识别条件集合确定单元，用于根据所述第二识别条件确定所述第二识别条件集合。
其中，所述第二识别条件集合确定单元，具体可以包括：
第二识别条件集合确定子单元，用于根据条件规则关系表确定所述第二识别条件对应的所述第二识别条件集合，
其中，所述条件规则关系表中存储有所述第二识别条件与所述第二识别条件集合之间的对应关系。
实际应用中，所述匹配单元，具体可以包括：
第一匹配子单元，用于将所述网络数据与协议类型的所述第一识别条件进行匹配；
第二匹配子单元，用于将所述网络数据与端口类型的所述第一识别条件进行匹配；
第三匹配子单元，用于将所述网络数据与字符串类型的所述第一识别条件进行匹配；
第四匹配子单元，用于将所述网络数据与行为特征类型的所述第一识别条件进行匹配；
第五匹配子单元，用于将所述网络数据与正则表达式类型的所述第一识别条件进行匹配。
实际应用中，所述数据库生成模块301，具体可以包括：
数据处理策略信息获取单元，用于获取数据处理策略信息，所述数据处理策略信息中至少包含识别结果信息和每个所述识别结果对应的识别条件标识；所述识别结果信息用于表示需要进行识别的所述识别结果，所述识别条件标识用于表示所述识别结果对应的识别条件；
维度确定单元，用于确定所述识别结果对应的维度；
识别条件选取单元，用于从基础识别条件数据库的与所述维度对应的识别条件中，选取与所述识别条件标识对应的识别条件，得到识别条件集合；
编译单元，用于对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构。
另外，本申请实施例还提供了一种计算节点，计算节点可能是包含计算能力的主机服务器，或者是个人计算机PC，或者是可携带的便携式计算机或终端等等，本申请具体实施例并不对计算节点的具体实现做限定。
图4为本申请的计算节点的结构图。如图4所示，计算节点700包括：
处理器(processor)710，通信接口(Communications Interface)720，存储器(memory)730，总线740。
处理器710，通信接口720，存储器730通过总线740完成相互间的通信。
处理器710，用于执行程序732。
具体地，程序732可以包括程序代码，所述程序代码包括计算机操作指令。
处理器710可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器730，用于存放程序732。存储器730可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。程序732具体可以包括图3所示实施例中的相应模块或单元，在此不赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种网络数据处理方法，其特征在于，所述方法包括：
预先生成识别条件数据库；所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应；
获取网络数据；
确定与所述网络数据相匹配的第二识别条件集合；
根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果；
确定每个所述识别结果对应的处理策略；
采用所述处理策略对所述网络数据进行处理；
其中，所述预先生成识别条件数据库，具体包括：
获取数据处理策略信息，所述数据处理策略信息中至少包含识别结果信息和每个所述识别结果对应的识别条件标识；所述识别结果信息用于表示需要进行识别的所述识别结果，所述识别条件标识用于表示所述识别结果对应的识别条件；
确定所述识别结果对应的维度；
从基础识别条件数据库的与所述维度对应的识别条件中，选取与所述识别条件标识对应的识别条件，得到识别条件集合；
对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构。
2.根据权利要求1所述的方法，其特征在于，全部的所述第一识别条件集合中包含多个类型的第一识别条件，所述确定与所述网络数据相匹配的第二识别条件集合，具体包括：
将所述网络数据分别与不同类型的所述第一识别条件进行匹配；
确定每个类型下与所述网络数据相匹配的第二识别条件；
根据所述第二识别条件确定所述第二识别条件集合。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二识别条件确定所述第二识别条件集合，具体包括：
根据条件规则关系表确定所述第二识别条件对应的所述第二识别条件集合，
其中，所述条件规则关系表中存储有所述第二识别条件与所述第二识别条件集合之间的对应关系。
4.根据权利要求2所述的方法，其特征在于，所述将所述网络数据分别与不同类型的所述第一识别条件进行匹配，具体包括：
将所述网络数据与协议类型的所述第一识别条件进行匹配；
和/或，将所述网络数据与端口类型的所述第一识别条件进行匹配；
和/或，将所述网络数据与字符串类型的所述第一识别条件进行匹配；
和/或，将所述网络数据与行为特征类型的所述第一识别条件进行匹配；
和/或，将所述网络数据与正则表达式类型的所述第一识别条件进行匹配。
5.根据权利要求1所述的方法，其特征在于，所述对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构，具体包括：
对所述识别条件集合中包含的端口识别条件进行编译，生成哈希表。
6.根据权利要求1所述的方法，其特征在于，所述对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构，具体包括：
对所述识别条件集合中包含的字符串识别条件进行编译，生成Aho-Corasick自动机；
或者，对所述识别条件集合中包含的字符串识别条件进行编译，生成Boyer-Moore算法中的跳转表。
7.根据权利要求1所述的方法，其特征在于，所述对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构，具体包括：
对所述识别条件集合中包含的正则表达式识别条件进行编译，生成确定有穷自动机；
或者，对所述识别条件集合中包含的正则表达式识别条件进行编译，生成不确定有穷自动机。
8.一种网络数据处理装置，其特征在于，所述装置包括：
数据库生成模块，用于预先生成识别条件数据库；所述识别条件数据库中包含多个维度的第一识别条件集合，一个所述第一识别条件集合与一个维度下的识别结果相对应；
网络数据获取模块，用于获取网络数据；
第二识别条件集合确定模块，用于确定与所述网络数据相匹配的第二识别条件集合；
识别结果确定模块，用于根据所述第二识别条件集合，确定所述网络数据在每个维度上的所述识别结果；
处理策略确定模块，用于确定每个所述识别结果对应的处理策略；
处理模块，用于采用所述处理策略对所述网络数据进行处理；
其中，所述数据库生成模块，具体包括：
数据处理策略信息获取单元，用于获取数据处理策略信息，所述数据处理策略信息中至少包含识别结果信息和每个所述识别结果对应的识别条件标识；所述识别结果信息用于表示需要进行识别的所述识别结果，所述识别条件标识用于表示所述识别结果对应的识别条件；
维度确定单元，用于确定所述识别结果对应的维度；
识别条件选取单元，用于从基础识别条件数据库的与所述维度对应的识别条件中，选取与所述识别条件标识对应的识别条件，得到识别条件集合；
编译单元，用于对所述识别条件集合中包含的识别条件进行编译，生成与所述识别条件的类型对应的数据结构。
9.根据权利要求8所述的装置，其特征在于，全部的所述第一识别条件集合中包含多个类型的第一识别条件，所述第二识别条件集合确定模块，具体包括：
匹配单元，用于将所述网络数据分别与不同类型的所述第一识别条件进行匹配；
第二识别条件确定单元，用于确定每个类型下与所述网络数据相匹配的第二识别条件；
第二识别条件集合确定单元，用于根据所述第二识别条件确定所述第二识别条件集合。
10.根据权利要求9所述的装置，其特征在于，所述第二识别条件集合确定单元，具体包括：
第二识别条件集合确定子单元，用于根据条件规则关系表确定所述第二识别条件对应的所述第二识别条件集合，
其中，所述条件规则关系表中存储有所述第二识别条件与所述第二识别条件集合之间的对应关系。
11.根据权利要求9所述的装置，其特征在于，所述匹配单元，具体包括：
第一匹配子单元，用于将所述网络数据与协议类型的所述第一识别条件进行匹配；
第二匹配子单元，用于将所述网络数据与端口类型的所述第一识别条件进行匹配；
第三匹配子单元，用于将所述网络数据与字符串类型的所述第一识别条件进行匹配；
第四匹配子单元，用于将所述网络数据与行为特征类型的所述第一识别条件进行匹配；
第五匹配子单元，用于将所述网络数据与正则表达式类型的所述第一识别条件进行匹配。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310617017.7A CN103634146B (zh) | 2013-11-27 | 2013-11-27 | 一种网络数据处理方法及装置 |
| PCT/CN2014/074729 WO2015078124A1 (zh) | 2013-11-27 | 2014-04-03 | 一种网络数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310617017.7A CN103634146B (zh) | 2013-11-27 | 2013-11-27 | 一种网络数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103634146A CN103634146A (zh) | 2014-03-12 |
| CN103634146B true CN103634146B (zh) | 2017-02-22 |
Family
ID=50214799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310617017.7A Active CN103634146B (zh) | 2013-11-27 | 2013-11-27 | 一种网络数据处理方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103634146B (zh) |
| WO (1) | WO2015078124A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103634146B (zh) * | 2013-11-27 | 2017-02-22 | 华为技术有限公司 | 一种网络数据处理方法及装置 |
| CN105656684B (zh) * | 2016-02-05 | 2019-10-18 | 北京润科通用技术有限公司 | 故障模拟方法及装置 |
| CN109412898B (zh) * | 2018-11-16 | 2021-02-02 | 网宿科技股份有限公司 | 特征数据库生成方法和装置及对应的流量分拣方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170563A (zh) * | 2007-11-30 | 2008-04-30 | 杭州华三通信技术有限公司 | 一种匹配报文规则的方法和装置 |
| CN101286936A (zh) * | 2008-05-16 | 2008-10-15 | 华为技术有限公司 | 数据报文的处理方法及装置 |
| CN102360383A (zh) * | 2011-10-15 | 2012-02-22 | 西安交通大学 | 一种面向文本的领域术语与术语关系抽取方法 |
| CN102542048A (zh) * | 2011-12-28 | 2012-07-04 | 用友软件股份有限公司 | 数据匹配处理装置和数据匹配处理方法 |
| CN103346974A (zh) * | 2013-06-03 | 2013-10-09 | 华为技术有限公司 | 一种业务流程的控制方法及网络设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2369202B (en) * | 2000-08-31 | 2003-03-19 | Sun Microsystems Inc | Computer system and method of operating a computer system |
| CN101754260B (zh) * | 2010-01-04 | 2014-04-02 | 浪潮通信信息系统有限公司 | 一种通信性能网管系统中测量对象的多维度统计方法 |
| CN102456050B (zh) * | 2010-10-27 | 2014-04-09 | 中国移动通信集团四川有限公司 | 从网页中抽取数据的方法和装置 |
| CN103377224B (zh) * | 2012-04-24 | 2016-08-17 | 北京百度网讯科技有限公司 | 识别问题类型的方法及装置、建立识别模型的方法及装置 |
| CN103324776B (zh) * | 2013-04-25 | 2015-12-09 | 南京大学 | 基于抽象解释的线性混成系统不变式的生成方法 |
| CN103634146B (zh) * | 2013-11-27 | 2017-02-22 | 华为技术有限公司 | 一种网络数据处理方法及装置 |
-
2013
- 2013-11-27 CN CN201310617017.7A patent/CN103634146B/zh active Active
-
2014
- 2014-04-03 WO PCT/CN2014/074729 patent/WO2015078124A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170563A (zh) * | 2007-11-30 | 2008-04-30 | 杭州华三通信技术有限公司 | 一种匹配报文规则的方法和装置 |
| CN101286936A (zh) * | 2008-05-16 | 2008-10-15 | 华为技术有限公司 | 数据报文的处理方法及装置 |
| CN102360383A (zh) * | 2011-10-15 | 2012-02-22 | 西安交通大学 | 一种面向文本的领域术语与术语关系抽取方法 |
| CN102542048A (zh) * | 2011-12-28 | 2012-07-04 | 用友软件股份有限公司 | 数据匹配处理装置和数据匹配处理方法 |
| CN103346974A (zh) * | 2013-06-03 | 2013-10-09 | 华为技术有限公司 | 一种业务流程的控制方法及网络设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015078124A1 (zh) | 2015-06-04 |
| CN103634146A (zh) | 2014-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108551443A (zh) | 一种应用登录方法、装置、终端设备及存储介质 | |
| CN105391695B (zh) | 一种终端注册方法及校验方法 | |
| CN103916244B (zh) | 验证方法及装置 | |
| CN108197891A (zh) | 一种基于区块链的电子签约装置及方法 | |
| CN102075404A (zh) | 一种报文检测方法及装置 | |
| CN103020207B (zh) | 浏览器标签页分组管理方法及装置 | |
| CN106155812A (zh) | 一种对虚拟主机的资源管理的方法、装置、系统及电子设备 | |
| CN108932410A (zh) | 一种数字资源版权鉴权方法、装置、系统和存储介质 | |
| CN110110509A (zh) | 权限管理方法及相关产品 | |
| CN108269064A (zh) | 一种基于智能合约的协同制造信息共享方法 | |
| CN108346110A (zh) | 一种基于制造区块链的信息交互系统 | |
| CN101287010A (zh) | 识别和验证消息协议类型的方法和装置 | |
| CN107426235A (zh) | 基于设备指纹的权限认证方法、装置及系统 | |
| CN103634146B (zh) | 一种网络数据处理方法及装置 | |
| CN102724079A (zh) | 一种以太网设备辅助配置的方法及系统 | |
| JP2018537921A (ja) | Ｓｋｙｐｅの異なる機能の通信フローに基づく識別方法及び装置 | |
| CN105791246A (zh) | 验证信息的验证方法、装置及系统 | |
| CN107426253A (zh) | 一种数据校验方法及客户端 | |
| CN104349313A (zh) | 业务授权方法、设备及系统 | |
| CN110198265A (zh) | 信息处理方法、系统、装置、设备和介质 | |
| CN103067389B (zh) | 基于短网址的高安全性文件传输方法 | |
| CN103577180A (zh) | 数据处理方法及装置 | |
| CN104184723B (zh) | 一种应用程序识别方法、装置和网络设备 | |
| CN109145588B (zh) | 数据处理方法及装置 | |
| CN104980409A (zh) | 一种上网行为管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191218 Address after: 314400 No.11, Weisan Road, Nongfa District, Chang'an Town, Haining City, Jiaxing City, Zhejiang Province Patentee after: Haining hi tech Zone Science and Innovation Center Co.,Ltd. Address before: 510000 unit 2414-2416, building, No. five, No. 371, Tianhe District, Guangdong, China Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd. Effective date of registration: 20191218 Address after: 510000 unit 2414-2416, building, No. five, No. 371, Tianhe District, Guangdong, China Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right |