CN112565262A - 一种流量数据处理方法、系统、网络设备及存储介质 - Google Patents
一种流量数据处理方法、系统、网络设备及存储介质 Download PDFInfo
- Publication number
- CN112565262A CN112565262A CN202011412922.5A CN202011412922A CN112565262A CN 112565262 A CN112565262 A CN 112565262A CN 202011412922 A CN202011412922 A CN 202011412922A CN 112565262 A CN112565262 A CN 112565262A
- Authority
- CN
- China
- Prior art keywords
- rule
- data
- data processing
- traffic
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000012545 processing Methods 0.000 claims abstract description 173
- 238000001914 filtration Methods 0.000 claims abstract description 138
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000005641 tunneling Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种流量数据处理方法、系统、网络设备及存储介质，包括：通过数据处理模块向规则确定模块发送参考流量数据；通过所述规则确定模块对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，并将所述动态过滤规则发送至所述数据处理模块；通过所述数据处理模块根据所述动态过滤规则对全量流量数据进行数据处理。本发明实施例的技术方案提供了一种有效的流量数据处理方式，从而满足网络流量数据的处理需求。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种流量数据处理方法、系统、网络设备及存储介质。
背景技术
移动互联网络中流量爆发式增长，全流量采集需要设备数量较多，对流量数据处理设备要求也较高，投资大，现场环境通常无法满足流量不断增长的要求。随着网络流量的爆炸式增长，对网络流量数据进行诸如筛选高价值、有针对性的流量以及过滤低价值流量等处理方式的业务需求也越来越高。因此，如何对网络流量数据及时有效的处理成为一个有挑战性的重要课题。
发明内容
本发明实施例提供一种流量数据处理方法、系统、网络设备及存储介质，以提供一种有效的流量数据处理方式，从而满足网络流量数据的处理需求。
第一方面，本发明实施例提供了一种流量数据处理方法，包括：
通过数据处理模块向规则确定模块发送参考流量数据；
通过所述规则确定模块对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，并将所述动态过滤规则发送至所述数据处理模块；
通过所述数据处理模块根据所述动态过滤规则对全量流量数据进行数据处理。
第二方面，本发明实施例还提供了一种流量数据处理系统，包括：数据处理模块和规则确定模块，所述数据处理模块和所述规则确定模块通信连接；其中：
所述数据处理模块用于向所述规则确定模块发送参考流量数据，并根据所述规则确定模块发送的动态过滤规则对全量流量数据进行数据处理；
所述规则确定模块用于对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，并将所述动态过滤规则发送至所述数据处理模块。
第三方面，本发明实施例还提供了一种网络设备，所述网络设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的流量数据处理方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的流量数据处理方法。
本发明实施例通过数据处理模块和规则确定模块构成一种流量数据处理系统，以通过数据处理模块向规则确定模块发送参考流量数据，通过规则确定模块对参考流量数据进行解析，根据解析结果确定动态过滤规则，并将动态过滤规则发送至数据处理模块，以通过数据处理模块根据动态过滤规则对全量流量数据进行数据处理，解决现有流量数据处理方法存在的处理效果不理想或硬件成本高等问题，提供了一种有效的流量数据处理方式，在不增加硬件成本的前提下，提高流量数据处理效果，从而满足网络流量数据的处理需求。
附图说明
图1是现有技术中进行流量数据处理的结构示意图；
图2是本发明实施例一提供的一种流量数据处理方法的流程图；
图3是本发明实施例二提供的一种流量数据处理方法的流程图；
图4是本发明实施例三提供的一种流量数据处理系统的示意图；
图5是本发明实施例三提供的一种流量数据处理系统的示意图；
图6是本发明实施例三提供的一种流量数据处理系统的示意图；
图7是本发明实施例四提供的一种网络设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
目前，对流量数据进行处理的方式主要包括两种。一种处理方式为通过汇聚分流设备的原生过滤功能对流量数据进行过滤。这种流量数据处理方式基于已有全量上网记录的数据基础，通过业务识别等的分析方法，给出视频或文件等需要过滤的流量的大段IP地址以及根据视频数据后缀名等进行流量数据过滤，将过滤后的流量组包输出仍能进行正常的业务。但是这种直接通过IP地址的流量数据过滤方式，会导致过滤得到的流量数据中包括大部分不需要过滤的其他无用流量。图1是现有技术中进行流量数据处理的结构示意图。如图1所示，通过汇聚分流设备进行流量数据过滤，需要同时部署DPI设备采用DPI(DeepPacket Inspection，深度报文检测)深串形式配合汇聚分流设备进一步进行流量过滤。如果DPI服务器数量较多，会引起成本增加。如果DPI服务器数量过少，又会引起现网的时延问题，数据报文会在DPI中缓存，进而引起报文时延失真，同时存在误中的可能，占用处理性能也很高。另外，现有的DPI服务器利用五元组(通常是源IP地址+端口、目的IP地址+端口和业务类别)的识别能力非常有限，只能粗糙的识别到业务级别，无法实现精细化流量分类，识别出的精细化业务也不够准确。尤其由于CDN(Content Delivery Network，内容分发网络)/IDC(Internet Data Center，互联网数据中心)的高速发展以及NAT(Network AddressTranslation，网络地址转换)技术的广泛应用，IPv4复用度很高，一个IP上有可能承载很多业务。因此，传统的汇聚分流+DPI服务器的流量数据处理方式难以满足网络流量数据的处理需求。
另外一种流量数据处理方式为直接通过DPI服务器进行流量过滤。DPI设备支持对不同协议、IP地址及时间等多维度条件，可以设定不同的流量过滤策略。同时支持接受第三方系统/策略服务器下发的符合配置消息格式的过滤策略，实现根据策略进行流量过滤。同时还支持基于IP地址对指定流量过滤不处理的功能，支持按指定IP地址及业务类型等规则过滤出原始流量及其对应的XDR(External Data Representation，外部数据)话单。虽然近通过DPI服务器进行流量处理的方式简单可靠，不需要增加额外设备，但是增加了DPI处理服务器的负担，同样需要较高的设备投入，导致设备成本增加。同时，现有的DPI服务器对于非HTTP协议的应用的流量处理规则比较复杂，且无法准确识别HTTPS协议，同样难以满足网络流量数据的处理需求。
实施例一
图2是本发明实施例一提供的一种流量数据处理方法的流程图，本实施例可适用于对网络流量数据进行高效处理的情况，该方法可以由流量数据处理系统来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在网络设备中。相应的，如图2所示，该方法包括如下操作：
S110、通过数据处理模块向规则确定模块发送参考流量数据。
其中，数据处理模块可以用于对采集到的原始流量数据进行处理的模块。规则确定模块可以用户确定对采集到的原始流量数据进行数据处理的规则策略。参考流量数据可以是原始流量数据中的部分数据经过DNS(Domain Name System，域名系统)解析后所得到的数据。
在本申请实施例中，通过将数据处理模块和规则确定模块构成一种流量数据处理系统，共同完成流量数据处理的功能。具体的，数据处理模块可以采集原始流量数据，并根据规则确定模块下发的流量数据处理规则对原始流量数据进行处理。相应的，数据处理模块需要从原始流量数据中选择部分流量数据作为参考流量数据并发送至规则确定模块，以使规则确定模块确定动态过滤规则。为了提高规则确定模块的规则确定效率，数据处理模块可以向规则确定模块发送经过DNS解析后的流量数据，以使规则确定模块快速识别流量数据。
S120、通过所述规则确定模块对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，并将所述动态过滤规则发送至所述数据处理模块。
其中，动态过滤规则可以是根据流量数据中的变化因素而动态确定的流量过滤规则。需要说明的是，动态过滤规则可以依据流量数据中的任何相关数据制定，如根据IP地址、端口号或数据传输协议中的至少一项确定，只要能够实现对目标流量数据的过滤筛选即可，本发明实施例并不对动态过滤规则的具体规则内容进行限定。
相应的，规则确定模块接收到数据处理模块发送的参考流量数据后，可以对参考流量数据进行解析，并根据流量数据的解析结果确定动态过滤规则。示例性的，假设流量数据处理的业务需求为根据目标服务商的IP地址对该目标服务商的流量进行过滤，则动态过滤规则需要以IP地址为基准制定流量过滤规则。如果该目标服务商的IP地址是实时变化的，则动态规律规则中参考的IP地址也需要随之实时变更，以确保能够过滤出正确的数据。当规则确定模块确定动态过滤规则之后，可以将其发送至数据处理模块。
S130、通过所述数据处理模块根据所述动态过滤规则对全量流量数据进行数据处理。
其中，全量流量数据也即数据处理模块采集到的原始流量数据，类型可以包括但不限于视频、音乐、游戏、网站及APP(Application，应用程序)等。
相应的，数据处理模块接收到动态过滤规则之后，即可根据动态过滤规则对全量流量数据进行数据处理。可选的，全量流量数据的数据处理方式可以包括但不限于基本流量统计处理、数据丢弃处理、数据转发处理、负载均衡处理、同源同宿处理及数据复制处理等多种处理方式。例如，根据动态过滤规则过滤某一服务商的流量并进行统计，对全量流量数据中的低价值流量进行丢弃等。同时，数据处理方式还可以包括更高级的处理方式，如包括但不限于高级流量统计、报文去重、报文头部输出、报文头部剥离、报文修改(报文信息携带)、高级数据转发(基于内层IP负载均衡)等处理方式。需要说明的是，根据业务需求的不同，过滤出的流量数据可以分别发送至不同的系统分别进行流量数据的处理。
可选的，数据处理模块可以是汇聚分流设备中用户进行流量分流的模块，规则确定模块可以是DPI服务器中进行流量处理的模块。数据处理模块和规则确定模块的数量可以是一个或多个，具体可以根据实际需求设置，本发明实施例对此并不进行限制。也即，本发明实施例可以实现将汇聚分流设备和DPI服务器的流量数据处理功能进行集成，数据处理模块和规则确定模块之间通过相互配合协作的方式公共完成流量数据的处理过程，不仅可以避免硬件成本增加，还可以根据动态配置的动态过滤规则对过滤后的流量数据根据业务需求进一步处理，从而满足各种类型的流量数据处理功能。
也即，本发明实施例中的流量数据处理系统可以融合汇聚分流设备兼具分流与DPI的功能，通过数据处理模块与规则确定模块实时联动技术，实现根据特定应用，进行精细化的流量分流输出和过滤，例如，对视频流量、加密流量或HTTP POST流量等进行针对性的过滤和处理。这种联动处理方式可以增强业务识别能力，并支持各种业务识别方法，从而提高业务的实时性。
本发明实施例通过数据处理模块和规则确定模块构成一种流量数据处理系统，以通过数据处理模块向规则确定模块发送参考流量数据，通过规则确定模块对参考流量数据进行解析，根据解析结果确定动态过滤规则，并将动态过滤规则发送至数据处理模块，以通过数据处理模块根据动态过滤规则对全量流量数据进行数据处理，解决现有流量数据处理方法存在的处理效果不理想或硬件成本高等问题，提供了一种有效的流量数据处理方式，在不增加硬件成本的前提下，提高流量数据处理效果，从而满足网络流量数据的处理需求。
实施例二
图3是本发明实施例二提供的一种流量数据处理方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了通过数据处理模块向规则确定模块发送参考流量数据、通过所述规则确定模块对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，以及通过所述数据处理模块根据所述动态过滤规则对全量流量数据进行数据处理的多种具体可选的实现方式。
相应的，如图3所示，本实施例的方法可以包括：
S210、通过规则管理平台向所述规则确定模块发送预设流量过滤规则。
其中，规则管理平台可以用于协助管理动态过滤规则。预设流量过滤规则可以是根据流量数据处理的业务需求所制定的流量过滤的基本策略和基本数据。
在本发明实施例中，可以通过规则管理平台对动态过滤规则进行管理。在需要进行流量数据处理时，可以通过规则管理平台向规则确定模块发送预设流量过滤规则，用于指示规则确定模块根据预设流量过滤规则确定动态管理规则。通过规则管理平台可以实现更复杂的动态过滤规则。示例性的，预设流量过滤规则例如可以是：每日的19:00开始对服务商A的流量数据进行统计，服务商A的IP地址具体为100.100.123.11。相应的，规则确定模块接收到该预设流量过滤规则之后，可以根据预设流量过滤规则制定动态过滤规则，该动态过滤规则可以实现每日19:00开始对IP地址100.100.123.11的流量进行统计的功能。或者，规则管理平台还可以直接根据预设流量过滤规则制定动态过滤规则，并将生成的动态过滤规则直接下发至规则确定模块，本发明实施例对此并不进行限制。
在本发明实施例中，规则管理平台可以对动态过滤规则进行配置管理，使得动态过滤规则可以支持按照预置/配置域名查询/过滤其IP地址，并生成IP地址表。为了防止IP动态变化导致数据过滤出错，还可以对生成的IP地址表进行新增、修改或删除IP地址等操作。IP地址表还可以设置更新周期，如按天更新、按周更新或按月更新等，本发明实施例并不对更新周期的具体数值进行限定。同时还可以自动识别IP地址/端口数据，对重复的IP地址/端口数据自动去重。为了防止设备负荷加重，还可以限制动态过滤规则中的规则数量。也即，规则管理平台可以统计动态过滤规则中的规则数据，如果确定规则数量超过数据处理模块支持的规则数量，则拒绝向规则确定模块下发预设流量过滤规则或动态过滤规则，并向上传应用发送警告信息。另外，规则管理平台还可以同时存储和管理不同版本的预设流量过滤规则或动态过滤规则，以便实时进行规则的更新。
除此之外，规则管理平台还可以对动态过滤规则进行查询。例如，规则管理平台可以对下发到数据处理模块的动态过滤规则进行查询，或者查询规则确定模块的动态过滤规则是否下发成功，同时可以具体查看动态过滤规则的下发类型和原则等，以全面掌握动态过滤规则的实际运作情况。
为了进一步丰富流量数据处理功能，规则管理平台还可以进行流量统计查询操作。具体的，规则管理平台可以对流经流量数据处理系统的流量数据的实时信息(包括但不限于流量五元组、识别协议名称、流量大小、是否阻断或限制等信息)进行查询，还可以对流量数据的历史信息进行查询。同时，用户可根据实际业务需求选择流量数据的查询方式，包括但不限于按日期查询、实时查询、按照指定协议查询及重点协议查询等方式。查询种类可以包括系统默认日期内的统计查询，业务流量占比查询、以及规定最大存储容量的统计和查询等内容。
由此可见，通过规则管理平台配合数据处理模块和规则确定模块进行流量数据处理，可以实现动态过滤规则的配置管理、实现动态过滤规则的下发及版本管理和查询，并支持流量统计查询等功能，从而进一步满足丰富多样的网络流量数据的处理需求。
S220、通过所述数据处理模块获取原始参考流量数据，并对所述原始参考流量数据进行DNS解析，得到所述参考流量数据。
S230、通过所述数据处理模块将所述参考流量数据的镜像数据发送至所述规则确定模块。
其中，原始参考流量数据可以是原始流量数据中的部分数据。
在本发明实施例中，数据处理模块可以从采集到的原始流量数据中选择部分流量数据作为原始参考流量数据，并对原始参考流量数据进行DNS解析，可以得到包括IP地址和端口号等信息的参考流量数据。相应的，数据处理模块可以将参考流量数据的镜像数据发送至规则确定模块，以供规则确定模块参考确定动态过滤规则。也即，参考流量数据可以直接被规则确定模块所识别处理。
S240、通过所述规则确定模块对所述参考流量数据进行全量解析，得到全量解析结果。
其中，全量解析结果可以是规则确定模块对参考流量数据进行全面解析得到的结果。
相应的，规则确定模块接收到参考流量数据后，可以对其进行全量解析。所谓全量解析也即能够达到应用层协议层次的全解析，获取如HTTP(HyperText TransferProtocol，超文本传输协议)协议、FTP(File Transfer Protocol，文件传输协议)、P2P(Peer-to-Pee，点对点)等协议层信息，如TCP(Transmission Control Protocol，传输控制协议)端口号、指定载荷字节数内容、HTTP协议的host(主机号)、URI(Uniform ResourceIdentifier，统一资源标识符)或user-agent(用户代理)等网络7层协议的全面信息。
S250、通过所述规则确定模块根据预设流量过滤规则对所述全量解析结果确定所述动态过滤规则。
相应的，在得到参考流量数据的全量解析结果之后，规则确定模块可以进一步根据预设流量过滤规则对全量解析结果确定动态过滤规则。示例性的，预设流量过滤规则为筛选服务商A的流量数据，服务商A的IP地址为111.123.453.33，但未指出具体的端口号或其他信息。如果规则确定模块对参考流量数据的全量解析结果中所有涉及到IP地址为111.123.453.33的流量数据的端口号为233，同时使用的协议为HTTP协议，则规则确定模块可以根据IP地址111.123.453.33、端口233以及HTTP协议等内容确定动态过滤规则，实现流量数据的精细化分流输出和过滤。
需要说明的是，规则确定模块确定动态过滤规则时，可以基于上下文环境的关联分析识别模式对流式的数据包进行分析，避免利用传统的单一规则命中识别模块，从而实现复杂的识别需求场景。示例性的，假设主业务附带多种附加业务，规则确定模块可以基于上下文的全量解析结果中识别出主业务，从而针对主业务进行流量数据处理。
在本发明的一个可选实施例中，所述通过所述规则确定模块对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，可以包括：在所述参考流量数据为未知流量数据的情况下，对所述参考流量数据进行解析，并根据解析结果和预设学习分析策略确定所述动态过滤规则。
其中，预设学习分析策略可以为对位置流量数据进行自适应学习与分析的策略。
在本发明实施例中，规则确定模块可以具备自适应的策略学习与分析能力。可选的，如果参考流量数据的类型为未知流量数据，此时规则确定模块可以首先对参考流量数据进行解析，并根据解析结果利用预设学习分析策略确定动态过滤规则。规则确定模块可以与数据处理模块建立联动，针对未知的应用/流量提供对数据处理模块的筛选规则。
在本发明的一个可选实施例中，所述预设流量过滤规则可以包括但不限于基于IP地址的流量过滤规则、基于域名信息的流量过滤规则以及基于协议的流量过滤规则。
可选的，基于IP地址的流量过滤规则例如可以指定IP地址、端口号、固定位置偏移、浮动位置偏移等参量。同时，IP地址的类型可以包括但不限于IPv4和IPv6等类型，且可以针对IP地址设置一元组或五元组等IP匹配规则。基于域名信息的流量过滤规则可以是以域名为依据制定的流量过滤规则。基于协议的流量过滤规则可以是支持各种HTTP、TCP、FTP等传输协议的流量过滤规则。如基于TCP Flag特征码的规则匹配和基于DPI特征码的规则匹配等。
S260、通过所述数据处理模块对所述全量流量数据的数据报文进行识别，得到报文识别结果。
其中，报文识别结果也即数据处理模块对流量数据的数据报文进行识别得到的结果。
在本发明实施例中，数据处理模块可以支持报文识别功能，以对全量流量数据的数据报文进行识别。可选的，数据处理模块可以识别多种报文类型，包括但不限于链路层报文、VLAN(Virtual Local Area Network，虚拟局域网)报文、VXLAN(Virtual ExtensibleLAN，一种网络虚拟化技术)报文、MPLS(Multi-Protocol Label Switching，多协议标签交换)报文、GTP(GPRS Tunnelling Protocol，GPRS隧道协议)报文、IP报文、TCP/UDP(UserDatagram Protocol，用户数据报协议)/SCTP(Stream Control Transmission Protocol，流控制传输协议)报文识别、ICMP(Internet Control Message Protocol，控制报文协议)报文识别、IP层隧道报文识别、L2TP(Tunneling Protocol，隧道协议)/PPTP(Point toPoint Tunneling Protocol，点对点隧道协议)隧道报文识别、IPsec(IP Security，Internet连接协议)隧道报文识别、GRE(Generic Routing Encapsulation，通用路由封装)报文、ISIS(Intermedia System-IIntermedia System，中间系统到中间系统协议)/BGP(Border Gateway Protocol，边界网关协议)/RIP(Routing Information Protocol，路由信息协议)/OSPF(Open Shortest Path First开放式最短路径优先)等路由管理报文识别等。
S270、通过所述数据处理模块根据所述报文识别结果以及所述动态过滤规则进行数据匹配，得到匹配流量数据。
其中，匹配流量数据也即数据处理模块利用动态过滤规则对报文识别结果进行过滤得到的流量数据。
可选的，数据处理模块在对数据报文进行识别时，可以采用基于五元组、MAC((Media Access Control，媒体访问控制)和VLAN等基本匹配方式，也可以采用基于内层IP信息、含TCP Flag规则合传输层负载长度规则、基于特征码、基于复合规则、基于正则规则及基于特定URL等数据匹配方式。本发明实施例并不对数据处理模块的数据匹配方式进行限定。
S280、通过所述数据处理模块对所述匹配流量数据进行数据处理。
相应的，在得到匹配流量数据之后，数据处理模块即可对匹配流量数据进行诸如流量统计或负载均衡处理的数据处理方式。
具体的，数据处理模块可以按照动态过滤规则丢弃指定源/目的IP的报文，匹配黑名单中的IP报文被过滤丢弃，被丢弃的比例占总数的比例可以灵活配置。数据处理模块还可以在原始流量数据中各类业务的流量进行占比统计等，并对各类业务流量进行分级功能，可以根据业务需求进行过滤，以降低误过滤风险。
采用上述技术方案，通过数据处理模块联动规则确定模块的模式根据业务需求对流量数据进行处理，完成业务的识别，业务识别能力强，支持各种业务识别方法，且业务的实时性更强。
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
实施例三
图4是本发明实施例三提供的一种流量数据处理系统的示意图，如图4所示，该流量数据处理系统的结构包括数据处理模块310和规则确定模块320，数据处理模块310和规则确定模块320通信连接；其中：数据处理模块310用于向规则确定模块320发送参考流量数据，并根据规则确定模块320发送的动态过滤规则对全量流量数据进行数据处理；规则确定模块320用于对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，并将所述动态过滤规则发送至数据处理模块310。
可选的，数据处理模块310还用于获取原始参考流量数据；对所述原始参考流量数据进行域名系统DNS解析，得到所述参考流量数据；将所述参考流量数据的镜像数据发送至规则确定模块320。
可选的，规则确定模块320还用于对所述参考流量数据进行全量解析，得到全量解析结果；根据预设流量过滤规则对所述全量解析结果确定所述动态过滤规则。
可选的，规则确定模块320还用于在所述参考流量数据为未知流量数据的情况下，对所述参考流量数据进行解析，并根据解析结果和预设学习分析策略确定所述动态过滤规则。
可选的，所述预设流量过滤规则包括基于IP地址的流量过滤规则、基于域名信息的流量过滤规则以及基于协议的流量过滤规则。
可选的，数据处理模块310还用于对所述全量流量数据的数据报文进行识别，得到报文识别结果；根据所述报文识别结果以及所述动态过滤规则进行数据匹配，得到匹配流量数据；对所述匹配流量数据进行数据处理。
可选的，流量数据处理系统还可以包括规则管理平台，用于向规则确定模块320发送预设流量过滤规则。
图5是本发明实施例三提供的一种流量数据处理系统的示意图，图6是本发明实施例三提供的一种流量数据处理系统的示意图，在一个具体的例子中，如图5和图6所示，数据处理模块可以是分流板，规则确定模块可以是DPI板。DPI板支持实时话单或日志文件输出，支持解析Radius数据(Remote Authentication Dial In User Service，远程访问拨号用户服务)，然后为话单实时回填用户账户，解决溯源问题。话单可以包括流量基本信息、业务信息以及应用协议信息等。DPI板和分流板以及规则管理平台之间联动处理，可以根据特定业务需求，对流量数据进行精细化的分流输出和过滤。
本发明实施例通过数据处理模块和规则确定模块构成一种流量数据处理系统，以通过数据处理模块向规则确定模块发送参考流量数据，通过规则确定模块对参考流量数据进行解析，根据解析结果确定动态过滤规则，并将动态过滤规则发送至数据处理模块，以通过数据处理模块根据动态过滤规则对全量流量数据进行数据处理，解决现有流量数据处理方法存在的处理效果不理想或硬件成本高等问题，提供了一种有效的流量数据处理方式，在不增加硬件成本的前提下，提高流量数据处理效果，从而满足网络流量数据的处理需求。
上述流量数据处理系统可执行本发明任意实施例所提供的流量数据处理方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的流量数据处理方法。
实施例四
图7是本发明实施例四提供的一种网络设备的结构示意图，如图7所示，该网络设备包括处理器60、存储器61、输入装置62和输出装置63；网络设备中处理器60的数量可以是一个或多个，图7中以一个处理器60为例；网络设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的流量数据处理方法对应的程序指令/模块(例如，附图4所示的流量数据处理系统中的数据处理模块310和规则确定模块320)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行网络设备的各种功能应用以及数据处理，即实现上述的流量数据处理方法。
存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至网络设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置62可用于接收输入的数字或字符信息，以及产生与网络设备的用户设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。
除此之外，网络设备还可以包括数据处理模块和规则确定模块(图7中未示出)。
实施例五
本发明实施例五还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的流量数据处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable Read OnlyMemory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种流量数据处理方法，其特征在于，包括：
通过数据处理模块向规则确定模块发送参考流量数据；
通过所述规则确定模块对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，并将所述动态过滤规则发送至所述数据处理模块；
通过所述数据处理模块根据所述动态过滤规则对全量流量数据进行数据处理。
2.根据权利要求1所述的方法，其特征在于，在所述通过数据处理模块向规则确定模块发送参考流量数据之前，还包括：
通过所述数据处理模块获取原始参考流量数据；
通过所述数据处理模块对所述原始参考流量数据进行域名系统DNS解析，得到所述参考流量数据；
所述通过数据处理模块向规则确定模块发送参考流量数据，包括：
通过所述数据处理模块将所述参考流量数据的镜像数据发送至所述规则确定模块。
3.根据权利要求1所述的方法，其特征在于，所述通过所述规则确定模块对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，包括：
通过所述规则确定模块对所述参考流量数据进行全量解析，得到全量解析结果；
通过所述规则确定模块根据预设流量过滤规则对所述全量解析结果确定所述动态过滤规则。
4.根据权利要求1所述的方法，其特征在于，所述通过所述规则确定模块对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，包括：
通过所述规则确定模块在所述参考流量数据为未知流量数据的情况下，对所述参考流量数据进行解析，并根据解析结果和预设学习分析策略确定所述动态过滤规则。
5.根据权利要求3所述的方法，其特征在于，所述预设流量过滤规则包括基于IP地址的流量过滤规则、基于域名信息的流量过滤规则以及基于协议的流量过滤规则。
6.根据权利要求1所述的方法，其特征在于，所述通过所述数据处理模块根据所述动态过滤规则对全量流量数据进行数据处理，包括：
通过所述数据处理模块对所述全量流量数据的数据报文进行识别，得到报文识别结果；
通过所述数据处理模块根据所述报文识别结果以及所述动态过滤规则进行数据匹配，得到匹配流量数据；
通过所述数据处理模块对所述匹配流量数据进行数据处理。
7.根据权利要求1所述的方法，其特征在于，在所述通过数据处理模块向规则确定模块发送参考流量数据之前，还包括：
通过规则管理平台向所述规则确定模块发送预设流量过滤规则。
8.一种流量数据处理系统，其特征在于，包括：数据处理模块和规则确定模块，所述数据处理模块和所述规则确定模块通信连接；其中：
所述数据处理模块用于向所述规则确定模块发送参考流量数据，并根据所述规则确定模块发送的动态过滤规则对全量流量数据进行数据处理；
所述规则确定模块用于对所述参考流量数据进行解析，根据解析结果确定动态过滤规则，并将所述动态过滤规则发送至所述数据处理模块。
9.一种网络设备，其特征在于，所述网络设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的流量数据处理方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的流量数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011412922.5A CN112565262A (zh) | 2020-12-03 | 2020-12-03 | 一种流量数据处理方法、系统、网络设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011412922.5A CN112565262A (zh) | 2020-12-03 | 2020-12-03 | 一种流量数据处理方法、系统、网络设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112565262A true CN112565262A (zh) | 2021-03-26 |
Family
ID=75048904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011412922.5A Pending CN112565262A (zh) | 2020-12-03 | 2020-12-03 | 一种流量数据处理方法、系统、网络设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112565262A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113206803A (zh) * | 2021-04-29 | 2021-08-03 | 吉林体育学院 | 一种基于深度包检测改进技术的大数据分析方法 |
| CN113204570A (zh) * | 2021-04-14 | 2021-08-03 | 福建星瑞格软件有限公司 | 一种基于数据特征的数据库协议识别方法及装置 |
| CN114520790A (zh) * | 2021-12-20 | 2022-05-20 | 杭州迪普信息技术有限公司 | 一种报文过滤的方法及装置 |
| CN114884882A (zh) * | 2022-06-16 | 2022-08-09 | 深圳星云智联科技有限公司 | 一种流量可视化方法、装置、设备及存储介质 |
| CN115334003A (zh) * | 2022-08-10 | 2022-11-11 | 上海欣诺通信技术股份有限公司 | 一种基于汇聚分流设备的数据流处理方法及系统 |
| CN117130941A (zh) * | 2023-10-24 | 2023-11-28 | 易方信息科技股份有限公司 | 基于浏览器插件的接口自动化方法、系统、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110035469A1 (en) * | 2009-08-05 | 2011-02-10 | Verisign, Inc. | Method and system for filtering of network traffic |
| CN105162626A (zh) * | 2015-08-20 | 2015-12-16 | 西安工程大学 | 基于众核处理器的网络流量深度识别系统及识别方法 |
| CN108259371A (zh) * | 2016-12-28 | 2018-07-06 | 亿阳信通股份有限公司 | 一种基于流处理的网络流量数据解析方法和装置 |
| CN110213198A (zh) * | 2018-02-28 | 2019-09-06 | 中标软件有限公司 | 网络流量的监控方法及系统 |
-
2020
- 2020-12-03 CN CN202011412922.5A patent/CN112565262A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110035469A1 (en) * | 2009-08-05 | 2011-02-10 | Verisign, Inc. | Method and system for filtering of network traffic |
| CN105162626A (zh) * | 2015-08-20 | 2015-12-16 | 西安工程大学 | 基于众核处理器的网络流量深度识别系统及识别方法 |
| CN108259371A (zh) * | 2016-12-28 | 2018-07-06 | 亿阳信通股份有限公司 | 一种基于流处理的网络流量数据解析方法和装置 |
| CN110213198A (zh) * | 2018-02-28 | 2019-09-06 | 中标软件有限公司 | 网络流量的监控方法及系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113204570A (zh) * | 2021-04-14 | 2021-08-03 | 福建星瑞格软件有限公司 | 一种基于数据特征的数据库协议识别方法及装置 |
| CN113206803A (zh) * | 2021-04-29 | 2021-08-03 | 吉林体育学院 | 一种基于深度包检测改进技术的大数据分析方法 |
| CN114520790A (zh) * | 2021-12-20 | 2022-05-20 | 杭州迪普信息技术有限公司 | 一种报文过滤的方法及装置 |
| CN114520790B (zh) * | 2021-12-20 | 2024-03-22 | 杭州迪普信息技术有限公司 | 一种报文过滤的方法及装置 |
| CN114884882A (zh) * | 2022-06-16 | 2022-08-09 | 深圳星云智联科技有限公司 | 一种流量可视化方法、装置、设备及存储介质 |
| CN114884882B (zh) * | 2022-06-16 | 2023-11-21 | 深圳星云智联科技有限公司 | 一种流量可视化方法、装置、设备及存储介质 |
| CN115334003A (zh) * | 2022-08-10 | 2022-11-11 | 上海欣诺通信技术股份有限公司 | 一种基于汇聚分流设备的数据流处理方法及系统 |
| CN117130941A (zh) * | 2023-10-24 | 2023-11-28 | 易方信息科技股份有限公司 | 基于浏览器插件的接口自动化方法、系统、设备及介质 |
| CN117130941B (zh) * | 2023-10-24 | 2024-03-26 | 易方信息科技股份有限公司 | 基于浏览器插件的接口自动化方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112565262A (zh) | 一种流量数据处理方法、系统、网络设备及存储介质 | |
| USRE49126E1 (en) | Real-time adaptive processing of network data packets for analysis | |
| CN113037500B (zh) | 网络设备和用于网络通信的方法 | |
| US9210122B2 (en) | System and method for inspecting domain name system flows in a network environment | |
| US9001688B2 (en) | Dynamic balancing of a traffic mix for data center device testing | |
| KR101567386B1 (ko) | 콘텐츠 라우터 기반의 인터넷 프로토콜을 위한 방법 및 장치 | |
| CN106953737B (zh) | 在计算机网络内使用输出协议提供应用元数据 | |
| US9413667B2 (en) | Methods and network nodes for traffic steering based on per-flow policies | |
| US8130767B2 (en) | Method and apparatus for aggregating network traffic flows | |
| MX2010006846A (es) | Metodo para configuracion de acls en dispositivo de red basado en informacion de flujo. | |
| CN113364804B (zh) | 一种流量数据的处理方法和装置 | |
| US20180309647A1 (en) | Length Control For Packet Header Sampling | |
| JP2023505720A (ja) | ネットワークトラフィック識別デバイス | |
| EP1950917A1 (en) | Methods for peer-to-peer application message identifying and operating realization and their corresponding devices | |
| CN115499230A (zh) | 网络攻击检测方法和装置、设备及存储介质 | |
| KR101292873B1 (ko) | 네트워크 인터페이스 카드장치 및 상기 네트워크 인터페이스 카드장치를 이용한 트래픽 처리 방법 | |
| CN113746654B (zh) | 一种IPv6地址管理和流量分析的方法和装置 | |
| JP2015164295A (ja) | 情報伝送システム、情報通信装置、情報伝送装置、及びプログラム | |
| CN108377211B (zh) | 基于报文内容感知的动态规则链式递归触发方法及其系统 | |
| CN105282050A (zh) | 聚合数据流的方法和装置 | |
| KR20030034533A (ko) | Ｉｐ 네트워크에서 플로우에 기반한 트래픽 표본화 방법 | |
| CN107659600B (zh) | 一种基于p2p的路由器http文件服务系统和方法 | |
| US20140269741A1 (en) | Transparent flow based application navigator | |
| CN117527763A (zh) | 网络代理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220601 Address after: 100029 Beijing city Chaoyang District Yumin Road No. 3 Applicant after: NATIONAL COMPUTER NETWORK AND INFORMATION SECURITY MANAGEMENT CENTER Applicant after: EVERSEC (BEIJING) TECHNOLOGY Co.,Ltd. Address before: Room 5002, 5th floor, building 27, No. 25, North Third Ring Road West, Haidian District, Beijing 100098 Applicant before: EVERSEC (BEIJING) TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |