CN112272123A - 网络流量分析方法、装置、电子设备和存储介质 - Google Patents

网络流量分析方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112272123A
CN112272123A CN202011112363.6A CN202011112363A CN112272123A CN 112272123 A CN112272123 A CN 112272123A CN 202011112363 A CN202011112363 A CN 202011112363A CN 112272123 A CN112272123 A CN 112272123A
Authority
CN
China
Prior art keywords
quintuple
data message
rule
target data
network traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011112363.6A
Other languages
English (en)
Other versions
CN112272123B (zh
Inventor
闫小龙
万月亮
火一莽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN202011112363.6A priority Critical patent/CN112272123B/zh
Publication of CN112272123A publication Critical patent/CN112272123A/zh
Priority to PCT/CN2021/116357 priority patent/WO2022078104A1/zh
Application granted granted Critical
Publication of CN112272123B publication Critical patent/CN112272123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/14—Arrangements for monitoring or testing data switching networks using software, i.e. software packages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种网络流量分析方法。所述方法包括：接收批量的数据报文和批量需进行网络流量分析的五元组规则，其中，所述五元组规则是至少一个DPI业务卡基于接收的所述数据报文所生成的；基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文；基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使所述至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理。以实现高效对大量网络流量进行分析的效果。

Description

网络流量分析方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及数据传输技术，尤其涉及一种网络流量分析方法、装置、电子设备和存储介质。
背景技术
随着全球大数据以及人工智能技术的高速发展，对于网络性越来越高，从原来的百兆、千兆的吞吐量迅速增长到现在的10G、25G甚至100G、200G等等吞吐量，如何高效处理高吞吐量的数据是现在亟待解决的问题。
现有技术中，对网络流量的分析是依据网络流量分析DPI系统来实现，在该系统中存在多个DPI业务卡，当接收到网络流量分析任务时，各DPI业务卡对分配的网络流量分析任务进行分析，具体分析涉及dns域名解析、记录ip地址表、五元组规则匹配、宽带号规则匹配、宽带号和五元组的对应关系维护、url解析和规则匹配等，需要进行报文内容解析，并做大量运算。
上述的各DPI业务卡当对某一网络流量分析任务进行处理时，需要进行上述所有的分析工作，这种方式对于少量的网络流量分析任务可很好实施，但对于大量网络流量分析任务，由于各DPI业务卡的处理能力有限，则需要部署更多的DPI业务卡，但机框业务卡槽位数目有限，不可能一直线性扩大网络流量分析系统，这样就无法对大量的网络流量分析任务进行处理。
发明内容
本发明实施例提供一种网络流量分析方法、装置、电子设备和存储介质，以实现高效对大量网络流量进行分析的效果。
第一方面，本发明实施例提供了一种网络流量分析方法，该方法应用于加速卡，包括：
接收批量的数据报文和批量需进行网络流量分析的五元组规则，其中，所述五元组规则是至少一个DPI业务卡基于接收的所述数据报文所生成的；
基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文；
基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使所述至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理。
第二方面，本发明实施例提供了一种网络流量分析方法，该方法应用于DPI业务卡，包括：
接收批量的数据报文，对批量所述数据报文进行解析，获取批量所述数据报文的dns域名、会话信息和IP地址；
基于所述dns域名、会话信息和IP地址，确定批量所述数据报文对应的五元组规则，并将所述五元组规则发送至加速卡中，以使所述加速卡基于所述五元组规则，在数据报文中添加标识字符。
第三方面，本发明实施例还提供了一种网络流量分析系统，该系统包括：加速卡，以及与所述加速卡物理连接的至少一个DPI业务卡；
所述加速卡，用于接收批量的数据报文和批量需进行网络流量分析的五元组规则；基于所述数据报文和所述五元组规则，确定需添加标识字符的的目标数据报文；基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡；
所述至少一个DPI业务卡，用于生成各数据报文对应的五元组规则，将各数据报文对应的五元组规则发送至所述加速卡，以及接收的加速卡发送的添加标识字符后的数据报文，识别所述数据报文中的标识字符，并对具有标识字符的数据报文进行处理。
第四方面，本发明实施例还提供了一种网络流量分析装置，该装置设置于加速卡中，包括：
信息接收模块，用于接收批量的数据报文和批量需进行网络流量分析的五元组规则，其中，所述五元组规则是DPI业务卡基于接收的所述数据报文所生成的；
目标数据报文确定模块，用于基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文；
标识字符添加模块，用于基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使所述至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理。
第五方面，本发明实施例还提供了一种网络流量分析装置，该装置设置于各DPI业务卡中，包括：
解析模块，用于接收批量的数据报文，对批量所述数据报文进行解析，获取批量所述数据报文的dns域名、会话信息和IP地址；
五元组规则确定模块，用于基于所述dns域名、会话信息和IP地址，确定批量所述数据报文对应的五元组规则，并将所述五元组规则发送至加速卡中，以使所述加速卡对所述五元组规则进行匹配，以及基于所述五元组规则，在数据报文中添加标识字符。
第六方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现发明实施例中任一所述的网络流量分析方法。
第七方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例中任一所述的网络流量分析方法。
本发明实施例的技术方案，通过接收批量的数据报文和批量需进行网络流量分析的五元组规则，基于数据报文和五元组规则，确定需添加标识字符的目标数据报文，基于五元组规则，对目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理，这样利用一个单独的加速卡来完成网络流量分析中的五元组规则匹配和掩码五元组规则匹配的过程，这样就节省了后续各DPI业务卡的处理过程，提高了对大量数据报文的网络流量分析的效率。
附图说明
图1是本发明实施例一中的网络流量分析方法的流程图；
图2是本发明实施例一中的现有技术中的网络流量分析的执行示意图；
图3是本发明实施例一中的本发明的网络流量分析的执行示意图；
图4是本发明实施例二中的网络流量分析方法的流程图；
图5是本发明实施例三中的网络流量分析系统的结构示意图；
图6是本发明实施例四中的网络流量分析装置的结构示意图；
图7是本发明实施例五中的网络流量分析装置的结构示意图；
图8是本发明实施例六中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的网络流量分析方法的流程图，本实施例应用于加速卡，可适用于对大量网络流量进行分析的情况，该方法可以由网络流量分析装置来执行，该网络流量分析装置可以由软件和/或硬件来实现，该网络流量分析装置可以配置在电子计算设备上，具体包括如下步骤：
S110、接收批量的数据报文和批量需进行网络流量分析的五元组规则，其中，五元组规则是至少一个DPI业务卡基于接收的数据报文所生成的。
示例性的，加速卡接收批量的数据报文，在数据报文中包括该数据报文的五元组信息。
加速卡还接收至少一个DPI业务卡发送的需进行网络流量分析的五元组规则，这里的五元组规则是至少一个DPI业务卡基于接收的数据报文所生成的。
需要说明的是，这里的五元组规则可以是一个DPI业务卡发送的批量的五元组规则，也可以是多个DPI业务卡发送的批量的五元组规则。
需要说明的是，要对哪些数据报文进行网络流量分析，这个指令是至少一个DPI业务卡发送给加速卡的，具体的是通过至少一个DPI业务卡发送的需进行网络流量分析的五元组规则来告知加速卡的。
S120、基于数据报文和五元组规则，确定需添加标识字符的目标数据报文。
示例性的，目标数据报文可以是需要进行添加标识字符的数据报文。因为当加速卡接收到数据报文后，有些报文是不需后续的DPI业务卡进行后续的网络流量分析的，具体的可以是后续的各DPI业务卡不对其进行后续的网络流量分析，将需进行后续网络流量分析的数据报文作为目标数据报文。
可选的，在数据报文中包括该数据报文的五元组信息(第二五元组信息)。在五元组规则中也包含有要进行网络流量分析的数据报文的五元组信息(第一五元组信息)。
可选的，所述基于数据报文和五元组规则，确定需添加标识字符的目标数据报文，具体可以是：提取数据报文中的第二五元组信息，以及五元组规则中的第一五元组信息；比对第一五元组信息和第二五元组信息，若比对成功，则将第二五元组信息所对应的数据报文作为需添加标识字符的目标数据报文。
示例性的，这里的第一五元组信息可以是加速卡接收的数据报文中的包含的数据报文的五元组信息。
这里的第二五元组信息可以是加速卡接收的至少一个DPI业务卡发送的五元组规则中包含的需DPI业务卡进行后续的网络流量分析的数据报文的五元组信息。
当加速卡接收到数据报文和五元组规则后，分别从数据报文中提取第一五元组信息，从五元组规则中提取第二五元组信息，然后比对第一五元组信息和第二五元组信息，若第一五元组信息和第二五元组信息一致，则说明加速卡接收的数据报文为需要添加标识字符的数据报文，即目标数据报文。
需要说明的是，在实现第一五元组信息和第二五元组信息比对时，可分别采用哈希表结构和tcam模块实现，具体的利用哈希表结构实现和利用tcam模块实现均属于现有技术，这里不做详细说明。具体的采用何种方式来实现第一五元组信息和第二五元组信息的比对，可根据用户需求自行设定，这里不做限定。
需要说明的是，本发明实施例的加速卡对于哈希表结构的查询、更新等操作进行了优化，处理效率更高，该加速卡的存储的规则容量也较大。
这样利用一个单独的加速卡来完成网络流量分析中的五元组规则匹配和掩码五元组规则匹配的过程，这样就节省了后续各DPI业务卡的处理过程，提高了数据报文的网络流量分析的效率。
具体的，参考图2所述的现有技术中的网络流量分析的执行示意图，当接收到批量的数据报文后，将各数据报文分发给各DPI业务卡(例如，可以平均分配，也可以不平均分配，这里不做限定)，各DPI业务卡根据接收到的数据报文，与该DPI业务卡要进行网络流量分析的五元组规则中的五元组信息进行匹配，匹配成功后，再对匹配成功的数据报文进行后续的处理分析。这样每个DPI业务卡都要执行一遍网络流量分析的整个操作过程，包括五元组规则匹配和掩码五元组规则匹配的过程，以及后续的处理分析过程，这样每个DPI业务卡的处理能力有限，且当需要进行网络流量分析的数据报文数据巨大时，由于卡槽数量的限制，也无法增加DPI业务卡的数量，进而影响数据报文的处理效率。
参考图3所述的本发明的网络流量分析的执行示意图，当接收到批量的数据报文后，将各数据报文发送给加速卡，加速卡根据接收到的数据报文，与后面各DPI业务卡要进行网络流量分析的五元组规则中的五元组信息进行匹配，匹配成功后，再将匹配成功的数据报文发送给各DPI业务卡进行后续的处理分析过程。
需要说明的是，本发明实施例中的各DPI业务卡在接收到五元组规则匹配成功的数据报文后进行的后续网络流量分析过程不是本专利的核心要点，在本发明实施例中不做详细介绍。
S130、基于五元组规则，对目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理。
示例性的，当确定了目标数据报文后，根据五元组规则中的预设的特定会话信息，可对目标数据报文添加标识字符，该标识字符用于使DPI业务卡识别出来后续要进行网络流量分析的是哪些数据报文。
当对目标数据报文添加标识字符后，将添加了标识字符的目标数据报文发送给各DPI业务卡，以使各DPI业务卡可识别该标识字符，并对添加有标识字符的目标数据报文进行后续的分析处理。
需要说明的是，在将添加了标识字符的目标数据报文发送给各DPI业务卡时，同时也会将未添加标识字符的数据报文发送给各DPI业务卡，当各DPI业务卡接收到数据报文后，可识别数据报文中的标识字符，对具有标识字符的目标数据报文进行后续的分析处理，而不分析处理未有标识字符的数据报文。
需要说明的是，各DPI业务卡在向加速卡发送五元组规则时，可携带有各DPI业务卡的业务卡ID，这样以便后续可将目标数据报文发送给对应的DPI业务卡。当然，各DPI业务卡在接收目标数据报文时，也可以是任意接收，这里不做限定。
可选的，所述基于五元组规则和目标数据报文，对目标数据报文添加标识字符，具体可以是：将五元组规则中的预设特定会话信息作为尾标添加至目标数据报文的尾部；在尾标开始位置和尾标末尾位置分别添加起止标识字符。
示例性的，在五元组规则中包含有预设特定会话信息。该预设特定会话信息可以是预先设置的，以便于添加标识字符。
将五元组规则中的预设特定会话信息作为尾标添加至目标数据报文的尾部，即将预设特定会话信息添加到目标数据报文的尾部，然后在该尾部的开始位置和末尾位置分别对应添加起止标识字符。这样即可实现对目标数据报文添加标识字符的目的。
这样在后续需DPI业务卡进行后续网络流量分析的数据报文中添加标识字符，以便DPI业务卡可识别出需进行后续网络流量分析的数据报文，以对其进行后续的网络流量分析，提高了数据报文进行网络流量分析的效率。
本发明实施例的技术方案，通过接收批量的数据报文和批量需进行网络流量分析的五元组规则，基于数据报文和五元组规则，确定需添加标识字符的目标数据报文，基于五元组规则，对目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理，这样利用一个单独的加速卡来完成网络流量分析中的五元组规则匹配和掩码五元组规则匹配的过程，这样就节省了后续各DPI业务卡的处理过程，提高了对大量数据报文的网络流量分析的效率。
实施例二
图4为本发明实施例二提供的网络流量分析方法的流程图，本发明实施例应用于至少一个DPI业务卡，可与上述实施例中各个可选方案可以结合。本发明实施例可适用于对大量网络流量进行分析的情况，该方法可以由网络流量分析装置来执行，该网络流量分析装置可以由软件和/或硬件来实现，该网络流量分析装置可以配置在电子计算设备上，具体包括如下步骤：
如图4所示，本发明实施例的方法具体包括如下步骤：
S210、接收批量的数据报文，对各数据报文进行解析，获取各数据报文的dns域名、会话信息和IP地址.
示例性的，至少一个DPI业务卡接收批量的数据报文，对各数据报文进行解析，可得到各数据报文的dns域名、会话信息和IP地址。
S220、基于dns域名、会话信息和IP地址，确定各数据报文对应的五元组规则，并将五元组规则发送至加速卡中，以使加速卡基于五元组规则，在数据报文中添加标识字符。
示例性的，根据解析出的各数据报文的dns域名、会话信息和IP地址，可确定各数据报文对应的五元组规则，具体的，根据各数据报文的dns域名、会话信息和IP地址，确定各数据报文对应的五元组规则属于现有技术，这里不做详细描述。
当确定了各数据报文的五元组规则后，将各数据报文的五元组规则发送至加速卡中，在五元组规则中包含预设特定会话信息，以使加速卡对五元组规则进行匹配，以及基于五元组规则中的预设特定会话信息，在需进行添加标识字符的数据报文中添加标识字符，并对接收的加速卡发送的添加了标识字符后的数据报文进行处理。
加速卡对五元组规则进行匹配，以及五元组规则，在需进行网络流量分析的数据报文中添加标识字符的过程与上述实施一中的一致，这里不做详细描述。
这样通过对接收的数据报文进行解析，得到数据报文对应的五元组规则，以便后续DPI业务卡可基于该五元组规则中的预设特定会话信息来识别出要进行后续网络流量分析的数据报文。
可选的，在所述将五元组规则发送至加速卡中后，所述方法还包括：接收加速卡返回的数据报文，并识别数据报文中的标识字符，对具有标识字符的所述数据报文进行处理。
示例性的，DPI业务卡在接收到加速卡发送的数据报文后，识别数据报文中的标识字符，并对具有标识字符的数据报文进行处理。
这样DPI业务卡可识别标识字符，并对具有标识字符的数据报文进行后续的网络流量分析过程，就不需进行加速卡所进行的网络流量分析过程，这样缓解了各DPI业务卡的压力，不需部署较多的DPI业务卡，达到了高效对大量网络流量进行分析的效果。
本发明实施例的技术方案，通过对接收的数据报文进行解析，得到数据报文对应的五元组规则，同时DPI业务卡可识别出具有标识字符的数据报文，并对具有标识字符的数据报文进行后续的网络流量分析过程，就不需进行加速卡所进行的网络流量分析过程，这样缓解了各DPI业务卡的压力，不需部署较多的DPI业务卡，达到了高效对大量网络流量进行分析的效果。。
实施例三
图5为本发明实施例三提供的网络流量分析系统的结构示意图，如图5所示，该系统包括加速卡31，以及与加速卡31物理连接的至少一个DPI业务卡。
加速卡31，用于接收批量的数据报文和批量需进行网络流量分析的五元组规则；基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文；基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡32；
至少一个DPI业务卡32，用于生成各数据报文对应的五元组规则，将各数据报文对应的五元组规则发送至所述加速卡，以及接收的加速卡发送的添加标识字符后的数据报文，识别所述数据报文中的标识字符，并对具有标识字符的数据报文进行处理。
需要说明的是，各DPI业务卡具体用于接收批量的数据报文，对批量所述数据报文进行解析，获取各所述数据报文的dns域名、会话信息和IP地址；基于所述dns域名、会话信息和IP地址，确定各所述数据报文对应的五元组规则，
需要说明的是，本发明实施例中的加速卡和各DPI业务卡均插在机框的卡槽中。
本发明实施例所提供的网络流量分析系统可执行本发明任意实施例所提供的网络流量分析方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的网络流量分析装置的结构示意图，本发明实施例的网络流量分析装置与上述实施例一中的网络流量分析方法相对应，该装置设置于加速卡中，如图6所示，该装置包括：信息接收模块41、目标数据报文确定模块42和标识字符添加模块43。
其中，信息接收模块41，用于接收批量的数据报文和批量需进行网络流量分析的五元组规则，其中，所述五元组规则是DPI业务卡基于接收的所述数据报文所生成的；
目标数据报文确定模块42，用于基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文；
标识字符添加模块43，用于基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使所述至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理。
可选的，所述五元组规则包括：第一五元组信息，所述数据报文中包括：所述数据报文对应的第二五元组信息。
在上述实施例的技术方案的基础上，目标数据报文确定模块42具体用于：
提取所述数据报文中的第二五元组信息，以及所述五元组规则中的第一五元组信息；比对所述第一五元组信息和所述第二五元组信息，若比对成功，则将所述第二五元组信息所对应的数据报文作为需添加标识字符的目标数据报文。
可选的，所述五元组规则中还包括：预设特定会话信息。
在上述实施例的技术方案的基础上，标识字符添加模块43包括：
信息添加单元，用于将所述五元组规则中的预设特定会话信息作为尾标添加至所述目标数据报文的尾部；
起止标识字符添加单元，用于在所述尾标开始位置和所述尾标末尾位置分别添加起止标识字符。
本发明实施例所提供的网络流量分析装置可执行本发明实施例一所提供的网络流量分析方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7为本发明实施例五提供的网络流量分析装置的结构示意图，本发明实施例的网络流量分析装置与上述实施例二中的网络流量分析方法相对应，该装置设置于各DPI业务卡中，如图7所示，该装置包括：解析模块51和五元组规则确定模块52。
其中，解析模块51，用于接收批量的数据报文，对各所述数据报文进行解析，获取各所述数据报文的dns域名、会话信息和IP地址；
五元组规则确定模块52，用于基于所述dns域名、会话信息和IP地址，确定各所述数据报文对应的五元组规则，并将所述五元组规则发送至加速卡中，以使所述加速卡对所述五元组规则进行匹配，以及基于所述五元组规则，，在数据报文中添加标识字符。
在上述实施例的技术方案的基础上，该装置还包括：
标识字符识别模块，用于接收加速卡返回的数据报文，并识别所述数据报文中的标识字符，对具有所述标识字符的所述数据报文进行处理。
本发明实施例所提供的网络流量分析装置可执行本发明实施例二所提供的网络流量分析方法，具备执行方法相应的功能模块和有益效果。
实施例六
图8为本发明实施例六提供的一种电子设备的结构示意图，如图8所示，该电子设备包括处理器70、存储器71、输入装置72和输出装置73；电子设备中处理器70的数量可以是一个或多个，图8中以一个处理器70为例；电子设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的网络流量分析方法对应的程序指令/模块(例如，信息接收模块41、目标数据报文确定模块42和标识字符添加模块43，和/或，解析模块51和五元组规则确定模块52)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的网络流量分析方法。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种网络流量分析方法。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的网络流量分析方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述网络流量分析装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种网络流量分析方法，其特征在于，应用于加速卡，包括：
接收批量的数据报文和批量需进行网络流量分析的五元组规则，其中，所述五元组规则是至少一个DPI业务卡基于接收的所述数据报文所生成的；
基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文；
基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使所述至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理。
2.根据权利要求1所述的方法，其特征在于，所述五元组规则包括：第一五元组信息，所述数据报文中包括：所述数据报文对应的第二五元组信息；
所述基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文，包括：
提取所述数据报文中的第二五元组信息，以及所述五元组规则中的第一五元组信息；
比对所述第一五元组信息和所述第二五元组信息，若比对成功，则将所述第二五元组信息所对应的数据报文作为需添加标识字符的目标数据报文。
3.根据权利要求1所述的方法，其特征在于，所述五元组规则中还包括：预设特定会话信息；
所述基于所述五元组规则和所述目标数据报文，对所述目标数据报文添加标识字符，包括：
将所述五元组规则中的预设特定会话信息作为尾标添加至所述目标数据报文的尾部；
在所述尾标开始位置和所述尾标末尾位置分别添加起止标识字符。
4.一种网络流量分析方法，其特征在于，应用于DPI业务卡，包括：
接收批量的数据报文，对各所述数据报文进行解析，获取各所述数据报文的dns域名、会话信息和IP地址；
基于所述dns域名、会话信息和IP地址，确定各所述数据报文对应的五元组规则，并将所述五元组规则发送至加速卡中，以使所述加速卡基于所述五元组规则，在数据报文中添加标识字符。
5.根据权利要求4所述的方法，其特征在于，在所述将所述五元组规则发送至加速卡中后，所述方法还包括：
接收加速卡返回的数据报文，并识别所述数据报文中的标识字符，对具有所述标识字符的所述数据报文进行处理。
6.一种网络流量分析系统，其特征在于，包括：加速卡，以及与所述加速卡物理连接的至少一个DPI业务卡；
所述加速卡，用于接收批量的数据报文和批量需进行网络流量分析的五元组规则；基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文；基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡；
所述至少一个DPI业务卡，用于生成各数据报文对应的五元组规则，将各数据报文对应的五元组规则发送至所述加速卡，以及接收的加速卡发送的添加标识字符后的数据报文，识别所述数据报文中的标识字符，并对具有标识字符的数据报文进行处理。
7.一种网络流量分析装置，其特征在于，包括：
信息接收模块，用于接收批量的数据报文和批量需进行网络流量分析的五元组规则，其中，所述五元组规则是DPI业务卡基于接收的所述数据报文所生成的；
目标数据报文确定模块，用于基于所述数据报文和所述五元组规则，确定需添加标识字符的目标数据报文；
标识字符添加模块，用于基于所述五元组规则，对所述目标数据报文添加标识字符，并将添加标识字符后的目标数据报文输出给至少一个DPI业务卡，以使所述至少一个DPI业务卡对添加标识字符后的目标数据报文进行处理。
8.一种网络流量分析装置，其特征在于，包括：
解析模块，用于接收批量的数据报文，对批量所述数据报文进行解析，获取批量所述数据报文的dns域名、会话信息和IP地址；
五元组规则确定模块，用于基于所述dns域名、会话信息和IP地址，确定批量所述数据报文对应的五元组规则，并将所述五元组规则发送至加速卡中，以使所述加速卡对所述五元组规则进行匹配，以及基于所述五元组规则，在数据报文中添加标识字符。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的网络流量分析方法，和/或，权利要求4-5中任一所述的网络流量分析方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-3中任一所述的网络流量分析方法，和/或，权利要求4-5中任一所述的网络流量分析方法。
CN202011112363.6A 2020-10-16 2020-10-16 网络流量分析方法、系统、装置、电子设备和存储介质 Active CN112272123B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011112363.6A CN112272123B (zh) 2020-10-16 2020-10-16 网络流量分析方法、系统、装置、电子设备和存储介质
PCT/CN2021/116357 WO2022078104A1 (zh) 2020-10-16 2021-09-03 网络流量分析方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011112363.6A CN112272123B (zh) 2020-10-16 2020-10-16 网络流量分析方法、系统、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112272123A true CN112272123A (zh) 2021-01-26
CN112272123B CN112272123B (zh) 2022-04-15

Family

ID=74338347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011112363.6A Active CN112272123B (zh) 2020-10-16 2020-10-16 网络流量分析方法、系统、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN112272123B (zh)
WO (1) WO2022078104A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112953841A (zh) * 2021-02-20 2021-06-11 杭州迪普信息技术有限公司 报文分流方法及系统
WO2022078104A1 (zh) * 2020-10-16 2022-04-21 北京锐安科技有限公司 网络流量分析方法、装置、电子设备和存储介质
CN115225544A (zh) * 2022-07-19 2022-10-21 武汉思普崚技术有限公司 一种网络流量统计和监测方法、装置、电子设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115065641A (zh) * 2022-06-09 2022-09-16 深圳市东晟数据有限公司 汇聚分流系统
CN115484217B (zh) * 2022-09-06 2024-01-05 燕山大学 基于正交架构一体化的高效动态收敛机制实现方法和系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121615A1 (en) * 2005-11-28 2007-05-31 Ofer Weill Method and apparatus for self-learning of VPNS from combination of unidirectional tunnels in MPLS/VPN networks
EP2437470A1 (en) * 2010-09-30 2012-04-04 British Telecommunications Public Limited Company Network element and method for deriving quality of service data from a distributed hierarchical naming system
CN103795709A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种网络安全检测方法和系统
US20140198718A1 (en) * 2013-01-11 2014-07-17 International Business Machines Corporation Avoiding network address translaton in a mobile data network
CN104156389A (zh) * 2014-07-04 2014-11-19 重庆邮电大学 基于Hadoop平台的深度包检测系统及方法
CN104717101A (zh) * 2013-12-13 2015-06-17 中国电信股份有限公司 深度包检测方法和系统
CN104780080A (zh) * 2015-04-13 2015-07-15 苏州迈科网络安全技术股份有限公司 深度报文检测方法及系统
US20160248700A1 (en) * 2015-02-20 2016-08-25 Saisei Networks, Inc. System and method for characterizing network traffic
CN106209506A (zh) * 2016-06-30 2016-12-07 瑞斯康达科技发展股份有限公司 一种虚拟化深度包检测流量分析方法及系统
CN107948022A (zh) * 2018-01-11 2018-04-20 北京安博通科技股份有限公司 一种对等网络流量的识别方法及识别装置
CN109639593A (zh) * 2018-12-24 2019-04-16 南京中孚信息技术有限公司 一种深度报文分析系统的升级方法及装置
CN109768936A (zh) * 2018-11-30 2019-05-17 南京中新赛克科技有限责任公司 一种精细化分流系统及分流方法
CN109995731A (zh) * 2017-12-30 2019-07-09 中国移动通信集团辽宁有限公司 提高缓存吐出流量的方法、装置、计算设备及存储介质
CN110768875A (zh) * 2019-12-27 2020-02-07 北京安博通科技股份有限公司 一种基于dns学习的应用识别方法及系统
WO2020063188A1 (zh) * 2018-09-30 2020-04-02 浙江大学 一种基于工业scada系统的深度包检测平台
CN111130946A (zh) * 2019-12-30 2020-05-08 联想(北京)有限公司 一种深度报文识别的加速方法、装置和存储介质
CN111277570A (zh) * 2020-01-10 2020-06-12 中电长城网际系统应用有限公司 数据的安全监测方法和装置、电子设备、可读介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399749B (zh) * 2007-09-27 2012-04-04 华为技术有限公司 一种报文过滤的方法、系统和设备
EP2415216B1 (en) * 2009-04-02 2014-06-11 Telefonaktiebolaget LM Ericsson (publ) Techniques for handling network traffic
CN108259371A (zh) * 2016-12-28 2018-07-06 亿阳信通股份有限公司 一种基于流处理的网络流量数据解析方法和装置
CN109391520B (zh) * 2017-08-10 2020-07-14 中国移动通信有限公司研究院 基于融合型家庭网关的深度报文检测方法、装置和系统
CN112272123B (zh) * 2020-10-16 2022-04-15 北京锐安科技有限公司 网络流量分析方法、系统、装置、电子设备和存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121615A1 (en) * 2005-11-28 2007-05-31 Ofer Weill Method and apparatus for self-learning of VPNS from combination of unidirectional tunnels in MPLS/VPN networks
EP2437470A1 (en) * 2010-09-30 2012-04-04 British Telecommunications Public Limited Company Network element and method for deriving quality of service data from a distributed hierarchical naming system
US20140198718A1 (en) * 2013-01-11 2014-07-17 International Business Machines Corporation Avoiding network address translaton in a mobile data network
CN104717101A (zh) * 2013-12-13 2015-06-17 中国电信股份有限公司 深度包检测方法和系统
CN103795709A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种网络安全检测方法和系统
CN104156389A (zh) * 2014-07-04 2014-11-19 重庆邮电大学 基于Hadoop平台的深度包检测系统及方法
US20160248700A1 (en) * 2015-02-20 2016-08-25 Saisei Networks, Inc. System and method for characterizing network traffic
CN104780080A (zh) * 2015-04-13 2015-07-15 苏州迈科网络安全技术股份有限公司 深度报文检测方法及系统
CN106209506A (zh) * 2016-06-30 2016-12-07 瑞斯康达科技发展股份有限公司 一种虚拟化深度包检测流量分析方法及系统
CN109995731A (zh) * 2017-12-30 2019-07-09 中国移动通信集团辽宁有限公司 提高缓存吐出流量的方法、装置、计算设备及存储介质
CN107948022A (zh) * 2018-01-11 2018-04-20 北京安博通科技股份有限公司 一种对等网络流量的识别方法及识别装置
WO2020063188A1 (zh) * 2018-09-30 2020-04-02 浙江大学 一种基于工业scada系统的深度包检测平台
CN109768936A (zh) * 2018-11-30 2019-05-17 南京中新赛克科技有限责任公司 一种精细化分流系统及分流方法
CN109639593A (zh) * 2018-12-24 2019-04-16 南京中孚信息技术有限公司 一种深度报文分析系统的升级方法及装置
CN110768875A (zh) * 2019-12-27 2020-02-07 北京安博通科技股份有限公司 一种基于dns学习的应用识别方法及系统
CN111130946A (zh) * 2019-12-30 2020-05-08 联想(北京)有限公司 一种深度报文识别的加速方法、装置和存储介质
CN111277570A (zh) * 2020-01-10 2020-06-12 中电长城网际系统应用有限公司 数据的安全监测方法和装置、电子设备、可读介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOHAN GARCIA: "A clustering-based analysis of DPI-labeled video flow characteristics in cellular networks", 《2017 IFIP/IEEE SYMPOSIUM ON INTEGRATED NETWORK AND SERVICE MANAGEMENT (IM)》 *
赵文斌: "高速网络环境下并行入侵检测技术的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
路琪等: "基于深度包检测的防火墙系统设计", 《计算机科学》 *
鲁佳琪等: "基于FPGA+TCAM架构的网络分流系统的设计与实现", 《微型机与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022078104A1 (zh) * 2020-10-16 2022-04-21 北京锐安科技有限公司 网络流量分析方法、装置、电子设备和存储介质
CN112953841A (zh) * 2021-02-20 2021-06-11 杭州迪普信息技术有限公司 报文分流方法及系统
CN112953841B (zh) * 2021-02-20 2022-05-27 杭州迪普信息技术有限公司 报文分流方法及系统
CN115225544A (zh) * 2022-07-19 2022-10-21 武汉思普崚技术有限公司 一种网络流量统计和监测方法、装置、电子设备及介质

Also Published As

Publication number Publication date
WO2022078104A1 (zh) 2022-04-21
CN112272123B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN112272123B (zh) 网络流量分析方法、系统、装置、电子设备和存储介质
RU2608464C2 (ru) Устройство, способ и сетевой сервер для обнаружения структур данных в потоке данных
CN106815112B (zh) 一种基于深度包检测的海量数据监控系统及方法
CN111708860A (zh) 信息提取方法、装置、设备及存储介质
CN110287163B (zh) 安全日志采集解析方法、装置、设备及介质
CN108900374B (zh) 一种应用于dpi设备的数据处理方法和装置
CN113315742B (zh) 攻击行为检测方法、装置及攻击检测设备
CN114157502B (zh) 一种终端识别方法、装置、电子设备及存储介质
CN108600172B (zh) 撞库攻击检测方法、装置、设备及计算机可读存储介质
CN112672381B (zh) 一种数据关联方法、装置、终端设备及介质
CN112600852B (zh) 漏洞攻击处理方法、装置、设备及存储介质
CN113825129B (zh) 一种5g网络环境下工业互联网资产测绘方法
CN110768875A (zh) 一种基于dns学习的应用识别方法及系统
CN111865978A (zh) 一种微服务的请求标识更新方法、装置、设备及介质
CN111680303B (zh) 漏洞扫描方法、装置、存储介质及电子设备
CN111857985A (zh) 浏览器插件的调用方法、装置、存储介质及终端
CN114050917B (zh) 音频数据的处理方法、装置、终端、服务器及存储介质
CN115801927A (zh) 报文解析方法及装置
CN112989315B (zh) 物联网终端的指纹生成方法、装置、设备和可读存储介质
CN111427710B (zh) 应用程序中组件的通信方法、装置、设备及存储介质
CN111639079A (zh) 一种面向内容计费业务的局数据核查方法及设备
CN110569673A (zh) 一种数据文件处理方法、装置、设备及储存介质
CN112367326B (zh) 车联网流量的识别方法及装置
CN118041500A (zh) 一种基于可编程芯片的数据关联方法和装置
Rosa et al. A Simple Approach to Verify and Debug Data Plane Programs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant