CN113890835A - Dpi应用测试报文的处理方法及装置 - Google Patents

Dpi应用测试报文的处理方法及装置 Download PDF

Info

Publication number
CN113890835A
CN113890835A CN202111148322.7A CN202111148322A CN113890835A CN 113890835 A CN113890835 A CN 113890835A CN 202111148322 A CN202111148322 A CN 202111148322A CN 113890835 A CN113890835 A CN 113890835A
Authority
CN
China
Prior art keywords
message
data
message data
filtering
application identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111148322.7A
Other languages
English (en)
Inventor
赵姗婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou DPTech Technologies Co Ltd
Original Assignee
Hangzhou DPTech Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou DPTech Technologies Co Ltd filed Critical Hangzhou DPTech Technologies Co Ltd
Priority to CN202111148322.7A priority Critical patent/CN113890835A/zh
Publication of CN113890835A publication Critical patent/CN113890835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/028Capturing of monitoring data by filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

公开涉及一种DPI应用测试报文的处理方法、装置、电子设备及计算机可读介质。该方法包括:提取报文数据的应用标识和报文过滤规则;将所述报文数据所述报文过滤规则进行比对;在所述报文数据为已识别报文时,将所述报文数据过滤掉;在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;在所述报文数据为误报报文时,生成警示信息。本公开涉及的DPI应用测试报文的处理方法、装置、电子设备及计算机可读介质,能够减少抓包过程的由于无意义流量带来的资源损耗,自动筛选无需人工查看的数据流,还能够对流量数据的特征进行自动分析整理,在测试应用程序识别过程中节省了时间,提高工作效率。

Description

DPI应用测试报文的处理方法及装置
技术领域
本公开涉及计算机信息处理领域,具体而言,涉及一种DPI应用测试报文的处理方法、装置、电子设备及计算机可读介质。
背景技术
随着信息技术行业的发展,对网络设备的管理需求也日益加大。网关设备通过深度包检测技术(DPI)实现访问应用的识别、阻断等功能,为客户提供全面、准确的访问控制管理功能。DPI技术是一种基于应用层的流量检测和控制技术,当IP数据包、TCP或UDP数据流通过基于DPI技术的带宽管理系统时,该系统通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组,从而得到整个应用程序的内容,然后按照系统定义的管理策略对流量进行整形操作。
然而现在应用程序本身经常进行更新换代或者升级,这些操作导致了应用程序报文特征变化,为了保证包含有深度包检测技术的应用程序(简称DPI应用)的正确裕兴,需要定期对DPI应用进行人工测试和更新,以保证其内部的深度包检测技术的正确运行。
但是,DPI应用需要测试大量的应用程序,面对海量的应用程序,对DPI应用程序本身的测试工作也显得庞大而繁琐。目前,在测试DPI应用是否能够准确的识别流量数据中的应用程序特征时,通常步骤如下:网关设备开启,测试人员每次设置的测试目标为少量应用,网关设备抓取流量数据中的报文包,并进行分析识别。反复进行测试,直至所有应用都被测试完毕为止。在全部测试结束后提取网关日志。当日志中包含大量报文未识别/误报时,人工手动筛选未识别/误报报文,并分析其特征。该方法中报文处理需要人工进行,且报文内容较多,夹杂部分无意义数据流,分析效率低下。
因此,需要一种新的DPI应用测试报文的处理方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种DPI应用测试报文的处理方法、装置、电子设备及计算机可读介质,能够减少抓包过程的由于无意义流量带来的资源损耗,自动筛选无需人工查看的数据流,还能够对流量数据的特征进行自动分析整理,在测试应用程序识别过程中节省了时间,提高工作效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提出一种DPI应用测试报文的处理方法,该方法包括:提取报文数据的应用标识和报文过滤规则;将所述报文数据所述报文过滤规则进行比对;在所述报文数据为已识别报文时,将所述报文数据过滤掉;在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;在所述报文数据为误报报文时,生成警示信息。
在本公开的一种示例性实施例中,提取报文数据的应用标识和报文过滤规则之前,包括:基于抓包工具由流量数据中提取报文数据的应用标识和报文过滤规则;过滤掉不包含TCP三次握手的报文数据。
在本公开的一种示例性实施例中,过滤掉不包含TCP三次握手的报文数据,包括:提取所述报文数据中的TCP连接信息;在所述TCP连接信息为已存在连接时,放行所述TCP协议数据对应的报文数据;在所述TCP连接信息为新连接时,在所述TCP连接信息对应的报文数据中不包含TCP三次握手报文时,丢弃所述报文数据。
在本公开的一种示例性实施例中,所述TCP连接信息对应的报文数据中不包含TCP三次握手报文,包括:连续提取所述TCP连接信息对应的前三个报文数据;判断前三个报文数据中是否包含TCP三次握手报文。
在本公开的一种示例性实施例中,在所述报文数据为已识别报文时,将所述报文数据过滤掉,包括:在所述报文数据匹配应用标识且匹配所述应用标识对应的报文过滤规则时,将所述报文数据过滤掉。
在本公开的一种示例性实施例中,在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则,包括:在所述报文数据匹配应用标识且未匹配所述应用标识对应的报文过滤规则时,更新所述应用标识对应的报文过滤规则。
在本公开的一种示例性实施例中,在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则,还包括:在所述报文数据未匹配应用标识时,生成警示信息。
在本公开的一种示例性实施例中,更新所述应用标识对应的报文过滤规则,包括:获取所述应用标识对应的协议类型;在所述报文数据和应用标识对应的协议类型一致时,提取所述报文数据的特征以更新所述报文过滤规则。
在本公开的一种示例性实施例中,更新所述应用标识对应的报文过滤规则,还包括:在所述报文数据和应用标识对应的协议类型不一致时,生成警示信息。
根据本公开的一方面,提出一种DPI应用测试报文的处理装置,该装置包括:提取模块,用于提取报文数据的应用标识和报文过滤规则;比对模块,用于将所述报文数据所述报文过滤规则进行比对;过滤模块,用于在所述报文数据为已识别报文时,将所述报文数据过滤掉;更新模块,用于在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;警示模块,用于在所述报文数据为误报报文时,生成警示信息。
根据本公开的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本公开的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本公开的DPI应用测试报文的处理方法、装置、电子设备及计算机可读介质,提取报文数据的应用标识和报文过滤规则;将所述报文数据所述报文过滤规则进行比对;在所述报文数据为已识别报文时,将所述报文数据过滤掉;在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;在所述报文数据为误报报文时,生成警示信息的方式,能够减少抓包过程的由于无意义流量带来的资源损耗,自动筛选无需人工查看的数据流,还能够对流量数据的特征进行自动分析整理,在测试应用程序识别过程中节省了时间,提高工作效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种DPI应用测试报文的处理方法及装置的系统框图。
图2是根据一示例性实施例示出的一种DPI应用测试报文的处理方法的流程图。
图3是根据另一示例性实施例示出的一种DPI应用测试报文的处理方法的流程图。
图4是根据另一示例性实施例示出的一种DPI应用测试报文的处理方法的流程图。
图5是根据一示例性实施例示出的一种DPI应用测试报文的处理装置的框图。
图6是根据另一示例性实施例示出的一种DPI应用测试报文的处理装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
图8是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本公开所必须的,因此不能用于限制本公开的保护范围。
图1是根据一示例性实施例示出的一种DPI应用测试报文的处理方法、装置的系统框图。
如图1所示,系统架构10可以包括终端设备101、102、103,网络104和测试装置105。网络104用以在终端设备101、102、103和测试装置105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与测试装置105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
测试装置105可以是具备数据包检索功能的装置,测试装置105可为网关和服务器的结合设备。测试装置105可例如在终端设备101、102、103对购物类或者其他类别应用浏览或操作时,获取流量数据中的报文。测试装置105可例如对流量设备中的报文进行筛选过滤,生成识别结果。测试装置105还可例如后对识别结果进行分析处理,并根据分析结果更新自身的过滤筛选条件。
测试装置105可例如提取报文数据的应用标识和报文过滤规则;测试装置105可例如将所述报文数据所述报文过滤规则进行比对;测试装置105可例如在所述报文数据为已识别报文时,将所述报文数据过滤掉;测试装置105可例如在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;测试装置105可例如在所述报文数据为误报报文时,生成警示信息。
提取报文数据的应用标识和报文过滤规则之前,测试装置105可例如基于抓包工具由流量数据中提取报文数据;测试装置105可例如基于所述报文数据提取应用标识和报文过滤规则;测试装置105可例如过滤掉不包含TCP三次握手的报文数据。
测试装置105可以是一个实体的设备,还可例如为网关设备和服务器组合而成。
在测试装置105为实体设备时,用于提取报文数据的应用标识和报文过滤规则;将所述报文数据所述报文过滤规则进行比对;在所述报文数据为已识别报文时,将所述报文数据过滤掉;在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;在所述报文数据为误报报文时,生成警示信息。
在测试装置105为网关设备和服务器组合而成时,测试装置105中的一部分可例如设置在网关设备中,用于提取报文数据的应用标识和报文过滤规则;将所述报文数据所述报文过滤规则进行比对;以及测试装置105中的一部分还可例如设置在服务器中,用于在所述报文数据为已识别报文时,将所述报文数据过滤掉;在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;在所述报文数据为误报报文时,生成警示信。
需要说明的是,本公开实施例所提供的DPI应用测试报文的处理方法可以由测试装置105执行,相应地,DPI应用测试报文的处理装置可以设置于测试装置105中。而提供给用户进行网络浏览的网页端一般位于终端设备101、102、103中。
图2是根据一示例性实施例示出的一种DPI应用测试报文的处理方法的流程图。DPI应用测试报文的处理方法20至少包括步骤S202至S210。
如图2所示,在S202中,提取报文数据的应用标识和报文过滤规则。在实际操作层面,不同的应用通常依赖于不同的协议,而不同的协议都有其特殊的指纹,这些指纹可能是特定的端口、特定的字符串或者特定的Bit序列。基于“特征字”的识别技术通过对业务流中特定数据报文中的“指纹”信息的检测以确定业务流承载的应用。
根据具体检测方式的不同,基于“特征字”的识别技术又可以被分为固定位置特征字匹配、变动位置的特征匹配以及状态特征匹配三种技术。通过对“指纹”信息的升级,基于特征的识别技术可以很方便的进行功能扩展,实现对新协议的检测。
可通过源/目的IP、源/目的端口、产生时间、协议类型等等方式对报文数据进行识别,以提取其对应的应用标识。然后根据应用标识确定报文过滤规则。
在S204中,将所述报文数据所述报文过滤规则进行比对。在一个实施例中,可事先建立应用和其报文过滤规则的列表,可通过应用的的历史数据,确定该应用的报文特征,然后指定针对这个应用的报文过滤规则,即为,符合报文过滤规则的报文会被放行,不符合规定的报文会被标记出来。
在S206中,在所述报文数据为已识别报文时,将所述报文数据过滤掉。包括:在所述报文数据匹配应用标识且匹配所述应用标识对应的报文过滤规则时,将所述报文数据过滤掉。
在S208中,在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则。
在一个实施例中,在所述报文数据匹配应用标识且未匹配所述应用标识对应的报文过滤规则时,更新所述应用标识对应的报文过滤规则。这种情况下,很可能是应用更新了其内部逻辑或者增加了新的功能,该应用对应的报文过滤规则也需要根据应用程序的更新而更新。
在一个实施例中,在所述报文数据未匹配应用标识时,生成警示信息。警示信息中可包括报文数据的全部内容,还可包括其源/目的IP、源/目的端口、产生时间、协议类型等等信息,以便后续处理。
在一个实施例中,更新所述应用标识对应的报文过滤规则,包括:获取所述应用标识对应的协议类型;在所述报文数据和应用标识对应的协议类型一致时,提取所述报文数据的特征以更新所述报文过滤规则。
在一个实施例中,对于不同网络协议的数据流,一般情况下,可以选取数据包的长度、源地址和目的地址分布、数据包的到达率、数据包的数量、业务流持续时间与平均流速率等参数进行统计、比较和分析,以达到业务识别的目的。
经通用手段拆包后所获得的信息不包含具体特征协议中的静态字段,只包含IP流的五元组(源IP地址/源端口/目的IP地址/目的端口/传输层协议)和流信息(流量/流速等)之类的报文通用信息作为报文特征。
在一个实施例中,更新所述应用标识对应的报文过滤规则,还包括:在所述报文数据和应用标识对应的协议类型不一致时,生成警示信息。警示信息中可包括报文数据的全部内容,还可包括其源/目的IP、源/目的端口、产生时间、协议类型等等信息,以便后续处理。
在S210中,在所述报文数据为误报报文时,生成警示信息。警示信息中可包括报文数据的全部内容,还可包括其源/目的IP、源/目的端口、产生时间、协议类型等等信息,以便后续处理。
根据本公开的DPI应用测试报文的处理方法,提取报文数据的应用标识和报文过滤规则;将所述报文数据所述报文过滤规则进行比对;在所述报文数据为已识别报文时,将所述报文数据过滤掉;在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;在所述报文数据为误报报文时,生成警示信息的方式,能够减少抓包过程的由于无意义流量带来的资源损耗,自动筛选无需人工查看的数据流,还能够对流量数据的特征进行自动分析整理,在测试应用程序识别过程中节省了时间,提高工作效率。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施例。
图3是根据另一示例性实施例示出的一种DPI应用测试报文的处理方法的流程图。图3所示的流程30是对图2所示的流程的补充描述。
如图3所示,在S302中,基于抓包工具由流量数据中提取报文数据。可例如,通过wireshark抓包工具对报文进行捕获过滤。
在S304中,过滤掉不包含TCP三次握手的报文数据。可例如,提取所述报文数据中的TCP连接信息;在所述TCP连接信息为已存在连接时,放行所述TCP协议数据对应的报文数据;在所述TCP连接信息为新连接时,在所述TCP连接信息对应的报文数据中不包含TCP三次握手报文时,丢弃所述报文数据。
更具体的,连续提取所述TCP连接信息对应的前三个报文数据;判断前三个报文数据中是否包含TCP三次握手报文。
在S306中,基于所述报文数据提取应用标识和报文过滤规则。
图4是根据另一示例性实施例示出的一种DPI应用测试报文的处理方法的流程图。图4所示的流程40是对图2所示的流程中S102“”的详细描述。
如图4所示,在S402中,配置应用标识及其对应的报文过滤规则。测试前可在网关设备端配置1个或多个目标应用,作为识别依据;也可以参照wireshark等抓包工具,对报文进行捕获过滤。
在S404中,获取报文。报文获取模块即抓包过程,通过自动化工具或插件等其他方法,获取软件使用时产生的数据包;也可以手动抓包后将报文导入设备。
在S406中,是否包含TCP三次握手。对包含对无三次握手TCP流的过滤:对于新的TCP流进行判断,若前三个包不是三次握手包,则将该条流丢弃。
在S408中,丢弃报文。
在S410中,匹配报文过滤规则中的应用特征库。报文筛选模块基于协议特征库,根据每条流的特征识别情况,将数据流分为三类。
在S412中,识别为已存在应用,过滤。即识别为配置对象应用的数据流。统计并记录信息后将数据流过滤。
在S414中,误报为其他应用,警示信息。即识别为其他应用程序的数据流。误报特征需要对比多个特征进行分析,因此该数据流在设备统计并记录信息后输出,后续进行人工分析。
在S416中,未识别应用,与该应用协议特征进行比较。即识别为基础协议的数据流。统计并记录信息后进入特征提取模块。
在S418中,协议一致,提取特征并更新。未识别的数据流进入特征提取模块,与配置对象应用的协议类型进行对比,若一致,则在对应协议下自动新增特征,还可对新增特征的和已存在的相同特征数据流进行整合,并将新增特征存储,便于工作人员查看。
在S420中,协议不一致,警示信息。若数据流为新的协议类型,则将报文标记输出,后续人工分析。
在S422中,存储在日志。日志记录模块记录报文筛选过程中所有数据流的识别情况,包括源/目的IP、源/目的端口、产生时间、协议类型、识别应用、三类数据流流量占比等。
本公开的DPI应用测试报文的处理方法,通过内置应用协议特征库,测试前选择配置对象应用及报文过滤规则。测试时,通过模拟器或者插件等其他方法,自动获取软件产生的数据流量;在抓包过程中进行初步筛选。同时进行特征匹配,将匹配成功(即正确识别所选应用)的数据流记录;抓包结束后对报文进行解析整合,将报文标记为三部分:已识别、未识别、误报报文;已识别报文过滤掉,未识别报文按已有的特征提取规则自动生成特征,最后输出误报报文(或根据配置需求和筛选结果输出其他报文)。该方案实现了半自动化测试应用识别,报文的自动筛选及部分自动特征提取,节省人力,提高效率。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图5是根据一示例性实施例示出的一种DPI应用测试报文的处理装置的框图。如图5所示,DPI应用测试报文的处理装置50包括:提取模块502,比对模块504,过滤模块506,更新模块508,警示模块510。
提取模块502用于提取报文数据的应用标识和报文过滤规则;
比对模块504用于将所述报文数据所述报文过滤规则进行比对;
过滤模块506用于在所述报文数据为已识别报文时,将所述报文数据过滤掉;过滤模块506还用于在所述报文数据匹配应用标识且匹配所述应用标识对应的报文过滤规则时,将所述报文数据过滤掉。
更新模块508用于在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;更新模块508还用于在所述报文数据匹配应用标识且未匹配所述应用标识对应的报文过滤规则时,更新所述应用标识对应的报文过滤规则。
警示模块510用于在所述报文数据为误报报文时,生成警示信息。
图6是根据另一示例性实施例示出的一种DPI应用测试报文的处理装置的框图。如图6所示,DPI应用测试报文的处理装置60包括:配置模块602,报文获取模块604,报文筛选模块606,特征提取模块608,日志记录模块610,输出模块612。
其中,配置模块602为抓包前配置目标应用,报文简单过滤规则等;
报文获取模块604通过自动化工具或插件等其他方法,获取软件使用时产生的数据包,并过滤掉无三次握手的TCP流;
报文筛选模块606通过匹配特征库,将报文分为三部分:已识别、未识别、误报报文,过滤已识别报文,对未识别报文进行简单自动化协议分析,进入特征提取模块608,或者输出报文待人工分析;
特征提取模块608为已有的自动提取特征方法;
日志记录模块610则记录所有数据包识别情况;
输出模块612最后默认输出误报报文,或按配置需求输出部分未识别报文等,进行后续人工分析。
根据本公开的DPI应用测试报文的处理装置,提取报文数据的应用标识和报文过滤规则;将所述报文数据所述报文过滤规则进行比对;在所述报文数据为已识别报文时,将所述报文数据过滤掉;在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;在所述报文数据为误报报文时,生成警示信息的方式,能够减少抓包过程的由于无意义流量带来的资源损耗,自动筛选无需人工查看的数据流,还能够对流量数据的特征进行自动分析整理,在测试应用程序识别过程中节省了时间,提高工作效率。
图7是根据一示例性实施例示出的一种电子设备的框图。
下面参照图7来描述根据本公开的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于:至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元710执行,使得所述处理单元710执行本说明书中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元710可以执行如图2,图3,图4中所示的步骤。
所述存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202,还可以进一步包括只读存储单元(ROM)7203。
所述存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204,这样的程序模块7205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备700’(例如键盘、指向设备、蓝牙设备等)通信,使得用户能与该电子设备700交互的设备通信,和/或该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,如图8所示,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:提取报文数据的应用标识和报文过滤规则;将所述报文数据所述报文过滤规则进行比对;在所述报文数据为已识别报文时,将所述报文数据过滤掉;在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;在所述报文数据为误报报文时,生成警示信息。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种DPI应用测试报文的处理方法,其特征在于,包括:
提取报文数据的应用标识和报文过滤规则;
将所述报文数据所述报文过滤规则进行比对;
在所述报文数据为已识别报文时,将所述报文数据过滤掉;
在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;
在所述报文数据为误报报文时,生成警示信息。
2.如权利要求1所述的方法,其特征在于,提取报文数据的应用标识和报文过滤规则之前,包括:
基于抓包工具由流量数据中提取报文数据;
过滤掉不包含TCP三次握手的报文数据;
基于所述报文数据提取应用标识和报文过滤规则。
3.如权利要求2所述的方法,其特征在于,过滤掉不包含TCP三次握手的报文数据,包括:
提取所述报文数据中的TCP连接信息;
在所述TCP连接信息为已存在连接时,放行所述TCP协议数据对应的报文数据;
在所述TCP连接信息为新连接时,在所述TCP连接信息对应的报文数据中不包含TCP三次握手报文时,丢弃所述报文数据。
4.如权利要求3所述的方法,其特征在于,所述TCP连接信息对应的报文数据中不包含TCP三次握手报文,包括:
连续提取所述TCP连接信息对应的前三个报文数据;
判断前三个报文数据中是否包含TCP三次握手报文。
5.如权利要求1所述的方法,其特征在于,在所述报文数据为已识别报文时,将所述报文数据过滤掉,包括:
在所述报文数据匹配应用标识且匹配所述应用标识对应的报文过滤规则时,将所述报文数据过滤掉。
6.如权利要求1所述的方法,其特征在于,在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则,包括:
在所述报文数据匹配应用标识且未匹配所述应用标识对应的报文过滤规则时,更新所述应用标识对应的报文过滤规则。
7.如权利要求6所述的方法,其特征在于,在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则,还包括:
在所述报文数据未匹配应用标识时,生成警示信息。
8.如权利要求6所述的方法,其特征在于,更新所述应用标识对应的报文过滤规则,包括:
获取所述应用标识对应的协议类型;
在所述报文数据和应用标识对应的协议类型一致时,提取所述报文数据的特征以更新所述报文过滤规则。
9.如权利要求8所述的方法,其特征在于,更新所述应用标识对应的报文过滤规则,还包括:
在所述报文数据和应用标识对应的协议类型不一致时,生成警示信息。
10.一种DPI应用测试报文的处理装置,其特征在于,包括:
提取模块,用于提取报文数据的应用标识和报文过滤规则;
比对模块,用于将所述报文数据所述报文过滤规则进行比对;
过滤模块,用于在所述报文数据为已识别报文时,将所述报文数据过滤掉;
更新模块,用于在所述报文数据为未识别报文时,更新所述应用标识对应的报文过滤规则;
警示模块,用于在所述报文数据为误报报文时,生成警示信息。
CN202111148322.7A 2021-09-29 2021-09-29 Dpi应用测试报文的处理方法及装置 Pending CN113890835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111148322.7A CN113890835A (zh) 2021-09-29 2021-09-29 Dpi应用测试报文的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111148322.7A CN113890835A (zh) 2021-09-29 2021-09-29 Dpi应用测试报文的处理方法及装置

Publications (1)

Publication Number Publication Date
CN113890835A true CN113890835A (zh) 2022-01-04

Family

ID=79007763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111148322.7A Pending CN113890835A (zh) 2021-09-29 2021-09-29 Dpi应用测试报文的处理方法及装置

Country Status (1)

Country Link
CN (1) CN113890835A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115567430A (zh) * 2022-09-21 2023-01-03 广州汇智通信技术有限公司 一种通信大数据平台的数据缺失主动发现方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282251A (zh) * 2008-05-08 2008-10-08 中国科学院计算技术研究所 一种应用层协议识别特征挖掘方法
CN102025636A (zh) * 2010-12-09 2011-04-20 北京星网锐捷网络技术有限公司 报文特征处理方法、装置及网络设备
CN107222369A (zh) * 2017-07-07 2017-09-29 北京小米移动软件有限公司 应用程序的识别方法、装置、交换装置和存储介质
CN107360062A (zh) * 2017-08-28 2017-11-17 上海国云信息科技有限公司 Dpi设备识别结果的验证方法、系统及dpi设备
CN107426059A (zh) * 2017-08-28 2017-12-01 上海国云信息科技有限公司 Dpi设备特征库自动更新方法、系统、dpi设备及云端服务器
CN109936512A (zh) * 2017-12-15 2019-06-25 华为技术有限公司 流量分析方法、公共服务流量归属方法及相应的计算机系统
CN110708215A (zh) * 2019-10-10 2020-01-17 深圳市网心科技有限公司 深度包检测规则库生成方法、装置、网络设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282251A (zh) * 2008-05-08 2008-10-08 中国科学院计算技术研究所 一种应用层协议识别特征挖掘方法
CN102025636A (zh) * 2010-12-09 2011-04-20 北京星网锐捷网络技术有限公司 报文特征处理方法、装置及网络设备
CN107222369A (zh) * 2017-07-07 2017-09-29 北京小米移动软件有限公司 应用程序的识别方法、装置、交换装置和存储介质
CN107360062A (zh) * 2017-08-28 2017-11-17 上海国云信息科技有限公司 Dpi设备识别结果的验证方法、系统及dpi设备
CN107426059A (zh) * 2017-08-28 2017-12-01 上海国云信息科技有限公司 Dpi设备特征库自动更新方法、系统、dpi设备及云端服务器
CN109936512A (zh) * 2017-12-15 2019-06-25 华为技术有限公司 流量分析方法、公共服务流量归属方法及相应的计算机系统
CN110708215A (zh) * 2019-10-10 2020-01-17 深圳市网心科技有限公司 深度包检测规则库生成方法、装置、网络设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115567430A (zh) * 2022-09-21 2023-01-03 广州汇智通信技术有限公司 一种通信大数据平台的数据缺失主动发现方法及装置

Similar Documents

Publication Publication Date Title
CN109525508B (zh) 基于流量相似性比对的加密流识别方法、装置及存储介质
CN114422267B (zh) 流量检测方法、装置、设备及介质
CN110247933B (zh) 实现防火墙策略的方法和装置
CN112491602A (zh) 行为数据的监控方法、装置、计算机设备及介质
CN112688810B (zh) 网络资产信息获取方法、设备及可读存储介质
CN113067743A (zh) 流规则提取方法、装置、系统及存储介质
CN112256682B (zh) 一种多维异构数据的数据质量检测方法及装置
CN110704714A (zh) pcap文件的快速数据索引方法及装置
CN112507087A (zh) 终端设备识别方法、设备、存储介质及装置
CN112667875A (zh) 一种数据获取、数据分析方法、装置、设备及存储介质
CN110287700B (zh) 一种iOS应用安全分析方法及装置
CN113890835A (zh) Dpi应用测试报文的处理方法及装置
CN112363904B (zh) log数据分析定位方法、装置及计算机可读存储介质
CN107360062B (zh) Dpi设备识别结果的验证方法、系统及dpi设备
CN112685255A (zh) 一种接口监控方法、装置、电子设备及存储介质
CN114006838B (zh) 流控设备的测试方法及系统
CN116738369A (zh) 一种流量数据的分类方法、装置、设备及存储介质
CN111585830A (zh) 一种用户行为分析方法、装置、设备及存储介质
CN116257404A (zh) 一种日志解析方法及计算设备
CN115589339A (zh) 网络攻击类型识别方法、装置、设备以及存储介质
CN113297583B (zh) 漏洞风险分析方法、装置、设备及存储介质
CN115643044A (zh) 数据处理方法、装置、服务器及存储介质
CN115062339A (zh) 一种数据安全保障方法、电子设备和存储介质
CN112989403B (zh) 一种数据库破坏的检测方法、装置、设备及存储介质
CN113342632A (zh) 仿真数据自动化处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220104

RJ01 Rejection of invention patent application after publication