CN107332715A - 主动性能测试加被动分流控的网络应用系统及其实施方法 - Google Patents

主动性能测试加被动分流控的网络应用系统及其实施方法 Download PDF

Info

Publication number
CN107332715A
CN107332715A CN201710693765.1A CN201710693765A CN107332715A CN 107332715 A CN107332715 A CN 107332715A CN 201710693765 A CN201710693765 A CN 201710693765A CN 107332715 A CN107332715 A CN 107332715A
Authority
CN
China
Prior art keywords
test
module
flow
data
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710693765.1A
Other languages
English (en)
Other versions
CN107332715B (zh
Inventor
袁飞雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIXTEL TECHNOLOGIES (BEIJING) Ltd
Original Assignee
VIXTEL TECHNOLOGIES (BEIJING) Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIXTEL TECHNOLOGIES (BEIJING) Ltd filed Critical VIXTEL TECHNOLOGIES (BEIJING) Ltd
Priority to CN201710693765.1A priority Critical patent/CN107332715B/zh
Publication of CN107332715A publication Critical patent/CN107332715A/zh
Application granted granted Critical
Publication of CN107332715B publication Critical patent/CN107332715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/28—Restricting access to network management systems or functions, e.g. using authorisation function to access network configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection

Abstract

本发明提出了一种主动性能测试加被动分流控的网络应用系统及其实施方法，包括控制服务器、流量设备、测试终端；控制服务器，用于控制测试终端的主动测试行为和流量设备被动流量分析和控制行为，下发测试任务和分析策略以及流量和安全控制策略，收集由测试终端主动测试产生的网络性能数据和流量设备抓包分析产生的网络流量和性能数据，分析决策流量和安全策略，产生告警和控制策略；所述流量设备用于根据流量策略进行流量控制和安全策略进行安全防护；所述测试终端用于发起主动网络测试。本发明将主动网络性能测试和被动监测结合在一起，能够在部分网络场景中无法及时发现对应的网络故障的情况下，进行网络性能分析以及流量控制和安全防护。

Description

主动性能测试加被动分流控的网络应用系统及其实施方法
技术领域
本发明涉及网络应用技术领域，特别涉及一种主动性能测试加被动分流控的网络应用系统及其实施方法。
背景技术
主动网络性能测试系统采用模拟用户行为或者网络协议的方式，主动的向目标发起对应的网络操作，来模拟计算网络性能，实现对网络性能的监测、及时发现对应的网络故障。
被动流分流控和安全防护系统采用对实际网络中的数据包进行抓包分析，以及根据对应的流量和安全策略对网络数据包进行转发限制，来实现网络性能监测和发现对应的网络故障、流量控制和网络安全保护。
目前同领域存在众多独立的主动性能测试系统，也存在众多被动网络流分流控安全监测系统，但由于现有的主动网络性能测试系统和被动监测系统是独立监测分析，没能将主动性能测试的分析结果应用到被动监测中综合分析，因此在部分网络场景下无法及时发现对应的网络故障以及流量控制和安全防护。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提供了一种主动性能测试加被动分流控的网络应用系统及其实施方法，能够及时发现对应的网络故障以及流量控制和安全防护。
为了实现上述目的，本发明提供一种主动性能测试加被动分流控的网络应用系统，包括：控制服务器、流量设备、测试终端；
控制服务器，用于控制测试终端的主动测试行为和流量设备被动流量分析和控制行为，下发测试任务和分析策略以及流量和安全控制策略，收集由测试终端主动测试产生的网络性能数据和流量设备抓包分析产生的网络流量和性能数据，分析决策流量和安全策略，产生告警和控制策略；
所述控制服务器包括数据接口模块、预处理模块、数据库、测试结果分析模块、流量数据分析模块、告警分析模块、决策模块、任务管理模块、策略模块库；
所述数据接口模块用于收集测试终端上报的测试结果以及流量设备采集到的网络数据；
所述预处理模块用于对测试结果和网路数据进行格式化处理，形成数据库存储结构化数据，并写入到数据库；
测试结果分析模块用于从数据库中读取出对应的测试结果，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块；
所述流量数据分析模块用于从数据库中读取出对应的流量数据，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块；
所述告警分析模块用于获取到测试结果和流量数据中超门限指标结果，从策略模板库中提取相关联的告警模板进行匹配，将匹配到的结果形成告警数据上报给决策模块；
所述决策模块用于接收对应的告警数据，并从策略模板库中提取相关联的决策模板进行匹配，匹配到对应的决策任务信息和流量配置参数，将新的决策结果报告给任务管理模块；
所述任务管理模块收到新的决策结果后，将当前正在执行测试任务进行合并，对过期的任务进行更新，对于全新的任务进行新建，把新建或者更新过测试任务信息发给测试终端；将现有流量配置参数于新的流量配置参数合并，发送给流量设备；
所述流量设备用于被动分析网络中的所有数据包，根据流量策略进行流量控制和安全策略进行安全防护；
所述测试终端用于发起主动网络测试，得到网络性能数据。
进一步的，所述流量设备包括数据适配模块、流量分析模块、流量控制模块、配置管理模块、安全策略库、设备接口模块；
所述设备接口模块用于通过TCP协议连接到控制服务器，保持和控制服务器长连接和定期心跳，并从控制服务器的网络通道获取流量配置参数，通知配置管理模块；
所述配置管理模块用于将流量配置参数和现有的参数合并更新，将其中的安全相关配置参数存储到安全策略库将流量控制配置参数通知流量控制模块，将流量分析配置参数通知流量分析模块；
所述安全策略库用于将安全配置参数分析整理，形成可快速匹配的策略库，以满足大流量计算匹配；
所述流量控制模块用于从配置管理模块获取到对应的控制参数，同时从安全策略库中获取对应的快速安全匹配策略，对所有流量数据包进行匹配，若匹配到流量控制参数中任意一样，或者匹配到安全策略中的任意一项，即丢弃该数据包；
所述流量分析模块用于从配置管理模块获取到对应的分析参数，对所有的流量数据包根据协议类型，进行关联分析，得到每一个用户，每一次互联网访问的流量关联数据，上报给数据适配模块；
所述数据适配模块用于从流量分析模块获取流量关联数据，将数据适配成服务器对应的上报数据格式，并通过设备接口模块的网络通道上报给控制服务器。
进一步的，所述测试终端包括测试模块、任务调度模块、终端任务管理模块、指标计算模块、结果适配模块、终端接口模块；
所述终端接口模块用于通过TCP协议连接到控制服务器，保持和控制服务器长连接和定期心跳，并从控制服务器获取测试任务，通知终端任务管理模块；
所述终端任务管理模块用于将现有的测试任务和从终端接口模块获取到的新的测试任务更新合并，形成最新的测试任务列表，通知任务调度模块；
所以任务调度模块用于根据目前测试任务列表，为每一个任务分配一个定时任务，根据任务的测试周期和间隔，定时像测试模块发起测试任务指令；
所述测试模块用于根据任务调度模块发起的测试任务指令，根据任务类型创建对应协议的测试脚本，进行测试，将测试脚本测试的原始结果上报给指标计算模块；
所述指标计算模块用于根据测试模块产生的测试原始结果，计算出对应的测试结果指标和网络性能数据，并上报给结果适配模块；
所述结果适配模块用于将测试结果指标数据适配成服务器对应的上报数据格式，通过终端接口模块的网络通道上报给控制服务器。
进一步的，所述测试终端部署在和网内网络终端同级的交换机下，用于分析不同网络协议和不同QoS的网络性能数据。
进一步的，所述流量设备部署在交换机和出口路由器之间，所有网内的流量全部经过流量设备。
进一步的，所述控制服务器部署在出口路由器旁边，通过出口路由器控制测试终端的主动测试行为和流量设备被动流量分析和控制行为。
本发明还提供一种对上述的主动性能测试加被动分流控的网络应用系统的实施方法，包括以下步骤:
步骤S1，数据预处理过程；
控制服务器通过数据接口模块获取测试终端上报的测试结果以及流量设备的采集到的流量数据，然后由预处理模块对数据进行格式化处理，存储到数据库中；
步骤S2，数据分析过程；
测试结果分析模块或流量数据分析模块从数据库中读取出对应的测试结果或流量数据，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块，再由告警分析模块从策略模板库中提取相关联的告警模板进行匹配，形成告警数据上报给决策模块，接着由决策模块从策略模板库中提取相关联的决策模板进行匹配，匹配到对应的决策任务信息，将新的决策结果报告或流量配置参数给任务管理模块，任务管理模块收到新的决策结果后，将当前正在执行测试任务进行合并，对过期的任务进行更新，对于全新的任务进行新建，把新建或者更新过测试任务信息发给测试终端，或者将现有流量配置参数与新的流量配置参数合并，发送给流量设备；
步骤S3，测试终端或流量设备对接收到的测试任务信息或新的流量配置参数进行分析处理；
流量设备通过设备接口模块接收到新的流量配置参数后，由配置管理模块将流量配置参数和现有的参数合并更新，由流量控制模块从安全策略库中获取对应的快速安全匹配策略，对所有流量数据包进行匹配，由流量分析模块从配置管理模块获取到对应的分析参数，对所有的流量数据包根据协议类型，进行关联分析，得到每一个用户，每一次互联网访问的流量关联数据，上报给数据适配模块；数据适配模块从流量分析模块获取流量关联数据，将数据适配成服务器对应的上报数据格式，通过数据接口模块的网络通道上报给控制服务器；
测试终端通过终端接口模块保持和控制服务器长连接和定期心跳，并从控制服务器获取测试任务，由终端任务管理模块将现有的测试任务和从数据接口模块获取到的新的测试任务更新合并，形成最新的测试任务列表，由任务调度模块根据目前测试任务列表，为每一个任务分配一个定时任务，根据任务的测试周期和间隔，定时像测试模块发起测试任务指令；由测试模块根据任务调度模块发起的测试任务指令，根据任务类型创建对应的协议的测试脚本，进行测试，由指标计算模块根据测试模块产生的测试原始结果，计算出对应的测试结果指标和网络性能数据，结果适配模块将测试结果指标数据适配成服务器对应的上报数据格式，通过终端接口模块的网络通道上报给控制服务器。
进一步的，所述测试模块至少对PING、TRACE、HTTP、SMTP、FTP、POP3网络协议进行网络性能数据测试。
进一步的，当流量设备没有足够的数据样本时，控制服务器在任意实际点发起网络模拟测试，通过配置周期性测试任务测试出当前的网络性能数据，并针对当前的网络性能数据分析决策流量和安全策略，产生告警和控制策略。
进一步的，所述控制服务器能够同时对测试终端主动测试产生的网络性能数据和流量设备被动抓包分析产生的网络流量和性能数据进行综合分析。
本发明能够在控制服务器上同时收集由测试终端主动测试产生的网络性能数据和流量设备被动抓包分析产生的网络流量和性能数据，通过对这两种数据的综合分析，可以更加准确的分析出网络性能和故障，覆盖更多的网络应用的场景，实现更好的网络性能分析、故障预警和网络安全防护。
本发明将主动网络性能测试和被动监测结合在一起，能够在部分网络场景中无法及时发现对应的网络故障的情况下，进行网络性能分析以及流量控制和安全防护。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的主动性能测试加被动分流控的网络应用系统的结构框图；
图2为本发明的控制服务器的结构框图；
图3为本发明的流量设备的结构框图；
图4为本发明的测试终端的结构框图；
图5为本发明的主动性能测试加被动分流控的网络应用系统的内网拓扑连接图；
图6为本发明的实施方法的整体流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提出一种主动性能测试加被动分流控的网络应用系统，如图1所示，包括：控制服务器1、流量设备2、测试终端3。
控制服务器1，用于控制测试终端3的主动测试行为和流量设备2被动流量分析和控制行为，下发测试任务和分析策略以及流量和安全控制策略，收集由测试终端3主动测试产生的网络性能数据和流量设备2抓包分析产生的网络流量和性能数据，分析决策流量和安全策略，产生告警和控制策略。
如图2所示，控制服务器1包括数据接口模块11、预处理模块12、数据库13、测试结果分析模块14、流量数据分析模块15、告警分析模块16、决策模块18、任务管理模块19、策略模块库17。
数据接口模块11用于收集测试终端3上报的测试结果以及流量设备2采集到的网络数据。
预处理模块12用于对测试结果和网路数据进行格式化处理，形成数据库13存储结构化数据，并写入到数据库13。
测试结果分析模块14用于从数据库13中读取出对应的测试结果，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块16。
流量数据分析模块15用于从数据库13中读取出对应的流量数据，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块16。
告警分析模块16用于获取到测试结果和流量数据中超门限指标结果，从策略模板库17中提取相关联的告警模板进行匹配，将匹配到的结果形成告警数据上报给决策模块18。
决策模块18用于接收对应的告警数据，并从策略模板库17中提取相关联的决策模板进行匹配，匹配到对应的决策任务信息和流量配置参数，将新的决策结果报告给任务管理模块19。
任务管理模块19收到新的决策结果后，将当前正在执行测试任务进行合并，对过期的任务进行更新，对于全新的任务进行新建，把新建或者更新过测试任务信息发给测试终端；将现有流量配置参数于新的流量配置参数合并，发送给流量设备2。
流量设备2用于被动分析网络中的所有数据包，根据流量策略进行流量控制和安全策略进行安全防护。
如图3所示，流量设备包括数据适配模块22、流量分析模块23、流量控制模块24、配置管理模块26、安全策略库25、设备接口模块21。
设备接口模块21用于通过TCP协议连接到控制服务器1，保持和控制服务器1长连接和定期心跳，并从控制服务器1的网络通道获取流量配置参数，通知配置管理模块26；
配置管理模块26用于将流量配置参数和现有的参数合并更新，将其中的安全相关配置参数存储到安全策略库将流量控制配置参数通知流量控制模块24，将流量分析配置参数通知流量分析模块23；
安全策略库25用于将安全配置参数分析整理，形成可快速匹配的策略库，以满足大流量计算匹配。
流量控制模块24用于从配置管理模块26获取到对应的控制参数，同时从安全策略库25中获取对应的快速安全匹配策略，对所有流量数据包进行匹配，若匹配到流量控制参数中任意一样，或者匹配到安全策略中的任意一项，即丢弃该数据包。
流量分析模块23用于从配置管理模块26获取到对应的分析参数，对所有的流量数据包根据协议类型，进行关联分析，得到每一个用户，每一次互联网访问的流量关联数据，上报给数据适配模块22。
数据适配模块22用于从流量分析模块获取流量关联数据，将数据适配成服务器22对应的上报数据格式，并通过设备接口模块21的网络通道上报给控制服务器1。
测试终端3用于发起主动网络测试，得到网络性能数据。
如图4所示，测试终端3包括测试模块36、任务调度模块34、终端任务管理模块35、指标计算模块33、结果适配模块32、终端接口模块31。
终端接口模块31用于通过TCP协议连接到控制服务器1，保持和控制服务器1长连接和定期心跳，并从控制服务器1获取测试任务，通知终端任务管理模块35。
终端任务管理模块35用于将现有的测试任务和从终端接口模块31获取到的新的测试任务更新合并，形成最新的测试任务列表，通知任务调度模块34；
所以任务调度模块34用于根据目前测试任务列表，为每一个任务分配一个定时任务，根据任务的测试周期和间隔，定时像测试模块发起测试任务指令；
测试模块36用于根据任务调度模块发起的测试任务指令，根据任务类型创建对应协议的测试脚本，进行测试，将测试脚本测试的原始结果上报给指标计算模块33；
指标计算模块33用于根据测试模块产生的测试原始结果，计算出对应的测试结果指标和网络性能数据，并上报给结果适配模块32；
结果适配模块32用于将测试结果指标数据适配成服务器对应的上报数据格式，通过终端接口模块的网络通道上报给控制服务器1。
如图5所示，测试终端3部署在和网内网络终端6同级的交换机4下，用于分析不同网络协议和不同QoS的网络性能数据。流量设备2部署在交换机4和出口路由器5之间，所有网内的流量全部经过流量设备2。控制服务器1部署在出口路由器5旁边，通过出口路由器5控制测试终端的主动测试行为和流量设备被动流量分析和控制行为。
工作时，流量设备2和测试终端3过网络连接注册到控制服务器1，保持和控制服务器1之间通信，分别接受控制服务器1下发的测试任务指令和流量分析策略、流量控制策略以及安全防护策略，同时将测试结果和流量分析结果上传到控制服务器1保存，用户可以在控制服务器1上配置对应的测试任务和流量分析、流量控制、安全防护策略，设置对应的告警阈值和通知目标(EMAIL，SNMP协议，短信等方式)，在测试任务和策略开始运行后，可以及时查看对应的统计数据报表，同时在对应的网络故障和安全威胁发生时及时收到系统通知。
本发明的主动性能测试加被动分流控的网络应用系统将流量设备(即被动监测系统)和测试终端(即主动网络性能测试系统)联合在一起，能够将主动性能测试的分析结果应用到被动监测中综合分析，因此在部分网络场景下能够及时发现对应的网络故障以及流量控制和安全防护。
本发明还提供一种对上述的主动性能测试加被动分流控的网络应用系统的实施方法，如图6所示，包括以下步骤:
步骤S1，数据预处理过程。
控制服务器通过数据接口模块获取测试终端上报的测试结果以及流量设备的采集到的流量数据，然后由预处理模块对数据进行格式化处理，存储到数据库中。
步骤S2，数据分析过程。
测试结果分析模块或流量数据分析模块从数据库中读取出对应的测试结果或流量数据，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块，再由告警分析模块从策略模板库中提取相关联的告警模板进行匹配，形成告警数据上报给决策模块，接着由决策模块从策略模板库中提取相关联的决策模板进行匹配，匹配到对应的决策任务信息，将新的决策结果报告或流量配置参数给任务管理模块，任务管理模块收到新的决策结果后，将当前正在执行测试任务进行合并，对过期的任务进行更新，对于全新的任务进行新建，把新建或者更新过测试任务信息发给测试终端，或者将现有流量配置参数与新的流量配置参数合并，发送给流量设备。
其中，测试结果分析模块对测试结果进行分析与流量数据分析模块对流量数据进行分析根据需要可以同步进行，也可以异步进行，极大的满足的使用者的需求。
步骤S3，测试终端或流量设备对接收到的测试任务信息或新的流量配置参数进行分析处理。
流量设备通过设备接口模块接收到新的流量配置参数后，由配置管理模块将流量配置参数和现有的参数合并更新，由流量控制模块从安全策略库中获取对应的快速安全匹配策略，对所有流量数据包进行匹配，由流量分析模块从配置管理模块获取到对应的分析参数，对所有的流量数据包根据协议类型，进行关联分析，得到每一个用户，每一次互联网访问的流量关联数据，上报给数据适配模块；数据适配模块从流量分析模块获取流量关联数据，将数据适配成服务器对应的上报数据格式，通过数据接口模块的网络通道上报给控制服务器。
测试终端通过终端接口模块保持和控制服务器长连接和定期心跳，并从控制服务器获取测试任务，由终端任务管理模块将现有的测试任务和从数据接口模块获取到的新的测试任务更新合并，形成最新的测试任务列表，由任务调度模块根据目前测试任务列表，为每一个任务分配一个定时任务，根据任务的测试周期和间隔，定时像测试模块发起测试任务指令；由测试模块根据任务调度模块发起的测试任务指令，根据任务类型创建对应的协议的测试脚本，进行测试，由指标计算模块根据测试模块产生的测试原始结果，计算出对应的测试结果指标和网络性能数据，结果适配模块将测试结果指标数据适配成服务器对应的上报数据格式，通过终端接口模块的网络通道上报给控制服务器。
其中，所述测试模块至少对PING、TRACE、HTTP、SMTP、FTP、POP3网络协议进行网络性能数据测试。
此外，控制服务器能够同时对测试终端主动测试产生的网络性能数据和流量设备被动抓包分析产生的网络流量和性能数据进行综合分析。
当网络中没有实际应用流量产生，或者网络实际流量较小时，即当流量设备没有足够的数据样本来分析网络当前的状态，无法区分当前是网络实际流量减小还是网络设备故障导致带宽变窄或者是受到网络攻击，在结合主动式测试的性能数据后，由于主动性能监测可以在任意实际点发起网络模拟测试，通过配置周期性测试任务测试出当前的网络性能数据，即可以准确的判断出当前网络是否正常以及是否收到网络攻击，来决策是否需要触发网络故障告警和启用对应的安全策略，也可以在数据报表上更全面的反应网络整体状态数据。
本发明将主动网络性能测试和被动监测结合在一起，能够在控制服务器上同时收集由测试终端主动测试产生的网络性能数据和流量设备被动抓包分析产生的网络流量和性能数据，通过对这两种数据的综合分析，可以更加准确的分析出网络性能和故障，覆盖更多的网络应用的场景，实现更好的网络性能分析、故障预警和网络安全防护。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (10)

1.一种主动性能测试加被动分流控的网络应用系统，其特征在于，包括：控制服务器、流量设备、测试终端；
控制服务器，用于控制测试终端的主动测试行为和流量设备被动流量分析和控制行为，下发测试任务和分析策略以及流量和安全控制策略，收集由测试终端主动测试产生的网络性能数据和流量设备抓包分析产生的网络流量和性能数据，分析决策流量和安全策略，产生告警和控制策略；
所述控制服务器包括数据接口模块、预处理模块、数据库、测试结果分析模块、流量数据分析模块、告警分析模块、决策模块、任务管理模块、策略模块库；
所述数据接口模块用于收集测试终端上报的测试结果以及流量设备采集到的网络数据；
所述预处理模块用于对测试结果和网路数据进行格式化处理，形成数据库存储结构化数据，并写入到数据库；
测试结果分析模块用于从数据库中读取出对应的测试结果，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块；
所述流量数据分析模块用于从数据库中读取出对应的流量数据，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块；
所述告警分析模块用于获取到测试结果和流量数据中超门限指标结果，从策略模板库中提取相关联的告警模板进行匹配，将匹配到的结果形成告警数据上报给决策模块；
所述决策模块用于接收对应的告警数据，并从策略模板库中提取相关联的决策模板进行匹配，匹配到对应的决策任务信息和流量配置参数，将新的决策结果报告给任务管理模块；
所述任务管理模块收到新的决策结果后，将当前正在执行测试任务进行合并，对过期的任务进行更新，对于全新的任务进行新建，把新建或者更新过测试任务信息发给测试终端；将现有流量配置参数于新的流量配置参数合并，发送给流量设备；
所述流量设备用于被动分析网络中的所有数据包，根据流量策略进行流量控制和安全策略进行安全防护；
所述测试终端用于发起主动网络测试，得到网络性能数据。
2.根据权利要求1所述的主动性能测试加被动分流控的网络应用系统，其特征在于：所述流量设备包括数据适配模块、流量分析模块、流量控制模块、配置管理模块、安全策略库、设备接口模块；
所述设备接口模块用于通过TCP协议连接到控制服务器，保持和控制服务器长连接和定期心跳，并从控制服务器的网络通道获取流量配置参数，通知配置管理模块；
所述配置管理模块用于将流量配置参数和现有的参数合并更新，将其中的安全相关配置参数存储到安全策略库将流量控制配置参数通知流量控制模块，将流量分析配置参数通知流量分析模块；
所述安全策略库用于将安全配置参数分析整理，形成可快速匹配的策略库，以满足大流量计算匹配；
所述流量控制模块用于从配置管理模块获取到对应的控制参数，同时从安全策略库中获取对应的快速安全匹配策略，对所有流量数据包进行匹配，若匹配到流量控制参数中任意一样，或者匹配到安全策略中的任意一项，即丢弃该数据包；
所述流量分析模块用于从配置管理模块获取到对应的分析参数，对所有的流量数据包根据协议类型，进行关联分析，得到每一个用户，每一次互联网访问的流量关联数据，上报给数据适配模块；
所述数据适配模块用于从流量分析模块获取流量关联数据，将数据适配成服务器对应的上报数据格式，并通过设备接口模块的网络通道上报给控制服务器。
3.根据权利要求1所述的主动性能测试加被动分流控的网络应用系统，其特征在于：所述测试终端包括测试模块、任务调度模块、终端任务管理模块、指标计算模块、结果适配模块、终端接口模块；
所述终端接口模块用于通过TCP协议连接到控制服务器，保持和控制服务器长连接和定期心跳，并从控制服务器获取测试任务，通知终端任务管理模块；
所述终端任务管理模块用于将现有的测试任务和从终端接口模块获取到的新的测试任务更新合并，形成最新的测试任务列表，通知任务调度模块；
所以任务调度模块用于根据目前测试任务列表，为每一个任务分配一个定时任务，根据任务的测试周期和间隔，定时像测试模块发起测试任务指令；
所述测试模块用于根据任务调度模块发起的测试任务指令，根据任务类型创建对应协议的测试脚本，进行测试，将测试脚本测试的原始结果上报给指标计算模块；
所述指标计算模块用于根据测试模块产生的测试原始结果，计算出对应的测试结果指标和网络性能数据，并上报给结果适配模块；
所述结果适配模块用于将测试结果指标数据适配成服务器对应的上报数据格式，通过终端接口模块的网络通道上报给控制服务器。
4.根据权利要求1所述的主动性能测试加被动分流控的网络应用系统，其特征在于：所述测试终端部署在和网内网络终端同级的交换机下，用于分析不同网络协议和不同QoS的网络性能数据。
5.根据权利要求1所述的主动性能测试加被动分流控的网络应用系统，其特征在于：所述流量设备部署在交换机和出口路由器之间，所有网内的流量全部经过流量设备。
6.根据权利要求1所述的主动性能测试加被动分流控的网络应用系统，其特征在于：所述控制服务器部署在出口路由器旁边，通过出口路由器控制测试终端的主动测试行为和流量设备被动流量分析和控制行为。
7.一种对权利要求1所述的主动性能测试加被动分流控的网络应用系统的实施方法，其特征在于：包括以下步骤:
步骤S1，数据预处理过程；
控制服务器通过数据接口模块获取测试终端上报的测试结果以及流量设备的采集到的流量数据，然后由预处理模块对数据进行格式化处理，存储到数据库中；
步骤S2，数据分析过程；
测试结果分析模块或流量数据分析模块从数据库中读取出对应的测试结果或流量数据，根据时间进行关联形成分析结果指标，将超出门限设置的结果指标报告给告警分析模块，再由告警分析模块从策略模板库中提取相关联的告警模板进行匹配，形成告警数据上报给决策模块，接着由决策模块从策略模板库中提取相关联的决策模板进行匹配，匹配到对应的决策任务信息，将新的决策结果报告或流量配置参数给任务管理模块，任务管理模块收到新的决策结果后，将当前正在执行测试任务进行合并，对过期的任务进行更新，对于全新的任务进行新建，把新建或者更新过测试任务信息发给测试终端，或者将现有流量配置参数与新的流量配置参数合并，发送给流量设备；
步骤S3，测试终端或流量设备对接收到的测试任务信息或新的流量配置参数进行分析处理；
流量设备通过设备接口模块接收到新的流量配置参数后，由配置管理模块将流量配置参数和现有的参数合并更新，由流量控制模块从安全策略库中获取对应的快速安全匹配策略，对所有流量数据包进行匹配，由流量分析模块从配置管理模块获取到对应的分析参数，对所有的流量数据包根据协议类型，进行关联分析，得到每一个用户，每一次互联网访问的流量关联数据，上报给数据适配模块；数据适配模块从流量分析模块获取流量关联数据，将数据适配成服务器对应的上报数据格式，通过数据接口模块的网络通道上报给控制服务器；
测试终端通过终端接口模块保持和控制服务器长连接和定期心跳，并从控制服务器获取测试任务，由终端任务管理模块将现有的测试任务和从数据接口模块获取到的新的测试任务更新合并，形成最新的测试任务列表，由任务调度模块根据目前测试任务列表，为每一个任务分配一个定时任务，根据任务的测试周期和间隔，定时像测试模块发起测试任务指令；由测试模块根据任务调度模块发起的测试任务指令，根据任务类型创建对应的协议的测试脚本，进行测试，由指标计算模块根据测试模块产生的测试原始结果，计算出对应的测试结果指标和网络性能数据，结果适配模块将测试结果指标数据适配成服务器对应的上报数据格式，通过终端接口模块的网络通道上报给控制服务器。
8.根据权利要求7所述的实施方法，其特征在于：所述测试模块至少对PING、TRACE、HTTP、SMTP、FTP、POP3网络协议进行网络性能数据测试。
9.根据权利要求7所述的实施方法，其特征在于：当流量设备没有足够的数据样本时，控制服务器在任意实际点发起主动网络模拟测试，通过配置周期性测试任务测试出当前的网络性能数据，并针对当前的网络性能数据分析决策流量和安全策略，产生告警和控制策略。
10.根据权利要求7所述的实施方法，其特征在于：所述控制服务器能够同时对测试终端主动测试产生的网络性能数据和流量设备被动抓包分析产生的网络流量和性能数据进行综合分析。
CN201710693765.1A 2017-08-14 2017-08-14 主动性能测试加被动分流控的网络应用系统及其实施方法 Active CN107332715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710693765.1A CN107332715B (zh) 2017-08-14 2017-08-14 主动性能测试加被动分流控的网络应用系统及其实施方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710693765.1A CN107332715B (zh) 2017-08-14 2017-08-14 主动性能测试加被动分流控的网络应用系统及其实施方法

Publications (2)

Publication Number Publication Date
CN107332715A true CN107332715A (zh) 2017-11-07
CN107332715B CN107332715B (zh) 2020-10-02

Family

ID=60226166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710693765.1A Active CN107332715B (zh) 2017-08-14 2017-08-14 主动性能测试加被动分流控的网络应用系统及其实施方法

Country Status (1)

Country Link
CN (1) CN107332715B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462897A (zh) * 2018-02-09 2018-08-28 北京奇艺世纪科技有限公司 一种网络故障的数据收集方法和装置
CN109246159A (zh) * 2018-11-27 2019-01-18 杭州迪普科技股份有限公司 一种验证安全策略的方法和装置
CN109286630A (zh) * 2018-10-15 2019-01-29 深信服科技股份有限公司 等保处理方法、装置、设备及存储介质
CN110048908A (zh) * 2019-04-15 2019-07-23 网易（杭州）网络有限公司 网络测试平台、网络测试方法以及装置
CN112286906A (zh) * 2020-10-24 2021-01-29 曹青青 基于区块链和云计算的信息安全处理方法及云计算中心
CN114173390A (zh) * 2021-12-06 2022-03-11 深圳Tcl新技术有限公司 网络控制方法、装置、电子设备及存储介质
CN114257426A (zh) * 2021-12-09 2022-03-29 山石网科通信技术股份有限公司 背景流量生成方法、装置、电子设备和存储介质
CN114257426B (zh) * 2021-12-09 2024-05-03 山石网科通信技术股份有限公司 背景流量生成方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014030A (zh) * 2010-12-31 2011-04-13 湖南神州祥网科技有限公司 一种基于tcp的网络性能测量诊断方法及系统
US20140204774A1 (en) * 2013-01-23 2014-07-24 Oracle International Corporation Integrated test packet generation and diagnostics
CN103178991B (zh) * 2011-12-21 2016-06-22 中国移动通信集团黑龙江有限公司 一种多网络关联分析的方法和系统
CN107113640A (zh) * 2014-12-18 2017-08-29 汤姆逊许可公司 用于分析wi‑fi节点的无线链路的方法、执行方法的相应电路以及应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014030A (zh) * 2010-12-31 2011-04-13 湖南神州祥网科技有限公司 一种基于tcp的网络性能测量诊断方法及系统
CN103178991B (zh) * 2011-12-21 2016-06-22 中国移动通信集团黑龙江有限公司 一种多网络关联分析的方法和系统
US20140204774A1 (en) * 2013-01-23 2014-07-24 Oracle International Corporation Integrated test packet generation and diagnostics
CN107113640A (zh) * 2014-12-18 2017-08-29 汤姆逊许可公司 用于分析wi‑fi节点的无线链路的方法、执行方法的相应电路以及应用

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462897A (zh) * 2018-02-09 2018-08-28 北京奇艺世纪科技有限公司 一种网络故障的数据收集方法和装置
CN108462897B (zh) * 2018-02-09 2020-08-18 北京奇艺世纪科技有限公司 一种网络故障的数据收集方法和装置
CN109286630A (zh) * 2018-10-15 2019-01-29 深信服科技股份有限公司 等保处理方法、装置、设备及存储介质
CN109246159A (zh) * 2018-11-27 2019-01-18 杭州迪普科技股份有限公司 一种验证安全策略的方法和装置
CN109246159B (zh) * 2018-11-27 2021-09-21 杭州迪普科技股份有限公司 一种验证安全策略的方法和装置
CN110048908A (zh) * 2019-04-15 2019-07-23 网易（杭州）网络有限公司 网络测试平台、网络测试方法以及装置
CN112286906A (zh) * 2020-10-24 2021-01-29 曹青青 基于区块链和云计算的信息安全处理方法及云计算中心
CN112286906B (zh) * 2020-10-24 2021-11-05 深圳市广联计算有限公司 基于区块链和云计算的信息安全处理方法及云计算中心
CN114173390A (zh) * 2021-12-06 2022-03-11 深圳Tcl新技术有限公司 网络控制方法、装置、电子设备及存储介质
CN114173390B (zh) * 2021-12-06 2024-01-19 深圳Tcl新技术有限公司 网络控制方法、装置、电子设备及存储介质
CN114257426A (zh) * 2021-12-09 2022-03-29 山石网科通信技术股份有限公司 背景流量生成方法、装置、电子设备和存储介质
CN114257426B (zh) * 2021-12-09 2024-05-03 山石网科通信技术股份有限公司 背景流量生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN107332715B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN107332715A (zh) 主动性能测试加被动分流控的网络应用系统及其实施方法
CN102315974B (zh) 基于层次化特征分析的tcp、udp流量在线识别方法和装置
CN105871832B (zh) 一种基于协议属性的网络应用加密流量识别方法及其装置
CN106790050B (zh) 一种异常流量检测方法及检测系统
CN102957579B (zh) 一种网络异常流量监测方法及装置
CN104270392B (zh) 一种基于三分类器协同训练学习的网络协议识别方法及系统
CN105721184B (zh) 一种网络链路质量的监控方法及装置
CN105337951B (zh) 对系统攻击进行路径回溯的方法与装置
CN104506385B (zh) 一种软件定义网络安全态势评估方法
CN107645542A (zh) 一种应用于云审计系统的数据采集装置
CN106789297A (zh) 基于神经网络的网络流量预测系统及其流量预测方法
CN107404400A (zh) 一种网络态势感知实现方法及装置
CN108683682A (zh) 一种基于软件定义网络的DDoS攻击检测及防御方法和系统
CN1778068B (zh) 确定网络中的数据流量流动的方法和数据网络
CN106559407A (zh) 一种基于sdn的网络流量异常监测系统
CN104283732B (zh) 网络测试方法及其数据采集方法、网络测试装置及系统
CN107332723A (zh) 隐蔽通道的检测方法和检测设备
CN106561016A (zh) 一种基于熵的SDN控制器DDoS攻击检测装置和方法
CN106685984A (zh) 一种基于数据包捕获技术的网络威胁分析系统及方法
KR20060028601A (ko) 네트워크 트래픽 이상 징후 감지 장치 및 그 방법
CN109274673A (zh) 一种网络流量异常检测和防御方法
Jibao et al. Study of network security situation awareness model based on simple additive weight and grey theory
CN113271225A (zh) 一种基于带内网络遥测技术的网络可靠性评估方法
CN108259263A (zh) 数据分析方法、装置及系统
CN106656643A (zh) 一种分段计算网络延迟的测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant