CN112272121B - 一种用于流量监测的效果验证方法及系统 - Google Patents

一种用于流量监测的效果验证方法及系统 Download PDF

Info

Publication number
CN112272121B
CN112272121B CN202010995988.5A CN202010995988A CN112272121B CN 112272121 B CN112272121 B CN 112272121B CN 202010995988 A CN202010995988 A CN 202010995988A CN 112272121 B CN112272121 B CN 112272121B
Authority
CN
China
Prior art keywords
data packet
sample data
server
sample
protocol type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010995988.5A
Other languages
English (en)
Other versions
CN112272121A (zh
Inventor
张鹏
张蕾
孙浩奇
王大魁
陈小军
许洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN202010995988.5A priority Critical patent/CN112272121B/zh
Publication of CN112272121A publication Critical patent/CN112272121A/zh
Application granted granted Critical
Publication of CN112272121B publication Critical patent/CN112272121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种用于流量监测的效果验证方法及系统。本方法为：1)样本管理模块根据样本测试需求选取协议类型并设置对应的配置项，构造所需样本数据包并上传给服务器；配置项中包含数据包唯一标识信息、测试文件和测试次数；2)服务器根据样本数据包的协议规范发送样本数据包以构造相应流量环境；3)检测处置模块根据该服务器所发送样本数据包的协议类型存储对应样本数据包的标识；以及获取该服务器的全量流量监测日志并解析，根据日志结构区分不同协议以获取对应的数据包标识；4)检测处置模块将从日志解析的数据包标识与存储的样本数据包标识进行匹配，得到该服务器所发送样本数据包的监测结果，该监测结果即为验证结果。

Description

一种用于流量监测的效果验证方法及系统
技术领域
本发明涉及网络流量领域，提出了一种用于流量监测的效果验证方法及系统。
背景技术
随着网络技术快速发展，网络应用范围不断扩大，网络结构越来越复杂，这使我们对网络的运行特性与内在本质知之甚少，给网络的管理和分析带来了一系列的困难。因此，对网络的管理和监测是保证网络正常运行的必要手段。网络流量监测提供了一种探索实际环境中网络特性的手段，是一个从网络设备上采集数据、解码数据、分析数据的过程。在大规模网络流量环境下，验证流量监测的有效性则变得尤为重要。
发明内容
基于此，为了有效验证流量监测的有效性，本发明提出了一种用于流量监测的效果验证方法及系统。验证系统需要具备自定义构造数据包和解析流量监测结果的功能。除此之外，验证系统还需要能够唯一标识并识别发送的数据包以便验证。在满足功能测试条件的同时，验证系统还需能够构造压力测试所需流量环境。
本发明的技术方案为：
一种用于流量监测的效果验证方法，其步骤包括：
1)样本管理模块根据样本测试需求选取协议类型并设置对应的配置项，构造所需样本数据包并上传给服务器；所述配置项中包含数据包唯一标识信息、测试文件和测试次数；
2)服务器根据样本数据包的协议规范发送样本数据包以构造相应流量环境；
3)检测处置模块根据该服务器所发送样本数据包的协议类型存储对应样本数据包的标识；以及获取该服务器的全量流量监测日志并解析，根据日志结构区分不同协议以获取对应的数据包标识；
4)检测处置模块将从日志解析的数据包标识与存储的样本数据包标识进行匹配，得到该服务器所发送样本数据包的监测结果，该监测结果即为验证结果。
进一步的，所述协议类型为HTTP、FTP或MAIL；对应的服务器为Web服务器、FTP服务器或MAIL服务器。
进一步的，对于协议类型为HTTP的样本数据包，在样本数据包HTTP协议的Cookie字段添加标识信息；对于协议类型为FTP或MAIL的样本数据包，在样本数据包的测试文件的文件名中添加标识信息。
进一步的，所述标识信息为样本数据包的发送时间戳。
进一步的，样本管理模块根据每一所选协议类型构造一组样本数据包，用于对不同协议分别进行测试。
一种用于流量监测的效果验证系统，其特征在于，包括样本管理模块、检测处置模块；其中，
样本管理模块，用于根据样本测试需求选取协议类型并设置对应的配置项，构造所需样本数据包并上传给服务器；所述配置项中包含数据包唯一标识信息、测试文件和测试次数；服务器根据样本数据包的协议规范发送样本数据包以构造相应流量环境；
检测处置模块，用于根据该服务器所发送样本数据包的协议类型存储对应样本数据包的标识；以及获取该服务器的全量流量监测日志并解析，根据日志结构区分不同协议以获取对应的数据包标识；然后将从日志解析的数据包标识与存储的样本数据包标识进行匹配，得到该服务器所发送样本数据包的监测结果，该监测结果即为验证结果。
本发明所采用的技术方案主要包含四个模块：(1)样本管理：包括样本测试和上传样本。样本测试中支持自定义构造数据包，可选项包括协议名称、文件选择和测试次数等。上传样本支持上传不同类型的文件至服务器中。(2)检测处置：利用消息队列中间件获取流量监测日志并解析不同字段的值，通过判断数据包的唯一标识字段的值是否相同进行对准，从而得到该数据包对应字段的监测结果，同时记录用户的所有操作记录以供查询。(3)URL测试：支持URL文件上传，通过选择URL发包以构造相应的流量环境，以使流量中包含所选URL的数据包。(4)分组测试：支持自定义构建用于测试不同协议的测试组，可有效提高测试效率。
本发明的有益效果：
本发明可自定义构造指定的流量测试环境，并且唯一标识每条发出的数据包，从而能够实现与流量监测日志的解析结果进行对准，得到每条数据包的监测结果。
附图说明
图1是本发明的样本管理与分组测试流程图。
图2是本发明的检测处置流程图。
图3是本发明的URL测试流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对针对海量文本数据的定向筛选架构及方法进一步详细说明。
本发明包括样本管理、检测处置、URL测试和分组测试四个模块：
(一)搭建Web服务器和FTP服务器，MAIL服务器为可选项。Web服务器用于根据资源访问需求构造相应HTTP流量，FTP服务器用于根据文件上传下载需求构造相应FTP流量。可搭建MAIL服务器或选用公共MAIL服务器以构造所需MAIL相关流量。TELNET流量可通过与指定服务器通信构造。
(二)如图1所示，样本管理包括样本测试和上传样本。样本测试中支持构造HTTP/FTP/MAIL/TELNET四种类型的数据包，不同协议的可选配置各不相同，具体配置参考图1。为了唯一标识数据包，添加标识如下：HTTP协议的Cookie字段添加标识，FTP和MAIL的发送文件名中添加标识。TELNET协议由于不涉及文件传输，不对数据包进行标识。为了确保标识的唯一性，采用时间戳的形式：Y_M_D_H_M_S_F。其中，各符号含义为：Y-年，M-月，D-日，H-时，M-分，S-秒，F-微秒。完成配置项后，根据不同协议规范发送数据包以构造相应流量环境，采用多线程形式以确保高效构造大规模流量。上传样本支持上传不同类型的文件到后台服务器及Web服务器。
(三)如图2所示，检测处置根据发送数据包的协议类型存储数据包标识。同时，通过消息队列中间件获取全量流量监测日志并解析，根据日志结构区分不同协议以获取对应的数据包标识。标识匹配将从日志解析的数据包标识与存储的数据包标识进行匹配，得到发送数据包的监测结果。存储用户所有操作记录及对应监测结果以供查询。
(四)如图3所示，URL测试支持URL文件上传并对所有URL分条展示。可全选或选择指定URL以构造HTTP/HTTPS测试流量环境。
(五)分组测试如图1所示，支持自定义构建不同协议的测试组用于测试，存储用户的所有自定义组，可有效提高测试效率。
本发明的整体流程如下：
1)数据包构造及发送：本发明支持构造HTTP/FTP/MAIL/TELNET四种类型的数据包，如图1所示。对涉及文件传输的HTTP/FTP/MAIL数据包添加时间戳作为唯一标识，其中HTTP协议添加在Cookie字段中，FTP/MAIL协议添加在文件名中。根据不同协议规范构造包含指定内容的数据包，存储数据包类型和标识，然后发送数据包到网络中。
2)监测日志解析：通过消息队列中间件获取网络中的所有流量监测日志，根据协议类型解析相应字段内容，以获取数据包标识和监测结果。
3)效果验证结果：将解析的数据包标识与存储的数据包标识进行匹配，匹配成功的即为所要监测的数据包，同时得到的监测结果即为本发明所要得到的验证结果。
尽管为说明目的公开了本发明的具体内容、实施算法以及附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书最佳实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种用于流量监测的效果验证方法，其步骤包括：
1)样本管理模块根据样本测试需求选取协议类型并设置对应的配置项，构造所需样本数据包并上传给服务器；所述配置项中包含数据包唯一标识信息、测试文件和测试次数；其中，所述协议类型为HTTP、FTP或MAIL；对应的服务器为Web服务器、FTP服务器或MAIL服务器；对于协议类型为HTTP的样本数据包，在样本数据包HTTP协议的Cookie字段添加标识信息；对于协议类型为FTP或MAIL的样本数据包，在样本数据包的测试文件的文件名中添加标识信息；
2)服务器根据样本数据包的协议规范发送样本数据包以构造相应流量环境；
3)检测处置模块根据该服务器所发送样本数据包的协议类型存储对应样本数据包的标识；以及获取该服务器的全量流量监测日志并解析，根据日志结构区分不同协议以获取对应的数据包标识；
4)检测处置模块将从日志解析的数据包标识与存储的样本数据包标识进行匹配，得到该服务器所发送样本数据包的监测结果，该监测结果即为验证结果。
2.如权利要求1所述的方法，其特征在于，所述标识信息为样本数据包的发送时间戳。
3.如权利要求1所述的方法，其特征在于，样本管理模块根据每一所选协议类型构造一组样本数据包，用于对不同协议分别进行测试。
4.一种用于流量监测的效果验证系统，其特征在于，包括样本管理模块、检测处置模块；其中，
样本管理模块，用于根据样本测试需求选取协议类型并设置对应的配置项，构造所需样本数据包并上传给服务器；所述配置项中包含数据包唯一标识信息、测试文件和测试次数；服务器根据样本数据包的协议规范发送样本数据包以构造相应流量环境；其中，所述协议类型为HTTP、FTP或MAIL；对应的服务器为Web服务器、FTP服务器或MAIL服务器；对于协议类型为HTTP的样本数据包，在样本数据包HTTP协议的Cookie字段添加标识信息；对于协议类型为FTP或MAIL的样本数据包，在样本数据包的测试文件的文件名中添加标识信息；
检测处置模块，用于根据该服务器所发送样本数据包的协议类型存储对应样本数据包的标识；以及获取该服务器的全量流量监测日志并解析，根据日志结构区分不同协议以获取对应的数据包标识；然后将从日志解析的数据包标识与存储的样本数据包标识进行匹配，得到该服务器所发送样本数据包的监测结果，该监测结果即为验证结果。
5.如权利要求4所述的系统，其特征在于，所述标识信息为样本数据包的发送时间戳。
CN202010995988.5A 2020-09-21 2020-09-21 一种用于流量监测的效果验证方法及系统 Active CN112272121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010995988.5A CN112272121B (zh) 2020-09-21 2020-09-21 一种用于流量监测的效果验证方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010995988.5A CN112272121B (zh) 2020-09-21 2020-09-21 一种用于流量监测的效果验证方法及系统

Publications (2)

Publication Number Publication Date
CN112272121A CN112272121A (zh) 2021-01-26
CN112272121B true CN112272121B (zh) 2022-01-18

Family

ID=74349074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010995988.5A Active CN112272121B (zh) 2020-09-21 2020-09-21 一种用于流量监测的效果验证方法及系统

Country Status (1)

Country Link
CN (1) CN112272121B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245403A (zh) * 2015-10-27 2016-01-13 国网智能电网研究院 一种基于模糊测试的电网工控协议漏洞挖掘系统和方法
CN108234315A (zh) * 2016-12-21 2018-06-29 青岛祥智电子技术有限公司 一种虚拟化网络环境中镜像网络流量控制协议
CN110808879A (zh) * 2019-11-01 2020-02-18 杭州安恒信息技术股份有限公司 一种协议识别方法、装置、设备及可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751325B2 (en) * 2003-08-14 2010-07-06 At&T Intellectual Property Ii, L.P. Method and apparatus for sketch-based detection of changes in network traffic
RU2312396C2 (ru) * 2005-03-24 2007-12-10 Федеральный центр информатизации при Центральной избирательной комиссии Российской Федерации Способ подготовки и проведения голосования с помощью автоматизированной системы
CN100429617C (zh) * 2006-05-16 2008-10-29 北京启明星辰信息技术有限公司 一种自动协议识别方法及系统
CN101510841B (zh) * 2008-12-31 2011-09-14 成都市华为赛门铁克科技有限公司 端到端流量识别方法和系统
CN101771584B (zh) * 2009-12-31 2012-08-15 华中科技大学 一种网络流量异常检测方法
CN102315974B (zh) * 2011-10-17 2014-08-27 北京邮电大学 基于层次化特征分析的tcp、udp流量在线识别方法和装置
CN102694733B (zh) * 2012-06-06 2015-03-25 济南大学 一种获得具有准确应用类型标识的网络流量数据集的方法
US9686312B2 (en) * 2014-07-23 2017-06-20 Cisco Technology, Inc. Verifying network attack detector effectiveness
CN104717106B (zh) * 2015-03-04 2015-12-09 贵州电网公司信息通信分公司 一种基于多变量序贯分析的分布式网络流量异常检测方法
US10547627B2 (en) * 2016-03-08 2020-01-28 Palo Alto Networks, Inc. Malicious HTTP cookies detection and clustering
CN109995607B (zh) * 2018-01-02 2021-09-14 中国移动通信有限公司研究院 流量开销的测试方法、终端、服务器和计算机存储介质
CN107948208A (zh) * 2018-01-05 2018-04-20 宝牧科技（天津）有限公司 一种网络应用层透明加密的方法及装置
CN108809857B (zh) * 2018-05-23 2020-04-28 中国石油大学(华东) 一种基于sdn的流量监控与业务服务质量保障策略的方法
CN110324323B (zh) * 2019-06-19 2024-01-19 全球能源互联网研究院有限公司 一种新能源厂站涉网端实时交互过程异常检测方法及系统
CN111654493B (zh) * 2020-06-02 2022-04-12 浪潮云信息技术股份公司 Openstack中拦截指定流量的方法、系统、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245403A (zh) * 2015-10-27 2016-01-13 国网智能电网研究院 一种基于模糊测试的电网工控协议漏洞挖掘系统和方法
CN108234315A (zh) * 2016-12-21 2018-06-29 青岛祥智电子技术有限公司 一种虚拟化网络环境中镜像网络流量控制协议
CN110808879A (zh) * 2019-11-01 2020-02-18 杭州安恒信息技术股份有限公司 一种协议识别方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112272121A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
US10547674B2 (en) Methods and systems for network flow analysis
CN103795580B (zh) 一种数据监控方法、系统及相关设备
US10511498B1 (en) Monitoring and analysis of interactions between network endpoints
CN112714045B (zh) 一种基于设备指纹和端口的快速协议识别方法
US8065722B2 (en) Semantically-aware network intrusion signature generator
CN109067938B (zh) 一种测试dns服务器的方法及装置
WO2017107963A1 (zh) 消息发送、接收方法及装置
Bachupally et al. Network security analysis using Big Data technology
CN105357071B (zh) 一种网络复杂流量识别方法及识别系统
CN107133161A (zh) 一种生成客户端性能测试脚本方法及装置
CN111225002A (zh) 一种网络攻击溯源方法、装置、电子设备和存储介质
Garant et al. Mining botnet behaviors on the large-scale web application community
Feng et al. Active profiling of physical devices at internet scale
CN112272121B (zh) 一种用于流量监测的效果验证方法及系统
KR102423039B1 (ko) 대용량 네트워크 모니터링을 위한 실시간 패킷 데이터 저장 방법 및 장치
CN114143086A (zh) 一种Web应用识别方法、装置、电子设备及存储介质
CN112653657A (zh) 网络数据分析融合方法、系统、电子设备及存储介质
US9819741B1 (en) Device for sensor simulation using constrained application protocol
KR102423038B1 (ko) 대용량 네트워크 모니터링을 위한 실시간 패킷 데이터 수집 방법 및 장치
CN112181929A (zh) 云管平台日志处理方法、装置、电子装置和存储介质
CN111343008B (zh) 一种用于发现IPv6加速部署状态的综合性测量方法和系统
KR20110070161A (ko) 봇넷 탐지를 위한 네트워크 트래픽의 행위 패턴 모델링 시스템과 봇넷 탐지를 위한 네트워크 트래픽의 행위 패턴 모델링 방법
CN112769599B (zh) 一种资源自动接入方法、系统及可读存储介质
Qin et al. Behavior spectrum: An effective method for user's web access behavior monitoring and measurement
CN117041070B (zh) 一种网络空间测绘节点发现与归属判别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant