CN109753523B - 一种网络统计数据筛选的方法 - Google Patents

一种网络统计数据筛选的方法 Download PDF

Info

Publication number
CN109753523B
CN109753523B CN201811600293.1A CN201811600293A CN109753523B CN 109753523 B CN109753523 B CN 109753523B CN 201811600293 A CN201811600293 A CN 201811600293A CN 109753523 B CN109753523 B CN 109753523B
Authority
CN
China
Prior art keywords
data
filter
key value
filtering
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811600293.1A
Other languages
English (en)
Other versions
CN109753523A (zh
Inventor
林康
罗鹰
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kelai Network Technology Co.,Ltd.
Original Assignee
Colasoft Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colasoft Co ltd filed Critical Colasoft Co ltd
Priority to CN201811600293.1A priority Critical patent/CN109753523B/zh
Publication of CN109753523A publication Critical patent/CN109753523A/zh
Application granted granted Critical
Publication of CN109753523B publication Critical patent/CN109753523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明属于网络数据筛选技术领域，公开了一种网络统计数据筛选的方法,包括以下步骤：A.控制台向服务器发起查询数据请求；B.解析相关参数；C.解析过滤条件;D.存储读取数据;E.第一次过滤数据，读取存储查询数据中的键值部分；F.合并数据；G.第二次过滤数据，将合并后的非键值对数据记录依次传入过滤器中；F.数据发送给控制台。通过对数据指标进行过滤筛选，其筛选功能非常全面，最大限度提升的系统的筛选能力；极大的提高了筛选效率和数据获取的精准率。

Description

一种网络统计数据筛选的方法
技术领域
本发明属于网络数据筛选技术领域，尤其涉及一种网络统计数据筛选的方法。
背景技术
在网络数据统计分析领域，当我们通过网络分析系统将统计数据存储后，需要查询HTTP应用的统计数据，或者需要查询DNS的统计数据，或者需要查询数据包大于10000的统计数据。为了获取更精准的统计数据，一般的网络分析系统都需要支持统计数据的筛选查询。
传统的筛选查询方法，往往主要针对键值等指定的指标进行筛选，比如：IP地址，网段，应用等，没有办法很灵活的指定非键值的指标，比如：总数据包，比特率；而往往非键值的指标对网络统计分析非常重要，比如，当网络出现异常时，需要找出比特率大于100Mbps的IP地址，这时就需要用比特率进行筛选，虽然有些系统能够支持部分重要的非键值指标；但是，这还是存在支持的筛选指标比较有限，筛选方式不灵活，扩展性较差等比较关键的问题。
发明内容
本发明的目的在于克服现有技术中存在的上述问题，提供一种网络统计数据筛选的方法，通过支持对任意指标进行筛选的网络统计数据的分析方法。
为实现上述目的，本发明采用的技术方案如下。
一种网络统计数据筛选的方法，其特征在于：该方法包括以下步骤：
A. 控制台向服务器发起查询数据请求，并传入过滤条件；
B. 服务器接收到请求，解析相关参数，相关参数包括查询时间范围、链路ID、统计表ID和过滤条件；
C. 解析过滤条件，通过过滤器将复合的逻辑过滤条件分解成以每个字段为实体的逻辑关系链；
D. 存储读取数据，根据查询的时间范围、链路ID、统计表ID向存储查询数据;
E. 第一次过滤数据，读取存储查询数据中的键值部分，将读取到的数据分解成多条统计数据传入过滤器中，并只匹配键值数据，并将每个字段的匹配结果记录在过滤器中；如果整个过滤器不匹配，则丢弃该条统计数据；如果整个过滤器匹配，则进行下一步；
F. 合并数据，获取查询参数中的键值集合，并计算集合的哈希值，同时创建一条记录，存入对应哈希值的哈希表中，然后将具有相同哈希值的存储记录的非键值数据进行合并；
G. 第二次过滤数据，将合并后的非键值数据记录依次传入过滤器中，并只匹配非键值数据，并将每个字段的匹配结果记录到过滤器中；过滤器对每个字段过滤一个对应的结果；过滤器的逻辑关系和每个字段的结果计算整个过滤器的结果，如果匹配，则过滤成功；如果不匹配，则丢失该条记录；
F. 数据发送给控制台，将过滤到的结果通过网络发送给控制台。
步骤A中所述控制台包括控制台1、控制台2和控制台3。
步骤E中，键值数据包括统计数据在存储时，数据按照存储的键值进行组织，其中包括键值数据和非键值数据；查询时，可以根据其中的一个存储键值或者多个存储键值进行数据查询。
步骤F中，合并非键值数据为数据包合并统计时，就将要合并的两个值进行相加，客户端最大ACK时延合并时，就将要合并的两个值取最大值。
采用本发明的优点在于：
1、通过对数据指标进行过滤筛选，其筛选功能非常全面，最大限度提升的系统的筛选能力；由于支持对任意数据指标进行逻辑操作，所以其支持的筛选方式就更加灵活；由于是采用两次过滤方式，第一次过滤只过滤键值和存储数据，第二次过滤基于存储数据的计算数据，最后将两次的过滤结果进行合并而得到筛选结果，既保证了键值过滤的快速性，又保证了非键值过滤的准确性，极大的提高了筛选效率和数据获取的精准率。
2、通过支持多路网络数据筛选实例同时运行，各个实例的数据筛选逻辑和数据显示都独立呈现。
3、通过不同的键值（维度）对数据进行组织和呈现，提高了数据筛选的灵活性。
4、通过存储的键值和查询的键值不一致，所以就涉及到数据的合并，比如：对于IP地址表中，存储时的键值是IP地址和应用ID，存储的非键值数据都是IP地址和应用ID具有唯一性时的统计数据；在需要找出某个IP地址的非键值数据（数据包）时，就需要将这个IP地址的所有应用的存储数据进行合并，如果有3条存储数据，数据包的值就是这三条存储数据的数据包个数进行累加；而峰值数据包则需要在这三条存储数据的数据包个数中取最大值，当然，支持各种不同的合并算法，支持根据不同的键值（维度）对数据进行精准的筛选。
附图说明
图1为本发明流程示意图。
具体实施方式
下面结合附图对本发明做进一步的说明。
实施例1
如图1所示，一种网络统计数据筛选的方法，其特征在于：该方法包括以下步骤：
A. 控制台向服务器发起查询数据请求，并传入过滤条件；
B. 服务器接收到请求，解析相关参数，相关参数包括查询时间范围、链路ID、统计表ID和过滤条件；
C. 解析过滤条件，通过过滤器将复合的逻辑过滤条件分解成以每个字段为实体的逻辑关系链;
D. 存储读取数据，根据查询的时间范围、链路ID、统计表ID向存储查询数据;
E. 第一次过滤数据，读取存储查询数据中的键值部分，将读取到的数据分解成多条统计数据传入过滤器中，并只匹配键值数据，并将每个字段的匹配结果记录在过滤器中；如果整个过滤器不匹配，则丢弃该条统计数据；如果整个过滤器匹配，则进行下一步；
F. 合并数据，获取查询参数中的键值集合，并计算集合的哈希值，同时创建一条记录，存入对应哈希值的哈希表中，然后将具有相同哈希值的存储记录的非键值数据进行合并；
G. 第二次过滤数据，将合并后的非键值数据记录依次传入过滤器中，并只匹配非键值数据，并将每个字段的匹配结果记录到过滤器中；过滤器对每个字段过滤一个对应的结果；过滤器的逻辑关系和每个字段的结果计算整个过滤器的结果，如果匹配，则过滤成功；如果不匹配，则丢失该条记录；
F. 数据发送给控制台，将过滤到的结果通过网络发送给控制台。
通过对数据指标进行过滤筛选，其筛选功能非常全面，最大限度提升的系统的筛选能力；由于支持对任意数据指标进行逻辑操作，所以其支持的筛选方式就更加灵活；由于是采用两次过滤方式，第一次过滤只过滤键值和存储数据，第二次过滤基于存储数据的计算数据，最后将两次的过滤结果进行合并而得到筛选结果，既保证了键值过滤的快速性，又保证了非键值过滤的准确性，极大的提高了筛选效率和数据获取的精准率。
实施例2
如图1所示，一种网络统计数据筛选的方法，其特征在于：该方法包括以下步骤：
A. 控制台向服务器发起查询数据请求，并传入过滤条件；
B. 服务器接收到请求，解析相关参数，相关参数包括查询时间范围、链路ID、统计表ID和过滤条件；
C. 解析过滤条件，通过过滤器将复合的逻辑过滤条件分解成以每个字段为实体的逻辑关系链;
D. 存储读取数据，根据查询的时间范围、链路ID、统计表ID向存储查询数据;
E. 第一次过滤数据，读取存储查询数据中的键值部分，将读取到的数据分解成多条统计数据传入过滤器中，并只匹配键值数据，并将每个字段的匹配结果记录在过滤器中；如果整个过滤器不匹配，则丢弃该条统计数据；如果整个过滤器匹配，则进行下一步；
F. 合并数据，获取查询参数中的键值集合，并计算集合的哈希值，同时创建一条记录，存入对应哈希值的哈希表中，然后将具有相同哈希值的存储记录的非键值数据进行合并；
G. 第二次过滤数据，将合并后的非键值数据记录依次传入过滤器中，并只匹配非键值数据，并将每个字段的匹配结果记录到过滤器中；过滤器对每个字段过滤一个对应的结果；过滤器的逻辑关系和每个字段的结果计算整个过滤器的结果，如果匹配，则过滤成功；如果不匹配，则丢失该条记录；
F. 数据发送给控制台，将过滤到的结果通过网络发送给控制台。
通过支持多路网络数据筛选实例同时运行，各个实例的数据筛选逻辑和数据显示都独立呈现。
通过对数据指标进行过滤筛选，其筛选功能非常全面，最大限度提升的系统的筛选能力；由于支持对任意数据指标进行逻辑操作，所以其支持的筛选方式就更加灵活；由于是采用两次过滤方式，第一次过滤只过滤键值和存储数据，第二次过滤基于存储数据的计算数据，最后将两次的过滤结果进行合并而得到筛选结果，既保证了键值过滤的快速性，又保证了非键值过滤的准确性，极大的提高了筛选效率和数据获取的精准率。
通过不同的键值（维度）对数据进行组织和呈现，提高了数据筛选的灵活性。
通过存储的键值和查询的键值不一致，所以就涉及到数据的合并，比如：对于IP地址表中，存储时的键值是IP地址和应用ID，存储的非键值数据都是IP地址和应用ID具有唯一性时的统计数据；在需要找出某个IP地址的非键值数据（数据包）时，就需要将这个IP地址的所有应用的存储数据进行合并，如果有3条存储数据，数据包的值就是这三条存储数据的数据包个数进行累加；而峰值数据包则需要在这三条存储数据的数据包个数中取最大值，当然，支持各种不同的合并算法，支持根据不同的键值（维度）对数据进行精准的筛选。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (4)

1.一种网络统计数据筛选的方法，其特征在于：该方法包括以下步骤：
A. 控制台向服务器发起查询数据请求，并传入过滤条件；
B. 服务器接收到请求，解析相关参数，相关参数包括查询时间范围、链路ID、统计表ID和过滤条件；
C. 解析过滤条件，通过过滤器将复合的逻辑过滤条件分解成以每个字段为实体的逻辑关系链；
D. 存储读取数据，根据查询的时间范围、链路ID、统计表ID向存储查询数据；
E. 第一次过滤数据，读取存储查询数据中的键值部分，将读取到的数据分解成多条统计数据传入过滤器中，并只匹配键值数据，并将每个字段的匹配结果记录在过滤器中；如果整个过滤器不匹配，则丢弃该条统计数据；如果整个过滤器匹配，则进行下一步；
F. 合并数据，获取查询参数中的键值集合，并计算集合的哈希值，同时创建一条记录，存入对应哈希值的哈希表中，然后将具有相同哈希值的存储记录的非键值数据进行合并；
G. 第二次过滤数据，将合并后的非键值数据记录依次传入过滤器中，并只匹配非键值数据，并将每个字段的匹配结果记录到过滤器中；过滤器对每个字段过滤一个对应的结果；过滤器的逻辑关系和每个字段的结果计算整个过滤器的结果，如果匹配，则过滤成功；如果不匹配，则丢失该条记录；
F. 数据发送给控制台，将过滤到的结果通过网络发送给控制台。
2.如权利要求1所述的一种网络统计数据筛选的方法，其特征在于：步骤A中所述控制台包括控制台1、控制台2和控制台3。
3.如权利要求1所述的一种网络统计数据筛选的方法，其特征在于：步骤E中，键值数据包括统计数据在存储时，数据按照存储的键值进行组织，其中包括键值数据和非键值数据；查询时，根据其中的一个存储键值或者多个存储键值进行数据查询。
4.如权利要求1所述的一种网络统计数据筛选的方法，其特征在于：步骤F中，合并非键值数据为数据包合并统计时，就将要合并的两个值进行相加，客户端最大ACK时延合并时，就将要合并的两个值取最大值。
CN201811600293.1A 2018-12-26 2018-12-26 一种网络统计数据筛选的方法 Active CN109753523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811600293.1A CN109753523B (zh) 2018-12-26 2018-12-26 一种网络统计数据筛选的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811600293.1A CN109753523B (zh) 2018-12-26 2018-12-26 一种网络统计数据筛选的方法

Publications (2)

Publication Number Publication Date
CN109753523A CN109753523A (zh) 2019-05-14
CN109753523B true CN109753523B (zh) 2020-11-13

Family

ID=66404065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811600293.1A Active CN109753523B (zh) 2018-12-26 2018-12-26 一种网络统计数据筛选的方法

Country Status (1)

Country Link
CN (1) CN109753523B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1431896A1 (en) * 2002-12-19 2004-06-23 Microsoft Corporation Contact user interface
CN102123413A (zh) * 2011-03-29 2011-07-13 杭州电子科技大学 无线传感网络的网络监测和协议分析系统
CN107743154A (zh) * 2017-10-18 2018-02-27 上海兴容信息技术有限公司 一种基于Wi‑Fi智能终端的追踪及考勤系统及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7793230B2 (en) * 2006-11-30 2010-09-07 Microsoft Corporation Search term location graph

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1431896A1 (en) * 2002-12-19 2004-06-23 Microsoft Corporation Contact user interface
CN102123413A (zh) * 2011-03-29 2011-07-13 杭州电子科技大学 无线传感网络的网络监测和协议分析系统
CN107743154A (zh) * 2017-10-18 2018-02-27 上海兴容信息技术有限公司 一种基于Wi‑Fi智能终端的追踪及考勤系统及其方法

Also Published As

Publication number Publication date
CN109753523A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
US20230188441A1 (en) Aggregation of select network traffic statistics
US9910727B2 (en) Detecting anomalous accounts using event logs
US8938534B2 (en) Automatic provisioning of new users of interest for capture on a communication network
CN108664480B (zh) 一种多数据源用户信息整合方法和装置
CN108737473B (zh) 一种数据处理方法、装置及系统
US9210090B1 (en) Efficient storage and flexible retrieval of full packets captured from network traffic
CN105791213B (zh) 一种策略优化装置及方法
JP6768964B2 (ja) ＤＤｏＳ攻撃検出方法およびデバイス
CN103595577B (zh) Isp间互联口超过阈值流量监控系统及方法
CN104243209A (zh) 一种ip地址内容提供商标示覆盖统计方法
CN101502052A (zh) Nat和代理设备检测
CN103532796B (zh) 大型isp间互联口统计系统及方法
CN108322495B (zh) 资源访问请求的处理方法、装置和系统
CN108733698A (zh) 一种日志消息的处理方法及后台服务系统
CN108063685B (zh) 日志分析方法及装置
US20140280929A1 (en) Multi-tier message correlation
US20170126550A1 (en) Selecting a flow data source
CN106326280B (zh) 数据处理方法、装置及系统
CN109753523B (zh) 一种网络统计数据筛选的方法
WO2024027079A1 (zh) 域名反射攻击检测方法及装置、电子设备、存储介质
CN114567501B (zh) 基于标签评分的资产自动识别方法、系统及设备
JP4266379B2 (ja) トラヒック情報集約システムおよび方法
CN105553716A (zh) 大规模集群下各节点日志的抓取和展示系统
EP3800833B1 (en) Deep packet inspection application classification systems and methods
US20170124611A1 (en) Methods for Monitoring and Valuating Transactions for Document Processes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 610000 No. 06, floor 15, unit 2, building 1, No. 28, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan

Patentee after: Chengdu Shumo Technology Co.,Ltd.

Address before: 610000 Chengdu City, Sichuan Province, China (Sichuan) Free Trade Pilot Zone, North Tianfu Avenue, Chengdu High-tech Zone, 966, 4 buildings, 1 Unit 13 and 14 floors

Patentee before: COLASOFT Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220324

Address after: 610041 12th, 13th and 14th floors, unit 1, building 4, No. 966, north section of Tianfu Avenue, high tech Zone, Chengdu, Sichuan

Patentee after: Kelai Network Technology Co.,Ltd.

Address before: 610000 No. 06, floor 15, unit 2, building 1, No. 28, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan

Patentee before: Chengdu Shumo Technology Co.,Ltd.