CN106612218A - 一种虚拟访问入口数据包的地区区域特征提取方法 - Google Patents

一种虚拟访问入口数据包的地区区域特征提取方法 Download PDF

Info

Publication number
CN106612218A
CN106612218A CN201710000142.1A CN201710000142A CN106612218A CN 106612218 A CN106612218 A CN 106612218A CN 201710000142 A CN201710000142 A CN 201710000142A CN 106612218 A CN106612218 A CN 106612218A
Authority
CN
China
Prior art keywords
address
data
collection
virtual
bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710000142.1A
Other languages
English (en)
Inventor
罗义兵
杨松
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201710000142.1A priority Critical patent/CN106612218A/zh
Publication of CN106612218A publication Critical patent/CN106612218A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • H04L43/024—Capturing of monitoring data by sampling by adaptive sampling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及云计算技术领域，特别是一种虚拟访问入口数据包的地区区域特征提取方法。本发明的方法包括：首先获取虚拟访问入口关联的虚拟交换机上的端口和网桥信息，然后基于网桥和端口建立采集规则，再周期性收集采集规则下的数据流信息并存放到数据库中，最后利用分布式算法计算出数据包的地区区域特征。通过本发明在访问虚拟访问入口处采集网络数据信息，减少了对网络访问的正常影响，同时采用弹性伸缩的数据分析算法，可以快速的计算出数据包的区域特征信息。

Description

一种虚拟访问入口数据包的地区区域特征提取方法
技术领域
本发明涉及云计算技术领域，特别是一种虚拟访问入口数据包的地区区域特征提取方法。
背景技术
在云计算领域，对网络数据包的特征提取可以帮助网络的问题定位和网络加速；协助提高网络的稳定性。对数据包的地区区域特征提取，在面向虚拟机业务以及CDN加速等方面，可以指导跨数据中心的资源调度，合理利用网络资源，从而快速的响应用户需求。目前大部分的基于数据区域特征的提取有些问题：
(1)基于虚拟机内部或CDN等业务系统内部去采集请求数据与分析的，这种方式会加大虚拟机和业务系统内部的压力，影响虚拟机或业务等系统的负载问题；
(2)采集与数据分析耦合性比较强，分析通常采用单节点去处理，不太灵活和弹性伸缩。
发明内容
本发明解决的技术问题在于一种虚拟访问入口数据包的地区区域特征提取方法；在访问虚拟访问入口处采集网络数据信息，减少对网络访问的正常影响；同时采用弹性伸缩的分析算法，可以快速的计算出数据包的区域特征信息。
本发明解决上述技术问题的技术方案是：
所述的方法包括如下步骤：
步骤1：获取虚拟访问入口关联的虚拟交换机上的端口和网桥信息；
步骤2：基于网桥和端口建立采集规则；
步骤3：周期性收集采集规则下的数据流信息并存放到数据库中；
步骤4：利用弹性伸缩的数据分析算法计算出数据包的地区区域特征。
所述的网桥添加在虚拟交换机上；虚拟访问入口关联的端口添加到网桥上；
虚拟访问入口为网络访问经过的地方，包括虚拟路由入口、虚拟机网卡后端、物理机IP地址所在的虚拟接口；
所述的地区区域特征，包含地区属性、IP源地址数量、总流量信息。
所述的采集是：
(1)建立网桥的采集代理，然后在采集代理上建立基于端口过滤的采集规则；
(2)采集规则包含源IP地址、目的IP地址、流量参数；
(3)采集的数据信息包含源IP地址、目的IP地址、流量数据项；
(4)数据项保存至数据库中记录了采集时间。
所述的分析算法其步骤包含：
(1)数据分析控制器从数据库中查询某个目的IP地址、某个时间范围内的数据项列表；
(2)将数据项列表等分成N份发送至N个计算节点进行区域特征计算，其中N的大小由数据项列表的大小和计算节点的处理能力决定；
(3)计算节点反馈区域特征给分析控制器；
(4)分析控制器合并每个计算节点的地区区域特征，并按照区域的总流量信息排序。
本发明的方法在访问虚拟访问入口处采集网络数据信息，减少了对网络访问的正常影响，同时采用弹性伸缩的算法，可以快速的计算出数据包的区域特征信息。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明的流程图。
具体实施方式
如图1所示，本发明的实施流程如下：
1：获取虚拟访问入口关联的虚拟交换机上的端口和网桥信息；
虚拟路由的入口接口名称为qg开头：
在命名空间中查找qg的虚拟接口
ip netns exec qrouter-20a1d4df-47d9-4961-a100-388ee116ca02 ifconfig|grep qg
获取到虚拟接口为qg-c30fc711-20
ovs-vsctl show查询，定位到qg-c30fc711-20接口对应veth pair接口的qgp-c30fc711-20添加到br-int网桥上；
2：基于网桥和端口建立采集规则；
以sflow-rt为收集器代理器，qgp-c30fc711-20对应的ip link索引号为1198import requests
步骤3：周期性收集采集规则下的数据流信息并存放到数据库中；
周期性时间可以有配置文件定义
4：利用弹性伸缩的分析算法计算出数据包的地区区域特征。
(1)数据分析控制器从数据库中查询某个目的IP地址、某个时间范围内的数据项列表
统计一年的访问地址183.2.251.199的数据流项信息，具体SQL语句类似于：
select*from data_flows where ipdestination＝”183.2.251.199”and time＜‘2016-11-14T01：27：13.870754’and time＞＝‘2015-11-14T01：27：13.870754’
统计出大概10000万条数据
(2)将数据项列表等分成N份发送至N个计算节点进行区域特征计算，其中N的大小由数据项列表的大小和计算节点的处理能力决定；具体逻辑实现描述：
如果每个计算节点的处理能力为1000万，将数据等分成10份，交个10个计算节点进行区域特征计算
其中区域特征查询调用开放的API进行查询；
统计出地区区域特征如下：
广东省广州市 IP地址数量 2000，流量2000Mb/s
.......................................
(3)计算节点反馈区域特征给分析控制器；
(4)合并地区区域特征，合并后采用快速排序算法，实现按照流量从大到小排序。

Claims (5)

1.一种访问虚拟访问入口数据包的地区区域特征提取方法，其特征在于，所述的方法包括如下步骤：
步骤1：获取虚拟访问入口关联的虚拟交换机上的端口和网桥信息；
步骤2：基于网桥和端口建立采集规则；
步骤3：周期性收集采集规则下的数据流信息并存放到数据库中；
步骤4：利用弹性伸缩的数据分析算法计算出数据包的地区区域特征。
2.根据权利要求1所述的方法，其特征在于：
所述的网桥添加在虚拟交换机上；虚拟访问入口关联的端口添加到网桥上；
虚拟访问入口为网络访问经过的地方，包括虚拟路由入口、虚拟机网卡后端、物理机IP地址所在的虚拟接口；
所述的地区区域特征，包含地区属性、IP源地址数量、总流量信息。
3.根据权利要求1所述的方法，其特征在于：所述的采集是：
(1)建立网桥的采集代理，然后在采集代理上建立基于端口过滤的采集规则；
(2)采集规则包含源IP地址、目的IP地址、流量参数；
(3)采集的数据信息包含源IP地址、目的IP地址、流量数据项；
(4)数据项保存至数据库中记录了采集时间。
4.根据权利要求2所述的方法，其特征在于：所述的采集是：
(1)建立网桥的采集代理，然后在采集代理上建立基于端口过滤的采集规则；
(2)采集规则包含源IP地址、目的IP地址、流量参数；
(3)采集的数据信息包含源IP地址、目的IP地址、流量数据项；
(4)数据项保存至数据库中记录了采集时间。
5.根据权利要求1至4任一项所述的方法，其特征在于：所述的分析算法其步骤包含：
(1)数据分析控制器从数据库中查询某个目的IP地址、某个时间范围内的数据项列表；
(2)将数据项列表等分成N份发送至N个计算节点进行区域特征计算，其中N的大小由数据项列表的大小和计算节点的处理能力决定；
(3)计算节点反馈区域特征给分析控制器；
(4)分析控制器合并每个计算节点的地区区域特征，并按照区域的总流量信息排序。
CN201710000142.1A 2017-01-01 2017-01-01 一种虚拟访问入口数据包的地区区域特征提取方法 Pending CN106612218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710000142.1A CN106612218A (zh) 2017-01-01 2017-01-01 一种虚拟访问入口数据包的地区区域特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710000142.1A CN106612218A (zh) 2017-01-01 2017-01-01 一种虚拟访问入口数据包的地区区域特征提取方法

Publications (1)

Publication Number Publication Date
CN106612218A true CN106612218A (zh) 2017-05-03

Family

ID=58636896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710000142.1A Pending CN106612218A (zh) 2017-01-01 2017-01-01 一种虚拟访问入口数据包的地区区域特征提取方法

Country Status (1)

Country Link
CN (1) CN106612218A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864126A (zh) * 2017-10-30 2018-03-30 国云科技股份有限公司 一种云平台虚拟网络行为检测方法
CN115766525A (zh) * 2022-11-16 2023-03-07 奇安信网神信息技术(北京)股份有限公司 一种容器流量采集方法、装置、存储介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761479A (zh) * 2012-06-28 2012-10-31 华为技术有限公司 链路选择方法和装置
CN103491155A (zh) * 2013-09-17 2014-01-01 北京思特奇信息技术股份有限公司 一种实现移动计算和获取移动数据的云计算方法及系统
US20150033222A1 (en) * 2013-07-25 2015-01-29 Cavium, Inc. Network Interface Card with Virtual Switch and Traffic Flow Policy Enforcement
CN105007327A (zh) * 2015-07-28 2015-10-28 北京邮电大学 一种基于sdr的新型云计算网络系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761479A (zh) * 2012-06-28 2012-10-31 华为技术有限公司 链路选择方法和装置
US20150033222A1 (en) * 2013-07-25 2015-01-29 Cavium, Inc. Network Interface Card with Virtual Switch and Traffic Flow Policy Enforcement
CN103491155A (zh) * 2013-09-17 2014-01-01 北京思特奇信息技术股份有限公司 一种实现移动计算和获取移动数据的云计算方法及系统
CN105007327A (zh) * 2015-07-28 2015-10-28 北京邮电大学 一种基于sdr的新型云计算网络系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马魁: "《千兆网络流量监测仪的设计与实现》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864126A (zh) * 2017-10-30 2018-03-30 国云科技股份有限公司 一种云平台虚拟网络行为检测方法
CN115766525A (zh) * 2022-11-16 2023-03-07 奇安信网神信息技术(北京)股份有限公司 一种容器流量采集方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
CN104022920B (zh) 一种lte网络流量识别系统及方法
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
CN102164186B (zh) 一种实现云搜索服务的方法及系统
US11816172B2 (en) Data processing method, server, and computer storage medium
CN107665191A (zh) 一种基于扩展前缀树的私有协议报文格式推断方法
CN103218431B (zh) 一种能识别网页信息自动采集的系统
CN103138981B (zh) 一种社交网络分析方法和装置
CN105162627B (zh) 发现与呈现网络应用访问信息的方法和系统
CN106790718A (zh) 服务调用链路分析方法及系统
WO2020087082A1 (en) Trace and span sampling and analysis for instrumented software
CN108259371A (zh) 一种基于流处理的网络流量数据解析方法和装置
CN106874266A (zh) 用户画像方法和用于用户画像的装置
CN103178982A (zh) 日志分析方法和装置
CN108875091A (zh) 一种统一管理的分布式网络爬虫系统
CN104699757B (zh) 云环境下分布式网络信息采集方法
CN106980651B (zh) 一种基于知识图谱的爬取种子列表更新方法及装置
CN108520024A (zh) 基于Spark Streaming的双周期爬虫系统及其运行方法
CN108023767A (zh) 上网行为追踪方法、装置及服务器
CN106161098A (zh) 一种网络行为检测方法及装置
CN113656673A (zh) 面向广告投放的主从分布内容爬取机器人
CN108829704A (zh) 一种大数据分布式挖掘分析服务技术
CN110493140A (zh) 信息网络系统中链路事件的感知方法及其运行系统
CN104298669A (zh) 一种基于社交网络的人员地理信息挖掘模型
CN109756467A (zh) 一种钓鱼网站的识别方法及装置
CN117971606A (zh) 基于ElasticSearch的日志管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170503