CN106533838B - 一种面向云平台的业务特征时序数据包采集方法 - Google Patents

一种面向云平台的业务特征时序数据包采集方法 Download PDF

Info

Publication number
CN106533838B
CN106533838B CN201611084889.1A CN201611084889A CN106533838B CN 106533838 B CN106533838 B CN 106533838B CN 201611084889 A CN201611084889 A CN 201611084889A CN 106533838 B CN106533838 B CN 106533838B
Authority
CN
China
Prior art keywords
acquisition
network
port
service
protocol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611084889.1A
Other languages
English (en)
Other versions
CN106533838A (zh
Inventor
罗义兵
杨松
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201611084889.1A priority Critical patent/CN106533838B/zh
Publication of CN106533838A publication Critical patent/CN106533838A/zh
Application granted granted Critical
Publication of CN106533838B publication Critical patent/CN106533838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及云计算技术领域，特别是一种面向云平台的业务特征时序数据包采集方法。本发明首先网络采集控制器对外提供业务特征模板，用户根据模板完成业务特征模板实例填充，采集控制器将业务特征模板实例转换成网络数据包采集实例并持久化到数据库中，再通知网络采集代理Agent，并接收网络采集代理Agent的消息和处理；网络采集Agent将接受网络数据包采集实例，定义采集流规则，并定期收集流规则下的数据流信息，将采集的数据流信息按照时序先后关系保存到数据库中，并能通知采集流规则变更请求。本发明可以精确采集用户需要的时序数据流信息，支持较大规模的云平台的网络数据采集，为时序数据的分析提供了较好的数据源收集方法。

Description

一种面向云平台的业务特征时序数据包采集方法
技术领域
本发明涉及云计算技术领域，特别是一种面向云平台的业务特征时序数据包采集方法。
背景技术
网络数据采集是利用互联网搜索引擎技术实现有针对性、行业性、精准性的数据抓取，并按照一定规则和筛选标准进行数据归类，并形成数据库文件的一个过程。随着云平台的普及，很多用户将业务系统迁移到云平台上来。云平台中的网络中含有丰富的业务网络数据，其网络数据采集和云平台的网络数据采集比较少探讨，尤其是针对云平台的业务系统的网络数据包采集就更少了；怎么能够将这些数据进行采集并挖掘业务的网络数据价值呢，是一个比较有意义的探索方向。
发明内容
本发明解决的技术问题在于提出了一种面向云平台的业务特征时序数据包采集方法，通过本发明提供的采集方法，可以精确采集用户需要的时序数据流信息，支持较大规模的云平台的数据采集，为时序数据的分析提供了较好的数据源收集方法。
本发明解决上述技术问题的技术方案是：
所述的方法是：
(1)网络采集控制器对外提供业务特征模板，用户根据模板完成业务特征实例填充；
(2)采集控制器将业务特征实例转换成网络数据包采集实例并持久化到数据库表中；
(3)采集控制器通知网络采集代理Agent，并接受网络采集代理Agent的采集流规则变更消息并处理；
(4)网络采集代理Agent接受网络控制器的通知消息；
(5)网络采集代理Agent处理消息，建立采集规则，采集网络时序数据到数据库中。
所述业务特征模板是描述业务提供的服务源地址信息，包括服务源端口、服务协议信息、服务描述、服务目的地址、服务目的端口，其中地址信息可以为域名服务地址或IP地址，服务源端口、服务描述、服务目的地址、服务目的端口可以为空，服务协议可以是HTTP、FTP、Telnet、SMTP、NFS、DNS、DHCP；
所述的网络数据包采集实例，包含源IP地址，源端口，采集协议，服务简要描述，目的IP地址，目的端口，用户ID，端口ID，端口所属的主机名称，采集流规则ID；其中，采集流规则ID自动生成并全局唯一性。
所述的业务特征实例转换成网络数据包采集实例的具体方法是：
(1)将服务协议信息通过预定义规则转换为传输层或网络层的采集协议；所述的转换包括：HTTP、FTP、Telnet、SMTP、NFS协议转换为TCP协议，DNS协议转换为不限定的IP协议，DHCP协议转换为UDP协议；其中采集协议包含TCP、UDP、ICMP协议或不限定的IP协议；
(2)服务地址信息为域名地址，则通过域名服务解析出IP地址；
(3)根据用户ID和服务源IP地址查询云平台中网络组件中的端口信息，获取端口ID和端口所属的主机名称。
所述的通知网络采集代理Agent是：
(1)通知消息包含建立采集流规则消息、删除采集流规则消息，建立消息中包含网络数据包采集实例，删除采集规则消息中包含采集流规则ID；
(2)通知的代理Agent地址为端口所属的主机名称。
所述的接受网络采集代理Agent的采集流规则变更消息并处理是：
(1)接受消息中采集流规则变更ID，查询网络数据包采集实例表中端口的ID和所属主机节点信息；
(2)根据端口ID重新获取云平台中网络组件的端口ID和端口所属的主机名称；
(3)如果没有获取到端口的信息，则向原有的网络采集代理Agent发送删除采集流规则消息；如果获取成功，端口所属的主机名称有更新，则端口所属的主机名称的网络采集代理Agent发送建立采集流规则通知消息，向旧的网络采集代理Agent发送删除采集流规则消息；
所述的网络采集代理Agent名称和云平台中的主机名称一致。
所述的网络采集代理Agent处理消息是：
如果消息为新建采集规则消息，则建立数据包采集流规则；并定期检验采集流规则是否失效，如果失效，则向网络采集控制器发送通知采集流规则变更请求，如果没失效，则收集流规则下的数据流信息，将采集的数据流信息和流规则ID一起按照时序关系保存到时序数据的表中；
消息为删除采集规则消息，则删除数据包采集流规则。
所述的数据包采集流规则和数据流信息是：
(1)建立采集流规则过程：根据网络数据包采集实例中端口ID和虚拟交换机上的端口信息，查询主机上端口ID对应的虚拟接口的网络索引号；根据索引号、网络数据包采集实例参数中源IP地址、协议类型、源端口、目的IP地址、目的端口组合生成过滤条件，其组合为“并且”关系，包括：inputifindex＝1170&ipsource＝183.2.251.199&tcpsourceport＝80，其中inputifindex为端口索引号、ipsource为源IP地址、tcpsourceport为tcp协议源地址端口；如果对应参数值为空，则不作为过滤条件；常规流查询项包含源IP地址、目的IP地址，如果协议为TCP，则常规查询项还包含源端口、目的端口；根据常规流查询项和过滤条件，建立数据包采集流规则；
(2)数据包采集规则其名称和网络数据包采集实例中的采集流规则ID一致；
(3)检验采集流规则是否失效的过程：获取采集流规则中过滤条件中网络索引号，查询主机上的网络索引号是否还存在，如果不存在，则流规则已经失效了，如果存在，则没失效；
(4)在虚拟机交换机上经过该端口的进入的数据包如果符合到采集流规则，则会统计到含有常规流查询项的数据流项信息，包括源IP地址、目的IP地址、流量大小信息，采集得到数据流项含有时序先后特征。
本发明方案的有益效果如下：
可以精确采集用户需要的时序数据流信息，支持较大规模的云平台的数据采集，为时序数据的分析提供了较好的数据源收集方法。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明的流程图。
具体实施方式
如图1所示，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
(1)对外提供面向用户的业务系统提供的业务特征描述模板bussiness_temple：服务源地址信息、协议类型、服务端口进行说明，如对外提供tomcat服务，采用183.2.251.199外网IP，https协议，80端口。
一下业务特征实例以JSON格式描述：
(2)、将业务特征实例转化为网络数据包采集实例
datacollector_temple_instance，并更新到数据库中、通知网络数据采集代理Agent
(a)网络数据包收集控制器根据用户信息以及业务特征获取云平台网络组件中关联的分布式虚拟机交换机的虚拟端口信息；
根据用户ID、ip信息查询云平台网络控制器中的网络端口列表，检索到虚拟端口信息，对外调用openstack开源云平台的neutron组件端口列表，neutron_controller：为网络组件控制器服务地址，说明：
curl-i-X POST http：//neutron_controller：9696/v2.0/ports.json？tenant_id＝”83eb652772a0450893da2f38eaed4a7a”，将获该租户下的端口列表信息，其中含有绑定的IP信息，分布式交换机的所在的节点名称；
其中获取到该IP绑定的虚拟端口ID为：
port_id＝’012eb4b8-48f9-4cea-a591-96aa56e67cca’
分布式交换机中某个交换机所在的主机名称为：”compute：node32”；
(b)将端口信息以及业务特征信息组装成网络数据包采集特征，并记录到网络数据包采集模板datacollector_table表中，如下以JSON格式描述：
(3)采集控制器通知网络采集代理Agent，并接受网络采集代理Agent的采集流规则变更消息并处理。
其具体实现描述：采用第三方开源rabbitmq消息队列实现将通过RPC消息notify_datacollector函数，发送网络采集模板实例到网络数据采集代理Agent上。
notify_datacollector函数：获取Agent的topic，新建采集规则，则将网络采集模板实例作为消息参数，组装发送。
(4)网络采集代理Agent接受网络控制器的通知消息，以建立采集的流规则消息为例：其消息包含了一下JSON数据：
(5)网络采集代理Agent接受网络控制器处理消息，以下以具体处理新建采集流规则描述为例说明：
(a)接受到网络采集实例后获取port_id对应的ifindex索引
具体以ip link list命令和ovs-vsctl show结合的方式查取到其ifindex号
(b)将建立网络采集模板实例map cache：
(c)建立数据流采集规则
以sflow-rt作为分布式虚拟交换机下的数据收集器，建立规则，一下举例建立一个规则：
(d)开启线程池，定期遍历流采集流规则项列表，以及获取流规则下的数据流信息并保存至数据库中。
将源Ip，目的Ip，流量信息、当前纳秒时间存放到数据库表中。

Claims (6)

1.一种面向云平台的业务特征时序数据包采集方法，其特征在于：所述的方法是：
(1)网络采集控制器对外提供业务特征模板，用户根据模板完成业务特征实例填充；
(2)网络采集控制器将业务特征实例转换成网络数据包采集实例并持久化到数据库表中；
(3)网络采集控制器通知网络采集代理Agent，并接收网络采集代理Agent的采集流规则变更消息并处理；
(4)网络采集代理Agent接收网络采集控制器的通知消息；
(5)网络采集代理Agent处理消息，建立采集规则，采集网络时序数据包到数据库中；
所述的通知网络采集代理Agent是：
(1)通知消息包含建立采集流规则消息、删除采集流规则消息，建立消息中包含网络数据包采集实例，删除采集规则消息中包含采集流规则ID；
(2)通知的代理Agent地址为端口所属的主机名称；
所述的接收网络采集代理Agent的采集流规则变更消息并处理是：
(1)接收消息中采集流规则变更ID,查询网络数据包采集实例表中端口的ID和所属主机节点信息；
(2)根据端口ID重新获取云平台中网络组件的端口ID和端口所属的主机名称；
(3)如果没有获取到端口的ID和端口所属的主机名称，则向原有的网络采集代理Agent发送删除采集流规则消息；如果获取成功，端口所属的主机名称有更新，则端口所属的主机名称的网络采集代理Agent发送建立采集流规则通知消息，向旧的网络采集代理Agent发送删除采集流规则消息；
网络采集代理Agent名称和云平台中的主机名称一致。
2.根据权利要求1所述的方法，其特征在于：所述业务特征模板描述业务提供的服务源地址信息，包括服务源端口、服务协议信息、服务描述、服务目的地址和服务目的端口，其中地址信息为域名服务地址或IP地址,服务源端口、服务描述、服务目的地址和服务目的端口为空，服务协议是HTTP、FTP、Telnet、SMTP、NFS、DNS或DHCP；
所述的网络数据包采集实例，包含源IP地址，源端口，采集协议，服务简要描述，目的IP地址，目的端口，用户ID，端口ID，端口所属的主机名称，和采集流规则ID；其中,采集流规则ID自动生成并具有全局唯一性。
3.根据权利要求1所述的方法，其特征在于：所述的业务特征实例转换成网络数据包采集实例的具体方法是：
(1)将服务协议信息通过预定义规则转换为传输层或网络层的采集协议；所述的转换包括：HTTP、FTP、Telnet、SMTP或NFS协议转换为TCP协议，DNS协议转换为IP协议，DHCP协议转换为UDP协议；其中采集协议包含TCP、UDP、ICMP协议或IP协议；
(2)服务地址信息为域名地址，通过域名服务解析出IP地址；
(3)根据用户ID和服务源IP地址查询云平台中网络组件中的端口信息，获取端口ID和端口所属的主机名称。
4.根据权利要求2所述的方法，其特征在于：所述的业务特征实例转换成网络数据包采集实例的具体方法是：
(1)将服务协议信息通过预定义规则转换为传输层或网络层的采集协议；所述的转换包括：HTTP、FTP、Telnet、SMTP、NFS协议转换为TCP协议，DNS协议转换为IP协议，DHCP协议转换为UDP协议；其中采集协议包含TCP、UDP、ICMP协议或IP协议；
(2)服务地址信息为域名地址，通过域名服务解析出IP地址；
(3)根据用户ID和服务源IP地址查询云平台中网络组件中的端口信息，获取端口ID和端口所属的主机名称。
5.根据权利要求1至4任一项所述的方法，其特征在于：所述的网络采集代理Agent处理消息是：
如果消息为新建采集规则消息，则建立数据包采集流规则；并定期检验采集流规则是否失效，如果失效，则向网络采集控制器发送通知采集流规则变更请求，如果没失效，则收集流规则下的数据流信息，将采集的数据流信息和流规则ID一起按照时序关系保存到时序数据的表中；
如果消息为删除采集规则消息，则删除数据包采集流规则。
6.根据权利要求5所述的方法，其特征在于：所述的数据包采集流规则和数据流信息是：
(1)建立采集流规则过程：根据网络数据包采集实例中端口ID和虚拟交换机上的端口信息，查询主机上端口ID对应的虚拟接口的网络索引号；根据索引号、网络数据包采集实例参数中源IP地址、协议类型、源端口、目的IP地址和目的端口组合生成过滤条件，其组合为“并且”关系，包括：inputifindex＝1170&ipsource＝183.2.251.199&tcpsourceport＝80，其中inputifindex为端口索引号、ipsource为源IP地址、tcpsourceport为tcp协议源地址端口；如果对应参数值为空，则不作为过滤条件；常规流查询项包含源IP地址、目的IP地址，如果协议为TCP，则常规查询项还包含源端口和目的端口；根据常规流查询项和过滤条件，建立数据包采集流规则；
(2)数据包采集规则其名称和网络数据包采集实例中的采集流规则ID一致；
(3)检验采集流规则是否失效的过程:获取采集流规则中过滤条件中网络索引号，查询主机上的网络索引号是否还存在，如果不存在，则流规则已经失效了，如果存在，则没失效；
(4)在虚拟交换机上经过源端口进入的数据包如果符合采集流规则，则会统计到含有常规流查询项的数据流项信息，包括源IP地址、目的IP地址和流量大小信息，采集得到数据流项含有时序先后特征。
CN201611084889.1A 2016-11-30 2016-11-30 一种面向云平台的业务特征时序数据包采集方法 Active CN106533838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611084889.1A CN106533838B (zh) 2016-11-30 2016-11-30 一种面向云平台的业务特征时序数据包采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611084889.1A CN106533838B (zh) 2016-11-30 2016-11-30 一种面向云平台的业务特征时序数据包采集方法

Publications (2)

Publication Number Publication Date
CN106533838A CN106533838A (zh) 2017-03-22
CN106533838B true CN106533838B (zh) 2019-12-10

Family

ID=58354243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611084889.1A Active CN106533838B (zh) 2016-11-30 2016-11-30 一种面向云平台的业务特征时序数据包采集方法

Country Status (1)

Country Link
CN (1) CN106533838B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689958B (zh) * 2017-09-03 2021-07-13 中国南方电网有限责任公司 一种应用于云审计系统的网络审计子系统
JP6922793B2 (ja) 2018-03-12 2021-08-18 オムロン株式会社 制御装置、制御方法、および制御プログラム
CN109039830A (zh) * 2018-09-20 2018-12-18 武汉指针科技有限公司 一种交换机的数据采集方法
CN111831508B (zh) * 2020-06-12 2024-06-18 新浪技术（中国）有限公司 一种动态监控数据采集方法及装置
CN112564957B (zh) * 2020-12-01 2022-05-17 武汉绿色网络信息服务有限责任公司 虚拟网元的运行数据采集方法及装置
CN113127550A (zh) * 2021-04-21 2021-07-16 北京字跳网络技术有限公司 信息处理方法、装置、电子设备及存储介质
CN113438136B (zh) * 2021-08-27 2021-11-19 苏州浪潮智能科技有限公司 应用服务监控方法、装置、电子设备及可读存储介质
CN114422394B (zh) * 2022-01-19 2023-08-29 北京鼎兴达信息科技股份有限公司 一种业务地址使用率计算方法、系统以及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827629A (zh) * 2016-05-04 2016-08-03 王燕清 云计算环境下软件定义安全导流装置及其实现方法
CN105979009A (zh) * 2016-07-06 2016-09-28 乾云众创（北京）信息科技研究院有限公司 一种针对云应用容器的增加负载自动均衡方法
CN106100999A (zh) * 2016-08-28 2016-11-09 北京瑞和云图科技有限公司 一种虚拟化网络环境中镜像网络流量控制协议

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8370583B2 (en) * 2005-08-12 2013-02-05 Silver Peak Systems, Inc. Network memory architecture for providing data based on local accessibility
US9278289B2 (en) * 2013-03-29 2016-03-08 Microsoft Technology Licensing, Llc Validation of user entitlement to game play

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827629A (zh) * 2016-05-04 2016-08-03 王燕清 云计算环境下软件定义安全导流装置及其实现方法
CN105979009A (zh) * 2016-07-06 2016-09-28 乾云众创（北京）信息科技研究院有限公司 一种针对云应用容器的增加负载自动均衡方法
CN106100999A (zh) * 2016-08-28 2016-11-09 北京瑞和云图科技有限公司 一种虚拟化网络环境中镜像网络流量控制协议

Also Published As

Publication number Publication date
CN106533838A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106533838B (zh) 一种面向云平台的业务特征时序数据包采集方法
KR101568977B1 (ko) Ｄｎｓ 데이터를 이용하여 ｉｐ 흐름과 연관된 애플리케이션을 식별하기 위한 방법 및 장치
CN107888605B (zh) 一种物联网云平台流量安全分析方法和系统
US11349962B2 (en) Data transmission method and device
CN105376114A (zh) 路由器网桥模式下无线终端类型的识别系统及方法
WO2017066359A1 (en) Determining direction of network sessions
CN103108051A (zh) 一种从云端服务器同步共享文件的方法
CN106713351B (zh) 一种基于串口服务器的安全通讯方法及装置
CN102984223B (zh) 一种消息发送方法、网络设备及系统
CN103067529A (zh) 一种远程监控系统
CN108632111A (zh) 一种基于日志的服务链路监控方法
CN112565262A (zh) 一种流量数据处理方法、系统、网络设备及存储介质
CN104378234A (zh) 跨数据中心的数据传输处理方法及系统
CN110855493A (zh) 用于混合环境的应用拓扑图绘制装置
WO2016070633A1 (zh) 上网日志生成方法和装置
CN111224894A (zh) 一种针对iOS设备的流量采集标记方法及系统
CN106713162B (zh) 统计bgp团体属性或扩展团体属性流量值的方法及装置
CN106326280B (zh) 数据处理方法、装置及系统
CN113746654A (zh) 一种IPv6地址管理和流量分析的方法和装置
JP2017060074A (ja) ネットワーク分析装置、ネットワーク分析システム、及びネットワークの分析方法
CN114189348A (zh) 一种适用于工控网络环境的资产识别方法
CN113067710A (zh) 在线用户查询方法、装置、计算机设备及存储介质
CN108809795B (zh) 一种局域网环境中透明分流方法和装置
JP4917620B2 (ja) バックボーン網におけるトラヒック情報収集方法、トラヒック情報収集装置、及びプログラム
CN110572291A (zh) 面向分布式系统实现架构自动识别功能的系统及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant after: G-Cloud Technology Co., Ltd.

Address before: 523808 Guangdong province Dongguan City Songshan Lake Science and Technology Industrial Park Building No. 14 Keyuan pine

Applicant before: G-Cloud Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant