CN109194747A - 云环境下的流量镜像方法及系统 - Google Patents
云环境下的流量镜像方法及系统 Download PDFInfo
- Publication number
- CN109194747A CN109194747A CN201811050210.6A CN201811050210A CN109194747A CN 109194747 A CN109194747 A CN 109194747A CN 201811050210 A CN201811050210 A CN 201811050210A CN 109194747 A CN109194747 A CN 109194747A
- Authority
- CN
- China
- Prior art keywords
- network
- module
- interface card
- network packet
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/164—Adaptation or special uses of UDP protocol
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及流量分析领域，针对云环境下无法进行全流量镜像的问题，提出一种云环境下的流量镜像方法，包括如下步骤：a.取消业务服务器内网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联；b.镜像模块对网卡与网络协议模块之间通信的网络包进行镜像，并将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡，将网络包发送给目标服务器。通过镜像模块完成网卡与网络协议模块之间通信网络包的镜像，本发明适用于云环境下的流量镜像，可为进一步的分析全流量指标做准备。
Description
技术领域
本发明涉及流量分析领域，特别涉及一种流量镜像方法及系统。
背景技术
随着信息化时代的发展，对于重要业务自身进行数据分析至关重要，能够实时分析网络波动、业务质量和异常流量显得非常重要，传统分析针对业务日志进行分析无法深入分析到包括应用层质量如丢包率和重传率等全流量指标，如此需要对全流量进行镜像。
传统的全流量镜像方式有两种，一种方式是交换机端口镜像，其业务流程为用户
请求访问到业务交换机；交换机根据目标IP将请求转发给业务服务器或者将业务服务器的
相应转发给用户；交换机根据端口镜像，将目标端口的流量镜像给目标服务器。该方式如果
在云环境下，云服务提供商是不允许改动云环境的交换机配置，如此则无法进行对业务服
务器进行镜像。另一种方式是采用iptables tee镜像，其业务流程为用户请求访问到业务
交换机；交换机根据目标IP将请求转发给业务服务器或者将业务服务器的响应转发给用
户；在业务服务器上使用iptables tee模块，将进出流量都通过修改目的mac地址镜像给目
标服务器。如果在云环境下或者不在同一交换机下，各服务器的mac地址一样，这样会因为
无法找到目标mac地址无法镜像或者引起镜像包风暴。
发明内容
本发明所要解决的技术问题是：克服云环境下无法进行全流量镜像的问题，提出一种云环境下的流量镜像方法及系统。
本发明解决上述技术问题，采用的技术方案是：
云环境下的流量镜像方法，包括如下步骤：
a.取消业务服务器内网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联；
b.镜像模块对网卡与网络协议模块之间通信的网络包进行镜像，并将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡，将网络包发送给目标服务器。
作为所述云环境下的流量镜像方法的优选，所述步骤a中创建网卡与镜像模块的关联包括：当网卡接收到来自业务服务器外部的网络包时，将网络包存放于镜像模块中。
作为所述云环境下的流量镜像方法的优选，所述步骤a中创建镜像模块与网络协议模块的关联包括：当网络协议模块接收到来自应用层的网络包时，将网络包存放于镜像模块中。
作为所述云环境下的流量镜像方法的改进，所述步骤b中镜像模块将网络包发送给目标服务器之前，还包括：对网络包进行预处理，判断所述网络包是否符合流量选择规则。
作为所述云环境下的流量镜像方法的优选，所述步骤b中将网络包发送给目标服务器时采用的协议为UDP协议。
云环境下的流量镜像系统，包括目标服务器和业务服务器，所述业务服务器包括网卡和网络协议模块，所述业务服务器还包括关联模块和镜像模块，所述关联模块用于取消网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联；镜像模块用于对网卡与网络协议模块之间通信的网络包进行镜像，并将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡，将网络包发送给目标服务器。
作为所述云环境下的流量镜像系统的优选，所述关联模块包括网卡关联模块，所述网卡关联模块用于当网卡接收到来自业务服务器外部的网络包时，将网络包存放于镜像模块中。
作为所述云环境下的流量镜像系统的优选，所述关联模块包括网络关联模块，所述网络关联模块用于当网络协议模块接收到来自应用层的网络包时，将网络包存放于镜像模块中。
作为所述云环境下的流量镜像系统的改进，系统还包括判断模块，所述判断模块用于对网络包进行预处理并判断所述网络包是否符合流量选择规则，如符合，则镜像模块将网络包发送给目标服务器。
作为所述云环境下的流量镜像系统的优选，所述镜像模块采用UDP协议将网络包发送给目标服务器。
本发明的有益效果是：
采用镜像模块镜像网卡与网络协议模块之间通信的网络包；将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡；将网络包发送给目标服务器。如此，在不影响网卡与网络协议模块之间通信的基础上，将网络包发送给了目标服务器，解决了传统的方式无法在云环境下进行全流量镜像的问题，为后续的业务网络全流量的分析提供了准确的数据。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的系统结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。
云环境下的流量镜像方法，包括如下步骤：
a.取消业务服务器内网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联；
其中，业务服务器用于接收来自用户的请求并返回请求结果给用户，并发送镜像的网络包给目标服务器，上述网卡、网络协议模块和镜像模块均位于业务服务器，网络协议模块用于与网卡及应用层进行通信，在linux系统中，网络协议模块可为TCP/IP内核协议栈；所述网卡位于物理层和链路层。
所述步骤a中创建网卡与镜像模块的关联包括：当网卡接收到来自业务服务器外部的网络包时，将网络包存放于镜像模块中；如此，减少了网卡收到网络包然后再拷贝给镜像模块而带来的时间延迟，提高了效率。其中，可采用监听网卡的ring buffer(环形缓冲区)是否收到业务服务器外部的网络包，若是则产生中断，在中断的方法体中实现镜像模块对网络包进行读取。
同理，所述步骤a中创建镜像模块与网络协议模块的关联包括：当网络协议模块接收到来自应用层的网络包时，将网络包存放于镜像模块中。其中，可采用监听网络协议模块是否收到应用层的网络包，若是则产生中断，在中断的方法体中实现镜像模块对网络包进行读取。
b.镜像模块对网卡与网络协议模块之间通信的网络包进行镜像，并将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡，将网络包发送给目标服务器。上述的业务服务器和目标服务器均为云服务器，网卡与网络协议模块之间通信的网络包即为业务的全流量数据，如此，镜像模块默认是对全部的流量均进行镜像。
为了使得镜像的流量满足后续流量数据分析的要求，所述步骤b中镜像模块将网络包发送给目标服务器之前，还包括：对网络包进行预处理，判断所述网络包是否符合流量选择规则。其中该预处理可对网络包进行包解析，例如为对物理层报文头、网络层报文头及传输层报文头进行解析，使用解析过后的数据再进行流量选择规则的匹配判断。
为了提高镜像的效率，所述步骤b中将网络包发送给目标服务器时采用的协议为UDP协议。其中，UDP协议的套接字可以在步骤a之前进行初始化。
通过上述方法镜像模块实现了业务全流量数据的镜像的同时，未影响业务服务器正常的数据通信。
与上述云环境下的流量镜像方法相对应的系统，包括目标服务器和业务服务器，所述业务服务器包括网卡和网络协议模块，其特征在于，所述业务服务器还包括关联模块和镜像模块，所述关联模块用于关闭网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联；镜像模块用于镜像网卡与网络协议模块之间通信的网络包，将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡，将网络包发送给目标服务器。
所述关联模块还包括网卡关联模块，所述网卡关联模块用于当网卡接收到来自业务服务器外部的网络包时，将网络包存放于镜像模块中。如此，减少了网卡收到网络包然后再拷贝给镜像模块而带来的时间延迟，提高了效率。其中，可采用监听网卡的ring buffer(环形缓冲区)是否收到业务服务器外部的网络包，若是则产生中断，在中断的方法体中实现镜像模块对网络包进行读取。
所述关联模块包括网络关联模块，所述网络关联模块用于当网络协议模块接收到来自应用层的网络包时，将网络包存放于镜像模块中。其中，可采用监听网络协议模块是否收到应用层的网络包，若是则产生中断，在中断的方法体中实现镜像模块对网络包进行读取。
为了使得镜像的流量满足后续流量数据分析的要求，系统还包括判断模块，所述判断模块用于对网络包进行预处理并判断所述网络包是否符合流量选择规则，如符合，则镜像模块将网络包发送给目标服务器。
为了提高镜像的效率，所述镜像模块采用UDP协议发送网络包。
实施例
如图1所示，本实施例中云环境下的流量镜像方法为：
S1、初始化流量选择规则和UDP套接字；
S2、取消业务服务器内网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联；
S3、监听网卡是否接收到来自业务服务器外部的网络包；如是，则进入步骤S4，否则继续监听；同时监听网络协议模块是否接收到来自应用层的网络包；如是，则进入步骤S7，否则继续监听；
S4、从网卡处获取对应的网络包并对网络包进行预处理，判断网络包是否符合流量选择规则，如符合进入步骤S5，否则进入步骤S6；
S5、通过UDP协议发送符合流量选择规则的网络包给目标服务器；
S6、将网络包发送给网络协议模块；
S7、从网络协议模块处获取对应的网络包并对网络包进行预处理，判断网络包是否符合流量旋转规则，如符合进入步骤S8，否则进入步骤S9；
S8、通过UDP协议发送符合流量选择规则的相应的网络包给目标服务器；
S9、将网络包发送给网卡。
如图2所示，本实施例中云环境下的流量镜像系统包括目标服务器和业务服务器，业务服务器包括网卡和网络协议模块，业务服务器还包括关联模块和镜像模块，关联模块用于关闭网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联。
关联模块还包括网卡关联模块，网卡关联模块用于当网卡接收到来自业务服务器外部的网络包时，将网络包存放于镜像模块中。关联模块还包括网络关联模块，网络关联模块用于当网络协议模块接收到来自应用层的网络包时，将网络包存放于镜像模块中。
镜像模块用于镜像网卡与网络协议模块之间通信的网络包，将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡，将网络包发送给目标服务器，镜像模块采用UDP协议将网络包发送给目标服务器。
业务服务器还包括判断模块，判断模块用于对网络包进行预处理并判断所述网络包是否符合流量选择规则，如符合，则镜像模块将网络包发送给目标服务器。
Claims (10)
1.云环境下的流量镜像方法，其特征在于，包括如下步骤：
a.取消业务服务器内网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联；
b.镜像模块对网卡与网络协议模块之间通信的网络包进行镜像，并将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡，将网络包发送给目标服务器。
2.如权利要求1所述的云环境下的流量镜像方法，其特征在于，所述步骤a中创建网卡与镜像模块的关联包括：当网卡接收到来自业务服务器外部的网络包时，将网络包存放于镜像模块中。
3.如权利要求1所述的云环境下的流量镜像方法，其特征在于，所述步骤a中创建镜像模块与网络协议模块的关联包括：当网络协议模块接收到来自应用层的网络包时，将网络包存放于镜像模块中。
4.如权利要求1所述的云环境下的流量镜像方法，其特征在于，所述步骤b中镜像模块将网络包发送给目标服务器之前，还包括：对网络包进行预处理，判断所述网络包是否符合流量选择规则。
5.如权利要求1所述的云环境下的流量镜像方法，其特征在于，所述步骤b中将网络包发送给目标服务器时采用的协议为UDP协议。
6.云环境下的流量镜像系统，包括目标服务器和业务服务器，所述业务服务器包括网卡和网络协议模块，其特征在于，所述业务服务器还包括关联模块和镜像模块，所述关联模块用于取消网卡与网络协议模块的关联，创建网卡与镜像模块的关联，创建镜像模块与网络协议模块的关联；镜像模块用于对网卡与网络协议模块之间通信的网络包进行镜像，并将从网卡处获得的网络包发送至网络协议模块，将从网络协议模块处获得的网络包发送给网卡，将网络包发送给目标服务器。
7.如权利要求6所述的云环境下的流量镜像系统，其特征在于，所述关联模块包括网卡关联模块，所述网卡关联模块用于当网卡接收到来自业务服务器外部的网络包时，将网络包存放于镜像模块中。
8.如权利要求6所述的云环境下的流量镜像系统，其特征在于，所述关联模块包括网络关联模块，所述网络关联模块用于当网络协议模块接收到来自应用层的网络包时，将网络包存放于镜像模块中。
9.如权利要求6所述的云环境下的流量镜像系统，其特征在于，还包括判断模块，所述判断模块用于对网络包进行预处理并判断所述网络包是否符合流量选择规则，如符合，则镜像模块将网络包发送给目标服务器。
10.如权利要求6所述的云环境下的流量镜像系统，其特征在于，所述镜像模块采用UDP协议将网络包发送给目标服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811050210.6A CN109194747A (zh) | 2018-09-10 | 2018-09-10 | 云环境下的流量镜像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811050210.6A CN109194747A (zh) | 2018-09-10 | 2018-09-10 | 云环境下的流量镜像方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109194747A true CN109194747A (zh) | 2019-01-11 |
Family
ID=64915780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811050210.6A Pending CN109194747A (zh) | 2018-09-10 | 2018-09-10 | 云环境下的流量镜像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109194747A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113347258A (zh) * | 2021-06-04 | 2021-09-03 | 上海天旦网络科技发展有限公司 | 云流量下的数据采集监控分析的方法及系统 |
| CN113992699A (zh) * | 2021-10-28 | 2022-01-28 | 上海格尔安全科技有限公司 | 一种基于网卡镜像的跨网络全流量数据监管方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1435773A (zh) * | 2002-01-29 | 2003-08-13 | 深圳市中兴通讯股份有限公司上海第二研究所 | 基于多处理机的虚拟网卡系统及其通信方法 |
| CN1523832A (zh) * | 2003-02-20 | 2004-08-25 | 华为技术有限公司 | 网络设备的非广播类型端口中的报文镜像方法 |
| CN101431449A (zh) * | 2008-11-04 | 2009-05-13 | 中国科学院计算技术研究所 | 一种网络流量清洗系统 |
| WO2011057525A1 (zh) * | 2009-11-10 | 2011-05-19 | 腾讯科技（深圳）有限公司 | 基于包处理的http服务器及其数据处理方法 |
| CN105306388A (zh) * | 2015-11-06 | 2016-02-03 | 西安交大捷普网络科技有限公司 | 基于netfilter框架下的端口数据镜像实现方法 |
| CN107294869A (zh) * | 2017-06-22 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种虚拟网卡报文抓取的方法及系统 |
| CN107332872A (zh) * | 2017-05-23 | 2017-11-07 | 成都联宇云安科技有限公司 | 一种基于VPN连接实现Android设备网络灵活管控的方法 |
-
2018
- 2018-09-10 CN CN201811050210.6A patent/CN109194747A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1435773A (zh) * | 2002-01-29 | 2003-08-13 | 深圳市中兴通讯股份有限公司上海第二研究所 | 基于多处理机的虚拟网卡系统及其通信方法 |
| CN1523832A (zh) * | 2003-02-20 | 2004-08-25 | 华为技术有限公司 | 网络设备的非广播类型端口中的报文镜像方法 |
| CN101431449A (zh) * | 2008-11-04 | 2009-05-13 | 中国科学院计算技术研究所 | 一种网络流量清洗系统 |
| WO2011057525A1 (zh) * | 2009-11-10 | 2011-05-19 | 腾讯科技（深圳）有限公司 | 基于包处理的http服务器及其数据处理方法 |
| CN105306388A (zh) * | 2015-11-06 | 2016-02-03 | 西安交大捷普网络科技有限公司 | 基于netfilter框架下的端口数据镜像实现方法 |
| CN107332872A (zh) * | 2017-05-23 | 2017-11-07 | 成都联宇云安科技有限公司 | 一种基于VPN连接实现Android设备网络灵活管控的方法 |
| CN107294869A (zh) * | 2017-06-22 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种虚拟网卡报文抓取的方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113347258A (zh) * | 2021-06-04 | 2021-09-03 | 上海天旦网络科技发展有限公司 | 云流量下的数据采集监控分析的方法及系统 |
| CN113992699A (zh) * | 2021-10-28 | 2022-01-28 | 上海格尔安全科技有限公司 | 一种基于网卡镜像的跨网络全流量数据监管方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1898917B (zh) | 移动分组流的控制 | |
| CN101449532B (zh) | 用于基于功能冗余的服务质量的方法和系统 | |
| EP1779599B1 (en) | Apparatuses and methods for signaling information in order to enable and disable distributed billing in a network environment | |
| CN103684803B (zh) | 流量采集装置和定向流量计费系统和方法 | |
| CN1875585B (zh) | 利用mac限制来控制动态未知l2泛滥的方法和系统 | |
| CN104468351B (zh) | 基于sdn辅助ccn路由的管理方法、ccn转发装置及网络控制器 | |
| CN102469020B (zh) | 一种业务控制方法及系统、演进基站、分组数据网网关 | |
| CN108600376A (zh) | 基于LoRa的数据传输方法、装置、LoRa网关、系统及存储介质 | |
| US6895008B2 (en) | Label switching router | |
| CN102138313A (zh) | 针对rfc 3313的带内dpi媒体预留修改 | |
| CN102761534B (zh) | 实现媒体接入控制层透明代理的方法和装置 | |
| CN104821909B (zh) | 端对端的数据传输方法和系统 | |
| CN101848235A (zh) | 一种支持nat穿越的实时多媒体数据p2p传输方案 | |
| CN109803226A (zh) | 一种通信方法及装置 | |
| CN109194747A (zh) | 云环境下的流量镜像方法及系统 | |
| CN108092852A (zh) | 一种基于TCP协议的OpenStack流量采集方法 | |
| CN102111822B (zh) | 一种基于认知技术的物联网方法 | |
| CN106255226A (zh) | 网络连接处理方法及装置 | |
| KR20110110836A (ko) | 장치 보조 ｃｄｒ 생성, 집계, 중재 및 요금 청구 | |
| WO2018049691A1 (zh) | 一种会话保持方法、设备及存储介质 | |
| CN104410581A (zh) | Afdx网络的配置信息设计及信息提取 | |
| WO2020135429A1 (zh) | 流量的分析、检测方法及装置 | |
| WO2017202177A1 (zh) | 双向测量控制方法、发送业务设备及接收业务设备 | |
| CN103702352B (zh) | 基于业务通道的网络能力开放方法及其装置 | |
| CN103718509B (zh) | 采用自适应的传输队列长度来降低数据分组损失的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190111 |