CN111049762A - 数据采集方法、装置、存储介质及交换机 - Google Patents

数据采集方法、装置、存储介质及交换机 Download PDF

Info

Publication number
CN111049762A
CN111049762A CN201911340505.1A CN201911340505A CN111049762A CN 111049762 A CN111049762 A CN 111049762A CN 201911340505 A CN201911340505 A CN 201911340505A CN 111049762 A CN111049762 A CN 111049762A
Authority
CN
China
Prior art keywords
network data
port
gateway server
receiving
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911340505.1A
Other languages
English (en)
Inventor
张超林
夏之春
胡旭东
胡闻涛
汪润
王东旭
肖龙祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kingstar Fintech Co Ltd
Original Assignee
Shanghai Kingstar Fintech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kingstar Fintech Co Ltd filed Critical Shanghai Kingstar Fintech Co Ltd
Priority to CN201911340505.1A priority Critical patent/CN111049762A/zh
Publication of CN111049762A publication Critical patent/CN111049762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/20—Support for services
    • H04L49/208—Port mirroring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0263—Rule management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2212/00—Encapsulation of packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请属于数据采集处理技术领域，尤其涉及一种数据采集方法、装置、存储介质及交换机。所述方法包括：接收各个网关服务器发送的网络数据报文；根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。通过本申请实施例，无论网关服务器的数量为多少，都可以通过一个预定发送端口汇总所有需要采集的网关服务器转发的网络数据报文并发送至目标采集终端进行采集处理，从而节省了数据采集成本。

Description

数据采集方法、装置、存储介质及交换机
技术领域
本申请属于数据采集处理技术领域，尤其涉及一种数据采集方法、装置、存储介质及交换机。
背景技术
在相关数据采集技术中，通常对采集系统终端的采集性能要求较高，要求可以快速高效地的采集网关服务器的所有发送数据。
然而，现有为每一台网关服务器配置对应的一个数据采集终端的做法，虽然可以保证快速高效地采集各个网关服务器的发送数据。但是，当需要采集的网关服务器数量增多时，需要配置数据采集终端的数量也随之增多。这显然不利于在保证快速高效地采集各个网关服务器发送数据的前提下，使总体数据采集成本的最低化。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本申请实施例提供了一种数据采集方法、装置、存储介质及交换机，以解决现有技术中无法在保证快速高效地采集各个网关服务器发送数据的前提下，使总体数据采集成本的最低化的问题。
本申请的第一方面，提供了一种数据采集方法，所述方法包括：
接收各个网关服务器发送的网络数据报文；
根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；
将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。
在本申请的一些实施例中，所述预先配置的端口镜像映射规则，按照以下方法确定：
根据各个网关服务器的网络地址，确定各个网关服务器连接的接收端口；
根据所述各个网关服务器连接的接收端口，配置各个端口的镜像映射规则。
在本申请的一些实施例中，在所述接收各个网关服务器发送的网络数据报文之前，所述方法还包括：
配置各个接收端口的数据过滤规则；
在所述接收各个网关服务器发送的网络数据报文之后，还包括：
根据所述数据过滤规则，对所述各个接收端口接收的网络数据报文进行过滤，得到预定类型的网络数据报文。
在本申请的一些实施例中，在所述得到预定类型的网络数据报文之后，所述方法还包括：
根据预先配置的端口镜像映射规则，对过滤后的所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文。
在本申请的一些实施例中，在所述接收各个网关服务器发送的网络数据报文之前，所述方法还包括：
预先配置DPDK运行环境；
创建用于存储网络数据报文的内存环；
设置所述网络数据报文转发处理策略；
根据所述接收策略，创建对应的工作线程。
本申请的第二方面，提供了一种数据采集装置，所述装置包括：
接收模块，用于接收各个网关服务器发送的网络数据报文；
映射模块，用于根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；
发送模块，用于将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。
在本申请的一些实施例中，所述数据采集装置，还可以包括：镜像映射规则配置模块，用于配置交换机各个端口的镜像映射规则。
在本申请的一些实施例中，所述镜像映射规则配置模块，可以包括：
端口确定单元，用于根据各个网关服务器的网络地址，确定各个网关服务器连接的接收端口；
配置子单元，用于根据所述各个网关服务器连接的接收端口，配置各个端口的镜像映射规则。
本申请的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有数据采集程序，所述数据采集程序被处理器执行时实现如上所述的数据采集方法的步骤。
本申请的第四方面，提供了一种交换机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的数据采集程序，所述处理器执行所述数据采集程序时实现如上所述的数据采集方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例首先接收各个目标主机发送的网络数据报文；接着根据预先配置的端口镜像映射规则，对所述各个目标主机发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；最后将所述待采集网络数据报文通过预定发送端口，发送至预定目标采集终端，以便所述预定目标采集终端获取所述待采集网络数据报文。这样一来，无论网关服务器的数量为多少，都可以通过一个预定发送端口汇总所有需要采集的网关服务器转发的网络数据报文并发送至目标采集终端进行采集处理，从而节省了数据采集成本。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请一个实施例中的数据采集方法、数据采集装置以及交换机应用的系统架构的示意图；
图2为本申请一个实施例中数据采集方法的具体流程图；
图3为本申请一个实施例中一个端口镜像映射规则的配置流程图；
图4为本申请一个实施例中启动DPDK运行功能的具体流程图；
图5为本申请一个实施例中数据采集装置的模块图；
图6为本申请实施例中一种交换机的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1示出了可以应用本公开实施例的一种数据采集方法、装置、交换机及目标采集终端的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网关服务器104，交换机105，数据处理服务中心106，目标采集终端107以及网108。所述网络108用以在终端设备101、102、103和网关服务器104之间，网关服务器104与换机105之间，交换机105与数据处理服务中心106之间，交换机105与目标采集终端107之间提供通信链路的介质。网络108可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和网关服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和网关服务器。
在本申请的一个具体应用实施例中，用户可以利用终端设备101(也可以是终端设备102或103)向网关服务器104发送网络数据报文，网关服务器104接收到终端设备101(也可以是终端设备102或103)发送的网络数据报文后，将所述网络数据报文转发至交换机105；交换机105接收到各个所述网关服务器发送的网络数据报文后，根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；接着，将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端107，以便所述目标采集终端获取所述待采集网络数据报文。
需要说明的是，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，不影响交换机105正常将接收到各个所述网关服务器发送的网络数据报文依次发送到数据处理服务中心106进行处理。
需要说明的是，本申请实施例所提供的消息转换方法一般由交换机105执行，相应地，数据采集装置一般设置于交换机105中。但是，在本申请的其他实施例中，路由器等网络设备也可以具有与交换机105相似的功能，从而执行本申请实施例所提供的数据采集方法。
本申请实施例的技术方案首先接收各个目标主机发送的网络数据报文；接着根据预先配置的端口镜像映射规则，对所述各个目标主机发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；最后将所述待采集网络数据报文通过预定发送端口，发送至预定目标采集终端，以便所述预定目标采集终端获取所述待采集网络数据报文。这样一来，无论网关服务器的数量为多少，都可以通过一个预定发送端口汇总所有需要采集的网关服务器转发的网络数据报文并发送至目标采集终端进行采集处理，从而节省了数据采集成本。
如图2所示，本申请实施例提供了一种数据采集方法的实现流程示意图，所述方法可以由图1中的交换机105执行，所述方法包括：
步骤S210、接收各个网关服务器发送的网络数据报文；
步骤S220、根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；
步骤S230、将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。
下面对以上步骤进行详细说明。
在步骤S210中，接收各个网关服务器发送的网络数据报文。
可以理解，所述网络数据报文，是网关服务器一次性要发送的数据块，报文包含了将要发送的完整的数据信息，长度不限且可变。在所述网络数据报文的传输过程中，所述网络数据报文会被不断的封装成分组、包、帧来传输。其中，封装的方式就是添加一些信息段。
举例来说，所述网络数据报文，可以是用户发送的交易账户开通请求报文，也可以是股票交易请求报文，更可以股票退市请求报文等相关报文。
在本申请的一个实施例中，在步骤S210之前，所述方法还包括：配置各个接收端口的数据过滤规则。
可以理解，所述网络数据报文，可能包含种类型的网络数据报文，包括但不限于：TCP报文、UDP报文、ARP报文、ICMP报文、HTTP报文、SMTP报文、FTP报文。
可以理解，当用户利用目标采集终端采集特定一种或多种类型的网络数据报文时，可以对其他未列入采集名单类型的数据报文进行过滤处理。例如，当预定采集的网络数据报文类型为TCP报文时，交换机可以通过DPDK系统，进行报文过滤命令的配置：tcp.porteq 80，该命令表示获得符合tcp协议且来源端口为80的数据报文。当然，用户也可以采用其他方式，预先配置各个接收端口的数据过滤规则，本申请实施例对此不做特殊限定。
在本申请的一个实施例中，在步骤S210之后，还包括：根据所述数据过滤规则，对所述各个接收端口接收的网络数据报文进行过滤，得到预定类型的网络数据报文。
可以理解，交换机可以根据获取的所述数据过滤规则，对各个接收端口接收的网络数据报文进行过滤，得到预定类型的网络数据报文。
例如，当预定采集的网络数据报文类型为TCP报文时，交换机根据报文过滤配置命令：tcp.port eq 80，对各个接收端口的网络数据报文进行过滤，仅保留符合tcp协议且来源端口为80的数据报文。
在步骤S220中，根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文。
所述端口镜像映射规则，是指预先配置的所述交换机的接收端口与发送端口数据的复制转发规则。而所述待采集网络数据报文，是指目标采集终端通过预定发送端口可能采集到的网络数据报文。
如图3所示，在本申请的一个实施例中，所述预先配置的端口镜像映射规则，按照以下方法确定：
步骤S310、根据各个网关服务器的网络地址，确定各个网关服务器连接的接收端口。
可以理解，所述各个网关服务器的网络地址，一般为各个网关服务器的IP地址。当所述各个网关服务器的网络地址存在一定关联关系时，可以根据该种关联关系确定各个网关服务器对应连接的服务器。所述关联关系包括但不限于：IP地址处于同一网段、同一局域网等。
举例来说，当一个交换机O连接有6个网关服务器A、B、C、D、E、F，其中，网关服务器A、B、C与交换机O的a1端口相连，网关服务器D、E、F与交换机O的a2端口相连。这时，可以根据各个网关服务器的IP地址是否位于同一网段，确定各个网关服务器所在的网段。例如网关服务器A的IP地址为192.168.1.101、网关服务器B的IP地址为192.168.1.50、网关服务器C的IP地址为192.168.2.65、网关服务器D的IP地址为192.168.2.32、网关服务器E的IP地址为192.168.1.21、网关服务器F的IP地址为192.168.2.12。由此可见，网关服务器A、B、E位于“192.168.1.x”的网段中，网关服务器C、D、F则位于“192.168.2.x”的网段中。
步骤S320、根据所述各个网关服务器连接的接收端口，配置各个端口的镜像映射规则。
可以理解，由于所述各个网关服务器连接的接收端口不同，则所述各个接收端口接受的网络数据报文也不相同。因此，可以根据采集需要，可以预先配置交换机各个接收端口与预定发送端口之间的端口镜像映射规则。其中，所述预定发送端口为所述目标采集终端连接于所述交换机的数据传输端口。用于目标采集终端从预定发送端口获取网络报文。例如，当交换机包含a1、a2两个接收端口和b1、b2两个发送端口，可以配置将a1、a2接收的网络数据报文都复制一份并转发给预定发送端口b1的规则。当然，具体配置方式还可以是其他配置方式，本申请实施例对此不做特殊限定。
在本申请的一个实施例中，在步骤S220中，还包括：
对各个网络数据报文进行封装，得到所述待采集网络数据报文。
这样做的好处是，可以提高预定发送端口的报文发送速率，提高采集速率。
在本申请的一个实施例，在所述得到预定类型的网络数据报文，所述方法还包括：
根据预先配置的端口镜像映射规则，对过滤后的所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文。
可以理解，过滤后的网络数据报文仅为特定类型的网络数据报文。这时，可以将各个端口过滤得到的特定类型的网络数据报文，
在本申请的一个实施例中，所述待采集网络数据报文通过以下方式获得：
对预定类型的网络数据报文进行封装，得到所述待采集网络数据报文。
这样做的好处是，可以提高预定发送端口的报文发送速率，提高采集速率。
在步骤S230中，将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。
可以理解，在得到所述待采集网络数据报文后，所述交换机可以将将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。
如图4所示，在本申请的一个实施例中，在步骤S210之前，所述方法还包括：
步骤S410、预先配置DPDK运行环境。
可以理解，可以在交换机中预先配置DPDK运行环境。所述配置DPDK运行环境，Intel DPDK运行环境包括硬件环境和软件环境。硬件环境主要包括：CPU：需要使用Intel的CPU，整个系统的CPU核数不少于2。物理网卡：需要使用Intel的千兆、万兆网卡，网卡硬件带RSS支持更好。软件环境主要包括：设置Linux内核参数、设置hugepage内存，加载用户态IO模块，使得当前物理端口脱离Linux内核协议栈的管理，改由Intel DPDK的用户态IO驱动进行管理。
传统的linux内核，其控制平面和数据转发平面没有分离，不适合处理大规模网络数据包。如果能让应用程序直接接管网络数据包处理、内存管理以及CPU调度，那么性能可以得到一个质的提升。为了达到这个目标，首先要绕过Linux内核协议栈，因为Linux内核协议栈性能并不是非常优秀，如果让每一个数据包都经过Linux协议栈来处理，整个数据包的处理将变得非常慢。
DPDK(数据平面开发工具包：Data Plane Development Kit)专注于网络应用中数据包的高性能处理，它是一个软件优化库，目标是解决在多核通用处理器上发挥极致的包处理能力的问题。DPDK应用程序是运行在用户空间上利用自身提供的数据平面库来收发数据包，绕过了Linux内核协议栈对数据包处理过程。Linux内核将DPDK应用程序看作是一个普通的用户态进程，包括它的编译、连接和加载方式和普通程序没有什么两样。DPDK程序启动后只能有一个主线程，然后创建一些子线程并绑定到指定CPU核心上运行。
步骤S420、创建用于存储网络数据报文的内存环。
可以理解，内存池为创建在huge page内存中若干内存块，内存块部分空间用于存储内存块自身信息，包括自身状态、特性等，其余空间用于存储网络数据包。内存池在程序启动的时候创建，程序运行过程中不进行内存的分配、释放操作，以提升性能。
内存环采用无锁结构设计，通过CAS(Compare And Swap)原子操作，实现多生产者和多消费者并发访问，内存环中存储的是网络数据包所在内存块的指针地址。
步骤S430、设置所述网络数据报文转发处理策略。
a、按VLAN号分配：根据网络数据报文中的VLAN号，将同一VLAN号下的网络数据报文分配给同一工作线程进行转发处理。
b、按地址分配：根据网络数据包的源地址和目的地址，识别出通信双方，保证同一源地址和目的地址的网络数据报文被分配到同一工作线程进行转发处理。
c、按流分配：根据网络数据包的源地址、目的地址、源端口、目的端口及传输协议，识别出会话数据流，保证同一会话数据流被分配到同一工作线程。
网络数据报文转发处理策略包括硬件转发处理策略和软件转发处理策略。当Intel网卡硬件支持RSS时，网络数据报文转发处理策略为硬件转发处理策略，通过配置网卡硬件RSS相关寄存器，绑定内存环，实现网络数据报文的硬件转发处理。当Intel网卡硬件不支持RSS时，网络数据报文转发处理策略为软件调度，通过软件调度进行网络数据报文转发处理，具体为：创建软件转发处理线程，并绑定到单独的一个CPU核；接收时，软件调度线程按照设置的调度策略将网络数据报文快速分类，根据分类结果将各个网络数据报文所在内存块的内存指针地址写入相应工作线程的RX内存环；发送时，相关工作线程将待采集网络数据报文所在内存块的内存指针地址写入到自身对应的TX内存环，并启动发送。
步骤S440、根据所述接收策略，创建对应的工作线程。
工作线程为网络数据报文的转发处理线程，负责转发处理的接收、处理与发送。工作线程与CPU核一对一绑定，即一个工作线程绑定到一个CPU核，不同工作线程绑定到不同CPU核，被绑定的CPU核只运行绑定的工作线程，不参与Linux进程调度，同一网络数据报文的处理均在同一个工作线程中完成，多个工作线程并行处理，互不干扰。
每一个工作线程都分配有一个RX内存环和一个TX内存环，RX内存环用于存放接收到的网络数据报文所在内存块的内存指针地址，TX内存环用于存放待采集网络数据报文所在内存块的内存指针地址，根据调度策略，通过RSS硬件转发处理方法或软件转发处理方法，将接收到的网络数据报文转发给相应的工作线程，将相应网络数据报文所在内存块的内存指针地址写入到相应工作线程的RX内存环的内存单元中，工作线程不断从RX内存环中获取待处理的网络数据报文所在内存块的内存指针地址，定位到相关网络数据报文的内容并进行处理，处理完成后，或者进行发送，或者丢弃。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种数据采集方法，图5示出了本申请实施例提供的一种数据采集装置的一个实施例结构图。
在本申请的一个实施例中，所述数据采集装置，包括：
接收模块510，用于接收各个网关服务器发送的网络数据报文；
映射模块520，用于根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；
发送模块530，用于将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。
在本申请的一个实施例中，所述数据采集装置，还可以包括：镜像映射规则配置模块，用于配置交换机各个端口的镜像映射规则。
在本申请的一个实施例中，所述镜像映射规则配置模块，可以包括：
端口确定单元，用于根据各个网关服务器的网络地址，确定各个网关服务器连接的接收端口；
配置子单元，用于根据所述各个网关服务器连接的接收端口，配置各个端口的镜像映射规则。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例首先接收各个目标主机发送的网络数据报文；接着根据预先配置的端口镜像映射规则，对所述各个目标主机发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；最后将所述待采集网络数据报文通过预定发送端口，发送至预定目标采集终端，以便所述预定目标采集终端获取所述待采集网络数据报文。这样一来，无论网关服务器的数量为多少，都可以通过一个预定发送端口汇总所有需要采集的网关服务器转发的网络数据报文并发送至目标采集终端进行采集处理，从而节省了数据采集成本。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图6示出了本申请实施例提供的一种交换机的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。
如图6所示，该实施例的交换机6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各消息转换方法实施例中的步骤，例如图2所示的步骤S210至步骤S230。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块510至模块530的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述服务器6中的执行过程。
所述交换机6可以是运行有具有DPDK组件的交换机。本领域技术人员可以理解，交换机6仅仅是交换机6的示例，并不构成对交换机6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述交换机6还可以包括网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述交换机6的内部存储单元，例如交换机6的内存。所述存储器61也可以是所述交换机6的外部存储设备，例如所述交换机6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器61还可以既包括所述交换机6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述交换机6所需的其它程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据采集方法，其特征在于，所述方法包括：
接收各个网关服务器发送的网络数据报文；
根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；
将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。
2.根据权利要求1所述的数据采集方法，其特征在于，所述预先配置的端口镜像映射规则，按照以下方法确定：
根据各个网关服务器的网络地址，确定各个网关服务器连接的接收端口；
根据所述各个网关服务器连接的接收端口，配置各个端口的镜像映射规则。
3.根据权利要求1所述的数据采集方法，其特征在于，在所述接收各个网关服务器发送的网络数据报文之前，所述方法还包括：
配置各个接收端口的数据过滤规则；
在所述接收各个网关服务器发送的网络数据报文之后，还包括：
根据所述数据过滤规则，对所述各个接收端口接收的网络数据报文进行过滤，得到预定类型的网络数据报文。
4.根据权利要求3所述的数据采集方法，其特征在于，在所述得到预定类型的网络数据报文之后，所述方法还包括：
根据预先配置的端口镜像映射规则，对过滤后的所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文。
5.根据权利要求1所述的数据采集方法，其特征在于，在所述接收各个网关服务器发送的网络数据报文之前，所述方法还包括：
预先配置DPDK运行环境；
创建用于存储网络数据报文的内存环；
设置所述网络数据报文转发处理策略；
根据所述接收策略，创建对应的工作线程。
6.一种数据采集装置，其特征在于，所述装置包括：
接收模块，用于接收各个网关服务器发送的网络数据报文；
映射模块，用于根据预先配置的端口镜像映射规则，对所述各个网关服务器发送的网络数据报文进行端口镜像映射，得到待采集网络数据报文；
发送模块，用于将所述待采集网络数据报文通过预定发送端口，发送至与预定发送端口对应的目标采集终端，以便所述目标采集终端获取所述待采集网络数据报文。
7.根据权利要求6所述的数据采集装置，其特征在于，所述装置还包括：镜像映射规则配置模块，用于配置各个端口的镜像映射规则。
8.根据权利要求7所述的数据采集装置，其特征在于，所述镜像映射规则配置模块，还包括：
端口确定单元，用于根据各个网关服务器的网络地址，确定各个网关服务器连接的接收端口；
配置子单元，用于根据所述各个网关服务器连接的接收端口，配置各个端口的镜像映射规则。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有数据采集程序，其特征在于，所述数据采集程序被处理器执行时实现如权利要求1至5中任一项所述的数据采集方法的步骤。
10.一种交换机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的数据采集程序，其特征在于，所述处理器执行所述数据采集程序时实现如权利要求1至5中任一项所述的数据采集方法的步骤。
CN201911340505.1A 2019-12-23 2019-12-23 数据采集方法、装置、存储介质及交换机 Pending CN111049762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911340505.1A CN111049762A (zh) 2019-12-23 2019-12-23 数据采集方法、装置、存储介质及交换机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911340505.1A CN111049762A (zh) 2019-12-23 2019-12-23 数据采集方法、装置、存储介质及交换机

Publications (1)

Publication Number Publication Date
CN111049762A true CN111049762A (zh) 2020-04-21

Family

ID=70238676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911340505.1A Pending CN111049762A (zh) 2019-12-23 2019-12-23 数据采集方法、装置、存储介质及交换机

Country Status (1)

Country Link
CN (1) CN111049762A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111343211A (zh) * 2020-05-21 2020-06-26 四川英得赛克科技有限公司 基于网络流量的智能分析管控方法、系统、介质及设备
CN111600812A (zh) * 2020-05-13 2020-08-28 优刻得科技股份有限公司 一种报文的处理方法、处理装置、可读介质和系统
CN111698168A (zh) * 2020-05-20 2020-09-22 北京吉安金芯信息技术有限公司 消息处理方法、装置、存储介质及处理器
CN111865723A (zh) * 2020-07-25 2020-10-30 深圳市维度统计咨询股份有限公司 一种基于大数据的网络数据采集系统
CN112532720A (zh) * 2020-11-27 2021-03-19 北京百度网讯科技有限公司 数据转发的方法、装置、设备以及存储介质
CN113132383A (zh) * 2021-04-19 2021-07-16 烟台中科网络技术研究所 一种网络数据采集方法及系统
CN113507532A (zh) * 2021-08-24 2021-10-15 优刻得科技股份有限公司 网络地址转换的方法及相应服务器、存储介质和电子设备
CN113709017A (zh) * 2021-08-17 2021-11-26 中盈优创资讯科技有限公司 虚拟化流量的采集方法及装置
CN114095251A (zh) * 2021-11-19 2022-02-25 南瑞集团有限公司 一种基于dpdk与vpp的sslvpn实现方法
CN114125015A (zh) * 2021-11-30 2022-03-01 上海斗象信息科技有限公司 一种数据采集方法及系统
CN115348334A (zh) * 2021-05-13 2022-11-15 中移(上海)信息通信科技有限公司 一种数据的解析方法、装置及相关设备
CN115499409A (zh) * 2022-09-29 2022-12-20 阿里巴巴（中国）有限公司 Nat网关、服务器和网络系统
CN117807102A (zh) * 2024-02-29 2024-04-02 卓世智星(天津)科技有限公司 一种数据驱动的数据库更新方法及系统
CN117807102B (zh) * 2024-02-29 2024-07-09 卓世智星(天津)科技有限公司 一种数据驱动的数据库更新方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140043964A1 (en) * 2012-08-09 2014-02-13 International Business Machines Corporation Assigning identifiers to mobile devices according to their data service requirements
WO2015172512A1 (zh) * 2014-05-13 2015-11-19 中兴通讯股份有限公司 数据获取方法、装置及系统
CN105939220A (zh) * 2016-04-18 2016-09-14 杭州迪普科技有限公司 远程端口镜像的实现方法及装置
CN107087008A (zh) * 2017-05-26 2017-08-22 北京立思辰新技术有限公司 一种医疗网络的安全监控方法和系统
CN108076019A (zh) * 2016-11-17 2018-05-25 北京金山云网络技术有限公司 基于流量镜像的异常流量检测方法及装置
CN108270676A (zh) * 2016-12-31 2018-07-10 普天信息技术有限公司 一种基于IntelDPDK的网络数据处理方法及装置
CN108616594A (zh) * 2018-05-04 2018-10-02 广东唯网络科技有限公司 基于dpdk的http旁路阻断方法
CN109445944A (zh) * 2018-10-25 2019-03-08 武汉虹旭信息技术有限责任公司 一种基于dpdk的网络数据采集处理系统及其方法
CN109889452A (zh) * 2019-01-07 2019-06-14 中国科学院计算技术研究所 基于条件生成式对抗网络的网络背景流量生成方法和系统
CN109981403A (zh) * 2019-03-05 2019-07-05 北京勤慕数据科技有限公司 虚拟机网络数据流量监控方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140043964A1 (en) * 2012-08-09 2014-02-13 International Business Machines Corporation Assigning identifiers to mobile devices according to their data service requirements
WO2015172512A1 (zh) * 2014-05-13 2015-11-19 中兴通讯股份有限公司 数据获取方法、装置及系统
EP3145120A1 (en) * 2014-05-13 2017-03-22 ZTE Corporation Data acquisition method, device and system
CN105939220A (zh) * 2016-04-18 2016-09-14 杭州迪普科技有限公司 远程端口镜像的实现方法及装置
CN108076019A (zh) * 2016-11-17 2018-05-25 北京金山云网络技术有限公司 基于流量镜像的异常流量检测方法及装置
CN108270676A (zh) * 2016-12-31 2018-07-10 普天信息技术有限公司 一种基于IntelDPDK的网络数据处理方法及装置
CN107087008A (zh) * 2017-05-26 2017-08-22 北京立思辰新技术有限公司 一种医疗网络的安全监控方法和系统
CN108616594A (zh) * 2018-05-04 2018-10-02 广东唯网络科技有限公司 基于dpdk的http旁路阻断方法
CN109445944A (zh) * 2018-10-25 2019-03-08 武汉虹旭信息技术有限责任公司 一种基于dpdk的网络数据采集处理系统及其方法
CN109889452A (zh) * 2019-01-07 2019-06-14 中国科学院计算技术研究所 基于条件生成式对抗网络的网络背景流量生成方法和系统
CN109981403A (zh) * 2019-03-05 2019-07-05 北京勤慕数据科技有限公司 虚拟机网络数据流量监控方法及装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111600812A (zh) * 2020-05-13 2020-08-28 优刻得科技股份有限公司 一种报文的处理方法、处理装置、可读介质和系统
CN111600812B (zh) * 2020-05-13 2022-10-25 优刻得科技股份有限公司 一种报文的处理方法、处理装置、可读介质和系统
CN111698168B (zh) * 2020-05-20 2022-06-28 北京吉安金芯信息技术有限公司 消息处理方法、装置、存储介质及处理器
CN111698168A (zh) * 2020-05-20 2020-09-22 北京吉安金芯信息技术有限公司 消息处理方法、装置、存储介质及处理器
CN111343211B (zh) * 2020-05-21 2020-10-16 四川英得赛克科技有限公司 基于网络流量的智能分析管控方法、系统、介质及设备
CN111343211A (zh) * 2020-05-21 2020-06-26 四川英得赛克科技有限公司 基于网络流量的智能分析管控方法、系统、介质及设备
CN111865723A (zh) * 2020-07-25 2020-10-30 深圳市维度统计咨询股份有限公司 一种基于大数据的网络数据采集系统
CN112532720A (zh) * 2020-11-27 2021-03-19 北京百度网讯科技有限公司 数据转发的方法、装置、设备以及存储介质
CN113132383A (zh) * 2021-04-19 2021-07-16 烟台中科网络技术研究所 一种网络数据采集方法及系统
CN115348334A (zh) * 2021-05-13 2022-11-15 中移(上海)信息通信科技有限公司 一种数据的解析方法、装置及相关设备
CN115348334B (zh) * 2021-05-13 2023-10-27 中移(上海)信息通信科技有限公司 一种数据的解析方法、装置及相关设备
CN113709017A (zh) * 2021-08-17 2021-11-26 中盈优创资讯科技有限公司 虚拟化流量的采集方法及装置
CN113709017B (zh) * 2021-08-17 2022-10-04 中盈优创资讯科技有限公司 虚拟化流量的采集方法及装置
CN113507532A (zh) * 2021-08-24 2021-10-15 优刻得科技股份有限公司 网络地址转换的方法及相应服务器、存储介质和电子设备
CN114095251A (zh) * 2021-11-19 2022-02-25 南瑞集团有限公司 一种基于dpdk与vpp的sslvpn实现方法
CN114095251B (zh) * 2021-11-19 2024-02-13 南瑞集团有限公司 一种基于dpdk与vpp的sslvpn实现方法
CN114125015A (zh) * 2021-11-30 2022-03-01 上海斗象信息科技有限公司 一种数据采集方法及系统
CN115499409A (zh) * 2022-09-29 2022-12-20 阿里巴巴（中国）有限公司 Nat网关、服务器和网络系统
CN117807102A (zh) * 2024-02-29 2024-04-02 卓世智星(天津)科技有限公司 一种数据驱动的数据库更新方法及系统
CN117807102B (zh) * 2024-02-29 2024-07-09 卓世智星(天津)科技有限公司 一种数据驱动的数据库更新方法及系统

Similar Documents

Publication Publication Date Title
CN111049762A (zh) 数据采集方法、装置、存储介质及交换机
CN109669442B (zh) 一种协议转换方法及转换装置
García-Dorado et al. High-performance network traffic processing systems using commodity hardware
EP2924935A1 (en) PCI express fabric routing for a fully-connected mesh topology
US20100262819A1 (en) Method and apparatus for implementing multiple service processing functions
CN109981403A (zh) 虚拟机网络数据流量监控方法及装置
US20150121060A1 (en) Methods for configurable hardware logic device reloading and devices thereof
CN111147391B (zh) DPDK用户态与linux内核网络协议栈之间的数据传输方法及系统
CN111193783B (zh) 一种服务访问的处理方法及装置
CN108768667B (zh) 一种用于多核处理器片内核间网络通信的方法
US20120140640A1 (en) Apparatus and method for dynamically processing packets having various characteristics
CN115080479B (zh) 传输方法、服务器、设备、裸金属实例及基板管理控制器
WO2014160652A1 (en) Hardware acceleration for routing programs
CN111679728B (zh) 数据读取方法及装置
US8271716B2 (en) Virtualization of an input/output device for supporting multiple hosts and functions by using an ingress manager for accepting into a buffer communications identified by functions hosted by a single host
CN115023919A (zh) 防火墙规则的更新方法、装置、服务器及存储介质
CN112688924A (zh) 网络协议分析系统
CN115033407A (zh) 一种适用于云计算的采集识别流量的系统和方法
CN115484129A (zh) 多进程数据的处理方法、装置、网关及可读存储介质
US10623315B1 (en) Extending virtual routing and forwarding
CN112448839B (zh) 一种网卡配置方法、装置及计算机存储介质
KR102354062B1 (ko) 직접 메모리 액세스 제어 장치 및 그 작동 방법
US7613133B2 (en) Method, system and computer program product for processing packets at forwarder interfaces
CN113037880B (zh) 网关ip地址的配置方法、装置、网关及可读存储介质
CN113132273A (zh) 一种数据转发方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200421

RJ01 Rejection of invention patent application after publication