CN113824772B

CN113824772B - 基于云网络的数据采集方法、系统、装置及可读存储介质

Info

Publication number: CN113824772B
Application number: CN202111007493.8A
Authority: CN
Inventors: 王传雷; 王培辉
Original assignee: Jinan Inspur Data Technology Co Ltd
Current assignee: Jinan Inspur Data Technology Co Ltd
Priority date: 2021-08-30
Filing date: 2021-08-30
Publication date: 2023-04-18
Anticipated expiration: 2041-08-30
Also published as: CN113824772A

Abstract

本发明提出的一种基于云网络的数据采集方法、系统、装置及可读存储介质，所述方法包括：接收从外部网络进入云网络的报文；将报文与预设转发流表进行匹配，若匹配成功，则按照命中的转发流表规定的行为进行报文转发；收集并筛选报文信息和转发流表信息；分析筛选出的报文信息和转发流表信息，并对分析结果进行展示。本发明能够实时掌握网络中的流量走向以及相关统计信息，有效的保障了网络的正常运行。

Description

基于云网络的数据采集方法、系统、装置及可读存储介质

技术领域

本发明涉及计算机技术领域，更具体的说是涉及一种基于云网络的数据采集方法、系统、装置及可读存储介质。

背景技术

当前，云虚拟化网络发展迅速，许多公司业务不再依赖于个人硬件主机，而是将业务全部上云，为公司的内部的办公和进一步提供了进一步的支撑。除了对于网络的稳定和带宽的需求之外，网络的安全性也非常重要，尤其在云网络应用日益加深的大背景下，对云网络数据报文的探测、采集和分析变得越来越重要，对于数据报文的采集分析和处理对于保护现网设备的正常运行，避免来自外部的攻击具有重要意义。

在云网络部署环境中，对于网络的安全，主要依赖于防火墙机制，通过在当前的网络环境中设置防火墙规则，对特定匹配的报文进行处理。通过简单的防火墙机制，可以针对特定匹配的报文进行处理，操作起来较为简单，但是网络环境上的报文种类繁多，攻击报文以及其他干扰报文多种多样，对于不同来源的报文进行一一处理耗费巨大，实现起来也较为困难，对于网络环境中的报文种类也难以侦测。另外，网络报文的探测与检测，目前的对于网络报文的探测也仅仅是定时采集网络中的报文并送给分析器，采集方式较为简单，对于复杂网络报文的探测仍有不足。

发明内容

针对以上问题，本发明的目的在于提供一种基于云网络的数据采集方法、系统、装置及可读存储介质，能够实时掌握网络中的流量走向以及相关统计信息，有效的保障了网络的正常运行。

本发明为实现上述目的，通过以下技术方案实现：一种基于云网络的数据采集方法，包括：

接收从外部网络进入云网络的报文；

将报文与预设转发流表进行匹配，若匹配成功，则按照命中的转发流表规定的行为进行报文转发；

收集并筛选报文信息和转发流表信息；

分析筛选出的报文信息和转发流表信息，并对分析结果进行展示。

进一步，所述接收从外部网络进入云网络的报文包括：

搭建云网络设备环境，设置云主机和网卡，建立外部网络交换机与云主机的网络连接；

在云主机中创建虚拟交换机，并配置虚拟网卡端口，接收从外部网络进入云网络的报文。

进一步，所述收集并筛选报文信息和转发流表信息，包括：

定时轮询所有虚拟交换机的虚拟网卡端口，并按照预设采样比采集报文，获取报文信息。

进一步，所述收集并筛选报文信息和转发流表信息还包括：

定时轮询所有虚拟交换机的虚拟网卡端口，采集转发流表命中信息以及转发流表行为信息；

根据转发流表命中信息以及转发流表行为信息对转发流表进行筛选。

进一步，所述根据转发流表命中信息以及转发流表行为信息对转发流表进行筛选，具体为：

根据转发流表命中信息以及转发流表行为信息，筛选出在单位时间内命中次数大于预设次数的转发流表和命中次数为0的转发流表。

进一步，所述分析筛选出的报文信息和转发流表信息，并对分析结果进行展示具体包括：

使用预设算法对报文信息进行统计分析；

将筛选出的转发流表和相关报文进行统计分析；

在预设显示界面上展示分析结果。

相应的，本发明还公开了一种基于云网络的数据采集系统，包括：云主机和网络报文分析设备，所述云主机内设有虚拟交换机；

所述云主机，用于接收从外部网络进入云网络的报文；

所述虚拟交换机，用于将报文与预设转发流表进行匹配，若匹配成功，则按照命中的转发流表规定的行为进行报文转发；

所述网络报文分析设备，用于收集分析报文信息和转发流表信息，并对分析结果进行展示。

进一步，所述虚拟交换机包括：

接收统计分析模块，用于对虚拟交换机的虚拟网卡端口的收发计数进行汇总；流表命中分析模块，对转发流表的转发流表命中信息和转发流表行为信息进行汇总；

端口转发分析模块，用于按照预设采样比采集通过虚拟交换机的虚拟网卡端口转发的报文，获取报文信息；

定时器，用于定时轮询接收统计分析模块、流表命中分析模块、端口转发分析模块，收集汇总的虚拟网卡端口的收发计数、转发流表命中信息、转发流表行为信息和报文信息，并上送到网络报文分析设备。

相应的，本发明公开了一种基于云网络的数据采集装置，包括：

存储器，用于存储基于云网络的数据采集程序；

处理器，用于执行所述基于云网络的数据采集程序时实现如上文任一项所述基于云网络的数据采集方法的步骤。

相应的，本发明公开了一种可读存储介质，所述可读存储介质上存储有基于云网络的数据采集程序，所述基于云网络的数据采集程序被处理器执行时实现如上文任一项所述基于云网络的数据采集方法的步骤。

对比现有技术，本发明有益效果在于：本发明提供了一种基于云网络的数据采集方法、系统、装置及可读存储介质，能够实时采集网络中的报文数据用于实时网络分析，并能及时反馈当前网络环境各个端口中的流量情况，为保障网络的正常运营和网络流量分析提供了技术支持。

本发明能够统计虚拟机交换机中各端口计数情况、报文在各个端口之间的转发情况、转发流表的命中信息等，将这些关键信息进行采集，送往网络报文分析设备进行分析展示，进而使得能够实时掌握网络中的流量走向以及相关统计信息，对于保障网络正常的运行具有重大意义。

本发明基于转发流表将云主机网桥上的关键信息上传到网络报文分析设备；而且采用定时轮询机制，将虚拟交换机的端口信息和流表命中信息定时上送到网络报文分析设备，此种信息上送方式适用于其他相关信息的采集。

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1是本发明的方法流程图；

附图2是本发明的系统结构图。

图中，1为云主机；2为网络报文分析设备；3为虚拟交换机；31为接收统计分析模块；32为流表命中分析模块；33为端口转发分析模块；34为定时器。

具体实施方式

本发明的核心是提供一种基于云网络的数据采集方法，现有技术中，对于网络报文的探测也仅仅是定时采集网络中的报文并送给分析器，采集方式较为简单，对于复杂网络报文进行一一处理耗费巨大，实现起来也较为困难，对于网络环境中的网络报文种类也难以侦测。

而本发明提供的基于云网络的数据采集方法，首先，接收从外部网络进入云网络的报文：然后，将报文与预设转发流表进行匹配，若匹配成功，则按照命中的转发流表规定的行为进行报文转发。最后，收集并筛选报文信息和转发流表信息；分析筛选出的报文信息和转发流表信息，并对分析结果进行展示。

由此可见，本发明能够实时掌握网络中的流量走向以及相关统计信息，有效的保障了网络的正常运行。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

如图1所示，本实施例提供了一种基于云网络的数据采集方法，包括如下步骤：

S1：接收从外部网络进入云网络的报文。

首先，搭建云网络设备环境，设置云主机和网卡，建立外部网络交换机与云主机的网络连接。然后，在云主机中创建虚拟交换机，并配置虚拟网卡端口，接收从外部网络进入云网络的报文。

S2：将报文与预设转发流表进行匹配，若匹配成功，则按照命中的转发流表规定的行为进行报文转发。

S3：收集并筛选报文信息和转发流表信息。

其中，报文信息的收集和筛选过程包括：定时轮询所有虚拟交换机的虚拟网卡端口，并按照预设采样比采集报文，获取报文信息。

转发流表信息的收集和筛选过程包括：首先，定时轮询所有虚拟交换机的虚拟网卡端口，采集转发流表命中信息以及转发流表行为信息。然后，根据转发流表命中信息以及转发流表行为信息对转发流表进行筛选。具体为，根据转发流表命中信息以及转发流表行为信息，筛选出在单位时间内命中次数大于预设次数的转发流表和命中次数为0的转发流表。

S4：分析筛选出的报文信息和转发流表信息，并对分析结果进行展示。

本步骤包括：使用预设算法对报文信息进行统计分析；将筛选出的转发流表和相关报文进行统计分析。最后在预设显示界面上对分析结果进行展示。

本实施例提供了一种基于云网络的数据采集方法，能够统计虚拟机交换机中各端口计数情况、报文在各个端口之间的转发情况、转发流表的命中信息等，将这些关键信息进行采集，并进行分析展示，进而使得能够实时掌握网络中的流量走向以及相关统计信息，对于保障网络正常的运行具有重大意义。

实施例二：

基于实施例一，本实施例提供了一种基于云网络的数据采集方法，包括如下步骤：

步骤1：搭建云网络设备环境，在云主机内安装虚拟化软件，并在主机环境安装多块网卡，使外部交换机与云主机建立网络连接。

步骤2：在云主机内创建虚拟交换机，为每个创建的虚拟机分配虚拟网卡端口。其中，云主机内部的虚拟交换机可以互相通信，并能够与外部的虚拟交换机的虚拟网卡端口进行通信。

步骤3：通过虚拟交换机接收从外部网络进入云网络的报文，将报文与预设转发流表进行匹配，若匹配成功，视为报文命中转发流表，则按照命中的转发流表规定的行为进行报文转发。

步骤4：在虚拟交换机的虚拟网卡端口上，采集转发流表命中信息以及转发流表行为信息，根据转发流表命中信息以及转发流表行为信息对转发流表进行筛选，筛选出在单位时间内命中次数大于预设次数的转发流表和命中次数为0的转发流表。同时，按照预设采样比采集报文，获取报文信息。

步骤5：采用定时轮询的方式将收集到的统计信息以及定时采集的报文数据信息进行上送分析。

步骤6：将采集到的报文数据、统计信息以及流表相关信息进行分析，并且展示分析结果。

本实施例提供了一种基于云网络的数据采集方法，在云计算和虚拟化环境大规模部署的背景下，能够实时采集网络中的数据包用于实时网络分析，并能及时反馈当前网络环境各个端口中的流量情况，为保障网络的正常运营和网络流量分析提供了技术支持。

实施例三：

基于实施例一，如图2所示，本发明还公开了一种基于云网络的数据采集系统，包括：云主机1和网络报文分析设备2，云主机1和网络报文分析设备2数据连接，云主机1内设有虚拟交换机3。

云主机1，用于接收从外部网络进入云网络的报文。

虚拟交换机3，用于将报文与预设转发流表进行匹配，若匹配成功，则按照命中的转发流表规定的行为进行报文转发。

网络报文分析设备2，用于收集分析报文信息和转发流表信息，并对分析结果进行展示。

其中，虚拟交换机3包括：接收统计分析模块31、流表命中分析模块32、端口转发分析模块33和定时器34。

接收统计分析模块31，用于对虚拟交换机的虚拟网卡端口的收发计数进行汇总。

流表命中分析模块32，对转发流表的转发流表命中信息和转发流表行为信息进行汇总。具体用于：采集转发流表命中信息以及转发流表行为信息。根据转发流表命中信息以及转发流表行为信息，筛选出在单位时间内命中次数大于预设次数的转发流表和命中次数为0的转发流表。最后，对筛选出的转发流表进行汇总。

端口转发分析模块33，用于按照预设采样比采集通过虚拟交换机的虚拟网卡端口转发的报文，获取报文信息；

定时器34，用于定时轮询接收统计分析模块31、流表命中分析模块32、端口转发分析模块33，收集汇总的虚拟网卡端口的收发计数、转发流表命中信息、转发流表行为信息和报文信息，并上送到网络报文分析设备。

使用时，从外部网络进入云网络的报文，会首先进入虚拟交换机，在交换机的虚拟网卡端口上的收发信息会送回接收统计分析模块进行处理，虚拟交换机中预存了已经配置好的转发流表，外部报文命中转发流表之后，按照转发流表规定的行为进行转发。转发流表信息以及命中信息由流表命中分析模块进行分析，转发流表命中之后的行为由端口转发分析模块进行分析，最后报文会进入目的设备。网络报文分析设备需要收集定时轮询各个端口的收发统计信息，流表命中信息以及流表行为信息，并将这些信息转发到网络信息分析设备，此功能通过定时器实现。定时器定时轮询各个交换机收发端口，并定时按照采样比采集报文，将报文发送到网络报文分析设备。网络报文分析设备对于收集到报文信息，以及交换中的端口和流表相关信息进行及时的分析并直观展现。

本实施例提供了一种基于云网络的数据采集系统，能够实时采集网络中的报文数据用于实时网络分析，并能及时反馈当前网络环境各个端口中的流量情况，为保障网络的正常运营和网络流量分析提供了技术支持。

实施例四：

本实施例公开了一种基于云网络的数据采集装置，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的基于云网络的数据采集程序时实现以下步骤：

1、接收从外部网络进入云网络的报文。

2、将报文与预设转发流表进行匹配，若匹配成功，则按照命中的转发流表规定的行为进行报文转发。

3、收集并筛选报文信息和转发流表信息。

4、分析筛选出的报文信息和转发流表信息，并对分析结果进行展示。

进一步的，本实施例中的基于云网络的数据采集装置，还可以包括：

输入接口，用于获取外界导入的基于云网络的数据采集程序，并将获取到的基于云网络的数据采集程序保存至所述存储器中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器中，以便处理器利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。

输出接口，用于将处理器产生的各种数据输出至与其相连的终端设备，以便于与输出接口相连的其他终端设备能够获取到处理器产生的各种数据。本实施例中，所述输出接口具体可以包括但不限于USB接口、串行接口等。

通讯单元，用于在基于云网络的数据采集装置和外部服务器之间建立远程通讯连接，以便于基于云网络的数据采集装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。

键盘，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。

显示器，用于运行服务器供电线路短路定位过程的相关信息进行实时显示。

鼠标，可以用于协助用户输入数据并简化用户的操作。

本实施例提供了一种基于云网络的数据采集装置，在云网络环境下，通过利用虚拟交换机的转发流表统计信息以及虚拟网卡端口统计信息，将云网络上的报文数据进行采集并发给网络报文分析设备进行分析。不仅将网络上的报文信息发送给网络报文分析设备，也将网络上交换机的转发流表相关信息发送给网络报文分析设备进行分析，能够及时反馈当前网络环境各个端口中的流量情况，为保障网络的正常运营和网络流量分析提供了技术支持。

实施例五：

本实施例还公开了一种可读存储介质，这里所说的可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动硬盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质。可读存储介质中存储有基于云网络的数据采集程序，所述基于云网络的数据采集程序被处理器执行时实现以下步骤：

1、接收从外部网络进入云网络的报文。

3、收集并筛选报文信息和转发流表信息。

本实施例提供了一种可读存储介质，能够统计虚拟机交换机中各端口计数情况、报文在各个端口之间的转发情况、转发流表的命中信息等，将这些关键信息进行采集，并进行分析展示，进而使得能够实时掌握网络中的流量走向以及相关统计信息，对于保障网络正常的运行具有重大意义。

综上所述，本发明能够实时掌握网络中的流量走向以及相关统计信息，有效的保障了网络的正常运行。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。

同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的基于云网络的数据采集方法、系统、装置及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种基于云网络的数据采集方法，其特征在于，包括：

接收从外部网络进入云网络的报文；

收集并筛选报文信息和转发流表信息；

分析筛选出的报文信息和转发流表信息，并对分析结果进行展示；

所述分析筛选出的报文信息和转发流表信息，并对分析结果进行展示具体包括：使用预设算法对报文信息进行统计分析；

将筛选出的转发流表和相关报文进行统计分析；

在预设显示界面上展示分析结果；

所述接收从外部网络进入云网络的报文包括：

在云主机中创建虚拟交换机，并配置虚拟网卡端口，接收从外部网络进入云网络的报文；

所述收集并筛选报文信息和转发流表信息还包括：

2.根据权利要求1所述的基于云网络的数据采集方法，其特征在于，所述收集并筛选报文信息和转发流表信息，包括：

3.根据权利要求1所述的基于云网络的数据采集方法，其特征在于，所述根据转发流表命中信息以及转发流表行为信息对转发流表进行筛选，具体为：

4.一种基于云网络的数据采集系统，其特征在于，包括：云主机和网络报文分析设备，所述云主机内设有虚拟交换机；

所述云主机，用于接收从外部网络进入云网络的报文；

所述网络报文分析设备，用于收集分析报文信息和转发流表信息，并对分析结果进行展示；

所述分析报文信息和转发流表信息，并对分析结果进行展示具体包括：

使用预设算法对报文信息进行统计分析；

将筛选出的转发流表和相关报文进行统计分析；

在预设显示界面上展示分析结果；

所述虚拟交换机包括：

接收统计分析模块，用于对虚拟交换机的虚拟网卡端口的收发计数进行汇总；

流表命中分析模块，对转发流表的转发流表命中信息和转发流表行为信息进行汇总；

5.一种基于云网络的数据采集装置，其特征在于，包括：

存储器，用于存储基于云网络的数据采集程序；

处理器，用于执行所述基于云网络的数据采集程序时实现如权利要求1至3任一项权利要求所述的基于云网络的数据采集方法的步骤。

6.一种可读存储介质，其特征在于：所述可读存储介质上存储有基于云网络的数据采集程序，所述基于云网络的数据采集程序被处理器执行时实现如权利要求1至3任一项权利要求所述的基于云网络的数据采集方法的步骤。