CN111865723A - 一种基于大数据的网络数据采集系统 - Google Patents

一种基于大数据的网络数据采集系统 Download PDF

Info

Publication number
CN111865723A
CN111865723A CN202010726590.1A CN202010726590A CN111865723A CN 111865723 A CN111865723 A CN 111865723A CN 202010726590 A CN202010726590 A CN 202010726590A CN 111865723 A CN111865723 A CN 111865723A
Authority
CN
China
Prior art keywords
network data
module
network
data
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010726590.1A
Other languages
English (en)
Inventor
吴中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dimension Statistics Consulting Co ltd
Original Assignee
Shenzhen Dimension Statistics Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dimension Statistics Consulting Co ltd filed Critical Shenzhen Dimension Statistics Consulting Co ltd
Priority to CN202010726590.1A priority Critical patent/CN111865723A/zh
Publication of CN111865723A publication Critical patent/CN111865723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于大数据的网络数据采集系统，涉及数据采集技术领域，该系统包括：网络数据采集模块，用于采集一种或多种不同类型的网络数据；规则模块：用于定义网络数据识别规则和解码规则；剔除模块：对无法识别的网络数据进行拦截剔除；多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；存储模块，对通用网络数据进行存储。这样的系统可以采集多种类型的网络数据，使采集的网络数据种类增多，不再受到局限，网络数据根据统一的转换规则转换为处理器能识别的通用网络数据，便于处理器识别，且网络数据通过存储模块进行存储，便于处理器随时调用。

Description

一种基于大数据的网络数据采集系统
技术领域
本发明涉及网络数据采集技术领域，具体而言，涉及一种基于大数据的网络数据采集系统。
背景技术
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，大数据具有五大特点，即大量、高速、多样、低价值密度、真实性。大数据的意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，也就是对这些数据进行“加工处理”，通过加工实现数据的增值。
伴随着当今社会信息之间的交流越来越频繁和紧密，工业生产领域的电子设备同互联网的联系朝着更方便和更快捷的方向进行着，利用该类电子设备同互联网的连接，将广泛存在于互联网中的大数据进行采集、处理、分析，进而对工业生产进行指导具有提高产品质量、提高生产效率的作用。随着网络信息的发展，产生了的越来越多不同类型的网络数据，而现有技术中的网络数据采集系统的采集样式比较单一，只能采集几种固定格式的网络数据。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于大数据的网络数据采集系统，能采集多种网络数据。
本发明的实施例是这样实现的：
一种基于大数据的网络数据采集系统，包括：
网络数据采集模块，用于采集一种或多种不同类型的网络数据；
规则模块：用于定义网络数据识别规则和解码规则；
剔除模块：对无法识别的网络数据进行拦截剔除；
多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；
存储模块，对通用网络数据进行存储。
上述网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置，其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号；上述识别内容包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；上述处理动作包括：根据识别结果对上述网络数据进行处理，将报文转发到协议解码和事件消息合成模块进行处理、或转发给抓包服务器处理，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型和分发关键字；上述下一跳模块配置包括：每个下一跳处理服务器的索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分比、以及下一跳处理服务器上的业务处理模块的在线状态；
上述解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协议的消息种类、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中，对网络类型、逻辑接口、协议类型、消息类型、消息字段、以及字段中的参数赋予身份标识ID标记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID逻辑接口ID上下行方向ID协议类型ID消息类型ID消息字段ID参数ID；上述解码规则中还包括解码后的消息是否进入的事件合成状态机的标识符、以及消息中的字段和状态机关键字之间的一一映射关系，以指明消息的下一步处理；规则模块和剔除模块相连；
在本发明的一些实施例中，网络数据采集模块还用于采集局域网数据。
在本发明的一些实施例中，上述网络数据包括以下一种或多种信息：
经交换机监听接口监听的网络流量信息；
目标网络设备的配置信息、日志信息和设备状态信息。
在本发明的一些实施例中，上述交换机为以太网交换机或光纤交换机。
在本发明的一些实施例中，上述网络数据采集模块通过串口对经交换机监听接口的网络流量信息进行采集；以及通过串口对上述网络设备的配置信息、日志信息和设备状态信息进行采集。
在本发明的一些实施例中，还包括节点提取模块，用于按照一定周期从采集的网络数据中提取数据作为节点数据。
在本发明的一些实施例中，周期为10s、30s或60s。
在本发明的一些实施例中，还包括解码模块，用于对被编码的网络数据进行解码。
在本发明的一些实施例中，上述规则模块还包括：
流量分拣子模块，根据上述网络数据识别规则对网络数据采集模块采集到的上述网络数据进行规则匹配，获取符合上述网络数据识别规则的网路数据，并识别上述网络数据的类型；
负载均衡模块，根据识别出的上述网络数据的类型，将上述网路数据负载均衡分发到多类型数据转换模块。
在本发明的一些实施例中，上述网络数据识别规则具体包括：匹配条件、识别内容和处理动作，其中：
匹配条件包括：网络数据采集入口标识符；
上述识别内容包括：识别出的网络类型、识别出的逻辑接口类型；
上述处理动作包括：根据上述识别出的上述网络数据的类型对上述网络数据进行处理。
本发明实施例至少具有如下优点或有益效果：
本发明提供一种基于大数据的网络数据采集系统，包括：网络数据采集模块，用于采集一种或多种不同类型的网络数据；规则模块：用于定义网络数据识别规则和解码规则；剔除模块：对无法识别的网络数据进行拦截剔除；多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；存储模块，对通用网络数据进行存储。
这样的系统可以采集多种类型的网络数据，使采集的网络数据种类增多，不再受到局限，网络数据根据统一的转换规则转换为处理器能识别的通用网络数据，便于处理器识别，且网络数据通过存储模块进行存储，便于处理器随时调用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一种基于大数据的网络数据采集系统一实施例的框图；
图2为本发明一种基于大数据的网络数据采集系统另一实施例的框图。
图标：10、网络数据采集模块10；20、规则模块；21、流量分拣子模块；22、负载均衡模块；30、节点提取模块；40、解码模块；50、剔除模块；60、多类型数据转换模块；70、存储模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请所提供的实施例中，应该理解到，所揭露的系统，也可以通过其它的方式实现。系统实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，可以是个人计算机，服务器，或者网络设备等，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明实施例的描述中，“多个”代表至少2个。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“相连”应做广义理解，例如，可以是固定相连，也可以是可拆卸相连，或一体地相连；可以是机械相连，也可以是电相连；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例
请参照图1，图1为本发明一种基于大数据的网络数据采集系统一实施例的框图；一种基于大数据的网络数据采集系统，包括：
网络数据采集模块10，用于采集一种或多种不同类型的网络数据；
在本发明的一些实施例中，不对采集的方式作限定，可以通过传感器采集也可以通过USB采集；网络数据包括但不限于CDMA、GPRS、CDPD三类网络制式类型，也包括局域网数据、城域网数据和广域网数据；网络数据采集模块10与规则模块20相连；
规则模块20：用于定义网络数据识别规则和解码规则；
上述网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置，其中，
匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号；
上述识别内容包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；
上述处理动作包括：根据识别结果对上述网络数据进行处理，将报文转发到协议解码和事件消息合成模块进行处理、或转发给抓包服务器处理，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型和分发关键字；上述下一跳模块配置包括：每个下一跳处理服务器的索引号、流量分拣和负载均衡模块22的出口索引号、下一跳处理服务器的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分比、以及下一跳处理服务器上的业务处理模块的在线状态；
上述解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协议的消息种类、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中，对网络类型、逻辑接口、协议类型、消息类型、消息字段、以及字段中的参数赋予身份标识ID标记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID逻辑接口ID上下行方向ID协议类型ID消息类型ID消息字段ID参数ID；上述解码规则中还包括解码后的消息是否进入的事件合成状态机的标识符、以及消息中的字段和状态机关键字之间的一一映射关系，以指明消息的下一步处理；规则模块20和剔除模块50相连；
剔除模块50：对无法识别的网络数据进行拦截剔除；
这样设置的目的在于，过滤掉不匹配的网络数据，减少不必要的数据，减轻存储器负担；剔除模块50与多类型数据转换模块60相连；
多类型数据转换模块60，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；
这样，增加网络数据采集类型，有效解决了现有技术中的网络数据采集系统的采集样式比较单一，只能采集几种固定格式的网络数据的问题；多类型数据转换模块60与存储模块70相连；
存储模块70，对通用网络数据进行存储。
请参照图2，图2为本发明一种基于大数据的网络数据采集系统另一实施例的框图；在本发明的一些实施例中，网络数据采集模块10还用于采集局域网数据。
在本发明的一些实施例中，上述网络数据包括以下一种或多种信息：
经交换机监听接口监听的网络流量信息；
需要说明的是，网络流量就是网络上传输的数据量，网络流量的大小对网络架构设计具有重要意义，就像要根据来往车辆的多少和流向来设计道路的宽度和连接方式类似，根据网络流量进行网络的设计是十分必要的；
目标网络设备的配置信息、日志信息和设备状态信息。
需要说明的是，日志信息用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志。在系统出现问题是，可以调取历史数据进行诊断问题以及追踪问题。设备状态信息用于实时掌控设备的状态，有效避免产生突发事件，减少损失。
在本发明的一些实施例中，上述交换机为以太网交换机或光纤交换机。
在本发明的一些实施例中，上述网络数据采集模块10通过串口对经交换机监听接口的网络流量信息进行采集；以及通过串口对上述网络设备的配置信息、日志信息和设备状态信息进行采集。
需要说明的是，串行接口简称串口，也称串行通信接口或串行通讯接口(通常指COM接口)，是采用串行通信方式的扩展接口。串行接口(Serial Interface)是指数据一位一位地顺序传送。其特点是通信线路简单，只要一对传输线就可以实现双向通信(可以直接利用电话线作为传输线)，从而大大降低了成本。
在本发明的一些实施例中，还包括节点提取模块30，用于按照一定周期从采集的网络数据中提取数据作为节点数据。
在本发明的一些实施例中，周期为10s、30s或60s。
本实施例不对周期进行限制，既周期可以根据实际情况进行设定，在本实施中，按照10s、30s或60s从采集的网络数据中提取数据作为节点数据。
在本发明的一些实施例中，还包括解码模块40，用于对被编码的网络数据进行解码。
在本发明的一些实施例中，上述规则模块20还包括：
流量分拣子模块21，根据上述网络数据识别规则对网络数据采集模块10采集到的上述网络数据进行规则匹配，获取符合上述网络数据识别规则的网路数据，并识别上述网络数据的类型；
负载均衡模块22，根据识别出的上述网络数据的类型，将上述网路数据负载均衡分发到多类型数据转换模块60。
在本发明的一些实施例中，上述网络数据识别规则具体包括：匹配条件、识别内容和处理动作，其中：
匹配条件包括：网络数据采集入口标识符；
上述识别内容包括：识别出的网络类型、识别出的逻辑接口类型；
上述处理动作包括：根据上述识别出的上述网络数据的类型对上述网络数据进行处理。
在本发明的一些实施例中，还提供一种基于大数据的网络数据采集方法，包括以下步骤：
S1:采集一种或多种不同类型的网络数据；
S2：定义网络数据识别规则和解码规则；
S3：对无法识别的网络数据进行拦截剔除；
S4：将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；
S5：对通用网络数据进行存储。
其中，网络数据采集模块10还用于采集局域网数据；
上述网络数据包括以下一种或多种信息：
经交换机监听接口监听的网络流量信息；
目标网络设备的配置信息、日志信息和设备状态信息。
上述交换机为以太网交换机或光纤交换机。
步骤S1中，通过串口对经交换机监听接口的网络流量信息进行采集；以及通过串口对上述网络设备的配置信息、日志信息和设备状态信息进行采集。
步骤S2后还包括：按照一定周期从采集的网络数据中提取数据作为节点数据；周期为10s、30s或60s。
还包括以下步骤：对被编码的网络数据进行解码。
上述步骤S2中还包括：
根据上述网络数据识别规则对网络数据采集模块10采集到的上述网络数据进行规则匹配，获取符合上述网络数据识别规则的网路数据，并识别上述网络数据的类型；
根据识别出的上述网络数据的类型，将上述网路数据负载均衡分发到多类型数据转换模块60。
综上，本发明的实施例提供一种基于大数据的网络数据采集系统，包括：网络数据采集模块10，用于采集一种或多种不同类型的网络数据；规则模块20：用于定义网络数据识别规则和解码规则；剔除模块50：对无法识别的网络数据进行拦截剔除；多类型数据转换模块60，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；存储模块70，对通用网络数据进行存储。
这样的系统可以采集多种类型的网络数据，使采集的网络数据种类增多，不再受到局限，网络数据根据统一的转换规则转换为处理器能识别的通用网络数据，便于处理器识别，且网络数据通过存储模块70进行存储，便于处理器随时调用。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于大数据的网络数据采集系统，其特征在于，包括：
网络数据采集模块，用于采集一种或多种不同类型的网络数据；
规则模块：用于定义网络数据识别规则和解码规则；
剔除模块：对无法识别的网络数据进行拦截剔除；
多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；
存储模块，对通用网络数据进行存储。
2.根据权利要求1所述的一种基于大数据的网络数据采集系统，其特征在于，网络数据采集模块还用于采集局域网数据。
3.根据权利要求1所述的一种基于大数据的网络数据采集系统，其特征在于，所述网络数据包括以下一种或多种信息：
经交换机监听接口监听的网络流量信息；
目标网络设备的配置信息、日志信息和设备状态信息。
4.根据权利要求3所述的一种基于大数据的网络数据采集系统，其特征在于，所述交换机为以太网交换机或光纤交换机。
5.根据权利要求3所述的一种基于大数据的网络数据采集系统，其特征在于，所述网络数据采集模块通过串口对经交换机监听接口的网络流量信息进行采集；以及通过串口对所述网络设备的配置信息、日志信息和设备状态信息进行采集。
6.根据权利要求1所述的一种基于大数据的网络数据采集系统，其特征在于，还包括节点提取模块，用于按照一定周期从采集的网络数据中提取数据作为节点数据。
7.根据权利要求6所述的一种基于大数据的网络数据采集系统，其特征在于，周期为10s、30s或60s。
8.根据权利要求1所述的一种基于大数据的网络数据采集系统，其特征在于，还包括解码模块，用于对被编码的网络数据进行解码。
9.根据权利要求1所述的一种基于大数据的网络数据采集系统，其特征在于，所述规则模块还包括：
流量分拣子模块，根据所述网络数据识别规则对网络数据采集模块采集到的所述网络数据进行规则匹配，获取符合所述网络数据识别规则的网路数据，并识别所述网络数据的类型；
负载均衡模块，根据识别出的所述网络数据的类型，将所述网路数据负载均衡分发到多类型数据转换模块。
10.根据权利要求9所述的一种基于大数据的网络数据采集系统，其特征在于，所述网络数据识别规则具体包括：匹配条件、识别内容和处理动作，其中：
匹配条件包括：网络数据采集入口标识符；
所述识别内容包括：识别出的网络类型、识别出的逻辑接口类型；
所述处理动作包括：根据所述识别出的所述网络数据的类型对所述网络数据进行处理。
CN202010726590.1A 2020-07-25 2020-07-25 一种基于大数据的网络数据采集系统 Pending CN111865723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010726590.1A CN111865723A (zh) 2020-07-25 2020-07-25 一种基于大数据的网络数据采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010726590.1A CN111865723A (zh) 2020-07-25 2020-07-25 一种基于大数据的网络数据采集系统

Publications (1)

Publication Number Publication Date
CN111865723A true CN111865723A (zh) 2020-10-30

Family

ID=72950052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010726590.1A Pending CN111865723A (zh) 2020-07-25 2020-07-25 一种基于大数据的网络数据采集系统

Country Status (1)

Country Link
CN (1) CN111865723A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801820A (zh) * 2021-02-05 2021-05-14 郝大伟 一种面向建筑施工企业的大数据采集方法
CN114124376A (zh) * 2021-11-23 2022-03-01 中国标准化研究院 基于网络数据采集的数据处理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120297061A1 (en) * 2011-05-17 2012-11-22 Applied Broadband, Inc. Method and system for collecting and managing network data
US20130212255A1 (en) * 2012-02-14 2013-08-15 Wilson Wai Hang Chao Method and system for generating transaction data from network traffic data for an application system
US20150215283A1 (en) * 2014-01-30 2015-07-30 Sierra Nevada Corporation Bi-directional data security for supervisor control and data acquisition networks
CN105578488A (zh) * 2014-10-10 2016-05-11 中兴通讯股份有限公司 网络数据采集系统及方法
US20160234094A1 (en) * 2011-11-07 2016-08-11 Netflow Logic Corporation Streaming method and system for processing network metadata
US20170195197A1 (en) * 2011-07-26 2017-07-06 Security Matters B.V. Method and system for classifying a protocol message in a data communication network
CN107426017A (zh) * 2017-06-26 2017-12-01 杭州沃趣科技股份有限公司 一种通过采集交换机网络流量进行数据分析的方法
CN108259371A (zh) * 2016-12-28 2018-07-06 亿阳信通股份有限公司 一种基于流处理的网络流量数据解析方法和装置
CN111049762A (zh) * 2019-12-23 2020-04-21 上海金仕达软件科技有限公司 数据采集方法、装置、存储介质及交换机

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120297061A1 (en) * 2011-05-17 2012-11-22 Applied Broadband, Inc. Method and system for collecting and managing network data
US20170195197A1 (en) * 2011-07-26 2017-07-06 Security Matters B.V. Method and system for classifying a protocol message in a data communication network
US20160234094A1 (en) * 2011-11-07 2016-08-11 Netflow Logic Corporation Streaming method and system for processing network metadata
US20130212255A1 (en) * 2012-02-14 2013-08-15 Wilson Wai Hang Chao Method and system for generating transaction data from network traffic data for an application system
US20150215283A1 (en) * 2014-01-30 2015-07-30 Sierra Nevada Corporation Bi-directional data security for supervisor control and data acquisition networks
CN105578488A (zh) * 2014-10-10 2016-05-11 中兴通讯股份有限公司 网络数据采集系统及方法
CN108259371A (zh) * 2016-12-28 2018-07-06 亿阳信通股份有限公司 一种基于流处理的网络流量数据解析方法和装置
CN107426017A (zh) * 2017-06-26 2017-12-01 杭州沃趣科技股份有限公司 一种通过采集交换机网络流量进行数据分析的方法
CN111049762A (zh) * 2019-12-23 2020-04-21 上海金仕达软件科技有限公司 数据采集方法、装置、存储介质及交换机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801820A (zh) * 2021-02-05 2021-05-14 郝大伟 一种面向建筑施工企业的大数据采集方法
CN114124376A (zh) * 2021-11-23 2022-03-01 中国标准化研究院 基于网络数据采集的数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN105871832B (zh) 一种基于协议属性的网络应用加密流量识别方法及其装置
EP1480379B1 (en) Automated characterization of network traffic
CN111865723A (zh) 一种基于大数据的网络数据采集系统
EP1705840A1 (en) User mac frame transfer method, edge transfer device, and program
CN106972985B (zh) 加速dpi设备数据处理与转发的方法和dpi设备
CN112350846B (zh) 一种智能变电站的资产学习方法、装置、设备及存储介质
CN106055608A (zh) 自动采集和分析交换机日志的方法和装置
CN103024819B (zh) 基于用户终端ip的第三代移动通信核心网数据分流方法
CN111222547B (zh) 一种面向移动应用的流量特征提取方法及系统
CN112073326B (zh) 一种智能变电站过程层网络数据流控制方法
CN112688822A (zh) 基于多点协同的边缘计算故障或安全威胁监测系统与方法
US20080062989A1 (en) Smart match search method for captured data frames
CN112688924A (zh) 网络协议分析系统
CN107210969B (zh) 一种基于软件定义网络的数据处理方法及相关设备
WO2000007092A1 (en) Method and system of network packet accounting
CN113347036B (zh) 利用公有云存储实现云环境旁路监控方法及系统
CN114157611B (zh) 一种报文去重方法、装置及存储介质
CN114254704A (zh) 一种http隧道检测方法、装置、电子设备及存储介质
CN107592214B (zh) 一种识别互联网应用系统登录用户名的方法
CN116155827B (zh) 数据传输方法、装置、路由器、电子设备和存储介质
CN112053145B (zh) 一种网络红包动作的识别方法、装置及存储介质
CN118487973B (zh) 实现多目标融合的智能电网细粒度流量测量方法和系统
CN111818020B (zh) 一种基于新一代信息技术的配置信息迭代系统与方法
CN118740418A (zh) 一种基于智能检测的分析运行方法
JP2000270022A (ja) サービス品質管理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030