CN103246262B - 一种网络数据分析用综合服务系统 - Google Patents

Abstract

本发明公开了一种网络数据分析用综合服务系统，包括电源模块、主控器模块、网络多路数据汇集模块和网络数据负载分配模块，本发明的技术效果在于，可在完全不影响系统正常运行情况下，实现对基于计算机网络通信环境中的各种行业应用业务系统的封闭运行环境进行旁路镜像监听，对从多条网络线路上根据指定策略汇集过来的非耦合单向流向的镜像数据流进行汇集获取，并依据不同的路由重定向策略规划，把汇集的数据再根据需要送至指定的不同网络端口上，用于供各种在此基础上实现对实时数据获取解析的应用需求，完成对被监测业务系统的数据分析、性能监测、风险预警、应用测试跟踪等各种有实用意义的用途。

Description

一种网络数据分析用综合服务系统

技术领域

本发明涉及一种网络数据分析用综合服务系统。

背景技术

传统上为能尽快获取业务生产系统中计算机上的数据，一般都采用耦合的方式，即在生产系统中安装转发代理程序（也叫探针程序）实现，该程序在指定的时间间隔内扫描生产系统中的指定数据源（数据库的表或磁盘上的数据文件），通过指针定位，读取到相关数据信息，再将这些数据转发至指定的服务端处，在服务端处进行相应的数据处理。这种耦合的数据转发技术方式有很多问题，主要体现在下述几个方面：

1、转发“探针”程序使得生产系统平台的硬件环境运行负载压力增大，造成生产系统宕机风险；

2、多生产系统环境时转发“探针”程序的布设较为繁琐，造成运行维护成本增加；

3、对转发“探针”程序的调试维护将影响生产系统的正常运行，增加对生产系统的干扰和风险；

4、转发“探针”程序嵌入到多生产系统环境中使得整体运行维护难度增大，系统联调管理复杂；

5、转发使得生产系统与关联的新系统之间未隔离带来相互联动影响，增加了网络管理的复杂性；

6、转发使得新系统的转发“探针”程序寄生在生产系统网络环境中带来了网络耦合影响，造成网络安全隐患；

7、转发模式经上层交易数据还原后再打包进入网络后传，使数据处理的运行效率过低；

8、获取多份源数据时效率过低

发明内容

为了解决目前在获取网络数据时采用耦合方式的不足，本发明提供一种可实现从运行中的生产系统中完整获取动态变化的生产通信数据，同时又不影响生产系统运行的安全性和网络安全性的网络数据分析用综合服务系统。

为了实现上述技术目的，本发明的技术方案是，一种网络数据分析用综合服务系统，包括电源模块、主控器模块、用于汇集外部不同通信网络的通信数据的网络多路数据汇集模块和用于根据网络负载状态进行通信数据分配的网络数据负载分配模块，所述的主控器模块分别通信连接至网络多路数据汇集模块和网络数据负载分配模块，所述的电源模块为各模块提供运行所需电力。

所述的一种网络数据分析用综合服务系统，还包括冷却模块，所述的冷却模块为风冷模块，风冷模块设置于用于装载系统的机箱内并用于冷却各模块。

所述的一种网络数据分析用综合服务系统，所述的主控器模块包括中央控制单元、外部控制接口、控制单元状态指示电路、控制程序存储单元、公用缓冲单元和主控数据协议解析转换与数据交换单元，所述的中央控制单元分别与外部控制接口、控制单元状态指示电路、控制程序存储单元、公用缓冲单元和主控数据协议解析转换与数据交换单元通信连接，所述的主控数据协议解析转换与数据交换单元连接内部高速总线数据缓冲单元。

所述的一种网络数据分析用综合服务系统，所述的主控器模块为设置有双冗余中央控制单元的控制模块。

所述的一种网络数据分析用综合服务系统，所述的网络多路数据汇集模块包括数据协议解析转换与数据交换单元、汇集模块控制单元、汇集状态指示电路、汇集控制程序存储单元、汇集公用缓冲单元和网络输入接口单元，所述的汇集模块控制单元分别与汇集控制程序存储单元、汇集公用缓冲单元通信连接，所述的数据协议解析转换与数据交换单元分别与汇集模块控制单元、汇集状态指示电路和网络输入接口单元通信连接，数据协议解析转换与数据交换单元同时通信连接至内部高速总线数据缓冲单元。

所述的一种网络数据分析用综合服务系统，所述的网络输入接口单元包括广域网输入缓冲单元、广域网输入端口组、局域网输入缓冲单元和局域网输入端口组，所述的广域网输入端口组和广域网输入缓冲单元串联后连接至数据协议解析转换与数据交换单元，所述的局域网输入端口组和局域网输入缓冲单元串联后连接至数据协议解析转换与数据交换单元。

所述的一种网络数据分析用综合服务系统，所述的网络数据负载分配模块包括负载分配控制单元、负载状态指示电路、负载控制程序存储单元、负载公用缓冲单元、以太网数据交换单元、负载分配输出缓冲模块和负载分配输出端口组，所述的负载分配控制单元分别通信连接至负载控制程序存储单元和负载公用缓冲单元，所述的以太网数据交换单元通信连接至负载状态指示电路，所述的负载分配输出端口组和负载分配输出缓冲模块串联后连接以太网数据交换单元，以太网数据交换单元同时通信连接至内部高速总线数据缓冲单元。

本发明的技术效果在于，可在完全不影响系统正常运行情况下，实现对基于计算机网络通信环境中的各种行业应用业务系统的封闭运行环境进行旁路镜像监听，对从多条网络线路上根据指定策略汇集过来的非耦合单向流向的镜像数据流进行汇集获取，并依据不同的路由重定向策略规划，把汇集的数据再根据需要送至指定的不同网络端口上，实现在网络层的多路数据汇集功能和数据输出的负载分配功能，用于供各种在此基础上实现对实时数据获取解析的应用需求，完成对被监测业务系统的数据分析、性能监测、风险预警、应用测试跟踪等各种有实用意义的用途。

下面结合附图对本发明作进一步说明。

附图说明

图1为本发明的结构示意图；

图2为本发明主控器模块的结构示意图；

图3为本发明网络多路数据汇集模块的结构示意图；

图4为本发明网络数据负载分配模块的结构示意图；

图5为本发明设置于生产环境内的系统布设示意图。

具体实施方式

参见图1，本发明包括电源模块、主控器模块、用于汇集外部不同通信网络的通信数据的网络多路数据汇集模块和用于根据网络负载状态进行通信数据分配的网络数据负载分配模块，主控器模块分别通信连接至网络多路数据汇集模块和网络数据负载分配模块，电源模块为各模块提供运行所需电力。同时还包括冷却模块，冷却模块为风冷模块，风冷模块设置于用于装载系统的机箱内并用于冷却各模块。

参见图2，主控器模块包括中央控制单元、外部控制接口、控制单元状态指示电路、控制程序存储单元、公用缓冲单元和主控数据协议解析转换与数据交换单元，中央控制单元分别与外部控制接口、控制单元状态指示电路、控制程序存储单元、公用缓冲单元和主控数据协议解析转换与数据交换单元通信连接，主控数据协议解析转换与数据交换单元连接内部高速总线数据缓冲单元。其中主控器模块可采用双冗余中央控制单元的控制模块。

参见图3，一种网络数据分析用综合服务系统，网络多路数据汇集模块包括数据协议解析转换与数据交换单元、汇集模块控制单元、汇集状态指示电路、汇集控制程序存储单元、汇集公用缓冲单元和网络输入接口单元，汇集模块控制单元分别与汇集控制程序存储单元、汇集公用缓冲单元通信连接，数据协议解析转换与数据交换单元分别与汇集模块控制单元、汇集状态指示电路和网络输入接口单元通信连接，数据协议解析转换与数据交换单元同时通信连接至内部高速总线数据缓冲单元。

其中网络输入接口单元包括广域网输入缓冲单元、广域网输入端口组、局域网输入缓冲单元和局域网输入端口组，广域网输入端口组和广域网输入缓冲单元串联后连接至数据协议解析转换与数据交换单元，局域网输入端口组和局域网输入缓冲单元串联后连接至数据协议解析转换与数据交换单元。

参见图4，一种网络数据分析用综合服务系统，网络数据负载分配模块包括负载分配控制单元、负载状态指示电路、负载控制程序存储单元、负载公用缓冲单元、以太网数据交换单元、负载分配输出缓冲模块和负载分配输出端口组，负载分配控制单元分别通信连接至负载控制程序存储单元和负载公用缓冲单元，以太网数据交换单元通信连接至负载状态指示电路，负载分配输出端口组和负载分配输出缓冲模块串联后连接以太网数据交换单元，以太网数据交换单元同时通信连接至内部高速总线数据缓冲单元。

采用本发明系统，能够把不同独立网络分区中并具备不同主备线路环境的网络平台上的镜像数据流统一俘获到指定的设备上。再由该设备能够根据多种策略进行数据传输的路由重定向分配（如基于IP、基于通信端口号、基于MAC地址、基于VLAN、基于应用等多种策略），使得镜像监听汇集获取的网络数据可以按照设置要求分配到指定的设备端口上。能够根据需要提供多种过滤策略进行相应数据过滤预处理，以便把不必要的数据过滤掉。可以对一些有特殊标记的网络数据进行相应的整形处理，以便按照应用要求恢复其通用标准报文结构。可以通过二次镜像功能，把监听汇集到的镜像数据进行多份副本数据复制，分别独立送到指定端口，供不同的应用系统同时使用。能够对设备上的所有端口资源进行规划，可以按照需要进行分区和端口设置定义，镜像接入端口要消除反射属性。

其中电源模块用于为整个系统提供标准的供电电源，低端产品可被设计成单电源供电方式，高端产品被设计成多电源冗余供电方式。其供电功率满足最大负载满配时长时间连续不间断工作的要求，均按照标准高效可靠开关电源的指标要求设计。

主控制器模块是整个设备的核心，它统一完成对各个模块的集中监测、控制、运行和管理，同时完成跨单元间的高速数据传递，也对各个模块的端口配置、数据通信策略、数据处理策略等进行集中管理定义。低端产品的主控制器模块单元采用单控制器模块与其它模块的一体化设计；而高端产品采用双控制器模块冗余设计，便于各部件模块的独立灵活升级改造优化。

模块式的网络多路数据汇集模块是用于特殊的网络通信层专用设备,它支持在标准的二层和三层网络数据传输通信基础上完成无阻塞多网路数据汇集功能，它可以提供用于多端口对多端口的多层交换能力和线速的路由转发及重定向能力，能基于网络数据采集分析应用需求和特殊传输要求对来自于不同网络线路上的相关数据进行完整汇集处理的网络层专用产品。它也有两种产品类型设计：低端设备可以设计成独立使用的单独产品；高端设备则可以设计成模块化的产品部件，能与其它部件根据应用需要组合成机架式产品。使用过程中通过灵活配置网络汇集连接数量和各汇集端口的数据流向和汇集分区定义,在各连接汇分区内灵活定义各种汇集策略和端口资源分配，针对主线路和备份线路、多路绑定线路、多独立业务分区中多条网络线路等情况，完成数据汇入和定向输出目的。

网络数据负载分配模块可以对传输过来的网络层数据根据特定的负载分配策略完成无阻塞网络数据报文负载分配功能，它可以提供用于同时基于多组并行方式，根据用户定义的特殊负载分配策略，分别将接收到的大流量数据分流到多个指定的端口上输出，用于对所接驳后续专用设备群（例如：网络数据采集器群）涉及的每台设备负载处理能力来调整负载分配。它具有多层交换能力和线速的路由转发及重定向能力，能针对多个模块式网络多路数据汇集模块传递过来的数据进行负载分配处理，灵活地配置网络输出数据负载分配连接数量和负载分配策略定义,实现各连接端口对应的分配域内灵活定义各种资源分配。

冷却系统实现对整个设备的内部风冷，保证设备正常可靠工作。

本系统的工作原理和工作过程如下：来自于不同网络的数据（可以是很多条网路）先进入网络数据汇集模块，通过相应汇集策略预处理后，这些预处理后网络数据交由系统控制器单元进行相应后处理，后处理的数据将再由背板连接单元交付给数据负载分配模块，由负载分配模块再根据负载分配策略将清洗后的数据按要求传送到相应不同的输出端口上，完成负载的分配，供后续接入设备（如采集器群）的数据并行接收。供电模块对设备内部的各个模块提供电源输入和配电，也同时将自身的工作状态参数传送给双控制器单元，同时接受控制器传递回来的控制信息完成相应操作（如：故障电源单元隔离）。

本系统可以广泛用在基于复杂多网络环境中的非耦合网络数据监测分析，生产系统非耦合监测分析，数据库网络访问非耦合监测分析等。

在具体实施时，数据镜像位置建议选择在用户提供拓扑图上对应的骨干交换机或分区交换机上实现，由于镜像对交换机的负载影响微乎其微，可按对现有的业务系统的分区划分，找好镜像端口对应的应用服务器，合理的在交换机上做出相应端口镜像定义配置，指定好镜像输出的端口位置，这样便可在镜像输出端口上监听获取网路上的被监测业务系统的镜像交易数据，再单向将该副本数据汇集引流到多路数据汇集器上。

多路数据汇集是在拓扑图上所标示的多路数据汇集器处完成的。按照不同业务分类进行的数据采集工作可以保证不会对核心交换机造成任何大的负载压力影响，根据用户核心交换机或分区交换机的性能指标、网络拓扑架构和用户的业务量看，数据采集工作完全可以在核心交换机或分区交换机上完成，可以根据业务关联关系来明晰镜像分离出相应通道上流过需要监测的业务数据，可将关联交换机上镜像端口上的多路数据按照汇集端口资源流向汇集，定义多路数据汇集器的数据输入端口流向与相应汇集策略。

考虑业务交易量会逐渐增大，多路采集来的被监测业务数据的报文需要及时进行相应的前处理（在采集器上做一定前处理工作），当业务量的增加时，若单个采集器无法完成全部数据前处理时，此时通过采集器群集工作方式来完成被监测业务的数据处理工作。此时负载分配均衡技术就显得十分重要，考虑到全辖的业务交易规模和业务发展要求，设计采用多台数据采集器，通过负载分配均衡模式的数据分配策略定义来把全辖的监测数据流量合理的分配到多台采集器上。设计通过网络IP资源流向规划(或其它策略规划)将全辖被监测业务负载均衡地分配到多台采集器上去。

Claims (5)

1.一种网络数据分析用综合服务系统，其特征在于，包括电源模块、主控器模块、用于汇集外部不同通信网络的通信数据的网络多路数据汇集模块和用于根据网络负载状态进行通信数据分配的网络数据负载分配模块，所述的主控器模块分别通信连接至网络多路数据汇集模块和网络数据负载分配模块，所述的电源模块为各模块提供运行所需电力；

还包括冷却模块，所述的冷却模块为风冷模块，风冷模块设置于用于装载系统的机箱内并用于冷却各模块；

所述的主控器模块包括中央控制单元、外部控制接口、控制单元状态指示电路、控制程序存储单元、公用缓冲单元和主控数据协议解析转换与数据交换单元，所述的中央控制单元分别与外部控制接口、控制单元状态指示电路、控制程序存储单元、公用缓冲单元和主控数据协议解析转换与数据交换单元通信连接，所述的主控数据协议解析转换与数据交换单元连接内部高速总线数据缓冲单元。

2.    根据权利要求1所述的一种网络数据分析用综合服务系统，其特征在于，所述的主控器模块为设置有双冗余中央控制单元的控制模块。

3.    根据权利要求1所述的一种网络数据分析用综合服务系统，其特征在于，所述的网络多路数据汇集模块包括数据协议解析转换与数据交换单元、汇集模块控制单元、汇集状态指示电路、汇集控制程序存储单元、汇集公用缓冲单元和网络输入接口单元，所述的汇集模块控制单元分别与汇集控制程序存储单元、汇集公用缓冲单元通信连接，所述的数据协议解析转换与数据交换单元分别与汇集模块控制单元、汇集状态指示电路和网络输入接口单元通信连接，数据协议解析转换与数据交换单元同时通信连接至内部高速总线数据缓冲单元。

4.    根据权利要求3所述的一种网络数据分析用综合服务系统，其特征在于，所述的网络输入接口单元包括广域网输入缓冲单元、广域网输入端口组、局域网输入缓冲单元和局域网输入端口组，所述的广域网输入端口组和广域网输入缓冲单元串联后连接至数据协议解析转换与数据交换单元，所述的局域网输入端口组和局域网输入缓冲单元串联后连接至数据协议解析转换与数据交换单元。

5.    根据权利要求1所述的一种网络数据分析用综合服务系统，其特征在于，所述的网络数据负载分配模块包括负载分配控制单元、负载状态指示电路、负载控制程序存储单元、负载公用缓冲单元、以太网数据交换单元、负载分配输出缓冲模块和负载分配输出端口组，所述的负载分配控制单元分别通信连接至负载控制程序存储单元和负载公用缓冲单元，所述的以太网数据交换单元通信连接至负载状态指示电路，所述的负载分配输出端口组和负载分配输出缓冲模块串联后连接以太网数据交换单元，以太网数据交换单元同时通信连接至内部高速总线数据缓冲单元。