CN206962848U - 一种用于大量数据的信息运维装置 - Google Patents
一种用于大量数据的信息运维装置 Download PDFInfo
- Publication number
- CN206962848U CN206962848U CN201720630187.2U CN201720630187U CN206962848U CN 206962848 U CN206962848 U CN 206962848U CN 201720630187 U CN201720630187 U CN 201720630187U CN 206962848 U CN206962848 U CN 206962848U
- Authority
- CN
- China
- Prior art keywords
- data
- subelement
- database
- information
- preprocessed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Alarm Systems (AREA)
Abstract
本实用新型涉及一种用于大量数据的信息运维装置,包括:多个交换机,每个交换机分别连接有多个采集终端,多个交换机分别通过多个数据过滤装置与路由器连接,路由器依次通过网关和防火墙与中心管理服务器连接,中心管理服务器分别与网络监控服务器、数据处理服务器和显示终端连接。本实用新型提供的一种用于大量数据的信息运维装置,通过在交换机与路由器之间设置数据过滤装置,对采集终端采集到的数据在发送到中心管理服务器之前,对数据从采集层进行筛选,可以有效地减少服务器的压力,提高筛选效率。
Description
技术领域
本实用新型涉及信息处理领域,尤其涉及一种用于大量数据的信息运维装置。
背景技术
随着互联网和计算机行业的发展,数据处理一直是人们关注的重点,对于数据的处理和运维,现在已有很多方法和产品,但当数据量较大时,通常是在服务器端对大量数据进行处理,通常需要在大量数据正式使用之前对其进行过滤和筛选,从中选出有用的数据。
目前,对于大量数据的筛选,通常是在数据收集到服务器端之后,根据使用的需求对大量数据进行筛选,这样会造成服务器压力过大,筛选效率低下,因此,亟需一种能提高大量数据筛选效率的处理运维装置。
实用新型内容
本实用新型所要解决的技术问题是针对现有技术的不足,提供一种用于大量数据的信息运维装置。
本实用新型解决上述技术问题的技术方案如下:
一种用于大量数据的信息运维装置,包括:多个交换机,每个所述交换机分别连接有多个采集终端,多个所述交换机分别通过多个数据过滤装置与路由器连接,所述路由器依次通过网关和防火墙与中心管理服务器连接,所述中心管理服务器分别与网络监控服务器、数据处理服务器和显示终端连接。
本实用新型的有益效果是:本实用新型提供的一种用于大量数据的信息运维装置,通过在交换机与路由器之间设置数据过滤装置,对采集终端采集到的数据在发送到中心管理服务器之前,对数据从采集层进行筛选,可以有效地减少服务器的压力,提高筛选效率。
在上述技术方案的基础上,本实用新型还可以做如下改进。
进一步,所述大量数据信息运维装置还包括数据库,所述数据库分别与所述数据处理服务器和所述显示终端连接。
进一步,所述数据库包括:存储有大量数据索引字段的索引数据库、存储有大量数据统计结果的统计数据库、存储有大量数据报表的报表数据库和存储有通过检查得到的大量数据中错误数据的告警数据库,其中,所述索引数据库、所述统计数据库、所述报表数据库和所述告警数据库分别与所述数据处理服务器通信连接,所述报表数据库和所述告警数据库还分别与所述显示终端通信连接。
进一步,所述数据过滤装置通过其包含的处理器对所述原始数据进行过滤处理,得到预处理数据,并将所述预处理数据发送给所述路由器。
进一步,所述数据处理服务器包括:数据分析单元和数据管理单元,所述数据处理服务器通过所述数据分析单元对所述预处理数据进行分析处理,并通过所述数据管理单元对所述预处理数据的分析处理过程进行管理和控制。
进一步,所述数据分析单元包括错误检查子单元、数据解析子单元、数据统计子单元、报表生成子单元和数据传输子单元,所述数据分析单元通过错误检查子单元对所述预处理数据进行检查,将得到的错误数据通过所述数据传输子单元存储到所述告警数据库中,并通过所述数据解析子单元对所述预处理数据进行解析,将提取所述预处理数据的索引字段通过所述数据传输子单元存储到所述索引数据库中,并通过所述数据统计子单元对所述预处理数据进行分析处理,将得到的统计结果通过所述数据传输子单元存储到所述统计数据库中,同时将所述统计结果发送至所述报表生成子单元,并将通过所述报表生成子单元生成的统计报表通过所述数据传输子单元存储到所述报表数据库中。
进一步,所述网络监控服务器采用简单网络管理协议架构。
以上所述仅为本实用新型的较佳实施例,并不用以限制本实用新型,凡在本实用新型的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本实用新型的保护范围之内。
附图说明
图1为本实用新型实施例提供的一种用于大量数据的信息运维装置的结构示意图;
图2为本实用新型另一实施例提供的一种用于大量数据的信息运维装置的结构图。
具体实施方式
以下结合附图对本实用新型的原理和特征进行描述,所举实例只用于解释本实用新型,并非用于限定本实用新型的范围。
如图1所示,为本实用新型实施例提供的一种用于大量数据的信息运维装置的结构示意图,在该装置中,主要包括多个交换机120,每个交换机120分别连接有多个采集终端110,多个交换机120分别通过多个数据过滤装置130与路由器140连接,路由器140依次通过网关150和防火墙160与中心管理服务器170连接,中心管理服务器170分别与网络监控服务器180、数据处理服务器190和显示终端200连接。
本实施例提供的一种用于大量数据的信息运维装置,通过在交换机120与路由器140之间设置数据过滤装置130,对采集终端110采集到的数据在发送到中心管理服务器170之前,对数据从采集层进行筛选,可以有效地减少服务器的压力,提高筛选效率。
在另一实施例中,如图2所示,为本实用新型另一实施例提供的一种用于大量数据的信息运维装置的结构图,下面通过对数据流向进行说明,来体现该装置的连接结构。
在该装置中,包括:采集终端110、交换机120、数据过滤装置130、路由器140、网关150、防火墙160、中心管理服务器170、网络监控服务器180、数据处理服务器190、显示终端200和数据库210。
其中,采集终端110用于采集得到各种数据,这里的采集终端110指的是可以采集得到大量数据的各种终端设备,例如,可以是传感器、手机、电脑或监控器等设备,采集的大量数据可以是环境信息、个人资料或企业数据等。
在采集终端110采集到大量数据后,传统的做法是通过交换机120将采集终端110采集到的大量数据发送给路由器140,由路由器140将数据依次通过网关150和防火墙160发送到中心管理服务器170,再由中心管理服务器对数据进行初步的管理分配。
本实施例中,在交换机120和路由器140之间加入数据过滤装置130,对采集到的数据进行初步的过滤,可以从数据采集源头剔除一大批不符合要求的数据,可以提高数据的处理和运维效率。
中心管理服务器170在接收到路由器140发送过来的数据后,将数据发送给数据处理服务器190进行处理,数据处理服务器190处理完数据后,将数据发送给数据库210进行存储,并通过显示终端200进行显示,并通过与中心管理服务器170连接的网络监控服务器180对处理过程进行监控,网络监控服务器180采用简单网络管理协议架构。
在本实施例提供的信息运维装置中,路由器140可以为一个,采集终端110和交换机120分别有多个,交换机120的数量小于采集终端110的数量,每个交换机120连接有多个采集终端110,每个采集终端110只与一个交换机120连接,交换机120接收与其连接的多个采集终端110采集到的数据,并通过数据过滤装置130发送给路由器140,数据过滤装置130也有多个,其数量与交换机120相同,每个数据过滤装置130与每个交换机120对应连接,并对交换机120接收到的大量数据进行筛选和过滤,然后发送给路由器140。
数据过滤装置130包括处理器1301,处理器根据预设的过滤规则对大量数据进行过滤,得到符合过滤规则的数据,并将过滤后的数据发送给路由器140,例如,过滤规则可以为不发送某一时间段的数据、不发送数据值大于阈值的数据等,通过在数据采集源头对数据进行过滤,可以提高数据的运维效率。
路由器140将过滤后的数据依次通过网关150和防火墙160发送给中心管理服务器170连接,中心管理服务器170分别与网络监控服务器180、数据处理服务器190和显示终端200连接。
在本实施例提供的信息运维装置中,数据库210可以包括:索引数据库2101、统计数据库2102、报表数据库2103和告警数据库2104,其中:
索引数据库2101存储有大量数据的索引字段,统计数据库2102存储有大量数据的统计结果,报表数据库2103存储有大量数据的统计报表,告警数据库2104存储有通过检查得到的大量数据中的错误数据。
数据处理服务器190可以包括:数据分析单元1901和数据管理单元1902,数据处理服务器190通过数据分析单元1901对所述预处理数据进行分析处理,并通过数据管理单元1902对所述预处理数据的分析处理过程进行管理和控制。
数据分析单元1901包括错误检查子单元19011、数据解析子单元19012、数据统计子单元19013、报表生成子单元19014和数据传输子单元19015,数据分析单元1901通过错误检查子单元19011对预处理数据进行检查,将得到的错误数据通过数据传输子单元19015存储到告警数据库2104中,例如,这里的错误检查子单元中预存有错误检查规则,通过检查数据是否符合错误检查规则,从中选出来错误数据。
并通过数据解析子单元19012对预处理数据进行解析,将提取预处理数据的索引字段通过数据传输子单元19015存储到索引数据库2101中,并通过数据统计子单元19013对预处理数据进行分析处理,将得到的统计结果通过数据传输子单元19015存储到统计数据库2102中,同时将统计结果发送至报表生成子单元19014,并将通过报表生成子单元19014生成的统计报表通过数据传输子单元19015存储到报表数据库2103中。
同时,显示终端200还可以对报表数据库2103和告警数据库2104中的统计报表和错误数据进行可视化显示。
在本说明书的描述中,参考术语“实施例一”、“实施例二”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体方法、装置或者特点包含于本实用新型的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、方法、装置或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本实用新型的较佳实施例,并不用以限制本实用新型,凡在本实用新型的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本实用新型的保护范围之内。
Claims (7)
1.一种用于大量数据的信息运维装置,其特征在于,包括:多个交换机,每个所述交换机分别连接有多个采集终端,多个所述交换机分别通过多个数据过滤装置与路由器连接,所述路由器依次通过网关和防火墙与中心管理服务器连接,所述中心管理服务器分别与网络监控服务器、数据处理服务器和显示终端连接。
2.根据权利要求1所述的信息运维装置,其特征在于,还包括数据库,所述数据库分别与所述数据处理服务器和所述显示终端连接。
3.根据权利要求2所述的信息运维装置,其特征在于,所述数据库包括:存储有大量数据索引字段的索引数据库、存储有大量数据统计结果的统计数据库、存储有大量数据报表的报表数据库和存储有通过检查得到的大量数据中错误数据的告警数据库,其中,所述索引数据库、所述统计数据库、所述报表数据库和所述告警数据库分别与所述数据处理服务器通信连接,所述报表数据库和所述告警数据库还分别与所述显示终端通信连接。
4.根据权利要求3所述的信息运维装置,其特征在于,所述数据过滤装置通过其包含的处理器对原始数据进行过滤处理,得到预处理数据,并将所述预处理数据发送给所述路由器。
5.根据权利要求4所述的信息运维装置,其特征在于,所述数据处理服务器包括:数据分析单元和数据管理单元,所述数据处理服务器通过所述数据分析单元对所述预处理数据进行分析处理,并通过所述数据管理单元对所述预处理数据的分析处理过程进行管理和控制。
6.根据权利要求5所述的信息运维装置,其特征在于,所述数据分析单元包括错误检查子单元、数据解析子单元、数据统计子单元、报表生成子单元和数据传输子单元,所述数据分析单元通过错误检查子单元对所述预处理数据进行检查,将得到的错误数据通过所述数据传输子单元存储到所述告警数据库中,并通过所述数据解析子单元对所述预处理数据进行解析,将提取所述预处理数据的索引字段通过所述数据传输子单元存储到所述索引数据库中,并通过所述数据统计子单元对所述预处理数据进行分析处理,将得到的统计结果通过所述数据传输子单元存储到所述统计数据库中,同时将所述统计结果发送至所述报表生成子单元,并将通过所述报表生成子单元生成的统计报表通过所述数据传输子单元存储到所述报表数据库中。
7.根据权利要求1至6中任一项所述的信息运维装置,其特征在于,所述网络监控服务器采用简单网络管理协议架构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201720630187.2U CN206962848U (zh) | 2017-06-01 | 2017-06-01 | 一种用于大量数据的信息运维装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201720630187.2U CN206962848U (zh) | 2017-06-01 | 2017-06-01 | 一种用于大量数据的信息运维装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN206962848U true CN206962848U (zh) | 2018-02-02 |
Family
ID=61379605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201720630187.2U Active CN206962848U (zh) | 2017-06-01 | 2017-06-01 | 一种用于大量数据的信息运维装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN206962848U (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918202A (zh) * | 2019-03-08 | 2019-06-21 | 上海七牛信息技术有限公司 | 信息处理方法、装置及存储介质 |
CN114900444A (zh) * | 2022-04-25 | 2022-08-12 | 北京奇艺世纪科技有限公司 | 数据监控方法、装置、电子设备及存储介质 |
-
2017
- 2017-06-01 CN CN201720630187.2U patent/CN206962848U/zh active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918202A (zh) * | 2019-03-08 | 2019-06-21 | 上海七牛信息技术有限公司 | 信息处理方法、装置及存储介质 |
CN114900444A (zh) * | 2022-04-25 | 2022-08-12 | 北京奇艺世纪科技有限公司 | 数据监控方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271793B (zh) | 物联网云平台设备类别识别方法及系统 | |
CN103856339B (zh) | 一种对告警信息进行压缩的方法和设备 | |
CN107104840A (zh) | 一种日志监控方法、装置及系统 | |
CN109347688B (zh) | 一种在无线局域网中定位故障的方法和装置 | |
CN111242807B (zh) | 一种变电站数据接入泛在电力物联网的方法 | |
CN106094788B (zh) | 嵌入式板卡稳定性测试系统及方法 | |
CN104751285B (zh) | 电网调度自动化前置采集数据准确性判别与告警系统 | |
CN106940678B (zh) | 一种系统实时健康度评估分析方法及装置 | |
CN206962848U (zh) | 一种用于大量数据的信息运维装置 | |
CN112350882A (zh) | 一种基于分布式的网络流量分析系统及方法 | |
CN109523043A (zh) | 一种充电站视频监控智慧运维管理平台 | |
CN115660288A (zh) | 一种基于互联网大数据的分析管理系统 | |
CN116185757A (zh) | 机房能耗智能监测系统 | |
CN107360035A (zh) | 一种数据处理方法及系统 | |
CN108829853A (zh) | 一种基于无线网的智慧城市物联网系统 | |
CN108494635A (zh) | 一种基于云计算的网络流量探测系统 | |
CN106161339B (zh) | 获取ip访问关系的方法及装置 | |
CN110532153A (zh) | 一种业务层级用户操作体验可视化系统 | |
CN115776449B (zh) | 列车以太网通信状态监测方法及系统 | |
CN114881177B (zh) | 基于物联网技术的营养健康数据采集系统 | |
CN109462283A (zh) | 智能变电站单个设备流量监控方法及系统 | |
CN114282782A (zh) | 一种基于3d可视化和物联网技术的智慧能耗管理系统 | |
CN102123092B (zh) | 一种组播性能分析方法及系统 | |
CN212012920U (zh) | 一种视频运维诊断系统框架 | |
CN104125082B (zh) | 用于电力系统通讯网络的监测方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |