CN114629812A - 一种基于自主可控平台的集群可视化系统及方法 - Google Patents
一种基于自主可控平台的集群可视化系统及方法 Download PDFInfo
- Publication number
- CN114629812A CN114629812A CN202210313727.XA CN202210313727A CN114629812A CN 114629812 A CN114629812 A CN 114629812A CN 202210313727 A CN202210313727 A CN 202210313727A CN 114629812 A CN114629812 A CN 114629812A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- autonomous controllable
- module
- visualization system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000013500 data storage Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 16
- 238000013480 data collection Methods 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 108010028984 3-isopropylmalate dehydratase Proteins 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000007794 visualization technique Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于自主可控平台的集群可视化系统及方法，属于计算机技术领域，包括数据收集模块、数据传输模块、数据存储模块、数据动态渲染模块。本发明基于自主可控平台实现了可视化展示，核心软硬件均为自主可控，可用于政府、部队、医院、高校科研院所等单位使用，在满足用户需求的同时确保了数据安全和服务可靠性；基于B/S架构实现，部署完毕之后，用户无需安装额外的客户端软件，使用浏览器访问对应的网址即可使用，降低了操作门槛和使用终端的性能要求；能够供用户实时监控集群运行状态，结合收集的状态数据来初步判定故障类型；用户可以根据个人需要设置对应的图表类型和统计选项，满足定制化需求。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种基于自主可控平台的集群可视化系统及方法。
背景技术
当下越来越多的单位选择基于自主可控平台的集群来满足日常业务的需求。这些集群会产生大量的状态数据，比如CPU使用率、内存使用率、网络读写速率等。这些状态数据反映了集群中各节点的运行情况以及集群的整体性能。并且可以作为故障检测的参考指标。
但是现有的技术方案中缺乏对这类平台的可视化解决方案。为此，提出一种基于自主可控平台的集群可视化系统及方法。
发明内容
本发明所要解决的技术问题在于：如何解决目前自主可控平台缺乏成型的可视化解决方案的问题，提供了一种基于自主可控平台的集群可视化系统。
本发明是通过以下技术方案解决上述技术问题的，本发明包括：
数据收集模块，用于收集集群节点状态数据；
数据传输模块，用于将收集到的状态数据进行传输；
数据存储模块，用于存储收到的状态数据；
数据动态渲染模块，用于实时展示集群状态数据；
配置模块，用于进行相关配置项的配置，供用户进行定制化修改。
更进一步地，所述数据收集模块通过SNMP、IPMI协议来进行多种不同服务器架构、传感器类型的数据收集。
更进一步地，所述数据传输模块通过HTTP、MQTT协议进行跨不同操作系统的实时数据传输和推送服务。
更进一步地，所述数据存储模块利用数据库进行时序型和关系型数据的存储。
更进一步地，所述数据动态渲染模块，基于Web2.0和AJAX技术，进行数据的动态绑定和实时刷新，具备多种展现形式。
更进一步地，多种展现形式包括柱状图，饼状图，折线图，表格。
更进一步地，相关配置项包括点节IP、图表类型、图表阈值、图表注解、图表属性、收集间隔。
本发明还提供了一种基于自主可控平台的集群可视化方法，采用了上述的可视化系统实现基于自主可控平台的集群可视化，包括以下步骤：
S1：数据收集模块从自主可控集群中读取原始数据，根据用户设置的收集间隔，定期发送收集到的原始数据到数据传输模块；
S2：数据传输模块件中的原始数据进行打包封装后，传输打包好的数据到数据存储模块；
S3：数据存储模块根据数据库的表结构和打包好的数据中标明的入库路径，将数据存入对应的表中；
S4：根据用户设置的可视化展示内容传输可视化展示用的数据到动态渲染模块中，动态渲染模块对这些数据进行实时可视化展示。
本发明相比现有技术具有以下优点：该基于自主可控平台的集群可视化系统，基于自主可控平台实现了可视化展示，核心软硬件均为自主可控，可用于政府、部队、医院、高校科研院所等单位使用，在满足用户需求的同时确保了数据安全和服务可靠性；基于B/S架构实现，部署完毕之后，用户无需安装额外的客户端软件，使用浏览器访问对应的网址即可使用，降低了操作门槛和使用终端的性能要求；能够供用户实时监控集群运行状态，结合收集的状态数据来初步判定故障类型；用户可以根据个人需要设置对应的图表类型和统计选项，满足定制化需求。
附图说明
图1是本发明实施例中可视化系统的架构示意图；
图中：1、文件中的原始数据；2、清洗后的数据；3、提取出的关键数据。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种技术方案：一种基于自主可控平台的集群可视化系统，包括数据收集模块、数据传输模块、数据存储模块、数据动态渲染模块、配置模块；
所述数据收集模块，用于收集集群节点状态数据；
所述数据传输模块，用于将收集到的状态数据进行传输；
所述数据存储模块，用于存储收到的状态数据；
所述数据动态渲染模块，用于实时展示集群状态数据；
所述配置模块，用于进行节点IP配置、图表类型配置、图表阈值配置。
在本实施例中，所述数据收集模块通过SNMP、IPMI等协议来实现多种不同服务器架构、传感器类型的数据收集。
在本实施例中，所述数据传输模块通过HTTP、MQTT等协议实现跨不同操作系统的实时数据传输和推送服务。
在本实施例中，所述数据存储模块通过数据库实现时序型和关系型数据的存储。
在本实施例中，所述数据动态渲染模块，基于“Web2.0”去中心化、开放、共享的技术特点，更加注重用户与信息的交互性；以及通过AJAX技术实现了数据的动态绑定和实时刷新，满足动态渲染实时化的需求。数据动态渲染模块支持柱状图，饼状图，折线图，表格等多种展现形式，满足用户的各类可视化展示需求。
在本实施例中，所述配置模块包括节点IP、图表类型、图表阈值、图表注解、图表属性、收集间隔等配置项；用户可以基于此模块进行定制化修改。
实施例二
如图1所示，本发明的集群可视化系统包括数据收集模块、数据传输模块、数据存储模块、数据动态渲染模块、配置模块。
其中，配置模块根据用户需要进行配置，包括节点IP、图表类型、图表阈值、图表注解、图表属性、收集间隔等。数据收集模块从自主可控集群中读取原始数据，根据用户设置的收集间隔，定期发送收集到的数据1到数据传输模块。数据传输模块首先对数据1进行统一规整处理，根据数据报文的定义，以数据各个位置的长度判断该部分信息是否丢失，将未丢失数据统一转换为json格式；再根据数据中包含的标签信息判断数据对应集群节点，将判断出的节点路径(即数据存储路径)重新写入数据头部，完成对json格式数据的封装，最后传输封装好的数据2到数据存储模块。数据存储模块会根据数据库的表结构和封装好的数据2中标明的存储路径，将数据存入对应的表中。根据用户设置的可视化展示内容，通过前端页面向数据存储模块提出相应类型结构的数据请求，该请求包含数据长度，数据类型，对应存储节点路径，数据存储模块收到数据请求后，调取请求中的相关信息，将对应数据3推送到数据动态渲染模块中；最终由动态渲染模块对这些数据进行实时可视化展示。
综上所述，上述实施例的基于自主可控平台的集群可视化系统及方法，基于自主可控平台实现了可视化展示，核心软硬件均为自主可控，可用于政府、部队、医院、高校科研院所等单位使用，在满足用户需求的同时确保了数据安全和服务可靠性；基于B/S架构实现，部署完毕之后，用户无需安装额外的客户端软件，使用浏览器访问对应的网址即可使用，降低了操作门槛和使用终端的性能要求；能够供用户实时监控集群运行状态，结合收集的状态数据来初步判定故障类型；用户可以根据个人需要设置对应的图表类型和统计选项，满足定制化需求。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种基于自主可控平台的集群可视化系统，其特征在于，包括：
数据收集模块，用于收集集群节点状态数据；
数据传输模块，用于将收集到的状态数据进行传输；
数据存储模块，用于存储收到的状态数据；
数据动态渲染模块，用于实时展示集群状态数据；
配置模块，用于进行相关配置项的配置，供用户进行定制化修改。
2.根据权利要求1所述的一种基于自主可控平台的集群可视化系统，其特征在于：所述数据收集模块通过SNMP、IPMI协议来进行多种不同服务器架构、传感器类型的数据收集。
3.根据权利要求2所述的一种基于自主可控平台的集群可视化系统，其特征在于：所述数据传输模块通过HTTP、MQTT协议进行跨不同操作系统的实时数据传输和推送服务。
4.根据权利要求3所述的一种基于自主可控平台的集群可视化系统，其特征在于：所述数据存储模块利用数据库进行时序型和关系型数据的存储。
5.根据权利要求4所述的一种基于自主可控平台的集群可视化系统，其特征在于：所述数据动态渲染模块，基于Web2.0和AJAX技术，进行数据的动态绑定和实时刷新，具备多种展现形式。
6.根据权利要求5所述的一种基于自主可控平台的集群可视化系统，其特征在于：多种展现形式包括柱状图，饼状图，折线图，表格。
7.根据权利要求6所述的一种基于自主可控平台的集群可视化系统，其特征在于：相关配置项包括点节IP、图表类型、图表阈值、图表注解、图表属性、收集间隔。
8.一种基于自主可控平台的集群可视化方法，其特征在于，采用了上述的可视化系统实现基于自主可控平台的集群可视化，包括以下步骤：
S1：数据收集模块从自主可控集群中读取原始数据，根据用户设置的收集间隔，定期发送收集到的原始数据到数据传输模块；
S2：数据传输模块件中的原始数据进行打包封装后，传输打包好的数据到数据存储模块；
S3：数据存储模块根据数据库的表结构和打包好的数据中标明的入库路径，将数据存入对应的表中；
S4：根据用户设置的可视化展示内容传输可视化展示用的数据到动态渲染模块中，动态渲染模块对上述数据进行实时可视化展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313727.XA CN114629812A (zh) | 2022-03-28 | 2022-03-28 | 一种基于自主可控平台的集群可视化系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313727.XA CN114629812A (zh) | 2022-03-28 | 2022-03-28 | 一种基于自主可控平台的集群可视化系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114629812A true CN114629812A (zh) | 2022-06-14 |
Family
ID=81903459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210313727.XA Pending CN114629812A (zh) | 2022-03-28 | 2022-03-28 | 一种基于自主可控平台的集群可视化系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114629812A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104850602A (zh) * | 2015-05-04 | 2015-08-19 | 微梦创科网络科技（中国）有限公司 | 一种基于互联网网页的渲染刷新实现方法及装置 |
| CN105718351A (zh) * | 2016-01-08 | 2016-06-29 | 北京汇商融通信息技术有限公司 | 一种面向Hadoop集群的分布式监控管理系统 |
| CN109195020A (zh) * | 2018-10-11 | 2019-01-11 | 三星电子（中国）研发中心 | 一种ar增强的游戏直播方法和系统 |
| CN109586999A (zh) * | 2018-11-12 | 2019-04-05 | 深圳先进技术研究院 | 一种容器云平台状态监控预警系统、方法及电子设备 |
| CN110705714A (zh) * | 2019-09-27 | 2020-01-17 | 上海联影医疗科技有限公司 | 深度学习模型检测方法、深度学习平台以及计算机设备 |
| CN112152874A (zh) * | 2020-09-07 | 2020-12-29 | 成都精灵云科技有限公司 | 分布式系统中应用监控数据的采集与分析系统及方法 |
| CN112597116A (zh) * | 2020-12-23 | 2021-04-02 | 中国电子信息产业集团有限公司第六研究所 | 一种自主可控平台下的文档共享智能管理系统 |
| CN113486275A (zh) * | 2021-07-27 | 2021-10-08 | 山石网科通信技术股份有限公司 | 信息显示方法、装置、计算机可读存储介质及处理器 |
| CN114118752A (zh) * | 2021-11-17 | 2022-03-01 | 广西电网有限责任公司南宁供电局 | 基于oms的一键完成二次设备风险评估的平台及评估方法 |
-
2022
- 2022-03-28 CN CN202210313727.XA patent/CN114629812A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104850602A (zh) * | 2015-05-04 | 2015-08-19 | 微梦创科网络科技（中国）有限公司 | 一种基于互联网网页的渲染刷新实现方法及装置 |
| CN105718351A (zh) * | 2016-01-08 | 2016-06-29 | 北京汇商融通信息技术有限公司 | 一种面向Hadoop集群的分布式监控管理系统 |
| CN109195020A (zh) * | 2018-10-11 | 2019-01-11 | 三星电子（中国）研发中心 | 一种ar增强的游戏直播方法和系统 |
| CN109586999A (zh) * | 2018-11-12 | 2019-04-05 | 深圳先进技术研究院 | 一种容器云平台状态监控预警系统、方法及电子设备 |
| CN110705714A (zh) * | 2019-09-27 | 2020-01-17 | 上海联影医疗科技有限公司 | 深度学习模型检测方法、深度学习平台以及计算机设备 |
| CN112152874A (zh) * | 2020-09-07 | 2020-12-29 | 成都精灵云科技有限公司 | 分布式系统中应用监控数据的采集与分析系统及方法 |
| CN112597116A (zh) * | 2020-12-23 | 2021-04-02 | 中国电子信息产业集团有限公司第六研究所 | 一种自主可控平台下的文档共享智能管理系统 |
| CN113486275A (zh) * | 2021-07-27 | 2021-10-08 | 山石网科通信技术股份有限公司 | 信息显示方法、装置、计算机可读存储介质及处理器 |
| CN114118752A (zh) * | 2021-11-17 | 2022-03-01 | 广西电网有限责任公司南宁供电局 | 基于oms的一键完成二次设备风险评估的平台及评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| 前端攻城狮: ""服务端渲染SSR与客户端渲染CSR"", pages 1 * |
| 张世贤;张少春;谢晓东: "基于InfluxDB的监控设备通用运维管理平台", no. 012 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7003564B2 (en) | Method and apparatus for customizably calculating and displaying health of a computer network | |
| CN106131213B (zh) | 一种服务管理方法和系统 | |
| CN103136335B (zh) | 一种基于数据平台的数据控制方法 | |
| CN109271412A (zh) | 智慧城市的实时流数据处理方法及系统 | |
| US8161394B2 (en) | Configurable metric groups for presenting data to a user | |
| CN108471366A (zh) | 一种面向云原生应用的立体监控系统 | |
| CN106933724B (zh) | 一种分布式信息追踪系统、信息处理方法及装置 | |
| CN107943951A (zh) | 一种区块链业务信息的检索方法及系统 | |
| CN107944059A (zh) | 一种基于流计算的用户行为分析方法及系统 | |
| CN101179435B (zh) | 一种主动推送网管事件的方法及网络管理系统 | |
| US7206835B2 (en) | User operation log recording and storing apparatus using object-oriented technology | |
| CN106027328A (zh) | 一种基于应用容器部署的集群监控的方法及系统 | |
| CN108965048B (zh) | 语音网关的数据采集方法、装置及存储介质、服务器 | |
| CN108509326A (zh) | 一种基于nginx日志的服务状态统计方法及系统 | |
| CN106411639A (zh) | 访问数据的监控方法及系统 | |
| US9054969B2 (en) | System and method for situation-aware IP-based communication interception and intelligence extraction | |
| CN110515750B (zh) | 一种应用拓扑生成方法、系统及集群 | |
| CN108334429A (zh) | 用于排查前端页面问题的方法、装置及系统 | |
| CN102136926A (zh) | 一种主动收集数据的方法和主动收集数据的服务器 | |
| CN114629812A (zh) | 一种基于自主可控平台的集群可视化系统及方法 | |
| CN103034953A (zh) | 统一积分装置、系统及方法 | |
| CN108876548A (zh) | 一种云产品推荐方法及装置 | |
| CN110929130B (zh) | 一种基于分布式调度的公安部级审计数据查询方法 | |
| CN105160011A (zh) | 一种日志管理系统及方法 | |
| CN112769931A (zh) | 一种服务管理平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220614 |
|
| RJ01 | Rejection of invention patent application after publication |