CN116450614A - 基于超算监控系统的数据处理方法、装置、设备及介质 - Google Patents
基于超算监控系统的数据处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116450614A CN116450614A CN202310420879.4A CN202310420879A CN116450614A CN 116450614 A CN116450614 A CN 116450614A CN 202310420879 A CN202310420879 A CN 202310420879A CN 116450614 A CN116450614 A CN 116450614A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring system
- module
- super
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 107
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 238000007726 management method Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000013075 data extraction Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 8
- 238000007418 data mining Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 241000272194 Ciconiiformes Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于超算监控系统的数据处理方法、装置、设备及介质，涉及软件管理技术领域，包括：提取与超算监控系统相关的有效数据；创建相应的数据库，并在数据库中建立相应的表单；将有效数据存放至数据库中的表单，并根据预设数据备份周期，对数据库中的有效数据进行备份；调用数据库中保存的目标数据，并将目标数据以Json格式输出至前端，以便前端对Json格式数据进行处理以生成相应的可视化图表，并将可视化图表渲染到所述前端的HTML页面。本申请通过将数据库融入后端，能够实现系统数据的自动提取以及数据的备份。
Description
技术领域
本发明涉及软件管理技术领域，特别涉及一种基于超算监控系统的数据处理方法、装置、设备及介质。
背景技术
当前，超级计算机实验室有多个超级计算机以及多个超级计算机辅助管理系统，对于超级计算机实验室中各系统的使用均需要在实验室中进行操作，不能通过校园网进行远程操作，需要耗费大量的往返于实验室与办公室的交通时间，并且当实验室中的设备发生故障，各系统发出告警时，无法第一时间了解故障信息并及时前往现场做出相应的安全处理，并且在作业、运维的过程中还会涉及到较多繁琐的操作，为此需要设计能够使得超级计算机管理员可远程对超级计算机进行监控与管理的超级计算机监控系统，即超算监控系统，并且针对于数据备份以及数据提取的需求，该超算监控系统存在以下问题：第一、系统数据无法自动提取，并且各个系统的信息冗余，用到特定页的信息时需要反转多页，并需要长时间的筛选，操作繁琐；第二、缺乏数据备份，超算监控系统可访问各个节点管理、视频监控、网关管理、堡垒机管理、环境监控管理等系统，但是由于这些系统的数据没有备份，导致历史数据不可调用、不可查看，如果超级计算机实验室中的设备发生紧急故障，需要调用和查看一段时间前的数据，则无法进行调取。
综上所述，针对当前无法远程管控超级计算机实验室中各系统的问题而设计的超算监控系统，虽然能够使得超级计算机管理员可远程对超级计算机进行监控与管理，但是该系统并不具备数据备份以及数据提取的功能。为此，如何提供一种解决系统数据无法自动提取以及缺乏数据备份功能问题的方案是本领域技术人员目前需要解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于超算监控系统的数据处理方法、装置、设备及介质，能够实现系统数据的自动提取以及数据的备份。其具体方案如下：
第一方面，本申请公开了一种基于超算监控系统的数据处理方法，包括：
提取与超算监控系统相关的有效数据；
创建相应的数据库，并在所述数据库中建立相应的表单；
将所述有效数据存放至所述数据库中的所述表单，并根据预设数据备份周期，对所述数据库中的所述有效数据进行备份；
调用所述数据库中保存的目标数据，并将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表，并将所述可视化图表渲染到所述前端的HTML页面；
其中，所述超算监控系统包含用于统一管理实验室内多个超级计算机的超算集群管理系统和用于对所述实验室中的各基础设施进行远程监控与管理的机房环境监控系统，所述超算集群管理系统包括节点管理模块、重启设置模块、命令终端模块、AI节点模块和无盘集群模块，所述机房环境监控系统包括网关管理模块、环控管理模块、视频监控模块和堡垒机模块。
可选的，所述提取与所述超算监控系统相关的有效数据，包括：
通过数据挖掘技术提取与所述超算监控系统相关的有效数据。
可选的，所述基于超算监控系统的数据处理方法，还包括：
根据预设数据存放周期对所述数据库中存放的历史数据进行覆盖。
可选的，所述基于超算监控系统的数据处理方法，还包括：
通过Go的gin框架开启端口转发，并将所述端口与前端的指定页面进行绑定。
可选的，所述将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表之前，还包括：
所述前端使用JavaScript中的AIAX库与所述后端进行对接。
可选的，所述调用所述数据库中保存的目标数据，包括：
利用Go的Gorm文档调用所述数据库中保存的目标数据。
可选的，所述对所述Json格式数据进行处理以生成相应的可视化图表，包括：
利用CSS技术对所述Json格式数据进行处理以生成相应的可视化图表。
第二方面，本申请公开了一种基于超算监控系统的数据处理装置，包括：
数据提取模块，用于提取与超算监控系统相关的有效数据；
数据库创建模块，用于创建相应的数据库，并在所述数据库中建立相应的表单；
数据存放模块，用于将所述有效数据存放至所述数据库中的所述表单；
数据备份模块，用于根据预设数据备份周期，对所述数据库中的所述有效数据进行备份；
数据调用模块，用于调用所述数据库中保存的目标数据，并将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表，并将所述可视化图表渲染到所述前端的HTML页面；
其中，所述超算监控系统包含用于统一管理实验室内多个超级计算机的超算集群管理系统和用于对所述实验室中的各基础设施进行远程监控与管理的机房环境监控系统，所述超算集群管理系统包括节点管理模块、重启设置模块、命令终端模块、AI节点模块和无盘集群模块，所述机房环境监控系统包括网关管理模块、环控管理模块、视频监控模块和堡垒机模块。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的基于超算监控系统的数据处理方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于超算监控系统的数据处理方法的步骤。
可见，本申请提供了一种基于超算监控系统的数据处理方法，包括：提取与超算监控系统相关的有效数据；创建相应的数据库，并在所述数据库中建立相应的表单；将所述有效数据存放至所述数据库中的所述表单，并根据预设数据备份周期，对所述数据库中的所述有效数据进行备份；调用所述数据库中保存的目标数据，并将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表，并将所述可视化图表渲染到所述前端的HTML页面；其中，所述超算监控系统包含用于统一管理实验室内多个超级计算机的超算集群管理系统和用于对所述实验室中的各基础设施进行远程监控与管理的机房环境监控系统，所述超算集群管理系统包括节点管理模块、重启设置模块、命令终端模块、AI节点模块和无盘集群模块，所述机房环境监控系统包括网关管理模块、环控管理模块、视频监控模块和堡垒机模块。由此可知，本申请通过将数据库融入后端，通过后端进行数据的自动提取，将数据保存至创建好的数据库中，并定期进行数据备份，通过前端处理后端输出的数据以生成相应的可视化图表，渲染到前端HTML页面，该前端HTML页面经过渲染后，可以渲染成所需要的页面，即在前端可以展示调用的数据信息，从而实现系统数据的自动提取以及数据的备份，使得超级计算机管理员可以更加方便调用以及查询过往的系统数据信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种基于超算监控系统的数据处理方法流程图；
图2为本申请公开的一种具体的超算监控系统示意图；
图3为本申请公开的一种超算监控系统前端主页面示意图；
图4为本申请公开的一种曙光超算功能页面示意图；
图5为本申请公开的一种点击“命令终端”时对曙光超算“命令终端”的操作示意图；
图6为本申请公开的一种控制节点选择页面示意图；
图7为本申请公开的一种功能页面示意图；
图8为本申请公开的一种集群服务器中CPU的使用情况页面示意图；
图9为本申请公开的一种集群服务器中内存的使用情况页面示意图；
图10为本申请公开的一种集群服务器中磁盘的使用情况页面示意图；
图11为本申请公开的一种集群服务器中当前会话与新增会话的情况页面示意图；
图12为本申请公开的一种“环控管理”中的“UPS”的显示页面示意图；
图13为本申请公开的一种“环控管理”中的“冷通道湿温度”的显示页面示意图；
图14为本申请公开的一种“环控管理”中的“冷通道烟感”的显示页面示意图；
图15为本申请公开的一种“环控管理”中的“1号精密空调”的显示页面示意图；
图16为本申请公开的一种“环控管理”中的“精密配电柜”的显示页面示意图；
图17为本申请公开的一种具体的Mysql数据库中所有表单页面示意图；
图18为本申请公开的一种具体的基于超算监控系统的数据处理方法示意图；
图19为本申请公开的一种基于超算监控系统的数据处理装置结构示意图；
图20为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前，针对当前无法远程管控超级计算机实验室中各系统的问题而设计的超算监控系统，虽然能够使得超级计算机管理员可远程对超级计算机进行监控与管理，但是针对于数据提取和备份的需求，仍存在系统数据无法自动提取的问题，以及由于缺乏数据备份功能而导致历史数据不可调用、不可查看的问题。为此，本申请提供了一种基于超算监控系统的数据处理方案，能够实现系统数据的自动提取以及数据的备份。参见图1所示，本发明实施例公开了一种基于超算监控系统的数据处理方法，包括：
步骤S11：提取与超算监控系统相关的有效数据。
本实施例中，提取与超算监控系统相关的有效数据，具体的，通过数据挖掘技术提取与所述超算监控系统相关的有效数据。
需要指出的是，所述超算监控系统包含用于统一管理实验室内多个超级计算机的超算集群管理系统和用于对所述实验室中的各基础设施进行远程监控与管理的机房环境监控系统，所述超算集群管理系统包括节点管理模块、重启设置模块、命令终端模块、AI节点模块和无盘集群模块，所述机房环境监控系统包括网关管理模块、环控管理模块、视频监控模块和堡垒机模块。并且所述超算集群管理系统可以包含多种用于管理服务器节点的超级计算机模块，每种超级计算机模块整合相应的模块。例如，所述超算集群管理系统包括曙光超算和浪潮超算，即曙光超级计算机模块和浪潮超级计算机模块，所述曙光超算整合节点管理模块、重启设置模块、命令终端模块以及无盘集群模块，所述浪潮超算为整合节点管理模块、命令终端模块和AI节点模块，其中为曙光超算配置无盘集群模块，可以实现对曙光超算各个节点的统一管理、并管理多节点和单节点进行客户端重启/重启关机/客户端重装系统/配置客户端文件等功能。
如图2所示，在客户端的浏览器上通过局域网访问上述超算监控系统，即前端接收到客户端的操作，将信息反馈至后端，后端通过Python语言和Go语言等工具，对前端反馈的信息进行整合，并将整合后信息反馈至服务器系统，上述服务器系统链接的超级计算机集群及其辅助管理系统根据整合后信息进行相应的响应，后端再通过Python语言和Go语言等工具提取上述服务器系统响应后输出的相关数据，并将该数据发送至前端，前端通过HTML技术、JavaScript技术和CSS技术，根据该数据完成页面的渲染。其中，所述服务器系统即超算集群及其辅助系统，也即本申请的超算监控系统，该超算监控系统集成了各个系统，能够免除各模块系统的账号与密码的登录操作，使得对各模块系统的登录变得简单，能够使得超级计算机管理员可远程对超级计算机进行监控与管理的。
例如，当超级计算机管理员登入上述超算监控系统，所述超算监控系统在前端的主页面如图3所示，主页面分为两个模块，第一模块为超算集群管理系统，第二模块为机房环境监控系统。所述超算集群管理系统包括曙光超算和浪潮超算，即曙光超级计算机模块和浪潮超级计算机模块，机房环境监控系统整合了“网关管理”、“环控管理”、“视频监控”以及“堡垒机”模块。当超级计算机管理员点击前端主页面中的曙光超算时显示的页面如图4所示，即所述曙光服务器整合了“节点管理”、“命令终端”、“重启设置”模块，并且如图5所示，当超级计算机管理员点击“命令终端”可对所述曙光超算“命令终端”进行命令输入操作，进入“命令终端”后，由于“无盘集群模块”已布置在集群中，例如部署的“无盘系统”：DRBL(Diskless Remote Boot in Linux，即企鹅龙)，如图6所示，以其中一个节点作为服务端，其他节点作为客户端，通过输入命令即可进入服务端的控制节点选择页面，通过选择控制所有节点或是选择控制部分节点作为客户端，并且，如图7所示，选择所需要控制的节点后，进入功能页面，对所需要的功能进行选择，如：客户端重启、重启关机、客户端重装系统、配置客户端文件等。
当超级计算机管理员点击前端主页面中“机房环境监控系统”的“网关管理”可查看“网关管理”中的内容；点击“网关管理”中的CPU(Central Processing Unit，中央处理器)，即可查看集群服务器中CPU的使用情况，如图8所示；点击“内存使用”，即可查看集群服务器中内存的使用情况，具体如图9所示，点击“磁盘使用”，即可查看集群服务器中磁盘的使用情况，如图10所示；点击“会话数”，即可查看集群服务器中当前会话与新增会话的情况，如图11所示；当超级计算机管理员点击前端主页面中“机房环境监控系统”中的“环控管理”出现的页面，即选择可查看并使用“环控管理”系统中的内容，也就是说，点击“UPS(Uninterruptible Power Supply，不间断电源)”、“冷通道湿温度”、“冷通道烟感”、“1#～6#精密空调”、“精密配电柜”、“UP1配电柜”、“PD1配电柜”、“机房门禁”、“微模块门禁”、“柱状温度与负载率”等项目，均可看到各项项目中的参数；其中，“UPS”的显示页面，如图12所示；“冷通道湿温度”的显示页面，如图13所示；“冷通道烟感”的显示页面，如图14所示；“1号精密空调”的显示页面，如图15所示，而且当某个项目中出现数据项目众多，一页不能完全放下该项目所有数据时，以“精密配电柜”为例，如图16所示，当需要查看的数据需要翻页时，可以点击页面下方的页码进行翻页或者选择跳转至所需要的页面。
步骤S12：创建相应的数据库，并在所述数据库中建立相应的表单。
本实施例中，为了实现数据存储，便于数据调用，创建相应的数据库，并建立相应的表单。
步骤S13：将所述有效数据存放至所述数据库中的所述表单，并根据预设数据备份周期，对所述数据库中的所述有效数据进行备份。
本实施例中，通过数据挖掘技术将提取出的有效数据存放至创建好的数据库中相应的表单，使得所述数据库中的数据能够与上述超算监控系统同步更新，然后根据预设数据备份周期，对所述数据库中的所述有效数据进行备份，并通过Go的gin框架开启端口转发，并将所述端口与前端的指定页面进行绑定。例如，如图17所示，打开Mysql，可查看数据库中所有表单及其数据。根据预设数据存放周期对所述数据库中存放的历史数据进行覆盖。例如，数据库中的数据通过命令设置定期自动覆盖和更替，当存放数据时间周期为7天时，数据存在服务器硬盘中7天后，到了第八天，数据将会覆盖第一天的数据，以此类推，直到完全覆盖第七天的数据，第二个周期将会从新开始。
步骤S14：调用所述数据库中保存的目标数据，并将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表，并将所述可视化图表渲染到所述前端的HTML页面。
本实施例中，后端接收到数据调用指令时，可以调用所述数据库中保存的目标数据，具体的，利用Go的Gorm文档调用所述数据库中保存的目标数据，并且前端可以利用CSS技术对所述Json格式数据进行处理以生成用相应的可视化图表，并将所述可视化图表渲染到所述前端的HTML页面。
本实施例中，将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表之前，还包括：所述前端使用JavaScript中的AIAX库与所述后端进行对接。可以理解的是，前端与后端成功对接，前端可以获取到后端输出的Json格式数据，进而根据该Json格式数据生成相应的可视化图表。
可见，本申请实施例中，通过将数据库融入后端，通过后端进行数据的自动提取，将数据保存至创建好的数据库中，并定期进行数据备份，通过前端处理后端输出的数据以生成相应的可视化图表，渲染到前端HTML页面的，该前端HTML页面经过渲染后，可以渲染成所需要的页面，即在前端可以展示调用的数据信息，从而实现系统数据的自动提取以及数据的备份，使得超级计算机管理员可以更加方便调用以及查询过往的系统数据信息。
例如，如图18所示，后端通过数据挖掘技术提取网页有效数据，然后后端创建数据库并建立表单，并使用数据挖掘技术将该有效数据存放进数据库中，使得数据库中的数据与上述超算监控系统同步更新，设置定时的数据备份，便于后续数据调用，再通过Go的gin框架开启端口转发，并绑定到前端指定页面上，在数据调用时，后端利用Go的Gorm文档调用所述数据库中的数据，然后前端使用JavaScript中的AIAX库与所述后端进行对接，在前端与后端成功对接时，前端可以获取到后端输出的Json格式数据，利用CSS技术对所述Json格式数据进行处理生成可视化图表，然后将该可视化图表渲染到前端的HTML页面中。
相应的，参见图19所示，本申请实施例还公开了一种基于超算监控系统的数据处理装置，其特征在于包括：
数据提取模块11，用于提取与超算监控系统相关的有效数据；
数据库创建模块12，用于创建相应的数据库，并在所述数据库中建立相应的表单；
数据存放模块13，用于将所述有效数据存放至所述数据库中的所述表单；
数据备份模块14，用于根据预设数据备份周期，对所述数据库中的所述有效数据进行备份；
数据调用模块15，用于调用所述数据库中保存的目标数据，并将所述目标数据以Json格式输出至前端以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表，并将所述可视化图表渲染到所述前端的HTML页面；其中，所述超算监控系统包含用于统一管理实验室内多个超级计算机的超算集群管理系统和用于对所述实验室中的各基础设施进行远程监控与管理的机房环境监控系统，所述超算集群管理系统包括节点管理模块、重启设置模块、命令终端模块、AI节点模块和无盘集群模块，所述机房环境监控系统包括网关管理模块、环控管理模块、视频监控模块和堡垒机模块。
由上可见，本申请实施例中，通过将数据库融入后端，通过后端进行数据的自动提取，将数据保存至创建好的数据库中，并定期进行数据备份，通过前端处理后端输出的数据以生成相应的可视化图表，渲染前端HTML页面，该前端HTML页面经过渲染后，可以渲染成所需要的页面，即在前端可以展示调用的数据信息，实现系统数据的自动提取以及数据的备份，使得超级计算机管理员可以更加方便调用以及查询过往的系统数据信息。
在一些具体的实施例中，所述数据提取模块11，具体可以包括：
数据提取单元，用于通过数据挖掘技术提取与所述超算监控系统相关的有效数据。
在一些具体的实施例中，所述基于超算监控系统的数据处理装置，具体还可以包括：
数据覆盖模块，用于根据预设数据存放周期对所述数据库中存放的历史数据进行覆盖。
在一些具体的实施例中，所述基于超算监控系统的数据处理装置，具体还可以包括：
端口转发模块，用于通过Go的gin框架开启端口转发；
端口绑定模块，用于将所述端口与前端的指定页面进行绑定。
在一些具体的实施例中，所述基于超算监控系统的数据处理装置，具体还可以包括：
前后端对接模块，用于所述前端使用JavaScript中的AIAX库与所述后端进行对接。
在一些具体的实施例中，所述数据调用模块15，具体还可以包括：
数据调用单元，用于利用Go的Gorm文档调用所述数据库中保存的目标数据。
在一些具体的实施例中，所述数据调用模块15，具体还可以包括：
数据处理单元，用于利用CSS技术对所述Json格式数据进行处理以生成相应的可视化图表。
进一步的，本申请实施例还提供了一种电子设备。图20是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图20为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的基于超算监控系统的数据处理方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电能；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于超算监控系统的数据处理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的基于超算监控系统的数据处理方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种基于超算监控系统的数据处理方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于超算监控系统的数据处理方法，其特征在于，包括：
提取与超算监控系统相关的有效数据；
创建相应的数据库，并在所述数据库中建立相应的表单；
将所述有效数据存放至所述数据库中的所述表单，并根据预设数据备份周期，对所述数据库中的所述有效数据进行备份；
调用所述数据库中保存的目标数据，并将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表，并将所述可视化图表渲染到所述前端的HTML页面；
其中，所述超算监控系统包含用于统一管理实验室内多个超级计算机的超算集群管理系统和用于对所述实验室中的各基础设施进行远程监控与管理的机房环境监控系统，所述超算集群管理系统包括节点管理模块、重启设置模块、命令终端模块、AI节点模块和无盘集群模块，所述机房环境监控系统包括网关管理模块、环控管理模块、视频监控模块和堡垒机模块。
2.根据权利要求1所述的基于超算监控系统的数据处理方法，其特征在于，所述提取与超算监控系统相关的有效数据，包括：
通过数据挖掘技术提取与超算监控系统相关的有效数据。
3.根据权利要求1所述的基于超算监控系统的数据处理方法，其特征在于，还包括：
根据预设数据存放周期对所述数据库中存放的历史数据进行覆盖。
4.根据权利要求1所述的基于超算监控系统的数据处理方法，其特征在于，还包括：
通过Go的gin框架开启端口转发，并将所述端口与前端的指定页面进行绑定。
5.根据权利要求1所述的基于超算监控系统的数据处理方法，其特征在于，所述将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表之前，还包括：
所述前端使用JavaScript中的AIAX库与所述后端进行对接。
6.根据权利要求1至5任一项所述的基于超算监控系统的数据处理方法，其特征在于，所述调用所述数据库中保存的目标数据，包括：
利用Go的Gorm文档调用所述数据库中保存的目标数据。
7.根据权利要求6所述的基于超算监控系统的数据处理方法，其特征在于，所述对所述Json格式数据进行处理以生成相应的可视化图表，包括：
利用CSS技术对所述Json格式数据进行处理以生成相应的可视化图表。
8.一种基于超算监控系统的数据处理装置，其特征在于，包括：
数据提取模块，用于提取与超算监控系统相关的有效数据；
数据库创建模块，用于创建相应的数据库，并在所述数据库中建立相应的表单；
数据存放模块，用于将所述有效数据存放至所述数据库中的所述表单；
数据备份模块，用于根据预设数据备份周期，对所述数据库中的所述有效数据进行备份；
数据调用模块，用于调用所述数据库中保存的目标数据，并将所述目标数据以Json格式输出至前端，以便所述前端对所述Json格式数据进行处理以生成相应的可视化图表，并将所述可视化图表渲染到所述前端的HTML页面；
其中，所述超算监控系统包含用于统一管理实验室内多个超级计算机的超算集群管理系统和用于对所述实验室中的各基础设施进行远程监控与管理的机房环境监控系统，所述超算集群管理系统包括节点管理模块、重启设置模块、命令终端模块、AI节点模块和无盘集群模块，所述机房环境监控系统包括网关管理模块、环控管理模块、视频监控模块和堡垒机模块。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的基于超算监控系统的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于超算监控系统的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310420879.4A CN116450614A (zh) | 2023-04-18 | 2023-04-18 | 基于超算监控系统的数据处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310420879.4A CN116450614A (zh) | 2023-04-18 | 2023-04-18 | 基于超算监控系统的数据处理方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116450614A true CN116450614A (zh) | 2023-07-18 |
Family
ID=87135351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310420879.4A Pending CN116450614A (zh) | 2023-04-18 | 2023-04-18 | 基于超算监控系统的数据处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116450614A (zh) |
-
2023
- 2023-04-18 CN CN202310420879.4A patent/CN116450614A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109495308B (zh) | 一种基于管理信息系统的自动化运维系统 | |
| US7574472B2 (en) | System and method of monitoring video and/or audio conferencing through a rapid-update website | |
| EP2661014B1 (en) | Polling sub-system and polling method for communication network system and communication apparatus | |
| US9791908B2 (en) | Systems and methods for protecting virtualized assets | |
| WO2021203979A1 (zh) | 运维处理方法、装置及计算机设备 | |
| CN109446170B (zh) | 一种配置文件数据同步方法及设备 | |
| CN102819478B (zh) | 一种无代理的数据处理系统监控与管理方法 | |
| CN110597078A (zh) | 设备控制实现方法、装置、电子设备、存储介质及系统 | |
| US10664551B2 (en) | Intuitive user interface (UI) for device or vendor independent network switch management via embedded management controller | |
| US9935830B1 (en) | Cloud management system and method for disparate computing nodes in a cloud computing environment | |
| CN112860343B (zh) | 配置变更方法、系统、装置、电子设备以及存储介质 | |
| WO2011129927A1 (en) | Customization of information using a desktop module | |
| CN116450614A (zh) | 基于超算监控系统的数据处理方法、装置、设备及介质 | |
| US20160142515A1 (en) | Network system and control device | |
| KR101863745B1 (ko) | 웹서버를 이용한 소방엔진펌프 모니터링과 제어시스템 및 그 방법 | |
| CN111176959B (zh) | 跨域的应用服务器的预警方法、系统及存储介质 | |
| CN114338283A (zh) | 一种基于web的可配置网关、设备控制方法和可读存储介质 | |
| US8566724B2 (en) | Online customization of information using a site management module | |
| CN111858260A (zh) | 信息显示方法、装置、设备及介质 | |
| CN111309234A (zh) | 一种虚拟化应用截图方法、装置、服务器及可读存储介质 | |
| EP1269336A1 (en) | System and method of monitoring video and/or audio conferencing through a rapid-update website | |
| CN110768855A (zh) | 链路化性能测试的方法和装置 | |
| TWI826182B (zh) | 雲平台管理系統 | |
| CN114363143B (zh) | 一种基于小程序的运维操作方法和系统 | |
| CN111818177B (zh) | 基于网络的远程控制显示方法、服务器、客户端及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |