CN113220536A - 机房动力设备运行环境监控的监控数据传输方法及其应用 - Google Patents

机房动力设备运行环境监控的监控数据传输方法及其应用 Download PDF

Info

Publication number
CN113220536A
CN113220536A CN202110601765.0A CN202110601765A CN113220536A CN 113220536 A CN113220536 A CN 113220536A CN 202110601765 A CN202110601765 A CN 202110601765A CN 113220536 A CN113220536 A CN 113220536A
Authority
CN
China
Prior art keywords
sub
monitoring
data
servers
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110601765.0A
Other languages
English (en)
Inventor
冉斌
郭鹏飞
蒋国雄
朱昭晟
尹超
马勋标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongfutong Group Co ltd
Original Assignee
Zhongfutong Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongfutong Group Co ltd filed Critical Zhongfutong Group Co ltd
Priority to CN202110601765.0A priority Critical patent/CN113220536A/zh
Publication of CN113220536A publication Critical patent/CN113220536A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了机房动力设备运行环境监控的监控数据传输方法及其应用,传输方法用于主服务器与若干子服务器的数据交互,若干子服务器对应机房动力设备运行环境监控的不同监控站点,子服务器中存储有该子服务器对应监控站点的监控设备性能运行参数;主服务器中存储有若干子服务器上传的监控设备性能运行参数集合,传输方法包括:S01、主服务器按照预设时间间隔依序对若干子服务器按照预设频率发出获取数据报文;S02、若干子服务器响应主服务器请求,将其获取到的数据报文上传至主服务器;S03、主服务器接收若干子服务器上传的数据报文,然后对数据报文进行解析并入库;本方案数据传递效果稳定、实施可靠且硬件性能利用充分。

Description

机房动力设备运行环境监控的监控数据传输方法及其应用
技术领域
本发明涉及数据传输技术及机房动力设备监控数据传输技术领域,尤其涉及机房动力设备运行环境监控的监控数据传输方法及其应用。
背景技术
监控数据传输作为机房动力设备运行环境监控的重要环节,其不仅决定了机房动力设备对应的监控站点能否被实时监控,而且各站点的子服务器所汇集的监控设备性能运行参数梳理而成的性能数据表有助于对各站点设备的运行参数进行分析、统计和查阅。
传统方案中,各机房站点是将监控数据汇集至该站点对应的子服务器后,由后台主服务器同时下发获取性能报文,然后各子服务器受到主服务器的请求后并响应,然后将监控数据同时上传至主服务器,这容易导致主服务器在某个时间周期内出险数据传输高峰,而这一方面需要占用大量的系统硬件性能资源,另一方面还容易在数据入库时,造成主服务器的汇集困难、紊乱,例如每个子服务器响应且传输的时长会受到网络通讯的波动而产生不等的延时等等。而主服务器在形成性能数据表时,容易发生需要二次进行整理、排序的问题,另外,当数据传递结束时,主服务器的硬件性能又会出现一段时间的闲置问题。因此,如何提高机房动力设备运行环境监控的监控数据传输有效性、硬件资源利用率,将是具有积极现实意义的研究方向。
发明内容
有鉴于此,本发明的目的在于提出一种数据传递效果稳定、实施可靠且硬件性能利用充分的机房动力设备运行环境监控的监控数据传输方法及其应用。
为了实现上述的技术目的,本发明所采用的技术方案为:
一种数据入库方法,用于主服务器与若干子服务器之间的数据交互,所述主服务器中构建有总数据库,若干子服务器用于获取不同区域的数据报文,所述入库方法包括:
S01、主服务器按照预设时间间隔依序对若干子服务器按照预设频率发出获取数据报文;
S02、若干子服务器响应主服务器请求,将其获取到的数据报文上传至主服务器;
S03、主服务器接收若干子服务器上传的数据报文,然后对数据报文进行解析并入库。
其中,不同子服务器对应不同的机房动力设备监控站点,其不用于存储数据文件,子服务器只作请求中转、转发的作用,且本方案中,仅子服务器开通了对外的网络,主服务器未开通网络而不能与外界通信,该数据传递的连接方式使得只需开通固定几台子服务器的对外网络,而不用主服务器也开通对外网络,使得装置系统在整体上提高了网络的安全性。
作为一种可能的实施方式,进一步,步骤S03中,主服务器接收到子服务器上传的数据报文时,按照预设条件创建一个文件,然后将接收到的数据报文写入该文件中,写入后,将该文件的文件名称写入redis缓存队列中,然后按照先进先出的方式,读取redis缓存队列中的数据,并根据文件名称进行关联读取文件,最后解析文件中的数据并将数据入库。
作为一种较优的实施选择,优选的,步骤S03中,主服务器接收到子服务器上传的数据报文时,按照预设条件创建一个文件,该文件的文件名关联有日期、时间、子服务器ID中的一项以上内容。
基于上述的数据入库方法,本发明还提供一种机房动力设备运行环境监控的监控数据传输方法,其包括上述所述的数据入库方法;
其中,若干子服务器对应机房动力设备运行环境监控的不同监控站点,子服务器获取的数据报文为该子服务器对应监控站点的监控设备性能运行参数;
另外,所述主服务器中构建的总数据库中存储有若干子服务器上传的监控设备性能运行参数集合。
作为一种可能的实施方式,进一步,步骤S01中还包括对若干子服务器进行分组形成若干子服务器组;所述主服务器按照预设时间间隔依序对若干子服务器组按照预设频率发出获取数据报文;其中,每个子服务器组均包括一个以上子服务器。
作为一种可能的实施方式,进一步,步骤S01中,主服务器按照20s的预设时间间隔依序对若干子服务器按照3min的预设频率发出获取数据报文。
作为一种可能的实施方式,进一步,步骤S03中,主服务器中的总数据库按照预设时间周期进行生成数据表进行写入该预设时间周期内入库的数据。
作为一种较优的实施选择,优选的,所述数据表根据不同子服务器建立与若干子服务器一一对应的子服务器分区,该子服务器分区用于入库写入与其对应的子服务器所上传入库的监控设备性能运行参数。
作为一种较优的实施选择,优选的,所述子服务器分区中还分隔有时间分区,所述时间分区用于写入与子服务器分区对应的子服务器在对应时间内所上传入库的监控设备性能运行参数。
基于上述的机房动力设备运行环境监控的监控数据传输方法,本发明还提供一种机房监控系统,其包括上述所述的机房动力设备运行环境监控的监控数据传输方法。
采用上述的技术方案本发明与现有技术相比,其具有的有益效果为:本方案巧妙性采用周期性滚动式的方式进行下发性能获取报文,结合不同子服务器(对应不同监控站点)的异步上传和数据报文的队列入库,实现了主服务器的性能利用最优,提高了硬件的利用率,同时避免了数据入库的无序性和避免了主服务器出现程序冲突的概率;为了各监控站点的数据汇总上传提供了一个非常巧妙的方案选择,其具有较大的应用价值和现实意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明方案监控数据传输方法的简要流程示意图;
图2是本发明方案数据传输方法中,若干子服务器经分组后的数据上传设定参数简要示意图;
图3是本发明方案以福建某地的机房动力设备运行环境监控的监控数据传输作为实例的数据分组示意图;
图4是本发明方案实例中,各子服务器进行数据上传的简要记录示意图;
图5是本发明方案实例中,主服务器将redis缓存队列中的数据进行入库的简要记录示意图。
具体实施方式
下面结合附图和实施例,对本发明作进一步的详细描述。特别指出的是,以下实施例仅用于说明本发明,但不对本发明的范围进行限定。同样的,以下实施例仅为本发明的部分实施例而非全部实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,本实施例方案一种机房动力设备运行环境监控的监控数据传输方法,用于主服务器与若干子服务器之间的数据交互,所述主服务器中构建有总数据库,若干子服务器用于转发不同区域的数据报文;
其中,若干子服务器对应机房动力设备运行环境监控的不同监控站点,子服务器中转发的数据报文为该子服务器对应监控站点的监控设备性能运行参数;
另外,所述主服务器中构建的总数据库中存储有若干子服务器上传的监控设备性能运行参数集合;
而所述的监控数据传输方法包括:
S01、主服务器按照预设时间间隔依序对若干子服务器按照预设频率发出获取数据报文;
S02、若干子服务器接收获取数据报文,且响应主服务器请求,将其获取的数据报文上传至主服务器;
S03、主服务器接收若干子服务器上传的数据报文,然后对数据报文进行解析并入库。
其中,为了能够对若干子服务器上传的数据报文进行统一化处理整合,作为一种可能的实施方式,进一步,步骤S03中,主服务器接收到子服务器上传的数据报文时,按照预设条件创建一个文件,然后将接收到的数据报文写入该文件中,写入后,将该文件的文件名称写入redis缓存队列中,然后按照先进先出的方式,读取redis缓存队列中的数据,并根据文件名称进行关联读取文件,最后解析文件中的数据并将数据入库。
简要而言,本方案的主服务器向子服务器发送获取数据报文请求,子服务器收到请求后,子服务器立即向监控站点的监控设备下发请求;监控设备以字符串数据报文形式将数据响应给子服务器,子服务器收到后再响应传递给主服务器;主服务器收到后将字符串数据报文存储生成若干个数据文件,然后进行依序读取和解析入库。
在本方案中,为了方便进行管理和直接通过文件名称进行识别其内部写入的信息所对应的子服务器的大致数据信息,所述主服务器接收到子服务器上传的数据报文时,按照预设条件创建一个文件,该文件的文件名关联有日期、时间、子服务器ID中的一项以上内容,例如,文件名为日期&时间&子服务器ID的形式。
在本方案中,可以通过分组的形式,将多个子服务器进行归集成组,然后以组的形式进行上传监控对应的数据报文,通过该形式,可以令一次性响应上传的数据量达到主服务器的计划性能占用值,避免出现主服务器的系统资源占用不均或波动较大的情况,同时避免主服务器的硬件性能无法被充分合理利用的问题,作为一种可能的实施方式,进一步,步骤S01中还包括对若干子服务器进行分组形成若干子服务器组;所述主服务器按照预设时间间隔依序对若干子服务器组按照预设频率发出获取数据报文;其中,每个子服务器组均包括一个以上子服务器。
结合图2所示的数据传递图,本方案中,作为一种设定实例,步骤S01中,主服务器按照20s的预设时间间隔依序对若干子服务器按照3min的预设频率发出获取数据报文。
本方案中,为了定期对子服务器上传的监控数据进行汇集整理,作为一种可能的实施方式,进一步,步骤S03中,主服务器中的总数据库按照预设时间周期进行生成数据表进行写入该预设时间周期内入库的数据;而作为一种较优的实施选择,优选的,所述数据表根据不同子服务器建立与若干子服务器一一对应的子服务器分区,该子服务器分区用于入库写入与其对应的子服务器所上传入库的监控设备性能运行参数;同时,所述子服务器分区中还分隔有时间分区,所述时间分区用于写入与子服务器分区对应的子服务器在对应时间内所上传入库的监控设备性能运行参数(例如通过1h为一个时间分区,在该1h时间内上传的监控设备性能运行参数均存于该性能数据表的对应分区中)。通过该方式,能够令入库后的监控数据保持较优的录入条理性,避免传统方案中仅仅以写入顺序进行形成数据表;而本方案通过预留数据录入空间和配置分区的形式,能够保证每个周期生成的性能数据表的内容保持较高的排版、条理一致性,能够大大方便进行数据对比和分析,同时降低了后期性能数据表后处理的工作量。
作为一个模拟实例,如图3所示,其以福建某地的机房动力设备运行环境监控的监控数据传输作为实例,该地共92个站点(对应92个本方案中的子服务器);可以通过对其进行分组,分成2组,每组46个站点,然后对应建立20210517_7_1、20210517_7_2为名称的日期文件夹进行存储数据。
以本实施例方案进行数据传输,按照图2所示的传输配合参数,结合图4所示,每个站点每三分钟请求一次数据,并将获取到的数据按日期时间与站点ID生成文件,并将数据写入此文件中,同时将生成的文件名写入到redis缓存队列中。
结合图5所示,通过预设入库程序定期读取redis缓存队列中的数据,将读取出来的数据即为文件名,再结合关联的已知文件路径,读取文件,最后解析文件中的数据并如库;其中,入库程序仅是一个定期读取redis缓存队列中数据的常规软件,其在本方案中,仅是为了读取redis缓存队列,便不再赘述其细节工作机理。
通过上述方案,本实施例方案能够大大提高了机房动力设备运行环境监控的监控数据传递的有序性,同时,采用周期性滚动式的方式进行下发性能获取报文,结合不同子服务器(对应不同监控站点)的异步上传,实现了主服务器的性能利用最优,提高了硬件的利用率,同时避免了数据入库的无序性和避免了主服务器出现程序冲突的概率;为了各监控站点的数据汇总上传提供了一个非常巧妙的方案选择,其具有较大的应用价值和现实意义。
而基于上述的机房动力设备运行环境监控的监控数据传输方法,其可以通过承载于存储介质中,然后由机房监控系统进行加载运行,实现上述所述的机房动力设备运行环境监控的监控数据传输方法。
以上所述仅为本发明的部分实施例,并非因此限制本发明的保护范围,凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据入库方法,用于主服务器与若干子服务器之间的数据交互,所述主服务器中构建有总数据库,若干子服务器用于获取不同区域的数据报文,其特征在于,所述入库方法包括:
S01、主服务器按照预设时间间隔依序对若干子服务器按照预设频率发出获取数据报文;
S02、若干子服务器响应主服务器请求,将其获取到的数据报文上传至主服务器;
S03、主服务器接收若干子服务器上传的数据报文,然后对数据报文进行解析并入库。
2.如权利要求1所述的一种数据入库方法,其特征在于,步骤S03中,主服务器接收到子服务器上传的数据报文时,按照预设条件创建一个文件,然后将接收到的数据报文写入该文件中,写入后,将该文件的文件名称写入redis缓存队列中,然后按照先进先出的方式,读取redis缓存队列中的数据,并根据文件名称进行关联读取文件,最后解析文件中的数据并将数据入库。
3.如权利要求2所述的一种数据入库方法,其特征在于,步骤S03中,主服务器接收到子服务器上传的数据报文时,按照预设条件创建一个文件,该文件的文件名关联有日期、时间、子服务器ID中的一项以上内容。
4.一种机房动力设备运行环境监控的监控数据传输方法,其特征在于:其包括权利要求1至3之一所述的数据入库方法;
其中,若干子服务器对应机房动力设备运行环境监控的不同监控站点,子服务器获取的数据报文为该子服务器对应监控站点的监控设备性能运行参数;
另外,所述主服务器中构建的总数据库中存储有若干子服务器上传的监控设备性能运行参数集合。
5.如权利要求4所述的机房动力设备运行环境监控的监控数据传输方法,其特征在于,步骤S01中还包括对若干子服务器进行分组形成若干子服务器组;所述主服务器按照预设时间间隔依序对若干子服务器组按照预设频率发出获取数据报文;其中,每个子服务器组均包括一个以上子服务器。
6.如权利要求4所述的机房动力设备运行环境监控的监控数据传输方法,其特征在于,步骤S01中,主服务器按照20s的预设时间间隔依序对若干子服务器按照3min的预设频率发出获取数据报文。
7.如权利要求5所述的机房动力设备运行环境监控的监控数据传输方法,其特征在于,步骤S03中,主服务器中的总数据库按照预设时间周期进行生成数据表进行写入该预设时间周期内入库的数据。
8.如权利要求7所述的机房动力设备运行环境监控的监控数据传输方法,其特征在于,所述数据表根据不同子服务器建立与若干子服务器一一对应的子服务器分区,该子服务器分区用于入库写入与其对应的子服务器所上传入库的监控设备性能运行参数。
9.如权利要求8所述的机房动力设备运行环境监控的监控数据传输方法,其特征在于,所述子服务器分区中还分隔有时间分区,所述时间分区用于写入与子服务器分区对应的子服务器在对应时间内所上传入库的监控设备性能运行参数。
10.一种机房监控系统,其特征在于,其包括权利要求5至9之一所述的机房动力设备运行环境监控的监控数据传输方法。
CN202110601765.0A 2021-05-31 2021-05-31 机房动力设备运行环境监控的监控数据传输方法及其应用 Pending CN113220536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110601765.0A CN113220536A (zh) 2021-05-31 2021-05-31 机房动力设备运行环境监控的监控数据传输方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110601765.0A CN113220536A (zh) 2021-05-31 2021-05-31 机房动力设备运行环境监控的监控数据传输方法及其应用

Publications (1)

Publication Number Publication Date
CN113220536A true CN113220536A (zh) 2021-08-06

Family

ID=77081682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110601765.0A Pending CN113220536A (zh) 2021-05-31 2021-05-31 机房动力设备运行环境监控的监控数据传输方法及其应用

Country Status (1)

Country Link
CN (1) CN113220536A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868096A (zh) * 2021-10-15 2021-12-31 中国建设银行股份有限公司 异步数据传输的监控方法及装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453355A (zh) * 2007-11-30 2009-06-10 华为技术有限公司 一种轮询方法、系统、网管站及被管设备
CN103942287A (zh) * 2014-04-10 2014-07-23 大唐移动通信设备有限公司 海量数据处理方法、数据库服务器及应用服务器
CN105912703A (zh) * 2016-04-26 2016-08-31 北京百度网讯科技有限公司 数据存储方法、查询方法及装置
US20160294666A1 (en) * 2014-05-30 2016-10-06 Boe Technology Group Co., Ltd. Method and system for monitoring server cluster
CN111352810A (zh) * 2018-12-24 2020-06-30 北京奇虎科技有限公司 基于多进程的性能监控方法及装置、计算设备
CN112291214A (zh) * 2020-10-19 2021-01-29 傲普(上海)新能源有限公司 一种基于redis缓存的工业报文解析方式

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453355A (zh) * 2007-11-30 2009-06-10 华为技术有限公司 一种轮询方法、系统、网管站及被管设备
CN103942287A (zh) * 2014-04-10 2014-07-23 大唐移动通信设备有限公司 海量数据处理方法、数据库服务器及应用服务器
US20160294666A1 (en) * 2014-05-30 2016-10-06 Boe Technology Group Co., Ltd. Method and system for monitoring server cluster
CN105912703A (zh) * 2016-04-26 2016-08-31 北京百度网讯科技有限公司 数据存储方法、查询方法及装置
CN111352810A (zh) * 2018-12-24 2020-06-30 北京奇虎科技有限公司 基于多进程的性能监控方法及装置、计算设备
CN112291214A (zh) * 2020-10-19 2021-01-29 傲普(上海)新能源有限公司 一种基于redis缓存的工业报文解析方式

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868096A (zh) * 2021-10-15 2021-12-31 中国建设银行股份有限公司 异步数据传输的监控方法及装置、电子设备、存储介质
CN113868096B (zh) * 2021-10-15 2024-05-17 中国建设银行股份有限公司 异步数据传输的监控方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN107634848B (zh) 一种采集分析网络设备信息的系统和方法
CN103442024B (zh) 一种智能移动终端与云端虚拟移动终端同步的系统和方法
CN111242807B (zh) 一种变电站数据接入泛在电力物联网的方法
CN113010565B (zh) 基于服务器集群的服务器实时数据处理方法及系统
GB2427490A (en) Network usage monitoring with standard message format
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN104468274A (zh) 一种集群监控管理方法及系统
CN103207920A (zh) 一种元数据并行采集系统
US20200042424A1 (en) Method, apparatus and system for processing log data
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
KR102345082B1 (ko) 클라우드 기반 iec61850 정보 처리 방법
CN111367760A (zh) 日志采集方法及装置、计算机设备、存储介质
CN109298937A (zh) 文件解析方法及网络设备
CN111523004B (zh) 一种边缘计算网关数据的存储方法及系统
CN113220536A (zh) 机房动力设备运行环境监控的监控数据传输方法及其应用
CN109783330B (zh) 日志处理方法、显示方法和相关装置、系统
CN111858722A (zh) 一种基于物联网的大数据应用系统及方法
CN116233164A (zh) 用于采集设备数据的方法、装置、存储介质及处理器
CN106326280B (zh) 数据处理方法、装置及系统
CN109829094A (zh) 分布式爬虫系统
CN116226067A (zh) 日志管理方法、日志管理装置、处理器和日志平台
CN114201537B (zh) 储能数据的采集存储方法、系统、设备及存储介质
CN116506300A (zh) 一种网站流量数据统计方法和系统
CN111078975B (zh) 一种多节点增量式数据采集系统及采集方法
CN111625517B (zh) 基于变化存储的新能源实时数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806

RJ01 Rejection of invention patent application after publication