CN105204974B - 监控服务器的方法和系统 - Google Patents

监控服务器的方法和系统 Download PDF

Info

Publication number
CN105204974B
CN105204974B CN201510633070.5A CN201510633070A CN105204974B CN 105204974 B CN105204974 B CN 105204974B CN 201510633070 A CN201510633070 A CN 201510633070A CN 105204974 B CN105204974 B CN 105204974B
Authority
CN
China
Prior art keywords
monitoring
server
data
sent
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510633070.5A
Other languages
English (en)
Other versions
CN105204974A (zh
Inventor
樊宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201510633070.5A priority Critical patent/CN105204974B/zh
Publication of CN105204974A publication Critical patent/CN105204974A/zh
Application granted granted Critical
Publication of CN105204974B publication Critical patent/CN105204974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种监控服务器的方法及系统,能够减少数据传输量和优化展示效果。该监控服务器的方法包括:展示监控数据PC机将查询条件发送给监控系统web服务器;监控系统web服务器将查询条件转化为结构化查询语言然后发送给监控信息数据库;监控信息数据库根据结构化查询语言筛选出符合条件的监控数据全集合,然后将监控数据全集合按时间倒序排列,选取预设数量的时间最新的监控数据作为单层线性表形式的结果集发送给监控系统web服务器,其中结果集的排序依据为时间戳;监控系统web服务器将结果集转换为CSV文件然后发送给展示监控数据PC机;展示监控数据PC机将CSV文件转换为二维图表然后在人机界面上输出二维图表。

Description

监控服务器的方法和系统
技术领域
本发明涉及计算机技术领域,特别地涉及一种监控服务器的方法和系统。
背景技术
在运维管理中服务器性能管理是一项很重要的基础工作。通常地,总监控服务器采集多个被监控服务器的CPU、内存、操作系统指标及特定系统软件的指标参数和应用日志等信息,然后保存在监控信息数据库中供用户参考使用。
现有技术中,通常从数据库中筛选出符合条件的全部时间内的查询数据是以json格式或者XML格式的文件发送给展示监控数据PC机,然后展示给用户的,具有数据量较大、展示效果差等缺点。
发明内容
有鉴于此,本发明提供一种监控服务器的方法和系统,能够减少数据传输量,优化展示效果。
为实现上述目的,根据本发明的一个方面,提供了一种监控服务器的方法。
本发明的监控服务器的方法包括:展示监控数据PC机将查询条件发送给监控系统web服务器;所述监控系统web服务器将所述查询条件转化为结构化查询语言然后发送给监控信息数据库;所述监控信息数据库根据所述结构化查询语言筛选出符合条件的监控数据全集合,然后将所述监控数据全集合按时间倒序排列,选取预设数量的时间最新的监控数据作为单层线性表形式的结果集发送给所述监控系统web服务器,其中所述结果集的排序依据为时间戳;所述监控系统web服务器将所述结果集转换为CSV文件,然后发送给所述展示监控数据PC机;所述展示监控数据PC机将所述CSV文件转换为二维图表然后在人机界面上输出所述二维图表。
可选地,所述监控系统web服务器将所述结果集转为CSV文件的步骤包括:所述监控系统web服务器将所述结果集转为双层线性表形式的处理结果集,所述处理结果集的主级排序依据为时间戳,所述处理结果集的次级排序依据为服务器标识;所述监控系统web服务器将所述处理结果集按时间顺序转换为CSV文件,所述CSV文件的首行为服务器信息,其他行表示对应同一时间戳的数据,列表示对应同一服务器的数据。
可选地,在实时查询的情况下,所述查询条件包括:需查询的服务器类型、应用标识以及监控维度标识。
可选地,在历史查询的情况下,所述查询条件包括:需查询的服务器类型、应用标识、监控维度标识、历史时间范围和采样频率。
根据本发明的另一方面,提供了一种监控服务器的系统。
本发明的监控服务器的系统包括:展示监控数据PC机、监控系统web服务器和监控信息数据库,所述展示监控数据PC机用于将查询条件发送给所述监控系统web服务器,还用于将CSV文件转换为二维图表然后在人机界面上输出所述二维图表;所述监控系统web服务器用于将所述查询条件转化为结构化查询语言然后发送给所述监控信息数据库,还用于将结果集转换为所述CSV文件然后发送给所述展示监控数据PC机;所述监控信息数据库用于根据所述结构化查询语言筛选出符合条件的监控数据全集合,然后将所述监控数据全集合按时间倒序排列,选取预设数量的时间最新的监控数据作为单层线性表形式的所述结果集发送给所述监控系统web服务器,其中所述结果集的排序依据为时间戳。
可选地,所述监控系统web服务器还用于:将所述结果集转为双层线性表形式的处理结果集,所述处理结果集的主级排序依据为时间戳,所述处理结果集的次级排序依据为服务器标识;将所述处理结果集按时间顺序转换为CSV文件,所述CSV文件的首行为服务器信息,其他行表示对应同一时间戳的数据,各列表示对应同一服务器的数据。
可选地,在实时查询的情况下,所述查询条件包括:需查询的服务器类型、应用标识以及监控维度标识。
可选地,在历史查询的情况下,所述查询条件包括:需查询的服务器类型、应用标识、监控维度标识、历史时间范围和采样频率。
根据本发明的技术方案,一方面通过设置仅仅返回时间最新的预设数量的符合条件数据而非返回全部数据,可以减少数据传输量,另一方面监控系统web服务器向展示监控数据PC机发送的文件采用数据紧凑的CSV格式,与传统的json格式或XML格式相比,也进一步减少了数据传输量。此外,本发明中采用CSV格式,易于转化成二维图表展示给用户,优化了用户体验。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的监控服务器的方法的基本步骤的示意图;
图2是根据本发明实施例的监控服务器的系统的主要部件的示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的监控服务器的方法的基本步骤的示意图。如图1所示,该方法主要包括如下的步骤S1至步骤S5。
步骤S1:展示监控数据PC机将查询条件发送给监控系统web服务器。
需要说明的是,查询条件可以是用户直接输入给展示监控数据PC机的,也可以是用户在其他设备上输入后间接传送到展示监控数据PC机上的,本案中不做限定。
在实时查询的情况下,查询条件可以包括:需查询的服务器类型、应用标识以及监控维度标识。例如:用户可以实时服务器ID为偶数的所有服务器上的IE浏览器应用软件的当前实时的CPU占用率。
在历史查询的情况下,查询条件可以包括:需查询的服务器类型、应用标识、监控维度标识、历史时间范围和采样频率。例如:用户可以查询服务器ID为偶数的所有服务器上的IE浏览器应用软件的在2015年1月1日9时至10时时间段内每隔5min采样一次的CPU占用率。
步骤S2:监控系统web服务器将查询条件转化为结构化查询语言然后发送给监控信息数据库。
需要说明的是,该监控信息数据库用于接收总监控服务器等设备采集到的关于被监控服务器的所有监控信息并且进行持久化保存。
步骤S3:监控信息数据库根据结构化查询语言筛选出符合条件的监控数据全集合,然后将监控数据全集合按时间倒序排列,选取预设数量的时间最新的监控数据作为单层线性表形式的结果集发送给监控系统web服务器,其中结果集的排序依据为时间戳。
需要说明的是,监控数据全集合中的多个数据是无序的。经过时间倒序排列之后得到了一个以时间戳为排序依据的数据队列。截取该数据队列的前面预设数量的监控数据(例如前100条),即得到了单层线性表(list)形式的结果集。该结果集中的每个元素都是一个键值对(key-value),键(key)为时间戳。例如:假设T1、T2……Tn表示时间,且T1>T2……>Tn,则结果集可以记为:
“key=T1,value=T1下的所有偶数ID服务器的IE浏览器的CPU占有率;
key=T2,value=T2下的所有偶数ID服务器的IE浏览器的CPU占有率;
……;
key=Tn,value=Tn下的所有偶数ID服务器的IE浏览器的CPU占有率”。
步骤S3中,通过将监控数据全集合按时间倒序排列后选取最开头的部分数据返回,可以使得用户获得时间最新的监控数据,而这部分数据通常正好是用户最关心的数据。以及,通过仅仅选取预设数量的监控数据返回,能够有效地控制数据传输量。
步骤S4:监控系统web服务器将结果集转换为CSV文件然后发送给展示监控数据PC机。CSV(Comma-Separated Values)即逗号分隔值文件格式,它有时也称为字符分隔值,因为分隔字符也可以不是逗号。CSV文件以纯文本形式存储表格数据(包括数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常所有记录都有完全相同的字段序列。CSV文件与其他格式的文件相比,具有数据量较小、易于以二维图表展现等优点。
可选地,“监控系统web服务器将结果集转换为CSV文件”的过程具体可以包括如下的步骤a和步骤b。
步骤a:监控系统web服务器将结果集转为双层线性表形式的处理结果集,处理结果集的主级排序依据为时间戳,处理结果集的次级排序依据为服务器标识。例如:假设T1、T2……Tn表示时间,且T1>T2……>Tn,服务器ID为偶数的服务器标记为服务器2、服务器4……服务器2a,则处理结果集可以记为:
“key=T1,(key=服务器2,value=T1下的服务器2的IE浏览器的CPU占有率;key=服务器4,value=T1下的服务器4服务器的IE浏览器的CPU占有率;……key=服务器2a,value=T1下的服务器2a服务器的IE浏览器的CPU占有率);
key=T2,(key=服务器2,value=T2下的服务器2的IE浏览器的CPU占有率;key=服务器4,value=T2下的服务器4服务器的IE浏览器的CPU占有率;……key=服务器2a,value=T2下的服务器2a服务器的IE浏览器的CPU占有率);
……;
key=Tn,(key=服务器2,value=Tn下的服务器2的IE浏览器的CPU占有率;key=服务器4,value=Tn下的服务器4服务器的IE浏览器的CPU占有率;……key=服务器2a,value=Tn下的服务器2a服务器的IE浏览器的CPU占有率)”。
步骤b:监控系统web服务器将处理结果集按时间顺序转换为CSV文件,CSV文件的首行为服务器信息,其他行表示对应同一时间戳的数据,列表示对应同一服务器的数据。
步骤S5:展示监控数据PC机将CSV文件转换为二维图表然后在人机界面上输出二维图表。
需要说明的是,当符合条件的被监控服务器的数目为多个时,二维图表中应有多条折线,每条折线对应一个符合条件的被监控服务器。将多条折线放在同一个二维图表中展示,能够方便用户进行对比。通常地,二维图表中的x轴表示时间,y轴表示特定应用的特定维度的数据。
由上可以看出,根据本发明的监控服务器的方法,一方面通过设置仅仅返回时间最新的预设数量的符合条件数据而非返回全部数据,可以减少数据传输量,另一方面监控系统web服务器向展示监控数据PC机发送的文件采用数据紧凑的CSV格式,与传统的json格式或XML格式相比,也进一步减少了数据传输量。此外,本发明中采用CSV格式,易于转化成二维图表展示给用户,优化了用户体验。
需要说明的是,根据本发明实施例的监控服务器的方法在实时查询的情况下,还可以设置“展示监控数据PC机接受到查询条件后立即保存在本地,然后按照预设周期定时地将查询条件发送给监控系统web服务器”,或者设置“监控系统web服务器将查询条件转换为结构化查询语言后也立即保存在本地,然后按照预设周期定时地将结构化查询语言发送给监控信息数据库”,这样人机交互界面也会定时刷新,用户可以实现动态地监控服务器。
图2是根据本发明实施例的监控服务器的系统的主要模块的示意图。如图2所示,该监控服务器的系统20主要包括展示监控数据PC机21、监控系统web服务器22和监控信息数据库23。
展示监控数据PC机21用于将查询条件发送给监控系统web服务器22,还用于将CSV文件转换为二维图表然后在人机界面上输出二维图表。
监控系统web服务器22用于将查询条件转化为结构化查询语言然后发送给监控信息数据库23,还用于将结果集转换为CSV文件然后发送给展示监控数据PC机21。
监控信息数据库23用于根据结构化查询语言筛选出符合条件的监控数据全集合,然后将监控数据全集合按时间倒序排列,选取预设数量的时间最新的监控数据作为单层线性表形式的结果集发送给监控系统web服务器22,其中结果集的排序依据为时间戳。
可选地,监控系统web服务器22还用于将结果集转为双层线性表形式的处理结果集,处理结果集的主级排序依据为时间戳,处理结果集的次级排序依据为服务器标识;以及将处理结果集按时间顺序转换为CSV文件,CSV文件的首行为服务器信息,其他行表示对应同一时间戳的数据,各列表示对应同一服务器的数据。
可选地,在实时查询的情况下,查询条件包括:需查询的服务器类型、应用标识以及监控维度标识。
可选地,在历史查询的情况下,查询条件包括:需查询的服务器类型、应用标识、监控维度标识、历史时间范围和采样频率。
由上可以看出,根据本发明的监控服务器的系统,一方面通过设置仅仅返回时间最新的预设数量的符合条件数据而非返回全部数据,可以减少数据传输量,另一方面监控系统web服务器向展示监控数据PC机发送的文件采用数据紧凑的CSV格式,与传统的json格式或XML格式相比,也进一步减少了数据传输量。此外,本发明中采用CSV格式,易于转化成二维图表展示给用户,优化了用户体验。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (6)

1.一种监控服务器的方法,其特征在于,包括:
展示监控数据PC机将查询条件发送给监控系统web服务器;
所述监控系统web服务器将所述查询条件转化为结构化查询语言然后发送给监控信息数据库;
所述监控信息数据库按照预设周期定时根据所述结构化查询语言筛选出符合条件的监控数据全集合,然后将所述监控数据全集合按时间倒序排列,选取预设数量的时间最新的监控数据作为单层线性表形式的结果集发送给所述监控系统web服务器,其中所述结果集的排序依据为时间戳;
所述监控系统web服务器将所述结果集转换为双层线性表形式的处理结果集,并将所述处理结果集按时间顺序转换为CSV文件,然后发送给所述展示监控数据PC机,所述处理结果集的主级排序依据为时间戳,所述处理结果集的次级排序依据为服务器标识,所述CSV文件的首行为服务器信息,其他行表示对应同一时间戳的数据,列表示对应同一服务器的数据;
所述展示监控数据PC机将所述CSV文件转换为二维图表然后在人机界面上输出所述二维图表。
2.根据权利要求1所述的监控服务器的方法,其特征在于,在实时查询的情况下,所述查询条件包括:需查询的服务器类型、应用标识以及监控维度标识。
3.根据权利要求1所述的监控服务器的方法,其特征在于,在历史查询的情况下,所述查询条件包括:需查询的服务器类型、应用标识、监控维度标识、历史时间范围和采样频率。
4.一种监控服务器的系统,其特征在于,包括:展示监控数据PC机、监控系统web服务器和监控信息数据库,
所述展示监控数据PC机用于将查询条件发送给所述监控系统web服务器,还用于将CSV文件转换为二维图表然后在人机界面上输出所述二维图表;
所述监控系统web服务器用于将所述查询条件转化为结构化查询语言然后发送给所述监控信息数据库,还用于将结果集转换为双层线性表形式的处理结果集,并将所述处理结果集按时间顺序转换为所述CSV文件然后发送给所述展示监控数据PC机,所述处理结果集的主级排序依据为时间戳,所述处理结果集的次级排序依据为服务器标识,所述CSV文件的首行为服务器信息,其他行表示对应同一时间戳的数据,列表示对应同一服务器的数据;
所述监控信息数据库用于按照预设周期定时根据所述结构化查询语言筛选出符合条件的监控数据全集合,然后将所述监控数据全集合按时间倒序排列,选取预设数量的时间最新的监控数据作为单层线性表形式的所述结果集发送给所述监控系统web服务器,其中所述结果集的排序依据为时间戳。
5.根据权利要求4所述的监控服务器的系统,其特征在于,在实时查询的情况下,所述查询条件包括:需查询的服务器类型、应用标识以及监控维度标识。
6.根据权利要求4所述的监控服务器的系统,其特征在于,在历史查询的情况下,所述查询条件包括:需查询的服务器类型、应用标识、监控维度标识、历史时间范围和采样频率。
CN201510633070.5A 2015-09-29 2015-09-29 监控服务器的方法和系统 Active CN105204974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510633070.5A CN105204974B (zh) 2015-09-29 2015-09-29 监控服务器的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510633070.5A CN105204974B (zh) 2015-09-29 2015-09-29 监控服务器的方法和系统

Publications (2)

Publication Number Publication Date
CN105204974A CN105204974A (zh) 2015-12-30
CN105204974B true CN105204974B (zh) 2018-09-14

Family

ID=54952668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510633070.5A Active CN105204974B (zh) 2015-09-29 2015-09-29 监控服务器的方法和系统

Country Status (1)

Country Link
CN (1) CN105204974B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111736539B (zh) * 2020-02-21 2022-09-06 北京沃东天骏信息技术有限公司 一种监控数据显示方法、装置、系统、服务器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034658A (zh) * 2011-09-29 2013-04-10 福建睿能电子有限公司 一种数据查询和报表导出的方法及系统
CN104636389A (zh) * 2013-11-14 2015-05-20 博雅网络游戏开发(深圳)有限公司 实现Hbase数据库实时查询的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262078B2 (en) * 2014-02-10 2019-04-16 Apple Inc. Systems and methods for optimizing performance of graph operations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034658A (zh) * 2011-09-29 2013-04-10 福建睿能电子有限公司 一种数据查询和报表导出的方法及系统
CN104636389A (zh) * 2013-11-14 2015-05-20 博雅网络游戏开发(深圳)有限公司 实现Hbase数据库实时查询的方法和系统

Also Published As

Publication number Publication date
CN105204974A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
US11831523B2 (en) Systems and methods for displaying adjustable metrics on real-time data in a computing environment
US9380108B2 (en) Computer system
CN103235820B (zh) 一种集群系统中数据存储方法与装置
CN104462121B (zh) 数据处理方法、装置及系统
CN103942287B (zh) 海量数据处理方法、数据库服务器及应用服务器
US11960443B2 (en) Block data storage system in an event historian
US9842134B2 (en) Data query interface system in an event historian
CN105227367A (zh) 一种低延迟的告警解析处理方法
CN106250303A (zh) 业务日志收集及预警系统和业务日志收集及预警方法
CN103309928A (zh) 存储和检索数据的方法和系统
CN113722187B (zh) 一种面向微服务架构的服务监控系统
CN109753596A (zh) 用于大规模网络数据采集的信源管理与配置方法和系统
CN110598051A (zh) 一种电力行业监控系统、方法及装置
US8850321B2 (en) Cross-domain business service management
CN105204974B (zh) 监控服务器的方法和系统
US9658924B2 (en) Event data merge system in an event historian
CN111125209A (zh) 一种支持多元异构类型数据的接入配置系统
KR100759218B1 (ko) 개선된 rfid 미들웨어 엔진 시스템 및 구현방법
KR101736382B1 (ko) 이엠에스 서버 및 이의 로그 데이터 관리 방법
JP5575973B1 (ja) 帳票データ管理サーバ、帳票データ管理プログラムおよび帳票データ管理装置
KR101433139B1 (ko) 프로세스 분석을 위한 데이터 전처리 시스템
US10579601B2 (en) Data dictionary system in an event historian
CN109684279A (zh) 一种数据处理方法及系统
JP6390972B2 (ja) 印刷装置データ処理システムおよび印刷装置データ処理方法
EP2639700B1 (en) Consolidation support program, consolidation support method, and consolidation support apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant