CN105677539A - 用于大数据系统信息汇总报表的方法和装置 - Google Patents

用于大数据系统信息汇总报表的方法和装置 Download PDF

Info

Publication number
CN105677539A
CN105677539A CN201610018249.4A CN201610018249A CN105677539A CN 105677539 A CN105677539 A CN 105677539A CN 201610018249 A CN201610018249 A CN 201610018249A CN 105677539 A CN105677539 A CN 105677539A
Authority
CN
China
Prior art keywords
chart
user
system information
big data
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610018249.4A
Other languages
English (en)
Inventor
曹宇
余效伟
肖赞
李旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Original Assignee
BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd filed Critical BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority to CN201610018249.4A priority Critical patent/CN105677539A/zh
Publication of CN105677539A publication Critical patent/CN105677539A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种用于大数据系统信息汇总报表的方法和装置，该方法包括调用计算机设备执行：按照预设周期采集大数据系统信息；获取采集到的大数据系统信息中的预设类型的参数；根据获取到的参数生成对应的图表并呈现给用户；接收用户输入的自定义指令；所述自定义指令用于指示待生成图表的源数据；根据所述自定义指令确定需要生成图表的源数据；根据所确定的源数据生成对应的图表并呈现给用户。这样就通过计算机设备实现了对大数据系统信息的汇总过程，提供了监控效率和汇总的数据的准确性。另外，由于通过图表的方式呈现相应的数据，能够使用户对数据有更为直观的认识。

Description

用于大数据系统信息汇总报表的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种用于大数据系统信息汇总报表的方法和装置。
背景技术
大数据系统(hadoop生态)的服务器集群在统计分析和汇总相关软硬件信息上因服务器较多，部署软件种类较多以及规模较大，统计汇总并分析整个集群的信息工作量很繁重。
针对以上低效情况，目前多数解决方式仍为人工汇总，如执行各种命令或者借助监控界面等将需要的信息收集汇总后，手工编写报表或周报月报等报告型文档。这种方式效率低下且容易出错。
发明内容
本发明的一个目的在于解决上述技术问题。
第一方面，本发明提供了一种用于大数据系统信息汇总报表的方法，包括调用计算机设备执行：
按照预设周期采集大数据系统信息；
获取采集到的大数据系统信息中的预设类型的参数；
根据获取到的参数生成对应的图表并呈现给用户；
接收用户输入的自定义指令；所述自定义指令用于指示待生成图表的源数据；
根据所述自定义指令确定需要生成图表的源数据；
根据所确定的源数据生成对应的图表并呈现给用户。
进一步的，所述自定义指令还用于指示生成的图表的类型；
所述根据所确定的源数据生成对应的图表并展现给用户具体包括：
根据所确定的源数据生成对应于所述类型的图表并呈现给用户。
进一步的，将生成的图表呈现给用户，包括：
将生成的图表携带在邮件中发送给所述用户。
进一步的，所述按照预设周期采集大数据系统信息包括：
按照预设周期采集多种大数据系统信息：
所述获取采集到的大数据系统信息中的预设类型的参数，包括：
针对每一种大数据系统信息，确定针对该大数据系统信息需要获取的参数的预设类型，并获取其中的相应的预设类型的参数。
进一步的，所述按照预设周期采集大数据系统信息包括：按照预设周期采集如下参数中的一种或者多种：
HDFS空间占用信息、HDFSBLOCK分布信息、HDFS空间增长信息、HDFSBLOCK块计数信息、HBASE空间占用信息、HBASE请求分布统计信息、HBASEmemstore统计信息、HBASEhfile信息统计信息、HBASE空间增长统计信息，HBASEREGION分布统计信息、大小统计信息，flume填充比例统计信息，flume发送接收数据统计信息，kafka堆压统计信息，kafka性能统计信息，集群机器负载统计信息。
进一步的，所述根据获取到的参数生成对应的图表并呈现给用户，包括：
将获取到的参数以文字形式添加到图表中；
将添加有文字形式的参数的图表呈现给用户。
第二方面，本发明提供了一种用于大数据系统信息汇总报表的装置，包括：
采集模块，用于调用计算机设备按照预设周期采集大数据系统信息；
获取模块，用于调用计算机设备获取采集到的大数据系统信息中的预设类型的参数；
图表生成模块，用于调用计算机设备根据获取到的参数生成对应的图表并呈现给用户；
交互模块，用于接收用户输入的自定义指令；所述自定义指令用于指示待生成图表的源数据；
查询模块，用于根据所述自定义指令确定需要生成图表的源数据；
图表生成模块，还用于根据所述自定义指令确定需要生成图表的源数据。
进一步的，所述呈现模块具体用于调用计算机设备将生成的图表携带在邮件中发送给所述用户。
进一步的，所述图表生成模块具体用于调用计算机设备将获取到的参数以文字形式添加到图表中；将添加有文字形式的参数的图表呈现给用户。
本发明提供的用户大数据系统信息监控的方法，能够调用计算机设备按照预设周期采集大数据系统信息，获取采集到的大数据系统信息中的预设类型的参数；根据获取到的参数生成对应的图表；将生成的图表呈现给用户。这样就通过计算机设备实现了对大数据系统信息的汇总过程，提供了监控效率和汇总的数据的准确性。另外，由于通过图表的方式呈现相应的数据，能够使用户对数据有更为直观的认识。并且本发明提供的方法中，能够根据用户输入的自定义指令确定需要生成图标的源数据，这样对于任意的符合格式的数据，用户均可以通过输入相应的自定义指令生成对应于该数据的图表。
附图说明
图1为本发明提供的用于大数据系统信息汇总报表的方法的流程示意图；
图2为本发明提供的用于大数据系统信息汇总报表的装置的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
第一方面，本发明提供了一种用于大数据系统信息汇总报表的方法，参见图1，该方法包括调用计算机设备执行如下流程：
步骤S1，按照预设周期采集大数据系统信息；
步骤S2，获取采集到的大数据系统信息中的预设类型的参数；
步骤S3，根据获取到的参数生成对应的图表并呈现给用户；
步骤S4，接收用户输入的自定义指令；所述自定义指令用于指示待生成图表的源数据；
步骤S5，根据所述自定义指令确定需要生成图表的源数据；
步骤S6，根据所确定的源数据生成对应的图表并呈现给用户。
本发明提供的用户大数据系统信息监控的方法，能够调用计算机设备按照预设周期采集大数据系统信息，获取采集到的大数据系统信息中的预设类型的参数；根据获取到的参数生成对应的图表；将生成的图表呈现给用户。这样就通过计算机设备实现了对大数据系统信息的汇总过程，提供了监控效率和汇总的数据的准确性。另外，由于通过图表的方式呈现相应的数据，能够使用户对数据有更为直观的认识。并且本发明提供的方法中，能够根据用户输入的自定义指令确定需要生成图标的源数据，这样对于任意的符合格式的数据，用户均可以通过输入相应的自定义指令生成对应于该数据的图表。
不难理解的是，这里的步骤S1-步骤S3与步骤S4-步骤S6之间并没有必然的顺序关系，当用户输入的自定义指令的时刻限于步骤S1的预设周期到达之前时，也可能先执行上述的步骤S4-步骤S6。
在具体实施时，上述的步骤S6可能是针对特定格式的数据，比如json格式的数据，则用户自定义指令所指示的源数据也应该为符合该特定格式的数据。
在具体实施时，上述的自定义指令还可以用于指示生成的图表的类型；此时上述的步骤S6可以具体包括：根据所确定的源数据生成对应于所述类型的图表并呈现给用户。
这样可以根据用户的需要生成相应类型的图表，提升用户体验。在具体实施时，这里的自定义指令用于时钟图表的类型，可以具体是指指示图表的基本类型以及定义该基本类型的图表的参数。比如，可以指示该图表的基本类型为二维坐标图，还可以用于指示定义该二维坐标图的的参数，比如横坐标、纵坐标所表示的含义、单位、二维坐标图的整体尺寸等。
具体来说，这里的图表可以为直方图、饼图、坐标图、柱状图等。在此不再详细说明。
在具体实施时，上述的步骤S3和步骤S6中可以通过多种方式将生成的图表呈现给用户。具体来说，将生成的图表携带在邮件中发送给所述用户。这样用户无需在相应的计算机设备处，并且能够通过将邮件发送给多个用户的方式，将生成的图表展示给多个用户。另外也可以直接调用计算机设备展示该图表。
不难理解的是，这里的预设类型的参数可以按照需要进行设定。在实际应用中，一个大数据信息中可能包含多个参数，比如一个HDFS空间占用信息中可能包含实际占用的容量、占用率等，而用户可能仅关心占用率，此时则可以设定获取其中的占用率，并根据该占用率生成对应的图表。
在具体实施时，上述的步骤S1可以具体包括：按照预设周期采集多种大数据系统信息：
此时步骤S2可以具体包括：
针对每一种大数据系统信息，确定针对该大数据系统信息需要获取的参数的预设类型，并获取其中的相应的预设类型的参数。
这样在一个周期到达时，生成多个图表并呈现给用户。
在具体实施时，上述的步骤S1可以具体包括：按照预设周期采集如下参数中的一种或者多种：
HDFS空间占用信息、HDFSBLOCK分布信息、HDFS空间增长信息、HDFSBLOCK块计数信息、HBASE空间占用信息、HBASE请求分布统计信息、HBASEmemstore统计信息、HBASEhfile信息统计信息、HBASE空间增长统计信息，HBASEREGION分布统计信息、大小统计信息，flume填充比例统计信息，flume发送接收数据统计信息，kafka堆压统计信息，kafka性能统计信息，集群机器负载统计信息。
在具体实施时，上述的步骤S2可以具体包括：将采集到的大数据系统信息处理为预设格式的大数据系统信息；
获取预设格式的大数据系统信息中的预设类型的参数。
这样做的好处是，能够允许计算机设备与多种不同类型的设备之间进行通信以采集格式的参数，比如这里的接口可以为hadoophbasejmx以及其他组件的相关接口，比如linuxshell等，此时可以采用json解析数据并生成预设格式的大数据系统信息。
在具体实施时，上述的步骤S3还可以具体包括：
将获取到的参数以文字形式添加到图表中；
将添加有文字形式的参数的图表呈现给用户。
这样，能够使得用户对各个参数的精确值有准确的认识，便于监控。
基于相同的构思，本发明还提供了一种用于大数据系统信息汇总报表的装置，可以用户实现上述任一项所述的用于大数据系统信息汇总报表的方法，参见图2，该装置可以包括：
采集模块201，用于调用计算机设备按照预设周期采集大数据系统信息；
获取模块202，用于调用计算机设备获取采集到的大数据系统信息中的预设类型的参数；
图表生成模块203，用于调用计算机设备根据获取到的参数生成对应的图表并呈现给用户；
交互模块204，用于接收用户输入的自定义指令；所述自定义指令用于指示待生成图表的源数据；
查询模块205，用于根据所述自定义指令确定需要生成图表的源数据；
图表生成模块203，还用于根据所确定的源数据生成对应的图表并呈现给用户。
进一步的，所述图表生成模块203具体用于调用计算机设备将生成的图表携带在邮件中发送给所述用户。
进一步的，所述自定义指令还用于指示生成的图表的类型；
所述图表生成模块203具体用于根据所确定的源数据生成对应于所述类型的图表并呈现给用户。
进一步的，所述图表生成模块203具体用于调用计算机设备将获取到的参数以文字形式添加到图表中；将添加有文字形式的参数的图表呈现给用户。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种用于大数据系统信息汇总报表的方法，其特征在于，包括调用计算机设备执行：
按照预设周期采集大数据系统信息；
获取采集到的大数据系统信息中的预设类型的参数；
根据获取到的参数生成对应的图表并呈现给用户；
接收用户输入的自定义指令；所述自定义指令用于指示待生成图表的源数据；
根据所述自定义指令确定需要生成图表的源数据；
根据所确定的源数据生成对应的图表并呈现给用户。
2.如权利要求1所述的方法，其特征在于，所述自定义指令还用于指示生成的图表的类型；
所述根据所确定的源数据生成对应的图表并展现给用户具体包括：
根据所确定的源数据生成对应于所述类型的图表并呈现给用户。
3.如权利要求1所述的方法，其特征在于，将生成的图表呈现给用户，包括：
将生成的图表携带在邮件中发送给所述用户。
4.如权利要求1所述的方法，其特征在于，所述按照预设周期采集大数据系统信息包括：
按照预设周期采集多种大数据系统信息：
所述获取采集到的大数据系统信息中的预设类型的参数，包括：
针对每一种大数据系统信息，确定针对该大数据系统信息需要获取的参数的预设类型，并获取其中的相应的预设类型的参数。
5.如权利要求4所述的方法，其特征在于，所述按照预设周期采集大数据系统信息包括：按照预设周期采集如下参数中的一种或者多种：
HDFS空间占用信息、HDFSBLOCK分布信息、HDFS空间增长信息、HDFSBLOCK块计数信息、HBASE空间占用信息、HBASE请求分布统计信息、HBASEmemstore统计信息、HBASEhfile信息统计信息、HBASE空间增长统计信息，HBASEREGION分布统计信息、大小统计信息，flume填充比例统计信息，flume发送接收数据统计信息，kafka堆压统计信息，kafka性能统计信息，集群机器负载统计信息。
6.如权利要求1所述的方法，其特征在于，
所述根据获取到的参数生成对应的图表并呈现给用户，包括：
将获取到的参数以文字形式添加到图表中；
将添加有文字形式的参数的图表呈现给用户。
7.一种用于大数据系统信息汇总报表的装置，其特征在于，包括：
采集模块，用于调用计算机设备按照预设周期采集大数据系统信息；
获取模块，用于调用计算机设备获取采集到的大数据系统信息中的预设类型的参数；
图表生成模块，用于调用计算机设备根据获取到的参数生成对应的图表并呈现给用户；
交互模块，用于接收用户输入的自定义指令；所述自定义指令用于指示待生成图表的源数据；
查询模块，用于根据所述自定义指令确定需要生成图表的源数据；
所述图表生成模块，还用于根据所确定的源数据生成对应的图表并呈现给用户。
8.如权利要求7所述的装置，其特征在于，所述图表生成模块具体用于调用计算机设备将生成的图表携带在邮件中发送给所述用户。
9.如权利要求7所述的装置，其特征在于，所述自定义指令还用于指示生成的图表的类型；
所述图表生成模块具体用于根据所确定的源数据生成对应于所述类型的图表并呈现给用户。
10.如权利要求7所述的装置，其特征在于，所述图表生成模块具体用于调用计算机设备将获取到的参数以文字形式添加到图表中；将添加有文字形式的参数的图表呈现给用户。
CN201610018249.4A 2016-01-12 2016-01-12 用于大数据系统信息汇总报表的方法和装置 Pending CN105677539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610018249.4A CN105677539A (zh) 2016-01-12 2016-01-12 用于大数据系统信息汇总报表的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610018249.4A CN105677539A (zh) 2016-01-12 2016-01-12 用于大数据系统信息汇总报表的方法和装置

Publications (1)

Publication Number Publication Date
CN105677539A true CN105677539A (zh) 2016-06-15

Family

ID=56300148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610018249.4A Pending CN105677539A (zh) 2016-01-12 2016-01-12 用于大数据系统信息汇总报表的方法和装置

Country Status (1)

Country Link
CN (1) CN105677539A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694649A (zh) * 2009-08-28 2010-04-14 曙光信息产业(北京)有限公司 集群监控的报表生成系统及方法
CN102254010A (zh) * 2011-07-18 2011-11-23 北京邮电大学 一种数据统计方法及装置
CN103412871A (zh) * 2013-07-08 2013-11-27 北京百度网讯科技有限公司 一种用于生成可视化视图的方法与设备
CN104102734A (zh) * 2014-07-28 2014-10-15 中国科学院深圳先进技术研究院 数据展示方法及系统
WO2014206131A1 (en) * 2013-06-28 2014-12-31 Tencent Technology (Shenzhen) Company Limited Method and apparatus for report generation
CN104361091A (zh) * 2014-11-18 2015-02-18 浪潮(北京)电子信息产业有限公司 一种大数据系统
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN105005604A (zh) * 2015-07-06 2015-10-28 苏州金立方通讯科技有限公司 一种大数据系统
CN105208098A (zh) * 2015-08-24 2015-12-30 用友网络科技股份有限公司 云监控系统的实现装置和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694649A (zh) * 2009-08-28 2010-04-14 曙光信息产业(北京)有限公司 集群监控的报表生成系统及方法
CN102254010A (zh) * 2011-07-18 2011-11-23 北京邮电大学 一种数据统计方法及装置
WO2014206131A1 (en) * 2013-06-28 2014-12-31 Tencent Technology (Shenzhen) Company Limited Method and apparatus for report generation
CN103412871A (zh) * 2013-07-08 2013-11-27 北京百度网讯科技有限公司 一种用于生成可视化视图的方法与设备
CN104102734A (zh) * 2014-07-28 2014-10-15 中国科学院深圳先进技术研究院 数据展示方法及系统
CN104361091A (zh) * 2014-11-18 2015-02-18 浪潮(北京)电子信息产业有限公司 一种大数据系统
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN105005604A (zh) * 2015-07-06 2015-10-28 苏州金立方通讯科技有限公司 一种大数据系统
CN105208098A (zh) * 2015-08-24 2015-12-30 用友网络科技股份有限公司 云监控系统的实现装置和方法

Similar Documents

Publication Publication Date Title
CN107256265B (zh) 一种搜索引擎结果数据可视化展示方法及系统
CN109726074A (zh) 日志处理方法、装置、计算机设备和存储介质
CN101707632A (zh) 一种动态监控服务器集群性能并实时报警的方法
CN111240876B (zh) 微服务的故障定位方法、装置、存储介质及终端
CN104102734B (zh) 数据展示方法及系统
CN113268403B (zh) 时间序列的分析预测方法、装置、设备及存储介质
CN105243499A (zh) 订单分配方法及系统
CN105302709B (zh) 测试数据生成方法及设备
CN114090366A (zh) 一种监控数据的方法、装置和系统
CN110110001A (zh) 服务成果数据处理方法、装置、存储介质及系统
CN110411554B (zh) 一种电机设备检测方法、装置及系统
CN105681128A (zh) 一种用于大数据系统状态监控的方法和装置
CN114785690A (zh) 基于服务网格的监控方法及相关设备
CN112152874A (zh) 分布式系统中应用监控数据的采集与分析系统及方法
CN106294364A (zh) 实现网络爬虫抓取网页的方法和装置
CN105677539A (zh) 用于大数据系统信息汇总报表的方法和装置
CN115858672A (zh) 电力终端管理方法、装置、电子设备及存储介质
CN106681894B (zh) 智能设备的监控方法和监控装置
CN111538575B (zh) 一种资源调度系统、方法、装置、设备及介质
CN115424422A (zh) 水域预警方法、装置、设备及存储介质
CN103034730A (zh) 一种基于安卓平台的数据处理方法和系统
CN109962804B (zh) 一种分配业务服务等级的系统及方法
CN105991366B (zh) 一种业务监控方法及系统
CN103617493B (zh) 一种任务处理方法及装置
CN107766442B (zh) 一种海量数据关联规则挖掘方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160615

RJ01 Rejection of invention patent application after publication