CN110071951A - 一种大数据条件下的数据查询展示系统及方法 - Google Patents

一种大数据条件下的数据查询展示系统及方法 Download PDF

Info

Publication number
CN110071951A
CN110071951A CN201810068502.6A CN201810068502A CN110071951A CN 110071951 A CN110071951 A CN 110071951A CN 201810068502 A CN201810068502 A CN 201810068502A CN 110071951 A CN110071951 A CN 110071951A
Authority
CN
China
Prior art keywords
data
zabbix
server
application server
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810068502.6A
Other languages
English (en)
Inventor
孔祥春
杨保友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Dina Digital Technology Co Ltd
Original Assignee
Jiangsu Dina Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Dina Digital Technology Co Ltd filed Critical Jiangsu Dina Digital Technology Co Ltd
Priority to CN201810068502.6A priority Critical patent/CN110071951A/zh
Publication of CN110071951A publication Critical patent/CN110071951A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种大数据条件下的数据查询展示系统及方法，属于计算机技术领域。它包括zabbix server后端管理端通过自定义查询模块向zabbix客户端发出定时指令，zabbix客户端将接收查询请求并发送给应用服务器，应用服务器将接收的数据查询请求放入队列中，根据队列机制从应用服务器中获取数据并发送回zabbix客户端，再转发给应用服务器，应用服务器将获取的数据写入zabbix数据库，Grafana通过应用服务器接口读取zabbix数据库展示对应数据结果。本发明采用动态分配进程的数据处理方式和高效的消息队列机制保障数据查询效率的准实时特性，稳定可靠的账户分级管理功能，保障敏感信息的安全性。

Description

一种大数据条件下的数据查询展示系统及方法
技术领域
本发明属于计算机技术领域，尤其是一种大数据条件下的数据查询展示系统及方法。
背景技术
车联网设备的日益普及及庞大的汽车用户群体，基于用户日益细化的使用需求，业务运营支撑系统中会记录大量的业务记录数据。车联网的工作人员在日常工作中，为了了解业务开展情况，给用户提供准确的数据，会需要实时的业务统计信息。例如，某政企客户需要本企业在车辆使用中所有的成员，以及成员的用户、账户信息等，以及具体车辆的使用情况，油耗、里程等。
发明内容
为解决在大数据条件下数据查询展示成功率低，对客户端PC主机资源占用大的缺陷，本发明提供一种大数据条件下的数据查询展示系统及方法。
为实现上述目的，本发明采用下述技术方案：
一种大数据条件下的数据查询展示系统及方法，它包括：
zabbix agent客户端，与zabbix Server应用服务器建立TCP连接,并请求需要检测的数据列表，同时允许响应TCP连接，完成本次会话关闭,并开始周期性地收集数据，返回结果给zabbix server应用服务器，同时记录到zabbix server数据库中；
前端Web展示服务器Grafana，通过zabbix server应用服务器的api接口来调用zabbix server数据库中的数据，来展示对应自定义的数据收集模块的数据，实现各类型数据展示模式；
zabbix server后台管理端，通过zabbix agent客户端来创建自定义的数据收集模块，并指定周期，对zabbix server数据库实时周期性地自定义数据收集；
zabbix server应用服务器，与zabbix agent客户端建立TCP连接，将自定义的数据收集模块列表发送给zabbix agent客户端；
zabbix数据库mysql服务器，用于存储所需数据。
进一步地，前端Web展示服务器Grafana包含有图表及布局展示，度量仪表盘和图形编辑器，并支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源。
进一步地，自定义的数据收集模块基于不同的业务请求类型，来配置数据收集规则，包括数据组织规则、数据类型展示规则和数据文件管理规则。
一种大数据条件下的数据查询展示方法，包括以下步骤：
步骤一，在zabbix server后台管理端自定义查询模块，添加数据库收集列表；
步骤二，zabbix agent客户端与zabbix server应用服务器建立TCP连接，接收查询列表，按设置周期开始收集数据；
步骤三，zabbix agent客户端按周期收集数据完毕后，返回给zabbix server应用服务器，zabbix server应用服务器将接收的数据写入zabbix server数据库；
步骤四，前端Web展示服务器Grafana通过zabbix agent客户端建立展示模块；
步骤五，前端Web展示服务器Grafana通过zabbix server应用服务器的api接口，按设置周期实时读取收集的数据并刷新展示页面。
进一步地，步骤一中，zabbix server后端管理端通过自定义查询模块向zabbixserver客户端发出定时指令。
进一步地，步骤二中，zabbix server客户端将接收查询请求并发送给zabbixserver应用服务器，zabbix server应用服务器将接收的数据查询请求放入消息队列模块中，根据队列机制从zabbix server应用服务器中获取数据，并将数据发送回zabbixserver客户端。
进一步地，消息队列模块，用于接收数据查询请求并对数据查询请求进行编排，依次将数据查询请求发送给数据处理模块，还用于向zabbix agent客户端发送任务完成提示信息，使zabbix agent客户端根据提示信息从文件管理模块中获取所需数据；
数据处理模块，用于接收消息队列模块中的数据查询请求，根据数据查询请求的业务类型从zabbix server应用服务器中获取数据，从自定义的数据收集模块中读取数据收集规则，根据数据收集规则将获取的数据组成生成数据查询文件，并将数据查询文件存储在文件管理模块中。
有益效果：
1.对于展示的数据可以根据部门、等级及需求做到相应的划分和限制，做到数据的简洁性和安全性，统一由数据管理员划分权限和分类对应需求。
2.数据展示界面提供多种模式，包括图标、视图、曲线等。
3.支持多种端展示，手机端和PC端，只要有网络就可以及时了解相应的数据信息。
4.支持分布式管理，可以通过分布的zabbix agent客户端收集多个数据源的统计数据。
5.zabbix agent客户端采用主动模式，.zabbix agent客户端每隔一段时间主动向zabbix agent应用服务器发起连接请求-->zabbix agent应用服务器收到请求,并查询zabbix agent客户端需要取的item信息,发送给zabbix agent客户端-->zabbix agent客户端收集数据发送zabbix agent应用服务器-->结束，这样可以加强数据的及时性和有效性。
附图说明
图1为本发明一实施例数据展示各服务器之间通讯方式的示意图；
图2为本发明一实施例数据查询展示的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本实施例提出一种大数据条件下的数据查询展示系统，如图1所示，它包括：
zabbix agent客户端，与zabbix Server应用服务器建立TCP连接,并请求需要检测的数据列表，同时允许响应TCP连接，完成本次会话关闭,并开始周期性地收集数据，返回结果给zabbix server应用服务器，同时记录到zabbix server数据库中；
前端Web展示服务器Grafana，通过zabbix server应用服务器的api接口来调用zabbix server数据库中的数据，来展示对应自定义的数据收集模块的数据，实现各类型数据展示模式；
zabbix server后台管理端，通过zabbix agent客户端来创建自定义的数据收集模块，并指定周期，对zabbix server数据库实时周期性地自定义数据收集；
zabbix server应用服务器，与zabbix agent客户端建立TCP连接，将自定义的数据收集模块列表发送给zabbix agent客户端；
zabbix数据库mysql服务器，用于存储所需数据。
在上述技术方案的基础上，前端Web展示服务器Grafana包含有非常漂亮的图表及布局展示，功能齐全的度量仪表盘和图形编辑器，并支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源。Grafana主要特性：灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式；多个数据源。
在上述技术方案的基础上，自定义的数据收集模块基于不同的业务请求类型，来配置数据收集规则，包括数据组织规则、数据类型展示规则和数据文件管理规则。
本实施例还提出一种大数据条件下的数据查询展示方法，如图2所示，它包括以下步骤：
步骤一，在zabbix server后台管理端自定义查询模块，添加数据库收集列表，通过自定义查询模块向zabbix server客户端发出定时指令；
步骤二，zabbix agent客户端与zabbix server应用服务器建立TCP连接，接收查询请求并发送给zabbix server应用服务器，zabbix server应用服务器将接收的数据查询请求放入消息队列模块中，根据队列机制从zabbix server应用服务器中获取数据，并将数据发送回zabbix server客户端；
步骤三，zabbix agent客户端按周期收集数据完毕后，返回给zabbix server应用服务器，zabbix server应用服务器将接收的数据写入zabbix server数据库；
步骤四，前端Web展示服务器Grafana通过zabbix agent客户端建立展示模块；
步骤五，前端Web展示服务器Grafana通过zabbix server应用服务器的api接口，按设置周期实时读取收集的数据并刷新展示页面。
在上述技术方案的基础上，消息队列模块，用于接收数据查询请求并对数据查询请求进行编排，依次将数据查询请求发送给数据处理模块，还用于向zabbix agent客户端发送任务完成提示信息，使zabbix agent客户端根据提示信息从文件管理模块中获取所需数据；
数据处理模块，用于接收消息队列模块中的数据查询请求，根据数据查询请求的业务类型从zabbix server应用服务器中获取数据，从自定义的数据收集模块中读取数据收集规则，根据数据收集规则将获取的数据组成生成数据查询文件，并将数据查询文件存储在文件管理模块中。
本实施例提出一种快速、周期性地提取数据以及多种模式展示数据系统及方法。此数据展示系统上整合有zabbix、Grafana、LNMP。zabbix为开源的分布式集中管理，支持服务自动发现、自动收集数据、自带多种模板以及提供开放式API接口。Grafana用于可视化大型测量数据的开源程序，它提供了强大和优雅的方式去创建、共享及浏览数据。最常用于因特网基础设施和应用分析，但在其他领域也适用，比如：工业传感器、家庭自动化及过程控制等。有热插拔控制面板和可扩展的数据源，目前已经支持多种数据存储类型。LNMP(Linux-Nginx-MySQL-PHP)网站架构是目前国际流行的Web框架，该框架包括：Linux操作系统，Nginx网络服务器，MySQL数据库及PHP编程语言，所有组成产品均是免费开源软件，这四种软件组合到一起，成为一个免费、高效的网站服务系统。
对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种大数据条件下的数据查询展示系统，其特征在于，它包括：
zabbix agent客户端，与zabbix Server应用服务器建立TCP连接,并请求需要检测的数据列表，同时允许响应TCP连接，完成本次会话关闭,并开始周期性地收集数据，返回结果给zabbix server应用服务器，同时记录到zabbix server数据库中；
前端Web展示服务器Grafana，通过zabbix server应用服务器的api接口来调用zabbixserver数据库中的数据，来展示对应自定义的数据收集模块的数据；
zabbix server后台管理端，通过zabbix agent客户端来创建自定义的数据收集模块，并指定周期，对zabbix server数据库实时周期性地自定义数据收集；
zabbix server应用服务器，与zabbix agent客户端建立TCP连接，将自定义的数据收集模块列表发送给zabbix agent客户端；
zabbix数据库mysql服务器，用于存储所需数据。
2.根据权利要求1所述的大数据条件下的数据查询展示系统，其特征在于：所述前端Web展示服务器Grafana包含有图表及布局展示，度量仪表盘和图形编辑器，并支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源。
3.根据权利要求1所述的大数据条件下的数据查询展示系统，其特征在于：所述自定义的数据收集模块基于不同的业务请求类型，来配置数据收集规则，包括数据组织规则、数据类型展示规则和数据文件管理规则。
4.一种大数据条件下的数据查询展示方法，其特征在于，它包括以下步骤：
步骤一，在zabbix server后台管理端自定义查询模块，添加数据库收集列表；
步骤二，zabbix agent客户端与zabbix server应用服务器建立TCP连接，接收查询列表，按设置周期开始收集数据；
步骤三，zabbix agent客户端按周期收集数据完毕后，返回给zabbix server应用服务器，zabbix server应用服务器将接收的数据写入zabbix server数据库；
步骤四，前端Web展示服务器Grafana通过zabbix agent客户端建立展示模块；
步骤五，前端Web展示服务器Grafana通过zabbix server应用服务器的api接口，按设置周期实时读取收集的数据并刷新展示页面。
5.根据权利要求4所述的大数据条件下的数据查询展示方法，其特征在于，所述步骤一中，zabbix server后端管理端通过自定义查询模块向zabbix server客户端发出定时指令。
6.根据权利要求4所述的大数据条件下的数据查询展示方法，其特征在于，所述步骤二中，zabbix server客户端将接收查询请求并发送给zabbix server应用服务器，zabbixserver应用服务器将接收的数据查询请求放入消息队列模块中，根据队列机制从zabbixserver应用服务器中获取数据，并将数据发送回zabbix server客户端。
7.根据权利要求6所述的大数据条件下的数据查询展示方法，其特征在于，所述消息队列模块，用于接收数据查询请求并对数据查询请求进行编排，依次将数据查询请求发送给数据处理模块，还用于向zabbix agent客户端发送任务完成提示信息，使zabbix agent客户端根据提示信息从文件管理模块中获取所需数据；
所述数据处理模块，用于接收消息队列模块中的数据查询请求，根据数据查询请求的业务类型从zabbix server应用服务器中获取数据，从自定义的数据收集模块中读取数据收集规则，根据数据收集规则将获取的数据组成生成数据查询文件，并将数据查询文件存储在文件管理模块中。
CN201810068502.6A 2018-01-24 2018-01-24 一种大数据条件下的数据查询展示系统及方法 Pending CN110071951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810068502.6A CN110071951A (zh) 2018-01-24 2018-01-24 一种大数据条件下的数据查询展示系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810068502.6A CN110071951A (zh) 2018-01-24 2018-01-24 一种大数据条件下的数据查询展示系统及方法

Publications (1)

Publication Number Publication Date
CN110071951A true CN110071951A (zh) 2019-07-30

Family

ID=67365481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810068502.6A Pending CN110071951A (zh) 2018-01-24 2018-01-24 一种大数据条件下的数据查询展示系统及方法

Country Status (1)

Country Link
CN (1) CN110071951A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704415A (zh) * 2019-10-08 2020-01-17 加和数康(北京)信息科技有限公司 一种轻量化数据采集方法和系统
CN112685260A (zh) * 2021-01-04 2021-04-20 浪潮云信息技术股份公司 一种实现对服务器监控的方法
CN112804291A (zh) * 2020-12-21 2021-05-14 武汉虹旭信息技术有限责任公司 远程设备审计方法、装置及系统
WO2023213060A1 (zh) * 2022-05-06 2023-11-09 上海欣诺通信技术股份有限公司 一种基于Zabbix监控平台的管理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060179070A1 (en) * 2001-08-31 2006-08-10 Bmc Software, Inc. Service desk data transfer interface
CN104376068A (zh) * 2014-11-07 2015-02-25 北京思特奇信息技术股份有限公司 一种基于动态报表模板的数据展现系统及方法
CN104536965A (zh) * 2014-11-19 2015-04-22 北京思特奇信息技术股份有限公司 一种大数据条件下的数据查询展示系统及方法
CN104750806A (zh) * 2015-03-25 2015-07-01 浪潮集团有限公司 一种大数据的查询方法及系统
CN105183774A (zh) * 2015-08-07 2015-12-23 北京思特奇信息技术股份有限公司 一种智能查询方法及系统
US20160127410A1 (en) * 2012-12-18 2016-05-05 Tinfoil Security, Inc. System and methods for scalably identifying and characterizing structural differences between document object models
CN107220274A (zh) * 2017-04-13 2017-09-29 江苏曙光信息技术有限公司 一种可视化数据接口集市实现方法
CN107222500A (zh) * 2017-07-04 2017-09-29 山东浪潮商用系统有限公司 一种基于消息队列的数据传输系统和方法
CN107545019A (zh) * 2017-03-02 2018-01-05 微云数聚（北京）科技有限公司 一种图数据库数据驱动的可视化方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060179070A1 (en) * 2001-08-31 2006-08-10 Bmc Software, Inc. Service desk data transfer interface
US20160127410A1 (en) * 2012-12-18 2016-05-05 Tinfoil Security, Inc. System and methods for scalably identifying and characterizing structural differences between document object models
CN104376068A (zh) * 2014-11-07 2015-02-25 北京思特奇信息技术股份有限公司 一种基于动态报表模板的数据展现系统及方法
CN104536965A (zh) * 2014-11-19 2015-04-22 北京思特奇信息技术股份有限公司 一种大数据条件下的数据查询展示系统及方法
CN104750806A (zh) * 2015-03-25 2015-07-01 浪潮集团有限公司 一种大数据的查询方法及系统
CN105183774A (zh) * 2015-08-07 2015-12-23 北京思特奇信息技术股份有限公司 一种智能查询方法及系统
CN107545019A (zh) * 2017-03-02 2018-01-05 微云数聚（北京）科技有限公司 一种图数据库数据驱动的可视化方法及系统
CN107220274A (zh) * 2017-04-13 2017-09-29 江苏曙光信息技术有限公司 一种可视化数据接口集市实现方法
CN107222500A (zh) * 2017-07-04 2017-09-29 山东浪潮商用系统有限公司 一种基于消息队列的数据传输系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于科伟: "基于Zabbix分布式云监控大数据存储设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704415A (zh) * 2019-10-08 2020-01-17 加和数康(北京)信息科技有限公司 一种轻量化数据采集方法和系统
CN112804291A (zh) * 2020-12-21 2021-05-14 武汉虹旭信息技术有限责任公司 远程设备审计方法、装置及系统
CN112685260A (zh) * 2021-01-04 2021-04-20 浪潮云信息技术股份公司 一种实现对服务器监控的方法
WO2023213060A1 (zh) * 2022-05-06 2023-11-09 上海欣诺通信技术股份有限公司 一种基于Zabbix监控平台的管理方法及系统

Similar Documents

Publication Publication Date Title
CN108512719B (zh) 一种基于开源云平台的一体化资源监控系统
CN110071951A (zh) 一种大数据条件下的数据查询展示系统及方法
CN101493826B (zh) 基于web应用的数据库系统及其数据管理方法
CN106487574A (zh) 自动化运行维护监测系统
CN103532780A (zh) 用于it领域的运维监控一体化系统及一体化监控方法
CN104536965B (zh) 一种大数据条件下的数据查询展示系统及方法
CN102999314A (zh) 立即延迟跟踪器工具
CN103778513A (zh) 一种基于二维码的it设备运维监控方法
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN110874272A (zh) 资源配置方法及装置、计算机可读存储介质、电子设备
CN110769018A (zh) 一种消息推送方法及装置
TW201814609A (zh) 一種資訊推送的方法和系統及用戶端和伺服器
CN105183299A (zh) 一种人机界面服务处理系统和方法
CN108664625B (zh) 一种跨系统数据同步方法及装置
CN110928681A (zh) 数据的处理方法和装置、存储介质及电子装置
CN113434473A (zh) 一种分布式日志的处理方法、装置、介质及电子设备
CN109324892A (zh) 分布式管理方法、分布式管理系统及装置
CN112000322A (zh) 一种基于业务场景模板的处理系统
CN110471378A (zh) 一种水厂自动化控制及数据分析系统
CN114356970B (zh) 一种存储系统资源缓存方法及装置
CN113255026B (zh) 一种基于语义信息交换的cad协同设计方法
CN112738212B (zh) 一种机动车电子标识读写设备运维的方法与系统
CN113409172A (zh) 建筑生态云平台、管理方法、程序产品及存储介质
CN115033634A (zh) 数据采集方法、装置、电子设备和介质
CN114745448A (zh) 一种多通道规约适配处理方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication