CN106301972A - 一种监控数据实时上推方法及系统 - Google Patents

一种监控数据实时上推方法及系统 Download PDF

Info

Publication number
CN106301972A
CN106301972A CN201611034212.7A CN201611034212A CN106301972A CN 106301972 A CN106301972 A CN 106301972A CN 201611034212 A CN201611034212 A CN 201611034212A CN 106301972 A CN106301972 A CN 106301972A
Authority
CN
China
Prior art keywords
data
monitoring
configuration
client
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611034212.7A
Other languages
English (en)
Inventor
冯森林
温宗臣
张翼
何良均
范卫卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd filed Critical BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority to CN201611034212.7A priority Critical patent/CN106301972A/zh
Publication of CN106301972A publication Critical patent/CN106301972A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/085—Retrieval of network configuration; Tracking network configuration history
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种监控数据实时上推方法，包括：(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；(3)根据数据库的配置抽取出需要上推到监控平台的数据；(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；(5)监控客户端将接收到的数据输入到监控系统中。还有一种监控数据实时上推系统。

Description

一种监控数据实时上推方法及系统
技术领域
本发明涉及数据监控的技术领域，尤其涉及一种监控数据实时上推方法，以及监控数据实时上推系统。
背景技术
在数据监控方面，目前一般是通过应用程序将监控数据实时上推到监控系统的客户端，或者转发给专门的服务负责集中上推。
但是，存在如下缺陷：
1、每个应用程序都要实现繁琐和死板的发送格式化监控数据的模块。
2、应用程序需要保存原始的历史数据，因为监控系统保存的数据是格式化之后的，不便于检索。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种监控数据实时上推方法，其省略各应用程序监控数据上推代码块，监控数据格式的配置更加灵活，实现了数据格式的集中化配置和数据的集中化上推，保证了数据上推的实时性。
本发明的技术方案是：这种监控数据实时上推方法，该方法包括以下步骤：
(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；
(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；
(3)根据数据库的配置抽取出需要上推到监控平台的数据；
(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；
(5)监控客户端将接收到的数据输入到监控系统中。
本发明使用通用化监控数据格式配置表，省略每个应用程序的发送格式化监控数据代码模块，只需要在数据库中配置即可；应用程序只需要把监控数据保存到数据库即可，由专门的应用程序负责检查数据库的变化，读取到变化的数据，根据监控数据配置表进行格式化后发送到监控系统的数据接收端，实现集中化的监控数据格式化和监控数据上推。
还提供了一种监控数据实时上推系统，该系统包括：
数据库，其配置来检查输入的参数是否合法；
数据库监控服务器，其配置来将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；
数据库监控客户端，其配置来检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录，并将格式化的数据上推到监控客户端；
日志配置，其配置来存放数据格式化配置，对数据格式化；
监控客户端，其配置来将接收到的数据输入到监控系统中。
附图说明
图1所示为根据本发明的监控数据实时上推方法的流程图。
图2所示为根据本发明的监控数据实时上推系统的示意图。
具体实施方式
如图1所示，这种监控数据实时上推方法，该方法包括以下步骤：
(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；
(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；
(3)根据数据库的配置抽取出需要上推到监控平台的数据；
(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；
(5)监控客户端将接收到的数据输入到监控系统中。
本发明使用通用化监控数据格式配置表，省略每个应用程序的发送格式化监控数据代码模块，只需要在数据库中配置即可；应用程序只需要把监控数据保存到数据库即可，由专门的应用程序负责检查数据库的变化，读取到变化的数据，根据监控数据配置表进行格式化后发送到监控系统的数据接收端，实现集中化的监控数据格式化和监控数据上推。
另外，所述数据库为mysql数据库，所述数据库监控服务器为开源的canal-server工具，所述日志配置存放在mysql数据库中一张表，所述数据库监控客户端为自定义的一个基于canal-client的应用程序，所述监控客户端为open-falcon系统自带的数据接收客户端。
另外，所述步骤(3)中，数据格式化配置包括：数据库、表名称、字段。
另外，所述日志配置按照open-falcon的监控数据上推格式要求设计。
另外，所述数据库开启主从同步功能，并且采用binlog_format＝row。
另外，所述被监控的应用程序的数据是数值。
另外，一条数据库记录如果包含多个数值字段，产生多条格式化的监控数据。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种监控数据实时上推系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统包括：
数据库，其配置来检查输入的参数是否合法；
数据库监控服务器，其配置来将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；
数据库监控客户端，其配置来检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录，并将格式化的数据上推到监控客户端；
日志配置，其配置来存放数据格式化配置，对数据格式化；
监控客户端，其配置来将接收到的数据输入到监控系统中。
如图2所示，本发明包括以下部分：
1application：需要被监控的应用程序。
2data base(数据库)：应用程序需要将数据保存到数据库，便于保存历史记录和db monitor server检查数据的变化。
3db monitor server(数据库监控服务器)：负责检查数据库的变化，当接收到来自db monitor client服务的请求时，将返回修改或添加过的记录。
4log config(日志配置)：存放数据格式化配置。包括数据库、表名称、字段和其他信息，便于db monitor client查询。
5db monitor client(数据库监控客户端)：定期请求db monitor server，获取到数据后，如果log config中有关于该数据的配置项，会对数据格式化，之后再上推到monitor client。否则不做处理。
6monitor client(监控客户端)：监控系统的数据接收端，将接受到的数据输入到监控系统中去。
本发明实现方案的具体过程如下：
1、基础框架(Framework)
mysql、open-falcon
2、各模块结构(Modules)
●application：应用程序。
●data base：mysql数据库。
●db monitor server：开源的canal-server工具。
●log config：存放在mysql数据库中一张表。
●db monitor client：自己实现的一个基于canal-client的应用程序
●monitor client：open-falcon系统自带的数据接收客户端。
3、约定和规范
●监控数据格式的配置表需要按照open-falcon的监控数据上推格式要求设计
●data base需要开启主从同步功能，并且采用binlog_format＝row
●被监控项只能是数值而不能是文本或者其他非数值格式
●一条数据库记录如果包含多个数值字段，可以产生多条格式化监控数据
4、格式化参数(Params)
●输入(in)：
√record：应用程序写入数据库的记录
●输出(out)：
√json格式化监控数据：db monitor client的输出的监控数据格式
5、编码实现(Programs)
●Coding：按照约定的格式和协议实现db monitor client
6、构建部署(Build)
●Ubuntu12.04.4
●Mysql5.5
●Canal
●Open-falcon0.1.0
本发明的有益效果如下：
1、省略各应用程序监控数据上推代码块；
2、监控数据格式的配置更加灵活；
3、实现了数据格式的集中化配置和数据的集中化上推；
4、保证了数据上推的实时性。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (8)

1.一种监控数据实时上推方法，其特征在于：该方法包括以下步骤：
(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；
(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；
(3)根据数据库的配置抽取出需要上推到监控平台的数据；
(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；
(5)监控客户端将接收到的数据输入到监控系统中。
2.根据权利要求1所述的监控数据实时上推方法，其特征在于：所述数据库为mysql数据库，所述数据库监控服务器为开源的canal-server工具，所述日志配置存放在mysql数据库中一张表，所述数据库监控客户端为自定义的一个基于canal-client的应用程序，所述监控客户端为open-falcon系统自带的数据接收客户端。
3.根据权利要求2所述的监控数据实时上推方法，其特征在于：所述步骤(3)中，数据格式化配置包括：数据库、表名称、字段。
4.根据权利要求3所述的监控数据实时上推方法，其特征在于：所述日志配置按照open-falcon的监控数据上推格式要求设计。
5.根据权利要求4所述的监控数据实时上推方法，其特征在于：所述数据库开启主从同步功能，并且采用binlog_format＝row。
6.根据权利要求1所述的监控数据实时上推方法，其特征在于：所述被监控的应用程序的数据是数值。
7.根据权利要求6所述的监控数据实时上推方法，其特征在于：一条数据库记录如果包含多个数值字段，产生多条格式化的监控数据。
8.一种监控数据实时上推系统，其特征在于：该系统包括：
数据库，其配置来检查输入的参数是否合法；
数据库监控服务器，其配置来将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；
数据库监控客户端，其配置来检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录，并将格式化的数据上推到监控客户端；
日志配置，其配置来存放数据格式化配置，对数据格式化；
监控客户端，其配置来将接收到的数据输入到监控系统中。
CN201611034212.7A 2016-11-16 2016-11-16 一种监控数据实时上推方法及系统 Pending CN106301972A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611034212.7A CN106301972A (zh) 2016-11-16 2016-11-16 一种监控数据实时上推方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611034212.7A CN106301972A (zh) 2016-11-16 2016-11-16 一种监控数据实时上推方法及系统

Publications (1)

Publication Number Publication Date
CN106301972A true CN106301972A (zh) 2017-01-04

Family

ID=57721007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611034212.7A Pending CN106301972A (zh) 2016-11-16 2016-11-16 一种监控数据实时上推方法及系统

Country Status (1)

Country Link
CN (1) CN106301972A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108023788A (zh) * 2017-11-29 2018-05-11 中国平安人寿保险股份有限公司 监控数据上传方法、装置、设备、系统及存储介质
CN109451047A (zh) * 2018-12-13 2019-03-08 深圳前海微众银行股份有限公司 监控告警系统的数据传送方法、装置、设备及存储介质
CN110995566A (zh) * 2019-10-30 2020-04-10 深圳震有科技股份有限公司 一种消息数据推送方法、系统及装置
CN111913847A (zh) * 2020-07-21 2020-11-10 上海冰鉴信息科技有限公司 远程任务执行进度的获取方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889557A (zh) * 2006-07-10 2007-01-03 北京工业大学 远程xml数据更新方法以及系统
CN101183371A (zh) * 2007-12-12 2008-05-21 中兴通讯股份有限公司 一种快速完成大数据处理的方法和报表系统
CN103365873A (zh) * 2012-03-28 2013-10-23 阿里巴巴集团控股有限公司 业务数据的推送方法及装置
CN104156798A (zh) * 2014-07-08 2014-11-19 四川中电启明星信息技术有限公司 企业权威源系统数据实时推送架构及方法
CN104408132A (zh) * 2014-11-28 2015-03-11 北京京东尚科信息技术有限公司 数据推送方法和系统
CN104679841A (zh) * 2015-02-11 2015-06-03 北京京东尚科信息技术有限公司 一种消费端数据流复制方法及系统
CN104977893A (zh) * 2015-06-10 2015-10-14 安徽舜禹水务实业有限公司 一种专用于供水系统的超文本信息系统
CN105989059A (zh) * 2015-02-09 2016-10-05 阿里巴巴集团控股有限公司 数据记录核对方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889557A (zh) * 2006-07-10 2007-01-03 北京工业大学 远程xml数据更新方法以及系统
CN101183371A (zh) * 2007-12-12 2008-05-21 中兴通讯股份有限公司 一种快速完成大数据处理的方法和报表系统
CN103365873A (zh) * 2012-03-28 2013-10-23 阿里巴巴集团控股有限公司 业务数据的推送方法及装置
CN104156798A (zh) * 2014-07-08 2014-11-19 四川中电启明星信息技术有限公司 企业权威源系统数据实时推送架构及方法
CN104408132A (zh) * 2014-11-28 2015-03-11 北京京东尚科信息技术有限公司 数据推送方法和系统
CN105989059A (zh) * 2015-02-09 2016-10-05 阿里巴巴集团控股有限公司 数据记录核对方法及装置
CN104679841A (zh) * 2015-02-11 2015-06-03 北京京东尚科信息技术有限公司 一种消费端数据流复制方法及系统
CN104977893A (zh) * 2015-06-10 2015-10-14 安徽舜禹水务实业有限公司 一种专用于供水系统的超文本信息系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOUYOUDB: "数据库相关中间件", 《360DOC个人图书馆》 *
布布扣: "阿里巴巴开源项目：canal基于MySQL数据库binlog的增量订阅＆消费", 《布布扣》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108023788A (zh) * 2017-11-29 2018-05-11 中国平安人寿保险股份有限公司 监控数据上传方法、装置、设备、系统及存储介质
CN108023788B (zh) * 2017-11-29 2020-04-10 中国平安人寿保险股份有限公司 监控数据上传方法、装置、设备、系统及存储介质
CN109451047A (zh) * 2018-12-13 2019-03-08 深圳前海微众银行股份有限公司 监控告警系统的数据传送方法、装置、设备及存储介质
CN109451047B (zh) * 2018-12-13 2021-05-18 深圳前海微众银行股份有限公司 监控告警系统的数据传送方法、装置、设备及存储介质
CN110995566A (zh) * 2019-10-30 2020-04-10 深圳震有科技股份有限公司 一种消息数据推送方法、系统及装置
CN111913847A (zh) * 2020-07-21 2020-11-10 上海冰鉴信息科技有限公司 远程任务执行进度的获取方法及系统
CN111913847B (zh) * 2020-07-21 2021-04-27 上海冰鉴信息科技有限公司 远程任务执行进度的获取方法及系统

Similar Documents

Publication Publication Date Title
US20200293549A1 (en) Blockchain-based data processing method and device
CN106301972A (zh) 一种监控数据实时上推方法及系统
CN104714529B (zh) 电动汽车的远程监控平台系统
CN109828903A (zh) 自动化测试方法、装置、计算机装置及存储介质
CN107943841A (zh) 流式数据处理方法、系统和计算机可读存储介质
CN105303286A (zh) 移动打卡系统与方法及其云端系统
CN102802139A (zh) 一种物联网网关数据适配系统及方法
CN101719954B (zh) 一种实现短信置顶的方法及装置
CN101557314A (zh) 一种分布式网管系统及数据配置管理方法
CN105574168A (zh) 一种内存数据库的安全审计系统及审计方法
CN105187467A (zh) 具有强制性回复的移动问卷系统与方法
CN103607476A (zh) 海量消息的分布式多阶段持久化的系统及方法
CN109634951B (zh) 大数据采集方法、装置、计算机设备及存储介质
US8891524B2 (en) Method and apparatus of automatically providing registration information
CN103490978A (zh) 终端、服务器和消息监视方法
CN109255587A (zh) 一种工作数据的协同处理方法及装置
CN105516337A (zh) 基于动态加载机制的web站点对接解析方法
CN110750559A (zh) 权限信息的处理方法及装置、存储介质、电子装置
CN105160011A (zh) 一种日志管理系统及方法
CN110532305A (zh) 一种业务数据割接方法及系统
US11309069B2 (en) Aggregating data to identify diversion events
US20130290245A1 (en) Database history management method and system thereof
CN107329832A (zh) 一种数据接收方法及装置
CN105528378B (zh) 业务消息发送方法和装置
CN104869056A (zh) 一种基于关系-数据分离的机构-人员数据同步方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104