CN103365756A - 数据分层监控系统及监控方法 - Google Patents

数据分层监控系统及监控方法 Download PDF

Info

Publication number
CN103365756A
CN103365756A CN2013102653972A CN201310265397A CN103365756A CN 103365756 A CN103365756 A CN 103365756A CN 2013102653972 A CN2013102653972 A CN 2013102653972A CN 201310265397 A CN201310265397 A CN 201310265397A CN 103365756 A CN103365756 A CN 103365756A
Authority
CN
China
Prior art keywords
monitoring
processing unit
central processing
host computer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102653972A
Other languages
English (en)
Other versions
CN103365756B (zh
Inventor
易昕
王海
贺改梅
王伟
黄国宏
靳国文
潘年华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Qisheng Information Technology Co.,Ltd.
Original Assignee
Guiyang Longmaster Information and Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guiyang Longmaster Information and Technology Co ltd filed Critical Guiyang Longmaster Information and Technology Co ltd
Priority to CN201310265397.2A priority Critical patent/CN103365756B/zh
Publication of CN103365756A publication Critical patent/CN103365756A/zh
Application granted granted Critical
Publication of CN103365756B publication Critical patent/CN103365756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及计算机技术领域，公开一种数据分层监控系统及监控方法，以解决网站等访问终端频繁地访问数据所造成的占用数据库的IO和CPU等资源的缺陷。包括第一监控主机和第二监控主机，所述第一监控主机设置有第一中央处理器及其连接的存储原始数据的第一数据库或第一存储器，所述第二监控主机设置有第二中央处理器及其连接的存储监控表数据的第二存储器，所述第二中央处理器与第一中央处理器及外部的访问终端连接，所述第一中央处理器与所述第二存储器连接以根据所述第一中央处理器的指示动态更新所述监控表数据。

Description

数据分层监控系统及监控方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据分层监控系统及方法。
背景技术
使用网站对后台数据进行监控，最常采用的方式是由网站直接访问原始数据相关的库表。但是通过网站进行访问时，访问的频率和来源很难控制，过多的提交请求会过多地占用数据库的IO和CPU等资源，不仅影响监控本身的效率，也对应用程序有不利的影响。
现有的两种访问方式分别是：
方式一、每次从网站提交请求时，直接从原始数据中进行采集和计算。其缺点在于会增加数据库重复操作的负担。
方式二、添加作业，让数据库定时从原始数据中计算出结果，存在新表中。此方式能减少方式一中重复操作的负担，但是监控的实时性较差；另一方面，如果没有提交请求，作业也会执行，进行没必要的操作。
上述两种方式都存在不足，有待于改进。
发明内容
本发明的主要目的在于公开一种数据分层监控系统及监控方法，以解决网站等访问终端频繁地访问数据所造成的占用数据库的IO和CPU等资源的缺陷。
为达上述目的，本发明公开的数据分层监控系统包括第一监控主机和第二监控主机，所述第一监控主机设置有第一中央处理器及其连接的存储原始数据的第一数据库或第一存储器，所述第二监控主机设置有第二中央处理器及其连接的存储监控表数据的第二存储器，所述第二中央处理器与第一中央处理器及外部的访问终端连接，所述第一中央处理器与所述第二存储器连接以根据所述第一中央处理器的指示动态更新所述监控表数据。
可选的，上述外部的访问终端为WEB服务器。
与上述数据分层监控系统相对应的，本发明还公开一种数据分层监控方法，包括：
第一监控主机完成原始数据的采集和计算，并写入第二监控主机上的监控表，供所有的终端访问；
第二监控主机设置监控表的状态，使其维持在一段时间内有效，当且只有当其接收到数据访问请求且当前监控表失效时才使令第一监控主机再一次完成原始数据的采集和计算并以此更新监控表。
与现有技术相比，本发明实施例至少具有以下优点：
基于本发明的数据分层监控系统及方法，第一监控主机可用于完成原始数据的采集和计算，并写入第二监控主机上的监控表，供所有的终端访问；而第二监控主机则可以灵活设置监控表的状态，使其维持在一段时间内有效，当且只有当其接收到数据访问请求且当前监控表失效时才使令第一监控主机再一次完成原始数据的采集和计算并以此更新监控表。藉此，第一监控主机和第二监控主机分工协作，外部访问终端只能访问第二监控主机上的监控表，且该监控表只有在超过预设的有效时长且有访问终端访问时才进行更新，以此实现兼顾数据更新的同时还极大地减少了对原始数据库的IO和CPU等资源的占用，有效地减少了对原始数据表中无必要的扫描和计算，提高了监控的效率，降低了服务器的压力。
附图说明
图1是本发明实施例公开的数据分层监控系统的架构框图；
图2是本发明实施例公开的数据分层监控方法流程图。
具体实施方式
下面结合说明书附图对本发明的具体实现方式做一详细描述。
本发明实施例公开一种数据分层监控系统。
如图1所示，该系统包括第一监控主机1和第二监控主机2，所述第一监控主机设置有第一中央处理器11及其连接的存储原始数据的第一数据库或第一存储器12，所述第二监控主机2设置有第二中央处理器21及其连接的存储监控表数据的第二存储器22，所述第二中央处理器与第一中央处理器及外部的访问终端连接，所述第一中央处理器与所述第二存储器连接以根据所述第一中央处理器的指示动态更新所述监控表数据。
基于本发明的架构，第一监控主机可用于完成原始数据的采集和计算，并写入第二监控主机上的监控表，供所有的终端访问；而第二监控主机则可以灵活设置监控表的状态，使其维持在一段时间内有效，当且只有当其接收到数据访问请求且当前监控表失效时才使令第一监控主机再一次完成原始数据的采集和计算并以此更新监控表。藉此，第一监控主机和第二监控主机分工协作，外部访问终端只能访问第二监控主机上的监控表，且该监控表只有在超过预设的有效时长且有访问终端访问时才进行更新，以此实现兼顾数据更新的同时还极大地减少了对原始数据库的IO和CPU等资源的占用，有效地减少了对原始数据表中无必要的扫描和计算，提高了监控的效率，降低了服务器的压力。
在执行过程中，第一中央处理器用于对原始数据进行采集和计算，写入监控表。监控表的结构根据监控的实际需求而定。第二中央处理器用于设定一个监控可允许的时间差datediff，考虑到是由网站进行的监控，时差可控制在2到10秒之间；并记录最后一次更新监控表的时间、当前监控表的状态（空闲，繁忙），其中监控表的结构可定为update_dt，working_status。当接收网站提交的监控请求时，该第二中央处理器查询监控表中update_dt及working_status，如果update_dt与当前时间差小于datediff，则直接访问监控表读取结果，如果update_dt与当前时间差大于datediff，而且working_status为空闲，则置working_status为繁忙，并指令第一中央处理器更新监控表，并在监控表更新完毕后置working_status为空闲并记录更新时间。
值得说明的是，本实施例中，上述第一监控主机和第二监控主机可以是双核CPU的一体机；作为一种简单变形，也可以由同一主机的两个监控线程实现上述监管功能。
实施例二
与上述实施例公开一种数据分层监控系统相对应的，本实施例公开一种数据分层监控方法，如图2所示，包括：
步骤S1、第一监控主机完成原始数据的采集和计算，并写入第二监控主机上的监控表，供终端访问。
步骤S2、第二监控主机设置监控表的状态，使其维持在一段时间内有效，当且仅当其接收到数据访问请求且当前监控表失效时才使令第一监控主机再一次完成原始数据的采集和计算并以此更新监控表。
通过本实施例，第一监控主机和第二监控主机分工协作，外部访问终端只能访问第二监控主机上的监控表，且该监控表只有在超过预设的有效时长且有访问终端访问时才进行更新，以此实现兼顾数据更新的同时还极大地减少了对原始数据库的IO和CPU等资源的占用，有效地减少了对原始数据表中无必要的扫描和计算，提高了监控的效率，降低了服务器的压力。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (3)

1.一种数据分层监控系统，其特征在于，包括第一监控主机和第二监控主机，所述第一监控主机设置有第一中央处理器及其连接的存储原始数据的第一数据库或第一存储器，所述第二监控主机设置有第二中央处理器及其连接的存储监控表数据的第二存储器，所述第二中央处理器与第一中央处理器及外部的访问终端连接，所述第一中央处理器与所述第二存储器连接以根据所述第一中央处理器的指示动态更新所述监控表数据。
2.根据权利要求1所述的数据分层监控系统，其特征在于，所述外部的访问终端为WEB服务器。
3.一种如权利要求1所述的数据分层监控系统的数据分层监控方法，其特征在于，循环步骤包括：
第一监控主机完成原始数据的采集和计算，并写入第二监控主机上的监控表，供终端访问；
第二监控主机设置监控表的状态，使其维持在一段时间内有效，当且仅当其接收到数据访问请求且当前监控表失效时才使令第一监控主机再一次完成原始数据的采集和计算并以此更新监控表。
CN201310265397.2A 2012-12-27 2013-06-28 数据分层监控系统及监控方法 Active CN103365756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310265397.2A CN103365756B (zh) 2012-12-27 2013-06-28 数据分层监控系统及监控方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201220730471 2012-12-27
CN2012207304714 2012-12-27
CN201220730471.4 2012-12-27
CN201310265397.2A CN103365756B (zh) 2012-12-27 2013-06-28 数据分层监控系统及监控方法

Publications (2)

Publication Number Publication Date
CN103365756A true CN103365756A (zh) 2013-10-23
CN103365756B CN103365756B (zh) 2016-04-06

Family

ID=49367168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310265397.2A Active CN103365756B (zh) 2012-12-27 2013-06-28 数据分层监控系统及监控方法

Country Status (1)

Country Link
CN (1) CN103365756B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232467A (zh) * 2008-02-22 2008-07-30 中兴通讯股份有限公司 一种实时传讯业务中应用时间戳获取信息的方法
US20090150652A1 (en) * 2007-12-10 2009-06-11 Hon Hai Precision Industry Co., Ltd. Computer monitoring system and monitoring method
CN102236707A (zh) * 2011-06-28 2011-11-09 贵阳朗玛信息技术股份有限公司 获取数据库更新数据的方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090150652A1 (en) * 2007-12-10 2009-06-11 Hon Hai Precision Industry Co., Ltd. Computer monitoring system and monitoring method
CN101232467A (zh) * 2008-02-22 2008-07-30 中兴通讯股份有限公司 一种实时传讯业务中应用时间戳获取信息的方法
CN102236707A (zh) * 2011-06-28 2011-11-09 贵阳朗玛信息技术股份有限公司 获取数据库更新数据的方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武林平 等: "集群系统运行状态监控软件设计", 《华中科技大学学报（自然科学版）》, vol. 39, 30 June 2011 (2011-06-30), pages 148 - 152 *

Also Published As

Publication number Publication date
CN103365756B (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105103144B (zh) 用于存储器的自适应控制的设备及方法
CN103576835B (zh) 一种休眠磁盘的数据操作方法和装置
CN102929735B (zh) 一种时钟校正的方法和设备
EP2797013B1 (en) Database update execution according to power management schemes
US9244520B2 (en) Techniques for managing power and performance of multi-socket processors
CN103023984B (zh) 终端应用服务器及其应用日志过滤方法
CN103677759A (zh) 一种用于信息系统性能提升的对象化并行计算方法及系统
CN105243072A (zh) 一种数据库查询方法及系统
CN105446657A (zh) 一种监控raid卡的方法
CN103729247A (zh) 数据获取请求的处理方法、系统及服务器
US9338057B2 (en) Techniques for searching data associated with devices in a heterogeneous data center
CN111352806A (zh) 日志数据监控方法及装置
CN109313604A (zh) 压缩虚拟存储器的动态配置
CN104166450A (zh) 一种vr芯片fw版本的区分方法
CN101777009B (zh) 应用程序的负载控管方法
CN110704851A (zh) 公有云数据处理方法和设备
CN112925811A (zh) 数据处理的方法、装置、设备、存储介质及程序产品
CN104461941A (zh) 一种内存系统架构及管理方法
CN102081570A (zh) 一种i2c设备的访问方法及装置
CN103365756B (zh) 数据分层监控系统及监控方法
CN115756322A (zh) 数据存储方法、装置、电子设备及存储介质
CN105095149A (zh) 一种片上系统参数的批处理方法和装置
CN105573885A (zh) 一种监测并统计底层硬件行为的方法及装置
CN115438056A (zh) 一种数据获取方法、装置、设备以及存储介质
CN111611104B (zh) 一种InfluxDB数据备份方法、系统及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171017

Address after: 510623 Guangzhou, Guangdong, Tianhe District, 13 Zhujiang East Road, No. tenth, eleventh

Patentee after: Guangzhou Qisheng Information Technology Co.,Ltd.

Address before: 550022 Jinyang science and Technology Industrial Park, Guiyang hi tech Zone Industrial Park, room 130

Patentee before: Guizhou Longmaster Information & Technology Co.,Ltd.

TR01 Transfer of patent right
CP02 Change in the address of a patent holder

Address after: 510000 room 1101, No. 13, Zhujiang East Road, Tianhe District, Guangzhou City, Guangdong Province (office only)

Patentee after: GUANGZHOU QISHENG INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 510623 Guangzhou, Guangdong, Tianhe District, 13 Zhujiang East Road, No. tenth, eleventh

Patentee before: GUANGZHOU QISHENG INFORMATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder