CN103902739B - 数据库集群服务器数据分类方法 - Google Patents

数据库集群服务器数据分类方法 Download PDF

Info

Publication number
CN103902739B
CN103902739B CN201410161990.7A CN201410161990A CN103902739B CN 103902739 B CN103902739 B CN 103902739B CN 201410161990 A CN201410161990 A CN 201410161990A CN 103902739 B CN103902739 B CN 103902739B
Authority
CN
China
Prior art keywords
data
index
server
keg
main frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410161990.7A
Other languages
English (en)
Other versions
CN103902739A (zh
Inventor
李国强
王路
涂新行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHENGZHOU XIZHI INFORMATION TECHNOLOGY Co Ltd
Original Assignee
ZHENGZHOU XIZHI INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHENGZHOU XIZHI INFORMATION TECHNOLOGY Co Ltd filed Critical ZHENGZHOU XIZHI INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410161990.7A priority Critical patent/CN103902739B/zh
Publication of CN103902739A publication Critical patent/CN103902739A/zh
Application granted granted Critical
Publication of CN103902739B publication Critical patent/CN103902739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据库集群服务器数据的分析、处理及分类方法。一种数据库集群服务器数据分类方法,实现步骤如下:在数据库集群服务器中配置全局数据服务器;并在每台服务器上配置监控代理实例;通过每个监控代理实例每隔一定时间获取当前服务器的数据信息,汇总至全局数据服务器,并建立数据库表;全局数据服务器根据每个服务器的LOAD,QPS,TPS指标,按主机名,时间信息进行分类汇总,获取一定时间段内所有主机的各项监控数据信息;结合关系数据库的特点,按时间范围进行一次数据读取,得到一组数据集A;然后采用一次数据库读取操作加大小桶方法,将小桶名字中指标部分相同的桶放入对应的指标大桶,从而实现数据库集群服务器关键性指标的监控与统计。

Description

数据库集群服务器数据分类方法
技术领域
本发明涉及一种数据库集群服务器数据的分析、处理及分类方法,应用于数据库集群服务器关键性指标的监控与统计。
背景技术
数据库集群是利用多台数据库服务器,构成一个虚拟单一数据库逻辑映像,和单数据库系统一样,都可以向客户端提供透明的数据服务。随着大数据时代的到来,数据库集群的规模越来越大,集群系统的性能监控与分析就显的尤为重要,即需要对整个集群整体的运行情况有个直观的了解,又需要对集群中各台服务器的运行情况有个快速,清晰,准确的查看和定位。
传统的关系型数据库为二维数据库,要通过其实现数据库集群的数据分类以及关键性指标的监控与统计,如要按LOAD,QPS,TPS字段加主机名加时间段进行,需要将条件拆为二维方式的SQL语句,多次执行。存在计算时间长,处理效率不高的缺点,不利于快速高效的实现对数据库数据进行分类,不利于实现对数据库集群服务器关键性指标的监控与统计,不能够方便、快捷地实现对数据库集群服务器数据的调用,影响高性能计算机数据处理效率。
因此,如果能够提出一种计算方法简单、运算速度快的数据分类方法,必然能够提高高性能计算机数据处理效率,提高计算机性能。
发明内容
本发明针对现有技术不足,提出了一种数据库集群服务器数据分类的方法,在关系型数据库基础上,实现了数据的三维分类,能够快速高效的实现数据库集群服务器关键性指标的监控与统计。
本发明所采用的技术方案是:
一种数据库集群服务器数据分类方法,实现步骤如下:
1)在数据库集群服务器中的每台服务器上配置一个监控代理实例,
在数据库集群服务器中配置全局数据服务器用于收集和显示各个监控代理实例的数据;
2)每个监控代理实例每隔一定时间获取一次当前服务器的LOAD,QPS,TPS,网络I/O,磁盘I/O,内存使用率,CPU使用率,汇总至全局数据服务器,并建立数据库表;
3)全局数据服务器根据每个服务器的LOAD,QPS,TPS指标,按主机名,时间信息进行分类汇总,获取一定时间段内所有主机的各项监控数据信息;
4)结合关系数据库的特点,在关系型数据库中取数据时按时间范围进行一次数据读取,得到一组数据集A;
5)处理获取到的数据集A时,首先以指标字段名建立多个指标大桶,顺序读取从关系型数据库中获取的数据集A;
6)用数据集A中的主机名加指标字段名建立主机指标小桶;
读取数据集A中的数据,将主机名和指标字段对应的数据值放入对应的主机指标小桶中;
如果不存在对应的主机指标小桶,则以时间信息和指标字段名创建新的主机指标小桶,并将时间信息和指标字段对应的数据值放入所述主机指标小桶中;
7)读取数据集A中的所有数据到主机指标小桶中,将主机指标小桶名字中指标部分相同的主机指标小桶放入对应的指标大桶,指标大桶中包含了各主机指标小桶的详细信息;
这样就实现了以指标字段为第一维条件,以指标字段加主机名为第二维条件,以时间信息为三维条件的数据库集群服务器数据的三维分类。
所述的数据库集群服务器数据分类方法,每个监控代理实例每隔2到5秒获取一次当前服务器的LOAD,QPS,TPS,网络I/O,磁盘I/O,内存使用率,CPU使用率信息;全局数据服务器建立数据库表的结构包括字段和类型,所述字段包括主机名,检测时间,服务器负载,磁盘每秒读取次数,磁盘每秒写入次数,磁盘每秒读取的扇区数,磁盘每秒写入的扇区数,磁盘Io队列大小,磁盘等待比例,Db插入次数,Db更新次数,Db 删除次数,Db 查询次数,缓存命中率,全局数据服务器通过建立数据库表将之按类型归类。
本发明的积极有益效果:
1、本发明数据库集群服务器数据分类方法,基于集群整体与个体都需要统计与分析的需求,在关系型数据库基础上,采用一次数据库读取操作加大小桶方法,实现了数据的三维分类,方便实现数据库集群服务器关键性指标的监控与统计。相当于给集群系统加入了“仪表盘”+“听诊器”,方法简单可靠,运算速度快。
2、本发明数据库集群服务器数据分类方法,分析结果准确可靠,分类结果简单明了,可以方便的让web界面进行图形化展示,按照集群指标,集群主机名,时间信息进行画图,即能展示集群整体运行情况,又能方便的查看集群中各台服务器的指标信息。
具体实施方式
本发明数据库集群服务器数据分类方法,基于集群整体与个体都需要统计与分析的需求,在关系型数据库基础上,采用一次数据库读取操作加大小桶方法,实现了数据的三维分类,方便实现数据库集群服务器关键性指标的监控与统计。
下面通过具体实施方式,对本发明的技术方案做进一步的详细描述。
实施例1
本实施例的数据库集群服务器数据分类方法,其实现步骤如下:
1)在数据库集群服务器中的每台服务器上配置一个监控代理实例,在数据库集群服务器中配置全局数据服务器用于收集和显示各个监控代理实例的数据;
2)每个监控代理实例每隔一定时间获取一次当前服务器的LOAD,QPS,TPS,网络I/O,磁盘I/O,内存使用率,CPU使用率,汇总至全局数据服务器,并建立数据库表;
3)全局数据服务器根据每个服务器的LOAD,QPS,TPS指标,按主机名,时间信息进行分类汇总,获取一定时间段内所有主机的各项监控数据信息;
4)结合关系数据库的特点,在关系型数据库中取数据时按时间范围进行一次数据读取,得到一组数据集A;
5)处理获取到的数据集A时,首先以指标字段名建立多个指标大桶,顺序读取从关系型数据库中获取的数据集A;
6)用数据集A中的主机名加指标字段名建立主机指标小桶;
读取数据集A的数据,将主机名和指标字段对应的数据值放入对应的主机指标小桶中;
如果不存在对应的主机指标小桶,则以时间信息和指标字段名创建新的主机指标小桶,并将时间信息和指标字段对应的数据值放入所述主机指标小桶中;
7)读取数据集A中的所有数据到主机指标小桶中,将主机指标小桶名字中指标部分相同的主机指标小桶放入对应的指标大桶,指标大桶中包含了各主机指标小桶的详细信息;
这样就实现了以指标字段为第一维条件,以指标加主机名为第二维条件,以时间信息为三维条件的数据库集群服务器数据的三维分类。
实施例2
本实施例的数据库集群服务器数据分类方法,与实施例1的不同之处在于:步骤2)、步骤3)中,每个监控代理实例每隔2到5秒获取一次当前服务器的LOAD,QPS,TPS,网络I/O,磁盘I/O,内存使用率,CPU使用率信息;全局数据服务器建立数据库表的结构包括字段和类型,所述字段包括主机名,检测时间,服务器负载,磁盘每秒读取次数,磁盘每秒写入次数,磁盘每秒读取的扇区数,磁盘每秒写入的扇区数,磁盘Io队列大小,磁盘等待比例,Db插入次数,Db更新次数,Db 删除次数,Db 查询次数,缓存命中率,然后通过全局数据服务器建立数据库表将之按类型归类。
实施例3
本实施例的数据库集群服务器数据分类方法,实现数据库集群服务器数据的三维分类和关键性指标的监控与统计的步骤如下:
1、在服务器集群系统中配置一台用于数据收集及数据展示的全局数据服务器;在服务器集群系统中的每台服务器上配置一个监控代理实例;
2、监控代理实例每3分钟获取一次当前服务器的LOAD,QPS,TPS,网络I/O,磁盘I/O,内存使用率,CPU使用率,汇总至全局数据收集服务器,全局数据服务器建立数据库表。所述数据库表结构及说明如下:
字段 类型 说明
hostname varchar(50) 主机名
datetime datetime 检测时间
load_5m float 服务器负载
io_r float 磁盘每秒读取次数
io_w float 磁盘每秒写入次数
io_rkB float 磁盘每秒读取的扇区数
io_wkB float 磁盘每秒写入的扇区数
io_queue float 磁盘Io队列大小
io_util float 磁盘等待比例
ins int(11) Db插入次数
upd int(11) Db更新次数
del int(11) Db 删除次数
sel int(11) Db 查询次数
hit float 缓存命中率
3、全局数据服务器根据LOAD,QPS,TPS等指标,按主机名,时间信息进行分类汇总,获取特定时间段内所有主机的各项监控数据信息,这是三维数据获取的需求。如:需要看整个集群当前的QPS总量,当前的IO读写总数。
4、结合关系数据库的特点,在关系型数据库中取数据时按时间范围进行一次数据读取,得到数据集A,如下表所示:
关系型数据库为二维数据库,如要按LOAD,QPS,TPS字段加主机名加时间段进行,需要将条件拆为二维方式的SQL语句,需要多次执行。计算时间长,效率不高。
本发明数据库集群服务器数据分类方法,分类与汇总的处理流程是(接上述步骤4):
5、处理获取到的数据A时,首先以指标字段名建立多个指标大桶。在此例子中,建立的大桶是load_5m,ins,upd,del,sel5个大桶。
6、顺序读取从数据库中获取的数据集A;使用获取的数据集A中的主机名加指标字段名建立主机指标小桶;
如果小桶不存在,创建主机指标小桶并将时间信息和指标字段对应的数据值放入小桶中。第一条记录读取后建立的小桶名字及值对应为:
如果小桶存在,直接将时间信息和字段值追加到小桶中,例:当读取到第五条记录时,以gcdbd104开头的小桶会进行记录追加,追加后的结果为:
读取完所有数据,数据都进到小桶后,对小桶名进行分析,将名字中指标部分相同的桶放入对应的指标大桶,大桶中包含了各小桶的详细信息,举例如下:
这样就实现了以指标字段为第一维条件,以指标字段加主机名为第二维条件,以时间信息为三维条件的数据库集群服务器数据的三维分类。
该数据格式符合图形化曲线所需的数据格式。按此分组后的数据,可以以指标为单位,按主机名和时间信息进行指标的图形化展示。

Claims (2)

1.一种数据库集群服务器数据分类方法,实现步骤如下:
1)在数据库集群服务器中的每台服务器上配置一个监控代理实例,在数据库集群服务器中配置全局数据服务器用于收集和显示各个监控代理实例的数据;
2)每个监控代理实例每隔一定时间获取一次当前服务器的LOAD,QPS,TPS,网络I/O,磁盘I/O,内存使用率,CPU使用率,汇总至全局数据服务器,并建立数据库表;
3)全局数据服务器根据每个服务器的LOAD,QPS,TPS指标,按主机名,时间信息进行分类汇总,获取一定时间段内所有主机的各项监控数据信息;
4)结合关系数据库的特点,在关系型数据库中取数据时按时间范围进行一次数据读取,得到一组数据集A;
5)处理获取到的数据集A时,首先以指标字段名建立多个指标大桶,顺序读取从关系型数据库中获取的数据集A;
6)用数据集A中的主机名加指标字段名建立主机指标小桶;
如果存在对应的主机指标小桶,将时间信息和字段值追加到该主机指标小桶中;
如果不存在对应的主机指标小桶,则以时间信息和指标字段名创建新的主机指标小桶,并将时间信息和指标字段对应的数据值放入所述主机指标小桶中;
7)读取数据集A中的所有数据到主机指标小桶中,将主机指标小桶名字中指标部分相同的主机指标小桶放入对应的指标大桶,指标大桶中包含了各主机指标小桶的详细信息;
这样就实现了以指标字段为第一维条件,以指标字段加主机名为第二维条件,以时间信息为三维条件的数据库集群服务器数据的三维分类。
2.根据权利要求1所述的数据库集群服务器数据分类方法,其特征在于:每个监控代理实例每隔2到5秒获取一次当前服务器的LOAD,QPS,TPS,网络I/O,磁盘I/O,内存使用率,CPU使用率信息;全局数据服务器建立数据库表的结构包括字段和类型,所述字段包括主机名,检测时间,服务器负载,磁盘每秒读取次数,磁盘每秒写入次数,磁盘每秒读取的扇区数,磁盘每秒写入的扇区数,磁盘Io队列大小,磁盘等待比例,Db插入次数,Db更新次数,Db删除次数,Db查询次数,缓存命中率,全局数据服务器通过建立数据库表将之按类型归类。
CN201410161990.7A 2014-04-22 2014-04-22 数据库集群服务器数据分类方法 Active CN103902739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410161990.7A CN103902739B (zh) 2014-04-22 2014-04-22 数据库集群服务器数据分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410161990.7A CN103902739B (zh) 2014-04-22 2014-04-22 数据库集群服务器数据分类方法

Publications (2)

Publication Number Publication Date
CN103902739A CN103902739A (zh) 2014-07-02
CN103902739B true CN103902739B (zh) 2017-06-16

Family

ID=50994061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410161990.7A Active CN103902739B (zh) 2014-04-22 2014-04-22 数据库集群服务器数据分类方法

Country Status (1)

Country Link
CN (1) CN103902739B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893224B (zh) * 2015-01-26 2019-04-09 阿里巴巴集团控股有限公司 一种资源度量方法及装置
CN106301864B (zh) * 2015-06-11 2019-12-27 腾讯科技(深圳)有限公司 一种服务器系统扩容方法、装置及扩容处理设备
CN106487591A (zh) * 2016-10-20 2017-03-08 郑州云海信息技术有限公司 一种服务器自动上架统计装置及其系统
CN111447113B (zh) * 2020-03-25 2021-08-27 中国建设银行股份有限公司 一种系统监控方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651556A (zh) * 2008-08-14 2010-02-17 中芯国际集成电路制造(北京)有限公司 服务器监控系统及监控方法
CN102761448A (zh) * 2012-08-07 2012-10-31 中国石油大学(华东) 机群监控与预警方法
CN103020280A (zh) * 2012-12-27 2013-04-03 北京讯鸟软件有限公司 一种通过多维度kpi函数对sql查询语句进行扩充的方法
CN103491354A (zh) * 2013-10-10 2014-01-01 国家电网公司 一种系统运行监控可视化平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651556A (zh) * 2008-08-14 2010-02-17 中芯国际集成电路制造(北京)有限公司 服务器监控系统及监控方法
CN102761448A (zh) * 2012-08-07 2012-10-31 中国石油大学(华东) 机群监控与预警方法
CN103020280A (zh) * 2012-12-27 2013-04-03 北京讯鸟软件有限公司 一种通过多维度kpi函数对sql查询语句进行扩充的方法
CN103491354A (zh) * 2013-10-10 2014-01-01 国家电网公司 一种系统运行监控可视化平台

Also Published As

Publication number Publication date
CN103902739A (zh) 2014-07-02

Similar Documents

Publication Publication Date Title
US10229129B2 (en) Method and apparatus for managing time series database
EP2946333B1 (en) Efficient query processing using histograms in a columnar database
WO2017143932A1 (zh) 基于样本聚类的欺诈交易检测方法
CN103902739B (zh) 数据库集群服务器数据分类方法
CN107408114B (zh) 基于事务访问模式识别联结关系
US9135280B2 (en) Grouping interdependent fields
EP3432520B1 (en) Efficient storage and querying of time series metrics
US20160099898A1 (en) Filter rule generation apparatus and filter rule generation method
TW201905733A (zh) 多源資料融合方法和裝置
US9275068B2 (en) De-duplication deployment planning
WO2023284132A1 (zh) 一种云平台日志的分析方法、系统、设备及介质
US20140095549A1 (en) Method and Apparatus for Generating Schema of Non-Relational Database
CN111242318B (zh) 基于异构特征库的业务模型训练方法及装置
CN103257923B (zh) 数据中心数据分析类基准测试程序的应用选取方法及系统
CN106534784A (zh) 一种用于视频分析数据结果集的采集分析存储统计系统
CN105930502B (zh) 一种收集数据的系统、客户端和方法
CN110309143A (zh) 数据相似度确定方法、装置及处理设备
CN105359172A (zh) 计算企业存在拖欠的概率
US20160124841A1 (en) Information processing system and data processing method
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN109213833A (zh) 二分类模型训练方法、数据分类方法及对应装置
CN116881277A (zh) 数据聚合方法、设备及计算机可读介质
CN110502529A (zh) 数据处理方法、装置、服务器及存储介质
CN106599326B (zh) 一种云化架构下的记录数据剔重处理方法及系统
US20180068005A1 (en) Distributed computation of percentile statistics for multidimensional data sets

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Li Guoqiang

Inventor after: Wang Lu

Inventor after: Tu Xinxing

Inventor before: Li Guoqiang

Inventor before: Wang Lu

Inventor before: Tu Xinxing

CB02 Change of applicant information

Address after: 1 Building No. 1, No. 169, science Avenue, Zhengzhou hi tech Zone, Henan 450001, China

Applicant after: ZHENGZHOU XIZHI INFORMATION TECHNOLOGY CO., LTD.

Address before: 1 Building No. 1, No. 169, science Avenue, Zhengzhou hi tech Zone, Henan 450001, China

Applicant before: ZHENGZHOU XIZHI INFORMATION TECHNOLOGY CO., LTD.

COR Change of bibliographic data
GR01 Patent grant