CN103902739B - 数据库集群服务器数据分类方法 - Google Patents
数据库集群服务器数据分类方法 Download PDFInfo
- Publication number
- CN103902739B CN103902739B CN201410161990.7A CN201410161990A CN103902739B CN 103902739 B CN103902739 B CN 103902739B CN 201410161990 A CN201410161990 A CN 201410161990A CN 103902739 B CN103902739 B CN 103902739B
- Authority
- CN
- China
- Prior art keywords
- data
- index
- server
- keg
- main frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据库集群服务器数据的分析、处理及分类方法。一种数据库集群服务器数据分类方法，实现步骤如下：在数据库集群服务器中配置全局数据服务器；并在每台服务器上配置监控代理实例；通过每个监控代理实例每隔一定时间获取当前服务器的数据信息，汇总至全局数据服务器，并建立数据库表；全局数据服务器根据每个服务器的LOAD，QPS，TPS指标，按主机名，时间信息进行分类汇总，获取一定时间段内所有主机的各项监控数据信息；结合关系数据库的特点，按时间范围进行一次数据读取，得到一组数据集A；然后采用一次数据库读取操作加大小桶方法，将小桶名字中指标部分相同的桶放入对应的指标大桶，从而实现数据库集群服务器关键性指标的监控与统计。
Description
技术领域
本发明涉及一种数据库集群服务器数据的分析、处理及分类方法，应用于数据库集群服务器关键性指标的监控与统计。
背景技术
数据库集群是利用多台数据库服务器，构成一个虚拟单一数据库逻辑映像，和单数据库系统一样，都可以向客户端提供透明的数据服务。随着大数据时代的到来，数据库集群的规模越来越大，集群系统的性能监控与分析就显的尤为重要，即需要对整个集群整体的运行情况有个直观的了解，又需要对集群中各台服务器的运行情况有个快速，清晰，准确的查看和定位。
传统的关系型数据库为二维数据库，要通过其实现数据库集群的数据分类以及关键性指标的监控与统计，如要按LOAD，QPS，TPS字段加主机名加时间段进行，需要将条件拆为二维方式的SQL语句，多次执行。存在计算时间长，处理效率不高的缺点，不利于快速高效的实现对数据库数据进行分类，不利于实现对数据库集群服务器关键性指标的监控与统计，不能够方便、快捷地实现对数据库集群服务器数据的调用，影响高性能计算机数据处理效率。
因此，如果能够提出一种计算方法简单、运算速度快的数据分类方法，必然能够提高高性能计算机数据处理效率，提高计算机性能。
发明内容
本发明针对现有技术不足，提出了一种数据库集群服务器数据分类的方法，在关系型数据库基础上，实现了数据的三维分类，能够快速高效的实现数据库集群服务器关键性指标的监控与统计。
本发明所采用的技术方案是：
一种数据库集群服务器数据分类方法，实现步骤如下：
1）在数据库集群服务器中的每台服务器上配置一个监控代理实例，
在数据库集群服务器中配置全局数据服务器用于收集和显示各个监控代理实例的数据；
2）每个监控代理实例每隔一定时间获取一次当前服务器的LOAD，QPS，TPS，网络I/O，磁盘I/O，内存使用率，CPU使用率，汇总至全局数据服务器，并建立数据库表；
3）全局数据服务器根据每个服务器的LOAD，QPS，TPS指标，按主机名，时间信息进行分类汇总，获取一定时间段内所有主机的各项监控数据信息；
4）结合关系数据库的特点，在关系型数据库中取数据时按时间范围进行一次数据读取，得到一组数据集A；
5）处理获取到的数据集A时，首先以指标字段名建立多个指标大桶，顺序读取从关系型数据库中获取的数据集A；
6）用数据集A中的主机名加指标字段名建立主机指标小桶；
读取数据集A中的数据，将主机名和指标字段对应的数据值放入对应的主机指标小桶中；
如果不存在对应的主机指标小桶，则以时间信息和指标字段名创建新的主机指标小桶，并将时间信息和指标字段对应的数据值放入所述主机指标小桶中；
7）读取数据集A中的所有数据到主机指标小桶中，将主机指标小桶名字中指标部分相同的主机指标小桶放入对应的指标大桶，指标大桶中包含了各主机指标小桶的详细信息；
这样就实现了以指标字段为第一维条件，以指标字段加主机名为第二维条件，以时间信息为三维条件的数据库集群服务器数据的三维分类。
所述的数据库集群服务器数据分类方法，每个监控代理实例每隔2到5秒获取一次当前服务器的LOAD，QPS，TPS，网络I/O，磁盘I/O，内存使用率，CPU使用率信息；全局数据服务器建立数据库表的结构包括字段和类型，所述字段包括主机名，检测时间，服务器负载，磁盘每秒读取次数，磁盘每秒写入次数，磁盘每秒读取的扇区数，磁盘每秒写入的扇区数，磁盘Io队列大小，磁盘等待比例，Db插入次数，Db更新次数，Db 删除次数，Db 查询次数，缓存命中率，全局数据服务器通过建立数据库表将之按类型归类。
本发明的积极有益效果：
1、本发明数据库集群服务器数据分类方法，基于集群整体与个体都需要统计与分析的需求，在关系型数据库基础上，采用一次数据库读取操作加大小桶方法，实现了数据的三维分类，方便实现数据库集群服务器关键性指标的监控与统计。相当于给集群系统加入了“仪表盘”+“听诊器”，方法简单可靠，运算速度快。
2、本发明数据库集群服务器数据分类方法，分析结果准确可靠，分类结果简单明了，可以方便的让web界面进行图形化展示，按照集群指标，集群主机名，时间信息进行画图，即能展示集群整体运行情况，又能方便的查看集群中各台服务器的指标信息。
具体实施方式
本发明数据库集群服务器数据分类方法，基于集群整体与个体都需要统计与分析的需求，在关系型数据库基础上，采用一次数据库读取操作加大小桶方法，实现了数据的三维分类，方便实现数据库集群服务器关键性指标的监控与统计。
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
实施例1
本实施例的数据库集群服务器数据分类方法，其实现步骤如下：
1）在数据库集群服务器中的每台服务器上配置一个监控代理实例，在数据库集群服务器中配置全局数据服务器用于收集和显示各个监控代理实例的数据；
2）每个监控代理实例每隔一定时间获取一次当前服务器的LOAD，QPS,TPS,网络I/O,磁盘I/O，内存使用率，CPU使用率，汇总至全局数据服务器，并建立数据库表；
3）全局数据服务器根据每个服务器的LOAD,QPS,TPS指标，按主机名，时间信息进行分类汇总，获取一定时间段内所有主机的各项监控数据信息；
4）结合关系数据库的特点，在关系型数据库中取数据时按时间范围进行一次数据读取,得到一组数据集A；
5）处理获取到的数据集A时，首先以指标字段名建立多个指标大桶，顺序读取从关系型数据库中获取的数据集A；
6）用数据集A中的主机名加指标字段名建立主机指标小桶；
读取数据集A的数据，将主机名和指标字段对应的数据值放入对应的主机指标小桶中；
如果不存在对应的主机指标小桶，则以时间信息和指标字段名创建新的主机指标小桶，并将时间信息和指标字段对应的数据值放入所述主机指标小桶中；
7）读取数据集A中的所有数据到主机指标小桶中，将主机指标小桶名字中指标部分相同的主机指标小桶放入对应的指标大桶，指标大桶中包含了各主机指标小桶的详细信息；
这样就实现了以指标字段为第一维条件，以指标加主机名为第二维条件，以时间信息为三维条件的数据库集群服务器数据的三维分类。
实施例2
本实施例的数据库集群服务器数据分类方法，与实施例1的不同之处在于：步骤2）、步骤3）中，每个监控代理实例每隔2到5秒获取一次当前服务器的LOAD，QPS，TPS，网络I/O，磁盘I/O，内存使用率，CPU使用率信息；全局数据服务器建立数据库表的结构包括字段和类型，所述字段包括主机名，检测时间，服务器负载，磁盘每秒读取次数，磁盘每秒写入次数，磁盘每秒读取的扇区数，磁盘每秒写入的扇区数，磁盘Io队列大小，磁盘等待比例，Db插入次数，Db更新次数，Db 删除次数，Db 查询次数，缓存命中率，然后通过全局数据服务器建立数据库表将之按类型归类。
实施例3
本实施例的数据库集群服务器数据分类方法，实现数据库集群服务器数据的三维分类和关键性指标的监控与统计的步骤如下：
1、在服务器集群系统中配置一台用于数据收集及数据展示的全局数据服务器；在服务器集群系统中的每台服务器上配置一个监控代理实例；
2、监控代理实例每3分钟获取一次当前服务器的LOAD，QPS，TPS，网络I/O，磁盘I/O，内存使用率，CPU使用率，汇总至全局数据收集服务器，全局数据服务器建立数据库表。所述数据库表结构及说明如下：
| 字段 | 类型 | 说明 |
| hostname | varchar(50) | 主机名 |
| datetime | datetime | 检测时间 |
| load_5m | float | 服务器负载 |
| io_r | float | 磁盘每秒读取次数 |
| io_w | float | 磁盘每秒写入次数 |
| io_rkB | float | 磁盘每秒读取的扇区数 |
| io_wkB | float | 磁盘每秒写入的扇区数 |
| io_queue | float | 磁盘Io队列大小 |
| io_util | float | 磁盘等待比例 |
| ins | int(11) | Db插入次数 |
| upd | int(11) | Db更新次数 |
| del | int(11) | Db 删除次数 |
| sel | int(11) | Db 查询次数 |
| hit | float | 缓存命中率 |
3、全局数据服务器根据LOAD，QPS，TPS等指标，按主机名，时间信息进行分类汇总，获取特定时间段内所有主机的各项监控数据信息，这是三维数据获取的需求。如：需要看整个集群当前的QPS总量，当前的IO读写总数。
4、结合关系数据库的特点，在关系型数据库中取数据时按时间范围进行一次数据读取，得到数据集A，如下表所示：
关系型数据库为二维数据库，如要按LOAD，QPS，TPS字段加主机名加时间段进行，需要将条件拆为二维方式的SQL语句，需要多次执行。计算时间长，效率不高。
本发明数据库集群服务器数据分类方法，分类与汇总的处理流程是（接上述步骤4）：
5、处理获取到的数据A时，首先以指标字段名建立多个指标大桶。在此例子中，建立的大桶是load_5m，ins，upd，del，sel5个大桶。
6、顺序读取从数据库中获取的数据集A；使用获取的数据集A中的主机名加指标字段名建立主机指标小桶；
如果小桶不存在，创建主机指标小桶并将时间信息和指标字段对应的数据值放入小桶中。第一条记录读取后建立的小桶名字及值对应为：
如果小桶存在，直接将时间信息和字段值追加到小桶中，例：当读取到第五条记录时，以gcdbd104开头的小桶会进行记录追加，追加后的结果为：
读取完所有数据，数据都进到小桶后，对小桶名进行分析，将名字中指标部分相同的桶放入对应的指标大桶，大桶中包含了各小桶的详细信息，举例如下：
这样就实现了以指标字段为第一维条件，以指标字段加主机名为第二维条件，以时间信息为三维条件的数据库集群服务器数据的三维分类。
该数据格式符合图形化曲线所需的数据格式。按此分组后的数据，可以以指标为单位，按主机名和时间信息进行指标的图形化展示。
Claims (2)
1.一种数据库集群服务器数据分类方法，实现步骤如下：
1)在数据库集群服务器中的每台服务器上配置一个监控代理实例，在数据库集群服务器中配置全局数据服务器用于收集和显示各个监控代理实例的数据；
2)每个监控代理实例每隔一定时间获取一次当前服务器的LOAD，QPS，TPS，网络I/O，磁盘I/O，内存使用率，CPU使用率，汇总至全局数据服务器，并建立数据库表；
3)全局数据服务器根据每个服务器的LOAD，QPS，TPS指标，按主机名，时间信息进行分类汇总，获取一定时间段内所有主机的各项监控数据信息；
4)结合关系数据库的特点，在关系型数据库中取数据时按时间范围进行一次数据读取，得到一组数据集A；
5)处理获取到的数据集A时，首先以指标字段名建立多个指标大桶，顺序读取从关系型数据库中获取的数据集A；
6)用数据集A中的主机名加指标字段名建立主机指标小桶；
如果存在对应的主机指标小桶，将时间信息和字段值追加到该主机指标小桶中；
如果不存在对应的主机指标小桶，则以时间信息和指标字段名创建新的主机指标小桶，并将时间信息和指标字段对应的数据值放入所述主机指标小桶中；
7)读取数据集A中的所有数据到主机指标小桶中，将主机指标小桶名字中指标部分相同的主机指标小桶放入对应的指标大桶，指标大桶中包含了各主机指标小桶的详细信息；
这样就实现了以指标字段为第一维条件，以指标字段加主机名为第二维条件，以时间信息为三维条件的数据库集群服务器数据的三维分类。
2.根据权利要求1所述的数据库集群服务器数据分类方法，其特征在于：每个监控代理实例每隔2到5秒获取一次当前服务器的LOAD，QPS，TPS，网络I/O，磁盘I/O，内存使用率，CPU使用率信息；全局数据服务器建立数据库表的结构包括字段和类型，所述字段包括主机名，检测时间，服务器负载，磁盘每秒读取次数，磁盘每秒写入次数，磁盘每秒读取的扇区数，磁盘每秒写入的扇区数，磁盘Io队列大小，磁盘等待比例，Db插入次数，Db更新次数，Db删除次数，Db查询次数，缓存命中率，全局数据服务器通过建立数据库表将之按类型归类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410161990.7A CN103902739B (zh) | 2014-04-22 | 2014-04-22 | 数据库集群服务器数据分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410161990.7A CN103902739B (zh) | 2014-04-22 | 2014-04-22 | 数据库集群服务器数据分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103902739A CN103902739A (zh) | 2014-07-02 |
| CN103902739B true CN103902739B (zh) | 2017-06-16 |
Family
ID=50994061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410161990.7A Active CN103902739B (zh) | 2014-04-22 | 2014-04-22 | 数据库集群服务器数据分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103902739B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893224B (zh) * | 2015-01-26 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 一种资源度量方法及装置 |
| CN106301864B (zh) * | 2015-06-11 | 2019-12-27 | 腾讯科技（深圳）有限公司 | 一种服务器系统扩容方法、装置及扩容处理设备 |
| CN106487591A (zh) * | 2016-10-20 | 2017-03-08 | 郑州云海信息技术有限公司 | 一种服务器自动上架统计装置及其系统 |
| CN111447113B (zh) * | 2020-03-25 | 2021-08-27 | 中国建设银行股份有限公司 | 一种系统监控方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101651556A (zh) * | 2008-08-14 | 2010-02-17 | 中芯国际集成电路制造(北京)有限公司 | 服务器监控系统及监控方法 |
| CN102761448A (zh) * | 2012-08-07 | 2012-10-31 | 中国石油大学(华东) | 机群监控与预警方法 |
| CN103020280A (zh) * | 2012-12-27 | 2013-04-03 | 北京讯鸟软件有限公司 | 一种通过多维度kpi函数对sql查询语句进行扩充的方法 |
| CN103491354A (zh) * | 2013-10-10 | 2014-01-01 | 国家电网公司 | 一种系统运行监控可视化平台 |
-
2014
- 2014-04-22 CN CN201410161990.7A patent/CN103902739B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101651556A (zh) * | 2008-08-14 | 2010-02-17 | 中芯国际集成电路制造(北京)有限公司 | 服务器监控系统及监控方法 |
| CN102761448A (zh) * | 2012-08-07 | 2012-10-31 | 中国石油大学(华东) | 机群监控与预警方法 |
| CN103020280A (zh) * | 2012-12-27 | 2013-04-03 | 北京讯鸟软件有限公司 | 一种通过多维度kpi函数对sql查询语句进行扩充的方法 |
| CN103491354A (zh) * | 2013-10-10 | 2014-01-01 | 国家电网公司 | 一种系统运行监控可视化平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103902739A (zh) | 2014-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105677844B (zh) | 一种移动广告大数据的定向推送及用户跨屏识别方法 | |
| EP2946333B1 (en) | Efficient query processing using histograms in a columnar database | |
| WO2017143932A1 (zh) | 基于样本聚类的欺诈交易检测方法 | |
| US20150095381A1 (en) | Method and apparatus for managing time series database | |
| CN103902739B (zh) | 数据库集群服务器数据分类方法 | |
| CN107408114B (zh) | 基于事务访问模式识别联结关系 | |
| US9135280B2 (en) | Grouping interdependent fields | |
| US10769160B2 (en) | Efficient storage and querying of time series metrics | |
| WO2015035864A1 (en) | Method, apparatus and system for data analysis | |
| TW201905733A (zh) | 多源資料融合方法和裝置 | |
| US20160099898A1 (en) | Filter rule generation apparatus and filter rule generation method | |
| WO2018171412A1 (zh) | 一种行人检索方法及装置 | |
| US9280551B2 (en) | De-duplication deployment planning | |
| WO2023284132A1 (zh) | 一种云平台日志的分析方法、系统、设备及介质 | |
| US20140095549A1 (en) | Method and Apparatus for Generating Schema of Non-Relational Database | |
| CN111242318B (zh) | 基于异构特征库的业务模型训练方法及装置 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN107070897B (zh) | 入侵检测系统中基于多属性哈希去重的网络日志存储方法 | |
| CN110309143A (zh) | 数据相似度确定方法、装置及处理设备 | |
| CN105359172A (zh) | 计算企业存在拖欠的概率 | |
| CN114741368A (zh) | 基于人工智能的日志数据统计方法及相关设备 | |
| US20160124841A1 (en) | Information processing system and data processing method | |
| CN109446167A (zh) | 一种日志数据存储、提取方法及装置 | |
| CN109213833A (zh) | 二分类模型训练方法、数据分类方法及对应装置 | |
| CN106599326B (zh) | 一种云化架构下的记录数据剔重处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent for invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Guoqiang Inventor after: Wang Lu Inventor after: Tu Xinxing Inventor before: Li Guoqiang Inventor before: Wang Lu Inventor before: Tu Xinxing |
|
| CB02 | Change of applicant information |
Address after: 1 Building No. 1, No. 169, science Avenue, Zhengzhou hi tech Zone, Henan 450001, China Applicant after: ZHENGZHOU XIZHI INFORMATION TECHNOLOGY CO., LTD. Address before: 1 Building No. 1, No. 169, science Avenue, Zhengzhou hi tech Zone, Henan 450001, China Applicant before: ZHENGZHOU XIZHI INFORMATION TECHNOLOGY CO., LTD. |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant |