CN112286903B - 一种基于容器化的关系型数据库优化方法及装置 - Google Patents
一种基于容器化的关系型数据库优化方法及装置 Download PDFInfo
- Publication number
- CN112286903B CN112286903B CN202011030268.1A CN202011030268A CN112286903B CN 112286903 B CN112286903 B CN 112286903B CN 202011030268 A CN202011030268 A CN 202011030268A CN 112286903 B CN112286903 B CN 112286903B
- Authority
- CN
- China
- Prior art keywords
- database
- access request
- log
- cpu
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005457 optimization Methods 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 33
- 238000012986 modification Methods 0.000 claims description 20
- 230000004048 modification Effects 0.000 claims description 20
- 238000012217 deletion Methods 0.000 claims description 19
- 230000037430 deletion Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 16
- 238000003780 insertion Methods 0.000 claims description 16
- 230000037431 insertion Effects 0.000 claims description 16
- 238000007792 addition Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 230000003362 replicative effect Effects 0.000 claims description 2
- 230000010076 replication Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于容器化的关系型数据库优化方法及装置，所述方法包括：获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知，接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展。
Description
技术领域
本发明涉及数据库优化领域，更具体地说，本发明涉及一种基于容器化的关系型数据库优化方法和装置。
背景技术
数据库计算产生于二十世纪六十年代，从最初简单的文件系统处理发展到现在的处理大量复杂数据的数据库系统，应用领域也已深入到生活的各个方面，现如今，数据库技术已经成为数据存储、共享和数据处理已经管理的不可或缺的工具。
伴随着数据库应用系统涉及业务的不断扩展，数据库用户量不断增加，处理业务量的逐渐增大，数据库海量存储的迅速增长，数据库的性能问题变得越来越突出，数据量的迅速增长是数据库性能优化研究的主要推动力，小规模数据库一般不存在性能问题，数据量较小的应用系统也不能从优化上得到实质性的性能提升，数据库优化应该贯穿于需求调研到系统退役的整个过程中，但是实际的应用中，数据性能往往是系统实现中最后考虑的问题，因此，有必要提出一种基于容器化的关系型数据库优化方法及装置，以至于部分地解决现有技术中存在的问题。
发明内容
在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
为至少部分地解决上述问题，本发明提供了一种基于容器化的关系型数据库优化方法，包括：
获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化；
进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知；
接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展。
进一步地，所述获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，包括：
获取数据库访问请求，当为数据库查询请求时,先通过数据库缓存器查询是否有缓存，如果没有缓存，则去数据库中去读取数据并将查询值存入缓存，当数据库缓存器中有缓冲，则返回查询数据；
当数据库请求为新增、删除、更新请求时，先更新数据库缓存器，再更新数据库。
进一步地，所述数据库访问请求包括新增、删除、修改及查询一类或多类。
进一步地，所述进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送通知，包括：
通过执行任务管理器获取内存及CPU使用率；
根据CPU平均组合负荷计算阈值；
内存及CPU使用率高于阈值时获取数据变化并发送通知。
进一步地，所述接受日志通知并分析日志来判断变化的数据，包括：
接受日志通知，接受对数据表进行的插入、修改及删除的访问请求操作；
统计预设时间段内数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改及删除的次数；
根据数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改删除的次数计算插入、修改及删除的次数占比；
根据插入、修改及删除的次数占比生成索引列名。
进一步地，所述根据配置中预设值对数据库缓存器进行横向/纵向拓展之前还包括：
将数据处理任务进行分组、配制任务之间的依赖关系及设置任务的优先级；
根据任务之间的依赖关系及任务的优先级进行调度；
对任务的新增、暂停和删除及任务的运行情况和耗时情况以及重新调度运行失败的任务的操作进行监管。
进一步地，所述根据配置中预设值对数据库缓存器进行横向/纵向拓展，所述纵向拓展包括增加硬件、处理能力、内存、磁盘及提高网络速度一类或多类。
进一步地，所述根据配置中预设值对数据库缓存器进行横向/纵向拓展，所述横向拓展包括复制，步骤如下：
在多台服务器上复制多个数据库副本；
将不同的用户指向各台服务器。
进一步地，所述根据配置中预设值对数据库缓存器进行横向/纵向拓展，所述横向拓展还包括联合数据库，步骤如下：
将数据库划分到多台服务器上；
垂直分割将同一个表进行分类，保存到不同的服务器上。
一种基于容器化的关系型数据库优化装置，包括：
数据库缓存器，用于获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化；
指标监控器，用于进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知；
动态拓展器，用于接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展。
相比现有技术，本发明至少包括以下有益效果：
本发明所述的一种基于容器化的关系型数据库优化方法及装置通过获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知，接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展，通过使用Redis容器作为数据库缓存器，能够有效提升I/O效率，将数据库缓存器的多个副本分配到不同的主机上，防止因物理服务器出现故障导致数据丢失的问题，数据库缓存器能够动态扩容，防止因内存不足导致的访问速度下降，本发明通过对Kubernetes集群中关系型数据库存储优化，使用分布式Redis降低关系型数据库的I/O开销，解决了关系型数据库容器化过程中数据持久化的读写效率和数据安全性问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明所述的一种基于容器化的关系型数据库优化方法的流程图；
图2为本发明所述的一种基于容器化的关系型数据库优化方法的原理图；
图3为本发明所述的一种基于容器化的关系型数据库优化系统的系统框图；
图4为本发明所述的一种基于容器化的关系型数据库优化系统的系统流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1～3所示，本发明提供了一种基于容器化的关系型数据库优化方法及装置，包括：所述监控方法，包括：
S1、获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化；
S2、进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知；
S3、接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展。
上述技术方案的工作原理：首先获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，其次进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知，最后接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展。
上述技术方案的有益效果：基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知，接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展，通过使用Redis容器作为数据库缓存器，能够有效提升I/O效率，将数据库缓存器的多个副本分配到不同的主机上，防止因物理服务器出现故障导致数据丢失的问题，数据库缓存器能够动态扩容，防止因内存不足导致的访问速度下降，本发明通过对Kubernetes集群中关系型数据库存储优化，使用分布式Redis降低关系型数据库的I/O开销，解决了关系型数据库容器化过程中数据持久化的读写效率和数据安全性问题。
在一个实施例中，所述获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，包括：
获取数据库访问请求，当为数据库查询请求时,先通过数据库缓存器查询是否有缓存，如果没有缓存，则去数据库中去读取数据并将查询值存入缓存，当数据库缓存器中有缓冲，则返回查询数据；
当数据库请求为新增、删除、更新请求时，先更新数据库缓存器，再更新数据库。
上述技术方案的工作原理：首先回去数据库访问请求，所述数据库访问请求包括新增、删除、修改及查询，数据库缓存器中缓存一些请求量比较大的数据，当为数据库查询请求时，先通过数据库缓存器查询是否有缓存，如果没有缓存，则去数据库中去读取数据并将查询值存入缓存，当数据库缓存器中有缓冲，则返回查询数据，当数据库请求为新增、删除、更新请求时，先更新数据库缓存器，然后将数据库存缓存存入数据库，进行数据库的更新。
以上技术方案的有益效果：通过加入数据库缓存器，进行分布式的处理，使用Redis容器作为数据库缓存器，进而有效提升I/O效率，将数据库缓存器的多个副本分配到不同的主机上，防止因物理服务器出现故障导致数据丢失的问题，数据库缓存器能够动态扩容，防止因内存不足导致的访问速度下降，通过进行数据库访问请求的判断，进而对新增、删除、更新请求，先更新数据库缓存器，再更新数据库，进而解决了数据库内存不足等问题。
在一个实施例中，所述进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送通知，包括：
通过执行任务管理器获取内存及CPU使用率；
根据CPU平均组合负荷计算阈值；
内存及CPU使用率高于阈值时获取数据变化并发送通知。
上述技术方案的工作原理：首先通过执行任务管理器获取内存及CPU使用率，然后根据CPU平均组合负荷计算阈值，设置范围组合CPU利用率，内存及CPU使用率高于阈值时获取数据变化并发送通知，默认情况下，阈值会监控所有适用的主机。
以上技术方案的有益效果：首先通过执行任务管理器获取内存及CPU使用率，然后根据CPU平均组合负荷计算阈值，设置范围组合CPU利用率，内存及CPU使用率高于阈值时获取数据变化并发送通知，默认情况下，阈值会监控所有适用的主机，服务器CPU的利用率，可针对系统的每个CPU分别分析其相应的利用率，服务器当前进程列表所占用的CPU利用率，CPU使用时间，显示服务器CPU性能(分进程显示)实时变化情况和历史变化趋势，服务器CPU阈值告警，当服务器CPU负载过大/小，能产生报警，服务器进程CPU占用阈值告警，当进程占用CPU过大/小，能产生报警，从而提高了安全系数，启动了对CPU功耗调节的作用。
在一个实施例中，所述接受日志通知并分析日志来判断变化的数据，包括：
接受日志通知，接受对数据表进行的插入、修改及删除的访问请求操作；
统计预设时间段内数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改及删除的次数；
根据数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改删除的次数计算插入、修改及删除的次数占比；
根据插入、修改及删除的次数占比生成索引列名。
上述技术方案的工作原理：接受日志通知，日志通知当前包括当前数据库缓存器内存或者CPU使用率及当前数据库缓存器内存或者CPU使用率下的数据库访问请求操作，然后统计预设时间段内数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改及删除的次数，根据数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改删除的次数计算插入、修改及删除的次数占比，最后根据插入、修改及删除的次数占比生成索引列名。
以上技术方案的有益效果：通过获取日志通知，从而获取到服务器CPU性能(分进程显示)实时变化情况和历史变化趋势，服务器CPU阈值告警，当服务器CPU负载过大/小，能产生报警，从而提高了安全系数，通过生成索引列名，提高对数据库的查询速度，对是数据库有关列的取值进行检查，从而可以减少硬盘碎片和提高应用系统的性能，当数据库中有增减或索引被修改时，索引要计算修改及删除，避免那些不必要的所有使得查询反映变慢，可以快速检索，减少I/O次数，加快检索速度；根据索引分组和排序，可以加快分组和排序。
在一个实施例中，所述根据配置中预设值对数据库缓存器进行横向/纵向拓展之前还包括：
将数据处理任务进行分组、配制任务之间的依赖关系及设置任务的优先级；
根据任务之间的依赖关系及任务的优先级进行调度；
对任务的新增、暂停和删除及任务的运行情况和耗时情况以及重新调度运行失败的任务等操作进行监管。
上述技术方案的工作原理：首先将数据处理任务进行分组、配制任务之间的依赖关系及设置任务的优先级，然后根据任务之间的依赖关系及任务的优先级进行调度，最后对任务的新增、暂停和删除及任务的运行情况和耗时情况以及重新调度运行失败的任务等操作进行监管，对数据处理任务进行监管包括：监管任务的新增、暂停和删除、查看任务的运行情况和耗时情况以及重新调度运行失败的任务。
以上技术方案的有益效果：将数据处理任务进行分组、配制任务之间的依赖关系及设置任务的优先级，然后根据任务之间的依赖关系及任务的优先级进行调度，最后对任务的新增、暂停和删除及任务的运行情况和耗时情况以及重新调度运行失败的任务等操作进行监管，对数据处理任务进行监管包括：监管任务的新增、更新和删除、查看任务的运行情况和耗时情况以及重新调度运行失败的任务，达到可以有效的降低任务的执行时间，提高服务器CPU的利用率，具有较强的并行化处理能力，根据优先级进行处理任务，提升了任务调度的效率。
在一个实施例中，所述根据配置中预设值对数据库缓存器进行横向/纵向拓展，所述纵向拓展包括增加硬件、处理能力、内存、磁盘及提高网络速度一类或多类，所述横向拓展包括，
复制，在多台服务器上复制多个数据库副本，将不同的用户指向各台服务器；
联合数据库，将数据库划分到多台服务器上，垂直分割将同一个表进行分类，保存到不同的服务器上。
上述技术方案的工作原理：据配置中预设值对数据库缓存器进行横向/纵向拓展，纵向拓展包括增加硬件、处理能力、内存、磁盘及提高网络速度，横向拓展包括，复制，在多台服务器上复制多个数据库副本，将不同的用户指向各台服务器，通常最适合支持地理位置分散的用户，例如亚洲办公室的用户使用服务器1，而北美办公室的用户则使用服务器2，每一台服务器都拥有完整的数据副本，并且会复制伙伴服务器的所有修改，联合数据库，将数据库划分到多台服务器上，垂直分割将同一个表进行分类，保存到不同的服务器上。
以上技术方案的有益效果：通过对数据库缓存器进行拓展，采用横纵向拓展，可以达到将数据库配置和服务框架里的读写进行分离，加快应用部署，可以很好的把各个业务隔离开来，不会因为一个业务把数据库拖死而导致所有的业务都挂掉，可以很好的分担数据库的读负载，毕竟读操作是最耗数据库CPU的操作，降低了CPU的占用率。
本发明提供了一种基于容器化的关系型数据库优化装置，包括：
数据库缓存器，用于获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化；
指标监控器，用于进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知；
动态拓展器，用于接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展。
上述技术方案的工作原理：数据库缓存器获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，指标监控器进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知，动态拓展器接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展。
上述技术方案的有益效果：基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知，接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向/纵向拓展，通过使用Redis容器作为数据库缓存器，能够有效提升I/O效率，将数据库缓存器的多个副本分配到不同的主机上，防止因物理服务器出现故障导致数据丢失的问题，数据库缓存器能够动态扩容，防止因内存不足导致的访问速度下降，本发明通过对Kubernetes集群中关系型数据库存储优化，使用分布式Redis降低关系型数据库的I/O开销，解决了关系型数据库容器化过程中数据持久化的读写效率和数据安全性问题。
在一个实施例中，所述数据库缓存器包括：
获取模块，用于获取数据库访问请求，基于数据库访问请求进行判断，当为数据库查询请求时,先通过数据库缓存器查询是否有缓存，如果没有缓存，则去数据库中去读取数据并将查询值存入缓存，当数据库缓存器中有缓冲，则返回查询数据；
更新模块，用于当数据库请求为新增、删除、更新请求时，先更新数据库缓存器，再更新数据库。
上述技术方案的工作原理：获取模块用于获取数据库访问请求，基于数据库访问请求进行判断，当为数据库查询请求时,先通过数据库缓存器查询是否有缓存，如果没有缓存，则去数据库中去读取数据并将查询值存入缓存，当数据库缓存器中有缓冲，则返回查询数据，更新模块用于当数据库请求为新增、删除、更新请求时，先更新数据库缓存器，再更新数据库。
以上技术方案的有益效果：通过加入数据库缓存器，进行分布式的处理，使用Redis容器作为数据库缓存器，进而有效提升I/O效率，将数据库缓存器的多个副本分配到不同的主机上，防止因物理服务器出现故障导致数据丢失的问题，数据库缓存器能够动态扩容，防止因内存不足导致的访问速度下降，通过进行数据库访问请求的判断，进而对新增、删除、更新请求，先更新数据库缓存器，再更新数据库，进而解决了数据库内存不足等问题。
在一个实施例中，所述指标监控器包括：
执行模块，用于通过执行任务管理器获取内存及CPU使用率；
计算模块，用于根据CPU平均组合负荷计算阈值；
发送模块，用于根据内存及CPU使用率高于阈值时获取数据变化并发送通知。
上述技术方案的工作原理：执行模块通过执行任务管理器获取内存及CPU使用率，计算模块根据CPU平均组合负荷计算阈值，设置范围组合CPU利用率，发送模块根据内存及CPU使用率高于阈值时获取数据变化并发送通知，默认情况下，阈值会监控所有适用的主机。
以上技术方案的有益效果：首先通过执行任务管理器获取内存及CPU使用率，然后根据CPU平均组合负荷计算阈值，设置范围组合CPU利用率，内存及CPU使用率高于阈值时获取数据变化并发送通知，默认情况下，阈值会监控所有适用的主机，服务器CPU的利用率，可针对系统的每个CPU分别分析其相应的利用率，服务器当前进程列表所占用的CPU利用率，CPU使用时间，显示服务器CPU性能(分进程显示)实时变化情况和历史变化趋势，服务器CPU阈值告警，当服务器CPU负载过大/小，能产生报警，服务器进程CPU占用阈值告警，当进程占用CPU过大/小，能产生报警，从而提高了安全系数，启动了对CPU功耗调节的作用。
在一个实施例中，所述动态拓展器包括：
判断模块，接受日志通知并分析日志来判断变化的数据；
拓展模块，用于根据配置中预设值对数据库缓存器进行横向/纵向拓展。
上述技术方案的工作原理：判断模块根据接受日志通知并分析日志来判断变化的数据，包括，接受日志通知，接受对数据表进行的插入、修改及删除的访问请求操作，统计预设时间段内数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改及删除的次数，根据数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改删除的次数计算插入、修改及删除的次数占比，根据插入、修改及删除的次数占比生成索引列名，所述根据配置中预设值对数据库缓存器进行横向/纵向拓展之前还包括，将数据处理任务进行分组、配制任务之间的依赖关系及设置任务的优先级，根据任务之间的依赖关系及任务的优先级进行调度，对任务的新增、暂停和删除及任务的运行情况和耗时情况以及重新调度运行失败的任务等操作进行监管，所述纵向拓展包括增加硬件、处理能力、内存、磁盘及提高网络速度，所述横向拓展包括复制，联合数据库。
以上技术方案的有益效果：通过获取日志通知，从而获取到服务器CPU性能(分进程显示)实时变化情况和历史变化趋势，服务器CPU阈值告警，当服务器CPU负载过大/小，能产生报警，从而提高了安全系数，通过生成索引列名，提高对数据库的查询速度，对是数据库有关列的取值进行检查，从而可以减少硬盘碎片和提高应用系统的性能，当数据库中有增减或索引呗修改时，索引要计算修改及删除，避免那些不必要的所有使得查询反映变慢，可以快速检索，减少I/O次数，加快检索速度；根据索引分组和排序，可以加快分组和排序，将数据处理任务进行分组、配制任务之间的依赖关系及设置任务的优先级，然后根据任务之间的依赖关系及任务的优先级进行调度，最后对任务的新增、暂停和删除及任务的运行情况和耗时情况以及重新调度运行失败的任务等操作进行监管，对数据处理任务进行监管包括：监管任务的新增、更新和删除、查看任务的运行情况和耗时情况以及重新调度运行失败的任务，达到可以有效的降低任务的执行时间，提高服务器CPU的利用率，具有较强的并行化处理能力，根据优先级进行处理任务，提升了任务调度的效率，通过对数据库缓存器进行拓展，采用横纵向拓展，可以达到将数据库配置和服务框架里的读写进行分离，加快应用部署，可以很好的把各个业务隔离开来，不会因为一个业务把数据库拖死而导致所有的业务都挂掉，可以很好的分担数据库的读负载，毕竟读操作是最耗数据库CPU的操作，降低了CPU的占用率。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节与这里示出与描述的图例。
Claims (8)
1.一种基于容器化的关系型数据库优化方法，其特征在于：所述方法包括：
获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化；
进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知；
接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向拓展；
所述接受日志通知并分析日志来判断变化的数据，包括：
接受日志通知，接受对数据表进行的插入、修改及删除的访问请求操作；
统计预设时间段内数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改及删除的次数；
根据数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改删除的次数，计算插入、修改及删除的次数占比；
根据插入、修改及删除的次数占比生成索引列名。
2.根据权利要求1所述基于容器化的关系型数据库优化方法，其特征在于：所述获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化，包括：
获取数据库访问请求，当为数据库查询请求时,先通过数据库缓存器查询是否有缓存，如果没有缓存，则去数据库中去读取数据并将查询值存入缓存，当数据库缓存器中有缓冲，则返回查询数据；
当数据库请求为新增、删除、更新请求时，先更新数据库缓存器，再更新数据库。
3.根据权利要求1所述基于容器化的关系型数据库优化方法，其特征在于：所述数据库访问请求包括新增、删除、修改及查询一类或多类。
4.根据权利要求1所述基于容器化的关系型数据库优化方法，其特征在于：所述进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送通知，包括：
通过执行任务管理器获取内存及CPU使用率；
根据CPU平均组合负荷计算阈值；
内存及CPU使用率高于阈值时获取数据变化并发送通知。
5.根据权利要求1所述基于容器化的关系型数据库优化方法，其特征在于，所述根据配置中预设值对数据库缓存器进行横向拓展之前还包括：
将数据处理任务进行分组、配制任务之间的依赖关系及设置任务的优先级；
根据任务之间的依赖关系及任务的优先级进行调度；
对任务的新增、暂停和删除及任务的运行情况和耗时情况以及重新调度运行失败的任务的操作进行监管。
6.根据权利要求1所述基于容器化的关系型数据库优化方法，其特征在于，所述根据配置中预设值对数据库缓存器进行横向拓展，所述横向拓展包括复制，步骤如下：
在多台服务器上复制多个数据库副本；
将不同的用户指向各台服务器。
7.根据权利要求1所述基于容器化的关系型数据库优化方法，其特征在于，所述根据配置中预设值对数据库缓存器进行横向拓展，所述横向拓展还包括联合数据库，步骤如下：
将数据库划分到多台服务器上；
垂直分割将同一个表进行分类，保存到不同的服务器上。
8.一种基于容器化的关系型数据库优化装置，其特征在于：所述装置包括：
数据库缓存器，用于获取数据库访问请求，基于数据库访问请求进行判断，根据判断结果并通过数据库缓存器进行数据库的优化；
指标监控器，用于进行实时监控数据库缓存器内存或者CPU使用率是否高于预设阈值，当高于阈值时记录日志并发送日志通知；
动态拓展器，用于接受日志通知并分析日志来判断变化的数据，并根据配置中预设值对数据库缓存器进行横向拓展；
所述接受日志通知并分析日志来判断变化的数据，包括：
接受日志通知，接受对数据表进行的插入、修改及删除的访问请求操作；
统计预设时间段内数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改及删除的次数；
根据数据库访问请求操作的总次数以及对数据表中每一列进行插入、修改删除的次数，计算插入、修改及删除的次数占比；
根据插入、修改及删除的次数占比生成索引列名。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011030268.1A CN112286903B (zh) | 2020-09-27 | 2020-09-27 | 一种基于容器化的关系型数据库优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011030268.1A CN112286903B (zh) | 2020-09-27 | 2020-09-27 | 一种基于容器化的关系型数据库优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112286903A CN112286903A (zh) | 2021-01-29 |
| CN112286903B true CN112286903B (zh) | 2022-11-25 |
Family
ID=74421419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011030268.1A Active CN112286903B (zh) | 2020-09-27 | 2020-09-27 | 一种基于容器化的关系型数据库优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112286903B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113806408A (zh) * | 2021-09-27 | 2021-12-17 | 济南浪潮数据技术有限公司 | 一种数据缓存方法、系统、设备及存储介质 |
| CN114153518A (zh) * | 2021-10-25 | 2022-03-08 | 国网江苏省电力有限公司信息通信分公司 | 一种云原生MySQL集群自主扩容缩容的方法 |
| CN114153842B (zh) * | 2021-11-12 | 2022-05-20 | 广东广信通信服务有限公司 | 一种跨平台数据处理方法、系统、设备及介质 |
| CN115114361B (zh) * | 2022-06-25 | 2023-07-07 | 上海道客网络科技有限公司 | 一种基于容器云平台统一接口的资源检索方法和系统 |
| CN115080190B (zh) * | 2022-07-20 | 2022-11-18 | 浩鲸云计算科技股份有限公司 | 实现数据库容器化后参数智能实时动态配置方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576918A (zh) * | 2009-06-19 | 2009-11-11 | 用友软件股份有限公司 | 具备负载均衡功能的数据缓存系统 |
| CN102508854A (zh) * | 2011-09-29 | 2012-06-20 | 畅捷通信息技术股份有限公司 | 数据访问装置和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10915413B2 (en) * | 2017-01-19 | 2021-02-09 | Sap Se | Database redo log optimization by skipping MVCC redo log records |
-
2020
- 2020-09-27 CN CN202011030268.1A patent/CN112286903B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576918A (zh) * | 2009-06-19 | 2009-11-11 | 用友软件股份有限公司 | 具备负载均衡功能的数据缓存系统 |
| CN102508854A (zh) * | 2011-09-29 | 2012-06-20 | 畅捷通信息技术股份有限公司 | 数据访问装置和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112286903A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112286903B (zh) | 一种基于容器化的关系型数据库优化方法及装置 | |
| US9773015B2 (en) | Dynamically varying the number of database replicas | |
| US11936709B2 (en) | Generating key assignment data for message processing | |
| US7895247B2 (en) | Tracking space usage in a database | |
| CN110727508A (zh) | 一种任务调度系统和调度方法 | |
| CN111651302B (zh) | 分布式数据库备份方法，装置及系统 | |
| CN117971789B (zh) | 一种基于云计算的分布式储存系统及其文件备份方法 | |
| CN110381136A (zh) | 一种数据读取方法、终端、服务器及存储介质 | |
| CN111506271B (zh) | 数据段单元传输差异化管理方法和分布式块存储系统 | |
| CN112019386B (zh) | 一种基于云平台的分布式集群告警方法、装置及设备 | |
| CN111414355A (zh) | 一种海上风电场数据监测存储系统及方法、装置 | |
| CN115993932A (zh) | 数据处理方法、装置、存储介质以及电子设备 | |
| CN115587147A (zh) | 一种数据处理方法及系统 | |
| CN115438046A (zh) | 一种基于htap数据库的分布式储存方法 | |
| CN114238481A (zh) | 一种分布式实时数据导入装置 | |
| CN108984431B (zh) | 用于清空过期缓存的方法和装置 | |
| CN113489776B (zh) | 热点检测方法、装置、监测服务器及存储介质 | |
| CN113434297B (zh) | 热点削峰方法、装置、存储服务器、客户端及存储介质 | |
| US11487722B2 (en) | Scalable querying for distributed systems | |
| CN116069470A (zh) | 日志分配调度方法、装置、设备和存储介质 | |
| CN118295596A (zh) | 监控数据存储系统 | |
| CN118051498A (zh) | 一种基于Hbase的数据管理方法、装置、设备及介质 | |
| CN114238302A (zh) | 基于动态日志清理策略的日志清理方法和装置 | |
| CN113420093A (zh) | 热点检测方法、装置、存储服务器及存储介质 | |
| CN117827968A (zh) | 一种元数据存储分离的云分布式数据仓库数据共享方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |