CN116089209A - 数据库容量的管理方法和装置 - Google Patents

数据库容量的管理方法和装置 Download PDF

Info

Publication number
CN116089209A
CN116089209A CN202211687821.8A CN202211687821A CN116089209A CN 116089209 A CN116089209 A CN 116089209A CN 202211687821 A CN202211687821 A CN 202211687821A CN 116089209 A CN116089209 A CN 116089209A
Authority
CN
China
Prior art keywords
database
capacity
data
groups
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211687821.8A
Other languages
English (en)
Inventor
刘晓棣
张�荣
郭继伟
张培
边志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fulian Precision Electronics Zhengzhou Co ltd
Original Assignee
Fulian Precision Electronics Zhengzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fulian Precision Electronics Zhengzhou Co ltd filed Critical Fulian Precision Electronics Zhengzhou Co ltd
Priority to CN202211687821.8A priority Critical patent/CN116089209A/zh
Publication of CN116089209A publication Critical patent/CN116089209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447Performance evaluation by modeling
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提出了一种数据库容量的管理方法和装置,涉及数据库技术领域;建立预测模型实现对数据库空间中数据增长趋势的自动化监测和预警。包括:采集多种与数据库容量相关的关联数据的原始数据;将多种原始数据进行分组以得到多组组合数据;将多组组合数据进行标准化处理得到多组样本数据组;采用多元线性回归模型对所述多组样本数据组进行训练以得到数据库容量的多个待定预测模型;将多组所述样本数据加载至对应的待定预测模型得到多个输出值,比较多个输出值与对应的数据库的用量值,从多个待定预测模型中选择数据库的容量预测模型;将待测数据库的关联数据加载至容量预测模型,以得到待测数据库的容量预测值。

Description

数据库容量的管理方法和装置
【技术领域】
本发明实施例涉及数据库技术领域,尤其涉及一种数据库容量的管理方法和装置。
【背景技术】
数据库是按照数据结构来组织、存储和管理数据的仓库。随着系统与其他终端交互、执行相关计算、接收其他服务器或终端发送的数据,数据库会持续存储更多的数据,当数据库存储的数据超过其能够承受的容量,会造成系统无法访问的问题,在数据库出现问题之后再进行扩容容易引起服务器性能抖动和数据库内部锁问题,从而造成人力和财力的损失。
【发明内容】
本发明实施例提供了一种数据库容量的管理方法和装置,建立预测模型实现对数据库空间中数据增长趋势的自动化监测和预警,并实现对数据库空间的自动化调整。
第一方面,本发明实施例提供一种数据库容量的管理方法,所述管理方法包括:
采集多种与数据库容量相关的关联数据的原始数据,所述原始数据包括数据库的用量值;将多种所述原始数据进行分组以得到多组组合数据;将所述多组组合数据进行标准化处理得到多组样本数据组;采用多元线性回归模型对所述多组样本数据组进行训练以得到数据库容量的多个待定预测模型;将多组所述样本数据加载至对应的所述待定预测模型得到多个输出值,并将所述多个输出值与对应的数据库的所述用量值进行比较,以从多个所述待定预测模型中选择一模型作为数据库的容量预测模型;将待测数据库的关联数据加载至所述容量预测模型,以得到所述待测数据库的容量预测值。
本申请提出的数据库容量的管理方法,通过采用多元线性回归模型对可能影响数据库容量的由不同原始数据形成的多组样本数据组进行训练,得到与数据库容量存在线性关联关系的特定样本数据组,以及由该特定样本数据组形成的容量预测模型。采用容量预测模型根据数据库在使用过程中产生的对应上述特定样本数据组的值,预测数据库的使用容量,实现自动化对数据库的容量预测,在数据库容量达到上限之前,进行预警,减少系统不能访问数据库的情况,提升维护品质和用户体验,并为后续服务器资源规划和服务器资源整合提供辅助支持。
其中一种可能的实现方式中,将所述多个输出值与对应的数据库的所述用量值进行比较,以从多个所述待定预测模型中选择一个所述待定预测模型作为数据库的容量预测模型的步骤包括:
计算所述多个输出值与对应的数据库的所述用量值的差值的绝对值,得到多组绝对值,对所述多组绝对值中最小的绝对值对应的所述待定预测模型作为所述容量预测模型。
其中一种可能的实现方式中,采用多元线性回归模型对所述多组样本数据组进行训练以得到数据库容量的多个待定预测模型的步骤包括:
将所述多组样本数据中每一组样本数据作为自变量输入至多元线性回归模型,输出所述多元线性回归模型所确定的因变量的预测值,根据多组所述预测值确定所述多个待定预测模型的权重系数。
其中一种可能的实现方式中,所述容量预测模型y=k1x1+k2x2+k3x3+k4x4,x1、x2、x3、x4为标准化的关联数据,其中k1、k2、k3、k4为权重系数。
其中一种可能的实现方式中,所述原始数据还包括使用所述数据库的用户数量,数据库容量的预测时间,数据库内日志量的字节数,数据库的连接数;
将多种所述原始数据进行分组以得到多组组合数据的步骤包括:
选择所述用户数量,数据库容量的预测时间,数据库内日志量的大小,数据库的连接数中的三个数据构成一组组合数据,再次选择其他的三个数据构成另一组组合数据以形成所述多组组合数据。
其中一种可能的实现方式中,将所述多组组合数据进行标准化处理得到多组样本数据组的步骤包括:
将所述预测时间的数据转换为时间戳类型的数值,将所述数据空间和日志量的大小、所述用户数量、所述数据库的连接数都换算为以字节为单位的数值。
其中一种可能的实现方式中,对所述多组样本数据组进行训练的步骤包括:取多组所述样本数据的Bar-残差值、ND-残差值以及残差标准差值以形成特征值,并对所述特征值进行训练。
其中一种可能的实现方式中,数据库位于服务器,管理方法还包括:
将所述容量预测值与所述待测数据库的当前存储空间的最大存储值进行比较,当所述容量预测值超过所述待测数据库的当前存储空间的最大存储值,在所述服务器上查找可选存储空间作为备用的存储空间。
其中一种可能的实现方式中,管理方法还包括:
将所述容量预测值与所述待测数据库的当前存储空间的最大存储值进行比较,
当所述容量预测值超过所述待测数据库的当前存储空间的最大存储值,在数据库的连接数小于预设连接数时,对所述数据库容量进行扩容。
第二方面,本发明实施例提供一种数据库容量的管理装置,所述装置包括:
存储器,用于存储多个程序模块;
处理器,耦接于所述存储器,所述处理器用于加载所述多个程序模块并执行第一方面所述的数据库容量管理方法。
第三方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面提供的方法。
应当理解的是,本发明实施例的第二~三方面与本发明实施例的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请实施例提出的数据库容量的管理方法步骤流程图;
图2是执行本申请实施例提出的另一种数据库容量的管理方法的流程图;
图3是本申请实施例提出的数据库容量的管理装置结构示意图。
【具体实施方式】
为了更好的理解本说明书的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本说明书保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
本申请实施例通过建立科学和实用的容量预测模型,在数据库的空间容量达到上限以致服务器无法访问之前,监测数据库空间的增长趋势,实现对数据库容量的预警,本申请实施例基于对数据库空间增长趋势的监测,结合服务器负载,在不影响服务器访问的情况下完成对数控库的扩容。
本申请实施例提出的数据库容量的管理方法可以应用于设置待管理数据库的服务器、计算机集群等。图1是本申请实施例提出的数据库容量的管理方法步骤流程图,如图1所示,步骤包括:
步骤S11:采集多种与数据库容量相关的关联数据的原始数据,所述关联数据包括数据库的用量值。
与数据库容量相关的关联数据可以包括可能导致数据库容量发生变化的数据,对可能导致数据库容量发生变化的数据进行排列组合,再使用排列组合后的数据对多元线性回归模型进行训练,得到与数据库容量关联的数据组合,以与数据库容量关联的数据组合形成容量预测模型。获取到可能导致数据库容量发生变化的数据可以包括{a、b、c、……、g}。
本申请一种示例中,{a、b、c、……、g}中a、b、c、……、g可以分别对应数据库的用户数量,数据库容量的预测时间,数据库内日志量的字节数,数据库的连接数、数据库重做日志切换频率、数据库业务类型、数据库产品、设备点位数、应用流量、数据批处理记录等多种关联数据。
本申请一种示例中,所述原始数据可以包括使用所述数据库的用户数量,数据库容量的预测时间,数据库内日志量的字节数,数据库的连接数。
原始数据是服务器运行过程中产生并存储于数据库的数据,可以通过调用服务器和数据库的历史数据,从数据库容量监控数据、数据库内部数字字典、应用端日志、数据操作记录中调取获得;数据库的用量值表示数据库已使用的容量。
步骤S12:将多种所述原始数据进行分组以得到多组组合数据。
本申请一种实施例提出对原始数据进行分组的可选方式:
将多种所述原始数据进行分组以得到多组组合数据的步骤包括:
选择所述用户数量,数据库容量的预测时间,数据库内日志量的大小,数据库的连接数中的三个数据构成一组组合数据,再次选择其他的三个数据构成另一组组合数据以形成所述多组组合数据。
本申请一种实施例中,多种关联数据的原始数据包括{a、b、c、d、e、f、g},对上述多种原始数据进行分组后得到的多组组合数据包括:{a、b、c、d}、{a、e、f、g}、{b、c、d、e}、{a、c、d、f}等。如下表1所示。
Figure BDA0004020153610000051
表1关联数据的原始数据分组图示
步骤S13:将所述多组组合数据进行标准化处理得到多组样本数据组。
将所述多组组合数据进行标准化处理得到多组样本数据组,以满足机器学习系统对样本数据的要求;本申请一种实施例示出对原始数据进行标准化处理的可选方式:
将所述预测时间的数据转换为时间戳类型的数值,将所述数据空间和日志量的大小、所述用户数量、所述数据库的连接数都换算为以字节为单位的数值。
示例地,时间日期型数据转换为UNIX时间戳类型的数值,数据空间和日志空间监控值都换算为以字节为单位的数值。
步骤S14:采用多元线性回归模型对所述多组样本数据组进行训练以得到数据库容量的多个待定预测模型。
通过机器学习的方式获得各个自变量对因变量的影响程度。
采用多元线性回归模型对所述多组样本数据组进行训练表示:在不同自变量组合的情况下,反复训练模型,得到基于不同组样本数据组预测得到的因变量,从而获得每组样本数据组与因变量的线性模型,作为多个待定预测模型。获得多个待定预测模型后,对模型预测结果与数据库的用量值进行比对、校验,保留预测结果最准确的样本数据组。
本申请一种实施例示出采用多元线性回归模型对所述多组样本数据组进行训练的可选方式:
将所述多组样本数据中每一组样本数据作为自变量输入至多元线性回归模型,输出所述多元线性回归模型所确定的因变量的预测值,根据多组所述预测值确定所述多个待定预测模型的权重系数。
本申请一种示例中,多组样本数据组包括{a、b、c、d}、{a、e、f、g}、{b、c、d、e},采用多元线性回归模型对所述多组样本数据组进行训练,得到预测数据库容量的多个待定预测模型:y=f(a,b,c,d)、y=f(a,e,f,g)、y=f(b,c,d,e)。每个待定预测模型均为关于这些关联数据的函数关系式,如下表2所示。
Figure BDA0004020153610000061
Figure BDA0004020153610000071
表2各组组合数据所确定的待定预测模型
本申请一种示例中,基于原始数据:“对应数据库的用户数量,数据库容量的预测时间,数据库内日志量的字节数,数据库的连接数、数据库重做日志切换频率、数据库业务类型、数据库产品、设备点位数、应用流量、数据批处理记录”排列组合形成的多组样本数据组对多元线性回归模型进行训练后,得到的容量预测模型是由原始数据“用户数量,数据库容量的预测时间,数据库内日志量的字节数,数据库的连接数”训练得到的,在通过容量预测模型预测数据库容量的阶段,加载到容量预测模型的关联数据为:“用户数量,数据库容量的预测时间,数据库内日志量的字节数,数据库的连接数”。
本申请另一种实施例提出训练多组样本数据组进行训练可以通过以下方式:
取多组所述样本数据的Bar-残差值、ND-残差值以及残差标准差值以形成特征值,并对所述特征值进行训练。
步骤S15:将多组所述样本数据加载至对应的所述待定预测模型得到多个输出值,并将所述多个输出值与对应的数据库的所述用量值进行比较,以从多个所述待定预测模型中选择一模型作为数据库的容量预测模型。
本申请一种实施例示出获得从多个所述待定预测模型中选择一模型作为数据库的容量预测模型的可选方式:
计算所述多个输出值与对应的数据库的所述用量值的差值的绝对值,得到多组绝对值,对所述多组绝对值中最小的绝对值对应的所述待定预测模型作为所述容量预测模型。
本申请一种示例中,采集系统在指定时间段内的数据库的用量值为Y,对采集的与数据库容量相关的关联数据的原始数据进行分组得到多组组合数据包括:{a、b、c、d}、{a、e、f、g}、{b、c、d、e},采用多元线性回归模型对上述多组样本数据组:{a、b、c、d}、{a、e、f、g}、{b、c、d、e}进行训练,得到多个待定预测模型包括f(a,b,c,d)=y1,f(a,e,f,g)=y2,f(b,c,d,e)=y3,其中Y-y1的绝对值小于Y-y2的绝对值,中Y-y1的绝对值小于Y-y3的绝对值,表示f(a,b,c,d)的输出值最接近数据库的用量值,即最接近数据库的实际用量,确定{a、b、c、d}对应的待定预测模型f(a,b,c,d)=y为数据库的容量预测模型;其中自变量a表示时间日期,自变量b表示数据空间使用值,自变量c表示日志量大小,自变量d表示数据库连接数,因变量y表示数据空间预测值。
步骤S16:将待测数据库的关联数据加载至所述容量预测模型,以得到所述待测数据库的容量预测值。
获得容量预测值后,可以将容量预测值从机器学习系统中导出并上传至数据容量预测系统服务器,供容量预测功能接口调用。
本申请实施例提出,多次训练过程中还可以通过比对多元线性回归模型输出值与数据库实际用量,调整基础模型的权重系数,获得容量预测模型y=k1x1+k2x2+k3x3+k4x4,x1、x2、x3、x4为标准化的关联数据,其中k1、k2、k3、k4为权重系数。应用容量预测模型阶段,服务器调用的关联数据为x1、x2、x3、x4。其中,权重系数k1、k2、k3、k4在多元线性回归模型训练过程中,依据多组样本数据调整得到。
本申请一种示例中,获得容量预测模型y=k1x1+k2x2+k3x3+k4x4,其中x1为表示数据库内日志量的字节数的数据,x2为表示数据库的用户数量的数据、x3为表示数据库容量的预测时间的数据、x4为表示数据库的连接数的数据。获得对应的权重系数:k1=0.0002、k2=0.00005、k3=0.00008、k4=0.009,k值越大,表示对应的x值所占据的权重越高。
本申请实施例通过多元线性回归模型训练多组样本数据组,获得不同原始数据之间的关系,以及不同原始数据进行组合后对数据库容量的影响,基于不同原始数据的组合后对数据库容量的影响,选择数据变化能线性表达数据库容量变化趋势的多个目标原始数据,即选择数据变化能线性表达数据库容量变化趋势的目标样本数据组,训练过程中建立并调整目标样本数据组与数据库容量的线性关系,得到能准确输出待测数据库的容量预测值的容量预测模型,实现自动化预测数据库容量,无需人工依据经验判断数据库容量。
本申请实施例还提出利用容量预测模型计算待测数据库的关联数据,监测待测数据库的容量使用情况过程中,可以根据容量预测值对待测数据库的容量使用情况进行预警。
调用接口程序获取数据库空间分配上限值并加载至运行容量预测模型的计算系统;调用接口程序获取数据库空间的关联数据;示例地,当容量预测模型为f(a,b,c,d),则调用接口程序获取数据库空间的a,b,c,d。运行容量预测模型的计算系统将关联数据加载至容量预测模型,得到待测数据库的容量预测值,比较容量预测值与数据库空间分配上限值之间的差异,出发不同类型的报警。示例地,当容量预测值大于等于数据库空间分配上限值的70%时触发三级预警:向管理员的单位内部邮箱发送预警邮件;当容量预测值大于等于数据库空间分配上限值的75%时触发二级预警,在向管理员内部邮箱发送预警邮件基础上,会再向管理员预留手机号码发送预警短信;当容量预测值大于等于数据库空间分配上限值的80%时触发一级预警,将短信预警和邮件预警信息同时发送给管理员及其直属主管。
本申请实施例还提出采用容量预测模型对待测数据库进行容量预测的过程中,还可以采集待测数据库的实际使用量,以及待测数据库运行过程中产生的原始数据:数据库的用户数量,数据库容量的预测时间,数据库内日志量的字节数,数据库的连接数,对容量预测模型进行优化。
本申请实施例还提出另一种数据库容量的管理方法,图2是执行本申请实施例提出的另一种数据库容量的管理方法的流程图,如图2所示,执行本申请实施例提出的另一种数据库容量的管理方法需要执行以下步骤:
K21:采集多种与数据库容量相关的关联数据的原始数据。将多种所述原始数据进行分组以得到多组组合数据。
K22:对所述多组组合数据进行标准化处理得到多组样本数据组。对所述多组组合数据进行标准化可以采用数据清洗的方式;例如,去除原始数据噪音点、对原始数据进行类型转换、对原始数据进行数据格式转换等。
K23:采用多元线性回归模型对所述多组样本数据组进行训练以得到预测数据库容量的多个待定预测模型。
K24:判断各待定预测模型是否能准确预测数据库容量;根据各待定预测模型的输出值与数据库实际容量的差异,验证多个待定预测模型中每个待定预测模型预测数据库容量的准确度,当未获得准确预测数据库容量的待定预测模型时,可以基于不同的样本数据组对多元线性回归模型进行多次训练至获得能准确预测数据库容量的待定预测模型,作为容量预测模型。
K25:调用容量预测模型,将待测数据库的关联数据加载至所述容量预测模型,以得到所述待测数据库的容量预测值。
K26:获得待测数据库的容量上限,在容量预测值超过容量上限之前,输出预警消息。容量上限表示当前存储空间的最大存储值。
K27:获得数据库的连接数,将所述容量预测值与所述待测数据库的当前存储空间的最大存储值进行比较,当所述容量预测值超过所述待测数据库的当前存储空间的最大存储值,在数据库的连接数小于预设连接数时,对所述数据库容量进行扩容。当所述容量预测值超过所述待测数据库的当前存储空间的最大存储值,在数据库的连接数小于预设连接数时,对所述数据库容量进行扩容。
数据库的连接数可以是访问数据库的用户数、数据库连接的设备数等。
本申请实施例通过上述数据库容量的管理方法,预测待测数据库的使用量并实时采集待测数据库的连接数,在待测数据库的使用量达到待测数据库的当前存储空间的最大存储值时,选择扩容的时间,确定在数据库流量低峰时完成数据库的扩容,避免扩容作业容易引起服务器性能抖动和数据库内部锁问题。
本申请实施例还提出对数据库进行扩容的可选实时方式,将所述容量预测值与所述待测数据库的当前存储空间的最大存储值进行比较,当所述容量预测值超过所述待测数据库的当前存储空间的最大存储值,在所述服务器上查找可选存储空间作为备用的存储空间。
在所述服务器上查找可选存储空间作为备用的存储空间进行数据库扩容,可以采用创建表空间或创建镜像表的方式实现。
本申请一种示例中,待测数据库为Oracle,判断当前分区是否有足够空闲空间,当前分区空闲空间充足时,直接在当前分区增加数据文件;当前分区空闲空间不充足时,遍历数据磁盘分区列表中的每个磁盘分区,找到可用空间充足的分区,并在此分区下使用Oracle数据库管理指令增加数据文件,增加容量分配上限。系统计算出最新的容量上限后返回v_ops_result(其中当v_ops_result为“0”表示成功,v_ops_result为“1”表示不成功)。
本申请一种示例中,待测数据库为PostgreSQL,逐个遍历数据磁盘分区列表中的每个磁盘分区。找到可用空间充足的磁盘分区,在此磁盘分区下创建表空间,并使用PostgreSQL数据库管理指令将空间使用量最大的表迁移至新表空间下。系统计算出最新的容量上限后返回v_ops_result(其中当v_ops_result为“0”表示成功,v_ops_result为“1”表示不成功)。
完成扩容,可以将扩容后数据库的最大存储值v_new_data_upperlmt_size、实际作业开始时间、实际作业结束时间以及服务器ip地址等信息写入操作日志表。
本申请实施例在所述服务器上查找到可选存储空间作为备用的存储空间,实现扩容之后,还可以将扩容后的待测数据库的关联数据加载至所述容量预测模型,输出容量预测值,比较扩容后待测数据库的最大存储值与容量预测值的大小,当容量预测值小于扩容后待测数据库的最大存储值,可以生成接触预警的指令。
图3是本申请实施例提出的数据库容量的管理装置的结构示意图,设置于应用待测数据库的服务器,所述装置包括:
存储器31,用于存储多个程序模块;
处理器32,耦接于所述存储器,所述处理器用于加载所述多个程序模块并执行说明书图1至图2所示的数据库容量的管理方法。
上述所示实施例提供的装置用于执行上述所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述,在此不再赘述。
上述所示实施例提供的装置例如可以是:芯片或者芯片模组。上述所示实施例提供的装置用于执行上述所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述,在此不再赘述。
关于上述实施例中描述的各个装置包含的各个模块/单元,其可以是软件模块/单元,也可以是硬件模块/单元,或者也可以部分是软件模块/单元,部分是硬件模块/单元。例如,对于应用于或集成于芯片的各个装置,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于电子终端设备的各个装置,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于电子终端设备内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于电子终端设备内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行本说明书图1~图2所示实施例提供的数据库容量的管理方法。计算机可读存储介质可以指非易失性计算机存储介质。
上述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(readonly memory,ROM)、可擦式可编程只读存储器(erasable programmable read onlymemory,EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在本发明实施例的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本说明书的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本说明书的实施例所属技术领域的技术人员所理解。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (10)

1.一种数据库容量的管理方法,其特征在于,所述管理方法包括:
采集多种与数据库容量相关的关联数据的原始数据,所述关联数据包括数据库的用量值;
将多种所述原始数据进行分组以得到多组组合数据;
将所述多组组合数据进行标准化处理得到多组样本数据组;
采用多元线性回归模型对所述多组样本数据组进行训练以得到预测数据库容量的多个待定预测模型;
将多组所述样本数据加载至对应的所述待定预测模型得到多个输出值,并将所述多个输出值与对应的数据库的所述用量值进行比较,以从多个所述待定预测模型中选择一模型作为数据库的容量预测模型;
将待测数据库的所述关联数据加载至所述容量预测模型,以得到所述待测数据库的容量预测值。
2.如权利要求1所述的数据库容量的管理方法,其特征在于,将所述多个输出值与对应的数据库的所述用量值进行比较,以从多个所述待定预测模型中选择一个所述待定预测模型作为数据库的容量预测模型的步骤包括:
计算所述多个输出值与对应的数据库的所述用量值的差值的绝对值,得到多组绝对值,对所述多组绝对值中最小的绝对值对应的所述待定预测模型作为所述容量预测模型。
3.如权利要求1所述的数据库容量的管理方法,其特征在于,采用多元线性回归模型对所述多组样本数据组进行训练以得到数据库容量的多个待定预测模型的步骤包括:
将所述多组样本数据中每一组样本数据作为自变量输入至多元线性回归模型,输出所述多元线性回归模型所确定的因变量的预测值,根据多组所述预测值确定所述多个待定预测模型的权重系数。
4.如权利要求3所述的数据库容量的管理方法,其特征在于,所述容量预测模型y=k1x1+k2x2+k3x3+k4x4,其中x1、x2、x3、x4为标准化的关联数据,k1、k2、k3、k4为权重系数。
5.如权利要求1所述的数据库容量的管理方法,其特征在于,所述关联数据还包括使用所述数据库的用户数量,数据库容量的预测时间,数据库内日志量的字节数,数据库的连接数;
将多种所述原始数据进行分组以得到多组组合数据的步骤包括:
选择所述用户数量,数据库容量的预测时间,数据库内日志量的大小,数据库的连接数中的三个数据构成一组组合数据,再次选择其他的三个数据构成另一组组合数据以形成所述多组组合数据。
6.如权利要求4所述的数据库容量的管理方法,其特征在于,将所述多组组合数据进行标准化处理得到多组样本数据组的步骤包括:
将所述数据库容量的预测时间的数据转换为时间戳类型的数值,将数据空间和日志量的大小、用户数量、所述数据库的连接数换算为以字节为单位的数值。
7.如权利要求1所述的数据库容量的管理方法,其特征在于,对所述多组样本数据组进行训练的步骤包括:取多组所述样本数据的Bar-残差值、ND-残差值以及残差标准差值以形成特征值,并对所述特征值进行训练。
8.如权利要求1所述的数据库容量的管理方法,其特征在于,数据库位于服务器,管理方法还包括:
将所述容量预测值与所述待测数据库的当前存储空间的最大存储值进行比较,当所述容量预测值超过所述待测数据库的当前存储空间的最大存储值,在所述服务器上查找可选存储空间作为备用的存储空间。
9.如权利要求1所述的数据库容量的管理方法,其特征在于,管理方法还包括:
将所述容量预测值与所述待测数据库的当前存储空间的最大存储值进行比较,
当所述容量预测值超过所述待测数据库的当前存储空间的最大存储值,在数据库的连接数小于预设连接数时,对所述数据库容量进行扩容。
10.一种数据库容量的管理装置,其特征在于,所述管理装置包括:
存储器,用于存储多个程序模块;
处理器,耦接于所述存储器,所述处理器用于加载所述多个程序模块并执行如权利要求1至9中任一项所述的数据库容量管理方法。
CN202211687821.8A 2022-12-27 2022-12-27 数据库容量的管理方法和装置 Pending CN116089209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211687821.8A CN116089209A (zh) 2022-12-27 2022-12-27 数据库容量的管理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211687821.8A CN116089209A (zh) 2022-12-27 2022-12-27 数据库容量的管理方法和装置

Publications (1)

Publication Number Publication Date
CN116089209A true CN116089209A (zh) 2023-05-09

Family

ID=86207502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211687821.8A Pending CN116089209A (zh) 2022-12-27 2022-12-27 数据库容量的管理方法和装置

Country Status (1)

Country Link
CN (1) CN116089209A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955223A (zh) * 2023-09-18 2023-10-27 浪潮电子信息产业股份有限公司 一种数据预取方法、系统、电子设备及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955223A (zh) * 2023-09-18 2023-10-27 浪潮电子信息产业股份有限公司 一种数据预取方法、系统、电子设备及计算机存储介质
CN116955223B (zh) * 2023-09-18 2024-01-23 浪潮电子信息产业股份有限公司 一种数据预取方法、系统、电子设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN109710612B (zh) 向量索引的召回方法、装置、电子设备和存储介质
CN110287332B (zh) 云环境下仿真模型选择方法与装置
CN111324533B (zh) A/b测试方法、装置及电子设备
CN116089209A (zh) 数据库容量的管理方法和装置
CN111756589A (zh) 云资源管理方法、装置、云服务器及存储介质
CN115470079A (zh) 一种系统故障预警方法、装置及服务器
CN115525394A (zh) 容器数量的调整方法及装置
CN109271453B (zh) 一种数据库容量的确定方法和装置
CN111800807A (zh) 一种基站用户数量告警的方法及装置
CN113656391A (zh) 数据检测方法及装置、存储介质及电子设备
CN113676377B (zh) 基于大数据的在线用户数评估方法、装置、设备及介质
CN114064445A (zh) 一种测试方法、装置、设备及计算机可读存储介质
CN110543509A (zh) 用户访问数据的监控系统、方法、装置及电子设备
CN113138772B (zh) 数据处理平台的构建方法、装置、电子设备和存储介质
CN113127446B (zh) 一种基于Ottertune服务的集群调优方法及装置
CN115239007A (zh) 一种电网净负荷的预测方法、装置、电子设备和存储介质
CN116321272B (zh) Af网元中ue地址信息的时效预测方法及装置
CN115086147B (zh) 一种业务数据监控预警方法、装置、介质及电子设备
CN115511388B (zh) 一种基于规则测算模型的业务需求算力度量方法
US9571401B2 (en) Technique for projecting network load in a communication network
CN116303354A (zh) 一种存储引擎确定方法、装置、电子设备及存储介质
CN116049194A (zh) 数据库索引的优化方法、存储介质与设备
CN118519869A (zh) 页面性能测试方法、装置、介质和设备
CN115658283A (zh) 资源分配方法、装置、设备、介质及程序产品
CN117390495A (zh) 一种基于大数据的多源数据风险管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination