CN111241066B - 平台数据库自动化运维方法、装置及计算机可读存储介质 - Google Patents
平台数据库自动化运维方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111241066B CN111241066B CN202010034180.0A CN202010034180A CN111241066B CN 111241066 B CN111241066 B CN 111241066B CN 202010034180 A CN202010034180 A CN 202010034180A CN 111241066 B CN111241066 B CN 111241066B
- Authority
- CN
- China
- Prior art keywords
- autocorrelation function
- real
- platform
- database
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005311 autocorrelation function Methods 0.000 claims abstract description 125
- 230000001932 seasonal effect Effects 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000010223 real-time analysis Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本发明涉及一种大数据技术，揭露了一种平台数据库自动化运维方法，包括：基于用户的平台数据库，获取所述平台数据库中产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集；计算所述标准数据集的自相关函数集和偏自相关函数集后得到自相关函数图集与偏相关函数图集；根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型；利用所述数据库配额预测模型从所述平台数据库中识别出需要进行空间配额的平台数据库，对需要进行配额的所述平台数据库进行标记处理后返回给用户，实现所述平台数据库的自动化运维。本发明还提出一种平台数据库自动化运维装置以及一种计算机可读存储介质。本发明实现了平台数据库自动化运维。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种平台数据库自动化运维方法、装置及计算机可读存储介质。
背景技术
在当下数据量爆炸式增长的互联网时代，数据量与日俱增，这对平台数据库的管理及运维带来巨大的挑战，尤其是伴随着业务量横向扩张，数据仓库的空间和数量也会随之增加，许多业务平台更是同时拥有多个数据仓库。在数据仓库空间不足时，目前通常需要运维人员手动执行扩容配置，目前行业内一般都是通过运维人员的主观判断“随意”给定扩容大小，这种方式会存在两个弊端：1、平台数据库数量庞大，人工维护较为繁琐；2、扩容空间或大或小，配置太大会浪费资源，配置太小则后期还要重新配置，增加了不少工作量。
发明内容
本发明提供一种平台数据库自动化运维方法、装置及计算机可读存储介质，其主要目的在于当用户进行平台数据库空间配额时，给用户呈现出自动化的运维结果。
为实现上述目的，本发明提供的一种平台数据库自动化运维方法，包括：
获取用户的平台数据库中所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集；
计算所述标准数据集的自相关函数集和偏自相关函数集，并根据所述自相关函数集和偏自相关函数集分别生成自相关函数图集与偏相关函数图集；
根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型；
利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维。
可选地，所述对所述实时数据集进行聚类处理，生成标准数据集，包括：
统计所述实时数据集中的最大值和最小值，根据所述最大值和最小值利用聚类算法计算所述实时数据集的聚类中心值；
根据所述聚类中心值及利用模糊均值算法对所述实时数据集进行数据聚类，从而生成所述标准数据集。
可选地，所述聚类算法包括：
其中，k表示聚类中心值，Dmax表示所述实时数据集中的最大值，Dmin表示所述实时数据集中的最小值，n表示所述实时数据集的数据总量，X(t)表示所述实时数据集中在t时刻获取的实时数据，X(t-1)表示所述实时数据集中在t-1时刻获取的实时数据。
可选地，所述自相关函数集的计算方法包括：
其中，所述px表示实时数据集中数据x的自相关函数，Zx表示数据x的期望，Zt表示数据x在t时刻的期望，表示自相关函数的期望；
所述偏自相关函数集的计算方法包括：
其中，所述表示实时数据集中数据j的偏自相关函数，k表示实时数据集中数据的总量。
可选地，所述根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型，包括：
将所述自相关函数图集以及所述偏自相关函数图集作为参数输入至预先构建的时间序列预测模型中，得到所述时间序列预测模型的趋势参数和季节性参数，根据所述趋势参数和季节性参数构建自回归、差分以及移动平均的周期函数，并根据所述自回归、差分以及移动平均的周期函数生成所述数据库配额预测模型。
此外，为实现上述目的，本发明还提供一种平台数据库自动化运维装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的平台数据库自动化运维程序，所述平台数据库自动化运维程序被所述处理器执行时实现如下步骤：
获取用户的平台数据库中所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集；
计算所述标准数据集的自相关函数集和偏自相关函数集，并根据所述自相关函数集和偏自相关函数集分别生成自相关函数图集与偏相关函数图集；
根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型；
利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维。
可选地，所述对所述实时数据集进行聚类处理，生成标准数据集，包括：
统计所述实时数据集中的最大值和最小值，根据所述最大值和最小值利用聚类算法计算所述实时数据集的聚类中心值；
根据所述聚类中心值及利用模糊均值算法对所述实时数据集进行数据聚类，从而生成所述标准数据集。
可选地，所述聚类算法包括：
其中，k表示聚类中心值，Dmax表示所述实时数据集中的最大值，Dmin表示所述实时数据集中的最小值，n表示所述实时数据集的数据总量，X(t)表示所述实时数据集中在t时刻获取的实时数据，X(t-1)表示所述实时数据集中在t-1时刻获取的实时数据。
可选地，所述自相关函数集的计算方法包括：
其中，所述px表示实时数据集中数据x的自相关函数，Zx表示数据x的期望，Zt表示数据x在t时刻的期望，表示自相关函数的期望；
所述偏自相关函数集的计算方法包括：
其中，所述表示实时数据集中数据j的偏自相关函数，k表示实时数据集中数据的总量。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有平台数据库自动化运维程序，所述平台数据库自动化运维程序可被一个或者多个处理器执行，以实现如上所述的平台数据库自动化运维方法的步骤。
本发明提出的平台数据库自动化运维方法、装置及计算机可读存储介质，在用户进行平台数据库空间配额时，基于用户的平台数据库，获取所述平台数据库中所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集；计算所述标准数据集的自相关函数集和偏自相关函数集后生成自相关函数图集与偏相关函数图集；根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型；利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维。
附图说明
图1为本发明一实施例提供的平台数据库自动化运维方法的流程示意图；
图2为本发明一实施例提供的平台数据库自动化运维装置的内部结构示意图；
图3为本发明一实施例提供的平台数据库自动化运维装置中平台数据库自动化运维程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种平台数据库自动化运维方法。参照图1所示，为本发明一实施例提供的平台数据库自动化运维方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，平台数据库自动化运维方法包括：
S1、获取用户的平台数据库中所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集。
本发明较佳实施例中，所述用户可以为一个企业或一个交易所，例如中国平安，所述用户的平台数据库包括：交易平台数据库、分析平台数据库以及储存平台数据库。于是，本发明根据中国平安的交易平台数据库产生的交易数据得到实时交易数据集，根据中国平安的分析平台数据库产生的分析数据得到实时分析数据集，根据中国平安的存储平台数据库产生的存储数据得到实时存储数据集。较佳地，本发明将所述实时交易数据集、实时分析数据集以及实时存储数据集组合形成所述实时数据集。
应该理解，根据产生的所述实时交易数据集、实时分析数据集以及实时存储数据集，对应的平台数据库的存储容量会发生相应变化，例如，产生的所述实时交易数据集增长量为2万单，则对应的交易平台数据库存储容量会减少2GB的容量。由于中国平安每天都在不断的产生大量的实时数据集，于是，较佳地，本发明优先对所述实时数据集进行聚类处理，生成所述标准数据集，用于更加方便的对数据进行观测。
较佳地，本发明中所述聚类处理包括：统计所述实时数据集中最大值和最小值，根据所述最大值和最小值，利用聚类算法计算所述实时数据集的聚类中心值；根据所述聚类中心值及利用模糊均值算法对所述实时数据集进行数据聚类，从而生成所述标准数据集。其中，所述聚类算法包括：
其中，k表示聚类中心值，Dmax表示所述实时数据集中的最大值，Dmin表示所述实时数据集中的最小值，n表示所述实时数据集的数据总量，X(t)表示所述实时数据集中在t时刻获取的实时数据，X(t-1)表示所述实时数据集中在t-1时刻获取的实时数据。
S2、计算所述标准数据集的自相关函数集和偏自相关函数集，并根据所述自相关函数集和偏自相关函数集分别生成自相关函数图集与偏相关函数图集。
本发明较佳实施中，所述自相关函数指的是数据在平稳条件下所创建的一种时间序列函数，用于展示出数据之间的收敛性，所述偏自相关函数指的是描述随机过程结构特征的一种方法，用于排除中间变量数据带来的影响。
较佳地，本发明中所述自相关函数集的计算方法包括：
其中，所述px表示数据x的自相关函数，Zx表示自相关函数中数据的期望，Zt表示数据x在t时刻的期望，表示自相关函数的期望。进一步地，本发明根据所述自相关函数集中的回归线段组合形成所述自相关函数图集，用于更加形象的展示出所述实时数据之间的收敛性。
进一步地，所述偏自相关函数集的计算方法包括：
其中，所述表示实时数据集中数据j的偏自相关函数，k表示实时数据集中数据的总量。根据所述偏自相关函数的计算方法的得到上述标准数据集的自回归拟合函数集，从而生成所述偏相关函数图集，用于更加清晰的描述所述实时数据之间的耦合性。
S3、根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型。
本发明较佳实施例中，将所述自相关函数图集以及所述偏自相关函数图集作为参数输入至预先构建的时间序列预测模型中，得到所述时间序列预测模型的趋势参数和季节性参数，根据所述趋势参数和季节性参数构建自回归、差分以及移动平均的周期函数，并根据所述自回归、差分以及移动平均的周期函数生成所述数据库配额预测模型。其中，本发明中所述时间序列预测模型为SARIMAX模型，所述SARIMAX模型用于支持季节性时间序列的数据预测。所述趋势参数包括：趋势自回归阶数(用小写字母p表示)、趋势差分阶数(用小写字母d表示)以及趋势移动平均阶数(用小写字母q表示)。所述季节性参数包括：季节性回归参数(用大写字母P表示)、季节性差分阶数(用大写字母D表示)、季节性移动平均阶数(用大写字母Q)表示以及单个季节性的时间步数(用小写字母m表示)。进一步地，本发明中通过Python语言对所述数据库配额预测模型进行编译，并设置时间任务调度对所述趋势参数和季节性参数进行不断的更新，从而不断增强所述数据库配额预测模型的预测能力。
S4、利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维。
本发明较佳实施例中，由于数据的不断更新，会导致平台数据库内存不足的情况产生，根据所述数据库配额预测模型可以高效的识别出哪些平台数据库需要进行配额处理，即对所述平台数据库进行扩容，并给出合理的扩容大小的建议。详细地，本发明通过上述Python语言在编译时，对即将存储数据满额的平台数据库进行标记声明，即标红处理，并以列表的形式展现平台数据库存储空间的状态，从而实现平台数据库的自动化运维，可以用于帮助用户更好的把控数据资源。
发明还提供一种平台数据库自动化运维装置。参照图2所示，为本发明一实施例提供的平台数据库自动化运维装置的内部结构示意图。
在本实施例中，所述平台数据库自动化运维装置1可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该平台数据库自动化运维装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是平台数据库自动化运维装置1的内部存储单元，例如该平台数据库自动化运维装置1的硬盘。存储器11在另一些实施例中也可以是平台数据库自动化运维装置1的外部存储设备，例如平台数据库自动化运维装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括平台数据库自动化运维装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于平台数据库自动化运维装置1的应用软件及各类数据，例如平台数据库自动化运维程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行平台数据库自动化运维程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在平台数据库自动化运维装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及平台数据库自动化运维程序01的平台数据库自动化运维装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对平台数据库自动化运维装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有平台数据库自动化运维程序01；处理器12执行存储器11中存储的平台数据库自动化运维程序01时实现如下步骤：
步骤一、获取用户的平台数据库中所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集。
本发明较佳实施例中，所述用户可以为一个企业或一个交易所，例如中国平安，所述用户的平台数据库包括：交易平台数据库、分析平台数据库以及储存平台数据库。于是，本发明根据中国平安的交易平台数据库产生的交易数据得到实时交易数据集，根据中国平安的分析平台数据库产生的分析数据得到实时分析数据集，根据中国平安的存储平台数据库产生的存储数据得到实时存储数据集。较佳地，本发明将所述实时交易数据集、实时分析数据集以及实时存储数据集组合形成所述实时数据集。
应该理解，根据产生的所述实时交易数据集、实时分析数据集以及实时存储数据集，对应的平台数据库的存储容量会发生相应变化，例如，产生的所述实时交易数据集增长量为2万单，则对应的交易平台数据库存储容量会减少2GB的容量。由于中国平安每天都在不断的产生大量的实时数据集，于是，较佳地，本发明优先对所述实时数据集进行聚类处理，生成所述标准数据集，用于更加方便的对数据进行观测。
较佳地，本发明中所述聚类处理包括：统计所述实时数据集中最大值和最小值，根据所述最大值和最小值，利用聚类算法计算所述实时数据集的聚类中心值；根据所述聚类中心值及利用模糊均值算法对所述实时数据集进行数据聚类，从而生成所述标准数据集。其中，所述聚类算法包括：
其中，k表示聚类中心值，Dmax表示所述实时数据集中的最大值，Dmin表示所述实时数据集中的最小值，n表示所述实时数据集的数据总量，X(t)表示所述实时数据集中在t时刻获取的实时数据，X(t-1)表示所述实时数据集中在t-1时刻获取的实时数据。
步骤二、计算所述标准数据集的自相关函数集和偏自相关函数集，并根据所述自相关函数集和偏自相关函数集分别生成自相关函数图集与偏相关函数图集。
本发明较佳实施中，所述自相关函数指的是数据在平稳条件下所创建的一种时间序列函数，用于展示出数据之间的收敛性，所述偏自相关函数指的是描述随机过程结构特征的一种方法，用于排除中间变量数据带来的影响。
较佳地，本发明中所述自相关函数集的计算方法包括：
其中，所述px表示数据x的自相关函数，Zx表示自相关函数中数据的期望，Zt表示数据x在t时刻的期望，表示自相关函数的期望。进一步地，本发明根据所述自相关函数集中的回归线段组合形成所述自相关函数图集，用于更加形象的展示出所述实时数据之间的收敛性。
进一步地，所述偏自相关函数集的计算方法包括：
其中，所述表示实时数据集中数据j的偏自相关函数，k表示实时数据集中数据的总量。根据所述偏自相关函数的计算方法的得到上述标准数据集的自回归拟合函数集，从而生成所述偏相关函数图集，用于更加清晰的描述所述实时数据之间的耦合性。
步骤三、根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型。
本发明较佳实施例中，将所述自相关函数图集以及所述偏自相关函数图集作为参数输入至预先构建的时间序列预测模型中，得到所述时间序列预测模型的趋势参数和季节性参数，根据所述趋势参数和季节性参数构建自回归、差分以及移动平均的周期函数，并根据所述自回归、差分以及移动平均的周期函数生成所述数据库配额预测模型。其中，本发明中所述时间序列预测模型为SARIMAX模型，所述SARIMAX模型用于支持季节性时间序列的数据预测。所述趋势参数包括：趋势自回归阶数(用小写字母p表示)、趋势差分阶数(用小写字母d表示)以及趋势移动平均阶数(用小写字母q表示)。所述季节性参数包括：季节性回归参数(用大写字母P表示)、季节性差分阶数(用大写字母D表示)、季节性移动平均阶数(用大写字母Q)表示以及单个季节性的时间步数(用小写字母m表示)。进一步地，本发明中通过Python语言对所述数据库配额预测模型进行编译，并设置时间任务调度对所述趋势参数和季节性参数进行不断的更新，从而不断增强所述数据库配额预测模型的预测能力。
步骤四、利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维。
本发明较佳实施例中，由于数据的不断更新，会导致平台数据库内存不足的情况产生，根据所述数据库配额预测模型可以高效的识别出哪些平台数据库需要进行配额处理，即对所述平台数据库进行扩容，并给出合理的扩容大小的建议。详细地，本发明通过上述Python语言在编译时，对即将存储数据满额的平台数据库进行标记声明，即标红处理，并以列表的形式展现平台数据库存储空间的状态，从而实现平台数据库的自动化运维，可以用于帮助用户更好的把控数据资源。
可选地，在其他实施例中，平台数据库自动化运维程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述平台数据库自动化运维程序在平台数据库自动化运维装置中的执行过程。
例如，参照图3所示，为本发明平台数据库自动化运维装置一实施例中的平台数据库自动化运维程序的程序模块示意图，该实施例中，所述平台数据库自动化运维程序可以被分割为数据聚类处理模块10、计算模块20、模型生成模块30以及自动化运维模块40，示例性地：
所述数据聚类处理模块10用于：获取用户的平台数据库中所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集。
所述计算模块20用于：计算所述标准数据集的自相关函数集和偏自相关函数集，并根据所述自相关函数集和偏自相关函数集分别生成自相关函数图集与偏相关函数图集。
所述模型生成模块30用于：根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型。
所述自动化运维模块40用于：利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维。
上述数据聚类处理模块10、计算模块20、模型生成模块30以及自动化运维模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有平台数据库自动化运维程序，所述平台数据库自动化运维程序可被一个或多个处理器执行，以实现如下操作：
获取用户的平台数据库中所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集；
计算所述标准数据集的自相关函数集和偏自相关函数集，并根据所述自相关函数集和偏自相关函数集分别生成自相关函数图集与偏相关函数图集；
根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型；
利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维。
本发明计算机可读存储介质具体实施方式与上述平台数据库自动化运维装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种平台数据库自动化运维方法，其特征在于，所述方法包括：
获取用户的平台数据库所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集；
计算所述标准数据集的自相关函数集和偏自相关函数集，并根据所述自相关函数集和偏自相关函数集分别生成自相关函数图集与偏自相关函数图集；
根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型；
利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维；
其中，所述自相关函数集的计算方法包括：
其中，所述表示实时数据集中数据x的自相关函数，/>表示数据x的期望，/>表示数据x在t时刻的期望，/>表示自相关函数的期望；
所述根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型，包括：将所述自相关函数图集以及所述偏自相关函数图集作为参数输入至预先构建的时间序列预测模型中，得到所述时间序列预测模型的趋势参数和季节性参数，根据所述趋势参数和季节性参数构建自回归、差分以及移动平均的周期函数，并根据所述自回归、差分以及移动平均的周期函数生成所述数据库配额预测模型；
所述时间序列预测模型为SARIMAX模型，所述SARIMAX模型用于支持季节性时间序列的数据预测。
2.如权利要求1所述的平台数据库自动化运维方法，其特征在于，所述对所述实时数据集进行聚类处理，生成标准数据集，包括：
统计所述实时数据集中的最大值和最小值，根据所述最大值和最小值利用聚类算法计算所述实时数据集的聚类中心值；
根据所述聚类中心值及利用模糊均值算法对所述实时数据集进行数据聚类，从而生成所述标准数据集。
3.如权利要求2所述的平台数据库自动化运维方法，其特征在于，所述聚类算法包括：
其中，k表示聚类中心值，表示所述实时数据集中的最大值，/>表示所述实时数据集中的最小值，n表示所述实时数据集的数据总量，/>表示所述实时数据集中在t时刻获取的实时数据，/>表示所述实时数据集中在t-1时刻获取的实时数据。
4.一种平台数据库自动化运维装置，用于实现如权利要求1至3中任一项所述的平台数据库自动化运维方法，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的平台数据库自动化运维程序，所述平台数据库自动化运维程序被所述处理器执行时实现如下步骤：
获取用户的平台数据库所产生的实时数据集，对所述实时数据集进行聚类处理，生成标准数据集；
计算所述标准数据集的自相关函数集和偏自相关函数集，并根据所述自相关函数集和偏自相关函数集分别生成自相关函数图集与偏自相关函数图集；
根据所述自相关函数图集和所述偏自相关函数图集，生成数据库配额预测模型；
利用所述数据库配额预测模型从所述用户的平台数据库中识别出需要进行空间配额的平台数据库，并对需要进行配额的所述平台数据库进行标记处理后返回给用户，从而实现所述平台数据库的自动化运维。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有平台数据库自动化运维程序，所述平台数据库自动化运维程序可被一个或者多个处理器执行，以实现如权利要求1至3中任一项所述的平台数据库自动化运维方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010034180.0A CN111241066B (zh) | 2020-01-10 | 平台数据库自动化运维方法、装置及计算机可读存储介质 | |
| PCT/CN2020/119124 WO2021139276A1 (zh) | 2020-01-10 | 2020-09-29 | 平台数据库自动化运维方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010034180.0A CN111241066B (zh) | 2020-01-10 | 平台数据库自动化运维方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111241066A CN111241066A (zh) | 2020-06-05 |
| CN111241066B true CN111241066B (zh) | 2024-06-25 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250306A (zh) * | 2016-08-18 | 2016-12-21 | 电子科技大学 | 一种适用于企业级运维自动化平台的性能预测方法 |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250306A (zh) * | 2016-08-18 | 2016-12-21 | 电子科技大学 | 一种适用于企业级运维自动化平台的性能预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 数据挖掘技术在高校网络运维管理中的应用研究;赵文;霍旭轮;;电脑与电信;20180710(第07期);第68-71页 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019056793A1 (zh) | 简历识别装置、方法及计算机可读存储介质 | |
| CN107273104B (zh) | 一种配置数据结构的处理方法及装置 | |
| WO2019041773A1 (zh) | 预测模型的更新装置、方法及计算机可读存储介质 | |
| CN110363303B (zh) | 智能分配模型训练内存方法、装置及计算机可读存储介质 | |
| CN110111902B (zh) | 急性传染病的发病周期预测方法、装置及存储介质 | |
| CN111310052A (zh) | 用户画像构建方法、装置及计算机可读存储介质 | |
| CN110866443A (zh) | 人像存储方法、人脸识别方法、设备及存储介质 | |
| CN111259318A (zh) | 智能化的数据优化方法、装置及计算机可读存储介质 | |
| CN114021156A (zh) | 漏洞自动化聚合的整理方法、装置、设备以及存储介质 | |
| CN114090601B (zh) | 一种数据筛选方法、装置、设备以及存储介质 | |
| CN112507098B (zh) | 问题处理方法、装置、电子设备、存储介质及程序产品 | |
| CN111241066B (zh) | 平台数据库自动化运维方法、装置及计算机可读存储介质 | |
| CN110764745B (zh) | 变量的传输和收集方法、装置及计算机可读存储介质 | |
| CN112348348A (zh) | 一种任务数据处理方法及系统 | |
| CN116450723A (zh) | 数据提取方法、装置、计算机设备及存储介质 | |
| CN111143568A (zh) | 一种论文分类时的缓冲方法、装置、设备及存储介质 | |
| CN110717056B (zh) | Noe4j图数据库的更新维护方法、装置及计算机可读存储介质 | |
| CN111241066A (zh) | 平台数据库自动化运维方法、装置及计算机可读存储介质 | |
| CN115130444A (zh) | 一种动态表单的生成方法、装置、设备及介质 | |
| CN114881313A (zh) | 基于人工智能的行为预测方法、装置及相关设备 | |
| CN110717521B (zh) | 智能业务实现方法、装置及计算机可读存储介质 | |
| CN111782208A (zh) | 指标预警方法、装置、计算机设备及存储介质 | |
| CN110019547B (zh) | 获取客户间的关联关系的方法、装置、设备及介质 | |
| CN111414157A (zh) | devops架构变更的迭代方法、装置、计算机设备及存储介质 | |
| CN110765119A (zh) | 客户趋势变化呈现方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |