CN103853786B - 数据库参数的优化方法与系统 - Google Patents
数据库参数的优化方法与系统 Download PDFInfo
- Publication number
- CN103853786B CN103853786B CN201210518571.5A CN201210518571A CN103853786B CN 103853786 B CN103853786 B CN 103853786B CN 201210518571 A CN201210518571 A CN 201210518571A CN 103853786 B CN103853786 B CN 103853786B
- Authority
- CN
- China
- Prior art keywords
- value
- database
- sample
- fuzzy
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000005457 optimization Methods 0.000 title claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 18
- 210000002569 neuron Anatomy 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 17
- 230000005284 excitation Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000013278 delphi method Methods 0.000 claims description 9
- 238000007619 statistical method Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000007935 neutral effect Effects 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000011017 operating method Methods 0.000 abstract description 2
- 241000208340 Araliaceae Species 0.000 description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 description 5
- 235000008434 ginseng Nutrition 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据库参数的优化方法与系统。该方法包括:选取数据库性能参数的多个样本值,对数据库实施典型应用加压操作,获得服务器性能指标参数值作为样本值对应的教师值;通过模糊隶属度函数对每一个样本值以及对应的教师值进行模糊化处理操作,形成多个输入样本;构建模糊神经网络,使用多个输入样本训练模糊神经网络;根据训练后的模糊神经网络对应的调优模型,选择预定数值的数据库的服务器性能指标参数值作为调优模型的输入,计算作为优化结果的数据库性能参数值,以调整数据库的数据库性能参数。通过本发明提供的技术方案实现了数据库自动优化,避免了现有技术中依靠工程师的经验值,以及人工实施调优带来的繁琐的操作步骤。
Description
技术领域
本发明涉及数据库领域,特别涉及一种数据库参数的优化方法与系统。
背景技术
随着数据库技术的发展,特别是关系型数据库技术的发展,使得关系型数据库的已应用于国内的政府部门、电信、邮政、公安、金融、保险、能源电力、交通、科教、石化、航空航天、民航等各行各业。企业业务量的加大,企业IT系统承载的负荷也越来越重。由于数据库系统是企业IT系统的关键系统之一,因此,数据库系统性能的好坏影响了企业对外提供服务的质量。为获得好的数据库系统性能,有效的方法之一是进行数据库调优,即对数据库参数进行优化。
关系型数据库的调优涉及大量的参数调整,在现有技术中,主要依靠工程师的经验值人工实施调优。首先需要依靠经验丰富的数据库工程师依靠经验,针对数据库的关键参数如数据库缓冲池大小等参数做出调整,然后加应用测试,观察数据库服务器的表现,通过观察结果的好坏,再进行新一轮的调整和测试,直到调优成功或者证明数据库已经无法调优。然而,人工实施数据库调优的方法,调优的结果和数据库工程师专业素质相关,调优的过程经常耗时较长,甚至达不到调优的效果。
发明内容
根据本发明实施例的一个方面,所要解决的一个技术问题是:提供一种数据库参数的优化方法与系统,提供自动的数据库优化,以避免人工实施数据库优化的操作。
本发明实施例提供的一种数据库参数的优化方法,所述方法包括:
根据数据库性能参数的取值区间,选取所述数据库性能参数的多个样本值;
选择所述数据库的服务器性能指标参数,设置数据库性能参数为多个样本值中的每一个样本值,分别对所述数据库实施典型应用加压操作,获得所述服务器性能指标参数的多个值作为所述每一个样本值对应的教师值;
确定模糊隶属度函数,通过模糊隶属度函数对所述每一个样本值以及对应的教师值进行模糊化处理操作,使所述每一个样本值以及对应的教师值的数值在0至1之间,形成所述多个输入样本,其中,每一个输入样本值包含一个样本值与一个教师值;
根据所述多个输入样本,构建模糊神经网络;
利用所述多个输入样本训练所述模糊神经网络;
响应于完成训练所述模糊神经网络,保存完成训练后的模糊神经网络对应的调优模型;
根据所述调优模型,选择预定数值的数据库性能参数值作为所述调优模型的输入值,计算所述数据库的服务器性能指标参数值,以调整所述数据库的服务器性能指标参数。
所述选择预定数值的数据库性能参数值作为所述调优模型的输入值,计算所述数据库的服务器性能指标参数值,以调整所述数据库的服务器性能指标参数,具体包括:
选择多个预定增幅的数据库性能参数值作为所述调优模型的输入值,计算多个所述服务器性能指标参数值,从所述多个服务器性能指标参数值选择一个服务器性能指标参数值对应的数据库性能参数值,以调整所述数据库的数据库性能参数值。
优选地,所述根据所述多个输入样本,构建模糊神经网络,具体包括:
设定输入层神经元节点数n、隐层神经元节点数m以及输出层神经元节点数v;设定所述每一个输入层神经元节点与每一个所述隐层神经元节点之间的第一层权值Wji、pj,其中,j、i为自然数,1≤j≤n,1≤i≤m,以及设定所述每一个所述隐层神经元节点与每一个所述输出层神经元节点之间的第二层权值Ckj、qk,其中,k、j为自然数,1≤k≤m,1≤j≤v;
为每一个输入层神经元节点、隐层神经元节点、输出层神经元节点选定激励函数。
优选地,利用所述多个输入样本训练所述模糊神经网络,具体包括:
将所述多个输入样本作为所述模糊神经网络的输入,使用所述第一层权值、第二层权值,计算以所述多个输入样本包含的样本值为输入值对应的所述模糊神经网络的实际输出值;
识别所述实际输出值与所述教师值值之间的误差是否满足预定的误差范围值;
响应于所述实际输出值与所述教师值之间的误差不满足预定的误差范围值,根据所述模糊神经网络的修正算法修正所述第一层权值与第二层权值,重新执行将所述多个输入样本作为所述模糊神经网络的输入的操作;相应于所述实际输出值与所述教师值之间的误差满足预定的误差范围值,完成训练所述模糊神经网络。
优选地,所述确定模糊隶属度函数,具体包括:
通过模糊统计法、德尔菲法、二元对比排序法、综合加权法、指派法中的任意一种方法确定模糊隶属度函数。
优选地,所述数据库性能参数包括:数据库缓冲池大小、共享池大小、日志缓存池大小。
优选地,所述数据库的服务器性能指标参数包括:所述服务器的CPU使用率,所述服务器的内存使用率。
本发明实施例提供的一种数据库参数的优化系统,所述系统包括:
样本值选取单元,用于根据数据库性能参数的取值区间,选取所述数据库性能参数的多个样本值;
教师值获取单元,用于选择所述数据库的服务器性能指标参数,设置数据库性能参数为多个样本值中的每一个样本值,分别对所述数据库实施典型应用加压操作,获得所述服务器性能指标参数的多个值作为所述每一个样本值对应的教师值;
模糊化处理单元,用于确定模糊隶属度函数,通过模糊隶属度函数对所述每一个样本值以及对应的教师值进行模糊化处理操作,使所述每一个样本值以及对应的教师值的数值在0至1之间,形成所述多个输入样本,其中,每一个输入样本值包含一个样本值与一个教师值;
网络构建单元,用于根据所述多个输入样本,构建模糊神经网络;
网络训练单元,用于利用所述多个输入样本训练所述模糊神经网络;
调优模型输出单元,用于响应于完成训练所述模糊神经网络,保存完成训练后的模糊神经网络对应的调优模型;
优化参数计算单元,用于根据所述调优模型,选择预定数值的数据库性能参数值作为所述调优模型的输入值,计算所述数据库的服务器性能指标参数值,以调整所述数据库的服务器性能指标参数。
优选地,所述优化参数计算单元,具体用于根据所述调优模型,选择多个预定增幅的数据库性能参数值作为所述调优模型的输入值,计算多个所述服务器性能指标参数值,从所述多个服务器性能指标参数值选择一个服务器性能指标参数值对应的数据库性能参数值,以调整所述数据库的数据库性能参数值。
优选地,所述网络构建单元,具体用于设定输入层神经元节点数n、隐层神经元节点数m以及输出层神经元节点数v;设定所述每一个输入层神经元节点与每一个所述隐层神经元节点之间的第一权值Wji、pj,其中,j、i为自然数,1≤j≤n,1≤i≤m,以及设定所述每一个所述隐层神经元节点与每一个所述输出层神经元节点之间的第二权值Ckj、qk,其中,k、j为自然数,1≤k≤m,1≤j≤v;为每一个输入层神经元节点、隐层神经元节点、输出层神经元节点选定激励函数。
优选地,所述网络训练单元,具体用于将所述多个输入样本作为所述模糊神经网络的输入,使用所述第一层权值、第二层权值,前向计算以所述多个输入样本包含的样本值为输入值对应的所述模糊神经网络的实际输出值;识别所述实际输出值与所述教师值之间的误差是否满足预定的误差范围值;响应于所述实际输出值与所述教师值之间的误差不满足预定的误差范围值,根据所述模糊神经网络的修正算法修正所述第一层权值与第二层权值,重新执行将所述多个输入样本作为所述模糊神经网络的输入的操作;响应于所述实际输出值与所述教师值之间的误差满足预定的误差范围值,完成训练所述模糊神经网络。
优选地,所述模糊化处理单元,具体用于通过模糊统计法、德尔菲法、二元对比排序法、综合加权法、指派法中的任意一种方法确定模糊隶属度函数。
优选地,所述数据库性能参数包括:数据库缓冲池大小、共享池大小、日志缓存池大小。
优选地,所述数据库的服务器性能指标参数包括:所述服务器的CPU使用率,所述服务器的内存使用率。
基于本发明上述实施例提供的数据库参数的优化方法与系统,通过选取数据库性能参数的多个样本值,对数据库实施典型应用加压操作,获得服务器性能指标参数值作为样本值对应的教师值。通过模糊隶属度函数对每一个样本值以及对应的教师值进行模糊化处理操作,形成多个输入样本。再构建模糊神经网络,使用多个输入样本训练模糊神经网络。响应于完成训练模糊神经网络,保存完成训练后的模糊神经网络对应的调优模型,使得能够根据调优模型,选择预定数值的数据库性能参数值作为调优模型的输入值,计算数据库的服务器性能指标参数值,以调整数据库的数据库性能参数,进行数据库优化,从而实现了数据库自动优化,避免了现有技术中依靠工程师的经验值,以及人工实施调优带来的繁琐的操作步骤。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
构成说明书的一部分的附图描述了本发明的实施例,并且连同说明书一起用于解释本发明的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
图1示出本发明所提供的数据库参数的优化方法一种实施例的流程示意图;
图2示出模糊神经网络的结构图;
图3示出训练模糊神经网络的流程示意图;
图4示出本发明所提供的数据库参数的优化系统一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
本发明提供的基于模糊神经网络的数据库优化方法及系统实施例中,首先采集样本值和构建输入样本集,通常数据库性能参数都是有一定取值范围,在该取值范围内选取数据库性能参数的多个样本值,具体通过针对典型应用加压,得到数据库服务器性能指标参数值,构建输入样本集。输入样本集具有一定的数量,能实现训练神经网络的目的,神经网络具有学习和推导能力,从而利用训练完成的神经网络实现优化参数的计算。
参见图1所示,图1示出本发明所提供的数据库参数的优化方法一种实施例的流程示意图。该数据库参数的优化方法包括以下操作。
101,根据数据库性能参数的取值区间,选取数据库性能参数的多个样本值。
选取数据库性能参数的多个样本值,以构建数据库性能参数的样本集。数据库性能参数可以包括:数据库缓冲池大小、共享池大小、日志缓存池大小。通常来说,数据库性能参数都有一定的取值区间,数据库性能参数可以取值区间为最大值的50%-100%,中间的样本值可以按照一定步长递增取值,例如3%递增,样本数量可以控制在20个左右。
例如,数据库性能参数具体为数据库缓冲池的大小,数据库缓冲池为分配给数据库的一块内存。假设服务器共有60G内存,扣除操作系统开销10G,剩下50G内存,可以分配给数据库缓冲池的内存大小为40G。那么对于联机事务处理系统(On-LineTransactionProcessing,OLTP)类型的应用,缓冲池最小取值为最大值40G的50%为20G,最大取值为40G,由此确定缓冲池的取值区间为20G-40G,可以从20G开始,在该取值区间中选取多个值,例如,按照2G为步长逐步增加,选取多个数据库缓冲池的样本值,构建样本集,例如20G、22G、24G等。
102,选择数据库的服务器性能指标参数,设置数据库性能参数为多个样本值中的每一个样本值,分别对数据库实施典型应用加压操作,获得服务器性能指标参数的多个值作为每一个样本值对应的教师值。
数据库的服务器性能指标参数可以是服务器的关键性能指标参数,包括服务器的CPU使用率,服务器的内存使用率。例如CPU使用率。以上述缓冲池为例,分别以缓冲池大小为20G、22G、24G等样本值为参数,对数据库实施典型应用加压操作,读取CPU使用率作为教师值,例如,缓冲池大小为20G,加压获得对应的CPU使用率为40%。根据各种不同的数据库,可以采用不同的服务器性能指标参数作为教师值。例如,还可以选择缓冲池命中率作为服务器性能指标参数,设置数据库的缓冲池大小为20G,对数据库实施典型应用加压操作,读取在典型加压情况下,读取数据库服务器的缓冲池大小80%,作为样本值20G对应的教师值。典型应用加压可以根据数据库典型的应用,加载负荷其负载达到典型的数值。以缓冲池以及对应的CPU利用率为例,表示为例如(20G,40%),(22G、45%)等。
103,确定模糊隶属度函数,通过模糊隶属度函数对每一个样本值以及对应的教师值进行模糊化处理操作,使每一个样本值以及对应的教师值的数值在0-1之间,形成多个输入样本,其中,每一个输入样本值包含样本值与样本值对应的教师值,例如,(0,0.1),(0.1,0.3)。对完整的输入样本集通过模糊隶属度函数进行模糊化处理操作,将数值控制在0—1的区间中,有利于模糊神经网络的训练和收敛。
具体可以通过模糊统计法、德尔菲法、二元对比排序法、综合加权法、指派法中的任意一种方法确定模糊隶属度函数。
模糊统计法,即通过做大量的模糊统计试验,找出元素对集合的隶属关系的统计规律,其中包括两相模糊统计法、三分法及多相模糊统计法。
德尔菲法,即专家经验法。根据专家的实际经验给出模糊信息的处理算式或相应权系数值来确定隶属函数。
二元对比排序法可以通过对多个事物间的两两对比来确定某特征下的顺序,由此来确定这些事物对该特征的隶属函数的大体形状。根据对比测度不同,可分为相对比较法、对比平均法、优先关系定序法和相似优先对比法等。
综合加权法可以应用于由多个模糊子集构成的模糊集合,每个子集都有一个权重与其相对应,根据复合方式的不同可分为加权平均型、乘积平均型和混合型。
指派法根据问题的性质套用现成的某些形式的模糊分布,然后根据测量数据确定分布中所含的参数。
以德尔菲法确定的德尔菲法进行模糊化处理操作为例,若对于缓冲池大小取值为20G为0,40G为1,确定模糊隶属度函数为:(max-x)/(max-min)。对数值x按照该公式计算模糊化处理操作后的数值,其中max为40,min为20,获得模糊化处理操作后0至1之间的数值。
104,根据多个输入样本,构建模糊神经网络。
根据本发明方法实施例的一个具体示例,根据多个输入样本,构建模糊神经网络,具体可以包括:
设定输入层神经元节点数n、隐层神经元节点数m、输出层神经元节点数v,其中,输入层神经元节点数n可以小于等于步骤104获得的多个输入样本的个数;
设定每一个输入层神经元节点与每一个隐层神经元节点之间的第一权值Wji、pj,其中,j、i为自然数,满足1≤j≤n,1≤i≤m,以及设定每一个隐层神经元节点与每一个输出层神经元节点之间的第二权值Ckj、qk,其中,1≤k≤m,1≤j≤v;
为每一个输入层神经元节点、隐层神经元节点、输出层神经元节点选定激励函数。
参见图2所示,图2示出了模糊神经网络的结构图。模糊神经网络由大量的节点,即神经元,相互联接构成。每个节点代表一种特定的输出函数,称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,相当于人工神经网络的记忆。网络的输出由网络的连接方式、权重值和激励函数决定。网络自身通常都是对自然界某种算法或者函数的逼近,当已知训练样本的数据加到网络输入端时,神经网络的学习机制一遍又一遍地调整各神经元的权值,使其输出端达到预定的目标,即完成训练过程。
如图2所示,模糊神经网络的R为输出层,X为输入层,A为隐层。输入层神经元节点数n为网络系统的特征因子个数,即自变量的个数。输出层神经元节点数v,为网络系统目标的个数。隐层神经元节点数m,也可以设定隐层神经元节点数m为输入层神经元节点数的75%。例如,输入层神经元节点有7个节点,输出层神经元节点1个节点,隐层神经元节点可设为5个节点。即构成一个7-5-1模糊神经网络的模型。
设定每一个输入层神经元节点与每一个隐层神经元节点之间的第一权值Wji、pj,其中,j、i为自然数,满足1≤j≤n,1≤i≤m,以及设定每一个隐层神经元节点与每一个输出层神经元节点之间的第二权值Ckj、qk,其中,1≤k≤m,1≤j≤v。权值初始时可以设置为0至1之间的随机数。
为每一个输入层神经元节点、隐层神经元节点、输出层神经元节点选定激励函数。激励函数可以根据不同的模糊神经网络选定。例如,激励函数可以采用广义和积算子:
其中, xi为输入样本值中的样本值
关于神经网络的具体实现可以根据本领域技术人员公知的神经网络实现方式进行实施。
105,利用多个输入样本训练模糊神经网络。
参见图3所示,图3示出了训练模糊神经网络的流程示意图。在105利用多个输入样本训练模糊神经网络的操作中,具体可以包括:
1051,将多个输入样本作为模糊神经网络的输入,使用第一层权值、第二层权值,计算以多个输入样本包含的样本值为输入值对应的模糊神经网络的实际输出值;
1052,识别实际输出值与教师值之间的误差是否满足预定的误差范围值,响应于实际输出值与教师值之间的误差不满足预定的误差范围值,执行1053的操作;响应于实际输出值与教师值之间的误差满足预定的误差范围值,完成训练模糊神经网络;
1053,根据模糊神经网络的修正算法,修正第一层权值与第二权层值,重新执行1051,即将多个输入样本作为模糊神经网络的输入的操作,重新计算。
例如,多个输入样本包括样本值R与R对应的教师值T,R的一个样本值包括数据库缓冲池大小、共享池大小、日志缓存池大小,T包括服务器的CPU使用率,服务器的内存使用率。
多个输入样本包括样本值R与R对应的教师值T,其中R=[0.10.150.1;0.150.20.15;0.150.250.2;0.20.30.3;0.250.30.3;0.30.350.35;],T=[0.50.6;0.70.8;0.850.91;0.650.92;0.780.99;0.950.91],根据以上输入样本利用广义和积算子分别计算各样本值分别所对应的实际输出值。实际输出值与T之间的误差是否实际输出值。
模糊神经网络的训练过程即采用模糊神经网络的修正算法来修正权值,直至实际输出值与教师值之间的误差满足预定的误差范围值,网络训练结束。例如误差小于等于10-4时,训练结束。本领域技术人员应该知道不同类型的模糊神经网络有不同的修正算法与该神经网络对应。以下算法示例性地展示一个具体的模糊神经网络中从输入层到输出层的训练过程。
从输入层到隐层的计算公式为:
其中
其中,Aj为隐层神经元节点,Xi为输入层神经元节点,n为输入层神经元节点个数,Wji、pj为第一层权值,
从隐层到输出层的计算公式为:
其中
其中,Rk为输出层神经元节点,Ai为隐层神经元节点,Wji、qk为第二层权值。
对于一套给定训练输入样本集,教师值Tα(α=1,2,3…S)和实际计算的实际输出值Rα(α=1,2,3…S)存在差异,不满足预定的误差范围值,此时误差仍然太大。因此,可以基于教师值与实际输出值的平均方差的对权值进行修正。平均方差计算公式为:
如果平均方差大于设定的值,即不满足预定的误差范围值,则可以利用以下模糊神经网络权值修正公式对第一层权值与第二层权值进行修正:
其中
其中
106,响应于完成训练模糊神经网络,保存完成训练后的模糊神经网络对应的调优模型。完成训练后的模糊神经网络对应于调优模型,其中,各个权值已经在操作105中经过修正,因此可以使用调优模型进行后续数据库性能参数值的优化计算。
107,根据调优模型,选择预定数值的数据库性能参数值作为调优模型的输入值,计算数据库的服务器性能指标参数值,以调整数据库的服务器性能指标参数。
本发明上述实施例提供的方法,通过选取数据库性能参数的多个样本值,对数据库实施典型应用加压操作,获得服务器性能指标参数值作为样本值对应的教师值。通过模糊隶属度函数对每一个样本值以及对应的教师值进行模糊化处理操作,形成多个输入样本。再构建模糊神经网络,使用多个输入样本训练模糊神经网络,获得完成训练后的模糊神经网络对应的调优模型,使得能够根据训练完成而获得的调优模型计算优化的数据库性能参数,以实施数据库优化操作。例如,输入实践中理想的服务器性能指标参数值,反向计算出理想的数据库性能参数值,将数据库性能参数设置为反向计算出的数据库性能参数值。
根据本发明方法实施例的一个具体示例,该方法还包括:根据调优模型,选择多个预定增幅的数据库性能参数值作为调优模型的输入值,计算多个服务器性能指标参数值,从多个服务器性能指标参数值选择一个服务器性能指标参数值对应的数据库性能参数值,以调整数据库的数据库性能参数值。
例如,选择多个数据库性能参数值,多个数据库性能参数值依次以0.1%增幅,以此构建密集的数据库性能参数值样本集作为该调优模型的输入,计算获得多个服务器性能指标参数值,根据实际需要(如R=[0.950.98])挑选最佳的一个服务器性能指标参数值对应的输入值,即数据库性能参数值,以调整数据库的服务器。
参见图4所示,图4示出本发明所提供的数据库参数的优化系统一种实施例的结构示意图。该实施例提供的数据库参数的优化系统包括:
样本值选取单元401,用于根据数据库性能参数的取值区间,选取数据库性能参数的多个样本值;
教师值获取单元402,用于选择数据库的服务器性能指标参数,设置数据库性能参数为多个样本值中的每一个样本值,分别对数据库实施典型应用加压操作,获得服务器性能指标参数的多个值作为每一个样本值对应的教师值;
模糊化处理单元403,用于确定模糊隶属度函数,通过模糊隶属度函数对每一个样本值以及对应的教师值进行模糊化处理操作,使每一个样本值以及对应的教师值的数值在0至1之间,形成多个输入样本,其中,每一个输入样本值包含一个样本值与一个教师值;
网络构建单元404,用于根据多个输入样本,构建模糊神经网络;
网络训练单元405,用于利用多个输入样本训练模糊神经网络;
调优模型输出单元406,用于响应于完成训练模糊神经网络,保存完成训练后的模糊神经网络对应的调优模型;
优化参数计算单元407,用于根据调优模型,选择预定数值的数据库性能参数值作为调优模型的输入值,计算数据库的服务器性能指标参数值,以调整数据库的服务器性能指标参数。
根据本发明系统实施例的一个具体示例,优化参数计算单元407具体用于根据调优模型,选择多个预定增幅的数据库性能参数值作为调优模型的输入值,计算多个服务器性能指标参数值,从多个服务器性能指标参数值选择一个服务器性能指标参数值对应的数据库性能参数值,以调整数据库的数据库性能参数值。
根据本发明系统实施例的一个具体示例,网络构建单元,具体用于设定输入层神经元节点数n、隐层神经元节点数m以及输出层神经元节点数v;设定每一个输入层神经元节点与每一个隐层神经元节点之间的第一层权值Wji、pj,其中,j、i为自然数,1≤j≤n,1≤i≤m,以及设定每一个隐层神经元节点与每一个输出层神经元节点之间的第二层权值Ckj、qk,其中,k、j为自然数,1≤k≤m,1≤j≤v;为每一个输入层神经元节点、隐层神经元节点、输出层神经元节点选定激励函数。
根据本发明系统实施例的一个具体示例,网络训练单元,具体用于将多个输入样本作为模糊神经网络的输入,使用第一层权值、第二层权值,前向计算以多个输入样本包含的样本值为输入值对应的模糊神经网络的实际输出值;识别实际输出值与教师值之间的误差是否满足预定的误差范围值;响应于实际输出值与教师值之间的误差不满足预定的误差范围值,根据模糊神经网络的修正算法修正第一层权值与第二层权值,重新执行将多个输入样本作为模糊神经网络的输入的操作;响应于实际输出值与教师值之间的误差满足预定的误差范围值,完成训练模糊神经网络。
根据本发明系统实施例的一个具体示例,模糊化处理单元具体用于可以通过模糊统计法、德尔菲法、二元对比排序法、综合加权法、指派法中的任意一种方法确定模糊隶属度函数。
根据本发明系统实施例的一个具体示例,数据库性能参数包括数据库缓冲池大小、共享池大小、日志缓存池大小。
根据本发明系统实施例的一个具体示例,数据库的服务器性能指标参数包括服务器的CPU使用率,服务器的内存使用率。
至此,已经详细描述了根据本发明的一种数据库参数的优化方法与系统。为了避免遮蔽本发明的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的数据库参数的优化方法与系统。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的数据库参数的优化方法与系统。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (14)
1.一种数据库参数的优化方法,其特征在于,所述方法包括:
根据数据库性能参数的取值区间,选取所述数据库性能参数的多个样本值;
选择所述数据库的服务器性能指标参数,设置数据库性能参数为多个样本值中的每一个样本值,分别对所述数据库实施典型应用加压操作,获得所述服务器性能指标参数的多个值作为所述每一个样本值对应的教师值;
确定模糊隶属度函数,通过模糊隶属度函数对所述每一个样本值以及对应的教师值进行模糊化处理操作,使所述每一个样本值以及对应的教师值的数值在0至1之间,形成多个输入样本,其中,每一个输入样本值包含一个样本值与一个教师值;
根据所述多个输入样本,构建模糊神经网络;
利用所述多个输入样本训练所述模糊神经网络;
响应于完成训练所述模糊神经网络,保存完成训练后的模糊神经网络对应的调优模型;
根据所述调优模型,选择预定数值的数据库性能参数值作为所述调优模型的输入值,计算所述数据库的服务器性能指标参数值,以调整所述数据库的服务器性能指标参数。
2.根据权利要求1所述的方法,其特征在于,所述选择预定数值的数据库性能参数值作为所述调优模型的输入值,计算所述数据库的服务器性能指标参数值,以调整所述数据库的服务器性能指标参数,具体包括:
选择多个预定增幅的数据库性能参数值作为所述调优模型的输入值,计算多个所述服务器性能指标参数值,从所述多个服务器性能指标参数值选择一个服务器性能指标参数值对应的数据库性能参数值,以调整所述数据库的数据库性能参数值。
3.根据权利要求2所述的方法,其特征在于,所述根据所述多个输入样本,构建模糊神经网络,具体包括:
设定输入层神经元节点数n、隐层神经元节点数m以及输出层神经元节点数v;
设定所述每一个输入层神经元节点与每一个所述隐层神经元节点之间的第一层权值Wji、pj,其中,j、i为自然数,1≤j≤n,1≤i≤m,以及设定所述每一个所述隐层神经元节点与每一个所述输出层神经元节点之间的第二层权值Ckj、qk,其中,k、j为自然数,1≤k≤m,1≤j≤v;
为每一个输入层神经元节点、隐层神经元节点、输出层神经元节点选定激励函数。
4.根据权利要求3所述的方法,其特征在于,利用所述多个输入样本训练所述模糊神经网络,具体包括:
将所述多个输入样本作为所述模糊神经网络的输入,使用所述第一层权值、第二层权值,计算以所述多个输入样本包含的样本值为输入值对应的所述模糊神经网络的实际输出值;
识别所述实际输出值与所述教师值之间的误差是否满足预定的误差范围值;
响应于所述实际输出值与所述教师值之间的误差不满足预定的误差范围值,根据所述模糊神经网络的修正算法修正所述第一层权值与第二层权值,重新执行将所述多个输入样本作为所述模糊神经网络的输入的操作;响应于所述实际输出值与所述教师值之间的误差满足预定的误差范围值,完成训练所述模糊神经网络。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述确定模糊隶属度函数,具体包括:
通过模糊统计法、德尔菲法、二元对比排序法、综合加权法、指派法中的任意一种方法确定模糊隶属度函数。
6.根据权利要求5所述的方法,其特征在于,所述数据库性能参数包括:数据库缓冲池大小、共享池大小、日志缓存池大小。
7.根据权利要求6所述的方法,其特征在于,所述数据库的服务器性能指标参数包括:所述服务器的CPU使用率,所述服务器的内存使用率。
8.一种数据库参数的优化系统,其特征在于,所述系统包括:
样本值选取单元,用于根据数据库性能参数的取值区间,选取所述数据库性能参数的多个样本值;
教师值获取单元,用于选择所述数据库的服务器性能指标参数,设置数据库性能参数为多个样本值中的每一个样本值,分别对所述数据库实施典型应用加压操作,获得所述服务器性能指标参数的多个值作为所述每一个样本值对应的教师值;
模糊化处理单元,用于确定模糊隶属度函数,通过模糊隶属度函数对所述每一个样本值以及对应的教师值进行模糊化处理操作,使所述每一个样本值以及对应的教师值的数值在0至1之间,形成所述多个输入样本,其中,每一个输入样本值包含一个样本值与一个教师值;
网络构建单元,用于根据所述多个输入样本,构建模糊神经网络;
网络训练单元,用于利用所述多个输入样本训练所述模糊神经网络;
调优模型输出单元,用于响应于完成训练所述模糊神经网络,保存完成训练后的模糊神经网络对应的调优模型;
优化参数计算单元,用于根据所述调优模型,选择预定数值的数据库性能参数值作为所述调优模型的输入值,计算所述数据库的服务器性能指标参数值,以调整所述数据库的服务器性能指标参数。
9.根据权利要求8所述的系统,其特征在于,所述优化参数计算单元,具体用于根据所述调优模型,选择多个预定增幅的数据库性能参数值作为所述调优模型的输入值,计算多个所述服务器性能指标参数值,从所述多个服务器性能指标参数值选择一个服务器性能指标参数值对应的数据库性能参数值,以调整所述数据库的数据库性能参数值。
10.根据权利要求9所述的系统,其特征在于,所述网络构建单元,具体用于设定输入层神经元节点数n、隐层神经元节点数m以及输出层神经元节点数v;设定所述每一个输入层神经元节点与每一个所述隐层神经元节点之间的第一层权值Wji、pj,其中,j、i为自然数,1≤j≤n,1≤i≤m,以及设定所述每一个所述隐层神经元节点与每一个所述输出层神经元节点之间的第二层权值Ckj、qk,其中,k、j为自然数,1≤k≤m,1≤j≤v;为每一个输入层神经元节点、隐层神经元节点、输出层神经元节点选定激励函数。
11.根据权利要求10所述的系统,其特征在于,所述网络训练单元,具体用于将所述多个输入样本作为所述模糊神经网络的输入,使用所述第一层权值、第二层权值,计算以所述多个输入样本包含的样本值为输入值对应的所述模糊神经网络的实际输出值;识别所述实际输出值与所述教师值之间的误差是否满足预定的误差范围值;相应于所述实际输出值与所述教师值之间的误差不满足预定的误差范围值,根据所述模糊神经网络的修正算法修正所述第一层权值与第二层权值,重新执行将所述多个输入样本作为所述模糊神经网络的输入的操作;响应于所述实际输出值与所述教师值之间的误差满足预定的误差范围值,完成训练所述模糊神经网络。
12.根据权利要求8至11任意一项所述的系统,其特征在于,所述模糊化处理单元,具体用于通过模糊统计法、德尔菲法、二元对比排序法、综合加权法、指派法中的任意一种方法确定模糊隶属度函数。
13.根据权利要求12所述的系统,其特征在于,所述数据库性能参数包括:数据库缓冲池大小、共享池大小、日志缓存池大小。
14.根据权利要求13所述的系统,其特征在于,所述数据库的服务器性能指标参数包括:所述服务器的CPU使用率,所述服务器的内存使用率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210518571.5A CN103853786B (zh) | 2012-12-06 | 2012-12-06 | 数据库参数的优化方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210518571.5A CN103853786B (zh) | 2012-12-06 | 2012-12-06 | 数据库参数的优化方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103853786A CN103853786A (zh) | 2014-06-11 |
CN103853786B true CN103853786B (zh) | 2017-07-07 |
Family
ID=50861453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210518571.5A Active CN103853786B (zh) | 2012-12-06 | 2012-12-06 | 数据库参数的优化方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103853786B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105138621B (zh) * | 2015-08-14 | 2019-03-26 | 浪潮电子信息产业股份有限公司 | 一种Sybase ASE数据库配置优化系统及方法 |
CN105224599B (zh) * | 2015-08-31 | 2018-11-23 | 浪潮(北京)电子信息产业有限公司 | 一种数据库自动优化配置的方法及系统 |
CN105159986B (zh) * | 2015-08-31 | 2018-10-30 | 浪潮(北京)电子信息产业有限公司 | 一种oracle数据库优化配置的方法及系统 |
CN107844496B (zh) * | 2016-09-19 | 2021-12-17 | 创新先进技术有限公司 | 统计信息输出方法及装置 |
CN107918824B (zh) * | 2017-11-02 | 2022-03-08 | 中交第二公路工程局有限公司 | 一种公路工程施工定额测定方法 |
CN108733750A (zh) * | 2018-04-04 | 2018-11-02 | 安徽水利开发股份有限公司 | 一种数据库优化方法 |
CN108763398B (zh) * | 2018-05-22 | 2021-08-17 | 腾讯科技(深圳)有限公司 | 数据库配置参数处理方法、装置、计算机设备和存储介质 |
CN109688065B (zh) * | 2018-12-28 | 2022-06-03 | 腾讯科技(深圳)有限公司 | 参数的处理方法、装置及存储介质 |
CN110019151B (zh) * | 2019-04-11 | 2024-03-15 | 深圳市腾讯计算机系统有限公司 | 数据库性能调整方法、装置、设备、系统及存储介质 |
CN110134665B (zh) * | 2019-04-17 | 2021-05-25 | 北京百度网讯科技有限公司 | 基于流量镜像的数据库自学习优化方法及装置 |
CN112541597A (zh) * | 2019-09-04 | 2021-03-23 | 上海杰之能软件科技有限公司 | 多设备维修方法及装置、存储介质、终端 |
CN110825629A (zh) * | 2019-10-31 | 2020-02-21 | 深圳市商汤科技有限公司 | 参数调优方法及相关装置 |
CN111240282B (zh) * | 2019-12-31 | 2021-12-24 | 联想(北京)有限公司 | 一种工艺优化方法、装置、设备及计算机可读存储介质 |
CN112217858A (zh) * | 2020-08-28 | 2021-01-12 | 北京思特奇信息技术股份有限公司 | 一种云计算资源弹性伸缩的方法和系统 |
CN115640278B (zh) * | 2022-09-30 | 2023-08-08 | 北京柏睿数据技术股份有限公司 | 一种数据库性能智能优化的方法及系统 |
CN116401232B (zh) * | 2023-03-24 | 2024-01-30 | 天云融创数据科技(北京)有限公司 | 数据库参数配置优化方法、装置、电子设备及存储介质 |
CN116594981A (zh) * | 2023-05-18 | 2023-08-15 | 合芯科技(苏州)有限公司 | 一种数据库系统参数优化方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101017509A (zh) * | 2006-12-21 | 2007-08-15 | 四川大学 | 一种基于离散Hopfield神经网络的RTOS功耗优化方法 |
CN101334893A (zh) * | 2008-08-01 | 2008-12-31 | 天津大学 | 基于模糊神经网络的融合图像质量综合评价方法 |
CN101609416A (zh) * | 2009-07-13 | 2009-12-23 | 清华大学 | 提高分布式系统性能调优速度的方法 |
CN102087311A (zh) * | 2010-12-21 | 2011-06-08 | 彭浩明 | 一种提高电力互感器测量精度的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004078875A (ja) * | 2002-06-17 | 2004-03-11 | Nagoya Industrial Science Research Inst | 遺伝子の発現データの処理方法 |
-
2012
- 2012-12-06 CN CN201210518571.5A patent/CN103853786B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101017509A (zh) * | 2006-12-21 | 2007-08-15 | 四川大学 | 一种基于离散Hopfield神经网络的RTOS功耗优化方法 |
CN101334893A (zh) * | 2008-08-01 | 2008-12-31 | 天津大学 | 基于模糊神经网络的融合图像质量综合评价方法 |
CN101609416A (zh) * | 2009-07-13 | 2009-12-23 | 清华大学 | 提高分布式系统性能调优速度的方法 |
CN102087311A (zh) * | 2010-12-21 | 2011-06-08 | 彭浩明 | 一种提高电力互感器测量精度的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103853786A (zh) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103853786B (zh) | 数据库参数的优化方法与系统 | |
CN103699440B (zh) | 一种云计算平台系统为任务分配资源的方法和装置 | |
CN107633301B (zh) | 一种bp神经网络回归模型的训练测试方法及其应用系统 | |
CN107506941A (zh) | 一种基于大数据技术的建筑施工企业信用评价方法和系统 | |
CN105207821B (zh) | 一种面向业务的网络综合性能评估方法 | |
CN109325691A (zh) | 异常行为分析方法、电子设备及计算机程序产品 | |
CN107153874A (zh) | 水质预测方法及系统 | |
CN106204154A (zh) | 基于层次分析法和熵值法的用户价值评分系统及其方法 | |
CN107797931A (zh) | 一种基于二次评价的软件质量评价方法及系统 | |
CN107506938A (zh) | 一种基于机器学习的物料质量评估方法 | |
CN110175789A (zh) | 基于模糊层次和critic法的配电网诊断评估指标权重赋权方法 | |
CN103438985B (zh) | 一种用于声场合成的声场信息采集方法 | |
CN107229693A (zh) | 基于深度学习的大数据系统配置参数调优的方法和系统 | |
Önder et al. | Forecasting macroeconomic variables using artificial neural network and traditional smoothing techniques | |
CN106228403A (zh) | 一种基于层次分析算法的用户价值评分方法及系统 | |
CN106651160A (zh) | 二手车车辆质量评估方法和装置 | |
CN108304674A (zh) | 一种基于bp神经网络的铁路软土路基沉降预测方法 | |
CN105956798A (zh) | 一种基于稀疏随机森林的配网设备运行状态评估方法 | |
CN107545038A (zh) | 一种文本分类方法与设备 | |
CN104331613B (zh) | 多个类型的通信设备抗干扰能力的评价方法 | |
CN107481135A (zh) | 一种基于bp神经网络的个人信用评价方法及系统 | |
CN114971819A (zh) | 基于多智能体强化学习算法在联邦学习下的用户竞价方法及装置 | |
CN105184400A (zh) | 一种烟田土壤水分预测方法 | |
CN106679670A (zh) | 一种基于融合赋权的无人飞行器航迹规划决策方法 | |
CN106203864A (zh) | 一种基于大数据的品牌资产评估方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20140611 Assignee: Tianyiyun Technology Co.,Ltd. Assignor: CHINA TELECOM Corp.,Ltd. Contract record no.: X2024110000020 Denomination of invention: Optimization methods and systems for database parameters Granted publication date: 20170707 License type: Common License Record date: 20240315 |