CN106777022B - 一种基于对比模式实现服务器硬件资源智能化分配的方法 - Google Patents
一种基于对比模式实现服务器硬件资源智能化分配的方法 Download PDFInfo
- Publication number
- CN106777022B CN106777022B CN201611122813.3A CN201611122813A CN106777022B CN 106777022 B CN106777022 B CN 106777022B CN 201611122813 A CN201611122813 A CN 201611122813A CN 106777022 B CN106777022 B CN 106777022B
- Authority
- CN
- China
- Prior art keywords
- data
- hardware resource
- distribution
- intelligentization
- server hardware
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000005065 mining Methods 0.000 claims abstract description 16
- 238000007405 data analysis Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000009412 basement excavation Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000004458 analytical method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于对比模式实现服务器硬件资源智能化分配的方法，其实现过程为：首先进行挖掘数据分析，即通过自动化运维过程中获取监控数据并预处理；通过对比模式对监控数据进行处理，该对比模式即为采用对比挖掘算法进行数据处理；根据处理结果，对服务器硬件资源进行智能化分配。该一种基于对比模式实现服务器硬件资源智能化分配的方法与现有技术相比，结合对比挖掘数据分析技术和运维自动化的硬件监控技术，分析各个子业务对服务器硬件资源的耗费情况，可分析出各个子业务模块耗费服务器硬件资源的特点，可以为运行的业务智能化的分配硬件资源，从而达到减少服务器购置成本和运维成本，实用性强，易于实现，易于推广。
Description
技术领域
本发明涉及计算机技术领域，具体地说是一种实用性强、基于对比模式实现服务器硬件资源智能化分配的方法。
背景技术
随着信息技术的持续发展，信息技术的覆盖面扩大，企业的业务更为繁杂，数据中心从初期的几台服务器发展到大规模的服务器集群，仅仅依靠人工已经无法满足运维工作的需要，因此自动化运维开始被广泛研究和应用。通过自动化运维的监控技术，记录了每台服务器在各个时间节点的硬件资源耗费情况。对比挖掘数据分析技术模仿人类认识事物的方式，探测多类数据样本中各自的特性，在日常生活中有着广泛的应用。
在现有技术中，自动化运维的平台中保存了大量服务器硬件资源的实时监控信息，例如内存占用、cup占用等数据。但是当前，缺乏针对运维自动化平台的硬件资源监控数据进行处理的方法，这样就会导致业务无法结合分析获取的监控数据来进行分配硬件资源，造成硬件资源的浪费，即服务器购置成本和运维成本的提高。
基于此，现提供一种基于对比模式实现服务器硬件资源智能化分配的方法，利用对比模式挖掘算法分析各个子业务对服务器硬件资源的耗费情况，可分析出各个子业务模块耗费服务器硬件资源的特点，从而实现各个子业务模块服务器资源智能化分配。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、基于对比模式实现服务器硬件资源智能化分配的方法。
一种基于对比模式实现服务器硬件资源智能化分配的方法，其实现过程为：
首先进行挖掘数据分析，即通过自动化运维过程中获取监控数据并预处理；
通过对比模式对监控数据进行处理，该对比模式即为采用对比挖掘算法进行数据处理；
根据处理结果，对服务器硬件资源进行智能化分配。
所述预处理为对获取数据进行清洗，即在自动化运维过程中获取监控数据后，确定监控数据类型，然后通过设置数据清洗规则，对获取监控数据进行清洗。
所述监控数据类型是后续步骤中进行比对分析的基础，具体包括非结构化的流数据和结构化的字符型数据和数值型数据，在获取的监控数据中出现的字符型数据自定义设置字符型数据出现的范围，对于数值型数据自定义设置该数值的取值范围。
自定义设置的字符型数据出现的范围、数值型数据取值范围随业务量和硬件资源的数目动态变化，即业务量的数目增多或硬件资源的数目增多时，相对应的字符型数据、数值型数据的取值上限随之增加。
所述数据清洗规则用于对运维自动化中获取的资源监控数据进行数据清洗，在数据清洗的过程中，对不满足该数据清洗规则的数据进行记录，在满足一定阈值条件下通知运维人员动态修改预先定义的规则，保证数据过滤规则的动态变化，该阈值条件由运维人员自定义设置。
所述监控数据自动清洗过程为：
首先从获取的监控数据中，选取某一行数据；
然后进行规则判断，查看该数据是否符合数据清洗规则；
当满足数据清洗规则时，则放回数据仓库；
当不满足数据清洗规则时，则判断是否可修复，如果可以修复，则在修复后放回数据仓库，如果不可以修复，则丢弃该行监控数据。
通过对比模式对监控数据进行处理是指通过包括基于流数据的算法、基于序列数据的算法、基于数值型数据的算法的对比挖掘算法，针对不同的数据进行对比处理。
通过对比模式对监控数据进行智能化分配的具体实施步骤为：
首先从自动化运维中获取监控数据，该自动化运维基于若干子系统，相对应的，各个子系统均有其对应的监控子系统，从各个监控子系统中选择需要用于数据分析的属性，建立对比数据分析的数据仓库；
然后根据定义的规则进行数据的自动清洗；
针对监控数据类型，选择合适的对比数据挖掘算法对各监控数据进行对比挖掘；
对挖掘得到的对比模式进行过滤和筛选；
通过挖掘得到的对比模式针对各个业务实现智能化的资源配置。
上述步骤中实现智能化的资源配置是指根据对比模式获得的结果动态生成修改各个业务资源配置的可执行脚本文件。
本发明的一种基于对比模式实现服务器硬件资源智能化分配的方法，具有以下优点：
该发明的一种基于对比模式实现服务器硬件资源智能化分配的方法，结合对比挖掘数据分析技术和运维自动化的硬件监控技术，分析各个子业务对服务器硬件资源的耗费情况，可分析出各个子业务模块耗费服务器硬件资源的特点，可以为运行的业务智能化的分配硬件资源，从而达到减少服务器购置成本和运维成本，实用性强，易于实现，易于推广。
附图说明
附图1为本发明的数据清洗过程示意图。
附图2为本发明的实现流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如附图1、图2所示，一种基于对比模式实现服务器硬件资源智能化分配的方法，结合对比挖掘数据分析技术和运维自动化的硬件监控技术，可以为运行的业务智能化的分配硬件资源，从而达到减少服务器购置成本和运维成本。其实现过程为：
首先进行挖掘数据分析，即通过自动化运维过程中获取监控数据并预处理；
通过对比模式对监控数据进行处理，该对比模式即为采用对比挖掘算法进行数据处理；
根据处理结果，对服务器硬件资源进行智能化分配。
所述预处理为对获取数据进行清洗，即在自动化运维过程中获取监控数据后，确定监控数据类型，然后通过设置数据清洗规则，对获取监控数据进行清洗。
利用以上手段，使得运维技术不仅走向自动化而且向智能化方向发展。
所述监控数据类型是后续步骤中进行比对分析的基础，自动化运维平台中的监控数据主要包括非结构化的流数据和结构化的数据,该结构化的数据包括字符型数据和数值型数据，具体分为字符型枚举数据、数值型枚举数据、数值型数据。在获取的监控数据中出现的字符型数据自定义设置字符型数据出现的范围，对于数值型数据自定义设置该数值的取值范围。
由于数据在网络传输的过程中可能出现错误，因此针对监控数据中出现的字符型数据可以枚举出字符型数据出现的范围，对于数值型数据可以规定该数值的取值范围。当然，取值范围随着业务量和硬件资源的数目可以动态的变化，例如硬件资源的数目增多那么内存的可用量的取值上限就随之增加。利用提前定义好的数据的取值范围可为下一步数据自动清洗奠定基础。
在数据挖掘与分析技术中数据是根本，数据质量的高低决定了数据中承载信息的可利用程度。数据质量越高得到的分析结果的可信度就越高，因此根据数据清洗规则，对运维自动化中资源监控数据进行简单的数据清洗。当然在数据清洗的过程中，对于不满足预先定义的规则的数据需要进行记录，在满足一定阈值条件下可以通知运维人员动态修改预先定义的规则，从而保证数据过滤规则的动态变化，该阈值条件由运维人员自定义设置。
所述监控数据自动清洗过程为：
首先从获取的监控数据中，选取某一行数据；
然后进行规则判断，查看该数据是否符合数据清洗规则；
当满足数据清洗规则时，则放回数据仓库；
当不满足数据清洗规则时，则判断是否可修复，如果可以修复，则在修复后放回数据仓库，如果不可以修复，则丢弃该行监控数据。
通过对比模式对监控数据进行处理是指通过对比挖掘算法，针对不同的数据进行对比处理。常用的对比挖掘算法包括基于流数据的算法、基于序列数据的算法、基于数值型数据的算法等。不同类型的算法的侧重点和处理的数据类型均不同。针对不同的数据类型选择相应的对比序列模式分析算法。当然对比分析的结果，即对比序列模式，数目是非常庞大的，需要进一步利用数据本身表现的特性或者人为先验知识筛选挖掘结果。
最后根据得到的对比序列模式的规则集合，对各个业务的硬件资源的智能分配进行决策支持。
通过对比模式对监控数据进行智能化分配的具体实施步骤为：
首先从自动化运维中获取监控数据，该自动化运维基于若干子系统，相对应的，各个子系统均有其对应的监控子系统，从各个监控子系统中选择需要用于数据分析的属性，建立对比数据分析的数据仓库；
然后根据定义的规则进行数据的自动清洗；
针对监控数据类型，选择合适的对比数据挖掘算法对各监控数据进行对比挖掘；
对挖掘得到的对比模式进行过滤和筛选；
通过挖掘得到的对比模式针对各个业务实现智能化的资源配置。
上述步骤中实现智能化的资源配置是指根据对比模式获得的结果动态生成修改各个业务资源配置的可执行脚本文件。
在本发明中，数据是对比分析的基础，分析自动化运维数据中的监控数据以及制定规则；由于数据在网络传输的过程中可能出现错误，需要动态设定数据清洗的规则，为下一步数据分析打下基础；针对运维自动化平台的数据类型的特点，选择相应的对比模式的数据挖掘算法；利用规则集合对各个业务的硬件资源的智能分配进行决策支持，从而实现服务器资源智能化分配。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于对比模式实现服务器硬件资源智能化分配的方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (7)
1.一种基于对比模式实现服务器硬件资源智能化分配的方法，其特征在于，其实现过程为：
步骤一、首先进行挖掘数据分析，即通过自动化运维过程中获取监控数据并预处理；所述预处理为对获取数据进行清洗，即在自动化运维过程中获取监控数据后，确定监控数据类型，然后通过设置数据清洗规则，对获取监控数据进行清洗；
步骤二、通过对比模式对监控数据进行处理，该对比模式为采用对比挖掘算法进行数据处理，即通过包括基于流数据的算法、基于序列数据的算法、基于数值型数据的算法的对比挖掘算法，针对不同的数据进行对比处理；
步骤三、根据处理结果，对服务器硬件资源进行智能化分配：
首先从自动化运维中获取监控数据，该自动化运维基于若干子系统，相对应的，各个子系统均有其对应的监控子系统，从各个监控子系统中选择需要用于数据分析的属性，建立对比数据分析的数据仓库；
然后根据定义的规则进行数据的自动清洗；
针对监控数据类型，选择合适的对比数据挖掘算法对各监控数据进行对比挖掘；
对挖掘得到的对比模式进行过滤和筛选；
通过挖掘得到的对比模式针对各个业务实现智能化的资源配置。
2.根据权利要求1所述的一种基于对比模式实现服务器硬件资源智能化分配的方法，其特征在于，所述监控数据类型是后续步骤中进行比对分析的基础，具体包括非结构化的流数据和结构化的字符型数据和数值型数据。
3.根据权利要求2所述的一种基于对比模式实现服务器硬件资源智能化分配的方法，其特征在于，在获取的监控数据中出现的字符型数据自定义设置字符型数据出现的范围，对于数值型数据自定义设置该数值的取值范围。
4.根据权利要求3所述的一种基于对比模式实现服务器硬件资源智能化分配的方法，其特征在于，自定义设置的字符型数据出现的范围、数值型数据取值范围随业务量和硬件资源的数目动态变化，即业务量的数目增多或硬件资源的数目增多时，相对应的字符型数据、数值型数据的取值上限随之增加。
5.根据权利要求1所述的一种基于对比模式实现服务器硬件资源智能化分配的方法，其特征在于，所述数据清洗规则用于对运维自动化中获取的资源监控数据进行数据清洗，在数据清洗的过程中，对不满足该数据清洗规则的数据进行记录，在满足一定阈值条件下通知运维人员动态修改预先定义的规则，保证数据过滤规则的动态变化，该阈值条件由运维人员自定义设置。
6.根据权利要求5所述的一种基于对比模式实现服务器硬件资源智能化分配的方法，其特征在于，所述监控数据自动清洗过程为：
首先从获取的监控数据中，选取某一行数据；
然后进行规则判断，查看该数据是否符合数据清洗规则；
当满足数据清洗规则时，则放回数据仓库；
当不满足数据清洗规则时，则判断是否可修复，如果可以修复，则在修复后放回数据仓库，如果不可以修复，则丢弃该行监控数据。
7.根据权利要求1所述的一种基于对比模式实现服务器硬件资源智能化分配的方法，其特征在于，上述步骤中实现智能化的资源配置是指根据对比模式获得的结果动态生成修改各个业务资源配置的可执行脚本文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611122813.3A CN106777022B (zh) | 2016-12-08 | 2016-12-08 | 一种基于对比模式实现服务器硬件资源智能化分配的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611122813.3A CN106777022B (zh) | 2016-12-08 | 2016-12-08 | 一种基于对比模式实现服务器硬件资源智能化分配的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106777022A CN106777022A (zh) | 2017-05-31 |
| CN106777022B true CN106777022B (zh) | 2018-08-14 |
Family
ID=58877412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611122813.3A Active CN106777022B (zh) | 2016-12-08 | 2016-12-08 | 一种基于对比模式实现服务器硬件资源智能化分配的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106777022B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271566A (zh) * | 2018-10-17 | 2019-01-25 | 穆逸诚 | 一种计算机数据处理系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2481959A (en) * | 2009-04-28 | 2012-01-11 | Austin Health | A system,method and computer program for determining the probability of a medical event occurring |
| CN103902816A (zh) * | 2014-03-12 | 2014-07-02 | 郑州轻工业学院 | 基于数据挖掘技术的带电检测数据处理方法 |
| CN103985023A (zh) * | 2014-06-11 | 2014-08-13 | 国家电网公司 | 智能变电站二次设备运维决策支持系统及数据挖掘方法 |
| CN104462314A (zh) * | 2014-11-28 | 2015-03-25 | 国家电网公司 | 电网数据处理方法及装置 |
| CN104917639A (zh) * | 2015-06-10 | 2015-09-16 | 北京奇虎科技有限公司 | 基于集群监控分配数据业务方法及装置 |
| CN105847083A (zh) * | 2016-03-22 | 2016-08-10 | 乐视云计算有限公司 | 一种业务集中监控方法及系统 |
-
2016
- 2016-12-08 CN CN201611122813.3A patent/CN106777022B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2481959A (en) * | 2009-04-28 | 2012-01-11 | Austin Health | A system,method and computer program for determining the probability of a medical event occurring |
| CN103902816A (zh) * | 2014-03-12 | 2014-07-02 | 郑州轻工业学院 | 基于数据挖掘技术的带电检测数据处理方法 |
| CN103985023A (zh) * | 2014-06-11 | 2014-08-13 | 国家电网公司 | 智能变电站二次设备运维决策支持系统及数据挖掘方法 |
| CN104462314A (zh) * | 2014-11-28 | 2015-03-25 | 国家电网公司 | 电网数据处理方法及装置 |
| CN104917639A (zh) * | 2015-06-10 | 2015-09-16 | 北京奇虎科技有限公司 | 基于集群监控分配数据业务方法及装置 |
| CN105847083A (zh) * | 2016-03-22 | 2016-08-10 | 乐视云计算有限公司 | 一种业务集中监控方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| "带间隔约束的Top-k对比序列模式挖掘";杨皓等;《软件学报》;20151115;第26卷(第11期);第2页第1段 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106777022A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107967491A (zh) | 木板识别的机器再学习方法、装置、电子设备及存储介质 | |
| CN112529204A (zh) | 模型训练方法、装置及系统 | |
| CN105677469A (zh) | 定时任务执行方法及装置 | |
| DE112021002820T5 (de) | Dynamische automatisierung einer auswahl von pipeline-artefakten | |
| CN111985851B (zh) | 银行网点资源调度方法及装置 | |
| CN109743286A (zh) | 一种基于图卷积神经网络的ip类型标记方法及设备 | |
| CN106777022B (zh) | 一种基于对比模式实现服务器硬件资源智能化分配的方法 | |
| CN109933515A (zh) | 一种回归测试用例集的优化方法和自动优化装置 | |
| CN107249182A (zh) | 一种短信发送方法及其装置、终端设备 | |
| CN115730947A (zh) | 银行客户流失预测方法及装置 | |
| CN106201835A (zh) | 一种预警自动管理的实现方法置的方法 | |
| CN111382031A (zh) | 测试方法及装置 | |
| CN108595178A (zh) | 一种基于hook的数据采集方法、装置及设备 | |
| CN112540837B (zh) | 业务处理组件调用方法、系统、电子设备和存储介质 | |
| CN107025129A (zh) | 一种数据处理方法以及装置 | |
| CN111090585B (zh) | 一种基于众测过程的众测任务关闭时间自动预测方法 | |
| CN104199850A (zh) | 基础数据的处理方法和装置 | |
| CN108304398A (zh) | 系统业务降级方法、装置与电子设备 | |
| CN116775741A (zh) | 一种工程竣工决算的审计方法及相关装置 | |
| CN110377741A (zh) | 文本分类方法、智能终端及计算机可读存储介质 | |
| WO2019138073A1 (en) | Method for monitoring devices in a network, computerized system and application program interface | |
| CN115421891A (zh) | 一种任务分发方法、装置、设备及介质 | |
| CN113342518A (zh) | 任务处理方法和装置 | |
| CN113434275A (zh) | 一种用于人工智能算法模型远程批量部署系统及方法 | |
| CN105007232A (zh) | 网络大数据处理平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190723 Address after: 250100 North 3-storey North District, No. 1036 Tidal Road, Tidal Science Park S05 Building, Jinan High-tech Zone, Shandong Province Patentee after: Shandong Yingxin Computer Technology Co., Ltd. Address before: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road Patentee before: Langchao Electronic Information Industry Co., Ltd. |
|
| TR01 | Transfer of patent right |